ビデオ品質の測定
本発明は、ビデオ品質測定方法に関する。特に、ビデオ信号は、元の形式と、符号化された形式と、復号された形式と、を有し、前記符号化された形式では、圧縮アルゴリズムを使用して、前記ビデオ信号が符号化されており、前記圧縮アルゴリズムは、前記符号化されたビデオ信号が、関連する量子化ステップサイズパラメータを含むように、可変量子化ステップサイズを利用しており、前記復号された形式では、前記符号化されたビデオ信号が、前記元の形式に少なくとも部分的に再変換されている。前記方法は、ａ）前記量子化ステップサイズパラメータの関数である第１の品質測度を生成するステップと、ｂ）マスキング測度を生成するステップと、ｃ）前記第１と第２の測度とを組み合わせるステップと、を含む。前記マスキング測度は、前記復号された形式の前記ビデオ信号によって表されている前記フレームの一部分の空間複雑度の関数である。前記フレームの一部分は、予測残差の関数である第２の測度を生成して、第２の測度が閾値を超えているピクチャの１つ以上の領域を識別することによって選択される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特に、圧縮アルゴリズムを使用してビデオ信号を符号化した状況における、ビデオ品質の測定に関する。
【背景技術】
【０００２】
１つの場所から別の場所にビデオ信号を送信する場合に、符号化アルゴリズムを使用して信号を符号化又は圧縮すると、符号化しなかった場合に必要とされたであろう帯域幅よりも少ない帯域幅を使用して、符号化された信号を送信できることが知られている。符号化された信号は、受信されると、元の信号を復元するために復号される。多くの符号化技術では、二次元コサイン変換を行って、一連の変換係数を生成し、その大きさを量子化する。従って、帯域幅を効率的に割り振ることができ、量子化の粒度、即ちステップサイズに変化をもたせることができる。
【０００３】
ビデオシーケンスの符号化及び復号プロセスにより、歪みが生じ、又はさもなければ、信号品質が下がる場合がある。歪みのレベルを測定する１つのやり方では、歪んだビデオシーケンスにおける知覚可能な歪みのレベルについての観察者（viewer）の意見に注目して、その結果を平均して、平均オピニオン評点（Mean Opinion Score, MOS）を取得することを必要とする。しかしながら、これは時間のかかるプロセスであり得る。従って、観察者がビデオシーケンスにおいて知覚するであろう品質の損失を予測できることが望ましい。符号化／復号して送信するプロセスの結果としてのビデオ品質の劣化は、元のシーケンスを参照することによって得られるが、このようなアプローチは不便である場合が多い。
【０００４】
予測符号化では、実際の信号と予測信号との差を送信する場合がある。実際の信号と予測信号との差は、「予測残差」として知られている。通常は、それを量子化したものを送信する。
【０００５】
我々の現在係属中の国際特許出願ＷＯ２００７／０６６０６６号によると、複数のフレームを表すビデオ信号に対する品質測度を生成する方法であって、前記ビデオ信号は、元の形式と、符号化された形式と、復号された形式と、を有し、前記符号化された形式では、圧縮アルゴリズムを使用して、前記ビデオ信号が符号化されており、前記圧縮アルゴリズムは、前記符号化されたビデオ信号が、関連する量子化ステップサイズパラメータを有するように、可変量子化ステップサイズを利用しており、前記復号された形式では、前記符号化されたビデオ信号は、前記元の形式に少なくとも部分的に再変換されていて、前記方法は、ａ）前記量子化ステップサイズパラメータの関数である第１の品質測度を生成するステップと、ｂ）前記復号された形式の前記ビデオ信号によって表されている前記フレームの少なくとも一部分の空間複雑度の関数である第２の品質測度を生成するステップと、ｃ）前記第１の品質測度と前記第２の品質測度とを組み合わせるステップと、を含む方法、が提供されている。
【０００６】
予測符号化では、実際の信号と予測信号との差を送信する場合がある。実際の信号と予測信号との差は、「予測残差」として知られている。通常は、それを量子化したものを送信する。
【発明の概要】
【０００７】
本発明によると、複数のフレームを表すビデオ信号に対する品質測度を生成する方法であって、前記ビデオ信号は、元の形式と、符号化された形式と、復号された形式と、を有し、前記符号化された形式では、圧縮アルゴリズムを使用して、前記ビデオ信号が符号化されており、前記圧縮アルゴリズムは、前記符号化されたビデオ信号が、関連する量子化ステップサイズパラメータを有するように、可変量子化ステップサイズを利用し、且つ前記符号化されたビデオ信号が、前記ビデオ信号の予測残差の表現を含むように、差分符号化を利用しており、前記復号された形式では、前記符号化されたビデオ信号が、前記元の形式に少なくとも部分的に再変換されていて、前記方法は、
ａ）所定の関係に従って、前記量子化ステップサイズパラメータによって決まる第１の品質測度を生成するステップと、
ｂ）所定の関係に従って、前記復号された形式の前記ビデオ信号によって表されている前記フレームの少なくとも一部分の空間複雑度によって決まるマスキング測度を生成するステップと、
ｃ）所定の関係に従って、前記第１の品質測度と前記マスキング測度との両者によって決まる、組み合わされた測度を生成するステップと、
を含み、
前記方法は、更に、
所定の関係に従って、前記ビデオ信号の予測残差によって決まる第２の測度を生成するステップと、
前記第２の測度が閾値を超えている、ピクチャの１つ以上の領域を識別するステップと、
を含み、
前記マスキング測度が、所定の関係に従って、前記識別された領域の前記空間複雑度によって決まる、方法、が提供されている。
【０００８】
本発明の別の態様は、請求項に示されている。
【０００９】
ここで、更に、添付の図面を参照して、本発明の幾つかの実施形態を例示的に記載する。
【図面の簡単な説明】
【００１０】
【図１】ビデオシーケンスの品質を推定する装置を、機能に関して示したブロック図である。
【図１ａ】ピクチャ中の画素に対して、水平方向のコントラスト測度がどのように計算されるかを示している。
【図１ｂ】図１ａのピクチャ中の画素に対して、垂直方向のコントラスト測度がどのように計算されるかを示している。
【図２】図１のシステムにおけるテスト結果を示すプロットを示している。
【図３】図１のシステムにおけるテスト結果を示すプロットを示している。
【図４】図１のシステムにおけるテスト結果を示すプロットを示している。
【図５】図１のシステムにおけるテスト結果を示すプロットを示している。
【図６】図１のシステムにおけるテスト結果を示すプロットを示している。
【図７】図１のシステムにおけるテスト結果を示すプロットを示している。
【図８】図１のシステムにおけるテスト結果を示すプロットを示している。
【図９】図１のシステムにおけるテスト結果を示すプロットを示している。
【図１０】図１のシステムにおけるテスト結果を示すプロットを示している。
【図１１】図１のシステムにおけるテスト結果を示すプロットを示している。
【発明を実施するための形態】
【００１１】
以下に記載されている実施形態は、非参照の、復号器に基づいてビデオ品質を評価するツール（no-reference, decoder-based video quality assessment tool)に関する。復号されたビデオの主観的品質を推定するために、このツールのアルゴリズムは、各復号されたマクロブロックに対する量子化ステップサイズパラメータ（通常は、符号化された入力ビデオストリームに含まれている変数）と、各復号されたピクチャからの画素強度値とを使用して、ビデオ復号器内で実行することができる。各フレームの復号された画素に対して、スライディングウィンドウ平均画素強度差（画素コントラスト測度）を計算して、結果として得られた平均（ＣＷＳ）を、ビデオの雑音マスキング特性の測度として使用する。次に、ＣＷＳパラメータとステップサイズパラメータの平均との関数として、品質を推定する。この関数は、特徴的な復号されたシーケンスのトレーニングデータベースと、そのシーケンスに対する前に取得した主観的スコアとに対して、重回帰分析を行なうことによって、事前に決定される。一方のステップサイズと、他方の、複雑度を推定するためのスライディングウィンドウ平均画素強度差の測度との組み合わせを使用して、主観的品質を適切に推定する。
【００１２】
原則として、使用される測定プロセスは、変換符号化を使用し且つ可変量子化ステップサイズを有する圧縮技術を用いて符号化されたビデオ信号に、概ね適用することができる。しかしながら、記載されているバージョンは、Ｈ．２６２標準とＨ．２６４標準とに従って符号化された信号に使用するように設計されている（しかしながら、これは、他のＤＣＴの基づく標準コーデック、例えば、Ｈ．２６１、Ｈ．２６３、ＭＰＥＧ−２（フレームベース）、等にも適用される）。
【００１３】
この測定方法は、非介入（non-intrusive）又は「非参照（no-reference）」タイプに関する。即ち、この測定方法は、元の信号のコピーにアクセスする必要がない。この方法は、適切な復号器内で使用するように設計されているので、符号化されたビットストリームからのパラメータと、復号されたビデオピクチャからのパラメータとの両者にアクセスしなければならない。
【００１４】
先ず、この技術をトレーニングしてテストするために使用されるビデオデータベースについて説明しなければならない。ビデオデータベースは、異なる８秒のシーケンスを１８本、即ち、６２５ラインのブロードキャストフォーマットの全てから構成されている。シーケンスのうちの６本は、ＶＱＥＧフェーズＩのデータベース[７]からであり、残りのシーケンスは、他の場所から得る。品質パラメータは、各シーケンスの持続期間における平均に基づくので、動きとディテールとについて一貫した特性を有するコンテンツを選択するのが重要である。シーケンスの詳細は、テーブル１に示されている。
【表１】
【００１５】
符号化
Ｈ．２６２の符号器を使用して、トレーニングシーケンスとテストシーケンスとの全てを符号化する。各々に対して設定された符号器のオプションは同じである。レート制御をディスエーブルにして、量子化パラメータ（quantisation parameter, QP）を固定して、Ｉ、Ｐ、Ｂ、Ｐ、Ｂ、Ｐのフレームパターンを使用する。次に、各ソースファイルに対するテスト間で、量子化ステップサイズパラメータをインクリメントする。
【００１６】
トレーニング集合とテスト集合との両者に対して、１２個の主題を使用して、一定の形式による単一の刺激の主観的テストを行なう。５段階のＡＣＲ評価尺度を使用して、主観的スコアを取得する。テーブル２(トレーニング集合)とテーブル３(テスト集合)とに、平均オピニオン評点（averaged mean opinion score, MMOS）の結果を示した。
【表２】
【表３】
【００１７】
図１に示されている装置において、入力信号を入力１で受信して、ビデオ復号器に渡す。ビデオ復号器は復号して、各ピクチャに対して次のパラメータを出力する。
【００１８】
復号されたピクチャ(Ｄ)
水平方向の復号されたピクチャの、画素におけるサイズ（Ｘ）
垂直方向の復号されたピクチャの、画素におけるサイズ（Ｙ）
水平方向の復号されたピクチャの、マクロブロックにおけるサイズ（Ｍｘ）
垂直方向の復号されたピクチャの、マクロブロックにおけるサイズ（Ｍｙ）
量子化ステップサイズパラメータの集合（Ｑ）
ＤＣＴ係数（Ｒ）
装置には、２本の分析経路がある。２本の分析経路は、ピクチャ平均量子化ステップサイズ信号（picture-averaged quantiser step-size signal, AvQstep(n)）(ユニット３)と、ピクチャ平均コントラスト測度（picture-averaged contrast measure, CWS）(ユニット４)とを計算する役割を有する。次に、ユニット５は、信号ＡｖＱｓｔｅｐ（ｎ）の時間平均とＣＷ（ｎ）の時間平均とをとって、信号ＡｖＱｓｔｅｐとＣＷＳとをそれぞれ提供する。最後に、ユニット６において、これらの信号を組み合わせて、復号されたビデオシーケンスＤに対する主観的品質の推定値ＰＭＯＳを提供する。要素３乃至６は、個々のハードウェア要素によって実施され得るが、適切にプログラムされたプロセッサを使用して、これらの全ての段階を実施すると、より便利である。
【００１９】
ピクチャ平均Ｑ
この第１のバージョンは、Ｈ．２６４に適しており、復号器から出力された量子化ステップサイズ信号Ｑを使用する。Ｑは、現在の復号されたピクチャの各マクロブロックに対して、１つの量子化ステップサイズパラメータ値(quantiser step-size parameter value, QP)を含んでいる。Ｈ．２６４の場合に、量子化パラメータＱＰは、変換係数を符号化するために使用される線形量子化の空間ＱＳＴＥＰを定義している。実際には、ＱＰは、予め定義された空間のテーブルにインデックスを付し、ＱＰが６インクリメントするごとに、ＱＳＴＥＰのサイズは２倍になる。ユニット３において、ピクチャ平均量子化パラメータＱＰＦは、次のように計算される。
【数１】
【００２０】
ＭＸは、ピクチャ中の水平方向のマクロブロック数であり、ＭＹは、垂直方向のマクロブロック数である。Ｑ（ｉ，ｊ）は、位置（ｉ，ｊ）におけるマクロブロックの量子化ステップサイズパラメータである。
【００２１】
上述で定義されている分析は、Ｈ．２６４のメインプロファイルに関する。Ｈ．２６２における量子化プロセスは、この分析に十分に変更できない。従って、幾つかの修正が必要である。Ｈ．２６２において、イントラＤＣ係数と他の全ての変換係数とは、量子化プロセスが異なる。単純化のために、ＡＣ変換係数のみに制限して、量子化の結果を分析する。
【００２２】
ＡＣ変換係数の場合に、符号化プロセスによって取り込まれる量子化雑音量は、量子化スケーリング係数ＱＰと重み行列ｑＷｅｉｇｈｔとを組み合わせることによって決定される。係数ＱＰは、マクロブロック内の全てのＤＣＴ係数の量子化に対して１つの定数であるが、マクロブロック間では様々に異なり得る(即ち、前のマクロブロックのＱＰから僅かに変化＋／−する)。行列ｑＷｅｉｇｈｔは、８×８のＤＣＴ行列の各成分に対して、ユーザ定義の重み係数を与え、通常は符号器を初期化するときに設定される。これは、シーケンスレベルにおいてのみ設定されるので、各マクロブロックに対して同じである。
【００２３】
フレームｎ内のマクロブロックｋについて、レベル値ｌｅｖに量子化されたＤＣＴ係数成分ｊを、（１）に従って係数ｑＤＣＴに復号する。
【数２】
【００２４】
なお、Ｎは、ビデオシーケンス中のフレームの集合を表わし、Ｋ（ｎ）は、フレームｎ内で分析されるマクロブロックの集合である。変数ｃは、[２]で定義されているように{−０，１，＋１}のうちの１つの値を有する符号のオフセットである。
【００２５】
成分ｊに対する実際の量子化ステップサイズＱｓｔｅｐは、（２）によって計算することができる。
【数３】
【００２６】
スケーリング係数ＱＰは、インデックスＱＰｉによって、予め定められた値の固定された集合のうちの１つに設定される。テーブル４に示されているように、値の２つの集合が標準によって定義されており、線形又は非線形に間隔を置いたパラメータの選択肢を提供している。
【表４】
【００２７】
各マクロブロックに対する重み行列の効果を反映するように、加重量子化パラメータｗＱｓｔｅｐを定義することができる。
【数４】
【００２８】
（４）において、Ｊは、平均される変換係数の集合を定義しており、Ｊｔｏｔは、その集合中のメンバ数に等しい。
【００２９】
重み行列ｑＷｅｉｇｈｔの効果を詳しく検討すると、この調査の範囲を超えてしまうが、集合Ｊの２つの異なる定義をテストした。
【００３０】
Ｊ１＝{最高周波数の３つのＡＣ係数（これらがアクティブであるかどうかは関係ない）}
Ｊ２＝{全てのアクティブな（非ゼロの）ＡＣ係数}
（５）に従って、フレームｎに対する、平均ステップサイズ測度ＡｖＱｓｔｅｐ（ｎ）を計算することができる。
【数５】
【００３１】
Ｋ（ｎ）は、フレームｎ中の分析されるマクロブロックの集合を定義している。通常、これは、エッジ領域を除いたピクチャ全体である。即ち、ピクチャは切り取られている。それ自体が切り取られているビデオがあるので、境界効果が回避される。通常は、ピクチャの中心が、視覚的な注目にとって最も重要である。
【００３２】
（６）に従って、平均量子化ステップサイズのシーケンス平均測度を計算することができる。
【数６】
【００３３】
各テストに対して、重み行列を定めて、６、８、１０、１２、１４、１６、１８、２０、２２、２４、２６、及び３２からのＱＰｉ値に従って、ＱＰの値を設定する。各テストに対して、（６）に従って、ＡｖＱｓｔｅｐを決定し、（４）において、集合Ｊ１を使用する。図２は、９個のトレーニングシーケンスの各々について、測定された平均オピニオン評点ＭＭＯＳに対するＡｖＱｓｔｅｐを示している。図３は、９個のテストシーケンスについて、同じものを示している。１秒当たりに２５フレームで、８秒の持続期間を有するシーケンスに対して、シーケンス平均をとる。即ち、式６において、Ｎ＝２００である。
【００３４】
図２と３は、ＡｖＱｓｔｅｐが、主観的スコアＭＭＯＳの適切な基本予測子であることと、コンテンツのタイプによって、曲線が一貫してかなり離れていることとを示している。ＡｖＱｓｔｅｐとＭＭＯＳとの相関は、トレーニング集合の場合に０．８９、テストの場合に０．９１であると計算された(テーブル４を参照)。
【００３５】
Ｈ．２６４の場合に、量子化重み行列(Ｈ．２６２と同様の原理)は、「ハイプロファイル」で定義され得ることに留意すべきである。重み行列は、シーケンス又はピクチャレベルに対して、「フラット」、「デフォルトの非フラット」、又は「ユーザ定義」として定義することができ、４×４のイントラ変換と、４×４のインター変換と、８×８のイントラ変換と、８×８のインター変換とに適用される(ハイプロファイルでは、８×８の変換のみが利用可能である)。Ｈ．２６２に対して提案されているアプローチと同様のアプローチを、Ｈ．２６４のハイプロファイルに対しても使用することができる。
【００３６】
コントラスト測度の計算
歪みのマスキングは、符号化されたビデオシーケンス内の歪みの知覚に影響を及ぼす重要な要素である。このようなマスキングを行なうのは、人間の知覚のメカニズムが、同じスペクトル、時間、又は空間の位置の中にある、信号成分と雑音成分とを区別できないからである。ビデオ符号器の設計において、歪みのマスキングについて検討することは非常に重要であり、この場合に、ビットの効率的な割り振りは不可欠である。この分野における研究は、変換と画素領域の両者において行なわれてきたが[８、９、１０]、ＣＳに対しては、画素領域のみが検討されている。
【００３７】
図１ａと１ｂは、水平方向にＸ画素且つ垂直方向にＹ画素のサイズのピクチャ内の位置（ｘ，ｙ）の画素ｐ（ｘ，ｙ）について、コントラスト測度をどのように計算するかを示している。
【００３８】
水平方向のコントラスト測度を計算するための分析は、図１ａに示されている。ここでは、影を付けた領域によって示されている画素ｐ（ｘ，ｙ）に対して、コントラスト測度を計算する。同等サイズの近隣エリアを選択する(近隣エリアのうちの１つは、影を付けた画素を含んでいる)。各エリアは、影を付けた画素が位置する行（row）の（好ましくは、連続する）画素の集合から形成されている。各エリアにおける画素強度を平均して、次に、下記の式（７）に従って、平均値の絶対差を計算する。コントラスト測度は、この差の値である。垂直方向のコントラスト測度は、図１ｂに示されているように同様のやり方で計算される。ここでは、上方の画素集合と下方の画素集合とを選択する。選択される画素の各々は、同じ列（column）に位置している。影を付けた画素は、上方の集合と下方の集合とのボーダに隣接している。上方の集合と下方の集合とにおいて、画素強度を平均して、次に、各集合の平均強度の差を評価する。この差の絶対値は、下記の式（８）に示されている垂直方向のコントラスト測度、即ち、垂直方向におけるコントラストの測度である。この例では、影を付けた画素は、下方の集合に含まれている。しかしながら、コントラスト測度に関連付けられる画素の位置が、比較される画素の集合によって共有される境界の近くあるならば、その画素の位置は任意である。
【００３９】
次に、水平方向のコントラスト測度を取得するために、長さＨ１の行部分と、長さＨ２の行部分とを比較する。一方で、垂直方向のコントラスト測度を取得するために、長さＶ１の列部分と、長さＶ２の列部分とを比較する(長さＨ１、Ｈ２及びＶ１、Ｖ２は、同じであってもよいが、同じである必要はない)。一方では行部分の共通の境界の局部に位置し、他方では列部分の共通の境界の局部に位置する画素に、コントラスト測度を関連付ける。
【００４０】
次に、このように計算された水平方向のコントラスト測度と、垂直方向のコントラスト測度とを比較して、２つの値のうちの大きい方(式（９）に示されているように水平方向−垂直方向の測度と称する）を、影を付けた画素に関連付けて、メモリに記憶する。
【００４１】
(ピクチャの垂直方向のエッジから垂直方向の距離Ｖ１、Ｖ２内にあって、且つピクチャの水平方向のエッジから水平方向の距離Ｈ１、Ｈ２内にある）ピクチャ中の各画素に対して、この処理手順を繰り返して、Ｈ１、Ｈ２、Ｖ１、又はＶ２のウィンドウサイズで、画素に対してスライディングウィンドウ分析を行なう。次に、ピクチャ(フレーム)中の各画素に対する水平方向−垂直方向の測度を平均して、次に、各ピクチャに関連するこの全体的な測度を、複数のピクチャで平均して、シーケンス平均測度を取得する。全体的な測度が平均されるピクチャ数は、ビデオシーケンスの性質と、場面の変化（scene change）間の時間とによって決まり、数秒であり得る。後述でより詳しく記載されるように、ピクチャの一部のみをこのやり方で分析する必要がある。
【００４２】
ピクチャ中の様々な位置におけるコントラストを測定して平均することによって、ピクチャの複雑さの基本的な測度が得られる。ピクチャの複雑さは歪みをマスクし、従って、一定の歪みに対して、ピクチャがより良い品質を有すると、観測者に思わせることができるので、ピクチャの複雑さの程度を使用して、観察者がビデオ信号に関連付ける主観的品質の程度を部分的に予測することができる。
【００４３】
影を付けた画素の周りのそれぞれのエリアの幅又は高さは、観測者が複雑さを認めるディテールのレベルに関係付けられる。従って、画像が遠くから表示されている場合に、観察者がピクチャに近付くと予想される状況では、より大きくなるようにそれらを選択する。一般に、観察者にとって快適な、ピクチャからの距離は、ピクチャのサイズによって決まり、更に、ピクチャのサイズは、画素のサイズと画素の寸法とによって決まる(一般に、より大きなディスプレイは、より多くの画素ではなく、より大きな画素を有するが、既定の画素密度の場合に、ディスプレイのサイズも要因になり得る)。一般に、Ｈ１、Ｈ２及びＶ１、Ｖ２は各々、それぞれのピクチャの寸法の０．５％乃至２％になると予想される。例えば、水平方向に７２０画素があり、各集合が平均で４画素を含む場合に、水平方向の値は、４×１００／７２０＝０．５６％であり得る。垂直方向に５７６画素がある場合に、垂直方向では、４×１００／５７６＝０．６９％であり得る。
【００４４】
より詳しくは、画素の差のコントラスト測度ＣｈとＣｖは、以下に従って計算される。
【数７】
【００４５】
なお、ｄ（ｎ，ｘ，ｙ）は、復号されたシーケンスｄ中のＮ個のフレームのうちのｎ番目のフレームであって、Ｘ個の水平方向の画素（ｘ＝０．．Ｘ−１）とＹ個の垂直方向の画素（ｙ＝０．．Ｙ−１）とから成る寸法を有するフレーム内の画素強度値（０．．２５５）である。
【数８】
【００４６】
なお、Ｈ１とＨ２は、水平方向の画素を分析するためのウィンドウの長さであり、Ｖ１とＶ２は、垂直方向の画素を分析するためのウィンドウの長さである。
【００４７】
次に、ＣｈとＣｖとを組み合わせて、水平方向−垂直方向の測度Ｃｈｖを提供する。
【数９】
【００４８】
我々の先行特許出願では、次に、以下に従って、フレームについて、Ｃｈｖを使用して、全体的な画素の差の測度ＣＦを計算する。
【数１０】
【００４９】
次に、シーケンス平均測度ＣＳを計算する。
【数１１】
【００５０】
復号されたトレーニングシーケンスの各々について、Ｈ１＝４、Ｈ２＝１、及びＶ１＝２、Ｖ２＝１を使用して、シーケンス平均測度ＣＳを計算する。この結果とＡｖＱｓｔｅｐとのプロットが、図４に示されている。
【００５１】
我々の先行特許出願は、シーケンスの雑音マスキング特性に測度ＣＳを関係付けた結果を示している。一定の量子化ステップサイズの場合に、高いＣＳは、高いマスキング、従って、より高いＭＭＯＳであることを示唆する。後述の重回帰分析においてＣＳを含むことによって、非参照の品質推定にＣＳ測度を使用できる可能性をテストした。シーケンス平均コントラスト測度ＣＳは、水平方向と垂直方向の画素の差の測度から成る画像全体の平均ＣＦを利用している。適切に符号化された単純なエリア（plain area）である大きなエリアを含む画像に対して、このような測度は問題があり得る。その理由は、このようなエリアは、視覚的なインパクトはほとんどないかもしれないが、ＣＦ、従って、ＣＳの大きさに著しい影響を及ぼすからである。「ハープ」のテストシーケンス(図５)について、この効果の一例が見られ得る。ハープは、品質については、ほぼ最高に格付けされている(図２)が、マスキングについては、中位に格付けされている(図４)。このようなコンテンツをより良く処理するために、領域の重要性の測度を使用して、動きとディテールとの程度が高い画像の一部分の分析に注目する。
【００５２】
Ｈ２６２と、Ｈ２６３と、Ｈ２６４とのような、典型的なハイブリッドビデオ符号化アルゴリズムは、画素ブロックの予測と、結果として得られた相違ブロックの変換と、変換された係数の量子化と、これらの量子化されたシンボルのエントロピー符号化とに対する関数を含んでいる。１０Ｍｂｉｔ／ｓ未満のビットレートでブロードキャストされたフォーマットのビデオシーケンスを符号化すると、通常は、変換係数の大部分がゼロに量子化されることになる。量子化された係数が非ゼロである割合が高い場合は、予測し難く且つディテールの程度が高い領域を示す傾向がある。これらの領域は、視覚的な注目を引きつけて、量子化の影響をより大きく受ける傾向があるので、領域の分析に役立ち得る。
【００５３】
これらの符号器において見られる通常のマクロブロック構造に関する領域の分析に基づくのが、都合がよい。フレーム番号ｎ、マクロブロックｋに対して、以下に従って、ＤＣＴのアクティビティ測度Ａｃｔ１を計算することができる。
【数１２】
【００５４】
ＴＣｏｕｎｔ（ｍ）は、マクロブロック内の非ゼロの量子化された変換係数の総数である合計ｍを表わしている。
【００５５】
Ｍ（ｎ，ｋ）は、合計されるマクロブロックｋの中心にあるマクロブロックの集合を定義している。
【００５６】
Ｋ（ｎ）は、フレームｎ中の検討されるマクロブロックの集合を定義している。
【００５７】
Ｎは、検討されるシーケンス中のフレームの集合を定義している。
【００５８】
Ｍの形状とサイズとに従ってＭの中心値の集合Ｋ（ｎ）を制限することによって、又は最初の重複分析の後でＡｃｔ１（）に適切にフィルタをかけることによって、Ｍの中の非重複エリアの結果を得ることができる。ここで、第２のアプローチは、次のステップに従ってＡｃｔ１にフィルタをかけることが好ましい。
【００５９】
１．ピクチャｎに対するサーチＭＢの仮の集合ＫＭＡＸを、ＫＭＡＸ＝Ｋ（ｎ）として初期設定する。
【００６０】
２．全てのｋ∈ＫＭＡＸに対して、Ａｃｔ１（ｎ，ｋ）＝０である場合に、７へ進む。
【００６１】
３．ｋ∈ＫＭＡＸに対して、Ａｃｔ１（ｎ，ｋ）が最大になるように、ｋｍａｘ＝ｋを見付ける。
【００６２】
４．（ｍ∈Ｍ（ｎ，ｋｍａｘ）∩（ｍ≠ｋｍａｘ））である場合に、Ａｃｔ１（ｎ，ｍ）＝０に設定する。
【００６３】
５．集合ＫＭＡＸから要素ｋｍａｘを取り除く。
【００６４】
６．２に戻る。
【００６５】
７．終了。
【００６６】
「ハープ」のシーケンスのＭＰＥＧ２の符号化に、（１２）を適用する。なお、Ｍ（ｎ，ｋ）は、マクロブロックｋの中心にあるマクロブロックの３×３のエリアを定義し、Ｋは、画像の切り取られたエリアを含んでいるマクロブロックを定義している。既に記載したように、Ａｃｔ１に重複せずにフィルタをかける。
【００６７】
図６は、結果として得られたアクティビティマップの例を示している。図６は、動きのあるエリア（手）と、ディテールの多いエリアと、予測不可能エリア（シャンデリアとシャツの一部)とにおいて、最も高いアクティビティを示している。次に、フレームｎに対して、式（１３）に従って、アクティビティアレイＡｃｔ１に閾値を適用することによって、最大アクティビティ領域Ｋ１（ｎ）を定義することができる。
【数１３】
【００６８】
より大きな集合Ｋ１（ｎ）の中の全てのｋ１の集合が、条件Ａｃｔ１(ｎ，ｋ１）＞Ｔｈｒｅｓｈ１（ｎ）を満たすことを意味する。
【００６９】
式（１４）に従って、ピクチャ内における最大アクティビティの関数として、Ｔｈｒｅｓｈ１を定義することができる。
【数１４】
【００７０】
図７は、図６からのマップに対して５０％のアクティビティの閾値を適用する効果を示している。表示するために、３×３のマクロブロックの分析エリアに対して、Ａｃｔ１の適切な値を繰り返すことによって、アクティビティエリアが示される。
【００７１】
量子化の影響が最大になる領域を推定するために、示されているエリアが検討され得る。これらのマスキング特性と残りのピクチャのマスキング特性とを比較することによって、これらの領域の重要度を推定することができる。
【００７２】
Ｋ１が、最大アクティビティの、１つの領域か、又は一緒に取られた複数の領域を表わす場合に、最初に、式（１５）に従って平均コントラスト関数を計算することによって、Ｋ１のマスキング特性を推定する。
【数１５】
【００７３】
なお、Ｋ１ｔｏｔ（ｎ）は、集合Ｋ１（ｎ）のメンバ数に等しく、Ｃ０（ｋ１）は、Ｍ（ｎ，ｋ１）によってカバーされる画素エリアに対するコントラスト測度である。
【００７４】
従って、Ｃ０１（ｋ１）は、式（７）乃至（９）からの画素コントラスト測度Ｃｈｖを、ｋ１によって表わされるマクロブロック全体で合計したものとして定義される。
【数１６】
【００７５】
なお、ｘ、ｙは、それぞれの画素ｋ１の画素座標である。
【００７６】
最初の分析領域Ｋ（ｎ）内であるが、最大アクティビティ領域Ｋ１（ｎ）に含まれていないピクチャエリアも重要である。この領域はＫ２（ｎ）として定義され得る。Ｋ２（ｎ）のメンバｋ２は、式（１７）に従う。
【数１７】
【００７７】
領域Ｋ２は、領域Ｋ１よりも、視覚的な歪みが少ないと考えられるが、そのコントラスト特性は、全体的な歪みの知覚に対して重要な影響を与え得る。領域Ｋ２は、適切に予測された高コントラストエリアを有するので、領域Ｋ１に含まれていないかもしれない。しかしながら、このようなエリアは、視覚的な注目を引き寄せて、Ｋ１における歪みを全体的にマスクし得る。切り取られたピクチャＫの分析において、閾値Ｃ０Ｔｈｒｅｓｈ（ｎ）を使用することによって、Ｋ１中のピクチャエリアと同等のコントラスト特性を有するＫ２内のピクチャエリアを含んで、式（１８）に従って、集合Ｋ３（ｎ）を定義する。
【数１８】
【数１９】
【００７８】
Ｃ０Ｔｈｒｅｓｈの閾値は、テストされるシーケンスに適していることが分かっている最大アクティビティ領域Ｋ１に対するコントラスト測度の平均に等しい。（２０）に従って、アクティビティの大きい領域Ｋ１と、アクティビティは小さいが重要なコントラストを有する領域Ｋ３とを組み合わせて、領域Ｋ４を生成することができる。
【数２０】
【００７９】
式（１５）乃至（２０）に従って、「ハープ」のシーケンスについて、コントラスト分析を行なって、１つのフィールドの領域Ｋ４に対する結果を、図８に示した。
【００８０】
ここで、式（２１）に従って、各フレームに対する加重コントラスト測度ＣＷを定義することができる。
【数２１】
【００８１】
Ｋ４ｔｏｔ（ｎ）は、フレームｎに対する集合Ｋ４のメンバ数に等しい。次に、式（２２）に従って、シーケンスで平均される、領域によって加重されるコントラスト測度ＣＷＳを計算することができる。
【数２２】
【００８２】
復号されたトレーニングシーケンスの各々に対して、シーケンス平均測度ＣＷＳを計算して、その結果と平均量子化ステップサイズとのプロットを、図９に示した。
【００８３】
図９におけるＣＷＳの結果は、図４における対応するＣＳの結果に対する差を強調して示している。２つのシーケンスである「ハープ」と「景色」は、動きが少なくて、背景が単純であるという類似の特性を有しており、ＣＳによって上中位（upper-middle）のランクを付けられているが、ＣＷＳによって最上位のランクに動いている。これは、図２におけるＭＭＯＳのランク付けと良く整合していることを示している。同様に、シーケンス「バルセロナ」は、ＣＳの最上位のランクから、ＣＷＳの中位のランクに動いている。これは、図２のＭＭＯＳの中位のランク付けにより密接に整合している。
【００８４】
ＭＯＳ推定が要求される時間間隔Ｎにおいて、ここでは量子化ステップサイズに関するパラメータの平均をとるべきである。これは、ＡｖＱｓｔｅｐとＣＷＳのパラメータの１つの対を得る１つの分析期間であり得るか、又は一連のパラメータを得る一連の間隔であり得る。通常は１秒程度の長さを有するウィンドウ間隔を有する分析ウィンドウを、時系列により時間で「スライドさせる」ことによって、連続的な分析を達成できるであろう。
【００８５】
上述のアクティビティ測度Ａｃｔ１は、測度の一例である。この測度は、通常は変換係数から計算される予測残差の関数である。非ゼロの係数の総数は効果的であるが、係数の振幅によって決まる測度、例えば総エネルギ、又は総数とエネルギとの組み合わせも使用できる。
【００８６】
推定ＭＯＳ
モデル設計
量子化ステップサイズのシーケンス平均測度ＡｖｓＱｔｅｐと、加重コントラストＣＷＳ（又はその代わりに、画素コントラストＣＳ）とを使用して、主観的に測定される平均オピニオン評点ＭＭＯＳの推定値ＰＭＯＳを生成する。ＰＭＯＳは、式（２３）に従って、パラメータの組み合わせから計算される。
【数２３】
【００８７】
Ｆ１とＦ２は、ＡｖＱｓｔｅｐとＣＷＳとにおける適切な線形又は非線形関数である。Ｋ０は、定数である。
【００８８】
ＰＭＯＳの範囲は、１．．５である。なお、５は、優れた品質に相当し、１は、悪い品質に相当する。Ｆ１と、Ｆ２と、Ｋ０は、多くの市販の統計ソフトウェアパッケージにおいて利用可能な適切な回帰分析(例えば、線形、多項式、又は対数)によって決定され得る。このような分析には、既知の主観的品質の１組のトレーニングシーケンスが必要である。次に、従属変数としてＭＭＯＳを用いて、独立変数としてＡｖＱｓｔｅｐとＣＷＳとを用いて、回帰分析により、Ｆ１と、Ｆ２と、Ｋ０とによって定義されるモデルを導き出すことができる。一般に、結果として得られたモデルを使用して、テストシーケンスの品質を予測する。テストシーケンスの品質は、トレーニングで使用されるものと同様に、劣化(コーデックタイプ及び圧縮率)を受けている。しかしながら、ビデオのコンテンツは、異なっていてもよい。
【００８９】
ここに提示されているＭＰＥＧ２の符号化された最大解像度のブロードキャストシーケンスに対して、適切な非線形モデルは、以下の通りであることが分かった。
【数２４】
【００９０】
次に、結果として得られた推定値を、以下に従って制限する。
【数２５】
【００９１】
ＭＯＳ推定が要求される時間間隔に対して、パラメータの平均を取るべきである。モデルの較正におけるように、これは、ＡｖＱｓｔｅｐとＣＷＳのパラメータの１つの対を得る１つの分析期間であり得るか、又は一連のパラメータを得る一連の間隔であり得る。通常は１秒程度の長さを有するウィンドウ間隔を有する分析ウィンドウを、ＡｖＱｓｔｅｐとＣＷＳの時系列により時間で「スライドさせる」ことによって、連続的な分析を達成できるであろう。
【００９２】
結果
先ず、多くの市販の統計ソフトウェアパッケージにおいて利用可能な、標準の線形及び多項式／対数の回帰分析を使用して、トレーニング集合に対するＭＭＯＳ（従属変数）をＡｖＱｓｔｅｐ（独立変数）によってモデル化する。次に、テストシーケンスに対して、結果として得られたモデルを使用する。次に、ＣＳ、次にＣＷＳを、追加の独立変数として使用して、これを繰り返す。各モデルについて、推定平均オピニオン評点(ＰＭＯＳ）と、測定平均オピニオン評点(ＭＭＯＳ)とにおける相関関係とＲＭＳ残差を、テーブル５に示した。
【表５】
【００９３】
この結果は、シーケンスで平均される、領域によって加重されるコントラスト測度ＣＷＳを、ＡｖＱｓｔｅｐに基づくＭＯＳ推定モデルに含むと、トレーニングデータ集合とテストデータ集合との両者に対する性能が著しく向上することを示している。図１０は、ＡｖＱＰ／ＣＳモデルに対する個々のトレーニングの結果とテストの結果を、図１１は、ＡｖＱＰ／ＣＷＳモデルに対する個々のトレーニングの結果とテストの結果を、それぞれ散布図の形で示している。
【００９４】
上述に記載されている方法の幾つかのバリエーションが構想され得る。例えば、既に記載したように、エッジ効果を回避するために除外されたボーダ領域を除いた、全体的なピクチャエリアに対して、品質測定を行なったが、希望であれば、ピクチャの中のより小さな部分、即ち、エリアのみを評価してもよい。ピクチャ内の関心領域を識別するための既知の「視覚的注目」アルゴリズムを使用して、これを選択してもよい。別のアプローチでは、測度ＡｖＱｓｔｅｐの計算を、エリアＫ１（又はＫ４）に制限してもよい。
【００９５】
予測を使用せずに符号化されたマクロブロックをピクチャが含んでいる場合に、実際には、上述のやり方でこれらのブロックを処理すると、全体的な結果にあまり影響を及ぼさないことが分かった。しかしながら、これが問題になる場合は、このようなマクロブロックを全てプロセスから除外してもよい。
【００９６】
結論
ビデオ復号器内で実施される２つのパラメータのモデルから、主観的ビデオ品質を適切に予測できることが、既存の著作物[１]に示されている。ここでは、量子化ステップサイズに基づく測度と平均コントラストに基づく測度とを使用している既存の技術は、新たに領域によって加重されるコントラスト測度ＣＷＳを使用することによって改善され得ることが示されている。
【００９７】
先ず、非ゼロの量子化された変換係数の総数を使用して、ピクチャの最重要エリアを識別するように、最大アクティビティ領域Ｋ１を定義する。非ゼロの量子化された係数の割合が高い場合に、予測し難く且つディテールの程度が高い領域を示す傾向がある。これらの領域は視覚的な注目を引きつけて、量子化の影響をより大きく受ける傾向があるので、領域の分析に役に立ち得る。
【００９８】
次に、最大アクティビティ領域Ｋ１を使用して、全体的なピクチャのマスキング特性の評価に対するコントラスト閾値Ｃ０Ｔｈｒｅｓｈを決定する。領域Ｋ１の中にないピクチャの部分は、視覚的な歪みがより少ないと考えられる一方で、全体的な歪みの知覚に対して、これらのコントラスト特性は重要な影響を有し得る。適切に予測され、従って、領域Ｋ１に含まれていない高コントラストエリアは、視覚的な注目を引きつけて、Ｋ１における歪みを全体的にマスキングすることができる。領域によって加重されるコントラストの分析において、閾値Ｃ０Ｔｈｒｅｓｈよりも高いコントラスト特性を有するピクチャの全エリアを含んで、測度ＣＷＳを提供する。この技術は、アクティビティが大きく且つコントラストの低い領域と、アクティビティが小さく且つコントラストの高い領域とを考慮に入れることによって、効果が得られる。
【００９９】
７００Ｋｂｐｓ乃至１８Ｍｂｐｓのビットレートで、ＭＰＥＧ２で符号化された、１８個の異なるコンテンツのクリップに対する結果が提示されている。この結果は、ＣＷＳの測度が、元のモデルに対して性能を著しく改善することを示している。
【０１００】
参照文献
[１]Ａ．Ｇ.デイビス（A. G. Davis）、「Ｈ．２６４の復号器に対する非参照ビデオ品質予測（No-reference Video Quality Prediction For a H.264 Decoder）」、発行予定。
【０１０１】
[２]ＩＳＯ／ＩＥＣ １３８１８−２及びＩＴＵ−Ｔ Ｒｅｃ．Ｈ２６２：情報技術−動画及び関連するオーディオ情報の包括的な符号化：ビデオ（ISO/IEC 13818-2 and ITU-T Rec. H.262 : Information technology - Generic coding of moving pictures and associated audio information: Video）、http://www.itu.int/rec/T-REC-H.262/en。
【０１０２】
[３]ビデオ品質評価の対象モデルの検証に関するビデオ品質エキスパートグループからの最終報告、第２期（Final report from the Video Quality Experts Group on the Validation of Objective Models of Video Quality Assessment, Phase 2）、www.vqeg.org。
【０１０３】
[４]ＩＴＵ−Ｔ，Ｊ．１４４、「全体的な参照を行うディジタルケーブルテレビジョンに対する目標知覚ビデオ品質測定技術（ITU-T, J.144, "Objective perceptual video quality measurement techniques for digital cable television in the presence of a Ml reference"）」。
【０１０４】
[５]ＩＴＵ−Ｔ、Ｊ．１４３、「ディジタルケーブルテレビジョンにおける目標知覚ビデオ品質測定に対するユーザの要求（ITU-T, J.143, "User Requirements for Objective Perceptual Video Quality Measurements in Digital Cable Television"）」。
【０１０５】
[６]ＩＳＯ／ＩＥＣ １４４９６−１０及びＩＴＵ−Ｔ Ｒｅｃ．Ｈ２６４、高度なビデオ符号化、２００３年（ISO/IEC 14496-10 and ITU-T Rec. H.264, Advanced Video Coding, 2003）。
【０１０６】
[７]ＶＱＥＧ１シーケンスデータベース、アドレス（VQEG1 sequence database, address）:ftp://ftp.crc.ca/crc.ca/crc/vqeg/TestSequences/ALL_625/
[８]Ｗ．オズバーガ（W. Osberger）、Ｓ．ハモンド（S. Hammond）、Ｎ．バーグマン（N. Bergmann）、「知覚に基づく量子化を取り入れたＭＰＥＧ符号器（"An MPEG Encoder Incorporating Perceptually Based Quantisation"）」、ＩＥＥＥ ＴＥＮＣＯＮ−計算及び遠隔通信に対するスピーチ及び画像技術、７３１−７３３頁、１９９７年（IEEE TENCON - Speech and Image Technologies for Computing and Telecommunications, pp. 731-733, 1997）。
【０１０７】
[９]アツル プーリー（Atul Puri）及びＲ．アラビンド（R. Aravind）、「適応知覚量子化を用いた動き圧縮ビデオ符号化（"Motion-Compensated Video Coding with Adaptive Perceptual Quantization"）」、ビデオ技術のための回路及びシステムに対するＩＥＥＥトランザクション、Ｖｏｌ．１、Ｎｏ．４、３５１−３６１頁、１９９１年１２月（IEEE Transactions On Circuits and Systems for Video Technology, Vol. 1, No. 4, pp 351-361, Dec. 1991）。
【０１０８】
[１０]ボ・タオ（Bo Tao）、ブラッドリー Ｗ. ディキンソン（Bradley W. Dickinson）、ハイジ Ａ. ピーターソン（Heidi A. Peterson）、「ＭＰＥＧビデオ符号化のための適応モデル駆動型のビット割り振り（"Adaptive Model-Driven Bit Allocation for MPEG Video Coding"）」、ビデオ技術のための回路及びシステムに対するＩＥＥＥトランザクション、Ｖｏｌ．１０、Ｎｏ．１、１４７−１５７頁、２０００年２月（IEEE Transactions on Circuits and Systems for Video Technology, Vol. 10, No. 1, pp 147-157, Feb. 2000）。
【技術分野】
【０００１】
本発明は、特に、圧縮アルゴリズムを使用してビデオ信号を符号化した状況における、ビデオ品質の測定に関する。
【背景技術】
【０００２】
１つの場所から別の場所にビデオ信号を送信する場合に、符号化アルゴリズムを使用して信号を符号化又は圧縮すると、符号化しなかった場合に必要とされたであろう帯域幅よりも少ない帯域幅を使用して、符号化された信号を送信できることが知られている。符号化された信号は、受信されると、元の信号を復元するために復号される。多くの符号化技術では、二次元コサイン変換を行って、一連の変換係数を生成し、その大きさを量子化する。従って、帯域幅を効率的に割り振ることができ、量子化の粒度、即ちステップサイズに変化をもたせることができる。
【０００３】
ビデオシーケンスの符号化及び復号プロセスにより、歪みが生じ、又はさもなければ、信号品質が下がる場合がある。歪みのレベルを測定する１つのやり方では、歪んだビデオシーケンスにおける知覚可能な歪みのレベルについての観察者（viewer）の意見に注目して、その結果を平均して、平均オピニオン評点（Mean Opinion Score, MOS）を取得することを必要とする。しかしながら、これは時間のかかるプロセスであり得る。従って、観察者がビデオシーケンスにおいて知覚するであろう品質の損失を予測できることが望ましい。符号化／復号して送信するプロセスの結果としてのビデオ品質の劣化は、元のシーケンスを参照することによって得られるが、このようなアプローチは不便である場合が多い。
【０００４】
予測符号化では、実際の信号と予測信号との差を送信する場合がある。実際の信号と予測信号との差は、「予測残差」として知られている。通常は、それを量子化したものを送信する。
【０００５】
我々の現在係属中の国際特許出願ＷＯ２００７／０６６０６６号によると、複数のフレームを表すビデオ信号に対する品質測度を生成する方法であって、前記ビデオ信号は、元の形式と、符号化された形式と、復号された形式と、を有し、前記符号化された形式では、圧縮アルゴリズムを使用して、前記ビデオ信号が符号化されており、前記圧縮アルゴリズムは、前記符号化されたビデオ信号が、関連する量子化ステップサイズパラメータを有するように、可変量子化ステップサイズを利用しており、前記復号された形式では、前記符号化されたビデオ信号は、前記元の形式に少なくとも部分的に再変換されていて、前記方法は、ａ）前記量子化ステップサイズパラメータの関数である第１の品質測度を生成するステップと、ｂ）前記復号された形式の前記ビデオ信号によって表されている前記フレームの少なくとも一部分の空間複雑度の関数である第２の品質測度を生成するステップと、ｃ）前記第１の品質測度と前記第２の品質測度とを組み合わせるステップと、を含む方法、が提供されている。
【０００６】
予測符号化では、実際の信号と予測信号との差を送信する場合がある。実際の信号と予測信号との差は、「予測残差」として知られている。通常は、それを量子化したものを送信する。
【発明の概要】
【０００７】
本発明によると、複数のフレームを表すビデオ信号に対する品質測度を生成する方法であって、前記ビデオ信号は、元の形式と、符号化された形式と、復号された形式と、を有し、前記符号化された形式では、圧縮アルゴリズムを使用して、前記ビデオ信号が符号化されており、前記圧縮アルゴリズムは、前記符号化されたビデオ信号が、関連する量子化ステップサイズパラメータを有するように、可変量子化ステップサイズを利用し、且つ前記符号化されたビデオ信号が、前記ビデオ信号の予測残差の表現を含むように、差分符号化を利用しており、前記復号された形式では、前記符号化されたビデオ信号が、前記元の形式に少なくとも部分的に再変換されていて、前記方法は、
ａ）所定の関係に従って、前記量子化ステップサイズパラメータによって決まる第１の品質測度を生成するステップと、
ｂ）所定の関係に従って、前記復号された形式の前記ビデオ信号によって表されている前記フレームの少なくとも一部分の空間複雑度によって決まるマスキング測度を生成するステップと、
ｃ）所定の関係に従って、前記第１の品質測度と前記マスキング測度との両者によって決まる、組み合わされた測度を生成するステップと、
を含み、
前記方法は、更に、
所定の関係に従って、前記ビデオ信号の予測残差によって決まる第２の測度を生成するステップと、
前記第２の測度が閾値を超えている、ピクチャの１つ以上の領域を識別するステップと、
を含み、
前記マスキング測度が、所定の関係に従って、前記識別された領域の前記空間複雑度によって決まる、方法、が提供されている。
【０００８】
本発明の別の態様は、請求項に示されている。
【０００９】
ここで、更に、添付の図面を参照して、本発明の幾つかの実施形態を例示的に記載する。
【図面の簡単な説明】
【００１０】
【図１】ビデオシーケンスの品質を推定する装置を、機能に関して示したブロック図である。
【図１ａ】ピクチャ中の画素に対して、水平方向のコントラスト測度がどのように計算されるかを示している。
【図１ｂ】図１ａのピクチャ中の画素に対して、垂直方向のコントラスト測度がどのように計算されるかを示している。
【図２】図１のシステムにおけるテスト結果を示すプロットを示している。
【図３】図１のシステムにおけるテスト結果を示すプロットを示している。
【図４】図１のシステムにおけるテスト結果を示すプロットを示している。
【図５】図１のシステムにおけるテスト結果を示すプロットを示している。
【図６】図１のシステムにおけるテスト結果を示すプロットを示している。
【図７】図１のシステムにおけるテスト結果を示すプロットを示している。
【図８】図１のシステムにおけるテスト結果を示すプロットを示している。
【図９】図１のシステムにおけるテスト結果を示すプロットを示している。
【図１０】図１のシステムにおけるテスト結果を示すプロットを示している。
【図１１】図１のシステムにおけるテスト結果を示すプロットを示している。
【発明を実施するための形態】
【００１１】
以下に記載されている実施形態は、非参照の、復号器に基づいてビデオ品質を評価するツール（no-reference, decoder-based video quality assessment tool)に関する。復号されたビデオの主観的品質を推定するために、このツールのアルゴリズムは、各復号されたマクロブロックに対する量子化ステップサイズパラメータ（通常は、符号化された入力ビデオストリームに含まれている変数）と、各復号されたピクチャからの画素強度値とを使用して、ビデオ復号器内で実行することができる。各フレームの復号された画素に対して、スライディングウィンドウ平均画素強度差（画素コントラスト測度）を計算して、結果として得られた平均（ＣＷＳ）を、ビデオの雑音マスキング特性の測度として使用する。次に、ＣＷＳパラメータとステップサイズパラメータの平均との関数として、品質を推定する。この関数は、特徴的な復号されたシーケンスのトレーニングデータベースと、そのシーケンスに対する前に取得した主観的スコアとに対して、重回帰分析を行なうことによって、事前に決定される。一方のステップサイズと、他方の、複雑度を推定するためのスライディングウィンドウ平均画素強度差の測度との組み合わせを使用して、主観的品質を適切に推定する。
【００１２】
原則として、使用される測定プロセスは、変換符号化を使用し且つ可変量子化ステップサイズを有する圧縮技術を用いて符号化されたビデオ信号に、概ね適用することができる。しかしながら、記載されているバージョンは、Ｈ．２６２標準とＨ．２６４標準とに従って符号化された信号に使用するように設計されている（しかしながら、これは、他のＤＣＴの基づく標準コーデック、例えば、Ｈ．２６１、Ｈ．２６３、ＭＰＥＧ−２（フレームベース）、等にも適用される）。
【００１３】
この測定方法は、非介入（non-intrusive）又は「非参照（no-reference）」タイプに関する。即ち、この測定方法は、元の信号のコピーにアクセスする必要がない。この方法は、適切な復号器内で使用するように設計されているので、符号化されたビットストリームからのパラメータと、復号されたビデオピクチャからのパラメータとの両者にアクセスしなければならない。
【００１４】
先ず、この技術をトレーニングしてテストするために使用されるビデオデータベースについて説明しなければならない。ビデオデータベースは、異なる８秒のシーケンスを１８本、即ち、６２５ラインのブロードキャストフォーマットの全てから構成されている。シーケンスのうちの６本は、ＶＱＥＧフェーズＩのデータベース[７]からであり、残りのシーケンスは、他の場所から得る。品質パラメータは、各シーケンスの持続期間における平均に基づくので、動きとディテールとについて一貫した特性を有するコンテンツを選択するのが重要である。シーケンスの詳細は、テーブル１に示されている。
【表１】
【００１５】
符号化
Ｈ．２６２の符号器を使用して、トレーニングシーケンスとテストシーケンスとの全てを符号化する。各々に対して設定された符号器のオプションは同じである。レート制御をディスエーブルにして、量子化パラメータ（quantisation parameter, QP）を固定して、Ｉ、Ｐ、Ｂ、Ｐ、Ｂ、Ｐのフレームパターンを使用する。次に、各ソースファイルに対するテスト間で、量子化ステップサイズパラメータをインクリメントする。
【００１６】
トレーニング集合とテスト集合との両者に対して、１２個の主題を使用して、一定の形式による単一の刺激の主観的テストを行なう。５段階のＡＣＲ評価尺度を使用して、主観的スコアを取得する。テーブル２(トレーニング集合)とテーブル３(テスト集合)とに、平均オピニオン評点（averaged mean opinion score, MMOS）の結果を示した。
【表２】
【表３】
【００１７】
図１に示されている装置において、入力信号を入力１で受信して、ビデオ復号器に渡す。ビデオ復号器は復号して、各ピクチャに対して次のパラメータを出力する。
【００１８】
復号されたピクチャ(Ｄ)
水平方向の復号されたピクチャの、画素におけるサイズ（Ｘ）
垂直方向の復号されたピクチャの、画素におけるサイズ（Ｙ）
水平方向の復号されたピクチャの、マクロブロックにおけるサイズ（Ｍｘ）
垂直方向の復号されたピクチャの、マクロブロックにおけるサイズ（Ｍｙ）
量子化ステップサイズパラメータの集合（Ｑ）
ＤＣＴ係数（Ｒ）
装置には、２本の分析経路がある。２本の分析経路は、ピクチャ平均量子化ステップサイズ信号（picture-averaged quantiser step-size signal, AvQstep(n)）(ユニット３)と、ピクチャ平均コントラスト測度（picture-averaged contrast measure, CWS）(ユニット４)とを計算する役割を有する。次に、ユニット５は、信号ＡｖＱｓｔｅｐ（ｎ）の時間平均とＣＷ（ｎ）の時間平均とをとって、信号ＡｖＱｓｔｅｐとＣＷＳとをそれぞれ提供する。最後に、ユニット６において、これらの信号を組み合わせて、復号されたビデオシーケンスＤに対する主観的品質の推定値ＰＭＯＳを提供する。要素３乃至６は、個々のハードウェア要素によって実施され得るが、適切にプログラムされたプロセッサを使用して、これらの全ての段階を実施すると、より便利である。
【００１９】
ピクチャ平均Ｑ
この第１のバージョンは、Ｈ．２６４に適しており、復号器から出力された量子化ステップサイズ信号Ｑを使用する。Ｑは、現在の復号されたピクチャの各マクロブロックに対して、１つの量子化ステップサイズパラメータ値(quantiser step-size parameter value, QP)を含んでいる。Ｈ．２６４の場合に、量子化パラメータＱＰは、変換係数を符号化するために使用される線形量子化の空間ＱＳＴＥＰを定義している。実際には、ＱＰは、予め定義された空間のテーブルにインデックスを付し、ＱＰが６インクリメントするごとに、ＱＳＴＥＰのサイズは２倍になる。ユニット３において、ピクチャ平均量子化パラメータＱＰＦは、次のように計算される。
【数１】
【００２０】
ＭＸは、ピクチャ中の水平方向のマクロブロック数であり、ＭＹは、垂直方向のマクロブロック数である。Ｑ（ｉ，ｊ）は、位置（ｉ，ｊ）におけるマクロブロックの量子化ステップサイズパラメータである。
【００２１】
上述で定義されている分析は、Ｈ．２６４のメインプロファイルに関する。Ｈ．２６２における量子化プロセスは、この分析に十分に変更できない。従って、幾つかの修正が必要である。Ｈ．２６２において、イントラＤＣ係数と他の全ての変換係数とは、量子化プロセスが異なる。単純化のために、ＡＣ変換係数のみに制限して、量子化の結果を分析する。
【００２２】
ＡＣ変換係数の場合に、符号化プロセスによって取り込まれる量子化雑音量は、量子化スケーリング係数ＱＰと重み行列ｑＷｅｉｇｈｔとを組み合わせることによって決定される。係数ＱＰは、マクロブロック内の全てのＤＣＴ係数の量子化に対して１つの定数であるが、マクロブロック間では様々に異なり得る(即ち、前のマクロブロックのＱＰから僅かに変化＋／−する)。行列ｑＷｅｉｇｈｔは、８×８のＤＣＴ行列の各成分に対して、ユーザ定義の重み係数を与え、通常は符号器を初期化するときに設定される。これは、シーケンスレベルにおいてのみ設定されるので、各マクロブロックに対して同じである。
【００２３】
フレームｎ内のマクロブロックｋについて、レベル値ｌｅｖに量子化されたＤＣＴ係数成分ｊを、（１）に従って係数ｑＤＣＴに復号する。
【数２】
【００２４】
なお、Ｎは、ビデオシーケンス中のフレームの集合を表わし、Ｋ（ｎ）は、フレームｎ内で分析されるマクロブロックの集合である。変数ｃは、[２]で定義されているように{−０，１，＋１}のうちの１つの値を有する符号のオフセットである。
【００２５】
成分ｊに対する実際の量子化ステップサイズＱｓｔｅｐは、（２）によって計算することができる。
【数３】
【００２６】
スケーリング係数ＱＰは、インデックスＱＰｉによって、予め定められた値の固定された集合のうちの１つに設定される。テーブル４に示されているように、値の２つの集合が標準によって定義されており、線形又は非線形に間隔を置いたパラメータの選択肢を提供している。
【表４】
【００２７】
各マクロブロックに対する重み行列の効果を反映するように、加重量子化パラメータｗＱｓｔｅｐを定義することができる。
【数４】
【００２８】
（４）において、Ｊは、平均される変換係数の集合を定義しており、Ｊｔｏｔは、その集合中のメンバ数に等しい。
【００２９】
重み行列ｑＷｅｉｇｈｔの効果を詳しく検討すると、この調査の範囲を超えてしまうが、集合Ｊの２つの異なる定義をテストした。
【００３０】
Ｊ１＝{最高周波数の３つのＡＣ係数（これらがアクティブであるかどうかは関係ない）}
Ｊ２＝{全てのアクティブな（非ゼロの）ＡＣ係数}
（５）に従って、フレームｎに対する、平均ステップサイズ測度ＡｖＱｓｔｅｐ（ｎ）を計算することができる。
【数５】
【００３１】
Ｋ（ｎ）は、フレームｎ中の分析されるマクロブロックの集合を定義している。通常、これは、エッジ領域を除いたピクチャ全体である。即ち、ピクチャは切り取られている。それ自体が切り取られているビデオがあるので、境界効果が回避される。通常は、ピクチャの中心が、視覚的な注目にとって最も重要である。
【００３２】
（６）に従って、平均量子化ステップサイズのシーケンス平均測度を計算することができる。
【数６】
【００３３】
各テストに対して、重み行列を定めて、６、８、１０、１２、１４、１６、１８、２０、２２、２４、２６、及び３２からのＱＰｉ値に従って、ＱＰの値を設定する。各テストに対して、（６）に従って、ＡｖＱｓｔｅｐを決定し、（４）において、集合Ｊ１を使用する。図２は、９個のトレーニングシーケンスの各々について、測定された平均オピニオン評点ＭＭＯＳに対するＡｖＱｓｔｅｐを示している。図３は、９個のテストシーケンスについて、同じものを示している。１秒当たりに２５フレームで、８秒の持続期間を有するシーケンスに対して、シーケンス平均をとる。即ち、式６において、Ｎ＝２００である。
【００３４】
図２と３は、ＡｖＱｓｔｅｐが、主観的スコアＭＭＯＳの適切な基本予測子であることと、コンテンツのタイプによって、曲線が一貫してかなり離れていることとを示している。ＡｖＱｓｔｅｐとＭＭＯＳとの相関は、トレーニング集合の場合に０．８９、テストの場合に０．９１であると計算された(テーブル４を参照)。
【００３５】
Ｈ．２６４の場合に、量子化重み行列(Ｈ．２６２と同様の原理)は、「ハイプロファイル」で定義され得ることに留意すべきである。重み行列は、シーケンス又はピクチャレベルに対して、「フラット」、「デフォルトの非フラット」、又は「ユーザ定義」として定義することができ、４×４のイントラ変換と、４×４のインター変換と、８×８のイントラ変換と、８×８のインター変換とに適用される(ハイプロファイルでは、８×８の変換のみが利用可能である)。Ｈ．２６２に対して提案されているアプローチと同様のアプローチを、Ｈ．２６４のハイプロファイルに対しても使用することができる。
【００３６】
コントラスト測度の計算
歪みのマスキングは、符号化されたビデオシーケンス内の歪みの知覚に影響を及ぼす重要な要素である。このようなマスキングを行なうのは、人間の知覚のメカニズムが、同じスペクトル、時間、又は空間の位置の中にある、信号成分と雑音成分とを区別できないからである。ビデオ符号器の設計において、歪みのマスキングについて検討することは非常に重要であり、この場合に、ビットの効率的な割り振りは不可欠である。この分野における研究は、変換と画素領域の両者において行なわれてきたが[８、９、１０]、ＣＳに対しては、画素領域のみが検討されている。
【００３７】
図１ａと１ｂは、水平方向にＸ画素且つ垂直方向にＹ画素のサイズのピクチャ内の位置（ｘ，ｙ）の画素ｐ（ｘ，ｙ）について、コントラスト測度をどのように計算するかを示している。
【００３８】
水平方向のコントラスト測度を計算するための分析は、図１ａに示されている。ここでは、影を付けた領域によって示されている画素ｐ（ｘ，ｙ）に対して、コントラスト測度を計算する。同等サイズの近隣エリアを選択する(近隣エリアのうちの１つは、影を付けた画素を含んでいる)。各エリアは、影を付けた画素が位置する行（row）の（好ましくは、連続する）画素の集合から形成されている。各エリアにおける画素強度を平均して、次に、下記の式（７）に従って、平均値の絶対差を計算する。コントラスト測度は、この差の値である。垂直方向のコントラスト測度は、図１ｂに示されているように同様のやり方で計算される。ここでは、上方の画素集合と下方の画素集合とを選択する。選択される画素の各々は、同じ列（column）に位置している。影を付けた画素は、上方の集合と下方の集合とのボーダに隣接している。上方の集合と下方の集合とにおいて、画素強度を平均して、次に、各集合の平均強度の差を評価する。この差の絶対値は、下記の式（８）に示されている垂直方向のコントラスト測度、即ち、垂直方向におけるコントラストの測度である。この例では、影を付けた画素は、下方の集合に含まれている。しかしながら、コントラスト測度に関連付けられる画素の位置が、比較される画素の集合によって共有される境界の近くあるならば、その画素の位置は任意である。
【００３９】
次に、水平方向のコントラスト測度を取得するために、長さＨ１の行部分と、長さＨ２の行部分とを比較する。一方で、垂直方向のコントラスト測度を取得するために、長さＶ１の列部分と、長さＶ２の列部分とを比較する(長さＨ１、Ｈ２及びＶ１、Ｖ２は、同じであってもよいが、同じである必要はない)。一方では行部分の共通の境界の局部に位置し、他方では列部分の共通の境界の局部に位置する画素に、コントラスト測度を関連付ける。
【００４０】
次に、このように計算された水平方向のコントラスト測度と、垂直方向のコントラスト測度とを比較して、２つの値のうちの大きい方(式（９）に示されているように水平方向−垂直方向の測度と称する）を、影を付けた画素に関連付けて、メモリに記憶する。
【００４１】
(ピクチャの垂直方向のエッジから垂直方向の距離Ｖ１、Ｖ２内にあって、且つピクチャの水平方向のエッジから水平方向の距離Ｈ１、Ｈ２内にある）ピクチャ中の各画素に対して、この処理手順を繰り返して、Ｈ１、Ｈ２、Ｖ１、又はＶ２のウィンドウサイズで、画素に対してスライディングウィンドウ分析を行なう。次に、ピクチャ(フレーム)中の各画素に対する水平方向−垂直方向の測度を平均して、次に、各ピクチャに関連するこの全体的な測度を、複数のピクチャで平均して、シーケンス平均測度を取得する。全体的な測度が平均されるピクチャ数は、ビデオシーケンスの性質と、場面の変化（scene change）間の時間とによって決まり、数秒であり得る。後述でより詳しく記載されるように、ピクチャの一部のみをこのやり方で分析する必要がある。
【００４２】
ピクチャ中の様々な位置におけるコントラストを測定して平均することによって、ピクチャの複雑さの基本的な測度が得られる。ピクチャの複雑さは歪みをマスクし、従って、一定の歪みに対して、ピクチャがより良い品質を有すると、観測者に思わせることができるので、ピクチャの複雑さの程度を使用して、観察者がビデオ信号に関連付ける主観的品質の程度を部分的に予測することができる。
【００４３】
影を付けた画素の周りのそれぞれのエリアの幅又は高さは、観測者が複雑さを認めるディテールのレベルに関係付けられる。従って、画像が遠くから表示されている場合に、観察者がピクチャに近付くと予想される状況では、より大きくなるようにそれらを選択する。一般に、観察者にとって快適な、ピクチャからの距離は、ピクチャのサイズによって決まり、更に、ピクチャのサイズは、画素のサイズと画素の寸法とによって決まる(一般に、より大きなディスプレイは、より多くの画素ではなく、より大きな画素を有するが、既定の画素密度の場合に、ディスプレイのサイズも要因になり得る)。一般に、Ｈ１、Ｈ２及びＶ１、Ｖ２は各々、それぞれのピクチャの寸法の０．５％乃至２％になると予想される。例えば、水平方向に７２０画素があり、各集合が平均で４画素を含む場合に、水平方向の値は、４×１００／７２０＝０．５６％であり得る。垂直方向に５７６画素がある場合に、垂直方向では、４×１００／５７６＝０．６９％であり得る。
【００４４】
より詳しくは、画素の差のコントラスト測度ＣｈとＣｖは、以下に従って計算される。
【数７】
【００４５】
なお、ｄ（ｎ，ｘ，ｙ）は、復号されたシーケンスｄ中のＮ個のフレームのうちのｎ番目のフレームであって、Ｘ個の水平方向の画素（ｘ＝０．．Ｘ−１）とＹ個の垂直方向の画素（ｙ＝０．．Ｙ−１）とから成る寸法を有するフレーム内の画素強度値（０．．２５５）である。
【数８】
【００４６】
なお、Ｈ１とＨ２は、水平方向の画素を分析するためのウィンドウの長さであり、Ｖ１とＶ２は、垂直方向の画素を分析するためのウィンドウの長さである。
【００４７】
次に、ＣｈとＣｖとを組み合わせて、水平方向−垂直方向の測度Ｃｈｖを提供する。
【数９】
【００４８】
我々の先行特許出願では、次に、以下に従って、フレームについて、Ｃｈｖを使用して、全体的な画素の差の測度ＣＦを計算する。
【数１０】
【００４９】
次に、シーケンス平均測度ＣＳを計算する。
【数１１】
【００５０】
復号されたトレーニングシーケンスの各々について、Ｈ１＝４、Ｈ２＝１、及びＶ１＝２、Ｖ２＝１を使用して、シーケンス平均測度ＣＳを計算する。この結果とＡｖＱｓｔｅｐとのプロットが、図４に示されている。
【００５１】
我々の先行特許出願は、シーケンスの雑音マスキング特性に測度ＣＳを関係付けた結果を示している。一定の量子化ステップサイズの場合に、高いＣＳは、高いマスキング、従って、より高いＭＭＯＳであることを示唆する。後述の重回帰分析においてＣＳを含むことによって、非参照の品質推定にＣＳ測度を使用できる可能性をテストした。シーケンス平均コントラスト測度ＣＳは、水平方向と垂直方向の画素の差の測度から成る画像全体の平均ＣＦを利用している。適切に符号化された単純なエリア（plain area）である大きなエリアを含む画像に対して、このような測度は問題があり得る。その理由は、このようなエリアは、視覚的なインパクトはほとんどないかもしれないが、ＣＦ、従って、ＣＳの大きさに著しい影響を及ぼすからである。「ハープ」のテストシーケンス(図５)について、この効果の一例が見られ得る。ハープは、品質については、ほぼ最高に格付けされている(図２)が、マスキングについては、中位に格付けされている(図４)。このようなコンテンツをより良く処理するために、領域の重要性の測度を使用して、動きとディテールとの程度が高い画像の一部分の分析に注目する。
【００５２】
Ｈ２６２と、Ｈ２６３と、Ｈ２６４とのような、典型的なハイブリッドビデオ符号化アルゴリズムは、画素ブロックの予測と、結果として得られた相違ブロックの変換と、変換された係数の量子化と、これらの量子化されたシンボルのエントロピー符号化とに対する関数を含んでいる。１０Ｍｂｉｔ／ｓ未満のビットレートでブロードキャストされたフォーマットのビデオシーケンスを符号化すると、通常は、変換係数の大部分がゼロに量子化されることになる。量子化された係数が非ゼロである割合が高い場合は、予測し難く且つディテールの程度が高い領域を示す傾向がある。これらの領域は、視覚的な注目を引きつけて、量子化の影響をより大きく受ける傾向があるので、領域の分析に役立ち得る。
【００５３】
これらの符号器において見られる通常のマクロブロック構造に関する領域の分析に基づくのが、都合がよい。フレーム番号ｎ、マクロブロックｋに対して、以下に従って、ＤＣＴのアクティビティ測度Ａｃｔ１を計算することができる。
【数１２】
【００５４】
ＴＣｏｕｎｔ（ｍ）は、マクロブロック内の非ゼロの量子化された変換係数の総数である合計ｍを表わしている。
【００５５】
Ｍ（ｎ，ｋ）は、合計されるマクロブロックｋの中心にあるマクロブロックの集合を定義している。
【００５６】
Ｋ（ｎ）は、フレームｎ中の検討されるマクロブロックの集合を定義している。
【００５７】
Ｎは、検討されるシーケンス中のフレームの集合を定義している。
【００５８】
Ｍの形状とサイズとに従ってＭの中心値の集合Ｋ（ｎ）を制限することによって、又は最初の重複分析の後でＡｃｔ１（）に適切にフィルタをかけることによって、Ｍの中の非重複エリアの結果を得ることができる。ここで、第２のアプローチは、次のステップに従ってＡｃｔ１にフィルタをかけることが好ましい。
【００５９】
１．ピクチャｎに対するサーチＭＢの仮の集合ＫＭＡＸを、ＫＭＡＸ＝Ｋ（ｎ）として初期設定する。
【００６０】
２．全てのｋ∈ＫＭＡＸに対して、Ａｃｔ１（ｎ，ｋ）＝０である場合に、７へ進む。
【００６１】
３．ｋ∈ＫＭＡＸに対して、Ａｃｔ１（ｎ，ｋ）が最大になるように、ｋｍａｘ＝ｋを見付ける。
【００６２】
４．（ｍ∈Ｍ（ｎ，ｋｍａｘ）∩（ｍ≠ｋｍａｘ））である場合に、Ａｃｔ１（ｎ，ｍ）＝０に設定する。
【００６３】
５．集合ＫＭＡＸから要素ｋｍａｘを取り除く。
【００６４】
６．２に戻る。
【００６５】
７．終了。
【００６６】
「ハープ」のシーケンスのＭＰＥＧ２の符号化に、（１２）を適用する。なお、Ｍ（ｎ，ｋ）は、マクロブロックｋの中心にあるマクロブロックの３×３のエリアを定義し、Ｋは、画像の切り取られたエリアを含んでいるマクロブロックを定義している。既に記載したように、Ａｃｔ１に重複せずにフィルタをかける。
【００６７】
図６は、結果として得られたアクティビティマップの例を示している。図６は、動きのあるエリア（手）と、ディテールの多いエリアと、予測不可能エリア（シャンデリアとシャツの一部)とにおいて、最も高いアクティビティを示している。次に、フレームｎに対して、式（１３）に従って、アクティビティアレイＡｃｔ１に閾値を適用することによって、最大アクティビティ領域Ｋ１（ｎ）を定義することができる。
【数１３】
【００６８】
より大きな集合Ｋ１（ｎ）の中の全てのｋ１の集合が、条件Ａｃｔ１(ｎ，ｋ１）＞Ｔｈｒｅｓｈ１（ｎ）を満たすことを意味する。
【００６９】
式（１４）に従って、ピクチャ内における最大アクティビティの関数として、Ｔｈｒｅｓｈ１を定義することができる。
【数１４】
【００７０】
図７は、図６からのマップに対して５０％のアクティビティの閾値を適用する効果を示している。表示するために、３×３のマクロブロックの分析エリアに対して、Ａｃｔ１の適切な値を繰り返すことによって、アクティビティエリアが示される。
【００７１】
量子化の影響が最大になる領域を推定するために、示されているエリアが検討され得る。これらのマスキング特性と残りのピクチャのマスキング特性とを比較することによって、これらの領域の重要度を推定することができる。
【００７２】
Ｋ１が、最大アクティビティの、１つの領域か、又は一緒に取られた複数の領域を表わす場合に、最初に、式（１５）に従って平均コントラスト関数を計算することによって、Ｋ１のマスキング特性を推定する。
【数１５】
【００７３】
なお、Ｋ１ｔｏｔ（ｎ）は、集合Ｋ１（ｎ）のメンバ数に等しく、Ｃ０（ｋ１）は、Ｍ（ｎ，ｋ１）によってカバーされる画素エリアに対するコントラスト測度である。
【００７４】
従って、Ｃ０１（ｋ１）は、式（７）乃至（９）からの画素コントラスト測度Ｃｈｖを、ｋ１によって表わされるマクロブロック全体で合計したものとして定義される。
【数１６】
【００７５】
なお、ｘ、ｙは、それぞれの画素ｋ１の画素座標である。
【００７６】
最初の分析領域Ｋ（ｎ）内であるが、最大アクティビティ領域Ｋ１（ｎ）に含まれていないピクチャエリアも重要である。この領域はＫ２（ｎ）として定義され得る。Ｋ２（ｎ）のメンバｋ２は、式（１７）に従う。
【数１７】
【００７７】
領域Ｋ２は、領域Ｋ１よりも、視覚的な歪みが少ないと考えられるが、そのコントラスト特性は、全体的な歪みの知覚に対して重要な影響を与え得る。領域Ｋ２は、適切に予測された高コントラストエリアを有するので、領域Ｋ１に含まれていないかもしれない。しかしながら、このようなエリアは、視覚的な注目を引き寄せて、Ｋ１における歪みを全体的にマスクし得る。切り取られたピクチャＫの分析において、閾値Ｃ０Ｔｈｒｅｓｈ（ｎ）を使用することによって、Ｋ１中のピクチャエリアと同等のコントラスト特性を有するＫ２内のピクチャエリアを含んで、式（１８）に従って、集合Ｋ３（ｎ）を定義する。
【数１８】
【数１９】
【００７８】
Ｃ０Ｔｈｒｅｓｈの閾値は、テストされるシーケンスに適していることが分かっている最大アクティビティ領域Ｋ１に対するコントラスト測度の平均に等しい。（２０）に従って、アクティビティの大きい領域Ｋ１と、アクティビティは小さいが重要なコントラストを有する領域Ｋ３とを組み合わせて、領域Ｋ４を生成することができる。
【数２０】
【００７９】
式（１５）乃至（２０）に従って、「ハープ」のシーケンスについて、コントラスト分析を行なって、１つのフィールドの領域Ｋ４に対する結果を、図８に示した。
【００８０】
ここで、式（２１）に従って、各フレームに対する加重コントラスト測度ＣＷを定義することができる。
【数２１】
【００８１】
Ｋ４ｔｏｔ（ｎ）は、フレームｎに対する集合Ｋ４のメンバ数に等しい。次に、式（２２）に従って、シーケンスで平均される、領域によって加重されるコントラスト測度ＣＷＳを計算することができる。
【数２２】
【００８２】
復号されたトレーニングシーケンスの各々に対して、シーケンス平均測度ＣＷＳを計算して、その結果と平均量子化ステップサイズとのプロットを、図９に示した。
【００８３】
図９におけるＣＷＳの結果は、図４における対応するＣＳの結果に対する差を強調して示している。２つのシーケンスである「ハープ」と「景色」は、動きが少なくて、背景が単純であるという類似の特性を有しており、ＣＳによって上中位（upper-middle）のランクを付けられているが、ＣＷＳによって最上位のランクに動いている。これは、図２におけるＭＭＯＳのランク付けと良く整合していることを示している。同様に、シーケンス「バルセロナ」は、ＣＳの最上位のランクから、ＣＷＳの中位のランクに動いている。これは、図２のＭＭＯＳの中位のランク付けにより密接に整合している。
【００８４】
ＭＯＳ推定が要求される時間間隔Ｎにおいて、ここでは量子化ステップサイズに関するパラメータの平均をとるべきである。これは、ＡｖＱｓｔｅｐとＣＷＳのパラメータの１つの対を得る１つの分析期間であり得るか、又は一連のパラメータを得る一連の間隔であり得る。通常は１秒程度の長さを有するウィンドウ間隔を有する分析ウィンドウを、時系列により時間で「スライドさせる」ことによって、連続的な分析を達成できるであろう。
【００８５】
上述のアクティビティ測度Ａｃｔ１は、測度の一例である。この測度は、通常は変換係数から計算される予測残差の関数である。非ゼロの係数の総数は効果的であるが、係数の振幅によって決まる測度、例えば総エネルギ、又は総数とエネルギとの組み合わせも使用できる。
【００８６】
推定ＭＯＳ
モデル設計
量子化ステップサイズのシーケンス平均測度ＡｖｓＱｔｅｐと、加重コントラストＣＷＳ（又はその代わりに、画素コントラストＣＳ）とを使用して、主観的に測定される平均オピニオン評点ＭＭＯＳの推定値ＰＭＯＳを生成する。ＰＭＯＳは、式（２３）に従って、パラメータの組み合わせから計算される。
【数２３】
【００８７】
Ｆ１とＦ２は、ＡｖＱｓｔｅｐとＣＷＳとにおける適切な線形又は非線形関数である。Ｋ０は、定数である。
【００８８】
ＰＭＯＳの範囲は、１．．５である。なお、５は、優れた品質に相当し、１は、悪い品質に相当する。Ｆ１と、Ｆ２と、Ｋ０は、多くの市販の統計ソフトウェアパッケージにおいて利用可能な適切な回帰分析(例えば、線形、多項式、又は対数)によって決定され得る。このような分析には、既知の主観的品質の１組のトレーニングシーケンスが必要である。次に、従属変数としてＭＭＯＳを用いて、独立変数としてＡｖＱｓｔｅｐとＣＷＳとを用いて、回帰分析により、Ｆ１と、Ｆ２と、Ｋ０とによって定義されるモデルを導き出すことができる。一般に、結果として得られたモデルを使用して、テストシーケンスの品質を予測する。テストシーケンスの品質は、トレーニングで使用されるものと同様に、劣化(コーデックタイプ及び圧縮率)を受けている。しかしながら、ビデオのコンテンツは、異なっていてもよい。
【００８９】
ここに提示されているＭＰＥＧ２の符号化された最大解像度のブロードキャストシーケンスに対して、適切な非線形モデルは、以下の通りであることが分かった。
【数２４】
【００９０】
次に、結果として得られた推定値を、以下に従って制限する。
【数２５】
【００９１】
ＭＯＳ推定が要求される時間間隔に対して、パラメータの平均を取るべきである。モデルの較正におけるように、これは、ＡｖＱｓｔｅｐとＣＷＳのパラメータの１つの対を得る１つの分析期間であり得るか、又は一連のパラメータを得る一連の間隔であり得る。通常は１秒程度の長さを有するウィンドウ間隔を有する分析ウィンドウを、ＡｖＱｓｔｅｐとＣＷＳの時系列により時間で「スライドさせる」ことによって、連続的な分析を達成できるであろう。
【００９２】
結果
先ず、多くの市販の統計ソフトウェアパッケージにおいて利用可能な、標準の線形及び多項式／対数の回帰分析を使用して、トレーニング集合に対するＭＭＯＳ（従属変数）をＡｖＱｓｔｅｐ（独立変数）によってモデル化する。次に、テストシーケンスに対して、結果として得られたモデルを使用する。次に、ＣＳ、次にＣＷＳを、追加の独立変数として使用して、これを繰り返す。各モデルについて、推定平均オピニオン評点(ＰＭＯＳ）と、測定平均オピニオン評点(ＭＭＯＳ)とにおける相関関係とＲＭＳ残差を、テーブル５に示した。
【表５】
【００９３】
この結果は、シーケンスで平均される、領域によって加重されるコントラスト測度ＣＷＳを、ＡｖＱｓｔｅｐに基づくＭＯＳ推定モデルに含むと、トレーニングデータ集合とテストデータ集合との両者に対する性能が著しく向上することを示している。図１０は、ＡｖＱＰ／ＣＳモデルに対する個々のトレーニングの結果とテストの結果を、図１１は、ＡｖＱＰ／ＣＷＳモデルに対する個々のトレーニングの結果とテストの結果を、それぞれ散布図の形で示している。
【００９４】
上述に記載されている方法の幾つかのバリエーションが構想され得る。例えば、既に記載したように、エッジ効果を回避するために除外されたボーダ領域を除いた、全体的なピクチャエリアに対して、品質測定を行なったが、希望であれば、ピクチャの中のより小さな部分、即ち、エリアのみを評価してもよい。ピクチャ内の関心領域を識別するための既知の「視覚的注目」アルゴリズムを使用して、これを選択してもよい。別のアプローチでは、測度ＡｖＱｓｔｅｐの計算を、エリアＫ１（又はＫ４）に制限してもよい。
【００９５】
予測を使用せずに符号化されたマクロブロックをピクチャが含んでいる場合に、実際には、上述のやり方でこれらのブロックを処理すると、全体的な結果にあまり影響を及ぼさないことが分かった。しかしながら、これが問題になる場合は、このようなマクロブロックを全てプロセスから除外してもよい。
【００９６】
結論
ビデオ復号器内で実施される２つのパラメータのモデルから、主観的ビデオ品質を適切に予測できることが、既存の著作物[１]に示されている。ここでは、量子化ステップサイズに基づく測度と平均コントラストに基づく測度とを使用している既存の技術は、新たに領域によって加重されるコントラスト測度ＣＷＳを使用することによって改善され得ることが示されている。
【００９７】
先ず、非ゼロの量子化された変換係数の総数を使用して、ピクチャの最重要エリアを識別するように、最大アクティビティ領域Ｋ１を定義する。非ゼロの量子化された係数の割合が高い場合に、予測し難く且つディテールの程度が高い領域を示す傾向がある。これらの領域は視覚的な注目を引きつけて、量子化の影響をより大きく受ける傾向があるので、領域の分析に役に立ち得る。
【００９８】
次に、最大アクティビティ領域Ｋ１を使用して、全体的なピクチャのマスキング特性の評価に対するコントラスト閾値Ｃ０Ｔｈｒｅｓｈを決定する。領域Ｋ１の中にないピクチャの部分は、視覚的な歪みがより少ないと考えられる一方で、全体的な歪みの知覚に対して、これらのコントラスト特性は重要な影響を有し得る。適切に予測され、従って、領域Ｋ１に含まれていない高コントラストエリアは、視覚的な注目を引きつけて、Ｋ１における歪みを全体的にマスキングすることができる。領域によって加重されるコントラストの分析において、閾値Ｃ０Ｔｈｒｅｓｈよりも高いコントラスト特性を有するピクチャの全エリアを含んで、測度ＣＷＳを提供する。この技術は、アクティビティが大きく且つコントラストの低い領域と、アクティビティが小さく且つコントラストの高い領域とを考慮に入れることによって、効果が得られる。
【００９９】
７００Ｋｂｐｓ乃至１８Ｍｂｐｓのビットレートで、ＭＰＥＧ２で符号化された、１８個の異なるコンテンツのクリップに対する結果が提示されている。この結果は、ＣＷＳの測度が、元のモデルに対して性能を著しく改善することを示している。
【０１００】
参照文献
[１]Ａ．Ｇ.デイビス（A. G. Davis）、「Ｈ．２６４の復号器に対する非参照ビデオ品質予測（No-reference Video Quality Prediction For a H.264 Decoder）」、発行予定。
【０１０１】
[２]ＩＳＯ／ＩＥＣ １３８１８−２及びＩＴＵ−Ｔ Ｒｅｃ．Ｈ２６２：情報技術−動画及び関連するオーディオ情報の包括的な符号化：ビデオ（ISO/IEC 13818-2 and ITU-T Rec. H.262 : Information technology - Generic coding of moving pictures and associated audio information: Video）、http://www.itu.int/rec/T-REC-H.262/en。
【０１０２】
[３]ビデオ品質評価の対象モデルの検証に関するビデオ品質エキスパートグループからの最終報告、第２期（Final report from the Video Quality Experts Group on the Validation of Objective Models of Video Quality Assessment, Phase 2）、www.vqeg.org。
【０１０３】
[４]ＩＴＵ−Ｔ，Ｊ．１４４、「全体的な参照を行うディジタルケーブルテレビジョンに対する目標知覚ビデオ品質測定技術（ITU-T, J.144, "Objective perceptual video quality measurement techniques for digital cable television in the presence of a Ml reference"）」。
【０１０４】
[５]ＩＴＵ−Ｔ、Ｊ．１４３、「ディジタルケーブルテレビジョンにおける目標知覚ビデオ品質測定に対するユーザの要求（ITU-T, J.143, "User Requirements for Objective Perceptual Video Quality Measurements in Digital Cable Television"）」。
【０１０５】
[６]ＩＳＯ／ＩＥＣ １４４９６−１０及びＩＴＵ−Ｔ Ｒｅｃ．Ｈ２６４、高度なビデオ符号化、２００３年（ISO/IEC 14496-10 and ITU-T Rec. H.264, Advanced Video Coding, 2003）。
【０１０６】
[７]ＶＱＥＧ１シーケンスデータベース、アドレス（VQEG1 sequence database, address）:ftp://ftp.crc.ca/crc.ca/crc/vqeg/TestSequences/ALL_625/
[８]Ｗ．オズバーガ（W. Osberger）、Ｓ．ハモンド（S. Hammond）、Ｎ．バーグマン（N. Bergmann）、「知覚に基づく量子化を取り入れたＭＰＥＧ符号器（"An MPEG Encoder Incorporating Perceptually Based Quantisation"）」、ＩＥＥＥ ＴＥＮＣＯＮ−計算及び遠隔通信に対するスピーチ及び画像技術、７３１−７３３頁、１９９７年（IEEE TENCON - Speech and Image Technologies for Computing and Telecommunications, pp. 731-733, 1997）。
【０１０７】
[９]アツル プーリー（Atul Puri）及びＲ．アラビンド（R. Aravind）、「適応知覚量子化を用いた動き圧縮ビデオ符号化（"Motion-Compensated Video Coding with Adaptive Perceptual Quantization"）」、ビデオ技術のための回路及びシステムに対するＩＥＥＥトランザクション、Ｖｏｌ．１、Ｎｏ．４、３５１−３６１頁、１９９１年１２月（IEEE Transactions On Circuits and Systems for Video Technology, Vol. 1, No. 4, pp 351-361, Dec. 1991）。
【０１０８】
[１０]ボ・タオ（Bo Tao）、ブラッドリー Ｗ. ディキンソン（Bradley W. Dickinson）、ハイジ Ａ. ピーターソン（Heidi A. Peterson）、「ＭＰＥＧビデオ符号化のための適応モデル駆動型のビット割り振り（"Adaptive Model-Driven Bit Allocation for MPEG Video Coding"）」、ビデオ技術のための回路及びシステムに対するＩＥＥＥトランザクション、Ｖｏｌ．１０、Ｎｏ．１、１４７−１５７頁、２０００年２月（IEEE Transactions on Circuits and Systems for Video Technology, Vol. 10, No. 1, pp 147-157, Feb. 2000）。
【特許請求の範囲】
【請求項１】
複数のフレームを表すビデオ信号に対する品質測度を生成する方法であって、
前記ビデオ信号は、元の形式と、符号化された形式と、復号された形式と、を有し、
前記符号化された形式では、圧縮アルゴリズムを使用して、前記ビデオ信号が符号化されており、
前記圧縮アルゴリズムは、前記符号化されたビデオ信号が、関連する量子化ステップサイズパラメータを有するように、可変量子化ステップサイズを利用し、且つ前記符号化されたビデオ信号が、前記ビデオ信号の予測残差の表現を含むように、差分符号化を利用しており、
前記復号された形式では、前記符号化されたビデオ信号が、前記元の形式に少なくとも部分的に再変換されていて、
前記方法は、
ａ）所定の関係に従って、前記量子化ステップサイズパラメータによって決まる第１の品質測度を生成するステップと、
ｂ）所定の関係に従って、前記復号された形式の前記ビデオ信号によって表されている前記フレームの少なくとも一部分の空間複雑度によって決まるマスキング測度を生成するステップと、
ｃ）所定の関係に従って、前記第１の品質測度と前記マスキング測度との両者によって決まる、組み合わされた測度を生成するステップと、
を含み、
前記方法は、更に、
所定の関係に従って、前記ビデオ信号の前記予測残差によって決まる第２の測度を生成するステップと、
前記第２の測度が閾値を超えている、ピクチャの１つ以上の領域を識別するステップと、
を含み、
前記マスキング測度は、所定の関係に従って、前記識別された領域の前記空間複雑度によって決まる、方法。
【請求項２】
前記予測残差の表現は、画素領域の予測残差の二次元変換の係数であり、
前記第２の測度は、前記二次元変換の係数から計算される、請求項１に記載の方法。
【請求項３】
前記二次元変換は、離散コサイン変換である、請求項２に記載の方法。
【請求項４】
前記第２の測度は、非ゼロの二次元変換の係数の総数である、請求項２又は３に記載の方法。
【請求項５】
前記第２の測度は、前記二次元変換の係数の振幅によって決まる、請求項２又は３に記載の方法。
【請求項６】
前記第２の測度は、復号された前記二次元変換の係数のエネルギの合計の関数である、請求項５に記載の方法。
【請求項７】
前記マスキング測度は、
（ａ）前記第２の測度が閾値を越えている、前記ピクチャの識別された領域と、
（ｂ）前記第２の測度は前記閾値を越えていないが、前記空間複雑度は第２の閾値を超えている、前記ピクチャの１又は複数の領域と、
の前記空間複雑度の関数である、請求項１乃至６の何れか１項に記載の方法。
【請求項８】
前記第２の閾値は、動的に変化し、前記識別された領域に対して計算される前記空間複雑度の関数である、請求項７に記載の方法。
【請求項９】
前記第２の閾値は、前記識別された領域に対して計算される前記空間複雑度の平均値に等しい、請求項８に記載の方法。
【請求項１０】
前記マスキング測度が導き出される前記ピクチャの一部分からのみ、前記第１の品質測度が導き出される、請求項１乃至９の何れか１項に記載の方法。
【請求項１１】
フレーム中の複数の位置における局部のコントラスト測度を決定することによって、前記空間複雑度を測定する、請求項１乃至１０の何れか１項に記載の方法。
【請求項１２】
各フレームが複数の画素を含み、
既定のフレームの中の画素のうちの少なくとも幾つかの画素について、画素の近くの近隣領域に対して比較関数を行なって、前記画素に対する比較値を取得する、請求項１１に記載の方法。
【請求項１３】
前記第２の測度を複数のフレームで平均する、請求項１乃至１２の何れか１項に記載の方法。
【請求項１】
複数のフレームを表すビデオ信号に対する品質測度を生成する方法であって、
前記ビデオ信号は、元の形式と、符号化された形式と、復号された形式と、を有し、
前記符号化された形式では、圧縮アルゴリズムを使用して、前記ビデオ信号が符号化されており、
前記圧縮アルゴリズムは、前記符号化されたビデオ信号が、関連する量子化ステップサイズパラメータを有するように、可変量子化ステップサイズを利用し、且つ前記符号化されたビデオ信号が、前記ビデオ信号の予測残差の表現を含むように、差分符号化を利用しており、
前記復号された形式では、前記符号化されたビデオ信号が、前記元の形式に少なくとも部分的に再変換されていて、
前記方法は、
ａ）所定の関係に従って、前記量子化ステップサイズパラメータによって決まる第１の品質測度を生成するステップと、
ｂ）所定の関係に従って、前記復号された形式の前記ビデオ信号によって表されている前記フレームの少なくとも一部分の空間複雑度によって決まるマスキング測度を生成するステップと、
ｃ）所定の関係に従って、前記第１の品質測度と前記マスキング測度との両者によって決まる、組み合わされた測度を生成するステップと、
を含み、
前記方法は、更に、
所定の関係に従って、前記ビデオ信号の前記予測残差によって決まる第２の測度を生成するステップと、
前記第２の測度が閾値を超えている、ピクチャの１つ以上の領域を識別するステップと、
を含み、
前記マスキング測度は、所定の関係に従って、前記識別された領域の前記空間複雑度によって決まる、方法。
【請求項２】
前記予測残差の表現は、画素領域の予測残差の二次元変換の係数であり、
前記第２の測度は、前記二次元変換の係数から計算される、請求項１に記載の方法。
【請求項３】
前記二次元変換は、離散コサイン変換である、請求項２に記載の方法。
【請求項４】
前記第２の測度は、非ゼロの二次元変換の係数の総数である、請求項２又は３に記載の方法。
【請求項５】
前記第２の測度は、前記二次元変換の係数の振幅によって決まる、請求項２又は３に記載の方法。
【請求項６】
前記第２の測度は、復号された前記二次元変換の係数のエネルギの合計の関数である、請求項５に記載の方法。
【請求項７】
前記マスキング測度は、
（ａ）前記第２の測度が閾値を越えている、前記ピクチャの識別された領域と、
（ｂ）前記第２の測度は前記閾値を越えていないが、前記空間複雑度は第２の閾値を超えている、前記ピクチャの１又は複数の領域と、
の前記空間複雑度の関数である、請求項１乃至６の何れか１項に記載の方法。
【請求項８】
前記第２の閾値は、動的に変化し、前記識別された領域に対して計算される前記空間複雑度の関数である、請求項７に記載の方法。
【請求項９】
前記第２の閾値は、前記識別された領域に対して計算される前記空間複雑度の平均値に等しい、請求項８に記載の方法。
【請求項１０】
前記マスキング測度が導き出される前記ピクチャの一部分からのみ、前記第１の品質測度が導き出される、請求項１乃至９の何れか１項に記載の方法。
【請求項１１】
フレーム中の複数の位置における局部のコントラスト測度を決定することによって、前記空間複雑度を測定する、請求項１乃至１０の何れか１項に記載の方法。
【請求項１２】
各フレームが複数の画素を含み、
既定のフレームの中の画素のうちの少なくとも幾つかの画素について、画素の近くの近隣領域に対して比較関数を行なって、前記画素に対する比較値を取得する、請求項１１に記載の方法。
【請求項１３】
前記第２の測度を複数のフレームで平均する、請求項１乃至１２の何れか１項に記載の方法。
【図１】
【図１ａ】
【図１ｂ】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１ａ】
【図１ｂ】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公表番号】特表２０１１−５２７５４４（Ｐ２０１１−５２７５４４Ａ）
【公表日】平成２３年１０月２７日（２０１１．１０．２７）
【国際特許分類】
【出願番号】特願２０１１−５１７２２１（Ｐ２０１１−５１７２２１）
【出願日】平成２１年４月２３日（２００９．４．２３）
【国際出願番号】ＰＣＴ／ＧＢ２００９／００１０３３
【国際公開番号】ＷＯ２０１０／００４２３８
【国際公開日】平成２２年１月１４日（２０１０．１．１４）
【出願人】（３９００２８５８７）ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー (104)
【氏名又は名称原語表記】ＢＲＩＴＩＳＨ ＴＥＬＥＣＯＭＭＵＮＩＣＡＴＩＯＮＳ ＰＵＢＬＩＣ ＬＩＭＩＴＥＤ ＣＯＭＰＡＮＹ
【Ｆターム（参考）】
【公表日】平成２３年１０月２７日（２０１１．１０．２７）
【国際特許分類】
【出願日】平成２１年４月２３日（２００９．４．２３）
【国際出願番号】ＰＣＴ／ＧＢ２００９／００１０３３
【国際公開番号】ＷＯ２０１０／００４２３８
【国際公開日】平成２２年１月１４日（２０１０．１．１４）
【出願人】（３９００２８５８７）ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー (104)
【氏名又は名称原語表記】ＢＲＩＴＩＳＨ ＴＥＬＥＣＯＭＭＵＮＩＣＡＴＩＯＮＳ ＰＵＢＬＩＣ ＬＩＭＩＴＥＤ ＣＯＭＰＡＮＹ
【Ｆターム（参考）】
[ Back to top ]