映像品質の客観画質評価装置および自動監視装置
【課題】圧縮ビットストリームおよびその復号過程で生成される中間コード情報のみから主観画質を推定する映像品質の自動監視装置を提供する。
【解決手段】圧縮ビットストリームから各マクロブロックに対して定義された量子化スケールサイズおよびスライスの符号化タイプと、各マクロブロックの各直交変換ブロック内の直交変換係数と、動き補償予測を適用しているマクロブロック内の各直交変換ブロック内の直交変換係数および参照フレーム番号を取得するマクロブロック層パラメータ解析部１と、前記スライスの符号化タイプ毎に量子化スケールサイズのシーケンス内平均を求める量子化スケール平均値計算部２と、各マクロブロック内の空間的劣化特徴量を求める空間的劣化特徴量計算部３と、時間的劣化特徴量を求める時間的劣化特徴量計算部４と、前記計算部２，３および４で求められた特徴量に基づいて客観画質を導出する特徴量統合部５とからなる。
【解決手段】圧縮ビットストリームから各マクロブロックに対して定義された量子化スケールサイズおよびスライスの符号化タイプと、各マクロブロックの各直交変換ブロック内の直交変換係数と、動き補償予測を適用しているマクロブロック内の各直交変換ブロック内の直交変換係数および参照フレーム番号を取得するマクロブロック層パラメータ解析部１と、前記スライスの符号化タイプ毎に量子化スケールサイズのシーケンス内平均を求める量子化スケール平均値計算部２と、各マクロブロック内の空間的劣化特徴量を求める空間的劣化特徴量計算部３と、時間的劣化特徴量を求める時間的劣化特徴量計算部４と、前記計算部２，３および４で求められた特徴量に基づいて客観画質を導出する特徴量統合部５とからなる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は映像品質の客観画質評価装置および自動監視装置に関し、特に動画像の圧縮符号化により劣化した画像の品質を、参照画像および復号画像のベースバンド情報を用いず、圧縮ビットストリーム情報のみで評価する映像品質の客観画質評価装置およびそれを用いた自動監視装置に関するものである。
【背景技術】
【０００２】
デジタル映像の蓄積、伝送に際しては、通常圧縮符号化による情報量の削減が行われる。ここで、圧縮符号化とは、一般に非可逆圧縮を意味する。非可逆圧縮とは、符号化情報（エンコードされたビットストリーム）を復号した際に符号化前の原画像を完全に再構築せず、視覚的な劣化を十分に抑える、すなわち画質を十分に高く保つという条件のもとで、情報量を削減する圧縮形式である。非可逆圧縮の典型的な例としては、MPEG-2、 H.264などが挙げられる（下記の非特許文献１，２）。
【０００３】
これらの非可逆圧縮においては、前述のとおり視覚的な劣化を十分に抑制した上で符号化が行われるが、圧縮率が高くなる、すなわちビットレートが低下するにつれて、劣化が視覚的に認識されるようになる。また、圧縮率が同じであっても画面内の物体の精細さや動きの大きさ、複雑さなどの映像の特徴によっても視覚的に認識される劣化の程度が異なるなどの性質がある。このため、非可逆圧縮に伴う画質劣化を定量的に測定する技術が求められている。
【０００４】
従来の画質の測定は、主観評価と呼ばれる手法で行われていた。これは、２０名程度の被験者を集め、被験者に映像を提示し、被験者の主観により評点を付け、その評点を統計的に処理した数値（例：評点の平均）を映像の品質として定義するものである。主観評価法の代表的な手法は、ITU-R勧告BT.500-11、ITU-T勧告P.910などに規定されている（非特許文献３，４）。しかし、主観評価は勧告が規定する厳しい視聴条件を満たすほか、多数の被験者を募集しなければならないなど、決して簡易に映像品質を評価する手段とはいえない。
【０００５】
そこで、映像信号の分析により、映像特徴量と呼ばれるその映像の特徴を示す１つまたは複数の数値的指標を抽出し、その映像特徴量から当該映像の品質を導出する客観画質評価が検討されている。客観画質評価により導出される画質は主観画質を推定したものであり、主観画質評価の代替として用いることを目指している。
【０００６】
ITU-T J.143（非特許文献５）では客観画質評価法のフレームワークを規定している。客観評価法のフレームワークは、評価のために伝送、蓄積のどの段階の映像を使用するかによって、以下の３つに分類される。
【０００７】
（１）Full Reference(FR)型： 圧縮符号化前の原画像および復号画像（蓄積の場合）、又は送信画像および受信画像（伝送の場合）のベースバンド情報を使用する方法。
【０００８】
（２）No Reference(NR)型： 復号画像又は受信画像のベースバンド情報のみを使用する方法（原画又は送信画像の情報は使用しない）。
【０００９】
（３）Reduced Reference(RR)型： 情報量が制限された原画像又は送信画像の画像特徴量、および復号画像又は受信画像のベースバンド情報を利用する方法。
【００１０】
Full Reference型は、蓄積又は伝送の前後のベースバンド画像を利用することができるため、主観画質の推定精度は３つのフレームワークの中ではもっとも高い。一方、No Reference型は蓄積又は伝送後のベースバンド画像のみを使用するため、精度の面ではFull Referenceには劣る。Reduced Reference型はNo Reference型で利用する復号画像又は受信画像のベースバンド情報に加えて、原画像又は送信画像の画像特徴量を利用する。ここで、画像特徴量は、数十〜数百kbps程度で、原画像のベースバンド情報に比べて十分に少ない情報量に制限されたものである。RR型では、主観画質の推定精度をNR型よりも高めるという目的で、映像伝送の際この送信側の画像特徴量を映像回線とは別に用意されたデータ回線を用いて受信側に送信している。
【００１１】
上記３種のフレームワークのうち、FR型に基づく客観評価方式としては、ITU-T勧告J.144（非特許文献６）、ITU-T勧告J.267（非特許文献７）および特開2008-35357号公報(特許文献１)などが存在する。非特許文献６は、標準テレビ方式(SDTV)の符号化劣化を対象とした客観画質評価方式を、非特許文献７、特許文献１１ はマルチメディアアプリケーションでよく用いられる映像フォーマットを対象とした客観画質評価方式を示している。
【００１２】
RR型に基づく客観評価方式としては、ITU-T勧告J.246（非特許文献８）が知られている。非特許文献８は、マルチメディアアプリケーションの映像フォーマットを前提とした客観評価方式について開示している。
【先行技術文献】
【非特許文献】
【００１３】
【非特許文献１】ITU-T Recommendation H.262, "Information technology - Generic coding of moving pictures and associated audio information: Video "
【非特許文献２】ITU-T Recommendation H.264, "Advanced video coding for generic audiovisual services"
【非特許文献３】Recommendation ITU-R BT.500-11, "Methodology for the subjective assessment of the quality of television pictures"
【非特許文献４】ITU-T Recommendation P.910, "Subjective video quality assessment methods for multimedia applications"
【非特許文献５】ITU-T Recommendation J.143, "User requirements for objective perceptual video quality measurements in digital cable television"
【非特許文献６】ITU-T Recommendation J.144, "Objective perceptual video quality measurement techniques for digital cable television in the presence of a full reference "
【非特許文献７】ITU-T Recommendation J.247, "Objective perceptual multimedia video quality measurement in the presence of a full reference"
【非特許文献８】ITU-T Recommendation J.246, "Perceptual audiovisual quality measurement techniques for multimedia services over digital cable television networks in the presence of a reduced bandwidth reference"
【特許文献】
【００１４】
【特許文献１】特開2008-35357号公報
【発明の概要】
【発明が解決しようとする課題】
【００１５】
一方、NR型による客観評価方式については、本出願人による先願の特願２００８−２９４３５９号がある。この先願発明のNR型画質評価は原画像の情報を利用しないため、主幹画質の推定精度の面ではFR型に劣るが、復号画像／受信画像のみでの評価が可能なため、システム構成が簡単である等の利点がある。このため、伝送映像監視の用途としては有効な方式である。
【００１６】
前記先願発明では、復号画像のベースバンド信号の解析により時間・空間特徴量を抽出し、それらを統合することで客観画質を推定している。ベースバンド信号は、画素単位での情報が取得できるため、精細な分析が可能であるが、一方で膨大な情報量を持つ非圧縮信号の読み出し、メモリへの蓄積およびそれらの計算処理には、膨大なリソースを要する。このため、解析対象となる情報量を削減し、結果的に計算および情報蓄積のためのリソースを削減する必要があるという課題がある。
【００１７】
本発明の目的は、前記課題を解決するために、復号画像のベースバンド信号ではなく、圧縮ビットストリームおよびその復号過程で生成される中間コード情報のみから主観画質を推定する映像品質の客観画質評価装置を提供することにある。他の目的は、主観画質を高精度で推定することができるNR型の映像品質の客観画質評価装置およびそれを用いた自動監視装置を提供することにある。
【課題を解決するための手段】
【００１８】
前記の目的を達成するために、本発明は、参照画像を用いずに映像の主観画質を推定する客観画質評価装置において、圧縮ビットストリームから各マクロブロックに対して定義された量子化スケールサイズおよび該各マクロブロックが属するスライスの符号化タイプを少なくとも取得するマクロブロック層パラメータ解析部と、前記スライスの符号化タイプ毎に量子化スケールサイズのシーケンス内平均を求める量子化スケール平均値計算部と、前記量子化スケール平均値計算部で求められた量子化スケールサイズのシーケンス内平均を特徴量として客観画質を導出する客観画質導出部とを具備し、前記圧縮ビットストリームのみを用いて主観画質を推定するようにした点に第１の特徴がある。
【００１９】
また、前記マクロブロック層パラメータ解析部は前記圧縮ビットストリームから各マクロブロックの各直交変換ブロック内の直交変換係数を取得し、該マクロブロック層パラメータ解析部で取得された前記各直交変換ブロック内の直交変換係数のうちの直流成分の平均値から前記各マクロブロック内の空間的劣化特徴量を求める空間的劣化特徴量計算部をさらに具備した点に第２の特徴がある。
【００２０】
さらに、前記マクロブロック層パラメータ解析部は前記圧縮ビットストリームの各マクロブロックのうち動き補償予測を適用しているマクロブロックについて、該動き補償予測を適用しているマクロブロック内の各直交変換ブロック内の直交変換係数および参照フレーム番号を取得し、前記マクロブロック層パラメータ解析部で取得された前記参照フレーム番号により求められるフレーム間距離によって平均化された予測誤差信号電力を基に時間的劣化特徴量を求める時間的劣化特徴量計算部をさらに具備した点に第３の特徴がある。
【発明の効果】
【００２１】
本発明の前記第１〜３の特徴によれば、符号化前の原画像のみならず、復号後のベースバンド信号をも用いることなく、圧縮ビットストリーム内のパラメータ抽出のみにより、符号化映像の主観画質が推定可能な客観画像評価装置を実現できるようになる。すなわち、ベースバンド画像を処理するのに比べて大幅な処理の軽量化を実現できる客観画像評価装置を提供できるようになる。
【００２２】
また、受信側情報のみを利用する簡易な映像品質の客観画像評価装置および自動監視装置を提供できるようになる。
【図面の簡単な説明】
【００２３】
【図１】本発明の一実施形態の概略の構成を示すブロック図である。
【図２】８×８変換ブロックにおけるマクロブロック（ＭＢ）の空間的劣化特徴量の説明図である。
【図３】４×４変換ブロックにおけるマクロブロック（ＭＢ）の空間的劣化特徴量の説明図である。
【図４】４×４変換ブロックにおけるマクロブロック（ＭＢ）の空間的劣化特徴量の説明図である。
【図５】時間的劣化特徴量計算部の処理の一例を示すフローチャートである。
【図６】図５のステップＳ５の詳細を示すフローチャートである。
【図７】図６のステップＳ１２の処理の説明図である。
【図８】図６の処理の説明図である。
【図９】回帰分析の説明図である。
【発明を実施するための形態】
【００２４】
以下に、図面を参照して、本発明を詳細に説明する。図１は、本発明の一実施形態の構成を示すブロック図である。この実施形態は、圧縮符号化されたビットストリーム情報を入力とし、客観評価尺度（すなわち、総合品質）を出力とする映像品質の客観画質評価装置である。
【００２５】
該客観画質評価装置は、図１に示されているように、ＭＢ（マクロブロック）層パラメータ解析部１，量子化スケール平均値計算部２，空間的劣化特徴量計算部３，時間的劣化特徴量計算部４および特徴量統合部５から構成される。これらの処理部の詳細について、以下に説明する。
【００２６】
（Ａ）ＭＢ層パラメータ解析部１
【００２７】
ＭＢ層パラメータ解析部１には、圧縮符号化されたビットストリーム情報（以下、「入力ビットストリーム」と呼ぶ）が入力する。ＭＢ層パラメータ解析部１は入力ビットストリームおよびその復号過程で生成される中間コード情報である符号化パラメータ情報、つまり後段の量子化スケール平均値計算部２，空間的劣化特徴量計算部３および時間的劣化特徴量計算部４で必要となる符号化パラメータ情報を、入力ビットストリームから抽出する。入力ビットストリームから取得される符号化パラメータ情報は、次のようなものである。
【００２８】
(1)量子化スケールサイズ情報(qp)：これは当該ＭＢのqp値（量子化の分母）である。
【００２９】
(2)スライスタイプ情報：この情報は，Ｉ，Ｐ，Ｂスライスのいずれかであり、ＳＩ，ＳＰスライスは、それぞれＩ，Ｐスライスと解釈する。
【００３０】
(3)変換係数：これは、ＭＢ内の各直交変換ブロック内の直交変換係数である。
【００３１】
(4)参照フレーム情報：これは、当該ＭＢが動きベクトルを持っている場合に限り、その参照フレーム情報を出力する。当該ＭＢが双予測を適用している場合には、２つの参照フレームを、その参照番号が小さい順に出力するものとする。
【００３２】
符号化パラメータは、ビットストリームから直接抽出できる場合と、復号時の中間情報として取得できる場合とに分類されるが、本発明では、圧縮ビットストリームの種類を限定しないため、情報の抽出方法は符号化方式に従うものとし、その詳細な手法についての説明は省略する。
【００３３】
（Ｂ）量子化スケール平均値計算部２
【００３４】
ＭＢ層パラメータ解析部１から各ＭＢの量子化スケールサイズ情報(qp)およびスライスタイプ情報（I/B/P)を取得し、各スライスタイプ（Ｉ，Ｐ，Ｂ）における量子化スケールサイズのシーケンス内平均ａＱＩ，ａＱＰ，ａＱＢ、例えば評価対象の画像の始めから終わりまでのフレームにおける各スライスタイプにおける量子化スケールサイズの平均を求める。該量子化スケールサイズのシーケンス内平均値は、原画像−復号画像間の差分電力（PSNR)と高い相関を有することが知られている。本発明では、原画像を用いることができないため、原理的にＰＳＮＲを計算することは不可能であるが、このように量子化スケールサイズを活用することにより、シーケンス全体での劣化程度を把握することが可能になる。
【００３５】
（Ｃ）空間的劣化特徴量計算部３
【００３６】
空間的劣化特徴量計算部３は、前記非特許文献３におけるブロック歪特徴量計算部に相当する機能を提供することを目的に構成されている。すなわち、該空間的劣化特徴量計算部３は、復号画像上のブロック歪の視覚的な認識程度を示す指標を出力することを目的とするものである。ブロック歪は、ＭＰＥＧ−２やＨ．２６４などのブロック単位の処理を行う符号化画像における共通の劣化要素であり、その劣化度は主観画質と高い相関を持つと考えられる。ブロック歪は、画素ブロックの境界で信号値が大きく変化することにより発生する。換言すると、ブロック間の直流成分が大きく変化している場合に視覚的に目立つようになるといえる。
【００３７】
そこで、本実施形態では、空間的劣化特徴量を隣接する８×８画素ブロック間の直流成分の差分二乗平均値により定義する。
【００３８】
ＭＢ内の直交変換ブロックのサイズが８×８の場合、ＭＢ（Ｂ）内には、図２に示すように、４つの直交変換ブロック（０〜３）が存在する。いま、該直交変換ブロック（０〜３）の直流成分を、ＤＣ［Ｂ，Ｓ］（Ｓ＝０，１，２，３）と表記するとき、ＭＢにおける空間的劣化特徴量SI(B)は、下記の数１で定義される。
【００３９】
【数１】
【００４０】
一方、ＭＢ内の直交変換ブロックのサイズが４×４の場合、ＭＢ（Ｂ）内には、図３に示すように、１６個の直交変換ブロックが存在することになる。この場合には、４×４変換ブロック境界間で直流成分を調べるのではなく、ＭＢが図４のブロック番号｛０，１，２，３｝、｛４，５，６，７｝、｛８，９，１０，１１｝および｛１２，１３，１４，１５｝の各集合からなる４つの８×８画素ブロックで構成されているとみなし、この８×８画素ブロック間での直流成分の差を求めるようにする。
【００４１】
具体的には、(1)図４の左図において、ブロック番号｛０，１，２，３｝の４個の４×４変換ブロックの直流値の平均AV0を求める。同様に、ブロック番号｛４，５，６，７｝、｛８，９，１０，１１｝および｛１２，１３，１４，１５｝の各々の４個の４×４変換ブロックの直流値の平均AV1、AV2およびAV3を求める。(2)図４の右図に示されているように、前記AV0〜AV3のそれぞれを８×８画素ブロックの直流値とみなして、８×８画素ブロック間の差分を計算する。
【００４２】
サイズが４×４の場合の８×８画素ブロックの直流成分ＤＣ［Ｂ，ｋ］（ｋ＝０，１，２，３）は、４×４直交変換ブロックにおける直流値ＤＣ４×４［Ｂ，Ｓ］（Ｓ＝０〜１５）を用いて下記の数２のように表される。
【００４３】
【数２】
【００４４】
前記直流成分ＤＣ［Ｂ，ｋ］が求まると、後は、８×８変換ブロックの場合と同様に数１を用いて空間的劣化特徴量SI(B)を算出する。
【００４５】
最終的に、空間的劣化特徴量SIは、全てのＭＢにおける空間的劣化特徴量の平均値、すなわち下記の数３で定義される。
【００４６】
【数３】
【００４７】
ここで、ＮＢはシーケンス内のＭＢの総数である。
【００４８】
（Ｄ）時間的劣化特徴量計算部４
【００４９】
時間的劣化特徴量計算部４は、前記非特許文献３におけるフリッカ特徴量計算部に相当する機能を提供することを目的に構成されている。すなわち、該時間的劣化特徴量計算部４は、復号画像上のフリッカ妨害の視覚的な認識程度を示す指標を出力することを目的とするものである。ここに、フリッカ妨害は、動き補償予測符号化のイントラフレーム挿入の周期ごとに大きな品質変動がある場合などに検知される劣化であり、連続するフレーム間での輝度変化が急激に発生することにより知覚される。ブロック歪と同様に主観画質との相関が高い映像特徴の一つである。
【００５０】
該時間的劣化特徴量計算部４では、ＭＢ内の時間的な輝度値の変化を捉えるため、各画素ブロックにおける輝度のフレーム間差分を時間的劣化特徴量として定義する。また、該時間的劣化特徴量を計算するための入力として、各ＭＢの直交変換係数と、動き補償予測における参照フレーム情報を利用する。なお、参照フレームが利用できないＭＢは本特徴量の計算対象外とする。
【００５１】
以下に、図５のフローチャートを参照して、該時間的劣化特徴量計算部４の処理を説明する。この処理は、ＭＢ単位で処理することを前提としているが、これに限定されるものではない。
【００５２】
まず、ステップＳ１では、処理対象のＭＢにおける参照フレーム番号を抽出する。参照フレーム番号とは、Ｐ，Ｂスライスの画像が参照するフレーム番号のことである。ここで、参照フレームが存在しない場合には当該ブロックを計算対象外とみなし、ステップＳ２の判断が肯定となって次のブロックの処理に進む。一方、参照フレームが存在する場合にはステップＳ３、Ｓ４に進んで、それぞれ、当該ＭＢの直交変換係数を抽出し、動き補償予測誤差信号の電力を計算する。なお、該動き補償予測誤差信号の電力は、直交変換係数の二乗平均により求めることができる。
【００５３】
ＭＢ内が８×８直交変換ブロックにより構成されている場合には、当該ＭＢ（Ｂ）の動き補償予測誤差信号電力Ｐ（Ｂ）は、下記の数４で表される。
【００５４】
【数４】
【００５５】
ここで、ＸＢ（ｉ、ｊ）は、ブロック（Ｂ）における直交変換係数、ＳｍａｘはＭＢ内の直交変換ブロック数（８×８直交変換ブロックにより構成されていればＳｍａｘ＝４、また４×４直交変換ブロックで構成されていればＳｍａｘ＝１６）、Ｎｓｉｚｅは直交変換ブロックのサイズである（８×８直交変換ブロックにより構成されていればＳｓｉｚｅ＝８、また４×４直交変換ブロックで構成されていればＳｓｉｚｅ＝４）。
【００５６】
ステップＳ５では、求められた前記ＭＢ（Ｂ）の動き補償予測誤差信号電力Ｐ（Ｂ）が各フレームの特徴量値（既に求められている動き補償予測誤差信号電力Ｐ（Ｂ））に加算される。該ステップＳ５の処理の詳細を、図６、図７、図８を参照して、以下に説明する。
【００５７】
前記動き補償予測誤差信号電力は、ベースバンド信号から得られるフレーム２枚の予測フレーム間で発生したフレーム間差分電力の総和であるとみなすことができる。よって、該電力を参照フレーム間のフレームに対して均等に配分し、さらにこの操作をフレーム内の全ての動き補償予測の適用されているブロックに適用することにより、各フレームにおけるフレーム間差分電力を求めることができる。
【００５８】
まず、図６のステップＳ１１で、参照フレーム情報を取得する。ここに、参照フレームは最大２枚とし、これらをそれぞれｆｒｅｆ０，ｆｒｅｆ１（ただし、ｆｒｅｆ０＜ｆｒｅｆ１）とする。また、後の処理のために、現フレームをｆｃｕｒと定義しておく。
【００５９】
次に、ステップＳ１２に進んで、参照フレームｆｒｅｆ０，ｆｒｅｆ１と現フレームｆｃｕｒに基づいてフレーム間距離Ｄを求める。具体的には、図７に示すように、参照フレーム数および参照フレームｆｒｅｆ０，ｆｒｅｆ１と現フレームｆｃｕｒの大小関係からｆｓｔａｒｔ、ｆｓｔｏｐを定義するとき、フレーム間距離Ｄは、（ｆｓｔｏｐ−ｆｓｔａｒｔ）により与えられる。
【００６０】
すなわち、フレーム間距離は、マクロブロックに対して双予測が適用されている場合で、該双予測における参照フレームがマクロブロックの属する復号画像フレームに対して互いに逆方向に位置している場合には、２つの参照フレーム間の距離により与えられ、一方２つの参照フレームが該マクロブロックの属する復号画像フレームに対してそれぞれ同方向に位置している場合には、該２つの参照フレームのうちのマクロブロックの属する復号画像フレームとの距離が大きい側の参照フレームと前記復号画像フレームとの間の距離により与えられる。また、前記フレーム間距離は、マクロブロックに対して１つしか参照フレームが存在しない場合には、該参照フレームと該マクロブロックの属する復号画像フレームとの間の距離により与えられることになる。
【００６１】
次に、ステップＳ１３ではindexを初期化する（index＝ｆｓｔａｒｔと置く）。ステップＳ１４では、前記［数４］で求めた直交変換係数の二乗平均によるＭＢ内電力Ｐ（Ｂ）を前記フレーム間距離Ｄ、つまり（ｆｓｔｏｐ−ｆｓｔａｒｔ）により割り算して平均し、その値を各フレームの電力値を積算する配列Ｐｄｉｓｔ（）に配分する。該配列Ｐｄｉｓｔ（）の括弧内には、フレーム番号のインデクスが記述される。なお、該配列Ｐｄｉｓｔ（）は、シーケンス先頭フレームの処理に先立って、全フレームの直交変換係数電力が０値に初期化されていることを前提とする。ステップＳ１５では、index≦ｆｓｔｏｐが成立するか否かの判断がなされ、成立する場合にはステップＳ１４に進んで、index値がインクリメントされる。前記ステップＳ１４，Ｓ１５およびＳ１６の処理は、ステップＳ１５の判断が否定になるまで続けられる。この処理により、Ｐｄｉｓｔ（index）の要素に電力平均値Ｐ（Ｂ）／（ｆｓｔｏｐ−ｆｓｔａｒｔ）が加算される。以上により、前記ステップＳ５が実現される。
【００６２】
前記の処理を、図８で説明すると、フレーム番号０〜ＮＦー１の配列Ｐｄｉｓｔ（）があったとすると、該配列Ｐｄｉｓｔ（）の全要素はシーケンス先頭フレームの処理に先立って０に初期化される。次に、現フレームｆｃｕｒの参照フレームがｆｒｅｆ０（ｆｓｔａｒｔ），ｆｒｅｆ１（ｆｓｔｏｐ）とするとフレーム間距離Ｄは（ｆｓｔｏｐ−ｆｓｔａｒｔ）となる。また、ｆｒｅｆ０の参照フレーム番号をＮＸ、ｆｒｅｆ１の参照フレーム番号をＮＸ＋Ｄとし、予測誤差信号電力がＰ（Ｂ）であったとすると、前記ステップＳ１４では、Ｐ（Ｂ）／Ｄにより電力平均値を算出し、該電力平均値を参照フレーム番号ＮＸ〜ＮＸ＋Ｄの各配列Ｐｄｉｓｔ（ＮＸ）〜Ｐｄｉｓｔ（ＮＸ＋Ｄ）に加算される。
【００６３】
最終的に、時間的劣化特徴量は、前記配列Ｐｄｉｓｔ（）の全要素の平均により求められる。配列Ｐｄｉｓｔ（）の全要素数をＮＦとするとき、該時間的劣化特徴量TIは、下記の数５の式で表される。
【００６４】
【数５】
【００６５】
（Ｅ）特徴量統合部（又は客観画質導出部）５
【００６６】
特徴量統合部５は、スライスタイプ別の量子化スケールの平均値｛平均ｑｐ（Ｉスライス）、平均ｑｐ（Ｐスライス）、平均ｑｐ（Ｂスライス）｝、空間的劣化特徴量、時間的劣化特徴量の各特徴量を統合し、客観画質を導出または客観評価尺度を求める。スライスタイプＩ，Ｂ，Ｐにおける量子化スケールの平均値をそれぞれａＱＩ，ａＱＰ，ａＱＢ、空間的劣化特徴量をSI、時間的劣化特徴量をTIとすると、客観評価尺度Ｑｏｂｊは下記の数６式で求められる。
【００６７】
【数６】
【００６８】
ここで、ｆ（）は所与の関数を表す。最適な近似式は、評価対象の画像フォーマット、符号化方式、符号化ビットレートなどの条件によって異なるため、これらの条件のもとで主観評価値との相関が最大となる関数が選ばれる。
【００６９】
前記関数ｆ（）の一例としては、ｗｉ（ｉ＝０〜４）を重み係数として、下記の数７のように、重み付き和で表す式を選ぶことができる。
【００７０】
【数７】
【００７１】
また、前記関数ｆ（）の他の例としては、ｗｉ（ｉ＝０〜４）、γｊ（ｊ＝１，２）を重み係数とする時、下記の数８で表される近似式を選ぶことができる。
【００７２】
【数８】
【００７３】
上式におけるｗｉ（ｉ＝０〜４）、γｊ（ｊ＝１，２）は、客観評価値Ｑｏｂｊと主観評価値の相関が最大になるように設定される。すなわち、客観画質導出のための近似関数として、各特徴量をべき指数γ１でべき乗した数の重み付き和を、さらに前記べき指数とは異なるべき指数γ２でべき乗した数を用いて行うことができる。
【００７４】
客観評価値と主観評価値の相関は、複数の評価映像を用いて得た客観評価値の系列と主観評価値の系列を回帰分析することにより得ることができる。
【００７５】
回帰分析の一例を、図９を参照して説明する。図９のように、客観評価値を横軸に、主観評価値を縦軸にして、各データ系列をプロットした場合、両者はある回帰曲線で近似することが可能になる。回帰曲線としては、一次関数のほか、高次多項式やロジスティック関数などの非線形関数を適用することができる。客観画質評価の目的は主観評価値の推定であり、回帰曲線による近似の精度が高い、すなわちグラフ上の各プロット点と回帰曲線の距離が短い程、その性能が高いということができる。
【００７６】
前記の実施形態では、量子化スケール平均値計算部２，空間的劣化特徴量計算部３および時間的劣化特徴量計算部４を用いたが、本発明はこれに限定されず、これらのうちの一つ又は複数個を用いるようにしてもよい。例えば、量子化スケール平均値計算部２のみを用いても良好な客観評価をすることができる。または、該量子化スケール平均値計算部２と空間的劣化特徴量計算部３または時間的劣化特徴量計算部４とを用いても良好な客観評価をすることができる。
【００７７】
前記のようにして、特徴量統合部５から客観評価尺度Ｑｏｂｊが得られると、該客観評価尺度Ｑｏｂｊを自動的に監視し評価することにより、映像品質の自動監視を行うことができる。例えば、客観評価尺度Ｑｏｂｊを自動的に記録して残したり、所与の映像品質より悪くなった場合にはアラームを出力したりするなどの処理をすることができる。
【符号の説明】
【００７８】
１・・・ＭＢ（マクロブロック）層パラメータ解析部、２・・・量子化スケール平均値計算部、３・・・空間的劣化特徴量計算部、４・・・時間的劣化特徴量計算部、５・・・特徴量統合部。
【技術分野】
【０００１】
本発明は映像品質の客観画質評価装置および自動監視装置に関し、特に動画像の圧縮符号化により劣化した画像の品質を、参照画像および復号画像のベースバンド情報を用いず、圧縮ビットストリーム情報のみで評価する映像品質の客観画質評価装置およびそれを用いた自動監視装置に関するものである。
【背景技術】
【０００２】
デジタル映像の蓄積、伝送に際しては、通常圧縮符号化による情報量の削減が行われる。ここで、圧縮符号化とは、一般に非可逆圧縮を意味する。非可逆圧縮とは、符号化情報（エンコードされたビットストリーム）を復号した際に符号化前の原画像を完全に再構築せず、視覚的な劣化を十分に抑える、すなわち画質を十分に高く保つという条件のもとで、情報量を削減する圧縮形式である。非可逆圧縮の典型的な例としては、MPEG-2、 H.264などが挙げられる（下記の非特許文献１，２）。
【０００３】
これらの非可逆圧縮においては、前述のとおり視覚的な劣化を十分に抑制した上で符号化が行われるが、圧縮率が高くなる、すなわちビットレートが低下するにつれて、劣化が視覚的に認識されるようになる。また、圧縮率が同じであっても画面内の物体の精細さや動きの大きさ、複雑さなどの映像の特徴によっても視覚的に認識される劣化の程度が異なるなどの性質がある。このため、非可逆圧縮に伴う画質劣化を定量的に測定する技術が求められている。
【０００４】
従来の画質の測定は、主観評価と呼ばれる手法で行われていた。これは、２０名程度の被験者を集め、被験者に映像を提示し、被験者の主観により評点を付け、その評点を統計的に処理した数値（例：評点の平均）を映像の品質として定義するものである。主観評価法の代表的な手法は、ITU-R勧告BT.500-11、ITU-T勧告P.910などに規定されている（非特許文献３，４）。しかし、主観評価は勧告が規定する厳しい視聴条件を満たすほか、多数の被験者を募集しなければならないなど、決して簡易に映像品質を評価する手段とはいえない。
【０００５】
そこで、映像信号の分析により、映像特徴量と呼ばれるその映像の特徴を示す１つまたは複数の数値的指標を抽出し、その映像特徴量から当該映像の品質を導出する客観画質評価が検討されている。客観画質評価により導出される画質は主観画質を推定したものであり、主観画質評価の代替として用いることを目指している。
【０００６】
ITU-T J.143（非特許文献５）では客観画質評価法のフレームワークを規定している。客観評価法のフレームワークは、評価のために伝送、蓄積のどの段階の映像を使用するかによって、以下の３つに分類される。
【０００７】
（１）Full Reference(FR)型： 圧縮符号化前の原画像および復号画像（蓄積の場合）、又は送信画像および受信画像（伝送の場合）のベースバンド情報を使用する方法。
【０００８】
（２）No Reference(NR)型： 復号画像又は受信画像のベースバンド情報のみを使用する方法（原画又は送信画像の情報は使用しない）。
【０００９】
（３）Reduced Reference(RR)型： 情報量が制限された原画像又は送信画像の画像特徴量、および復号画像又は受信画像のベースバンド情報を利用する方法。
【００１０】
Full Reference型は、蓄積又は伝送の前後のベースバンド画像を利用することができるため、主観画質の推定精度は３つのフレームワークの中ではもっとも高い。一方、No Reference型は蓄積又は伝送後のベースバンド画像のみを使用するため、精度の面ではFull Referenceには劣る。Reduced Reference型はNo Reference型で利用する復号画像又は受信画像のベースバンド情報に加えて、原画像又は送信画像の画像特徴量を利用する。ここで、画像特徴量は、数十〜数百kbps程度で、原画像のベースバンド情報に比べて十分に少ない情報量に制限されたものである。RR型では、主観画質の推定精度をNR型よりも高めるという目的で、映像伝送の際この送信側の画像特徴量を映像回線とは別に用意されたデータ回線を用いて受信側に送信している。
【００１１】
上記３種のフレームワークのうち、FR型に基づく客観評価方式としては、ITU-T勧告J.144（非特許文献６）、ITU-T勧告J.267（非特許文献７）および特開2008-35357号公報(特許文献１)などが存在する。非特許文献６は、標準テレビ方式(SDTV)の符号化劣化を対象とした客観画質評価方式を、非特許文献７、特許文献１１ はマルチメディアアプリケーションでよく用いられる映像フォーマットを対象とした客観画質評価方式を示している。
【００１２】
RR型に基づく客観評価方式としては、ITU-T勧告J.246（非特許文献８）が知られている。非特許文献８は、マルチメディアアプリケーションの映像フォーマットを前提とした客観評価方式について開示している。
【先行技術文献】
【非特許文献】
【００１３】
【非特許文献１】ITU-T Recommendation H.262, "Information technology - Generic coding of moving pictures and associated audio information: Video "
【非特許文献２】ITU-T Recommendation H.264, "Advanced video coding for generic audiovisual services"
【非特許文献３】Recommendation ITU-R BT.500-11, "Methodology for the subjective assessment of the quality of television pictures"
【非特許文献４】ITU-T Recommendation P.910, "Subjective video quality assessment methods for multimedia applications"
【非特許文献５】ITU-T Recommendation J.143, "User requirements for objective perceptual video quality measurements in digital cable television"
【非特許文献６】ITU-T Recommendation J.144, "Objective perceptual video quality measurement techniques for digital cable television in the presence of a full reference "
【非特許文献７】ITU-T Recommendation J.247, "Objective perceptual multimedia video quality measurement in the presence of a full reference"
【非特許文献８】ITU-T Recommendation J.246, "Perceptual audiovisual quality measurement techniques for multimedia services over digital cable television networks in the presence of a reduced bandwidth reference"
【特許文献】
【００１４】
【特許文献１】特開2008-35357号公報
【発明の概要】
【発明が解決しようとする課題】
【００１５】
一方、NR型による客観評価方式については、本出願人による先願の特願２００８−２９４３５９号がある。この先願発明のNR型画質評価は原画像の情報を利用しないため、主幹画質の推定精度の面ではFR型に劣るが、復号画像／受信画像のみでの評価が可能なため、システム構成が簡単である等の利点がある。このため、伝送映像監視の用途としては有効な方式である。
【００１６】
前記先願発明では、復号画像のベースバンド信号の解析により時間・空間特徴量を抽出し、それらを統合することで客観画質を推定している。ベースバンド信号は、画素単位での情報が取得できるため、精細な分析が可能であるが、一方で膨大な情報量を持つ非圧縮信号の読み出し、メモリへの蓄積およびそれらの計算処理には、膨大なリソースを要する。このため、解析対象となる情報量を削減し、結果的に計算および情報蓄積のためのリソースを削減する必要があるという課題がある。
【００１７】
本発明の目的は、前記課題を解決するために、復号画像のベースバンド信号ではなく、圧縮ビットストリームおよびその復号過程で生成される中間コード情報のみから主観画質を推定する映像品質の客観画質評価装置を提供することにある。他の目的は、主観画質を高精度で推定することができるNR型の映像品質の客観画質評価装置およびそれを用いた自動監視装置を提供することにある。
【課題を解決するための手段】
【００１８】
前記の目的を達成するために、本発明は、参照画像を用いずに映像の主観画質を推定する客観画質評価装置において、圧縮ビットストリームから各マクロブロックに対して定義された量子化スケールサイズおよび該各マクロブロックが属するスライスの符号化タイプを少なくとも取得するマクロブロック層パラメータ解析部と、前記スライスの符号化タイプ毎に量子化スケールサイズのシーケンス内平均を求める量子化スケール平均値計算部と、前記量子化スケール平均値計算部で求められた量子化スケールサイズのシーケンス内平均を特徴量として客観画質を導出する客観画質導出部とを具備し、前記圧縮ビットストリームのみを用いて主観画質を推定するようにした点に第１の特徴がある。
【００１９】
また、前記マクロブロック層パラメータ解析部は前記圧縮ビットストリームから各マクロブロックの各直交変換ブロック内の直交変換係数を取得し、該マクロブロック層パラメータ解析部で取得された前記各直交変換ブロック内の直交変換係数のうちの直流成分の平均値から前記各マクロブロック内の空間的劣化特徴量を求める空間的劣化特徴量計算部をさらに具備した点に第２の特徴がある。
【００２０】
さらに、前記マクロブロック層パラメータ解析部は前記圧縮ビットストリームの各マクロブロックのうち動き補償予測を適用しているマクロブロックについて、該動き補償予測を適用しているマクロブロック内の各直交変換ブロック内の直交変換係数および参照フレーム番号を取得し、前記マクロブロック層パラメータ解析部で取得された前記参照フレーム番号により求められるフレーム間距離によって平均化された予測誤差信号電力を基に時間的劣化特徴量を求める時間的劣化特徴量計算部をさらに具備した点に第３の特徴がある。
【発明の効果】
【００２１】
本発明の前記第１〜３の特徴によれば、符号化前の原画像のみならず、復号後のベースバンド信号をも用いることなく、圧縮ビットストリーム内のパラメータ抽出のみにより、符号化映像の主観画質が推定可能な客観画像評価装置を実現できるようになる。すなわち、ベースバンド画像を処理するのに比べて大幅な処理の軽量化を実現できる客観画像評価装置を提供できるようになる。
【００２２】
また、受信側情報のみを利用する簡易な映像品質の客観画像評価装置および自動監視装置を提供できるようになる。
【図面の簡単な説明】
【００２３】
【図１】本発明の一実施形態の概略の構成を示すブロック図である。
【図２】８×８変換ブロックにおけるマクロブロック（ＭＢ）の空間的劣化特徴量の説明図である。
【図３】４×４変換ブロックにおけるマクロブロック（ＭＢ）の空間的劣化特徴量の説明図である。
【図４】４×４変換ブロックにおけるマクロブロック（ＭＢ）の空間的劣化特徴量の説明図である。
【図５】時間的劣化特徴量計算部の処理の一例を示すフローチャートである。
【図６】図５のステップＳ５の詳細を示すフローチャートである。
【図７】図６のステップＳ１２の処理の説明図である。
【図８】図６の処理の説明図である。
【図９】回帰分析の説明図である。
【発明を実施するための形態】
【００２４】
以下に、図面を参照して、本発明を詳細に説明する。図１は、本発明の一実施形態の構成を示すブロック図である。この実施形態は、圧縮符号化されたビットストリーム情報を入力とし、客観評価尺度（すなわち、総合品質）を出力とする映像品質の客観画質評価装置である。
【００２５】
該客観画質評価装置は、図１に示されているように、ＭＢ（マクロブロック）層パラメータ解析部１，量子化スケール平均値計算部２，空間的劣化特徴量計算部３，時間的劣化特徴量計算部４および特徴量統合部５から構成される。これらの処理部の詳細について、以下に説明する。
【００２６】
（Ａ）ＭＢ層パラメータ解析部１
【００２７】
ＭＢ層パラメータ解析部１には、圧縮符号化されたビットストリーム情報（以下、「入力ビットストリーム」と呼ぶ）が入力する。ＭＢ層パラメータ解析部１は入力ビットストリームおよびその復号過程で生成される中間コード情報である符号化パラメータ情報、つまり後段の量子化スケール平均値計算部２，空間的劣化特徴量計算部３および時間的劣化特徴量計算部４で必要となる符号化パラメータ情報を、入力ビットストリームから抽出する。入力ビットストリームから取得される符号化パラメータ情報は、次のようなものである。
【００２８】
(1)量子化スケールサイズ情報(qp)：これは当該ＭＢのqp値（量子化の分母）である。
【００２９】
(2)スライスタイプ情報：この情報は，Ｉ，Ｐ，Ｂスライスのいずれかであり、ＳＩ，ＳＰスライスは、それぞれＩ，Ｐスライスと解釈する。
【００３０】
(3)変換係数：これは、ＭＢ内の各直交変換ブロック内の直交変換係数である。
【００３１】
(4)参照フレーム情報：これは、当該ＭＢが動きベクトルを持っている場合に限り、その参照フレーム情報を出力する。当該ＭＢが双予測を適用している場合には、２つの参照フレームを、その参照番号が小さい順に出力するものとする。
【００３２】
符号化パラメータは、ビットストリームから直接抽出できる場合と、復号時の中間情報として取得できる場合とに分類されるが、本発明では、圧縮ビットストリームの種類を限定しないため、情報の抽出方法は符号化方式に従うものとし、その詳細な手法についての説明は省略する。
【００３３】
（Ｂ）量子化スケール平均値計算部２
【００３４】
ＭＢ層パラメータ解析部１から各ＭＢの量子化スケールサイズ情報(qp)およびスライスタイプ情報（I/B/P)を取得し、各スライスタイプ（Ｉ，Ｐ，Ｂ）における量子化スケールサイズのシーケンス内平均ａＱＩ，ａＱＰ，ａＱＢ、例えば評価対象の画像の始めから終わりまでのフレームにおける各スライスタイプにおける量子化スケールサイズの平均を求める。該量子化スケールサイズのシーケンス内平均値は、原画像−復号画像間の差分電力（PSNR)と高い相関を有することが知られている。本発明では、原画像を用いることができないため、原理的にＰＳＮＲを計算することは不可能であるが、このように量子化スケールサイズを活用することにより、シーケンス全体での劣化程度を把握することが可能になる。
【００３５】
（Ｃ）空間的劣化特徴量計算部３
【００３６】
空間的劣化特徴量計算部３は、前記非特許文献３におけるブロック歪特徴量計算部に相当する機能を提供することを目的に構成されている。すなわち、該空間的劣化特徴量計算部３は、復号画像上のブロック歪の視覚的な認識程度を示す指標を出力することを目的とするものである。ブロック歪は、ＭＰＥＧ−２やＨ．２６４などのブロック単位の処理を行う符号化画像における共通の劣化要素であり、その劣化度は主観画質と高い相関を持つと考えられる。ブロック歪は、画素ブロックの境界で信号値が大きく変化することにより発生する。換言すると、ブロック間の直流成分が大きく変化している場合に視覚的に目立つようになるといえる。
【００３７】
そこで、本実施形態では、空間的劣化特徴量を隣接する８×８画素ブロック間の直流成分の差分二乗平均値により定義する。
【００３８】
ＭＢ内の直交変換ブロックのサイズが８×８の場合、ＭＢ（Ｂ）内には、図２に示すように、４つの直交変換ブロック（０〜３）が存在する。いま、該直交変換ブロック（０〜３）の直流成分を、ＤＣ［Ｂ，Ｓ］（Ｓ＝０，１，２，３）と表記するとき、ＭＢにおける空間的劣化特徴量SI(B)は、下記の数１で定義される。
【００３９】
【数１】
【００４０】
一方、ＭＢ内の直交変換ブロックのサイズが４×４の場合、ＭＢ（Ｂ）内には、図３に示すように、１６個の直交変換ブロックが存在することになる。この場合には、４×４変換ブロック境界間で直流成分を調べるのではなく、ＭＢが図４のブロック番号｛０，１，２，３｝、｛４，５，６，７｝、｛８，９，１０，１１｝および｛１２，１３，１４，１５｝の各集合からなる４つの８×８画素ブロックで構成されているとみなし、この８×８画素ブロック間での直流成分の差を求めるようにする。
【００４１】
具体的には、(1)図４の左図において、ブロック番号｛０，１，２，３｝の４個の４×４変換ブロックの直流値の平均AV0を求める。同様に、ブロック番号｛４，５，６，７｝、｛８，９，１０，１１｝および｛１２，１３，１４，１５｝の各々の４個の４×４変換ブロックの直流値の平均AV1、AV2およびAV3を求める。(2)図４の右図に示されているように、前記AV0〜AV3のそれぞれを８×８画素ブロックの直流値とみなして、８×８画素ブロック間の差分を計算する。
【００４２】
サイズが４×４の場合の８×８画素ブロックの直流成分ＤＣ［Ｂ，ｋ］（ｋ＝０，１，２，３）は、４×４直交変換ブロックにおける直流値ＤＣ４×４［Ｂ，Ｓ］（Ｓ＝０〜１５）を用いて下記の数２のように表される。
【００４３】
【数２】
【００４４】
前記直流成分ＤＣ［Ｂ，ｋ］が求まると、後は、８×８変換ブロックの場合と同様に数１を用いて空間的劣化特徴量SI(B)を算出する。
【００４５】
最終的に、空間的劣化特徴量SIは、全てのＭＢにおける空間的劣化特徴量の平均値、すなわち下記の数３で定義される。
【００４６】
【数３】
【００４７】
ここで、ＮＢはシーケンス内のＭＢの総数である。
【００４８】
（Ｄ）時間的劣化特徴量計算部４
【００４９】
時間的劣化特徴量計算部４は、前記非特許文献３におけるフリッカ特徴量計算部に相当する機能を提供することを目的に構成されている。すなわち、該時間的劣化特徴量計算部４は、復号画像上のフリッカ妨害の視覚的な認識程度を示す指標を出力することを目的とするものである。ここに、フリッカ妨害は、動き補償予測符号化のイントラフレーム挿入の周期ごとに大きな品質変動がある場合などに検知される劣化であり、連続するフレーム間での輝度変化が急激に発生することにより知覚される。ブロック歪と同様に主観画質との相関が高い映像特徴の一つである。
【００５０】
該時間的劣化特徴量計算部４では、ＭＢ内の時間的な輝度値の変化を捉えるため、各画素ブロックにおける輝度のフレーム間差分を時間的劣化特徴量として定義する。また、該時間的劣化特徴量を計算するための入力として、各ＭＢの直交変換係数と、動き補償予測における参照フレーム情報を利用する。なお、参照フレームが利用できないＭＢは本特徴量の計算対象外とする。
【００５１】
以下に、図５のフローチャートを参照して、該時間的劣化特徴量計算部４の処理を説明する。この処理は、ＭＢ単位で処理することを前提としているが、これに限定されるものではない。
【００５２】
まず、ステップＳ１では、処理対象のＭＢにおける参照フレーム番号を抽出する。参照フレーム番号とは、Ｐ，Ｂスライスの画像が参照するフレーム番号のことである。ここで、参照フレームが存在しない場合には当該ブロックを計算対象外とみなし、ステップＳ２の判断が肯定となって次のブロックの処理に進む。一方、参照フレームが存在する場合にはステップＳ３、Ｓ４に進んで、それぞれ、当該ＭＢの直交変換係数を抽出し、動き補償予測誤差信号の電力を計算する。なお、該動き補償予測誤差信号の電力は、直交変換係数の二乗平均により求めることができる。
【００５３】
ＭＢ内が８×８直交変換ブロックにより構成されている場合には、当該ＭＢ（Ｂ）の動き補償予測誤差信号電力Ｐ（Ｂ）は、下記の数４で表される。
【００５４】
【数４】
【００５５】
ここで、ＸＢ（ｉ、ｊ）は、ブロック（Ｂ）における直交変換係数、ＳｍａｘはＭＢ内の直交変換ブロック数（８×８直交変換ブロックにより構成されていればＳｍａｘ＝４、また４×４直交変換ブロックで構成されていればＳｍａｘ＝１６）、Ｎｓｉｚｅは直交変換ブロックのサイズである（８×８直交変換ブロックにより構成されていればＳｓｉｚｅ＝８、また４×４直交変換ブロックで構成されていればＳｓｉｚｅ＝４）。
【００５６】
ステップＳ５では、求められた前記ＭＢ（Ｂ）の動き補償予測誤差信号電力Ｐ（Ｂ）が各フレームの特徴量値（既に求められている動き補償予測誤差信号電力Ｐ（Ｂ））に加算される。該ステップＳ５の処理の詳細を、図６、図７、図８を参照して、以下に説明する。
【００５７】
前記動き補償予測誤差信号電力は、ベースバンド信号から得られるフレーム２枚の予測フレーム間で発生したフレーム間差分電力の総和であるとみなすことができる。よって、該電力を参照フレーム間のフレームに対して均等に配分し、さらにこの操作をフレーム内の全ての動き補償予測の適用されているブロックに適用することにより、各フレームにおけるフレーム間差分電力を求めることができる。
【００５８】
まず、図６のステップＳ１１で、参照フレーム情報を取得する。ここに、参照フレームは最大２枚とし、これらをそれぞれｆｒｅｆ０，ｆｒｅｆ１（ただし、ｆｒｅｆ０＜ｆｒｅｆ１）とする。また、後の処理のために、現フレームをｆｃｕｒと定義しておく。
【００５９】
次に、ステップＳ１２に進んで、参照フレームｆｒｅｆ０，ｆｒｅｆ１と現フレームｆｃｕｒに基づいてフレーム間距離Ｄを求める。具体的には、図７に示すように、参照フレーム数および参照フレームｆｒｅｆ０，ｆｒｅｆ１と現フレームｆｃｕｒの大小関係からｆｓｔａｒｔ、ｆｓｔｏｐを定義するとき、フレーム間距離Ｄは、（ｆｓｔｏｐ−ｆｓｔａｒｔ）により与えられる。
【００６０】
すなわち、フレーム間距離は、マクロブロックに対して双予測が適用されている場合で、該双予測における参照フレームがマクロブロックの属する復号画像フレームに対して互いに逆方向に位置している場合には、２つの参照フレーム間の距離により与えられ、一方２つの参照フレームが該マクロブロックの属する復号画像フレームに対してそれぞれ同方向に位置している場合には、該２つの参照フレームのうちのマクロブロックの属する復号画像フレームとの距離が大きい側の参照フレームと前記復号画像フレームとの間の距離により与えられる。また、前記フレーム間距離は、マクロブロックに対して１つしか参照フレームが存在しない場合には、該参照フレームと該マクロブロックの属する復号画像フレームとの間の距離により与えられることになる。
【００６１】
次に、ステップＳ１３ではindexを初期化する（index＝ｆｓｔａｒｔと置く）。ステップＳ１４では、前記［数４］で求めた直交変換係数の二乗平均によるＭＢ内電力Ｐ（Ｂ）を前記フレーム間距離Ｄ、つまり（ｆｓｔｏｐ−ｆｓｔａｒｔ）により割り算して平均し、その値を各フレームの電力値を積算する配列Ｐｄｉｓｔ（）に配分する。該配列Ｐｄｉｓｔ（）の括弧内には、フレーム番号のインデクスが記述される。なお、該配列Ｐｄｉｓｔ（）は、シーケンス先頭フレームの処理に先立って、全フレームの直交変換係数電力が０値に初期化されていることを前提とする。ステップＳ１５では、index≦ｆｓｔｏｐが成立するか否かの判断がなされ、成立する場合にはステップＳ１４に進んで、index値がインクリメントされる。前記ステップＳ１４，Ｓ１５およびＳ１６の処理は、ステップＳ１５の判断が否定になるまで続けられる。この処理により、Ｐｄｉｓｔ（index）の要素に電力平均値Ｐ（Ｂ）／（ｆｓｔｏｐ−ｆｓｔａｒｔ）が加算される。以上により、前記ステップＳ５が実現される。
【００６２】
前記の処理を、図８で説明すると、フレーム番号０〜ＮＦー１の配列Ｐｄｉｓｔ（）があったとすると、該配列Ｐｄｉｓｔ（）の全要素はシーケンス先頭フレームの処理に先立って０に初期化される。次に、現フレームｆｃｕｒの参照フレームがｆｒｅｆ０（ｆｓｔａｒｔ），ｆｒｅｆ１（ｆｓｔｏｐ）とするとフレーム間距離Ｄは（ｆｓｔｏｐ−ｆｓｔａｒｔ）となる。また、ｆｒｅｆ０の参照フレーム番号をＮＸ、ｆｒｅｆ１の参照フレーム番号をＮＸ＋Ｄとし、予測誤差信号電力がＰ（Ｂ）であったとすると、前記ステップＳ１４では、Ｐ（Ｂ）／Ｄにより電力平均値を算出し、該電力平均値を参照フレーム番号ＮＸ〜ＮＸ＋Ｄの各配列Ｐｄｉｓｔ（ＮＸ）〜Ｐｄｉｓｔ（ＮＸ＋Ｄ）に加算される。
【００６３】
最終的に、時間的劣化特徴量は、前記配列Ｐｄｉｓｔ（）の全要素の平均により求められる。配列Ｐｄｉｓｔ（）の全要素数をＮＦとするとき、該時間的劣化特徴量TIは、下記の数５の式で表される。
【００６４】
【数５】
【００６５】
（Ｅ）特徴量統合部（又は客観画質導出部）５
【００６６】
特徴量統合部５は、スライスタイプ別の量子化スケールの平均値｛平均ｑｐ（Ｉスライス）、平均ｑｐ（Ｐスライス）、平均ｑｐ（Ｂスライス）｝、空間的劣化特徴量、時間的劣化特徴量の各特徴量を統合し、客観画質を導出または客観評価尺度を求める。スライスタイプＩ，Ｂ，Ｐにおける量子化スケールの平均値をそれぞれａＱＩ，ａＱＰ，ａＱＢ、空間的劣化特徴量をSI、時間的劣化特徴量をTIとすると、客観評価尺度Ｑｏｂｊは下記の数６式で求められる。
【００６７】
【数６】
【００６８】
ここで、ｆ（）は所与の関数を表す。最適な近似式は、評価対象の画像フォーマット、符号化方式、符号化ビットレートなどの条件によって異なるため、これらの条件のもとで主観評価値との相関が最大となる関数が選ばれる。
【００６９】
前記関数ｆ（）の一例としては、ｗｉ（ｉ＝０〜４）を重み係数として、下記の数７のように、重み付き和で表す式を選ぶことができる。
【００７０】
【数７】
【００７１】
また、前記関数ｆ（）の他の例としては、ｗｉ（ｉ＝０〜４）、γｊ（ｊ＝１，２）を重み係数とする時、下記の数８で表される近似式を選ぶことができる。
【００７２】
【数８】
【００７３】
上式におけるｗｉ（ｉ＝０〜４）、γｊ（ｊ＝１，２）は、客観評価値Ｑｏｂｊと主観評価値の相関が最大になるように設定される。すなわち、客観画質導出のための近似関数として、各特徴量をべき指数γ１でべき乗した数の重み付き和を、さらに前記べき指数とは異なるべき指数γ２でべき乗した数を用いて行うことができる。
【００７４】
客観評価値と主観評価値の相関は、複数の評価映像を用いて得た客観評価値の系列と主観評価値の系列を回帰分析することにより得ることができる。
【００７５】
回帰分析の一例を、図９を参照して説明する。図９のように、客観評価値を横軸に、主観評価値を縦軸にして、各データ系列をプロットした場合、両者はある回帰曲線で近似することが可能になる。回帰曲線としては、一次関数のほか、高次多項式やロジスティック関数などの非線形関数を適用することができる。客観画質評価の目的は主観評価値の推定であり、回帰曲線による近似の精度が高い、すなわちグラフ上の各プロット点と回帰曲線の距離が短い程、その性能が高いということができる。
【００７６】
前記の実施形態では、量子化スケール平均値計算部２，空間的劣化特徴量計算部３および時間的劣化特徴量計算部４を用いたが、本発明はこれに限定されず、これらのうちの一つ又は複数個を用いるようにしてもよい。例えば、量子化スケール平均値計算部２のみを用いても良好な客観評価をすることができる。または、該量子化スケール平均値計算部２と空間的劣化特徴量計算部３または時間的劣化特徴量計算部４とを用いても良好な客観評価をすることができる。
【００７７】
前記のようにして、特徴量統合部５から客観評価尺度Ｑｏｂｊが得られると、該客観評価尺度Ｑｏｂｊを自動的に監視し評価することにより、映像品質の自動監視を行うことができる。例えば、客観評価尺度Ｑｏｂｊを自動的に記録して残したり、所与の映像品質より悪くなった場合にはアラームを出力したりするなどの処理をすることができる。
【符号の説明】
【００７８】
１・・・ＭＢ（マクロブロック）層パラメータ解析部、２・・・量子化スケール平均値計算部、３・・・空間的劣化特徴量計算部、４・・・時間的劣化特徴量計算部、５・・・特徴量統合部。
【特許請求の範囲】
【請求項１】
参照画像を用いずに映像の主観画質を推定する客観画質評価装置において、
圧縮ビットストリームから各マクロブロックに対して定義された量子化スケールサイズおよび該各マクロブロックが属するスライスの符号化タイプを少なくとも取得するマクロブロック層パラメータ解析部と、
前記スライスの符号化タイプ毎に量子化スケールサイズのシーケンス内平均を求める量子化スケール平均値計算部と、
前記量子化スケール平均値計算部で求められた量子化スケールサイズのシーケンス内平均を特徴量として客観画質を導出する客観画質導出部とを具備し、
前記圧縮ビットストリームのみを用いて 主観画質を推定することを特徴とする映像品質の客観画質評価装置。
【請求項２】
請求項１に記載の客観画質評価装置において、
前記マクロブロック層パラメータ解析部は前記圧縮ビットストリームから各マクロブロックの各直交変換ブロック内の直交変換係数を取得し、
該マクロブロック層パラメータ解析部で取得された前記各直交変換ブロック内の直交変換係数のうちの直流成分の平均値から前記各マクロブロック内の空間的劣化特徴量を求める空間的劣化特徴量計算部をさらに具備したことを特徴とする映像品質の客観画質評価装置。
【請求項３】
請求項１または２に記載の客観画質評価装置において、
前記マクロブロック層パラメータ解析部は前記圧縮ビットストリームの各マクロブロックのうち動き補償予測を適用しているマクロブロックについて、該動き補償予測を適用しているマクロブロック内の各直交変換ブロック内の直交変換係数および参照フレーム番号を取得し、
前記マクロブロック層パラメータ解析部で取得された前記参照フレーム番号により求められるフレーム間距離によって平均化された予測誤差信号電力を基に時間的劣化特徴量を求める時間的劣化特徴量計算部をさらに具備したことを特徴とする映像品質の客観画質評価装置。
【請求項４】
請求項３に記載の客観画質評価装置において、
前記フレーム間距離は、前記マクロブロックに対して双予測が適用されている場合で、該双予測における参照フレームが該マクロブロックの属する復号画像フレームに対して互いに逆方向に位置している場合には、２つの参照フレーム間の距離により与えられ、
前記２つの参照フレームが該マクロブロックの属する復号画像フレームに対してそれぞれ同方向に位置している場合には、該２つの参照フレームのうちの該マクロブロックの属する復号画像フレームとの距離が大きい側の参照フレームと前記復号画像フレームとの間の距離により与えられることを特徴とする映像品質の客観画質評価装置。
【請求項５】
請求項３または４に記載の客観画質評価装置において、
前記フレーム間距離は、前記マクロブロックに対して１つしか参照フレームが存在しない場合には、該参照フレームと該マクロブロックの属する復号画像フレームとの間の距離により与えられることを特徴とする映像品質の客観画質評価装置。
【請求項６】
請求項１ないし５のいずれかに記載の客観画質評価装置において、
前記客観画質導出部は、客観画質導出のための近似関数として、各特徴量の重み付き和を用いることを特徴とする映像品質の客観画質評価装置。
【請求項７】
請求項１ないし５のいずれかに記載の客観画質評価装置において、
前記客観画質導出部は、客観画質導出のための近似関数として、各特徴量をべき指数でべき乗した数の重み付き和を、さらに前記べき指数とは異なるべき指数でべき乗した数を用いることを特徴とする映像品質の客観画質評価装置。
【請求項８】
前記請求項１ないし７のいずれかに記載の客観画質評価装置を具備したことを特徴とする映像品質の自動監視装置。
【請求項１】
参照画像を用いずに映像の主観画質を推定する客観画質評価装置において、
圧縮ビットストリームから各マクロブロックに対して定義された量子化スケールサイズおよび該各マクロブロックが属するスライスの符号化タイプを少なくとも取得するマクロブロック層パラメータ解析部と、
前記スライスの符号化タイプ毎に量子化スケールサイズのシーケンス内平均を求める量子化スケール平均値計算部と、
前記量子化スケール平均値計算部で求められた量子化スケールサイズのシーケンス内平均を特徴量として客観画質を導出する客観画質導出部とを具備し、
前記圧縮ビットストリームのみを用いて 主観画質を推定することを特徴とする映像品質の客観画質評価装置。
【請求項２】
請求項１に記載の客観画質評価装置において、
前記マクロブロック層パラメータ解析部は前記圧縮ビットストリームから各マクロブロックの各直交変換ブロック内の直交変換係数を取得し、
該マクロブロック層パラメータ解析部で取得された前記各直交変換ブロック内の直交変換係数のうちの直流成分の平均値から前記各マクロブロック内の空間的劣化特徴量を求める空間的劣化特徴量計算部をさらに具備したことを特徴とする映像品質の客観画質評価装置。
【請求項３】
請求項１または２に記載の客観画質評価装置において、
前記マクロブロック層パラメータ解析部は前記圧縮ビットストリームの各マクロブロックのうち動き補償予測を適用しているマクロブロックについて、該動き補償予測を適用しているマクロブロック内の各直交変換ブロック内の直交変換係数および参照フレーム番号を取得し、
前記マクロブロック層パラメータ解析部で取得された前記参照フレーム番号により求められるフレーム間距離によって平均化された予測誤差信号電力を基に時間的劣化特徴量を求める時間的劣化特徴量計算部をさらに具備したことを特徴とする映像品質の客観画質評価装置。
【請求項４】
請求項３に記載の客観画質評価装置において、
前記フレーム間距離は、前記マクロブロックに対して双予測が適用されている場合で、該双予測における参照フレームが該マクロブロックの属する復号画像フレームに対して互いに逆方向に位置している場合には、２つの参照フレーム間の距離により与えられ、
前記２つの参照フレームが該マクロブロックの属する復号画像フレームに対してそれぞれ同方向に位置している場合には、該２つの参照フレームのうちの該マクロブロックの属する復号画像フレームとの距離が大きい側の参照フレームと前記復号画像フレームとの間の距離により与えられることを特徴とする映像品質の客観画質評価装置。
【請求項５】
請求項３または４に記載の客観画質評価装置において、
前記フレーム間距離は、前記マクロブロックに対して１つしか参照フレームが存在しない場合には、該参照フレームと該マクロブロックの属する復号画像フレームとの間の距離により与えられることを特徴とする映像品質の客観画質評価装置。
【請求項６】
請求項１ないし５のいずれかに記載の客観画質評価装置において、
前記客観画質導出部は、客観画質導出のための近似関数として、各特徴量の重み付き和を用いることを特徴とする映像品質の客観画質評価装置。
【請求項７】
請求項１ないし５のいずれかに記載の客観画質評価装置において、
前記客観画質導出部は、客観画質導出のための近似関数として、各特徴量をべき指数でべき乗した数の重み付き和を、さらに前記べき指数とは異なるべき指数でべき乗した数を用いることを特徴とする映像品質の客観画質評価装置。
【請求項８】
前記請求項１ないし７のいずれかに記載の客観画質評価装置を具備したことを特徴とする映像品質の自動監視装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１１−１９９３８０（Ｐ２０１１−１９９３８０Ａ）
【公開日】平成２３年１０月６日（２０１１．１０．６）
【国際特許分類】
【出願番号】特願２０１０−６１１０３（Ｐ２０１０−６１１０３）
【出願日】平成２２年３月１７日（２０１０．３．１７）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
【公開日】平成２３年１０月６日（２０１１．１０．６）
【国際特許分類】
【出願日】平成２２年３月１７日（２０１０．３．１７）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
[ Back to top ]