映像品質の客観評価装置
【課題】 マルチメディアアプリケーション向けなどの映像の品質を、人間の主観による判断なしに自動的に主観品質推定する。
【解決手段】 特徴量抽出部１は、原画像ｘに対する評価画像ｙのブロック歪度、PSNR大域時間変動度、およびPSNR局所時間変動度を特徴量として抽出し、重み付き和計算部２は、該特徴量の重み付き和を計算し、客観画質指標を算出する。フレームレート検出部３は、評価画像ｙのフレームレートを検出する。補正部４は、該フレームレート検出部３で検出されたフレームレートに基づいて、前記客観画質指標を補正する。客観評価尺度−主観画質マッピング部５は、予め与えられた客観画質指標と主観画質の相関関係に、前記補正された客観画質指標Ｑｏｂｊを適用して主観画質推定値ＤＭＯＳを導出する。
【解決手段】 特徴量抽出部１は、原画像ｘに対する評価画像ｙのブロック歪度、PSNR大域時間変動度、およびPSNR局所時間変動度を特徴量として抽出し、重み付き和計算部２は、該特徴量の重み付き和を計算し、客観画質指標を算出する。フレームレート検出部３は、評価画像ｙのフレームレートを検出する。補正部４は、該フレームレート検出部３で検出されたフレームレートに基づいて、前記客観画質指標を補正する。客観評価尺度−主観画質マッピング部５は、予め与えられた客観画質指標と主観画質の相関関係に、前記補正された客観画質指標Ｑｏｂｊを適用して主観画質推定値ＤＭＯＳを導出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は映像品質の客観評価装置に関し、特に、動画像の伝送や蓄積などにおいて、圧縮符号化等の画像処理が適用される場合の画像処理後の動画像、いわゆる受信画像、再生画像の品質を、人間の主観による判断なしに自動的に評価する映像品質の客観評価装置に関する。
【背景技術】
【０００２】
本発明に関連する従来技術として、下記の非特許文献１，２に開示されるようなものがある。
【０００３】
非特許文献１は、主にテレビジョン伝送における自動客観画質評価方式のユーザ要求について記述したものである。客観評価を行うにあたって、伝送前後の映像信号をいかに使用するかにより、Full Reference, Reduced Reference, No Reference という3つのフレームワークを規定されている。一般に、Full Referenceは圧縮符号化の品質評価に、Reduced Reference, No Referenceは伝送映像の受信画質の評価に用いられるべきであるなど、利用目的別のシステム実装法を記すことにより、自動客観画質評価方式に対するユーザ要求を示している。
【０００４】
非特許文献２は、標準テレビ方式の2次分配品質（2次分配とは、主にテレビ局〜視聴者宅を結ぶ映像の伝送を指す。ほかに、テレビ局間での番組素材の配信を行う１次分配、スポーツ、ニュースなどの番組素材提供のための素材伝送などのカテゴリがある。）を想定した、Full Reference型の自動客観評価方式の勧告である。非特許文献１ではシステムのフレームワークのみ示されていたが、非特許文献２では、具体的な画質評価の方式について記述されている。
【非特許文献１】ITU-T勧告 J.143 “User requirements for objective perceptual video quality measurements in digital cable television”
【非特許文献２】ITU-T勧告 J.144 “Objective perceptual video quality measurement techniques for digital cable television in the presence of a full reference”
【発明の開示】
【発明が解決しようとする課題】
【０００５】
非特許文献２)に記述されたFull Reference型の画質評価方式はITU勧告として認められる品質を達成している。しかし、これは標準テレビ方式の２次分配系を前提としたものである。標準テレビ方式とは、NTSC(525/60）方式の場合は、720画素×486ライン、毎秒30フレーム（インタレース方式）であり、PAL(625/50)方式の場合は、720画素×576ライン、毎秒25フレーム（インタレース方式）なる信号形式である。
【０００６】
また、２次分配の場合、映像の圧縮符号化で割り当てられるビットレート、すなわちテレビジョン伝送の帯域は、およそ1〜４Mbpsと想定されている。また、使用する圧縮符号化方式は主にMPEG-2方式であるという前提である。
【０００７】
一方、近年の、InternetにおけるIP放送、携帯電話網における地上デジタル ワンセグ放送などに代表されるマルチメディアアプリケーションの普及に伴い、これらのアプリケーションで伝送される映像についても上記テレビジョン伝送の映像と同じく品質評価の要求が高まっている。
【０００８】
しかしながら、非特許文献２の勧告は、上述のようにテレビジョン品質を前提としており、マルチメディアアプリケーションが対象とする、低解像度・低フレームレートの映像（例えば、１５フレーム／秒、１０フレーム／秒、６フレーム／秒など）をMPEG-4/H.264等の高圧縮符号化方式を用い低ビットレートで圧縮するような映像では高い精度は得られない。そのため、これらマルチメディアアプリケーション向けの自動客観画質評価技術が求められている。
【０００９】
本発明は、前記した従来技術の課題に鑑みてなされたものであり、その目的は、マルチメディアアプリケーション向けなどの映像の品質を、人間の主観による判断なしに自動的に主観品質推定する映像品質の客観評価装置を提供することにある。
【課題を解決するための手段】
【００１０】
前記した目的を達成するために、本発明は、原画像と評価画像の２系統の映像信号の解析により映像の主観品質を推定する映像品質の客観評価装置であって、前記原画像に対する評価画像のブロック歪度、シーケンス内のフレームを対象とするPSNR大域時間変動度、およびフレーム毎のPSNR局所時間変動度を特徴量として抽出する特徴量抽出部と、前記ブロック歪度、PSNR大域時間変動度、およびPSNR局所時間変動度の重み付き和を求め、客観画質指標を算出する客観画質指標算出部と、前記評価画像のフレームレートを検出するフレームレート検出部と、該フレームレート検出部で検出されたフレームレートに基づいて、前記客観画質指算出部で算出された客観画質指標を補正する補正部と、予め与えられた客観画質指標と主観画質の相関関係に、前記補正された客観画質指標を適用して主観画質推定値を導出する主観画質推定値導出部とを具備した点に特徴がある。
【発明の効果】
【００１１】
本発明によれば、原画像に対する評価画像のブロック歪度、PSNR大域時間変動度、およびPSNR局所時間変動度を特徴量として抽出し、該特徴量から客観画質指標を算出し、該客観画質指標を評価画像のフレームレート毎に補正することにより、低フレームレート動画像の特性を反映した評価値を導出するようにしているので、従来のテレビジョン画像の評価方式では困難だった低解像度・低フレームレートのマルチメディア動画像などの映像の品質を高精度にかつ自動的に評価することができるようになる。
【００１２】
また、人間の主観による判断なしに、マルチメディア動画像などの低解像度・低フレームレート映像の主観品質推定が可能になる。
【発明を実施するための最良の形態】
【００１３】
以下に、図面を参照して、本発明を詳細に説明する。図１は、２系統の映像信号を入力し、その映像信号を解析することにより、最終的に主観画質推定値を出力する本発明の一実施形態の自動客観画質評価装置の構成図である。ここでは、映像伝送にかかる画像処理を行う前の映像信号に相当する画像を「原画像ｘ」、伝送後の受信画像に相当し、本発明において主観画質を推定する対象となる画像を「評価画像ｙ」と記す。
【００１４】
図１に示されているように、本実施形態の自動客観画質評価装置は、特徴量抽出部１、重み付き和計算部（または客観画質指標算出部）２、フレームレート検出部３、フレームレート別補正部４、客観評価尺度−主観画質マッピング部（または主観画質推定値導出部）５から構成されている。また、該特徴量抽出部１は、さらにブロック歪度計算部１１、PSNR大域時間変動度計算部１２、PSNR局所時間変動度計算部１３という機能単位に分割される。
【００１５】
以下に、前記した各構成要素の構成または機能を詳細に説明する。
＜特徴量抽出部１＞
【００１６】
特徴量抽出部１では、主観画質の導出に必要な３つの映像特徴量、すなわち、ブロック歪度Ｐ１、PSNR大域時間変動度Ｐ２、およびPSNR局所時間変動度Ｐ３を抽出する。以下に、各映像特徴量の導出法を説明する。
１．ブロック歪度Ｐ１
【００１７】
ブロック歪度計算部１１では、図２に示す任意サイズ（同図では、８×８画素ブロックの例）の画素ブロック２１と近傍４ブロック（右隣２５、左下２２、下２３、右下２４）とのDC差分のフレーム内平均ｄＤＣ（ｆ）を原画像ｘおよび評価画像ｙから求め、両者の差分をとり、さらに、その差分のシーケンス内最大値と最小値の差分をもってブロック歪度Ｐ１と定義する。なお、本明細書における「シーケンス」とは、画質評価のために用いる原画像または評価画像の全体を意味し、通常は５〜１５秒の映像により評価される。
Ｐ１＝max｛ｄＤＣＲｅｆ（ｆ）−ｄＤＣＣｏｄ（ｆ）｝−min｛ｄＤＣＲｅｆ（ｆ）−ｄＤＣＣｏｄ（ｆ）｝
【００１８】
ここに、ｄＤＣＲｅｆ（ｆ）は原画像ｘの前記DC差分のフレーム内平均、ｄＤＣＣｏｄ（ｆ）は評価画像ｙの前記DC差分のフレーム内平均である。また、DC差分のフレーム内平均ｄＤＣ（ｆ）は、図２の場合、次の式で表すことができる。この式中のＮＢは、フレーム内の画素ブロックの総数である。
【００１９】
【数１】
【００２０】
２．PSNR大域時間変動度Ｐ２
【００２１】
PSNR大域時間変動度Ｐ２は、シーケンス内の誤差電力MSEの最大値、最小値およびシーケンス内平均値を用いて求められる。
【００２２】
まず、原画像ｘと評価画像ｙの間のMSEの最小値、最大値、平均値を定義する。MSEの最大値、最小値、平均値をそれぞれｅｍｉｎ、ｅｍａｘ、ｅａｖｅと表すとき、これらは以下のように定義される。
【００２３】
【数２】
【００２４】
ここで、ｘ（ｆ、ｎ）はフレームｆのｎ番目の画素の信号値、ＮＰはフレーム内の画素数、ＮＦはシーケンス中のフレーム数である。例えば毎秒１５回フレームを更新する１０秒間の映像により画質評価をする場合には、該シーケンス中のフレーム数は１５０フレームとなる。なお、原画像／評価画像間のシーケンスでフレームレートが異なる場合には、フレームマッチング等の手段により、対応するフレームを検出し、その対応フレーム間におけるPSNRを導出する。
【００２５】
次に、前記ｅｍａｘ、ｅｍｉｎ、ｅａｖｅを基にPSNR大域時間変動度Ｐ２を求める。上述のとおり、PSNRは主観画質推定のための有力な情報である一方、シーケンス内の平均値のみを扱った場合、シーケンス内で画質が時間的に大きく変動するようなケースでその相関が低下する傾向が確認されている。そこで、シーケンス内の誤差電力の最大値ｅｍａｘ、最小値ｅｍｉｎについての平均値ｅａｖｅからの偏りに応じて、以下のとおりPSNRの時間変動度Ｐ２を定義する。
【００２６】
【数３】
【００２７】
ここで、ｆ（ｅａｖｅ）はシーケンス内平均MSEの平均値ｅａｖｅに応じて値を変化させるスケーリング関数である。ｆ（ｅａｖｅ）の詳細についてはｅａｖｅの全域（ただし、ｅａｖｅの定義より、実質的にはｅａｖｅ＞０の区間）で単調増加する任意の関数が適用可能であるが、一例として、以下の関数が挙げられる。
・線形特性
【００２８】
この線形特性は、ｆ（ｅａｖｅ）＝ｅａｖｅで定義される。特性としては、図３に示す特性となる。
・シグモイド関数
【００２９】
このシグモイド関数は、ｅａｖｅの値の高い部分と低い部分で飽和するような特性を持つ。ｆ（ｅａｖｅ）は次式により定義される。
【００３０】
【数４】
【００３１】
特性としては、図４に示す特性となる。なお、図４においては、ｂ１＝１０、ｂ２＝１、ｂ３＝２５、ｂ４＝１０である。
【００３２】
ｆ（ｅａｖｅ）が単調増加するという性質からわかるとおり、ｆ（ｅａｖｅ）の項により、ｅａｖｅの値が小さいとき、すなわち平均MSEが小さく評価画像の品質が高い場合には、Ｐ２の値を抑制し、ｅａｖｅの値が大きく、評価画像の品質が低い場合には、Ｐ２の値を増加させる効果を持たせることができる。さらに、シグモイド関数を適用する場合、図４の両端の領域で一定値に飽和する特性を与えることができる。これは、人間の視覚の飽和特性を反映した特性といえる。
３．PSNR局所時間変動度Ｐ３
【００３３】
マルチメディアアプリケーション向けの低レート符号化では、キーフレームの挿入、シーンチェンジ、急激な動きの発生などによるPSNRの時間的な局所劣化が発生しやすい。そのため、PSNR局所時間変動度Ｐ３によりこれらの局所劣化による主観画質の劣化を検出する。
【００３４】
図５に示すとおり、PSNRのV字型の時間変化dPSNR(f)を求め、これをPSNR局所時間変動度Ｐ３とする。具体的には、当該フレームのインデクス（フレーム番号）をｆとすると、その前後フレームｆ−１、ｆ＋１の平均PSNR値と当該フレームのPSNR値の差分絶対値をdPSNR(f)と定義し、dPSNR(f)のシーケンス中の最大値を求め、これをPSNR局所時間変動度Ｐ３とする。
【００３５】
【数５】
【００３６】
なお、前記PSNR局所時間変動度Ｐ３に対して、当該フレームのMSE値によって値を変化するスケーリング関数を乗じてもよい。このスケーリング関数としては、MSE値によって単調減少する任意の関数が適用可能である。
＜重み付き和計算部２＞
【００３７】
上述の客観評価尺度Ｐ１、Ｐ２、Ｐ３ の重み付き和により、客観評価指標Ｑｏｂｊを以下のとおり定義する。
【００３８】
Ｑｏｂｊ＝αＰ１ +βＰ２ +γＰ３
【００３９】
重みパラメータα、β、γについては、客観評価指標Ｑｏｂｊをフレームレート別補正部、客観評価指標−主観画質マッピング部で変換した際に、主観画質との推定誤差が最小となる値を選ぶこととする。例えば、α＝０．２，β＝０．４，γ＝０．００４とすることができる。なお、該重みパラメータα、β、γは、負の数になることもありうる。
＜フレームレート検出部３＞
【００４０】
フレームレート検出部３では、評価画像ｙの映像信号を解析し、フレームレート値を出力する。本発明では、原画像ｘのフレームレートと評価画像ｙのフレームレートは同一か、もしくは原画像ｘのフレームレートが高いことを前提とするため、両者のうちフレームレートの低い側である評価画像ｙのフレームレートを検出する。
【００４１】
検出されたフレームレート値は、フレームレート別補正部４に出力される。
＜フレームレート別補正部４＞
【００４２】
重み付き和計算部２で出力された客観評価指標Ｑｏｂｊと主観画質（DMOS）の相関をとると、図６のようにフレームレートａ、ｂ、ｃ、・・・毎に異なる特性を示すことがある。自動客観評価装置としては、フレームレートに依存せず安定した評価値を出力することが求められるため、本フレームレート別補正部４では、補正特性（図１参照）を用いてフレームレート毎の主観評価尺度−客観評価尺度の特性の違いを吸収し、フレームレートによらない客観評価値に補正する。補正の方法は以下の通りである。
【００４３】
図７に示されているように、フレームレートｂの画像の主観評価値とそれを近似した客観評価値のデータの組を（Ｑｂ，ＤＭＯＳｂ）とし、これを基準となるフレームレートａの特性ｙ＝ｃ０×Ｑｏｂｊ＋ｃ１上に移動させることを考える。この場合、フレームレートａの特性直線上で、主観評価値ＤＭＯＳｂを与えるような客観評価値Ｑａを求め、これを補正後の客観評価値とする。すなわち、
【００４４】
ＤＭＯＳｂ＝ｃ０×Ｑａ＋ｃ１
なる関係が得られるため、これをＱａについて解き、
【００４５】
Ｑａ＝ＤＭＯＳｂ／ｃ０−ｃ１
なる補正値を得る。
＜客観評価―主観評価マッピング部（主観画質推定値導出部）５＞
【００４６】
最終的に上記のフレームレート別補正を行った後の客観評価指標Ｑｏｂｊと主観評価尺度DMOSの関係を、多数のサンプルで求めると例えば図８のとおりとなる。図８は、３ｆｐｓ（フレーム／秒）、５ｆｐｓ、１０ｆｐｓおよび１５ｆｐｓの評価画像を用いて、客観評価指標Ｑｏｂｊと主観評価尺度DMOSの関係を求めたものである。図示から明らかなように、両者の関係は、多項式関数により良く近似することができる。
【００４７】
しかしながら、これらのデータをフレームレート毎に分類してみると、フレームレート毎にデータの集合に偏りがあることが分かる。そこで、図９のように、フレームレート毎に回帰曲線を求めると、フレームレート単位で回帰直線の傾きが異なり、これによりデータのばらつきが発生していることが分かる。よって、全てのフレームレートのデータ集合が同一の直線上に乗るようにＱｏｂｊの値に補正を行う。
【００４８】
図１０は、この補正を行った後のＱｏｂｊ−DMOS特性である。この時の両者の関係は、一例として、下記の多項式関数によりよく近似することができる。
【００４９】
ＤＭＯＳ＝−０．００３５ｘ３＋０．１７７６ｘ２−２．８２３４ｘ＋１４．３７９ （なお、ｘ＝Ｑｏｂｊである）
【００５０】
したがって、この関数を客観評価―主観評価マッピング部５または主観画質推定値導出部５に予め記憶させておき、該関数に前記補正された客観画質指標Ｑｏｂｊを適用して主観画質推定値を導出する。すなわち、図１０の実線の曲線上の点が客観画質指標Ｑｏｂｊに対応する推定主観画質となる。
【００５１】
以上のように、本発明によれば、人間の主観による判断なしに、マルチメディア動画像などの低解像度・低フレームレート映像の主観品質推定が可能になる。
【００５２】
なお、本実施形態で説明した前記特徴量抽出部１におけるブロック歪度、PSNR大域時間変動度、およびPSNR局所時間変動度の導出方法、重み付き和計算部２における重み付き和の計算方法は一例に過ぎず、本発明は他の導出方法、計算方法であってもよいことは勿論である。
【図面の簡単な説明】
【００５３】
【図１】本発明の一実施形態の概略の構成を示すブロック図である。
【図２】ブロックのDC差分を求める一方法の説明図である。
【図３】線形特性の一例を示す図である。
【図４】線形特性の他の例であるジグモイド関数を示す図である。
【図５】PSNR局所的劣化の定義を示す図である。
【図６】フレームレート毎の客観評価値−主観評価値特性を示す図である。
【図７】客観評価値−主観評価値特性のフレームレート補正方法を示す図である。
【図８】フレームレート補正後の客観評価値−主観評価値特性を示す図である。
【図９】フレームレートの集合毎の回帰曲線を示す図である。
【図１０】フレームレートのデータ集合が同一の直線上に乗るように補正した後の客観評価値−主観評価値特性を示す図である。
【符号の説明】
【００５４】
１・・・特徴量抽出部、２・・・重み付き和計算部、３・・・フレームレート検出部、４・・・フレームレート別補正部、５・・・客観評価尺度・主観画質マッピング部、
１１・・・ブロック歪度計算部、１２・・・PSNR大域時間変動度計算部、１３・・・PSNR局所時間変動度計算部。
【技術分野】
【０００１】
本発明は映像品質の客観評価装置に関し、特に、動画像の伝送や蓄積などにおいて、圧縮符号化等の画像処理が適用される場合の画像処理後の動画像、いわゆる受信画像、再生画像の品質を、人間の主観による判断なしに自動的に評価する映像品質の客観評価装置に関する。
【背景技術】
【０００２】
本発明に関連する従来技術として、下記の非特許文献１，２に開示されるようなものがある。
【０００３】
非特許文献１は、主にテレビジョン伝送における自動客観画質評価方式のユーザ要求について記述したものである。客観評価を行うにあたって、伝送前後の映像信号をいかに使用するかにより、Full Reference, Reduced Reference, No Reference という3つのフレームワークを規定されている。一般に、Full Referenceは圧縮符号化の品質評価に、Reduced Reference, No Referenceは伝送映像の受信画質の評価に用いられるべきであるなど、利用目的別のシステム実装法を記すことにより、自動客観画質評価方式に対するユーザ要求を示している。
【０００４】
非特許文献２は、標準テレビ方式の2次分配品質（2次分配とは、主にテレビ局〜視聴者宅を結ぶ映像の伝送を指す。ほかに、テレビ局間での番組素材の配信を行う１次分配、スポーツ、ニュースなどの番組素材提供のための素材伝送などのカテゴリがある。）を想定した、Full Reference型の自動客観評価方式の勧告である。非特許文献１ではシステムのフレームワークのみ示されていたが、非特許文献２では、具体的な画質評価の方式について記述されている。
【非特許文献１】ITU-T勧告 J.143 “User requirements for objective perceptual video quality measurements in digital cable television”
【非特許文献２】ITU-T勧告 J.144 “Objective perceptual video quality measurement techniques for digital cable television in the presence of a full reference”
【発明の開示】
【発明が解決しようとする課題】
【０００５】
非特許文献２)に記述されたFull Reference型の画質評価方式はITU勧告として認められる品質を達成している。しかし、これは標準テレビ方式の２次分配系を前提としたものである。標準テレビ方式とは、NTSC(525/60）方式の場合は、720画素×486ライン、毎秒30フレーム（インタレース方式）であり、PAL(625/50)方式の場合は、720画素×576ライン、毎秒25フレーム（インタレース方式）なる信号形式である。
【０００６】
また、２次分配の場合、映像の圧縮符号化で割り当てられるビットレート、すなわちテレビジョン伝送の帯域は、およそ1〜４Mbpsと想定されている。また、使用する圧縮符号化方式は主にMPEG-2方式であるという前提である。
【０００７】
一方、近年の、InternetにおけるIP放送、携帯電話網における地上デジタル ワンセグ放送などに代表されるマルチメディアアプリケーションの普及に伴い、これらのアプリケーションで伝送される映像についても上記テレビジョン伝送の映像と同じく品質評価の要求が高まっている。
【０００８】
しかしながら、非特許文献２の勧告は、上述のようにテレビジョン品質を前提としており、マルチメディアアプリケーションが対象とする、低解像度・低フレームレートの映像（例えば、１５フレーム／秒、１０フレーム／秒、６フレーム／秒など）をMPEG-4/H.264等の高圧縮符号化方式を用い低ビットレートで圧縮するような映像では高い精度は得られない。そのため、これらマルチメディアアプリケーション向けの自動客観画質評価技術が求められている。
【０００９】
本発明は、前記した従来技術の課題に鑑みてなされたものであり、その目的は、マルチメディアアプリケーション向けなどの映像の品質を、人間の主観による判断なしに自動的に主観品質推定する映像品質の客観評価装置を提供することにある。
【課題を解決するための手段】
【００１０】
前記した目的を達成するために、本発明は、原画像と評価画像の２系統の映像信号の解析により映像の主観品質を推定する映像品質の客観評価装置であって、前記原画像に対する評価画像のブロック歪度、シーケンス内のフレームを対象とするPSNR大域時間変動度、およびフレーム毎のPSNR局所時間変動度を特徴量として抽出する特徴量抽出部と、前記ブロック歪度、PSNR大域時間変動度、およびPSNR局所時間変動度の重み付き和を求め、客観画質指標を算出する客観画質指標算出部と、前記評価画像のフレームレートを検出するフレームレート検出部と、該フレームレート検出部で検出されたフレームレートに基づいて、前記客観画質指算出部で算出された客観画質指標を補正する補正部と、予め与えられた客観画質指標と主観画質の相関関係に、前記補正された客観画質指標を適用して主観画質推定値を導出する主観画質推定値導出部とを具備した点に特徴がある。
【発明の効果】
【００１１】
本発明によれば、原画像に対する評価画像のブロック歪度、PSNR大域時間変動度、およびPSNR局所時間変動度を特徴量として抽出し、該特徴量から客観画質指標を算出し、該客観画質指標を評価画像のフレームレート毎に補正することにより、低フレームレート動画像の特性を反映した評価値を導出するようにしているので、従来のテレビジョン画像の評価方式では困難だった低解像度・低フレームレートのマルチメディア動画像などの映像の品質を高精度にかつ自動的に評価することができるようになる。
【００１２】
また、人間の主観による判断なしに、マルチメディア動画像などの低解像度・低フレームレート映像の主観品質推定が可能になる。
【発明を実施するための最良の形態】
【００１３】
以下に、図面を参照して、本発明を詳細に説明する。図１は、２系統の映像信号を入力し、その映像信号を解析することにより、最終的に主観画質推定値を出力する本発明の一実施形態の自動客観画質評価装置の構成図である。ここでは、映像伝送にかかる画像処理を行う前の映像信号に相当する画像を「原画像ｘ」、伝送後の受信画像に相当し、本発明において主観画質を推定する対象となる画像を「評価画像ｙ」と記す。
【００１４】
図１に示されているように、本実施形態の自動客観画質評価装置は、特徴量抽出部１、重み付き和計算部（または客観画質指標算出部）２、フレームレート検出部３、フレームレート別補正部４、客観評価尺度−主観画質マッピング部（または主観画質推定値導出部）５から構成されている。また、該特徴量抽出部１は、さらにブロック歪度計算部１１、PSNR大域時間変動度計算部１２、PSNR局所時間変動度計算部１３という機能単位に分割される。
【００１５】
以下に、前記した各構成要素の構成または機能を詳細に説明する。
＜特徴量抽出部１＞
【００１６】
特徴量抽出部１では、主観画質の導出に必要な３つの映像特徴量、すなわち、ブロック歪度Ｐ１、PSNR大域時間変動度Ｐ２、およびPSNR局所時間変動度Ｐ３を抽出する。以下に、各映像特徴量の導出法を説明する。
１．ブロック歪度Ｐ１
【００１７】
ブロック歪度計算部１１では、図２に示す任意サイズ（同図では、８×８画素ブロックの例）の画素ブロック２１と近傍４ブロック（右隣２５、左下２２、下２３、右下２４）とのDC差分のフレーム内平均ｄＤＣ（ｆ）を原画像ｘおよび評価画像ｙから求め、両者の差分をとり、さらに、その差分のシーケンス内最大値と最小値の差分をもってブロック歪度Ｐ１と定義する。なお、本明細書における「シーケンス」とは、画質評価のために用いる原画像または評価画像の全体を意味し、通常は５〜１５秒の映像により評価される。
Ｐ１＝max｛ｄＤＣＲｅｆ（ｆ）−ｄＤＣＣｏｄ（ｆ）｝−min｛ｄＤＣＲｅｆ（ｆ）−ｄＤＣＣｏｄ（ｆ）｝
【００１８】
ここに、ｄＤＣＲｅｆ（ｆ）は原画像ｘの前記DC差分のフレーム内平均、ｄＤＣＣｏｄ（ｆ）は評価画像ｙの前記DC差分のフレーム内平均である。また、DC差分のフレーム内平均ｄＤＣ（ｆ）は、図２の場合、次の式で表すことができる。この式中のＮＢは、フレーム内の画素ブロックの総数である。
【００１９】
【数１】
【００２０】
２．PSNR大域時間変動度Ｐ２
【００２１】
PSNR大域時間変動度Ｐ２は、シーケンス内の誤差電力MSEの最大値、最小値およびシーケンス内平均値を用いて求められる。
【００２２】
まず、原画像ｘと評価画像ｙの間のMSEの最小値、最大値、平均値を定義する。MSEの最大値、最小値、平均値をそれぞれｅｍｉｎ、ｅｍａｘ、ｅａｖｅと表すとき、これらは以下のように定義される。
【００２３】
【数２】
【００２４】
ここで、ｘ（ｆ、ｎ）はフレームｆのｎ番目の画素の信号値、ＮＰはフレーム内の画素数、ＮＦはシーケンス中のフレーム数である。例えば毎秒１５回フレームを更新する１０秒間の映像により画質評価をする場合には、該シーケンス中のフレーム数は１５０フレームとなる。なお、原画像／評価画像間のシーケンスでフレームレートが異なる場合には、フレームマッチング等の手段により、対応するフレームを検出し、その対応フレーム間におけるPSNRを導出する。
【００２５】
次に、前記ｅｍａｘ、ｅｍｉｎ、ｅａｖｅを基にPSNR大域時間変動度Ｐ２を求める。上述のとおり、PSNRは主観画質推定のための有力な情報である一方、シーケンス内の平均値のみを扱った場合、シーケンス内で画質が時間的に大きく変動するようなケースでその相関が低下する傾向が確認されている。そこで、シーケンス内の誤差電力の最大値ｅｍａｘ、最小値ｅｍｉｎについての平均値ｅａｖｅからの偏りに応じて、以下のとおりPSNRの時間変動度Ｐ２を定義する。
【００２６】
【数３】
【００２７】
ここで、ｆ（ｅａｖｅ）はシーケンス内平均MSEの平均値ｅａｖｅに応じて値を変化させるスケーリング関数である。ｆ（ｅａｖｅ）の詳細についてはｅａｖｅの全域（ただし、ｅａｖｅの定義より、実質的にはｅａｖｅ＞０の区間）で単調増加する任意の関数が適用可能であるが、一例として、以下の関数が挙げられる。
・線形特性
【００２８】
この線形特性は、ｆ（ｅａｖｅ）＝ｅａｖｅで定義される。特性としては、図３に示す特性となる。
・シグモイド関数
【００２９】
このシグモイド関数は、ｅａｖｅの値の高い部分と低い部分で飽和するような特性を持つ。ｆ（ｅａｖｅ）は次式により定義される。
【００３０】
【数４】
【００３１】
特性としては、図４に示す特性となる。なお、図４においては、ｂ１＝１０、ｂ２＝１、ｂ３＝２５、ｂ４＝１０である。
【００３２】
ｆ（ｅａｖｅ）が単調増加するという性質からわかるとおり、ｆ（ｅａｖｅ）の項により、ｅａｖｅの値が小さいとき、すなわち平均MSEが小さく評価画像の品質が高い場合には、Ｐ２の値を抑制し、ｅａｖｅの値が大きく、評価画像の品質が低い場合には、Ｐ２の値を増加させる効果を持たせることができる。さらに、シグモイド関数を適用する場合、図４の両端の領域で一定値に飽和する特性を与えることができる。これは、人間の視覚の飽和特性を反映した特性といえる。
３．PSNR局所時間変動度Ｐ３
【００３３】
マルチメディアアプリケーション向けの低レート符号化では、キーフレームの挿入、シーンチェンジ、急激な動きの発生などによるPSNRの時間的な局所劣化が発生しやすい。そのため、PSNR局所時間変動度Ｐ３によりこれらの局所劣化による主観画質の劣化を検出する。
【００３４】
図５に示すとおり、PSNRのV字型の時間変化dPSNR(f)を求め、これをPSNR局所時間変動度Ｐ３とする。具体的には、当該フレームのインデクス（フレーム番号）をｆとすると、その前後フレームｆ−１、ｆ＋１の平均PSNR値と当該フレームのPSNR値の差分絶対値をdPSNR(f)と定義し、dPSNR(f)のシーケンス中の最大値を求め、これをPSNR局所時間変動度Ｐ３とする。
【００３５】
【数５】
【００３６】
なお、前記PSNR局所時間変動度Ｐ３に対して、当該フレームのMSE値によって値を変化するスケーリング関数を乗じてもよい。このスケーリング関数としては、MSE値によって単調減少する任意の関数が適用可能である。
＜重み付き和計算部２＞
【００３７】
上述の客観評価尺度Ｐ１、Ｐ２、Ｐ３ の重み付き和により、客観評価指標Ｑｏｂｊを以下のとおり定義する。
【００３８】
Ｑｏｂｊ＝αＰ１ +βＰ２ +γＰ３
【００３９】
重みパラメータα、β、γについては、客観評価指標Ｑｏｂｊをフレームレート別補正部、客観評価指標−主観画質マッピング部で変換した際に、主観画質との推定誤差が最小となる値を選ぶこととする。例えば、α＝０．２，β＝０．４，γ＝０．００４とすることができる。なお、該重みパラメータα、β、γは、負の数になることもありうる。
＜フレームレート検出部３＞
【００４０】
フレームレート検出部３では、評価画像ｙの映像信号を解析し、フレームレート値を出力する。本発明では、原画像ｘのフレームレートと評価画像ｙのフレームレートは同一か、もしくは原画像ｘのフレームレートが高いことを前提とするため、両者のうちフレームレートの低い側である評価画像ｙのフレームレートを検出する。
【００４１】
検出されたフレームレート値は、フレームレート別補正部４に出力される。
＜フレームレート別補正部４＞
【００４２】
重み付き和計算部２で出力された客観評価指標Ｑｏｂｊと主観画質（DMOS）の相関をとると、図６のようにフレームレートａ、ｂ、ｃ、・・・毎に異なる特性を示すことがある。自動客観評価装置としては、フレームレートに依存せず安定した評価値を出力することが求められるため、本フレームレート別補正部４では、補正特性（図１参照）を用いてフレームレート毎の主観評価尺度−客観評価尺度の特性の違いを吸収し、フレームレートによらない客観評価値に補正する。補正の方法は以下の通りである。
【００４３】
図７に示されているように、フレームレートｂの画像の主観評価値とそれを近似した客観評価値のデータの組を（Ｑｂ，ＤＭＯＳｂ）とし、これを基準となるフレームレートａの特性ｙ＝ｃ０×Ｑｏｂｊ＋ｃ１上に移動させることを考える。この場合、フレームレートａの特性直線上で、主観評価値ＤＭＯＳｂを与えるような客観評価値Ｑａを求め、これを補正後の客観評価値とする。すなわち、
【００４４】
ＤＭＯＳｂ＝ｃ０×Ｑａ＋ｃ１
なる関係が得られるため、これをＱａについて解き、
【００４５】
Ｑａ＝ＤＭＯＳｂ／ｃ０−ｃ１
なる補正値を得る。
＜客観評価―主観評価マッピング部（主観画質推定値導出部）５＞
【００４６】
最終的に上記のフレームレート別補正を行った後の客観評価指標Ｑｏｂｊと主観評価尺度DMOSの関係を、多数のサンプルで求めると例えば図８のとおりとなる。図８は、３ｆｐｓ（フレーム／秒）、５ｆｐｓ、１０ｆｐｓおよび１５ｆｐｓの評価画像を用いて、客観評価指標Ｑｏｂｊと主観評価尺度DMOSの関係を求めたものである。図示から明らかなように、両者の関係は、多項式関数により良く近似することができる。
【００４７】
しかしながら、これらのデータをフレームレート毎に分類してみると、フレームレート毎にデータの集合に偏りがあることが分かる。そこで、図９のように、フレームレート毎に回帰曲線を求めると、フレームレート単位で回帰直線の傾きが異なり、これによりデータのばらつきが発生していることが分かる。よって、全てのフレームレートのデータ集合が同一の直線上に乗るようにＱｏｂｊの値に補正を行う。
【００４８】
図１０は、この補正を行った後のＱｏｂｊ−DMOS特性である。この時の両者の関係は、一例として、下記の多項式関数によりよく近似することができる。
【００４９】
ＤＭＯＳ＝−０．００３５ｘ３＋０．１７７６ｘ２−２．８２３４ｘ＋１４．３７９ （なお、ｘ＝Ｑｏｂｊである）
【００５０】
したがって、この関数を客観評価―主観評価マッピング部５または主観画質推定値導出部５に予め記憶させておき、該関数に前記補正された客観画質指標Ｑｏｂｊを適用して主観画質推定値を導出する。すなわち、図１０の実線の曲線上の点が客観画質指標Ｑｏｂｊに対応する推定主観画質となる。
【００５１】
以上のように、本発明によれば、人間の主観による判断なしに、マルチメディア動画像などの低解像度・低フレームレート映像の主観品質推定が可能になる。
【００５２】
なお、本実施形態で説明した前記特徴量抽出部１におけるブロック歪度、PSNR大域時間変動度、およびPSNR局所時間変動度の導出方法、重み付き和計算部２における重み付き和の計算方法は一例に過ぎず、本発明は他の導出方法、計算方法であってもよいことは勿論である。
【図面の簡単な説明】
【００５３】
【図１】本発明の一実施形態の概略の構成を示すブロック図である。
【図２】ブロックのDC差分を求める一方法の説明図である。
【図３】線形特性の一例を示す図である。
【図４】線形特性の他の例であるジグモイド関数を示す図である。
【図５】PSNR局所的劣化の定義を示す図である。
【図６】フレームレート毎の客観評価値−主観評価値特性を示す図である。
【図７】客観評価値−主観評価値特性のフレームレート補正方法を示す図である。
【図８】フレームレート補正後の客観評価値−主観評価値特性を示す図である。
【図９】フレームレートの集合毎の回帰曲線を示す図である。
【図１０】フレームレートのデータ集合が同一の直線上に乗るように補正した後の客観評価値−主観評価値特性を示す図である。
【符号の説明】
【００５４】
１・・・特徴量抽出部、２・・・重み付き和計算部、３・・・フレームレート検出部、４・・・フレームレート別補正部、５・・・客観評価尺度・主観画質マッピング部、
１１・・・ブロック歪度計算部、１２・・・PSNR大域時間変動度計算部、１３・・・PSNR局所時間変動度計算部。
【特許請求の範囲】
【請求項１】
原画像と評価画像の２系統の映像信号の解析により映像の主観品質を推定する映像品質の客観評価装置であって、
前記原画像に対する評価画像のブロック歪度、シーケンス内のフレームを対象とするPSNR大域時間変動度、およびフレーム毎のPSNR局所時間変動度を特徴量として抽出する特徴量抽出部と、
前記ブロック歪度、PSNR大域時間変動度、およびPSNR局所時間変動度の重み付き和を求め、客観画質指標を算出する客観画質指標算出部と、
前記評価画像のフレームレートを検出するフレームレート検出部と、
該フレームレート検出部で検出されたフレームレートに基づいて、前記客観画質指算出部で算出された客観画質指標を補正する補正部と、
予め与えられた客観画質指標と主観画質の相関関係に、前記補正された客観画質指標を適用して主観画質推定値を導出する主観画質推定値導出部とを具備したことを特徴とする映像品質の客観評価装置。
【請求項２】
請求項１に記載の映像品質の客観評価装置において、
前記ブロック歪度は、
前記原画像、評価画像の各画素ブロックと隣接ブロックのDC差分フレーム内平均値を求め、
前記原画像における前記DC差分フレーム内平均値のシーケンス内最大値と前記評価画像における前記DC差分フレーム内平均値のシーケンス内最大値の差分をDC差分最大値として求め、
原画像における前記DC差分フレーム内平均値のシーケンス内最小値と評価画像における前記DC差分フレーム内平均値のシーケンス内最小値の差分をDC差分最小値として求め、
さらに、前記DC差分最大値とDC差分最小値の差をブロック歪度として求めることを特徴とする映像品質の客観評価装置。
【請求項３】
請求項１に記載の映像品質の客観評価装置において、
前記PSNR大域時間変動度は、
シーケンス内の各フレームのMSEの最大値と平均値の差分絶対値とシーケンス内の各フレームのMSEの最小値と平均値の差分絶対値の比をもとに導出することを特徴とする映像品質の客観評価装置。
【請求項４】
請求項３に記載の映像品質の客観評価装置において、
前記シーケンス内のMSEの最大値と平均値の差と、最小値と平均値の差との比に対して、シーケンス内のMSE平均値によって値を変化させるスケーリング関数を乗じることを特徴とする映像品質の客観評価装置。
【請求項５】
請求項１に記載の映像品質の客観評価装置において、
前記PSNR局所時間変動度は、当該フレームのPSNR値と、その前後フレームのPSNR値の平均値の差分絶対値との、シーケンス内最大値であることを特徴とする映像品質の客観評価装置。
【請求項６】
請求項５に記載の映像品質の客観評価装置において、
前記PSNR局所時間変動度は、前記隣接フレーム間PSNR差分のシーケンス内最大値に対して、当該フレームのMSE値によって値を変化させるスケーリング関数を乗じることを特徴とする映像品質の客観評価装置。
【請求項１】
原画像と評価画像の２系統の映像信号の解析により映像の主観品質を推定する映像品質の客観評価装置であって、
前記原画像に対する評価画像のブロック歪度、シーケンス内のフレームを対象とするPSNR大域時間変動度、およびフレーム毎のPSNR局所時間変動度を特徴量として抽出する特徴量抽出部と、
前記ブロック歪度、PSNR大域時間変動度、およびPSNR局所時間変動度の重み付き和を求め、客観画質指標を算出する客観画質指標算出部と、
前記評価画像のフレームレートを検出するフレームレート検出部と、
該フレームレート検出部で検出されたフレームレートに基づいて、前記客観画質指算出部で算出された客観画質指標を補正する補正部と、
予め与えられた客観画質指標と主観画質の相関関係に、前記補正された客観画質指標を適用して主観画質推定値を導出する主観画質推定値導出部とを具備したことを特徴とする映像品質の客観評価装置。
【請求項２】
請求項１に記載の映像品質の客観評価装置において、
前記ブロック歪度は、
前記原画像、評価画像の各画素ブロックと隣接ブロックのDC差分フレーム内平均値を求め、
前記原画像における前記DC差分フレーム内平均値のシーケンス内最大値と前記評価画像における前記DC差分フレーム内平均値のシーケンス内最大値の差分をDC差分最大値として求め、
原画像における前記DC差分フレーム内平均値のシーケンス内最小値と評価画像における前記DC差分フレーム内平均値のシーケンス内最小値の差分をDC差分最小値として求め、
さらに、前記DC差分最大値とDC差分最小値の差をブロック歪度として求めることを特徴とする映像品質の客観評価装置。
【請求項３】
請求項１に記載の映像品質の客観評価装置において、
前記PSNR大域時間変動度は、
シーケンス内の各フレームのMSEの最大値と平均値の差分絶対値とシーケンス内の各フレームのMSEの最小値と平均値の差分絶対値の比をもとに導出することを特徴とする映像品質の客観評価装置。
【請求項４】
請求項３に記載の映像品質の客観評価装置において、
前記シーケンス内のMSEの最大値と平均値の差と、最小値と平均値の差との比に対して、シーケンス内のMSE平均値によって値を変化させるスケーリング関数を乗じることを特徴とする映像品質の客観評価装置。
【請求項５】
請求項１に記載の映像品質の客観評価装置において、
前記PSNR局所時間変動度は、当該フレームのPSNR値と、その前後フレームのPSNR値の平均値の差分絶対値との、シーケンス内最大値であることを特徴とする映像品質の客観評価装置。
【請求項６】
請求項５に記載の映像品質の客観評価装置において、
前記PSNR局所時間変動度は、前記隣接フレーム間PSNR差分のシーケンス内最大値に対して、当該フレームのMSE値によって値を変化させるスケーリング関数を乗じることを特徴とする映像品質の客観評価装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００８−３５３５７（Ｐ２００８−３５３５７Ａ）
【公開日】平成２０年２月１４日（２００８．２．１４）
【国際特許分類】
【出願番号】特願２００６−２０８０９１（Ｐ２００６−２０８０９１）
【出願日】平成１８年７月３１日（２００６．７．３１）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
【公開日】平成２０年２月１４日（２００８．２．１４）
【国際特許分類】
【出願日】平成１８年７月３１日（２００６．７．３１）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
[ Back to top ]