映像品質客観評価装置及び方法及びプログラム
【課題】 基準映像と劣化映像の解像度、フォーマット形式、表示レートが異なる場合であっても、映像品質推定を行うことが可能なフルレファレンス型の映像品質客観評価装置を提供する。
【解決手段】 本発明は、基準映像と劣化映像の画素値を直接比較するのではなく、入力された基準映像と劣化映像の前後フレームの映像劣化量の違いを抽出する相対劣化特徴量抽出部と、相対劣化特徴量抽出部から出力される特徴量に基づいて、映像品質評価値を導出する映像品質推定部とを設けることにより、解像度やフォーマットが異なる場合でも映像品質を推定することを可能にする。
【解決手段】 本発明は、基準映像と劣化映像の画素値を直接比較するのではなく、入力された基準映像と劣化映像の前後フレームの映像劣化量の違いを抽出する相対劣化特徴量抽出部と、相対劣化特徴量抽出部から出力される特徴量に基づいて、映像品質評価値を導出する映像品質推定部とを設けることにより、解像度やフォーマットが異なる場合でも映像品質を推定することを可能にする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像品質客観評価装置及び方法及びプログラムに係り、特に、IPTV(Internet Protocol TeleVisiton)サービスや携帯電話を利用する映像配信サービス、テレビ電話サービスなどにおける映像品質を客観的に評価するための映像品質客観評価装置及び方法及びプログラムに関する。
【背景技術】
【０００２】
通信回線の高速化、広帯域化や放送波を受信する端末の多様化に伴い、様々な端末を用いて映像サービスを享受できる環境が整いつつある。
【０００３】
映像サービスには、映像にブロック状のひずみやボケ等の劣化が生じる。その原因は、一般的に送信帯域が制限されていることを利用して符号化が行われたたり、伝送路の品質低下に伴い、ビット誤りやパケット損失が発生することによる。
【０００４】
そのため、良好な品質で映像サービスを提供していることを確認するためには、サービス提供前もしくは提供中にユーザが体験する映像の品質を測定し、ユーザに対して提供される映像の品質が良好であることを確認及び監視することが重要である。
【０００５】
そこで、ユーザが体感する映像品質を適切に評価できる映像品質評価技術が必要である。
【０００６】
映像品質を評価する手法には、主観評価法（例えば、非特許文献１参照）と客観評価法（例えば、非特許文献２）が存在する。
【０００７】
主観評価法は、評価環境（室内照度や室内騒音など）が再現可能な施設において多数のユーザに映像を評価してもらう必要がある。そのため、高いコストとなり、評価に時間がかかるため品質をリアルタイムに評価する用途には向かない。そこで、映像信号から物理的な特徴量を導出して、映像品質評価値を出力する映像品質評価法の開発が望まれている。
【０００８】
従来の客観評価法には、基準映像と劣化映像を入力として両者の映像信号（画素情報）を比較して、映像品質に影響を与える特徴量から映像品質を導出する評価技術がある（例えば、非特許文献２参照）。
【先行技術文献】
【非特許文献】
【０００９】
【非特許文献１】ITU-T勧告P. 910 "Subjective video quality assessment methods for multimedia applications".
【非特許文献２】ITU-T勧告J.247 "Objective perceptual multimedia video quality measurement in the presence of a full reference".
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかしながら、上記特許文献２の技術は、基準映像と劣化映像の解像度やフォーマットが一致していることを前提としており、一致していない場合は品質評価ができない、という問題がある。具体的には、携帯端末向けの地上デジタルテレビ放送サービスのワンセグサービスにおいて、基準映像はHDTV(High Definition TeleVision)形式の映像であるが、廃止に字にはQVGA(Quarter Video Graphics Array)サイズ（320×240画素）を基本としているが、実際には携帯端末の上に表示される映像はメーカーや機種毎に解像度やアスペクト比が異なるなど、基準映像と劣化映像の解像度が異なり品質評価することが困難である。
【００１１】
ここで、解像度やフォーマットを一致させるように基準映像や劣化映像に信号処理を加えて整合を取らせる方法も考えられる。しかし、この方法は、適用した信号処理の影響が出てしまい、適切な整合がとれず、品質推定ができないという問題がある。
【００１２】
本発明は、上記の点に鑑みなされたもので、基準映像と劣化映像の解像度、フォーマット形式、表示レートが異なる場合であっても、高精度な映像品質評価値を推定することが可能なフルレファレンス型の映像品質客観評価装置及び方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明では、上記の目的を達成するため、従来技術のように基準映像と劣化映像の画素値を直接比較するのではなく、基準映像と劣化映像のそれぞれの前後フレームの映像劣化量の違いを抽出する相対劣化特徴量を導出し、その特徴量を利用することで、解像度やフォーマットが異なる場合でも映像品質評価が可能な映像品質客観評価装置及び方法及びプログラムを提供する。
【００１４】
本発明（請求項１）は、映像品質を客観的に評価するための映像品質客観評価装置であって、
基準映像の前後のフレームの映像劣化量と劣化映像の前後フレームの映像劣化量の違いを抽出する相対劣化特徴量抽出手段と、
前記相対劣化特徴量抽出手段から抽出された特徴量と評価対象映像の定常品質値から映像品質評価値を導出する映像品質推定手段と、
を有することを特徴とする。
【００１５】
また、本発明（請求項２）は、請求項１の前記相対劣化特徴量抽出手段において、
前記基準映像及び前記劣化映像のそれぞれの前後フレームの劣化特徴量における両者の変化が共に大きくなるタイミングを用いて該基準映像と該劣化映像の同期を合わせる第１の劣化特徴量比較手段、
または、
前記基準映像と前記劣化映像の画像の解像度が異なる場合に、対応フレーム毎の変化量を比較する第２の劣化特徴量比較手段、
または、
前記基準映像と前記劣化映像の表示フレームレートが異なる場合に単位時間当たりの変化量を比較する第３の劣化特徴量比較手段、
または、
前記基準映像と前記劣化映像の前後フレームの劣化特徴量として、前後フレーム画素値の差分量、前後フレームの画素の比、前後フレームのＰＳＮＲ（画素差分量を基準映像の画素値で均一化した値）、あるいはそれらの分散値など統計処理した値を利用する第４の劣化特徴量比較手段、
のいずれかを有する。
【００１６】
また、本発明（請求項３）は、請求項１の前記相対劣化特徴量抽出手段において、
前記基準映像の前後のフレームの劣化特徴量を導出する基準映像特徴量抽出手段と、
前記劣化映像の前後のフレームの劣化特徴量を導出する劣化映像特徴量抽出手段と、を含み、
前記基準映像特徴量抽出手段及び前記劣化映像特徴量抽出手段は、
前記基準映像と前記劣化映像の前後のフレームの劣化特徴量を導出する際に、差分フレーム間の全てではなく、画素間間引きあるいは特定領域の情報を利用する。
【００１７】
また、本発明（請求項４）は、請求項１の前記相対劣化特徴量抽出手段において、
入力された基準映像に対してエンコーダ処理した映像を新たな基準映像として出力するエンコード処理手段を有する。
【００１８】
また、本発明（請求項５）は、請求項１の前記映像品質推定手段において、
前記定常品質値として、
予め抽出しておいた評価対象映像の定常品質値を格納した定常品質値記憶手段から読み込む、または、前記基準映像と前記劣化映像間の画素情報を直接比較することにより得られた情報を用いる。
【００１９】
また、本発明（請求項６）は、映像品質を客観的に評価するための映像品質客観評価方法であって、
基準映像の前後のフレームの映像劣化量と劣化映像の前後フレームの映像劣化量の違いを抽出する相対劣化特徴量抽出ステップと、
前記相対劣化特徴量抽出手段から抽出された特徴量と評価対象映像の定常品質値から映像品質評価値を導出する映像品質推定ステップと、を行うことを特徴とする。
【００２０】
また、本発明（請求項７）は、請求項６の前記相対劣化特徴量抽出ステップにおいて、
前記基準映像及び前記劣化映像のそれぞれの前後フレームの劣化特徴量における両者の変化が共に大きくなるタイミングを用いて該基準映像と該劣化映像の同期を合わせる第１の劣化特徴量比較ステップ、
または、
前記基準映像と前記劣化映像の画像の解像度が異なる場合に、対応フレーム毎の変化量を比較する第２の劣化特徴量比較ステップ、
または、
前記基準映像と前記劣化映像の表示フレームレートが異なる場合に単位時間当たりの変化量を比較する第３の劣化特徴量比較ステップ、
または、
前記基準映像と前記劣化映像の前後フレームの劣化特徴量として、前後フレーム画素値の差分量、前後フレームの画素の比、前後フレームのＰＳＮＲ（画素差分量を基準映像の画素値で均一化した値）、あるいはそれらの分散値など統計処理した値を利用する第４の劣化特徴量比較ステップ、のいずれかを行う。
【００２１】
また、本発明（請求項８）は、請求項６の前記相対劣化特徴量抽出ステップにおいて、
前記基準映像の前後のフレームの劣化特徴量を導出する基準映像特徴量抽出ステップと、
前記劣化映像の前後のフレームの劣化特徴量を導出する劣化映像特徴量抽出ステップと、を行い、
前記基準映像特徴量抽出ステップ及び前記劣化映像特徴量抽出ステップにおいて、
前記基準映像と前記劣化映像の前後のフレームの劣化特徴量を導出する際に、差分フレーム間の全てではなく、画素間間引きあるいは特定領域の情報を利用する。
【００２２】
また、本発明（請求項９）は、請求項６の前記相対劣化特徴量抽出ステップにおいて、
入力された基準映像に対してエンコーダ処理した映像を新たな基準映像として出力するステップを行う。
【００２３】
また、本発明（請求項１０）は、請求項６の前記映像品質推定ステップにおいて、
前記定常品質値として、
予め抽出しておいた評価対象映像の定常品質値を格納した定常品質値記憶手段から読み込む、または、前記基準映像と前記劣化映像間の画素情報を直接比較することにより得られた情報を用いる。
【００２４】
また、本発明（請求項１１）は、請求項１乃至５のいずれか１項に記載の映像品質客観評価装置を構成する各手段としてコンピュータを機能させるための映像品質客観評価プログラムである。
【発明の効果】
【００２５】
上記のように、本発明によれば、基準映像と劣化映像の解像度、フォーマット形式、表示レートが異なる場合であっても、基準映像と劣化映像のそれぞれの前後のフレームの映像劣化量の違いを抽出する相対劣化特徴量を利用することで、従来、直接画素を比較する品質評価が困難であった点を改善し、簡便かつ高精度に映像サービスにおける映像品質値を推定することができる。
【００２６】
したがって、映像サービスの提供者は、本発明によりユーザが実際に視聴する映像サービスの映像品質を監視可能となるため、提供サービスがユーザに対して適切な品質で提供されているか確認することができる。
【００２７】
これにより、映像サービスの提供者は、提供前及び提供中のサービスの品質実態を適切に把握、管理できる。
【図面の簡単な説明】
【００２８】
【図１】本発明の第１の実施の形態における映像品質客観評価装置の構成図である。
【図２】本発明の第１の実施の形態における定常品質ＤＢの例である。
【図３】本発明の第１の実施の形態におけるフレーム間差分特徴量を示す図である。
【図４】本発明の第１の実施の形態における基準／劣化フレーム間差分特徴量の同期合わせ方法である。
【図５】本発明の第１の実施の形態における基準／劣化フレーム間差分特徴量の単位時間比較の方法である。
【図６】本発明の第２の実施の形態における映像品質客観評価装置の構成図である。
【発明を実施するための形態】
【００２９】
以下図面と共に、本発明の実施の形態を説明する。
【００３０】
［第１の実施の形態］
本発明の実施の形態に係る映像品質客観評価装置は、図１に示すように、基準映像信号１０と劣化映像信号２０を利用して映像品質評価値６０を導出するフルレファレンス型の映像品質客観評価装置を実現するものである。
【００３１】
図１は、本発明の第１の実施の形態における映像品質客観評価装置は、相対劣化特徴量抽出部１００Ａと、品質推定部２００と、定常品質データベース３００とから構成されている。
【００３２】
定常品質データベース３００は、図２に示すように、エンコーダ条件、定常品質値、係数、評価式を含む定常品質データを格納する。
【００３３】
相対劣化特徴量抽出部１００Ａは、基準映像特徴量抽出部１１０、劣化映像特徴量抽出部１２０、劣化特徴量比較部１３０から構成されている。
【００３４】
基準映像特徴量抽出部１１０は、基準映像信号１０が入力されると、図３に示すようにフレーム間差分情報を抽出し、基準フレーム間差分特徴量１５を劣化特徴量比較部１３０に出力する。図３（ａ）は基準映像フレーム間差分を示し、図３（ｂ）は劣化映像フレーム間差分を示す。ここで、基準フレーム間差分特徴量１５として色差情報やＲＧＢ情報を利用してもよい。ここで色差情報やＲＧＢ情報を利用してもよい。
【００３５】
【数１】
上記の、△R(ｉ，ｊ，ｋ)はｋフレーム目の画素（ｉ，ｊ）の基準映像の差分輝度値、R(ｉ，ｊ，ｋ)はｋフレーム目の画素（ｉ，ｊ）の基準映像の輝度値を表す。
【００３６】
劣化映像特徴量抽出部１２０は、劣化映像信号２０が入力されると、基準映像特徴量抽出部１１０と同様の処理により、劣化フレーム間差分特徴量２５を劣化特徴量比較部１３０に出力する。ここで、劣化フレーム間差分特徴量２５として、輝度値を利用した以下の差分フレームを用いる。ここで色差情報やＲＧＢ情報を利用してもよい。
【００３７】
【数２】
ここで、△P(ｉ，ｊ，ｋ)はｋフレーム目の画素（ｉ，ｊ）の基準映像の差分輝度値、Ｐ（ｉ，ｊ，ｋ）はｋフレーム目の画素（ｉ，ｊ）の基準映像の輝度値を表す。
【００３８】
なお、基準映像特徴量抽出部１１０及び劣化映像特徴量抽出部１２０で行うフレーム間差分情報の導出においては、全ての画素を使うことを前提としているが、処理量を減らすことで実装の容易性確保や、処理速度の向上を促し、リアルタイム化を図るため、画素の間引きや特定の映像領域の画素を利用することができる。
【００３９】
劣化特徴量比較部１３０は、基準フレーム間差分特徴量１５と劣化フレーム間差分特徴量２５とを比較することで、相対劣化特徴量３０を出力する。
【００４０】
劣化特徴量比較部１３０は、基準フレーム間差分特徴量１５と劣化フレーム間差分特徴量２５を比較するため、基準映像と劣化映像の同期を合わせる必要がある。このため、図４に示すようにシーンチェンジ等によって基準映像及び劣化映像の前後フレームの劣化特徴量にそれぞれ大きな変化がでるタイミングを用いて同期を合わせることとする。図４（ａ）は基準映像の特徴量のピークＡを示し、同図（ｂ）は劣化映像の特徴量のピークＢを示している。同図において、基準映像のシーンチェンジで発生した特徴量のピークＡに劣化映像で発生したシーンチェンジで発生した特徴量のピークＢをあわせて同期させる。
【００４１】
また、基準フレーム間差分特徴量１５と劣化フレーム間差分特徴量２５を比較する単位は、図５に示すように、１／１５秒毎のように基準フレーム間差分特徴量と劣化フレーム間差分特徴量を合わせた単位時間あたりの変化量を比較する。これにより、基準映像と劣化映像の表示フレームレートが異なる場合やパケット損失等によりフレームが欠落した場合でも評価が可能である。
【００４２】
さらに、相対劣化特徴量３０としては、下記の（１）〜（３）の特徴量及びそれらを組み合わせたものを導出する。これらの特徴量は、フレーム間の差分値を画素平均として正規化を行い、基準映像と劣化映像の映像サイズの違いの影響を考慮している。
【００４３】
（１）前後フレーム画素値の差分量（MSE）：
【００４４】
【数３】
但し、ｋフレーム目を対象とする。また、基準映像の解像度は水平方向Ｘ画素、垂直方向にＹ画素とし、劣化映像の解像度は水平方向Ｘ'画素、垂直方向にＹ'画素とする。
【００４５】
（２）前後のフレームの画素値の比：
【００４６】
【数４】
但し、ｋフレーム目を対象とする。また、基準映像の解像度は水平方向Ｘ画素、垂直方向にＹ画素とし、劣化映像の解像度は水平方向Ｘ'画素、垂直方向にＹ'画素とする。
【００４７】
（３）前後フレームのＳＮ比(PSNR)：
【００４８】
【数５】
但し、PSNRは、画素差分量を基準映像の画素値で均一化した値であり、MAXは△Rがとりうる最大画素値であり、１輝度値を何bitで構成しているかによって変化する。複数フレームのＳＮ比はフレーム毎のＳＮ比の平均として求まるが、例えば、式（５）のようにフレーム毎に導出するのではなく、式(６)に示すように複数フレームPSNRを計算する際に複数フレームの差分和を先に計算してから導出することもできる。
【００４９】
【数６】
但し、Ｍは測定対象とするフレーム数、MAXは△Rがとりうる最大画素値であり、１輝度値を何bitで構成しているかによって変化する。
【００５０】
さらに、特徴量としては上記の分散値、最大値、最小値などの統計量を利用することができる。
【００５１】
品質推定部２００では、劣化特徴量比較部１３０から相対劣化特徴量３０を受け取ると共に、既知の劣化映像信号の符号化条件やサービス条件を定常品質データベース３００に送り、定常品質値や係数を含む定常品質データ４０を受け取り、以下の計算を行う。
【００５２】
【数７】
但し、Ｑは映像品質評価値３０、αSはＳ番目の相対劣化特徴量でＳの最大値はＰとする。また、βは定常品質値、ａ，ｂ，ｃは係数とする。
【００５３】
また、定常品質データベース３００は、定常品質値のみを返す場合もありうるが、評価式自体を受け渡すこともある。さらに、符号化方式が不変な状態が続くのであれば、定常品質データ４０の導出要求は随時行わなくてもよい。
【００５４】
［第２の実施の形態］
以下、図面を用いて第２の実施の形態を説明する。
【００５５】
以下では、前述の第１の実施の形態と異なる部分のみ説明することとする。
【００５６】
図６は、本発明の第２の実施の形態における映像品質客観評価装置の構成を示す。同図において、図１と同一構成部分には同一符号を付し、その説明を省略する。
【００５７】
本実施の形態における映像品質客観評価装置は、相対劣化特徴量抽出部１００Ｂと、品質推定部２００、定常品質抽出部４００から構成されている。
【００５８】
相対劣化特徴量抽出部１００Ｂは、エンコード処理部１０５、基準映像特徴量抽出部１１０、劣化映像特徴量抽出部１２０、劣化特徴量比較部１３０から構成される。
【００５９】
エンコード処理部１０５は、基準映像信号１０が入力されると、それをエンコードしたエンコード処理基準映像信号１２を基準映像特徴量抽出部１１０に出力する。これは、劣化映像の比較対象として基準映像そのものの差分特徴量では符号化による劣化の影響が適切にとれないことがあることを改善するものである。エンコード処理部１０５ではエンコード処理としているが、当該エンコードに相当する適切なフィルタリング処理でもよい。
【００６０】
基準映像特徴量抽出部１１０は、エンコード処理基準映像信号１２が入力されると、第１の実施の形態と同様の処理を行うことで、基準フレーム間差分特徴量１５を出力する。
【００６１】
定常品質抽出部４００は、相対劣化特徴量の基準を導出するため、基準映像信号１０と劣化映像信号２０の画素情報を直接比較して定常品質データ５０を導出するものである。この方法は、映像解像度などの影響で直接品質推定は困難だが、平均的な品質情報をとして利用する。定常品質抽出部４００で利用する特徴量は、特徴量比較部１３０の本来の入力である基準フレーム間差分特徴量１５と劣化フレーム間差分特徴量２５の代わりに、基準映像信号１０と劣化映像信号２０とし、定常品質抽出部４００は、これらから直接画素差分を導出する。また、映像解像度や表示フレームレートが異なる場合は、定常品質抽出部４００で解像度やレートを整合させる処理を行うことにより対応する。
【００６２】
なお、上記の第１、第２の実施の形態における映像品質客観評価装置の構成要素をプログラムとして構築し、映像品質客観評価装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。
【００６３】
また、構築されたプログラムを、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。
【００６４】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
【産業上の利用可能性】
【００６５】
本発明は、映像配信拠点であるヘッドにおける、送出映像の映像品質の推定や、ＶＯＤサービスにおいて送出前の品質確認に利用、及び、端末側における受信後の品質推定や確認を行う際に適用可能である。
【符号の説明】
【００６６】
１０ 基準映像信号
２０ 劣化映像信号
１２ エンコード処理基準映像信号
１５ 基準フレーム間差分特徴量
２５ 劣化フレーム間差分特徴量
３０ 相対劣化特徴量
４０ 定常品質データ要求
５０ 定常品質データ
６０ 映像品質評価値
１００Ａ，１００Ｂ 相対劣化特徴量抽出部
１０５ エンコード処理部
１１０ 基準映像特徴量抽出部
１２０ 劣化映像特徴量抽出部
１３０ 劣化特徴量比較部
２００ 品質推定部
３００ 定常品質ＤＢ
４００ 定常品質抽出部
【技術分野】
【０００１】
本発明は、映像品質客観評価装置及び方法及びプログラムに係り、特に、IPTV(Internet Protocol TeleVisiton)サービスや携帯電話を利用する映像配信サービス、テレビ電話サービスなどにおける映像品質を客観的に評価するための映像品質客観評価装置及び方法及びプログラムに関する。
【背景技術】
【０００２】
通信回線の高速化、広帯域化や放送波を受信する端末の多様化に伴い、様々な端末を用いて映像サービスを享受できる環境が整いつつある。
【０００３】
映像サービスには、映像にブロック状のひずみやボケ等の劣化が生じる。その原因は、一般的に送信帯域が制限されていることを利用して符号化が行われたたり、伝送路の品質低下に伴い、ビット誤りやパケット損失が発生することによる。
【０００４】
そのため、良好な品質で映像サービスを提供していることを確認するためには、サービス提供前もしくは提供中にユーザが体験する映像の品質を測定し、ユーザに対して提供される映像の品質が良好であることを確認及び監視することが重要である。
【０００５】
そこで、ユーザが体感する映像品質を適切に評価できる映像品質評価技術が必要である。
【０００６】
映像品質を評価する手法には、主観評価法（例えば、非特許文献１参照）と客観評価法（例えば、非特許文献２）が存在する。
【０００７】
主観評価法は、評価環境（室内照度や室内騒音など）が再現可能な施設において多数のユーザに映像を評価してもらう必要がある。そのため、高いコストとなり、評価に時間がかかるため品質をリアルタイムに評価する用途には向かない。そこで、映像信号から物理的な特徴量を導出して、映像品質評価値を出力する映像品質評価法の開発が望まれている。
【０００８】
従来の客観評価法には、基準映像と劣化映像を入力として両者の映像信号（画素情報）を比較して、映像品質に影響を与える特徴量から映像品質を導出する評価技術がある（例えば、非特許文献２参照）。
【先行技術文献】
【非特許文献】
【０００９】
【非特許文献１】ITU-T勧告P. 910 "Subjective video quality assessment methods for multimedia applications".
【非特許文献２】ITU-T勧告J.247 "Objective perceptual multimedia video quality measurement in the presence of a full reference".
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかしながら、上記特許文献２の技術は、基準映像と劣化映像の解像度やフォーマットが一致していることを前提としており、一致していない場合は品質評価ができない、という問題がある。具体的には、携帯端末向けの地上デジタルテレビ放送サービスのワンセグサービスにおいて、基準映像はHDTV(High Definition TeleVision)形式の映像であるが、廃止に字にはQVGA(Quarter Video Graphics Array)サイズ（320×240画素）を基本としているが、実際には携帯端末の上に表示される映像はメーカーや機種毎に解像度やアスペクト比が異なるなど、基準映像と劣化映像の解像度が異なり品質評価することが困難である。
【００１１】
ここで、解像度やフォーマットを一致させるように基準映像や劣化映像に信号処理を加えて整合を取らせる方法も考えられる。しかし、この方法は、適用した信号処理の影響が出てしまい、適切な整合がとれず、品質推定ができないという問題がある。
【００１２】
本発明は、上記の点に鑑みなされたもので、基準映像と劣化映像の解像度、フォーマット形式、表示レートが異なる場合であっても、高精度な映像品質評価値を推定することが可能なフルレファレンス型の映像品質客観評価装置及び方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明では、上記の目的を達成するため、従来技術のように基準映像と劣化映像の画素値を直接比較するのではなく、基準映像と劣化映像のそれぞれの前後フレームの映像劣化量の違いを抽出する相対劣化特徴量を導出し、その特徴量を利用することで、解像度やフォーマットが異なる場合でも映像品質評価が可能な映像品質客観評価装置及び方法及びプログラムを提供する。
【００１４】
本発明（請求項１）は、映像品質を客観的に評価するための映像品質客観評価装置であって、
基準映像の前後のフレームの映像劣化量と劣化映像の前後フレームの映像劣化量の違いを抽出する相対劣化特徴量抽出手段と、
前記相対劣化特徴量抽出手段から抽出された特徴量と評価対象映像の定常品質値から映像品質評価値を導出する映像品質推定手段と、
を有することを特徴とする。
【００１５】
また、本発明（請求項２）は、請求項１の前記相対劣化特徴量抽出手段において、
前記基準映像及び前記劣化映像のそれぞれの前後フレームの劣化特徴量における両者の変化が共に大きくなるタイミングを用いて該基準映像と該劣化映像の同期を合わせる第１の劣化特徴量比較手段、
または、
前記基準映像と前記劣化映像の画像の解像度が異なる場合に、対応フレーム毎の変化量を比較する第２の劣化特徴量比較手段、
または、
前記基準映像と前記劣化映像の表示フレームレートが異なる場合に単位時間当たりの変化量を比較する第３の劣化特徴量比較手段、
または、
前記基準映像と前記劣化映像の前後フレームの劣化特徴量として、前後フレーム画素値の差分量、前後フレームの画素の比、前後フレームのＰＳＮＲ（画素差分量を基準映像の画素値で均一化した値）、あるいはそれらの分散値など統計処理した値を利用する第４の劣化特徴量比較手段、
のいずれかを有する。
【００１６】
また、本発明（請求項３）は、請求項１の前記相対劣化特徴量抽出手段において、
前記基準映像の前後のフレームの劣化特徴量を導出する基準映像特徴量抽出手段と、
前記劣化映像の前後のフレームの劣化特徴量を導出する劣化映像特徴量抽出手段と、を含み、
前記基準映像特徴量抽出手段及び前記劣化映像特徴量抽出手段は、
前記基準映像と前記劣化映像の前後のフレームの劣化特徴量を導出する際に、差分フレーム間の全てではなく、画素間間引きあるいは特定領域の情報を利用する。
【００１７】
また、本発明（請求項４）は、請求項１の前記相対劣化特徴量抽出手段において、
入力された基準映像に対してエンコーダ処理した映像を新たな基準映像として出力するエンコード処理手段を有する。
【００１８】
また、本発明（請求項５）は、請求項１の前記映像品質推定手段において、
前記定常品質値として、
予め抽出しておいた評価対象映像の定常品質値を格納した定常品質値記憶手段から読み込む、または、前記基準映像と前記劣化映像間の画素情報を直接比較することにより得られた情報を用いる。
【００１９】
また、本発明（請求項６）は、映像品質を客観的に評価するための映像品質客観評価方法であって、
基準映像の前後のフレームの映像劣化量と劣化映像の前後フレームの映像劣化量の違いを抽出する相対劣化特徴量抽出ステップと、
前記相対劣化特徴量抽出手段から抽出された特徴量と評価対象映像の定常品質値から映像品質評価値を導出する映像品質推定ステップと、を行うことを特徴とする。
【００２０】
また、本発明（請求項７）は、請求項６の前記相対劣化特徴量抽出ステップにおいて、
前記基準映像及び前記劣化映像のそれぞれの前後フレームの劣化特徴量における両者の変化が共に大きくなるタイミングを用いて該基準映像と該劣化映像の同期を合わせる第１の劣化特徴量比較ステップ、
または、
前記基準映像と前記劣化映像の画像の解像度が異なる場合に、対応フレーム毎の変化量を比較する第２の劣化特徴量比較ステップ、
または、
前記基準映像と前記劣化映像の表示フレームレートが異なる場合に単位時間当たりの変化量を比較する第３の劣化特徴量比較ステップ、
または、
前記基準映像と前記劣化映像の前後フレームの劣化特徴量として、前後フレーム画素値の差分量、前後フレームの画素の比、前後フレームのＰＳＮＲ（画素差分量を基準映像の画素値で均一化した値）、あるいはそれらの分散値など統計処理した値を利用する第４の劣化特徴量比較ステップ、のいずれかを行う。
【００２１】
また、本発明（請求項８）は、請求項６の前記相対劣化特徴量抽出ステップにおいて、
前記基準映像の前後のフレームの劣化特徴量を導出する基準映像特徴量抽出ステップと、
前記劣化映像の前後のフレームの劣化特徴量を導出する劣化映像特徴量抽出ステップと、を行い、
前記基準映像特徴量抽出ステップ及び前記劣化映像特徴量抽出ステップにおいて、
前記基準映像と前記劣化映像の前後のフレームの劣化特徴量を導出する際に、差分フレーム間の全てではなく、画素間間引きあるいは特定領域の情報を利用する。
【００２２】
また、本発明（請求項９）は、請求項６の前記相対劣化特徴量抽出ステップにおいて、
入力された基準映像に対してエンコーダ処理した映像を新たな基準映像として出力するステップを行う。
【００２３】
また、本発明（請求項１０）は、請求項６の前記映像品質推定ステップにおいて、
前記定常品質値として、
予め抽出しておいた評価対象映像の定常品質値を格納した定常品質値記憶手段から読み込む、または、前記基準映像と前記劣化映像間の画素情報を直接比較することにより得られた情報を用いる。
【００２４】
また、本発明（請求項１１）は、請求項１乃至５のいずれか１項に記載の映像品質客観評価装置を構成する各手段としてコンピュータを機能させるための映像品質客観評価プログラムである。
【発明の効果】
【００２５】
上記のように、本発明によれば、基準映像と劣化映像の解像度、フォーマット形式、表示レートが異なる場合であっても、基準映像と劣化映像のそれぞれの前後のフレームの映像劣化量の違いを抽出する相対劣化特徴量を利用することで、従来、直接画素を比較する品質評価が困難であった点を改善し、簡便かつ高精度に映像サービスにおける映像品質値を推定することができる。
【００２６】
したがって、映像サービスの提供者は、本発明によりユーザが実際に視聴する映像サービスの映像品質を監視可能となるため、提供サービスがユーザに対して適切な品質で提供されているか確認することができる。
【００２７】
これにより、映像サービスの提供者は、提供前及び提供中のサービスの品質実態を適切に把握、管理できる。
【図面の簡単な説明】
【００２８】
【図１】本発明の第１の実施の形態における映像品質客観評価装置の構成図である。
【図２】本発明の第１の実施の形態における定常品質ＤＢの例である。
【図３】本発明の第１の実施の形態におけるフレーム間差分特徴量を示す図である。
【図４】本発明の第１の実施の形態における基準／劣化フレーム間差分特徴量の同期合わせ方法である。
【図５】本発明の第１の実施の形態における基準／劣化フレーム間差分特徴量の単位時間比較の方法である。
【図６】本発明の第２の実施の形態における映像品質客観評価装置の構成図である。
【発明を実施するための形態】
【００２９】
以下図面と共に、本発明の実施の形態を説明する。
【００３０】
［第１の実施の形態］
本発明の実施の形態に係る映像品質客観評価装置は、図１に示すように、基準映像信号１０と劣化映像信号２０を利用して映像品質評価値６０を導出するフルレファレンス型の映像品質客観評価装置を実現するものである。
【００３１】
図１は、本発明の第１の実施の形態における映像品質客観評価装置は、相対劣化特徴量抽出部１００Ａと、品質推定部２００と、定常品質データベース３００とから構成されている。
【００３２】
定常品質データベース３００は、図２に示すように、エンコーダ条件、定常品質値、係数、評価式を含む定常品質データを格納する。
【００３３】
相対劣化特徴量抽出部１００Ａは、基準映像特徴量抽出部１１０、劣化映像特徴量抽出部１２０、劣化特徴量比較部１３０から構成されている。
【００３４】
基準映像特徴量抽出部１１０は、基準映像信号１０が入力されると、図３に示すようにフレーム間差分情報を抽出し、基準フレーム間差分特徴量１５を劣化特徴量比較部１３０に出力する。図３（ａ）は基準映像フレーム間差分を示し、図３（ｂ）は劣化映像フレーム間差分を示す。ここで、基準フレーム間差分特徴量１５として色差情報やＲＧＢ情報を利用してもよい。ここで色差情報やＲＧＢ情報を利用してもよい。
【００３５】
【数１】
上記の、△R(ｉ，ｊ，ｋ)はｋフレーム目の画素（ｉ，ｊ）の基準映像の差分輝度値、R(ｉ，ｊ，ｋ)はｋフレーム目の画素（ｉ，ｊ）の基準映像の輝度値を表す。
【００３６】
劣化映像特徴量抽出部１２０は、劣化映像信号２０が入力されると、基準映像特徴量抽出部１１０と同様の処理により、劣化フレーム間差分特徴量２５を劣化特徴量比較部１３０に出力する。ここで、劣化フレーム間差分特徴量２５として、輝度値を利用した以下の差分フレームを用いる。ここで色差情報やＲＧＢ情報を利用してもよい。
【００３７】
【数２】
ここで、△P(ｉ，ｊ，ｋ)はｋフレーム目の画素（ｉ，ｊ）の基準映像の差分輝度値、Ｐ（ｉ，ｊ，ｋ）はｋフレーム目の画素（ｉ，ｊ）の基準映像の輝度値を表す。
【００３８】
なお、基準映像特徴量抽出部１１０及び劣化映像特徴量抽出部１２０で行うフレーム間差分情報の導出においては、全ての画素を使うことを前提としているが、処理量を減らすことで実装の容易性確保や、処理速度の向上を促し、リアルタイム化を図るため、画素の間引きや特定の映像領域の画素を利用することができる。
【００３９】
劣化特徴量比較部１３０は、基準フレーム間差分特徴量１５と劣化フレーム間差分特徴量２５とを比較することで、相対劣化特徴量３０を出力する。
【００４０】
劣化特徴量比較部１３０は、基準フレーム間差分特徴量１５と劣化フレーム間差分特徴量２５を比較するため、基準映像と劣化映像の同期を合わせる必要がある。このため、図４に示すようにシーンチェンジ等によって基準映像及び劣化映像の前後フレームの劣化特徴量にそれぞれ大きな変化がでるタイミングを用いて同期を合わせることとする。図４（ａ）は基準映像の特徴量のピークＡを示し、同図（ｂ）は劣化映像の特徴量のピークＢを示している。同図において、基準映像のシーンチェンジで発生した特徴量のピークＡに劣化映像で発生したシーンチェンジで発生した特徴量のピークＢをあわせて同期させる。
【００４１】
また、基準フレーム間差分特徴量１５と劣化フレーム間差分特徴量２５を比較する単位は、図５に示すように、１／１５秒毎のように基準フレーム間差分特徴量と劣化フレーム間差分特徴量を合わせた単位時間あたりの変化量を比較する。これにより、基準映像と劣化映像の表示フレームレートが異なる場合やパケット損失等によりフレームが欠落した場合でも評価が可能である。
【００４２】
さらに、相対劣化特徴量３０としては、下記の（１）〜（３）の特徴量及びそれらを組み合わせたものを導出する。これらの特徴量は、フレーム間の差分値を画素平均として正規化を行い、基準映像と劣化映像の映像サイズの違いの影響を考慮している。
【００４３】
（１）前後フレーム画素値の差分量（MSE）：
【００４４】
【数３】
但し、ｋフレーム目を対象とする。また、基準映像の解像度は水平方向Ｘ画素、垂直方向にＹ画素とし、劣化映像の解像度は水平方向Ｘ'画素、垂直方向にＹ'画素とする。
【００４５】
（２）前後のフレームの画素値の比：
【００４６】
【数４】
但し、ｋフレーム目を対象とする。また、基準映像の解像度は水平方向Ｘ画素、垂直方向にＹ画素とし、劣化映像の解像度は水平方向Ｘ'画素、垂直方向にＹ'画素とする。
【００４７】
（３）前後フレームのＳＮ比(PSNR)：
【００４８】
【数５】
但し、PSNRは、画素差分量を基準映像の画素値で均一化した値であり、MAXは△Rがとりうる最大画素値であり、１輝度値を何bitで構成しているかによって変化する。複数フレームのＳＮ比はフレーム毎のＳＮ比の平均として求まるが、例えば、式（５）のようにフレーム毎に導出するのではなく、式(６)に示すように複数フレームPSNRを計算する際に複数フレームの差分和を先に計算してから導出することもできる。
【００４９】
【数６】
但し、Ｍは測定対象とするフレーム数、MAXは△Rがとりうる最大画素値であり、１輝度値を何bitで構成しているかによって変化する。
【００５０】
さらに、特徴量としては上記の分散値、最大値、最小値などの統計量を利用することができる。
【００５１】
品質推定部２００では、劣化特徴量比較部１３０から相対劣化特徴量３０を受け取ると共に、既知の劣化映像信号の符号化条件やサービス条件を定常品質データベース３００に送り、定常品質値や係数を含む定常品質データ４０を受け取り、以下の計算を行う。
【００５２】
【数７】
但し、Ｑは映像品質評価値３０、αSはＳ番目の相対劣化特徴量でＳの最大値はＰとする。また、βは定常品質値、ａ，ｂ，ｃは係数とする。
【００５３】
また、定常品質データベース３００は、定常品質値のみを返す場合もありうるが、評価式自体を受け渡すこともある。さらに、符号化方式が不変な状態が続くのであれば、定常品質データ４０の導出要求は随時行わなくてもよい。
【００５４】
［第２の実施の形態］
以下、図面を用いて第２の実施の形態を説明する。
【００５５】
以下では、前述の第１の実施の形態と異なる部分のみ説明することとする。
【００５６】
図６は、本発明の第２の実施の形態における映像品質客観評価装置の構成を示す。同図において、図１と同一構成部分には同一符号を付し、その説明を省略する。
【００５７】
本実施の形態における映像品質客観評価装置は、相対劣化特徴量抽出部１００Ｂと、品質推定部２００、定常品質抽出部４００から構成されている。
【００５８】
相対劣化特徴量抽出部１００Ｂは、エンコード処理部１０５、基準映像特徴量抽出部１１０、劣化映像特徴量抽出部１２０、劣化特徴量比較部１３０から構成される。
【００５９】
エンコード処理部１０５は、基準映像信号１０が入力されると、それをエンコードしたエンコード処理基準映像信号１２を基準映像特徴量抽出部１１０に出力する。これは、劣化映像の比較対象として基準映像そのものの差分特徴量では符号化による劣化の影響が適切にとれないことがあることを改善するものである。エンコード処理部１０５ではエンコード処理としているが、当該エンコードに相当する適切なフィルタリング処理でもよい。
【００６０】
基準映像特徴量抽出部１１０は、エンコード処理基準映像信号１２が入力されると、第１の実施の形態と同様の処理を行うことで、基準フレーム間差分特徴量１５を出力する。
【００６１】
定常品質抽出部４００は、相対劣化特徴量の基準を導出するため、基準映像信号１０と劣化映像信号２０の画素情報を直接比較して定常品質データ５０を導出するものである。この方法は、映像解像度などの影響で直接品質推定は困難だが、平均的な品質情報をとして利用する。定常品質抽出部４００で利用する特徴量は、特徴量比較部１３０の本来の入力である基準フレーム間差分特徴量１５と劣化フレーム間差分特徴量２５の代わりに、基準映像信号１０と劣化映像信号２０とし、定常品質抽出部４００は、これらから直接画素差分を導出する。また、映像解像度や表示フレームレートが異なる場合は、定常品質抽出部４００で解像度やレートを整合させる処理を行うことにより対応する。
【００６２】
なお、上記の第１、第２の実施の形態における映像品質客観評価装置の構成要素をプログラムとして構築し、映像品質客観評価装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。
【００６３】
また、構築されたプログラムを、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。
【００６４】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
【産業上の利用可能性】
【００６５】
本発明は、映像配信拠点であるヘッドにおける、送出映像の映像品質の推定や、ＶＯＤサービスにおいて送出前の品質確認に利用、及び、端末側における受信後の品質推定や確認を行う際に適用可能である。
【符号の説明】
【００６６】
１０ 基準映像信号
２０ 劣化映像信号
１２ エンコード処理基準映像信号
１５ 基準フレーム間差分特徴量
２５ 劣化フレーム間差分特徴量
３０ 相対劣化特徴量
４０ 定常品質データ要求
５０ 定常品質データ
６０ 映像品質評価値
１００Ａ，１００Ｂ 相対劣化特徴量抽出部
１０５ エンコード処理部
１１０ 基準映像特徴量抽出部
１２０ 劣化映像特徴量抽出部
１３０ 劣化特徴量比較部
２００ 品質推定部
３００ 定常品質ＤＢ
４００ 定常品質抽出部
【特許請求の範囲】
【請求項１】
映像品質を客観的に評価するための映像品質客観評価装置であって、
基準映像の前後のフレームの映像劣化量と劣化映像の前後フレームの映像劣化量の違いを抽出する相対劣化特徴量抽出手段と、
前記相対劣化特徴量抽出手段から抽出された特徴量と評価対象映像の定常品質値から映像品質評価値を導出する映像品質推定手段と、
を有することを特徴とする映像品質客観評価装置。
【請求項２】
前記相対劣化特徴量抽出手段は、
前記基準映像及び前記劣化映像のそれぞれの前後フレームの劣化特徴量における両者の変化が共に大きくなるタイミングを用いて該基準映像と該劣化映像の同期を合わせる第１の劣化特徴量比較手段、
または、
前記基準映像と前記劣化映像の画像の解像度が異なる場合に、対応フレーム毎の変化量を比較する第２の劣化特徴量比較手段、
または、
前記基準映像と前記劣化映像の表示フレームレートが異なる場合に単位時間当たりの変化量を比較する第３の劣化特徴量比較手段、
または、
前記基準映像と前記劣化映像の前後フレームの劣化特徴量として、前後フレーム画素値の差分量、前後フレームの画素の比、前後フレームのＰＳＮＲ（画素差分量を基準映像の画素値で均一化した値）、あるいはそれらの分散値など統計処理した値を利用する第４の劣化特徴量比較手段、
のいずれかを有する請求項１記載の映像品質客観評価装置。
【請求項３】
前記相対劣化特徴量抽出手段は、
前記基準映像の前後のフレームの劣化特徴量を導出する基準映像特徴量抽出手段と、
前記劣化映像の前後のフレームの劣化特徴量を導出する劣化映像特徴量抽出手段と、を含み、
前記基準映像特徴量抽出手段及び前記劣化映像特徴量抽出手段は、
前記基準映像と前記劣化映像の前後のフレームの劣化特徴量を導出する際に、差分フレーム間の全てではなく、画素間間引きあるいは特定領域の情報を利用する
請求項１記載の映像品質客観評価装置。
【請求項４】
前記相対劣化特徴量抽出手段は、
入力された基準映像に対してエンコーダ処理した映像を新たな基準映像として出力するエンコード処理手段を有する
請求項１記載の映像品質客観評価装置。
【請求項５】
前記映像品質推定手段は、
前記定常品質値として、
予め抽出しておいた評価対象映像の定常品質値を格納した定常品質値記憶手段から読み込む、または、前記基準映像と前記劣化映像間の画素情報を直接比較することにより得られた情報を用いる
請求項１記載の映像品質客観評価装置。
【請求項６】
映像品質を客観的に評価するための映像品質客観評価方法であって、
基準映像の前後のフレームの映像劣化量と劣化映像の前後フレームの映像劣化量の違いを抽出する相対劣化特徴量抽出ステップと、
前記相対劣化特徴量抽出手段から抽出された特徴量と評価対象映像の定常品質値から映像品質評価値を導出する映像品質推定ステップと、
を行うことを特徴とする映像品質客観評価方法。
【請求項７】
前記相対劣化特徴量抽出ステップにおいて、
前記基準映像及び前記劣化映像のそれぞれの前後フレームの劣化特徴量における両者の変化が共に大きくなるタイミングを用いて該基準映像と該劣化映像の同期を合わせる第１の劣化特徴量比較ステップ、
または、
前記基準映像と前記劣化映像の画像の解像度が異なる場合に、対応フレーム毎の変化量を比較する第２の劣化特徴量比較ステップ、
または、
前記基準映像と前記劣化映像の表示フレームレートが異なる場合に単位時間当たりの変化量を比較する第３の劣化特徴量比較ステップ、
または、
前記基準映像と前記劣化映像の前後フレームの劣化特徴量として、前後フレーム画素値の差分量、前後フレームの画素の比、前後フレームのＰＳＮＲ（画素差分量を基準映像の画素値で均一化した値）、あるいはそれらの分散値など統計処理した値を利用する第４の劣化特徴量比較ステップ、
のいずれかを行う請求項６記載の映像品質客観評価方法。
【請求項８】
前記相対劣化特徴量抽出ステップにおいて、
前記基準映像の前後のフレームの劣化特徴量を導出する基準映像特徴量抽出ステップと、
前記劣化映像の前後のフレームの劣化特徴量を導出する劣化映像特徴量抽出ステップと、を行い、
前記基準映像特徴量抽出ステップ及び前記劣化映像特徴量抽出ステップにおいて、
前記基準映像と前記劣化映像の前後のフレームの劣化特徴量を導出する際に、差分フレーム間の全てではなく、画素間間引きあるいは特定領域の情報を利用する
請求項６記載の映像品質客観評価方法。
【請求項９】
前記相対劣化特徴量抽出ステップにおいて、
入力された基準映像に対してエンコーダ処理した映像を新たな基準映像として出力するステップを行う
請求項６記載の映像品質客観評価方法。
【請求項１０】
前記映像品質推定ステップにおいて、
前記定常品質値として、
予め抽出しておいた評価対象映像の定常品質値を格納した定常品質値記憶手段から読み込む、または、前記基準映像と前記劣化映像間の画素情報を直接比較することにより得られた情報を用いる
請求項６記載の映像品質客観評価方法。
【請求項１１】
請求項１乃至５のいずれか１項に記載の映像品質客観評価装置を構成する各手段としてコンピュータを機能させるための映像品質客観評価プログラム。
【請求項１】
映像品質を客観的に評価するための映像品質客観評価装置であって、
基準映像の前後のフレームの映像劣化量と劣化映像の前後フレームの映像劣化量の違いを抽出する相対劣化特徴量抽出手段と、
前記相対劣化特徴量抽出手段から抽出された特徴量と評価対象映像の定常品質値から映像品質評価値を導出する映像品質推定手段と、
を有することを特徴とする映像品質客観評価装置。
【請求項２】
前記相対劣化特徴量抽出手段は、
前記基準映像及び前記劣化映像のそれぞれの前後フレームの劣化特徴量における両者の変化が共に大きくなるタイミングを用いて該基準映像と該劣化映像の同期を合わせる第１の劣化特徴量比較手段、
または、
前記基準映像と前記劣化映像の画像の解像度が異なる場合に、対応フレーム毎の変化量を比較する第２の劣化特徴量比較手段、
または、
前記基準映像と前記劣化映像の表示フレームレートが異なる場合に単位時間当たりの変化量を比較する第３の劣化特徴量比較手段、
または、
前記基準映像と前記劣化映像の前後フレームの劣化特徴量として、前後フレーム画素値の差分量、前後フレームの画素の比、前後フレームのＰＳＮＲ（画素差分量を基準映像の画素値で均一化した値）、あるいはそれらの分散値など統計処理した値を利用する第４の劣化特徴量比較手段、
のいずれかを有する請求項１記載の映像品質客観評価装置。
【請求項３】
前記相対劣化特徴量抽出手段は、
前記基準映像の前後のフレームの劣化特徴量を導出する基準映像特徴量抽出手段と、
前記劣化映像の前後のフレームの劣化特徴量を導出する劣化映像特徴量抽出手段と、を含み、
前記基準映像特徴量抽出手段及び前記劣化映像特徴量抽出手段は、
前記基準映像と前記劣化映像の前後のフレームの劣化特徴量を導出する際に、差分フレーム間の全てではなく、画素間間引きあるいは特定領域の情報を利用する
請求項１記載の映像品質客観評価装置。
【請求項４】
前記相対劣化特徴量抽出手段は、
入力された基準映像に対してエンコーダ処理した映像を新たな基準映像として出力するエンコード処理手段を有する
請求項１記載の映像品質客観評価装置。
【請求項５】
前記映像品質推定手段は、
前記定常品質値として、
予め抽出しておいた評価対象映像の定常品質値を格納した定常品質値記憶手段から読み込む、または、前記基準映像と前記劣化映像間の画素情報を直接比較することにより得られた情報を用いる
請求項１記載の映像品質客観評価装置。
【請求項６】
映像品質を客観的に評価するための映像品質客観評価方法であって、
基準映像の前後のフレームの映像劣化量と劣化映像の前後フレームの映像劣化量の違いを抽出する相対劣化特徴量抽出ステップと、
前記相対劣化特徴量抽出手段から抽出された特徴量と評価対象映像の定常品質値から映像品質評価値を導出する映像品質推定ステップと、
を行うことを特徴とする映像品質客観評価方法。
【請求項７】
前記相対劣化特徴量抽出ステップにおいて、
前記基準映像及び前記劣化映像のそれぞれの前後フレームの劣化特徴量における両者の変化が共に大きくなるタイミングを用いて該基準映像と該劣化映像の同期を合わせる第１の劣化特徴量比較ステップ、
または、
前記基準映像と前記劣化映像の画像の解像度が異なる場合に、対応フレーム毎の変化量を比較する第２の劣化特徴量比較ステップ、
または、
前記基準映像と前記劣化映像の表示フレームレートが異なる場合に単位時間当たりの変化量を比較する第３の劣化特徴量比較ステップ、
または、
前記基準映像と前記劣化映像の前後フレームの劣化特徴量として、前後フレーム画素値の差分量、前後フレームの画素の比、前後フレームのＰＳＮＲ（画素差分量を基準映像の画素値で均一化した値）、あるいはそれらの分散値など統計処理した値を利用する第４の劣化特徴量比較ステップ、
のいずれかを行う請求項６記載の映像品質客観評価方法。
【請求項８】
前記相対劣化特徴量抽出ステップにおいて、
前記基準映像の前後のフレームの劣化特徴量を導出する基準映像特徴量抽出ステップと、
前記劣化映像の前後のフレームの劣化特徴量を導出する劣化映像特徴量抽出ステップと、を行い、
前記基準映像特徴量抽出ステップ及び前記劣化映像特徴量抽出ステップにおいて、
前記基準映像と前記劣化映像の前後のフレームの劣化特徴量を導出する際に、差分フレーム間の全てではなく、画素間間引きあるいは特定領域の情報を利用する
請求項６記載の映像品質客観評価方法。
【請求項９】
前記相対劣化特徴量抽出ステップにおいて、
入力された基準映像に対してエンコーダ処理した映像を新たな基準映像として出力するステップを行う
請求項６記載の映像品質客観評価方法。
【請求項１０】
前記映像品質推定ステップにおいて、
前記定常品質値として、
予め抽出しておいた評価対象映像の定常品質値を格納した定常品質値記憶手段から読み込む、または、前記基準映像と前記劣化映像間の画素情報を直接比較することにより得られた情報を用いる
請求項６記載の映像品質客観評価方法。
【請求項１１】
請求項１乃至５のいずれか１項に記載の映像品質客観評価装置を構成する各手段としてコンピュータを機能させるための映像品質客観評価プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−４８４０（Ｐ２０１２−４８４０Ａ）
【公開日】平成２４年１月５日（２０１２．１．５）
【国際特許分類】
【出願番号】特願２０１０−１３７７５８（Ｐ２０１０−１３７７５８）
【出願日】平成２２年６月１６日（２０１０．６．１６）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２４年１月５日（２０１２．１．５）
【国際特許分類】
【出願日】平成２２年６月１６日（２０１０．６．１６）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]