映像品質客観評価装置及び方法及びプログラム
【課題】劣化映像のエッジ映像に基づきエッジ映像のエッジ量及びテクスチャ量を導出し、正確な映像品質推定を行う映像品質客観評価装置を提供する。
【解決手段】本発明は、入力された劣化映像からエッジ量及びテクスチャ量を導出するエッジ・テクスチャ量抽出部と、劣化映像及びエッジ・テクスチャ量抽出部から導出されるエッジ量とテクスチャ量から少なくとも１つの特徴量を導出する特徴量抽出部と、特徴量抽出部から出力される特徴量に基づき映像品質評価値を導出する映像品質推定部を設けた。
【解決手段】本発明は、入力された劣化映像からエッジ量及びテクスチャ量を導出するエッジ・テクスチャ量抽出部と、劣化映像及びエッジ・テクスチャ量抽出部から導出されるエッジ量とテクスチャ量から少なくとも１つの特徴量を導出する特徴量抽出部と、特徴量抽出部から出力される特徴量に基づき映像品質評価値を導出する映像品質推定部を設けた。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像品質客観評価装置及び方法及びプログラムに係り、特に、インターネットのようなIP(Internet Protocol)ネットワーク経由で行うIPTVサービス、映像配信サービス、ＴＶ電話サービスなどにおける映像品質を客観的に評価する映像品質客観評価装置及び方法及びプログラムに関する。
【背景技術】
【０００２】
インターネットアクセス回線の高速・広帯域化に伴い、インターネットを介して映像や音声を含む映像メディアを端末間あるいはサーバと端末との間で転送する映像通信サービスの普及が期待されている。
【０００３】
インターネットは、必ずしも通信品質が保証されていないネットワークであるため、音声および映像メディアなどを用いて通信を行う場合、ユーザ端末間のネットワークの回線帯域が狭いことによるビットレートの低下、回線が輻輳することでパケット損失やパケット転送遅延が発生し、音声や映像メディアなどに対してユーザが知覚する品質（ユーザ体感品質：QoE（Quality of Experience））が劣化してしまう。
【０００４】
具体的には、映像を符号化すると、フレーム内の映像信号にブロック単位の処理による劣化が生じたり、映像信号の高周波成分が失われることにより、映像全体の精細感が低くなる。
【０００５】
結果として、ユーザは受信した映像に、ぼけ、にじみ、モザイク状の歪み等を知覚する。
【０００６】
上記のような映像通信サービスを良好な品質で提供していることを確認するためには、サービス提供前もしくは提供中に、ユーザが体感する映像の品質を測定し、ユーザに対して提供される映像の品質が高いことを監視することが重要となる。
【０００７】
したがって、ユーザが体感する映像の品質を適切に表現することができる映像品質客観評価技術が必要とされている。
【０００８】
従来、映像品質を評価する手法として、主観品質評価法（例えば、非特許文献１参照）や客観品質評価法（例えば、非特許文献２参照）がある。
【０００９】
主観品質評価法は、複数のユーザが実際に映像を視聴し、体感した品質を５段階（９段階や１１段階の場合もある）の品質尺度（非常に良い、良い、ふつう、悪い、非常に悪い）や妨害尺度（劣化が全く認められない、劣化が認められるが気にならない、劣化がわずかに気になる、劣化が気になる、劣化が非常に気になる）などにより評価し、全ユーザ数で各条件（例えば、パケット損失率０％でビットレートが２０Mbps）の映像品質評価値を平均し、その値をMOS（Mean Opinipn Score）値やDMOS（Degradation Mean Opinion Score）値として定義している。
【００１０】
しかしながら、主観品質評価は、特別な専用機材（モニタなど）や評価環境（室内照度や室内騒音など）を調整可能な評価施設を必要とするだけではなく、多数のユーザが実際に映像を評価する必要がある。そのため、ユーザが実際に評価を完了するまでに時間がかかってしまい、品質をリアルタイムに評価する場合には不向きである。
【００１１】
そこで、映像品質に影響を与える特徴量（例えば、ビットレートやフレーム単位のビット量、パケット損失情報など）を利用し、映像品質評価値を出力する客観品質評価法の開発が望まれている。
【００１２】
従来の客観品質推定法の１つに、符号化前の原映像と符号化後の劣化映像を入力とし、両者の映像信号（つまり、画素値）を比較し、映像品質に影響を与える特徴量から映像品質評価値を導出する技術がある（例えば、非特許文献２参照）。
【００１３】
また、従来の客観品質評価法の１つに、符号化前の原映像を用いず、符号化後の劣化映像を入力とし、この劣化映像信号から映像品質に影響を与える特徴量を導出し、映像品質評価値を導出する技術がある（例えば、非特許文献３〜７参照）。
【００１４】
さらに、従来の客観品質評価法の１つに、送信されたパケットを入力とし、これらパケットから映像品質に影響を与える特徴量を導出し、映像品質評価値を導出する技術がある（例えば、非特許文献８、９参照）。
【００１５】
従来の客観品質評価法の多くは、上記のように、パケットや映像信号（画素値）を用いて映像品質評価値を推定するものであった。
【先行技術文献】
【非特許文献】
【００１６】
【非特許文献１】ITU-T勧告P.910
【非特許文献２】ITU-T勧告J.247
【非特許文献３】J. Yang, H. Choi, and T. Kim, "Noise estimation for blocking artifacts reduction in DCT coded images," IEEE Trans. on CSVT, vol. 10, no. 7, pp. 1116-1134, Oct. 2000.
【非特許文献４】S. Minami and A. Zakhor, "An optimization approach for removing blocking effects in transform coding," IEEE Trans. on CSVT, vol. 5, no. 2, pp. 74-82, Apr. 1995.
【非特許文献５】H. R. Wu and M. Yuen, "A generalized block-edge impairment metric for video coding," IEEE Sig. Proc. Let., vol. 4, no. 11, pp. 317-320, Nov. 1997.
【非特許文献６】S. Suthaharan, "Perceptual quality metric for digital video coding," IEE El. Let., vol. 39, no. 5, pp. 431-433, Mar. 2003.
【非特許文献７】P. Marziliano, F. Dufaux, S. Winkler, and T. Ebrahimi, "A no-reference perceptual blur metric," IEEE ICIP, vol. 3, pp. 57-60, Sep. 2002.
【非特許文献８】K. Yamagishi and T. Hayashi, "Non-intrusive Packet-layer Model for Monitoring Video Quality of IPTV Services," IEICE Trans. Fundamentals, vol. E92-A, no. 12, pp. 3297--3306, Dec. 2009.
【非特許文献９】K. Watanabe, K. Yamagishi, J. Okamoto, and A. Takahashi, "Proposal of new QoE assessment approach for quality management of IPTV services," IEEE ICIP 2008, pp. 2060--2063, Oct. 2008.
【非特許文献１０】Stephane Pechard, Patrick Le Callet, Mathieu Carnec, Dominique Barba, "A NEW METHODOLOGY TO ESTIMATE THE IMPACT OF H.264 ARTEFACTS ON SUBJECTIVE VIDEO QUALITY," VPQM2007, 2007
【発明の概要】
【発明が解決しようとする課題】
【００１７】
しかしながら、非特許文献２の技術は、原映像信号を用いるため、原映像信号がないような場合の品質評価には利用できないといった問題がある。
【００１８】
また、非特許文献３〜７の技術は、劣化映像のみから映像品質を評価する技術であるが、ブロックノイズやブラー（ぼけ）ノイズを適切に定量化できず、映像品質推定精度が低いといった問題があった。
【００１９】
具体的には、非特許文献３〜６の技術は、ブロック境界線に隣接する画素の差分に基づきブロックノイズを抽出している。しかしながら、映像信号は、しばしば、解像度変換（例えば、1440×1080から1920×1080等）が行われるため、ブロック境界線に隣接する画素のみからブロックノイズを適切に抽出することは困難である。
【００２０】
また、非特許文献７の技術は、エッジ位置からブラーノイズを抽出する方法であるが、エッジは符号化やポストフィルタにより劣化するため、ブラーノイズを適切に抽出することは困難である。
【００２１】
さらに、非特許文献８と９の技術は、送信されたパケット情報に基づいて映像品質を評価するため、デコード後に実施されるポストフィルタやPLC（Packet-loss concealment）が映像品質に与える影響を考慮できないといった問題があった。
【００２２】
本発明は、上記の点に鑑みなされたもので、上述の問題を解決すべく、非特許文献１０に記載される技術（劣化映像Sobel filterを適用し、各画素をエッジ部とテクスチャ部等に分類する方法）から得られたクラスタリング画像から映像品質に影響を与える特徴量を導出し、映像品質評価値を推定することで、映像通信サービスの映像品質値を高精度に推定することが可能な映像品質客観評価装置及び方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００２３】
図１は、本発明の原理構成図である。
【００２４】
本発明（請求項１）は、映像品質を客観的に評価する映像品質客観評価装置であって、
入力された劣化映像からエッジ量及びテクスチャ量を導出するエッジ・テクスチャ量抽出手段１００と、
エッジ・テクスチャ量抽出手段１００から導出されるエッジ量とテクスチャ量から導出される特徴量または、劣化映像から導出される特徴量の少なくとも１つの特徴量を導出する特徴量抽出手段２００と、
特徴量抽出手段２００から出力される特徴量に基づき映像品質評価値を導出する映像品質推定手段３００と、を備える。
【００２５】
また、本発明（請求項２）は、請求項1のエッジ・テクスチャ量抽出手段１００において、
入力された劣化映像をキャプチャしエッジ画像を作成し、該エッジ画像の各画素の値に基づきクラスタリングを実施し、クラスタリング画像を導出するクラスタリング手段と、
クラスタリング手段により導出されたクラスタリング画像をフィルタリングし、フィルタリング画像を作成するフィルタリング手段と、
クラスタリング手段により導出されたクラスタリング画像とフィルタリング手段から導出されたフィルタリング画像との差分値から差分クラスタリング画像を作成する差分クラスタリング画像導出手段と
差分クラスタリング画像導出手段により導出された差分クラスタリング画像のエッジ量とテクスチャ量を映像フレーム単位にカウントするカウント手段と、を含む。
【００２６】
また、本発明（請求項３）は、請求項1の特徴量抽出手段２００において、
エッジ・テクスチャ量抽出手段より映像フレーム単位に抽出されたエッジ量及びテクスチャ量に基づき、推定対象の映像の全映像フレームに対するエッジ量の合計値と、同様に、推定対象の映像の全映像フレームに対するテクスチャ量の合計値を算出し、該エッジ量の合計値を該テクスチャ量の合計値で除算した映像フレーム平均特徴量を導出する映像フレーム平均特徴量導出手段を含み、
映像品質推定手段３００において、映像フレーム平均特徴量を用いて映像品質評価値を求める手段を含む。
【００２７】
また、本発明（請求項４）は、請求項１または３の特徴量抽出手段２００において、
エッジ・テクスチャ量抽出手段より映像フレーム単位に抽出されたエッジ量及びテクスチャ量に基づき、映像フレーム単位にエッジ量の合計値をテクスチャ量の合計値で除算した映像フレーム特徴量を導出する映像フレーム特徴量導出手段と、
推定対象の映像のある一定区間の複数の映像フレームに対し、映像フレーム特徴量導出手段から導出された映像フレーム特徴量を合計し、映像フレーム数で除算した平均特徴量を導出する平均特徴量導出手段と、
平均特徴量導出手段より導出される推定対象の映像のある一定区間の複数の映像フレームの平均特徴量に対し、推定対象の全区間の複数の平均特徴量の最大の値を示す最大特徴量を導出する最大特徴量導出手段と、
平均特徴量導出手段より導出された推定対象の映像のある一定区間の複数の映像フレームの平均特徴量に対し、推定対象の全区間の複数の平均特徴量の標準偏差をとった標準偏差特徴量を導出する標準偏差特徴量導出手段と、を更に有し、
映像品質推定手段３００において、映像フレーム平均特徴量、最大特徴量、及び、標準偏差特徴量の少なくともいずれか１つを用いて映像品質評価値を求める手段を含む。
【００２８】
また、本発明（請求項５）は、請求項１，３、または４の特徴量抽出手段２００において、
入力された劣化映像から映像の動きを示す動き量を導出する動き量導出手段を更に有し、
映像品質推定手段３００において、映像フレーム平均特徴量、最大特徴量、標準偏差特徴量、及び、動き量の少なくともいずれか１つを用いて映像品質評価値を求める手段を含む。
【００２９】
図２は、本発明の原理を説明するための図である。
【００３０】
本発明（請求項６）は、映像品質を客観的に評価する映像品質客観評価方法であって、
映像品質客観評価装置が、
入力された劣化映像からエッジ量及びテクスチャ量を導出するエッジ・テクスチャ量抽出ステップ（ステップ１）と、
エッジ・テクスチャ量抽出ステップから導出されるエッジ量とテクスチャ量から導出される特徴量または、劣化映像から導出される特徴量の少なくとも１つの特徴量を導出する特徴量抽出ステップ（ステップ２）と、
特徴量抽出ステップから出力される特徴量に基づき映像品質評価値を導出する映像品質推定ステップ（ステップ３）と、を行う。
【００３１】
また、本発明（請求項７）は、請求項６のエッジ・テクスチャ量抽出ステップにおいて、
入力された劣化映像をキャプチャしエッジ画像を作成し、該エッジ画像の各画素の値に基づきクラスタリングを実施し、クラスタリング画像を導出するクラスタリングステップと、
クラスタリングステップにより導出されたクラスタリング画像をフィルタリングし、フィルタリング画像を作成するフィルタリングステップと、
クラスタリングステップにより導出されたクラスタリング画像とフィルタリングステップから導出されたフィルタリング画像との差分値から差分クラスタリング画像を作成する差分クラスタリング画像導出ステップと
差分クラスタリング画像導出ステップにより導出された差分クラスタリング画像のエッジ量とテクスチャ量を映像フレーム単位にカウントするカウントステップと、を行う。
【００３２】
また、本発明（請求項８）は、請求項６の特徴量抽出ステップにおいて、
エッジ・テクスチャ量抽出ステップより映像フレーム単位に抽出されたエッジ量及びテクスチャ量に基づき、推定対象の映像の全映像フレームに対するエッジ量の合計値と、同様に、推定対象の映像の全映像フレームに対するテクスチャ量の合計値を算出し、該エッジ量の合計値を該テクスチャ量の合計値で除算した映像フレーム平均特徴量を導出する映像フレーム平均特徴量導出ステップを行い、
映像品質推定ステップにおいて、映像フレーム平均特徴量を用いて映像品質評価値を求める。
【００３３】
また、本発明（請求項９）は、請求項６または８の特徴量抽出ステップにおいて、
エッジ・テクスチャ量抽出ステップより映像フレーム単位に抽出されたエッジ量及びテクスチャ量に基づき、映像フレーム単位にエッジ量の合計値をテクスチャ量の合計値で除算した映像フレーム特徴量を導出する映像フレーム特徴量導出ステップと、
推定対象の映像のある一定区間の複数の映像フレームに対し、映像フレーム特徴量導出ステップから導出された映像フレーム特徴量を合計し、映像フレーム数で除算した平均特徴量を導出する平均特徴量導出ステップと、
平均特徴量導出ステップより導出される推定対象の映像のある一定区間の複数の映像フレームの平均特徴量に対し、推定対象の全区間の複数の平均特徴量の最大の値を示す最大特徴量を導出する最大特徴量導出ステップと、
平均特徴量導出ステップより導出された推定対象の映像のある一定区間の複数の映像フレームの平均特徴量に対し、推定対象の全区間の複数の平均特徴量の標準偏差をとった標準偏差特徴量を導出する標準偏差特徴量導出ステップと、を更に行い、
映像品質推定ステップにおいて、映像フレーム平均特徴量、最大特徴量、及び、標準偏差特徴量の少なくともいずれか１つを用いて映像品質評価値を求める。
【００３４】
また、本発明（請求項１０）は、請求項６，８、または９の特徴量抽出ステップにおいて、
入力された劣化映像から映像の動きを示す動き量を導出する動き量導出ステップを更に行い、
映像品質推定ステップにおいて、映像フレーム平均特徴量、最大特徴量、標準偏差特徴量、及び、動き量の少なくともいずれか１つを用いて映像品質評価値を求める。
【００３５】
本発明（請求項１１）は、請求項１乃至５のいずれか1項に記載の映像品質客観評価装置を構成する各手段としてコンピュータを機能させるための映像品質客観評価プログラムである。
【発明の効果】
【００３６】
従来、隣接画素やエッジ位置を用いてブロックノイズやブラー（ぼけ）ノイズを導出していたため，解像度変換やフィルタリングが行われた際に、ブロックノイズやブラーノイズを適切に抽出できないために映像品質推定精度が著しく低下していた。
【００３７】
これに対し、本発明は、劣化映像に適用されたクラスタリング処理に基づき分類されたＣ３（エッジ量）とＣ４（テクスチャ量）から、映像全体の複雑さを表す映像フレーム平均特徴量と、特定の映像フレーム数毎の特徴量の変動から映像シーンの変化度合を表す最大特徴量と標準偏差特徴量と、映像の動き量とを導出することにより、解像度変換やフィルタリングが行われた際にも映像品質値を適切に推定できるように改善した。
【００３８】
したがって、映像通信サービスの提供者は、本発明によりユーザが実際に視聴する映像通信サービスの映像について映像品質値を監視可能となるため、提供中のサービスがユーザに対してある一定以上の品質を保っているか否かを容易に判断することができる。
【００３９】
このため、映像通信サービスの提供者は、提供中のサービスの品質実態を従来より詳細に把握・管理することが可能となる。
【図面の簡単な説明】
【００４０】
【図１】本発明の原理構成図である。
【図２】本発明の原理を説明するための図である。
【図３】本発明の一実施の形態における映像品質客観評価装置の構成図である。
【図４】本発明の一実施の形態における領域分割方法を示す図である。
【図５】本発明の一実施の形態における差分クラスタリング画像の導出過程を概念的に説明するための図である。
【図６】本発明の一実施の形態における映像品質客観評価装置の動作のフローチャートである。
【発明を実施するための形態】
【００４１】
以下、図面と共に本発明の実施の形態を説明する。
【００４２】
本発明の本実施の形態にかかる映像品質客観評価装置は、劣化映像にクラスタリング処理を施し、クラスタリング画像を作成し、そのクラスタリング画像から特徴量を導出し、映像品質を定量的に表した映像品質評価値を導出して客観的な映像品質評価を実現するものである。
【００４３】
例えば、本実施の形態においては、インターネットのようなＩＰネットワーク経由で行うＩＰＴＶサービス、映像配信サービス、ＴＶ電話サービスなど映像通信における客観的な映像品質評価を実現するために、劣化映像を分析し、これらの映像通信に関わる映像品質に影響を与える特徴量を定量的に表した映像品質値を導出する。
【００４４】
図３は、本発明の一実施の形態における映像品質客観評価装置の構成を示す。
【００４５】
図３に示すように、本実施の形態にかかる映像品質客観評価装置１は、エッジ・テクスチャ量抽出部１００と、特徴量抽出部２００と、映像品質推定部３００とから構成されている。
【００４６】
エッジ・テクスチャ量抽出部１００は、クラスタリング部１０と、フィルタリング部１１と、差分クラスタリング画像導出部１２と、カウント部１３とから構成されている。
【００４７】
特徴量抽出部２００は、映像フレーム平均特徴量導出部１４と、映像フレーム特徴量導出部１５と、平均特徴量導出部１６、最大特徴量導出部１７と、標準偏差特徴量導出部１８と、動き量導出部１９とから構成されている。
【００４８】
エッジ・テクスチャ量抽出部１００のクラスタリング部１０は、入力された劣化映像I(x,y,f)にSobelフィルタFx及びFyをかけ、垂直方向（Y方向）のエッジ画像、水平方向（X方向）のエッジ画像Sx(x,y,f)及びSy(x,y,f)を導出する。具体的には、対象画素の隣接８画素の情報を用い、以下の式（１）に基づきエッジ画像を作成する。
【００４９】
【数１】
各画素に対し導出された垂直及び水平方向のエッジ値を、図４に示す領域分割方法でＣ１〜Ｃ４の４つのクラスに分類されたクラスタリング画像C（x,y）（xは水平画素位置、yは垂直画素位置）（クラスタリング画像はクラスＣ１〜Ｃ４に対応するクラスタリング値１〜４の値を持つ）を作成し、フィルタリング部１１と差分クラスタリング画像導出部１２に出力する。
【００５０】
エッジ・テクスチャ量抽出部１００のフィルタリング部１１は、クラスタリング部１０より出力されたクラスタリング画像C（x,y）に、図５に示すように、Erosionフィルタ及びDilatationフィルタをかけフィルタリング画像を作成する。図５は、４つのクラスにクラスタリングされた画像（８×８画素の画像）に対して、パディング無し（Ａ）と、パディング有り（Ｂ）の例を示している。
【００５１】
具体的には、クラスタリング画像C（x,y）（xは水平画素位置、yは垂直画素位置）に以下の式（２）に基づきErosionフィルタを施し、Erosion画像E(x,y)を作成する。
【００５２】
次に、Erosion画像に式（３）に基づきDilatationフィルタを施し、Dilatation画像D(x,y)（つまり、フィルタリング画像）を作成し、差分クラスタリング画像導出部１２に出力する。２種類のフィルタリングをかけることで、クラスタリング画像C(x,y)を平滑化したフィルタリング画像D(x,y)ができることになり、両者の差分からＣ３とＣ４を適切に抽出できる。
【００５３】
【数２】
ただし、画面の端の画素に対しては、画面外に画素がないため、画面の端の画素値をパディングするか、もしくは画面の端の画素を処理しないことで対応する。
【００５４】
差分クラスタリング画像導出部１２は、クラスタリング部１０より出力されたクラスタリング画像C(x,y)と、フィルタリング部１１より出力されたフィルタリング画像D(x,y)との差分値（差分クラスタリング画像：C(x,y)-D(x,y)+1、もし、C(x,y)-D(x,y)+1が1未満の場合は1とする）を導出する。
【００５５】
エッジ・テクスチャ量抽出部１００のカウント部１３は、差分クラスタリング画像の中で、クラスタリング値が３（エッジ量）と示された画素数ＮＣ３と、クラスタリング値が４（テクスチャ量）と示された画素数ＮＣ４をカウントする。
【００５６】
エッジ・テクスチャ量抽出部１００の映像フレーム平均特徴量導出部１４は、以下の式（４）により、カウント部１３より出力された映像フレーム毎のＮＣ３を全映像フレームにわたって加算し映像フレーム数で除算した値を、映像フレーム毎のＮＣ４を全映像フレームにわたって加算し映像フレーム数で除算した値で除算した映像フレーム平均特徴量Ｐを導出する。
【００５７】
【数３】
ここで、fは映像フレーム番号、Ｆは総映像フレーム数（例えば、推定対象の映像が30fps、１０秒分の場合、３００フレームとなる）を示す。
【００５８】
特徴量抽出部２００の映像フレーム特徴量導出部１５は、映像フレーム毎に、カウント部１３より出力された映像フレーム毎のＮＣ３を、映像フレーム毎のＮＣ４で除算した映像フレーム特徴量Ｐ（ｆ）を以下の式（５）に基づき導出する。
【００５９】
【数４】
ここで、fは映像フレーム番号を示す。
【００６０】
特徴量抽出部２００の平均特徴量導出部１６は、ある一定の区間（Ｚフレーム、例えば、１０フレーム）を一区間とし、その区間の映像フレーム特徴量P（f）の平均値を平均特徴量Pt（k）とする。
【００６１】
【数５】
ここで、fは映像フレーム番号、ｋは平均区間の番号（例えば、推定対象の映像が３００フレームから構成され、Ｚが１０フレームの場合、ｋは０〜２９の値となる）を示す。
【００６２】
特徴量抽出部２００の最大特徴量導出部１７は、平均特徴量導出部１６より出力された平均特徴量Pt（k）の中で最大の値を最大特徴量MaxPtとして導出する（例えば、Pt(0)〜Pt(29)の中で、Pt（10）が最大であった場合、Pt（10）がMaxPtとなる）。
【００６３】
【数６】
特徴量抽出部２００の標準偏差特徴量導出部１８は、平均特徴量導出部１６より出力された平均特徴量Pt（k）の標準偏差を標準偏差特徴量StdPtとして導出する。
【００６４】
【数７】
ここで、Stdevは、標準偏差を計算する演算子を表す。
【００６５】
特徴量抽出部２００の動き量導出部１９は、映像フレーム間の動きを示す動き量TIを導出する。P、MaxPt、StdPtは映像フレーム単位に導出される特徴量の統計値であり，映像の動きとは無関係の特徴量であるため、動き量を考慮することで正確な品質推定が可能となる。
【００６６】
【数８】
ここで、式（７）のI（x,y,f）は水平方向ｘ、垂直方向ｙ、映像フレーム番号ｆの画素を示す。また、M（f）はI（x,y,f）とI（x,y,f−1）との差分画像、式（８）、（９）のTI（f）は映像フレーム毎のフレーム関差分値の標準偏差、式（９）のＦは総映像フレーム数（例えば、30fpsの映像１０秒分の場合、300フレームとなる）を示す。
【００６７】
映像品質推定部３００は、映像フレーム平均特徴量導出部１４より出力される映像フレーム平均特徴量Ｐ、最大特徴量導出部１７より出力される最大特徴量MaxPt、標準偏差特徴量導出部１８より出力される標準偏差特徴量StdPt、動き量導出部１９より出力される動き量TIより、推定対象である映像の映像品質評価値（Vq）を以下の式（１０）に基づき導出する。
【００６８】
【数９】
ここで、a〜iは、映像フォーマット（例えば、QCIF，VGA，HDなど）に固有の係数とする。
【００６９】
ただし、Vqは３次関数で表現されているが、以下に示すような式（１１）で表現してもよい。
【００７０】
【数１０】
ここで、j〜lは、映像フォーマット（例えば、QCIF，VGA，HDなど）に固有の係数とする。なお、上記の式（１０）では、特徴量抽出部２００より出力されたＰ，MaxPt，StdPt，TIの全てを用いて映像品質評価値（Vq）を求める例を示しているが、これは最良の形態であり、この例に限定されることなく、これらの値の少なくともいずれか1つを用いてVqを求めてもよい。
【００７１】
図６は、本発明の一実施の形態における映像品質客観評価装置の動作のフローチャートである。以下、同図に基づいて、本実施の形態にかかる映像品質客観評価装置１の動作について説明する。
【００７２】
映像品質客観評価装置１のクラスタリング部１０に、劣化映像が入力されると（Ｓ１０１）、クラスタリング部１０は、入力された劣化映像I(x,y,f)にSobelフィルタをかけ、前述の式（１）によりエッジ画像Sx(x,y,f)及びSy(x,y,f)を導出し、エッジ画像Sx(x,y,f)及びSy(x,y,f)を用い、１〜４のクラスにクラスタリングし、クラスタリング画像C(x,y,f)を導出し、フィルタリング部１１及び差分クラスタリング画像導出部１２へ出力する（Ｓ１０２）。
【００７３】
フィルタリング部１１は、クラスタリング部１０によって導出されたクラスタリング画像C(x,y,f)を入力として、Erosionフィルタ及びDilatationフィルタをかけ、式（２）、（３）によりフィルタリング画像D(x,y,f)を導出し、差分クラスタリング画像導出部１２へ出力する（Ｓ１０３）。
【００７４】
差分クラスタリング画像導出部１２は、クラスタリング部１０より出力されたクラスタリング画像C(x,y,f)からフィルタリング部１１より出力されたフィルタリング画像D(x,y,f)の差分値をとり、１を加え、１〜４の値を持つ差分クラスタリング画像を導出し、カウント部１３へ出力する（Ｓ１０４）。
【００７５】
カウント部１３は、差分クラスタリング画像導出部１２より出力された差分クラスタリング画像のＣ３（エッジ量）とＣ４（テクスチャ量）の画素数を映像フレーム毎にカウントし、映像フレーム平均特徴量導出部 １４及び映像フレーム特徴量導出部１５へ出力する（Ｓ１０５）。
【００７６】
映像フレーム平均特徴量導出部１４は、カウント部１３より出力されたＣ３とＣ４の画素数を、全映像フレームに対して、前述の式（５）によりＣ３の総数をＣ４の総数で除算した映像フレーム平均特徴量Ｐを導出し、映像品質推定部２０へ出力する（Ｓ１０６）。
【００７７】
特徴量抽出部２００の映像フレーム特徴量導出部１５は、カウント部１３より出力されたＣ３とＣ４の画素数を各映像フレームに対し、前述の式（６）により、Ｃ３の画素数をＣ４の画素数で除算し、映像フレーム毎の映像フレーム特徴量P（f）を導出し、平均特徴量導出部１６へ出力する（Ｓ１０７）。
【００７８】
平均特徴量導出部１６は、映像フレーム特徴量導出部１５より出力された映像フレーム特徴量P（f）を特定の映像フレーム数毎に平均し、平均特徴量Pt（k）を導出し、最大特徴量導出部１７及び標準偏差特徴量導出部１８に出力する（Ｓ１０８）。
【００７９】
最大特徴量導出部１７は、平均特徴量Pt（k）の中で最大である最大特徴量MaxPtを導出し、映像品質推定部２０へ出力する（Ｓ１０９）。
【００８０】
標準偏差特徴量導出部１８は、平均特徴量Ｐｔ（ｋ）の標準偏差を示す標準偏差特徴量StdPtを導出し、映像品質推定部２０へ出力する（Ｓ１１０）。
【００８１】
動き量導出部１９は、前述の式（７）、（８）、（９）により映像の動きを示す動き量TIを導出し、映像品質推定部２０へ出力する（Ｓ１１１）。
【００８２】
映像品質推定部３００は、映像フレーム平均特徴量Ｐ、最大特徴量MaxPt、標準偏差特徴量StdPt及び動き量TIから、前述の式（１０）、（１１）により映像品質評価値を導出し、映像品質評価値Vqを出力し（Ｓ１１２）、処理を終了する。
【００８３】
このように、本実施の形態によれば、劣化映像からSobelフィルタを用いて、エッジ画像を作成し、エッジとテクスチャの強い画素をクラスタリング処理により抽出し、符号化劣化を考慮した映像品質値を算出することができるため、正確な客観品質推定法による映像品質推定が可能となる。
【００８４】
したがって、映像通信サービスの提供者は、提供中のサービスがユーザに対してある一定以上の品質を保っているか否かを容易に判断することができ、提供中のサービスの品質実態をリアルタイムで把握・管理することが可能となる。
【００８５】
なお、本実施の形態にかかる映像品質客観評価装置１は、ＣＰＵ（中央演算装置）やメモリ、インターフェースからなるコンピュータにコンピュータプログラムをインストールすることによって実現され、上述した映像品質客観評価装置１の各種機能は、上記コンピュータの各種ハードウェア資源と上記コンピュータプログラム（ソフトウェア）とが協働して実現される。
【００８６】
図３に示す映像品質客観評価装置１の構成要素の動作をプログラムとして構築し、当該映像品質客観評価装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。
【００８７】
さらに、構築されたプログラムをハードディスクや、フレキシブルディスク・ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。
【００８８】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【産業上の利用可能性】
【００８９】
本発明は、ＩＰネットワーク経由で行うIPTVサービス、映像配信サービス、ＴＶ電話サービスなどの映像通信の映像品質値を推定する映像品質客観評価装置に利用できる。
【符号の説明】
【００９０】
１０ クラスタリング部
１１ フィルタリング部
１２ 差分クラスタリング画像導出部
１３ カウント部
１４ 映像フレーム平均特徴量導出部
１５ 映像フレーム特徴量導出部
１６ 平均特徴量導出部
１７ 最大特徴量導出部
１８ 標準偏差特徴量導出部
１９ 動き量導出部
１００ エッジ・テクスチャ量抽出手段、エッジ・テクスチャ量抽出部
２００ 特徴量抽出手段、特徴量抽出部
３００ 映像品質推定手段、映像品質推定部
【技術分野】
【０００１】
本発明は、映像品質客観評価装置及び方法及びプログラムに係り、特に、インターネットのようなIP(Internet Protocol)ネットワーク経由で行うIPTVサービス、映像配信サービス、ＴＶ電話サービスなどにおける映像品質を客観的に評価する映像品質客観評価装置及び方法及びプログラムに関する。
【背景技術】
【０００２】
インターネットアクセス回線の高速・広帯域化に伴い、インターネットを介して映像や音声を含む映像メディアを端末間あるいはサーバと端末との間で転送する映像通信サービスの普及が期待されている。
【０００３】
インターネットは、必ずしも通信品質が保証されていないネットワークであるため、音声および映像メディアなどを用いて通信を行う場合、ユーザ端末間のネットワークの回線帯域が狭いことによるビットレートの低下、回線が輻輳することでパケット損失やパケット転送遅延が発生し、音声や映像メディアなどに対してユーザが知覚する品質（ユーザ体感品質：QoE（Quality of Experience））が劣化してしまう。
【０００４】
具体的には、映像を符号化すると、フレーム内の映像信号にブロック単位の処理による劣化が生じたり、映像信号の高周波成分が失われることにより、映像全体の精細感が低くなる。
【０００５】
結果として、ユーザは受信した映像に、ぼけ、にじみ、モザイク状の歪み等を知覚する。
【０００６】
上記のような映像通信サービスを良好な品質で提供していることを確認するためには、サービス提供前もしくは提供中に、ユーザが体感する映像の品質を測定し、ユーザに対して提供される映像の品質が高いことを監視することが重要となる。
【０００７】
したがって、ユーザが体感する映像の品質を適切に表現することができる映像品質客観評価技術が必要とされている。
【０００８】
従来、映像品質を評価する手法として、主観品質評価法（例えば、非特許文献１参照）や客観品質評価法（例えば、非特許文献２参照）がある。
【０００９】
主観品質評価法は、複数のユーザが実際に映像を視聴し、体感した品質を５段階（９段階や１１段階の場合もある）の品質尺度（非常に良い、良い、ふつう、悪い、非常に悪い）や妨害尺度（劣化が全く認められない、劣化が認められるが気にならない、劣化がわずかに気になる、劣化が気になる、劣化が非常に気になる）などにより評価し、全ユーザ数で各条件（例えば、パケット損失率０％でビットレートが２０Mbps）の映像品質評価値を平均し、その値をMOS（Mean Opinipn Score）値やDMOS（Degradation Mean Opinion Score）値として定義している。
【００１０】
しかしながら、主観品質評価は、特別な専用機材（モニタなど）や評価環境（室内照度や室内騒音など）を調整可能な評価施設を必要とするだけではなく、多数のユーザが実際に映像を評価する必要がある。そのため、ユーザが実際に評価を完了するまでに時間がかかってしまい、品質をリアルタイムに評価する場合には不向きである。
【００１１】
そこで、映像品質に影響を与える特徴量（例えば、ビットレートやフレーム単位のビット量、パケット損失情報など）を利用し、映像品質評価値を出力する客観品質評価法の開発が望まれている。
【００１２】
従来の客観品質推定法の１つに、符号化前の原映像と符号化後の劣化映像を入力とし、両者の映像信号（つまり、画素値）を比較し、映像品質に影響を与える特徴量から映像品質評価値を導出する技術がある（例えば、非特許文献２参照）。
【００１３】
また、従来の客観品質評価法の１つに、符号化前の原映像を用いず、符号化後の劣化映像を入力とし、この劣化映像信号から映像品質に影響を与える特徴量を導出し、映像品質評価値を導出する技術がある（例えば、非特許文献３〜７参照）。
【００１４】
さらに、従来の客観品質評価法の１つに、送信されたパケットを入力とし、これらパケットから映像品質に影響を与える特徴量を導出し、映像品質評価値を導出する技術がある（例えば、非特許文献８、９参照）。
【００１５】
従来の客観品質評価法の多くは、上記のように、パケットや映像信号（画素値）を用いて映像品質評価値を推定するものであった。
【先行技術文献】
【非特許文献】
【００１６】
【非特許文献１】ITU-T勧告P.910
【非特許文献２】ITU-T勧告J.247
【非特許文献３】J. Yang, H. Choi, and T. Kim, "Noise estimation for blocking artifacts reduction in DCT coded images," IEEE Trans. on CSVT, vol. 10, no. 7, pp. 1116-1134, Oct. 2000.
【非特許文献４】S. Minami and A. Zakhor, "An optimization approach for removing blocking effects in transform coding," IEEE Trans. on CSVT, vol. 5, no. 2, pp. 74-82, Apr. 1995.
【非特許文献５】H. R. Wu and M. Yuen, "A generalized block-edge impairment metric for video coding," IEEE Sig. Proc. Let., vol. 4, no. 11, pp. 317-320, Nov. 1997.
【非特許文献６】S. Suthaharan, "Perceptual quality metric for digital video coding," IEE El. Let., vol. 39, no. 5, pp. 431-433, Mar. 2003.
【非特許文献７】P. Marziliano, F. Dufaux, S. Winkler, and T. Ebrahimi, "A no-reference perceptual blur metric," IEEE ICIP, vol. 3, pp. 57-60, Sep. 2002.
【非特許文献８】K. Yamagishi and T. Hayashi, "Non-intrusive Packet-layer Model for Monitoring Video Quality of IPTV Services," IEICE Trans. Fundamentals, vol. E92-A, no. 12, pp. 3297--3306, Dec. 2009.
【非特許文献９】K. Watanabe, K. Yamagishi, J. Okamoto, and A. Takahashi, "Proposal of new QoE assessment approach for quality management of IPTV services," IEEE ICIP 2008, pp. 2060--2063, Oct. 2008.
【非特許文献１０】Stephane Pechard, Patrick Le Callet, Mathieu Carnec, Dominique Barba, "A NEW METHODOLOGY TO ESTIMATE THE IMPACT OF H.264 ARTEFACTS ON SUBJECTIVE VIDEO QUALITY," VPQM2007, 2007
【発明の概要】
【発明が解決しようとする課題】
【００１７】
しかしながら、非特許文献２の技術は、原映像信号を用いるため、原映像信号がないような場合の品質評価には利用できないといった問題がある。
【００１８】
また、非特許文献３〜７の技術は、劣化映像のみから映像品質を評価する技術であるが、ブロックノイズやブラー（ぼけ）ノイズを適切に定量化できず、映像品質推定精度が低いといった問題があった。
【００１９】
具体的には、非特許文献３〜６の技術は、ブロック境界線に隣接する画素の差分に基づきブロックノイズを抽出している。しかしながら、映像信号は、しばしば、解像度変換（例えば、1440×1080から1920×1080等）が行われるため、ブロック境界線に隣接する画素のみからブロックノイズを適切に抽出することは困難である。
【００２０】
また、非特許文献７の技術は、エッジ位置からブラーノイズを抽出する方法であるが、エッジは符号化やポストフィルタにより劣化するため、ブラーノイズを適切に抽出することは困難である。
【００２１】
さらに、非特許文献８と９の技術は、送信されたパケット情報に基づいて映像品質を評価するため、デコード後に実施されるポストフィルタやPLC（Packet-loss concealment）が映像品質に与える影響を考慮できないといった問題があった。
【００２２】
本発明は、上記の点に鑑みなされたもので、上述の問題を解決すべく、非特許文献１０に記載される技術（劣化映像Sobel filterを適用し、各画素をエッジ部とテクスチャ部等に分類する方法）から得られたクラスタリング画像から映像品質に影響を与える特徴量を導出し、映像品質評価値を推定することで、映像通信サービスの映像品質値を高精度に推定することが可能な映像品質客観評価装置及び方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００２３】
図１は、本発明の原理構成図である。
【００２４】
本発明（請求項１）は、映像品質を客観的に評価する映像品質客観評価装置であって、
入力された劣化映像からエッジ量及びテクスチャ量を導出するエッジ・テクスチャ量抽出手段１００と、
エッジ・テクスチャ量抽出手段１００から導出されるエッジ量とテクスチャ量から導出される特徴量または、劣化映像から導出される特徴量の少なくとも１つの特徴量を導出する特徴量抽出手段２００と、
特徴量抽出手段２００から出力される特徴量に基づき映像品質評価値を導出する映像品質推定手段３００と、を備える。
【００２５】
また、本発明（請求項２）は、請求項1のエッジ・テクスチャ量抽出手段１００において、
入力された劣化映像をキャプチャしエッジ画像を作成し、該エッジ画像の各画素の値に基づきクラスタリングを実施し、クラスタリング画像を導出するクラスタリング手段と、
クラスタリング手段により導出されたクラスタリング画像をフィルタリングし、フィルタリング画像を作成するフィルタリング手段と、
クラスタリング手段により導出されたクラスタリング画像とフィルタリング手段から導出されたフィルタリング画像との差分値から差分クラスタリング画像を作成する差分クラスタリング画像導出手段と
差分クラスタリング画像導出手段により導出された差分クラスタリング画像のエッジ量とテクスチャ量を映像フレーム単位にカウントするカウント手段と、を含む。
【００２６】
また、本発明（請求項３）は、請求項1の特徴量抽出手段２００において、
エッジ・テクスチャ量抽出手段より映像フレーム単位に抽出されたエッジ量及びテクスチャ量に基づき、推定対象の映像の全映像フレームに対するエッジ量の合計値と、同様に、推定対象の映像の全映像フレームに対するテクスチャ量の合計値を算出し、該エッジ量の合計値を該テクスチャ量の合計値で除算した映像フレーム平均特徴量を導出する映像フレーム平均特徴量導出手段を含み、
映像品質推定手段３００において、映像フレーム平均特徴量を用いて映像品質評価値を求める手段を含む。
【００２７】
また、本発明（請求項４）は、請求項１または３の特徴量抽出手段２００において、
エッジ・テクスチャ量抽出手段より映像フレーム単位に抽出されたエッジ量及びテクスチャ量に基づき、映像フレーム単位にエッジ量の合計値をテクスチャ量の合計値で除算した映像フレーム特徴量を導出する映像フレーム特徴量導出手段と、
推定対象の映像のある一定区間の複数の映像フレームに対し、映像フレーム特徴量導出手段から導出された映像フレーム特徴量を合計し、映像フレーム数で除算した平均特徴量を導出する平均特徴量導出手段と、
平均特徴量導出手段より導出される推定対象の映像のある一定区間の複数の映像フレームの平均特徴量に対し、推定対象の全区間の複数の平均特徴量の最大の値を示す最大特徴量を導出する最大特徴量導出手段と、
平均特徴量導出手段より導出された推定対象の映像のある一定区間の複数の映像フレームの平均特徴量に対し、推定対象の全区間の複数の平均特徴量の標準偏差をとった標準偏差特徴量を導出する標準偏差特徴量導出手段と、を更に有し、
映像品質推定手段３００において、映像フレーム平均特徴量、最大特徴量、及び、標準偏差特徴量の少なくともいずれか１つを用いて映像品質評価値を求める手段を含む。
【００２８】
また、本発明（請求項５）は、請求項１，３、または４の特徴量抽出手段２００において、
入力された劣化映像から映像の動きを示す動き量を導出する動き量導出手段を更に有し、
映像品質推定手段３００において、映像フレーム平均特徴量、最大特徴量、標準偏差特徴量、及び、動き量の少なくともいずれか１つを用いて映像品質評価値を求める手段を含む。
【００２９】
図２は、本発明の原理を説明するための図である。
【００３０】
本発明（請求項６）は、映像品質を客観的に評価する映像品質客観評価方法であって、
映像品質客観評価装置が、
入力された劣化映像からエッジ量及びテクスチャ量を導出するエッジ・テクスチャ量抽出ステップ（ステップ１）と、
エッジ・テクスチャ量抽出ステップから導出されるエッジ量とテクスチャ量から導出される特徴量または、劣化映像から導出される特徴量の少なくとも１つの特徴量を導出する特徴量抽出ステップ（ステップ２）と、
特徴量抽出ステップから出力される特徴量に基づき映像品質評価値を導出する映像品質推定ステップ（ステップ３）と、を行う。
【００３１】
また、本発明（請求項７）は、請求項６のエッジ・テクスチャ量抽出ステップにおいて、
入力された劣化映像をキャプチャしエッジ画像を作成し、該エッジ画像の各画素の値に基づきクラスタリングを実施し、クラスタリング画像を導出するクラスタリングステップと、
クラスタリングステップにより導出されたクラスタリング画像をフィルタリングし、フィルタリング画像を作成するフィルタリングステップと、
クラスタリングステップにより導出されたクラスタリング画像とフィルタリングステップから導出されたフィルタリング画像との差分値から差分クラスタリング画像を作成する差分クラスタリング画像導出ステップと
差分クラスタリング画像導出ステップにより導出された差分クラスタリング画像のエッジ量とテクスチャ量を映像フレーム単位にカウントするカウントステップと、を行う。
【００３２】
また、本発明（請求項８）は、請求項６の特徴量抽出ステップにおいて、
エッジ・テクスチャ量抽出ステップより映像フレーム単位に抽出されたエッジ量及びテクスチャ量に基づき、推定対象の映像の全映像フレームに対するエッジ量の合計値と、同様に、推定対象の映像の全映像フレームに対するテクスチャ量の合計値を算出し、該エッジ量の合計値を該テクスチャ量の合計値で除算した映像フレーム平均特徴量を導出する映像フレーム平均特徴量導出ステップを行い、
映像品質推定ステップにおいて、映像フレーム平均特徴量を用いて映像品質評価値を求める。
【００３３】
また、本発明（請求項９）は、請求項６または８の特徴量抽出ステップにおいて、
エッジ・テクスチャ量抽出ステップより映像フレーム単位に抽出されたエッジ量及びテクスチャ量に基づき、映像フレーム単位にエッジ量の合計値をテクスチャ量の合計値で除算した映像フレーム特徴量を導出する映像フレーム特徴量導出ステップと、
推定対象の映像のある一定区間の複数の映像フレームに対し、映像フレーム特徴量導出ステップから導出された映像フレーム特徴量を合計し、映像フレーム数で除算した平均特徴量を導出する平均特徴量導出ステップと、
平均特徴量導出ステップより導出される推定対象の映像のある一定区間の複数の映像フレームの平均特徴量に対し、推定対象の全区間の複数の平均特徴量の最大の値を示す最大特徴量を導出する最大特徴量導出ステップと、
平均特徴量導出ステップより導出された推定対象の映像のある一定区間の複数の映像フレームの平均特徴量に対し、推定対象の全区間の複数の平均特徴量の標準偏差をとった標準偏差特徴量を導出する標準偏差特徴量導出ステップと、を更に行い、
映像品質推定ステップにおいて、映像フレーム平均特徴量、最大特徴量、及び、標準偏差特徴量の少なくともいずれか１つを用いて映像品質評価値を求める。
【００３４】
また、本発明（請求項１０）は、請求項６，８、または９の特徴量抽出ステップにおいて、
入力された劣化映像から映像の動きを示す動き量を導出する動き量導出ステップを更に行い、
映像品質推定ステップにおいて、映像フレーム平均特徴量、最大特徴量、標準偏差特徴量、及び、動き量の少なくともいずれか１つを用いて映像品質評価値を求める。
【００３５】
本発明（請求項１１）は、請求項１乃至５のいずれか1項に記載の映像品質客観評価装置を構成する各手段としてコンピュータを機能させるための映像品質客観評価プログラムである。
【発明の効果】
【００３６】
従来、隣接画素やエッジ位置を用いてブロックノイズやブラー（ぼけ）ノイズを導出していたため，解像度変換やフィルタリングが行われた際に、ブロックノイズやブラーノイズを適切に抽出できないために映像品質推定精度が著しく低下していた。
【００３７】
これに対し、本発明は、劣化映像に適用されたクラスタリング処理に基づき分類されたＣ３（エッジ量）とＣ４（テクスチャ量）から、映像全体の複雑さを表す映像フレーム平均特徴量と、特定の映像フレーム数毎の特徴量の変動から映像シーンの変化度合を表す最大特徴量と標準偏差特徴量と、映像の動き量とを導出することにより、解像度変換やフィルタリングが行われた際にも映像品質値を適切に推定できるように改善した。
【００３８】
したがって、映像通信サービスの提供者は、本発明によりユーザが実際に視聴する映像通信サービスの映像について映像品質値を監視可能となるため、提供中のサービスがユーザに対してある一定以上の品質を保っているか否かを容易に判断することができる。
【００３９】
このため、映像通信サービスの提供者は、提供中のサービスの品質実態を従来より詳細に把握・管理することが可能となる。
【図面の簡単な説明】
【００４０】
【図１】本発明の原理構成図である。
【図２】本発明の原理を説明するための図である。
【図３】本発明の一実施の形態における映像品質客観評価装置の構成図である。
【図４】本発明の一実施の形態における領域分割方法を示す図である。
【図５】本発明の一実施の形態における差分クラスタリング画像の導出過程を概念的に説明するための図である。
【図６】本発明の一実施の形態における映像品質客観評価装置の動作のフローチャートである。
【発明を実施するための形態】
【００４１】
以下、図面と共に本発明の実施の形態を説明する。
【００４２】
本発明の本実施の形態にかかる映像品質客観評価装置は、劣化映像にクラスタリング処理を施し、クラスタリング画像を作成し、そのクラスタリング画像から特徴量を導出し、映像品質を定量的に表した映像品質評価値を導出して客観的な映像品質評価を実現するものである。
【００４３】
例えば、本実施の形態においては、インターネットのようなＩＰネットワーク経由で行うＩＰＴＶサービス、映像配信サービス、ＴＶ電話サービスなど映像通信における客観的な映像品質評価を実現するために、劣化映像を分析し、これらの映像通信に関わる映像品質に影響を与える特徴量を定量的に表した映像品質値を導出する。
【００４４】
図３は、本発明の一実施の形態における映像品質客観評価装置の構成を示す。
【００４５】
図３に示すように、本実施の形態にかかる映像品質客観評価装置１は、エッジ・テクスチャ量抽出部１００と、特徴量抽出部２００と、映像品質推定部３００とから構成されている。
【００４６】
エッジ・テクスチャ量抽出部１００は、クラスタリング部１０と、フィルタリング部１１と、差分クラスタリング画像導出部１２と、カウント部１３とから構成されている。
【００４７】
特徴量抽出部２００は、映像フレーム平均特徴量導出部１４と、映像フレーム特徴量導出部１５と、平均特徴量導出部１６、最大特徴量導出部１７と、標準偏差特徴量導出部１８と、動き量導出部１９とから構成されている。
【００４８】
エッジ・テクスチャ量抽出部１００のクラスタリング部１０は、入力された劣化映像I(x,y,f)にSobelフィルタFx及びFyをかけ、垂直方向（Y方向）のエッジ画像、水平方向（X方向）のエッジ画像Sx(x,y,f)及びSy(x,y,f)を導出する。具体的には、対象画素の隣接８画素の情報を用い、以下の式（１）に基づきエッジ画像を作成する。
【００４９】
【数１】
各画素に対し導出された垂直及び水平方向のエッジ値を、図４に示す領域分割方法でＣ１〜Ｃ４の４つのクラスに分類されたクラスタリング画像C（x,y）（xは水平画素位置、yは垂直画素位置）（クラスタリング画像はクラスＣ１〜Ｃ４に対応するクラスタリング値１〜４の値を持つ）を作成し、フィルタリング部１１と差分クラスタリング画像導出部１２に出力する。
【００５０】
エッジ・テクスチャ量抽出部１００のフィルタリング部１１は、クラスタリング部１０より出力されたクラスタリング画像C（x,y）に、図５に示すように、Erosionフィルタ及びDilatationフィルタをかけフィルタリング画像を作成する。図５は、４つのクラスにクラスタリングされた画像（８×８画素の画像）に対して、パディング無し（Ａ）と、パディング有り（Ｂ）の例を示している。
【００５１】
具体的には、クラスタリング画像C（x,y）（xは水平画素位置、yは垂直画素位置）に以下の式（２）に基づきErosionフィルタを施し、Erosion画像E(x,y)を作成する。
【００５２】
次に、Erosion画像に式（３）に基づきDilatationフィルタを施し、Dilatation画像D(x,y)（つまり、フィルタリング画像）を作成し、差分クラスタリング画像導出部１２に出力する。２種類のフィルタリングをかけることで、クラスタリング画像C(x,y)を平滑化したフィルタリング画像D(x,y)ができることになり、両者の差分からＣ３とＣ４を適切に抽出できる。
【００５３】
【数２】
ただし、画面の端の画素に対しては、画面外に画素がないため、画面の端の画素値をパディングするか、もしくは画面の端の画素を処理しないことで対応する。
【００５４】
差分クラスタリング画像導出部１２は、クラスタリング部１０より出力されたクラスタリング画像C(x,y)と、フィルタリング部１１より出力されたフィルタリング画像D(x,y)との差分値（差分クラスタリング画像：C(x,y)-D(x,y)+1、もし、C(x,y)-D(x,y)+1が1未満の場合は1とする）を導出する。
【００５５】
エッジ・テクスチャ量抽出部１００のカウント部１３は、差分クラスタリング画像の中で、クラスタリング値が３（エッジ量）と示された画素数ＮＣ３と、クラスタリング値が４（テクスチャ量）と示された画素数ＮＣ４をカウントする。
【００５６】
エッジ・テクスチャ量抽出部１００の映像フレーム平均特徴量導出部１４は、以下の式（４）により、カウント部１３より出力された映像フレーム毎のＮＣ３を全映像フレームにわたって加算し映像フレーム数で除算した値を、映像フレーム毎のＮＣ４を全映像フレームにわたって加算し映像フレーム数で除算した値で除算した映像フレーム平均特徴量Ｐを導出する。
【００５７】
【数３】
ここで、fは映像フレーム番号、Ｆは総映像フレーム数（例えば、推定対象の映像が30fps、１０秒分の場合、３００フレームとなる）を示す。
【００５８】
特徴量抽出部２００の映像フレーム特徴量導出部１５は、映像フレーム毎に、カウント部１３より出力された映像フレーム毎のＮＣ３を、映像フレーム毎のＮＣ４で除算した映像フレーム特徴量Ｐ（ｆ）を以下の式（５）に基づき導出する。
【００５９】
【数４】
ここで、fは映像フレーム番号を示す。
【００６０】
特徴量抽出部２００の平均特徴量導出部１６は、ある一定の区間（Ｚフレーム、例えば、１０フレーム）を一区間とし、その区間の映像フレーム特徴量P（f）の平均値を平均特徴量Pt（k）とする。
【００６１】
【数５】
ここで、fは映像フレーム番号、ｋは平均区間の番号（例えば、推定対象の映像が３００フレームから構成され、Ｚが１０フレームの場合、ｋは０〜２９の値となる）を示す。
【００６２】
特徴量抽出部２００の最大特徴量導出部１７は、平均特徴量導出部１６より出力された平均特徴量Pt（k）の中で最大の値を最大特徴量MaxPtとして導出する（例えば、Pt(0)〜Pt(29)の中で、Pt（10）が最大であった場合、Pt（10）がMaxPtとなる）。
【００６３】
【数６】
特徴量抽出部２００の標準偏差特徴量導出部１８は、平均特徴量導出部１６より出力された平均特徴量Pt（k）の標準偏差を標準偏差特徴量StdPtとして導出する。
【００６４】
【数７】
ここで、Stdevは、標準偏差を計算する演算子を表す。
【００６５】
特徴量抽出部２００の動き量導出部１９は、映像フレーム間の動きを示す動き量TIを導出する。P、MaxPt、StdPtは映像フレーム単位に導出される特徴量の統計値であり，映像の動きとは無関係の特徴量であるため、動き量を考慮することで正確な品質推定が可能となる。
【００６６】
【数８】
ここで、式（７）のI（x,y,f）は水平方向ｘ、垂直方向ｙ、映像フレーム番号ｆの画素を示す。また、M（f）はI（x,y,f）とI（x,y,f−1）との差分画像、式（８）、（９）のTI（f）は映像フレーム毎のフレーム関差分値の標準偏差、式（９）のＦは総映像フレーム数（例えば、30fpsの映像１０秒分の場合、300フレームとなる）を示す。
【００６７】
映像品質推定部３００は、映像フレーム平均特徴量導出部１４より出力される映像フレーム平均特徴量Ｐ、最大特徴量導出部１７より出力される最大特徴量MaxPt、標準偏差特徴量導出部１８より出力される標準偏差特徴量StdPt、動き量導出部１９より出力される動き量TIより、推定対象である映像の映像品質評価値（Vq）を以下の式（１０）に基づき導出する。
【００６８】
【数９】
ここで、a〜iは、映像フォーマット（例えば、QCIF，VGA，HDなど）に固有の係数とする。
【００６９】
ただし、Vqは３次関数で表現されているが、以下に示すような式（１１）で表現してもよい。
【００７０】
【数１０】
ここで、j〜lは、映像フォーマット（例えば、QCIF，VGA，HDなど）に固有の係数とする。なお、上記の式（１０）では、特徴量抽出部２００より出力されたＰ，MaxPt，StdPt，TIの全てを用いて映像品質評価値（Vq）を求める例を示しているが、これは最良の形態であり、この例に限定されることなく、これらの値の少なくともいずれか1つを用いてVqを求めてもよい。
【００７１】
図６は、本発明の一実施の形態における映像品質客観評価装置の動作のフローチャートである。以下、同図に基づいて、本実施の形態にかかる映像品質客観評価装置１の動作について説明する。
【００７２】
映像品質客観評価装置１のクラスタリング部１０に、劣化映像が入力されると（Ｓ１０１）、クラスタリング部１０は、入力された劣化映像I(x,y,f)にSobelフィルタをかけ、前述の式（１）によりエッジ画像Sx(x,y,f)及びSy(x,y,f)を導出し、エッジ画像Sx(x,y,f)及びSy(x,y,f)を用い、１〜４のクラスにクラスタリングし、クラスタリング画像C(x,y,f)を導出し、フィルタリング部１１及び差分クラスタリング画像導出部１２へ出力する（Ｓ１０２）。
【００７３】
フィルタリング部１１は、クラスタリング部１０によって導出されたクラスタリング画像C(x,y,f)を入力として、Erosionフィルタ及びDilatationフィルタをかけ、式（２）、（３）によりフィルタリング画像D(x,y,f)を導出し、差分クラスタリング画像導出部１２へ出力する（Ｓ１０３）。
【００７４】
差分クラスタリング画像導出部１２は、クラスタリング部１０より出力されたクラスタリング画像C(x,y,f)からフィルタリング部１１より出力されたフィルタリング画像D(x,y,f)の差分値をとり、１を加え、１〜４の値を持つ差分クラスタリング画像を導出し、カウント部１３へ出力する（Ｓ１０４）。
【００７５】
カウント部１３は、差分クラスタリング画像導出部１２より出力された差分クラスタリング画像のＣ３（エッジ量）とＣ４（テクスチャ量）の画素数を映像フレーム毎にカウントし、映像フレーム平均特徴量導出部 １４及び映像フレーム特徴量導出部１５へ出力する（Ｓ１０５）。
【００７６】
映像フレーム平均特徴量導出部１４は、カウント部１３より出力されたＣ３とＣ４の画素数を、全映像フレームに対して、前述の式（５）によりＣ３の総数をＣ４の総数で除算した映像フレーム平均特徴量Ｐを導出し、映像品質推定部２０へ出力する（Ｓ１０６）。
【００７７】
特徴量抽出部２００の映像フレーム特徴量導出部１５は、カウント部１３より出力されたＣ３とＣ４の画素数を各映像フレームに対し、前述の式（６）により、Ｃ３の画素数をＣ４の画素数で除算し、映像フレーム毎の映像フレーム特徴量P（f）を導出し、平均特徴量導出部１６へ出力する（Ｓ１０７）。
【００７８】
平均特徴量導出部１６は、映像フレーム特徴量導出部１５より出力された映像フレーム特徴量P（f）を特定の映像フレーム数毎に平均し、平均特徴量Pt（k）を導出し、最大特徴量導出部１７及び標準偏差特徴量導出部１８に出力する（Ｓ１０８）。
【００７９】
最大特徴量導出部１７は、平均特徴量Pt（k）の中で最大である最大特徴量MaxPtを導出し、映像品質推定部２０へ出力する（Ｓ１０９）。
【００８０】
標準偏差特徴量導出部１８は、平均特徴量Ｐｔ（ｋ）の標準偏差を示す標準偏差特徴量StdPtを導出し、映像品質推定部２０へ出力する（Ｓ１１０）。
【００８１】
動き量導出部１９は、前述の式（７）、（８）、（９）により映像の動きを示す動き量TIを導出し、映像品質推定部２０へ出力する（Ｓ１１１）。
【００８２】
映像品質推定部３００は、映像フレーム平均特徴量Ｐ、最大特徴量MaxPt、標準偏差特徴量StdPt及び動き量TIから、前述の式（１０）、（１１）により映像品質評価値を導出し、映像品質評価値Vqを出力し（Ｓ１１２）、処理を終了する。
【００８３】
このように、本実施の形態によれば、劣化映像からSobelフィルタを用いて、エッジ画像を作成し、エッジとテクスチャの強い画素をクラスタリング処理により抽出し、符号化劣化を考慮した映像品質値を算出することができるため、正確な客観品質推定法による映像品質推定が可能となる。
【００８４】
したがって、映像通信サービスの提供者は、提供中のサービスがユーザに対してある一定以上の品質を保っているか否かを容易に判断することができ、提供中のサービスの品質実態をリアルタイムで把握・管理することが可能となる。
【００８５】
なお、本実施の形態にかかる映像品質客観評価装置１は、ＣＰＵ（中央演算装置）やメモリ、インターフェースからなるコンピュータにコンピュータプログラムをインストールすることによって実現され、上述した映像品質客観評価装置１の各種機能は、上記コンピュータの各種ハードウェア資源と上記コンピュータプログラム（ソフトウェア）とが協働して実現される。
【００８６】
図３に示す映像品質客観評価装置１の構成要素の動作をプログラムとして構築し、当該映像品質客観評価装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。
【００８７】
さらに、構築されたプログラムをハードディスクや、フレキシブルディスク・ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。
【００８８】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【産業上の利用可能性】
【００８９】
本発明は、ＩＰネットワーク経由で行うIPTVサービス、映像配信サービス、ＴＶ電話サービスなどの映像通信の映像品質値を推定する映像品質客観評価装置に利用できる。
【符号の説明】
【００９０】
１０ クラスタリング部
１１ フィルタリング部
１２ 差分クラスタリング画像導出部
１３ カウント部
１４ 映像フレーム平均特徴量導出部
１５ 映像フレーム特徴量導出部
１６ 平均特徴量導出部
１７ 最大特徴量導出部
１８ 標準偏差特徴量導出部
１９ 動き量導出部
１００ エッジ・テクスチャ量抽出手段、エッジ・テクスチャ量抽出部
２００ 特徴量抽出手段、特徴量抽出部
３００ 映像品質推定手段、映像品質推定部
【特許請求の範囲】
【請求項１】
映像品質を客観的に評価する映像品質客観評価装置であって、
入力された劣化映像からエッジ量及びテクスチャ量を導出するエッジ・テクスチャ量抽出手段と、
前記エッジ・テクスチャ量抽出手段から導出される前記エッジ量と前記テクスチャ量から導出される特徴量または、前記劣化映像から導出される特徴量の少なくとも１つの特徴量を導出する特徴量抽出手段と、
前記特徴量抽出手段から出力される前記特徴量に基づき映像品質評価値を導出する映像品質推定手段と
を備えることを特徴とする映像品質客観評価装置。
【請求項２】
前記エッジ・テクスチャ量抽出手段は、
入力された劣化映像をキャプチャしエッジ画像を作成し、該エッジ画像の各画素の値に基づきクラスタリングを実施し、クラスタリング画像を導出するクラスタリング手段と、
前記クラスタリング手段により導出された前記クラスタリング画像をフィルタリングし、フィルタリング画像を作成するフィルタリング手段と、
前記クラスタリング手段により導出された前記クラスタリング画像と前記フィルタリング手段から導出された前記フィルタリング画像との差分値から差分クラスタリング画像を作成する差分クラスタリング画像導出手段と
前記差分クラスタリング画像導出手段により導出された前記差分クラスタリング画像のエッジ量とテクスチャ量を映像フレーム単位にカウントするカウント手段と、を含む
ことを特徴とする請求項１記載の映像品質客観評価装置。
【請求項３】
前記特徴量抽出手段は、
前記エッジ・テクスチャ量抽出手段より映像フレーム単位に抽出された前記エッジ量及び前記テクスチャ量に基づき、推定対象の映像の全映像フレームに対するエッジ量の合計値と、同様に、推定対象の映像の全映像フレームに対するテクスチャ量の合計値を算出し、該エッジ量の合計値を該テクスチャ量の合計値で除算した映像フレーム平均特徴量を導出する映像フレーム平均特徴量導出手段を含み、
前記映像品質推定手段は、
前記映像フレーム平均特徴量を用いて前記映像品質評価値を求める手段を含む
ことを特徴とする請求項１記載の映像品質客観評価装置。
【請求項４】
前記特徴量抽出手段は、
前記エッジ・テクスチャ量抽出手段より映像フレーム単位に抽出された前記エッジ量及び前記テクスチャ量に基づき、映像フレーム単位にエッジ量の合計値をテクスチャ量の合計値で除算した映像フレーム特徴量を導出する映像フレーム特徴量導出手段と、
推定対象の映像のある一定区間の複数の映像フレームに対し、前記映像フレーム特徴量導出手段から導出された前記映像フレーム特徴量を合計し、映像フレーム数で除算した平均特徴量を導出する平均特徴量導出手段と、
前記平均特徴量導出手段より導出される推定対象の映像のある一定区間の複数の映像フレームの前記平均特徴量に対し、推定対象の全区間の複数の平均特徴量の最大の値を示す最大特徴量を導出する最大特徴量導出手段と、
前記平均特徴量導出手段より導出された推定対象の映像のある一定区間の複数の映像フレームの平均特徴量に対し、推定対象の全区間の複数の平均特徴量の標準偏差をとった標準偏差特徴量を導出する標準偏差特徴量導出手段と、を更に有し、
前記映像品質推定手段は、
前記映像フレーム平均特徴量、前記最大特徴量、及び、前記標準偏差特徴量の少なくともいずれか１つを用いて前記映像品質評価値を求める手段を含む
ことを特徴とする請求項１または３記載の映像品質客観評価装置。
【請求項５】
前記特徴量抽出手段は、
入力された劣化映像から映像の動きを示す動き量を導出する動き量導出手段を更に有し、
前記映像品質推定手段は、
前記映像フレーム平均特徴量、前記最大特徴量、前記標準偏差特徴量、及び、前記動き量の少なくともいずれか１つを用いて前記映像品質評価値を求める手段を含む
ことを特徴とする請求項１，３，４のいずれか1項に記載の映像品質客観評価装置。
【請求項６】
映像品質を客観的に評価する映像品質客観評価方法であって、
映像品質客観評価装置が、
入力された劣化映像からエッジ量及びテクスチャ量を導出するエッジ・テクスチャ量抽出ステップと、
前記エッジ・テクスチャ量抽出ステップから導出される前記エッジ量と前記テクスチャ量から導出される特徴量または、前記劣化映像から導出される特徴量の少なくとも１つの特徴量を導出する特徴量抽出ステップと、
前記特徴量抽出ステップから出力される前記特徴量に基づき映像品質評価値を導出する映像品質推定ステップと
を行うことを特徴とする映像品質客観評価方法。
【請求項７】
前記エッジ・テクスチャ量抽出ステップは、
入力された劣化映像をキャプチャしエッジ画像を作成し、該エッジ画像の各画素の値に基づきクラスタリングを実施し、クラスタリング画像を導出するクラスタリングステップと、
前記クラスタリングステップにより導出された前記クラスタリング画像をフィルタリングし、フィルタリング画像を作成するフィルタリングステップと、
前記クラスタリングステップにより導出された前記クラスタリング画像と前記フィルタリングステップから導出された前記フィルタリング画像との差分値から差分クラスタリング画像を作成する差分クラスタリング画像導出ステップと
前記差分クラスタリング画像導出ステップにより導出された前記差分クラスタリング画像のエッジ量とテクスチャ量を映像フレーム単位にカウントするカウントステップと、
を行うことを特徴とする請求項６記載の映像品質客観評価方法。
【請求項８】
前記特徴量抽出ステップは、
前記エッジ・テクスチャ量抽出ステップより映像フレーム単位に抽出された前記エッジ量及び前記テクスチャ量に基づき、推定対象の映像の全映像フレームに対するエッジ量の合計値と、同様に、推定対象の映像の全映像フレームに対するテクスチャ量の合計値を算出し、該エッジ量の合計値を該テクスチャ量の合計値で除算した映像フレーム平均特徴量を導出する映像フレーム平均特徴量導出ステップを行い、
前記映像品質推定ステップは、
前記映像フレーム平均特徴量を用いて前記映像品質評価値を求める
ことを特徴とする請求項６記載の映像品質客観評価方法。
【請求項９】
前記特徴量抽出ステップは、
前記エッジ・テクスチャ量抽出ステップより映像フレーム単位に抽出された前記エッジ量及び前記テクスチャ量に基づき、映像フレーム単位にエッジ量の合計値をテクスチャ量の合計値で除算した映像フレーム特徴量を導出する映像フレーム特徴量導出ステップと、
推定対象の映像のある一定区間の複数の映像フレームに対し、前記映像フレーム特徴量導出ステップから導出された前記映像フレーム特徴量を合計し、映像フレーム数で除算した平均特徴量を導出する平均特徴量導出ステップと、
前記平均特徴量導出ステップより導出される推定対象の映像のある一定区間の複数の映像フレームの前記平均特徴量に対し、推定対象の全区間の複数の平均特徴量の最大の値を示す最大特徴量を導出する最大特徴量導出ステップと、
前記平均特徴量導出ステップより導出された推定対象の映像のある一定区間の複数の映像フレームの平均特徴量に対し、推定対象の全区間の複数の平均特徴量の標準偏差をとった標準偏差特徴量を導出する標準偏差特徴量導出ステップと、を更に行い、
前記映像品質推定ステップは、
前記映像フレーム平均特徴量、前記最大特徴量、及び、前記標準偏差特徴量の少なくともいずれか１つを用いて前記映像品質評価値を求める
ことを特徴とする請求項６または８記載の映像品質客観評価方法。
【請求項１０】
前記特徴量抽出ステップは、
入力された劣化映像から映像の動きを示す動き量を導出する動き量導出ステップを更に行い、
前記映像品質推定ステップは、
前記映像フレーム平均特徴量、前記最大特徴量、前記標準偏差特徴量、及び、前記動き量の少なくともいずれか１つを用いて前記映像品質評価値を求める
ことを特徴とする請求項６，８，９のいずれか1項に記載の映像品質客観評価方法。
【請求項１１】
請求項１乃至５のいずれか1項に記載の映像品質客観評価装置を構成する各手段としてコンピュータを機能させるための映像品質客観評価プログラム。
【請求項１】
映像品質を客観的に評価する映像品質客観評価装置であって、
入力された劣化映像からエッジ量及びテクスチャ量を導出するエッジ・テクスチャ量抽出手段と、
前記エッジ・テクスチャ量抽出手段から導出される前記エッジ量と前記テクスチャ量から導出される特徴量または、前記劣化映像から導出される特徴量の少なくとも１つの特徴量を導出する特徴量抽出手段と、
前記特徴量抽出手段から出力される前記特徴量に基づき映像品質評価値を導出する映像品質推定手段と
を備えることを特徴とする映像品質客観評価装置。
【請求項２】
前記エッジ・テクスチャ量抽出手段は、
入力された劣化映像をキャプチャしエッジ画像を作成し、該エッジ画像の各画素の値に基づきクラスタリングを実施し、クラスタリング画像を導出するクラスタリング手段と、
前記クラスタリング手段により導出された前記クラスタリング画像をフィルタリングし、フィルタリング画像を作成するフィルタリング手段と、
前記クラスタリング手段により導出された前記クラスタリング画像と前記フィルタリング手段から導出された前記フィルタリング画像との差分値から差分クラスタリング画像を作成する差分クラスタリング画像導出手段と
前記差分クラスタリング画像導出手段により導出された前記差分クラスタリング画像のエッジ量とテクスチャ量を映像フレーム単位にカウントするカウント手段と、を含む
ことを特徴とする請求項１記載の映像品質客観評価装置。
【請求項３】
前記特徴量抽出手段は、
前記エッジ・テクスチャ量抽出手段より映像フレーム単位に抽出された前記エッジ量及び前記テクスチャ量に基づき、推定対象の映像の全映像フレームに対するエッジ量の合計値と、同様に、推定対象の映像の全映像フレームに対するテクスチャ量の合計値を算出し、該エッジ量の合計値を該テクスチャ量の合計値で除算した映像フレーム平均特徴量を導出する映像フレーム平均特徴量導出手段を含み、
前記映像品質推定手段は、
前記映像フレーム平均特徴量を用いて前記映像品質評価値を求める手段を含む
ことを特徴とする請求項１記載の映像品質客観評価装置。
【請求項４】
前記特徴量抽出手段は、
前記エッジ・テクスチャ量抽出手段より映像フレーム単位に抽出された前記エッジ量及び前記テクスチャ量に基づき、映像フレーム単位にエッジ量の合計値をテクスチャ量の合計値で除算した映像フレーム特徴量を導出する映像フレーム特徴量導出手段と、
推定対象の映像のある一定区間の複数の映像フレームに対し、前記映像フレーム特徴量導出手段から導出された前記映像フレーム特徴量を合計し、映像フレーム数で除算した平均特徴量を導出する平均特徴量導出手段と、
前記平均特徴量導出手段より導出される推定対象の映像のある一定区間の複数の映像フレームの前記平均特徴量に対し、推定対象の全区間の複数の平均特徴量の最大の値を示す最大特徴量を導出する最大特徴量導出手段と、
前記平均特徴量導出手段より導出された推定対象の映像のある一定区間の複数の映像フレームの平均特徴量に対し、推定対象の全区間の複数の平均特徴量の標準偏差をとった標準偏差特徴量を導出する標準偏差特徴量導出手段と、を更に有し、
前記映像品質推定手段は、
前記映像フレーム平均特徴量、前記最大特徴量、及び、前記標準偏差特徴量の少なくともいずれか１つを用いて前記映像品質評価値を求める手段を含む
ことを特徴とする請求項１または３記載の映像品質客観評価装置。
【請求項５】
前記特徴量抽出手段は、
入力された劣化映像から映像の動きを示す動き量を導出する動き量導出手段を更に有し、
前記映像品質推定手段は、
前記映像フレーム平均特徴量、前記最大特徴量、前記標準偏差特徴量、及び、前記動き量の少なくともいずれか１つを用いて前記映像品質評価値を求める手段を含む
ことを特徴とする請求項１，３，４のいずれか1項に記載の映像品質客観評価装置。
【請求項６】
映像品質を客観的に評価する映像品質客観評価方法であって、
映像品質客観評価装置が、
入力された劣化映像からエッジ量及びテクスチャ量を導出するエッジ・テクスチャ量抽出ステップと、
前記エッジ・テクスチャ量抽出ステップから導出される前記エッジ量と前記テクスチャ量から導出される特徴量または、前記劣化映像から導出される特徴量の少なくとも１つの特徴量を導出する特徴量抽出ステップと、
前記特徴量抽出ステップから出力される前記特徴量に基づき映像品質評価値を導出する映像品質推定ステップと
を行うことを特徴とする映像品質客観評価方法。
【請求項７】
前記エッジ・テクスチャ量抽出ステップは、
入力された劣化映像をキャプチャしエッジ画像を作成し、該エッジ画像の各画素の値に基づきクラスタリングを実施し、クラスタリング画像を導出するクラスタリングステップと、
前記クラスタリングステップにより導出された前記クラスタリング画像をフィルタリングし、フィルタリング画像を作成するフィルタリングステップと、
前記クラスタリングステップにより導出された前記クラスタリング画像と前記フィルタリングステップから導出された前記フィルタリング画像との差分値から差分クラスタリング画像を作成する差分クラスタリング画像導出ステップと
前記差分クラスタリング画像導出ステップにより導出された前記差分クラスタリング画像のエッジ量とテクスチャ量を映像フレーム単位にカウントするカウントステップと、
を行うことを特徴とする請求項６記載の映像品質客観評価方法。
【請求項８】
前記特徴量抽出ステップは、
前記エッジ・テクスチャ量抽出ステップより映像フレーム単位に抽出された前記エッジ量及び前記テクスチャ量に基づき、推定対象の映像の全映像フレームに対するエッジ量の合計値と、同様に、推定対象の映像の全映像フレームに対するテクスチャ量の合計値を算出し、該エッジ量の合計値を該テクスチャ量の合計値で除算した映像フレーム平均特徴量を導出する映像フレーム平均特徴量導出ステップを行い、
前記映像品質推定ステップは、
前記映像フレーム平均特徴量を用いて前記映像品質評価値を求める
ことを特徴とする請求項６記載の映像品質客観評価方法。
【請求項９】
前記特徴量抽出ステップは、
前記エッジ・テクスチャ量抽出ステップより映像フレーム単位に抽出された前記エッジ量及び前記テクスチャ量に基づき、映像フレーム単位にエッジ量の合計値をテクスチャ量の合計値で除算した映像フレーム特徴量を導出する映像フレーム特徴量導出ステップと、
推定対象の映像のある一定区間の複数の映像フレームに対し、前記映像フレーム特徴量導出ステップから導出された前記映像フレーム特徴量を合計し、映像フレーム数で除算した平均特徴量を導出する平均特徴量導出ステップと、
前記平均特徴量導出ステップより導出される推定対象の映像のある一定区間の複数の映像フレームの前記平均特徴量に対し、推定対象の全区間の複数の平均特徴量の最大の値を示す最大特徴量を導出する最大特徴量導出ステップと、
前記平均特徴量導出ステップより導出された推定対象の映像のある一定区間の複数の映像フレームの平均特徴量に対し、推定対象の全区間の複数の平均特徴量の標準偏差をとった標準偏差特徴量を導出する標準偏差特徴量導出ステップと、を更に行い、
前記映像品質推定ステップは、
前記映像フレーム平均特徴量、前記最大特徴量、及び、前記標準偏差特徴量の少なくともいずれか１つを用いて前記映像品質評価値を求める
ことを特徴とする請求項６または８記載の映像品質客観評価方法。
【請求項１０】
前記特徴量抽出ステップは、
入力された劣化映像から映像の動きを示す動き量を導出する動き量導出ステップを更に行い、
前記映像品質推定ステップは、
前記映像フレーム平均特徴量、前記最大特徴量、前記標準偏差特徴量、及び、前記動き量の少なくともいずれか１つを用いて前記映像品質評価値を求める
ことを特徴とする請求項６，８，９のいずれか1項に記載の映像品質客観評価方法。
【請求項１１】
請求項１乃至５のいずれか1項に記載の映像品質客観評価装置を構成する各手段としてコンピュータを機能させるための映像品質客観評価プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１１−２０５２５２（Ｐ２０１１−２０５２５２Ａ）
【公開日】平成２３年１０月１３日（２０１１．１０．１３）
【国際特許分類】
【出願番号】特願２０１０−６８７９７（Ｐ２０１０−６８７９７）
【出願日】平成２２年３月２４日（２０１０．３．２４）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２３年１０月１３日（２０１１．１０．１３）
【国際特許分類】
【出願日】平成２２年３月２４日（２０１０．３．２４）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]