映像品質客観評価方法、映像品質客観評価装置、およびプログラム
【課題】シーンの違いによる映像の主観品質の変動を考慮し、画素情報へのデコードに莫大な計算量を要することなく、前記主観品質の推定を可能にする。
【解決手段】動き補償フレーム間予測とＤＣＴ変換を用いるとともに、特にＨ．２６４方式を用いて符号化された映像のビット列を受信するとともに、受信したビット列に含まれる量子化パラメータを抽出してその統計量を演算し、この量子化パラメータの最小値に基づいて映像の主観品質を推定する。
【解決手段】動き補償フレーム間予測とＤＣＴ変換を用いるとともに、特にＨ．２６４方式を用いて符号化された映像のビット列を受信するとともに、受信したビット列に含まれる量子化パラメータを抽出してその統計量を演算し、この量子化パラメータの最小値に基づいて映像の主観品質を推定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人間が映像を見て体感した品質（主観品質）を推定する場合に、主観品質評価実験を行うことなく、符号化されたビット列の情報から客観的に主観品質を導出する、符号化による映像品質劣化を対象とした映像品質客観評価方法、映像品質客観評価装置およびプログラムに関する。
【背景技術】
【０００２】
従来、映像通信サービスのユーザが視聴している映像の主観品質の評価を精度良く効率的に行うため、ビットレートやフレームレート等の符号化パラメータ情報やIPパケットのヘッダ情報を用いて客観的に映像品質評価を行う技術が検討されてきた（非特許文献１）。また、符号化ビットストリーム情報と画素信号情報を組み合わせて客観的に映像品質評価を行う技術についても検討されてきた（非特許文献２）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】山岸和久，林孝典，“IPTVサービスを対象とした映像品質推定モデルの検討"，信学技報，CQ2007-35, pp. 123-126, July. 2007.
【非特許文献２】D. Hands, “Quality Assurance for IPTV,”ITU-T Workshop on “End-to-End QoE / QoS,”June. 2006.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の技術では精度良く計算量を抑えて客観的に映像品質評価を行う技術の構築を目指している。しかし文献１に記載の技術は、平均的なシーンを想定した主観品質の推定を行うため、シーンの違いによる主観品質の変動を考慮することができず、主観品質の推定を良好な精度で実現できないという課題があった。
また、文献２に記載の技術は、符号化ビットストリームとデコードされた画素情報に符号化されたビット列をサブ情報として加えた情報を用いて主観品質の推定を試みているが、特にＨ．２６４方式では画素情報へのデコードには莫大な計算量を要するため現実的に実行することは難しいという課題があった。
【課題を解決するための手段】
【０００５】
このような課題を解決するために本発明は、動き補償フレーム間予測とＤＣＴ変換を用いて符号化された映像のビット列を受信する受信ステップと、受信したビット列に含まれる情報を入力して所定の演算を行う演算ステップと、演算ステップの演算結果に基づいて映像の主観品質を推定する演算を行う主観品質推定ステップを備えることを特徴とする。
すなわち、本発明は、現在主流である動き補償フレーム間予測とＤＣＴ変換を用いる符号化方式、特にＨ．２６４方式のビットストリームから、フレーム／スライス／動きベクトルのＩＰＢ属性を検出するステップと、動きベクトルとそのデータ量を抽出するステップと、ＤＣＴ係数とそのデータ量を抽出するステップと、符号化制御情報とそのデータ量を抽出するステップと，量子化係数／量子化パラメータを抽出するステップと、これらの情報を統合して主観品質を客観的に映像の主観品質を推定するステップを備えるものである。
【０００６】
本発明ではビットストリームのデコードを行わないため、小さい計算量で映像品質の推定が可能になると共に、ビットストリーム中に存在するシーンの違いを考慮可能なパラメータである動きベクトルやDCT係数の内容やデータ量を主観品質の推定に用いることにより、精度良く映像の主観品質を推定することが可能になる。
【０００７】
ここで、本発明では、上記演算ステップが、ビット列に含まれる量子化情報を抽出して、量子化情報の統計量（例えば、Ｈ．２６４方式の量子化パラメータの最小値）を演算し、主観品質推定ステップは、量子化情報の統計量（例えば、Ｈ．２６４方式の量子化パラメータの最小値）に基づいて映像の主観品質を推定する演算を行うものである。
さらに、演算ステップは、ビット列に含まれる動きベクトルの情報を抽出して、抽出した動きベクトルの情報から動きベクトルの統計量（例えば、ベクトルの大きさの尖度）を演算し、主観品質推定ステップは、量子化情報の統計量（例えば、Ｈ．２６４方式の量子化パラメータの最小値）と動きベクトルの統計量（例えば、ベクトルの大きさの尖度）に基づいて映像の主観品質を推定する演算を行う。
【０００８】
また、演算ステップは、ビット列に含まれるＩスライス、ＰスライスおよびＢスライスの情報を抽出するとともに、抽出したＩスライス、ＰスライスおよびＢスライスの情報に基づいてＩスライス、ＰスライスおよびＢスライスの統計情報を演算し、主観品質推定ステップは、量子化情報の統計量（例えば、Ｈ．２６４方式の量子化パラメータの最小値）とＩスライス、ＰスライスおよびＢスライスの統計情報に基づいて映像の主観品質を推定する演算を行う。
【０００９】
なお、演算ステップは、ビット列に含まれる、予測符号化に用いられる情報、変換符号化に用いられる情報および符号化の制御に用いられる情報を抽出して、抽出したこれらの情報から、予測符号化に用いられるビット量、変換符号化に用いられるビット量および符号化の制御に用いられるビット量を演算することもできる。この場合、主観品質推定ステップは、演算ステップの演算結果を示す、予測符号化に用いられるビット量、変換符号化に用いられるビット量および符号化の制御に用いられるビット量に基づいて映像の主観品質を推定する演算を行う。
【００１０】
この場合、演算ステップは、ビット列に含まれる動きベクトルの情報を抽出して、抽出した動きベクトルの情報から動きベクトルの統計量（例えば、ベクトルの大きさの尖度）を演算し、主観品質推定ステップは、予測符号化に用いられるビット量、変換符号化に用いられるビット量および符号化の制御に用いられるビット量と動きベクトルの統計量（例えば、ベクトルの大きさの尖度）に基づいて映像の主観品質を推定する演算を行う。
また、演算ステップは、ビット列に含まれるＩスライス、ＰスライスおよびＢスライスの情報を抽出するとともに、抽出したＩスライス、ＰスライスおよびＢスライスの情報に基づいてＩスライス、ＰスライスおよびＢスライスの統計情報を演算し、主観品質推定ステップは、予測符号化に用いられるビット量、変換符号化に用いられるビット量および符号化の制御に用いられるビット量とＩスライス、ＰスライスおよびＢスライスの統計情報に基づいて映像の主観品質を推定する演算を行う。
【発明の効果】
【００１１】
以上説明したように、本発明ではＤＣＴ変換と動き補償を用いる符号化方式、特にＨ．２６４方式で符号化されたビット列の情報（ビットストリーム）を利用することにより、計算量を抑えながら精度良く客観的に主観品質の推定を行うことが可能となり、主観品質評価法や従来の客観品質評価法を本発明に置き換えることにより多大な労力と時間を必要としなくなる。従って、映像伝送サービスで、ユーザが感じている主観品質を大規模かつリアルタイムに管理することが可能になる。
【図面の簡単な説明】
【００１２】
【図１】選択されたフレームにおける量子化パラメータの最小値の導出方法を説明する図である。
【図２】動きベクトルの導出対象フレームの位置を説明する図である。
【図３】動きベクトルの導出対象フレームと参照フレームとの間の位置関係を示す図である。
【図４】動きベクトルの導出対象フレームと参照フレームとの間の位置関係を示す図である。
【図５】映像品質客観評価装置の構成を示すブロック図である。
【図６】本発明の実施の形態１の構成を示す機能ブロック図である。
【図７】本発明の実施の形態２の構成を示す機能ブロック図である。
【図８】本発明の実施の形態３の構成を示す機能ブロック図である。
【図９】本発明の実施の形態４の構成を示す機能ブロック図である。
【図１０】本発明の実施の形態５の構成を示す機能ブロック図である。
【図１１】本発明の実施の形態６の構成を示す機能ブロック図である。
【図１２】本発明の実施の形態７の構成を示す機能ブロック図である。
【図１３】本発明の実施の形態８の構成を示す機能ブロック図である。
【図１４】本発明の実施の形態９の構成を示す機能ブロック図である。
【図１５】実施の形態１の処理動作を示すフローチャートである。
【図１６】実施の形態２の処理動作を示すフローチャートである。
【図１７】実施の形態３の処理動作を示すフローチャートである。
【図１８】実施の形態４の処理動作を示すフローチャートである。
【図１９】実施の形態５の処理動作を示すフローチャートである。
【図２０】実施の形態６の処理動作を示すフローチャートである。
【図２１】実施の形態７の処理動作を示すフローチャートである。
【図２２】実施の形態８の処理動作を示すフローチャートである。
【図２３】実施の形態９の処理動作を示すフローチャートである。
【図２４】量子化係数／パラメータの特性を示す図である。
【図２５】一般的な品質推定モデルとの精度の比較結果を示す図である。
【発明を実施するための形態】
【００１３】
図５は、本発明に係る映像品質客観評価装置の構成を示すブロック図である。本映像品質客観評価装置１は、図５に示すように、受信部２、演算部３、記憶媒体４および出力部５からなる。ここで、図５に示すＨ．２６４符号化装置６は、入力映像を後述するＨ．２６４方式により符号化する。そして、符号化された映像ビット列は伝送網内を伝送パケットとして通信され映像品質客観評価装置１に送信される。
【００１４】
映像品質客観評価装置１は、その伝送パケット、すなわち前記符号化されたビット列を受信部２で受信する。そして、ＣＰＵが記憶媒体４に記憶されたプログラムを読み出して実行することにより、演算部３の各機能を実現する。即ち、演算部３は受信部２で受信されたビット列の情報を利用して後述する実施の形態１〜８に示される各種の演算処理を行い、その演算処理結果を表示部などの出力部５に出力することにより、映像の主観品質を推定するものである。
【００１５】
（実施の形態１）
実施の形態１では、図６に示すように、量子化パラメータ統計量計算部１１と統合部２０とが設けられ、Ｈ．２６４方式で符号化された評価映像Ｖのビットストリーム内に存在する量子化情報である量子化パラメータの情報を使って主観品質ＥＶを推定する。本方式は、ＤＣＴ係数と動き補償を使う符号化方式には原理的に適用可能である。本実施の形態の簡単な流れを次に示す。まず図６において、符号化ビットストリームはまず量子化パラメータ統計量計算部１１に入力される。量子化パラメータ統計量計算部１１では、ビットストリームから量子化パラメータを抽出して以下に示すアルゴリズムに従って量子化パラメータの代表値ＱＰｍｉｎを導出する。次に統合部２０では以下のアルゴリズムに従って量子化パラメータの代表値ＱＰｍｉｎから評価映像Ｖの主観品質ＥＶを推定する。これらの流れを図１５のフローチャートに示している。Ｈ．２６４方式のビット列の仕様は参考文献１（ITU-T H.264, “Advanced video coding for generic audiovisual services,”Feb. 2000.）に記載されており、Ｈ．２６４方式の仕様に従ってマクロブロック毎に設定される量子化パラメータの情報の抽出を行う。
【００１６】
図１に示すように、まず評価映像Ｖを構成する全てのフレームについて、フレーム内に存在する全てのマクロブロック（全ｍ個）の量子化パラメータ値を使って、フレーム毎の量子化パラメータの代表値ＱＰｍｉｎ（ｉ）を導出する。ただし、ｉはフレーム番号（ｉ＝１から映像の再生を開始してｉ＝ｎで映像の再生を終了）を示す。ＱＰｍｉｎ（ｉ）は以下の式で導出される。
【００１７】
【数１】
【００１８】
ただし、ＱＰｉｊはフレーム番号ｉ中のマクロブロック番号ｊの量子化パラメータを表し（図１）、また、演算子
【００１９】
【数２】
【００２０】
は、自然数Ａ1〜Ａmを参照して最小となる値を出力する。ただし、最小値以外の任意の統計量（最大値、平均値等）を導出しても良い。
上記処理によりフレーム番号ｉ中で最も値が小さい量子化パラメータの導出がなされる。これは量子化パラメータがより小さくなると該当マクロブロックに対してより細かい量子化が適用されることから、上記処理は最も細かい量子化を行うマクロブロックを導出することになる。絵柄が複雑な映像ほどきめ細かい量子化が必要になるため、上記処理はフレーム番号ｉ中で最も複雑な絵柄となるマクロブロックの特定を目的としている。
【００２１】
以上で導出したフレーム毎の量子化パラメータの代表値ＱＰmin（ｉ）を用いて、次に評価映像の全ての量子化パラメータの代表値ＱＰminを導出する。ＱＰminは以下の式で導出される。
【００２２】
【数３】
【００２３】
ただし、演算子
【００２４】
【数４】
【００２５】
は、自然数Ａ1〜Ａmを参照して平均となる値を出力する。
以上で導出したＱＰminを用いて、評価映像Ｖの主観品質ＥＶを推定する。主観品質ＥＶは以下の式で導出される。Ｈ．２６４では方式では量子化パラメータの代表値ＱＰminと主観品質ＥＶの間に非線形性が存在するため、その特性を考慮したものとなっている。
【００２６】
【数５】
【００２７】
ただし、係数ａ，ｂ，ｃ，ｄは予め主観評価実験を行って、回帰分析により最適化される係数である。なお、ＥＶの尺度としては参考文献２（ITU-T P.910,“TELEPHONE TRANSMISSION QUALITY, TELEPHONE INSTALLATIONS, LOCAL LINE NETWORKS,”Sep. 1999.）に示されているＡＣＲ法や参考文献３（ITU-R BT.500,“Methodology for the subjective assessment of the quality of television pictures,”2002.）に示されているＤＳＩＳ法またはＤＳＣＱＳ法などがある。また、フレーム毎の量子化パラメータであるＱＰmin（ｉ）を用いて、ＱＰmin（ｉ）の平均値であるＱＰaveや、最大値であるＱＰmaxなど、ＱＰmin（ｉ）の統計量をＱＰminの代わりに使っても良い。
【００２８】
（実施の形態２）
実施の形態２では、図７に示すように、量子化パラメータ統計量計算部１１、動きベクトル統計量計算部１２および統合部２０が設けられ、Ｈ．２６４方式で符号化された評価映像Ｖに対して、Ｈ．２６４方式の符号化で利用される量子化パラメータに加えて動きベクトルの情報を使って主観品質ＥＶを客観的に推定する。本方式は、原理的にはＤＣＴ係数と動き補償を使う符号化方式に適用可能である。本実施の形態の簡単な流れを次に示す。まず図７において、符号化ビットストリームはまず量子化パラメータ統計量計算部１１と動きベクトル統計量計算部１２に入力される。量子化パラメータ統計量計算部１１では、ビットストリームから量子化パラメータを抽出して以下に示すアルゴリズムに従って量子化パラメータの代表値ＱＰｍｉｎを導出する。また動きベクトル統計量計算部１２では、ビットストリームから動きベクトルを抽出して以下に示すアルゴリズムに従って動きベクトルの代表値ＭＶｋｕｒｔを導出する。次に統合部２０では以下のアルゴリズムに従って量子化パラメータの代表値ＱＰｍｉｎと動きベクトルの代表値ＭＶｋｕｒｔから評価映像Ｖの主観品質ＥＶを推定する。これらの流れを図１６のフローチャートに示している。Ｈ．２６４方式のビット列の仕様は参考文献１に記載されており、Ｈ．２６４方式の仕様に従ってマクロブロック毎に設定される量子化パラメータとマクロブロック・サブマクロブロック毎に設定される動きベクトルの情報を抽出する。
【００２９】
量子化パラメータについては、実施の形態１で示したＱＰmin（ただし、実施の形態１で示した量子化パラメータの統計量を使っても良い）をＥＶの導出に利用する。
一方、動きベクトルの代表値については、図２、図３、図４を用いて説明する。図２に示すように、Ｈ．２６４方式では動きベクトルの導出に用いる参照フレームを、前方、後方に限らず、マクロブロック・サブマクロブロック単位で任意の２つ選ぶことが可能である。そこで各マクロブロック・サブマクロブロック毎に設定される動きベクトルの大きさを正規化するように、動きベクトルの導出対象フレームの前方・後方１フレームに各マクロブロック・サブマクロブロックを射影する。具体的な処理を図３、図４で説明する。
【００３０】
図３は、動きベクトルの導出対象フレームｉ中のｊ番目のブロックＭＢijの参照フレームがフレームｉの（ｐ＋１）フレーム後方にある場合を示している。図３のように動きベクトルの導出対象フレームｉから参照フレーム上に動きベクトルＭＶijが存在しており、以下のようにしてＭＶijを動きベクトルの導出対象フレームｉから１フレーム後方へのベクトルＭＶ’ijに射影する。
【００３１】
【数６】
【００３２】
また図４は、動きベクトルの導出対象フレームｉ中のｊ番目のブロックＭＢijの参照フレームがフレームｉの（ｑ＋１）フレーム前方にある場合を示している。図４のように動きベクトルの導出対象フレームｉから参照フレーム上に動きベクトルＭＶijが存在しており、以下のようにしてＭＶijを動きベクトルの導出対象フレームｉから１フレーム前方へのベクトルＭＶ’ijに射影する。
【００３３】
【数７】
【００３４】
以上の処理により、動きベクトルの導出対象フレームｉの全てのマクロブロック・サブマクロブロックｊ（１≦ｊ≦ｘ）毎に設定される動きベクトルを、ｉ±１フレーム上のベクトルへ射影することが可能になる。ただし、ｘはフレームｉ内のマクロブロックの個数である。
【００３５】
以上で導出した動きベクトルの導出対象フレームｉ上のベクトルＭＶ’ijを用いて、次に以下の式で動きベクトルの導出対象フレームｉの統計量として尖度Ｋｕｒｔ（ｉ）を導出する。ただし尖度Ｋｕｒｔ（ｉ）以外にも平均や最大値、或いは最小値や分散等の各種統計量を代替として用いることが可能である。
下式中の
【００３６】
【数８】
【００３７】
は、ベクトルの大きさを表すものとする。
【００３８】
【数９】
【００３９】
以上で導出したフレーム毎の動きベクトルの代表値ＭＶkurt（ｉ）を用いて、次に評価映像の全ての動きベクトルの代表値ＭＶｋｕｒｔを導出する。ＭＶkurtは以下の式で導出される。
【００４０】
【数１０】
【００４１】
ただし、演算子
【００４２】
【数１１】
【００４３】
は、自然数Ａ1〜Ａmを参照して平均となる値を出力し、ｎは評価映像Ｖの全フレーム数である。
ここで動きベクトルの尖度を用いたのは、動きベクトルの分布を表現するためであり、映像で一様な動きや特定の物体の動きを定量化するためである。これと類似の物理的意味を持った特徴量（分散や歪度等）を使っても良い。
【００４４】
以上で導出したＭＶkurtとＱＰminを用いて、評価映像Ｖの主観品質ＥＶを推定する。ＥＶは以下の式で導出される。下式中のＭＶkurtはベクトルの大きさを表すものとする。
【００４５】
【数１２】
【００４６】
ただし、係数ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ，ｉ，ｊ，ｋ，ｌ，ｍは予め主観評価実験を行って、回帰分析により最適化される係数である。なお、ＥＶの尺度としては参考文献２に示されているＡＣＲ法や参考文献３に示されているＤＳＩＳ法またはＤＳＣＱＳ法などがある。
【００４７】
（実施の形態３）
実施の形態３では、図８に示すように、量子化パラメータ統計量計算部１１、フレーム種別統計量計算部１３および統合部２０が設けられ、Ｈ．２６４方式で符号化された評価映像Ｖに対して、Ｈ．２６４方式の符号化で利用される量子化パラメータに加えてＩスライス、Ｐスライス、Ｂスライスの統計情報を使って主観品質ＥＶを客観的に推定する。なお、スイッチングＩスライスはＩスライス、スイッチングＰスライスはＰスライスとみなす。本方式は、原理的にはＤＣＴ係数と動き補償を使う符号化方式に適用可能である。本実施の形態の簡単な流れを次に示す。まず図８において、符号化ビットストリームはまず量子化パラメータ統計量計算部１１とフレーム種別統計量計算部１３に入力される。量子化パラメータ統計量計算部１１では、ビットストリームから量子化パラメータを抽出して以下に示すアルゴリズムに従って量子化パラメータの代表値ＱＰｍｉｎを導出する。またフレーム種別統計量計算部１３では、ビットストリームからフレーム種別を抽出して以下に示すアルゴリズムに従ってフレーム種別統計量Ｒを導出する。次に統合部２０では以下のアルゴリズムに従って量子化パラメータの代表値ＱＰｍｉｎとフレーム種別統計量Ｒから評価映像Ｖの主観品質ＥＶを推定する。これらの流れを図１７のフローチャートに示している。Ｈ．２６４方式のビット列の仕様は参考文献１に記載されており、Ｈ．２６４方式の仕様に従ってマクロブロック毎に設定される量子化パラメータとスライス毎に設定されるＩ・Ｐ・Ｂ属性の情報を抽出する。
【００４８】
量子化パラメータについては、実施の形態１で示したＱＰｍｉｎ（ただし、実施の形態１で示した量子化パラメータの統計量を使っても良い）をＥＶの導出に利用する。
一方、スライス毎に設定されるＩ・Ｐ・Ｂ属性については、評価映像中に存在するＩスライスの数をカウントしたＳI、Ｐスライスの数をカウントしたＳP、Ｂスライスの数をカウントしたＳBを導出し、以下の式で全てのスライスの数に対する各スライスの数の割合ＲSI、ＲSP、ＲSB、ＲSPBを導出する。これは基本的にＰスライスやＢスライスなどの他スライスからの差分となるスライスを増やすと原理的に１枚当たりのスライス品質が向上し、逆にＩスライスを増やすと１枚当たりのスライス品質が低下するため、全体のスライス数に対する各スライスの割合が品質に密接に関係するために、このようなパラメータを導入した。ただし、スライスの代わりに、Ｉ・Ｐ・Ｂ属性のフレームまたはブロックを用いて上記処理を実行しても良い。
【００４９】
【数１３】
【００５０】
これらのパラメータを用いて回帰分析で予め主観品質評価実験で導出しておいた主観品質との相関を比較して最も主観品質の推定精度が良いパラメータをＲとする。
【００５１】
以上で導出したＲとＱＰminを用いて、評価映像Ｖの主観品質ＥＶを推定する。ＥＶは以下の式で導出される。
【００５２】
【数１４】
【００５３】
ただし、係数ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ，ｉ，ｊ，ｋ，ｌ，ｍは予め主観評価実験を行って、回帰分析により最適化される係数である。なお、ＥＶの尺度としては参考文献２に示されているＡＣＲ法や参考文献３に示されているＤＳＩＳ法またはＤＳＣＱＳ法などがある。
【００５４】
（実施の形態４）
実施の形態４では、図９に示すように、量子化パラメータ統計量計算部１１、動きベクトル統計量計算部１２、フレーム種別統計量計算部１３および統合部２０が設けられ、Ｈ．２６４方式で符号化された評価映像Ｖに対して、Ｈ．２６４方式の符号化で利用される量子化パラメータに加えて動きベクトルとＩスライス、Ｐスライス、Ｂスライスの情報を使って主観品質ＥＶを客観的に推定する。なお、スイッチングＩスライスはＩスライス、スイッチングＰスライスはＰスライスとみなす。本実施の形態の簡単な流れを次に示す。まず図９において，符号化ビットストリームはまず量子化パラメータ統計量計算部１１と動きベクトル統計量計算部１２とフレーム種別統計量計算部１３に入力される。量子化パラメータ統計量計算部１１では、ビットストリームから量子化パラメータを抽出して以下に示すアルゴリズムに従って量子化パラメータの代表値ＱＰｍｉｎを導出する。また動きベクトル統計量計算部１２では、ビットストリームから動きベクトルを抽出して以下に示すアルゴリズムに従って動きベクトルの代表値ＭＶkurtを導出する。さらに、フレーム種別統計量計算部１３では、ビットストリームからフレーム種別を抽出して以下に示すアルゴリズムに従ってフレーム種別統計量Ｒを導出する。次に統合部２０では以下のアルゴリズムに従って量子化パラメータの代表値ＱＰｍｉｎと動きベクトルの代表値ＭＶkurtとフレーム種別統計量Ｒから評価映像Ｖの主観品質ＥＶを推定する。これらの流れを図１８のフローチャートに示している。Ｈ．２６４方式のビット列の仕様は参考文献１に記載されており、Ｈ．２６４方式の仕様に従ってマクロブロック毎に設定される量子化パラメータとスライス毎に設定されるＩ・Ｐ・Ｂ属性とマクロブロック・サブマクロブロック毎に設定される動きベクトルの情報を抽出する。
【００５５】
量子化パラメータについては、実施の形態１で示したＱＰmin（ただし、実施の形態１で示した量子化パラメータの統計量を使っても良い）をＥＶの導出に利用する。
動きベクトルについては、実施の形態２で示したＭＶkurtをＥＶの導出に利用する。
Ｉスライス、Ｐスライス、Ｂスライスについては実施の形態３で示したＲを利用する。
【００５６】
以上で、導出したＭＶkurtとＲとＱＰminを用いて、評価映像Ｖの主観品質ＥＶを推定する。ＥＶは以下の式で導出される。下式中のＭＶkurtはベクトルの大きさを表すものとする。
【００５７】
【数１５】
【００５８】
ただし、係数ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ，ｉ，ｊ，ｋ，ｌ，ｍ，ｏ，ｐ，ｑ，ｒ，ｓ，ｔ，ｕ，ｖ，ｗ，ｘ，ｙは予め主観評価実験を行って、回帰分析により最適化される係数である。なお、ＥＶの尺度としては参考文献２に示されているＡＣＲ法や参考文献３に示されているＤＳＩＳ法またはＤＳＣＱＳ法などがある。
【００５９】
（実施の形態５）
実施の形態５では、図１０に示すように、ビット量の和の統計量計算部１４と統合部２０が設けられ、Ｈ．２６４方式で符号化された評価映像Ｖのビットストリームの予測符号化に使われるビット量、変換符号化に使われるビット量、符号化の制御に使われるビット量を用いて主観品質ＥＶを推定する。本方式は、原理的にはＤＣＴ係数と動き補償を使う符号化方式に適用可能である。本実施の形態の簡単な流れを次に示す。まず図１０において、符号化ビットストリームはまずビット量の和統計量計算部１４に入力される。ビット量の和統計量計算部１４では、ビットストリームからビット量の和を抽出して以下に示すアルゴリズムに従ってビット量の和の代表値Ｂｉｔmaxを導出する。次に統合部２０では以下のアルゴリズムに従ってビット量の和の代表値Ｂｉｔmaxから評価映像Ｖの主観品質ＥＶを推定する。これらの流れを図１９のフローチャートに示している。Ｈ．２６４方式のビット列の仕様は前述の参考文献１に記載されており、Ｈ．２６４方式の仕様に従ってマクロブロック毎に設定される予測符号化に使われるビット量、変換符号化に使われるビット量、符号化の制御に使われるビット量の情報の導出を行う。
【００６０】
図９に示すように、まず評価映像Ｖを構成する全てのフレームについて、フレーム内に存在する全てのマクロブロック（全ｍ個）の予測符号化に使われるビット量、変換符号化に使われるビット量、符号化の制御に使われるビット量の和を使って、フレーム毎のビット量子の和の代表値Ｂｉｔmax（ｉ）を導出する。ただし、ｉはフレーム番号（ｉ＝１から映像の再生を開始してｉ＝ｎで映像の再生を終了）を示す。Ｂｉｔmax（ｉ）は以下の式で導出される。
【００６１】
【数１６】
【００６２】
ただし、Ｂｉｔijはフレーム番号ｉ中のマクロブロック番号ｊのビット量の和を表し、また、演算子
【００６３】
【数１７】
【００６４】
は、自然数Ａ1〜Ａmを参照して最大となる値を出力する。ただし、最大値以外の任意の統計量（最小値、平均値等）を導出しても良い。
上記処理によりフレーム番号ｉ中で最も値が大きいビット量の和の導出がなされる。これはビット量の和がより大きくなると該当マクロブロックに対してよりビット量を割り振る符号化処理が適用されることから、上記処理は効率的な処理が難しいマクロブロックのビット量の和を導出することになる。
【００６５】
以上で導出したフレーム毎のビット量の和の代表値Ｂｉｔmax（ｉ）を用いて、次に評価映像の全てのビット量の和の代表値Ｂｉｔmaxを導出する。Ｂｉｔmaxは以下の式で導出される。
【００６６】
【数１８】
【００６７】
ただし、演算子
【００６８】
【数１９】
【００６９】
は、自然数Ａ1〜Ａmを参照して平均となる値を出力する。
以上で導出したＢｉｔmaxを用いて、評価映像Ｖの主観品質ＥＶを推定する。主観品質ＥＶは以下の式で導出される。Ｈ．２６４では方式ではビット量の和の代表値Ｂｉｔmaxと主観品質ＥＶの間に非線形性が存在するため、その特性を考慮したものとなっている。
【００７０】
【数２０】
【００７１】
ただし、係数ａ，ｂ，ｃ，ｄは予め主観評価実験を行って、回帰分析により最適化される係数である。なお、ＥＶの尺度としては前述の参考文献２に示されているＡＣＲ法や前述の参考文献３に示されているＤＳＩＳ法またはＤＳＣＱＳ法などがある。また、フレーム毎のビット量の和の代表値であるＢｉｔmax（ｉ）を用いて、Ｂｉｔmax（ｉ）の平均値であるＢｉｔａｖｅや、最小値であるＢｉｔminなど、Ｂｉｔmax（ｉ）の統計量をＢｉｔmaxの代わりに使っても良い。
【００７２】
（実施の形態６）
実施の形態６では、図１１に示すように、ビット量の和の統計量計算部１４、動きベクトル統計量計算部１２および統合部２０が設けられ、Ｈ．２６４方式で符号化された評価映像Ｖに対して、Ｈ．２６４方式の符号化で利用されるビットストリームの予測符号化に使われるビット量、変換符号化に使われるビット量、符号化の制御に使われるビット量を用いて主観品質ＥＶを客観的に推定する。本方式は、原理的にはＤＣＴ係数と動き補償を使う符号化方式に適用可能である。本実施の形態の簡単な流れを次に示す。まず図１１において、符号化ビットストリームはまずビット量の和統計量計算部１４と動きベクトル統計量計算部１２に入力される。ビット量の和統計量計算部１４では、ビットストリームからビット量の和を抽出して以下に示すアルゴリズムに従ってビット量の和の代表値Ｂｉｔmaxを導出する。また動きベクトル統計量計算部１２では、ビットストリームから動きベクトルを抽出して以下に示すアルゴリズムに従って動きベクトルの代表値ＭＶkurtを導出する。次に統合部２０では以下のアルゴリズムに従ってビット量の和の代表値Ｂｉｔmaxと動きベクトルの代表値ＭＶkurtから評価映像Ｖの主観品質ＥＶを推定する。これらの流れを図２０のフローチャートに示している。Ｈ．２６４方式のビット列の仕様は参考文献１に記載されており、Ｈ．２６４方式の仕様に従ってマクロブロック毎に設定される量子化パラメータとマクロブロック・サブマクロブロック毎に設定されるビットストリームの予測符号化に使われるビット量、変換符号化に使われるビット量、符号化の制御に使われるビット量と、マクロブロック、サブマクロブロック毎に設定される動きベクトルの情報を抽出する。
【００７３】
ビットストリームの予測符号化に使われるビット量、変換符号化に使われるビット量、符号化の制御に使われるビット量については、実施の形態５で示したＢｉｔｍａｘをＥＶの導出に利用する。
一方、動きベクトルの代表値の導出については、既に実施の形態２で図２、図３、図４を用いて説明したとおりであるので省略する。
【００７４】
以上で導出した評価映像の全ての動きベクトルの代表値ＭＶkurtと、評価映像の全てのビット量の和の代表値Ｂｉｔmaxを用いて、評価映像Ｖの主観品質ＥＶを推定する。ＥＶは以下の式で導出される。下式中のＭＶkurtはベクトルの大きさを表すものとする。
【００７５】
【数２１】
【００７６】
ただし、係数ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ，ｉ，ｊ，ｋ，ｌ，ｍは予め主観評価実験を行って、回帰分析により最適化される係数である。なお、ＥＶの尺度としては参考文献２に示されているＡＣＲ法や参考文献３に示されているＤＳＩＳ法またはＤＳＣＱＳ法などがある。
【００７７】
（実施の形態７）
実施の形態７では、図１２に示すように、ビット量の和の統計量計算部１４、フレーム種別統計量計算部１３および統合部２０が設けられ、Ｈ．２６４方式で符号化された評価映像Ｖに対して、Ｈ．２６４方式の符号化で利用されるビットストリームの予測符号化に使われるビット量、変換符号化に使われるビット量、および符号化の制御に使われるビット量に加えてＩスライス、Ｐスライス、Ｂスライスの統計情報を用いて主観品質ＥＶを客観的に推定する。なお、スイッチングＩスライスはＩスライス、スイッチングＰスライスはＰスライスとみなす。本方式は、原理的にはＤＣＴ係数と動き補償を使う符号化方式には適用可能である。本実施の形態の簡単な流れを次に示す。まず図１２において、符号化ビットストリームはまずビット量の和統計量計算部１４とフレーム種別統計量計算部１３に入力される。ビット量の和統計量計算部１４では、ビットストリームからビット量の和を抽出して以下に示すアルゴリズムに従ってビット量の和の代表値Ｂｉｔmaxを導出する。またフレーム種別統計量計算部１３では、ビットストリームからフレーム種別を抽出して以下に示すアルゴリズムに従ってフレーム種別統計量Ｒを導出する。次に統合部２０では以下のアルゴリズムに従ってビット量の和の代表値Ｂｉｔmaxとフレーム種別統計量Ｒから評価映像Ｖの主観品質ＥＶを推定する。これらの流れを図２１のフローチャートに示している。Ｈ．２６４方式のビット列の仕様は参考文献１に記載されており、Ｈ．２６４方式の仕様に従ってマクロブロック毎に設定される予測符号化に使われるビット量、変換符号化に使われるビット量、および符号化の制御に使われるビット量と、スライス毎に設定されるＩ・Ｐ・Ｂ属性の情報を抽出する。
【００７８】
ビットストリームの予測符号化に使われるビット量、変換符号化に使われるビット量、および符号化の制御に使われるビット量については、実施の形態５で示したＢｉｔmaxをＥＶの導出に利用する。
【００７９】
一方、スライス毎に設定されるＩ・Ｐ・Ｂ属性については、既に実施の形態３で説明したように、評価映像中に存在するＩスライスの数をカウントしたＳI、Ｐスライスの数をカウントしたＳP、Ｂスライスの数をカウントしたＳBを導出し、全てのスライスの数に対する各スライスの数の割合ＲSI、ＲSP、ＲSB、ＲSPBをパラメータとして導出する。そして、これらのパラメータを用いて回帰分析で予め主観品質評価実験で導出しておいた主観品質との相関を比較して最も主観品質の推定精度が良いパラメータをＲとする。
【００８０】
以上で導出したパラメータＲとＢｉｔmaxを用いて、評価映像Ｖの主観品質ＥＶを推定する。ＥＶは以下の式で導出される。
【００８１】
【数２２】
【００８２】
ただし、係数ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ，ｉ，ｊ，ｋ，ｌ，ｍは予め主観評価実験を行って、回帰分析により最適化される係数である。なお、ＥＶの尺度としては参考文献２に示されているＡＣＲ法や参考文献３に示されているＤＳＩＳ法またはＤＳＣＱＳ法などがある。
【００８３】
（実施の形態８）
実施の形態８では、図１３に示すように、ビット量の和の統計量計算部１４、動きベクトル統計量計算部１２、フレーム種別統計量計算部１３および統合部２０が設けられ、Ｈ．２６４方式で符号化された評価映像Ｖに対して、Ｈ．２６４方式の符号化で利用されるビットストリームの予測符号化に使われるビット量、変換符号化に使われるビット量、および符号化の制御に使われるビット量に加えて動きベクトルとＩスライス、Ｐスライス、Ｂスライスの情報を使って主観品質ＥＶを客観的に推定する。なお、スイッチングＩスライスはＩスライス、スイッチングＰスライスはＰスライスとみなす。本方式は、原理的にはＤＣＴ係数と動き補償を使う符号化方式に適用可能である。本実施例の簡単な流れを次に示す。まず図１３において、符号化ビットストリームはまずビット量の和統計量計算部１４と動きベクトル統計量計算部１２とフレーム種別統計量計算部１３に入力される。ビット量の和統計量計算部１４では、ビットストリームからビット量の和を抽出して以下に示すアルゴリズムに従ってビット量の和の代表値Ｂｉｔmaxを導出する。また動きベクトル統計量計算部１２では、ビットストリームから動きベクトルを抽出して以下に示すアルゴリズムに従って動きベクトルの代表値ＭＶkurtを導出する。さらに、フレーム種別統計量計算部１３では、ビットストリームからフレーム種別を抽出して以下に示すアルゴリズムに従ってフレーム種別統計量Ｒを導出する。次に統合部２０では以下のアルゴリズムに従ってビット量の和の代表値Ｂｉｔmaxと動きベクトルの代表値ＭＶkurtとフレーム種別統計量Ｒから評価映像Ｖの主観品質ＥＶを推定する。これらの流れを図２２のフローチャートに示している。Ｈ．２６４方式のビット列の仕様は参考文献１に記載されており、Ｈ．２６４方式の仕様に従ってマクロブロック毎に設定されるビットストリームの予測符号化に使われるビット量、変換符号化に使われるビット量、および符号化の制御に使われるビット量と、スライス毎に設定されるＩ・Ｐ・Ｂ属性とマクロブロック・サブマクロブロック毎に設定される動きベクトルの情報を抽出する。
【００８４】
ビットストリームの予測符号化に使われるビット量、変換符号化に使われるビット量、および符号化の制御に使われるビット量については、実施の形態５で示したＢｉｔmaxをＥＶの導出に利用する。
動きベクトルについては、実施の形態２で示したＭＶkurtをＥＶの導出に利用する。
Ｉスライス、Ｐスライス、Ｂスライスについては実施の形態３で示したＲを利用する。
【００８５】
以上で、導出したＭＶkurtとＲとＱＰminを用いて、評価映像Ｖの主観品質ＥＶを推定する。ＥＶは以下の式で導出される。下式中のＭＶkurtはベクトルの大きさを表すものとする。
【００８６】
【数２３】
【００８７】
ただし、係数ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ，ｉ，ｊ，ｋ，ｌ，ｍ，ｏ，ｐ，ｑ，ｒ，ｓ，ｔ，ｕ，ｖ，ｗ，ｘ，ｙは予め主観評価実験を行って、回帰分析により最適化される係数である。なお、ＥＶの尺度としては参考文献２に示されているＡＣＲ法や参考文献３に示されているＤＳＩＳ法またはＤＳＣＱＳ法などがある。
【００８８】
（実施の形態９）
実施の形態９では、図１４に示すように、Ｉスライス・Ｐスライス・Ｂスライスのビット量の和の統計量計算部１５、Ｉスライス・Ｐスライス・Ｂスライスの量子化情報の統計量計算部１６および主観品質推定部１７が設けられ、Ｈ．２６４方式で符号化された評価映像Ｖに対して、Ｈ．２６４方式の符号化で利用されるビットストリームのうち、Ｉスライス・Ｐスライス・Ｂスライスの各々の予測符号化に使われるビット量、変換符号化に使われるビット量、符号化の制御に使われるビット量に加えて、Ｉスライス・Ｐスライス・Ｂスライスの量子化パラメータ（量子化情報）を使って主観品質ＥＶを客観的に推定するものである。なお、スイッチングＩスライスはＩスライス、スイッチングＰスライスはＰスライスとみなす。
【００８９】
本実施の形態の簡単な流れを次に示す。まず、図１４において、符号化ビットストリームはまずＩスライス・Ｐスライス・Ｂスライスのビット量の和計算部１５に入力される。この計算部１５では、Ｉスライス，Ｐスライス，Ｂスライスのビット量を動きベクトルや量子化係数、また符号化制御情報に場合分けして導出する。次にＩスライス・Ｐスライス・Ｂスライスの量子化情報の統計量計算部１６では、Ｉスライス,Ｐスライス，Ｂスライス内の量子化情報を抽出して以下に示すアルゴリズムに従って、Ｉスライス・Ｐスライス・Ｂスライスの量子化情報の統計量ＱＰmin（Ｉ）・ＱＰmin（Ｐ）・ＱＰmin（Ｂ）を導出する。
【００９０】
次に主観品質推定部１７では、統計量ＱＰmin（Ｉ）・ＱＰmin（Ｐ）・ＱＰmin（Ｂ）等を用い、以下で示すアルゴリズムに従って評価映像Ｖの主観品質ＥＶを推定する。これらの流れを図２３のフローチャートに示している。Ｈ．２６４方式のビット列の仕様は参考文献１に記載されており、Ｈ．２６４方式の仕様に従ってマクロブロック毎に設定されるビットストリームの予測符号化に使われるビット量、変換符号化に使われるビット量、符号化の制御に使われるビット量とスライス毎に設定されるＩ・Ｐ・Ｂ属性の情報を抽出する。
【００９１】
Ｉスライス、Ｐスライス、Ｂスライスの各々の予測符号化に使われるビット量・変換符号化に使われるビット量・符号化の制御に使われるビット量については、Ｉスライスの予測符号化に使われるビット量・変換符号化に使われるビット量・符号化の制御に使われるビット量をそれぞれ、Ｂｉｔpred（Ｉ）・Ｂｉｔres（Ｉ）・Ｂｉｔother（Ｉ）とし、Ｐスライスの予測符号化に使われるビット量・変換符号化に使われるビット量・符号化の制御に使われるビット量をそれぞれ、Ｂｉｔpred（Ｐ）・Ｂｉｔres（Ｐ）・Ｂｉｔother（Ｐ）とし、Ｂスライスの予測符号化に使われるビット量・変換符号化に使われるビット量・符号化の制御に使われるビット量をそれぞれ、Ｂｉｔpred（Ｂ）・Ｂｉｔres（Ｂ）・Ｂｉｔother（Ｂ）とする。ただし、各ビット量は評価映像の全ての該当スライスのビット量としても良いし、ある特定時間内に存在するスライスのビット量としても良い。また、Ｂｉｔpred（ＢＰ）・Ｂｉｔres（ＢＰ）・Ｂｉｔother（ＢＰ）という値を定義し、以下の式で導出する。
【００９２】
Ｂｉｔｐred（ＢＰ）＝Ｂｉｔpred（Ｂ）＋Ｂｉｔpred（Ｐ）
Ｂｉｔres（ＢＰ）＝Ｂｉｔres（Ｂ）＋Ｂｉｔres（Ｐ）
Ｂｉｔother（ＢＰ）＝Ｂｉｔother（Ｂ）＋Ｂｉｔother（Ｐ）
量子化情報については、実施の形態１で示したスライス毎のＱＰminの導出プロセスを、Ｉスライスのみに適用したＱＰmin（Ｉ）・Ｐスライスのみに適用したＱＰmin（Ｐ）・Ｂスライスのみに適用したＱＰmin（Ｂ）を利用する。
【００９３】
具体的には、評価映像Ｖを構成する全てのスライスについてＩ・Ｐ・Ｂ属性を判定し、各スライス毎に、スライス内に存在する全てのマクロブロック（全ｍ個）の量子化情報の値を使って、スライス毎の量子化情報の代表値ＱＰｍｉｎ（ｉ）を以下の式で導出する。ただし、ｉはスライス番号（ｉ＝１から映像の再生を開始してｉ＝ｎで映像の再生を終了）を示す。
【００９４】
【数２４】
【００９５】
ただし、ＱＰｉｊはスライス番号ｉ中のマクロブロック番号ｊの量子化情報を表す（図１）。また、演算子
【００９６】
【数２５】
【００９７】
は、自然数Ａ1〜Ａmを参照して最小となる値を出力する。
上記処理によりスライス番号ｉ中で最も値が小さい量子化情報の導出がなされる。これは量子化情報がより小さくなると該当マクロブロックに対してより細かい量子化が適用されることから、上記処理は最も細かい量子化を行うマクロブロックを導出することになる。絵柄が複雑な映像ほどきめ細かい量子化が必要になるため、上記処理はスライス番号ｉ中で最も複雑な絵柄となるマクロブロックの特定を目的としている。
なお、ＱＰmin（ｉ）の代わりにＱＰave（ｉ）等の平均や最小や最大等の平均や最小や最大等の別のパラメータを以下の処理で利用することができる。ＱＰave（ｉ）は以下の式で導出される。
【００９８】
【数２６】
【００９９】
ただし、演算子
【０１００】
【数２７】
【０１０１】
は、自然数Ａ1〜Ａmを参照して平均となる値を出力する。
以上で導出したスライス毎の量子化情報の代表値ＱＰmin（ｉ）を用いて、次に評価映像の全ての量子化情報の代表値ＱＰminを導出する。ＱＰminは以下の式で導出される。
【０１０２】
【数２８】
【０１０３】
以上の導出処理を、Ｉ・Ｐ・Ｂ属性毎に適用して得られる値をそれぞれ、ＱＰmin（Ｉ）・ＱＰmin（Ｐ）・ＱＰmin（Ｂ）とする。また、ＱＰmin（ＢＰ）という値を定義し、以下の式で導出する。
ＱＰmin（ＢＰ）＝（ＱＰmin（Ｂ）＋ＱＰmin（Ｐ））／２
次に、評価映像Ｖの主観品質ＥＶを推定する。主観品質ＥＶは以下の式で導出される。Ｈ．２６４方式ではＩ・Ｐ・Ｂスライスのビット量と量子化情報の代表値と主観品質ＥＶの間に非線形性が存在するため、その特性を考慮したものとなっている。
【０１０４】
【数２９】
【０１０５】
ただし、係数ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ，ｉ，ｊ，ｋ，ｌ，ｍ，ｎ，ｏは予め主観評価実験を行って、回帰分析により最適化される係数である。なお、ＥＶの尺度としては参考文献２に示されているＡＣＲ法や参考文献３に示されているＤＳＩＳ法またはＤＳＣＱＳ法などがある。
また、Ｂｉｔres（Ｉ）・Ｂｉｔres（ＢＰ）の代わりに、Ｂｉｔpred（Ｉ）・Ｂｉｔpred（ＢＰ）や以下で定義するビット量の割合Ｒres（Ｉ）・Ｒres（ＢＰ）、またＢｉｔother（Ｉ）・Ｂｉｔother（ＢＰ）を用いることもでき、各場合を組み合わせて和算・平均・分散等の各種統計演算を適用して重ね合わせを行って主観品質を導出しても良い。以上の式について、指数関数の代わりに対数関数や多項式関数や、それらの逆数により上記非線形性を考慮しても良い。
【０１０６】
【数３０】
【０１０７】
さらに、本実施の形態では、スライス単位で演算を行っているが、マクロブロック単位・フレーム単位・ＧｏＰ単位・映像全体等の演算単位に変更が可能である。
【０１０８】
なお、上記で量子化パラメータの代表値と主観品質ＥＶとの間に非線形性の関係が存在すると述べたが、その関係を図２４に示す。量子化パラメータの代表値と主観品質ＥＶとの間に存在するこのような特性を考慮することで、より的確な品質推定が可能になる。参考までに、一般的な統計量である平均と標準偏差を適用して主観品質の推定を行った場合と、本発明で示したモデルで主観品質を推定した場合の推定結果を図２５に示す。図２５では、横軸が主観品質評価実験で取得した主観品質であり、縦軸が主観品質を推定した客観品質となる。
【０１０９】
図２５に示すように、平均と標準偏差を用いる一般的なモデルでは、図２４に示す飽和特性を考慮しきれずに推定精度の悪化を招いているが、本発明ではこれを正確に考慮できており、推定精度の向上を可能にしている。
【符号の説明】
【０１１０】
１…映像品質客観評価装置、２…受信部、３…演算部、４…記憶媒体、５…出力部、６…Ｈ．２６４符号化装置、１１…量子化パラメータ統計量計算部、１２…動きベクトル統計量計算部、１３…フレーム種別統計量計算部、１４…ビット量の和統計量計算部、１５…Ｉスライス・Ｐスライス・Ｂスライスのビット量の和計算部、１６…Ｉスライス・Ｐスライス・Ｂスライスの量子化情報の統計量計算部、１７…主観品質推定部、２０…統合部。
【技術分野】
【０００１】
本発明は、人間が映像を見て体感した品質（主観品質）を推定する場合に、主観品質評価実験を行うことなく、符号化されたビット列の情報から客観的に主観品質を導出する、符号化による映像品質劣化を対象とした映像品質客観評価方法、映像品質客観評価装置およびプログラムに関する。
【背景技術】
【０００２】
従来、映像通信サービスのユーザが視聴している映像の主観品質の評価を精度良く効率的に行うため、ビットレートやフレームレート等の符号化パラメータ情報やIPパケットのヘッダ情報を用いて客観的に映像品質評価を行う技術が検討されてきた（非特許文献１）。また、符号化ビットストリーム情報と画素信号情報を組み合わせて客観的に映像品質評価を行う技術についても検討されてきた（非特許文献２）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】山岸和久，林孝典，“IPTVサービスを対象とした映像品質推定モデルの検討"，信学技報，CQ2007-35, pp. 123-126, July. 2007.
【非特許文献２】D. Hands, “Quality Assurance for IPTV,”ITU-T Workshop on “End-to-End QoE / QoS,”June. 2006.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の技術では精度良く計算量を抑えて客観的に映像品質評価を行う技術の構築を目指している。しかし文献１に記載の技術は、平均的なシーンを想定した主観品質の推定を行うため、シーンの違いによる主観品質の変動を考慮することができず、主観品質の推定を良好な精度で実現できないという課題があった。
また、文献２に記載の技術は、符号化ビットストリームとデコードされた画素情報に符号化されたビット列をサブ情報として加えた情報を用いて主観品質の推定を試みているが、特にＨ．２６４方式では画素情報へのデコードには莫大な計算量を要するため現実的に実行することは難しいという課題があった。
【課題を解決するための手段】
【０００５】
このような課題を解決するために本発明は、動き補償フレーム間予測とＤＣＴ変換を用いて符号化された映像のビット列を受信する受信ステップと、受信したビット列に含まれる情報を入力して所定の演算を行う演算ステップと、演算ステップの演算結果に基づいて映像の主観品質を推定する演算を行う主観品質推定ステップを備えることを特徴とする。
すなわち、本発明は、現在主流である動き補償フレーム間予測とＤＣＴ変換を用いる符号化方式、特にＨ．２６４方式のビットストリームから、フレーム／スライス／動きベクトルのＩＰＢ属性を検出するステップと、動きベクトルとそのデータ量を抽出するステップと、ＤＣＴ係数とそのデータ量を抽出するステップと、符号化制御情報とそのデータ量を抽出するステップと，量子化係数／量子化パラメータを抽出するステップと、これらの情報を統合して主観品質を客観的に映像の主観品質を推定するステップを備えるものである。
【０００６】
本発明ではビットストリームのデコードを行わないため、小さい計算量で映像品質の推定が可能になると共に、ビットストリーム中に存在するシーンの違いを考慮可能なパラメータである動きベクトルやDCT係数の内容やデータ量を主観品質の推定に用いることにより、精度良く映像の主観品質を推定することが可能になる。
【０００７】
ここで、本発明では、上記演算ステップが、ビット列に含まれる量子化情報を抽出して、量子化情報の統計量（例えば、Ｈ．２６４方式の量子化パラメータの最小値）を演算し、主観品質推定ステップは、量子化情報の統計量（例えば、Ｈ．２６４方式の量子化パラメータの最小値）に基づいて映像の主観品質を推定する演算を行うものである。
さらに、演算ステップは、ビット列に含まれる動きベクトルの情報を抽出して、抽出した動きベクトルの情報から動きベクトルの統計量（例えば、ベクトルの大きさの尖度）を演算し、主観品質推定ステップは、量子化情報の統計量（例えば、Ｈ．２６４方式の量子化パラメータの最小値）と動きベクトルの統計量（例えば、ベクトルの大きさの尖度）に基づいて映像の主観品質を推定する演算を行う。
【０００８】
また、演算ステップは、ビット列に含まれるＩスライス、ＰスライスおよびＢスライスの情報を抽出するとともに、抽出したＩスライス、ＰスライスおよびＢスライスの情報に基づいてＩスライス、ＰスライスおよびＢスライスの統計情報を演算し、主観品質推定ステップは、量子化情報の統計量（例えば、Ｈ．２６４方式の量子化パラメータの最小値）とＩスライス、ＰスライスおよびＢスライスの統計情報に基づいて映像の主観品質を推定する演算を行う。
【０００９】
なお、演算ステップは、ビット列に含まれる、予測符号化に用いられる情報、変換符号化に用いられる情報および符号化の制御に用いられる情報を抽出して、抽出したこれらの情報から、予測符号化に用いられるビット量、変換符号化に用いられるビット量および符号化の制御に用いられるビット量を演算することもできる。この場合、主観品質推定ステップは、演算ステップの演算結果を示す、予測符号化に用いられるビット量、変換符号化に用いられるビット量および符号化の制御に用いられるビット量に基づいて映像の主観品質を推定する演算を行う。
【００１０】
この場合、演算ステップは、ビット列に含まれる動きベクトルの情報を抽出して、抽出した動きベクトルの情報から動きベクトルの統計量（例えば、ベクトルの大きさの尖度）を演算し、主観品質推定ステップは、予測符号化に用いられるビット量、変換符号化に用いられるビット量および符号化の制御に用いられるビット量と動きベクトルの統計量（例えば、ベクトルの大きさの尖度）に基づいて映像の主観品質を推定する演算を行う。
また、演算ステップは、ビット列に含まれるＩスライス、ＰスライスおよびＢスライスの情報を抽出するとともに、抽出したＩスライス、ＰスライスおよびＢスライスの情報に基づいてＩスライス、ＰスライスおよびＢスライスの統計情報を演算し、主観品質推定ステップは、予測符号化に用いられるビット量、変換符号化に用いられるビット量および符号化の制御に用いられるビット量とＩスライス、ＰスライスおよびＢスライスの統計情報に基づいて映像の主観品質を推定する演算を行う。
【発明の効果】
【００１１】
以上説明したように、本発明ではＤＣＴ変換と動き補償を用いる符号化方式、特にＨ．２６４方式で符号化されたビット列の情報（ビットストリーム）を利用することにより、計算量を抑えながら精度良く客観的に主観品質の推定を行うことが可能となり、主観品質評価法や従来の客観品質評価法を本発明に置き換えることにより多大な労力と時間を必要としなくなる。従って、映像伝送サービスで、ユーザが感じている主観品質を大規模かつリアルタイムに管理することが可能になる。
【図面の簡単な説明】
【００１２】
【図１】選択されたフレームにおける量子化パラメータの最小値の導出方法を説明する図である。
【図２】動きベクトルの導出対象フレームの位置を説明する図である。
【図３】動きベクトルの導出対象フレームと参照フレームとの間の位置関係を示す図である。
【図４】動きベクトルの導出対象フレームと参照フレームとの間の位置関係を示す図である。
【図５】映像品質客観評価装置の構成を示すブロック図である。
【図６】本発明の実施の形態１の構成を示す機能ブロック図である。
【図７】本発明の実施の形態２の構成を示す機能ブロック図である。
【図８】本発明の実施の形態３の構成を示す機能ブロック図である。
【図９】本発明の実施の形態４の構成を示す機能ブロック図である。
【図１０】本発明の実施の形態５の構成を示す機能ブロック図である。
【図１１】本発明の実施の形態６の構成を示す機能ブロック図である。
【図１２】本発明の実施の形態７の構成を示す機能ブロック図である。
【図１３】本発明の実施の形態８の構成を示す機能ブロック図である。
【図１４】本発明の実施の形態９の構成を示す機能ブロック図である。
【図１５】実施の形態１の処理動作を示すフローチャートである。
【図１６】実施の形態２の処理動作を示すフローチャートである。
【図１７】実施の形態３の処理動作を示すフローチャートである。
【図１８】実施の形態４の処理動作を示すフローチャートである。
【図１９】実施の形態５の処理動作を示すフローチャートである。
【図２０】実施の形態６の処理動作を示すフローチャートである。
【図２１】実施の形態７の処理動作を示すフローチャートである。
【図２２】実施の形態８の処理動作を示すフローチャートである。
【図２３】実施の形態９の処理動作を示すフローチャートである。
【図２４】量子化係数／パラメータの特性を示す図である。
【図２５】一般的な品質推定モデルとの精度の比較結果を示す図である。
【発明を実施するための形態】
【００１３】
図５は、本発明に係る映像品質客観評価装置の構成を示すブロック図である。本映像品質客観評価装置１は、図５に示すように、受信部２、演算部３、記憶媒体４および出力部５からなる。ここで、図５に示すＨ．２６４符号化装置６は、入力映像を後述するＨ．２６４方式により符号化する。そして、符号化された映像ビット列は伝送網内を伝送パケットとして通信され映像品質客観評価装置１に送信される。
【００１４】
映像品質客観評価装置１は、その伝送パケット、すなわち前記符号化されたビット列を受信部２で受信する。そして、ＣＰＵが記憶媒体４に記憶されたプログラムを読み出して実行することにより、演算部３の各機能を実現する。即ち、演算部３は受信部２で受信されたビット列の情報を利用して後述する実施の形態１〜８に示される各種の演算処理を行い、その演算処理結果を表示部などの出力部５に出力することにより、映像の主観品質を推定するものである。
【００１５】
（実施の形態１）
実施の形態１では、図６に示すように、量子化パラメータ統計量計算部１１と統合部２０とが設けられ、Ｈ．２６４方式で符号化された評価映像Ｖのビットストリーム内に存在する量子化情報である量子化パラメータの情報を使って主観品質ＥＶを推定する。本方式は、ＤＣＴ係数と動き補償を使う符号化方式には原理的に適用可能である。本実施の形態の簡単な流れを次に示す。まず図６において、符号化ビットストリームはまず量子化パラメータ統計量計算部１１に入力される。量子化パラメータ統計量計算部１１では、ビットストリームから量子化パラメータを抽出して以下に示すアルゴリズムに従って量子化パラメータの代表値ＱＰｍｉｎを導出する。次に統合部２０では以下のアルゴリズムに従って量子化パラメータの代表値ＱＰｍｉｎから評価映像Ｖの主観品質ＥＶを推定する。これらの流れを図１５のフローチャートに示している。Ｈ．２６４方式のビット列の仕様は参考文献１（ITU-T H.264, “Advanced video coding for generic audiovisual services,”Feb. 2000.）に記載されており、Ｈ．２６４方式の仕様に従ってマクロブロック毎に設定される量子化パラメータの情報の抽出を行う。
【００１６】
図１に示すように、まず評価映像Ｖを構成する全てのフレームについて、フレーム内に存在する全てのマクロブロック（全ｍ個）の量子化パラメータ値を使って、フレーム毎の量子化パラメータの代表値ＱＰｍｉｎ（ｉ）を導出する。ただし、ｉはフレーム番号（ｉ＝１から映像の再生を開始してｉ＝ｎで映像の再生を終了）を示す。ＱＰｍｉｎ（ｉ）は以下の式で導出される。
【００１７】
【数１】
【００１８】
ただし、ＱＰｉｊはフレーム番号ｉ中のマクロブロック番号ｊの量子化パラメータを表し（図１）、また、演算子
【００１９】
【数２】
【００２０】
は、自然数Ａ1〜Ａmを参照して最小となる値を出力する。ただし、最小値以外の任意の統計量（最大値、平均値等）を導出しても良い。
上記処理によりフレーム番号ｉ中で最も値が小さい量子化パラメータの導出がなされる。これは量子化パラメータがより小さくなると該当マクロブロックに対してより細かい量子化が適用されることから、上記処理は最も細かい量子化を行うマクロブロックを導出することになる。絵柄が複雑な映像ほどきめ細かい量子化が必要になるため、上記処理はフレーム番号ｉ中で最も複雑な絵柄となるマクロブロックの特定を目的としている。
【００２１】
以上で導出したフレーム毎の量子化パラメータの代表値ＱＰmin（ｉ）を用いて、次に評価映像の全ての量子化パラメータの代表値ＱＰminを導出する。ＱＰminは以下の式で導出される。
【００２２】
【数３】
【００２３】
ただし、演算子
【００２４】
【数４】
【００２５】
は、自然数Ａ1〜Ａmを参照して平均となる値を出力する。
以上で導出したＱＰminを用いて、評価映像Ｖの主観品質ＥＶを推定する。主観品質ＥＶは以下の式で導出される。Ｈ．２６４では方式では量子化パラメータの代表値ＱＰminと主観品質ＥＶの間に非線形性が存在するため、その特性を考慮したものとなっている。
【００２６】
【数５】
【００２７】
ただし、係数ａ，ｂ，ｃ，ｄは予め主観評価実験を行って、回帰分析により最適化される係数である。なお、ＥＶの尺度としては参考文献２（ITU-T P.910,“TELEPHONE TRANSMISSION QUALITY, TELEPHONE INSTALLATIONS, LOCAL LINE NETWORKS,”Sep. 1999.）に示されているＡＣＲ法や参考文献３（ITU-R BT.500,“Methodology for the subjective assessment of the quality of television pictures,”2002.）に示されているＤＳＩＳ法またはＤＳＣＱＳ法などがある。また、フレーム毎の量子化パラメータであるＱＰmin（ｉ）を用いて、ＱＰmin（ｉ）の平均値であるＱＰaveや、最大値であるＱＰmaxなど、ＱＰmin（ｉ）の統計量をＱＰminの代わりに使っても良い。
【００２８】
（実施の形態２）
実施の形態２では、図７に示すように、量子化パラメータ統計量計算部１１、動きベクトル統計量計算部１２および統合部２０が設けられ、Ｈ．２６４方式で符号化された評価映像Ｖに対して、Ｈ．２６４方式の符号化で利用される量子化パラメータに加えて動きベクトルの情報を使って主観品質ＥＶを客観的に推定する。本方式は、原理的にはＤＣＴ係数と動き補償を使う符号化方式に適用可能である。本実施の形態の簡単な流れを次に示す。まず図７において、符号化ビットストリームはまず量子化パラメータ統計量計算部１１と動きベクトル統計量計算部１２に入力される。量子化パラメータ統計量計算部１１では、ビットストリームから量子化パラメータを抽出して以下に示すアルゴリズムに従って量子化パラメータの代表値ＱＰｍｉｎを導出する。また動きベクトル統計量計算部１２では、ビットストリームから動きベクトルを抽出して以下に示すアルゴリズムに従って動きベクトルの代表値ＭＶｋｕｒｔを導出する。次に統合部２０では以下のアルゴリズムに従って量子化パラメータの代表値ＱＰｍｉｎと動きベクトルの代表値ＭＶｋｕｒｔから評価映像Ｖの主観品質ＥＶを推定する。これらの流れを図１６のフローチャートに示している。Ｈ．２６４方式のビット列の仕様は参考文献１に記載されており、Ｈ．２６４方式の仕様に従ってマクロブロック毎に設定される量子化パラメータとマクロブロック・サブマクロブロック毎に設定される動きベクトルの情報を抽出する。
【００２９】
量子化パラメータについては、実施の形態１で示したＱＰmin（ただし、実施の形態１で示した量子化パラメータの統計量を使っても良い）をＥＶの導出に利用する。
一方、動きベクトルの代表値については、図２、図３、図４を用いて説明する。図２に示すように、Ｈ．２６４方式では動きベクトルの導出に用いる参照フレームを、前方、後方に限らず、マクロブロック・サブマクロブロック単位で任意の２つ選ぶことが可能である。そこで各マクロブロック・サブマクロブロック毎に設定される動きベクトルの大きさを正規化するように、動きベクトルの導出対象フレームの前方・後方１フレームに各マクロブロック・サブマクロブロックを射影する。具体的な処理を図３、図４で説明する。
【００３０】
図３は、動きベクトルの導出対象フレームｉ中のｊ番目のブロックＭＢijの参照フレームがフレームｉの（ｐ＋１）フレーム後方にある場合を示している。図３のように動きベクトルの導出対象フレームｉから参照フレーム上に動きベクトルＭＶijが存在しており、以下のようにしてＭＶijを動きベクトルの導出対象フレームｉから１フレーム後方へのベクトルＭＶ’ijに射影する。
【００３１】
【数６】
【００３２】
また図４は、動きベクトルの導出対象フレームｉ中のｊ番目のブロックＭＢijの参照フレームがフレームｉの（ｑ＋１）フレーム前方にある場合を示している。図４のように動きベクトルの導出対象フレームｉから参照フレーム上に動きベクトルＭＶijが存在しており、以下のようにしてＭＶijを動きベクトルの導出対象フレームｉから１フレーム前方へのベクトルＭＶ’ijに射影する。
【００３３】
【数７】
【００３４】
以上の処理により、動きベクトルの導出対象フレームｉの全てのマクロブロック・サブマクロブロックｊ（１≦ｊ≦ｘ）毎に設定される動きベクトルを、ｉ±１フレーム上のベクトルへ射影することが可能になる。ただし、ｘはフレームｉ内のマクロブロックの個数である。
【００３５】
以上で導出した動きベクトルの導出対象フレームｉ上のベクトルＭＶ’ijを用いて、次に以下の式で動きベクトルの導出対象フレームｉの統計量として尖度Ｋｕｒｔ（ｉ）を導出する。ただし尖度Ｋｕｒｔ（ｉ）以外にも平均や最大値、或いは最小値や分散等の各種統計量を代替として用いることが可能である。
下式中の
【００３６】
【数８】
【００３７】
は、ベクトルの大きさを表すものとする。
【００３８】
【数９】
【００３９】
以上で導出したフレーム毎の動きベクトルの代表値ＭＶkurt（ｉ）を用いて、次に評価映像の全ての動きベクトルの代表値ＭＶｋｕｒｔを導出する。ＭＶkurtは以下の式で導出される。
【００４０】
【数１０】
【００４１】
ただし、演算子
【００４２】
【数１１】
【００４３】
は、自然数Ａ1〜Ａmを参照して平均となる値を出力し、ｎは評価映像Ｖの全フレーム数である。
ここで動きベクトルの尖度を用いたのは、動きベクトルの分布を表現するためであり、映像で一様な動きや特定の物体の動きを定量化するためである。これと類似の物理的意味を持った特徴量（分散や歪度等）を使っても良い。
【００４４】
以上で導出したＭＶkurtとＱＰminを用いて、評価映像Ｖの主観品質ＥＶを推定する。ＥＶは以下の式で導出される。下式中のＭＶkurtはベクトルの大きさを表すものとする。
【００４５】
【数１２】
【００４６】
ただし、係数ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ，ｉ，ｊ，ｋ，ｌ，ｍは予め主観評価実験を行って、回帰分析により最適化される係数である。なお、ＥＶの尺度としては参考文献２に示されているＡＣＲ法や参考文献３に示されているＤＳＩＳ法またはＤＳＣＱＳ法などがある。
【００４７】
（実施の形態３）
実施の形態３では、図８に示すように、量子化パラメータ統計量計算部１１、フレーム種別統計量計算部１３および統合部２０が設けられ、Ｈ．２６４方式で符号化された評価映像Ｖに対して、Ｈ．２６４方式の符号化で利用される量子化パラメータに加えてＩスライス、Ｐスライス、Ｂスライスの統計情報を使って主観品質ＥＶを客観的に推定する。なお、スイッチングＩスライスはＩスライス、スイッチングＰスライスはＰスライスとみなす。本方式は、原理的にはＤＣＴ係数と動き補償を使う符号化方式に適用可能である。本実施の形態の簡単な流れを次に示す。まず図８において、符号化ビットストリームはまず量子化パラメータ統計量計算部１１とフレーム種別統計量計算部１３に入力される。量子化パラメータ統計量計算部１１では、ビットストリームから量子化パラメータを抽出して以下に示すアルゴリズムに従って量子化パラメータの代表値ＱＰｍｉｎを導出する。またフレーム種別統計量計算部１３では、ビットストリームからフレーム種別を抽出して以下に示すアルゴリズムに従ってフレーム種別統計量Ｒを導出する。次に統合部２０では以下のアルゴリズムに従って量子化パラメータの代表値ＱＰｍｉｎとフレーム種別統計量Ｒから評価映像Ｖの主観品質ＥＶを推定する。これらの流れを図１７のフローチャートに示している。Ｈ．２６４方式のビット列の仕様は参考文献１に記載されており、Ｈ．２６４方式の仕様に従ってマクロブロック毎に設定される量子化パラメータとスライス毎に設定されるＩ・Ｐ・Ｂ属性の情報を抽出する。
【００４８】
量子化パラメータについては、実施の形態１で示したＱＰｍｉｎ（ただし、実施の形態１で示した量子化パラメータの統計量を使っても良い）をＥＶの導出に利用する。
一方、スライス毎に設定されるＩ・Ｐ・Ｂ属性については、評価映像中に存在するＩスライスの数をカウントしたＳI、Ｐスライスの数をカウントしたＳP、Ｂスライスの数をカウントしたＳBを導出し、以下の式で全てのスライスの数に対する各スライスの数の割合ＲSI、ＲSP、ＲSB、ＲSPBを導出する。これは基本的にＰスライスやＢスライスなどの他スライスからの差分となるスライスを増やすと原理的に１枚当たりのスライス品質が向上し、逆にＩスライスを増やすと１枚当たりのスライス品質が低下するため、全体のスライス数に対する各スライスの割合が品質に密接に関係するために、このようなパラメータを導入した。ただし、スライスの代わりに、Ｉ・Ｐ・Ｂ属性のフレームまたはブロックを用いて上記処理を実行しても良い。
【００４９】
【数１３】
【００５０】
これらのパラメータを用いて回帰分析で予め主観品質評価実験で導出しておいた主観品質との相関を比較して最も主観品質の推定精度が良いパラメータをＲとする。
【００５１】
以上で導出したＲとＱＰminを用いて、評価映像Ｖの主観品質ＥＶを推定する。ＥＶは以下の式で導出される。
【００５２】
【数１４】
【００５３】
ただし、係数ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ，ｉ，ｊ，ｋ，ｌ，ｍは予め主観評価実験を行って、回帰分析により最適化される係数である。なお、ＥＶの尺度としては参考文献２に示されているＡＣＲ法や参考文献３に示されているＤＳＩＳ法またはＤＳＣＱＳ法などがある。
【００５４】
（実施の形態４）
実施の形態４では、図９に示すように、量子化パラメータ統計量計算部１１、動きベクトル統計量計算部１２、フレーム種別統計量計算部１３および統合部２０が設けられ、Ｈ．２６４方式で符号化された評価映像Ｖに対して、Ｈ．２６４方式の符号化で利用される量子化パラメータに加えて動きベクトルとＩスライス、Ｐスライス、Ｂスライスの情報を使って主観品質ＥＶを客観的に推定する。なお、スイッチングＩスライスはＩスライス、スイッチングＰスライスはＰスライスとみなす。本実施の形態の簡単な流れを次に示す。まず図９において，符号化ビットストリームはまず量子化パラメータ統計量計算部１１と動きベクトル統計量計算部１２とフレーム種別統計量計算部１３に入力される。量子化パラメータ統計量計算部１１では、ビットストリームから量子化パラメータを抽出して以下に示すアルゴリズムに従って量子化パラメータの代表値ＱＰｍｉｎを導出する。また動きベクトル統計量計算部１２では、ビットストリームから動きベクトルを抽出して以下に示すアルゴリズムに従って動きベクトルの代表値ＭＶkurtを導出する。さらに、フレーム種別統計量計算部１３では、ビットストリームからフレーム種別を抽出して以下に示すアルゴリズムに従ってフレーム種別統計量Ｒを導出する。次に統合部２０では以下のアルゴリズムに従って量子化パラメータの代表値ＱＰｍｉｎと動きベクトルの代表値ＭＶkurtとフレーム種別統計量Ｒから評価映像Ｖの主観品質ＥＶを推定する。これらの流れを図１８のフローチャートに示している。Ｈ．２６４方式のビット列の仕様は参考文献１に記載されており、Ｈ．２６４方式の仕様に従ってマクロブロック毎に設定される量子化パラメータとスライス毎に設定されるＩ・Ｐ・Ｂ属性とマクロブロック・サブマクロブロック毎に設定される動きベクトルの情報を抽出する。
【００５５】
量子化パラメータについては、実施の形態１で示したＱＰmin（ただし、実施の形態１で示した量子化パラメータの統計量を使っても良い）をＥＶの導出に利用する。
動きベクトルについては、実施の形態２で示したＭＶkurtをＥＶの導出に利用する。
Ｉスライス、Ｐスライス、Ｂスライスについては実施の形態３で示したＲを利用する。
【００５６】
以上で、導出したＭＶkurtとＲとＱＰminを用いて、評価映像Ｖの主観品質ＥＶを推定する。ＥＶは以下の式で導出される。下式中のＭＶkurtはベクトルの大きさを表すものとする。
【００５７】
【数１５】
【００５８】
ただし、係数ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ，ｉ，ｊ，ｋ，ｌ，ｍ，ｏ，ｐ，ｑ，ｒ，ｓ，ｔ，ｕ，ｖ，ｗ，ｘ，ｙは予め主観評価実験を行って、回帰分析により最適化される係数である。なお、ＥＶの尺度としては参考文献２に示されているＡＣＲ法や参考文献３に示されているＤＳＩＳ法またはＤＳＣＱＳ法などがある。
【００５９】
（実施の形態５）
実施の形態５では、図１０に示すように、ビット量の和の統計量計算部１４と統合部２０が設けられ、Ｈ．２６４方式で符号化された評価映像Ｖのビットストリームの予測符号化に使われるビット量、変換符号化に使われるビット量、符号化の制御に使われるビット量を用いて主観品質ＥＶを推定する。本方式は、原理的にはＤＣＴ係数と動き補償を使う符号化方式に適用可能である。本実施の形態の簡単な流れを次に示す。まず図１０において、符号化ビットストリームはまずビット量の和統計量計算部１４に入力される。ビット量の和統計量計算部１４では、ビットストリームからビット量の和を抽出して以下に示すアルゴリズムに従ってビット量の和の代表値Ｂｉｔmaxを導出する。次に統合部２０では以下のアルゴリズムに従ってビット量の和の代表値Ｂｉｔmaxから評価映像Ｖの主観品質ＥＶを推定する。これらの流れを図１９のフローチャートに示している。Ｈ．２６４方式のビット列の仕様は前述の参考文献１に記載されており、Ｈ．２６４方式の仕様に従ってマクロブロック毎に設定される予測符号化に使われるビット量、変換符号化に使われるビット量、符号化の制御に使われるビット量の情報の導出を行う。
【００６０】
図９に示すように、まず評価映像Ｖを構成する全てのフレームについて、フレーム内に存在する全てのマクロブロック（全ｍ個）の予測符号化に使われるビット量、変換符号化に使われるビット量、符号化の制御に使われるビット量の和を使って、フレーム毎のビット量子の和の代表値Ｂｉｔmax（ｉ）を導出する。ただし、ｉはフレーム番号（ｉ＝１から映像の再生を開始してｉ＝ｎで映像の再生を終了）を示す。Ｂｉｔmax（ｉ）は以下の式で導出される。
【００６１】
【数１６】
【００６２】
ただし、Ｂｉｔijはフレーム番号ｉ中のマクロブロック番号ｊのビット量の和を表し、また、演算子
【００６３】
【数１７】
【００６４】
は、自然数Ａ1〜Ａmを参照して最大となる値を出力する。ただし、最大値以外の任意の統計量（最小値、平均値等）を導出しても良い。
上記処理によりフレーム番号ｉ中で最も値が大きいビット量の和の導出がなされる。これはビット量の和がより大きくなると該当マクロブロックに対してよりビット量を割り振る符号化処理が適用されることから、上記処理は効率的な処理が難しいマクロブロックのビット量の和を導出することになる。
【００６５】
以上で導出したフレーム毎のビット量の和の代表値Ｂｉｔmax（ｉ）を用いて、次に評価映像の全てのビット量の和の代表値Ｂｉｔmaxを導出する。Ｂｉｔmaxは以下の式で導出される。
【００６６】
【数１８】
【００６７】
ただし、演算子
【００６８】
【数１９】
【００６９】
は、自然数Ａ1〜Ａmを参照して平均となる値を出力する。
以上で導出したＢｉｔmaxを用いて、評価映像Ｖの主観品質ＥＶを推定する。主観品質ＥＶは以下の式で導出される。Ｈ．２６４では方式ではビット量の和の代表値Ｂｉｔmaxと主観品質ＥＶの間に非線形性が存在するため、その特性を考慮したものとなっている。
【００７０】
【数２０】
【００７１】
ただし、係数ａ，ｂ，ｃ，ｄは予め主観評価実験を行って、回帰分析により最適化される係数である。なお、ＥＶの尺度としては前述の参考文献２に示されているＡＣＲ法や前述の参考文献３に示されているＤＳＩＳ法またはＤＳＣＱＳ法などがある。また、フレーム毎のビット量の和の代表値であるＢｉｔmax（ｉ）を用いて、Ｂｉｔmax（ｉ）の平均値であるＢｉｔａｖｅや、最小値であるＢｉｔminなど、Ｂｉｔmax（ｉ）の統計量をＢｉｔmaxの代わりに使っても良い。
【００７２】
（実施の形態６）
実施の形態６では、図１１に示すように、ビット量の和の統計量計算部１４、動きベクトル統計量計算部１２および統合部２０が設けられ、Ｈ．２６４方式で符号化された評価映像Ｖに対して、Ｈ．２６４方式の符号化で利用されるビットストリームの予測符号化に使われるビット量、変換符号化に使われるビット量、符号化の制御に使われるビット量を用いて主観品質ＥＶを客観的に推定する。本方式は、原理的にはＤＣＴ係数と動き補償を使う符号化方式に適用可能である。本実施の形態の簡単な流れを次に示す。まず図１１において、符号化ビットストリームはまずビット量の和統計量計算部１４と動きベクトル統計量計算部１２に入力される。ビット量の和統計量計算部１４では、ビットストリームからビット量の和を抽出して以下に示すアルゴリズムに従ってビット量の和の代表値Ｂｉｔmaxを導出する。また動きベクトル統計量計算部１２では、ビットストリームから動きベクトルを抽出して以下に示すアルゴリズムに従って動きベクトルの代表値ＭＶkurtを導出する。次に統合部２０では以下のアルゴリズムに従ってビット量の和の代表値Ｂｉｔmaxと動きベクトルの代表値ＭＶkurtから評価映像Ｖの主観品質ＥＶを推定する。これらの流れを図２０のフローチャートに示している。Ｈ．２６４方式のビット列の仕様は参考文献１に記載されており、Ｈ．２６４方式の仕様に従ってマクロブロック毎に設定される量子化パラメータとマクロブロック・サブマクロブロック毎に設定されるビットストリームの予測符号化に使われるビット量、変換符号化に使われるビット量、符号化の制御に使われるビット量と、マクロブロック、サブマクロブロック毎に設定される動きベクトルの情報を抽出する。
【００７３】
ビットストリームの予測符号化に使われるビット量、変換符号化に使われるビット量、符号化の制御に使われるビット量については、実施の形態５で示したＢｉｔｍａｘをＥＶの導出に利用する。
一方、動きベクトルの代表値の導出については、既に実施の形態２で図２、図３、図４を用いて説明したとおりであるので省略する。
【００７４】
以上で導出した評価映像の全ての動きベクトルの代表値ＭＶkurtと、評価映像の全てのビット量の和の代表値Ｂｉｔmaxを用いて、評価映像Ｖの主観品質ＥＶを推定する。ＥＶは以下の式で導出される。下式中のＭＶkurtはベクトルの大きさを表すものとする。
【００７５】
【数２１】
【００７６】
ただし、係数ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ，ｉ，ｊ，ｋ，ｌ，ｍは予め主観評価実験を行って、回帰分析により最適化される係数である。なお、ＥＶの尺度としては参考文献２に示されているＡＣＲ法や参考文献３に示されているＤＳＩＳ法またはＤＳＣＱＳ法などがある。
【００７７】
（実施の形態７）
実施の形態７では、図１２に示すように、ビット量の和の統計量計算部１４、フレーム種別統計量計算部１３および統合部２０が設けられ、Ｈ．２６４方式で符号化された評価映像Ｖに対して、Ｈ．２６４方式の符号化で利用されるビットストリームの予測符号化に使われるビット量、変換符号化に使われるビット量、および符号化の制御に使われるビット量に加えてＩスライス、Ｐスライス、Ｂスライスの統計情報を用いて主観品質ＥＶを客観的に推定する。なお、スイッチングＩスライスはＩスライス、スイッチングＰスライスはＰスライスとみなす。本方式は、原理的にはＤＣＴ係数と動き補償を使う符号化方式には適用可能である。本実施の形態の簡単な流れを次に示す。まず図１２において、符号化ビットストリームはまずビット量の和統計量計算部１４とフレーム種別統計量計算部１３に入力される。ビット量の和統計量計算部１４では、ビットストリームからビット量の和を抽出して以下に示すアルゴリズムに従ってビット量の和の代表値Ｂｉｔmaxを導出する。またフレーム種別統計量計算部１３では、ビットストリームからフレーム種別を抽出して以下に示すアルゴリズムに従ってフレーム種別統計量Ｒを導出する。次に統合部２０では以下のアルゴリズムに従ってビット量の和の代表値Ｂｉｔmaxとフレーム種別統計量Ｒから評価映像Ｖの主観品質ＥＶを推定する。これらの流れを図２１のフローチャートに示している。Ｈ．２６４方式のビット列の仕様は参考文献１に記載されており、Ｈ．２６４方式の仕様に従ってマクロブロック毎に設定される予測符号化に使われるビット量、変換符号化に使われるビット量、および符号化の制御に使われるビット量と、スライス毎に設定されるＩ・Ｐ・Ｂ属性の情報を抽出する。
【００７８】
ビットストリームの予測符号化に使われるビット量、変換符号化に使われるビット量、および符号化の制御に使われるビット量については、実施の形態５で示したＢｉｔmaxをＥＶの導出に利用する。
【００７９】
一方、スライス毎に設定されるＩ・Ｐ・Ｂ属性については、既に実施の形態３で説明したように、評価映像中に存在するＩスライスの数をカウントしたＳI、Ｐスライスの数をカウントしたＳP、Ｂスライスの数をカウントしたＳBを導出し、全てのスライスの数に対する各スライスの数の割合ＲSI、ＲSP、ＲSB、ＲSPBをパラメータとして導出する。そして、これらのパラメータを用いて回帰分析で予め主観品質評価実験で導出しておいた主観品質との相関を比較して最も主観品質の推定精度が良いパラメータをＲとする。
【００８０】
以上で導出したパラメータＲとＢｉｔmaxを用いて、評価映像Ｖの主観品質ＥＶを推定する。ＥＶは以下の式で導出される。
【００８１】
【数２２】
【００８２】
ただし、係数ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ，ｉ，ｊ，ｋ，ｌ，ｍは予め主観評価実験を行って、回帰分析により最適化される係数である。なお、ＥＶの尺度としては参考文献２に示されているＡＣＲ法や参考文献３に示されているＤＳＩＳ法またはＤＳＣＱＳ法などがある。
【００８３】
（実施の形態８）
実施の形態８では、図１３に示すように、ビット量の和の統計量計算部１４、動きベクトル統計量計算部１２、フレーム種別統計量計算部１３および統合部２０が設けられ、Ｈ．２６４方式で符号化された評価映像Ｖに対して、Ｈ．２６４方式の符号化で利用されるビットストリームの予測符号化に使われるビット量、変換符号化に使われるビット量、および符号化の制御に使われるビット量に加えて動きベクトルとＩスライス、Ｐスライス、Ｂスライスの情報を使って主観品質ＥＶを客観的に推定する。なお、スイッチングＩスライスはＩスライス、スイッチングＰスライスはＰスライスとみなす。本方式は、原理的にはＤＣＴ係数と動き補償を使う符号化方式に適用可能である。本実施例の簡単な流れを次に示す。まず図１３において、符号化ビットストリームはまずビット量の和統計量計算部１４と動きベクトル統計量計算部１２とフレーム種別統計量計算部１３に入力される。ビット量の和統計量計算部１４では、ビットストリームからビット量の和を抽出して以下に示すアルゴリズムに従ってビット量の和の代表値Ｂｉｔmaxを導出する。また動きベクトル統計量計算部１２では、ビットストリームから動きベクトルを抽出して以下に示すアルゴリズムに従って動きベクトルの代表値ＭＶkurtを導出する。さらに、フレーム種別統計量計算部１３では、ビットストリームからフレーム種別を抽出して以下に示すアルゴリズムに従ってフレーム種別統計量Ｒを導出する。次に統合部２０では以下のアルゴリズムに従ってビット量の和の代表値Ｂｉｔmaxと動きベクトルの代表値ＭＶkurtとフレーム種別統計量Ｒから評価映像Ｖの主観品質ＥＶを推定する。これらの流れを図２２のフローチャートに示している。Ｈ．２６４方式のビット列の仕様は参考文献１に記載されており、Ｈ．２６４方式の仕様に従ってマクロブロック毎に設定されるビットストリームの予測符号化に使われるビット量、変換符号化に使われるビット量、および符号化の制御に使われるビット量と、スライス毎に設定されるＩ・Ｐ・Ｂ属性とマクロブロック・サブマクロブロック毎に設定される動きベクトルの情報を抽出する。
【００８４】
ビットストリームの予測符号化に使われるビット量、変換符号化に使われるビット量、および符号化の制御に使われるビット量については、実施の形態５で示したＢｉｔmaxをＥＶの導出に利用する。
動きベクトルについては、実施の形態２で示したＭＶkurtをＥＶの導出に利用する。
Ｉスライス、Ｐスライス、Ｂスライスについては実施の形態３で示したＲを利用する。
【００８５】
以上で、導出したＭＶkurtとＲとＱＰminを用いて、評価映像Ｖの主観品質ＥＶを推定する。ＥＶは以下の式で導出される。下式中のＭＶkurtはベクトルの大きさを表すものとする。
【００８６】
【数２３】
【００８７】
ただし、係数ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ，ｉ，ｊ，ｋ，ｌ，ｍ，ｏ，ｐ，ｑ，ｒ，ｓ，ｔ，ｕ，ｖ，ｗ，ｘ，ｙは予め主観評価実験を行って、回帰分析により最適化される係数である。なお、ＥＶの尺度としては参考文献２に示されているＡＣＲ法や参考文献３に示されているＤＳＩＳ法またはＤＳＣＱＳ法などがある。
【００８８】
（実施の形態９）
実施の形態９では、図１４に示すように、Ｉスライス・Ｐスライス・Ｂスライスのビット量の和の統計量計算部１５、Ｉスライス・Ｐスライス・Ｂスライスの量子化情報の統計量計算部１６および主観品質推定部１７が設けられ、Ｈ．２６４方式で符号化された評価映像Ｖに対して、Ｈ．２６４方式の符号化で利用されるビットストリームのうち、Ｉスライス・Ｐスライス・Ｂスライスの各々の予測符号化に使われるビット量、変換符号化に使われるビット量、符号化の制御に使われるビット量に加えて、Ｉスライス・Ｐスライス・Ｂスライスの量子化パラメータ（量子化情報）を使って主観品質ＥＶを客観的に推定するものである。なお、スイッチングＩスライスはＩスライス、スイッチングＰスライスはＰスライスとみなす。
【００８９】
本実施の形態の簡単な流れを次に示す。まず、図１４において、符号化ビットストリームはまずＩスライス・Ｐスライス・Ｂスライスのビット量の和計算部１５に入力される。この計算部１５では、Ｉスライス，Ｐスライス，Ｂスライスのビット量を動きベクトルや量子化係数、また符号化制御情報に場合分けして導出する。次にＩスライス・Ｐスライス・Ｂスライスの量子化情報の統計量計算部１６では、Ｉスライス,Ｐスライス，Ｂスライス内の量子化情報を抽出して以下に示すアルゴリズムに従って、Ｉスライス・Ｐスライス・Ｂスライスの量子化情報の統計量ＱＰmin（Ｉ）・ＱＰmin（Ｐ）・ＱＰmin（Ｂ）を導出する。
【００９０】
次に主観品質推定部１７では、統計量ＱＰmin（Ｉ）・ＱＰmin（Ｐ）・ＱＰmin（Ｂ）等を用い、以下で示すアルゴリズムに従って評価映像Ｖの主観品質ＥＶを推定する。これらの流れを図２３のフローチャートに示している。Ｈ．２６４方式のビット列の仕様は参考文献１に記載されており、Ｈ．２６４方式の仕様に従ってマクロブロック毎に設定されるビットストリームの予測符号化に使われるビット量、変換符号化に使われるビット量、符号化の制御に使われるビット量とスライス毎に設定されるＩ・Ｐ・Ｂ属性の情報を抽出する。
【００９１】
Ｉスライス、Ｐスライス、Ｂスライスの各々の予測符号化に使われるビット量・変換符号化に使われるビット量・符号化の制御に使われるビット量については、Ｉスライスの予測符号化に使われるビット量・変換符号化に使われるビット量・符号化の制御に使われるビット量をそれぞれ、Ｂｉｔpred（Ｉ）・Ｂｉｔres（Ｉ）・Ｂｉｔother（Ｉ）とし、Ｐスライスの予測符号化に使われるビット量・変換符号化に使われるビット量・符号化の制御に使われるビット量をそれぞれ、Ｂｉｔpred（Ｐ）・Ｂｉｔres（Ｐ）・Ｂｉｔother（Ｐ）とし、Ｂスライスの予測符号化に使われるビット量・変換符号化に使われるビット量・符号化の制御に使われるビット量をそれぞれ、Ｂｉｔpred（Ｂ）・Ｂｉｔres（Ｂ）・Ｂｉｔother（Ｂ）とする。ただし、各ビット量は評価映像の全ての該当スライスのビット量としても良いし、ある特定時間内に存在するスライスのビット量としても良い。また、Ｂｉｔpred（ＢＰ）・Ｂｉｔres（ＢＰ）・Ｂｉｔother（ＢＰ）という値を定義し、以下の式で導出する。
【００９２】
Ｂｉｔｐred（ＢＰ）＝Ｂｉｔpred（Ｂ）＋Ｂｉｔpred（Ｐ）
Ｂｉｔres（ＢＰ）＝Ｂｉｔres（Ｂ）＋Ｂｉｔres（Ｐ）
Ｂｉｔother（ＢＰ）＝Ｂｉｔother（Ｂ）＋Ｂｉｔother（Ｐ）
量子化情報については、実施の形態１で示したスライス毎のＱＰminの導出プロセスを、Ｉスライスのみに適用したＱＰmin（Ｉ）・Ｐスライスのみに適用したＱＰmin（Ｐ）・Ｂスライスのみに適用したＱＰmin（Ｂ）を利用する。
【００９３】
具体的には、評価映像Ｖを構成する全てのスライスについてＩ・Ｐ・Ｂ属性を判定し、各スライス毎に、スライス内に存在する全てのマクロブロック（全ｍ個）の量子化情報の値を使って、スライス毎の量子化情報の代表値ＱＰｍｉｎ（ｉ）を以下の式で導出する。ただし、ｉはスライス番号（ｉ＝１から映像の再生を開始してｉ＝ｎで映像の再生を終了）を示す。
【００９４】
【数２４】
【００９５】
ただし、ＱＰｉｊはスライス番号ｉ中のマクロブロック番号ｊの量子化情報を表す（図１）。また、演算子
【００９６】
【数２５】
【００９７】
は、自然数Ａ1〜Ａmを参照して最小となる値を出力する。
上記処理によりスライス番号ｉ中で最も値が小さい量子化情報の導出がなされる。これは量子化情報がより小さくなると該当マクロブロックに対してより細かい量子化が適用されることから、上記処理は最も細かい量子化を行うマクロブロックを導出することになる。絵柄が複雑な映像ほどきめ細かい量子化が必要になるため、上記処理はスライス番号ｉ中で最も複雑な絵柄となるマクロブロックの特定を目的としている。
なお、ＱＰmin（ｉ）の代わりにＱＰave（ｉ）等の平均や最小や最大等の平均や最小や最大等の別のパラメータを以下の処理で利用することができる。ＱＰave（ｉ）は以下の式で導出される。
【００９８】
【数２６】
【００９９】
ただし、演算子
【０１００】
【数２７】
【０１０１】
は、自然数Ａ1〜Ａmを参照して平均となる値を出力する。
以上で導出したスライス毎の量子化情報の代表値ＱＰmin（ｉ）を用いて、次に評価映像の全ての量子化情報の代表値ＱＰminを導出する。ＱＰminは以下の式で導出される。
【０１０２】
【数２８】
【０１０３】
以上の導出処理を、Ｉ・Ｐ・Ｂ属性毎に適用して得られる値をそれぞれ、ＱＰmin（Ｉ）・ＱＰmin（Ｐ）・ＱＰmin（Ｂ）とする。また、ＱＰmin（ＢＰ）という値を定義し、以下の式で導出する。
ＱＰmin（ＢＰ）＝（ＱＰmin（Ｂ）＋ＱＰmin（Ｐ））／２
次に、評価映像Ｖの主観品質ＥＶを推定する。主観品質ＥＶは以下の式で導出される。Ｈ．２６４方式ではＩ・Ｐ・Ｂスライスのビット量と量子化情報の代表値と主観品質ＥＶの間に非線形性が存在するため、その特性を考慮したものとなっている。
【０１０４】
【数２９】
【０１０５】
ただし、係数ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ，ｉ，ｊ，ｋ，ｌ，ｍ，ｎ，ｏは予め主観評価実験を行って、回帰分析により最適化される係数である。なお、ＥＶの尺度としては参考文献２に示されているＡＣＲ法や参考文献３に示されているＤＳＩＳ法またはＤＳＣＱＳ法などがある。
また、Ｂｉｔres（Ｉ）・Ｂｉｔres（ＢＰ）の代わりに、Ｂｉｔpred（Ｉ）・Ｂｉｔpred（ＢＰ）や以下で定義するビット量の割合Ｒres（Ｉ）・Ｒres（ＢＰ）、またＢｉｔother（Ｉ）・Ｂｉｔother（ＢＰ）を用いることもでき、各場合を組み合わせて和算・平均・分散等の各種統計演算を適用して重ね合わせを行って主観品質を導出しても良い。以上の式について、指数関数の代わりに対数関数や多項式関数や、それらの逆数により上記非線形性を考慮しても良い。
【０１０６】
【数３０】
【０１０７】
さらに、本実施の形態では、スライス単位で演算を行っているが、マクロブロック単位・フレーム単位・ＧｏＰ単位・映像全体等の演算単位に変更が可能である。
【０１０８】
なお、上記で量子化パラメータの代表値と主観品質ＥＶとの間に非線形性の関係が存在すると述べたが、その関係を図２４に示す。量子化パラメータの代表値と主観品質ＥＶとの間に存在するこのような特性を考慮することで、より的確な品質推定が可能になる。参考までに、一般的な統計量である平均と標準偏差を適用して主観品質の推定を行った場合と、本発明で示したモデルで主観品質を推定した場合の推定結果を図２５に示す。図２５では、横軸が主観品質評価実験で取得した主観品質であり、縦軸が主観品質を推定した客観品質となる。
【０１０９】
図２５に示すように、平均と標準偏差を用いる一般的なモデルでは、図２４に示す飽和特性を考慮しきれずに推定精度の悪化を招いているが、本発明ではこれを正確に考慮できており、推定精度の向上を可能にしている。
【符号の説明】
【０１１０】
１…映像品質客観評価装置、２…受信部、３…演算部、４…記憶媒体、５…出力部、６…Ｈ．２６４符号化装置、１１…量子化パラメータ統計量計算部、１２…動きベクトル統計量計算部、１３…フレーム種別統計量計算部、１４…ビット量の和統計量計算部、１５…Ｉスライス・Ｐスライス・Ｂスライスのビット量の和計算部、１６…Ｉスライス・Ｐスライス・Ｂスライスの量子化情報の統計量計算部、１７…主観品質推定部、２０…統合部。
【特許請求の範囲】
【請求項１】
映像の主観品質を評価する評価方法であって、
動き補償フレーム間予測とＤＣＴ変換もしくはウェーブレット変換等のその他の直交変換を用いて符号化された前記映像のビット列を受信する受信ステップと、
受信したビット列に含まれる情報を入力して所定の演算を行う演算ステップと、
前記演算ステップの演算結果に基づいて前記映像の主観品質を推定する演算を行う主観品質推定ステップと
を有することを特徴とする映像品質客観評価方法。
【請求項２】
請求項１において、
前記演算ステップは、前記ビット列に含まれる量子化情報を抽出して、前記量子化情報の統計量を演算し、
前記主観品質推定ステップは、前記量子化情報の統計量に基づいて前記映像の主観品質を推定する演算を行うことを特徴とする映像品質客観評価方法。
【請求項３】
請求項２において、
前記演算ステップは、前記ビット列に含まれる動きベクトルの情報を抽出して、抽出した動きベクトルの情報から動きベクトルの統計量を演算し、
前記主観品質推定ステップは、前記量子化情報の統計量と前記動きベクトルの統計量に基づいて前記映像の主観品質を推定する演算を行うことを特徴とする映像品質客観評価方法。
【請求項４】
請求項２において、
前記演算ステップは、前記ビット列に含まれる動き補償フレーム間予測であるＩ（イントラ）フレームまたはスライスまたはブロック、Ｐ（前方向予測）フレームまたはスライスまたはブロックおよびＢ（双方向、双予測）フレームまたはスライスまたはブロックの情報を抽出するとともに、抽出したＩ（イントラ）フレームまたはスライスまたはブロック、Ｐ（前方向予測）フレームまたはスライスまたはブロックおよびＢ（双方向、双予測）フレームまたはスライスまたはブロックの情報に基づいてＩ（イントラ）フレームまたはスライスまたはブロック、Ｐ（前方向予測）フレームまたはスライスまたはブロックおよびＢ（双方向、双予測）フレームまたはスライスまたはブロックの統計情報を演算し、
前記主観品質推定ステップは、前記量子化情報の統計量と、前記Ｉ（イントラ）フレームまたはスライスまたはブロック、Ｐ（前方向予測）フレームまたはスライスまたはブロックおよびＢ（双方向、双予測）フレームまたはスライスまたはブロックの各統計情報に基づいて前記映像の主観品質を推定する演算を行うことを特徴とする映像品質客観評価方法。
【請求項５】
請求項１において、
前記演算ステップは、前記ビット列に含まれる、予測符号化に用いられる情報、変換符号化に用いられる情報および符号化の制御に用いられる情報を抽出して、抽出したこれらの情報から、予測符号化に用いられるビット量、変換符号化に用いられるビット量および符号化の制御に用いられるビット量を演算し、
前記主観品質推定ステップは、前記演算ステップの演算結果を示す、予測符号化に用いられるビット量、変換符号化に用いられるビット量および符号化の制御に用いられるビット量に基づいて前記映像の主観品質を推定する演算を行うことを特徴とする映像品質客観評価方法。
【請求項６】
請求項５において、
前記演算ステップは、前記ビット列に含まれる動きベクトルの情報を抽出して、抽出した動きベクトルの情報から動きベクトルの統計量を演算し、
前記主観品質推定ステップは、前記予測符号化に用いられるビット量、前記変換符号化に用いられるビット量および前記符号化の制御に用いられるビット量と前記動きベクトルの統計量に基づいて前記映像の主観品質を推定する演算を行うことを特徴とする映像品質客観評価方法。
【請求項７】
請求項５において、
前記演算ステップは、前記ビット列に含まれるＩ（イントラ）フレームまたはスライスまたはブロック、Ｐ（前方向予測）フレームまたはスライスまたはブロックおよびＢ（双方向、双予測）フレームまたはスライスまたはブロックの情報を抽出するとともに、抽出したＩ（イントラ）フレームまたはスライスまたはブロック、Ｐ（前方向予測）フレームまたはスライスまたはブロックおよびＢ（双方向、双予測）フレームまたはスライスまたはブロックの情報に基づいてＩ（イントラ）フレームまたはスライスまたはブロック、Ｐ（前方向予測）フレームまたはスライスまたはブロックおよびＢ（双方向、双予測）フレームまたはスライスまたはブロックの統計情報を演算し、
前記主観品質推定ステップは、前記予測符号化に用いられるビット量、前記変換符号化に用いられるビット量および前記符号化の制御に用いられるビット量、前記Ｉ（イントラ）フレームまたはスライスまたはブロック、Ｐ（前方向予測）フレームまたはスライスまたはブロックおよびＢ（双方向、双予測）フレームまたはスライスまたはブロックの各統計情報に基づいて前記映像の主観品質を推定する演算を行うことを特徴とする映像品質客観評価方法。
【請求項８】
請求項１において、
前記演算ステップは、前記ビット列に含まれる、Ｉスライス、ＰスライスおよびＢスライスのビット量と、Ｉスライス、ＰスライスおよびＢスライスの量子化情報の統計量を抽出し、前記主観品質推定ステップは、前記ビット量と前記量子化情報に基づいて、前記映像の主観品質を推定する演算を行うことを特徴とする映像品質客観評価方法。
【請求項９】
請求項８において、
前記ビット量とは、前記ビット列に含まれる、予測符号化に用いられる情報、変換符号化に用いられる情報および符号化の制御に用いられる情報を抽出して、抽出したこれらの情報から演算される、予測符号化に使われるビット量、変換符号化に使われるビット量および符号化の制御に使われるその他のビット量であることを特徴とする映像品質客観評価方法。
【請求項１０】
請求項８において、
前記ビット量とは、ＰスライスとＢスライスの予測符号化に使われるビット量の和、変換符号化に使われるビット量の和および符号化の制御に使われるその他のビット量の和であることを特徴とする映像品質客観評価方法。
【請求項１１】
請求項８において、
前記量子化情報とは、ＰスライスとＢスライスのビット列に含まれる量子化情報の平均値、もしくは和算や乗算や指数対数演算による統計量であることを特徴とする映像品質客観評価方法。
【請求項１２】
請求項１〜１１のいずれかにおいて、
Ｉスライスの代わりにＩマクロブロック、Ｉフレームを使い、Ｐスライスの代わりにＰマクロブロック、Ｐフレームを使い、Ｂスライスの代わりにＢマクロブロック、Ｂフレームを使って前記映像の主観品質を推定することを特徴とする映像品質客観評価方法。
【請求項１３】
請求項１〜１１のいずれかにおいて、
Ｉモードは動き補償を用いないモード、Ｐモードは１つのリファレンスフレームから動き補償するモード、Ｂモードは２つ以上のリファレンスフレームから動き補償するモードであることを特徴とする映像品質客観評価方法。
【請求項１４】
映像の主観品質を評価する評価装置であって、
動き補償フレーム間予測とＤＣＴ変換もしくはウェーブレット変換等のその他の直交変換を用いて符号化された前記映像のビット列を受信する受信部と、
受信したビット列に含まれる情報を入力して所定の演算を行う第１演算部と、
前記第１演算部の演算結果に基づいて前記映像の主観品質を推定する演算を行う第２演算部と
を有することを特徴とする映像品質客観評価装置。
【請求項１５】
動き補償フレーム間予測とＤＣＴ変換もしくはウェーブレット変換等のその他の直交変換を用いて符号化された前記映像のビット列を受信する受信処理と、
前記受信処理に基づいて受信したビット列に含まれる情報を入力して所定の演算を行う演算処理と、
前記演算処理の演算結果に基づいて前記映像の主観品質を推定する演算を行う主観品質推定処理と
をコンピュータに実行させるプログラム。
【請求項１】
映像の主観品質を評価する評価方法であって、
動き補償フレーム間予測とＤＣＴ変換もしくはウェーブレット変換等のその他の直交変換を用いて符号化された前記映像のビット列を受信する受信ステップと、
受信したビット列に含まれる情報を入力して所定の演算を行う演算ステップと、
前記演算ステップの演算結果に基づいて前記映像の主観品質を推定する演算を行う主観品質推定ステップと
を有することを特徴とする映像品質客観評価方法。
【請求項２】
請求項１において、
前記演算ステップは、前記ビット列に含まれる量子化情報を抽出して、前記量子化情報の統計量を演算し、
前記主観品質推定ステップは、前記量子化情報の統計量に基づいて前記映像の主観品質を推定する演算を行うことを特徴とする映像品質客観評価方法。
【請求項３】
請求項２において、
前記演算ステップは、前記ビット列に含まれる動きベクトルの情報を抽出して、抽出した動きベクトルの情報から動きベクトルの統計量を演算し、
前記主観品質推定ステップは、前記量子化情報の統計量と前記動きベクトルの統計量に基づいて前記映像の主観品質を推定する演算を行うことを特徴とする映像品質客観評価方法。
【請求項４】
請求項２において、
前記演算ステップは、前記ビット列に含まれる動き補償フレーム間予測であるＩ（イントラ）フレームまたはスライスまたはブロック、Ｐ（前方向予測）フレームまたはスライスまたはブロックおよびＢ（双方向、双予測）フレームまたはスライスまたはブロックの情報を抽出するとともに、抽出したＩ（イントラ）フレームまたはスライスまたはブロック、Ｐ（前方向予測）フレームまたはスライスまたはブロックおよびＢ（双方向、双予測）フレームまたはスライスまたはブロックの情報に基づいてＩ（イントラ）フレームまたはスライスまたはブロック、Ｐ（前方向予測）フレームまたはスライスまたはブロックおよびＢ（双方向、双予測）フレームまたはスライスまたはブロックの統計情報を演算し、
前記主観品質推定ステップは、前記量子化情報の統計量と、前記Ｉ（イントラ）フレームまたはスライスまたはブロック、Ｐ（前方向予測）フレームまたはスライスまたはブロックおよびＢ（双方向、双予測）フレームまたはスライスまたはブロックの各統計情報に基づいて前記映像の主観品質を推定する演算を行うことを特徴とする映像品質客観評価方法。
【請求項５】
請求項１において、
前記演算ステップは、前記ビット列に含まれる、予測符号化に用いられる情報、変換符号化に用いられる情報および符号化の制御に用いられる情報を抽出して、抽出したこれらの情報から、予測符号化に用いられるビット量、変換符号化に用いられるビット量および符号化の制御に用いられるビット量を演算し、
前記主観品質推定ステップは、前記演算ステップの演算結果を示す、予測符号化に用いられるビット量、変換符号化に用いられるビット量および符号化の制御に用いられるビット量に基づいて前記映像の主観品質を推定する演算を行うことを特徴とする映像品質客観評価方法。
【請求項６】
請求項５において、
前記演算ステップは、前記ビット列に含まれる動きベクトルの情報を抽出して、抽出した動きベクトルの情報から動きベクトルの統計量を演算し、
前記主観品質推定ステップは、前記予測符号化に用いられるビット量、前記変換符号化に用いられるビット量および前記符号化の制御に用いられるビット量と前記動きベクトルの統計量に基づいて前記映像の主観品質を推定する演算を行うことを特徴とする映像品質客観評価方法。
【請求項７】
請求項５において、
前記演算ステップは、前記ビット列に含まれるＩ（イントラ）フレームまたはスライスまたはブロック、Ｐ（前方向予測）フレームまたはスライスまたはブロックおよびＢ（双方向、双予測）フレームまたはスライスまたはブロックの情報を抽出するとともに、抽出したＩ（イントラ）フレームまたはスライスまたはブロック、Ｐ（前方向予測）フレームまたはスライスまたはブロックおよびＢ（双方向、双予測）フレームまたはスライスまたはブロックの情報に基づいてＩ（イントラ）フレームまたはスライスまたはブロック、Ｐ（前方向予測）フレームまたはスライスまたはブロックおよびＢ（双方向、双予測）フレームまたはスライスまたはブロックの統計情報を演算し、
前記主観品質推定ステップは、前記予測符号化に用いられるビット量、前記変換符号化に用いられるビット量および前記符号化の制御に用いられるビット量、前記Ｉ（イントラ）フレームまたはスライスまたはブロック、Ｐ（前方向予測）フレームまたはスライスまたはブロックおよびＢ（双方向、双予測）フレームまたはスライスまたはブロックの各統計情報に基づいて前記映像の主観品質を推定する演算を行うことを特徴とする映像品質客観評価方法。
【請求項８】
請求項１において、
前記演算ステップは、前記ビット列に含まれる、Ｉスライス、ＰスライスおよびＢスライスのビット量と、Ｉスライス、ＰスライスおよびＢスライスの量子化情報の統計量を抽出し、前記主観品質推定ステップは、前記ビット量と前記量子化情報に基づいて、前記映像の主観品質を推定する演算を行うことを特徴とする映像品質客観評価方法。
【請求項９】
請求項８において、
前記ビット量とは、前記ビット列に含まれる、予測符号化に用いられる情報、変換符号化に用いられる情報および符号化の制御に用いられる情報を抽出して、抽出したこれらの情報から演算される、予測符号化に使われるビット量、変換符号化に使われるビット量および符号化の制御に使われるその他のビット量であることを特徴とする映像品質客観評価方法。
【請求項１０】
請求項８において、
前記ビット量とは、ＰスライスとＢスライスの予測符号化に使われるビット量の和、変換符号化に使われるビット量の和および符号化の制御に使われるその他のビット量の和であることを特徴とする映像品質客観評価方法。
【請求項１１】
請求項８において、
前記量子化情報とは、ＰスライスとＢスライスのビット列に含まれる量子化情報の平均値、もしくは和算や乗算や指数対数演算による統計量であることを特徴とする映像品質客観評価方法。
【請求項１２】
請求項１〜１１のいずれかにおいて、
Ｉスライスの代わりにＩマクロブロック、Ｉフレームを使い、Ｐスライスの代わりにＰマクロブロック、Ｐフレームを使い、Ｂスライスの代わりにＢマクロブロック、Ｂフレームを使って前記映像の主観品質を推定することを特徴とする映像品質客観評価方法。
【請求項１３】
請求項１〜１１のいずれかにおいて、
Ｉモードは動き補償を用いないモード、Ｐモードは１つのリファレンスフレームから動き補償するモード、Ｂモードは２つ以上のリファレンスフレームから動き補償するモードであることを特徴とする映像品質客観評価方法。
【請求項１４】
映像の主観品質を評価する評価装置であって、
動き補償フレーム間予測とＤＣＴ変換もしくはウェーブレット変換等のその他の直交変換を用いて符号化された前記映像のビット列を受信する受信部と、
受信したビット列に含まれる情報を入力して所定の演算を行う第１演算部と、
前記第１演算部の演算結果に基づいて前記映像の主観品質を推定する演算を行う第２演算部と
を有することを特徴とする映像品質客観評価装置。
【請求項１５】
動き補償フレーム間予測とＤＣＴ変換もしくはウェーブレット変換等のその他の直交変換を用いて符号化された前記映像のビット列を受信する受信処理と、
前記受信処理に基づいて受信したビット列に含まれる情報を入力して所定の演算を行う演算処理と、
前記演算処理の演算結果に基づいて前記映像の主観品質を推定する演算を行う主観品質推定処理と
をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【公開番号】特開２００９−２６０９４０（Ｐ２００９−２６０９４０Ａ）
【公開日】平成２１年１１月５日（２００９．１１．５）
【国際特許分類】
【出願番号】特願２００９−４１４５７（Ｐ２００９−４１４５７）
【出願日】平成２１年２月２４日（２００９．２．２４）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２１年１１月５日（２００９．１１．５）
【国際特許分類】
【出願日】平成２１年２月２４日（２００９．２．２４）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]