映像品質客観評価方法、映像品質客観評価装置、及びプログラム
【課題】人間が映像を見て体感した品質（主観品質）を客観的に評価する映像品質客観評価を行う際に、上記主観品質の推定を効率的かつ精度良く行う。
【解決手段】符号化された映像のビット列の内部に存在し、シーンの違いを表すパラメータである動きベクトルやＤＣＴ係数、または符号化された映像のビット列から部分的に復号した画素情報や符号化制御情報を映像品質客観評価に用いる。その結果、全映像のビット列を復号して得た画素情報を用いて映像品質客観評価を行った場合に比べて、非常に多くの計算量を要する画素情報への復号処理の量を節約できるため、安価な計算機を利用して短時間で映像品質客観評価が可能になる。
【解決手段】符号化された映像のビット列の内部に存在し、シーンの違いを表すパラメータである動きベクトルやＤＣＴ係数、または符号化された映像のビット列から部分的に復号した画素情報や符号化制御情報を映像品質客観評価に用いる。その結果、全映像のビット列を復号して得た画素情報を用いて映像品質客観評価を行った場合に比べて、非常に多くの計算量を要する画素情報への復号処理の量を節約できるため、安価な計算機を利用して短時間で映像品質客観評価が可能になる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像データの損失による映像品質の劣化を対象とした映像品質客観評価技術に関し、特に人間が映像を見て体感した品質（主観品質）を評価する場合に、多数の被験者が特殊な実験設備内で、実際に映像を視聴して品質を評価する主観品質評価実験を行うことなく、ユーザが視聴する映像の符号化ビット列情報から客観的に主観品質を導出する映像品質客観評価方法、映像品質客観評価装置、及びプログラムに関する。
【背景技術】
【０００２】
従来、符号化された映像のビット列を保存もしくは伝送する際に、ビット列に欠損が発生した場合、映像符号化やＩＰ通信のパラメータ情報を用いて客観的に映像品質評価を行う技術（非特許文献１および非特許文献２参照）や、符号化された映像のビット列を画素信号まで復号し、画素情報を基に客観的に映像品質評価を行う技術（非特許文献３参照）が検討されてきた。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】増田征貴，富永聡子，林孝典，“無効フレーム率を用いたインサービス映像品質管理法"，信学技報，CQ2005-59，pp.55-60，Sept. 2005．
【非特許文献２】ITU-T G.1070,“Opinion model for video-telephony applications,” Apr. 2007．
【非特許文献３】ITU-T J.144,“Objective perceptual video quality measurement techniques for digital cable television in the presence of a full reference,”Feb. 2000．
【発明の概要】
【発明が解決しようとする課題】
【０００４】
非特許文献１や非特許文献２に記載の技術では、評価者が想定する数シーンの平均的な主観品質の推定を行う。しかし実際の映像ではシーン毎にビット列の構成が大きく異なるため、ビット列に損失が発生した場合には、映像のシーンの違いにより主観品質が大きく変動する。従って非特許文献１や非特許文献２の技術では映像シーンの違いを考慮することが難しく良好な推定精度の実現には問題がある。更にＩＰ通信のパラメータ情報を使って主観品質の推定を行う場合、ＩＰ通信以外のプロトコルを利用すると、主観品質の推定が不可能となる。
また、非特許文献３では、符号化された映像のビット列を復号した映像の画素情報を用いて主観品質の推定を試みているが、画素情報への復号には莫大な計算量を要するためリアルタイムに主観品質を推定するには非常に多くの演算量を必要とし、したがって１台当たりの製造コストが高騰することから、低コストが要求されるユーザの映像再生端末（セットトップボックス）等への実装が難しくなる。
【課題を解決するための手段】
【０００５】
このような課題を解決するために本発明は、現在主流である動き補償フレーム間予測とＤＣＴ変換を用いる符号化方式、特にＨ．２６４方式のビット列に損失が発生した場合に、ビット列のみ、もしくはこれを部分的にデコードした画素情報を解析して、ビット列をデコードして得られる映像内における劣化発生領域を検出する領域を検出するステップと、それらの劣化領域が人間に与える影響を重み係数として導出するステップと、映像をデコードする際にデコーダが映像内の劣化を検知しにくくする劣化隠蔽処理による効果を推定するステップと、劣化が発生するフレーム／スライス／動きベクトルのＩＰＢ属性を検出するステップと、これらの情報を総合して映像内の単一フレームにおける劣化の強さを表す値を導出するステップと、単一フレームにおける劣化の強さを，全てのフレームについて導出して，それらを統合してビット列の損失による全フレームの劣化の代表値を導出するステップと，符号化劣化に対する主観品質を推定するステップと、符号化劣化に対する主観品質とビット列の損失による全フレームの劣化の代表値を合わせて総合的な主観品質を推定するステップを備える符号化された映像のビット列に損失が生じた場合の主観品質を推定するものである。
すなわち、本発明は、視聴者が映像を見た時に体感する映像の品質を表す主観品質の推定を行う映像品質客観評価方法であって、動き補償とＤＣＴ変換を利用して符号化された映像のビット列に損失が生じた場合に、損失したビット列と残ったビット列を用いてシーンの違いが主観品質に及ぼす影響を考慮し、かつデコードを必要とせずに主観品質を推定することを特徴とする。
【０００６】
ここで、ビット列の損失が発生した場合に、失われたビット列で保存されていたフレーム（またはスライスまたはマクロブロックまたはサブマクロブロック）の空間もしくは時系列の位置情報を用いて主観品質を推定する 。
また、動き補償機能において他のフレーム（またはスライスまたはマクロブロックまたはサブマクロブロック）から参照される参照先フレーム（またはスライスまたはマクロブロックまたはサブマクロブロック）のビット列に損失が生じている場合は、参照先のフレーム（またはスライスまたはマクロブロックまたはサブマクロブロック）のビット列の損失により参照元のフレーム（またはスライスまたはマクロブロックまたはサブマクロブロック）に与えられる損失に基づいて主観品質を推定する。
【０００７】
また、符号化処理により劣化した主観品質を、ビット列の損失が発生した場合の主観品質の最大値とする。
また、単一のフレーム内で生じた劣化の代表値として、ビット列の損失が起きたブロックの数を重み付きで加算した値を映像品質の客観評価に用いる。
この場合、単一フレーム内で生じた劣化の代表値を、映像を構成する全てのフレームで導出して、それらを重み付きで加算した値を映像品質の客観評価に用いる。
ここで、映像品質の客観評価に用いる重みを、動きベクトルデータの統計量または映像の再生端末が行う劣化隠蔽処理または劣化が発生した位置またはＤＣＴ係数の統計量または局所的な画素情報、またはそれらの組み合わせに応じて決定する。
【０００８】
なお、動きベクトルデータの統計量としては、フレーム内のすべてまたは一部のマクロブロックの動きベクトルの大きさまたは向きに関する統計量を使用する。
また、ＤＣＴ係数の統計量として、フレーム内のすべてまたは一部のマクロブロックのＤＣＴ係数の統計量を使用する。
また、各種の劣化隠蔽処理による主観品質の改善量を予め主観品質評価実験を行うことにより測定してデータベース化し、映像品質の客観評価時には前記データベースを参照して、各劣化隠蔽処理に対してチューニングを行った主観品質を導出する。
また、符号化された映像のビット列もしくは局所的な画素信号として復号された情報を用いて、劣化隠蔽処理による主観品質の改善量を推定する。
また、局所的な画素情報として、損失したビット列中に含まれるマクロブロックに隣接するマクロブロックの画素情報を用いる。
【０００９】
また、本発明は、ビット列の損失が発生した際に、失われたビット列で保存されていた情報が符号化の制御情報である場合は、その符号化制御情報が主観品質に与える影響の度合いに応じて主観品質を推定する。
また、映像品質の客観評価を行う時に符号化方式またはフレームレートまたは映像解像度に応じて評価式の最適化を行う。
【００１０】
このように、現在主流である動き補償フレーム間予測とＤＣＴ変換による符号化方式を用いた映像のビット列の内部は、主に動きベクトルやＤＣＴ係数、また符号化の制御情報（例えば量子化をコントロールする量子化係数／パラメータ等）から構成され、これらの情報は映像のシーン毎にその内容が大きく異なるため、これらの情報を利用することにより映像シーンの違いを考慮した主観品質の評価が可能になる。更にビット列に埋め込まれた情報をそのまま利用し、画素情報を利用しない場合には、取得に莫大な計算量を要する画素情報を必要とせず計算量を大きく低減することが可能になる。また映像のビット列を部分的にデコードした画素情報を取得するには、ビット列に埋め込まれた情報のみを用いる場合に比べて少々負荷が増加するが、映像全体をデコードする場合に比べると大きく計算量を節約できるため、映像シーンの違いを画素情報として考慮するために、この情報を付加的に加えて主観品質の推定を行っても良い。これにより安価な計算機を利用して短時間で精度の良い映像品質客観評価が可能になり、例えば映像サービスにおいて視聴者毎に見ている映像は一般的に異なるが、これらの違いを考慮したが見ている映像毎に主観品質の推定が可能となることで、視聴者毎にきめ細かい品質に関するサポートが可能となることや、映像サービス事業者のヘッドエンドで効率的かつ安価かつチャンネル毎・シーン毎に映像の主観品質を管理すること等が可能になる。更に映像のビット列を取得できれば良いので、ビット列を伝送するプロトコルに依存しない映像品質客観評価が可能である。つまりＩＰ通信以外の通信方式にも拡張可能であるため、様々な通信方式で伝送される映像に対して本方式は適用が可能である。
【発明の効果】
【００１１】
本発明では、符号化ビット列に欠損が発生した場合に、符号化された映像のビット列情報を利用するようにしたことにより、主観品質の推定を効率的かつ精度良く行うことが可能となり、その結果、主観品質評価法や従来の客観品質評価法を本発明に置き換えることにより多大な労力と時間を必要としなくなる。従って、ユーザが感じている主観品質を大規模かつリアルタイムに取得することが可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明に係る映像品質客観評価装置の構成を示すブロック図である。
【図２】上記映像品質客観評価装置を構成する各機能部の概略動作を示すフローチャートである。
【図３】フレーム内のマクロブロック復号状況を示す図である。
【図４】損失マクロブロック内のエッジ推定方法を説明する図である。
【図５】損失マクロブロックとその隣接マクロブロックにおけるエッジの代表値を表す図である。
【図６】損失マクロブロック内のエッジ推定方法を説明する図である。
【図７】８×８ＤＣＴ係数の３次元表示を示す図である。
【図８】８×８ＤＣＴ係数の２次元表示を示す図である。
【図９】動きベクトル導出対象フレームからの相対位置を示す図である。
【図１０】動きベクトルを動きベクトル導出対象フレームから１フレーム後方への射影例を示す図である。
【図１１】動きベクトルを動きベクトル導出対象フレームから１フレーム前方への射影例を示す図である。
【図１２】損失マクロブロック付近の動きベクトル導出対象マクロブロックの状況を示す図である。
【図１３】動きベクトルの向きを説明する図である。
【図１４】注目領域の定義を説明する図である。
【図１５】フレーム内のマクロブロックの座標系を表す図である。
【図１６】上記映像品質評価装置のハードウェア構成を示す図である。
【図１７】フレーム内の劣化したブロックとその隣接ブロックを示す図である。
【図１８】時間方向の劣化隠蔽処理の効果推定方法を説明する図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施の形態について図面を参照して説明する。
（実施の形態１）
本実施の形態の映像品質客観評価装置は、符号化映像のビット列を入力するためのインターフェースと、サーバ装置やパーソナルコンピュータなどの演算装置と、記憶装置とからなる情報処理装置から構成され、符号化映像のビット列を入力し、入力映像に対応した主観品質を出力するものである。そのハードウェア構成としては、図１６に示すように、受信部２、演算部３、記憶媒体４および出力部５からなる。ここで、図１６に示すＨ．２６４符号化装置６は、入力映像を後述するＨ．２６４方式により符号化する。そして、符号化された映像ビット列は伝送網内を伝送データとして通信され映像品質客観評価装置１に送信される。
【００１４】
映像品質客観評価装置１は、その伝送データ、すなわち前記符号化されたビット列を受信部２で受信する。そして、ＣＰＵが記憶媒体４に記憶されたプログラムを読み出して実行することにより、演算部３の機能を実現する。すなわち、演算部３は受信部２で受信されたビット列の情報を利用して各種の演算処理を行い、その演算処理結果を表示部などの出力部５に出力することにより、映像の主観品質を推定するものである。
ここで、演算部３の演算処理機能としては、具体的には、図１に示すように、係数データベースＤ１１〜Ｄ１７と、劣化発生領域特定機能部Ｆ１１と、劣化発生領域の重み判定機能部Ｆ１２と、劣化隠蔽処理特定機能部Ｆ１３と、単一フレームの劣化代表値導出機能部Ｆ１４と、全フレームの劣化代表値導出機能部Ｆ１５と、符号化劣化に対する主観品質推定機能部Ｆ１６と、主観品質推定機能部Ｆ１７とがある。
【００１５】
ここで、この映像品質客観評価装置１では、動き補償とＤＣＴ変換を用いるＨ．２６４方式の符号化された映像のビット列に欠損が生じた場合に、符号化された映像のビット列の正常部分と欠損部分の内容を利用して映像の主観品質の推定を行う。原理的には動き補償とＤＣＴ変換を用いる符号化方式に応用可能である。
【００１６】
以下、図１を参照して、この映像品質客観評価装置を構成する各機能部の機能について具体的に説明する。各機能部には必要なメモリを備えている。
劣化発生領域（位置、数）特定機能部Ｆ１１は、入力された符号化映像のビット列を走査してビット列に欠損が生じている場合に、フレーム内で劣化が発生したマクロブロックの位置と数を特定して劣化情報１１ａと１１ｂをそれぞれ劣化代表値導出機能部Ｆ１４と、重み判定機能部Ｆ１２とに出力する。
【００１７】
劣化発生領域の重み判定機能部Ｆ１２は、劣化発生領域特定機能部Ｆ１１から入力した劣化情報１１ｂを走査して、劣化が発生したマクロブロックの位置や、その周辺に存在するマクロブロックの動きや絵柄の複雑さから、劣化したマクロブロックの主観品質への影響度を測定し、劣化量情報１２ａとして劣化代表値導出機能部Ｆ１４に出力する。
【００１８】
劣化隠蔽処理特定機能部Ｆ１３は、予めデータベース化された、もしくは動的に導出された劣化隠蔽処理による主観品質への影響度に関する重みを、利用する劣化隠蔽処理によって切り替え、その結果を劣化隠蔽処理情報１３ａとして劣化代表値導出機能部Ｆ１４に出力する。
【００１９】
単一フレームの劣化代表値導出機能部Ｆ１４は、各機能部Ｆ１１、Ｆ１２，Ｆ１３からの出力である劣化情報１１ａ，劣化量情報１２ａ，劣化隠蔽処理情報１３ａに基づいて、単一フレームに存在する劣化した全てのマクロブロックの影響を加味した劣化の強さの代表値を導出して、フレーム劣化代表値１４ａとして全フレームの劣化代表値導出機能部Ｆ１５に出力する。
【００２０】
全フレームの劣化代表値導出機能部Ｆ１５は、単一フレームの劣化代表値導出機能部Ｆ１４からの出力であるフレーム劣化代表値１４ａに基づいて、評価対象映像中に存在する全てのフレームの劣化の強さの代表値を導出し、評価対象映像全体の劣化の強さとしてまとめ、そのまとめた値を代表値として導出して全フレーム劣化代表値１５ａとして主観品質推定機能部Ｆ１７に出力する。
【００２１】
符号化劣化に対する主観品質推定機能部Ｆ１６は、符号化による映像の劣化のみを加味した主観品質を導出して符号化主観品質１６ａとして主観品質推定機能部Ｆ１７に出力する。この場合、主観品質推定機能部Ｆ１６は、符号化処理により劣化した主観品質を主観品質の最大値とする。主観品質推定機能部Ｆ１７は、全フレームの劣化代表値導出機能部Ｆ１５からの全フレーム劣化代表値１５ａと、符号化劣化に対する主観品質推定機能部Ｆ１６からの符号化主観品質１６ａに基づいて、符号化とビット列の損失による映像の劣化を加味した主観品質を導出する。
【００２２】
なお、各機能部Ｆ１１，Ｆ１２，Ｆ１３，Ｆ１４，Ｆ１５，Ｆ１６，Ｆ１７には、各機能部でそれぞれ利用する評価式の係数のデータベースＤ１１，Ｄ１２，Ｄ１３，Ｄ１４，Ｄ１５，Ｄ１６，Ｄ１７が前述したようにそれぞれ付属している。各データベースＤ１１〜Ｄ１７には、評価式の最適化を行うための評価対象映像の符号化方式や解像度やフレームレート毎に異なる係数が格納されている。これらの係数は、予め実施された主観品質評価実験の結果に基づいて、各評価式で回帰分析を実施することで決定しても良いし、任意の値を利用しても良い。
【００２３】
次に、図１に示すブロック図と図２に示すフローチャートを中心とし他の図も参照しながら、本映像品質客観評価装置を構成する各機能部の詳細な動作を説明する。なお、以下で示す画素信号やＤＣＴ係数は全て輝度に関するものとする。ただし、色差信号について同様の処理を適用することもできる。
【００２４】
劣化発生領域（位置、数）特定機能部Ｆ１１では、映像の符号化ビット列を入力として、まずＨ．２６４方式の可変長符号を復号する必要がある。これを行うためには、参考文献１（ITU-T H.264, “Advanced video coding for generic audiovisual services,”Feb. 2000．）に準拠するＨ．２６４復号器を利用する。そして、復号後には、Ｈ．２６４符号化の制御情報を含むＳＰＳ（Sequence Parameter Set）やＰＰＳ（Picture Parameter Set）等のシンタックス情報に加えて、動き補償やＤＣＴ変換符号化で用いられる動きベクトルやＤＣＴ係数等の符号化情報が、マクロブロックもしくはサブマクロブロック毎に取得できる。具体的には参考文献１に記載されている仕様に従う。
【００２５】
符号化されたビット列に損失が発生した場合には機能部Ｆ１１で正常に復号できなくなるため、マクロブロックやサブマクロブロックで画素信号を計算するための動きベクトルやＤＣＴ係数等の情報、また符号化制御情報が正常に取得できなくなる。映像品質客観評価装置の記憶領域にマクロブロック単位の復号の成功と失敗を集計するためのフラグを用意し、符号化ビット列を走査して復号するために十分なデータが存在しないマクロブロックやサブマクロブロックについてはフラグを立てると、図３に示すような復号成否状況を得ることができる。
【００２６】
図３に示すような復号成否状況により、復号を失敗して劣化したマクロブロックやサブマクロブロックの位置と数を検出できる。また、ＳＰＳやＰＰＳなどの符号化制御情報に損失が起きている場合は、ＳＰＳについては対応するシーケンス（評価対象映像全体）の全てのマクロブロックが損失、ＰＰＳについては対応するピクチャ（フレームもしくはフィールド）の全てのマクロブロックが損失したとみなす。図中のマクロブロックの数とスライスの形状は一例である。
【００２７】
更に、Ｈ．２６４方式の動き推定機能を使って、復号を失敗したマクロブロックやサブマクロブロックが他のマクロブロックやサブマクロブロックから参照されている場合、参照元のマクロブロックやサブマクロブロックにもそのＩＰＢ属性に応じて劣化が生じる。ＩＰＢの属性については上記参考文献１に記載されている。参照先のマクロブロックやサブマクロブロックの復号に失敗している場合、参照元のマクロブロックがＰフレームの場合は予め係数データベースＤ１１に格納されている劣化重みε＝ａ1、Ｂフレームの場合は劣化重みε＝ａ2を選択する。これに加えてＩフレームではフレーム内予測がＨ．２６４では用いられるため、同様に参照先のマクロブロックやサブマクロブロックの復号が失敗している場合、劣化重みε＝ａ3を選択し、予測を使わない場合は劣化重みε＝ａ4を選択する。これらの処理により、評価対象映像中で欠損が生じたマクロブロックやサブマクロブロックの特定が可能となる。
【００２８】
この段階で、サブマクロブロック単位で損失が発生している場合は、そのサブマクロブロックを包含するマクロブロック単位で損失が発生しているとみなす。復号を失敗して劣化したマクロブロックの位置と数に加えて、映像の符号化ビット列、重みεを劣化情報１１ａ，１１ｂとして劣化代表値導出機能部Ｆ１４と、重み判定機能部Ｆ１２とに出力する。
【００２９】
劣化発生領域の重み判定機能部Ｆ１２については、劣化情報１１ｂを入力情報として、以下に示す劣化発生領域を表す重みパラメータを出力する。まず絵柄の複雑さによる、劣化したマクロブロックの主観品質への影響度の変化を測定する機能から説明する。
第一に部分的な画素信号の取得が可能である場合について示す。画素信号は、Ｈ．２６４符号化の制御情報に加えて、動き補償やＤＣＴ変換符号化で用いられる動きベクトルやＤＣＴ係数を上記の参考文献１で示されるアルゴリズムに適用して取得できる。
【００３０】
具体的には損失したマクロブロックの上下左右のマクロブロックのみ画素信号の取得をし、これは上記参考文献１に従って行う。絵柄の複雑さの代表的な指標の一つとしてＳｏｂｅｌフィルタを利用したエッジの大きさと方向が挙げられる。ここでは劣化したマクロブロックにおけるエッジの有無が主観品質を変動させると考え、劣化したマクロブロックに隣接するマクロブロックから、劣化したマクロブロックに対してエッジが連続的に存在するかどうか推定する。
【００３１】
具体的には図４と図５を用いて説明する。まず図４では劣化したマクロブロックと隣接する４つのマクロブロックを示している。各隣接マクロブロックには、劣化したマクロブロックとの境界に１列の画素が並んでおり、その更に１列奥の画素列（劣化したマクロブロックと隣接マクロブロックの境界から数えて２列目の隣接マクロブロック内の画素列）をＳｏｂｅｌフィルタによるエッジ導出に用いる。Ｓｏｂｅｌフィルタを利用するとエッジは大きさと方向を持つ量、つまりベクトル量として導出されるため、各隣接マクロブロックのエッジ導出対象画素列で求めたエッジを以下のように定義する。
【００３２】
【数１】
【００３３】
ただし、ｉは隣接マクロブロックの識別子（図４のマクロブロック１〜マクロブロック４に相当）、ｊは劣化したマクロブロックと隣接マクロブロックの境界に存在する画素数、ここでｍはＳｏｂｅｌフィルタによるエッジ導出対象画素列に存在する画素数を表す。これより各隣接マクロブロックにおいて、Ｓｏｂｅｌフィルタによるエッジ導出対象画素列で導出したエッジの代表値
【００３４】
【数２】
【００３５】
を以下のように導出する。
【００３６】
【数３】
【００３７】
ただし、演算子
【００３８】
【数４】
【００３９】
は、自然数Ａ1〜Ａmを参照して最大となる値を出力し、θは図５に示すように劣化したマクロブロックと隣接マクロブロックの境界面に対するベクトルＥ｛i｝jの角度である。ここでは、演算子maxを使って大きさが最大となるベクトルを出力するように設定したが、代わりに任意の統計量、例えば最小値や平均値や分散などを使用しても良い。
更に各隣接マクロブロックで導出したベクトルＥ｛i｝の代表値（即ち、ベクトルＥ）を以下のように導出する。
【００４０】
【数５】
【００４１】
ここで、μはデータベースＤ１２に格納されている係数である。ここでは演算子maxを使って大きさが最大となるベクトルを出力するように設定したが、代わりに任意の統計量、例えば最小値や平均値や分散などを使用しても良い。ただし、隣接マクロブロックが劣化している、もしくは存在しない場合には、その隣接マクロブロックは代表値（即ち、ベクトルＥ）の導出に利用しない。また全ての隣接するマクロブロックでベクトルＥ｛i｝が導出できない場合は、ベクトルＥの絶対値をデータベース１２に格納されている任意の定数（例えば０）とする。これにより単一フレーム内に存在する全ての劣化したマクロブロックについて、絵柄の複雑さによる、劣化したマクロブロックの主観品質へ与える影響を測定できる。
【００４２】
絵柄の複雑さによる、劣化したマクロブロックの主観品質への影響度の変化を測定する機能について、第二に符号化された映像のビット列情報のみが利用できる場合を示す。第一の場合と同様に、劣化したマクロブロックにおけるエッジの有無が主観品質を変動させると考え、劣化したマクロブロックに隣接するマクロブロックから、劣化したマクロブロックに対してエッジが連続的に存在するかどうか推定する。具体的には図６、図７、図８を用いて説明する。
【００４３】
図６では劣化したマクロブロックと隣接する４つのマクロブロックを示している。図４と類似しているが、図４では各マクロブロックは画素情報で構成されていたのに対し、図６ではＤＣＴ係数で構成されている。図６の各隣接マクロブロックがＩスライスやＩフレームの一部であれば以下に記載の処理をそのまま実行するが、隣接マクロブロックの中にＰ属性またはＢ属性のマクロブロックが存在している場合は、フレーム内の空間的な位置は全く同じで、最も時系列で近い位置にあるＩ属性のマクロブロックを代替として用いてもよいし、代替せずそのまま処理を続行しても良い。
【００４４】
各マクロブロックのＤＣＴ係数の例は具体的には図７のように配置されている。ここで、ｘ軸が水平方向周波数を表し、ｙ軸が垂直方向周波数を表し、ｚ軸にＤＣＴ係数が表わされている。なお図７は８×８画素のブロックに対してＤＣＴ変換を適用した場合を示しており、４×４画素のブロックに対してＤＣＴ変換を適用した場合は、水平方向周波数、垂直方向周波数ともに、１以上４以下の整数値が変動範囲となる。また１６×１６画素のブロックに対してＤＣＴ変換を適用した場合は、水平方向周波数、垂直方向周波数ともに、１以上１６以下の整数値が変動範囲となる。つまりｎ×ｎ画素（ｎは１以上の整数値）のブロックに対してＤＣＴ変換を適用した場合は、水平方向周波数、垂直方向周波数ともに、１以上ｎ以下の整数値が変動範囲となる。
【００４５】
図８に、図７のｘ軸である水平方向周波数、ｙ軸である垂直方向周波数を表示した図を示す。図８では、ｘ軸とｙ軸が同等の値になる対角線Ａ上のＤＣＴ係数群の上方に存在するＤＣＴ係数群をグループ１、下方に存在するＤＣＴ係数群をグループ２とする。グループ１は垂直方向周波数が水平方向周波数より高くなる領域、つまり横方向のエッジが縦方向のエッジよりも強めとなる領域であり、グループ２は水平方向周波数が垂直方向周波数より高くなる領域、つまり縦方向のエッジが横方向のエッジよりも強めとなる領域である。
【００４６】
図８の座標を（水平方向周波数、垂直方向周波数）として、座標（ｐ，ｑ）のＤＣＴ係数をＤｐｑとし、以下の計算式で縦方向のエッジＥV（即ち、ベクトルＥV）の強さ
【００４７】
【数６】
【００４８】
と、横方向のエッジＥｈ（即ち、ベクトルＥｈ）の強さであるベクトルＥｈの絶対値を計算する。ただし式中のｎは、エッジ導出対象のマクロブロックがｎ×ｎであることを示している。
【００４９】
【数７】
【００５０】
このエッジの強さの導出処理を使って、図６の隣接マクロブロック１と隣接マクロブロック３ではベクトルＥνの絶対値導出を行い、隣接マクロブロック２と隣接マクロブロック４ではベクトルＥｈの絶対値導出を行う。これらのエッジの強さを各隣接マクロブロックのエッジの強さの代表値ベクトルＥ｛i｝とし、ｉは隣接マクロブロックの識別子（１≦ｉ≦４）とする。更に各隣接マクロブロックで導出したベクトルＥ｛i｝の代表値ベクトルＥを以下のように導出する。
【００５１】
【数８】
【００５２】
ここで、μはデータベースＤ１２に格納されている係数である。ここでは演算子maxを使って大きさが最大となるベクトルを出力するように設定したが、代わりに任意の統計量、例えば最小値や平均値や分散などを使用しても良い。ただし、隣接マクロブロックが劣化している、もしくは存在しない場合には、その隣接マクロブロックはベクトルＥの導出に利用しない。また全ての隣接するマクロブロックでベクトルＥ｛i｝が導出できない場合は、ベクトルＥの絶対値をデータベースＤ１２に格納されている任意の定数（例えば０）とする。これにより単一フレーム内に存在する全ての劣化したマクロブロックについて、絵柄の複雑さが劣化したマクロブロックの主観品質へ与える影響の大きさを測定できる。
【００５３】
劣化発生領域の重み判定機能部Ｆ１２について、次に劣化が発生したマクロブロックの周辺に存在するマクロブロックの動きの大きさが、主観品質へ与える影響を測定する機能を説明する。動きの大きさによる主観品質への影響は動きベクトルの代表値に基づいて判定し、動きベクトルの代表値の導出方法については、図９、図１０、図１１、図１２を用いて説明する。
【００５４】
まずフレーム全体の動きベクトルの代表値の導出方法を示す。図９に示すように、Ｈ．２６４方式では動きベクトルの導出に用いる参照フレームを、前方、後方に限らず、マクロブロック・サブマクロブロック単位で任意の２つ選ぶことが可能である。これは原理的にはＭＰＥＧ２やＭＰＥＧ４の双方向フレームに応用可能である。そこでマクロブロック・サブマクロブロック毎に設定される動きベクトルの大きさを各ブロックについて比較可能とするために正規化を行い、動きベクトルの導出対象フレームの前方、後方１フレームに各マクロブロック・サブマクロブロックの動きベクトルを射影する。具体的な処理を図１０、図１１で説明する。
【００５５】
図１０は、動きベクトルの導出対象フレームｓ中のｔ番目のブロックＭＢｓｔの参照フレームが、フレームｓの（ｒ＋１）フレーム後方にある場合を示している。図１０のように動きベクトルの導出対象フレームｓから参照フレーム上に動きベクトル
【００５６】
【数９】
【００５７】
が存在しており（ベクトルＭＶstと表記）、以下のようにしてベクトルＭＶstを、動きベクトルの導出対象フレームｓから１フレーム後方のフレーム上に存在するベクトルＭＶ’stに射影する。
【００５８】
【数１０】
【００５９】
また図１１は、動きベクトルの導出対象フレームｓ中のｔ番目のブロックＭＢstの参照フレームが、フレームｓの（ｒ＋１）フレーム前方にある場合を示している。図１１のように動きベクトルの導出対象フレームｓから参照フレーム上に動きベクトルＭＶstが存在しており、以下のようにしてベクトルＭＶstを動きベクトルの導出対象フレームｓから１フレーム前方へのベクトルＭＶ’stに射影する。
【００６０】
【数１１】
【００６１】
以上の処理により、動きベクトルの導出対象フレームｓの全てのマクロブロック・サブマクロブロックｔ（１≦ｔ≦ｘ）毎に設定される動きベクトルを、ｓ±１フレーム上のベクトルへ射影することが可能となる。ただし、ｘはフレームｓ内のブロック数である。なお、動きベクトルの導出対象フレームｓの参照フレームが２フレームある場合は，両方の参照フレームについて上記処理により射影した動きベクトルを導出し、その平均ベクトルを動きベクトルの導出対象フレームｓの各ブロックのＭＶ’stとする。
以上で導出した動きベクトルの導出対象フレームｓ上のベクトルＭＶ’stを用いて、以下の式で動きベクトルの導出対象フレームｓの統計量であるベクトルの大きさの平均を導出する。ただし平均以外にも最大値や最小値や標準偏差や分散等の各種統計量を代替として用いることが可能である。また下式中の
【００６２】
【数１２】
【００６３】
はベクトルの大きさを表すものとする。
【００６４】
【数１３】
【００６５】
ただし、演算子
【００６６】
【数１４】
【００６７】
は自然数Ａ1〜Ａmを参照して平均となる値を出力する。
また図１２に示すように、劣化したマクロブロックを囲む２４個のマクロブロックについて、フレーム全体の動きベクトル統計量を導出した場合と同様の処理を行い、２４個のマクロブロックの動きベクトルの代表値
【００６８】
【数１５】
【００６９】
を各劣化マクロブロック毎に導出する。ただし、フレームｓで劣化したマクロブロックの数をＴとする。
このようにして求めたＭＶave（ｓ）とベクトルＭＶave（ｔ）とを利用して、損失が発生したマクロブロックの周辺に存在するマクロブロック群の動きの大きさが劣化したマクロブロックの主観品質へ与える影響度を表す重みを以下の式で導出する。
【００７０】
【数１６】
【００７１】
ただし、α、βはデータベースＤ１２に格納されている係数である。また、式内のａｖｅによる平均演算は、最大値・最小値・その他の統計量に置き換えが可能である。
以上の処理は損失したマクロブロックがＰ属性またはＢ属性の場合に適用され、Ｉ属性の場合には、ＭweightはデータベースＤ１２に格納されている任意の定数とする（例えば１）。また、計算に必要となるマクロブロックやサブマクロブロックが劣化している場合は、それらの存在は無視し、存在するマクロブロックやサブマクロブロックから上記統計量を導出する。
【００７２】
また劣化発生領域の重み判定機能部Ｆ１２について、次に劣化が発生したマクロブロックの周辺に存在するマクロブロックの動きの向きによる、主観品質への影響を測定する機能を説明する。動きの向きによる主観品質への影響度合いは動きベクトルの代表値に基づいて判定し、動きベクトルの代表値の導出方法については、図１３を用いて説明する。
【００７３】
まず評価対象映像中に存在する全てのマクロブロックを参照し、動きベクトルが設定されているマクロブロックについては、図１３に基づいて、領域１〜領域８までのどの領域に存在するか判定を行う。例として動きベクトル０を示しているが、動きベクトル０は領域２に存在していることを示している。評価対象映像フレームに存在する全マクロブロックについて同様の処理を適用し、各領域に存在する動きベクトルの数をカウントし、各領域の動きベクトルの総数ＭＶＮNUM（１≦ＮＵＭ≦８）を導出する。ただしＮＵＭは領域の識別子である。こうして導出したＭＶＮNUMについて、各ＭＶＮNUMの標本分散σMVNを導出する。こうして求めたσMVNをマクロブロックの動きの向きが劣化したマクロブロックの主観品質へ与える影響度合を表す重みとする。
【００７４】
劣化発生領域の重み判定機能部Ｆ１２について、次に劣化したマクロブロックの発生位置が劣化したマクロブロックの主観品質へ与える影響度を導出する。詳細を図１４に示す。図１４に示す通り、縦横の長さ５０％となる中心の領域を注目領域と設定し、劣化したマクロブロックが注目領域上である場合、劣化したマクロブロックの発生位置が劣化したマクロブロックの主観品質へ与える影響度を表す重みＣをＣ＝c1とし、劣化したマクロブロックが注目領域上ではない場合はＣ＝c2とする。ただし、c1，c2はデータベースＤ１２に格納されている定数である。劣化したマクロブロックの発生位置が劣化したマクロブロックの主観品質へ与える影響度を表す重みＣは、評価対象映像のマクロブロック毎に計算される。
【００７５】
また劣化発生領域の重み判定機能部Ｆ１２では、劣化の局所性が主観品質に及ぼす影響についても導出を行う。マクロブロックの座標系は図１５に示すように、左下を原点として右方向にＸ座標、上方向にＹ座標を取り、各マクロブロックの座標を（Ｘ，Ｙ）と表記する。次に損失が発生したマクロブロック群のＸ座標、Ｙ座標の標本分散値を導出し、以下の式で劣化の局所性が主観品質に及ぼす影響を計算する。
Ｌ＝fＬ（σx，σy）
ただし、ここでは、fＬ（σx，σy）＝σx×σyとするが、乗算以外の任意の演算を行っても良い。劣化の局所性Ｌは評価対象映像のフレーム毎に計算される。このようにして劣化発生領域の重み判定機能部Ｆ１２で導出した各ブロックにおける、ベクトルＥ、Ｍweight、σMVN、Ｃ、Ｌを劣化量情報１２ａとして単一フレームの劣化代表値導出機能部Ｆ１４へ出力する。
【００７６】
次に劣化隠蔽処理特定機能部Ｆ１３の詳細を説明する。データベースＤ１３に格納されている劣化隠蔽に関する情報を入力として、劣化隠蔽処理による主観品質の向上を表すパラメータを出力する。まず劣化隠蔽処理が主観品質へ及ぼす影響を、主観品質評価実験の結果に従って判断する場合を説明する。具体的には表１と表２を使って説明する。
【００７７】
【表１】
【００７８】
【表２】
【００７９】
まず表１に示すように、評価対象とする劣化隠蔽処理の各方式と劣化隠蔽処理を適用しない場合について、シーンの種類とビット列の損失パターンを変えた場合に適用し、それぞれの場合について主観品質を取得する。ただし主観品質評価尺度として、劣化映像の主観品質を絶対値として評価する絶対尺度を用いる。表１では主観品質の例としてMean Opinion Score（ＭＯＳ）を用いており、ＭＯＳefgは、シーンｅ（１≦ｅ≦Ｓ）、損失パターンｆ（１≦ｆ≦Ｍ）、劣化隠蔽方式ｇ（０≦ｇ≦Ｎ）を適用した場合のＭＯＳとなる。ただしｇ＝０の場合は、劣化隠蔽を行わない場合を示している。
【００８０】
このようにして取得した主観品質を表２に示すように、各条件で取得したＭＯＳについて、劣化隠蔽特性を適用しなかった場合のＭＯＳに対する割合Ｗefgを算出する。Ｗefgは、シーンｅ（１≦ｅ≦Ｓ）、データ損失パターンｆ（１≦ｆ≦Ｍ）、劣化隠蔽方式ｇ（０≦ｇ≦Ｎ）を適用した場合の劣化隠蔽方式ｇの主観品質改善作用を表す。各劣化隠蔽方式について、各シーン・データ損失パターンに対する主観品質改善作用の平均化を行う。具体的には以下の式のようになる。
【００８１】
【数１７】
【００８２】
この値を各劣化隠蔽方式に対する主観品質の改善作用の代表値とする。主観品質評価尺度には原映像の品質からの差分で表す劣化尺度（ＤＭＯＳ等）も存在するが、表３と表４に示すように、絶対尺度の場合と同様に導出する。
【００８３】
【表３】
【００８４】
【表４】
【００８５】
ただしこの場合は、各劣化隠蔽方式に対する主観品質の改善作用の代表値は以下のように導出する。利用する品質評価尺度の種類に従ってＷgの選択を行えば良い。
【００８６】
【数１８】
【００８７】
以上で利用した各係数はデータベースＤ１３に格納されている係数である。
また劣化隠蔽処理特定機能部Ｆ１３では主観品質評価実験の結果に従って構築されたデータベースを用いる以外に、符号化された映像のビットストリームや画素信号として復号された情報を用いて、評価対象映像毎に動的に劣化隠蔽処理が主観品質に及ぼす影響を推定する方法を用いても良い。
【００８８】
具体的には、劣化隠蔽処理の効果と周囲のエッジ量には相関関係があることが知られていることから、上記劣化発生領域の重み判定機能部Ｆ１２における絵柄の複雑さが劣化したマクロブロックの主観品質への影響度を測定する機能の第一もしくは第二の場合において導出したベクトルＥを用いて劣化隠蔽特性の重みＷを以下の式で導出する。
【００８９】
【数１９】
【００９０】
ただし、ωはデータベースＤ１３またはＤ１２に格納されている係数で、Ｗは各マクロブロック毎に導出される。この場合のみＷを劣化発生領域の重み判定機能部Ｆ１２で計算して、劣化量情報１２ａとして単一フレームの劣化代表値導出機能部Ｆ１４に出力しても良い。
このようにして劣化隠蔽処理特定機能部Ｆ１３で導出した各マクロブロックにおけるＷgもしくはＷを劣化隠蔽処理情報１３ａとして単一フレームの劣化代表値導出機能部Ｆ１４に出力する。
【００９１】
次に、単一フレームの劣化代表値導出機能部Ｆ１４の詳細を説明する。単一フレームの劣化代表値導出機能部Ｆ１４では、劣化発生領域（位置、数）特定機能部Ｆ１１、劣化発生領域の重み判定機能部Ｆ１２、劣化隠蔽処理特定機能部Ｆ１３の出力１１ａ，１２ａ，１３ａを入力として、あるフレーム内に存在する劣化した全てのマクロブロックの影響を加味した劣化代表値と劣化の局所性をフレーム劣化代表値１４ａとして出力する。具体的には重み関数を用いて以下の式で導出される。
【００９２】
【数２０】
【００９３】
ここで、τはデータベースＤ１４に格納されている係数である。ただし、εは劣化発生領域（位置、数）特定機能部Ｆ１１が導出する、参照先のブロックがＰ属性かＢ属性かＩ属性かで決定される重みである。
【００９４】
【数２１】
【００９５】
は、劣化発生領域の重み判定機能部Ｆ１２が導出する劣化したマクロブロックｉにおけるエッジが主観品質に及ぼす影響ベクトルＥで、Ｍweight（ｉ）は劣化発生領域の重み判定機能部Ｆ１２が導出する劣化したマクロブロックｉにおける動きの大きさが主観品質に与える影響Ｍweightで、σMVNは劣化発生領域の重み判定機能部Ｆ１２が導出する動きの向きが主観品質に与える影響で、Ｃiは劣化発生領域の重み判定機能部Ｆ１２が導出する劣化したマクロブロックｉの位置が主観品質に与える影響Ｃで、Ｗgは劣化隠蔽処理特定機能部Ｆ１３で導出する劣化隠蔽方式ｋの主観品質の改善効果を表し、Ｗgの代わりに数式１９より、
【００９６】
【数２２】
【００９７】
を用いることも可能である。ただし、ｘはフレーム内に存在する劣化したマクロブロックの総数である。重み関数ＷＦ1（ｗ）は任意の関数を取ることが可能であるが、ここでは例として以下の関数を利用する。
ＷＦ1（ｗ）＝ｕ1＊log（ｗ−ｕ2）＋ｕ3
ただし、ｕ1，ｕ2，ｕ3はデータベースＤ１４に格納されている係数である。
【００９８】
また単一フレームの劣化代表値導出機能部Ｆ１４では、オプションとして劣化発生領域（位置、数）特定機能部Ｆ１１、劣化発生領域の重み判定機能部Ｆ１２、劣化隠蔽処理特定機能部Ｆ１３の出力１１ａ，１２ａ，１３ａに基づいて或るスライス内に存在する劣化した全てのマクロブロックの影響を加味した劣化代表値ＤＳを導出する機能がある。具体的には重み関数ＷＦ1（ｗ）を用いて以下の式で導出される。
【００９９】
【数２３】
【０１００】
ただし、ＳＮは劣化したスライス内に存在する劣化したマクロブロックの総数であり、Ｗgの代わりに
【０１０１】
【数２４】
【０１０２】
を用いることも可能である。そして、フレーム劣化代表値１４ａを全フレームの劣化代表値導出機能部Ｆ１５に出力する。
【０１０３】
次に全フレームの劣化代表値導出機能部Ｆ１５の詳細を説明する。全フレームの劣化代表値導出機能部Ｆ１５では、単一フレームの劣化代表値導出機能部Ｆ１４から出力された評価対象映像中に存在する全てのフレームの劣化代表値と劣化の局所性を入力として、評価対象映像の劣化代表値Ｄを全フレーム劣化代表値１５ａとして出力する。劣化代表値Ｄは重み関数ＷＦ2（ｗ）を用いて以下の式で導出される。
【０１０４】
【数２５】
【０１０５】
ここで、Ｌfは劣化発生領域の重み判定機能部Ｆ１２で導出される、フレームｆにおける劣化の局所性が主観品質に与える影響である。重み関数ＷＦ2（ｗ）は任意の関数を取ることが可能であるが、ここでは例として以下の関数を利用する。
ＷＦ2（ｗ）＝ｈ1＊log（ｗ−ｈ2）＋ｈ3
ただし、ｈ1，ｈ2，ｈ3はデータベースＤ１５に格納されている係数であり、Ｆは評価対象映像中に存在する全フレーム数である。またＤfの代わりにＤSを用いても良く、その際は以下の式で評価対象映像の劣化代表値Ｄを導出する。
【０１０６】
【数２６】
【０１０７】
ただし、ＡＳＮは評価対象映像中に存在する全スライス数である。そして、全フレーム劣化代表値１５ａを主観品質推定機能部Ｆ１７に出力する。
【０１０８】
次に符号化劣化に対する主観品質推定機能部Ｆ１６の詳細を説明する。符号化劣化に対する主観品質推定機能部Ｆ１６は、符号化による映像の劣化のみを加味した主観品質Ｅcodedを導出する機能であり、本機能部Ｆ１６では符号化主観品質１６ａとして任意の従来法の出力を利用可能である。ＥcodedをデータベースＤ１６に格納しておいて符号化主観品質１６ａとして出力しても良い。
【０１０９】
次に全フレームの劣化代表値導出機能部Ｆ１５と符号化劣化に対する主観品質推定機能部Ｆ１６の出力を入力として、符号化とパケット損失による映像の劣化を加味した主観品質Ｅallを出力する主観品質推定機能部Ｆ１７の詳細を説明する。主観品質推定機能部Ｆ１７は、関数ｅｖ（ｘ，ｙ）を用いて以下の式で主観品質Ｅallを導出する。
【０１１０】
Ｅall＝ｅｖ（Ｅcoded，Ｄ）
関数ｅｖ（ｖ1，ｖ2）は任意の関数を取ることが可能であるが、ここでは例として以下の関数を利用する。
ｅｖ（ｖ1，ｖ2）＝ｌ1（ｖ1／ｖ2）＋ｌ2
ただし、ｌ1，ｌ2はデータベースＤ１７に格納されている係数である。
【０１１１】
以上により、符号化ビット列に欠損が発生した場合に、精度良く効率的に映像の主観品質を導出することが可能となる。
【０１１２】
（実施の形態２）
本実施の形態は、劣化隠蔽処理の影響を表すパラメータＷgの導出方法以外は、実施の形態１と同様の処理を行う。Ｗgは、空間方向の劣化隠蔽処理の影響を表すＷgSと時間方向の劣化隠蔽処理の影響を表すＷgTを用いて以下の式で導出する。
【０１１３】
Ｗg＝ω1×ＷgS×ＷgT＋ω2×ＷgS＋ω3×ＷgT
ただし、ω1，ω2，ω3はデータベースＤ１３に格納してある係数である。
【０１１４】
空間方向の劣化隠蔽処理の影響を表すＷgSの導出方法を図１７を用いて説明する。
ＷgSを導出する際には、まず図１７において、単一フレーム内の劣化領域と縦横ななめで隣接する周囲マクロブロック（図１７ではマクロブロック１３，１４，１５，２３，２５，２６，３３，３６，４３，４４，４５，４６）に注目する。次に周囲マクロブロック各々について、全ての隣接する周囲マクロブロックとの類似度を計算する。本実施の形態では類似度として、２つのマクロブロックの全画素の輝度情報の平均二乗誤差を用いる。ただし類似度導出はこの方法のみでなく、公知の全ての類似度導出アルゴリズムを用いることができる。本実施の形態では、具体的にマクロブロック１とマクロブロック２が存在する場合に、類似度を以下の式で導出する。
【０１１５】
【数２７】
【０１１６】
ただし、Ｐ1iとＰ2iは、マクロブロック１とマクロブロック２で空間的に同一位置の画素である。
【０１１７】
次に周囲マクロブロック各々について、全ての隣接する周囲マクロブロックとの類似度を導出する（例えば図１７の周囲マクロブロック１４については、隣接する周囲マクロブロック１３と１５の両方と類似度の導出を行う）。周囲マクロブロック各々について、全ての隣接する周囲マクロブロックとの間で導出された類似度を平均し、その値を周囲マクロブロックの類似度代表値とし、全ての周囲マクロブロックの類似度代表値を平均して単一フレームの類似度Ｓframeとする。またそのフレーム内で劣化したマクロブロックの数をＮframeとし、ＷgSを以下の式で導出する。
【０１１８】
【数２８】
【０１１９】
ただし、ω4，ω5，ω6，ω7，ω8はデータベースＤ１３に格納してある係数である。
【０１２０】
次に、時間方向の劣化隠蔽処理の影響を表すＷgTの導出方法についても図１７を用いて説明する。ＷgTを導出する際には、まず図１７で単一フレームｉ（ｉは時系列でｉ番目のフレーム）内の劣化領域（マクロブロック２４，３４，３５）と縦横ななめで隣接する周囲マクロブロック（図１７ではマクロブロック１３，１４，１５，２３，２５，２６，３３，３６，４３，４４，４５，４６）に注目する。同時に時系列でフレームｉと前後するフレームｉ−１とフレームｉ＋１に注目する。まず図１８で示すように、フレームｉの周囲マクロブロック各々について動きベクトルの大きさと向きを検出し、同時にフレームｉ−１とフレームｉ＋１について、フレームｉの周囲マクロブロックの位置と空間的に同一位置の動きベクトルの向きと大きさを検出する。これは参考文献１に従って行う。
【０１２１】
更にフレームｉ−１とフレームｉ＋１の動きベクトルについて、フレームｉの周囲マクロブロックの動きベクトルの内積を計算し、例えば図１７中の周囲マクロブロック１４についてであれば、それぞれＩＰ14iとＩＰ14(i+1)を導出する。そしてＩＰ14iとＩＰ14(i+1)を平均した値としてＡＩＰ14iを導出する。ただし、内積を計算する際の各ベクトルの大きさは一律に１としても良い。同様にしてフレームｉ内の全ての周囲マクロブロックについてＡＩＰΔi（Δは周囲マクロブロック番号）を計算し、全ての周囲マクロブロックのＡＩＰΔiを平均した値を、フレームｉの時間方向の劣化隠蔽処理の影響を表すＷgT＝ＡＩＰiとする。ただしフレームｉ−１とフレームｉ＋１について、フレームｉの周囲マクロブロックと空間的に対応するマクロブロックに動きベクトルが設定されていない場合や損失で失われている場合は、そのマクロブロックの動きベクトルは０ベクトルとしてＷgTを計算する。また本実施の形態では劣化が起きた前後のフレームから内積計算用の動きベクトルを算出したが、任意の２フレームから内積計算用の動きベクトルを算出しても良い。
なお、ＷgSやＷgTは劣化が起きたフレーム毎に再計算される値である。
【符号の説明】
【０１２２】
１…映像品質客観評価装置、２…受信部、３…演算部、４…記憶媒体、５…出力部、６…Ｈ．２６４符号化装置、Ｆ１１…劣化発生領域（位置、数）特定機能部、Ｆ１２…劣化発生領域の重み判定機能部、Ｆ１３…劣化隠蔽処理特定機能部、Ｆ１４…単一フレームの劣化代表値導出機能部、Ｆ１５…全フレームの劣化代表値導出機能部、Ｆ１６…符号化劣化に対する主観品質推定機能部、Ｆ１７…主観品質推定機能部、Ｄ１１〜Ｄ１７…データベース。
【技術分野】
【０００１】
本発明は、映像データの損失による映像品質の劣化を対象とした映像品質客観評価技術に関し、特に人間が映像を見て体感した品質（主観品質）を評価する場合に、多数の被験者が特殊な実験設備内で、実際に映像を視聴して品質を評価する主観品質評価実験を行うことなく、ユーザが視聴する映像の符号化ビット列情報から客観的に主観品質を導出する映像品質客観評価方法、映像品質客観評価装置、及びプログラムに関する。
【背景技術】
【０００２】
従来、符号化された映像のビット列を保存もしくは伝送する際に、ビット列に欠損が発生した場合、映像符号化やＩＰ通信のパラメータ情報を用いて客観的に映像品質評価を行う技術（非特許文献１および非特許文献２参照）や、符号化された映像のビット列を画素信号まで復号し、画素情報を基に客観的に映像品質評価を行う技術（非特許文献３参照）が検討されてきた。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】増田征貴，富永聡子，林孝典，“無効フレーム率を用いたインサービス映像品質管理法"，信学技報，CQ2005-59，pp.55-60，Sept. 2005．
【非特許文献２】ITU-T G.1070,“Opinion model for video-telephony applications,” Apr. 2007．
【非特許文献３】ITU-T J.144,“Objective perceptual video quality measurement techniques for digital cable television in the presence of a full reference,”Feb. 2000．
【発明の概要】
【発明が解決しようとする課題】
【０００４】
非特許文献１や非特許文献２に記載の技術では、評価者が想定する数シーンの平均的な主観品質の推定を行う。しかし実際の映像ではシーン毎にビット列の構成が大きく異なるため、ビット列に損失が発生した場合には、映像のシーンの違いにより主観品質が大きく変動する。従って非特許文献１や非特許文献２の技術では映像シーンの違いを考慮することが難しく良好な推定精度の実現には問題がある。更にＩＰ通信のパラメータ情報を使って主観品質の推定を行う場合、ＩＰ通信以外のプロトコルを利用すると、主観品質の推定が不可能となる。
また、非特許文献３では、符号化された映像のビット列を復号した映像の画素情報を用いて主観品質の推定を試みているが、画素情報への復号には莫大な計算量を要するためリアルタイムに主観品質を推定するには非常に多くの演算量を必要とし、したがって１台当たりの製造コストが高騰することから、低コストが要求されるユーザの映像再生端末（セットトップボックス）等への実装が難しくなる。
【課題を解決するための手段】
【０００５】
このような課題を解決するために本発明は、現在主流である動き補償フレーム間予測とＤＣＴ変換を用いる符号化方式、特にＨ．２６４方式のビット列に損失が発生した場合に、ビット列のみ、もしくはこれを部分的にデコードした画素情報を解析して、ビット列をデコードして得られる映像内における劣化発生領域を検出する領域を検出するステップと、それらの劣化領域が人間に与える影響を重み係数として導出するステップと、映像をデコードする際にデコーダが映像内の劣化を検知しにくくする劣化隠蔽処理による効果を推定するステップと、劣化が発生するフレーム／スライス／動きベクトルのＩＰＢ属性を検出するステップと、これらの情報を総合して映像内の単一フレームにおける劣化の強さを表す値を導出するステップと、単一フレームにおける劣化の強さを，全てのフレームについて導出して，それらを統合してビット列の損失による全フレームの劣化の代表値を導出するステップと，符号化劣化に対する主観品質を推定するステップと、符号化劣化に対する主観品質とビット列の損失による全フレームの劣化の代表値を合わせて総合的な主観品質を推定するステップを備える符号化された映像のビット列に損失が生じた場合の主観品質を推定するものである。
すなわち、本発明は、視聴者が映像を見た時に体感する映像の品質を表す主観品質の推定を行う映像品質客観評価方法であって、動き補償とＤＣＴ変換を利用して符号化された映像のビット列に損失が生じた場合に、損失したビット列と残ったビット列を用いてシーンの違いが主観品質に及ぼす影響を考慮し、かつデコードを必要とせずに主観品質を推定することを特徴とする。
【０００６】
ここで、ビット列の損失が発生した場合に、失われたビット列で保存されていたフレーム（またはスライスまたはマクロブロックまたはサブマクロブロック）の空間もしくは時系列の位置情報を用いて主観品質を推定する 。
また、動き補償機能において他のフレーム（またはスライスまたはマクロブロックまたはサブマクロブロック）から参照される参照先フレーム（またはスライスまたはマクロブロックまたはサブマクロブロック）のビット列に損失が生じている場合は、参照先のフレーム（またはスライスまたはマクロブロックまたはサブマクロブロック）のビット列の損失により参照元のフレーム（またはスライスまたはマクロブロックまたはサブマクロブロック）に与えられる損失に基づいて主観品質を推定する。
【０００７】
また、符号化処理により劣化した主観品質を、ビット列の損失が発生した場合の主観品質の最大値とする。
また、単一のフレーム内で生じた劣化の代表値として、ビット列の損失が起きたブロックの数を重み付きで加算した値を映像品質の客観評価に用いる。
この場合、単一フレーム内で生じた劣化の代表値を、映像を構成する全てのフレームで導出して、それらを重み付きで加算した値を映像品質の客観評価に用いる。
ここで、映像品質の客観評価に用いる重みを、動きベクトルデータの統計量または映像の再生端末が行う劣化隠蔽処理または劣化が発生した位置またはＤＣＴ係数の統計量または局所的な画素情報、またはそれらの組み合わせに応じて決定する。
【０００８】
なお、動きベクトルデータの統計量としては、フレーム内のすべてまたは一部のマクロブロックの動きベクトルの大きさまたは向きに関する統計量を使用する。
また、ＤＣＴ係数の統計量として、フレーム内のすべてまたは一部のマクロブロックのＤＣＴ係数の統計量を使用する。
また、各種の劣化隠蔽処理による主観品質の改善量を予め主観品質評価実験を行うことにより測定してデータベース化し、映像品質の客観評価時には前記データベースを参照して、各劣化隠蔽処理に対してチューニングを行った主観品質を導出する。
また、符号化された映像のビット列もしくは局所的な画素信号として復号された情報を用いて、劣化隠蔽処理による主観品質の改善量を推定する。
また、局所的な画素情報として、損失したビット列中に含まれるマクロブロックに隣接するマクロブロックの画素情報を用いる。
【０００９】
また、本発明は、ビット列の損失が発生した際に、失われたビット列で保存されていた情報が符号化の制御情報である場合は、その符号化制御情報が主観品質に与える影響の度合いに応じて主観品質を推定する。
また、映像品質の客観評価を行う時に符号化方式またはフレームレートまたは映像解像度に応じて評価式の最適化を行う。
【００１０】
このように、現在主流である動き補償フレーム間予測とＤＣＴ変換による符号化方式を用いた映像のビット列の内部は、主に動きベクトルやＤＣＴ係数、また符号化の制御情報（例えば量子化をコントロールする量子化係数／パラメータ等）から構成され、これらの情報は映像のシーン毎にその内容が大きく異なるため、これらの情報を利用することにより映像シーンの違いを考慮した主観品質の評価が可能になる。更にビット列に埋め込まれた情報をそのまま利用し、画素情報を利用しない場合には、取得に莫大な計算量を要する画素情報を必要とせず計算量を大きく低減することが可能になる。また映像のビット列を部分的にデコードした画素情報を取得するには、ビット列に埋め込まれた情報のみを用いる場合に比べて少々負荷が増加するが、映像全体をデコードする場合に比べると大きく計算量を節約できるため、映像シーンの違いを画素情報として考慮するために、この情報を付加的に加えて主観品質の推定を行っても良い。これにより安価な計算機を利用して短時間で精度の良い映像品質客観評価が可能になり、例えば映像サービスにおいて視聴者毎に見ている映像は一般的に異なるが、これらの違いを考慮したが見ている映像毎に主観品質の推定が可能となることで、視聴者毎にきめ細かい品質に関するサポートが可能となることや、映像サービス事業者のヘッドエンドで効率的かつ安価かつチャンネル毎・シーン毎に映像の主観品質を管理すること等が可能になる。更に映像のビット列を取得できれば良いので、ビット列を伝送するプロトコルに依存しない映像品質客観評価が可能である。つまりＩＰ通信以外の通信方式にも拡張可能であるため、様々な通信方式で伝送される映像に対して本方式は適用が可能である。
【発明の効果】
【００１１】
本発明では、符号化ビット列に欠損が発生した場合に、符号化された映像のビット列情報を利用するようにしたことにより、主観品質の推定を効率的かつ精度良く行うことが可能となり、その結果、主観品質評価法や従来の客観品質評価法を本発明に置き換えることにより多大な労力と時間を必要としなくなる。従って、ユーザが感じている主観品質を大規模かつリアルタイムに取得することが可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明に係る映像品質客観評価装置の構成を示すブロック図である。
【図２】上記映像品質客観評価装置を構成する各機能部の概略動作を示すフローチャートである。
【図３】フレーム内のマクロブロック復号状況を示す図である。
【図４】損失マクロブロック内のエッジ推定方法を説明する図である。
【図５】損失マクロブロックとその隣接マクロブロックにおけるエッジの代表値を表す図である。
【図６】損失マクロブロック内のエッジ推定方法を説明する図である。
【図７】８×８ＤＣＴ係数の３次元表示を示す図である。
【図８】８×８ＤＣＴ係数の２次元表示を示す図である。
【図９】動きベクトル導出対象フレームからの相対位置を示す図である。
【図１０】動きベクトルを動きベクトル導出対象フレームから１フレーム後方への射影例を示す図である。
【図１１】動きベクトルを動きベクトル導出対象フレームから１フレーム前方への射影例を示す図である。
【図１２】損失マクロブロック付近の動きベクトル導出対象マクロブロックの状況を示す図である。
【図１３】動きベクトルの向きを説明する図である。
【図１４】注目領域の定義を説明する図である。
【図１５】フレーム内のマクロブロックの座標系を表す図である。
【図１６】上記映像品質評価装置のハードウェア構成を示す図である。
【図１７】フレーム内の劣化したブロックとその隣接ブロックを示す図である。
【図１８】時間方向の劣化隠蔽処理の効果推定方法を説明する図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施の形態について図面を参照して説明する。
（実施の形態１）
本実施の形態の映像品質客観評価装置は、符号化映像のビット列を入力するためのインターフェースと、サーバ装置やパーソナルコンピュータなどの演算装置と、記憶装置とからなる情報処理装置から構成され、符号化映像のビット列を入力し、入力映像に対応した主観品質を出力するものである。そのハードウェア構成としては、図１６に示すように、受信部２、演算部３、記憶媒体４および出力部５からなる。ここで、図１６に示すＨ．２６４符号化装置６は、入力映像を後述するＨ．２６４方式により符号化する。そして、符号化された映像ビット列は伝送網内を伝送データとして通信され映像品質客観評価装置１に送信される。
【００１４】
映像品質客観評価装置１は、その伝送データ、すなわち前記符号化されたビット列を受信部２で受信する。そして、ＣＰＵが記憶媒体４に記憶されたプログラムを読み出して実行することにより、演算部３の機能を実現する。すなわち、演算部３は受信部２で受信されたビット列の情報を利用して各種の演算処理を行い、その演算処理結果を表示部などの出力部５に出力することにより、映像の主観品質を推定するものである。
ここで、演算部３の演算処理機能としては、具体的には、図１に示すように、係数データベースＤ１１〜Ｄ１７と、劣化発生領域特定機能部Ｆ１１と、劣化発生領域の重み判定機能部Ｆ１２と、劣化隠蔽処理特定機能部Ｆ１３と、単一フレームの劣化代表値導出機能部Ｆ１４と、全フレームの劣化代表値導出機能部Ｆ１５と、符号化劣化に対する主観品質推定機能部Ｆ１６と、主観品質推定機能部Ｆ１７とがある。
【００１５】
ここで、この映像品質客観評価装置１では、動き補償とＤＣＴ変換を用いるＨ．２６４方式の符号化された映像のビット列に欠損が生じた場合に、符号化された映像のビット列の正常部分と欠損部分の内容を利用して映像の主観品質の推定を行う。原理的には動き補償とＤＣＴ変換を用いる符号化方式に応用可能である。
【００１６】
以下、図１を参照して、この映像品質客観評価装置を構成する各機能部の機能について具体的に説明する。各機能部には必要なメモリを備えている。
劣化発生領域（位置、数）特定機能部Ｆ１１は、入力された符号化映像のビット列を走査してビット列に欠損が生じている場合に、フレーム内で劣化が発生したマクロブロックの位置と数を特定して劣化情報１１ａと１１ｂをそれぞれ劣化代表値導出機能部Ｆ１４と、重み判定機能部Ｆ１２とに出力する。
【００１７】
劣化発生領域の重み判定機能部Ｆ１２は、劣化発生領域特定機能部Ｆ１１から入力した劣化情報１１ｂを走査して、劣化が発生したマクロブロックの位置や、その周辺に存在するマクロブロックの動きや絵柄の複雑さから、劣化したマクロブロックの主観品質への影響度を測定し、劣化量情報１２ａとして劣化代表値導出機能部Ｆ１４に出力する。
【００１８】
劣化隠蔽処理特定機能部Ｆ１３は、予めデータベース化された、もしくは動的に導出された劣化隠蔽処理による主観品質への影響度に関する重みを、利用する劣化隠蔽処理によって切り替え、その結果を劣化隠蔽処理情報１３ａとして劣化代表値導出機能部Ｆ１４に出力する。
【００１９】
単一フレームの劣化代表値導出機能部Ｆ１４は、各機能部Ｆ１１、Ｆ１２，Ｆ１３からの出力である劣化情報１１ａ，劣化量情報１２ａ，劣化隠蔽処理情報１３ａに基づいて、単一フレームに存在する劣化した全てのマクロブロックの影響を加味した劣化の強さの代表値を導出して、フレーム劣化代表値１４ａとして全フレームの劣化代表値導出機能部Ｆ１５に出力する。
【００２０】
全フレームの劣化代表値導出機能部Ｆ１５は、単一フレームの劣化代表値導出機能部Ｆ１４からの出力であるフレーム劣化代表値１４ａに基づいて、評価対象映像中に存在する全てのフレームの劣化の強さの代表値を導出し、評価対象映像全体の劣化の強さとしてまとめ、そのまとめた値を代表値として導出して全フレーム劣化代表値１５ａとして主観品質推定機能部Ｆ１７に出力する。
【００２１】
符号化劣化に対する主観品質推定機能部Ｆ１６は、符号化による映像の劣化のみを加味した主観品質を導出して符号化主観品質１６ａとして主観品質推定機能部Ｆ１７に出力する。この場合、主観品質推定機能部Ｆ１６は、符号化処理により劣化した主観品質を主観品質の最大値とする。主観品質推定機能部Ｆ１７は、全フレームの劣化代表値導出機能部Ｆ１５からの全フレーム劣化代表値１５ａと、符号化劣化に対する主観品質推定機能部Ｆ１６からの符号化主観品質１６ａに基づいて、符号化とビット列の損失による映像の劣化を加味した主観品質を導出する。
【００２２】
なお、各機能部Ｆ１１，Ｆ１２，Ｆ１３，Ｆ１４，Ｆ１５，Ｆ１６，Ｆ１７には、各機能部でそれぞれ利用する評価式の係数のデータベースＤ１１，Ｄ１２，Ｄ１３，Ｄ１４，Ｄ１５，Ｄ１６，Ｄ１７が前述したようにそれぞれ付属している。各データベースＤ１１〜Ｄ１７には、評価式の最適化を行うための評価対象映像の符号化方式や解像度やフレームレート毎に異なる係数が格納されている。これらの係数は、予め実施された主観品質評価実験の結果に基づいて、各評価式で回帰分析を実施することで決定しても良いし、任意の値を利用しても良い。
【００２３】
次に、図１に示すブロック図と図２に示すフローチャートを中心とし他の図も参照しながら、本映像品質客観評価装置を構成する各機能部の詳細な動作を説明する。なお、以下で示す画素信号やＤＣＴ係数は全て輝度に関するものとする。ただし、色差信号について同様の処理を適用することもできる。
【００２４】
劣化発生領域（位置、数）特定機能部Ｆ１１では、映像の符号化ビット列を入力として、まずＨ．２６４方式の可変長符号を復号する必要がある。これを行うためには、参考文献１（ITU-T H.264, “Advanced video coding for generic audiovisual services,”Feb. 2000．）に準拠するＨ．２６４復号器を利用する。そして、復号後には、Ｈ．２６４符号化の制御情報を含むＳＰＳ（Sequence Parameter Set）やＰＰＳ（Picture Parameter Set）等のシンタックス情報に加えて、動き補償やＤＣＴ変換符号化で用いられる動きベクトルやＤＣＴ係数等の符号化情報が、マクロブロックもしくはサブマクロブロック毎に取得できる。具体的には参考文献１に記載されている仕様に従う。
【００２５】
符号化されたビット列に損失が発生した場合には機能部Ｆ１１で正常に復号できなくなるため、マクロブロックやサブマクロブロックで画素信号を計算するための動きベクトルやＤＣＴ係数等の情報、また符号化制御情報が正常に取得できなくなる。映像品質客観評価装置の記憶領域にマクロブロック単位の復号の成功と失敗を集計するためのフラグを用意し、符号化ビット列を走査して復号するために十分なデータが存在しないマクロブロックやサブマクロブロックについてはフラグを立てると、図３に示すような復号成否状況を得ることができる。
【００２６】
図３に示すような復号成否状況により、復号を失敗して劣化したマクロブロックやサブマクロブロックの位置と数を検出できる。また、ＳＰＳやＰＰＳなどの符号化制御情報に損失が起きている場合は、ＳＰＳについては対応するシーケンス（評価対象映像全体）の全てのマクロブロックが損失、ＰＰＳについては対応するピクチャ（フレームもしくはフィールド）の全てのマクロブロックが損失したとみなす。図中のマクロブロックの数とスライスの形状は一例である。
【００２７】
更に、Ｈ．２６４方式の動き推定機能を使って、復号を失敗したマクロブロックやサブマクロブロックが他のマクロブロックやサブマクロブロックから参照されている場合、参照元のマクロブロックやサブマクロブロックにもそのＩＰＢ属性に応じて劣化が生じる。ＩＰＢの属性については上記参考文献１に記載されている。参照先のマクロブロックやサブマクロブロックの復号に失敗している場合、参照元のマクロブロックがＰフレームの場合は予め係数データベースＤ１１に格納されている劣化重みε＝ａ1、Ｂフレームの場合は劣化重みε＝ａ2を選択する。これに加えてＩフレームではフレーム内予測がＨ．２６４では用いられるため、同様に参照先のマクロブロックやサブマクロブロックの復号が失敗している場合、劣化重みε＝ａ3を選択し、予測を使わない場合は劣化重みε＝ａ4を選択する。これらの処理により、評価対象映像中で欠損が生じたマクロブロックやサブマクロブロックの特定が可能となる。
【００２８】
この段階で、サブマクロブロック単位で損失が発生している場合は、そのサブマクロブロックを包含するマクロブロック単位で損失が発生しているとみなす。復号を失敗して劣化したマクロブロックの位置と数に加えて、映像の符号化ビット列、重みεを劣化情報１１ａ，１１ｂとして劣化代表値導出機能部Ｆ１４と、重み判定機能部Ｆ１２とに出力する。
【００２９】
劣化発生領域の重み判定機能部Ｆ１２については、劣化情報１１ｂを入力情報として、以下に示す劣化発生領域を表す重みパラメータを出力する。まず絵柄の複雑さによる、劣化したマクロブロックの主観品質への影響度の変化を測定する機能から説明する。
第一に部分的な画素信号の取得が可能である場合について示す。画素信号は、Ｈ．２６４符号化の制御情報に加えて、動き補償やＤＣＴ変換符号化で用いられる動きベクトルやＤＣＴ係数を上記の参考文献１で示されるアルゴリズムに適用して取得できる。
【００３０】
具体的には損失したマクロブロックの上下左右のマクロブロックのみ画素信号の取得をし、これは上記参考文献１に従って行う。絵柄の複雑さの代表的な指標の一つとしてＳｏｂｅｌフィルタを利用したエッジの大きさと方向が挙げられる。ここでは劣化したマクロブロックにおけるエッジの有無が主観品質を変動させると考え、劣化したマクロブロックに隣接するマクロブロックから、劣化したマクロブロックに対してエッジが連続的に存在するかどうか推定する。
【００３１】
具体的には図４と図５を用いて説明する。まず図４では劣化したマクロブロックと隣接する４つのマクロブロックを示している。各隣接マクロブロックには、劣化したマクロブロックとの境界に１列の画素が並んでおり、その更に１列奥の画素列（劣化したマクロブロックと隣接マクロブロックの境界から数えて２列目の隣接マクロブロック内の画素列）をＳｏｂｅｌフィルタによるエッジ導出に用いる。Ｓｏｂｅｌフィルタを利用するとエッジは大きさと方向を持つ量、つまりベクトル量として導出されるため、各隣接マクロブロックのエッジ導出対象画素列で求めたエッジを以下のように定義する。
【００３２】
【数１】
【００３３】
ただし、ｉは隣接マクロブロックの識別子（図４のマクロブロック１〜マクロブロック４に相当）、ｊは劣化したマクロブロックと隣接マクロブロックの境界に存在する画素数、ここでｍはＳｏｂｅｌフィルタによるエッジ導出対象画素列に存在する画素数を表す。これより各隣接マクロブロックにおいて、Ｓｏｂｅｌフィルタによるエッジ導出対象画素列で導出したエッジの代表値
【００３４】
【数２】
【００３５】
を以下のように導出する。
【００３６】
【数３】
【００３７】
ただし、演算子
【００３８】
【数４】
【００３９】
は、自然数Ａ1〜Ａmを参照して最大となる値を出力し、θは図５に示すように劣化したマクロブロックと隣接マクロブロックの境界面に対するベクトルＥ｛i｝jの角度である。ここでは、演算子maxを使って大きさが最大となるベクトルを出力するように設定したが、代わりに任意の統計量、例えば最小値や平均値や分散などを使用しても良い。
更に各隣接マクロブロックで導出したベクトルＥ｛i｝の代表値（即ち、ベクトルＥ）を以下のように導出する。
【００４０】
【数５】
【００４１】
ここで、μはデータベースＤ１２に格納されている係数である。ここでは演算子maxを使って大きさが最大となるベクトルを出力するように設定したが、代わりに任意の統計量、例えば最小値や平均値や分散などを使用しても良い。ただし、隣接マクロブロックが劣化している、もしくは存在しない場合には、その隣接マクロブロックは代表値（即ち、ベクトルＥ）の導出に利用しない。また全ての隣接するマクロブロックでベクトルＥ｛i｝が導出できない場合は、ベクトルＥの絶対値をデータベース１２に格納されている任意の定数（例えば０）とする。これにより単一フレーム内に存在する全ての劣化したマクロブロックについて、絵柄の複雑さによる、劣化したマクロブロックの主観品質へ与える影響を測定できる。
【００４２】
絵柄の複雑さによる、劣化したマクロブロックの主観品質への影響度の変化を測定する機能について、第二に符号化された映像のビット列情報のみが利用できる場合を示す。第一の場合と同様に、劣化したマクロブロックにおけるエッジの有無が主観品質を変動させると考え、劣化したマクロブロックに隣接するマクロブロックから、劣化したマクロブロックに対してエッジが連続的に存在するかどうか推定する。具体的には図６、図７、図８を用いて説明する。
【００４３】
図６では劣化したマクロブロックと隣接する４つのマクロブロックを示している。図４と類似しているが、図４では各マクロブロックは画素情報で構成されていたのに対し、図６ではＤＣＴ係数で構成されている。図６の各隣接マクロブロックがＩスライスやＩフレームの一部であれば以下に記載の処理をそのまま実行するが、隣接マクロブロックの中にＰ属性またはＢ属性のマクロブロックが存在している場合は、フレーム内の空間的な位置は全く同じで、最も時系列で近い位置にあるＩ属性のマクロブロックを代替として用いてもよいし、代替せずそのまま処理を続行しても良い。
【００４４】
各マクロブロックのＤＣＴ係数の例は具体的には図７のように配置されている。ここで、ｘ軸が水平方向周波数を表し、ｙ軸が垂直方向周波数を表し、ｚ軸にＤＣＴ係数が表わされている。なお図７は８×８画素のブロックに対してＤＣＴ変換を適用した場合を示しており、４×４画素のブロックに対してＤＣＴ変換を適用した場合は、水平方向周波数、垂直方向周波数ともに、１以上４以下の整数値が変動範囲となる。また１６×１６画素のブロックに対してＤＣＴ変換を適用した場合は、水平方向周波数、垂直方向周波数ともに、１以上１６以下の整数値が変動範囲となる。つまりｎ×ｎ画素（ｎは１以上の整数値）のブロックに対してＤＣＴ変換を適用した場合は、水平方向周波数、垂直方向周波数ともに、１以上ｎ以下の整数値が変動範囲となる。
【００４５】
図８に、図７のｘ軸である水平方向周波数、ｙ軸である垂直方向周波数を表示した図を示す。図８では、ｘ軸とｙ軸が同等の値になる対角線Ａ上のＤＣＴ係数群の上方に存在するＤＣＴ係数群をグループ１、下方に存在するＤＣＴ係数群をグループ２とする。グループ１は垂直方向周波数が水平方向周波数より高くなる領域、つまり横方向のエッジが縦方向のエッジよりも強めとなる領域であり、グループ２は水平方向周波数が垂直方向周波数より高くなる領域、つまり縦方向のエッジが横方向のエッジよりも強めとなる領域である。
【００４６】
図８の座標を（水平方向周波数、垂直方向周波数）として、座標（ｐ，ｑ）のＤＣＴ係数をＤｐｑとし、以下の計算式で縦方向のエッジＥV（即ち、ベクトルＥV）の強さ
【００４７】
【数６】
【００４８】
と、横方向のエッジＥｈ（即ち、ベクトルＥｈ）の強さであるベクトルＥｈの絶対値を計算する。ただし式中のｎは、エッジ導出対象のマクロブロックがｎ×ｎであることを示している。
【００４９】
【数７】
【００５０】
このエッジの強さの導出処理を使って、図６の隣接マクロブロック１と隣接マクロブロック３ではベクトルＥνの絶対値導出を行い、隣接マクロブロック２と隣接マクロブロック４ではベクトルＥｈの絶対値導出を行う。これらのエッジの強さを各隣接マクロブロックのエッジの強さの代表値ベクトルＥ｛i｝とし、ｉは隣接マクロブロックの識別子（１≦ｉ≦４）とする。更に各隣接マクロブロックで導出したベクトルＥ｛i｝の代表値ベクトルＥを以下のように導出する。
【００５１】
【数８】
【００５２】
ここで、μはデータベースＤ１２に格納されている係数である。ここでは演算子maxを使って大きさが最大となるベクトルを出力するように設定したが、代わりに任意の統計量、例えば最小値や平均値や分散などを使用しても良い。ただし、隣接マクロブロックが劣化している、もしくは存在しない場合には、その隣接マクロブロックはベクトルＥの導出に利用しない。また全ての隣接するマクロブロックでベクトルＥ｛i｝が導出できない場合は、ベクトルＥの絶対値をデータベースＤ１２に格納されている任意の定数（例えば０）とする。これにより単一フレーム内に存在する全ての劣化したマクロブロックについて、絵柄の複雑さが劣化したマクロブロックの主観品質へ与える影響の大きさを測定できる。
【００５３】
劣化発生領域の重み判定機能部Ｆ１２について、次に劣化が発生したマクロブロックの周辺に存在するマクロブロックの動きの大きさが、主観品質へ与える影響を測定する機能を説明する。動きの大きさによる主観品質への影響は動きベクトルの代表値に基づいて判定し、動きベクトルの代表値の導出方法については、図９、図１０、図１１、図１２を用いて説明する。
【００５４】
まずフレーム全体の動きベクトルの代表値の導出方法を示す。図９に示すように、Ｈ．２６４方式では動きベクトルの導出に用いる参照フレームを、前方、後方に限らず、マクロブロック・サブマクロブロック単位で任意の２つ選ぶことが可能である。これは原理的にはＭＰＥＧ２やＭＰＥＧ４の双方向フレームに応用可能である。そこでマクロブロック・サブマクロブロック毎に設定される動きベクトルの大きさを各ブロックについて比較可能とするために正規化を行い、動きベクトルの導出対象フレームの前方、後方１フレームに各マクロブロック・サブマクロブロックの動きベクトルを射影する。具体的な処理を図１０、図１１で説明する。
【００５５】
図１０は、動きベクトルの導出対象フレームｓ中のｔ番目のブロックＭＢｓｔの参照フレームが、フレームｓの（ｒ＋１）フレーム後方にある場合を示している。図１０のように動きベクトルの導出対象フレームｓから参照フレーム上に動きベクトル
【００５６】
【数９】
【００５７】
が存在しており（ベクトルＭＶstと表記）、以下のようにしてベクトルＭＶstを、動きベクトルの導出対象フレームｓから１フレーム後方のフレーム上に存在するベクトルＭＶ’stに射影する。
【００５８】
【数１０】
【００５９】
また図１１は、動きベクトルの導出対象フレームｓ中のｔ番目のブロックＭＢstの参照フレームが、フレームｓの（ｒ＋１）フレーム前方にある場合を示している。図１１のように動きベクトルの導出対象フレームｓから参照フレーム上に動きベクトルＭＶstが存在しており、以下のようにしてベクトルＭＶstを動きベクトルの導出対象フレームｓから１フレーム前方へのベクトルＭＶ’stに射影する。
【００６０】
【数１１】
【００６１】
以上の処理により、動きベクトルの導出対象フレームｓの全てのマクロブロック・サブマクロブロックｔ（１≦ｔ≦ｘ）毎に設定される動きベクトルを、ｓ±１フレーム上のベクトルへ射影することが可能となる。ただし、ｘはフレームｓ内のブロック数である。なお、動きベクトルの導出対象フレームｓの参照フレームが２フレームある場合は，両方の参照フレームについて上記処理により射影した動きベクトルを導出し、その平均ベクトルを動きベクトルの導出対象フレームｓの各ブロックのＭＶ’stとする。
以上で導出した動きベクトルの導出対象フレームｓ上のベクトルＭＶ’stを用いて、以下の式で動きベクトルの導出対象フレームｓの統計量であるベクトルの大きさの平均を導出する。ただし平均以外にも最大値や最小値や標準偏差や分散等の各種統計量を代替として用いることが可能である。また下式中の
【００６２】
【数１２】
【００６３】
はベクトルの大きさを表すものとする。
【００６４】
【数１３】
【００６５】
ただし、演算子
【００６６】
【数１４】
【００６７】
は自然数Ａ1〜Ａmを参照して平均となる値を出力する。
また図１２に示すように、劣化したマクロブロックを囲む２４個のマクロブロックについて、フレーム全体の動きベクトル統計量を導出した場合と同様の処理を行い、２４個のマクロブロックの動きベクトルの代表値
【００６８】
【数１５】
【００６９】
を各劣化マクロブロック毎に導出する。ただし、フレームｓで劣化したマクロブロックの数をＴとする。
このようにして求めたＭＶave（ｓ）とベクトルＭＶave（ｔ）とを利用して、損失が発生したマクロブロックの周辺に存在するマクロブロック群の動きの大きさが劣化したマクロブロックの主観品質へ与える影響度を表す重みを以下の式で導出する。
【００７０】
【数１６】
【００７１】
ただし、α、βはデータベースＤ１２に格納されている係数である。また、式内のａｖｅによる平均演算は、最大値・最小値・その他の統計量に置き換えが可能である。
以上の処理は損失したマクロブロックがＰ属性またはＢ属性の場合に適用され、Ｉ属性の場合には、ＭweightはデータベースＤ１２に格納されている任意の定数とする（例えば１）。また、計算に必要となるマクロブロックやサブマクロブロックが劣化している場合は、それらの存在は無視し、存在するマクロブロックやサブマクロブロックから上記統計量を導出する。
【００７２】
また劣化発生領域の重み判定機能部Ｆ１２について、次に劣化が発生したマクロブロックの周辺に存在するマクロブロックの動きの向きによる、主観品質への影響を測定する機能を説明する。動きの向きによる主観品質への影響度合いは動きベクトルの代表値に基づいて判定し、動きベクトルの代表値の導出方法については、図１３を用いて説明する。
【００７３】
まず評価対象映像中に存在する全てのマクロブロックを参照し、動きベクトルが設定されているマクロブロックについては、図１３に基づいて、領域１〜領域８までのどの領域に存在するか判定を行う。例として動きベクトル０を示しているが、動きベクトル０は領域２に存在していることを示している。評価対象映像フレームに存在する全マクロブロックについて同様の処理を適用し、各領域に存在する動きベクトルの数をカウントし、各領域の動きベクトルの総数ＭＶＮNUM（１≦ＮＵＭ≦８）を導出する。ただしＮＵＭは領域の識別子である。こうして導出したＭＶＮNUMについて、各ＭＶＮNUMの標本分散σMVNを導出する。こうして求めたσMVNをマクロブロックの動きの向きが劣化したマクロブロックの主観品質へ与える影響度合を表す重みとする。
【００７４】
劣化発生領域の重み判定機能部Ｆ１２について、次に劣化したマクロブロックの発生位置が劣化したマクロブロックの主観品質へ与える影響度を導出する。詳細を図１４に示す。図１４に示す通り、縦横の長さ５０％となる中心の領域を注目領域と設定し、劣化したマクロブロックが注目領域上である場合、劣化したマクロブロックの発生位置が劣化したマクロブロックの主観品質へ与える影響度を表す重みＣをＣ＝c1とし、劣化したマクロブロックが注目領域上ではない場合はＣ＝c2とする。ただし、c1，c2はデータベースＤ１２に格納されている定数である。劣化したマクロブロックの発生位置が劣化したマクロブロックの主観品質へ与える影響度を表す重みＣは、評価対象映像のマクロブロック毎に計算される。
【００７５】
また劣化発生領域の重み判定機能部Ｆ１２では、劣化の局所性が主観品質に及ぼす影響についても導出を行う。マクロブロックの座標系は図１５に示すように、左下を原点として右方向にＸ座標、上方向にＹ座標を取り、各マクロブロックの座標を（Ｘ，Ｙ）と表記する。次に損失が発生したマクロブロック群のＸ座標、Ｙ座標の標本分散値を導出し、以下の式で劣化の局所性が主観品質に及ぼす影響を計算する。
Ｌ＝fＬ（σx，σy）
ただし、ここでは、fＬ（σx，σy）＝σx×σyとするが、乗算以外の任意の演算を行っても良い。劣化の局所性Ｌは評価対象映像のフレーム毎に計算される。このようにして劣化発生領域の重み判定機能部Ｆ１２で導出した各ブロックにおける、ベクトルＥ、Ｍweight、σMVN、Ｃ、Ｌを劣化量情報１２ａとして単一フレームの劣化代表値導出機能部Ｆ１４へ出力する。
【００７６】
次に劣化隠蔽処理特定機能部Ｆ１３の詳細を説明する。データベースＤ１３に格納されている劣化隠蔽に関する情報を入力として、劣化隠蔽処理による主観品質の向上を表すパラメータを出力する。まず劣化隠蔽処理が主観品質へ及ぼす影響を、主観品質評価実験の結果に従って判断する場合を説明する。具体的には表１と表２を使って説明する。
【００７７】
【表１】
【００７８】
【表２】
【００７９】
まず表１に示すように、評価対象とする劣化隠蔽処理の各方式と劣化隠蔽処理を適用しない場合について、シーンの種類とビット列の損失パターンを変えた場合に適用し、それぞれの場合について主観品質を取得する。ただし主観品質評価尺度として、劣化映像の主観品質を絶対値として評価する絶対尺度を用いる。表１では主観品質の例としてMean Opinion Score（ＭＯＳ）を用いており、ＭＯＳefgは、シーンｅ（１≦ｅ≦Ｓ）、損失パターンｆ（１≦ｆ≦Ｍ）、劣化隠蔽方式ｇ（０≦ｇ≦Ｎ）を適用した場合のＭＯＳとなる。ただしｇ＝０の場合は、劣化隠蔽を行わない場合を示している。
【００８０】
このようにして取得した主観品質を表２に示すように、各条件で取得したＭＯＳについて、劣化隠蔽特性を適用しなかった場合のＭＯＳに対する割合Ｗefgを算出する。Ｗefgは、シーンｅ（１≦ｅ≦Ｓ）、データ損失パターンｆ（１≦ｆ≦Ｍ）、劣化隠蔽方式ｇ（０≦ｇ≦Ｎ）を適用した場合の劣化隠蔽方式ｇの主観品質改善作用を表す。各劣化隠蔽方式について、各シーン・データ損失パターンに対する主観品質改善作用の平均化を行う。具体的には以下の式のようになる。
【００８１】
【数１７】
【００８２】
この値を各劣化隠蔽方式に対する主観品質の改善作用の代表値とする。主観品質評価尺度には原映像の品質からの差分で表す劣化尺度（ＤＭＯＳ等）も存在するが、表３と表４に示すように、絶対尺度の場合と同様に導出する。
【００８３】
【表３】
【００８４】
【表４】
【００８５】
ただしこの場合は、各劣化隠蔽方式に対する主観品質の改善作用の代表値は以下のように導出する。利用する品質評価尺度の種類に従ってＷgの選択を行えば良い。
【００８６】
【数１８】
【００８７】
以上で利用した各係数はデータベースＤ１３に格納されている係数である。
また劣化隠蔽処理特定機能部Ｆ１３では主観品質評価実験の結果に従って構築されたデータベースを用いる以外に、符号化された映像のビットストリームや画素信号として復号された情報を用いて、評価対象映像毎に動的に劣化隠蔽処理が主観品質に及ぼす影響を推定する方法を用いても良い。
【００８８】
具体的には、劣化隠蔽処理の効果と周囲のエッジ量には相関関係があることが知られていることから、上記劣化発生領域の重み判定機能部Ｆ１２における絵柄の複雑さが劣化したマクロブロックの主観品質への影響度を測定する機能の第一もしくは第二の場合において導出したベクトルＥを用いて劣化隠蔽特性の重みＷを以下の式で導出する。
【００８９】
【数１９】
【００９０】
ただし、ωはデータベースＤ１３またはＤ１２に格納されている係数で、Ｗは各マクロブロック毎に導出される。この場合のみＷを劣化発生領域の重み判定機能部Ｆ１２で計算して、劣化量情報１２ａとして単一フレームの劣化代表値導出機能部Ｆ１４に出力しても良い。
このようにして劣化隠蔽処理特定機能部Ｆ１３で導出した各マクロブロックにおけるＷgもしくはＷを劣化隠蔽処理情報１３ａとして単一フレームの劣化代表値導出機能部Ｆ１４に出力する。
【００９１】
次に、単一フレームの劣化代表値導出機能部Ｆ１４の詳細を説明する。単一フレームの劣化代表値導出機能部Ｆ１４では、劣化発生領域（位置、数）特定機能部Ｆ１１、劣化発生領域の重み判定機能部Ｆ１２、劣化隠蔽処理特定機能部Ｆ１３の出力１１ａ，１２ａ，１３ａを入力として、あるフレーム内に存在する劣化した全てのマクロブロックの影響を加味した劣化代表値と劣化の局所性をフレーム劣化代表値１４ａとして出力する。具体的には重み関数を用いて以下の式で導出される。
【００９２】
【数２０】
【００９３】
ここで、τはデータベースＤ１４に格納されている係数である。ただし、εは劣化発生領域（位置、数）特定機能部Ｆ１１が導出する、参照先のブロックがＰ属性かＢ属性かＩ属性かで決定される重みである。
【００９４】
【数２１】
【００９５】
は、劣化発生領域の重み判定機能部Ｆ１２が導出する劣化したマクロブロックｉにおけるエッジが主観品質に及ぼす影響ベクトルＥで、Ｍweight（ｉ）は劣化発生領域の重み判定機能部Ｆ１２が導出する劣化したマクロブロックｉにおける動きの大きさが主観品質に与える影響Ｍweightで、σMVNは劣化発生領域の重み判定機能部Ｆ１２が導出する動きの向きが主観品質に与える影響で、Ｃiは劣化発生領域の重み判定機能部Ｆ１２が導出する劣化したマクロブロックｉの位置が主観品質に与える影響Ｃで、Ｗgは劣化隠蔽処理特定機能部Ｆ１３で導出する劣化隠蔽方式ｋの主観品質の改善効果を表し、Ｗgの代わりに数式１９より、
【００９６】
【数２２】
【００９７】
を用いることも可能である。ただし、ｘはフレーム内に存在する劣化したマクロブロックの総数である。重み関数ＷＦ1（ｗ）は任意の関数を取ることが可能であるが、ここでは例として以下の関数を利用する。
ＷＦ1（ｗ）＝ｕ1＊log（ｗ−ｕ2）＋ｕ3
ただし、ｕ1，ｕ2，ｕ3はデータベースＤ１４に格納されている係数である。
【００９８】
また単一フレームの劣化代表値導出機能部Ｆ１４では、オプションとして劣化発生領域（位置、数）特定機能部Ｆ１１、劣化発生領域の重み判定機能部Ｆ１２、劣化隠蔽処理特定機能部Ｆ１３の出力１１ａ，１２ａ，１３ａに基づいて或るスライス内に存在する劣化した全てのマクロブロックの影響を加味した劣化代表値ＤＳを導出する機能がある。具体的には重み関数ＷＦ1（ｗ）を用いて以下の式で導出される。
【００９９】
【数２３】
【０１００】
ただし、ＳＮは劣化したスライス内に存在する劣化したマクロブロックの総数であり、Ｗgの代わりに
【０１０１】
【数２４】
【０１０２】
を用いることも可能である。そして、フレーム劣化代表値１４ａを全フレームの劣化代表値導出機能部Ｆ１５に出力する。
【０１０３】
次に全フレームの劣化代表値導出機能部Ｆ１５の詳細を説明する。全フレームの劣化代表値導出機能部Ｆ１５では、単一フレームの劣化代表値導出機能部Ｆ１４から出力された評価対象映像中に存在する全てのフレームの劣化代表値と劣化の局所性を入力として、評価対象映像の劣化代表値Ｄを全フレーム劣化代表値１５ａとして出力する。劣化代表値Ｄは重み関数ＷＦ2（ｗ）を用いて以下の式で導出される。
【０１０４】
【数２５】
【０１０５】
ここで、Ｌfは劣化発生領域の重み判定機能部Ｆ１２で導出される、フレームｆにおける劣化の局所性が主観品質に与える影響である。重み関数ＷＦ2（ｗ）は任意の関数を取ることが可能であるが、ここでは例として以下の関数を利用する。
ＷＦ2（ｗ）＝ｈ1＊log（ｗ−ｈ2）＋ｈ3
ただし、ｈ1，ｈ2，ｈ3はデータベースＤ１５に格納されている係数であり、Ｆは評価対象映像中に存在する全フレーム数である。またＤfの代わりにＤSを用いても良く、その際は以下の式で評価対象映像の劣化代表値Ｄを導出する。
【０１０６】
【数２６】
【０１０７】
ただし、ＡＳＮは評価対象映像中に存在する全スライス数である。そして、全フレーム劣化代表値１５ａを主観品質推定機能部Ｆ１７に出力する。
【０１０８】
次に符号化劣化に対する主観品質推定機能部Ｆ１６の詳細を説明する。符号化劣化に対する主観品質推定機能部Ｆ１６は、符号化による映像の劣化のみを加味した主観品質Ｅcodedを導出する機能であり、本機能部Ｆ１６では符号化主観品質１６ａとして任意の従来法の出力を利用可能である。ＥcodedをデータベースＤ１６に格納しておいて符号化主観品質１６ａとして出力しても良い。
【０１０９】
次に全フレームの劣化代表値導出機能部Ｆ１５と符号化劣化に対する主観品質推定機能部Ｆ１６の出力を入力として、符号化とパケット損失による映像の劣化を加味した主観品質Ｅallを出力する主観品質推定機能部Ｆ１７の詳細を説明する。主観品質推定機能部Ｆ１７は、関数ｅｖ（ｘ，ｙ）を用いて以下の式で主観品質Ｅallを導出する。
【０１１０】
Ｅall＝ｅｖ（Ｅcoded，Ｄ）
関数ｅｖ（ｖ1，ｖ2）は任意の関数を取ることが可能であるが、ここでは例として以下の関数を利用する。
ｅｖ（ｖ1，ｖ2）＝ｌ1（ｖ1／ｖ2）＋ｌ2
ただし、ｌ1，ｌ2はデータベースＤ１７に格納されている係数である。
【０１１１】
以上により、符号化ビット列に欠損が発生した場合に、精度良く効率的に映像の主観品質を導出することが可能となる。
【０１１２】
（実施の形態２）
本実施の形態は、劣化隠蔽処理の影響を表すパラメータＷgの導出方法以外は、実施の形態１と同様の処理を行う。Ｗgは、空間方向の劣化隠蔽処理の影響を表すＷgSと時間方向の劣化隠蔽処理の影響を表すＷgTを用いて以下の式で導出する。
【０１１３】
Ｗg＝ω1×ＷgS×ＷgT＋ω2×ＷgS＋ω3×ＷgT
ただし、ω1，ω2，ω3はデータベースＤ１３に格納してある係数である。
【０１１４】
空間方向の劣化隠蔽処理の影響を表すＷgSの導出方法を図１７を用いて説明する。
ＷgSを導出する際には、まず図１７において、単一フレーム内の劣化領域と縦横ななめで隣接する周囲マクロブロック（図１７ではマクロブロック１３，１４，１５，２３，２５，２６，３３，３６，４３，４４，４５，４６）に注目する。次に周囲マクロブロック各々について、全ての隣接する周囲マクロブロックとの類似度を計算する。本実施の形態では類似度として、２つのマクロブロックの全画素の輝度情報の平均二乗誤差を用いる。ただし類似度導出はこの方法のみでなく、公知の全ての類似度導出アルゴリズムを用いることができる。本実施の形態では、具体的にマクロブロック１とマクロブロック２が存在する場合に、類似度を以下の式で導出する。
【０１１５】
【数２７】
【０１１６】
ただし、Ｐ1iとＰ2iは、マクロブロック１とマクロブロック２で空間的に同一位置の画素である。
【０１１７】
次に周囲マクロブロック各々について、全ての隣接する周囲マクロブロックとの類似度を導出する（例えば図１７の周囲マクロブロック１４については、隣接する周囲マクロブロック１３と１５の両方と類似度の導出を行う）。周囲マクロブロック各々について、全ての隣接する周囲マクロブロックとの間で導出された類似度を平均し、その値を周囲マクロブロックの類似度代表値とし、全ての周囲マクロブロックの類似度代表値を平均して単一フレームの類似度Ｓframeとする。またそのフレーム内で劣化したマクロブロックの数をＮframeとし、ＷgSを以下の式で導出する。
【０１１８】
【数２８】
【０１１９】
ただし、ω4，ω5，ω6，ω7，ω8はデータベースＤ１３に格納してある係数である。
【０１２０】
次に、時間方向の劣化隠蔽処理の影響を表すＷgTの導出方法についても図１７を用いて説明する。ＷgTを導出する際には、まず図１７で単一フレームｉ（ｉは時系列でｉ番目のフレーム）内の劣化領域（マクロブロック２４，３４，３５）と縦横ななめで隣接する周囲マクロブロック（図１７ではマクロブロック１３，１４，１５，２３，２５，２６，３３，３６，４３，４４，４５，４６）に注目する。同時に時系列でフレームｉと前後するフレームｉ−１とフレームｉ＋１に注目する。まず図１８で示すように、フレームｉの周囲マクロブロック各々について動きベクトルの大きさと向きを検出し、同時にフレームｉ−１とフレームｉ＋１について、フレームｉの周囲マクロブロックの位置と空間的に同一位置の動きベクトルの向きと大きさを検出する。これは参考文献１に従って行う。
【０１２１】
更にフレームｉ−１とフレームｉ＋１の動きベクトルについて、フレームｉの周囲マクロブロックの動きベクトルの内積を計算し、例えば図１７中の周囲マクロブロック１４についてであれば、それぞれＩＰ14iとＩＰ14(i+1)を導出する。そしてＩＰ14iとＩＰ14(i+1)を平均した値としてＡＩＰ14iを導出する。ただし、内積を計算する際の各ベクトルの大きさは一律に１としても良い。同様にしてフレームｉ内の全ての周囲マクロブロックについてＡＩＰΔi（Δは周囲マクロブロック番号）を計算し、全ての周囲マクロブロックのＡＩＰΔiを平均した値を、フレームｉの時間方向の劣化隠蔽処理の影響を表すＷgT＝ＡＩＰiとする。ただしフレームｉ−１とフレームｉ＋１について、フレームｉの周囲マクロブロックと空間的に対応するマクロブロックに動きベクトルが設定されていない場合や損失で失われている場合は、そのマクロブロックの動きベクトルは０ベクトルとしてＷgTを計算する。また本実施の形態では劣化が起きた前後のフレームから内積計算用の動きベクトルを算出したが、任意の２フレームから内積計算用の動きベクトルを算出しても良い。
なお、ＷgSやＷgTは劣化が起きたフレーム毎に再計算される値である。
【符号の説明】
【０１２２】
１…映像品質客観評価装置、２…受信部、３…演算部、４…記憶媒体、５…出力部、６…Ｈ．２６４符号化装置、Ｆ１１…劣化発生領域（位置、数）特定機能部、Ｆ１２…劣化発生領域の重み判定機能部、Ｆ１３…劣化隠蔽処理特定機能部、Ｆ１４…単一フレームの劣化代表値導出機能部、Ｆ１５…全フレームの劣化代表値導出機能部、Ｆ１６…符号化劣化に対する主観品質推定機能部、Ｆ１７…主観品質推定機能部、Ｄ１１〜Ｄ１７…データベース。
【特許請求の範囲】
【請求項１】
視聴者が映像を見た時に体感する映像の主観品質を推定することにより映像の品質を客観的に評価する映像品質客観評価方法であって、
動き補償とＤＣＴ変換を利用して符号化された前記映像のビット列を受信するステップと、
受信した前記映像のビット列に損失が生じている場合、失われたビット列と残ったビット列を用いて所定の演算を行う演算ステップと、
前記演算ステップの演算結果に基づいて前記映像の主観品質を推定する演算を行う推定ステップとを有し、
前記演算ステップは、失われたビット列で保存されていたブロックの空間もしくは時系列の位置情報を抽出し、
前記推定ステップは、抽出された前記空間の位置情報もしくは前記時系列の位置情報に基づいて前記映像の主観品質を推定することを特徴とする映像品質客観評価方法。
【請求項２】
請求項１において、
前記演算ステップは、動き補償機能を用いて他のブロックから参照される参照先ブロックのビット列に損失が生じている場合、参照先のブロックのビット列の損失が参照元のブロックに与える損失を演算し、
前記推定ステップは、前記演算ステップの演算結果に基づいて前記映像の主観品質を推定することを特徴とする映像品質客観評価方法。
【請求項３】
請求項１において、
前記演算ステップは、符号化処理により劣化した主観品質を、ビット列の損失が生じた場合の主観品質の最大値とすることを特徴とする映像品質客観評価方法。
【請求項４】
請求項１において、
前記演算ステップは、単一のフレーム内で生じた劣化の代表値として、ビット列の損失が生じたブロックの数を重み付きで演算した値を算出し、
前記推定ステップは、前記算出された値を前記主観品質の推定に用いることを特徴とする映像品質客観評価方法。
【請求項５】
請求項４において、
前記演算ステップは、単一フレーム内で生じた劣化の代表値を、映像を構成する全てのフレームで導出して、それらを重み付きで演算した値を算出し、
前記推定ステップは、前記算出された値を前記主観品質の推定に用いることを特徴とする映像品質客観評価方法。
【請求項６】
請求項４または請求項５において、
前記演算ステップでは、前記主観品質の推定に用いる重みを、動きベクトルデータの統計量または映像の再生端末が行う劣化隠蔽処理または劣化が発生した位置またはＤＣＴ係数の統計量または局所的な画素情報、またはそれらの組み合わせに応じて決定することを特徴とする映像品質客観評価方法。
【請求項７】
請求項６において、
前記演算ステップでは、動きベクトルデータの統計量として、フレーム内のすべてまたは一部のマクロブロックの動きベクトルの大きさまたは向きに関する統計量を用いることを特徴とする映像品質客観評価方法。
【請求項８】
請求項６において、
前記演算ステップでは、ＤＣＴ係数の統計量として、フレーム内のすべてまたは一部のマクロブロックのＤＣＴ係数の統計量を用いることを特徴とする映像品質客観評価方法。
【請求項９】
請求項６において、
各種の劣化隠蔽処理による主観品質の改善量を予め主観品質評価実験を行うことにより測定してデータベース化するステップをさらに有し、
前記推定ステップは、映像品質の客観評価時には前記データベースを参照して、各劣化隠蔽処理に対してチューニングを行った主観品質を導出することを特徴とする映像品質客観評価方法。
【請求項１０】
請求項６において、
前記推定ステップは、符号化された映像のビット列もしくは局所的な画素信号として復号された情報を用いて、前記劣化隠蔽処理による主観品質の改善量を推定することを特徴とする映像品質客観評価方法。
【請求項１１】
請求項６において、
前記演算ステップでは、局所的な画素情報として、損失したビット列中に含まれるマクロブロックの近辺のマクロブロックの画素情報を用いることを特徴とする映像品質客観評価方法。
【請求項１２】
請求項１において、
前記演算ステップは、失われたビット列で保存されていた情報が符号化の制御情報である場合、その符号化制御情報が主観品質に与える影響の度合いを演算し、
前記推定ステップは、前記演算ステップの演算結果に応じて前記映像の主観品質を推定することを特徴とする 映像品質客観評価方法。
【請求項１３】
請求項１において、
前記推定ステップは、前記映像の主観品質を推定する映像品質の客観評価を行う時に、符号化方式またはフレームレートまたは前記映像の解像度に応じて評価式の最適化を行うことを特徴とする映像品質客観評価方法。
【請求項１４】
請求項１，２，４の何れかにおいて、
前記ブロックは、フレームまたはスライスまたはマクロブロックまたはサブマクロブロックの何れかであることを特徴とする映像品質客観評価方法。
【請求項１５】
視聴者が映像を見た時に体感する映像の主観品質を推定することにより前記映像の品質を客観的に評価する映像品質客観評価装置であって、
動き補償とＤＣＴ変換を用いて符号化された前記映像のビット列を受信する受信部と、
受信した前記映像のビット列に損失が生じている場合、失われたビット列と残ったビット列を用いて所定の演算を行う演算部と、
前記演算部の演算結果に基づいて前記映像の主観品質を推定する演算を行う推定部とを備え、
前記演算部は、失われたビット列で保存されていたフレームまたはスライスまたはマクロブロックまたはサブマクロブロックの空間もしくは時系列の位置情報を抽出し、
前記推定部は、抽出された前記空間の位置情報もしくは前記時系列の位置情報に基づいて前記映像の主観品質を推定することを特徴とする映像品質客観評価装置。
【請求項１６】
動き補償とＤＣＴ変換を用いて符号化された映像のビット列を受信する処理と、
受信した前記映像のビット列に損失が生じている場合、失われたビット列で保存されていたフレームまたはスライスまたはマクロブロックまたはサブマクロブロックの空間もしくは時系列の位置情報を抽出する処理と、
抽出された前記空間の位置情報もしくは前記時系列の位置情報に基づいて前記映像の主観品質を推定する処理をコンピュータに実行させるプログラム。
【請求項１７】
請求項６において、
前記推定ステップは、空間方向の劣化隠蔽処理の影響を表現する値と、時間方向の劣化隠蔽処理の影響を表現する値とを用いて、前記劣化隠蔽処理による主観品質の改善量を推定することを特徴とする映像品質客観評価方法。
【請求項１８】
請求項１７において、
前記空間方向の劣化隠蔽処理の影響を表現する値は、劣化領域の周辺の類似度と劣化領域の大きさとを用いて算出することを特徴とする映像品質客観評価方法。
【請求項１９】
請求項１７において、
前記時間方向の劣化隠蔽処理の影響を表現する値は、フレーム間の動きベクトルの大きさおよび向きの変化量を用いて算出することを特徴とする映像品質客観評価方法。
【請求項１】
視聴者が映像を見た時に体感する映像の主観品質を推定することにより映像の品質を客観的に評価する映像品質客観評価方法であって、
動き補償とＤＣＴ変換を利用して符号化された前記映像のビット列を受信するステップと、
受信した前記映像のビット列に損失が生じている場合、失われたビット列と残ったビット列を用いて所定の演算を行う演算ステップと、
前記演算ステップの演算結果に基づいて前記映像の主観品質を推定する演算を行う推定ステップとを有し、
前記演算ステップは、失われたビット列で保存されていたブロックの空間もしくは時系列の位置情報を抽出し、
前記推定ステップは、抽出された前記空間の位置情報もしくは前記時系列の位置情報に基づいて前記映像の主観品質を推定することを特徴とする映像品質客観評価方法。
【請求項２】
請求項１において、
前記演算ステップは、動き補償機能を用いて他のブロックから参照される参照先ブロックのビット列に損失が生じている場合、参照先のブロックのビット列の損失が参照元のブロックに与える損失を演算し、
前記推定ステップは、前記演算ステップの演算結果に基づいて前記映像の主観品質を推定することを特徴とする映像品質客観評価方法。
【請求項３】
請求項１において、
前記演算ステップは、符号化処理により劣化した主観品質を、ビット列の損失が生じた場合の主観品質の最大値とすることを特徴とする映像品質客観評価方法。
【請求項４】
請求項１において、
前記演算ステップは、単一のフレーム内で生じた劣化の代表値として、ビット列の損失が生じたブロックの数を重み付きで演算した値を算出し、
前記推定ステップは、前記算出された値を前記主観品質の推定に用いることを特徴とする映像品質客観評価方法。
【請求項５】
請求項４において、
前記演算ステップは、単一フレーム内で生じた劣化の代表値を、映像を構成する全てのフレームで導出して、それらを重み付きで演算した値を算出し、
前記推定ステップは、前記算出された値を前記主観品質の推定に用いることを特徴とする映像品質客観評価方法。
【請求項６】
請求項４または請求項５において、
前記演算ステップでは、前記主観品質の推定に用いる重みを、動きベクトルデータの統計量または映像の再生端末が行う劣化隠蔽処理または劣化が発生した位置またはＤＣＴ係数の統計量または局所的な画素情報、またはそれらの組み合わせに応じて決定することを特徴とする映像品質客観評価方法。
【請求項７】
請求項６において、
前記演算ステップでは、動きベクトルデータの統計量として、フレーム内のすべてまたは一部のマクロブロックの動きベクトルの大きさまたは向きに関する統計量を用いることを特徴とする映像品質客観評価方法。
【請求項８】
請求項６において、
前記演算ステップでは、ＤＣＴ係数の統計量として、フレーム内のすべてまたは一部のマクロブロックのＤＣＴ係数の統計量を用いることを特徴とする映像品質客観評価方法。
【請求項９】
請求項６において、
各種の劣化隠蔽処理による主観品質の改善量を予め主観品質評価実験を行うことにより測定してデータベース化するステップをさらに有し、
前記推定ステップは、映像品質の客観評価時には前記データベースを参照して、各劣化隠蔽処理に対してチューニングを行った主観品質を導出することを特徴とする映像品質客観評価方法。
【請求項１０】
請求項６において、
前記推定ステップは、符号化された映像のビット列もしくは局所的な画素信号として復号された情報を用いて、前記劣化隠蔽処理による主観品質の改善量を推定することを特徴とする映像品質客観評価方法。
【請求項１１】
請求項６において、
前記演算ステップでは、局所的な画素情報として、損失したビット列中に含まれるマクロブロックの近辺のマクロブロックの画素情報を用いることを特徴とする映像品質客観評価方法。
【請求項１２】
請求項１において、
前記演算ステップは、失われたビット列で保存されていた情報が符号化の制御情報である場合、その符号化制御情報が主観品質に与える影響の度合いを演算し、
前記推定ステップは、前記演算ステップの演算結果に応じて前記映像の主観品質を推定することを特徴とする 映像品質客観評価方法。
【請求項１３】
請求項１において、
前記推定ステップは、前記映像の主観品質を推定する映像品質の客観評価を行う時に、符号化方式またはフレームレートまたは前記映像の解像度に応じて評価式の最適化を行うことを特徴とする映像品質客観評価方法。
【請求項１４】
請求項１，２，４の何れかにおいて、
前記ブロックは、フレームまたはスライスまたはマクロブロックまたはサブマクロブロックの何れかであることを特徴とする映像品質客観評価方法。
【請求項１５】
視聴者が映像を見た時に体感する映像の主観品質を推定することにより前記映像の品質を客観的に評価する映像品質客観評価装置であって、
動き補償とＤＣＴ変換を用いて符号化された前記映像のビット列を受信する受信部と、
受信した前記映像のビット列に損失が生じている場合、失われたビット列と残ったビット列を用いて所定の演算を行う演算部と、
前記演算部の演算結果に基づいて前記映像の主観品質を推定する演算を行う推定部とを備え、
前記演算部は、失われたビット列で保存されていたフレームまたはスライスまたはマクロブロックまたはサブマクロブロックの空間もしくは時系列の位置情報を抽出し、
前記推定部は、抽出された前記空間の位置情報もしくは前記時系列の位置情報に基づいて前記映像の主観品質を推定することを特徴とする映像品質客観評価装置。
【請求項１６】
動き補償とＤＣＴ変換を用いて符号化された映像のビット列を受信する処理と、
受信した前記映像のビット列に損失が生じている場合、失われたビット列で保存されていたフレームまたはスライスまたはマクロブロックまたはサブマクロブロックの空間もしくは時系列の位置情報を抽出する処理と、
抽出された前記空間の位置情報もしくは前記時系列の位置情報に基づいて前記映像の主観品質を推定する処理をコンピュータに実行させるプログラム。
【請求項１７】
請求項６において、
前記推定ステップは、空間方向の劣化隠蔽処理の影響を表現する値と、時間方向の劣化隠蔽処理の影響を表現する値とを用いて、前記劣化隠蔽処理による主観品質の改善量を推定することを特徴とする映像品質客観評価方法。
【請求項１８】
請求項１７において、
前記空間方向の劣化隠蔽処理の影響を表現する値は、劣化領域の周辺の類似度と劣化領域の大きさとを用いて算出することを特徴とする映像品質客観評価方法。
【請求項１９】
請求項１７において、
前記時間方向の劣化隠蔽処理の影響を表現する値は、フレーム間の動きベクトルの大きさおよび向きの変化量を用いて算出することを特徴とする映像品質客観評価方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２００９−２６０９４１（Ｐ２００９−２６０９４１Ａ）
【公開日】平成２１年１１月５日（２００９．１１．５）
【国際特許分類】
【出願番号】特願２００９−４１４６２（Ｐ２００９−４１４６２）
【出願日】平成２１年２月２４日（２００９．２．２４）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２１年１１月５日（２００９．１１．５）
【国際特許分類】
【出願日】平成２１年２月２４日（２００９．２．２４）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]