映像品質推定方法、装置およびプログラム
【課題】予め映像の動き量が分かっていない場合であっても、映像コンテンツ依存性を考慮した映像品質を軽い演算処理量で推定する。
【解決手段】映像品質推定装置は、評価映像のＩフレームに含まれる情報量を導出するパケット分析部１０１と、Ｉフレーム情報量と、複数の基準映像のＩフレームに含まれる情報量の平均値である平均Ｉフレーム情報量との差を求める差分Ｉフレーム情報量算出部１０２と、差分Ｉフレーム情報量から、損失によって劣化したフレームおよびその劣化が伝搬したフレームである無効フレームの量と映像品質低下の程度との関係を表すパケット損失変化指標を求めるパケット損失変化指標算出部１０５と、評価映像の無効フレームの量を求める無効フレーム推定部１０８と、無効フレームの量とパケット損失変化指標に基づいて、評価映像の品質を推定する映像品質推定部１０６とを備える。
【解決手段】映像品質推定装置は、評価映像のＩフレームに含まれる情報量を導出するパケット分析部１０１と、Ｉフレーム情報量と、複数の基準映像のＩフレームに含まれる情報量の平均値である平均Ｉフレーム情報量との差を求める差分Ｉフレーム情報量算出部１０２と、差分Ｉフレーム情報量から、損失によって劣化したフレームおよびその劣化が伝搬したフレームである無効フレームの量と映像品質低下の程度との関係を表すパケット損失変化指標を求めるパケット損失変化指標算出部１０５と、評価映像の無効フレームの量を求める無効フレーム推定部１０８と、無効フレームの量とパケット損失変化指標に基づいて、評価映像の品質を推定する映像品質推定部１０６とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、インターネットのようなＩＰネットワーク経由で行うＩＰＴＶサービス、映像配信サービス、映像コミュニケーションサービスなどの映像通信の品質を推定する技術に関するものである。
【背景技術】
【０００２】
インターネットアクセス回線の高速・広帯域化に伴い、音声信号や映像信号などを送受信する映像通信サービスが期待されている。インターネットは必ずしも通信品質の保証されていないネットワークであるため、音声通信や映像信号などを送受信する場合、ユーザ間のネットワークの回線帯域が狭かったり、回線が輻輳したりすると、音声信号や映像信号などに対してユーザが知覚するユーザ体感品質（ＱｏＥ：Quality of Experience）が劣化してしまう。具体的には、映像に品質劣化が加わると、ぼけ、にじみ、モザイク状の歪、ぎくしゃく感などとして知覚される。映像通信サービスを品質良く提供するためには、サービス提供に先立った品質設計やサービス開始後の品質管理が重要となり、このためには、ユーザが享受する品質を適切に表現でき、しかも簡便かつ効率的な品質評価技術が必要となる。
【０００３】
従来、国際標準化機関ＩＴＵ−Ｔ（International Telecommunication Union Telecommunication Standardization Sector）が勧告した非特許文献１には、映像品質客観評価法が記載され、同じくＩＴＵ−Ｔが勧告した非特許文献２には、テレビ電話の品質設計を行うための品質推定法が記載されている。
【０００４】
また、パケット損失したフレームとそのフレームを参照するフレームの総量に基づき映像の劣化量を推定する無効フレーム映像品質推定方法がある（例えば特許文献１〜特許文献７参照）。さらに、特許文献８には、映像の動き量と無効フレームを考慮して映像品質を推定する方法が提案されている。以上の客観評価技術によれば、ある一定の条件下で主観品質の統計的曖昧さと同程度の推定誤差で主観品質を推定可能である。
【０００５】
【特許文献１】特開２００６−３３７２２号公報
【特許文献２】特開２００７−０１９８０２号公報
【特許文献３】特開２００７−０６０４７５号公報
【特許文献４】特開２００７−１３５０４０号公報
【特許文献５】特開２００７−２５８９１９号公報
【特許文献６】特開２００７−３２９７７１号公報
【特許文献７】特開２００７−３２９７７２号公報
【特許文献８】特開２００８−００５１０８号公報
【非特許文献１】“Objective perceptual video quality measurement techniques for digital cable television in the presence of a full reference”，ITU-T Recommendation J.144，2003
【非特許文献２】“Opinion model for video-telephony applications”，ITU-T Recommendation G.1070，2007
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、非特許文献１で規定された技術は、映像信号（画素信号）を用いる品質推定方法であり、品質推定に関する計算量が膨大である。そのため、ネットワーク間から品質情報を抽出し、大規模ネットワークにおける品質を管理する場合には適していないという問題点があった。
【０００７】
また、特許文献１〜特許文献７に開示された無効フレーム映像品質推定方法では、映像信号を用いず、ＩＰパケットの情報から映像フレームの情報を読み出すか、もしくは映像フレームの情報を推定（予測）し、フレーム情報に基づいて映像品質を推定するようにしている。しかしながら、特許文献１〜特許文献７に開示された方法では、映像コンテンツの依存性を考慮せず、フレーム構造のみから映像品質を推定しているため、適切に映像品質を推定することができないという問題点があった。一般に、無効フレーム数が同じであっても、映像の動き量が大きいほどユーザの知覚する品質劣化が大きいという傾向がある。しかし、特許文献１〜特許文献７に開示された方法では、映像の動き量がユーザ体感品質に与える影響を考慮することができない。例えば、映像Ａと映像Ｂのフレームが共に１０フレーム損失した場合でも、映像Ａは動き量が多いためにユーザが劣化を検知し易く、映像Ｂは動き量が少ないためにユーザが劣化を検知しにくい、といった現象を考慮することはできない。
【０００８】
また、特許文献８に開示された方法では、映像の動き量をあらかじめ算出しておくことを前提としており、具体的にはメディア信号を利用してＴＩ（Temporal Information）値を算出し、算出した値に基づき品質推定するようにしているため、リアルタイムに品質推定する用途に適していないという問題点があった。つまり、特許文献８に開示された方法では、映像の動き量があらかじめ分かっている場合のみ、映像の動き量がユーザ体感品質に与える影響を考慮することができる。
以上のように、従来の方法では、映像品質の映像コンテンツ依存性を考慮することができず、映像品質の推定精度が著しく低下する。
【０００９】
本発明は、上記課題を解決するためになされたもので、その目的とするところは、予め映像の動き量が分かっていない場合であっても、映像コンテンツ依存性を考慮した映像品質を軽い演算処理量で推定することができる映像品質推定方法、装置およびプログラムを提供することにある。
【課題を解決するための手段】
【００１０】
本発明の映像品質推定方法は、品質推定したい評価映像のＩフレームに含まれる情報量を導出するＩフレーム情報量導出手順と、このＩフレーム情報量導出手順で得られたＩフレーム情報量と、複数の基準映像のＩフレームに含まれる情報量の平均値である平均Ｉフレーム情報量との差を求める差分Ｉフレーム情報量算出手順と、この差分Ｉフレーム情報量算出手順で得られた差分Ｉフレーム情報量から、評価映像フレームのうち損失によって劣化したフレームおよびその劣化が伝搬したフレームである無効フレームの量と映像品質低下の程度との関係を表す損失変化指標を求める損失変化指標導出手順と、前記評価映像の無効フレームの量を求める無効フレーム推定手順と、前記無効フレームの量と前記損失変化指標に基づいて、前記評価映像の品質を推定する映像品質推定手順とを備えることを特徴とするものである。
また、本発明の映像品質推定方法の１構成例において、前記損失変化指標導出手順は、前記評価映像の符号化に使用されるコーデックの種類とサービス種別と映像フォーマットに応じて決定される関数を用いて、前記損失変化指標を算出することを特徴とするものである。
また、本発明の映像品質推定方法の１構成例は、さらに、前記評価映像の符号化レートから符号化品質を推定する符号化品質推定手順を備え、前記映像品質推定手順は、前記無効フレームの量と前記損失変化指標と前記符号化品質に基づいて、前記評価映像の品質を推定することを特徴とするものである。
また、本発明の映像品質推定方法の１構成例において、前記Ｉフレーム情報量導出手順と差分Ｉフレーム情報量算出手順と損失変化指標導出手順と無効フレーム推定手順と映像品質推定手順とは、所定の品質推定区間を区切った小区間ごとに前記評価映像の品質を推定し、前記映像品質推定手順は、さらに前記小区間ごとの映像品質に基づいて前記品質推定区間の映像品質を求める手順を含むことを特徴とするものである。
【００１１】
また、本発明の映像品質推定装置は、品質推定したい評価映像のＩフレームに含まれる情報量を導出するＩフレーム情報量導出手段と、このＩフレーム情報量導出手段が求めたＩフレーム情報量と、複数の基準映像のＩフレームに含まれる情報量の平均値である平均Ｉフレーム情報量との差を求める差分Ｉフレーム情報量算出手段と、この差分Ｉフレーム情報量算出手段が求めた差分Ｉフレーム情報量から、評価映像フレームのうち損失によって劣化したフレームおよびその劣化が伝搬したフレームである無効フレームの量と映像品質低下の程度との関係を表す損失変化指標を求める損失変化指標導出手段と、前記評価映像の無効フレームの量を求める無効フレーム推定手段と、前記無効フレームの量と前記損失変化指標に基づいて、前記評価映像の品質を推定する映像品質推定手段とを備えることを特徴とするものである。
また、本発明の映像品質推定装置の１構成例において、前記損失変化指標導出手段は、前記評価映像の符号化に使用されるコーデックの種類とサービス種別と映像フォーマットに応じて決定される関数を用いて、前記損失変化指標を算出することを特徴とするものである。
また、本発明の映像品質推定装置の１構成例は、さらに、前記評価映像の符号化レートから符号化品質を推定する符号化品質推定手段を備え、前記映像品質推定手段は、前記無効フレームの量と前記損失変化指標と前記符号化品質に基づいて、前記評価映像の品質を推定することを特徴とするものである。
また、本発明の映像品質推定装置の１構成例において、前記Ｉフレーム情報量導出手段と差分Ｉフレーム情報量算出手段と損失変化指標導出手段と無効フレーム推定手段と映像品質推定手段とは、所定の品質推定区間を区切った小区間ごとに前記評価映像の品質を推定し、前記映像品質推定手段は、さらに前記小区間ごとの映像品質に基づいて前記品質推定区間の映像品質を求める手段を含むことを特徴とするものである。
【００１２】
また、本発明は、評価映像の品質を推定する映像品質推定装置としてコンピュータを動作させる映像品質推定プログラムにおいて、評価映像のＩフレームに含まれる情報量を導出するＩフレーム情報量導出手順と、このＩフレーム情報量導出手順で得られたＩフレーム情報量と、複数の基準映像のＩフレームに含まれる情報量の平均値である平均Ｉフレーム情報量との差を求める差分Ｉフレーム情報量算出手順と、この差分Ｉフレーム情報量算出手順で得られた差分Ｉフレーム情報量から、評価映像フレームのうち損失によって劣化したフレームおよびその劣化が伝搬したフレームである無効フレームの量と映像品質低下の程度との関係を表す損失変化指標を求める損失変化指標導出手順と、前記評価映像の無効フレームの量を求める無効フレーム推定手順と、前記無効フレームの量と前記損失変化指標に基づいて、前記評価映像の品質を推定する映像品質推定手順とを、コンピュータに実行させることを特徴とするものである。
【発明の効果】
【００１３】
本発明によれば、品質推定したい映像のＩフレーム情報量と複数の基準映像のＩフレーム情報量の平均値とから差分Ｉフレーム情報量を求め、この差分Ｉフレーム情報量から、無効フレームの量と映像品質低下の程度との関係を表す損失変化指標を求め、この損失変化指標を映像品質の推定に用いるようにしたので、予め映像の動き量が分かっていない場合であっても、映像コンテンツ依存性を考慮した映像品質推定を行うことができる。また、本発明では、映像メディアの画素情報を用いることなく、ネットワーク内から抽出可能なパケット内に記述されている情報から映像品質を推定することができるので、映像品質を軽い演算処理量で推定することができる。
【００１４】
また、本発明では、評価映像の符号化に使用されるコーデックの種類とサービス種別と映像フォーマットに応じて決定される関数を用いて損失変化指標を算出することにより、差分Ｉフレーム情報量と損失変化指標との関係がコーデックとサービス種別と映像フォーマットに依存するという性質を、損失変化指標の算出に反映させることができる。
【００１５】
また、本発明では、所定の品質推定区間を区切った小区間ごとに評価映像の品質を推定し、小区間ごとの映像品質に基づいて品質推定区間の映像品質を求めることにより、局所的に映像品質が著しく低下した場合にも追従することができ、局所的な低下を加味した映像品質を求めることができる。
【発明を実施するための最良の形態】
【００１６】
［発明の原理］
映像品質を推定する場合、ＩＰパケットに記述される情報から映像品質を左右するパラメータを解析し、利用できる全てのパラメータを用いて品質を推定することが望ましい。しかしながら、品質を推定する手段の演算量が膨大になるため、全てのパラメータを演算に利用することはできず、一般的には一部のパラメータから映像品質を推定するようにしている。また、ＩＰパケット内の映像情報や音声情報に関してはしばしば暗号化されていることがあるので、直接、解析に利用できないケースが多々ある。そこで、本発明の実施の形態では、映像情報に関するペイロード情報を推定することにより、映像品質を推定する方法を提供する。
【００１７】
ＭＰＥＧ２（Moving Picture Experts Group 2）やＨ．２６４などの映像符号化方式では、映像信号はＩ，Ｂ，Ｐフレームなどのフレームに符号化され圧縮される。Ｉフレームは、それだけで完結しており、Ｉフレームの情報だけで元のフレーム画像を復元できる。このようにＩフレームでは、フレーム内圧縮のみしか行わないため、Ｉ，Ｂ，Ｐの３種類のフレームの中で、圧縮率は最も低い（すなわちデータ量が最も多い）。
【００１８】
Ｐフレームは、該当フレームの画像とその直前のＩフレームやＰフレームの画像との差分情報である。Ｐフレームをデコードするためには、直前のＩフレームやＰフレームの情報が必要となる。Ｐフレームは、Ｉフレームに比べると、圧縮率が高くなる（すなわちデータ量は削減される）。
Ｂフレームは、前のフレームだけでなく後のフレームとの差分も使って圧縮されたものである。Ｂフレームをデコードするためには、前後のＩフレーム、Ｐフレームの情報が必要となる。Ｂフレームは、Ｐフレームよりもさらに圧縮率が高くなる（すなわちＩ，Ｂ，Ｐの３種類の中で最もデータ量が少ない）。
【００１９】
ＭＰＥＧ２やＨ．２６４などの映像符号化方式では、上記Ｉ，Ｂ，Ｐの各フレームが独立してではなく、ＧＯＰ（Group of Picture）という固まり単位で圧縮、伸長が行われる。例えば、ＭＰＥＧ２の場合、ＧＯＰは、ＩＢＢＰＢＢＰＢＢＰＢＢＰＢＢ、のように、１５フレーム単位（０．５秒）で構成される。上のケースでは、１ＧＯＰの中に、Ｉフレーム１個、Ｐフレーム４個、Ｂフレーム１０個が存在する。Ｉフレームの数は１ＧＯＰの中に必ず１個と決まっているが、Ｐフレーム、Ｂフレームの数は、映像の動き量等によって変わる。
【００２０】
一般に、動き量の大きい映像ほど、Ｉフレームに含まれる情報量が小さいことが知られている。つまり、動き量の大きい映像に対しては、Ｉフレームの情報を減らし（Ｉフレームの精細度を落とす）、ＢフレームやＰフレームの情報を増やし（ＢフレームやＰフレームの精細度を上げる）、映像全体の品質を高めるように符号化される。動き量の小さい映像に対しては、その逆の処理が行われる。
本発明の実施の形態は、このような映像の動き量に応じてＩ，Ｂ，Ｐフレームの情報量が変動するという事実に基づいて、Ｉフレームの情報量をＩＰパケット内に記述されている情報から抽出し、フレーム情報を考慮して、リアルタイムな品質推定を実現する。
【００２１】
具体的には、パケット損失が発生してフレームが損失し、他のフレームに劣化が伝搬した場合、映像の動き量（つまり、Ｉフレームの情報量）に応じて、主観評価値の変化の度合いが異なる。図１は無効フレーム数と主観評価値との関係を示す図である。図１において、ｍ１は映像の動き量が大きいときの特性、ｍ２は映像の動き量が小さいときの特性である。
【００２２】
図１に示すように、無効フレーム数と主観評価値との関係は、映像の動き量が大きいほど無効フレーム数の増加に対する主観品質の低下が早く、動き量が小さい場合は無効フレーム数の増加に対する主観品質の低下が鈍くなるという特性がある。また、前述のように、映像の動き量とＩフレームの情報量には相関がある。
【００２３】
そこで、図２に模式的に示すように、無数に存在する映像の集合２０の中から例えば８つの基準映像２１を予め選び出す。基準映像としては、例えば動き量の大きい映像や動き量の小さい映像などのいくつかの典型的な映像をサンプルとして用意すればよい。この基準映像のＩフレームの情報量（例えば、Ｉフレームに使われたビット数や、Ｉフレームを構成するＩＰパケットの数やＴＳパケットの数）を映像毎に求め、その平均値である平均Ｉフレーム情報量を求める。そして、品質を推定したい映像のＩフレーム情報量と平均Ｉフレーム情報量とから、差分Ｉフレーム情報量（平均された基準映像の品質値とのずれ、すなわち映像コンテンツ依存性を表す量）を求め、この差分Ｉフレーム情報量からパケット損失変化指標を計算し、無効フレームの量とパケット損失変化指標に基づいて映像品質を推定する。
【００２４】
これにより、映像メディアの画素情報を用いることなく、ネットワーク内から抽出可能なＩＰパケット内に記述されている情報から、映像コンテンツ依存性を考慮した映像品質を軽い演算処理量で推定することができる。
【００２５】
［第１の実施の形態］
以下、図面を用いて本発明の実施の形態を説明する。図３は本発明の第１の実施の形態に係る映像品質推定装置の構成を示すブロック図、図４は図３の映像品質推定装置の動作を示すフローチャートである。
映像品質推定装置は、受信したＩＰパケットから品質パラメータを抽出するパケット分析部１０１と、パケット分析部１０１が求めたＩフレーム情報量と、複数の基準映像のＩフレームに含まれる情報量の平均値である平均Ｉフレーム情報量との差を求める差分Ｉフレーム情報量算出部１０２と、平均Ｉフレーム情報量を求める平均Ｉフレーム情報量推定部１０３と、パケット分析部１０１が求めた符号化レートから符号化品質を推定する符号化品質推定部１０４と、差分Ｉフレーム情報量算出部１０２が求めた差分Ｉフレーム情報量からパケット損失変化指標を算出するパケット損失変化指標算出部１０５と、無効フレームの量とパケット損失変化指標と符号化品質に基づいて映像品質を推定する映像品質推定部１０６と、映像のフレームの種別をフレームごとに判別するフレーム種別推定部１０７と、フレーム種別に基づいて無効フレームの量を求める無効フレーム推定部１０８と、平均Ｉフレーム情報量を求めるための平均Ｉフレーム情報量特性係数を記憶する平均Ｉフレーム情報量特性係数記憶部２０３と、符号化品質を求めるための符号化品質特性係数を記憶する符号化品質特性係数記憶部２０４と、パケット損失変化指標を求めるためのパケット損失変化指標特性係数を記憶するパケット損失変化指標特性係数記憶部２０５と、映像品質推定装置の各構成に映像品質推定を行うためのパラメータを入力する品質特性係数特定パラメータ記憶部３０１とを有する。
【００２６】
まず、図示しない受信部は、ＩＰネットワークからＩＰパケットを受信する。ＩＰパケット内には、ＩＰヘッダや、ＴＳ（Transport stream）、ＥＳ（Elementaly stream）などが存在する。
【００２７】
次に、受信部からパケット分析部１０１に、受信したＩＰパケットを入力する。パケット分析部１０１は、映像品質推定を行うために映像品質推定関数に入力する品質パラメータをＩＰパケットから抽出し、これらの品質パラメータを差分Ｉフレーム情報量算出部１０２、平均Ｉフレーム情報量推定部１０３、符号化品質推定部１０４、フレーム種別推定部１０７、無効フレーム推定部１０８へ入力する（図４ステップＳ１）。
【００２８】
本実施の形態では、品質パラメータとして、Ｉフレーム情報量、符号化レート、フレーム情報量、シーケンス番号を用いている。
Ｉフレーム情報量については、Ｉフレーム情報量の増加とともに映像の動き量が少なくなり、逆にＩフレーム情報量が低下すると映像の動き量が多くなる特性を有することを利用する。
【００２９】
品質パラメータとしては、本実施の形態で用いたものの他、ＩＰパケット内に記述される映像フォーマット、フレーム情報（イントラリフレッシュレート、ＧＯＰ、フレームタイプ）、動き補償後の誤差信号に対する情報（量子化ステップ幅、変換係数（ＤＣＴ係数／整数変換係数／ウエーブレット係数など））、パケット損失情報（パケット損失率、パケット損失パターン、パケット遅延時間など）などを用いてもよい。
【００３０】
以下に、本実施の形態において、具体的にどのように各品質パラメータを抽出し、差分Ｉフレーム情報量算出部１０２、平均Ｉフレーム情報量推定部１０３、符号化品質推定部１０４、フレーム種別推定部１０７、無効フレーム推定部１０８へ入力するかを説明する。
【００３１】
［Ｉフレーム情報量の導出］
パケット分析部１０１は、ＩＰパケット内に含まれる、Ｉフレームを構成するＴＳパケットをカウントし、Ｉフレームの情報量Ｉｑを次式のように単位フレームあたりの情報量として計算し、計算したＩフレーム情報量Ｉｑを差分Ｉフレーム情報量算出部１０２に入力する（ステップＳ１）。
【００３２】
【数１】
【００３３】
式（１）において、Ｆは所望の品質推定区間（例えば１０秒）に存在するＩフレーム数、ｆは所望の品質推定区間（例えば１０秒）に存在するＩフレームの番号、ｉfはＩフレームの番号ｆに対応したＩフレームのＴＳパケット数である。
【００３４】
ここで、どのフレームがＩフレームであるかを判別する手法は、文献「牛木一成，富永聡子，林孝典，“ＴＳヘッダ情報を用いた映像フレーム種別推定法の有効性検証”，信学技報，ｖｏｌ．１０７，ｎｏ．３１２，ＣＱ２００７−７４，ｐ．１５−１９」に記載されている。以下、この判別手法について説明する。
【００３５】
図５はフレームの切れ目を説明するための図であり、５０はＲＴＰ（Real-time Transport Protocol）ヘッダ内のマーカービット（Marker bit）か、あるいはＴＳヘッダ内のペイロードユニットスタートインジケータ（Payload unit start indicator）のフラグが立っているパケット、５１はマーカービットおよびペイロードユニットスタートインジケータのフラグが立っていないパケットである。
【００３６】
図５に示すように、ＩＰパケット内にあるマーカービットもしくはペイロードユニットスタートインジケータは、フレームの切れ目を示すフラグである。パケット分析部１０１は、このフラグを利用して、どのパケットからどのパケットまでが１フレームを構成するかを判断することができる。次に、パケット分析部１０１は、フラグが立っているパケット５０から次のフラグが立っているパケット５０までの間のパケット数、すなわちフレームあたりのパケット数をカウントする（例えば、１フレーム目は５００パケット、２フレーム目は５０パケットなど）。
【００３７】
一般に、映像フレーム内にある情報量は、Ｉ，Ｐ，Ｂフレームの順に多いことが知られている。パケット分析部１０１は、この特徴を利用して、パケット数からフレーム種別を判別する。例えば、ＧＯＰ（Ｍ＝３、Ｎ＝１５）で構成されるフレーム構造（ＭはＩ，Ｐフレームの間隔、ＮはＩフレームの間隔）の場合は、１５フレームに１つＩフレームがあるので、１５フレームの中で一番パケット数が多いものをＩフレームとする。また、ＧＯＰ長が可変である場合は、１７フレームの中から２つパケット数の多いものを抽出し、これらをＩフレームとすればよい。以上のような手法により、パケット分析部１０１は、Ｉフレームを判別することができる。
【００３８】
なお、本実施の形態では、Ｉフレーム情報量をＴＳパケットに基づき算出しているが、Ｉフレーム情報量として、Ｉフレームを構成するビットレートやＩＰパケット数などを用いてもよい。
【００３９】
［符号化レートの導出］
パケット分析部１０１は、ＩＰパケット内に含まれる、映像符号化に必要とされた符号量（つまり、ビット数）をカウントして、その符号化レート（ビットレート）を求め、符号化レートの情報を平均Ｉフレーム情報量推定部１０３と符号化品質推定部１０４に入力する（ステップＳ１）。ただし、符号量ではなく、他のビット量と相関の高い、映像を構成するパケット数などのパラメータをカウントして、このパケット数を符号化レートを表す情報として用いてもよい。
【００４０】
［フレーム情報量の導出］
パケット分析部１０１は、フレーム情報量をフレームごとにカウントしてフレーム種別推定部１０７に入力する（ステップＳ１）。フレーム情報量は、図５で説明したとおりマーカービットやペイロードユニットスタートインジケータに基づき、フレームあたりのビット数やフレームあたりのＴＳパケット数などをカウントすることによって求めることができる。
【００４１】
［シーケンス番号］
パケット分析部１０１は、ＲＴＰヘッダ内のシーケンス番号やＴＣＰ（Transmission Control Protocol）ヘッダ内のシーケンス番号などのパケットの順番を示す値を無効フレーム推定部１０８に入力する（ステップＳ１）。
【００４２】
次に、品質特性係数特定パラメータ記憶部３０１は、予め定められた品質特性係数特定パラメータを平均Ｉフレーム情報量推定部１０３、符号化品質推定部１０４、パケット損失変化指標算出部１０５、フレーム種別推定部１０７、平均Ｉフレーム情報量特性係数記憶部２０３、符号化品質特性係数記憶部２０４、パケット損失変化指標特性係数記憶部２０５に入力する（図４ステップＳ２）。
【００４３】
品質特性係数特定パラメータとしては、コーデック（CODEC）を示す情報、映像フォーマットを示す情報、映像通信種別を表す情報、表示解像度を示す情報、符号化品質特性係数（映像フォーマットごとおよび符号化レートごとの符号化品質の値）、平均Ｉフレーム情報量特性係数（映像フォーマットごとおよび符号化レートごとの平均Ｉフレーム情報量、あるいは平均Ｉフレーム情報量を算出する関数の係数）、パケット損失変化指標特性係数（パケット損失変化指標を算出する関数の係数）などがある。なお、品質推定したい評価映像のコーデックと映像フォーマットと映像通信種別（サービス種別）とを示す情報は、外部から入力され、品質特性係数特定パラメータ記憶部３０１に記憶される。
【００４４】
品質特性係数特定パラメータ記憶部３０１は、コーデックを示す情報、映像フォーマットを示す情報、映像通信種別を表す情報、および表示解像度を示す情報を平均Ｉフレーム情報量推定部１０３、符号化品質推定部１０４、パケット損失変化指標算出部１０５、フレーム種別推定部１０７に入力する。また、品質特性係数特定パラメータ記憶部３０１は、平均Ｉフレーム情報量特性係数を平均Ｉフレーム情報量特性係数記憶部２０３に入力し、符号化品質特性係数を符号化品質特性係数記憶部２０４に入力し、パケット損失変化指標特性係数をパケット損失変化指標特性係数記憶部２０５に入力する。
【００４５】
コーデックとしては、例えばＨ．２６４、Ｈ．２６３、Ｈ．２６１、ＭＰＥＧ２、ＭＰＥＧ４などがある。映像フォーマットとしては、例えばＨＤ（High Definition）、ＳＤ（Standard Definition）、ＶＧＡ（Video Graphics Array）、ＱＣＩＦ（Quarter Common Intermediate Format）などがある。映像通信種別としては、例えばＩＰＴＶ、ＴＶ電話、ＶｏＤ（Video On Demand）などがある。
【００４６】
次に、平均Ｉフレーム情報量推定部１０３は、ステップＳ１で抽出された符号化レートから複数の基準映像のＩフレーム情報量の平均値Ｉａｖｅを導出し、導出した平均Ｉフレーム情報量Ｉａｖｅを差分Ｉフレーム情報量算出部１０２に入力する（図４ステップＳ３）。具体的には、平均Ｉフレーム情報量推定部１０３は、平均Ｉフレーム情報量特性係数記憶部２０３に保持された図６のような平均Ｉフレーム情報量データベース２０３０を参照し、ステップＳ１で抽出された符号化レート（ビットレート）とコーデックと映像フォーマットと映像通信種別に対応した平均Ｉフレーム情報量Ｉａｖｅの値を取得すればよい。
【００４７】
なお、図６の例では、複数のコーデック、複数の映像フォーマットおよび複数の映像通信種別に対応する平均Ｉフレーム情報量データベースの例が記載されているが、実際に符号化品質を推定するのは、既知の１種類のコーデック、１種類の映像フォーマットおよび１種類の映像通信種別に対してなので、品質特性係数特定パラメータ記憶部３０１から平均Ｉフレーム情報量特性係数記憶部２０３に入力される平均Ｉフレーム情報量データベースは、１種類のコーデック、１種類の映像フォーマットおよび１種類の映像通信種別に関するものでもよい。
【００４８】
また、平均Ｉフレーム情報量推定部１０３は、符号化レートと平均Ｉフレーム情報量との関係が数式化された所定の式に、ステップＳ１で抽出された符号化レートの値を代入して、平均Ｉフレーム情報量Ｉａｖｅを算出するようにしてもよい（ステップＳ３）。図７に示すように、ビットレートの増加と共に平均Ｉフレーム情報量は増加する。このビットレートと平均Ｉフレーム情報量Ｉａｖｅとの関係は、コーデックなどに依存する。そこで、平均Ｉフレーム情報量Ｉａｖｅを算出する関数のみを予め一般化し、関数の係数を品質特性係数特定パラメータ記憶部３０１から平均Ｉフレーム情報量特性係数記憶部２０３の関数係数データベース２０３１に保存する。
【００４９】
平均Ｉフレーム情報量推定部１０３は、平均Ｉフレーム情報量特性係数記憶部２０３に保持された図８のような関数係数データベース２０３１を参照して、コーデックと映像フォーマットと映像通信種別に対応した関数の係数ｔ１，ｔ２，ｔ３を取得し、以下のような式を用いて平均Ｉフレーム情報量Ｉａｖｅを算出する。
Ｉａｖｅ＝ｔ１＋ｔ２・ｅｘｐ（−ＢＲ／ｔ３） ・・・（２）
【００５０】
式（２）において、ＢＲはステップＳ１で抽出された符号化レート（ビットレート）である。関数の係数ｔ１，ｔ２，ｔ３をコーデックなどに応じて切り替えることで、コーデックなどに依存する、ビットレートと平均Ｉフレーム情報量との関係を加味できることになる。
【００５１】
差分Ｉフレーム情報量算出部１０２は、パケット分析部１０１から入力されたＩフレーム情報量Ｉｑと平均Ｉフレーム情報量推定部１０３から入力された平均Ｉフレーム情報量Ｉａｖｅから、次式のように差分Ｉフレーム情報量ΔＩを算出し、この差分Ｉフレーム情報量ΔＩをパケット損失変化指標算出部１０５に入力する（図４ステップＳ４）。
ΔＩ＝Ｉｑ−Ｉａｖｅ ・・・（３）
【００５２】
次に、パケット損失変化指標算出部１０５は、図９に示すように差分Ｉフレーム情報量ΔＩが増加するとパケット損失変化指標Ｄが増加する関係があることを利用し、パケット損失変化指標Ｄを算出して映像品質推定部１０６に入力する（図４ステップＳ５）。ここで、パケット損失変化指標とは、パケット損失が発生したときに、損失したフレームの量に基づき映像品質が低下する程度を表す量である。
【００５３】
差分Ｉフレーム情報量ΔＩとパケット損失変化指標Ｄとの関係は、コーデックなどに依存する。そこで、パケット損失変化指標Ｄを算出する関数のみを予め一般化し、関数の係数を品質特性係数特定パラメータ記憶部３０１からパケット損失変化指標特性係数記憶部２０５の関数係数データベース２０５０に保存する。
【００５４】
パケット損失変化指標算出部１０５は、パケット損失変化指標特性係数記憶部２０５に保持された図１０のような関数係数データベース２０５０を参照して、コーデックと映像フォーマットと映像通信種別に対応した関数の係数ａ，ｂを取得し、以下のような式を用いてパケット損失変化指標Ｄを算出する。
Ｄ＝ａ＋ｂΔＩ ・・・（４）
【００５５】
関数の係数ａ，ｂをコーデックなどに応じて切り替えることで、コーデックなどに依存する、差分Ｉフレーム情報量ΔＩとパケット損失変化指標Ｄとの関係を加味できることになる。
【００５６】
次に、符号化品質推定部１０４は、ステップＳ１で抽出された符号化レートから符号化直後の符号化品質を推定し、この符号化品質を表す情報を映像品質推定部１０６に入力する（図４ステップＳ６）。具体的には、符号化品質推定部１０４は、符号化品質特性係数記憶部２０４に保持された図１１のような品質データベース２０４０を参照し、ステップＳ１で抽出された符号化レート（ビットレート）とコーデックと映像フォーマットと映像通信種別に対応した符号化品質の値を品質データベース２０４０から取得すればよい。
【００５７】
なお、図１１の例では、複数のコーデック、複数の映像フォーマットおよび複数の映像通信種別に対応する品質データベースの例が記載されているが、実際に符号化品質を推定するのは、既知の１種類のコーデック、１種類の映像フォーマットおよび１種類の映像通信種別に対してなので、品質特性係数特定パラメータ記憶部３０１から符号化品質特性係数記憶部２０４に入力される品質データベースは、１種類のコーデック、１種類の映像フォーマットおよび１種類の映像通信種別に関するものでもよい。
【００５８】
また、符号化品質推定部１０４は、符号化レートと符号化品質との関係が数式化された所定の式に、ステップＳ１で抽出された符号化レートの値を代入して、符号化品質の値を求めるようにしてもよい（ステップＳ６）。
【００５９】
次に、フレーム種別推定部１０７は、ＩＰパケット内に記述される情報からフレーム種別を読み込み、フレームごとにフレーム種別を表す情報を無効フレーム推定部１０８に入力する（図４ステップＳ７）。ただし、メディア情報が著作権保護の観点から暗号化されている場合、フレーム種別推定部１０７は、パケット分析部１０１から入力されたフレーム情報量から、フレーム種別を判別する必要がある。
【００６０】
Ｉフレームを判別する手法については、上記で説明したとおりである。次に、ＩＰパケット内に含まれる、複数のフレームのうち、判別したＩフレームを除いたものの中からＰフレーム、Ｂフレームを判別する手法を説明する。フレーム種別推定部１０７は、事前に定められた閾値を利用し、フレーム情報量が閾値より大きいか小さいかで、フレームの種別を判別する。例えばフレーム情報量としてパケット数を用いる場合、フレーム種別推定部１０７は、パケット数閾値よりもフレームあたりのパケット数が多いものをＰフレーム、パケット数閾値よりもフレームあたりのパケット数が少ないものをＢフレームとする。この閾値は、事前に数種類の映像ストリームを作成し、映像ストリームからＰフレームとＢフレームを構成する平均的なパケット数を求め、このパケット数を基に決定すればよい。
【００６１】
無効フレーム推定部１０８は、パケット分析部１０１から入力されたシーケンス番号とフレーム種別推定部１０７から入力されたフレーム種別に基づき、無効フレームの量ＩＦを導出し、無効フレームの量ＩＦを表す情報を映像品質推定部１０６に入力する（図４ステップＳ８）。ここで、無効フレームとは、パケット損失が発生したときに損失したフレーム、および損失したフレームを参照しているために劣化が伝搬したフレームのことを言う。例えば、損失したフレームの数が２で、損失したフレームを参照しているために劣化が伝搬したフレームの数が１０であれば、無効フレーム数は１２となる。
【００６２】
具体的には、図１２に示すように、パケット損失が発生したフレームに応じて、劣化の伝搬が異なり、結果として、ユーザが知覚する劣化範囲が異なる。なお、図１２の例は、ＧＯＰ（Ｍ＝３、Ｎ＝１５）の場合を示している。図１２のＩｌｏｓｓで示すようにＩフレームにパケット損失が発生すると、次のＩフレームまでの区間、劣化が伝搬する。図１２の２００は、このときの劣化伝搬範囲を示す。図１２の例では、劣化が１７フレーム存在したように知覚される。
【００６３】
図１２のＰｌｏｓｓで示すようにＰフレームにパケット損失が発生すると、次のＩフレームまでの区間、劣化が伝搬する。図１２の２０１は、このときの劣化伝搬範囲を示す。図１２の例では、劣化が１１フレーム存在したように知覚される。
一方、図１２のＢｌｏｓｓに示すように、Ｂフレームにパケット損失が発生しても、ユーザが知覚する劣化範囲は当該Ｂフレームのみとなり、他のフレームに劣化が伝搬することはない。無効フレーム推定部１０８は、この図１２で説明したような現象を利用して、無効フレームの量をカウントすればよい。
【００６４】
なお、無効フレームの量ＩＦを、特定区間（例えば、品質測定区間３００フレームなど）内のフレームがどの程度の割合で損失しているかを示す無効フレーム率で表現してもよい。例えば、３００フレームのうち損失したフレームと劣化が伝搬したフレームとの総数が３０であれば、無効フレーム率は１０％となる。
【００６５】
最後に、映像品質推定部１０６は、ステップＳ５でパケット損失変化指標算出部１０５が求めたパケット損失変化指標Ｄと、ステップＳ６で符号化品質推定部１０４が求めた符号化品質Ｖｃと、ステップＳ８で無効フレーム推定部１０８が求めた無効フレームの量ＩＦから、次式により映像品質Ｖを推定する（図４ステップＳ９）
Ｖ＝１＋（Ｖｃ−１）・ｅｘｐ（−ＩＦ／Ｄ） ・・・（５）
【００６６】
なお、映像品質推定部１０６は、パケット損失変化指標Ｄと符号化品質Ｖｃと無効フレームの量ＩＦと映像品質Ｖとを予め対応付けた品質データベースを保持し、このデータベースにアクセスすることで、映像品質Ｖを導き出すようにしてもよい。
【００６７】
本実施の形態によれば、映像品質に関するパラメータにより、映像通信サービスの映像品質値を推定することが可能となるため、サービスを利用するユーザに対してある一定以上の品質を保っているかどうかを容易に判断することができる。これにより、上記サービスで用いる品質パラメータの設計や、提供中のサービスの品質実態を把握・管理することが可能となる。
【００６８】
そして、本実施の形態では、映像の動き量が大きくなるほど、Ｉフレームの情報がＢフレームやＰフレームに配分されるため、Ｉフレームに含まれる情報量が相対的に少なくなるという特徴を利用し、品質推定したい映像のＩフレーム情報量と複数の基準映像のＩフレーム情報量の平均値とから差分Ｉフレーム情報量（映像コンテンツ依存性を表す量）を求め、この差分Ｉフレーム情報量から、無効フレームの量と映像品質低下の程度との関係を表すパケット損失変化指標を求め、このパケット損失変化指標を映像品質の推定に用いるようにしたので、映像コンテンツ依存性を考慮した映像品質推定を行うことができる。また、本実施の形態では、映像メディアの画素情報を用いることなく、ネットワーク内から抽出可能なＩＰパケット内に記述されている情報から映像品質を推定することができるので、映像品質を軽い演算処理量で推定することができる。
【００６９】
［第２の実施の形態］
次に、本発明の第２の実施の形態について説明する。本実施の形態においても、映像品質推定装置の構成は第１の実施の形態と同様であるので、図３の符号を用いて説明する。図１３は本実施の形態の映像品質推定装置の動作を示すフローチャートである。
【００７０】
本実施の形態では、所望のある区間の品質を推定する場合（例えば、１０秒間の品質を推定する場合）、この所望の品質推定区間を例えばＧＯＰ単位や１秒間などの小区間に区切り、小区間ごとの映像品質を推定し、これら小区間ごとの映像品質から所望の品質推定区間の映像品質を推定する。例えば、品質推定区間を１０秒間とし、小区間をＧＯＰ単位とする。ＧＯＰ単位の映像品質は、第１の実施の形態の方法を用いて推定することができる。つまり、図１３のステップＳ１〜Ｓ９の処理は、第１の実施の形態と同様である。第１の実施の形態と異なる点は、第１の実施の形態ではステップＳ１〜Ｓ９の処理が品質推定区間の単位で行われていたのに対し、本実施の形態ではステップＳ１〜Ｓ９の処理が１０秒間の品質推定区間ではなく、品質推定区間を区切るＧＯＰごとに行われることである。
【００７１】
次に、本実施の形態の映像品質推定部１０６は、品質推定区間内のＧＯＰごとに推定した映像品質を次式のように平均し、品質推定区間の映像品質Ｖを得る（図１３ステップＳ１０）。
【００７２】
【数２】
【００７３】
ここで、Ｇは品質推定区間内のＧＯＰ数、ｇはＧＯＰの番号、Ｖｇは各ＧＯＰの映像品質を示す。
本実施の形態によれば、局所的に映像品質が著しく低下した場合にも追従することができ、局所的な低下を加味した映像品質を求めることができる。また、上記の例では、ＧＯＰ単位の映像品質の平均により品質推定区間の映像品質を推定したが、各ＧＯＰ単位の映像品質の重み付け平均をとって品質推定区間の映像品質を推定したり、各ＧＯＰ単位の映像品質のうち最低値を品質推定区間の映像品質としたりすることも有効である。
【００７４】
なお、第１、第２の実施の形態の映像品質推定装置は、ＣＰＵ、記憶装置および外部とのインタフェースを備えたコンピュータとこれらのハードウェア資源を制御するプログラムによって実現することができる。このようなコンピュータにおいて、本発明の映像品質推定方法を実現させるための映像品質推定プログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、メモリカードなどの記録媒体に記録された状態で提供される。ＣＰＵは、記録媒体から読み込んだプログラムを記憶装置に書き込み、プログラムに従って第１、第２の実施の形態で説明したような処理を実行する。
【産業上の利用可能性】
【００７５】
本発明は、ＩＰＴＶサービス、映像配信サービス、映像コミュニケーションサービスなどの映像通信の品質を推定する技術に適用することができる。
【図面の簡単な説明】
【００７６】
【図１】無効フレーム数と主観評価値との関係を示す図である。
【図２】予め用意する基準映像について説明するための図である。
【図３】本発明の第１の実施の形態に係る映像品質推定装置の構成を示すブロック図である。
【図４】本発明の第１の実施の形態に係る映像品質推定装置の動作を示すフローチャートである。
【図５】フレームの切れ目を説明するための図である。
【図６】本発明の第１の実施の形態における平均Ｉフレーム情報量特性係数記憶部の平均Ｉフレーム情報量データベースの例を示す図である。
【図７】ビットレートと平均Ｉフレーム情報量との関係を示す図である。
【図８】本発明の第１の実施の形態における平均Ｉフレーム情報量特性係数記憶部の関数係数データベースの例を示す図である。
【図９】差分Ｉフレーム情報量とパケット損失変化指標との関係を示す図である。
【図１０】本発明の第１の実施の形態におけるパケット損失変化指標特性係数記憶部の関数係数データベースの例を示す図である。
【図１１】本発明の第１の実施の形態における符号化品質特性係数記憶部の品質データベースの例を示す図である。
【図１２】無効フレームの概念を示す図である。
【図１３】本発明の第２の実施の形態に係る映像品質推定装置の動作を示すフローチャートである。
【符号の説明】
【００７７】
１０１…パケット分析部、１０２…差分Ｉフレーム情報量算出部、１０３…平均Ｉフレーム情報量推定部、１０４…符号化品質推定部、１０５…パケット損失変化指標算出部、１０６…映像品質推定部、１０７…フレーム種別推定部、１０８…無効フレーム推定部、２０３…平均Ｉフレーム情報量特性係数記憶部、２０４…符号化品質特性係数記憶部、２０５…パケット損失変化指標特性係数記憶部、３０１…品質特性係数特定パラメータ記憶部。
【技術分野】
【０００１】
本発明は、インターネットのようなＩＰネットワーク経由で行うＩＰＴＶサービス、映像配信サービス、映像コミュニケーションサービスなどの映像通信の品質を推定する技術に関するものである。
【背景技術】
【０００２】
インターネットアクセス回線の高速・広帯域化に伴い、音声信号や映像信号などを送受信する映像通信サービスが期待されている。インターネットは必ずしも通信品質の保証されていないネットワークであるため、音声通信や映像信号などを送受信する場合、ユーザ間のネットワークの回線帯域が狭かったり、回線が輻輳したりすると、音声信号や映像信号などに対してユーザが知覚するユーザ体感品質（ＱｏＥ：Quality of Experience）が劣化してしまう。具体的には、映像に品質劣化が加わると、ぼけ、にじみ、モザイク状の歪、ぎくしゃく感などとして知覚される。映像通信サービスを品質良く提供するためには、サービス提供に先立った品質設計やサービス開始後の品質管理が重要となり、このためには、ユーザが享受する品質を適切に表現でき、しかも簡便かつ効率的な品質評価技術が必要となる。
【０００３】
従来、国際標準化機関ＩＴＵ−Ｔ（International Telecommunication Union Telecommunication Standardization Sector）が勧告した非特許文献１には、映像品質客観評価法が記載され、同じくＩＴＵ−Ｔが勧告した非特許文献２には、テレビ電話の品質設計を行うための品質推定法が記載されている。
【０００４】
また、パケット損失したフレームとそのフレームを参照するフレームの総量に基づき映像の劣化量を推定する無効フレーム映像品質推定方法がある（例えば特許文献１〜特許文献７参照）。さらに、特許文献８には、映像の動き量と無効フレームを考慮して映像品質を推定する方法が提案されている。以上の客観評価技術によれば、ある一定の条件下で主観品質の統計的曖昧さと同程度の推定誤差で主観品質を推定可能である。
【０００５】
【特許文献１】特開２００６−３３７２２号公報
【特許文献２】特開２００７−０１９８０２号公報
【特許文献３】特開２００７−０６０４７５号公報
【特許文献４】特開２００７−１３５０４０号公報
【特許文献５】特開２００７−２５８９１９号公報
【特許文献６】特開２００７−３２９７７１号公報
【特許文献７】特開２００７−３２９７７２号公報
【特許文献８】特開２００８−００５１０８号公報
【非特許文献１】“Objective perceptual video quality measurement techniques for digital cable television in the presence of a full reference”，ITU-T Recommendation J.144，2003
【非特許文献２】“Opinion model for video-telephony applications”，ITU-T Recommendation G.1070，2007
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、非特許文献１で規定された技術は、映像信号（画素信号）を用いる品質推定方法であり、品質推定に関する計算量が膨大である。そのため、ネットワーク間から品質情報を抽出し、大規模ネットワークにおける品質を管理する場合には適していないという問題点があった。
【０００７】
また、特許文献１〜特許文献７に開示された無効フレーム映像品質推定方法では、映像信号を用いず、ＩＰパケットの情報から映像フレームの情報を読み出すか、もしくは映像フレームの情報を推定（予測）し、フレーム情報に基づいて映像品質を推定するようにしている。しかしながら、特許文献１〜特許文献７に開示された方法では、映像コンテンツの依存性を考慮せず、フレーム構造のみから映像品質を推定しているため、適切に映像品質を推定することができないという問題点があった。一般に、無効フレーム数が同じであっても、映像の動き量が大きいほどユーザの知覚する品質劣化が大きいという傾向がある。しかし、特許文献１〜特許文献７に開示された方法では、映像の動き量がユーザ体感品質に与える影響を考慮することができない。例えば、映像Ａと映像Ｂのフレームが共に１０フレーム損失した場合でも、映像Ａは動き量が多いためにユーザが劣化を検知し易く、映像Ｂは動き量が少ないためにユーザが劣化を検知しにくい、といった現象を考慮することはできない。
【０００８】
また、特許文献８に開示された方法では、映像の動き量をあらかじめ算出しておくことを前提としており、具体的にはメディア信号を利用してＴＩ（Temporal Information）値を算出し、算出した値に基づき品質推定するようにしているため、リアルタイムに品質推定する用途に適していないという問題点があった。つまり、特許文献８に開示された方法では、映像の動き量があらかじめ分かっている場合のみ、映像の動き量がユーザ体感品質に与える影響を考慮することができる。
以上のように、従来の方法では、映像品質の映像コンテンツ依存性を考慮することができず、映像品質の推定精度が著しく低下する。
【０００９】
本発明は、上記課題を解決するためになされたもので、その目的とするところは、予め映像の動き量が分かっていない場合であっても、映像コンテンツ依存性を考慮した映像品質を軽い演算処理量で推定することができる映像品質推定方法、装置およびプログラムを提供することにある。
【課題を解決するための手段】
【００１０】
本発明の映像品質推定方法は、品質推定したい評価映像のＩフレームに含まれる情報量を導出するＩフレーム情報量導出手順と、このＩフレーム情報量導出手順で得られたＩフレーム情報量と、複数の基準映像のＩフレームに含まれる情報量の平均値である平均Ｉフレーム情報量との差を求める差分Ｉフレーム情報量算出手順と、この差分Ｉフレーム情報量算出手順で得られた差分Ｉフレーム情報量から、評価映像フレームのうち損失によって劣化したフレームおよびその劣化が伝搬したフレームである無効フレームの量と映像品質低下の程度との関係を表す損失変化指標を求める損失変化指標導出手順と、前記評価映像の無効フレームの量を求める無効フレーム推定手順と、前記無効フレームの量と前記損失変化指標に基づいて、前記評価映像の品質を推定する映像品質推定手順とを備えることを特徴とするものである。
また、本発明の映像品質推定方法の１構成例において、前記損失変化指標導出手順は、前記評価映像の符号化に使用されるコーデックの種類とサービス種別と映像フォーマットに応じて決定される関数を用いて、前記損失変化指標を算出することを特徴とするものである。
また、本発明の映像品質推定方法の１構成例は、さらに、前記評価映像の符号化レートから符号化品質を推定する符号化品質推定手順を備え、前記映像品質推定手順は、前記無効フレームの量と前記損失変化指標と前記符号化品質に基づいて、前記評価映像の品質を推定することを特徴とするものである。
また、本発明の映像品質推定方法の１構成例において、前記Ｉフレーム情報量導出手順と差分Ｉフレーム情報量算出手順と損失変化指標導出手順と無効フレーム推定手順と映像品質推定手順とは、所定の品質推定区間を区切った小区間ごとに前記評価映像の品質を推定し、前記映像品質推定手順は、さらに前記小区間ごとの映像品質に基づいて前記品質推定区間の映像品質を求める手順を含むことを特徴とするものである。
【００１１】
また、本発明の映像品質推定装置は、品質推定したい評価映像のＩフレームに含まれる情報量を導出するＩフレーム情報量導出手段と、このＩフレーム情報量導出手段が求めたＩフレーム情報量と、複数の基準映像のＩフレームに含まれる情報量の平均値である平均Ｉフレーム情報量との差を求める差分Ｉフレーム情報量算出手段と、この差分Ｉフレーム情報量算出手段が求めた差分Ｉフレーム情報量から、評価映像フレームのうち損失によって劣化したフレームおよびその劣化が伝搬したフレームである無効フレームの量と映像品質低下の程度との関係を表す損失変化指標を求める損失変化指標導出手段と、前記評価映像の無効フレームの量を求める無効フレーム推定手段と、前記無効フレームの量と前記損失変化指標に基づいて、前記評価映像の品質を推定する映像品質推定手段とを備えることを特徴とするものである。
また、本発明の映像品質推定装置の１構成例において、前記損失変化指標導出手段は、前記評価映像の符号化に使用されるコーデックの種類とサービス種別と映像フォーマットに応じて決定される関数を用いて、前記損失変化指標を算出することを特徴とするものである。
また、本発明の映像品質推定装置の１構成例は、さらに、前記評価映像の符号化レートから符号化品質を推定する符号化品質推定手段を備え、前記映像品質推定手段は、前記無効フレームの量と前記損失変化指標と前記符号化品質に基づいて、前記評価映像の品質を推定することを特徴とするものである。
また、本発明の映像品質推定装置の１構成例において、前記Ｉフレーム情報量導出手段と差分Ｉフレーム情報量算出手段と損失変化指標導出手段と無効フレーム推定手段と映像品質推定手段とは、所定の品質推定区間を区切った小区間ごとに前記評価映像の品質を推定し、前記映像品質推定手段は、さらに前記小区間ごとの映像品質に基づいて前記品質推定区間の映像品質を求める手段を含むことを特徴とするものである。
【００１２】
また、本発明は、評価映像の品質を推定する映像品質推定装置としてコンピュータを動作させる映像品質推定プログラムにおいて、評価映像のＩフレームに含まれる情報量を導出するＩフレーム情報量導出手順と、このＩフレーム情報量導出手順で得られたＩフレーム情報量と、複数の基準映像のＩフレームに含まれる情報量の平均値である平均Ｉフレーム情報量との差を求める差分Ｉフレーム情報量算出手順と、この差分Ｉフレーム情報量算出手順で得られた差分Ｉフレーム情報量から、評価映像フレームのうち損失によって劣化したフレームおよびその劣化が伝搬したフレームである無効フレームの量と映像品質低下の程度との関係を表す損失変化指標を求める損失変化指標導出手順と、前記評価映像の無効フレームの量を求める無効フレーム推定手順と、前記無効フレームの量と前記損失変化指標に基づいて、前記評価映像の品質を推定する映像品質推定手順とを、コンピュータに実行させることを特徴とするものである。
【発明の効果】
【００１３】
本発明によれば、品質推定したい映像のＩフレーム情報量と複数の基準映像のＩフレーム情報量の平均値とから差分Ｉフレーム情報量を求め、この差分Ｉフレーム情報量から、無効フレームの量と映像品質低下の程度との関係を表す損失変化指標を求め、この損失変化指標を映像品質の推定に用いるようにしたので、予め映像の動き量が分かっていない場合であっても、映像コンテンツ依存性を考慮した映像品質推定を行うことができる。また、本発明では、映像メディアの画素情報を用いることなく、ネットワーク内から抽出可能なパケット内に記述されている情報から映像品質を推定することができるので、映像品質を軽い演算処理量で推定することができる。
【００１４】
また、本発明では、評価映像の符号化に使用されるコーデックの種類とサービス種別と映像フォーマットに応じて決定される関数を用いて損失変化指標を算出することにより、差分Ｉフレーム情報量と損失変化指標との関係がコーデックとサービス種別と映像フォーマットに依存するという性質を、損失変化指標の算出に反映させることができる。
【００１５】
また、本発明では、所定の品質推定区間を区切った小区間ごとに評価映像の品質を推定し、小区間ごとの映像品質に基づいて品質推定区間の映像品質を求めることにより、局所的に映像品質が著しく低下した場合にも追従することができ、局所的な低下を加味した映像品質を求めることができる。
【発明を実施するための最良の形態】
【００１６】
［発明の原理］
映像品質を推定する場合、ＩＰパケットに記述される情報から映像品質を左右するパラメータを解析し、利用できる全てのパラメータを用いて品質を推定することが望ましい。しかしながら、品質を推定する手段の演算量が膨大になるため、全てのパラメータを演算に利用することはできず、一般的には一部のパラメータから映像品質を推定するようにしている。また、ＩＰパケット内の映像情報や音声情報に関してはしばしば暗号化されていることがあるので、直接、解析に利用できないケースが多々ある。そこで、本発明の実施の形態では、映像情報に関するペイロード情報を推定することにより、映像品質を推定する方法を提供する。
【００１７】
ＭＰＥＧ２（Moving Picture Experts Group 2）やＨ．２６４などの映像符号化方式では、映像信号はＩ，Ｂ，Ｐフレームなどのフレームに符号化され圧縮される。Ｉフレームは、それだけで完結しており、Ｉフレームの情報だけで元のフレーム画像を復元できる。このようにＩフレームでは、フレーム内圧縮のみしか行わないため、Ｉ，Ｂ，Ｐの３種類のフレームの中で、圧縮率は最も低い（すなわちデータ量が最も多い）。
【００１８】
Ｐフレームは、該当フレームの画像とその直前のＩフレームやＰフレームの画像との差分情報である。Ｐフレームをデコードするためには、直前のＩフレームやＰフレームの情報が必要となる。Ｐフレームは、Ｉフレームに比べると、圧縮率が高くなる（すなわちデータ量は削減される）。
Ｂフレームは、前のフレームだけでなく後のフレームとの差分も使って圧縮されたものである。Ｂフレームをデコードするためには、前後のＩフレーム、Ｐフレームの情報が必要となる。Ｂフレームは、Ｐフレームよりもさらに圧縮率が高くなる（すなわちＩ，Ｂ，Ｐの３種類の中で最もデータ量が少ない）。
【００１９】
ＭＰＥＧ２やＨ．２６４などの映像符号化方式では、上記Ｉ，Ｂ，Ｐの各フレームが独立してではなく、ＧＯＰ（Group of Picture）という固まり単位で圧縮、伸長が行われる。例えば、ＭＰＥＧ２の場合、ＧＯＰは、ＩＢＢＰＢＢＰＢＢＰＢＢＰＢＢ、のように、１５フレーム単位（０．５秒）で構成される。上のケースでは、１ＧＯＰの中に、Ｉフレーム１個、Ｐフレーム４個、Ｂフレーム１０個が存在する。Ｉフレームの数は１ＧＯＰの中に必ず１個と決まっているが、Ｐフレーム、Ｂフレームの数は、映像の動き量等によって変わる。
【００２０】
一般に、動き量の大きい映像ほど、Ｉフレームに含まれる情報量が小さいことが知られている。つまり、動き量の大きい映像に対しては、Ｉフレームの情報を減らし（Ｉフレームの精細度を落とす）、ＢフレームやＰフレームの情報を増やし（ＢフレームやＰフレームの精細度を上げる）、映像全体の品質を高めるように符号化される。動き量の小さい映像に対しては、その逆の処理が行われる。
本発明の実施の形態は、このような映像の動き量に応じてＩ，Ｂ，Ｐフレームの情報量が変動するという事実に基づいて、Ｉフレームの情報量をＩＰパケット内に記述されている情報から抽出し、フレーム情報を考慮して、リアルタイムな品質推定を実現する。
【００２１】
具体的には、パケット損失が発生してフレームが損失し、他のフレームに劣化が伝搬した場合、映像の動き量（つまり、Ｉフレームの情報量）に応じて、主観評価値の変化の度合いが異なる。図１は無効フレーム数と主観評価値との関係を示す図である。図１において、ｍ１は映像の動き量が大きいときの特性、ｍ２は映像の動き量が小さいときの特性である。
【００２２】
図１に示すように、無効フレーム数と主観評価値との関係は、映像の動き量が大きいほど無効フレーム数の増加に対する主観品質の低下が早く、動き量が小さい場合は無効フレーム数の増加に対する主観品質の低下が鈍くなるという特性がある。また、前述のように、映像の動き量とＩフレームの情報量には相関がある。
【００２３】
そこで、図２に模式的に示すように、無数に存在する映像の集合２０の中から例えば８つの基準映像２１を予め選び出す。基準映像としては、例えば動き量の大きい映像や動き量の小さい映像などのいくつかの典型的な映像をサンプルとして用意すればよい。この基準映像のＩフレームの情報量（例えば、Ｉフレームに使われたビット数や、Ｉフレームを構成するＩＰパケットの数やＴＳパケットの数）を映像毎に求め、その平均値である平均Ｉフレーム情報量を求める。そして、品質を推定したい映像のＩフレーム情報量と平均Ｉフレーム情報量とから、差分Ｉフレーム情報量（平均された基準映像の品質値とのずれ、すなわち映像コンテンツ依存性を表す量）を求め、この差分Ｉフレーム情報量からパケット損失変化指標を計算し、無効フレームの量とパケット損失変化指標に基づいて映像品質を推定する。
【００２４】
これにより、映像メディアの画素情報を用いることなく、ネットワーク内から抽出可能なＩＰパケット内に記述されている情報から、映像コンテンツ依存性を考慮した映像品質を軽い演算処理量で推定することができる。
【００２５】
［第１の実施の形態］
以下、図面を用いて本発明の実施の形態を説明する。図３は本発明の第１の実施の形態に係る映像品質推定装置の構成を示すブロック図、図４は図３の映像品質推定装置の動作を示すフローチャートである。
映像品質推定装置は、受信したＩＰパケットから品質パラメータを抽出するパケット分析部１０１と、パケット分析部１０１が求めたＩフレーム情報量と、複数の基準映像のＩフレームに含まれる情報量の平均値である平均Ｉフレーム情報量との差を求める差分Ｉフレーム情報量算出部１０２と、平均Ｉフレーム情報量を求める平均Ｉフレーム情報量推定部１０３と、パケット分析部１０１が求めた符号化レートから符号化品質を推定する符号化品質推定部１０４と、差分Ｉフレーム情報量算出部１０２が求めた差分Ｉフレーム情報量からパケット損失変化指標を算出するパケット損失変化指標算出部１０５と、無効フレームの量とパケット損失変化指標と符号化品質に基づいて映像品質を推定する映像品質推定部１０６と、映像のフレームの種別をフレームごとに判別するフレーム種別推定部１０７と、フレーム種別に基づいて無効フレームの量を求める無効フレーム推定部１０８と、平均Ｉフレーム情報量を求めるための平均Ｉフレーム情報量特性係数を記憶する平均Ｉフレーム情報量特性係数記憶部２０３と、符号化品質を求めるための符号化品質特性係数を記憶する符号化品質特性係数記憶部２０４と、パケット損失変化指標を求めるためのパケット損失変化指標特性係数を記憶するパケット損失変化指標特性係数記憶部２０５と、映像品質推定装置の各構成に映像品質推定を行うためのパラメータを入力する品質特性係数特定パラメータ記憶部３０１とを有する。
【００２６】
まず、図示しない受信部は、ＩＰネットワークからＩＰパケットを受信する。ＩＰパケット内には、ＩＰヘッダや、ＴＳ（Transport stream）、ＥＳ（Elementaly stream）などが存在する。
【００２７】
次に、受信部からパケット分析部１０１に、受信したＩＰパケットを入力する。パケット分析部１０１は、映像品質推定を行うために映像品質推定関数に入力する品質パラメータをＩＰパケットから抽出し、これらの品質パラメータを差分Ｉフレーム情報量算出部１０２、平均Ｉフレーム情報量推定部１０３、符号化品質推定部１０４、フレーム種別推定部１０７、無効フレーム推定部１０８へ入力する（図４ステップＳ１）。
【００２８】
本実施の形態では、品質パラメータとして、Ｉフレーム情報量、符号化レート、フレーム情報量、シーケンス番号を用いている。
Ｉフレーム情報量については、Ｉフレーム情報量の増加とともに映像の動き量が少なくなり、逆にＩフレーム情報量が低下すると映像の動き量が多くなる特性を有することを利用する。
【００２９】
品質パラメータとしては、本実施の形態で用いたものの他、ＩＰパケット内に記述される映像フォーマット、フレーム情報（イントラリフレッシュレート、ＧＯＰ、フレームタイプ）、動き補償後の誤差信号に対する情報（量子化ステップ幅、変換係数（ＤＣＴ係数／整数変換係数／ウエーブレット係数など））、パケット損失情報（パケット損失率、パケット損失パターン、パケット遅延時間など）などを用いてもよい。
【００３０】
以下に、本実施の形態において、具体的にどのように各品質パラメータを抽出し、差分Ｉフレーム情報量算出部１０２、平均Ｉフレーム情報量推定部１０３、符号化品質推定部１０４、フレーム種別推定部１０７、無効フレーム推定部１０８へ入力するかを説明する。
【００３１】
［Ｉフレーム情報量の導出］
パケット分析部１０１は、ＩＰパケット内に含まれる、Ｉフレームを構成するＴＳパケットをカウントし、Ｉフレームの情報量Ｉｑを次式のように単位フレームあたりの情報量として計算し、計算したＩフレーム情報量Ｉｑを差分Ｉフレーム情報量算出部１０２に入力する（ステップＳ１）。
【００３２】
【数１】
【００３３】
式（１）において、Ｆは所望の品質推定区間（例えば１０秒）に存在するＩフレーム数、ｆは所望の品質推定区間（例えば１０秒）に存在するＩフレームの番号、ｉfはＩフレームの番号ｆに対応したＩフレームのＴＳパケット数である。
【００３４】
ここで、どのフレームがＩフレームであるかを判別する手法は、文献「牛木一成，富永聡子，林孝典，“ＴＳヘッダ情報を用いた映像フレーム種別推定法の有効性検証”，信学技報，ｖｏｌ．１０７，ｎｏ．３１２，ＣＱ２００７−７４，ｐ．１５−１９」に記載されている。以下、この判別手法について説明する。
【００３５】
図５はフレームの切れ目を説明するための図であり、５０はＲＴＰ（Real-time Transport Protocol）ヘッダ内のマーカービット（Marker bit）か、あるいはＴＳヘッダ内のペイロードユニットスタートインジケータ（Payload unit start indicator）のフラグが立っているパケット、５１はマーカービットおよびペイロードユニットスタートインジケータのフラグが立っていないパケットである。
【００３６】
図５に示すように、ＩＰパケット内にあるマーカービットもしくはペイロードユニットスタートインジケータは、フレームの切れ目を示すフラグである。パケット分析部１０１は、このフラグを利用して、どのパケットからどのパケットまでが１フレームを構成するかを判断することができる。次に、パケット分析部１０１は、フラグが立っているパケット５０から次のフラグが立っているパケット５０までの間のパケット数、すなわちフレームあたりのパケット数をカウントする（例えば、１フレーム目は５００パケット、２フレーム目は５０パケットなど）。
【００３７】
一般に、映像フレーム内にある情報量は、Ｉ，Ｐ，Ｂフレームの順に多いことが知られている。パケット分析部１０１は、この特徴を利用して、パケット数からフレーム種別を判別する。例えば、ＧＯＰ（Ｍ＝３、Ｎ＝１５）で構成されるフレーム構造（ＭはＩ，Ｐフレームの間隔、ＮはＩフレームの間隔）の場合は、１５フレームに１つＩフレームがあるので、１５フレームの中で一番パケット数が多いものをＩフレームとする。また、ＧＯＰ長が可変である場合は、１７フレームの中から２つパケット数の多いものを抽出し、これらをＩフレームとすればよい。以上のような手法により、パケット分析部１０１は、Ｉフレームを判別することができる。
【００３８】
なお、本実施の形態では、Ｉフレーム情報量をＴＳパケットに基づき算出しているが、Ｉフレーム情報量として、Ｉフレームを構成するビットレートやＩＰパケット数などを用いてもよい。
【００３９】
［符号化レートの導出］
パケット分析部１０１は、ＩＰパケット内に含まれる、映像符号化に必要とされた符号量（つまり、ビット数）をカウントして、その符号化レート（ビットレート）を求め、符号化レートの情報を平均Ｉフレーム情報量推定部１０３と符号化品質推定部１０４に入力する（ステップＳ１）。ただし、符号量ではなく、他のビット量と相関の高い、映像を構成するパケット数などのパラメータをカウントして、このパケット数を符号化レートを表す情報として用いてもよい。
【００４０】
［フレーム情報量の導出］
パケット分析部１０１は、フレーム情報量をフレームごとにカウントしてフレーム種別推定部１０７に入力する（ステップＳ１）。フレーム情報量は、図５で説明したとおりマーカービットやペイロードユニットスタートインジケータに基づき、フレームあたりのビット数やフレームあたりのＴＳパケット数などをカウントすることによって求めることができる。
【００４１】
［シーケンス番号］
パケット分析部１０１は、ＲＴＰヘッダ内のシーケンス番号やＴＣＰ（Transmission Control Protocol）ヘッダ内のシーケンス番号などのパケットの順番を示す値を無効フレーム推定部１０８に入力する（ステップＳ１）。
【００４２】
次に、品質特性係数特定パラメータ記憶部３０１は、予め定められた品質特性係数特定パラメータを平均Ｉフレーム情報量推定部１０３、符号化品質推定部１０４、パケット損失変化指標算出部１０５、フレーム種別推定部１０７、平均Ｉフレーム情報量特性係数記憶部２０３、符号化品質特性係数記憶部２０４、パケット損失変化指標特性係数記憶部２０５に入力する（図４ステップＳ２）。
【００４３】
品質特性係数特定パラメータとしては、コーデック（CODEC）を示す情報、映像フォーマットを示す情報、映像通信種別を表す情報、表示解像度を示す情報、符号化品質特性係数（映像フォーマットごとおよび符号化レートごとの符号化品質の値）、平均Ｉフレーム情報量特性係数（映像フォーマットごとおよび符号化レートごとの平均Ｉフレーム情報量、あるいは平均Ｉフレーム情報量を算出する関数の係数）、パケット損失変化指標特性係数（パケット損失変化指標を算出する関数の係数）などがある。なお、品質推定したい評価映像のコーデックと映像フォーマットと映像通信種別（サービス種別）とを示す情報は、外部から入力され、品質特性係数特定パラメータ記憶部３０１に記憶される。
【００４４】
品質特性係数特定パラメータ記憶部３０１は、コーデックを示す情報、映像フォーマットを示す情報、映像通信種別を表す情報、および表示解像度を示す情報を平均Ｉフレーム情報量推定部１０３、符号化品質推定部１０４、パケット損失変化指標算出部１０５、フレーム種別推定部１０７に入力する。また、品質特性係数特定パラメータ記憶部３０１は、平均Ｉフレーム情報量特性係数を平均Ｉフレーム情報量特性係数記憶部２０３に入力し、符号化品質特性係数を符号化品質特性係数記憶部２０４に入力し、パケット損失変化指標特性係数をパケット損失変化指標特性係数記憶部２０５に入力する。
【００４５】
コーデックとしては、例えばＨ．２６４、Ｈ．２６３、Ｈ．２６１、ＭＰＥＧ２、ＭＰＥＧ４などがある。映像フォーマットとしては、例えばＨＤ（High Definition）、ＳＤ（Standard Definition）、ＶＧＡ（Video Graphics Array）、ＱＣＩＦ（Quarter Common Intermediate Format）などがある。映像通信種別としては、例えばＩＰＴＶ、ＴＶ電話、ＶｏＤ（Video On Demand）などがある。
【００４６】
次に、平均Ｉフレーム情報量推定部１０３は、ステップＳ１で抽出された符号化レートから複数の基準映像のＩフレーム情報量の平均値Ｉａｖｅを導出し、導出した平均Ｉフレーム情報量Ｉａｖｅを差分Ｉフレーム情報量算出部１０２に入力する（図４ステップＳ３）。具体的には、平均Ｉフレーム情報量推定部１０３は、平均Ｉフレーム情報量特性係数記憶部２０３に保持された図６のような平均Ｉフレーム情報量データベース２０３０を参照し、ステップＳ１で抽出された符号化レート（ビットレート）とコーデックと映像フォーマットと映像通信種別に対応した平均Ｉフレーム情報量Ｉａｖｅの値を取得すればよい。
【００４７】
なお、図６の例では、複数のコーデック、複数の映像フォーマットおよび複数の映像通信種別に対応する平均Ｉフレーム情報量データベースの例が記載されているが、実際に符号化品質を推定するのは、既知の１種類のコーデック、１種類の映像フォーマットおよび１種類の映像通信種別に対してなので、品質特性係数特定パラメータ記憶部３０１から平均Ｉフレーム情報量特性係数記憶部２０３に入力される平均Ｉフレーム情報量データベースは、１種類のコーデック、１種類の映像フォーマットおよび１種類の映像通信種別に関するものでもよい。
【００４８】
また、平均Ｉフレーム情報量推定部１０３は、符号化レートと平均Ｉフレーム情報量との関係が数式化された所定の式に、ステップＳ１で抽出された符号化レートの値を代入して、平均Ｉフレーム情報量Ｉａｖｅを算出するようにしてもよい（ステップＳ３）。図７に示すように、ビットレートの増加と共に平均Ｉフレーム情報量は増加する。このビットレートと平均Ｉフレーム情報量Ｉａｖｅとの関係は、コーデックなどに依存する。そこで、平均Ｉフレーム情報量Ｉａｖｅを算出する関数のみを予め一般化し、関数の係数を品質特性係数特定パラメータ記憶部３０１から平均Ｉフレーム情報量特性係数記憶部２０３の関数係数データベース２０３１に保存する。
【００４９】
平均Ｉフレーム情報量推定部１０３は、平均Ｉフレーム情報量特性係数記憶部２０３に保持された図８のような関数係数データベース２０３１を参照して、コーデックと映像フォーマットと映像通信種別に対応した関数の係数ｔ１，ｔ２，ｔ３を取得し、以下のような式を用いて平均Ｉフレーム情報量Ｉａｖｅを算出する。
Ｉａｖｅ＝ｔ１＋ｔ２・ｅｘｐ（−ＢＲ／ｔ３） ・・・（２）
【００５０】
式（２）において、ＢＲはステップＳ１で抽出された符号化レート（ビットレート）である。関数の係数ｔ１，ｔ２，ｔ３をコーデックなどに応じて切り替えることで、コーデックなどに依存する、ビットレートと平均Ｉフレーム情報量との関係を加味できることになる。
【００５１】
差分Ｉフレーム情報量算出部１０２は、パケット分析部１０１から入力されたＩフレーム情報量Ｉｑと平均Ｉフレーム情報量推定部１０３から入力された平均Ｉフレーム情報量Ｉａｖｅから、次式のように差分Ｉフレーム情報量ΔＩを算出し、この差分Ｉフレーム情報量ΔＩをパケット損失変化指標算出部１０５に入力する（図４ステップＳ４）。
ΔＩ＝Ｉｑ−Ｉａｖｅ ・・・（３）
【００５２】
次に、パケット損失変化指標算出部１０５は、図９に示すように差分Ｉフレーム情報量ΔＩが増加するとパケット損失変化指標Ｄが増加する関係があることを利用し、パケット損失変化指標Ｄを算出して映像品質推定部１０６に入力する（図４ステップＳ５）。ここで、パケット損失変化指標とは、パケット損失が発生したときに、損失したフレームの量に基づき映像品質が低下する程度を表す量である。
【００５３】
差分Ｉフレーム情報量ΔＩとパケット損失変化指標Ｄとの関係は、コーデックなどに依存する。そこで、パケット損失変化指標Ｄを算出する関数のみを予め一般化し、関数の係数を品質特性係数特定パラメータ記憶部３０１からパケット損失変化指標特性係数記憶部２０５の関数係数データベース２０５０に保存する。
【００５４】
パケット損失変化指標算出部１０５は、パケット損失変化指標特性係数記憶部２０５に保持された図１０のような関数係数データベース２０５０を参照して、コーデックと映像フォーマットと映像通信種別に対応した関数の係数ａ，ｂを取得し、以下のような式を用いてパケット損失変化指標Ｄを算出する。
Ｄ＝ａ＋ｂΔＩ ・・・（４）
【００５５】
関数の係数ａ，ｂをコーデックなどに応じて切り替えることで、コーデックなどに依存する、差分Ｉフレーム情報量ΔＩとパケット損失変化指標Ｄとの関係を加味できることになる。
【００５６】
次に、符号化品質推定部１０４は、ステップＳ１で抽出された符号化レートから符号化直後の符号化品質を推定し、この符号化品質を表す情報を映像品質推定部１０６に入力する（図４ステップＳ６）。具体的には、符号化品質推定部１０４は、符号化品質特性係数記憶部２０４に保持された図１１のような品質データベース２０４０を参照し、ステップＳ１で抽出された符号化レート（ビットレート）とコーデックと映像フォーマットと映像通信種別に対応した符号化品質の値を品質データベース２０４０から取得すればよい。
【００５７】
なお、図１１の例では、複数のコーデック、複数の映像フォーマットおよび複数の映像通信種別に対応する品質データベースの例が記載されているが、実際に符号化品質を推定するのは、既知の１種類のコーデック、１種類の映像フォーマットおよび１種類の映像通信種別に対してなので、品質特性係数特定パラメータ記憶部３０１から符号化品質特性係数記憶部２０４に入力される品質データベースは、１種類のコーデック、１種類の映像フォーマットおよび１種類の映像通信種別に関するものでもよい。
【００５８】
また、符号化品質推定部１０４は、符号化レートと符号化品質との関係が数式化された所定の式に、ステップＳ１で抽出された符号化レートの値を代入して、符号化品質の値を求めるようにしてもよい（ステップＳ６）。
【００５９】
次に、フレーム種別推定部１０７は、ＩＰパケット内に記述される情報からフレーム種別を読み込み、フレームごとにフレーム種別を表す情報を無効フレーム推定部１０８に入力する（図４ステップＳ７）。ただし、メディア情報が著作権保護の観点から暗号化されている場合、フレーム種別推定部１０７は、パケット分析部１０１から入力されたフレーム情報量から、フレーム種別を判別する必要がある。
【００６０】
Ｉフレームを判別する手法については、上記で説明したとおりである。次に、ＩＰパケット内に含まれる、複数のフレームのうち、判別したＩフレームを除いたものの中からＰフレーム、Ｂフレームを判別する手法を説明する。フレーム種別推定部１０７は、事前に定められた閾値を利用し、フレーム情報量が閾値より大きいか小さいかで、フレームの種別を判別する。例えばフレーム情報量としてパケット数を用いる場合、フレーム種別推定部１０７は、パケット数閾値よりもフレームあたりのパケット数が多いものをＰフレーム、パケット数閾値よりもフレームあたりのパケット数が少ないものをＢフレームとする。この閾値は、事前に数種類の映像ストリームを作成し、映像ストリームからＰフレームとＢフレームを構成する平均的なパケット数を求め、このパケット数を基に決定すればよい。
【００６１】
無効フレーム推定部１０８は、パケット分析部１０１から入力されたシーケンス番号とフレーム種別推定部１０７から入力されたフレーム種別に基づき、無効フレームの量ＩＦを導出し、無効フレームの量ＩＦを表す情報を映像品質推定部１０６に入力する（図４ステップＳ８）。ここで、無効フレームとは、パケット損失が発生したときに損失したフレーム、および損失したフレームを参照しているために劣化が伝搬したフレームのことを言う。例えば、損失したフレームの数が２で、損失したフレームを参照しているために劣化が伝搬したフレームの数が１０であれば、無効フレーム数は１２となる。
【００６２】
具体的には、図１２に示すように、パケット損失が発生したフレームに応じて、劣化の伝搬が異なり、結果として、ユーザが知覚する劣化範囲が異なる。なお、図１２の例は、ＧＯＰ（Ｍ＝３、Ｎ＝１５）の場合を示している。図１２のＩｌｏｓｓで示すようにＩフレームにパケット損失が発生すると、次のＩフレームまでの区間、劣化が伝搬する。図１２の２００は、このときの劣化伝搬範囲を示す。図１２の例では、劣化が１７フレーム存在したように知覚される。
【００６３】
図１２のＰｌｏｓｓで示すようにＰフレームにパケット損失が発生すると、次のＩフレームまでの区間、劣化が伝搬する。図１２の２０１は、このときの劣化伝搬範囲を示す。図１２の例では、劣化が１１フレーム存在したように知覚される。
一方、図１２のＢｌｏｓｓに示すように、Ｂフレームにパケット損失が発生しても、ユーザが知覚する劣化範囲は当該Ｂフレームのみとなり、他のフレームに劣化が伝搬することはない。無効フレーム推定部１０８は、この図１２で説明したような現象を利用して、無効フレームの量をカウントすればよい。
【００６４】
なお、無効フレームの量ＩＦを、特定区間（例えば、品質測定区間３００フレームなど）内のフレームがどの程度の割合で損失しているかを示す無効フレーム率で表現してもよい。例えば、３００フレームのうち損失したフレームと劣化が伝搬したフレームとの総数が３０であれば、無効フレーム率は１０％となる。
【００６５】
最後に、映像品質推定部１０６は、ステップＳ５でパケット損失変化指標算出部１０５が求めたパケット損失変化指標Ｄと、ステップＳ６で符号化品質推定部１０４が求めた符号化品質Ｖｃと、ステップＳ８で無効フレーム推定部１０８が求めた無効フレームの量ＩＦから、次式により映像品質Ｖを推定する（図４ステップＳ９）
Ｖ＝１＋（Ｖｃ−１）・ｅｘｐ（−ＩＦ／Ｄ） ・・・（５）
【００６６】
なお、映像品質推定部１０６は、パケット損失変化指標Ｄと符号化品質Ｖｃと無効フレームの量ＩＦと映像品質Ｖとを予め対応付けた品質データベースを保持し、このデータベースにアクセスすることで、映像品質Ｖを導き出すようにしてもよい。
【００６７】
本実施の形態によれば、映像品質に関するパラメータにより、映像通信サービスの映像品質値を推定することが可能となるため、サービスを利用するユーザに対してある一定以上の品質を保っているかどうかを容易に判断することができる。これにより、上記サービスで用いる品質パラメータの設計や、提供中のサービスの品質実態を把握・管理することが可能となる。
【００６８】
そして、本実施の形態では、映像の動き量が大きくなるほど、Ｉフレームの情報がＢフレームやＰフレームに配分されるため、Ｉフレームに含まれる情報量が相対的に少なくなるという特徴を利用し、品質推定したい映像のＩフレーム情報量と複数の基準映像のＩフレーム情報量の平均値とから差分Ｉフレーム情報量（映像コンテンツ依存性を表す量）を求め、この差分Ｉフレーム情報量から、無効フレームの量と映像品質低下の程度との関係を表すパケット損失変化指標を求め、このパケット損失変化指標を映像品質の推定に用いるようにしたので、映像コンテンツ依存性を考慮した映像品質推定を行うことができる。また、本実施の形態では、映像メディアの画素情報を用いることなく、ネットワーク内から抽出可能なＩＰパケット内に記述されている情報から映像品質を推定することができるので、映像品質を軽い演算処理量で推定することができる。
【００６９】
［第２の実施の形態］
次に、本発明の第２の実施の形態について説明する。本実施の形態においても、映像品質推定装置の構成は第１の実施の形態と同様であるので、図３の符号を用いて説明する。図１３は本実施の形態の映像品質推定装置の動作を示すフローチャートである。
【００７０】
本実施の形態では、所望のある区間の品質を推定する場合（例えば、１０秒間の品質を推定する場合）、この所望の品質推定区間を例えばＧＯＰ単位や１秒間などの小区間に区切り、小区間ごとの映像品質を推定し、これら小区間ごとの映像品質から所望の品質推定区間の映像品質を推定する。例えば、品質推定区間を１０秒間とし、小区間をＧＯＰ単位とする。ＧＯＰ単位の映像品質は、第１の実施の形態の方法を用いて推定することができる。つまり、図１３のステップＳ１〜Ｓ９の処理は、第１の実施の形態と同様である。第１の実施の形態と異なる点は、第１の実施の形態ではステップＳ１〜Ｓ９の処理が品質推定区間の単位で行われていたのに対し、本実施の形態ではステップＳ１〜Ｓ９の処理が１０秒間の品質推定区間ではなく、品質推定区間を区切るＧＯＰごとに行われることである。
【００７１】
次に、本実施の形態の映像品質推定部１０６は、品質推定区間内のＧＯＰごとに推定した映像品質を次式のように平均し、品質推定区間の映像品質Ｖを得る（図１３ステップＳ１０）。
【００７２】
【数２】
【００７３】
ここで、Ｇは品質推定区間内のＧＯＰ数、ｇはＧＯＰの番号、Ｖｇは各ＧＯＰの映像品質を示す。
本実施の形態によれば、局所的に映像品質が著しく低下した場合にも追従することができ、局所的な低下を加味した映像品質を求めることができる。また、上記の例では、ＧＯＰ単位の映像品質の平均により品質推定区間の映像品質を推定したが、各ＧＯＰ単位の映像品質の重み付け平均をとって品質推定区間の映像品質を推定したり、各ＧＯＰ単位の映像品質のうち最低値を品質推定区間の映像品質としたりすることも有効である。
【００７４】
なお、第１、第２の実施の形態の映像品質推定装置は、ＣＰＵ、記憶装置および外部とのインタフェースを備えたコンピュータとこれらのハードウェア資源を制御するプログラムによって実現することができる。このようなコンピュータにおいて、本発明の映像品質推定方法を実現させるための映像品質推定プログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、メモリカードなどの記録媒体に記録された状態で提供される。ＣＰＵは、記録媒体から読み込んだプログラムを記憶装置に書き込み、プログラムに従って第１、第２の実施の形態で説明したような処理を実行する。
【産業上の利用可能性】
【００７５】
本発明は、ＩＰＴＶサービス、映像配信サービス、映像コミュニケーションサービスなどの映像通信の品質を推定する技術に適用することができる。
【図面の簡単な説明】
【００７６】
【図１】無効フレーム数と主観評価値との関係を示す図である。
【図２】予め用意する基準映像について説明するための図である。
【図３】本発明の第１の実施の形態に係る映像品質推定装置の構成を示すブロック図である。
【図４】本発明の第１の実施の形態に係る映像品質推定装置の動作を示すフローチャートである。
【図５】フレームの切れ目を説明するための図である。
【図６】本発明の第１の実施の形態における平均Ｉフレーム情報量特性係数記憶部の平均Ｉフレーム情報量データベースの例を示す図である。
【図７】ビットレートと平均Ｉフレーム情報量との関係を示す図である。
【図８】本発明の第１の実施の形態における平均Ｉフレーム情報量特性係数記憶部の関数係数データベースの例を示す図である。
【図９】差分Ｉフレーム情報量とパケット損失変化指標との関係を示す図である。
【図１０】本発明の第１の実施の形態におけるパケット損失変化指標特性係数記憶部の関数係数データベースの例を示す図である。
【図１１】本発明の第１の実施の形態における符号化品質特性係数記憶部の品質データベースの例を示す図である。
【図１２】無効フレームの概念を示す図である。
【図１３】本発明の第２の実施の形態に係る映像品質推定装置の動作を示すフローチャートである。
【符号の説明】
【００７７】
１０１…パケット分析部、１０２…差分Ｉフレーム情報量算出部、１０３…平均Ｉフレーム情報量推定部、１０４…符号化品質推定部、１０５…パケット損失変化指標算出部、１０６…映像品質推定部、１０７…フレーム種別推定部、１０８…無効フレーム推定部、２０３…平均Ｉフレーム情報量特性係数記憶部、２０４…符号化品質特性係数記憶部、２０５…パケット損失変化指標特性係数記憶部、３０１…品質特性係数特定パラメータ記憶部。
【特許請求の範囲】
【請求項１】
品質推定したい評価映像のＩフレームに含まれる情報量を導出するＩフレーム情報量導出手順と、
このＩフレーム情報量導出手順で得られたＩフレーム情報量と、複数の基準映像のＩフレームに含まれる情報量の平均値である平均Ｉフレーム情報量との差を求める差分Ｉフレーム情報量算出手順と、
この差分Ｉフレーム情報量算出手順で得られた差分Ｉフレーム情報量から、評価映像フレームのうち損失によって劣化したフレームおよびその劣化が伝搬したフレームである無効フレームの量と映像品質低下の程度との関係を表す損失変化指標を求める損失変化指標導出手順と、
前記評価映像の無効フレームの量を求める無効フレーム推定手順と、
前記無効フレームの量と前記損失変化指標に基づいて、前記評価映像の品質を推定する映像品質推定手順とを備えることを特徴とする映像品質推定方法。
【請求項２】
請求項１記載の映像品質推定方法において、
前記損失変化指標導出手順は、前記評価映像の符号化に使用されるコーデックの種類とサービス種別と映像フォーマットに応じて決定される関数を用いて、前記損失変化指標を算出することを特徴とする映像品質推定方法。
【請求項３】
請求項１または２項に記載の映像品質推定方法において、
さらに、前記評価映像の符号化レートから符号化品質を推定する符号化品質推定手順を備え、
前記映像品質推定手順は、前記無効フレームの量と前記損失変化指標と前記符号化品質に基づいて、前記評価映像の品質を推定することを特徴とする映像品質推定方法。
【請求項４】
請求項１乃至３のいずれか１項に記載の映像品質推定方法において、
前記Ｉフレーム情報量導出手順と差分Ｉフレーム情報量算出手順と損失変化指標導出手順と無効フレーム推定手順と映像品質推定手順とは、所定の品質推定区間を区切った小区間ごとに前記評価映像の品質を推定し、
前記映像品質推定手順は、さらに前記小区間ごとの映像品質に基づいて前記品質推定区間の映像品質を求める手順を含むことを特徴とする映像品質推定方法。
【請求項５】
品質推定したい評価映像のＩフレームに含まれる情報量を導出するＩフレーム情報量導出手段と、
このＩフレーム情報量導出手段が求めたＩフレーム情報量と、複数の基準映像のＩフレームに含まれる情報量の平均値である平均Ｉフレーム情報量との差を求める差分Ｉフレーム情報量算出手段と、
この差分Ｉフレーム情報量算出手段が求めた差分Ｉフレーム情報量から、評価映像フレームのうち損失によって劣化したフレームおよびその劣化が伝搬したフレームである無効フレームの量と映像品質低下の程度との関係を表す損失変化指標を求める損失変化指標導出手段と、
前記評価映像の無効フレームの量を求める無効フレーム推定手段と、
前記無効フレームの量と前記損失変化指標に基づいて、前記評価映像の品質を推定する映像品質推定手段とを備えることを特徴とする映像品質推定装置。
【請求項６】
請求項５記載の映像品質推定装置において、
前記損失変化指標導出手段は、前記評価映像の符号化に使用されるコーデックの種類とサービス種別と映像フォーマットに応じて決定される関数を用いて、前記損失変化指標を算出することを特徴とする映像品質推定装置。
【請求項７】
請求項５または６記載の映像品質推定装置において、
さらに、前記評価映像の符号化レートから符号化品質を推定する符号化品質推定手段を備え、
前記映像品質推定手段は、前記無効フレームの量と前記損失変化指標と前記符号化品質に基づいて、前記評価映像の品質を推定することを特徴とする映像品質推定装置。
【請求項８】
請求項５乃至７のいずれか１項に記載の映像品質推定装置において、
前記Ｉフレーム情報量導出手段と差分Ｉフレーム情報量算出手段と損失変化指標導出手段と無効フレーム推定手段と映像品質推定手段とは、所定の品質推定区間を区切った小区間ごとに前記評価映像の品質を推定し、
前記映像品質推定手段は、さらに前記小区間ごとの映像品質に基づいて前記品質推定区間の映像品質を求める手段を含むことを特徴とする映像品質推定装置。
【請求項９】
評価映像の品質を推定する映像品質推定装置としてコンピュータを動作させる映像品質推定プログラムにおいて、
評価映像のＩフレームに含まれる情報量を導出するＩフレーム情報量導出手順と、
このＩフレーム情報量導出手順で得られたＩフレーム情報量と、複数の基準映像のＩフレームに含まれる情報量の平均値である平均Ｉフレーム情報量との差を求める差分Ｉフレーム情報量算出手順と、
この差分Ｉフレーム情報量算出手順で得られた差分Ｉフレーム情報量から、評価映像フレームのうち損失によって劣化したフレームおよびその劣化が伝搬したフレームである無効フレームの量と映像品質低下の程度との関係を表す損失変化指標を求める損失変化指標導出手順と、
前記評価映像の無効フレームの量を求める無効フレーム推定手順と、
前記無効フレームの量と前記損失変化指標に基づいて、前記評価映像の品質を推定する映像品質推定手順とを、コンピュータに実行させることを特徴とする映像品質推定プログラム。
【請求項１】
品質推定したい評価映像のＩフレームに含まれる情報量を導出するＩフレーム情報量導出手順と、
このＩフレーム情報量導出手順で得られたＩフレーム情報量と、複数の基準映像のＩフレームに含まれる情報量の平均値である平均Ｉフレーム情報量との差を求める差分Ｉフレーム情報量算出手順と、
この差分Ｉフレーム情報量算出手順で得られた差分Ｉフレーム情報量から、評価映像フレームのうち損失によって劣化したフレームおよびその劣化が伝搬したフレームである無効フレームの量と映像品質低下の程度との関係を表す損失変化指標を求める損失変化指標導出手順と、
前記評価映像の無効フレームの量を求める無効フレーム推定手順と、
前記無効フレームの量と前記損失変化指標に基づいて、前記評価映像の品質を推定する映像品質推定手順とを備えることを特徴とする映像品質推定方法。
【請求項２】
請求項１記載の映像品質推定方法において、
前記損失変化指標導出手順は、前記評価映像の符号化に使用されるコーデックの種類とサービス種別と映像フォーマットに応じて決定される関数を用いて、前記損失変化指標を算出することを特徴とする映像品質推定方法。
【請求項３】
請求項１または２項に記載の映像品質推定方法において、
さらに、前記評価映像の符号化レートから符号化品質を推定する符号化品質推定手順を備え、
前記映像品質推定手順は、前記無効フレームの量と前記損失変化指標と前記符号化品質に基づいて、前記評価映像の品質を推定することを特徴とする映像品質推定方法。
【請求項４】
請求項１乃至３のいずれか１項に記載の映像品質推定方法において、
前記Ｉフレーム情報量導出手順と差分Ｉフレーム情報量算出手順と損失変化指標導出手順と無効フレーム推定手順と映像品質推定手順とは、所定の品質推定区間を区切った小区間ごとに前記評価映像の品質を推定し、
前記映像品質推定手順は、さらに前記小区間ごとの映像品質に基づいて前記品質推定区間の映像品質を求める手順を含むことを特徴とする映像品質推定方法。
【請求項５】
品質推定したい評価映像のＩフレームに含まれる情報量を導出するＩフレーム情報量導出手段と、
このＩフレーム情報量導出手段が求めたＩフレーム情報量と、複数の基準映像のＩフレームに含まれる情報量の平均値である平均Ｉフレーム情報量との差を求める差分Ｉフレーム情報量算出手段と、
この差分Ｉフレーム情報量算出手段が求めた差分Ｉフレーム情報量から、評価映像フレームのうち損失によって劣化したフレームおよびその劣化が伝搬したフレームである無効フレームの量と映像品質低下の程度との関係を表す損失変化指標を求める損失変化指標導出手段と、
前記評価映像の無効フレームの量を求める無効フレーム推定手段と、
前記無効フレームの量と前記損失変化指標に基づいて、前記評価映像の品質を推定する映像品質推定手段とを備えることを特徴とする映像品質推定装置。
【請求項６】
請求項５記載の映像品質推定装置において、
前記損失変化指標導出手段は、前記評価映像の符号化に使用されるコーデックの種類とサービス種別と映像フォーマットに応じて決定される関数を用いて、前記損失変化指標を算出することを特徴とする映像品質推定装置。
【請求項７】
請求項５または６記載の映像品質推定装置において、
さらに、前記評価映像の符号化レートから符号化品質を推定する符号化品質推定手段を備え、
前記映像品質推定手段は、前記無効フレームの量と前記損失変化指標と前記符号化品質に基づいて、前記評価映像の品質を推定することを特徴とする映像品質推定装置。
【請求項８】
請求項５乃至７のいずれか１項に記載の映像品質推定装置において、
前記Ｉフレーム情報量導出手段と差分Ｉフレーム情報量算出手段と損失変化指標導出手段と無効フレーム推定手段と映像品質推定手段とは、所定の品質推定区間を区切った小区間ごとに前記評価映像の品質を推定し、
前記映像品質推定手段は、さらに前記小区間ごとの映像品質に基づいて前記品質推定区間の映像品質を求める手段を含むことを特徴とする映像品質推定装置。
【請求項９】
評価映像の品質を推定する映像品質推定装置としてコンピュータを動作させる映像品質推定プログラムにおいて、
評価映像のＩフレームに含まれる情報量を導出するＩフレーム情報量導出手順と、
このＩフレーム情報量導出手順で得られたＩフレーム情報量と、複数の基準映像のＩフレームに含まれる情報量の平均値である平均Ｉフレーム情報量との差を求める差分Ｉフレーム情報量算出手順と、
この差分Ｉフレーム情報量算出手順で得られた差分Ｉフレーム情報量から、評価映像フレームのうち損失によって劣化したフレームおよびその劣化が伝搬したフレームである無効フレームの量と映像品質低下の程度との関係を表す損失変化指標を求める損失変化指標導出手順と、
前記評価映像の無効フレームの量を求める無効フレーム推定手順と、
前記無効フレームの量と前記損失変化指標に基づいて、前記評価映像の品質を推定する映像品質推定手順とを、コンピュータに実行させることを特徴とする映像品質推定プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２００９−２７３０１０（Ｐ２００９−２７３０１０Ａ）
【公開日】平成２１年１１月１９日（２００９．１１．１９）
【国際特許分類】
【出願番号】特願２００８−１２３３５６（Ｐ２００８−１２３３５６）
【出願日】平成２０年５月９日（２００８．５．９）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２１年１１月１９日（２００９．１１．１９）
【国際特許分類】
【出願日】平成２０年５月９日（２００８．５．９）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]