基本ＧｏＰ長を用いた映像品質推定装置及び方法及びプログラム
【課題】 パケット化された映像に対して、映像品質評価値を高精度に推定する。
【解決手段】 本発明は、入力されたパケットから映像フレームごとの情報量を導出し、その映像フレームごとの情報量から基本GoP長を導出する。前記基本GoP長から全映像フレームの映像フレーム種別（I、B、Pフレーム）を導出し、それら映像フレームがパケット損失により劣化した場合、劣化の伝搬の影響を加味し劣化映像フレームを導出する。映像フレームごとの情報量からビットレートを算出し符号化映像品質を導出する。最後に、符号化映像品質と劣化映像フレームから映像品質評価値を導出する。
【解決手段】 本発明は、入力されたパケットから映像フレームごとの情報量を導出し、その映像フレームごとの情報量から基本GoP長を導出する。前記基本GoP長から全映像フレームの映像フレーム種別（I、B、Pフレーム）を導出し、それら映像フレームがパケット損失により劣化した場合、劣化の伝搬の影響を加味し劣化映像フレームを導出する。映像フレームごとの情報量からビットレートを算出し符号化映像品質を導出する。最後に、符号化映像品質と劣化映像フレームから映像品質評価値を導出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、基本GoP（Group of Picture）長を用いた映像品質推定装置及び方法及びプログラムに係り、特に、インターネットのようなIP(Internet Protocol)ネットワーク経由で行うＩＰＴＶサービス、映像配信サービスにおける映像の品質を客観的に評価するために用いる基本GoP長を用いた映像品質推定装置及び方法及びプログラムに関する。
【背景技術】
【０００２】
インターネットアクセス回線の高速・広帯域化に伴い、インターネットを介して映像や音声を含む映像メディアを端末間あるいはサーバと端末との間で転送する映像通信サービスの普及が期待されている。
【０００３】
インターネットは、必ずしも通信品質が保証されていないネットワークであるため、音声及び映像メディアなどを用いて通信を行う場合、ユーザ端末間のネットワークの回線帯域が狭いことによるビットレートの低下、回線が輻輳することでパケット損失やパケット転送遅延が発生し、音声や映像メディアなどに対してユーザが知覚する品質（ユーザ体感品質：QoE（Quality of Experience））が劣化してしまう。
【０００４】
具体的には、原映像を符号化する場合、フレーム内の映像信号にブロック単位の処理による劣化が生じたり、映像信号の高周波成分が失われることにより、映像全体の精細感が低くなる。また、ネットワークを介し、符号化された映像データをパケットとしてユーザ端末に送信する際、パケット損失や廃棄が発生すると、フレーム内に劣化が生じ、映像全体の品質が低くなる。
【０００５】
結果として、ユーザは受信した映像に、ぼけ、にじみ、やモザイク状の歪みを知覚する。
【０００６】
上記のような映像通信サービスを良好な品質で提供していることを確認するためには、サービス提供中に、ユーザが体感する映像の品質を測定し、ユーザに対して提供される映像の品質が高いことを監視することが重要となる。
【０００７】
したがって、ユーザが体感する映像の品質を適切に表現することができる映像品質客観評価技術が必要とされている。
【０００８】
従来、映像品質を評価する手法として、主観品質評価法（例えば、非特許文献１参照）や客観品質評価法（例えば、非特許文献２参照）がある。
【０００９】
主観品質評価法は、複数のユーザが実際に映像を視聴し、体感した品質を５段階（９段階や１１段階の場合もある）の品質尺度（非常に良い、良い、ふつう、悪い、非常に悪い）や妨害尺度（劣化が全く認められない、劣化が認められるが気にならない、劣化がわずかに気になる、劣化が気になる、劣化が非常に気になる）などにより評価し、全ユーザ数で各映像（例えば、パケット損失率０％でビットレートが２０Mbpsの映像）の品質評価値を平均し、その値をMOS（Mean Opinion Score）値やDMOS（Degradation Mean Opinion Score）値として定義している。
【００１０】
しかしながら、主観品質評価は、特別な専用機材（モニタなど）や評価環境（室内照度や室内騒音など）を調整可能な評価施設を必要とするだけではなく、多数のユーザが実際に映像を評価する必要がある。そのため、ユーザが実際に評価を完了するまでに時間がかかってしまい、品質をリアルタイムに評価する場合には不向きである。
【００１１】
そこで、映像品質に影響を与える特徴量（例えば、ビットレートやフレーム単位のビット量、パケット損失情報など）を利用し、映像品質評価値を出力する客観品質評価法の開発が望まれている。
【００１２】
従来の客観品質評価法の１つに、送信されたパケットとサービス提供者などから得たGoP（Group of Picture）の設定値を入力とし、映像フレームのビット量から映像フレーム種別（I、B、Pフレーム）を推定し、パケット損失により損失した映像フレームがどの程度、劣化が伝搬するか考慮し、映像品質評価値を導出する技術がある（例えば、非特許文献２参照）。
【００１３】
従来の客観品質評価法の多くは、上記のように、パケットを用いて映像品質評価値を推定するものであった。
【先行技術文献】
【非特許文献】
【００１４】
【非特許文献１】ITU-T勧告P.910
【非特許文献２】牛木、増田、林、高橋、"フレーム種別推定を用いたパケットレイヤ映像品質推定法、" 電子情報通信学会論文誌 B Vol.J94-B, No.1, pp.36-48.
【発明の概要】
【発明が解決しようとする課題】
【００１５】
映像通信サービスを良好な品質で提供していることを確認するためには、サービス提供中に、ユーザが体感する映像の品質を測定し、ユーザに提供される映像の品質が高いことを監視することが重要であり、ユーザが体感する映像の品質を適切に表示することが可能な映像品質客観評価技術が必要とされている。
【００１６】
しかしながら、非特許文献２の技術は、サービス提供者などから得た基本的なGoP長（以降、基本GoP長）を用いることを前提としているため、基本GoP長がわからないサービスには適用できないといった問題がある。
【００１７】
具体的には、非特許文献２では、基本GoP長に一定量（数映像フレーム）を加算した値を、Iフレームの推定区間とし、その推定区間の中で一番、ビット量が多い映像フレームをIフレームとしているが、当該Iフレームの推定区間が定まらないといった問題が発生する。
【００１８】
本発明は、上記の点に鑑みなされたもので、上述の問題を解決すべく、各映像フレームが持つビット量を入力として、そのビット量の変動から基本GoP長を導出することで、非特許文献２で記載されるように、パケット損失により損失した映像フレームがどの程度、劣化が伝搬するか考慮し、映像品質評価値を導出するための基本GoP長を用いた映像品質推定装置及び方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１９】
図１は、本発明の原理構成図である。
【００２０】
本発明（請求項１）は、映像の品質を客観的に評価する基本GoP長を用いた映像品質推定装置であって、
入力されたパケットを、映像フレーム毎にグループ化する映像フレーム判別手段と、
前記映像フレーム判別手段により判別された映像フレーム毎の映像フレーム情報量を導出する映像フレーム情報量算出手段と、
前記映像フレーム情報量算出手段で導出された前記映像フレーム毎の映像フレーム情報量からIフレーム毎の映像フレームの間隔を導出するIフレーム間隔算出手段と、
前記Iフレーム間隔算出手段で導出されたIフレーム間隔の集合から品質測定区間の発生頻度の最も高いIフレーム間隔を基本GoP（Group of Picture）長として算出する基本GoP長算出手段と、
前記基本GoP長算出手段で導出された前記基本GoP長をもとに、全映像フレームの映像フレーム種別（I、B、Pフレーム）を算出する映像フレーム種別算出手段と、
前記映像フレーム情報量算出手段で導出された前記映像フレーム毎の映像フレーム情報量から映像のビットレートを算出する映像ビットレート算出手段と、
前記映像フレーム判別手段で判別された映像フレームにパケット損失が含まれるか判別する損失映像フレーム判別手段と、
前記映像フレーム種別算出手段で算出された前記映像フレーム種別と前記損失映像フレーム判別手段で判別された損失映像フレームから損失の影響がどの程度伝搬するか判別する劣化映像フレーム算出手段と、
前記映像ビットレート算出手段で算出された前記映像のビットレートを用いて映像符号化に関する映像品質を算出する符号化映像品質算出手段と、
前記符号化映像品質算出手段で算出された符号化映像品質と前記劣化映像フレーム算出手段で算出された劣化映像フレームから映像品質を算出する映像品質算出手段と、を備える。
【発明の効果】
【００２１】
従来、映像符号化を実施する際に利用される基本的なGoP長（Iフレームの間隔）は、サービスプロバイダが、映像品質評価装置に基本GoP長を与えることで実施されていたが、サービスプロバイダが基本GoP長を与えることができない状況下では、上記のような技術を用いて映像品質を評価することはできない。
【００２２】
これに対し、本発明によれば、受信したパケットデータのみから、映像フレーム毎の情報量を基に基本GoP長を算出し、各映像フレームの映像フレーム種別を導出することができるため、基本GoP長の情報を入手できない状況下でも映像品質を評価できる。
【００２３】
したがって、本発明によりユーザが実際に視聴する映像通信サービスの映像について映像品質値を監視可能となるため、提供中のサービスがユーザに対してある一定以上の品質を保っているか否かを容易に判断することができる。
【００２４】
このため、提供中のサービスの品質実態を従来技術で映像品質評価をできなかった点を改善することが可能となる。
【図面の簡単な説明】
【００２５】
【図１】本発明の一実施の形態における映像品質推定装置の構成図である。
【図２】本発明の一実施の形態におけるIフレーム間隔算出部の構成図である。
【図３】本発明の一実施の形態における映像フレーム判別部での判別対象となる映像フレームの例である。
【図４】本発明の一実施の形態におけるＩフレーム間隔算出部のＩフレーム間隔算出の例である。
【図５】本発明の一実施の形態における映像フレームのクラスタリングの例である。
【図６】符号化映像品質・映像品質算出機能の構成例である。
【図７】符号化映像品質・映像品質算出処理のフローチャート（その１）である。
【図８】符号化映像品質・映像品質算出処理のフローチャート（その２）である。
【図９】本発明の一実施例における映像品質推定装置の動作のフローチャートである。
【発明を実施するための形態】
【００２６】
以下図面と共に、本発明の実施の形態を説明する。
【００２７】
本発明の本実施の形態にかかる基本GoP長を用いた映像品質推定装置（以下、「映像品質推定装置」と記す）は、入力パケット内に示される映像フレームの区切り情報をもとに、入力パケットが構成する各映像フレームを判別し、判別された映像フレームの情報量（ビット量やパケット数）を算出する。映像フレームの区切り情報としては、RTP/UDP/IPの場合においてRTP(Real-time Transport Protocol)ヘッダに記載されるマーカビットが0×1の場合(映像フレームを構成する最後のパケットであることを意味する。）やRTP timestamp（複数パケットで構成される同一の映像フレームは同一のRTP timestampを持つことを利用し、映像フレームの区切りを判別する）の場合、TS/RTP/UDP/IPやTS/UDP/IPやTTS/RTP/UDP/IPやTTS/UDP/IPの場合においてTS(Transport Stream)やTTS(Timestamped TS)に記載されるPayload unit start indicator(PUSI)が0×1の場合(映像フレームを構成する先頭のパケットであることを意味する）やPES（Packetized Elementary Stream）ヘッダの有無（1つのPESに１つの映像フレームが内容されていることを利用する）などを利用することが可能である。算出された映像フレーム毎の情報量をもとに映像フレームをいくつかのグループにクラスタリングし、最も情報量が多い映像フレームを含むグループの映像フレームすべてをIフレームとし、Iフレームの間隔で発生頻度の一番高いものを基本GoP長として、映像フレーム毎の映像フレーム種別（I,B,Pフレーム）を推定する。ここで、クラスタリングの手法として、本願実施の形態では最短距離法と昇順法を対象としているが、他の方法を用いることも可能である。映像フレーム毎の情報量から映像のビットレートを算出し、そのビットレートから符号化直後の映像品質を導出する。パケット損失が発生した映像フレームを判別し、損失映像フレームと映像フレーム種別から劣化の伝搬状況を加味し劣化映像フレーム長を算出する。最後に、符号化映像品質と劣化映像フレーム長から映像品質を客観的に評価するものである。
【００２８】
例えば、本実施の形態においては、インターネットのようなIPネットワーク経由で行うIPTVサービス、映像配信サービスなど映像通信における客観的な映像品質評価を実現するために、パケットを分析し、これらの映像通信に関わる映像品質に影響を与える特徴量を定量的に表した映像品質値を導出する。
【００２９】
図１は、本発明の一実施の形態における映像品質推定装置の構成を示す。
【００３０】
同図に示すように、映像品質推定装置１００は、映像フレーム判別部１と、映像フレーム情報量算出部２と、Iフレーム間隔算出部３と、基本GoP長算出部４と、映像フレーム種別算出部５と、映像ビットレート算出部６と、損失映像フレーム判別部７と、劣化映像フレーム算出部８と、符号化映像品質算出部９と、映像品質算出部１０とから構成されている。
【００３１】
Iフレーム間隔算出部３は、図２に示すように、最短距離映像フレーム算出部３１（図２（Ａ））もしくは昇順映像フレーム算出部３２（図２（Ｂ））とから構成されている。
【００３２】
なお、上記の各算出部は、算出結果を一時的に保存するメモリ（図示せず）を有するものとする。
【００３３】
映像フレーム判別部１は、入力パケット内に示される映像フレームの区切り情報である特定の値を持つマーカビットやPUSIの情報などをもとに、図３のように、入力されたパケットを、構成する映像フレーム毎にグループ化することで、各映像フレームを判別する。図３は、映像フレームの区切り情報として、パケット構成がRTP/UDP/IPの場合に0x1の値を持つマーカビットを利用した際の例である。仮に、パケット損失により映像フレームの区切り情報が損失しても、パケット構成がRTP/UDP/IPの場合、RTP タイムスタンプは映像フレーム毎に増加するため、RTP タイムスタンプの増加量から損失を検知できる。更に、タイムスタンプから映像のフレームレートを換算できるため、映像フレームが複数連続して損失しても、タイムスタンプから抜けてしまった映像フレームの存在を確認できる。ただし、各映像フレームが何パケットもっているか判別できない。
【００３４】
映像フレーム情報量算出部２は、映像フレーム判別部１で判別された映像フレーム毎に、映像フレームを構成するパケットとしてグループ化されたパケットの数をカウントし、映像フレーム毎の情報量として記憶する。この際、パケット数ではなく、パケット数からビット数やバイト数としてカウントしてもよい。
【００３５】
Iフレーム間隔算出部３は、映像フレーム情報量算出部２で算出された映像フレーム毎の情報量をもとに映像フレームをいくつかのグループにクラスタリングし、最も情報量が多い映像フレームと同一のグループに分類された映像フレームをすべてIフレームと判定し、各Iフレームの間隔をIフレーム間隔として算出する。
【００３６】
Iフレーム間隔算出部３は、最短距離映像フレーム算出部３１を備え、映像フレーム情報量算出部２で算出された映像フレーム毎の情報量をもとに最短距離法を適用して映像フレームをクラスタリングし、最も情報量が多い映像フレームと同一のグループに分類された映像フレームすべてをIフレームと判定してもよい。具体的には、図４に示すように、映像のフレームレートが3fpsのとき、フレームレートである3の2倍の6映像フレームを最短距離映像フレーム算出部３１の入力として、最短距離法を適用していくつかのグループにクラスタリングする（この際、最短距離法への入力を映像フレームレートの三倍などの値としても良い）。クラスタリングによるグループ化は、映像フレーム種別判別部５においてI、B、Pフレームと3種類の映像フレーム種別があることから、3つのグループになるまで処理を続け、最も情報量が多い映像フレームと同一のグループに分類された映像フレームすべてをIフレームと判定し、Iフレーム間隔算出部３においてIフレームと認定されたフレーム番号が出現する間隔を計算する。図４の例において、最も情報量の多い映像フレームの映像フレーム番号は"６"であるので、当該"６"と同一のグループである映像フレーム番号"５"をＩフレームとする。なお、例えば、映像フレーム番号"１０"〜"１８"まで同一グループであれば、"１０"〜"１８"は全てＩフレームとなる。
【００３７】
また、Iフレーム間隔算出部３は、上述した最短距離映像フレーム算出部３１の代わりに、昇順映像フレーム算出部３２を備え、映像フレーム情報量算出部２で算出された映像フレーム毎の情報量をもとに昇順法を適用して映像フレームをクラスタリングし、最も情報量が多い映像フレームと同一のグループに分類された映像フレームすべてをIフレームと判定してもよい。
【００３８】
具体的に、昇順法によるクラスタリングの例を図５に示す。同図において、ｆは映像フレーム番号を示し、VTSfは映像フレーム毎のTS数を示す。同図における導出手順は以下の通りである。
【００３９】
１）（２×フレームレート）分の映像フレームのデータを入力する。
【００４０】
２）10映像フレーム毎に最大TS数を持つ映像フレームの番号とTS数を記憶する（但し、最大値が複数ある場合は映像フレームが小さい方を選択）。
【００４１】
３）上記２）で選択された映像フレーム対し、TS数に関し昇順に並べる。
【００４２】
４）順番に並んだTS数の除算値を計算する。
【００４３】
５）除算値が最大ところ(白抜き部分)を閾値として仮のIフレームを決める(但し、最大値が複数ある場合は、最初の最大値)。
【００４４】
６）仮のIフレームの間隔を"距離が長いほう"から計算し、最も発生頻度の多いものを基本GoP長とする(但し、距離が"10以下"はカウントしない)。
【００４５】
図５の例では、映像のフレームレートが30fpsのとき、フレームレートである30の2倍の60映像フレームを昇順映像フレーム算出部の入力としていくつかのグループにクラスタリングする（この際、昇順法への入力を映像フレームレートの三倍などの値としても良い）。ただし、図面の太線がデータ入力の区切りを示している。具体的には、入力された60映像フレームに対し、10映像フレーム毎に最大の情報量を持つ映像フレームを抽出し、昇順法を適用して、情報量の大小関係に基づきデータの並び替えを実施している（本実施例では、計算量削減の観点から、10映像フレーム毎に最大の情報量を持つ映像フレームを抽出しているが、本処理を用いず、60映像フレームに対し、直接昇順法を適用しても良い）。次に、昇順に並び替えられた映像フレームに対し、除算法を用い、隣接映像フレームの情報量を除算する（図５の例では、映像フレーム番号３４の情報量を映像フレーム番号１８の情報量で除算し、他の映像フレームに対しても同様の処理をする）。得られた除算値の中で最大の除算値を閾値として、閾値を超える情報量を持つ映像フレームを仮のIフレームとする。
【００４６】
基本GoP長算出部４は、Iフレーム間隔算出部３で判定されたIフレームの間隔から各GoP長で発生頻度の一番高いGoP長を基本GoP長とする。
【００４７】
映像フレーム種別算出部５は、基本GoP長算出部４で算出された基本GoP長と、映像フレーム情報量算出部２で算出された映像フレーム毎の情報量から映像フレーム種別（Ｉ，Ｐ，Ｂ）を判別する。非特許文献２で示されるように、具体的には、基本GoP長に２〜４の値を加えた値を探索範囲とし、探索範囲の中で最大の情報量を持つ映像フレームをIフレームとする。Iフレーム間にある映像フレームの情報量を平均し、事前に決定されている係数αを掛けた値を閾値として、映像フレーム毎の情報量が閾値以上の映像フレームはPフレーム、閾値未満のフレームはBフレームと判定する（非特許文献２図７参照）。なお、係数αは、映像コーディックの実装により変化する値であり、概ね0.9〜1.3の値を持つ。
【００４８】
映像ビットレート算出部６は、映像フレーム情報量算出部２で算出された情報量をもとにビットレートを算出する。
【００４９】
損失映像フレーム判別部７は、映像フレーム判別部１で映像フレーム毎にグループ化されたパケットの中にパケット損失があるか判別し、パケット損失がある場合は、その映像フレームを損失映像フレームと判定する。具体的には、RTPパケットのRTP タイムスタンプの抜けやTSパケットのTSヘッダ内の巡回カウンタ（CC）の抜けから、損失パケットを検出し、その損失パケットを含む映像フレームを損失映像フレームと判定する。
【００５０】
劣化映像フレーム算出部８は、損失映像フレーム判別部７により判定された損失映像フレームと、映像フレーム種別算出部５で判定された映像フレーム種別をもとに、非特許文献２で示されるように、損失の劣化の伝搬状況を加味し、劣化映像フレーム数をカウントする（非特許文献２図３参照）。
【００５１】
符号化映像品質算出部９は、映像ビットレート算出部６で算出されたビットレート（BR）をもとに、以下の数式に基づき、符号化映像品質（VQC）を算出する。ただし、v1, v2, v3は、予め記憶されている定数とする。
【００５２】
【数１】
映像品質算出部１０は、符号化映像品質算出部９で算出された符号化映像品質（VQC）と劣化映像フレーム算出部８で算出された劣化映像フレーム数（DF）から以下の数式に基づき、映像品質を算出する。ただし、v4, v5, v6は、予め記憶されている定数とする。
【００５３】
【数２】
また、IPネットワーク経由で行うIPTVサービス、映像配信サービスなどの映像通信に関わる映像品質に影響を与えるビットレートや映像フレーム毎のビット量と映像フレーム種別を利用し、符号化映像品質（VQC）、映像品質（VQ）を導出しても良い。この、ビットレート、映像フレーム毎のビット量と映像フレーム種別を利用して、符号化映像品質（VQC）、映像品質（VQ）を導出する、符号化映像品質・映像品質算出機能の一実施形態を以下に例示する。なお、詳細は、PCT/JP2010/055203に記載されている。
【００５４】
図６は、符号化映像品質・映像品質算出機能の構成例を示し、当該符号化映像品質・映像品質算出機能は、ビットレートや映像フレーム毎のビット量と映像フレーム種別を利用して符号化映像品質（VQC）、映像品質（VQ）を導出するものである。
【００５５】
同図に示す符号化映像品質・映像品質算出機能２００では、入力パケットに含まれる符号化映像パケットを分析し、これらの映像通信に関わる映像品質に影響を与える特徴量を定量的に表した映像品質値を導出する。具体的には、符号化映像のビットレート、符号化映像の映像フレームにおける各映像フレーム種別毎のビット量、損失映像フレーム数それぞれを考慮して映像品質評価値を導出することにより、符号化映像の映像品質を推定するものである。符号化映像品質・映像品質算出機能２００は、パケット分析部２０、映像集合フレーム特性推定部２１、符号化品質推定部２２、パケット損失品質推定部２３とから構成されている。
【００５６】
パケット分析部２０は、入力されたパケットに含まれる符号化映像パケットのビットレートを導出するビットレート算出部２０１と、映像フレーム種別毎のビット量を導出するビット量算出部２０２とから構成されており、ビットレート算出部２０１によって導出されたビットレートと、ビット量算出部２０２によって導出された映像フレーム種別毎のビット量とを出力する。
【００５７】
映像集合フレーム特性推定部２１は、パケット分析部２０のビットレート算出部２０１より出力されたビットレートを入力として、フレーム種別毎のビット量の特性を示すフレーム特性を導出し、出力する。
【００５８】
符号化品質推定部２２は、パケット分析部２０のビット量算出部２０２より出力されたビットレートと映像種別毎のビット量と、映像集合フレーム特性推定部２１から出力された映像フレーム種別毎のフレーム特性とに基づいて符号化映像品質評価値(VQC)を導出する。
【００５９】
パケット損失映像品質推定部２３は、符号化品質推定部２２より算出された符号化映像品質評価値(VQC)と、パケット分析部２０より算出された映像フレーム種別毎のビット量と映像フレーム損失数を表す損失映像フレーム数と、映像集合フレーム特性推定部２１により導出される映像フレーム種別毎のフレーム特性とに基づいて、パケット損失劣化によって影響を受ける符号化映像の品質を定量的に表した映像品質評価値（VQ）を導出する。図７，８に、上記の映像フレーム毎のビット量と映像フレーム種別を利用し、符号化映像品質（VQC）、映像品質(VQ)を導出するための詳細なフローチャートを例示する。
【実施例】
【００６０】
次に、本実施の形態にかかる映像品質推定装置１００の動作について以下に具体的に説明する。
【００６１】
図９は、本発明の一実施例における映像品質推定装置の動作のフローチャートである。
【００６２】
映像品質推定装置１００の映像フレーム判別部１に、パケットが入力されると映像フレームの区切り位置を示す情報に基づき各映像フレームを構成するパケットがグループ化されて映像フレームが判別され、当該映像フレームを映像フレーム情報量算出部２及び損失映像フレーム判別部７に出力する（Ｓ１０１）。
【００６３】
映像フレーム情報量算出部２は、映像フレーム判別部１から入力された映像フレームを構成するパケット数を映像フレーム毎の情報量として計数し、Iフレーム間隔算出部３及び映像ビットレート算出部６に出力する（Ｓ１０２）。
【００６４】
Iフレーム間隔算出部３は、入力された映像フレーム毎の情報量に基づき、最終的に3つのグループに収束するまでクラスタリングを繰り返し、収束した3つのグループの内、最も情報量が多い映像フレームを含むグループに分類された映像フレームすべてをＩフレームとし、各Ｉフレームの間隔を計算し、基本GoP長算出部４へ出力する（Ｓ１０３）。
本実施例では、クラスタリングの手法として、最短距離法を適用した場合と、昇順法を適用した場合を図４、図５等で例示している。基本GoP長算出部４は、Ｉフレーム間隔算出部３で計算されたＩフレームの間隔の中で発生頻度の高いものを基本GoP長とし、映像フレーム種別算出部５へ出力する（Ｓ１０４）。
【００６５】
映像フレーム種別算出部５は、基本GoP長算出部４で導出された基本ＧｏＰ長と映像フレーム情報量算出部２で算出された映像フレームごとの情報量から映像フレーム種別（Ｉ，Ｐ，Ｂフレーム）を導出し、劣化映像フレーム算出部８へ出力する（Ｓ１０５）。
【００６６】
映像ビットレート算出部６は、映像フレーム情報量算出部２から入力された映像フレームごとの情報量からビットレートを算出し、符号化映像品質算出部９へ出力される（Ｓ１０６）。
【００６７】
損失映像フレーム判別部７は、映像フレーム判別部１から入力される各映像フレームにパケット損失が含まれるか否かによって、損失映像フレームを判定し、損失映像フレームと判定された映像フレームは劣化映像フレーム算出部８へ出力される（Ｓ１０７）。
【００６８】
劣化映像フレーム算出部８は、損失映像フレーム判別部７より入力された損失映像フレームと、映像フレーム種別算出部５で入力された映像フレーム種別から、劣化の伝搬状況を加味し、劣化映像フレーム数をカウントし、映像品質算出部１０へ出力する（Ｓ１０８）。
【００６９】
符号化映像品質算出部９は、映像ビットレート算出部６より入力されたビットレートに基づき、符号化直後の符号化映像品質を導出し、映像品質算出部１０へ出力する（Ｓ１０９）。
【００７０】
映像品質算出部１０は、符号化映像品質算出部９から入力された符号化映像品質と、劣化映像フレーム算出部８から入力される損失映像フレームから映像品質を導出し（Ｓ１１０）、処理を終了する。
【００７１】
このように、本実施の形態によれば、受信したパケットデータのみから、映像フレームごとの情報量をもとに基本GoP長を算出し、各映像フレームの映像フレーム種別を導出することができるため、基本GoP長の情報を予め入手できない状況下でも映像品質を評価可能となる。
【００７２】
したがって、提供中のサービスがユーザに対してある一定以上の品質を保っているか否かを容易に判断することができ、提供中のサービスの品質実態をリアルタイムで把握・管理することが可能となる。
【００７３】
なお、上記の実施の形態における映像品質推定装置１００は、ＣＰＵ（中央演算装置）やメモリ、インターフェースからなるコンピュータにコンピュータプログラムをインストールすることによって実現され、上述した映像品質推定装置１００の各種機能は、上記コンピュータの各種ハードウェア資源と上記コンピュータプログラム（ソフトウェア）とが協働して実現される。
【００７４】
図１、図２に示す映像品質推定装置１００の構成要素の動作をプログラムとして構築し、当該映像品質推定装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。
【００７５】
なお、欧州のIPTVの仕様で、パケットにIフレームを示すフラグが暗号化されていない場合は、基本GoPサイズは自明であるが、欧州のIPTVの仕様でIフレームを示すフラグが暗号化されている場合や標準の日本のパケットの仕様では基本GoPサイズが自明ではないため、GoPのサイズをパケットを用いて導出する必要があり、本発明が有効となる。
【００７６】
さらに、構築されたプログラムをハードディスクや、フレキシブルディスク・ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。
【００７７】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【産業上の利用可能性】
【００７８】
ＩＰネットワーク経由で行うIPTVサービス、映像配信サービスなどの映像通信の映像品質評価値を推定する映像品質推定装置に利用できる。
【符号の説明】
【００７９】
１ 映像フレーム判別部
２ 映像フレーム情報量算出部
３ Iフレーム間隔算出部
４ 基本GoP長算出部
５ 映像フレーム種別算出部
６ 映像ビットレート算出部
７ 損失映像フレーム判別部
８ 劣化映像フレーム算出部
９ 符号化映像品質算出部
１０ 映像品質算出部
２０ パケット分析部
２１ 映像集合フレーム特性推定部
２２ 符号化品質推定部
２３ パケット損失品質推定部
３１ 最短距離映像フレーム算出部
３２ 昇順映像フレーム算出部
１００ 映像品質推定装置
２００ 符号化映像品質・映像品質算出機能
２０１ ビットレート算出部
２０２ ビット量算出部
【技術分野】
【０００１】
本発明は、基本GoP（Group of Picture）長を用いた映像品質推定装置及び方法及びプログラムに係り、特に、インターネットのようなIP(Internet Protocol)ネットワーク経由で行うＩＰＴＶサービス、映像配信サービスにおける映像の品質を客観的に評価するために用いる基本GoP長を用いた映像品質推定装置及び方法及びプログラムに関する。
【背景技術】
【０００２】
インターネットアクセス回線の高速・広帯域化に伴い、インターネットを介して映像や音声を含む映像メディアを端末間あるいはサーバと端末との間で転送する映像通信サービスの普及が期待されている。
【０００３】
インターネットは、必ずしも通信品質が保証されていないネットワークであるため、音声及び映像メディアなどを用いて通信を行う場合、ユーザ端末間のネットワークの回線帯域が狭いことによるビットレートの低下、回線が輻輳することでパケット損失やパケット転送遅延が発生し、音声や映像メディアなどに対してユーザが知覚する品質（ユーザ体感品質：QoE（Quality of Experience））が劣化してしまう。
【０００４】
具体的には、原映像を符号化する場合、フレーム内の映像信号にブロック単位の処理による劣化が生じたり、映像信号の高周波成分が失われることにより、映像全体の精細感が低くなる。また、ネットワークを介し、符号化された映像データをパケットとしてユーザ端末に送信する際、パケット損失や廃棄が発生すると、フレーム内に劣化が生じ、映像全体の品質が低くなる。
【０００５】
結果として、ユーザは受信した映像に、ぼけ、にじみ、やモザイク状の歪みを知覚する。
【０００６】
上記のような映像通信サービスを良好な品質で提供していることを確認するためには、サービス提供中に、ユーザが体感する映像の品質を測定し、ユーザに対して提供される映像の品質が高いことを監視することが重要となる。
【０００７】
したがって、ユーザが体感する映像の品質を適切に表現することができる映像品質客観評価技術が必要とされている。
【０００８】
従来、映像品質を評価する手法として、主観品質評価法（例えば、非特許文献１参照）や客観品質評価法（例えば、非特許文献２参照）がある。
【０００９】
主観品質評価法は、複数のユーザが実際に映像を視聴し、体感した品質を５段階（９段階や１１段階の場合もある）の品質尺度（非常に良い、良い、ふつう、悪い、非常に悪い）や妨害尺度（劣化が全く認められない、劣化が認められるが気にならない、劣化がわずかに気になる、劣化が気になる、劣化が非常に気になる）などにより評価し、全ユーザ数で各映像（例えば、パケット損失率０％でビットレートが２０Mbpsの映像）の品質評価値を平均し、その値をMOS（Mean Opinion Score）値やDMOS（Degradation Mean Opinion Score）値として定義している。
【００１０】
しかしながら、主観品質評価は、特別な専用機材（モニタなど）や評価環境（室内照度や室内騒音など）を調整可能な評価施設を必要とするだけではなく、多数のユーザが実際に映像を評価する必要がある。そのため、ユーザが実際に評価を完了するまでに時間がかかってしまい、品質をリアルタイムに評価する場合には不向きである。
【００１１】
そこで、映像品質に影響を与える特徴量（例えば、ビットレートやフレーム単位のビット量、パケット損失情報など）を利用し、映像品質評価値を出力する客観品質評価法の開発が望まれている。
【００１２】
従来の客観品質評価法の１つに、送信されたパケットとサービス提供者などから得たGoP（Group of Picture）の設定値を入力とし、映像フレームのビット量から映像フレーム種別（I、B、Pフレーム）を推定し、パケット損失により損失した映像フレームがどの程度、劣化が伝搬するか考慮し、映像品質評価値を導出する技術がある（例えば、非特許文献２参照）。
【００１３】
従来の客観品質評価法の多くは、上記のように、パケットを用いて映像品質評価値を推定するものであった。
【先行技術文献】
【非特許文献】
【００１４】
【非特許文献１】ITU-T勧告P.910
【非特許文献２】牛木、増田、林、高橋、"フレーム種別推定を用いたパケットレイヤ映像品質推定法、" 電子情報通信学会論文誌 B Vol.J94-B, No.1, pp.36-48.
【発明の概要】
【発明が解決しようとする課題】
【００１５】
映像通信サービスを良好な品質で提供していることを確認するためには、サービス提供中に、ユーザが体感する映像の品質を測定し、ユーザに提供される映像の品質が高いことを監視することが重要であり、ユーザが体感する映像の品質を適切に表示することが可能な映像品質客観評価技術が必要とされている。
【００１６】
しかしながら、非特許文献２の技術は、サービス提供者などから得た基本的なGoP長（以降、基本GoP長）を用いることを前提としているため、基本GoP長がわからないサービスには適用できないといった問題がある。
【００１７】
具体的には、非特許文献２では、基本GoP長に一定量（数映像フレーム）を加算した値を、Iフレームの推定区間とし、その推定区間の中で一番、ビット量が多い映像フレームをIフレームとしているが、当該Iフレームの推定区間が定まらないといった問題が発生する。
【００１８】
本発明は、上記の点に鑑みなされたもので、上述の問題を解決すべく、各映像フレームが持つビット量を入力として、そのビット量の変動から基本GoP長を導出することで、非特許文献２で記載されるように、パケット損失により損失した映像フレームがどの程度、劣化が伝搬するか考慮し、映像品質評価値を導出するための基本GoP長を用いた映像品質推定装置及び方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１９】
図１は、本発明の原理構成図である。
【００２０】
本発明（請求項１）は、映像の品質を客観的に評価する基本GoP長を用いた映像品質推定装置であって、
入力されたパケットを、映像フレーム毎にグループ化する映像フレーム判別手段と、
前記映像フレーム判別手段により判別された映像フレーム毎の映像フレーム情報量を導出する映像フレーム情報量算出手段と、
前記映像フレーム情報量算出手段で導出された前記映像フレーム毎の映像フレーム情報量からIフレーム毎の映像フレームの間隔を導出するIフレーム間隔算出手段と、
前記Iフレーム間隔算出手段で導出されたIフレーム間隔の集合から品質測定区間の発生頻度の最も高いIフレーム間隔を基本GoP（Group of Picture）長として算出する基本GoP長算出手段と、
前記基本GoP長算出手段で導出された前記基本GoP長をもとに、全映像フレームの映像フレーム種別（I、B、Pフレーム）を算出する映像フレーム種別算出手段と、
前記映像フレーム情報量算出手段で導出された前記映像フレーム毎の映像フレーム情報量から映像のビットレートを算出する映像ビットレート算出手段と、
前記映像フレーム判別手段で判別された映像フレームにパケット損失が含まれるか判別する損失映像フレーム判別手段と、
前記映像フレーム種別算出手段で算出された前記映像フレーム種別と前記損失映像フレーム判別手段で判別された損失映像フレームから損失の影響がどの程度伝搬するか判別する劣化映像フレーム算出手段と、
前記映像ビットレート算出手段で算出された前記映像のビットレートを用いて映像符号化に関する映像品質を算出する符号化映像品質算出手段と、
前記符号化映像品質算出手段で算出された符号化映像品質と前記劣化映像フレーム算出手段で算出された劣化映像フレームから映像品質を算出する映像品質算出手段と、を備える。
【発明の効果】
【００２１】
従来、映像符号化を実施する際に利用される基本的なGoP長（Iフレームの間隔）は、サービスプロバイダが、映像品質評価装置に基本GoP長を与えることで実施されていたが、サービスプロバイダが基本GoP長を与えることができない状況下では、上記のような技術を用いて映像品質を評価することはできない。
【００２２】
これに対し、本発明によれば、受信したパケットデータのみから、映像フレーム毎の情報量を基に基本GoP長を算出し、各映像フレームの映像フレーム種別を導出することができるため、基本GoP長の情報を入手できない状況下でも映像品質を評価できる。
【００２３】
したがって、本発明によりユーザが実際に視聴する映像通信サービスの映像について映像品質値を監視可能となるため、提供中のサービスがユーザに対してある一定以上の品質を保っているか否かを容易に判断することができる。
【００２４】
このため、提供中のサービスの品質実態を従来技術で映像品質評価をできなかった点を改善することが可能となる。
【図面の簡単な説明】
【００２５】
【図１】本発明の一実施の形態における映像品質推定装置の構成図である。
【図２】本発明の一実施の形態におけるIフレーム間隔算出部の構成図である。
【図３】本発明の一実施の形態における映像フレーム判別部での判別対象となる映像フレームの例である。
【図４】本発明の一実施の形態におけるＩフレーム間隔算出部のＩフレーム間隔算出の例である。
【図５】本発明の一実施の形態における映像フレームのクラスタリングの例である。
【図６】符号化映像品質・映像品質算出機能の構成例である。
【図７】符号化映像品質・映像品質算出処理のフローチャート（その１）である。
【図８】符号化映像品質・映像品質算出処理のフローチャート（その２）である。
【図９】本発明の一実施例における映像品質推定装置の動作のフローチャートである。
【発明を実施するための形態】
【００２６】
以下図面と共に、本発明の実施の形態を説明する。
【００２７】
本発明の本実施の形態にかかる基本GoP長を用いた映像品質推定装置（以下、「映像品質推定装置」と記す）は、入力パケット内に示される映像フレームの区切り情報をもとに、入力パケットが構成する各映像フレームを判別し、判別された映像フレームの情報量（ビット量やパケット数）を算出する。映像フレームの区切り情報としては、RTP/UDP/IPの場合においてRTP(Real-time Transport Protocol)ヘッダに記載されるマーカビットが0×1の場合(映像フレームを構成する最後のパケットであることを意味する。）やRTP timestamp（複数パケットで構成される同一の映像フレームは同一のRTP timestampを持つことを利用し、映像フレームの区切りを判別する）の場合、TS/RTP/UDP/IPやTS/UDP/IPやTTS/RTP/UDP/IPやTTS/UDP/IPの場合においてTS(Transport Stream)やTTS(Timestamped TS)に記載されるPayload unit start indicator(PUSI)が0×1の場合(映像フレームを構成する先頭のパケットであることを意味する）やPES（Packetized Elementary Stream）ヘッダの有無（1つのPESに１つの映像フレームが内容されていることを利用する）などを利用することが可能である。算出された映像フレーム毎の情報量をもとに映像フレームをいくつかのグループにクラスタリングし、最も情報量が多い映像フレームを含むグループの映像フレームすべてをIフレームとし、Iフレームの間隔で発生頻度の一番高いものを基本GoP長として、映像フレーム毎の映像フレーム種別（I,B,Pフレーム）を推定する。ここで、クラスタリングの手法として、本願実施の形態では最短距離法と昇順法を対象としているが、他の方法を用いることも可能である。映像フレーム毎の情報量から映像のビットレートを算出し、そのビットレートから符号化直後の映像品質を導出する。パケット損失が発生した映像フレームを判別し、損失映像フレームと映像フレーム種別から劣化の伝搬状況を加味し劣化映像フレーム長を算出する。最後に、符号化映像品質と劣化映像フレーム長から映像品質を客観的に評価するものである。
【００２８】
例えば、本実施の形態においては、インターネットのようなIPネットワーク経由で行うIPTVサービス、映像配信サービスなど映像通信における客観的な映像品質評価を実現するために、パケットを分析し、これらの映像通信に関わる映像品質に影響を与える特徴量を定量的に表した映像品質値を導出する。
【００２９】
図１は、本発明の一実施の形態における映像品質推定装置の構成を示す。
【００３０】
同図に示すように、映像品質推定装置１００は、映像フレーム判別部１と、映像フレーム情報量算出部２と、Iフレーム間隔算出部３と、基本GoP長算出部４と、映像フレーム種別算出部５と、映像ビットレート算出部６と、損失映像フレーム判別部７と、劣化映像フレーム算出部８と、符号化映像品質算出部９と、映像品質算出部１０とから構成されている。
【００３１】
Iフレーム間隔算出部３は、図２に示すように、最短距離映像フレーム算出部３１（図２（Ａ））もしくは昇順映像フレーム算出部３２（図２（Ｂ））とから構成されている。
【００３２】
なお、上記の各算出部は、算出結果を一時的に保存するメモリ（図示せず）を有するものとする。
【００３３】
映像フレーム判別部１は、入力パケット内に示される映像フレームの区切り情報である特定の値を持つマーカビットやPUSIの情報などをもとに、図３のように、入力されたパケットを、構成する映像フレーム毎にグループ化することで、各映像フレームを判別する。図３は、映像フレームの区切り情報として、パケット構成がRTP/UDP/IPの場合に0x1の値を持つマーカビットを利用した際の例である。仮に、パケット損失により映像フレームの区切り情報が損失しても、パケット構成がRTP/UDP/IPの場合、RTP タイムスタンプは映像フレーム毎に増加するため、RTP タイムスタンプの増加量から損失を検知できる。更に、タイムスタンプから映像のフレームレートを換算できるため、映像フレームが複数連続して損失しても、タイムスタンプから抜けてしまった映像フレームの存在を確認できる。ただし、各映像フレームが何パケットもっているか判別できない。
【００３４】
映像フレーム情報量算出部２は、映像フレーム判別部１で判別された映像フレーム毎に、映像フレームを構成するパケットとしてグループ化されたパケットの数をカウントし、映像フレーム毎の情報量として記憶する。この際、パケット数ではなく、パケット数からビット数やバイト数としてカウントしてもよい。
【００３５】
Iフレーム間隔算出部３は、映像フレーム情報量算出部２で算出された映像フレーム毎の情報量をもとに映像フレームをいくつかのグループにクラスタリングし、最も情報量が多い映像フレームと同一のグループに分類された映像フレームをすべてIフレームと判定し、各Iフレームの間隔をIフレーム間隔として算出する。
【００３６】
Iフレーム間隔算出部３は、最短距離映像フレーム算出部３１を備え、映像フレーム情報量算出部２で算出された映像フレーム毎の情報量をもとに最短距離法を適用して映像フレームをクラスタリングし、最も情報量が多い映像フレームと同一のグループに分類された映像フレームすべてをIフレームと判定してもよい。具体的には、図４に示すように、映像のフレームレートが3fpsのとき、フレームレートである3の2倍の6映像フレームを最短距離映像フレーム算出部３１の入力として、最短距離法を適用していくつかのグループにクラスタリングする（この際、最短距離法への入力を映像フレームレートの三倍などの値としても良い）。クラスタリングによるグループ化は、映像フレーム種別判別部５においてI、B、Pフレームと3種類の映像フレーム種別があることから、3つのグループになるまで処理を続け、最も情報量が多い映像フレームと同一のグループに分類された映像フレームすべてをIフレームと判定し、Iフレーム間隔算出部３においてIフレームと認定されたフレーム番号が出現する間隔を計算する。図４の例において、最も情報量の多い映像フレームの映像フレーム番号は"６"であるので、当該"６"と同一のグループである映像フレーム番号"５"をＩフレームとする。なお、例えば、映像フレーム番号"１０"〜"１８"まで同一グループであれば、"１０"〜"１８"は全てＩフレームとなる。
【００３７】
また、Iフレーム間隔算出部３は、上述した最短距離映像フレーム算出部３１の代わりに、昇順映像フレーム算出部３２を備え、映像フレーム情報量算出部２で算出された映像フレーム毎の情報量をもとに昇順法を適用して映像フレームをクラスタリングし、最も情報量が多い映像フレームと同一のグループに分類された映像フレームすべてをIフレームと判定してもよい。
【００３８】
具体的に、昇順法によるクラスタリングの例を図５に示す。同図において、ｆは映像フレーム番号を示し、VTSfは映像フレーム毎のTS数を示す。同図における導出手順は以下の通りである。
【００３９】
１）（２×フレームレート）分の映像フレームのデータを入力する。
【００４０】
２）10映像フレーム毎に最大TS数を持つ映像フレームの番号とTS数を記憶する（但し、最大値が複数ある場合は映像フレームが小さい方を選択）。
【００４１】
３）上記２）で選択された映像フレーム対し、TS数に関し昇順に並べる。
【００４２】
４）順番に並んだTS数の除算値を計算する。
【００４３】
５）除算値が最大ところ(白抜き部分)を閾値として仮のIフレームを決める(但し、最大値が複数ある場合は、最初の最大値)。
【００４４】
６）仮のIフレームの間隔を"距離が長いほう"から計算し、最も発生頻度の多いものを基本GoP長とする(但し、距離が"10以下"はカウントしない)。
【００４５】
図５の例では、映像のフレームレートが30fpsのとき、フレームレートである30の2倍の60映像フレームを昇順映像フレーム算出部の入力としていくつかのグループにクラスタリングする（この際、昇順法への入力を映像フレームレートの三倍などの値としても良い）。ただし、図面の太線がデータ入力の区切りを示している。具体的には、入力された60映像フレームに対し、10映像フレーム毎に最大の情報量を持つ映像フレームを抽出し、昇順法を適用して、情報量の大小関係に基づきデータの並び替えを実施している（本実施例では、計算量削減の観点から、10映像フレーム毎に最大の情報量を持つ映像フレームを抽出しているが、本処理を用いず、60映像フレームに対し、直接昇順法を適用しても良い）。次に、昇順に並び替えられた映像フレームに対し、除算法を用い、隣接映像フレームの情報量を除算する（図５の例では、映像フレーム番号３４の情報量を映像フレーム番号１８の情報量で除算し、他の映像フレームに対しても同様の処理をする）。得られた除算値の中で最大の除算値を閾値として、閾値を超える情報量を持つ映像フレームを仮のIフレームとする。
【００４６】
基本GoP長算出部４は、Iフレーム間隔算出部３で判定されたIフレームの間隔から各GoP長で発生頻度の一番高いGoP長を基本GoP長とする。
【００４７】
映像フレーム種別算出部５は、基本GoP長算出部４で算出された基本GoP長と、映像フレーム情報量算出部２で算出された映像フレーム毎の情報量から映像フレーム種別（Ｉ，Ｐ，Ｂ）を判別する。非特許文献２で示されるように、具体的には、基本GoP長に２〜４の値を加えた値を探索範囲とし、探索範囲の中で最大の情報量を持つ映像フレームをIフレームとする。Iフレーム間にある映像フレームの情報量を平均し、事前に決定されている係数αを掛けた値を閾値として、映像フレーム毎の情報量が閾値以上の映像フレームはPフレーム、閾値未満のフレームはBフレームと判定する（非特許文献２図７参照）。なお、係数αは、映像コーディックの実装により変化する値であり、概ね0.9〜1.3の値を持つ。
【００４８】
映像ビットレート算出部６は、映像フレーム情報量算出部２で算出された情報量をもとにビットレートを算出する。
【００４９】
損失映像フレーム判別部７は、映像フレーム判別部１で映像フレーム毎にグループ化されたパケットの中にパケット損失があるか判別し、パケット損失がある場合は、その映像フレームを損失映像フレームと判定する。具体的には、RTPパケットのRTP タイムスタンプの抜けやTSパケットのTSヘッダ内の巡回カウンタ（CC）の抜けから、損失パケットを検出し、その損失パケットを含む映像フレームを損失映像フレームと判定する。
【００５０】
劣化映像フレーム算出部８は、損失映像フレーム判別部７により判定された損失映像フレームと、映像フレーム種別算出部５で判定された映像フレーム種別をもとに、非特許文献２で示されるように、損失の劣化の伝搬状況を加味し、劣化映像フレーム数をカウントする（非特許文献２図３参照）。
【００５１】
符号化映像品質算出部９は、映像ビットレート算出部６で算出されたビットレート（BR）をもとに、以下の数式に基づき、符号化映像品質（VQC）を算出する。ただし、v1, v2, v3は、予め記憶されている定数とする。
【００５２】
【数１】
映像品質算出部１０は、符号化映像品質算出部９で算出された符号化映像品質（VQC）と劣化映像フレーム算出部８で算出された劣化映像フレーム数（DF）から以下の数式に基づき、映像品質を算出する。ただし、v4, v5, v6は、予め記憶されている定数とする。
【００５３】
【数２】
また、IPネットワーク経由で行うIPTVサービス、映像配信サービスなどの映像通信に関わる映像品質に影響を与えるビットレートや映像フレーム毎のビット量と映像フレーム種別を利用し、符号化映像品質（VQC）、映像品質（VQ）を導出しても良い。この、ビットレート、映像フレーム毎のビット量と映像フレーム種別を利用して、符号化映像品質（VQC）、映像品質（VQ）を導出する、符号化映像品質・映像品質算出機能の一実施形態を以下に例示する。なお、詳細は、PCT/JP2010/055203に記載されている。
【００５４】
図６は、符号化映像品質・映像品質算出機能の構成例を示し、当該符号化映像品質・映像品質算出機能は、ビットレートや映像フレーム毎のビット量と映像フレーム種別を利用して符号化映像品質（VQC）、映像品質（VQ）を導出するものである。
【００５５】
同図に示す符号化映像品質・映像品質算出機能２００では、入力パケットに含まれる符号化映像パケットを分析し、これらの映像通信に関わる映像品質に影響を与える特徴量を定量的に表した映像品質値を導出する。具体的には、符号化映像のビットレート、符号化映像の映像フレームにおける各映像フレーム種別毎のビット量、損失映像フレーム数それぞれを考慮して映像品質評価値を導出することにより、符号化映像の映像品質を推定するものである。符号化映像品質・映像品質算出機能２００は、パケット分析部２０、映像集合フレーム特性推定部２１、符号化品質推定部２２、パケット損失品質推定部２３とから構成されている。
【００５６】
パケット分析部２０は、入力されたパケットに含まれる符号化映像パケットのビットレートを導出するビットレート算出部２０１と、映像フレーム種別毎のビット量を導出するビット量算出部２０２とから構成されており、ビットレート算出部２０１によって導出されたビットレートと、ビット量算出部２０２によって導出された映像フレーム種別毎のビット量とを出力する。
【００５７】
映像集合フレーム特性推定部２１は、パケット分析部２０のビットレート算出部２０１より出力されたビットレートを入力として、フレーム種別毎のビット量の特性を示すフレーム特性を導出し、出力する。
【００５８】
符号化品質推定部２２は、パケット分析部２０のビット量算出部２０２より出力されたビットレートと映像種別毎のビット量と、映像集合フレーム特性推定部２１から出力された映像フレーム種別毎のフレーム特性とに基づいて符号化映像品質評価値(VQC)を導出する。
【００５９】
パケット損失映像品質推定部２３は、符号化品質推定部２２より算出された符号化映像品質評価値(VQC)と、パケット分析部２０より算出された映像フレーム種別毎のビット量と映像フレーム損失数を表す損失映像フレーム数と、映像集合フレーム特性推定部２１により導出される映像フレーム種別毎のフレーム特性とに基づいて、パケット損失劣化によって影響を受ける符号化映像の品質を定量的に表した映像品質評価値（VQ）を導出する。図７，８に、上記の映像フレーム毎のビット量と映像フレーム種別を利用し、符号化映像品質（VQC）、映像品質(VQ)を導出するための詳細なフローチャートを例示する。
【実施例】
【００６０】
次に、本実施の形態にかかる映像品質推定装置１００の動作について以下に具体的に説明する。
【００６１】
図９は、本発明の一実施例における映像品質推定装置の動作のフローチャートである。
【００６２】
映像品質推定装置１００の映像フレーム判別部１に、パケットが入力されると映像フレームの区切り位置を示す情報に基づき各映像フレームを構成するパケットがグループ化されて映像フレームが判別され、当該映像フレームを映像フレーム情報量算出部２及び損失映像フレーム判別部７に出力する（Ｓ１０１）。
【００６３】
映像フレーム情報量算出部２は、映像フレーム判別部１から入力された映像フレームを構成するパケット数を映像フレーム毎の情報量として計数し、Iフレーム間隔算出部３及び映像ビットレート算出部６に出力する（Ｓ１０２）。
【００６４】
Iフレーム間隔算出部３は、入力された映像フレーム毎の情報量に基づき、最終的に3つのグループに収束するまでクラスタリングを繰り返し、収束した3つのグループの内、最も情報量が多い映像フレームを含むグループに分類された映像フレームすべてをＩフレームとし、各Ｉフレームの間隔を計算し、基本GoP長算出部４へ出力する（Ｓ１０３）。
本実施例では、クラスタリングの手法として、最短距離法を適用した場合と、昇順法を適用した場合を図４、図５等で例示している。基本GoP長算出部４は、Ｉフレーム間隔算出部３で計算されたＩフレームの間隔の中で発生頻度の高いものを基本GoP長とし、映像フレーム種別算出部５へ出力する（Ｓ１０４）。
【００６５】
映像フレーム種別算出部５は、基本GoP長算出部４で導出された基本ＧｏＰ長と映像フレーム情報量算出部２で算出された映像フレームごとの情報量から映像フレーム種別（Ｉ，Ｐ，Ｂフレーム）を導出し、劣化映像フレーム算出部８へ出力する（Ｓ１０５）。
【００６６】
映像ビットレート算出部６は、映像フレーム情報量算出部２から入力された映像フレームごとの情報量からビットレートを算出し、符号化映像品質算出部９へ出力される（Ｓ１０６）。
【００６７】
損失映像フレーム判別部７は、映像フレーム判別部１から入力される各映像フレームにパケット損失が含まれるか否かによって、損失映像フレームを判定し、損失映像フレームと判定された映像フレームは劣化映像フレーム算出部８へ出力される（Ｓ１０７）。
【００６８】
劣化映像フレーム算出部８は、損失映像フレーム判別部７より入力された損失映像フレームと、映像フレーム種別算出部５で入力された映像フレーム種別から、劣化の伝搬状況を加味し、劣化映像フレーム数をカウントし、映像品質算出部１０へ出力する（Ｓ１０８）。
【００６９】
符号化映像品質算出部９は、映像ビットレート算出部６より入力されたビットレートに基づき、符号化直後の符号化映像品質を導出し、映像品質算出部１０へ出力する（Ｓ１０９）。
【００７０】
映像品質算出部１０は、符号化映像品質算出部９から入力された符号化映像品質と、劣化映像フレーム算出部８から入力される損失映像フレームから映像品質を導出し（Ｓ１１０）、処理を終了する。
【００７１】
このように、本実施の形態によれば、受信したパケットデータのみから、映像フレームごとの情報量をもとに基本GoP長を算出し、各映像フレームの映像フレーム種別を導出することができるため、基本GoP長の情報を予め入手できない状況下でも映像品質を評価可能となる。
【００７２】
したがって、提供中のサービスがユーザに対してある一定以上の品質を保っているか否かを容易に判断することができ、提供中のサービスの品質実態をリアルタイムで把握・管理することが可能となる。
【００７３】
なお、上記の実施の形態における映像品質推定装置１００は、ＣＰＵ（中央演算装置）やメモリ、インターフェースからなるコンピュータにコンピュータプログラムをインストールすることによって実現され、上述した映像品質推定装置１００の各種機能は、上記コンピュータの各種ハードウェア資源と上記コンピュータプログラム（ソフトウェア）とが協働して実現される。
【００７４】
図１、図２に示す映像品質推定装置１００の構成要素の動作をプログラムとして構築し、当該映像品質推定装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。
【００７５】
なお、欧州のIPTVの仕様で、パケットにIフレームを示すフラグが暗号化されていない場合は、基本GoPサイズは自明であるが、欧州のIPTVの仕様でIフレームを示すフラグが暗号化されている場合や標準の日本のパケットの仕様では基本GoPサイズが自明ではないため、GoPのサイズをパケットを用いて導出する必要があり、本発明が有効となる。
【００７６】
さらに、構築されたプログラムをハードディスクや、フレキシブルディスク・ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。
【００７７】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【産業上の利用可能性】
【００７８】
ＩＰネットワーク経由で行うIPTVサービス、映像配信サービスなどの映像通信の映像品質評価値を推定する映像品質推定装置に利用できる。
【符号の説明】
【００７９】
１ 映像フレーム判別部
２ 映像フレーム情報量算出部
３ Iフレーム間隔算出部
４ 基本GoP長算出部
５ 映像フレーム種別算出部
６ 映像ビットレート算出部
７ 損失映像フレーム判別部
８ 劣化映像フレーム算出部
９ 符号化映像品質算出部
１０ 映像品質算出部
２０ パケット分析部
２１ 映像集合フレーム特性推定部
２２ 符号化品質推定部
２３ パケット損失品質推定部
３１ 最短距離映像フレーム算出部
３２ 昇順映像フレーム算出部
１００ 映像品質推定装置
２００ 符号化映像品質・映像品質算出機能
２０１ ビットレート算出部
２０２ ビット量算出部
【特許請求の範囲】
【請求項１】
映像の品質を客観的に評価する基本GoP長を用いた映像品質推定装置であって、
入力されたパケットの情報をもとに、映像フレーム毎にパケットをグループ化する映像フレーム判別手段と、
前記映像フレーム判別手段により判別された映像フレーム毎の映像フレーム情報量を導出する映像フレーム情報量算出手段と、
前記映像フレーム情報量算出手段で導出された前記映像フレーム毎の映像フレーム情報量からIフレーム毎の映像フレームの間隔を導出するIフレーム間隔算出手段と、
前記Iフレーム間隔算出手段で導出されたIフレーム間隔の集合から品質測定区間の発生頻度の最も高いIフレーム間隔を基本GoP（Group of Picture）長として算出する基本GoP長算出手段と、
前記基本GoP長算出手段で導出された前記基本GoP長をもとに、全映像フレームの映像フレーム種別（I、B、Pフレーム）を算出する映像フレーム種別算出手段と、
前記映像フレーム情報量算出手段で導出された前記映像フレーム毎の映像フレーム情報量から映像のビットレートを算出する映像ビットレート算出手段と、
前記映像フレーム判別手段で判別された映像フレームにパケット損失が含まれるか判別する損失映像フレーム判別手段と、
前記映像フレーム種別算出手段で算出された前記映像フレーム種別と前記損失映像フレーム判別手段で判別された損失映像フレームから損失の影響がどの程度伝搬するか判別する劣化映像フレーム算出手段と、
前記映像ビットレート算出手段で算出された前記映像のビットレートを用いて映像符号化に関する映像品質を算出する符号化映像品質算出手段と、
前記符号化映像品質算出手段で算出された符号化映像品質と前記劣化映像フレーム算出手段で算出された劣化映像フレームから映像品質を算出する映像品質算出手段と、
を備えることを特徴とする基本GoP長を用いた映像品質推定装置。
【請求項２】
前記Iフレーム間隔算出手段において、
映像フレームの情報量を最短距離法に基づきクラスタリングし、最大映像フレーム情報量を持つ映像フレームと同一のグループとされた映像フレームをIフレームと判定する最短距離映像フレーム算出手段を含む
請求項１に記載の基本GoP長を用いた映像品質推定装置。
【請求項３】
前記Iフレーム間隔算出手段において、
映像フレームの情報量を昇順法に基づきクラスタリングし、最大映像フレーム情報量を持つ映像フレームと同一のグループとされた映像フレームをIフレームと判定する昇順映像フレーム算出手段を含む
請求項１に記載の基本GoP長を用いた映像品質推定装置。
【請求項４】
映像の品質を客観的に評価する基本GoP長を用いた映像品質推定方法であって、
映像フレーム判別手段が、入力されたパケットの情報をもとに、映像フレーム毎にパケットをグループ化する映像フレーム判別ステップと、
映像フレーム情報量算出手段が、前記映像フレーム判別ステップにより判別された映像フレーム毎の映像フレーム情報量を導出する映像フレーム情報量算出ステップと、
Iフレーム間隔算出手段が、前記映像フレーム情報量算出ステップで導出された前記映像フレーム毎の映像フレーム情報量からIフレーム毎の映像フレームの間隔を導出するIフレーム間隔算出ステップと、
基本GoP長算出手段が、前記Iフレーム間隔算出ステップで導出されたIフレーム間隔の集合から品質測定区間の発生頻度の最も高いIフレーム間隔を基本GoP（Group of Picture）長として算出する基本GoP長算出ステップと、
映像フレーム種別算出手段が、前記基本GoP長算出ステップで導出された前記基本GoP長をもとに、全映像フレームの映像フレーム種別（I、B、Pフレーム）を算出する映像フレーム種別算出ステップと、
映像ビットレート算出手段が、前記映像フレーム情報量算出ステップで導出された前記映像フレーム毎の映像フレーム情報量から映像のビットレートを算出する映像ビットレート算出ステップと、
損失映像フレーム判別手段が、前記映像フレーム判別ステップで判別された映像フレームにパケット損失が含まれるか判別する損失映像フレーム判別ステップと、
劣化映像フレーム算出手段が、前記映像フレーム種別算出ステップで算出された前記映像フレーム種別と前記損失映像フレーム判別ステップで判別された損失映像フレームから損失の影響がどの程度伝搬するか判別する劣化映像フレーム算出ステップと、
符号化映像品質算出手段が、前記映像ビットレート算出ステップで算出された前記映像のビットレートを用いて映像符号化に関する映像品質を算出する符号化映像品質算出ステップと、
映像品質算出手段が、前記符号化映像品質算出ステップで算出された符号化映像品質と前記劣化映像フレーム算出ステップで算出された劣化映像フレームから映像品質を算出する映像品質算出ステップと、
を行うことを特徴とする基本GoP長を用いた映像品質推定方法。
【請求項５】
前記Iフレーム間隔算出ステップにおいて、
映像フレームの情報量を最短距離法に基づきクラスタリングし、最大映像フレーム情報量を持つ映像フレームと同一のグループとされた映像フレームをIフレームと判定する
請求項４に記載の基本GoP長を用いた映像品質推定方法。
【請求項６】
前記Iフレーム間隔算出ステップにおいて、
映像フレームの情報量を昇順法に基づきクラスタリングし、最大映像フレーム情報量を持つ映像フレームと同一のグループとされた映像フレームをIフレームと判定する
請求項４に記載の基本GoP長を用いた映像品質推定方法。
【請求項７】
コンピュータを、
請求項１乃至３のいずれか１項に記載の基本GoP長を用いた映像品質推定装置の各手段として機能させるための基本GoP長を用いた映像品質推定プログラム。
【請求項１】
映像の品質を客観的に評価する基本GoP長を用いた映像品質推定装置であって、
入力されたパケットの情報をもとに、映像フレーム毎にパケットをグループ化する映像フレーム判別手段と、
前記映像フレーム判別手段により判別された映像フレーム毎の映像フレーム情報量を導出する映像フレーム情報量算出手段と、
前記映像フレーム情報量算出手段で導出された前記映像フレーム毎の映像フレーム情報量からIフレーム毎の映像フレームの間隔を導出するIフレーム間隔算出手段と、
前記Iフレーム間隔算出手段で導出されたIフレーム間隔の集合から品質測定区間の発生頻度の最も高いIフレーム間隔を基本GoP（Group of Picture）長として算出する基本GoP長算出手段と、
前記基本GoP長算出手段で導出された前記基本GoP長をもとに、全映像フレームの映像フレーム種別（I、B、Pフレーム）を算出する映像フレーム種別算出手段と、
前記映像フレーム情報量算出手段で導出された前記映像フレーム毎の映像フレーム情報量から映像のビットレートを算出する映像ビットレート算出手段と、
前記映像フレーム判別手段で判別された映像フレームにパケット損失が含まれるか判別する損失映像フレーム判別手段と、
前記映像フレーム種別算出手段で算出された前記映像フレーム種別と前記損失映像フレーム判別手段で判別された損失映像フレームから損失の影響がどの程度伝搬するか判別する劣化映像フレーム算出手段と、
前記映像ビットレート算出手段で算出された前記映像のビットレートを用いて映像符号化に関する映像品質を算出する符号化映像品質算出手段と、
前記符号化映像品質算出手段で算出された符号化映像品質と前記劣化映像フレーム算出手段で算出された劣化映像フレームから映像品質を算出する映像品質算出手段と、
を備えることを特徴とする基本GoP長を用いた映像品質推定装置。
【請求項２】
前記Iフレーム間隔算出手段において、
映像フレームの情報量を最短距離法に基づきクラスタリングし、最大映像フレーム情報量を持つ映像フレームと同一のグループとされた映像フレームをIフレームと判定する最短距離映像フレーム算出手段を含む
請求項１に記載の基本GoP長を用いた映像品質推定装置。
【請求項３】
前記Iフレーム間隔算出手段において、
映像フレームの情報量を昇順法に基づきクラスタリングし、最大映像フレーム情報量を持つ映像フレームと同一のグループとされた映像フレームをIフレームと判定する昇順映像フレーム算出手段を含む
請求項１に記載の基本GoP長を用いた映像品質推定装置。
【請求項４】
映像の品質を客観的に評価する基本GoP長を用いた映像品質推定方法であって、
映像フレーム判別手段が、入力されたパケットの情報をもとに、映像フレーム毎にパケットをグループ化する映像フレーム判別ステップと、
映像フレーム情報量算出手段が、前記映像フレーム判別ステップにより判別された映像フレーム毎の映像フレーム情報量を導出する映像フレーム情報量算出ステップと、
Iフレーム間隔算出手段が、前記映像フレーム情報量算出ステップで導出された前記映像フレーム毎の映像フレーム情報量からIフレーム毎の映像フレームの間隔を導出するIフレーム間隔算出ステップと、
基本GoP長算出手段が、前記Iフレーム間隔算出ステップで導出されたIフレーム間隔の集合から品質測定区間の発生頻度の最も高いIフレーム間隔を基本GoP（Group of Picture）長として算出する基本GoP長算出ステップと、
映像フレーム種別算出手段が、前記基本GoP長算出ステップで導出された前記基本GoP長をもとに、全映像フレームの映像フレーム種別（I、B、Pフレーム）を算出する映像フレーム種別算出ステップと、
映像ビットレート算出手段が、前記映像フレーム情報量算出ステップで導出された前記映像フレーム毎の映像フレーム情報量から映像のビットレートを算出する映像ビットレート算出ステップと、
損失映像フレーム判別手段が、前記映像フレーム判別ステップで判別された映像フレームにパケット損失が含まれるか判別する損失映像フレーム判別ステップと、
劣化映像フレーム算出手段が、前記映像フレーム種別算出ステップで算出された前記映像フレーム種別と前記損失映像フレーム判別ステップで判別された損失映像フレームから損失の影響がどの程度伝搬するか判別する劣化映像フレーム算出ステップと、
符号化映像品質算出手段が、前記映像ビットレート算出ステップで算出された前記映像のビットレートを用いて映像符号化に関する映像品質を算出する符号化映像品質算出ステップと、
映像品質算出手段が、前記符号化映像品質算出ステップで算出された符号化映像品質と前記劣化映像フレーム算出ステップで算出された劣化映像フレームから映像品質を算出する映像品質算出ステップと、
を行うことを特徴とする基本GoP長を用いた映像品質推定方法。
【請求項５】
前記Iフレーム間隔算出ステップにおいて、
映像フレームの情報量を最短距離法に基づきクラスタリングし、最大映像フレーム情報量を持つ映像フレームと同一のグループとされた映像フレームをIフレームと判定する
請求項４に記載の基本GoP長を用いた映像品質推定方法。
【請求項６】
前記Iフレーム間隔算出ステップにおいて、
映像フレームの情報量を昇順法に基づきクラスタリングし、最大映像フレーム情報量を持つ映像フレームと同一のグループとされた映像フレームをIフレームと判定する
請求項４に記載の基本GoP長を用いた映像品質推定方法。
【請求項７】
コンピュータを、
請求項１乃至３のいずれか１項に記載の基本GoP長を用いた映像品質推定装置の各手段として機能させるための基本GoP長を用いた映像品質推定プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１３−４６１１３（Ｐ２０１３−４６１１３Ａ）
【公開日】平成２５年３月４日（２０１３．３．４）
【国際特許分類】
【出願番号】特願２０１１−１８０９６３（Ｐ２０１１−１８０９６３）
【出願日】平成２３年８月２２日（２０１１．８．２２）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２５年３月４日（２０１３．３．４）
【国際特許分類】
【出願日】平成２３年８月２２日（２０１１．８．２２）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]