ＴｉｍｅｓｔａｍｐｅｄＴＳ（ＴＴＳ）を用いた映像フレーム判別装置および方法およびプログラム、及びＴＴＳを用いて判別した映像フレームを用いた映像品質推定装置及び方法及びプログラム
【課題】 パケット化された映像に対して、映像フレームを自動判別する、及び判別した映像フレームを用いて映像品質評価値を高精度に推定する。
【解決手段】 本発明は、入力パケット内のTTSの時間情報と映像フレームレート、PUSIをもとに、単位時間内のPUSIの数を算出し、映像フレームレートで除算した値を、１つの映像フレームが持つPUSIの数として映像フレームを判別する。さらに、判別した該映像フレームの情報量を算出し、最短距離法を適用し、最も情報量が多い映像フレームのグループをIフレームとし、Iフレームの間隔で頻出頻度の一番高いものを基本GoP長として、映像フレーム毎の映像フレーム種別を推定する。映像フレーム毎の情報量から映像のビットレートを算出し、そのビットレートから符号化直後の映像品質を導出する。パケット損失が発生した映像フレームを判別し、損失映像フレームと映像フレーム種別から劣化映像フレーム長を算出し、符号化映像品質と劣化映像フレーム長から映像品質を客観的に評価する。
【解決手段】 本発明は、入力パケット内のTTSの時間情報と映像フレームレート、PUSIをもとに、単位時間内のPUSIの数を算出し、映像フレームレートで除算した値を、１つの映像フレームが持つPUSIの数として映像フレームを判別する。さらに、判別した該映像フレームの情報量を算出し、最短距離法を適用し、最も情報量が多い映像フレームのグループをIフレームとし、Iフレームの間隔で頻出頻度の一番高いものを基本GoP長として、映像フレーム毎の映像フレーム種別を推定する。映像フレーム毎の情報量から映像のビットレートを算出し、そのビットレートから符号化直後の映像品質を導出する。パケット損失が発生した映像フレームを判別し、損失映像フレームと映像フレーム種別から劣化映像フレーム長を算出し、符号化映像品質と劣化映像フレーム長から映像品質を客観的に評価する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、Timestamped TS（TTS：TSヘッダ(188バイト固定長のTS(Transport Stream)パケットの先頭4バイト)にタイムスタンプ情報を付加して合計192バイトのパケットにしたTS）を用いた映像フレーム判別装置および方法およびプログラム、及びTTSを用いて判別した映像フレームを用いた映像品質推定装置及び方法及びプログラムに係り、特に、インターネットのようなIP(Internet Protocol)ネットワーク経由で行うＩＰＴＶサービス、映像配信サービスにおける映像の品質を客観的に評価するための、TTSを用いた映像フレーム判別装置および方法およびプログラム、及びTTSを用いて判別した映像フレームを用いた映像品質推定装置及び方法及びプログラムに関する。
【背景技術】
【０００２】
インターネットは、必ずしも通信品質が保証されていないネットワークであるため、音声及び映像メディアなどを用いて通信を行う場合、ユーザ端末間のネットワークの回線帯域が狭いことによるビットレートの低下、回線が輻輳することでパケット損失やパケット転送遅延が発生し、音声や映像メディアなどに対してユーザが知覚する品質（ユーザ体感品質：QoE（Quality of Experience））が劣化してしまう。
【０００３】
具体的には、原映像を符号化する場合、フレーム内の映像信号にブロック単位の処理による劣化が生じたり、映像信号の高周波成分が失われることにより、映像全体の精細感が低くなる。また、ネットワークを介し、符号化された映像データをパケットとしてユーザ端末に送信する際、パケット損失や廃棄が発生すると、フレーム内に劣化が生じ、映像全体の品質が低くなる。
【０００４】
結果として、ユーザは受信した映像に、ぼけ、にじみ、やモザイク状の歪みを知覚する。
【０００５】
上記のような映像通信サービスを良好な品質で提供していることを確認するためには、サービス提供中に、ユーザが体感する映像の品質を測定し、ユーザに対して提供される映像の品質が高いことを監視することが重要となる。
【０００６】
したがって、ユーザが体感する映像の品質を適切に表現することができる映像品質客観評価技術が必要とされている。
【０００７】
従来、映像品質を評価する手法として、主観品質評価法（例えば、非特許文献１参照）や客観品質評価法（例えば、非特許文献２参照）がある。
【０００８】
主観品質評価法は、複数のユーザが実際に映像を視聴し、体感した品質を５段階（９段階や１１段階の場合もある）の品質尺度（非常に良い、良い、ふつう、悪い、非常に悪い）や妨害尺度（劣化が全く認められない、劣化が認められるが気にならない、劣化がわずかに気になる、劣化が気になる、劣化が非常に気になる）などにより評価し、全ユーザ数で各映像（例えば、パケット損失率０％でビットレートが２０Mbpsの映像）の品質評価値を平均し、その値をMOS（Mean Opinion Score）値やDMOS（Degradation Mean Opinion Score）値として定義している。
【０００９】
しかしながら、主観品質評価は、特別な専用機材（モニタなど）や評価環境（室内照度や室内騒音など）を調整可能な評価施設を必要とするだけではなく、多数のユーザが実際に映像を評価する必要がある。そのため、ユーザが実際に評価を完了するまでに時間がかかってしまい、品質をリアルタイムに評価する場合には不向きである。
【００１０】
そこで、映像品質に影響を与える特徴量（例えば、ビットレートやフレーム単位のビット量、パケット損失情報など）を利用し、映像品質評価値を出力する客観品質評価法の開発が望まれている。
【００１１】
従来の客観品質評価法の１つに、送信されたパケットとサービス提供者などから得たGoP（Group of Picture）の設定値を入力とし、映像フレームのビット量から映像フレーム種別（I、B、Pフレーム）を推定し、パケット損失により損失した映像フレームがどの程度、劣化が伝搬するか考慮し、映像品質評価値を導出する技術がある（例えば、非特許文献２参照）。
【００１２】
従来の客観品質評価法の多くは、上記のように、パケットを用いて映像品質評価値を推定するものであった。
【先行技術文献】
【非特許文献】
【００１３】
【非特許文献１】ITU-T勧告P.910
【非特許文献２】牛木、増田、林、高橋、"フレーム種別推定を用いたパケットレイヤ映像品質推定法、" 電子情報通信学会論文誌 B Vol.J94-B, No.1, pp.36-48.
【発明の概要】
【発明が解決しようとする課題】
【００１４】
しかしながら、非特許文献２の技術は、前述のように、映像フレームの区切りを示す情報（例えば、PUSI）と映像フレームが一対一に対応していないと映像フレームを抽出できないといった問題がある。
【００１５】
本発明は、上記の点に鑑みなされたもので、上述の問題を解決すべく、Timestamped TS（TTS）の時間とPUSIの個数から、映像フレームの区切りを判別し、さらに、このようにTSSを用いて判別した映像フレームを用いて映像品質を推定する。具体的には、単位時間当たりに、PUSIが何個送信されたかという情報と、映像フレームレートの値から何個のPUSIから映像フレームが構成されているかを算出し、個々の映像フレームを判別するTSSを用いた映像フレーム判別装置および方法およびプログラムと、このようにTSSを用いて判別された映像フレームを用いて映像品質評価値を推定するTTSを用いて判別した映像フレームを用いた映像品質推定装置及び方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１６】
上記の課題を解決するために、本発明（請求項１）は、TTSを用いて映像フレームを判別するための映像フレーム判別装置であって、
入力されたパケットに示されるTTSの時間情報と映像フレームレート、PES(Packetized Elementary System)パケットが含まれることを意味するPUSI(Payload Unit Start Indicator)をもとに、単位時間内のPUSIの数を算出し、映像フレームレートで除算した値を、１つの映像フレームが持つPUSIの数とするPUSI数算出手段と、
前記１つの映像フレームが持つPUSIの数に基づいて、映像フレームを判別し、判別した映像フレーム毎にパケットをグループ化する映像フレーム判別手段と、
を有することを特徴とする。
【００１７】
さらに、本発明（請求項２）は、TTSを用いて判別した映像フレームを用いて映像品質を評価するための映像品質推定装置であって、
入力されたパケットに示されるTTSの時間情報と映像フレームレート、PESパケットが含まれることを意味するPUSIをもとに、単位時間内のPUSIの数を算出し、映像フレームレートで除算した値を、１つの映像フレームが持つPUSIの数とするPUSI数算出手段と、
前記１つの映像フレームが持つPUSIの数に基づいて、映像フレームを判別し、判別した映像フレーム毎にパケットをグループ化する映像フレーム判別手段と、
前記映像フレーム判別手段により判別された映像フレーム毎の映像フレームの情報量を算出し、該情報量から算出された映像のビットレートにより求められた映像品質とパケット損失が発生した損失映像フレームのフレーム長から映像品質を評価する映像品質評価手段とを有し、
前記映像品質評価手段は、
前記映像フレーム判別手段により判別された映像フレーム毎の映像フレーム情報量を導出する映像フレーム情報量算出手段と、
TSパケットに含まれているRAI(Random Access Indicator)がＩフレームの先頭パケットである場合は、全映像フレームの映像フレーム種別として、Ｂフレーム、Ｐフレームを算出する第１の映像フレーム種別算出手段と、
前記映像フレーム情報量算出手段で導出された前記映像フレーム毎の映像フレーム情報量から映像のビットレートを算出する映像ビットレート算出手段と、
前記映像フレーム判別手段で判別された映像フレームにパケット損失が含まれるか判別する損失映像フレーム判別手段と、
前記映像フレーム種別算出手段で算出された前記映像フレーム種別と前記損失映像フレーム判別手段で判別された損失映像フレームから損失の影響がどの程度伝搬するか判別する劣化映像フレーム算出手段と、
前記映像ビットレート算出手段で算出された前記映像のビットレートを用いて映像符号化に関する映像品質を算出する符号化映像品質算出手段と、
前記符号化映像品質算出手段で算出された符号化映像品質と前記劣化映像フレーム算出手段で算出された劣化映像フレームから映像品質を算出する映像品質算出手段と、
を備えることを特徴とする。
【００１８】
さらに、本発明（請求項３）は、TTSを用いて判別した映像フレームを用いて映像品質を評価するための映像品質推定装置であって、
入力されたパケットに示されるTTSの時間情報と映像フレームレート、PESパケットが含まれることを意味するPUSIをもとに、単位時間内のPUSIの数を算出し、映像フレームレートで除算した値を、１つの映像フレームが持つPUSIの数とするPUSI数算出手段と、
前記１つの映像フレームが持つPUSIの数に基づいて、映像フレームを判別し、判別した映像フレーム毎にパケットをグループ化する映像フレーム判別手段と、
前記映像フレーム判別手段により判別された映像フレーム毎の映像フレームの情報量を算出し、該情報量から算出された映像のビットレートにより求められた映像品質とパケット損失が発生した損失映像フレームのフレーム長から映像品質を評価する映像品質評価手段とを有し、
前記映像品質評価手段は、
前記映像フレーム判別手段により判別された映像フレーム毎の映像フレーム情報量を導出する映像フレーム情報量算出手段と、
TSパケットに含まれているRAIがＩフレームの先頭パケットでない場合は、前記映像フレーム情報量算出手段で導出された前記映像フレーム毎の映像フレーム情報量からIフレーム毎の映像フレームの間隔を導出するIフレーム間隔算出手段と、
前記Iフレーム間隔算出手段で導出されたIフレーム間隔の集合から品質測定区間の発生頻度の最も高いIフレーム間隔を基本GoP（Group of Picture）長として算出する基本GoP長算出手段と、
前記基本GoP長算出手段で導出された前記基本GoP長をもとに、全映像フレームの映像フレーム種別（I、B、Pフレーム）を算出する第２の映像フレーム種別算出手段と、
前記映像フレーム情報量算出手段で導出された前記映像フレーム毎の映像フレーム情報量から映像のビットレートを算出する映像ビットレート算出手段と、
前記映像フレーム判別手段で判別された映像フレームにパケット損失が含まれるか判別する損失映像フレーム判別手段と、
前記映像フレーム種別算出手段で算出された前記映像フレーム種別と前記損失映像フレーム判別手段で判別された損失映像フレームから損失の影響がどの程度伝搬するか判別する劣化映像フレーム算出手段と、
前記映像ビットレート算出手段で算出された前記映像のビットレートを用いて映像符号化に関する映像品質を算出する符号化映像品質算出手段と、
前記符号化映像品質算出手段で算出された符号化映像品質と前記劣化映像フレーム算出手段で算出された劣化映像フレームから映像品質を算出する映像品質算出手段と、
を備えることを特徴とする。
【発明の効果】
【００１９】
従来、映像パケットをパケット化する際、多くの国では1つのPESに1つの映像フレームを割り当て、サービスを提供してきた（つまり、１つの映像フレームに１つのPUSIが割り振られていた）。しかしながら、パケット化の多様化により、1つの映像フレームを複数のPESパケットでパケット化するサービスが現れ、PUSIから映像フレームの区切りを判別することができない。
【００２０】
これに対し、本発明の映像フレーム判別装置によれば、受信したパケットのTTSの時間と映像フレームレートから、１つの映像フレームにいくつのPUSIが含まれるかを算出することができるため、PUSIと映像フレームが１対１に対応していなくとも、従来と同様に、各映像フレームがどのパケットからどのパケットまでか知ることができ、各映像フレームを判別することができる。
【００２１】
また、本発明の映像フレーム品質推定装置によれば、上記の映像フレーム判別装置により、PUSIと映像フレームが１対１に対応していなくとも映像フレームを判別し、抽出でき、当該映像フレームを用いた映像品質評価が可能となる。
【００２２】
したがって、本発明によりユーザが実際に視聴する映像通信サービスの映像について映像品質値を監視可能となるため、提供中のサービスがユーザに対してある一定以上の品質を保っているか否かを容易に判断することができる。
【００２３】
このため、提供中のサービスの品質実態について、従来技術で映像品質評価ができなかった点を改善することが可能となる。
【図面の簡単な説明】
【００２４】
【図１】本発明の一実施の形態における映像品質推定装置の構成図である。
【図２】本発明の一実施の形態におけるIフレーム間隔算出部の構成図である。
【図３】本発明の一実施の形態における映像フレーム判別部でのパケットのグループ化の例である。
【図４】本発明の一実施の形態におけるＩフレーム間隔算出部のＩフレーム間隔算出の例である。
【図５】本発明の一実施の形態における映像フレームのクラスタリングの例である。
【図６】符号化映像品質・映像品質算出機能の構成例である。
【図７】符号化映像品質・映像品質算出処理のフローチャート（その１）である。
【図８】符号化映像品質・映像品質算出処理のフローチャート（その２）である。
【図９】本発明の一実施例における映像品質推定装置の動作のフローチャートである。
【発明を実施するための形態】
【００２５】
以下図面と共に、本発明の実施の形態を説明する。
【００２６】
本発明の本実施の形態にかかる映像品質評価装置は、入力パケット内に示されるTTSの時間情報と映像フレームレート、PESパケットが含まれることを意味するPUSIをもとに、単位時間内のPUSIの数を算出し、映像フレームレートで除算した値を、１つの映像フレームが持つPUSIの数とし、映像フレームを判別し、判別された映像フレームの情報量（ビット量やパケット数）を算出する。
【００２７】
算出された映像フレーム毎の情報量をもとに最短距離法を適用し、もっとも情報量が多い映像フレームのグループをIフレームとし、Iフレームの間隔で頻出頻度の一番高いものを基本GoP長として、映像フレーム毎の映像フレーム種別（I,B,Pフレーム）を推定する。ただし、TSヘッダ内のRandom Access Indicator（RAI）がIフレームを構成するパケットの先頭を意味する場合、基本GoP長をRAIを用いて算出する。
【００２８】
映像フレーム毎の情報量から映像のビットレートを算出し、そのビットレートから符号化直後の映像品質を導出する。パケット損失が発生した映像フレームを判別し、損失映像フレームと映像フレーム種別から劣化の伝搬状況を加味し劣化映像フレーム長を算出する。最後に、符号化映像品質と劣化映像フレーム長から映像品質を客観的に評価するものである。
【００２９】
例えば、本実施の形態においては、インターネットのようなIPネットワーク経由で行うIPTVサービス、映像配信サービスなど映像通信における客観的な映像品質評価を実現するために、パケットを分析し、これらの映像通信に関わる映像品質に影響を与える特徴量を定量的に表した映像品質値を導出する。
【００３０】
図１は、本発明の一実施の形態における映像品質評価装置の構成を示す。
【００３１】
同図に示すように、映像品質評価装置１００は、PUSI数算出部０と、映像フレーム判別部１と、映像フレーム情報量算出部２と、Iフレーム間隔算出部３と、基本GoP長算出部４と、映像フレーム種別算出部５と、映像ビットレート算出部６と、損失映像フレーム判別部７と、劣化映像フレーム算出部８と、符号化映像品質算出部９と、映像品質算出部１０とから構成されている。Iフレーム間隔算出部３は、最短距離映像フレーム算出部３１とから構成されている。ただし、RAIがIフレームを構成する映像フレームと先頭を意味する場合、Iフレーム間隔算出部３は、ＩフレームをRAIから直接算出すればよく、最短距離映像フレーム算出部３１、基本GoP長算出部４、映像フレーム種別算出部５は動作しない。
【００３２】
PUSI数算出部０は、TTSの時間を用い単位時間当たりに送信されたPUSIの数をカウントし、映像フレームレートで除算した値から１つの映像フレームが持つPESパケットの数を決定する。
【００３３】
映像フレーム判別部１は、１つの映像フレームが構成するPESパケット数から、図３のように（図３の場合、１つの映像フレームは2つのPESパケットで構成されている）、パケットをグループ化し、映像フレームに分ける。
【００３４】
なお、上記のPUSI数算出部０、映像フレーム判別部１は映像フレーム判別装置として機能する。
【００３５】
映像フレーム情報量算出部２は、映像フレーム判別部１でグループ化されたパケット数を映像フレーム毎にカウントし、映像フレーム毎の情報量として記憶する。この際、パケット数ではなく、パケット数からビット数やバイト数としてカウントしてもよい。
【００３６】
Iフレーム間隔算出部３は、映像フレーム情報量算出部２で算出された映像フレーム毎の情報量からもっとも情報量が多い映像フレームを持つ映像フレームと同一のグループとされた映像フレームをIフレームと判定し、各Iフレームの間隔をIフレーム間隔として算出する。
【００３７】
Iフレーム間隔算出部３は、最短距離映像フレーム算出部３１を持ち、映像フレーム情報量算出部２で算出された映像フレーム毎の情報量に最短距離法を適用し、最も情報量が多い映像フレームを持つ映像フレームと同一のグループとされた映像フレームをIフレームと判定してもよい。具体的には、図４に示すように、映像のフレームレートが3fpsのとき、フレームレートである3の2倍の6映像フレームを最短距離法の入力としてグループ化する（この際、最短距離法への入力を映像フレームレートの３倍などの値としても良い）。グループ化は、I、B、Pフレームと3種類の映像フレーム種別があることから、3つのグループになるまで処理を続け、もっとも情報量が多い映像フレームと同一のグループとされた映像フレームをIフレームと判定し、各Ｉフレームの間隔を計算する。具体的には、図４の場合、最も情報量が多いフレーム番号は"６"であるため、当該"６"と同一のグループである"５"をＩフレームとする。１グループに含まれるフレーム数が３以上の場合は、Ｉフレームは、図４の例では、"５"と"６"とがＩフレームであるが、仮に、"１０"〜"１８"までが同一のグループであれば、"１０"〜"１８"は全てＩフレームになる。
【００３８】
また、Iフレーム間隔算出部３は、上述した最短距離映像フレーム算出部３１の代わりに、昇順映像フレーム算出部３２を備え、映像フレーム情報量算出部２で算出された映像フレーム毎の情報量をもとに昇順法を適用して映像フレームをクラスタリングし、最も情報量が多い映像フレームと同一のグループに分類された映像フレームすべてをIフレームと判定してもよい。
【００３９】
具体的に、昇順法によるクラスタリングの例を図５に示す。同図において、ｆは映像フレーム番号を示し、VTSfは映像フレーム毎のTS数を示す。同図における導出手順は以下の通りである。
【００４０】
１）（２×フレームレート）分の映像フレームのデータを入力する。
【００４１】
２）10映像フレーム毎に最大TS数を持つ映像フレームの番号とTS数を記憶する（但し、最大値が複数ある場合は映像フレームが小さい方を選択）。
【００４２】
３）上記２）で選択された映像フレーム対し、TS数に関し昇順に並べる。
【００４３】
４）順番に並んだTS数の除算値を計算する。
【００４４】
５）除算値が最大ところ(白抜き部分)を閾値として仮のIフレームを決める(但し、最大値が複数ある場合は、最初の最大値)。
【００４５】
６）仮のIフレームの間隔を"距離が長い方"から計算し、最も発生頻度の多いものを基本GoP長とする(但し、距離が"10以下"はカウントしない)。
【００４６】
図５の例では、映像のフレームレートが30fpsのとき、フレームレートである30の2倍の60映像フレームを昇順映像フレーム算出部の入力としていくつかのグループにクラスタリングする（この際、昇順法への入力を映像フレームレートの三倍などの値としても良い）。ただし、図面の太線がデータ入力の区切りを示している。具体的には、入力された60映像フレームに対し、10映像フレーム毎に最大の情報量を持つ映像フレームを抽出し、昇順法を適用して、情報量の大小関係に基づきデータの並び替えを実施している（本実施例では、計算量削減の観点から、10映像フレーム毎に最大の情報量を持つ映像フレームを抽出しているが、本処理を用いず、60映像フレームに対し、直接昇順法を適用しても良い）。次に、昇順に並び替えられた映像フレームに対し、除算法を用い、隣接映像フレームの情報量を除算する（図５の例では、映像フレーム番号３４の情報量を映像フレーム番号１８の情報量で除算し、他の映像フレームに対しても同様の処理をする）。得られた除算値の中で最大の除算値を閾値として、閾値を超える情報量を持つ映像フレームを仮のIフレームとする。
【００４７】
基本GoP長算出部４は、Iフレーム間隔算出部３で判定されたIフレームの間隔から各GoP長で頻出頻度の一番多いGoP長を基本GoP長とする。
【００４８】
映像フレーム種別算出部５は、基本GoP長算出部４で算出された基本GoP長と、映像フレーム情報量算出部２で算出された映像フレーム毎の情報量から映像フレーム種別（Ｉ，Ｐ，Ｂ）を判別する。非特許文献２で示されるように、具体的には、基本GoP長に２〜４の値を加えた値を探索範囲とし、探索範囲の中で最大の情報量を持つ映像フレームをIフレームとする。Iフレーム間にある映像フレームの情報量を平均し、事前に決定されている係数αを掛けた値を閾値として、映像フレーム毎の情報量が閾値以上の映像フレームはPフレーム、閾値未満のフレームはBフレームと判定する（非特許文献２図７参照）。
【００４９】
ただし、Iフレーム間隔算出部３、基本GoP長算出部４、映像フレーム種別算出部５は、RAIがIフレームの先頭のパケットであることを意味する場合、RAIに基づき、Iフレームを決定すればよく、この場合、Iフレーム間隔や基本GoP長を算出する必要なく、BやPフレームを推定する。
【００５０】
映像ビットレート算出部６は、映像フレーム情報量算出部２で算出された情報量をもとにビットレートを算出する。
【００５１】
損失映像フレーム判別部７は、映像フレーム判別部１でグループ化されたパケットの中にパケット損失があるか判別し、パケット損失がある場合は、その映像フレームを損失映像フレームと判定する。具体的には、RTP timestampの抜けやTSヘッダ内のContinuity counter（CC）の抜けから、損失パケットを検出し、その損失パケットを含む映像フレームを損失映像フレームと判定する。
【００５２】
劣化映像フレーム算出部８は、損失映像フレーム判別部７により判定された損失映像フレームと、映像フレーム種別算出部５で判定された映像フレーム種別をもとに、非特許文献２で示されるように、損失の劣化の伝搬状況を加味し、劣化映像フレーム数をカウントする（非特許文献２図３参照）。
【００５３】
符号化映像品質算出部９は、映像ビットレート算出部６で算出されたビットレート（BR）をもとに、以下の数式に基づき、符号化映像品質（VQC）を算出する。ただし、v1, v2, v3は、予め記憶されている定数とする。
【００５４】
【数１】
映像品質算出部１０は、符号化映像品質算出部９で算出された符号化映像品質（VQC）と劣化映像フレーム算出部８で算出された劣化映像フレーム数（DF）から以下の数式に基づき、映像品質を算出する。ただし、v4, v5, v6は、予め記憶されている定数とする。
【００５５】
【数２】
また、IPネットワーク経由で行うIPTVサービス、映像配信サービスなどの映像通信に関わる映像品質に影響を与えるビットレートや映像フレーム毎のビット量と映像フレーム種別を利用し、符号化映像品質（VQC）、映像品質（VQ）を導出しても良い。この、ビットレート、映像フレーム毎のビット量と映像フレーム種別を利用して、符号化映像品質（VQC）、映像品質（VQ）を導出する、符号化映像品質・映像品質算出機能の一実施形態を以下に例示する。なお、詳細は、PCT/JP2010/055203に記載されている。
【００５６】
図６は、符号化映像品質・映像品質算出機能の構成例を示し、当該符号化映像品質・映像品質算出機能は、ビットレートや映像フレーム毎のビット量と映像フレーム種別を利用して符号化映像品質（VQC）、映像品質（VQ）を導出するものである。
【００５７】
同図に示す符号化映像品質・映像品質算出機能２００では、入力パケットに含まれる符号化映像パケットを分析し、これらの映像通信に関わる映像品質に影響を与える特徴量を定量的に表した映像品質値を導出する。具体的には、符号化映像のビットレート、符号化映像の映像フレームにおける各映像フレーム種別毎のビット量、損失映像フレーム数それぞれを考慮して映像品質評価値を導出することにより、符号化映像の映像品質を推定するものである。符号化映像品質・映像品質算出機能２００は、パケット分析部２０、映像集合フレーム特性推定部２１、符号化品質推定部２２、パケット損失品質推定部２３とから構成されている。
【００５８】
パケット分析部２０は、入力されたパケットに含まれる符号化映像パケットのビットレートを導出するビットレート算出部２０１と、映像フレーム種別毎のビット量を導出するビット量算出部２０２とから構成されており、ビットレート算出部２０１によって導出されたビットレートと、ビット量算出部２０２によって導出された映像フレーム種別毎のビット量とを出力する。
【００５９】
映像集合フレーム特性推定部２１は、パケット分析部２０のビットレート算出部２０１より出力されたビットレートを入力として、フレーム種別毎のビット量の特性を示すフレーム特性を導出し、出力する。
【００６０】
符号化品質推定部２２は、パケット分析部２０のビット量算出部２０２より出力されたビットレートと映像種別毎のビット量と、映像集合フレーム特性推定部２１から出力された映像フレーム種別毎のフレーム特性とに基づいて符号化映像品質評価値(VQC)を導出する。
【００６１】
パケット損失映像品質推定部２３は、符号化品質推定部２２より算出された符号化映像品質評価値(VQC)と、パケット分析部２０より算出された映像フレーム種別毎のビット量と映像フレーム損失数を表す損失映像フレーム数と、映像集合フレーム特性推定部２１により導出される映像フレーム種別毎のフレーム特性とに基づいて、パケット損失劣化によって影響を受ける符号化映像の品質を定量的に表した映像品質評価値（VQ）を導出する。図７，８に、上記の映像フレーム毎のビット量と映像フレーム種別を利用し、符号化映像品質（VQC）、映像品質(VQ)を導出するための詳細なフローチャートを例示する。
【実施例】
【００６２】
次に、本実施の形態にかかる映像品質評価装置１００の動作について実施例により説明する。
【００６３】
図９は、本発明の一実施例における映像品質評価装置の動作のフローチャートである。
【００６４】
映像品質評価装置１００のPUSI数算出部０に、パケットが入力されるとTTSに基づき単位時間当たりのPUSI数をカウントし、カウントされたPUSIを映像フレームレートで除算し、１つの映像フレーム当たりのPUSI数（つまり、PESの数）を計算し、映像フレーム判別部１に出力する（Ｓ１００）。
【００６５】
映像フレーム判別部１に、前記１つの映像フレーム当たりのPUSI数に基づきパケットをグループ化した映像フレームが判別され、当該映像フレームが映像フレーム情報量算出部２及び損失映像フレーム判別部７に出力される（Ｓ１０１）。
【００６６】
映像フレーム情報量算出部２は、入力された映像フレームのパケット数を映像フレーム毎の情報量として計数し、Iフレーム間隔算出部３及び映像ビットレート算出部６に出力される（Ｓ１０２）。
【００６７】
Iフレーム間隔算出部３は、入力された映像フレーム毎の情報量に基づき、最短距離法を適用して、最終的に3つのグループに収束するまでクラスタリングを繰り返し、3つのグループの内、もっとも情報量が多い映像フレームを含むグループに分類された他の映像フレームをＩフレームとし、各Ｉフレームの間隔を計算し、基本GoP長算出部４へ出力する（Ｓ１０３）。
【００６８】
基本GoP長算出部４は、計算されたＩフレームの間隔の中で頻出頻度の高いものを基本GoP長とし、映像フレーム種別算出部５へ出力する（Ｓ１０４）。
【００６９】
映像フレーム種別算出部５は、基本GoP長算出部４で導出された基本ＧｏＰ長と映像フレーム情報量算出部２で算出された映像フレーム毎の情報量から映像フレーム種別を導出し、劣化映像フレーム算出部８へ出力する（Ｓ１０５）。
【００７０】
映像ビットレート算出部６は、映像フレーム情報量算出部２から入力された映像フレーム毎の情報量からビットレートを算出し、符号化映像品質算出部９へ出力される（Ｓ１０６）。
【００７１】
損失映像フレーム判別部７は、映像フレーム判別部１から入力される映像フレームにパケット損失が含まれるか否かによって、損失映像フレームを判定し、劣化映像フレーム算出部８へ出力する（Ｓ１０７）。
【００７２】
劣化映像フレーム算出部８は、損失映像フレーム判別部７より入力された損失映像フレームと、映像フレーム種別算出部５で入力された映像フレーム種別から、劣化の伝搬状況を加味し、劣化映像フレーム数をカウントし、映像品質算出部１０へ出力する（Ｓ１０８）。
【００７３】
符号化映像品質算出部９は、映像ビットレート算出部６より入力されたビットレートに基づき、符号化直後の符号化映像品質を導出し、映像品質算出部１０へ出力する（Ｓ１０９）。
【００７４】
映像品質算出部１０は、符号化映像品質算出部９から入力された符号化映像品質と、劣化映像フレーム算出部８から入力される損失映像フレームから映像品質を導出し（Ｓ１１０）、処理を終了する。
【００７５】
このように、本実施の形態によれば、受信したパケットデータのみから、映像フレームを構成するPESの数をTTSの時間に基づき算出することで、映像フレームを区切ることができ、１つの映像フレームと１つのPESパケットが一対一に対応していなくても映像フレームに基づいて映像品質を評価可能となる。
【００７６】
したがって、提供中のサービスがユーザに対してある一定以上の品質を保っているか否かを容易に判断することができ、提供中のサービスの品質実態をリアルタイムで把握・管理することが可能となる。
【００７７】
なお、上記の実施の形態における映像品質評価装置１００は、ＣＰＵ（中央演算装置）やメモリ、インターフェースからなるコンピュータにコンピュータプログラムをインストールすることによって実現され、上述した映像品質評価装置１００の各種機能は、上記コンピュータの各種ハードウェア資源と上記コンピュータプログラム（ソフトウェア）とが協働して実現される。
【００７８】
図１に示すPUSI数算出部、映像フレーム判別部から構成される映像フレーム判別装置及び、図１、図２に示す映像品質評価装置１００の構成要素の動作をプログラムとして構築し、映像フレーム判別装置、映像品質評価装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。
【００７９】
さらに、構築されたプログラムをハードディスクや、フレキシブルディスク・ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。
【００８０】
なお、本発明は、上記の実施の形態や実施例に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【産業上の利用可能性】
【００８１】
ＩＰネットワーク経由で行うIPTVサービス、映像配信サービスなどの映像通信の映像品質評価値を推定する映像品質推定装置に利用できる。
【符号の説明】
【００８２】
０ PUSI数算出部
１ 映像フレーム判別部
２ 映像フレーム情報量算出部
３ Iフレーム間隔算出部
４ 基本GoP長算出部
５ 映像フレーム種別算出部
６ 映像ビットレート算出部
７ 損失映像フレーム判別部
８ 劣化映像フレーム算出部
９ 符号化映像品質算出部
１０ 映像品質算出部
２０ パケット分析部
２１ 映像集合フレーム特性推定部
２２ 符号化品質推定部
２３ パケット損失品質推定部
３１ 最短距離映像フレーム算出部
３２ 昇順映像フレーム算出部
１００ 映像品質推定装置
２００ 符号化映像品質・映像品質算出機能
２０１ ビットレート算出部
２０２ ビット量算出部
【技術分野】
【０００１】
本発明は、Timestamped TS（TTS：TSヘッダ(188バイト固定長のTS(Transport Stream)パケットの先頭4バイト)にタイムスタンプ情報を付加して合計192バイトのパケットにしたTS）を用いた映像フレーム判別装置および方法およびプログラム、及びTTSを用いて判別した映像フレームを用いた映像品質推定装置及び方法及びプログラムに係り、特に、インターネットのようなIP(Internet Protocol)ネットワーク経由で行うＩＰＴＶサービス、映像配信サービスにおける映像の品質を客観的に評価するための、TTSを用いた映像フレーム判別装置および方法およびプログラム、及びTTSを用いて判別した映像フレームを用いた映像品質推定装置及び方法及びプログラムに関する。
【背景技術】
【０００２】
インターネットは、必ずしも通信品質が保証されていないネットワークであるため、音声及び映像メディアなどを用いて通信を行う場合、ユーザ端末間のネットワークの回線帯域が狭いことによるビットレートの低下、回線が輻輳することでパケット損失やパケット転送遅延が発生し、音声や映像メディアなどに対してユーザが知覚する品質（ユーザ体感品質：QoE（Quality of Experience））が劣化してしまう。
【０００３】
具体的には、原映像を符号化する場合、フレーム内の映像信号にブロック単位の処理による劣化が生じたり、映像信号の高周波成分が失われることにより、映像全体の精細感が低くなる。また、ネットワークを介し、符号化された映像データをパケットとしてユーザ端末に送信する際、パケット損失や廃棄が発生すると、フレーム内に劣化が生じ、映像全体の品質が低くなる。
【０００４】
結果として、ユーザは受信した映像に、ぼけ、にじみ、やモザイク状の歪みを知覚する。
【０００５】
上記のような映像通信サービスを良好な品質で提供していることを確認するためには、サービス提供中に、ユーザが体感する映像の品質を測定し、ユーザに対して提供される映像の品質が高いことを監視することが重要となる。
【０００６】
したがって、ユーザが体感する映像の品質を適切に表現することができる映像品質客観評価技術が必要とされている。
【０００７】
従来、映像品質を評価する手法として、主観品質評価法（例えば、非特許文献１参照）や客観品質評価法（例えば、非特許文献２参照）がある。
【０００８】
主観品質評価法は、複数のユーザが実際に映像を視聴し、体感した品質を５段階（９段階や１１段階の場合もある）の品質尺度（非常に良い、良い、ふつう、悪い、非常に悪い）や妨害尺度（劣化が全く認められない、劣化が認められるが気にならない、劣化がわずかに気になる、劣化が気になる、劣化が非常に気になる）などにより評価し、全ユーザ数で各映像（例えば、パケット損失率０％でビットレートが２０Mbpsの映像）の品質評価値を平均し、その値をMOS（Mean Opinion Score）値やDMOS（Degradation Mean Opinion Score）値として定義している。
【０００９】
しかしながら、主観品質評価は、特別な専用機材（モニタなど）や評価環境（室内照度や室内騒音など）を調整可能な評価施設を必要とするだけではなく、多数のユーザが実際に映像を評価する必要がある。そのため、ユーザが実際に評価を完了するまでに時間がかかってしまい、品質をリアルタイムに評価する場合には不向きである。
【００１０】
そこで、映像品質に影響を与える特徴量（例えば、ビットレートやフレーム単位のビット量、パケット損失情報など）を利用し、映像品質評価値を出力する客観品質評価法の開発が望まれている。
【００１１】
従来の客観品質評価法の１つに、送信されたパケットとサービス提供者などから得たGoP（Group of Picture）の設定値を入力とし、映像フレームのビット量から映像フレーム種別（I、B、Pフレーム）を推定し、パケット損失により損失した映像フレームがどの程度、劣化が伝搬するか考慮し、映像品質評価値を導出する技術がある（例えば、非特許文献２参照）。
【００１２】
従来の客観品質評価法の多くは、上記のように、パケットを用いて映像品質評価値を推定するものであった。
【先行技術文献】
【非特許文献】
【００１３】
【非特許文献１】ITU-T勧告P.910
【非特許文献２】牛木、増田、林、高橋、"フレーム種別推定を用いたパケットレイヤ映像品質推定法、" 電子情報通信学会論文誌 B Vol.J94-B, No.1, pp.36-48.
【発明の概要】
【発明が解決しようとする課題】
【００１４】
しかしながら、非特許文献２の技術は、前述のように、映像フレームの区切りを示す情報（例えば、PUSI）と映像フレームが一対一に対応していないと映像フレームを抽出できないといった問題がある。
【００１５】
本発明は、上記の点に鑑みなされたもので、上述の問題を解決すべく、Timestamped TS（TTS）の時間とPUSIの個数から、映像フレームの区切りを判別し、さらに、このようにTSSを用いて判別した映像フレームを用いて映像品質を推定する。具体的には、単位時間当たりに、PUSIが何個送信されたかという情報と、映像フレームレートの値から何個のPUSIから映像フレームが構成されているかを算出し、個々の映像フレームを判別するTSSを用いた映像フレーム判別装置および方法およびプログラムと、このようにTSSを用いて判別された映像フレームを用いて映像品質評価値を推定するTTSを用いて判別した映像フレームを用いた映像品質推定装置及び方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１６】
上記の課題を解決するために、本発明（請求項１）は、TTSを用いて映像フレームを判別するための映像フレーム判別装置であって、
入力されたパケットに示されるTTSの時間情報と映像フレームレート、PES(Packetized Elementary System)パケットが含まれることを意味するPUSI(Payload Unit Start Indicator)をもとに、単位時間内のPUSIの数を算出し、映像フレームレートで除算した値を、１つの映像フレームが持つPUSIの数とするPUSI数算出手段と、
前記１つの映像フレームが持つPUSIの数に基づいて、映像フレームを判別し、判別した映像フレーム毎にパケットをグループ化する映像フレーム判別手段と、
を有することを特徴とする。
【００１７】
さらに、本発明（請求項２）は、TTSを用いて判別した映像フレームを用いて映像品質を評価するための映像品質推定装置であって、
入力されたパケットに示されるTTSの時間情報と映像フレームレート、PESパケットが含まれることを意味するPUSIをもとに、単位時間内のPUSIの数を算出し、映像フレームレートで除算した値を、１つの映像フレームが持つPUSIの数とするPUSI数算出手段と、
前記１つの映像フレームが持つPUSIの数に基づいて、映像フレームを判別し、判別した映像フレーム毎にパケットをグループ化する映像フレーム判別手段と、
前記映像フレーム判別手段により判別された映像フレーム毎の映像フレームの情報量を算出し、該情報量から算出された映像のビットレートにより求められた映像品質とパケット損失が発生した損失映像フレームのフレーム長から映像品質を評価する映像品質評価手段とを有し、
前記映像品質評価手段は、
前記映像フレーム判別手段により判別された映像フレーム毎の映像フレーム情報量を導出する映像フレーム情報量算出手段と、
TSパケットに含まれているRAI(Random Access Indicator)がＩフレームの先頭パケットである場合は、全映像フレームの映像フレーム種別として、Ｂフレーム、Ｐフレームを算出する第１の映像フレーム種別算出手段と、
前記映像フレーム情報量算出手段で導出された前記映像フレーム毎の映像フレーム情報量から映像のビットレートを算出する映像ビットレート算出手段と、
前記映像フレーム判別手段で判別された映像フレームにパケット損失が含まれるか判別する損失映像フレーム判別手段と、
前記映像フレーム種別算出手段で算出された前記映像フレーム種別と前記損失映像フレーム判別手段で判別された損失映像フレームから損失の影響がどの程度伝搬するか判別する劣化映像フレーム算出手段と、
前記映像ビットレート算出手段で算出された前記映像のビットレートを用いて映像符号化に関する映像品質を算出する符号化映像品質算出手段と、
前記符号化映像品質算出手段で算出された符号化映像品質と前記劣化映像フレーム算出手段で算出された劣化映像フレームから映像品質を算出する映像品質算出手段と、
を備えることを特徴とする。
【００１８】
さらに、本発明（請求項３）は、TTSを用いて判別した映像フレームを用いて映像品質を評価するための映像品質推定装置であって、
入力されたパケットに示されるTTSの時間情報と映像フレームレート、PESパケットが含まれることを意味するPUSIをもとに、単位時間内のPUSIの数を算出し、映像フレームレートで除算した値を、１つの映像フレームが持つPUSIの数とするPUSI数算出手段と、
前記１つの映像フレームが持つPUSIの数に基づいて、映像フレームを判別し、判別した映像フレーム毎にパケットをグループ化する映像フレーム判別手段と、
前記映像フレーム判別手段により判別された映像フレーム毎の映像フレームの情報量を算出し、該情報量から算出された映像のビットレートにより求められた映像品質とパケット損失が発生した損失映像フレームのフレーム長から映像品質を評価する映像品質評価手段とを有し、
前記映像品質評価手段は、
前記映像フレーム判別手段により判別された映像フレーム毎の映像フレーム情報量を導出する映像フレーム情報量算出手段と、
TSパケットに含まれているRAIがＩフレームの先頭パケットでない場合は、前記映像フレーム情報量算出手段で導出された前記映像フレーム毎の映像フレーム情報量からIフレーム毎の映像フレームの間隔を導出するIフレーム間隔算出手段と、
前記Iフレーム間隔算出手段で導出されたIフレーム間隔の集合から品質測定区間の発生頻度の最も高いIフレーム間隔を基本GoP（Group of Picture）長として算出する基本GoP長算出手段と、
前記基本GoP長算出手段で導出された前記基本GoP長をもとに、全映像フレームの映像フレーム種別（I、B、Pフレーム）を算出する第２の映像フレーム種別算出手段と、
前記映像フレーム情報量算出手段で導出された前記映像フレーム毎の映像フレーム情報量から映像のビットレートを算出する映像ビットレート算出手段と、
前記映像フレーム判別手段で判別された映像フレームにパケット損失が含まれるか判別する損失映像フレーム判別手段と、
前記映像フレーム種別算出手段で算出された前記映像フレーム種別と前記損失映像フレーム判別手段で判別された損失映像フレームから損失の影響がどの程度伝搬するか判別する劣化映像フレーム算出手段と、
前記映像ビットレート算出手段で算出された前記映像のビットレートを用いて映像符号化に関する映像品質を算出する符号化映像品質算出手段と、
前記符号化映像品質算出手段で算出された符号化映像品質と前記劣化映像フレーム算出手段で算出された劣化映像フレームから映像品質を算出する映像品質算出手段と、
を備えることを特徴とする。
【発明の効果】
【００１９】
従来、映像パケットをパケット化する際、多くの国では1つのPESに1つの映像フレームを割り当て、サービスを提供してきた（つまり、１つの映像フレームに１つのPUSIが割り振られていた）。しかしながら、パケット化の多様化により、1つの映像フレームを複数のPESパケットでパケット化するサービスが現れ、PUSIから映像フレームの区切りを判別することができない。
【００２０】
これに対し、本発明の映像フレーム判別装置によれば、受信したパケットのTTSの時間と映像フレームレートから、１つの映像フレームにいくつのPUSIが含まれるかを算出することができるため、PUSIと映像フレームが１対１に対応していなくとも、従来と同様に、各映像フレームがどのパケットからどのパケットまでか知ることができ、各映像フレームを判別することができる。
【００２１】
また、本発明の映像フレーム品質推定装置によれば、上記の映像フレーム判別装置により、PUSIと映像フレームが１対１に対応していなくとも映像フレームを判別し、抽出でき、当該映像フレームを用いた映像品質評価が可能となる。
【００２２】
したがって、本発明によりユーザが実際に視聴する映像通信サービスの映像について映像品質値を監視可能となるため、提供中のサービスがユーザに対してある一定以上の品質を保っているか否かを容易に判断することができる。
【００２３】
このため、提供中のサービスの品質実態について、従来技術で映像品質評価ができなかった点を改善することが可能となる。
【図面の簡単な説明】
【００２４】
【図１】本発明の一実施の形態における映像品質推定装置の構成図である。
【図２】本発明の一実施の形態におけるIフレーム間隔算出部の構成図である。
【図３】本発明の一実施の形態における映像フレーム判別部でのパケットのグループ化の例である。
【図４】本発明の一実施の形態におけるＩフレーム間隔算出部のＩフレーム間隔算出の例である。
【図５】本発明の一実施の形態における映像フレームのクラスタリングの例である。
【図６】符号化映像品質・映像品質算出機能の構成例である。
【図７】符号化映像品質・映像品質算出処理のフローチャート（その１）である。
【図８】符号化映像品質・映像品質算出処理のフローチャート（その２）である。
【図９】本発明の一実施例における映像品質推定装置の動作のフローチャートである。
【発明を実施するための形態】
【００２５】
以下図面と共に、本発明の実施の形態を説明する。
【００２６】
本発明の本実施の形態にかかる映像品質評価装置は、入力パケット内に示されるTTSの時間情報と映像フレームレート、PESパケットが含まれることを意味するPUSIをもとに、単位時間内のPUSIの数を算出し、映像フレームレートで除算した値を、１つの映像フレームが持つPUSIの数とし、映像フレームを判別し、判別された映像フレームの情報量（ビット量やパケット数）を算出する。
【００２７】
算出された映像フレーム毎の情報量をもとに最短距離法を適用し、もっとも情報量が多い映像フレームのグループをIフレームとし、Iフレームの間隔で頻出頻度の一番高いものを基本GoP長として、映像フレーム毎の映像フレーム種別（I,B,Pフレーム）を推定する。ただし、TSヘッダ内のRandom Access Indicator（RAI）がIフレームを構成するパケットの先頭を意味する場合、基本GoP長をRAIを用いて算出する。
【００２８】
映像フレーム毎の情報量から映像のビットレートを算出し、そのビットレートから符号化直後の映像品質を導出する。パケット損失が発生した映像フレームを判別し、損失映像フレームと映像フレーム種別から劣化の伝搬状況を加味し劣化映像フレーム長を算出する。最後に、符号化映像品質と劣化映像フレーム長から映像品質を客観的に評価するものである。
【００２９】
例えば、本実施の形態においては、インターネットのようなIPネットワーク経由で行うIPTVサービス、映像配信サービスなど映像通信における客観的な映像品質評価を実現するために、パケットを分析し、これらの映像通信に関わる映像品質に影響を与える特徴量を定量的に表した映像品質値を導出する。
【００３０】
図１は、本発明の一実施の形態における映像品質評価装置の構成を示す。
【００３１】
同図に示すように、映像品質評価装置１００は、PUSI数算出部０と、映像フレーム判別部１と、映像フレーム情報量算出部２と、Iフレーム間隔算出部３と、基本GoP長算出部４と、映像フレーム種別算出部５と、映像ビットレート算出部６と、損失映像フレーム判別部７と、劣化映像フレーム算出部８と、符号化映像品質算出部９と、映像品質算出部１０とから構成されている。Iフレーム間隔算出部３は、最短距離映像フレーム算出部３１とから構成されている。ただし、RAIがIフレームを構成する映像フレームと先頭を意味する場合、Iフレーム間隔算出部３は、ＩフレームをRAIから直接算出すればよく、最短距離映像フレーム算出部３１、基本GoP長算出部４、映像フレーム種別算出部５は動作しない。
【００３２】
PUSI数算出部０は、TTSの時間を用い単位時間当たりに送信されたPUSIの数をカウントし、映像フレームレートで除算した値から１つの映像フレームが持つPESパケットの数を決定する。
【００３３】
映像フレーム判別部１は、１つの映像フレームが構成するPESパケット数から、図３のように（図３の場合、１つの映像フレームは2つのPESパケットで構成されている）、パケットをグループ化し、映像フレームに分ける。
【００３４】
なお、上記のPUSI数算出部０、映像フレーム判別部１は映像フレーム判別装置として機能する。
【００３５】
映像フレーム情報量算出部２は、映像フレーム判別部１でグループ化されたパケット数を映像フレーム毎にカウントし、映像フレーム毎の情報量として記憶する。この際、パケット数ではなく、パケット数からビット数やバイト数としてカウントしてもよい。
【００３６】
Iフレーム間隔算出部３は、映像フレーム情報量算出部２で算出された映像フレーム毎の情報量からもっとも情報量が多い映像フレームを持つ映像フレームと同一のグループとされた映像フレームをIフレームと判定し、各Iフレームの間隔をIフレーム間隔として算出する。
【００３７】
Iフレーム間隔算出部３は、最短距離映像フレーム算出部３１を持ち、映像フレーム情報量算出部２で算出された映像フレーム毎の情報量に最短距離法を適用し、最も情報量が多い映像フレームを持つ映像フレームと同一のグループとされた映像フレームをIフレームと判定してもよい。具体的には、図４に示すように、映像のフレームレートが3fpsのとき、フレームレートである3の2倍の6映像フレームを最短距離法の入力としてグループ化する（この際、最短距離法への入力を映像フレームレートの３倍などの値としても良い）。グループ化は、I、B、Pフレームと3種類の映像フレーム種別があることから、3つのグループになるまで処理を続け、もっとも情報量が多い映像フレームと同一のグループとされた映像フレームをIフレームと判定し、各Ｉフレームの間隔を計算する。具体的には、図４の場合、最も情報量が多いフレーム番号は"６"であるため、当該"６"と同一のグループである"５"をＩフレームとする。１グループに含まれるフレーム数が３以上の場合は、Ｉフレームは、図４の例では、"５"と"６"とがＩフレームであるが、仮に、"１０"〜"１８"までが同一のグループであれば、"１０"〜"１８"は全てＩフレームになる。
【００３８】
また、Iフレーム間隔算出部３は、上述した最短距離映像フレーム算出部３１の代わりに、昇順映像フレーム算出部３２を備え、映像フレーム情報量算出部２で算出された映像フレーム毎の情報量をもとに昇順法を適用して映像フレームをクラスタリングし、最も情報量が多い映像フレームと同一のグループに分類された映像フレームすべてをIフレームと判定してもよい。
【００３９】
具体的に、昇順法によるクラスタリングの例を図５に示す。同図において、ｆは映像フレーム番号を示し、VTSfは映像フレーム毎のTS数を示す。同図における導出手順は以下の通りである。
【００４０】
１）（２×フレームレート）分の映像フレームのデータを入力する。
【００４１】
２）10映像フレーム毎に最大TS数を持つ映像フレームの番号とTS数を記憶する（但し、最大値が複数ある場合は映像フレームが小さい方を選択）。
【００４２】
３）上記２）で選択された映像フレーム対し、TS数に関し昇順に並べる。
【００４３】
４）順番に並んだTS数の除算値を計算する。
【００４４】
５）除算値が最大ところ(白抜き部分)を閾値として仮のIフレームを決める(但し、最大値が複数ある場合は、最初の最大値)。
【００４５】
６）仮のIフレームの間隔を"距離が長い方"から計算し、最も発生頻度の多いものを基本GoP長とする(但し、距離が"10以下"はカウントしない)。
【００４６】
図５の例では、映像のフレームレートが30fpsのとき、フレームレートである30の2倍の60映像フレームを昇順映像フレーム算出部の入力としていくつかのグループにクラスタリングする（この際、昇順法への入力を映像フレームレートの三倍などの値としても良い）。ただし、図面の太線がデータ入力の区切りを示している。具体的には、入力された60映像フレームに対し、10映像フレーム毎に最大の情報量を持つ映像フレームを抽出し、昇順法を適用して、情報量の大小関係に基づきデータの並び替えを実施している（本実施例では、計算量削減の観点から、10映像フレーム毎に最大の情報量を持つ映像フレームを抽出しているが、本処理を用いず、60映像フレームに対し、直接昇順法を適用しても良い）。次に、昇順に並び替えられた映像フレームに対し、除算法を用い、隣接映像フレームの情報量を除算する（図５の例では、映像フレーム番号３４の情報量を映像フレーム番号１８の情報量で除算し、他の映像フレームに対しても同様の処理をする）。得られた除算値の中で最大の除算値を閾値として、閾値を超える情報量を持つ映像フレームを仮のIフレームとする。
【００４７】
基本GoP長算出部４は、Iフレーム間隔算出部３で判定されたIフレームの間隔から各GoP長で頻出頻度の一番多いGoP長を基本GoP長とする。
【００４８】
映像フレーム種別算出部５は、基本GoP長算出部４で算出された基本GoP長と、映像フレーム情報量算出部２で算出された映像フレーム毎の情報量から映像フレーム種別（Ｉ，Ｐ，Ｂ）を判別する。非特許文献２で示されるように、具体的には、基本GoP長に２〜４の値を加えた値を探索範囲とし、探索範囲の中で最大の情報量を持つ映像フレームをIフレームとする。Iフレーム間にある映像フレームの情報量を平均し、事前に決定されている係数αを掛けた値を閾値として、映像フレーム毎の情報量が閾値以上の映像フレームはPフレーム、閾値未満のフレームはBフレームと判定する（非特許文献２図７参照）。
【００４９】
ただし、Iフレーム間隔算出部３、基本GoP長算出部４、映像フレーム種別算出部５は、RAIがIフレームの先頭のパケットであることを意味する場合、RAIに基づき、Iフレームを決定すればよく、この場合、Iフレーム間隔や基本GoP長を算出する必要なく、BやPフレームを推定する。
【００５０】
映像ビットレート算出部６は、映像フレーム情報量算出部２で算出された情報量をもとにビットレートを算出する。
【００５１】
損失映像フレーム判別部７は、映像フレーム判別部１でグループ化されたパケットの中にパケット損失があるか判別し、パケット損失がある場合は、その映像フレームを損失映像フレームと判定する。具体的には、RTP timestampの抜けやTSヘッダ内のContinuity counter（CC）の抜けから、損失パケットを検出し、その損失パケットを含む映像フレームを損失映像フレームと判定する。
【００５２】
劣化映像フレーム算出部８は、損失映像フレーム判別部７により判定された損失映像フレームと、映像フレーム種別算出部５で判定された映像フレーム種別をもとに、非特許文献２で示されるように、損失の劣化の伝搬状況を加味し、劣化映像フレーム数をカウントする（非特許文献２図３参照）。
【００５３】
符号化映像品質算出部９は、映像ビットレート算出部６で算出されたビットレート（BR）をもとに、以下の数式に基づき、符号化映像品質（VQC）を算出する。ただし、v1, v2, v3は、予め記憶されている定数とする。
【００５４】
【数１】
映像品質算出部１０は、符号化映像品質算出部９で算出された符号化映像品質（VQC）と劣化映像フレーム算出部８で算出された劣化映像フレーム数（DF）から以下の数式に基づき、映像品質を算出する。ただし、v4, v5, v6は、予め記憶されている定数とする。
【００５５】
【数２】
また、IPネットワーク経由で行うIPTVサービス、映像配信サービスなどの映像通信に関わる映像品質に影響を与えるビットレートや映像フレーム毎のビット量と映像フレーム種別を利用し、符号化映像品質（VQC）、映像品質（VQ）を導出しても良い。この、ビットレート、映像フレーム毎のビット量と映像フレーム種別を利用して、符号化映像品質（VQC）、映像品質（VQ）を導出する、符号化映像品質・映像品質算出機能の一実施形態を以下に例示する。なお、詳細は、PCT/JP2010/055203に記載されている。
【００５６】
図６は、符号化映像品質・映像品質算出機能の構成例を示し、当該符号化映像品質・映像品質算出機能は、ビットレートや映像フレーム毎のビット量と映像フレーム種別を利用して符号化映像品質（VQC）、映像品質（VQ）を導出するものである。
【００５７】
同図に示す符号化映像品質・映像品質算出機能２００では、入力パケットに含まれる符号化映像パケットを分析し、これらの映像通信に関わる映像品質に影響を与える特徴量を定量的に表した映像品質値を導出する。具体的には、符号化映像のビットレート、符号化映像の映像フレームにおける各映像フレーム種別毎のビット量、損失映像フレーム数それぞれを考慮して映像品質評価値を導出することにより、符号化映像の映像品質を推定するものである。符号化映像品質・映像品質算出機能２００は、パケット分析部２０、映像集合フレーム特性推定部２１、符号化品質推定部２２、パケット損失品質推定部２３とから構成されている。
【００５８】
パケット分析部２０は、入力されたパケットに含まれる符号化映像パケットのビットレートを導出するビットレート算出部２０１と、映像フレーム種別毎のビット量を導出するビット量算出部２０２とから構成されており、ビットレート算出部２０１によって導出されたビットレートと、ビット量算出部２０２によって導出された映像フレーム種別毎のビット量とを出力する。
【００５９】
映像集合フレーム特性推定部２１は、パケット分析部２０のビットレート算出部２０１より出力されたビットレートを入力として、フレーム種別毎のビット量の特性を示すフレーム特性を導出し、出力する。
【００６０】
符号化品質推定部２２は、パケット分析部２０のビット量算出部２０２より出力されたビットレートと映像種別毎のビット量と、映像集合フレーム特性推定部２１から出力された映像フレーム種別毎のフレーム特性とに基づいて符号化映像品質評価値(VQC)を導出する。
【００６１】
パケット損失映像品質推定部２３は、符号化品質推定部２２より算出された符号化映像品質評価値(VQC)と、パケット分析部２０より算出された映像フレーム種別毎のビット量と映像フレーム損失数を表す損失映像フレーム数と、映像集合フレーム特性推定部２１により導出される映像フレーム種別毎のフレーム特性とに基づいて、パケット損失劣化によって影響を受ける符号化映像の品質を定量的に表した映像品質評価値（VQ）を導出する。図７，８に、上記の映像フレーム毎のビット量と映像フレーム種別を利用し、符号化映像品質（VQC）、映像品質(VQ)を導出するための詳細なフローチャートを例示する。
【実施例】
【００６２】
次に、本実施の形態にかかる映像品質評価装置１００の動作について実施例により説明する。
【００６３】
図９は、本発明の一実施例における映像品質評価装置の動作のフローチャートである。
【００６４】
映像品質評価装置１００のPUSI数算出部０に、パケットが入力されるとTTSに基づき単位時間当たりのPUSI数をカウントし、カウントされたPUSIを映像フレームレートで除算し、１つの映像フレーム当たりのPUSI数（つまり、PESの数）を計算し、映像フレーム判別部１に出力する（Ｓ１００）。
【００６５】
映像フレーム判別部１に、前記１つの映像フレーム当たりのPUSI数に基づきパケットをグループ化した映像フレームが判別され、当該映像フレームが映像フレーム情報量算出部２及び損失映像フレーム判別部７に出力される（Ｓ１０１）。
【００６６】
映像フレーム情報量算出部２は、入力された映像フレームのパケット数を映像フレーム毎の情報量として計数し、Iフレーム間隔算出部３及び映像ビットレート算出部６に出力される（Ｓ１０２）。
【００６７】
Iフレーム間隔算出部３は、入力された映像フレーム毎の情報量に基づき、最短距離法を適用して、最終的に3つのグループに収束するまでクラスタリングを繰り返し、3つのグループの内、もっとも情報量が多い映像フレームを含むグループに分類された他の映像フレームをＩフレームとし、各Ｉフレームの間隔を計算し、基本GoP長算出部４へ出力する（Ｓ１０３）。
【００６８】
基本GoP長算出部４は、計算されたＩフレームの間隔の中で頻出頻度の高いものを基本GoP長とし、映像フレーム種別算出部５へ出力する（Ｓ１０４）。
【００６９】
映像フレーム種別算出部５は、基本GoP長算出部４で導出された基本ＧｏＰ長と映像フレーム情報量算出部２で算出された映像フレーム毎の情報量から映像フレーム種別を導出し、劣化映像フレーム算出部８へ出力する（Ｓ１０５）。
【００７０】
映像ビットレート算出部６は、映像フレーム情報量算出部２から入力された映像フレーム毎の情報量からビットレートを算出し、符号化映像品質算出部９へ出力される（Ｓ１０６）。
【００７１】
損失映像フレーム判別部７は、映像フレーム判別部１から入力される映像フレームにパケット損失が含まれるか否かによって、損失映像フレームを判定し、劣化映像フレーム算出部８へ出力する（Ｓ１０７）。
【００７２】
劣化映像フレーム算出部８は、損失映像フレーム判別部７より入力された損失映像フレームと、映像フレーム種別算出部５で入力された映像フレーム種別から、劣化の伝搬状況を加味し、劣化映像フレーム数をカウントし、映像品質算出部１０へ出力する（Ｓ１０８）。
【００７３】
符号化映像品質算出部９は、映像ビットレート算出部６より入力されたビットレートに基づき、符号化直後の符号化映像品質を導出し、映像品質算出部１０へ出力する（Ｓ１０９）。
【００７４】
映像品質算出部１０は、符号化映像品質算出部９から入力された符号化映像品質と、劣化映像フレーム算出部８から入力される損失映像フレームから映像品質を導出し（Ｓ１１０）、処理を終了する。
【００７５】
このように、本実施の形態によれば、受信したパケットデータのみから、映像フレームを構成するPESの数をTTSの時間に基づき算出することで、映像フレームを区切ることができ、１つの映像フレームと１つのPESパケットが一対一に対応していなくても映像フレームに基づいて映像品質を評価可能となる。
【００７６】
したがって、提供中のサービスがユーザに対してある一定以上の品質を保っているか否かを容易に判断することができ、提供中のサービスの品質実態をリアルタイムで把握・管理することが可能となる。
【００７７】
なお、上記の実施の形態における映像品質評価装置１００は、ＣＰＵ（中央演算装置）やメモリ、インターフェースからなるコンピュータにコンピュータプログラムをインストールすることによって実現され、上述した映像品質評価装置１００の各種機能は、上記コンピュータの各種ハードウェア資源と上記コンピュータプログラム（ソフトウェア）とが協働して実現される。
【００７８】
図１に示すPUSI数算出部、映像フレーム判別部から構成される映像フレーム判別装置及び、図１、図２に示す映像品質評価装置１００の構成要素の動作をプログラムとして構築し、映像フレーム判別装置、映像品質評価装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。
【００７９】
さらに、構築されたプログラムをハードディスクや、フレキシブルディスク・ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。
【００８０】
なお、本発明は、上記の実施の形態や実施例に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【産業上の利用可能性】
【００８１】
ＩＰネットワーク経由で行うIPTVサービス、映像配信サービスなどの映像通信の映像品質評価値を推定する映像品質推定装置に利用できる。
【符号の説明】
【００８２】
０ PUSI数算出部
１ 映像フレーム判別部
２ 映像フレーム情報量算出部
３ Iフレーム間隔算出部
４ 基本GoP長算出部
５ 映像フレーム種別算出部
６ 映像ビットレート算出部
７ 損失映像フレーム判別部
８ 劣化映像フレーム算出部
９ 符号化映像品質算出部
１０ 映像品質算出部
２０ パケット分析部
２１ 映像集合フレーム特性推定部
２２ 符号化品質推定部
２３ パケット損失品質推定部
３１ 最短距離映像フレーム算出部
３２ 昇順映像フレーム算出部
１００ 映像品質推定装置
２００ 符号化映像品質・映像品質算出機能
２０１ ビットレート算出部
２０２ ビット量算出部
【特許請求の範囲】
【請求項１】
Timestamped TS(TTS)を用いて映像フレームを判別するための映像フレーム判別装置であって、
入力されたパケットに示されるTTSの時間情報と映像フレームレート、PES(Packetized Elementary System)パケットが含まれることを意味するPUSI(Payload Unit Start Indicator)をもとに、単位時間内のPUSIの数を算出し、映像フレームレートで除算した値を、１つの映像フレームが持つPUSIの数とするPUSI数算出手段と、
前記１つの映像フレームが持つPUSIの数に基づいて、映像フレームを判別し、判別した映像フレーム毎にパケットをグループ化する映像フレーム判別手段と、
を有することを特徴とするTTSを用いた映像フレーム判別装置。
【請求項２】
TTSを用いて判別した映像フレームを用いて映像品質を評価するための映像品質推定装置であって、
入力されたパケットに示されるTTSの時間情報と映像フレームレート、PESパケットが含まれることを意味するPUSIをもとに、単位時間内のPUSIの数を算出し、映像フレームレートで除算した値を、１つの映像フレームが持つPUSIの数とするPUSI数算出手段と、
前記１つの映像フレームが持つPUSIの数に基づいて、映像フレームを判別し、判別した映像フレーム毎にパケットをグループ化する映像フレーム判別手段と、
前記映像フレーム判別手段により判別された映像フレーム毎の映像フレームの情報量を算出し、該情報量から算出された映像のビットレートにより求められた映像品質とパケット損失が発生した損失映像フレームのフレーム長から映像品質を評価する映像品質評価手段とを有し、
前記映像品質評価手段は、
前記映像フレーム判別手段により判別された映像フレーム毎の映像フレーム情報量を導出する映像フレーム情報量算出手段と、
TSパケットに含まれているRAI(Random Access Indicator)がＩフレームの先頭パケットである場合は、全映像フレームの映像フレーム種別として、Ｂフレーム、Ｐフレームを算出する第１の映像フレーム種別算出手段と、
前記映像フレーム情報量算出手段で導出された前記映像フレーム毎の映像フレーム情報量から映像のビットレートを算出する映像ビットレート算出手段と、
前記映像フレーム判別手段で判別された映像フレームにパケット損失が含まれるか判別する損失映像フレーム判別手段と、
前記映像フレーム種別算出手段で算出された前記映像フレーム種別と前記損失映像フレーム判別手段で判別された損失映像フレームから損失の影響がどの程度伝搬するか判別する劣化映像フレーム算出手段と、
前記映像ビットレート算出手段で算出された前記映像のビットレートを用いて映像符号化に関する映像品質を算出する符号化映像品質算出手段と、
前記符号化映像品質算出手段で算出された符号化映像品質と前記劣化映像フレーム算出手段で算出された劣化映像フレームから映像品質を算出する映像品質算出手段と、
を備えることを特徴とするTTSを用いて判別した映像フレームを用いた映像品質推定装置。
【請求項３】
TTSを用いて判別した映像フレームを用いて映像品質を評価するための映像品質推定装置であって、
入力されたパケットに示されるTTSの時間情報と映像フレームレート、PESパケットが含まれることを意味するPUSIをもとに、単位時間内のPUSIの数を算出し、映像フレームレートで除算した値を、１つの映像フレームが持つPUSIの数とするPUSI数算出手段と、
前記１つの映像フレームが持つPUSIの数に基づいて、映像フレームを判別し、判別した映像フレーム毎にパケットをグループ化する映像フレーム判別手段と、
前記映像フレーム判別手段により判別された映像フレーム毎の映像フレームの情報量を算出し、該情報量から算出された映像のビットレートにより求められた映像品質とパケット損失が発生した損失映像フレームのフレーム長から映像品質を評価する映像品質評価手段とを有し、
前記映像品質評価手段は、
前記映像フレーム判別手段により判別された映像フレーム毎の映像フレーム情報量を導出する映像フレーム情報量算出手段と、
TSパケットに含まれているRAIがＩフレームの先頭パケットでない場合は、前記映像フレーム情報量算出手段で導出された前記映像フレーム毎の映像フレーム情報量からIフレーム毎の映像フレームの間隔を導出するIフレーム間隔算出手段と、
前記Iフレーム間隔算出手段で導出されたIフレーム間隔の集合から品質測定区間の発生頻度の最も高いIフレーム間隔を基本GoP（Group of Picture）長として算出する基本GoP長算出手段と、
前記基本GoP長算出手段で導出された前記基本GoP長をもとに、全映像フレームの映像フレーム種別（I、B、Pフレーム）を算出する第２の映像フレーム種別算出手段と、
前記映像フレーム情報量算出手段で導出された前記映像フレーム毎の映像フレーム情報量から映像のビットレートを算出する映像ビットレート算出手段と、
前記映像フレーム判別手段で判別された映像フレームにパケット損失が含まれるか判別する損失映像フレーム判別手段と、
前記映像フレーム種別算出手段で算出された前記映像フレーム種別と前記損失映像フレーム判別手段で判別された損失映像フレームから損失の影響がどの程度伝搬するか判別する劣化映像フレーム算出手段と、
前記映像ビットレート算出手段で算出された前記映像のビットレートを用いて映像符号化に関する映像品質を算出する符号化映像品質算出手段と、
前記符号化映像品質算出手段で算出された符号化映像品質と前記劣化映像フレーム算出手段で算出された劣化映像フレームから映像品質を算出する映像品質算出手段と、
を備えることを特徴とするTTSを用いて判別した映像フレームを用いた映像品質推定装置。
【請求項４】
TTSを用いて映像フレームを判別するための映像フレーム判別方法であって、
PUSI数算出手段が、入力されたパケットに示されるTTSの時間情報と映像フレームレート、PESパケットが含まれることを意味するPUSIをもとに、単位時間内のPUSIの数を算出し、映像フレームレートで除算した値を、１つの映像フレームが持つPUSIの数とするPUSI数算出ステップと、
映像フレーム判別手段が、前記１つの映像フレームが持つPUSIの数に基づいて、映像フレームを判別し、判別した映像フレーム毎にパケットをグループ化する映像フレーム判別ステップと、
を有することを特徴とするTTSを用いた映像フレーム判別方法。
【請求項５】
TTSを用いて判別した映像フレームを用いて映像品質を評価するための映像品質推定方法であって、
PUSI数算出手段が、入力されたパケットに示されるTTSの時間情報と映像フレームレート、PESパケットが含まれることを意味するPUSIをもとに、単位時間内のPUSIの数を算出し、映像フレームレートで除算した値を、１つの映像フレームが持つPUSIの数とするPUSI数算出ステップと、
映像フレーム判別手段が、前記１つの映像フレームが持つPUSIの数に基づいて、映像フレームを判別し、判別した映像フレーム毎にパケットをグループ化する映像フレーム判別ステップと、
映像品質評価手段が、前記映像フレーム判別ステップにより判別された映像フレーム毎の映像フレームの情報量を算出し、該情報量から算出された映像のビットレートにより求められた映像品質とパケット損失が発生した損失映像フレームのフレーム長から映像品質を評価する映像品質評価ステップと、を有し、
前記映像品質評価ステップにおいて、
前記映像フレーム判別ステップにより判別された映像フレーム毎の映像フレーム情報量を導出する映像フレーム情報量算出ステップと、
TSパケットに含まれているRAIがＩフレームの先頭パケットである場合は、全映像フレームの映像フレーム種別として、Ｂフレーム、Ｐフレームを算出する第１の映像フレーム種別算出ステップと、
前記映像フレーム情報量算出ステップで導出された前記映像フレーム毎の映像フレーム情報量から映像のビットレートを算出する映像ビットレート算出ステップと、
前記映像フレーム判別ステップで判別された映像フレームにパケット損失が含まれるか判別する損失映像フレーム判別ステップと、
前記映像フレーム種別算出ステップで算出された前記映像フレーム種別と前記損失映像フレーム判別ステップで判別された損失映像フレームから損失の影響がどの程度伝搬するか判別する劣化映像フレーム算出ステップと、
前記映像ビットレート算出ステップで算出された前記映像のビットレートを用いて映像符号化に関する映像品質を算出する符号化映像品質算出ステップと、
前記符号化映像品質算出ステップで算出された符号化映像品質と前記劣化映像フレーム算出ステップで算出された劣化映像フレームから映像品質を算出する映像品質算出ステップと、
を有することを特徴とするTTSを用いて判別した映像フレームを用いた映像品質推定方法。
【請求項６】
TTSを用いて判別した映像フレームを用いて映像品質を評価するための映像品質推定方法であって、
PUSI数算出手段が、入力されたパケットに示されるTTSの時間情報と映像フレームレート、PESパケットが含まれることを意味するPUSIをもとに、単位時間内のPUSIの数を算出し、映像フレームレートで除算した値を、１つの映像フレームが持つPUSIの数とするPUSI数算出ステップと、
映像フレーム判別手段が、前記１つの映像フレームが持つPUSIの数に基づいて、映像フレームを判別し、判別した映像フレーム毎にパケットをグループ化する映像フレーム判別ステップと、
映像品質評価手段が、前記映像フレーム判別ステップにより判別された映像フレーム毎の映像フレームの情報量を算出し、該情報量から算出された映像のビットレートにより求められた映像品質とパケット損失が発生した損失映像フレームのフレーム長から映像品質を評価する映像品質評価ステップと、を有し、
前記映像品質評価ステップにおいて、
前記映像フレーム判別ステップにより判別された映像フレーム毎の映像フレーム情報量を導出する映像フレーム情報量算出ステップと、
TSパケットに含まれているRAIがＩフレームの先頭パケットでない場合は、前記映像フレーム情報量算出ステップで導出された前記映像フレーム毎の映像フレーム情報量からIフレーム毎の映像フレームの間隔を導出するIフレーム間隔算出ステップと、
前記Iフレーム間隔算出ステップで導出されたIフレーム間隔の集合から品質測定区間の発生頻度の最も高いIフレーム間隔を基本GoP（Group of Picture）長として算出する基本GoP長算出ステップと、
前記基本GoP長算出ステップで導出された前記基本GoP長をもとに、全映像フレームの映像フレーム種別（I、B、Pフレーム）を算出する第２の映像フレーム種別算出ステップと、
前記映像フレーム情報量算出ステップで導出された前記映像フレーム毎の映像フレーム情報量から映像のビットレートを算出する映像ビットレート算出ステップと、
前記映像フレーム判別ステップで判別された映像フレームにパケット損失が含まれるか判別する損失映像フレーム判別ステップと、
前記映像フレーム種別算出ステップで算出された前記映像フレーム種別と前記損失映像フレーム判別ステップで判別された損失映像フレームから損失の影響がどの程度伝搬するか判別する劣化映像フレーム算出ステップと、
前記映像ビットレート算出ステップで算出された前記映像のビットレートを用いて映像符号化に関する映像品質を算出する符号化映像品質算出ステップと、
前記符号化映像品質算出ステップで算出された符号化映像品質と前記劣化映像フレーム算出ステップで算出された劣化映像フレームから映像品質を算出する映像品質算出ステップと、
を備えることを特徴とするTTSを用いて判別した映像フレームを用いた映像品質推定方法。
【請求項７】
コンピュータを、
請求項１に記載のTTSを用いた映像フレーム判別装置の各手段として機能させるための、TTSを用いた映像フレーム判別プログラム。
【請求項８】
コンピュータを、
請求項２または３に記載のTTSを用いて判別した映像フレームを用いた映像品質推定装置の各手段として機能させるための、TTSを用いて判別した映像フレームを用いた映像品質推定プログラム。
【請求項１】
Timestamped TS(TTS)を用いて映像フレームを判別するための映像フレーム判別装置であって、
入力されたパケットに示されるTTSの時間情報と映像フレームレート、PES(Packetized Elementary System)パケットが含まれることを意味するPUSI(Payload Unit Start Indicator)をもとに、単位時間内のPUSIの数を算出し、映像フレームレートで除算した値を、１つの映像フレームが持つPUSIの数とするPUSI数算出手段と、
前記１つの映像フレームが持つPUSIの数に基づいて、映像フレームを判別し、判別した映像フレーム毎にパケットをグループ化する映像フレーム判別手段と、
を有することを特徴とするTTSを用いた映像フレーム判別装置。
【請求項２】
TTSを用いて判別した映像フレームを用いて映像品質を評価するための映像品質推定装置であって、
入力されたパケットに示されるTTSの時間情報と映像フレームレート、PESパケットが含まれることを意味するPUSIをもとに、単位時間内のPUSIの数を算出し、映像フレームレートで除算した値を、１つの映像フレームが持つPUSIの数とするPUSI数算出手段と、
前記１つの映像フレームが持つPUSIの数に基づいて、映像フレームを判別し、判別した映像フレーム毎にパケットをグループ化する映像フレーム判別手段と、
前記映像フレーム判別手段により判別された映像フレーム毎の映像フレームの情報量を算出し、該情報量から算出された映像のビットレートにより求められた映像品質とパケット損失が発生した損失映像フレームのフレーム長から映像品質を評価する映像品質評価手段とを有し、
前記映像品質評価手段は、
前記映像フレーム判別手段により判別された映像フレーム毎の映像フレーム情報量を導出する映像フレーム情報量算出手段と、
TSパケットに含まれているRAI(Random Access Indicator)がＩフレームの先頭パケットである場合は、全映像フレームの映像フレーム種別として、Ｂフレーム、Ｐフレームを算出する第１の映像フレーム種別算出手段と、
前記映像フレーム情報量算出手段で導出された前記映像フレーム毎の映像フレーム情報量から映像のビットレートを算出する映像ビットレート算出手段と、
前記映像フレーム判別手段で判別された映像フレームにパケット損失が含まれるか判別する損失映像フレーム判別手段と、
前記映像フレーム種別算出手段で算出された前記映像フレーム種別と前記損失映像フレーム判別手段で判別された損失映像フレームから損失の影響がどの程度伝搬するか判別する劣化映像フレーム算出手段と、
前記映像ビットレート算出手段で算出された前記映像のビットレートを用いて映像符号化に関する映像品質を算出する符号化映像品質算出手段と、
前記符号化映像品質算出手段で算出された符号化映像品質と前記劣化映像フレーム算出手段で算出された劣化映像フレームから映像品質を算出する映像品質算出手段と、
を備えることを特徴とするTTSを用いて判別した映像フレームを用いた映像品質推定装置。
【請求項３】
TTSを用いて判別した映像フレームを用いて映像品質を評価するための映像品質推定装置であって、
入力されたパケットに示されるTTSの時間情報と映像フレームレート、PESパケットが含まれることを意味するPUSIをもとに、単位時間内のPUSIの数を算出し、映像フレームレートで除算した値を、１つの映像フレームが持つPUSIの数とするPUSI数算出手段と、
前記１つの映像フレームが持つPUSIの数に基づいて、映像フレームを判別し、判別した映像フレーム毎にパケットをグループ化する映像フレーム判別手段と、
前記映像フレーム判別手段により判別された映像フレーム毎の映像フレームの情報量を算出し、該情報量から算出された映像のビットレートにより求められた映像品質とパケット損失が発生した損失映像フレームのフレーム長から映像品質を評価する映像品質評価手段とを有し、
前記映像品質評価手段は、
前記映像フレーム判別手段により判別された映像フレーム毎の映像フレーム情報量を導出する映像フレーム情報量算出手段と、
TSパケットに含まれているRAIがＩフレームの先頭パケットでない場合は、前記映像フレーム情報量算出手段で導出された前記映像フレーム毎の映像フレーム情報量からIフレーム毎の映像フレームの間隔を導出するIフレーム間隔算出手段と、
前記Iフレーム間隔算出手段で導出されたIフレーム間隔の集合から品質測定区間の発生頻度の最も高いIフレーム間隔を基本GoP（Group of Picture）長として算出する基本GoP長算出手段と、
前記基本GoP長算出手段で導出された前記基本GoP長をもとに、全映像フレームの映像フレーム種別（I、B、Pフレーム）を算出する第２の映像フレーム種別算出手段と、
前記映像フレーム情報量算出手段で導出された前記映像フレーム毎の映像フレーム情報量から映像のビットレートを算出する映像ビットレート算出手段と、
前記映像フレーム判別手段で判別された映像フレームにパケット損失が含まれるか判別する損失映像フレーム判別手段と、
前記映像フレーム種別算出手段で算出された前記映像フレーム種別と前記損失映像フレーム判別手段で判別された損失映像フレームから損失の影響がどの程度伝搬するか判別する劣化映像フレーム算出手段と、
前記映像ビットレート算出手段で算出された前記映像のビットレートを用いて映像符号化に関する映像品質を算出する符号化映像品質算出手段と、
前記符号化映像品質算出手段で算出された符号化映像品質と前記劣化映像フレーム算出手段で算出された劣化映像フレームから映像品質を算出する映像品質算出手段と、
を備えることを特徴とするTTSを用いて判別した映像フレームを用いた映像品質推定装置。
【請求項４】
TTSを用いて映像フレームを判別するための映像フレーム判別方法であって、
PUSI数算出手段が、入力されたパケットに示されるTTSの時間情報と映像フレームレート、PESパケットが含まれることを意味するPUSIをもとに、単位時間内のPUSIの数を算出し、映像フレームレートで除算した値を、１つの映像フレームが持つPUSIの数とするPUSI数算出ステップと、
映像フレーム判別手段が、前記１つの映像フレームが持つPUSIの数に基づいて、映像フレームを判別し、判別した映像フレーム毎にパケットをグループ化する映像フレーム判別ステップと、
を有することを特徴とするTTSを用いた映像フレーム判別方法。
【請求項５】
TTSを用いて判別した映像フレームを用いて映像品質を評価するための映像品質推定方法であって、
PUSI数算出手段が、入力されたパケットに示されるTTSの時間情報と映像フレームレート、PESパケットが含まれることを意味するPUSIをもとに、単位時間内のPUSIの数を算出し、映像フレームレートで除算した値を、１つの映像フレームが持つPUSIの数とするPUSI数算出ステップと、
映像フレーム判別手段が、前記１つの映像フレームが持つPUSIの数に基づいて、映像フレームを判別し、判別した映像フレーム毎にパケットをグループ化する映像フレーム判別ステップと、
映像品質評価手段が、前記映像フレーム判別ステップにより判別された映像フレーム毎の映像フレームの情報量を算出し、該情報量から算出された映像のビットレートにより求められた映像品質とパケット損失が発生した損失映像フレームのフレーム長から映像品質を評価する映像品質評価ステップと、を有し、
前記映像品質評価ステップにおいて、
前記映像フレーム判別ステップにより判別された映像フレーム毎の映像フレーム情報量を導出する映像フレーム情報量算出ステップと、
TSパケットに含まれているRAIがＩフレームの先頭パケットである場合は、全映像フレームの映像フレーム種別として、Ｂフレーム、Ｐフレームを算出する第１の映像フレーム種別算出ステップと、
前記映像フレーム情報量算出ステップで導出された前記映像フレーム毎の映像フレーム情報量から映像のビットレートを算出する映像ビットレート算出ステップと、
前記映像フレーム判別ステップで判別された映像フレームにパケット損失が含まれるか判別する損失映像フレーム判別ステップと、
前記映像フレーム種別算出ステップで算出された前記映像フレーム種別と前記損失映像フレーム判別ステップで判別された損失映像フレームから損失の影響がどの程度伝搬するか判別する劣化映像フレーム算出ステップと、
前記映像ビットレート算出ステップで算出された前記映像のビットレートを用いて映像符号化に関する映像品質を算出する符号化映像品質算出ステップと、
前記符号化映像品質算出ステップで算出された符号化映像品質と前記劣化映像フレーム算出ステップで算出された劣化映像フレームから映像品質を算出する映像品質算出ステップと、
を有することを特徴とするTTSを用いて判別した映像フレームを用いた映像品質推定方法。
【請求項６】
TTSを用いて判別した映像フレームを用いて映像品質を評価するための映像品質推定方法であって、
PUSI数算出手段が、入力されたパケットに示されるTTSの時間情報と映像フレームレート、PESパケットが含まれることを意味するPUSIをもとに、単位時間内のPUSIの数を算出し、映像フレームレートで除算した値を、１つの映像フレームが持つPUSIの数とするPUSI数算出ステップと、
映像フレーム判別手段が、前記１つの映像フレームが持つPUSIの数に基づいて、映像フレームを判別し、判別した映像フレーム毎にパケットをグループ化する映像フレーム判別ステップと、
映像品質評価手段が、前記映像フレーム判別ステップにより判別された映像フレーム毎の映像フレームの情報量を算出し、該情報量から算出された映像のビットレートにより求められた映像品質とパケット損失が発生した損失映像フレームのフレーム長から映像品質を評価する映像品質評価ステップと、を有し、
前記映像品質評価ステップにおいて、
前記映像フレーム判別ステップにより判別された映像フレーム毎の映像フレーム情報量を導出する映像フレーム情報量算出ステップと、
TSパケットに含まれているRAIがＩフレームの先頭パケットでない場合は、前記映像フレーム情報量算出ステップで導出された前記映像フレーム毎の映像フレーム情報量からIフレーム毎の映像フレームの間隔を導出するIフレーム間隔算出ステップと、
前記Iフレーム間隔算出ステップで導出されたIフレーム間隔の集合から品質測定区間の発生頻度の最も高いIフレーム間隔を基本GoP（Group of Picture）長として算出する基本GoP長算出ステップと、
前記基本GoP長算出ステップで導出された前記基本GoP長をもとに、全映像フレームの映像フレーム種別（I、B、Pフレーム）を算出する第２の映像フレーム種別算出ステップと、
前記映像フレーム情報量算出ステップで導出された前記映像フレーム毎の映像フレーム情報量から映像のビットレートを算出する映像ビットレート算出ステップと、
前記映像フレーム判別ステップで判別された映像フレームにパケット損失が含まれるか判別する損失映像フレーム判別ステップと、
前記映像フレーム種別算出ステップで算出された前記映像フレーム種別と前記損失映像フレーム判別ステップで判別された損失映像フレームから損失の影響がどの程度伝搬するか判別する劣化映像フレーム算出ステップと、
前記映像ビットレート算出ステップで算出された前記映像のビットレートを用いて映像符号化に関する映像品質を算出する符号化映像品質算出ステップと、
前記符号化映像品質算出ステップで算出された符号化映像品質と前記劣化映像フレーム算出ステップで算出された劣化映像フレームから映像品質を算出する映像品質算出ステップと、
を備えることを特徴とするTTSを用いて判別した映像フレームを用いた映像品質推定方法。
【請求項７】
コンピュータを、
請求項１に記載のTTSを用いた映像フレーム判別装置の各手段として機能させるための、TTSを用いた映像フレーム判別プログラム。
【請求項８】
コンピュータを、
請求項２または３に記載のTTSを用いて判別した映像フレームを用いた映像品質推定装置の各手段として機能させるための、TTSを用いて判別した映像フレームを用いた映像品質推定プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１３−５１５４５（Ｐ２０１３−５１５４５Ａ）
【公開日】平成２５年３月１４日（２０１３．３．１４）
【国際特許分類】
【出願番号】特願２０１１−１８８２２１（Ｐ２０１１−１８８２２１）
【出願日】平成２３年８月３１日（２０１１．８．３１）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２５年３月１４日（２０１３．３．１４）
【国際特許分類】
【出願日】平成２３年８月３１日（２０１１．８．３１）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]