説明

映像品質管理方法および映像品質管理システム

【課題】簡単な構成で、パケット損失時の映像品質推定の精度向上を図る。
【解決手段】ユーザ端末UTへ送る映像パケット毎にそのパケットが属する高能率圧縮符号化時のフレーム種別(I、P、B)およびフレーム発生規則(GOPのパラメータ(M,N))を埋め込む。ユーザ端末UTにおいて、損失パケット(ネットワークにおける損失パケット、端末における損失パケット)の生成番号から1映像フレーム内の品質劣化の程度や割合などの度合いを推定し、損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則から映像品質劣化の継続時間長を推定し、推定した映像品質劣化の度合いと映像品質劣化の継続時間長に基づいてユーザ端末UTにおいて復号される映像の主観品質を推定する。

【発明の詳細な説明】
【技術分野】
【0001】
この発明は、通信ネットワークを介する映像サービスの品質管理技術に関し、特に高能率圧縮符号化した映像信号をパケット列に変換しネットワークを介してユーザ端末へ送る際の映像品質管理方法および映像品質管理システムに関するものである。
【背景技術】
【0002】
近年、インターネット網など通信ネットワークが広帯域化する中、映像配信サービスやテレビ会議などの映像系のサービス(映像アプリケーション)が普及しつつある。これらの映像系のサービスでは、映像信号を高能率圧縮符号化し、パケット列に変換して、ユーザ端末へ送るようにしている。
【0003】
例えば、フレーム間予測を用いずフレーム内で符号化処理を行うI(Intra Picture )フレーム、動き補償予測を使い過去から現在を予測し符号化処理を行うP(Predictive Picture)フレーム、双方向予測を使い順方向および逆方向予測し符号化処理を行う(Bidirectionally Predictive Picture)Bフレームという3種類のフレームにより映像信号を高能率圧縮符号化し、この高能率圧縮符号化した映像信号をパケット列に変換し、ネットワークを介してユーザ端末へ送るようにしている。
【0004】
この場合、例えば、ネットワークでパケット損失が生じると、ユーザ端末での復号に際し前後のフレーム情報を使うことから、1パケットの損失による映像品質の劣化が1映像フレームにとどまらず、複数の映像フレームに及ぶことがある。このような場合、次の映像フレームではパケット損失が生じていないにも拘わらず、復号された映像では品質劣化が生じており、ネットワーク上のパケット損失の発生状況(ネットワーク品質)と映像アプリケーションでの品質劣化の発生状況(アプリケーション品質)とは必ずしも一致しない。
【0005】
そこで、特許文献1では、品質推定の精度向上を図るべく、動画符号の特定の一部の復号において、他の部分の復号値を参照する場合、この特定の一部の動画符号の復号値へ、他の部分の復号値の任意の異常が波及することを検出するようにし、映像フレーム毎に品質劣化の面積を算出するようにしている。
【0006】
【特許文献1】特開2000−341688号公報(段落〔0049〕、〔0083〕〜〔0089〕、〔0111〕などの記載参照)
【発明の開示】
【発明が解決しようとする課題】
【0007】
しかしながら、上述した特許文献1に示された技術では、復号器において、パケットの動画符号の状況を細かく追う必要があり、構成が複雑となる。
【0008】
本発明は、このような課題を解決するためになされたもので、その目的とするところは、簡単な構成で、品質推定の精度向上を図ることができる映像品質管理方法および映像品質管理システムを提供することにある。
【課題を解決するための手段】
【0009】
このような目的を達成するために本発明は、映像信号を高能率圧縮符号化する第1ステップと、高能率圧縮符号化された映像信号をパケット列に変換する第2ステップと、パケット列に変換された映像信号をネットワークを介してユーザ端末に送る第3ステップと、ネットワークおよびユーザ端末における損失パケットを検出する第4ステップと、損失パケットを特定する情報、損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則に基づいてユーザ端末において復号される映像の品質を推定する第5ステップとを設けたものである。
【0010】
この発明では、ネットワークやユーザ端末における損失パケットを特定する情報(例えば、損失パケットの生成番号)、損失パケットが属する高能率圧縮符号化時のフレーム種別(例えば、Iフレーム,Pフレーム,Bフレーム)およびフレーム発生規則(例えば、GOP(Group of pictures )のパラメータ:Iピクチャの繰り返し周期N、およびPまたはIの繰り返し周期M)に基づいて、ユーザ端末において復号される映像の品質(ユーザの体感品質に対応した品質(主観品質))が推定される。
【0011】
例えば、損失パケットを特定する情報から1映像フレーム内の品質劣化の程度や割合などの度合いを推定し、損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則から映像品質劣化の継続時間長を推定し、この推定した映像品質劣化の度合いと映像品質劣化の継続時間長に基づいてユーザ端末において復号される映像の主観品質を推定する。この場合、1映像フレーム内の品質劣化の度合いは、損失パケットを特定する情報から1映像フレーム内の損失パケットの数を求め、この損失パケットの情報量と1映像フレームの平均情報量から推定することが可能である。また、1映像フレームを構成する全映像パケット数に対する損失パケットの割合として求めることも可能である。また、映像品質劣化の継続時間長は、損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則から映像品質劣化が継続する映像フレーム数を算出し、この算出した映像フレーム数から推定することが可能である。
【0012】
この発明において、損失パケットを特定する情報は、例えば損失パケットの生成番号である。この損失パケットの生成番号は、ネットワーク内で廃棄されたパケットの場合、そのパケットの生成番号としてネットワーク内で知ることができる。また、ネットワーク内で消失したパケットの場合、そのパケットの前後のパケットの生成番号から知ることができる。また、ユーザ端末内で廃棄されるパケットの場合、そのパケットの生成番号としてユーザ端末内で知ることができる。また、損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則は、例えば次のような方式で知ることが可能である。
【0013】
(1)方式1
ユーザ端末へ送るパケット(映像パケット)毎にそのパケットが属する高能率圧縮符号化時のフレーム種別(I、P、B)およびフレーム発生規則(GOPのパラメータ(M,N))埋め込む。この方式1では、ユーザ端末において、損失パケットに埋め込まれたフレーム種別およびフレーム発生規則から直接、あるいは損失パケットの前後の映像パケットに埋め込まれたフレーム種別およびフレーム発生規則から間接的に、損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則を知ることができる。
【0014】
(2)方式2
ユーザ端末へ送るパケット(映像パケット)毎にそのパケットを特定する情報(パケットの生成番号)、そのパケットが属する高能率圧縮符号化時のフレーム種別(I、P、B)およびフレーム発生規則(GOPのパラメータ(M,N))を記したテーブルを制御パケットに埋め込み、ネットワークを介してユーザ端末に送る。この方式2では、ユーザ端末において、ネットワークを介して送られてくる制御パケットに埋め込まれたテーブルを参照することにより、損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則を知ることができる。
【0015】
(3)方式3
ユーザ端末へ送るパケット(映像パケット)毎にそのパケットを特定する情報(パケットの生成番号)、そのパケットが属する高能率圧縮符号化時のフレーム種別(I、P、B)およびフレーム発生規則(GOPのパラメータ(M,N))を記したテーブルを映像パケットの送信元の端末に記憶させる。損失パケットを特定する情報を埋め込んだ制御パケットをユーザ端末からネットワークを介して送信元の端末に送る。この方式3では、映像パケットの送信元の端末において、その送信元の端末に記憶されたテーブルを参照することにより、損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則を知ることができる。
【0016】
なお、本発明において、ネットワークにおける損失パケットは、ネットワーク内で廃棄されたり消失した映像パケットとして検出することが可能である。また、ユーザ端末における損失パケットは、ユーザ端末に到着したにも拘わらず、ユーザ端末のゆらぎ吸収バッファにおいて廃棄された映像パケットとして検出することが可能である。
【0017】
また、本発明は、上述した方法を適用した映像品質管理システムとしても実現することができる。この場合、品質推定手段は、ユーザ端末に設けてもよいし、ネットワークに接続された管理端末に設けてもよい。また、映像パケットの送信元の端末に設けてもよい。管理端末に設ける場合には、ユーザ端末からネットワークを介して管理端末へ、損失パケットを特定する情報、損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則を埋め込んだ制御パケットを送るようにすればよい。送信元の端末に設ける場合には、例えば上述した方式3を採用し、損失パケットを特定する情報を埋め込んだ制御パケットをユーザ端末からネットワークを介して送信元の端末に送るようにすればよい。
【発明の効果】
【0018】
本発明によれば、ネットワークやユーザ端末における損失パケットを特定する情報、損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則に基づいて、ユーザ端末において復号される映像の主観品質が推定されるものとなり、簡単な構成で、品質推定の精度向上を図ることができるようになる。
【発明を実施するための最良の形態】
【0019】
以下、本発明を図面に基づいて詳細に説明する。
〔実施の形態1〕
図1は本発明に係る映像品質管理方法の実施に用いる映像品質管理システムの一例(実施の形態1)を示すブロック構成図である。
【0020】
同図において、1はカメラや録画映像の再生装置などの映像入力装置、2は映像入力装置1からの映像信号を高能率圧縮符号化しパケット列に変換する映像符号化装置、3は映像符号化装置2から送られてくるパケット列に変換された映像信号をネットワーク(インターネット網)4を介してユーザ端末UTへ配信する映像配信サーバ、5は映像品質を管理する映像品質管理装置である。
【0021】
このシステムにおいて、映像配信サーバ3は配信端末DTに設けられ、映像品質管理装置5は管理端末CTに設けられ、配信端末DTとユーザ端末UTと管理端末CTとはネットワーク4を介して相互に接続されている。ユーザ端末UTは、復号装置6と、品質情報通信装置7と、映像品質推定装置8とを備えている。
【0022】
図2に映像符号化装置2の概略構成を示す。映像符号化装置2は、高能率圧縮符号化部21と、パケット変換部22と、情報埋込部23とを備えている。高能率圧縮符号化部21は、映像入力装置1からの映像信号をIフレーム、Pフレーム、Bフレームにより高能率圧縮符号化する。これら3種類のフレームは、規則性をもって生成され、符号化される。パケット変換部22は、高能率圧縮符号化部21により高能率圧縮符号化された映像信号をパケット列(パケットP1,P2,P3・・・・)に変換し、情報埋込部23へ送る。
【0023】
情報埋込部23は、パケット変換部22からのパケット(映像パケット)Pのそれぞれのヘッダ内のTOSビットもしくはペイロード内に、その映像パケットPが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則を埋め込む。この実施の形態では、高能率圧縮符号化時のフレーム種別としてIフレーム、Pフレーム、Bフレームの種別(I,P,B)を、フレーム発生規則としてIフレーム、Pフレーム、Bフレームの発生規則であるGOPのパラメータを埋め込む。具体的には、Iピクチャの繰り返し周期N、およびPまたはIの繰り返し周期Mを映像パケットPに埋め込む。
【0024】
なお、映像パケットPのヘッダ内には、その映像パケットPを特定する情報として、その映像パケットPの生成番号が書き込まれることは言うまでもない。また、この実施の形態では、パケット変換部22の後段に情報埋込部23を設けたが、パケット変換部22の前段に情報埋込部23を設けるようにしてもよい。すなわち、高能率圧縮符号化に際する各フレームの符号化データにフレーム種別やフレーム発生規則を付すことにより、各映像パケットにフレーム種別やフレーム発生規則が埋め込まれるようにしてもよい。
【0025】
情報埋込部23からの高能率圧縮符号化時のフレーム種別およびフレーム発生規則が埋め込まれた映像パケットPは映像配信サーバ3へ送られる。映像配信サーバ3は映像符号化装置2からの映像パケットPをネットワーク4を介してユーザ端末UTへ送る。ユーザ端末UTは映像配信サーバ3からの映像パケットPを復号装置6において受信する。復号装置6は、映像配信サーバ3からの映像パケットPを次々に受信し、その映像パケットPのデータを復号して行く。
【0026】
図3に復号装置6の内部構成の概略を示す。復号装置6にはゆらぎ吸収バッファ61とパケット復号部62と遅着パケット情報出力部63が設けられている。ゆらぎ吸収バッファ61は、遅着パケットを廃棄しながら、入力される映像パケットPを取り込む。例えば、映像パケットPがP1,P2,P3の順で入力された場合、映像パケットP3の入力タイミングが所定のタイミングよりも遅れて入力されると、この映像パケットP3を遅着パケットとして廃棄する。正常なタイミングで入力された映像パケットP1,P2は取り込む。
【0027】
廃棄された映像パケットPは遅着パケット情報出力部63へ送られる。遅着パケット情報出力部63は、廃棄された映像パケットPの生成番号、廃棄された映像パケットPに埋め込まれている高能率圧縮符号化時のフレーム種別およびフレーム発生規則を端末における損失パケット情報として品質情報通信装置7へ送る。
【0028】
ゆらぎ吸収バッファ61に取り込まれた映像パケットPはパケット復号部62に送られる。パケット復号部62は、ゆらぎ吸収バッファ61からの映像パケットPを次々に受信し、その映像パケットPのデータを復号して行く。この際、パケット復号部62は、パケット損失により映像劣化となるフレームを検出し、そのフレーム情報を品質情報通信装置7へ送る。
【0029】
品質情報通信装置7にはネットワークにおける損失パケット情報も与えられる。この場合、ネットワーク4内で廃棄されたパケットが損失パケットとされ、その損失パケットの生成番号、その損失パケットに埋め込まれている高能率圧縮符号化時のフレーム種別およびフレーム発生規則が品質情報通信装置7へ与えられる。また、ネットワーク4内で消失したパケットが損失パケットとされ、その損失パケットの前後のパケットの生成番号から推測される損失パケットの生成番号、その損失パケットの前後のパケットに埋め込まれている高能率圧縮符号化時のフレーム種別およびフレーム発生規則から推測される損失パケットの高能率圧縮符号化時のフレーム種別およびフレーム発生規則が品質情報通信装置7へ与えられる。
【0030】
品質情報通信装置7は、パケット復号部62からの映像劣化となるフレーム情報と損失パケットとを対応づけ、復号装置6およびネットワーク4からの損失パケット情報(損失パケットの生成番号、損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則)を品質推定装置8へ送る。図5にユーザ端末UT内の情報の流れを示す。
【0031】
映像品質推定装置8は損失パケット情報収集部81と劣化範囲推定部82と主観品質データベース83と主観品質推定部84とを備えている。品質情報通信装置7からの損失パケット情報は損失パケット情報収集部81へ与えられる。損失パケット情報収集部81は、品質情報通信装置7からの損失パケット情報のうち損失パケットの生成番号を劣化範囲推定部82の劣化度合推定手段821へ送り、損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則を劣化継続時間長推定手段822へ送る。
【0032】
劣化度合推定手段821は、損失パケットの生成番号から1映像フレーム内の品質劣化の度合いを推定する。例えば、損失パケットの生成番号から1映像フレーム内の損失パケットの数を求め、この損失パケットの情報量と1映像フレームの平均情報量から1映像フレーム内の品質劣化の度合いを推定する。また、1映像フレームを構成する全映像パケット数に対する損失パケットの割合として求めるなどしてもよい。この場合、例えば、1映像フレームを構成する全映像パケット数が60パケット、損失パケットが20パケットであった場合、劣化度合いは20/60=1/3として求める。この劣化度合いにより、主観品質への影響が異なり、この劣化度合いと劣化現象との関係を予め実験で求めておき、設定しておくようにしてもよい。例えば、Iフレームについて、劣化度合いが1%まではブロック歪み、10%以上ならば映像停止(フリーズ)、Pフレームについて、劣化度合いが20%まではブロック歪み、20%以上ならば映像停止(フリーズ)、Bフレームについて、劣化度合いが30%まではブロック歪み、20%以上ならば映像停止(フリーズ)というように設定しておくようにしてもよい。
【0033】
劣化継続時間長推定手段822は、損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則から映像品質劣化の継続時間長を推定する。例えば、損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則から映像品質劣化が継続する映像フレーム数を算出し、この算出した映像フレーム数から映像品質劣化の継続時間長を推定する。
【0034】
劣化範囲推定部82において推定された1映像フレーム内の品質劣化の度合いおよび映像品質劣化の継続時間長は主観品質推定部84へ送られる。なお、主観品質推定部84には、図示してはいないが、コンテンツの内容や帯域などの原画情報も与えられる。この原画情報は、予めユーザ端末UT内に設定しておくようにしてもよく、配信端末DTからユーザ端末UTへ送る制御パケットに挿入するなどして提供するようにしてもよい。また、主観品質データベース83には、予め実験などで得られた品質劣化の度合い、品質劣化の継続時間長および原画情報をパラメータとした主観品質の値が格納されている。
【0035】
主観品質推定部84は、劣化範囲推定部82より送られてくる1映像フレーム内の品質劣化の度合いおよび映像品質劣化の継続時間長と上述した原画情報とに基づいて、それに対応する主観品質の値を主観品質データベース83より得る。主観品質推定部84は、主観品質データベース83より取得した主観品質の値(主観品質の推定値)を品質情報通信装置7へ送る。品質情報通信装置7は、主観品質推定部84からの主観品質の推定値を制御パケットに埋め込み、この主観品質の推定値が埋め込まれた制御パケットをネットワーク4を介し、管理端末CTの映像品質管理装置5へ送る。
【0036】
なお、この実施の形態において、配信端末DTとユーザ端末UTとの間の制御パケットやユーザ端末UTと管理端末CTとの間の制御パケットなどにはRTCP(RTP Control Protocol)が用いられ、これら制御パケットはRTP(Real-time Transport Protocol)に基づいて送受信される。
【0037】
映像品質管理装置5には、図4に示すように、映像品質管理目標値テーブル51と映像品質判定部52が設けられている。映像品質判定部52は、ユーザ端末UTから主観品質の推定値が埋め込まれた制御パケットが送られてくると、この制御パケットから主観品質の推定値を抽出する。そして、抽出した主観品質の推定値に対応する映像品質管理目標値を映像品質管理目標値テーブル51より取り出し、両者を比較することによって映像品質の劣化を判定し、その判定結果に応じた品質管理のアクションをとる。
【0038】
なお、この実施の形態では、ユーザ端末UTへ送る映像パケット毎にその映像パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則を埋め込むようにしたが、ユーザ端末UTへ送る映像パケット毎にその映像パケットの生成番号、その映像パケットPが属する高能率圧縮符号化時のフレーム種別(I、P、B)およびフレーム発生規則(GOPのパラメータ(M,N))を記したテーブル(パケット情報テーブル)を制御パケットに埋め込み、ネットワーク4を介してユーザ端末UTに送るようにしてもよい。この場合、ユーザ端末UTでは、ネットワーク4を介して送られてくる制御パケットに埋め込まれたテーブルを参照することにより、損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則を知ることができる。
【0039】
〔実施の形態2〕
図6は本発明に係る映像品質管理方法の実施に用いる映像品質管理システムの他の例(実施の形態2)を示すブロック構成図である。実施の形態1ではユーザ端末UTに映像品質推定装置8を設けていたが、実施の形態2では管理端末CTに映像品質推定装置8を設けている。このようにすると、ユーザ端末UTでの処理負担を軽減することができる。また、映像品質推定装置8を管理端末CTに設けることにより、主観品質の推定結果をネットワーク品質管理にすぐに役立てることができる。
【0040】
図7に管理端末CT内の情報の流れを示す。この場合、ユーザ端末UTからネットワーク4を介して管理端末CTへ、損失パケットの生成番号、損失パケットが属する高能率圧縮符号化時のフレーム種別(I、P、B)およびフレーム発生規則(GOPのパラメータ(M,N))を埋め込んだ制御パケットを送るようにする。これにより、実施の形態1と同様にして、映像品質推定装置8において主観品質の推定値が求められる。また、映像品質管理装置5において、映像品質の劣化の判定が行われる。この実施の形態2では、映像品質推定装置8と映像品質管理装置5とが同一の管理装置CT内に設けられるので、制御パケットによる情報の遣り取りは発生しない。
【0041】
〔実施の形態3〕
図8は本発明に係る映像品質管理方法の実施に用いる映像品質管理システムの他の例(実施の形態3)を示すブロック構成図である。実施の形態1ではユーザ端末UTに映像品質推定装置8を設け、管理端末CTに映像品質管理装置5を設けていたが、実施の形態3では映像品質推定装置8および映像品質管理装置5を配信端末DTに設けている。この構成例はサーバでの個別ユーザ管理に有用である。
【0042】
図9に配信端末DT内の情報の流れを示す。この場合、配信端末DTでは、ユーザ端末UTへの映像パケット毎にその映像パケットの生成番号、その映像パケットが属する高能率圧縮符号化時のフレーム種別(I、P、B)およびフレーム発生規則(GOPのパラメータ(M,N))を記したパケット情報テーブルTB1を作成し、メモリへ記憶させておく。また、損失パケットの生成番号を埋め込んだ制御パケットをユーザ端末UTからネットワーク4を介して配信端末DTに送るようにする。
【0043】
配信端末DTにおいて、損失パケット情報収集部81は、ユーザ端末UTから送られてくる損失パケットの生成番号が埋め込まれた制御パケットを受信すると、その制御パケットから損失パケットの生成番号を抽出し、劣化度合推定手段821へ送る。また、抽出した損失パケットの生成番号を検索キーとしてパケット情報テーブルTB1にアクセスし、その損失パケットの高能率圧縮符号化時のフレーム種別およびフレーム発生規則を取得し、劣化継続時間長推定手段822へ送る。これにより、実施の形態1と同様にして、映像品質推定装置8において主観品質の推定値が求められる。また、映像品質管理装置5において、映像品質の劣化の判定が行われる。
【0044】
〔実施の形態4〕
図10は本発明に係る映像品質管理方法の実施に用いる映像品質管理システムの他の例(実施の形態4)を示すブロック構成図である。この実施の形態4は、テレビ会議のような双方向映像通信サービスの品質管理を行う場合の構成例であり、ネットワーク4にはユーザ端末UT1,UT2が接続されている。
【0045】
ユーザ端末UT1は、映像符号化装置2−1と復号装置6−1と品質情報通信装置7−1と映像品質推定装置8−1とを有している。ユーザ端末UT2もユーザ端末UT1と同様に、映像符号化装置2−2と復号装置6−2と品質情報通信装置7−2と映像品質推定装置8−2とを有している。
【0046】
映像符号化装置2−1は、ユーザ端末UT2へ送る映像パケットに、その映像パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則を埋め込む。映像符号化装置2−2は、ユーザ端末UT1へ送る映像パケットに、その映像パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則を埋め込む。
【0047】
映像品質推定装置8−1は、図1に示した映像品質推定装置8と同様にして主観品質の推定値を求め、この主観品質の推定値を埋め込んだ制御パケットを品質情報通信装置7−1を介して管理装置CT内の映像品質管理装置5に送る。映像品質推定装置8−2も、映像品質推定装置8−1と同様にして主観品質の推定値を求め、この主観品質の推定値を埋め込んだ制御パケットを管理装置CT内の映像品質管理装置5に送る。
【0048】
なお、上述した実施の形態1〜4では、映像品質管理装置5を管理端末CTや配信端末DTに設けるようにしたが、ユーザ端末UTに組み込むようにしてもよい。映像品質管理装置5をユーザ端末UTに組み込むようにすると、苦情時のユーザ端末の品質把握に素早く対応することが可能となる。
【0049】
以上の説明から明らかなように、本実施の形態の映像品質管理システムによれば、損失パケットの生成番号から1映像フレーム内の品質劣化の度合いが推定され、損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則から映像品質劣化の継続時間長が推定され、この推定された映像品質劣化の度合いと映像品質劣化の継続時間長に基づいてユーザ端末において復号される映像の主観品質が推定されるものとなり、簡単な構成で、品質推定の精度向上を図ることができるようになる。
【0050】
また、本実施の形態の映像品質管理システムによれば、ネットワークにおける損失パケットだけではなく、ユーザ端末で生じるゆらぎ吸収バッファによるパケット廃棄の情報を復号装置で出力することにより、パケットとして廃棄される全ての品質情報を得ることができ、正確なパケット品質が把握できるようになる。これらの品質情報を制御パケットに搭載してリアルタイムで遣り取りすることにより、任意の場所における品質管理がリアルタイムかつユーザ毎に高精度に品質推定できることで高度な映像品質管理が可能となる。
【図面の簡単な説明】
【0051】
【図1】本発明に係る映像品質管理方法の実施に用いる映像品質管理システムの一例(実施の形態1)を示すブロック構成図である。
【図2】この映像品質管理システムにおける映像符号化装置の概略構成を示す図である。
【図3】この映像品質管理システムにおける復号装置の概略構成を示す図である。
【図4】この映像品質管理システムにおける映像品質管理装置の概略構成を示す図である。
【図5】この映像品質管理システムにおけるユーザ端末内の情報の流れを示す図である。
【図6】本発明に係る映像品質管理方法の実施に用いる映像品質管理システムの他の例(実施の形態2)を示すブロック構成図である。
【図7】この映像品質管理システムにおける管理端末内の情報の流れを示す図である。
【図8】本発明に係る映像品質管理方法の実施に用いる映像品質管理システムの他の例(実施の形態3)を示すブロック構成図である。
【図9】この映像品質管理システムにおける配信端末内の情報の流れを示す図である。
【図10】本発明に係る映像品質管理方法の実施に用いる映像品質管理システムの他の例(実施の形態4)を示すブロック構成図である。
【符号の説明】
【0052】
1…映像入力装置、2…映像符号化装置、21…高能率圧縮符号化部、22…パケット変換部、23…情報埋込部、3…映像配信サーバ、4…ネットワーク(インターネット網)、5…映像品質管理装置、51…映像品質管理目標値テーブル、52…映像品質判定部、6…復号装置、61…ゆらぎ吸収バッファ、62…パケット復号部、63…遅着パケット情報出力部、7…品質情報通信装置、8…映像品質推定装置、81…損失パケット情報収集部、82…劣化範囲推定部、821…劣化度合推定手段、822…劣化継続時間長推定手段、83…主観品質データベース、84…主観品質推定部、TB1…パケット情報テーブル、UT…ユーザ端末、CT…管理端末、DT…配信装置、P(P1,P2,P3)…映像パケット、UT1,UT2…ユーザ端末、2−1,2−2…映像復号化装置、6−1,6−2…復号装置、7−1,7−2…品質情報通信装置、8−1,8−2…映像品質推定装置。


【特許請求の範囲】
【請求項1】
映像信号を高能率圧縮符号化する第1ステップと、
前記高能率圧縮符号化された映像信号をパケット列に変換する第2ステップと、
前記パケット列に変換された映像信号をネットワークを介してユーザ端末に送る第3ステップと、
前記ネットワークおよび前記ユーザ端末における損失パケットを検出する第4ステップと、
前記損失パケットを特定する情報、前記損失パケットが属する前記高能率圧縮符号化時のフレーム種別およびフレーム発生規則に基づいて前記ユーザ端末において復号される映像の品質を推定する第5ステップと
を備えることを特徴とする映像品質管理方法。
【請求項2】
請求項1に記載された映像品質管理方法において、
前記ユーザ端末へ送るパケット毎にそのパケットが属する前記高能率圧縮符号化時のフレーム種別およびフレーム発生規則を埋め込むステップ
を備えることを特徴とする映像品質管理方法。
【請求項3】
請求項1に記載された映像品質管理方法において、
前記ユーザ端末へ送るパケット毎にそのパケットを特定する情報、そのパケットが属する前記高能率圧縮符号化時のフレーム種別およびフレーム発生規則を記したテーブルを制御パケットに埋め込み、前記ネットワークを介して前記ユーザ端末に送るステップ
を備えることを特徴とする映像品質管理方法。
【請求項4】
請求項1に記載された映像品質管理方法において、
前記ユーザ端末へ送るパケット毎にそのパケットを特定する情報、そのパケットが属する前記高能率圧縮符号化時のフレーム種別およびフレーム発生規則を記したテーブルを前記パケットの送信元の端末に記憶させるステップと、
前記損失パケットを特定する情報を埋め込んだ制御パケットを前記ユーザ端末から前記ネットワークを介して前記パケットの送信元の端末に送るステップと
を備えることを特徴とする映像品質管理方法。
【請求項5】
請求項1〜4の何れか1項に記載された映像品質管理方法において、
前記第5ステップは、
前記損失パケットを特定する情報から1映像フレーム内の品質劣化の度合いを推定し、前記損失パケットが属する前記高能率圧縮符号化時のフレーム種別およびフレーム発生規則から映像品質劣化の継続時間長を推定し、この推定した映像品質劣化の度合いと映像品質劣化の継続時間長に基づいて前記ユーザ端末において復号される映像の品質を推定する
ことを特徴とする映像品質管理方法。
【請求項6】
請求項1〜4の何れか1項に記載された映像品質管理方法において、
前記第5ステップは、前記損失パケットを特定する情報から1映像フレーム内の損失パケットの数を求め、この損失パケットの情報量と1映像フレームの平均情報量から1映像フレーム内の品質劣化の度合いを推定し、前記損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則から映像品質劣化が継続する映像フレーム数を算出し、この算出した映像フレーム数から映像品質劣化の継続時間長を推定し、この推定した映像品質劣化の度合いと映像品質劣化の継続時間長に基づいて前記ユーザ端末において復号される映像の品質を推定する
ことを特徴とする映像品質管理方法。
【請求項7】
請求項1〜6の何れか1項に記載された映像品質管理方法において、
前記第4ステップは、
前記ユーザ端末のゆらぎ吸収バッファにおいて廃棄されたパケットを前記ユーザ端末における損失パケットとして検出する
ことを特徴とする映像品質管理方法。
【請求項8】
請求項1〜7の何れか1項に記載された映像品質管理方法において、
前記高能率圧縮符号化時のフレーム種別は、
フレーム間予測を用いずフレーム内で符号化処理を行うIフレーム、動き補償予測を使い過去から現在を予測し符号化処理を行うPフレーム、双方向予測を使い順方向および逆方向予測し符号化処理を行うBフレームの3種類であり、
前記フレーム発生規則は、
前記Iフレーム、Pフレーム、Bフレームの発生規則である
ことを特徴とする映像品質管理方法。
【請求項9】
映像信号を高能率圧縮符号化する高能率圧縮符号化手段と、
前記高能率圧縮符号化された映像信号をパケット列に変換するパケット変換手段と、
前記パケット列に変換された映像信号をネットワークを介してユーザ端末に送る送信手段と、
前記ネットワークおよび前記ユーザ端末における損失パケットを検出する損失パケット検出手段と、
前記損失パケットを特定する情報、前記損失パケットが属する前記高能率圧縮符号化時のフレーム種別およびフレーム発生規則に基づいて前記ユーザ端末において復号される映像の品質を推定する品質推定手段と
を備えることを特徴とする映像品質管理システム。
【請求項10】
請求項9に記載された映像品質管理システムにおいて、
前記ユーザ端末へ送るパケット毎にそのパケットが属する前記高能率圧縮符号化時のフレーム種別およびフレーム発生規則を埋め込む手段
を備えることを特徴とする映像品質管理システム。
【請求項11】
請求項9に記載された映像品質管理システムにおいて、
前記ユーザ端末へ送るパケット毎にそのパケットを特定する情報、そのパケットが属する前記高能率圧縮符号化時のフレーム種別およびフレーム発生規則を記したテーブルを制御パケットに埋め込み、前記ネットワークを介して前記ユーザ端末に送る手段
を備えることを特徴とする映像品質管理システム。
【請求項12】
請求項9に記載された映像品質管理システムにおいて、
前記ユーザ端末へ送るパケット毎にそのパケットを特定する情報、そのパケットが属する前記高能率圧縮符号化時のフレーム種別およびフレーム発生規則を記したテーブルを前記パケットの送信元の端末に記憶させる手段と、
前記損失パケットを特定する情報を埋め込んだ制御パケットを前記ユーザ端末から前記ネットワークを介して前記パケットの送信元の端末に送る手段と
を備えることを特徴とする映像品質管理システム。
【請求項13】
請求項9〜12の何れか1項に記載された映像品質管理システムにおいて、
前記品質推定手段は、
前記損失パケットを特定する情報から1映像フレーム内の品質劣化の度合いを推定し、前記損失パケットが属する前記高能率圧縮符号化時のフレーム種別およびフレーム発生規則から映像品質劣化の継続時間長を推定し、この推定した映像品質劣化の度合いと映像品質劣化の継続時間長に基づいて前記ユーザ端末において復号される映像の品質を推定する
ことを特徴とする映像品質管理システム。
【請求項14】
請求項9〜12の何れか1項に記載された映像品質管理システムにおいて、
前記品質推定手段は、
前記損失パケットを特定する情報から1映像フレーム内の損失パケットの数を求め、この損失パケットの情報量と1映像フレームの平均情報量から1映像フレーム内の品質劣化の度合いを推定し、前記損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則から映像品質劣化が継続する映像フレーム数を算出し、この算出した映像フレーム数から映像品質劣化の継続時間長を推定し、この推定した映像品質劣化の度合いと映像品質劣化の継続時間長に基づいて前記ユーザ端末において復号される映像の品質を推定する
ことを特徴とする映像品質管理システム。
【請求項15】
請求項9〜14の何れか1項に記載された映像品質管理システムにおいて、
前記損失パケット検出手段は、
前記ユーザ端末のゆらぎ吸収バッファにおいて廃棄されたパケットを前記ユーザ端末における損失パケットとして検出する
ことを特徴とする映像品質管理システム。
【請求項16】
請求項9〜15の何れか1項に記載された映像品質管理システムにおいて、
前記高能率圧縮符号化時のフレーム種別は、
フレーム間予測を用いずフレーム内で符号化処理を行うIフレーム、動き補償予測を使い過去から現在を予測し符号化処理を行うPフレーム、双方向予測を使い順方向および逆方向予測し符号化処理を行うBフレームの3種類であり、
前記フレーム発生規則は、
前記Iフレーム、Pフレーム、Bフレームの発生規則である
ことを特徴とする映像品質管理システム。
【請求項17】
請求項9に記載された映像品質管理システムにおいて、
前記品質推定手段は、前記ユーザ端末に設けられていることを特徴とする映像品質管理システム。
【請求項18】
請求項9に記載された映像品質管理システムにおいて、
前記品質推定手段は、前記ネットワークに接続された管理端末に設けられていることを特徴とする映像品質管理システム。
【請求項19】
請求項9に記載された映像品質管理システムにおいて、
前記品質推定手段は、前記ネットワークに接続された前記パケットの送信元の端末に設けられていることを特徴とする映像品質管理システム。


【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate


【公開番号】特開2006−33722(P2006−33722A)
【公開日】平成18年2月2日(2006.2.2)
【国際特許分類】
【出願番号】特願2004−213138(P2004−213138)
【出願日】平成16年7月21日(2004.7.21)
【出願人】(000004226)日本電信電話株式会社 (13,992)
【Fターム(参考)】