映像品質管理システム、映像受信端末、および映像品質管理装置
【課題】劣化映像の再現精度を向上させ、Ｆｕｌｌ Ｒｅｆｅｒｅｎｃｅ法に基づくユーザ体感品質の評価値を高精度に算出する。
【解決手段】映像受信端末１０２は、エラーコンシールメント処理を含めたデコード処理を行い、映像劣化を検出した場合に、フリーズしたピクチャ番号、またはブロック歪の生じたマクロブロックデータを含めた品質情報を生成して送信する。映像品質管理装置１０８は、映像受信端末１０２から受信した品質情報のピクチャ番号またはマクロブロックデータを用いて、映像配信サーバ１０６から取得した原映像を加工し、ユーザがテレビ１０１にて視聴した劣化映像を再現する。
【解決手段】映像受信端末１０２は、エラーコンシールメント処理を含めたデコード処理を行い、映像劣化を検出した場合に、フリーズしたピクチャ番号、またはブロック歪の生じたマクロブロックデータを含めた品質情報を生成して送信する。映像品質管理装置１０８は、映像受信端末１０２から受信した品質情報のピクチャ番号またはマクロブロックデータを用いて、映像配信サーバ１０６から取得した原映像を加工し、ユーザがテレビ１０１にて視聴した劣化映像を再現する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、リアルタイムな映像通信サービスにおいて、映像受信端末側で再生される映像のユーザ体感品質を評価するための映像品質管理システム、およびそれを構成する映像受信端末と映像品質管理装置に関するものである。
【背景技術】
【０００２】
近年、通信と放送の融合という大きな流れの中で、有線および無線を問わずインターネット等を含む広域ネットワークを介した様々な映像通信サービスが提供され始めている。映像通信サービスとしては、例えばＩＰＴＶ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ ＴｅｌｅＶｉｓｉｏｎ）、映像配信、ＴＶ会議、ＴＶ電話がある。このようなサービスを提供する上では、安定した品質の確保が重要な命題となっている。
【０００３】
従来から、ネットワークの通信品質を保証するための技術として「ＱｏＳ（Ｑｕａｌｉｔｙ ｏｆ Ｓｅｒｖｉｃｅ）」がある。この品質保証の考え方をさらに広げ、映像通信サービスを享受するエンドユーザが感じるサービス品質を定義して、これを保証するための技術として「ＱｏＥ（Ｑｕａｌｉｔｙ ｏｆ Ｅｘｐｅｒｉｅｎｃｅ）」または「ユーザ体感品質」が開発されている。
【０００４】
映像通信サービスにおけるユーザ体感品質は、映像コンテンツの符号化状態に関わる品質、ネットワーク伝送時に関わる品質、エンドユーザ環境に関わる品質といった様々な段階の各種要因によって決まると考えられる。従って、それぞれの段階の品質パラメータなどの映像情報を監視および収集することが求められる。そして、これらの情報から客観的な品質評価値（ＱｏＥ値）を算出し、管理する。
【０００５】
品質評価値を算出する手法として、収集した品質パラメータ群から推定する方法（Ｎｏｎ Ｒｅｆｅｒｅｎｃｅ法、Ｒｅｄｕｃｅ Ｒｅｆｅｒｅｎｃｅ法）、および原映像と劣化映像とを直接比較する方法（Ｆｕｌｌ Ｒｅｆｅｒｅｎｃｅ法）等が提案されている。この中で、Ｆｕｌｌ Ｒｅｆｅｒｅｎｃｅ法は、最も高精度の品質評価値を算出することが可能であるが、収集すべき映像情報量が非常に大きくなるため、実運用の映像通信サービスへの適用は困難と考えられてきた。
【０００６】
他方、Ｎｏｎ Ｒｅｆｅｒｅｎｃｅ法をベースにした品質評価方法として例えば特許文献１に係る映像配信サービスの品質モニタ方法がある。この方法では、映像受信端末が品質劣化（パケット損失、遅延、ゆらぎ等）を検出すると、映像ストリームの伝送品質に関する情報（エラー要因と受信レート等）と、デコード中の映像信号の品質に関する情報（エラー要因とブロックノイズのエラー率等）と、視聴者による評価に関する情報（５段階評価等）とを、映像品質管理装置へ通知する。映像品質管理装置は、これらの情報に基づいて映像品質を推定および評価し、サービス課金処理へ反映させていた。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−１５８６２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１などのＮｏｎ Ｒｅｆｅｒｅｎｃｅ法は、映像受信端末側の品質劣化検出時の伝送品質および映像品質に関する品質パラメータ群から品質評価値を算出するよう構成されているので、映像品質管理装置側で、通知された品質パラメータに基づいて劣化映像を再現した場合、その再現精度は良くない。
その理由は、Ｎｏｎ Ｒｅｆｅｒｅｎｃｅ法での品質パラメータ群が、映像受信端末のデコーダ種別に応じてエラーコンシールメント処理の内容が異なることを考慮した情報でないためである。エラーコンシールメント処理とは、伝送路エラー（パケットロス）等が発生したときに、デコード中の映像信号に生じる欠損部分に対して何らかの補正または補填を行う、デコーダの後処理のことである。
【０００９】
従って、Ｎｏｎ Ｒｅｆｅｒｅｎｃｅ法をベースにした映像品質管理装置において再現した劣化映像は、往々にして視聴者が見た劣化映像に忠実でないという課題があった。
【００１０】
この発明は、上記のような課題を解決するためになされたもので、映像受信端末側デコーダのエラーコンシールメント処理を反映した品質情報を用いることにより、劣化映像の再現精度を向上させ、結果としてＦｕｌｌ Ｒｅｆｅｒｅｎｃｅ法に基づくユーザ体感品質の評価値を高精度に算出することを目的とする。
【課題を解決するための手段】
【００１１】
この発明に係る映像品質管理システムは、広域ネットワークに接続されて、映像コンテンツを配信する映像配信サーバと、広域ネットワークおよびホームネットワークにそれぞれ接続されて、両ネットワーク間のパケット転送を行うホームゲートウェイ装置と、ホームネットワークに接続されて、映像配信サーバが配信した映像コンテンツを受信し、当該映像コンテンツに対してエラーコンシールメント処理を含めたデコード処理を行ってテレビ受像機に提供すると共に、当該映像コンテンツの品質劣化を検出した場合、デコード処理後の劣化映像に関する情報を含めた品質情報を生成して送信する映像受信端末と、映像配信サーバおよび広域ネットワークにそれぞれ接続されて、映像配信サーバから映像コンテンツの原映像を取得すると共に、広域ネットワークを介して映像受信端末から品質情報を受信して、当該原映像および当該品質情報に含まれる劣化映像に関する情報を用いて劣化映像を再現してユーザ体感品質の評価値を算出する映像品質管理装置とを備えるものである。
【００１２】
この発明に係る映像受信端末は、受信した映像コンテンツに対してエラーコンシールメント処理を含めたデコード処理を行うと共に、デコード処理した映像の品質劣化を検出した場合、デコード処理後の劣化映像に関する情報を出力するデコード部と、デコード部が出力した劣化映像に関する情報を用いて、品質劣化の種別に応じた品質情報を生成する品質情報生成部と、品質情報生成部が生成した品質情報を広域ネットワークを介して映像品質管理装置へ送信する品質情報送信部とを備えるものである。
【００１３】
この発明に係る映像品質管理装置は、映像受信端末が、エラーコンシールメント処理を含めたデコード処理を行った映像コンテンツの品質劣化を検出した場合にデコード処理後の劣化映像に関する情報を含めた品質情報を送信すると、当該品質情報を広域ネットワークを介して受信してデコード処理後の劣化映像に関する情報を抽出する品質情報解析部と、映像配信サーバから映像コンテンツの原映像を取得する映像取得部と、映像取得部が取得した原映像に対してエラーコンシールメント処理を含めたデコード処理を行うデコード部と、デコード部がデコード処理した原映像および品質情報解析部が抽出したデコード処理後の劣化映像に関する情報を用いて、映像受信端末がテレビ受像機に提供した劣化映像を再現する劣化映像再現部と、劣化映像再現部が再現した劣化映像を用いてユーザ体感品質の評価値を算出する映像品質算出部とを備えるものである。
【発明の効果】
【００１４】
この発明によれば、映像受信端末が、エラーコンシールメント処理を含めたデコード処理を行った後の劣化映像に関する情報から生成した品質情報を送信するようにしたので、エラーコンシールメント処理を反映した品質情報を映像品質管理装置側へ通知可能な映像受信端末を提供することができる。
【００１５】
また、映像品質管理装置が、映像受信端末側から通知された品質情報に含まれるデコード処理後の劣化映像に関する情報を用いて劣化映像を再現するようにしたので、劣化映像の再現精度を向上させることができ、結果としてＦｕｌｌ Ｒｅｆｅｒｅｎｃｅ法に基づくユーザ体感品質の評価値を高精度に算出可能な映像品質管理装置を提供することができる。
【００１６】
さらに、これらの映像受信端末および映像品質管理装置を用いて映像品質管理システムを構成するようにしたので、映像受信端末側デコーダのエラーコンシールメント処理を反映した品質情報を用いることにより劣化映像の再現精度を向上させることができ、結果としてＦｕｌｌ Ｒｅｆｅｒｅｎｃｅ法に基づくユーザ体感品質の評価値を高精度に算出可能な映像品質管理システムを提供することができる。
【図面の簡単な説明】
【００１７】
【図１】この発明の実施の形態１に係る映像品質管理システムの全体構成を示すブロック図である。
【図２】実施の形態１に係る映像受信端末の構成を示すブロック図である。
【図３】実施の形態１に係る映像品質管理装置の構成を示すブロック図である。
【図４】実施の形態１に係る映像表示端末が画面表示する表示イメージを示す図である。
【図５】実施の形態１に係る映像品質管理システムの動作を示すシーケンス図である。
【図６】映像コンテンツの視聴開始時および視聴終了時に通知する品質情報（視聴開始／視聴終了）の構成例を示す図である。
【図７】映像受信端末の品質情報生成部による品質情報（視聴開始／視聴終了）の生成処理動作を示すフローチャートである。
【図８】映像コンテンツのフリーズ発生時に通知する品質情報（劣化発生）の構成例を示す図である。
【図９】映像受信端末の品質情報生成部による品質情報（劣化発生）の生成処理動作を示すフローチャートであり、フリーズ発生時を示す。
【図１０】映像コンテンツのブロック歪発生時に通知する品質情報（劣化発生）の構成例を示す図である。
【図１１】映像受信端末の品質情報生成部による品質情報（劣化発生）の生成処理動作を示すフローチャートであり、ブロック歪発生時を示す。
【図１２】映像品質管理装置の劣化映像再現部による劣化映像の再現処理動作を示すフローチャートである。
【図１３】ブロック歪が発生した劣化映像の再現イメージを示す図である。
【図１４】この発明の実施の形態２に係る映像品質管理装置の内部構成を示すブロック図である。
【図１５】この発明の実施の形態３に係る映像品質管理装置の内部構成を示すブロック図である。
【発明を実施するための形態】
【００１８】
実施の形態１．
図１は、この発明の実施の形態１に係る映像品質管理システムの全体構成を示すブロック図である。
図１において、宅内には、映像通信サービスとして転送される映像コンテンツを視聴者に提示するテレビ受像機（以下、テレビ）１０１と、映像コンテンツをパケット化された映像ストリームとして受信する映像受信端末１０２と、通信インタフェースを保有する宅内のデジタル機器を接続するホームネットワーク１０３と、このホームネットワーク１０３と宅外の広域ＩＰネットワーク１０５との間でパケット転送を行うホームゲートウェイ装置１０４とがある。
【００１９】
宅外には、ＮＧＮ（Ｎｅｔ Ｇｅｎｅｒａｔｉｏｎ Ｎｅｔｗｏｒｋ）を含むＩＰベースの広域ＩＰネットワーク１０５と、映像コンテンツを広域ＩＰネットワーク１０５を介して映像受信端末１０２へ配信する映像配信サーバ１０６と、映像コンテンツを格納する映像ストレージ１０７と、映像受信端末１０２が通知した品質情報を収集してユーザがテレビ１０１にて視聴した劣化映像を再現し、ユーザ体感品質を評価する映像品質管理装置１０８と、映像品質管理装置１０８が再現した劣化映像を表示する映像表示端末１０９とがある。
【００２０】
図２は、図１に示す映像受信端末１０２の内部構成を示すブロック図である。
図２に示すように、映像受信端末１０２は、ホームネットワーク１０３に接続して通信プロトコル処理を行う通信部２０１と、パケット化された映像ストリームの受信制御処理を行う映像制御部２０２と、映像コンテンツに対してエラーコンシールメント処理を含めたデコード処理を行うと共に品質が劣化した映像の検出処理を行うデコード部２０３と、デコードした映像のテレビ１０１への出力制御処理を行う映像出力制御部２０４と、品質劣化の種別に応じた品質情報の生成処理を行う品質情報生成部２０５と、映像品質管理装置１０８に対する品質情報の通知処理を行う品質情報送信部２０６とを備える。
【００２１】
この映像受信端末１０２は、ＱｏＥに対応した端末であり、品質情報を生成して送信する機能を有する。一方、ＱｏＥに対応していない通常の映像受信端末の場合には、ホームネットワーク１０３を経由して受信した映像ストリームが通信部２０１、映像制御部２０２、デコード部２０３および映像出力制御部２０４を経て、テレビ１０１に映像を提示するだけの構成である。
【００２２】
図３は、図１に示す映像品質管理装置１０８の内部構成を示すブロック図である。
図３に示すように、映像品質管理装置１０８は、広域ＩＰネットワーク１０５に接続して通信プロトコル処理を行う通信部３０１と、広域ＩＰネットワーク１０５を介して映像受信端末１０２から受信した品質情報の中身を解析する品質情報解析部３０２と、映像コンテンツの原映像を広域ＩＰネットワーク１０５を経由せずに映像配信サーバ１０６から直接取得する映像取得部３０３と、取得した原映像に対してエラーコンシールメント処理を含めたデコード処理を行うデコード部３０４と、原映像の一部を品質情報に含まれる情報を用いて加工して劣化映像を再現する劣化映像再現部３０５と、再現した劣化映像を用いて品質評価値（ＱｏＥ値）を算出する映像品質算出部３０６とを備える。
なお、劣化映像再現部３０５は、再現した劣化映像を映像品質算出部３０６へ出力する処理に加え、原映像と再現した劣化映像とを映像表示端末１０９へ出力する処理を行う。
【００２３】
図４は、図１に示す映像表示端末１０９が画面表示する表示イメージを示す図である。
図４に示すように、映像表示端末１０９は、原映像を表示する原映像表示画面４０１と、宅内のテレビ１０１にてユーザが視聴した劣化映像と同じ再現劣化映像を表示する劣化映像表示画面４０２とが並べて設けられ、原映像と再現劣化映像とを並べて比較提示する。
【００２４】
次に、映像品質管理システムの動作を説明する。
図５は、この発明の実施の形態１に係る映像品質管理システムの動作を示すシーケンス図である。
図５に示すように、まずステップＳＴ５０１にて映像配信サーバ１０６が映像ストレージ１０７から映像コンテンツを読み出し、広域ＩＰネットワーク１０５、ホームゲートウェイ装置１０４およびホームネットワーク１０３を経由して映像受信端末１０２へ配信する。
【００２５】
続くステップＳＴ５０２にて、映像受信端末１０２の通信部２０１がホームネットワーク１０３から映像コンテンツを受信して映像制御部２０２へ出力し、映像制御部２０２が映像コンテンツのデコード開始時点で品質情報生成部２０５に対して視聴開始を通知し、同時にＲＴＰ（Ｒｅａｌ−ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）パケットの先頭シーケンス番号を渡す。
この通知を受けて、品質情報生成部２０５は、視聴開始時に映像品質管理装置１０８に通知するための品質情報（視聴開始）を生成する。品質情報生成部２０５における品質情報（視聴開始）の生成処理の詳細については後述する。
また、映像コンテンツは映像制御部２０２からデコード部２０３へ出力され、デコード部２０３でデコード処理を行い映像出力制御部２０４からテレビ１０１へ出力される。
【００２６】
続くステップＳＴ５０３にて、品質情報生成部２０５の生成した品質情報（視聴開始）を品質情報送信部２０６が受け取り、映像品質管理装置１０８へ送信する。送信された品質情報（視聴開始）は、通信部２０１、ホームネットワーク１０３、ホームゲートウェイ装置１０４および広域ＩＰネットワーク１０５を経由して映像品質管理装置１０８が受信する。
【００２７】
また、映像コンテンツ視聴中のステップＳＴ５０４にて、映像受信端末１０２のデコード部２０３がデコード中の映像コンテンツについて、ＲＴＰパケットのシーケンス番号から判定するパケット損失等に起因する品質劣化を検出すると、品質情報生成部２０５に対して品質劣化の発生を通知し、同時にエラー対象のピクチャ番号と、品質劣化種別（フリーズまたはブロック歪）に応じた劣化映像データを渡す。このピクチャ番号は、デコード開始時から何枚目のピクチャにエラーが発生しているかを示す。劣化映像データの詳細は後述する。
【００２８】
続くステップＳＴ５０５にて、品質情報生成部２０５は品質劣化発生時に通知する品質情報（劣化発生）を生成する。この品質情報（劣化発生）には、エラーコンシールメント処理を含むデコード処理後の劣化映像に関する情報である劣化映像データ（ピクチャ番号、マクロブロックデータなど）を含める。品質情報生成部２０５における品質情報（劣化発生）の生成処理の詳細については後述する。
続くステップＳＴ５０６にて、品質情報生成部２０５の生成した品質情報（劣化発生）を品質情報送信部２０６が受け取り、映像品質管理装置１０８へ送信する。
【００２９】
続くステップＳＴ５０７にて、映像品質管理装置１０８の通信部３０１が広域ＩＰネットワーク１０５から品質情報（劣化発生）を受信して品質情報解析部３０２へ出力し、品質情報解析部３０２が品質情報（劣化発生）の中身を解析して映像取得部３０３へ品質劣化の発生を通知すると共に、品質情報（劣化発生）に含まれる劣化映像データを劣化映像再現部３０５へ出力する。劣化発生の通知を受けた映像取得部３０３は、劣化の発生した映像コンテンツの原映像を映像配信サーバ１０６から取得し、デコード部３０４がデコード処理を行う。
【００３０】
続くステップＳＴ５０８にて劣化映像再現部３０５が、品質情報解析部３０２から出力された劣化映像データとデコード部３０４から出力された原映像のピクチャを合成して劣化映像を再現する。劣化映像再現部３０５の劣化映像の再現処理の詳細については後述する。
【００３１】
最後に、ステップＳＴ５０９にて、映像受信端末１０２の映像制御部２０２が映像コンテンツのデコード終了時点で品質情報生成部２０５に対して視聴終了を通知し、同時にＲＴＰパケットの最終シーケンス番号を渡す。
この通知を受けて、品質情報生成部２０５は、視聴終了時に映像品質管理装置１０８に通知するための品質情報（視聴終了）を生成する。品質情報送信部２０６における品質情報（視聴終了）の生成処理の詳細については後述する。
続くステップＳＴ５１０にて、品質情報生成部２０５の生成した品質情報（視聴終了）を品質情報送信部２０６が受け取り、映像品質管理装置１０８へ送信する。
【００３２】
映像品質管理装置１０８は、品質情報（視聴開始）の通知を受けると、その通知で指定される視聴開始位置に相当する原映像の位置から劣化映像の再現を開始し、品質情報（視聴終了）の通知を受けると、その通知で指定される視聴終了位置に相当する原映像の位置で劣化映像の再現を停止することになる。なお、図示は省略するが、原映像と再現された劣化映像とを用いて、映像品質算出部３０６がユーザ体感品質の品質評価値を算出する。品質評価値の算出方法は、公知の算出方法でよいため詳細な説明は省略する。
【００３３】
次に、映像受信端末１０２の品質情報生成部２０５による品質情報の生成処理の詳細を説明する。まず品質情報（視聴開始）および品質情報（視聴終了）について説明し、次に品質情報（劣化発生）について説明する。
そもそも、視聴開始時および視聴終了時に品質情報を生成して映像品質管理装置１０８へ送信する目的は、映像品質管理装置１０８で劣化映像を再現する際の前段階で、原映像の出力開始と停止の位置情報を通知することにある。従って、品質情報（視聴開始／視聴終了）は、劣化映像の再現に用いる必須の情報ではなく、補助的な情報と言える。
【００３４】
図６は、映像コンテンツの視聴開始時および視聴終了時に通知する品質情報（視聴開始／視聴終了）の構成例を示す図である。品質情報（視聴開始／視聴終了）は、映像受信端末１０２を識別する「端末識別情報」６０１と、視聴開始／視聴終了等の状態種別を示す「品質情報種別」６０２と、現在視聴のチャネル番号を特定する「視聴チャネル」６０３と、視聴開始／視聴終了時の先頭／最終ＲＴＰパケットのシーケンス番号を示す「パケット・シーケンス番号」６０４とで構成される。パケット・シーケンス番号６０４は、パケットレイヤ（パケット層）のデータである。
【００３５】
図７は、映像受信端末１０２の品質情報生成部２０５による品質情報（視聴開始／視聴終了）の生成処理動作を示すフローチャートである。
図７に示すように、映像制御部２０２から視聴開始または視聴終了が通知されると、品質情報生成部２０５はまずステップＳＴ７０１にて品質情報種別６０２に「視聴開始」または「視聴終了」を設定する。続くステップＳＴ７０２にて、視聴チャネル６０３に「現在のチャネル番号」（例えば６）を設定する。続くステップＳＴ７０３にて、パケット・シーケンス番号６０４に、映像制御部２０２から視聴開始／視聴終了の通知と共に渡された「先頭／最終のＲＴＰパケット・シーケンス番号」を設定する。最後にステップＳＴ７０４にて、品質情報生成部２０５は生成した品質情報（視聴開始／視聴終了）に自端末の端末識別情報６０１を設定して、品質情報送信部２０６へ渡す。
【００３６】
次に、品質情報（劣化発生）について説明する。
まず、品質劣化の一例としてフリーズ発生時の説明をする。そもそも、品質劣化（フリーズ）発生時に品質情報を生成して映像品質管理装置１０８へ送信する目的は、映像品質管理装置１０８で劣化映像を再現する際に使用する、フリーズしたピクチャ番号（劣化映像データの一つ）を通知することにある。
【００３７】
図８は、映像コンテンツのフリーズ発生時に通知する品質情報（劣化発生）の構成例を示す図である。品質情報（劣化発生）は、「端末識別情報」８０１と、発生した劣化等の状態種別を示す「品質情報種別」８０２と、「視聴チャネル」８０３と、フリーズ発生のピクチャを特定するための「ピクチャ番号」８０４とで構成される。ピクチャ番号８０４は、デコード部２０３がデコード中にカウントアップを継続し、デコード停止時にリセットする数値である。ピクチャ番号８０４は、メディアレイヤ（メディア層）のデータである。
【００３８】
図９は、映像受信端末１０２の品質情報生成部２０５による品質情報（劣化発生）の生成処理動作を示すフローチャートであり、フリーズ発生時を示す。
図９に示すように、デコード部２０３からフリーズ発生が通知されると、品質情報生成部２０５はまずステップＳＴ９０１にて品質情報種別８０２に「フリーズ」を設定する。続くステップＳＴ９０２にて、視聴チャネル８０３に「現在のチャネル番号」を設定する。続くステップＳＴ９０３にて、ピクチャ番号８０４に、デコード部２０３からフリーズ発生の通知と共に渡された「フリーズしたピクチャ番号」を設定する。
【００３９】
続くステップＳＴ９０４にて、品質情報生成部２０５はピクチャ単位の平均再生時間を考慮した一定時間を待った後、ステップＳＴ９０５にて、デコード部２０３から次のフリーズ発生の通知があるか判定する。その結果、次の通知がある場合（ステップＳＴ９０５“ＹＥＳ”）、即ちフリーズが継続している場合は、再度ステップＳＴ９０３から処理を継続する。一方、次の通知がない場合（ステップＳＴ９０５“ＮＯ”）、即ちフリーズが解消した場合は、続くステップＳＴ９０６にて、品質情報生成部２０５は生成した品質情報（劣化発生）に自端末の端末識別情報８０１を設定して、品質情報送信部２０６へ渡す。
【００４０】
次に、品質劣化の一例としてブロック歪（ひずみ）発生時の説明をする。そもそも、品質劣化（ブロック歪）発生時に品質情報を生成した映像品質管理装置１０８へ送信する目的は、映像品質管理装置１０８で劣化映像を再現する際に使用する、特定ピクチャ中のブロック歪データ（劣化映像データの一つ）を通知することにある。
【００４１】
図１０は、映像コンテンツのブロック歪発生時に通知する品質情報（劣化発生）の構成例を示す図である。品質情報（劣化発生）は、「端末識別情報」１００１と、「品質情報種別」１００２と、「視聴チャネル」１００３と、「ピクチャ番号」１００４と、ピクチャ番号１００４のピクチャ中に発生したブロック歪の数を示す「ブロック歪の数」１００５と、ピクチャ番号１００４のピクチャ中に発生したＮ（Ｎは整数）個のブロック歪のうちｎ番目のブロック歪の位置情報を示す「ブロック歪ｎの位置情報」１００６−ｎと、その劣化映像データを示す「ブロック歪ｎの劣化映像データ」１００７−ｎとで構成される。ブロック歪ｎの位置情報１００６−ｎおよびブロック歪ｎの劣化映像データ１００７−ｎは、それぞれ、発生したブロック歪の数と同数設定される。ピクチャ番号１００４、ブロック歪の数１００５、ブロック歪ｎの位置情報１００６−ｎおよびブロック歪ｎの劣化映像データ１００７−ｎは、メディアレイヤ（メディア層）のデータである。
【００４２】
図１１は、映像受信端末１０２の品質情報生成部２０５による品質情報（劣化発生）の生成処理動作を示すフローチャートであり、ブロック歪発生時を示す。
図１１に示すように、デコード部２０３からブロック歪発生が通知されると、品質情報生成部２０５はまずステップＳＴ１１０１にて品質情報種別１００２に「ブロック歪」を設定する。続くステップＳＴ１１０２にて、視聴チャネル１００３に「現在のチャネル番号」を設定する。続くステップＳＴ１１０３にて、ピクチャ番号１００４に、デコード部２０３からブロック歪発生の通知と共に渡された「ブロック歪が起こったピクチャ番号」を設定する。続くステップＳＴ１１０４にて、ブロック歪１の位置情報１００６−１に、デコード部２０３からブロック歪発生の通知と共に渡された劣化映像データのうちの「１番目のブロック歪が発生したマクロブロックの位置情報」を設定する。
続くステップＳＴ１１０５にて、ブロック歪１の劣化映像データ１００７−１に、デコード部２０３からブロック歪発生の通知と共に渡された劣化映像データのうちの「１番目のブロック歪が発生したマクロブロックのデータ」を設定する。このとき、品質情報生成部２０５は、マクロブロックのデータを圧縮してサイズを縮小させてもよい。
【００４３】
続くステップＳＴ１１０６にて、後続のブロック歪が存在するか判定する。その結果、後続が存在する場合（ステップＳＴ１１０６“ＹＥＳ”）は、再度ステップＳＴ１１０４から次のブロック歪の箇所に対する処理を継続する。一方、後続が存在しない場合（ステップＳＴ１１０６“ＮＯ”）、即ち当該ピクチャ中の最後のブロック歪Ｎの箇所に対する処理終了の場合は、続くステップＳＴ１１０７にて、品質情報生成部２０５は当該ピクチャ中のブロック歪の数１００５を設定し、さらに自端末の端末識別情報１００１を設定した品質情報（劣化発生）を品質情報送信部２０６へ渡す。
【００４４】
次に、映像品質管理装置１０８の劣化映像再現部３０５による劣化映像の再現処理の詳細を説明する。
図１２は、映像品質管理装置１０８の劣化映像再現部３０５による劣化映像の再現処理動作を示すフローチャートである。
図１２において、劣化映像再現部３０５はまずステップＳＴ１２０１にて、デコード部３０４が品質情報（視聴開始）で指定されたパケット・シーケンス番号以降の原映像をデコード処理したピクチャを取得する。続くステップＳＴ１２０２にて、カウントアップしている当該ピクチャ番号と、品質情報解析部３０２から渡された品質情報（劣化発生）のピクチャ番号が一致するかチェックする。その結果、一致する場合（ステップＳＴ１２０２“ＹＥＳ”）は、続くステップＳＴ１２０３にて品質情報解析部３０２から渡された品質情報（劣化発生）の品質情報種別を判定する。
【００４５】
判定の結果、品質劣化の種別がフリーズであれば（ステップＳＴ１２０３“フリーズ”）、続くステップＳＴ１２０４にてピクチャ出力を抑止することで、フリーズ状態を再現する。
【００４６】
一方、品質劣化の種別がブロック歪であれば（ステップＳＴ１２０３“ブロック歪”）、続くステップＳＴ１２０５にて品質情報解析部３０２から渡された品質情報（劣化発生）の劣化映像データ、即ちブロック歪ｎの位置情報および劣化映像データに従い、「１番目のブロック歪が発生した位置情報」に相当する原映像のデータを「１番目のブロック歪が発生したマクロブロックのデータ」へ置き換えることで、ブロック歪を再現する。続くステップＳＴ１２０６にて、当該ピクチャ内に後続のブロック歪が存在するか判定する。その結果、後続が存在する場合（ステップＳＴ１２０６“ＹＥＳ”）は、再度ステップＳＴ１２０５から次のブロック歪の箇所に対する映像データの置き換え処理を継続する。一方、後続が存在しない場合（ステップＳＴ１２０６“ＮＯ”）、即ち当該ピクチャ中の最後のブロック歪の箇所に対する処理終了の場合は、続くステップＳＴ１２０７にて、置き換え処理した当該ピクチャを出力する。
【００４７】
また、ステップＳＴ１２０２にて当該ピクチャ番号と、品質情報解析部３０２から渡された品質情報（劣化発生）のピクチャ番号とが一致しない場合（ステップＳＴ１２０２“ＮＯ”）も、続くステップＳＴ１２０７にて原映像のピクチャをそのまま出力する。
映像品質管理装置１０８は、以上の処理を、原映像が品質情報（視聴終了）で指定されたパケット・シーケンス番号に一致するまで行って、劣化映像の再現を終了する。
なお、品質情報解析部３０２は、品質情報（劣化発生）に含まれるマクロブロックのデータが圧縮されている場合には伸長操作すればよい。
【００４８】
図１３は、ブロック歪が発生した劣化映像の再現イメージを示す図である。
図１３に示すように、原映像１３０１と、品質情報（劣化発生）に含まれるブロック歪の劣化映像データ１３０２とを合成すると（即ち、原映像のピクチャの一部を品質情報中のブロック歪データで置き換えると）、ブロック歪を再現した再現劣化映像１３０３になる。映像品質管理装置１０８の映像品質算出部３０６は、Ｆｕｌｌ Ｒｅｆｅｒｅｎｃｅ法に基づいて、原映像１３０１と再現劣化映像１３０３とを比較して、品質評価値を算出すればよい。
【００４９】
以上より、実施の形態１によれば、映像品質管理システムを構成する映像受信端末１０２を、受信した映像コンテンツに対してエラーコンシールメント処理を含めたデコード処理を行うと共に、デコード処理した映像の品質劣化を検出した場合、デコード処理後の劣化映像データを出力するデコード部２０３と、デコード部２０３が出力した劣化映像データを用いて、品質劣化種別に応じた品質情報（劣化発生）を生成する品質情報生成部２０５と、品質情報生成部２０５が生成した品質情報（劣化発生）を広域ＩＰネットワーク１０５を介して映像品質管理装置１０８へ送信する品質情報送信部２０６とを備えるように構成した。このため、エラーコンシールメント処理を反映した品質情報（パケットレイヤのデータではなく、メディアレイヤの劣化映像データを含む）を映像品質管理装置側へ通知可能な映像受信端末を提供することができる。
【００５０】
また、実施の形態１によれば、映像品質管理システムを構成する映像品質管理装置１０８を、品質情報（劣化発生）を広域ＩＰネットワーク１０５を介して受信してデコード処理後の劣化映像データを抽出する品質情報解析部３０２と、映像配信サーバ１０６から映像コンテンツの原映像を取得する映像取得部３０３と、映像取得部３０３が取得した原映像に対してエラーコンシールメント処理を含めたデコード処理を行うデコード部３０４と、デコード部３０４がデコード処理した原映像および品質情報解析部３０２が抽出したデコード処理後の劣化映像データを用いて、映像受信端末１０２がテレビ１０１に提供した劣化映像を再現する劣化映像再現部３０５と、劣化映像再現部３０５が再現した劣化映像を用いてユーザ体感品質の評価値を算出する映像品質算出部３０６とを備えるように構成した。このため、受信した品質情報に含まれるメディアレイヤの劣化映像データを用いて原映像から劣化映像を再現できるようになるので、ユーザが視聴した劣化映像をより忠実に再現でき、結果として高精度の品質評価値を算出することができる。
【００５１】
実施の形態２．
図１４は、この発明の実施の形態２に係る映像品質管理装置１０８の内部構成を示すブロック図である。この図１４において、図３と同一または相当の部分については同一の符号を付し説明を省略する。上記実施の形態１に係る映像品質管理装置１０８のデコード部３０４は、単一の種別のデコード処理を行う構成であったが、本実施の形態２に係る映像品質管理装置１０８のデコード部３０４は、互いに種別の異なる＃１〜＃Ｍ（Ｍは整数）のデコーダ１４０１−１〜１４０１−Ｍを備える。
なお、映像品質管理システム、映像受信端末および映像表示端末の構成は、図１、図２および図４と同様の構成であるため、以下ではこれらの図を援用して説明する。
【００５２】
上記実施の形態１（図３）の映像品質管理装置１０８は、単一のデコーダで構成されるデコード部３０４でデコードした原映像と品質情報（劣化発生）中の劣化映像データとを合成して劣化映像を再現する構成であった。これに対して、図１４に示す本実施の形態２の映像品質管理装置１０８は、互いに異なるデコード処理を行う複数のデコーダ１４０１−１〜１４０１−Ｍを具備し、映像受信端末１０２のデコード部２０３によるデコード処理と同じ種類のデコード処理を行うデコーダ１４０１−ｘを選択的に切り替えて使用する構成とする。これは、映像受信端末１０２に複数種類があって、また、搭載されるデコーダも複数種別が存在することを前提とした考えに基づく。そして、このような前提の場合にも、視聴者が見た原映像に完全に忠実なピクチャを生成可能にする。
【００５３】
次に、映像品質管理装置１０８の動作を説明する。
図１４において、まず品質情報解析部３０２は映像受信端末１０２から通知された品質情報（視聴開始／視聴終了／劣化発生）の中身を解析し、映像取得部３０３へ品質劣化の発生および当該劣化が発生した映像受信端末１０２を示す端末識別情報を通知する。映像取得部３０３は、品質情報解析部３０２から通知を受けると、映像配信サーバ１０６から原映像を取得する。その後、映像取得部３０３は、品質情報解析部３０２から渡された端末識別情報から特定されるデコーダ種別に対応する種別のデコーダ１４０１−ｘ（ｘは１〜Ｍの整数）をデコーダ１４０１−１〜１４０１−Ｍから選択し、そのデコーダ部１４０１−ｘに原映像のデコード処理を行わせる。続いて劣化映像再現部３０５が、デコーダ１４０１−ｘがデコード処理した原映像のピクチャの一部を、品質情報解析部３０２から渡された劣化映像データのマクロブロックデータで置き換えて劣化映像を再現する。最後に映像品質算出部３０６が、再現された劣化映像を用いて品質評価値を算出する。
【００５４】
以上より、実施の形態２によれば、映像品質管理システムを構成する映像品質管理装置１０８において、品質情報解析部３０２は映像受信端末１０２側のデコード部２０３の種別を示す端末識別情報を品質情報から抽出し、デコード部３０４は互いに異なる種別の複数のデコーダ１４０１−１〜１４０１−Ｍを有し、品質情報解析部３０２が抽出した端末識別情報に基づいて、映像受信端末１０２側のデコード部２０３の種別に対応したデコーダ１４０１−ｘに切り替えて原映像のデコード処理を行うように構成した。このため、デコーダ種別毎のエラーコンシールメント処理を反映して劣化映像を再現できるようになるので、ユーザが視聴した劣化映像を完全に忠実に再現でき、結果として最精度の品質評価値を算出することができる。
【００５５】
実施の形態３．
図１５は、この発明の実施の形態３に係る映像品質管理装置１０８の内部構成を示すブロック図である。この図１５において、図３と同一または相当の部分については同一の符号を付し説明を省略する。本実施の形態３に係る映像品質管理装置１０８は、新たにストレージ１５０１、品質情報蓄積部１５０２および映像品質データベース部１５０３を備える。
なお、映像品質管理システム、映像受信端末および映像表示端末の構成は、図１、図２および図４と同様の構成であるため、以下ではこれらの図を援用して説明する。
【００５６】
図１５に示すように、映像品質管理装置１０８は記憶手段であるストレージ１５０１を具備する。品質情報蓄積部１５０２は、映像受信端末１０２から通知された品質情報をストレージ１５０１へ保存する。映像品質データベース部１５０３は、品質情報蓄積部１５０２によりストレージ１５０１に蓄積された品質情報に、映像品質算出部３０６が算出した品質評価値を紐付けして保存する。また、この映像品質データベース部１５０３は、外部から受け付けた劣化映像の再現開始要求に従い、ストレージ１５０１に蓄積した品質情報を取得して品質情報解析部３０２へ出力し、品質情報解析部３０２をはじめとする映像品質管理装置１０８の各部にこの品質情報に対応する劣化映像の再現処理を開始させる。
【００５７】
次に、映像品質管理装置１０８の動作を説明する。
図１５において、まず品質情報解析部３０２は映像受信端末１０２から通知された品質情報（視聴開始／視聴終了／劣化発生）を品質情報蓄積部１５０２へ渡すと共に、その中身を解析して品質情報解析部３０２へ品質劣化の発生を通知する。
品質情報蓄積部１５０２は、品質情報解析部３０２から渡された品質情報（視聴開始／視聴終了／劣化発生）をストレージ１５０１に蓄積する。
【００５８】
他方、映像取得部３０３は、品質情報解析部３０２から通知を受けると、映像配信サーバ１０６から原映像を取得し、続いてデコード部３０４が原映像をデコード処理する。続いて劣化映像再現部３０５が、デコード部３０４がデコード処理した原映像のピクチャの一部を、品質情報解析部３０２から渡された劣化映像データのマクロブロックデータで置き換えて劣化映像を再現する。その後、映像品質算出部３０６が再現された劣化映像を用いて品質評価値を算出し、映像品質データベース部１５０３へ渡す。映像品質データベース部１５０３は、当該品質評価値を、ストレージ１５０１に蓄積された品質情報と紐付けして蓄積する。
【００５９】
また、映像品質データベース部１５０３は、映像品質管理装置１０８のユーザインタフェースを介して劣化映像の再現開始要求を受け付けた場合に、その再現要求対象の映像コンテンツとその品質劣化の種別（品質情報種別）、その劣化が発生した映像受信端末１０２（端末識別情報）、発生日時等を特定する情報をストレージ１５０１から取得して、品質情報解析部３０２に対して劣化映像の再現処理の開始を要求する。
映像品質データベース部１５０３から再現処理の開始要求を受けた品質情報解析部３０２は、映像受信端末１０２から品質情報が通知された場合と同様の動作を行って、映像取得部３０３、デコード部３０４および劣化映像再現部３０５と協働して劣化映像を再現し、映像表示端末１０９へ提示する。
【００６０】
以上より、実施の形態３によれば、映像品質管理システムを構成する映像品質管理装置１０８が、映像受信端末１０２から受信した品質情報を、映像品質算出部３０６が算出した品質評価値と紐付けして蓄積するストレージ１５０１と、外部から受け付けた開始要求に従い、ストレージ１５０１に蓄積した品質情報を品質情報解析部３０２に出力して、当該品質情報に対応する劣化映像の再現処理を開始させる映像品質データベース部１５０３とを備えるように構成した。このため、映像品質管理装置１０８側だけで繰り返し、高精度の劣化映像を再現することができる。
【００６１】
また、映像受信端末１０２から通知された品質情報を品質評価値と紐付けしてデータベース化しているので、再現劣化映像と品質評価値の対比分析、および品質評価値自体の高精度化を進めることができる。この結果、きめ細やかな課金サービスを運用することができるようになる。
【００６２】
なお、上述した説明では、上記実施の形態１で示した構成に対して上記実施の形態３を適用する場合を示したが、これに限らず、発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【符号の説明】
【００６３】
１０１ テレビ（テレビ受像機）、１０２ 映像受信端末、１０３ ホームネットワーク、１０４ ホームゲートウェイ装置、１０５ 広域ＩＰネットワーク、１０６ 映像配信サーバ、１０７ 映像ストレージ、１０８ 映像品質管理装置、１０９ 映像表示端末、２０１ 通信部、２０２ 映像制御部、２０３ デコード部、２０４ 映像出力制御部、２０５ 品質情報生成部、２０６ 品質情報送信部、３０１ 通信部、３０２ 品質情報解析部、３０３ 映像取得部、３０４ デコード部、３０５ 劣化映像再現部、３０６ 映像品質算出部、４０１ 原映像表示画面、４０２ 劣化映像表示画面、６０１ 端末識別情報、６０２ 品質情報種別、６０３ 視聴チャネル、６０４ パケット・シーケンス番号、８０１ 端末識別情報、８０２ 品質情報種別、８０３ 視聴チャネル、８０４ ピクチャ番号、１００１ 端末識別情報、１００２ 品質情報種別、１００３ 視聴チャネル、１００４ ピクチャ番号、１００５ ブロック歪の数、１００６−１〜１００６−Ｎ ブロック歪１〜Ｎの位置情報、１００７−１〜１００７−Ｎ ブロック歪１〜Ｎの劣化映像データ、１３０１ 原映像、１３０２ 劣化映像データ、１３０３ 再現劣化映像、１４０１−１〜１４０１−Ｍ デコーダ、１５０１ ストレージ、１５０２ 品質情報蓄積部、１５０３ 映像品質データベース部。
【技術分野】
【０００１】
この発明は、リアルタイムな映像通信サービスにおいて、映像受信端末側で再生される映像のユーザ体感品質を評価するための映像品質管理システム、およびそれを構成する映像受信端末と映像品質管理装置に関するものである。
【背景技術】
【０００２】
近年、通信と放送の融合という大きな流れの中で、有線および無線を問わずインターネット等を含む広域ネットワークを介した様々な映像通信サービスが提供され始めている。映像通信サービスとしては、例えばＩＰＴＶ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ ＴｅｌｅＶｉｓｉｏｎ）、映像配信、ＴＶ会議、ＴＶ電話がある。このようなサービスを提供する上では、安定した品質の確保が重要な命題となっている。
【０００３】
従来から、ネットワークの通信品質を保証するための技術として「ＱｏＳ（Ｑｕａｌｉｔｙ ｏｆ Ｓｅｒｖｉｃｅ）」がある。この品質保証の考え方をさらに広げ、映像通信サービスを享受するエンドユーザが感じるサービス品質を定義して、これを保証するための技術として「ＱｏＥ（Ｑｕａｌｉｔｙ ｏｆ Ｅｘｐｅｒｉｅｎｃｅ）」または「ユーザ体感品質」が開発されている。
【０００４】
映像通信サービスにおけるユーザ体感品質は、映像コンテンツの符号化状態に関わる品質、ネットワーク伝送時に関わる品質、エンドユーザ環境に関わる品質といった様々な段階の各種要因によって決まると考えられる。従って、それぞれの段階の品質パラメータなどの映像情報を監視および収集することが求められる。そして、これらの情報から客観的な品質評価値（ＱｏＥ値）を算出し、管理する。
【０００５】
品質評価値を算出する手法として、収集した品質パラメータ群から推定する方法（Ｎｏｎ Ｒｅｆｅｒｅｎｃｅ法、Ｒｅｄｕｃｅ Ｒｅｆｅｒｅｎｃｅ法）、および原映像と劣化映像とを直接比較する方法（Ｆｕｌｌ Ｒｅｆｅｒｅｎｃｅ法）等が提案されている。この中で、Ｆｕｌｌ Ｒｅｆｅｒｅｎｃｅ法は、最も高精度の品質評価値を算出することが可能であるが、収集すべき映像情報量が非常に大きくなるため、実運用の映像通信サービスへの適用は困難と考えられてきた。
【０００６】
他方、Ｎｏｎ Ｒｅｆｅｒｅｎｃｅ法をベースにした品質評価方法として例えば特許文献１に係る映像配信サービスの品質モニタ方法がある。この方法では、映像受信端末が品質劣化（パケット損失、遅延、ゆらぎ等）を検出すると、映像ストリームの伝送品質に関する情報（エラー要因と受信レート等）と、デコード中の映像信号の品質に関する情報（エラー要因とブロックノイズのエラー率等）と、視聴者による評価に関する情報（５段階評価等）とを、映像品質管理装置へ通知する。映像品質管理装置は、これらの情報に基づいて映像品質を推定および評価し、サービス課金処理へ反映させていた。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−１５８６２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１などのＮｏｎ Ｒｅｆｅｒｅｎｃｅ法は、映像受信端末側の品質劣化検出時の伝送品質および映像品質に関する品質パラメータ群から品質評価値を算出するよう構成されているので、映像品質管理装置側で、通知された品質パラメータに基づいて劣化映像を再現した場合、その再現精度は良くない。
その理由は、Ｎｏｎ Ｒｅｆｅｒｅｎｃｅ法での品質パラメータ群が、映像受信端末のデコーダ種別に応じてエラーコンシールメント処理の内容が異なることを考慮した情報でないためである。エラーコンシールメント処理とは、伝送路エラー（パケットロス）等が発生したときに、デコード中の映像信号に生じる欠損部分に対して何らかの補正または補填を行う、デコーダの後処理のことである。
【０００９】
従って、Ｎｏｎ Ｒｅｆｅｒｅｎｃｅ法をベースにした映像品質管理装置において再現した劣化映像は、往々にして視聴者が見た劣化映像に忠実でないという課題があった。
【００１０】
この発明は、上記のような課題を解決するためになされたもので、映像受信端末側デコーダのエラーコンシールメント処理を反映した品質情報を用いることにより、劣化映像の再現精度を向上させ、結果としてＦｕｌｌ Ｒｅｆｅｒｅｎｃｅ法に基づくユーザ体感品質の評価値を高精度に算出することを目的とする。
【課題を解決するための手段】
【００１１】
この発明に係る映像品質管理システムは、広域ネットワークに接続されて、映像コンテンツを配信する映像配信サーバと、広域ネットワークおよびホームネットワークにそれぞれ接続されて、両ネットワーク間のパケット転送を行うホームゲートウェイ装置と、ホームネットワークに接続されて、映像配信サーバが配信した映像コンテンツを受信し、当該映像コンテンツに対してエラーコンシールメント処理を含めたデコード処理を行ってテレビ受像機に提供すると共に、当該映像コンテンツの品質劣化を検出した場合、デコード処理後の劣化映像に関する情報を含めた品質情報を生成して送信する映像受信端末と、映像配信サーバおよび広域ネットワークにそれぞれ接続されて、映像配信サーバから映像コンテンツの原映像を取得すると共に、広域ネットワークを介して映像受信端末から品質情報を受信して、当該原映像および当該品質情報に含まれる劣化映像に関する情報を用いて劣化映像を再現してユーザ体感品質の評価値を算出する映像品質管理装置とを備えるものである。
【００１２】
この発明に係る映像受信端末は、受信した映像コンテンツに対してエラーコンシールメント処理を含めたデコード処理を行うと共に、デコード処理した映像の品質劣化を検出した場合、デコード処理後の劣化映像に関する情報を出力するデコード部と、デコード部が出力した劣化映像に関する情報を用いて、品質劣化の種別に応じた品質情報を生成する品質情報生成部と、品質情報生成部が生成した品質情報を広域ネットワークを介して映像品質管理装置へ送信する品質情報送信部とを備えるものである。
【００１３】
この発明に係る映像品質管理装置は、映像受信端末が、エラーコンシールメント処理を含めたデコード処理を行った映像コンテンツの品質劣化を検出した場合にデコード処理後の劣化映像に関する情報を含めた品質情報を送信すると、当該品質情報を広域ネットワークを介して受信してデコード処理後の劣化映像に関する情報を抽出する品質情報解析部と、映像配信サーバから映像コンテンツの原映像を取得する映像取得部と、映像取得部が取得した原映像に対してエラーコンシールメント処理を含めたデコード処理を行うデコード部と、デコード部がデコード処理した原映像および品質情報解析部が抽出したデコード処理後の劣化映像に関する情報を用いて、映像受信端末がテレビ受像機に提供した劣化映像を再現する劣化映像再現部と、劣化映像再現部が再現した劣化映像を用いてユーザ体感品質の評価値を算出する映像品質算出部とを備えるものである。
【発明の効果】
【００１４】
この発明によれば、映像受信端末が、エラーコンシールメント処理を含めたデコード処理を行った後の劣化映像に関する情報から生成した品質情報を送信するようにしたので、エラーコンシールメント処理を反映した品質情報を映像品質管理装置側へ通知可能な映像受信端末を提供することができる。
【００１５】
また、映像品質管理装置が、映像受信端末側から通知された品質情報に含まれるデコード処理後の劣化映像に関する情報を用いて劣化映像を再現するようにしたので、劣化映像の再現精度を向上させることができ、結果としてＦｕｌｌ Ｒｅｆｅｒｅｎｃｅ法に基づくユーザ体感品質の評価値を高精度に算出可能な映像品質管理装置を提供することができる。
【００１６】
さらに、これらの映像受信端末および映像品質管理装置を用いて映像品質管理システムを構成するようにしたので、映像受信端末側デコーダのエラーコンシールメント処理を反映した品質情報を用いることにより劣化映像の再現精度を向上させることができ、結果としてＦｕｌｌ Ｒｅｆｅｒｅｎｃｅ法に基づくユーザ体感品質の評価値を高精度に算出可能な映像品質管理システムを提供することができる。
【図面の簡単な説明】
【００１７】
【図１】この発明の実施の形態１に係る映像品質管理システムの全体構成を示すブロック図である。
【図２】実施の形態１に係る映像受信端末の構成を示すブロック図である。
【図３】実施の形態１に係る映像品質管理装置の構成を示すブロック図である。
【図４】実施の形態１に係る映像表示端末が画面表示する表示イメージを示す図である。
【図５】実施の形態１に係る映像品質管理システムの動作を示すシーケンス図である。
【図６】映像コンテンツの視聴開始時および視聴終了時に通知する品質情報（視聴開始／視聴終了）の構成例を示す図である。
【図７】映像受信端末の品質情報生成部による品質情報（視聴開始／視聴終了）の生成処理動作を示すフローチャートである。
【図８】映像コンテンツのフリーズ発生時に通知する品質情報（劣化発生）の構成例を示す図である。
【図９】映像受信端末の品質情報生成部による品質情報（劣化発生）の生成処理動作を示すフローチャートであり、フリーズ発生時を示す。
【図１０】映像コンテンツのブロック歪発生時に通知する品質情報（劣化発生）の構成例を示す図である。
【図１１】映像受信端末の品質情報生成部による品質情報（劣化発生）の生成処理動作を示すフローチャートであり、ブロック歪発生時を示す。
【図１２】映像品質管理装置の劣化映像再現部による劣化映像の再現処理動作を示すフローチャートである。
【図１３】ブロック歪が発生した劣化映像の再現イメージを示す図である。
【図１４】この発明の実施の形態２に係る映像品質管理装置の内部構成を示すブロック図である。
【図１５】この発明の実施の形態３に係る映像品質管理装置の内部構成を示すブロック図である。
【発明を実施するための形態】
【００１８】
実施の形態１．
図１は、この発明の実施の形態１に係る映像品質管理システムの全体構成を示すブロック図である。
図１において、宅内には、映像通信サービスとして転送される映像コンテンツを視聴者に提示するテレビ受像機（以下、テレビ）１０１と、映像コンテンツをパケット化された映像ストリームとして受信する映像受信端末１０２と、通信インタフェースを保有する宅内のデジタル機器を接続するホームネットワーク１０３と、このホームネットワーク１０３と宅外の広域ＩＰネットワーク１０５との間でパケット転送を行うホームゲートウェイ装置１０４とがある。
【００１９】
宅外には、ＮＧＮ（Ｎｅｔ Ｇｅｎｅｒａｔｉｏｎ Ｎｅｔｗｏｒｋ）を含むＩＰベースの広域ＩＰネットワーク１０５と、映像コンテンツを広域ＩＰネットワーク１０５を介して映像受信端末１０２へ配信する映像配信サーバ１０６と、映像コンテンツを格納する映像ストレージ１０７と、映像受信端末１０２が通知した品質情報を収集してユーザがテレビ１０１にて視聴した劣化映像を再現し、ユーザ体感品質を評価する映像品質管理装置１０８と、映像品質管理装置１０８が再現した劣化映像を表示する映像表示端末１０９とがある。
【００２０】
図２は、図１に示す映像受信端末１０２の内部構成を示すブロック図である。
図２に示すように、映像受信端末１０２は、ホームネットワーク１０３に接続して通信プロトコル処理を行う通信部２０１と、パケット化された映像ストリームの受信制御処理を行う映像制御部２０２と、映像コンテンツに対してエラーコンシールメント処理を含めたデコード処理を行うと共に品質が劣化した映像の検出処理を行うデコード部２０３と、デコードした映像のテレビ１０１への出力制御処理を行う映像出力制御部２０４と、品質劣化の種別に応じた品質情報の生成処理を行う品質情報生成部２０５と、映像品質管理装置１０８に対する品質情報の通知処理を行う品質情報送信部２０６とを備える。
【００２１】
この映像受信端末１０２は、ＱｏＥに対応した端末であり、品質情報を生成して送信する機能を有する。一方、ＱｏＥに対応していない通常の映像受信端末の場合には、ホームネットワーク１０３を経由して受信した映像ストリームが通信部２０１、映像制御部２０２、デコード部２０３および映像出力制御部２０４を経て、テレビ１０１に映像を提示するだけの構成である。
【００２２】
図３は、図１に示す映像品質管理装置１０８の内部構成を示すブロック図である。
図３に示すように、映像品質管理装置１０８は、広域ＩＰネットワーク１０５に接続して通信プロトコル処理を行う通信部３０１と、広域ＩＰネットワーク１０５を介して映像受信端末１０２から受信した品質情報の中身を解析する品質情報解析部３０２と、映像コンテンツの原映像を広域ＩＰネットワーク１０５を経由せずに映像配信サーバ１０６から直接取得する映像取得部３０３と、取得した原映像に対してエラーコンシールメント処理を含めたデコード処理を行うデコード部３０４と、原映像の一部を品質情報に含まれる情報を用いて加工して劣化映像を再現する劣化映像再現部３０５と、再現した劣化映像を用いて品質評価値（ＱｏＥ値）を算出する映像品質算出部３０６とを備える。
なお、劣化映像再現部３０５は、再現した劣化映像を映像品質算出部３０６へ出力する処理に加え、原映像と再現した劣化映像とを映像表示端末１０９へ出力する処理を行う。
【００２３】
図４は、図１に示す映像表示端末１０９が画面表示する表示イメージを示す図である。
図４に示すように、映像表示端末１０９は、原映像を表示する原映像表示画面４０１と、宅内のテレビ１０１にてユーザが視聴した劣化映像と同じ再現劣化映像を表示する劣化映像表示画面４０２とが並べて設けられ、原映像と再現劣化映像とを並べて比較提示する。
【００２４】
次に、映像品質管理システムの動作を説明する。
図５は、この発明の実施の形態１に係る映像品質管理システムの動作を示すシーケンス図である。
図５に示すように、まずステップＳＴ５０１にて映像配信サーバ１０６が映像ストレージ１０７から映像コンテンツを読み出し、広域ＩＰネットワーク１０５、ホームゲートウェイ装置１０４およびホームネットワーク１０３を経由して映像受信端末１０２へ配信する。
【００２５】
続くステップＳＴ５０２にて、映像受信端末１０２の通信部２０１がホームネットワーク１０３から映像コンテンツを受信して映像制御部２０２へ出力し、映像制御部２０２が映像コンテンツのデコード開始時点で品質情報生成部２０５に対して視聴開始を通知し、同時にＲＴＰ（Ｒｅａｌ−ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）パケットの先頭シーケンス番号を渡す。
この通知を受けて、品質情報生成部２０５は、視聴開始時に映像品質管理装置１０８に通知するための品質情報（視聴開始）を生成する。品質情報生成部２０５における品質情報（視聴開始）の生成処理の詳細については後述する。
また、映像コンテンツは映像制御部２０２からデコード部２０３へ出力され、デコード部２０３でデコード処理を行い映像出力制御部２０４からテレビ１０１へ出力される。
【００２６】
続くステップＳＴ５０３にて、品質情報生成部２０５の生成した品質情報（視聴開始）を品質情報送信部２０６が受け取り、映像品質管理装置１０８へ送信する。送信された品質情報（視聴開始）は、通信部２０１、ホームネットワーク１０３、ホームゲートウェイ装置１０４および広域ＩＰネットワーク１０５を経由して映像品質管理装置１０８が受信する。
【００２７】
また、映像コンテンツ視聴中のステップＳＴ５０４にて、映像受信端末１０２のデコード部２０３がデコード中の映像コンテンツについて、ＲＴＰパケットのシーケンス番号から判定するパケット損失等に起因する品質劣化を検出すると、品質情報生成部２０５に対して品質劣化の発生を通知し、同時にエラー対象のピクチャ番号と、品質劣化種別（フリーズまたはブロック歪）に応じた劣化映像データを渡す。このピクチャ番号は、デコード開始時から何枚目のピクチャにエラーが発生しているかを示す。劣化映像データの詳細は後述する。
【００２８】
続くステップＳＴ５０５にて、品質情報生成部２０５は品質劣化発生時に通知する品質情報（劣化発生）を生成する。この品質情報（劣化発生）には、エラーコンシールメント処理を含むデコード処理後の劣化映像に関する情報である劣化映像データ（ピクチャ番号、マクロブロックデータなど）を含める。品質情報生成部２０５における品質情報（劣化発生）の生成処理の詳細については後述する。
続くステップＳＴ５０６にて、品質情報生成部２０５の生成した品質情報（劣化発生）を品質情報送信部２０６が受け取り、映像品質管理装置１０８へ送信する。
【００２９】
続くステップＳＴ５０７にて、映像品質管理装置１０８の通信部３０１が広域ＩＰネットワーク１０５から品質情報（劣化発生）を受信して品質情報解析部３０２へ出力し、品質情報解析部３０２が品質情報（劣化発生）の中身を解析して映像取得部３０３へ品質劣化の発生を通知すると共に、品質情報（劣化発生）に含まれる劣化映像データを劣化映像再現部３０５へ出力する。劣化発生の通知を受けた映像取得部３０３は、劣化の発生した映像コンテンツの原映像を映像配信サーバ１０６から取得し、デコード部３０４がデコード処理を行う。
【００３０】
続くステップＳＴ５０８にて劣化映像再現部３０５が、品質情報解析部３０２から出力された劣化映像データとデコード部３０４から出力された原映像のピクチャを合成して劣化映像を再現する。劣化映像再現部３０５の劣化映像の再現処理の詳細については後述する。
【００３１】
最後に、ステップＳＴ５０９にて、映像受信端末１０２の映像制御部２０２が映像コンテンツのデコード終了時点で品質情報生成部２０５に対して視聴終了を通知し、同時にＲＴＰパケットの最終シーケンス番号を渡す。
この通知を受けて、品質情報生成部２０５は、視聴終了時に映像品質管理装置１０８に通知するための品質情報（視聴終了）を生成する。品質情報送信部２０６における品質情報（視聴終了）の生成処理の詳細については後述する。
続くステップＳＴ５１０にて、品質情報生成部２０５の生成した品質情報（視聴終了）を品質情報送信部２０６が受け取り、映像品質管理装置１０８へ送信する。
【００３２】
映像品質管理装置１０８は、品質情報（視聴開始）の通知を受けると、その通知で指定される視聴開始位置に相当する原映像の位置から劣化映像の再現を開始し、品質情報（視聴終了）の通知を受けると、その通知で指定される視聴終了位置に相当する原映像の位置で劣化映像の再現を停止することになる。なお、図示は省略するが、原映像と再現された劣化映像とを用いて、映像品質算出部３０６がユーザ体感品質の品質評価値を算出する。品質評価値の算出方法は、公知の算出方法でよいため詳細な説明は省略する。
【００３３】
次に、映像受信端末１０２の品質情報生成部２０５による品質情報の生成処理の詳細を説明する。まず品質情報（視聴開始）および品質情報（視聴終了）について説明し、次に品質情報（劣化発生）について説明する。
そもそも、視聴開始時および視聴終了時に品質情報を生成して映像品質管理装置１０８へ送信する目的は、映像品質管理装置１０８で劣化映像を再現する際の前段階で、原映像の出力開始と停止の位置情報を通知することにある。従って、品質情報（視聴開始／視聴終了）は、劣化映像の再現に用いる必須の情報ではなく、補助的な情報と言える。
【００３４】
図６は、映像コンテンツの視聴開始時および視聴終了時に通知する品質情報（視聴開始／視聴終了）の構成例を示す図である。品質情報（視聴開始／視聴終了）は、映像受信端末１０２を識別する「端末識別情報」６０１と、視聴開始／視聴終了等の状態種別を示す「品質情報種別」６０２と、現在視聴のチャネル番号を特定する「視聴チャネル」６０３と、視聴開始／視聴終了時の先頭／最終ＲＴＰパケットのシーケンス番号を示す「パケット・シーケンス番号」６０４とで構成される。パケット・シーケンス番号６０４は、パケットレイヤ（パケット層）のデータである。
【００３５】
図７は、映像受信端末１０２の品質情報生成部２０５による品質情報（視聴開始／視聴終了）の生成処理動作を示すフローチャートである。
図７に示すように、映像制御部２０２から視聴開始または視聴終了が通知されると、品質情報生成部２０５はまずステップＳＴ７０１にて品質情報種別６０２に「視聴開始」または「視聴終了」を設定する。続くステップＳＴ７０２にて、視聴チャネル６０３に「現在のチャネル番号」（例えば６）を設定する。続くステップＳＴ７０３にて、パケット・シーケンス番号６０４に、映像制御部２０２から視聴開始／視聴終了の通知と共に渡された「先頭／最終のＲＴＰパケット・シーケンス番号」を設定する。最後にステップＳＴ７０４にて、品質情報生成部２０５は生成した品質情報（視聴開始／視聴終了）に自端末の端末識別情報６０１を設定して、品質情報送信部２０６へ渡す。
【００３６】
次に、品質情報（劣化発生）について説明する。
まず、品質劣化の一例としてフリーズ発生時の説明をする。そもそも、品質劣化（フリーズ）発生時に品質情報を生成して映像品質管理装置１０８へ送信する目的は、映像品質管理装置１０８で劣化映像を再現する際に使用する、フリーズしたピクチャ番号（劣化映像データの一つ）を通知することにある。
【００３７】
図８は、映像コンテンツのフリーズ発生時に通知する品質情報（劣化発生）の構成例を示す図である。品質情報（劣化発生）は、「端末識別情報」８０１と、発生した劣化等の状態種別を示す「品質情報種別」８０２と、「視聴チャネル」８０３と、フリーズ発生のピクチャを特定するための「ピクチャ番号」８０４とで構成される。ピクチャ番号８０４は、デコード部２０３がデコード中にカウントアップを継続し、デコード停止時にリセットする数値である。ピクチャ番号８０４は、メディアレイヤ（メディア層）のデータである。
【００３８】
図９は、映像受信端末１０２の品質情報生成部２０５による品質情報（劣化発生）の生成処理動作を示すフローチャートであり、フリーズ発生時を示す。
図９に示すように、デコード部２０３からフリーズ発生が通知されると、品質情報生成部２０５はまずステップＳＴ９０１にて品質情報種別８０２に「フリーズ」を設定する。続くステップＳＴ９０２にて、視聴チャネル８０３に「現在のチャネル番号」を設定する。続くステップＳＴ９０３にて、ピクチャ番号８０４に、デコード部２０３からフリーズ発生の通知と共に渡された「フリーズしたピクチャ番号」を設定する。
【００３９】
続くステップＳＴ９０４にて、品質情報生成部２０５はピクチャ単位の平均再生時間を考慮した一定時間を待った後、ステップＳＴ９０５にて、デコード部２０３から次のフリーズ発生の通知があるか判定する。その結果、次の通知がある場合（ステップＳＴ９０５“ＹＥＳ”）、即ちフリーズが継続している場合は、再度ステップＳＴ９０３から処理を継続する。一方、次の通知がない場合（ステップＳＴ９０５“ＮＯ”）、即ちフリーズが解消した場合は、続くステップＳＴ９０６にて、品質情報生成部２０５は生成した品質情報（劣化発生）に自端末の端末識別情報８０１を設定して、品質情報送信部２０６へ渡す。
【００４０】
次に、品質劣化の一例としてブロック歪（ひずみ）発生時の説明をする。そもそも、品質劣化（ブロック歪）発生時に品質情報を生成した映像品質管理装置１０８へ送信する目的は、映像品質管理装置１０８で劣化映像を再現する際に使用する、特定ピクチャ中のブロック歪データ（劣化映像データの一つ）を通知することにある。
【００４１】
図１０は、映像コンテンツのブロック歪発生時に通知する品質情報（劣化発生）の構成例を示す図である。品質情報（劣化発生）は、「端末識別情報」１００１と、「品質情報種別」１００２と、「視聴チャネル」１００３と、「ピクチャ番号」１００４と、ピクチャ番号１００４のピクチャ中に発生したブロック歪の数を示す「ブロック歪の数」１００５と、ピクチャ番号１００４のピクチャ中に発生したＮ（Ｎは整数）個のブロック歪のうちｎ番目のブロック歪の位置情報を示す「ブロック歪ｎの位置情報」１００６−ｎと、その劣化映像データを示す「ブロック歪ｎの劣化映像データ」１００７−ｎとで構成される。ブロック歪ｎの位置情報１００６−ｎおよびブロック歪ｎの劣化映像データ１００７−ｎは、それぞれ、発生したブロック歪の数と同数設定される。ピクチャ番号１００４、ブロック歪の数１００５、ブロック歪ｎの位置情報１００６−ｎおよびブロック歪ｎの劣化映像データ１００７−ｎは、メディアレイヤ（メディア層）のデータである。
【００４２】
図１１は、映像受信端末１０２の品質情報生成部２０５による品質情報（劣化発生）の生成処理動作を示すフローチャートであり、ブロック歪発生時を示す。
図１１に示すように、デコード部２０３からブロック歪発生が通知されると、品質情報生成部２０５はまずステップＳＴ１１０１にて品質情報種別１００２に「ブロック歪」を設定する。続くステップＳＴ１１０２にて、視聴チャネル１００３に「現在のチャネル番号」を設定する。続くステップＳＴ１１０３にて、ピクチャ番号１００４に、デコード部２０３からブロック歪発生の通知と共に渡された「ブロック歪が起こったピクチャ番号」を設定する。続くステップＳＴ１１０４にて、ブロック歪１の位置情報１００６−１に、デコード部２０３からブロック歪発生の通知と共に渡された劣化映像データのうちの「１番目のブロック歪が発生したマクロブロックの位置情報」を設定する。
続くステップＳＴ１１０５にて、ブロック歪１の劣化映像データ１００７−１に、デコード部２０３からブロック歪発生の通知と共に渡された劣化映像データのうちの「１番目のブロック歪が発生したマクロブロックのデータ」を設定する。このとき、品質情報生成部２０５は、マクロブロックのデータを圧縮してサイズを縮小させてもよい。
【００４３】
続くステップＳＴ１１０６にて、後続のブロック歪が存在するか判定する。その結果、後続が存在する場合（ステップＳＴ１１０６“ＹＥＳ”）は、再度ステップＳＴ１１０４から次のブロック歪の箇所に対する処理を継続する。一方、後続が存在しない場合（ステップＳＴ１１０６“ＮＯ”）、即ち当該ピクチャ中の最後のブロック歪Ｎの箇所に対する処理終了の場合は、続くステップＳＴ１１０７にて、品質情報生成部２０５は当該ピクチャ中のブロック歪の数１００５を設定し、さらに自端末の端末識別情報１００１を設定した品質情報（劣化発生）を品質情報送信部２０６へ渡す。
【００４４】
次に、映像品質管理装置１０８の劣化映像再現部３０５による劣化映像の再現処理の詳細を説明する。
図１２は、映像品質管理装置１０８の劣化映像再現部３０５による劣化映像の再現処理動作を示すフローチャートである。
図１２において、劣化映像再現部３０５はまずステップＳＴ１２０１にて、デコード部３０４が品質情報（視聴開始）で指定されたパケット・シーケンス番号以降の原映像をデコード処理したピクチャを取得する。続くステップＳＴ１２０２にて、カウントアップしている当該ピクチャ番号と、品質情報解析部３０２から渡された品質情報（劣化発生）のピクチャ番号が一致するかチェックする。その結果、一致する場合（ステップＳＴ１２０２“ＹＥＳ”）は、続くステップＳＴ１２０３にて品質情報解析部３０２から渡された品質情報（劣化発生）の品質情報種別を判定する。
【００４５】
判定の結果、品質劣化の種別がフリーズであれば（ステップＳＴ１２０３“フリーズ”）、続くステップＳＴ１２０４にてピクチャ出力を抑止することで、フリーズ状態を再現する。
【００４６】
一方、品質劣化の種別がブロック歪であれば（ステップＳＴ１２０３“ブロック歪”）、続くステップＳＴ１２０５にて品質情報解析部３０２から渡された品質情報（劣化発生）の劣化映像データ、即ちブロック歪ｎの位置情報および劣化映像データに従い、「１番目のブロック歪が発生した位置情報」に相当する原映像のデータを「１番目のブロック歪が発生したマクロブロックのデータ」へ置き換えることで、ブロック歪を再現する。続くステップＳＴ１２０６にて、当該ピクチャ内に後続のブロック歪が存在するか判定する。その結果、後続が存在する場合（ステップＳＴ１２０６“ＹＥＳ”）は、再度ステップＳＴ１２０５から次のブロック歪の箇所に対する映像データの置き換え処理を継続する。一方、後続が存在しない場合（ステップＳＴ１２０６“ＮＯ”）、即ち当該ピクチャ中の最後のブロック歪の箇所に対する処理終了の場合は、続くステップＳＴ１２０７にて、置き換え処理した当該ピクチャを出力する。
【００４７】
また、ステップＳＴ１２０２にて当該ピクチャ番号と、品質情報解析部３０２から渡された品質情報（劣化発生）のピクチャ番号とが一致しない場合（ステップＳＴ１２０２“ＮＯ”）も、続くステップＳＴ１２０７にて原映像のピクチャをそのまま出力する。
映像品質管理装置１０８は、以上の処理を、原映像が品質情報（視聴終了）で指定されたパケット・シーケンス番号に一致するまで行って、劣化映像の再現を終了する。
なお、品質情報解析部３０２は、品質情報（劣化発生）に含まれるマクロブロックのデータが圧縮されている場合には伸長操作すればよい。
【００４８】
図１３は、ブロック歪が発生した劣化映像の再現イメージを示す図である。
図１３に示すように、原映像１３０１と、品質情報（劣化発生）に含まれるブロック歪の劣化映像データ１３０２とを合成すると（即ち、原映像のピクチャの一部を品質情報中のブロック歪データで置き換えると）、ブロック歪を再現した再現劣化映像１３０３になる。映像品質管理装置１０８の映像品質算出部３０６は、Ｆｕｌｌ Ｒｅｆｅｒｅｎｃｅ法に基づいて、原映像１３０１と再現劣化映像１３０３とを比較して、品質評価値を算出すればよい。
【００４９】
以上より、実施の形態１によれば、映像品質管理システムを構成する映像受信端末１０２を、受信した映像コンテンツに対してエラーコンシールメント処理を含めたデコード処理を行うと共に、デコード処理した映像の品質劣化を検出した場合、デコード処理後の劣化映像データを出力するデコード部２０３と、デコード部２０３が出力した劣化映像データを用いて、品質劣化種別に応じた品質情報（劣化発生）を生成する品質情報生成部２０５と、品質情報生成部２０５が生成した品質情報（劣化発生）を広域ＩＰネットワーク１０５を介して映像品質管理装置１０８へ送信する品質情報送信部２０６とを備えるように構成した。このため、エラーコンシールメント処理を反映した品質情報（パケットレイヤのデータではなく、メディアレイヤの劣化映像データを含む）を映像品質管理装置側へ通知可能な映像受信端末を提供することができる。
【００５０】
また、実施の形態１によれば、映像品質管理システムを構成する映像品質管理装置１０８を、品質情報（劣化発生）を広域ＩＰネットワーク１０５を介して受信してデコード処理後の劣化映像データを抽出する品質情報解析部３０２と、映像配信サーバ１０６から映像コンテンツの原映像を取得する映像取得部３０３と、映像取得部３０３が取得した原映像に対してエラーコンシールメント処理を含めたデコード処理を行うデコード部３０４と、デコード部３０４がデコード処理した原映像および品質情報解析部３０２が抽出したデコード処理後の劣化映像データを用いて、映像受信端末１０２がテレビ１０１に提供した劣化映像を再現する劣化映像再現部３０５と、劣化映像再現部３０５が再現した劣化映像を用いてユーザ体感品質の評価値を算出する映像品質算出部３０６とを備えるように構成した。このため、受信した品質情報に含まれるメディアレイヤの劣化映像データを用いて原映像から劣化映像を再現できるようになるので、ユーザが視聴した劣化映像をより忠実に再現でき、結果として高精度の品質評価値を算出することができる。
【００５１】
実施の形態２．
図１４は、この発明の実施の形態２に係る映像品質管理装置１０８の内部構成を示すブロック図である。この図１４において、図３と同一または相当の部分については同一の符号を付し説明を省略する。上記実施の形態１に係る映像品質管理装置１０８のデコード部３０４は、単一の種別のデコード処理を行う構成であったが、本実施の形態２に係る映像品質管理装置１０８のデコード部３０４は、互いに種別の異なる＃１〜＃Ｍ（Ｍは整数）のデコーダ１４０１−１〜１４０１−Ｍを備える。
なお、映像品質管理システム、映像受信端末および映像表示端末の構成は、図１、図２および図４と同様の構成であるため、以下ではこれらの図を援用して説明する。
【００５２】
上記実施の形態１（図３）の映像品質管理装置１０８は、単一のデコーダで構成されるデコード部３０４でデコードした原映像と品質情報（劣化発生）中の劣化映像データとを合成して劣化映像を再現する構成であった。これに対して、図１４に示す本実施の形態２の映像品質管理装置１０８は、互いに異なるデコード処理を行う複数のデコーダ１４０１−１〜１４０１−Ｍを具備し、映像受信端末１０２のデコード部２０３によるデコード処理と同じ種類のデコード処理を行うデコーダ１４０１−ｘを選択的に切り替えて使用する構成とする。これは、映像受信端末１０２に複数種類があって、また、搭載されるデコーダも複数種別が存在することを前提とした考えに基づく。そして、このような前提の場合にも、視聴者が見た原映像に完全に忠実なピクチャを生成可能にする。
【００５３】
次に、映像品質管理装置１０８の動作を説明する。
図１４において、まず品質情報解析部３０２は映像受信端末１０２から通知された品質情報（視聴開始／視聴終了／劣化発生）の中身を解析し、映像取得部３０３へ品質劣化の発生および当該劣化が発生した映像受信端末１０２を示す端末識別情報を通知する。映像取得部３０３は、品質情報解析部３０２から通知を受けると、映像配信サーバ１０６から原映像を取得する。その後、映像取得部３０３は、品質情報解析部３０２から渡された端末識別情報から特定されるデコーダ種別に対応する種別のデコーダ１４０１−ｘ（ｘは１〜Ｍの整数）をデコーダ１４０１−１〜１４０１−Ｍから選択し、そのデコーダ部１４０１−ｘに原映像のデコード処理を行わせる。続いて劣化映像再現部３０５が、デコーダ１４０１−ｘがデコード処理した原映像のピクチャの一部を、品質情報解析部３０２から渡された劣化映像データのマクロブロックデータで置き換えて劣化映像を再現する。最後に映像品質算出部３０６が、再現された劣化映像を用いて品質評価値を算出する。
【００５４】
以上より、実施の形態２によれば、映像品質管理システムを構成する映像品質管理装置１０８において、品質情報解析部３０２は映像受信端末１０２側のデコード部２０３の種別を示す端末識別情報を品質情報から抽出し、デコード部３０４は互いに異なる種別の複数のデコーダ１４０１−１〜１４０１−Ｍを有し、品質情報解析部３０２が抽出した端末識別情報に基づいて、映像受信端末１０２側のデコード部２０３の種別に対応したデコーダ１４０１−ｘに切り替えて原映像のデコード処理を行うように構成した。このため、デコーダ種別毎のエラーコンシールメント処理を反映して劣化映像を再現できるようになるので、ユーザが視聴した劣化映像を完全に忠実に再現でき、結果として最精度の品質評価値を算出することができる。
【００５５】
実施の形態３．
図１５は、この発明の実施の形態３に係る映像品質管理装置１０８の内部構成を示すブロック図である。この図１５において、図３と同一または相当の部分については同一の符号を付し説明を省略する。本実施の形態３に係る映像品質管理装置１０８は、新たにストレージ１５０１、品質情報蓄積部１５０２および映像品質データベース部１５０３を備える。
なお、映像品質管理システム、映像受信端末および映像表示端末の構成は、図１、図２および図４と同様の構成であるため、以下ではこれらの図を援用して説明する。
【００５６】
図１５に示すように、映像品質管理装置１０８は記憶手段であるストレージ１５０１を具備する。品質情報蓄積部１５０２は、映像受信端末１０２から通知された品質情報をストレージ１５０１へ保存する。映像品質データベース部１５０３は、品質情報蓄積部１５０２によりストレージ１５０１に蓄積された品質情報に、映像品質算出部３０６が算出した品質評価値を紐付けして保存する。また、この映像品質データベース部１５０３は、外部から受け付けた劣化映像の再現開始要求に従い、ストレージ１５０１に蓄積した品質情報を取得して品質情報解析部３０２へ出力し、品質情報解析部３０２をはじめとする映像品質管理装置１０８の各部にこの品質情報に対応する劣化映像の再現処理を開始させる。
【００５７】
次に、映像品質管理装置１０８の動作を説明する。
図１５において、まず品質情報解析部３０２は映像受信端末１０２から通知された品質情報（視聴開始／視聴終了／劣化発生）を品質情報蓄積部１５０２へ渡すと共に、その中身を解析して品質情報解析部３０２へ品質劣化の発生を通知する。
品質情報蓄積部１５０２は、品質情報解析部３０２から渡された品質情報（視聴開始／視聴終了／劣化発生）をストレージ１５０１に蓄積する。
【００５８】
他方、映像取得部３０３は、品質情報解析部３０２から通知を受けると、映像配信サーバ１０６から原映像を取得し、続いてデコード部３０４が原映像をデコード処理する。続いて劣化映像再現部３０５が、デコード部３０４がデコード処理した原映像のピクチャの一部を、品質情報解析部３０２から渡された劣化映像データのマクロブロックデータで置き換えて劣化映像を再現する。その後、映像品質算出部３０６が再現された劣化映像を用いて品質評価値を算出し、映像品質データベース部１５０３へ渡す。映像品質データベース部１５０３は、当該品質評価値を、ストレージ１５０１に蓄積された品質情報と紐付けして蓄積する。
【００５９】
また、映像品質データベース部１５０３は、映像品質管理装置１０８のユーザインタフェースを介して劣化映像の再現開始要求を受け付けた場合に、その再現要求対象の映像コンテンツとその品質劣化の種別（品質情報種別）、その劣化が発生した映像受信端末１０２（端末識別情報）、発生日時等を特定する情報をストレージ１５０１から取得して、品質情報解析部３０２に対して劣化映像の再現処理の開始を要求する。
映像品質データベース部１５０３から再現処理の開始要求を受けた品質情報解析部３０２は、映像受信端末１０２から品質情報が通知された場合と同様の動作を行って、映像取得部３０３、デコード部３０４および劣化映像再現部３０５と協働して劣化映像を再現し、映像表示端末１０９へ提示する。
【００６０】
以上より、実施の形態３によれば、映像品質管理システムを構成する映像品質管理装置１０８が、映像受信端末１０２から受信した品質情報を、映像品質算出部３０６が算出した品質評価値と紐付けして蓄積するストレージ１５０１と、外部から受け付けた開始要求に従い、ストレージ１５０１に蓄積した品質情報を品質情報解析部３０２に出力して、当該品質情報に対応する劣化映像の再現処理を開始させる映像品質データベース部１５０３とを備えるように構成した。このため、映像品質管理装置１０８側だけで繰り返し、高精度の劣化映像を再現することができる。
【００６１】
また、映像受信端末１０２から通知された品質情報を品質評価値と紐付けしてデータベース化しているので、再現劣化映像と品質評価値の対比分析、および品質評価値自体の高精度化を進めることができる。この結果、きめ細やかな課金サービスを運用することができるようになる。
【００６２】
なお、上述した説明では、上記実施の形態１で示した構成に対して上記実施の形態３を適用する場合を示したが、これに限らず、発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【符号の説明】
【００６３】
１０１ テレビ（テレビ受像機）、１０２ 映像受信端末、１０３ ホームネットワーク、１０４ ホームゲートウェイ装置、１０５ 広域ＩＰネットワーク、１０６ 映像配信サーバ、１０７ 映像ストレージ、１０８ 映像品質管理装置、１０９ 映像表示端末、２０１ 通信部、２０２ 映像制御部、２０３ デコード部、２０４ 映像出力制御部、２０５ 品質情報生成部、２０６ 品質情報送信部、３０１ 通信部、３０２ 品質情報解析部、３０３ 映像取得部、３０４ デコード部、３０５ 劣化映像再現部、３０６ 映像品質算出部、４０１ 原映像表示画面、４０２ 劣化映像表示画面、６０１ 端末識別情報、６０２ 品質情報種別、６０３ 視聴チャネル、６０４ パケット・シーケンス番号、８０１ 端末識別情報、８０２ 品質情報種別、８０３ 視聴チャネル、８０４ ピクチャ番号、１００１ 端末識別情報、１００２ 品質情報種別、１００３ 視聴チャネル、１００４ ピクチャ番号、１００５ ブロック歪の数、１００６−１〜１００６−Ｎ ブロック歪１〜Ｎの位置情報、１００７−１〜１００７−Ｎ ブロック歪１〜Ｎの劣化映像データ、１３０１ 原映像、１３０２ 劣化映像データ、１３０３ 再現劣化映像、１４０１−１〜１４０１−Ｍ デコーダ、１５０１ ストレージ、１５０２ 品質情報蓄積部、１５０３ 映像品質データベース部。
【特許請求の範囲】
【請求項１】
広域ネットワークに接続されて、映像コンテンツを配信する映像配信サーバと、
前記広域ネットワークおよびホームネットワークにそれぞれ接続されて、両ネットワーク間のパケット転送を行うホームゲートウェイ装置と、
前記ホームネットワークに接続されて、前記映像配信サーバが配信した映像コンテンツを受信し、当該映像コンテンツに対してエラーコンシールメント処理を含めたデコード処理を行ってテレビ受像機に提供すると共に、当該映像コンテンツの品質劣化を検出した場合、デコード処理後の劣化映像に関する情報を含めた品質情報を生成して送信する映像受信端末と、
前記映像配信サーバおよび前記広域ネットワークにそれぞれ接続されて、前記映像配信サーバから映像コンテンツの原映像を取得すると共に、前記広域ネットワークを介して前記映像受信端末から品質情報を受信して、当該原映像および当該品質情報に含まれる劣化映像に関する情報を用いて劣化映像を再現してユーザ体感品質の評価値を算出する映像品質管理装置とを備える映像品質管理システム。
【請求項２】
映像配信サーバが広域ネットワークを介して配信する映像コンテンツを受信してテレビ受像機に提供すると共に、ユーザ体感品質の評価を行う映像品質管理装置へ当該映像コンテンツの品質情報を送信する映像受信端末であって、
受信した映像コンテンツに対してエラーコンシールメント処理を含めたデコード処理を行うと共に、デコード処理した映像の品質劣化を検出した場合、デコード処理後の劣化映像に関する情報を出力するデコード部と、
前記デコード部が出力した劣化映像に関する情報を用いて、品質劣化の種別に応じた品質情報を生成する品質情報生成部と、
前記品質情報生成部が生成した品質情報を前記広域ネットワークを介して前記映像品質管理装置へ送信する品質情報送信部とを備えることを特徴とする映像受信端末。
【請求項３】
前記デコード部は、映像コンテンツのブロック歪を検出した場合、デコード処理後の劣化映像に関する情報としてブロック歪が生じたピクチャ番号および当該ピクチャ中のブロック歪データを出力し、
前記品質情報生成部は、前記デコード部が出力したピクチャ番号およびブロック歪データを含めた品質情報を生成することを特徴とする請求項２記載の映像受信端末。
【請求項４】
前記デコード部は、映像コンテンツのフリーズを検出した場合、デコード処理後の劣化映像に関する情報としてフリーズしたピクチャ番号を出力し、
前記品質情報生成部は、前記デコード部が出力したピクチャ番号を含めた品質情報を生成することを特徴とする請求項２または請求項３記載の映像受信端末。
【請求項５】
前記品質情報生成部は、デコード処理後の劣化映像に関する情報に対して圧縮操作を行うことを特徴とする請求項２から請求項４のうちのいずれか１項記載の映像受信端末。
【請求項６】
映像配信サーバが広域ネットワークを介して映像受信端末へ配信した映像コンテンツのユーザ体感品質の評価を行う映像品質管理装置であって、
前記映像受信端末が、エラーコンシールメント処理を含めたデコード処理を行った映像コンテンツの品質劣化を検出した場合にデコード処理後の劣化映像に関する情報を含めた品質情報を送信すると、当該品質情報を前記広域ネットワークを介して受信してデコード処理後の劣化映像に関する情報を抽出する品質情報解析部と、
前記映像配信サーバから映像コンテンツの原映像を取得する映像取得部と、
前記映像取得部が取得した原映像に対してエラーコンシールメント処理を含めたデコード処理を行うデコード部と、
前記デコード部がデコード処理した原映像および前記品質情報解析部が抽出したデコード処理後の劣化映像に関する情報を用いて、前記映像受信端末がテレビ受像機に提供した劣化映像を再現する劣化映像再現部と、
前記劣化映像再現部が再現した劣化映像を用いてユーザ体感品質の評価値を算出する映像品質算出部とを備えることを特徴とする映像品質管理装置。
【請求項７】
前記劣化映像再現部は、前記品質情報解析部が抽出したデコード処理後の劣化映像に関する情報がブロック歪が生じたピクチャ番号および当該ピクチャ中のブロック歪データの場合、原映像の当該ピクチャ番号のピクチャの一部を当該ブロック歪データで置き換えることを特徴とする請求項６記載の映像品質管理装置。
【請求項８】
前記劣化映像再現部は、前記品質情報解析部が抽出したデコード処理後の劣化映像に関する情報がフリーズしたピクチャ番号の場合、原映像の当該ピクチャ番号のピクチャをフリーズさせることを特徴とする請求項６または請求項７記載の映像品質管理装置。
【請求項９】
前記品質情報解析部は、前記映像受信端末側のデコード部の種別を示す識別情報を品質情報から抽出し、
前記デコード部は、互いに異なる種別の複数のデコーダを有し、前記品質情報解析部が抽出した識別情報に基づいて、前記映像受信端末側のデコード部の種別に対応したデコーダに切り替えて原映像のデコード処理を行うことを特徴とする請求項６記載の映像品質管理装置。
【請求項１０】
受信した品質情報を、前記映像品質算出部が算出した評価値と紐付けして蓄積するストレージと、
外部から受け付けた開始要求に従い、前記ストレージに蓄積した品質情報を前記品質情報解析部に出力して、当該品質情報に対応する劣化映像の再現処理を開始させる映像品質データベース部とを備えることを特徴とする請求項６から請求項９のうちのいずれか１項記載の映像品質管理装置。
【請求項１１】
前記品質情報解析部は、受信した品質情報から抽出したデコード処理後の劣化映像に関する情報が圧縮されている場合に伸長操作を行うことを特徴とする請求項６記載の映像品質管理装置。
【請求項１】
広域ネットワークに接続されて、映像コンテンツを配信する映像配信サーバと、
前記広域ネットワークおよびホームネットワークにそれぞれ接続されて、両ネットワーク間のパケット転送を行うホームゲートウェイ装置と、
前記ホームネットワークに接続されて、前記映像配信サーバが配信した映像コンテンツを受信し、当該映像コンテンツに対してエラーコンシールメント処理を含めたデコード処理を行ってテレビ受像機に提供すると共に、当該映像コンテンツの品質劣化を検出した場合、デコード処理後の劣化映像に関する情報を含めた品質情報を生成して送信する映像受信端末と、
前記映像配信サーバおよび前記広域ネットワークにそれぞれ接続されて、前記映像配信サーバから映像コンテンツの原映像を取得すると共に、前記広域ネットワークを介して前記映像受信端末から品質情報を受信して、当該原映像および当該品質情報に含まれる劣化映像に関する情報を用いて劣化映像を再現してユーザ体感品質の評価値を算出する映像品質管理装置とを備える映像品質管理システム。
【請求項２】
映像配信サーバが広域ネットワークを介して配信する映像コンテンツを受信してテレビ受像機に提供すると共に、ユーザ体感品質の評価を行う映像品質管理装置へ当該映像コンテンツの品質情報を送信する映像受信端末であって、
受信した映像コンテンツに対してエラーコンシールメント処理を含めたデコード処理を行うと共に、デコード処理した映像の品質劣化を検出した場合、デコード処理後の劣化映像に関する情報を出力するデコード部と、
前記デコード部が出力した劣化映像に関する情報を用いて、品質劣化の種別に応じた品質情報を生成する品質情報生成部と、
前記品質情報生成部が生成した品質情報を前記広域ネットワークを介して前記映像品質管理装置へ送信する品質情報送信部とを備えることを特徴とする映像受信端末。
【請求項３】
前記デコード部は、映像コンテンツのブロック歪を検出した場合、デコード処理後の劣化映像に関する情報としてブロック歪が生じたピクチャ番号および当該ピクチャ中のブロック歪データを出力し、
前記品質情報生成部は、前記デコード部が出力したピクチャ番号およびブロック歪データを含めた品質情報を生成することを特徴とする請求項２記載の映像受信端末。
【請求項４】
前記デコード部は、映像コンテンツのフリーズを検出した場合、デコード処理後の劣化映像に関する情報としてフリーズしたピクチャ番号を出力し、
前記品質情報生成部は、前記デコード部が出力したピクチャ番号を含めた品質情報を生成することを特徴とする請求項２または請求項３記載の映像受信端末。
【請求項５】
前記品質情報生成部は、デコード処理後の劣化映像に関する情報に対して圧縮操作を行うことを特徴とする請求項２から請求項４のうちのいずれか１項記載の映像受信端末。
【請求項６】
映像配信サーバが広域ネットワークを介して映像受信端末へ配信した映像コンテンツのユーザ体感品質の評価を行う映像品質管理装置であって、
前記映像受信端末が、エラーコンシールメント処理を含めたデコード処理を行った映像コンテンツの品質劣化を検出した場合にデコード処理後の劣化映像に関する情報を含めた品質情報を送信すると、当該品質情報を前記広域ネットワークを介して受信してデコード処理後の劣化映像に関する情報を抽出する品質情報解析部と、
前記映像配信サーバから映像コンテンツの原映像を取得する映像取得部と、
前記映像取得部が取得した原映像に対してエラーコンシールメント処理を含めたデコード処理を行うデコード部と、
前記デコード部がデコード処理した原映像および前記品質情報解析部が抽出したデコード処理後の劣化映像に関する情報を用いて、前記映像受信端末がテレビ受像機に提供した劣化映像を再現する劣化映像再現部と、
前記劣化映像再現部が再現した劣化映像を用いてユーザ体感品質の評価値を算出する映像品質算出部とを備えることを特徴とする映像品質管理装置。
【請求項７】
前記劣化映像再現部は、前記品質情報解析部が抽出したデコード処理後の劣化映像に関する情報がブロック歪が生じたピクチャ番号および当該ピクチャ中のブロック歪データの場合、原映像の当該ピクチャ番号のピクチャの一部を当該ブロック歪データで置き換えることを特徴とする請求項６記載の映像品質管理装置。
【請求項８】
前記劣化映像再現部は、前記品質情報解析部が抽出したデコード処理後の劣化映像に関する情報がフリーズしたピクチャ番号の場合、原映像の当該ピクチャ番号のピクチャをフリーズさせることを特徴とする請求項６または請求項７記載の映像品質管理装置。
【請求項９】
前記品質情報解析部は、前記映像受信端末側のデコード部の種別を示す識別情報を品質情報から抽出し、
前記デコード部は、互いに異なる種別の複数のデコーダを有し、前記品質情報解析部が抽出した識別情報に基づいて、前記映像受信端末側のデコード部の種別に対応したデコーダに切り替えて原映像のデコード処理を行うことを特徴とする請求項６記載の映像品質管理装置。
【請求項１０】
受信した品質情報を、前記映像品質算出部が算出した評価値と紐付けして蓄積するストレージと、
外部から受け付けた開始要求に従い、前記ストレージに蓄積した品質情報を前記品質情報解析部に出力して、当該品質情報に対応する劣化映像の再現処理を開始させる映像品質データベース部とを備えることを特徴とする請求項６から請求項９のうちのいずれか１項記載の映像品質管理装置。
【請求項１１】
前記品質情報解析部は、受信した品質情報から抽出したデコード処理後の劣化映像に関する情報が圧縮されている場合に伸長操作を行うことを特徴とする請求項６記載の映像品質管理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１２−１１９７３５（Ｐ２０１２−１１９７３５Ａ）
【公開日】平成２４年６月２１日（２０１２．６．２１）
【国際特許分類】
【出願番号】特願２０１０−２６４８６９（Ｐ２０１０−２６４８６９）
【出願日】平成２２年１１月２９日（２０１０．１１．２９）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成２４年６月２１日（２０１２．６．２１）
【国際特許分類】
【出願日】平成２２年１１月２９日（２０１０．１１．２９）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]