画像品質管理システム、方法及びプログラム
【課題】実際のフレーム自体の劣化状況に応じた映像品質を求めることができる画像品質管理システム、方法及びプログラムを提供する。
【解決手段】本発明の画像品質管理システムは、クライアント端末に配信される画像品質を管理する画像品質管理システムにおいて、クライアント端末に配信される画像データを有するパケットを受信する受信手段と、受信パケットに基づいて画像の構成を示す画像構成情報を取得する画像構成情報取得手段と、画像構成情報に基づく構成順にしたフレームと、シーケンス番号に基づいて時系列に並べたパケットとを対応させ、各フレームとパケットとを関連付けて画像品質を測定する画像品質測定手段と、画像品質測定手段により測定された画像品質測定結果を蓄積する蓄積手段とを備えることを特徴とする。
【解決手段】本発明の画像品質管理システムは、クライアント端末に配信される画像品質を管理する画像品質管理システムにおいて、クライアント端末に配信される画像データを有するパケットを受信する受信手段と、受信パケットに基づいて画像の構成を示す画像構成情報を取得する画像構成情報取得手段と、画像構成情報に基づく構成順にしたフレームと、シーケンス番号に基づいて時系列に並べたパケットとを対応させ、各フレームとパケットとを関連付けて画像品質を測定する画像品質測定手段と、画像品質測定手段により測定された画像品質測定結果を蓄積する蓄積手段とを備えることを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像品質管理システム、方法及びプログラムに関し、例えば、パケット損失による映像フレームの影響を管理する画像品質管理システム、方法及びプログラムに適用し得るものである。
【背景技術】
【０００２】
例えば、音声、静止画、動画像などのメディア情報を通信や放送する場合に、その情報量が多いため、例えばＭＰＥＧ方式などの圧縮符号化が行われるが、メディア情報の品質を維持するために、そのサービス品質を測定することが必要となる。
【０００３】
特許文献１は、ネットワーク通信や放送するメディア情報の通信品質を測定する技術が記載されている。具体的には、メディア用パケットで送受信した各フレームのうち、メディア用パケットの損失による影響を受けた無効フレームの割合に基づいて無効フレーム率を求め、この無効フレーム率をユーザが体感するサービス品質の推定値とみなす技術である。
【０００４】
【特許文献１】特開２００７−０６０４７５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、ユーザが体感する主観的な映像品質に影響を与える要素として「ブロックノイズ」がある。このブロックノイズとは、映像フレームの一部のブロックがモザイク状態となり、映像の欠落を引き起こす現象をいい、通信又は放送されるパケットの損失が原因であると考えられる。
【０００６】
フレーム内でのＴＳパケット損失をエンコード側での負荷軽減を目的としてしまうと、以下のような点から実際のフレームの劣化状況を特定することが困難であり、またユーザが体感する映像品質も異なってしまうおそれもある。
【０００７】
（１）コーデックによって各フレームに対して重み付けを行なっているが、その映像フレームをパケット化する際のＴＳパケットの損失状況を考慮していないため、フレーム内に生じる「ブロックノイズ」そのものを検知できていない。
【０００８】
（２）また、そのＴＳパケットの損失によって、ユーザに与える体感品質の影響度まで考慮していないため、実際に体感する品質との間に差異が生じる。
【０００９】
（３）コーデックの特性上、各フレームそのものは損失していないが、各フレーム内のブロック（ＴＳパケット）が損失するといった現象を考慮していない。
【００１０】
そのため、実際のフレーム自体の劣化状況に応じた映像品質を求めることができる画像品質管理システム、方法及びプログラムが求められている。
【課題を解決するための手段】
【００１１】
かかる課題を解決するために、第１の本発明の画像品質管理システムは、クライアント端末に配信される画像品質を管理する画像品質管理システムにおいて、（１）クライアント端末に配信される画像データを有するパケットを受信する受信手段と、（２）受信パケットに基づいて画像の構成を示す画像構成情報を取得する画像構成情報取得手段と、（３）画像構成情報に基づく構成順にしたフレームと、シーケンス番号に基づいて時系列に並べたパケットとを対応させ、各フレームとパケットとを関連付けて画像品質を測定する画像品質測定手段と、（４）画像品質測定手段により測定された画像品質測定結果を蓄積する蓄積手段とを備えることを特徴とする。
【００１２】
第２の本発明の画像品質管理方法は、クライアント端末に配信される画像品質を管理する画像品質管理システムでの画像品質管理方法において、画像品質管理システムが、受信手段、画像構成情報取得手段、画像品質測定手段及び蓄積手段を備え、（１）受信手段が、クライアント端末に配信される画像データを有するパケットを受信する受信工程と、（２）画像構成情報取得手段が、受信パケットに基づいて画像の構成を示す画像構成情報を取得する画像構成情報取得工程と、（３）画像品質測定手段が、画像構成情報に基づく構成順にしたフレームと、シーケンス番号に基づいて時系列に並べたパケットとを対応させ、各フレームとパケットとを関連付けて画像品質を測定する画像品質測定工程と、（４）蓄積手段が、画像品質測定手段により測定された画像品質測定結果を蓄積する蓄積工程とを有することを特徴とする。
【００１３】
第３の本発明の画像品質管理プログラムは、クライアント端末に配信される画像品質を管理する画像品質管理システムでの画像品質管理プログラムにおいて、コンピュータを、（１）クライアント端末に配信される画像データを有するパケットを受信する受信手段、（２）受信パケットに基づいて画像の構成を示す画像構成情報を取得する画像構成情報取得手段、（３）画像構成情報に基づく構成順にしたフレームと、シーケンス番号に基づいて時系列に並べたパケットとを対応させ、各フレームとパケットとの関連付けて画像品質を測定する画像品質測定手段、（４）画像品質測定手段により測定された画像品質測定結果を蓄積する蓄積手段として機能させることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、実際のフレーム自体の劣化状況に応じた映像品質を求めることができる。
【発明を実施するための最良の形態】
【００１５】
（Ａ）第１の実施形態
以下では、本発明の画像品質管理システム、方法及びプログラムの第１の実施形態について図面を参照しながら説明する。
【００１６】
第１の実施形態は、マルチキャストにより、配信サーバが提供する配信映像をクライアント端末に配信する映像配信システムに、本発明の画像品質管理システム、方法及びプログラムを適用する実施形態を例示して説明する。
【００１７】
（Ａ−１）第１の実施形態の構成
図１は、第１の実施形態のメディア情報品質管理システムの構成を示す構成図である。図１に示すように、第１の実施形態のメディア情報品質管理システム９Ａは、管理システム１、クライアント端末２、ノード３〜５、配信サーバ６、収集ＤＢ７を少なくとも有して構成される。
【００１８】
図１において例示する映像配信システムは、配信サーバ６が、ノード５、４及び３を介して、クライアント端末２に向けて配信映像を配信するシステムである。
【００１９】
この映像配信システムの配信形態としては、種々の形態を広く採用することができるが、例えば、有線回線を用いて配信する形態や、無線回線を用いて配信する形態や、有線回線と無線回線を結合させた形態や、放送により配信する形態などを適用することができる。
【００２０】
また、この映像配信システムは、マルチキャストを用いて映像を配信しているため、図１では１台のクライアント端末２のみを示しているが、そのマルチキャストに参加するクライアント端末２が複数ある場合には、複数のクライアント端末２に対して映像を配信する。
【００２１】
配信サーバ６は、１又は複数種類の映像を配信する画像送信装置である。配信サーバ６は、既存の配信サーバを用いることができるので、その構成の詳細な説明は省略するが、例えば、映像ストリームデータに対して圧縮符号化処理を行なう圧縮符号化処理部（エンコーダ部）、圧縮符号化データを有するＴＳ（Transport Stream）パケットを変調する変調部、変調したパケットを送信する送信部を少なくとも有するものである。
【００２２】
また、配信サーバ６が配信映像を符号化する圧縮符号化方式は、特に限定されず広く適用することができるが、一般にＭＰＥＧ方式（ＭＰＥＧ１、ＭＰＥＧ２、ＭＰＥＧ４、ＭＰＥＧ７など）を採用する。
【００２３】
配信サーバ６のエンコーダ部は、配信すべき入力画像データを受け取ると、ＧＯＰ（Group Of Picture）構成の設定情報に従って、その画像データをＭＰＥＧ符号化してＥＳ（Elementary Stream）を生成し、生成したＥＳをパケット化してＰＥＳ（Packetized Elementary Stream）パケットにする。そして、エンコーダ部は、このＰＥＳパケットを分割して、固定長のＴＳパケットのペイロードに挿入してＴＳパケットを生成して変調部に与える。
【００２４】
ここで、ＧＯＰ（Group Of Picture）構成とは、複数の画像（フレーム）を有して構成する１グループをいう。例えば、画像の種類には、Ｉフレーム（Intra Frame）、Ｐフレーム（Predictive Frame）、Ｂフレーム（Bi-Directional Frame）があるが、これらＩフレーム、Ｐフレーム、Ｂフレームの組み合わせをＧＯＰ構成という。
【００２５】
例えば、ＧＯＰの構成態様としては、（１）Ｉフレーム、Ｐフレーム、Ｂフレームのそれぞれを有するＩＰＢ構成、（２）ＩフレームとＰフレームとを有するＩＰ構成、（３）複数のＩフレームを有するＩ構成がある。
【００２６】
また、ＧＯＰを構成するフレーム数やフレーム周期は特に制限がないので、提供する画像ストリームの種類やサービス種類に応じてフレーム数やフレーム周期は異なり得る。
【００２７】
ノード３〜５は、配信サーバ６とクライアント端末２との間に介在する転送装置であり、配信サーバ６からの映像パケットをクライアント端末２に転送するものである。
【００２８】
クライアント端末２は、配信サーバ６からの配信映像を受信する画像受信装置を有するものであり、受信映像を出力するユーザ端末である。
【００２９】
また、クライアント端末２は、受信した映像パケットを管理システム１に送信するものである。このようにクライアント端末２が受信パケットを管理システム１に送信することにより、管理システム１による映像品質を測定管理させることができる。
【００３０】
図２は、クライアント端末２の内部構成を示す内部構成図である。図２に示すように、クライアント端末２は、受信部２１、復調部２２、ＭＰＥＧデコーダ２３、画像出力部２４、送信部２５を少なくとも有するものである。
【００３１】
受信部２１は、配信された映像信号を受信し、受信信号を復調部２２に与えるものである。また、受信部２１は、受信した映像信号を送信部２５に与えるものである。これにより、管理システム１に対して、受信した配信映像のパケットを与えることができる。
【００３２】
復調部２２は、受信部２１が受信した受信信号を復調し、ＭＰＥＧデコーダ２３に与えるものである。つまり、受信した映像信号からＴＳパケットを復調するものである。
【００３３】
送信部２５は、受信部２１から受け取った映像信号を管理システム１に与えるものである。ここで、送信部２５には、予め管理システム１の送信先情報（例えば、ＩＰアドレス等）が設定されており、受信した映像信号に送信先情報を付与して送信することで、管理システム１に与えることができる。
【００３４】
ＭＰＥＧデコーダ２３は、復調部２２により復調されたＴＳパケットからＰＥＳパケットを分離し、ＰＥＳパケットからＥＳパケットを復号して画像データを生成するものである。
【００３５】
画像出力部２４は、ＭＰＥＧデコーダ２３により復元された画像データに基づいて画像を出力するものである。
【００３６】
管理システム１は、クライアント端末２から受信した映像パケットに基づいて、配信映像の品質を測定して、その測定結果を収集ＤＢ７に蓄積して管理するものである。
【００３７】
ここで、管理システム１は、ＧＯＰ構成を認識した後、各フレームにシーケンス番号を割り当て、各フレームのシーケンス番号とＩＰパケットのシーケンス番号とを対応付けてＧＯＰ構成テーブルを作成し、各フレームとＴＳパケット損失との対応関係を明確にする。
【００３８】
これにより、実際のフレーム画像の劣化とＴＳパケット損失との関係に基づいてフレーム毎の映像品質を測定することができる。
【００３９】
図３は、管理システム１の内部構成を示す機能ブロック図である。図３に示すように、管理システム１は、受信部１１、時刻情報取得部１２、ＴＳパケット損失検出部１３、画像情報取得部１４、画像品質測定部１５を少なくとも有するものである。
【００４０】
受信部１１は、映像パケットを受信するものであり、クライアント端末２が受信した映像パケットを受信するものである。
【００４１】
ここで、映像パケットは、ＲＴＰパケットである。図４は、映像信号のパケット構成を示すパケット構成図であり、映像パケットは、ＩＰヘッダ、ＵＤＰヘッダ、ＲＴＰヘッダを有し、ＲＴＰパケットのペイロードに複数のＴＳパケットが含まれている。また、ＴＳパケットは、ＧＯＰ構成の順に従って、各フレームのヘッダ情報及び映像データが含まれている。
【００４２】
時刻情報取得部１２は、受信パケットのＩＰヘッダに基づいてＩＰパケットの時刻情報を取得するものである。また、時刻情報取得部１２は、受信したＩＰパケットのシーケンス番号を時刻情報に対応付けするものである。これにより、受信したＩＰパケットを時系列で管理するものである。
【００４３】
ＴＳパケット損失検出部１３は、受信パケットのＲＴＰパケットペイロードに含まれている各ＴＳパケットのＴＳヘッダに基づいて、ＴＳパケットのロス又はエラーを検出し、パケット損失数をカウントするものである。
【００４４】
ＴＳパケット損失数のカウント方法としては、ＴＳパケット損失検出部１３は、ＴＳヘッダに含まれているヘッダ情報に基づいてＴＳパケットの損失を検出し、その損失数をカウントする方法を適用できる。
【００４５】
例えば、図５及び図６は、ＥＴＳＩ（European Telecommunications Standards Institute）の測定ガイドラインＴＲ 101 290を示す。ＴＳパケット損失検出部１３は、図５及び図６に示す測定パラメータを測定し、図５及び図６に示す「内容」に設定される条件に従って、ＴＳパケットの損失をカウントする。
【００４６】
画像情報取得部１４は、受信パケットのＲＴＰパケットペイロードに含まれている各ＴＳパケットのＴＳペイロードをデコードして、ＧＯＰ構成や各フレーム情報を取得するものである。
【００４７】
画像情報取得部１４は、図３に示すように、各ＴＳペイロードに含まれている各ＥＳに付与されているＧＯＰ毎のシーケンス番号に基づいて、ＧＯＰ構成のパターンを取得するＧＯＰ構成取得部１４１と、各フレーム情報を取得するフレーム情報取得部１４２とを有する。
【００４８】
画像品質測定部１５は、時刻情報取得部１２、ＴＳパケット損失検出部１３及び画像情報取得部１４により得られた各種情報に基づいて、各フレームとＩＰパケットとを対応付けたＧＯＰ構成テーブルを形成するものである。
【００４９】
また、画像品質測定部１５は、フレーム内でのＧＯＰ構成（Ｉｎｔｒａ Ｐｅｒｉｏｄ）内を割り出し、フレーム内でのスライス損失を検知するものである。
【００５０】
画像品質測定部１５は、図３に示すように、スライス損失検知部１５１と、フレーム損失検知部１５２とを有して構成される。
【００５１】
スライス損失検知部１５１は、Ｉ−Ｓｌｉｃｅ内におけるＧＯＰ（Ｉｎｔｒａ Ｐｅｒｉｏｄ）構成パターンを割り出し、そのＧＯＰ構成内のＳｌｉｃｅ数を出し、ＧＯＰ構成（Ｉｎｔｒａ Ｐｅｒｉｏｄ）の長さを求めるものである。
【００５２】
また、スライス損失検知部１５１は、ＧＯＰ構成の長さを測定周期とし、この測定周期内の各Ｓｌｉｃｅのロス数を求めるものである。
【００５３】
さらに、スライス損失検知部１５１は、受信した画像（Ｐｉｃｔｕｒｅ）数、各Ｓｌｉｃｅのロス数を用いて、画像（Ｐｉｃｔｕｒｅ）のロス率を求める。また、スライス損失検知部１５１は、イントラ内（画面内）の空間圧縮（ＴＳパケット）の損失最大値やその事象が起きた回数を求める。
【００５４】
図７は、第１の実施形態のスライス損失検知方法を説明する説明図と各ＧＯＰ構成のスライス損失の測定結果を示す図である。
【００５５】
図７（Ａ）は、Ｉ−Ｓｌｉｃｅ内のＧＯＰ（Ｉｎｔｒａ Ｐｅｒｉｏｄ）構成パターンを例示する図である。図７（Ａ）に示すように、スライス損失検知部１５１は、Ｉ−Ｓｌｉｃｅ内のＩｎｔｒａ Ｐｅｒｉｏｄを構成するＳｌｉｃｅに対するロスを検知する。
【００５６】
ここで、スライス損失検知部１５１は、各フレーム情報に基づいてＳｌｉｃｅ種別を認識しており、Ｓｌｉｃｅ種別毎のロス数を検知する。
【００５７】
図７（Ｂ）は、スライス損失検知部１５１が測定した測定結果を示すテーブルである。図７（Ｂ）に示すテーブルは、例えば、「Ｔｉｍｅ Ｓｔａｍｐ」、「Ｉｎｔｒａ Ｐｅｒｉｏｄ Ｐａｔｔｅｒｎ」、「Ｉｎｔｒａ Ｐｅｒｉｏｄの長さ」、「Ｉ−Ｓｌｉｃｅロス数」、「Ｐ−Ｓｌｉｃｅロス数」、「Ｂ−Ｓｌｉｃｅロス数」、「Ｐｉｃｔｕｒｅロス率」、「受信Ｐｉｃｔｕｒｅ数」を項目にもつ。
【００５８】
「Ｔｉｍｅ Ｓｔａｍｐ」は、受信したＩＰパケットの時刻情報を管理する項目であり、時刻情報取得部１２が取得した時刻情報に基づいて時刻を管理する。
【００５９】
「Ｉｎｔｒａ Ｐｅｒｉｏｄ Ｐａｔｔｅｒｎ」は、ＧＯＰ（Ｉｎｔｒａ Ｐｅｒｉｏｄ）の構成パターンを管理する項目であり、画像情報取得部１４から受け取ったＧＯＰ（Ｉｎｔｒａ Ｐｅｒｉｏｄ）構成を管理する。また、「Ｉｎｔｒａ Ｐｅｒｉｏｄの長さ」は、ＧＯＰ（Ｉｎｔｒａ Ｐｅｒｉｏｄ）の長さを管理する項目である。
【００６０】
「Ｉ−Ｓｌｉｃｅロス数」、「Ｐ−Ｓｌｉｃｅロス数」及び「Ｂ−Ｓｌｉｃｅロス数」は、測定周期内でカウントしたＳｌｉｃｅロス数をＳｌｉｃｅ種別毎に管理する項目である。
【００６１】
「受信Ｐｉｃｔｕｒｅ数」は、受信した画像（Ｐｉｃｔｕｒｅ）の総数を管理する項目である。
【００６２】
「Ｐｉｃｔｕｒｅロス率」は、画像（Ｐｉｃｔｕｒｅ）の総数に対するロスした画像（Ｐｉｃｔｕｒｅ）の比率を管理する項目である。例えば、図７（Ｂ）の第１行目の場合、画像（Ｐｉｃｔｕｒｅ）総数は、２８２＋３＋５＋４＝２９４であり、総ロス数は、３＋５＋４＝１２であるから、（１２／２９４）×１００≒４となる。
【００６３】
フレーム損失検知部１５２は、パケット損失が発生した際のＴＳパケットのロス数及び損失したフレーム種別、並びに、パケット損失フレームのＧＯＰ内での位置関係を時系列にてテーブル化するものである。
【００６４】
また、フレーム損失検知部１５２は、スライス損失検知部１５１が検知した各フレームのロス数を各フレームに対応付けるようにする。
【００６５】
図８（Ａ）は、ＧＯＰ構成を例示する図であり、図８（Ｂ）は、フレーム損失検知部１５２が測定するフレーム損失の測定結果を示す図である。
【００６６】
フレーム損失検知部１５２は、受信パケットの時刻情報を基準にして、ＧＯＰ構成、フレーム構成、ＴＳパケット損失の位置関係を管理する。また、フレーム損失検知部１５２は、受信パケットの時刻情報を基にして所定の測定時間内で測定する。
【００６７】
フレーム損失検知部１５２は、測定時間内で受信した各受信パケットの各フレームのＧＯＰ構成に基づいて、図８（Ｂ）に示すようにテーブル化を行なう。
【００６８】
このとき、フレーム損失検知部１５２は、ＧＯＰを構成する各フレームに対してシーケンス番号を付与する。また、フレーム損失検知部１５２は、各フレームのフレーム種別も認識する。
【００６９】
また、フレーム損失検知部１５２は、図８（Ｂ）に示すように、受信パケットの時刻情報に基づいて、ＩＰパケットのシーケンス番号と各フレームのシーケンス番号とのマッピングを行なう。
【００７０】
このように、各フレームとＴＳパケットとの対応付けを行なうことができるので、フレームの画像劣化とＴＳパケットの損失との関係を認識させることができる。
【００７１】
（Ａ−２）第１の実施形態の動作
次に、第１の実施形態のメディア情報品質管理システム９における処理の動作を説明する。
【００７２】
まず、クライアント端末２は、配信サーバ６が提供する映像配信に係るマルチキャストにＪｏｉｎして配信サーバ６から映像信号を取得する。
【００７３】
クライアント端末２は、配信サーバ６から映像信号を受信すると、受信した映像信号をデコードして配信映像を出力すると共に、その受信した映像信号を管理システム１に向けて送信する。
【００７４】
管理システム１において、受信部１１がクライアント端末２からの映像パケットを受信すると、時刻情報取得部１２が、受信パケットのＩＰヘッダから時刻情報を取得し、当該ＩＰパケットのシーケンス番号と対応付けて管理する。
【００７５】
次に、ＴＳパケット損失検出部１３は、受信パケットのＲＴＰパケットペイロードに含まれている各ＴＳパケットのＴＳヘッダに基づいて、ＴＳパケットの損失の有無を検出し、ＴＳパケットの損失数をカウントする。
【００７６】
次に、画像情報取得部１４は、各ＴＳパケットのペイロードに含まれている各フレーム情報に基づいてＧＯＰ構成を認識する。また、画像情報取得部１４は、各フレーム情報に基づいてフレームをデコードする。
【００７７】
このとき、画像情報取得部１４は、ＴＳペイロードに含まれているタイムスタンプ情報（ＤＴＳ／ＰＴＳ）に基づいて、ＩＰパケットに含まれているＴＳパケット数を管理する。
【００７８】
画像品質測定部１５は、画像情報取得部１４によりＧＯＰ構成が認識されると、そのＧＯＰの構成パターンと、そのＧＯＰ構成の測定範囲内での各Ｓｌｉｃｅのロス数とを測定する。
【００７９】
このとき、図７（Ｂ）に示すように、画像品質測定部１５は、各ＧＯＰ構成内でのＳｌｉｃｅ種別毎のロス数や、画像（Ｐｉｃｔｕｒｅ）の総数に対するＰｉｃｔｕｒｅロス率を求める。
【００８０】
このようにして、各ＧＯＰ（Ｉｎｔｒａ Ｐｅｒｉｏｄ）構成におけるＳｌｉｃｅロスを測定することができる。
【００８１】
また、画像品質測定部１５は、時刻情報取得部１２からの時刻情報を用いて、所定の測定期間内に受信した受信パケットに含まれるフレームと、ＴＳパケットの損失との対応関係をテーブル化する。
【００８２】
例えば、図８（Ｂ）では、時刻情報（Ｔｉｍｅｓｔａｍｐ）に基づいて測定期間「12:42:00−12:42:10」での画像品質の測定結果である。
【００８３】
まず、画像品質測定部１５は、この測定期間内のフレームに対してシーケンス番号を付与する。また、画像品質測定部１５は、各フレームヘッダに基づいてフレーム種別を認識し、各シーケンス番号にフレーム種別を対応付ける。
【００８４】
次に、画像品質測定部１５は、時刻情報取得部１２が管理するＩＰパケットの時刻情報とシーケンス番号との対応関係を利用して、ＩＰパケットのシーケンス番号と各フレームのシーケンス番号との対応関係をとる。そして、各フレーム毎に求めたＴＳパケット損失数を図８（Ｂ）のテーブルに載せる。
【００８５】
画像品質測定部１５は、次の測定期間内でのＧＯＰ構成及びフレーム構成とＴＳパケット損失情報との関連付けを継続的に行い、その測定結果を収集ＤＢ７に蓄積する。
【００８６】
（Ａ−３）第１の実施形態の効果
以上のように、第１の実施形態によれば、管理システム１は、各フレームとＴＳパケット損失情報とを対応付けた情報を収集し、これらの統計情報に基づいて、各フレームにおける画像劣化（ノイズブロック）の度合を精度良く把握することができる。
【００８７】
なお、１ＵＤＰパケット内には、最大７ＴＳパケットが格納されているため、フレーム種別及びその時のパケット損失の位置関係が分かれば、どのフレームにおける画像劣化（ブロックノイズ）が生じているのかが分かる。
【００８８】
（Ｂ）第２の実施形態
次に、本発明のメディア情報品質管理システムの第２の実施形態について図面を参照しながら説明する。
【００８９】
（Ｂ−１）第２の実施形態の構成及び動作
図９は、第２の実施形態のメディア情報品質管理システムの構成を示す構成図である。図９に示すように、第２の実施形態のメディア情報品質管理システム９Ｂは、管理システム１、クライアント端末２、ノード３〜５、配信サーバ６、収集ＤＢ７を少なくとも有して構成される。
【００９０】
第２の実施形態が第１の実施形態と異なる点は、管理システム１がクライアント端末２に配信される映像パケットの取得方法である。
【００９１】
つまり、第１の実施形態では、クライアント端末２が受信した配信パケットを管理システム１に向けて送信するものとした。
【００９２】
これに対して、第２の実施形態は、クライアント端末２に映像パケットを転送するノードが、管理システム１に対してパケットログをアップロードするようにする。
【００９３】
従って、以下では、管理システム１に対してパケットログをアップロードするまでの処理について説明するが、第１の実施形態で既に説明した構成の説明については省略する。
【００９４】
図９において、配信サーバ６は、クライアント端末２に向けて映像パケットを配信する。このとき、配信サーバ６が配信する映像パケットはノード５→ノード４→ノード３→クライアント端末２の経路で配信されるものとする。
【００９５】
クライアント端末２に映像パケットを転送するノード３は、クライアント端末２に転送するパケットのパケットログを蓄積しており、このパケットログを管理システム１に向けて送信する。
【００９６】
ここで、ノード３による管理システム１へのパケットログのアップロードの仕方としては、例えば、映像品質を管理する管理対象のクライアント端末２の識別情報を指定しておき、当該クライアント端末２の識別情報宛の映像パケットのパケット情報を蓄積するように設定しておく。また、ノード３は、クライアント端末２の識別情報宛のパケットログを周期的に管理システム１に送信する。
【００９７】
管理システム１は、ノード３からクライアント端末２に転送したパケットログを受け取ると、このノード３からの情報に基づいて、各ＧＯＰ構成の各フレームとＩＰパケットとのマッピングを行い、その結果を収集ＤＢ７に蓄積するものである。
【００９８】
管理システム１の内部構成は、第１の実施形態で説明した図３に示す内部構成を適用できるので、図３を参照して管理システム１の処理の動作を説明する。
【００９９】
つまり、管理システム１では、第１の実施形態と同様に、リンク１０３にて接続しているノード３からクライアント端末２宛のＩＰパケットを取得すると、そのＩＰパケットのＩＰヘッダに含まれるシーケンス番号及び時刻情報を取得し、ＩＰパケットのシーケンス番号と時刻情報を対応付けて管理する。
【０１００】
次に、ＩＰパケットに含まれているＧＯＰ構成を取得すると、図８（Ｂ）に示すように、各フレームに対してシーケンス番号を付与して、ＧＯＰ構成をテーブル化する。
【０１０１】
そして、ＩＰパケットの時刻情報を基準にして、ＩＰパケットのシーケンス番号と各フレームのシーケンス番号との対応付けを行い、ＧＯＰ構成テーブルのマッピングを行う。
【０１０２】
管理システム１では、上記の第１の実施形態と同様の一連処理を継続的に行い、その結果を収集ＤＢ７に蓄積するという処理を繰り返し行なう。
【０１０３】
（Ｂ−２）第２の実施形態の効果
以上のように、第２の実施形態によれば、第１の実施形態と同様の効果に加えて、中継ノードが保持するクライアント端末宛のパケットログを取得して、映像パケットの品質を管理することにより、クライアント端末の受信パケットだけでなく、未受信パケットにつても各フレームに対するＴＳパケット（ブロックノイズの元となる）の損失状況を正確に把握すること可能となる。
【０１０４】
（Ｃ）他の実施形態
第１及び第２の実施形態で説明した管理システムの各種機能は、ソフトウェア処理により実現されるものである。つまり、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＥＥＰＲＯＭ等のハードウェア構成を備え、ＣＰＵが、ＲＯＭに格納される処理プログラムを実行することにより実現されるものである。
【０１０５】
また、第１及び第２の実施形態で説明した管理システムの各種機能部は、物理的に同一のサーバ上で実現されるものであってもよいし、分散配置されたサーバ上で分散処理により実現されるものであってよい。
【図面の簡単な説明】
【０１０６】
【図１】第１の実施形態の画像品質管理システムの構成を示す構成図である。
【図２】第１の実施形態のクライアント端末の内部構成を示す内部構成図である。
【図３】第１の実施形態の管理システムの内部構成を示す内部構成図である。
【図４】パケットの構成と測定レベルを示す構成図である。
【図５】ＥＴＳＩの測定ガイドラインＴＲ 101 290を示す図である（その１）。
【図６】ＥＴＳＩの測定ガイドラインＴＲ 101 290を示す図である（その２）。
【図７】第１の実施形態のスライス損失検知方法を説明する説明図と各ＧＯＰ構成のスライス損失の測定結果を示す図である。
【図８】第１の実施形態のＧＯＰ構成を例示する図とフレーム損失検知部が測定するフレーム損失の測定結果を示す図である。
【図９】第２の実施形態の画像品質管理システムの構成を示す構成図である。
【符号の説明】
【０１０７】
１…管理システム、２…クライアント端末、３〜５…ノード、６…配信サーバ、９Ａ及び９Ｂ…映像配信システム、１１…受信部、１２…時刻情報取得部、１３…ＴＳパケット損失検出部、１４…画像情報取得部、１４１…ＧＯＰ構成取得部、１４２…フレーム情報取得部、１５…画像品質測定部、１５１…スライス損失検知部、１５２…フレーム損失検知部。
【技術分野】
【０００１】
本発明は、画像品質管理システム、方法及びプログラムに関し、例えば、パケット損失による映像フレームの影響を管理する画像品質管理システム、方法及びプログラムに適用し得るものである。
【背景技術】
【０００２】
例えば、音声、静止画、動画像などのメディア情報を通信や放送する場合に、その情報量が多いため、例えばＭＰＥＧ方式などの圧縮符号化が行われるが、メディア情報の品質を維持するために、そのサービス品質を測定することが必要となる。
【０００３】
特許文献１は、ネットワーク通信や放送するメディア情報の通信品質を測定する技術が記載されている。具体的には、メディア用パケットで送受信した各フレームのうち、メディア用パケットの損失による影響を受けた無効フレームの割合に基づいて無効フレーム率を求め、この無効フレーム率をユーザが体感するサービス品質の推定値とみなす技術である。
【０００４】
【特許文献１】特開２００７−０６０４７５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、ユーザが体感する主観的な映像品質に影響を与える要素として「ブロックノイズ」がある。このブロックノイズとは、映像フレームの一部のブロックがモザイク状態となり、映像の欠落を引き起こす現象をいい、通信又は放送されるパケットの損失が原因であると考えられる。
【０００６】
フレーム内でのＴＳパケット損失をエンコード側での負荷軽減を目的としてしまうと、以下のような点から実際のフレームの劣化状況を特定することが困難であり、またユーザが体感する映像品質も異なってしまうおそれもある。
【０００７】
（１）コーデックによって各フレームに対して重み付けを行なっているが、その映像フレームをパケット化する際のＴＳパケットの損失状況を考慮していないため、フレーム内に生じる「ブロックノイズ」そのものを検知できていない。
【０００８】
（２）また、そのＴＳパケットの損失によって、ユーザに与える体感品質の影響度まで考慮していないため、実際に体感する品質との間に差異が生じる。
【０００９】
（３）コーデックの特性上、各フレームそのものは損失していないが、各フレーム内のブロック（ＴＳパケット）が損失するといった現象を考慮していない。
【００１０】
そのため、実際のフレーム自体の劣化状況に応じた映像品質を求めることができる画像品質管理システム、方法及びプログラムが求められている。
【課題を解決するための手段】
【００１１】
かかる課題を解決するために、第１の本発明の画像品質管理システムは、クライアント端末に配信される画像品質を管理する画像品質管理システムにおいて、（１）クライアント端末に配信される画像データを有するパケットを受信する受信手段と、（２）受信パケットに基づいて画像の構成を示す画像構成情報を取得する画像構成情報取得手段と、（３）画像構成情報に基づく構成順にしたフレームと、シーケンス番号に基づいて時系列に並べたパケットとを対応させ、各フレームとパケットとを関連付けて画像品質を測定する画像品質測定手段と、（４）画像品質測定手段により測定された画像品質測定結果を蓄積する蓄積手段とを備えることを特徴とする。
【００１２】
第２の本発明の画像品質管理方法は、クライアント端末に配信される画像品質を管理する画像品質管理システムでの画像品質管理方法において、画像品質管理システムが、受信手段、画像構成情報取得手段、画像品質測定手段及び蓄積手段を備え、（１）受信手段が、クライアント端末に配信される画像データを有するパケットを受信する受信工程と、（２）画像構成情報取得手段が、受信パケットに基づいて画像の構成を示す画像構成情報を取得する画像構成情報取得工程と、（３）画像品質測定手段が、画像構成情報に基づく構成順にしたフレームと、シーケンス番号に基づいて時系列に並べたパケットとを対応させ、各フレームとパケットとを関連付けて画像品質を測定する画像品質測定工程と、（４）蓄積手段が、画像品質測定手段により測定された画像品質測定結果を蓄積する蓄積工程とを有することを特徴とする。
【００１３】
第３の本発明の画像品質管理プログラムは、クライアント端末に配信される画像品質を管理する画像品質管理システムでの画像品質管理プログラムにおいて、コンピュータを、（１）クライアント端末に配信される画像データを有するパケットを受信する受信手段、（２）受信パケットに基づいて画像の構成を示す画像構成情報を取得する画像構成情報取得手段、（３）画像構成情報に基づく構成順にしたフレームと、シーケンス番号に基づいて時系列に並べたパケットとを対応させ、各フレームとパケットとの関連付けて画像品質を測定する画像品質測定手段、（４）画像品質測定手段により測定された画像品質測定結果を蓄積する蓄積手段として機能させることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、実際のフレーム自体の劣化状況に応じた映像品質を求めることができる。
【発明を実施するための最良の形態】
【００１５】
（Ａ）第１の実施形態
以下では、本発明の画像品質管理システム、方法及びプログラムの第１の実施形態について図面を参照しながら説明する。
【００１６】
第１の実施形態は、マルチキャストにより、配信サーバが提供する配信映像をクライアント端末に配信する映像配信システムに、本発明の画像品質管理システム、方法及びプログラムを適用する実施形態を例示して説明する。
【００１７】
（Ａ−１）第１の実施形態の構成
図１は、第１の実施形態のメディア情報品質管理システムの構成を示す構成図である。図１に示すように、第１の実施形態のメディア情報品質管理システム９Ａは、管理システム１、クライアント端末２、ノード３〜５、配信サーバ６、収集ＤＢ７を少なくとも有して構成される。
【００１８】
図１において例示する映像配信システムは、配信サーバ６が、ノード５、４及び３を介して、クライアント端末２に向けて配信映像を配信するシステムである。
【００１９】
この映像配信システムの配信形態としては、種々の形態を広く採用することができるが、例えば、有線回線を用いて配信する形態や、無線回線を用いて配信する形態や、有線回線と無線回線を結合させた形態や、放送により配信する形態などを適用することができる。
【００２０】
また、この映像配信システムは、マルチキャストを用いて映像を配信しているため、図１では１台のクライアント端末２のみを示しているが、そのマルチキャストに参加するクライアント端末２が複数ある場合には、複数のクライアント端末２に対して映像を配信する。
【００２１】
配信サーバ６は、１又は複数種類の映像を配信する画像送信装置である。配信サーバ６は、既存の配信サーバを用いることができるので、その構成の詳細な説明は省略するが、例えば、映像ストリームデータに対して圧縮符号化処理を行なう圧縮符号化処理部（エンコーダ部）、圧縮符号化データを有するＴＳ（Transport Stream）パケットを変調する変調部、変調したパケットを送信する送信部を少なくとも有するものである。
【００２２】
また、配信サーバ６が配信映像を符号化する圧縮符号化方式は、特に限定されず広く適用することができるが、一般にＭＰＥＧ方式（ＭＰＥＧ１、ＭＰＥＧ２、ＭＰＥＧ４、ＭＰＥＧ７など）を採用する。
【００２３】
配信サーバ６のエンコーダ部は、配信すべき入力画像データを受け取ると、ＧＯＰ（Group Of Picture）構成の設定情報に従って、その画像データをＭＰＥＧ符号化してＥＳ（Elementary Stream）を生成し、生成したＥＳをパケット化してＰＥＳ（Packetized Elementary Stream）パケットにする。そして、エンコーダ部は、このＰＥＳパケットを分割して、固定長のＴＳパケットのペイロードに挿入してＴＳパケットを生成して変調部に与える。
【００２４】
ここで、ＧＯＰ（Group Of Picture）構成とは、複数の画像（フレーム）を有して構成する１グループをいう。例えば、画像の種類には、Ｉフレーム（Intra Frame）、Ｐフレーム（Predictive Frame）、Ｂフレーム（Bi-Directional Frame）があるが、これらＩフレーム、Ｐフレーム、Ｂフレームの組み合わせをＧＯＰ構成という。
【００２５】
例えば、ＧＯＰの構成態様としては、（１）Ｉフレーム、Ｐフレーム、Ｂフレームのそれぞれを有するＩＰＢ構成、（２）ＩフレームとＰフレームとを有するＩＰ構成、（３）複数のＩフレームを有するＩ構成がある。
【００２６】
また、ＧＯＰを構成するフレーム数やフレーム周期は特に制限がないので、提供する画像ストリームの種類やサービス種類に応じてフレーム数やフレーム周期は異なり得る。
【００２７】
ノード３〜５は、配信サーバ６とクライアント端末２との間に介在する転送装置であり、配信サーバ６からの映像パケットをクライアント端末２に転送するものである。
【００２８】
クライアント端末２は、配信サーバ６からの配信映像を受信する画像受信装置を有するものであり、受信映像を出力するユーザ端末である。
【００２９】
また、クライアント端末２は、受信した映像パケットを管理システム１に送信するものである。このようにクライアント端末２が受信パケットを管理システム１に送信することにより、管理システム１による映像品質を測定管理させることができる。
【００３０】
図２は、クライアント端末２の内部構成を示す内部構成図である。図２に示すように、クライアント端末２は、受信部２１、復調部２２、ＭＰＥＧデコーダ２３、画像出力部２４、送信部２５を少なくとも有するものである。
【００３１】
受信部２１は、配信された映像信号を受信し、受信信号を復調部２２に与えるものである。また、受信部２１は、受信した映像信号を送信部２５に与えるものである。これにより、管理システム１に対して、受信した配信映像のパケットを与えることができる。
【００３２】
復調部２２は、受信部２１が受信した受信信号を復調し、ＭＰＥＧデコーダ２３に与えるものである。つまり、受信した映像信号からＴＳパケットを復調するものである。
【００３３】
送信部２５は、受信部２１から受け取った映像信号を管理システム１に与えるものである。ここで、送信部２５には、予め管理システム１の送信先情報（例えば、ＩＰアドレス等）が設定されており、受信した映像信号に送信先情報を付与して送信することで、管理システム１に与えることができる。
【００３４】
ＭＰＥＧデコーダ２３は、復調部２２により復調されたＴＳパケットからＰＥＳパケットを分離し、ＰＥＳパケットからＥＳパケットを復号して画像データを生成するものである。
【００３５】
画像出力部２４は、ＭＰＥＧデコーダ２３により復元された画像データに基づいて画像を出力するものである。
【００３６】
管理システム１は、クライアント端末２から受信した映像パケットに基づいて、配信映像の品質を測定して、その測定結果を収集ＤＢ７に蓄積して管理するものである。
【００３７】
ここで、管理システム１は、ＧＯＰ構成を認識した後、各フレームにシーケンス番号を割り当て、各フレームのシーケンス番号とＩＰパケットのシーケンス番号とを対応付けてＧＯＰ構成テーブルを作成し、各フレームとＴＳパケット損失との対応関係を明確にする。
【００３８】
これにより、実際のフレーム画像の劣化とＴＳパケット損失との関係に基づいてフレーム毎の映像品質を測定することができる。
【００３９】
図３は、管理システム１の内部構成を示す機能ブロック図である。図３に示すように、管理システム１は、受信部１１、時刻情報取得部１２、ＴＳパケット損失検出部１３、画像情報取得部１４、画像品質測定部１５を少なくとも有するものである。
【００４０】
受信部１１は、映像パケットを受信するものであり、クライアント端末２が受信した映像パケットを受信するものである。
【００４１】
ここで、映像パケットは、ＲＴＰパケットである。図４は、映像信号のパケット構成を示すパケット構成図であり、映像パケットは、ＩＰヘッダ、ＵＤＰヘッダ、ＲＴＰヘッダを有し、ＲＴＰパケットのペイロードに複数のＴＳパケットが含まれている。また、ＴＳパケットは、ＧＯＰ構成の順に従って、各フレームのヘッダ情報及び映像データが含まれている。
【００４２】
時刻情報取得部１２は、受信パケットのＩＰヘッダに基づいてＩＰパケットの時刻情報を取得するものである。また、時刻情報取得部１２は、受信したＩＰパケットのシーケンス番号を時刻情報に対応付けするものである。これにより、受信したＩＰパケットを時系列で管理するものである。
【００４３】
ＴＳパケット損失検出部１３は、受信パケットのＲＴＰパケットペイロードに含まれている各ＴＳパケットのＴＳヘッダに基づいて、ＴＳパケットのロス又はエラーを検出し、パケット損失数をカウントするものである。
【００４４】
ＴＳパケット損失数のカウント方法としては、ＴＳパケット損失検出部１３は、ＴＳヘッダに含まれているヘッダ情報に基づいてＴＳパケットの損失を検出し、その損失数をカウントする方法を適用できる。
【００４５】
例えば、図５及び図６は、ＥＴＳＩ（European Telecommunications Standards Institute）の測定ガイドラインＴＲ 101 290を示す。ＴＳパケット損失検出部１３は、図５及び図６に示す測定パラメータを測定し、図５及び図６に示す「内容」に設定される条件に従って、ＴＳパケットの損失をカウントする。
【００４６】
画像情報取得部１４は、受信パケットのＲＴＰパケットペイロードに含まれている各ＴＳパケットのＴＳペイロードをデコードして、ＧＯＰ構成や各フレーム情報を取得するものである。
【００４７】
画像情報取得部１４は、図３に示すように、各ＴＳペイロードに含まれている各ＥＳに付与されているＧＯＰ毎のシーケンス番号に基づいて、ＧＯＰ構成のパターンを取得するＧＯＰ構成取得部１４１と、各フレーム情報を取得するフレーム情報取得部１４２とを有する。
【００４８】
画像品質測定部１５は、時刻情報取得部１２、ＴＳパケット損失検出部１３及び画像情報取得部１４により得られた各種情報に基づいて、各フレームとＩＰパケットとを対応付けたＧＯＰ構成テーブルを形成するものである。
【００４９】
また、画像品質測定部１５は、フレーム内でのＧＯＰ構成（Ｉｎｔｒａ Ｐｅｒｉｏｄ）内を割り出し、フレーム内でのスライス損失を検知するものである。
【００５０】
画像品質測定部１５は、図３に示すように、スライス損失検知部１５１と、フレーム損失検知部１５２とを有して構成される。
【００５１】
スライス損失検知部１５１は、Ｉ−Ｓｌｉｃｅ内におけるＧＯＰ（Ｉｎｔｒａ Ｐｅｒｉｏｄ）構成パターンを割り出し、そのＧＯＰ構成内のＳｌｉｃｅ数を出し、ＧＯＰ構成（Ｉｎｔｒａ Ｐｅｒｉｏｄ）の長さを求めるものである。
【００５２】
また、スライス損失検知部１５１は、ＧＯＰ構成の長さを測定周期とし、この測定周期内の各Ｓｌｉｃｅのロス数を求めるものである。
【００５３】
さらに、スライス損失検知部１５１は、受信した画像（Ｐｉｃｔｕｒｅ）数、各Ｓｌｉｃｅのロス数を用いて、画像（Ｐｉｃｔｕｒｅ）のロス率を求める。また、スライス損失検知部１５１は、イントラ内（画面内）の空間圧縮（ＴＳパケット）の損失最大値やその事象が起きた回数を求める。
【００５４】
図７は、第１の実施形態のスライス損失検知方法を説明する説明図と各ＧＯＰ構成のスライス損失の測定結果を示す図である。
【００５５】
図７（Ａ）は、Ｉ−Ｓｌｉｃｅ内のＧＯＰ（Ｉｎｔｒａ Ｐｅｒｉｏｄ）構成パターンを例示する図である。図７（Ａ）に示すように、スライス損失検知部１５１は、Ｉ−Ｓｌｉｃｅ内のＩｎｔｒａ Ｐｅｒｉｏｄを構成するＳｌｉｃｅに対するロスを検知する。
【００５６】
ここで、スライス損失検知部１５１は、各フレーム情報に基づいてＳｌｉｃｅ種別を認識しており、Ｓｌｉｃｅ種別毎のロス数を検知する。
【００５７】
図７（Ｂ）は、スライス損失検知部１５１が測定した測定結果を示すテーブルである。図７（Ｂ）に示すテーブルは、例えば、「Ｔｉｍｅ Ｓｔａｍｐ」、「Ｉｎｔｒａ Ｐｅｒｉｏｄ Ｐａｔｔｅｒｎ」、「Ｉｎｔｒａ Ｐｅｒｉｏｄの長さ」、「Ｉ−Ｓｌｉｃｅロス数」、「Ｐ−Ｓｌｉｃｅロス数」、「Ｂ−Ｓｌｉｃｅロス数」、「Ｐｉｃｔｕｒｅロス率」、「受信Ｐｉｃｔｕｒｅ数」を項目にもつ。
【００５８】
「Ｔｉｍｅ Ｓｔａｍｐ」は、受信したＩＰパケットの時刻情報を管理する項目であり、時刻情報取得部１２が取得した時刻情報に基づいて時刻を管理する。
【００５９】
「Ｉｎｔｒａ Ｐｅｒｉｏｄ Ｐａｔｔｅｒｎ」は、ＧＯＰ（Ｉｎｔｒａ Ｐｅｒｉｏｄ）の構成パターンを管理する項目であり、画像情報取得部１４から受け取ったＧＯＰ（Ｉｎｔｒａ Ｐｅｒｉｏｄ）構成を管理する。また、「Ｉｎｔｒａ Ｐｅｒｉｏｄの長さ」は、ＧＯＰ（Ｉｎｔｒａ Ｐｅｒｉｏｄ）の長さを管理する項目である。
【００６０】
「Ｉ−Ｓｌｉｃｅロス数」、「Ｐ−Ｓｌｉｃｅロス数」及び「Ｂ−Ｓｌｉｃｅロス数」は、測定周期内でカウントしたＳｌｉｃｅロス数をＳｌｉｃｅ種別毎に管理する項目である。
【００６１】
「受信Ｐｉｃｔｕｒｅ数」は、受信した画像（Ｐｉｃｔｕｒｅ）の総数を管理する項目である。
【００６２】
「Ｐｉｃｔｕｒｅロス率」は、画像（Ｐｉｃｔｕｒｅ）の総数に対するロスした画像（Ｐｉｃｔｕｒｅ）の比率を管理する項目である。例えば、図７（Ｂ）の第１行目の場合、画像（Ｐｉｃｔｕｒｅ）総数は、２８２＋３＋５＋４＝２９４であり、総ロス数は、３＋５＋４＝１２であるから、（１２／２９４）×１００≒４となる。
【００６３】
フレーム損失検知部１５２は、パケット損失が発生した際のＴＳパケットのロス数及び損失したフレーム種別、並びに、パケット損失フレームのＧＯＰ内での位置関係を時系列にてテーブル化するものである。
【００６４】
また、フレーム損失検知部１５２は、スライス損失検知部１５１が検知した各フレームのロス数を各フレームに対応付けるようにする。
【００６５】
図８（Ａ）は、ＧＯＰ構成を例示する図であり、図８（Ｂ）は、フレーム損失検知部１５２が測定するフレーム損失の測定結果を示す図である。
【００６６】
フレーム損失検知部１５２は、受信パケットの時刻情報を基準にして、ＧＯＰ構成、フレーム構成、ＴＳパケット損失の位置関係を管理する。また、フレーム損失検知部１５２は、受信パケットの時刻情報を基にして所定の測定時間内で測定する。
【００６７】
フレーム損失検知部１５２は、測定時間内で受信した各受信パケットの各フレームのＧＯＰ構成に基づいて、図８（Ｂ）に示すようにテーブル化を行なう。
【００６８】
このとき、フレーム損失検知部１５２は、ＧＯＰを構成する各フレームに対してシーケンス番号を付与する。また、フレーム損失検知部１５２は、各フレームのフレーム種別も認識する。
【００６９】
また、フレーム損失検知部１５２は、図８（Ｂ）に示すように、受信パケットの時刻情報に基づいて、ＩＰパケットのシーケンス番号と各フレームのシーケンス番号とのマッピングを行なう。
【００７０】
このように、各フレームとＴＳパケットとの対応付けを行なうことができるので、フレームの画像劣化とＴＳパケットの損失との関係を認識させることができる。
【００７１】
（Ａ−２）第１の実施形態の動作
次に、第１の実施形態のメディア情報品質管理システム９における処理の動作を説明する。
【００７２】
まず、クライアント端末２は、配信サーバ６が提供する映像配信に係るマルチキャストにＪｏｉｎして配信サーバ６から映像信号を取得する。
【００７３】
クライアント端末２は、配信サーバ６から映像信号を受信すると、受信した映像信号をデコードして配信映像を出力すると共に、その受信した映像信号を管理システム１に向けて送信する。
【００７４】
管理システム１において、受信部１１がクライアント端末２からの映像パケットを受信すると、時刻情報取得部１２が、受信パケットのＩＰヘッダから時刻情報を取得し、当該ＩＰパケットのシーケンス番号と対応付けて管理する。
【００７５】
次に、ＴＳパケット損失検出部１３は、受信パケットのＲＴＰパケットペイロードに含まれている各ＴＳパケットのＴＳヘッダに基づいて、ＴＳパケットの損失の有無を検出し、ＴＳパケットの損失数をカウントする。
【００７６】
次に、画像情報取得部１４は、各ＴＳパケットのペイロードに含まれている各フレーム情報に基づいてＧＯＰ構成を認識する。また、画像情報取得部１４は、各フレーム情報に基づいてフレームをデコードする。
【００７７】
このとき、画像情報取得部１４は、ＴＳペイロードに含まれているタイムスタンプ情報（ＤＴＳ／ＰＴＳ）に基づいて、ＩＰパケットに含まれているＴＳパケット数を管理する。
【００７８】
画像品質測定部１５は、画像情報取得部１４によりＧＯＰ構成が認識されると、そのＧＯＰの構成パターンと、そのＧＯＰ構成の測定範囲内での各Ｓｌｉｃｅのロス数とを測定する。
【００７９】
このとき、図７（Ｂ）に示すように、画像品質測定部１５は、各ＧＯＰ構成内でのＳｌｉｃｅ種別毎のロス数や、画像（Ｐｉｃｔｕｒｅ）の総数に対するＰｉｃｔｕｒｅロス率を求める。
【００８０】
このようにして、各ＧＯＰ（Ｉｎｔｒａ Ｐｅｒｉｏｄ）構成におけるＳｌｉｃｅロスを測定することができる。
【００８１】
また、画像品質測定部１５は、時刻情報取得部１２からの時刻情報を用いて、所定の測定期間内に受信した受信パケットに含まれるフレームと、ＴＳパケットの損失との対応関係をテーブル化する。
【００８２】
例えば、図８（Ｂ）では、時刻情報（Ｔｉｍｅｓｔａｍｐ）に基づいて測定期間「12:42:00−12:42:10」での画像品質の測定結果である。
【００８３】
まず、画像品質測定部１５は、この測定期間内のフレームに対してシーケンス番号を付与する。また、画像品質測定部１５は、各フレームヘッダに基づいてフレーム種別を認識し、各シーケンス番号にフレーム種別を対応付ける。
【００８４】
次に、画像品質測定部１５は、時刻情報取得部１２が管理するＩＰパケットの時刻情報とシーケンス番号との対応関係を利用して、ＩＰパケットのシーケンス番号と各フレームのシーケンス番号との対応関係をとる。そして、各フレーム毎に求めたＴＳパケット損失数を図８（Ｂ）のテーブルに載せる。
【００８５】
画像品質測定部１５は、次の測定期間内でのＧＯＰ構成及びフレーム構成とＴＳパケット損失情報との関連付けを継続的に行い、その測定結果を収集ＤＢ７に蓄積する。
【００８６】
（Ａ−３）第１の実施形態の効果
以上のように、第１の実施形態によれば、管理システム１は、各フレームとＴＳパケット損失情報とを対応付けた情報を収集し、これらの統計情報に基づいて、各フレームにおける画像劣化（ノイズブロック）の度合を精度良く把握することができる。
【００８７】
なお、１ＵＤＰパケット内には、最大７ＴＳパケットが格納されているため、フレーム種別及びその時のパケット損失の位置関係が分かれば、どのフレームにおける画像劣化（ブロックノイズ）が生じているのかが分かる。
【００８８】
（Ｂ）第２の実施形態
次に、本発明のメディア情報品質管理システムの第２の実施形態について図面を参照しながら説明する。
【００８９】
（Ｂ−１）第２の実施形態の構成及び動作
図９は、第２の実施形態のメディア情報品質管理システムの構成を示す構成図である。図９に示すように、第２の実施形態のメディア情報品質管理システム９Ｂは、管理システム１、クライアント端末２、ノード３〜５、配信サーバ６、収集ＤＢ７を少なくとも有して構成される。
【００９０】
第２の実施形態が第１の実施形態と異なる点は、管理システム１がクライアント端末２に配信される映像パケットの取得方法である。
【００９１】
つまり、第１の実施形態では、クライアント端末２が受信した配信パケットを管理システム１に向けて送信するものとした。
【００９２】
これに対して、第２の実施形態は、クライアント端末２に映像パケットを転送するノードが、管理システム１に対してパケットログをアップロードするようにする。
【００９３】
従って、以下では、管理システム１に対してパケットログをアップロードするまでの処理について説明するが、第１の実施形態で既に説明した構成の説明については省略する。
【００９４】
図９において、配信サーバ６は、クライアント端末２に向けて映像パケットを配信する。このとき、配信サーバ６が配信する映像パケットはノード５→ノード４→ノード３→クライアント端末２の経路で配信されるものとする。
【００９５】
クライアント端末２に映像パケットを転送するノード３は、クライアント端末２に転送するパケットのパケットログを蓄積しており、このパケットログを管理システム１に向けて送信する。
【００９６】
ここで、ノード３による管理システム１へのパケットログのアップロードの仕方としては、例えば、映像品質を管理する管理対象のクライアント端末２の識別情報を指定しておき、当該クライアント端末２の識別情報宛の映像パケットのパケット情報を蓄積するように設定しておく。また、ノード３は、クライアント端末２の識別情報宛のパケットログを周期的に管理システム１に送信する。
【００９７】
管理システム１は、ノード３からクライアント端末２に転送したパケットログを受け取ると、このノード３からの情報に基づいて、各ＧＯＰ構成の各フレームとＩＰパケットとのマッピングを行い、その結果を収集ＤＢ７に蓄積するものである。
【００９８】
管理システム１の内部構成は、第１の実施形態で説明した図３に示す内部構成を適用できるので、図３を参照して管理システム１の処理の動作を説明する。
【００９９】
つまり、管理システム１では、第１の実施形態と同様に、リンク１０３にて接続しているノード３からクライアント端末２宛のＩＰパケットを取得すると、そのＩＰパケットのＩＰヘッダに含まれるシーケンス番号及び時刻情報を取得し、ＩＰパケットのシーケンス番号と時刻情報を対応付けて管理する。
【０１００】
次に、ＩＰパケットに含まれているＧＯＰ構成を取得すると、図８（Ｂ）に示すように、各フレームに対してシーケンス番号を付与して、ＧＯＰ構成をテーブル化する。
【０１０１】
そして、ＩＰパケットの時刻情報を基準にして、ＩＰパケットのシーケンス番号と各フレームのシーケンス番号との対応付けを行い、ＧＯＰ構成テーブルのマッピングを行う。
【０１０２】
管理システム１では、上記の第１の実施形態と同様の一連処理を継続的に行い、その結果を収集ＤＢ７に蓄積するという処理を繰り返し行なう。
【０１０３】
（Ｂ−２）第２の実施形態の効果
以上のように、第２の実施形態によれば、第１の実施形態と同様の効果に加えて、中継ノードが保持するクライアント端末宛のパケットログを取得して、映像パケットの品質を管理することにより、クライアント端末の受信パケットだけでなく、未受信パケットにつても各フレームに対するＴＳパケット（ブロックノイズの元となる）の損失状況を正確に把握すること可能となる。
【０１０４】
（Ｃ）他の実施形態
第１及び第２の実施形態で説明した管理システムの各種機能は、ソフトウェア処理により実現されるものである。つまり、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＥＥＰＲＯＭ等のハードウェア構成を備え、ＣＰＵが、ＲＯＭに格納される処理プログラムを実行することにより実現されるものである。
【０１０５】
また、第１及び第２の実施形態で説明した管理システムの各種機能部は、物理的に同一のサーバ上で実現されるものであってもよいし、分散配置されたサーバ上で分散処理により実現されるものであってよい。
【図面の簡単な説明】
【０１０６】
【図１】第１の実施形態の画像品質管理システムの構成を示す構成図である。
【図２】第１の実施形態のクライアント端末の内部構成を示す内部構成図である。
【図３】第１の実施形態の管理システムの内部構成を示す内部構成図である。
【図４】パケットの構成と測定レベルを示す構成図である。
【図５】ＥＴＳＩの測定ガイドラインＴＲ 101 290を示す図である（その１）。
【図６】ＥＴＳＩの測定ガイドラインＴＲ 101 290を示す図である（その２）。
【図７】第１の実施形態のスライス損失検知方法を説明する説明図と各ＧＯＰ構成のスライス損失の測定結果を示す図である。
【図８】第１の実施形態のＧＯＰ構成を例示する図とフレーム損失検知部が測定するフレーム損失の測定結果を示す図である。
【図９】第２の実施形態の画像品質管理システムの構成を示す構成図である。
【符号の説明】
【０１０７】
１…管理システム、２…クライアント端末、３〜５…ノード、６…配信サーバ、９Ａ及び９Ｂ…映像配信システム、１１…受信部、１２…時刻情報取得部、１３…ＴＳパケット損失検出部、１４…画像情報取得部、１４１…ＧＯＰ構成取得部、１４２…フレーム情報取得部、１５…画像品質測定部、１５１…スライス損失検知部、１５２…フレーム損失検知部。
【特許請求の範囲】
【請求項１】
クライアント端末に配信される画像品質を管理する画像品質管理システムにおいて、
上記クライアント端末に配信される画像データを有するパケットを受信する受信手段と、
受信パケットに基づいて画像の構成を示す画像構成情報を取得する画像構成情報取得手段と、
上記画像構成情報に基づく構成順にしたフレームと、シーケンス番号に基づいて時系列に並べた上記パケットとを対応させ、各フレームと上記パケットとを関連付けて画像品質を測定する画像品質測定手段と、
上記画像品質測定手段により測定された画像品質測定結果を蓄積する蓄積手段と
を備えることを特徴とする画像品質管理システム。
【請求項２】
上記画像品質測定手段が、
受信パケットに含まれる画像データに基づいて、各フレーム内における処理単位の構成パターンを割り出し、フレーム内での各処理単位のロス数をカウントする処理単位損失検知部と、
上記画像構成情報に基づいて各フレームに対してシーケンス番号を付与し、各フレームのシーケンス番号と上記パケットのシーケンス番号とを対応付けて画像構成テーブルを形成し、上記処理単位損失検知部が求めたロス数を上記画像構成テーブルに対応させるフレーム損失検知部と
を有することを特徴とする請求項１に記載の画像品質管理システム。
【請求項３】
クライアント端末に配信される画像品質を管理する画像品質管理システムでの画像品質管理方法において、
上記画像品質管理システムが、受信手段、画像構成情報取得手段、画像品質測定手段及び蓄積手段を備え、
上記受信手段が、上記クライアント端末に配信される画像データを有するパケットを受信する受信工程と、
上記画像構成情報取得手段が、受信パケットに基づいて画像の構成を示す画像構成情報を取得する画像構成情報取得工程と、
画像品質測定手段が、上記画像構成情報に基づく構成順にしたフレームと、シーケンス番号に基づいて時系列に並べた上記パケットとを対応させ、各フレームと上記パケットとを関連付けて画像品質を測定する画像品質測定工程と、
蓄積手段が、上記画像品質測定手段により測定された画像品質測定結果を蓄積する蓄積工程と
を有することを特徴とする画像品質管理方法。
【請求項４】
クライアント端末に配信される画像品質を管理する画像品質管理システムでの画像品質管理プログラムにおいて、
コンピュータを、
上記クライアント端末に配信される画像データを有するパケットを受信する受信手段、
受信パケットに基づいて画像の構成を示す画像構成情報を取得する画像構成情報取得手段、
上記画像構成情報に基づく構成順にしたフレームと、シーケンス番号に基づいて時系列に並べた上記パケットとを対応させ、各フレームと上記パケットとを関連付けて画像品質を測定する画像品質測定手段、
上記画像品質測定手段により測定された画像品質測定結果を蓄積する蓄積手段
として機能させることを特徴とする画像品質管理プログラム。
【請求項１】
クライアント端末に配信される画像品質を管理する画像品質管理システムにおいて、
上記クライアント端末に配信される画像データを有するパケットを受信する受信手段と、
受信パケットに基づいて画像の構成を示す画像構成情報を取得する画像構成情報取得手段と、
上記画像構成情報に基づく構成順にしたフレームと、シーケンス番号に基づいて時系列に並べた上記パケットとを対応させ、各フレームと上記パケットとを関連付けて画像品質を測定する画像品質測定手段と、
上記画像品質測定手段により測定された画像品質測定結果を蓄積する蓄積手段と
を備えることを特徴とする画像品質管理システム。
【請求項２】
上記画像品質測定手段が、
受信パケットに含まれる画像データに基づいて、各フレーム内における処理単位の構成パターンを割り出し、フレーム内での各処理単位のロス数をカウントする処理単位損失検知部と、
上記画像構成情報に基づいて各フレームに対してシーケンス番号を付与し、各フレームのシーケンス番号と上記パケットのシーケンス番号とを対応付けて画像構成テーブルを形成し、上記処理単位損失検知部が求めたロス数を上記画像構成テーブルに対応させるフレーム損失検知部と
を有することを特徴とする請求項１に記載の画像品質管理システム。
【請求項３】
クライアント端末に配信される画像品質を管理する画像品質管理システムでの画像品質管理方法において、
上記画像品質管理システムが、受信手段、画像構成情報取得手段、画像品質測定手段及び蓄積手段を備え、
上記受信手段が、上記クライアント端末に配信される画像データを有するパケットを受信する受信工程と、
上記画像構成情報取得手段が、受信パケットに基づいて画像の構成を示す画像構成情報を取得する画像構成情報取得工程と、
画像品質測定手段が、上記画像構成情報に基づく構成順にしたフレームと、シーケンス番号に基づいて時系列に並べた上記パケットとを対応させ、各フレームと上記パケットとを関連付けて画像品質を測定する画像品質測定工程と、
蓄積手段が、上記画像品質測定手段により測定された画像品質測定結果を蓄積する蓄積工程と
を有することを特徴とする画像品質管理方法。
【請求項４】
クライアント端末に配信される画像品質を管理する画像品質管理システムでの画像品質管理プログラムにおいて、
コンピュータを、
上記クライアント端末に配信される画像データを有するパケットを受信する受信手段、
受信パケットに基づいて画像の構成を示す画像構成情報を取得する画像構成情報取得手段、
上記画像構成情報に基づく構成順にしたフレームと、シーケンス番号に基づいて時系列に並べた上記パケットとを対応させ、各フレームと上記パケットとを関連付けて画像品質を測定する画像品質測定手段、
上記画像品質測定手段により測定された画像品質測定結果を蓄積する蓄積手段
として機能させることを特徴とする画像品質管理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１０−３４８７５（Ｐ２０１０−３４８７５Ａ）
【公開日】平成２２年２月１２日（２０１０．２．１２）
【国際特許分類】
【出願番号】特願２００８−１９５２４８（Ｐ２００８−１９５２４８）
【出願日】平成２０年７月２９日（２００８．７．２９）
【出願人】（００００００２９５）沖電気工業株式会社 (6,645)
【Ｆターム（参考）】
【公開日】平成２２年２月１２日（２０１０．２．１２）
【国際特許分類】
【出願日】平成２０年７月２９日（２００８．７．２９）
【出願人】（００００００２９５）沖電気工業株式会社 (6,645)
【Ｆターム（参考）】
[ Back to top ]