ユーザ体感品質推定装置、方法、およびプログラム
【課題】コンテンツクラスで異なる無効パケットの影響を考慮してユーザ体感品質値を高い精度で推定する。
【解決手段】無効パケット判定部１２により、正常に受信できなかったメディア用パケットを無効パケットとして判定し、品質解析部１３により、フレーム種別ごとに検出したメディア用パケットのパケット送信状況に基づいてコンテンツクラスを解析し、コンテンツクラスに応じた判定基準に基づいて、各フレームのうち無効パケットによる影響を受けた連続する無効フレームを判定し、これら連続無効フレームに対して所定の重みフレーム数で重み付けを行って選択した等価無効フレームの割合を等価無効フレーム率として算出し、ユーザ体感品質推定部１４により、コンテンツクラスに応じた品質推定モデル１５から等価無効フレーム率に対応するユーザ体感品質値を導出し、ユーザ体感品質の推定値１６として出力する。
【解決手段】無効パケット判定部１２により、正常に受信できなかったメディア用パケットを無効パケットとして判定し、品質解析部１３により、フレーム種別ごとに検出したメディア用パケットのパケット送信状況に基づいてコンテンツクラスを解析し、コンテンツクラスに応じた判定基準に基づいて、各フレームのうち無効パケットによる影響を受けた連続する無効フレームを判定し、これら連続無効フレームに対して所定の重みフレーム数で重み付けを行って選択した等価無効フレームの割合を等価無効フレーム率として算出し、ユーザ体感品質推定部１４により、コンテンツクラスに応じた品質推定モデル１５から等価無効フレーム率に対応するユーザ体感品質値を導出し、ユーザ体感品質の推定値１６として出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通信品質推定技術に関し、特にリアルタイム系アプリケーションのユーザ体感品質を推定する技術に関する。
【背景技術】
【０００２】
近年、パケット通信技術の飛躍的な発展に伴い、パケット網が音声や映像等のメディア（コンテンツ）を１対１あるいは多地点間で通信するリアルタイム系アプリケーションで利用されつつある。パケット網のインサービス品質管理では、このようなアプリケーションに対する品質管理も必要とされている。特にリアルタイム系アプリケーションでは、実際にアプリケーションを利用するユーザレベルでの主観的あるいは客観的な品質などのユーザ体感品質を用いた品質管理が重要視されており、ネットワーク品質からユーザ体感品質を推定する技術も提案されている（例えば、非特許文献１等参照）。
【０００３】
また、発明者らは、無効パケットに基づきリアルタイム系アプリケーションの主観品質を推定する技術を提案した（例えば、特許文献１等参照）。この技術では、試験用パケットのうち受信側端末へ到着しなかった損失パケットと、直前到着パケットとの到着間隔がリアルタイム系アプリケーションの揺らぎ吸収許容時間を越えた遅着パケットとを無効パケットと判定してこれら無効パケット数を計数し、送信側から送信されたすべての試験用パケット数に対する無効パケット数の割合を無効パケット率として算出し、予め生成しておいた無効パケット率と主観品質評価値との関係を示す品質推定モデルを参照して、無効パケット率に対応する主観品質評価値を推定している。
【０００４】
これに対して、従来、発明者らは、損失パケットから推定した映像品質劣化の度合いと映像品質劣化の継続時間長に基づいてリアルタイム系アプリケーションの主観品質を推定する技術を提案した（例えば、特許文献２等参照）。この技術では、ユーザ端末へ送る映像パケットごとにそのパケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則を埋め込む。ユーザ端末において、損失パケットの生成番号から１映像フレーム内の品質劣化の程度や割合などの度合いを推定し、損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則から映像品質劣化の継続時間長を推定し、推定した映像品質劣化の度合いと映像品質劣化の継続時間長に基づいてユーザ端末において復号される映像の主観品質を推定している。これにより、簡単な構成で推定精度の改善が得られた。
【０００５】
【特許文献１】特許第３５７９３３４号公報
【特許文献２】特開２００６−０３３７２２号公報
【非特許文献１】ITU-T Recommendation G.107,"The E-Model, a computational model for use in transmission planning", May 2000
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、このような従来技術では、リアルタイム系アプリケーションで送信される映像や音声などのコンテンツの内容の違いによる、ユーザ体感品質に与える影響の差についてはあまり考慮されておらず、高い推定精度が求められる場合には十分ではないという問題点があった。
【０００７】
リアルタイム系アプリケーションでは、高能率符号化した映像信号や音声信号などのメディア信号をフレームに分解した後、さらにメディア用パケットに変換してやり取りしている。このため、アプリケーション端末でメディア信号を復号する際、受信したメディア用パケットからフレームを組み立て、さらに前後のフレーム情報を使用してメディア信号を復号する。したがって、パケット網でパケット損失が発生した場合、１パケットの損失によるメディア信号の品質劣化が当該フレームにとどまらず、複数のフレームに及ぶことがある。
【０００８】
このようなパケット損失に起因して正常に復号できなかった損失フレームによるユーザ体感品質への影響は、当該フレームで再生するコンテンツの内容に応じて異なる。これは、損失フレームをメディアの劣化として知覚するかどうかという人間の知覚特性がコンテンツの内容に応じて左右されるからであり、例えば、動きの大きいスポーツ映像ではフレーム損失の影響が大きく、動きの少ないテレビ会議ではフレーム損失の影響は小さい。
図１３は、異なるコンテンツ間での映像フレーム損失率−ＭＯＳ値特性の違いを示す説明図である。映像フレーム損失率は、単位計測時間において送信したフレームに対する損失フレームの割合を示す値であり、映像フレーム損失率が同一であっても、コンテンツ内容に応じてユーザが体感する品質が異なる傾向があることがわかる。
【０００９】
従来技術では、このようなコンテンツの内容の違いによる、ユーザ体感品質に与える影響の差についてはあまり考慮されておらず、いずれのコンテンツでもユーザ体感品質に与える影響は同一であるという前提でユーザ体感品質を推定していたため、高い推定精度を得ることはできなかった。
【００１０】
本発明はこのような課題を解決するためのものであり、コンテンツ内容の違いがユーザ体感品質に与える影響を考慮して、リアルタイム系アプリケーションのユーザ体感品質値を高い精度で推定することができるユーザ体感品質推定装置、方法、およびプログラムを提供することを目的としている。
【課題を解決するための手段】
【００１１】
このような目的を達成するために、本発明にかかるユーザ体感品質推定装置は、パケット網を介して接続された送信側および受信側アプリケーション端末間で、リアルタイム系のアプリケーションにより映像や音声などのメディアを符号化して得られた各フレームをメディア用パケットで送受信した際に、受信側アプリケーション端末で受信再生したメディアについてユーザが実感するユーザ体感品質を推定するユーザ体感品質推定装置であって、送信側アプリケーション端末から送信されたメディア用パケットの送信状況を示す送信側品質情報と、受信側アプリケーション端末で受信したメディア用パケットの受信状況を示す受信品質情報とを取得する品質情報取得部と、送信品質情報と受信品質情報とに基づいてメディア用パケットのうち正常に受信できなかったパケットを無効パケットとして判定する無効パケット判定部と、送信品質情報からメディア用パケットのフレーム種別ごとに検出したメディア用パケットのパケット送信状況に基づいてメディアのコンテンツクラスを解析し、コンテンツクラスに応じた判定基準に基づいて、各フレームのうち無効パケットによる影響を受けた連続する無効フレームを判定し、これら連続無効フレームに対して所定の重みフレーム数で重み付けを行って選択した等価無効フレームの割合を等価無効フレーム率として算出する品質解析部と、コンテンツクラスに応じた、等価無効フレーム率とユーザ体感品質値との関係を示す品質推定モデルから、品質解析部で算出された等価無効フレーム率に対応するユーザ体感品質値を導出し、アプリケーションのユーザ体感品質の推定値として出力するユーザ体感品質推定部とを備えている。
【００１２】
この際、品質解析部に、無効フレーム間に挟まれた正常フレームの数が所定の無効フレーム間隔数以下の場合に当該正常フレームを無効フレームと判断し、コンテンツクラスに応じた連続無効フレーム数以上連続する無効フレームのうちコンテンツクラスに応じた重みフレーム数を超える無効フレームの数を等価無効フレーム数として選択する等価無効フレーム選択手段と、メディア用パケットで送信されたフレーム数に対する等価無効フレーム数の割合を等価無効フレーム率として算出する等価無効フレーム率算出手段とを設けてもよい。
【００１３】
また、無効パケット判定部で、送信品質情報で送信が確認されたメディア用パケットのうち受信品質情報で受信が確認されていないパケット、受信品質情報で受信確認されたメディア用パケットのうち直前メディア用パケットとの到着間隔を示す遅延揺らぎ時間がアプリケーションの許容パケット遅延時間を超えているパケット、および受信品質情報で受信確認されたメディア用パケットのうち送信順序と受信順序とが矛盾するパケットを、それぞれ無効パケットと判定するようにしてもよい。
【００１４】
また、品質解析部で、各フレームのうち無効パケットに対応する対象フレームを無効フレームと判定するとともに、メディアの符号化に用いたフレーム構成で規定されているフレーム種別の並びに従って当該フレームの復号に用いる他のフレームに無効フレームが含まれている場合には当該フレームを無効フレームと判定するようにしてもよい。
【００１５】
また、品質情報取得部で、受信側アプリケーション端末のパケット受信部で受信された送信側アプリケーション端末側からの品質情報を送信品質情報として取得するとともに、受信側アプリケーション端末のパケット受信部で受信されたメディア用パケットから得られた品質情報を受信品質情報として取得するようにしてもよい。
【００１６】
また、品質情報取得部で、送信側アプリケーション端末のパケット受信部で受信された受信側アプリケーション端末側からの品質情報を受信品質情報として取得するとともに、送信側アプリケーション端末のパケット送信部で送信されたメディア用パケットから得られた品質情報を送信品質情報として取得するようにしてもよい。
【００１７】
また、送信側アプリケーション端末のパケット送信部で得られた送信品質情報を受信側アプリケーション端末へ通知する品質情報通知部をさらに備えてもよい。
【００１８】
また、受信側アプリケーション端末のパケット受信部で得られた受信品質情報を送信側アプリケーション端末へ通知する品質情報通知部をさらに備えてもよい。
【００１９】
また、本発明にかかるユーザ体感品質推定方法は、パケット網を介して接続された送信側および受信側アプリケーション端末間で、リアルタイム系のアプリケーションにより映像や音声などのメディアを符号化して得られた各フレームをメディア用パケットで送受信した際に、受信側アプリケーション端末で受信再生したメディアについてユーザが実感するユーザ体感品質を推定するユーザ体感品質推定装置で用いられるユーザ体感品質推定方法であって、品質情報取得部により、送信側アプリケーション端末から送信されたメディア用パケットの送信状況を示す送信側品質情報と、受信側アプリケーション端末で受信したメディア用パケットの受信状況を示す受信品質情報とを取得する品質情報取得ステップと、無効パケット判定部により、送信品質情報と受信品質情報とに基づいてメディア用パケットのうち正常に受信できなかったパケットを無効パケットとして判定する無効パケット判定ステップと、品質解析部により、送信品質情報からメディア用パケットのフレーム種別ごとに検出したメディア用パケットのパケット送信状況に基づいてメディアのコンテンツクラスを解析し、コンテンツクラスに応じた判定基準に基づいて、各フレームのうち無効パケットによる影響を受けた連続する無効フレームを判定し、これら連続無効フレームに対して所定の重みフレーム数で重み付けを行って選択した等価無効フレームの割合を等価無効フレーム率として算出する品質解析ステップと、ユーザ体感品質推定部により、コンテンツクラスに応じた、等価無効フレーム率とユーザ体感品質値との関係を示す品質推定モデルから、品質解析部で算出された等価無効フレーム率に対応するユーザ体感品質値を導出し、アプリケーションのユーザ体感品質の推定値として出力するユーザ体感品質推定ステップとを備えている。
【００２０】
また、本発明にかかるプログラムは、パケット網を介して接続された送信側および受信側アプリケーション端末間で、リアルタイム系のアプリケーションにより映像や音声などのメディアを符号化して得られた各フレームをメディア用パケットで送受信した際に、受信側アプリケーション端末で受信再生したメディアについてユーザが実感するユーザ体感品質を推定するユーザ体感品質推定装置のコンピュータに、品質情報取得部により、送信側アプリケーション端末から送信されたメディア用パケットの送信状況を示す送信側品質情報と、受信側アプリケーション端末で受信したメディア用パケットの受信状況を示す受信品質情報とを取得する品質情報取得ステップと、無効パケット判定部により、送信品質情報と受信品質情報とに基づいてメディア用パケットのうち正常に受信できなかったパケットを無効パケットとして判定する無効パケット判定ステップと、品質解析部により、送信品質情報からメディア用パケットのフレーム種別ごとに検出したメディア用パケットのパケット送信状況に基づいてメディアのコンテンツクラスを解析し、コンテンツクラスに応じた判定基準に基づいて、各フレームのうち無効パケットによる影響を受けた連続する無効フレームを判定し、これら連続無効フレームに対して所定の重みフレーム数で重み付けを行って選択した等価無効フレームの割合を等価無効フレーム率として算出する品質解析ステップと、ユーザ体感品質推定部により、コンテンツクラスに応じた、等価無効フレーム率とユーザ体感品質値との関係を示す品質推定モデルから、品質解析部で算出された等価無効フレーム率に対応するユーザ体感品質値を導出し、アプリケーションのユーザ体感品質の推定値として出力するユーザ体感品質推定ステップとを実行させる。
【発明の効果】
【００２１】
本発明によれば、無効パケット判定部により、送信品質情報と受信品質情報とに基づいてメディア用パケットのうち正常に受信できなかったパケットが無効パケットとして判定され、品質解析部により、送信品質情報からメディア用パケットのフレーム種別ごとに検出したメディア用パケットのパケット送信状況に基づいてメディアのコンテンツクラスが解析され、コンテンツクラスに応じた判定基準に基づいて、各フレームのうち無効パケットによる影響を受けた連続する無効フレームが判定され、これら連続無効フレームに対して所定の重みフレーム数で重み付けを行って選択した等価無効フレームの割合が等価無効フレーム率として算出され、ユーザ体感品質推定部により、コンテンツクラスに応じた、等価無効フレーム率とユーザ体感品質値との関係を示す品質推定モデルから、品質解析部で算出された等価無効フレーム率に対応するユーザ体感品質値が導出され、アプリケーションのユーザ体感品質の推定値として出力される。
【００２２】
これにより、リアルタイム系アプリケーションで送信されるコンテンツのコンテンツクラスに応じた判定基準に基づいて連続無効フレームが判定されて等価無効フレーム率が算出され、さらにコンテンツクラスに応じた品質推定モデルを用いて等価無効フレーム率に応じたユーザ体感品質値が推定される。
したがって、コンテンツ内容の違いがユーザ体感品質に与える影響を考慮して、無効フレームの判定やユーザ体感品質の推定に用いる損失推定尺度の算出を正確に行うことができ、ユーザ体感品質の推定精度を向上させることができる。
【発明を実施するための最良の形態】
【００２３】
次に、本発明の実施の形態について図面を参照して説明する。
［第１の実施の形態］
まず、図１を参照して、本発明の第１の実施の形態にかかるユーザ体感品質推定装置について説明する。図１は、本発明の第１の実施の形態にかかるユーザ体感品質推定装置の構成を示すブロック図である。
【００２４】
ユーザ体感品質推定装置１は、通信機能を有する情報処理装置からなり、アプリケーション端末２さらにはパケット網５と接続されて、アプリケーション端末２で実行されるリアルタイム系アプリケーションのユーザ体感品質を推定する。
このユーザ体感品質推定装置１には、主な機能部として、品質情報取得部１１、無効パケット判定部１２、品質解析部１３、ユーザ体感品質推定部１４、推定結果通知部１７、および品質情報通知部１８が設けられている。
【００２５】
本実施の形態は、品質情報取得部１１により、送信側アプリケーション端末から送信されたメディアデータの通信に用いるメディア用パケットの送信状況を示す送信側品質情報と、受信側アプリケーション端末で受信したメディア用パケットの受信状況を示す受信品質情報とを取得し、無効パケット判定部１２により、送信品質情報と受信品質情報とに基づいてメディア用パケットのうち正常に受信できなかったパケットを無効パケットとして判定し、品質解析部１３により、送信品質情報からメディア用パケットのフレーム種別ごとに検出したメディア用パケットのパケット送信状況に基づいてメディアのコンテンツクラスを解析し、コンテンツクラスに応じた判定基準に基づいて、メディア用パケットで送受信した各フレームのうち無効パケットによる影響を受けた連続する無効フレームを判定し、これら連続無効フレームに対して所定の重みフレーム数で重み付けを行って選択した等価無効フレームの割合を等価無効フレーム率として算出し、ユーザ体感品質推定部１４により、コンテンツクラスに応じた、等価無効フレーム率とユーザ体感品質値との関係を示す品質推定モデル１５から、品質解析部で算出された等価無効フレーム率に対応するユーザ体感品質値を導出し、アプリケーションのユーザ体感品質の推定値として出力するようにしたものである。
【００２６】
［ユーザ体感品質推定装置］
次に、図１を参照して、本発明の第１の実施の形態にかかるユーザ体感品質推定装置について詳細に説明する。
ユーザ体感品質推定装置１の各機能部は、専用の回路部や演算処理部、さらには記憶部から構成されている。特に、演算処理部（コンピュータ）は、ＣＰＵなどのマイクロプロセッサとその周辺回路を有し、周辺回路内のメモリや記憶部に格納されているプログラムを読み込んで実行することにより、上記ハードウェアとプログラムとを協働させて各機能部を実現する。記憶部は、メモリやハードディスクなどの記憶装置からなり、各機能部での処理に用いる各種処理情報を記憶する。
【００２７】
品質情報取得部１１は、送信側アプリケーション端末から送信されたメディア用パケットの送信状況を示す送信側品質情報をアプリケーション端末２のパケット受信部２１から取得する機能と、受信側アプリケーション端末で受信したメディア用パケットの受信状況を示す受信品質情報をアプリケーション端末２のパケット受信部２１から取得する機能とを有している。
【００２８】
無効パケット判定部１２は、品質情報取得部１１で取得された送信品質情報と受信品質情報とに基づいてメディア用パケットのうち正常に受信できなかったパケットを無効パケットとして判定する機能と、当該無効パケットの発生過程に応じて当該無効パケットを異なるクラスのいずれかに分類する機能とを有している。
【００２９】
無効パケットとは、送信側のリアルタイム系アプリケーションから送信されたメディア用パケットのうち、受信側のリアルタイム系アプリケーションで正常に受信できず、メディアとして再生できないパケットのことである。具体的には、送信側アプリケーション端末と受信側アプリケーション端末とをパケット網５を介して結ぶ伝送路上で損失したパケット、受信側アプリケーションの持つ揺らぎ吸収バッファで到着間隔が調整できなかった遅着パケット、さらにはメディア用パケットの到着順序が規定されているリアルタイム系アプリケーションでメディア用パケットの到着順序が逆転したパケットなどが対象となる。
【００３０】
品質解析部１３は、品質情報取得部１１で取得された送信品質情報からメディア用パケットで送信されたメディアのコンテンツクラスを解析し、コンテンツクラスに応じた判定基準に基づいて、無効パケットによる影響を受けた無効フレームから人間の知覚特性を考慮して選択した等価無効フレームの割合を無効フレーム率として算出する機能を有している。
品質解析部１３を構成する主な機能手段としては、コンテンツクラス解析手段１３Ａ、無効フレーム判定手段１３Ｂ、等価無効フレーム選択手段１３Ｃ、および等価無効フレーム率算出手段１３Ｄがある。
【００３１】
コンテンツクラス解析手段１３Ａは、送信品質情報からメディア用パケットのフレーム種別ごとに検出したメディア用パケットのパケット送信状況に基づいてメディアのコンテンツクラスを解析する機能を有している。
無効フレーム判定手段１３Ｂは、送信品質情報に基づいて各フレームのうち無効パケット判定部１２で判定された無効パケットに対応する対象フレームを無効フレームと判定する機能と、メディアの符号化に用いたフレーム構成で規定されているフレーム種別の並びに従って当該フレームの復号に用いる他のフレームに無効フレームが含まれている場合には当該フレームを無効フレームと判定する機能とを有している。
【００３２】
等価無効フレーム選択手段１３Ｃは、無効フレーム判定手段１３Ｂで判定された無効フレームについて、これら無効フレーム間に挟まれた正常フレームの数が所定の無効フレーム間隔数以下の場合に当該正常フレームを無効フレームと判断する機能と、これら無効フレームのうち所定の連続無効フレーム数以上連続する無効フレームを連続無効フレームと判定する機能と、これら連続無効フレームのうち所定の重みフレーム数以上連続する無効フレームを等価無効フレームとして選択する機能を有している。
【００３３】
これら無効フレーム間隔数、連続無効フレーム数、および重みフレーム数は、コンテンツクラスごとの判断基準として予め記憶部に登録されている。等価無効フレーム選択手段１３Ｃは、コンテンツクラス解析手段１３Ａで解析されたコンテンツクラスに応じた判定基準で規定された、無効フレーム間隔数、連続無効フレーム数、および重みフレーム数に基づき等価無効フレームを選択する。
等価無効フレーム率算出手段１３Ｄは、メディア用パケットで送信されたフレーム数に対する等価無効フレーム数の割合を等価無効フレーム率として算出する機能を有している。
【００３４】
ユーザ体感品質推定部１４は、等価無効フレーム率とユーザ体感品質値との関係を示す品質推定モデル１５から、品質解析部１３で算出された等価無効フレーム率に対応するユーザ体感品質値を導出し、アプリケーションの品質推定値１６として出力する機能を有している。
【００３５】
推定結果通知部１７は、パケット網５を介して対向アプリケーション端末に接続されているユーザ体感品質推定装置（図示せず）や品質管理サーバ（図示せず）に対し、制御パケットを用いて、当該装置で得られた品質推定値１６さらにはこのユーザ体感品質値の算出に用いた送受信品質情報などの品質要因情報を含む推定結果情報を、定期的あるいは必要に応じて通知する機能を有している。
品質情報通知部１８は、アプリケーション端末２のパケット送信部２２で得られた送信品質情報を送信アプリケーション端末へ通知する機能を有している。
【００３６】
［コンテンツクラス解析処理］
次に、図２〜図５を参照して、本発明の第１の実施の形態にかかるユーザ体感品質推定装置でのコンテンツクラス解析処理について詳細に説明する。図２は、コンテンツ解析処理で用いるコンテンツクラス判定基準を示す説明図である。図３は、コンテンツ解析処理で用いる他のコンテンツクラス判定基準を示す説明図である。図４は、コンテンツクラス解析処理を示す説明図である。図５は、他のコンテンツクラス解析処理を示す説明図である。
【００３７】
ユーザ体感品質推定装置１の品質解析部１３は、コンテンツ解析手段１３Ａにより、送信品質情報からメディア用パケットのフレーム種別ごとに検出したメディア用パケットのパケット送信状況に基づいてメディアのコンテンツクラスを解析する。
リアルタイム系のアプリケーションは、メディアを各フレームに符号化する場合、メディア信号の特性に応じてフレーム種別の構成を適応的に変更することにより、所望の品質で効率よくメディアを送信する。このようにコンテンツの内容とメディア信号の特性とは関連しているため、メディア用パケットで送信されるフレーム種別ごとにパケット送信状況を検出すれば、当該メディアのコンテンツクラスを解析できる。
【００３８】
パケット送信状況としては、フレーム種別ごとに検出した、メディア用パケット数やパケット占有率からなるパケット送信量でもよく、あるいはこれらパケット送信量の変動量であってもよい。パケット送信量の変動量とは、単位計測期間ごとに検出した各パケット送信状況における最大値と最小値との差を示す値である。
【００３９】
図２のコンテンツクラス判定基準では、ＭＰＥＧ(Moving Picture Exparts Group)符号化方式のＧＯＰ(Group of Picture)構成を例として、映像メディアのフレーム種別（Ｉ，Ｂ，Ｐ）ごとのメディア用パケット数（パケット占有率）に対してコンテンツクラスが組として登録されており、品質解析部１３は、このコンテンツクラス判定基準のうち、送信品質情報から検出したパケット送信状況に対応するコンテンツクラスを検索し、当該メディアのコンテンツクラスを決定する。
図３のコンテンツクラス判定基準では、映像メディアのフレーム種別（Ｉ，Ｂ，Ｐ）ごとのメディア用パケット数の変動量に対してコンテンツクラスが組として登録されており、図２と同様にして当該メディアのコンテンツクラスが決定される。
【００４０】
パケット送信状況の検出方法については、図４に示すように、全メディア用パケットに対して単位計測期間ごとに連続してパケット送信状況を検出する方法と、図５に示すように、単位計測期間を計測周期ごとに間欠してパケット送信状況を検出する方法がある。いずれの方法においても、単位計測期間ごとに得られたパケット送信状況を統計処理した結果をコンテンツクラスの判定に用いればよい。
【００４１】
本実施の形態では、品質解析部１３のコンテンツ解析手段１３Ａにより、送信品質情報からメディア用パケットのフレーム種別ごとに検出したメディア用パケットのパケット送信状況に基づいてメディアのコンテンツクラスを解析するようにしたので、極めて簡素な処理でコンテンツクラスを正確に解析することができる。
【００４２】
［等価無効フレーム選択処理］
次に、図６を参照して、本発明の第１の実施の形態にかかるユーザ体感品質推定装置１での等価無効フレーム選択処理について詳細に説明する。図６は、等価無効フレーム選択処理を示す説明図である。
【００４３】
ユーザ体感品質推定装置１の品質解析部１３は、等価無効フレーム選択手段１３Ｃにより、コンテンツクラスに応じた判定基準に基づいて、無効パケットによる影響を受けた無効フレームから人間の知覚特性を考慮して等価無効フレームを選択し、等価無効フレーム率算出手段１３Ｄにより、メディア用パケットで送信されたフレームに対する等価無効フレームの割合を等価無効フレーム率として算出する。
【００４４】
等価無効フレームを選択する場合、まず、人間の知覚特性に基づいて無効フレーム間に挟まれた正常フレームが劣化と知覚されるかどうか判断する。人間の知覚特性には、無効フレームが間欠的に発生した場合にその間に挟まれた正常フレームを劣化と知覚する特性がある。このため、この正常フレーム数を無効フレーム間隔数で規定し、無効フレーム判定手段１３Ｂで判定された無効フレームについて、これら無効フレーム間に挟まれた正常フレームの数が上記無効フレーム間隔数以下の場合に当該正常フレームを無効フレームと判定する。
【００４５】
次に、人間の知覚特性に基づいて上記無効フレームが劣化と知覚されるかどうか判断する。人間の知覚特性には、ある程度無効フレームが連続して初めて劣化と知覚する特性がある。このため、劣化と知覚される無効フレーム数を連続無効フレーム数として規定し、無効フレームのうち上記連続無効フレーム数以上連続する無効フレームを連続無効フレームと判定する。
【００４６】
最後に、人間の知覚特性に基づいて上記連続無効フレームが劣化フレームと知覚されるかどうか判断する。人間の知覚特性には、連続無効フレームのうち劣化と知覚するまでにある程度の無効フレームを要するという特性がある。このため、劣化と知覚するまでに要する無効フレーム数を重みフレーム数として規定し、連続無効フレームのうち上記重み無効フレーム数以降連続する無効フレームを等価無効フレームと判定する。
【００４７】
図６には、フレームＦ（０）〜Ｆ（１９）に関する等価無効フレームの選択例が記載されており、このうちフレームＦ（２），Ｆ（７），Ｆ（１０），Ｆ（１２）〜Ｆ（１６）が無効フレーム判定手段１３Ｂで無効フレームと判定されたものとする。また、コンテンツクラス解析手段１３Ａにより解析された当該コンテンツクラスの判定基準において、無効フレーム間隔数「２」、連続無効フレーム数「５」、重みフレーム数「４」がそれぞれ規定されているものとする。
【００４８】
まず、無効フレームＦ（２）には少なくとも３つ以上の正常フレームＦ（３）〜Ｆ（５）が後続しており、このときの無効フレーム間隔「３」は判定基準の無効フレーム間隔数「２」より大きいため、正常フレームＦ（３），Ｆ（４）は無効フレームとは判定されない。したがって、無効フレームＦ（２）に関する連続無効フレーム長は「１」となり、これは判定基準の連続無効フレーム数「５」未満であることから無効フレームＦ（２）は連続無効フレームとは判定されず、等価無効フレームの対象外となる。
【００４９】
一方、無効フレームＦ（７）には２つの正常フレームＦ（８），Ｆ（９）の後に無効フレームＦ（１０）が存在しており、このときの無効フレーム間隔「２」は判定基準の無効フレーム間隔数「２」以下であるため、正常フレームＦ（８），Ｆ（９）は無効フレームと判定される。同じく無効フレームＦ（１０）には１つの正常フレームＦ（１１）の後に無効フレームＦ（１２）が存在しており、このときの無効フレーム間隔「１」は判定基準の無効フレーム間隔数「２」以下であるため、正常フレームＦ（１１）は無効フレームと判定される。
【００５０】
また、フレームＦ（１２）〜Ｆ（１６）まで無効フレームが連続し、無効フレームＦ（１６）には少なくとも３つ以上の正常フレームＦ（１７）〜Ｆ（１９）が後続しており、このときの無効フレーム間隔「３」は判定基準の無効フレーム間隔数「２」より大きいため、正常フレームＦ（１７），Ｆ（１８）は無効フレームとは判定されない。したがって、無効フレームＦ（７）に関する連続無効フレーム長はフレームＦ（１６）までの「１０」となり、これは判定基準の連続無効フレーム数「５」以上であることからこれらフレームＦ（７）〜Ｆ（１６）は連続無効フレームと判定される。
【００５１】
この後、連続無効フレームと判定されたフレームＦ（７）〜Ｆ（１６）の連続フレーム数が「１０」であるため、この連続無効フレームのうち判定基準の重み無効フレーム数「４」以降連続する無効フレームすなわちフレームＦ（１１）〜Ｆ（１６）の６つが等価無効フレームとして選択される。
【００５２】
本実施の形態では、品質解析部１３の等価無効フレーム選択手段１３Ｃにより、コンテンツクラスに応じた判定基準に基づいて、無効パケットによる影響を受けた無効フレームから人間の知覚特性を考慮して等価無効フレームを選択するようにしたので、コンテンツの内容ごとに変化する人間の知覚特性を考慮して等価無効フレームを正確に選択することができ、ユーザ体感品質の推定に用いる品質推定尺度、すなわち等価無効フレーム率を精度よく算出することができる。
【００５３】
［第１の実施の形態の動作］
次に、図７を参照して、本発明の第１の実施の形態にかかるユーザ体感品質推定装置の動作について説明する。図７は、本発明の第１の実施の形態にかかるユーザ体感品質推定装置でのユーザ体感品質推定処理を示すフローチャートである。
【００５４】
ここでは、アプリケーション端末２が受信側であり、送信側となる対向アプリケーション端末（図示せず）から送信されパケット網５を介して受信した映像メディアのメディア用パケットに関するユーザ体感品質値を推定する場合を例として説明する。この際、対向アプリケーション端末に接続されているユーザ体感品質推定装置（図示せず）から、対向アプリケーション端末のパケット送信部で得られた送信品質情報がアプリケーション端末２へ制御用パケットにより通知される場合を例として説明する。
【００５５】
ユーザ体感品質推定装置１の品質情報取得部１１で取得した送信品質情報に含まれている主な品質情報としては、各送信メディア用パケットに関する、送信順序を示すシーケンス番号、映像フレーム種別、映像フレーム番号、送信パケット数、および送信フレーム数がある。また受信品質情報に含まれている主な品質情報としては、各受信メディア用パケットに関する、送信順序を示すシーケンス番号および直前メディア用パケットとの到着時刻差を示す遅延揺らぎ時間がある。
【００５６】
ユーザ体感品質推定装置１の品質情報取得部１１は、対向アプリケーション端末側からＲＴＣＰ ＸＲ(RTP Control Protocol)などの制御用パケットで送信された送信品質情報が、アプリケーション端末２のパケット受信部２１で受信されたものを取得する（ステップ１００）。また、アプリケーション端末２のパケット受信部２１で対向アプリケーション端末からのメディア用パケットから得られた受信品質情報を取得する（ステップ１０１）。
【００５７】
無効パケット判定部１２は、送信品質情報で送信が確認されている各メディア用パケットについて無効パケットの判定を行い、受信側アプリケーション端末で正常に受信できなかったメディア用パケットを無効パケットと判定する（ステップ１０２）。
【００５８】
次に、品質解析部１３は、コンテンツクラス解析手段１３Ａにより、送信品質情報からメディア用パケットのフレーム種別ごとに検出したメディア用パケットのパケット送信状況に基づいてメディアのコンテンツクラスを解析する（ステップ１０３）。
【００５９】
また、品質解析部１３は、無効フレーム判定手段１３Ｂにより、送信品質情報に基づいて各フレームのうち無効パケット判定部１２で判定された無効パケットに対応する対象フレームを無効フレームと判定する（ステップ１０４）。また、メディアの符号化に用いたフレーム構成で規定されているフレーム種別の並びに従って当該フレームの復号に用いる他のフレームに無効フレームが含まれている場合には当該フレームを無効フレームと判定する（ステップ１０４）。
【００６０】
続いて、品質解析部１３は、等価無効フレーム選択手段１３Ｃにより、コンテンツクラス解析手段１３Ａで解析されたコンテンツクラスに応じた判定基準に基づいて、前述した図６の等価無効フレーム選択処理を実行することにより、無効フレーム判定手段１３Ｂで判定された無効フレームを元にして、各フレームから人間の知覚特性に応じて等価無効フレームを選択する（ステップ１０５）。
【００６１】
その後、品質解析部１３は、等価無効フレーム率算出手段１３Ｄにより、等価無効フレーム選択手段１３Ｃで選択された無効等価フレームの総数を送信品質情報で示されるフレーム数で除算する。これにより、各フレームのうち等価無効フレーム選択手段１３Ｃにより判定された等価無効フレームの割合を等価無効フレーム率として算出する（ステップ１０６）。
【００６２】
次に、ユーザ体感品質推定部１４は、予め用意して記憶部（図示せず）に格納しておいた無効フレーム率とユーザ体感品質値との関係を示す品質推定モデルのうち、コンテンツクラス解析手段１３Ａで解析されたコンテンツクラスに対応する品質推定モデル１５を選択し（ステップ１０７）、この品質推定モデル１５から、品質解析部１３で算出された等価無効フレーム率に対応するユーザ体感品質値を導出し（ステップ１０８）、リアルタイム系アプリケーションのユーザ体感品質の品質推定値１６として記憶部へ出力する。
【００６３】
品質推定モデルの作成は、中間パラメータと実際にオピニオン評価を行って得られた主観評価値であるＭＯＳ値(Mean Opinion Score 平均オピニオン評点)からなるユーザ体感品質との関係を回帰曲線またはテーブルによって表すことでモデル化しておく。
従来、中間パラメータとしてパケット網５上で損失した損失パケットの無効パケット率を用い、この無効パケット率とＭＯＳ値との関係を示す推定モデルを用いて、無効パケット率からＭＯＳ値を推定していた（特許文献１など参照）。このような推定モデルでは、ある程度の推定精度は保証できるが、メディア用パケットとフレームとが１対１に対応していないことから、高い推定精度が求められる場合には十分ではない。
【００６４】
また、無効フレーム率とＭＯＳ値との関係を示す推定モデルについては、無効パケット率とＭＯＳ値との関係を示す推定モデルと比較してばらつきが少ないが、人間の知覚特性が考慮されておらず、実際のリアルタイム系アプリケーションでの品質劣化状況から、このような推定モデルにより推定した推定結果には、メディアに対するユーザの主観的な品質評価との誤差を含んでいる。
【００６５】
本実施の形態では、人間の知覚特性のうちメディアの劣化に対する敏感性を考慮した等価無効フレーム率を求め、これを中間パラメータとして用いている。等価無効フレーム率は、無効パケット率や無効フレーム率を求めた際と同じメディア用パケットの品質情報から導出したものであり、無効フレーム率とＭＯＳ値との関係を示す推定モデルを用いた場合と比較して、さらにばらつきが少ない。
【００６６】
また、前述したように、無効フレームによるユーザ体感品質への影響は、当該フレームで再生するコンテンツの内容に応じて異なるため、本実施の形態では、コンテンツクラスごとに品質推定モデルを用意している。
図８は、コンテンツクラスごとの品質推定モデル（対無効フレーム率）を示す説明図であり、ここでは、品質推定尺度として無効フレーム率が用いられている。図９は、コンテンツクラスごとの品質推定モデル（対等価無効フレーム率）を示す説明図であり、ここでは、品質推定尺度として等価無効フレーム率が用いられている。本実施の形態では、前述のとおり、品質推定尺度として等価無効フレーム率を用いることにより、図９のような、各コンテンツクラスにおいて、品質推定尺度に対して同程度にＭＯＳ値が変化する品質推定モデルがそれぞれ得られる。
【００６７】
実際にユーザ体感品質推定部１４で用いる品質推定モデル１５としては、図９の回帰曲線を用いてもよく、これをテーブル化した推定モデルを用いてもよい。
具体的には、図９において、例えば入力パラメータの入力最小単位である最小刻（具体的には、等価無効フレーム率の入力最小単位）を０．０１とした場合、０．０１刻で、出力された値を平均することで表を作成する。つまり、最小刻の範囲内に入っているＭＯＳ値を平均することで、０から最小刻ごとに等価無効フレーム率とＭＯＳの関係をテーブルを作成する。ただし、評価サンプル数が少ない場合、最小刻の中でデータがないものが存在する。その際には、前後にデータが存在するものを利用して補完を行う。この補完は、線形であっても、回帰を用いても構わない。このような現象が極力少なくなるように、モデル作成時には、多数のデータサンプルを取得することが望ましい。
【００６８】
この後、推定結果通知部１７は、ユーザ体感品質推定部１４で推定された品質推定値１６を記憶部から読み込んで、ＲＴＣＰ ＸＲなどの制御用パケットに格納し、パケット網５を介して対向アプリケーション端末に接続されているユーザ体感品質推定装置（図示せず）や品質管理サーバ（図示せず）に対して送信し（ステップ１０９）、一連のユーザ体感品質推定処理を終了する。
この際、一定間隔ごとに品質推定値１６の平均値やばらつきを示す分散などを求める統計処理した結果を推定結果通知部１７で通知してもよい。
【００６９】
このように、本実施の形態では、品質情報取得部１１により、送信側アプリケーション端末から送信されたメディアデータの通信に用いるメディア用パケットの送信状況を示す送信側品質情報と、受信側アプリケーション端末で受信したメディア用パケットの受信状況を示す受信品質情報とを取得し、無効パケット判定部１２により、送信品質情報と受信品質情報とに基づいてメディア用パケットのうち正常に受信できなかったパケットを無効パケットとして判定し、品質解析部１３により、送信品質情報からメディア用パケットのフレーム種別ごとに検出したメディア用パケットのパケット送信状況に基づいてメディアのコンテンツクラスを解析し、コンテンツクラスに応じた判定基準に基づいて、メディア用パケットで送受信した各フレームのうち無効パケットによる影響を受けた連続する無効フレームを判定し、これら連続無効フレームに対して所定の重みフレーム数で重み付けを行って選択した等価無効フレームの割合を等価無効フレーム率として算出し、ユーザ体感品質推定部１４により、コンテンツクラスに応じた、等価無効フレーム率とユーザ体感品質値との関係を示す品質推定モデル１５から、品質解析部で算出された等価無効フレーム率に対応するユーザ体感品質値を導出し、アプリケーションのユーザ体感品質の推定値として出力している。
【００７０】
これにより、リアルタイム系アプリケーションで送信されるコンテンツのコンテンツクラスに応じた判定基準に基づいて無効フレームが判定されるとともに等価無効フレーム率が算出され、さらにコンテンツクラスに応じた品質推定モデルを用いて等価無効フレーム率に応じたユーザ体感品質値が推定される。
したがって、コンテンツ内容の違いがユーザ体感品質に与える影響を考慮して、無効フレームの判定やユーザ体感品質の推定に用いる損失推定尺度の算出を正確に行うことができ、ユーザ体感品質の推定精度を向上させることができる。
【００７１】
また、本実施の形態では、コンテンツクラスの解析する場合、品質解析部１３のコンテンツ解析手段１３Ａにより、送信品質情報からメディア用パケットのフレーム種別ごとに検出したメディア用パケットのパケット送信状況に基づいてメディアのコンテンツクラスを解析するようにしたので、極めて簡素な処理でコンテンツクラスを正確に解析することができる。
【００７２】
また、本実施の形態では、等価無効フレームを選択する場合、品質解析部１３の等価無効フレーム選択手段１３Ｃにより、コンテンツクラスに応じた判定基準に基づいて、無効パケットによる影響を受けた無効フレームから人間の知覚特性を考慮して等価無効フレームを選択するようにしたので、コンテンツの内容ごとに変化する人間の知覚特性を考慮して等価無効フレームを正確に選択することができ、ユーザ体感品質の推定に用いる品質推定尺度、すなわち等価無効フレーム率を精度よく算出することができる。
【００７３】
［第２の実施の形態］
次に、図１０を参照して、本発明の第２の実施の形態にかかるユーザ体感品質推定装置について説明する。図１０は、本発明の第２の実施の形態にかかるユーザ体感品質推定装置の無効パケット判定処理を示すフローチャートである。
【００７４】
本実施の形態では、前述した第１の実施の形態の無効パケット判定部１２における無効パケット判定処理の具体例について説明する。
無効パケット判定部１２は、まず、送信品質情報から未判定の送信メディア用パケットを任意に選択し（ステップ１２０）、そのシーケンス番号と同じメディア用パケットが受信されているか受信品質情報で確認する（ステップ１２１）。ここで、シーケンス番号と同じメディア用パケットが受信されていない場合には（ステップ１２１：ＮＯ）、当該メディア用パケットが途中の伝送路で損失した損失パケットであると判断できることから、無効パケットであると判定する（ステップ１２５）。
【００７５】
一方、シーケンス番号と同じメディア用パケットが受信されている場合には（ステップ１２１：ＹＥＳ）、当該送信メディア用パケットの遅延揺らぎ時間を受信品質情報で確認し、リアルタイム系アプリケーションが持つ許容遅延時間と比較する（ステップ１２２）。ここで、遅延揺らぎ時間が許容遅延時間を上回っている場合には（ステップ１２２：ＮＯ）、当該メディア用パケットが途中の伝送路や端末内で遅延して到着した遅着パケットであると判断できることから、無効パケットであると判定する（ステップ１２５）。
【００７６】
一方、遅延揺らぎ時間が許容遅延時間以下である場合には（ステップ１２２：ＹＥＳ）、当該リアルタイム系アプリケーションが到着順序逆転パケットを損失と見なす場合にのみ（ステップ１２３：ＹＥＳ）、かつ当該メディア用パケットの到着順とシーケンス番号とが一致するか受信品質情報により確認する。ここで、この一致が確認できず到着順序が逆転しているパケットである場合には（ステップ１２４：ＹＥＳ）、無効パケットであると判定する（ステップ１２５）。
【００７７】
なお、到着順序が逆転していない場合（ステップ１２４：ＮＯ）や、当該リアルタイム系アプリケーションが到着順序逆転パケットを損失と見なさない場合（ステップ１２３：ＮＯ）、当該パケットは無効パケットではないと判定する（ステップ１２６）。
このようにして、選択した送信メディア用パケットに対して無効パケット判定を行った後、無効パケット未判定の送信パケットが残っている場合には（ステップ１２７：ＹＥＳ）、前述したステップ１２０へ戻って残りの受信メディア用パケットに対する無効パケット判定を繰り返し行う。一方、すべての送信メディア用パケットに対して無効パケット判定が終了した場合（ステップ１２７：ＮＯ）、一連の無効パケット判定処理を終了する。
【００７８】
このように、本実施の形態では、無効パケット判定部１２により、送信品質情報で送信が確認されたメディア用パケットのうち受信品質情報で受信が確認されていないメディア用パケット、および受信品質情報の各メディア用パケットの到着時刻から得た直前メディア用パケットとの到着時刻差がアプリケーションの許容パケット遅延時間を超えるメディア用パケットを無効パケットと判定するようにしたので、途中の伝送路だけではなく遅着により損失したパケットについても無効パケットと判定することができ、受信側のリアルタイム系アプリケーションでメディアとして再生できないパケットを正確に判定できる。
【００７９】
また、無効パケット判定部１２により、受信品質情報で受信確認されたメディア用パケットの送信順序と受信順序とが矛盾するメディア用パケットを無効パケットと判定するようにしたので、当該リアルタイム系アプリケーションが到着順序逆転パケットを損失と見なす場合、受信側のリアルタイム系アプリケーションでメディアとして再生できないパケットをさらに正確に判定できる。
【００８０】
［第３の実施の形態］
次に、図１１を参照して、本発明の第３の実施の形態にかかるユーザ体感品質推定装置について説明する。図１１は、本発明の第３の実施の形態にかかるユーザ体感品質推定装置の無効フレーム判定処理を示すフローチャートである。
【００８１】
本実施の形態では、前述した第１の実施の形態の無効フレーム判定手段１３Ｂにおける無効フレーム判定処理の具体例について説明する。
無効フレーム判定手段１３Ｂは、まず、送信品質情報で送信確認されている各フレームのうち、対象フレーム識別手段１２Ｂにより無効パケットを含むために対象フレームと識別されたフレームを無効フレームと判定する（ステップ１３０）。
【００８２】
次に、受信品質情報を参照して、受信側に到着した順序にしたがって無効フレーム未判定のフレームを選択し（ステップ１３１）、当該リアルタイム系アプリケーションでメディアの符号化に用いたフレーム構成を示すフレーム構成情報と受信品質情報とを参照することにより、当該フレームの復号に用いる他のフレームに、無効フレームが含まれているか確認する（ステップ１３２）。フレーム構成情報は、予め記憶部に設定しておいてもよく送受信品質情報で取得してもよい。
【００８３】
ここで、無効フレームが含まれている場合（ステップ１３２：ＹＥＳ）、当該フレームを正常に復号できないことから、当該フレームを無効フレームと判定する（ステップ１３３）。一方、無効フレームが含まれていない場合（ステップ１３２：ＮＯ）、当該フレームを正常に復号できることから、当該フレームを無効フレームではないと判定する（ステップ１３４）。
【００８４】
図１２は、無効フレームの判定処理例である。ここでは、例えば、ＭＰＥＧ符号化方式に基づいて、映像メディアが「ＩＢＢ」のＧＯＰ構成で圧縮符号化されフレームに分割されている。フレーム種別Ｉフレームは基準となるフレームで、Ｉフレームだけで元のフレームを復号できる。フレーム種別ＢフレームはＩフレームとの差分データからなり、その復号にはＩフレームが必要となる。
【００８５】
図１２に示すように、フレーム「１〜９」が「ＩＢＢ」のＧＯＰ構成にしたがってメディア用パケットに分割されて送信され、受信側で受信した際、このうちフレーム「２，４，７，８」に無効パケットが含まれていたとする。
この場合には、まず、無効パケットを含む対象フレームが無効フレームと判定され、さらに、これら無効フレームを復号時に用いるフレームについても無効フレームと判定される。
【００８６】
具体的には、フレーム「５，６」の復号にフレーム「４」を用いるがフレーム「４」が無効フレームであるため、これらフレーム「５，６」も無効フレームと判定される。同様に、フレーム「９」の復号にフレーム「７」を用いるがフレーム「７」が無効フレームであるため、フレーム「９」も無効フレームと判定される。なお、フレーム「３」の復号にフレーム「１」を用いるがフレーム「１」が無効フレームではないため、フレーム「３」は無効フレームではないと判定される。
【００８７】
このようにして、選択したフレームに対して無効フレーム判定を行った後、無効フレーム未判定のフレームが残っている場合には（ステップ１３５：ＹＥＳ）、前述したステップ１３１へ戻って残りのフレームに対する無効フレーム判定を繰り返し行う。一方、すべての送信メディア用パケットに対して無効パケット判定が終了した場合（ステップ１３５：ＮＯ）、一連の無効フレーム判定処理を終了する。
【００８８】
このように、本実施の形態では、無効フレーム判定手段１３Ｂにより、各フレームのうち対象フレームを無効フレームと判定するとともに、フレーム構成で規定されているフレーム種別の並びに従って当該フレームの復号に用いる他のフレームに無効フレームが含まれている場合には当該フレームを無効フレームと判定するようにしたので、単に無効パケットの有無により無効フレームを判定する場合と比較して、実際のフレーム構成に応じて正確に無効フレームを判定できる。
【００８９】
［各実施の形態の拡張］
以上の各実施の形態では、アプリケーション端末２が受信側であり、送信側となる対向アプリケーション端末（図示せず）から送信されパケット網５を介して受信した映像メディアのメディア用パケットに関するユーザ体感品質値を推定する場合を例として説明したがこれに限定されるものではない。すなわち、アプリケーション端末２が送信側であり、受信側となる対向アプリケーション端末（図示せず）でパケット網５を介して受信した映像メディアのメディア用パケットに関するユーザ体感品質値を推定することもできる。
【００９０】
この場合には、ユーザ体感品質推定装置１の品質情報取得部１１により、アプリケーション端末２のパケット送信部２２で得られた品質情報を前述した送信品質情報として用いるとともに、アプリケーション端末２のパケット受信部２１で受信した対向アプリケーション端末からの品質情報を前述した受信品質情報として用いればよい。
この際、対向アプリケーション端末でも同様のユーザ体感品質を推定する場合には、前述した品質情報通知部１８でアプリケーション端末２のパケット送信部２２で得られた送信品質情報を送信する代わりに、パケット受信部２１で得られた受信メディア用パケットに関する受信品質情報を対向アプリケーション端末へ送信すればよい。
【００９１】
なお、これら送受信品質情報は、直接、送信側と受信側との間でやり取りしてもよいが、これら品質情報を管理する品質管理サーバを介してやり取りするようにしてもよい。また、ユーザ体感品質推定装置１で、品質情報を直接受信するようにしてもよい。
【００９２】
また、以上の各実施の形態では、ユーザ体感品質推定装置１をアプリケーション端末２とは別個の装置で実現した場合を例として説明したが、これに限定されるものではなく、リアルタイム系アプリケーションと並行してアプリケーション端末２で実行される品質推定アプリケーションにより実現してもよい。これにより、アプリケーション端末２のハードウェア資源を共用して実現でき、極めて容易にユーザ体感品質を管理できる。
【図面の簡単な説明】
【００９３】
【図１】本発明の第１の実施の形態にかかるユーザ体感品質推定装置の構成を示すブロック図である。
【図２】コンテンツ解析処理で用いるコンテンツクラス判定基準を示す説明図である。
【図３】コンテンツ解析処理で用いる他のコンテンツクラス判定基準を示す説明図である。
【図４】コンテンツクラス解析処理を示す説明図である。
【図５】他のコンテンツクラス解析処理を示す説明図である。
【図６】等価無効フレーム選択処理を示す説明図である。
【図７】本発明の第１の実施の形態にかかるユーザ体感品質推定装置でのユーザ体感品質推定処理を示すフローチャートである。
【図８】コンテンツクラスごとの品質推定モデル（対無効フレーム率）を示す説明図である。
【図９】コンテンツクラスごとの品質推定モデル（対等価無効フレーム率）を示す説明図である。
【図１０】本発明の第２の実施の形態にかかるユーザ体感品質推定装置の無効パケット判定処理を示すフローチャートである。
【図１１】本発明の第３の実施の形態にかかるユーザ体感品質推定装置の無効フレーム判定処理を示すフローチャートである。
【図１２】無効フレームの判定処理例である。
【図１３】異なるコンテンツ間での映像フレーム損失率−ＭＯＳ値特性の違いを示す説明図である。
【符号の説明】
【００９４】
１…ユーザ体感品質推定装置、１１…品質情報取得部、１２…無効パケット判定部、１３…品質解析部、１３Ａ…コンテンツクラス解析手段、１３Ｂ…無効フレーム判定手段、１３Ｃ…等価無効フレーム選択手段、１３Ｄ…等価無効フレーム率算出手段、１４…ユーザ体感品質推定部、１５…品質推定モデル、１６…品質推定値、１７…推定結果通知部、１８…品質情報通知部、２…アプリケーション端末、２１…パケット受信部、２２…パケット送信部、５…パケット網。
【技術分野】
【０００１】
本発明は、通信品質推定技術に関し、特にリアルタイム系アプリケーションのユーザ体感品質を推定する技術に関する。
【背景技術】
【０００２】
近年、パケット通信技術の飛躍的な発展に伴い、パケット網が音声や映像等のメディア（コンテンツ）を１対１あるいは多地点間で通信するリアルタイム系アプリケーションで利用されつつある。パケット網のインサービス品質管理では、このようなアプリケーションに対する品質管理も必要とされている。特にリアルタイム系アプリケーションでは、実際にアプリケーションを利用するユーザレベルでの主観的あるいは客観的な品質などのユーザ体感品質を用いた品質管理が重要視されており、ネットワーク品質からユーザ体感品質を推定する技術も提案されている（例えば、非特許文献１等参照）。
【０００３】
また、発明者らは、無効パケットに基づきリアルタイム系アプリケーションの主観品質を推定する技術を提案した（例えば、特許文献１等参照）。この技術では、試験用パケットのうち受信側端末へ到着しなかった損失パケットと、直前到着パケットとの到着間隔がリアルタイム系アプリケーションの揺らぎ吸収許容時間を越えた遅着パケットとを無効パケットと判定してこれら無効パケット数を計数し、送信側から送信されたすべての試験用パケット数に対する無効パケット数の割合を無効パケット率として算出し、予め生成しておいた無効パケット率と主観品質評価値との関係を示す品質推定モデルを参照して、無効パケット率に対応する主観品質評価値を推定している。
【０００４】
これに対して、従来、発明者らは、損失パケットから推定した映像品質劣化の度合いと映像品質劣化の継続時間長に基づいてリアルタイム系アプリケーションの主観品質を推定する技術を提案した（例えば、特許文献２等参照）。この技術では、ユーザ端末へ送る映像パケットごとにそのパケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則を埋め込む。ユーザ端末において、損失パケットの生成番号から１映像フレーム内の品質劣化の程度や割合などの度合いを推定し、損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則から映像品質劣化の継続時間長を推定し、推定した映像品質劣化の度合いと映像品質劣化の継続時間長に基づいてユーザ端末において復号される映像の主観品質を推定している。これにより、簡単な構成で推定精度の改善が得られた。
【０００５】
【特許文献１】特許第３５７９３３４号公報
【特許文献２】特開２００６−０３３７２２号公報
【非特許文献１】ITU-T Recommendation G.107,"The E-Model, a computational model for use in transmission planning", May 2000
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、このような従来技術では、リアルタイム系アプリケーションで送信される映像や音声などのコンテンツの内容の違いによる、ユーザ体感品質に与える影響の差についてはあまり考慮されておらず、高い推定精度が求められる場合には十分ではないという問題点があった。
【０００７】
リアルタイム系アプリケーションでは、高能率符号化した映像信号や音声信号などのメディア信号をフレームに分解した後、さらにメディア用パケットに変換してやり取りしている。このため、アプリケーション端末でメディア信号を復号する際、受信したメディア用パケットからフレームを組み立て、さらに前後のフレーム情報を使用してメディア信号を復号する。したがって、パケット網でパケット損失が発生した場合、１パケットの損失によるメディア信号の品質劣化が当該フレームにとどまらず、複数のフレームに及ぶことがある。
【０００８】
このようなパケット損失に起因して正常に復号できなかった損失フレームによるユーザ体感品質への影響は、当該フレームで再生するコンテンツの内容に応じて異なる。これは、損失フレームをメディアの劣化として知覚するかどうかという人間の知覚特性がコンテンツの内容に応じて左右されるからであり、例えば、動きの大きいスポーツ映像ではフレーム損失の影響が大きく、動きの少ないテレビ会議ではフレーム損失の影響は小さい。
図１３は、異なるコンテンツ間での映像フレーム損失率−ＭＯＳ値特性の違いを示す説明図である。映像フレーム損失率は、単位計測時間において送信したフレームに対する損失フレームの割合を示す値であり、映像フレーム損失率が同一であっても、コンテンツ内容に応じてユーザが体感する品質が異なる傾向があることがわかる。
【０００９】
従来技術では、このようなコンテンツの内容の違いによる、ユーザ体感品質に与える影響の差についてはあまり考慮されておらず、いずれのコンテンツでもユーザ体感品質に与える影響は同一であるという前提でユーザ体感品質を推定していたため、高い推定精度を得ることはできなかった。
【００１０】
本発明はこのような課題を解決するためのものであり、コンテンツ内容の違いがユーザ体感品質に与える影響を考慮して、リアルタイム系アプリケーションのユーザ体感品質値を高い精度で推定することができるユーザ体感品質推定装置、方法、およびプログラムを提供することを目的としている。
【課題を解決するための手段】
【００１１】
このような目的を達成するために、本発明にかかるユーザ体感品質推定装置は、パケット網を介して接続された送信側および受信側アプリケーション端末間で、リアルタイム系のアプリケーションにより映像や音声などのメディアを符号化して得られた各フレームをメディア用パケットで送受信した際に、受信側アプリケーション端末で受信再生したメディアについてユーザが実感するユーザ体感品質を推定するユーザ体感品質推定装置であって、送信側アプリケーション端末から送信されたメディア用パケットの送信状況を示す送信側品質情報と、受信側アプリケーション端末で受信したメディア用パケットの受信状況を示す受信品質情報とを取得する品質情報取得部と、送信品質情報と受信品質情報とに基づいてメディア用パケットのうち正常に受信できなかったパケットを無効パケットとして判定する無効パケット判定部と、送信品質情報からメディア用パケットのフレーム種別ごとに検出したメディア用パケットのパケット送信状況に基づいてメディアのコンテンツクラスを解析し、コンテンツクラスに応じた判定基準に基づいて、各フレームのうち無効パケットによる影響を受けた連続する無効フレームを判定し、これら連続無効フレームに対して所定の重みフレーム数で重み付けを行って選択した等価無効フレームの割合を等価無効フレーム率として算出する品質解析部と、コンテンツクラスに応じた、等価無効フレーム率とユーザ体感品質値との関係を示す品質推定モデルから、品質解析部で算出された等価無効フレーム率に対応するユーザ体感品質値を導出し、アプリケーションのユーザ体感品質の推定値として出力するユーザ体感品質推定部とを備えている。
【００１２】
この際、品質解析部に、無効フレーム間に挟まれた正常フレームの数が所定の無効フレーム間隔数以下の場合に当該正常フレームを無効フレームと判断し、コンテンツクラスに応じた連続無効フレーム数以上連続する無効フレームのうちコンテンツクラスに応じた重みフレーム数を超える無効フレームの数を等価無効フレーム数として選択する等価無効フレーム選択手段と、メディア用パケットで送信されたフレーム数に対する等価無効フレーム数の割合を等価無効フレーム率として算出する等価無効フレーム率算出手段とを設けてもよい。
【００１３】
また、無効パケット判定部で、送信品質情報で送信が確認されたメディア用パケットのうち受信品質情報で受信が確認されていないパケット、受信品質情報で受信確認されたメディア用パケットのうち直前メディア用パケットとの到着間隔を示す遅延揺らぎ時間がアプリケーションの許容パケット遅延時間を超えているパケット、および受信品質情報で受信確認されたメディア用パケットのうち送信順序と受信順序とが矛盾するパケットを、それぞれ無効パケットと判定するようにしてもよい。
【００１４】
また、品質解析部で、各フレームのうち無効パケットに対応する対象フレームを無効フレームと判定するとともに、メディアの符号化に用いたフレーム構成で規定されているフレーム種別の並びに従って当該フレームの復号に用いる他のフレームに無効フレームが含まれている場合には当該フレームを無効フレームと判定するようにしてもよい。
【００１５】
また、品質情報取得部で、受信側アプリケーション端末のパケット受信部で受信された送信側アプリケーション端末側からの品質情報を送信品質情報として取得するとともに、受信側アプリケーション端末のパケット受信部で受信されたメディア用パケットから得られた品質情報を受信品質情報として取得するようにしてもよい。
【００１６】
また、品質情報取得部で、送信側アプリケーション端末のパケット受信部で受信された受信側アプリケーション端末側からの品質情報を受信品質情報として取得するとともに、送信側アプリケーション端末のパケット送信部で送信されたメディア用パケットから得られた品質情報を送信品質情報として取得するようにしてもよい。
【００１７】
また、送信側アプリケーション端末のパケット送信部で得られた送信品質情報を受信側アプリケーション端末へ通知する品質情報通知部をさらに備えてもよい。
【００１８】
また、受信側アプリケーション端末のパケット受信部で得られた受信品質情報を送信側アプリケーション端末へ通知する品質情報通知部をさらに備えてもよい。
【００１９】
また、本発明にかかるユーザ体感品質推定方法は、パケット網を介して接続された送信側および受信側アプリケーション端末間で、リアルタイム系のアプリケーションにより映像や音声などのメディアを符号化して得られた各フレームをメディア用パケットで送受信した際に、受信側アプリケーション端末で受信再生したメディアについてユーザが実感するユーザ体感品質を推定するユーザ体感品質推定装置で用いられるユーザ体感品質推定方法であって、品質情報取得部により、送信側アプリケーション端末から送信されたメディア用パケットの送信状況を示す送信側品質情報と、受信側アプリケーション端末で受信したメディア用パケットの受信状況を示す受信品質情報とを取得する品質情報取得ステップと、無効パケット判定部により、送信品質情報と受信品質情報とに基づいてメディア用パケットのうち正常に受信できなかったパケットを無効パケットとして判定する無効パケット判定ステップと、品質解析部により、送信品質情報からメディア用パケットのフレーム種別ごとに検出したメディア用パケットのパケット送信状況に基づいてメディアのコンテンツクラスを解析し、コンテンツクラスに応じた判定基準に基づいて、各フレームのうち無効パケットによる影響を受けた連続する無効フレームを判定し、これら連続無効フレームに対して所定の重みフレーム数で重み付けを行って選択した等価無効フレームの割合を等価無効フレーム率として算出する品質解析ステップと、ユーザ体感品質推定部により、コンテンツクラスに応じた、等価無効フレーム率とユーザ体感品質値との関係を示す品質推定モデルから、品質解析部で算出された等価無効フレーム率に対応するユーザ体感品質値を導出し、アプリケーションのユーザ体感品質の推定値として出力するユーザ体感品質推定ステップとを備えている。
【００２０】
また、本発明にかかるプログラムは、パケット網を介して接続された送信側および受信側アプリケーション端末間で、リアルタイム系のアプリケーションにより映像や音声などのメディアを符号化して得られた各フレームをメディア用パケットで送受信した際に、受信側アプリケーション端末で受信再生したメディアについてユーザが実感するユーザ体感品質を推定するユーザ体感品質推定装置のコンピュータに、品質情報取得部により、送信側アプリケーション端末から送信されたメディア用パケットの送信状況を示す送信側品質情報と、受信側アプリケーション端末で受信したメディア用パケットの受信状況を示す受信品質情報とを取得する品質情報取得ステップと、無効パケット判定部により、送信品質情報と受信品質情報とに基づいてメディア用パケットのうち正常に受信できなかったパケットを無効パケットとして判定する無効パケット判定ステップと、品質解析部により、送信品質情報からメディア用パケットのフレーム種別ごとに検出したメディア用パケットのパケット送信状況に基づいてメディアのコンテンツクラスを解析し、コンテンツクラスに応じた判定基準に基づいて、各フレームのうち無効パケットによる影響を受けた連続する無効フレームを判定し、これら連続無効フレームに対して所定の重みフレーム数で重み付けを行って選択した等価無効フレームの割合を等価無効フレーム率として算出する品質解析ステップと、ユーザ体感品質推定部により、コンテンツクラスに応じた、等価無効フレーム率とユーザ体感品質値との関係を示す品質推定モデルから、品質解析部で算出された等価無効フレーム率に対応するユーザ体感品質値を導出し、アプリケーションのユーザ体感品質の推定値として出力するユーザ体感品質推定ステップとを実行させる。
【発明の効果】
【００２１】
本発明によれば、無効パケット判定部により、送信品質情報と受信品質情報とに基づいてメディア用パケットのうち正常に受信できなかったパケットが無効パケットとして判定され、品質解析部により、送信品質情報からメディア用パケットのフレーム種別ごとに検出したメディア用パケットのパケット送信状況に基づいてメディアのコンテンツクラスが解析され、コンテンツクラスに応じた判定基準に基づいて、各フレームのうち無効パケットによる影響を受けた連続する無効フレームが判定され、これら連続無効フレームに対して所定の重みフレーム数で重み付けを行って選択した等価無効フレームの割合が等価無効フレーム率として算出され、ユーザ体感品質推定部により、コンテンツクラスに応じた、等価無効フレーム率とユーザ体感品質値との関係を示す品質推定モデルから、品質解析部で算出された等価無効フレーム率に対応するユーザ体感品質値が導出され、アプリケーションのユーザ体感品質の推定値として出力される。
【００２２】
これにより、リアルタイム系アプリケーションで送信されるコンテンツのコンテンツクラスに応じた判定基準に基づいて連続無効フレームが判定されて等価無効フレーム率が算出され、さらにコンテンツクラスに応じた品質推定モデルを用いて等価無効フレーム率に応じたユーザ体感品質値が推定される。
したがって、コンテンツ内容の違いがユーザ体感品質に与える影響を考慮して、無効フレームの判定やユーザ体感品質の推定に用いる損失推定尺度の算出を正確に行うことができ、ユーザ体感品質の推定精度を向上させることができる。
【発明を実施するための最良の形態】
【００２３】
次に、本発明の実施の形態について図面を参照して説明する。
［第１の実施の形態］
まず、図１を参照して、本発明の第１の実施の形態にかかるユーザ体感品質推定装置について説明する。図１は、本発明の第１の実施の形態にかかるユーザ体感品質推定装置の構成を示すブロック図である。
【００２４】
ユーザ体感品質推定装置１は、通信機能を有する情報処理装置からなり、アプリケーション端末２さらにはパケット網５と接続されて、アプリケーション端末２で実行されるリアルタイム系アプリケーションのユーザ体感品質を推定する。
このユーザ体感品質推定装置１には、主な機能部として、品質情報取得部１１、無効パケット判定部１２、品質解析部１３、ユーザ体感品質推定部１４、推定結果通知部１７、および品質情報通知部１８が設けられている。
【００２５】
本実施の形態は、品質情報取得部１１により、送信側アプリケーション端末から送信されたメディアデータの通信に用いるメディア用パケットの送信状況を示す送信側品質情報と、受信側アプリケーション端末で受信したメディア用パケットの受信状況を示す受信品質情報とを取得し、無効パケット判定部１２により、送信品質情報と受信品質情報とに基づいてメディア用パケットのうち正常に受信できなかったパケットを無効パケットとして判定し、品質解析部１３により、送信品質情報からメディア用パケットのフレーム種別ごとに検出したメディア用パケットのパケット送信状況に基づいてメディアのコンテンツクラスを解析し、コンテンツクラスに応じた判定基準に基づいて、メディア用パケットで送受信した各フレームのうち無効パケットによる影響を受けた連続する無効フレームを判定し、これら連続無効フレームに対して所定の重みフレーム数で重み付けを行って選択した等価無効フレームの割合を等価無効フレーム率として算出し、ユーザ体感品質推定部１４により、コンテンツクラスに応じた、等価無効フレーム率とユーザ体感品質値との関係を示す品質推定モデル１５から、品質解析部で算出された等価無効フレーム率に対応するユーザ体感品質値を導出し、アプリケーションのユーザ体感品質の推定値として出力するようにしたものである。
【００２６】
［ユーザ体感品質推定装置］
次に、図１を参照して、本発明の第１の実施の形態にかかるユーザ体感品質推定装置について詳細に説明する。
ユーザ体感品質推定装置１の各機能部は、専用の回路部や演算処理部、さらには記憶部から構成されている。特に、演算処理部（コンピュータ）は、ＣＰＵなどのマイクロプロセッサとその周辺回路を有し、周辺回路内のメモリや記憶部に格納されているプログラムを読み込んで実行することにより、上記ハードウェアとプログラムとを協働させて各機能部を実現する。記憶部は、メモリやハードディスクなどの記憶装置からなり、各機能部での処理に用いる各種処理情報を記憶する。
【００２７】
品質情報取得部１１は、送信側アプリケーション端末から送信されたメディア用パケットの送信状況を示す送信側品質情報をアプリケーション端末２のパケット受信部２１から取得する機能と、受信側アプリケーション端末で受信したメディア用パケットの受信状況を示す受信品質情報をアプリケーション端末２のパケット受信部２１から取得する機能とを有している。
【００２８】
無効パケット判定部１２は、品質情報取得部１１で取得された送信品質情報と受信品質情報とに基づいてメディア用パケットのうち正常に受信できなかったパケットを無効パケットとして判定する機能と、当該無効パケットの発生過程に応じて当該無効パケットを異なるクラスのいずれかに分類する機能とを有している。
【００２９】
無効パケットとは、送信側のリアルタイム系アプリケーションから送信されたメディア用パケットのうち、受信側のリアルタイム系アプリケーションで正常に受信できず、メディアとして再生できないパケットのことである。具体的には、送信側アプリケーション端末と受信側アプリケーション端末とをパケット網５を介して結ぶ伝送路上で損失したパケット、受信側アプリケーションの持つ揺らぎ吸収バッファで到着間隔が調整できなかった遅着パケット、さらにはメディア用パケットの到着順序が規定されているリアルタイム系アプリケーションでメディア用パケットの到着順序が逆転したパケットなどが対象となる。
【００３０】
品質解析部１３は、品質情報取得部１１で取得された送信品質情報からメディア用パケットで送信されたメディアのコンテンツクラスを解析し、コンテンツクラスに応じた判定基準に基づいて、無効パケットによる影響を受けた無効フレームから人間の知覚特性を考慮して選択した等価無効フレームの割合を無効フレーム率として算出する機能を有している。
品質解析部１３を構成する主な機能手段としては、コンテンツクラス解析手段１３Ａ、無効フレーム判定手段１３Ｂ、等価無効フレーム選択手段１３Ｃ、および等価無効フレーム率算出手段１３Ｄがある。
【００３１】
コンテンツクラス解析手段１３Ａは、送信品質情報からメディア用パケットのフレーム種別ごとに検出したメディア用パケットのパケット送信状況に基づいてメディアのコンテンツクラスを解析する機能を有している。
無効フレーム判定手段１３Ｂは、送信品質情報に基づいて各フレームのうち無効パケット判定部１２で判定された無効パケットに対応する対象フレームを無効フレームと判定する機能と、メディアの符号化に用いたフレーム構成で規定されているフレーム種別の並びに従って当該フレームの復号に用いる他のフレームに無効フレームが含まれている場合には当該フレームを無効フレームと判定する機能とを有している。
【００３２】
等価無効フレーム選択手段１３Ｃは、無効フレーム判定手段１３Ｂで判定された無効フレームについて、これら無効フレーム間に挟まれた正常フレームの数が所定の無効フレーム間隔数以下の場合に当該正常フレームを無効フレームと判断する機能と、これら無効フレームのうち所定の連続無効フレーム数以上連続する無効フレームを連続無効フレームと判定する機能と、これら連続無効フレームのうち所定の重みフレーム数以上連続する無効フレームを等価無効フレームとして選択する機能を有している。
【００３３】
これら無効フレーム間隔数、連続無効フレーム数、および重みフレーム数は、コンテンツクラスごとの判断基準として予め記憶部に登録されている。等価無効フレーム選択手段１３Ｃは、コンテンツクラス解析手段１３Ａで解析されたコンテンツクラスに応じた判定基準で規定された、無効フレーム間隔数、連続無効フレーム数、および重みフレーム数に基づき等価無効フレームを選択する。
等価無効フレーム率算出手段１３Ｄは、メディア用パケットで送信されたフレーム数に対する等価無効フレーム数の割合を等価無効フレーム率として算出する機能を有している。
【００３４】
ユーザ体感品質推定部１４は、等価無効フレーム率とユーザ体感品質値との関係を示す品質推定モデル１５から、品質解析部１３で算出された等価無効フレーム率に対応するユーザ体感品質値を導出し、アプリケーションの品質推定値１６として出力する機能を有している。
【００３５】
推定結果通知部１７は、パケット網５を介して対向アプリケーション端末に接続されているユーザ体感品質推定装置（図示せず）や品質管理サーバ（図示せず）に対し、制御パケットを用いて、当該装置で得られた品質推定値１６さらにはこのユーザ体感品質値の算出に用いた送受信品質情報などの品質要因情報を含む推定結果情報を、定期的あるいは必要に応じて通知する機能を有している。
品質情報通知部１８は、アプリケーション端末２のパケット送信部２２で得られた送信品質情報を送信アプリケーション端末へ通知する機能を有している。
【００３６】
［コンテンツクラス解析処理］
次に、図２〜図５を参照して、本発明の第１の実施の形態にかかるユーザ体感品質推定装置でのコンテンツクラス解析処理について詳細に説明する。図２は、コンテンツ解析処理で用いるコンテンツクラス判定基準を示す説明図である。図３は、コンテンツ解析処理で用いる他のコンテンツクラス判定基準を示す説明図である。図４は、コンテンツクラス解析処理を示す説明図である。図５は、他のコンテンツクラス解析処理を示す説明図である。
【００３７】
ユーザ体感品質推定装置１の品質解析部１３は、コンテンツ解析手段１３Ａにより、送信品質情報からメディア用パケットのフレーム種別ごとに検出したメディア用パケットのパケット送信状況に基づいてメディアのコンテンツクラスを解析する。
リアルタイム系のアプリケーションは、メディアを各フレームに符号化する場合、メディア信号の特性に応じてフレーム種別の構成を適応的に変更することにより、所望の品質で効率よくメディアを送信する。このようにコンテンツの内容とメディア信号の特性とは関連しているため、メディア用パケットで送信されるフレーム種別ごとにパケット送信状況を検出すれば、当該メディアのコンテンツクラスを解析できる。
【００３８】
パケット送信状況としては、フレーム種別ごとに検出した、メディア用パケット数やパケット占有率からなるパケット送信量でもよく、あるいはこれらパケット送信量の変動量であってもよい。パケット送信量の変動量とは、単位計測期間ごとに検出した各パケット送信状況における最大値と最小値との差を示す値である。
【００３９】
図２のコンテンツクラス判定基準では、ＭＰＥＧ(Moving Picture Exparts Group)符号化方式のＧＯＰ(Group of Picture)構成を例として、映像メディアのフレーム種別（Ｉ，Ｂ，Ｐ）ごとのメディア用パケット数（パケット占有率）に対してコンテンツクラスが組として登録されており、品質解析部１３は、このコンテンツクラス判定基準のうち、送信品質情報から検出したパケット送信状況に対応するコンテンツクラスを検索し、当該メディアのコンテンツクラスを決定する。
図３のコンテンツクラス判定基準では、映像メディアのフレーム種別（Ｉ，Ｂ，Ｐ）ごとのメディア用パケット数の変動量に対してコンテンツクラスが組として登録されており、図２と同様にして当該メディアのコンテンツクラスが決定される。
【００４０】
パケット送信状況の検出方法については、図４に示すように、全メディア用パケットに対して単位計測期間ごとに連続してパケット送信状況を検出する方法と、図５に示すように、単位計測期間を計測周期ごとに間欠してパケット送信状況を検出する方法がある。いずれの方法においても、単位計測期間ごとに得られたパケット送信状況を統計処理した結果をコンテンツクラスの判定に用いればよい。
【００４１】
本実施の形態では、品質解析部１３のコンテンツ解析手段１３Ａにより、送信品質情報からメディア用パケットのフレーム種別ごとに検出したメディア用パケットのパケット送信状況に基づいてメディアのコンテンツクラスを解析するようにしたので、極めて簡素な処理でコンテンツクラスを正確に解析することができる。
【００４２】
［等価無効フレーム選択処理］
次に、図６を参照して、本発明の第１の実施の形態にかかるユーザ体感品質推定装置１での等価無効フレーム選択処理について詳細に説明する。図６は、等価無効フレーム選択処理を示す説明図である。
【００４３】
ユーザ体感品質推定装置１の品質解析部１３は、等価無効フレーム選択手段１３Ｃにより、コンテンツクラスに応じた判定基準に基づいて、無効パケットによる影響を受けた無効フレームから人間の知覚特性を考慮して等価無効フレームを選択し、等価無効フレーム率算出手段１３Ｄにより、メディア用パケットで送信されたフレームに対する等価無効フレームの割合を等価無効フレーム率として算出する。
【００４４】
等価無効フレームを選択する場合、まず、人間の知覚特性に基づいて無効フレーム間に挟まれた正常フレームが劣化と知覚されるかどうか判断する。人間の知覚特性には、無効フレームが間欠的に発生した場合にその間に挟まれた正常フレームを劣化と知覚する特性がある。このため、この正常フレーム数を無効フレーム間隔数で規定し、無効フレーム判定手段１３Ｂで判定された無効フレームについて、これら無効フレーム間に挟まれた正常フレームの数が上記無効フレーム間隔数以下の場合に当該正常フレームを無効フレームと判定する。
【００４５】
次に、人間の知覚特性に基づいて上記無効フレームが劣化と知覚されるかどうか判断する。人間の知覚特性には、ある程度無効フレームが連続して初めて劣化と知覚する特性がある。このため、劣化と知覚される無効フレーム数を連続無効フレーム数として規定し、無効フレームのうち上記連続無効フレーム数以上連続する無効フレームを連続無効フレームと判定する。
【００４６】
最後に、人間の知覚特性に基づいて上記連続無効フレームが劣化フレームと知覚されるかどうか判断する。人間の知覚特性には、連続無効フレームのうち劣化と知覚するまでにある程度の無効フレームを要するという特性がある。このため、劣化と知覚するまでに要する無効フレーム数を重みフレーム数として規定し、連続無効フレームのうち上記重み無効フレーム数以降連続する無効フレームを等価無効フレームと判定する。
【００４７】
図６には、フレームＦ（０）〜Ｆ（１９）に関する等価無効フレームの選択例が記載されており、このうちフレームＦ（２），Ｆ（７），Ｆ（１０），Ｆ（１２）〜Ｆ（１６）が無効フレーム判定手段１３Ｂで無効フレームと判定されたものとする。また、コンテンツクラス解析手段１３Ａにより解析された当該コンテンツクラスの判定基準において、無効フレーム間隔数「２」、連続無効フレーム数「５」、重みフレーム数「４」がそれぞれ規定されているものとする。
【００４８】
まず、無効フレームＦ（２）には少なくとも３つ以上の正常フレームＦ（３）〜Ｆ（５）が後続しており、このときの無効フレーム間隔「３」は判定基準の無効フレーム間隔数「２」より大きいため、正常フレームＦ（３），Ｆ（４）は無効フレームとは判定されない。したがって、無効フレームＦ（２）に関する連続無効フレーム長は「１」となり、これは判定基準の連続無効フレーム数「５」未満であることから無効フレームＦ（２）は連続無効フレームとは判定されず、等価無効フレームの対象外となる。
【００４９】
一方、無効フレームＦ（７）には２つの正常フレームＦ（８），Ｆ（９）の後に無効フレームＦ（１０）が存在しており、このときの無効フレーム間隔「２」は判定基準の無効フレーム間隔数「２」以下であるため、正常フレームＦ（８），Ｆ（９）は無効フレームと判定される。同じく無効フレームＦ（１０）には１つの正常フレームＦ（１１）の後に無効フレームＦ（１２）が存在しており、このときの無効フレーム間隔「１」は判定基準の無効フレーム間隔数「２」以下であるため、正常フレームＦ（１１）は無効フレームと判定される。
【００５０】
また、フレームＦ（１２）〜Ｆ（１６）まで無効フレームが連続し、無効フレームＦ（１６）には少なくとも３つ以上の正常フレームＦ（１７）〜Ｆ（１９）が後続しており、このときの無効フレーム間隔「３」は判定基準の無効フレーム間隔数「２」より大きいため、正常フレームＦ（１７），Ｆ（１８）は無効フレームとは判定されない。したがって、無効フレームＦ（７）に関する連続無効フレーム長はフレームＦ（１６）までの「１０」となり、これは判定基準の連続無効フレーム数「５」以上であることからこれらフレームＦ（７）〜Ｆ（１６）は連続無効フレームと判定される。
【００５１】
この後、連続無効フレームと判定されたフレームＦ（７）〜Ｆ（１６）の連続フレーム数が「１０」であるため、この連続無効フレームのうち判定基準の重み無効フレーム数「４」以降連続する無効フレームすなわちフレームＦ（１１）〜Ｆ（１６）の６つが等価無効フレームとして選択される。
【００５２】
本実施の形態では、品質解析部１３の等価無効フレーム選択手段１３Ｃにより、コンテンツクラスに応じた判定基準に基づいて、無効パケットによる影響を受けた無効フレームから人間の知覚特性を考慮して等価無効フレームを選択するようにしたので、コンテンツの内容ごとに変化する人間の知覚特性を考慮して等価無効フレームを正確に選択することができ、ユーザ体感品質の推定に用いる品質推定尺度、すなわち等価無効フレーム率を精度よく算出することができる。
【００５３】
［第１の実施の形態の動作］
次に、図７を参照して、本発明の第１の実施の形態にかかるユーザ体感品質推定装置の動作について説明する。図７は、本発明の第１の実施の形態にかかるユーザ体感品質推定装置でのユーザ体感品質推定処理を示すフローチャートである。
【００５４】
ここでは、アプリケーション端末２が受信側であり、送信側となる対向アプリケーション端末（図示せず）から送信されパケット網５を介して受信した映像メディアのメディア用パケットに関するユーザ体感品質値を推定する場合を例として説明する。この際、対向アプリケーション端末に接続されているユーザ体感品質推定装置（図示せず）から、対向アプリケーション端末のパケット送信部で得られた送信品質情報がアプリケーション端末２へ制御用パケットにより通知される場合を例として説明する。
【００５５】
ユーザ体感品質推定装置１の品質情報取得部１１で取得した送信品質情報に含まれている主な品質情報としては、各送信メディア用パケットに関する、送信順序を示すシーケンス番号、映像フレーム種別、映像フレーム番号、送信パケット数、および送信フレーム数がある。また受信品質情報に含まれている主な品質情報としては、各受信メディア用パケットに関する、送信順序を示すシーケンス番号および直前メディア用パケットとの到着時刻差を示す遅延揺らぎ時間がある。
【００５６】
ユーザ体感品質推定装置１の品質情報取得部１１は、対向アプリケーション端末側からＲＴＣＰ ＸＲ(RTP Control Protocol)などの制御用パケットで送信された送信品質情報が、アプリケーション端末２のパケット受信部２１で受信されたものを取得する（ステップ１００）。また、アプリケーション端末２のパケット受信部２１で対向アプリケーション端末からのメディア用パケットから得られた受信品質情報を取得する（ステップ１０１）。
【００５７】
無効パケット判定部１２は、送信品質情報で送信が確認されている各メディア用パケットについて無効パケットの判定を行い、受信側アプリケーション端末で正常に受信できなかったメディア用パケットを無効パケットと判定する（ステップ１０２）。
【００５８】
次に、品質解析部１３は、コンテンツクラス解析手段１３Ａにより、送信品質情報からメディア用パケットのフレーム種別ごとに検出したメディア用パケットのパケット送信状況に基づいてメディアのコンテンツクラスを解析する（ステップ１０３）。
【００５９】
また、品質解析部１３は、無効フレーム判定手段１３Ｂにより、送信品質情報に基づいて各フレームのうち無効パケット判定部１２で判定された無効パケットに対応する対象フレームを無効フレームと判定する（ステップ１０４）。また、メディアの符号化に用いたフレーム構成で規定されているフレーム種別の並びに従って当該フレームの復号に用いる他のフレームに無効フレームが含まれている場合には当該フレームを無効フレームと判定する（ステップ１０４）。
【００６０】
続いて、品質解析部１３は、等価無効フレーム選択手段１３Ｃにより、コンテンツクラス解析手段１３Ａで解析されたコンテンツクラスに応じた判定基準に基づいて、前述した図６の等価無効フレーム選択処理を実行することにより、無効フレーム判定手段１３Ｂで判定された無効フレームを元にして、各フレームから人間の知覚特性に応じて等価無効フレームを選択する（ステップ１０５）。
【００６１】
その後、品質解析部１３は、等価無効フレーム率算出手段１３Ｄにより、等価無効フレーム選択手段１３Ｃで選択された無効等価フレームの総数を送信品質情報で示されるフレーム数で除算する。これにより、各フレームのうち等価無効フレーム選択手段１３Ｃにより判定された等価無効フレームの割合を等価無効フレーム率として算出する（ステップ１０６）。
【００６２】
次に、ユーザ体感品質推定部１４は、予め用意して記憶部（図示せず）に格納しておいた無効フレーム率とユーザ体感品質値との関係を示す品質推定モデルのうち、コンテンツクラス解析手段１３Ａで解析されたコンテンツクラスに対応する品質推定モデル１５を選択し（ステップ１０７）、この品質推定モデル１５から、品質解析部１３で算出された等価無効フレーム率に対応するユーザ体感品質値を導出し（ステップ１０８）、リアルタイム系アプリケーションのユーザ体感品質の品質推定値１６として記憶部へ出力する。
【００６３】
品質推定モデルの作成は、中間パラメータと実際にオピニオン評価を行って得られた主観評価値であるＭＯＳ値(Mean Opinion Score 平均オピニオン評点)からなるユーザ体感品質との関係を回帰曲線またはテーブルによって表すことでモデル化しておく。
従来、中間パラメータとしてパケット網５上で損失した損失パケットの無効パケット率を用い、この無効パケット率とＭＯＳ値との関係を示す推定モデルを用いて、無効パケット率からＭＯＳ値を推定していた（特許文献１など参照）。このような推定モデルでは、ある程度の推定精度は保証できるが、メディア用パケットとフレームとが１対１に対応していないことから、高い推定精度が求められる場合には十分ではない。
【００６４】
また、無効フレーム率とＭＯＳ値との関係を示す推定モデルについては、無効パケット率とＭＯＳ値との関係を示す推定モデルと比較してばらつきが少ないが、人間の知覚特性が考慮されておらず、実際のリアルタイム系アプリケーションでの品質劣化状況から、このような推定モデルにより推定した推定結果には、メディアに対するユーザの主観的な品質評価との誤差を含んでいる。
【００６５】
本実施の形態では、人間の知覚特性のうちメディアの劣化に対する敏感性を考慮した等価無効フレーム率を求め、これを中間パラメータとして用いている。等価無効フレーム率は、無効パケット率や無効フレーム率を求めた際と同じメディア用パケットの品質情報から導出したものであり、無効フレーム率とＭＯＳ値との関係を示す推定モデルを用いた場合と比較して、さらにばらつきが少ない。
【００６６】
また、前述したように、無効フレームによるユーザ体感品質への影響は、当該フレームで再生するコンテンツの内容に応じて異なるため、本実施の形態では、コンテンツクラスごとに品質推定モデルを用意している。
図８は、コンテンツクラスごとの品質推定モデル（対無効フレーム率）を示す説明図であり、ここでは、品質推定尺度として無効フレーム率が用いられている。図９は、コンテンツクラスごとの品質推定モデル（対等価無効フレーム率）を示す説明図であり、ここでは、品質推定尺度として等価無効フレーム率が用いられている。本実施の形態では、前述のとおり、品質推定尺度として等価無効フレーム率を用いることにより、図９のような、各コンテンツクラスにおいて、品質推定尺度に対して同程度にＭＯＳ値が変化する品質推定モデルがそれぞれ得られる。
【００６７】
実際にユーザ体感品質推定部１４で用いる品質推定モデル１５としては、図９の回帰曲線を用いてもよく、これをテーブル化した推定モデルを用いてもよい。
具体的には、図９において、例えば入力パラメータの入力最小単位である最小刻（具体的には、等価無効フレーム率の入力最小単位）を０．０１とした場合、０．０１刻で、出力された値を平均することで表を作成する。つまり、最小刻の範囲内に入っているＭＯＳ値を平均することで、０から最小刻ごとに等価無効フレーム率とＭＯＳの関係をテーブルを作成する。ただし、評価サンプル数が少ない場合、最小刻の中でデータがないものが存在する。その際には、前後にデータが存在するものを利用して補完を行う。この補完は、線形であっても、回帰を用いても構わない。このような現象が極力少なくなるように、モデル作成時には、多数のデータサンプルを取得することが望ましい。
【００６８】
この後、推定結果通知部１７は、ユーザ体感品質推定部１４で推定された品質推定値１６を記憶部から読み込んで、ＲＴＣＰ ＸＲなどの制御用パケットに格納し、パケット網５を介して対向アプリケーション端末に接続されているユーザ体感品質推定装置（図示せず）や品質管理サーバ（図示せず）に対して送信し（ステップ１０９）、一連のユーザ体感品質推定処理を終了する。
この際、一定間隔ごとに品質推定値１６の平均値やばらつきを示す分散などを求める統計処理した結果を推定結果通知部１７で通知してもよい。
【００６９】
このように、本実施の形態では、品質情報取得部１１により、送信側アプリケーション端末から送信されたメディアデータの通信に用いるメディア用パケットの送信状況を示す送信側品質情報と、受信側アプリケーション端末で受信したメディア用パケットの受信状況を示す受信品質情報とを取得し、無効パケット判定部１２により、送信品質情報と受信品質情報とに基づいてメディア用パケットのうち正常に受信できなかったパケットを無効パケットとして判定し、品質解析部１３により、送信品質情報からメディア用パケットのフレーム種別ごとに検出したメディア用パケットのパケット送信状況に基づいてメディアのコンテンツクラスを解析し、コンテンツクラスに応じた判定基準に基づいて、メディア用パケットで送受信した各フレームのうち無効パケットによる影響を受けた連続する無効フレームを判定し、これら連続無効フレームに対して所定の重みフレーム数で重み付けを行って選択した等価無効フレームの割合を等価無効フレーム率として算出し、ユーザ体感品質推定部１４により、コンテンツクラスに応じた、等価無効フレーム率とユーザ体感品質値との関係を示す品質推定モデル１５から、品質解析部で算出された等価無効フレーム率に対応するユーザ体感品質値を導出し、アプリケーションのユーザ体感品質の推定値として出力している。
【００７０】
これにより、リアルタイム系アプリケーションで送信されるコンテンツのコンテンツクラスに応じた判定基準に基づいて無効フレームが判定されるとともに等価無効フレーム率が算出され、さらにコンテンツクラスに応じた品質推定モデルを用いて等価無効フレーム率に応じたユーザ体感品質値が推定される。
したがって、コンテンツ内容の違いがユーザ体感品質に与える影響を考慮して、無効フレームの判定やユーザ体感品質の推定に用いる損失推定尺度の算出を正確に行うことができ、ユーザ体感品質の推定精度を向上させることができる。
【００７１】
また、本実施の形態では、コンテンツクラスの解析する場合、品質解析部１３のコンテンツ解析手段１３Ａにより、送信品質情報からメディア用パケットのフレーム種別ごとに検出したメディア用パケットのパケット送信状況に基づいてメディアのコンテンツクラスを解析するようにしたので、極めて簡素な処理でコンテンツクラスを正確に解析することができる。
【００７２】
また、本実施の形態では、等価無効フレームを選択する場合、品質解析部１３の等価無効フレーム選択手段１３Ｃにより、コンテンツクラスに応じた判定基準に基づいて、無効パケットによる影響を受けた無効フレームから人間の知覚特性を考慮して等価無効フレームを選択するようにしたので、コンテンツの内容ごとに変化する人間の知覚特性を考慮して等価無効フレームを正確に選択することができ、ユーザ体感品質の推定に用いる品質推定尺度、すなわち等価無効フレーム率を精度よく算出することができる。
【００７３】
［第２の実施の形態］
次に、図１０を参照して、本発明の第２の実施の形態にかかるユーザ体感品質推定装置について説明する。図１０は、本発明の第２の実施の形態にかかるユーザ体感品質推定装置の無効パケット判定処理を示すフローチャートである。
【００７４】
本実施の形態では、前述した第１の実施の形態の無効パケット判定部１２における無効パケット判定処理の具体例について説明する。
無効パケット判定部１２は、まず、送信品質情報から未判定の送信メディア用パケットを任意に選択し（ステップ１２０）、そのシーケンス番号と同じメディア用パケットが受信されているか受信品質情報で確認する（ステップ１２１）。ここで、シーケンス番号と同じメディア用パケットが受信されていない場合には（ステップ１２１：ＮＯ）、当該メディア用パケットが途中の伝送路で損失した損失パケットであると判断できることから、無効パケットであると判定する（ステップ１２５）。
【００７５】
一方、シーケンス番号と同じメディア用パケットが受信されている場合には（ステップ１２１：ＹＥＳ）、当該送信メディア用パケットの遅延揺らぎ時間を受信品質情報で確認し、リアルタイム系アプリケーションが持つ許容遅延時間と比較する（ステップ１２２）。ここで、遅延揺らぎ時間が許容遅延時間を上回っている場合には（ステップ１２２：ＮＯ）、当該メディア用パケットが途中の伝送路や端末内で遅延して到着した遅着パケットであると判断できることから、無効パケットであると判定する（ステップ１２５）。
【００７６】
一方、遅延揺らぎ時間が許容遅延時間以下である場合には（ステップ１２２：ＹＥＳ）、当該リアルタイム系アプリケーションが到着順序逆転パケットを損失と見なす場合にのみ（ステップ１２３：ＹＥＳ）、かつ当該メディア用パケットの到着順とシーケンス番号とが一致するか受信品質情報により確認する。ここで、この一致が確認できず到着順序が逆転しているパケットである場合には（ステップ１２４：ＹＥＳ）、無効パケットであると判定する（ステップ１２５）。
【００７７】
なお、到着順序が逆転していない場合（ステップ１２４：ＮＯ）や、当該リアルタイム系アプリケーションが到着順序逆転パケットを損失と見なさない場合（ステップ１２３：ＮＯ）、当該パケットは無効パケットではないと判定する（ステップ１２６）。
このようにして、選択した送信メディア用パケットに対して無効パケット判定を行った後、無効パケット未判定の送信パケットが残っている場合には（ステップ１２７：ＹＥＳ）、前述したステップ１２０へ戻って残りの受信メディア用パケットに対する無効パケット判定を繰り返し行う。一方、すべての送信メディア用パケットに対して無効パケット判定が終了した場合（ステップ１２７：ＮＯ）、一連の無効パケット判定処理を終了する。
【００７８】
このように、本実施の形態では、無効パケット判定部１２により、送信品質情報で送信が確認されたメディア用パケットのうち受信品質情報で受信が確認されていないメディア用パケット、および受信品質情報の各メディア用パケットの到着時刻から得た直前メディア用パケットとの到着時刻差がアプリケーションの許容パケット遅延時間を超えるメディア用パケットを無効パケットと判定するようにしたので、途中の伝送路だけではなく遅着により損失したパケットについても無効パケットと判定することができ、受信側のリアルタイム系アプリケーションでメディアとして再生できないパケットを正確に判定できる。
【００７９】
また、無効パケット判定部１２により、受信品質情報で受信確認されたメディア用パケットの送信順序と受信順序とが矛盾するメディア用パケットを無効パケットと判定するようにしたので、当該リアルタイム系アプリケーションが到着順序逆転パケットを損失と見なす場合、受信側のリアルタイム系アプリケーションでメディアとして再生できないパケットをさらに正確に判定できる。
【００８０】
［第３の実施の形態］
次に、図１１を参照して、本発明の第３の実施の形態にかかるユーザ体感品質推定装置について説明する。図１１は、本発明の第３の実施の形態にかかるユーザ体感品質推定装置の無効フレーム判定処理を示すフローチャートである。
【００８１】
本実施の形態では、前述した第１の実施の形態の無効フレーム判定手段１３Ｂにおける無効フレーム判定処理の具体例について説明する。
無効フレーム判定手段１３Ｂは、まず、送信品質情報で送信確認されている各フレームのうち、対象フレーム識別手段１２Ｂにより無効パケットを含むために対象フレームと識別されたフレームを無効フレームと判定する（ステップ１３０）。
【００８２】
次に、受信品質情報を参照して、受信側に到着した順序にしたがって無効フレーム未判定のフレームを選択し（ステップ１３１）、当該リアルタイム系アプリケーションでメディアの符号化に用いたフレーム構成を示すフレーム構成情報と受信品質情報とを参照することにより、当該フレームの復号に用いる他のフレームに、無効フレームが含まれているか確認する（ステップ１３２）。フレーム構成情報は、予め記憶部に設定しておいてもよく送受信品質情報で取得してもよい。
【００８３】
ここで、無効フレームが含まれている場合（ステップ１３２：ＹＥＳ）、当該フレームを正常に復号できないことから、当該フレームを無効フレームと判定する（ステップ１３３）。一方、無効フレームが含まれていない場合（ステップ１３２：ＮＯ）、当該フレームを正常に復号できることから、当該フレームを無効フレームではないと判定する（ステップ１３４）。
【００８４】
図１２は、無効フレームの判定処理例である。ここでは、例えば、ＭＰＥＧ符号化方式に基づいて、映像メディアが「ＩＢＢ」のＧＯＰ構成で圧縮符号化されフレームに分割されている。フレーム種別Ｉフレームは基準となるフレームで、Ｉフレームだけで元のフレームを復号できる。フレーム種別ＢフレームはＩフレームとの差分データからなり、その復号にはＩフレームが必要となる。
【００８５】
図１２に示すように、フレーム「１〜９」が「ＩＢＢ」のＧＯＰ構成にしたがってメディア用パケットに分割されて送信され、受信側で受信した際、このうちフレーム「２，４，７，８」に無効パケットが含まれていたとする。
この場合には、まず、無効パケットを含む対象フレームが無効フレームと判定され、さらに、これら無効フレームを復号時に用いるフレームについても無効フレームと判定される。
【００８６】
具体的には、フレーム「５，６」の復号にフレーム「４」を用いるがフレーム「４」が無効フレームであるため、これらフレーム「５，６」も無効フレームと判定される。同様に、フレーム「９」の復号にフレーム「７」を用いるがフレーム「７」が無効フレームであるため、フレーム「９」も無効フレームと判定される。なお、フレーム「３」の復号にフレーム「１」を用いるがフレーム「１」が無効フレームではないため、フレーム「３」は無効フレームではないと判定される。
【００８７】
このようにして、選択したフレームに対して無効フレーム判定を行った後、無効フレーム未判定のフレームが残っている場合には（ステップ１３５：ＹＥＳ）、前述したステップ１３１へ戻って残りのフレームに対する無効フレーム判定を繰り返し行う。一方、すべての送信メディア用パケットに対して無効パケット判定が終了した場合（ステップ１３５：ＮＯ）、一連の無効フレーム判定処理を終了する。
【００８８】
このように、本実施の形態では、無効フレーム判定手段１３Ｂにより、各フレームのうち対象フレームを無効フレームと判定するとともに、フレーム構成で規定されているフレーム種別の並びに従って当該フレームの復号に用いる他のフレームに無効フレームが含まれている場合には当該フレームを無効フレームと判定するようにしたので、単に無効パケットの有無により無効フレームを判定する場合と比較して、実際のフレーム構成に応じて正確に無効フレームを判定できる。
【００８９】
［各実施の形態の拡張］
以上の各実施の形態では、アプリケーション端末２が受信側であり、送信側となる対向アプリケーション端末（図示せず）から送信されパケット網５を介して受信した映像メディアのメディア用パケットに関するユーザ体感品質値を推定する場合を例として説明したがこれに限定されるものではない。すなわち、アプリケーション端末２が送信側であり、受信側となる対向アプリケーション端末（図示せず）でパケット網５を介して受信した映像メディアのメディア用パケットに関するユーザ体感品質値を推定することもできる。
【００９０】
この場合には、ユーザ体感品質推定装置１の品質情報取得部１１により、アプリケーション端末２のパケット送信部２２で得られた品質情報を前述した送信品質情報として用いるとともに、アプリケーション端末２のパケット受信部２１で受信した対向アプリケーション端末からの品質情報を前述した受信品質情報として用いればよい。
この際、対向アプリケーション端末でも同様のユーザ体感品質を推定する場合には、前述した品質情報通知部１８でアプリケーション端末２のパケット送信部２２で得られた送信品質情報を送信する代わりに、パケット受信部２１で得られた受信メディア用パケットに関する受信品質情報を対向アプリケーション端末へ送信すればよい。
【００９１】
なお、これら送受信品質情報は、直接、送信側と受信側との間でやり取りしてもよいが、これら品質情報を管理する品質管理サーバを介してやり取りするようにしてもよい。また、ユーザ体感品質推定装置１で、品質情報を直接受信するようにしてもよい。
【００９２】
また、以上の各実施の形態では、ユーザ体感品質推定装置１をアプリケーション端末２とは別個の装置で実現した場合を例として説明したが、これに限定されるものではなく、リアルタイム系アプリケーションと並行してアプリケーション端末２で実行される品質推定アプリケーションにより実現してもよい。これにより、アプリケーション端末２のハードウェア資源を共用して実現でき、極めて容易にユーザ体感品質を管理できる。
【図面の簡単な説明】
【００９３】
【図１】本発明の第１の実施の形態にかかるユーザ体感品質推定装置の構成を示すブロック図である。
【図２】コンテンツ解析処理で用いるコンテンツクラス判定基準を示す説明図である。
【図３】コンテンツ解析処理で用いる他のコンテンツクラス判定基準を示す説明図である。
【図４】コンテンツクラス解析処理を示す説明図である。
【図５】他のコンテンツクラス解析処理を示す説明図である。
【図６】等価無効フレーム選択処理を示す説明図である。
【図７】本発明の第１の実施の形態にかかるユーザ体感品質推定装置でのユーザ体感品質推定処理を示すフローチャートである。
【図８】コンテンツクラスごとの品質推定モデル（対無効フレーム率）を示す説明図である。
【図９】コンテンツクラスごとの品質推定モデル（対等価無効フレーム率）を示す説明図である。
【図１０】本発明の第２の実施の形態にかかるユーザ体感品質推定装置の無効パケット判定処理を示すフローチャートである。
【図１１】本発明の第３の実施の形態にかかるユーザ体感品質推定装置の無効フレーム判定処理を示すフローチャートである。
【図１２】無効フレームの判定処理例である。
【図１３】異なるコンテンツ間での映像フレーム損失率−ＭＯＳ値特性の違いを示す説明図である。
【符号の説明】
【００９４】
１…ユーザ体感品質推定装置、１１…品質情報取得部、１２…無効パケット判定部、１３…品質解析部、１３Ａ…コンテンツクラス解析手段、１３Ｂ…無効フレーム判定手段、１３Ｃ…等価無効フレーム選択手段、１３Ｄ…等価無効フレーム率算出手段、１４…ユーザ体感品質推定部、１５…品質推定モデル、１６…品質推定値、１７…推定結果通知部、１８…品質情報通知部、２…アプリケーション端末、２１…パケット受信部、２２…パケット送信部、５…パケット網。
【特許請求の範囲】
【請求項１】
パケット網を介して接続された送信側および受信側アプリケーション端末間で、リアルタイム系のアプリケーションにより映像や音声などのメディアを符号化して得られた各フレームをメディア用パケットで送受信した際に、前記受信側アプリケーション端末で受信再生したメディアについてユーザが実感するユーザ体感品質を推定するユーザ体感品質推定装置であって、
前記送信側アプリケーション端末から送信されたメディア用パケットの送信状況を示す送信側品質情報と、前記受信側アプリケーション端末で受信した前記メディア用パケットの受信状況を示す受信品質情報とを取得する品質情報取得部と、
前記送信品質情報と前記受信品質情報とに基づいて前記メディア用パケットのうち正常に受信できなかったパケットを無効パケットとして判定する無効パケット判定部と、
前記送信品質情報から前記メディア用パケットのフレーム種別ごとに検出した前記メディア用パケットのパケット送信状況に基づいて前記メディアのコンテンツクラスを解析し、前記コンテンツクラスに応じた判定基準に基づいて、前記各フレームのうち前記無効パケットによる影響を受けた連続する無効フレームを判定し、これら連続無効フレームに対して所定の重みフレーム数で重み付けを行って選択した等価無効フレームの割合を等価無効フレーム率として算出する品質解析部と、
前記コンテンツクラスに応じた、等価無効フレーム率とユーザ体感品質値との関係を示す品質推定モデルから、前記品質解析部で算出された等価無効フレーム率に対応するユーザ体感品質値を導出し、前記アプリケーションのユーザ体感品質の推定値として出力するユーザ体感品質推定部と
を備えることを特徴とするユーザ体感品質推定装置。
【請求項２】
請求項１に記載のユーザ体感品質推定装置において、
前記品質解析部は、
前記無効フレーム間に挟まれた正常フレームの数が所定の無効フレーム間隔数以下の場合に当該正常フレームを無効フレームと判断し、前記コンテンツクラスに応じた連続無効フレーム数以上連続する前記無効フレームのうち前記コンテンツクラスに応じた重みフレーム数を超える無効フレームの数を等価無効フレーム数として選択する等価無効フレーム選択手段と、
前記メディア用パケットで送信されたフレーム数に対する前記等価無効フレーム数の割合を前記等価無効フレーム率として算出する等価無効フレーム率算出手段と
を有することを特徴とするユーザ体感品質推定装置。
【請求項３】
請求項１に記載のユーザ体感品質推定装置において、
無効パケット判定部は、前記送信品質情報で送信が確認されたメディア用パケットのうち前記受信品質情報で受信が確認されていないパケット、前記受信品質情報で受信確認されたメディア用パケットのうち直前メディア用パケットとの到着間隔を示す遅延揺らぎ時間が前記アプリケーションの許容パケット遅延時間を超えているパケット、および前記受信品質情報で受信確認されたメディア用パケットのうち送信順序と受信順序とが矛盾するパケットを、それぞれ前記無効パケットと判定することを特徴とするユーザ体感品質推定装置。
【請求項４】
請求項１に記載のユーザ体感品質推定装置において、
前記品質解析部は、前記各フレームのうち前記無効パケットに対応する対象フレームを無効フレームと判定するとともに、前記メディアの符号化に用いたフレーム構成で規定されているフレーム種別の並びに従って当該フレームの復号に用いる他のフレームに無効フレームが含まれている場合には当該フレームを無効フレームと判定する無効フレーム判定手段を有することを特徴とするユーザ体感品質推定装置。
【請求項５】
請求項１に記載のユーザ体感品質推定装置において、
前記品質情報取得部は、前記受信側アプリケーション端末のパケット受信部で受信された前記送信側アプリケーション端末側からの品質情報を前記送信品質情報として取得するとともに、前記受信側アプリケーション端末のパケット受信部で受信されたメディア用パケットから得られた品質情報を前記受信品質情報として取得することを特徴とするユーザ体感品質推定装置。
【請求項６】
請求項１に記載のユーザ体感品質推定装置において、
前記品質情報取得部は、前記送信側アプリケーション端末のパケット受信部で受信された前記受信側アプリケーション端末側からの品質情報を前記受信品質情報として取得するとともに、前記送信側アプリケーション端末のパケット送信部で送信されたメディア用パケットから得られた品質情報を前記送信品質情報として取得することを特徴とするユーザ体感品質推定装置。
【請求項７】
請求項１に記載のユーザ体感品質推定装置において、
前記送信側アプリケーション端末のパケット送信部で得られた前記送信品質情報を前記受信側アプリケーション端末へ通知する品質情報通知部をさらに備えることを特徴とするユーザ体感品質推定装置。
【請求項８】
請求項１に記載のユーザ体感品質推定装置において、
前記受信側アプリケーション端末のパケット受信部で得られた前記受信品質情報を前記送信側アプリケーション端末へ通知する品質情報通知部をさらに備えることを特徴とするユーザ体感品質推定装置。
【請求項９】
パケット網を介して接続された送信側および受信側アプリケーション端末間で、リアルタイム系のアプリケーションにより映像や音声などのメディアを符号化して得られた各フレームをメディア用パケットで送受信した際に、前記受信側アプリケーション端末で受信再生したメディアについてユーザが実感するユーザ体感品質を推定するユーザ体感品質推定装置で用いられるユーザ体感品質推定方法であって、
品質情報取得部により、前記送信側アプリケーション端末から送信されたメディア用パケットの送信状況を示す送信側品質情報と、前記受信側アプリケーション端末で受信した前記メディア用パケットの受信状況を示す受信品質情報とを取得する品質情報取得ステップと、
無効パケット判定部により、前記送信品質情報と前記受信品質情報とに基づいて前記メディア用パケットのうち正常に受信できなかったパケットを無効パケットとして判定する無効パケット判定ステップと、
品質解析部により、前記送信品質情報から前記メディア用パケットのフレーム種別ごとに検出した前記メディア用パケットのパケット送信状況に基づいて前記メディアのコンテンツクラスを解析し、前記コンテンツクラスに応じた判定基準に基づいて、前記フレームのうち前記無効パケットによる影響を受けた連続する無効フレームを判定し、これら連続無効フレームに対して所定の重みフレーム数で重み付けを行って選択した等価無効フレームの割合を等価無効フレーム率として算出する品質解析ステップと、
ユーザ体感品質推定部により、前記コンテンツクラスに応じた、等価無効フレーム率とユーザ体感品質値との関係を示す品質推定モデルから、前記品質解析部で算出された等価無効フレーム率に対応するユーザ体感品質値を導出し、前記アプリケーションのユーザ体感品質の推定値として出力するユーザ体感品質推定ステップと
を備えることを特徴とするユーザ体感品質推定方法。
【請求項１０】
パケット網を介して接続された送信側および受信側アプリケーション端末間で、リアルタイム系のアプリケーションにより映像や音声などのメディアを符号化して得られた各フレームをメディア用パケットで送受信した際に、前記受信側アプリケーション端末で受信再生したメディアについてユーザが実感するユーザ体感品質を推定するユーザ体感品質推定装置のコンピュータに、
品質情報取得部により、前記送信側アプリケーション端末から送信されたメディア用パケットの送信状況を示す送信側品質情報と、前記受信側アプリケーション端末で受信した前記メディア用パケットの受信状況を示す受信品質情報とを取得する品質情報取得ステップと、
無効パケット判定部により、前記送信品質情報と前記受信品質情報とに基づいて前記メディア用パケットのうち正常に受信できなかったパケットを無効パケットとして判定する無効パケット判定ステップと、
品質解析部により、前記送信品質情報から前記メディア用パケットのフレーム種別ごとに検出した前記メディア用パケットのパケット送信状況に基づいて前記メディアのコンテンツクラスを解析し、前記コンテンツクラスに応じた判定基準に基づいて、前記各フレームのうち前記無効パケットによる影響を受けた連続する無効フレームを判定し、これら連続無効フレームに対して所定の重みフレーム数で重み付けを行って選択した等価無効フレームの割合を等価無効フレーム率として算出する品質解析ステップと、
ユーザ体感品質推定部により、前記コンテンツクラスに応じた、等価無効フレーム率とユーザ体感品質値との関係を示す品質推定モデルから、前記品質解析部で算出された等価無効フレーム率に対応するユーザ体感品質値を導出し、前記アプリケーションのユーザ体感品質の推定値として出力するユーザ体感品質推定ステップと
を実行させるプログラム。
【請求項１】
パケット網を介して接続された送信側および受信側アプリケーション端末間で、リアルタイム系のアプリケーションにより映像や音声などのメディアを符号化して得られた各フレームをメディア用パケットで送受信した際に、前記受信側アプリケーション端末で受信再生したメディアについてユーザが実感するユーザ体感品質を推定するユーザ体感品質推定装置であって、
前記送信側アプリケーション端末から送信されたメディア用パケットの送信状況を示す送信側品質情報と、前記受信側アプリケーション端末で受信した前記メディア用パケットの受信状況を示す受信品質情報とを取得する品質情報取得部と、
前記送信品質情報と前記受信品質情報とに基づいて前記メディア用パケットのうち正常に受信できなかったパケットを無効パケットとして判定する無効パケット判定部と、
前記送信品質情報から前記メディア用パケットのフレーム種別ごとに検出した前記メディア用パケットのパケット送信状況に基づいて前記メディアのコンテンツクラスを解析し、前記コンテンツクラスに応じた判定基準に基づいて、前記各フレームのうち前記無効パケットによる影響を受けた連続する無効フレームを判定し、これら連続無効フレームに対して所定の重みフレーム数で重み付けを行って選択した等価無効フレームの割合を等価無効フレーム率として算出する品質解析部と、
前記コンテンツクラスに応じた、等価無効フレーム率とユーザ体感品質値との関係を示す品質推定モデルから、前記品質解析部で算出された等価無効フレーム率に対応するユーザ体感品質値を導出し、前記アプリケーションのユーザ体感品質の推定値として出力するユーザ体感品質推定部と
を備えることを特徴とするユーザ体感品質推定装置。
【請求項２】
請求項１に記載のユーザ体感品質推定装置において、
前記品質解析部は、
前記無効フレーム間に挟まれた正常フレームの数が所定の無効フレーム間隔数以下の場合に当該正常フレームを無効フレームと判断し、前記コンテンツクラスに応じた連続無効フレーム数以上連続する前記無効フレームのうち前記コンテンツクラスに応じた重みフレーム数を超える無効フレームの数を等価無効フレーム数として選択する等価無効フレーム選択手段と、
前記メディア用パケットで送信されたフレーム数に対する前記等価無効フレーム数の割合を前記等価無効フレーム率として算出する等価無効フレーム率算出手段と
を有することを特徴とするユーザ体感品質推定装置。
【請求項３】
請求項１に記載のユーザ体感品質推定装置において、
無効パケット判定部は、前記送信品質情報で送信が確認されたメディア用パケットのうち前記受信品質情報で受信が確認されていないパケット、前記受信品質情報で受信確認されたメディア用パケットのうち直前メディア用パケットとの到着間隔を示す遅延揺らぎ時間が前記アプリケーションの許容パケット遅延時間を超えているパケット、および前記受信品質情報で受信確認されたメディア用パケットのうち送信順序と受信順序とが矛盾するパケットを、それぞれ前記無効パケットと判定することを特徴とするユーザ体感品質推定装置。
【請求項４】
請求項１に記載のユーザ体感品質推定装置において、
前記品質解析部は、前記各フレームのうち前記無効パケットに対応する対象フレームを無効フレームと判定するとともに、前記メディアの符号化に用いたフレーム構成で規定されているフレーム種別の並びに従って当該フレームの復号に用いる他のフレームに無効フレームが含まれている場合には当該フレームを無効フレームと判定する無効フレーム判定手段を有することを特徴とするユーザ体感品質推定装置。
【請求項５】
請求項１に記載のユーザ体感品質推定装置において、
前記品質情報取得部は、前記受信側アプリケーション端末のパケット受信部で受信された前記送信側アプリケーション端末側からの品質情報を前記送信品質情報として取得するとともに、前記受信側アプリケーション端末のパケット受信部で受信されたメディア用パケットから得られた品質情報を前記受信品質情報として取得することを特徴とするユーザ体感品質推定装置。
【請求項６】
請求項１に記載のユーザ体感品質推定装置において、
前記品質情報取得部は、前記送信側アプリケーション端末のパケット受信部で受信された前記受信側アプリケーション端末側からの品質情報を前記受信品質情報として取得するとともに、前記送信側アプリケーション端末のパケット送信部で送信されたメディア用パケットから得られた品質情報を前記送信品質情報として取得することを特徴とするユーザ体感品質推定装置。
【請求項７】
請求項１に記載のユーザ体感品質推定装置において、
前記送信側アプリケーション端末のパケット送信部で得られた前記送信品質情報を前記受信側アプリケーション端末へ通知する品質情報通知部をさらに備えることを特徴とするユーザ体感品質推定装置。
【請求項８】
請求項１に記載のユーザ体感品質推定装置において、
前記受信側アプリケーション端末のパケット受信部で得られた前記受信品質情報を前記送信側アプリケーション端末へ通知する品質情報通知部をさらに備えることを特徴とするユーザ体感品質推定装置。
【請求項９】
パケット網を介して接続された送信側および受信側アプリケーション端末間で、リアルタイム系のアプリケーションにより映像や音声などのメディアを符号化して得られた各フレームをメディア用パケットで送受信した際に、前記受信側アプリケーション端末で受信再生したメディアについてユーザが実感するユーザ体感品質を推定するユーザ体感品質推定装置で用いられるユーザ体感品質推定方法であって、
品質情報取得部により、前記送信側アプリケーション端末から送信されたメディア用パケットの送信状況を示す送信側品質情報と、前記受信側アプリケーション端末で受信した前記メディア用パケットの受信状況を示す受信品質情報とを取得する品質情報取得ステップと、
無効パケット判定部により、前記送信品質情報と前記受信品質情報とに基づいて前記メディア用パケットのうち正常に受信できなかったパケットを無効パケットとして判定する無効パケット判定ステップと、
品質解析部により、前記送信品質情報から前記メディア用パケットのフレーム種別ごとに検出した前記メディア用パケットのパケット送信状況に基づいて前記メディアのコンテンツクラスを解析し、前記コンテンツクラスに応じた判定基準に基づいて、前記フレームのうち前記無効パケットによる影響を受けた連続する無効フレームを判定し、これら連続無効フレームに対して所定の重みフレーム数で重み付けを行って選択した等価無効フレームの割合を等価無効フレーム率として算出する品質解析ステップと、
ユーザ体感品質推定部により、前記コンテンツクラスに応じた、等価無効フレーム率とユーザ体感品質値との関係を示す品質推定モデルから、前記品質解析部で算出された等価無効フレーム率に対応するユーザ体感品質値を導出し、前記アプリケーションのユーザ体感品質の推定値として出力するユーザ体感品質推定ステップと
を備えることを特徴とするユーザ体感品質推定方法。
【請求項１０】
パケット網を介して接続された送信側および受信側アプリケーション端末間で、リアルタイム系のアプリケーションにより映像や音声などのメディアを符号化して得られた各フレームをメディア用パケットで送受信した際に、前記受信側アプリケーション端末で受信再生したメディアについてユーザが実感するユーザ体感品質を推定するユーザ体感品質推定装置のコンピュータに、
品質情報取得部により、前記送信側アプリケーション端末から送信されたメディア用パケットの送信状況を示す送信側品質情報と、前記受信側アプリケーション端末で受信した前記メディア用パケットの受信状況を示す受信品質情報とを取得する品質情報取得ステップと、
無効パケット判定部により、前記送信品質情報と前記受信品質情報とに基づいて前記メディア用パケットのうち正常に受信できなかったパケットを無効パケットとして判定する無効パケット判定ステップと、
品質解析部により、前記送信品質情報から前記メディア用パケットのフレーム種別ごとに検出した前記メディア用パケットのパケット送信状況に基づいて前記メディアのコンテンツクラスを解析し、前記コンテンツクラスに応じた判定基準に基づいて、前記各フレームのうち前記無効パケットによる影響を受けた連続する無効フレームを判定し、これら連続無効フレームに対して所定の重みフレーム数で重み付けを行って選択した等価無効フレームの割合を等価無効フレーム率として算出する品質解析ステップと、
ユーザ体感品質推定部により、前記コンテンツクラスに応じた、等価無効フレーム率とユーザ体感品質値との関係を示す品質推定モデルから、前記品質解析部で算出された等価無効フレーム率に対応するユーザ体感品質値を導出し、前記アプリケーションのユーザ体感品質の推定値として出力するユーザ体感品質推定ステップと
を実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２００７−３２９７７８（Ｐ２００７−３２９７７８Ａ）
【公開日】平成１９年１２月２０日（２００７．１２．２０）
【国際特許分類】
【出願番号】特願２００６−１６０３３３（Ｐ２００６−１６０３３３）
【出願日】平成１８年６月８日（２００６．６．８）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成１９年１２月２０日（２００７．１２．２０）
【国際特許分類】
【出願日】平成１８年６月８日（２００６．６．８）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]