ユーザ体感品質推定装置、方法、およびプログラム
【課題】メディア用パケットの遅延揺らぎに応じたフレーム再生間隔の変動による影響を考慮してユーザ体感品質値を高い精度で推定する。
【解決手段】品質解析部１２により、送信品質情報と受信品質情報とに基づいて各フレームに関する再生タイミングのずれを示す再生誤差時間と正常再生できなかった無効フレームに対応する再生期間を示す無効フレーム再生時間との合計を無効再生時間として算出し、任意の評価期間に対する無効再生時間の割合を無効再生時間率として算出し、ユーザ体感品質推定部１３により、無効再生時間率とユーザ体感品質値との関係を示す品質推定モデル１４から、品質解析部で算出された無効再生時間率に対応するユーザ体感品質値を導出し、アプリケーションのユーザ体感品質の推定値として出力する。
【解決手段】品質解析部１２により、送信品質情報と受信品質情報とに基づいて各フレームに関する再生タイミングのずれを示す再生誤差時間と正常再生できなかった無効フレームに対応する再生期間を示す無効フレーム再生時間との合計を無効再生時間として算出し、任意の評価期間に対する無効再生時間の割合を無効再生時間率として算出し、ユーザ体感品質推定部１３により、無効再生時間率とユーザ体感品質値との関係を示す品質推定モデル１４から、品質解析部で算出された無効再生時間率に対応するユーザ体感品質値を導出し、アプリケーションのユーザ体感品質の推定値として出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通信品質推定技術に関し、特にリアルタイム系アプリケーションのユーザ体感品質を推定する技術に関する。
【背景技術】
【０００２】
近年、パケット通信技術の飛躍的な発展に伴い、パケット網が音声や映像等のメディア（コンテンツ）を１対１あるいは多地点間で通信するリアルタイム系アプリケーションで利用されつつある。パケット網のインサービス品質管理では、このようなアプリケーションに対する品質管理も必要とされている。特にリアルタイム系アプリケーションでは、実際にアプリケーションを利用するユーザレベルでの主観的あるいは客観的な品質などのユーザ体感品質を用いた品質管理が重要視されており、ネットワーク品質からユーザ体感品質を推定する技術も提案されている（例えば、非特許文献１等参照）。
【０００３】
従来、発明者らは、リアルタイム系アプリケーションの主観品質を推定する技術を提案した（例えば、特許文献１等参照）。この技術では、試験用パケットのうち受信側端末へ到着しなかった損失パケットと、直前到着パケットとの到着間隔がリアルタイム系アプリケーションの揺らぎ吸収許容時間を越えた遅着パケットとを無効パケットと判定してこれら無効パケット数を計数し、送信側から送信されたすべての試験用パケット数に対する無効パケット数の割合を無効パケット率として算出し、予め生成しておいた無効パケット率と主観品質評価値との関係を示す品質推定モデルを参照して、無効パケット率に対応する主観品質評価値を推定している。
【０００４】
これに対して、従来、発明者らは、損失パケットから推定した映像品質劣化の度合いと映像品質劣化の継続時間長に基づいてリアルタイム系アプリケーションの主観品質を推定する技術を提案した（例えば、特許文献２等参照）。この技術では、ユーザ端末へ送る映像パケット毎にそのパケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則を埋め込む。ユーザ端末において、損失パケットの生成番号から１映像フレーム内の品質劣化の程度や割合などの度合いを推定し、損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則から映像品質劣化の継続時間長を推定し、推定した映像品質劣化の度合いと映像品質劣化の継続時間長に基づいてユーザ端末において復号される映像の主観品質を推定している。これにより、簡単な構成で推定精度の改善が得られた。
【０００５】
【特許文献１】特許第３５７９３３４号公報
【特許文献２】特開２００６−０３３７２２号公報
【非特許文献１】ITU-T Recommendation G.107,"The E-Model, a computational model for use in transmission planning", May 2000
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、このような従来技術では、映像通信に用いるメディア用パケットにより損失したメディアデータに基づいて主観品質を推定しているため、フレームの再生タイミングがずれるような現象が主観品質に与える影響については考慮されておらず、高い推定精度が求められる場合には十分ではないという問題点があった。
【０００７】
リアルタイム系アプリケーションでは、高能率符号化した映像信号や音声信号などのメディア信号をフレームに分解した後、さらにメディア用パケットに変換してやり取りしている。このため、受信側アプリケーション端末でメディア信号を復号する際、受信したメディア用パケットからフレームを組み立て、さらに前後のフレーム情報を使用してメディア信号を復号する。
【０００８】
この際、受信側端末で正常に受信できたメディア用パケットには、送信側端末と受信側端末とを結ぶ伝送路上での遅延揺らぎにより到着時刻が前後にずれてフレーム再生間隔に影響を与えるパケットも含まれる。したがって、このようなパケットに起因してフレームが時間的にずれて再生される現象が発生した場合、映像がぎくしゃくした動きとなり、ユーザが実感するユーザ体感品質の劣化を招くことになる。
【０００９】
本発明はこのような課題を解決するためのものであり、メディア用パケットの遅延揺らぎに応じたフレーム再生間隔の変動による影響を考慮して、リアルタイム系アプリケーションのユーザ体感品質値を高い精度で推定することができるユーザ体感品質推定装置、方法およびプログラムを提供することを目的としている。
【課題を解決するための手段】
【００１０】
このような目的を達成するために、本発明にかかるユーザ体感品質推定装置は、パケット網を介して接続された送信側および受信側アプリケーション端末間で、リアルタイム系のアプリケーションにより映像や音声などのメディアを符号化して得られた各フレームをメディア用パケットで送受信した際に、受信側アプリケーション端末で受信再生したメディアについてユーザが実感するユーザ体感品質を推定するユーザ体感品質推定装置であって、送信側アプリケーション端末から送信されたメディア用パケットの送信状況を示す送信側品質情報と、受信側アプリケーション端末で受信したメディア用パケットの受信状況を示す受信品質情報と、メディア用パケットに含まれている各種の時刻情報とを取得する品質情報取得部と、送信品質情報と受信品質情報とに基づいて各フレームに関する再生タイミングのずれを示す再生誤差時間と正常再生できなかった無効フレームに対応する再生期間を示す無効フレーム再生時間との合計を無効再生時間として算出し、任意の評価期間に対する無効再生時間の割合を無効再生時間率として算出する品質解析部と、無効再生時間率とユーザ体感品質値との関係を示す品質推定モデルから、品質解析部で算出された無効再生時間率に対応するユーザ体感品質値を導出し、アプリケーションのユーザ体感品質の推定値として出力するユーザ体感品質推定部とを備えている。
【００１１】
この際、品質解析部に、受信側アプリケーション端末におけるメディア全体のメディア再生開始時刻とメディア用パケットに含まれる当該フレームの再生時刻情報とから当該フレームの再生予定時刻を算出するとともに、メディア再生開始時刻とメディア用パケットの受信時刻とから当該フレームの実際の再生時刻を算出する時刻情報解析手段と、当該フレームの再生予定時刻と再生時刻との時刻差からなる再生誤差時間が許容値を上回った場合に当該再生誤差時間を無効再生時間に加算するとともに、当該フレームが無効フレームの場合は再生予定時刻から次のフレームの再生予定時刻との時刻差からなる無効フレーム再生時間を無効再生時間に加算する無効再生時間算出手段と、任意の評価期間に対する無効再生時間の割合を無効再生時間率として算出する無効再生時間率算出手段とを設けてもよい。
【００１２】
また、品質解析部に、送信品質情報と受信品質情報とに基づいてメディア用パケットのうち正常に受信できなかったパケットを無効パケットとして判定する無効パケット判定手段と、送信品質情報に基づいて無効パケットに対応するフレームを対象フレームとして識別するフレーム識別手段と、メディアの符号化に用いたフレーム構成と対象フレームとに基づいて、各フレームについて無効フレームか否かを判定する無効フレーム判定手段とを設けてもよい。
【００１３】
また、無効パケット判定手段で、送信品質情報で送信が確認されたメディア用パケットのうち受信品質情報で受信が確認されていないメディア用パケット、および受信品質情報の各メディア用パケットの到着間隔を示す遅延揺らぎ時間がアプリケーションの許容パケット遅延時間を超えるメディア用パケットを無効パケットと判定するようにしてもよい。
【００１４】
また、無効パケット判定手段で、受信品質情報で受信確認されたメディア用パケットの送信順序と受信順序とが矛盾するメディア用パケットを無効パケットと判定するようにしてもよい。
【００１５】
また、フレーム識別手段で、送信品質情報に含まれる無効パケットのヘッダ情報から、対象フレームのフレーム番号およびフレーム種別を取得し、無効フレーム判定手段で、各フレームのうち対象フレームを無効フレームと判定するとともに、フレーム構成で規定されているフレーム種別の並びに従って当該フレームの復号に用いる他のフレームに無効フレームが含まれている場合には当該フレームを無効フレームと判定するようにしてもよい。
【００１６】
また、品質情報取得部で、受信側アプリケーション端末のパケット受信部で受信された送信側アプリケーション端末側からの品質情報を送信品質情報として取得するとともに、受信側アプリケーション端末のパケット受信部で受信されたメディア用パケットから得られた品質情報を受信品質情報として取得するようにしてもよい。
【００１７】
また、品質情報取得部で、送信側アプリケーション端末のパケット受信部で受信された受信側アプリケーション端末側からの品質情報を受信品質情報として取得するとともに、送信側アプリケーション端末のパケット送信部で送信されたメディア用パケットから得られた品質情報を送信品質情報として取得するようにしてもよい。
【００１８】
また、送信側アプリケーション端末のパケット送信部で得られた送信品質情報を受信側アプリケーション端末へ通知する品質情報通知部をさらに備えてもよい。
【００１９】
受信側アプリケーション端末のパケット受信部で得られた受信品質情報を送信側アプリケーション端末へ通知する品質情報通知部をさらに備えてもよい。
【００２０】
また、本発明にかかるユーザ体感品質推定方法は、パケット網を介して接続された送信側および受信側アプリケーション端末間で、リアルタイム系のアプリケーションにより映像や音声などのメディアを符号化して得られた各フレームをメディア用パケットで送受信した際に、受信側アプリケーション端末で受信再生したメディアについてユーザが実感するユーザ体感品質を推定するユーザ体感品質推定装置で用いられるユーザ体感品質推定方法であって、品質情報取得部により、送信側アプリケーション端末から送信されたメディア用パケットの送信状況を示す送信側品質情報と、受信側アプリケーション端末で受信したメディア用パケットの受信状況を示す受信品質情報とを取得する品質情報取得ステップと、品質解析部により、送信品質情報と受信品質情報とに基づいて各フレームに関する再生タイミングのずれを示す再生誤差時間と正常再生できなかった無効フレームに対応する再生期間を示す無効フレーム再生時間との合計を無効再生時間として算出し、任意の評価期間に対する無効再生時間の割合を無効再生時間率として算出する品質解析ステップと、ユーザ体感品質推定部により、無効再生時間率とユーザ体感品質値との関係を示す品質推定モデルから、品質解析部で算出された無効再生時間率に対応するユーザ体感品質値を導出し、アプリケーションのユーザ体感品質の推定値として出力するユーザ体感品質推定ステップとを備えている。
【００２１】
また、本発明にかかるプログラムは、パケット網を介して接続された送信側および受信側アプリケーション端末間で、リアルタイム系のアプリケーションにより映像や音声などのメディアを符号化して得られた各フレームをメディア用パケットで送受信した際に、受信側アプリケーション端末で受信再生したメディアについてユーザが実感するユーザ体感品質を推定するユーザ体感品質推定装置のコンピュータに、品質情報取得部により、送信側アプリケーション端末から送信されたメディア用パケットの送信状況を示す送信側品質情報と、受信側アプリケーション端末で受信したメディア用パケットの受信状況を示す受信品質情報とを取得する品質情報取得ステップと、品質解析部により、送信品質情報と受信品質情報とに基づいて各フレームに関する再生タイミングのずれを示す再生誤差時間と正常再生できなかった無効フレームに対応する再生期間を示す無効フレーム再生時間との合計を無効再生時間として算出し、任意の評価期間に対する無効再生時間の割合を無効再生時間率として算出する品質解析ステップと、ユーザ体感品質推定部により、無効再生時間率とユーザ体感品質値との関係を示す品質推定モデルから、品質解析部で算出された無効再生時間率に対応するユーザ体感品質値を導出し、アプリケーションのユーザ体感品質の推定値として出力するユーザ体感品質推定ステップとを実行させるプログラムである。
【発明の効果】
【００２２】
本発明によれば、品質解析部により、送信品質情報と受信品質情報とに基づいて各フレームに関する再生タイミングのずれを示す再生誤差時間と正常再生できなかった無効フレームに対応する再生期間を示す無効フレーム再生時間との合計が無効再生時間として算出されて、任意の評価期間に対する無効再生時間の割合が無効再生時間率として算出され、ユーザ体感品質推定部により、無効再生時間率とユーザ体感品質値との関係を示す品質推定モデルから、品質解析部で算出された無効再生時間率に対応するユーザ体感品質値が導出され、アプリケーションのユーザ体感品質の推定値として出力される。
【００２３】
したがって、メディア用パケットの遅延揺らぎに応じてフレームの再生タイミングがずれてフレーム再生間隔が変動するような場合でも、このような現象によるユーザ体感品質への影響を考慮して、リアルタイム系アプリケーションのユーザ体感品質を推定することができる。
これにより、映像通信に用いるメディア用パケットにより損失したメディアデータに基づいてユーザ体感品質を推定する場合と比較して、高い精度でユーザ体感品質を推定することができる。
【発明を実施するための最良の形態】
【００２４】
次に、本発明の実施の形態について図面を参照して説明する。
［第１の実施の形態］
まず、図１を参照して、本発明の第１の実施の形態にかかるユーザ体感品質推定装置について説明する。図１は、本発明の第１の実施の形態にかかるユーザ体感品質推定装置の構成を示すブロック図である。
【００２５】
ユーザ体感品質推定装置１は、通信機能を有する情報処理装置からなり、アプリケーション端末２さらにはパケット網５と接続されて、アプリケーション端末２で実行されるリアルタイム系アプリケーションのユーザ体感品質を推定する。
このユーザ体感品質推定装置１には、主な機能部として、品質情報取得部１１、品質解析部１２、ユーザ体感品質推定部１３、推定結果通知部１６、および品質情報通知部１７が設けられている。
【００２６】
本実施の形態は、品質情報取得部１１により、送信側アプリケーション端末から送信されたメディアデータの通信に用いるメディア用パケットの送信状況を示す送信側品質情報と、受信側アプリケーション端末で受信したメディア用パケットの受信状況を示す受信品質情報とを取得し、品質解析部１２により、送信品質情報と受信品質情報とに基づいて各フレームに関する再生タイミングのずれを示す再生誤差時間と正常再生できなかった無効フレームに対応する再生期間を示す無効フレーム再生時間との合計を無効再生時間として算出し、任意の評価期間に対する無効再生時間の割合を無効再生時間率として算出し、ユーザ体感品質推定部１３により、無効再生時間率とユーザ体感品質値との関係を示す品質推定モデル１４から、品質解析部で算出された無効再生時間率に対応するユーザ体感品質値を導出し、アプリケーションのユーザ体感品質の推定値として出力するようにしたものである。
【００２７】
ユーザ体感品質推定装置１の各機能部は、専用の回路部や演算処理部、さらには記憶部から構成されている。特に、演算処理部（コンピュータ）は、ＣＰＵなどのマイクロプロセッサとその周辺回路を有し、周辺回路内のメモリや記憶部に格納されているプログラムを読み込んで実行することにより、上記ハードウェアとプログラムとを協働させて各機能部を実現する。記憶部は、メモリやハードディスクなどの記憶装置からなり、各機能部での処理に用いる各種処理情報を記憶する。
【００２８】
品質情報取得部１１は、送信側アプリケーション端末から送信された、メディア（コンテンツのデータを含むメディア用パケットの送信状況を示す送信側品質情報をアプリケーション端末２のパケット受信部２１から取得する機能と、受信側アプリケーション端末で受信したメディア用パケットの受信状況を示す受信品質情報をアプリケーション端末２のパケット受信部２１から取得する機能とを有している。
【００２９】
品質解析部１２は、送信品質情報および受信品質情報に基づいて各フレームのうち正常再生できなかったフレームによる品質劣化が発生した期間を無効再生時間として算出し、任意の評価期間に対する無効再生時間の割合を無効再生時間率として算出する機能を有している。
品質解析部１２を構成する主な機能手段としては、無効パケット判定手段１２Ａ、対象フレーム識別手段１２Ｂ、無効フレーム判定手段１２Ｃ、時刻情報解析手段１２Ｄ、無効再生時間算出手段１２Ｅ、および無効再生時間率算出手段１２Ｆがある。
【００３０】
無効パケット判定手段１２Ａは、送信品質情報と受信品質情報とに基づいてメディア用パケットのうち損失したパケットを無効パケットとして判定する機能を有している。
対象フレーム識別手段１２Ｂは、送信品質情報に基づいて無効パケットに対応するフレームを対象フレームとして識別する機能を有している。
無効フレーム判定手段１２Ｃは、メディアの符号化に用いたフレーム構成と対象フレームとに基づいて、各フレームについて無効フレームか否かを判定する機能を有している。
【００３１】
時刻情報解析手段１２Ｄは、受信側アプリケーション端末２において任意の評価期間におけるメディア全体のメディア再生開始時刻とその評価期間に受信したメディア用パケットに含まれる当該フレームの再生時刻情報とから当該フレームの再生予定時刻を算出する機能と、当該フレームのメディア再生開始時刻と当該メディア用パケットの受信時刻とから当該フレームの実際の再生時刻を算出する機能とを有している。
【００３２】
無効再生時間算出手段１２Ｅは、当該フレームの再生予定時刻と再生時刻との時刻差からなる再生誤差時間が許容値を上回った場合に当該再生誤差時間を無効再生時間に加算する機能と、当該フレームが無効フレームの場合は再生予定時刻から次のフレームの再生予定時刻との時刻差からなる無効フレーム再生時間を無効再生時間に加算する機能とを有している。
無効再生時間率算出手段１２Ｆは、任意の評価期間に対する無効再生時間の割合を無効再生時間率として算出する機能を有している。
【００３３】
ユーザ体感品質推定部１３は、無効フレーム率とユーザ体感品質値との関係を示す品質推定モデル１４から、品質解析部１２で算出された無効フレーム率に対応するユーザ体感品質値を導出し、アプリケーションの品質推定値１５として出力する機能を有している。
【００３４】
推定結果通知部１６は、パケット網５を介して対向アプリケーション端末に接続されているユーザ体感品質推定装置（図示せず）や品質管理サーバ（図示せず）に対し、制御パケットを用いて、当該装置で得られた品質推定値１５さらにはこのユーザ体感品質値の算出に用いた送受信品質情報などの品質要因情報を含む推定結果情報を、定期的あるいは必要に応じて通知する機能を有している。
品質情報通知部１７は、アプリケーション端末２のパケット送信部２２で得られた送信品質情報を送信側アプリケーション端末へ通知する機能を有している。
【００３５】
［第１の実施の形態の動作］
次に、図２〜図６を参照して、本発明の第１の実施の形態にかかるユーザ体感品質推定装置の動作について説明する。図２は、本発明の第１の実施の形態にかかるユーザ体感品質推定装置の無効再生時間算出処理を示すフローチャートである。図３は、再生予定時刻の算出動作を示す説明図である。図４は、再生時刻の算出動作を示す説明図である。図５は、無効再生時間の算出動作を示す説明図である。図６は、本発明の第１の実施の形態にかかるユーザ体感品質推定装置のユーザ体感品質推定処理を示すフローチャートである。
【００３６】
ここでは、アプリケーション端末２が受信側であり、送信側となる対向アプリケーション端末（図示せず）から送信されパケット網５を介して受信した映像メディアのメディア用パケットに関するユーザ体感品質値を推定する場合を例として説明する。この際、対向アプリケーション端末に接続されているユーザ体感品質推定装置（図示せず）から、対向アプリケーション端末のパケット送信部で得られた送信品質情報がアプリケーション端末２へ制御用パケットにより通知される場合を例として説明する。
【００３７】
ユーザ体感品質推定装置１の品質情報取得部１１で取得した送信品質情報に含まれている主な品質情報としては、各送信メディア用パケットに関する、送信順序を示すシーケンス番号、映像フレーム種別、映像フレーム番号、送信パケット数、送信フレーム数、および時刻がある。また受信品質情報に含まれている主な品質情報としては、各受信メディア用パケットに関する、送信順序を示すシーケンス番号、直前メディア用パケットとの到着時刻差を示す遅延揺らぎ時間、および各種の時刻情報がある。
【００３８】
受信メディア用パケットに関する時刻情報としては、映像メディアを符号化する際にフレームレートなどの品質情報に基づき設定された、対応するフレームの正常な再生開始タイミングを示す再生時刻情報、さらには当該フレームの正常な復号開始タイミングを示す復号時刻情報のほか、送受信アプリケーション端末間で計時している時刻を相互に同期させるための時刻合わせ情報などがある。これら時刻情報は、各メディア用パケットのペイロード部に格納されて送信され、品質情報取得部１１で取得される。
【００３９】
［無効再生時間算出処理］
まず、図２〜図５を参照して、本発明の第１の実施の形態にかかるユーザ体感品質推定装置１での無効再生時間算出処理について説明する。ここでは、品質情報取得部１１により、アプリケーション端末２から送信側品質情報および受信側品質情報がすでに取得されているものとする。また、送受信アプリケーション端末間で計時している両時刻に誤差がある場合、送信側アプリケーション端末から送信された時刻合わせ情報に基づき受信側アプリケーション端末の時刻が送信側の時刻に同期させているものとする。なお、時刻合わせ情報に基づいて無効再生時間算出時にいずれか一方の端末での時刻情報を補正するようにしてもよい。
【００４０】
ユーザ体感品質推定装置１の品質解析部１２は、所望のユーザ体感品質を推定するための任意の評価期間に受信側アプリケーション端末２で受信されたメディア用パケットのうち、各フレームの先頭に位置するメディア用パケットごとに、図２の無効再生時間算出処理を実行する。なお、各フレームに対する無効フレーム判定については、品質解析部１２の無効フレーム判定手段１２Ｃにより、すでに判定済みであるものとする。また、フレーム構成は、ＭＰＥＧ(Moving Picture Exparts Group)のＧＯＰ(Group of Picture)構成を用いているものとする。
【００４１】
まず、時刻情報解析手段１２Ｄは、送信側品質情報および受信側品質情報に基づき選択したメディア用パケットが評価期間に最初に受信した先頭のメディア用パケットの場合（ステップ１００：ＹＥＳ）、当該パケットの受信時刻ＲＴ0に遅れ時間αを加算することにより、評価期間に対応する映像メディア全体の再生開始タイミングを示すメディア再生開始時刻Ｔ0＝ＲＴ0＋αを算出する（ステップ１０１）。
【００４２】
遅れ時間αは、メディア用パケットの受信から実際にフレームが復号されて再生がされるまでの時間であり、アプリケーションや端末などの処理性能に基づき予め設定される。なお、遅れ時間αとして、評価期間において最初に再生されるフレームの先頭メディア用パケットの再生時刻情報を用いてもよい。図３の例では、遅れ時間αとして、評価期間において最初に再生されるＢ（１）フレームの先頭メディア用パケットの再生時刻情報ｔ1＝00.002(sec)が用いられ、最初に受信したＩ（０）フレームのメディア用パケットの受信時刻ＲＴ0＝59.998(sec)であることから、メディア再生開始時刻Ｔ0＝ＲＴ0＋ｔ1＝00.000(sec)が求められている。
【００４３】
次に、時刻情報解析手段１２Ｄは、再生開示時刻Ｔ0に当該メディア用パケットの再生時刻情報ｔnを加算することにより、当該パケットに対応するフレームの再生予定時刻ＰＴn＝Ｔ0＋ｔnを算出する（ステップ１０２）。図３の例では、Ｉ（０）フレームの先頭パケットの再生時刻情報がｔ0＝00.068(sec)であり、これがメディア再生開始時刻Ｔ0＝00.000(sec)に加算されて、Ｉ（０）フレームの再生予定時刻ＰＴ0＝00.068(sec)が求められている。
【００４４】
次に、時刻情報解析手段１２Ｄは、当該メディア用パケットに復号時刻情報が格納されていたか否か判断する（ステップ１０３）。この復号時刻情報は、通常、特定の種別のフレームにのみ格納されている。
ここで、当該メディア用パケットに復号時刻情報が格納されていない場合（ステップ１０３：ＮＯ）、メディア再生開始時刻Ｔ0に、当該メディア用パケットの受信時刻情報ＲＴnを加算することにより、当該フレームが実際に再生される再生時刻ｅＰＴn＝Ｔ0＋ＲＴnを算出する（ステップ１０４）。図４の例では、Ｂ（１）フレームの先頭パケットのパケット受信時刻がＲＴ1＝00.000(sec)であり、これがメディア再生開始時刻Ｔ0＝00.000(sec)に加算されて、Ｂ（１）フレームの再生時刻ｅＰＴ1＝00.000(sec)が求められている。
【００４５】
一方、当該メディア用パケットに復号時刻情報が格納されている場合（ステップ１０３：ＹＥＳ）、メディア再生開始時刻Ｔ0に、当該メディア用パケットの受信時刻情報ＲＴnを加算するとともに、再生時刻情報ｔnと復号時刻情報ｄｔnの時刻差を加算することにより、当該フレームが実際に再生される再生時刻（推定）ｅＰＴn＝Ｔ0＋ＲＴn＋ｔn−ｄｔnを算出する（ステップ１０５）。図４の例では、Ｉ（０）フレームの先頭パケットのパケット受信時刻がＲＴ0＝59.998(sec)であり、同じく再生時刻情報ｔ0＝00.068(sec)、また復号時刻情報ｄｔ0＝00.000(sec)であることから、Ｉ（０）フレームの再生時刻ｅＰＴ0＝00.066(sec)が求められている。
【００４６】
このようにして、時刻情報解析手段１２Ｄにより、当該メディア用パケットから当該フレームについて再生予定時刻ＰＴnと再生時刻ｅＰＴnを算出した後、無効再生時間算出手段１２Ｅにより、再生予定時刻ＰＴnと再生時刻ｅＰＴnの時刻差から当該フレームの再生誤差時間ΔＰＴn＝ｅＰＴn−ＰＴnを算出する（ステップ１０６）。
ここで、再生誤差時間ΔＰＴnが許容値εを上回る場合（ステップ１０７：ＹＥＳ）、無効再生時間算出手段１２Ｅは、その再生誤差時間ΔＰＴnを無効再生時間ＴSUMに加算し（ステップ１０８）、再生誤差時間ΔＰＴnが許容値ε以内であれば（ステップ１０７：ＮＯ）、無効再生時間ＴSUMに加算しない。
【００４７】
図５の例では、Ｂ（１）フレームの再生予定時刻がＰＴ1＝00.002(sec)であり、再生時刻ｅＰＴ1＝00.000(sec)であることから、その再生誤差時間ΔＰＴ2＝-0.020は許容値ε＝0.005(sec)以内となり、再生誤差時間ΔＰＴ2は無効再生時間ＴSUMに加算されない。また、Ｂ（２）フレームの再生予定時刻がＰＴ2＝00.035(sec)であり、再生時刻ｅＰＴ2＝00.055(sec)であることから、その再生誤差時間ΔＰＴ2＝0.020が許容値ε＝0.005(sec)を上回っているため、再生誤差時間ΔＰＴ2は無効再生時間ＴSUMに加算される。
【００４８】
次に、無効再生時間算出手段１２Ｅは、当該メディア用パケットに対応するフレームが無効フレームと判定されているか確認し（ステップ１０９）、無効フレームと判定されている場合は（ステップ１０９：ＹＥＳ）、当該フレームと次のフレームの再生予定時間ＰＴnの時刻差から、当該無効フレームが再生されるべき期間を示す無効フレーム再生時間ＦＴnを算出する（ステップ１１０）。
図５の例では、Ｂ（４）フレームが無効フレームと判定されており、このＢ（４）フレームの再生予定時刻ＰＴ4＝00.101(sec)と次のＢ（５）フレームの再生予定時刻ＰＴ５＝00.134(sec)の時刻差からＢ（４）フレームの無効フレーム再生時間ＦＴ4＝0.033(sec)が求められる。
【００４９】
無効再生時間算出手段１２Ｅは、当該フレームの無効フレーム再生時間ＦＴnを算出した後、その無効フレーム再生時間ＦＴnを無効再生時間ＴSUMに加算する（ステップ１１１）。
このようにして、ユーザ体感品質推定装置１の品質解析部１２は、選択した所望のユーザ体感品質を推定するための任意の評価期間に受信側アプリケーション端末２で受信されたメディア用パケットのうち、各フレームの先頭に位置する先頭メディア用パケットごとに、図２の無効再生時間算出処理を実行し、評価期間におけるすべての先頭メディア用パケットについて無効再生時間算出処理を終了する。
【００５０】
［ユーザ体感品質推定処理］
次に、図６を参照して、本発明の第１の実施の形態にかかるユーザ体感品質推定装置でのユーザ体感品質推定処理について説明する。
ここでは、アプリケーション端末２が受信側であり、送信側となる対向アプリケーション端末（図示せず）から送信されパケット網５を介して受信した映像メディアのメディア用パケットに関するユーザ体感品質値を推定する場合を例として説明する。この際、対向アプリケーション端末に接続されているユーザ体感品質推定装置（図示せず）から、対向アプリケーション端末のパケット送信部で得られた送信品質情報がアプリケーション端末２へ制御用パケットにより通知される場合を例として説明する。
【００５１】
ユーザ体感品質推定装置１の品質情報取得部１１は、対向アプリケーション端末側からＲＴＣＰ ＸＲ(RTP Control Protocol)などの制御用パケットで送信された送信品質情報が、アプリケーション端末２のパケット受信部２１で受信されたものを取得する（ステップ１２０）。
また、アプリケーション端末２のパケット受信部２１で対向アプリケーション端末からのメディア用パケットから得られた受信品質情報を取得する（ステップ１２１）。
【００５２】
次に、品質解析部１２は、無効パケット判定手段１２Ａにより、送信品質情報で送信が確認されている各メディア用パケットについて、無効パケットの判定を行う（ステップ１２２）。無効パケットとは、送信側のリアルタイム系アプリケーションから送信されたメディア用パケットのうち、受信側のリアルタイム系アプリケーションで正常に受信できず、メディアとして再生できないパケットのことである。具体的には、送信側アプリケーション端末と受信側アプリケーション端末とをパケット網５を介して結ぶ伝送路上で損失したパケット、受信側アプリケーションの持つ揺らぎ吸収バッファで到着間隔が調整できなかった遅着パケット、さらにはメディア用パケットの到着順序が規定されているリアルタイム系アプリケーションでメディア用パケットの到着順序が逆転したパケットなどが対象となる。
【００５３】
次に、品質解析部１２は、対象フレーム識別手段１２Ｂにより、送信品質情報を参照して、無効パケット判定手段１２Ａで無効パケットと判定されたメディア用パケットのフレーム種別とフレーム番号を取得し、無効パケットを含む対象フレームを識別する（ステップ１２３）。
【００５４】
続いて、品質解析部１２は、無効フレーム判定手段１２Ｃにより、送信品質情報および受信品質情報を参照して、対象フレーム識別手段１２Ｂで識別された対象フレームのフレーム種別およびフレーム番号と評価対象となるリアルタイム系アプリケーションでメディアの符号化に用いたフレーム構成とに基づき、各フレームのうちメディア用パケットの損失すなわち無効パケットによる影響を受けた復号できない無効フレームを判定する（ステップ１２４）。
【００５５】
例えば、映像メディアでは、基準フレームとの差分データで後続フレームを転送するＭＰＥＧ(Moving Picture Exparts Group)などの圧縮符号化方式があり、このようなフレーム構成がＧＯＰ(Group of Picture)構成情報で予め規定されている。このような圧縮符号化方式を用いる場合、差分データが正常に受信されていても基準フレームが無効フレームとなれば後続フレームも復号できず、結果として後続フレームも無効フレームとなる。
【００５６】
次に、品質解析部１２は、時刻情報解析手段１２Ｄおよび無効再生時間算出手段１２Ｅを用いて、任意の評価期間に受信側アプリケーション端末２で受信されたメディア用パケットのうち、各フレームの先頭に位置するメディア用パケットごとに、図２の無効再生時間算出処理を実行することにより、評価期間における無効再生時間ＴSUMを算出する（ステップ１２５）。
この後、品質解析部１２は、図２の無効再生時間算出処理により得られた無効再生時間ＴSUMを評価期間長ＴALLで除算することにより、評価期間における無効再生時間ＴSUMの割合を示す無効再生時間率ＲＴ＝ＴSUM／ＴALLを算出する（ステップ１２６）。
【００５７】
次に、ユーザ体感品質推定部１３は、予め用意して記憶部（図示せず）に格納しておいた無効再生時間率とユーザ体感品質値との関係を示す品質推定モデル１４から、品質解析部１２で算出された無効再生時間率に対応するユーザ体感品質値を導出し、リアルタイム系アプリケーションのユーザ体感品質の品質推定値１５として記憶部へ出力する（ステップ１２７）。
【００５８】
品質推定モデルの作成は、中間パラメータと実際にオピニオン評価を行って得られた主観評価値であるＭＯＳ値(Mean Opinion Score 平均オピニオン評点)からなるユーザ体感品質との関係を回帰曲線またはテーブルによって表すことでモデル化しておく。
図７は、無効再生時間率とＭＯＳ値との関係を示す品質推定モデルである。
実際にユーザ体感品質推定部１３で用いる品質推定モデル１４としては、図７の回帰曲線を用いてもよく、これをテーブル化した推定モデルを用いてもよい。
【００５９】
具体的には、図７において、例えば入力パラメータの入力最小単位である最小刻（具体的には、無効再生時間率の入力最小単位）を０．０１とした場合、０．０１刻で、出力された値を平均することで表を作成する。つまり、最小刻の範囲内に入っているＭＯＳ値を平均することで、０から最小刻ごとに無効再生時間率とＭＯＳの関係をテーブルを作成する。ただし、評価サンプル数が少ない場合、最小刻の中でデータがないものが存在する。その際には、前後にデータが存在するものを利用して補完を行う。この補完は、線形であっても、回帰を用いても構わない。このような現象が極力少なくなるように、モデル作成時には、多数のデータサンプルを取得することが望ましい。
【００６０】
この後、推定結果通知部１６は、ユーザ体感品質推定部１３で推定された品質推定値１５を記憶部から読み込んで、ＲＴＣＰ ＸＲなどの制御用パケットに格納し、パケット網５を介して対向アプリケーション端末に接続されているユーザ体感品質推定装置（図示せず）や品質管理サーバ（図示せず）に対して送信し（ステップ１２８）、一連のユーザ体感品質推定処理を終了する。
この際、一定間隔ごとに品質推定値１５の平均値やばらつきを示す分散などを求める統計処理した結果を推定結果通知部１６で通知してもよい。
【００６１】
このように、本実施の形態では、品質情報取得部１１により、送信側アプリケーション端末から送信されたメディア用パケットの送信状況を示す送信側品質情報と、受信側アプリケーション端末で受信したメディア用パケットの受信状況を示す受信品質情報とを取得し、品質解析部１２により、送信品質情報と受信品質情報とに基づいて各フレームに関する再生タイミングのずれを示す再生誤差時間と正常再生できなかった無効フレームに対応する再生期間を示す無効フレーム再生時間との合計を無効再生時間として算出し、任意の評価期間に対する無効再生時間の割合を無効再生時間率として算出し、ユーザ体感品質推定部１３により、無効再生時間率とユーザ体感品質値との関係を示す品質推定モデル１４から、品質解析部１２で算出された無効再生時間率に対応するユーザ体感品質値を導出し、アプリケーションのユーザ体感品質の推定値１５として出力している。
【００６２】
したがって、メディア用パケットの遅延揺らぎに応じてフレームの再生タイミングがずれてフレーム再生間隔が変動するような場合でも、このような現象によるユーザ体感品質への影響を考慮して、リアルタイム系アプリケーションのユーザ体感品質を推定することができる。
これにより、映像通信に用いるメディア用パケットにより損失したメディアデータに基づいてユーザ体感品質を推定する場合と比較して、高い精度でユーザ体感品質を推定することができる。
【００６３】
［第２の実施の形態］
次に、図８を参照して、本発明の第２の実施の形態にかかるユーザ体感品質推定装置について説明する。図８は、本発明の第２の実施の形態にかかるユーザ体感品質推定装置の無効パケット判定処理を示すフローチャートである。
【００６４】
本実施の形態では、前述した第１の実施の形態の無効パケット判定手段１２Ａにおける無効パケット判定処理の具体例について説明する。
無効パケット判定手段１２Ａは、まず、送信品質情報から未判定の送信メディア用パケットを任意に選択し（ステップ１４０）、そのシーケンス番号と同じメディア用パケットが受信されているか受信品質情報で確認する（ステップ１４１）。ここで、シーケンス番号と同じメディア用パケットが受信されていない場合には（ステップ１４１：ＮＯ）、当該メディア用パケットが途中の伝送路で損失した損失パケットであると判断できることから、無効パケットであると判定する（ステップ１４５）。
【００６５】
一方、シーケンス番号と同じメディア用パケットが受信されている場合には（ステップ１４１：ＹＥＳ）、当該送信メディア用パケットの遅延揺らぎ時間を受信品質情報で確認し、リアルタイム系アプリケーションが持つ許容遅延時間と比較する（ステップ１４２）。ここで、遅延揺らぎ時間が許容遅延時間を上回っている場合には（ステップ１４２：ＮＯ）、当該メディア用パケットが途中の伝送路や端末内で遅延して到着した遅着パケットであると判断できることから、無効パケットであると判定する（ステップ１４５）。
【００６６】
一方、遅延揺らぎ時間が許容遅延時間以下である場合には（ステップ１４２：ＹＥＳ）、当該リアルタイム系アプリケーションが到着順序逆転パケットを損失と見なす場合にのみ（ステップ１４３：ＹＥＳ）、かつ当該メディア用パケットの到着順とシーケンス番号とが一致するか受信品質情報により確認する。ここで、この一致が確認できず到着順序が逆転しているパケットである場合には（ステップ１４４：ＹＥＳ）、無効パケットであると判定する（ステップ１４５）。
【００６７】
なお、到着順序が逆転していない場合（ステップ１４４：ＮＯ）や、当該リアルタイム系アプリケーションが到着順序逆転パケットを損失と見なさない場合（ステップ１４３：ＮＯ）、当該パケットは無効パケットではないと判定する（ステップ１４６）。
このようにして、選択した送信メディア用パケットに対して無効パケット判定を行った後、無効パケット未判定の送信パケットが残っている場合には（ステップ１４７：ＹＥＳ）、前述したステップ１４０へ戻って残りの受信メディア用パケットに対する無効パケット判定を繰り返し行う。一方、すべての送信メディア用パケットに対して無効パケット判定が終了した場合（ステップ１４７：ＮＯ）、一連の無効パケット判定処理を終了する。
【００６８】
このように、本実施の形態では、無効パケット判定手段１２Ａにより、送信品質情報で送信が確認されたメディア用パケットのうち受信品質情報で受信が確認されていないメディア用パケット、および受信品質情報の各メディア用パケットの到着時刻から得た直前メディア用パケットとの到着時刻差がアプリケーションの許容パケット遅延時間を超えるメディア用パケットを無効パケットと判定するようにしたので、途中の伝送路だけではなく遅着により損失したパケットについても無効パケットと判定することができ、受信側のリアルタイム系アプリケーションでメディアとして再生できないパケットを正確に判定できる。
【００６９】
また、無効パケット判定手段１２Ａにより、受信品質情報で受信確認されたメディア用パケットの送信順序と受信順序とが矛盾するメディア用パケットを無効パケットと判定するようにしたので、当該リアルタイム系アプリケーションが到着順序逆転パケットを損失と見なす場合、受信側のリアルタイム系アプリケーションでメディアとして再生できないパケットをさらに正確に判定できる。
【００７０】
［第３の実施の形態］
次に、図９を参照して、本発明の第３の実施の形態にかかるユーザ体感品質推定装置について説明する。図９は、本発明の第３の実施の形態にかかるユーザ体感品質推定装置の無効フレーム判定処理を示すフローチャートである。
【００７１】
本実施の形態では、前述した第１の実施の形態の無効フレーム判定手段１２Ｃにおける無効フレーム判定処理の具体例について説明する。
無効フレーム判定手段１２Ｃは、まず、送信品質情報で送信確認されている各フレームのうち、対象フレーム識別手段１２Ｂにより無効パケットを含むために対象フレームと識別されたフレームを無効フレームと判定する（ステップ１５０）。
【００７２】
次に、受信品質情報を参照して、受信側に到着した順序にしたがって無効フレーム未判定のフレームを選択し（ステップ１５１）、当該リアルタイム系アプリケーションでメディアの符号化に用いたフレーム構成を示すフレーム構成情報と受信品質情報とを参照することにより、当該フレームの復号に用いる他のフレームに、無効フレームが含まれているか確認する（ステップ１５２）。フレーム構成情報は、予め記憶部に設定しておいてもよく送受信品質情報で取得してもよい。
【００７３】
ここで、無効フレームが含まれている場合（ステップ１５２：ＹＥＳ）、当該フレームを正常に復号できないことから、当該フレームを無効フレームと判定する（ステップ１５３）。一方、無効フレームが含まれていない場合（ステップ１５２：ＮＯ）、当該フレームを正常に復号できることから、当該フレームを無効フレームではないと判定する（ステップ１５４）。
【００７４】
図１０は、無効フレームの判定処理例である。ここでは、例えば、ＭＰＥＧ符号化方式に基づいて、映像メディアが「ＩＢＢ」のＧＯＰ構成で圧縮符号化されフレームに分割されている。フレーム種別Ｉフレームは基準となるフレームで、Ｉフレームだけで元のフレームを復号できる。フレーム種別ＢフレームはＩフレームとの差分データからなり、その復号にはＩフレームが必要となる。
【００７５】
図１０に示すように、フレーム「１〜９」が「ＩＢＢ」のＧＯＰ構成にしたがってメディア用パケットに分割されて送信され、受信側で受信した際、このうちフレーム「２，４，７，８」に無効パケットが含まれていたとする。
この場合には、まず、無効パケットを含む対象フレームが無効フレームと判定され、さらに、これら無効フレームを復号時に用いるフレームについても無効フレームと判定される。
【００７６】
具体的には、フレーム「５，６」の復号にフレーム「４」を用いるがフレーム「４」が無効フレームであるため、これらフレーム「５，６」も無効フレームと判定される。同様に、フレーム「９」の復号にフレーム「７」を用いるがフレーム「７」が無効フレームであるため、フレーム「９」も無効フレームと判定される。なお、フレーム「３」の復号にフレーム「１」を用いるがフレーム「１」が無効フレームではないため、フレーム「３」は無効フレームではないと判定される。
【００７７】
このようにして、選択したフレームに対して無効フレーム判定を行った後、無効フレーム未判定のフレームが残っている場合には（ステップ１５５：ＹＥＳ）、前述したステップ１５１へ戻って残りのフレームに対する無効フレーム判定を繰り返し行う。一方、すべての送信メディア用パケットに対して無効パケット判定が終了した場合（ステップ１５５：ＮＯ）、一連の無効フレーム判定処理を終了する。
【００７８】
このように、本実施の形態では、無効フレーム判定手段１２Ｃにより、各フレームのうち対象フレームを無効フレームと判定するとともに、フレーム構成で規定されているフレーム種別の並びに従って当該フレームの復号に用いる他のフレームに無効フレームが含まれている場合には当該フレームを無効フレームと判定するようにしたので、単に無効パケットの有無により無効フレームを判定する場合と比較して、実際のフレーム構成に応じて正確に無効フレームを判定できる。
【００７９】
［各実施の形態の拡張］
以上の各実施の形態では、アプリケーション端末２が受信側であり、送信側となる対向アプリケーション端末（図示せず）から送信されパケット網５を介して受信した映像メディアのメディア用パケットに関するユーザ体感品質値を推定する場合を例として説明したがこれに限定されるものではない。すなわち、アプリケーション端末２が送信側であり、受信側となる対向アプリケーション端末（図示せず）でパケット網５を介して受信した映像メディアのメディア用パケットに関するユーザ体感品質値を推定することもできる。
【００８０】
この場合には、ユーザ体感品質推定装置１の品質情報取得部１１により、アプリケーション端末２のパケット送信部２２で得られた品質情報を前述した送信品質情報として用いるとともに、アプリケーション端末２のパケット受信部２１で受信した対向アプリケーション端末からの品質情報を前述した受信品質情報として用いればよい。
この際、対向アプリケーション端末でも同様のユーザ体感品質を推定する場合には、前述した品質情報通知部１７でアプリケーション端末２のパケット送信部２２で得られた送信品質情報を送信する代わりに、パケット受信部２１で得られた受信メディア用パケットに関する受信品質情報を対向アプリケーション端末へ送信すればよい。
【００８１】
なお、これら送受信品質情報は、直接、送信側と受信側との間でやり取りしてもよいが、これら品質情報を管理する品質管理サーバを介してやり取りするようにしてもよい。また、ユーザ体感品質推定装置１で、品質情報を直接受信するようにしてもよい。
【００８２】
また、以上の各実施の形態では、ユーザ体感品質推定装置１をアプリケーション端末２とは別個の装置で実現した場合を例として説明したが、これに限定されるものではなく、リアルタイム系アプリケーションと並行してアプリケーション端末２で実行される品質推定アプリケーションにより実現してもよい。これにより、アプリケーション端末２のハードウェア資源を共用して実現でき、極めて容易にユーザ体感品質を管理できる。
【図面の簡単な説明】
【００８３】
【図１】本発明の第１の実施の形態にかかるユーザ体感品質推定装置の構成を示すブロック図である。
【図２】本発明の第１の実施の形態にかかるユーザ体感品質推定装置の無効再生時間算出処理を示すフローチャートである。
【図３】再生予定時刻の算出動作を示す説明図である。
【図４】再生時刻の算出動作を示す説明図である。
【図５】無効再生時間の算出動作を示す説明図である。
【図６】本発明の第１の実施の形態にかかるユーザ体感品質推定装置のユーザ体感品質推定処理を示すフローチャートである。
【図７】無効再生時間率とＭＯＳ値との関係を示す品質推定モデルである。
【図８】本発明の第２の実施の形態にかかるユーザ体感品質推定装置の無効パケット判定処理を示すフローチャートである。
【図９】本発明の第３の実施の形態にかかるユーザ体感品質推定装置の無効フレーム判定処理を示すフローチャートである。
【図１０】無効フレームの判定処理例である。
【符号の説明】
【００８４】
１…ユーザ体感品質推定装置、１１…品質情報取得部、１２…品質解析部、１２Ａ…無効パケット判定手段、１２Ｂ…対象フレーム識別手段、１２Ｃ…無効フレーム判定手段、１２Ｄ…時刻情報解析手段、１２Ｅ…無効再生時間算出手段、１２Ｆ…無効再生時間率算出手段、１３…ユーザ体感品質推定部、１４…品質推定モデル、１５…品質推定値、１６…推定結果通知部、１７…品質情報通知部、２…アプリケーション端末、２１…パケット受信部、２２…パケット送信部、５…パケット網。
【技術分野】
【０００１】
本発明は、通信品質推定技術に関し、特にリアルタイム系アプリケーションのユーザ体感品質を推定する技術に関する。
【背景技術】
【０００２】
近年、パケット通信技術の飛躍的な発展に伴い、パケット網が音声や映像等のメディア（コンテンツ）を１対１あるいは多地点間で通信するリアルタイム系アプリケーションで利用されつつある。パケット網のインサービス品質管理では、このようなアプリケーションに対する品質管理も必要とされている。特にリアルタイム系アプリケーションでは、実際にアプリケーションを利用するユーザレベルでの主観的あるいは客観的な品質などのユーザ体感品質を用いた品質管理が重要視されており、ネットワーク品質からユーザ体感品質を推定する技術も提案されている（例えば、非特許文献１等参照）。
【０００３】
従来、発明者らは、リアルタイム系アプリケーションの主観品質を推定する技術を提案した（例えば、特許文献１等参照）。この技術では、試験用パケットのうち受信側端末へ到着しなかった損失パケットと、直前到着パケットとの到着間隔がリアルタイム系アプリケーションの揺らぎ吸収許容時間を越えた遅着パケットとを無効パケットと判定してこれら無効パケット数を計数し、送信側から送信されたすべての試験用パケット数に対する無効パケット数の割合を無効パケット率として算出し、予め生成しておいた無効パケット率と主観品質評価値との関係を示す品質推定モデルを参照して、無効パケット率に対応する主観品質評価値を推定している。
【０００４】
これに対して、従来、発明者らは、損失パケットから推定した映像品質劣化の度合いと映像品質劣化の継続時間長に基づいてリアルタイム系アプリケーションの主観品質を推定する技術を提案した（例えば、特許文献２等参照）。この技術では、ユーザ端末へ送る映像パケット毎にそのパケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則を埋め込む。ユーザ端末において、損失パケットの生成番号から１映像フレーム内の品質劣化の程度や割合などの度合いを推定し、損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則から映像品質劣化の継続時間長を推定し、推定した映像品質劣化の度合いと映像品質劣化の継続時間長に基づいてユーザ端末において復号される映像の主観品質を推定している。これにより、簡単な構成で推定精度の改善が得られた。
【０００５】
【特許文献１】特許第３５７９３３４号公報
【特許文献２】特開２００６−０３３７２２号公報
【非特許文献１】ITU-T Recommendation G.107,"The E-Model, a computational model for use in transmission planning", May 2000
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、このような従来技術では、映像通信に用いるメディア用パケットにより損失したメディアデータに基づいて主観品質を推定しているため、フレームの再生タイミングがずれるような現象が主観品質に与える影響については考慮されておらず、高い推定精度が求められる場合には十分ではないという問題点があった。
【０００７】
リアルタイム系アプリケーションでは、高能率符号化した映像信号や音声信号などのメディア信号をフレームに分解した後、さらにメディア用パケットに変換してやり取りしている。このため、受信側アプリケーション端末でメディア信号を復号する際、受信したメディア用パケットからフレームを組み立て、さらに前後のフレーム情報を使用してメディア信号を復号する。
【０００８】
この際、受信側端末で正常に受信できたメディア用パケットには、送信側端末と受信側端末とを結ぶ伝送路上での遅延揺らぎにより到着時刻が前後にずれてフレーム再生間隔に影響を与えるパケットも含まれる。したがって、このようなパケットに起因してフレームが時間的にずれて再生される現象が発生した場合、映像がぎくしゃくした動きとなり、ユーザが実感するユーザ体感品質の劣化を招くことになる。
【０００９】
本発明はこのような課題を解決するためのものであり、メディア用パケットの遅延揺らぎに応じたフレーム再生間隔の変動による影響を考慮して、リアルタイム系アプリケーションのユーザ体感品質値を高い精度で推定することができるユーザ体感品質推定装置、方法およびプログラムを提供することを目的としている。
【課題を解決するための手段】
【００１０】
このような目的を達成するために、本発明にかかるユーザ体感品質推定装置は、パケット網を介して接続された送信側および受信側アプリケーション端末間で、リアルタイム系のアプリケーションにより映像や音声などのメディアを符号化して得られた各フレームをメディア用パケットで送受信した際に、受信側アプリケーション端末で受信再生したメディアについてユーザが実感するユーザ体感品質を推定するユーザ体感品質推定装置であって、送信側アプリケーション端末から送信されたメディア用パケットの送信状況を示す送信側品質情報と、受信側アプリケーション端末で受信したメディア用パケットの受信状況を示す受信品質情報と、メディア用パケットに含まれている各種の時刻情報とを取得する品質情報取得部と、送信品質情報と受信品質情報とに基づいて各フレームに関する再生タイミングのずれを示す再生誤差時間と正常再生できなかった無効フレームに対応する再生期間を示す無効フレーム再生時間との合計を無効再生時間として算出し、任意の評価期間に対する無効再生時間の割合を無効再生時間率として算出する品質解析部と、無効再生時間率とユーザ体感品質値との関係を示す品質推定モデルから、品質解析部で算出された無効再生時間率に対応するユーザ体感品質値を導出し、アプリケーションのユーザ体感品質の推定値として出力するユーザ体感品質推定部とを備えている。
【００１１】
この際、品質解析部に、受信側アプリケーション端末におけるメディア全体のメディア再生開始時刻とメディア用パケットに含まれる当該フレームの再生時刻情報とから当該フレームの再生予定時刻を算出するとともに、メディア再生開始時刻とメディア用パケットの受信時刻とから当該フレームの実際の再生時刻を算出する時刻情報解析手段と、当該フレームの再生予定時刻と再生時刻との時刻差からなる再生誤差時間が許容値を上回った場合に当該再生誤差時間を無効再生時間に加算するとともに、当該フレームが無効フレームの場合は再生予定時刻から次のフレームの再生予定時刻との時刻差からなる無効フレーム再生時間を無効再生時間に加算する無効再生時間算出手段と、任意の評価期間に対する無効再生時間の割合を無効再生時間率として算出する無効再生時間率算出手段とを設けてもよい。
【００１２】
また、品質解析部に、送信品質情報と受信品質情報とに基づいてメディア用パケットのうち正常に受信できなかったパケットを無効パケットとして判定する無効パケット判定手段と、送信品質情報に基づいて無効パケットに対応するフレームを対象フレームとして識別するフレーム識別手段と、メディアの符号化に用いたフレーム構成と対象フレームとに基づいて、各フレームについて無効フレームか否かを判定する無効フレーム判定手段とを設けてもよい。
【００１３】
また、無効パケット判定手段で、送信品質情報で送信が確認されたメディア用パケットのうち受信品質情報で受信が確認されていないメディア用パケット、および受信品質情報の各メディア用パケットの到着間隔を示す遅延揺らぎ時間がアプリケーションの許容パケット遅延時間を超えるメディア用パケットを無効パケットと判定するようにしてもよい。
【００１４】
また、無効パケット判定手段で、受信品質情報で受信確認されたメディア用パケットの送信順序と受信順序とが矛盾するメディア用パケットを無効パケットと判定するようにしてもよい。
【００１５】
また、フレーム識別手段で、送信品質情報に含まれる無効パケットのヘッダ情報から、対象フレームのフレーム番号およびフレーム種別を取得し、無効フレーム判定手段で、各フレームのうち対象フレームを無効フレームと判定するとともに、フレーム構成で規定されているフレーム種別の並びに従って当該フレームの復号に用いる他のフレームに無効フレームが含まれている場合には当該フレームを無効フレームと判定するようにしてもよい。
【００１６】
また、品質情報取得部で、受信側アプリケーション端末のパケット受信部で受信された送信側アプリケーション端末側からの品質情報を送信品質情報として取得するとともに、受信側アプリケーション端末のパケット受信部で受信されたメディア用パケットから得られた品質情報を受信品質情報として取得するようにしてもよい。
【００１７】
また、品質情報取得部で、送信側アプリケーション端末のパケット受信部で受信された受信側アプリケーション端末側からの品質情報を受信品質情報として取得するとともに、送信側アプリケーション端末のパケット送信部で送信されたメディア用パケットから得られた品質情報を送信品質情報として取得するようにしてもよい。
【００１８】
また、送信側アプリケーション端末のパケット送信部で得られた送信品質情報を受信側アプリケーション端末へ通知する品質情報通知部をさらに備えてもよい。
【００１９】
受信側アプリケーション端末のパケット受信部で得られた受信品質情報を送信側アプリケーション端末へ通知する品質情報通知部をさらに備えてもよい。
【００２０】
また、本発明にかかるユーザ体感品質推定方法は、パケット網を介して接続された送信側および受信側アプリケーション端末間で、リアルタイム系のアプリケーションにより映像や音声などのメディアを符号化して得られた各フレームをメディア用パケットで送受信した際に、受信側アプリケーション端末で受信再生したメディアについてユーザが実感するユーザ体感品質を推定するユーザ体感品質推定装置で用いられるユーザ体感品質推定方法であって、品質情報取得部により、送信側アプリケーション端末から送信されたメディア用パケットの送信状況を示す送信側品質情報と、受信側アプリケーション端末で受信したメディア用パケットの受信状況を示す受信品質情報とを取得する品質情報取得ステップと、品質解析部により、送信品質情報と受信品質情報とに基づいて各フレームに関する再生タイミングのずれを示す再生誤差時間と正常再生できなかった無効フレームに対応する再生期間を示す無効フレーム再生時間との合計を無効再生時間として算出し、任意の評価期間に対する無効再生時間の割合を無効再生時間率として算出する品質解析ステップと、ユーザ体感品質推定部により、無効再生時間率とユーザ体感品質値との関係を示す品質推定モデルから、品質解析部で算出された無効再生時間率に対応するユーザ体感品質値を導出し、アプリケーションのユーザ体感品質の推定値として出力するユーザ体感品質推定ステップとを備えている。
【００２１】
また、本発明にかかるプログラムは、パケット網を介して接続された送信側および受信側アプリケーション端末間で、リアルタイム系のアプリケーションにより映像や音声などのメディアを符号化して得られた各フレームをメディア用パケットで送受信した際に、受信側アプリケーション端末で受信再生したメディアについてユーザが実感するユーザ体感品質を推定するユーザ体感品質推定装置のコンピュータに、品質情報取得部により、送信側アプリケーション端末から送信されたメディア用パケットの送信状況を示す送信側品質情報と、受信側アプリケーション端末で受信したメディア用パケットの受信状況を示す受信品質情報とを取得する品質情報取得ステップと、品質解析部により、送信品質情報と受信品質情報とに基づいて各フレームに関する再生タイミングのずれを示す再生誤差時間と正常再生できなかった無効フレームに対応する再生期間を示す無効フレーム再生時間との合計を無効再生時間として算出し、任意の評価期間に対する無効再生時間の割合を無効再生時間率として算出する品質解析ステップと、ユーザ体感品質推定部により、無効再生時間率とユーザ体感品質値との関係を示す品質推定モデルから、品質解析部で算出された無効再生時間率に対応するユーザ体感品質値を導出し、アプリケーションのユーザ体感品質の推定値として出力するユーザ体感品質推定ステップとを実行させるプログラムである。
【発明の効果】
【００２２】
本発明によれば、品質解析部により、送信品質情報と受信品質情報とに基づいて各フレームに関する再生タイミングのずれを示す再生誤差時間と正常再生できなかった無効フレームに対応する再生期間を示す無効フレーム再生時間との合計が無効再生時間として算出されて、任意の評価期間に対する無効再生時間の割合が無効再生時間率として算出され、ユーザ体感品質推定部により、無効再生時間率とユーザ体感品質値との関係を示す品質推定モデルから、品質解析部で算出された無効再生時間率に対応するユーザ体感品質値が導出され、アプリケーションのユーザ体感品質の推定値として出力される。
【００２３】
したがって、メディア用パケットの遅延揺らぎに応じてフレームの再生タイミングがずれてフレーム再生間隔が変動するような場合でも、このような現象によるユーザ体感品質への影響を考慮して、リアルタイム系アプリケーションのユーザ体感品質を推定することができる。
これにより、映像通信に用いるメディア用パケットにより損失したメディアデータに基づいてユーザ体感品質を推定する場合と比較して、高い精度でユーザ体感品質を推定することができる。
【発明を実施するための最良の形態】
【００２４】
次に、本発明の実施の形態について図面を参照して説明する。
［第１の実施の形態］
まず、図１を参照して、本発明の第１の実施の形態にかかるユーザ体感品質推定装置について説明する。図１は、本発明の第１の実施の形態にかかるユーザ体感品質推定装置の構成を示すブロック図である。
【００２５】
ユーザ体感品質推定装置１は、通信機能を有する情報処理装置からなり、アプリケーション端末２さらにはパケット網５と接続されて、アプリケーション端末２で実行されるリアルタイム系アプリケーションのユーザ体感品質を推定する。
このユーザ体感品質推定装置１には、主な機能部として、品質情報取得部１１、品質解析部１２、ユーザ体感品質推定部１３、推定結果通知部１６、および品質情報通知部１７が設けられている。
【００２６】
本実施の形態は、品質情報取得部１１により、送信側アプリケーション端末から送信されたメディアデータの通信に用いるメディア用パケットの送信状況を示す送信側品質情報と、受信側アプリケーション端末で受信したメディア用パケットの受信状況を示す受信品質情報とを取得し、品質解析部１２により、送信品質情報と受信品質情報とに基づいて各フレームに関する再生タイミングのずれを示す再生誤差時間と正常再生できなかった無効フレームに対応する再生期間を示す無効フレーム再生時間との合計を無効再生時間として算出し、任意の評価期間に対する無効再生時間の割合を無効再生時間率として算出し、ユーザ体感品質推定部１３により、無効再生時間率とユーザ体感品質値との関係を示す品質推定モデル１４から、品質解析部で算出された無効再生時間率に対応するユーザ体感品質値を導出し、アプリケーションのユーザ体感品質の推定値として出力するようにしたものである。
【００２７】
ユーザ体感品質推定装置１の各機能部は、専用の回路部や演算処理部、さらには記憶部から構成されている。特に、演算処理部（コンピュータ）は、ＣＰＵなどのマイクロプロセッサとその周辺回路を有し、周辺回路内のメモリや記憶部に格納されているプログラムを読み込んで実行することにより、上記ハードウェアとプログラムとを協働させて各機能部を実現する。記憶部は、メモリやハードディスクなどの記憶装置からなり、各機能部での処理に用いる各種処理情報を記憶する。
【００２８】
品質情報取得部１１は、送信側アプリケーション端末から送信された、メディア（コンテンツのデータを含むメディア用パケットの送信状況を示す送信側品質情報をアプリケーション端末２のパケット受信部２１から取得する機能と、受信側アプリケーション端末で受信したメディア用パケットの受信状況を示す受信品質情報をアプリケーション端末２のパケット受信部２１から取得する機能とを有している。
【００２９】
品質解析部１２は、送信品質情報および受信品質情報に基づいて各フレームのうち正常再生できなかったフレームによる品質劣化が発生した期間を無効再生時間として算出し、任意の評価期間に対する無効再生時間の割合を無効再生時間率として算出する機能を有している。
品質解析部１２を構成する主な機能手段としては、無効パケット判定手段１２Ａ、対象フレーム識別手段１２Ｂ、無効フレーム判定手段１２Ｃ、時刻情報解析手段１２Ｄ、無効再生時間算出手段１２Ｅ、および無効再生時間率算出手段１２Ｆがある。
【００３０】
無効パケット判定手段１２Ａは、送信品質情報と受信品質情報とに基づいてメディア用パケットのうち損失したパケットを無効パケットとして判定する機能を有している。
対象フレーム識別手段１２Ｂは、送信品質情報に基づいて無効パケットに対応するフレームを対象フレームとして識別する機能を有している。
無効フレーム判定手段１２Ｃは、メディアの符号化に用いたフレーム構成と対象フレームとに基づいて、各フレームについて無効フレームか否かを判定する機能を有している。
【００３１】
時刻情報解析手段１２Ｄは、受信側アプリケーション端末２において任意の評価期間におけるメディア全体のメディア再生開始時刻とその評価期間に受信したメディア用パケットに含まれる当該フレームの再生時刻情報とから当該フレームの再生予定時刻を算出する機能と、当該フレームのメディア再生開始時刻と当該メディア用パケットの受信時刻とから当該フレームの実際の再生時刻を算出する機能とを有している。
【００３２】
無効再生時間算出手段１２Ｅは、当該フレームの再生予定時刻と再生時刻との時刻差からなる再生誤差時間が許容値を上回った場合に当該再生誤差時間を無効再生時間に加算する機能と、当該フレームが無効フレームの場合は再生予定時刻から次のフレームの再生予定時刻との時刻差からなる無効フレーム再生時間を無効再生時間に加算する機能とを有している。
無効再生時間率算出手段１２Ｆは、任意の評価期間に対する無効再生時間の割合を無効再生時間率として算出する機能を有している。
【００３３】
ユーザ体感品質推定部１３は、無効フレーム率とユーザ体感品質値との関係を示す品質推定モデル１４から、品質解析部１２で算出された無効フレーム率に対応するユーザ体感品質値を導出し、アプリケーションの品質推定値１５として出力する機能を有している。
【００３４】
推定結果通知部１６は、パケット網５を介して対向アプリケーション端末に接続されているユーザ体感品質推定装置（図示せず）や品質管理サーバ（図示せず）に対し、制御パケットを用いて、当該装置で得られた品質推定値１５さらにはこのユーザ体感品質値の算出に用いた送受信品質情報などの品質要因情報を含む推定結果情報を、定期的あるいは必要に応じて通知する機能を有している。
品質情報通知部１７は、アプリケーション端末２のパケット送信部２２で得られた送信品質情報を送信側アプリケーション端末へ通知する機能を有している。
【００３５】
［第１の実施の形態の動作］
次に、図２〜図６を参照して、本発明の第１の実施の形態にかかるユーザ体感品質推定装置の動作について説明する。図２は、本発明の第１の実施の形態にかかるユーザ体感品質推定装置の無効再生時間算出処理を示すフローチャートである。図３は、再生予定時刻の算出動作を示す説明図である。図４は、再生時刻の算出動作を示す説明図である。図５は、無効再生時間の算出動作を示す説明図である。図６は、本発明の第１の実施の形態にかかるユーザ体感品質推定装置のユーザ体感品質推定処理を示すフローチャートである。
【００３６】
ここでは、アプリケーション端末２が受信側であり、送信側となる対向アプリケーション端末（図示せず）から送信されパケット網５を介して受信した映像メディアのメディア用パケットに関するユーザ体感品質値を推定する場合を例として説明する。この際、対向アプリケーション端末に接続されているユーザ体感品質推定装置（図示せず）から、対向アプリケーション端末のパケット送信部で得られた送信品質情報がアプリケーション端末２へ制御用パケットにより通知される場合を例として説明する。
【００３７】
ユーザ体感品質推定装置１の品質情報取得部１１で取得した送信品質情報に含まれている主な品質情報としては、各送信メディア用パケットに関する、送信順序を示すシーケンス番号、映像フレーム種別、映像フレーム番号、送信パケット数、送信フレーム数、および時刻がある。また受信品質情報に含まれている主な品質情報としては、各受信メディア用パケットに関する、送信順序を示すシーケンス番号、直前メディア用パケットとの到着時刻差を示す遅延揺らぎ時間、および各種の時刻情報がある。
【００３８】
受信メディア用パケットに関する時刻情報としては、映像メディアを符号化する際にフレームレートなどの品質情報に基づき設定された、対応するフレームの正常な再生開始タイミングを示す再生時刻情報、さらには当該フレームの正常な復号開始タイミングを示す復号時刻情報のほか、送受信アプリケーション端末間で計時している時刻を相互に同期させるための時刻合わせ情報などがある。これら時刻情報は、各メディア用パケットのペイロード部に格納されて送信され、品質情報取得部１１で取得される。
【００３９】
［無効再生時間算出処理］
まず、図２〜図５を参照して、本発明の第１の実施の形態にかかるユーザ体感品質推定装置１での無効再生時間算出処理について説明する。ここでは、品質情報取得部１１により、アプリケーション端末２から送信側品質情報および受信側品質情報がすでに取得されているものとする。また、送受信アプリケーション端末間で計時している両時刻に誤差がある場合、送信側アプリケーション端末から送信された時刻合わせ情報に基づき受信側アプリケーション端末の時刻が送信側の時刻に同期させているものとする。なお、時刻合わせ情報に基づいて無効再生時間算出時にいずれか一方の端末での時刻情報を補正するようにしてもよい。
【００４０】
ユーザ体感品質推定装置１の品質解析部１２は、所望のユーザ体感品質を推定するための任意の評価期間に受信側アプリケーション端末２で受信されたメディア用パケットのうち、各フレームの先頭に位置するメディア用パケットごとに、図２の無効再生時間算出処理を実行する。なお、各フレームに対する無効フレーム判定については、品質解析部１２の無効フレーム判定手段１２Ｃにより、すでに判定済みであるものとする。また、フレーム構成は、ＭＰＥＧ(Moving Picture Exparts Group)のＧＯＰ(Group of Picture)構成を用いているものとする。
【００４１】
まず、時刻情報解析手段１２Ｄは、送信側品質情報および受信側品質情報に基づき選択したメディア用パケットが評価期間に最初に受信した先頭のメディア用パケットの場合（ステップ１００：ＹＥＳ）、当該パケットの受信時刻ＲＴ0に遅れ時間αを加算することにより、評価期間に対応する映像メディア全体の再生開始タイミングを示すメディア再生開始時刻Ｔ0＝ＲＴ0＋αを算出する（ステップ１０１）。
【００４２】
遅れ時間αは、メディア用パケットの受信から実際にフレームが復号されて再生がされるまでの時間であり、アプリケーションや端末などの処理性能に基づき予め設定される。なお、遅れ時間αとして、評価期間において最初に再生されるフレームの先頭メディア用パケットの再生時刻情報を用いてもよい。図３の例では、遅れ時間αとして、評価期間において最初に再生されるＢ（１）フレームの先頭メディア用パケットの再生時刻情報ｔ1＝00.002(sec)が用いられ、最初に受信したＩ（０）フレームのメディア用パケットの受信時刻ＲＴ0＝59.998(sec)であることから、メディア再生開始時刻Ｔ0＝ＲＴ0＋ｔ1＝00.000(sec)が求められている。
【００４３】
次に、時刻情報解析手段１２Ｄは、再生開示時刻Ｔ0に当該メディア用パケットの再生時刻情報ｔnを加算することにより、当該パケットに対応するフレームの再生予定時刻ＰＴn＝Ｔ0＋ｔnを算出する（ステップ１０２）。図３の例では、Ｉ（０）フレームの先頭パケットの再生時刻情報がｔ0＝00.068(sec)であり、これがメディア再生開始時刻Ｔ0＝00.000(sec)に加算されて、Ｉ（０）フレームの再生予定時刻ＰＴ0＝00.068(sec)が求められている。
【００４４】
次に、時刻情報解析手段１２Ｄは、当該メディア用パケットに復号時刻情報が格納されていたか否か判断する（ステップ１０３）。この復号時刻情報は、通常、特定の種別のフレームにのみ格納されている。
ここで、当該メディア用パケットに復号時刻情報が格納されていない場合（ステップ１０３：ＮＯ）、メディア再生開始時刻Ｔ0に、当該メディア用パケットの受信時刻情報ＲＴnを加算することにより、当該フレームが実際に再生される再生時刻ｅＰＴn＝Ｔ0＋ＲＴnを算出する（ステップ１０４）。図４の例では、Ｂ（１）フレームの先頭パケットのパケット受信時刻がＲＴ1＝00.000(sec)であり、これがメディア再生開始時刻Ｔ0＝00.000(sec)に加算されて、Ｂ（１）フレームの再生時刻ｅＰＴ1＝00.000(sec)が求められている。
【００４５】
一方、当該メディア用パケットに復号時刻情報が格納されている場合（ステップ１０３：ＹＥＳ）、メディア再生開始時刻Ｔ0に、当該メディア用パケットの受信時刻情報ＲＴnを加算するとともに、再生時刻情報ｔnと復号時刻情報ｄｔnの時刻差を加算することにより、当該フレームが実際に再生される再生時刻（推定）ｅＰＴn＝Ｔ0＋ＲＴn＋ｔn−ｄｔnを算出する（ステップ１０５）。図４の例では、Ｉ（０）フレームの先頭パケットのパケット受信時刻がＲＴ0＝59.998(sec)であり、同じく再生時刻情報ｔ0＝00.068(sec)、また復号時刻情報ｄｔ0＝00.000(sec)であることから、Ｉ（０）フレームの再生時刻ｅＰＴ0＝00.066(sec)が求められている。
【００４６】
このようにして、時刻情報解析手段１２Ｄにより、当該メディア用パケットから当該フレームについて再生予定時刻ＰＴnと再生時刻ｅＰＴnを算出した後、無効再生時間算出手段１２Ｅにより、再生予定時刻ＰＴnと再生時刻ｅＰＴnの時刻差から当該フレームの再生誤差時間ΔＰＴn＝ｅＰＴn−ＰＴnを算出する（ステップ１０６）。
ここで、再生誤差時間ΔＰＴnが許容値εを上回る場合（ステップ１０７：ＹＥＳ）、無効再生時間算出手段１２Ｅは、その再生誤差時間ΔＰＴnを無効再生時間ＴSUMに加算し（ステップ１０８）、再生誤差時間ΔＰＴnが許容値ε以内であれば（ステップ１０７：ＮＯ）、無効再生時間ＴSUMに加算しない。
【００４７】
図５の例では、Ｂ（１）フレームの再生予定時刻がＰＴ1＝00.002(sec)であり、再生時刻ｅＰＴ1＝00.000(sec)であることから、その再生誤差時間ΔＰＴ2＝-0.020は許容値ε＝0.005(sec)以内となり、再生誤差時間ΔＰＴ2は無効再生時間ＴSUMに加算されない。また、Ｂ（２）フレームの再生予定時刻がＰＴ2＝00.035(sec)であり、再生時刻ｅＰＴ2＝00.055(sec)であることから、その再生誤差時間ΔＰＴ2＝0.020が許容値ε＝0.005(sec)を上回っているため、再生誤差時間ΔＰＴ2は無効再生時間ＴSUMに加算される。
【００４８】
次に、無効再生時間算出手段１２Ｅは、当該メディア用パケットに対応するフレームが無効フレームと判定されているか確認し（ステップ１０９）、無効フレームと判定されている場合は（ステップ１０９：ＹＥＳ）、当該フレームと次のフレームの再生予定時間ＰＴnの時刻差から、当該無効フレームが再生されるべき期間を示す無効フレーム再生時間ＦＴnを算出する（ステップ１１０）。
図５の例では、Ｂ（４）フレームが無効フレームと判定されており、このＢ（４）フレームの再生予定時刻ＰＴ4＝00.101(sec)と次のＢ（５）フレームの再生予定時刻ＰＴ５＝00.134(sec)の時刻差からＢ（４）フレームの無効フレーム再生時間ＦＴ4＝0.033(sec)が求められる。
【００４９】
無効再生時間算出手段１２Ｅは、当該フレームの無効フレーム再生時間ＦＴnを算出した後、その無効フレーム再生時間ＦＴnを無効再生時間ＴSUMに加算する（ステップ１１１）。
このようにして、ユーザ体感品質推定装置１の品質解析部１２は、選択した所望のユーザ体感品質を推定するための任意の評価期間に受信側アプリケーション端末２で受信されたメディア用パケットのうち、各フレームの先頭に位置する先頭メディア用パケットごとに、図２の無効再生時間算出処理を実行し、評価期間におけるすべての先頭メディア用パケットについて無効再生時間算出処理を終了する。
【００５０】
［ユーザ体感品質推定処理］
次に、図６を参照して、本発明の第１の実施の形態にかかるユーザ体感品質推定装置でのユーザ体感品質推定処理について説明する。
ここでは、アプリケーション端末２が受信側であり、送信側となる対向アプリケーション端末（図示せず）から送信されパケット網５を介して受信した映像メディアのメディア用パケットに関するユーザ体感品質値を推定する場合を例として説明する。この際、対向アプリケーション端末に接続されているユーザ体感品質推定装置（図示せず）から、対向アプリケーション端末のパケット送信部で得られた送信品質情報がアプリケーション端末２へ制御用パケットにより通知される場合を例として説明する。
【００５１】
ユーザ体感品質推定装置１の品質情報取得部１１は、対向アプリケーション端末側からＲＴＣＰ ＸＲ(RTP Control Protocol)などの制御用パケットで送信された送信品質情報が、アプリケーション端末２のパケット受信部２１で受信されたものを取得する（ステップ１２０）。
また、アプリケーション端末２のパケット受信部２１で対向アプリケーション端末からのメディア用パケットから得られた受信品質情報を取得する（ステップ１２１）。
【００５２】
次に、品質解析部１２は、無効パケット判定手段１２Ａにより、送信品質情報で送信が確認されている各メディア用パケットについて、無効パケットの判定を行う（ステップ１２２）。無効パケットとは、送信側のリアルタイム系アプリケーションから送信されたメディア用パケットのうち、受信側のリアルタイム系アプリケーションで正常に受信できず、メディアとして再生できないパケットのことである。具体的には、送信側アプリケーション端末と受信側アプリケーション端末とをパケット網５を介して結ぶ伝送路上で損失したパケット、受信側アプリケーションの持つ揺らぎ吸収バッファで到着間隔が調整できなかった遅着パケット、さらにはメディア用パケットの到着順序が規定されているリアルタイム系アプリケーションでメディア用パケットの到着順序が逆転したパケットなどが対象となる。
【００５３】
次に、品質解析部１２は、対象フレーム識別手段１２Ｂにより、送信品質情報を参照して、無効パケット判定手段１２Ａで無効パケットと判定されたメディア用パケットのフレーム種別とフレーム番号を取得し、無効パケットを含む対象フレームを識別する（ステップ１２３）。
【００５４】
続いて、品質解析部１２は、無効フレーム判定手段１２Ｃにより、送信品質情報および受信品質情報を参照して、対象フレーム識別手段１２Ｂで識別された対象フレームのフレーム種別およびフレーム番号と評価対象となるリアルタイム系アプリケーションでメディアの符号化に用いたフレーム構成とに基づき、各フレームのうちメディア用パケットの損失すなわち無効パケットによる影響を受けた復号できない無効フレームを判定する（ステップ１２４）。
【００５５】
例えば、映像メディアでは、基準フレームとの差分データで後続フレームを転送するＭＰＥＧ(Moving Picture Exparts Group)などの圧縮符号化方式があり、このようなフレーム構成がＧＯＰ(Group of Picture)構成情報で予め規定されている。このような圧縮符号化方式を用いる場合、差分データが正常に受信されていても基準フレームが無効フレームとなれば後続フレームも復号できず、結果として後続フレームも無効フレームとなる。
【００５６】
次に、品質解析部１２は、時刻情報解析手段１２Ｄおよび無効再生時間算出手段１２Ｅを用いて、任意の評価期間に受信側アプリケーション端末２で受信されたメディア用パケットのうち、各フレームの先頭に位置するメディア用パケットごとに、図２の無効再生時間算出処理を実行することにより、評価期間における無効再生時間ＴSUMを算出する（ステップ１２５）。
この後、品質解析部１２は、図２の無効再生時間算出処理により得られた無効再生時間ＴSUMを評価期間長ＴALLで除算することにより、評価期間における無効再生時間ＴSUMの割合を示す無効再生時間率ＲＴ＝ＴSUM／ＴALLを算出する（ステップ１２６）。
【００５７】
次に、ユーザ体感品質推定部１３は、予め用意して記憶部（図示せず）に格納しておいた無効再生時間率とユーザ体感品質値との関係を示す品質推定モデル１４から、品質解析部１２で算出された無効再生時間率に対応するユーザ体感品質値を導出し、リアルタイム系アプリケーションのユーザ体感品質の品質推定値１５として記憶部へ出力する（ステップ１２７）。
【００５８】
品質推定モデルの作成は、中間パラメータと実際にオピニオン評価を行って得られた主観評価値であるＭＯＳ値(Mean Opinion Score 平均オピニオン評点)からなるユーザ体感品質との関係を回帰曲線またはテーブルによって表すことでモデル化しておく。
図７は、無効再生時間率とＭＯＳ値との関係を示す品質推定モデルである。
実際にユーザ体感品質推定部１３で用いる品質推定モデル１４としては、図７の回帰曲線を用いてもよく、これをテーブル化した推定モデルを用いてもよい。
【００５９】
具体的には、図７において、例えば入力パラメータの入力最小単位である最小刻（具体的には、無効再生時間率の入力最小単位）を０．０１とした場合、０．０１刻で、出力された値を平均することで表を作成する。つまり、最小刻の範囲内に入っているＭＯＳ値を平均することで、０から最小刻ごとに無効再生時間率とＭＯＳの関係をテーブルを作成する。ただし、評価サンプル数が少ない場合、最小刻の中でデータがないものが存在する。その際には、前後にデータが存在するものを利用して補完を行う。この補完は、線形であっても、回帰を用いても構わない。このような現象が極力少なくなるように、モデル作成時には、多数のデータサンプルを取得することが望ましい。
【００６０】
この後、推定結果通知部１６は、ユーザ体感品質推定部１３で推定された品質推定値１５を記憶部から読み込んで、ＲＴＣＰ ＸＲなどの制御用パケットに格納し、パケット網５を介して対向アプリケーション端末に接続されているユーザ体感品質推定装置（図示せず）や品質管理サーバ（図示せず）に対して送信し（ステップ１２８）、一連のユーザ体感品質推定処理を終了する。
この際、一定間隔ごとに品質推定値１５の平均値やばらつきを示す分散などを求める統計処理した結果を推定結果通知部１６で通知してもよい。
【００６１】
このように、本実施の形態では、品質情報取得部１１により、送信側アプリケーション端末から送信されたメディア用パケットの送信状況を示す送信側品質情報と、受信側アプリケーション端末で受信したメディア用パケットの受信状況を示す受信品質情報とを取得し、品質解析部１２により、送信品質情報と受信品質情報とに基づいて各フレームに関する再生タイミングのずれを示す再生誤差時間と正常再生できなかった無効フレームに対応する再生期間を示す無効フレーム再生時間との合計を無効再生時間として算出し、任意の評価期間に対する無効再生時間の割合を無効再生時間率として算出し、ユーザ体感品質推定部１３により、無効再生時間率とユーザ体感品質値との関係を示す品質推定モデル１４から、品質解析部１２で算出された無効再生時間率に対応するユーザ体感品質値を導出し、アプリケーションのユーザ体感品質の推定値１５として出力している。
【００６２】
したがって、メディア用パケットの遅延揺らぎに応じてフレームの再生タイミングがずれてフレーム再生間隔が変動するような場合でも、このような現象によるユーザ体感品質への影響を考慮して、リアルタイム系アプリケーションのユーザ体感品質を推定することができる。
これにより、映像通信に用いるメディア用パケットにより損失したメディアデータに基づいてユーザ体感品質を推定する場合と比較して、高い精度でユーザ体感品質を推定することができる。
【００６３】
［第２の実施の形態］
次に、図８を参照して、本発明の第２の実施の形態にかかるユーザ体感品質推定装置について説明する。図８は、本発明の第２の実施の形態にかかるユーザ体感品質推定装置の無効パケット判定処理を示すフローチャートである。
【００６４】
本実施の形態では、前述した第１の実施の形態の無効パケット判定手段１２Ａにおける無効パケット判定処理の具体例について説明する。
無効パケット判定手段１２Ａは、まず、送信品質情報から未判定の送信メディア用パケットを任意に選択し（ステップ１４０）、そのシーケンス番号と同じメディア用パケットが受信されているか受信品質情報で確認する（ステップ１４１）。ここで、シーケンス番号と同じメディア用パケットが受信されていない場合には（ステップ１４１：ＮＯ）、当該メディア用パケットが途中の伝送路で損失した損失パケットであると判断できることから、無効パケットであると判定する（ステップ１４５）。
【００６５】
一方、シーケンス番号と同じメディア用パケットが受信されている場合には（ステップ１４１：ＹＥＳ）、当該送信メディア用パケットの遅延揺らぎ時間を受信品質情報で確認し、リアルタイム系アプリケーションが持つ許容遅延時間と比較する（ステップ１４２）。ここで、遅延揺らぎ時間が許容遅延時間を上回っている場合には（ステップ１４２：ＮＯ）、当該メディア用パケットが途中の伝送路や端末内で遅延して到着した遅着パケットであると判断できることから、無効パケットであると判定する（ステップ１４５）。
【００６６】
一方、遅延揺らぎ時間が許容遅延時間以下である場合には（ステップ１４２：ＹＥＳ）、当該リアルタイム系アプリケーションが到着順序逆転パケットを損失と見なす場合にのみ（ステップ１４３：ＹＥＳ）、かつ当該メディア用パケットの到着順とシーケンス番号とが一致するか受信品質情報により確認する。ここで、この一致が確認できず到着順序が逆転しているパケットである場合には（ステップ１４４：ＹＥＳ）、無効パケットであると判定する（ステップ１４５）。
【００６７】
なお、到着順序が逆転していない場合（ステップ１４４：ＮＯ）や、当該リアルタイム系アプリケーションが到着順序逆転パケットを損失と見なさない場合（ステップ１４３：ＮＯ）、当該パケットは無効パケットではないと判定する（ステップ１４６）。
このようにして、選択した送信メディア用パケットに対して無効パケット判定を行った後、無効パケット未判定の送信パケットが残っている場合には（ステップ１４７：ＹＥＳ）、前述したステップ１４０へ戻って残りの受信メディア用パケットに対する無効パケット判定を繰り返し行う。一方、すべての送信メディア用パケットに対して無効パケット判定が終了した場合（ステップ１４７：ＮＯ）、一連の無効パケット判定処理を終了する。
【００６８】
このように、本実施の形態では、無効パケット判定手段１２Ａにより、送信品質情報で送信が確認されたメディア用パケットのうち受信品質情報で受信が確認されていないメディア用パケット、および受信品質情報の各メディア用パケットの到着時刻から得た直前メディア用パケットとの到着時刻差がアプリケーションの許容パケット遅延時間を超えるメディア用パケットを無効パケットと判定するようにしたので、途中の伝送路だけではなく遅着により損失したパケットについても無効パケットと判定することができ、受信側のリアルタイム系アプリケーションでメディアとして再生できないパケットを正確に判定できる。
【００６９】
また、無効パケット判定手段１２Ａにより、受信品質情報で受信確認されたメディア用パケットの送信順序と受信順序とが矛盾するメディア用パケットを無効パケットと判定するようにしたので、当該リアルタイム系アプリケーションが到着順序逆転パケットを損失と見なす場合、受信側のリアルタイム系アプリケーションでメディアとして再生できないパケットをさらに正確に判定できる。
【００７０】
［第３の実施の形態］
次に、図９を参照して、本発明の第３の実施の形態にかかるユーザ体感品質推定装置について説明する。図９は、本発明の第３の実施の形態にかかるユーザ体感品質推定装置の無効フレーム判定処理を示すフローチャートである。
【００７１】
本実施の形態では、前述した第１の実施の形態の無効フレーム判定手段１２Ｃにおける無効フレーム判定処理の具体例について説明する。
無効フレーム判定手段１２Ｃは、まず、送信品質情報で送信確認されている各フレームのうち、対象フレーム識別手段１２Ｂにより無効パケットを含むために対象フレームと識別されたフレームを無効フレームと判定する（ステップ１５０）。
【００７２】
次に、受信品質情報を参照して、受信側に到着した順序にしたがって無効フレーム未判定のフレームを選択し（ステップ１５１）、当該リアルタイム系アプリケーションでメディアの符号化に用いたフレーム構成を示すフレーム構成情報と受信品質情報とを参照することにより、当該フレームの復号に用いる他のフレームに、無効フレームが含まれているか確認する（ステップ１５２）。フレーム構成情報は、予め記憶部に設定しておいてもよく送受信品質情報で取得してもよい。
【００７３】
ここで、無効フレームが含まれている場合（ステップ１５２：ＹＥＳ）、当該フレームを正常に復号できないことから、当該フレームを無効フレームと判定する（ステップ１５３）。一方、無効フレームが含まれていない場合（ステップ１５２：ＮＯ）、当該フレームを正常に復号できることから、当該フレームを無効フレームではないと判定する（ステップ１５４）。
【００７４】
図１０は、無効フレームの判定処理例である。ここでは、例えば、ＭＰＥＧ符号化方式に基づいて、映像メディアが「ＩＢＢ」のＧＯＰ構成で圧縮符号化されフレームに分割されている。フレーム種別Ｉフレームは基準となるフレームで、Ｉフレームだけで元のフレームを復号できる。フレーム種別ＢフレームはＩフレームとの差分データからなり、その復号にはＩフレームが必要となる。
【００７５】
図１０に示すように、フレーム「１〜９」が「ＩＢＢ」のＧＯＰ構成にしたがってメディア用パケットに分割されて送信され、受信側で受信した際、このうちフレーム「２，４，７，８」に無効パケットが含まれていたとする。
この場合には、まず、無効パケットを含む対象フレームが無効フレームと判定され、さらに、これら無効フレームを復号時に用いるフレームについても無効フレームと判定される。
【００７６】
具体的には、フレーム「５，６」の復号にフレーム「４」を用いるがフレーム「４」が無効フレームであるため、これらフレーム「５，６」も無効フレームと判定される。同様に、フレーム「９」の復号にフレーム「７」を用いるがフレーム「７」が無効フレームであるため、フレーム「９」も無効フレームと判定される。なお、フレーム「３」の復号にフレーム「１」を用いるがフレーム「１」が無効フレームではないため、フレーム「３」は無効フレームではないと判定される。
【００７７】
このようにして、選択したフレームに対して無効フレーム判定を行った後、無効フレーム未判定のフレームが残っている場合には（ステップ１５５：ＹＥＳ）、前述したステップ１５１へ戻って残りのフレームに対する無効フレーム判定を繰り返し行う。一方、すべての送信メディア用パケットに対して無効パケット判定が終了した場合（ステップ１５５：ＮＯ）、一連の無効フレーム判定処理を終了する。
【００７８】
このように、本実施の形態では、無効フレーム判定手段１２Ｃにより、各フレームのうち対象フレームを無効フレームと判定するとともに、フレーム構成で規定されているフレーム種別の並びに従って当該フレームの復号に用いる他のフレームに無効フレームが含まれている場合には当該フレームを無効フレームと判定するようにしたので、単に無効パケットの有無により無効フレームを判定する場合と比較して、実際のフレーム構成に応じて正確に無効フレームを判定できる。
【００７９】
［各実施の形態の拡張］
以上の各実施の形態では、アプリケーション端末２が受信側であり、送信側となる対向アプリケーション端末（図示せず）から送信されパケット網５を介して受信した映像メディアのメディア用パケットに関するユーザ体感品質値を推定する場合を例として説明したがこれに限定されるものではない。すなわち、アプリケーション端末２が送信側であり、受信側となる対向アプリケーション端末（図示せず）でパケット網５を介して受信した映像メディアのメディア用パケットに関するユーザ体感品質値を推定することもできる。
【００８０】
この場合には、ユーザ体感品質推定装置１の品質情報取得部１１により、アプリケーション端末２のパケット送信部２２で得られた品質情報を前述した送信品質情報として用いるとともに、アプリケーション端末２のパケット受信部２１で受信した対向アプリケーション端末からの品質情報を前述した受信品質情報として用いればよい。
この際、対向アプリケーション端末でも同様のユーザ体感品質を推定する場合には、前述した品質情報通知部１７でアプリケーション端末２のパケット送信部２２で得られた送信品質情報を送信する代わりに、パケット受信部２１で得られた受信メディア用パケットに関する受信品質情報を対向アプリケーション端末へ送信すればよい。
【００８１】
なお、これら送受信品質情報は、直接、送信側と受信側との間でやり取りしてもよいが、これら品質情報を管理する品質管理サーバを介してやり取りするようにしてもよい。また、ユーザ体感品質推定装置１で、品質情報を直接受信するようにしてもよい。
【００８２】
また、以上の各実施の形態では、ユーザ体感品質推定装置１をアプリケーション端末２とは別個の装置で実現した場合を例として説明したが、これに限定されるものではなく、リアルタイム系アプリケーションと並行してアプリケーション端末２で実行される品質推定アプリケーションにより実現してもよい。これにより、アプリケーション端末２のハードウェア資源を共用して実現でき、極めて容易にユーザ体感品質を管理できる。
【図面の簡単な説明】
【００８３】
【図１】本発明の第１の実施の形態にかかるユーザ体感品質推定装置の構成を示すブロック図である。
【図２】本発明の第１の実施の形態にかかるユーザ体感品質推定装置の無効再生時間算出処理を示すフローチャートである。
【図３】再生予定時刻の算出動作を示す説明図である。
【図４】再生時刻の算出動作を示す説明図である。
【図５】無効再生時間の算出動作を示す説明図である。
【図６】本発明の第１の実施の形態にかかるユーザ体感品質推定装置のユーザ体感品質推定処理を示すフローチャートである。
【図７】無効再生時間率とＭＯＳ値との関係を示す品質推定モデルである。
【図８】本発明の第２の実施の形態にかかるユーザ体感品質推定装置の無効パケット判定処理を示すフローチャートである。
【図９】本発明の第３の実施の形態にかかるユーザ体感品質推定装置の無効フレーム判定処理を示すフローチャートである。
【図１０】無効フレームの判定処理例である。
【符号の説明】
【００８４】
１…ユーザ体感品質推定装置、１１…品質情報取得部、１２…品質解析部、１２Ａ…無効パケット判定手段、１２Ｂ…対象フレーム識別手段、１２Ｃ…無効フレーム判定手段、１２Ｄ…時刻情報解析手段、１２Ｅ…無効再生時間算出手段、１２Ｆ…無効再生時間率算出手段、１３…ユーザ体感品質推定部、１４…品質推定モデル、１５…品質推定値、１６…推定結果通知部、１７…品質情報通知部、２…アプリケーション端末、２１…パケット受信部、２２…パケット送信部、５…パケット網。
【特許請求の範囲】
【請求項１】
パケット網を介して接続された送信側および受信側アプリケーション端末間で、リアルタイム系のアプリケーションにより映像や音声などのメディアを符号化して得られた各フレームをメディア用パケットで送受信した際に、前記受信側アプリケーション端末で受信再生したメディアについてユーザが実感するユーザ体感品質を推定するユーザ体感品質推定装置であって、
前記送信側アプリケーション端末から送信されたメディア用パケットの送信状況を示す送信側品質情報と、前記受信側アプリケーション端末で受信した前記メディア用パケットの受信状況を示す受信品質情報と、前記メディア用パケットに含まれている各種の時刻情報とを取得する品質情報取得部と、
前記送信品質情報と前記受信品質情報とに基づいて前記各フレームに関する再生タイミングのずれを示す再生誤差時間と正常再生できなかった無効フレームに対応する再生期間を示す無効フレーム再生時間との合計を無効再生時間として算出し、任意の評価期間に対する前記無効再生時間の割合を無効再生時間率として算出する品質解析部と、
無効再生時間率とユーザ体感品質値との関係を示す品質推定モデルから、前記品質解析部で算出された無効再生時間率に対応するユーザ体感品質値を導出し、前記アプリケーションのユーザ体感品質の推定値として出力するユーザ体感品質推定部と
を備えることを特徴とするユーザ体感品質推定装置。
【請求項２】
請求項１に記載のユーザ体感品質推定装置において、
前記品質解析部は、
前記受信側アプリケーション端末における前記メディア全体のメディア再生開始時刻と前記メディア用パケットに含まれる当該フレームの再生時刻情報とから当該フレームの再生予定時刻を算出するとともに、前記メディア再生開始時刻と前記メディア用パケットの受信時刻とから当該フレームの実際の再生時刻を算出する時刻情報解析手段と、
当該フレームの前記再生予定時刻と前記再生時刻との時刻差からなる前記再生誤差時間が許容値を上回った場合に当該再生誤差時間を前記無効再生時間に加算するとともに、当該フレームが前記無効フレームの場合は前記再生予定時刻から次のフレームの再生予定時刻との時刻差からなる前記無効フレーム再生時間を前記無効再生時間に加算する無効再生時間算出手段と、
任意の評価期間に対する前記無効再生時間の割合を無効再生時間率として算出する無効再生時間率算出手段と
を有することを特徴とするユーザ体感品質推定装置。
【請求項３】
請求項１に記載のユーザ体感品質推定装置において、
前記品質解析部は、
前記送信品質情報と前記受信品質情報とに基づいて前記メディア用パケットのうち正常に受信できなかったパケットを無効パケットとして判定する無効パケット判定手段と、
前記送信品質情報に基づいて前記無効パケットに対応するフレームを対象フレームとして識別するフレーム識別手段と、
前記メディアの符号化に用いたフレーム構成と前記対象フレームとに基づいて、前記各フレームについて前記無効フレームか否かを判定する無効フレーム判定手段と
を有することを特徴とするユーザ体感品質推定装置。
【請求項４】
請求項１に記載のユーザ体感品質推定装置において、
前記無効パケット判定手段は、前記送信品質情報で送信が確認されたメディア用パケットのうち前記受信品質情報で受信が確認されていないメディア用パケット、および前記受信品質情報の各メディア用パケットの到着間隔を示す遅延揺らぎ時間が前記アプリケーションの許容パケット遅延時間を超えるメディア用パケットを前記無効パケットと判定することを特徴とするユーザ体感品質推定装置。
【請求項５】
請求項１に記載のユーザ体感品質推定装置において、
前記無効パケット判定手段は、前記受信品質情報で受信確認されたメディア用パケットの送信順序と受信順序とが矛盾するメディア用パケットを前記無効パケットと判定することを特徴とするユーザ体感品質推定装置。
【請求項６】
請求項１に記載のユーザ体感品質推定装置において、
前記フレーム識別手段は、前記送信品質情報に含まれる前記無効パケットのヘッダ情報から、前記対象フレームのフレーム番号およびフレーム種別を取得し、
前記無効フレーム判定手段は、前記各フレームのうち前記対象フレームを無効フレームと判定するとともに、前記フレーム構成で規定されているフレーム種別の並びに従って当該フレームの復号に用いる他のフレームに無効フレームが含まれている場合には当該フレームを無効フレームと判定する
ことを特徴とするユーザ体感品質推定装置。
【請求項７】
請求項１に記載のユーザ体感品質推定装置において、
前記品質情報取得部は、前記受信側アプリケーション端末のパケット受信部で受信された前記送信側アプリケーション端末側からの品質情報を前記送信品質情報として取得するとともに、前記受信側アプリケーション端末のパケット受信部で受信されたメディア用パケットから得られた品質情報を前記受信品質情報として取得することを特徴とするユーザ体感品質推定装置。
【請求項８】
請求項１に記載のユーザ体感品質推定装置において、
前記品質情報取得部は、前記送信側アプリケーション端末のパケット受信部で受信された前記受信側アプリケーション端末側からの品質情報を前記受信品質情報として取得するとともに、前記送信側アプリケーション端末のパケット送信部で送信されたメディア用パケットから得られた品質情報を前記送信品質情報として取得することを特徴とするユーザ体感品質推定装置。
【請求項９】
請求項１に記載のユーザ体感品質推定装置において、
前記送信側アプリケーション端末のパケット送信部で得られた前記送信品質情報を前記受信側アプリケーション端末へ通知する品質情報通知部をさらに備えることを特徴とするユーザ体感品質推定装置。
【請求項１０】
請求項１に記載のユーザ体感品質推定装置において、
前記受信側アプリケーション端末のパケット受信部で得られた前記受信品質情報を前記送信側アプリケーション端末へ通知する品質情報通知部をさらに備えることを特徴とするユーザ体感品質推定装置。
【請求項１１】
パケット網を介して接続された送信側および受信側アプリケーション端末間で、リアルタイム系のアプリケーションにより映像や音声などのメディアを符号化して得られた各フレームをメディア用パケットで送受信した際に、前記受信側アプリケーション端末で受信再生したメディアについてユーザが実感するユーザ体感品質を推定するユーザ体感品質推定装置で用いられるユーザ体感品質推定方法であって、
品質情報取得部により、前記送信側アプリケーション端末から送信されたメディア用パケットの送信状況を示す送信側品質情報と、前記受信側アプリケーション端末で受信した前記メディア用パケットの受信状況を示す受信品質情報とを取得する品質情報取得ステップと、
品質解析部により、前記送信品質情報と前記受信品質情報とに基づいて前記各フレームに関する再生タイミングのずれを示す再生誤差時間と正常再生できなかった無効フレームに対応する再生期間を示す無効フレーム再生時間との合計を無効再生時間として算出し、任意の評価期間に対する前記無効再生時間の割合を無効再生時間率として算出する品質解析ステップと、
ユーザ体感品質推定部により、無効再生時間率とユーザ体感品質値との関係を示す品質推定モデルから、前記品質解析部で算出された無効再生時間率に対応するユーザ体感品質値を導出し、前記アプリケーションのユーザ体感品質の推定値として出力するユーザ体感品質推定ステップと
を備えることを特徴とするユーザ体感品質推定方法。
【請求項１２】
パケット網を介して接続された送信側および受信側アプリケーション端末間で、リアルタイム系のアプリケーションにより映像や音声などのメディアを符号化して得られた各フレームをメディア用パケットで送受信した際に、前記受信側アプリケーション端末で受信再生したメディアについてユーザが実感するユーザ体感品質を推定するユーザ体感品質推定装置のコンピュータに、
品質情報取得部により、前記送信側アプリケーション端末から送信されたメディア用パケットの送信状況を示す送信側品質情報と、前記受信側アプリケーション端末で受信した前記メディア用パケットの受信状況を示す受信品質情報とを取得する品質情報取得ステップと、
品質解析部により、前記送信品質情報と前記受信品質情報とに基づいて前記各フレームに関する再生タイミングのずれを示す再生誤差時間と正常再生できなかった無効フレームに対応する再生期間を示す無効フレーム再生時間との合計を無効再生時間として算出し、任意の評価期間に対する前記無効再生時間の割合を無効再生時間率として算出する品質解析ステップと、
ユーザ体感品質推定部により、無効再生時間率とユーザ体感品質値との関係を示す品質推定モデルから、前記品質解析部で算出された無効再生時間率に対応するユーザ体感品質値を導出し、前記アプリケーションのユーザ体感品質の推定値として出力するユーザ体感品質推定ステップと
を実行させるプログラム。
【請求項１】
パケット網を介して接続された送信側および受信側アプリケーション端末間で、リアルタイム系のアプリケーションにより映像や音声などのメディアを符号化して得られた各フレームをメディア用パケットで送受信した際に、前記受信側アプリケーション端末で受信再生したメディアについてユーザが実感するユーザ体感品質を推定するユーザ体感品質推定装置であって、
前記送信側アプリケーション端末から送信されたメディア用パケットの送信状況を示す送信側品質情報と、前記受信側アプリケーション端末で受信した前記メディア用パケットの受信状況を示す受信品質情報と、前記メディア用パケットに含まれている各種の時刻情報とを取得する品質情報取得部と、
前記送信品質情報と前記受信品質情報とに基づいて前記各フレームに関する再生タイミングのずれを示す再生誤差時間と正常再生できなかった無効フレームに対応する再生期間を示す無効フレーム再生時間との合計を無効再生時間として算出し、任意の評価期間に対する前記無効再生時間の割合を無効再生時間率として算出する品質解析部と、
無効再生時間率とユーザ体感品質値との関係を示す品質推定モデルから、前記品質解析部で算出された無効再生時間率に対応するユーザ体感品質値を導出し、前記アプリケーションのユーザ体感品質の推定値として出力するユーザ体感品質推定部と
を備えることを特徴とするユーザ体感品質推定装置。
【請求項２】
請求項１に記載のユーザ体感品質推定装置において、
前記品質解析部は、
前記受信側アプリケーション端末における前記メディア全体のメディア再生開始時刻と前記メディア用パケットに含まれる当該フレームの再生時刻情報とから当該フレームの再生予定時刻を算出するとともに、前記メディア再生開始時刻と前記メディア用パケットの受信時刻とから当該フレームの実際の再生時刻を算出する時刻情報解析手段と、
当該フレームの前記再生予定時刻と前記再生時刻との時刻差からなる前記再生誤差時間が許容値を上回った場合に当該再生誤差時間を前記無効再生時間に加算するとともに、当該フレームが前記無効フレームの場合は前記再生予定時刻から次のフレームの再生予定時刻との時刻差からなる前記無効フレーム再生時間を前記無効再生時間に加算する無効再生時間算出手段と、
任意の評価期間に対する前記無効再生時間の割合を無効再生時間率として算出する無効再生時間率算出手段と
を有することを特徴とするユーザ体感品質推定装置。
【請求項３】
請求項１に記載のユーザ体感品質推定装置において、
前記品質解析部は、
前記送信品質情報と前記受信品質情報とに基づいて前記メディア用パケットのうち正常に受信できなかったパケットを無効パケットとして判定する無効パケット判定手段と、
前記送信品質情報に基づいて前記無効パケットに対応するフレームを対象フレームとして識別するフレーム識別手段と、
前記メディアの符号化に用いたフレーム構成と前記対象フレームとに基づいて、前記各フレームについて前記無効フレームか否かを判定する無効フレーム判定手段と
を有することを特徴とするユーザ体感品質推定装置。
【請求項４】
請求項１に記載のユーザ体感品質推定装置において、
前記無効パケット判定手段は、前記送信品質情報で送信が確認されたメディア用パケットのうち前記受信品質情報で受信が確認されていないメディア用パケット、および前記受信品質情報の各メディア用パケットの到着間隔を示す遅延揺らぎ時間が前記アプリケーションの許容パケット遅延時間を超えるメディア用パケットを前記無効パケットと判定することを特徴とするユーザ体感品質推定装置。
【請求項５】
請求項１に記載のユーザ体感品質推定装置において、
前記無効パケット判定手段は、前記受信品質情報で受信確認されたメディア用パケットの送信順序と受信順序とが矛盾するメディア用パケットを前記無効パケットと判定することを特徴とするユーザ体感品質推定装置。
【請求項６】
請求項１に記載のユーザ体感品質推定装置において、
前記フレーム識別手段は、前記送信品質情報に含まれる前記無効パケットのヘッダ情報から、前記対象フレームのフレーム番号およびフレーム種別を取得し、
前記無効フレーム判定手段は、前記各フレームのうち前記対象フレームを無効フレームと判定するとともに、前記フレーム構成で規定されているフレーム種別の並びに従って当該フレームの復号に用いる他のフレームに無効フレームが含まれている場合には当該フレームを無効フレームと判定する
ことを特徴とするユーザ体感品質推定装置。
【請求項７】
請求項１に記載のユーザ体感品質推定装置において、
前記品質情報取得部は、前記受信側アプリケーション端末のパケット受信部で受信された前記送信側アプリケーション端末側からの品質情報を前記送信品質情報として取得するとともに、前記受信側アプリケーション端末のパケット受信部で受信されたメディア用パケットから得られた品質情報を前記受信品質情報として取得することを特徴とするユーザ体感品質推定装置。
【請求項８】
請求項１に記載のユーザ体感品質推定装置において、
前記品質情報取得部は、前記送信側アプリケーション端末のパケット受信部で受信された前記受信側アプリケーション端末側からの品質情報を前記受信品質情報として取得するとともに、前記送信側アプリケーション端末のパケット送信部で送信されたメディア用パケットから得られた品質情報を前記送信品質情報として取得することを特徴とするユーザ体感品質推定装置。
【請求項９】
請求項１に記載のユーザ体感品質推定装置において、
前記送信側アプリケーション端末のパケット送信部で得られた前記送信品質情報を前記受信側アプリケーション端末へ通知する品質情報通知部をさらに備えることを特徴とするユーザ体感品質推定装置。
【請求項１０】
請求項１に記載のユーザ体感品質推定装置において、
前記受信側アプリケーション端末のパケット受信部で得られた前記受信品質情報を前記送信側アプリケーション端末へ通知する品質情報通知部をさらに備えることを特徴とするユーザ体感品質推定装置。
【請求項１１】
パケット網を介して接続された送信側および受信側アプリケーション端末間で、リアルタイム系のアプリケーションにより映像や音声などのメディアを符号化して得られた各フレームをメディア用パケットで送受信した際に、前記受信側アプリケーション端末で受信再生したメディアについてユーザが実感するユーザ体感品質を推定するユーザ体感品質推定装置で用いられるユーザ体感品質推定方法であって、
品質情報取得部により、前記送信側アプリケーション端末から送信されたメディア用パケットの送信状況を示す送信側品質情報と、前記受信側アプリケーション端末で受信した前記メディア用パケットの受信状況を示す受信品質情報とを取得する品質情報取得ステップと、
品質解析部により、前記送信品質情報と前記受信品質情報とに基づいて前記各フレームに関する再生タイミングのずれを示す再生誤差時間と正常再生できなかった無効フレームに対応する再生期間を示す無効フレーム再生時間との合計を無効再生時間として算出し、任意の評価期間に対する前記無効再生時間の割合を無効再生時間率として算出する品質解析ステップと、
ユーザ体感品質推定部により、無効再生時間率とユーザ体感品質値との関係を示す品質推定モデルから、前記品質解析部で算出された無効再生時間率に対応するユーザ体感品質値を導出し、前記アプリケーションのユーザ体感品質の推定値として出力するユーザ体感品質推定ステップと
を備えることを特徴とするユーザ体感品質推定方法。
【請求項１２】
パケット網を介して接続された送信側および受信側アプリケーション端末間で、リアルタイム系のアプリケーションにより映像や音声などのメディアを符号化して得られた各フレームをメディア用パケットで送受信した際に、前記受信側アプリケーション端末で受信再生したメディアについてユーザが実感するユーザ体感品質を推定するユーザ体感品質推定装置のコンピュータに、
品質情報取得部により、前記送信側アプリケーション端末から送信されたメディア用パケットの送信状況を示す送信側品質情報と、前記受信側アプリケーション端末で受信した前記メディア用パケットの受信状況を示す受信品質情報とを取得する品質情報取得ステップと、
品質解析部により、前記送信品質情報と前記受信品質情報とに基づいて前記各フレームに関する再生タイミングのずれを示す再生誤差時間と正常再生できなかった無効フレームに対応する再生期間を示す無効フレーム再生時間との合計を無効再生時間として算出し、任意の評価期間に対する前記無効再生時間の割合を無効再生時間率として算出する品質解析ステップと、
ユーザ体感品質推定部により、無効再生時間率とユーザ体感品質値との関係を示す品質推定モデルから、前記品質解析部で算出された無効再生時間率に対応するユーザ体感品質値を導出し、前記アプリケーションのユーザ体感品質の推定値として出力するユーザ体感品質推定ステップと
を実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００７−３２９７７５（Ｐ２００７−３２９７７５Ａ）
【公開日】平成１９年１２月２０日（２００７．１２．２０）
【国際特許分類】
【出願番号】特願２００６−１６０３３０（Ｐ２００６−１６０３３０）
【出願日】平成１８年６月８日（２００６．６．８）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成１９年１２月２０日（２００７．１２．２０）
【国際特許分類】
【出願日】平成１８年６月８日（２００６．６．８）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]