マルチメディア総合品質推定方法および装置
【課題】一定区間内に同時に映像および音劣化が発生する場合においても十分な推定精度を得る。
【解決手段】劣化発生パターン一致度算出部２５で、映像パケット情報と音パケット情報とに基づき、計測時間のうち映像と音の両方で劣化が発生した同時劣化区間数に基づき劣化発生パターン一致度を算出し、劣化同時発生影響度推定部２６で、劣化同時発生影響度推定モデル１３Ｃに基づき、劣化発生パターン一致度に対応する劣化同時発生影響度を算出する。この後、マルチメディア総合品質推定部２７で、マルチメディア総合品質推定モデル１３Ｄに基づき、映像品質推定部２３で算出した映像品質推定値、音品質推定部２４で算出した音品質推定値、および劣化同時発生影響度推定部２６で算出した劣化同時発生影響度に対応するマルチメディア総合品質値を算出する。
【解決手段】劣化発生パターン一致度算出部２５で、映像パケット情報と音パケット情報とに基づき、計測時間のうち映像と音の両方で劣化が発生した同時劣化区間数に基づき劣化発生パターン一致度を算出し、劣化同時発生影響度推定部２６で、劣化同時発生影響度推定モデル１３Ｃに基づき、劣化発生パターン一致度に対応する劣化同時発生影響度を算出する。この後、マルチメディア総合品質推定部２７で、マルチメディア総合品質推定モデル１３Ｄに基づき、映像品質推定部２３で算出した映像品質推定値、音品質推定部２４で算出した音品質推定値、および劣化同時発生影響度推定部２６で算出した劣化同時発生影響度に対応するマルチメディア総合品質値を算出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通信品質推定技術に関し、特に映像品質と音品質を総合したユーザ体感品質を推定する技術に関する。
【背景技術】
【０００２】
ＩＰ網のアクセス網が広帯域化する中、映像配信サービスやテレビ会議など映像系のサービスが普及しつつある。これらの映像アプリケーションでは、ネットワークや端末でパケットの損失や遅延が生じた場合に映像品質劣化や音品質劣化となり、サービス品質が落ちるため、一定のマルチメディア総合品質を確保するようネットワークや端末の品質を管理する必要がある。このためには、例えば、パケット損失や遅延などのネットワーク品質がユーザの視聴する映像品質や音品質からマルチメディア総合品質すなわちユーザ体感品質がどうなっているのか品質推定する必要がある。
【０００３】
このような映像通信サービスにおけるマルチメディア総合品質を推定する方法として、音品質、映像品質および両者の遅延時間などからマルチメディア総合品質を推定する方法がある（例えば、非特許文献１など参照）。この方法を用いれば、ユーザが体感するマルチメディア総合品質を推定することが可能となる。
【０００４】
【特許文献１】特許３５７９３３４号公報
【特許文献２】特開２００６−０３３７２２号公報
【非特許文献１】ＰＣＴ／ＪＰ２００６／３１７６３７："Video communication quality for Estimation device,Method,and Program"
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、このような従来技術では、映像品質劣化と音品質劣化が同時に発生した場合、独立して発生した場合に比べてユーザ体感品質への影響が軽減されるような映像品質劣化と音品質劣化の劣化発生パターンのユーザ体感品質への影響については考慮されておらず、マルチメディア総合品質の推定誤差を生じる要因となっていた。
本発明はこのような課題を解決するものであり、複数発生したパケット損失に起因して、一定区間内に同時に映像および音劣化が発生する場合や独立して劣化が発生する場合など、いずれの場合においても十分な推定精度が得られるマルチメディア総合品質推定方法および装置を提供することを目的としている。
【課題を解決するための手段】
【０００６】
このような目的を達成するために、本発明にかかるマルチメディア総合品質推定方法は、映像および音の符号化データをそれぞれ別個のデータパケットに格納して送信装置から通信網を介して受信装置へ送信する映像通信について、演算処理部と記憶部を備えるマルチメディア総合品質推定装置により、任意の計測期間内に取得したデータパケットから得た映像パケットに関する映像パケット情報から推定した映像品質値と、データパケットから得た音声パケットに関する音パケット情報から推定した音品質値とを用いて、映像通信の総合的な品質を示すマルチメディア総合品質を推定するマルチメディア総合品質推定方法であって、記憶部により、劣化パターン一致度と劣化同時発生影響度との対応関係を示す劣化同時発生影響度推定モデルを記憶するとともに、映像品質値、音品質値、および劣化同時発生影響度と、マルチメディア総合品質値との対応関係を示すマルチメディア総合品質推定モデルを記憶する記憶ステップと、演算処理部により、映像パケット情報と音パケット情報とに基づいて、計測時間を区切って設けた複数の区間のうち、映像と音の両方で劣化が発生した同時劣化区間数に基づき劣化発生パターン一致度を算出する劣化発生パターン一致度算出ステップと、演算処理部により、記憶部から読み出した劣化同時発生影響度推定モデルに基づいて、劣化発生パターン一致度に対応する劣化同時発生影響度を算出する劣化同時発生影響度推定ステップと、演算処理部により、記憶部から読み出したマルチメディア総合品質推定モデルに基づいて、映像品質推定値、音品質推定値、および劣化同時発生影響度に対応するマルチメディア総合品質値を算出するマルチメディア総合品質推定ステップとを備えている。
【０００７】
この際、劣化発生パターン一致度算出ステップで、映像パケット情報と音パケット情報とから得た各区間における映像無効パケットと音無効パケットとの発生有無に基づいて、区間ごとに同時劣化区間であるか否かを判定するようにしてもよい。
【０００８】
また、劣化発生パターン一致度算出ステップで、各区間のうち少なくとも映像または音のいずれか一方で劣化が発生した区間の数に対する同時劣化区間数の割合を、劣化発生パターン一致度として算出するようにしてもよい。
【０００９】
また、劣化同時発生影響度推定モデルとして、劣化発生パターン一致度の増加に応じて劣化同時発生影響度が単調減少する関数を用いてもよい。
【００１０】
また、マルチメディア総合品質推定モデルとして、映像品質値、音品質値、これら映像品質値と音品質値の積、および劣化同時発生影響度の重み付き線形和からマルチメディア総合品質を算出する関数を用いてもよい。
【００１１】
また、本発明にかかるマルチメディア総合品質推定装置は、映像および音の符号化データをそれぞれ別個のデータパケットに格納して送信装置から通信網を介して受信装置へ送信する映像通信について、任意の計測期間内に取得したデータパケットから得た映像パケットに関する映像パケット情報から推定した映像品質値と、データパケットから得た音声パケットに関する音パケット情報から推定した音品質値とを用いて、映像通信の総合的な品質を示すマルチメディア総合品質を推定するマルチメディア総合品質推定装置であって、劣化パターン一致度と劣化同時発生影響度との対応関係を示す劣化同時発生影響度推定モデルを記憶するとともに、映像品質値、音品質値、および劣化同時発生影響度と、マルチメディア総合品質値との対応関係を示すマルチメディア総合品質推定モデルを記憶する記憶部と、映像パケット情報と音パケット情報とに基づいて、計測時間を区切って設けた複数の区間のうち、映像と音の両方で劣化が発生した同時劣化区間数に基づき劣化発生パターン一致度を算出する劣化発生パターン一致度算出部と、記憶部から読み出した劣化同時発生影響度推定モデルに基づいて、劣化発生パターン一致度に対応する劣化同時発生影響度を算出する劣化同時発生影響度推定部と、記憶部から読み出したマルチメディア総合品質推定モデルに基づいて、映像品質推定値、音品質推定値、および劣化同時発生影響度に対応するマルチメディア総合品質値を算出するマルチメディア総合品質推定部とを備えている。
【００１２】
この際、劣化発生パターン一致度算出部で、映像パケット情報と音パケット情報とから得た各区間における映像無効パケットと音無効パケットとの発生有無に基づいて、区間ごとに同時劣化区間であるか否かを判定するようにしてもよい。
【００１３】
また、劣化発生パターン一致度算出部で、各区間のうち少なくとも映像または音のいずれか一方で劣化が発生した区間の数に対する同時劣化区間数の割合を、劣化発生パターン一致度として算出するようにしてもよい。
【００１４】
また、劣化同時発生影響度推定モデルとして、劣化発生パターン一致度の増加に応じて劣化同時発生影響度が単調減少する関数を用いてもよい。
【００１５】
また、マルチメディア総合品質推定モデルとして、映像品質値、音品質値、これら映像品質値と音品質値の積、および劣化同時発生影響度の重み付き線形和からマルチメディア総合品質を算出する関数を用いてもよい。
【発明の効果】
【００１６】
本発明によれば、映像と音を含む映像通信の総合的なマルチメディア総合品質を推定する際、映像品質劣化と音品質劣化が同時に発生した場合に、これらが独立して発生した場合に比べてユーザ体感品質への影響が軽減される傾向を考慮して、マルチメディア総合品質を推定することができる。
このため、複数発生したパケット損失に起因して、一定区間内に同時に映像および音劣化が発生する場合や独立して劣化が発生する場合など、いずれの場合においても十分な推定精度を得ることが可能となる。
【発明を実施するための最良の形態】
【００１７】
次に、本発明の実施の形態について図面を参照して説明する。
［マルチメディア総合品質推定装置の構成］
まず、図１を参照して、本発明の一実施の形態にかかるマルチメディア総合品質推定装置について説明する。図１は、本発明の一実施の形態にかかるマルチメディア総合品質推定装置の構成を示すブロック図である。
【００１８】
マルチメディア総合品質推定装置１は、全体として映像通信サービスのサーバ装置やパーソナルコンピュータ、あるいは映像通信端末などのコンピュータを用いた情報処理装置からなり、送信装置により、所定の符号化方式に基づき映像および音声の情報をデータパケットに格納し、通信網を介して接続された受信装置へ送信する映像通信のマルチメディア総合品質を推定する機能を有している。ここでは、マルチメディア総合品質推定装置１を、受信端末とは独立して実現した場合について説明する。
【００１９】
このマルチメディア総合品質推定装置１には、演算処理部１０、操作入力部１１、画面表示部１２、記憶部１３、通信インタフェース部１４（以下、通信１／Ｆ部という）、映像パケット情報収集部２１、音パケット情報収集部２２、映像品質推定部２３、音品質推定部２４、劣化発生パターン一致度算出部２５、劣化同時発生影響度推定部２６、マルチメディア総合品質推定部２７が設けられている。また、記憶部１３には、映像品質推定モデル１３Ａ、音品質推定モデル１３Ｂ、劣化同時発生影響度推定モデル１３Ｃ、マルチメディア総合品質推定モデル１３Ｄ、およびプログラム１３Ｐが記憶されている。
【００２０】
本実施の形態は、劣化発生パターン一致度算出部２５において、映像パケット情報収集部２１で得た映像パケット情報と音パケット情報収集部２２で得た音パケット情報とに基づいて、計測時間を区切って設けた複数の区間のうち、映像と音の両方で劣化が発生した同時劣化区間数に基づき劣化発生パターン一致度を算出し、劣化同時発生影響度推定部２６において、記憶部１３から読み出した劣化同時発生影響度推定モデル１３Ｃに基づいて、劣化発生パターン一致度に対応する劣化同時発生影響度を算出する。
【００２１】
この後、マルチメディア総合品質推定部２７において、記憶部１３から読み出したマルチメディア総合品質推定モデル１３Ｄに基づいて、映像品質推定部２３で算出した映像品質推定値、音品質推定部２４で算出した音品質推定値、および劣化同時発生影響度推定部２６で算出した劣化同時発生影響度に対応するマルチメディア総合品質値を算出する。
【００２２】
次に、図１を参照して、本発明の一実施の形態にかかるマルチメディア総合品質推定装置の構成について説明する。
演算処理部１０は、ＣＰＵなどのマイクロプロセッサとその周辺回路を有し、あらかじめ記憶部１３に保存されているプログラム１３Ｐを読み込んでマイクロプロセッサで実行することにより、上記ハードウェアとプログラム１３Ｐを協働させることにより各種機能処理部を実現する。
【００２３】
前述した機能部のうち、映像パケット情報収集部２１、音パケット情報収集部２２、映像品質推定部２３、音品質推定部２４、劣化発生パターン一致度算出部２５、劣化同時発生影響度推定部２６、マルチメディア総合品質推定部２７が演算処理部１０で実現される機能処理部に相当する。なお、これら機能処理部については、専用の演算処理回路で実現してもよい。
【００２４】
操作入力部１１は、キーボードやマウスなどの操作入力装置からなり、オペレータの操作を検出して演算処理部１０へ出力する機能を有している。
画面表示部１２は、ＬＣＤやＰＤＰなどの画面表示装置からなり、演算処理部１０からの指示に応じて、操作メニューや映像品質推定結果などの各種情報を画面表示する機能を有している。
【００２５】
記憶部１３は、メモリやハードディスクなどの記憶装置からなり、−演算処理部１０の機能処理部で用いる各種処理情報や各種推定用モデル、さらにはプログラム１３Ｐを記憶する機能を有している。プログラム１３Ｐは、通信１／Ｆ部１４を介して接続された外部装置や記録媒体から読み込まれて記憶部１３に格納される。
記憶部１３で記憶される推定用モデルとしては、映像品質推定モデル１３Ａ、音品質推定モデル１３Ｂ、劣化同時発生影響度推定モデル１３Ｃ、およびマルチメディア総合品質推定モデル１３Ｄがある。
【００２６】
映像品質推定モデル１３Ａは、映像無効パケットなどに関する映像パケット情報と映像品質値との対応関係を示すモデルである。
音品質推定モデル１３Ｂは、音無効パケットなどに関する映像パケット情報と音品質値との対応関係を示すモデルである。
劣化同時発生影響度推定モデル１３Ｃは、劣化パターン一致度と劣化同時発生影響度との対応関係を示すモデルである。
マルチメディア総合品質推定モデル１３Ｄは、マルチメディア総合品質値との対応関係を示すモデルである。
【００２７】
これら推定用モデルは、関数式で構成されているのが一般的であるが、データベースなどの他の公知のモデル構成であってもよい。これに推定用モデルは、予め試験やシミュレーションで得られた入出力情報に基づき回帰分析して導出しておけばよい。また、同一目的で使用するモデルを複数用意しておき、映像パケット情報や音パケット情報から抽出したパラメータや品質推定時に入力した当該映像通信に関するパラメータに基づき、複数のモデルのうちから実際の推定に用いるモデルを選択するようにしてもよい。この際、モデル選択用パラメータによりモデル係数を制御して、モデル形状を変化させることにより、実際の推定に用いるモデルを選択するようにしてもよい。これにより、より高精度な推定が可能となる。
【００２８】
通信Ｉ／Ｆ部１４は、送信装置２と受信装置３を結ぶ通信回線から、品質評価対象となる映像通信で用いるデータパケットや制御パケットなどの各種パケットを受信する機能を有している。
【００２９】
映像パケット情報収集部２１は、通信１／Ｆ部１４で受信された当該映像通信のパケットに基づいて、映像パケットに関する映像無効パケットなどの映像パケット情報を収集する機能を有している。ここで、無効パケットとは、パケット損失、順序逆転パケット、遅延ゆらぎによるバッファあふれにより端末で再生できなかったパケットを示す。
音パケット情報収集部２２は、通信１／Ｆ部１４で受信された当該映像通信のパケットに基づいて、音パケットに関する音無効パケットなどの音パケット情報を収集する機能を有している。
この際、映像パケット情報収集部２１や音パケット情報収集部２２では、パケット損失、順序逆転パケット、遅延ゆらぎによるバッファあふれを考慮した無効パケット情報を収集してもよい（例えば、特許文献１など参照）。
【００３０】
映像品質推定部２３は、記憶部１３から映像品質推定モデル１３Ａを読み出して、映像パケット情報収集部２１から得た映像パケット情報に対応する映像品質推定値を算出する機能を有している。
音品質推定部２４は、記憶部１３から音品質推定モデル１３Ｂを読み出して、音パケット情報収集部２２から得た音パケット情報に対応する音品質推定値を算出する機能を有している。
【００３１】
これら、映像品質推定部２３や音品質推定部２４における品質推定方法については、例えば映像無効パケットや音無効パケットに基づきユーザ体感品質を推定するなどの、一般的な公知の技術を用いればよく、ここでの詳細な説明は省略する。また、市販の測定機器において、映像信号や音信号を入力した結果、映像品質推定値や音信号推定値が算出されるものがあれば、これら測定機器を映像品質推定部２３や音品質推定部２４として利用してもよい。
【００３２】
劣化発生パターン一致度算出部２５は、映像パケット情報収集部２１と音パケット情報収集部２２から映像パケット情報と音パケット情報を受け取り、映像無効パケットおよび音無効パケットの発生の有無を区間毎に調べる機能と、全劣化発生区間に対する映像無効パケットと音無効パケットが同時に発生している区間の割合を劣化発生パターン一致度として算出する機能とを有している。
劣化同時発生影響度推定部２６は、記憶部１３から劣化同時発生影響度推定モデル１３Ｃを読み出して、劣化発生パターン一致度算出部２５で算出された劣化発生パターン一致度に対応する劣化同時発生影響度を算出する機能を有している。
【００３３】
マルチメディア総合品質推定部２７は、記憶部１３からマルチメディア総合品質推定モデル１３Ｄを読み出して、映像品質推定部２３で算出された映像品質推定値、音品質推定部２４で算出された音品質推定値、および劣化同時発生影響度推定部２６で算出された劣化同時発生影響度に対応するマルチメディア総合品質推定値を算出する機能を有している。
マルチメディア総合品質推定装置は、本実施例のように、受信装置の手前で測定器としておいてもよいし、映像配信サービスでセットトップボックス（ＳＴＢ）を介してテレビで映像・音を再生する場合には、ＳＴＢ内にマルチメディア総合品質推定機能を有してもよい。
【００３４】
［劣化発生パターン一致度］
次に、図２を参照して、劣化発生パターン一致度のユーザ体感品質（ＭＯＳ）への影響について説明する。図２は、劣化発生パターン一致度のユーザ体感品質への影響を示す説明図である。
【００３５】
図２において、劣化発生パターン例（１）は、一定時間内での音劣化発生回数が２回、映像劣化発生回数が２回であり、これをマルチメディアとして総合すると一定時間内に異なる時間軸上に４回発生している。この場合の劣化発生パターン一致度は０である。劣化発生パターン例（２）は、一定時間内の音劣化発生回数および映像劣化発生回数は、劣化発生パターン例（１）と同じ２回であるが、同一時刻に発生しているため、マルチメディアとして総合すると、一定時間内にユーザが知覚する劣化発生回数は２回となる。この場合の劣化発生パターン一致度は１である。
【００３６】
これらの場合についてユーザ体感品質に及ぼす影響を考える。劣化発生パターン例（１）および（２）について、音品質劣化に対する音品質主観評価値をそれぞれＭＯＳA1、ＭＯＳ盈、映像品質劣化に対する映像品質主観評価値をそれぞれＭＯＳV1、ＭＯＳV2、マルチメディア総合品質をそれぞれＭＯＳMM1、ＭＯＳMM2とする。
【００３７】
このとき、音品質については、劣化発生パターン例（１）の場合も（２）の場合も一定時間内の劣化発生回数は同じなので、ＭＯＳA1、ＭＯＳA2は等しいと考えられる。また、映像品質についても同様に映像劣化発生回数は同じなので、ＭＯＳV1、ＭＯＳV2は等しいと考えられる。
ところが、マルチメディア総合品質評価についてみると、一定時間内の発生回数が劣化発生パターン例（１）では４回、劣化発生パターン例（２）では２回であるため、ＭＯＳMM1とＭＯＳMM2は等しくならず、ＭＯＳMM1はＭＯＳMM2より低くなる。
【００３８】
［マルチメディア総合品質推定処理］
次に、図３を参照して、本発明の一実施の形態にかかるマルチメディア総合品質推定装置のマルチメディア総合品質推定動作について説明する。図３は、本発明の一実施の形態にかかるマルチメディア総合品質推定装置のマルチメディア総合品質推定処理を示すフローチャートである。
ここでは、送信装置２から任意の計測期間内に送信されて、通信網４を介して受信装置３で受信再生した音および映像からユーザが実感するユーザ体感品質値として、マルチメディア総合品質値を推定する場合を例として説明する。
【００３９】
マルチメディア総合品質推定装置１の演算処理部１０は、まず、通信Ｉ／Ｆ部１４により、送信装置２と受信装置３を結ぶ通信回線から、品質評価対象となる映像通信に関するパケットを計測期間について収集する（ステップ１００）。
次に、演算処理部１０は、映像パケット情報収集部２１により、通信１／Ｆ部１４で収集したパケットから映像パケット情報を収集するとともに（ステップ１０１）、音パケット情報収集部２２により、通信１／Ｆ部１４で収集したパケットから音パケット情報を収集する（ステップ１０２）。
【００４０】
続いて、演算処理部１０は、映像品質推定部２３により、記憶部１３から映像品質推定モデル１３Ａを読み出して、映像パケット情報収集部２１からの映像パケット情報に対応する映像品質推定値を算出するとともに（ステップ１０３）、音品質推定部２４により、記憶部１３から音品質推定モデル１３Ｂを読み出して、音パケット情報収集部２２からの音パケット情報に対応する音品質推定値を算出する（ステップ１０４）。
【００４１】
また、演算処理部１０は、劣化パターン一致度算出部２５により、映像パケット情報収集部２１からの映像パケット情報と音パケット情報収集部２２からの音パケット情報とに基づき、計測期間内に分割して設けた複数の区間ごとに劣化発生状況を調べ、その結果に基づいて劣化パターン一致度を算出する（ステップ１０５）。
次に、演算処理部１０は、劣化同時発生影響度推定部２６により、記憶部１３から劣化同時発生影響度推定モデル１３Ｃを読み出して、劣化パターン一致度算出部２５で算出した劣化パターン一致度に対応する劣化同時発生影響度を算出する（ステップ１０６）。
【００４２】
この後、演算処理部１０は、マルチメディア総合品質推定部２７により、記憶部１３からマルチメディア総合品質推定モデル１３Ｄを読み出して、映像品質推定部２３で算出された映像品質推定値、音品質推定部２４で算出された音品質推定値、および劣化同時発生影響度推定部２６で算出された劣化同時発生影響度に対応するマルチメディア総合品質推定値を算出し（ステップ１０７）、一連のマルチメディア総合品質推定処理を終了する。
【００４３】
［劣化発生パターン一致度算出処理］
次に、図４を参照して、本発明の一実施の形態にかかるマルチメディア総合品質推定装置の劣化パターン一致度算出動作について説明する。図４は、劣化パターン一致度算出方法を示す説明図である。
【００４４】
劣化パターン一致度算出部２５は、計測期間Ｔ内において一定時間で区切られた区間ｔを一単位として、映像無効パケットおよび音無効パケットの発生状況から、各区間ｔ内の劣化発生状況をそれぞれ調べ、その結果に基づいて映像劣化と音劣化が同時に発生している同時劣化区間数を計数する。図４の例では、区間Ｓ１，Ｓ５，Ｓ８，Ｓ９において映像無効パケットが確認され映像劣化が発生しており、区間Ｓ３，Ｓ５，Ｓ９において音無効パケットが確認され音劣化が発生している。したがって、映像劣化と音劣化が同時劣化区間はＳ５，Ｓ９となり、計測期間Ｔにおいて同時劣化区間数は２となる。
【００４５】
一方、劣化パターン一致度算出部２５は、映像無効パケットおよび音無効パケットの発生状況から、計測期間Ｔ内の総劣化発生区間数を計数する。図４の例では、少なくとも映像劣化または音劣化のいずれか一方が発生した区間は、Ｓ１，Ｓ３，Ｓ５，Ｓ８，Ｓ９となり、計測期間Ｔにおいて、総劣化発生区間数は５となる。
この後、劣化パターン一致度算出部２５は、計測期間Ｔ内の総劣化発生区間数に対する同時劣化区間数の割合を劣化発生パターン一致度として算出する。
【００４６】
このとき、劣化発生の有無については、区間内の無効パケットの発生の有無以外の方法で判定してもよい。また、映像無効パケットの場合は、映像無効パケットにより劣化が影響するフレーム時間長を考慮した映像無効フレームの発生の有無で算出してもよい（例えば、特許文献２など参照）。
また、パターン一致度を算出するための区間の時間長は、例えば、映像に劣化が加わった場合の劣化のリフレッシュ期間として一般的な映像配信サービスで用いられる０．５秒の整数倍としてもよい。また、劣化発生パターン一致度を算出するための全測定区間は、主観品質を推定する時間単位である１０秒としてもよい。
【００４７】
図５は、劣化発生パターン一致度と劣化同時発生影響度の関係を示すグラフである。劣化同時発生影響度推定モデルは、劣化発生パターン一致度ｘ（但し、０≦ｘ≦１）の増加に応じて劣化同時発生影響度が単調減少となる関数であればよく、例えばｆ（ｘ）＝１−ａｘ，ｆ（ｘ）＝１−ａｘ2，ｆ（ｘ）＝１−ａｘ1/2，ｆ（ｘ）＝１−(ａｘ2＋ｂｘ）などの関数ｆ（ｘ）を用いればよい。但し、ａ，ｂは定数である。
【００４８】
次に、マルチメディア総合品質推定モデルとして、例えばＭＯＳA、ＭＯＳV、ＭＯＳA×ＭＯＳV、ｆ（ｘ）の重み付き線形和でＭＯＳMMを算出する次の関数式（１）を考える。但し、α，β，γ，εは定数（重み）である。
ＭＯＳMM＝αＭＯＳA＋βＭＯＳV＋γＭＯＳA×ＭＯＳV＋ｆ（ｘ）＋ε …（１）
【００４９】
マルチメディア総合品質推定モデルを導出するためには、式（１）において、ｆ（ｘ）は前述の単調減少関数を当てはめて重回帰分析を行う。ｆ（ｘ）の式の関数形を変えた場合について同様に重回帰分析を行って、両重回帰分析結果を比較し、最も主観品質との対応がよい重相関係数が高いものをモデル式として選ぶ。また、マルチメディア総合品質推定モデルの形としては、式（１）に限定されるものではなく、ＭＯＳA、ＭＯＳV、ｆ（ｘ）のすべての交互作用を考慮したモデル式であってもよい。
【００５０】
［本実施の形態の効果］
このように、本実施の形態は、劣化発生パターン一致度算出部２５で、映像パケット情報と音パケット情報とに基づいて、計測時間のうち映像と音の両方で劣化が発生した同時劣化区間数に基づき劣化発生パターン一致度を算出し、劣化同時発生影響度推定部２６で、記憶部１３から読み出した劣化同時発生影響度推定モデル１３Ｃに基づいて、劣化発生パターン一致度に対応する劣化同時発生影響度を算出する。
この後、マルチメディア総合品質推定部２７で、記憶部１３から読み出したマルチメディア総合品質推定モデル１３Ｄに基づいて、映像品質推定部２３で算出した映像品質推定値、音品質推定部２４で算出した音品質推定値、および劣化同時発生影響度推定部２６で算出した劣化同時発生影響度に対応するマルチメディア総合品質値を算出している。
【００５１】
したがって、映像と音を含む映像通信の総合的なマルチメディア総合品質を推定する際、映像品質劣化と音品質劣化が同時に発生した場合、これらが独立して発生した場合に比べてユーザ体感品質への影響が軽減される傾向を考慮して、マルチメディア総合品質を推定することができる。
このため、複数発生したパケット損失に起因して、一定区間内に同時に映像および音劣化が発生する場合や独立して劣化が発生する場合など、いずれの場合においても十分な推定精度を得ることが可能となる。
【００５２】
また、本実施の形態では、劣化同時発生影響度推定モデル１３Ｃとマルチメディア総合品質推定モデル１３Ｄを別個のモデルとして構成する場合を例として説明したが、劣化同時発生影響度推定モデル１３Ｃをマルチメディア総合品質推定モデル１３Ｄに組み込んでもよい。この場合、マルチメディア総合品質推定部２７により、映像品質推定部２３で算出された映像品質推定値、音品質推定部２４で算出された音品質推定値、および劣化パターン一致度算出部２５で算出された劣化パターン一致度を入力とし、マルチメディア総合品質推定モデル１３Ｄに基づいてこれら入力に対応するマルチメディア総合品質推定値を算出することになる。これにより、劣化同時発生影響度推定部２６や劣化同時発生影響度推定モデル１３Ｃなどの構成を削減することができる。
【図面の簡単な説明】
【００５３】
【図１】本発明の一実施の形態にかかるマルチメディア総合品質推定装置の構成を示すブロック図である。
【図２】劣化発生パターン一致度のユーザ体感品質への影響を示す説明図である。
【図３】本発明の一実施の形態にかかるマルチメディア総合品質推定装置のマルチメディア総合品質推定処理を示すフローチャートである。
【図４】劣化パターン一致度算出方法を示す説明図である。
【図５】劣化発生パターン一致度と劣化同時発生影響度の関係を示すグラフである。
【符号の説明】
【００５４】
１…マルチメディア総合品質推定装置、１０…演算処理部、１１…操作入力部、１２…画面表示部、１３…記憶部、１３Ａ…映像品質推定モデル、１３Ｂ…音品質推定モデル、１３Ｃ…劣化同時発生影響度推定モデル、１３Ｄ…マルチメディア総合品質推定モデル、１３Ｐ…プログラム、１４…通信１／Ｆ部、２１…映像パケット情報収集部、２２…音パケット情報収集部、２３…映像品質推定部、２４…音品質推定部、２５…劣化発生パターン一致度算出部、２６…劣化同時発生影響度推定部、２７…マルチメディア総合品質推定部、２…送信装置、３…受信装置、４…通信網。
【技術分野】
【０００１】
本発明は、通信品質推定技術に関し、特に映像品質と音品質を総合したユーザ体感品質を推定する技術に関する。
【背景技術】
【０００２】
ＩＰ網のアクセス網が広帯域化する中、映像配信サービスやテレビ会議など映像系のサービスが普及しつつある。これらの映像アプリケーションでは、ネットワークや端末でパケットの損失や遅延が生じた場合に映像品質劣化や音品質劣化となり、サービス品質が落ちるため、一定のマルチメディア総合品質を確保するようネットワークや端末の品質を管理する必要がある。このためには、例えば、パケット損失や遅延などのネットワーク品質がユーザの視聴する映像品質や音品質からマルチメディア総合品質すなわちユーザ体感品質がどうなっているのか品質推定する必要がある。
【０００３】
このような映像通信サービスにおけるマルチメディア総合品質を推定する方法として、音品質、映像品質および両者の遅延時間などからマルチメディア総合品質を推定する方法がある（例えば、非特許文献１など参照）。この方法を用いれば、ユーザが体感するマルチメディア総合品質を推定することが可能となる。
【０００４】
【特許文献１】特許３５７９３３４号公報
【特許文献２】特開２００６−０３３７２２号公報
【非特許文献１】ＰＣＴ／ＪＰ２００６／３１７６３７："Video communication quality for Estimation device,Method,and Program"
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、このような従来技術では、映像品質劣化と音品質劣化が同時に発生した場合、独立して発生した場合に比べてユーザ体感品質への影響が軽減されるような映像品質劣化と音品質劣化の劣化発生パターンのユーザ体感品質への影響については考慮されておらず、マルチメディア総合品質の推定誤差を生じる要因となっていた。
本発明はこのような課題を解決するものであり、複数発生したパケット損失に起因して、一定区間内に同時に映像および音劣化が発生する場合や独立して劣化が発生する場合など、いずれの場合においても十分な推定精度が得られるマルチメディア総合品質推定方法および装置を提供することを目的としている。
【課題を解決するための手段】
【０００６】
このような目的を達成するために、本発明にかかるマルチメディア総合品質推定方法は、映像および音の符号化データをそれぞれ別個のデータパケットに格納して送信装置から通信網を介して受信装置へ送信する映像通信について、演算処理部と記憶部を備えるマルチメディア総合品質推定装置により、任意の計測期間内に取得したデータパケットから得た映像パケットに関する映像パケット情報から推定した映像品質値と、データパケットから得た音声パケットに関する音パケット情報から推定した音品質値とを用いて、映像通信の総合的な品質を示すマルチメディア総合品質を推定するマルチメディア総合品質推定方法であって、記憶部により、劣化パターン一致度と劣化同時発生影響度との対応関係を示す劣化同時発生影響度推定モデルを記憶するとともに、映像品質値、音品質値、および劣化同時発生影響度と、マルチメディア総合品質値との対応関係を示すマルチメディア総合品質推定モデルを記憶する記憶ステップと、演算処理部により、映像パケット情報と音パケット情報とに基づいて、計測時間を区切って設けた複数の区間のうち、映像と音の両方で劣化が発生した同時劣化区間数に基づき劣化発生パターン一致度を算出する劣化発生パターン一致度算出ステップと、演算処理部により、記憶部から読み出した劣化同時発生影響度推定モデルに基づいて、劣化発生パターン一致度に対応する劣化同時発生影響度を算出する劣化同時発生影響度推定ステップと、演算処理部により、記憶部から読み出したマルチメディア総合品質推定モデルに基づいて、映像品質推定値、音品質推定値、および劣化同時発生影響度に対応するマルチメディア総合品質値を算出するマルチメディア総合品質推定ステップとを備えている。
【０００７】
この際、劣化発生パターン一致度算出ステップで、映像パケット情報と音パケット情報とから得た各区間における映像無効パケットと音無効パケットとの発生有無に基づいて、区間ごとに同時劣化区間であるか否かを判定するようにしてもよい。
【０００８】
また、劣化発生パターン一致度算出ステップで、各区間のうち少なくとも映像または音のいずれか一方で劣化が発生した区間の数に対する同時劣化区間数の割合を、劣化発生パターン一致度として算出するようにしてもよい。
【０００９】
また、劣化同時発生影響度推定モデルとして、劣化発生パターン一致度の増加に応じて劣化同時発生影響度が単調減少する関数を用いてもよい。
【００１０】
また、マルチメディア総合品質推定モデルとして、映像品質値、音品質値、これら映像品質値と音品質値の積、および劣化同時発生影響度の重み付き線形和からマルチメディア総合品質を算出する関数を用いてもよい。
【００１１】
また、本発明にかかるマルチメディア総合品質推定装置は、映像および音の符号化データをそれぞれ別個のデータパケットに格納して送信装置から通信網を介して受信装置へ送信する映像通信について、任意の計測期間内に取得したデータパケットから得た映像パケットに関する映像パケット情報から推定した映像品質値と、データパケットから得た音声パケットに関する音パケット情報から推定した音品質値とを用いて、映像通信の総合的な品質を示すマルチメディア総合品質を推定するマルチメディア総合品質推定装置であって、劣化パターン一致度と劣化同時発生影響度との対応関係を示す劣化同時発生影響度推定モデルを記憶するとともに、映像品質値、音品質値、および劣化同時発生影響度と、マルチメディア総合品質値との対応関係を示すマルチメディア総合品質推定モデルを記憶する記憶部と、映像パケット情報と音パケット情報とに基づいて、計測時間を区切って設けた複数の区間のうち、映像と音の両方で劣化が発生した同時劣化区間数に基づき劣化発生パターン一致度を算出する劣化発生パターン一致度算出部と、記憶部から読み出した劣化同時発生影響度推定モデルに基づいて、劣化発生パターン一致度に対応する劣化同時発生影響度を算出する劣化同時発生影響度推定部と、記憶部から読み出したマルチメディア総合品質推定モデルに基づいて、映像品質推定値、音品質推定値、および劣化同時発生影響度に対応するマルチメディア総合品質値を算出するマルチメディア総合品質推定部とを備えている。
【００１２】
この際、劣化発生パターン一致度算出部で、映像パケット情報と音パケット情報とから得た各区間における映像無効パケットと音無効パケットとの発生有無に基づいて、区間ごとに同時劣化区間であるか否かを判定するようにしてもよい。
【００１３】
また、劣化発生パターン一致度算出部で、各区間のうち少なくとも映像または音のいずれか一方で劣化が発生した区間の数に対する同時劣化区間数の割合を、劣化発生パターン一致度として算出するようにしてもよい。
【００１４】
また、劣化同時発生影響度推定モデルとして、劣化発生パターン一致度の増加に応じて劣化同時発生影響度が単調減少する関数を用いてもよい。
【００１５】
また、マルチメディア総合品質推定モデルとして、映像品質値、音品質値、これら映像品質値と音品質値の積、および劣化同時発生影響度の重み付き線形和からマルチメディア総合品質を算出する関数を用いてもよい。
【発明の効果】
【００１６】
本発明によれば、映像と音を含む映像通信の総合的なマルチメディア総合品質を推定する際、映像品質劣化と音品質劣化が同時に発生した場合に、これらが独立して発生した場合に比べてユーザ体感品質への影響が軽減される傾向を考慮して、マルチメディア総合品質を推定することができる。
このため、複数発生したパケット損失に起因して、一定区間内に同時に映像および音劣化が発生する場合や独立して劣化が発生する場合など、いずれの場合においても十分な推定精度を得ることが可能となる。
【発明を実施するための最良の形態】
【００１７】
次に、本発明の実施の形態について図面を参照して説明する。
［マルチメディア総合品質推定装置の構成］
まず、図１を参照して、本発明の一実施の形態にかかるマルチメディア総合品質推定装置について説明する。図１は、本発明の一実施の形態にかかるマルチメディア総合品質推定装置の構成を示すブロック図である。
【００１８】
マルチメディア総合品質推定装置１は、全体として映像通信サービスのサーバ装置やパーソナルコンピュータ、あるいは映像通信端末などのコンピュータを用いた情報処理装置からなり、送信装置により、所定の符号化方式に基づき映像および音声の情報をデータパケットに格納し、通信網を介して接続された受信装置へ送信する映像通信のマルチメディア総合品質を推定する機能を有している。ここでは、マルチメディア総合品質推定装置１を、受信端末とは独立して実現した場合について説明する。
【００１９】
このマルチメディア総合品質推定装置１には、演算処理部１０、操作入力部１１、画面表示部１２、記憶部１３、通信インタフェース部１４（以下、通信１／Ｆ部という）、映像パケット情報収集部２１、音パケット情報収集部２２、映像品質推定部２３、音品質推定部２４、劣化発生パターン一致度算出部２５、劣化同時発生影響度推定部２６、マルチメディア総合品質推定部２７が設けられている。また、記憶部１３には、映像品質推定モデル１３Ａ、音品質推定モデル１３Ｂ、劣化同時発生影響度推定モデル１３Ｃ、マルチメディア総合品質推定モデル１３Ｄ、およびプログラム１３Ｐが記憶されている。
【００２０】
本実施の形態は、劣化発生パターン一致度算出部２５において、映像パケット情報収集部２１で得た映像パケット情報と音パケット情報収集部２２で得た音パケット情報とに基づいて、計測時間を区切って設けた複数の区間のうち、映像と音の両方で劣化が発生した同時劣化区間数に基づき劣化発生パターン一致度を算出し、劣化同時発生影響度推定部２６において、記憶部１３から読み出した劣化同時発生影響度推定モデル１３Ｃに基づいて、劣化発生パターン一致度に対応する劣化同時発生影響度を算出する。
【００２１】
この後、マルチメディア総合品質推定部２７において、記憶部１３から読み出したマルチメディア総合品質推定モデル１３Ｄに基づいて、映像品質推定部２３で算出した映像品質推定値、音品質推定部２４で算出した音品質推定値、および劣化同時発生影響度推定部２６で算出した劣化同時発生影響度に対応するマルチメディア総合品質値を算出する。
【００２２】
次に、図１を参照して、本発明の一実施の形態にかかるマルチメディア総合品質推定装置の構成について説明する。
演算処理部１０は、ＣＰＵなどのマイクロプロセッサとその周辺回路を有し、あらかじめ記憶部１３に保存されているプログラム１３Ｐを読み込んでマイクロプロセッサで実行することにより、上記ハードウェアとプログラム１３Ｐを協働させることにより各種機能処理部を実現する。
【００２３】
前述した機能部のうち、映像パケット情報収集部２１、音パケット情報収集部２２、映像品質推定部２３、音品質推定部２４、劣化発生パターン一致度算出部２５、劣化同時発生影響度推定部２６、マルチメディア総合品質推定部２７が演算処理部１０で実現される機能処理部に相当する。なお、これら機能処理部については、専用の演算処理回路で実現してもよい。
【００２４】
操作入力部１１は、キーボードやマウスなどの操作入力装置からなり、オペレータの操作を検出して演算処理部１０へ出力する機能を有している。
画面表示部１２は、ＬＣＤやＰＤＰなどの画面表示装置からなり、演算処理部１０からの指示に応じて、操作メニューや映像品質推定結果などの各種情報を画面表示する機能を有している。
【００２５】
記憶部１３は、メモリやハードディスクなどの記憶装置からなり、−演算処理部１０の機能処理部で用いる各種処理情報や各種推定用モデル、さらにはプログラム１３Ｐを記憶する機能を有している。プログラム１３Ｐは、通信１／Ｆ部１４を介して接続された外部装置や記録媒体から読み込まれて記憶部１３に格納される。
記憶部１３で記憶される推定用モデルとしては、映像品質推定モデル１３Ａ、音品質推定モデル１３Ｂ、劣化同時発生影響度推定モデル１３Ｃ、およびマルチメディア総合品質推定モデル１３Ｄがある。
【００２６】
映像品質推定モデル１３Ａは、映像無効パケットなどに関する映像パケット情報と映像品質値との対応関係を示すモデルである。
音品質推定モデル１３Ｂは、音無効パケットなどに関する映像パケット情報と音品質値との対応関係を示すモデルである。
劣化同時発生影響度推定モデル１３Ｃは、劣化パターン一致度と劣化同時発生影響度との対応関係を示すモデルである。
マルチメディア総合品質推定モデル１３Ｄは、マルチメディア総合品質値との対応関係を示すモデルである。
【００２７】
これら推定用モデルは、関数式で構成されているのが一般的であるが、データベースなどの他の公知のモデル構成であってもよい。これに推定用モデルは、予め試験やシミュレーションで得られた入出力情報に基づき回帰分析して導出しておけばよい。また、同一目的で使用するモデルを複数用意しておき、映像パケット情報や音パケット情報から抽出したパラメータや品質推定時に入力した当該映像通信に関するパラメータに基づき、複数のモデルのうちから実際の推定に用いるモデルを選択するようにしてもよい。この際、モデル選択用パラメータによりモデル係数を制御して、モデル形状を変化させることにより、実際の推定に用いるモデルを選択するようにしてもよい。これにより、より高精度な推定が可能となる。
【００２８】
通信Ｉ／Ｆ部１４は、送信装置２と受信装置３を結ぶ通信回線から、品質評価対象となる映像通信で用いるデータパケットや制御パケットなどの各種パケットを受信する機能を有している。
【００２９】
映像パケット情報収集部２１は、通信１／Ｆ部１４で受信された当該映像通信のパケットに基づいて、映像パケットに関する映像無効パケットなどの映像パケット情報を収集する機能を有している。ここで、無効パケットとは、パケット損失、順序逆転パケット、遅延ゆらぎによるバッファあふれにより端末で再生できなかったパケットを示す。
音パケット情報収集部２２は、通信１／Ｆ部１４で受信された当該映像通信のパケットに基づいて、音パケットに関する音無効パケットなどの音パケット情報を収集する機能を有している。
この際、映像パケット情報収集部２１や音パケット情報収集部２２では、パケット損失、順序逆転パケット、遅延ゆらぎによるバッファあふれを考慮した無効パケット情報を収集してもよい（例えば、特許文献１など参照）。
【００３０】
映像品質推定部２３は、記憶部１３から映像品質推定モデル１３Ａを読み出して、映像パケット情報収集部２１から得た映像パケット情報に対応する映像品質推定値を算出する機能を有している。
音品質推定部２４は、記憶部１３から音品質推定モデル１３Ｂを読み出して、音パケット情報収集部２２から得た音パケット情報に対応する音品質推定値を算出する機能を有している。
【００３１】
これら、映像品質推定部２３や音品質推定部２４における品質推定方法については、例えば映像無効パケットや音無効パケットに基づきユーザ体感品質を推定するなどの、一般的な公知の技術を用いればよく、ここでの詳細な説明は省略する。また、市販の測定機器において、映像信号や音信号を入力した結果、映像品質推定値や音信号推定値が算出されるものがあれば、これら測定機器を映像品質推定部２３や音品質推定部２４として利用してもよい。
【００３２】
劣化発生パターン一致度算出部２５は、映像パケット情報収集部２１と音パケット情報収集部２２から映像パケット情報と音パケット情報を受け取り、映像無効パケットおよび音無効パケットの発生の有無を区間毎に調べる機能と、全劣化発生区間に対する映像無効パケットと音無効パケットが同時に発生している区間の割合を劣化発生パターン一致度として算出する機能とを有している。
劣化同時発生影響度推定部２６は、記憶部１３から劣化同時発生影響度推定モデル１３Ｃを読み出して、劣化発生パターン一致度算出部２５で算出された劣化発生パターン一致度に対応する劣化同時発生影響度を算出する機能を有している。
【００３３】
マルチメディア総合品質推定部２７は、記憶部１３からマルチメディア総合品質推定モデル１３Ｄを読み出して、映像品質推定部２３で算出された映像品質推定値、音品質推定部２４で算出された音品質推定値、および劣化同時発生影響度推定部２６で算出された劣化同時発生影響度に対応するマルチメディア総合品質推定値を算出する機能を有している。
マルチメディア総合品質推定装置は、本実施例のように、受信装置の手前で測定器としておいてもよいし、映像配信サービスでセットトップボックス（ＳＴＢ）を介してテレビで映像・音を再生する場合には、ＳＴＢ内にマルチメディア総合品質推定機能を有してもよい。
【００３４】
［劣化発生パターン一致度］
次に、図２を参照して、劣化発生パターン一致度のユーザ体感品質（ＭＯＳ）への影響について説明する。図２は、劣化発生パターン一致度のユーザ体感品質への影響を示す説明図である。
【００３５】
図２において、劣化発生パターン例（１）は、一定時間内での音劣化発生回数が２回、映像劣化発生回数が２回であり、これをマルチメディアとして総合すると一定時間内に異なる時間軸上に４回発生している。この場合の劣化発生パターン一致度は０である。劣化発生パターン例（２）は、一定時間内の音劣化発生回数および映像劣化発生回数は、劣化発生パターン例（１）と同じ２回であるが、同一時刻に発生しているため、マルチメディアとして総合すると、一定時間内にユーザが知覚する劣化発生回数は２回となる。この場合の劣化発生パターン一致度は１である。
【００３６】
これらの場合についてユーザ体感品質に及ぼす影響を考える。劣化発生パターン例（１）および（２）について、音品質劣化に対する音品質主観評価値をそれぞれＭＯＳA1、ＭＯＳ盈、映像品質劣化に対する映像品質主観評価値をそれぞれＭＯＳV1、ＭＯＳV2、マルチメディア総合品質をそれぞれＭＯＳMM1、ＭＯＳMM2とする。
【００３７】
このとき、音品質については、劣化発生パターン例（１）の場合も（２）の場合も一定時間内の劣化発生回数は同じなので、ＭＯＳA1、ＭＯＳA2は等しいと考えられる。また、映像品質についても同様に映像劣化発生回数は同じなので、ＭＯＳV1、ＭＯＳV2は等しいと考えられる。
ところが、マルチメディア総合品質評価についてみると、一定時間内の発生回数が劣化発生パターン例（１）では４回、劣化発生パターン例（２）では２回であるため、ＭＯＳMM1とＭＯＳMM2は等しくならず、ＭＯＳMM1はＭＯＳMM2より低くなる。
【００３８】
［マルチメディア総合品質推定処理］
次に、図３を参照して、本発明の一実施の形態にかかるマルチメディア総合品質推定装置のマルチメディア総合品質推定動作について説明する。図３は、本発明の一実施の形態にかかるマルチメディア総合品質推定装置のマルチメディア総合品質推定処理を示すフローチャートである。
ここでは、送信装置２から任意の計測期間内に送信されて、通信網４を介して受信装置３で受信再生した音および映像からユーザが実感するユーザ体感品質値として、マルチメディア総合品質値を推定する場合を例として説明する。
【００３９】
マルチメディア総合品質推定装置１の演算処理部１０は、まず、通信Ｉ／Ｆ部１４により、送信装置２と受信装置３を結ぶ通信回線から、品質評価対象となる映像通信に関するパケットを計測期間について収集する（ステップ１００）。
次に、演算処理部１０は、映像パケット情報収集部２１により、通信１／Ｆ部１４で収集したパケットから映像パケット情報を収集するとともに（ステップ１０１）、音パケット情報収集部２２により、通信１／Ｆ部１４で収集したパケットから音パケット情報を収集する（ステップ１０２）。
【００４０】
続いて、演算処理部１０は、映像品質推定部２３により、記憶部１３から映像品質推定モデル１３Ａを読み出して、映像パケット情報収集部２１からの映像パケット情報に対応する映像品質推定値を算出するとともに（ステップ１０３）、音品質推定部２４により、記憶部１３から音品質推定モデル１３Ｂを読み出して、音パケット情報収集部２２からの音パケット情報に対応する音品質推定値を算出する（ステップ１０４）。
【００４１】
また、演算処理部１０は、劣化パターン一致度算出部２５により、映像パケット情報収集部２１からの映像パケット情報と音パケット情報収集部２２からの音パケット情報とに基づき、計測期間内に分割して設けた複数の区間ごとに劣化発生状況を調べ、その結果に基づいて劣化パターン一致度を算出する（ステップ１０５）。
次に、演算処理部１０は、劣化同時発生影響度推定部２６により、記憶部１３から劣化同時発生影響度推定モデル１３Ｃを読み出して、劣化パターン一致度算出部２５で算出した劣化パターン一致度に対応する劣化同時発生影響度を算出する（ステップ１０６）。
【００４２】
この後、演算処理部１０は、マルチメディア総合品質推定部２７により、記憶部１３からマルチメディア総合品質推定モデル１３Ｄを読み出して、映像品質推定部２３で算出された映像品質推定値、音品質推定部２４で算出された音品質推定値、および劣化同時発生影響度推定部２６で算出された劣化同時発生影響度に対応するマルチメディア総合品質推定値を算出し（ステップ１０７）、一連のマルチメディア総合品質推定処理を終了する。
【００４３】
［劣化発生パターン一致度算出処理］
次に、図４を参照して、本発明の一実施の形態にかかるマルチメディア総合品質推定装置の劣化パターン一致度算出動作について説明する。図４は、劣化パターン一致度算出方法を示す説明図である。
【００４４】
劣化パターン一致度算出部２５は、計測期間Ｔ内において一定時間で区切られた区間ｔを一単位として、映像無効パケットおよび音無効パケットの発生状況から、各区間ｔ内の劣化発生状況をそれぞれ調べ、その結果に基づいて映像劣化と音劣化が同時に発生している同時劣化区間数を計数する。図４の例では、区間Ｓ１，Ｓ５，Ｓ８，Ｓ９において映像無効パケットが確認され映像劣化が発生しており、区間Ｓ３，Ｓ５，Ｓ９において音無効パケットが確認され音劣化が発生している。したがって、映像劣化と音劣化が同時劣化区間はＳ５，Ｓ９となり、計測期間Ｔにおいて同時劣化区間数は２となる。
【００４５】
一方、劣化パターン一致度算出部２５は、映像無効パケットおよび音無効パケットの発生状況から、計測期間Ｔ内の総劣化発生区間数を計数する。図４の例では、少なくとも映像劣化または音劣化のいずれか一方が発生した区間は、Ｓ１，Ｓ３，Ｓ５，Ｓ８，Ｓ９となり、計測期間Ｔにおいて、総劣化発生区間数は５となる。
この後、劣化パターン一致度算出部２５は、計測期間Ｔ内の総劣化発生区間数に対する同時劣化区間数の割合を劣化発生パターン一致度として算出する。
【００４６】
このとき、劣化発生の有無については、区間内の無効パケットの発生の有無以外の方法で判定してもよい。また、映像無効パケットの場合は、映像無効パケットにより劣化が影響するフレーム時間長を考慮した映像無効フレームの発生の有無で算出してもよい（例えば、特許文献２など参照）。
また、パターン一致度を算出するための区間の時間長は、例えば、映像に劣化が加わった場合の劣化のリフレッシュ期間として一般的な映像配信サービスで用いられる０．５秒の整数倍としてもよい。また、劣化発生パターン一致度を算出するための全測定区間は、主観品質を推定する時間単位である１０秒としてもよい。
【００４７】
図５は、劣化発生パターン一致度と劣化同時発生影響度の関係を示すグラフである。劣化同時発生影響度推定モデルは、劣化発生パターン一致度ｘ（但し、０≦ｘ≦１）の増加に応じて劣化同時発生影響度が単調減少となる関数であればよく、例えばｆ（ｘ）＝１−ａｘ，ｆ（ｘ）＝１−ａｘ2，ｆ（ｘ）＝１−ａｘ1/2，ｆ（ｘ）＝１−(ａｘ2＋ｂｘ）などの関数ｆ（ｘ）を用いればよい。但し、ａ，ｂは定数である。
【００４８】
次に、マルチメディア総合品質推定モデルとして、例えばＭＯＳA、ＭＯＳV、ＭＯＳA×ＭＯＳV、ｆ（ｘ）の重み付き線形和でＭＯＳMMを算出する次の関数式（１）を考える。但し、α，β，γ，εは定数（重み）である。
ＭＯＳMM＝αＭＯＳA＋βＭＯＳV＋γＭＯＳA×ＭＯＳV＋ｆ（ｘ）＋ε …（１）
【００４９】
マルチメディア総合品質推定モデルを導出するためには、式（１）において、ｆ（ｘ）は前述の単調減少関数を当てはめて重回帰分析を行う。ｆ（ｘ）の式の関数形を変えた場合について同様に重回帰分析を行って、両重回帰分析結果を比較し、最も主観品質との対応がよい重相関係数が高いものをモデル式として選ぶ。また、マルチメディア総合品質推定モデルの形としては、式（１）に限定されるものではなく、ＭＯＳA、ＭＯＳV、ｆ（ｘ）のすべての交互作用を考慮したモデル式であってもよい。
【００５０】
［本実施の形態の効果］
このように、本実施の形態は、劣化発生パターン一致度算出部２５で、映像パケット情報と音パケット情報とに基づいて、計測時間のうち映像と音の両方で劣化が発生した同時劣化区間数に基づき劣化発生パターン一致度を算出し、劣化同時発生影響度推定部２６で、記憶部１３から読み出した劣化同時発生影響度推定モデル１３Ｃに基づいて、劣化発生パターン一致度に対応する劣化同時発生影響度を算出する。
この後、マルチメディア総合品質推定部２７で、記憶部１３から読み出したマルチメディア総合品質推定モデル１３Ｄに基づいて、映像品質推定部２３で算出した映像品質推定値、音品質推定部２４で算出した音品質推定値、および劣化同時発生影響度推定部２６で算出した劣化同時発生影響度に対応するマルチメディア総合品質値を算出している。
【００５１】
したがって、映像と音を含む映像通信の総合的なマルチメディア総合品質を推定する際、映像品質劣化と音品質劣化が同時に発生した場合、これらが独立して発生した場合に比べてユーザ体感品質への影響が軽減される傾向を考慮して、マルチメディア総合品質を推定することができる。
このため、複数発生したパケット損失に起因して、一定区間内に同時に映像および音劣化が発生する場合や独立して劣化が発生する場合など、いずれの場合においても十分な推定精度を得ることが可能となる。
【００５２】
また、本実施の形態では、劣化同時発生影響度推定モデル１３Ｃとマルチメディア総合品質推定モデル１３Ｄを別個のモデルとして構成する場合を例として説明したが、劣化同時発生影響度推定モデル１３Ｃをマルチメディア総合品質推定モデル１３Ｄに組み込んでもよい。この場合、マルチメディア総合品質推定部２７により、映像品質推定部２３で算出された映像品質推定値、音品質推定部２４で算出された音品質推定値、および劣化パターン一致度算出部２５で算出された劣化パターン一致度を入力とし、マルチメディア総合品質推定モデル１３Ｄに基づいてこれら入力に対応するマルチメディア総合品質推定値を算出することになる。これにより、劣化同時発生影響度推定部２６や劣化同時発生影響度推定モデル１３Ｃなどの構成を削減することができる。
【図面の簡単な説明】
【００５３】
【図１】本発明の一実施の形態にかかるマルチメディア総合品質推定装置の構成を示すブロック図である。
【図２】劣化発生パターン一致度のユーザ体感品質への影響を示す説明図である。
【図３】本発明の一実施の形態にかかるマルチメディア総合品質推定装置のマルチメディア総合品質推定処理を示すフローチャートである。
【図４】劣化パターン一致度算出方法を示す説明図である。
【図５】劣化発生パターン一致度と劣化同時発生影響度の関係を示すグラフである。
【符号の説明】
【００５４】
１…マルチメディア総合品質推定装置、１０…演算処理部、１１…操作入力部、１２…画面表示部、１３…記憶部、１３Ａ…映像品質推定モデル、１３Ｂ…音品質推定モデル、１３Ｃ…劣化同時発生影響度推定モデル、１３Ｄ…マルチメディア総合品質推定モデル、１３Ｐ…プログラム、１４…通信１／Ｆ部、２１…映像パケット情報収集部、２２…音パケット情報収集部、２３…映像品質推定部、２４…音品質推定部、２５…劣化発生パターン一致度算出部、２６…劣化同時発生影響度推定部、２７…マルチメディア総合品質推定部、２…送信装置、３…受信装置、４…通信網。
【特許請求の範囲】
【請求項１】
映像および音の符号化データをそれぞれ別個のデータパケットに格納して送信装置から通信網を介して受信装置へ送信する映像通信について、演算処理部と記憶部を備えるマルチメディア総合品質推定装置により、任意の計測期間内に取得したデータパケットから得た映像パケットに関する映像パケット情報から推定した映像品質値と、前記データパケットから得た音声パケットに関する音パケット情報から推定した音品質値とを用いて、前記映像通信の総合的な品質を示すマルチメディア総合品質を推定するマルチメディア総合品質推定方法であって、
前記記憶部により、劣化パターン一致度と劣化同時発生影響度との対応関係を示す劣化同時発生影響度推定モデルを記憶するとともに、映像品質値、音品質値、および劣化同時発生影響度と、マルチメディア総合品質値との対応関係を示すマルチメディア総合品質推定モデルを記憶する記憶ステップと、
前記演算処理部により、前記映像パケット情報と前記音パケット情報とに基づいて、前記計測時間を区切って設けた複数の区間のうち、映像と音の両方で劣化が発生した同時劣化区間数に基づき劣化発生パターン一致度を算出する劣化発生パターン一致度算出ステップと、
前記演算処理部により、前記記憶部から読み出した劣化同時発生影響度推定モデルに基づいて、前記劣化発生パターン一致度に対応する劣化同時発生影響度を算出する劣化同時発生影響度推定ステップと、
前記演算処理部により、前記記憶部から読み出したマルチメディア総合品質推定モデルに基づいて、前記映像品質推定値、前記音品質推定値、および前記劣化同時発生影響度に対応するマルチメディア総合品質値を算出するマルチメディア総合品質推定ステップと
を備えることを特徴とするマルチメディア総合品質推定方法。
【請求項２】
請求項１に記載のマルチメディア総合品質推定方法において、
前記劣化発生パターン一致度算出ステップは、前記映像パケット情報と前記音パケット情報とから得た前記各区間における映像無効パケットと音無効パケットとの発生有無に基づいて、前記区間ごとに同時劣化区間であるか否かを判定することを特徴とするマルチメディア総合品質推定方法。
【請求項３】
請求項１に記載のマルチメディア総合品質推定方法において、
前記劣化発生パターン一致度算出ステップは、前記各区間のうち少なくとも映像または音のいずれか一方で劣化が発生した区間の数に対する前記同時劣化区間数の割合を、前記劣化発生パターン一致度として算出することを特徴とするマルチメディア総合品質推定方法。
【請求項４】
請求項１に記載のマルチメディア総合品質推定方法において、
前記劣化同時発生影響度推定モデルは、劣化発生パターン一致度の増加に応じて劣化同時発生影響度が単調減少する関数からなることを特徴とするマルチメディア総合品質推定方法。
【請求項５】
請求項１に記載のマルチメディア総合品質推定方法において、
前記マルチメディア総合品質推定モデルは、映像品質値、音品質値、これら映像品質値と音品質値の積、および劣化同時発生影響度の重み付き線形和からマルチメディア総合品質を算出する関数からなることを特徴とするマルチメディア総合品質推定方法。
【請求項６】
映像および音の符号化データをそれぞれ別個のデータパケットに格納して送信装置から通信網を介して受信装置へ送信する映像通信について、任意の計測期間内に取得したデータパケットから得た映像パケットに関する映像パケット情報から推定した映像品質値と、前記データパケットから得た音声パケットに関する音パケット情報から推定した音品質値とを用いて、前記映像通信の総合的な品質を示すマルチメディア総合品質を推定するマルチメディア総合品質推定装置であって、
劣化パターン一致度と劣化同時発生影響度との対応関係を示す劣化同時発生影響度推定モデルを記憶するとともに、映像品質値、音品質値、および劣化同時発生影響度と、マルチメディア総合品質値との対応関係を示すマルチメディア総合品質推定モデルを記憶する記憶部と、
前記映像パケット情報と前記音パケット情報とに基づいて、前記計測時間を区切って設けた複数の区間のうち、映像と音の両方で劣化が発生した同時劣化区間数に基づき劣化発生パターン一致度を算出する劣化発生パターン一致度算出部と、
前記記憶部から読み出した劣化同時発生影響度推定モデルに基づいて、前記劣化発生パターン一致度に対応する劣化同時発生影響度を算出する劣化同時発生影響度推定部と、
前記記憶部から読み出したマルチメディア総合品質推定モデルに基づいて、前記映像品質推定値、前記音品質推定値、および前記劣化同時発生影響度に対応するマルチメディア総合品質値を算出するマルチメディア総合品質推定部と
を備えることを特徴とするマルチメディア総合品質推定装置。
【請求項７】
請求項６に記載のマルチメディア総合品質推定装置において、
前記劣化発生パターン一致度算出部は、前記映像パケット情報と前記音パケット情報とから得た前記各区間における映像無効パケットと音無効パケットとの発生有無に基づいて、前記区間ごとに同時劣化区間であるか否かを判定することを特徴とするマルチメディア総合品質推定装置。
【請求項８】
請求項６に記載のマルチメディア総合品質推定装置において、
前記劣化発生パターン一致度算出部は、前記各区間のうち少なくとも映像または音のいずれか一方で劣化が発生した区間の数に対する前記同時劣化区間数の割合を、前記劣化発生パターン一致度として算出することを特徴とするマルチメディア総合品質推定装置。
【請求項９】
請求項６に記載のマルチメディア総合品質推定装置において、
前記劣化同時発生影響度推定モデルは、劣化発生パターン一致度の増加に応じて劣化同時発生影響度が単調減少する関数からなることを特徴とするマルチメディア総合品質推定装置。
【請求項１０】
請求項６に記載のマルチメディア総合品質推定装置において、
前記マルチメディア総合品質推定モデルは、映像品質値、音品質値、これら映像品質値と音品質値の積、および劣化同時発生影響度の重み付き線形和からマルチメディア総合品質を算出する関数からなることを特徴とするマルチメディア総合品質推定装置。
【請求項１】
映像および音の符号化データをそれぞれ別個のデータパケットに格納して送信装置から通信網を介して受信装置へ送信する映像通信について、演算処理部と記憶部を備えるマルチメディア総合品質推定装置により、任意の計測期間内に取得したデータパケットから得た映像パケットに関する映像パケット情報から推定した映像品質値と、前記データパケットから得た音声パケットに関する音パケット情報から推定した音品質値とを用いて、前記映像通信の総合的な品質を示すマルチメディア総合品質を推定するマルチメディア総合品質推定方法であって、
前記記憶部により、劣化パターン一致度と劣化同時発生影響度との対応関係を示す劣化同時発生影響度推定モデルを記憶するとともに、映像品質値、音品質値、および劣化同時発生影響度と、マルチメディア総合品質値との対応関係を示すマルチメディア総合品質推定モデルを記憶する記憶ステップと、
前記演算処理部により、前記映像パケット情報と前記音パケット情報とに基づいて、前記計測時間を区切って設けた複数の区間のうち、映像と音の両方で劣化が発生した同時劣化区間数に基づき劣化発生パターン一致度を算出する劣化発生パターン一致度算出ステップと、
前記演算処理部により、前記記憶部から読み出した劣化同時発生影響度推定モデルに基づいて、前記劣化発生パターン一致度に対応する劣化同時発生影響度を算出する劣化同時発生影響度推定ステップと、
前記演算処理部により、前記記憶部から読み出したマルチメディア総合品質推定モデルに基づいて、前記映像品質推定値、前記音品質推定値、および前記劣化同時発生影響度に対応するマルチメディア総合品質値を算出するマルチメディア総合品質推定ステップと
を備えることを特徴とするマルチメディア総合品質推定方法。
【請求項２】
請求項１に記載のマルチメディア総合品質推定方法において、
前記劣化発生パターン一致度算出ステップは、前記映像パケット情報と前記音パケット情報とから得た前記各区間における映像無効パケットと音無効パケットとの発生有無に基づいて、前記区間ごとに同時劣化区間であるか否かを判定することを特徴とするマルチメディア総合品質推定方法。
【請求項３】
請求項１に記載のマルチメディア総合品質推定方法において、
前記劣化発生パターン一致度算出ステップは、前記各区間のうち少なくとも映像または音のいずれか一方で劣化が発生した区間の数に対する前記同時劣化区間数の割合を、前記劣化発生パターン一致度として算出することを特徴とするマルチメディア総合品質推定方法。
【請求項４】
請求項１に記載のマルチメディア総合品質推定方法において、
前記劣化同時発生影響度推定モデルは、劣化発生パターン一致度の増加に応じて劣化同時発生影響度が単調減少する関数からなることを特徴とするマルチメディア総合品質推定方法。
【請求項５】
請求項１に記載のマルチメディア総合品質推定方法において、
前記マルチメディア総合品質推定モデルは、映像品質値、音品質値、これら映像品質値と音品質値の積、および劣化同時発生影響度の重み付き線形和からマルチメディア総合品質を算出する関数からなることを特徴とするマルチメディア総合品質推定方法。
【請求項６】
映像および音の符号化データをそれぞれ別個のデータパケットに格納して送信装置から通信網を介して受信装置へ送信する映像通信について、任意の計測期間内に取得したデータパケットから得た映像パケットに関する映像パケット情報から推定した映像品質値と、前記データパケットから得た音声パケットに関する音パケット情報から推定した音品質値とを用いて、前記映像通信の総合的な品質を示すマルチメディア総合品質を推定するマルチメディア総合品質推定装置であって、
劣化パターン一致度と劣化同時発生影響度との対応関係を示す劣化同時発生影響度推定モデルを記憶するとともに、映像品質値、音品質値、および劣化同時発生影響度と、マルチメディア総合品質値との対応関係を示すマルチメディア総合品質推定モデルを記憶する記憶部と、
前記映像パケット情報と前記音パケット情報とに基づいて、前記計測時間を区切って設けた複数の区間のうち、映像と音の両方で劣化が発生した同時劣化区間数に基づき劣化発生パターン一致度を算出する劣化発生パターン一致度算出部と、
前記記憶部から読み出した劣化同時発生影響度推定モデルに基づいて、前記劣化発生パターン一致度に対応する劣化同時発生影響度を算出する劣化同時発生影響度推定部と、
前記記憶部から読み出したマルチメディア総合品質推定モデルに基づいて、前記映像品質推定値、前記音品質推定値、および前記劣化同時発生影響度に対応するマルチメディア総合品質値を算出するマルチメディア総合品質推定部と
を備えることを特徴とするマルチメディア総合品質推定装置。
【請求項７】
請求項６に記載のマルチメディア総合品質推定装置において、
前記劣化発生パターン一致度算出部は、前記映像パケット情報と前記音パケット情報とから得た前記各区間における映像無効パケットと音無効パケットとの発生有無に基づいて、前記区間ごとに同時劣化区間であるか否かを判定することを特徴とするマルチメディア総合品質推定装置。
【請求項８】
請求項６に記載のマルチメディア総合品質推定装置において、
前記劣化発生パターン一致度算出部は、前記各区間のうち少なくとも映像または音のいずれか一方で劣化が発生した区間の数に対する前記同時劣化区間数の割合を、前記劣化発生パターン一致度として算出することを特徴とするマルチメディア総合品質推定装置。
【請求項９】
請求項６に記載のマルチメディア総合品質推定装置において、
前記劣化同時発生影響度推定モデルは、劣化発生パターン一致度の増加に応じて劣化同時発生影響度が単調減少する関数からなることを特徴とするマルチメディア総合品質推定装置。
【請求項１０】
請求項６に記載のマルチメディア総合品質推定装置において、
前記マルチメディア総合品質推定モデルは、映像品質値、音品質値、これら映像品質値と音品質値の積、および劣化同時発生影響度の重み付き線形和からマルチメディア総合品質を算出する関数からなることを特徴とするマルチメディア総合品質推定装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２００９−１６４７２７（Ｐ２００９−１６４７２７Ａ）
【公開日】平成２１年７月２３日（２００９．７．２３）
【国際特許分類】
【出願番号】特願２００７−３３９６６６（Ｐ２００７−３３９６６６）
【出願日】平成１９年１２月２８日（２００７．１２．２８）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２１年７月２３日（２００９．７．２３）
【国際特許分類】
【出願日】平成１９年１２月２８日（２００７．１２．２８）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]