映像品質推定装置、方法、およびプログラム
【課題】映像の動き量を考慮した映像品質値を少ない処理負担で算出する。
【解決手段】平均量子化パラメータ算出部１５により、品質推定区間に対応する対象映像通信の各フレームに関する量子化パラメータの平均値を示す平均量子化パラメータを算出し、代表量子化パラメータ算出部１４により、対象映像通信の量子化パラメータを代表する代表量子化パラメータを算出し、パケット損失変化指標算出部１６により、これら平均量子化パラメータと代表量子化パラメータとに基づいて、対象フレーム間での映像の動き量を示すパケット損失変化指標を算出し、映像品質推定部１７により、対象映像通信に関する符号化映像品質値、無効フレーム数、およびパケット損失変化指標に基づいて、対象映像通信の映像品質値を算出している。
【解決手段】平均量子化パラメータ算出部１５により、品質推定区間に対応する対象映像通信の各フレームに関する量子化パラメータの平均値を示す平均量子化パラメータを算出し、代表量子化パラメータ算出部１４により、対象映像通信の量子化パラメータを代表する代表量子化パラメータを算出し、パケット損失変化指標算出部１６により、これら平均量子化パラメータと代表量子化パラメータとに基づいて、対象フレーム間での映像の動き量を示すパケット損失変化指標を算出し、映像品質推定部１７により、対象映像通信に関する符号化映像品質値、無効フレーム数、およびパケット損失変化指標に基づいて、対象映像通信の映像品質値を算出している。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通信品質推定技術に関し、特にインターネットなどのＩＰネットワークを経由して行う、ＩＰＴＶサービス、映像配信サービス、映像コミュニケーションサービスなどの映像通信に関する品質を推定する技術に関する。
【背景技術】
【０００２】
インターネットへ接続するアクセス回線の高速化・広帯域化に伴い、音声や映像を用いた映像通信サービスが期待されている。インターネットは必ずしも通信品質が保証されているネットワークではないため、音声や映像の通信を行う場合、ユーザ間を結ぶネットワークの回線帯域が狭かったり、回線が輻輳したりすると、音声や映像に対してユーザが知覚する品質、すなわちユーザ体感品質（ＱｏＥ：Quality of Experience）が劣化してしまう。具体的には、映像に品質劣化が加わると、ぼけ、にじみ、モザイク状の歪み、ぎくしゃく感などとして知覚される。
したがって、このような映像通信サービスを品質良く提供するためには、サービス提供に先立った品質設計やサービス開始後の品質管理が重要となり、このためには、ユーザが享受する品質を適切に表現でき、しかも簡便かつ効率的な映像品質評価技術が必要となる。
【０００３】
上記映像品質評価技術として、パケット損失したフレームとそのフレームを参照するフレームからなる無効フレームの総量に基づいて、映像の劣化量を推定する映像品質推定技術が提案されている（特許文献１など参照）。しかしながら、上記技術は、映像コンテンツの依存性を考慮せず、フレーム構造のみから映像品質を推定しているため、適切に映像品質を推定することができない。
一般に、無効フレーム数が同じであっても、映像の動き量が大きいほど、ユーザが知覚する品質劣化は大きくなるという傾向がある。したがって、映像の動き量を考慮しない場合には、例えば、映像Ａと映像Ｂのフレームが同数フレーム損失した場合、映像Ａは動きが小さいため品質劣化として検知されにくいが、映像Ｂは動きが大きいため品質劣化として検知されやすい、といった現象を映像品質に反映させることができない。
【０００４】
従来、このような映像品質評価技術に対して、品質推定の対象となる映像の動き量を予め算出しておき、この動き量と無効フレームとから映像品質を推定する技術が提案されている（特許文献２など参照）。
【０００５】
【特許文献１】特開２００６−０３３７２２号公報
【特許文献２】特開２００８−００５１０８号公報
【非特許文献１】ITU-T Rec. P.910, "Subjective video quality assessment methods For multimedia applications".
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、このような従来技術では、映像品質推定に用いる映像の動き量として、隣接する２つのフレームの画素値をそれぞれ比較して算出する、Ｔｅｍｐｏｒａｌ Ｉｎｄｅｘ（例えば非特許文献１など参照）などの指標値を用いているため、指標値を算出するために膨大な処理負担が必要となる。このため、映像の動き量を予め算出している場合のみ、映像の動き量の影響を考慮した映像品質を推定することができ、映像の動き量が予めわからない大多数の映像については、映像の動き量の影響を考慮した映像品質をリアルタイムで推定することができないという問題点があった。
本発明はこのような課題を解決するためのものであり、映像の動き量を考慮した映像品質値を少ない処理負担で算出できる映像品質推定装置を提供することを目的としている。
【課題を解決するための手段】
【０００７】
このような目的を達成するために、本発明にかかる映像品質推定装置は、フレーム内およびフレーム間予測符号化方式に基づき対象映像を複数のフレームに圧縮符号化してＩＰパケットで送信する対象映像通信の映像品質を推定する映像品質推定装置であって、入力されたＩＰパケットを分析して、対象映像通信の映像品質に関する各種品質パラメータと、圧縮符号化の量子化ステップ幅に関する量子化パラメータとを抽出するＩＰパケット分析部と、品質パラメータに基づいて、パケット損失のあったフレームと復号時に当該フレームのパケット損失の影響を受ける他のフレームとからなる無効フレームの数を算出する無効フレーム数算出部と、品質パラメータに基づいて、圧縮符号化による映像劣化のみを考慮した、対象映像通信の符号化映像品質値を算出する符号化映像品質算出部と、品質推定区間に対応する対象映像通信の各フレームに関する量子化パラメータの平均値を算出する平均量子化パラメータ算出部と、対象映像通信の量子化パラメータを代表する代表量子化パラメータを算出する代表量子化パラメータ算出部と、平均量子化パラメータと代表量子化パラメータとに基づいて、対象フレーム間での映像の動き量を示すパケット損失変化指標を算出するパケット損失変化指標算出部と、符号化映像品質値、無効フレーム数、およびパケット損失変化指標に基づいて、対象映像通信の映像品質値を算出する映像品質算出部とを備えている。
【０００８】
この際、パケット損失変化指標算出部で、平均量子化パラメータと代表量子化パラメータとの差分を示す差分量子化パラメータの増加に応じてパケット損失変化指標が単調減少する特性を示す関数に基づいて、パケット損失変化指標を算出するようにしてもよい。
【０００９】
また、代表量子化パラメータ算出部で、符号化レートの増加に応じて量子化パラメータが単調減少する特性を示す関数に基づいて、品質パラメータに含まれる符号化レートに対応する量子化パラメータを代表量子化パラメータとして算出するようにしてもよい。
【００１０】
また、代表量子化パラメータ算出部で、無効フレーム数が０のとき符号化映像品質値を映像品質値の最大値とし、無効フレーム数の増加に応じて映像品質値が単調減少する特性を示す関数に基づいて、符号化映像品質値、無効フレーム数、およびパケット損失変化指標に対応する映像品質値を算出するようにしてもよい。
【００１１】
また、本発明にかかる映像品質推定方法は、フレーム内およびフレーム間予測符号化方式に基づき対象映像を複数のフレームに圧縮符号化してＩＰパケットで送信する対象映像通信の映像品質を推定する映像品質推定装置で用いられる映像品質推定方法であって、ＩＰパケット分析部が、入力されたＩＰパケットを分析して、対象映像通信の映像品質に関する各種品質パラメータと、圧縮符号化の量子化ステップ幅に関する量子化パラメータとを抽出するＩＰパケット分析ステップと、無効フレーム数算出部が、品質パラメータに基づいて、パケット損失のあったフレームと復号時に当該フレームのパケット損失の影響を受ける他のフレームとからなる無効フレームの数を算出する無効フレーム数算出ステップと、符号化映像品質算出部が、品質パラメータに基づいて、圧縮符号化による映像劣化のみを考慮した、対象映像通信の符号化映像品質値を算出する符号化映像品質算出ステップと、平均量子化パラメータ算出部が、品質推定区間に対応する対象映像通信の各フレームに関する量子化パラメータの平均値を算出する平均量子化パラメータ算出ステップと、代表量子化パラメータ算出部が、対象映像通信の量子化パラメータを代表する代表量子化パラメータを算出する代表量子化パラメータ算出ステップと、パケット損失変化指標算出部が、平均量子化パラメータと代表量子化パラメータとに基づいて、対象フレーム間での映像の動き量を示すパケット損失変化指標を算出するパケット損失変化指標算出ステップと、映像品質算出部が、符号化映像品質値、無効フレーム数、およびパケット損失変化指標に基づいて、対象映像通信の映像品質値を算出する映像品質算出ステップとを備えている。
【００１２】
また、本発明にかかるプログラムは、フレーム内およびフレーム間予測符号化方式に基づき対象映像を複数のフレームに圧縮符号化してＩＰパケットで送信する対象映像通信の映像品質を推定する映像品質推定装置のコンピュータに、ＩＰパケット分析部が、入力されたＩＰパケットを分析して、対象映像通信の映像品質に関する各種品質パラメータと、圧縮符号化の量子化ステップ幅に関する量子化パラメータとを抽出するＩＰパケット分析ステップと、無効フレーム数算出部が、品質パラメータに基づいて、パケット損失のあったフレームと復号時に当該フレームのパケット損失の影響を受ける他のフレームとからなる無効フレームの数を算出する無効フレーム数算出ステップと、符号化映像品質算出部が、品質パラメータに基づいて、圧縮符号化による映像劣化のみを考慮した、対象映像通信の符号化映像品質値を算出する符号化映像品質算出ステップと、平均量子化パラメータ算出部が、品質推定区間に対応する対象映像通信の各フレームに関する量子化パラメータの平均値を算出する平均量子化パラメータ算出ステップと、代表量子化パラメータ算出部が、対象映像通信の量子化パラメータを代表する代表量子化パラメータを算出する代表量子化パラメータ算出ステップと、パケット損失変化指標算出部が、平均量子化パラメータと代表量子化パラメータとに基づいて、対象フレーム間での映像の動き量を示すパケット損失変化指標を算出するパケット損失変化指標算出ステップと、映像品質算出部が、符号化映像品質値、無効フレーム数、およびパケット損失変化指標に基づいて、対象映像通信の映像品質値を算出する映像品質算出ステップとを実行させる。
【発明の効果】
【００１３】
本発明によれば、映像の動きを示すパケット損失変化指標を、隣接する２つのフレームの画素値を演算処理することなく、対象映像通信の各フレームに記載されている量子化パラメータから算出することができる。したがって、映像の動き量を考慮した映像品質値を少ない処理負担で算出でき、映像の動き量が予めわからない大多数の映像についても、映像の動き量の影響を考慮した映像品質をリアルタイムで推定することができる。
【発明を実施するための最良の形態】
【００１４】
次に、本発明の実施の形態について図面を参照して説明する。
［第１の実施の形態］
まず、図１を参照して、本発明の第１の実施の形態にかかる映像品質推定装置について説明する。図１は、本発明の第１の実施の形態にかかる映像品質推定装置の構成を示すブロック図である。
【００１５】
この映像品質推定装置１は、入力された情報を演算処理するコンピュータなどの情報処理装置からなり、複数のフレームに符号化した映像信号をフレーム内およびフレーム間予測符号化方式に基づき圧縮符号化した後、通信端末２Ａから通信端末２Ｂ端末へ、インターネットなどのＩＰネットワーク３を介してＩＰパケットで送信する映像通信について、その映像通信のＩＰパケットを入力として、通信端末２Ｂで復号されて再生された当該映像から視聴者が実感する主観映像品質の推定値を映像個別品質として算出する装置である。
【００１６】
この映像品質推定装置１には、主な機能部として、演算処理部１０、記憶部２０、通信インターフェース部（以下、通信Ｉ／Ｆ部という）３１、操作入力部３２、画面表示部３３が設けられている。また、演算処理部１０には、主な処理部として、ＩＰパケット分析部１１、無効フレーム数算出部１２、符号化映像品質算出部１３、代表量子化パラメータ算出部１４、平均量子化パラメータ算出部１５、パケット損失変化指標算出部１６、および映像品質推定部１７が設けられている。
【００１７】
［発明の原理］
一般に、フレーム内およびフレーム間予測符号化方式に基づき映像を複数のフレームに圧縮符号化してＩＰパケットで送信する映像通信では、ＩＰパケットが損失した際、損失ＩＰパケットが含まれるフレームに品質劣化が生じるとともに、当該フレームを用いてフレーム間予測符号化方式で符号化された他のフレームに、その品質劣化が伝搬する。
この際、映像の品質劣化には、ユーザが品質劣化を知覚しやすい劣化と知覚しにくい劣化があり、このようなユーザによる映像品質の主観評価に対する影響度は、映像の動き量に応じて変化する。
【００１８】
図２は、映像の動き量と無効フレーム数−主観評価値特性との関係を示す説明図である。図２に示すように、無効フレーム数ＩＦと主観評価値Ｖ（ＭＯＳ）の関係は、特性５１に示すように、動き量が小さいほど無効フレーム数ＩＦの増加に対する主観評価値Ｖの劣化が小さく、特性５２に示すように、動き量が大きいほど無効フレーム数ＩＦの増加に対する主観評価値Ｖの劣化は大きくなる。
【００１９】
映像品質推定において映像の動き量を考慮しない場合、これら無効フレーム数ＩＦと主観評価値Ｖの関係を示す各プロットが、特性５３に示すように、すべて一元的に捉えられるため、推定した映像品質値Ｖと実際の主観評価値Ｖとの誤差は大きい。したがって、品質推定対象となる対象映像通信から、当該対象映像の動き量を算出して、無効フレーム数−主観評価値特性を特定すれば、無効フレーム数ＩＦから映像の動き量を考慮した映像品質値Ｖを精度良く推定することが可能となる。
【００２０】
一方、ＭＰＥＧ２やＨ．２６４などのフレーム内およびフレーム間予測符号化方式を用いた映像通信では、映像をＩ，Ｂ，Ｐフレームなどのフレームに符号化することにより映像情報を圧縮する。
この際、動き量が大きい映像については、Ｉフレームの精細度を低くする代わりに、Ｉフレームの間に送信されるＢフレームやＰフレームの精細度を高くして、映像全体の品質を高めるように圧縮符号化処理が制御される。
【００２１】
また、動き量が小さい映像については、Ｉフレームの精細度を高くする代わりに、Ｉフレームの間に送信されるＢフレームやＰフレームの精細度を低く制御される。
したがって、動き量が大きい映像ほど、Ｉフレームの情報量が低下する代わりに、ＢフレームやＰフレームの情報量が増大する。また、動き量が小さい映像ほど、Ｉフレームの情報量が増大する代わりに、ＢフレームやＰフレームの情報量が低下する。
【００２２】
本発明では、このようなＩフレームの情報量と映像の動き量との関係に着目し、Ｉフレームの情報量から映像の動き量に応じたパケット損失の変化を示すパケット損失変化指標Ｄを導出し、この指標および無効フレーム数に基づいて、映像の動き量を考慮した映像品質を推定している。
【００２３】
また、本発明では、対象映像の圧縮符号化の際に用いる量子化ステップ幅に関する量子化パラメータが、各フレームの情報量と相関があることに着目し、この量子化パラメータからパケット損失変化指標Ｄを導出している。
この際、量子化パラメータは、映像通信の種類に応じてその値にばらつきがあることから、対象映像通信と同種の映像通信に関する代表量子化パラメータＱＰｔと、対象映像通信から算出した平均量子化パラメータＱＰとの差分を示す差分量子化パラメータΔＱＰを中間パラメータとして用いている。
【００２４】
図３は、パケット損失変化指標算出特性を示す説明図である。パケット損失変化指標特性は、差分量子化パラメータΔＱＰとパケット損失変化指標Ｄとの関係を示す特性であり、図３にような線形関数などの近似関数で表すことができる。本発明では、近似関数を特定する係数を、映像通信の種類ごとに予め算出しておき、対象映像通信から算出した差分量子化パラメータΔＱＰに基づいて、パケット損失変化指標Ｄを算出している。
【００２５】
［第１の実施の形態の構成］
次に、図１を参照して、本発明の第１の実施の形態にかかる映像品質推定装置の構成について詳細に説明する。
図１の映像品質推定装置１において、通信Ｉ／Ｆ部３１は、専用の通信回路部からなり、ＩＰネットワーク３を介してＩＰパケットを送受信することにより任意の通信端末とデータ通信を行う機能と、ＩＰネットワーク３を介して通信端末２Ａ，２Ｂ間でやり取りされる映像通信用のＩＰパケットを受信する機能とを有している。
【００２６】
操作入力部３２は、キーボードやマウスなどの操作入力装置からなり、オペレータの操作を検出して演算処理部１０へ出力する機能を有している。
画面表示部３３は、ＬＣＤやＰＤＰなどの画面表示装置からなり、演算処理部１０からの指示に応じて操作メニューや映像品質推定値などを画面表示する機能を有している。
【００２７】
記憶部２０は、ハードディスクやメモリなどの記憶装置からなり、演算処理部１０での映像品質推定処理に用いる各種処理情報やプログラム２９を記憶する機能を有している。
プログラム２９は、演算処理部１０により読み出されて実行されることにより、映像品質推定処理に必要な各種処理部を実現するプログラムであり、通信Ｉ／Ｆ部３１などの入出力インターフェース部を介して外部装置（図示せず）や記録媒体から読み込まれて記憶部２０に予め保存されている。
【００２８】
記憶部２０で記憶する主な処理情報としては、映像通信特定パラメータ２１、符号化映像品質情報２２、代表量子化パラメータ情報２３、パケット損失変化指標特性情報２４、および映像品質情報２５がある。
【００２９】
映像通信特定パラメータ２１は、映像品質の推定対象となる映像通信に関する各種パラメータのうち、映像品質に関するパラメータからなる。映像通信特定パラメータ２１としては、Ｈ．２６４，ＭＰＥＧなどのコーデック（CODEC）種別情報、Ｆｕｌｌ ＨＤ，ＨＤ，ＳＤなどの映像フォーマット情報、ＩＰＴＶ，ＶｏＤ，ＴＶ電話などのサービス種別情報を用いる。映像通信特定パラメータ２１は、予め操作入力部３２などを用いて外部から入力され記憶部２０に記憶される。
【００３０】
映像通信特定パラメータ２１については、上記の他、イントラリフレッシュレート，ＧＯＰなどのフレーム情報、ＤＣＴ係数，整数変換係数，ウェーブレット係数などの動き補償後の誤差信号に関する情報、パケット損失率，パケット損失パターン，パケット遅延時間などのパケット損失情報などを用いてもよい。
【００３１】
符号化映像品質情報２２は、映像通信特定パラメータ２１と各種品質パラメータの組み合わせと、圧縮符号化による映像劣化のみを考慮した符号化映像品質値との関係を示す情報である。図４は、符号化映像品質情報の構成例である。ここでは、映像通信のフレームレートＦＲおよび符号化レートＢＲに対応する符号化映像品質Ｖｃが、映像通信特定パラメータ２１のＣＯＤＥＣ、映像フォーマット、映像通信種別の組み合わせごとに登録されている。符号化映像品質情報２２における、映像通信特定パラメータ２１および各種品質パラメータの組み合わせと符号化映像品質Ｖｃとの対応関係は、各種映像通信から予め算出しておけばよい。
【００３２】
代表量子化パラメータ情報２３は、映像通信の映像通信特定パラメータ２１および各種品質パラメータの組み合わせと、圧縮符号化の量子化ステップ幅に関する量子化パラメータの代表値である代表量子化パラメータとの関係を示す情報である。図５は、代表量子化パラメータ情報の構成例である。ここでは、映像通信の符号化レートＢＲに対応する代表量子化パラメータＱＰｔが、映像通信特定パラメータ２１のＣＯＤＥＣ、映像フォーマット、映像通信種別の組み合わせごとに登録されている。
【００３３】
代表量子化パラメータ情報２３における、映像通信特定パラメータ２１および各種品質パラメータの組み合わせと代表量子化パラメータとの対応関係は、各種映像通信から予め算出しておけばよい。この際、動き量の異なる典型的な映像ｖを複数用意し、後述する式（１）を用いて、これら映像ｖごとに平均量子化パラメータＱＰを算出し、それぞれの映像ｖの映像通信特定パラメータ２１および各種品質パラメータの組み合わせごとに、平均量子化パラメータＱＰの平均値を求め、代表量子化パラメータＱＰｔとして用いればよい。
【００３４】
パケット損失変化指標特性情報２４は、映像通信の映像通信特定パラメータ２１と、パケット損失変化指標算出特性を特定する係数ａ，ｂとの対応関係を示す情報である。図６は、パケット損失変化指標特性情報の構成例である。
パケット損失変化指標特性は、差分量子化パラメータΔＱＰとパケット損失変化指標Ｄとの関係を示す特性であり、前述した図３にような線形関数などの近似関数で表すことができる。パケット損失変化指標特性情報２４には、図６に示すように、このような線形関数を特定する係数が、映像通信特定パラメータ２１のＣＯＤＥＣ、映像フォーマット、映像通信種別の組み合わせごとに登録されている。パケット損失変化指標特性情報２４における、映像通信特定パラメータ２１と係数ａ，ｂとの対応関係は、各種映像ごとに導出したパケット損失変化指標特性から予め算出しておけばよい。
【００３５】
映像品質情報２５は、映像通信の映像通信特定パラメータ２１、および符号化映像品質値Ｖｃ、無効フレーム数ＩＦ、パケット損失変化指標Ｄの組み合わせと、映像品質値Ｖとの対応関係を示す情報である。図７は、映像品質情報の構成例である。ここでは、符号化映像品質値Ｖｃ、無効フレーム数ＩＦ、およびパケット損失変化指標Ｄに対応する映像品質値Ｖが、映像通信特定パラメータ２１のＣＯＤＥＣ、映像フォーマット、映像通信種別の組み合わせごとに登録されている。
映像品質情報２５における、映像通信特定パラメータ２１、および符号化映像品質値Ｖｃ、無効フレーム数ＩＦ、パケット損失変化指標Ｄの組み合わせと、映像品質値Ｖとの対応関係は、各種映像通信から予め算出しておけばよい。
【００３６】
演算処理部１０は、ＣＰＵなどのマイクロプロセッサとその周辺回路とを有し、記憶部２０のプログラム２９を読み込んで実行することにより、上記ハードウェアとプログラム２９とを協働させることにより、映像品質推定処理に必要な各種処理部を実現する機能を有している。
演算処理部１０で実現される主な処理部として、ＩＰパケット分析部１１、無効フレーム数算出部１２、符号化映像品質算出部１３、代表量子化パラメータ算出部１４、平均量子化パラメータ算出部１５、パケット損失変化指標算出部１６、および映像品質推定部１７がある。
【００３７】
ＩＰパケット分析部１１は、通信Ｉ／Ｆ部３１で受信した、対象映像通信のＩＰパケットから、映像品質に関する各種品質パラメータと、当該映像の圧縮符号化の量子化ステップ幅に関する量子化パラメータとを抽出する機能を有している。
無効フレーム数算出部１２は、ＩＰパケット分析部１１で抽出された品質パラメータのフレーム種別情報ｆｔ、フレーム番号ｆｎ、および損失フレーム情報ｆｄに基づいて、パケット損失のあったフレームと復号時に当該フレームのパケット損失の影響を受ける他のフレームとからなる無効フレームの数を算出する機能を有している。
【００３８】
符号化映像品質算出部１３は、ＩＰパケット分析部１１で抽出された品質パラメータのフレームレートＦＲおよび符号化レートＢＲと、記憶部２０の映像通信特定パラメータ２１および符号化映像品質情報２２に基づいて、圧縮符号化による映像劣化のみを考慮した符号化映像品質値Ｖｃを算出する機能を有している。
代表量子化パラメータ算出部１４は、ＩＰパケット分析部１１で抽出された品質パラメータの符号化レートＢＲと、記憶部２０の映像通信特定パラメータ２１および代表量子化パラメータ情報２３とに基づいて、品質推定対象となる映像通信と同種の映像通信を代表する代表量子化パラメータＱＰｔを算出する機能を有している。
【００３９】
平均量子化パラメータ算出部１５は、ＩＰパケット分析部１１で抽出された、品質推定区間に対応する各フレームの量子化パラメータに基づき、その平均値を示す平均量子化パラメータＱＰを算出する機能を有している。
パケット損失変化指標算出部１６は、記憶部２０の映像通信特定パラメータ２１、平均量子化パラメータＱＰ、および代表量子化パラメータＱＰｔに基づいて、対象映像の動き量を示すパケット損失変化指標Ｄを算出する機能を有している。
映像品質推定部１７は、符号化映像品質値Ｖｃ、無効フレーム数ＩＦ、およびパケット損失変化指標Ｄに基づいて、対象映像通信の映像品質値Ｖを算出する機能と、この映像品質値Ｖを記憶部２０や画面表示部３３へ出力する機能とを有している。
【００４０】
［第１の実施の形態の動作］
次に、図８および図９を参照して、本発明の第１の実施の形態にかかる映像品質推定装置の動作について説明する。図８は、本発明の第１の実施の形態にかかる映像品質推定装置の映像品質推定動作を示すフロー図である。図９は、本発明の第１の実施の形態にかかる映像品質推定装置の映像品質推定処理を示すフローチャートである。
映像品質推定装置１の演算処理部１０は、操作入力部３２により映像品質推定処理の開始を示すオペレータ操作が検出された場合、図９の映像品質推定処理を開始する。
【００４１】
演算処理部１０は、まず、映像品質の推定対象となる対象映像通信のＩＰパケットを通信Ｉ／Ｆ部３１で受信し、ＩＰパケット分析部１１により、当該ＩＰパケットから、映像品質に関する各種品質パラメータと、当該映像の圧縮符号化の量子化ステップ幅に関する量子化パラメータとを抽出する（ステップ１００）。
ＩＰパケット内には、ＩＰヘッダ、ＵＤＰ(User Datagram Protocol)ヘッダ 、ＲＴＰ（Real-time Transport Protocol）ヘッダ、ＴＳ（Transport stream）、ＥＳ（Elementaly stream）などの情報が存在し、これら情報から各種パラメータを抽出する。
【００４２】
符号化レート（ビットレート）ＢＲについては、品質推定区間内に含まれる対象映像の符号化に必要とした符号量（ビット数）を計数し、その符号量から算出した単位時間当たりの符号量を符号化レートＢＲとすればよい。なお、本実施の形態では、品質推定区間内の符号化レートＢＲを用いたが、品質推定区間内のＩＰパケット数など、符号量を示す他の統計情報を用いてもよい。また、対象映像通信のサービス種別が決まっている場合には、固定の符号化レートで送出されることが多いため、ＩＰパケットから算出するのではなく、対象映像通信に対応する符号化レートＢＲを、映像通信特定パラメータ２１として外部入力するようにしてもよい。
【００４３】
フレームレートＦＲについては、ＩＰパケット内の記載から取得すればよい。具体的には、ＩＰパケット内の映像符号化情報が記載されている箇所に、フレームレートが直接記載されているものや、フレームレートに変換できる情報が記載されており、これら情報を用いてフレームレートを特定できる。圧縮符号化方式Ｈ．２６４の場合、timing_info_present_flag，Num_units_in_tick，Time_scale，Fixed_frame_rate_flagにより指定されており、これらパラメータがそれぞれ１，１００１，６００００，１の場合、フレームレートＦＲは２９．９７ｆｐｓとなる。
【００４４】
フレーム種別ｆｔについては、ＩＰパケット内の記載から取得すればよい。具体的には、圧縮符号化方式Ｈ．２６４の場合、primary_pic_typeというビット列がある。このprimary_pic_typeは、当該フレームが取り得るフレームの種類を示しており、このパラメータが０，１，２の場合、それぞれＩ，Ｐ，Ｂフレームと判定すればよい。
フレーム番号ｆｎについては、品質推定区間内の各フレームに、便宜上の番号を付与すればよい。圧縮符号化方式Ｈ．２６４のＩＰパケットやＴＳパケットの場合、Nal_unit_type内のAccess unit delimiterにより、フレームの開始位置が判定できるので、Access unit delimiterを識別するごとに、フレーム番号ｆｎを１ずつカウントして付与すればよい。但し、スライス構造を持つ場合は、スライスの数だけAccess unit delimiterが存在する。例えば、スライス数が６の場合、Access unit delimiterも６個存在する。このような場合には、スライス数を考慮してフレームを計数すればよい。
【００４５】
損失フレーム番号ｆｄについては、品質推定区間内のフレームのうち、パケット損失が発生しているフレームのフレーム番号ｆｎからなる。
量子化パラメータｑｐについては、ＩＰパケット内の符号化情報には、フレームを構成するブロックごとに量子化パラメータｑｐ（Quantization parameter）が記載されており、これらを取得すればよい。
【００４６】
演算処理部１０は、このようにしてパケット分析部１１により、各種品質パラメータと量子化パラメータとを抽出した後、無効フレーム数算出部１２により、パケット損失のあったフレームと復号時に当該フレームのパケット損失の影響を受ける他のフレームとからなる無効フレームの数を算出する（ステップ１０１）。
無効フレーム数算出部１２は、パケット分析部１１により抽出した各種品質パラメータのうち、フレーム種別情報ｆｔ、フレーム番号ｆｎ、および損失フレーム情報ｆｄに基づいて、無効フレームを特定する。
【００４７】
図１０は、フレーム種別と劣化知覚範囲との関係を示す説明図である。フレーム間予測符号化方式を用いた場合、パケット損失が発生したフレームのフレーム種別に応じて、フレーム劣化の伝搬が異なり、結果として、知覚される劣化知覚範囲が異なる。例えば、図１０に示すように、Ｉフレーム（ｆ３）でパケット損失が発生した場合、そのフレーム劣化は、最後に受信したＰフレーム（ｆ０）の直後フレーム（ｆ１）から次に受信したＩフレーム（ｆ１８）の直前フレーム（ｆ１７）まで劣化が伝搬する。
【００４８】
また、Ｐフレーム（ｆ１２）でパケット損失が発生した場合、そのフレーム劣化は、最後に受信したＰフレーム（ｆ９）の直後フレーム（ｆ１０）から次に受信したＩフレーム（ｆ１８）の直前フレーム（ｆ１７）まで劣化が伝搬する。一方、Ｂフレーム（ｆ１５）でパケット損失が発生した場合、そのフレーム劣化は、自フレーム（ｆ１５）のみとなる。このような、フレーム種別ごとの劣化知覚範囲に基づいて、劣化したフレームと劣化が伝搬したフレームを無効フレームとして特定し、これら無効フレーム数を計数する。
【００４９】
続いて、演算処理部１０は、符号化映像品質算出部１３により、圧縮符号化による映像劣化のみを考慮した符号化映像品質値Ｖｃを算出する（ステップ１０２）。この符号化映像品質値Ｖｃは、圧縮符号化直後の各フレームを復号して得られる映像の映像品質値に相当する。
符号化映像品質算出部１３は、記憶部２０の符号化映像品質情報２２を参照し、パケット分析部１１により抽出した各種品質パラメータのうち、フレームレートＦＲおよび符号化レートＢＲと記憶部２０の映像通信特定パラメータ２１とに対応する符号化映像品質値Ｖｃを取得する。
【００５０】
次に、演算処理部１０は、代表量子化パラメータ算出部１４により、対象映像通信と同種の映像通信を代表する代表量子化パラメータＱＰｔを算出する（ステップ１０３）。
代表量子化パラメータ算出部１４は、記憶部２０の代表量子化パラメータ情報２３を参照し、パケット分析部１１により抽出した各種品質パラメータの符号化レートＢＲと記憶部２０の映像通信特定パラメータ２１とに対応する代表量子化パラメータＱＰｔを算出する。
【００５１】
続いて、演算処理部１０は、平均量子化パラメータ算出部１５により、品質推定区間内の各フレームの平均量子化パラメータＱＰを算出する（ステップ１０４）。
品質推定区間は、例えば１０秒や３００フレームなどの時間長を持ち、品質推定区間内における各フレームについて、当該フレームを構成するブロックごとに量子化パラメータがＩＰパケット分析部１１で抽出される。ブロックは、個々のフレーム内における圧縮符号化の処理単位であり、フレームごとに任意に設定される。
【００５２】
図１１は、各ブロックの量子化パラメータを示す説明図である。品質推定区間内のフレーム数をＦ、各フレームを構成する水平方向のブロック数をＮ、各フレームを構成する垂直方向のブロック数をＭ、品質推定区間内に存在するフレームのフレーム番号をｆ、当該フレームｆ内の任意のブロックの水平ブロック番号をｎ、当該フレームｆ内の任意のブロックの垂直ブロック番号をｍ、水平ブロック番号ｎで垂直ブロック番号ｍのブロックの量子化パラメータをｑｐmnfとした場合、当該フレームｆの量子化パラメータＱＰは、次の式（１）で算出できる。
【数１】
【００５３】
この後、演算処理部１０は、パケット損失変化指標算出部１６により、対象映像の動き量を示すパケット損失変化指標Ｄを算出する（ステップ１０５）。
パケット損失変化指標算出部１６は、まず、代表量子化パラメータ算出部１４で算出した代表量子化パラメータＱＰｔと平均量子化パラメータ算出部１５で算出した平均量子化パラメータＱＰとの差分により、次の式（２）に基づき、差分量子化パラメータΔＱＰを算出する。
【数２】
【００５４】
続いて、パケット損失変化指標算出部１６は、記憶部２０のパケット損失変化指標特性情報２４を参照して、記憶部２０の映像通信特定パラメータ２１に対応する、パケット損失変化指標特性の係数ａ，ｂを取得する。そして、この係数ａ，ｂと差分量子化パラメータΔＱＰとから、次の式（３）に基づき、パケット損失変化指標Ｄを算出する。
【数３】
【００５５】
この後、演算処理部１０は、映像品質推定部１７により、対象映像通信の映像品質値Ｖを算出する（ステップ１０６）。
映像品質推定部１７は、記憶部２０の映像品質情報２５を参照し、記憶部２０の映像通信特定パラメータ２１と、無効フレーム数算出部１２で算出した無効フレーム数ＩＦ、符号化映像品質算出部１３で算出した符号化映像品質値Ｖｃ、およびパケット損失変化指標算出部１６で算出したパケット損失変化指標Ｄとに対応する映像品質値Ｖを取得する。
【００５６】
［第１の実施の形態の効果］
このように、本実施の形態では、品質推定区間に対応する対象映像通信の各フレームに関する量子化パラメータの平均値を示す平均量子化パラメータと、対象映像通信の量子化パラメータを代表する代表量子化パラメータとに基づいて、対象フレーム間での映像の動き量を示すパケット損失変化指標を算出し、対象映像通信に関する符号化映像品質値、無効フレーム数、およびパケット損失変化指標に基づいて、対象映像通信の映像品質値を算出している。
【００５７】
これにより、映像の動きを示すパケット損失変化指標を、隣接する２つのフレームの画素値を演算処理することなく、対象映像通信の各フレームに記載されている量子化パラメータから算出することができる。したがって、映像の動き量を考慮した映像品質値を少ない処理負担で算出でき、映像の動き量が予めわからない大多数の映像についても、映像の動き量の影響を考慮した映像品質をリアルタイムで推定することができる。
【００５８】
［第２の実施の形態］
次に、図１２および図１３を参照して、本発明の第２の実施の形態にかかる映像品質推定装置について説明する。図１２は、代表量子化パラメータ特性を示す説明図である。図１３は、代表量子化パラメータ特性情報を示す説明図である。
【００５９】
第１の実施の形態では、代表量子化パラメータＱＰｔを算出する際、代表量子化パラメータ算出部１４により、記憶部２０の代表量子化パラメータ情報２３を参照し、パケット分析部１１により抽出した各種品質パラメータの符号化レートＢＲと記憶部２０の映像通信特定パラメータ２１とに対応する代表量子化パラメータＱＰｔを算出する場合について説明した。
【００６０】
本実施の形態では、代表量子化パラメータ特性を示す関数に基づいて、代表量子化パラメータＱＰｔを算出する。
図１２に示すように、符号化レート−代表量子化パラメータ特性は、映像通信の符号化レートＢＲが増加するにしたがって、代表量子化パラメータＱＰｔが減少する特性を有している。映像通信の符号化レートをＢＲとし、代表量子化パラメータ特性関数を特定する係数をｔ１，ｔ２，ｔ３とした場合、代表量子化パラメータＱＰｔは次の式（４）により表される。
【数４】
【００６１】
この代表量子化パラメータ特性関数は、映像通信の種類によって変化する。本実施の形態では、映像通信特定パラメータ２１ごとに係数ｔ１，ｔ２，ｔ３を予め導出しておき、図１３に示すような、映像通信特定パラメータ２１と係数ｔ１，ｔ２，ｔ３との対応関係を示す代表量子化パラメータ特性情報２６を記憶部２０に保存しておく。
【００６２】
これにより、前述した図９のステップ１０３において、代表量子化パラメータ算出部１４は、記憶部２０の代表量子化パラメータ特性情報２６を参照し、記憶部２０の映像通信特定パラメータ２１に対応する係数ｔ１，ｔ２，ｔ３を取得し、これら係数ｔ１，ｔ２，ｔ３とパケット分析部１１により抽出した各種品質パラメータの符号化レートＢＲとから、前述した式（４）に基づいて、対象映像通信と同種の映像通信を代表する代表量子化パラメータＱＰｔを算出する。
【００６３】
［第２の実施の形態の効果］
このように、本実施の形態によれば、第１の実施の形態で説明した代表量子化パラメータ情報２３を用いる場合と比較して、大きな情報量の代表量子化パラメータ情報２３を予め用意することなく、対象映像通信の符号化レートＢＲが細かく変化する場合でも、映像の動き量を考慮した映像品質値を少ない処理負担で算出できる。
【００６４】
［第３の実施の形態］
次に、本発明の第３の実施の形態にかかる映像品質推定装置について説明する。
第１の実施の形態では、映像品質値を算出する場合、映像品質推定部１７により、記憶部２０の映像品質情報２５を参照し、記憶部２０の映像通信特定パラメータ２１と、無効フレーム数算出部１２で算出した無効フレーム数ＩＦ、符号化映像品質算出部１３で算出した符号化映像品質値Ｖｃ、およびパケット損失変化指標算出部１６で算出したパケット損失変化指標Ｄとに対応する映像品質値Ｖを取得する場合について説明した。
【００６５】
本実施の形態では、映像品質特性を示す関数に基づいて、映像品質値Ｖを算出する。
前述した図２に示すように、パケット損失変化指標Ｄを考慮した、無効フレーム数ＩＦと映像品質値Ｖとの関係を示す映像品質特性は、前述した図２に示すように、無効フレーム数ＩＦ＝０のとき符号化映像品質値Ｖｃを映像品質値の最大値とし、無効フレーム数ＩＦの増加に応じて指数関数的に映像品質値が減少する。この映像品質特性は、指数関数を用いて次の式（５）で近似することができる。
【数５】
【００６６】
映像品質推定部１７は、無効フレーム数算出部１２で算出した無効フレーム数ＩＦ、符号化映像品質算出部１３で算出した符号化映像品質値Ｖｃ、およびパケット損失変化指標算出部１６で算出したパケット損失変化指標Ｄから、上記式（５）に基づき、対象映像通信の映像品質値Ｖを算出する。
【００６７】
［第３の実施の形態の効果］
このように、本実施の形態によれば、第１の実施の形態で説明した映像品質情報２５を用いる場合と比較して、対象映像通信のパケット損失変化指標Ｄが細かく変化する場合でも、大きな情報量の映像品質情報２５を予め用意することなく、映像の動き量を考慮した映像品質値を少ない処理負担で算出できる。
【図面の簡単な説明】
【００６８】
【図１】本発明の第１の実施の形態にかかる映像品質推定装置の構成を示すブロック図である。
【図２】映像の動き量と無効フレーム数−主観評価値特性との関係を示す説明図である。
【図３】パケット損失変化指標算出特性を示す説明図である。
【図４】符号化映像品質情報の構成例である。
【図５】代表量子化パラメータ情報の構成例である。
【図６】パケット損失変化指標特性情報の構成例である。
【図７】映像品質情報の構成例である。
【図８】本発明の第１の実施の形態にかかる映像品質推定装置の映像品質推定動作を示すフロー図である。
【図９】本発明の第１の実施の形態にかかる映像品質推定装置の映像品質推定処理を示すフローチャートである。
【図１０】フレーム種別と劣化知覚範囲との関係を示す説明図である。
【図１１】各ブロックの量子化パラメータを示す説明図である。
【図１２】代表量子化パラメータ特性を示す説明図である。
【図１３】代表量子化パラメータ特性情報を示す説明図である。
【符号の説明】
【００６９】
１…映像品質推定装置、１０…演算処理部、１１…パケット分析部、１２…無効フレーム数算出部、１３…符号化映像品質算出部、１４…代表量子化パラメータ算出部、１５…平均量子化パラメータ算出部、１６…パケット損失変化指標算出部、１７…映像品質推定部、２０…記憶部、２１…映像通信特定パラメータ、２２…符号化映像品質情報、２３…代表量子化パラメータ情報、２４…パケット損失変化指標特性情報、２５…映像品質情報、２６…代表量子化パラメータ特性情報、２９…プログラム、３１…通信Ｉ／Ｆ部、３２…操作入力部、３３…画面表示部、２Ａ，２Ｂ…通信端末、３…ＩＰネットワーク。
【技術分野】
【０００１】
本発明は、通信品質推定技術に関し、特にインターネットなどのＩＰネットワークを経由して行う、ＩＰＴＶサービス、映像配信サービス、映像コミュニケーションサービスなどの映像通信に関する品質を推定する技術に関する。
【背景技術】
【０００２】
インターネットへ接続するアクセス回線の高速化・広帯域化に伴い、音声や映像を用いた映像通信サービスが期待されている。インターネットは必ずしも通信品質が保証されているネットワークではないため、音声や映像の通信を行う場合、ユーザ間を結ぶネットワークの回線帯域が狭かったり、回線が輻輳したりすると、音声や映像に対してユーザが知覚する品質、すなわちユーザ体感品質（ＱｏＥ：Quality of Experience）が劣化してしまう。具体的には、映像に品質劣化が加わると、ぼけ、にじみ、モザイク状の歪み、ぎくしゃく感などとして知覚される。
したがって、このような映像通信サービスを品質良く提供するためには、サービス提供に先立った品質設計やサービス開始後の品質管理が重要となり、このためには、ユーザが享受する品質を適切に表現でき、しかも簡便かつ効率的な映像品質評価技術が必要となる。
【０００３】
上記映像品質評価技術として、パケット損失したフレームとそのフレームを参照するフレームからなる無効フレームの総量に基づいて、映像の劣化量を推定する映像品質推定技術が提案されている（特許文献１など参照）。しかしながら、上記技術は、映像コンテンツの依存性を考慮せず、フレーム構造のみから映像品質を推定しているため、適切に映像品質を推定することができない。
一般に、無効フレーム数が同じであっても、映像の動き量が大きいほど、ユーザが知覚する品質劣化は大きくなるという傾向がある。したがって、映像の動き量を考慮しない場合には、例えば、映像Ａと映像Ｂのフレームが同数フレーム損失した場合、映像Ａは動きが小さいため品質劣化として検知されにくいが、映像Ｂは動きが大きいため品質劣化として検知されやすい、といった現象を映像品質に反映させることができない。
【０００４】
従来、このような映像品質評価技術に対して、品質推定の対象となる映像の動き量を予め算出しておき、この動き量と無効フレームとから映像品質を推定する技術が提案されている（特許文献２など参照）。
【０００５】
【特許文献１】特開２００６−０３３７２２号公報
【特許文献２】特開２００８−００５１０８号公報
【非特許文献１】ITU-T Rec. P.910, "Subjective video quality assessment methods For multimedia applications".
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、このような従来技術では、映像品質推定に用いる映像の動き量として、隣接する２つのフレームの画素値をそれぞれ比較して算出する、Ｔｅｍｐｏｒａｌ Ｉｎｄｅｘ（例えば非特許文献１など参照）などの指標値を用いているため、指標値を算出するために膨大な処理負担が必要となる。このため、映像の動き量を予め算出している場合のみ、映像の動き量の影響を考慮した映像品質を推定することができ、映像の動き量が予めわからない大多数の映像については、映像の動き量の影響を考慮した映像品質をリアルタイムで推定することができないという問題点があった。
本発明はこのような課題を解決するためのものであり、映像の動き量を考慮した映像品質値を少ない処理負担で算出できる映像品質推定装置を提供することを目的としている。
【課題を解決するための手段】
【０００７】
このような目的を達成するために、本発明にかかる映像品質推定装置は、フレーム内およびフレーム間予測符号化方式に基づき対象映像を複数のフレームに圧縮符号化してＩＰパケットで送信する対象映像通信の映像品質を推定する映像品質推定装置であって、入力されたＩＰパケットを分析して、対象映像通信の映像品質に関する各種品質パラメータと、圧縮符号化の量子化ステップ幅に関する量子化パラメータとを抽出するＩＰパケット分析部と、品質パラメータに基づいて、パケット損失のあったフレームと復号時に当該フレームのパケット損失の影響を受ける他のフレームとからなる無効フレームの数を算出する無効フレーム数算出部と、品質パラメータに基づいて、圧縮符号化による映像劣化のみを考慮した、対象映像通信の符号化映像品質値を算出する符号化映像品質算出部と、品質推定区間に対応する対象映像通信の各フレームに関する量子化パラメータの平均値を算出する平均量子化パラメータ算出部と、対象映像通信の量子化パラメータを代表する代表量子化パラメータを算出する代表量子化パラメータ算出部と、平均量子化パラメータと代表量子化パラメータとに基づいて、対象フレーム間での映像の動き量を示すパケット損失変化指標を算出するパケット損失変化指標算出部と、符号化映像品質値、無効フレーム数、およびパケット損失変化指標に基づいて、対象映像通信の映像品質値を算出する映像品質算出部とを備えている。
【０００８】
この際、パケット損失変化指標算出部で、平均量子化パラメータと代表量子化パラメータとの差分を示す差分量子化パラメータの増加に応じてパケット損失変化指標が単調減少する特性を示す関数に基づいて、パケット損失変化指標を算出するようにしてもよい。
【０００９】
また、代表量子化パラメータ算出部で、符号化レートの増加に応じて量子化パラメータが単調減少する特性を示す関数に基づいて、品質パラメータに含まれる符号化レートに対応する量子化パラメータを代表量子化パラメータとして算出するようにしてもよい。
【００１０】
また、代表量子化パラメータ算出部で、無効フレーム数が０のとき符号化映像品質値を映像品質値の最大値とし、無効フレーム数の増加に応じて映像品質値が単調減少する特性を示す関数に基づいて、符号化映像品質値、無効フレーム数、およびパケット損失変化指標に対応する映像品質値を算出するようにしてもよい。
【００１１】
また、本発明にかかる映像品質推定方法は、フレーム内およびフレーム間予測符号化方式に基づき対象映像を複数のフレームに圧縮符号化してＩＰパケットで送信する対象映像通信の映像品質を推定する映像品質推定装置で用いられる映像品質推定方法であって、ＩＰパケット分析部が、入力されたＩＰパケットを分析して、対象映像通信の映像品質に関する各種品質パラメータと、圧縮符号化の量子化ステップ幅に関する量子化パラメータとを抽出するＩＰパケット分析ステップと、無効フレーム数算出部が、品質パラメータに基づいて、パケット損失のあったフレームと復号時に当該フレームのパケット損失の影響を受ける他のフレームとからなる無効フレームの数を算出する無効フレーム数算出ステップと、符号化映像品質算出部が、品質パラメータに基づいて、圧縮符号化による映像劣化のみを考慮した、対象映像通信の符号化映像品質値を算出する符号化映像品質算出ステップと、平均量子化パラメータ算出部が、品質推定区間に対応する対象映像通信の各フレームに関する量子化パラメータの平均値を算出する平均量子化パラメータ算出ステップと、代表量子化パラメータ算出部が、対象映像通信の量子化パラメータを代表する代表量子化パラメータを算出する代表量子化パラメータ算出ステップと、パケット損失変化指標算出部が、平均量子化パラメータと代表量子化パラメータとに基づいて、対象フレーム間での映像の動き量を示すパケット損失変化指標を算出するパケット損失変化指標算出ステップと、映像品質算出部が、符号化映像品質値、無効フレーム数、およびパケット損失変化指標に基づいて、対象映像通信の映像品質値を算出する映像品質算出ステップとを備えている。
【００１２】
また、本発明にかかるプログラムは、フレーム内およびフレーム間予測符号化方式に基づき対象映像を複数のフレームに圧縮符号化してＩＰパケットで送信する対象映像通信の映像品質を推定する映像品質推定装置のコンピュータに、ＩＰパケット分析部が、入力されたＩＰパケットを分析して、対象映像通信の映像品質に関する各種品質パラメータと、圧縮符号化の量子化ステップ幅に関する量子化パラメータとを抽出するＩＰパケット分析ステップと、無効フレーム数算出部が、品質パラメータに基づいて、パケット損失のあったフレームと復号時に当該フレームのパケット損失の影響を受ける他のフレームとからなる無効フレームの数を算出する無効フレーム数算出ステップと、符号化映像品質算出部が、品質パラメータに基づいて、圧縮符号化による映像劣化のみを考慮した、対象映像通信の符号化映像品質値を算出する符号化映像品質算出ステップと、平均量子化パラメータ算出部が、品質推定区間に対応する対象映像通信の各フレームに関する量子化パラメータの平均値を算出する平均量子化パラメータ算出ステップと、代表量子化パラメータ算出部が、対象映像通信の量子化パラメータを代表する代表量子化パラメータを算出する代表量子化パラメータ算出ステップと、パケット損失変化指標算出部が、平均量子化パラメータと代表量子化パラメータとに基づいて、対象フレーム間での映像の動き量を示すパケット損失変化指標を算出するパケット損失変化指標算出ステップと、映像品質算出部が、符号化映像品質値、無効フレーム数、およびパケット損失変化指標に基づいて、対象映像通信の映像品質値を算出する映像品質算出ステップとを実行させる。
【発明の効果】
【００１３】
本発明によれば、映像の動きを示すパケット損失変化指標を、隣接する２つのフレームの画素値を演算処理することなく、対象映像通信の各フレームに記載されている量子化パラメータから算出することができる。したがって、映像の動き量を考慮した映像品質値を少ない処理負担で算出でき、映像の動き量が予めわからない大多数の映像についても、映像の動き量の影響を考慮した映像品質をリアルタイムで推定することができる。
【発明を実施するための最良の形態】
【００１４】
次に、本発明の実施の形態について図面を参照して説明する。
［第１の実施の形態］
まず、図１を参照して、本発明の第１の実施の形態にかかる映像品質推定装置について説明する。図１は、本発明の第１の実施の形態にかかる映像品質推定装置の構成を示すブロック図である。
【００１５】
この映像品質推定装置１は、入力された情報を演算処理するコンピュータなどの情報処理装置からなり、複数のフレームに符号化した映像信号をフレーム内およびフレーム間予測符号化方式に基づき圧縮符号化した後、通信端末２Ａから通信端末２Ｂ端末へ、インターネットなどのＩＰネットワーク３を介してＩＰパケットで送信する映像通信について、その映像通信のＩＰパケットを入力として、通信端末２Ｂで復号されて再生された当該映像から視聴者が実感する主観映像品質の推定値を映像個別品質として算出する装置である。
【００１６】
この映像品質推定装置１には、主な機能部として、演算処理部１０、記憶部２０、通信インターフェース部（以下、通信Ｉ／Ｆ部という）３１、操作入力部３２、画面表示部３３が設けられている。また、演算処理部１０には、主な処理部として、ＩＰパケット分析部１１、無効フレーム数算出部１２、符号化映像品質算出部１３、代表量子化パラメータ算出部１４、平均量子化パラメータ算出部１５、パケット損失変化指標算出部１６、および映像品質推定部１７が設けられている。
【００１７】
［発明の原理］
一般に、フレーム内およびフレーム間予測符号化方式に基づき映像を複数のフレームに圧縮符号化してＩＰパケットで送信する映像通信では、ＩＰパケットが損失した際、損失ＩＰパケットが含まれるフレームに品質劣化が生じるとともに、当該フレームを用いてフレーム間予測符号化方式で符号化された他のフレームに、その品質劣化が伝搬する。
この際、映像の品質劣化には、ユーザが品質劣化を知覚しやすい劣化と知覚しにくい劣化があり、このようなユーザによる映像品質の主観評価に対する影響度は、映像の動き量に応じて変化する。
【００１８】
図２は、映像の動き量と無効フレーム数−主観評価値特性との関係を示す説明図である。図２に示すように、無効フレーム数ＩＦと主観評価値Ｖ（ＭＯＳ）の関係は、特性５１に示すように、動き量が小さいほど無効フレーム数ＩＦの増加に対する主観評価値Ｖの劣化が小さく、特性５２に示すように、動き量が大きいほど無効フレーム数ＩＦの増加に対する主観評価値Ｖの劣化は大きくなる。
【００１９】
映像品質推定において映像の動き量を考慮しない場合、これら無効フレーム数ＩＦと主観評価値Ｖの関係を示す各プロットが、特性５３に示すように、すべて一元的に捉えられるため、推定した映像品質値Ｖと実際の主観評価値Ｖとの誤差は大きい。したがって、品質推定対象となる対象映像通信から、当該対象映像の動き量を算出して、無効フレーム数−主観評価値特性を特定すれば、無効フレーム数ＩＦから映像の動き量を考慮した映像品質値Ｖを精度良く推定することが可能となる。
【００２０】
一方、ＭＰＥＧ２やＨ．２６４などのフレーム内およびフレーム間予測符号化方式を用いた映像通信では、映像をＩ，Ｂ，Ｐフレームなどのフレームに符号化することにより映像情報を圧縮する。
この際、動き量が大きい映像については、Ｉフレームの精細度を低くする代わりに、Ｉフレームの間に送信されるＢフレームやＰフレームの精細度を高くして、映像全体の品質を高めるように圧縮符号化処理が制御される。
【００２１】
また、動き量が小さい映像については、Ｉフレームの精細度を高くする代わりに、Ｉフレームの間に送信されるＢフレームやＰフレームの精細度を低く制御される。
したがって、動き量が大きい映像ほど、Ｉフレームの情報量が低下する代わりに、ＢフレームやＰフレームの情報量が増大する。また、動き量が小さい映像ほど、Ｉフレームの情報量が増大する代わりに、ＢフレームやＰフレームの情報量が低下する。
【００２２】
本発明では、このようなＩフレームの情報量と映像の動き量との関係に着目し、Ｉフレームの情報量から映像の動き量に応じたパケット損失の変化を示すパケット損失変化指標Ｄを導出し、この指標および無効フレーム数に基づいて、映像の動き量を考慮した映像品質を推定している。
【００２３】
また、本発明では、対象映像の圧縮符号化の際に用いる量子化ステップ幅に関する量子化パラメータが、各フレームの情報量と相関があることに着目し、この量子化パラメータからパケット損失変化指標Ｄを導出している。
この際、量子化パラメータは、映像通信の種類に応じてその値にばらつきがあることから、対象映像通信と同種の映像通信に関する代表量子化パラメータＱＰｔと、対象映像通信から算出した平均量子化パラメータＱＰとの差分を示す差分量子化パラメータΔＱＰを中間パラメータとして用いている。
【００２４】
図３は、パケット損失変化指標算出特性を示す説明図である。パケット損失変化指標特性は、差分量子化パラメータΔＱＰとパケット損失変化指標Ｄとの関係を示す特性であり、図３にような線形関数などの近似関数で表すことができる。本発明では、近似関数を特定する係数を、映像通信の種類ごとに予め算出しておき、対象映像通信から算出した差分量子化パラメータΔＱＰに基づいて、パケット損失変化指標Ｄを算出している。
【００２５】
［第１の実施の形態の構成］
次に、図１を参照して、本発明の第１の実施の形態にかかる映像品質推定装置の構成について詳細に説明する。
図１の映像品質推定装置１において、通信Ｉ／Ｆ部３１は、専用の通信回路部からなり、ＩＰネットワーク３を介してＩＰパケットを送受信することにより任意の通信端末とデータ通信を行う機能と、ＩＰネットワーク３を介して通信端末２Ａ，２Ｂ間でやり取りされる映像通信用のＩＰパケットを受信する機能とを有している。
【００２６】
操作入力部３２は、キーボードやマウスなどの操作入力装置からなり、オペレータの操作を検出して演算処理部１０へ出力する機能を有している。
画面表示部３３は、ＬＣＤやＰＤＰなどの画面表示装置からなり、演算処理部１０からの指示に応じて操作メニューや映像品質推定値などを画面表示する機能を有している。
【００２７】
記憶部２０は、ハードディスクやメモリなどの記憶装置からなり、演算処理部１０での映像品質推定処理に用いる各種処理情報やプログラム２９を記憶する機能を有している。
プログラム２９は、演算処理部１０により読み出されて実行されることにより、映像品質推定処理に必要な各種処理部を実現するプログラムであり、通信Ｉ／Ｆ部３１などの入出力インターフェース部を介して外部装置（図示せず）や記録媒体から読み込まれて記憶部２０に予め保存されている。
【００２８】
記憶部２０で記憶する主な処理情報としては、映像通信特定パラメータ２１、符号化映像品質情報２２、代表量子化パラメータ情報２３、パケット損失変化指標特性情報２４、および映像品質情報２５がある。
【００２９】
映像通信特定パラメータ２１は、映像品質の推定対象となる映像通信に関する各種パラメータのうち、映像品質に関するパラメータからなる。映像通信特定パラメータ２１としては、Ｈ．２６４，ＭＰＥＧなどのコーデック（CODEC）種別情報、Ｆｕｌｌ ＨＤ，ＨＤ，ＳＤなどの映像フォーマット情報、ＩＰＴＶ，ＶｏＤ，ＴＶ電話などのサービス種別情報を用いる。映像通信特定パラメータ２１は、予め操作入力部３２などを用いて外部から入力され記憶部２０に記憶される。
【００３０】
映像通信特定パラメータ２１については、上記の他、イントラリフレッシュレート，ＧＯＰなどのフレーム情報、ＤＣＴ係数，整数変換係数，ウェーブレット係数などの動き補償後の誤差信号に関する情報、パケット損失率，パケット損失パターン，パケット遅延時間などのパケット損失情報などを用いてもよい。
【００３１】
符号化映像品質情報２２は、映像通信特定パラメータ２１と各種品質パラメータの組み合わせと、圧縮符号化による映像劣化のみを考慮した符号化映像品質値との関係を示す情報である。図４は、符号化映像品質情報の構成例である。ここでは、映像通信のフレームレートＦＲおよび符号化レートＢＲに対応する符号化映像品質Ｖｃが、映像通信特定パラメータ２１のＣＯＤＥＣ、映像フォーマット、映像通信種別の組み合わせごとに登録されている。符号化映像品質情報２２における、映像通信特定パラメータ２１および各種品質パラメータの組み合わせと符号化映像品質Ｖｃとの対応関係は、各種映像通信から予め算出しておけばよい。
【００３２】
代表量子化パラメータ情報２３は、映像通信の映像通信特定パラメータ２１および各種品質パラメータの組み合わせと、圧縮符号化の量子化ステップ幅に関する量子化パラメータの代表値である代表量子化パラメータとの関係を示す情報である。図５は、代表量子化パラメータ情報の構成例である。ここでは、映像通信の符号化レートＢＲに対応する代表量子化パラメータＱＰｔが、映像通信特定パラメータ２１のＣＯＤＥＣ、映像フォーマット、映像通信種別の組み合わせごとに登録されている。
【００３３】
代表量子化パラメータ情報２３における、映像通信特定パラメータ２１および各種品質パラメータの組み合わせと代表量子化パラメータとの対応関係は、各種映像通信から予め算出しておけばよい。この際、動き量の異なる典型的な映像ｖを複数用意し、後述する式（１）を用いて、これら映像ｖごとに平均量子化パラメータＱＰを算出し、それぞれの映像ｖの映像通信特定パラメータ２１および各種品質パラメータの組み合わせごとに、平均量子化パラメータＱＰの平均値を求め、代表量子化パラメータＱＰｔとして用いればよい。
【００３４】
パケット損失変化指標特性情報２４は、映像通信の映像通信特定パラメータ２１と、パケット損失変化指標算出特性を特定する係数ａ，ｂとの対応関係を示す情報である。図６は、パケット損失変化指標特性情報の構成例である。
パケット損失変化指標特性は、差分量子化パラメータΔＱＰとパケット損失変化指標Ｄとの関係を示す特性であり、前述した図３にような線形関数などの近似関数で表すことができる。パケット損失変化指標特性情報２４には、図６に示すように、このような線形関数を特定する係数が、映像通信特定パラメータ２１のＣＯＤＥＣ、映像フォーマット、映像通信種別の組み合わせごとに登録されている。パケット損失変化指標特性情報２４における、映像通信特定パラメータ２１と係数ａ，ｂとの対応関係は、各種映像ごとに導出したパケット損失変化指標特性から予め算出しておけばよい。
【００３５】
映像品質情報２５は、映像通信の映像通信特定パラメータ２１、および符号化映像品質値Ｖｃ、無効フレーム数ＩＦ、パケット損失変化指標Ｄの組み合わせと、映像品質値Ｖとの対応関係を示す情報である。図７は、映像品質情報の構成例である。ここでは、符号化映像品質値Ｖｃ、無効フレーム数ＩＦ、およびパケット損失変化指標Ｄに対応する映像品質値Ｖが、映像通信特定パラメータ２１のＣＯＤＥＣ、映像フォーマット、映像通信種別の組み合わせごとに登録されている。
映像品質情報２５における、映像通信特定パラメータ２１、および符号化映像品質値Ｖｃ、無効フレーム数ＩＦ、パケット損失変化指標Ｄの組み合わせと、映像品質値Ｖとの対応関係は、各種映像通信から予め算出しておけばよい。
【００３６】
演算処理部１０は、ＣＰＵなどのマイクロプロセッサとその周辺回路とを有し、記憶部２０のプログラム２９を読み込んで実行することにより、上記ハードウェアとプログラム２９とを協働させることにより、映像品質推定処理に必要な各種処理部を実現する機能を有している。
演算処理部１０で実現される主な処理部として、ＩＰパケット分析部１１、無効フレーム数算出部１２、符号化映像品質算出部１３、代表量子化パラメータ算出部１４、平均量子化パラメータ算出部１５、パケット損失変化指標算出部１６、および映像品質推定部１７がある。
【００３７】
ＩＰパケット分析部１１は、通信Ｉ／Ｆ部３１で受信した、対象映像通信のＩＰパケットから、映像品質に関する各種品質パラメータと、当該映像の圧縮符号化の量子化ステップ幅に関する量子化パラメータとを抽出する機能を有している。
無効フレーム数算出部１２は、ＩＰパケット分析部１１で抽出された品質パラメータのフレーム種別情報ｆｔ、フレーム番号ｆｎ、および損失フレーム情報ｆｄに基づいて、パケット損失のあったフレームと復号時に当該フレームのパケット損失の影響を受ける他のフレームとからなる無効フレームの数を算出する機能を有している。
【００３８】
符号化映像品質算出部１３は、ＩＰパケット分析部１１で抽出された品質パラメータのフレームレートＦＲおよび符号化レートＢＲと、記憶部２０の映像通信特定パラメータ２１および符号化映像品質情報２２に基づいて、圧縮符号化による映像劣化のみを考慮した符号化映像品質値Ｖｃを算出する機能を有している。
代表量子化パラメータ算出部１４は、ＩＰパケット分析部１１で抽出された品質パラメータの符号化レートＢＲと、記憶部２０の映像通信特定パラメータ２１および代表量子化パラメータ情報２３とに基づいて、品質推定対象となる映像通信と同種の映像通信を代表する代表量子化パラメータＱＰｔを算出する機能を有している。
【００３９】
平均量子化パラメータ算出部１５は、ＩＰパケット分析部１１で抽出された、品質推定区間に対応する各フレームの量子化パラメータに基づき、その平均値を示す平均量子化パラメータＱＰを算出する機能を有している。
パケット損失変化指標算出部１６は、記憶部２０の映像通信特定パラメータ２１、平均量子化パラメータＱＰ、および代表量子化パラメータＱＰｔに基づいて、対象映像の動き量を示すパケット損失変化指標Ｄを算出する機能を有している。
映像品質推定部１７は、符号化映像品質値Ｖｃ、無効フレーム数ＩＦ、およびパケット損失変化指標Ｄに基づいて、対象映像通信の映像品質値Ｖを算出する機能と、この映像品質値Ｖを記憶部２０や画面表示部３３へ出力する機能とを有している。
【００４０】
［第１の実施の形態の動作］
次に、図８および図９を参照して、本発明の第１の実施の形態にかかる映像品質推定装置の動作について説明する。図８は、本発明の第１の実施の形態にかかる映像品質推定装置の映像品質推定動作を示すフロー図である。図９は、本発明の第１の実施の形態にかかる映像品質推定装置の映像品質推定処理を示すフローチャートである。
映像品質推定装置１の演算処理部１０は、操作入力部３２により映像品質推定処理の開始を示すオペレータ操作が検出された場合、図９の映像品質推定処理を開始する。
【００４１】
演算処理部１０は、まず、映像品質の推定対象となる対象映像通信のＩＰパケットを通信Ｉ／Ｆ部３１で受信し、ＩＰパケット分析部１１により、当該ＩＰパケットから、映像品質に関する各種品質パラメータと、当該映像の圧縮符号化の量子化ステップ幅に関する量子化パラメータとを抽出する（ステップ１００）。
ＩＰパケット内には、ＩＰヘッダ、ＵＤＰ(User Datagram Protocol)ヘッダ 、ＲＴＰ（Real-time Transport Protocol）ヘッダ、ＴＳ（Transport stream）、ＥＳ（Elementaly stream）などの情報が存在し、これら情報から各種パラメータを抽出する。
【００４２】
符号化レート（ビットレート）ＢＲについては、品質推定区間内に含まれる対象映像の符号化に必要とした符号量（ビット数）を計数し、その符号量から算出した単位時間当たりの符号量を符号化レートＢＲとすればよい。なお、本実施の形態では、品質推定区間内の符号化レートＢＲを用いたが、品質推定区間内のＩＰパケット数など、符号量を示す他の統計情報を用いてもよい。また、対象映像通信のサービス種別が決まっている場合には、固定の符号化レートで送出されることが多いため、ＩＰパケットから算出するのではなく、対象映像通信に対応する符号化レートＢＲを、映像通信特定パラメータ２１として外部入力するようにしてもよい。
【００４３】
フレームレートＦＲについては、ＩＰパケット内の記載から取得すればよい。具体的には、ＩＰパケット内の映像符号化情報が記載されている箇所に、フレームレートが直接記載されているものや、フレームレートに変換できる情報が記載されており、これら情報を用いてフレームレートを特定できる。圧縮符号化方式Ｈ．２６４の場合、timing_info_present_flag，Num_units_in_tick，Time_scale，Fixed_frame_rate_flagにより指定されており、これらパラメータがそれぞれ１，１００１，６００００，１の場合、フレームレートＦＲは２９．９７ｆｐｓとなる。
【００４４】
フレーム種別ｆｔについては、ＩＰパケット内の記載から取得すればよい。具体的には、圧縮符号化方式Ｈ．２６４の場合、primary_pic_typeというビット列がある。このprimary_pic_typeは、当該フレームが取り得るフレームの種類を示しており、このパラメータが０，１，２の場合、それぞれＩ，Ｐ，Ｂフレームと判定すればよい。
フレーム番号ｆｎについては、品質推定区間内の各フレームに、便宜上の番号を付与すればよい。圧縮符号化方式Ｈ．２６４のＩＰパケットやＴＳパケットの場合、Nal_unit_type内のAccess unit delimiterにより、フレームの開始位置が判定できるので、Access unit delimiterを識別するごとに、フレーム番号ｆｎを１ずつカウントして付与すればよい。但し、スライス構造を持つ場合は、スライスの数だけAccess unit delimiterが存在する。例えば、スライス数が６の場合、Access unit delimiterも６個存在する。このような場合には、スライス数を考慮してフレームを計数すればよい。
【００４５】
損失フレーム番号ｆｄについては、品質推定区間内のフレームのうち、パケット損失が発生しているフレームのフレーム番号ｆｎからなる。
量子化パラメータｑｐについては、ＩＰパケット内の符号化情報には、フレームを構成するブロックごとに量子化パラメータｑｐ（Quantization parameter）が記載されており、これらを取得すればよい。
【００４６】
演算処理部１０は、このようにしてパケット分析部１１により、各種品質パラメータと量子化パラメータとを抽出した後、無効フレーム数算出部１２により、パケット損失のあったフレームと復号時に当該フレームのパケット損失の影響を受ける他のフレームとからなる無効フレームの数を算出する（ステップ１０１）。
無効フレーム数算出部１２は、パケット分析部１１により抽出した各種品質パラメータのうち、フレーム種別情報ｆｔ、フレーム番号ｆｎ、および損失フレーム情報ｆｄに基づいて、無効フレームを特定する。
【００４７】
図１０は、フレーム種別と劣化知覚範囲との関係を示す説明図である。フレーム間予測符号化方式を用いた場合、パケット損失が発生したフレームのフレーム種別に応じて、フレーム劣化の伝搬が異なり、結果として、知覚される劣化知覚範囲が異なる。例えば、図１０に示すように、Ｉフレーム（ｆ３）でパケット損失が発生した場合、そのフレーム劣化は、最後に受信したＰフレーム（ｆ０）の直後フレーム（ｆ１）から次に受信したＩフレーム（ｆ１８）の直前フレーム（ｆ１７）まで劣化が伝搬する。
【００４８】
また、Ｐフレーム（ｆ１２）でパケット損失が発生した場合、そのフレーム劣化は、最後に受信したＰフレーム（ｆ９）の直後フレーム（ｆ１０）から次に受信したＩフレーム（ｆ１８）の直前フレーム（ｆ１７）まで劣化が伝搬する。一方、Ｂフレーム（ｆ１５）でパケット損失が発生した場合、そのフレーム劣化は、自フレーム（ｆ１５）のみとなる。このような、フレーム種別ごとの劣化知覚範囲に基づいて、劣化したフレームと劣化が伝搬したフレームを無効フレームとして特定し、これら無効フレーム数を計数する。
【００４９】
続いて、演算処理部１０は、符号化映像品質算出部１３により、圧縮符号化による映像劣化のみを考慮した符号化映像品質値Ｖｃを算出する（ステップ１０２）。この符号化映像品質値Ｖｃは、圧縮符号化直後の各フレームを復号して得られる映像の映像品質値に相当する。
符号化映像品質算出部１３は、記憶部２０の符号化映像品質情報２２を参照し、パケット分析部１１により抽出した各種品質パラメータのうち、フレームレートＦＲおよび符号化レートＢＲと記憶部２０の映像通信特定パラメータ２１とに対応する符号化映像品質値Ｖｃを取得する。
【００５０】
次に、演算処理部１０は、代表量子化パラメータ算出部１４により、対象映像通信と同種の映像通信を代表する代表量子化パラメータＱＰｔを算出する（ステップ１０３）。
代表量子化パラメータ算出部１４は、記憶部２０の代表量子化パラメータ情報２３を参照し、パケット分析部１１により抽出した各種品質パラメータの符号化レートＢＲと記憶部２０の映像通信特定パラメータ２１とに対応する代表量子化パラメータＱＰｔを算出する。
【００５１】
続いて、演算処理部１０は、平均量子化パラメータ算出部１５により、品質推定区間内の各フレームの平均量子化パラメータＱＰを算出する（ステップ１０４）。
品質推定区間は、例えば１０秒や３００フレームなどの時間長を持ち、品質推定区間内における各フレームについて、当該フレームを構成するブロックごとに量子化パラメータがＩＰパケット分析部１１で抽出される。ブロックは、個々のフレーム内における圧縮符号化の処理単位であり、フレームごとに任意に設定される。
【００５２】
図１１は、各ブロックの量子化パラメータを示す説明図である。品質推定区間内のフレーム数をＦ、各フレームを構成する水平方向のブロック数をＮ、各フレームを構成する垂直方向のブロック数をＭ、品質推定区間内に存在するフレームのフレーム番号をｆ、当該フレームｆ内の任意のブロックの水平ブロック番号をｎ、当該フレームｆ内の任意のブロックの垂直ブロック番号をｍ、水平ブロック番号ｎで垂直ブロック番号ｍのブロックの量子化パラメータをｑｐmnfとした場合、当該フレームｆの量子化パラメータＱＰは、次の式（１）で算出できる。
【数１】
【００５３】
この後、演算処理部１０は、パケット損失変化指標算出部１６により、対象映像の動き量を示すパケット損失変化指標Ｄを算出する（ステップ１０５）。
パケット損失変化指標算出部１６は、まず、代表量子化パラメータ算出部１４で算出した代表量子化パラメータＱＰｔと平均量子化パラメータ算出部１５で算出した平均量子化パラメータＱＰとの差分により、次の式（２）に基づき、差分量子化パラメータΔＱＰを算出する。
【数２】
【００５４】
続いて、パケット損失変化指標算出部１６は、記憶部２０のパケット損失変化指標特性情報２４を参照して、記憶部２０の映像通信特定パラメータ２１に対応する、パケット損失変化指標特性の係数ａ，ｂを取得する。そして、この係数ａ，ｂと差分量子化パラメータΔＱＰとから、次の式（３）に基づき、パケット損失変化指標Ｄを算出する。
【数３】
【００５５】
この後、演算処理部１０は、映像品質推定部１７により、対象映像通信の映像品質値Ｖを算出する（ステップ１０６）。
映像品質推定部１７は、記憶部２０の映像品質情報２５を参照し、記憶部２０の映像通信特定パラメータ２１と、無効フレーム数算出部１２で算出した無効フレーム数ＩＦ、符号化映像品質算出部１３で算出した符号化映像品質値Ｖｃ、およびパケット損失変化指標算出部１６で算出したパケット損失変化指標Ｄとに対応する映像品質値Ｖを取得する。
【００５６】
［第１の実施の形態の効果］
このように、本実施の形態では、品質推定区間に対応する対象映像通信の各フレームに関する量子化パラメータの平均値を示す平均量子化パラメータと、対象映像通信の量子化パラメータを代表する代表量子化パラメータとに基づいて、対象フレーム間での映像の動き量を示すパケット損失変化指標を算出し、対象映像通信に関する符号化映像品質値、無効フレーム数、およびパケット損失変化指標に基づいて、対象映像通信の映像品質値を算出している。
【００５７】
これにより、映像の動きを示すパケット損失変化指標を、隣接する２つのフレームの画素値を演算処理することなく、対象映像通信の各フレームに記載されている量子化パラメータから算出することができる。したがって、映像の動き量を考慮した映像品質値を少ない処理負担で算出でき、映像の動き量が予めわからない大多数の映像についても、映像の動き量の影響を考慮した映像品質をリアルタイムで推定することができる。
【００５８】
［第２の実施の形態］
次に、図１２および図１３を参照して、本発明の第２の実施の形態にかかる映像品質推定装置について説明する。図１２は、代表量子化パラメータ特性を示す説明図である。図１３は、代表量子化パラメータ特性情報を示す説明図である。
【００５９】
第１の実施の形態では、代表量子化パラメータＱＰｔを算出する際、代表量子化パラメータ算出部１４により、記憶部２０の代表量子化パラメータ情報２３を参照し、パケット分析部１１により抽出した各種品質パラメータの符号化レートＢＲと記憶部２０の映像通信特定パラメータ２１とに対応する代表量子化パラメータＱＰｔを算出する場合について説明した。
【００６０】
本実施の形態では、代表量子化パラメータ特性を示す関数に基づいて、代表量子化パラメータＱＰｔを算出する。
図１２に示すように、符号化レート−代表量子化パラメータ特性は、映像通信の符号化レートＢＲが増加するにしたがって、代表量子化パラメータＱＰｔが減少する特性を有している。映像通信の符号化レートをＢＲとし、代表量子化パラメータ特性関数を特定する係数をｔ１，ｔ２，ｔ３とした場合、代表量子化パラメータＱＰｔは次の式（４）により表される。
【数４】
【００６１】
この代表量子化パラメータ特性関数は、映像通信の種類によって変化する。本実施の形態では、映像通信特定パラメータ２１ごとに係数ｔ１，ｔ２，ｔ３を予め導出しておき、図１３に示すような、映像通信特定パラメータ２１と係数ｔ１，ｔ２，ｔ３との対応関係を示す代表量子化パラメータ特性情報２６を記憶部２０に保存しておく。
【００６２】
これにより、前述した図９のステップ１０３において、代表量子化パラメータ算出部１４は、記憶部２０の代表量子化パラメータ特性情報２６を参照し、記憶部２０の映像通信特定パラメータ２１に対応する係数ｔ１，ｔ２，ｔ３を取得し、これら係数ｔ１，ｔ２，ｔ３とパケット分析部１１により抽出した各種品質パラメータの符号化レートＢＲとから、前述した式（４）に基づいて、対象映像通信と同種の映像通信を代表する代表量子化パラメータＱＰｔを算出する。
【００６３】
［第２の実施の形態の効果］
このように、本実施の形態によれば、第１の実施の形態で説明した代表量子化パラメータ情報２３を用いる場合と比較して、大きな情報量の代表量子化パラメータ情報２３を予め用意することなく、対象映像通信の符号化レートＢＲが細かく変化する場合でも、映像の動き量を考慮した映像品質値を少ない処理負担で算出できる。
【００６４】
［第３の実施の形態］
次に、本発明の第３の実施の形態にかかる映像品質推定装置について説明する。
第１の実施の形態では、映像品質値を算出する場合、映像品質推定部１７により、記憶部２０の映像品質情報２５を参照し、記憶部２０の映像通信特定パラメータ２１と、無効フレーム数算出部１２で算出した無効フレーム数ＩＦ、符号化映像品質算出部１３で算出した符号化映像品質値Ｖｃ、およびパケット損失変化指標算出部１６で算出したパケット損失変化指標Ｄとに対応する映像品質値Ｖを取得する場合について説明した。
【００６５】
本実施の形態では、映像品質特性を示す関数に基づいて、映像品質値Ｖを算出する。
前述した図２に示すように、パケット損失変化指標Ｄを考慮した、無効フレーム数ＩＦと映像品質値Ｖとの関係を示す映像品質特性は、前述した図２に示すように、無効フレーム数ＩＦ＝０のとき符号化映像品質値Ｖｃを映像品質値の最大値とし、無効フレーム数ＩＦの増加に応じて指数関数的に映像品質値が減少する。この映像品質特性は、指数関数を用いて次の式（５）で近似することができる。
【数５】
【００６６】
映像品質推定部１７は、無効フレーム数算出部１２で算出した無効フレーム数ＩＦ、符号化映像品質算出部１３で算出した符号化映像品質値Ｖｃ、およびパケット損失変化指標算出部１６で算出したパケット損失変化指標Ｄから、上記式（５）に基づき、対象映像通信の映像品質値Ｖを算出する。
【００６７】
［第３の実施の形態の効果］
このように、本実施の形態によれば、第１の実施の形態で説明した映像品質情報２５を用いる場合と比較して、対象映像通信のパケット損失変化指標Ｄが細かく変化する場合でも、大きな情報量の映像品質情報２５を予め用意することなく、映像の動き量を考慮した映像品質値を少ない処理負担で算出できる。
【図面の簡単な説明】
【００６８】
【図１】本発明の第１の実施の形態にかかる映像品質推定装置の構成を示すブロック図である。
【図２】映像の動き量と無効フレーム数−主観評価値特性との関係を示す説明図である。
【図３】パケット損失変化指標算出特性を示す説明図である。
【図４】符号化映像品質情報の構成例である。
【図５】代表量子化パラメータ情報の構成例である。
【図６】パケット損失変化指標特性情報の構成例である。
【図７】映像品質情報の構成例である。
【図８】本発明の第１の実施の形態にかかる映像品質推定装置の映像品質推定動作を示すフロー図である。
【図９】本発明の第１の実施の形態にかかる映像品質推定装置の映像品質推定処理を示すフローチャートである。
【図１０】フレーム種別と劣化知覚範囲との関係を示す説明図である。
【図１１】各ブロックの量子化パラメータを示す説明図である。
【図１２】代表量子化パラメータ特性を示す説明図である。
【図１３】代表量子化パラメータ特性情報を示す説明図である。
【符号の説明】
【００６９】
１…映像品質推定装置、１０…演算処理部、１１…パケット分析部、１２…無効フレーム数算出部、１３…符号化映像品質算出部、１４…代表量子化パラメータ算出部、１５…平均量子化パラメータ算出部、１６…パケット損失変化指標算出部、１７…映像品質推定部、２０…記憶部、２１…映像通信特定パラメータ、２２…符号化映像品質情報、２３…代表量子化パラメータ情報、２４…パケット損失変化指標特性情報、２５…映像品質情報、２６…代表量子化パラメータ特性情報、２９…プログラム、３１…通信Ｉ／Ｆ部、３２…操作入力部、３３…画面表示部、２Ａ，２Ｂ…通信端末、３…ＩＰネットワーク。
【特許請求の範囲】
【請求項１】
フレーム内およびフレーム間予測符号化方式に基づき対象映像を複数のフレームに圧縮符号化してＩＰパケットで送信する対象映像通信の映像品質を推定する映像品質推定装置であって、
入力された前記ＩＰパケットを分析して、前記対象映像通信の映像品質に関する各種品質パラメータと、前記圧縮符号化の量子化ステップ幅に関する量子化パラメータとを抽出するＩＰパケット分析部と、
前記品質パラメータに基づいて、パケット損失のあったフレームと復号時に当該フレームのパケット損失の影響を受ける他のフレームとからなる無効フレームの数を算出する無効フレーム数算出部と、
前記品質パラメータに基づいて、前記圧縮符号化による映像劣化のみを考慮した、前記対象映像通信の符号化映像品質値を算出する符号化映像品質算出部と、
品質推定区間に対応する前記対象映像通信の各フレームに関する量子化パラメータの平均値を算出する平均量子化パラメータ算出部と、
前記対象映像通信の量子化パラメータを代表する代表量子化パラメータを算出する代表量子化パラメータ算出部と、
前記平均量子化パラメータと前記代表量子化パラメータとに基づいて、前記対象フレーム間での映像の動き量を示すパケット損失変化指標を算出するパケット損失変化指標算出部と、
前記符号化映像品質値、前記無効フレーム数、および前記パケット損失変化指標に基づいて、前記対象映像通信の映像品質値を算出する映像品質算出部と
を備えることを特徴とする映像品質推定装置。
【請求項２】
請求項１に記載の映像品質推定装置において、
前記パケット損失変化指標算出部は、前記平均量子化パラメータと前記代表量子化パラメータとの差分を示す差分量子化パラメータの増加に応じてパケット損失変化指標が単調減少する特性を示す関数に基づいて、前記パケット損失変化指標を算出することを特徴とする映像品質推定装置。
【請求項３】
請求項１に記載の映像品質推定装置において、
前記代表量子化パラメータ算出部は、符号化レートの増加に応じて量子化パラメータが単調減少する特性を示す関数に基づいて、前記品質パラメータに含まれる符号化レートに対応する量子化パラメータを前記代表量子化パラメータとして算出することを特徴とする映像品質推定装置。
【請求項４】
請求項１に記載の映像品質推定装置において、
前記代表量子化パラメータ算出部は、無効フレーム数が０のとき符号化映像品質値を映像品質値の最大値とし、無効フレーム数の増加に応じて映像品質値が単調減少する特性を示す関数に基づいて、前記符号化映像品質値、前記無効フレーム数、および前記パケット損失変化指標に対応する映像品質値を算出することを特徴とする映像品質推定装置。
【請求項５】
フレーム内およびフレーム間予測符号化方式に基づき対象映像を複数のフレームに圧縮符号化してＩＰパケットで送信する対象映像通信の映像品質を推定する映像品質推定装置で用いられる映像品質推定方法であって、
ＩＰパケット分析部が、入力された前記ＩＰパケットを分析して、前記対象映像通信の映像品質に関する各種品質パラメータと、前記圧縮符号化の量子化ステップ幅に関する量子化パラメータとを抽出するＩＰパケット分析ステップと、
無効フレーム数算出部が、前記品質パラメータに基づいて、パケット損失のあったフレームと復号時に当該フレームのパケット損失の影響を受ける他のフレームとからなる無効フレームの数を算出する無効フレーム数算出ステップと、
符号化映像品質算出部が、前記品質パラメータに基づいて、前記圧縮符号化による映像劣化のみを考慮した、前記対象映像通信の符号化映像品質値を算出する符号化映像品質算出ステップと、
平均量子化パラメータ算出部が、品質推定区間に対応する前記対象映像通信の各フレームに関する量子化パラメータの平均値を算出する平均量子化パラメータ算出ステップと、
代表量子化パラメータ算出部が、前記対象映像通信の量子化パラメータを代表する代表量子化パラメータを算出する代表量子化パラメータ算出ステップと、
パケット損失変化指標算出部が、前記平均量子化パラメータと前記代表量子化パラメータとに基づいて、前記対象フレーム間での映像の動き量を示すパケット損失変化指標を算出するパケット損失変化指標算出ステップと、
映像品質算出部が、前記符号化映像品質値、前記無効フレーム数、および前記パケット損失変化指標に基づいて、前記対象映像通信の映像品質値を算出する映像品質算出ステップと
を備えることを特徴とする映像品質推定方法。
【請求項６】
フレーム内およびフレーム間予測符号化方式に基づき対象映像を複数のフレームに圧縮符号化してＩＰパケットで送信する対象映像通信の映像品質を推定する映像品質推定装置のコンピュータに、
ＩＰパケット分析部が、入力された前記ＩＰパケットを分析して、前記対象映像通信の映像品質に関する各種品質パラメータと、前記圧縮符号化の量子化ステップ幅に関する量子化パラメータとを抽出するＩＰパケット分析ステップと、
無効フレーム数算出部が、前記品質パラメータに基づいて、パケット損失のあったフレームと復号時に当該フレームのパケット損失の影響を受ける他のフレームとからなる無効フレームの数を算出する無効フレーム数算出ステップと、
符号化映像品質算出部が、前記品質パラメータに基づいて、前記圧縮符号化による映像劣化のみを考慮した、前記対象映像通信の符号化映像品質値を算出する符号化映像品質算出ステップと、
平均量子化パラメータ算出部が、品質推定区間に対応する前記対象映像通信の各フレームに関する量子化パラメータの平均値を算出する平均量子化パラメータ算出ステップと、
代表量子化パラメータ算出部が、前記対象映像通信の量子化パラメータを代表する代表量子化パラメータを算出する代表量子化パラメータ算出ステップと、
パケット損失変化指標算出部が、前記平均量子化パラメータと前記代表量子化パラメータとに基づいて、前記対象フレーム間での映像の動き量を示すパケット損失変化指標を算出するパケット損失変化指標算出ステップと、
映像品質算出部が、前記符号化映像品質値、前記無効フレーム数、および前記パケット損失変化指標に基づいて、前記対象映像通信の映像品質値を算出する映像品質算出ステップと
を実行させるプログラム。
【請求項１】
フレーム内およびフレーム間予測符号化方式に基づき対象映像を複数のフレームに圧縮符号化してＩＰパケットで送信する対象映像通信の映像品質を推定する映像品質推定装置であって、
入力された前記ＩＰパケットを分析して、前記対象映像通信の映像品質に関する各種品質パラメータと、前記圧縮符号化の量子化ステップ幅に関する量子化パラメータとを抽出するＩＰパケット分析部と、
前記品質パラメータに基づいて、パケット損失のあったフレームと復号時に当該フレームのパケット損失の影響を受ける他のフレームとからなる無効フレームの数を算出する無効フレーム数算出部と、
前記品質パラメータに基づいて、前記圧縮符号化による映像劣化のみを考慮した、前記対象映像通信の符号化映像品質値を算出する符号化映像品質算出部と、
品質推定区間に対応する前記対象映像通信の各フレームに関する量子化パラメータの平均値を算出する平均量子化パラメータ算出部と、
前記対象映像通信の量子化パラメータを代表する代表量子化パラメータを算出する代表量子化パラメータ算出部と、
前記平均量子化パラメータと前記代表量子化パラメータとに基づいて、前記対象フレーム間での映像の動き量を示すパケット損失変化指標を算出するパケット損失変化指標算出部と、
前記符号化映像品質値、前記無効フレーム数、および前記パケット損失変化指標に基づいて、前記対象映像通信の映像品質値を算出する映像品質算出部と
を備えることを特徴とする映像品質推定装置。
【請求項２】
請求項１に記載の映像品質推定装置において、
前記パケット損失変化指標算出部は、前記平均量子化パラメータと前記代表量子化パラメータとの差分を示す差分量子化パラメータの増加に応じてパケット損失変化指標が単調減少する特性を示す関数に基づいて、前記パケット損失変化指標を算出することを特徴とする映像品質推定装置。
【請求項３】
請求項１に記載の映像品質推定装置において、
前記代表量子化パラメータ算出部は、符号化レートの増加に応じて量子化パラメータが単調減少する特性を示す関数に基づいて、前記品質パラメータに含まれる符号化レートに対応する量子化パラメータを前記代表量子化パラメータとして算出することを特徴とする映像品質推定装置。
【請求項４】
請求項１に記載の映像品質推定装置において、
前記代表量子化パラメータ算出部は、無効フレーム数が０のとき符号化映像品質値を映像品質値の最大値とし、無効フレーム数の増加に応じて映像品質値が単調減少する特性を示す関数に基づいて、前記符号化映像品質値、前記無効フレーム数、および前記パケット損失変化指標に対応する映像品質値を算出することを特徴とする映像品質推定装置。
【請求項５】
フレーム内およびフレーム間予測符号化方式に基づき対象映像を複数のフレームに圧縮符号化してＩＰパケットで送信する対象映像通信の映像品質を推定する映像品質推定装置で用いられる映像品質推定方法であって、
ＩＰパケット分析部が、入力された前記ＩＰパケットを分析して、前記対象映像通信の映像品質に関する各種品質パラメータと、前記圧縮符号化の量子化ステップ幅に関する量子化パラメータとを抽出するＩＰパケット分析ステップと、
無効フレーム数算出部が、前記品質パラメータに基づいて、パケット損失のあったフレームと復号時に当該フレームのパケット損失の影響を受ける他のフレームとからなる無効フレームの数を算出する無効フレーム数算出ステップと、
符号化映像品質算出部が、前記品質パラメータに基づいて、前記圧縮符号化による映像劣化のみを考慮した、前記対象映像通信の符号化映像品質値を算出する符号化映像品質算出ステップと、
平均量子化パラメータ算出部が、品質推定区間に対応する前記対象映像通信の各フレームに関する量子化パラメータの平均値を算出する平均量子化パラメータ算出ステップと、
代表量子化パラメータ算出部が、前記対象映像通信の量子化パラメータを代表する代表量子化パラメータを算出する代表量子化パラメータ算出ステップと、
パケット損失変化指標算出部が、前記平均量子化パラメータと前記代表量子化パラメータとに基づいて、前記対象フレーム間での映像の動き量を示すパケット損失変化指標を算出するパケット損失変化指標算出ステップと、
映像品質算出部が、前記符号化映像品質値、前記無効フレーム数、および前記パケット損失変化指標に基づいて、前記対象映像通信の映像品質値を算出する映像品質算出ステップと
を備えることを特徴とする映像品質推定方法。
【請求項６】
フレーム内およびフレーム間予測符号化方式に基づき対象映像を複数のフレームに圧縮符号化してＩＰパケットで送信する対象映像通信の映像品質を推定する映像品質推定装置のコンピュータに、
ＩＰパケット分析部が、入力された前記ＩＰパケットを分析して、前記対象映像通信の映像品質に関する各種品質パラメータと、前記圧縮符号化の量子化ステップ幅に関する量子化パラメータとを抽出するＩＰパケット分析ステップと、
無効フレーム数算出部が、前記品質パラメータに基づいて、パケット損失のあったフレームと復号時に当該フレームのパケット損失の影響を受ける他のフレームとからなる無効フレームの数を算出する無効フレーム数算出ステップと、
符号化映像品質算出部が、前記品質パラメータに基づいて、前記圧縮符号化による映像劣化のみを考慮した、前記対象映像通信の符号化映像品質値を算出する符号化映像品質算出ステップと、
平均量子化パラメータ算出部が、品質推定区間に対応する前記対象映像通信の各フレームに関する量子化パラメータの平均値を算出する平均量子化パラメータ算出ステップと、
代表量子化パラメータ算出部が、前記対象映像通信の量子化パラメータを代表する代表量子化パラメータを算出する代表量子化パラメータ算出ステップと、
パケット損失変化指標算出部が、前記平均量子化パラメータと前記代表量子化パラメータとに基づいて、前記対象フレーム間での映像の動き量を示すパケット損失変化指標を算出するパケット損失変化指標算出ステップと、
映像品質算出部が、前記符号化映像品質値、前記無効フレーム数、および前記パケット損失変化指標に基づいて、前記対象映像通信の映像品質値を算出する映像品質算出ステップと
を実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１０−１１１１２（Ｐ２０１０−１１１１２Ａ）
【公開日】平成２２年１月１４日（２０１０．１．１４）
【国際特許分類】
【出願番号】特願２００８−１６８３１９（Ｐ２００８−１６８３１９）
【出願日】平成２０年６月２７日（２００８．６．２７）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２２年１月１４日（２０１０．１．１４）
【国際特許分類】
【出願日】平成２０年６月２７日（２００８．６．２７）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]