ビデオストリームの品質値を判定する方法及びシステム
ビデオストリームの品質値を判定する方法が提供され、方法は、ビデオストリームの損失データパケットを識別するステップと、ビデオストリームの少なくとも２つのイントラ符号化フレームを識別するステップと、損失データパケットがイントラ符号化フレームと関連するか否かの推定に基づいて画質を維持しているイントラ符号化フレームを判定するステップと、損失データパケットの各々と、それぞれに続く、画質を維持しているイントラ符号化フレームとの距離を推定するステップと、距離に基づいて品質値を生成するステップと、を有する。システム及びコンピュータ可読媒体も説明される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオストリームの品質値を判定する方法、システム及びコンピュータ可読媒体に関する。
【背景技術】
【０００２】
今日、新たな無線ネットワークは、ストリームドマルチメディア（ビデオ）コンテンツ及びモバイルＴＶなどのビットレートのより高いサービスを可能にした。同時に、固定通信ネットワークにおいては、ＴＶオーバーインターネットプロトコル（ＩＰ）が普及している。この開発に伴って、この種の視覚通信サービスのビデオ品質をリアルタイムで評価することに重点が置かれることが多くなってきている。ビデオ品質評価の方法は主観的方法及び客観的方法を含む。通常、主観的方法では人の目でビデオ品質を評価する。評価する人はその主観的な感覚に基づいてビデオ品質のグレード又は点数を判定し、そのような主観的方法で得られたグレード又は点数を利用してビデオ品質を評価する。これに対し、客観的方法は人の目による評価を含まず、ビデオシーケンスから収集された情報のみを使用してビデオ品質を評価する。
【０００３】
客観的ビデオ品質評価方法は、完全な基準ビデオ情報を使う方法、不完全な基準ビデオ情報を使う方法及び基準ビデオ情報を使わない方法に更に分類できる。完全な基準ビデオ情報を使う方法による製品は市販されており、例えばOPTICOMのPerceptual Evaluation of Video Quality（知覚的ビデオ品質評価）、Genista社のOptimacyツール並びにPsytechnics社及びNational Telecommunications and Information Administrationの製品を含む。
【０００４】
ビデオ品質評価を実行するために、完全な基準ビデオ情報を使う方法及び不完全な基準ビデオ情報を使う方法は共にオリジナルビデオ（すなわち送信側から実際に送信されたビデオ）に関する基準情報を必要とするので、それら２つの方法は、使用中におけるリアルタイムビデオ品質評価には使用不可能である。これに対し、基準ビデオ情報を使わない方法はオリジナルビデオに関する情報を必要としない。基準ビデオ情報を使わない方法では、復号化ビデオ（すなわち受信後に受信側で復号化されたビデオ）に対する観測のみを実行し且つ観測された復号化ビデオの情報のみを使用してビデオ品質を推定する。
【０００５】
基準ビデオ情報を使わない方法のビデオ品質評価の場合、ビデオ品質劣化の２つの主な原因を考慮すべきである。第１の原因はビデオソースの符号化及び圧縮であり、第２の原因は、送信中、すなわちビデオコンテンツのストリーミング中のデータパケット損失である。ビデオ品質劣化の別の原因はいわゆるパケットジッタであろう。
【０００６】
ＩＰネットワークにおいて、知覚されるビデオ品質の劣化の原因は通常データパケット損失である。パケット損失の大半はネットワークノードにおける輻輳によって起こる。これは、輻輳が起こった場合にＩＰネットワークのルータにより更に多くのパケットが損失し、その重症性が増すからである。無線通信ネットワークの場合、無線通信条件の悪化がパケット損失を引き起こす場合もある。リアルタイムビデオ送信（ストリーミングビデオ）では、パケット損失の影響は大きな問題である。送信中のパケット損失によって起こるビデオ品質劣化の測定値はパケット損失尺度と呼ばれる。
【０００７】
通常、ストリームドビデオは符号化され且つ符号化効率を改善するために時間予測符号化を利用するＨ．２６３、ＭＰＥＧ−４、Ｈ．２６４及びＶＣ−１などのコーデックを使用することにより圧縮される。一般に、ａ）時間予測を使用せず且つビデオ再生フレームとして機能するイントラフレーム（Ｉフレーム）、ｂ）予測フレーム（Ｐフレーム）及びｃ）１つ以上の基準フレームから予測される双方向予測フレーム（Ｂフレーム）という３種類のフレームが使用される。ここで、Ｉフレーム及びＰフレームは通常基準フレームとして機能し、基準フレームの一部が損失した場合、その損失の結果発生するエラーは、次のＩフレーム（又はＰフレーム）がビデオをリフレッシュするまで時間の経過に伴って伝播することが多い。
【０００８】
従来より、パケット損失によるビデオ劣化を計算するいくつかの方法が提案されており、その１つはビデオストリームのフレームの種類ごとに損失マクロブロックの数を推定することに基づく。また、別の方法では、ビデオシーケンス中の２つの隣接するフレームの対応する領域の差を使用してビデオストリームの各画像の空間歪みを抽出する。ビデオの時間的動作に基づいて空間歪みは重み付けされ、シーケンス中の全画像の空間歪みを検出することによりビデオ品質が測定される。
【０００９】
しかし、ビデオ劣化を計算する上述の方法では、画像フレーム中のすべてのブロックの処理を必要とする。すなわち、上述の方法は非常に大規模な計算を必要とするので、多くのリアルタイムビデオ送信の用途で使用するには最適ではない。
【発明の概要】
【発明が解決しようとする課題】
【００１０】
以上の課題を考慮して、本発明の目的は、上述の方法及び従来の技術の改善を実現することである。特に、本発明の目的は、計算にほとんど労力を必要とせずにストリーミングビデオの品質を推定するパラメトリックな（基準を使わない）方法を提供することである。
【課題を解決するための手段】
【００１１】
従って、メディアプレーヤへ送信されるビデオストリームの品質値を判定する方法が提供される。方法は、ビデオストリームの測定間隔ごとに、ビデオストリームの少なくとも２つの損失データパケットを識別するステップと、ビデオストリームのイントラ符号化フレームを識別するステップと、損失データパケットがイントラ符号化フレームと関連するか否かの推定に基づいて、イントラ符号化フレームのうちどのイントラ符号化フレームが画質を維持しているかを判定するステップと、損失データパケットの各々とその次に続く画質を維持している各イントラ符号化フレームとの距離を推定するステップと、距離に基づいて品質値を生成するステップと、を有する。
【００１２】
より詳細には、品質値は、パラメータとして設定可能な測定間隔に対して判定される。例えば、測定間隔は時間間隔又はビデオストリームの順次データパケットの数又は順次画像フレームの数であってもよい。「損失データパケット」は、それ自体は必ずしも損失していないが、データパケットの情報を完全には回収できない程度まで劣化してしまっている情報を含むデータパケットをすべて含む。
【００１３】
尚、本明細書で使用される用語「イントラ符号化フレーム」は、他のフレームの基準フレームとして使用されるフレームである。すなわち、ビデオは、復号化するために他のいくつかの画像フレームの事前の復号化を必要とするいくつかの画像フレームを含む圧縮ビデオである。当該技術において周知であるように、画像フレームを形成するデータはビデオストリームのデータパケットに含まれる。
【００１４】
ビデオストリームのデータパケット及びフレームは順次連続しており且つデータパケットをビデオフレームに連携することは可能であるので、損失パケットとイントラフレームとの距離は時間値又はデータパケットの数又は画像フレームの数により示され得る。これは、距離判定に必要とされる計算を極めて迅速且つ容易に実行できるという大きな利点、すなわち方法を実行するコンピュータ装置が計算にほとんど労力を必要としないという大きな利点を有する。
【００１５】
この場合、「維持された画質」を有するフレームは、搬送中に情報が損失しなかったフレームである。
【００１６】
品質値の生成は距離の重み付けを含んでもよい。ユーザが体験するビデオ品質と劣化データパケットからイントラ符号化フレームまでの距離との間に直線的関係が成り立つとは限らないことから、この方法には利点がある。重み付けは迅速に実行可能な演算であり且つ主観的により信頼性の高い品質値を生成可能であるので、重み付けを使用することにより、計算に必要とされる労力は既知の方法と比較して更に少なくて済む。
【００１７】
距離のうち長い距離に付加される重みは短い距離に付加される重みより高くてもよい。ユーザはある時間をおいて初めて、すなわち損失データパケットからイントラ符号化フレームまでの距離が長い場合に限ってビデオ品質の低下を認知する場合が多いので、重みに差をつけることにより更に信頼性の高い品質値が生成される。
【００１８】
長い距離及び短い距離は共通のイントラ符号化フレームに対して推定されてもよい。イントラ符号化フレームはビデオ画像をリフレッシュするので、これは特に適切である。
【００１９】
イントラ符号化フレームと関連する損失データパケットの推定距離に付加される重みは、ビデオストリームの予測画像フレームと関連する損失データパケットの推定距離に付加される重みより相対的に高くしてもよい。イントラ符号化フレームにおけるエラーは画質を維持している次のイントラ符号化フレームまで伝播するので、これにより更に信頼性の高い品質値が得られる。更に、シーン変化がある場合にイントラ符号化フレームが追加され且つシーン変化を伴うイントラ符号化フレームにおける品質低下は非常に目立つエラーを発生させるので、このような重み付けの方法はその意味でも有用である。
【００２０】
共通する画像フレームと関連する２つのデータパケットの距離に付加される重みは、異なる画像フレームと関連する２つのデータパケットの距離に付加される重みより高くてもよい。同一の画像フレームに多くの損失データパケットが関わっている場合、ユーザが主観的に体験するビデオ品質は著しく低下するので、この重み付けにより更に信頼性の高い品質値が得られる。
【００２１】
データパケットはマーカビットを含むリアルタイムトランスポートプロトコルにより定義されてもよく、且つ、ビデオストリームの画像フレームはその画像フレームのデータパケットのマーカビット値に依存してイントラ符号化フレームであると識別されてもよい。これにより、計算効率のよい画像識別処理が実行される。
【００２２】
ビデオストリームの画像フレームは、その画像フレームの画像サイズが平均画像フレームの画像サイズの所定倍よりも大きいか否かに従ってイントラ符号化フレームとして識別されてもよい。これにより、計算の観点から、方法の効率は向上する。
【００２３】
品質値の生成はデータパケット損失率に基づいてもよい。通常、データパケット損失率は、（測定間隔中の）損失データパケットの数と送信されるデータパケットの総数との関係である。
【００２４】
本発明の別の態様によれば、メディアプレーヤへ送信されるビデオストリームの品質値を判定するシステムが提供される。システムは、ビデオストリームの測定間隔ごとに、ビデオストリームの少なくとも２つの損失データパケットを識別し、ビデオストリームのイントラ符号化フレームを識別し、損失データパケットがイントラ符号化フレームと関連するか否かの推定に基づいて、イントラ符号化フレームのうちどのイントラ符号化フレームが画質を維持しているかを判定し、損失データパケットの各々とその次に続く画質を維持している各イントラ符号化フレームとの距離を推定し、距離に基づいて品質値を生成するように構成される。
【００２５】
また、本発明の更に別の態様によれば、コンピュータにおいて実行された場合、ビデオストリームの測定間隔ごとに、ビデオストリームの少なくとも２つの損失データパケットを識別するステップと、ビデオストリームのイントラ符号化フレームを識別するステップと、損失データパケットがイントラ符号化フレームと関連するか否かの推定に基づいて、イントラ符号化フレームのうちどのイントラ符号化フレームが画質を維持しているかを判定するステップと、損失データパケットの各々とその次に続く画質を維持している各イントラ符号化フレームとの距離を推定するステップと、距離に基づいて品質値を生成するステップと、をコンピュータに実行させるソフトウェア命令を有するコンピュータプログラムが格納されているコンピュータ可読媒体が提供される。
【００２６】
本発明に係るシステム及びコンピュータ可読媒体は、本発明に係る方法と関連して先に説明した特徴のうちいずれかの特徴を実行するためのソフトウェア命令を含み、それらのソフトウェア命令を実行するように構成され且つ／又はそれらのソフトウェア命令を格納していてもよく、且つそれに対応する利点を有する。
【図面の簡単な説明】
【００２７】
添付の図面の概略図を参照して本発明の実施形態を例として説明する。
【図１】図１は、本発明を実現するシステムを示す図である。
【図２】図２は、メディアプレーヤを示す概略図である。
【図３】図３は、ビデオストリームを示す概略図である。
【図４】図４は、本発明に係る方法の一実施形態を示す流れ図である。
【発明を実施するための形態】
【００２８】
図１を参照すると、本発明を実現するシステムが示される。システムは、圧縮ビデオなどのメディアコンテンツが格納されるデータベース１１３に接続されたメディア（ビデオ）コンテンツサーバ１１２を具備する。メディアコンテンツサーバ１１２は、ＴＶ１１４、携帯電話１１５及びパーソナルコンピュータ１１６などのメディアプレーヤ又はビデオストリームを受信及び再生可能な他のあらゆる電子装置にネットワーク１１１を介して接続される。メディアコンテンツサーバ１１２は、ネットワーク１１１を介してメディアプレーヤ１１４、１１５、１１６へ圧縮ビデオストリームを送出するように構成される。メディアプレーヤ１１４、１１５、１１６は、メディアプレーヤ１１４、１１５、１１６によりビデオストリームのビデオコンテンツを再生できるようにビデオストリームを受信し且つ復号化するように構成されている。
【００２９】
送信、受信及び復号化は従来の方法で実行され且つ関連するすべての装置はビデオストリームを送出する適切な周知のネットワークプロトコルを実現する。
【００３０】
図２は、ネットワーク１１１を介してメディアコンテンツサーバ１１２に接続された（図示せず）メディアプレーヤ２１１を更に詳細に示す図である。メディアプレーヤ２１１はプロセッサ２１２を具備し、プロセッサ２１２は、本実施形態においてコンピュータプログラム２１４を格納しているハードディスク、ＲＯＭ（読み取り専用メモリ）及びフラッシュメモリなどの形態をとるコンピュータ可読媒体２１３に接続される。コンピュータプログラム２１４は、メディアプレーヤ２１１で実行されることにより、メディアプレーヤ２１１に以下に説明される方法ステップを実行させるソフトウェア命令を含む。ネットワーク１１１を介するメディアコンテンツサーバ１１２との通信を実現するために、プロセッサ２１２に通信インタフェース２１５が更に接続されている。
【００３１】
メディアプレーヤ２１１は、ビデオストリームを受信し且つ復号化し、その後にビデオストリームのビデオコンテンツを再生するための手段及びソフトウェア命令（図示せず）を更に具備する。
【００３２】
前述のように、メディアコンテンツサーバ１１２及びメディアプレーヤ１１４、１１５、１１６、２１１は従来の周知の方法により互いに通信し且つ動作する。特に、これらの装置は、Request for Comment No.3550（RFC3550）に従って「ＲＴＰ（リアルタイムアプリケーション向けトランスポートプロトコル）」を実現してもよい。本発明に係る方法及びシステムを実現する場合、例えばプロトコルＭＰＥＧ２−ＴＳ及びＭＰＥＧ４−ＴＳなどの他のプロトコルを使用することも当然可能である。いずれの場合にも、それらのプロトコルを使用するということは、メディアプレーヤへ送出されるビデオストリームがビデオストリームのデータコンテンツを搬送するためのデータパケットを含むことを意味する。
【００３３】
前述のように、ビデオストリームは、Ｈ．２６３、ＭＰＥＧ−４、Ｈ．２６４及びＶＣ−１のような圧縮コーデック（符号化−復号化スキーマ）により圧縮されたビデオを搬送する。すなわち、ビデオストリームの画像フレームは使用される圧縮コーデックに応じて異なるアルゴリズムを使用して圧縮される。
【００３４】
その結果、ビデオフレームに対する異なるアルゴリズムは、異なるビデオストリームの画像の種類又は異なるフレームの種類をもたらし、３つの主要な種類、すなわちＩフレーム（イントラ符号化フレーム）、Ｐフレーム（予測フレーム）及びＢフレーム（双方向予測フレーム）が使用される。当該技術において周知の通り、Ｉフレームは圧縮の程度が最も少ないフレームであり、復号化に際して他のビデオフレームを必要としない。Ｐフレームは伸張のために先行フレームからのデータを使用可能であり、Ｉフレームより更に圧縮可能である。これに対し、Ｂフレームはデータ参照のために先行フレーム及び後続フレームの双方を使用し、それにより更に多くの量のデータ圧縮が可能である。１つの種類のイントラ符号化フレーム（例えばＩフレーム）及び１つの種類の予測画像フレーム（例えばＰフレーム又はＢフレーム）があるだけで十分であるのは言うまでもない。
【００３５】
図３を参照すると、ビデオストリームＳの一部分が示される。この部分はビデオストリームＳの測定間隔ΔＴにより規定される。測定間隔ΔＴは開始時間及び終了時間により規定され、従って、ビデオストリームＳは開始時間から終了時間までにメディアプレーヤにより受信されたすべてのデータパケットを含む。なお、ビデオストリームＳの後続データパケットの数又は後続画像フレームの数により測定間隔ΔＴを規定することも可能である。
【００３６】
いずれにしても、本実施形態において、ビデオストリームの測定間隔ΔＴは１６個のデータパケット１〜１６を含む。それらのパケット１〜１６は、１２個の画像フレームＩ１、Ｐ１、Ｐ２、Ｉ２、Ｐ３、Ｐ４、Ｉ３、Ｐ５、Ｐ６、Ｉ４、Ｐ７及びＰ８の形式のデータを含む。この場合、イントラ符号化フレームＩ１、Ｉ２、Ｉ３、Ｉ４は２つのデータパケットによって収容されるが、予測フレームＰ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６、Ｐ７、Ｐ８は１つのデータパケットに収容される。これは、フレームを作成するために必要とされるデータの量に関して、１つのイントラ符号化フレームが１つの予測フレームより通常はるかに大きいためである。データパケット１〜１６は測定間隔ΔＴにわたって分散され、フレームを形成するデータはデータパケットに含まれるので、フレームも測定間隔ΔＴにわたって分散される。ストリーミング処理中に失われたデータパケット、すなわち本実施形態におけるデータパケット３、４、７、８、９は破線で示されている。
【００３７】
各データパケットは、ａ）ビデオストリーム中のそのデータパケットのシーケンス番号ｉ、ｂ）パケットが属する画像フレーム番号ｊ（タイムスタンプから導き出される）及びｃ）そのデータパケットが画像フレームの最終パケットであるか否かに関する情報を含む。通常、データパケットがフレームの最終パケットであるか否かを示すのは、そのデータパケットのいわゆるマーカビット値（Ｍビット値）である。マーカビット値は、使用されるトランスポートフォーマットに応じて、データパケットがフレームの最初のパケットであるか否かを示してもよい。
【００３８】
従って、本実施例において、第１のデータパケット１のストリームシーケンス番号はｉであり、第２のデータパケット２のストリームシーケンス番号はｉ＋１であり、以下も同様である。データパケット１及び２は同一の画像フレームに属するので、それらのデータパケットはそれぞれ同一の画像フレーム番号ｊを有するが、データパケット３は次のフレームに属するのでフレーム番号ｊ＋１を有する。更に詳細には、データパケット３は損失されたので、フレーム番号ｊ＋１を有していたというほうが正しい。データパケット１は、データパケット１がフレームＩ１の最終パケットではないことを示す「０」のＭ値を有するが、データパケット２は、データパケット２がフレームＩ１の最終データパケットであることを示す「１」のＭ値を有する。要するに、データパケットは以下の表に示される情報を含む（又はパケットが失われていなければ含まれていたものである）。
【００３９】
【表１】
【００４０】
表にはバイト単位でデータパケットのサイズも含まれている。相対的に大きなパケットサイズを有するデータパケットはイントラ符号化フレームに属する確率が高いので、パケットがどの種類の画像フレームに属するかを推定する場合にパケットサイズを利用可能である。
【００４１】
パケットシーケンス番号のシーケンスがパケットの損失（シーケンスギャップ）を示す場合、先行パケット及び後続パケットの画像フレーム番号及びマーカビットを使用して、損失パケットがどのフレームに属するかを判定可能である。本実施形態においてパケット番号９が失われている。パケット８及びパケット１０を見ると、それら２つのパケットは「１」に設定されたマーカビットを有する。これにより、パケット８及び１０はフレームの最終パケットであることがわかる。従って、損失パケットは画像フレーム番号ｊ＋６に属し、パケットの数及び総パケットサイズを見ることにより、それがイントラ符号化パケットであると推定できる。
【００４２】
データパケットのタイムスタンプ値及び符号化フレームレート（画像クロック周波数）を使用することにより、データパケットの画像フレーム番号ｊは計算される。更に詳細には、以下の通りである。
【００４３】
画像フレーム番号SeqNo＝１＋（TimeStampSeqNo−StartTime）／frameTime
式中、frameTime＝１／frameRateであり、第１のフレームシーケンス番号は１であるはずなので１が加算されており、StartTimeは第１のデータパケットのTimeStampである（StartTime＝TimeStamp1）。
【００４４】
本実施形態において、TimeStampはデータごとにＲＴＰヘッダに配置され、メディアプレーヤにおいてパケット（又はそのパケットが属する復号化フレーム）が再生されるべき時間である。
【００４５】
frameRateは、素材がサンプリングされるときの毎秒フレーム数であり、使用されるコーデックによって異なる。
【００４６】
データパケットはある間隔にわたって分散されているので、典型的には、データパケットの間隔はデータパケットシーケンス番号の差により規定され得る。画像フレームの間隔は、それらの画像フレームの最終データパケットのシーケンス番号の差により規定され、データパケットと画像フレームとの間隔は、データパケットシーケンス番号及びその画像フレームの最終データパケットのシーケンス番号により規定される。
【００４７】
図４を参照すると、本発明に係る方法が示される。方法は、ビデオストリームＳの損失データパケット３、４、７、８、９を識別することを含む第１のステップ４２を含む。損失データパケットの識別は、どのデータパケットシーケンス番号が欠落しているかを検査することにより実行され、シーケンス番号の欠落はデータパケットの欠落を意味する。
【００４８】
次に、ビデオストリームＳのイントラ符号化フレームＩ１、Ｉ２、Ｉ３、Ｉ４を識別することを含む第２のステップ４３が実行される。これは、注目画像フレームに属するパケットのデータビットサイズを注目画像フレームの周囲の画像フレームに属するすべてのパケットのデータビットサイズと比較することにより実行される。注目画像フレームが周囲のフレームの平均のｘ倍以上である場合、注目画像フレームはイントラ符号化画像フレームであると考えられる。標準Ｈ．２６４ベースラインストリームの場合、ｘの適切な値は通常２．５である。損失データパケットに対して平均データパケットサイズが使用される。
【００４９】
注目画像フレームに属するパケットのデータビットサイズを判定するために、この注目画像フレームに属する同じ画像フレーム番号（timestamp）を有するすべてのパケットのビットサイズが加算される。シーケンス番号が欠落している場合、パケットは損失している。従って、あるフレームに属するパケットの総サイズは画像フレームサイズを示す。
【００５０】
その後、第３のステップ４４において、イントラ符号化フレームのうち画質を維持しているイントラ符号化フレームＩ４が判定される。この判定は、損失データパケット９がイントラ符号化フレームＩ３と関連するか否かを推定すること（４５）により実行される。更に詳細には、同一の画像フレーム番号を有するデータパケットのシーケンス番号が連続している場合、欠落するデータパケットはなく、フレームは画質を維持している。
【００５１】
第４のステップ４６は、損失データパケット３、４、７、８、９とその次に続く画質を維持しているイントラ符号化フレームＩ２、Ｉ４との距離Ｄ１、Ｄ２、Ｄ３、Ｄ４、Ｄ５の推定から成り、この推定は先に示した距離の定義に従って実行される。
【００５２】
最後に第５のステップ４７において、距離Ｄ１、Ｄ２、Ｄ３、Ｄ４、Ｄ５に基づいて品質値Ｑが生成される。最も単純な形態では、品質値Ｑはそれらの距離の和である。従って、本実施形態において、ＱはＤ１＋Ｄ２＋Ｄ３＋Ｄ４＋Ｄ５＝３＋２＋７＋６＋５＝２３となる。これは、異なる品質値がそれに対応する異なるビデオ品質値として知覚されるように、ビデオを視聴しているユーザの主観的評価により解釈され得る客観的品質値である。
【００５３】
知覚されるビデオ品質を更によく反映するために、距離に重み付けすることにより品質値が計算されてもよい。重み付けの１つの方法は、例えばＱ＝ｅD1＋ｅD2＋．．．のような指数公式を使用することにより、長い距離Ｄ１に短い距離Ｄ２より高い重みを付加することを含む。しかし、実際には更に高度な指数公式が使用されてもよい。更に品質値を改善するために、画質を維持している同一のイントラ符号化フレームに関連する距離に対して特にこの種の重み付けが実行される。
【００５４】
また、重み付けは、イントラ符号化フレームＩ３に属する距離Ｄ５に予測画像フレームＰ３に属する距離Ｄ３の重みより高い重みを付加することを含んでもよい。これは、例えば距離の加算前又は指数公式に距離値を代入する前にＤ５値に係数ｙを乗算することにより実行される。
【００５５】
更に、品質値はデータパケット損失率に依存してもよい。データパケット損失率自体は当該技術において一般的な方法により判定される。例えば、品質値を判定する場合、損失率に距離の和が乗算されてもよい。
【００５６】
本発明の種々の実施形態を説明し且つ図示したが、本発明はそれらに限定されず、添付の請求の範囲において定義される本発明の主題の範囲内で他の方法により実現されてもよい。特に、本発明は、どのデータパケットがどの画像フレームに属するかを判定する他の方法を使用することにより実現されてもよい。
【技術分野】
【０００１】
本発明は、ビデオストリームの品質値を判定する方法、システム及びコンピュータ可読媒体に関する。
【背景技術】
【０００２】
今日、新たな無線ネットワークは、ストリームドマルチメディア（ビデオ）コンテンツ及びモバイルＴＶなどのビットレートのより高いサービスを可能にした。同時に、固定通信ネットワークにおいては、ＴＶオーバーインターネットプロトコル（ＩＰ）が普及している。この開発に伴って、この種の視覚通信サービスのビデオ品質をリアルタイムで評価することに重点が置かれることが多くなってきている。ビデオ品質評価の方法は主観的方法及び客観的方法を含む。通常、主観的方法では人の目でビデオ品質を評価する。評価する人はその主観的な感覚に基づいてビデオ品質のグレード又は点数を判定し、そのような主観的方法で得られたグレード又は点数を利用してビデオ品質を評価する。これに対し、客観的方法は人の目による評価を含まず、ビデオシーケンスから収集された情報のみを使用してビデオ品質を評価する。
【０００３】
客観的ビデオ品質評価方法は、完全な基準ビデオ情報を使う方法、不完全な基準ビデオ情報を使う方法及び基準ビデオ情報を使わない方法に更に分類できる。完全な基準ビデオ情報を使う方法による製品は市販されており、例えばOPTICOMのPerceptual Evaluation of Video Quality（知覚的ビデオ品質評価）、Genista社のOptimacyツール並びにPsytechnics社及びNational Telecommunications and Information Administrationの製品を含む。
【０００４】
ビデオ品質評価を実行するために、完全な基準ビデオ情報を使う方法及び不完全な基準ビデオ情報を使う方法は共にオリジナルビデオ（すなわち送信側から実際に送信されたビデオ）に関する基準情報を必要とするので、それら２つの方法は、使用中におけるリアルタイムビデオ品質評価には使用不可能である。これに対し、基準ビデオ情報を使わない方法はオリジナルビデオに関する情報を必要としない。基準ビデオ情報を使わない方法では、復号化ビデオ（すなわち受信後に受信側で復号化されたビデオ）に対する観測のみを実行し且つ観測された復号化ビデオの情報のみを使用してビデオ品質を推定する。
【０００５】
基準ビデオ情報を使わない方法のビデオ品質評価の場合、ビデオ品質劣化の２つの主な原因を考慮すべきである。第１の原因はビデオソースの符号化及び圧縮であり、第２の原因は、送信中、すなわちビデオコンテンツのストリーミング中のデータパケット損失である。ビデオ品質劣化の別の原因はいわゆるパケットジッタであろう。
【０００６】
ＩＰネットワークにおいて、知覚されるビデオ品質の劣化の原因は通常データパケット損失である。パケット損失の大半はネットワークノードにおける輻輳によって起こる。これは、輻輳が起こった場合にＩＰネットワークのルータにより更に多くのパケットが損失し、その重症性が増すからである。無線通信ネットワークの場合、無線通信条件の悪化がパケット損失を引き起こす場合もある。リアルタイムビデオ送信（ストリーミングビデオ）では、パケット損失の影響は大きな問題である。送信中のパケット損失によって起こるビデオ品質劣化の測定値はパケット損失尺度と呼ばれる。
【０００７】
通常、ストリームドビデオは符号化され且つ符号化効率を改善するために時間予測符号化を利用するＨ．２６３、ＭＰＥＧ−４、Ｈ．２６４及びＶＣ−１などのコーデックを使用することにより圧縮される。一般に、ａ）時間予測を使用せず且つビデオ再生フレームとして機能するイントラフレーム（Ｉフレーム）、ｂ）予測フレーム（Ｐフレーム）及びｃ）１つ以上の基準フレームから予測される双方向予測フレーム（Ｂフレーム）という３種類のフレームが使用される。ここで、Ｉフレーム及びＰフレームは通常基準フレームとして機能し、基準フレームの一部が損失した場合、その損失の結果発生するエラーは、次のＩフレーム（又はＰフレーム）がビデオをリフレッシュするまで時間の経過に伴って伝播することが多い。
【０００８】
従来より、パケット損失によるビデオ劣化を計算するいくつかの方法が提案されており、その１つはビデオストリームのフレームの種類ごとに損失マクロブロックの数を推定することに基づく。また、別の方法では、ビデオシーケンス中の２つの隣接するフレームの対応する領域の差を使用してビデオストリームの各画像の空間歪みを抽出する。ビデオの時間的動作に基づいて空間歪みは重み付けされ、シーケンス中の全画像の空間歪みを検出することによりビデオ品質が測定される。
【０００９】
しかし、ビデオ劣化を計算する上述の方法では、画像フレーム中のすべてのブロックの処理を必要とする。すなわち、上述の方法は非常に大規模な計算を必要とするので、多くのリアルタイムビデオ送信の用途で使用するには最適ではない。
【発明の概要】
【発明が解決しようとする課題】
【００１０】
以上の課題を考慮して、本発明の目的は、上述の方法及び従来の技術の改善を実現することである。特に、本発明の目的は、計算にほとんど労力を必要とせずにストリーミングビデオの品質を推定するパラメトリックな（基準を使わない）方法を提供することである。
【課題を解決するための手段】
【００１１】
従って、メディアプレーヤへ送信されるビデオストリームの品質値を判定する方法が提供される。方法は、ビデオストリームの測定間隔ごとに、ビデオストリームの少なくとも２つの損失データパケットを識別するステップと、ビデオストリームのイントラ符号化フレームを識別するステップと、損失データパケットがイントラ符号化フレームと関連するか否かの推定に基づいて、イントラ符号化フレームのうちどのイントラ符号化フレームが画質を維持しているかを判定するステップと、損失データパケットの各々とその次に続く画質を維持している各イントラ符号化フレームとの距離を推定するステップと、距離に基づいて品質値を生成するステップと、を有する。
【００１２】
より詳細には、品質値は、パラメータとして設定可能な測定間隔に対して判定される。例えば、測定間隔は時間間隔又はビデオストリームの順次データパケットの数又は順次画像フレームの数であってもよい。「損失データパケット」は、それ自体は必ずしも損失していないが、データパケットの情報を完全には回収できない程度まで劣化してしまっている情報を含むデータパケットをすべて含む。
【００１３】
尚、本明細書で使用される用語「イントラ符号化フレーム」は、他のフレームの基準フレームとして使用されるフレームである。すなわち、ビデオは、復号化するために他のいくつかの画像フレームの事前の復号化を必要とするいくつかの画像フレームを含む圧縮ビデオである。当該技術において周知であるように、画像フレームを形成するデータはビデオストリームのデータパケットに含まれる。
【００１４】
ビデオストリームのデータパケット及びフレームは順次連続しており且つデータパケットをビデオフレームに連携することは可能であるので、損失パケットとイントラフレームとの距離は時間値又はデータパケットの数又は画像フレームの数により示され得る。これは、距離判定に必要とされる計算を極めて迅速且つ容易に実行できるという大きな利点、すなわち方法を実行するコンピュータ装置が計算にほとんど労力を必要としないという大きな利点を有する。
【００１５】
この場合、「維持された画質」を有するフレームは、搬送中に情報が損失しなかったフレームである。
【００１６】
品質値の生成は距離の重み付けを含んでもよい。ユーザが体験するビデオ品質と劣化データパケットからイントラ符号化フレームまでの距離との間に直線的関係が成り立つとは限らないことから、この方法には利点がある。重み付けは迅速に実行可能な演算であり且つ主観的により信頼性の高い品質値を生成可能であるので、重み付けを使用することにより、計算に必要とされる労力は既知の方法と比較して更に少なくて済む。
【００１７】
距離のうち長い距離に付加される重みは短い距離に付加される重みより高くてもよい。ユーザはある時間をおいて初めて、すなわち損失データパケットからイントラ符号化フレームまでの距離が長い場合に限ってビデオ品質の低下を認知する場合が多いので、重みに差をつけることにより更に信頼性の高い品質値が生成される。
【００１８】
長い距離及び短い距離は共通のイントラ符号化フレームに対して推定されてもよい。イントラ符号化フレームはビデオ画像をリフレッシュするので、これは特に適切である。
【００１９】
イントラ符号化フレームと関連する損失データパケットの推定距離に付加される重みは、ビデオストリームの予測画像フレームと関連する損失データパケットの推定距離に付加される重みより相対的に高くしてもよい。イントラ符号化フレームにおけるエラーは画質を維持している次のイントラ符号化フレームまで伝播するので、これにより更に信頼性の高い品質値が得られる。更に、シーン変化がある場合にイントラ符号化フレームが追加され且つシーン変化を伴うイントラ符号化フレームにおける品質低下は非常に目立つエラーを発生させるので、このような重み付けの方法はその意味でも有用である。
【００２０】
共通する画像フレームと関連する２つのデータパケットの距離に付加される重みは、異なる画像フレームと関連する２つのデータパケットの距離に付加される重みより高くてもよい。同一の画像フレームに多くの損失データパケットが関わっている場合、ユーザが主観的に体験するビデオ品質は著しく低下するので、この重み付けにより更に信頼性の高い品質値が得られる。
【００２１】
データパケットはマーカビットを含むリアルタイムトランスポートプロトコルにより定義されてもよく、且つ、ビデオストリームの画像フレームはその画像フレームのデータパケットのマーカビット値に依存してイントラ符号化フレームであると識別されてもよい。これにより、計算効率のよい画像識別処理が実行される。
【００２２】
ビデオストリームの画像フレームは、その画像フレームの画像サイズが平均画像フレームの画像サイズの所定倍よりも大きいか否かに従ってイントラ符号化フレームとして識別されてもよい。これにより、計算の観点から、方法の効率は向上する。
【００２３】
品質値の生成はデータパケット損失率に基づいてもよい。通常、データパケット損失率は、（測定間隔中の）損失データパケットの数と送信されるデータパケットの総数との関係である。
【００２４】
本発明の別の態様によれば、メディアプレーヤへ送信されるビデオストリームの品質値を判定するシステムが提供される。システムは、ビデオストリームの測定間隔ごとに、ビデオストリームの少なくとも２つの損失データパケットを識別し、ビデオストリームのイントラ符号化フレームを識別し、損失データパケットがイントラ符号化フレームと関連するか否かの推定に基づいて、イントラ符号化フレームのうちどのイントラ符号化フレームが画質を維持しているかを判定し、損失データパケットの各々とその次に続く画質を維持している各イントラ符号化フレームとの距離を推定し、距離に基づいて品質値を生成するように構成される。
【００２５】
また、本発明の更に別の態様によれば、コンピュータにおいて実行された場合、ビデオストリームの測定間隔ごとに、ビデオストリームの少なくとも２つの損失データパケットを識別するステップと、ビデオストリームのイントラ符号化フレームを識別するステップと、損失データパケットがイントラ符号化フレームと関連するか否かの推定に基づいて、イントラ符号化フレームのうちどのイントラ符号化フレームが画質を維持しているかを判定するステップと、損失データパケットの各々とその次に続く画質を維持している各イントラ符号化フレームとの距離を推定するステップと、距離に基づいて品質値を生成するステップと、をコンピュータに実行させるソフトウェア命令を有するコンピュータプログラムが格納されているコンピュータ可読媒体が提供される。
【００２６】
本発明に係るシステム及びコンピュータ可読媒体は、本発明に係る方法と関連して先に説明した特徴のうちいずれかの特徴を実行するためのソフトウェア命令を含み、それらのソフトウェア命令を実行するように構成され且つ／又はそれらのソフトウェア命令を格納していてもよく、且つそれに対応する利点を有する。
【図面の簡単な説明】
【００２７】
添付の図面の概略図を参照して本発明の実施形態を例として説明する。
【図１】図１は、本発明を実現するシステムを示す図である。
【図２】図２は、メディアプレーヤを示す概略図である。
【図３】図３は、ビデオストリームを示す概略図である。
【図４】図４は、本発明に係る方法の一実施形態を示す流れ図である。
【発明を実施するための形態】
【００２８】
図１を参照すると、本発明を実現するシステムが示される。システムは、圧縮ビデオなどのメディアコンテンツが格納されるデータベース１１３に接続されたメディア（ビデオ）コンテンツサーバ１１２を具備する。メディアコンテンツサーバ１１２は、ＴＶ１１４、携帯電話１１５及びパーソナルコンピュータ１１６などのメディアプレーヤ又はビデオストリームを受信及び再生可能な他のあらゆる電子装置にネットワーク１１１を介して接続される。メディアコンテンツサーバ１１２は、ネットワーク１１１を介してメディアプレーヤ１１４、１１５、１１６へ圧縮ビデオストリームを送出するように構成される。メディアプレーヤ１１４、１１５、１１６は、メディアプレーヤ１１４、１１５、１１６によりビデオストリームのビデオコンテンツを再生できるようにビデオストリームを受信し且つ復号化するように構成されている。
【００２９】
送信、受信及び復号化は従来の方法で実行され且つ関連するすべての装置はビデオストリームを送出する適切な周知のネットワークプロトコルを実現する。
【００３０】
図２は、ネットワーク１１１を介してメディアコンテンツサーバ１１２に接続された（図示せず）メディアプレーヤ２１１を更に詳細に示す図である。メディアプレーヤ２１１はプロセッサ２１２を具備し、プロセッサ２１２は、本実施形態においてコンピュータプログラム２１４を格納しているハードディスク、ＲＯＭ（読み取り専用メモリ）及びフラッシュメモリなどの形態をとるコンピュータ可読媒体２１３に接続される。コンピュータプログラム２１４は、メディアプレーヤ２１１で実行されることにより、メディアプレーヤ２１１に以下に説明される方法ステップを実行させるソフトウェア命令を含む。ネットワーク１１１を介するメディアコンテンツサーバ１１２との通信を実現するために、プロセッサ２１２に通信インタフェース２１５が更に接続されている。
【００３１】
メディアプレーヤ２１１は、ビデオストリームを受信し且つ復号化し、その後にビデオストリームのビデオコンテンツを再生するための手段及びソフトウェア命令（図示せず）を更に具備する。
【００３２】
前述のように、メディアコンテンツサーバ１１２及びメディアプレーヤ１１４、１１５、１１６、２１１は従来の周知の方法により互いに通信し且つ動作する。特に、これらの装置は、Request for Comment No.3550（RFC3550）に従って「ＲＴＰ（リアルタイムアプリケーション向けトランスポートプロトコル）」を実現してもよい。本発明に係る方法及びシステムを実現する場合、例えばプロトコルＭＰＥＧ２−ＴＳ及びＭＰＥＧ４−ＴＳなどの他のプロトコルを使用することも当然可能である。いずれの場合にも、それらのプロトコルを使用するということは、メディアプレーヤへ送出されるビデオストリームがビデオストリームのデータコンテンツを搬送するためのデータパケットを含むことを意味する。
【００３３】
前述のように、ビデオストリームは、Ｈ．２６３、ＭＰＥＧ−４、Ｈ．２６４及びＶＣ−１のような圧縮コーデック（符号化−復号化スキーマ）により圧縮されたビデオを搬送する。すなわち、ビデオストリームの画像フレームは使用される圧縮コーデックに応じて異なるアルゴリズムを使用して圧縮される。
【００３４】
その結果、ビデオフレームに対する異なるアルゴリズムは、異なるビデオストリームの画像の種類又は異なるフレームの種類をもたらし、３つの主要な種類、すなわちＩフレーム（イントラ符号化フレーム）、Ｐフレーム（予測フレーム）及びＢフレーム（双方向予測フレーム）が使用される。当該技術において周知の通り、Ｉフレームは圧縮の程度が最も少ないフレームであり、復号化に際して他のビデオフレームを必要としない。Ｐフレームは伸張のために先行フレームからのデータを使用可能であり、Ｉフレームより更に圧縮可能である。これに対し、Ｂフレームはデータ参照のために先行フレーム及び後続フレームの双方を使用し、それにより更に多くの量のデータ圧縮が可能である。１つの種類のイントラ符号化フレーム（例えばＩフレーム）及び１つの種類の予測画像フレーム（例えばＰフレーム又はＢフレーム）があるだけで十分であるのは言うまでもない。
【００３５】
図３を参照すると、ビデオストリームＳの一部分が示される。この部分はビデオストリームＳの測定間隔ΔＴにより規定される。測定間隔ΔＴは開始時間及び終了時間により規定され、従って、ビデオストリームＳは開始時間から終了時間までにメディアプレーヤにより受信されたすべてのデータパケットを含む。なお、ビデオストリームＳの後続データパケットの数又は後続画像フレームの数により測定間隔ΔＴを規定することも可能である。
【００３６】
いずれにしても、本実施形態において、ビデオストリームの測定間隔ΔＴは１６個のデータパケット１〜１６を含む。それらのパケット１〜１６は、１２個の画像フレームＩ１、Ｐ１、Ｐ２、Ｉ２、Ｐ３、Ｐ４、Ｉ３、Ｐ５、Ｐ６、Ｉ４、Ｐ７及びＰ８の形式のデータを含む。この場合、イントラ符号化フレームＩ１、Ｉ２、Ｉ３、Ｉ４は２つのデータパケットによって収容されるが、予測フレームＰ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６、Ｐ７、Ｐ８は１つのデータパケットに収容される。これは、フレームを作成するために必要とされるデータの量に関して、１つのイントラ符号化フレームが１つの予測フレームより通常はるかに大きいためである。データパケット１〜１６は測定間隔ΔＴにわたって分散され、フレームを形成するデータはデータパケットに含まれるので、フレームも測定間隔ΔＴにわたって分散される。ストリーミング処理中に失われたデータパケット、すなわち本実施形態におけるデータパケット３、４、７、８、９は破線で示されている。
【００３７】
各データパケットは、ａ）ビデオストリーム中のそのデータパケットのシーケンス番号ｉ、ｂ）パケットが属する画像フレーム番号ｊ（タイムスタンプから導き出される）及びｃ）そのデータパケットが画像フレームの最終パケットであるか否かに関する情報を含む。通常、データパケットがフレームの最終パケットであるか否かを示すのは、そのデータパケットのいわゆるマーカビット値（Ｍビット値）である。マーカビット値は、使用されるトランスポートフォーマットに応じて、データパケットがフレームの最初のパケットであるか否かを示してもよい。
【００３８】
従って、本実施例において、第１のデータパケット１のストリームシーケンス番号はｉであり、第２のデータパケット２のストリームシーケンス番号はｉ＋１であり、以下も同様である。データパケット１及び２は同一の画像フレームに属するので、それらのデータパケットはそれぞれ同一の画像フレーム番号ｊを有するが、データパケット３は次のフレームに属するのでフレーム番号ｊ＋１を有する。更に詳細には、データパケット３は損失されたので、フレーム番号ｊ＋１を有していたというほうが正しい。データパケット１は、データパケット１がフレームＩ１の最終パケットではないことを示す「０」のＭ値を有するが、データパケット２は、データパケット２がフレームＩ１の最終データパケットであることを示す「１」のＭ値を有する。要するに、データパケットは以下の表に示される情報を含む（又はパケットが失われていなければ含まれていたものである）。
【００３９】
【表１】
【００４０】
表にはバイト単位でデータパケットのサイズも含まれている。相対的に大きなパケットサイズを有するデータパケットはイントラ符号化フレームに属する確率が高いので、パケットがどの種類の画像フレームに属するかを推定する場合にパケットサイズを利用可能である。
【００４１】
パケットシーケンス番号のシーケンスがパケットの損失（シーケンスギャップ）を示す場合、先行パケット及び後続パケットの画像フレーム番号及びマーカビットを使用して、損失パケットがどのフレームに属するかを判定可能である。本実施形態においてパケット番号９が失われている。パケット８及びパケット１０を見ると、それら２つのパケットは「１」に設定されたマーカビットを有する。これにより、パケット８及び１０はフレームの最終パケットであることがわかる。従って、損失パケットは画像フレーム番号ｊ＋６に属し、パケットの数及び総パケットサイズを見ることにより、それがイントラ符号化パケットであると推定できる。
【００４２】
データパケットのタイムスタンプ値及び符号化フレームレート（画像クロック周波数）を使用することにより、データパケットの画像フレーム番号ｊは計算される。更に詳細には、以下の通りである。
【００４３】
画像フレーム番号SeqNo＝１＋（TimeStampSeqNo−StartTime）／frameTime
式中、frameTime＝１／frameRateであり、第１のフレームシーケンス番号は１であるはずなので１が加算されており、StartTimeは第１のデータパケットのTimeStampである（StartTime＝TimeStamp1）。
【００４４】
本実施形態において、TimeStampはデータごとにＲＴＰヘッダに配置され、メディアプレーヤにおいてパケット（又はそのパケットが属する復号化フレーム）が再生されるべき時間である。
【００４５】
frameRateは、素材がサンプリングされるときの毎秒フレーム数であり、使用されるコーデックによって異なる。
【００４６】
データパケットはある間隔にわたって分散されているので、典型的には、データパケットの間隔はデータパケットシーケンス番号の差により規定され得る。画像フレームの間隔は、それらの画像フレームの最終データパケットのシーケンス番号の差により規定され、データパケットと画像フレームとの間隔は、データパケットシーケンス番号及びその画像フレームの最終データパケットのシーケンス番号により規定される。
【００４７】
図４を参照すると、本発明に係る方法が示される。方法は、ビデオストリームＳの損失データパケット３、４、７、８、９を識別することを含む第１のステップ４２を含む。損失データパケットの識別は、どのデータパケットシーケンス番号が欠落しているかを検査することにより実行され、シーケンス番号の欠落はデータパケットの欠落を意味する。
【００４８】
次に、ビデオストリームＳのイントラ符号化フレームＩ１、Ｉ２、Ｉ３、Ｉ４を識別することを含む第２のステップ４３が実行される。これは、注目画像フレームに属するパケットのデータビットサイズを注目画像フレームの周囲の画像フレームに属するすべてのパケットのデータビットサイズと比較することにより実行される。注目画像フレームが周囲のフレームの平均のｘ倍以上である場合、注目画像フレームはイントラ符号化画像フレームであると考えられる。標準Ｈ．２６４ベースラインストリームの場合、ｘの適切な値は通常２．５である。損失データパケットに対して平均データパケットサイズが使用される。
【００４９】
注目画像フレームに属するパケットのデータビットサイズを判定するために、この注目画像フレームに属する同じ画像フレーム番号（timestamp）を有するすべてのパケットのビットサイズが加算される。シーケンス番号が欠落している場合、パケットは損失している。従って、あるフレームに属するパケットの総サイズは画像フレームサイズを示す。
【００５０】
その後、第３のステップ４４において、イントラ符号化フレームのうち画質を維持しているイントラ符号化フレームＩ４が判定される。この判定は、損失データパケット９がイントラ符号化フレームＩ３と関連するか否かを推定すること（４５）により実行される。更に詳細には、同一の画像フレーム番号を有するデータパケットのシーケンス番号が連続している場合、欠落するデータパケットはなく、フレームは画質を維持している。
【００５１】
第４のステップ４６は、損失データパケット３、４、７、８、９とその次に続く画質を維持しているイントラ符号化フレームＩ２、Ｉ４との距離Ｄ１、Ｄ２、Ｄ３、Ｄ４、Ｄ５の推定から成り、この推定は先に示した距離の定義に従って実行される。
【００５２】
最後に第５のステップ４７において、距離Ｄ１、Ｄ２、Ｄ３、Ｄ４、Ｄ５に基づいて品質値Ｑが生成される。最も単純な形態では、品質値Ｑはそれらの距離の和である。従って、本実施形態において、ＱはＤ１＋Ｄ２＋Ｄ３＋Ｄ４＋Ｄ５＝３＋２＋７＋６＋５＝２３となる。これは、異なる品質値がそれに対応する異なるビデオ品質値として知覚されるように、ビデオを視聴しているユーザの主観的評価により解釈され得る客観的品質値である。
【００５３】
知覚されるビデオ品質を更によく反映するために、距離に重み付けすることにより品質値が計算されてもよい。重み付けの１つの方法は、例えばＱ＝ｅD1＋ｅD2＋．．．のような指数公式を使用することにより、長い距離Ｄ１に短い距離Ｄ２より高い重みを付加することを含む。しかし、実際には更に高度な指数公式が使用されてもよい。更に品質値を改善するために、画質を維持している同一のイントラ符号化フレームに関連する距離に対して特にこの種の重み付けが実行される。
【００５４】
また、重み付けは、イントラ符号化フレームＩ３に属する距離Ｄ５に予測画像フレームＰ３に属する距離Ｄ３の重みより高い重みを付加することを含んでもよい。これは、例えば距離の加算前又は指数公式に距離値を代入する前にＤ５値に係数ｙを乗算することにより実行される。
【００５５】
更に、品質値はデータパケット損失率に依存してもよい。データパケット損失率自体は当該技術において一般的な方法により判定される。例えば、品質値を判定する場合、損失率に距離の和が乗算されてもよい。
【００５６】
本発明の種々の実施形態を説明し且つ図示したが、本発明はそれらに限定されず、添付の請求の範囲において定義される本発明の主題の範囲内で他の方法により実現されてもよい。特に、本発明は、どのデータパケットがどの画像フレームに属するかを判定する他の方法を使用することにより実現されてもよい。
【特許請求の範囲】
【請求項１】
メディアプレーヤへ送信されるビデオストリームの品質値を判定する方法であって、測定間隔ごとの前記ビデオストリームについて、
前記ビデオストリームの少なくとも２つの損失データパケットを識別するステップと、
前記ビデオストリームのイントラ符号化フレームを識別するステップと、
損失データパケットがイントラ符号化フレームと関連するか否かの推定に基づいて、前記イントラ符号化フレームのうちどのイントラ符号化フレームが画質を維持しているかを判定するステップと、
前記損失データパケットの各々と、それぞれに続く画質を維持している各イントラ符号化フレームとの距離を推定するステップと、
前記距離に基づいて前記品質値を生成するステップと、を有することを特徴とする方法。
【請求項２】
前記品質値を生成することは前記距離の重み付けを含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記距離のうち長い距離に付加される重みは前記距離のうち短い距離に付加される重みより高いことを特徴とする請求項２に記載の方法。
【請求項４】
前記長い距離及び前記短い距離は共通のイントラ符号化フレームに対して推定されることを特徴とする請求項３に記載の方法。
【請求項５】
イントラ符号化フレームと関連する損失データパケットについて推定された距離に付加される重みは、前記ビデオストリームの予測画像フレームと関連する損失データパケットについて推定された距離に付加される重みより相対的に高いことを特徴とする請求項２から４のいずれか１項に記載の方法。
【請求項６】
共通する画像フレームと関連する２つのデータパケットの距離に付加される重みは、異なる画像フレームと関連する２つのデータパケットの距離に付加される重みより高いことを特徴とする請求項２から５のいずれか１項に記載の方法。
【請求項７】
前記データパケットはマーカビットを含むリアルタイムトランスポートプロトコルにより定義され、前記ビデオストリームの画像フレームは、前記画像フレームのデータパケットのマーカビット値に従ってイントラ符号化フレームとして識別されることを特徴とする請求項１から６のいずれか１項に記載の方法。
【請求項８】
前記ビデオストリームの画像フレームは、前記画像フレームの画像サイズが平均画像フレームの画像サイズの所定倍よりも大きいか否かに従ってイントラ符号化フレームとして識別されることを特徴とする請求項１から７のいずれか１項に記載の方法。
【請求項９】
前記品質値の生成はデータパケット損失率に基づくことを特徴とする請求項１から８のいずれか１項に記載の方法。
【請求項１０】
メディアプレーヤへ送信されるビデオストリームの品質値を判定するシステムであって、測定間隔ごとの前記ビデオストリームについて、
前記ビデオストリームの少なくとも２つの損失データパケットを識別し、
前記ビデオストリームのイントラ符号化フレームを識別し、
損失データパケットがイントラ符号化フレームと関連するか否かの推定に基づいて、前記イントラ符号化フレームのうちどのイントラ符号化フレームが画質を維持しているかを判定し、
前記損失データパケットの各々と、それぞれに続く画質を維持しているイントラ符号化フレームとの距離を推定し、
前記距離に基づいて前記品質値を生成するように構成されることを特徴とするシステム。
【請求項１１】
前記距離に重み付けするように構成されることを特徴とする請求項１０に記載のシステム。
【請求項１２】
前記距離のうち長い距離に前記距離のうち短い距離より高い重みを付加するように構成されることを特徴とする請求項１１に記載のシステム。
【請求項１３】
前記長い距離及び前記短い距離は共通するイントラ符号化フレームに対して推定されることを特徴とする請求項１２に記載のシステム。
【請求項１４】
イントラ符号化フレームと関連する損失データパケットについて推定された距離に、前記ビデオストリームの予測画像フレームと関連する損失データパケットについて推定された距離より相対的に高い重みを付加するように構成されることを特徴とする請求項１１から１３のいずれか１項に記載のシステム。
【請求項１５】
共通する画像フレームと関連する２つのデータパケットの距離に、異なる画像フレームと関連する２つのデータパケットの距離よりも高い重みを付加するように構成されることを特徴とする請求項１１から１４のいずれか１項に記載のシステム。
【請求項１６】
前記データパケットはマーカビットを含むリアルタイムトランスポートプロトコルにより定義され、前記ビデオストリームの画像フレームは、前記画像フレームのデータパケットのマーカビット値に従ってイントラ符号化フレームとして識別されることを特徴とする請求項１０から１５のいずれか１項に記載のシステム。
【請求項１７】
前記ビデオストリームの画像フレームは、前記画像フレームの画像サイズが平均画像フレームの画像サイズより大きいファクターであるか否かに従ってイントラ符号化フレームとして識別されることを特徴とする請求項１０から１６のいずれか１項に記載のシステム。
【請求項１８】
前記品質値の生成はデータパケット損失率に基づくことを特徴とする請求項１０から１７のいずれか１項に記載の方法。
【請求項１９】
コンピュータにおいて実行された時に、測定間隔ごとのビデオストリームについて、
前記ビデオストリームの少なくとも２つの損失データパケットを識別するステップと、
前記ビデオストリームのイントラ符号化フレームを識別するステップと、
損失データパケットがイントラ符号化フレームと関連するか否かの推定に基づいて、前記イントラ符号化フレームのうちどのイントラ符号化フレームが画質を維持しているかを判定するステップと、
前記損失データパケットの各々と、それぞれに続く画質を維持しているイントラ符号化フレームとの距離を推定するステップと、
前記距離に基づいて品質値を生成するステップと、を前記コンピュータに実行させるソフトウェア命令を有するコンピュータプログラムが格納されているコンピュータ可読媒体。
【請求項１】
メディアプレーヤへ送信されるビデオストリームの品質値を判定する方法であって、測定間隔ごとの前記ビデオストリームについて、
前記ビデオストリームの少なくとも２つの損失データパケットを識別するステップと、
前記ビデオストリームのイントラ符号化フレームを識別するステップと、
損失データパケットがイントラ符号化フレームと関連するか否かの推定に基づいて、前記イントラ符号化フレームのうちどのイントラ符号化フレームが画質を維持しているかを判定するステップと、
前記損失データパケットの各々と、それぞれに続く画質を維持している各イントラ符号化フレームとの距離を推定するステップと、
前記距離に基づいて前記品質値を生成するステップと、を有することを特徴とする方法。
【請求項２】
前記品質値を生成することは前記距離の重み付けを含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記距離のうち長い距離に付加される重みは前記距離のうち短い距離に付加される重みより高いことを特徴とする請求項２に記載の方法。
【請求項４】
前記長い距離及び前記短い距離は共通のイントラ符号化フレームに対して推定されることを特徴とする請求項３に記載の方法。
【請求項５】
イントラ符号化フレームと関連する損失データパケットについて推定された距離に付加される重みは、前記ビデオストリームの予測画像フレームと関連する損失データパケットについて推定された距離に付加される重みより相対的に高いことを特徴とする請求項２から４のいずれか１項に記載の方法。
【請求項６】
共通する画像フレームと関連する２つのデータパケットの距離に付加される重みは、異なる画像フレームと関連する２つのデータパケットの距離に付加される重みより高いことを特徴とする請求項２から５のいずれか１項に記載の方法。
【請求項７】
前記データパケットはマーカビットを含むリアルタイムトランスポートプロトコルにより定義され、前記ビデオストリームの画像フレームは、前記画像フレームのデータパケットのマーカビット値に従ってイントラ符号化フレームとして識別されることを特徴とする請求項１から６のいずれか１項に記載の方法。
【請求項８】
前記ビデオストリームの画像フレームは、前記画像フレームの画像サイズが平均画像フレームの画像サイズの所定倍よりも大きいか否かに従ってイントラ符号化フレームとして識別されることを特徴とする請求項１から７のいずれか１項に記載の方法。
【請求項９】
前記品質値の生成はデータパケット損失率に基づくことを特徴とする請求項１から８のいずれか１項に記載の方法。
【請求項１０】
メディアプレーヤへ送信されるビデオストリームの品質値を判定するシステムであって、測定間隔ごとの前記ビデオストリームについて、
前記ビデオストリームの少なくとも２つの損失データパケットを識別し、
前記ビデオストリームのイントラ符号化フレームを識別し、
損失データパケットがイントラ符号化フレームと関連するか否かの推定に基づいて、前記イントラ符号化フレームのうちどのイントラ符号化フレームが画質を維持しているかを判定し、
前記損失データパケットの各々と、それぞれに続く画質を維持しているイントラ符号化フレームとの距離を推定し、
前記距離に基づいて前記品質値を生成するように構成されることを特徴とするシステム。
【請求項１１】
前記距離に重み付けするように構成されることを特徴とする請求項１０に記載のシステム。
【請求項１２】
前記距離のうち長い距離に前記距離のうち短い距離より高い重みを付加するように構成されることを特徴とする請求項１１に記載のシステム。
【請求項１３】
前記長い距離及び前記短い距離は共通するイントラ符号化フレームに対して推定されることを特徴とする請求項１２に記載のシステム。
【請求項１４】
イントラ符号化フレームと関連する損失データパケットについて推定された距離に、前記ビデオストリームの予測画像フレームと関連する損失データパケットについて推定された距離より相対的に高い重みを付加するように構成されることを特徴とする請求項１１から１３のいずれか１項に記載のシステム。
【請求項１５】
共通する画像フレームと関連する２つのデータパケットの距離に、異なる画像フレームと関連する２つのデータパケットの距離よりも高い重みを付加するように構成されることを特徴とする請求項１１から１４のいずれか１項に記載のシステム。
【請求項１６】
前記データパケットはマーカビットを含むリアルタイムトランスポートプロトコルにより定義され、前記ビデオストリームの画像フレームは、前記画像フレームのデータパケットのマーカビット値に従ってイントラ符号化フレームとして識別されることを特徴とする請求項１０から１５のいずれか１項に記載のシステム。
【請求項１７】
前記ビデオストリームの画像フレームは、前記画像フレームの画像サイズが平均画像フレームの画像サイズより大きいファクターであるか否かに従ってイントラ符号化フレームとして識別されることを特徴とする請求項１０から１６のいずれか１項に記載のシステム。
【請求項１８】
前記品質値の生成はデータパケット損失率に基づくことを特徴とする請求項１０から１７のいずれか１項に記載の方法。
【請求項１９】
コンピュータにおいて実行された時に、測定間隔ごとのビデオストリームについて、
前記ビデオストリームの少なくとも２つの損失データパケットを識別するステップと、
前記ビデオストリームのイントラ符号化フレームを識別するステップと、
損失データパケットがイントラ符号化フレームと関連するか否かの推定に基づいて、前記イントラ符号化フレームのうちどのイントラ符号化フレームが画質を維持しているかを判定するステップと、
前記損失データパケットの各々と、それぞれに続く画質を維持しているイントラ符号化フレームとの距離を推定するステップと、
前記距離に基づいて品質値を生成するステップと、を前記コンピュータに実行させるソフトウェア命令を有するコンピュータプログラムが格納されているコンピュータ可読媒体。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公表番号】特表２０１２−５０７８９２（Ｐ２０１２−５０７８９２Ａ）
【公表日】平成２４年３月２９日（２０１２．３．２９）
【国際特許分類】
【出願番号】特願２０１１−５３３５４８（Ｐ２０１１−５３３５４８）
【出願日】平成２０年１１月４日（２００８．１１．４）
【国際出願番号】ＰＣＴ／ＥＰ２００８／０６４９５９
【国際公開番号】ＷＯ２０１０／０５１８３４
【国際公開日】平成２２年５月１４日（２０１０．５．１４）
【出願人】（５９８０３６３００）テレフオンアクチーボラゲット エル エム エリクソン（パブル） (2,266)
【Ｆターム（参考）】
【公表日】平成２４年３月２９日（２０１２．３．２９）
【国際特許分類】
【出願日】平成２０年１１月４日（２００８．１１．４）
【国際出願番号】ＰＣＴ／ＥＰ２００８／０６４９５９
【国際公開番号】ＷＯ２０１０／０５１８３４
【国際公開日】平成２２年５月１４日（２０１０．５．１４）
【出願人】（５９８０３６３００）テレフオンアクチーボラゲット エル エム エリクソン（パブル） (2,266)
【Ｆターム（参考）】
[ Back to top ]