説明

映像品質推定システム及び映像配信サーバ及びユーザの受信・再生端末

【課題】 映像配信サービスのユーザが自らの映像再生環境に適した映像配信サービスの選択、及び、映像の再生に問題となっている原因を効率的に調査することを可能にする。
【解決手段】 本発明は、映像配信サーバにて、端末から受信したデータと符号化された映像と評価用の映像に基づいて、再生映像を人間が見て体感する主観品質を定量化可能な任意の客観評価アルゴリズムを用いて客観評価値を算出して、端末に送信する。端末は、映像データを受信して復号し、また、サーバから客観評価値を取得し、映像データ、客観評価値、及び、受信・再生端末情報、復号された復号映像、符号化パラメータ、映像配信サーバから受信した符号化映像から抽出した符号化ビットストリーム、該映像符号化映像と該符号化ビットストリームを分析した分析結果等の可視化パラメータを表示する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像品質推定システム及び映像配信サーバ及びユーザの受信・再生端末に係り、特に、映像の再生品質を可視化するための映像品質推定システム及び映像配信サーバ及びユーザの受信・再生端末に関する。
【背景技術】
【0002】
従来、IPネットワーク上で提供される映像配信サービスのユーザが、IPネットワークを通じて映像を正確に受信して再生できるか確認する方法として、体感品質を推定する技術(例えば、特許文献1,2)や、映像配信事業者のWebサイト上に設置されるIPネットワークの利用可能帯域幅の測定(スピードテスト)が使われている(例えば、非特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2007−329775号公報
【特許文献2】特開2008−5108号公報
【非特許文献】
【0004】
【非特許文献1】"goo スピードテスト"、エヌ・ティ・ティレゾナント株式会社 http://speedtest.goo.ne.jp/flash.htm
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1,2の体感品質を推定する技術は、単にメディア再生の品質を推定するのみで、再生品質が低いと感じられた場合であっても、ユーザがその原因や対応を認識することはできない。
【0006】
特に不特定多数を対象とするIPネットワークを介した映像配信サービスでは、符号化方式として利用されるH.264方式やVC-1方式等は多大な演算量を必要とするため、非特許文献1のスピードテストで帯域幅が十分確保されていると判断されても、ユーザの受信・再生端末の演算速度やメモリ量が不十分であれば映像の再生を失敗する。このためサービス事業者が推奨端末や端末性能を示している場合があるが、セットトップボックス・パーソナルコンピュータ(PC)・携帯電話等、映像の受信・再生端末の多様化が進んでいるため、映像配信サービスが対象とする全ての端末で正常に映像を受信・再生できるかユーザやサービス事業者が確認することは難しい。
【0007】
また、サービス事業者が奨励端末や端末性能を示していない場合もある。更にIPネットワーク上ではIPパケットが損失する可能性があるが、非特許文献1のスピードテストではIPパケットの損失をユーザが検出することはできない。従って、ユーザは映像の再生状態を把握できず、かつ映像の再生に問題が発生した場合に、問題の原因を特定することが困難である。
【0008】
本発明は上記の点に鑑みなされたもので、映像配信サービスのユーザが自らの映像再生環境に適した映像配信サービスの選択を可能とし、映像の再生に問題となっている原因を効率的に調査することが可能な映像品質推定システム及び映像配信サーバ及びユーザの受信・再生端末を提供することを目的とする。
【課題を解決するための手段】
【0009】
上記の課題を解決するために、本発明(請求項1)は、IPネットワークを介した映像配信サービスにおいて、ユーザの受信・再生端末と映像配信サーバ及び該端末と該サーバを接続するネットワークから構成される映像品質可視化システムであって、
前記映像配信サーバは、
映像を符号化する映像符号化手段と、
符号化された映像及び評価用の映像を蓄積する映像蓄積手段と、
符号化された映像データを前記ネットワークを介して前記ユーザの受信・再生端末に送信する映像送信手段と、
映像品質の客観評価を行い、客観評価値を求める客観評価手段と、
前記ユーザの受信・再生端末との間で符号化パラメータやネットワークの状態に関するパラメータや前記客観評価値の送受信を行うデータ送受信手段と、
を含み、
前記ユーザの受信・再生端末は、
前記映像配信サーバから送信された映像データを受信する映像受信手段と、
受信した映像を一時的に記録する記憶手段と、
符号化された映像データを復号するための演算処理を行う映像復号化手段と、
映像の復号時に検出される符号化パラメータとネットワークの状態に関するパラメータと当該受信・再生端末情報を映像配信サーバに送信するデータ送信手段と、
前記映像配信サーバのデータ送受信手段から送信された前記客観評価値を受信するデータ受信手段と、
前記映像復号化手段により復号された映像、前記客観評価値及び可視化パラメータを表示する表示手段と、
映像品質の客観評価を行い、客観評価値を求める客観評価手段と、
を含み、
前記客観評価手段は、
前記ユーザの受信・再生端末の前記データ送信手段から受信したデータと、前記映像蓄積手段に格納されている前記符号化された映像と前記評価用の映像に基づいて、再生映像を人間が見て体感する主観品質を定量化可能な任意の客観評価アルゴリズムを用いて客観評価値を算出する評価値算出手段を含み、
前記表示手段は、
前記受信・再生端末情報、前記映像復号化手段で復号された復号映像、前記符号化パラメータ、前記映像配信サーバから受信した符号化映像から抽出した符号化ビットストリーム、該映像符号化映像と該符号化ビットストリームを分析した分析結果を含む前記可視化パラメータを表示する手段を含む。
【0010】
また、本発明(請求項2)は、請求項1の表示手段で表示される前記受信・再生端末情報に、当該ユーザの受信・再生端末のCPU使用率・メモリ使用率・メモリ上に展開される映像の受信バッファの利用率・復号状況(成功もしくは失敗)を含む。
【0011】
また、本発明(請求項3)は、請求項1の表示手段で表示される前記符号化パラメータに、映像の復号器のメーカと型番・符号化方式・映像のビットレート・フレームレート・空間解像度・インターレースの有無を含む。
【0012】
また、本発明(請求項4)は、請求項1の前記表示手段で表示される前記可視化パラメータに、
前記ユーザの受信・再生端末で受信したIPパケット損失情報(パケット損失率,パケット損失数,遅延,ジッタ)と、当該ユーザの受信・再生端末で受信している映像の帯域幅と、当該ユーザの受信・再生端末内の全プロセスが使っているネットワークの帯域幅を含むIPネットワーク状態情報を含む。
【0013】
また、本発明(請求項5)は、請求項1乃至4の前記表示手段において、所定の閾値に基づいて、前記可視化パラメータを強調表示する。
【0014】
また、本発明(請求項6)は、IPネットワークを介した映像配信サービスにおける映像配信サーバであって、
映像を符号化する映像符号化手段と、
符号化された映像及び評価用の映像を蓄積する映像蓄積手段と、
符号化された映像データをネットワークを介してユーザの受信・再生端末に送信する映像送信手段と、
映像品質の客観評価を行い、客観評価値を求める客観評価手段と、
前記ユーザの受信・再生端末と符号化パラメータやネットワークの状態に関するパラメータや前記客観評価値の送受信を行うデータ送受信手段と、
を含み、
前記客観評価手段は、
前記ユーザの受信・再生端末の前記データ送信手段から受信したデータと、前記映像蓄積手段に格納されている前記符号化された映像と前記評価用の映像に基づいて、再生映像を人間が見て体感する主観品質を定量化可能な任意の客観評価アルゴリズムを用いて客観評価値を算出する評価値算出手段を含む。
【0015】
また、本発明(請求項7)は、IPネットワークを介した映像配信サービスにおけるユーザの受信・再生端末であって、
映像配信サーバから送信された映像データを受信する映像受信手段と、
受信した映像を一時的に記録する記憶手段と、
符号化された映像データを復号するための演算処理を行う映像復号化手段と、
映像の復号時に検出される符号化パラメータとネットワークの状態に関するパラメータと当該受信・再生端末情報を映像配信サーバに送信するデータ送信手段と、
前記映像配信サーバのデータ送受信手段から送信された、再生映像を人間が見て体感する主観品質を定量化した客観評価値を受信するデータ受信手段と、
少なくとも、前記映像復号化手段で復号された復号映像、前記客観評価値、及び可視化パラメータを表示する表示手段と、
を含み、
前記表示手段で表示される前記可視化パラメータは、
前記受信・再生端末情報、前記符号化パラメータ、前記映像配信サーバから受信した符号化映像から抽出した符号化ビットストリーム、該映像符号化映像と該符号化ビットストリームを分析した分析結果を含む。
【0016】
また、本発明(請求項8)は、請求項7において、前記受信・再生端末情報は、
当該ユーザの受信・再生端末のCPU使用率・メモリ使用率・メモリ上に展開される映像の受信バッファの利用率・復号状況(成功もしくは失敗)を含み、
前記符号化パラメータは、
映像の復号器のメーカと型番・符号化方式・映像のビットレート・フレームレート・空間解像度・インターレースの有無を含む。
【0017】
また、本発明(請求項9)は、請求項7において、前記表示手段で表示する前記可視化パラメータは、
前記ユーザの受信・再生端末で受信したIPパケット損失情報(パケット損失率,パケット損失数,遅延,ジッタ)と、当該ユーザの受信・再生端末で受信している映像の帯域幅と、当該ユーザの受信・再生端末内の全プロセスが使っているネットワークの帯域幅を含むIPネットワーク状態情報を含む。
【0018】
また、本発明(請求項10)は、請求項7の前記表示手段において、
所定の閾値に基づいて、前記可視化パラメータを強調表示する。
【0019】
また、本発明(請求項11)は、前記映像配信サーバ(または、品質管理サーバ)において、請求項7,8,9,10のいずれかに記載したユーザの受信・再生端末内の情報を、IPネットワーク経由で取得する。
【発明の効果】
【0020】
従来の技術では、IPネットワーク上で提供される映像配信サービスのユーザが、映像の再生状態を正しく把握できず、映像の再生に問題があった場合に、問題点を把握することが難しかった。しかし、本発明により、映像配信サービスのユーザが、映像の再生状態を正しく理解することが可能となり、自らの映像再生環境に適した映像配信サービスを選択できるようになると共に、映像の再生に問題となっている原因を効率的に調査することが可能となる。映像配信サービスのサービス事業者やネットワーク事業者にとっても、サービスの問題点を迅速に把握することが可能となる。
【図面の簡単な説明】
【0021】
【図1】本発明の一実施の形態におけるシステム構成図である。
【図2】本発明の一実施の形態におけるシステムの動作のフローチャートである。
【図3】本発明の一実施の形態におけるシステムのシーケンスチャートである。
【図4】本発明の一実施の形態におけるユーザの受信・再生端末のモニタの画面イメージである。
【図5】本発明の一実施の形態における異常時のユーザの受信・再生端末のモニタの画面イメージである。
【発明を実施するための形態】
【0022】
以下図面と共に、本発明の実施の形態を説明する。
【0023】
以上の問題を解決するために、本発明では、映像配信サービスのユーザやサービス事業者のリクエストに応じて、ユーザの再生端末やIPネットワークの状態から、オンデマンドで映像の再生が可能であるか確認するための映像品質確認システムを示す。
【0024】
図1は、本発明の一実施の形態におけるシステム構成を示す。
【0025】
同図に示すシステムは、ユーザの受信・再生端末100、映像配信サーバ300、ユーザの受信・再生端末100と映像配信サーバ300を接続するIPネットワーク200から構成される。
【0026】
映像配信サーバ300は非圧縮の映像データを蓄積している映像データベース301と、映像配信サーバ300内で映像を符号化する映像符号化部302と、符号化された映像を蓄積する映像蓄積部303と、映像配信サーバ300内で符号化された映像データを、IPネットワーク200を介してユーザの受信・再生端末100に送信する映像送信部304と、映像品質の客観評価を行う客観評価部305と、ユーザの受信・再生端末100と符号化パラメータやネットワークの状態に関するパラメータや客観評価値の送受信を行うデータ受信部306やデータ送信部307、表示装置(モニタ)308から構成される。
【0027】
一方、ユーザの受信・再生端末100は、映像配信サーバ300から送信された映像データを受信する映像受信部101と、受信した映像を一時的に記録するメモリ102と、符号化された映像データを復号するための演算処理を行う映像復号化部103と、映像の符号化パラメータとネットワークの状態に関するパラメータと受信・再生端末情報を映像配信サーバ300に送信可能なデータ送信部104と、映像配信サーバ300のデータ送信部307から送信された客観評価値を受信するデータ受信部105と、ユーザの受信・再生端末100で、再生された映像、客観評価値、映像の符号化パラメータ、ネットワーク情報、受信・再生端末情報を表示する表示端末(モニタ)106から構成される。
【0028】
次に、上記のシステム構成における動作を説明する。
【0029】
図2は、本発明の一実施の形態におけるシステムの動作のフローチャートであり、図3は、本発明の一実施の形態におけるシステムのシーケンスチャートである。図2と図3のステップ番号と以下のステップ番号は対応している。
【0030】
ステップ101) まず、映像配信サービス事業者が設定する品質可視化用Webページにユーザがアクセスすることが、本実施の形態で規定する品質可視化処理を開始するトリガとなる。
【0031】
ステップ102) ユーザが品質可視化用Webページを開くと、映像配信サーバ300の映像データベース301内の予め決められた非圧縮映像RV1、もしくはユーザが選択した非圧縮映像RV1を、符号化後にユーザの受信・再生端末100に送信するようにプログラムされている。但し、ユーザの代わりにサービス/ネットワーク事業者が同様の処理を行っても良い。また、該当映像が映像蓄積部303に蓄積されている場合は、蓄積されているIPパケット化された符号化映像SCV1を送信しても良い。また映像データベース301内の映像データのフォーマットは非圧縮(フォーマットは任意)である。なお映像配信サーバ300は、IPネットワーク200を介してユーザの受信・再生端末100とデータの送受信が可能である。
【0032】
ステップ103) 映像配信サーバ300の映像符号化部302は、品質可視化処理開始後、映像データベース301内で予め決められた、もしくはユーザが選択した非圧縮映像データRV1を符号化して符号化ビットストリームCV1を作成し、映像蓄積部303に格納する。符号化方式にはH.264方式やMPEG2方式等の様々な方式があり、ビットレートやフレームレートに代表される符号化に必要なパラメータも様々なパターンが想定されるが、本実施の形態では任意の方式や符号化パラメータのパターンを許容する。
【0033】
次に、映像配信サーバ300の映像蓄積部303では、映像符号化部302で作成された符号化ビットストリームCV1を、IPパケット化したデータSCV1として蓄積する。IPプロトコルの上位にUDP(User Datagram protocol)やRTP(Real-time Transport protocol)等の任意のプロトコルを用いて良い。またIPパケット化されたSCV1ではなく、符号化ビットストリームCV1も保存できる。但し、RTP等のIPパケットの損失が検出可能であるプロトコルは必ず用いることとする。なお、映像蓄積部303に品質可視化処理用の映像が既に蓄積されている場合は、該当する蓄積映像を用いることにより、前段の符号化処理をスキップすることが出来る。
【0034】
ステップ104) 次に、映像配信サーバ300の映像送信部304は、映像蓄積部303で蓄積されているIPパケット化された符号化ビットストリームSCV1をユーザの受信・再生端末100の映像受信部101に向けてIPプロトコル(IETF RFC791)を用いて送信する。映像蓄積部303に符号化ビットストリームCV1が蓄積されている場合は、映像送信部304でIPパケット化して送信を行う。
【0035】
ステップ105) ユーザの受信・再生端末100の映像受信部101では、映像配信サーバ300からのIPパケット化された符号化ビットストリームをTCV1として受信する。この際に映像受信部101では、受信しているIPパケットのデータ量を検出できるため、単位時間当たりに受信したIPパケット化された符号化ビットストリームのデータ量である符号化ストリーム帯域幅(単位は任意)、もしくは単位時間当たりに受信したIPパケット化された符号化ビットストリームのデータ量(単位は任意)を端末が受信可能な最大データ量(単位は任意)で割った値である帯域利用率をNWIとして受信・再生端末100のモニタ106に送ることができる。但し、映像受信部101が単位時間当たりに受信したIPパケット化された符号化ビットストリームのデータ量(単位は任意)は、映像受信部101が単位時間当たりに受信した全データ量(単位は任意)に置き換えても良い。
【0036】
また、映像受信部101は、損失したIPパケットがないかを監視して(RTPプロトコルを使っている場合ならRTPシーケンス番号が非連続となる箇所を検出)、パケットが損失した回数を記憶して、NWIとして受信・再生端末100のモニタ106とデータ送信部104に送り、データ送信部104を経由して映像配信サーバ300に送ることができる。なお、損失した回数を記憶する機能はモニタやメモリに持たせても良い。
【0037】
ステップ106) 次に、映像受信部101は、TCV1をユーザの受信・再生端末100が備えるメモリ102に格納する。このとき、TCV1からIPプロトコルや任意に利用したプロトコルに基づいてパケットのペイロード(符号化ビットストリーム)MRCV1を抽出して、メモリ102上に作成されるバッファに格納する。メモリ102とバッファの使用率は常に計測される。メモリ102の使用率は、ユーザの受信・再生端末100で実行されている全プロセスもしくは映像の受信・再生で利用しているメモリ量(単位は任意)を、ユーザの受信・再生端末100が備える全メモリ量で除算した値である。バッファの使用率は、バッファに格納された映像データ量(単位は任意)を、全バッファ容量で除算した値である。
【0038】
また、映像受信部101において、IPパケットから符号化ビットストリームを抽出する際に、損失したIPパケットがないかを監視して(RTPプロトコルを使っている場合ならRTPシーケンス番号が非連続となる箇所を検出)、損失したパケットのID情報(RTPを使っている場合ならRTPシーケンス番号)と損失したパケットの前後のパケットのID情報(RTPを使っている場合ならRTPシーケンス番号)を検出する。
【0039】
また、映像受信部101において、符号化ビットストリームMRCV1やIPパケット化された符号化ビットストリームTCV1に対して、任意の客観評価アルゴリズムを適用して客観評価値OE2を算出しても良い。
【0040】
データ送信部104は、以上で算出したデータをAMRCV1として纏め、映像配信サーバ300にDATA1として送出する。同時にAMRCV1はユーザの受信・再生端末100のモニタ106に表示される。映像復号化部103は、メモリ102のバッファに格納された符号化ビットストリームMRCV1に対し画素への復号演算を行い、復号された画素情報DV1を表示端末(モニタ)106に出力する。なお、映像復号化部103の符号化ビットストリームを復号化する手段はH.264方式であればITU-T H.264の勧告文書等、該当する技術文書に記載の方法を用いる。また、映像復号化部103は、同時に復号に使われる演算装置(CPU)の使用率も取得し、モニタ106に出力する。
【0041】
当該CPUの使用率は、ユーザの受信・再生端末100で実行されている全プロセスが使用しているCPU容量(単位は任意)もしくは映像の受信・再生で利用しているCPU容量(単位は任意)を全CPU容量(単位は任意)で除算を行った値である。
【0042】
ステップ107) データ送信部104は、画素への復号時に検出される符号化パラメータDVI1(映像の復号器のメーカと型番・映像のビットレート・フレームレート・解像度・インターレースの有無・復号の成功/失敗)をDATA1に加えて、映像配信サーバ300に送出すると同時に、表示端末(モニタ)106にも出力する。この時に映像配信サーバ300へ送出するデータとして上記DATA1にユーザの受信・再生端末情報(CPU使用率・メモリ使用率・メモリ上に展開される映像の受信バッファの利用率)や映像受信部101から送られたNWIを加えても良く、任意の情報の取捨選択が可能である。
【0043】
以上の符号化パラメータDVI1は、符号化方式としてITU-T勧告 H.264を使っていれば、ITU-T勧告 H.264内に記載されている復号処理を行うと取得できる情報であり、他の符号化方式についても、該当する標準化勧告や技術文書を参照すると取得できる情報である。なお、DATA1は上記の全データを含む必要は無く、また送付処理は省略可能である。但し、次パラグラフの映像配信サーバ300内の処理に必要なデータを送付しない場合は、次パラグラフで記載してある映像配信サーバ300内の処理はスキップされる。
【0044】
ステップ108) 一方、映像配信サーバ300のデータ受信部306では、ユーザの受信・再生端末100のデータ送信部104から送られたDATA1として、損失したIPパケット等に関する情報AMRCV1やNWIと符号化パラメータDVI1と受信・再生端末情報を受信する。そしてモニタ308は、映像蓄積部303で保存されている送信映像SCV1のIPパケット情報を用いて、ユーザの受信・再生端末で受信した映像データを再現する(損失したIPパケット等に関する情報AMRCVにより、損失したIPパケットのID情報を用いて、損失したIPパケット情報を間引く処理を行う)。映像蓄積部303に符号化ビットストリームCV1しか保存されていない場合は、映像送信部304からCV1を送出する際のIPパケット化した際の処理を記憶しておき、それに基づいてCV1をIPパケット化してもよい。
【0045】
映像配信サーバ300の客観評価部305では、映像蓄積部303とデータ受信部306から出力されるDATA1とSCV1により、ユーザの受信・再生端末100で受信した映像データを再現したIPパケット(復号して取得できる画素情報を含む)・符号化パラメータと、SCV1を復号化した非圧縮映像情報と、映像データベース301に格納されている非圧縮映像情報RV1を用いて客観評価処理を行う。但し、客観評価部305はIPプロトコルや任意に利用したプロトコルに基づいてパケットのペイロード(符号化ビットストーム)を抽出して、ビットストリームを復号する手段を有すると共に、客観評価を行うために任意のアルゴリズムを使用できる。
【0046】
なお、客観評価部305の符号化ビットストリームを復号化する手段はH.264方式であればITU-T H.264の勧告文書等、該当する技術文書に記載の方法を用いる。また、客観評価を行う際には、データ受信部306で受信した符号化パラメータ(映像の復号器のメーカと型番・映像のビットレート・フレームレート・解像度・インターレースの有無)が利用可能である。
【0047】
ステップ109) 映像配信サーバ300の客観評価部305は、算出した客観評価値OE1をデータ送信部307を通してユーザの受信・再生端末100のデータ受信部105にDATA2として送出する。
【0048】
ステップ110) データ受信部105は、映像配信サーバ300から送信された客観評価値OE1を受信し、モニタ106に出力する。また、映像復号化部103で復号された復号映像DV1、ステップ106でIPパケット化された符号化映像の分析結果MRCV1、客観評価値DATA2、ユーザ再生端末情報をモニタ106に出力する。なお、DATA2の送付処理は省略可能である。
【0049】
ステップ111) モニタ106は、入力されたデータを表示する。
【0050】
ユーザの受信・再生端末のモニタの画面イメージを図4に示す。ユーザの受信・再生端末100のモニタ105には、
・ユーザの受信・再生端末100で復号された映像;
・復号映像の客観評価値(OE1、もしくはOE2、OE1が利用不可能の場合は、OE2を表示);
・符号化パラメータ(ビットレート・フレームレート・解像度・インターレースの有無);
・ネットワーク情報(映像の受信・再生端末100で受信したIPパケットの損失数と、映像の受信に使っている利用帯域幅と、受信・再生端末100内の全プロセスが使っているネットワークの帯域幅)、
・ユーザの受信・再生端末情報(CPU使用率・メモリ使用率・メモリ上に展開される映像の受信バッファの利用率・復号の成功/失敗)
等を表示可能である。なお、映像配信サービスに関わるパラメータであればモニタ106に表示できる。
【0051】
また、モニタ106は、各項目には閾値が設定でき、閾値を上回るもしくは下回ることによって、各パラメータの強調表示(文字色・文字大きさ、フォントの変更等)ができる。なお閾値はユーザが任意に設定できる。
【0052】
これにより、ユーザは、再生された映像に劣化が発生した場合や客観評価値が低下した場合に、その際に強調表示されている項目と比較対象を行うことで品質の劣化要因を推定できる(例えば客観評価値が低下した時に損失パケット数が増加して強調表示された時には、IPパケットの損失が客観品質の低下要因と考えることができる)。
【0053】
異常時のユーザの受信・再生端末のモニタの画面イメージの例を図5に示す。図5はネットワーク情報の中の損失パケット数が閾値を越えた場合であり、ネットワーク事業者に対して連絡を取るように指示を行っている。同様に符号化パラメータが異常値を取る場合はサービス事業者の連絡先、受信再生端末情報が異常値を取る場合は端末メーカの連絡先を表示することができる。また各事業者やメーカに蓄積されたノウハウに基づいて、具体的な修理に関する指示を表示することもできる。なお、表示端末(モニタ)106で表示されている情報は、IPネットワークを介して全て映像配信サーバ300でも収集できることから、サービス事業者やネットワーク事業者が、映像配信サーバ300内、もしくはオペレーションセンタに設置してある表示端末(モニタ)で、ユーザの受信・再生端末100のモニタ106に表示されている情報を参照することも可能である。なお、映像配信サーバのみならず、品質管理用サーバを用意して、当該品質管理用サーバにおいて、上記のユーザの受信・再生端末内の情報を、IPネットワークを介して収集するようにすることも可能である。
【0054】
上記のように、ユーザの受信・再生端末100には、
・ユーザの受信・再生端末の状態
・符号化パラメータ(異常値の場合は端末メーカの連絡先)
・IPネットワークの状態(異常値の場合の指示)
・修理に関する指示
等が表示されるため、ユーザは、受信・再生端末において映像が正常に再生できるかを判定でき、映像が正常に再生で着ない場合はその原因を推定することが可能となる。
【0055】
また、上記のユーザの受信・再生端末100及び映像配信サーバ300の各構成要素の動作をプログラムとして構築し、受信・再生端末100、映像配信サーバ300として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。
【0056】
さらに、構築されたプログラムをハードディスクやフレキシブルディスク、CD−ROM等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。
【0057】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【符号の説明】
【0058】
100 ユーザの受信・再生端末
101 映像受信部
102 メモリ
103 映像復号化部
104 データ送信部
105 データ受信部
106 表示端末(モニタ)
200 IPネットワーク
300 映像配信サーバ
301 映像データベース
302 映像符号化部
303 映像蓄積部
304 映像送信部
305 客観評価部
306 データ受信部
307 データ送信部
308 表示端末(モニタ)

【特許請求の範囲】
【請求項1】
IPネットワークを介した映像配信サービスにおいて、ユーザの受信・再生端末と映像配信サーバ及び該端末と該サーバを接続するネットワークから構成される映像品質可視化システムであって、
前記映像配信サーバは、
映像を符号化する映像符号化手段と、
符号化された映像及び評価用の映像を蓄積する映像蓄積手段と、
符号化された映像データを前記ネットワークを介して前記ユーザの受信・再生端末に送信する映像送信手段と、
映像品質の客観評価を行い、客観評価値を求める客観評価手段と、
前記ユーザの受信・再生端末との間で符号化パラメータやネットワークの状態に関するパラメータや前記客観評価値の送受信を行うデータ送受信手段と、
を含み、
前記ユーザの受信・再生端末は、
前記映像配信サーバから送信された映像データを受信する映像受信手段と、
受信した映像を一時的に記録する記憶手段と、
符号化された映像データを復号するための演算処理を行う映像復号化手段と、
映像の復号時に検出される符号化パラメータとネットワークの状態に関するパラメータと当該受信・再生端末情報を映像配信サーバに送信するデータ送信手段と、
前記映像配信サーバのデータ送受信手段から送信された前記客観評価値を受信するデータ受信手段と、
前記映像復号化手段により復号された映像、前記客観評価値及び可視化パラメータを表示する表示手段と、
映像品質の客観評価を行い、客観評価値を求める客観評価手段と、
を含み、
前記客観評価手段は、
前記ユーザの受信・再生端末の前記データ送信手段から受信したデータと、前記映像蓄積手段に格納されている前記符号化された映像と前記評価用の映像に基づいて、再生映像を人間が見て体感する主観品質を定量化可能な任意の客観評価アルゴリズムを用いて客観評価値を算出する評価値算出手段を含み、
前記表示手段は、
前記受信・再生端末情報、前記映像復号化手段で復号された復号映像、前記符号化パラメータ、前記映像配信サーバから受信した符号化映像から抽出した符号化ビットストリーム、該映像符号化映像と該符号化ビットストリームを分析した分析結果を含む前記可視化パラメータを表示する手段を含む
ことを特徴とする映像品質可視化システム。
【請求項2】
前記表示手段で表示される前記受信・再生端末情報は、
当該ユーザの受信・再生端末のCPU使用率・メモリ使用率・メモリ上に展開される映像の受信バッファの利用率・復号状況(成功もしくは失敗)を含む
請求項1記載の映像品質可視化システム。
【請求項3】
前記表示手段で表示される前記符号化パラメータは、
映像の復号器のメーカと型番・符号化方式・映像のビットレート・フレームレート・空間解像度・インターレースの有無を含む
請求項1記載の映像品質可視化システム。
【請求項4】
前記表示手段で表示する前記可視化パラメータは、
前記ユーザの受信・再生端末で受信したIPパケット損失情報(パケット損失率,パケット損失数,遅延,ジッタ)と、当該ユーザの受信・再生端末で受信している映像の帯域幅と、当該ユーザの受信・再生端末内の全プロセスが使っているネットワークの帯域幅を含むIPネットワーク状態情報を含む
請求項1記載の使用可能な映像品質可視化システム。
【請求項5】
前記表示手段は、
所定の閾値に基づいて、前記可視化パラメータを強調表示する
請求項1乃至4のいずれか1項に記載の映像品質可視化システム。
【請求項6】
IPネットワークを介した映像配信サービスにおける映像配信サーバであって、
映像を符号化する映像符号化手段と、
符号化された映像及び評価用の映像を蓄積する映像蓄積手段と、
符号化された映像データをネットワークを介してユーザの受信・再生端末に送信する映像送信手段と、
映像品質の客観評価を行い、客観評価値を求める客観評価手段と、
前記ユーザの受信・再生端末と符号化パラメータやネットワークの状態に関するパラメータや前記客観評価値の送受信を行うデータ送受信手段と、
を含み、
前記客観評価手段は、
前記ユーザの受信・再生端末の前記データ送信手段から受信したデータと、前記映像蓄積手段に格納されている前記符号化された映像と前記評価用の映像に基づいて、再生映像を人間が見て体感する主観品質を定量化可能な任意の客観評価アルゴリズムを用いて客観評価値を算出する評価値算出手段を含む
ことを特徴とする映像配信サーバ。
【請求項7】
IPネットワークを介した映像配信サービスにおけるユーザの受信・再生端末であって、
映像配信サーバから送信された映像データを受信する映像受信手段と、
受信した映像を一時的に記録する記憶手段と、
符号化された映像データを復号するための演算処理を行う映像復号化手段と、
映像の復号時に検出される符号化パラメータとネットワークの状態に関するパラメータと当該受信・再生端末情報を映像配信サーバに送信するデータ送信手段と、
前記映像配信サーバのデータ送受信手段から送信された、再生映像を人間が見て体感する主観品質を定量化した客観評価値を受信するデータ受信手段と、
少なくとも、前記映像復号化手段で復号された復号映像、前記客観評価値、及び可視化パラメータを表示する表示手段と、
を含み、
前記表示手段で表示される前記可視化パラメータは、
前記受信・再生端末情報、前記符号化パラメータ、前記映像配信サーバから受信した符号化映像から抽出した符号化ビットストリーム、該映像符号化映像と該符号化ビットストリームを分析した分析結果を含む
ことを特徴とするユーザの受信・再生端末。
【請求項8】
前記受信・再生端末情報は、
当該ユーザの受信・再生端末のCPU使用率・メモリ使用率・メモリ上に展開される映像の受信バッファの利用率・復号状況(成功もしくは失敗)を含み、
前記符号化パラメータは、
映像の復号器のメーカと型番・符号化方式・映像のビットレート・フレームレート・空間解像度・インターレースの有無を含む
請求項7記載のユーザの受信・再生端末。
【請求項9】
前記表示手段で表示する前記可視化パラメータは、
前記ユーザの受信・再生端末で受信したIPパケット損失情報(パケット損失率,パケット損失数,遅延,ジッタ)と、当該ユーザの受信・再生端末で受信している映像の帯域幅と、当該ユーザの受信・再生端末内の全プロセスが使っているネットワークの帯域幅を含むIPネットワーク状態情報を含む
請求項7記載のユーザの受信・再生端末。
【請求項10】
前記表示手段は、
所定の閾値に基づいて、前記可視化パラメータを強調表示する
請求項7記載のユーザの受信・再生端末。
【請求項11】
請求項7乃至10のいずれか1項に記載したユーザの受信・再生端末内情報を、IPネットワーク経由で取得することを特徴とする映像配信サーバまたは品質管理用サーバ。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate


【公開番号】特開2012−39530(P2012−39530A)
【公開日】平成24年2月23日(2012.2.23)
【国際特許分類】
【出願番号】特願2010−179774(P2010−179774)
【出願日】平成22年8月10日(2010.8.10)
【出願人】(000004226)日本電信電話株式会社 (13,992)
【Fターム(参考)】