情報取得システム、送信装置、データ捕捉装置、送信方法及びデータ捕捉方法
【課題】ユーザ端末において再生される映像又は音声の品質を正確に推定するために十分な情報を取得すること。
【解決手段】映像音声送信装置１００は、伝送レートを一定にするために、映像パケット及び音声パケットにヌルパケットを多重化して送信する。このとき、映像音声送信装置１００は、それぞれのヌルパケットの直前に送信される映像パケット及び直後に送信される映像パケットの双方について、映像パケットのデータが映像全体の再生品質にどの程度影響しているかを示す品質影響情報をヌルパケットに格納する。パケット捕捉装置２００は、終端装置２０からＳＴＢ３０へ出力される映像パケット及び音声パケットを捕捉し、ネットワーク上でのパケットロスを検出する。さらに、パケット捕捉装置２００は、パケットロスを検出すると、損失した映像パケットの前後のヌルパケットから品質影響情報を取得する。
【解決手段】映像音声送信装置１００は、伝送レートを一定にするために、映像パケット及び音声パケットにヌルパケットを多重化して送信する。このとき、映像音声送信装置１００は、それぞれのヌルパケットの直前に送信される映像パケット及び直後に送信される映像パケットの双方について、映像パケットのデータが映像全体の再生品質にどの程度影響しているかを示す品質影響情報をヌルパケットに格納する。パケット捕捉装置２００は、終端装置２０からＳＴＢ３０へ出力される映像パケット及び音声パケットを捕捉し、ネットワーク上でのパケットロスを検出する。さらに、パケット捕捉装置２００は、パケットロスを検出すると、損失した映像パケットの前後のヌルパケットから品質影響情報を取得する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報取得システム、送信装置、データ捕捉装置、送信方法及びデータ捕捉方法に関する。
【背景技術】
【０００２】
近年、例えばＩＰＴＶ（Internet Protocol TeleVision）やネットテレビなどのように、インターネットなどのネットワークを介した高画質映像の配信が盛んに行われている。これらの映像配信においては、通常、映像データや音声データがそれぞれサーバにおいてパケット化され、映像パケット及び音声パケットが多重化されて送信される。これらの映像パケット及び音声パケットは、ネットワーク上を伝送され、例えばユーザが所有するテレビやパーソナルコンピュータなどのユーザ端末によって受信される。そして、ユーザ端末によって、映像パケット及び音声パケットに対する復号などの処理が施され、映像及び音声が再生される。
【０００３】
このとき、例えばネットワーク上でパケットロスが発生した場合には、一部のパケットがユーザ端末に受信されず、再生される映像及び音声の画質や音質が劣化することになる。このため、例えば映像を配信する事業者がユーザへ提供するサービスの質を把握するためには、パケットロスによる画質・音質の劣化も含めて、ユーザ端末において再生される映像及び音声の品質を正確に推定することが重要となっている。そこで、映像パケットに格納される映像データのフレーム種別やフレーム発生規則の情報をそれぞれの映像パケットに格納しておき、パケットロスが発生した場合には、これらのフレーム種別やフレーム発生規則の情報から再生時の映像の品質を推定することが検討されている。すなわち、ネットワーク上でパケットロスが発生した場合、損失した映像パケットの前後に伝送される映像パケットに格納されたフレーム種別やフレーム発生規則の情報に基づいて、ユーザ端末において再生される映像の品質が推定される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−３３７２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述した従来技術においては、映像を再生するユーザ端末が映像パケットを受信し、受信された映像パケットに格納されたフレーム種別やフレーム発生規則の情報を取得するため、ユーザ端末における映像の再生品質を推定することができる。ただし、このような再生品質の推定を実現するためには、例えばテレビやパーソナルコンピュータなどのユーザ端末に、フレーム種別やフレーム発生規則などの付加的な情報を収集する処理を実行させる必要が生じる。すなわち、映像の再生と直接的には無関係な情報を収集する機能を新たにユーザ端末に実装しなければ、映像の再生品質を推定することができない。
【０００６】
そこで、ネットワーク上を伝送されるパケットを監視する専用の監視装置を設け、映像パケットや音声パケットに格納された付加的な情報を監視装置に取得させ、ユーザ端末における映像の再生品質を推定することが考えられる。しかしながら、映像パケットや音声パケットは、契約ユーザのみに再生が許可されるように暗号化されていることが多く、このような場合には、映像パケットや音声パケットに格納された情報を取得することが困難となる。結果として、暗号化された映像パケット及び音声パケットから再生品質の推定に十分な情報を得ることができず、映像及び音声の再生品質を推定することができないという問題がある。
【０００７】
また、ネットワーク上でパケットロスが発生した場合、ユーザ端末や監視装置は、損失したパケットに関する情報を直接的に得ることはできない。すなわち、損失したパケットの前後のパケットから、損失したパケットに格納されていた情報が推測され、推測の結果に基づいて間接的に映像の再生品質が推定される。したがって、損失したパケットに格納されていた情報の推測が正確でなければ、再生品質の推定の精度も低下してしまう。
【０００８】
本願に開示の技術は、上記に鑑みてなされたものであって、ユーザ端末において再生される映像又は音声の品質を推定するために十分な情報を取得することができる情報取得システム、送信装置、データ捕捉装置、送信方法及びデータ捕捉方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本願の開示する情報取得システムは、一つの態様において、送信装置とデータ捕捉装置とを備える情報取得システムであって、前記送信装置は、映像又は音声のデータを含む第１のデータ単位を生成する第１の生成部と、前記第１の生成部によって生成される第１のデータ単位の品質影響パラメータを含む第２のデータ単位を生成する第２の生成部と、前記第１の生成部によって生成された第１のデータ単位及び前記第２の生成部によって生成された第２のデータ単位を送信する送信部とを有し、前記データ捕捉装置は、第１のデータ単位及び第２のデータ単位を含む伝送中のデータからデータ単位を捕捉する捕捉部と、データ単位が伝送中に損失したか否かを判定する判定部と、前記判定部によってデータ単位が損失したと判定された場合に、前記捕捉部によって捕捉されたデータ単位から、損失したデータ単位の前後に送信された第２のデータ単位を検出する検出部と、前記検出部によって検出された第２のデータ単位から品質影響パラメータを抽出する抽出部とを有する。
【発明の効果】
【００１０】
本願の開示する情報取得システム、送信装置、データ捕捉装置、送信方法及びデータ捕捉方法の一つの態様によれば、ユーザ端末において再生される映像又は音声の品質を推定するために十分な情報を取得することができる。
【図面の簡単な説明】
【００１１】
【図１】図１は、実施の形態１に係るネットワーク構成の一例を示す図である。
【図２】図２は、実施の形態１に係る映像音声送信装置の要部構成を示すブロック図である。
【図３】図３は、実施の形態１に係るパケットフォーマットの一例を示す図である。
【図４】図４は、実施の形態１に係る品質影響情報の具体例を示す図である。
【図５】図５は、実施の形態１に係るヌルパケットの一例を示す図である。
【図６】図６は、実施の形態１に係るパケット捕捉装置の要部構成を示すブロック図である。
【図７】図７は、実施の形態１に係る映像音声送信装置の動作を示すフロー図である。
【図８】図８は、実施の形態１に係るパケット生成の具体例を示す図である。
【図９】図９は、実施の形態１に係る上位パケットフォーマットの一例を示す図である。
【図１０】図１０は、実施の形態１に係るパケット捕捉装置の動作を示すフロー図である。
【図１１】図１１は、実施の形態１に係るパケット配置の具体例を示す図である。
【図１２】図１２は、実施の形態１に係る品質影響情報抽出を説明する図である。
【図１３】図１３は、実施の形態２に係る映像音声送信装置の要部構成を示すブロック図である。
【図１４】図１４は、実施の形態２に係る品質影響情報の具体例を示す図である。
【図１５】図１５は、実施の形態２に係るヌルパケットの一例を示す図である。
【図１６】図１６は、実施の形態２に係る映像音声送信装置の動作を示すフロー図である。
【図１７】図１７は、実施の形態２に係るパケット配置の具体例を示す図である。
【図１８】図１８は、実施の形態２に係る品質影響情報抽出を説明する図である。
【図１９】図１９は、実施の形態３に係る映像音声送信装置の要部構成を示すブロック図である。
【図２０】図２０は、実施の形態３に係るヌルパケットの一例を示す図である。
【図２１】図２１は、実施の形態３に係るパケット配置の具体例を示す図である。
【図２２】図２２は、他の実施の形態に係るパケット配置の具体例を示す図である。
【発明を実施するための形態】
【００１２】
以下、本願の開示する情報取得システム、送信装置、データ捕捉装置、送信方法及びデータ捕捉方法の実施の形態について、図面を参照して詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。
【００１３】
（実施の形態１）
図１は、実施の形態１に係るネットワーク構成の一例を示す図である。図１に示すネットワーク構成においては、映像音声送信装置１００、品質評価装置１０及び終端装置２０がネットワークＮを介して接続されている。また、それぞれ戸建住宅内及び集合住宅内では、終端装置２０に住戸ごとのＳＴＢ（Set Top Box：セットトップボックス）３０及びテレビ４０が接続されており、終端装置２０とＳＴＢ３０の間にはパケット捕捉装置２００が設置されている。
【００１４】
映像音声送信装置１００は、ネットワークＮに接続されており、各住宅内の終端装置２０へ映像パケット及び音声パケットを送信する。また、映像音声送信装置１００は、伝送レートを一定にするために、映像パケット及び音声パケットに映像や音声のデータを含まないヌルパケットを多重化して送信する。ヌルパケットは、受信端末での再生に影響を及ぼすデータを含まず、受信端末において受信後に廃棄されるパケットである。このとき、映像音声送信装置１００は、それぞれのヌルパケットの直前に送信される映像パケット及び直後に送信される映像パケットの双方について、映像パケットのデータが映像全体の再生品質にどの程度影響しているかを示す品質影響情報をヌルパケットに挿入して送信する。すなわち、例えば映像パケットに対応するフレーム番号や再生時の重要度を示す再生重要度などの再生品質に影響を与える品質影響パラメータが品質影響情報としてヌルパケットに格納される。なお、映像音声送信装置１００の具体的な構成及び動作については、後に詳述する。
【００１５】
終端装置２０は、ネットワークＮに接続されており、ネットワークＮにおいて用いられる信号形式とそれぞれの住宅内で用いられる信号形式との変換を実行する。具体的には、終端装置２０は、例えばネットワークＮにおける光信号と住宅内における電気信号との相互変換を行う。そして、終端装置２０は、信号形式を変換した後、映像パケット及び音声パケットを各住戸のＳＴＢ３０へ出力する。
【００１６】
ＳＴＢ３０は、必要に応じて映像パケット及び音声パケットを復号し、テレビ４０で視聴可能な形式の信号に変換する。テレビ４０は、ＳＴＢ３０による変換後の信号を表示再生し、映像及び音声を再生する。なお、映像及び音声の再生に際して、映像や音声のデータを含まないヌルパケットは無視され、破棄される。
【００１７】
パケット捕捉装置２００は、終端装置２０からＳＴＢ３０へ出力される映像パケット及び音声パケットを捕捉し、ネットワークＮ上でのパケットロスを検出する。さらに、パケット捕捉装置２００は、パケットロスを検出すると、損失した映像パケットの前後のヌルパケットから品質影響情報を取得し、取得した品質影響情報をネットワークＮを介して品質評価装置１０へ送信する。図１に示すように、パケット捕捉装置２００は、ユーザによって映像の再生が行われるＳＴＢ３０及びテレビ４０の近傍に設置されているため、ユーザと同等の映像パケット及び音声パケットを捕捉することができる。したがって、パケット捕捉装置２００は、テレビ４０における映像及び音声の再生品質がパケットロスの影響を受けるときは、このパケットロスと同等のパケットロスを検出し、損失した映像パケットに関する品質影響情報を品質評価装置１０へ送信する。なお、パケット捕捉装置２００の具体的な構成及び動作については、後に詳述する。
【００１８】
品質評価装置１０は、パケット捕捉装置２００から送信された品質影響情報を参照し、映像パケットの損失による映像の再生品質への影響を推定し、テレビ４０において再生される映像及び音声の品質を評価する。すなわち、品質評価装置１０は、例えば損失した映像パケットに対応するピクチャタイプが他フレームの復号時に基準とされるＩピクチャ（Intra Picture）である場合には、映像の品質劣化が比較的大きいと評価する。また、品質評価装置１０は、例えば損失した映像パケットに対応するピクチャタイプがＩピクチャを基準として復号されるＰピクチャ（Predictive Picture）である場合には、映像の品質劣化が比較的小さいと評価する。なお、品質評価装置１０による映像の品質評価は、上述したものに限られず、品質影響情報の様々な項目が総合的に評価されることによって行われる。
【００１９】
［映像音声送信装置の構成］
図２は、本実施の形態に係る映像音声送信装置１００の要部構成を示すブロック図である。図２に示す映像音声送信装置１００は、映像符号化部１０１、制御情報付加部１０２、パケット化部１０３、品質影響情報取得部１０４、ヌルパケット生成部１０５、音声符号化部１０６、制御情報付加部１０７、パケット化部１０８、レート調整部１０９、多重化部１１０、暗号化部１１１及び送信部１１２を有する。
【００２０】
映像符号化部１０１は、映像データをフレームごとに最適な量子化ステップで符号化し、得られたフレームごとの符号化データを制御情報付加部１０２へ出力する。このとき、映像符号化部１０１は、各フレームの画像をＩピクチャ、Ｐピクチャ及びＢピクチャ（Bi-directional Picture）のいずれかのピクチャタイプで符号化する。Ｉピクチャとは、フレーム内符号化画像のことであり、フレーム全体の完全な画像情報が符号化されたピクチャである。Ｐピクチャとは、フレーム間順方向予測符号化画像のことであり、先行するＩピクチャとの差分情報が符号化されたピクチャである。Ｂピクチャとは、双方向予測符号化画像のことであり、前後のＩピクチャ又はＰピクチャとの差分情報が符号化されたピクチャである。したがって、Ｉピクチャは、単独で復号可能であるのに対し、Ｐピクチャ及びＢピクチャは、基準となるＩピクチャ又はＰピクチャが無ければ復号されない。
【００２１】
制御情報付加部１０２は、それぞれのフレームの符号化データの先頭にフレームの再生タイミングを示すタイムスタンプなどの制御情報を付加する。そして、制御情報付加部１０２は、制御情報が付加された符号化データをパケット化部１０３へ出力する。
【００２２】
パケット化部１０３は、符号化データにヘッダ情報を付加して固定長の映像パケットを組み立てる。すなわち、パケット化部１０３は、制御情報が付加された符号化データに、例えば同期バイト、パケットＩＤ及び連続カウンタなどのヘッダ情報を付加し、固定サイズの映像パケットを生成する。以下、符号化データを含む部分をパケットのデータ部といい、ヘッダ情報を含む部分をパケットのヘッダ部という。また、音声パケット及びヌルパケットもデータ部とヘッダ部を有し、パケット化部１０３が生成する映像パケットと同様のパケットフォーマットとなっている。
【００２３】
品質影響情報取得部１０４は、パケット化部１０３によって映像パケットが生成されると、生成された映像パケットが映像全体の再生品質に対して与える影響を示す品質影響情報を取得する。具体的には、品質影響情報取得部１０４は、例えば映像パケットに対応するフレームのフレーム番号や再生時の重要度を示す再生重要度など、再生品質に影響を与える品質影響パラメータを各映像パケットの品質影響情報として取得する。ここで例示した品質影響パラメータのうち、フレーム番号は、各映像パケットが映像全体のどのフレームの再生品質に影響を与えているかを示している。また、再生重要度は、映像パケットが他のフレームの復号にも影響を与えるか否かを示し、各映像パケットの再生品質への影響の度合いの大きさを示している。後述するように、品質影響パラメータとしては、他にもフレーム内のどの位置の画像の符号化データを含む映像パケットであるかを示す位置情報などがある。
【００２４】
ヌルパケット生成部１０５は、伝送レートを補正するためにヌルパケットが挿入されることがレート調整部１０９から通知されると、ヌルパケットの直前に配置される映像パケット及び直後に配置される映像パケットの品質影響情報を品質影響情報取得部１０４から取得する。そして、ヌルパケット生成部１０５は、取得された品質影響情報にヌルパケットであることを示すパケットＩＤなどのヘッダ情報を付加してヌルパケットを組み立て、レート調整部１０９へ出力する。すなわち、ヌルパケット生成部１０５は、ヌルパケットの直前及び直後に配置される２つの映像パケットの品質影響情報をデータ部に格納し、パケットＩＤなどをヘッダ部に格納したヌルパケットを生成する。このとき、ヌルパケット生成部１０５は、映像又は音声などのデータをヌルパケットのデータ部に格納することはない。
【００２５】
音声符号化部１０６は、音声データをフレームごとに符号化し、得られたフレームごとの符号化データを制御情報付加部１０７へ出力する。制御情報付加部１０７は、それぞれのフレームの符号化データにフレームの再生タイミングを示すタイムスタンプなどの制御情報を付加する。そして、制御情報付加部１０７は、制御情報が付加された符号化データをパケット化部１０８へ出力する。制御情報に含まれるタイムスタンプは、映像と音声の再生タイミングを一致させる際に必要となり、タイムスタンプに従って符号化データの再生タイミングが制御されることにより、映像と音声が同期して再生されることになる。
【００２６】
パケット化部１０８は、符号化データにヘッダ情報を付加して固定長の音声パケットを組み立てる。すなわち、パケット化部１０８は、制御情報が付加された符号化データに、映像パケットと同様のヘッダ情報を付加し、固定サイズの音声パケットを生成する。なお、パケット化部１０８は、パケット化部１０３とは異なり、音声パケットのヘッダ部には、パケット種別が音声パケットであることを示すパケットＩＤを格納する。
【００２７】
レート調整部１０９は、パケット化部１０３によって生成される映像パケットと、パケット化部１０８によって生成される音声パケットとの伝送レートを一定にするように調整する。すなわち、レート調整部１０９は、映像パケット及び音声パケットを多重化する際のパケットの配置を決定し、必要に応じてヌルパケットの挿入位置を決定して伝送レートを補正する。具体的には、レート調整部１０９は、例えば再生タイミングが近い映像と音声の符号化データを含む映像パケットと音声パケットが互いに大きな時間差なく送信されるようにヌルパケットの挿入位置を決定する。
【００２８】
さらに、レート調整部１０９は、ヌルパケットの挿入位置が決定されると、ヌルパケットの直前及び直後に配置される映像パケットを特定し、ヌルパケットが挿入される旨とともに、ヌルパケットの直前及び直後にどの映像パケットが配置されるかをヌルパケット生成部１０５へ通知する。この通知により、上述したように、ヌルパケット生成部１０５は、ヌルパケットの直前及び直後に配置される映像パケットの品質影響情報を格納したヌルパケットを生成することになる。ここで、ヌルパケットの直前及び直後に配置される映像パケットは、必ずしもヌルパケットに隣接して配置されていなくても良い。すなわち、ヌルパケットと映像パケットの間に音声パケットが配置されている場合でも、この映像パケットは、ヌルパケットの直前又は直後に配置される映像パケットとなる。
【００２９】
レート調整部１０９は、生成されたヌルパケットがヌルパケット生成部１０５から出力された後、映像パケット、音声パケット及びヌルパケットを多重化部１１０へ出力するとともに、これらのパケットについて決定されたパケット配置を多重化部１１０へ通知する。
【００３０】
多重化部１１０は、レート調整部１０９から通知されるパケット配置に従って、映像パケット、音声パケット及びヌルパケットを時分割多重化する。そして、多重化部１１０は、時分割多重化して得られたパケット列を暗号化部１１１へ出力する。
【００３１】
暗号化部１１１は、多重化部１１０から出力されたパケット列のうち、映像パケット及び音声パケットのデータ部を暗号化する。すなわち、暗号化部１１１は、映像の再生時に必要となるデータを暗号化し、契約ユーザ以外の第三者によって映像や音声が不当に再生・改ざんされることを防止する。一方、ヌルパケットのデータ部には映像や音声のデータが含まれていないため、暗号化部１１１は、ヌルパケットのデータ部を暗号化することはない。また、各パケットのヘッダ部に格納されたパケットＩＤがパケット種別の判定に用いられるため、暗号化部１１１は、映像パケット、音声パケット及びヌルパケットのヘッダ部を暗号化することもない。
【００３２】
送信部１１２は、暗号化部１１１による暗号化後のパケットを所定数ずつまとめ、上位レイヤに対応するヘッダ部を付加することにより、上位レイヤのパケット（以下「上位パケット」という）を生成する。このとき、送信部１１２は、上位パケットのヘッダ部に、上位パケットの通し番号を示すシーケンス番号を格納しておく。このシーケンス番号は、後述するように、パケット捕捉装置２００においてパケットロスを検出する際に用いられる。そして、送信部１１２は、映像及び音声が多重化された多重化データとして、生成された上位パケットを送信する。
【００３３】
［パケットフォーマット］
次に、パケット化部１０３、１０８及びヌルパケット生成部１０５が生成する映像パケット、音声パケット及びヌルパケットのパケットフォーマットについて説明する。図３は、本実施の形態に係るパケットフォーマットの具体例を示す図である。図３に示すパケットは、１８８バイトの固定サイズのデータ単位であり、原則として４バイトのヘッダ部と１８４バイトのデータ部とを含んでいる。ヘッダ部には付加的な情報が格納されることがあり、この場合、ヘッダ部のサイズがαバイトだけ拡張される。ただし、ヘッダ部が拡張された場合でも、データ部がαバイト縮小されることにより、パケット全体のサイズは１８８バイトに固定されている。
【００３４】
パケットのヘッダ部には、例えば同期バイト、パケットＩＤ及び連続カウンタなどのフィールドが設けられている。同期バイトは、所定のビット列からなっており、パケットの先頭位置を明示する標識となる。パケットＩＤは、パケットが映像データを含む映像パケットであるか、音声データを含む音声パケットであるか、又は、映像データ及び音声データのいずれも含まないヌルパケットであるかのパケット種別を示している。連続カウンタは、パケット種別ごとに独立して例えば０〜１５の番号を順番に格納し、映像及び音声それぞれにおける符号化データの連続性を示す。
【００３５】
また、ヘッダ部には、パケットの状態を示す様々なフラグが含まれている。すなわち、例えば優先フラグ、データ先頭フラグ、エラーフラグ、スクランブル制御フラグ及び拡張領域フラグなどがヘッダ部に含まれる。優先フラグは、パケットを他のパケットより優先して復号すべきであるか否かを示すフラグである。データ先頭フラグは、パケットが例えば１フレーム分などのひとまとまりのデータの先頭の符号化データを含むか否かを示すフラグである。エラーフラグは、パケットにエラーが発生したか否かを示すフラグである。スクランブル制御フラグは、パケットのデータ部が暗号化されているか否かを示すフラグである。拡張領域フラグは、パケットのヘッダ部が拡張されているか否かを示すフラグである。
【００３６】
映像パケット及び音声パケットのデータ部には、それぞれ映像又は音声の符号化データが適切なサイズに分割されて格納される。すなわち、１つのパケットのデータ部には、原則として１８４バイトの符号化データが格納される。一方、ヌルパケットのデータ部には、ヌルパケットの直前及び直後に配置される映像パケットの品質影響情報が格納される。通常、品質影響情報のサイズは、データ部のサイズよりも小さいため、品質影響情報が分割されて複数のヌルパケットのデータ部に格納されることはない。なお、パケットのサイズやフォーマットは、図３に示したものに限定されないが、少なくともパケットのヘッダ部には、映像パケット、音声パケット及びヌルパケットのいずれかを示すパケット種別が格納されていることが好ましい。
【００３７】
［品質影響情報の具体例］
次に、ヌルパケットのデータ部に格納される品質影響情報の具体例について説明する。図４は、品質影響情報に含まれる個々の品質影響パラメータの具体例を示す図である。品質影響情報取得部１０４は、各映像パケットに含まれる符号化データのフレーム番号、再生重要度、位置情報、動き情報及び量子化ステップをそれぞれの映像パケットの品質影響パラメータとして取得する。これらの品質影響パラメータは、映像全体の再生品質に対して影響を与えるパラメータである。
【００３８】
フレーム番号は、各フレームに付与された通し番号であり、映像パケットが映像全体のうちのどのフレームの映像の再生品質に影響するかを示している。すなわち、フレーム番号が１０１の映像パケットは、映像全体のうち１０１番のフレーム付近の映像の再生品質に影響することになる。再生重要度は、映像パケットが他のフレームの画像の復号にも影響を与える符号化データを含むか否かを示している。すなわち、ピクチャタイプがＩピクチャ又はＰピクチャであれば、他のフレームを含む映像の再生品質に影響するため、Ｉピクチャ及びＰピクチャの再生重要度は高い。一方、ピクチャタイプがＢピクチャであれば、他のフレームを含む映像の再生品質にはあまり影響しないため、Ｂピクチャの再生重要度は低い。したがって、パケットロスが発生した場合、再生重要度が高い（Ｉピクチャ又はＰピクチャに対応する）映像パケットが損失すると、映像の再生品質の劣化が比較的大きいのに対し、再生重要度が低い（Ｂピクチャに対応する）映像パケットが損失すると、映像の再生品質の劣化は比較的小さくて済む。
【００３９】
位置情報は、映像パケットに含まれる符号化データがフレーム内のどの位置の画像に基づくものであるかを示している。具体的には、例えば所定数の画素（例えば１６×１６画素）から形成されるマクロブロック単位でフレームの画像における２次元座標（ＸＹ座標）が定義され、映像パケットに対応するマクロブロックの座標値が位置情報となる。一般に、画像の符号化時には、画面内のマクロブロック単位で上から下方向及び左から右方向に圧縮が行われる。このため、パケットロスが発生した場合、画像の左上部分のマクロブロックに対応する映像パケットが損失すると、映像の再生品質の劣化が比較的大きいのに対し、画像の右下部分のマクロブロックに対応する映像パケットが損失すると、映像の再生品質の劣化は比較的小さくて済む。
【００４０】
動き情報は、映像パケットに含まれる符号化データが、基準となるＩピクチャ又はＰピクチャと比較してどの程度移動した部分の画像に基づくものであるかを示している。具体的には、映像パケットに対応する部分の動きベクトルが動き情報となる。一般に、動きが小さい部分については、動き以外の微小な変化が目立つ一方、動きが大きい部分については、動きと同時に多少の変化があってもあまり目立たない。したがって、パケットロスが発生した場合、動きが小さい部分に対応する映像パケットが損失すると、映像の再生品質の劣化が比較的大きいのに対し、動きが大きい部分に対応する映像パケットが損失すると、映像の再生品質の劣化は比較的小さくて済む。
【００４１】
量子化ステップは、映像符号化部１０１によってフレームの画像が符号化される際の量子化ステップである。すなわち、映像符号化部１０１においては、フレームごとに最適な量子化ステップで映像データの符号化が行われているため、各映像パケットに含まれる符号化データの量子化ステップは必ずしも同一ではない。一般に、量子化ステップは、符号化によって同一の値にまとめられる画素値の幅を示しており、１フレーム分の符号化データのデータ量が制限されている場合には、フレームの画像の複雑さと密接に関係している。すなわち、量子化ステップは、フレームの画像が単調であるか複雑であるかを反映しており、映像の再生品質に大きく関係している。なお、品質影響情報は、図４に示す品質影響パラメータのみに限定されず、映像全体の再生品質に対して影響を与える他の品質影響パラメータを含んでいても良い。
【００４２】
［ヌルパケットの構成］
次に、ヌルパケット生成部１０５が生成するヌルパケットの構成について説明する。ヌルパケット生成部１０５は、例えば図５に示すように、ヌルパケットの直前に配置される映像パケット及び直後に配置される映像パケットの双方の品質影響情報をデータ部に格納する。このとき、ヌルパケット生成部１０５は、データ部に映像又は音声のデータを格納することはない。
【００４３】
しかし、通常、２つの映像パケットの品質影響情報のサイズは、データ部のサイズよりも小さいため、ヌルパケットのデータ部の領域が余ることになる。そこで、ヌルパケット生成部１０５は、データ部の品質影響情報以外の部分には、例えばすべて「１」のビット列を格納してヌルパケットを生成しても良い。すなわち、図５に斜線で示す領域に品質影響情報が格納される場合、ヌルパケット生成部１０５は、データ部の斜線部以外の領域には無意味なビット列を格納すれば良い。また、ヌルパケット生成部１０５は、ヘッダ部にヌルパケットであることを示すパケットＩＤを格納する。
【００４４】
［パケット捕捉装置の構成］
図６は、本実施の形態に係るパケット捕捉装置２００の要部構成を示すブロック図である。図６に示すパケット捕捉装置２００は、上位パケット取得部２０１、パケットロス検出部２０２、ヌルパケット検出部２０３、ヌルパケット蓄積部２０４、品質影響情報抽出部２０５及び品質影響情報送信部２０６を有する。
【００４５】
上位パケット取得部２０１は、終端装置２０からＳＴＢ３０へ出力される多重化データのストリームから上位パケットをキャプチャする。すなわち、上位パケット取得部２０１は、所定数の映像パケット、音声パケット又はヌルパケットが含まれる上位パケットを取得する。
【００４６】
パケットロス検出部２０２は、上位パケット取得部２０１によって順次取得される上位パケットのヘッダ部を参照し、ヘッダ部に格納されたシーケンス番号が連続しているか否かを判定することにより、パケットロスの有無を判定する。すなわち、パケットロス検出部２０２は、上位パケット取得部２０１によって連続して取得された２つの上位パケットのシーケンス番号が連続していない場合に、これらの上位パケットの間に送信された上位パケットが損失したことを検出する。上位パケットが損失すれば、この上位パケットのデータ部に格納されているパケット（映像パケット、音声パケット又はヌルパケット）も損失したことになる。そして、損失したパケットは、ＳＴＢ３０及びテレビ４０によって受信されることもないため、テレビ４０において再生される映像及び音声の品質が劣化する。
【００４７】
ヌルパケット検出部２０３は、上位パケット取得部２０１によって取得された上位パケットのデータ部からヌルパケットを検出する。具体的には、ヌルパケット検出部２０３は、パケットそれぞれのヘッダ部に格納されたパケットＩＤを参照し、パケット種別を判定する。ここで、映像パケット及び音声パケットに関しては、データ部が暗号化されているが、いずれのパケットについてもヘッダ部は暗号化されていない。このため、ヌルパケット検出部２０３は、上位パケットのデータ部に格納された各パケットのパケットＩＤからパケット種別を判定することができる。そして、ヌルパケット検出部２０３は、上位パケットのデータ部に含まれるヌルパケットをヌルパケット蓄積部２０４へ出力する。
【００４８】
また、ヌルパケット検出部２０３は、パケットロス検出部２０２によってパケットロスの発生が検出された場合、パケットロスの発生が検出された後最初にヌルパケットを検出すると、その旨を品質影響情報抽出部２０５へ出力する。したがって、直前の上位パケットとシーケンス番号が連続しておらず、パケットロス検出の根拠となった上位パケットにヌルパケットが含まれていれば、ヌルパケット検出部２０３は、このヌルパケットを検出する。また、パケットロス検出の根拠となった上位パケットにヌルパケットが含まれていなければ、上位パケット取得部２０１によって新たに取得される上位パケットの中からヌルパケットを検出する。すなわち、ヌルパケット検出部２０３は、損失した上位パケットの送信後最も早く送信されたヌルパケットを検出し、該当するヌルパケットが検出されると、その旨を品質影響情報抽出部２０５へ通知する。
【００４９】
ヌルパケット蓄積部２０４は、ヌルパケット検出部２０３によって検出されたヌルパケットを蓄積する。ヌルパケット蓄積部２０４が蓄積するヌルパケットには、それぞれのヌルパケットの直前及び直後に送信された映像パケットの品質影響情報が格納されている。なお、ヌルパケット蓄積部２０４は、蓄積されたヌルパケットの数が所定数に達した場合、古いヌルパケットから順に破棄するようにしても良い。
【００５０】
品質影響情報抽出部２０５は、パケットロスの発生後に最初のヌルパケットが検出された旨がヌルパケット検出部２０３から通知されると、ヌルパケット蓄積部２０４に蓄積された最新の２つのヌルパケットから品質影響情報を抽出する。すなわち、品質影響情報抽出部２０５は、パケットロスにより損失した上位パケットの前後に送信された２つのヌルパケットから品質影響情報を抽出する。ここで、映像パケット及び音声パケットに関しては、データ部が暗号化されているが、ヌルパケットについてはデータ部が暗号化されていない。このため、品質影響情報抽出部２０５は、損失した上位パケットの前後に送信された２つのヌルパケットのデータ部から品質影響情報を抽出することができる。
【００５１】
これらのヌルパケットのデータ部には、ヌルパケットの直前及び直後に送信された映像パケットの品質影響情報が格納されている。したがって、品質影響情報抽出部２０５は、少なくとも損失した上位パケットを挟むタイミングで送信された２つのヌルパケット間の区間の最初と最後の映像パケットに関する品質影響情報を抽出したことになる。つまり、品質影響情報抽出部２０５によって抽出された品質影響情報が示す範囲の映像において、パケットロスに起因する再生品質の劣化が生じることになる。
【００５２】
品質影響情報送信部２０６は、品質影響情報抽出部２０５によって抽出された品質影響情報を終端装置２０及びネットワークＮを介して品質評価装置１０へ送信する。これにより、品質評価装置１０は、２つのヌルパケットの品質影響情報を受信し、パケットロスに起因する映像の再生品質の劣化度合いを評価することが可能となる。すなわち、品質評価装置１０は、損失したパケットを含む区間に対応するフレーム番号、再生重要度、位置情報及び動き情報などを含む品質影響情報を受信するため、パケット損失により、映像の再生品質がどの程度劣化するかを正確に推定することができる。
【００５３】
［映像音声送信装置の動作］
次いで、本実施の形態に係る映像音声送信装置１００の動作について、図７に示すフロー図を参照しながら説明する。なお、以下においては、ＭＰＥＧ（Moving Picture Experts Group）２システムのＭＰＥＧ２−ＴＳ（Transport Stream）に準拠した具体的なパケットフォーマットや多重化方式を例に挙げながら説明する。
【００５４】
送信対象の映像データ及び音声データが映像音声送信装置１００へ入力されると、映像データは、映像符号化部１０１へ入力され、フレームごとの画像が符号化される（ステップＳ１０１）。すなわち、例えば図８に示すように、映像データのフレーム＃１、＃２それぞれの画像がフレームごとに最適な量子化ステップで符号化されることにより、ＥＳ（Elementary Stream）データが得られる。ここで、符号化方式としては、ＭＰＥＧ２に準拠した方式を用いても良いが、そのほかにも例えばＭＰＥＧ４やＨ．２６４に準拠した方式を用いることも可能である。映像データがＭＰＥＧ４やＨ．２６４に従って符号化された場合でも、パケットの多重化にはＭＰＥＧ２−ＴＳを用いることができる。
【００５５】
映像データの符号化が行われると、制御情報付加部１０２によって、符号化後のそれぞれのフレームの符号化データにタイムスタンプなどの制御情報が付加される（ステップＳ１０２）。すなわち、例えば図８に示すように、ＥＳデータのフレーム＃１、＃２の画像それぞれに図中横線のハッチングで示す制御情報が付加され、ＰＥＳ（Packetized Elementary Stream）データが得られる。
【００５６】
制御情報が付加された符号化データは、パケット化部１０３へ入力され、パケット化部１０３によって、映像パケットが生成される（ステップＳ１０３）。すなわち、例えば図８に示すように、映像のＰＥＳデータが固定長に分割され、図中斜線のハッチングで示すヘッダ部が付加されることにより、映像のＴＳ（Transport Stream）パケットが生成される。パケット化部１０３によって付加されるヘッダ部には、ＴＳパケットが映像データを含む映像パケットであることを示すパケットＩＤが格納されている。なお、図８においては、映像パケットを「Ｖ」で示し、音声パケットを「Ａ」で示している。
【００５７】
パケット化部１０３によって映像パケットが生成されると、品質影響情報取得部１０４によって映像パケットから品質影響情報が取得された後（ステップＳ１０４）、映像パケットは、パケット化部１０３からレート調整部１０９へ出力される。具体的には、品質影響情報取得部１０４によって、映像パケットに含まれる符号化データのフレーム番号、再生重要度、位置情報、動き情報及び量子化ステップなどの品質影響パラメータが取得される。これらの品質影響パラメータは、映像の再生品質を大きく左右する因子であるため、例えば映像パケットが損失した場合に、映像の再生品質の劣化度合いを推定するのに重要な情報である。取得された映像パケットの品質影響情報は、品質影響情報取得部１０４によって保持される。
【００５８】
一方、映像音声送信装置１００に入力された音声データは、音声符号化部１０６へ入力され、フレームごとの音声が符号化される（ステップＳ１０５）。すなわち、例えば図８に示すように、音声データのフレーム＃１、＃２それぞれの音声が符号化されることにより、ＥＳデータが得られる。ここで、符号化方式としては、例えばＡＡＣ（Advanced Audio Coding）やＨＥ（High Efficiency）−ＡＡＣなどを用いることができる。
【００５９】
音声データの符号化が行われると、制御情報付加部１０７によって、符号化後のそれぞれのフレームの符号化データにタイムスタンプなどの制御情報が付加される（ステップＳ１０６）。すなわち、例えば図８に示すように、ＥＳデータのフレーム＃１、＃２の音声それぞれに図中横線のハッチングで示す制御情報が付加され、ＰＥＳデータが得られる。
【００６０】
制御情報が付加された符号化データは、パケット化部１０８へ入力され、パケット化部１０８によって、音声パケットが生成される（ステップＳ１０７）。すなわち、例えば図８に示すように、音声のＰＥＳデータが固定長に分割され、図中斜線のハッチングで示すヘッダ部が付加されることにより、音声のＴＳパケットが生成される。パケット化部１０８によって付加されるヘッダ部には、ＴＳパケットが音声データを含む音声パケットであることを示すパケットＩＤが格納されている。なお、ＴＳパケットの生成の際、ＰＥＳデータのフレームの先頭がＴＳパケットのヘッダ部直後に配置されるように、適宜パディングなどが行われる。
【００６１】
パケット化部１０８によって音声パケットが生成されると、音声パケットは、パケット化部１０８からレート調整部１０９へ出力される。そして、レート調整部１０９によって、映像パケット及び音声パケットを時分割多重化する際のパケットの配置が決定され、伝送レートを補正するためにヌルパケットを挿入する必要があるか否かが判定される（ステップＳ１０８）。すなわち、所定の伝送レートを達成するには映像パケット又は音声パケットが不足している場合に、レート調整部１０９によって、ヌルパケットが必要であると判定される。
【００６２】
伝送レートの補正のためにヌルパケットが必要であると判定された場合（ステップＳ１０８Ｙｅｓ）、レート調整部１０９によって、ヌルパケットの挿入位置が決定され、ヌルパケットの直前及び直後に配置される映像パケットが特定される。そして、ヌルパケットが挿入される旨とともに、特定された映像パケットを識別する情報がヌルパケット生成部１０５へ通知される。この通知を受け、ヌルパケット生成部１０５によって、ヌルパケットの直前及び直後に配置される映像パケットの品質影響情報が品質影響情報取得部１０４から取得され、取得された品質影響情報がデータ部に格納されたヌルパケットが生成される（ステップＳ１０９）。このヌルパケットのヘッダ部には、パケット種別がヌルパケットであることを示すパケットＩＤが格納されている。
【００６３】
ヌルパケット生成部１０５によって生成されたヌルパケットは、レート調整部１０９へ出力され、映像パケット及び音声パケットとともにレート調整部１０９から多重化部１１０へ出力される。また、伝送レート補正のためのヌルパケットが不要であると判定された場合は（ステップＳ１０８Ｎｏ）、ヌルパケットが生成されることなく、映像パケット及び音声パケットがレート調整部１０９から多重化部１１０へ出力される。
【００６４】
そして、多重化部１１０によって、映像パケット、音声パケット及びヌルパケットがレート調整部１０９によって決定されたパケット配置通りに時分割多重化される（ステップＳ１１０）。すなわち、所定の伝送レートが達成されるように映像パケット、音声パケット及びヌルパケットが多重化される。それぞれのヌルパケットには、直前及び直後に配置される映像パケットの品質影響情報が格納されている。そして、時分割多重化により得られたパケット列は、暗号化部１１１へ出力され、パケット列のうちの映像パケット及び音声パケットのデータ部が暗号化される（ステップＳ１１１）。
【００６５】
映像パケット及び音声パケットのデータ部が暗号化されたパケット列は、送信部１１２へ出力され、送信部１１２によって、送信のための上位レイヤの処理が施される。具体的には、送信部１１２によって、パケット列の各パケットが所定数ずつまとめられた上で、シーケンス番号を含むヘッダ部が付加されて上位パケットが生成される（ステップＳ１１２）。すなわち、例えば図９に示すように、パケットＶ＃１からパケットＡ＃ｎまでのｎ個（ｎは１以上の整数）の映像パケット、音声パケット及びヌルパケットにヘッダ部が付加されて上位パケットが生成される。図９においては、「Ｖ」が映像パケットを示し、「Ａ」が音声パケットを示し、「Ｎ」がヌルパケットを示している。また、＃１〜＃ｎは、上位パケットのデータ部におけるパケットの識別番号である。
【００６６】
図９に示すように、上位パケットのヘッダ部には、シーケンス番号が格納されている。シーケンス番号は、上位パケットの通し番号であり、連続して送信される上位パケットであれば、ヘッダ部に格納されたシーケンス番号も連続している。したがって、例えばパケット捕捉装置２００などの上位パケットを受信する装置は、上位パケットのシーケンス番号の連続性を確認することにより、ネットワークＮにおいて上位パケットのパケットロスが発生したか否かを判定することができる。
【００６７】
なお、本実施の形態においては、上位パケットのシーケンス番号に依拠して上位パケット単位のパケットロスを検出するものとしている。しかし、映像パケット及び音声パケットのヘッダ部にはパケット種別ごとの連続カウンタが格納されているため、連続カウンタに基づいてＴＳパケット単位のパケットロスを検出することも可能である。ただし、連続カウンタとしては、例えば０〜１５の番号が繰り返し使用されるため、同時に１６個の映像パケット（又は音声パケット）が損失した場合には、連続カウンタが不連続になることはない。結果として、連続カウンタのみからはパケットロスが正確に検出されないため、上位パケットのシーケンス番号を補助的に参照してパケットロスを検出しても良い。また、上位パケットのシーケンス番号やパケットの連続カウンタなどを用いることなくパケットロスを検出しても良い。
【００６８】
送信部１１２によって生成された上位パケットは、映像及び音声が多重化された多重化データとして送信される（ステップＳ１１３）。多重化データは、ネットワークＮ及び終端装置２０を介して各住戸のＳＴＢ３０及びテレビ４０に受信され、それぞれのテレビ４０においては、映像及び音声が再生される。
【００６９】
［パケット捕捉装置の動作］
次に、本実施の形態に係るパケット捕捉装置２００の動作について、図１０に示すフロー図を参照しながら説明する。
【００７０】
本実施の形態においては、パケット捕捉装置２００は、終端装置２０と各住戸のＳＴＢ３０との間に設置されている。したがって、パケット捕捉装置２００によって、終端装置２０から各住戸のＳＴＢ３０へ出力される多重化データのストリームからパケットが捕捉されることになる。具体的には、上位パケット取得部２０１によって、映像パケット、音声パケット又はヌルパケットを含む上位パケットが多重化データのストリームから捕捉される（ステップＳ２０１）。
【００７１】
上位パケット取得部２０１によって上位パケットが捕捉されると、パケットロス検出部２０２によって、ネットワークＮにおいて上位パケットのパケットロスが発生しているか否かが判定される（ステップＳ２０２）。具体的には、パケットロス検出部２０２によって、上位パケットのヘッダ部に格納されたシーケンス番号が上位パケット取得部２０１によって前回捕捉された上位パケットのシーケンス番号と連続しているか否かが判定される。この判定の結果、シーケンス番号が連続している場合には、パケットロス検出部２０２によって、ネットワークＮにおけるパケットロスが発生していないと判断され（ステップＳ２０２Ｎｏ）、シーケンス番号が不連続の場合には、パケットロス検出部２０２によって、ネットワークＮにおけるパケットロスが発生したと判断される（ステップＳ２０２Ｙｅｓ）。
【００７２】
パケットロス検出部２０２によってパケットロスが発生していないと判断された場合（ステップＳ２０２Ｎｏ）、ヌルパケット検出部２０３によって、上位パケットの中にヌルパケットが含まれているか否かが判定される（ステップＳ２０７）。具体的には、ヌルパケット検出部２０３によって、上位パケットのデータ部に含まれる各パケットのパケットＩＤが参照され、パケットＩＤがヌルパケットであることを示しているパケットがあるか否かが判定される。そして、上位パケットの中からヌルパケットが検出されなければ（ステップＳ２０７Ｎｏ）、引き続き、上位パケット取得部２０１によって上位パケットが捕捉され、上述した処理が繰り返される。また、上位パケットの中からヌルパケットが検出されれば（ステップＳ２０７Ｙｅｓ）、検出されたヌルパケットがヌルパケット蓄積部２０４に蓄積される（ステップＳ２０８）。その後、ヌルパケットが検出されない場合と同様に、上位パケット取得部２０１による上位パケットの捕捉以降の処理が繰り返される。
【００７３】
一方、パケットロス検出部２０２によってパケットロスが発生したと判断された場合（ステップＳ２０２Ｙｅｓ）、ヌルパケット検出部２０３によって、上位パケットの中にヌルパケットが含まれているか否かが判定される（ステップＳ２０３）。ここでも、上述したパケットロスが発生していない場合と同様に、各パケットのパケットＩＤに基づいてヌルパケットの有無が判定される。そして、上位パケットの中からヌルパケットが検出されなければ（ステップＳ２０３Ｎｏ）、上位パケット取得部２０１によって新たな上位パケットが捕捉され（ステップＳ２０６）、再度ヌルパケットの有無が判定される（ステップＳ２０３）。換言すれば、パケットロスによって損失した上位パケットの後最も早く送信されたヌルパケットが検出されるまで、ヌルパケット検出部２０３によるヌルパケットの検出が繰り返される。
【００７４】
そして、パケットロスによって損失した上位パケットの後最も早く送信されたヌルパケットが検出されると（ステップＳ２０３Ｙｅｓ）、検出されたヌルパケットは、他のヌルパケットと同様にヌルパケット蓄積部２０４に蓄積される。そして、品質影響情報抽出部２０５によって、ヌルパケット蓄積部２０４に蓄積された最新の２つのヌルパケットから品質影響情報が抽出される（ステップＳ２０４）。すなわち、品質影響情報抽出部２０５によって、パケットロスにより損失した上位パケットを挟んで前後に送信されたヌルパケットに格納された品質影響情報が抽出される。
【００７５】
品質影響情報抽出部２０５によって抽出される品質影響情報には、損失した上位パケットの前後に送信された２つのヌルパケットの間の区間の最初と最後の映像パケットに関するフレーム番号、再生重要度、位置情報、動き情報及び量子化ステップなどの品質影響パラメータが含まれている。したがって、上位パケットの損失による映像の再生品質の劣化は、品質影響情報抽出部２０５によって抽出された品質影響情報から推定することができる。すなわち、例えば品質影響情報のフレーム番号から、パケットロスの影響を受けるフレーム番号を推定することができ、品質影響情報の再生重要度から、パケットロスが復号に与える影響の大きさを推定することができる。また、例えば品質影響情報の位置情報や動き情報から、パケットロスによる品質の劣化が映像の再生時に目立つか否かを推定することができる。
【００７６】
このように、品質影響情報抽出部２０５によって抽出される品質影響情報は、テレビ４０において再生される映像の品質を正確に推定するために十分な品質影響パラメータを含んでいる。そして、品質影響情報抽出部２０５によって抽出された品質影響情報は、品質影響情報送信部２０６へ出力され、品質影響情報送信部２０６によって、終端装置２０及びネットワークＮを介して品質評価装置１０へ送信される（ステップＳ２０５）。これにより、品質評価装置１０は、パケットロスに伴う映像の再生品質の劣化度合いを正確に推定することができる。
【００７７】
［パケット配置及び再生品質の推定の具体例］
本実施の形態においては、映像音声送信装置１００において、伝送レート補正のためにヌルパケットが挿入されてパケットの多重化が行われる。したがって、必ずしもすべての映像パケットの品質影響情報がいずれかのヌルパケットに格納されるわけではなく、どの映像パケットの品質影響情報がヌルパケットに格納されるかは、パケットの多重化の際のパケット配置に依存している。
【００７８】
図１１は、本実施の形態に係るパケット配置の具体例を示す図である。図１１においては、映像パケットを「Ｖ」で示し、音声パケットを「Ａ」で示し、ヌルパケットを「Ｎ」で示している。また、＃１〜＃１２は、パケットの識別番号である。以下、例えば＃１のヌルパケットを「ヌルパケットＮ＃１」などという。図１１に示すように、ヌルパケットＮ＃１、Ｎ＃５及びＮ＃１０は、規則的に配置されているわけではなく、パケットの伝送レートを一定に補正するために配置されている。このため、ヌルパケットＮ＃１には、映像パケットＶ＃３の品質影響情報が格納され、ヌルパケットＮ＃５には、映像パケットＶ＃４、Ｖ＃６の品質影響情報が格納され、ヌルパケットＮ＃１０には、映像パケットＶ＃９、Ｖ＃１１の品質影響情報が格納されている。換言すれば、映像パケットＶ＃８の品質影響情報は、いずれのヌルパケットにも格納されていない。
【００７９】
ただし、実際には、ヌルパケットは比較的頻繁に挿入されることが多いため、大半の映像パケットの品質影響情報がいずれかのヌルパケットに格納されることになる。具体的に、例えば映像データの符号化方式がＭＰＥＧ２かつ伝送レートが１３Ｍｂｐｓであり、音声データの符号化方式がＡＡＣかつ伝送レートが１９２ｋｂｐｓである場合、映像音声送信装置１００から０．５秒間に送信される総パケット数は、例えば９９６９パケットとなる。この総パケット数の中に、映像パケットは、例えば４４８３パケット含まれ、音声パケットは、例えば５０パケット含まれ、ヌルパケットは、例えば５２５７パケット含まれる。残りのパケットは、例えばデータ放送用のパケットなどである。
【００８０】
このように、ヌルパケットは、総パケット数の過半数を占めているため、各ヌルパケットにそれぞれのヌルパケットの直前及び直後に配置される映像パケットの品質影響情報を格納することにより、大部分の映像パケットの品質影響情報がいずれかのヌルパケットに格納されると考えられる。このため、パケットロスにより映像パケットが損失した場合、損失した映像パケットの品質影響情報が前後のヌルパケットに格納されている確率が高い。結果として、ヌルパケットから品質影響情報を取得することにより、損失したパケットに関する情報を直接取得することができ、パケットロスによる映像の再生品質の劣化の度合いを正確に推定することが可能となる。
【００８１】
ところで、図１１に示した例において、パケットＶ＃６からパケットＶ＃９がパケットロスにより損失した場合、損失したパケットを挟んで前後に送信されるヌルパケットＮ＃５、Ｎ＃１０に格納された品質影響情報がパケット捕捉装置２００の品質影響情報抽出部２０５によって抽出される。ここで、ヌルパケットＮ＃５、Ｎ＃１０が、それぞれ例えば図１２に示す品質影響情報を格納していたものとする。ヌルパケットＮ＃５の直前の映像パケットは映像パケットＶ＃４であり、直後の映像パケットは映像パケットＶ＃６である。また、ヌルパケットＮ＃１０の直前の映像パケットは映像パケットＶ＃９であり、直後の映像パケットは映像パケットＶ＃１１である。
【００８２】
したがって、パケットの損失による映像の再生品質の劣化の度合いを推定する際には、ヌルパケットＮ＃５に格納されている直後の映像パケットＶ＃６の品質影響情報と、ヌルパケットＮ＃１０に格納されている直前の映像パケットＶ＃９の品質影響情報とに基づけば良い。すなわち、図１２において太枠で囲んだ部分に基づいて映像パケットの損失による再生品質の劣化を推定することができる。
【００８３】
具体的には、図１２において、太線で囲まれたフレーム番号はいずれも１０１であるため、パケットロスによって映像データが失われたフレームの番号が１０１であることがわかる。また、このフレームの画像はＩピクチャであり、比較的多くのフレームの復号に影響を与えることが推測される。さらに、損失した映像パケットは（０，０）から（１，１）までのいずれかの座標位置のマクロブロックのデータを含んでいたことが判明するため、比較的画像の周縁に近いマクロブロックがパケットロスの影響を受けると推測される。
【００８４】
なお、参照される品質影響情報のフレーム番号が異なっている場合でも（例えば１０１と１０３）、これらのフレーム番号の間のいずれかのフレーム（１０１〜１０３のいずれかの番号が付与されたフレーム）の映像データがパケットロスによって失われたことがわかる。このように、ヌルパケットに格納された品質影響情報は、映像パケットの損失による再生品質への影響を正確に見積もるのに十分な情報を含んでいる。したがって、品質影響情報送信部２０６から品質評価装置１０へ品質影響情報が送信されることにより、品質評価装置１０においては、映像の再生品質を正確に推定することができる。
【００８５】
以上のように、本実施の形態によれば、ヌルパケットの直前及び直後に配置される映像パケットの品質影響情報をヌルパケットに格納し、ヌルパケット及び映像パケットを含む多重化データを送信する。また、多重化データの受信及び再生が行われる位置の近傍で多重化データを捕捉し、ネットワーク上でパケットロスが発生すると、損失したパケットの前後のヌルパケットから品質影響情報を取得する。このため、損失したパケットを含む部分に関する情報をヌルパケットから取得することができ、パケットロスによる再生品質の劣化度合いを正確に推定することができる。換言すれば、ユーザ端末において再生される映像の品質を正確に推定するために十分な情報を取得することができる。
【００８６】
（実施の形態２）
上記実施の形態１においては、映像パケットの品質影響情報をヌルパケットに格納して送信するものとしたが、音声パケットの品質影響情報をヌルパケットに格納して送信することも可能である。そこで、実施の形態２においては、ヌルパケットに音声パケットの品質影響情報を格納する場合について説明する。この場合でも、ネットワーク構成は実施の形態１に係るネットワーク構成と同様であるため、その説明を省略する。以下、主に本実施の形態に係る映像音声送信装置１００と実施の形態１に係る映像音声送信装置１００との構成及び動作の違いについて説明する。
【００８７】
［映像音声送信装置の構成］
図１３は、本実施の形態に係る映像音声送信装置１００の要部構成を示すブロック図である。図１３において、図２と同じ部分には同じ符号を付し、その説明を省略する。図１３に示す映像音声送信装置１００は、図２に示す映像音声送信装置１００の品質影響情報取得部１０４及びヌルパケット生成部１０５に代えて、品質影響情報取得部３０１及びヌルパケット生成部３０２を有する。
【００８８】
品質影響情報取得部３０１は、パケット化部１０８によって音声パケットが生成されると、生成された音声パケットが音声全体の再生品質に対して与える影響を示す品質影響情報を取得する。具体的には、品質影響情報取得部３０１は、例えば図１４に示す品質影響パラメータを取得する。すなわち、品質影響情報取得部３０１は、各音声パケットに含まれる符号化データのフレーム番号及び音声レベルをそれぞれの音声パケットの品質影響パラメータとして取得する。このように、本実施の形態に係る品質影響パラメータは、音声全体の再生品質に対して影響を与えるパラメータである。
【００８９】
フレーム番号は、各フレームに付与された通し番号であり、音声パケットが音声全体のうちのどのフレームの音声の再生品質に影響するかを示している。音声レベルは、音声パケットに含まれる符号化データの音声レベルを示しており、例えば無音であれば０、有音であれば音声レベルに応じた数値が音声レベルの情報となる。したがって、パケットロスが発生した場合、音声レベルが比較的大きい音声パケットが損失すると、音声の再生品質の劣化が比較的大きいのに対し、無音の音声パケットが損失すると、音声の再生品質の劣化は比較的小さくて済む。なお、品質影響情報は、図１４に示す品質影響パラメータのみに限定されず、音声全体の再生品質に対して影響を与える他の品質影響パラメータを含んでいても良い。
【００９０】
図１３に戻って、ヌルパケット生成部３０２は、伝送レートを補正するためにヌルパケットが挿入されることがレート調整部１０９から通知されると、ヌルパケットの直前に配置される音声パケット及び直後に配置される音声パケットの品質影響情報を品質影響情報取得部３０１から取得する。そして、ヌルパケット生成部３０２は、取得された品質影響情報にヘッダ情報を付加してヌルパケットを組み立て、レート調整部１０９へ出力する。すなわち、ヌルパケット生成部３０２は、ヌルパケットの直前及び直後に配置される２つの音声パケットの品質影響情報をデータ部に格納し、パケットＩＤなどをヘッダ部に格納したヌルパケットを生成する。このとき、ヌルパケット生成部３０２は、映像又は音声などのデータをヌルパケットのデータ部に格納することはない。
【００９１】
具体的には、ヌルパケット生成部３０２は、例えば図１５に示すように、ヌルパケットの直前に配置される音声パケット及び直後に配置される音声パケットの双方の品質影響情報をデータ部に格納する。このとき、ヌルパケット生成部３０２は、データ部の品質影響情報以外の部分には、例えばすべて「１」のビット列を格納してヌルパケットを生成しても良い。また、ヌルパケット生成部３０２は、ヘッダ部にヌルパケットであることを示すパケットＩＤを格納する。
【００９２】
［映像音声送信装置の動作］
次いで、上記のように構成された映像音声送信装置１００の動作について、図１６に示すフロー図を参照しながら説明する。図１６において、図７と同じ部分には同じ符号を付し、その詳しい説明を省略する。
【００９３】
送信対象の映像データ及び音声データが映像音声送信装置１００へ入力されると、映像データは、映像符号化部１０１へ入力され、フレームごとの画像が符号化される（ステップＳ１０１）。映像データの符号化が行われると、制御情報付加部１０２によって、符号化後のそれぞれのフレームの符号化データにタイムスタンプなどの制御情報が付加される（ステップＳ１０２）。制御情報が付加された符号化データは、パケット化部１０３へ入力され、パケット化部１０３によって、映像パケットが生成される（ステップＳ１０３）。生成された音声パケットは、パケット化部１０３からレート調整部１０９へ出力される。
【００９４】
一方、映像音声送信装置１００に入力された音声データは、音声符号化部１０６へ入力され、フレームごとの音声が符号化される（ステップＳ１０５）。音声データの符号化が行われると、制御情報付加部１０７によって、符号化後のそれぞれのフレームの符号化データにタイムスタンプなどの制御情報が付加される（ステップＳ１０６）。制御情報が付加された符号化データは、パケット化部１０８へ入力され、パケット化部１０８によって、音声パケットが生成される（ステップＳ１０７）。
【００９５】
パケット化部１０８によって音声パケットが生成されると、品質影響情報取得部３０１によって音声パケットから品質影響情報が取得された後（ステップＳ２０１）、音声パケットは、パケット化部１０８からレート調整部１０９へ出力される。具体的には、品質影響情報取得部３０１によって、音声パケットに含まれる符号化データのフレーム番号及び音声レベルなどの品質影響パラメータが取得される。これらの品質影響パラメータは、音声の再生品質を大きく左右する因子であるため、例えば音声パケットが損失した場合に、音声の再生品質の劣化度合いを推定するのに重要な情報である。取得された音声パケットの品質影響情報は、品質影響情報取得部３０１によって保持される。
【００９６】
そして、レート調整部１０９によって、映像パケット及び音声パケットを時分割多重化する際のパケットの配置が決定され、伝送レートを補正するためにヌルパケットを挿入する必要があるか否かが判定される（ステップＳ１０８）。伝送レートの補正のためにヌルパケットが必要であると判定された場合（ステップＳ１０８Ｙｅｓ）、レート調整部１０９によって、ヌルパケットの挿入位置が決定され、ヌルパケットの直前及び直後に配置される音声パケットが特定される。そして、ヌルパケットが挿入される旨とともに、特定された音声パケットを識別する情報がヌルパケット生成部３０２へ通知され、ヌルパケット生成部３０２によって、ヌルパケットが生成される（ステップＳ２０２）。ヌルパケット生成部３０２によって生成されるヌルパケットのデータ部には、ヌルパケットの直前及び直後に配置される音声パケットの品質影響情報が格納されており、ヘッダ部には、パケット種別がヌルパケットであることを示すパケットＩＤが格納されている。
【００９７】
ヌルパケット生成部３０２によって生成されたヌルパケットは、レート調整部１０９へ出力され、映像パケット及び音声パケットとともにレート調整部１０９から多重化部１１０へ出力される。また、伝送レート補正のためのヌルパケットが不要であると判定された場合は（ステップＳ１０８Ｎｏ）、ヌルパケットが生成されることなく、映像パケット及び音声パケットがレート調整部１０９から多重化部１１０へ出力される。
【００９８】
そして、多重化部１１０によって、映像パケット、音声パケット及びヌルパケットがレート調整部１０９によって決定されたパケット配置通りに時分割多重化される（ステップＳ１１０）。時分割多重化によりパケット列が得られると、暗号化部１１１によって、パケット列のうちの映像パケット及び音声パケットのデータ部が暗号化される（ステップＳ１１１）。
【００９９】
映像パケット及び音声パケットのデータ部が暗号化されたパケット列は、送信部１１２へ出力され、送信部１１２によって、パケット列から上位パケットが生成される（ステップＳ１１２）。送信部１１２によって生成された上位パケットは、映像及び音声が多重化された多重化データとして送信される（ステップＳ１１３）。多重化データは、ネットワークＮ及び終端装置２０を介して各住戸のＳＴＢ３０及びテレビ４０に受信され、それぞれのテレビ４０においては、映像及び音声が再生される。
【０１００】
［パケット捕捉装置］
本実施の形態においては、ヌルパケットに音声パケットの品質影響情報が格納されているため、パケットロスが発生した場合、パケット捕捉装置２００によって音声パケットの品質影響情報がヌルパケットから取得される。この点を除けば、本実施の形態に係るパケット捕捉装置２００の構成及び動作は、実施の形態１に係るパケット捕捉装置２００の構成（図６参照）及び動作（図１０参照）と同様である。
【０１０１】
［パケット配置及び再生品質の推定の具体例］
本実施の形態においては、映像音声送信装置１００において、伝送レート補正のためにヌルパケットが挿入されてパケットの多重化が行われる。したがって、必ずしもすべての音声パケットの品質影響情報がいずれかのヌルパケットに格納されるわけではなく、どの音声パケットの品質影響情報がヌルパケットに格納されるかは、パケットの多重化の際のパケット配置に依存している。
【０１０２】
図１７は、本実施の形態に係るパケット配置の具体例を示す図である。図１７においては、映像パケットを「Ｖ」で示し、音声パケットを「Ａ」で示し、ヌルパケットを「Ｎ」で示している。また、＃１〜＃１２は、パケットの識別番号である。図１７に示すように、ヌルパケットＮ＃１、Ｎ＃５及びＮ＃１０は、規則的に配置されているわけではなく、パケットの伝送レートを一定に補正するために配置されている。このため、ヌルパケットＮ＃１には、音声パケットＡ＃２の品質影響情報が格納され、ヌルパケットＮ＃５には、音声パケットＡ＃２、Ａ＃７の品質影響情報が格納され、ヌルパケットＮ＃１０には、音声パケットＡ＃７、Ａ＃１２の品質影響情報が格納されている。
【０１０３】
通常、音声データの伝送レートは、映像データの伝送レートに比べて低く設定されることが多く、多重化データ中に配置される音声パケットの数は、映像パケットの数に比べて大幅に少ない。また、ヌルパケットの数は、映像パケットの数と同程度以上となるのが一般的であるため、大部分の音声パケットの品質影響情報がいずれかのヌルパケットに格納されると考えられる。このため、パケットロスにより音声パケットが損失した場合、損失した音声パケットの品質影響情報が前後のヌルパケットに格納されている確率が高い。結果として、ヌルパケットから品質影響情報を取得することにより、損失したパケットに関する情報を直接取得することができ、パケットロスによる音声の再生品質の劣化の度合いを正確に推定することが可能となる。
【０１０４】
ところで、図１７に示した例において、パケットＶ＃６からパケットＶ＃９がパケットロスにより損失した場合、損失したパケットを挟んで前後に送信されるヌルパケットＮ＃５、Ｎ＃１０に格納された品質影響情報がパケット捕捉装置２００によって抽出される。ここで、ヌルパケットＮ＃５、Ｎ＃１０が、それぞれ例えば図１８に示す品質影響情報を格納していたものとする。ヌルパケットＮ＃５の直前の音声パケットは音声パケットＡ＃２であり、直後の音声パケットは音声パケットＡ＃７である。また、ヌルパケットＮ＃１０の直前の音声パケットは音声パケットＡ＃７であり、直後の音声パケットは音声パケットＡ＃１２である。
【０１０５】
したがって、パケットの損失による音声の再生品質の劣化の度合いを推定する際には、ヌルパケットＮ＃５に格納されている直後の音声パケットＡ＃７の品質影響情報と、ヌルパケットＮ＃１０に格納されている直前の音声パケットＡ＃７の品質影響情報とに基づけば良い。すなわち、図１８において太枠で囲んだ部分に基づいて音声パケットの損失による再生品質の劣化を推定することができる。ここでは、ヌルパケットＮ＃５、Ｎ＃１０の間には、１つの音声パケットＡ＃７しか送信されていないことから、図１８において太線で囲まれた品質影響情報は、同一の音声パケットＡ＃７に関するものである。
【０１０６】
図１８において、太線で囲まれたフレーム番号はいずれも１０１であるため、パケットロスによって音声データが失われたフレームの番号が１０１であることがわかる。また、このフレームの音声レベルは０であり、無音のフレームであることから、音声の再生品質にはあまり影響がないと推測される。このように、ヌルパケットに格納された品質影響情報は、音声パケットの損失による再生品質への影響を正確に見積もるのに十分な情報を含んでいる。したがって、パケット捕捉装置２００によって抽出された品質影響情報が品質評価装置１０へ送信されることにより、品質評価装置１０においては、音声の再生品質を正確に推定することができる。
【０１０７】
以上のように、本実施の形態によれば、ヌルパケットの直前及び直後に配置される音声パケットの品質影響情報をヌルパケットに格納し、ヌルパケット及び音声パケットを含む多重化データを送信する。また、多重化データの受信及び再生が行われる位置の近傍で多重化データを捕捉し、ネットワーク上でパケットロスが発生すると、損失したパケットの前後のヌルパケットから品質影響情報を取得する。このため、損失したパケットを含む部分に関する情報をヌルパケットから取得することができ、パケットロスによる再生品質の劣化度合いを正確に推定することができる。換言すれば、ユーザ端末において再生される音声の品質を正確に推定するために十分な情報を取得することができる。
【０１０８】
（実施の形態３）
上記実施の形態１、２においては、映像パケット及び音声パケットのいずれか一方の品質影響情報をヌルパケットに格納して送信するものとしたが、双方の品質影響情報をヌルパケットに格納して送信することも可能である。そこで、実施の形態３においては、ヌルパケットに映像パケット及び音声パケットの品質影響情報を格納する場合について説明する。この場合でも、ネットワーク構成は実施の形態１に係るネットワーク構成と同様であるため、その説明を省略する。以下、主に本実施の形態に係る映像音声送信装置１００と実施の形態１に係る映像音声送信装置１００との構成及び動作の違いについて説明する。
【０１０９】
図１９は、本実施の形態に係る映像音声送信装置１００の要部構成を示すブロック図である。図１９において、図２と同じ部分には同じ符号を付し、その説明を省略する。図１９に示す映像音声送信装置１００は、図２に示す映像音声送信装置１００の品質影響情報取得部１０４及びヌルパケット生成部１０５に代えて、品質影響情報取得部４０１及びヌルパケット生成部４０２を有する。
【０１１０】
品質影響情報取得部４０１は、パケット化部１０３及びパケット化部１０８によってそれぞれ映像パケット及び音声パケットが生成されると、それぞれのパケットから品質影響情報を取得する。すなわち、品質影響情報取得部４０１は、実施の形態１で述べた映像パケットの品質影響パラメータ（図４参照）と、実施の形態２で述べた音声パケットの品質影響パラメータ（図１４参照）とを取得する。
【０１１１】
ヌルパケット生成部４０２は、伝送レートを補正するためにヌルパケットが挿入されることがレート調整部１０９から通知されると、ヌルパケットの直前及び直後に配置される映像パケット及び音声パケットの品質影響情報を品質影響情報取得部４０１から取得する。そして、ヌルパケット生成部４０２は、取得された品質影響情報をデータ部に格納してヌルパケットを生成し、レート調整部１０９へ出力する。具体的には、ヌルパケット生成部４０２は、例えば図２０に示すように、ヌルパケットの直前及び直後に配置される映像パケット及び音声パケットの品質影響情報をデータ部に格納する。このとき、ヌルパケット生成部４０２は、データ部の品質影響情報以外の部分には、例えばすべて「１」のビット列を格納してヌルパケットを生成しても良い。また、ヌルパケット生成部４０２は、ヘッダ部にヌルパケットであることを示すパケットＩＤを格納する。
【０１１２】
本実施の形態においては、映像パケット及び音声パケットの品質影響情報がヌルパケットに格納されるため、ヌルパケットのデータ部に格納される情報量は多くなる。しかし、ヌルパケットに品質影響情報が格納される対象となるパケットは、ヌルパケットの直前及び直後に配置される映像パケット及び音声パケットであり、高々４パケットに過ぎない。したがって、これらの４パケットの品質影響情報をヌルパケットのデータ部に格納しても、データ部のサイズが不足することはない。
【０１１３】
また、すべての映像パケット及び音声パケットの品質影響情報が必ずしもヌルパケットに格納されるわけではないが、ヌルパケットは、多重化データ内に比較的多く配置されるため、大部分の映像パケット及び音声パケットの品質影響情報がいずれかのヌルパケットに格納されると考えられる。このため、パケットロスにより映像パケット又は音声パケットが損失した場合、損失した映像パケット又は音声パケットの品質影響情報が前後のヌルパケットに格納されている確率が高い。結果として、パケット捕捉装置２００においてヌルパケットから品質影響情報を取得することにより、損失したパケットに関する情報を直接取得することができ、パケットロスによる映像及び音声の再生品質の劣化の度合いを正確に推定することが可能となる。
【０１１４】
図２１は、本実施の形態に係るパケット配置の具体例を示す図である。図２１においては、映像パケットを「Ｖ」で示し、音声パケットを「Ａ」で示し、ヌルパケットを「Ｎ」で示している。また、＃１〜＃１２は、パケットの識別番号である。図２１に示すように、ヌルパケットＮ＃１、Ｎ＃５及びＮ＃１０は、規則的に配置されているわけではなく、パケットの伝送レートを一定に補正するために配置されている。このため、ヌルパケットＮ＃１には、映像パケットＶ＃３及び音声パケットＡ＃２の品質影響情報が格納される。また、ヌルパケットＮ＃５には、映像パケットＶ＃４、Ｖ＃６及び音声パケットＡ＃２、Ａ＃７の品質影響情報が格納される。同様に、ヌルパケットＮ＃１０には、映像パケットＶ＃９、Ｖ＃１１及び音声パケットＡ＃７、Ａ＃１２の品質影響情報が格納されている。すなわち、映像パケットＶ＃８以外のすべてのパケットの品質影響情報がいずれかのヌルパケットに格納されている。
【０１１５】
図２１に示した例において、パケットＶ＃６からパケットＶ＃９がパケットロスにより損失した場合、損失したパケットを挟んで前後に送信されるヌルパケットＮ＃５、Ｎ＃１０に格納された品質影響情報がパケット捕捉装置２００によって抽出される。このため、映像に関しては、映像パケットＶ＃６及び映像パケットＶ＃９の品質影響情報が示す映像にパケットロスによる再生品質の劣化が生じることが推定可能となる。また、音声に関しては、音声パケットＡ＃７の品質影響情報が示す音声にパケットロスによる再生品質の劣化が生じることが推定可能となる。換言すれば、ヌルパケットを境界とするパケット区間単位でパケットロスが発生したパケット区間の映像及び音声に関する品質影響情報を得ることができ、このパケット区間における映像及び音声の再生品質の劣化を正確に推定することが可能となる。
【０１１６】
以上のように、本実施の形態によれば、ヌルパケットの直前及び直後に配置される映像パケット及び音声パケットの品質影響情報をヌルパケットに格納し、ヌルパケット、映像パケット及び音声パケットを含む多重化データを送信する。また、多重化データの受信及び再生が行われる位置の近傍で多重化データを捕捉し、ネットワーク上でパケットロスが発生すると、損失したパケットの前後のヌルパケットから品質影響情報を取得する。このため、損失したパケットを含む部分に関する情報をヌルパケットから取得することができ、パケットロスによる再生品質の劣化度合いを正確に推定することができる。換言すれば、ユーザ端末において再生される映像及び音声の品質を正確に推定するために十分な情報を取得することができる。
【０１１７】
なお、上記各実施の形態においては、ヌルパケットの直前及び直後に配置される映像パケット又は音声パケットの品質影響情報をヌルパケットに格納するものとし、品質影響情報がヌルパケットに格納されない映像パケット又は音声パケットもあるものとした。しかし、２つのヌルパケットの間に配置されるすべての映像パケット又は音声パケットの品質影響情報を双方のヌルパケットに格納することも可能である。すなわち、例えば図２２に示すように、ヌルパケットＮ＃２とヌルパケットＮ＃７の間にあるすべての映像パケットＶ＃３、Ｖ＃５、Ｖ＃６の品質影響情報をヌルパケットＮ＃２、Ｎ＃７の双方に格納することも可能である。
【０１１８】
この場合、ヌルパケットＮ＃２には、直前及び直後の映像パケットＶ＃１、Ｖ＃３の品質影響情報に加えて、次のヌルパケットＮ＃７までの間に配置される映像パケットＶ＃５、Ｖ＃６の品質影響情報も格納される。同様に、ヌルパケットＮ＃７には、直前及び直後の映像パケットＶ＃６、Ｖ＃８の品質影響情報に加えて、前のヌルパケットＮ＃２までの間に配置される映像パケットＶ＃３、Ｖ＃５の品質影響情報も格納される。こうすることにより、例えばヌルパケットＮ＃２とヌルパケットＮ＃７の間のパケット区間でパケットロスが発生した場合、このパケット区間のすべての映像パケットに関する品質影響情報を取得することができる。図２２では、すべての映像パケットの品質影響情報をヌルパケットに格納するものとしたが、同様に、すべての音声パケットの品質影響情報をヌルパケットに格納することも可能である。
【０１１９】
このようにすることにより、いずれか２つのヌルパケット間の映像パケット又は音声パケットがパケットロスにより損失した場合、損失した映像パケット又は音声パケットの品質影響情報を必ずヌルパケットから抽出することができる。すなわち、いずれの映像パケット又は音声パケットが損失した場合でも、損失した映像パケット自体又は音声パケット自体の情報を直接的に取得することができる。
【０１２０】
また、上記各実施の形態においては、パケット捕捉装置２００において抽出された品質影響情報が品質評価装置１０へ送信され、品質評価装置１０において映像及び音声の再生品質が評価されるものとした。しかし、映像及び音声の再生品質の評価は、パケット捕捉装置２００において行われるようにしても良い。また、パケット捕捉装置２００において抽出された品質影響情報が、品質評価装置１０の代わりに映像音声送信装置１００へ送信されるようにし、映像音声送信装置１００が品質影響情報に基づいて映像及び音声の再生品質の評価を行っても良い。
【０１２１】
さらに、上記各実施の形態においては、品質影響情報をヌルパケットに格納するものとしたが、映像パケット又は音声パケットが暗号化されない場合は、映像パケット又は音声パケットの品質影響情報を周辺に配置される映像パケット又は音声パケットに格納しても良い。この場合でも、パケットロスにより損失した映像パケット又は音声パケットの品質影響情報を周辺に配置された映像パケット又は音声パケットから抽出することができ、再生品質の推定に必要な情報を取得することができる。
【０１２２】
以上の各実施の形態に関し、さらに以下の付記を開示する。
【０１２３】
（付記１）送信装置とデータ捕捉装置とを備える情報取得システムであって、
前記送信装置は、
映像又は音声のデータを含む第１のデータ単位を生成する第１の生成部と、
前記第１の生成部によって生成される第１のデータ単位の品質影響パラメータを含む第２のデータ単位を生成する第２の生成部と、
前記第１の生成部によって生成された第１のデータ単位及び前記第２の生成部によって生成された第２のデータ単位を送信する送信部とを有し、
前記データ捕捉装置は、
第１のデータ単位及び第２のデータ単位を含む伝送中のデータからデータ単位を捕捉する捕捉部と、
データ単位が伝送中に損失したか否かを判定する判定部と、
前記判定部によってデータ単位が損失したと判定された場合に、前記捕捉部によって捕捉されたデータ単位から、損失したデータ単位の前後に送信された第２のデータ単位を検出する検出部と、
前記検出部によって検出された第２のデータ単位から品質影響パラメータを抽出する抽出部とを有する
ことを特徴とする情報取得システム。
【０１２４】
（付記２）前記第２の生成部は、
映像及び音声のデータを含まない第２のデータ単位を生成することを特徴とする付記１記載の情報取得システム。
【０１２５】
（付記３）前記第２の生成部は、
第２のデータ単位に最も近いタイミングで送信される第１のデータ単位の品質影響パラメータを当該第２のデータ単位に格納することを特徴とする付記１記載の情報取得システム。
【０１２６】
（付記４）前記送信装置は、
第１のデータ単位及び第２のデータ単位を多重化する多重化部をさらに有し、
前記第２の生成部は、
前記多重化部によって第２のデータ単位の直前又は直後に配置されて多重化される第１のデータ単位の品質影響パラメータを当該第２のデータ単位に格納することを特徴とする付記１記載の情報取得システム。
【０１２７】
（付記５）前記多重化部は、
第１のデータ単位の伝送レートを所定の伝送レートに補正するために第２のデータ単位を配置して多重化することを特徴とする付記４記載の情報取得システム。
【０１２８】
（付記６）前記第２の生成部は、
ヘッダ部分にデータ単位の種別情報が格納され、データ部分に品質影響パラメータが格納された第２のデータ単位を生成することを特徴とする付記１記載の情報取得システム。
【０１２９】
（付記７）前記送信部は、
ヘッダ部分に通し番号が格納され、データ部分に所定数の第１のデータ単位及び第２のデータ単位が格納された伝送単位を生成し、生成された伝送単位を送信することを特徴とする付記１記載の情報取得システム。
【０１３０】
（付記８）前記第２の生成部は、
前記第１のデータ単位に含まれる映像データの再生時における重要度ならびに再生画面内での位置情報及び動き情報を品質影響パラメータとして第２のデータ単位に格納することを特徴とする付記１記載の情報取得システム。
【０１３１】
（付記９）前記第２の生成部は、
前記第１のデータ単位に含まれる音声データの音声レベルを品質影響パラメータとして第２のデータ単位に格納することを特徴とする付記１記載の情報取得システム。
【０１３２】
（付記１０）前記送信部は、
前記第１の生成部によって生成された第１のデータ単位に含まれる映像又は音声のデータを暗号化して送信することを特徴とする付記１記載の情報取得システム。
【０１３３】
（付記１１）前記検出部は、
前記捕捉部によって捕捉されたデータ単位から、損失したデータ単位の直前及び直後に送信された第２のデータ単位を検出することを特徴とする付記１記載の情報取得システム。
【０１３４】
（付記１２）前記捕捉部は、
データ単位の種別情報が格納されたヘッダ部分を備えるデータ単位を捕捉し、
前記検出部は、
前記捕捉部によって捕捉されたデータ単位のヘッダ部分を参照して第２のデータ単位を検出することを特徴とする付記１記載の情報取得システム。
【０１３５】
（付記１３）前記抽出部は、
前記検出部によって検出された第２のデータ単位の直前及び直後に送信された第１のデータ単位の品質影響パラメータを抽出することを特徴とする付記１記載の情報取得システム。
【０１３６】
（付記１４）前記抽出部は、
損失した第１のデータ単位に含まれる映像データの再生時における重要度ならびに再生画面内での位置情報及び動き情報を示す品質影響パラメータを第２のデータ単位から抽出することを特徴とする付記１記載の情報取得システム。
【０１３７】
（付記１５）前記抽出部は、
損失した第１のデータ単位に含まれる音声データの音声レベルを示す品質影響パラメータを第２のデータ単位から抽出することを特徴とする付記１記載の情報取得システム。
【０１３８】
（付記１６）前記判定部は、
前記捕捉部によって連続して捕捉されたデータ単位に付与された通し番号が不連続である場合に、データ単位が伝送中に損失したと判定することを特徴とする付記１記載の情報取得システム。
【０１３９】
（付記１７）映像又は音声のデータを含む第１のデータ単位を生成する第１の生成部と、
前記第１の生成部によって生成される第１のデータ単位の品質影響パラメータを含む第２のデータ単位を生成する第２の生成部と、
前記第１の生成部によって生成された第１のデータ単位及び前記第２の生成部によって生成された第２のデータ単位を送信する送信部と
を有することを特徴とする送信装置。
【０１４０】
（付記１８）映像又は音声のデータを含む第１のデータ単位と、第１のデータ単位の品質影響パラメータを含む第２のデータ単位とを含む伝送中のデータからデータ単位を捕捉する捕捉部と、
データ単位が伝送中に損失したか否かを判定する判定部と、
前記判定部によってデータ単位が損失したと判定された場合に、前記捕捉部によって捕捉されたデータ単位から、損失したデータ単位の前後に送信された第２のデータ単位を検出する検出部と、
前記検出部によって検出された第２のデータ単位から品質影響パラメータを抽出する抽出部と
を有することを特徴とするデータ捕捉装置。
【０１４１】
（付記１９）映像又は音声のデータを含む第１のデータ単位を生成する第１の生成ステップと、
前記第１の生成ステップにて生成される第１のデータ単位の品質影響パラメータを含む第２のデータ単位を生成する第２の生成ステップと、
前記第１の生成ステップにて生成された第１のデータ単位及び前記第２の生成ステップにて生成された第２のデータ単位を送信する送信ステップと
を有することを特徴とする送信方法。
【０１４２】
（付記２０）映像又は音声のデータを含む第１のデータ単位と、第１のデータ単位の品質影響パラメータを含む第２のデータ単位とを含む伝送中のデータからデータ単位を捕捉する捕捉ステップと、
データ単位が伝送中に損失したか否かを判定する判定ステップと、
前記判定ステップにおいてデータ単位が損失したと判定された場合に、前記捕捉ステップにて捕捉されたデータ単位から、損失したデータ単位の前後に送信された第２のデータ単位を検出する検出ステップと、
前記検出ステップにて検出された第２のデータ単位から品質影響パラメータを抽出する抽出ステップと
を有することを特徴とするデータ捕捉方法。
【符号の説明】
【０１４３】
１０１ 映像符号化部
１０２、１０７ 制御情報付加部
１０３、１０８ パケット化部
１０４、３０１、４０１ 品質影響情報取得部
１０５、３０２、４０２ ヌルパケット生成部
１０６ 音声符号化部
１０９ レート調整部
１１０ 多重化部
１１１ 暗号化部
１１２ 送信部
２０１ 上位パケット取得部
２０２ パケットロス検出部
２０３ ヌルパケット検出部
２０４ ヌルパケット蓄積部
２０５ 品質影響情報抽出部
２０６ 品質影響情報送信部
【技術分野】
【０００１】
本発明は、情報取得システム、送信装置、データ捕捉装置、送信方法及びデータ捕捉方法に関する。
【背景技術】
【０００２】
近年、例えばＩＰＴＶ（Internet Protocol TeleVision）やネットテレビなどのように、インターネットなどのネットワークを介した高画質映像の配信が盛んに行われている。これらの映像配信においては、通常、映像データや音声データがそれぞれサーバにおいてパケット化され、映像パケット及び音声パケットが多重化されて送信される。これらの映像パケット及び音声パケットは、ネットワーク上を伝送され、例えばユーザが所有するテレビやパーソナルコンピュータなどのユーザ端末によって受信される。そして、ユーザ端末によって、映像パケット及び音声パケットに対する復号などの処理が施され、映像及び音声が再生される。
【０００３】
このとき、例えばネットワーク上でパケットロスが発生した場合には、一部のパケットがユーザ端末に受信されず、再生される映像及び音声の画質や音質が劣化することになる。このため、例えば映像を配信する事業者がユーザへ提供するサービスの質を把握するためには、パケットロスによる画質・音質の劣化も含めて、ユーザ端末において再生される映像及び音声の品質を正確に推定することが重要となっている。そこで、映像パケットに格納される映像データのフレーム種別やフレーム発生規則の情報をそれぞれの映像パケットに格納しておき、パケットロスが発生した場合には、これらのフレーム種別やフレーム発生規則の情報から再生時の映像の品質を推定することが検討されている。すなわち、ネットワーク上でパケットロスが発生した場合、損失した映像パケットの前後に伝送される映像パケットに格納されたフレーム種別やフレーム発生規則の情報に基づいて、ユーザ端末において再生される映像の品質が推定される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−３３７２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述した従来技術においては、映像を再生するユーザ端末が映像パケットを受信し、受信された映像パケットに格納されたフレーム種別やフレーム発生規則の情報を取得するため、ユーザ端末における映像の再生品質を推定することができる。ただし、このような再生品質の推定を実現するためには、例えばテレビやパーソナルコンピュータなどのユーザ端末に、フレーム種別やフレーム発生規則などの付加的な情報を収集する処理を実行させる必要が生じる。すなわち、映像の再生と直接的には無関係な情報を収集する機能を新たにユーザ端末に実装しなければ、映像の再生品質を推定することができない。
【０００６】
そこで、ネットワーク上を伝送されるパケットを監視する専用の監視装置を設け、映像パケットや音声パケットに格納された付加的な情報を監視装置に取得させ、ユーザ端末における映像の再生品質を推定することが考えられる。しかしながら、映像パケットや音声パケットは、契約ユーザのみに再生が許可されるように暗号化されていることが多く、このような場合には、映像パケットや音声パケットに格納された情報を取得することが困難となる。結果として、暗号化された映像パケット及び音声パケットから再生品質の推定に十分な情報を得ることができず、映像及び音声の再生品質を推定することができないという問題がある。
【０００７】
また、ネットワーク上でパケットロスが発生した場合、ユーザ端末や監視装置は、損失したパケットに関する情報を直接的に得ることはできない。すなわち、損失したパケットの前後のパケットから、損失したパケットに格納されていた情報が推測され、推測の結果に基づいて間接的に映像の再生品質が推定される。したがって、損失したパケットに格納されていた情報の推測が正確でなければ、再生品質の推定の精度も低下してしまう。
【０００８】
本願に開示の技術は、上記に鑑みてなされたものであって、ユーザ端末において再生される映像又は音声の品質を推定するために十分な情報を取得することができる情報取得システム、送信装置、データ捕捉装置、送信方法及びデータ捕捉方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本願の開示する情報取得システムは、一つの態様において、送信装置とデータ捕捉装置とを備える情報取得システムであって、前記送信装置は、映像又は音声のデータを含む第１のデータ単位を生成する第１の生成部と、前記第１の生成部によって生成される第１のデータ単位の品質影響パラメータを含む第２のデータ単位を生成する第２の生成部と、前記第１の生成部によって生成された第１のデータ単位及び前記第２の生成部によって生成された第２のデータ単位を送信する送信部とを有し、前記データ捕捉装置は、第１のデータ単位及び第２のデータ単位を含む伝送中のデータからデータ単位を捕捉する捕捉部と、データ単位が伝送中に損失したか否かを判定する判定部と、前記判定部によってデータ単位が損失したと判定された場合に、前記捕捉部によって捕捉されたデータ単位から、損失したデータ単位の前後に送信された第２のデータ単位を検出する検出部と、前記検出部によって検出された第２のデータ単位から品質影響パラメータを抽出する抽出部とを有する。
【発明の効果】
【００１０】
本願の開示する情報取得システム、送信装置、データ捕捉装置、送信方法及びデータ捕捉方法の一つの態様によれば、ユーザ端末において再生される映像又は音声の品質を推定するために十分な情報を取得することができる。
【図面の簡単な説明】
【００１１】
【図１】図１は、実施の形態１に係るネットワーク構成の一例を示す図である。
【図２】図２は、実施の形態１に係る映像音声送信装置の要部構成を示すブロック図である。
【図３】図３は、実施の形態１に係るパケットフォーマットの一例を示す図である。
【図４】図４は、実施の形態１に係る品質影響情報の具体例を示す図である。
【図５】図５は、実施の形態１に係るヌルパケットの一例を示す図である。
【図６】図６は、実施の形態１に係るパケット捕捉装置の要部構成を示すブロック図である。
【図７】図７は、実施の形態１に係る映像音声送信装置の動作を示すフロー図である。
【図８】図８は、実施の形態１に係るパケット生成の具体例を示す図である。
【図９】図９は、実施の形態１に係る上位パケットフォーマットの一例を示す図である。
【図１０】図１０は、実施の形態１に係るパケット捕捉装置の動作を示すフロー図である。
【図１１】図１１は、実施の形態１に係るパケット配置の具体例を示す図である。
【図１２】図１２は、実施の形態１に係る品質影響情報抽出を説明する図である。
【図１３】図１３は、実施の形態２に係る映像音声送信装置の要部構成を示すブロック図である。
【図１４】図１４は、実施の形態２に係る品質影響情報の具体例を示す図である。
【図１５】図１５は、実施の形態２に係るヌルパケットの一例を示す図である。
【図１６】図１６は、実施の形態２に係る映像音声送信装置の動作を示すフロー図である。
【図１７】図１７は、実施の形態２に係るパケット配置の具体例を示す図である。
【図１８】図１８は、実施の形態２に係る品質影響情報抽出を説明する図である。
【図１９】図１９は、実施の形態３に係る映像音声送信装置の要部構成を示すブロック図である。
【図２０】図２０は、実施の形態３に係るヌルパケットの一例を示す図である。
【図２１】図２１は、実施の形態３に係るパケット配置の具体例を示す図である。
【図２２】図２２は、他の実施の形態に係るパケット配置の具体例を示す図である。
【発明を実施するための形態】
【００１２】
以下、本願の開示する情報取得システム、送信装置、データ捕捉装置、送信方法及びデータ捕捉方法の実施の形態について、図面を参照して詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。
【００１３】
（実施の形態１）
図１は、実施の形態１に係るネットワーク構成の一例を示す図である。図１に示すネットワーク構成においては、映像音声送信装置１００、品質評価装置１０及び終端装置２０がネットワークＮを介して接続されている。また、それぞれ戸建住宅内及び集合住宅内では、終端装置２０に住戸ごとのＳＴＢ（Set Top Box：セットトップボックス）３０及びテレビ４０が接続されており、終端装置２０とＳＴＢ３０の間にはパケット捕捉装置２００が設置されている。
【００１４】
映像音声送信装置１００は、ネットワークＮに接続されており、各住宅内の終端装置２０へ映像パケット及び音声パケットを送信する。また、映像音声送信装置１００は、伝送レートを一定にするために、映像パケット及び音声パケットに映像や音声のデータを含まないヌルパケットを多重化して送信する。ヌルパケットは、受信端末での再生に影響を及ぼすデータを含まず、受信端末において受信後に廃棄されるパケットである。このとき、映像音声送信装置１００は、それぞれのヌルパケットの直前に送信される映像パケット及び直後に送信される映像パケットの双方について、映像パケットのデータが映像全体の再生品質にどの程度影響しているかを示す品質影響情報をヌルパケットに挿入して送信する。すなわち、例えば映像パケットに対応するフレーム番号や再生時の重要度を示す再生重要度などの再生品質に影響を与える品質影響パラメータが品質影響情報としてヌルパケットに格納される。なお、映像音声送信装置１００の具体的な構成及び動作については、後に詳述する。
【００１５】
終端装置２０は、ネットワークＮに接続されており、ネットワークＮにおいて用いられる信号形式とそれぞれの住宅内で用いられる信号形式との変換を実行する。具体的には、終端装置２０は、例えばネットワークＮにおける光信号と住宅内における電気信号との相互変換を行う。そして、終端装置２０は、信号形式を変換した後、映像パケット及び音声パケットを各住戸のＳＴＢ３０へ出力する。
【００１６】
ＳＴＢ３０は、必要に応じて映像パケット及び音声パケットを復号し、テレビ４０で視聴可能な形式の信号に変換する。テレビ４０は、ＳＴＢ３０による変換後の信号を表示再生し、映像及び音声を再生する。なお、映像及び音声の再生に際して、映像や音声のデータを含まないヌルパケットは無視され、破棄される。
【００１７】
パケット捕捉装置２００は、終端装置２０からＳＴＢ３０へ出力される映像パケット及び音声パケットを捕捉し、ネットワークＮ上でのパケットロスを検出する。さらに、パケット捕捉装置２００は、パケットロスを検出すると、損失した映像パケットの前後のヌルパケットから品質影響情報を取得し、取得した品質影響情報をネットワークＮを介して品質評価装置１０へ送信する。図１に示すように、パケット捕捉装置２００は、ユーザによって映像の再生が行われるＳＴＢ３０及びテレビ４０の近傍に設置されているため、ユーザと同等の映像パケット及び音声パケットを捕捉することができる。したがって、パケット捕捉装置２００は、テレビ４０における映像及び音声の再生品質がパケットロスの影響を受けるときは、このパケットロスと同等のパケットロスを検出し、損失した映像パケットに関する品質影響情報を品質評価装置１０へ送信する。なお、パケット捕捉装置２００の具体的な構成及び動作については、後に詳述する。
【００１８】
品質評価装置１０は、パケット捕捉装置２００から送信された品質影響情報を参照し、映像パケットの損失による映像の再生品質への影響を推定し、テレビ４０において再生される映像及び音声の品質を評価する。すなわち、品質評価装置１０は、例えば損失した映像パケットに対応するピクチャタイプが他フレームの復号時に基準とされるＩピクチャ（Intra Picture）である場合には、映像の品質劣化が比較的大きいと評価する。また、品質評価装置１０は、例えば損失した映像パケットに対応するピクチャタイプがＩピクチャを基準として復号されるＰピクチャ（Predictive Picture）である場合には、映像の品質劣化が比較的小さいと評価する。なお、品質評価装置１０による映像の品質評価は、上述したものに限られず、品質影響情報の様々な項目が総合的に評価されることによって行われる。
【００１９】
［映像音声送信装置の構成］
図２は、本実施の形態に係る映像音声送信装置１００の要部構成を示すブロック図である。図２に示す映像音声送信装置１００は、映像符号化部１０１、制御情報付加部１０２、パケット化部１０３、品質影響情報取得部１０４、ヌルパケット生成部１０５、音声符号化部１０６、制御情報付加部１０７、パケット化部１０８、レート調整部１０９、多重化部１１０、暗号化部１１１及び送信部１１２を有する。
【００２０】
映像符号化部１０１は、映像データをフレームごとに最適な量子化ステップで符号化し、得られたフレームごとの符号化データを制御情報付加部１０２へ出力する。このとき、映像符号化部１０１は、各フレームの画像をＩピクチャ、Ｐピクチャ及びＢピクチャ（Bi-directional Picture）のいずれかのピクチャタイプで符号化する。Ｉピクチャとは、フレーム内符号化画像のことであり、フレーム全体の完全な画像情報が符号化されたピクチャである。Ｐピクチャとは、フレーム間順方向予測符号化画像のことであり、先行するＩピクチャとの差分情報が符号化されたピクチャである。Ｂピクチャとは、双方向予測符号化画像のことであり、前後のＩピクチャ又はＰピクチャとの差分情報が符号化されたピクチャである。したがって、Ｉピクチャは、単独で復号可能であるのに対し、Ｐピクチャ及びＢピクチャは、基準となるＩピクチャ又はＰピクチャが無ければ復号されない。
【００２１】
制御情報付加部１０２は、それぞれのフレームの符号化データの先頭にフレームの再生タイミングを示すタイムスタンプなどの制御情報を付加する。そして、制御情報付加部１０２は、制御情報が付加された符号化データをパケット化部１０３へ出力する。
【００２２】
パケット化部１０３は、符号化データにヘッダ情報を付加して固定長の映像パケットを組み立てる。すなわち、パケット化部１０３は、制御情報が付加された符号化データに、例えば同期バイト、パケットＩＤ及び連続カウンタなどのヘッダ情報を付加し、固定サイズの映像パケットを生成する。以下、符号化データを含む部分をパケットのデータ部といい、ヘッダ情報を含む部分をパケットのヘッダ部という。また、音声パケット及びヌルパケットもデータ部とヘッダ部を有し、パケット化部１０３が生成する映像パケットと同様のパケットフォーマットとなっている。
【００２３】
品質影響情報取得部１０４は、パケット化部１０３によって映像パケットが生成されると、生成された映像パケットが映像全体の再生品質に対して与える影響を示す品質影響情報を取得する。具体的には、品質影響情報取得部１０４は、例えば映像パケットに対応するフレームのフレーム番号や再生時の重要度を示す再生重要度など、再生品質に影響を与える品質影響パラメータを各映像パケットの品質影響情報として取得する。ここで例示した品質影響パラメータのうち、フレーム番号は、各映像パケットが映像全体のどのフレームの再生品質に影響を与えているかを示している。また、再生重要度は、映像パケットが他のフレームの復号にも影響を与えるか否かを示し、各映像パケットの再生品質への影響の度合いの大きさを示している。後述するように、品質影響パラメータとしては、他にもフレーム内のどの位置の画像の符号化データを含む映像パケットであるかを示す位置情報などがある。
【００２４】
ヌルパケット生成部１０５は、伝送レートを補正するためにヌルパケットが挿入されることがレート調整部１０９から通知されると、ヌルパケットの直前に配置される映像パケット及び直後に配置される映像パケットの品質影響情報を品質影響情報取得部１０４から取得する。そして、ヌルパケット生成部１０５は、取得された品質影響情報にヌルパケットであることを示すパケットＩＤなどのヘッダ情報を付加してヌルパケットを組み立て、レート調整部１０９へ出力する。すなわち、ヌルパケット生成部１０５は、ヌルパケットの直前及び直後に配置される２つの映像パケットの品質影響情報をデータ部に格納し、パケットＩＤなどをヘッダ部に格納したヌルパケットを生成する。このとき、ヌルパケット生成部１０５は、映像又は音声などのデータをヌルパケットのデータ部に格納することはない。
【００２５】
音声符号化部１０６は、音声データをフレームごとに符号化し、得られたフレームごとの符号化データを制御情報付加部１０７へ出力する。制御情報付加部１０７は、それぞれのフレームの符号化データにフレームの再生タイミングを示すタイムスタンプなどの制御情報を付加する。そして、制御情報付加部１０７は、制御情報が付加された符号化データをパケット化部１０８へ出力する。制御情報に含まれるタイムスタンプは、映像と音声の再生タイミングを一致させる際に必要となり、タイムスタンプに従って符号化データの再生タイミングが制御されることにより、映像と音声が同期して再生されることになる。
【００２６】
パケット化部１０８は、符号化データにヘッダ情報を付加して固定長の音声パケットを組み立てる。すなわち、パケット化部１０８は、制御情報が付加された符号化データに、映像パケットと同様のヘッダ情報を付加し、固定サイズの音声パケットを生成する。なお、パケット化部１０８は、パケット化部１０３とは異なり、音声パケットのヘッダ部には、パケット種別が音声パケットであることを示すパケットＩＤを格納する。
【００２７】
レート調整部１０９は、パケット化部１０３によって生成される映像パケットと、パケット化部１０８によって生成される音声パケットとの伝送レートを一定にするように調整する。すなわち、レート調整部１０９は、映像パケット及び音声パケットを多重化する際のパケットの配置を決定し、必要に応じてヌルパケットの挿入位置を決定して伝送レートを補正する。具体的には、レート調整部１０９は、例えば再生タイミングが近い映像と音声の符号化データを含む映像パケットと音声パケットが互いに大きな時間差なく送信されるようにヌルパケットの挿入位置を決定する。
【００２８】
さらに、レート調整部１０９は、ヌルパケットの挿入位置が決定されると、ヌルパケットの直前及び直後に配置される映像パケットを特定し、ヌルパケットが挿入される旨とともに、ヌルパケットの直前及び直後にどの映像パケットが配置されるかをヌルパケット生成部１０５へ通知する。この通知により、上述したように、ヌルパケット生成部１０５は、ヌルパケットの直前及び直後に配置される映像パケットの品質影響情報を格納したヌルパケットを生成することになる。ここで、ヌルパケットの直前及び直後に配置される映像パケットは、必ずしもヌルパケットに隣接して配置されていなくても良い。すなわち、ヌルパケットと映像パケットの間に音声パケットが配置されている場合でも、この映像パケットは、ヌルパケットの直前又は直後に配置される映像パケットとなる。
【００２９】
レート調整部１０９は、生成されたヌルパケットがヌルパケット生成部１０５から出力された後、映像パケット、音声パケット及びヌルパケットを多重化部１１０へ出力するとともに、これらのパケットについて決定されたパケット配置を多重化部１１０へ通知する。
【００３０】
多重化部１１０は、レート調整部１０９から通知されるパケット配置に従って、映像パケット、音声パケット及びヌルパケットを時分割多重化する。そして、多重化部１１０は、時分割多重化して得られたパケット列を暗号化部１１１へ出力する。
【００３１】
暗号化部１１１は、多重化部１１０から出力されたパケット列のうち、映像パケット及び音声パケットのデータ部を暗号化する。すなわち、暗号化部１１１は、映像の再生時に必要となるデータを暗号化し、契約ユーザ以外の第三者によって映像や音声が不当に再生・改ざんされることを防止する。一方、ヌルパケットのデータ部には映像や音声のデータが含まれていないため、暗号化部１１１は、ヌルパケットのデータ部を暗号化することはない。また、各パケットのヘッダ部に格納されたパケットＩＤがパケット種別の判定に用いられるため、暗号化部１１１は、映像パケット、音声パケット及びヌルパケットのヘッダ部を暗号化することもない。
【００３２】
送信部１１２は、暗号化部１１１による暗号化後のパケットを所定数ずつまとめ、上位レイヤに対応するヘッダ部を付加することにより、上位レイヤのパケット（以下「上位パケット」という）を生成する。このとき、送信部１１２は、上位パケットのヘッダ部に、上位パケットの通し番号を示すシーケンス番号を格納しておく。このシーケンス番号は、後述するように、パケット捕捉装置２００においてパケットロスを検出する際に用いられる。そして、送信部１１２は、映像及び音声が多重化された多重化データとして、生成された上位パケットを送信する。
【００３３】
［パケットフォーマット］
次に、パケット化部１０３、１０８及びヌルパケット生成部１０５が生成する映像パケット、音声パケット及びヌルパケットのパケットフォーマットについて説明する。図３は、本実施の形態に係るパケットフォーマットの具体例を示す図である。図３に示すパケットは、１８８バイトの固定サイズのデータ単位であり、原則として４バイトのヘッダ部と１８４バイトのデータ部とを含んでいる。ヘッダ部には付加的な情報が格納されることがあり、この場合、ヘッダ部のサイズがαバイトだけ拡張される。ただし、ヘッダ部が拡張された場合でも、データ部がαバイト縮小されることにより、パケット全体のサイズは１８８バイトに固定されている。
【００３４】
パケットのヘッダ部には、例えば同期バイト、パケットＩＤ及び連続カウンタなどのフィールドが設けられている。同期バイトは、所定のビット列からなっており、パケットの先頭位置を明示する標識となる。パケットＩＤは、パケットが映像データを含む映像パケットであるか、音声データを含む音声パケットであるか、又は、映像データ及び音声データのいずれも含まないヌルパケットであるかのパケット種別を示している。連続カウンタは、パケット種別ごとに独立して例えば０〜１５の番号を順番に格納し、映像及び音声それぞれにおける符号化データの連続性を示す。
【００３５】
また、ヘッダ部には、パケットの状態を示す様々なフラグが含まれている。すなわち、例えば優先フラグ、データ先頭フラグ、エラーフラグ、スクランブル制御フラグ及び拡張領域フラグなどがヘッダ部に含まれる。優先フラグは、パケットを他のパケットより優先して復号すべきであるか否かを示すフラグである。データ先頭フラグは、パケットが例えば１フレーム分などのひとまとまりのデータの先頭の符号化データを含むか否かを示すフラグである。エラーフラグは、パケットにエラーが発生したか否かを示すフラグである。スクランブル制御フラグは、パケットのデータ部が暗号化されているか否かを示すフラグである。拡張領域フラグは、パケットのヘッダ部が拡張されているか否かを示すフラグである。
【００３６】
映像パケット及び音声パケットのデータ部には、それぞれ映像又は音声の符号化データが適切なサイズに分割されて格納される。すなわち、１つのパケットのデータ部には、原則として１８４バイトの符号化データが格納される。一方、ヌルパケットのデータ部には、ヌルパケットの直前及び直後に配置される映像パケットの品質影響情報が格納される。通常、品質影響情報のサイズは、データ部のサイズよりも小さいため、品質影響情報が分割されて複数のヌルパケットのデータ部に格納されることはない。なお、パケットのサイズやフォーマットは、図３に示したものに限定されないが、少なくともパケットのヘッダ部には、映像パケット、音声パケット及びヌルパケットのいずれかを示すパケット種別が格納されていることが好ましい。
【００３７】
［品質影響情報の具体例］
次に、ヌルパケットのデータ部に格納される品質影響情報の具体例について説明する。図４は、品質影響情報に含まれる個々の品質影響パラメータの具体例を示す図である。品質影響情報取得部１０４は、各映像パケットに含まれる符号化データのフレーム番号、再生重要度、位置情報、動き情報及び量子化ステップをそれぞれの映像パケットの品質影響パラメータとして取得する。これらの品質影響パラメータは、映像全体の再生品質に対して影響を与えるパラメータである。
【００３８】
フレーム番号は、各フレームに付与された通し番号であり、映像パケットが映像全体のうちのどのフレームの映像の再生品質に影響するかを示している。すなわち、フレーム番号が１０１の映像パケットは、映像全体のうち１０１番のフレーム付近の映像の再生品質に影響することになる。再生重要度は、映像パケットが他のフレームの画像の復号にも影響を与える符号化データを含むか否かを示している。すなわち、ピクチャタイプがＩピクチャ又はＰピクチャであれば、他のフレームを含む映像の再生品質に影響するため、Ｉピクチャ及びＰピクチャの再生重要度は高い。一方、ピクチャタイプがＢピクチャであれば、他のフレームを含む映像の再生品質にはあまり影響しないため、Ｂピクチャの再生重要度は低い。したがって、パケットロスが発生した場合、再生重要度が高い（Ｉピクチャ又はＰピクチャに対応する）映像パケットが損失すると、映像の再生品質の劣化が比較的大きいのに対し、再生重要度が低い（Ｂピクチャに対応する）映像パケットが損失すると、映像の再生品質の劣化は比較的小さくて済む。
【００３９】
位置情報は、映像パケットに含まれる符号化データがフレーム内のどの位置の画像に基づくものであるかを示している。具体的には、例えば所定数の画素（例えば１６×１６画素）から形成されるマクロブロック単位でフレームの画像における２次元座標（ＸＹ座標）が定義され、映像パケットに対応するマクロブロックの座標値が位置情報となる。一般に、画像の符号化時には、画面内のマクロブロック単位で上から下方向及び左から右方向に圧縮が行われる。このため、パケットロスが発生した場合、画像の左上部分のマクロブロックに対応する映像パケットが損失すると、映像の再生品質の劣化が比較的大きいのに対し、画像の右下部分のマクロブロックに対応する映像パケットが損失すると、映像の再生品質の劣化は比較的小さくて済む。
【００４０】
動き情報は、映像パケットに含まれる符号化データが、基準となるＩピクチャ又はＰピクチャと比較してどの程度移動した部分の画像に基づくものであるかを示している。具体的には、映像パケットに対応する部分の動きベクトルが動き情報となる。一般に、動きが小さい部分については、動き以外の微小な変化が目立つ一方、動きが大きい部分については、動きと同時に多少の変化があってもあまり目立たない。したがって、パケットロスが発生した場合、動きが小さい部分に対応する映像パケットが損失すると、映像の再生品質の劣化が比較的大きいのに対し、動きが大きい部分に対応する映像パケットが損失すると、映像の再生品質の劣化は比較的小さくて済む。
【００４１】
量子化ステップは、映像符号化部１０１によってフレームの画像が符号化される際の量子化ステップである。すなわち、映像符号化部１０１においては、フレームごとに最適な量子化ステップで映像データの符号化が行われているため、各映像パケットに含まれる符号化データの量子化ステップは必ずしも同一ではない。一般に、量子化ステップは、符号化によって同一の値にまとめられる画素値の幅を示しており、１フレーム分の符号化データのデータ量が制限されている場合には、フレームの画像の複雑さと密接に関係している。すなわち、量子化ステップは、フレームの画像が単調であるか複雑であるかを反映しており、映像の再生品質に大きく関係している。なお、品質影響情報は、図４に示す品質影響パラメータのみに限定されず、映像全体の再生品質に対して影響を与える他の品質影響パラメータを含んでいても良い。
【００４２】
［ヌルパケットの構成］
次に、ヌルパケット生成部１０５が生成するヌルパケットの構成について説明する。ヌルパケット生成部１０５は、例えば図５に示すように、ヌルパケットの直前に配置される映像パケット及び直後に配置される映像パケットの双方の品質影響情報をデータ部に格納する。このとき、ヌルパケット生成部１０５は、データ部に映像又は音声のデータを格納することはない。
【００４３】
しかし、通常、２つの映像パケットの品質影響情報のサイズは、データ部のサイズよりも小さいため、ヌルパケットのデータ部の領域が余ることになる。そこで、ヌルパケット生成部１０５は、データ部の品質影響情報以外の部分には、例えばすべて「１」のビット列を格納してヌルパケットを生成しても良い。すなわち、図５に斜線で示す領域に品質影響情報が格納される場合、ヌルパケット生成部１０５は、データ部の斜線部以外の領域には無意味なビット列を格納すれば良い。また、ヌルパケット生成部１０５は、ヘッダ部にヌルパケットであることを示すパケットＩＤを格納する。
【００４４】
［パケット捕捉装置の構成］
図６は、本実施の形態に係るパケット捕捉装置２００の要部構成を示すブロック図である。図６に示すパケット捕捉装置２００は、上位パケット取得部２０１、パケットロス検出部２０２、ヌルパケット検出部２０３、ヌルパケット蓄積部２０４、品質影響情報抽出部２０５及び品質影響情報送信部２０６を有する。
【００４５】
上位パケット取得部２０１は、終端装置２０からＳＴＢ３０へ出力される多重化データのストリームから上位パケットをキャプチャする。すなわち、上位パケット取得部２０１は、所定数の映像パケット、音声パケット又はヌルパケットが含まれる上位パケットを取得する。
【００４６】
パケットロス検出部２０２は、上位パケット取得部２０１によって順次取得される上位パケットのヘッダ部を参照し、ヘッダ部に格納されたシーケンス番号が連続しているか否かを判定することにより、パケットロスの有無を判定する。すなわち、パケットロス検出部２０２は、上位パケット取得部２０１によって連続して取得された２つの上位パケットのシーケンス番号が連続していない場合に、これらの上位パケットの間に送信された上位パケットが損失したことを検出する。上位パケットが損失すれば、この上位パケットのデータ部に格納されているパケット（映像パケット、音声パケット又はヌルパケット）も損失したことになる。そして、損失したパケットは、ＳＴＢ３０及びテレビ４０によって受信されることもないため、テレビ４０において再生される映像及び音声の品質が劣化する。
【００４７】
ヌルパケット検出部２０３は、上位パケット取得部２０１によって取得された上位パケットのデータ部からヌルパケットを検出する。具体的には、ヌルパケット検出部２０３は、パケットそれぞれのヘッダ部に格納されたパケットＩＤを参照し、パケット種別を判定する。ここで、映像パケット及び音声パケットに関しては、データ部が暗号化されているが、いずれのパケットについてもヘッダ部は暗号化されていない。このため、ヌルパケット検出部２０３は、上位パケットのデータ部に格納された各パケットのパケットＩＤからパケット種別を判定することができる。そして、ヌルパケット検出部２０３は、上位パケットのデータ部に含まれるヌルパケットをヌルパケット蓄積部２０４へ出力する。
【００４８】
また、ヌルパケット検出部２０３は、パケットロス検出部２０２によってパケットロスの発生が検出された場合、パケットロスの発生が検出された後最初にヌルパケットを検出すると、その旨を品質影響情報抽出部２０５へ出力する。したがって、直前の上位パケットとシーケンス番号が連続しておらず、パケットロス検出の根拠となった上位パケットにヌルパケットが含まれていれば、ヌルパケット検出部２０３は、このヌルパケットを検出する。また、パケットロス検出の根拠となった上位パケットにヌルパケットが含まれていなければ、上位パケット取得部２０１によって新たに取得される上位パケットの中からヌルパケットを検出する。すなわち、ヌルパケット検出部２０３は、損失した上位パケットの送信後最も早く送信されたヌルパケットを検出し、該当するヌルパケットが検出されると、その旨を品質影響情報抽出部２０５へ通知する。
【００４９】
ヌルパケット蓄積部２０４は、ヌルパケット検出部２０３によって検出されたヌルパケットを蓄積する。ヌルパケット蓄積部２０４が蓄積するヌルパケットには、それぞれのヌルパケットの直前及び直後に送信された映像パケットの品質影響情報が格納されている。なお、ヌルパケット蓄積部２０４は、蓄積されたヌルパケットの数が所定数に達した場合、古いヌルパケットから順に破棄するようにしても良い。
【００５０】
品質影響情報抽出部２０５は、パケットロスの発生後に最初のヌルパケットが検出された旨がヌルパケット検出部２０３から通知されると、ヌルパケット蓄積部２０４に蓄積された最新の２つのヌルパケットから品質影響情報を抽出する。すなわち、品質影響情報抽出部２０５は、パケットロスにより損失した上位パケットの前後に送信された２つのヌルパケットから品質影響情報を抽出する。ここで、映像パケット及び音声パケットに関しては、データ部が暗号化されているが、ヌルパケットについてはデータ部が暗号化されていない。このため、品質影響情報抽出部２０５は、損失した上位パケットの前後に送信された２つのヌルパケットのデータ部から品質影響情報を抽出することができる。
【００５１】
これらのヌルパケットのデータ部には、ヌルパケットの直前及び直後に送信された映像パケットの品質影響情報が格納されている。したがって、品質影響情報抽出部２０５は、少なくとも損失した上位パケットを挟むタイミングで送信された２つのヌルパケット間の区間の最初と最後の映像パケットに関する品質影響情報を抽出したことになる。つまり、品質影響情報抽出部２０５によって抽出された品質影響情報が示す範囲の映像において、パケットロスに起因する再生品質の劣化が生じることになる。
【００５２】
品質影響情報送信部２０６は、品質影響情報抽出部２０５によって抽出された品質影響情報を終端装置２０及びネットワークＮを介して品質評価装置１０へ送信する。これにより、品質評価装置１０は、２つのヌルパケットの品質影響情報を受信し、パケットロスに起因する映像の再生品質の劣化度合いを評価することが可能となる。すなわち、品質評価装置１０は、損失したパケットを含む区間に対応するフレーム番号、再生重要度、位置情報及び動き情報などを含む品質影響情報を受信するため、パケット損失により、映像の再生品質がどの程度劣化するかを正確に推定することができる。
【００５３】
［映像音声送信装置の動作］
次いで、本実施の形態に係る映像音声送信装置１００の動作について、図７に示すフロー図を参照しながら説明する。なお、以下においては、ＭＰＥＧ（Moving Picture Experts Group）２システムのＭＰＥＧ２−ＴＳ（Transport Stream）に準拠した具体的なパケットフォーマットや多重化方式を例に挙げながら説明する。
【００５４】
送信対象の映像データ及び音声データが映像音声送信装置１００へ入力されると、映像データは、映像符号化部１０１へ入力され、フレームごとの画像が符号化される（ステップＳ１０１）。すなわち、例えば図８に示すように、映像データのフレーム＃１、＃２それぞれの画像がフレームごとに最適な量子化ステップで符号化されることにより、ＥＳ（Elementary Stream）データが得られる。ここで、符号化方式としては、ＭＰＥＧ２に準拠した方式を用いても良いが、そのほかにも例えばＭＰＥＧ４やＨ．２６４に準拠した方式を用いることも可能である。映像データがＭＰＥＧ４やＨ．２６４に従って符号化された場合でも、パケットの多重化にはＭＰＥＧ２−ＴＳを用いることができる。
【００５５】
映像データの符号化が行われると、制御情報付加部１０２によって、符号化後のそれぞれのフレームの符号化データにタイムスタンプなどの制御情報が付加される（ステップＳ１０２）。すなわち、例えば図８に示すように、ＥＳデータのフレーム＃１、＃２の画像それぞれに図中横線のハッチングで示す制御情報が付加され、ＰＥＳ（Packetized Elementary Stream）データが得られる。
【００５６】
制御情報が付加された符号化データは、パケット化部１０３へ入力され、パケット化部１０３によって、映像パケットが生成される（ステップＳ１０３）。すなわち、例えば図８に示すように、映像のＰＥＳデータが固定長に分割され、図中斜線のハッチングで示すヘッダ部が付加されることにより、映像のＴＳ（Transport Stream）パケットが生成される。パケット化部１０３によって付加されるヘッダ部には、ＴＳパケットが映像データを含む映像パケットであることを示すパケットＩＤが格納されている。なお、図８においては、映像パケットを「Ｖ」で示し、音声パケットを「Ａ」で示している。
【００５７】
パケット化部１０３によって映像パケットが生成されると、品質影響情報取得部１０４によって映像パケットから品質影響情報が取得された後（ステップＳ１０４）、映像パケットは、パケット化部１０３からレート調整部１０９へ出力される。具体的には、品質影響情報取得部１０４によって、映像パケットに含まれる符号化データのフレーム番号、再生重要度、位置情報、動き情報及び量子化ステップなどの品質影響パラメータが取得される。これらの品質影響パラメータは、映像の再生品質を大きく左右する因子であるため、例えば映像パケットが損失した場合に、映像の再生品質の劣化度合いを推定するのに重要な情報である。取得された映像パケットの品質影響情報は、品質影響情報取得部１０４によって保持される。
【００５８】
一方、映像音声送信装置１００に入力された音声データは、音声符号化部１０６へ入力され、フレームごとの音声が符号化される（ステップＳ１０５）。すなわち、例えば図８に示すように、音声データのフレーム＃１、＃２それぞれの音声が符号化されることにより、ＥＳデータが得られる。ここで、符号化方式としては、例えばＡＡＣ（Advanced Audio Coding）やＨＥ（High Efficiency）−ＡＡＣなどを用いることができる。
【００５９】
音声データの符号化が行われると、制御情報付加部１０７によって、符号化後のそれぞれのフレームの符号化データにタイムスタンプなどの制御情報が付加される（ステップＳ１０６）。すなわち、例えば図８に示すように、ＥＳデータのフレーム＃１、＃２の音声それぞれに図中横線のハッチングで示す制御情報が付加され、ＰＥＳデータが得られる。
【００６０】
制御情報が付加された符号化データは、パケット化部１０８へ入力され、パケット化部１０８によって、音声パケットが生成される（ステップＳ１０７）。すなわち、例えば図８に示すように、音声のＰＥＳデータが固定長に分割され、図中斜線のハッチングで示すヘッダ部が付加されることにより、音声のＴＳパケットが生成される。パケット化部１０８によって付加されるヘッダ部には、ＴＳパケットが音声データを含む音声パケットであることを示すパケットＩＤが格納されている。なお、ＴＳパケットの生成の際、ＰＥＳデータのフレームの先頭がＴＳパケットのヘッダ部直後に配置されるように、適宜パディングなどが行われる。
【００６１】
パケット化部１０８によって音声パケットが生成されると、音声パケットは、パケット化部１０８からレート調整部１０９へ出力される。そして、レート調整部１０９によって、映像パケット及び音声パケットを時分割多重化する際のパケットの配置が決定され、伝送レートを補正するためにヌルパケットを挿入する必要があるか否かが判定される（ステップＳ１０８）。すなわち、所定の伝送レートを達成するには映像パケット又は音声パケットが不足している場合に、レート調整部１０９によって、ヌルパケットが必要であると判定される。
【００６２】
伝送レートの補正のためにヌルパケットが必要であると判定された場合（ステップＳ１０８Ｙｅｓ）、レート調整部１０９によって、ヌルパケットの挿入位置が決定され、ヌルパケットの直前及び直後に配置される映像パケットが特定される。そして、ヌルパケットが挿入される旨とともに、特定された映像パケットを識別する情報がヌルパケット生成部１０５へ通知される。この通知を受け、ヌルパケット生成部１０５によって、ヌルパケットの直前及び直後に配置される映像パケットの品質影響情報が品質影響情報取得部１０４から取得され、取得された品質影響情報がデータ部に格納されたヌルパケットが生成される（ステップＳ１０９）。このヌルパケットのヘッダ部には、パケット種別がヌルパケットであることを示すパケットＩＤが格納されている。
【００６３】
ヌルパケット生成部１０５によって生成されたヌルパケットは、レート調整部１０９へ出力され、映像パケット及び音声パケットとともにレート調整部１０９から多重化部１１０へ出力される。また、伝送レート補正のためのヌルパケットが不要であると判定された場合は（ステップＳ１０８Ｎｏ）、ヌルパケットが生成されることなく、映像パケット及び音声パケットがレート調整部１０９から多重化部１１０へ出力される。
【００６４】
そして、多重化部１１０によって、映像パケット、音声パケット及びヌルパケットがレート調整部１０９によって決定されたパケット配置通りに時分割多重化される（ステップＳ１１０）。すなわち、所定の伝送レートが達成されるように映像パケット、音声パケット及びヌルパケットが多重化される。それぞれのヌルパケットには、直前及び直後に配置される映像パケットの品質影響情報が格納されている。そして、時分割多重化により得られたパケット列は、暗号化部１１１へ出力され、パケット列のうちの映像パケット及び音声パケットのデータ部が暗号化される（ステップＳ１１１）。
【００６５】
映像パケット及び音声パケットのデータ部が暗号化されたパケット列は、送信部１１２へ出力され、送信部１１２によって、送信のための上位レイヤの処理が施される。具体的には、送信部１１２によって、パケット列の各パケットが所定数ずつまとめられた上で、シーケンス番号を含むヘッダ部が付加されて上位パケットが生成される（ステップＳ１１２）。すなわち、例えば図９に示すように、パケットＶ＃１からパケットＡ＃ｎまでのｎ個（ｎは１以上の整数）の映像パケット、音声パケット及びヌルパケットにヘッダ部が付加されて上位パケットが生成される。図９においては、「Ｖ」が映像パケットを示し、「Ａ」が音声パケットを示し、「Ｎ」がヌルパケットを示している。また、＃１〜＃ｎは、上位パケットのデータ部におけるパケットの識別番号である。
【００６６】
図９に示すように、上位パケットのヘッダ部には、シーケンス番号が格納されている。シーケンス番号は、上位パケットの通し番号であり、連続して送信される上位パケットであれば、ヘッダ部に格納されたシーケンス番号も連続している。したがって、例えばパケット捕捉装置２００などの上位パケットを受信する装置は、上位パケットのシーケンス番号の連続性を確認することにより、ネットワークＮにおいて上位パケットのパケットロスが発生したか否かを判定することができる。
【００６７】
なお、本実施の形態においては、上位パケットのシーケンス番号に依拠して上位パケット単位のパケットロスを検出するものとしている。しかし、映像パケット及び音声パケットのヘッダ部にはパケット種別ごとの連続カウンタが格納されているため、連続カウンタに基づいてＴＳパケット単位のパケットロスを検出することも可能である。ただし、連続カウンタとしては、例えば０〜１５の番号が繰り返し使用されるため、同時に１６個の映像パケット（又は音声パケット）が損失した場合には、連続カウンタが不連続になることはない。結果として、連続カウンタのみからはパケットロスが正確に検出されないため、上位パケットのシーケンス番号を補助的に参照してパケットロスを検出しても良い。また、上位パケットのシーケンス番号やパケットの連続カウンタなどを用いることなくパケットロスを検出しても良い。
【００６８】
送信部１１２によって生成された上位パケットは、映像及び音声が多重化された多重化データとして送信される（ステップＳ１１３）。多重化データは、ネットワークＮ及び終端装置２０を介して各住戸のＳＴＢ３０及びテレビ４０に受信され、それぞれのテレビ４０においては、映像及び音声が再生される。
【００６９】
［パケット捕捉装置の動作］
次に、本実施の形態に係るパケット捕捉装置２００の動作について、図１０に示すフロー図を参照しながら説明する。
【００７０】
本実施の形態においては、パケット捕捉装置２００は、終端装置２０と各住戸のＳＴＢ３０との間に設置されている。したがって、パケット捕捉装置２００によって、終端装置２０から各住戸のＳＴＢ３０へ出力される多重化データのストリームからパケットが捕捉されることになる。具体的には、上位パケット取得部２０１によって、映像パケット、音声パケット又はヌルパケットを含む上位パケットが多重化データのストリームから捕捉される（ステップＳ２０１）。
【００７１】
上位パケット取得部２０１によって上位パケットが捕捉されると、パケットロス検出部２０２によって、ネットワークＮにおいて上位パケットのパケットロスが発生しているか否かが判定される（ステップＳ２０２）。具体的には、パケットロス検出部２０２によって、上位パケットのヘッダ部に格納されたシーケンス番号が上位パケット取得部２０１によって前回捕捉された上位パケットのシーケンス番号と連続しているか否かが判定される。この判定の結果、シーケンス番号が連続している場合には、パケットロス検出部２０２によって、ネットワークＮにおけるパケットロスが発生していないと判断され（ステップＳ２０２Ｎｏ）、シーケンス番号が不連続の場合には、パケットロス検出部２０２によって、ネットワークＮにおけるパケットロスが発生したと判断される（ステップＳ２０２Ｙｅｓ）。
【００７２】
パケットロス検出部２０２によってパケットロスが発生していないと判断された場合（ステップＳ２０２Ｎｏ）、ヌルパケット検出部２０３によって、上位パケットの中にヌルパケットが含まれているか否かが判定される（ステップＳ２０７）。具体的には、ヌルパケット検出部２０３によって、上位パケットのデータ部に含まれる各パケットのパケットＩＤが参照され、パケットＩＤがヌルパケットであることを示しているパケットがあるか否かが判定される。そして、上位パケットの中からヌルパケットが検出されなければ（ステップＳ２０７Ｎｏ）、引き続き、上位パケット取得部２０１によって上位パケットが捕捉され、上述した処理が繰り返される。また、上位パケットの中からヌルパケットが検出されれば（ステップＳ２０７Ｙｅｓ）、検出されたヌルパケットがヌルパケット蓄積部２０４に蓄積される（ステップＳ２０８）。その後、ヌルパケットが検出されない場合と同様に、上位パケット取得部２０１による上位パケットの捕捉以降の処理が繰り返される。
【００７３】
一方、パケットロス検出部２０２によってパケットロスが発生したと判断された場合（ステップＳ２０２Ｙｅｓ）、ヌルパケット検出部２０３によって、上位パケットの中にヌルパケットが含まれているか否かが判定される（ステップＳ２０３）。ここでも、上述したパケットロスが発生していない場合と同様に、各パケットのパケットＩＤに基づいてヌルパケットの有無が判定される。そして、上位パケットの中からヌルパケットが検出されなければ（ステップＳ２０３Ｎｏ）、上位パケット取得部２０１によって新たな上位パケットが捕捉され（ステップＳ２０６）、再度ヌルパケットの有無が判定される（ステップＳ２０３）。換言すれば、パケットロスによって損失した上位パケットの後最も早く送信されたヌルパケットが検出されるまで、ヌルパケット検出部２０３によるヌルパケットの検出が繰り返される。
【００７４】
そして、パケットロスによって損失した上位パケットの後最も早く送信されたヌルパケットが検出されると（ステップＳ２０３Ｙｅｓ）、検出されたヌルパケットは、他のヌルパケットと同様にヌルパケット蓄積部２０４に蓄積される。そして、品質影響情報抽出部２０５によって、ヌルパケット蓄積部２０４に蓄積された最新の２つのヌルパケットから品質影響情報が抽出される（ステップＳ２０４）。すなわち、品質影響情報抽出部２０５によって、パケットロスにより損失した上位パケットを挟んで前後に送信されたヌルパケットに格納された品質影響情報が抽出される。
【００７５】
品質影響情報抽出部２０５によって抽出される品質影響情報には、損失した上位パケットの前後に送信された２つのヌルパケットの間の区間の最初と最後の映像パケットに関するフレーム番号、再生重要度、位置情報、動き情報及び量子化ステップなどの品質影響パラメータが含まれている。したがって、上位パケットの損失による映像の再生品質の劣化は、品質影響情報抽出部２０５によって抽出された品質影響情報から推定することができる。すなわち、例えば品質影響情報のフレーム番号から、パケットロスの影響を受けるフレーム番号を推定することができ、品質影響情報の再生重要度から、パケットロスが復号に与える影響の大きさを推定することができる。また、例えば品質影響情報の位置情報や動き情報から、パケットロスによる品質の劣化が映像の再生時に目立つか否かを推定することができる。
【００７６】
このように、品質影響情報抽出部２０５によって抽出される品質影響情報は、テレビ４０において再生される映像の品質を正確に推定するために十分な品質影響パラメータを含んでいる。そして、品質影響情報抽出部２０５によって抽出された品質影響情報は、品質影響情報送信部２０６へ出力され、品質影響情報送信部２０６によって、終端装置２０及びネットワークＮを介して品質評価装置１０へ送信される（ステップＳ２０５）。これにより、品質評価装置１０は、パケットロスに伴う映像の再生品質の劣化度合いを正確に推定することができる。
【００７７】
［パケット配置及び再生品質の推定の具体例］
本実施の形態においては、映像音声送信装置１００において、伝送レート補正のためにヌルパケットが挿入されてパケットの多重化が行われる。したがって、必ずしもすべての映像パケットの品質影響情報がいずれかのヌルパケットに格納されるわけではなく、どの映像パケットの品質影響情報がヌルパケットに格納されるかは、パケットの多重化の際のパケット配置に依存している。
【００７８】
図１１は、本実施の形態に係るパケット配置の具体例を示す図である。図１１においては、映像パケットを「Ｖ」で示し、音声パケットを「Ａ」で示し、ヌルパケットを「Ｎ」で示している。また、＃１〜＃１２は、パケットの識別番号である。以下、例えば＃１のヌルパケットを「ヌルパケットＮ＃１」などという。図１１に示すように、ヌルパケットＮ＃１、Ｎ＃５及びＮ＃１０は、規則的に配置されているわけではなく、パケットの伝送レートを一定に補正するために配置されている。このため、ヌルパケットＮ＃１には、映像パケットＶ＃３の品質影響情報が格納され、ヌルパケットＮ＃５には、映像パケットＶ＃４、Ｖ＃６の品質影響情報が格納され、ヌルパケットＮ＃１０には、映像パケットＶ＃９、Ｖ＃１１の品質影響情報が格納されている。換言すれば、映像パケットＶ＃８の品質影響情報は、いずれのヌルパケットにも格納されていない。
【００７９】
ただし、実際には、ヌルパケットは比較的頻繁に挿入されることが多いため、大半の映像パケットの品質影響情報がいずれかのヌルパケットに格納されることになる。具体的に、例えば映像データの符号化方式がＭＰＥＧ２かつ伝送レートが１３Ｍｂｐｓであり、音声データの符号化方式がＡＡＣかつ伝送レートが１９２ｋｂｐｓである場合、映像音声送信装置１００から０．５秒間に送信される総パケット数は、例えば９９６９パケットとなる。この総パケット数の中に、映像パケットは、例えば４４８３パケット含まれ、音声パケットは、例えば５０パケット含まれ、ヌルパケットは、例えば５２５７パケット含まれる。残りのパケットは、例えばデータ放送用のパケットなどである。
【００８０】
このように、ヌルパケットは、総パケット数の過半数を占めているため、各ヌルパケットにそれぞれのヌルパケットの直前及び直後に配置される映像パケットの品質影響情報を格納することにより、大部分の映像パケットの品質影響情報がいずれかのヌルパケットに格納されると考えられる。このため、パケットロスにより映像パケットが損失した場合、損失した映像パケットの品質影響情報が前後のヌルパケットに格納されている確率が高い。結果として、ヌルパケットから品質影響情報を取得することにより、損失したパケットに関する情報を直接取得することができ、パケットロスによる映像の再生品質の劣化の度合いを正確に推定することが可能となる。
【００８１】
ところで、図１１に示した例において、パケットＶ＃６からパケットＶ＃９がパケットロスにより損失した場合、損失したパケットを挟んで前後に送信されるヌルパケットＮ＃５、Ｎ＃１０に格納された品質影響情報がパケット捕捉装置２００の品質影響情報抽出部２０５によって抽出される。ここで、ヌルパケットＮ＃５、Ｎ＃１０が、それぞれ例えば図１２に示す品質影響情報を格納していたものとする。ヌルパケットＮ＃５の直前の映像パケットは映像パケットＶ＃４であり、直後の映像パケットは映像パケットＶ＃６である。また、ヌルパケットＮ＃１０の直前の映像パケットは映像パケットＶ＃９であり、直後の映像パケットは映像パケットＶ＃１１である。
【００８２】
したがって、パケットの損失による映像の再生品質の劣化の度合いを推定する際には、ヌルパケットＮ＃５に格納されている直後の映像パケットＶ＃６の品質影響情報と、ヌルパケットＮ＃１０に格納されている直前の映像パケットＶ＃９の品質影響情報とに基づけば良い。すなわち、図１２において太枠で囲んだ部分に基づいて映像パケットの損失による再生品質の劣化を推定することができる。
【００８３】
具体的には、図１２において、太線で囲まれたフレーム番号はいずれも１０１であるため、パケットロスによって映像データが失われたフレームの番号が１０１であることがわかる。また、このフレームの画像はＩピクチャであり、比較的多くのフレームの復号に影響を与えることが推測される。さらに、損失した映像パケットは（０，０）から（１，１）までのいずれかの座標位置のマクロブロックのデータを含んでいたことが判明するため、比較的画像の周縁に近いマクロブロックがパケットロスの影響を受けると推測される。
【００８４】
なお、参照される品質影響情報のフレーム番号が異なっている場合でも（例えば１０１と１０３）、これらのフレーム番号の間のいずれかのフレーム（１０１〜１０３のいずれかの番号が付与されたフレーム）の映像データがパケットロスによって失われたことがわかる。このように、ヌルパケットに格納された品質影響情報は、映像パケットの損失による再生品質への影響を正確に見積もるのに十分な情報を含んでいる。したがって、品質影響情報送信部２０６から品質評価装置１０へ品質影響情報が送信されることにより、品質評価装置１０においては、映像の再生品質を正確に推定することができる。
【００８５】
以上のように、本実施の形態によれば、ヌルパケットの直前及び直後に配置される映像パケットの品質影響情報をヌルパケットに格納し、ヌルパケット及び映像パケットを含む多重化データを送信する。また、多重化データの受信及び再生が行われる位置の近傍で多重化データを捕捉し、ネットワーク上でパケットロスが発生すると、損失したパケットの前後のヌルパケットから品質影響情報を取得する。このため、損失したパケットを含む部分に関する情報をヌルパケットから取得することができ、パケットロスによる再生品質の劣化度合いを正確に推定することができる。換言すれば、ユーザ端末において再生される映像の品質を正確に推定するために十分な情報を取得することができる。
【００８６】
（実施の形態２）
上記実施の形態１においては、映像パケットの品質影響情報をヌルパケットに格納して送信するものとしたが、音声パケットの品質影響情報をヌルパケットに格納して送信することも可能である。そこで、実施の形態２においては、ヌルパケットに音声パケットの品質影響情報を格納する場合について説明する。この場合でも、ネットワーク構成は実施の形態１に係るネットワーク構成と同様であるため、その説明を省略する。以下、主に本実施の形態に係る映像音声送信装置１００と実施の形態１に係る映像音声送信装置１００との構成及び動作の違いについて説明する。
【００８７】
［映像音声送信装置の構成］
図１３は、本実施の形態に係る映像音声送信装置１００の要部構成を示すブロック図である。図１３において、図２と同じ部分には同じ符号を付し、その説明を省略する。図１３に示す映像音声送信装置１００は、図２に示す映像音声送信装置１００の品質影響情報取得部１０４及びヌルパケット生成部１０５に代えて、品質影響情報取得部３０１及びヌルパケット生成部３０２を有する。
【００８８】
品質影響情報取得部３０１は、パケット化部１０８によって音声パケットが生成されると、生成された音声パケットが音声全体の再生品質に対して与える影響を示す品質影響情報を取得する。具体的には、品質影響情報取得部３０１は、例えば図１４に示す品質影響パラメータを取得する。すなわち、品質影響情報取得部３０１は、各音声パケットに含まれる符号化データのフレーム番号及び音声レベルをそれぞれの音声パケットの品質影響パラメータとして取得する。このように、本実施の形態に係る品質影響パラメータは、音声全体の再生品質に対して影響を与えるパラメータである。
【００８９】
フレーム番号は、各フレームに付与された通し番号であり、音声パケットが音声全体のうちのどのフレームの音声の再生品質に影響するかを示している。音声レベルは、音声パケットに含まれる符号化データの音声レベルを示しており、例えば無音であれば０、有音であれば音声レベルに応じた数値が音声レベルの情報となる。したがって、パケットロスが発生した場合、音声レベルが比較的大きい音声パケットが損失すると、音声の再生品質の劣化が比較的大きいのに対し、無音の音声パケットが損失すると、音声の再生品質の劣化は比較的小さくて済む。なお、品質影響情報は、図１４に示す品質影響パラメータのみに限定されず、音声全体の再生品質に対して影響を与える他の品質影響パラメータを含んでいても良い。
【００９０】
図１３に戻って、ヌルパケット生成部３０２は、伝送レートを補正するためにヌルパケットが挿入されることがレート調整部１０９から通知されると、ヌルパケットの直前に配置される音声パケット及び直後に配置される音声パケットの品質影響情報を品質影響情報取得部３０１から取得する。そして、ヌルパケット生成部３０２は、取得された品質影響情報にヘッダ情報を付加してヌルパケットを組み立て、レート調整部１０９へ出力する。すなわち、ヌルパケット生成部３０２は、ヌルパケットの直前及び直後に配置される２つの音声パケットの品質影響情報をデータ部に格納し、パケットＩＤなどをヘッダ部に格納したヌルパケットを生成する。このとき、ヌルパケット生成部３０２は、映像又は音声などのデータをヌルパケットのデータ部に格納することはない。
【００９１】
具体的には、ヌルパケット生成部３０２は、例えば図１５に示すように、ヌルパケットの直前に配置される音声パケット及び直後に配置される音声パケットの双方の品質影響情報をデータ部に格納する。このとき、ヌルパケット生成部３０２は、データ部の品質影響情報以外の部分には、例えばすべて「１」のビット列を格納してヌルパケットを生成しても良い。また、ヌルパケット生成部３０２は、ヘッダ部にヌルパケットであることを示すパケットＩＤを格納する。
【００９２】
［映像音声送信装置の動作］
次いで、上記のように構成された映像音声送信装置１００の動作について、図１６に示すフロー図を参照しながら説明する。図１６において、図７と同じ部分には同じ符号を付し、その詳しい説明を省略する。
【００９３】
送信対象の映像データ及び音声データが映像音声送信装置１００へ入力されると、映像データは、映像符号化部１０１へ入力され、フレームごとの画像が符号化される（ステップＳ１０１）。映像データの符号化が行われると、制御情報付加部１０２によって、符号化後のそれぞれのフレームの符号化データにタイムスタンプなどの制御情報が付加される（ステップＳ１０２）。制御情報が付加された符号化データは、パケット化部１０３へ入力され、パケット化部１０３によって、映像パケットが生成される（ステップＳ１０３）。生成された音声パケットは、パケット化部１０３からレート調整部１０９へ出力される。
【００９４】
一方、映像音声送信装置１００に入力された音声データは、音声符号化部１０６へ入力され、フレームごとの音声が符号化される（ステップＳ１０５）。音声データの符号化が行われると、制御情報付加部１０７によって、符号化後のそれぞれのフレームの符号化データにタイムスタンプなどの制御情報が付加される（ステップＳ１０６）。制御情報が付加された符号化データは、パケット化部１０８へ入力され、パケット化部１０８によって、音声パケットが生成される（ステップＳ１０７）。
【００９５】
パケット化部１０８によって音声パケットが生成されると、品質影響情報取得部３０１によって音声パケットから品質影響情報が取得された後（ステップＳ２０１）、音声パケットは、パケット化部１０８からレート調整部１０９へ出力される。具体的には、品質影響情報取得部３０１によって、音声パケットに含まれる符号化データのフレーム番号及び音声レベルなどの品質影響パラメータが取得される。これらの品質影響パラメータは、音声の再生品質を大きく左右する因子であるため、例えば音声パケットが損失した場合に、音声の再生品質の劣化度合いを推定するのに重要な情報である。取得された音声パケットの品質影響情報は、品質影響情報取得部３０１によって保持される。
【００９６】
そして、レート調整部１０９によって、映像パケット及び音声パケットを時分割多重化する際のパケットの配置が決定され、伝送レートを補正するためにヌルパケットを挿入する必要があるか否かが判定される（ステップＳ１０８）。伝送レートの補正のためにヌルパケットが必要であると判定された場合（ステップＳ１０８Ｙｅｓ）、レート調整部１０９によって、ヌルパケットの挿入位置が決定され、ヌルパケットの直前及び直後に配置される音声パケットが特定される。そして、ヌルパケットが挿入される旨とともに、特定された音声パケットを識別する情報がヌルパケット生成部３０２へ通知され、ヌルパケット生成部３０２によって、ヌルパケットが生成される（ステップＳ２０２）。ヌルパケット生成部３０２によって生成されるヌルパケットのデータ部には、ヌルパケットの直前及び直後に配置される音声パケットの品質影響情報が格納されており、ヘッダ部には、パケット種別がヌルパケットであることを示すパケットＩＤが格納されている。
【００９７】
ヌルパケット生成部３０２によって生成されたヌルパケットは、レート調整部１０９へ出力され、映像パケット及び音声パケットとともにレート調整部１０９から多重化部１１０へ出力される。また、伝送レート補正のためのヌルパケットが不要であると判定された場合は（ステップＳ１０８Ｎｏ）、ヌルパケットが生成されることなく、映像パケット及び音声パケットがレート調整部１０９から多重化部１１０へ出力される。
【００９８】
そして、多重化部１１０によって、映像パケット、音声パケット及びヌルパケットがレート調整部１０９によって決定されたパケット配置通りに時分割多重化される（ステップＳ１１０）。時分割多重化によりパケット列が得られると、暗号化部１１１によって、パケット列のうちの映像パケット及び音声パケットのデータ部が暗号化される（ステップＳ１１１）。
【００９９】
映像パケット及び音声パケットのデータ部が暗号化されたパケット列は、送信部１１２へ出力され、送信部１１２によって、パケット列から上位パケットが生成される（ステップＳ１１２）。送信部１１２によって生成された上位パケットは、映像及び音声が多重化された多重化データとして送信される（ステップＳ１１３）。多重化データは、ネットワークＮ及び終端装置２０を介して各住戸のＳＴＢ３０及びテレビ４０に受信され、それぞれのテレビ４０においては、映像及び音声が再生される。
【０１００】
［パケット捕捉装置］
本実施の形態においては、ヌルパケットに音声パケットの品質影響情報が格納されているため、パケットロスが発生した場合、パケット捕捉装置２００によって音声パケットの品質影響情報がヌルパケットから取得される。この点を除けば、本実施の形態に係るパケット捕捉装置２００の構成及び動作は、実施の形態１に係るパケット捕捉装置２００の構成（図６参照）及び動作（図１０参照）と同様である。
【０１０１】
［パケット配置及び再生品質の推定の具体例］
本実施の形態においては、映像音声送信装置１００において、伝送レート補正のためにヌルパケットが挿入されてパケットの多重化が行われる。したがって、必ずしもすべての音声パケットの品質影響情報がいずれかのヌルパケットに格納されるわけではなく、どの音声パケットの品質影響情報がヌルパケットに格納されるかは、パケットの多重化の際のパケット配置に依存している。
【０１０２】
図１７は、本実施の形態に係るパケット配置の具体例を示す図である。図１７においては、映像パケットを「Ｖ」で示し、音声パケットを「Ａ」で示し、ヌルパケットを「Ｎ」で示している。また、＃１〜＃１２は、パケットの識別番号である。図１７に示すように、ヌルパケットＮ＃１、Ｎ＃５及びＮ＃１０は、規則的に配置されているわけではなく、パケットの伝送レートを一定に補正するために配置されている。このため、ヌルパケットＮ＃１には、音声パケットＡ＃２の品質影響情報が格納され、ヌルパケットＮ＃５には、音声パケットＡ＃２、Ａ＃７の品質影響情報が格納され、ヌルパケットＮ＃１０には、音声パケットＡ＃７、Ａ＃１２の品質影響情報が格納されている。
【０１０３】
通常、音声データの伝送レートは、映像データの伝送レートに比べて低く設定されることが多く、多重化データ中に配置される音声パケットの数は、映像パケットの数に比べて大幅に少ない。また、ヌルパケットの数は、映像パケットの数と同程度以上となるのが一般的であるため、大部分の音声パケットの品質影響情報がいずれかのヌルパケットに格納されると考えられる。このため、パケットロスにより音声パケットが損失した場合、損失した音声パケットの品質影響情報が前後のヌルパケットに格納されている確率が高い。結果として、ヌルパケットから品質影響情報を取得することにより、損失したパケットに関する情報を直接取得することができ、パケットロスによる音声の再生品質の劣化の度合いを正確に推定することが可能となる。
【０１０４】
ところで、図１７に示した例において、パケットＶ＃６からパケットＶ＃９がパケットロスにより損失した場合、損失したパケットを挟んで前後に送信されるヌルパケットＮ＃５、Ｎ＃１０に格納された品質影響情報がパケット捕捉装置２００によって抽出される。ここで、ヌルパケットＮ＃５、Ｎ＃１０が、それぞれ例えば図１８に示す品質影響情報を格納していたものとする。ヌルパケットＮ＃５の直前の音声パケットは音声パケットＡ＃２であり、直後の音声パケットは音声パケットＡ＃７である。また、ヌルパケットＮ＃１０の直前の音声パケットは音声パケットＡ＃７であり、直後の音声パケットは音声パケットＡ＃１２である。
【０１０５】
したがって、パケットの損失による音声の再生品質の劣化の度合いを推定する際には、ヌルパケットＮ＃５に格納されている直後の音声パケットＡ＃７の品質影響情報と、ヌルパケットＮ＃１０に格納されている直前の音声パケットＡ＃７の品質影響情報とに基づけば良い。すなわち、図１８において太枠で囲んだ部分に基づいて音声パケットの損失による再生品質の劣化を推定することができる。ここでは、ヌルパケットＮ＃５、Ｎ＃１０の間には、１つの音声パケットＡ＃７しか送信されていないことから、図１８において太線で囲まれた品質影響情報は、同一の音声パケットＡ＃７に関するものである。
【０１０６】
図１８において、太線で囲まれたフレーム番号はいずれも１０１であるため、パケットロスによって音声データが失われたフレームの番号が１０１であることがわかる。また、このフレームの音声レベルは０であり、無音のフレームであることから、音声の再生品質にはあまり影響がないと推測される。このように、ヌルパケットに格納された品質影響情報は、音声パケットの損失による再生品質への影響を正確に見積もるのに十分な情報を含んでいる。したがって、パケット捕捉装置２００によって抽出された品質影響情報が品質評価装置１０へ送信されることにより、品質評価装置１０においては、音声の再生品質を正確に推定することができる。
【０１０７】
以上のように、本実施の形態によれば、ヌルパケットの直前及び直後に配置される音声パケットの品質影響情報をヌルパケットに格納し、ヌルパケット及び音声パケットを含む多重化データを送信する。また、多重化データの受信及び再生が行われる位置の近傍で多重化データを捕捉し、ネットワーク上でパケットロスが発生すると、損失したパケットの前後のヌルパケットから品質影響情報を取得する。このため、損失したパケットを含む部分に関する情報をヌルパケットから取得することができ、パケットロスによる再生品質の劣化度合いを正確に推定することができる。換言すれば、ユーザ端末において再生される音声の品質を正確に推定するために十分な情報を取得することができる。
【０１０８】
（実施の形態３）
上記実施の形態１、２においては、映像パケット及び音声パケットのいずれか一方の品質影響情報をヌルパケットに格納して送信するものとしたが、双方の品質影響情報をヌルパケットに格納して送信することも可能である。そこで、実施の形態３においては、ヌルパケットに映像パケット及び音声パケットの品質影響情報を格納する場合について説明する。この場合でも、ネットワーク構成は実施の形態１に係るネットワーク構成と同様であるため、その説明を省略する。以下、主に本実施の形態に係る映像音声送信装置１００と実施の形態１に係る映像音声送信装置１００との構成及び動作の違いについて説明する。
【０１０９】
図１９は、本実施の形態に係る映像音声送信装置１００の要部構成を示すブロック図である。図１９において、図２と同じ部分には同じ符号を付し、その説明を省略する。図１９に示す映像音声送信装置１００は、図２に示す映像音声送信装置１００の品質影響情報取得部１０４及びヌルパケット生成部１０５に代えて、品質影響情報取得部４０１及びヌルパケット生成部４０２を有する。
【０１１０】
品質影響情報取得部４０１は、パケット化部１０３及びパケット化部１０８によってそれぞれ映像パケット及び音声パケットが生成されると、それぞれのパケットから品質影響情報を取得する。すなわち、品質影響情報取得部４０１は、実施の形態１で述べた映像パケットの品質影響パラメータ（図４参照）と、実施の形態２で述べた音声パケットの品質影響パラメータ（図１４参照）とを取得する。
【０１１１】
ヌルパケット生成部４０２は、伝送レートを補正するためにヌルパケットが挿入されることがレート調整部１０９から通知されると、ヌルパケットの直前及び直後に配置される映像パケット及び音声パケットの品質影響情報を品質影響情報取得部４０１から取得する。そして、ヌルパケット生成部４０２は、取得された品質影響情報をデータ部に格納してヌルパケットを生成し、レート調整部１０９へ出力する。具体的には、ヌルパケット生成部４０２は、例えば図２０に示すように、ヌルパケットの直前及び直後に配置される映像パケット及び音声パケットの品質影響情報をデータ部に格納する。このとき、ヌルパケット生成部４０２は、データ部の品質影響情報以外の部分には、例えばすべて「１」のビット列を格納してヌルパケットを生成しても良い。また、ヌルパケット生成部４０２は、ヘッダ部にヌルパケットであることを示すパケットＩＤを格納する。
【０１１２】
本実施の形態においては、映像パケット及び音声パケットの品質影響情報がヌルパケットに格納されるため、ヌルパケットのデータ部に格納される情報量は多くなる。しかし、ヌルパケットに品質影響情報が格納される対象となるパケットは、ヌルパケットの直前及び直後に配置される映像パケット及び音声パケットであり、高々４パケットに過ぎない。したがって、これらの４パケットの品質影響情報をヌルパケットのデータ部に格納しても、データ部のサイズが不足することはない。
【０１１３】
また、すべての映像パケット及び音声パケットの品質影響情報が必ずしもヌルパケットに格納されるわけではないが、ヌルパケットは、多重化データ内に比較的多く配置されるため、大部分の映像パケット及び音声パケットの品質影響情報がいずれかのヌルパケットに格納されると考えられる。このため、パケットロスにより映像パケット又は音声パケットが損失した場合、損失した映像パケット又は音声パケットの品質影響情報が前後のヌルパケットに格納されている確率が高い。結果として、パケット捕捉装置２００においてヌルパケットから品質影響情報を取得することにより、損失したパケットに関する情報を直接取得することができ、パケットロスによる映像及び音声の再生品質の劣化の度合いを正確に推定することが可能となる。
【０１１４】
図２１は、本実施の形態に係るパケット配置の具体例を示す図である。図２１においては、映像パケットを「Ｖ」で示し、音声パケットを「Ａ」で示し、ヌルパケットを「Ｎ」で示している。また、＃１〜＃１２は、パケットの識別番号である。図２１に示すように、ヌルパケットＮ＃１、Ｎ＃５及びＮ＃１０は、規則的に配置されているわけではなく、パケットの伝送レートを一定に補正するために配置されている。このため、ヌルパケットＮ＃１には、映像パケットＶ＃３及び音声パケットＡ＃２の品質影響情報が格納される。また、ヌルパケットＮ＃５には、映像パケットＶ＃４、Ｖ＃６及び音声パケットＡ＃２、Ａ＃７の品質影響情報が格納される。同様に、ヌルパケットＮ＃１０には、映像パケットＶ＃９、Ｖ＃１１及び音声パケットＡ＃７、Ａ＃１２の品質影響情報が格納されている。すなわち、映像パケットＶ＃８以外のすべてのパケットの品質影響情報がいずれかのヌルパケットに格納されている。
【０１１５】
図２１に示した例において、パケットＶ＃６からパケットＶ＃９がパケットロスにより損失した場合、損失したパケットを挟んで前後に送信されるヌルパケットＮ＃５、Ｎ＃１０に格納された品質影響情報がパケット捕捉装置２００によって抽出される。このため、映像に関しては、映像パケットＶ＃６及び映像パケットＶ＃９の品質影響情報が示す映像にパケットロスによる再生品質の劣化が生じることが推定可能となる。また、音声に関しては、音声パケットＡ＃７の品質影響情報が示す音声にパケットロスによる再生品質の劣化が生じることが推定可能となる。換言すれば、ヌルパケットを境界とするパケット区間単位でパケットロスが発生したパケット区間の映像及び音声に関する品質影響情報を得ることができ、このパケット区間における映像及び音声の再生品質の劣化を正確に推定することが可能となる。
【０１１６】
以上のように、本実施の形態によれば、ヌルパケットの直前及び直後に配置される映像パケット及び音声パケットの品質影響情報をヌルパケットに格納し、ヌルパケット、映像パケット及び音声パケットを含む多重化データを送信する。また、多重化データの受信及び再生が行われる位置の近傍で多重化データを捕捉し、ネットワーク上でパケットロスが発生すると、損失したパケットの前後のヌルパケットから品質影響情報を取得する。このため、損失したパケットを含む部分に関する情報をヌルパケットから取得することができ、パケットロスによる再生品質の劣化度合いを正確に推定することができる。換言すれば、ユーザ端末において再生される映像及び音声の品質を正確に推定するために十分な情報を取得することができる。
【０１１７】
なお、上記各実施の形態においては、ヌルパケットの直前及び直後に配置される映像パケット又は音声パケットの品質影響情報をヌルパケットに格納するものとし、品質影響情報がヌルパケットに格納されない映像パケット又は音声パケットもあるものとした。しかし、２つのヌルパケットの間に配置されるすべての映像パケット又は音声パケットの品質影響情報を双方のヌルパケットに格納することも可能である。すなわち、例えば図２２に示すように、ヌルパケットＮ＃２とヌルパケットＮ＃７の間にあるすべての映像パケットＶ＃３、Ｖ＃５、Ｖ＃６の品質影響情報をヌルパケットＮ＃２、Ｎ＃７の双方に格納することも可能である。
【０１１８】
この場合、ヌルパケットＮ＃２には、直前及び直後の映像パケットＶ＃１、Ｖ＃３の品質影響情報に加えて、次のヌルパケットＮ＃７までの間に配置される映像パケットＶ＃５、Ｖ＃６の品質影響情報も格納される。同様に、ヌルパケットＮ＃７には、直前及び直後の映像パケットＶ＃６、Ｖ＃８の品質影響情報に加えて、前のヌルパケットＮ＃２までの間に配置される映像パケットＶ＃３、Ｖ＃５の品質影響情報も格納される。こうすることにより、例えばヌルパケットＮ＃２とヌルパケットＮ＃７の間のパケット区間でパケットロスが発生した場合、このパケット区間のすべての映像パケットに関する品質影響情報を取得することができる。図２２では、すべての映像パケットの品質影響情報をヌルパケットに格納するものとしたが、同様に、すべての音声パケットの品質影響情報をヌルパケットに格納することも可能である。
【０１１９】
このようにすることにより、いずれか２つのヌルパケット間の映像パケット又は音声パケットがパケットロスにより損失した場合、損失した映像パケット又は音声パケットの品質影響情報を必ずヌルパケットから抽出することができる。すなわち、いずれの映像パケット又は音声パケットが損失した場合でも、損失した映像パケット自体又は音声パケット自体の情報を直接的に取得することができる。
【０１２０】
また、上記各実施の形態においては、パケット捕捉装置２００において抽出された品質影響情報が品質評価装置１０へ送信され、品質評価装置１０において映像及び音声の再生品質が評価されるものとした。しかし、映像及び音声の再生品質の評価は、パケット捕捉装置２００において行われるようにしても良い。また、パケット捕捉装置２００において抽出された品質影響情報が、品質評価装置１０の代わりに映像音声送信装置１００へ送信されるようにし、映像音声送信装置１００が品質影響情報に基づいて映像及び音声の再生品質の評価を行っても良い。
【０１２１】
さらに、上記各実施の形態においては、品質影響情報をヌルパケットに格納するものとしたが、映像パケット又は音声パケットが暗号化されない場合は、映像パケット又は音声パケットの品質影響情報を周辺に配置される映像パケット又は音声パケットに格納しても良い。この場合でも、パケットロスにより損失した映像パケット又は音声パケットの品質影響情報を周辺に配置された映像パケット又は音声パケットから抽出することができ、再生品質の推定に必要な情報を取得することができる。
【０１２２】
以上の各実施の形態に関し、さらに以下の付記を開示する。
【０１２３】
（付記１）送信装置とデータ捕捉装置とを備える情報取得システムであって、
前記送信装置は、
映像又は音声のデータを含む第１のデータ単位を生成する第１の生成部と、
前記第１の生成部によって生成される第１のデータ単位の品質影響パラメータを含む第２のデータ単位を生成する第２の生成部と、
前記第１の生成部によって生成された第１のデータ単位及び前記第２の生成部によって生成された第２のデータ単位を送信する送信部とを有し、
前記データ捕捉装置は、
第１のデータ単位及び第２のデータ単位を含む伝送中のデータからデータ単位を捕捉する捕捉部と、
データ単位が伝送中に損失したか否かを判定する判定部と、
前記判定部によってデータ単位が損失したと判定された場合に、前記捕捉部によって捕捉されたデータ単位から、損失したデータ単位の前後に送信された第２のデータ単位を検出する検出部と、
前記検出部によって検出された第２のデータ単位から品質影響パラメータを抽出する抽出部とを有する
ことを特徴とする情報取得システム。
【０１２４】
（付記２）前記第２の生成部は、
映像及び音声のデータを含まない第２のデータ単位を生成することを特徴とする付記１記載の情報取得システム。
【０１２５】
（付記３）前記第２の生成部は、
第２のデータ単位に最も近いタイミングで送信される第１のデータ単位の品質影響パラメータを当該第２のデータ単位に格納することを特徴とする付記１記載の情報取得システム。
【０１２６】
（付記４）前記送信装置は、
第１のデータ単位及び第２のデータ単位を多重化する多重化部をさらに有し、
前記第２の生成部は、
前記多重化部によって第２のデータ単位の直前又は直後に配置されて多重化される第１のデータ単位の品質影響パラメータを当該第２のデータ単位に格納することを特徴とする付記１記載の情報取得システム。
【０１２７】
（付記５）前記多重化部は、
第１のデータ単位の伝送レートを所定の伝送レートに補正するために第２のデータ単位を配置して多重化することを特徴とする付記４記載の情報取得システム。
【０１２８】
（付記６）前記第２の生成部は、
ヘッダ部分にデータ単位の種別情報が格納され、データ部分に品質影響パラメータが格納された第２のデータ単位を生成することを特徴とする付記１記載の情報取得システム。
【０１２９】
（付記７）前記送信部は、
ヘッダ部分に通し番号が格納され、データ部分に所定数の第１のデータ単位及び第２のデータ単位が格納された伝送単位を生成し、生成された伝送単位を送信することを特徴とする付記１記載の情報取得システム。
【０１３０】
（付記８）前記第２の生成部は、
前記第１のデータ単位に含まれる映像データの再生時における重要度ならびに再生画面内での位置情報及び動き情報を品質影響パラメータとして第２のデータ単位に格納することを特徴とする付記１記載の情報取得システム。
【０１３１】
（付記９）前記第２の生成部は、
前記第１のデータ単位に含まれる音声データの音声レベルを品質影響パラメータとして第２のデータ単位に格納することを特徴とする付記１記載の情報取得システム。
【０１３２】
（付記１０）前記送信部は、
前記第１の生成部によって生成された第１のデータ単位に含まれる映像又は音声のデータを暗号化して送信することを特徴とする付記１記載の情報取得システム。
【０１３３】
（付記１１）前記検出部は、
前記捕捉部によって捕捉されたデータ単位から、損失したデータ単位の直前及び直後に送信された第２のデータ単位を検出することを特徴とする付記１記載の情報取得システム。
【０１３４】
（付記１２）前記捕捉部は、
データ単位の種別情報が格納されたヘッダ部分を備えるデータ単位を捕捉し、
前記検出部は、
前記捕捉部によって捕捉されたデータ単位のヘッダ部分を参照して第２のデータ単位を検出することを特徴とする付記１記載の情報取得システム。
【０１３５】
（付記１３）前記抽出部は、
前記検出部によって検出された第２のデータ単位の直前及び直後に送信された第１のデータ単位の品質影響パラメータを抽出することを特徴とする付記１記載の情報取得システム。
【０１３６】
（付記１４）前記抽出部は、
損失した第１のデータ単位に含まれる映像データの再生時における重要度ならびに再生画面内での位置情報及び動き情報を示す品質影響パラメータを第２のデータ単位から抽出することを特徴とする付記１記載の情報取得システム。
【０１３７】
（付記１５）前記抽出部は、
損失した第１のデータ単位に含まれる音声データの音声レベルを示す品質影響パラメータを第２のデータ単位から抽出することを特徴とする付記１記載の情報取得システム。
【０１３８】
（付記１６）前記判定部は、
前記捕捉部によって連続して捕捉されたデータ単位に付与された通し番号が不連続である場合に、データ単位が伝送中に損失したと判定することを特徴とする付記１記載の情報取得システム。
【０１３９】
（付記１７）映像又は音声のデータを含む第１のデータ単位を生成する第１の生成部と、
前記第１の生成部によって生成される第１のデータ単位の品質影響パラメータを含む第２のデータ単位を生成する第２の生成部と、
前記第１の生成部によって生成された第１のデータ単位及び前記第２の生成部によって生成された第２のデータ単位を送信する送信部と
を有することを特徴とする送信装置。
【０１４０】
（付記１８）映像又は音声のデータを含む第１のデータ単位と、第１のデータ単位の品質影響パラメータを含む第２のデータ単位とを含む伝送中のデータからデータ単位を捕捉する捕捉部と、
データ単位が伝送中に損失したか否かを判定する判定部と、
前記判定部によってデータ単位が損失したと判定された場合に、前記捕捉部によって捕捉されたデータ単位から、損失したデータ単位の前後に送信された第２のデータ単位を検出する検出部と、
前記検出部によって検出された第２のデータ単位から品質影響パラメータを抽出する抽出部と
を有することを特徴とするデータ捕捉装置。
【０１４１】
（付記１９）映像又は音声のデータを含む第１のデータ単位を生成する第１の生成ステップと、
前記第１の生成ステップにて生成される第１のデータ単位の品質影響パラメータを含む第２のデータ単位を生成する第２の生成ステップと、
前記第１の生成ステップにて生成された第１のデータ単位及び前記第２の生成ステップにて生成された第２のデータ単位を送信する送信ステップと
を有することを特徴とする送信方法。
【０１４２】
（付記２０）映像又は音声のデータを含む第１のデータ単位と、第１のデータ単位の品質影響パラメータを含む第２のデータ単位とを含む伝送中のデータからデータ単位を捕捉する捕捉ステップと、
データ単位が伝送中に損失したか否かを判定する判定ステップと、
前記判定ステップにおいてデータ単位が損失したと判定された場合に、前記捕捉ステップにて捕捉されたデータ単位から、損失したデータ単位の前後に送信された第２のデータ単位を検出する検出ステップと、
前記検出ステップにて検出された第２のデータ単位から品質影響パラメータを抽出する抽出ステップと
を有することを特徴とするデータ捕捉方法。
【符号の説明】
【０１４３】
１０１ 映像符号化部
１０２、１０７ 制御情報付加部
１０３、１０８ パケット化部
１０４、３０１、４０１ 品質影響情報取得部
１０５、３０２、４０２ ヌルパケット生成部
１０６ 音声符号化部
１０９ レート調整部
１１０ 多重化部
１１１ 暗号化部
１１２ 送信部
２０１ 上位パケット取得部
２０２ パケットロス検出部
２０３ ヌルパケット検出部
２０４ ヌルパケット蓄積部
２０５ 品質影響情報抽出部
２０６ 品質影響情報送信部
【特許請求の範囲】
【請求項１】
送信装置とデータ捕捉装置とを備える情報取得システムであって、
前記送信装置は、
映像又は音声のデータを含む第１のデータ単位を生成する第１の生成部と、
前記第１の生成部によって生成される第１のデータ単位の品質影響パラメータを含む第２のデータ単位を生成する第２の生成部と、
前記第１の生成部によって生成された第１のデータ単位及び前記第２の生成部によって生成された第２のデータ単位を送信する送信部とを有し、
前記データ捕捉装置は、
第１のデータ単位及び第２のデータ単位を含む伝送中のデータからデータ単位を捕捉する捕捉部と、
データ単位が伝送中に損失したか否かを判定する判定部と、
前記判定部によってデータ単位が損失したと判定された場合に、前記捕捉部によって捕捉されたデータ単位から、損失したデータ単位の前後に送信された第２のデータ単位を検出する検出部と、
前記検出部によって検出された第２のデータ単位から品質影響パラメータを抽出する抽出部とを有する
ことを特徴とする情報取得システム。
【請求項２】
前記第２の生成部は、
映像及び音声のデータを含まない第２のデータ単位を生成することを特徴とする請求項１記載の情報取得システム。
【請求項３】
前記送信装置は、
第１のデータ単位及び第２のデータ単位を多重化する多重化部をさらに有し、
前記第２の生成部は、
前記多重化部によって第２のデータ単位の直前又は直後に配置されて多重化される第１のデータ単位の品質影響パラメータを当該第２のデータ単位に格納することを特徴とする請求項１記載の情報取得システム。
【請求項４】
前記多重化部は、
第１のデータ単位の伝送レートを所定の伝送レートに補正するために第２のデータ単位を配置して多重化することを特徴とする請求項３記載の情報取得システム。
【請求項５】
前記抽出部は、
前記検出部によって検出された第２のデータ単位の直前及び直後に送信された第１のデータ単位の品質影響パラメータを抽出することを特徴とする請求項１記載の情報取得システム。
【請求項６】
映像又は音声のデータを含む第１のデータ単位を生成する第１の生成部と、
前記第１の生成部によって生成される第１のデータ単位の品質影響パラメータを含む第２のデータ単位を生成する第２の生成部と、
前記第１の生成部によって生成された第１のデータ単位及び前記第２の生成部によって生成された第２のデータ単位を送信する送信部と
を有することを特徴とする送信装置。
【請求項７】
映像又は音声のデータを含む第１のデータ単位と、第１のデータ単位の品質影響パラメータを含む第２のデータ単位とを含む伝送中のデータからデータ単位を捕捉する捕捉部と、
データ単位が伝送中に損失したか否かを判定する判定部と、
前記判定部によってデータ単位が損失したと判定された場合に、前記捕捉部によって捕捉されたデータ単位から、損失したデータ単位の前後に送信された第２のデータ単位を検出する検出部と、
前記検出部によって検出された第２のデータ単位から品質影響パラメータを抽出する抽出部と
を有することを特徴とするデータ捕捉装置。
【請求項８】
映像又は音声のデータを含む第１のデータ単位を生成する第１の生成ステップと、
前記第１の生成ステップにて生成される第１のデータ単位の品質影響パラメータを含む第２のデータ単位を生成する第２の生成ステップと、
前記第１の生成ステップにて生成された第１のデータ単位及び前記第２の生成ステップにて生成された第２のデータ単位を送信する送信ステップと
を有することを特徴とする送信方法。
【請求項９】
映像又は音声のデータを含む第１のデータ単位と、第１のデータ単位の品質影響パラメータを含む第２のデータ単位とを含む伝送中のデータからデータ単位を捕捉する捕捉ステップと、
データ単位が伝送中に損失したか否かを判定する判定ステップと、
前記判定ステップにおいてデータ単位が損失したと判定された場合に、前記捕捉ステップにて捕捉されたデータ単位から、損失したデータ単位の前後に送信された第２のデータ単位を検出する検出ステップと、
前記検出ステップにて検出された第２のデータ単位から品質影響パラメータを抽出する抽出ステップと
を有することを特徴とするデータ捕捉方法。
【請求項１】
送信装置とデータ捕捉装置とを備える情報取得システムであって、
前記送信装置は、
映像又は音声のデータを含む第１のデータ単位を生成する第１の生成部と、
前記第１の生成部によって生成される第１のデータ単位の品質影響パラメータを含む第２のデータ単位を生成する第２の生成部と、
前記第１の生成部によって生成された第１のデータ単位及び前記第２の生成部によって生成された第２のデータ単位を送信する送信部とを有し、
前記データ捕捉装置は、
第１のデータ単位及び第２のデータ単位を含む伝送中のデータからデータ単位を捕捉する捕捉部と、
データ単位が伝送中に損失したか否かを判定する判定部と、
前記判定部によってデータ単位が損失したと判定された場合に、前記捕捉部によって捕捉されたデータ単位から、損失したデータ単位の前後に送信された第２のデータ単位を検出する検出部と、
前記検出部によって検出された第２のデータ単位から品質影響パラメータを抽出する抽出部とを有する
ことを特徴とする情報取得システム。
【請求項２】
前記第２の生成部は、
映像及び音声のデータを含まない第２のデータ単位を生成することを特徴とする請求項１記載の情報取得システム。
【請求項３】
前記送信装置は、
第１のデータ単位及び第２のデータ単位を多重化する多重化部をさらに有し、
前記第２の生成部は、
前記多重化部によって第２のデータ単位の直前又は直後に配置されて多重化される第１のデータ単位の品質影響パラメータを当該第２のデータ単位に格納することを特徴とする請求項１記載の情報取得システム。
【請求項４】
前記多重化部は、
第１のデータ単位の伝送レートを所定の伝送レートに補正するために第２のデータ単位を配置して多重化することを特徴とする請求項３記載の情報取得システム。
【請求項５】
前記抽出部は、
前記検出部によって検出された第２のデータ単位の直前及び直後に送信された第１のデータ単位の品質影響パラメータを抽出することを特徴とする請求項１記載の情報取得システム。
【請求項６】
映像又は音声のデータを含む第１のデータ単位を生成する第１の生成部と、
前記第１の生成部によって生成される第１のデータ単位の品質影響パラメータを含む第２のデータ単位を生成する第２の生成部と、
前記第１の生成部によって生成された第１のデータ単位及び前記第２の生成部によって生成された第２のデータ単位を送信する送信部と
を有することを特徴とする送信装置。
【請求項７】
映像又は音声のデータを含む第１のデータ単位と、第１のデータ単位の品質影響パラメータを含む第２のデータ単位とを含む伝送中のデータからデータ単位を捕捉する捕捉部と、
データ単位が伝送中に損失したか否かを判定する判定部と、
前記判定部によってデータ単位が損失したと判定された場合に、前記捕捉部によって捕捉されたデータ単位から、損失したデータ単位の前後に送信された第２のデータ単位を検出する検出部と、
前記検出部によって検出された第２のデータ単位から品質影響パラメータを抽出する抽出部と
を有することを特徴とするデータ捕捉装置。
【請求項８】
映像又は音声のデータを含む第１のデータ単位を生成する第１の生成ステップと、
前記第１の生成ステップにて生成される第１のデータ単位の品質影響パラメータを含む第２のデータ単位を生成する第２の生成ステップと、
前記第１の生成ステップにて生成された第１のデータ単位及び前記第２の生成ステップにて生成された第２のデータ単位を送信する送信ステップと
を有することを特徴とする送信方法。
【請求項９】
映像又は音声のデータを含む第１のデータ単位と、第１のデータ単位の品質影響パラメータを含む第２のデータ単位とを含む伝送中のデータからデータ単位を捕捉する捕捉ステップと、
データ単位が伝送中に損失したか否かを判定する判定ステップと、
前記判定ステップにおいてデータ単位が損失したと判定された場合に、前記捕捉ステップにて捕捉されたデータ単位から、損失したデータ単位の前後に送信された第２のデータ単位を検出する検出ステップと、
前記検出ステップにて検出された第２のデータ単位から品質影響パラメータを抽出する抽出ステップと
を有することを特徴とするデータ捕捉方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２０１０−２２６２５８（Ｐ２０１０−２２６２５８Ａ）
【公開日】平成２２年１０月７日（２０１０．１０．７）
【国際特許分類】
【出願番号】特願２００９−６９１０６（Ｐ２００９−６９１０６）
【出願日】平成２１年３月１９日（２００９．３．１９）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２２年１０月７日（２０１０．１０．７）
【国際特許分類】
【出願日】平成２１年３月１９日（２００９．３．１９）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]