伝送ビットレートに基づいて映像フレームレートを制御させる受信装置、システム、プログラム及び方法
【課題】映像コンテンツのストリーミングの伝送品質に応じて、できる限り主観的に高画質なストリーミング伝送を実現する受信装置等を提供する。
【解決手段】受信装置は、映像コンテンツのストリーミングにおける伝送品質を計測する伝送品質計測手段と、影響確率テーブルを用いて、現伝送品質と前伝送品質との差に応じた影響確率を導出する影響確率導出手段と、現ビットレートに対して影響確率を乗算した推定伝送ビットレートを算出する推定伝送ビットレート算出手段と、レート対応テーブルを用いて、推定伝送ビットレートに対応する映像フレームレートを導出するフレームレート導出手段と、送信装置へ、映像フレームレートの関連情報をフィードバックする映像フィードバック手段とを有する。送信装置は、受信装置へ送信すべき映像コンテンツのフレームレートを、受信装置から受信した映像フレームレートに変更する。
【解決手段】受信装置は、映像コンテンツのストリーミングにおける伝送品質を計測する伝送品質計測手段と、影響確率テーブルを用いて、現伝送品質と前伝送品質との差に応じた影響確率を導出する影響確率導出手段と、現ビットレートに対して影響確率を乗算した推定伝送ビットレートを算出する推定伝送ビットレート算出手段と、レート対応テーブルを用いて、推定伝送ビットレートに対応する映像フレームレートを導出するフレームレート導出手段と、送信装置へ、映像フレームレートの関連情報をフィードバックする映像フィードバック手段とを有する。送信装置は、受信装置へ送信すべき映像コンテンツのフレームレートを、受信装置から受信した映像フレームレートに変更する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像コンテンツの伝送における映像フレームレートを制御する技術に関する。
【背景技術】
【０００２】
従来、映像音声データのリアルタイム伝送システムについて、伝送路帯域を逐次計測し、その伝送路帯域に応じて映像音声データのビットレートを変更する技術がある（例えば特許文献１参照）。この技術によれば、具体的には、受信装置の受信バッファに蓄積された映像フレームのデータ量が、所定閾値に達するまでの時間間隔を、観測する。この時間間隔に基づいて、帯域（伝送レート）が推定される。データ量が所定閾値に達するまでの時間間隔が短い場合、伝送レートが高いと判定され、一方で、時間間隔が長い場合、伝送レートが低いと判定される。
【０００３】
また、映像データのストリームを受信することによって、非信頼性伝送路における映像品質を向上させる技術もある（例えば特許文献２参照）。この技術によれば、パケット単位で優先度が設定されている。具体的には、パケットロスが発生した場合、より優先度が高いパケット（映像復号の観点から重要なパケット）を再送信することによって、映像品質の劣化を回避する。映像フレームのＩフレームを構成するパケットに、最高優先度を設定し、Ｉフレームに続く最初のＰフレームを構成するパケットに、次に高い優先度を設定する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１５９６３６号公報
【特許文献２】特開２００１−２７４８６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
前述した特許文献１に記載された技術によれば、有線伝送路（イーサネット（登録商標））における伝送品質の劣化に対しては、映像・音声の符号化ビットレートのみを変更することによって対応していた。しかしながら、パケットロスが多発する無線伝送路における伝送品質の劣化に対しては、符号化ビットレートのみの変更では対応できない。特に、符号化ビットレートの変更による主観的な映像品質（画質）の劣化が著しい。主観品質を要する映像コンテンツについては、符号化ビットレートだけでなく、フレームレートを制御することが好ましい。
【０００６】
特許文献２に記載された技術によれば、パケットロスが発生した場合、優先度の高いパケットを再送信することによって映像品質の劣化を回避する。しかしながら、ストリーミング伝送の場合、再送信されたパケットが受信装置に到着する頃には、再生時刻を過ぎてしまっている場合が多く、期待する効果が達成できないものと考えられる。
【０００７】
そこで、本発明は、映像コンテンツのストリーミングの伝送品質に応じて、できる限り主観的に高画質なストリーミング伝送を実現する受信装置、システム、プログラム及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明によれば、送信装置から、映像コンテンツを、ネットワークを介してストリーミングで受信する受信装置において、
伝送ビットレートに対する映像フレームレートを対応付けたレート対応テーブルと、
現伝送品質と前伝送品質との差に応じた、現伝送ビットレートに対する影響確率を対応付けた影響確率テーブルと、
送信装置から映像コンテンツをストリーミングで受信する際に、伝送品質を計測する伝送品質計測手段と、
影響確率テーブルを用いて、現伝送品質と前伝送品質との差に応じた影響確率を導出する影響確率導出手段と、
現ビットレートに対して影響確率を乗算した推定伝送ビットレートを算出する推定伝送ビットレート算出手段と、
レート対応テーブルを用いて、推定伝送ビットレートに対応する映像フレームレートを導出するフレームレート導出手段と、
送信装置へ、映像フレームレートの関連情報をフィードバックする映像フィードバック手段と
を有し、
送信装置が、受信装置へ送信すべき映像コンテンツのフレームレートを、受信装置から受信した映像フレームレートに変更するように機能させることを特徴とする。
【０００９】
本発明の受信装置における他の実施形態によれば、
映像コンテンツを構成するＩ，Ｐ，Ｂフレーム種別に応じて、伝送品質に対するフレーム種別重み係数を対応付けたフレーム種別重み係数テーブルと、
フレーム種別重み係数テーブルを参照し、映像コンテンツの受信によって計測した伝送品質に、当該映像コンテンツを構成するフレーム種別に応じたフレーム種別重み係数を重み付けるフレーム種別重み付け手段と
を更に有することも好ましい。
【００１０】
本発明の受信装置における他の実施形態によれば、
受信装置は、映像コンテンツのフレーム内位置に応じて、伝送品質に対するフレーム内位置重み係数を対応付けたフレーム内位置重み係数テーブルと、
フレーム内位置重み係数テーブルを参照し、映像コンテンツの受信によって計測した伝送品質に、当該映像コンテンツのフレーム内位置に応じたフレーム内位置重み係数を重み付けるフレーム内位置重み付け手段と
を更に有することも好ましい。
【００１１】
本発明の受信装置における他の実施形態によれば、
伝送品質計測手段は、伝送品質を、ＧＯＰ(Group Of Picture)単位で計測し、
現伝送品質と前伝送品質との差は、隣接するＧＯＰ毎に算出される
ことも好ましい。
【００１２】
本発明の受信装置における他の実施形態によれば、
レート対応テーブルは、主観的な映像品質に基づくＭＯＳ(Means Opinion Score)によって決定されたものであることも好ましい。
【００１３】
本発明の受信装置における他の実施形態によれば、
映像フィードバック手段は、映像フレームレートの関連情報として、
・映像フレームレート自体、又は
・現映像フレームレートからの単位レート分の上げフラグ／下げフラグ
を送信装置へフィードバックすることも好ましい。
【００１４】
本発明によれば、送信装置が、受信装置へ、映像コンテンツを、ネットワークを介してストリーミングで伝送するシステムにおいて、
受信装置は、
現伝送品質と前伝送品質との差に応じた、現伝送ビットレートに対する影響確率を対応付けた影響確率テーブルと、
送信装置から映像コンテンツをストリーミングで受信する際に、伝送品質を計測する伝送品質計測手段と、
影響確率テーブルを用いて、現伝送品質と前伝送品質との差に応じた影響確率を導出する影響確率導出手段と、
現ビットレートに対して影響確率を乗算した推定伝送ビットレートを算出する推定伝送ビットレート算出手段と、
送信装置へ、推定伝送ビットレートをフィードバックする推定伝送ビットレートフィードバック手段と
を有し、
送信装置は、
推定伝送ビットレートを、受信装置から受信する推定伝送ビットレート受信手段と、
伝送ビットレートに対する映像フレームレートを対応付けたレート対応テーブルと、
レート対応テーブルを用いて、受信装置から受信した推定伝送ビットレートに対応する映像フレームレートを導出するフレームレート導出手段と、
受信装置へ送信すべき映像コンテンツのフレームレートを、映像フレームレートに変更するフレームレート変更手段と
を有することを特徴とする。
【００１５】
本発明によれば、映像コンテンツを、ネットワークを介してストリーミングで伝送するシステムにおける映像フレームレート制御方法において、
受信装置は、
伝送ビットレートに対する映像フレームレートを対応付けたレート対応テーブルと、
現伝送品質と前伝送品質との差に応じた、現伝送ビットレートに対する影響確率を対応付けた影響確率テーブルと
を有し、
受信装置が、送信装置から映像コンテンツをストリーミングで受信する際に、伝送品質を計測する第１のステップと、
受信装置が、影響確率テーブルを用いて、現伝送品質と前伝送品質との差に応じた影響確率を導出する第２のステップと、
受信装置が、現ビットレートに対して影響確率を乗算した推定伝送ビットレートを算出する第３のステップと、
受信装置が、レート対応テーブルを用いて、推定伝送ビットレートに対応する映像フレームレートを導出する第４のステップと、
受信装置が、送信装置へ、映像フレームレートの関連情報をフィードバックする第５のステップと、
送信装置が、受信装置へ送信すべき映像コンテンツのフレームレートを、受信装置から受信した関連情報に基づく映像フレームレートに変更する第６のステップと
を有することを特徴とする。
【００１６】
本発明によれば、送信装置から、映像コンテンツを、ネットワークを介してストリーミングで受信する受信装置に搭載されたコンピュータを機能させるプログラムにおいて、
伝送ビットレートに対する映像フレームレートを対応付けたレート対応テーブルと、
現伝送品質と前伝送品質との差に応じた、現伝送ビットレートに対する影響確率を対応付けた影響確率テーブルと、
送信装置から映像コンテンツをストリーミングで受信する際に、伝送品質を計測する伝送品質計測手段と、
影響確率テーブルを用いて、現伝送品質と前伝送品質との差に応じた影響確率を導出する影響確率導出手段と、
現ビットレートに対して影響確率を乗算した推定伝送ビットレートを算出する推定伝送ビットレート算出手段と、
レート対応テーブルを用いて、推定伝送ビットレートに対応する映像フレームレートを導出するフレームレート導出手段と、
送信装置へ、映像フレームレートの関連情報をフィードバックする映像フィードバック手段と
してコンピュータを機能させ、
送信装置が、受信装置へ送信すべき映像コンテンツのフレームレートを、受信装置から受信した映像フレームレートに変更するように機能させることを特徴とする。
【発明の効果】
【００１７】
本発明の受信装置、システム、プログラム及び方法によれば、映像コンテンツのストリーミングの伝送品質から伝送ビットレートを算出し、その伝送ビットレートに基づいて映像フレームレートを制御することによって、できる限り主観的に高画質なストリーミング伝送を実現する。
【図面の簡単な説明】
【００１８】
【図１】本発明におけるシステム構成図である。
【図２】本発明における送信装置−受信装置間のシーケンス図である。
【図３】映像コンテンツのストリーミングデータの構成図である。
【図４】本発明におけるフレーム種別重み係数テーブルを表す説明図である。
【図５】本発明におけるフレーム内位置重み係数テーブルを表す説明図である。
【図６】本発明における影響確率テーブルを表す説明図である。
【図７】本発明におけるＨＤ解像度のレート対応テーブルの説明図である。
【図８】本発明における受信装置のフレームレート制御部の機能構成図である。
【図９】本発明における受信装置の機能構成図である。
【図１０】本発明における送信装置の機能構成図である。
【発明を実施するための形態】
【００１９】
以下では、本発明の実施の形態について、図面を用いて詳細に説明する。
【００２０】
図１は、本発明におけるシステム構成図である。
【００２１】
図１のシステムによれば、携帯電話機やスマートフォンのような携帯端末２（送信装置）が、映像コンテンツを、ネットワークを介して映像受信サーバ１（受信装置）へ、ストリーミングで伝送している。近年、携帯端末のようなポータブル型機器でも、ＨＤ(High-Definition)クラスの映像を撮影することが可能となってきている。このような携帯端末は、撮影した映像コンテンツをリアルタイムに、映像受信サーバ１へストリーミングで伝送することができる。映像受信サーバとしては、例えばYouTube（登録商標）のような動画共有サイトであってもよい。以下では、送信装置が携帯端末であって、受信装置が映像受信サーバであるとして説明する。勿論、逆に、送信装置が映像受信サーバであって、受信装置が携帯端末であってもよい。
【００２２】
ネットワークは、イーサネット（登録商標）のような有線ネットワークであってもよいし、携帯電話通信網、ＷｉＭＡＸ(Worldwide Interoperability for Microwave Access)（登録商標）や無線ＬＡＮのような無線ネットワークであってもよい。特に、携帯端末の場合、ネットワークに無線区間を含むために、映像コンテンツの伝送品質も変化しやすい。本発明によれば、映像コンテンツの伝送品質が変化した場合であっても、受信装置が、送信装置へ、最適な映像フレームレートをフィードバックする。送信装置が、その映像フレームレートに変更した映像コンテンツを伝送することによって、できる限り主観的に高画質なストリーミング伝送を実現する。
【００２３】
尚、送信装置から送信される映像コンテンツは、ＲＴＰ(Real-time Transport Protocol)によって、ストリーミングで伝送される。また、受信装置からフィードバックされる映像フレームレートの関連情報は、ＲＴＣＰ(RTP Control Protocol)によって伝送される。ＲＴＰは、データストリームをリアルタイムに配送するためのデータ転送プロトコルである。ＲＴＣＰは、ＲＴＰと組み合わせて使う、データのフロー（送受信）制御用のセッションを制御するプロトコルである。
【００２４】
図２は、本発明における送信装置−受信装置間のシーケンス図である。
【００２５】
（Ｓ１１０）携帯端末（送信装置）２は、映像受信サーバ（受信装置）１へ、映像コンテンツをストリーミングで送信する。ここで、映像コンテンツは、無線環境に応じたデフォルトビットレートに基づくトレーニングデータであってもよい。トレーニングデータは、ＧＯＰ(Group Of Pictures)単位で、例えば５０ＧＯＰ程度のものである。携帯端末２は、ネットワークの無線環境に応じて、以下のように異なるビットレートのトレーニングデータを送信することも好ましい。
携帯電話網（３Ｇ） ：３００ｋｂｐｓ
ＷｉＭＡＸ網 ：１Ｍｂｐｓ
無線ＬＡＮ（ＷｉＦｉ）：４Ｍｂｐｓ
イーサネット（有線） ：９Ｍｂｐｓ
【００２６】
（Ｓ１１１）映像受信サーバ１は、携帯端末２から映像コンテンツをストリーミングで受信する際に、伝送品質を計測する。「伝送品質」としては、例えば遅延、ジッタ、パケットロス率であって、例えばＧＯＰ単位で計測される。勿論、トレーニングデータとしての映像コンテンツによって伝送品質を計測することが好ましいが、通常の映像コンテンツであってもよい。
【００２７】
図３は、映像コンテンツのストリーミングデータの構成図である。
【００２８】
図３のストリーミングデータによれば、１秒間あたり複数のフレームによって構成され、フレームレート[frame per second]として表される。図３によれば、３０ｆｐｓで構成されている。また、複数のフレームからＧＯＰ単位が構成される。ＧＯＰとは、ＭＰＥＧ方式について、圧縮及び再生・編集の単位となる映像信号の数フレームずつの組み合わせをいう。ＧＯＰは、１つのＩ(Intra)ピクチャフレームと、複数のＰ(Predictive)ピクチャフレーム及びＢ(Bidirectionally)ピクチャフレームとから構成される。そして、本発明によれば、ＧＯＰ単位で「伝送品質」（遅延、パケットロス、ジッタ）を計測する。また、１つのフレームは、複数のＲＴＰパケットから構成される。
【００２９】
（Ｓ１１２）映像受信サーバ１は、オプション的に、映像コンテンツを構成するＩ，Ｐ，Ｂフレーム種別に応じて、伝送品質に対するフレーム種別重み係数を対応付けた「フレーム種別重み係数テーブル」を有することも好ましい。
【００３０】
図４は、本発明におけるフレーム種別重み係数テーブルを表す説明図である。
【００３１】
これは、優先度の高いＩフレームにおける伝送品質を重要視する。図４によれば、Ｉフレームを構成するパケットの伝送品質（遅延、パケットロス、ジッタ）は、Ｐフレーム及びＢフレームを構成するパケットの伝送品質よりも、２倍考慮されることを意味する。
【００３２】
そして、映像受信サーバ（受信装置）１は、フレーム種別重み係数テーブルを用いて、発生した伝送品質に重み付ける。
例えばＩフレームで、遅延１０ｍｓが発生した場合、１０ｍｓ×２＝２０ｍｓの遅延が発生したとする。
例えばＩフレームで、ジッタ値１０ｍｓが発生した場合、１０ｍｓ×２＝２０ｍｓのジッタ値が発生したとする。
例えばＩフレームで、１個のパケットがロスした場合、２個のパケットがロスしたとする。
【００３３】
（Ｓ１１３）また、映像受信サーバ（受信装置）１は、オプション的に、映像コンテンツのフレーム内位置に応じて、伝送品質に対するフレーム内位置重み係数を対応付けた「フレーム内位置重み係数テーブル」を有することも好ましい。
【００３４】
図５は、本発明におけるフレーム内位置重み係数テーブルを表す説明図である。
【００３５】
これは、優先度が高いフレーム内位置を構成するパケットにおける伝送品質を重要視する。即ち、フレーム内の画面中央位置に対応するパケットの伝送品質を重要視する。図５によれば、フレーム内の画面中央位置に対応するパケットの伝送品質は、フレーム内の画面外枠位置に対応するパケットの伝送品質よりも、２倍考慮されることを意味する。
【００３６】
そして、映像受信サーバ（受信装置）１は、フレーム内位置重み係数テーブルを用いて、発生した伝送品質に重み付ける。
例えば画面中央位置に対応するパケットで、遅延１０ｍｓが発生した場合、１０ｍｓ×２＝２０ｍｓの遅延が発生したとする。
例えば画面中央位置に対応するパケットで、ジッタ値１０ｍｓが発生した場合、１０ｍｓ×２＝２０ｍｓのジッタ値が発生したとする。
例えば画面中央位置に対応するパケットで、１個のパケットがロスした場合、２個のパケットがロスしたとする。
【００３７】
このように、図４及び図５の両方を考慮した場合、例えばＩフレームであって且つ画面中央位置を構成するパケットの伝送品質は、Ｐ又はＢフレームであって且つ画面外枠位置を構成するパケットの伝送品質よりも、４倍考慮されることとなる。
【００３８】
尚、本発明の実施形態として、映像ストリーミングデータのＲＴＰパケット毎に、その拡張ヘッダに、フレーム種別（Ｉ，Ｐ，Ｂ）と、フレームの最初／最後とを表すフラグを含めることも好ましい。これによって、ＲＴＰパケットのみで、フレーム種別及びフレー内位置を特定することができる。
【００３９】
（Ｓ１１４）映像受信サーバ（受信装置）１は、現伝送品質と前伝送品質との差に応じた、現伝送ビットレートに対する影響確率を対応付けた「影響確率テーブル」を有する。
【００４０】
図６は、本発明における影響確率テーブルを表す説明図である。
【００４１】
図６によれば、伝送品質毎に、影響確率テーブルが設定されている。映像受信サーバ１は、影響確率テーブルを用いて、現伝送品質と前伝送品質との差に応じた影響確率α、β、γを導出する。
［１］遅延に基づく影響確率αは、現在の遅延量Ｄcと、前回の遅延量Ｄpとの差に応じて決定される。
［２］ジッタに基づく影響確率βは、現在のジッタＪcと、前回のジッタＪpとの差に応じて決定される。
［３］パケットロス率に基づく影響確率γは、現在のパケットロス率Ｌcと、前回のパケットロス率Ｌpとの差に応じて決定される。
【００４２】
（Ｓ１１５）映像受信サーバ１は、現ビットレートに対して影響確率を乗算した推定伝送ビットレートを算出する。
ＢＲn＝ＢＲc×α×β×γ
ＢＲn：推定伝送ビットレート
ＢＲc：現伝送ビットレート
α：遅延に基づく影響確率
β：ジッタに基づく影響確率
γ：パケットロス率に基づく影響確率
【００４３】
（Ｓ１１６）映像受信サーバ１は、伝送ビットレートに対する映像フレームレートを対応付けた「レート対応テーブル」を更に有する。
【００４４】
図７は、本発明におけるＨＤ解像度のレート対応テーブルの説明図である。
【００４５】
図７のレート対応テーブルは、伝送ビットレートに対する映像フレームレートが予め設定されている。これは、主観的な映像品質に基づくＭＯＳ(Means Opinion Score)によって決定されたものであることが好ましい。これによって、主観的な映像品質を、伝送ビットレートに応じて、できる限り向上させることができる。尚、伝送ビットレートと映像フレームレートとの対応関係は、最適にカスタマイズされることが好ましい。また、レート対応テーブルは、送信する映像の解像度に応じて個々に用意されるものであってもよい。
【００４６】
（Ｓ１１７）映像受信サーバ１は、レート対応テーブルを用いて、推定伝送ビットレートに対応する映像フレームレートを導出する。
【００４７】
（Ｓ１１８）映像受信サーバ１は、携帯端末２へ、映像フレームレートの関連情報をフィードバックする。ここで、映像フレームレートの関連情報として、以下の２つがある。
・映像フレームレート自体
・現映像フレームレートからの単位レート分の上げフラグ／下げフラグ
（データ量を最小化することによって、制御信号であるフィードバック情報の
増加による伝送帯域の圧迫を回避する）
【００４８】
これによって、携帯端末２は、映像受信サーバ１へ送信すべき映像コンテンツのフレームレートを変更することができる。
【００４９】
尚、図２の点線囲み部分によれば、推定伝送ビットレートを算出した（Ｓ１１５）後、その推定伝送ビットレートを、送信装置２へフィードバックするものであってもよい。この場合、フレームレートの導出（Ｓ１１８）は、送信装置２によって実行される。
【００５０】
図８は、本発明におけるフレームレート制御部を含む映像受信サーバの機能構成図である。
【００５１】
図８の映像受信サーバ１によれば、通信インタフェース１０１と、ＩＰインタフェース１０２と、ＲＴＰインタフェース１０３と、ＲＴＣＰインタフェース１０４と、フレームレート制御部１１とを有する。通信インタフェース１０１を除くこれら機能構成部は、サーバに搭載されたコンピュータを機能させることによって実現される。
【００５２】
フレームレート制御部１１は、伝送品質計測部１１１と、フレーム種別重み付け部１１２と、フレーム種別重み係数テーブル１１２ｔと、フレーム内位置重み付け部１１３と、フレーム内位置重み係数テーブル１１３ｔと、影響確率導出部１１４と、影響確率テーブル１１４ｔと、推定伝送ビットレート算出部１１５と、フレームレート導出部１１６と、レート対応テーブル１１６ｔと、フィードバック部１１７とを有する。
【００５３】
伝送品質計測部１１１は、送信装置から映像コンテンツをストリーミングで受信する際に、伝送品質を計測する（図２のＳ１１１と同様）。計測されて伝送品質は、フレーム種別重み付け部１１２へ出力される。
【００５４】
フレーム種別重み係数テーブル１１２ｔは、映像コンテンツを構成するＩ，Ｐ，Ｂフレーム種別に対応付けた、伝送品質に対するフレーム種別重み係数を記憶する。
【００５５】
フレーム種別重み付け部１１２は、フレーム種別重み係数テーブル１１２ｔを参照し、映像コンテンツの受信によって計測した伝送品質に、当該映像コンテンツを構成するフレーム種別に応じたフレーム種別重み係数を重み付ける（図２のＳ１１２と同様）。
【００５６】
フレーム内位置重み係数テーブル１１３ｔは、映像コンテンツのフレーム内位置に対応付けて、伝送品質に対するフレーム内位置重み係数を記憶する。
【００５７】
フレーム内位置重み付け部１１３は、フレーム内位置重み係数テーブル１１３ｔを参照し、映像コンテンツの受信によって計測した伝送品質に、当該映像コンテンツのフレーム内位置に応じたフレーム内位置重み係数を重み付ける（図２のＳ１１３と同様）。
【００５８】
影響確率テーブル１１４ｔは、現伝送品質と前伝送品質との差に対応付けて、現伝送ビットレートに対する影響確率を記憶する。
【００５９】
影響確率導出部１１４は、影響確率テーブルを用いて、現伝送品質と前伝送品質との差に応じた影響確率を導出する（図２のＳ１１４と同様）。
【００６０】
推定伝送ビットレート算出部１１５は、現ビットレートに対して影響確率を乗算した推定伝送ビットレートを算出する（図２のＳ１１５と同様）。
【００６１】
レート対応テーブル１１６ｔは、伝送ビットレートに対する映像フレームレートを記憶する。
【００６２】
フレームレート導出部１１６は、レート対応テーブルを用いて、推定伝送ビットレートに対応する映像フレームレートを導出する（図２のＳ１１６と同様）。
【００６３】
フィードバック部１１７は、送信装置へ、映像フレームレートの関連情報をフィードバックする（図２のＳ１１７と同様）。これによって、送信装置は、受信装置へ送信すべき映像コンテンツのフレームレートを、受信装置から受信した映像フレームレートに変更する。
【００６４】
図９は、本発明における受信装置の機能構成図である。
【００６５】
図８の受信装置１によれば、フレーム種別及びフレーム内位置を、フレームレート制御部１１の外部から情報によって判別する。
Ｉ，Ｐ，Ｂのフレーム種別は、受信装置内の可変長復号部によって検出される。そのフレーム種別は、フレームレート制御部１１へ入力される。
逆量子化部によってマクロブロックＭＢ(Macro Brock)配置情報が抽出され、そのＭＢ配置情報は、フレームレート制御部１１へ入力される。フレームレート制御部１１は、そのＭＢ配置情報から、Ｉフレームのフレーム内位置を判別することができる。
画面内予測部よってＭＢ配置情報が抽出され、そのＭＢ配置情報は、フレームレート制御部１１へ入力される。フレームレート制御部１１は、そのＭＢ配置情報から、Ｐ，Ｂフレームのフレーム内位置を判別することができる。
ＲＴＰパケットにフレームの最初フラグ／最後フラグが含まれている場合、フレーム内位置判定部によってフレーム内位置が抽出される。そのフレーム内位置情報は、フレームレート制御部１１へ入力される。
【００６６】
図１０は、本発明における送信装置の機能構成図である。
【００６７】
図１０の送信装置によれば、既存の映像送信装置と比較して、フィードバック受信部２１と、フレームレート変更部２２とを有する。フィードバック受信部２１は、受信装置１からＲＴＣＰによってフィードバック情報としてのフレームレートを受信し、そのフレームレートを、フレームレート変更部２２へ出力する。フレームレート変更部２２は、送信すべき映像コンテンツのフレームレートを、受信装置１から受信したフレームレートに変更する。
【００６８】
また、図１０の送信装置によれば、フィードバック受信部２１が、受信装置１からフレームレートではなく、推定伝送ビットレートを受信する場合もある。この場合、フィードバック受信部２１は、レート対応テーブル２１６ｔと、フレームレート導出部２１６とを有する。これら機能部は、図８の受信装置１内のものと全く同じものである。推定伝送ビットレートから、映像フレームレートを導出する。
【００６９】
以上、詳細に説明したように、本発明の受信装置、システム、プログラム及び方法によれば、映像コンテンツのストリーミングの伝送品質から伝送ビットレートを算出し、その伝送ビットレートに基づいて映像フレームレートを制御することによって、できる限り主観的に高画質なストリーミング伝送を実現する。
【００７０】
前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【符号の説明】
【００７１】
１ 映像受信サーバ、受信装置
１０１ 通信インタフェース
１０２ ＩＰインタフェース
１０３ ＲＴＰインタフェース
１０４ ＲＴＣＰインタフェース
１１ フレームレート制御部
１１１ 伝送品質計測部
１１２ フレーム種別重み付け部
１１２ｔ フレーム種別重み係数テーブル
１１３ フレーム内位置重み付け部
１１３ｔ フレーム内位置重み係数テーブル
１１４ 影響確率導出部
１１４ｔ 影響確率テーブル
１１５ 推定伝送ビットレート算出部
１１６ フレームレート導出部
１１６ｔ レート対応テーブル
１１７ フィードバック部
２ 携帯端末、送信装置
２１ フィードバック受信部
２１６ フレームレート導出部
２１６ｔ レート対応テーブル
２２ フレームレート変更部
【技術分野】
【０００１】
本発明は、映像コンテンツの伝送における映像フレームレートを制御する技術に関する。
【背景技術】
【０００２】
従来、映像音声データのリアルタイム伝送システムについて、伝送路帯域を逐次計測し、その伝送路帯域に応じて映像音声データのビットレートを変更する技術がある（例えば特許文献１参照）。この技術によれば、具体的には、受信装置の受信バッファに蓄積された映像フレームのデータ量が、所定閾値に達するまでの時間間隔を、観測する。この時間間隔に基づいて、帯域（伝送レート）が推定される。データ量が所定閾値に達するまでの時間間隔が短い場合、伝送レートが高いと判定され、一方で、時間間隔が長い場合、伝送レートが低いと判定される。
【０００３】
また、映像データのストリームを受信することによって、非信頼性伝送路における映像品質を向上させる技術もある（例えば特許文献２参照）。この技術によれば、パケット単位で優先度が設定されている。具体的には、パケットロスが発生した場合、より優先度が高いパケット（映像復号の観点から重要なパケット）を再送信することによって、映像品質の劣化を回避する。映像フレームのＩフレームを構成するパケットに、最高優先度を設定し、Ｉフレームに続く最初のＰフレームを構成するパケットに、次に高い優先度を設定する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１５９６３６号公報
【特許文献２】特開２００１−２７４８６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
前述した特許文献１に記載された技術によれば、有線伝送路（イーサネット（登録商標））における伝送品質の劣化に対しては、映像・音声の符号化ビットレートのみを変更することによって対応していた。しかしながら、パケットロスが多発する無線伝送路における伝送品質の劣化に対しては、符号化ビットレートのみの変更では対応できない。特に、符号化ビットレートの変更による主観的な映像品質（画質）の劣化が著しい。主観品質を要する映像コンテンツについては、符号化ビットレートだけでなく、フレームレートを制御することが好ましい。
【０００６】
特許文献２に記載された技術によれば、パケットロスが発生した場合、優先度の高いパケットを再送信することによって映像品質の劣化を回避する。しかしながら、ストリーミング伝送の場合、再送信されたパケットが受信装置に到着する頃には、再生時刻を過ぎてしまっている場合が多く、期待する効果が達成できないものと考えられる。
【０００７】
そこで、本発明は、映像コンテンツのストリーミングの伝送品質に応じて、できる限り主観的に高画質なストリーミング伝送を実現する受信装置、システム、プログラム及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明によれば、送信装置から、映像コンテンツを、ネットワークを介してストリーミングで受信する受信装置において、
伝送ビットレートに対する映像フレームレートを対応付けたレート対応テーブルと、
現伝送品質と前伝送品質との差に応じた、現伝送ビットレートに対する影響確率を対応付けた影響確率テーブルと、
送信装置から映像コンテンツをストリーミングで受信する際に、伝送品質を計測する伝送品質計測手段と、
影響確率テーブルを用いて、現伝送品質と前伝送品質との差に応じた影響確率を導出する影響確率導出手段と、
現ビットレートに対して影響確率を乗算した推定伝送ビットレートを算出する推定伝送ビットレート算出手段と、
レート対応テーブルを用いて、推定伝送ビットレートに対応する映像フレームレートを導出するフレームレート導出手段と、
送信装置へ、映像フレームレートの関連情報をフィードバックする映像フィードバック手段と
を有し、
送信装置が、受信装置へ送信すべき映像コンテンツのフレームレートを、受信装置から受信した映像フレームレートに変更するように機能させることを特徴とする。
【０００９】
本発明の受信装置における他の実施形態によれば、
映像コンテンツを構成するＩ，Ｐ，Ｂフレーム種別に応じて、伝送品質に対するフレーム種別重み係数を対応付けたフレーム種別重み係数テーブルと、
フレーム種別重み係数テーブルを参照し、映像コンテンツの受信によって計測した伝送品質に、当該映像コンテンツを構成するフレーム種別に応じたフレーム種別重み係数を重み付けるフレーム種別重み付け手段と
を更に有することも好ましい。
【００１０】
本発明の受信装置における他の実施形態によれば、
受信装置は、映像コンテンツのフレーム内位置に応じて、伝送品質に対するフレーム内位置重み係数を対応付けたフレーム内位置重み係数テーブルと、
フレーム内位置重み係数テーブルを参照し、映像コンテンツの受信によって計測した伝送品質に、当該映像コンテンツのフレーム内位置に応じたフレーム内位置重み係数を重み付けるフレーム内位置重み付け手段と
を更に有することも好ましい。
【００１１】
本発明の受信装置における他の実施形態によれば、
伝送品質計測手段は、伝送品質を、ＧＯＰ(Group Of Picture)単位で計測し、
現伝送品質と前伝送品質との差は、隣接するＧＯＰ毎に算出される
ことも好ましい。
【００１２】
本発明の受信装置における他の実施形態によれば、
レート対応テーブルは、主観的な映像品質に基づくＭＯＳ(Means Opinion Score)によって決定されたものであることも好ましい。
【００１３】
本発明の受信装置における他の実施形態によれば、
映像フィードバック手段は、映像フレームレートの関連情報として、
・映像フレームレート自体、又は
・現映像フレームレートからの単位レート分の上げフラグ／下げフラグ
を送信装置へフィードバックすることも好ましい。
【００１４】
本発明によれば、送信装置が、受信装置へ、映像コンテンツを、ネットワークを介してストリーミングで伝送するシステムにおいて、
受信装置は、
現伝送品質と前伝送品質との差に応じた、現伝送ビットレートに対する影響確率を対応付けた影響確率テーブルと、
送信装置から映像コンテンツをストリーミングで受信する際に、伝送品質を計測する伝送品質計測手段と、
影響確率テーブルを用いて、現伝送品質と前伝送品質との差に応じた影響確率を導出する影響確率導出手段と、
現ビットレートに対して影響確率を乗算した推定伝送ビットレートを算出する推定伝送ビットレート算出手段と、
送信装置へ、推定伝送ビットレートをフィードバックする推定伝送ビットレートフィードバック手段と
を有し、
送信装置は、
推定伝送ビットレートを、受信装置から受信する推定伝送ビットレート受信手段と、
伝送ビットレートに対する映像フレームレートを対応付けたレート対応テーブルと、
レート対応テーブルを用いて、受信装置から受信した推定伝送ビットレートに対応する映像フレームレートを導出するフレームレート導出手段と、
受信装置へ送信すべき映像コンテンツのフレームレートを、映像フレームレートに変更するフレームレート変更手段と
を有することを特徴とする。
【００１５】
本発明によれば、映像コンテンツを、ネットワークを介してストリーミングで伝送するシステムにおける映像フレームレート制御方法において、
受信装置は、
伝送ビットレートに対する映像フレームレートを対応付けたレート対応テーブルと、
現伝送品質と前伝送品質との差に応じた、現伝送ビットレートに対する影響確率を対応付けた影響確率テーブルと
を有し、
受信装置が、送信装置から映像コンテンツをストリーミングで受信する際に、伝送品質を計測する第１のステップと、
受信装置が、影響確率テーブルを用いて、現伝送品質と前伝送品質との差に応じた影響確率を導出する第２のステップと、
受信装置が、現ビットレートに対して影響確率を乗算した推定伝送ビットレートを算出する第３のステップと、
受信装置が、レート対応テーブルを用いて、推定伝送ビットレートに対応する映像フレームレートを導出する第４のステップと、
受信装置が、送信装置へ、映像フレームレートの関連情報をフィードバックする第５のステップと、
送信装置が、受信装置へ送信すべき映像コンテンツのフレームレートを、受信装置から受信した関連情報に基づく映像フレームレートに変更する第６のステップと
を有することを特徴とする。
【００１６】
本発明によれば、送信装置から、映像コンテンツを、ネットワークを介してストリーミングで受信する受信装置に搭載されたコンピュータを機能させるプログラムにおいて、
伝送ビットレートに対する映像フレームレートを対応付けたレート対応テーブルと、
現伝送品質と前伝送品質との差に応じた、現伝送ビットレートに対する影響確率を対応付けた影響確率テーブルと、
送信装置から映像コンテンツをストリーミングで受信する際に、伝送品質を計測する伝送品質計測手段と、
影響確率テーブルを用いて、現伝送品質と前伝送品質との差に応じた影響確率を導出する影響確率導出手段と、
現ビットレートに対して影響確率を乗算した推定伝送ビットレートを算出する推定伝送ビットレート算出手段と、
レート対応テーブルを用いて、推定伝送ビットレートに対応する映像フレームレートを導出するフレームレート導出手段と、
送信装置へ、映像フレームレートの関連情報をフィードバックする映像フィードバック手段と
してコンピュータを機能させ、
送信装置が、受信装置へ送信すべき映像コンテンツのフレームレートを、受信装置から受信した映像フレームレートに変更するように機能させることを特徴とする。
【発明の効果】
【００１７】
本発明の受信装置、システム、プログラム及び方法によれば、映像コンテンツのストリーミングの伝送品質から伝送ビットレートを算出し、その伝送ビットレートに基づいて映像フレームレートを制御することによって、できる限り主観的に高画質なストリーミング伝送を実現する。
【図面の簡単な説明】
【００１８】
【図１】本発明におけるシステム構成図である。
【図２】本発明における送信装置−受信装置間のシーケンス図である。
【図３】映像コンテンツのストリーミングデータの構成図である。
【図４】本発明におけるフレーム種別重み係数テーブルを表す説明図である。
【図５】本発明におけるフレーム内位置重み係数テーブルを表す説明図である。
【図６】本発明における影響確率テーブルを表す説明図である。
【図７】本発明におけるＨＤ解像度のレート対応テーブルの説明図である。
【図８】本発明における受信装置のフレームレート制御部の機能構成図である。
【図９】本発明における受信装置の機能構成図である。
【図１０】本発明における送信装置の機能構成図である。
【発明を実施するための形態】
【００１９】
以下では、本発明の実施の形態について、図面を用いて詳細に説明する。
【００２０】
図１は、本発明におけるシステム構成図である。
【００２１】
図１のシステムによれば、携帯電話機やスマートフォンのような携帯端末２（送信装置）が、映像コンテンツを、ネットワークを介して映像受信サーバ１（受信装置）へ、ストリーミングで伝送している。近年、携帯端末のようなポータブル型機器でも、ＨＤ(High-Definition)クラスの映像を撮影することが可能となってきている。このような携帯端末は、撮影した映像コンテンツをリアルタイムに、映像受信サーバ１へストリーミングで伝送することができる。映像受信サーバとしては、例えばYouTube（登録商標）のような動画共有サイトであってもよい。以下では、送信装置が携帯端末であって、受信装置が映像受信サーバであるとして説明する。勿論、逆に、送信装置が映像受信サーバであって、受信装置が携帯端末であってもよい。
【００２２】
ネットワークは、イーサネット（登録商標）のような有線ネットワークであってもよいし、携帯電話通信網、ＷｉＭＡＸ(Worldwide Interoperability for Microwave Access)（登録商標）や無線ＬＡＮのような無線ネットワークであってもよい。特に、携帯端末の場合、ネットワークに無線区間を含むために、映像コンテンツの伝送品質も変化しやすい。本発明によれば、映像コンテンツの伝送品質が変化した場合であっても、受信装置が、送信装置へ、最適な映像フレームレートをフィードバックする。送信装置が、その映像フレームレートに変更した映像コンテンツを伝送することによって、できる限り主観的に高画質なストリーミング伝送を実現する。
【００２３】
尚、送信装置から送信される映像コンテンツは、ＲＴＰ(Real-time Transport Protocol)によって、ストリーミングで伝送される。また、受信装置からフィードバックされる映像フレームレートの関連情報は、ＲＴＣＰ(RTP Control Protocol)によって伝送される。ＲＴＰは、データストリームをリアルタイムに配送するためのデータ転送プロトコルである。ＲＴＣＰは、ＲＴＰと組み合わせて使う、データのフロー（送受信）制御用のセッションを制御するプロトコルである。
【００２４】
図２は、本発明における送信装置−受信装置間のシーケンス図である。
【００２５】
（Ｓ１１０）携帯端末（送信装置）２は、映像受信サーバ（受信装置）１へ、映像コンテンツをストリーミングで送信する。ここで、映像コンテンツは、無線環境に応じたデフォルトビットレートに基づくトレーニングデータであってもよい。トレーニングデータは、ＧＯＰ(Group Of Pictures)単位で、例えば５０ＧＯＰ程度のものである。携帯端末２は、ネットワークの無線環境に応じて、以下のように異なるビットレートのトレーニングデータを送信することも好ましい。
携帯電話網（３Ｇ） ：３００ｋｂｐｓ
ＷｉＭＡＸ網 ：１Ｍｂｐｓ
無線ＬＡＮ（ＷｉＦｉ）：４Ｍｂｐｓ
イーサネット（有線） ：９Ｍｂｐｓ
【００２６】
（Ｓ１１１）映像受信サーバ１は、携帯端末２から映像コンテンツをストリーミングで受信する際に、伝送品質を計測する。「伝送品質」としては、例えば遅延、ジッタ、パケットロス率であって、例えばＧＯＰ単位で計測される。勿論、トレーニングデータとしての映像コンテンツによって伝送品質を計測することが好ましいが、通常の映像コンテンツであってもよい。
【００２７】
図３は、映像コンテンツのストリーミングデータの構成図である。
【００２８】
図３のストリーミングデータによれば、１秒間あたり複数のフレームによって構成され、フレームレート[frame per second]として表される。図３によれば、３０ｆｐｓで構成されている。また、複数のフレームからＧＯＰ単位が構成される。ＧＯＰとは、ＭＰＥＧ方式について、圧縮及び再生・編集の単位となる映像信号の数フレームずつの組み合わせをいう。ＧＯＰは、１つのＩ(Intra)ピクチャフレームと、複数のＰ(Predictive)ピクチャフレーム及びＢ(Bidirectionally)ピクチャフレームとから構成される。そして、本発明によれば、ＧＯＰ単位で「伝送品質」（遅延、パケットロス、ジッタ）を計測する。また、１つのフレームは、複数のＲＴＰパケットから構成される。
【００２９】
（Ｓ１１２）映像受信サーバ１は、オプション的に、映像コンテンツを構成するＩ，Ｐ，Ｂフレーム種別に応じて、伝送品質に対するフレーム種別重み係数を対応付けた「フレーム種別重み係数テーブル」を有することも好ましい。
【００３０】
図４は、本発明におけるフレーム種別重み係数テーブルを表す説明図である。
【００３１】
これは、優先度の高いＩフレームにおける伝送品質を重要視する。図４によれば、Ｉフレームを構成するパケットの伝送品質（遅延、パケットロス、ジッタ）は、Ｐフレーム及びＢフレームを構成するパケットの伝送品質よりも、２倍考慮されることを意味する。
【００３２】
そして、映像受信サーバ（受信装置）１は、フレーム種別重み係数テーブルを用いて、発生した伝送品質に重み付ける。
例えばＩフレームで、遅延１０ｍｓが発生した場合、１０ｍｓ×２＝２０ｍｓの遅延が発生したとする。
例えばＩフレームで、ジッタ値１０ｍｓが発生した場合、１０ｍｓ×２＝２０ｍｓのジッタ値が発生したとする。
例えばＩフレームで、１個のパケットがロスした場合、２個のパケットがロスしたとする。
【００３３】
（Ｓ１１３）また、映像受信サーバ（受信装置）１は、オプション的に、映像コンテンツのフレーム内位置に応じて、伝送品質に対するフレーム内位置重み係数を対応付けた「フレーム内位置重み係数テーブル」を有することも好ましい。
【００３４】
図５は、本発明におけるフレーム内位置重み係数テーブルを表す説明図である。
【００３５】
これは、優先度が高いフレーム内位置を構成するパケットにおける伝送品質を重要視する。即ち、フレーム内の画面中央位置に対応するパケットの伝送品質を重要視する。図５によれば、フレーム内の画面中央位置に対応するパケットの伝送品質は、フレーム内の画面外枠位置に対応するパケットの伝送品質よりも、２倍考慮されることを意味する。
【００３６】
そして、映像受信サーバ（受信装置）１は、フレーム内位置重み係数テーブルを用いて、発生した伝送品質に重み付ける。
例えば画面中央位置に対応するパケットで、遅延１０ｍｓが発生した場合、１０ｍｓ×２＝２０ｍｓの遅延が発生したとする。
例えば画面中央位置に対応するパケットで、ジッタ値１０ｍｓが発生した場合、１０ｍｓ×２＝２０ｍｓのジッタ値が発生したとする。
例えば画面中央位置に対応するパケットで、１個のパケットがロスした場合、２個のパケットがロスしたとする。
【００３７】
このように、図４及び図５の両方を考慮した場合、例えばＩフレームであって且つ画面中央位置を構成するパケットの伝送品質は、Ｐ又はＢフレームであって且つ画面外枠位置を構成するパケットの伝送品質よりも、４倍考慮されることとなる。
【００３８】
尚、本発明の実施形態として、映像ストリーミングデータのＲＴＰパケット毎に、その拡張ヘッダに、フレーム種別（Ｉ，Ｐ，Ｂ）と、フレームの最初／最後とを表すフラグを含めることも好ましい。これによって、ＲＴＰパケットのみで、フレーム種別及びフレー内位置を特定することができる。
【００３９】
（Ｓ１１４）映像受信サーバ（受信装置）１は、現伝送品質と前伝送品質との差に応じた、現伝送ビットレートに対する影響確率を対応付けた「影響確率テーブル」を有する。
【００４０】
図６は、本発明における影響確率テーブルを表す説明図である。
【００４１】
図６によれば、伝送品質毎に、影響確率テーブルが設定されている。映像受信サーバ１は、影響確率テーブルを用いて、現伝送品質と前伝送品質との差に応じた影響確率α、β、γを導出する。
［１］遅延に基づく影響確率αは、現在の遅延量Ｄcと、前回の遅延量Ｄpとの差に応じて決定される。
［２］ジッタに基づく影響確率βは、現在のジッタＪcと、前回のジッタＪpとの差に応じて決定される。
［３］パケットロス率に基づく影響確率γは、現在のパケットロス率Ｌcと、前回のパケットロス率Ｌpとの差に応じて決定される。
【００４２】
（Ｓ１１５）映像受信サーバ１は、現ビットレートに対して影響確率を乗算した推定伝送ビットレートを算出する。
ＢＲn＝ＢＲc×α×β×γ
ＢＲn：推定伝送ビットレート
ＢＲc：現伝送ビットレート
α：遅延に基づく影響確率
β：ジッタに基づく影響確率
γ：パケットロス率に基づく影響確率
【００４３】
（Ｓ１１６）映像受信サーバ１は、伝送ビットレートに対する映像フレームレートを対応付けた「レート対応テーブル」を更に有する。
【００４４】
図７は、本発明におけるＨＤ解像度のレート対応テーブルの説明図である。
【００４５】
図７のレート対応テーブルは、伝送ビットレートに対する映像フレームレートが予め設定されている。これは、主観的な映像品質に基づくＭＯＳ(Means Opinion Score)によって決定されたものであることが好ましい。これによって、主観的な映像品質を、伝送ビットレートに応じて、できる限り向上させることができる。尚、伝送ビットレートと映像フレームレートとの対応関係は、最適にカスタマイズされることが好ましい。また、レート対応テーブルは、送信する映像の解像度に応じて個々に用意されるものであってもよい。
【００４６】
（Ｓ１１７）映像受信サーバ１は、レート対応テーブルを用いて、推定伝送ビットレートに対応する映像フレームレートを導出する。
【００４７】
（Ｓ１１８）映像受信サーバ１は、携帯端末２へ、映像フレームレートの関連情報をフィードバックする。ここで、映像フレームレートの関連情報として、以下の２つがある。
・映像フレームレート自体
・現映像フレームレートからの単位レート分の上げフラグ／下げフラグ
（データ量を最小化することによって、制御信号であるフィードバック情報の
増加による伝送帯域の圧迫を回避する）
【００４８】
これによって、携帯端末２は、映像受信サーバ１へ送信すべき映像コンテンツのフレームレートを変更することができる。
【００４９】
尚、図２の点線囲み部分によれば、推定伝送ビットレートを算出した（Ｓ１１５）後、その推定伝送ビットレートを、送信装置２へフィードバックするものであってもよい。この場合、フレームレートの導出（Ｓ１１８）は、送信装置２によって実行される。
【００５０】
図８は、本発明におけるフレームレート制御部を含む映像受信サーバの機能構成図である。
【００５１】
図８の映像受信サーバ１によれば、通信インタフェース１０１と、ＩＰインタフェース１０２と、ＲＴＰインタフェース１０３と、ＲＴＣＰインタフェース１０４と、フレームレート制御部１１とを有する。通信インタフェース１０１を除くこれら機能構成部は、サーバに搭載されたコンピュータを機能させることによって実現される。
【００５２】
フレームレート制御部１１は、伝送品質計測部１１１と、フレーム種別重み付け部１１２と、フレーム種別重み係数テーブル１１２ｔと、フレーム内位置重み付け部１１３と、フレーム内位置重み係数テーブル１１３ｔと、影響確率導出部１１４と、影響確率テーブル１１４ｔと、推定伝送ビットレート算出部１１５と、フレームレート導出部１１６と、レート対応テーブル１１６ｔと、フィードバック部１１７とを有する。
【００５３】
伝送品質計測部１１１は、送信装置から映像コンテンツをストリーミングで受信する際に、伝送品質を計測する（図２のＳ１１１と同様）。計測されて伝送品質は、フレーム種別重み付け部１１２へ出力される。
【００５４】
フレーム種別重み係数テーブル１１２ｔは、映像コンテンツを構成するＩ，Ｐ，Ｂフレーム種別に対応付けた、伝送品質に対するフレーム種別重み係数を記憶する。
【００５５】
フレーム種別重み付け部１１２は、フレーム種別重み係数テーブル１１２ｔを参照し、映像コンテンツの受信によって計測した伝送品質に、当該映像コンテンツを構成するフレーム種別に応じたフレーム種別重み係数を重み付ける（図２のＳ１１２と同様）。
【００５６】
フレーム内位置重み係数テーブル１１３ｔは、映像コンテンツのフレーム内位置に対応付けて、伝送品質に対するフレーム内位置重み係数を記憶する。
【００５７】
フレーム内位置重み付け部１１３は、フレーム内位置重み係数テーブル１１３ｔを参照し、映像コンテンツの受信によって計測した伝送品質に、当該映像コンテンツのフレーム内位置に応じたフレーム内位置重み係数を重み付ける（図２のＳ１１３と同様）。
【００５８】
影響確率テーブル１１４ｔは、現伝送品質と前伝送品質との差に対応付けて、現伝送ビットレートに対する影響確率を記憶する。
【００５９】
影響確率導出部１１４は、影響確率テーブルを用いて、現伝送品質と前伝送品質との差に応じた影響確率を導出する（図２のＳ１１４と同様）。
【００６０】
推定伝送ビットレート算出部１１５は、現ビットレートに対して影響確率を乗算した推定伝送ビットレートを算出する（図２のＳ１１５と同様）。
【００６１】
レート対応テーブル１１６ｔは、伝送ビットレートに対する映像フレームレートを記憶する。
【００６２】
フレームレート導出部１１６は、レート対応テーブルを用いて、推定伝送ビットレートに対応する映像フレームレートを導出する（図２のＳ１１６と同様）。
【００６３】
フィードバック部１１７は、送信装置へ、映像フレームレートの関連情報をフィードバックする（図２のＳ１１７と同様）。これによって、送信装置は、受信装置へ送信すべき映像コンテンツのフレームレートを、受信装置から受信した映像フレームレートに変更する。
【００６４】
図９は、本発明における受信装置の機能構成図である。
【００６５】
図８の受信装置１によれば、フレーム種別及びフレーム内位置を、フレームレート制御部１１の外部から情報によって判別する。
Ｉ，Ｐ，Ｂのフレーム種別は、受信装置内の可変長復号部によって検出される。そのフレーム種別は、フレームレート制御部１１へ入力される。
逆量子化部によってマクロブロックＭＢ(Macro Brock)配置情報が抽出され、そのＭＢ配置情報は、フレームレート制御部１１へ入力される。フレームレート制御部１１は、そのＭＢ配置情報から、Ｉフレームのフレーム内位置を判別することができる。
画面内予測部よってＭＢ配置情報が抽出され、そのＭＢ配置情報は、フレームレート制御部１１へ入力される。フレームレート制御部１１は、そのＭＢ配置情報から、Ｐ，Ｂフレームのフレーム内位置を判別することができる。
ＲＴＰパケットにフレームの最初フラグ／最後フラグが含まれている場合、フレーム内位置判定部によってフレーム内位置が抽出される。そのフレーム内位置情報は、フレームレート制御部１１へ入力される。
【００６６】
図１０は、本発明における送信装置の機能構成図である。
【００６７】
図１０の送信装置によれば、既存の映像送信装置と比較して、フィードバック受信部２１と、フレームレート変更部２２とを有する。フィードバック受信部２１は、受信装置１からＲＴＣＰによってフィードバック情報としてのフレームレートを受信し、そのフレームレートを、フレームレート変更部２２へ出力する。フレームレート変更部２２は、送信すべき映像コンテンツのフレームレートを、受信装置１から受信したフレームレートに変更する。
【００６８】
また、図１０の送信装置によれば、フィードバック受信部２１が、受信装置１からフレームレートではなく、推定伝送ビットレートを受信する場合もある。この場合、フィードバック受信部２１は、レート対応テーブル２１６ｔと、フレームレート導出部２１６とを有する。これら機能部は、図８の受信装置１内のものと全く同じものである。推定伝送ビットレートから、映像フレームレートを導出する。
【００６９】
以上、詳細に説明したように、本発明の受信装置、システム、プログラム及び方法によれば、映像コンテンツのストリーミングの伝送品質から伝送ビットレートを算出し、その伝送ビットレートに基づいて映像フレームレートを制御することによって、できる限り主観的に高画質なストリーミング伝送を実現する。
【００７０】
前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【符号の説明】
【００７１】
１ 映像受信サーバ、受信装置
１０１ 通信インタフェース
１０２ ＩＰインタフェース
１０３ ＲＴＰインタフェース
１０４ ＲＴＣＰインタフェース
１１ フレームレート制御部
１１１ 伝送品質計測部
１１２ フレーム種別重み付け部
１１２ｔ フレーム種別重み係数テーブル
１１３ フレーム内位置重み付け部
１１３ｔ フレーム内位置重み係数テーブル
１１４ 影響確率導出部
１１４ｔ 影響確率テーブル
１１５ 推定伝送ビットレート算出部
１１６ フレームレート導出部
１１６ｔ レート対応テーブル
１１７ フィードバック部
２ 携帯端末、送信装置
２１ フィードバック受信部
２１６ フレームレート導出部
２１６ｔ レート対応テーブル
２２ フレームレート変更部
【特許請求の範囲】
【請求項１】
送信装置から、映像コンテンツを、ネットワークを介してストリーミングで受信する受信装置において、
伝送ビットレートに対する映像フレームレートを対応付けたレート対応テーブルと、
現伝送品質と前伝送品質との差に応じた、現伝送ビットレートに対する影響確率を対応付けた影響確率テーブルと、
送信装置から映像コンテンツをストリーミングで受信する際に、伝送品質を計測する伝送品質計測手段と、
前記影響確率テーブルを用いて、現伝送品質と前伝送品質との差に応じた前記影響確率を導出する影響確率導出手段と、
現ビットレートに対して前記影響確率を乗算した推定伝送ビットレートを算出する推定伝送ビットレート算出手段と、
前記レート対応テーブルを用いて、前記推定伝送ビットレートに対応する映像フレームレートを導出するフレームレート導出手段と、
送信装置へ、前記映像フレームレートの関連情報をフィードバックする映像フィードバック手段と
を有し、
送信装置が、受信装置へ送信すべき映像コンテンツのフレームレートを、受信装置から受信した前記映像フレームレートに変更するように機能させることを特徴とする受信装置。
【請求項２】
前記映像コンテンツを構成するＩ，Ｐ，Ｂフレーム種別に応じて、前記伝送品質に対するフレーム種別重み係数を対応付けたフレーム種別重み係数テーブルと、
前記フレーム種別重み係数テーブルを参照し、前記映像コンテンツの受信によって計測した伝送品質に、当該映像コンテンツを構成するフレーム種別に応じたフレーム種別重み係数を重み付けるフレーム種別重み付け手段と
を更に有することを特徴とする請求項１に記載の受信装置。
【請求項３】
受信装置は、前記映像コンテンツのフレーム内位置に応じて、前記伝送品質に対するフレーム内位置重み係数を対応付けたフレーム内位置重み係数テーブルと、
前記フレーム内位置重み係数テーブルを参照し、前記映像コンテンツの受信によって計測した伝送品質に、当該映像コンテンツのフレーム内位置に応じたフレーム内位置重み係数を重み付けるフレーム内位置重み付け手段と
を更に有する
ことを特徴とする請求項１又は２に記載の受信装置。
【請求項４】
前記伝送品質計測手段は、前記伝送品質を、ＧＯＰ(Group Of Picture)単位で計測し、
現伝送品質と前伝送品質との差は、隣接するＧＯＰ毎に算出される
ことを特徴とする請求項１から３のいずれか１項に記載の受信装置。
【請求項５】
前記レート対応テーブルは、主観的な映像品質に基づくＭＯＳ(Means Opinion Score)によって決定されたものであることを特徴とする請求項１から４のいずれか１項に記載の受信装置。
【請求項６】
前記映像フィードバック手段は、前記映像フレームレートの関連情報として、
・映像フレームレート自体、又は
・現映像フレームレートからの単位レート分の上げフラグ／下げフラグ
を前記送信装置へフィードバックすることを特徴とする請求項１から５のいずれか１項に記載の受信装置。
【請求項７】
送信装置が、受信装置へ、映像コンテンツを、ネットワークを介してストリーミングで伝送するシステムにおいて、
前記受信装置は、
現伝送品質と前伝送品質との差に応じた、現伝送ビットレートに対する影響確率を対応付けた影響確率テーブルと、
送信装置から映像コンテンツをストリーミングで受信する際に、伝送品質を計測する伝送品質計測手段と、
前記影響確率テーブルを用いて、現伝送品質と前伝送品質との差に応じた前記影響確率を導出する影響確率導出手段と、
現ビットレートに対して前記影響確率を乗算した推定伝送ビットレートを算出する推定伝送ビットレート算出手段と、
送信装置へ、前記推定伝送ビットレートをフィードバックする推定伝送ビットレートフィードバック手段と
を有し、
前記送信装置は、
伝送ビットレートに対する映像フレームレートを対応付けたレート対応テーブルと、
前記レート対応テーブルを用いて、前記受信装置から受信した推定伝送ビットレートに対応する映像フレームレートを導出するフレームレート導出手段と、
受信装置へ送信すべき映像コンテンツのフレームレートを、前記映像フレームレートに変更するフレームレート変更手段と
を有する
ことを特徴とするシステム。
【請求項８】
映像コンテンツを、ネットワークを介してストリーミングで伝送するシステムにおける映像フレームレート制御方法において、
受信装置は、
伝送ビットレートに対する映像フレームレートを対応付けたレート対応テーブルと、
現伝送品質と前伝送品質との差に応じた、現伝送ビットレートに対する影響確率を対応付けた影響確率テーブルと
を有し、
受信装置が、送信装置から映像コンテンツをストリーミングで受信する際に、伝送品質を計測する第１のステップと、
受信装置が、影響確率テーブルを用いて、現伝送品質と前伝送品質との差に応じた前記影響確率を導出する第２のステップと、
受信装置が、現ビットレートに対して前記影響確率を乗算した推定伝送ビットレートを算出する第３のステップと、
受信装置が、前記レート対応テーブルを用いて、前記推定伝送ビットレートに対応する映像フレームレートを導出する第４のステップと、
受信装置が、送信装置へ、前記映像フレームレートの関連情報をフィードバックする第５のステップと、
送信装置が、受信装置へ送信すべき映像コンテンツのフレームレートを、受信装置から受信した前記関連情報に基づく映像フレームレートに変更する第６のステップと
を有することを特徴とする映像フレームレート制御方法。
【請求項９】
送信装置から、映像コンテンツを、ネットワークを介してストリーミングで受信する受信装置に搭載されたコンピュータを機能させるプログラムにおいて、
伝送ビットレートに対する映像フレームレートを対応付けたレート対応テーブルと、
現伝送品質と前伝送品質との差に応じた、現伝送ビットレートに対する影響確率を対応付けた影響確率テーブルと、
送信装置から映像コンテンツをストリーミングで受信する際に、伝送品質を計測する伝送品質計測手段と、
前記影響確率テーブルを用いて、現伝送品質と前伝送品質との差に応じた前記影響確率を導出する影響確率導出手段と、
現ビットレートに対して前記影響確率を乗算した推定伝送ビットレートを算出する推定伝送ビットレート算出手段と、
前記レート対応テーブルを用いて、前記推定伝送ビットレートに対応する映像フレームレートを導出するフレームレート導出手段と、
送信装置へ、前記映像フレームレートの関連情報をフィードバックする映像フィードバック手段と
してコンピュータを機能させ、
送信装置が、受信装置へ送信すべき映像コンテンツのフレームレートを、受信装置から受信した前記映像フレームレートに変更するように機能させることを特徴とする受信装置用のプログラム。
【請求項１】
送信装置から、映像コンテンツを、ネットワークを介してストリーミングで受信する受信装置において、
伝送ビットレートに対する映像フレームレートを対応付けたレート対応テーブルと、
現伝送品質と前伝送品質との差に応じた、現伝送ビットレートに対する影響確率を対応付けた影響確率テーブルと、
送信装置から映像コンテンツをストリーミングで受信する際に、伝送品質を計測する伝送品質計測手段と、
前記影響確率テーブルを用いて、現伝送品質と前伝送品質との差に応じた前記影響確率を導出する影響確率導出手段と、
現ビットレートに対して前記影響確率を乗算した推定伝送ビットレートを算出する推定伝送ビットレート算出手段と、
前記レート対応テーブルを用いて、前記推定伝送ビットレートに対応する映像フレームレートを導出するフレームレート導出手段と、
送信装置へ、前記映像フレームレートの関連情報をフィードバックする映像フィードバック手段と
を有し、
送信装置が、受信装置へ送信すべき映像コンテンツのフレームレートを、受信装置から受信した前記映像フレームレートに変更するように機能させることを特徴とする受信装置。
【請求項２】
前記映像コンテンツを構成するＩ，Ｐ，Ｂフレーム種別に応じて、前記伝送品質に対するフレーム種別重み係数を対応付けたフレーム種別重み係数テーブルと、
前記フレーム種別重み係数テーブルを参照し、前記映像コンテンツの受信によって計測した伝送品質に、当該映像コンテンツを構成するフレーム種別に応じたフレーム種別重み係数を重み付けるフレーム種別重み付け手段と
を更に有することを特徴とする請求項１に記載の受信装置。
【請求項３】
受信装置は、前記映像コンテンツのフレーム内位置に応じて、前記伝送品質に対するフレーム内位置重み係数を対応付けたフレーム内位置重み係数テーブルと、
前記フレーム内位置重み係数テーブルを参照し、前記映像コンテンツの受信によって計測した伝送品質に、当該映像コンテンツのフレーム内位置に応じたフレーム内位置重み係数を重み付けるフレーム内位置重み付け手段と
を更に有する
ことを特徴とする請求項１又は２に記載の受信装置。
【請求項４】
前記伝送品質計測手段は、前記伝送品質を、ＧＯＰ(Group Of Picture)単位で計測し、
現伝送品質と前伝送品質との差は、隣接するＧＯＰ毎に算出される
ことを特徴とする請求項１から３のいずれか１項に記載の受信装置。
【請求項５】
前記レート対応テーブルは、主観的な映像品質に基づくＭＯＳ(Means Opinion Score)によって決定されたものであることを特徴とする請求項１から４のいずれか１項に記載の受信装置。
【請求項６】
前記映像フィードバック手段は、前記映像フレームレートの関連情報として、
・映像フレームレート自体、又は
・現映像フレームレートからの単位レート分の上げフラグ／下げフラグ
を前記送信装置へフィードバックすることを特徴とする請求項１から５のいずれか１項に記載の受信装置。
【請求項７】
送信装置が、受信装置へ、映像コンテンツを、ネットワークを介してストリーミングで伝送するシステムにおいて、
前記受信装置は、
現伝送品質と前伝送品質との差に応じた、現伝送ビットレートに対する影響確率を対応付けた影響確率テーブルと、
送信装置から映像コンテンツをストリーミングで受信する際に、伝送品質を計測する伝送品質計測手段と、
前記影響確率テーブルを用いて、現伝送品質と前伝送品質との差に応じた前記影響確率を導出する影響確率導出手段と、
現ビットレートに対して前記影響確率を乗算した推定伝送ビットレートを算出する推定伝送ビットレート算出手段と、
送信装置へ、前記推定伝送ビットレートをフィードバックする推定伝送ビットレートフィードバック手段と
を有し、
前記送信装置は、
伝送ビットレートに対する映像フレームレートを対応付けたレート対応テーブルと、
前記レート対応テーブルを用いて、前記受信装置から受信した推定伝送ビットレートに対応する映像フレームレートを導出するフレームレート導出手段と、
受信装置へ送信すべき映像コンテンツのフレームレートを、前記映像フレームレートに変更するフレームレート変更手段と
を有する
ことを特徴とするシステム。
【請求項８】
映像コンテンツを、ネットワークを介してストリーミングで伝送するシステムにおける映像フレームレート制御方法において、
受信装置は、
伝送ビットレートに対する映像フレームレートを対応付けたレート対応テーブルと、
現伝送品質と前伝送品質との差に応じた、現伝送ビットレートに対する影響確率を対応付けた影響確率テーブルと
を有し、
受信装置が、送信装置から映像コンテンツをストリーミングで受信する際に、伝送品質を計測する第１のステップと、
受信装置が、影響確率テーブルを用いて、現伝送品質と前伝送品質との差に応じた前記影響確率を導出する第２のステップと、
受信装置が、現ビットレートに対して前記影響確率を乗算した推定伝送ビットレートを算出する第３のステップと、
受信装置が、前記レート対応テーブルを用いて、前記推定伝送ビットレートに対応する映像フレームレートを導出する第４のステップと、
受信装置が、送信装置へ、前記映像フレームレートの関連情報をフィードバックする第５のステップと、
送信装置が、受信装置へ送信すべき映像コンテンツのフレームレートを、受信装置から受信した前記関連情報に基づく映像フレームレートに変更する第６のステップと
を有することを特徴とする映像フレームレート制御方法。
【請求項９】
送信装置から、映像コンテンツを、ネットワークを介してストリーミングで受信する受信装置に搭載されたコンピュータを機能させるプログラムにおいて、
伝送ビットレートに対する映像フレームレートを対応付けたレート対応テーブルと、
現伝送品質と前伝送品質との差に応じた、現伝送ビットレートに対する影響確率を対応付けた影響確率テーブルと、
送信装置から映像コンテンツをストリーミングで受信する際に、伝送品質を計測する伝送品質計測手段と、
前記影響確率テーブルを用いて、現伝送品質と前伝送品質との差に応じた前記影響確率を導出する影響確率導出手段と、
現ビットレートに対して前記影響確率を乗算した推定伝送ビットレートを算出する推定伝送ビットレート算出手段と、
前記レート対応テーブルを用いて、前記推定伝送ビットレートに対応する映像フレームレートを導出するフレームレート導出手段と、
送信装置へ、前記映像フレームレートの関連情報をフィードバックする映像フィードバック手段と
してコンピュータを機能させ、
送信装置が、受信装置へ送信すべき映像コンテンツのフレームレートを、受信装置から受信した前記映像フレームレートに変更するように機能させることを特徴とする受信装置用のプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−２４４５６６（Ｐ２０１２−２４４５６６Ａ）
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願番号】特願２０１１−１１５５５８（Ｐ２０１１−１１５５５８）
【出願日】平成２３年５月２４日（２０１１．５．２４）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願日】平成２３年５月２４日（２０１１．５．２４）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
[ Back to top ]