データ配信システム、データ配信装置、データ符号化装置、及びデータ符号化方法
【課題】クライアント側への負荷を増加させることなく、フレーム欠落による一時的な再生停止を抑制することのできるデータ符号化装置、データ配信装置、データ配信システム、及びデータ符号化方法を提供すること。
【解決手段】サーバ１の符号化部１２において、動画データを、フレーム単位に細分化し、イントラフレーム（Ｉフレーム）と予測フレーム（Ｐフレーム）からなる第１のフレーム群に加えて、対応する予測フレームの参照フレームを補完する補完フレーム（Ｃフレーム）からなる第２のフレーム群とを生成しておき、クライアント４の要求に応じて第１フレーム群のフレームを送信し、フレーム欠落が生じた場合には第２フレーム群の補完フレームを送信する。
【解決手段】サーバ１の符号化部１２において、動画データを、フレーム単位に細分化し、イントラフレーム（Ｉフレーム）と予測フレーム（Ｐフレーム）からなる第１のフレーム群に加えて、対応する予測フレームの参照フレームを補完する補完フレーム（Ｃフレーム）からなる第２のフレーム群とを生成しておき、クライアント４の要求に応じて第１フレーム群のフレームを送信し、フレーム欠落が生じた場合には第２フレーム群の補完フレームを送信する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画データを圧縮符号化するデータ符号化装置及び方法、当該圧縮符号化した動画データを配信するデータ配信装置及び方法、並びに圧縮符号化した動画データをサーバからクライアントへと配信するデータ配信システムに関する。
【背景技術】
【０００２】
近年、インターネット等のネットワークを介して、動画や音楽等の様々なコンテンツデータが配信されており、このようなコンテンツデータは、配信に適するよう圧縮符号化（encode）されている。
特にデータ量の大きい動画データについては、例えばＭＰＥＧ−２方式、ＭＰＥＧ−４ＡＶＣ、Ｈ．２６４等の圧縮方式が標準化されている。
【０００３】
このような圧縮方式では、動画データを時間に応じて複数のフレーム（画像）に細分化している。また、連続して表示される動画は前後のフレーム間で変化する部分が限られている場合が多いことから、前後異なる時点のフレームを参照し、この参照フレームとの差分部分のみを符号化するフレーム間予測という技術が用いられている。
当該フレーム間予測では、現時点のフレームより時間的に前（過去）のフレームから予測して符号化された前方向予測フレーム（Predicted Frame）（以下、Ｐフレームともいう）や現時点のフレームの時間的に前後のフレームから予測して符号化された前後方向予測フレーム（Bi-directional Predicted Frame）（以下、Ｂフレームともいう）がある。また、フレーム間予測を用いず、フレーム内の情報のみから符号化されたフレームを、イントラフレーム（Intra-coded Frame）（以下Ｉフレームともいう）と呼ぶ。動画開始時や画面の切換時等には当該イントラフレームが用いられる。
【０００４】
このように圧縮符号化された各フレームからなる動画データは配信元であるサーバから、一般のパーソナルコンピュータ、及びテレビ受像機やビデオプレーヤのようなコンテンツ再生機器等のクライアントへとフレーム単位で配信される。そして、クライアントでは受信したフレームを復号化（decode）した上で再生を行う。
しかし、クライアント側において上記Ｐフレームが一度欠落すると、この欠落したＰフレームを参照する次のＰフレームも正しく復号化できなくなり、イントラフレームを受信するまで、一時的に動画再生が停止するという問題がある。
【０００５】
そこで、クライアント側において、復号化済みのフレーム（ピクチャ）を所定量バッファしておき、参照するフレームが欠落している場合には、バッファされたフレームから代替参照フレームを取得してフレームを生成する復号化装置が開発されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−１７７６４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記特許文献１に開示された技術では、復号化済みフレームのバッファ量が所定量に満たないときには代替参照フレームを使用できず、動画再生が一時的に停止してしまう。
また、上記特許文献１では、クライアント側で、復号化済みフレームをバッファし、当該バッファした情報から代替参照フレームを生成するため、クライアント側の演算負荷が増大するという問題がある。例えば、クライアントへのネットワークの帯域幅が狭い場合等は、フレームの欠落が比較的多く生じ、復号化済みフレームを十分バッファできない上、代替参照フレームを生成する機会が多いためクライアント側の演算負荷も過大となる。
【０００８】
本発明はこのような問題を解決するためになされたもので、その目的とするところは、クライアント側への負荷を増加させることなく、フレーム欠落による一時的な再生停止を抑制することのできるデータ符号化装置、データ配信装置、データ配信システム、及びデータ符号化方法を提供することにある。
【課題を解決するための手段】
【０００９】
上記した目的を達成するために、請求項１の符号化装置では、データ配信手段からネットワークを介して複数のクライアントに動画データが配信されるデータ配信システムであって、前記データ配信手段は、動画データを符号化する符号化装置において、前記動画データを、時間に応じてフレーム単位に細分化し、フレーム単体の情報から符号化したイントラフレーム、及び他のフレームを参照フレームとして当該参照フレームとの差分を符号化した予測フレームから構成された第１のフレーム群と、前記各予測フレームと対応した時期に設けられ、それぞれ対応する予測フレームの前記参照フレームを補完して符号化した補完フレームから構成された第２のフレーム群とを生成する符号化手段と、前記第１のフレーム群及び第２のフレーム群の各フレームを記憶する記憶手段と、前記クライアントからのフレーム要求またはクライアントの受信状況に応じて前記記憶手段に記憶されている前記第１のフレーム群のフレームを送信するとともに、前記フレーム要求が前記予測フレームであり当該予測フレームの参照フレームが欠落している場合には、当該予測フレームに代えて、第２のフレーム群から対応する前記補完フレームを送信する送信制御手段と、を備え、前記クライアントは、前記データ配信手段から送信されたフレームを受信して復号化する復号化手段と、前記復号化されたフレームを再生する再生手段と、を備えることを特徴としている。
【００１０】
請求項２の符号化装置では、請求項１において、前記補完フレームは、対応する予測フレームに対し、時間的に前であって最も近いイントラフレームの次の予測フレームから当該対応する予測フレームまでを補完して符号化したフレームであることを特徴としている。
請求項３の符号化装置では、請求項１において、前記補完フレームは、対応する予測フレームに対し、直前のイントラフレームの次の予測フレームから対応する予測フレームまでを補完するフレームであることを特徴としている。
【００１１】
請求項４のデータ配信装置では、ネットワークを介して接続されたクライアントに動画データを配信するデータ配信装置であって、前記動画データを、時間に応じてフレーム単位に細分化し、フレーム単体の情報から符号化したイントラフレーム、及び他のフレームを参照フレームとして当該参照フレームとの差分を符号化した予測フレームから構成された第１のフレーム群と、前記各予測フレームと対応した時期に設けられ、それぞれ対応する予測フレームの前記参照フレームを補完して符号化した補完フレームから構成された第２のフレーム群とを生成する符号化装置と、前記第１のフレーム群及び第２のフレーム群の各フレームを記憶する記憶手段と、前記クライアントからのフレーム要求またはクライアントの受信状況に応じて前記記憶手段に記憶されている前記第１のフレーム群のフレームを送信するとともに、前記フレーム要求が前記予測フレームであり当該予測フレームの参照フレームが欠落している場合には、当該予測フレームに代えて、第２のフレーム群から対応する前記補完フレームを送信する送信制御手段と、を備えることを特徴としている。
【００１２】
請求項５のデータ配信装置では、請求項４において、前記補完フレームは、対応する予測フレームに対し、時間的に前であって最も近いイントラフレームの次の予測フレームから当該対応する予測フレームまでを補完して符号化したフレームであることを特徴としている。
請求項６のデータ配信装置では、請求項４において、前記補完フレームは、対応する予測フレームに対し、直前のイントラフレームの次の予測フレームから対応する予測フレームまでを補完するフレームであることを特徴としている。
【００１３】
請求項７のデータ符号化装置では、動画データを符号化するデータ符号化装置において、
前記動画データを、時間に応じてフレーム単位に細分化し、フレーム単体の情報から符号化したイントラフレーム、及び他のフレームを参照フレームとして当該参照フレームとの差分を符号化した予測フレームから構成された第１のフレーム群と、前記各予測フレームと対応した時期に設けられ、それぞれ対応する予測フレームの前記参照フレームを補完して符号化した補完フレームから構成され、前記第１のフレーム群のフレームの復号化が欠落したときに用いられる第２のフレーム群とを生成することを特徴としている。
【００１４】
請求項８のデータ符号化装置では、請求項７において、前記補完フレームは、対応する予測フレームに対し、時間的に前であって最も近いイントラフレームから当該対応する予測フレームまでを補完して符号化したフレームであることを特徴としている。
請求項９のデータ符号化装置では、請求項７において、前記補完フレームは、対応する予測フレームに対し、時間的に前であって最も近いイントラフレームの次の予測フレームから当該対応する予測フレームまでを補完して符号化したフレームであることを特徴としている。
【００１５】
請求項１０のデータ符号化方法では、動画データを符号化するデータ符号化方法において、前記動画データを、時間に応じてフレーム単位に細分化し、フレーム単体の情報から符号化したイントラフレーム、及び他のフレームを参照フレームとして当該参照フレームとの差分を符号化した予測フレームから構成された第１のフレーム群と、前記各予測フレームと対応した時期に設けられ、それぞれ対応する予測フレームの前記参照フレームを補完して符号化した補完フレームから構成され、前記第１のフレーム群のフレームの復号化が欠落したときに用いられる第２のフレーム群とを生成することを特徴としている。
【００１６】
請求項１１のデータ符号化方法では、請求項１０において、前記補完フレームは、対応する予測フレームに対し、時間的に前であって最も近いイントラフレームから当該対応する予測フレームまでを補完して符号化したフレームであることを特徴としている。
請求項１２のデータ符号化方法では、請求項１０において、前記補完フレームは、対応する予測フレームに対し、時間的に前であって最も近いイントラフレームの次の予測フレームから当該対応する予測フレームまでを補完して符号化したフレームであることを特徴としている。
【発明の効果】
【００１７】
上記手段を用いる本発明の請求項１、４、７、１０のデータ配信システム、データ配信装置、データ符号化装置、及びデータ符号化方法によれば、動画データを、フレーム単位に細分化し、イントラフレームと予測フレームからなる第１のフレーム群に加えて、当該第１のフレーム群のフレームの復号化が欠落したときに用いるべく、当該各予測フレームと対応した時期に設けられそれぞれ対応する予測フレームの前記参照フレームを補完して符号化した補完フレームからなる第２のフレーム群を生成しておくことで、第１のフレーム群におけるフレーム欠落直後に、第２のフレーム群の補完フレームを用いて動画再生を早期に復帰させることができる。
【００１８】
これにより、当該動画データをクライアントへと送信する場合に、当該クライアントへの負荷を増加させることなく、フレーム欠落による一時的な再生停止を抑制することができる。
請求項２、５、８、１１のデータ配信システム、データ配信装置、データ符号化装置、及びデータ符号化方法によれば、補完フレームを、対応する予測フレームに対し、時間的に前であって最も近いイントラフレームから当該対応する予測フレームまでを補完して符号化したフレームとする。つまり、当該補完フレームはイントラフレームと同様、参照フレームなしで復号化が可能であり、イントラフレーム欠落時に対しても早期に再生を復帰させることができる。
【００１９】
請求項３、６、９、１２のデータ配信システム、データ配信装置、データ符号化装置、及びデータ符号化方法によれば、補完フレームを、対応する予測フレームに対し、時間的に前であって最も近いイントラフレームの次の予測フレームから当該対応する予測フレームまでを補完して符号化したフレームとする。つまり、当該補完フレームは予測フレームのみを補完したフレームであることから、当該補完フレームを差分情報のみの最小限の情報量に抑えることができ、高い圧縮効率を維持することができる
【図面の簡単な説明】
【００２０】
【図１】本発明の第１実施形態に係る全体構成を示した概略構成図である。
【図２】本発明の第１実施形態に係るサーバにて実行される動画配信制御ルーチンを示すフローチャートである。
【図３】本発明の第１実施形態に係るサーバ及びクライアントにおける動画データのフレーム構成を示す説明図である。
【図４】本発明の第２実施形態に係るサーバ及びクライアントにおける動画データのフレーム構成を示す説明図である。
【発明を実施するための形態】
【００２１】
以下、本発明の実施形態を図面に基づき説明する。
まず、第１実施形態について説明する。
図１には、本発明の第１実施形態における全体構成を示した概略構成図が示されている。
同図に示すように、動画や音楽等のコンテンツデータを配信するサーバ１（データ配信装置）が、インターネット２（ネットワーク）を介して、パーソナルコンピュータ、及びテレビ受像機やビデオプレーヤのようなコンテンツ再生機器等の複数のクライアント４と接続されることでコンテンツデータの配信システムが構築されている。当該サーバ１とクライアント４とは、インターネット２を介してお互いにＴＣＰ／ＩＰを用いてデータのやり取りが可能である。また、当該サーバ１は、コンテンツデータをクライアント４に対しストリーミング方式で配信するものであり、ライブ配信等も可能である。以下、コンテンツデータにおける動画データの配信に関して詳しく説明する。なお、サーバ１とクライアント４とを接続するネットワークはインターネットに限られず、イントラネット等、他のネットワークでも構わない。
【００２２】
サーバ１は、動画データを作成するデータ作成部１０、作成された動画データを圧縮符号化する符号化部１２（符号化装置）、各データを保存するデータ記憶部１４（記憶手段）、及びサーバ１におけるデータの管理やクライアント４とのデータの送受信等を制御する制御部１６を有している。
データ作成部１０は、動画データを作成し、データ記憶部１４に保存するものである。動画データの作成は、クライアント４の要求に応じて新たに作成したり、データ記憶部１４にすでに保存されているデータを加工したりすることで行う。
【００２３】
符号化部１２は、作成された動画データを配信に適した形式に圧縮符号化するものである。具体的には、当該符号化部１２は、連続した一連の動画データを時間に応じてフレーム単位に細分化する。そして、各フレームをイントラフレーム（以下Ｉフレームという）または予測フレーム（以下Ｐフレームという）に符号化し、これらIフレーム及びＰフレームから構成される第１フレーム群を生成する。Ｉフレームは、フレーム単体の情報のみから符号化したフレームであり、Ｐフレームはフレーム間予測を用いて、時間的に１つ前のフレームを参照し当該参照フレームとの差分を符号化した、いわゆる前方向予測フレームである。
【００２４】
当該符号化部１２は、第１フレーム群の各Ｐフレームの時期と対応させて、それぞれ対応するＰフレームについての参照フレームを補完して符号化した補完フレーム（complementary frame）（以下Ｃフレームという。）を生成する。より詳しくは、当該補完フレームは、対応するＰフレームに対して時間的に前であって最も近いＩフレームから当該対応するＰフレームまでの各Ｐフレームの差分を全て反映させることで補完したフレームである。このようにＩフレームを含んで補完するＣフレームは、Ｉフレームと同様、参照フレームなしで復号化が可能である。そして、符号化部１２は、これらＣフレームからなる第２フレーム群を生成する。
【００２５】
データ記憶部１４は、例えばデータ作成部１０において作成された圧縮符号化前の動画データや、符号化部１２において符号化された各フレーム群等を記憶するものである。
制御部１６は、クライアント４からの要求を受けて、それに応じたデータをデータ記憶部１４から選択してクライアント４へと送信する等の制御を行うものである。より具体的には、当該制御部１６は、クライアント４から要求されているフレームがＩフレームであればＩフレームを、ＰフレームであればＰフレームを送信する。このように原則的には第１フレーム群のフレームを送信するが、クライアント４から要求されたフレームがＰフレームであるのに対して当該Ｐフレームの参照フレームが欠落している場合には、Ｐフレームに代えて対応するＣフレームを送信する。
【００２６】
一方、クライアント４は、復号化部２０、及び再生部２２を有している。
復号化部２０は、サーバ１から受信した圧縮符号化されているフレームを復号化するものである。例えば受信したフレームがＩフレームまたはＣフレームであれば当該フレームを復号化するだけで１つの出力フレームが生成される。受信したフレームがＰフレームである場合は当該Ｐフレームを復号化して差分データを生成し、１つ前の復号化済みのフレームを参照して差分部分を変更することで１つの出力フレームを生成する。
【００２７】
再生部２２は、例えばディスプレイやスピーカ等の再生機器であり、復号化部２０において生成された出力フレームを再生するものである。
各クライアント４はそれぞれ同様の構成を有しており、サーバ１上にて作成された所望の動画データを再生部２２において再生するため、サーバ１に対して当該動画データについて符号化されたフレームを逐次要求する。そして、当該要求に応じてサーバ１から送信されたフレームを受信し、復号化部２０において復号化して再生部２２にて再生する。
【００２８】
以下、このように構成された本発明の第１実施形態の作用について説明する。
図２には、サーバ１にて実行される動画配信制御ルーチンがフローチャートによって示されており、以下同フローチャートに沿って説明する。
図２に示すように、まずステップＳ１として、サーバ１は制御部１６において、いずれかのクライアント４からフレームの要求があるか否かを判別する。いずれのクライアント４からもフレームの要求がない場合には、当該判別結果は偽（Ｎｏ）となり、当該ルーチンをリターンする。一方、クライアント４からフレームの要求がある場合には、次のステップＳ２に進む。
【００２９】
ステップＳ２では、クライアント４から要求されているｎ番目のフレームがＩフレームであるか否かを判別する。符号化された動画データは時系列に応じてフレームに番号が付されているものとし、今回クライアント４から要求されているｎ番目のフレーム（以下、要求フレームｎともいう）がＩフレームである場合は、ステップＳ３に進む。
ステップＳ３では、第１フレーム群から要求フレームｎに対応するＩフレームをクライアント４に送信し、次のフレーム要求に応じるべく当該ルーチンをリターンする。
【００３０】
一方、上記ステップＳ２において、要求フレームｎがＩフレームではない場合、即ち要求フレームがＰフレームである場合には当該判別結果は偽（Ｎｏ）となり、ステップＳ４に進む。
ステップＳ４では、要求フレームｎの一つ前のフレームｎ−１が利用可能であるか否かを判別する。これは、例えばＴＣＰ／ＩＰに基づき受信状況を監視し、当該クライアント４がフレームｎ−１を受信しているか否かを判別する。当該フレームｎ−１をクライアント４が受信していた場合には当該ルーチンは真（Ｙｅｓ）となり、ステップＳ３に進む。そして、ステップＳ３では、第１フレーム群から要求フレームｎに対応するＰフレームをクライアント４に送信し、当該ルーチンをリターンする。
【００３１】
一方、ステップＳ４において、１つ前のフレームｎ−１を当該クライアント４が受信していないために参照フレームを利用不可能である場合には、判別結果は偽（Ｎｏ）となり、ステップＳ５に進む。
ステップＳ５ではＰフレームに代えて、第２フレーム群から要求フレームｎに対応するＣフレームを選択してクライアント４に送信し、当該ルーチンをリターンする。
【００３２】
サーバ１の制御部１６は、各クライアント４の要求に応じて以上のような制御ルーチンを繰り返すことで、各クライアント４へ動画データを配信する。
ここで、図３を参照すると、本発明の第１実施形態に係るサーバ及びクライアントにおける動画データのフレーム構成が示されており、以下同図に基づき説明する。なお、同図では、説明の簡略化のためフレーム構成を単純化して例示している。
【００３３】
図３に示すように、サーバ１には、符号化部１２において符号化されたＩフレーム及びＰフレームからなる第１フレーム群と、Ｃフレームからなる第２フレーム群がデータ記憶部１４に記憶されている。なお、フレームＮｏ．は時系列に応じた番号であり、各フレームそれぞれに対しても順番に番号を付している。例えば、第１フレーム群のＩフレームとしてＩ１〜Ｉ３が一定の間隔で設けられており、その間にそれぞれ５つのＰフレームＰ１〜Ｐ１０が形成されている。また第２フレーム群では、各Ｐフレームに対応してＣフレームＣ１〜Ｃ１０が生成されている。
【００３４】
またここでは、各フレームが持つ情報を単純な数値に置き換えて説明する。例えばＩフレームはＩ１＝１０、Ｉ２＝２０、Ｉ＝３０とし、差分情報である各Ｐフレームは符号付きの値でそれぞれ＋１とする。Ｃフレームは、対応するＰフレームに対して時間的に前であって最も近いＩフレームから当該対応するＰフレームまでの各Ｐフレームを補完するものであり、例えばフレームＮｏ．３に対応するＣフレームＣ２は、時間的に前であって最も近いＩフレームＩ１から対応するＰフレームＰ２までを補完するＩ１＋Ｐ１＋Ｐ２であり、数値としては１０＋１＋１＝１１となる。
【００３５】
図３には、このように構成された動画データを、ネットワークの帯域幅が十分高い第１クライアント４ａに送信した場合が示されている。当該第１クライアント４ａは各フレームＮｏ．毎に第１フレーム群のフレームを欠落なく全て受信しており、正常に動画を再生できる場合の数値が示されている。
一方、図３では、同じ動画データを、ネットワークの帯域幅が比較的低い第２クライアント４ｂに送信したものが示されている。当該第２クライアント４ｂにおいては、フレームＮｏ．３、Ｎｏ．７、Ｎｏ．８にてフレームの欠落している。
【００３６】
ここで、第２クライアント４ｂがフレームＮｏ．３においてＰフレームＰ２を欠落した場合には、サーバ１の制御部１６は上記フローチャートに従い、次のフレームＮｏ．４の要求に対し、対応するＰフレームＰ３の参照フレームがないことからＰフレームＰ３に代えてＣフレームＣ３を送信する。当該ＣフレームＣ３は上述したようにＩ１からＰ３を補完するフレームであり、当該ＣフレームＣ３単体を復号化することで正しい数値の出力フレームが生成される。そして、次のＰフレームＰ４も復号化済みの当該ＣフレームＣ３を参照することで正しい出力フレームとなり、以降欠落がない限り第１フレーム群のフレームを受信することで正常な出力フレームが生成される。
【００３７】
また、当該第２クライアント４ｂがフレームＮｏ．７に対応するＩフレームＩ２を欠落し、この欠落に基づき次のフレームＮｏ．８にてＰフレームＰ６に代えて送信されたＣフレームＣ６も欠落した場合においても、その次のフレームＮｏ．９に対応するＣフレーム７を受信することで、第２クライアント４ｂの出力フレームは即座に正しい数値に復帰する。
【００３８】
このように本実施形態におけるＣフレームは、Ｉフレームを含んで補完していることから、クライアント４がＩフレームを欠落した場合でも、即座に再生を復帰させることができる。
以上のように、動画データの配信を行うサーバ１の符号化部１２において、当該動画データを、Ｉフレーム及びＰフレームからなる第１フレーム群に加えて、当該第１フレーム群のフレーム欠落を補完するＣフレームからなる第２フレーム群から構成することで、クライアント４が第１フレーム群のフレームを欠落した場合にも、欠落直後にＣフレームを送信することで、早期に再生を復帰させることができる。
【００３９】
また、クライアント４においては、サーバ１から送信されるフレームをその都度復号化するだけであり、フレーム欠落した場合でも次のＩフレームを待つことなく当該欠落直後から再生を復帰できる。
このようにして本発明に係る第１実施形態は、クライアント４側への負荷を増加させることなく、フレーム欠落による一時的な再生停止を抑制することができる。
【００４０】
次に本発明の第２実施形態について説明する。
第２実施形態におけるサーバ及びクライアントの基本構成やサーバの制御部が実行する制御ルーチンは、図１、２で示した第１実施形態と同じであり、以下各構成については同じ符号を付し、各構成及び制御ルーチンについての詳しい説明は省略する。
【００４１】
第２実施形態では、符号化部１２により形成される第２フレーム群の補完フレーム（以下、Ｃ’フレームという）の構成が異なっており、当該第２実施形態におけるＣ’フレームは、対応するＰフレームに対して時間的に前であって最も近いＩフレームの次のＰフレームから対応するＰフレームまでを補完するフレームである。つまり、当該Ｃ’フレームは、Ｉフレームを参照することで復号化が可能である。
【００４２】
当該第２実施形態について、詳しくは図４に基づき説明する。
図４には、本発明の第２実施形態に係るサーバ及びクライアントにおける動画データのフレーム構成が示されており、第１フレーム群の構成や第１クライアント４ａが受信したフレームの構成は図３と同様である。
【００４３】
図４に示すように、サーバ１の記憶部１４に記憶されている第２フレーム群のＣ’フレームは、Ｉフレームを含まず、Ｐフレームのみを補完している。例えばフレームＮｏ．３に対応するＣ’フレームＣ’２は、時間的に前であって最も近いＩフレームＩ１の次のＰフレームＰ１から対応するＰフレームＰ２までを補完するＰ１＋Ｐ２であり、数値としては＋１＋１＝＋２となる。このように当該Ｃ’フレームはＩフレームとの差分部分のみを補完している。
【００４４】
このようなフレーム構成の動画データについて、図４では、ネットワークの帯域幅が低い第２クライアント４ｂは、フレームＮｏ．３、Ｎｏ．９、Ｎｏ．１０のフレームを欠落した場合が示されている。
詳しくは、第２クライアント４ｂがフレームＮｏ．３においてＰフレームＰ２を欠落した場合には、サーバ１の制御部１６は、上記フローチャートに従い、次のフレームＮｏ．４の要求に対し、対応するＰフレームＰ３の参照フレームがないことからＰフレームＰ３に代えてＣ’フレームＣ’３を送信する。当該Ｃ’フレームＣ’３はＰ１からＰ３を補完するフレームであり、ＩフレームＩ１を参照して復号化されることで正しい数値の出力フレームが生成され、これ以降も欠落がない限り第１フレーム群のフレームを受信することで正常な出力フレームが生成される。
【００４５】
また、第２クライアント４ｂがフレームＮｏ．９に対応するＰフレームＰ７を欠落し、当該欠落に基づき次のフレームＮｏ．１０にてＰフレームＰ８に代えて送信されたＣ’フレームＣ’８も欠落した場合においても、フレームＮｏ．１１に対応するＣ’フレーム９を受信することで即座に正しい数値に復帰する。
以上のように、第２実施形態においても上記第１実施形態と同様の効果を奏することができる。
【００４６】
また、第２実施形態におけるＣ’フレームはＰフレームのみを補完していることから、Ｉフレームの受信を前提とするが、Ｃ’フレームを差分情報のみの最小限の情報量に抑えることができ、圧縮効率を高めることができるという利点がある。これにより、クライアント４側の演算負荷も最小限に抑えることができる。なお、クライアント４がＩフレームを欠落した場合、サーバ２の制御部１６は次のフレーム要求に対し、対応するＣ’フレームとともに欠落したＩフレームを当該クライアント４に送信してもよい。これにより、当該第２実施形態においてＩフレームを欠落した場合でも、次のＩフレームを待つことなく当該欠落直後から再生を復帰できる。
【００４７】
このようにして本発明に係る第２実施形態は、クライアント４側への負荷を確実に抑えつつ、フレーム欠落による一時的な再生停止を抑制することができる。
以上で本発明に係る実施形態についての説明を終えるが、実施形態は上記実施形態に限られるものではない。
例えば、上記実施形態では、サーバ１の符号化部１２は、第１フレーム群の予測フレームとして前方向予測フレーム（Ｐフレーム）のみ符号化しているが、これに加えて前後方向予測フレーム（Ｂフレーム）を符号化して第１フレーム群を構成しても構わない。このような場合は、サーバの符号化部により、当該Ｐフレーム及びＢフレームに対応した時期に、それぞれ対応するＰフレームまたはＢフレームの参照フレームを補完する補完フレームを符号化し、これらの補完フレームからなる第２フレーム群を生成することで上記実施形態と同様の作用効果を奏することができる。
【００４８】
また、上記実施形態では、符号化部１２は第２フレーム群として一種類のＣフレームのみを生成しているが、符号化部は第２フレーム群として、上記第１実施形態におけるＩフレーム及びＰフレームを補完するＣフレーム、及び第２実施形態におけるＰフレームのみを補完するＣ’フレームの両方を生成しても構わない。このような場合、サーバの制御部は、例えばクライアントがＩフレームを含んで欠落している場合には第１実施形態のＣフレームを、Ｐフレームのみ欠落している場合には第２実施形態のＣ’フレームを送信するというように、ＣフレームとＣ’フレームとを使い分けて送信してもよい。
【符号の説明】
【００４９】
１ サーバ（データ配信装置）
２ インターネット（ネットワーク）
４ クライアント
１０ データ作成部
１２ 符号化部（符号化装置）
１４ データ記憶部（記憶手段）
１６ 制御部（制御手段）
２０ 復号化部（復号化手段）
２２ 再生部（再生手段）
【技術分野】
【０００１】
本発明は、動画データを圧縮符号化するデータ符号化装置及び方法、当該圧縮符号化した動画データを配信するデータ配信装置及び方法、並びに圧縮符号化した動画データをサーバからクライアントへと配信するデータ配信システムに関する。
【背景技術】
【０００２】
近年、インターネット等のネットワークを介して、動画や音楽等の様々なコンテンツデータが配信されており、このようなコンテンツデータは、配信に適するよう圧縮符号化（encode）されている。
特にデータ量の大きい動画データについては、例えばＭＰＥＧ−２方式、ＭＰＥＧ−４ＡＶＣ、Ｈ．２６４等の圧縮方式が標準化されている。
【０００３】
このような圧縮方式では、動画データを時間に応じて複数のフレーム（画像）に細分化している。また、連続して表示される動画は前後のフレーム間で変化する部分が限られている場合が多いことから、前後異なる時点のフレームを参照し、この参照フレームとの差分部分のみを符号化するフレーム間予測という技術が用いられている。
当該フレーム間予測では、現時点のフレームより時間的に前（過去）のフレームから予測して符号化された前方向予測フレーム（Predicted Frame）（以下、Ｐフレームともいう）や現時点のフレームの時間的に前後のフレームから予測して符号化された前後方向予測フレーム（Bi-directional Predicted Frame）（以下、Ｂフレームともいう）がある。また、フレーム間予測を用いず、フレーム内の情報のみから符号化されたフレームを、イントラフレーム（Intra-coded Frame）（以下Ｉフレームともいう）と呼ぶ。動画開始時や画面の切換時等には当該イントラフレームが用いられる。
【０００４】
このように圧縮符号化された各フレームからなる動画データは配信元であるサーバから、一般のパーソナルコンピュータ、及びテレビ受像機やビデオプレーヤのようなコンテンツ再生機器等のクライアントへとフレーム単位で配信される。そして、クライアントでは受信したフレームを復号化（decode）した上で再生を行う。
しかし、クライアント側において上記Ｐフレームが一度欠落すると、この欠落したＰフレームを参照する次のＰフレームも正しく復号化できなくなり、イントラフレームを受信するまで、一時的に動画再生が停止するという問題がある。
【０００５】
そこで、クライアント側において、復号化済みのフレーム（ピクチャ）を所定量バッファしておき、参照するフレームが欠落している場合には、バッファされたフレームから代替参照フレームを取得してフレームを生成する復号化装置が開発されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−１７７６４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記特許文献１に開示された技術では、復号化済みフレームのバッファ量が所定量に満たないときには代替参照フレームを使用できず、動画再生が一時的に停止してしまう。
また、上記特許文献１では、クライアント側で、復号化済みフレームをバッファし、当該バッファした情報から代替参照フレームを生成するため、クライアント側の演算負荷が増大するという問題がある。例えば、クライアントへのネットワークの帯域幅が狭い場合等は、フレームの欠落が比較的多く生じ、復号化済みフレームを十分バッファできない上、代替参照フレームを生成する機会が多いためクライアント側の演算負荷も過大となる。
【０００８】
本発明はこのような問題を解決するためになされたもので、その目的とするところは、クライアント側への負荷を増加させることなく、フレーム欠落による一時的な再生停止を抑制することのできるデータ符号化装置、データ配信装置、データ配信システム、及びデータ符号化方法を提供することにある。
【課題を解決するための手段】
【０００９】
上記した目的を達成するために、請求項１の符号化装置では、データ配信手段からネットワークを介して複数のクライアントに動画データが配信されるデータ配信システムであって、前記データ配信手段は、動画データを符号化する符号化装置において、前記動画データを、時間に応じてフレーム単位に細分化し、フレーム単体の情報から符号化したイントラフレーム、及び他のフレームを参照フレームとして当該参照フレームとの差分を符号化した予測フレームから構成された第１のフレーム群と、前記各予測フレームと対応した時期に設けられ、それぞれ対応する予測フレームの前記参照フレームを補完して符号化した補完フレームから構成された第２のフレーム群とを生成する符号化手段と、前記第１のフレーム群及び第２のフレーム群の各フレームを記憶する記憶手段と、前記クライアントからのフレーム要求またはクライアントの受信状況に応じて前記記憶手段に記憶されている前記第１のフレーム群のフレームを送信するとともに、前記フレーム要求が前記予測フレームであり当該予測フレームの参照フレームが欠落している場合には、当該予測フレームに代えて、第２のフレーム群から対応する前記補完フレームを送信する送信制御手段と、を備え、前記クライアントは、前記データ配信手段から送信されたフレームを受信して復号化する復号化手段と、前記復号化されたフレームを再生する再生手段と、を備えることを特徴としている。
【００１０】
請求項２の符号化装置では、請求項１において、前記補完フレームは、対応する予測フレームに対し、時間的に前であって最も近いイントラフレームの次の予測フレームから当該対応する予測フレームまでを補完して符号化したフレームであることを特徴としている。
請求項３の符号化装置では、請求項１において、前記補完フレームは、対応する予測フレームに対し、直前のイントラフレームの次の予測フレームから対応する予測フレームまでを補完するフレームであることを特徴としている。
【００１１】
請求項４のデータ配信装置では、ネットワークを介して接続されたクライアントに動画データを配信するデータ配信装置であって、前記動画データを、時間に応じてフレーム単位に細分化し、フレーム単体の情報から符号化したイントラフレーム、及び他のフレームを参照フレームとして当該参照フレームとの差分を符号化した予測フレームから構成された第１のフレーム群と、前記各予測フレームと対応した時期に設けられ、それぞれ対応する予測フレームの前記参照フレームを補完して符号化した補完フレームから構成された第２のフレーム群とを生成する符号化装置と、前記第１のフレーム群及び第２のフレーム群の各フレームを記憶する記憶手段と、前記クライアントからのフレーム要求またはクライアントの受信状況に応じて前記記憶手段に記憶されている前記第１のフレーム群のフレームを送信するとともに、前記フレーム要求が前記予測フレームであり当該予測フレームの参照フレームが欠落している場合には、当該予測フレームに代えて、第２のフレーム群から対応する前記補完フレームを送信する送信制御手段と、を備えることを特徴としている。
【００１２】
請求項５のデータ配信装置では、請求項４において、前記補完フレームは、対応する予測フレームに対し、時間的に前であって最も近いイントラフレームの次の予測フレームから当該対応する予測フレームまでを補完して符号化したフレームであることを特徴としている。
請求項６のデータ配信装置では、請求項４において、前記補完フレームは、対応する予測フレームに対し、直前のイントラフレームの次の予測フレームから対応する予測フレームまでを補完するフレームであることを特徴としている。
【００１３】
請求項７のデータ符号化装置では、動画データを符号化するデータ符号化装置において、
前記動画データを、時間に応じてフレーム単位に細分化し、フレーム単体の情報から符号化したイントラフレーム、及び他のフレームを参照フレームとして当該参照フレームとの差分を符号化した予測フレームから構成された第１のフレーム群と、前記各予測フレームと対応した時期に設けられ、それぞれ対応する予測フレームの前記参照フレームを補完して符号化した補完フレームから構成され、前記第１のフレーム群のフレームの復号化が欠落したときに用いられる第２のフレーム群とを生成することを特徴としている。
【００１４】
請求項８のデータ符号化装置では、請求項７において、前記補完フレームは、対応する予測フレームに対し、時間的に前であって最も近いイントラフレームから当該対応する予測フレームまでを補完して符号化したフレームであることを特徴としている。
請求項９のデータ符号化装置では、請求項７において、前記補完フレームは、対応する予測フレームに対し、時間的に前であって最も近いイントラフレームの次の予測フレームから当該対応する予測フレームまでを補完して符号化したフレームであることを特徴としている。
【００１５】
請求項１０のデータ符号化方法では、動画データを符号化するデータ符号化方法において、前記動画データを、時間に応じてフレーム単位に細分化し、フレーム単体の情報から符号化したイントラフレーム、及び他のフレームを参照フレームとして当該参照フレームとの差分を符号化した予測フレームから構成された第１のフレーム群と、前記各予測フレームと対応した時期に設けられ、それぞれ対応する予測フレームの前記参照フレームを補完して符号化した補完フレームから構成され、前記第１のフレーム群のフレームの復号化が欠落したときに用いられる第２のフレーム群とを生成することを特徴としている。
【００１６】
請求項１１のデータ符号化方法では、請求項１０において、前記補完フレームは、対応する予測フレームに対し、時間的に前であって最も近いイントラフレームから当該対応する予測フレームまでを補完して符号化したフレームであることを特徴としている。
請求項１２のデータ符号化方法では、請求項１０において、前記補完フレームは、対応する予測フレームに対し、時間的に前であって最も近いイントラフレームの次の予測フレームから当該対応する予測フレームまでを補完して符号化したフレームであることを特徴としている。
【発明の効果】
【００１７】
上記手段を用いる本発明の請求項１、４、７、１０のデータ配信システム、データ配信装置、データ符号化装置、及びデータ符号化方法によれば、動画データを、フレーム単位に細分化し、イントラフレームと予測フレームからなる第１のフレーム群に加えて、当該第１のフレーム群のフレームの復号化が欠落したときに用いるべく、当該各予測フレームと対応した時期に設けられそれぞれ対応する予測フレームの前記参照フレームを補完して符号化した補完フレームからなる第２のフレーム群を生成しておくことで、第１のフレーム群におけるフレーム欠落直後に、第２のフレーム群の補完フレームを用いて動画再生を早期に復帰させることができる。
【００１８】
これにより、当該動画データをクライアントへと送信する場合に、当該クライアントへの負荷を増加させることなく、フレーム欠落による一時的な再生停止を抑制することができる。
請求項２、５、８、１１のデータ配信システム、データ配信装置、データ符号化装置、及びデータ符号化方法によれば、補完フレームを、対応する予測フレームに対し、時間的に前であって最も近いイントラフレームから当該対応する予測フレームまでを補完して符号化したフレームとする。つまり、当該補完フレームはイントラフレームと同様、参照フレームなしで復号化が可能であり、イントラフレーム欠落時に対しても早期に再生を復帰させることができる。
【００１９】
請求項３、６、９、１２のデータ配信システム、データ配信装置、データ符号化装置、及びデータ符号化方法によれば、補完フレームを、対応する予測フレームに対し、時間的に前であって最も近いイントラフレームの次の予測フレームから当該対応する予測フレームまでを補完して符号化したフレームとする。つまり、当該補完フレームは予測フレームのみを補完したフレームであることから、当該補完フレームを差分情報のみの最小限の情報量に抑えることができ、高い圧縮効率を維持することができる
【図面の簡単な説明】
【００２０】
【図１】本発明の第１実施形態に係る全体構成を示した概略構成図である。
【図２】本発明の第１実施形態に係るサーバにて実行される動画配信制御ルーチンを示すフローチャートである。
【図３】本発明の第１実施形態に係るサーバ及びクライアントにおける動画データのフレーム構成を示す説明図である。
【図４】本発明の第２実施形態に係るサーバ及びクライアントにおける動画データのフレーム構成を示す説明図である。
【発明を実施するための形態】
【００２１】
以下、本発明の実施形態を図面に基づき説明する。
まず、第１実施形態について説明する。
図１には、本発明の第１実施形態における全体構成を示した概略構成図が示されている。
同図に示すように、動画や音楽等のコンテンツデータを配信するサーバ１（データ配信装置）が、インターネット２（ネットワーク）を介して、パーソナルコンピュータ、及びテレビ受像機やビデオプレーヤのようなコンテンツ再生機器等の複数のクライアント４と接続されることでコンテンツデータの配信システムが構築されている。当該サーバ１とクライアント４とは、インターネット２を介してお互いにＴＣＰ／ＩＰを用いてデータのやり取りが可能である。また、当該サーバ１は、コンテンツデータをクライアント４に対しストリーミング方式で配信するものであり、ライブ配信等も可能である。以下、コンテンツデータにおける動画データの配信に関して詳しく説明する。なお、サーバ１とクライアント４とを接続するネットワークはインターネットに限られず、イントラネット等、他のネットワークでも構わない。
【００２２】
サーバ１は、動画データを作成するデータ作成部１０、作成された動画データを圧縮符号化する符号化部１２（符号化装置）、各データを保存するデータ記憶部１４（記憶手段）、及びサーバ１におけるデータの管理やクライアント４とのデータの送受信等を制御する制御部１６を有している。
データ作成部１０は、動画データを作成し、データ記憶部１４に保存するものである。動画データの作成は、クライアント４の要求に応じて新たに作成したり、データ記憶部１４にすでに保存されているデータを加工したりすることで行う。
【００２３】
符号化部１２は、作成された動画データを配信に適した形式に圧縮符号化するものである。具体的には、当該符号化部１２は、連続した一連の動画データを時間に応じてフレーム単位に細分化する。そして、各フレームをイントラフレーム（以下Ｉフレームという）または予測フレーム（以下Ｐフレームという）に符号化し、これらIフレーム及びＰフレームから構成される第１フレーム群を生成する。Ｉフレームは、フレーム単体の情報のみから符号化したフレームであり、Ｐフレームはフレーム間予測を用いて、時間的に１つ前のフレームを参照し当該参照フレームとの差分を符号化した、いわゆる前方向予測フレームである。
【００２４】
当該符号化部１２は、第１フレーム群の各Ｐフレームの時期と対応させて、それぞれ対応するＰフレームについての参照フレームを補完して符号化した補完フレーム（complementary frame）（以下Ｃフレームという。）を生成する。より詳しくは、当該補完フレームは、対応するＰフレームに対して時間的に前であって最も近いＩフレームから当該対応するＰフレームまでの各Ｐフレームの差分を全て反映させることで補完したフレームである。このようにＩフレームを含んで補完するＣフレームは、Ｉフレームと同様、参照フレームなしで復号化が可能である。そして、符号化部１２は、これらＣフレームからなる第２フレーム群を生成する。
【００２５】
データ記憶部１４は、例えばデータ作成部１０において作成された圧縮符号化前の動画データや、符号化部１２において符号化された各フレーム群等を記憶するものである。
制御部１６は、クライアント４からの要求を受けて、それに応じたデータをデータ記憶部１４から選択してクライアント４へと送信する等の制御を行うものである。より具体的には、当該制御部１６は、クライアント４から要求されているフレームがＩフレームであればＩフレームを、ＰフレームであればＰフレームを送信する。このように原則的には第１フレーム群のフレームを送信するが、クライアント４から要求されたフレームがＰフレームであるのに対して当該Ｐフレームの参照フレームが欠落している場合には、Ｐフレームに代えて対応するＣフレームを送信する。
【００２６】
一方、クライアント４は、復号化部２０、及び再生部２２を有している。
復号化部２０は、サーバ１から受信した圧縮符号化されているフレームを復号化するものである。例えば受信したフレームがＩフレームまたはＣフレームであれば当該フレームを復号化するだけで１つの出力フレームが生成される。受信したフレームがＰフレームである場合は当該Ｐフレームを復号化して差分データを生成し、１つ前の復号化済みのフレームを参照して差分部分を変更することで１つの出力フレームを生成する。
【００２７】
再生部２２は、例えばディスプレイやスピーカ等の再生機器であり、復号化部２０において生成された出力フレームを再生するものである。
各クライアント４はそれぞれ同様の構成を有しており、サーバ１上にて作成された所望の動画データを再生部２２において再生するため、サーバ１に対して当該動画データについて符号化されたフレームを逐次要求する。そして、当該要求に応じてサーバ１から送信されたフレームを受信し、復号化部２０において復号化して再生部２２にて再生する。
【００２８】
以下、このように構成された本発明の第１実施形態の作用について説明する。
図２には、サーバ１にて実行される動画配信制御ルーチンがフローチャートによって示されており、以下同フローチャートに沿って説明する。
図２に示すように、まずステップＳ１として、サーバ１は制御部１６において、いずれかのクライアント４からフレームの要求があるか否かを判別する。いずれのクライアント４からもフレームの要求がない場合には、当該判別結果は偽（Ｎｏ）となり、当該ルーチンをリターンする。一方、クライアント４からフレームの要求がある場合には、次のステップＳ２に進む。
【００２９】
ステップＳ２では、クライアント４から要求されているｎ番目のフレームがＩフレームであるか否かを判別する。符号化された動画データは時系列に応じてフレームに番号が付されているものとし、今回クライアント４から要求されているｎ番目のフレーム（以下、要求フレームｎともいう）がＩフレームである場合は、ステップＳ３に進む。
ステップＳ３では、第１フレーム群から要求フレームｎに対応するＩフレームをクライアント４に送信し、次のフレーム要求に応じるべく当該ルーチンをリターンする。
【００３０】
一方、上記ステップＳ２において、要求フレームｎがＩフレームではない場合、即ち要求フレームがＰフレームである場合には当該判別結果は偽（Ｎｏ）となり、ステップＳ４に進む。
ステップＳ４では、要求フレームｎの一つ前のフレームｎ−１が利用可能であるか否かを判別する。これは、例えばＴＣＰ／ＩＰに基づき受信状況を監視し、当該クライアント４がフレームｎ−１を受信しているか否かを判別する。当該フレームｎ−１をクライアント４が受信していた場合には当該ルーチンは真（Ｙｅｓ）となり、ステップＳ３に進む。そして、ステップＳ３では、第１フレーム群から要求フレームｎに対応するＰフレームをクライアント４に送信し、当該ルーチンをリターンする。
【００３１】
一方、ステップＳ４において、１つ前のフレームｎ−１を当該クライアント４が受信していないために参照フレームを利用不可能である場合には、判別結果は偽（Ｎｏ）となり、ステップＳ５に進む。
ステップＳ５ではＰフレームに代えて、第２フレーム群から要求フレームｎに対応するＣフレームを選択してクライアント４に送信し、当該ルーチンをリターンする。
【００３２】
サーバ１の制御部１６は、各クライアント４の要求に応じて以上のような制御ルーチンを繰り返すことで、各クライアント４へ動画データを配信する。
ここで、図３を参照すると、本発明の第１実施形態に係るサーバ及びクライアントにおける動画データのフレーム構成が示されており、以下同図に基づき説明する。なお、同図では、説明の簡略化のためフレーム構成を単純化して例示している。
【００３３】
図３に示すように、サーバ１には、符号化部１２において符号化されたＩフレーム及びＰフレームからなる第１フレーム群と、Ｃフレームからなる第２フレーム群がデータ記憶部１４に記憶されている。なお、フレームＮｏ．は時系列に応じた番号であり、各フレームそれぞれに対しても順番に番号を付している。例えば、第１フレーム群のＩフレームとしてＩ１〜Ｉ３が一定の間隔で設けられており、その間にそれぞれ５つのＰフレームＰ１〜Ｐ１０が形成されている。また第２フレーム群では、各Ｐフレームに対応してＣフレームＣ１〜Ｃ１０が生成されている。
【００３４】
またここでは、各フレームが持つ情報を単純な数値に置き換えて説明する。例えばＩフレームはＩ１＝１０、Ｉ２＝２０、Ｉ＝３０とし、差分情報である各Ｐフレームは符号付きの値でそれぞれ＋１とする。Ｃフレームは、対応するＰフレームに対して時間的に前であって最も近いＩフレームから当該対応するＰフレームまでの各Ｐフレームを補完するものであり、例えばフレームＮｏ．３に対応するＣフレームＣ２は、時間的に前であって最も近いＩフレームＩ１から対応するＰフレームＰ２までを補完するＩ１＋Ｐ１＋Ｐ２であり、数値としては１０＋１＋１＝１１となる。
【００３５】
図３には、このように構成された動画データを、ネットワークの帯域幅が十分高い第１クライアント４ａに送信した場合が示されている。当該第１クライアント４ａは各フレームＮｏ．毎に第１フレーム群のフレームを欠落なく全て受信しており、正常に動画を再生できる場合の数値が示されている。
一方、図３では、同じ動画データを、ネットワークの帯域幅が比較的低い第２クライアント４ｂに送信したものが示されている。当該第２クライアント４ｂにおいては、フレームＮｏ．３、Ｎｏ．７、Ｎｏ．８にてフレームの欠落している。
【００３６】
ここで、第２クライアント４ｂがフレームＮｏ．３においてＰフレームＰ２を欠落した場合には、サーバ１の制御部１６は上記フローチャートに従い、次のフレームＮｏ．４の要求に対し、対応するＰフレームＰ３の参照フレームがないことからＰフレームＰ３に代えてＣフレームＣ３を送信する。当該ＣフレームＣ３は上述したようにＩ１からＰ３を補完するフレームであり、当該ＣフレームＣ３単体を復号化することで正しい数値の出力フレームが生成される。そして、次のＰフレームＰ４も復号化済みの当該ＣフレームＣ３を参照することで正しい出力フレームとなり、以降欠落がない限り第１フレーム群のフレームを受信することで正常な出力フレームが生成される。
【００３７】
また、当該第２クライアント４ｂがフレームＮｏ．７に対応するＩフレームＩ２を欠落し、この欠落に基づき次のフレームＮｏ．８にてＰフレームＰ６に代えて送信されたＣフレームＣ６も欠落した場合においても、その次のフレームＮｏ．９に対応するＣフレーム７を受信することで、第２クライアント４ｂの出力フレームは即座に正しい数値に復帰する。
【００３８】
このように本実施形態におけるＣフレームは、Ｉフレームを含んで補完していることから、クライアント４がＩフレームを欠落した場合でも、即座に再生を復帰させることができる。
以上のように、動画データの配信を行うサーバ１の符号化部１２において、当該動画データを、Ｉフレーム及びＰフレームからなる第１フレーム群に加えて、当該第１フレーム群のフレーム欠落を補完するＣフレームからなる第２フレーム群から構成することで、クライアント４が第１フレーム群のフレームを欠落した場合にも、欠落直後にＣフレームを送信することで、早期に再生を復帰させることができる。
【００３９】
また、クライアント４においては、サーバ１から送信されるフレームをその都度復号化するだけであり、フレーム欠落した場合でも次のＩフレームを待つことなく当該欠落直後から再生を復帰できる。
このようにして本発明に係る第１実施形態は、クライアント４側への負荷を増加させることなく、フレーム欠落による一時的な再生停止を抑制することができる。
【００４０】
次に本発明の第２実施形態について説明する。
第２実施形態におけるサーバ及びクライアントの基本構成やサーバの制御部が実行する制御ルーチンは、図１、２で示した第１実施形態と同じであり、以下各構成については同じ符号を付し、各構成及び制御ルーチンについての詳しい説明は省略する。
【００４１】
第２実施形態では、符号化部１２により形成される第２フレーム群の補完フレーム（以下、Ｃ’フレームという）の構成が異なっており、当該第２実施形態におけるＣ’フレームは、対応するＰフレームに対して時間的に前であって最も近いＩフレームの次のＰフレームから対応するＰフレームまでを補完するフレームである。つまり、当該Ｃ’フレームは、Ｉフレームを参照することで復号化が可能である。
【００４２】
当該第２実施形態について、詳しくは図４に基づき説明する。
図４には、本発明の第２実施形態に係るサーバ及びクライアントにおける動画データのフレーム構成が示されており、第１フレーム群の構成や第１クライアント４ａが受信したフレームの構成は図３と同様である。
【００４３】
図４に示すように、サーバ１の記憶部１４に記憶されている第２フレーム群のＣ’フレームは、Ｉフレームを含まず、Ｐフレームのみを補完している。例えばフレームＮｏ．３に対応するＣ’フレームＣ’２は、時間的に前であって最も近いＩフレームＩ１の次のＰフレームＰ１から対応するＰフレームＰ２までを補完するＰ１＋Ｐ２であり、数値としては＋１＋１＝＋２となる。このように当該Ｃ’フレームはＩフレームとの差分部分のみを補完している。
【００４４】
このようなフレーム構成の動画データについて、図４では、ネットワークの帯域幅が低い第２クライアント４ｂは、フレームＮｏ．３、Ｎｏ．９、Ｎｏ．１０のフレームを欠落した場合が示されている。
詳しくは、第２クライアント４ｂがフレームＮｏ．３においてＰフレームＰ２を欠落した場合には、サーバ１の制御部１６は、上記フローチャートに従い、次のフレームＮｏ．４の要求に対し、対応するＰフレームＰ３の参照フレームがないことからＰフレームＰ３に代えてＣ’フレームＣ’３を送信する。当該Ｃ’フレームＣ’３はＰ１からＰ３を補完するフレームであり、ＩフレームＩ１を参照して復号化されることで正しい数値の出力フレームが生成され、これ以降も欠落がない限り第１フレーム群のフレームを受信することで正常な出力フレームが生成される。
【００４５】
また、第２クライアント４ｂがフレームＮｏ．９に対応するＰフレームＰ７を欠落し、当該欠落に基づき次のフレームＮｏ．１０にてＰフレームＰ８に代えて送信されたＣ’フレームＣ’８も欠落した場合においても、フレームＮｏ．１１に対応するＣ’フレーム９を受信することで即座に正しい数値に復帰する。
以上のように、第２実施形態においても上記第１実施形態と同様の効果を奏することができる。
【００４６】
また、第２実施形態におけるＣ’フレームはＰフレームのみを補完していることから、Ｉフレームの受信を前提とするが、Ｃ’フレームを差分情報のみの最小限の情報量に抑えることができ、圧縮効率を高めることができるという利点がある。これにより、クライアント４側の演算負荷も最小限に抑えることができる。なお、クライアント４がＩフレームを欠落した場合、サーバ２の制御部１６は次のフレーム要求に対し、対応するＣ’フレームとともに欠落したＩフレームを当該クライアント４に送信してもよい。これにより、当該第２実施形態においてＩフレームを欠落した場合でも、次のＩフレームを待つことなく当該欠落直後から再生を復帰できる。
【００４７】
このようにして本発明に係る第２実施形態は、クライアント４側への負荷を確実に抑えつつ、フレーム欠落による一時的な再生停止を抑制することができる。
以上で本発明に係る実施形態についての説明を終えるが、実施形態は上記実施形態に限られるものではない。
例えば、上記実施形態では、サーバ１の符号化部１２は、第１フレーム群の予測フレームとして前方向予測フレーム（Ｐフレーム）のみ符号化しているが、これに加えて前後方向予測フレーム（Ｂフレーム）を符号化して第１フレーム群を構成しても構わない。このような場合は、サーバの符号化部により、当該Ｐフレーム及びＢフレームに対応した時期に、それぞれ対応するＰフレームまたはＢフレームの参照フレームを補完する補完フレームを符号化し、これらの補完フレームからなる第２フレーム群を生成することで上記実施形態と同様の作用効果を奏することができる。
【００４８】
また、上記実施形態では、符号化部１２は第２フレーム群として一種類のＣフレームのみを生成しているが、符号化部は第２フレーム群として、上記第１実施形態におけるＩフレーム及びＰフレームを補完するＣフレーム、及び第２実施形態におけるＰフレームのみを補完するＣ’フレームの両方を生成しても構わない。このような場合、サーバの制御部は、例えばクライアントがＩフレームを含んで欠落している場合には第１実施形態のＣフレームを、Ｐフレームのみ欠落している場合には第２実施形態のＣ’フレームを送信するというように、ＣフレームとＣ’フレームとを使い分けて送信してもよい。
【符号の説明】
【００４９】
１ サーバ（データ配信装置）
２ インターネット（ネットワーク）
４ クライアント
１０ データ作成部
１２ 符号化部（符号化装置）
１４ データ記憶部（記憶手段）
１６ 制御部（制御手段）
２０ 復号化部（復号化手段）
２２ 再生部（再生手段）
【特許請求の範囲】
【請求項１】
データ配信装置からネットワークを介して複数のクライアントに動画データが配信されるデータ配信システムであって、
前記データ配信装置は、
前記動画データを、時間に応じてフレーム単位に細分化し、フレーム単体の情報から符号化したイントラフレーム、及び他のフレームを参照フレームとして当該参照フレームとの差分を符号化した予測フレームから構成された第１のフレーム群と、前記各予測フレームと対応した時期に設けられ、それぞれ対応する予測フレームの前記参照フレームを補完して符号化した補完フレームから構成された第２のフレーム群とを生成する符号化装置と、
前記第１のフレーム群及び第２のフレーム群の各フレームを記憶する記憶手段と、
前記クライアントからのフレーム要求またはクライアントの受信状況に応じて前記記憶手段に記憶されている前記第１のフレーム群のフレームを送信するとともに、前記フレーム要求が前記予測フレームであり当該予測フレームの参照フレームが欠落している場合には、当該予測フレームに代えて、第２のフレーム群から対応する前記補完フレームを送信する送信制御手段と、を備え、
前記クライアントは、
前記データ配信手段から送信されたフレームを受信して復号化する復号化手段と、
前記復号化されたフレームを再生する再生手段と、
を備えることを特徴とするデータ配信システム。
【請求項２】
前記補完フレームは、対応する予測フレームに対し、時間的に前であって最も近いイントラフレームの次の予測フレームから当該対応する予測フレームまでを補完して符号化したフレームであることを特徴とする請求項１記載のデータ配信システム。
【請求項３】
前記補完フレームは、対応する予測フレームに対し、直前のイントラフレームの次の予測フレームから対応する予測フレームまでを補完するフレームであることを特徴とする請求項１記載のデータ配信システム。
【請求項４】
ネットワークを介して接続されたクライアントに動画データを配信するデータ配信装置であって、
前記動画データを、時間に応じてフレーム単位に細分化し、フレーム単体の情報から符号化したイントラフレーム、及び他のフレームを参照フレームとして当該参照フレームとの差分を符号化した予測フレームから構成された第１のフレーム群と、前記各予測フレームと対応した時期に設けられ、それぞれ対応する予測フレームの前記参照フレームを補完して符号化した補完フレームから構成された第２のフレーム群とを生成する符号化装置と、
前記第１のフレーム群及び第２のフレーム群の各フレームを記憶する記憶手段と、
前記クライアントからのフレーム要求またはクライアントの受信状況に応じて前記記憶手段に記憶されている前記第１のフレーム群のフレームを送信するとともに、前記フレーム要求が前記予測フレームであり当該予測フレームの参照フレームが欠落している場合には、当該予測フレームに代えて、第２のフレーム群から対応する前記補完フレームを送信する送信制御手段と、
を備えることを特徴とするデータ配信装置。
【請求項５】
前記補完フレームは、対応する予測フレームに対し、時間的に前であって最も近いイントラフレームの次の予測フレームから当該対応する予測フレームまでを補完して符号化したフレームであることを特徴とする請求項４記載のデータ配信装置。
【請求項６】
前記補完フレームは、対応する予測フレームに対し、直前のイントラフレームの次の予測フレームから対応する予測フレームまでを補完するフレームであることを特徴とする請求項４記載のデータ配信装置。
【請求項７】
動画データを符号化するデータ符号化装置において、
前記動画データを、時間に応じてフレーム単位に細分化し、
フレーム単体の情報から符号化したイントラフレーム、及び他のフレームを参照フレームとして当該参照フレームとの差分を符号化した予測フレームから構成された第１のフレーム群と、
前記各予測フレームと対応した時期に設けられ、それぞれ対応する予測フレームの前記参照フレームを補完して符号化した補完フレームから構成され、前記第１のフレーム群のフレームの復号化が欠落したときに用いられる第２のフレーム群とを生成することを特徴とするデータ符号化装置。
【請求項８】
前記補完フレームは、対応する予測フレームに対し、時間的に前であって最も近いイントラフレームから当該対応する予測フレームまでを補完して符号化したフレームであることを特徴とする請求項７記載のデータ符号化装置。
【請求項９】
前記補完フレームは、対応する予測フレームに対し、時間的に前であって最も近いイントラフレームの次の予測フレームから当該対応する予測フレームまでを補完して符号化したフレームであることを特徴とする請求項７記載のデータ符号化装置。
【請求項１０】
動画データを符号化するデータ符号化方法において、
前記動画データを、時間に応じてフレーム単位に細分化し、
フレーム単体の情報から符号化したイントラフレーム、及び他のフレームを参照フレームとして当該参照フレームとの差分を符号化した予測フレームから構成された第１のフレーム群と、
前記各予測フレームと対応した時期に設けられ、それぞれ対応する予測フレームの前記参照フレームを補完して符号化した補完フレームから構成され、前記第１のフレーム群のフレームの復号化が欠落したときに用いられる第２のフレーム群とを生成することを特徴とするデータ符号化方法。
【請求項１１】
前記補完フレームは、対応する予測フレームに対し、時間的に前であって最も近いイントラフレームから当該対応する予測フレームまでを補完して符号化したフレームであることを特徴とする請求項１０記載のデータ符号化方法。
【請求項１２】
前記補完フレームは、対応する予測フレームに対し、時間的に前であって最も近いイントラフレームの次の予測フレームから当該対応する予測フレームまでを補完して符号化したフレームであることを特徴とする請求項１０記載のデータ符号化方法。
【請求項１】
データ配信装置からネットワークを介して複数のクライアントに動画データが配信されるデータ配信システムであって、
前記データ配信装置は、
前記動画データを、時間に応じてフレーム単位に細分化し、フレーム単体の情報から符号化したイントラフレーム、及び他のフレームを参照フレームとして当該参照フレームとの差分を符号化した予測フレームから構成された第１のフレーム群と、前記各予測フレームと対応した時期に設けられ、それぞれ対応する予測フレームの前記参照フレームを補完して符号化した補完フレームから構成された第２のフレーム群とを生成する符号化装置と、
前記第１のフレーム群及び第２のフレーム群の各フレームを記憶する記憶手段と、
前記クライアントからのフレーム要求またはクライアントの受信状況に応じて前記記憶手段に記憶されている前記第１のフレーム群のフレームを送信するとともに、前記フレーム要求が前記予測フレームであり当該予測フレームの参照フレームが欠落している場合には、当該予測フレームに代えて、第２のフレーム群から対応する前記補完フレームを送信する送信制御手段と、を備え、
前記クライアントは、
前記データ配信手段から送信されたフレームを受信して復号化する復号化手段と、
前記復号化されたフレームを再生する再生手段と、
を備えることを特徴とするデータ配信システム。
【請求項２】
前記補完フレームは、対応する予測フレームに対し、時間的に前であって最も近いイントラフレームの次の予測フレームから当該対応する予測フレームまでを補完して符号化したフレームであることを特徴とする請求項１記載のデータ配信システム。
【請求項３】
前記補完フレームは、対応する予測フレームに対し、直前のイントラフレームの次の予測フレームから対応する予測フレームまでを補完するフレームであることを特徴とする請求項１記載のデータ配信システム。
【請求項４】
ネットワークを介して接続されたクライアントに動画データを配信するデータ配信装置であって、
前記動画データを、時間に応じてフレーム単位に細分化し、フレーム単体の情報から符号化したイントラフレーム、及び他のフレームを参照フレームとして当該参照フレームとの差分を符号化した予測フレームから構成された第１のフレーム群と、前記各予測フレームと対応した時期に設けられ、それぞれ対応する予測フレームの前記参照フレームを補完して符号化した補完フレームから構成された第２のフレーム群とを生成する符号化装置と、
前記第１のフレーム群及び第２のフレーム群の各フレームを記憶する記憶手段と、
前記クライアントからのフレーム要求またはクライアントの受信状況に応じて前記記憶手段に記憶されている前記第１のフレーム群のフレームを送信するとともに、前記フレーム要求が前記予測フレームであり当該予測フレームの参照フレームが欠落している場合には、当該予測フレームに代えて、第２のフレーム群から対応する前記補完フレームを送信する送信制御手段と、
を備えることを特徴とするデータ配信装置。
【請求項５】
前記補完フレームは、対応する予測フレームに対し、時間的に前であって最も近いイントラフレームの次の予測フレームから当該対応する予測フレームまでを補完して符号化したフレームであることを特徴とする請求項４記載のデータ配信装置。
【請求項６】
前記補完フレームは、対応する予測フレームに対し、直前のイントラフレームの次の予測フレームから対応する予測フレームまでを補完するフレームであることを特徴とする請求項４記載のデータ配信装置。
【請求項７】
動画データを符号化するデータ符号化装置において、
前記動画データを、時間に応じてフレーム単位に細分化し、
フレーム単体の情報から符号化したイントラフレーム、及び他のフレームを参照フレームとして当該参照フレームとの差分を符号化した予測フレームから構成された第１のフレーム群と、
前記各予測フレームと対応した時期に設けられ、それぞれ対応する予測フレームの前記参照フレームを補完して符号化した補完フレームから構成され、前記第１のフレーム群のフレームの復号化が欠落したときに用いられる第２のフレーム群とを生成することを特徴とするデータ符号化装置。
【請求項８】
前記補完フレームは、対応する予測フレームに対し、時間的に前であって最も近いイントラフレームから当該対応する予測フレームまでを補完して符号化したフレームであることを特徴とする請求項７記載のデータ符号化装置。
【請求項９】
前記補完フレームは、対応する予測フレームに対し、時間的に前であって最も近いイントラフレームの次の予測フレームから当該対応する予測フレームまでを補完して符号化したフレームであることを特徴とする請求項７記載のデータ符号化装置。
【請求項１０】
動画データを符号化するデータ符号化方法において、
前記動画データを、時間に応じてフレーム単位に細分化し、
フレーム単体の情報から符号化したイントラフレーム、及び他のフレームを参照フレームとして当該参照フレームとの差分を符号化した予測フレームから構成された第１のフレーム群と、
前記各予測フレームと対応した時期に設けられ、それぞれ対応する予測フレームの前記参照フレームを補完して符号化した補完フレームから構成され、前記第１のフレーム群のフレームの復号化が欠落したときに用いられる第２のフレーム群とを生成することを特徴とするデータ符号化方法。
【請求項１１】
前記補完フレームは、対応する予測フレームに対し、時間的に前であって最も近いイントラフレームから当該対応する予測フレームまでを補完して符号化したフレームであることを特徴とする請求項１０記載のデータ符号化方法。
【請求項１２】
前記補完フレームは、対応する予測フレームに対し、時間的に前であって最も近いイントラフレームの次の予測フレームから当該対応する予測フレームまでを補完して符号化したフレームであることを特徴とする請求項１０記載のデータ符号化方法。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１２−１３８７８０（Ｐ２０１２−１３８７８０Ａ）
【公開日】平成２４年７月１９日（２０１２．７．１９）
【国際特許分類】
【出願番号】特願２０１０−２９００２２（Ｐ２０１０−２９００２２）
【出願日】平成２２年１２月２７日（２０１０．１２．２７）
【出願人】（５０６４３０３２５）株式会社フォーラムエイト (5)
【Ｆターム（参考）】
【公開日】平成２４年７月１９日（２０１２．７．１９）
【国際特許分類】
【出願日】平成２２年１２月２７日（２０１０．１２．２７）
【出願人】（５０６４３０３２５）株式会社フォーラムエイト (5)
【Ｆターム（参考）】
[ Back to top ]