説明

メディア信号の受信装置、送信装置及び送受信システム

動画像データ、音声データなどのメディア信号を伝送する送受信システムは、メディア信号を伝送路に送信する送信装置と、伝送路を介してメディア信号を受信する受信装置と、を有する。受信装置は、送信装置からのメディア信号を一時的に格納するバッファと、バッファの蓄積量を監視する監視部と、蓄積量が、予め定められたしきい値を超えるか、またはしきい値を下回った場合に、制御信号を伝送路に出力する制御部と、を備える。送信装置は、少なくとも2種類の異なるビットレートのメディア信号を格納する蓄積部と、受信装置から伝送路に出力された制御信号を入力し、制御信号に基づき、ビットレートを切り替えて蓄積部からメディア信号を出力する出力部と、を備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、データの送信・受信技術に関し、特に、無線伝送路を介した、符号化された画像・音声データの配信に好適に適用される受信装置、送信装置及び送受信システムに関する。
【背景技術】
【0002】
近年、動画像データを効率良く伝送する方法として、高能率圧縮による符号化データを伝送する方法が多く用いられている。動画像圧縮符号化情報を、パケット交換方式を利用したIP(Internet Protocol)ネットワークへ配信する方法は多数ある。無線伝送路を用いた動画像の配信について、種々の試みがなされている。以下の説明において、動画像や音声のデータのことを、メディア信号とも呼んでいる。
【0003】
動画像データや音声データの配信を、無線伝送路を用いて行う場合、無線伝送路での無線誤りや損失が発生した際には、失われたデータの再送要求を行う方法が一般的である。また、無線伝送路での通信では、個々の受信者の無線受信環境に基づいた送受信電力制御等を行って、データの通信品質を確保し、受信データの安定化を図っている。
【0004】
無線伝送路上での通信において、基地局と移動局のそれぞれのバッファでのデータ蓄積量を計測し、データ蓄積量の各々が第1、第2のしきい値の間になるように無線回線の数量を増減させることで、データを効率よく送受信できるようにした無線通信システムが知られている。そのような無線システムは、日本国特許公開:特開2001−359153号公報(JP,P2001−359153A)に開示されている。
【0005】
受信バッファの管理として、受信バッファに蓄積されるデータ量を監視し、蓄積データ量が上側のしきい値より大きくなったとき、受信クロックの周波数を高くし、蓄積データ量が下側のしきい値より小さくなったとき、受信クロックの周波数を低く設定するようにしたAV送受信システムも知られている。そのようなAV送受信システムは、日本国特許公開:特開2002−165148号公報(JP,P2002−165148A)に開示されている。
【0006】
パケット出力方式のパケット交換機であって、パケット蓄積量が予め定められたしきい値を越えたバッファメモリが発生すると、しきい値超過のバッファメモリの発生を知らせる情報を、蓄積量がしきい値以下になるまで送出し続けるものが、日本国特許公開:特開平7−79252号公報(JP,7−79252,A)に開示されている。
【0007】
ところで、無線伝送路を介して移動局である受信装置に動画像の配信を行う場合、その受信装置(移動局)が、ある無線エリアあるいは無線セルを越えて、隣接の無線エリアに移動する際には、受信装置が接続する基地局の切り替えを行う必要が生じ、ハンドオーバが発生する。ハンドオーバの期間中は、受信装置において、データの受信が停止してしまうため、大量のデータの欠落が生じてしまう。受信が停止すると、受信装置のバッファには新たには受信データが蓄積されないものの、バッファに既に格納されているデータは復号のためなどに次々と取り出される。その結果、バッファ中に滞留しているデータ量がゼロになって、バッファが「枯渇」してしまい、その結果、動画像の場合では、画面が停止するあるいは画面がフリーズする等の問題が発生し、一方、音声信号の場合では、音が途切れる、あるいは音声が無音になってしまう等の問題が生じる。
【0008】
このような動画像における画面の停止や音声における音の途切れは、ハンドオーバ時にのみ生じる問題でない。ベストエフォートネットワークにおいて、使用できる帯域幅が時間的に変動する場合にも、同様の問題が発生している。
【0009】
さらに、受信側で欠落したデータを、送信側から受信側に、ただ単に再送した場合、本来の受信データと再送データとを受信装置で同時に受信するためには、ネットワークリソースが不足してしまう。
【発明の開示】
【0010】
本発明の目的は、動画像や音声などのデータの配信に際して受信装置にハンドオーバが発生しても、受信品質の劣化を最小限に抑えることができる方法を提供することにある。
【0011】
本発明の別の目的は、動画像や音声などのデータの配信に際して受信装置にハンドオーバが発生しても、受信品質の劣化を最小限に抑えることができる装置を提供することにある。
【0012】
本発明のさらに別の目的は、ハンドオーバなどに起因する受信品質劣化を最小限に抑えることができるとともに、送信側及び受信側の双方における処理量を少なく抑えることができる方法及び装置を提供することにある。
【0013】
前記目的を達成する本発明によれば、受信装置は、受信側でメディア信号を格納するバッファの蓄積量を監視する監視手段と、蓄積量が予め定められたしきい値を超えるかまたは下回った場合に制御信号を伝送路に出力する制御手段とを有する。本発明の受信装置では、バッファからデータを取り出してデコードするデコーダを設け、バッファのデータが枯渇する前にデータが受信されるように制御することにより、デコードされるメディア信号の品質が維持される。
【0014】
また、本発明の受信装置は、受信状況を監視する監視手段と、受信状況が予め定められた状況となった場合に制御信号を伝送路に出力する制御手段とを有する構成としてもよい。予め定められた状況としては、無線ハンドオーバが例示される。
【0015】
本発明の送信装置は、少なくとも2種類の異なるビットレートのメディア信号を格納する蓄積部と、伝送路から制御信号を入力して、制御信号に基づき、メディア信号のビットレートを切り替えて蓄積部からメディア信号を出力する切替え部と、を有する。
【0016】
あるいは送信装置は、少なくとも2種類の異なるビットレートのメディア信号が格納された少なくとも2種類以上のファイルを格納する蓄積部と、伝送路から制御信号を入力し、制御信号に基づき、出力すべきファイルを切り替えて蓄積部から出力する出力部とを、備えていてもよい。
【0017】
あるいは送信装置は、メディア信号が格納された蓄積部と、伝送路から制御信号を入力し、制御信号に基づき、蓄積部からメディア信号をビットレートを変換して出力する変換部と、を有する構成としてもよい。
【0018】
あるいは送信装置は、蓄積部に格納されたメディア信号を、伝送路から入力した制御信号により、メディア信号が符号化された時間間隔と異なる時間間隔で読み出して出力する構成としてもよい。
【0019】
本発明の送受信システムは、上述した受信装置と上述した送信装置とを有し、伝送路を介して送信装置から受信装置にメディア信号が送られ、受信装置から送信装置に制御信号が送られるようにしたものである。
【0020】
例えば本発明の送受信システムでは、受信装置は、メディア信号を格納するバッファの蓄積量を監視する監視手段と、蓄積量が予め定められたしきい値を超えるか、またはしきい値を下回った場合に制御信号を伝送路に出力する制御手段と、を有し、送信装置は、少なくとも2種類の異なるビットレートのメディア信号を格納する蓄積部と、伝送路から制御信号を入力して、制御信号に基づき、ビットレートを切り替えて蓄積部からメディア信号を出力する手段と、を有する。この構成において、蓄積手段には、少なくとも2種類の異なるビットレートのメディア信号が格納された少なくとも2種類以上のファイルを蓄積するようにし、出力手段は、伝送路から制御信号を入力し、制御信号に基づき、蓄積手段からファイルを切り替えて出力するようにしてもよい。あるいは送信装置は、メディア信号が格納された蓄積手段と、伝送路から制御信号を入力し、制御信号に基づいて、メディア信号を蓄積手段からビットレートを変換して出力する変換手段と、を備えてもよい。あるいは送信装置は、メディア信号が蓄積された蓄積手段と、伝送路から制御信号を入力し、制御信号に基づいて、メディア信号が符号化された時間間隔と異なる時間間隔で蓄積手段からメディア信号を読み出して出力する出力手段と、を備えてもよい。
【0021】
本発明の別の送受信システムでは、受信装置は、受信状況を監視する監視手段と、受信状況が予め定められた状況となった場合に制御信号を伝送路に出力する制御手段と、を備え、送信装置は、少なくとも2種類の異なるビットレートのメディア信号が格納された少なくとも2種類のファイルを蓄積する蓄積手段と、伝送路から制御信号を入力し、制御信号に基づき、蓄積手段からファイルを切り替えて出力する手段と、を備える。あるいは送信装置は、メディア信号が格納された蓄積手段と、伝送路から制御信号を入力し、制御信号に基づき、蓄積手段からメディア信号をビットレートを変換して出力する変換手段とを有する。あるいは送信装置は、メディア信号が蓄積された蓄積手段と、伝送路から制御信号を入力し、制御信号に基づいて、メディア信号が符号化された時間間隔と異なる時間間隔で蓄積手段からメディア信号を読み出して出力する出力手段と、を備えてもよい。
【0022】
本発明によれば、動画像や音声の符号化されたデータを無線伝送路で配信するとき、無線ネットワーク帯域の変動や、画像及び/または音声データの受信装置が基地局間をハンドオーバすることによる受信品質の劣化、例えば画質や音質の乱れを最小限に抑えることができる。また、そのような効果を得るための送信側、受信側での追加の処理量を少なく抑えることができる。
【図面の簡単な説明】
【0023】
[図1]図1は、本発明に基づく画像データ配信システムの構成を示すブロック図である。
[図2]図2は、データ受信装置の第1の例の構成を示すブロック図である。
[図3]図3は、データ受信装置の第2の例の構成を示すブロック図である。
[図4]図4は、データ受信装置の第3の例の構成を示すブロック図である。
[図5]図5は、画像データ送信装置の第1の例の構成を示すブロック図である。
[図6]図6は、画像データ送信装置の第2の例の構成を示すブロック図である。
[図7]図7は、画像データ送信装置の第3の例の構成を示すブロック図である。
[図8]図8は、画像データ配信システムの第1の例の構成を示すブロック図である。
[図9]図9は、画像データ配信システムの第2の例の構成を示すブロック図である。
[図10]図10は、画像データ配信システムの第3の例の構成を示すブロック図である。
[図11]図11は、画像データ配信システムの第4の例の構成を示すブロック図である。
[図12]図12は、画像データ配信システムの第5の例の構成を示すブロック図である。
[図13]図13は、画像データ配信システムの第6の例の構成を示すブロック図である。
[図14]図14は、画像データ配信システムの第7の例の構成を示すブロック図である。
【発明を実施するための最良の形態】
【0024】
以下、本発明の好ましい実施の形態について、画像符号化データの送信及び受信に関連して説明するが、音声符号化データやオーディオ符号化データなどのリアルタイムメディア信号に対しても、以下で述べるものと同様の構成を用いて本発明を適用できることは、いうまでもない、
図1に示す本発明の好ましい実施形態の画像データ配信システムは、伝送路106を介して、データ送信装置からデータ受信装置に、メディア信号として、画像データ信号及び/又は音声データ信号を配信するものである。ここでは、メディア信号は画像データ信号を含んでいるものとし、データ送信装置は画像データ送信装置101であり、データ受信装置は画像データ受信装置107であるものとする。
【0025】
無線ネットワークとして構成された伝送路106では、無線物理層上にIP(Internet Protocol)網が構築されており、データは、プロトコルとしてUDP(User Datagram Protocol)/IPを用いて伝送されるものとする。すなわち伝送路106は、無線IP網である。画像データ送信装置101は、無線IP網に接続されるサーバであって、送信プロトコルとしてUDP/IPを用い、画像符号化データを送信する。画像データ受信装置107は、無線IP網に接続されるクライアント端末であり、UDP/IPを用いて画像符号化データを受信する。さらにこの配信システムは、画像データ受信装置107から伝送路106を介して画像データ送信装置101に対して制御信号が送信されるように構成されており、画像データ送信装置101は、後述するように、制御信号に応じて、ビットレートを切替えて画像符号化データを送信する。
【0026】
まず、画像データ受信装置107について説明する。
【0027】
図2は、画像データ受信装置の第1の例を示している。図2に示した画像データ受信装置107Aは、受信部109、制御部108、符号化データバッファ部111、デコーダ112を備えている。
【0028】
受信部109は、伝送路106から画像符号化データを受信し、符号化データバッファ部111に蓄積する。符号化データバッファ部111は、受信した画像符号化データを一時的に格納するものであって、伝送路106でのパケットゆらぎや、パケットの遅着を吸収した上で、受信パケットをデコーダ112へ出力する。
【0029】
制御部108は、符号化データバッファ部111のバッファの蓄積量を予め定められた時間間隔毎に計測する。ここでバッファの蓄積量とは、バッファ中に現在滞留しているデータの量を表すものである。制御部108は、符号化データバッファ部111のバッファが枯渇しそうになると、伝送路106に対して制御信号を送出する。すなわち、バッファの蓄積量が予め定められたしきい値を下回る場合か、このしきい値を越える場合に、制御部108は、制御信号を伝送路106を介してコンテンツデータを配信する側に送出する。配信する側は、一般的には、画像データ送信装置である。バッファの蓄積量がしきい値を下回る場合とは、バッファ内の滞留データ量が少なくなって、バッファが枯渇状態に近くなっている場合に対応する。ここで制御信号のフォーマットとしては、例えば、IETF(Internet Engineering Task Force)においてRFC(Request for Comments)として標準化されているRTCP(Real−time Transport Control Protocol)や、現在、IETFで規格策定中のRTCPの拡張版や、IETFにおいてRFCとして標準化されているRTSP(Real−time Streaming Protocol)などを用いることができる。制御信号に何を用いることができるかという点に関しては、以下の各例についても同様である。
【0030】
図3は、画像データ受信装置の第2の例を示している。図3において、図2と同一の構成要素は、同一の参照符号が付されており、以下では、重複する説明は繰り返さない。
【0031】
図3に示す画像データ受信装置107Bは、図2に示した画像データ受信装置107Aに、無線状態判別部110を追加したものである。無線状態判別部110は、受信部109とともに伝送路106に接続され、その出力が制御部108に接続されている。無線状態判別部110は、画像データ受信装置107Bにおける伝送路106の無線受信状態を監視し、受信状況が予め定められた状況となった場合に、その旨を制御部108に通知する。無線状態判別部110からの通知を受けた制御部108は、伝送路106に対し、制御信号を出力する。
【0032】
図4は、画像データ受信装置の第3の例を示している。図4において、図2と同一の構成要素は、同一の参照符号が付されており、以下では、重複する説明は繰り返さない。
【0033】
図4に示す画像データ受信装置107Cは、図2に示した画像データ受信装置107Aに、ハンドオーバ判別部210を追加したものである。ハンドオーバ判別部210は、伝送路106の無線状態を監視し、無線状態に基づき、受信装置107Cが所属すべき無線受信エリア(あるいはセル)が現在の無線受信エリアから隣接のエリアへの変更になったとき、すなわちハンドオーバとなった場合に、その旨を制御部108に伝える。制御部108は、ハンドオーバの通知を受けると、伝送路106に対して、制御信号を出力する。この画像データ受信装置107Cは、図3に示す画像データ受信装置107Bにおいて、無線状態判別部110が判別する無線受信状態がハンドオーバである場合に対応する。
【0034】
次に、画像データ送信装置101について説明する。
【0035】
図5は、画像データ送信装置の第1の例を示している。図5に示した画像データ送信装置101Aは、画像データ蓄積部103と、画像符号化データ送信部104と、制御部102とを備えている。
【0036】
画像データ蓄積部103は、少なくとも2種類の異なるビットレート(例えばB1及びB2)の画像データ信号を蓄積する。異なるビットレートの画像データ信号のそれぞれに対応して、画像データ蓄積部103には、蓄積領域121、122を備えている。ここで、画像データは、(1)予め蓄積された画像データ、(2)リアルタイムで符号化して生成された画像データ、のいずれかであるものとする。
【0037】
制御部102は、画像データ受信装置から伝送路106に送信された制御信号を伝送路106から入力し、その制御信号に基づき、画像データのビットレートを切り替えるための信号すなわちビットレート切り替え信号を出力する。
【0038】
画像符号化データ送信部104は、制御部102から出力されたビットレート切り替え信号に従い、画像データのビットレートを切り替えた上で、符号化し、伝送路106に出力する。
【0039】
図5に示した画像データ送信装置101Aにおいては、異なるビットレート(B1及びB2)の画像符号化データをそれぞれファイルとして画像データ蓄積部103に格納しておき、画像符号化データ送信部104は、伝送路106からの制御信号に従い、ファイルを切り替えて伝送路106に出力する構成としてもよい。この場合は、画像データ蓄積部103において、ビットレートごとの蓄積領域を明示的に区別して設ける必要はない。
【0040】
図6は、画像データ送信装置の第2の例を示している。図6において、図5と同一の構成要素は、同一の参照符号が付されており、以下では、重複する説明は繰り返さない。
【0041】
図6に示す画像データ送信装置101Bは、図5に示した画像データ送信装置101Aに、画像トランスコーダ205を備えて構成されたものである。画像トランスコーダ205は、画像符号化データを入力し、制御部102から制御信号を入力し、制御信号に従い、入力した画像符号化データのビットレートをリアルタイムまたは非リアルタイムに変換して、画像符号化データ送信部104に出力する。画像符号化データ送信部104は、ビットレート変換後の画像データを伝送路106に出力する。
【0042】
図7は、画像データ送信装置の第3の例を示している。図7において、図5と同一の構成要素は、同一の参照符号が付されており、以下では、重複する説明は繰り返さない。
【0043】
図7に示す画像データ送信装置101Cは、図5に示した画像データ送信装置101Aと同様のものであるが、画像符号化データ送信部の機能において異なっている。図7に示す画像データ送信装置101Cにおいて画像符号化データ送信部204は、制御部102から制御信号を入力し、制御信号に応じ、画像符号化データを、符号化の際に用いた時間間隔(またはクロック)Tとは異なる時間間隔(またはクロック)T’で読み出して、伝送路106に出力する。
【0044】
以上、本実施形態の画像データ配信システムで用いられる画像データ受信装置と画像データ送信装置を説明した。次に、これらの画像データ受信装置と画像データ送信装置を組み合わせて構成される画像データ配信システムの具体的な例を説明する。
【0045】
図8は、画像データ配信システムの第1の例を示している。この画像データ配信システムは、図2に示した画像データ受信装置107Aと、図5に示した構成の画像データ送信装置101Aとを備えている。
【0046】
この画像データ配信システムにおいて画像データ受信装置107Aでは、画像符号化データ受信部109が、伝送路106から画像符号化データを受信し、符号化データバッファ部111に蓄積する。符号化データバッファ部111は、画像符号化データにおける伝送路106でのパケットゆらぎやパケットの遅着を吸収した上で、画像符号化データをデコーダ112へ出力する。制御部108は、符号化データバッファ部111のバッファの蓄積量を予め定められた時間間隔毎に計測し、バッファが枯渇しそうになると、すなわち、バッファの蓄積量が所定のしきい値を下回った場合に、伝送路106に制御信号を送出する。
【0047】
画像データ送信装置101Aは、少なくとも2種類の異なるビットレート(例えばB1及びB2)の画像データ信号を画像データ蓄積部103に蓄積している。ここで、画像データは、(1)予め蓄積された画像データ、(2)リアルタイムで符号化し生成された画像データのいずれかであるものとする。
【0048】
画像データ送信装置101Aにおいて制御部102は、伝送路106から制御信号を入力し、制御信号に基づき、画像データのビットレートを切り替える信号を出力する。画像符号化データ送信部104は、制御信号に従い、画像データ蓄積部103に蓄積された画像符号化データのビットレートを切り替えて読み出し、伝送路106に出力する。
【0049】
したがって、このシステムにおいて、伝送路106を介して画像データ信号を受信する画像データ受信装置107Aにおける処理は、
画像データを格納するバッファの蓄積量を制御部108が監視するステップと、
バッファの蓄積量が予め定められたしきい値を超えるかまたは下回った場合に、制御部108が制御信号を伝送路106に出力するステップと、を有する。
【0050】
同様に、画像データ送信装置101Aにおける処理は、
少なくとも2種類の異なるビットレートの画像データを画像データ蓄積部103に格納するステップと、
伝送路106から制御信号を入力し、制御信号に基づき、ビットレートを切り替えて画像データを画像データ蓄積部103から出力するステップと、
画像データを符号化して伝送路106に送信するステップと、を有する。
【0051】
図8に示した画像データ配信システムにおいて、画像データ送信装置101Aとして、画像データを異なるビットレート(B1及びB2)のファイルとして画像データ蓄積部103に格納し、制御信号に従い画像符号化データ送信部104がファイルを切り替えて伝送路106に出力するものを使用することができる。そのような画像データ送信装置101Aを用いた場合には、画像データ送信装置101Aでの処理は、
少なくとも2種類の異なるビットレートの画像データが格納された少なくとも2種類以上のファイルを蓄積部103に格納するステップと、
伝送路106から制御信号を入力するステップと、
制御信号に基づき、ファイルを切り替えて蓄積部103から出力するステップと、
出力されたファイルの画像データを符号化して伝送路106に送信するステップと、
を有する。画像データ受信装置107Aでの処理は上述と同様である。
【0052】
図9は、画像データ配信システムの第2の例を示している。この画像データ配信システムは、図3に示した画像データ受信装置107Bと、図5に示した構成の画像データ送信装置101Aとを備えている。図9において、図8と同一の構成要素は、同一の参照符号が付されており、以下では、重複する説明は繰り返さない。
【0053】
画像データ受信装置107Bの無線状態判別部110は、伝送路106の無線受信状態を監視し、受信状況が予め定められた状況となった場合にその旨を制御部108に伝える。制御部108は、伝送路106に対し、制御信号を出力する。
【0054】
したがって、伝送路106を介して画像データ信号を受信する画像データ受信装置107Bにおける処理は、
無線状態判別部110が、伝送路106での受信状況を監視するステップと、
無線状態判別部110での監視の結果、受信状況が予め定められた状況となった場合に、制御部108が、制御信号を伝送路106に出力するステップと、を有する。
【0055】
画像データ送信装置101Aにおける処理は、
少なくとも2種類の異なるビットレートの画像データが格納された少なくとも2種類のファイルを蓄積部103に蓄積するステップと、
伝送路106から制御信号を入力するステップと、
制御信号に基づき、ファイルを切り替えて蓄積部103から出力するステップと、
出力されたファイルの画像データを符号化して伝送路106に送信するステップと、を有する。
【0056】
なお、図9に示した画像データ配信システムにおいて、画像データ受信装置107Bの代わりに、図4に示した画像データ受信装置107Cを用いることができる。画像データ受信装置107Cを用いたシステムの構成が、第3の例のシステムとして、図10に示されている。画像データ受信装置107Cを用いた場合には、無線受信状況がハンドオーバである場合に、制御信号が伝送路106を介して画像データ送信装置101Aに送られることになる。したがって、このシステムにおいて画像データ受信装置107Cにおける処理は、
ハンドオーバ判別部210が、伝送路106での受信状況を監視するステップと、
ハンドオーバ判別部210での監視の結果、ハンドオーバとなった場合に、制御部108が、制御信号を伝送路106に出力するステップと、を有する。画像データ送信装置101Aにおける処理は、図9に示したシステムでの場合と同じである。
【0057】
図11は、画像データ配信システムの第4の例を示している。この画像データ配信システムは、図2に示した画像データ受信装置107Aと、図6に示した構成の画像データ送信装置101Bとを備えている。図11において、図8と同一の構成要素は、同一の参照符号が付されており、以下では、重複する説明は繰り返さない。
【0058】
画像データ送信装置101Bにおいて、画像トランスコーダ205は、画像符号化データを入力し、制御部102から制御信号を入力し、制御信号に従い、入力した画像符号化データのビットレートを変換して、画像符号化データ送信部104に出力する。画像符号化データ送信部104は、ビットレート変換後の画像符号化データを伝送路106に出力する。
【0059】
この配信システムにおける処理として、伝送路106を介して画像データ信号を受信する画像データ受信装置107Aでの処理は、
画像データを格納するバッファの蓄積量を監視するステップと、
バッファの蓄積量が予め定められたしきい値を超えるか、または下回った場合に制御信号を伝送路106に出力するステップと、を有する。
【0060】
また画像データ送信装置101Bでの処理は、
伝送路106から制御信号を入力し、制御信号に基づき、画像データを格納する蓄積部から画像データをビットレートを変換して出力するステップと、
画像データを符号化して送信するステップと、を有する。
【0061】
図12は、画像データ配信システムの第5の例を示している。この画像データ配信システムは、図3に示した画像データ受信装置107Bと、図6に示した構成の画像データ送信装置101Bとを備えている。図12において、図8と同一の構成要素は、同一の参照符号が付されており、以下では、重複する説明は繰り返さない。
【0062】
画像データ受信装置107Bの無線状態判別部110は、伝送路106の無線受信状態を監視し、受信状況が予め定められた状況となった場合にその旨を制御部108に伝える。制御部108は、伝送路106に対し、制御信号を出力する。画像データ送信装置101Bの画像トランスコーダ205は、画像符号化データを入力し、制御部102から制御信号を入力し、制御信号に従い、蓄積部103から入力した画像符号化データをそのビットレートを変換して、画像符号化データ送信部104に出力する。画像符号化データ送信部104は、ビットレート変換後の画像符号化データを伝送路106に出力する。
【0063】
この配信システムにおいて画像データ受信装置107Bが実行する処理は、
伝送路106での受信状況を監視するステップと、
受信状況が予め定められた状況となった場合に制御信号を伝送路106に出力するステップと、を有する。
【0064】
画像データ送信装置101Bが実行する処理は、
伝送路106から制御信号を入力し、制御信号に基づき、画像データを格納する蓄積部103から画像データをビットレートを変換して出力するステップを有する。
【0065】
なお、図12に示した画像データ配信システムにおいて、画像データ受信装置107Bの代わりに、図4に示した画像データ受信装置107Cを用いることができる。画像データ受信装置107Cを用いた場合には、無線受信状況がハンドオーバである場合に、制御信号が伝送路106を介して画像データ送信装置101Bに送られることになる。
【0066】
図13は、画像データ配信システムの第6の例を示している。この画像データ配信システムは、図2に示した画像データ受信装置107Aと、図7に示した構成の画像データ送信装置101Cとを備えている。図13において、図8と同一の構成要素は、同一の参照符号が付されており、以下では、重複する説明は繰り返さない。
【0067】
画像データ受信装置107Aでは、画像符号化データ受信部109が、伝送路106から画像符号化データを受信し、符号化データバッファ部111に蓄積する。符号化データバッファ部111は、伝送路でのパケットゆらぎや、パケットの遅着を吸収した上で、画像符号化データをデコーダ112へ出力する。制御部108は、符号化データバッファ部111のバッファの蓄積量を予め定められた時間間隔毎に計測し、バッファが枯渇しそうになると、伝送路106に制御信号を送出する。
【0068】
画像データ送信装置101Cの画像符号化データ送信部204は、画像データ受信装置107Aから伝送路106に送信された制御信号を制御部102から入力し、画像符号化データを、符号化の際に用いた時間間隔(またはクロック)Tとは異なる時間間隔(またはクロック)T’で蓄積部103から読み出して、伝送路106に出力する。
【0069】
この配信システムにおいて画像データ受信装置107Aが実行する処理は、
画像データを格納するバッファの蓄積量を監視するステップと、
バッファの蓄積量が予め定められたしきい値を超えるか、または下回った場合に制御信号を伝送路106に出力するステップと、を有する。
【0070】
画像データ送信装置101Cが実行する処理は、
伝送路から制御信号を入力し、蓄積部103に格納された画像データを、制御信号により、画像データが符号化された時間間隔と異なる時間間隔で蓄積部103から読み出して出力するステップを含む。
【0071】
図14は、画像データ配信システムの第7の例を示している。この画像データ配信システムは、図3に示した画像データ受信装置107Bと、図7に示した構成の画像データ送信装置101Cとを備えている。図14において、図8と同一の構成要素は、同一の参照符号が付されており、以下では、重複する説明は繰り返さない。
【0072】
画像データ受信装置107Bの無線状態判別部110は、伝送路106の無線受信状態を監視し、受信状況が予め定められた状況となった場合に制御部108に伝え、制御部108は、伝送路106に対し、制御信号を出力する。画像データ送信装置101Cの画像符号化データ送信部204は、画像データ受信装置107Aから伝送路106に送信された制御信号を制御部102から入力し、画像符号化データを、符号化の際に用いた時間間隔(またはクロック)Tとは異なる時間間隔(またはクロック)T’で蓄積部103から読み出して、伝送路106に出力する。
【0073】
この配信システムにおいて画像データ受信装置107Bが実行する処理は、
伝送路106での受信状況を監視するステップと、
受信状況が予め定められた状況となった場合に制御信号を伝送路に出力するステップと、を有する。
【0074】
画像データ送信装置101Cが実行する処理は、
伝送路106から制御信号を入力し、蓄積部103に格納された画像データを、制御信号により、画像データが符号化された時間間隔と異なる時間間隔で蓄積部103から読み出して出力するステップを含む。
【0075】
なお、図14に示した画像データ配信システムにおいて、画像データ受信装置107Bの代わりに、図4に示した画像データ受信装置107Cを用いることができる。画像データ受信装置107Cを用いた場合には、無線受信状況がハンドオーバである場合に、制御信号が伝送路106を介して画像データ送信装置101Cに送られることになる。
【0076】
以上説明した画像データ配信システムにおいて、画像データ受信装置及び画像データ送信装置は、いずれも、コンピュータを用いて実現することができる。すなわち、コンピュータ上でプログラムを実行することによって、上述した画像データ受信装置、画像データ送信装置での処理及び制御を実現できる。ここでいうコンピュータには、プロセッサやコントローラも含まれる。プログラムは、ネットワークを介して、あるいは、そのプログラムを格納したCD−ROMのような記録媒体を介して、コンピュータに読み込まれる。本発明は、このようなプログラムあるいはプログラムプロダクトあるいは記録媒体をも包含するものである。さらには、そのようなプログラムを伝送する媒体も、本発明の範疇に含まれる。
【0077】
以下、本発明に基づくプログラムの例を説明する。
【0078】
第1のプログラムは、
伝送路から受信したメディア信号を格納するバッファの蓄積量を監視する処理と、
前記監視の結果に基づき、前記蓄積量が予め定められたしきい値を超えるか、または下回ったときに、所定の制御信号を前記伝送路に出力し、前記バッファのデータが枯渇する前にデータが受信されるように制御する処理と、
を受信装置を構成するコンピュータに実行させるプログラムである。
【0079】
第2のプログラムは、
伝送路からの受信状況を監視する処理と、
前記受信状況が予め定められた状況となった場合に、所定の制御信号を前記伝送路に出力する処理と、
を受信装置を構成するコンピュータに実行させるプログラムである。
【0080】
第3のプログラムは、
伝送路からの受信状況を監視する処理と、
前記受信状況が無線ハンドオーバとなった場合に、所定の制御信号を前記伝送路に出力する処理と、
を受信装置を構成するコンピュータに実行させるプログラムである。
【0081】
第4のプログラムは、
少なくとも2種類の異なるビットレートのメディア信号を蓄積部に格納しておく処理と、
伝送路から制御信号を入力して、前記制御信号に基づき、前記ビットレートを切り替えて前記メディア信号を前記蓄積部から出力する処理と、
前記出力されたメディア信号を符号化して前記伝送路に送信する処理と、
を送信装置を構成するコンピュータに実行させるプログラムである。
【0082】
第5のプログラムは、
少なくとも2種類の異なるビットレートのメディア信号が格納された少なくとも2種類以上のファイルを蓄積部に蓄積しておく処理と、
伝送路から制御信号を入力し、前記制御信号に基づき、ファイルを切り替えて前記蓄積部から出力する処理と、
前記出力されたファイルのメディア信号を符号化して前記伝送路に送信する処理と、
を送信装置を構成するコンピュータに実行させるプログラム。
【0083】
第6のプログラムは、
伝送路から制御信号を入力する処理と、
前記制御信号に基づき、蓄積部に格納されたメディア信号を、そのビットレートを変換して出力する処理と、
前記ビットレートが変換されたメディア信号を符号化して前記伝送路に送信する処理と、
を送信装置を構成するコンピュータに実行させるプログラムである。
【0084】
第7のプログラムは、
伝送路から制御信号を入力する処理と、
前記制御信号に基づき、入力信号が符号化された時間間隔と異なる時間間隔で、その入力信号を出力する処理と、
を送信装置を構成するコンピュータに実行させるプログラムである。
【0085】
以上本発明を上記実施形態に即して説明したが、本発明は、上記実施例の構成にのみ限定されるものでなく、本発明の原理の範囲内で当業者であればなし得るであろう各種変形、修正を含むことはもちろんである。
【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】


【特許請求の範囲】
【請求項1】
伝送路から受信したデータを一時的に格納するバッファと、
前記バッファにおける蓄積量を監視し、監視の結果に基づき、前記蓄積量が予め定められたしきい値を超えるか、または前記しきい値を下回った場合に、所定の制御信号を前記伝送路に出力する制御手段と、
を備える、受信装置。
【請求項2】
前記バッファからデータを取り出してデコードするデコーダを備え、
前記制御手段は、前記バッファのデータが枯渇する前に、データが受信されるように制御する、請求項1に記載の受信装置。
【請求項3】
伝送路からの受信状況を監視する監視手段と、
前記受信状況が予め定められた状況となった場合、所定の制御信号を前記伝送路に出力する制御手段と、
を備える、受信装置。
【請求項4】
前記予め定められた状況が無線ハンドオーバである、請求項3に記載の受信装置。
【請求項5】
少なくとも2種類の異なるビットレートのメディア信号を格納する蓄積部と、
伝送路から制御信号を入力して、前記制御信号に基づき、前記メディア信号のビットレートを切り替えて前記蓄積部から前記メディア信号を出力する切替手段と、
前記出力されたメディア信号を符号化して前記伝送路に送信する手段と、
を備える、送信装置。
【請求項6】
少なくとも2種類の異なるビットレートのメディア信号が格納された少なくとも2種類以上のファイルを格納する蓄積部と、
伝送路から制御信号を入力し、前記制御信号に基づき、出力すべきファイルを切り替えて前記蓄積部から出力する手段と、
前記出力されたファイルのメディア信号を符号化して前記伝送路に送信する手段と、
を備える、送信装置。
【請求項7】
メディア信号を格納する蓄積部と、
伝送路から制御信号を入力し、前記制御信号に基づき、前記蓄積部からビットレートを変換して前記メディア信号を出力する変換手段と、
前記変換手段から出力されたメディア信号を符号化して前記伝送路に送信する手段と、
を備える、送信装置。
【請求項8】
メディア信号を格納する蓄積部と、
伝送路から入力した制御信号に基づき、前記メディア信号が符号化された時間間隔と異なる時間間隔で、前記蓄積部から前記メディア信号を読み出して出力する手段と、
を備える、送信装置。
【請求項9】
メディア信号を伝送路に送信する送信装置と、前記送信装置から前記伝送路を介してメディア信号を受信する受信装置と、を有し、
前記受信装置は、
前記送信装置からのメディア信号を一時的に格納するバッファと、
前記バッファの蓄積量を監視する監視手段と、
前記蓄積量が、予め定められたしきい値を超えるか、または前記しきい値を下回った場合に、制御信号を前記伝送路に出力する制御手段と、
を備え、
前記送信装置は、
少なくとも2種類の異なるビットレートのメディア信号を格納する蓄積手段と、
前記受信装置から前記伝送路に出力された前記制御信号を入力し、前記制御信号に基づき、ビットレートを切り替えて前記蓄積手段から前記メディア信号を出力する手段と、
を備える、送受信システム。
【請求項10】
メディア信号を伝送路に送信する送信装置と、前記送信装置から前記伝送路を介してメディア信号を受信する受信装置と、を有し、
前記受信装置は、
前記送信装置からのメディア信号を一時的に格納するバッファと、
前記バッファの蓄積量を監視する監視手段と、
前記蓄積量が予め定められたしきい値を超えるか、または前記しきい値下回った場合に、制御信号を伝送路に出力する制御手段と、
を有し、
前記送信装置は、
少なくとも2種類の異なるビットレートのメディア信号が格納された少なくとも2種類以上のファイルを格納する蓄積手段と、
前記受信装置から前記伝送路に出力された前記制御信号を入力し、前記制御信号に基づき、読み出すファイルを切り替えて前記蓄積手段から出力する手段と、
前記出力されたファイルのメディア信号を符号化して前記伝送路に送信する手段と、
を備えている、ことを特徴とする送受信システム。
【請求項11】
メディア信号を伝送路に送信する送信装置と、前記送信装置から前記伝送路を介してメディア信号を受信する受信装置と、を有し、
前記受信装置は、
前記伝送路での受信状況を監視する監視手段と、
前記受信状況が予め定められた状況となった場合に制御信号を伝送路に出力する制御手段と、
を備え、
前記送信装置は、
少なくとも2種類の異なるビットレートのメディア信号が格納された少なくとも2種類のファイルを格納する蓄積手段と、
前記受信装置から前記伝送路に出力された前記制御信号を入力し、前記制御信号に基づき、読み出すファイルを切り替えて前記蓄積手段から出力する手段と、
前記出力されたファイルのメディア信号を符号化して前記伝送路に送信する手段と、
を備える、送受信システム。
【請求項12】
メディア信号を伝送路に送信する送信装置と、前記送信装置から前記伝送路を介してメディア信号を受信する受信装置と、を有し、
前記受信装置は、
メディア信号を格納するバッファの蓄積量を監視する監視手段と、
前記蓄積量が予め定められたしきい値を超えるか、または前記しきい値を下回った場合に制御信号を伝送路に出力する制御手段と、
を備え、
前記送信装置は、
メディア信号を格納する蓄積手段と、
前記受信装置から前記伝送路に出力された前記制御信号を入力し、前記制御信号に基づき、ビットレートを変換して前記蓄積手段から前記メディア信号を出力する変換手段と、
出力されたメディア信号を符号化して前記伝送路に送信する手段と、
を備える、送受信システム。
【請求項13】
メディア信号を伝送路に送信する送信装置と、前記送信装置から前記伝送路を介してメディア信号を受信する受信装置と、を有し、
前記受信装置は、
前記伝送路での受信状況を監視する監視手段と、
前記受信状況が予め定められた状況となった場合に制御信号を伝送路に出力する制御手段と、
を備え、
前記送信装置は、
メディア信号を格納する蓄積手段と、
前記受信装置から前記伝送路に出力された前記制御信号を入力し、前記制御信号に基づき、ビットレートを変換して前記蓄積手段から前記メディア信号を出力する変換手段と、
出力されたメディア信号を符号化して前記伝送路に送信する手段と、
を備える、送受信システム。
【請求項14】
メディア信号を伝送路に送信する送信装置と、前記送信装置から前記伝送路を介してメディア信号を受信する受信装置と、を有し、
前記受信装置は、
メディア信号を格納するバッファの蓄積量を監視する監視手段と、
前記バッファの蓄積量が予め定められたしきい値を超えるか、または下回った場合に制御信号を伝送路に出力する制御手段と、
を備え、
前記送信装置は、
メディア信号を格納する蓄積手段と、
前記受信装置から前記伝送路に出力された前記制御信号を入力し、前記蓄積手段に格納されたメディア信号を、前記制御信号に基づき、前記メディア信号が符号化された時間間隔と異なる時間間隔で前記蓄積手段から読み出して出力する手段と、
出力されたメディア信号を符号化して前記伝送路に送信する手段と、
を備える、送受信システム。
【請求項15】
メディア信号を伝送路に送信する送信装置と、前記送信装置から前記伝送路を介してメディア信号を受信する受信装置と、を有し、
前記受信装置は、
前記伝送路での受信状況を監視する監視手段と、
前記受信状況が予め定められた状況となった場合に制御信号を伝送路に出力する制御手段と、
を備え、
前記送信装置は、
メディア信号を格納する蓄積手段と、
前記受信装置から前記伝送路に出力された前記制御信号を入力し、前記蓄積手段に格納されたメディア信号を、前記制御信号に基づき、前記メディア信号が符号化された時間間隔と異なる時間間隔で前記蓄積手段から読み出して出力する手段と、
出力されたメディア信号を符号化して前記伝送路に送信する手段と、
を備える、送受信システム。
【請求項16】
伝送路から受信したメディア信号を格納するバッファの蓄積量を監視するステップと、
前記蓄積量が予め定められたしきい値を超えるか、または前記しきい値を下回った場合に、所定の制御信号を前記伝送路に出力するステップと、
前記バッファのデータが枯渇する前にデータが受信されるように制御するステップと、
を有する、受信方法。
【請求項17】
伝送路からの受信状況を監視するステップと、
前記受信状況が予め定められた状況となった場合に、所定の制御信号を前記伝送路に出力するステップと、
を有する、受信方法。
【請求項18】
前記予め定められた状況が無線ハンドオーバである、請求項17に記載の受信方法。
【請求項19】
少なくとも2種類の異なるビットレートのメディア信号を蓄積部に格納しておくステップと、
伝送路から制御信号を入力して、前記制御信号に基づき、前記ビットレートを切り替えて前記蓄積部から前記メディア信号を出力するステップと、
前記出力されたメディア信号を符号化して前記伝送路に送信するステップと、
を有する、送信方法。
【請求項20】
少なくとも2種類の異なるビットレートのメディア信号が格納された少なくとも2種類以上のファイルを蓄積部に蓄積しておくステップと、
伝送路から制御信号を入力し、前記制御信号に基づき、前記蓄積部からファイルを切り替えて出力するステップと、
前記出力されたファイルのメディア信号を符号化して前記伝送路に送信するステップと、
を有する、送信方法。
【請求項21】
伝送路から制御信号を入力するステップと、
前記制御信号に基づき、蓄積部に格納されたメディア信号をビットレートを変換して出力するステップと、
前記出力されたメディア信号を符号化して前記伝送路に送信するステップと、
を有する、送信方法。
【請求項22】
伝送路から制御信号を入力するステップと、
前記制御信号に基づき、メディア信号を蓄積する蓄積部から、前記メディア信号が符号化された時間間隔と異なる時間間隔で前記メディア信号を読み出して出力するステップと、
を有する、送信方法。
【請求項23】
伝送路を介してメディア信号を受信する受信装置において、前記メディア信号を格納するバッファの蓄積量を監視するステップと、
前記蓄積量が予め定められたしきい値を超えるか、または前記しきい値を下回った場合に、前記受信装置から制御信号を前記伝送路に出力するステップと、
前記メディア信号を前記伝送路に送信する送信装置において、少なくとも2種類の異なるビットレートのメディア信号を蓄積部に格納するステップと、
前記受信装置から前記伝送路に出力された前記制御信号が入力したときに、前記制御信号に基づき、前記蓄積部から前記メディア信号を前記ビットレートを切り替えて出力するステップと、
出力されたメディア信号を符号化して前記送信装置から前記伝送路に送信するステップと、
を有する、送受信方法。
【請求項24】
伝送路を介してメディア信号を受信する受信装置において、前記メディア信号を格納するバッファの蓄積量を監視するステップと、
前記バッファの蓄積量が予め定められたしきい値を超えるか、または前記しきい値を下回った場合に、前記受信装置から制御信号を伝送路に出力するステップと、
前記メディア信号を前記伝送路に送信する送信装置において、少なくとも2種類の異なるビットレートのメディア信号が格納された少なくとも2種類以上のファイルを蓄積部に格納するステップと、
前記受信装置から前記伝送路に出力された前記制御信号を前記送信装置に入力するステップと、
前記制御信号に基づき、前記蓄積部からファイルを切り替えて出力するステップと、
前記出力されたファイルのメディア信号を符号化して前記送信装置から前記伝送路に送信するステップと、
を有する、送受信方法。
【請求項25】
伝送路を介してメディア信号を受信する受信装置において、前記伝送路での受信状況を監視するステップと、
前記受信状況が予め定められた状況となった場合に制御信号を前記受信装置から伝送路に出力するステップと、
メディア信号を前記伝送路に送信する送信装置において、少なくとも2種類の異なるビットレートのメディア信号が格納された少なくとも2種類のファイルを蓄積部に蓄積するステップと、
前記受信装置から前記伝送路に出力された前記制御信号を前記送信装置に入力するステップと、
前記制御信号に基づき、前記蓄積部からファイルを切り替えて出力するステップと、
前記出力されたファイルのメディア信号を符号化して前記送信装置から前記伝送路に送信するステップと、
を有する、送受信方法。
【請求項26】
伝送路を介してメディア信号を受信する受信装置において、前記メディア信号を格納するバッファの蓄積量を監視するステップと、
前記バッファの蓄積量が予め定められたしきい値を超えるか、または前記しきい値を下回った場合に制御信号を前記受信装置から前記伝送路に出力するステップと、
メディア信号を前記伝送路に送信する送信装置において、前記受信装置から前記伝送路に出力された前記制御信号を入力するステップと、
前記制御信号に基づき、前記送信装置においてメディア信号を格納する蓄積部から、ビットレートを変換して前記メディア信号を出力するステップと、
前記出力されたメディア信号を符号化して前記送信装置から前記伝送路に送信するステップと、
を有する、送受信方法。
【請求項27】
伝送路を介してメディア信号を受信する受信装置において、前記伝送路での受信状況を監視するステップと、
前記受信状況が予め定められた状況となった場合に、制御信号を前記受信装置から前記伝送路に出力するステップと、
メディア信号を前記伝送路に送信する送信装置において、前記受信装置から前記伝送路に出力された前記制御信号を入力するステップと、
前記制御信号に基づき、前記送信装置においてメディア信号を格納する蓄積部から、ビットレートを変換して前記メディア信号を出力するステップと、
前記出力されたメディア信号を符号化して前記送信装置から前記伝送路に送信するステップと、
を有する、送受信方法。
【請求項28】
伝送路を介してメディア信号を受信する受信装置において、前記メディア信号を格納するバッファの蓄積量を監視するステップと、
前記蓄積量が予め定められたしきい値を超えるか、または前記しきい値を下回った場合に、制御信号を前記受信装置から前記伝送路に出力するステップと、
メディア信号を前記伝送路に送信する送信装置において、前記受信装置から前記伝送路に出力された前記制御信号を入力するステップと、
前記送信装置の蓄積部に格納されたメディア信号を、前記制御信号により、前記メディア信号が符号化された時間間隔と異なる時間間隔で前記蓄積手段から読み出して出力するステップと、
前記出力されたメディア信号を符号化して前記送信装置から前記伝送路に送信するステップと、
を有する、送受信方法。
【請求項29】
伝送路を介してメディア信号を受信する受信装置において、前記伝送路での受信状況を監視するステップと、
前記受信状況が予め定められた状況となった場合に制御信号を前記受信装置から前記伝送路に出力するステップと、
前記メディア信号を前記伝送路に送信する送信装置において、前記受信装置から前記伝送路に出力された前記制御信号を入力するステップと、
前記送信装置の蓄積部に格納されたメディア信号を、前記制御信号により、前記メディア信号が符号化された時間間隔と異なる時間間隔で前記蓄積手段から読み出して出力するステップと、
前記出力されたメディア信号を符号化して前記送信装置から前記伝送路に送信するステップと、
を有する、送受信方法。

【国際公開番号】WO2004/112420
【国際公開日】平成16年12月23日(2004.12.23)
【発行日】平成18年7月20日(2006.7.20)
【国際特許分類】
【出願番号】特願2005−506907(P2005−506907)
【国際出願番号】PCT/JP2004/008034
【国際出願日】平成16年6月9日(2004.6.9)
【出願人】(000004237)日本電気株式会社 (19,353)
【Fターム(参考)】