送信装置、送信方法、及びプログラム
【課題】データ伝送路の状況に拘らず、低遅延でデータを伝送する。
【解決手段】レート制御部２１２は、データを送信する際の送信レートを調整し、バッファ制御部２１１は、送信レートに基づいて、データを一時的に保存するための送信バッファ２１１aのサイズを変更し、送信バッファ２１１aに、送信バッファ２１１aのサイズよりも小さい追加可能サイズ以下のデータを一時的に保存させ、RTP送信部１１３に出力させる。そして、RTP送信部１１３は、送信レートで、送信バッファ２１１aにより出力されるデータを送信する。本開示は、例えば動画像等を送信してリアルタイムに再生させる送信装置等に適用できる。
【解決手段】レート制御部２１２は、データを送信する際の送信レートを調整し、バッファ制御部２１１は、送信レートに基づいて、データを一時的に保存するための送信バッファ２１１aのサイズを変更し、送信バッファ２１１aに、送信バッファ２１１aのサイズよりも小さい追加可能サイズ以下のデータを一時的に保存させ、RTP送信部１１３に出力させる。そして、RTP送信部１１３は、送信レートで、送信バッファ２１１aにより出力されるデータを送信する。本開示は、例えば動画像等を送信してリアルタイムに再生させる送信装置等に適用できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、送信装置、送信方法、及びプログラムに関し、特に、例えば、ネットワーク等のデータ伝送路の状況に拘わらず、低遅延でデータを送信できるようにした送信装置、送信方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、例えば、遠隔地においてロボットアームを操作して患者を手術する遠隔手術が行われつつある。この遠隔手術では、手術の様子を撮像して得られる動画像を見ながら、執刀医がロボットアームを操作するため、数フレーム以下の低遅延（ほぼリアルタイム）で、動画像が伝送されることが望ましい。
【０００３】
そこで、インターネット等のデータ伝送路を経由して、動画像等を、数フレーム以下の低遅延で送信（伝送）するために、動画像を構成する各ピクチャの数ライン毎に、ウェーブレット変換による符号化（圧縮）を行う符号化技術が提案されている（例えば、引用文献１参照）。
【０００４】
この符号化技術では、送信装置において、ピクチャ内のデータ全ての入力を待つことなく符号化を開始し、その結果得られる符号化データを送信することができる。また、受信装置においても、送信装置からの符号化データ全てを受信する前に復号（伸張）を開始することができる。
【０００５】
このため、ネットワークに輻輳（トラフィックの混雑）が生じていない場合、ネットワークの輻輳に起因する遅延が生じないので、符号化データの伝送時間（送信装置からネットワークを介して受信装置に到達するまでに要する時間）は十分に短いものとなり、送信装置は、低遅延で動画像を送信できる。
【０００６】
しかしながら、ネットワークに輻輳が生じている場合、ネットワークの輻輳に起因する遅延が生じてしまうため、符号化データの伝送時間が長くなってしまい、送信装置は、低遅延で動画像を送信することができなくなる。
【０００７】
そこで、ネットワークの輻輳状況に拘らず、伝送時間を十分に短くするために、ネットワークの輻輳状況に応じて、単位時間当りにおける符号化データの送信量を表す送信レートを調整するようにしたレート制御処理が存在する。
【０００８】
このレート制御処理では、送信装置において、内蔵する送信バッファに符号化データを一時的に保存し、レート制御処理により調整される送信レートで受信装置に送信するようにしている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００７−３１１９２４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
送信装置において、送信レートが、単位時間当りにおける符号化データの生成量を表すデータ生成レートよりも高い場合、送信バッファに保存される符号化データの生成量よりも、送信バッファから出力されて送信される送信量の方が多くなる。
【００１１】
この場合、符号化データが送信バッファ内に滞在する時間は十分に短くなるため、低遅延で動画像を送信することができる。
【００１２】
しかしながら、送信装置において、送信レートが、符号化データのデータ生成レートよりも低い場合には、送信バッファから出力されて送信される送信量よりも、送信バッファに保存される符号化データの生成量の方が多くなってしまう。
【００１３】
この場合、符号化データが送信バッファ内に滞在する時間は長くなるため、低遅延で動画像を送信することができなくなることが生じ得る。
【００１４】
このように、ネットワークの輻輳に応じて送信レートを調整することにより、ネットワークの輻輳に起因する遅延を回避することはできるものの、送信レートによっては、低遅延で動画像を送信することができなくなってしまう。
【００１５】
本開示は、このような状況に鑑みてなされたものであり、ネットワーク等のデータ伝送路の状況に拘らず、低遅延によりデータを伝送できるようにするものである。
【課題を解決するための手段】
【００１６】
本開示の一側面の送信装置は、データを送信する際の送信レートを調整するレート調整部と、前記送信レートに基づいて、前記データを一時的に保存するためのバッファのサイズを変更する変更部と、前記バッファに、前記バッファのサイズよりも小さい追加可能サイズ以下の前記データを一時的に保存させ、送信部に出力させるバッファ制御部と、前記バッファから出力される前記データを送信する前記送信部とを含む送信装置である。
【００１７】
前記変更部には、予め決められた送信バッファ時間にも基づいて、前記バッファのサイズを変更させ、前記バッファ制御部には、前記バッファに保存したときから前記送信バッファ時間以内に、前記データを前記送信部に出力させることができる。
【００１８】
前記レート調整部には、調整前の送信レートと、調整後の送信レートとの比を表すレート調整比率が、予め決められたレート調整比率下限値以上となるように、前記送信レートを調整させることができる。
【００１９】
前記レート調整部には、前記送信レートを調整したときから、予め決められた制限時間が経過するまで、新たな前記送信レートの調整を制限させることができる。
【００２０】
前記レート調整部には、前記送信レートを調整したときから、前記バッファに保存済みの前記データのデータサイズが、前記追加可能サイズ以下となるまでに要する最大時間である前記制限時間が経過するまで、新たな前記送信レートの調整を制限させることができる。
【００２１】
前記送信レートに基づいて、前記データを符号化して得られる符号化データを生成する際に用いる符号化パラメータを調整するパラメータ調整部と、前記データに対して、前記符号化パラメータに基づく符号化処理を行う符号化部とをさらに設けることができ、前記バッファ制御部には、前記バッファに、前記追加可能サイズ以下の前記符号化データを一時的に保存させ、前記送信部に出力させることができる。
【００２２】
前記パラメータ調整部には、前記送信レートに基づいて、前記符号化パラメータとして、所定の時間における前記符号化データの生成量を表すデータ生成レートを調整させることができる。
【００２３】
前記レート調整部には、前記データを送信する際に用いるデータ伝送路の状況を表す伝送品質情報に基づいて、前記送信レートを調整させることができる。
【００２４】
前記レート調整部には、前記データの損失率、往復伝送遅延、ジッタ、S/N比(signal to noise ratio)、又はBER(Bit Error Rate)の少なくとも１つを含む前記伝送品質情報に基づいて、前記送信レートを調整させることができる。
【００２５】
本開示の一側面の送信方法は、データを送信する送信装置の送信方法であって、データを送信する際の送信レートを調整するレート調整ステップと、前記送信レートに基づいて、前記データを一時的に保存するためのバッファのサイズを変更する変更ステップと、前記バッファに、前記バッファのサイズよりも小さい追加可能サイズ以下の前記データを一時的に保存させて出力させるバッファ制御ステップと、前記バッファから出力される前記データを送信する送信ステップとを含む送信方法である。
【００２６】
本開示の一側面のプログラムは、コンピュータを、データを送信する際の送信レートを調整するレート調整部と、前記送信レートに基づいて、前記データを一時的に保存するためのバッファのサイズを変更する変更部と、前記バッファに、前記バッファのサイズよりも小さい追加可能サイズ以下の前記データを一時的に保存させ、送信部に出力させるバッファ制御部と、前記バッファから出力される前記データを送信する前記送信部として機能させるためのプログラムである。
【００２７】
本開示によれば、データを送信する際の送信レートが調整され、前記送信レートに基づいて、前記データを一時的に保存するためのバッファのサイズが変更され、前記バッファに、前記バッファのサイズよりも小さい追加可能サイズ以下の前記データが一時的に保存されて出力され、出力される前記データが送信される。
【発明の効果】
【００２８】
本開示によれば、ネットワーク等のデータ伝送路の状況に拘らず、低遅延でデータを伝送することが可能となる。また、本開示によれば、バッファ内のデータを破棄することなく、低遅延でデータを伝送することが可能となる。
【図面の簡単な説明】
【００２９】
【図１】第１の実施の形態である第１の送受信システムの構成例を示すブロック図である。
【図２】主に、保存可能バッファサイズを変更するときの処理の一例を示す図である。
【図３】主に、保存可能バッファサイズを変更した際に、送信バッファ内のデータを破棄するときの一例を示す図である。
【図４】図１の送信装置が行う送信処理を説明するためのフローチャートである。
【図５】図４のステップＳ９における第１のレート制御処理の詳細を説明するためのフローチャートである。
【図６】図１の受信装置が行う受信処理を説明するためのフローチャートである。
【図７】保存可能バッファサイズを変更した際に、優先度に応じて送信バッファ内のデータを破棄するときの一例を示す図である。
【図８】第２の実施の形態であるNICの構成例を示すブロック図である。
【図９】図８のバッファ制御部が行う処理の一例を示す図である。
【図１０】図８のNICが行う送信処理を説明するためのフローチャートである。
【図１１】図１０のステップＳ７７における第２のレート制御処理の詳細を説明するためのフローチャートである。
【図１２】図８のNICが行う受信処理を説明するためのフローチャートである。
【図１３】第３の実施の形態である無線中継装置の構成例を示すブロック図である。
【図１４】第４の実施の形態である第２の送受信システムの構成例を示すブロック図である。
【図１５】図１４のバッファ制御部が行う処理の一例を示す図である。
【図１６】図１４のバッファ制御部２１１及びレート制御部２１２が行う処理の一例を説明するための図である。
【図１７】図１４の送信装置が行う送信処理を説明するためのフローチャートである。
【図１８】図１４のステップＳ１３９における第３のレート制御処理の詳細を説明するためのフローチャートである。
【図１９】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００３０】
以下、発明を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（送信バッファの保存可能バッファサイズを調整して、低遅延データ伝送を行うときの一例）
２．第２の実施の形態（NICを用いて低遅延データ伝送を行うときの一例）
３．第３の実施の形態（無線中継装置において低遅延データ伝送を行うときの一例）
４．第４の実施の形態(送信バッファに保存されたデータを破棄することなく、低遅延データ伝送を行うときの一例)
【００３１】
＜１．第１の実施の形態＞
[送受信システム１００の構成例]
図１は、第１の実施の形態である送受信システム１００を示している。
【００３２】
この送受信システム１００は、送信装置１０１、受信装置１０２、及びインターネット等のネットワーク１０３から構成される。
【００３３】
なお、この送受信システム１００は、送信装置１０１の送信レートRに拘らず、後述する送信バッファ１１２aの送信バッファ時間を一定時間T（以下、送信バッファ時間Tともいう）に維持するように制御して、低遅延でデータを送信できるようにするものである。
【００３４】
ここで、送信バッファ時間Tとは、データが送信バッファ１１２aに保存されたときから出力されるまでに要する最大時間を表す。なお、送信バッファ時間Tは、ユーザや送信装置１０１を製造する企業等により予め決定され、送信バッファ時間Tが短い程に、より低遅延によるデータ伝送が可能となる。
【００３５】
また、送受信システム１００では、例えば、IETF(Internet Engineering Task Force) RFC(Request for Comments)3550に記載のRTP(Real time Transport Protocol)/RTCP(Real time Transport Control Protocol)を用いて、送信装置１０１から受信装置１０２に対してデータの送信や、ネットワーク状況等の収集が行なわれる。
【００３６】
以下において、第１の実施の形態では、送信装置１０１から受信装置１０２に対して、低遅延で画像データを送信する場合について説明するが、低遅延で送信されるデータは、画像データに限定されず、低遅延で送信すべきデータであれば、どのようなデータであってもよい。
【００３７】
[送信装置１０１の構成例]
送信装置１０１は、符号化部１１１、送信バッファ１１２aを内蔵するバッファ制御部１１２、RTP送信部１１３、RTCP部１１４、レート制御部１１５、制御部１１６、及び操作部１１７から構成される。
【００３８】
符号化部１１１は、外部から入力される画像データ（ビデオINに対応）を符号化する符号化処理を行う。なお、符号化処理としては、画像データに対して、例えばウェーブレット変換を用いた符号化を施して圧縮するウェーブレット符号化処理を採用することができる。このウェーブレット符号化処理は、ITU-T H.264や、上述の引用文献１等に詳細に記載されている。
【００３９】
ここで、ウェーブレット変換とは、画像データを空間周波数の高い成分（高域成分）と低い成分（低域成分）に分割する分析フィルタリングを、分割により得られる低域成分に対して再帰的に繰り返すことにより、画像データを、空間周波数成分毎の係数データに変換する処理をいう。
【００４０】
なお、符号化部１１１において、例えば、高域成分の係数データほど圧縮率を小さくし、低域成分の係数データほど圧縮率を大きくするようにすれば、画像データの画質劣化の少ない符号化処理が可能となる。
【００４１】
また、符号化部１１１は、符号化処理により得られる符号化データを、複数のRTPパケットにパケット化（変換）してバッファ制御部１１２に出力する。なお、RTPパケットとは、IETF RFC3550に記載のRTPに則った形式のパケットを表す。
【００４２】
さらに、符号化部１１１は、バッファ制御部１１２からの、送信バッファ１１２a内にRTPパケットを保存可能な残りサイズを表す残りバッファサイズbr（図２）と、レート制御部１１５からの送信レートRに基づいて、符号化処理に用いる符号化パラメータを調整する。そして、符号化部１１１は、調整後の符号化パラメータを用いて、上述の符号化処理を行うようにしている。
【００４３】
ここで、符号化パラメータとは、符号化処理におけるデータの圧縮率や、単位時間当たりにおける、RTPパケットの生成量を表すデータ生成レート等を含むものである。
【００４４】
バッファ制御部１１２は、符号化部１１１からのRTPパケットを、送信バッファ１１２aに供給して保存させ、FIFO(First In First Out)で出力させる。
【００４５】
また、バッファ制御部１１２は、送信バッファ１１２a内にRTPパケットを保存したときから送信バッファ時間T以内に出力するように、レート制御部１１５からの送信レートRに応じて、送信バッファ１１２aにRTPパケットを保存可能なデータサイズを表す保存可能バッファサイズBを変更する。なお、保存可能バッファサイズBの変更方法は、本開示により開示する技術のポイント部分であるため、図２及び図３を参照して詳述する。
【００４６】
さらに、バッファ制御部１１２は、レート制御部１１５からの送信レートRで、送信バッファ１１２a内のRTPパケットを、RTP送信部１１３に送信（出力）させる平滑化送信を行う。これにより、RTP送信部１１３では、レート制御部１１５により調整された送信レートRで、RTPパケットを送信することができるようになる。
【００４７】
なお、平滑化送信としては、例えば、ITU-T Y.1221に記載されたトークンバケットビヘイビアやリーキーバケットビヘイビアを用いた平滑化送信を採用することができる。
【００４８】
送信バッファ１１２aは、例えば、バッファ制御部１１２からの制御に従って、平滑化送信を行う。すなわち、送信バッファ１１２aは、RTPパケットを出力する際の出力レートを、レート制御部１１５からの送信レートRに合わせるように平滑化して送信するための平滑化バッファとして機能する。
【００４９】
送信バッファ１１２aは、バッファ制御部１１２により調整される保存可能バッファサイズBで、符号化部１１１からのRTPパケットを保存し、FIFOで出力する。なお、送信バッファ１１２aは、十分に大きな記憶容量を有しており、調整され得る最大の保存可能バッファサイズB以上の記憶容量とされる。
【００５０】
RTP送信部１１３は、RTPに従って、バッファ制御部１１２からのRTPパケットに対して、タイムスタンプとして、例えばRTPパケットを受信装置１０２に送信する際の送信時刻等を付加する。そして、RTP送信部１１３は、タイムスタンプを付加したRTPパケットを、レート制御部１１５から通知される送信レートRで、ネットワーク１０３を介して受信装置１０２に送信する。
【００５１】
RTP送信部１１３では、タイムスタンプを付加したRTPパケットを送信するようにしたので、受信装置１０２において、送信装置１０１から送信されてくるRTPパケットの時間的関係（例えば、送信順序等）を把握することができる。このため、受信装置１０２において、RTPパケットの遅延ゆらぎ（ジッタ）等の影響を受けずに同期をとって、正確に画像データを再生することができる。
【００５２】
ここで、RTPは、実時間（リアルタイム）によるRTPパケットの送信を保証するものではない。また、RTPパケットの送信における優先度、設定、管理などは、RTPが提供するトランスポートサービスの範疇ではない。
【００５３】
このため、RTPパケットには、RTPパケットを送信したときから所定時間内に受信装置１０２に到達しない伝送遅延や、RTPパケットにエラー（誤り）が生じるパケット損失が生じ得る。
【００５４】
受信装置１０２において、伝送遅延やパケット損失が生じたRTPパケットは破棄される。そして、受信装置１０２において、伝送遅延及びパケット損失のいずれも生じていないRTPパケットのみを対象として再生等の処理が行われる。
【００５５】
なお、伝送遅延やパケット損失が生じたRTPパケットを破棄するようにしたのは、RTPパケットとしての画像データ（動画像）によるリアルタイム再生を実現するためである。
【００５６】
ここで、RTPパケットによる伝送遅延やパケット損失は、ネットワーク１０３の輻輳により引き起こされることが多い。すなわち、例えば、送信装置１０１において、高品質な画像データのRTPパケットを送信しても、ネットワーク１０３の輻輳の程度によっては、RTPパケットに対して、無視できないほどの伝送遅延やパケット損失が生じ得る。
【００５７】
この場合、受信装置１０２において、RTPパケットに伝送遅延やパケット損失が生じたことに起因して、多くのRTPパケットが破棄されてしまうので、高品質な画像データを再生できないことが生じ得る。
【００５８】
そこで、後述するレート制御部１１５では、ネットワーク１０３の状況（例えば、輻輳の程度等）に応じて送信レートRを調整するようにして、RTPパケットに生じる伝送遅延やパケット損失を抑制するようにしている。これにより、受信装置１０２において、ネットワーク１０３の状況に拘らず、送信装置１０１からの画像データの画質等を維持したまま、画像データを再生することができるようになる。
【００５９】
また、RTP送信部１１３は、RTPパケットの送信状況等に基づいて、RTPパケットの伝送状態を表すRTPパケット伝送情報を生成してRTCP部１１４に供給する。
【００６０】
RTCP部１１４は、RTP送信部１１３からのRTPパケット伝送情報に基づいて、送信装置１０１と受信装置１０２との間のデータ伝送路（例えば、ネットワーク１０３）の状況を表す伝送品質情報を生成し、レート制御部１１５に供給する。
【００６１】
ここで、伝送品質情報には、データ伝送路の状況を判断するために必要な情報が含まれる。
【００６２】
すなわち、伝送品質情報は、例えば、往復伝送遅延（RTT(Round Trip Time)）、伝送ジッタ、パケット損失率、S/N比(signal to noise ratio)、又はBER(Bit Error Rate)等の少なくとも１つを含む。なお、無線通信により伝送が行われる場合には、無線通信における電波強度も含めるようにしてもよい。
【００６３】
また、RTCP部１１４は、RTCPに従って、ネットワーク１０３を介して受信装置１０２のRTCP部１２４と通信を行い、送信装置１０１と受信装置１０２との間のデータ伝送路における伝送品質情報を収集して、レート制御部１１５に供給する。
【００６４】
なお、伝送品質情報は、RTCP部１１４と、後述する受信装置１０２のRTCP部１２４との間で、IETF RFC 3550に記載のRTCP Receiver Report(RR)パケットやRTCP Sender Report(SR)パケットを送受信することにより収集される。
【００６５】
レート制御部１１５は、RTCP部１１４からの伝送品質情報に基づいて、送信装置１０１からRTPパケットを送信する際の送信レートRを調整し、符号化部１１１、バッファ制御部１１２、及びRTP送信部１１３に通知する。
【００６６】
なお、レート制御部１１５による送信レートRの調整は、例えば、IETF RFC3448に記載の「TCP Friendly Rate Control(TFRC):Protocol Specification」、いわゆるTFRCに従って行われる。
【００６７】
このように、レート制御部１１５は、ネットワーク１０３の状況に応じて送信レートRを調整するようにしているので、ネットワーク１０３の輻輳に起因する遅延を回避することが可能となる。
【００６８】
制御部１１６は、例えば、操作部１１７からの操作信号に基づいて、符号化部１１１、バッファ制御部１１２、RTP送信部１１３、RTCP部１１４、及びレート制御部１１５の各部を制御する。
【００６９】
操作部１１７は、ユーザにより操作される操作ボタン等であり、ユーザ操作に応じた操作信号を、制御部１１６に供給する。
【００７０】
[受信装置１０２の構成例]
受信装置１０２は、RTP受信部１２１、受信バッファ１２２、復号部１２３、RTCP部１２４、制御部１２５、及び操作部１２６から構成される。
【００７１】
RTP受信部１２１は、RTP送信部１１３からネットワーク１０３を介して送信されてくるRTPパケットを受信し、受信バッファ１２２に供給して保存させる。また、RTP受信部１２１は、RTPパケットの受信状況等に基づいて、RTPパケットの伝送状態を表すRTPパケット伝送情報を生成してRTCP部１２４に供給する。
【００７２】
受信バッファ１２２は、RTP受信部１２１からのRTPパケットを一時的に保存する。なお、受信バッファ１２２は、オーバーフローしない程度に十分に大きな記憶容量を有するものとする。
【００７３】
復号部１２３は、受信バッファ１２２からRTPパケットを読み出し、読み出したRTPパケットを組み立てることにより、復号対象とされる符号化データを生成する。そして、復号部１２３は、生成した符号化データに対して、符号化部１１１で行なわれる符号化処理に対応する復号処理を行い、その結果得られる画像データを図示せぬモニタ等に出力する。
【００７４】
ここで、復号処理としては、例えば、ウェーブレット変換の逆変換による復号により伸張する復号処理等が採用される。
【００７５】
RTCP部１２４は、RTP受信部１２１からのRTPパケット伝送情報に基づいて、伝送品質情報を生成し、ネットワーク１０３を介して送信装置１０１のRTCP部１１４に送信する。
【００７６】
制御部１２５は、例えば、操作部１２６からの操作信号に基づいて、RTP受信部１２１、受信バッファ１２２、及び復号部１２３、RTCP部１２４の各部を制御する。
【００７７】
操作部１２６は、ユーザにより操作される操作ボタン等であり、ユーザ操作に応じた操作信号を、制御部１２５に供給する。
【００７８】
[保存可能バッファサイズの調整方法]
次に、図２及び図３を参照して、主にバッファ制御部１１２が行う処理について説明する。
【００７９】
図２は、主に、バッファ制御部１１２が行う処理の一例を示している。
【００８０】
バッファ制御部１１２は、レート制御部１１５からの送信レートRと、予め決められた送信バッファ時間Tに基づいて、次式（１）を用いて、保存可能バッファサイズBを変更する。
B(bit) = R(bps) × T(sec) ・・・（１）
【００８１】
具体的には、例えば、現在の送信レートRをRnとし、現在の保存可能バッファサイズBをBn（=Rn×T）とした場合、レート制御部１１５は、送信レートRnを送信レートRn+1に調整したことに応じて、送信レートRn+1を、符号化部１１１、バッファ制御部１１２及びRTP送信部１１３に通知する。
【００８２】
このとき、バッファ制御部１１２は、レート制御部１１５から通知された送信レートRn+1と、送信バッファ時間Tに基づいて、式（１）を用いて、保存可能バッファサイズBn+1（=Rn+1×T）を算出する。そして、バッファ制御部１１２は、送信バッファ１１２aの保存可能バッファサイズBnを保存可能バッファサイズBn+1に変更する。
【００８３】
なお、符号化部１１１は、レート制御部１１５からの送信レートRと、バッファ制御部１１２からの残りバッファサイズbrに基づき、符号化パラメータとして、例えば、RTPパケットのデータ生成レートを調整し、調整後のデータ生成レートによる符号化処理を行うようにしている。
【００８４】
これにより、符号化部１１１からのRTPパケットにより、送信バッファ１１２aのバッファ内データサイズbiが、保存可能バッファサイズBよりも大きくなることを防止するようにしている。送信バッファ１１２aにおいて、バッファ内データサイズbiが、保存可能バッファサイズB以下である限り、低遅延データ伝送は保証される。
【００８５】
なお、符号化部１１１は、レート制御部１１５からの送信レートRと、バッファ制御部１１２からの残りバッファサイズbrに基づいて、データ生成レートを調整するようにした。しかしながら、符号化部１１１が、レート制御部１１５による送信レートRの調整が行われたことに対応して、迅速にデータ生成レートを調整できる場合には、レート制御部１１５からの送信レートRのみを用いて、データ生成レートを、レート制御部１１５からの送信レートRに調整するようにしてもよい。
【００８６】
また、符号化部１１１が、レート制御部１１５からの送信レートRと、バッファ制御部１１２からの残りバッファサイズbrに基づいて、データ生成レートを調整するようにしたが、レート制御部１１５が、データ生成レートを算出して符号化部１１１に通知するようにしてもよい。
【００８７】
すなわち、例えば、レート制御部１１５は、バッファ制御部１１２から残りバッファサイズbrを取得し、取得した残りバッファサイズbrと、算出した送信レートRに基づいて、データ生成レートを算出し、符号化部１１１に通知するようにしてもよい。
【００８８】
ところで、送信レートRnが送信レートRn+1に調整されたことに応じて、保存可能バッファサイズBnが、バッファ内データサイズbiよりも小さな保存可能バッファサイズBn+1に調整されることが生じ得る。
【００８９】
この場合、送信バッファ１１２a内のバッファ内データサイズbiが、保存可能バッファサイズB n+1よりも大きくなってしまい、低遅延データ伝送を行うことができなくなってしまう。
【００９０】
そこで、第１の実施の形態では、バッファ内データサイズbiが、保存可能バッファサイズBn+1よりも大きくなってしまった場合には、バッファ内データサイズbiが、保存可能バッファサイズBn+1以下となるまで、送信バッファ１１２a内のRTPパケットを破棄するようにして、低遅延データ伝送を保証するようにしている。
【００９１】
なお、符号化部１１１が、送信レートRに拘らず、固定のデータ生成レートで符号化処理を行う場合や、調整後の送信レートRn+1に応じて、迅速にデータ生成レートを調整できなかった場合等には、符号化部１１１から送信バッファ１１２aに対して多くのRTPパケットが出力されることが生じ得る。
【００９２】
この場合についても同様に、送信バッファ１１２a内のバッファ内データサイズbiが、保存可能バッファサイズB n+1よりも大きくなってしまう。しかしながら、第１の実施の形態では、上述のように、バッファ内データサイズbiが、保存可能バッファサイズBn+1以下となるまで、送信バッファ１１２a内のRTPパケットは破棄されるので、やはり、低遅延データ伝送は保証される。
【００９３】
[送信バッファ１１２a内のデータを破棄するときの一例]
次に、図３は、保存可能バッファサイズBnが、バッファ内データサイズbiよりも小さな保存可能バッファサイズBn+1に変更される場合には、送信バッファ１１２a内のRTPパケットを一部分だけ破棄するときの一例を示している。
【００９４】
バッファ制御部１１２は、例えば、レート制御部１１５から、送信レートRn+1(=Rn/2)が供給されたことに応じて、式（１）に基づいて、図３Aに示される現在の保存可能バッファサイズBnを、図３Bに示される保存可能バッファサイズBn+1（=Bn/2）に変更する。
【００９５】
この場合、送信バッファ１１２aのバッファ内データサイズbiは、変更後の保存可能バッファサイズBn+1よりも大きなものとなる。したがって、バッファ制御部１１２は、図３Bに示されるように、送信バッファ１１２a内のRTPパケットを一部分（斜線で示す）だけ破棄して、バッファ内データサイズbiが、保存可能バッファサイズBn+1以下となるように調整する。
【００９６】
なお、送信バッファ１１２a内のRTPパケットを破棄する場合、任意のRTPパケットを破棄するようにしてもよいし、破棄する際の優先度を付加するようにして、優先度の高い順にRTPパケットを破棄するようにしてもよい。
【００９７】
すなわち、例えば、ウェーブレット変換により得られる周波数成分毎の係数データを含むRTPパケットにおいて、高域成分の係数データを含むRTPパケットほど、高い優先度を付加するようにして、RTPパケットの破棄を行うようにしてもよい。優先度に応じてRTPパケットを破棄する方法については、図７を参照して詳述する。
【００９８】
[送信装置１０１の動作説明]
次に、図４のフローチャートを参照して、送信装置１０１が行う送信処理(以下、第１の送信処理という)について説明する。
【００９９】
ステップＳ１において、符号化部１１１は、外部からの画像データに対して、レート制御部１１５からの送信レートRと、バッファ制御部１１２からの残りバッファサイズbrに基づき算出したデータ生成レートで符号化処理を行う。
【０１００】
ステップＳ２において、符号化部１１１は、符号化処理により得られる符号化データを、複数のRTPパケットにパケット化（変換）する。そして、符号化部１１１は、パケット化により得られる複数のRTPパケットを、バッファ制御部１１２に出力する。
【０１０１】
ステップＳ３において、バッファ制御部１１２は、符号化部１１１からのRTPパケットを、内蔵する送信バッファ１１２aに供給して保存させる。そして、バッファ制御部１１２は、レート制御部１１５から通知される送信レートRと同一の出力レートで、送信バッファ１１２aからRTP送信部１１３に対してRTPパケットを出力する。
【０１０２】
ステップＳ４において、バッファ制御部１１２は、送信バッファ１１２aにおける保存可能バッファサイズBが、バッファ内データサイズbi以上であるか否かを判定する。
【０１０３】
そして、ステップＳ４において、バッファ制御部１１２は、図３Bに示されるように、保存可能バッファサイズBがバッファ内データサイズbi以上ではない、すなわち、バッファ内データサイズbiが保存可能バッファサイズBよりも大きいと判定した場合、処理を、ステップＳ５に進める。
【０１０４】
ステップＳ５では、バッファ制御部１１２は、バッファ内データサイズbiが、保存可能バッファサイズB以下となるまで、送信バッファ１１２a内のRTPパケットを破棄して、処理をステップＳ１に戻し、それ以降同様の処理が行なわれる。
【０１０５】
なお、ステップＳ５では、RTPパケットに対して、破棄する際の優先度を付加するようにし、その優先度に応じてRTPパケットを破棄するようにしてもよい。なお、優先度に応じてRTPパケットを破棄する処理の詳細は、図７を参照して後述する。
【０１０６】
また、ステップＳ４において、バッファ制御部１１２は、図３Aに示されるように、保存可能バッファサイズＢがバッファ内データサイズbi以上であると判定した場合、処理をステップＳ６に進める。
【０１０７】
ステップＳ６において、RTP送信部１１３は、RTPパケットの送信状況等に基づいて、バッファ制御部１１２からのRTPパケットを送信可能であるか否かを判定し、送信可能であると判定するのを待って、処理をステップＳ７に進める。
【０１０８】
ステップＳ７において、RTP送信部１１３は、RTPに従って、バッファ制御部１１２からのRTPパケットを、レート制御部１１５からの送信レートRで、ネットワーク１０３を介して受信装置１０２に送信する。
【０１０９】
ステップＳ８において、RTCP部１１４は、RTCPに従って、ネットワーク１０３を介して受信装置１０２のRTCP部１２４と通信を行い、送信装置１０１と受信装置１０２との間のデータ伝送路における伝送品質情報を収集して、レート制御部１１５に供給する。
【０１１０】
ステップＳ９において、符号化部１１１がデータ生成レートを、バッファ制御部１１２が保存可能バッファサイズBを、レート制御部１１５が送信レートRを調整する第１のレート制御処理が行なわれる。この第１のレート制御処理の詳細は、図５のフローチャートを参照して後述する。
【０１１１】
ステップＳ１０において、制御部１１６は、操作部１１７からの操作信号等に基づいて、第１の送信処理を終了するか否かを判定し、第１の送信処理を終了しないと判定した場合、処理をステップＳ１に戻し、それ以降同様の処理が行なわれる。
【０１１２】
また、ステップＳ１０において、制御部１１６は、第１の送信処理を終了すると判定した場合、第１の送信処理は終了される。
【０１１３】
以上説明したように、第１の送信処理によれば、ネットワーク１０２の状況に応じて、送信レートRを調整するようにしたので、ネットワーク１０２の状況に拘らず、RTPパケットの伝送遅延やパケット損失を抑止することができる。よって、RTPパケットの伝送遅延やパケット損失に起因して、画像データの画質が劣化する事態を抑止することが可能となる。
【０１１４】
また、第１の送信処理によれば、送信レートRの調整に応じて、保存可能バッファサイズBを変更するようにして、送信バッファ１１２aの送信バッファ時間を一定時間Tに維持するようにした。このため、ネットワーク１０２の状況に拘らず、画像データを低遅延で伝送することが可能となる。
【０１１５】
[第１のパラメータ設定処理の詳細]
次に、図５のフローチャートを参照して、図４のステップＳ９における第１のレート制御処理の詳細を説明する。
【０１１６】
ステップＳ３１において、レート制御部１１５は、RTCP部１１４からの伝送品質情報を取得する。ステップＳ３２において、レート制御部１１５は、RTCP部１１４からの伝送品質情報に基づいて、送信レートRを調整し、符号化部１１１、バッファ制御部１１２及びRTP送信部１１３に供給する。
【０１１７】
ステップＳ３３において、バッファ制御部１１２は、レート制御部１１５からの送信レートRと、予め決められた送信バッファ時間Tに基づいて、内蔵する送信バッファ１１２aの保存可能バッファサイズBを算出して変更する。
【０１１８】
また、バッファ制御部１１２は、算出した保存可能バッファイサイズBから、送信バッファ１１２a内のバッファ内データサイズbiを差し引いて得られる残りバッファサイズbrを、符号化部１１１に供給する。
【０１１９】
ステップＳ３４において、符号化部１１１は、レート制御部１１５からの送信レートRと、バッファ制御部１１２からの残りバッファサイズbrに基づいて、図４のステップＳ１で行う符号化処理におけるデータ生成レートを算出する。
【０１２０】
以上で第１のレート制御処理は終了され、図４のステップＳ９にリターンされ、ステップＳ１０に進められる。
【０１２１】
[受信装置１０２の動作説明]
次に、図６のフローチャートを参照して、受信装置１０２が行う受信処理（以下、第１の受信処理という）について説明する。
【０１２２】
ステップＳ５１において、RTP受信部１２１は、RTP送信部１１３からネットワーク１０３を介して送信されてくるRTPパケットを受信し、受信バッファ１２２に供給して保存させる。
【０１２３】
ステップＳ５２において、復号部１２３は、受信バッファ１２２からRTPパケットを読み出し、読み出したRTPパケットを組み立てることにより、復号対象とされる符号化データを生成する。
【０１２４】
そして、ステップＳ５３において、復号部１２３は、生成した符号化データに対して、符号化部１１１で行なわれる符号化処理に対応する復号処理を行い、その結果得られる画像データを図示せぬモニタ等に出力する。
【０１２５】
ステップＳ５４において、RTCP部１２４は、RTCPに従って、ネットワーク１０３を介して受信装置１０２のRTCP部１１４と通信を行う。これにより、RTCP部１１４は、送信装置１０１と受信装置１０２との間のデータ伝送路における伝送品質情報を収集する。
【０１２６】
ステップＳ５５において、制御部１２５は、操作部１２６からの操作信号等に基づいて、第１の受信処理を終了するか否かを判定し、第１の受信処理を終了しないと判定した場合、処理をステップＳ５１に戻し、それ以降同様の処理が行なわれる。
【０１２７】
また、ステップＳ５５において、制御部１２５は、第１の受信処理を終了すると判定した場合、第１の受信処理は終了される。
【０１２８】
以上説明したように、第１の受信処理によれば、送信装置１０１において送信レートRを調整するために用いる伝送品質情報をRTCPに従って送信装置１０１に供給するようにした。
【０１２９】
このため、送信装置１０１では、受信装置１０２からの伝送品質情報に基づいて、送信レートRを調整できるようになるので、ネットワーク１０３等のデータ伝送路の状況に応じて生じる遅延を無視できる程度に小さくすることが可能となる。
【０１３０】
[優先度に応じたRTPパケットの破棄]
次に、図７は、RTPパケットに優先度を付加するようにし、付加された優先度に応じた順序でRTPパケットを破棄する場合の一例を示している。
【０１３１】
なお、図７において、RTPパケットL1は、画像データの高域成分（の係数データ）を符号化してパケット化したものを表す。また、RTPパケットL2は、画像データの低域成分を符号化してパケット化したものを表す。さらに、RTPパケットL3は、画像データの中域成分（高域成分と低域成分との間）を符号化してパケット化したものを表す。
【０１３２】
バッファ制御部１１２は、例えば、レート制御部１１５から、送信レートRn+1(=2/3×Rn)が供給されたことに応じて、式（１）に基づいて、図７Aに示される現在の保存可能バッファサイズBnを、図７Bに示される保存可能バッファサイズBn+1（=2/3×Bn）に調整する。
【０１３３】
この場合、図７Bに示されるように、送信バッファ１１２aのバッファ内データサイズbiは、調整後の保存可能バッファサイズBn+1よりも大きなものとなる。したがって、バッファ制御部１１２は、バッファ内データサイズbiが保存可能バッファサイズBn+1以下となるまで、送信バッファ１１２a内のデータのうち、例えば、高域成分のRTPパケットを優先的に破棄する。
【０１３４】
具体的には、例えば、バッファ制御部１１２は、図７Bに示されるように、高域成分のRTPパケットL1を破棄して、バッファ内データサイズbiが、保存可能バッファサイズBn+1以下となるように調整する。
【０１３５】
ここで、高域成分のRTPパケットから優先的に破棄するようにしたのは、画像データにおいて、低域成分ほど、画像データを、大まかな画像（例えば、画像内に表示された人物を、人物として大まかに認識できる程度の画像）として成立させるために重要な要素であることによる。
【０１３６】
なお、高域成分は、画像データを、大まかな画像から詳細な画像（例えば、画像内に表示された人物を詳細に認識できる程度の画像）に高画質化するために必要とされる。また、RTPパケットの優先度としては、その他、例えば、IETF RFC 2474"Definition of the Differentiated Services Field(DS Field) in the IPv4 and IPv6 Headers"に記載のIPヘッダ内の「Tos(Type of Service)」や「DSCP(DiffServ Code Point)」、IEEE 802.1Qタグ内の「Cos(Class of Service)」に記載された優先度を用いるようにしてもよい。
【０１３７】
ところで、第１の実施の形態では、低遅延でRTPパケットを送信する送信装置１０１について説明したが、例えば、送信装置１０１と受信装置１０２の機能をそれぞれ有する送受信装置に対して、本開示により開示した技術を適用することができる。
【０１３８】
また、符号化部１１１及び復号部１２３それぞれの機能をいずれも有さない送受信装置として、例えば、NIC(Network Interface Card)や、無線LAN(Local Area Network)アクセスポイント等の無線中継装置を、低遅延データ伝送が可能な送受信装置として採用することができる。
【０１３９】
次に、第２の実施の形態として、図８乃至図１２を参照して、低遅延データ伝送が可能なNICについて説明する。また、第３の実施の形態として、図１３を参照して、低遅延データ伝送が可能な無線中継装置について説明することとする。
【０１４０】
＜２．第２の実施の形態＞
次に、図８は、パーソナルコンピュータ１４１（以下、PC１４１という）のカードスロットに挿入されて接続されるNIC１４２の一例を示している。
【０１４１】
なお、PC１４１は、主に、符号化部１５１及び復号部１５２から構成されており、NIC１４２を介して、パケットの送受信を行う。
【０１４２】
符号化部１５１は、図１の符号化部１１１と同様の処理を行う。すなわち、符号化部１５１は、NIC１４２からの送信レートR及び残りバッファサイズbrに基づいて、データ生成レートを算出する。
【０１４３】
そして、符号化部１５１は、外部から入力される画像データ（ビデオIN）に対して、算出したデータ生成レートで符号化処理を行い、その結果得られる符号化データに対してパケット化を行う。符号化部１５１は、パケット化により得られるパケットを、NIC１４２に出力する。
【０１４４】
復号部１５２は、図１の復号部１２３と同様の処理を行う。すなわち、復号部１５２は、NIC１４２からのパケットを組み立てて、符号化データを生成し、生成した符号化データに対して復号処理を行い、その結果得られる画像データを、図示せぬモニタ等に出力する。
【０１４５】
NIC１４２は、受信部１６１、受信バッファ１６２、レート制御部１６３、送信バッファ１６４aを内蔵するバッファ制御部１６４、変調部１６５、及び送信部１６６から構成される。
【０１４６】
受信部１６１は、外部から送信されてくるパケットを受信し、受信バッファ１６２に供給して保存させる。また、受信部１６１は、パケットの受信状況等に基づいて、伝送品質情報を生成してレート制御部１６３に供給する。
【０１４７】
受信バッファ１６２は、受信部１６１からのパケットを一時的に保存して、パーソナルコンピュータ１４１の復号部１５２に出力する。
【０１４８】
レート制御部１６３は、受信部１６１及び送信部１６６からの伝送品質情報に基づいて、NIC１４２の送信レートR及び変調方式を調整する。そして、レート制御部１６３は、調整した送信レートRを、バッファ制御部１６４及び送信部１６６に供給する。また、レート制御部１６３は、調整した変調方式を、変調部１６５に供給する。
【０１４９】
バッファ制御部１６４は、図１のバッファ制御部１１２と同様の処理を行う。すなわち、バッファ制御部１６４は、図９に示されるように、レート制御部１６３からの送信レートRと、予め決められたバッファ送信時間Tに基づいて、次式（１）を用いて、保存可能バッファサイズBを変更する。
【０１５０】
また、バッファ制御部１６４は、送信バッファ１６４aにおいて、保存可能バッファサイズBからバッファ内データサイズbiを減算して得られる残りバッファサイズbrを生成する。そして、バッファ制御部１６４は、図９に示されるように、生成した残りバッファサイズbrと、レート制御部１６３からの送信レートRとを、符号化部１５１に供給する。
【０１５１】
さらに、バッファ制御部１６４は、図９に示されるように、符号化部１５１からのパケットを、内蔵する送信バッファ１６４aに供給して保存させる。
【０１５２】
バッファ制御部１６４は、レート制御部１６３からの送信レートRで、送信部１６６からパケットを、変調部１６５に送信（出力）させる平滑化送信を行う。
【０１５３】
送信バッファ１６４aは、図１の送信バッファ１１２aと同様の処理を行う。すなわち、例えば、送信バッファ１６４aは、バッファ制御部１６４からの制御に従って、平滑化送信を行う。すなわち、送信バッファ１６４aは、パケットを出力する際の出力レートを、レート制御部１６３からの送信レートRに合わせるように平滑化する平滑化バッファとして機能する。
【０１５４】
送信バッファ１６４aは、バッファ制御部１６４により調整される保存可能バッファサイズBで、符号化部１５１からのパケットを保存し、FIFOで出力する。なお、送信バッファ１６４aは、十分に大きな記憶容量を有しており、調整され得る最大の保存可能バッファサイズB以上の記憶容量とされる。
【０１５５】
変調部１６５は、バッファ制御部１６４からのパケットを、レート制御部１６３から通知された変調方式で変調し、変調後のパケットを送信部１６６に供給する。
【０１５６】
送信部１６６は、変調部１６５からのパケットを、レート制御部１６３から通知される送信レートRで送信する。また、送信部１６６は、パケットの送信状況等に基づいて、伝送品質情報を生成し、レート制御部１６３に供給する。
【０１５７】
[NIC１４２の動作説明]
次に、図１０のフローチャートを参照して、NIC１４２が行う送信処理（以下、第２の送信処理という）について説明する。
【０１５８】
ステップＳ７１において、バッファ制御部１６４は、符号化部１５１からのパケットを取得する。
【０１５９】
ステップＳ７２において、バッファ制御部１６４は、符号化部１５１からのパケットを、内蔵する送信バッファ１６４aに供給して保存させる。そして、バッファ制御部１６４は、レート制御部１６３から通知される送信レートRと同一の出力レートで、送信バッファ１６４aから変調部１６５に対してパケットを出力する。
【０１６０】
ステップＳ７３において、バッファ制御部１６４は、送信バッファ１６４a内の保存可能バッファサイズBが、送信バッファ１６４a内のバッファ内データサイズbi以上であるか否かを判定する。
【０１６１】
そして、ステップＳ７３において、バッファ制御部１６４は、保存可能バッファサイズBが、バッファ内データサイズbi以上ではないと判定した場合、処理を、ステップＳ７４に進める。
【０１６２】
ステップＳ７４では、バッファ制御部１６４は、バッファ内データサイズbiが、保存可能バッファサイズB以下となるように、送信バッファ１６４a内のパケットを破棄し、処理をステップＳ７１に戻し、それ以降同様の処理が行なわれる。
【０１６３】
なお、ステップＳ７４では、図７に示したように、パケットに対して、破棄する際の優先度を付加するようにし、その優先度に応じてパケットを破棄する順序を決めるようにしてもよい。
【０１６４】
また、ステップＳ７３において、保存可能バッファサイズBがバッファ内データサイズbi以上であると判定された場合、処理はステップＳ７５に進められる。
【０１６５】
ステップＳ７５において、変調部１６５は、バッファ制御部１６４からのパケットを、レート制御部１６３から通知される変調方式で変調し、変調後のパケットを送信部１６６に供給する。
【０１６６】
ステップＳ７６において、送信部１６６は、変調部１６５からのパケットを、レート制御部１６３から通知される送信レートRで送信する。
【０１６７】
ステップＳ７７において、レート制御部１６３が送信レートRを、バッファ制御部１６４が保存可能バッファサイズBを調整する第２のレート制御処理が行なわれる。この第２のレート制御処理の詳細は、図１１のフローチャートを参照して後述する。
【０１６８】
ステップＳ７８において、NIC１４２の図示せぬ制御部は、パーソナルコンピュータ１４１からの制御信号等に基づいて、第２の送信処理を終了するか否かを判定し、第２の送信処理を終了しないと判定した場合、処理をステップＳ７１に戻し、それ以降同様の処理が行なわれる。
【０１６９】
また、ステップＳ７９において、NIC１４２の図示せぬ制御部は、第２の送信処理を終了すると判定した場合、第２の送信処理は終了される。
【０１７０】
以上説明したように、第２の送信処理によれば、パケットを送受信するためのデータ伝送路の状況に応じて、送信レートRを調整するようにしたので、データ伝送路の状況に拘らず、パケットの伝送遅延やパケット損失を抑止することができる。よって、パケットの伝送遅延やパケット損失に起因して、画像データの画質が劣化する事態を抑止することが可能となる。
【０１７１】
また、第２の送信処理によれば、送信レートRの調整に応じて、保存可能バッファサイズBを変更するようにして、送信バッファ１６４aの送信バッファ時間を一定時間Tに維持するようにした。このため、データ伝送路の状況に拘らず、画像データを低遅延で伝送することが可能となる。
【０１７２】
次に、図１１のフローチャートを参照して、図１０のステップＳ７７における第２のレート制御処理の詳細を説明する。
【０１７３】
ステップＳ９１において、レート制御部１６３は、受信部１６１及び送信部１６６から伝送品質情報を取得する。なお、受信部１６１は、パケットの受信状況等に基づいて伝送品質情報を生成してレート制御部１６３に供給し、送信部１６６は、パケットの送信状況等に基づいて伝送品質情報を生成してレート制御部１６３に供給する。
【０１７４】
ステップＳ９２において、レート制御部１６３は、受信部１６１及び送信部１６６からの伝送品質情報に基づいて、送信レートR及び変調方式を調整する。そして、レート制御部１６３は、調整後の送信レートRを、バッファ制御部１６４及び送信部１６６に供給し、調整後の変調方式を、変調部１６５に供給する。
【０１７５】
ステップＳ９３において、バッファ制御部１６４は、レート制御部１６３からの送信レートRと、予め決められた送信バッファ時間Tに基づいて、式（１）を用いて、送信バッファ１６４aの保存可能バッファサイズBを算出して調整する。
【０１７６】
ステップＳ９４において、バッファ制御部１６４は、算出した保存可能バッファイサイズBから、送信バッファ１６４a内のデータのバッファ内データサイズbiを差し引いて得られる残りバッファサイズbrを、符号化部１５１に通知する。また、バッファ制御部１６４は、レート制御部１６３からの送信レートRを、符号化部１５１に通知する。これにより、符号化部１５１は、バッファ制御部１６４から通知される送信レートR及び残りバッファサイズbrに基づいて、データ生成レートを算出し、算出したデータ生成レートで符号化処理を行う。
【０１７７】
以上で第２のレート制御処理は終了され、図１０のステップＳ７７にリターンされ、ステップＳ７８に進められる。
【０１７８】
次に、図１２のフローチャートを参照して、NIC１４２が行う受信処理（以下、第２の受信処理という）について説明する。
【０１７９】
ステップＳ１１１において、受信部１６１は、外部から送信されてくるパケットを受信する。ステップＳ１１２において、受信部１６１は、受信したパケットを、受信バッファ１６２に供給して保存させる。
【０１８０】
ステップＳ１１３において、受信バッファ１６２は、受信部１６１からのパケットを一時的に保存して、パーソナルコンピュータ１４１の復号部１５２に出力する。
【０１８１】
ステップＳ１１４において、NIC１４２の図示せぬ制御部は、パーソナルコンピュータ１４１からの制御信号等に基づいて、第２の受信処理を終了するか否かを判定し、第２の受信処理を終了しないと判定した場合、処理をステップＳ１１１に戻し、それ以降同様の処理が行なわれる。
【０１８２】
また、ステップＳ１１４において、NIC１４２の図示せぬ制御部は、第２の受信処理を終了すると判定した場合、第２の受信処理は終了される。
【０１８３】
＜３．第３の実施の形態＞
次に、図１３は、低遅延データ伝送が可能な無線中継装置の一例を示している。
【０１８４】
この無線中継装置１８１は、例えば、ネットワークとパーソナルコンピュータとの間で送受信される画像データ等を中継する無線LANアクセスポイントである。
【０１８５】
無線中継装置１８１は、宛先解析部１９１、通常伝送デバイス１９２1乃至１９２N、及び低遅延伝送デバイス１９３から構成される。
【０１８６】
宛先解析部１９１は、通常伝送デバイス１９２1乃至１９２N、及び低遅延伝送デバイス１９３それぞれからのパケットに含まれるヘッダに記載された宛先アドレス（例えば、MACアドレス）の解析を行う。
【０１８７】
そして、宛先解析部１９１は、宛先アドレスの解析により得られるパケットの宛先（を表す情報）を、パケットの供給先（通常伝送デバイス１９２1乃至１９２N、又は低遅延伝送デバイス１９３のいずれか）に返送する。
【０１８８】
通常伝送デバイス１９２1は、パケットを受信し、宛先解析部１８１に供給する。また、通常伝送デバイス１９２1は、宛先解析部１８１からの宛先に対して、受信したパケットを送信する。なお、通常伝送デバイス１９２2乃至１９２Nは、通常伝送デバイス１９２1と同様に構成されるため、それらの説明は省略する。
【０１８９】
低遅延伝送デバイス１９３は、パケットを受信し、宛先解析部１８１に供給する。また、低遅延伝送デバイス１９３は、宛先解析部１８１からの宛先に対して、受信したパケットを送信する。なお、低遅延伝送デバイス１９３は、図８のNIC１４２と同様に構成されているため、宛先解析部１８１からの宛先に対して、低遅延でパケットを送信することができる。
【０１９０】
＜４．第４の実施の形態＞
[送受信システム２００の構成例]
図１４は、第４の実施の形態である送受信システム２００の構成例を示している。
【０１９１】
なお、この送受信システム２００は、第１の実施の形態である送受信システム１００と同様に構成されている部分については、同一の符号を付すようにしたので、それらの部分についての説明は、適宜省略する。
【０１９２】
すなわち、この送受信システム２００は、図１の送信装置１０１に代えて送信装置２０１が設けられている他は、第１の実施の形態である送受信システム１００と同様に構成される。
【０１９３】
そして、送信装置２０１は、バッファ制御部１１２、及びレート制御部１１５に代えて、送信バッファ２１１aを内蔵するバッファ制御部２１１、及びレート制御部２１２が設けられている他は、図１の送信装置１０１と同様に構成される。
【０１９４】
ここで、この送受信システム２００は、図１５Aに示されるように、送信バッファ２１１aにおいて、保存可能バッファサイズBnよりも小さな追加可能バッファサイズBsn以下のデータサイズで、送信バッファ２１１aにデータ（RTPパケット）を保存させるようにするものである。
【０１９５】
そして、送信レートRnから送信レートRn+1に調整されたことに応じて、図１５Bに示されるように、保存可能バッファサイズBnを、追加可能バッファサイズBsn以上の保存可能バッファサイズBn+1、すなわち、バッファ内データサイズbi以上の保存可能バッファサイズBn+1に変更するものである。
【０１９６】
第４の実施の形態では、このようにして、保存可能バッファサイズBn+1が、バッファ内データサイズbiよりも小さいサイズとなる事態を防止して、送信バッファ２１１a内のデータを破棄することなく、低遅延データ伝送を実現するものである。
【０１９７】
すなわち、第４の実施の形態では、送信バッファ２１１a内のデータが破棄されることを防止できる点が、第１の実施の形態とは大きく異なる。
【０１９８】
なお、第４の実施の形態では、保存可能バッファサイズBn+1を、追加可能バッファサイズBsn以上とするために、送信レートRを調整する際に、一定の制約が課せられることとなる。
【０１９９】
図１４において、バッファ制御部２１１は、保存可能バッファサイズBではなく、追加可能バッファサイズBsを超えない範囲内で、符号化部１１１からのRTPパケットを送信バッファ２１１aに保存して、FIFOで出力させる。
【０２００】
また、バッファ制御部２１１は、レート制御部２１２からの送信レートRに基づいて、保存可能バッファサイズB及び追加可能バッファサイズBsを変更する。なお、バッファ制御部２１１においては、送信バッファ２１１a内のRTPパケットを破棄することなく、送信バッファ２１１a内にRTPパケットを保存したときから送信バッファ時間T以内に出力できるように、保存可能バッファサイズB及び追加可能バッファサイズBsが変更される。
【０２０１】
送信バッファ２１１aは、保存可能バッファサイズBよりも小さな追加可能バッファサイズBsの範囲内で、符号化部１１１から出力されるRTPパケットを保存し、FIFOでRTP送信部１１３に出力する。
【０２０２】
レート制御部２１２は、RTCP部１１４からの伝送品質情報に基づき、一定の制約下で、送信レートRを調整し、符号化部１１１、RTP送信部１１３及びバッファ制御部２１１に通知する。
【０２０３】
ここで、例えば、レート制御部２１２において、送信レートRを変更する際の制約として、送信レートRnを送信レートRn+1に変更したときのレート変更比率L(=Rn+1/Rn)が、予め決められたレート変更比率下限値Lmin以上であるという制約が課される。
【０２０４】
また、例えば、レート制御部２１２において、送信レートRを調整（変更）する際の制約として、送信レートRを低くするように変更したときからレート変更最小間隔Ti(sec)だけ、送信レートRの変更が制限（禁止）される。
【０２０５】
[バッファ制御部２１１及びレート制御部２１２の詳細]
次に、図１６は、バッファ制御部２１１及びレート制御部２１２が行う処理の詳細の一例を示している。
【０２０６】
バッファ制御部２１１は、レート制御部２１２からの送信レートRと、予め決められた送信バッファ時間Tに基づいて、上述の式（１）を用いて保存可能バッファサイズBを変更する。
【０２０７】
また、バッファ制御部２１１は、送信バッファ閾値時間を、予め決められた一定時間Ts（以下、送信バッファ閾値時間Tsともいう）に維持するように、送信バッファ閾値時間Tsと、レート制御部２１２からの送信レートRに応じて、次式（２）を用いて、追加可能バッファサイズBsを変更する。
Bs(bit) = R(bps) × Ts(sec) ・・・（２）
【０２０８】
ここで、送信バッファ閾値時間Tsとは、追加可能バッファサイズBs以下のバッファ容量を満たす範囲内で、データが送信バッファ２１１aに保存されたときから出力されるまでに要する最大時間を表す。なお、送信バッファ閾値時間Tsは、送信バッファ時間Tよりも小さな値とされる。
【０２０９】
レート制御部２１２は、RTCP部１１４からの伝送品質情報に基づいて、一定の制約下で、送信レートRを調整する。
【０２１０】
すなわち、例えば、レート制御部２１２は、送信レートRnを送信レートRn+1に変更（調整）したときのレート変更比率L(=Rn+1/Rn)が、レート変更比率下限値Lmin以上となるという変更条件を満たす範囲内で、送信レートRn+1を決定する。ここで、レート変更比率下限値Lminは、送信バッファ時間T及び送信バッファ閾値時間Tsに基づいて、次式（３）により決定される。
Ts ≦ T×Lmin ・・・（３）
【０２１１】
具体的には、例えば、レート制御部２１２は、図１のレート制御部１１５と同様にして、RTCP部１１４からの伝送品質情報に基づいて、送信レートRcを算出する。そして、レート制御部２１２は、送信レートRcが、上述の変更条件を満たす場合には、次式（４）に示されるように、送信レートRcをそのまま、変更後の送信レートRn+1に決定する。
Rc/Rn ≧ Lminの場合Rn+1 = Rc ・・・（４）
【０２１２】
この場合、レート変更比率Lはレート変更比率下限値Lmin以上となり、変更条件を満たす。
【０２１３】
また、レート制御部２１２は、上述の変更条件を満たさない場合には、次式（５）に示されるように、送信レートRcを、変更条件を満たすように修正した上で、変更後の送信レートRn+1に決定する。
Rc/Rn < Lminの場合Rn+1 = Lmin×Rn ・・・（５）
【０２１４】
この場合、レート変更比率Lはレート変更比率下限値Lminとなり、変更条件を満たす。
【０２１５】
なお、送信レートRが低くなるように調整された場合、図１５Bに示されるように、バッファ内データサイズbiが追加可能バッファサイズBsn+1よりも大きくなってしまうことが生じ得る。したがって、この場合、レート制御部２１２において、バッファ内データサイズbiが追加可能バッファサイズBsn+1以下となるまで、送信レートRの調整が制限される。
【０２１６】
具体的には、例えば、レート制御部２１２は、送信レートRを低くするように調整した場合、送信レートRを調整したときから、次式（６）に示されるレート変更最小間隔Ti(sec)を経過するまでの間、送信レートRの調整を制限（禁止）する。
Ti = T - Ts ・・・（６）
【０２１７】
ここで、レート変更最小間隔Tiは、送信レートRnが送信レートRn+1に変更されたときから、バッファ内データサイズbiが追加可能バッファサイズBsn+1以下となるまでに要する最大時間を表す。
【０２１８】
なお、送信レートRが高くなるように調整された場合、バッファ内データサイズbiが追加可能バッファサイズBsn+1よりも大きくなることはないので、レート制御部２１２において、送信レートRの調整を制限する必要はない。
【０２１９】
なお、第１の実施の形態では、符号化部１１１は、バッファ内データサイズbiが保存可能バッファサイズBよりも大きくなることを防止するように符号化パラメータを調整するようにした。この点について、第４の実施の形態では、符号化部１１１は、バッファ内データサイズbiが追加可能バッファサイズBsよりも大きくなることを防止するように符号化パラメータを調整する点が異なる。また、符号化部１１１は、上述の図１５Bにも示されるように、バッファ制御部２１１からの残りバッファサイズbr等に基づいて、バッファ内データサイズbiが追加可能バッファサイズBs以下となるまでは、RTPパケットをバッファ制御部２１１（送信バッファ２１１a）に出力しないものとする。
【０２２０】
[送信装置２０１の動作説明]
次に、図１７のフローチャートを参照して、送信装置２０１が行う送信処理（以下、第３の送信処理という）について説明する。
【０２２１】
ステップＳ１３１において、レート制御部２１２は、ユーザの設定操作等に応じて、送信バッファ時間T及び送信バッファ閾値時間Tsを設定する。また、レート制御部２１２は、設定された送信バッファ時間T及び送信バッファ閾値時間Tsに基づいて、式（３）を用いて、レート変更比率下限値Lminを設定する。
【０２２２】
さらに、レート制御部２１２は、設定された送信バッファ時間T及び送信バッファ閾値時間Tsに基づいて、式（６）を用いて、レート変更最小間隔Tiを設定する。
【０２２３】
ステップＳ１３２において、符号化部１１１は、外部からの画像データに対して、レート制御部２１２からの送信レートRに応じて算出したデータ生成レートで符号化処理を行う。
【０２２４】
ステップＳ１３３において、符号化部１１１は、例えば、符号化処理により得られる符号化データを、複数のRTPパケットにパケット化（変換）するパケット化を行い、その結果得られる複数のRTPパケットを、バッファ制御部２１１に出力する。
【０２２５】
ステップＳ１３４において、バッファ制御部２１１は、符号化部１１１からのRTPパケットを、内蔵する送信バッファ２１１aに供給して保存させる。そして、バッファ制御部２１１は、レート制御部２１２から通知される送信レートRと同一の出力レートで、送信バッファ２１１aからRTP送信部１１３に対してRTPパケットをFIFOで出力する。
【０２２６】
ステップＳ１３５において、RTP送信部１１３は、RTPパケットの送信状況等に基づいて、バッファ制御部１１２からのRTPパケットを送信可能であるか否かを判定し、送信可能であると判定するのを待って、処理をステップＳ１３６に進める。
【０２２７】
ステップＳ１３６において、RTP送信部１１３は、RTPに従って、バッファ制御部１１２からのRTPパケットを、レート制御部２１２により通知される送信レートRで、ネットワーク１０３を介して受信装置１０２に送信する。
【０２２８】
ステップＳ１３７において、RTCP部１１４は、RTCPに従って、ネットワーク１０３を介して受信装置１０２のRTCP部１２４と通信を行い、送信装置１０１と受信装置１０２との間のデータ伝送路における伝送品質情報を収集して、レート制御部２１２に供給する。
【０２２９】
ステップＳ１３８において、レート制御部２１２は、前回の送信レートRの変更からレート変更最小間隔Ti以上経過したか否かを判定し、レート変更最小間隔Ti以上経過していないと判定した場合、処理をステップＳ１３５に戻し、それ以降同様の処理を繰り返す。
【０２３０】
また、ステップＳ１３８において、レート制御部２１２は、前回の送信レートRの変更からレート変更最小間隔Ti以上経過したと判定した場合、処理をステップＳ１３９に進める。
【０２３１】
なお、前回の送信レートRの変更により、送信レートが高く設定された場合には、レート変更最小間隔Ti以上経過するのを待つ必要がないので、ステップＳ１３８の処理をスキップするようにしてもよい。
【０２３２】
ステップＳ１３９において、符号化部１１１がデータ生成レートを、バッファ制御部２１１が保存可能バッファサイズB及び追加可能バッファサイズBsを、レート制御部２１２が送信レートRを調整する第３のレート制御処理が行なわれる。この第３のレート制御処理の詳細は、図１８のフローチャートを参照して詳述する。
【０２３３】
ステップＳ１４０において、制御部１１６は、操作部１１７からの操作信号等に基づいて、第３の送信処理を終了するか否かを判定し、第３の送信処理を終了しないと判定した場合、処理をステップＳ１３２に戻し、それ以降同様の処理が行なわれる。
【０２３４】
また、ステップＳ１４０において、制御部１１６は、操作部１１７からの操作信号等に基づいて、第３の送信処理を終了すると判定した場合、第３の送信処理は終了される。
【０２３５】
以上説明したように、第３の送信処理によれば、送信装置２０１において、送信レートRが低くなるように変更された場合でも、送信バッファ２１１a内のデータを破棄することなく、低遅延データ伝送を行えるようにした。
【０２３６】
このため、送信装置２０１により送信される画像データにおいて、送信バッファ２１１a内のデータが破棄されることにより、破棄されたデータ分だけ画質が劣化する事態を防止することが可能となる。
【０２３７】
したがって、受信装置１０２においては、例えば、送信装置２０１からのRTPパケットを低遅延で受信できるとともに、受信したRTPパケットを組み立てて復号することにより得られる、比較的、高画質な画像データを再生できるようになる。
【０２３８】
[第３のレート制御処理の詳細]
次に、図１８のフローチャートを参照して、図１７のステップＳ１３９における第３のレート制御処理の詳細について説明する。
【０２３９】
ステップＳ１６１において、レート制御部２１２は、RTCP部１１４からの伝送品質情報を取得する。なお、RTCP部１１４は、RTCPに従ってネットワーク１０３を介して、受信装置１０２のRTCP部１２４と通信を行い、送信装置１０１と受信装置１０２との間のデータ伝送路における伝送品質情報を収集して、レート制御部２１２に供給する。
【０２４０】
ステップＳ１６２において、レート制御部２１２は、RTCP部１１４からの伝送品質情報に基づいて、送信レートRcを算出する。
【０２４１】
ステップＳ１６３において、レート制御部２１２は、変更前の送信レートRnと、算出した送信レートRcに基づいて、レート変更比率L（=Rc/Rn）がレート変更比率下限値Lmin以上であるという条件を満たしているか否かを判定する。
【０２４２】
ステップＳ１６３において、レート制御部２１２は、レート変更比率Lがレート変更比率下限値Lmin以上であると判定した場合、処理をステップＳ１６４に進め、変更後の送信レートRn+1を送信レートRcとし、符号化部１１１、RTP送信部１１３、及びバッファ制御部２１１に供給する。
【０２４３】
また、ステップＳ１６３において、レート制御部２１２は、レート変更比率Lがレート変更比率下限値Lmin以上ではない場合、処理をステップＳ１６５に進め、送信レートRn+1を送信レートLmin×Rnとし、符号化部１１１、RTP送信部１１３、及びバッファ制御部２１１に供給する。
【０２４４】
ステップＳ１６６において、バッファ制御部２１１は、レート制御部２１２からの送信レートRと、送信バッファ時間Tに基づいて、式（１）を用いて、送信バッファ２１１aの保存可能バッファサイズBを算出して変更する。また、バッファ制御部２１１は、レート制御部２１２からの送信レートRと、送信バッファ閾値時間Tsに基づいて、式（２）を用いて、追加可能バッファサイズBsを算出して変更する。
【０２４５】
さらに、バッファ制御部２１１は、算出した保存可能バッファイサイズBから、送信バッファ２１１a内のデータのバッファ内データサイズbiを差し引いて得られる残りバッファサイズbrを、符号化部１１１に供給する。
【０２４６】
ステップＳ１６７において、符号化部１１１は、レート制御部２１２からの送信レートRと、バッファ制御部２１１からの残りバッファサイズbrに基づいて、データ生成レートを算出する。
【０２４７】
以上で第３のレート制御処理は終了され、図１７のステップＳ１３９にリターンされ、ステップＳ１４０に進められる。
【０２４８】
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、又は、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、プログラム記録媒体からインストールされる。
【０２４９】
[コンピュータの構成例]
図１９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０２５０】
CPU（Central Processing Unit）３０１は、ROM（Read Only Memory）３０２、又は記憶部３０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）３０３には、CPU３０１が実行するプログラムやデータ等が適宜記憶される。これらのCPU３０１、ROM３０２、及びRAM３０３は、バス３０４により相互に接続されている。
【０２５１】
CPU３０１にはまた、バス３０４を介して入出力インタフェース３０５が接続されている。入出力インタフェース３０５には、キーボード、マウス、マイクロホン等よりなる入力部３０６、ディスプレイ、スピーカ等よりなる出力部３０７が接続されている。CPU３０１は、入力部３０６から入力される指令に対応して各種の処理を実行する。そして、CPU３０１は、処理の結果を出力部３０７に出力する。
【０２５２】
入出力インタフェース３０５に接続されている記憶部３０８は、例えばハードディスクからなり、CPU３０１が実行するプログラムや各種のデータを記憶する。通信部３０９は、インターネットやローカルエリアネットワーク等のネットワークを介して外部の装置と通信する。
【０２５３】
また、通信部３０９を介してプログラムを取得し、記憶部３０８に記憶してもよい。
【０２５４】
入出力インタフェース３０５に接続されているドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア３１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータ等を取得する。取得されたプログラムやデータは、必要に応じて記憶部３０８に転送され、記憶される。
【０２５５】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録（記憶）する記録媒体は、図１９に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ（Mini-Disc）を含む）、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア３１１、又は、プログラムが一時的もしくは永続的に格納されるROM３０２や、記憶部３０８を構成するハードディスク等により構成される。記録媒体へのプログラムの記録は、必要に応じてルータ、モデム等のインタフェースである通信部３０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の通信媒体を利用して行われる。
【０２５６】
なお、本明細書において、上述した一連の処理を記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２５７】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０２５８】
なお、本開示の実施の形態は、上述した第１乃至第４の実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０２５９】
１００ 送受信システム， １０１ 送信装置， １０２ 受信装置， １０３ ネットワーク， １１１ 符号化部， １１２ バッファ制御部， １１２a 送信バッファ， １１３ RTP送信部， １１４ RTCP部， １１５ レート制御部， １１６ 制御部， １１７ 操作部， １２１ RTP受信部， １２２ 受信バッファ， １２３ 復号部， １２４ RTCP部， １２５ 制御部， １２６ 操作部， １４１ PC， １４２ NIC， １５１ 符号化部， １５２ 復号部， １６１ 受信部， １６２ 受信バッファ， １６３ レート制御部， １６４ バッファ制御部， １６４a 送信バッファ， １６５ 変調部， １６６ 送信部， １８１ 無線中継装置， １９１ 宛先解析部， １９２1乃至１９２N 通常伝送デバイス， １９３ 低遅延伝送デバイス， ２００ 送受信システム， ２０１ 送信装置， ２１１ バッファ制御部， ２１１a 送信バッファ， ２１２ レート制御部
【技術分野】
【０００１】
本開示は、送信装置、送信方法、及びプログラムに関し、特に、例えば、ネットワーク等のデータ伝送路の状況に拘わらず、低遅延でデータを送信できるようにした送信装置、送信方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、例えば、遠隔地においてロボットアームを操作して患者を手術する遠隔手術が行われつつある。この遠隔手術では、手術の様子を撮像して得られる動画像を見ながら、執刀医がロボットアームを操作するため、数フレーム以下の低遅延（ほぼリアルタイム）で、動画像が伝送されることが望ましい。
【０００３】
そこで、インターネット等のデータ伝送路を経由して、動画像等を、数フレーム以下の低遅延で送信（伝送）するために、動画像を構成する各ピクチャの数ライン毎に、ウェーブレット変換による符号化（圧縮）を行う符号化技術が提案されている（例えば、引用文献１参照）。
【０００４】
この符号化技術では、送信装置において、ピクチャ内のデータ全ての入力を待つことなく符号化を開始し、その結果得られる符号化データを送信することができる。また、受信装置においても、送信装置からの符号化データ全てを受信する前に復号（伸張）を開始することができる。
【０００５】
このため、ネットワークに輻輳（トラフィックの混雑）が生じていない場合、ネットワークの輻輳に起因する遅延が生じないので、符号化データの伝送時間（送信装置からネットワークを介して受信装置に到達するまでに要する時間）は十分に短いものとなり、送信装置は、低遅延で動画像を送信できる。
【０００６】
しかしながら、ネットワークに輻輳が生じている場合、ネットワークの輻輳に起因する遅延が生じてしまうため、符号化データの伝送時間が長くなってしまい、送信装置は、低遅延で動画像を送信することができなくなる。
【０００７】
そこで、ネットワークの輻輳状況に拘らず、伝送時間を十分に短くするために、ネットワークの輻輳状況に応じて、単位時間当りにおける符号化データの送信量を表す送信レートを調整するようにしたレート制御処理が存在する。
【０００８】
このレート制御処理では、送信装置において、内蔵する送信バッファに符号化データを一時的に保存し、レート制御処理により調整される送信レートで受信装置に送信するようにしている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００７−３１１９２４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
送信装置において、送信レートが、単位時間当りにおける符号化データの生成量を表すデータ生成レートよりも高い場合、送信バッファに保存される符号化データの生成量よりも、送信バッファから出力されて送信される送信量の方が多くなる。
【００１１】
この場合、符号化データが送信バッファ内に滞在する時間は十分に短くなるため、低遅延で動画像を送信することができる。
【００１２】
しかしながら、送信装置において、送信レートが、符号化データのデータ生成レートよりも低い場合には、送信バッファから出力されて送信される送信量よりも、送信バッファに保存される符号化データの生成量の方が多くなってしまう。
【００１３】
この場合、符号化データが送信バッファ内に滞在する時間は長くなるため、低遅延で動画像を送信することができなくなることが生じ得る。
【００１４】
このように、ネットワークの輻輳に応じて送信レートを調整することにより、ネットワークの輻輳に起因する遅延を回避することはできるものの、送信レートによっては、低遅延で動画像を送信することができなくなってしまう。
【００１５】
本開示は、このような状況に鑑みてなされたものであり、ネットワーク等のデータ伝送路の状況に拘らず、低遅延によりデータを伝送できるようにするものである。
【課題を解決するための手段】
【００１６】
本開示の一側面の送信装置は、データを送信する際の送信レートを調整するレート調整部と、前記送信レートに基づいて、前記データを一時的に保存するためのバッファのサイズを変更する変更部と、前記バッファに、前記バッファのサイズよりも小さい追加可能サイズ以下の前記データを一時的に保存させ、送信部に出力させるバッファ制御部と、前記バッファから出力される前記データを送信する前記送信部とを含む送信装置である。
【００１７】
前記変更部には、予め決められた送信バッファ時間にも基づいて、前記バッファのサイズを変更させ、前記バッファ制御部には、前記バッファに保存したときから前記送信バッファ時間以内に、前記データを前記送信部に出力させることができる。
【００１８】
前記レート調整部には、調整前の送信レートと、調整後の送信レートとの比を表すレート調整比率が、予め決められたレート調整比率下限値以上となるように、前記送信レートを調整させることができる。
【００１９】
前記レート調整部には、前記送信レートを調整したときから、予め決められた制限時間が経過するまで、新たな前記送信レートの調整を制限させることができる。
【００２０】
前記レート調整部には、前記送信レートを調整したときから、前記バッファに保存済みの前記データのデータサイズが、前記追加可能サイズ以下となるまでに要する最大時間である前記制限時間が経過するまで、新たな前記送信レートの調整を制限させることができる。
【００２１】
前記送信レートに基づいて、前記データを符号化して得られる符号化データを生成する際に用いる符号化パラメータを調整するパラメータ調整部と、前記データに対して、前記符号化パラメータに基づく符号化処理を行う符号化部とをさらに設けることができ、前記バッファ制御部には、前記バッファに、前記追加可能サイズ以下の前記符号化データを一時的に保存させ、前記送信部に出力させることができる。
【００２２】
前記パラメータ調整部には、前記送信レートに基づいて、前記符号化パラメータとして、所定の時間における前記符号化データの生成量を表すデータ生成レートを調整させることができる。
【００２３】
前記レート調整部には、前記データを送信する際に用いるデータ伝送路の状況を表す伝送品質情報に基づいて、前記送信レートを調整させることができる。
【００２４】
前記レート調整部には、前記データの損失率、往復伝送遅延、ジッタ、S/N比(signal to noise ratio)、又はBER(Bit Error Rate)の少なくとも１つを含む前記伝送品質情報に基づいて、前記送信レートを調整させることができる。
【００２５】
本開示の一側面の送信方法は、データを送信する送信装置の送信方法であって、データを送信する際の送信レートを調整するレート調整ステップと、前記送信レートに基づいて、前記データを一時的に保存するためのバッファのサイズを変更する変更ステップと、前記バッファに、前記バッファのサイズよりも小さい追加可能サイズ以下の前記データを一時的に保存させて出力させるバッファ制御ステップと、前記バッファから出力される前記データを送信する送信ステップとを含む送信方法である。
【００２６】
本開示の一側面のプログラムは、コンピュータを、データを送信する際の送信レートを調整するレート調整部と、前記送信レートに基づいて、前記データを一時的に保存するためのバッファのサイズを変更する変更部と、前記バッファに、前記バッファのサイズよりも小さい追加可能サイズ以下の前記データを一時的に保存させ、送信部に出力させるバッファ制御部と、前記バッファから出力される前記データを送信する前記送信部として機能させるためのプログラムである。
【００２７】
本開示によれば、データを送信する際の送信レートが調整され、前記送信レートに基づいて、前記データを一時的に保存するためのバッファのサイズが変更され、前記バッファに、前記バッファのサイズよりも小さい追加可能サイズ以下の前記データが一時的に保存されて出力され、出力される前記データが送信される。
【発明の効果】
【００２８】
本開示によれば、ネットワーク等のデータ伝送路の状況に拘らず、低遅延でデータを伝送することが可能となる。また、本開示によれば、バッファ内のデータを破棄することなく、低遅延でデータを伝送することが可能となる。
【図面の簡単な説明】
【００２９】
【図１】第１の実施の形態である第１の送受信システムの構成例を示すブロック図である。
【図２】主に、保存可能バッファサイズを変更するときの処理の一例を示す図である。
【図３】主に、保存可能バッファサイズを変更した際に、送信バッファ内のデータを破棄するときの一例を示す図である。
【図４】図１の送信装置が行う送信処理を説明するためのフローチャートである。
【図５】図４のステップＳ９における第１のレート制御処理の詳細を説明するためのフローチャートである。
【図６】図１の受信装置が行う受信処理を説明するためのフローチャートである。
【図７】保存可能バッファサイズを変更した際に、優先度に応じて送信バッファ内のデータを破棄するときの一例を示す図である。
【図８】第２の実施の形態であるNICの構成例を示すブロック図である。
【図９】図８のバッファ制御部が行う処理の一例を示す図である。
【図１０】図８のNICが行う送信処理を説明するためのフローチャートである。
【図１１】図１０のステップＳ７７における第２のレート制御処理の詳細を説明するためのフローチャートである。
【図１２】図８のNICが行う受信処理を説明するためのフローチャートである。
【図１３】第３の実施の形態である無線中継装置の構成例を示すブロック図である。
【図１４】第４の実施の形態である第２の送受信システムの構成例を示すブロック図である。
【図１５】図１４のバッファ制御部が行う処理の一例を示す図である。
【図１６】図１４のバッファ制御部２１１及びレート制御部２１２が行う処理の一例を説明するための図である。
【図１７】図１４の送信装置が行う送信処理を説明するためのフローチャートである。
【図１８】図１４のステップＳ１３９における第３のレート制御処理の詳細を説明するためのフローチャートである。
【図１９】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００３０】
以下、発明を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（送信バッファの保存可能バッファサイズを調整して、低遅延データ伝送を行うときの一例）
２．第２の実施の形態（NICを用いて低遅延データ伝送を行うときの一例）
３．第３の実施の形態（無線中継装置において低遅延データ伝送を行うときの一例）
４．第４の実施の形態(送信バッファに保存されたデータを破棄することなく、低遅延データ伝送を行うときの一例)
【００３１】
＜１．第１の実施の形態＞
[送受信システム１００の構成例]
図１は、第１の実施の形態である送受信システム１００を示している。
【００３２】
この送受信システム１００は、送信装置１０１、受信装置１０２、及びインターネット等のネットワーク１０３から構成される。
【００３３】
なお、この送受信システム１００は、送信装置１０１の送信レートRに拘らず、後述する送信バッファ１１２aの送信バッファ時間を一定時間T（以下、送信バッファ時間Tともいう）に維持するように制御して、低遅延でデータを送信できるようにするものである。
【００３４】
ここで、送信バッファ時間Tとは、データが送信バッファ１１２aに保存されたときから出力されるまでに要する最大時間を表す。なお、送信バッファ時間Tは、ユーザや送信装置１０１を製造する企業等により予め決定され、送信バッファ時間Tが短い程に、より低遅延によるデータ伝送が可能となる。
【００３５】
また、送受信システム１００では、例えば、IETF(Internet Engineering Task Force) RFC(Request for Comments)3550に記載のRTP(Real time Transport Protocol)/RTCP(Real time Transport Control Protocol)を用いて、送信装置１０１から受信装置１０２に対してデータの送信や、ネットワーク状況等の収集が行なわれる。
【００３６】
以下において、第１の実施の形態では、送信装置１０１から受信装置１０２に対して、低遅延で画像データを送信する場合について説明するが、低遅延で送信されるデータは、画像データに限定されず、低遅延で送信すべきデータであれば、どのようなデータであってもよい。
【００３７】
[送信装置１０１の構成例]
送信装置１０１は、符号化部１１１、送信バッファ１１２aを内蔵するバッファ制御部１１２、RTP送信部１１３、RTCP部１１４、レート制御部１１５、制御部１１６、及び操作部１１７から構成される。
【００３８】
符号化部１１１は、外部から入力される画像データ（ビデオINに対応）を符号化する符号化処理を行う。なお、符号化処理としては、画像データに対して、例えばウェーブレット変換を用いた符号化を施して圧縮するウェーブレット符号化処理を採用することができる。このウェーブレット符号化処理は、ITU-T H.264や、上述の引用文献１等に詳細に記載されている。
【００３９】
ここで、ウェーブレット変換とは、画像データを空間周波数の高い成分（高域成分）と低い成分（低域成分）に分割する分析フィルタリングを、分割により得られる低域成分に対して再帰的に繰り返すことにより、画像データを、空間周波数成分毎の係数データに変換する処理をいう。
【００４０】
なお、符号化部１１１において、例えば、高域成分の係数データほど圧縮率を小さくし、低域成分の係数データほど圧縮率を大きくするようにすれば、画像データの画質劣化の少ない符号化処理が可能となる。
【００４１】
また、符号化部１１１は、符号化処理により得られる符号化データを、複数のRTPパケットにパケット化（変換）してバッファ制御部１１２に出力する。なお、RTPパケットとは、IETF RFC3550に記載のRTPに則った形式のパケットを表す。
【００４２】
さらに、符号化部１１１は、バッファ制御部１１２からの、送信バッファ１１２a内にRTPパケットを保存可能な残りサイズを表す残りバッファサイズbr（図２）と、レート制御部１１５からの送信レートRに基づいて、符号化処理に用いる符号化パラメータを調整する。そして、符号化部１１１は、調整後の符号化パラメータを用いて、上述の符号化処理を行うようにしている。
【００４３】
ここで、符号化パラメータとは、符号化処理におけるデータの圧縮率や、単位時間当たりにおける、RTPパケットの生成量を表すデータ生成レート等を含むものである。
【００４４】
バッファ制御部１１２は、符号化部１１１からのRTPパケットを、送信バッファ１１２aに供給して保存させ、FIFO(First In First Out)で出力させる。
【００４５】
また、バッファ制御部１１２は、送信バッファ１１２a内にRTPパケットを保存したときから送信バッファ時間T以内に出力するように、レート制御部１１５からの送信レートRに応じて、送信バッファ１１２aにRTPパケットを保存可能なデータサイズを表す保存可能バッファサイズBを変更する。なお、保存可能バッファサイズBの変更方法は、本開示により開示する技術のポイント部分であるため、図２及び図３を参照して詳述する。
【００４６】
さらに、バッファ制御部１１２は、レート制御部１１５からの送信レートRで、送信バッファ１１２a内のRTPパケットを、RTP送信部１１３に送信（出力）させる平滑化送信を行う。これにより、RTP送信部１１３では、レート制御部１１５により調整された送信レートRで、RTPパケットを送信することができるようになる。
【００４７】
なお、平滑化送信としては、例えば、ITU-T Y.1221に記載されたトークンバケットビヘイビアやリーキーバケットビヘイビアを用いた平滑化送信を採用することができる。
【００４８】
送信バッファ１１２aは、例えば、バッファ制御部１１２からの制御に従って、平滑化送信を行う。すなわち、送信バッファ１１２aは、RTPパケットを出力する際の出力レートを、レート制御部１１５からの送信レートRに合わせるように平滑化して送信するための平滑化バッファとして機能する。
【００４９】
送信バッファ１１２aは、バッファ制御部１１２により調整される保存可能バッファサイズBで、符号化部１１１からのRTPパケットを保存し、FIFOで出力する。なお、送信バッファ１１２aは、十分に大きな記憶容量を有しており、調整され得る最大の保存可能バッファサイズB以上の記憶容量とされる。
【００５０】
RTP送信部１１３は、RTPに従って、バッファ制御部１１２からのRTPパケットに対して、タイムスタンプとして、例えばRTPパケットを受信装置１０２に送信する際の送信時刻等を付加する。そして、RTP送信部１１３は、タイムスタンプを付加したRTPパケットを、レート制御部１１５から通知される送信レートRで、ネットワーク１０３を介して受信装置１０２に送信する。
【００５１】
RTP送信部１１３では、タイムスタンプを付加したRTPパケットを送信するようにしたので、受信装置１０２において、送信装置１０１から送信されてくるRTPパケットの時間的関係（例えば、送信順序等）を把握することができる。このため、受信装置１０２において、RTPパケットの遅延ゆらぎ（ジッタ）等の影響を受けずに同期をとって、正確に画像データを再生することができる。
【００５２】
ここで、RTPは、実時間（リアルタイム）によるRTPパケットの送信を保証するものではない。また、RTPパケットの送信における優先度、設定、管理などは、RTPが提供するトランスポートサービスの範疇ではない。
【００５３】
このため、RTPパケットには、RTPパケットを送信したときから所定時間内に受信装置１０２に到達しない伝送遅延や、RTPパケットにエラー（誤り）が生じるパケット損失が生じ得る。
【００５４】
受信装置１０２において、伝送遅延やパケット損失が生じたRTPパケットは破棄される。そして、受信装置１０２において、伝送遅延及びパケット損失のいずれも生じていないRTPパケットのみを対象として再生等の処理が行われる。
【００５５】
なお、伝送遅延やパケット損失が生じたRTPパケットを破棄するようにしたのは、RTPパケットとしての画像データ（動画像）によるリアルタイム再生を実現するためである。
【００５６】
ここで、RTPパケットによる伝送遅延やパケット損失は、ネットワーク１０３の輻輳により引き起こされることが多い。すなわち、例えば、送信装置１０１において、高品質な画像データのRTPパケットを送信しても、ネットワーク１０３の輻輳の程度によっては、RTPパケットに対して、無視できないほどの伝送遅延やパケット損失が生じ得る。
【００５７】
この場合、受信装置１０２において、RTPパケットに伝送遅延やパケット損失が生じたことに起因して、多くのRTPパケットが破棄されてしまうので、高品質な画像データを再生できないことが生じ得る。
【００５８】
そこで、後述するレート制御部１１５では、ネットワーク１０３の状況（例えば、輻輳の程度等）に応じて送信レートRを調整するようにして、RTPパケットに生じる伝送遅延やパケット損失を抑制するようにしている。これにより、受信装置１０２において、ネットワーク１０３の状況に拘らず、送信装置１０１からの画像データの画質等を維持したまま、画像データを再生することができるようになる。
【００５９】
また、RTP送信部１１３は、RTPパケットの送信状況等に基づいて、RTPパケットの伝送状態を表すRTPパケット伝送情報を生成してRTCP部１１４に供給する。
【００６０】
RTCP部１１４は、RTP送信部１１３からのRTPパケット伝送情報に基づいて、送信装置１０１と受信装置１０２との間のデータ伝送路（例えば、ネットワーク１０３）の状況を表す伝送品質情報を生成し、レート制御部１１５に供給する。
【００６１】
ここで、伝送品質情報には、データ伝送路の状況を判断するために必要な情報が含まれる。
【００６２】
すなわち、伝送品質情報は、例えば、往復伝送遅延（RTT(Round Trip Time)）、伝送ジッタ、パケット損失率、S/N比(signal to noise ratio)、又はBER(Bit Error Rate)等の少なくとも１つを含む。なお、無線通信により伝送が行われる場合には、無線通信における電波強度も含めるようにしてもよい。
【００６３】
また、RTCP部１１４は、RTCPに従って、ネットワーク１０３を介して受信装置１０２のRTCP部１２４と通信を行い、送信装置１０１と受信装置１０２との間のデータ伝送路における伝送品質情報を収集して、レート制御部１１５に供給する。
【００６４】
なお、伝送品質情報は、RTCP部１１４と、後述する受信装置１０２のRTCP部１２４との間で、IETF RFC 3550に記載のRTCP Receiver Report(RR)パケットやRTCP Sender Report(SR)パケットを送受信することにより収集される。
【００６５】
レート制御部１１５は、RTCP部１１４からの伝送品質情報に基づいて、送信装置１０１からRTPパケットを送信する際の送信レートRを調整し、符号化部１１１、バッファ制御部１１２、及びRTP送信部１１３に通知する。
【００６６】
なお、レート制御部１１５による送信レートRの調整は、例えば、IETF RFC3448に記載の「TCP Friendly Rate Control(TFRC):Protocol Specification」、いわゆるTFRCに従って行われる。
【００６７】
このように、レート制御部１１５は、ネットワーク１０３の状況に応じて送信レートRを調整するようにしているので、ネットワーク１０３の輻輳に起因する遅延を回避することが可能となる。
【００６８】
制御部１１６は、例えば、操作部１１７からの操作信号に基づいて、符号化部１１１、バッファ制御部１１２、RTP送信部１１３、RTCP部１１４、及びレート制御部１１５の各部を制御する。
【００６９】
操作部１１７は、ユーザにより操作される操作ボタン等であり、ユーザ操作に応じた操作信号を、制御部１１６に供給する。
【００７０】
[受信装置１０２の構成例]
受信装置１０２は、RTP受信部１２１、受信バッファ１２２、復号部１２３、RTCP部１２４、制御部１２５、及び操作部１２６から構成される。
【００７１】
RTP受信部１２１は、RTP送信部１１３からネットワーク１０３を介して送信されてくるRTPパケットを受信し、受信バッファ１２２に供給して保存させる。また、RTP受信部１２１は、RTPパケットの受信状況等に基づいて、RTPパケットの伝送状態を表すRTPパケット伝送情報を生成してRTCP部１２４に供給する。
【００７２】
受信バッファ１２２は、RTP受信部１２１からのRTPパケットを一時的に保存する。なお、受信バッファ１２２は、オーバーフローしない程度に十分に大きな記憶容量を有するものとする。
【００７３】
復号部１２３は、受信バッファ１２２からRTPパケットを読み出し、読み出したRTPパケットを組み立てることにより、復号対象とされる符号化データを生成する。そして、復号部１２３は、生成した符号化データに対して、符号化部１１１で行なわれる符号化処理に対応する復号処理を行い、その結果得られる画像データを図示せぬモニタ等に出力する。
【００７４】
ここで、復号処理としては、例えば、ウェーブレット変換の逆変換による復号により伸張する復号処理等が採用される。
【００７５】
RTCP部１２４は、RTP受信部１２１からのRTPパケット伝送情報に基づいて、伝送品質情報を生成し、ネットワーク１０３を介して送信装置１０１のRTCP部１１４に送信する。
【００７６】
制御部１２５は、例えば、操作部１２６からの操作信号に基づいて、RTP受信部１２１、受信バッファ１２２、及び復号部１２３、RTCP部１２４の各部を制御する。
【００７７】
操作部１２６は、ユーザにより操作される操作ボタン等であり、ユーザ操作に応じた操作信号を、制御部１２５に供給する。
【００７８】
[保存可能バッファサイズの調整方法]
次に、図２及び図３を参照して、主にバッファ制御部１１２が行う処理について説明する。
【００７９】
図２は、主に、バッファ制御部１１２が行う処理の一例を示している。
【００８０】
バッファ制御部１１２は、レート制御部１１５からの送信レートRと、予め決められた送信バッファ時間Tに基づいて、次式（１）を用いて、保存可能バッファサイズBを変更する。
B(bit) = R(bps) × T(sec) ・・・（１）
【００８１】
具体的には、例えば、現在の送信レートRをRnとし、現在の保存可能バッファサイズBをBn（=Rn×T）とした場合、レート制御部１１５は、送信レートRnを送信レートRn+1に調整したことに応じて、送信レートRn+1を、符号化部１１１、バッファ制御部１１２及びRTP送信部１１３に通知する。
【００８２】
このとき、バッファ制御部１１２は、レート制御部１１５から通知された送信レートRn+1と、送信バッファ時間Tに基づいて、式（１）を用いて、保存可能バッファサイズBn+1（=Rn+1×T）を算出する。そして、バッファ制御部１１２は、送信バッファ１１２aの保存可能バッファサイズBnを保存可能バッファサイズBn+1に変更する。
【００８３】
なお、符号化部１１１は、レート制御部１１５からの送信レートRと、バッファ制御部１１２からの残りバッファサイズbrに基づき、符号化パラメータとして、例えば、RTPパケットのデータ生成レートを調整し、調整後のデータ生成レートによる符号化処理を行うようにしている。
【００８４】
これにより、符号化部１１１からのRTPパケットにより、送信バッファ１１２aのバッファ内データサイズbiが、保存可能バッファサイズBよりも大きくなることを防止するようにしている。送信バッファ１１２aにおいて、バッファ内データサイズbiが、保存可能バッファサイズB以下である限り、低遅延データ伝送は保証される。
【００８５】
なお、符号化部１１１は、レート制御部１１５からの送信レートRと、バッファ制御部１１２からの残りバッファサイズbrに基づいて、データ生成レートを調整するようにした。しかしながら、符号化部１１１が、レート制御部１１５による送信レートRの調整が行われたことに対応して、迅速にデータ生成レートを調整できる場合には、レート制御部１１５からの送信レートRのみを用いて、データ生成レートを、レート制御部１１５からの送信レートRに調整するようにしてもよい。
【００８６】
また、符号化部１１１が、レート制御部１１５からの送信レートRと、バッファ制御部１１２からの残りバッファサイズbrに基づいて、データ生成レートを調整するようにしたが、レート制御部１１５が、データ生成レートを算出して符号化部１１１に通知するようにしてもよい。
【００８７】
すなわち、例えば、レート制御部１１５は、バッファ制御部１１２から残りバッファサイズbrを取得し、取得した残りバッファサイズbrと、算出した送信レートRに基づいて、データ生成レートを算出し、符号化部１１１に通知するようにしてもよい。
【００８８】
ところで、送信レートRnが送信レートRn+1に調整されたことに応じて、保存可能バッファサイズBnが、バッファ内データサイズbiよりも小さな保存可能バッファサイズBn+1に調整されることが生じ得る。
【００８９】
この場合、送信バッファ１１２a内のバッファ内データサイズbiが、保存可能バッファサイズB n+1よりも大きくなってしまい、低遅延データ伝送を行うことができなくなってしまう。
【００９０】
そこで、第１の実施の形態では、バッファ内データサイズbiが、保存可能バッファサイズBn+1よりも大きくなってしまった場合には、バッファ内データサイズbiが、保存可能バッファサイズBn+1以下となるまで、送信バッファ１１２a内のRTPパケットを破棄するようにして、低遅延データ伝送を保証するようにしている。
【００９１】
なお、符号化部１１１が、送信レートRに拘らず、固定のデータ生成レートで符号化処理を行う場合や、調整後の送信レートRn+1に応じて、迅速にデータ生成レートを調整できなかった場合等には、符号化部１１１から送信バッファ１１２aに対して多くのRTPパケットが出力されることが生じ得る。
【００９２】
この場合についても同様に、送信バッファ１１２a内のバッファ内データサイズbiが、保存可能バッファサイズB n+1よりも大きくなってしまう。しかしながら、第１の実施の形態では、上述のように、バッファ内データサイズbiが、保存可能バッファサイズBn+1以下となるまで、送信バッファ１１２a内のRTPパケットは破棄されるので、やはり、低遅延データ伝送は保証される。
【００９３】
[送信バッファ１１２a内のデータを破棄するときの一例]
次に、図３は、保存可能バッファサイズBnが、バッファ内データサイズbiよりも小さな保存可能バッファサイズBn+1に変更される場合には、送信バッファ１１２a内のRTPパケットを一部分だけ破棄するときの一例を示している。
【００９４】
バッファ制御部１１２は、例えば、レート制御部１１５から、送信レートRn+1(=Rn/2)が供給されたことに応じて、式（１）に基づいて、図３Aに示される現在の保存可能バッファサイズBnを、図３Bに示される保存可能バッファサイズBn+1（=Bn/2）に変更する。
【００９５】
この場合、送信バッファ１１２aのバッファ内データサイズbiは、変更後の保存可能バッファサイズBn+1よりも大きなものとなる。したがって、バッファ制御部１１２は、図３Bに示されるように、送信バッファ１１２a内のRTPパケットを一部分（斜線で示す）だけ破棄して、バッファ内データサイズbiが、保存可能バッファサイズBn+1以下となるように調整する。
【００９６】
なお、送信バッファ１１２a内のRTPパケットを破棄する場合、任意のRTPパケットを破棄するようにしてもよいし、破棄する際の優先度を付加するようにして、優先度の高い順にRTPパケットを破棄するようにしてもよい。
【００９７】
すなわち、例えば、ウェーブレット変換により得られる周波数成分毎の係数データを含むRTPパケットにおいて、高域成分の係数データを含むRTPパケットほど、高い優先度を付加するようにして、RTPパケットの破棄を行うようにしてもよい。優先度に応じてRTPパケットを破棄する方法については、図７を参照して詳述する。
【００９８】
[送信装置１０１の動作説明]
次に、図４のフローチャートを参照して、送信装置１０１が行う送信処理(以下、第１の送信処理という)について説明する。
【００９９】
ステップＳ１において、符号化部１１１は、外部からの画像データに対して、レート制御部１１５からの送信レートRと、バッファ制御部１１２からの残りバッファサイズbrに基づき算出したデータ生成レートで符号化処理を行う。
【０１００】
ステップＳ２において、符号化部１１１は、符号化処理により得られる符号化データを、複数のRTPパケットにパケット化（変換）する。そして、符号化部１１１は、パケット化により得られる複数のRTPパケットを、バッファ制御部１１２に出力する。
【０１０１】
ステップＳ３において、バッファ制御部１１２は、符号化部１１１からのRTPパケットを、内蔵する送信バッファ１１２aに供給して保存させる。そして、バッファ制御部１１２は、レート制御部１１５から通知される送信レートRと同一の出力レートで、送信バッファ１１２aからRTP送信部１１３に対してRTPパケットを出力する。
【０１０２】
ステップＳ４において、バッファ制御部１１２は、送信バッファ１１２aにおける保存可能バッファサイズBが、バッファ内データサイズbi以上であるか否かを判定する。
【０１０３】
そして、ステップＳ４において、バッファ制御部１１２は、図３Bに示されるように、保存可能バッファサイズBがバッファ内データサイズbi以上ではない、すなわち、バッファ内データサイズbiが保存可能バッファサイズBよりも大きいと判定した場合、処理を、ステップＳ５に進める。
【０１０４】
ステップＳ５では、バッファ制御部１１２は、バッファ内データサイズbiが、保存可能バッファサイズB以下となるまで、送信バッファ１１２a内のRTPパケットを破棄して、処理をステップＳ１に戻し、それ以降同様の処理が行なわれる。
【０１０５】
なお、ステップＳ５では、RTPパケットに対して、破棄する際の優先度を付加するようにし、その優先度に応じてRTPパケットを破棄するようにしてもよい。なお、優先度に応じてRTPパケットを破棄する処理の詳細は、図７を参照して後述する。
【０１０６】
また、ステップＳ４において、バッファ制御部１１２は、図３Aに示されるように、保存可能バッファサイズＢがバッファ内データサイズbi以上であると判定した場合、処理をステップＳ６に進める。
【０１０７】
ステップＳ６において、RTP送信部１１３は、RTPパケットの送信状況等に基づいて、バッファ制御部１１２からのRTPパケットを送信可能であるか否かを判定し、送信可能であると判定するのを待って、処理をステップＳ７に進める。
【０１０８】
ステップＳ７において、RTP送信部１１３は、RTPに従って、バッファ制御部１１２からのRTPパケットを、レート制御部１１５からの送信レートRで、ネットワーク１０３を介して受信装置１０２に送信する。
【０１０９】
ステップＳ８において、RTCP部１１４は、RTCPに従って、ネットワーク１０３を介して受信装置１０２のRTCP部１２４と通信を行い、送信装置１０１と受信装置１０２との間のデータ伝送路における伝送品質情報を収集して、レート制御部１１５に供給する。
【０１１０】
ステップＳ９において、符号化部１１１がデータ生成レートを、バッファ制御部１１２が保存可能バッファサイズBを、レート制御部１１５が送信レートRを調整する第１のレート制御処理が行なわれる。この第１のレート制御処理の詳細は、図５のフローチャートを参照して後述する。
【０１１１】
ステップＳ１０において、制御部１１６は、操作部１１７からの操作信号等に基づいて、第１の送信処理を終了するか否かを判定し、第１の送信処理を終了しないと判定した場合、処理をステップＳ１に戻し、それ以降同様の処理が行なわれる。
【０１１２】
また、ステップＳ１０において、制御部１１６は、第１の送信処理を終了すると判定した場合、第１の送信処理は終了される。
【０１１３】
以上説明したように、第１の送信処理によれば、ネットワーク１０２の状況に応じて、送信レートRを調整するようにしたので、ネットワーク１０２の状況に拘らず、RTPパケットの伝送遅延やパケット損失を抑止することができる。よって、RTPパケットの伝送遅延やパケット損失に起因して、画像データの画質が劣化する事態を抑止することが可能となる。
【０１１４】
また、第１の送信処理によれば、送信レートRの調整に応じて、保存可能バッファサイズBを変更するようにして、送信バッファ１１２aの送信バッファ時間を一定時間Tに維持するようにした。このため、ネットワーク１０２の状況に拘らず、画像データを低遅延で伝送することが可能となる。
【０１１５】
[第１のパラメータ設定処理の詳細]
次に、図５のフローチャートを参照して、図４のステップＳ９における第１のレート制御処理の詳細を説明する。
【０１１６】
ステップＳ３１において、レート制御部１１５は、RTCP部１１４からの伝送品質情報を取得する。ステップＳ３２において、レート制御部１１５は、RTCP部１１４からの伝送品質情報に基づいて、送信レートRを調整し、符号化部１１１、バッファ制御部１１２及びRTP送信部１１３に供給する。
【０１１７】
ステップＳ３３において、バッファ制御部１１２は、レート制御部１１５からの送信レートRと、予め決められた送信バッファ時間Tに基づいて、内蔵する送信バッファ１１２aの保存可能バッファサイズBを算出して変更する。
【０１１８】
また、バッファ制御部１１２は、算出した保存可能バッファイサイズBから、送信バッファ１１２a内のバッファ内データサイズbiを差し引いて得られる残りバッファサイズbrを、符号化部１１１に供給する。
【０１１９】
ステップＳ３４において、符号化部１１１は、レート制御部１１５からの送信レートRと、バッファ制御部１１２からの残りバッファサイズbrに基づいて、図４のステップＳ１で行う符号化処理におけるデータ生成レートを算出する。
【０１２０】
以上で第１のレート制御処理は終了され、図４のステップＳ９にリターンされ、ステップＳ１０に進められる。
【０１２１】
[受信装置１０２の動作説明]
次に、図６のフローチャートを参照して、受信装置１０２が行う受信処理（以下、第１の受信処理という）について説明する。
【０１２２】
ステップＳ５１において、RTP受信部１２１は、RTP送信部１１３からネットワーク１０３を介して送信されてくるRTPパケットを受信し、受信バッファ１２２に供給して保存させる。
【０１２３】
ステップＳ５２において、復号部１２３は、受信バッファ１２２からRTPパケットを読み出し、読み出したRTPパケットを組み立てることにより、復号対象とされる符号化データを生成する。
【０１２４】
そして、ステップＳ５３において、復号部１２３は、生成した符号化データに対して、符号化部１１１で行なわれる符号化処理に対応する復号処理を行い、その結果得られる画像データを図示せぬモニタ等に出力する。
【０１２５】
ステップＳ５４において、RTCP部１２４は、RTCPに従って、ネットワーク１０３を介して受信装置１０２のRTCP部１１４と通信を行う。これにより、RTCP部１１４は、送信装置１０１と受信装置１０２との間のデータ伝送路における伝送品質情報を収集する。
【０１２６】
ステップＳ５５において、制御部１２５は、操作部１２６からの操作信号等に基づいて、第１の受信処理を終了するか否かを判定し、第１の受信処理を終了しないと判定した場合、処理をステップＳ５１に戻し、それ以降同様の処理が行なわれる。
【０１２７】
また、ステップＳ５５において、制御部１２５は、第１の受信処理を終了すると判定した場合、第１の受信処理は終了される。
【０１２８】
以上説明したように、第１の受信処理によれば、送信装置１０１において送信レートRを調整するために用いる伝送品質情報をRTCPに従って送信装置１０１に供給するようにした。
【０１２９】
このため、送信装置１０１では、受信装置１０２からの伝送品質情報に基づいて、送信レートRを調整できるようになるので、ネットワーク１０３等のデータ伝送路の状況に応じて生じる遅延を無視できる程度に小さくすることが可能となる。
【０１３０】
[優先度に応じたRTPパケットの破棄]
次に、図７は、RTPパケットに優先度を付加するようにし、付加された優先度に応じた順序でRTPパケットを破棄する場合の一例を示している。
【０１３１】
なお、図７において、RTPパケットL1は、画像データの高域成分（の係数データ）を符号化してパケット化したものを表す。また、RTPパケットL2は、画像データの低域成分を符号化してパケット化したものを表す。さらに、RTPパケットL3は、画像データの中域成分（高域成分と低域成分との間）を符号化してパケット化したものを表す。
【０１３２】
バッファ制御部１１２は、例えば、レート制御部１１５から、送信レートRn+1(=2/3×Rn)が供給されたことに応じて、式（１）に基づいて、図７Aに示される現在の保存可能バッファサイズBnを、図７Bに示される保存可能バッファサイズBn+1（=2/3×Bn）に調整する。
【０１３３】
この場合、図７Bに示されるように、送信バッファ１１２aのバッファ内データサイズbiは、調整後の保存可能バッファサイズBn+1よりも大きなものとなる。したがって、バッファ制御部１１２は、バッファ内データサイズbiが保存可能バッファサイズBn+1以下となるまで、送信バッファ１１２a内のデータのうち、例えば、高域成分のRTPパケットを優先的に破棄する。
【０１３４】
具体的には、例えば、バッファ制御部１１２は、図７Bに示されるように、高域成分のRTPパケットL1を破棄して、バッファ内データサイズbiが、保存可能バッファサイズBn+1以下となるように調整する。
【０１３５】
ここで、高域成分のRTPパケットから優先的に破棄するようにしたのは、画像データにおいて、低域成分ほど、画像データを、大まかな画像（例えば、画像内に表示された人物を、人物として大まかに認識できる程度の画像）として成立させるために重要な要素であることによる。
【０１３６】
なお、高域成分は、画像データを、大まかな画像から詳細な画像（例えば、画像内に表示された人物を詳細に認識できる程度の画像）に高画質化するために必要とされる。また、RTPパケットの優先度としては、その他、例えば、IETF RFC 2474"Definition of the Differentiated Services Field(DS Field) in the IPv4 and IPv6 Headers"に記載のIPヘッダ内の「Tos(Type of Service)」や「DSCP(DiffServ Code Point)」、IEEE 802.1Qタグ内の「Cos(Class of Service)」に記載された優先度を用いるようにしてもよい。
【０１３７】
ところで、第１の実施の形態では、低遅延でRTPパケットを送信する送信装置１０１について説明したが、例えば、送信装置１０１と受信装置１０２の機能をそれぞれ有する送受信装置に対して、本開示により開示した技術を適用することができる。
【０１３８】
また、符号化部１１１及び復号部１２３それぞれの機能をいずれも有さない送受信装置として、例えば、NIC(Network Interface Card)や、無線LAN(Local Area Network)アクセスポイント等の無線中継装置を、低遅延データ伝送が可能な送受信装置として採用することができる。
【０１３９】
次に、第２の実施の形態として、図８乃至図１２を参照して、低遅延データ伝送が可能なNICについて説明する。また、第３の実施の形態として、図１３を参照して、低遅延データ伝送が可能な無線中継装置について説明することとする。
【０１４０】
＜２．第２の実施の形態＞
次に、図８は、パーソナルコンピュータ１４１（以下、PC１４１という）のカードスロットに挿入されて接続されるNIC１４２の一例を示している。
【０１４１】
なお、PC１４１は、主に、符号化部１５１及び復号部１５２から構成されており、NIC１４２を介して、パケットの送受信を行う。
【０１４２】
符号化部１５１は、図１の符号化部１１１と同様の処理を行う。すなわち、符号化部１５１は、NIC１４２からの送信レートR及び残りバッファサイズbrに基づいて、データ生成レートを算出する。
【０１４３】
そして、符号化部１５１は、外部から入力される画像データ（ビデオIN）に対して、算出したデータ生成レートで符号化処理を行い、その結果得られる符号化データに対してパケット化を行う。符号化部１５１は、パケット化により得られるパケットを、NIC１４２に出力する。
【０１４４】
復号部１５２は、図１の復号部１２３と同様の処理を行う。すなわち、復号部１５２は、NIC１４２からのパケットを組み立てて、符号化データを生成し、生成した符号化データに対して復号処理を行い、その結果得られる画像データを、図示せぬモニタ等に出力する。
【０１４５】
NIC１４２は、受信部１６１、受信バッファ１６２、レート制御部１６３、送信バッファ１６４aを内蔵するバッファ制御部１６４、変調部１６５、及び送信部１６６から構成される。
【０１４６】
受信部１６１は、外部から送信されてくるパケットを受信し、受信バッファ１６２に供給して保存させる。また、受信部１６１は、パケットの受信状況等に基づいて、伝送品質情報を生成してレート制御部１６３に供給する。
【０１４７】
受信バッファ１６２は、受信部１６１からのパケットを一時的に保存して、パーソナルコンピュータ１４１の復号部１５２に出力する。
【０１４８】
レート制御部１６３は、受信部１６１及び送信部１６６からの伝送品質情報に基づいて、NIC１４２の送信レートR及び変調方式を調整する。そして、レート制御部１６３は、調整した送信レートRを、バッファ制御部１６４及び送信部１６６に供給する。また、レート制御部１６３は、調整した変調方式を、変調部１６５に供給する。
【０１４９】
バッファ制御部１６４は、図１のバッファ制御部１１２と同様の処理を行う。すなわち、バッファ制御部１６４は、図９に示されるように、レート制御部１６３からの送信レートRと、予め決められたバッファ送信時間Tに基づいて、次式（１）を用いて、保存可能バッファサイズBを変更する。
【０１５０】
また、バッファ制御部１６４は、送信バッファ１６４aにおいて、保存可能バッファサイズBからバッファ内データサイズbiを減算して得られる残りバッファサイズbrを生成する。そして、バッファ制御部１６４は、図９に示されるように、生成した残りバッファサイズbrと、レート制御部１６３からの送信レートRとを、符号化部１５１に供給する。
【０１５１】
さらに、バッファ制御部１６４は、図９に示されるように、符号化部１５１からのパケットを、内蔵する送信バッファ１６４aに供給して保存させる。
【０１５２】
バッファ制御部１６４は、レート制御部１６３からの送信レートRで、送信部１６６からパケットを、変調部１６５に送信（出力）させる平滑化送信を行う。
【０１５３】
送信バッファ１６４aは、図１の送信バッファ１１２aと同様の処理を行う。すなわち、例えば、送信バッファ１６４aは、バッファ制御部１６４からの制御に従って、平滑化送信を行う。すなわち、送信バッファ１６４aは、パケットを出力する際の出力レートを、レート制御部１６３からの送信レートRに合わせるように平滑化する平滑化バッファとして機能する。
【０１５４】
送信バッファ１６４aは、バッファ制御部１６４により調整される保存可能バッファサイズBで、符号化部１５１からのパケットを保存し、FIFOで出力する。なお、送信バッファ１６４aは、十分に大きな記憶容量を有しており、調整され得る最大の保存可能バッファサイズB以上の記憶容量とされる。
【０１５５】
変調部１６５は、バッファ制御部１６４からのパケットを、レート制御部１６３から通知された変調方式で変調し、変調後のパケットを送信部１６６に供給する。
【０１５６】
送信部１６６は、変調部１６５からのパケットを、レート制御部１６３から通知される送信レートRで送信する。また、送信部１６６は、パケットの送信状況等に基づいて、伝送品質情報を生成し、レート制御部１６３に供給する。
【０１５７】
[NIC１４２の動作説明]
次に、図１０のフローチャートを参照して、NIC１４２が行う送信処理（以下、第２の送信処理という）について説明する。
【０１５８】
ステップＳ７１において、バッファ制御部１６４は、符号化部１５１からのパケットを取得する。
【０１５９】
ステップＳ７２において、バッファ制御部１６４は、符号化部１５１からのパケットを、内蔵する送信バッファ１６４aに供給して保存させる。そして、バッファ制御部１６４は、レート制御部１６３から通知される送信レートRと同一の出力レートで、送信バッファ１６４aから変調部１６５に対してパケットを出力する。
【０１６０】
ステップＳ７３において、バッファ制御部１６４は、送信バッファ１６４a内の保存可能バッファサイズBが、送信バッファ１６４a内のバッファ内データサイズbi以上であるか否かを判定する。
【０１６１】
そして、ステップＳ７３において、バッファ制御部１６４は、保存可能バッファサイズBが、バッファ内データサイズbi以上ではないと判定した場合、処理を、ステップＳ７４に進める。
【０１６２】
ステップＳ７４では、バッファ制御部１６４は、バッファ内データサイズbiが、保存可能バッファサイズB以下となるように、送信バッファ１６４a内のパケットを破棄し、処理をステップＳ７１に戻し、それ以降同様の処理が行なわれる。
【０１６３】
なお、ステップＳ７４では、図７に示したように、パケットに対して、破棄する際の優先度を付加するようにし、その優先度に応じてパケットを破棄する順序を決めるようにしてもよい。
【０１６４】
また、ステップＳ７３において、保存可能バッファサイズBがバッファ内データサイズbi以上であると判定された場合、処理はステップＳ７５に進められる。
【０１６５】
ステップＳ７５において、変調部１６５は、バッファ制御部１６４からのパケットを、レート制御部１６３から通知される変調方式で変調し、変調後のパケットを送信部１６６に供給する。
【０１６６】
ステップＳ７６において、送信部１６６は、変調部１６５からのパケットを、レート制御部１６３から通知される送信レートRで送信する。
【０１６７】
ステップＳ７７において、レート制御部１６３が送信レートRを、バッファ制御部１６４が保存可能バッファサイズBを調整する第２のレート制御処理が行なわれる。この第２のレート制御処理の詳細は、図１１のフローチャートを参照して後述する。
【０１６８】
ステップＳ７８において、NIC１４２の図示せぬ制御部は、パーソナルコンピュータ１４１からの制御信号等に基づいて、第２の送信処理を終了するか否かを判定し、第２の送信処理を終了しないと判定した場合、処理をステップＳ７１に戻し、それ以降同様の処理が行なわれる。
【０１６９】
また、ステップＳ７９において、NIC１４２の図示せぬ制御部は、第２の送信処理を終了すると判定した場合、第２の送信処理は終了される。
【０１７０】
以上説明したように、第２の送信処理によれば、パケットを送受信するためのデータ伝送路の状況に応じて、送信レートRを調整するようにしたので、データ伝送路の状況に拘らず、パケットの伝送遅延やパケット損失を抑止することができる。よって、パケットの伝送遅延やパケット損失に起因して、画像データの画質が劣化する事態を抑止することが可能となる。
【０１７１】
また、第２の送信処理によれば、送信レートRの調整に応じて、保存可能バッファサイズBを変更するようにして、送信バッファ１６４aの送信バッファ時間を一定時間Tに維持するようにした。このため、データ伝送路の状況に拘らず、画像データを低遅延で伝送することが可能となる。
【０１７２】
次に、図１１のフローチャートを参照して、図１０のステップＳ７７における第２のレート制御処理の詳細を説明する。
【０１７３】
ステップＳ９１において、レート制御部１６３は、受信部１６１及び送信部１６６から伝送品質情報を取得する。なお、受信部１６１は、パケットの受信状況等に基づいて伝送品質情報を生成してレート制御部１６３に供給し、送信部１６６は、パケットの送信状況等に基づいて伝送品質情報を生成してレート制御部１６３に供給する。
【０１７４】
ステップＳ９２において、レート制御部１６３は、受信部１６１及び送信部１６６からの伝送品質情報に基づいて、送信レートR及び変調方式を調整する。そして、レート制御部１６３は、調整後の送信レートRを、バッファ制御部１６４及び送信部１６６に供給し、調整後の変調方式を、変調部１６５に供給する。
【０１７５】
ステップＳ９３において、バッファ制御部１６４は、レート制御部１６３からの送信レートRと、予め決められた送信バッファ時間Tに基づいて、式（１）を用いて、送信バッファ１６４aの保存可能バッファサイズBを算出して調整する。
【０１７６】
ステップＳ９４において、バッファ制御部１６４は、算出した保存可能バッファイサイズBから、送信バッファ１６４a内のデータのバッファ内データサイズbiを差し引いて得られる残りバッファサイズbrを、符号化部１５１に通知する。また、バッファ制御部１６４は、レート制御部１６３からの送信レートRを、符号化部１５１に通知する。これにより、符号化部１５１は、バッファ制御部１６４から通知される送信レートR及び残りバッファサイズbrに基づいて、データ生成レートを算出し、算出したデータ生成レートで符号化処理を行う。
【０１７７】
以上で第２のレート制御処理は終了され、図１０のステップＳ７７にリターンされ、ステップＳ７８に進められる。
【０１７８】
次に、図１２のフローチャートを参照して、NIC１４２が行う受信処理（以下、第２の受信処理という）について説明する。
【０１７９】
ステップＳ１１１において、受信部１６１は、外部から送信されてくるパケットを受信する。ステップＳ１１２において、受信部１６１は、受信したパケットを、受信バッファ１６２に供給して保存させる。
【０１８０】
ステップＳ１１３において、受信バッファ１６２は、受信部１６１からのパケットを一時的に保存して、パーソナルコンピュータ１４１の復号部１５２に出力する。
【０１８１】
ステップＳ１１４において、NIC１４２の図示せぬ制御部は、パーソナルコンピュータ１４１からの制御信号等に基づいて、第２の受信処理を終了するか否かを判定し、第２の受信処理を終了しないと判定した場合、処理をステップＳ１１１に戻し、それ以降同様の処理が行なわれる。
【０１８２】
また、ステップＳ１１４において、NIC１４２の図示せぬ制御部は、第２の受信処理を終了すると判定した場合、第２の受信処理は終了される。
【０１８３】
＜３．第３の実施の形態＞
次に、図１３は、低遅延データ伝送が可能な無線中継装置の一例を示している。
【０１８４】
この無線中継装置１８１は、例えば、ネットワークとパーソナルコンピュータとの間で送受信される画像データ等を中継する無線LANアクセスポイントである。
【０１８５】
無線中継装置１８１は、宛先解析部１９１、通常伝送デバイス１９２1乃至１９２N、及び低遅延伝送デバイス１９３から構成される。
【０１８６】
宛先解析部１９１は、通常伝送デバイス１９２1乃至１９２N、及び低遅延伝送デバイス１９３それぞれからのパケットに含まれるヘッダに記載された宛先アドレス（例えば、MACアドレス）の解析を行う。
【０１８７】
そして、宛先解析部１９１は、宛先アドレスの解析により得られるパケットの宛先（を表す情報）を、パケットの供給先（通常伝送デバイス１９２1乃至１９２N、又は低遅延伝送デバイス１９３のいずれか）に返送する。
【０１８８】
通常伝送デバイス１９２1は、パケットを受信し、宛先解析部１８１に供給する。また、通常伝送デバイス１９２1は、宛先解析部１８１からの宛先に対して、受信したパケットを送信する。なお、通常伝送デバイス１９２2乃至１９２Nは、通常伝送デバイス１９２1と同様に構成されるため、それらの説明は省略する。
【０１８９】
低遅延伝送デバイス１９３は、パケットを受信し、宛先解析部１８１に供給する。また、低遅延伝送デバイス１９３は、宛先解析部１８１からの宛先に対して、受信したパケットを送信する。なお、低遅延伝送デバイス１９３は、図８のNIC１４２と同様に構成されているため、宛先解析部１８１からの宛先に対して、低遅延でパケットを送信することができる。
【０１９０】
＜４．第４の実施の形態＞
[送受信システム２００の構成例]
図１４は、第４の実施の形態である送受信システム２００の構成例を示している。
【０１９１】
なお、この送受信システム２００は、第１の実施の形態である送受信システム１００と同様に構成されている部分については、同一の符号を付すようにしたので、それらの部分についての説明は、適宜省略する。
【０１９２】
すなわち、この送受信システム２００は、図１の送信装置１０１に代えて送信装置２０１が設けられている他は、第１の実施の形態である送受信システム１００と同様に構成される。
【０１９３】
そして、送信装置２０１は、バッファ制御部１１２、及びレート制御部１１５に代えて、送信バッファ２１１aを内蔵するバッファ制御部２１１、及びレート制御部２１２が設けられている他は、図１の送信装置１０１と同様に構成される。
【０１９４】
ここで、この送受信システム２００は、図１５Aに示されるように、送信バッファ２１１aにおいて、保存可能バッファサイズBnよりも小さな追加可能バッファサイズBsn以下のデータサイズで、送信バッファ２１１aにデータ（RTPパケット）を保存させるようにするものである。
【０１９５】
そして、送信レートRnから送信レートRn+1に調整されたことに応じて、図１５Bに示されるように、保存可能バッファサイズBnを、追加可能バッファサイズBsn以上の保存可能バッファサイズBn+1、すなわち、バッファ内データサイズbi以上の保存可能バッファサイズBn+1に変更するものである。
【０１９６】
第４の実施の形態では、このようにして、保存可能バッファサイズBn+1が、バッファ内データサイズbiよりも小さいサイズとなる事態を防止して、送信バッファ２１１a内のデータを破棄することなく、低遅延データ伝送を実現するものである。
【０１９７】
すなわち、第４の実施の形態では、送信バッファ２１１a内のデータが破棄されることを防止できる点が、第１の実施の形態とは大きく異なる。
【０１９８】
なお、第４の実施の形態では、保存可能バッファサイズBn+1を、追加可能バッファサイズBsn以上とするために、送信レートRを調整する際に、一定の制約が課せられることとなる。
【０１９９】
図１４において、バッファ制御部２１１は、保存可能バッファサイズBではなく、追加可能バッファサイズBsを超えない範囲内で、符号化部１１１からのRTPパケットを送信バッファ２１１aに保存して、FIFOで出力させる。
【０２００】
また、バッファ制御部２１１は、レート制御部２１２からの送信レートRに基づいて、保存可能バッファサイズB及び追加可能バッファサイズBsを変更する。なお、バッファ制御部２１１においては、送信バッファ２１１a内のRTPパケットを破棄することなく、送信バッファ２１１a内にRTPパケットを保存したときから送信バッファ時間T以内に出力できるように、保存可能バッファサイズB及び追加可能バッファサイズBsが変更される。
【０２０１】
送信バッファ２１１aは、保存可能バッファサイズBよりも小さな追加可能バッファサイズBsの範囲内で、符号化部１１１から出力されるRTPパケットを保存し、FIFOでRTP送信部１１３に出力する。
【０２０２】
レート制御部２１２は、RTCP部１１４からの伝送品質情報に基づき、一定の制約下で、送信レートRを調整し、符号化部１１１、RTP送信部１１３及びバッファ制御部２１１に通知する。
【０２０３】
ここで、例えば、レート制御部２１２において、送信レートRを変更する際の制約として、送信レートRnを送信レートRn+1に変更したときのレート変更比率L(=Rn+1/Rn)が、予め決められたレート変更比率下限値Lmin以上であるという制約が課される。
【０２０４】
また、例えば、レート制御部２１２において、送信レートRを調整（変更）する際の制約として、送信レートRを低くするように変更したときからレート変更最小間隔Ti(sec)だけ、送信レートRの変更が制限（禁止）される。
【０２０５】
[バッファ制御部２１１及びレート制御部２１２の詳細]
次に、図１６は、バッファ制御部２１１及びレート制御部２１２が行う処理の詳細の一例を示している。
【０２０６】
バッファ制御部２１１は、レート制御部２１２からの送信レートRと、予め決められた送信バッファ時間Tに基づいて、上述の式（１）を用いて保存可能バッファサイズBを変更する。
【０２０７】
また、バッファ制御部２１１は、送信バッファ閾値時間を、予め決められた一定時間Ts（以下、送信バッファ閾値時間Tsともいう）に維持するように、送信バッファ閾値時間Tsと、レート制御部２１２からの送信レートRに応じて、次式（２）を用いて、追加可能バッファサイズBsを変更する。
Bs(bit) = R(bps) × Ts(sec) ・・・（２）
【０２０８】
ここで、送信バッファ閾値時間Tsとは、追加可能バッファサイズBs以下のバッファ容量を満たす範囲内で、データが送信バッファ２１１aに保存されたときから出力されるまでに要する最大時間を表す。なお、送信バッファ閾値時間Tsは、送信バッファ時間Tよりも小さな値とされる。
【０２０９】
レート制御部２１２は、RTCP部１１４からの伝送品質情報に基づいて、一定の制約下で、送信レートRを調整する。
【０２１０】
すなわち、例えば、レート制御部２１２は、送信レートRnを送信レートRn+1に変更（調整）したときのレート変更比率L(=Rn+1/Rn)が、レート変更比率下限値Lmin以上となるという変更条件を満たす範囲内で、送信レートRn+1を決定する。ここで、レート変更比率下限値Lminは、送信バッファ時間T及び送信バッファ閾値時間Tsに基づいて、次式（３）により決定される。
Ts ≦ T×Lmin ・・・（３）
【０２１１】
具体的には、例えば、レート制御部２１２は、図１のレート制御部１１５と同様にして、RTCP部１１４からの伝送品質情報に基づいて、送信レートRcを算出する。そして、レート制御部２１２は、送信レートRcが、上述の変更条件を満たす場合には、次式（４）に示されるように、送信レートRcをそのまま、変更後の送信レートRn+1に決定する。
Rc/Rn ≧ Lminの場合Rn+1 = Rc ・・・（４）
【０２１２】
この場合、レート変更比率Lはレート変更比率下限値Lmin以上となり、変更条件を満たす。
【０２１３】
また、レート制御部２１２は、上述の変更条件を満たさない場合には、次式（５）に示されるように、送信レートRcを、変更条件を満たすように修正した上で、変更後の送信レートRn+1に決定する。
Rc/Rn < Lminの場合Rn+1 = Lmin×Rn ・・・（５）
【０２１４】
この場合、レート変更比率Lはレート変更比率下限値Lminとなり、変更条件を満たす。
【０２１５】
なお、送信レートRが低くなるように調整された場合、図１５Bに示されるように、バッファ内データサイズbiが追加可能バッファサイズBsn+1よりも大きくなってしまうことが生じ得る。したがって、この場合、レート制御部２１２において、バッファ内データサイズbiが追加可能バッファサイズBsn+1以下となるまで、送信レートRの調整が制限される。
【０２１６】
具体的には、例えば、レート制御部２１２は、送信レートRを低くするように調整した場合、送信レートRを調整したときから、次式（６）に示されるレート変更最小間隔Ti(sec)を経過するまでの間、送信レートRの調整を制限（禁止）する。
Ti = T - Ts ・・・（６）
【０２１７】
ここで、レート変更最小間隔Tiは、送信レートRnが送信レートRn+1に変更されたときから、バッファ内データサイズbiが追加可能バッファサイズBsn+1以下となるまでに要する最大時間を表す。
【０２１８】
なお、送信レートRが高くなるように調整された場合、バッファ内データサイズbiが追加可能バッファサイズBsn+1よりも大きくなることはないので、レート制御部２１２において、送信レートRの調整を制限する必要はない。
【０２１９】
なお、第１の実施の形態では、符号化部１１１は、バッファ内データサイズbiが保存可能バッファサイズBよりも大きくなることを防止するように符号化パラメータを調整するようにした。この点について、第４の実施の形態では、符号化部１１１は、バッファ内データサイズbiが追加可能バッファサイズBsよりも大きくなることを防止するように符号化パラメータを調整する点が異なる。また、符号化部１１１は、上述の図１５Bにも示されるように、バッファ制御部２１１からの残りバッファサイズbr等に基づいて、バッファ内データサイズbiが追加可能バッファサイズBs以下となるまでは、RTPパケットをバッファ制御部２１１（送信バッファ２１１a）に出力しないものとする。
【０２２０】
[送信装置２０１の動作説明]
次に、図１７のフローチャートを参照して、送信装置２０１が行う送信処理（以下、第３の送信処理という）について説明する。
【０２２１】
ステップＳ１３１において、レート制御部２１２は、ユーザの設定操作等に応じて、送信バッファ時間T及び送信バッファ閾値時間Tsを設定する。また、レート制御部２１２は、設定された送信バッファ時間T及び送信バッファ閾値時間Tsに基づいて、式（３）を用いて、レート変更比率下限値Lminを設定する。
【０２２２】
さらに、レート制御部２１２は、設定された送信バッファ時間T及び送信バッファ閾値時間Tsに基づいて、式（６）を用いて、レート変更最小間隔Tiを設定する。
【０２２３】
ステップＳ１３２において、符号化部１１１は、外部からの画像データに対して、レート制御部２１２からの送信レートRに応じて算出したデータ生成レートで符号化処理を行う。
【０２２４】
ステップＳ１３３において、符号化部１１１は、例えば、符号化処理により得られる符号化データを、複数のRTPパケットにパケット化（変換）するパケット化を行い、その結果得られる複数のRTPパケットを、バッファ制御部２１１に出力する。
【０２２５】
ステップＳ１３４において、バッファ制御部２１１は、符号化部１１１からのRTPパケットを、内蔵する送信バッファ２１１aに供給して保存させる。そして、バッファ制御部２１１は、レート制御部２１２から通知される送信レートRと同一の出力レートで、送信バッファ２１１aからRTP送信部１１３に対してRTPパケットをFIFOで出力する。
【０２２６】
ステップＳ１３５において、RTP送信部１１３は、RTPパケットの送信状況等に基づいて、バッファ制御部１１２からのRTPパケットを送信可能であるか否かを判定し、送信可能であると判定するのを待って、処理をステップＳ１３６に進める。
【０２２７】
ステップＳ１３６において、RTP送信部１１３は、RTPに従って、バッファ制御部１１２からのRTPパケットを、レート制御部２１２により通知される送信レートRで、ネットワーク１０３を介して受信装置１０２に送信する。
【０２２８】
ステップＳ１３７において、RTCP部１１４は、RTCPに従って、ネットワーク１０３を介して受信装置１０２のRTCP部１２４と通信を行い、送信装置１０１と受信装置１０２との間のデータ伝送路における伝送品質情報を収集して、レート制御部２１２に供給する。
【０２２９】
ステップＳ１３８において、レート制御部２１２は、前回の送信レートRの変更からレート変更最小間隔Ti以上経過したか否かを判定し、レート変更最小間隔Ti以上経過していないと判定した場合、処理をステップＳ１３５に戻し、それ以降同様の処理を繰り返す。
【０２３０】
また、ステップＳ１３８において、レート制御部２１２は、前回の送信レートRの変更からレート変更最小間隔Ti以上経過したと判定した場合、処理をステップＳ１３９に進める。
【０２３１】
なお、前回の送信レートRの変更により、送信レートが高く設定された場合には、レート変更最小間隔Ti以上経過するのを待つ必要がないので、ステップＳ１３８の処理をスキップするようにしてもよい。
【０２３２】
ステップＳ１３９において、符号化部１１１がデータ生成レートを、バッファ制御部２１１が保存可能バッファサイズB及び追加可能バッファサイズBsを、レート制御部２１２が送信レートRを調整する第３のレート制御処理が行なわれる。この第３のレート制御処理の詳細は、図１８のフローチャートを参照して詳述する。
【０２３３】
ステップＳ１４０において、制御部１１６は、操作部１１７からの操作信号等に基づいて、第３の送信処理を終了するか否かを判定し、第３の送信処理を終了しないと判定した場合、処理をステップＳ１３２に戻し、それ以降同様の処理が行なわれる。
【０２３４】
また、ステップＳ１４０において、制御部１１６は、操作部１１７からの操作信号等に基づいて、第３の送信処理を終了すると判定した場合、第３の送信処理は終了される。
【０２３５】
以上説明したように、第３の送信処理によれば、送信装置２０１において、送信レートRが低くなるように変更された場合でも、送信バッファ２１１a内のデータを破棄することなく、低遅延データ伝送を行えるようにした。
【０２３６】
このため、送信装置２０１により送信される画像データにおいて、送信バッファ２１１a内のデータが破棄されることにより、破棄されたデータ分だけ画質が劣化する事態を防止することが可能となる。
【０２３７】
したがって、受信装置１０２においては、例えば、送信装置２０１からのRTPパケットを低遅延で受信できるとともに、受信したRTPパケットを組み立てて復号することにより得られる、比較的、高画質な画像データを再生できるようになる。
【０２３８】
[第３のレート制御処理の詳細]
次に、図１８のフローチャートを参照して、図１７のステップＳ１３９における第３のレート制御処理の詳細について説明する。
【０２３９】
ステップＳ１６１において、レート制御部２１２は、RTCP部１１４からの伝送品質情報を取得する。なお、RTCP部１１４は、RTCPに従ってネットワーク１０３を介して、受信装置１０２のRTCP部１２４と通信を行い、送信装置１０１と受信装置１０２との間のデータ伝送路における伝送品質情報を収集して、レート制御部２１２に供給する。
【０２４０】
ステップＳ１６２において、レート制御部２１２は、RTCP部１１４からの伝送品質情報に基づいて、送信レートRcを算出する。
【０２４１】
ステップＳ１６３において、レート制御部２１２は、変更前の送信レートRnと、算出した送信レートRcに基づいて、レート変更比率L（=Rc/Rn）がレート変更比率下限値Lmin以上であるという条件を満たしているか否かを判定する。
【０２４２】
ステップＳ１６３において、レート制御部２１２は、レート変更比率Lがレート変更比率下限値Lmin以上であると判定した場合、処理をステップＳ１６４に進め、変更後の送信レートRn+1を送信レートRcとし、符号化部１１１、RTP送信部１１３、及びバッファ制御部２１１に供給する。
【０２４３】
また、ステップＳ１６３において、レート制御部２１２は、レート変更比率Lがレート変更比率下限値Lmin以上ではない場合、処理をステップＳ１６５に進め、送信レートRn+1を送信レートLmin×Rnとし、符号化部１１１、RTP送信部１１３、及びバッファ制御部２１１に供給する。
【０２４４】
ステップＳ１６６において、バッファ制御部２１１は、レート制御部２１２からの送信レートRと、送信バッファ時間Tに基づいて、式（１）を用いて、送信バッファ２１１aの保存可能バッファサイズBを算出して変更する。また、バッファ制御部２１１は、レート制御部２１２からの送信レートRと、送信バッファ閾値時間Tsに基づいて、式（２）を用いて、追加可能バッファサイズBsを算出して変更する。
【０２４５】
さらに、バッファ制御部２１１は、算出した保存可能バッファイサイズBから、送信バッファ２１１a内のデータのバッファ内データサイズbiを差し引いて得られる残りバッファサイズbrを、符号化部１１１に供給する。
【０２４６】
ステップＳ１６７において、符号化部１１１は、レート制御部２１２からの送信レートRと、バッファ制御部２１１からの残りバッファサイズbrに基づいて、データ生成レートを算出する。
【０２４７】
以上で第３のレート制御処理は終了され、図１７のステップＳ１３９にリターンされ、ステップＳ１４０に進められる。
【０２４８】
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、又は、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、プログラム記録媒体からインストールされる。
【０２４９】
[コンピュータの構成例]
図１９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０２５０】
CPU（Central Processing Unit）３０１は、ROM（Read Only Memory）３０２、又は記憶部３０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）３０３には、CPU３０１が実行するプログラムやデータ等が適宜記憶される。これらのCPU３０１、ROM３０２、及びRAM３０３は、バス３０４により相互に接続されている。
【０２５１】
CPU３０１にはまた、バス３０４を介して入出力インタフェース３０５が接続されている。入出力インタフェース３０５には、キーボード、マウス、マイクロホン等よりなる入力部３０６、ディスプレイ、スピーカ等よりなる出力部３０７が接続されている。CPU３０１は、入力部３０６から入力される指令に対応して各種の処理を実行する。そして、CPU３０１は、処理の結果を出力部３０７に出力する。
【０２５２】
入出力インタフェース３０５に接続されている記憶部３０８は、例えばハードディスクからなり、CPU３０１が実行するプログラムや各種のデータを記憶する。通信部３０９は、インターネットやローカルエリアネットワーク等のネットワークを介して外部の装置と通信する。
【０２５３】
また、通信部３０９を介してプログラムを取得し、記憶部３０８に記憶してもよい。
【０２５４】
入出力インタフェース３０５に接続されているドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア３１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータ等を取得する。取得されたプログラムやデータは、必要に応じて記憶部３０８に転送され、記憶される。
【０２５５】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録（記憶）する記録媒体は、図１９に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ（Mini-Disc）を含む）、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア３１１、又は、プログラムが一時的もしくは永続的に格納されるROM３０２や、記憶部３０８を構成するハードディスク等により構成される。記録媒体へのプログラムの記録は、必要に応じてルータ、モデム等のインタフェースである通信部３０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の通信媒体を利用して行われる。
【０２５６】
なお、本明細書において、上述した一連の処理を記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２５７】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０２５８】
なお、本開示の実施の形態は、上述した第１乃至第４の実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０２５９】
１００ 送受信システム， １０１ 送信装置， １０２ 受信装置， １０３ ネットワーク， １１１ 符号化部， １１２ バッファ制御部， １１２a 送信バッファ， １１３ RTP送信部， １１４ RTCP部， １１５ レート制御部， １１６ 制御部， １１７ 操作部， １２１ RTP受信部， １２２ 受信バッファ， １２３ 復号部， １２４ RTCP部， １２５ 制御部， １２６ 操作部， １４１ PC， １４２ NIC， １５１ 符号化部， １５２ 復号部， １６１ 受信部， １６２ 受信バッファ， １６３ レート制御部， １６４ バッファ制御部， １６４a 送信バッファ， １６５ 変調部， １６６ 送信部， １８１ 無線中継装置， １９１ 宛先解析部， １９２1乃至１９２N 通常伝送デバイス， １９３ 低遅延伝送デバイス， ２００ 送受信システム， ２０１ 送信装置， ２１１ バッファ制御部， ２１１a 送信バッファ， ２１２ レート制御部
【特許請求の範囲】
【請求項１】
データを送信する際の送信レートを調整するレート調整部と、
前記送信レートに基づいて、前記データを一時的に保存するためのバッファのサイズを変更する変更部と、
前記バッファに、前記バッファのサイズよりも小さい追加可能サイズ以下の前記データを一時的に保存させ、送信部に出力させるバッファ制御部と、
前記バッファから出力される前記データを送信する前記送信部と
を含む送信装置。
【請求項２】
前記変更部は、予め決められた送信バッファ時間にも基づいて、前記バッファのサイズを変更し、
前記バッファ制御部は、前記バッファに保存したときから前記送信バッファ時間以内に、前記データを前記送信部に出力させる
請求項１に記載の送信装置。
【請求項３】
前記レート調整部は、調整前の送信レートと、調整後の送信レートとの比を表すレート調整比率が、予め決められたレート調整比率下限値以上となるように、前記送信レートを調整する
請求項１又は２に記載の送信装置。
【請求項４】
前記レート調整部は、前記送信レートを調整したときから、予め決められた制限時間が経過するまで、新たな前記送信レートの調整を制限する
請求項１乃至３に記載の送信装置。
【請求項５】
前記レート調整部は、前記送信レートを調整したときから、前記バッファに保存済みの前記データのデータサイズが、前記追加可能サイズ以下となるまでに要する最大時間である前記制限時間が経過するまで、新たな前記送信レートの調整を制限する
請求項４に記載の送信装置。
【請求項６】
前記送信レートに基づいて、前記データを符号化して得られる符号化データを生成する際に用いる符号化パラメータを調整するパラメータ調整部と、
前記データに対して、前記符号化パラメータに基づく符号化処理を行う符号化部と
をさらに含み、
前記バッファ制御部は、前記バッファに、前記追加可能サイズ以下の前記符号化データを一時的に保存させ、前記送信部に出力させる
請求項１乃至５に記載の送信装置。
【請求項７】
前記パラメータ調整部は、前記送信レートに基づいて、前記符号化パラメータとして、所定の時間における前記符号化データの生成量を表すデータ生成レートを調整する
請求項６に記載の送信装置。
【請求項８】
前記レート調整部は、前記データを送信する際に用いるデータ伝送路の状況を表す伝送品質情報に基づいて、前記送信レートを調整する
請求項１乃至７に記載の送信装置。
【請求項９】
前記レート調整部は、前記データの損失率、往復伝送遅延、ジッタ、S/N比(signal to noise ratio)、又はBER(Bit Error Rate)の少なくとも１つを含む前記伝送品質情報に基づいて、前記送信レートを調整する
請求項８に記載の送信装置。
【請求項１０】
データを送信する送信装置の送信方法において、
データを送信する際の送信レートを調整するレート調整ステップと、
前記送信レートに基づいて、前記データを一時的に保存するためのバッファのサイズを変更する変更ステップと、
前記バッファに、前記バッファのサイズよりも小さい追加可能サイズ以下の前記データを一時的に保存させて出力させるバッファ制御ステップと、
前記バッファから出力される前記データを送信する送信ステップと
を含む送信方法。
【請求項１１】
コンピュータを、
データを送信する際の送信レートを調整するレート調整部と、
前記送信レートに基づいて、前記データを一時的に保存するためのバッファのサイズを変更する変更部と、
前記バッファに、前記バッファのサイズよりも小さい追加可能サイズ以下の前記データを一時的に保存させ、送信部に出力させるバッファ制御部と、
前記バッファから出力される前記データを送信する前記送信部と
して機能させるためのプログラム。
【請求項１】
データを送信する際の送信レートを調整するレート調整部と、
前記送信レートに基づいて、前記データを一時的に保存するためのバッファのサイズを変更する変更部と、
前記バッファに、前記バッファのサイズよりも小さい追加可能サイズ以下の前記データを一時的に保存させ、送信部に出力させるバッファ制御部と、
前記バッファから出力される前記データを送信する前記送信部と
を含む送信装置。
【請求項２】
前記変更部は、予め決められた送信バッファ時間にも基づいて、前記バッファのサイズを変更し、
前記バッファ制御部は、前記バッファに保存したときから前記送信バッファ時間以内に、前記データを前記送信部に出力させる
請求項１に記載の送信装置。
【請求項３】
前記レート調整部は、調整前の送信レートと、調整後の送信レートとの比を表すレート調整比率が、予め決められたレート調整比率下限値以上となるように、前記送信レートを調整する
請求項１又は２に記載の送信装置。
【請求項４】
前記レート調整部は、前記送信レートを調整したときから、予め決められた制限時間が経過するまで、新たな前記送信レートの調整を制限する
請求項１乃至３に記載の送信装置。
【請求項５】
前記レート調整部は、前記送信レートを調整したときから、前記バッファに保存済みの前記データのデータサイズが、前記追加可能サイズ以下となるまでに要する最大時間である前記制限時間が経過するまで、新たな前記送信レートの調整を制限する
請求項４に記載の送信装置。
【請求項６】
前記送信レートに基づいて、前記データを符号化して得られる符号化データを生成する際に用いる符号化パラメータを調整するパラメータ調整部と、
前記データに対して、前記符号化パラメータに基づく符号化処理を行う符号化部と
をさらに含み、
前記バッファ制御部は、前記バッファに、前記追加可能サイズ以下の前記符号化データを一時的に保存させ、前記送信部に出力させる
請求項１乃至５に記載の送信装置。
【請求項７】
前記パラメータ調整部は、前記送信レートに基づいて、前記符号化パラメータとして、所定の時間における前記符号化データの生成量を表すデータ生成レートを調整する
請求項６に記載の送信装置。
【請求項８】
前記レート調整部は、前記データを送信する際に用いるデータ伝送路の状況を表す伝送品質情報に基づいて、前記送信レートを調整する
請求項１乃至７に記載の送信装置。
【請求項９】
前記レート調整部は、前記データの損失率、往復伝送遅延、ジッタ、S/N比(signal to noise ratio)、又はBER(Bit Error Rate)の少なくとも１つを含む前記伝送品質情報に基づいて、前記送信レートを調整する
請求項８に記載の送信装置。
【請求項１０】
データを送信する送信装置の送信方法において、
データを送信する際の送信レートを調整するレート調整ステップと、
前記送信レートに基づいて、前記データを一時的に保存するためのバッファのサイズを変更する変更ステップと、
前記バッファに、前記バッファのサイズよりも小さい追加可能サイズ以下の前記データを一時的に保存させて出力させるバッファ制御ステップと、
前記バッファから出力される前記データを送信する送信ステップと
を含む送信方法。
【請求項１１】
コンピュータを、
データを送信する際の送信レートを調整するレート調整部と、
前記送信レートに基づいて、前記データを一時的に保存するためのバッファのサイズを変更する変更部と、
前記バッファに、前記バッファのサイズよりも小さい追加可能サイズ以下の前記データを一時的に保存させ、送信部に出力させるバッファ制御部と、
前記バッファから出力される前記データを送信する前記送信部と
して機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１２−１４２７０１（Ｐ２０１２−１４２７０１Ａ）
【公開日】平成２４年７月２６日（２０１２．７．２６）
【国際特許分類】
【出願番号】特願２０１０−２９２６１８（Ｐ２０１０−２９２６１８）
【出願日】平成２２年１２月２８日（２０１０．１２．２８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年７月２６日（２０１２．７．２６）
【国際特許分類】
【出願日】平成２２年１２月２８日（２０１０．１２．２８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]