特定メディアデータの破棄を制御する送信装置及び送信プログラム
【課題】 一方のメディアデータの伝送における遅延変動に影響を与えない程度に、他方のメディアデータの伝送を制御する送信装置及び送信プログラムを提供する。
【解決手段】 音声データを一時的に蓄積する第１のバッファと、映像データを一時的に蓄積する第２のバッファと、第１のバッファから出力された音声データと、第２のバッファから出力された映像データとを１系統の信号線に出力するための多重化手段と、第１のバッファの第１のバッファ蓄積量を監視し、該第１のバッファ蓄積量が第１の閾値を越えた際に、映像データを破棄するように第２のバッファへ指示する送信バッファ監視手段とを有する。
【解決手段】 音声データを一時的に蓄積する第１のバッファと、映像データを一時的に蓄積する第２のバッファと、第１のバッファから出力された音声データと、第２のバッファから出力された映像データとを１系統の信号線に出力するための多重化手段と、第１のバッファの第１のバッファ蓄積量を監視し、該第１のバッファ蓄積量が第１の閾値を越えた際に、映像データを破棄するように第２のバッファへ指示する送信バッファ監視手段とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特定メディアデータの破棄を制御する送信装置及び送信プログラムに関する。
【背景技術】
【０００２】
異なるメディアデータの送信が可能な送信装置は、同時に発生するメディアデータ毎に
符号化し、所定サイズのフレームに構成し、そのフレームをネットワークへ送信する。一方、受信装置は、受信したフレーム単位で、異なるメディアデコーダを用いてメディアデータを復号する。メディアデータ毎に、所定サイズをどのように決定するかが、マルチメディアデータの多重化においては重要である。
【０００３】
図１は、異なるメディアデータを送信する送信装置の機能構成図である。
【０００４】
送信装置１は、映像データ及び音声データをリアルタイムで符号化して送信する。送信装置１は、映像信号を出力するカメラ４と、音声信号を出力するマイク５とに接続され、ＩＰ(Internet Protocol)ネットワーク３を介して受信装置２と通信する。
【０００５】
送信装置１は、映像データについて、フォーマット変換部１０１と、映像エンコーダ部１０２と、映像データ用バッファ１０３と、ＲＴＰ(Real-time Transport Protocol)ヘッダ付加部１０４とを有する。また、音声データについて、増幅器１１０と、音声エンコーダ部１０８と、音声データ用バッファ１０７と、ＲＴＰヘッダ付加部１０６とを有する。更に、各々のＵＤＰポート番号が割り当てられた複数のメディアデータを多重化してＩＰネットワーク３に出力するＵＤＰ(User Datagram Protocol)／ＩＰプロトコルスタック部１０５を有する。
【０００６】
カメラ４から出力された映像信号は、フォーマット変換部１０１によって圧縮符号化に適した映像フォーマットに変換され、映像エンコーダ部１０２によって圧縮符号化される。その方式は、１フレーム（１画面）を単位として符号化データを生成するものであって、例えばＩＳＯ／ＩＥＣ(International Organization for Standardization／International Electrotechnical Commission) ＭＰＥＧ−４(Moving Picture Experts Group-4)ビジュアルがある。低ビットレートのＭＰＥＧ−４によれば、１フレームは、例えば１００ｍ秒間隔（毎秒１０フレーム）となる。生成されたビットストリームデータは、映像データ用バッファ１０３に入力される。ＲＴＰヘッダ付加部１０４は、バッファ１０３から取り出した映像データのフレーム毎にＲＴＰヘッダを付加する。そのＲＴＰパケットは、ＵＤＰ／ＩＰプロトコルスタック部１０５によってＵＤＰ及びＩＰヘッダが付加され、ＩＰネットワーク３へ送信される。
【０００７】
一方、マイク５から出力された音声信号は、増幅器１１０によって増幅され、Ａ／Ｄ(Analog/Digital)変換部１０９によって伝送可能なビット列に変換される。次に、その音声データは、音声エンコーダ部１０８によって圧縮符号化される。その方式は、予め決められた時間長を１フレームとして符号化データを生成するものであって、例えば３ＧＰＰ(3rd Generation Partnership Project) ＡＭＲ(Adaptive Multi Rate)がある。ＡＭＲ方式においては、１フレームは２０ｍ秒となる。生成されたビットストリームは、音声データ用バッファ１０７に入力される。ＲＴＰヘッダ付加部１０６は、バッファ１０７から取り出した映像データのフレーム毎にＲＴＰヘッダを付加する。そのＲＴＰパケットは、ＵＤＰ／ＩＰプロトコルスタック部１０５によってＵＤＰ及びＩＰヘッダが付加され、ＩＰネットワーク３へ送信される。
【０００８】
受信装置２は、データパケットを受信するためにＩＰネットワーク３に接続され、受信したデータパケットのメディアデータに応じて復号する。
【０００９】
表１は、従来技術におけるパケット多重化フレームのデータ構造である。
【表１】
【００１０】
従来技術によれば、音声データのフレームと、映像データのフレームとは別々に必要となる。これは、フレーム毎に、そのメディアデータに応じたデコーダによって復号させるためである。
【００１１】
前述したような従来技術によれば、生成されるＲＴＰパケットは以下のようになる。ここで、符号化パラメータとして、低い伝送レート（６４ｋbit／秒）における一般的な値を想定する。
映像の符号化ビットレート：３２ｋbit／秒、フレームレート：１０枚／秒
音声の符号化ビットレート：６８００bit／秒、フレーム長：２０m秒
ＲＴＰヘッダサイズ：１２byte
ＵＤＰヘッダ：８byte
ＩＰヘッダ：２０byte
【００１２】
映像データについては、以下のようになる。
映像の符号化ビットレート：３２ｋbit／秒÷８bit ＝ ４ｋbyte／秒
秒当たりの伝送フレーム数：１０フレーム／秒
映像データパケットの伝送間隔：１秒／１０フレーム ＝ １００ｍ秒
フレームレート：４ｋbyte／秒÷１０フレーム／秒 ＝ ４００byte／フレーム
映像の１パケット：４００byte＋１２byte＋８byte＋２０byte ＝ ４４０byte
映像１パケットの伝送時間：４４０byte×８bit÷６４ｋbit／秒 ＝ ５５m秒
【００１３】
音声データについては、以下のようになる。
音声の符号化ビットレート：６８００bit／秒÷８bit ＝ ８５０byte／秒
秒当たりの伝送フレーム数：５０フレーム／秒
音声データパケットの伝送間隔：１秒／５０フレーム ＝ ２０ｍ秒
１フレーム当たりのバイト数：８５０byte／秒×２０ｍ秒 ＝ １７byte／フレーム
音声の１パケット：１７byte＋１２byte＋８byte＋２０byte ＝ ５７byte
音声１パケットの伝送時間：５７byte×８bit÷６４ｋbit／秒 ＝ ７．１２５m秒
【００１４】
音声データパケットは２０ｍ秒間隔で送信され、映像データパケットは１００ｍ秒間隔で送信されるので、音声データパケットの送信の５回に１回の割合で、映像データパケットの送信が割り込むこととなる。
【００１５】
図２は、従来技術におけるフレームの伝送シーケンス図である。
【００１６】
音声データパケットは２０ｍ秒毎に送信され、映像データパケットは１００ｍ秒毎に送信される。音声データパケットは、４０byteのヘッダ（ＩＰ、ＵＤＰ、ＲＴＰ）とデータ部分とからなる。データ部分が１７byteとすると、伝送に７．１２５ｍ秒を要する。映像データパケットは、４０byteのヘッダとデータ部分とからなる。データ部分が４００byteとすると、伝送に５５ｍ秒を要する。
【００１７】
図２によれば、例えば、映像データパケットV1の送信の直後に、音声データパケットA3が送信されたとする。映像データパケットV1は、送信装置から送信されてから５５ｍ秒後に、受信装置に到着する。一方、音声データパケットA3は、更に７．１２５ｍ秒後、即ち送信装置から送信されてから６２．１２５ｍ秒後に、受信装置に到着する。このために、映像データパケットによって割り込まれた音声データパケットは、送信装置の送出間隔２０ｍ秒に対し、受信装置に受信された時は６２ｍ秒後ということになる。その後、音声データパケットA4,A5,A6,A7が連続して、受信装置に到着する。音声データパケットの伝送に要する時間７ｍ秒は、送出間隔２０ｍ秒に比べて十分小さいため、受信装置における到着間隔はやがて元に戻ることとなるが、その後、再度、映像データパケットが音声データパケットの間に割り込むため、到着遅延の変動が生じる。
【００１８】
音声データは、アナログ信号に戻して再生する際に、連続的でなければならない。この点において、映像データのようなフレーム単位の離散的データと異なる。このため、受信装置は、音声データパケットの最大到着遅延量に合わせて、予めバッファに蓄積してから再生する。このような音声データパケットの遅延変動は、受信側に大きなバッファ蓄積を要求することとなり、伝送遅延全体を増大させるものとなる。
【００１９】
更に、従来技術によれば、ＲＴＰ、ＵＤＰ、ＩＰのヘッダを、映像データパケット及び音声データパケットそれぞれ独立に付加する必要がある。従って、
（１２byte＋８byte＋２０byte）×８bit×（５０音声フレーム＋１０映像フレーム）
＝ １９．２ｋbit／秒
ものヘッダによるオーバヘッドを要する。
【００２０】
また、音声データパケットの遅延変動を抑えるために、映像データパケットを分割し、映像データパケットと音声データパケットとを交互に送信するという方法もある。この場合、両パケットが等間隔で送信されるため、音声データパケットの到着時間ゆらぎを回避することは可能となる。しかしながら、この方法によれば、ヘッダによるオーバヘッドは、更に大きくなり、伝送効率が極めて低下する。
（１２byte＋８byte＋２０byte）×８bit×（５０音声フレーム＋５０映像フレーム）
＝ ３２ｋbit／秒
【００２１】
先行公知文献としては、ＲＴＰについて規定したＩＥＴＦ ＲＦＣ３５５０（非特許文献１参照）、ＭＰＥＧ−４をＲＴＰに乗せたフォーマットを規定したＩＥＴＦ ＲＦＣ３０１６（非特許文献２参照）、ＡＭＲをＲＴＰに乗せたフォーマットを規定したＩＥＴＦ ＲＦＣ３２６７（非特許文献３参照）がある。
【００２２】
【非特許文献１】ＩＥＴＦ(Internet Engineering Task Force) ＲＦＣ(Request For Comment)３５５０
【非特許文献２】ＩＥＴＦ ＲＦＣ３０１６
【非特許文献３】ＩＥＴＦ ＲＦＣ３２６７
【発明の開示】
【発明が解決しようとする課題】
【００２３】
多重化フレームのビットレートよりも、伝送路のビットレートの方が低い場合、多重化バッファに蓄積される多重化フレームの数が時間と共に増大する。帯域保証のないインターネットや、無線環境が変化しやすいモバイルネットワークにおいては、伝送路のビットレートの変動が著しい。リアルタイム通信における音声データについては、音声データが所望の時間間隔で到着しないことによる音途切れが発生する。また、映像データについては、フレーム間隔のゆらぎ及び表示遅延として、利用者に知覚されることとなる。このように、従来技術によれば、一方のメディアデータの伝送が、他方のメディアデータの伝送における遅延変動に影響を与えることとなる。
【００２４】
特に、ＩＰテレビ電話等のリアルタイム通信においては、会話成立のために、少なくとも音声データは遅滞なく伝送される必要がある。このため、伝送路のビットレートが変動するような環境下においては、音声データを確実に伝送するための制御が必要となる。
【００２５】
従って、本発明は、一方のメディアデータの伝送における遅延変動に影響を与えない程度に、他方のメディアデータの伝送を制御する送信装置及び送信プログラムを提供することを目的とする。
【課題を解決するための手段】
【００２６】
本発明の送信装置によれば、
送信すべき第１のメディアデータを一時的に蓄積する第１のバッファと、
送信すべき第２のメディアデータを一時的に蓄積する第２のバッファと、
第１のバッファから出力された第１のメディアデータと、第２のバッファから出力された第２のメディアデータとを１系統の信号線に出力するための多重化手段と、
第１のバッファの第１のバッファ蓄積量を監視し、該第１のバッファ蓄積量が第１の閾値を越えた際に、第２のメディアデータを破棄するように第２のバッファへ指示する送信バッファ監視手段と
を有することを特徴とする。
【００２７】
本発明の送信装置における他の実施形態によれば、
第１のバッファ蓄積量が第１の閾値を越えた後、第１のバッファ蓄積量が第２の閾値以下となる状態が所定時間ＴＭだけ経過した際に、伝送路レートの測定を開始する伝送レート測定手段を更に有し、
送信バッファ監視手段は、伝送路レートが所定レート以上に回復したとき、第２のメディアデータの破棄を停止するように第２のバッファに指示することも好ましい。
【００２８】
本発明の送信装置によれば、
送信すべき第２のメディアデータを一時的に蓄積する第２のバッファと
第１のメディアデータと、第２のバッファから出力された第２のメディアデータとを１系統の信号線に出力するための多重化手段と、
多重化手段から出力されたフレームを一時的に蓄積する第３のバッファと、
第３のバッファの第３のバッファ蓄積量を監視し、該第３のバッファ蓄積量が送信可能最大サイズよりも少ない場合、その差分サイズ分の第２のメディアデータが転送されるように第２のバッファを制御する多重化サイズ決定手段と
を有することを特徴とする。
【００２９】
本発明の送信装置における他の実施形態によれば、
第３のバッファから出力されるフレームをネットワークへ送信するネットワークインタフェース手段と、
ネットワークインタフェース手段から得られる伝送路状態パラメータに基づいて送信可能最大サイズを算出し、該送信可能最大サイズを多重化サイズ決定手段へ出力する伝送路レート推定手段と
を更に有することも好ましい。
【００３０】
また、本発明の送信装置における他の実施形態によれば、
第２のバッファの第２のバッファ蓄積量を監視し、該第２のバッファ蓄積量が第２の閾値を越えた場合、第２のメディアデータを破棄するように第２のバッファに指示する第２のバッファ監視手段を更に有することも好ましい。
【００３１】
更に、本発明の送信装置における他の実施形態によれば、
第３のバッファの第３のバッファ蓄積量を監視し、該第３のバッファ蓄積量が第３の閾値以下となった場合、リセット信号を第２のバッファ監視手段へ出力する多重化バッファ監視手段を更に有し、
第２のバッファ監視手段は、リセット信号を入力した際に、第２のメディアデータの破棄を停止するように第２のバッファへ指示することも好ましい。
【００３２】
更に、本発明の送信装置における他の実施形態によれば、
第２のバッファは、アクセスユニット単位で配列に構成されており、
第２のバッファは、第２のバッファ内のデータを破棄する際、最も古いアクセスユニット情報はバッファに残し、その後に続くアクセスユニットを破棄することも好ましい。
【００３３】
更に、本発明の送信装置における他の実施形態によれば、
映像バッファ監視手段が第２のバッファに対して映像データの破棄を指示し、破棄の継続時間が所定閾値時間を越えた場合、その状態を外部に出力する経過時間判定手段を更に有することも好ましい。
【００３４】
本発明の送信装置によれば、
送信すべき第１のメディアデータを一時的に蓄積する第１のバッファと、
送信すべき第２のメディアデータを一時的に蓄積する第２のバッファと
ＵＤＰヘッダに続いて、シリアル番号部と、第１のメディアデータサイズ部と、該サイズ部に格納された長さの第１のメディアデータと、第２のメディアデータとを含むデータ構造を有する、異なるメディアデータのパケット多重化フレームを生成する多重化手段と、
多重化手段によって生成されたフレームを一時的に蓄積する第３のバッファと、
第３のバッファに蓄積されたフレームから、シリアル番号部と、第１のメディアデータサイズ部と、該サイズ部に格納された長さの第１のメディアデータと、第２のメディアデータとに分離し、分離された第２のメディアデータを破棄するパケット分離手段と、
分離されたシリアル番号部と、第１のメディアデータサイズ部と、該サイズ部に格納された長さの第１のメディアデータとを含むデータ構造を有するフレームを再度生成し、該フレームを第３のバッファに入力する再多重化手段と、
第３のバッファとパケット分離手段との間に接続されたスイッチと、
第３のバッファに対する第１の閾値を蓄積し、第３のバッファに蓄積されたフレーム数を監視し、該フレーム数が第１の閾値を越えた際に、第２のメディアデータの転送を停止するべく第２のバッファへ指示し、スイッチをＯＮにして第３のバッファに蓄積されたフレームをパケット分離手段へ入力するように制御する送信バッファ監視手段と
を有することを特徴とする。
【００３５】
本発明の送信装置における他の実施形態によれば、
第３のバッファに蓄積されたフレーム数が第１の閾値を越えた後、第３のバッファに蓄積されたフレーム数が第２の閾値以下となる状態が所定時間ＴＭだけ経過した際に、伝送路レートの測定を開始する伝送レート測定手段と、
送信バッファ監視手段は、伝送路レートが所定レート以上に回復したとき、第３のバッファに蓄積されたフレームの破棄を停止するべく、第２のメディアデータの転送を再開するように第２のバッファへ指示し、スイッチをＯＦＦにして第３のバッファに蓄積されたフレームを送信するように制御することも好ましい。
【００３６】
また、本発明の送信装置における他の実施形態によれば、
多重化手段は、
シリアル番号を送出する加算手段と、
第１のメディアデータを一時的に蓄積する第１のメモリと、
第２のメディアデータを一時的に蓄積する第２のメモリと、
加算手段から出力されたシリアル番号を、フレームのシリアル番号部に含め、次に、第１のメモリから出力された第１のメディアデータサイズを、フレームの第１のメディアデータサイズ部に含め、次に、第１のメモリから出力された、第１のメディアデータサイズ部に格納された長さの第１のメディアデータを含め、次に、第２のメモリから出力された第２のメディアデータを含めるようにした多重化パケットの生成を繰り返す多重パケット生成手段と
を有することも好ましい。
【００３７】
更に、本発明の送信装置における他の実施形態によれば、第１のメディアデータは音声データであって、第２のメディアデータは映像データであってもよい。
【００３８】
本発明の送信プログラムによれば、
送信すべき第１のメディアデータを一時的に蓄積する第１のバッファと、
送信すべき第２のメディアデータを一時的に蓄積する第２のバッファと、
第１のバッファから出力された第１のメディアデータと、第２のバッファから出力された第２のメディアデータとを１系統の信号線に出力するための多重化手段と、
第１のバッファの第１のバッファ蓄積量を監視し、該第１のバッファ蓄積量が第１の閾値を越えた際に、第２のメディアデータを破棄するように第２のバッファへ指示する送信バッファ監視手段と
してコンピュータを機能させることを特徴とする。
【００３９】
本発明の送信プログラムによれば、
送信すべき第２のメディアデータを一時的に蓄積する第２のバッファと
第１のメディアデータと、第２のバッファから出力された第２のメディアデータとを１系統の信号線に出力するための多重化手段と、
多重化手段から出力されたフレームを一時的に蓄積する第３のバッファと、
第３のバッファの第３のバッファ蓄積量を監視し、該第３のバッファ蓄積量が送信可能最大サイズよりも少ない場合、その差分サイズ分の第２のメディアデータが転送されるように第２のバッファを制御する多重化サイズ決定手段と
としてコンピュータを機能させることを特徴とする。
【００４０】
本発明の送信プログラムによれば、
送信すべき第１のメディアデータを一時的に蓄積する第１のバッファと、
送信すべき第２のメディアデータを一時的に蓄積する第２のバッファと
ＵＤＰヘッダに続いて、シリアル番号部と、第１のメディアデータサイズ部と、該サイズ部に格納された長さの第１のメディアデータと、第２のメディアデータとを含むデータ構造を有する、異なるメディアデータのパケット多重化フレームを生成する多重化手段と、
多重化手段によって生成されたフレームを一時的に蓄積する第３のバッファと、
第３のバッファに蓄積されたフレームから、シリアル番号部と、第１のメディアデータサイズ部と、該サイズ部に格納された長さの第１のメディアデータと、第２のメディアデータとに分離し、分離された第２のメディアデータを破棄するパケット分離手段と、
分離されたシリアル番号部と、第１のメディアデータサイズ部と、該サイズ部に格納された長さの第１のメディアデータとを含むデータ構造を有するフレームを再度生成し、該フレームを第３のバッファに入力する再多重化手段と、
第３のバッファとパケット分離手段との間に接続されたスイッチと、
第３のバッファに対する第１の閾値を蓄積し、第３のバッファに蓄積されたフレーム数を監視し、該フレーム数が第１の閾値を越えた際に、第２のメディアデータの転送を停止するべく第２のバッファへ指示し、スイッチをＯＮにして第３のバッファに蓄積されたフレームをパケット分離手段へ入力するように制御する送信バッファ監視手段と
としてコンピュータを機能させることを特徴とする。
【発明の効果】
【００４１】
伝送路レートが低下することによりバッファからの抜き取り速度が低下し、バッファレベルは徐々に高くなる。このような状況下で音声会話を優先させる場合に、既に映像用データバッファに蓄積された映像データを破棄することにより、ビットレートの低い音声データのみを伝送する。一般に、音声データのビットレートは、映像データのビットレートと比較して十分に小さい。従って、伝送路レートが低下している状態においてもデータが過剰に生成されることなく、安定した音声会話が実現される。
【００４２】
また、本発明によれば、時々刻々と変化するネットワークシステムにおいても、送出可能なデータサイズに対して過不足のない多重化データの生成が可能となる。これにより、ネットワークの利用効率を最大限に保つと共に、多重化データ生成が過剰に生成されることによる遅延の蓄積を防ぐことができる。
【発明を実施するための最良の形態】
【００４３】
以下では、図面を用いて、本発明を実施するための最良の形態について詳細に説明する。
【００４４】
図３は、本発明における送信装置の第１の機能構成図である。
【００４５】
図３の送信装置は、図１の送信装置と比較して、送信バッファ監視部１１７と、伝送路レート測定部１２６とを更に有する。また、映像データ用バッファ１０３は、映像データを転送するか、又は蓄積された映像データを破棄するように制御される。映像データ用バッファ１０３が、破棄を指示されると、ＵＤＰ／ＩＰプロトコルヘッダスタック部１０５には、音声データしか入力されない。
【００４６】
送信バッファ監視部１１７は、コンパレータ１１７１と、閾値記憶部１１７２と、フリップフロップ１１７３とを有する。閾値記憶部１１７２は、音声データ用バッファ１０７に対するバッファ蓄積量の閾値Ｔｈ１を記憶する。コンパレータ１１７１は、音声データ用バッファ１０７のバッファ蓄積量と、閾値Ｔｈ１とを比較する。バッファ蓄積量が、閾値Ｔｈ１を越えた際に、映像データ用バッファ１０３へ破棄が指示される。
【００４７】
伝送路レート測定部１２６は、音声データ用バッファ１０７のバッファ蓄積量が閾値Ｔｈ２以下となる状態が所定時間ＴＭだけ経過した際に、伝送路レートの測定を開始する。測定された伝送路レートが所定レート以上に回復した場合、リセット信号を送信バッファ監視部１１７へ送信する。伝送路レートの具体的な測定方法としては、例えば同一出願人による特願２００３−０８０１３４号がある。この方法は、サイズの異なる２種類のレポートパケットを送信装置及び受信装置の間で交換することによる往復遅延時間に基づいて、伝送路レートを測定する。
【００４８】
送信バッファ監視部１１７は、伝送路レート測定部１２６からリセット信号が入力されると、そのフリップフロップ１１７３がリセットされる。これにより、送信バッファ監視部１１７は、映像データの転送再開を映像データ用バッファ１０３へ指示する。
【００４９】
尚、送信バッファ監視部１１７は、映像データ用バッファ１０３のみを監視するものであってもよい。この場合、音声データ用バッファ１０７が、音声データを転送するか、又は蓄積された音声データを破棄するように制御される。送信バッファ監視部１１７は、映像データ用バッファ１０３に対する閾値Ｔｈ１を記憶し、映像データ用バッファ１０３のバッファ蓄積量を監視する。コンパレータ１１７１は、映像データ用バッファ１０３のバッファ蓄積量が閾値Ｔｈ１を越えた際に、フリップフロップ１１７３にセット信号を入力し、音声データの破棄を音声データ用バッファ１０７へ指示する。
【００５０】
図４は、音声データ用バッファのバッファ蓄積量における時間変動を表すグラフである。縦軸は現在時刻のバッファ蓄積量を表し、横軸は時刻を表す。
【００５１】
音声データ用バッファ１０７に蓄積されたバッファ蓄積量が、閾値Ｔｈ１を越えた際に、映像データ用バッファ１０３に蓄積された映像データの破棄が開始される。その後、音声データ用バッファ１０７のバッファ蓄積量が減少していき、そのバッファ蓄積量が閾値Ｔｈ２以下となり、且つ、所定時間ＴＭを経過した場合、伝送路レートの測定が行われる。測定された伝送路レートが所定レート以上であったならば、伝送路レートが回復したものとして、映像データの破棄を停止する。
【００５２】
図５は、本発明における送信装置の第２の機能構成図である。
【００５３】
送信装置１の映像データ用バッファ１０３は、映像データを指定サイズだけ転送するか、映像データの転送を停止するか、又は蓄積された映像データを破棄するように制御される。図５の送信装置１は、図１の送信装置と比較して、多重化バッファ１３０と、ネットワークインタフェース部１３１と、映像多重化サイズ決定部１３２と、伝送路レート推定部１３３と、多重化バッファ監視部１３４と、映像バッファ監視部１３５と、経過時間判定部１３６とを更に有する。
【００５４】
音声データ用バッファ１０７に蓄積された音声データは、所定の単位でＲＴＰヘッダ付加部１０６によってＲＴＰヘッダが付加され、ＵＤＰ／ＩＰプロトコルスタック部１０５へ転送される。ＲＴＰヘッダが付加される所定の単位とは、ＡＭＲ符号化方式の場合、１フレームが２０ｍｓとなる。勿論、１フレーム単位を所定の単位としてもよいし、複数フレームをまとめて所定の単位としてもよい。
【００５５】
映像データ用バッファ１０３は、映像多重化サイズ決定部１３２からの制御により、指定サイズ転送／転送停止、及び、映像バッファ監視部１３５からの指示により、破棄／破棄停止の制御がなされる。映像データ用バッファ１０３から転送された映像データは、ＲＴＰヘッダ付加部１０４によってＲＴＰヘッダが付加され、ＵＤＰ／ＩＰプロトコルスタック部１０５へ転送される。
【００５６】
ＵＤＰ／ＩＰプロトコルスタック部１０５は、ＲＴＰフレームをＩＰフレームに構成し、そのフレームを多重化バッファ１３０へ転送する。多重化バッファ１３０は、ＵＤＰ／ＩＰプロトコルスタック部１０５から転送されたフレームをバッファする。
【００５７】
ネットワークインタフェース部１３１は、多重化バッファ１３０からフレームを取り出して、ＩＰネットワーク３へ送信する。ネットワークインタフェース部１３１は、システムで規定された伝送路レート（所定の時間間隔）でフレームをＩＰネットワークへ送信する。送出間隔及び１回の送信データサイズは、システムに依存する。また、ネットワークインタフェース部１３１は、例えば、直前送出サイズ、輻輳状態及び最大サイズ制限値のような伝送状態パラメータを、伝送路レート推定部１３３へ出力する。
【００５８】
例えば、第３世代携帯電話システムｃｄｍａ２０００-１ｘＥＶ−ＤＯでは、以下のように規定されている。
【表２】
【００５９】
伝送路レート推定部１３３は、現在の伝送路状態を考慮して、伝送路レートを推定する。伝送路レート推定部１３３は、ネットワークインタフェース部１３１から伝送路状態パラメータを取得する。伝送路状態パラメータに基づいて、次回送出可能最大サイズが算出される。次回送出サイズは、映像多重化サイズ決定部１３２へ出力される。伝送路状態パラメータは、例えば以下のようなものである。
（１）直前の送出サイズ
（２）輻輳状態フラグ
（３）最大サイズ制限値
【００６０】
伝送路レート推定部１３３は、例えば、以下の４つの条件を考慮して、５種類の送出サイズのいずれかを選択する。
（１）第１のサイズは、多重化バッファ１３０に蓄積されたフレームを送信するために十分な大きさのサイズとする。
（２）第２のサイズは、ネットワークインタフェース部１３１によって得られる輻輳状態フラグが非輻輳状態である場合、直前の送出サイズより１段階だけ大きいサイズとし、輻輳状態フラグが輻輳状態である場合、直前の送出サイズより１段階だけ小さいサイズとする。
（３）第３のサイズは、ネットワークインタフェース部１３１によって最大サイズの制限値が決定されている場合、その最大サイズ以下のサイズとする。
第１のサイズから第３のサイズのうち、最も小さいサイズを、次回送出サイズとして決定する。
【００６１】
例えば、
直前の送出サイズ＝１０２４ｂｉｔｓ
輻輳状態フラグ＝なし
最大サイズ制限値＝なし
の場合、次回送出可能最大サイズは、２０４８ｂｉｔｓとなる。
また、別の例として、
直前の送出サイズ＝２０４８ｂｉｔｓ
輻輳状態フラグ＝あり
最大サイズ制限値＝なし
の場合、次回送出可能最大サイズは、１０２４ｂｉｔｓとなる。
【００６２】
映像多重化サイズ決定部１３２は、映像データ用バッファ１０３から転送されるべきデータサイズを決定する。そして、映像多重化サイズ決定部１３２は、指定サイズ分の映像データを転送するべく映像データ用バッファ１０３へ指示する。
【００６３】
映像多重化サイズ決定部１３２は、以下の３つの情報を取得する。
Ｓｆ：伝送路レート推定部１３３によって推定された次回送信可能最大サイズ
Ｓｍ：多重化バッファ１３０のバッファ蓄積量
Ｓｖ：映像データ用バッファ１０３に蓄積された最も古い配列要素のデータサイズ
尚、以下のパラメータも規定する。
Ｓｈ：付加されるプロトコルヘッダのサイズ
Ｓｘ：映像データ用バッファ１０３へ指示する指定サイズ
【００６４】
映像多重化サイズ決定部１３２は、次回送出タイミングの直前に、以下の手順によってＳｘを決定する。
（１）Ｓｆ−Ｓｍ＜Ｓｈの場合、Ｓｘ＝０とする。
多重化バッファ内に十分データがある場合、映像データ用バッファ１０３は映像データを転送しない。
【００６５】
（２）Ｓｆ−Ｓｍ≧Ｓｈの場合、以下のように分けて判断する。
映像データ用バッファ１０３は、以下で与えられるＳｘに基づいて映像データを転送する。
（２−１）（Ｓｆ−Ｓｍ−Ｓｈ）＜Ｓｖの場合、Ｓｘ＝Ｓｆ−Ｓｍ−Ｓｈとする。
映像データ用バッファ１０３に十分な量の映像データが蓄積されている。
（２−２）（Ｓｆ−Ｓｍ−Ｓｈ）≧Ｓｖのとき、Ｓｘ＝Ｓｖとする。
映像データ用バッファ１０３に十分な量の映像データが無いため、全ての映像データを転送する。
【００６６】
映像データ用バッファ１０３は、図５の下段に表されているように、復号・再生の単位であるアクセスユニット毎に配列で蓄積されている。映像データ用バッファ１０３からのデータの抜き取りは、アクセスユニットの先頭からなされる。また、データの抜き取りの最中にアクセスユニットの最後に到達した場合は、前記決定されたＳｘの値にかかわらず、抜き取りを一旦完了する。従って、映像フレーム先頭のヘッダ（例えば、ＭＰＥＧ−４の場合、ＶＯＰヘッダ）は、ＩＰパケットのペイロードの先頭に置かれることとなる。
【００６７】
映像バッファ監視部１３５は、映像データ用バッファ１０３のバッファ蓄積量に基づいて、映像データの破棄／停止を映像データ用バッファ１０３へ指示する。例えば伝送路レートが低下することにより、映像データ用バッファ１０３のバッファ蓄積量が、所定の閾値Ｔｈ４より高くなったとする。このとき、送信バッファ監視部１３５は、比較器の出力がＯＮになり、フリップフロップをセットし、破棄を映像データ用バッファ１０３へ出力する。そして、その破棄状態が継続される。
【００６８】
映像データ用バッファ１０３は、破棄が指示された場合、そのバッファ内に存在している最も古いアクセスユニット以外のデータを破棄する。その後、映像データ用バッファ１０３への入力データも破棄し続け、映像データが蓄積されなくなる。
【００６９】
多重化バッファ監視部１３４は、多重化バッファ１３０のバッファ蓄積量を監視する。多重化バッファ１３０のバッファ蓄積量が、別の所定の閾値Ｔｈ５を下回った場合、Ｈレベルの信号を映像バッファ監視部１３５へ入力する。その信号は、送信バッファ監視部１３５のフリップフロップのリセット信号として動作する。
【００７０】
映像データ用バッファ１０３の映像データを破棄し続けている間に、多重化バッファ監視部１３４からＨ信号を受け取ったとき、映像バッファ監視部１３５のフリップフロップはリセットされる。これにより、映像バッファ監視部１３５は、映像データ用バッファ１０３へ破棄動作の解除を指示する。
【００７１】
経過時間判定部１３６は、映像バッファ監視部１３５の出力信号の経過時間を判定する。映像バッファ監視部１３５の出力信号が映像データの破棄を示すＨ状態であって、時間の閾値Ｔｈ６以上続いた場合を検出する。この伝送路状態では、これ以上映像及び音声の双方を同時に使用した通信が行えない状態を意味する。この場合、通信アプリケーションを終了させる信号が外部に出力される。
【００７２】
図６は、映像データ用バッファ１０３のバッファ蓄積量の遷移図である。
【００７３】
伝送路レートが、送信すべきデータ（音声データ及び映像データ）のビットレートよりも高い場合、音声データ用バッファ１０７のバッファ蓄積量は低くなる。一方、伝送路レートが、送信すべきデータのビットレートよりも低い場合、バッファ１０７への入力量よりも出力量が小さくなり、バッファ１０７のバッファ蓄積量が高くなる。
【００７４】
図６の遷移図は、横軸を経過時間とし、縦軸を映像バッファレベルとする。遷移図は、太線及び細線によって時間経過に対する映像バッファ蓄積量を表している。太線は、伝送路レートが低下した場合に映像データを破棄した場合のバッファ遷移を表す。細線は、伝送路レートが低下した場合に単に映像データ用バッファへ転送を止めた場合のバッファ遷移を表す。
【００７５】
通常動作時、映像エンコーダからのデータ出力に伴って、フレーム毎にバッファレベルは、垂直に立ち上がる。次フレーム符号化完了までの間、バッファからのデータ抜き取りが行われるため、右下がりとなり、これが繰り返されて鋸形状となる。途中、伝送路レートが低下すると、この抜き取り速度が低下するため、バッファレベルは徐々に上昇していく。ここで、映像データ用バッファ１０３のバッファ蓄積量が閾値Ｔｈ４を上回った際、第２の実施形態によって映像データ用バッファ１０３内の映像データを破棄する場合（図中太線）と、破棄をせずに従来一般に行われている単に映像バッファへのデータ転送を停止するだけの場合（図中細線）とで、動作が異なる。
【００７６】
単に映像バッファへのデータ転送を停止するだけの場合は、伝送路レートが復帰した時に、以前より蓄積されていた映像データが滞留している。そのために、その後に映像データを抜き取ると、多重化バッファ１３０のバッファレベルは、高い位置からの再開となる。一方、第２の実施形態によれば、映像データ用バッファレベルが閾値Ｔｈ４を上回った直後に、バッファ内データを破棄し、その後バッファにデータを蓄積しないようにしているため、伝送路の速度が復帰した際にバッファレベルの低い状態から符号化データの伝送を再開できる。これは、伝送速度復帰後の映像データの伝送遅延を大幅に改善できることを意味する。
【００７７】
更に、異なるメディアデータを１つのフレームに構成する第３の実施形態について説明する。
【００７８】
表３は、本発明によって用いられるパケット多重化フレームのデータ構造である。
【表３】
【００７９】
表３によれば、本発明におけるフレームのデータ構造は、ＵＤＰヘッダに続いて、１byteのシリアル番号部と、１byteの音声データサイズ部と、そのサイズ部に格納された長さの音声データと、映像データとを含む。従って、表２のデータ構造は、表１のものと比較して、ＲＴＰヘッダを必要としない。シリアル番号部は、符号なし整数であって、０〜２５５の巡回値である。音声データサイズ部は１byteであり、音声データのサイズは０〜２５５byteである。
【００８０】
図７は、本発明におけるパケット多重化フレームのメディア分割構成図である。
【００８１】
図７の上段には、映像データを等サイズに分割したパケット多重化フレームが表されている。常に、映像データを所定バイト数で分割するために、実装が容易となる。しかしながら、一方の映像フレームから他方の映像フレームに跨って分割される場合がある。この場合、映像フレームに跨った映像データを含むパケットが伝送中に損失されると、前後２つのフレーム対して影響を及ぼす。
【００８２】
図７の下段には、ＭＰＥＧ４で規定された再同期のためのResyncマーカを映像フレームに挿入したものが表されている。Resyncマーカは、可変長符号語の切れ目を示す特定パターンのビット列である。Resyncマーカは、符号化時に、マクロブロック境界に挿入される。フレーム損失の発生時に、そのResyncマーカから復号を再開することにより、ストリームの途中からの再生が可能となる。このResyncマーカを実質的に等サイズ間隔で挿入し、Resyncマーカ間の映像データを多重化フレームに含める。これにより、映像フレームに跨って映像データが分割されることがなくなる。即ち、１つの多重化フレームの損失が、２つの映像フレームに影響を及ぼすことがなくなる。
【００８３】
図８は、本発明によって用いられる送信装置の機能構成図である。以下では、送信装置の機能について説明する。但し、各機能はプログラムによっても実装できる。そのプログラムがコンピュータによって実行されることによって、各機能が実現される。
【００８４】
図８によれば、送信装置１は、図１のＲＴＰヘッダ付加部１０４及び１０６に代わって、多重化部１１１を備えている。多重化部１１１は、多重パケット生成部１１１と、映像データを一時的に蓄積するメモリ１１１２と、音声データを一時的に蓄積するメモリ１１１３と、シリアル番号を生成する加算器１１１４と、遅延回路１１１５とを有する。音声データ用メモリ１１１２は、音声データサイズ（書き込みポインタと読み出しポインタとの差分）を、０〜２５５byteで表して出力する。
【００８５】
音声データがメモリ１１３に蓄積され及び／又は映像データがメモリ１１２に蓄積された際、多重パケット生成部１１１は、表３に表したフレームを構成する。多重パケット生成部１１１は、４入力１出力のスイッチを有し、シリアル番号、音声データサイズ、音声データ、映像データの順に切り替える。その１巡によって、１つのフレームが構成される。シリアル番号は、遅延回路１１５を通じて加算器１１１４に入力される。加算器１１１４は、そのシリアル番号を１増分（１加算）した新たなシリアル番号を出力する。
【００８６】
映像データ及び音声データは、同じタイミングでバッファ１０３及び１０７から抜き取られ、１つのフレームに多重化される。これにより、映像データ及び音声データの到着遅延が一定となる。また、受信装置において、音声データの到着ゆらぎが回避される。
【００８７】
更に、従来技術によれば、映像データパケット及び音声データパケットそれぞれに、ＲＴＰヘッダの１２byteを必要とする。これに対し、本発明によれば、映像データ及び音声データが統合され、ＲＴＰに相当するヘッダが２byteとなる。従って、ヘッダサイズが軽減される。
【００８８】
例えば、パケット送出間隔を２０ｍ秒とした場合、従来技術のオーバヘッドは、３２ｋbit／秒である。これに対し、本発明によれば、１２ｋbit／秒である。
（２byte＋８byte＋２０byte）×８bit×５０ ＝ １２ｋbit／秒
【００８９】
本発明によれば２０ｋbit／秒ものオーバヘッドを削減することができる。削減されたオーバヘッドのbit数を、映像データ又は音声データの符号化ビットレートに割り当てることにより、符号化品質が向上する。
【００９０】
図９は、図８の送信装置におけるフレームの伝送シーケンス図である。以下では、受信装置の機能について説明するが、各機能はプログラムによっても実現できる。
【００９１】
図９は、従来技術である図２のＳ２００の部分を表している。本発明によれば、異なるメディアデータを１つの多重化フレームとするデータ構造を採用する。音声データパケットの送信間隔である２０ｍ秒毎に多重パケットを送信した場合、図２の映像データパケットよりも短い長さの映像データを送信することになる。図９によれば、１７byteの音声データと８０byteの映像データとからなるフレームは、１５．８ｍ秒で受信装置によって受信される。即ち、映像データV1（４００byte）の受信終了時点は、音声データA1〜A4（１７byte×４個）の受信終了時点と一致する。
【００９２】
例えば、ＡＭＲ方式の音声データサイズは、パケット送出間隔が２０ｍ秒である場合、以下のようなバイト数になる。ここでは、代表的な３モードについて列記する。
４．７５ｋbit／秒モード： １４byte
※６．７０ｋbit／秒モード： １９byte
１２．２ｋbit／秒モード： ３３byte
【００９３】
映像データサイズは、単純に「ビットレート×時間」で表される。１パケットが２０ｍ秒間隔の場合、以下のようなバイト数となる。
３２ｋbit／秒： ３２ｋbit／８bit×２０ｍ秒 ＝ ８０byte
【００９４】
ＡＭＲが６．７０ｋbit／秒モードの場合、多重化フレームは、シリアル番号１byte、音声データサイズ１byte、音声データ１９byte及び映像データ８０byteからなる合計１０１byteを要する。
【００９５】
映像データ及び音声データは、同じタイミングでバッファから抜き取られ、１つのフレームに多重化されて伝送される。これにより、映像データ及び音声データの到着遅延が一定となり、受信装置において音声データの到着ゆらぎを回避することができる。また、多重パケットの生成に際し、ＲＴＰによって映像データパケット及び音声データパケットそれぞれに１２byteを要していたのに対し、本発明によれば、これら異なるメディアデータのパケットが統合され、且つＲＴＰに相当する部分のヘッダが２byteとなるため、ヘッダサイズをかなり軽減することができ、伝送効率を高めることができる。
【００９６】
図１０は、本発明における送信装置の第３の機能構成図である。
【００９７】
図１０の送信装置１は、図８と比較して、スイッチ１２０と、多重化バッファ１２１と、多重分離部１１８と、再多重化部１１９とを更に有する。また、送信バッファ監視部１１７は、多重化バッファ１２１に蓄積された多重パケットの数を監視しており、スイッチ１２０を制御することができる。また、送信バッファ監視部１１７は、多重化バッファ１２１に対する多重パケット数の閾値を保持する。多重化バッファ１２１に蓄積された多重パケット数が閾値を越えた場合、送信バッファ監視部１１７は、映像データ用バッファ１０３からの映像データの転送を停止する。これにより、多重化部１１１への映像データの入力を止め、スイッチ１２０をＯＮ制御することによって多重化バッファ１２１の多重化パケットを多重分離部１１８に入力する。
【００９８】
多重分離部１１８は、多重化バッファ１２１に蓄積された全ての多重化パケットについて、多重分離するものである。そのうち、分離された映像データは破棄される。再多重化部１１９は、分離されたシリアル番号、音声データサイズ及び音声データについて再度多重化し、その多重化パケットは多重化バッファ１２１へ再入力される。
【００９９】
図１１は、本発明における多重分離部及び再多重化部の機能構成図である。本発明における表２に表したフレームのデータ構造によれば、以下のような多重分離及び再多重を容易に実現することができる。
【０１００】
多重分離部１１８は、メモリ１１８１と、パケット分離部１１８２とを有する。メモリ１１８１は、多重化バッファ１２１から入力された多重化パケットを一時的に蓄積する。パケット分離部１１８２は、メモリ１１８１から取り出した多重化パケットから、１byteのシリアル番号部と、１byteの音声データサイズ部と、該サイズ部に格納された長さの音声メディアデータと、映像メディアデータとに分離する。このとき、分離された映像メディアデータは破棄される。そして、シリアル番号、音声メディアデータサイズ及び音声メディアデータは、再多重化部１１９に入力される。
【０１０１】
再多重化部１１９は、メモリ１１９１と、パケット多重部１１９２とを有する。メモリ１１９１は、多重分離部１１８から受信した音声メディアデータを一時的に蓄積する。パケット多重部１１９２は、多重分離部１１８から入力された、１byteのシリアル番号部と、１byteの音声データサイズ部と、メモリ１１９１からの音声データとを多重化する。
【０１０２】
図１２は、本発明における第３の実施形態におけるフローチャートである。
【０１０３】
（Ｓ８０１）音声データ用バッファ１０７に蓄積されたバッファ蓄積量ＢＡが、閾値Ｔｈ１よりも大きいか否かを判定する。
（Ｓ８０７）ＢＡがＴｈ１よりも大きいならば、映像データ用バッファ１０３からの転送を停止し、多重化部１１１への入力を止め、スイッチ１２０をＯＮにしてバッファ１２１に蓄積されたフレームを多重分離部１１８へ入力するように制御する。
（Ｓ８０２）ＢＡがＴｈ１以下ならば、音声データ用バッファ１０７に蓄積されたバッファ蓄積量ＢＡが、閾値Ｔｈ２よりも小さいか否かを判定する。ＢＡがＴｈ２以下でないならば、時刻変数ｔに現在時刻nowを代入して（Ｓ８０９）、処理を終了する。
（Ｓ８０３）ＢＡがＴｈ２よりも小さいならば、現在時刻nowから過去時刻ｔを差し引いた時間間隔が、所定の時間間隔ＴＭよりも長いか否かを判定する。ＴＭよりも短かいならば、処理を終了する。時間間隔ＴＭは、伝送路レートの回復判定時間である。例えば実際の伝送路レートが８０ｋbps程度であれば、時間間隔ＴＭはおよそ５秒程度に設定される。
（Ｓ８０４）所定の時間間隔ＴＭよりも長いならば、安定状態にあると判断し、伝送路レート測定処理を行う。
（Ｓ８０５）伝送レート測定処理によって測定された伝送路レートＴＲは、伝送路が回復したとして判断できる一定レートよりも大きいか否か判定される。ＴＲが一定レート以下であれば、処理を終了する。
（Ｓ８０６）伝送路レートＴＲが一定レートよりも大きいならば、映像データの転送の再開を映像データ用バッファ１０３へ指示する。これにより、多重化部１１１への入力を再開し、スイッチ１２０をＯＦＦにしてバッファ１２１に蓄積されたフレームを送信するように制御する。
【０１０４】
前述した本発明における送信装置及び送信プログラムの種々の実施形態によれば、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略を、当業者は容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【図面の簡単な説明】
【０１０５】
【図１】従来技術によるパケット多重化のための送信装置の機能構成図である。
【図２】従来技術におけるデータパケットの伝送のシーケンス図である。
【図３】本発明における送信装置の第１の機能構成図である。
【図４】音声データ用バッファのバッファ蓄積量における時間変動を表すグラフである
【図５】本発明における送信装置の第２の機能構成図である。
【図６】映像データ用バッファ１０３のバッファ蓄積量の遷移図である。
【図７】本発明におけるパケット多重化フレームのメディア分割構成図である。
【図８】本発明によって用いられる送信装置の機能構成図である。
【図９】図８の送信装置におけるフレームの伝送シーケンス図である。
【図１０】本発明における送信装置の第３の機能構成図である。
【図１１】本発明における多重分離部及び再多重化部の機能構成図である。
【図１２】本発明における第３の実施形態におけるフローチャートである。
【符号の説明】
【０１０６】
１ 送信装置
１０１ フォーマット変換部
１０２ 映像エンコーダ部
１０３ 映像データ用バッファ
１０４、１０６ ＲＴＰヘッダ付加部
１０５ ＵＤＰ／ＩＰプロトコルスタック部
１０７ 音声データ用バッファ
１０８ 音声エンコーダ部
１０９ Ａ／Ｄ変換部
１１０ 増幅器
１１１ 多重化部
１１１１ 多重パケット生成部
１１１２ 映像データ用メモリ
１１１３ 音声データ用メモリ
１１１４ 加算器
１１１５ 遅延回路
１１７ 送信バッファ監視部
１１７１ コンパレータ
１１７２ 閾値記憶部
１１７３ フリップフロップ
１１８ 多重分離部
１１８１ メモリ
１１８２ パケット分離部
１１９ 再多重化部
１１９１ メモリ
１１９２ パケット多重化部
１２０ スイッチ
１２１ 多重化バッファ
１２６ 伝送路レート測定部
１３０ 多重化バッファ
１３１ ネットワークインタフェース部
１３２ 映像多重化サイズ決定部
１３３ 伝送路レート推定部
１３４ 多重化バッファ監視部
１３５ 映像バッファ監視部
１３６ 経過時間判定部
２ 受信装置
２０１ ディスプレイ制御部
２０２ 映像データ用バッファ
２０３ 映像デコーダ
２０４、２０６ ＲＴＰヘッダ除去部
２０５ ＵＤＰ／ＩＰプロトコルスタック部
２０７ 音声デコーダ
２０８ 音声データ用バッファ
２０９ Ｄ／Ａ変換部
２１０ 増幅器
３ ＩＰネットワーク
４ カメラ
５ マイク
６ ディスプレイ
７ スピーカ
【技術分野】
【０００１】
本発明は、特定メディアデータの破棄を制御する送信装置及び送信プログラムに関する。
【背景技術】
【０００２】
異なるメディアデータの送信が可能な送信装置は、同時に発生するメディアデータ毎に
符号化し、所定サイズのフレームに構成し、そのフレームをネットワークへ送信する。一方、受信装置は、受信したフレーム単位で、異なるメディアデコーダを用いてメディアデータを復号する。メディアデータ毎に、所定サイズをどのように決定するかが、マルチメディアデータの多重化においては重要である。
【０００３】
図１は、異なるメディアデータを送信する送信装置の機能構成図である。
【０００４】
送信装置１は、映像データ及び音声データをリアルタイムで符号化して送信する。送信装置１は、映像信号を出力するカメラ４と、音声信号を出力するマイク５とに接続され、ＩＰ(Internet Protocol)ネットワーク３を介して受信装置２と通信する。
【０００５】
送信装置１は、映像データについて、フォーマット変換部１０１と、映像エンコーダ部１０２と、映像データ用バッファ１０３と、ＲＴＰ(Real-time Transport Protocol)ヘッダ付加部１０４とを有する。また、音声データについて、増幅器１１０と、音声エンコーダ部１０８と、音声データ用バッファ１０７と、ＲＴＰヘッダ付加部１０６とを有する。更に、各々のＵＤＰポート番号が割り当てられた複数のメディアデータを多重化してＩＰネットワーク３に出力するＵＤＰ(User Datagram Protocol)／ＩＰプロトコルスタック部１０５を有する。
【０００６】
カメラ４から出力された映像信号は、フォーマット変換部１０１によって圧縮符号化に適した映像フォーマットに変換され、映像エンコーダ部１０２によって圧縮符号化される。その方式は、１フレーム（１画面）を単位として符号化データを生成するものであって、例えばＩＳＯ／ＩＥＣ(International Organization for Standardization／International Electrotechnical Commission) ＭＰＥＧ−４(Moving Picture Experts Group-4)ビジュアルがある。低ビットレートのＭＰＥＧ−４によれば、１フレームは、例えば１００ｍ秒間隔（毎秒１０フレーム）となる。生成されたビットストリームデータは、映像データ用バッファ１０３に入力される。ＲＴＰヘッダ付加部１０４は、バッファ１０３から取り出した映像データのフレーム毎にＲＴＰヘッダを付加する。そのＲＴＰパケットは、ＵＤＰ／ＩＰプロトコルスタック部１０５によってＵＤＰ及びＩＰヘッダが付加され、ＩＰネットワーク３へ送信される。
【０００７】
一方、マイク５から出力された音声信号は、増幅器１１０によって増幅され、Ａ／Ｄ(Analog/Digital)変換部１０９によって伝送可能なビット列に変換される。次に、その音声データは、音声エンコーダ部１０８によって圧縮符号化される。その方式は、予め決められた時間長を１フレームとして符号化データを生成するものであって、例えば３ＧＰＰ(3rd Generation Partnership Project) ＡＭＲ(Adaptive Multi Rate)がある。ＡＭＲ方式においては、１フレームは２０ｍ秒となる。生成されたビットストリームは、音声データ用バッファ１０７に入力される。ＲＴＰヘッダ付加部１０６は、バッファ１０７から取り出した映像データのフレーム毎にＲＴＰヘッダを付加する。そのＲＴＰパケットは、ＵＤＰ／ＩＰプロトコルスタック部１０５によってＵＤＰ及びＩＰヘッダが付加され、ＩＰネットワーク３へ送信される。
【０００８】
受信装置２は、データパケットを受信するためにＩＰネットワーク３に接続され、受信したデータパケットのメディアデータに応じて復号する。
【０００９】
表１は、従来技術におけるパケット多重化フレームのデータ構造である。
【表１】
【００１０】
従来技術によれば、音声データのフレームと、映像データのフレームとは別々に必要となる。これは、フレーム毎に、そのメディアデータに応じたデコーダによって復号させるためである。
【００１１】
前述したような従来技術によれば、生成されるＲＴＰパケットは以下のようになる。ここで、符号化パラメータとして、低い伝送レート（６４ｋbit／秒）における一般的な値を想定する。
映像の符号化ビットレート：３２ｋbit／秒、フレームレート：１０枚／秒
音声の符号化ビットレート：６８００bit／秒、フレーム長：２０m秒
ＲＴＰヘッダサイズ：１２byte
ＵＤＰヘッダ：８byte
ＩＰヘッダ：２０byte
【００１２】
映像データについては、以下のようになる。
映像の符号化ビットレート：３２ｋbit／秒÷８bit ＝ ４ｋbyte／秒
秒当たりの伝送フレーム数：１０フレーム／秒
映像データパケットの伝送間隔：１秒／１０フレーム ＝ １００ｍ秒
フレームレート：４ｋbyte／秒÷１０フレーム／秒 ＝ ４００byte／フレーム
映像の１パケット：４００byte＋１２byte＋８byte＋２０byte ＝ ４４０byte
映像１パケットの伝送時間：４４０byte×８bit÷６４ｋbit／秒 ＝ ５５m秒
【００１３】
音声データについては、以下のようになる。
音声の符号化ビットレート：６８００bit／秒÷８bit ＝ ８５０byte／秒
秒当たりの伝送フレーム数：５０フレーム／秒
音声データパケットの伝送間隔：１秒／５０フレーム ＝ ２０ｍ秒
１フレーム当たりのバイト数：８５０byte／秒×２０ｍ秒 ＝ １７byte／フレーム
音声の１パケット：１７byte＋１２byte＋８byte＋２０byte ＝ ５７byte
音声１パケットの伝送時間：５７byte×８bit÷６４ｋbit／秒 ＝ ７．１２５m秒
【００１４】
音声データパケットは２０ｍ秒間隔で送信され、映像データパケットは１００ｍ秒間隔で送信されるので、音声データパケットの送信の５回に１回の割合で、映像データパケットの送信が割り込むこととなる。
【００１５】
図２は、従来技術におけるフレームの伝送シーケンス図である。
【００１６】
音声データパケットは２０ｍ秒毎に送信され、映像データパケットは１００ｍ秒毎に送信される。音声データパケットは、４０byteのヘッダ（ＩＰ、ＵＤＰ、ＲＴＰ）とデータ部分とからなる。データ部分が１７byteとすると、伝送に７．１２５ｍ秒を要する。映像データパケットは、４０byteのヘッダとデータ部分とからなる。データ部分が４００byteとすると、伝送に５５ｍ秒を要する。
【００１７】
図２によれば、例えば、映像データパケットV1の送信の直後に、音声データパケットA3が送信されたとする。映像データパケットV1は、送信装置から送信されてから５５ｍ秒後に、受信装置に到着する。一方、音声データパケットA3は、更に７．１２５ｍ秒後、即ち送信装置から送信されてから６２．１２５ｍ秒後に、受信装置に到着する。このために、映像データパケットによって割り込まれた音声データパケットは、送信装置の送出間隔２０ｍ秒に対し、受信装置に受信された時は６２ｍ秒後ということになる。その後、音声データパケットA4,A5,A6,A7が連続して、受信装置に到着する。音声データパケットの伝送に要する時間７ｍ秒は、送出間隔２０ｍ秒に比べて十分小さいため、受信装置における到着間隔はやがて元に戻ることとなるが、その後、再度、映像データパケットが音声データパケットの間に割り込むため、到着遅延の変動が生じる。
【００１８】
音声データは、アナログ信号に戻して再生する際に、連続的でなければならない。この点において、映像データのようなフレーム単位の離散的データと異なる。このため、受信装置は、音声データパケットの最大到着遅延量に合わせて、予めバッファに蓄積してから再生する。このような音声データパケットの遅延変動は、受信側に大きなバッファ蓄積を要求することとなり、伝送遅延全体を増大させるものとなる。
【００１９】
更に、従来技術によれば、ＲＴＰ、ＵＤＰ、ＩＰのヘッダを、映像データパケット及び音声データパケットそれぞれ独立に付加する必要がある。従って、
（１２byte＋８byte＋２０byte）×８bit×（５０音声フレーム＋１０映像フレーム）
＝ １９．２ｋbit／秒
ものヘッダによるオーバヘッドを要する。
【００２０】
また、音声データパケットの遅延変動を抑えるために、映像データパケットを分割し、映像データパケットと音声データパケットとを交互に送信するという方法もある。この場合、両パケットが等間隔で送信されるため、音声データパケットの到着時間ゆらぎを回避することは可能となる。しかしながら、この方法によれば、ヘッダによるオーバヘッドは、更に大きくなり、伝送効率が極めて低下する。
（１２byte＋８byte＋２０byte）×８bit×（５０音声フレーム＋５０映像フレーム）
＝ ３２ｋbit／秒
【００２１】
先行公知文献としては、ＲＴＰについて規定したＩＥＴＦ ＲＦＣ３５５０（非特許文献１参照）、ＭＰＥＧ−４をＲＴＰに乗せたフォーマットを規定したＩＥＴＦ ＲＦＣ３０１６（非特許文献２参照）、ＡＭＲをＲＴＰに乗せたフォーマットを規定したＩＥＴＦ ＲＦＣ３２６７（非特許文献３参照）がある。
【００２２】
【非特許文献１】ＩＥＴＦ(Internet Engineering Task Force) ＲＦＣ(Request For Comment)３５５０
【非特許文献２】ＩＥＴＦ ＲＦＣ３０１６
【非特許文献３】ＩＥＴＦ ＲＦＣ３２６７
【発明の開示】
【発明が解決しようとする課題】
【００２３】
多重化フレームのビットレートよりも、伝送路のビットレートの方が低い場合、多重化バッファに蓄積される多重化フレームの数が時間と共に増大する。帯域保証のないインターネットや、無線環境が変化しやすいモバイルネットワークにおいては、伝送路のビットレートの変動が著しい。リアルタイム通信における音声データについては、音声データが所望の時間間隔で到着しないことによる音途切れが発生する。また、映像データについては、フレーム間隔のゆらぎ及び表示遅延として、利用者に知覚されることとなる。このように、従来技術によれば、一方のメディアデータの伝送が、他方のメディアデータの伝送における遅延変動に影響を与えることとなる。
【００２４】
特に、ＩＰテレビ電話等のリアルタイム通信においては、会話成立のために、少なくとも音声データは遅滞なく伝送される必要がある。このため、伝送路のビットレートが変動するような環境下においては、音声データを確実に伝送するための制御が必要となる。
【００２５】
従って、本発明は、一方のメディアデータの伝送における遅延変動に影響を与えない程度に、他方のメディアデータの伝送を制御する送信装置及び送信プログラムを提供することを目的とする。
【課題を解決するための手段】
【００２６】
本発明の送信装置によれば、
送信すべき第１のメディアデータを一時的に蓄積する第１のバッファと、
送信すべき第２のメディアデータを一時的に蓄積する第２のバッファと、
第１のバッファから出力された第１のメディアデータと、第２のバッファから出力された第２のメディアデータとを１系統の信号線に出力するための多重化手段と、
第１のバッファの第１のバッファ蓄積量を監視し、該第１のバッファ蓄積量が第１の閾値を越えた際に、第２のメディアデータを破棄するように第２のバッファへ指示する送信バッファ監視手段と
を有することを特徴とする。
【００２７】
本発明の送信装置における他の実施形態によれば、
第１のバッファ蓄積量が第１の閾値を越えた後、第１のバッファ蓄積量が第２の閾値以下となる状態が所定時間ＴＭだけ経過した際に、伝送路レートの測定を開始する伝送レート測定手段を更に有し、
送信バッファ監視手段は、伝送路レートが所定レート以上に回復したとき、第２のメディアデータの破棄を停止するように第２のバッファに指示することも好ましい。
【００２８】
本発明の送信装置によれば、
送信すべき第２のメディアデータを一時的に蓄積する第２のバッファと
第１のメディアデータと、第２のバッファから出力された第２のメディアデータとを１系統の信号線に出力するための多重化手段と、
多重化手段から出力されたフレームを一時的に蓄積する第３のバッファと、
第３のバッファの第３のバッファ蓄積量を監視し、該第３のバッファ蓄積量が送信可能最大サイズよりも少ない場合、その差分サイズ分の第２のメディアデータが転送されるように第２のバッファを制御する多重化サイズ決定手段と
を有することを特徴とする。
【００２９】
本発明の送信装置における他の実施形態によれば、
第３のバッファから出力されるフレームをネットワークへ送信するネットワークインタフェース手段と、
ネットワークインタフェース手段から得られる伝送路状態パラメータに基づいて送信可能最大サイズを算出し、該送信可能最大サイズを多重化サイズ決定手段へ出力する伝送路レート推定手段と
を更に有することも好ましい。
【００３０】
また、本発明の送信装置における他の実施形態によれば、
第２のバッファの第２のバッファ蓄積量を監視し、該第２のバッファ蓄積量が第２の閾値を越えた場合、第２のメディアデータを破棄するように第２のバッファに指示する第２のバッファ監視手段を更に有することも好ましい。
【００３１】
更に、本発明の送信装置における他の実施形態によれば、
第３のバッファの第３のバッファ蓄積量を監視し、該第３のバッファ蓄積量が第３の閾値以下となった場合、リセット信号を第２のバッファ監視手段へ出力する多重化バッファ監視手段を更に有し、
第２のバッファ監視手段は、リセット信号を入力した際に、第２のメディアデータの破棄を停止するように第２のバッファへ指示することも好ましい。
【００３２】
更に、本発明の送信装置における他の実施形態によれば、
第２のバッファは、アクセスユニット単位で配列に構成されており、
第２のバッファは、第２のバッファ内のデータを破棄する際、最も古いアクセスユニット情報はバッファに残し、その後に続くアクセスユニットを破棄することも好ましい。
【００３３】
更に、本発明の送信装置における他の実施形態によれば、
映像バッファ監視手段が第２のバッファに対して映像データの破棄を指示し、破棄の継続時間が所定閾値時間を越えた場合、その状態を外部に出力する経過時間判定手段を更に有することも好ましい。
【００３４】
本発明の送信装置によれば、
送信すべき第１のメディアデータを一時的に蓄積する第１のバッファと、
送信すべき第２のメディアデータを一時的に蓄積する第２のバッファと
ＵＤＰヘッダに続いて、シリアル番号部と、第１のメディアデータサイズ部と、該サイズ部に格納された長さの第１のメディアデータと、第２のメディアデータとを含むデータ構造を有する、異なるメディアデータのパケット多重化フレームを生成する多重化手段と、
多重化手段によって生成されたフレームを一時的に蓄積する第３のバッファと、
第３のバッファに蓄積されたフレームから、シリアル番号部と、第１のメディアデータサイズ部と、該サイズ部に格納された長さの第１のメディアデータと、第２のメディアデータとに分離し、分離された第２のメディアデータを破棄するパケット分離手段と、
分離されたシリアル番号部と、第１のメディアデータサイズ部と、該サイズ部に格納された長さの第１のメディアデータとを含むデータ構造を有するフレームを再度生成し、該フレームを第３のバッファに入力する再多重化手段と、
第３のバッファとパケット分離手段との間に接続されたスイッチと、
第３のバッファに対する第１の閾値を蓄積し、第３のバッファに蓄積されたフレーム数を監視し、該フレーム数が第１の閾値を越えた際に、第２のメディアデータの転送を停止するべく第２のバッファへ指示し、スイッチをＯＮにして第３のバッファに蓄積されたフレームをパケット分離手段へ入力するように制御する送信バッファ監視手段と
を有することを特徴とする。
【００３５】
本発明の送信装置における他の実施形態によれば、
第３のバッファに蓄積されたフレーム数が第１の閾値を越えた後、第３のバッファに蓄積されたフレーム数が第２の閾値以下となる状態が所定時間ＴＭだけ経過した際に、伝送路レートの測定を開始する伝送レート測定手段と、
送信バッファ監視手段は、伝送路レートが所定レート以上に回復したとき、第３のバッファに蓄積されたフレームの破棄を停止するべく、第２のメディアデータの転送を再開するように第２のバッファへ指示し、スイッチをＯＦＦにして第３のバッファに蓄積されたフレームを送信するように制御することも好ましい。
【００３６】
また、本発明の送信装置における他の実施形態によれば、
多重化手段は、
シリアル番号を送出する加算手段と、
第１のメディアデータを一時的に蓄積する第１のメモリと、
第２のメディアデータを一時的に蓄積する第２のメモリと、
加算手段から出力されたシリアル番号を、フレームのシリアル番号部に含め、次に、第１のメモリから出力された第１のメディアデータサイズを、フレームの第１のメディアデータサイズ部に含め、次に、第１のメモリから出力された、第１のメディアデータサイズ部に格納された長さの第１のメディアデータを含め、次に、第２のメモリから出力された第２のメディアデータを含めるようにした多重化パケットの生成を繰り返す多重パケット生成手段と
を有することも好ましい。
【００３７】
更に、本発明の送信装置における他の実施形態によれば、第１のメディアデータは音声データであって、第２のメディアデータは映像データであってもよい。
【００３８】
本発明の送信プログラムによれば、
送信すべき第１のメディアデータを一時的に蓄積する第１のバッファと、
送信すべき第２のメディアデータを一時的に蓄積する第２のバッファと、
第１のバッファから出力された第１のメディアデータと、第２のバッファから出力された第２のメディアデータとを１系統の信号線に出力するための多重化手段と、
第１のバッファの第１のバッファ蓄積量を監視し、該第１のバッファ蓄積量が第１の閾値を越えた際に、第２のメディアデータを破棄するように第２のバッファへ指示する送信バッファ監視手段と
してコンピュータを機能させることを特徴とする。
【００３９】
本発明の送信プログラムによれば、
送信すべき第２のメディアデータを一時的に蓄積する第２のバッファと
第１のメディアデータと、第２のバッファから出力された第２のメディアデータとを１系統の信号線に出力するための多重化手段と、
多重化手段から出力されたフレームを一時的に蓄積する第３のバッファと、
第３のバッファの第３のバッファ蓄積量を監視し、該第３のバッファ蓄積量が送信可能最大サイズよりも少ない場合、その差分サイズ分の第２のメディアデータが転送されるように第２のバッファを制御する多重化サイズ決定手段と
としてコンピュータを機能させることを特徴とする。
【００４０】
本発明の送信プログラムによれば、
送信すべき第１のメディアデータを一時的に蓄積する第１のバッファと、
送信すべき第２のメディアデータを一時的に蓄積する第２のバッファと
ＵＤＰヘッダに続いて、シリアル番号部と、第１のメディアデータサイズ部と、該サイズ部に格納された長さの第１のメディアデータと、第２のメディアデータとを含むデータ構造を有する、異なるメディアデータのパケット多重化フレームを生成する多重化手段と、
多重化手段によって生成されたフレームを一時的に蓄積する第３のバッファと、
第３のバッファに蓄積されたフレームから、シリアル番号部と、第１のメディアデータサイズ部と、該サイズ部に格納された長さの第１のメディアデータと、第２のメディアデータとに分離し、分離された第２のメディアデータを破棄するパケット分離手段と、
分離されたシリアル番号部と、第１のメディアデータサイズ部と、該サイズ部に格納された長さの第１のメディアデータとを含むデータ構造を有するフレームを再度生成し、該フレームを第３のバッファに入力する再多重化手段と、
第３のバッファとパケット分離手段との間に接続されたスイッチと、
第３のバッファに対する第１の閾値を蓄積し、第３のバッファに蓄積されたフレーム数を監視し、該フレーム数が第１の閾値を越えた際に、第２のメディアデータの転送を停止するべく第２のバッファへ指示し、スイッチをＯＮにして第３のバッファに蓄積されたフレームをパケット分離手段へ入力するように制御する送信バッファ監視手段と
としてコンピュータを機能させることを特徴とする。
【発明の効果】
【００４１】
伝送路レートが低下することによりバッファからの抜き取り速度が低下し、バッファレベルは徐々に高くなる。このような状況下で音声会話を優先させる場合に、既に映像用データバッファに蓄積された映像データを破棄することにより、ビットレートの低い音声データのみを伝送する。一般に、音声データのビットレートは、映像データのビットレートと比較して十分に小さい。従って、伝送路レートが低下している状態においてもデータが過剰に生成されることなく、安定した音声会話が実現される。
【００４２】
また、本発明によれば、時々刻々と変化するネットワークシステムにおいても、送出可能なデータサイズに対して過不足のない多重化データの生成が可能となる。これにより、ネットワークの利用効率を最大限に保つと共に、多重化データ生成が過剰に生成されることによる遅延の蓄積を防ぐことができる。
【発明を実施するための最良の形態】
【００４３】
以下では、図面を用いて、本発明を実施するための最良の形態について詳細に説明する。
【００４４】
図３は、本発明における送信装置の第１の機能構成図である。
【００４５】
図３の送信装置は、図１の送信装置と比較して、送信バッファ監視部１１７と、伝送路レート測定部１２６とを更に有する。また、映像データ用バッファ１０３は、映像データを転送するか、又は蓄積された映像データを破棄するように制御される。映像データ用バッファ１０３が、破棄を指示されると、ＵＤＰ／ＩＰプロトコルヘッダスタック部１０５には、音声データしか入力されない。
【００４６】
送信バッファ監視部１１７は、コンパレータ１１７１と、閾値記憶部１１７２と、フリップフロップ１１７３とを有する。閾値記憶部１１７２は、音声データ用バッファ１０７に対するバッファ蓄積量の閾値Ｔｈ１を記憶する。コンパレータ１１７１は、音声データ用バッファ１０７のバッファ蓄積量と、閾値Ｔｈ１とを比較する。バッファ蓄積量が、閾値Ｔｈ１を越えた際に、映像データ用バッファ１０３へ破棄が指示される。
【００４７】
伝送路レート測定部１２６は、音声データ用バッファ１０７のバッファ蓄積量が閾値Ｔｈ２以下となる状態が所定時間ＴＭだけ経過した際に、伝送路レートの測定を開始する。測定された伝送路レートが所定レート以上に回復した場合、リセット信号を送信バッファ監視部１１７へ送信する。伝送路レートの具体的な測定方法としては、例えば同一出願人による特願２００３−０８０１３４号がある。この方法は、サイズの異なる２種類のレポートパケットを送信装置及び受信装置の間で交換することによる往復遅延時間に基づいて、伝送路レートを測定する。
【００４８】
送信バッファ監視部１１７は、伝送路レート測定部１２６からリセット信号が入力されると、そのフリップフロップ１１７３がリセットされる。これにより、送信バッファ監視部１１７は、映像データの転送再開を映像データ用バッファ１０３へ指示する。
【００４９】
尚、送信バッファ監視部１１７は、映像データ用バッファ１０３のみを監視するものであってもよい。この場合、音声データ用バッファ１０７が、音声データを転送するか、又は蓄積された音声データを破棄するように制御される。送信バッファ監視部１１７は、映像データ用バッファ１０３に対する閾値Ｔｈ１を記憶し、映像データ用バッファ１０３のバッファ蓄積量を監視する。コンパレータ１１７１は、映像データ用バッファ１０３のバッファ蓄積量が閾値Ｔｈ１を越えた際に、フリップフロップ１１７３にセット信号を入力し、音声データの破棄を音声データ用バッファ１０７へ指示する。
【００５０】
図４は、音声データ用バッファのバッファ蓄積量における時間変動を表すグラフである。縦軸は現在時刻のバッファ蓄積量を表し、横軸は時刻を表す。
【００５１】
音声データ用バッファ１０７に蓄積されたバッファ蓄積量が、閾値Ｔｈ１を越えた際に、映像データ用バッファ１０３に蓄積された映像データの破棄が開始される。その後、音声データ用バッファ１０７のバッファ蓄積量が減少していき、そのバッファ蓄積量が閾値Ｔｈ２以下となり、且つ、所定時間ＴＭを経過した場合、伝送路レートの測定が行われる。測定された伝送路レートが所定レート以上であったならば、伝送路レートが回復したものとして、映像データの破棄を停止する。
【００５２】
図５は、本発明における送信装置の第２の機能構成図である。
【００５３】
送信装置１の映像データ用バッファ１０３は、映像データを指定サイズだけ転送するか、映像データの転送を停止するか、又は蓄積された映像データを破棄するように制御される。図５の送信装置１は、図１の送信装置と比較して、多重化バッファ１３０と、ネットワークインタフェース部１３１と、映像多重化サイズ決定部１３２と、伝送路レート推定部１３３と、多重化バッファ監視部１３４と、映像バッファ監視部１３５と、経過時間判定部１３６とを更に有する。
【００５４】
音声データ用バッファ１０７に蓄積された音声データは、所定の単位でＲＴＰヘッダ付加部１０６によってＲＴＰヘッダが付加され、ＵＤＰ／ＩＰプロトコルスタック部１０５へ転送される。ＲＴＰヘッダが付加される所定の単位とは、ＡＭＲ符号化方式の場合、１フレームが２０ｍｓとなる。勿論、１フレーム単位を所定の単位としてもよいし、複数フレームをまとめて所定の単位としてもよい。
【００５５】
映像データ用バッファ１０３は、映像多重化サイズ決定部１３２からの制御により、指定サイズ転送／転送停止、及び、映像バッファ監視部１３５からの指示により、破棄／破棄停止の制御がなされる。映像データ用バッファ１０３から転送された映像データは、ＲＴＰヘッダ付加部１０４によってＲＴＰヘッダが付加され、ＵＤＰ／ＩＰプロトコルスタック部１０５へ転送される。
【００５６】
ＵＤＰ／ＩＰプロトコルスタック部１０５は、ＲＴＰフレームをＩＰフレームに構成し、そのフレームを多重化バッファ１３０へ転送する。多重化バッファ１３０は、ＵＤＰ／ＩＰプロトコルスタック部１０５から転送されたフレームをバッファする。
【００５７】
ネットワークインタフェース部１３１は、多重化バッファ１３０からフレームを取り出して、ＩＰネットワーク３へ送信する。ネットワークインタフェース部１３１は、システムで規定された伝送路レート（所定の時間間隔）でフレームをＩＰネットワークへ送信する。送出間隔及び１回の送信データサイズは、システムに依存する。また、ネットワークインタフェース部１３１は、例えば、直前送出サイズ、輻輳状態及び最大サイズ制限値のような伝送状態パラメータを、伝送路レート推定部１３３へ出力する。
【００５８】
例えば、第３世代携帯電話システムｃｄｍａ２０００-１ｘＥＶ−ＤＯでは、以下のように規定されている。
【表２】
【００５９】
伝送路レート推定部１３３は、現在の伝送路状態を考慮して、伝送路レートを推定する。伝送路レート推定部１３３は、ネットワークインタフェース部１３１から伝送路状態パラメータを取得する。伝送路状態パラメータに基づいて、次回送出可能最大サイズが算出される。次回送出サイズは、映像多重化サイズ決定部１３２へ出力される。伝送路状態パラメータは、例えば以下のようなものである。
（１）直前の送出サイズ
（２）輻輳状態フラグ
（３）最大サイズ制限値
【００６０】
伝送路レート推定部１３３は、例えば、以下の４つの条件を考慮して、５種類の送出サイズのいずれかを選択する。
（１）第１のサイズは、多重化バッファ１３０に蓄積されたフレームを送信するために十分な大きさのサイズとする。
（２）第２のサイズは、ネットワークインタフェース部１３１によって得られる輻輳状態フラグが非輻輳状態である場合、直前の送出サイズより１段階だけ大きいサイズとし、輻輳状態フラグが輻輳状態である場合、直前の送出サイズより１段階だけ小さいサイズとする。
（３）第３のサイズは、ネットワークインタフェース部１３１によって最大サイズの制限値が決定されている場合、その最大サイズ以下のサイズとする。
第１のサイズから第３のサイズのうち、最も小さいサイズを、次回送出サイズとして決定する。
【００６１】
例えば、
直前の送出サイズ＝１０２４ｂｉｔｓ
輻輳状態フラグ＝なし
最大サイズ制限値＝なし
の場合、次回送出可能最大サイズは、２０４８ｂｉｔｓとなる。
また、別の例として、
直前の送出サイズ＝２０４８ｂｉｔｓ
輻輳状態フラグ＝あり
最大サイズ制限値＝なし
の場合、次回送出可能最大サイズは、１０２４ｂｉｔｓとなる。
【００６２】
映像多重化サイズ決定部１３２は、映像データ用バッファ１０３から転送されるべきデータサイズを決定する。そして、映像多重化サイズ決定部１３２は、指定サイズ分の映像データを転送するべく映像データ用バッファ１０３へ指示する。
【００６３】
映像多重化サイズ決定部１３２は、以下の３つの情報を取得する。
Ｓｆ：伝送路レート推定部１３３によって推定された次回送信可能最大サイズ
Ｓｍ：多重化バッファ１３０のバッファ蓄積量
Ｓｖ：映像データ用バッファ１０３に蓄積された最も古い配列要素のデータサイズ
尚、以下のパラメータも規定する。
Ｓｈ：付加されるプロトコルヘッダのサイズ
Ｓｘ：映像データ用バッファ１０３へ指示する指定サイズ
【００６４】
映像多重化サイズ決定部１３２は、次回送出タイミングの直前に、以下の手順によってＳｘを決定する。
（１）Ｓｆ−Ｓｍ＜Ｓｈの場合、Ｓｘ＝０とする。
多重化バッファ内に十分データがある場合、映像データ用バッファ１０３は映像データを転送しない。
【００６５】
（２）Ｓｆ−Ｓｍ≧Ｓｈの場合、以下のように分けて判断する。
映像データ用バッファ１０３は、以下で与えられるＳｘに基づいて映像データを転送する。
（２−１）（Ｓｆ−Ｓｍ−Ｓｈ）＜Ｓｖの場合、Ｓｘ＝Ｓｆ−Ｓｍ−Ｓｈとする。
映像データ用バッファ１０３に十分な量の映像データが蓄積されている。
（２−２）（Ｓｆ−Ｓｍ−Ｓｈ）≧Ｓｖのとき、Ｓｘ＝Ｓｖとする。
映像データ用バッファ１０３に十分な量の映像データが無いため、全ての映像データを転送する。
【００６６】
映像データ用バッファ１０３は、図５の下段に表されているように、復号・再生の単位であるアクセスユニット毎に配列で蓄積されている。映像データ用バッファ１０３からのデータの抜き取りは、アクセスユニットの先頭からなされる。また、データの抜き取りの最中にアクセスユニットの最後に到達した場合は、前記決定されたＳｘの値にかかわらず、抜き取りを一旦完了する。従って、映像フレーム先頭のヘッダ（例えば、ＭＰＥＧ−４の場合、ＶＯＰヘッダ）は、ＩＰパケットのペイロードの先頭に置かれることとなる。
【００６７】
映像バッファ監視部１３５は、映像データ用バッファ１０３のバッファ蓄積量に基づいて、映像データの破棄／停止を映像データ用バッファ１０３へ指示する。例えば伝送路レートが低下することにより、映像データ用バッファ１０３のバッファ蓄積量が、所定の閾値Ｔｈ４より高くなったとする。このとき、送信バッファ監視部１３５は、比較器の出力がＯＮになり、フリップフロップをセットし、破棄を映像データ用バッファ１０３へ出力する。そして、その破棄状態が継続される。
【００６８】
映像データ用バッファ１０３は、破棄が指示された場合、そのバッファ内に存在している最も古いアクセスユニット以外のデータを破棄する。その後、映像データ用バッファ１０３への入力データも破棄し続け、映像データが蓄積されなくなる。
【００６９】
多重化バッファ監視部１３４は、多重化バッファ１３０のバッファ蓄積量を監視する。多重化バッファ１３０のバッファ蓄積量が、別の所定の閾値Ｔｈ５を下回った場合、Ｈレベルの信号を映像バッファ監視部１３５へ入力する。その信号は、送信バッファ監視部１３５のフリップフロップのリセット信号として動作する。
【００７０】
映像データ用バッファ１０３の映像データを破棄し続けている間に、多重化バッファ監視部１３４からＨ信号を受け取ったとき、映像バッファ監視部１３５のフリップフロップはリセットされる。これにより、映像バッファ監視部１３５は、映像データ用バッファ１０３へ破棄動作の解除を指示する。
【００７１】
経過時間判定部１３６は、映像バッファ監視部１３５の出力信号の経過時間を判定する。映像バッファ監視部１３５の出力信号が映像データの破棄を示すＨ状態であって、時間の閾値Ｔｈ６以上続いた場合を検出する。この伝送路状態では、これ以上映像及び音声の双方を同時に使用した通信が行えない状態を意味する。この場合、通信アプリケーションを終了させる信号が外部に出力される。
【００７２】
図６は、映像データ用バッファ１０３のバッファ蓄積量の遷移図である。
【００７３】
伝送路レートが、送信すべきデータ（音声データ及び映像データ）のビットレートよりも高い場合、音声データ用バッファ１０７のバッファ蓄積量は低くなる。一方、伝送路レートが、送信すべきデータのビットレートよりも低い場合、バッファ１０７への入力量よりも出力量が小さくなり、バッファ１０７のバッファ蓄積量が高くなる。
【００７４】
図６の遷移図は、横軸を経過時間とし、縦軸を映像バッファレベルとする。遷移図は、太線及び細線によって時間経過に対する映像バッファ蓄積量を表している。太線は、伝送路レートが低下した場合に映像データを破棄した場合のバッファ遷移を表す。細線は、伝送路レートが低下した場合に単に映像データ用バッファへ転送を止めた場合のバッファ遷移を表す。
【００７５】
通常動作時、映像エンコーダからのデータ出力に伴って、フレーム毎にバッファレベルは、垂直に立ち上がる。次フレーム符号化完了までの間、バッファからのデータ抜き取りが行われるため、右下がりとなり、これが繰り返されて鋸形状となる。途中、伝送路レートが低下すると、この抜き取り速度が低下するため、バッファレベルは徐々に上昇していく。ここで、映像データ用バッファ１０３のバッファ蓄積量が閾値Ｔｈ４を上回った際、第２の実施形態によって映像データ用バッファ１０３内の映像データを破棄する場合（図中太線）と、破棄をせずに従来一般に行われている単に映像バッファへのデータ転送を停止するだけの場合（図中細線）とで、動作が異なる。
【００７６】
単に映像バッファへのデータ転送を停止するだけの場合は、伝送路レートが復帰した時に、以前より蓄積されていた映像データが滞留している。そのために、その後に映像データを抜き取ると、多重化バッファ１３０のバッファレベルは、高い位置からの再開となる。一方、第２の実施形態によれば、映像データ用バッファレベルが閾値Ｔｈ４を上回った直後に、バッファ内データを破棄し、その後バッファにデータを蓄積しないようにしているため、伝送路の速度が復帰した際にバッファレベルの低い状態から符号化データの伝送を再開できる。これは、伝送速度復帰後の映像データの伝送遅延を大幅に改善できることを意味する。
【００７７】
更に、異なるメディアデータを１つのフレームに構成する第３の実施形態について説明する。
【００７８】
表３は、本発明によって用いられるパケット多重化フレームのデータ構造である。
【表３】
【００７９】
表３によれば、本発明におけるフレームのデータ構造は、ＵＤＰヘッダに続いて、１byteのシリアル番号部と、１byteの音声データサイズ部と、そのサイズ部に格納された長さの音声データと、映像データとを含む。従って、表２のデータ構造は、表１のものと比較して、ＲＴＰヘッダを必要としない。シリアル番号部は、符号なし整数であって、０〜２５５の巡回値である。音声データサイズ部は１byteであり、音声データのサイズは０〜２５５byteである。
【００８０】
図７は、本発明におけるパケット多重化フレームのメディア分割構成図である。
【００８１】
図７の上段には、映像データを等サイズに分割したパケット多重化フレームが表されている。常に、映像データを所定バイト数で分割するために、実装が容易となる。しかしながら、一方の映像フレームから他方の映像フレームに跨って分割される場合がある。この場合、映像フレームに跨った映像データを含むパケットが伝送中に損失されると、前後２つのフレーム対して影響を及ぼす。
【００８２】
図７の下段には、ＭＰＥＧ４で規定された再同期のためのResyncマーカを映像フレームに挿入したものが表されている。Resyncマーカは、可変長符号語の切れ目を示す特定パターンのビット列である。Resyncマーカは、符号化時に、マクロブロック境界に挿入される。フレーム損失の発生時に、そのResyncマーカから復号を再開することにより、ストリームの途中からの再生が可能となる。このResyncマーカを実質的に等サイズ間隔で挿入し、Resyncマーカ間の映像データを多重化フレームに含める。これにより、映像フレームに跨って映像データが分割されることがなくなる。即ち、１つの多重化フレームの損失が、２つの映像フレームに影響を及ぼすことがなくなる。
【００８３】
図８は、本発明によって用いられる送信装置の機能構成図である。以下では、送信装置の機能について説明する。但し、各機能はプログラムによっても実装できる。そのプログラムがコンピュータによって実行されることによって、各機能が実現される。
【００８４】
図８によれば、送信装置１は、図１のＲＴＰヘッダ付加部１０４及び１０６に代わって、多重化部１１１を備えている。多重化部１１１は、多重パケット生成部１１１と、映像データを一時的に蓄積するメモリ１１１２と、音声データを一時的に蓄積するメモリ１１１３と、シリアル番号を生成する加算器１１１４と、遅延回路１１１５とを有する。音声データ用メモリ１１１２は、音声データサイズ（書き込みポインタと読み出しポインタとの差分）を、０〜２５５byteで表して出力する。
【００８５】
音声データがメモリ１１３に蓄積され及び／又は映像データがメモリ１１２に蓄積された際、多重パケット生成部１１１は、表３に表したフレームを構成する。多重パケット生成部１１１は、４入力１出力のスイッチを有し、シリアル番号、音声データサイズ、音声データ、映像データの順に切り替える。その１巡によって、１つのフレームが構成される。シリアル番号は、遅延回路１１５を通じて加算器１１１４に入力される。加算器１１１４は、そのシリアル番号を１増分（１加算）した新たなシリアル番号を出力する。
【００８６】
映像データ及び音声データは、同じタイミングでバッファ１０３及び１０７から抜き取られ、１つのフレームに多重化される。これにより、映像データ及び音声データの到着遅延が一定となる。また、受信装置において、音声データの到着ゆらぎが回避される。
【００８７】
更に、従来技術によれば、映像データパケット及び音声データパケットそれぞれに、ＲＴＰヘッダの１２byteを必要とする。これに対し、本発明によれば、映像データ及び音声データが統合され、ＲＴＰに相当するヘッダが２byteとなる。従って、ヘッダサイズが軽減される。
【００８８】
例えば、パケット送出間隔を２０ｍ秒とした場合、従来技術のオーバヘッドは、３２ｋbit／秒である。これに対し、本発明によれば、１２ｋbit／秒である。
（２byte＋８byte＋２０byte）×８bit×５０ ＝ １２ｋbit／秒
【００８９】
本発明によれば２０ｋbit／秒ものオーバヘッドを削減することができる。削減されたオーバヘッドのbit数を、映像データ又は音声データの符号化ビットレートに割り当てることにより、符号化品質が向上する。
【００９０】
図９は、図８の送信装置におけるフレームの伝送シーケンス図である。以下では、受信装置の機能について説明するが、各機能はプログラムによっても実現できる。
【００９１】
図９は、従来技術である図２のＳ２００の部分を表している。本発明によれば、異なるメディアデータを１つの多重化フレームとするデータ構造を採用する。音声データパケットの送信間隔である２０ｍ秒毎に多重パケットを送信した場合、図２の映像データパケットよりも短い長さの映像データを送信することになる。図９によれば、１７byteの音声データと８０byteの映像データとからなるフレームは、１５．８ｍ秒で受信装置によって受信される。即ち、映像データV1（４００byte）の受信終了時点は、音声データA1〜A4（１７byte×４個）の受信終了時点と一致する。
【００９２】
例えば、ＡＭＲ方式の音声データサイズは、パケット送出間隔が２０ｍ秒である場合、以下のようなバイト数になる。ここでは、代表的な３モードについて列記する。
４．７５ｋbit／秒モード： １４byte
※６．７０ｋbit／秒モード： １９byte
１２．２ｋbit／秒モード： ３３byte
【００９３】
映像データサイズは、単純に「ビットレート×時間」で表される。１パケットが２０ｍ秒間隔の場合、以下のようなバイト数となる。
３２ｋbit／秒： ３２ｋbit／８bit×２０ｍ秒 ＝ ８０byte
【００９４】
ＡＭＲが６．７０ｋbit／秒モードの場合、多重化フレームは、シリアル番号１byte、音声データサイズ１byte、音声データ１９byte及び映像データ８０byteからなる合計１０１byteを要する。
【００９５】
映像データ及び音声データは、同じタイミングでバッファから抜き取られ、１つのフレームに多重化されて伝送される。これにより、映像データ及び音声データの到着遅延が一定となり、受信装置において音声データの到着ゆらぎを回避することができる。また、多重パケットの生成に際し、ＲＴＰによって映像データパケット及び音声データパケットそれぞれに１２byteを要していたのに対し、本発明によれば、これら異なるメディアデータのパケットが統合され、且つＲＴＰに相当する部分のヘッダが２byteとなるため、ヘッダサイズをかなり軽減することができ、伝送効率を高めることができる。
【００９６】
図１０は、本発明における送信装置の第３の機能構成図である。
【００９７】
図１０の送信装置１は、図８と比較して、スイッチ１２０と、多重化バッファ１２１と、多重分離部１１８と、再多重化部１１９とを更に有する。また、送信バッファ監視部１１７は、多重化バッファ１２１に蓄積された多重パケットの数を監視しており、スイッチ１２０を制御することができる。また、送信バッファ監視部１１７は、多重化バッファ１２１に対する多重パケット数の閾値を保持する。多重化バッファ１２１に蓄積された多重パケット数が閾値を越えた場合、送信バッファ監視部１１７は、映像データ用バッファ１０３からの映像データの転送を停止する。これにより、多重化部１１１への映像データの入力を止め、スイッチ１２０をＯＮ制御することによって多重化バッファ１２１の多重化パケットを多重分離部１１８に入力する。
【００９８】
多重分離部１１８は、多重化バッファ１２１に蓄積された全ての多重化パケットについて、多重分離するものである。そのうち、分離された映像データは破棄される。再多重化部１１９は、分離されたシリアル番号、音声データサイズ及び音声データについて再度多重化し、その多重化パケットは多重化バッファ１２１へ再入力される。
【００９９】
図１１は、本発明における多重分離部及び再多重化部の機能構成図である。本発明における表２に表したフレームのデータ構造によれば、以下のような多重分離及び再多重を容易に実現することができる。
【０１００】
多重分離部１１８は、メモリ１１８１と、パケット分離部１１８２とを有する。メモリ１１８１は、多重化バッファ１２１から入力された多重化パケットを一時的に蓄積する。パケット分離部１１８２は、メモリ１１８１から取り出した多重化パケットから、１byteのシリアル番号部と、１byteの音声データサイズ部と、該サイズ部に格納された長さの音声メディアデータと、映像メディアデータとに分離する。このとき、分離された映像メディアデータは破棄される。そして、シリアル番号、音声メディアデータサイズ及び音声メディアデータは、再多重化部１１９に入力される。
【０１０１】
再多重化部１１９は、メモリ１１９１と、パケット多重部１１９２とを有する。メモリ１１９１は、多重分離部１１８から受信した音声メディアデータを一時的に蓄積する。パケット多重部１１９２は、多重分離部１１８から入力された、１byteのシリアル番号部と、１byteの音声データサイズ部と、メモリ１１９１からの音声データとを多重化する。
【０１０２】
図１２は、本発明における第３の実施形態におけるフローチャートである。
【０１０３】
（Ｓ８０１）音声データ用バッファ１０７に蓄積されたバッファ蓄積量ＢＡが、閾値Ｔｈ１よりも大きいか否かを判定する。
（Ｓ８０７）ＢＡがＴｈ１よりも大きいならば、映像データ用バッファ１０３からの転送を停止し、多重化部１１１への入力を止め、スイッチ１２０をＯＮにしてバッファ１２１に蓄積されたフレームを多重分離部１１８へ入力するように制御する。
（Ｓ８０２）ＢＡがＴｈ１以下ならば、音声データ用バッファ１０７に蓄積されたバッファ蓄積量ＢＡが、閾値Ｔｈ２よりも小さいか否かを判定する。ＢＡがＴｈ２以下でないならば、時刻変数ｔに現在時刻nowを代入して（Ｓ８０９）、処理を終了する。
（Ｓ８０３）ＢＡがＴｈ２よりも小さいならば、現在時刻nowから過去時刻ｔを差し引いた時間間隔が、所定の時間間隔ＴＭよりも長いか否かを判定する。ＴＭよりも短かいならば、処理を終了する。時間間隔ＴＭは、伝送路レートの回復判定時間である。例えば実際の伝送路レートが８０ｋbps程度であれば、時間間隔ＴＭはおよそ５秒程度に設定される。
（Ｓ８０４）所定の時間間隔ＴＭよりも長いならば、安定状態にあると判断し、伝送路レート測定処理を行う。
（Ｓ８０５）伝送レート測定処理によって測定された伝送路レートＴＲは、伝送路が回復したとして判断できる一定レートよりも大きいか否か判定される。ＴＲが一定レート以下であれば、処理を終了する。
（Ｓ８０６）伝送路レートＴＲが一定レートよりも大きいならば、映像データの転送の再開を映像データ用バッファ１０３へ指示する。これにより、多重化部１１１への入力を再開し、スイッチ１２０をＯＦＦにしてバッファ１２１に蓄積されたフレームを送信するように制御する。
【０１０４】
前述した本発明における送信装置及び送信プログラムの種々の実施形態によれば、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略を、当業者は容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【図面の簡単な説明】
【０１０５】
【図１】従来技術によるパケット多重化のための送信装置の機能構成図である。
【図２】従来技術におけるデータパケットの伝送のシーケンス図である。
【図３】本発明における送信装置の第１の機能構成図である。
【図４】音声データ用バッファのバッファ蓄積量における時間変動を表すグラフである
【図５】本発明における送信装置の第２の機能構成図である。
【図６】映像データ用バッファ１０３のバッファ蓄積量の遷移図である。
【図７】本発明におけるパケット多重化フレームのメディア分割構成図である。
【図８】本発明によって用いられる送信装置の機能構成図である。
【図９】図８の送信装置におけるフレームの伝送シーケンス図である。
【図１０】本発明における送信装置の第３の機能構成図である。
【図１１】本発明における多重分離部及び再多重化部の機能構成図である。
【図１２】本発明における第３の実施形態におけるフローチャートである。
【符号の説明】
【０１０６】
１ 送信装置
１０１ フォーマット変換部
１０２ 映像エンコーダ部
１０３ 映像データ用バッファ
１０４、１０６ ＲＴＰヘッダ付加部
１０５ ＵＤＰ／ＩＰプロトコルスタック部
１０７ 音声データ用バッファ
１０８ 音声エンコーダ部
１０９ Ａ／Ｄ変換部
１１０ 増幅器
１１１ 多重化部
１１１１ 多重パケット生成部
１１１２ 映像データ用メモリ
１１１３ 音声データ用メモリ
１１１４ 加算器
１１１５ 遅延回路
１１７ 送信バッファ監視部
１１７１ コンパレータ
１１７２ 閾値記憶部
１１７３ フリップフロップ
１１８ 多重分離部
１１８１ メモリ
１１８２ パケット分離部
１１９ 再多重化部
１１９１ メモリ
１１９２ パケット多重化部
１２０ スイッチ
１２１ 多重化バッファ
１２６ 伝送路レート測定部
１３０ 多重化バッファ
１３１ ネットワークインタフェース部
１３２ 映像多重化サイズ決定部
１３３ 伝送路レート推定部
１３４ 多重化バッファ監視部
１３５ 映像バッファ監視部
１３６ 経過時間判定部
２ 受信装置
２０１ ディスプレイ制御部
２０２ 映像データ用バッファ
２０３ 映像デコーダ
２０４、２０６ ＲＴＰヘッダ除去部
２０５ ＵＤＰ／ＩＰプロトコルスタック部
２０７ 音声デコーダ
２０８ 音声データ用バッファ
２０９ Ｄ／Ａ変換部
２１０ 増幅器
３ ＩＰネットワーク
４ カメラ
５ マイク
６ ディスプレイ
７ スピーカ
【特許請求の範囲】
【請求項１】
送信すべき第１のメディアデータを一時的に蓄積する第１のバッファと、
送信すべき第２のメディアデータを一時的に蓄積する第２のバッファと、
前記第１のバッファから出力された前記第１のメディアデータと、前記第２のバッファから出力された前記第２のメディアデータとを１系統の信号線に出力するための多重化手段と、
前記第１のバッファの第１のバッファ蓄積量を監視し、該第１のバッファ蓄積量が第１の閾値を越えた際に、前記第２のメディアデータを破棄するように前記第２のバッファへ指示する送信バッファ監視手段と
を有することを特徴とする送信装置。
【請求項２】
前記第１のバッファ蓄積量が前記第１の閾値を越えた後、前記第１のバッファ蓄積量が第２の閾値以下となる状態が所定時間ＴＭだけ経過した際に、伝送路レートの測定を開始する伝送レート測定手段を更に有し、
前記送信バッファ監視手段は、前記伝送路レートが所定レート以上に回復したとき、前記第２のメディアデータの破棄を停止するように前記第２のバッファに指示することを特徴とする請求項１に記載の送信装置。
【請求項３】
送信すべき第２のメディアデータを一時的に蓄積する第２のバッファと
第１のメディアデータと、前記第２のバッファから出力された前記第２のメディアデータとを１系統の信号線に出力するための多重化手段と、
前記多重化手段から出力されたフレームを一時的に蓄積する第３のバッファと、
前記第３のバッファの第３のバッファ蓄積量を監視し、該第３のバッファ蓄積量が送信可能最大サイズよりも少ない場合、その差分サイズ分の第２のメディアデータが転送されるように前記第２のバッファを制御する多重化サイズ決定手段と
を有することを特徴とする送信装置。
【請求項４】
前記第３のバッファから出力されるフレームをネットワークへ送信するネットワークインタフェース手段と、
前記ネットワークインタフェース手段から得られる伝送路状態パラメータに基づいて前記送信可能最大サイズを算出し、該送信可能最大サイズを前記多重化サイズ決定手段へ出力する伝送路レート推定手段と
を更に有することを特徴とする請求項３に記載の送信装置。
【請求項５】
前記第２のバッファの第２のバッファ蓄積量を監視し、該第２のバッファ蓄積量が第２の閾値を越えた場合、前記第２のメディアデータを破棄するように前記第２のバッファに指示する第２のバッファ監視手段を更に有することを特徴とする請求項３又は４に記載の送信装置。
【請求項６】
前記第３のバッファの第３のバッファ蓄積量を監視し、該第３のバッファ蓄積量が第３の閾値以下となった場合、リセット信号を前記第２のバッファ監視手段へ出力する多重化バッファ監視手段を更に有し、
前記第２のバッファ監視手段は、前記リセット信号を入力した際に、前記第２のメディアデータの破棄を停止するように前記第２のバッファへ指示することを特徴とする請求項５に記載の送信装置。
【請求項７】
前記第２のバッファは、アクセスユニット単位で配列に構成されており、
前記第２のバッファは、前記第２のバッファ内のデータを破棄する際、最も古いアクセスユニット情報はバッファに残し、その後に続くアクセスユニットを破棄することを特徴とする請求項５又は６に記載の送信装置。
【請求項８】
前記第２のバッファ監視手段が前記第２のバッファに対して映像データの破棄を指示し、破棄の継続時間が所定閾値時間を越えた場合、その状態を外部に出力する経過時間判定手段を更に有することを特徴とする請求項５から７のいずれか１項に記載の送信装置。
【請求項９】
送信すべき第１のメディアデータを一時的に蓄積する第１のバッファと、
送信すべき第２のメディアデータを一時的に蓄積する第２のバッファと
ＵＤＰヘッダに続いて、シリアル番号部と、第１のメディアデータサイズ部と、該サイズ部に格納された長さの第１のメディアデータと、第２のメディアデータとを含むデータ構造を有する、異なるメディアデータのパケット多重化フレームを生成する多重化手段と、
前記多重化手段によって生成された前記フレームを一時的に蓄積する第３のバッファと、
前記第３のバッファに蓄積された前記フレームから、シリアル番号部と、第１のメディアデータサイズ部と、該サイズ部に格納された長さの第１のメディアデータと、第２のメディアデータとに分離し、分離された前記第２のメディアデータを破棄するパケット分離手段と、
分離された前記シリアル番号部と、前記第１のメディアデータサイズ部と、該サイズ部に格納された長さの前記第１のメディアデータとを含むデータ構造を有するフレームを再度生成し、該フレームを前記第３のバッファに入力する再多重化手段と、
前記第３のバッファと前記パケット分離手段との間に接続されたスイッチと、
前記第３のバッファに対する第１の閾値を蓄積し、前記第３のバッファに蓄積されたフレーム数を監視し、該フレーム数が前記第１の閾値を越えた際に、前記第２のメディアデータの転送を停止するべく前記第２のバッファへ指示し、前記スイッチをＯＮにして前記第３のバッファに蓄積されたフレームを前記パケット分離手段へ入力するように制御する送信バッファ監視手段と
を有することを特徴とする送信装置。
【請求項１０】
前記第３のバッファに蓄積された前記フレーム数が前記第１の閾値を越えた後、前記第３のバッファに蓄積されたフレーム数が第２の閾値以下となる状態が所定時間ＴＭだけ経過した際に、伝送路レートの測定を開始する伝送レート測定手段と、
前記送信バッファ監視手段は、前記伝送路レートが所定レート以上に回復したとき、前記第３のバッファに蓄積されたフレームの破棄を停止するべく、前記第２のメディアデータの転送を再開するように前記第２のバッファへ指示し、前記スイッチをＯＦＦにして前記第３のバッファに蓄積されたフレームを送信するように制御することを特徴とする請求項９に記載の送信装置。
【請求項１１】
前記多重化手段は、
前記シリアル番号を送出する加算手段と、
前記第１のメディアデータを一時的に蓄積する第１のメモリと、
前記第２のメディアデータを一時的に蓄積する第２のメモリと、
前記加算手段から出力された前記シリアル番号を、前記フレームの前記シリアル番号部に含め、次に、前記第１のメモリから出力された第１のメディアデータサイズを、前記フレームの前記第１のメディアデータサイズ部に含め、次に、前記第１のメモリから出力された、前記第１のメディアデータサイズ部に格納された長さの前記第１のメディアデータを含め、次に、前記第２のメモリから出力された第２のメディアデータを含めるようにした多重化パケットの生成を繰り返す多重パケット生成手段と
を有することを特徴とする請求項９又は１０のいずれか１項に記載の送信装置。
【請求項１２】
前記第１のメディアデータは音声データであって、前記第２のメディアデータは映像データであることを特徴とする請求項９から１１のいずれか１項に記載の送信装置。
【請求項１３】
送信すべき第１のメディアデータを一時的に蓄積する第１のバッファと、
送信すべき第２のメディアデータを一時的に蓄積する第２のバッファと、
前記第１のバッファから出力された前記第１のメディアデータと、前記第２のバッファから出力された前記第２のメディアデータとを１系統の信号線に出力するための多重化手段と、
前記第１のバッファの第１のバッファ蓄積量を監視し、該第１のバッファ蓄積量が第１の閾値を越えた際に、前記第２のメディアデータを破棄するように前記第２のバッファへ指示する送信バッファ監視手段
としてコンピュータを機能させることを特徴とする送信プログラム。
【請求項１４】
送信すべき第２のメディアデータを一時的に蓄積する第２のバッファと
第１のメディアデータと、前記第２のバッファから出力された前記第２のメディアデータとを１系統の信号線に出力するための多重化手段と、
前記多重化手段から出力されたフレームを一時的に蓄積する第３のバッファと、
前記第３のバッファの第３のバッファ蓄積量を監視し、該第３のバッファ蓄積量が送信可能最大サイズよりも少ない場合、その差分サイズ分の第２のメディアデータが転送されるように前記第２のバッファを制御する多重化サイズ決定手段
としてコンピュータを機能させることを特徴とする送信プログラム。
【請求項１５】
送信すべき第１のメディアデータを一時的に蓄積する第１のバッファと、
送信すべき第２のメディアデータを一時的に蓄積する第２のバッファと
ＵＤＰヘッダに続いて、シリアル番号部と、第１のメディアデータサイズ部と、該サイズ部に格納された長さの第１のメディアデータと、第２のメディアデータとを含むデータ構造を有する、異なるメディアデータのパケット多重化フレームを生成する多重化手段と、
前記多重化手段によって生成された前記フレームを一時的に蓄積する第３のバッファと、
前記第３のバッファに蓄積された前記フレームから、シリアル番号部と、第１のメディアデータサイズ部と、該サイズ部に格納された長さの第１のメディアデータと、第２のメディアデータとに分離し、分離された前記第２のメディアデータを破棄するパケット分離手段と、
分離された前記シリアル番号部と、前記第１のメディアデータサイズ部と、該サイズ部に格納された長さの前記第１のメディアデータとを含むデータ構造を有するフレームを再度生成し、該フレームを前記第３のバッファに入力する再多重化手段と、
前記第３のバッファと前記パケット分離手段との間に接続されたスイッチと、
前記第３のバッファに対する第１の閾値を蓄積し、前記第３のバッファに蓄積されたフレーム数を監視し、該フレーム数が前記第１の閾値を越えた際に、前記第２のメディアデータの転送を停止するべく前記第２のバッファへ指示し、前記スイッチをＯＮにして前記第３のバッファに蓄積されたフレームを前記パケット分離手段へ入力するように制御する送信バッファ監視手段
としてコンピュータを機能させることを特徴とする送信プログラム。
【請求項１】
送信すべき第１のメディアデータを一時的に蓄積する第１のバッファと、
送信すべき第２のメディアデータを一時的に蓄積する第２のバッファと、
前記第１のバッファから出力された前記第１のメディアデータと、前記第２のバッファから出力された前記第２のメディアデータとを１系統の信号線に出力するための多重化手段と、
前記第１のバッファの第１のバッファ蓄積量を監視し、該第１のバッファ蓄積量が第１の閾値を越えた際に、前記第２のメディアデータを破棄するように前記第２のバッファへ指示する送信バッファ監視手段と
を有することを特徴とする送信装置。
【請求項２】
前記第１のバッファ蓄積量が前記第１の閾値を越えた後、前記第１のバッファ蓄積量が第２の閾値以下となる状態が所定時間ＴＭだけ経過した際に、伝送路レートの測定を開始する伝送レート測定手段を更に有し、
前記送信バッファ監視手段は、前記伝送路レートが所定レート以上に回復したとき、前記第２のメディアデータの破棄を停止するように前記第２のバッファに指示することを特徴とする請求項１に記載の送信装置。
【請求項３】
送信すべき第２のメディアデータを一時的に蓄積する第２のバッファと
第１のメディアデータと、前記第２のバッファから出力された前記第２のメディアデータとを１系統の信号線に出力するための多重化手段と、
前記多重化手段から出力されたフレームを一時的に蓄積する第３のバッファと、
前記第３のバッファの第３のバッファ蓄積量を監視し、該第３のバッファ蓄積量が送信可能最大サイズよりも少ない場合、その差分サイズ分の第２のメディアデータが転送されるように前記第２のバッファを制御する多重化サイズ決定手段と
を有することを特徴とする送信装置。
【請求項４】
前記第３のバッファから出力されるフレームをネットワークへ送信するネットワークインタフェース手段と、
前記ネットワークインタフェース手段から得られる伝送路状態パラメータに基づいて前記送信可能最大サイズを算出し、該送信可能最大サイズを前記多重化サイズ決定手段へ出力する伝送路レート推定手段と
を更に有することを特徴とする請求項３に記載の送信装置。
【請求項５】
前記第２のバッファの第２のバッファ蓄積量を監視し、該第２のバッファ蓄積量が第２の閾値を越えた場合、前記第２のメディアデータを破棄するように前記第２のバッファに指示する第２のバッファ監視手段を更に有することを特徴とする請求項３又は４に記載の送信装置。
【請求項６】
前記第３のバッファの第３のバッファ蓄積量を監視し、該第３のバッファ蓄積量が第３の閾値以下となった場合、リセット信号を前記第２のバッファ監視手段へ出力する多重化バッファ監視手段を更に有し、
前記第２のバッファ監視手段は、前記リセット信号を入力した際に、前記第２のメディアデータの破棄を停止するように前記第２のバッファへ指示することを特徴とする請求項５に記載の送信装置。
【請求項７】
前記第２のバッファは、アクセスユニット単位で配列に構成されており、
前記第２のバッファは、前記第２のバッファ内のデータを破棄する際、最も古いアクセスユニット情報はバッファに残し、その後に続くアクセスユニットを破棄することを特徴とする請求項５又は６に記載の送信装置。
【請求項８】
前記第２のバッファ監視手段が前記第２のバッファに対して映像データの破棄を指示し、破棄の継続時間が所定閾値時間を越えた場合、その状態を外部に出力する経過時間判定手段を更に有することを特徴とする請求項５から７のいずれか１項に記載の送信装置。
【請求項９】
送信すべき第１のメディアデータを一時的に蓄積する第１のバッファと、
送信すべき第２のメディアデータを一時的に蓄積する第２のバッファと
ＵＤＰヘッダに続いて、シリアル番号部と、第１のメディアデータサイズ部と、該サイズ部に格納された長さの第１のメディアデータと、第２のメディアデータとを含むデータ構造を有する、異なるメディアデータのパケット多重化フレームを生成する多重化手段と、
前記多重化手段によって生成された前記フレームを一時的に蓄積する第３のバッファと、
前記第３のバッファに蓄積された前記フレームから、シリアル番号部と、第１のメディアデータサイズ部と、該サイズ部に格納された長さの第１のメディアデータと、第２のメディアデータとに分離し、分離された前記第２のメディアデータを破棄するパケット分離手段と、
分離された前記シリアル番号部と、前記第１のメディアデータサイズ部と、該サイズ部に格納された長さの前記第１のメディアデータとを含むデータ構造を有するフレームを再度生成し、該フレームを前記第３のバッファに入力する再多重化手段と、
前記第３のバッファと前記パケット分離手段との間に接続されたスイッチと、
前記第３のバッファに対する第１の閾値を蓄積し、前記第３のバッファに蓄積されたフレーム数を監視し、該フレーム数が前記第１の閾値を越えた際に、前記第２のメディアデータの転送を停止するべく前記第２のバッファへ指示し、前記スイッチをＯＮにして前記第３のバッファに蓄積されたフレームを前記パケット分離手段へ入力するように制御する送信バッファ監視手段と
を有することを特徴とする送信装置。
【請求項１０】
前記第３のバッファに蓄積された前記フレーム数が前記第１の閾値を越えた後、前記第３のバッファに蓄積されたフレーム数が第２の閾値以下となる状態が所定時間ＴＭだけ経過した際に、伝送路レートの測定を開始する伝送レート測定手段と、
前記送信バッファ監視手段は、前記伝送路レートが所定レート以上に回復したとき、前記第３のバッファに蓄積されたフレームの破棄を停止するべく、前記第２のメディアデータの転送を再開するように前記第２のバッファへ指示し、前記スイッチをＯＦＦにして前記第３のバッファに蓄積されたフレームを送信するように制御することを特徴とする請求項９に記載の送信装置。
【請求項１１】
前記多重化手段は、
前記シリアル番号を送出する加算手段と、
前記第１のメディアデータを一時的に蓄積する第１のメモリと、
前記第２のメディアデータを一時的に蓄積する第２のメモリと、
前記加算手段から出力された前記シリアル番号を、前記フレームの前記シリアル番号部に含め、次に、前記第１のメモリから出力された第１のメディアデータサイズを、前記フレームの前記第１のメディアデータサイズ部に含め、次に、前記第１のメモリから出力された、前記第１のメディアデータサイズ部に格納された長さの前記第１のメディアデータを含め、次に、前記第２のメモリから出力された第２のメディアデータを含めるようにした多重化パケットの生成を繰り返す多重パケット生成手段と
を有することを特徴とする請求項９又は１０のいずれか１項に記載の送信装置。
【請求項１２】
前記第１のメディアデータは音声データであって、前記第２のメディアデータは映像データであることを特徴とする請求項９から１１のいずれか１項に記載の送信装置。
【請求項１３】
送信すべき第１のメディアデータを一時的に蓄積する第１のバッファと、
送信すべき第２のメディアデータを一時的に蓄積する第２のバッファと、
前記第１のバッファから出力された前記第１のメディアデータと、前記第２のバッファから出力された前記第２のメディアデータとを１系統の信号線に出力するための多重化手段と、
前記第１のバッファの第１のバッファ蓄積量を監視し、該第１のバッファ蓄積量が第１の閾値を越えた際に、前記第２のメディアデータを破棄するように前記第２のバッファへ指示する送信バッファ監視手段
としてコンピュータを機能させることを特徴とする送信プログラム。
【請求項１４】
送信すべき第２のメディアデータを一時的に蓄積する第２のバッファと
第１のメディアデータと、前記第２のバッファから出力された前記第２のメディアデータとを１系統の信号線に出力するための多重化手段と、
前記多重化手段から出力されたフレームを一時的に蓄積する第３のバッファと、
前記第３のバッファの第３のバッファ蓄積量を監視し、該第３のバッファ蓄積量が送信可能最大サイズよりも少ない場合、その差分サイズ分の第２のメディアデータが転送されるように前記第２のバッファを制御する多重化サイズ決定手段
としてコンピュータを機能させることを特徴とする送信プログラム。
【請求項１５】
送信すべき第１のメディアデータを一時的に蓄積する第１のバッファと、
送信すべき第２のメディアデータを一時的に蓄積する第２のバッファと
ＵＤＰヘッダに続いて、シリアル番号部と、第１のメディアデータサイズ部と、該サイズ部に格納された長さの第１のメディアデータと、第２のメディアデータとを含むデータ構造を有する、異なるメディアデータのパケット多重化フレームを生成する多重化手段と、
前記多重化手段によって生成された前記フレームを一時的に蓄積する第３のバッファと、
前記第３のバッファに蓄積された前記フレームから、シリアル番号部と、第１のメディアデータサイズ部と、該サイズ部に格納された長さの第１のメディアデータと、第２のメディアデータとに分離し、分離された前記第２のメディアデータを破棄するパケット分離手段と、
分離された前記シリアル番号部と、前記第１のメディアデータサイズ部と、該サイズ部に格納された長さの前記第１のメディアデータとを含むデータ構造を有するフレームを再度生成し、該フレームを前記第３のバッファに入力する再多重化手段と、
前記第３のバッファと前記パケット分離手段との間に接続されたスイッチと、
前記第３のバッファに対する第１の閾値を蓄積し、前記第３のバッファに蓄積されたフレーム数を監視し、該フレーム数が前記第１の閾値を越えた際に、前記第２のメディアデータの転送を停止するべく前記第２のバッファへ指示し、前記スイッチをＯＮにして前記第３のバッファに蓄積されたフレームを前記パケット分離手段へ入力するように制御する送信バッファ監視手段
としてコンピュータを機能させることを特徴とする送信プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００６−１４０９８４（Ｐ２００６−１４０９８４Ａ）
【公開日】平成１８年６月１日（２００６．６．１）
【国際特許分類】
【出願番号】特願２００５−１６５３７１（Ｐ２００５−１６５３７１）
【出願日】平成１７年６月６日（２００５．６．６）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
【公開日】平成１８年６月１日（２００６．６．１）
【国際特許分類】
【出願日】平成１７年６月６日（２００５．６．６）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
[ Back to top ]