異なるメディアデータにおけるパケット多重化フレームの生成タイミングを制御する送信方法、送信プログラム及び送信装置
【課題】 異なるメディアデータにおける到着時間のゆらぎと、ヘッダによるオーバヘッドとを改善するデータ構造を有するパケット多重化フレームを送信するものであり、フレームを最適なタイミングで生成する送信方法、送信プログラム及び送信装置を提供する。
【解決手段】 フレームは、ＵＤＰヘッダに続いて、シリアル番号部と、音声メディアデータサイズ部と、音声メディアデータと、映像メディアデータとを含むデータ構造を有しており、音声メディアデータを一時的に蓄積する第１のバッファと、映像メディアデータを一時的に蓄積する第２のバッファとを有し、第１のバッファに対する第１の閾値が決定されており、第１のバッファにおけるバッファ蓄積量を監視し、第１のバッファにおけるバッファ蓄積量が第１の閾値を越えた際に、第１のバッファから音声メディアデータを取り出し、第２のバッファから映像メディアデータを取り出してフレームを構成する。
【解決手段】 フレームは、ＵＤＰヘッダに続いて、シリアル番号部と、音声メディアデータサイズ部と、音声メディアデータと、映像メディアデータとを含むデータ構造を有しており、音声メディアデータを一時的に蓄積する第１のバッファと、映像メディアデータを一時的に蓄積する第２のバッファとを有し、第１のバッファに対する第１の閾値が決定されており、第１のバッファにおけるバッファ蓄積量を監視し、第１のバッファにおけるバッファ蓄積量が第１の閾値を越えた際に、第１のバッファから音声メディアデータを取り出し、第２のバッファから映像メディアデータを取り出してフレームを構成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、異なるメディアデータにおけるパケット多重化フレームの生成タイミングを制御する送信方法、送信プログラム及び送信装置に関する。
【背景技術】
【０００２】
異なるメディアデータを多重化する送信装置は、同時に並行して発生する複数のメディアデータをメディア毎に符号化し、所定サイズのフレームに構成してネットワークへ送信する。一方、受信装置は、メディア毎に異なるメディアデコーダを用いて、受信したフレーム単位でメディアデータを復号する。メディアデータ毎に、所定サイズをどのように決定するかが、マルチメディアデータの多重化においては重要である。
【０００３】
多重化方式としては、バイト多重がある。バイト多重は、異なるメディアデータを適当なバイト数の単位で切り替えることができる。受信装置は、フレームに付加されたヘッダの内容によって、そのメディアデータに適したデコーダに切り替える。このようなパケット多重は、柔軟性が高く、ソフトウェア処理に適している。
【０００４】
図１は、従来技術によるパケット多重化のための送信装置の機能構成図である。
【０００５】
送信装置１は、映像データ及び音声データをリアルタイムで符号化して送信するものである。送信装置１は、映像信号を出力するカメラ４と、音声信号を出力するマイク５とに接続され、データパケットを送信するためにＩＰネットワーク３に接続されている。
【０００６】
送信装置１は、映像データについて、フォーマット変換部１０１と、映像エンコーダ部１０２と、映像データ用バッファ１０３と、ＲＴＰ(Real-time Transport Protocol)ヘッダ付加部１０４とを有する。また、音声データについて、増幅器１１０と、音声エンコーダ部１０８と、音声データ用バッファ１０７と、ＲＴＰヘッダ付加部１０６とを有する。更に、ＩＰ(Internet Protocol)ネットワーク３に対応してＵＤＰ(User Datagram Protocol)／ＩＰプロトコルスタック部１０５を有する。
【０００７】
カメラ４から出力された映像信号は、フォーマット変換部１０１によって圧縮符号化に適した映像フォーマットに変換され、映像エンコーダ１０２によって圧縮符号化される。その方式は、１フレーム（１画面）を単位として符号化データを生成するものであって、例えばＩＳＯ／ＩＥＣ(International Organization for Standardization／International Electrotechnical Commission) ＭＰＥＧ−４(Moving Picture Experts Group-4)ビジュアルがある。低ビットレートのＭＰＥＧ−４によれば、１フレームは、例えば１００ｍ秒間隔（毎秒１０フレーム）となる。生成されたビットストリームデータは、映像データ用バッファ１０３に入力される。ＲＴＰヘッダ付加部１０４は、バッファ１０３から取り出した映像データのフレーム毎にＲＴＰヘッダを付加する。そのＲＴＰパケットは、ＵＤＰ／ＩＰプロトコルスタック部１０５によってＵＤＰ及びＩＰヘッダが付加され、ＩＰネットワーク３へ送信される。
【０００８】
一方、マイク５から出力された音声信号は、増幅器１１０によって増幅され、Ａ／Ｄ(Analog/Digital)変換部１０９によって伝送可能なビット列に変換される。次に、その音声データは、音声エンコーダ１０８によって圧縮符号化される。その方式は、予め決められた時間長を１フレームとして符号化データを生成するものであって、例えば３ＧＰＰ(3rd Generation Partnership Project) ＡＭＲ(Adaptive Multi Rate)がある。ＡＭＲ方式においては、１フレームは２０ｍ秒となる。生成されたビットストリームは、音声データ用バッファ１０７に入力される。ＲＴＰヘッダ付加部１０６は、バッファ１０７から取り出した映像データのフレーム毎にＲＴＰヘッダを付加する。そのＲＴＰパケットは、ＵＤＰ／ＩＰプロトコルスタック部１０５によってＵＤＰ及びＩＰヘッダが付加され、ＩＰネットワーク３へ送信される。
【０００９】
受信装置２は、データパケットを受信するためにＩＰネットワーク３に接続され、受信したデータパケットのメディアデータに応じて復号するものである。受信装置２は、映像信号を入力するディスプレイ６と、音声信号を入力するスピーカ７とに接続されている。
【００１０】
受信装置２は、ＩＰネットワーク３から受信したパケットに対して、ＩＰ及びＵＤＰヘッダを処理するＵＤＰ／ＩＰプロトコルスタック部２０５を有する。受信装置２は、映像データについて、ＲＴＰヘッダ除去部２０４と、映像デコーダ２０３と、映像データ用バッファ２０２と、ディスプレイ制御部２０１とを有する。映像信号は、ディスプレイ制御部２０１からディスプレイ６に出力される。また、音声データについて、ＲＴＰヘッダ除去部２０６と、音声デコーダ２０７と、音声データ用バッファ２０８と、Ｄ／Ａ変換部２０９と、増幅器２１０とを有する。音声信号は、増幅器２１０からスピーカ７へ出力される。
【００１１】
先行公知文献としては、ＲＴＰについて規定したＩＥＴＦ ＲＦＣ３５５０（非特許文献１参照）、ＭＰＥＧ−４をＲＴＰに乗せたフォーマットを規定したＩＥＴＦ ＲＦＣ３０１６（非特許文献２参照）、ＡＭＲをＲＴＰに乗せたフォーマットを規定したＩＥＴＦ ＲＦＣ３２６７（非特許文献３参照）がある。
【００１２】
【非特許文献１】ＩＥＴＦ(Internet Engineering Task Force) ＲＦＣ(Request For Comment)３５５０
【非特許文献２】ＩＥＴＦ ＲＦＣ３０１６
【非特許文献３】ＩＥＴＦ ＲＦＣ３２６７
【発明の開示】
【発明が解決しようとする課題】
【００１３】
表１は、従来技術におけるパケット多重化フレームのデータ構造である。
【表１】
【００１４】
従来技術によれば、音声データのフレームと、映像データのフレームとは別々に必要となる。これは、フレーム毎に、そのメディアデータに応じたデコーダによって復号させるためである。
【００１５】
前述したような従来技術によれば、生成されるＲＴＰパケットは以下のようになる。ここで、符号化パラメータとして、低い伝送レート（６４ｋbit／秒）における一般的な値を想定する。
映像の符号化ビットレート：３２ｋbit／秒、フレームレート：１０枚／秒
音声の符号化ビットレート：６８００bit／秒、フレーム長：２０m秒
ＲＴＰヘッダサイズ：１２byte
ＵＤＰヘッダ：８byte
ＩＰヘッダ：２０byte
【００１６】
映像データについては、以下のようになる。
映像の符号化ビットレート：３２ｋbit／秒÷８bit ＝ ４ｋbyte／秒
秒当たりの伝送フレーム数：１０フレーム／秒
映像データパケットの伝送間隔：１秒／１０フレーム ＝ １００ｍ秒
フレームレート：４ｋbyte／秒÷１０フレーム／秒 ＝ ４００byte／フレーム
映像の１パケット：４００byte＋１２byte＋８byte＋２０byte ＝ ４４０byte
映像１パケットの伝送時間：４４０byte×８bit÷６４ｋbit／秒 ＝ ５５m秒
【００１７】
音声データについては、以下のようになる。
音声の符号化ビットレート：６８００bit／秒÷８bit ＝ ８５０byte／秒
秒当たりの伝送フレーム数：５０フレーム／秒
音声データパケットの伝送間隔：１秒／５０フレーム ＝ ２０ｍ秒
１フレーム当たりのバイト数：８５０byte／秒×２０ｍ秒 ＝ １７byte／フレーム
音声の１パケット：１７byte＋１２byte＋８byte＋２０byte ＝ ５７byte
音声１パケットの伝送時間：５７byte×８bit÷６４ｋbit／秒 ＝ ７．１２５m秒
【００１８】
音声データパケットは２０ｍ秒間隔で送信され、映像データパケットは１００ｍ秒間隔で送信されるので、音声データパケットの送信の５回に１回の割合で、映像データパケットの送信が割り込むこととなる。
【００１９】
図２は、従来技術におけるフレームの伝送シーケンス図である。
【００２０】
音声データパケットは２０ｍ秒毎に送信され、映像データパケットは１００ｍ秒毎に送信される。音声データパケットは、４０byteのヘッダ（ＩＰ、ＵＤＰ、ＲＴＰ）とデータ部分とからなる。データ部分が１７byteとすると、伝送に７．１２５ｍ秒を要する。映像データパケットは、４０byteのヘッダとデータ部分とからなる。データ部分が４００byteとすると、伝送に５５ｍ秒を要する。
【００２１】
図２によれば、例えば、映像データパケットV1の送信の直後に、音声データパケットA3が送信されたとする。映像データパケットV1は、送信装置から送信されてから５５ｍ秒後に、受信装置に到着する。一方、音声データパケットA3は、更に７．１２５ｍ秒後、即ち送信装置から送信されてから６２．１２５ｍ秒後に、受信装置に到着する。このために、映像データパケットによって割り込まれた音声データパケットは、送信装置の送出間隔２０ｍ秒に対し、受信装置に受信された時は６２ｍ秒後ということになる。その後、音声データパケットA4,A5,A6,A7が連続して、受信装置に到着する。音声データパケットの伝送に要する時間７ｍ秒は、送出間隔２０ｍ秒に比べて十分小さいため、受信装置における到着間隔はやがて元に戻ることとなるが、その後、再度、映像データパケットが音声データパケットの間に割り込むため、到着遅延の変動が生じる。
【００２２】
音声データは、映像データのようなフレーム単位で離散的なデータと異なって、アナログ信号に戻して再生する際に、連続的でなければならない。このため、受信装置は、音声データパケットの最大到着遅延量に合わせて、予めバッファに蓄積してから再生する。このような音声データパケットの遅延変動は、受信側に大きなバッファ蓄積を要求することとなり、伝送遅延全体を増大させるものとなる。
【００２３】
更に、従来技術によれば、ＲＴＰ、ＵＤＰ、ＩＰのヘッダを、映像データパケット及び音声データパケットそれぞれ独立に付加する必要がある。従って、
（１２byte＋８byte＋２０byte）×８bit×（５０音声フレーム＋１０映像フレーム）
＝ １９．２ｋbit／秒
ものヘッダによるオーバヘッドを要する。
【００２４】
また、音声データパケットの遅延変動を抑えるために、映像データパケットを分割し、映像データパケットと音声データパケットとを交互に送信するという方法もある。この場合、両パケットが等間隔で送信されるため、音声データパケットの到着時間ゆらぎを回避することは可能となる。しかしながら、この方法によれば、ヘッダによるオーバヘッドは、更に大きくなり、伝送効率が極めて低下する。
（１２byte＋８byte＋２０byte）×８bit×（５０音声フレーム＋５０映像フレーム）
＝ ３２ｋbit／秒
【００２５】
このように、従来技術によれば、異なるメディアデータが異なるフレームで伝送され、フレーム毎にＲＴＰヘッダを必要とするために伝送効率が低くなるだけでなく、一方のメディアデータの伝送が、他方のメディアデータの伝送の遅延変動に影響を与えることとなる。
【００２６】
また、フレームの生成タイミングの時間間隔が短いと、メディアデータの遅延も少ないが、フレームが増大すると共にそのヘッダ量も増大し、伝送効率が低下する。一方、フレームの生成タイミングの時間間隔が長いと、ヘッダ量も相対的に低下し、伝送効率も高まるが、メディアデータの遅延が大きくなる。
【００２７】
従って、本発明は、異なるメディアデータにおけるパケット到着時間のゆらぎと、ヘッダによるオーバヘッドとを改善することができるデータ構造を有するパケット多重化フレームを送信するものであって、そのフレームを最適なタイミングで生成する送信方法、送信プログラム及び送信装置を提供することを目的とする。
【課題を解決するための手段】
【００２８】
本発明におけるフレームの送信方法は、
ＵＤＰヘッダに続いて、シリアル番号部と、第１のメディアデータサイズ部と、該サイズ部に格納された長さの第１のメディアデータと、第２のメディアデータとを含むデータ構造を有する、異なるメディアデータのパケット多重化フレームを送信する送信方法であって、
第１のメディアデータを一時的に蓄積する第１のバッファと、第２のメディアデータを一時的に蓄積する第２のバッファとを有し、第１のバッファに対する第１の閾値が決定されており、
第１のバッファにおけるバッファ蓄積量を監視する第１のステップと、
第１のバッファにおけるバッファ蓄積量が第１の閾値を越えた際に、第１のバッファに蓄積された第１のメディアデータを、フレームの第１のメディアデータとして格納し、第２のバッファに蓄積された第２のメディアデータを、フレームの第２のメディアデータとして格納して、フレームを構成する第２のステップとを有することを特徴とする。
【００２９】
本発明のフレームの送信方法における他の実施形態によれば、第２のステップは、第１のバッファに蓄積された第１の閾値に相当する量の第１のメディアデータを、フレームの第１のメディアデータとして格納することも好ましい。
【００３０】
本発明のフレームの送信方法における他の実施形態によれば、第２のバッファに対する第２の閾値が決定されており、第２のステップは、第２のバッファに蓄積された第２の閾値に相当する量の第２のメディアデータを、フレームの第２のメディアデータとして格納することも好ましい。
【００３１】
本発明のフレームの送信方法における他の実施形態によれば、
ＵＤＰヘッダに続いて、シリアル番号部と、第１のメディアデータサイズ部と、該サイズ部に格納された長さの第１のメディアデータと、第２のメディアデータとを含むデータ構造を有する、異なるメディアデータのパケット多重化フレームを送信する送信方法であって、
第１のメディアデータを一時的に蓄積する第１のバッファと、第２のメディアデータを一時的に蓄積する第２のバッファとを有し、第２のバッファに対する第２の閾値が決定されており、
第２のバッファにおけるバッファ蓄積量を監視する第１のステップと、
第２のバッファにおけるバッファ蓄積量が第２の閾値を越えた際に、第１のバッファに蓄積された第１のメディアデータを、フレームの第１のメディアデータとして格納し、第２のバッファに蓄積された第２のメディアデータを、フレームの第２のメディアデータとして格納して、フレームを構成する第２のステップとを有することを特徴とする。
【００３２】
本発明のフレームの送信方法における他の実施形態によれば、第２のステップは、第２のバッファに蓄積された第２の閾値に相当する量の第２のメディアデータを、フレームの第２のメディアデータとして格納することも好ましい。
【００３３】
本発明のフレームの送信方法における他の実施形態によれば、第１のバッファに対する第１の閾値が決定されており、第２のステップは、第１のバッファに蓄積された第１の閾値に相当する量の第１のメディアデータを、フレームの第１のメディアデータとして格納することも好ましい。
【００３４】
本発明のフレームの送信方法における他の実施形態によれば、フレームを構成する毎にリセットされる、最長時間間隔を規定するクロック手段を有しており、第２のステップは、第１のバッファ及び／又は第２のバッファにメディアデータが蓄積されているにもかかわらず、第１又は第２のバッファのバッファ蓄積量が第１又は第２の閾値に達していない場合、クロック手段から出力されるタイミングで、フレームを構成することも好ましい。
【００３５】
本発明のフレームの送信方法によれば、
ＵＤＰヘッダに続いて、シリアル番号部と、第１のメディアデータサイズ部と、該サイズ部に格納された長さの第１のメディアデータと、第２のメディアデータとを含むデータ構造を有する、異なるメディアデータのパケット多重化フレームを送信する送信方法であって、
第１のメディアデータを一時的に蓄積する第１のバッファと、第２のメディアデータを一時的に蓄積する第２のバッファと、時間間隔を規定するクロック手段とを有しており、
クロック手段のタイミングに従って、第１のバッファに蓄積された第１のメディアデータを、フレームの第１のメディアデータとして格納し、第２のバッファに蓄積された第２のメディアデータを、フレームの第２のメディアデータとして格納して、フレームを構成することを特徴とする。
【００３６】
本発明のフレームの送信方法における他の実施形態によれば、第２のバッファに対する第２の閾値が決定されており、第２のステップは、第２のバッファに蓄積された第２の閾値に相当する量の第２のメディアデータを、フレームの第２のメディアデータとして格納することも好ましい。
【００３７】
本発明のフレームの送信方法における他の実施形態によれば、第１のバッファに対する第１の閾値が決定されており、第２のステップは、第１のバッファに蓄積された第１の閾値に相当する量の第１のメディアデータを、フレームの第１のメディアデータとして格納することも好ましい。
【００３８】
本発明のフレームの送信方法における他の実施形態によれば、第１のメディアデータは音声データであって、第２のメディアデータは映像データであってもよい。また、第１のメディアデータは映像データであって、第２のメディアデータは音声データであってもよい。
【００３９】
本発明のフレームの送信プログラムによれば、
ＵＤＰヘッダに続いて、シリアル番号部と、第１のメディアデータサイズ部と、該サイズ部に格納された長さの第１のメディアデータと、第２のメディアデータとを含むデータ構造を有する、異なるメディアデータのパケット多重化フレームを送信する送信プログラムであって、
第１のメディアデータを一時的に蓄積する第１のバッファと、第２のメディアデータを一時的に蓄積する第２のバッファとを有し、第１のバッファに対する第１の閾値が決定されており、
第１のバッファにおけるバッファ蓄積量を監視する第１のステップと、
第１のバッファにおけるバッファ蓄積量が第１の閾値を越えた際に、第１のバッファに蓄積された第１のメディアデータを、フレームの第１のメディアデータとして格納し、第２のバッファに蓄積された第２のメディアデータを、フレームの第２のメディアデータとして格納して、フレームを構成する第２のステップと
してコンピュータを実行させることを特徴とする。
【００４０】
本発明のフレームの送信プログラムによれば、
ＵＤＰヘッダに続いて、シリアル番号部と、第１のメディアデータサイズ部と、該サイズ部に格納された長さの第１のメディアデータと、第２のメディアデータとを含むデータ構造を有する、異なるメディアデータのパケット多重化フレームを送信する送信プログラムであって、
第１のメディアデータを一時的に蓄積する第１のバッファと、第２のメディアデータを一時的に蓄積する第２のバッファとを有し、第２のバッファに対する第２の閾値が決定されており、
第２のバッファにおけるバッファ蓄積量を監視する第１のステップと、
第２のバッファにおけるバッファ蓄積量が第２の閾値を越えた際に、第１のバッファに蓄積された第１のメディアデータを、フレームの第１のメディアデータとして格納し、第２のバッファに蓄積された第２のメディアデータを、フレームの第２のメディアデータとして格納して、フレームを構成する第２のステップと
してコンピュータを実行させることを特徴とする。
【００４１】
本発明のフレームの送信プログラムによれば、
ＵＤＰヘッダに続いて、シリアル番号部と、第１のメディアデータサイズ部と、該サイズ部に格納された長さの第１のメディアデータと、第２のメディアデータとを含むデータ構造を有する、異なるメディアデータのパケット多重化フレームを送信する送信方法であって、
第１のメディアデータを一時的に蓄積する第１のバッファと、第２のメディアデータを一時的に蓄積する第２のバッファと、時間間隔を規定するクロック手段とを有しており、
クロック手段のタイミングに従って、第１のバッファに蓄積された第１のメディアデータを、フレームの第１のメディアデータとして格納し、第２のバッファに蓄積された第２のメディアデータを、フレームの第２のメディアデータとして格納して、フレームを構成するようにコンピュータを実行させることを特徴とする。
【００４２】
本発明のフレームの送信装置によれば、
送信すべき第１のメディアデータを一時的に蓄積する第１のバッファと、
送信すべき第２のメディアデータを一時的に蓄積する第２のバッファと、
ＵＤＰヘッダに続いて、シリアル番号部と、第１のメディアデータサイズ部と、該サイズ部に格納された長さの第１のメディアデータと、第２のメディアデータとを含むデータ構造を有する、異なるメディアデータのパケット多重化フレームを生成する多重化手段と、
第１のバッファと多重化手段との間に接続された第１のスイッチと、
第２のバッファと多重化手段との間に接続された第２のスイッチと、
第１のバッファに対する第１の閾値を蓄積し、第１のバッファにおけるバッファ蓄積量を監視し、該バッファ蓄積量が第１の閾値を越えた際に、第１のバッファの第１のメディアデータと第２のバッファの第２のメディアデータとを多重化手段へ送出するように第１のスイッチ及び第２のスイッチを制御するタイミング制御手段と
を有することを特徴とする。
【００４３】
本発明のフレームの送信装置における他の実施形態によれば、第１のバッファは、第１の閾値に相当する量の第１のメディアデータを一度に多重化手段へ送出するように構成されていることも好ましい。
【００４４】
本発明のフレームの送信装置における他の実施形態によれば、第２のバッファに対する第２の閾値が決定されており、第２のバッファは、第２の閾値に相当する量の第２のメディアデータを一度に多重化手段へ送出するように構成されていることも好ましい。
【００４５】
本発明のフレームの送信装置によれば、
送信すべき第１のメディアデータを一時的に蓄積する第１のバッファと、
送信すべき第２のメディアデータを一時的に蓄積する第２のバッファと、
ＵＤＰヘッダに続いて、シリアル番号部と、第１のメディアデータサイズ部と、該サイズ部に格納された長さの第１のメディアデータと、第２のメディアデータとを含むデータ構造を有する、異なるメディアデータのパケット多重化フレームを生成する多重化手段と、
第１のバッファと多重化手段との間に接続された第１のスイッチと、
第２のバッファと多重化手段との間に接続された第２のスイッチと、
第２のバッファに対する第２の閾値を蓄積し、第２のバッファにおけるバッファ蓄積量を監視し、該バッファ蓄積量が第２の閾値を越えた際に、第１のバッファの第１のメディアデータと第２のバッファの第２のメディアデータとを多重化手段へ送出するように第１のスイッチ及び第２のスイッチを制御するタイミング制御手段と
を有することを特徴とする。
【００４６】
本発明のフレームの送信装置における他の実施形態によれば、第２のバッファは、第２の閾値に相当する量の第２のメディアデータを一度に多重化手段へ送出するように構成されていることも好ましい。
【００４７】
本発明のフレームの送信装置における他の実施形態によれば、第１のバッファに対する第１の閾値が決定されており、第１のバッファは、第１の閾値に相当する量の第１のメディアデータを一度に多重化手段へ送出するように構成されていることも好ましい。
【００４８】
本発明のフレームの送信装置における他の実施形態によれば、フレームを構成する毎にリセットされる、最長時間間隔を規定するクロック手段を有しており、
タイミング制御手段は、第１のバッファ及び／又は第２のバッファにメディアデータが蓄積されているにもかかわらず、第１のバッファのバッファ蓄積量が第１の閾値に達していない場合、クロック手段から出力されるタイミングで、フレームを構成することも好ましい。
【００４９】
本発明のフレームの送信装置によれば、
送信すべき第１のメディアデータを一時的に蓄積する第１のバッファと、
送信すべき第２のメディアデータを一時的に蓄積する第２のバッファと、
ＵＤＰヘッダに続いて、シリアル番号部と、第１のメディアデータサイズ部と、該サイズ部に格納された長さの第１のメディアデータと、第２のメディアデータとを含むデータ構造を有する、異なるメディアデータのパケット多重化フレームを生成する多重化手段と、
第１のバッファと多重化手段との間に接続された第１のスイッチと、
第２のバッファと多重化手段との間に接続された第２のスイッチと、
時間間隔を規定するクロック手段とを有しており、
第１及び第２のスイッチは、クロック手段のタイミングに従って、第１のバッファに蓄積された第１のメディアデータを多重化手段へ送出し、第２のバッファに蓄積された第２のメディアデータを多重化手段へ送出する
ことを特徴とする。
【００５０】
本発明のフレームの送信装置における他の実施形態によれば、第２のバッファに対する第２の閾値が決定されており、第２のスイッチは、第２のバッファに蓄積された第２の閾値に相当する量の第２のメディアデータを多重化手段へ送出することも好ましい。
【００５１】
本発明のフレームの送信装置における他の実施形態によれば、
第１のバッファに対する第１の閾値が決定されており、
第２のスイッチは、第１のバッファに蓄積された第１の閾値に相当する量の第１のメディアデータを多重化手段へ送出することも好ましい。
【００５２】
本発明のフレームの送信装置における他の実施形態によれば、
多重化手段は、
シリアル番号を送出する加算手段と、
第１のメディアデータを一時的に蓄積する第１のメモリと、
第２のメディアデータを一時的に蓄積する第２のメモリと、
加算手段から出力されたシリアル番号を、フレームのシリアル番号部に含め、次に、第１のメモリから出力された第１のメディアデータサイズを、フレームの第１のメディアデータサイズ部に含め、次に、第１のメモリから出力された、第１のメディアデータサイズ部に格納された長さの第１のメディアデータを含め、次に、第２のメモリから出力された第２のメディアデータを含めたパケット多重化フレームの生成を繰り返す多重パケット生成手段と
を有することも好ましい。
【００５３】
本発明のフレームの送信装置における他の実施形態によれば、第１のメディアデータは音声データであって、第２のメディアデータは映像データであってもよい。また、第１のメディアデータは映像データであって、第２のメディアデータは音声データであってもよい。
【発明の効果】
【００５４】
本発明によれば、フレームの生成タイミングを、時間間隔で制御することなく、バッファ蓄積量に応じて制御する。この制御は、各バッファに対して予め決定された閾値によって行われる。この閾値は、メディアデータの遅延と、フレームのヘッダ量による伝送効率との相互関係から任意に決定することができ、フレームを最適なタイミングで生成することができる。また、バッファ蓄積量が閾値に達しなくても、所定の時間間隔でフレームが生成される。
【００５５】
また、本発明によれば、映像データ及び音声データは、同じタイミングでバッファから抜き取られ、１つのフレームに多重化されて伝送される。これにより、映像データ及び音声データの到着遅延が一定となり、受信装置において音声データの到着ゆらぎを回避することができる。
【００５６】
更に、多重パケットの生成に際し、ＲＴＰによって映像データパケット及び音声データパケットそれぞれに１２byteを要していたのに対し、本発明によれば、これら異なるメディアデータのパケットが統合され、且つＲＴＰに相当する部分のヘッダが２byteとなるため、ヘッダサイズをかなり軽減することができ、伝送効率を高めることができる。
【発明を実施するための最良の形態】
【００５７】
以下では、図面を用いて、本発明を実施するための最良の形態について詳細に説明する。
【００５８】
表２は、本発明によって用いられるパケット多重化フレームのデータ構造である。
【表２】
【００５９】
表２によれば、本発明におけるフレームのデータ構造は、ＵＤＰヘッダに続いて、１byteのシリアル番号部と、１byteの音声データサイズ部と、そのサイズ部に格納された長さの音声データと、映像データとを含む。従って、表１と比較して、ＲＴＰヘッダを必要としない。シリアル番号部は、符号なし整数であって、０〜２５５の巡回値となる。音声データサイズ部は１byteであるので、必然的に音声データのサイズは０〜２５５byteとなる。
【００６０】
図３は、本発明におけるパケット多重化フレームのメディア分割構成図である。
【００６１】
図３の上段には、映像データを等サイズに分割し、パケット多重化フレームを構成したものである。常に、所定のバイト数の位置で映像データを分割することができるので、実装が容易となる。しかしながら、フレームの間を意識することなく、等サイズに分割するために、フレームに跨って分割される場合がある。この場合、映像フレームに跨った映像データを含むパケットを損失すると、２つの（前後の）フレーム対して影響を及ぼす。
【００６２】
図３の下段には、ＭＰＥＧ４で規定された再同期のためのResyncマーカが映像フレームに挿入されたものが表されている。Resyncマーカとは、特定パターンのビット列であって、それをストリーム中に挿入し可変長符号語の切れ目を示す。エラー発生時にそのResyncマーカから復号を再開することにより、ストリームの途中からの再生が可能となる。Resyncマーカは、符号化時に、マクロブロック境界に挿入される。このResyncマーカを実質的に等サイズ間に挿入し、このResyncマーカ間を１つの映像データとして多重化フレームに含めることにより、映像フレームに跨って映像データが分割されることがなくなる。即ち、１つの多重化フレームの損失が、２つの映像フレームに影響を及ぼすことがなくなる。
【００６３】
図４は、本発明によって用いられる送信装置の機能構成図である。以下では、送信装置の機能について説明するが、各機能はプログラムによっても実現できる。
【００６４】
図４によれば、送信装置１は、図１のＲＴＰヘッダ付加部１０４及び１０６に代わって、多重化部１１１を備えている。多重化部１１１は、多重パケット生成部１１１と、映像データを一時的に蓄積するメモリ１１１２と、音声データを一時的に蓄積するメモリ１１１３と、シリアル番号を生成する加算器１１１４と、遅延回路１１１５とを有する。ここで、音声データ用メモリ１１１２は、音声データサイズ（書き込みポインタと読み出しポインタとの差分）を、０〜２５５byteで表して出力することができる。
【００６５】
音声データがメモリ１１３に蓄積され及び／又は映像データがメモリ１１２に蓄積された際、多重パケット生成部１１１は、４入力１出力のスイッチで、シリアル番号、音声データサイズ、音声データ、映像データの順に切り替えて、その１巡によって、表２に表した１つのフレームを構成する。シリアル番号は、遅延回路１１５を通じて加算器１１１４に入力され、１増分（１加算）されて、新たなシリアル番号となる。
【００６６】
本発明によれば、映像データ及び音声データは、同じタイミングでバッファ１０３及び１０７から抜き取られ、シェーピングされて１つのフレームに多重化される。これにより、映像データと音声データとの到着遅延が一定となり、受信装置において音声データの到着ゆらぎを回避することができる。
【００６７】
また、多重パケットの生成に際し、ＲＴＰによって映像データパケット及び音声データパケットそれぞれに１２byteを要していたのに対し、本発明によれば、これら異なるメディアデータのパケットが統合され、且つＲＴＰに相当する部分のヘッダが２byteとなるため、ヘッダサイズを軽減することができる。
【００６８】
例えば、パケット送出間隔を２０ｍ秒とした場合、
（２byte＋８byte＋２０byte） × ８bit × ５０ ＝ １２ｋbit／秒
のオーバヘッドとなる。
【００６９】
即ち、従来技術によれば３２ｋbit／秒であることを考慮すると、本発明によれば２０ｋbit／秒ものオーバヘッドを削減することができる。ここで削減されたオーバヘッドのbit数は、映像データ又は音声データの符号化ビットレートに割り当てることができ、符号化品質を向上させることもできる。
【００７０】
図５は、図４の送信装置におけるフレームの伝送シーケンス図である。以下では、受信装置の機能について説明するが、各機能はプログラムによっても実現できる。
【００７１】
図５は、従来技術である図２のＳ２００の部分を表している。２０ｍ秒毎に送信する音声データパケットの送信タイミングで送信しようとすると、図２の映像データパケットよりも短い長さの映像データパケットを送信することができる。図５によれば、１７byteの音声データと８０byteの映像データとからなるフレームは、１５．８ｍ秒で受信装置によって受信される。即ち、映像データV1（４００byte）の受信終了タイミングは、音声データA1〜A4（１７byte×４個）の受信終了のタイミングと一致する。
【００７２】
例えば、ＡＭＲ方式の音声データサイズは、パケット送出間隔が２０ｍ秒である場合、以下のようなバイト数になる。ここでは、代表的な３モードについて列記する。
４．７５ｋbit／秒モード： １４byte
※６．７０ｋbit／秒モード： １９byte
１２．２ｋbit／秒モード： ３３byte
【００７３】
映像データサイズは、単純に「ビットレート×時間」で表される。１パケットが２０ｍ秒間隔の場合、以下のようなバイト数となる。
３２ｋbit／秒： ３２ｋbit／８bit × ２０ｍ秒 ＝ ８０byte
【００７４】
ＡＭＲが６．７０ｋbit／秒モードの場合、多重化フレームは、シリアル番号１byte、音声データサイズ１byte、音声データ１９byte及び映像データ８０byteからなる合計１０１byteを要する。
【００７５】
図６は、本発明における送信装置の第１の機能構成図である。以下では、送信装置の機能について説明するが、各機能はプログラムによっても実装でき、そのプログラムをコンピュータが実行することによって各機能が実現される。
【００７６】
図６の送信装置１は、図４と比較して、タイミング制御部１１２と、スイッチ１１３及び１１４と、クロック１１６とを更に有する。スイッチ１１３は、映像データ用バッファ１０３と多重化部１１１との間に備えられ、１フレームを生成するための映像データ量を制限する。スイッチ１１４は、音声データ用バッファ１０７と多重化部１１１との間に備えられ、１フレームを生成するための音声データ量を制限する。
【００７７】
タイミング制御部１１２は、コンパレータ１１２１と閾値記憶部１１２２とを有する。閾値記憶部１１２２は、音声データ用バッファ１０７に対する第１の閾値を記憶する。コンパレータ１１２１は、音声データ用バッファ１０７から受信したバッファ蓄積量と、第１の閾値とを比較する。そのバッファ蓄積量が第１の閾値を越えた際に、スイッチ１１３及び１１４をＯＮに制御する。
【００７８】
スイッチ１１４のＯＮ制御によって、音声データ用バッファ１０７は、第１の閾値に相当する量の音声データを多重化部１１１へ送出する。音声データ用バッファ１０７は、第１の閾値に相当する量の音声データのみを、一度に送出することができる。一方、映像データ用バッファ１０３についても第２の閾値が決定されており、スイッチ１１３のＯＮ制御によって、映像データ用バッファ１０３は、第２の閾値に相当する量の映像データを多重化部１１１へ送出する。映像データ用バッファ１０３も、第２の閾値に相当する量の映像データのみを、一度に送出することができる。
【００７９】
例えば、音声データがＡＭＲ方式である場合、パケット送出間隔が２０ｍ秒であるので、１２．２ｋbit／秒モードの音声データサイズは３３byteとなる。第１の閾値を３３byteに設定することによって、音声データ用バッファ１０７に３３byte蓄積された時点でフレームが構成される。また、音声データの遅延が多少生じても、フレームの伝送効率を優先したい場合、例えば音声データ２フレーム分を１フレームで生成することもできる。このとき、第１の閾値を６６byte（３３byte×２）に指定することにより、音声データ用バッファ１０７に６６byte蓄積された時点でフレームが構成される。
【００８０】
尚、スイッチ１１４のＯＮ制御によって、音声データ用バッファ１０７は、蓄積されている全ての音声データを多重化部１１１へ送出するものであってもよい。一方、スイッチ１１３のＯＮ制御によって、映像データ用バッファ１０３は、蓄積されている全ての映像データを多重化部１１１へ送出するものであってもよい。
【００８１】
図７は、本発明における送信装置の第２の機能構成図である。
【００８２】
図７は、図６と比較して、コンパレータ１１２１は、映像データ用バッファ１０３のバッファ占有量に基づいてスイッチ１１３及び１１４を制御する。タイミング制御部１１２の閾値記憶部１１２２は、映像データ用バッファ１０３に対する第２の閾値を記憶する。コンパレータ１１２１は、映像データ用バッファ１０３から受信したバッファ蓄積量と、第２の閾値とを比較する。そのバッファ蓄積量が第２の閾値を越えた際に、スイッチ１１３及び１１４をＯＮに制御する。
【００８３】
このように、タイミング制御部１１２が監視するバッファは、音声データ用バッファ１０７のみであってもよいし、映像データ用バッファ１０３のみであってもよい。また、両バッファとも監視するものであってもよい。即ち、第１の閾値又は第２の閾値のいずれか一方を越えたとき、スイッチ１１３及び１１４がＯＮに制御される。
【００８４】
クロック１１６は、フレームを送信するための最長時間間隔を規定しており、フレームが構成される毎にリセットされる。このクロックは、所定の時間のタイムアウトをコンパレータ１１２１に指示する。基本的に、コンパレータ１１２１は、音声データ用バッファ１０７及び／又は映像データ用バッファ１０３に蓄積されたメディアデータが、第１及び／又は第２の閾値に達するまでは、スイッチ１１３及び１１４をＯＮに制御しない。従って、バッファにメディアデータが残存する恐れがある。コンパレータ１１２１は、クロック１１６からのタイムアウトの通知を受けると、強制的にスイッチ１１３及び１１４をＯＮに制御することによって、メディアデータを多重化部１１１に入力する。クロックの周期としては、具体的には、ＡＭＲ方式の音声データを考慮して、パケット送出間隔が２０ｍ秒よりも大きい時間となる。
【００８５】
図８は、本発明における送信装置の第３の機能構成図である。
【００８６】
図８の送信装置１は、図６と比較して、タイミング制御部１１２の代わりに、クロック１１６がスイッチ１１３及び１１４のＯＮ／ＯＦＦを制御する。音声データがＡＭＲ方式であるならば、クロック１１６は例えば２０ｍ秒の周期でスイッチ１１３及び１１４を制御する。これにより、通常状態であるならば、１７byteの音声データと、８０byteの映像データとが１つのフレームに多重化されて送信される。このように、固定周期のクロック１１６を用いてスイッチ１１３及び１１４を制御することは、実装上極めて簡単であって、且つ、図５と同様のフレーム送出タイミングを実現することができる。
【００８７】
ここで、音声データ用バッファ１０７は、スイッチ１１４の一度のＯＮ制御によって送信できるバッファ量である第１の閾値を規定することもできる。また、映像データ用バッファ１０３は、スイッチ１１３の一度のＯＮ制御によって送信できるバッファ量である第２の閾値を規定することもできる。第１の閾値を１７byteに規定し、第２の閾値を８０byteに規定することにより、確実に図５と同様のフレーム送出タイミングを実現することができる。
【００８８】
図９は、本発明における送信装置の第４の機能構成図である。
【００８９】
図９の送信装置は、図８と比較して、多重化部１１１の中にクロック１１１６が備えられている。クロック１１１６は例えば２０ｍ秒の周期で多重パケット生成部１１１１を制御する。多重パケット生成部１１１１は、クロック１１１６のタイミングに応じて多重化フレームを１つ構成する。これにより、通常状態であるならば、１７byteの音声データと、８０byteの映像データとが１つのフレームに多重化されて送信される。
【００９０】
図１０は、本発明における送信装置の第５の機能構成図である。
【００９１】
図１０の送信装置１は、図６と比較して、スイッチ１１３及びスイッチ１１４を備えていない。それに代わり、タイミング制御部１１２から出力されるタイミング制御信号は、多重化部１１１の多重パケット生成部１１１１に入力される。多重パケット生成部１１１１は、タイミング制御信号の基づいて、１フレームの生成タイミングを制御する。即ち、コンパレータ１１２１において、音声データ用バッファ１０７のバッファ蓄積量が第１の閾値を越えたと判断した際に、多重パケット生成部１１１１は、１フレームを生成するように動作する。
【００９２】
前述した本発明におけるパケット多重化フレームの生成タイミングを制御する送信方法、送信プログラム及び送信装置の種々の実施形態によれば、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略を、当業者は容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【図面の簡単な説明】
【００９３】
【図１】従来技術によるパケット多重化のための送信装置の機能構成図である。
【図２】従来技術におけるフレームの伝送シーケンス図である。
【図３】本発明におけるパケット多重化フレームのメディア分割構成図である。
【図４】本発明によって用いられる送信装置の機能構成図である。
【図５】図４の送信装置におけるフレームの伝送シーケンス図である。
【図６】本発明における送信装置の第１の機能構成図である。
【図７】本発明における送信装置の第２の機能構成図である。
【図８】本発明における送信装置の第３の機能構成図である。
【図９】本発明における送信装置の第４の機能構成図である。
【図１０】本発明における送信装置の第５の機能構成図である。
【符号の説明】
【００９４】
１ 送信装置
１０１ フォーマット変換部
１０２ 映像エンコーダ部
１０３ 映像データ用バッファ
１０４、１０６ ＲＴＰヘッダ付加部
１０５ ＵＤＰ／ＩＰプロトコルスタック部
１０７ 音声データ用バッファ
１０８ 音声エンコーダ部
１０９ Ａ／Ｄ変換部
１１０ 増幅器
１１１ 多重化部
１１６ クロック
１１１１ 多重パケット生成部
１１１２ 映像データ用メモリ
１１１３ 音声データ用メモリ
１１１４ 加算器
１１１５ 遅延回路
１１１６ クロック
１１２ タイミング制御部
１１２１ コンパレータ
１１２２ 閾値蓄積部
１１３、１１４ スイッチ
１１６ クロック
２ 受信装置
２０１ ディスプレイ制御部
２０２ 映像データ用バッファ
２０３ 映像デコーダ
２０４、２０６ ＲＴＰヘッダ除去部
２０５ ＵＤＰ／ＩＰプロトコルスタック部
２０７ 音声デコーダ
２０８ 音声データ用バッファ
２０９ Ｄ／Ａ変換部
２１０ 増幅器
３ ＩＰネットワーク
４ カメラ
５ マイク
６ ディスプレイ
７ スピーカ
【技術分野】
【０００１】
本発明は、異なるメディアデータにおけるパケット多重化フレームの生成タイミングを制御する送信方法、送信プログラム及び送信装置に関する。
【背景技術】
【０００２】
異なるメディアデータを多重化する送信装置は、同時に並行して発生する複数のメディアデータをメディア毎に符号化し、所定サイズのフレームに構成してネットワークへ送信する。一方、受信装置は、メディア毎に異なるメディアデコーダを用いて、受信したフレーム単位でメディアデータを復号する。メディアデータ毎に、所定サイズをどのように決定するかが、マルチメディアデータの多重化においては重要である。
【０００３】
多重化方式としては、バイト多重がある。バイト多重は、異なるメディアデータを適当なバイト数の単位で切り替えることができる。受信装置は、フレームに付加されたヘッダの内容によって、そのメディアデータに適したデコーダに切り替える。このようなパケット多重は、柔軟性が高く、ソフトウェア処理に適している。
【０００４】
図１は、従来技術によるパケット多重化のための送信装置の機能構成図である。
【０００５】
送信装置１は、映像データ及び音声データをリアルタイムで符号化して送信するものである。送信装置１は、映像信号を出力するカメラ４と、音声信号を出力するマイク５とに接続され、データパケットを送信するためにＩＰネットワーク３に接続されている。
【０００６】
送信装置１は、映像データについて、フォーマット変換部１０１と、映像エンコーダ部１０２と、映像データ用バッファ１０３と、ＲＴＰ(Real-time Transport Protocol)ヘッダ付加部１０４とを有する。また、音声データについて、増幅器１１０と、音声エンコーダ部１０８と、音声データ用バッファ１０７と、ＲＴＰヘッダ付加部１０６とを有する。更に、ＩＰ(Internet Protocol)ネットワーク３に対応してＵＤＰ(User Datagram Protocol)／ＩＰプロトコルスタック部１０５を有する。
【０００７】
カメラ４から出力された映像信号は、フォーマット変換部１０１によって圧縮符号化に適した映像フォーマットに変換され、映像エンコーダ１０２によって圧縮符号化される。その方式は、１フレーム（１画面）を単位として符号化データを生成するものであって、例えばＩＳＯ／ＩＥＣ(International Organization for Standardization／International Electrotechnical Commission) ＭＰＥＧ−４(Moving Picture Experts Group-4)ビジュアルがある。低ビットレートのＭＰＥＧ−４によれば、１フレームは、例えば１００ｍ秒間隔（毎秒１０フレーム）となる。生成されたビットストリームデータは、映像データ用バッファ１０３に入力される。ＲＴＰヘッダ付加部１０４は、バッファ１０３から取り出した映像データのフレーム毎にＲＴＰヘッダを付加する。そのＲＴＰパケットは、ＵＤＰ／ＩＰプロトコルスタック部１０５によってＵＤＰ及びＩＰヘッダが付加され、ＩＰネットワーク３へ送信される。
【０００８】
一方、マイク５から出力された音声信号は、増幅器１１０によって増幅され、Ａ／Ｄ(Analog/Digital)変換部１０９によって伝送可能なビット列に変換される。次に、その音声データは、音声エンコーダ１０８によって圧縮符号化される。その方式は、予め決められた時間長を１フレームとして符号化データを生成するものであって、例えば３ＧＰＰ(3rd Generation Partnership Project) ＡＭＲ(Adaptive Multi Rate)がある。ＡＭＲ方式においては、１フレームは２０ｍ秒となる。生成されたビットストリームは、音声データ用バッファ１０７に入力される。ＲＴＰヘッダ付加部１０６は、バッファ１０７から取り出した映像データのフレーム毎にＲＴＰヘッダを付加する。そのＲＴＰパケットは、ＵＤＰ／ＩＰプロトコルスタック部１０５によってＵＤＰ及びＩＰヘッダが付加され、ＩＰネットワーク３へ送信される。
【０００９】
受信装置２は、データパケットを受信するためにＩＰネットワーク３に接続され、受信したデータパケットのメディアデータに応じて復号するものである。受信装置２は、映像信号を入力するディスプレイ６と、音声信号を入力するスピーカ７とに接続されている。
【００１０】
受信装置２は、ＩＰネットワーク３から受信したパケットに対して、ＩＰ及びＵＤＰヘッダを処理するＵＤＰ／ＩＰプロトコルスタック部２０５を有する。受信装置２は、映像データについて、ＲＴＰヘッダ除去部２０４と、映像デコーダ２０３と、映像データ用バッファ２０２と、ディスプレイ制御部２０１とを有する。映像信号は、ディスプレイ制御部２０１からディスプレイ６に出力される。また、音声データについて、ＲＴＰヘッダ除去部２０６と、音声デコーダ２０７と、音声データ用バッファ２０８と、Ｄ／Ａ変換部２０９と、増幅器２１０とを有する。音声信号は、増幅器２１０からスピーカ７へ出力される。
【００１１】
先行公知文献としては、ＲＴＰについて規定したＩＥＴＦ ＲＦＣ３５５０（非特許文献１参照）、ＭＰＥＧ−４をＲＴＰに乗せたフォーマットを規定したＩＥＴＦ ＲＦＣ３０１６（非特許文献２参照）、ＡＭＲをＲＴＰに乗せたフォーマットを規定したＩＥＴＦ ＲＦＣ３２６７（非特許文献３参照）がある。
【００１２】
【非特許文献１】ＩＥＴＦ(Internet Engineering Task Force) ＲＦＣ(Request For Comment)３５５０
【非特許文献２】ＩＥＴＦ ＲＦＣ３０１６
【非特許文献３】ＩＥＴＦ ＲＦＣ３２６７
【発明の開示】
【発明が解決しようとする課題】
【００１３】
表１は、従来技術におけるパケット多重化フレームのデータ構造である。
【表１】
【００１４】
従来技術によれば、音声データのフレームと、映像データのフレームとは別々に必要となる。これは、フレーム毎に、そのメディアデータに応じたデコーダによって復号させるためである。
【００１５】
前述したような従来技術によれば、生成されるＲＴＰパケットは以下のようになる。ここで、符号化パラメータとして、低い伝送レート（６４ｋbit／秒）における一般的な値を想定する。
映像の符号化ビットレート：３２ｋbit／秒、フレームレート：１０枚／秒
音声の符号化ビットレート：６８００bit／秒、フレーム長：２０m秒
ＲＴＰヘッダサイズ：１２byte
ＵＤＰヘッダ：８byte
ＩＰヘッダ：２０byte
【００１６】
映像データについては、以下のようになる。
映像の符号化ビットレート：３２ｋbit／秒÷８bit ＝ ４ｋbyte／秒
秒当たりの伝送フレーム数：１０フレーム／秒
映像データパケットの伝送間隔：１秒／１０フレーム ＝ １００ｍ秒
フレームレート：４ｋbyte／秒÷１０フレーム／秒 ＝ ４００byte／フレーム
映像の１パケット：４００byte＋１２byte＋８byte＋２０byte ＝ ４４０byte
映像１パケットの伝送時間：４４０byte×８bit÷６４ｋbit／秒 ＝ ５５m秒
【００１７】
音声データについては、以下のようになる。
音声の符号化ビットレート：６８００bit／秒÷８bit ＝ ８５０byte／秒
秒当たりの伝送フレーム数：５０フレーム／秒
音声データパケットの伝送間隔：１秒／５０フレーム ＝ ２０ｍ秒
１フレーム当たりのバイト数：８５０byte／秒×２０ｍ秒 ＝ １７byte／フレーム
音声の１パケット：１７byte＋１２byte＋８byte＋２０byte ＝ ５７byte
音声１パケットの伝送時間：５７byte×８bit÷６４ｋbit／秒 ＝ ７．１２５m秒
【００１８】
音声データパケットは２０ｍ秒間隔で送信され、映像データパケットは１００ｍ秒間隔で送信されるので、音声データパケットの送信の５回に１回の割合で、映像データパケットの送信が割り込むこととなる。
【００１９】
図２は、従来技術におけるフレームの伝送シーケンス図である。
【００２０】
音声データパケットは２０ｍ秒毎に送信され、映像データパケットは１００ｍ秒毎に送信される。音声データパケットは、４０byteのヘッダ（ＩＰ、ＵＤＰ、ＲＴＰ）とデータ部分とからなる。データ部分が１７byteとすると、伝送に７．１２５ｍ秒を要する。映像データパケットは、４０byteのヘッダとデータ部分とからなる。データ部分が４００byteとすると、伝送に５５ｍ秒を要する。
【００２１】
図２によれば、例えば、映像データパケットV1の送信の直後に、音声データパケットA3が送信されたとする。映像データパケットV1は、送信装置から送信されてから５５ｍ秒後に、受信装置に到着する。一方、音声データパケットA3は、更に７．１２５ｍ秒後、即ち送信装置から送信されてから６２．１２５ｍ秒後に、受信装置に到着する。このために、映像データパケットによって割り込まれた音声データパケットは、送信装置の送出間隔２０ｍ秒に対し、受信装置に受信された時は６２ｍ秒後ということになる。その後、音声データパケットA4,A5,A6,A7が連続して、受信装置に到着する。音声データパケットの伝送に要する時間７ｍ秒は、送出間隔２０ｍ秒に比べて十分小さいため、受信装置における到着間隔はやがて元に戻ることとなるが、その後、再度、映像データパケットが音声データパケットの間に割り込むため、到着遅延の変動が生じる。
【００２２】
音声データは、映像データのようなフレーム単位で離散的なデータと異なって、アナログ信号に戻して再生する際に、連続的でなければならない。このため、受信装置は、音声データパケットの最大到着遅延量に合わせて、予めバッファに蓄積してから再生する。このような音声データパケットの遅延変動は、受信側に大きなバッファ蓄積を要求することとなり、伝送遅延全体を増大させるものとなる。
【００２３】
更に、従来技術によれば、ＲＴＰ、ＵＤＰ、ＩＰのヘッダを、映像データパケット及び音声データパケットそれぞれ独立に付加する必要がある。従って、
（１２byte＋８byte＋２０byte）×８bit×（５０音声フレーム＋１０映像フレーム）
＝ １９．２ｋbit／秒
ものヘッダによるオーバヘッドを要する。
【００２４】
また、音声データパケットの遅延変動を抑えるために、映像データパケットを分割し、映像データパケットと音声データパケットとを交互に送信するという方法もある。この場合、両パケットが等間隔で送信されるため、音声データパケットの到着時間ゆらぎを回避することは可能となる。しかしながら、この方法によれば、ヘッダによるオーバヘッドは、更に大きくなり、伝送効率が極めて低下する。
（１２byte＋８byte＋２０byte）×８bit×（５０音声フレーム＋５０映像フレーム）
＝ ３２ｋbit／秒
【００２５】
このように、従来技術によれば、異なるメディアデータが異なるフレームで伝送され、フレーム毎にＲＴＰヘッダを必要とするために伝送効率が低くなるだけでなく、一方のメディアデータの伝送が、他方のメディアデータの伝送の遅延変動に影響を与えることとなる。
【００２６】
また、フレームの生成タイミングの時間間隔が短いと、メディアデータの遅延も少ないが、フレームが増大すると共にそのヘッダ量も増大し、伝送効率が低下する。一方、フレームの生成タイミングの時間間隔が長いと、ヘッダ量も相対的に低下し、伝送効率も高まるが、メディアデータの遅延が大きくなる。
【００２７】
従って、本発明は、異なるメディアデータにおけるパケット到着時間のゆらぎと、ヘッダによるオーバヘッドとを改善することができるデータ構造を有するパケット多重化フレームを送信するものであって、そのフレームを最適なタイミングで生成する送信方法、送信プログラム及び送信装置を提供することを目的とする。
【課題を解決するための手段】
【００２８】
本発明におけるフレームの送信方法は、
ＵＤＰヘッダに続いて、シリアル番号部と、第１のメディアデータサイズ部と、該サイズ部に格納された長さの第１のメディアデータと、第２のメディアデータとを含むデータ構造を有する、異なるメディアデータのパケット多重化フレームを送信する送信方法であって、
第１のメディアデータを一時的に蓄積する第１のバッファと、第２のメディアデータを一時的に蓄積する第２のバッファとを有し、第１のバッファに対する第１の閾値が決定されており、
第１のバッファにおけるバッファ蓄積量を監視する第１のステップと、
第１のバッファにおけるバッファ蓄積量が第１の閾値を越えた際に、第１のバッファに蓄積された第１のメディアデータを、フレームの第１のメディアデータとして格納し、第２のバッファに蓄積された第２のメディアデータを、フレームの第２のメディアデータとして格納して、フレームを構成する第２のステップとを有することを特徴とする。
【００２９】
本発明のフレームの送信方法における他の実施形態によれば、第２のステップは、第１のバッファに蓄積された第１の閾値に相当する量の第１のメディアデータを、フレームの第１のメディアデータとして格納することも好ましい。
【００３０】
本発明のフレームの送信方法における他の実施形態によれば、第２のバッファに対する第２の閾値が決定されており、第２のステップは、第２のバッファに蓄積された第２の閾値に相当する量の第２のメディアデータを、フレームの第２のメディアデータとして格納することも好ましい。
【００３１】
本発明のフレームの送信方法における他の実施形態によれば、
ＵＤＰヘッダに続いて、シリアル番号部と、第１のメディアデータサイズ部と、該サイズ部に格納された長さの第１のメディアデータと、第２のメディアデータとを含むデータ構造を有する、異なるメディアデータのパケット多重化フレームを送信する送信方法であって、
第１のメディアデータを一時的に蓄積する第１のバッファと、第２のメディアデータを一時的に蓄積する第２のバッファとを有し、第２のバッファに対する第２の閾値が決定されており、
第２のバッファにおけるバッファ蓄積量を監視する第１のステップと、
第２のバッファにおけるバッファ蓄積量が第２の閾値を越えた際に、第１のバッファに蓄積された第１のメディアデータを、フレームの第１のメディアデータとして格納し、第２のバッファに蓄積された第２のメディアデータを、フレームの第２のメディアデータとして格納して、フレームを構成する第２のステップとを有することを特徴とする。
【００３２】
本発明のフレームの送信方法における他の実施形態によれば、第２のステップは、第２のバッファに蓄積された第２の閾値に相当する量の第２のメディアデータを、フレームの第２のメディアデータとして格納することも好ましい。
【００３３】
本発明のフレームの送信方法における他の実施形態によれば、第１のバッファに対する第１の閾値が決定されており、第２のステップは、第１のバッファに蓄積された第１の閾値に相当する量の第１のメディアデータを、フレームの第１のメディアデータとして格納することも好ましい。
【００３４】
本発明のフレームの送信方法における他の実施形態によれば、フレームを構成する毎にリセットされる、最長時間間隔を規定するクロック手段を有しており、第２のステップは、第１のバッファ及び／又は第２のバッファにメディアデータが蓄積されているにもかかわらず、第１又は第２のバッファのバッファ蓄積量が第１又は第２の閾値に達していない場合、クロック手段から出力されるタイミングで、フレームを構成することも好ましい。
【００３５】
本発明のフレームの送信方法によれば、
ＵＤＰヘッダに続いて、シリアル番号部と、第１のメディアデータサイズ部と、該サイズ部に格納された長さの第１のメディアデータと、第２のメディアデータとを含むデータ構造を有する、異なるメディアデータのパケット多重化フレームを送信する送信方法であって、
第１のメディアデータを一時的に蓄積する第１のバッファと、第２のメディアデータを一時的に蓄積する第２のバッファと、時間間隔を規定するクロック手段とを有しており、
クロック手段のタイミングに従って、第１のバッファに蓄積された第１のメディアデータを、フレームの第１のメディアデータとして格納し、第２のバッファに蓄積された第２のメディアデータを、フレームの第２のメディアデータとして格納して、フレームを構成することを特徴とする。
【００３６】
本発明のフレームの送信方法における他の実施形態によれば、第２のバッファに対する第２の閾値が決定されており、第２のステップは、第２のバッファに蓄積された第２の閾値に相当する量の第２のメディアデータを、フレームの第２のメディアデータとして格納することも好ましい。
【００３７】
本発明のフレームの送信方法における他の実施形態によれば、第１のバッファに対する第１の閾値が決定されており、第２のステップは、第１のバッファに蓄積された第１の閾値に相当する量の第１のメディアデータを、フレームの第１のメディアデータとして格納することも好ましい。
【００３８】
本発明のフレームの送信方法における他の実施形態によれば、第１のメディアデータは音声データであって、第２のメディアデータは映像データであってもよい。また、第１のメディアデータは映像データであって、第２のメディアデータは音声データであってもよい。
【００３９】
本発明のフレームの送信プログラムによれば、
ＵＤＰヘッダに続いて、シリアル番号部と、第１のメディアデータサイズ部と、該サイズ部に格納された長さの第１のメディアデータと、第２のメディアデータとを含むデータ構造を有する、異なるメディアデータのパケット多重化フレームを送信する送信プログラムであって、
第１のメディアデータを一時的に蓄積する第１のバッファと、第２のメディアデータを一時的に蓄積する第２のバッファとを有し、第１のバッファに対する第１の閾値が決定されており、
第１のバッファにおけるバッファ蓄積量を監視する第１のステップと、
第１のバッファにおけるバッファ蓄積量が第１の閾値を越えた際に、第１のバッファに蓄積された第１のメディアデータを、フレームの第１のメディアデータとして格納し、第２のバッファに蓄積された第２のメディアデータを、フレームの第２のメディアデータとして格納して、フレームを構成する第２のステップと
してコンピュータを実行させることを特徴とする。
【００４０】
本発明のフレームの送信プログラムによれば、
ＵＤＰヘッダに続いて、シリアル番号部と、第１のメディアデータサイズ部と、該サイズ部に格納された長さの第１のメディアデータと、第２のメディアデータとを含むデータ構造を有する、異なるメディアデータのパケット多重化フレームを送信する送信プログラムであって、
第１のメディアデータを一時的に蓄積する第１のバッファと、第２のメディアデータを一時的に蓄積する第２のバッファとを有し、第２のバッファに対する第２の閾値が決定されており、
第２のバッファにおけるバッファ蓄積量を監視する第１のステップと、
第２のバッファにおけるバッファ蓄積量が第２の閾値を越えた際に、第１のバッファに蓄積された第１のメディアデータを、フレームの第１のメディアデータとして格納し、第２のバッファに蓄積された第２のメディアデータを、フレームの第２のメディアデータとして格納して、フレームを構成する第２のステップと
してコンピュータを実行させることを特徴とする。
【００４１】
本発明のフレームの送信プログラムによれば、
ＵＤＰヘッダに続いて、シリアル番号部と、第１のメディアデータサイズ部と、該サイズ部に格納された長さの第１のメディアデータと、第２のメディアデータとを含むデータ構造を有する、異なるメディアデータのパケット多重化フレームを送信する送信方法であって、
第１のメディアデータを一時的に蓄積する第１のバッファと、第２のメディアデータを一時的に蓄積する第２のバッファと、時間間隔を規定するクロック手段とを有しており、
クロック手段のタイミングに従って、第１のバッファに蓄積された第１のメディアデータを、フレームの第１のメディアデータとして格納し、第２のバッファに蓄積された第２のメディアデータを、フレームの第２のメディアデータとして格納して、フレームを構成するようにコンピュータを実行させることを特徴とする。
【００４２】
本発明のフレームの送信装置によれば、
送信すべき第１のメディアデータを一時的に蓄積する第１のバッファと、
送信すべき第２のメディアデータを一時的に蓄積する第２のバッファと、
ＵＤＰヘッダに続いて、シリアル番号部と、第１のメディアデータサイズ部と、該サイズ部に格納された長さの第１のメディアデータと、第２のメディアデータとを含むデータ構造を有する、異なるメディアデータのパケット多重化フレームを生成する多重化手段と、
第１のバッファと多重化手段との間に接続された第１のスイッチと、
第２のバッファと多重化手段との間に接続された第２のスイッチと、
第１のバッファに対する第１の閾値を蓄積し、第１のバッファにおけるバッファ蓄積量を監視し、該バッファ蓄積量が第１の閾値を越えた際に、第１のバッファの第１のメディアデータと第２のバッファの第２のメディアデータとを多重化手段へ送出するように第１のスイッチ及び第２のスイッチを制御するタイミング制御手段と
を有することを特徴とする。
【００４３】
本発明のフレームの送信装置における他の実施形態によれば、第１のバッファは、第１の閾値に相当する量の第１のメディアデータを一度に多重化手段へ送出するように構成されていることも好ましい。
【００４４】
本発明のフレームの送信装置における他の実施形態によれば、第２のバッファに対する第２の閾値が決定されており、第２のバッファは、第２の閾値に相当する量の第２のメディアデータを一度に多重化手段へ送出するように構成されていることも好ましい。
【００４５】
本発明のフレームの送信装置によれば、
送信すべき第１のメディアデータを一時的に蓄積する第１のバッファと、
送信すべき第２のメディアデータを一時的に蓄積する第２のバッファと、
ＵＤＰヘッダに続いて、シリアル番号部と、第１のメディアデータサイズ部と、該サイズ部に格納された長さの第１のメディアデータと、第２のメディアデータとを含むデータ構造を有する、異なるメディアデータのパケット多重化フレームを生成する多重化手段と、
第１のバッファと多重化手段との間に接続された第１のスイッチと、
第２のバッファと多重化手段との間に接続された第２のスイッチと、
第２のバッファに対する第２の閾値を蓄積し、第２のバッファにおけるバッファ蓄積量を監視し、該バッファ蓄積量が第２の閾値を越えた際に、第１のバッファの第１のメディアデータと第２のバッファの第２のメディアデータとを多重化手段へ送出するように第１のスイッチ及び第２のスイッチを制御するタイミング制御手段と
を有することを特徴とする。
【００４６】
本発明のフレームの送信装置における他の実施形態によれば、第２のバッファは、第２の閾値に相当する量の第２のメディアデータを一度に多重化手段へ送出するように構成されていることも好ましい。
【００４７】
本発明のフレームの送信装置における他の実施形態によれば、第１のバッファに対する第１の閾値が決定されており、第１のバッファは、第１の閾値に相当する量の第１のメディアデータを一度に多重化手段へ送出するように構成されていることも好ましい。
【００４８】
本発明のフレームの送信装置における他の実施形態によれば、フレームを構成する毎にリセットされる、最長時間間隔を規定するクロック手段を有しており、
タイミング制御手段は、第１のバッファ及び／又は第２のバッファにメディアデータが蓄積されているにもかかわらず、第１のバッファのバッファ蓄積量が第１の閾値に達していない場合、クロック手段から出力されるタイミングで、フレームを構成することも好ましい。
【００４９】
本発明のフレームの送信装置によれば、
送信すべき第１のメディアデータを一時的に蓄積する第１のバッファと、
送信すべき第２のメディアデータを一時的に蓄積する第２のバッファと、
ＵＤＰヘッダに続いて、シリアル番号部と、第１のメディアデータサイズ部と、該サイズ部に格納された長さの第１のメディアデータと、第２のメディアデータとを含むデータ構造を有する、異なるメディアデータのパケット多重化フレームを生成する多重化手段と、
第１のバッファと多重化手段との間に接続された第１のスイッチと、
第２のバッファと多重化手段との間に接続された第２のスイッチと、
時間間隔を規定するクロック手段とを有しており、
第１及び第２のスイッチは、クロック手段のタイミングに従って、第１のバッファに蓄積された第１のメディアデータを多重化手段へ送出し、第２のバッファに蓄積された第２のメディアデータを多重化手段へ送出する
ことを特徴とする。
【００５０】
本発明のフレームの送信装置における他の実施形態によれば、第２のバッファに対する第２の閾値が決定されており、第２のスイッチは、第２のバッファに蓄積された第２の閾値に相当する量の第２のメディアデータを多重化手段へ送出することも好ましい。
【００５１】
本発明のフレームの送信装置における他の実施形態によれば、
第１のバッファに対する第１の閾値が決定されており、
第２のスイッチは、第１のバッファに蓄積された第１の閾値に相当する量の第１のメディアデータを多重化手段へ送出することも好ましい。
【００５２】
本発明のフレームの送信装置における他の実施形態によれば、
多重化手段は、
シリアル番号を送出する加算手段と、
第１のメディアデータを一時的に蓄積する第１のメモリと、
第２のメディアデータを一時的に蓄積する第２のメモリと、
加算手段から出力されたシリアル番号を、フレームのシリアル番号部に含め、次に、第１のメモリから出力された第１のメディアデータサイズを、フレームの第１のメディアデータサイズ部に含め、次に、第１のメモリから出力された、第１のメディアデータサイズ部に格納された長さの第１のメディアデータを含め、次に、第２のメモリから出力された第２のメディアデータを含めたパケット多重化フレームの生成を繰り返す多重パケット生成手段と
を有することも好ましい。
【００５３】
本発明のフレームの送信装置における他の実施形態によれば、第１のメディアデータは音声データであって、第２のメディアデータは映像データであってもよい。また、第１のメディアデータは映像データであって、第２のメディアデータは音声データであってもよい。
【発明の効果】
【００５４】
本発明によれば、フレームの生成タイミングを、時間間隔で制御することなく、バッファ蓄積量に応じて制御する。この制御は、各バッファに対して予め決定された閾値によって行われる。この閾値は、メディアデータの遅延と、フレームのヘッダ量による伝送効率との相互関係から任意に決定することができ、フレームを最適なタイミングで生成することができる。また、バッファ蓄積量が閾値に達しなくても、所定の時間間隔でフレームが生成される。
【００５５】
また、本発明によれば、映像データ及び音声データは、同じタイミングでバッファから抜き取られ、１つのフレームに多重化されて伝送される。これにより、映像データ及び音声データの到着遅延が一定となり、受信装置において音声データの到着ゆらぎを回避することができる。
【００５６】
更に、多重パケットの生成に際し、ＲＴＰによって映像データパケット及び音声データパケットそれぞれに１２byteを要していたのに対し、本発明によれば、これら異なるメディアデータのパケットが統合され、且つＲＴＰに相当する部分のヘッダが２byteとなるため、ヘッダサイズをかなり軽減することができ、伝送効率を高めることができる。
【発明を実施するための最良の形態】
【００５７】
以下では、図面を用いて、本発明を実施するための最良の形態について詳細に説明する。
【００５８】
表２は、本発明によって用いられるパケット多重化フレームのデータ構造である。
【表２】
【００５９】
表２によれば、本発明におけるフレームのデータ構造は、ＵＤＰヘッダに続いて、１byteのシリアル番号部と、１byteの音声データサイズ部と、そのサイズ部に格納された長さの音声データと、映像データとを含む。従って、表１と比較して、ＲＴＰヘッダを必要としない。シリアル番号部は、符号なし整数であって、０〜２５５の巡回値となる。音声データサイズ部は１byteであるので、必然的に音声データのサイズは０〜２５５byteとなる。
【００６０】
図３は、本発明におけるパケット多重化フレームのメディア分割構成図である。
【００６１】
図３の上段には、映像データを等サイズに分割し、パケット多重化フレームを構成したものである。常に、所定のバイト数の位置で映像データを分割することができるので、実装が容易となる。しかしながら、フレームの間を意識することなく、等サイズに分割するために、フレームに跨って分割される場合がある。この場合、映像フレームに跨った映像データを含むパケットを損失すると、２つの（前後の）フレーム対して影響を及ぼす。
【００６２】
図３の下段には、ＭＰＥＧ４で規定された再同期のためのResyncマーカが映像フレームに挿入されたものが表されている。Resyncマーカとは、特定パターンのビット列であって、それをストリーム中に挿入し可変長符号語の切れ目を示す。エラー発生時にそのResyncマーカから復号を再開することにより、ストリームの途中からの再生が可能となる。Resyncマーカは、符号化時に、マクロブロック境界に挿入される。このResyncマーカを実質的に等サイズ間に挿入し、このResyncマーカ間を１つの映像データとして多重化フレームに含めることにより、映像フレームに跨って映像データが分割されることがなくなる。即ち、１つの多重化フレームの損失が、２つの映像フレームに影響を及ぼすことがなくなる。
【００６３】
図４は、本発明によって用いられる送信装置の機能構成図である。以下では、送信装置の機能について説明するが、各機能はプログラムによっても実現できる。
【００６４】
図４によれば、送信装置１は、図１のＲＴＰヘッダ付加部１０４及び１０６に代わって、多重化部１１１を備えている。多重化部１１１は、多重パケット生成部１１１と、映像データを一時的に蓄積するメモリ１１１２と、音声データを一時的に蓄積するメモリ１１１３と、シリアル番号を生成する加算器１１１４と、遅延回路１１１５とを有する。ここで、音声データ用メモリ１１１２は、音声データサイズ（書き込みポインタと読み出しポインタとの差分）を、０〜２５５byteで表して出力することができる。
【００６５】
音声データがメモリ１１３に蓄積され及び／又は映像データがメモリ１１２に蓄積された際、多重パケット生成部１１１は、４入力１出力のスイッチで、シリアル番号、音声データサイズ、音声データ、映像データの順に切り替えて、その１巡によって、表２に表した１つのフレームを構成する。シリアル番号は、遅延回路１１５を通じて加算器１１１４に入力され、１増分（１加算）されて、新たなシリアル番号となる。
【００６６】
本発明によれば、映像データ及び音声データは、同じタイミングでバッファ１０３及び１０７から抜き取られ、シェーピングされて１つのフレームに多重化される。これにより、映像データと音声データとの到着遅延が一定となり、受信装置において音声データの到着ゆらぎを回避することができる。
【００６７】
また、多重パケットの生成に際し、ＲＴＰによって映像データパケット及び音声データパケットそれぞれに１２byteを要していたのに対し、本発明によれば、これら異なるメディアデータのパケットが統合され、且つＲＴＰに相当する部分のヘッダが２byteとなるため、ヘッダサイズを軽減することができる。
【００６８】
例えば、パケット送出間隔を２０ｍ秒とした場合、
（２byte＋８byte＋２０byte） × ８bit × ５０ ＝ １２ｋbit／秒
のオーバヘッドとなる。
【００６９】
即ち、従来技術によれば３２ｋbit／秒であることを考慮すると、本発明によれば２０ｋbit／秒ものオーバヘッドを削減することができる。ここで削減されたオーバヘッドのbit数は、映像データ又は音声データの符号化ビットレートに割り当てることができ、符号化品質を向上させることもできる。
【００７０】
図５は、図４の送信装置におけるフレームの伝送シーケンス図である。以下では、受信装置の機能について説明するが、各機能はプログラムによっても実現できる。
【００７１】
図５は、従来技術である図２のＳ２００の部分を表している。２０ｍ秒毎に送信する音声データパケットの送信タイミングで送信しようとすると、図２の映像データパケットよりも短い長さの映像データパケットを送信することができる。図５によれば、１７byteの音声データと８０byteの映像データとからなるフレームは、１５．８ｍ秒で受信装置によって受信される。即ち、映像データV1（４００byte）の受信終了タイミングは、音声データA1〜A4（１７byte×４個）の受信終了のタイミングと一致する。
【００７２】
例えば、ＡＭＲ方式の音声データサイズは、パケット送出間隔が２０ｍ秒である場合、以下のようなバイト数になる。ここでは、代表的な３モードについて列記する。
４．７５ｋbit／秒モード： １４byte
※６．７０ｋbit／秒モード： １９byte
１２．２ｋbit／秒モード： ３３byte
【００７３】
映像データサイズは、単純に「ビットレート×時間」で表される。１パケットが２０ｍ秒間隔の場合、以下のようなバイト数となる。
３２ｋbit／秒： ３２ｋbit／８bit × ２０ｍ秒 ＝ ８０byte
【００７４】
ＡＭＲが６．７０ｋbit／秒モードの場合、多重化フレームは、シリアル番号１byte、音声データサイズ１byte、音声データ１９byte及び映像データ８０byteからなる合計１０１byteを要する。
【００７５】
図６は、本発明における送信装置の第１の機能構成図である。以下では、送信装置の機能について説明するが、各機能はプログラムによっても実装でき、そのプログラムをコンピュータが実行することによって各機能が実現される。
【００７６】
図６の送信装置１は、図４と比較して、タイミング制御部１１２と、スイッチ１１３及び１１４と、クロック１１６とを更に有する。スイッチ１１３は、映像データ用バッファ１０３と多重化部１１１との間に備えられ、１フレームを生成するための映像データ量を制限する。スイッチ１１４は、音声データ用バッファ１０７と多重化部１１１との間に備えられ、１フレームを生成するための音声データ量を制限する。
【００７７】
タイミング制御部１１２は、コンパレータ１１２１と閾値記憶部１１２２とを有する。閾値記憶部１１２２は、音声データ用バッファ１０７に対する第１の閾値を記憶する。コンパレータ１１２１は、音声データ用バッファ１０７から受信したバッファ蓄積量と、第１の閾値とを比較する。そのバッファ蓄積量が第１の閾値を越えた際に、スイッチ１１３及び１１４をＯＮに制御する。
【００７８】
スイッチ１１４のＯＮ制御によって、音声データ用バッファ１０７は、第１の閾値に相当する量の音声データを多重化部１１１へ送出する。音声データ用バッファ１０７は、第１の閾値に相当する量の音声データのみを、一度に送出することができる。一方、映像データ用バッファ１０３についても第２の閾値が決定されており、スイッチ１１３のＯＮ制御によって、映像データ用バッファ１０３は、第２の閾値に相当する量の映像データを多重化部１１１へ送出する。映像データ用バッファ１０３も、第２の閾値に相当する量の映像データのみを、一度に送出することができる。
【００７９】
例えば、音声データがＡＭＲ方式である場合、パケット送出間隔が２０ｍ秒であるので、１２．２ｋbit／秒モードの音声データサイズは３３byteとなる。第１の閾値を３３byteに設定することによって、音声データ用バッファ１０７に３３byte蓄積された時点でフレームが構成される。また、音声データの遅延が多少生じても、フレームの伝送効率を優先したい場合、例えば音声データ２フレーム分を１フレームで生成することもできる。このとき、第１の閾値を６６byte（３３byte×２）に指定することにより、音声データ用バッファ１０７に６６byte蓄積された時点でフレームが構成される。
【００８０】
尚、スイッチ１１４のＯＮ制御によって、音声データ用バッファ１０７は、蓄積されている全ての音声データを多重化部１１１へ送出するものであってもよい。一方、スイッチ１１３のＯＮ制御によって、映像データ用バッファ１０３は、蓄積されている全ての映像データを多重化部１１１へ送出するものであってもよい。
【００８１】
図７は、本発明における送信装置の第２の機能構成図である。
【００８２】
図７は、図６と比較して、コンパレータ１１２１は、映像データ用バッファ１０３のバッファ占有量に基づいてスイッチ１１３及び１１４を制御する。タイミング制御部１１２の閾値記憶部１１２２は、映像データ用バッファ１０３に対する第２の閾値を記憶する。コンパレータ１１２１は、映像データ用バッファ１０３から受信したバッファ蓄積量と、第２の閾値とを比較する。そのバッファ蓄積量が第２の閾値を越えた際に、スイッチ１１３及び１１４をＯＮに制御する。
【００８３】
このように、タイミング制御部１１２が監視するバッファは、音声データ用バッファ１０７のみであってもよいし、映像データ用バッファ１０３のみであってもよい。また、両バッファとも監視するものであってもよい。即ち、第１の閾値又は第２の閾値のいずれか一方を越えたとき、スイッチ１１３及び１１４がＯＮに制御される。
【００８４】
クロック１１６は、フレームを送信するための最長時間間隔を規定しており、フレームが構成される毎にリセットされる。このクロックは、所定の時間のタイムアウトをコンパレータ１１２１に指示する。基本的に、コンパレータ１１２１は、音声データ用バッファ１０７及び／又は映像データ用バッファ１０３に蓄積されたメディアデータが、第１及び／又は第２の閾値に達するまでは、スイッチ１１３及び１１４をＯＮに制御しない。従って、バッファにメディアデータが残存する恐れがある。コンパレータ１１２１は、クロック１１６からのタイムアウトの通知を受けると、強制的にスイッチ１１３及び１１４をＯＮに制御することによって、メディアデータを多重化部１１１に入力する。クロックの周期としては、具体的には、ＡＭＲ方式の音声データを考慮して、パケット送出間隔が２０ｍ秒よりも大きい時間となる。
【００８５】
図８は、本発明における送信装置の第３の機能構成図である。
【００８６】
図８の送信装置１は、図６と比較して、タイミング制御部１１２の代わりに、クロック１１６がスイッチ１１３及び１１４のＯＮ／ＯＦＦを制御する。音声データがＡＭＲ方式であるならば、クロック１１６は例えば２０ｍ秒の周期でスイッチ１１３及び１１４を制御する。これにより、通常状態であるならば、１７byteの音声データと、８０byteの映像データとが１つのフレームに多重化されて送信される。このように、固定周期のクロック１１６を用いてスイッチ１１３及び１１４を制御することは、実装上極めて簡単であって、且つ、図５と同様のフレーム送出タイミングを実現することができる。
【００８７】
ここで、音声データ用バッファ１０７は、スイッチ１１４の一度のＯＮ制御によって送信できるバッファ量である第１の閾値を規定することもできる。また、映像データ用バッファ１０３は、スイッチ１１３の一度のＯＮ制御によって送信できるバッファ量である第２の閾値を規定することもできる。第１の閾値を１７byteに規定し、第２の閾値を８０byteに規定することにより、確実に図５と同様のフレーム送出タイミングを実現することができる。
【００８８】
図９は、本発明における送信装置の第４の機能構成図である。
【００８９】
図９の送信装置は、図８と比較して、多重化部１１１の中にクロック１１１６が備えられている。クロック１１１６は例えば２０ｍ秒の周期で多重パケット生成部１１１１を制御する。多重パケット生成部１１１１は、クロック１１１６のタイミングに応じて多重化フレームを１つ構成する。これにより、通常状態であるならば、１７byteの音声データと、８０byteの映像データとが１つのフレームに多重化されて送信される。
【００９０】
図１０は、本発明における送信装置の第５の機能構成図である。
【００９１】
図１０の送信装置１は、図６と比較して、スイッチ１１３及びスイッチ１１４を備えていない。それに代わり、タイミング制御部１１２から出力されるタイミング制御信号は、多重化部１１１の多重パケット生成部１１１１に入力される。多重パケット生成部１１１１は、タイミング制御信号の基づいて、１フレームの生成タイミングを制御する。即ち、コンパレータ１１２１において、音声データ用バッファ１０７のバッファ蓄積量が第１の閾値を越えたと判断した際に、多重パケット生成部１１１１は、１フレームを生成するように動作する。
【００９２】
前述した本発明におけるパケット多重化フレームの生成タイミングを制御する送信方法、送信プログラム及び送信装置の種々の実施形態によれば、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略を、当業者は容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【図面の簡単な説明】
【００９３】
【図１】従来技術によるパケット多重化のための送信装置の機能構成図である。
【図２】従来技術におけるフレームの伝送シーケンス図である。
【図３】本発明におけるパケット多重化フレームのメディア分割構成図である。
【図４】本発明によって用いられる送信装置の機能構成図である。
【図５】図４の送信装置におけるフレームの伝送シーケンス図である。
【図６】本発明における送信装置の第１の機能構成図である。
【図７】本発明における送信装置の第２の機能構成図である。
【図８】本発明における送信装置の第３の機能構成図である。
【図９】本発明における送信装置の第４の機能構成図である。
【図１０】本発明における送信装置の第５の機能構成図である。
【符号の説明】
【００９４】
１ 送信装置
１０１ フォーマット変換部
１０２ 映像エンコーダ部
１０３ 映像データ用バッファ
１０４、１０６ ＲＴＰヘッダ付加部
１０５ ＵＤＰ／ＩＰプロトコルスタック部
１０７ 音声データ用バッファ
１０８ 音声エンコーダ部
１０９ Ａ／Ｄ変換部
１１０ 増幅器
１１１ 多重化部
１１６ クロック
１１１１ 多重パケット生成部
１１１２ 映像データ用メモリ
１１１３ 音声データ用メモリ
１１１４ 加算器
１１１５ 遅延回路
１１１６ クロック
１１２ タイミング制御部
１１２１ コンパレータ
１１２２ 閾値蓄積部
１１３、１１４ スイッチ
１１６ クロック
２ 受信装置
２０１ ディスプレイ制御部
２０２ 映像データ用バッファ
２０３ 映像デコーダ
２０４、２０６ ＲＴＰヘッダ除去部
２０５ ＵＤＰ／ＩＰプロトコルスタック部
２０７ 音声デコーダ
２０８ 音声データ用バッファ
２０９ Ｄ／Ａ変換部
２１０ 増幅器
３ ＩＰネットワーク
４ カメラ
５ マイク
６ ディスプレイ
７ スピーカ
【特許請求の範囲】
【請求項１】
ＵＤＰヘッダに続いて、シリアル番号部と、第１のメディアデータサイズ部と、該サイズ部に格納された長さの第１のメディアデータと、第２のメディアデータとを含むデータ構造を有する、異なるメディアデータのパケット多重化フレームを送信する送信方法であって、
前記第１のメディアデータを一時的に蓄積する第１のバッファと、前記第２のメディアデータを一時的に蓄積する第２のバッファとを有し、前記第１のバッファに対する第１の閾値が決定されており、
前記第１のバッファにおけるバッファ蓄積量を監視する第１のステップと、
前記第１のバッファにおける前記バッファ蓄積量が前記第１の閾値を越えた際に、前記第１のバッファに蓄積された前記第１のメディアデータを、前記フレームの第１のメディアデータとして格納し、前記第２のバッファに蓄積された前記第２のメディアデータを、前記フレームの第２のメディアデータとして格納して、前記フレームを構成する第２のステップと
を有することを特徴とする送信方法。
【請求項２】
前記第２のステップは、前記第１のバッファに蓄積された前記第１の閾値に相当する量の前記第１のメディアデータを、前記フレームの第１のメディアデータとして格納することを特徴とする請求項１に記載の送信方法。
【請求項３】
前記第２のバッファに対する第２の閾値が決定されており、
前記第２のステップは、前記第２のバッファに蓄積された前記第２の閾値に相当する量の前記第２のメディアデータを、前記フレームの第２のメディアデータとして格納することを特徴とする請求項１又は２に記載の送信方法。
【請求項４】
ＵＤＰヘッダに続いて、シリアル番号部と、第１のメディアデータサイズ部と、該サイズ部に格納された長さの第１のメディアデータと、第２のメディアデータとを含むデータ構造を有する、異なるメディアデータのパケット多重化フレームを送信する送信方法であって、
前記第１のメディアデータを一時的に蓄積する第１のバッファと、前記第２のメディアデータを一時的に蓄積する第２のバッファとを有し、前記第２のバッファに対する第２の閾値が決定されており、
前記第２のバッファにおけるバッファ蓄積量を監視する第１のステップと、
前記第２のバッファにおける前記バッファ蓄積量が前記第２の閾値を越えた際に、前記第１のバッファに蓄積された前記第１のメディアデータを、前記フレームの第１のメディアデータとして格納し、前記第２のバッファに蓄積された前記第２のメディアデータを、前記フレームの第２のメディアデータとして格納して、前記フレームを構成する第２のステップと
を有することを特徴とする送信方法。
【請求項５】
前記第２のステップは、前記第２のバッファに蓄積された前記第２の閾値に相当する量の前記第２のメディアデータを、前記フレームの第２のメディアデータとして格納することを特徴とする請求項４に記載の送信方法。
【請求項６】
前記第１のバッファに対する第１の閾値が決定されており、
前記第２のステップは、前記第１のバッファに蓄積された前記第１の閾値に相当する量の前記第１のメディアデータを、前記フレームの第１のメディアデータとして格納することを特徴とする請求項４又は５に記載の送信方法。
【請求項７】
前記フレームを構成する毎にリセットされる、最長時間間隔を規定するクロック手段を有しており、
前記第２のステップは、前記第１のバッファ及び／又は前記第２のバッファにメディアデータが蓄積されているにもかかわらず、前記第１又は第２のバッファのバッファ蓄積量が前記第１又は第２の閾値に達していない場合、前記クロック手段から出力されるタイミングで、前記フレームを構成することを特徴とする請求項１から６のいずれか１項に記載の送信方法。
【請求項８】
ＵＤＰヘッダに続いて、シリアル番号部と、第１のメディアデータサイズ部と、該サイズ部に格納された長さの第１のメディアデータと、第２のメディアデータとを含むデータ構造を有する、異なるメディアデータのパケット多重化フレームを送信する送信方法であって、
前記第１のメディアデータを一時的に蓄積する第１のバッファと、前記第２のメディアデータを一時的に蓄積する第２のバッファと、時間間隔を規定するクロック手段とを有しており、
前記クロック手段のタイミングに従って、前記第１のバッファに蓄積された前記第１のメディアデータを、前記フレームの第１のメディアデータとして格納し、前記第２のバッファに蓄積された前記第２のメディアデータを、前記フレームの第２のメディアデータとして格納して、前記フレームを構成することを特徴とする送信方法。
【請求項９】
前記第２のバッファに対する第２の閾値が決定されており、
前記第２のステップは、前記第２のバッファに蓄積された前記第２の閾値に相当する量の前記第２のメディアデータを、前記フレームの第２のメディアデータとして格納することを特徴とする請求項８に記載の送信方法。
【請求項１０】
前記第１のバッファに対する第１の閾値が決定されており、
前記第２のステップは、前記第１のバッファに蓄積された前記第１の閾値に相当する量の前記第１のメディアデータを、前記フレームの第１のメディアデータとして格納することを特徴とする請求項８又は９に記載の送信方法。
【請求項１１】
前記第１のメディアデータは音声データであって、前記第２のメディアデータは映像データであることを特徴とする請求項１から１０のいずれか１項に記載の送信方法。
【請求項１２】
前記第１のメディアデータは映像データであって、前記第２のメディアデータは音声データであることを特徴とする請求項１から１０のいずれか１項に記載の送信方法。
【請求項１３】
ＵＤＰヘッダに続いて、シリアル番号部と、第１のメディアデータサイズ部と、該サイズ部に格納された長さの第１のメディアデータと、第２のメディアデータとを含むデータ構造を有する、異なるメディアデータのパケット多重化フレームを送信する送信プログラムであって、
前記第１のメディアデータを一時的に蓄積する第１のバッファと、前記第２のメディアデータを一時的に蓄積する第２のバッファとを有し、前記第１のバッファに対する第１の閾値が決定されており、
前記第１のバッファにおけるバッファ蓄積量を監視する第１のステップと、
前記第１のバッファにおける前記バッファ蓄積量が前記第１の閾値を越えた際に、前記第１のバッファに蓄積された前記第１のメディアデータを、前記フレームの第１のメディアデータとして格納し、前記第２のバッファに蓄積された前記第２のメディアデータを、前記フレームの第２のメディアデータとして格納して、前記フレームを構成する第２のステップと
してコンピュータを実行させることを特徴とする送信プログラム。
【請求項１４】
ＵＤＰヘッダに続いて、シリアル番号部と、第１のメディアデータサイズ部と、該サイズ部に格納された長さの第１のメディアデータと、第２のメディアデータとを含むデータ構造を有する、異なるメディアデータのパケット多重化フレームを送信する送信プログラムであって、
前記第１のメディアデータを一時的に蓄積する第１のバッファと、前記第２のメディアデータを一時的に蓄積する第２のバッファとを有し、前記第２のバッファに対する第２の閾値が決定されており、
前記第２のバッファにおけるバッファ蓄積量を監視する第１のステップと、
前記第２のバッファにおける前記バッファ蓄積量が前記第２の閾値を越えた際に、前記第１のバッファに蓄積された前記第１のメディアデータを、前記フレームの第１のメディアデータとして格納し、前記第２のバッファに蓄積された前記第２のメディアデータを、前記フレームの第２のメディアデータとして格納して、前記フレームを構成する第２のステップと
してコンピュータを実行させることを特徴とする送信プログラム。
【請求項１５】
ＵＤＰヘッダに続いて、シリアル番号部と、第１のメディアデータサイズ部と、該サイズ部に格納された長さの第１のメディアデータと、第２のメディアデータとを含むデータ構造を有する、異なるメディアデータのパケット多重化フレームを送信する送信方法であって、
前記第１のメディアデータを一時的に蓄積する第１のバッファと、前記第２のメディアデータを一時的に蓄積する第２のバッファと、時間間隔を規定するクロック手段とを有しており、
前記クロック手段のタイミングに従って、前記第１のバッファに蓄積された前記第１のメディアデータを、前記フレームの第１のメディアデータとして格納し、前記第２のバッファに蓄積された前記第２のメディアデータを、前記フレームの第２のメディアデータとして格納して、前記フレームを構成するようにコンピュータを実行させることを特徴とする送信プログラム。
【請求項１６】
送信すべき第１のメディアデータを一時的に蓄積する第１のバッファと、
送信すべき第２のメディアデータを一時的に蓄積する第２のバッファと、
ＵＤＰヘッダに続いて、シリアル番号部と、第１のメディアデータサイズ部と、該サイズ部に格納された長さの第１のメディアデータと、第２のメディアデータとを含むデータ構造を有する、異なるメディアデータのパケット多重化フレームを生成する多重化手段と、
前記第１のバッファと前記多重化手段との間に接続された第１のスイッチと、
前記第２のバッファと前記多重化手段との間に接続された第２のスイッチと、
前記第１のバッファに対する第１の閾値を蓄積し、前記第１のバッファにおけるバッファ蓄積量を監視し、該バッファ蓄積量が前記第１の閾値を越えた際に、前記第１のバッファの前記第１のメディアデータと前記第２のバッファの前記第２のメディアデータとを前記多重化手段へ送出するように前記第１のスイッチ及び前記第２のスイッチを制御するタイミング制御手段と
を有することを特徴とする送信装置。
【請求項１７】
前記第１のバッファは、前記第１の閾値に相当する量の前記第１のメディアデータを一度に前記多重化手段へ送出するように構成されていることを特徴とする請求項１６に記載の送信装置。
【請求項１８】
前記第２のバッファに対する第２の閾値が決定されており、
前記第２のバッファは、前記第２の閾値に相当する量の前記第２のメディアデータを一度に前記多重化手段へ送出するように構成されていることを特徴とする請求項１６又は１７に記載の送信装置。
【請求項１９】
送信すべき第１のメディアデータを一時的に蓄積する第１のバッファと、
送信すべき第２のメディアデータを一時的に蓄積する第２のバッファと、
ＵＤＰヘッダに続いて、シリアル番号部と、第１のメディアデータサイズ部と、該サイズ部に格納された長さの第１のメディアデータと、第２のメディアデータとを含むデータ構造を有する、異なるメディアデータのパケット多重化フレームを生成する多重化手段と、
前記第１のバッファと前記多重化手段との間に接続された第１のスイッチと、
前記第２のバッファと前記多重化手段との間に接続された第２のスイッチと、
前記第２のバッファに対する第２の閾値を蓄積し、前記第２のバッファにおけるバッファ蓄積量を監視し、該バッファ蓄積量が前記第２の閾値を越えた際に、前記第１のバッファの前記第１のメディアデータと前記第２のバッファの前記第２のメディアデータとを前記多重化手段へ送出するように前記第１のスイッチ及び前記第２のスイッチを制御するタイミング制御手段と
を有することを特徴とする送信装置。
【請求項２０】
前記第２のバッファは、前記第２の閾値に相当する量の前記第２のメディアデータを一度に前記多重化手段へ送出するように構成されていることを特徴とする請求項１９に記載の送信装置。
【請求項２１】
前記第１のバッファに対する第１の閾値が決定されており、
前記第１のバッファは、前記第１の閾値に相当する量の前記第１のメディアデータを一度に前記多重化手段へ送出するように構成されていることを特徴とする請求項１９又は２０に記載の送信装置。
【請求項２２】
前記フレームを構成する毎にリセットされる、最長時間間隔を規定するクロック手段を有しており、
前記タイミング制御手段は、前記第１のバッファ及び／又は前記第２のバッファにメディアデータが蓄積されているにもかかわらず、前記第１のバッファのバッファ蓄積量が前記第１の閾値に達していない場合、前記クロック手段から出力されるタイミングで、前記フレームを構成することを特徴とする請求項１６から２１のいずれか１項に記載の送信装置。
【請求項２３】
送信すべき第１のメディアデータを一時的に蓄積する第１のバッファと、
送信すべき第２のメディアデータを一時的に蓄積する第２のバッファと、
ＵＤＰヘッダに続いて、シリアル番号部と、第１のメディアデータサイズ部と、該サイズ部に格納された長さの第１のメディアデータと、第２のメディアデータとを含むデータ構造を有する、異なるメディアデータのパケット多重化フレームを生成する多重化手段と、
前記第１のバッファと前記多重化手段との間に接続された第１のスイッチと、
前記第２のバッファと前記多重化手段との間に接続された第２のスイッチと、
時間間隔を規定するクロック手段とを有しており、
前記第１及び第２のスイッチは、前記クロック手段のタイミングに従って、前記第１のバッファに蓄積された前記第１のメディアデータを前記多重化手段へ送出し、前記第２のバッファに蓄積された前記第２のメディアデータを前記多重化手段へ送出する
ことを特徴とする送信装置。
【請求項２４】
前記第２のバッファに対する第２の閾値が決定されており、
前記第２のスイッチは、前記第２のバッファに蓄積された前記第２の閾値に相当する量の前記第２のメディアデータを前記多重化手段へ送出することを特徴とする請求項２３に記載の送信装置。
【請求項２５】
前記第１のバッファに対する第１の閾値が決定されており、
前記第２のスイッチは、前記第１のバッファに蓄積された前記第１の閾値に相当する量の前記第１のメディアデータを前記多重化手段へ送出することを特徴とする請求項２３又は２４に記載の送信装置。
【請求項２６】
前記多重化手段は、
前記シリアル番号を送出する加算手段と、
前記第１のメディアデータを一時的に蓄積する第１のメモリと、
前記第２のメディアデータを一時的に蓄積する第２のメモリと、
前記加算手段から出力された前記シリアル番号を、前記フレームの前記シリアル番号部に含め、次に、前記第１のメモリから出力された第１のメディアデータサイズを、前記フレームの前記第１のメディアデータサイズ部に含め、次に、前記第１のメモリから出力された、前記第１のメディアデータサイズ部に格納された長さの前記第１のメディアデータを含め、次に、前記第２のメモリから出力された第２のメディアデータを含めたパケット多重化フレームの生成を繰り返す多重パケット生成手段と
を有することを特徴とする請求項１６から２５のいずれか１項に記載の送信装置。
【請求項２７】
前記第１のメディアデータは音声データであって、前記第２のメディアデータは映像データであることを特徴とする請求項１６から２６のいずれか１項に記載の送信装置。
【請求項２８】
前記第１のメディアデータは映像データであって、前記第２のメディアデータは音声データであることを特徴とする請求項１６から２６のいずれか１項に記載の送信装置。
【請求項１】
ＵＤＰヘッダに続いて、シリアル番号部と、第１のメディアデータサイズ部と、該サイズ部に格納された長さの第１のメディアデータと、第２のメディアデータとを含むデータ構造を有する、異なるメディアデータのパケット多重化フレームを送信する送信方法であって、
前記第１のメディアデータを一時的に蓄積する第１のバッファと、前記第２のメディアデータを一時的に蓄積する第２のバッファとを有し、前記第１のバッファに対する第１の閾値が決定されており、
前記第１のバッファにおけるバッファ蓄積量を監視する第１のステップと、
前記第１のバッファにおける前記バッファ蓄積量が前記第１の閾値を越えた際に、前記第１のバッファに蓄積された前記第１のメディアデータを、前記フレームの第１のメディアデータとして格納し、前記第２のバッファに蓄積された前記第２のメディアデータを、前記フレームの第２のメディアデータとして格納して、前記フレームを構成する第２のステップと
を有することを特徴とする送信方法。
【請求項２】
前記第２のステップは、前記第１のバッファに蓄積された前記第１の閾値に相当する量の前記第１のメディアデータを、前記フレームの第１のメディアデータとして格納することを特徴とする請求項１に記載の送信方法。
【請求項３】
前記第２のバッファに対する第２の閾値が決定されており、
前記第２のステップは、前記第２のバッファに蓄積された前記第２の閾値に相当する量の前記第２のメディアデータを、前記フレームの第２のメディアデータとして格納することを特徴とする請求項１又は２に記載の送信方法。
【請求項４】
ＵＤＰヘッダに続いて、シリアル番号部と、第１のメディアデータサイズ部と、該サイズ部に格納された長さの第１のメディアデータと、第２のメディアデータとを含むデータ構造を有する、異なるメディアデータのパケット多重化フレームを送信する送信方法であって、
前記第１のメディアデータを一時的に蓄積する第１のバッファと、前記第２のメディアデータを一時的に蓄積する第２のバッファとを有し、前記第２のバッファに対する第２の閾値が決定されており、
前記第２のバッファにおけるバッファ蓄積量を監視する第１のステップと、
前記第２のバッファにおける前記バッファ蓄積量が前記第２の閾値を越えた際に、前記第１のバッファに蓄積された前記第１のメディアデータを、前記フレームの第１のメディアデータとして格納し、前記第２のバッファに蓄積された前記第２のメディアデータを、前記フレームの第２のメディアデータとして格納して、前記フレームを構成する第２のステップと
を有することを特徴とする送信方法。
【請求項５】
前記第２のステップは、前記第２のバッファに蓄積された前記第２の閾値に相当する量の前記第２のメディアデータを、前記フレームの第２のメディアデータとして格納することを特徴とする請求項４に記載の送信方法。
【請求項６】
前記第１のバッファに対する第１の閾値が決定されており、
前記第２のステップは、前記第１のバッファに蓄積された前記第１の閾値に相当する量の前記第１のメディアデータを、前記フレームの第１のメディアデータとして格納することを特徴とする請求項４又は５に記載の送信方法。
【請求項７】
前記フレームを構成する毎にリセットされる、最長時間間隔を規定するクロック手段を有しており、
前記第２のステップは、前記第１のバッファ及び／又は前記第２のバッファにメディアデータが蓄積されているにもかかわらず、前記第１又は第２のバッファのバッファ蓄積量が前記第１又は第２の閾値に達していない場合、前記クロック手段から出力されるタイミングで、前記フレームを構成することを特徴とする請求項１から６のいずれか１項に記載の送信方法。
【請求項８】
ＵＤＰヘッダに続いて、シリアル番号部と、第１のメディアデータサイズ部と、該サイズ部に格納された長さの第１のメディアデータと、第２のメディアデータとを含むデータ構造を有する、異なるメディアデータのパケット多重化フレームを送信する送信方法であって、
前記第１のメディアデータを一時的に蓄積する第１のバッファと、前記第２のメディアデータを一時的に蓄積する第２のバッファと、時間間隔を規定するクロック手段とを有しており、
前記クロック手段のタイミングに従って、前記第１のバッファに蓄積された前記第１のメディアデータを、前記フレームの第１のメディアデータとして格納し、前記第２のバッファに蓄積された前記第２のメディアデータを、前記フレームの第２のメディアデータとして格納して、前記フレームを構成することを特徴とする送信方法。
【請求項９】
前記第２のバッファに対する第２の閾値が決定されており、
前記第２のステップは、前記第２のバッファに蓄積された前記第２の閾値に相当する量の前記第２のメディアデータを、前記フレームの第２のメディアデータとして格納することを特徴とする請求項８に記載の送信方法。
【請求項１０】
前記第１のバッファに対する第１の閾値が決定されており、
前記第２のステップは、前記第１のバッファに蓄積された前記第１の閾値に相当する量の前記第１のメディアデータを、前記フレームの第１のメディアデータとして格納することを特徴とする請求項８又は９に記載の送信方法。
【請求項１１】
前記第１のメディアデータは音声データであって、前記第２のメディアデータは映像データであることを特徴とする請求項１から１０のいずれか１項に記載の送信方法。
【請求項１２】
前記第１のメディアデータは映像データであって、前記第２のメディアデータは音声データであることを特徴とする請求項１から１０のいずれか１項に記載の送信方法。
【請求項１３】
ＵＤＰヘッダに続いて、シリアル番号部と、第１のメディアデータサイズ部と、該サイズ部に格納された長さの第１のメディアデータと、第２のメディアデータとを含むデータ構造を有する、異なるメディアデータのパケット多重化フレームを送信する送信プログラムであって、
前記第１のメディアデータを一時的に蓄積する第１のバッファと、前記第２のメディアデータを一時的に蓄積する第２のバッファとを有し、前記第１のバッファに対する第１の閾値が決定されており、
前記第１のバッファにおけるバッファ蓄積量を監視する第１のステップと、
前記第１のバッファにおける前記バッファ蓄積量が前記第１の閾値を越えた際に、前記第１のバッファに蓄積された前記第１のメディアデータを、前記フレームの第１のメディアデータとして格納し、前記第２のバッファに蓄積された前記第２のメディアデータを、前記フレームの第２のメディアデータとして格納して、前記フレームを構成する第２のステップと
してコンピュータを実行させることを特徴とする送信プログラム。
【請求項１４】
ＵＤＰヘッダに続いて、シリアル番号部と、第１のメディアデータサイズ部と、該サイズ部に格納された長さの第１のメディアデータと、第２のメディアデータとを含むデータ構造を有する、異なるメディアデータのパケット多重化フレームを送信する送信プログラムであって、
前記第１のメディアデータを一時的に蓄積する第１のバッファと、前記第２のメディアデータを一時的に蓄積する第２のバッファとを有し、前記第２のバッファに対する第２の閾値が決定されており、
前記第２のバッファにおけるバッファ蓄積量を監視する第１のステップと、
前記第２のバッファにおける前記バッファ蓄積量が前記第２の閾値を越えた際に、前記第１のバッファに蓄積された前記第１のメディアデータを、前記フレームの第１のメディアデータとして格納し、前記第２のバッファに蓄積された前記第２のメディアデータを、前記フレームの第２のメディアデータとして格納して、前記フレームを構成する第２のステップと
してコンピュータを実行させることを特徴とする送信プログラム。
【請求項１５】
ＵＤＰヘッダに続いて、シリアル番号部と、第１のメディアデータサイズ部と、該サイズ部に格納された長さの第１のメディアデータと、第２のメディアデータとを含むデータ構造を有する、異なるメディアデータのパケット多重化フレームを送信する送信方法であって、
前記第１のメディアデータを一時的に蓄積する第１のバッファと、前記第２のメディアデータを一時的に蓄積する第２のバッファと、時間間隔を規定するクロック手段とを有しており、
前記クロック手段のタイミングに従って、前記第１のバッファに蓄積された前記第１のメディアデータを、前記フレームの第１のメディアデータとして格納し、前記第２のバッファに蓄積された前記第２のメディアデータを、前記フレームの第２のメディアデータとして格納して、前記フレームを構成するようにコンピュータを実行させることを特徴とする送信プログラム。
【請求項１６】
送信すべき第１のメディアデータを一時的に蓄積する第１のバッファと、
送信すべき第２のメディアデータを一時的に蓄積する第２のバッファと、
ＵＤＰヘッダに続いて、シリアル番号部と、第１のメディアデータサイズ部と、該サイズ部に格納された長さの第１のメディアデータと、第２のメディアデータとを含むデータ構造を有する、異なるメディアデータのパケット多重化フレームを生成する多重化手段と、
前記第１のバッファと前記多重化手段との間に接続された第１のスイッチと、
前記第２のバッファと前記多重化手段との間に接続された第２のスイッチと、
前記第１のバッファに対する第１の閾値を蓄積し、前記第１のバッファにおけるバッファ蓄積量を監視し、該バッファ蓄積量が前記第１の閾値を越えた際に、前記第１のバッファの前記第１のメディアデータと前記第２のバッファの前記第２のメディアデータとを前記多重化手段へ送出するように前記第１のスイッチ及び前記第２のスイッチを制御するタイミング制御手段と
を有することを特徴とする送信装置。
【請求項１７】
前記第１のバッファは、前記第１の閾値に相当する量の前記第１のメディアデータを一度に前記多重化手段へ送出するように構成されていることを特徴とする請求項１６に記載の送信装置。
【請求項１８】
前記第２のバッファに対する第２の閾値が決定されており、
前記第２のバッファは、前記第２の閾値に相当する量の前記第２のメディアデータを一度に前記多重化手段へ送出するように構成されていることを特徴とする請求項１６又は１７に記載の送信装置。
【請求項１９】
送信すべき第１のメディアデータを一時的に蓄積する第１のバッファと、
送信すべき第２のメディアデータを一時的に蓄積する第２のバッファと、
ＵＤＰヘッダに続いて、シリアル番号部と、第１のメディアデータサイズ部と、該サイズ部に格納された長さの第１のメディアデータと、第２のメディアデータとを含むデータ構造を有する、異なるメディアデータのパケット多重化フレームを生成する多重化手段と、
前記第１のバッファと前記多重化手段との間に接続された第１のスイッチと、
前記第２のバッファと前記多重化手段との間に接続された第２のスイッチと、
前記第２のバッファに対する第２の閾値を蓄積し、前記第２のバッファにおけるバッファ蓄積量を監視し、該バッファ蓄積量が前記第２の閾値を越えた際に、前記第１のバッファの前記第１のメディアデータと前記第２のバッファの前記第２のメディアデータとを前記多重化手段へ送出するように前記第１のスイッチ及び前記第２のスイッチを制御するタイミング制御手段と
を有することを特徴とする送信装置。
【請求項２０】
前記第２のバッファは、前記第２の閾値に相当する量の前記第２のメディアデータを一度に前記多重化手段へ送出するように構成されていることを特徴とする請求項１９に記載の送信装置。
【請求項２１】
前記第１のバッファに対する第１の閾値が決定されており、
前記第１のバッファは、前記第１の閾値に相当する量の前記第１のメディアデータを一度に前記多重化手段へ送出するように構成されていることを特徴とする請求項１９又は２０に記載の送信装置。
【請求項２２】
前記フレームを構成する毎にリセットされる、最長時間間隔を規定するクロック手段を有しており、
前記タイミング制御手段は、前記第１のバッファ及び／又は前記第２のバッファにメディアデータが蓄積されているにもかかわらず、前記第１のバッファのバッファ蓄積量が前記第１の閾値に達していない場合、前記クロック手段から出力されるタイミングで、前記フレームを構成することを特徴とする請求項１６から２１のいずれか１項に記載の送信装置。
【請求項２３】
送信すべき第１のメディアデータを一時的に蓄積する第１のバッファと、
送信すべき第２のメディアデータを一時的に蓄積する第２のバッファと、
ＵＤＰヘッダに続いて、シリアル番号部と、第１のメディアデータサイズ部と、該サイズ部に格納された長さの第１のメディアデータと、第２のメディアデータとを含むデータ構造を有する、異なるメディアデータのパケット多重化フレームを生成する多重化手段と、
前記第１のバッファと前記多重化手段との間に接続された第１のスイッチと、
前記第２のバッファと前記多重化手段との間に接続された第２のスイッチと、
時間間隔を規定するクロック手段とを有しており、
前記第１及び第２のスイッチは、前記クロック手段のタイミングに従って、前記第１のバッファに蓄積された前記第１のメディアデータを前記多重化手段へ送出し、前記第２のバッファに蓄積された前記第２のメディアデータを前記多重化手段へ送出する
ことを特徴とする送信装置。
【請求項２４】
前記第２のバッファに対する第２の閾値が決定されており、
前記第２のスイッチは、前記第２のバッファに蓄積された前記第２の閾値に相当する量の前記第２のメディアデータを前記多重化手段へ送出することを特徴とする請求項２３に記載の送信装置。
【請求項２５】
前記第１のバッファに対する第１の閾値が決定されており、
前記第２のスイッチは、前記第１のバッファに蓄積された前記第１の閾値に相当する量の前記第１のメディアデータを前記多重化手段へ送出することを特徴とする請求項２３又は２４に記載の送信装置。
【請求項２６】
前記多重化手段は、
前記シリアル番号を送出する加算手段と、
前記第１のメディアデータを一時的に蓄積する第１のメモリと、
前記第２のメディアデータを一時的に蓄積する第２のメモリと、
前記加算手段から出力された前記シリアル番号を、前記フレームの前記シリアル番号部に含め、次に、前記第１のメモリから出力された第１のメディアデータサイズを、前記フレームの前記第１のメディアデータサイズ部に含め、次に、前記第１のメモリから出力された、前記第１のメディアデータサイズ部に格納された長さの前記第１のメディアデータを含め、次に、前記第２のメモリから出力された第２のメディアデータを含めたパケット多重化フレームの生成を繰り返す多重パケット生成手段と
を有することを特徴とする請求項１６から２５のいずれか１項に記載の送信装置。
【請求項２７】
前記第１のメディアデータは音声データであって、前記第２のメディアデータは映像データであることを特徴とする請求項１６から２６のいずれか１項に記載の送信装置。
【請求項２８】
前記第１のメディアデータは映像データであって、前記第２のメディアデータは音声データであることを特徴とする請求項１６から２６のいずれか１項に記載の送信装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００６−１１５３０５（Ｐ２００６−１１５３０５Ａ）
【公開日】平成１８年４月２７日（２００６．４．２７）
【国際特許分類】
【出願番号】特願２００４−３０１６０８（Ｐ２００４−３０１６０８）
【出願日】平成１６年１０月１５日（２００４．１０．１５）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
【公開日】平成１８年４月２７日（２００６．４．２７）
【国際特許分類】
【出願日】平成１６年１０月１５日（２００４．１０．１５）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
[ Back to top ]