データ多重化装置及びデータ多重化方法
【課題】複数の番組の画質の均等化を図りながら、画質の時間的変動を抑えて、高画質な番組多重を図ることができるデータ多重化装置を得ることを目的とする。
【解決手段】リアルタイムデータレート制御部４が、多重化部３から出力された多重化データに含まれているリアルタイムデータの符号化データの平均レートＡＶＥｒａｔｅを計測し、その平均レートＡＶＥｒａｔｅが所望の平均レートＡＶＥｒａｔｅｒｅｆに近づくように、リアルタイムデータ符号化部１ａ，１ｂから出力される符号化データの符号量を制御する。
【解決手段】リアルタイムデータレート制御部４が、多重化部３から出力された多重化データに含まれているリアルタイムデータの符号化データの平均レートＡＶＥｒａｔｅを計測し、その平均レートＡＶＥｒａｔｅが所望の平均レートＡＶＥｒａｔｅｒｅｆに近づくように、リアルタイムデータ符号化部１ａ，１ｂから出力される符号化データの符号量を制御する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えば、複数の番組のメディアデータを効率よく多重化して出力するデータ多重化装置及びデータ多重化方法に関するものである。
【背景技術】
【０００２】
例えば、デジタル放送のように、伝送帯域が限られている状況化では、複数の番組を効率よく多重化して出力する必要があり、以下の特許文献１には、複数の番組を効率よく多重化して出力するデータ多重化装置（統計多重を行うデータ多重化装置）が開示されている。
一般に、ビデオデータを符号化する場合、入力画像の複雑さや動きの大きさなどが異なると、同じ画質のビデオ符号化データを生成する場合でも符号量が大きく変動する。
上記のデータ多重化装置では、複数の番組を多重化して出力する際、複数の番組のビデオの画質が均等になるように、各番組の入力画像の複雑さを符号化前に調査し、複雑な入力画像の番組には多くの符号量を割り当て、複雑でない入力画像の番組には少ない符号量を割り当てるようにしている。
このとき、符号量の合計が伝送帯域と一致するように制御することで、限られた伝送帯域の中で、複数の番組の画質を同等に保ちながら、複数の番組の多重化を行うことが可能となる。
【０００３】
また、以下の特許文献２には、統計多重を行う際に、空いている帯域で他のデータを多重する方法が開示されている。
統計多重によって可変レートのデータの総和を出力レートに合わせ込めない場合、空いている帯域で他のデータを多重することで効率的な多重化を達成することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４４４１８３９号
【特許文献２】特許第４２０６５５９号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来のデータ多重化装置は以上のように構成されているので、ある時刻において、複数の番組の画質を均等にすることを目的として、符号量の配分を行うようにしている。このため、入力画像が複雑な番組と入力画像が複雑でない番組が混在する場合、入力画像が複雑でない番組に割り当てる符号量を減らして、入力画像が複雑な番組により多くの符号量を割り当てることで、入力画像が複雑な番組の画質低下を抑えることができる。しかし、全ての番組の入力画像が複雑な場合、符号量を減らせる番組が存在しないため、全ての番組で画質低下が発生してしまう課題があった。
また、ある時刻において、複数の番組の画質を均等にすることは可能であるが、ある１つの番組に着目すると、時刻の経過に伴って画質が変動してしまうため（番組の入力画像の複雑さは逐次変動するため）、時間軸方向では番組の画質を安定させることが困難である課題があった。
さらに、他のデータを用いて出力レートの合わせ込みを行う場合には、他のデータの伝送容量が保証できないという課題があった。
【０００６】
この発明は上記のような課題を解決するためになされたもので、複数の番組の画質の均等化を図りながら、画質の時間的変動を抑えて、高画質な番組多重を図ることができるデータ多重化装置及びデータ多重化方法を得ることを目的とする。
さらに、同時に送出する他のデータの伝送容量を保証することができるデータ多重化装置及びデータ多重化方法を得ることを目的とする。
【課題を解決するための手段】
【０００７】
この発明に係るデータ多重化装置は、リアルタイムデータ符号化手段から出力された符号化データ及び非リアルタイムデータ出力手段から出力された非リアルタイムデータのうち、リアルタイムデータ符号化手段から出力されたリアルタイムデータの符号化データを優先的に多重化し、その多重化データの帯域と所定の伝送レートの差分の範囲内で、非リアルタイムデータ出力手段から出力された非リアルタイムデータを多重化して出力する多重化手段を設け、リアルタイムデータレート制御手段が、多重化手段から出力された多重化データに含まれているリアルタイムデータの符号化データの平均レートを計測し、その平均レートが所望の平均レートに近づくように、リアルタイムデータ符号化手段から出力される符号化データの符号量を制御するようにしたものである。
【発明の効果】
【０００８】
この発明によれば、リアルタイムデータ符号化手段から出力された符号化データ及び非リアルタイムデータ出力手段から出力された非リアルタイムデータのうち、リアルタイムデータ符号化手段から出力されたリアルタイムデータの符号化データを優先的に多重化し、その多重化データの帯域と所定の伝送レートの差分の範囲内で、非リアルタイムデータ出力手段から出力された非リアルタイムデータを多重化して出力する多重化手段を設け、リアルタイムデータレート制御手段が、多重化手段から出力された多重化データに含まれているリアルタイムデータの符号化データの平均レートを計測し、その平均レートが所望の平均レートに近づくように、リアルタイムデータ符号化手段から出力される符号化データの符号量を制御するように構成したので、複数の番組の画質の均等化を図りながら、画質の時間的変動を抑えて、高画質な番組多重を図ることができる効果がある。
【図面の簡単な説明】
【０００９】
【図１】この発明の実施の形態１によるデータ多重化装置を示す構成図である。
【図２】この発明の実施の形態１によるデータ多重化装置の処理内容（データ多重化方法）を示すフローチャートである。
【図３】多重化部３から出力される多重化データの一例を示す説明図である。
【図４】３種類のビデオ画質をほぼ一定にしてビデオデータを符号化したときの各ビデオデータの符号化データのビットレートを示す説明図である。
【図５】図４のビデオデータの符号化データの情報量の累計結果を示す説明図である。
【図６】情報量の累計結果と、所望の累計情報量（リアルタイムデータの符号化データの所望の平均レートを１２０ｋｂｐｓとする場合の所望の累計情報量）との差を示す説明図である。
【図７】この発明の実施の形態２によるデータ多重化装置を示す構成図である。
【図８】この発明の実施の形態２によるデータ多重化装置の処理内容（データ多重化方法）を示すフローチャートである。
【発明を実施するための形態】
【００１０】
実施の形態１．
図１はこの発明の実施の形態１によるデータ多重化装置を示す構成図である。
図１において、リアルタイムデータ符号化部１ａ，１ｂは例えばエンコーダなどから構成されており、復号装置側でリアルタイムに復号されて再生されることが想定されるリアルタイムデータ（例えば、ビデオデータやオーディオデータなどを含むメディアデータ）をリアルタイムに符号化して、そのリアルタイムデータの符号化データを出力する処理を実施する。
図１では、２台のリアルタイムデータ符号化部１ａ，１ｂがデータ多重化装置に多重化されている例を示しているが、１台だけ搭載されていてもよし、３台以上搭載されていてもよい。
なお、リアルタイムデータ符号化部１ａ，１ｂはリアルタイムデータ符号化手段を構成している。
【００１１】
非リアルタイムデータ出力部２ａ，２ｂは例えばサーバなどから構成されており、復号装置側で非リアルタイムに復号されて再生（復号装置側で一旦蓄積されてから復号されて再生）されることが想定される非リアルタイムデータ（例えば、以前から蓄積している符号化されたデータやファイルなど）を出力する処理を実施する。
図１では、２台の非リアルタイムデータ出力部２ａ，２ｂがデータ多重化装置に多重化されている例を示しているが、１台だけ搭載されていてもよいし、３台以上搭載されていてもよい。
なお、非リアルタイムデータ出力部２ａ，２ｂは非リアルタイムデータ出力手段を構成している。
【００１２】
多重化部３は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、リアルタイムデータ符号化部１ａ，１ｂ及び非リアルタイムデータ出力部２ａ，２ｂから出力された符号化データのうち、リアルタイムデータ符号化部１ａ，１ｂから出力されたリアルタイムデータの符号化データを優先的に多重化し、その多重化データの帯域と所定の伝送レートの差分の範囲内（残っている伝送レートの範囲内）で、非リアルタイムデータ出力部２ａ，２ｂから出力された非リアルタイムデータを多重化して出力する処理を実施する。
なお、多重化部３は多重化手段を構成している。
【００１３】
リアルタイムデータレート制御部４は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、多重化部３から出力された多重化データに含まれているリアルタイムデータの符号化データの平均レートを計測し、その平均レートが所望の平均レートに近づくように、リアルタイムデータ符号化部１ａ，１ｂから出力される符号化データの符号量を制御する処理を実施する。
即ち、リアルタイムデータレート制御部４は多重化部３から出力された多重化データに含まれているリアルタイムデータの符号化データの平均レートが所望の平均レートより高い場合、符号化データの符号量を下げる指示をリアルタイムデータ符号化部１ａ，１ｂに与え、そのリアルタイムデータの符号化データの平均レートが所望の平均レートより低い場合、符号化データの符号量を上げる指示をリアルタイムデータ符号化部１ａ，１ｂに与える処理を実施する。
なお、リアルタイムデータレート制御部４はリアルタイムデータレート制御手段を構成している。
【００１４】
図１では、データ多重化装置の構成要素であるリアルタイムデータ符号化部１ａ，１ｂ、非リアルタイムデータ出力部２ａ，２ｂ、多重化部３及びリアルタイムデータレート制御部４のそれぞれが専用のハードウェアで構成されているものを想定しているが、データ多重化装置がコンピュータで構成される場合、リアルタイムデータ符号化部１ａ，１ｂ、非リアルタイムデータ出力部２ａ，２ｂ、多重化部３及びリアルタイムデータレート制御部４の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図２はこの発明の実施の形態１によるデータ多重化装置の処理内容（データ多重化方法）を示すフローチャートである。
【００１５】
次に動作について説明する。
まず、リアルタイムデータ符号化部１ａ，１ｂは、初期画質レベルを設定する（ステップＳＴ１）。
リアルタイムデータ符号化部１ａ，１ｂは、復号装置側でリアルタイムに復号されて再生されることが想定されるリアルタイムデータ（例えば、ビデオデータを含むメディアデータ）を入力すると、その設定した画質レベルが得られるように、そのリアルタイムデータをリアルタイムに符号化して、そのリアルタイムデータの符号化データを出力する（ステップＳＴ２）。
【００１６】
リアルタイムデータ符号化部１ａ，１ｂでは、画質を安定させるため、出力する符号化データのデータ量が時間の経過に伴って変化することを想定している。
即ち、入力画像が複雑であれば、符号化データのデータ量が一時的に多くなる一方、入力画像が複雑でなければ、符号化データのデータ量が少なくなることを想定している。
なお、リアルタイムデータ符号化部１ａ，１ｂは、デジタル放送で、１つの番組を構成する複数のメディアを含む符号化データ列（例えば、ＭＰＥＧ−２ ＴＳ）を出力する装置に相当する。
【００１７】
非リアルタイムデータ出力部２ａ，２ｂは、復号装置側で非リアルタイムに復号されて再生（復号装置側で一旦蓄積されてから復号されて再生）されることが想定される非リアルタイムデータ（例えば、以前から蓄積している符号化されたデータやファイルなど）を出力する（ステップＳＴ３）。
なお、非リアルタイムデータは、図示せぬ非リアルタイムデータ出力部２ａ，２ｂの内部メモリに蓄積されているデータであってもよいし、外部から入力されたデータであってもよい。
【００１８】
多重化部３は、リアルタイムデータ符号化部１ａ，１ｂからリアルタイムデータの符号化データを受け、非リアルタイムデータ出力部２ａ，２ｂから非リアルタイムデータを受けると、それらの符号化データの中で、リアルタイムデータ符号化部１ａ，１ｂから出力されたリアルタイムデータの符号化データを優先的に多重化する（ステップＳＴ４）。
ただし、多重化部３は、所定の伝送レートＴＲＮｒａｔｅの範囲内で、リアルタイムデータの符号化データを多重化する。
【００１９】
多重化部３は、リアルタイムデータの符号化データが多重化されている多重化データの帯域である出力レートＯＵＴｒａｔｅが所定の伝送レートＴＲＮｒａｔｅに到達していなければ（ＯＵＴｒａｔｅ＜ＴＲＮｒａｔｅ）、残っている伝送レート（＝ＴＲＮｒａｔｅ−ＯＵＴｒａｔｅ）の範囲内で、非リアルタイムデータ出力部２ａ，２ｂから出力された非リアルタイムデータを多重化する（ステップＳＴ５，ＳＴ６）。
多重化データの出力レートＯＵＴｒａｔｅが所定の伝送レートＴＲＮｒａｔｅに到達していれば（ＯＵＴｒａｔｅ＝ＴＲＮｒａｔｅ）、非リアルタイムデータ出力部２ａ，２ｂから出力された非リアルタイムデータは多重化されない。
【００２０】
多重化部３は、リアルタイムデータの符号化データが多重化されている多重化データの出力レートＯＵＴｒａｔｅが一時的に所定の伝送レートＴＲＮｒａｔｅを超えることがある場合を想定して、非リアルタイムデータ出力部２ａ，２ｂから出力された非リアルタイムデータを一時的に格納する入力バッファ等を内部に備えており、一時的な符号化データの過多に対応可能な構成になっている。
したがって、多重化部３は、非リアルタイムデータ出力部２ａ，２ｂから出力された全ての非リアルタイムデータを多重化することができない場合、一部の非リアルタイムデータを入力バッファに一時的に格納し、多重化が可能なタイミングで、入力バッファから非リアルタイムデータを読み出して多重化する。
【００２１】
多重化部３は、リアルタイムデータの符号化データ及び非リアルタイムデータを多重化すると、その多重化データを出力する（ステップＳＴ７）。
多重化部３が上記のような処理を行うことで、リアルタイムデータ符号化部１ａ，１ｂから出力されたリアルタイムデータの符号化データを優先して多重化しながら、非リアルタイムデータ出力部２ａ，２ｂから出力された非リアルタイムデータを所定の伝送レートＴＲＮｒａｔｅになるまで多重化することができる。
仮に、リアルタイムデータの符号化データと非リアルタイムデータを合わせても、多重化データの出力レートＯＵＴｒａｔｅが所定の伝送レートＴＲＮｒａｔｅに到達しない場合は、例えば、スタッフィングデータ等を多重化することで、多重化データの出力レートＯＵＴｒａｔｅが所定の伝送レートＴＲＮｒａｔｅに達するようにすることも可能である。
【００２２】
リアルタイムデータレート制御部４は、多重化部３が多重化データを出力すると、その多重化データに含まれているリアルタイムデータの符号化データの平均レートＡＶＥｒａｔｅを計測する（ステップＳＴ８）。
リアルタイムデータレート制御部４は、リアルタイムデータの符号化データの平均レートＡＶＥｒａｔｅを計測すると、その平均レートＡＶＥｒａｔｅが所望の平均レートＡＶＥｒａｔｅrefに近づくように、リアルタイムデータ符号化部１ａ，１ｂから出力される符号化データの符号量を制御する。
【００２３】
即ち、リアルタイムデータレート制御部４は、リアルタイムデータの符号化データの平均レートＡＶＥｒａｔｅが所望の平均レートＡＶＥｒａｔｅrefより高い場合（ステップＳＴ９）、符号化データの符号量を下げる指示をリアルタイムデータ符号化部１ａ，１ｂに与える（ステップＳＴ１０）。
符号化データの符号量を下げる指示としては、例えば、先に設定されている画質レベルを下げる（画質を低下させる）指示が考えられる。
これにより、リアルタイムデータ符号化部１ａ，１ｂから出力されるリアルタイムデータの符号化データの平均レートＡＶＥｒａｔｅが下がるため、リアルタイムデータの符号化データの平均レートＡＶＥｒａｔｅを所望の平均レートＡＶＥｒａｔｅrefに近づけることが可能になる。
【００２４】
リアルタイムデータレート制御部４は、リアルタイムデータの符号化データの平均レートＡＶＥｒａｔｅが所望の平均レートＡＶＥｒａｔｅrefより低い場合（ステップＳＴ９）、符号化データの符号量を上げる指示をリアルタイムデータ符号化部１ａ，１ｂに与える（ステップＳＴ１１）。
符号化データの符号量を上げる指示としては、例えば、先に設定されている画質レベルを上げる（画質を向上させる）指示が考えられる。
これにより、リアルタイムデータ符号化部１ａ，１ｂから出力されるリアルタイムデータの符号化データの平均レートＡＶＥｒａｔｅが上がるため、リアルタイムデータの符号化データの平均レートＡＶＥｒａｔｅを所望の平均レートＡＶＥｒａｔｅrefに近づけることが可能になる。
【００２５】
ここでは、リアルタイムデータの符号化データの平均レートＡＶＥｒａｔｅが所望の平均レートＡＶＥｒａｔｅrefより高い場合、符号化データの符号量を下げる指示をリアルタイムデータ符号化部１ａ，１ｂに与える一方、リアルタイムデータの符号化データの平均レートＡＶＥｒａｔｅが所望の平均レートＡＶＥｒａｔｅrefより低い場合、符号化データの符号量を上げる指示をリアルタイムデータ符号化部１ａ，１ｂに与えるものを示したが、リアルタイムデータの符号化データの平均レートＡＶＥｒａｔｅと所望の平均レートＡＶＥｒａｔｅrefとの差が小さい場合（差が所定の閾値より小さい場合）、符号化データの符号量を変更する指示をリアルタイムデータ符号化部１ａ，１ｂに与えないようにしてもよい。
この場合、リアルタイムデータの符号化データの平均レートＡＶＥｒａｔｅと所望の平均レートＡＶＥｒａｔｅrefが近いときには画質レベルが変更されなくなるため、画質を安定させることができる。
【００２６】
なお、リアルタイムデータレート制御部４は、多重化部３から出力された多重化データの調査を行わずに、多重化部３よりリアルタイムデータのレート情報の通知を受けて、リアルタイムデータ符号化部１ａ，１ｂから出力される符号化データの符号量を制御するようにしてもよい。
以降、ステップＳＴ２の処理に戻り、ステップＳＴ２〜ＳＴ１１の処理が繰り返し実施される。
【００２７】
ここで、図３は多重化部３から出力される多重化データの一例を示す説明図である。
ただし、図３では、３台のリアルタイムデータ符号化部１と、１台の非リアルタイムデータ出力部２がデータ多重装置に搭載されている場合の多重化データの一例を示している。
多重化部３は、上述したように、多重化データの出力レートＯＵＴｒａｔｅが所定の伝送レートＴＲＮｒａｔｅと一致するように、リアルタイムデータの符号化データ（１）〜（３）と非リアルタイムデータとを多重化するので、リアルタイムデータの符号化データ（１）〜（３）と非リアルタイムデータとの合計レートは、常に伝送レートＴＲＮｒａｔｅと一致する。
【００２８】
ただし、リアルタイムデータの符号化データ（１）〜（３）の出力レートは、入力画像の複雑さ等により変動する。
このため、所望の平均レートＡＶＥｒａｔｅref（図３の中段の点線）が予め設定され、リアルタイムデータの符号化データ（１）〜（３）の出力レートの合計が、所望の平均レートＡＶＥｒａｔｅrefの付近で変動する。
【００２９】
例えば、リアルタイムデータの符号化データ（１）〜（３）の出力レートの合計が、所望の平均レートＡＶＥｒａｔｅrefを超えた場合には、リアルタイムデータレート制御部４が、３台のリアルタイムデータ符号化部１に対して、符号化データの符号量を下げる指示を出力することで、リアルタイムデータの符号化データ（１）〜（３）の出力レートが下がり、最終的に符号化データ（１）〜（３）の出力レートの合計が所望の平均レートＡＶＥｒａｔｅrefに近づくことになる。
逆に、リアルタイムデータの符号化データ（１）〜（３）の出力レートの合計が、所望の平均レートＡＶＥｒａｔｅrefに満たない場合には、リアルタイムデータレート制御部４が、３台のリアルタイムデータ符号化部１に対して、符号化データの符号量を上げる指示を出力することで、リアルタイムデータの符号化データ（１）〜（３）の出力レートが上がり、最終的に符号化データ（１）〜（３）の出力レートの合計が所望の平均レートＡＶＥｒａｔｅrefに近づくことになる。
【００３０】
このように、実際に出力しているリアルタイムデータの符号化データ（１）〜（３）の出力レートの合計を監視し、所望の平均レートＡＶＥｒａｔｅrefとの差に応じて符号化データ（１）〜（３）の符号量を調整することで、リアルタイムデータの総レートと非リアルタイムデータの総レートを所望のレートに近づけることができる。
このとき、リアルタイムデータの符号化データ（１）〜（３）の一時的な符号量の増減を許しているため、急激な画質低下は発生せずに、安定した画質のリアルタイム番組の多重化が行える。
【００３１】
ただし、リアルタイムデータレート制御部４は、リアルタイムデータの符号化データの平均レートＡＶＥｒａｔｅを計測する際、ある期間毎に平均レートＡＶＥｒａｔｅを計測して、その平均レートＡＶＥｒａｔｅが所望の平均レートＡＶＥｒａｔｅrefに近づくように、リアルタイムデータ符号化部１ａ，１ｂから出力される符号化データの符号量を制御しようとすると、その時点でのリアルタイムデータの符号化データの平均レートＡＶＥｒａｔｅを所望の平均レートＡＶＥｒａｔｅrefに近づけることができるが、長い期間で見ると、リアルタイムデータの符号化データの平均レートＡＶＥｒａｔｅが所望の平均レートＡＶＥｒａｔｅrefからずれてしまうことがある。
【００３２】
そこで、リアルタイムデータレート制御部４は、多重化部３から多重化データの出力が開始された時点ＴSTARTから多重化データに含まれているリアルタイムデータの符号化データのデータ量Ｄを累積するとともに、その出力開始時点ＴSTARTから現時点ＴNOWに至るまでの経過時間ΔＴ（＝ＴNOW−ＴSTART）と所望の平均レートＡＶＥｒａｔｅrefを乗算する。
そして、リアルタイムデータレート制御部４は、データ量Ｄの累積値Ｄａｃｃｕｍと、経過時間ΔＴと所望の平均レートＡＶＥｒａｔｅrefの乗算結果ΔＴ×ＡＶＥｒａｔｅrefとを比較し、データ量Ｄの累積値Ｄａｃｃｕｍが乗算結果ΔＴ×ＡＶＥｒａｔｅrefより大きければ、符号化データの符号量を下げる指示をリアルタイムデータ符号化部１ａ，１ｂに与える。
一方、データ量Ｄの累積値Ｄａｃｃｕｍが乗算結果ΔＴ×ＡＶＥｒａｔｅrefより小さければ、符号化データの符号量を上げる指示をリアルタイムデータ符号化部１ａ，１ｂに与える。
このようにすることで、データ量Ｄの累積値Ｄａｃｃｕｍを所望のデータ総量に近づけることができるため、長い期間で見ても、リアルタイムデータの符号化データの平均レートＡＶＥｒａｔｅを所望の平均レートＡＶＥｒａｔｅrefに近づけることができる。
【００３３】
図４は３種類のビデオ画質をほぼ一定にしてビデオデータを符号化したときの各ビデオデータの符号化データのビットレートを示す説明図である。
各ビデオデータの符号化データは、ビットレートが時々刻々と変動し、３つの符号化データの総出力レートも変動する。
図５は図４のビデオデータの符号化データの情報量の累計結果を示す説明図である。
また、図６は情報量の累計結果と、所望の累計情報量（リアルタイムデータの符号化データの所望の平均レートを１２０ｋｂｐｓとする場合の所望の累計情報量）との差を示す説明図である。
図５のように、符号化データの総出力レートのレート変動を多少許容することで、画質が一定の符号化処理を行えるとともに、所望の平均レートも達成することができる。
【００３４】
以上で明らかなように、この実施の形態１によれば、リアルタイムデータ符号化部１ａ，１ｂ及び非リアルタイムデータ出力部２ａ，２ｂから出力された符号化データのうち、リアルタイムデータ符号化部１ａ，１ｂから出力されたリアルタイムデータの符号化データを優先的に多重化し、その多重化データの出力レートＯＵＴｒａｔｅと所定の伝送レートＴＲＮｒａｔｅの差分の範囲内で、非リアルタイムデータ出力部２ａ，２ｂから出力された非リアルタイムデータを多重化して出力する多重化部３を設け、リアルタイムデータレート制御部４が、多重化部３から出力された多重化データに含まれているリアルタイムデータの符号化データの平均レートＡＶＥｒａｔｅを計測し、その平均レートＡＶＥｒａｔｅが所望の平均レートＡＶＥｒａｔｅrefに近づくように、リアルタイムデータ符号化部１ａ，１ｂから出力される符号化データの符号量を制御するように構成したので、複数の番組の画質の均等化を図りながら、画質の時間的変動を抑えて、高画質な番組多重を図ることができる効果を奏する。
【００３５】
実施の形態２．
上記実施の形態１では、リアルタイムデータレート制御部４が、多重化部３から出力された多重化データに含まれているリアルタイムデータの符号化データの平均レートＡＶＥｒａｔｅを計測し、その平均レートＡＶＥｒａｔｅが所望の平均レートＡＶＥｒａｔｅrefに近づくように、リアルタイムデータ符号化部１ａ，１ｂから出力される符号化データの符号量を制御するものを示したが、多重化部３から出力された多重化データに含まれている非リアルタイムデータの平均レートＡＶＥｒａｔｅ’を計測し、その平均レートＡＶＥｒａｔｅ’が所望の平均レートＡＶＥｒａｔｅref’に近づくように、リアルタイムデータ符号化部１ａ，１ｂから出力される符号化データの符号量を制御するようにしてもよい。
【００３６】
図７はこの発明の実施の形態２によるデータ多重化装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
リアルタイムデータレート制御部５は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、多重化部３から出力された多重化データに含まれている非リアルタイムデータの平均レートＡＶＥｒａｔｅ’を計測し、その平均レートＡＶＥｒａｔ’が所望の平均レートＡＶＥｒａｔｅref’に近づくように、リアルタイムデータ符号化部１ａ，１ｂから出力される符号化データの符号量を制御する処理を実施する。
即ち、リアルタイムデータレート制御部５は多重化部３から出力された多重化データに含まれている非リアルタイムデータの平均レートＡＶＥｒａｔｅ’が所望の平均レートＡＶＥｒａｔｅref’より高い場合、符号化データの符号量を上げる指示をリアルタイムデータ符号化部１ａ，１ｂに与え、その非リアルタイムデータの平均レートＡＶＥｒａｔｅ’が所望の平均レートＡＶＥｒａｔｅref’より低い場合、符号化データの符号量を下げる指示をリアルタイムデータ符号化部１ａ，１ｂに与える処理を実施する。
なお、リアルタイムデータレート制御部５はリアルタイムデータレート制御手段を構成している。
【００３７】
図７では、データ多重化装置の構成要素であるリアルタイムデータ符号化部１ａ，１ｂ、非リアルタイムデータ出力部２ａ，２ｂ、多重化部３及びリアルタイムデータレート制御部５のそれぞれが専用のハードウェアで構成されているものを想定しているが、データ多重化装置がコンピュータで構成される場合、リアルタイムデータ符号化部１ａ，１ｂ、非リアルタイムデータ出力部２ａ，２ｂ、多重化部３及びリアルタイムデータレート制御部５の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図８はこの発明の実施の形態２によるデータ多重化装置の処理内容（データ多重化方法）を示すフローチャートである。
【００３８】
次に動作について説明する。
ただし、リアルタイムデータレート制御部５以外は、上記実施の形態１と同様であるため、リアルタイムデータレート制御部５の処理内容のみを説明する。
リアルタイムデータレート制御部５は、多重化部３が多重化データを出力すると、その多重化データに含まれている非リアルタイムデータの平均レートＡＶＥｒａｔｅ’を計測する（ステップＳＴ２１）。
リアルタイムデータレート制御部５は、非リアルタイムデータの平均レートＡＶＥｒａｔｅ’を計測すると、その平均レートＡＶＥｒａｔｅ’が所望の平均レートＡＶＥｒａｔｅref’に近づくように、リアルタイムデータ符号化部１ａ，１ｂから出力される符号化データの符号量を制御する。
【００３９】
即ち、リアルタイムデータレート制御部５は、非リアルタイムデータの平均レートＡＶＥｒａｔｅ’が所望の平均レートＡＶＥｒａｔｅref’より高い場合（ステップＳＴ２２）、符号化データの符号量を上げる指示をリアルタイムデータ符号化部１ａ，１ｂに与える（ステップＳＴ２３）。
符号化データの符号量を上げる指示としては、例えば、先に設定されている画質レベルを上げる（画質を向上させる）指示が考えられる。
これにより、リアルタイムデータ符号化部１ａ，１ｂから出力されるリアルタイムデータの符号化データの平均レートＡＶＥｒａｔｅが上がるため、多重化部３で非リアルタイムデータ出力部２ａ，２ｂから出力される非リアルタイムデータが多重化される割合が低下する。そのため、非リアルタイムデータの平均レートＡＶＥｒａｔｅ’を所望の平均レートＡＶＥｒａｔｅref’に近づけることが可能になる。
【００４０】
リアルタイムデータレート制御部５は、非リアルタイムデータの平均レートＡＶＥｒａｔｅ’が所望の平均レートＡＶＥｒａｔｅref’より低い場合（ステップＳＴ２２）、符号化データの符号量を下げる指示をリアルタイムデータ符号化部１ａ，１ｂに与える（ステップＳＴ２４）。
符号化データの符号量を下げる指示としては、例えば、先に設定されている画質レベルを下げる（画質を低下させる）指示が考えられる。
これにより、リアルタイムデータ符号化部１ａ，１ｂから出力されるリアルタイムデータの符号化データの平均レートＡＶＥｒａｔｅが下がるため、多重化部３で非リアルタイムデータ出力部２ａ，２ｂから出力される非リアルタイムデータが多重化される割合が上昇する。そのため、非リアルタイムデータの平均レートＡＶＥｒａｔｅ’を所望の平均レートＡＶＥｒａｔｅref’に近づけることが可能になる。
【００４１】
ここでは、非リアルタイムデータの平均レートＡＶＥｒａｔｅ’が所望の平均レートＡＶＥｒａｔｅref’より高い場合、符号化データの符号量を上げる指示をリアルタイムデータ符号化部１ａ，１ｂに与える一方、非リアルタイムデータの平均レートＡＶＥｒａｔｅ’が所望の平均レートＡＶＥｒａｔｅref’より低い場合、符号化データの符号量を下げる指示をリアルタイムデータ符号化部１ａ，１ｂに与えるものを示したが、非リアルタイムデータの平均レートＡＶＥｒａｔｅ’と所望の平均レートＡＶＥｒａｔｅref’との差が小さい場合（差が所定の閾値より小さい場合）、符号化データの符号量を変更する指示をリアルタイムデータ符号化部１ａ，１ｂに与えないようにしてもよい。
この場合、非リアルタイムデータの平均レートＡＶＥｒａｔｅ’と所望の平均レートＡＶＥｒａｔｅref’が近いときには画質レベルが変更されなくなるため、画質を安定させることができる。
【００４２】
また、リアルタイムデータレート制御部５は、多重化部３から出力された多重化データの調査を行わずに、多重化部３より非リアルタイムデータのレート情報の通知を受けて、リアルタイムデータ符号化部１ａ，１ｂから出力される符号化データの符号量を制御するようにしてもよい。
以降、ステップＳＴ２の処理に戻り、ステップＳＴ２〜ＳＴ２４の処理が繰り返し実施される。
【００４３】
ただし、リアルタイムデータレート制御部５は、非リアルタイムデータの平均レートＡＶＥｒａｔｅ’を計測する際、ある期間毎に平均レートＡＶＥｒａｔｅ’を計測して、その平均レートＡＶＥｒａｔｅ’が所望の平均レートＡＶＥｒａｔｅref’に近づくように、リアルタイムデータ符号化部１ａ，１ｂから出力される符号化データの符号量を制御しようとすると、その時点での非リアルタイムデータの平均レートＡＶＥｒａｔｅ’を所望の平均レートＡＶＥｒａｔｅref’に近づけることができるが、長い期間で見ると、非リアルタイムデータの平均レートＡＶＥｒａｔｅ’が所望の平均レートＡＶＥｒａｔｅref’からずれてしまうことがある。
【００４４】
そこで、リアルタイムデータレート制御部５は、多重化部３から多重化データの出力が開始された時点ＴSTARTから多重化データに含まれている非リアルタイムデータのデータ量Ｄを累積するとともに、その出力開始時点ＴSTARTから現時点ＴNOWに至るまでの経過時間ΔＴ（＝ＴNOW−ＴSTART）と所望の平均レートＡＶＥｒａｔｅref’を乗算する。
そして、リアルタイムデータレート制御部５は、データ量Ｄの累積値Ｄａｃｃｕｍと、経過時間ΔＴと所望の平均レートＡＶＥｒａｔｅref’の乗算結果ΔＴ×ＡＶＥｒａｔｅref’とを比較し、データ量Ｄの累積値Ｄａｃｃｕｍが乗算結果ΔＴ×ＡＶＥｒａｔｅref’より大きければ、符号化データの符号量を上げる指示をリアルタイムデータ符号化部１ａ，１ｂに与える。
一方、データ量Ｄの累積値Ｄａｃｃｕｍが乗算結果ΔＴ×ＡＶＥｒａｔｅref’より小さければ、符号化データの符号量を下げる指示をリアルタイムデータ符号化部１ａ，１ｂに与える。
このようにすることで、データ量Ｄの累積値Ｄａｃｃｕｍを所望のデータ総量に近づけることができるため、長い期間で見ても、非リアルタイムデータの平均レートＡＶＥｒａｔｅ’を所望の平均レートＡＶＥｒａｔｅref’に近づけることができる。
【００４５】
以上で明らかなように、この実施の形態２によれば、リアルタイムデータ符号化部１ａ，１ｂ及び非リアルタイムデータ出力部２ａ，２ｂから出力された符号化データのうち、リアルタイムデータ符号化部１ａ，１ｂから出力されたリアルタイムデータの符号化データを優先的に多重化し、その多重化データの出力レートＯＵＴｒａｔｅと所定の伝送レートＴＲＮｒａｔｅの差分の範囲内で、非リアルタイムデータ出力部２ａ，２ｂから出力された非リアルタイムデータを多重化して出力する多重化部３を設け、リアルタイムデータレート制御部５が、多重化部３から出力された多重化データに含まれている非リアルタイムデータの平均レートＡＶＥｒａｔｅ’を計測し、その平均レートＡＶＥｒａｔｅ’が所望の平均レートＡＶＥｒａｔｅrefに近づくように、リアルタイムデータ符号化部１ａ，１ｂから出力される符号化データの符号量を制御するように構成したので、複数の番組の画質の均等化を図りながら、画質の時間的変動を抑えて、高画質な番組多重を図ることができるとともに、非リアルタイムデータの平均レートを保証することができる効果を奏する。
【００４６】
なお、この実施の形態２では、リアルタイムデータレート制御部５が、多重化部３から出力された多重化データに含まれている非リアルタイムデータの平均レートＡＶＥｒａｔｅ’が所望の平均レートＡＶＥｒａｔｅrefに近づくように、リアルタイムデータ符号化部１ａ，１ｂから出力される符号化データの符号量を制御するものを示したが、非リアルタイムデータ出力部２ａ，２ｂが非リアルタイムデータを固定レートで多重化部３に出力し、多重化部３が、非リアルタイムデータを一時的に入力バッファ（図示せず）に蓄積しながら多重化を行う場合、リアルタイムデータレート制御部５が、多重化部３の入力バッファに蓄積された非リアルタイムデータのデータ総量に基づいて、リアルタイムデータ符号化部１ａ，１ｂから出力される符号化データの符号量を制御するようにしてもよい。
この場合も、非リアルタイムデータの出力データ総量を所望の値に保つことができる。また、リアルタイムデータに含まれるビデオ画質の急激な変動を抑えることができる。
【００４７】
図６に示すように、実際のリアルタイムデータの総量と所望のリアルタイムデータの総量との差が大きくなると、非リアルタイムデータの総量も所望の非リアルタイムデータの総量からずれてしまう。
例えば、非リアルタイムデータを或るレートで伝送することを想定した場合、実際のデータ総量と想定のデータ総量の差を想定レートで割った時間だけ、非リアルタイムデータの送信タイミングがずれることになる。
図６の例では、非リアルタイムデータの想定レートが１２０ｋｂｐｓとして、実際のリアルタイムデータの総量と所望のリアルタイムデータの総量との差が１２ｋｂｙｔｅであった場合、１２ｋ×８／１２０ｋ＝０．８となり、非リアルタイムデータの送信タイミングが、０．８秒だけ想定のタイミングよりずれることになる。
【００４８】
そのため、非リアルタイムデータの実際のデータ総量と想定のデータ総量との差が、ある閾値を超えないように、リアルタイムデータレート制御部５が、リアルタイムデータ符号化部１ａ，１ｂから出力される符号化データの符号量を制御することで、非リアルタイムデータの送信タイミングが、想定の送信タイミングから大きく変動することがなくなる。
このように、非リアルタイムデータの実際のデータ総量と想定のデータ総量との差が所定の閾値以下になるように制御することで、非リアルタイムデータの送信タイミングが、想定の送信タイミングから大きくずれることがなくなり、復号装置側で想定したタイミングで受信することが可能になる。
【００４９】
上記実施の形態１，２では、リアルタイムデータ符号化部１ａ，１ｂが、リアルタイムデータとして、例えば、ビデオデータを含むメディアデータを符号化する際、設定した画質レベルが得られるように、そのリアルタイムデータをリアルタイムに符号化（ビデオ画質が一定になるように符号化）し、リアルタイムデータレート制御部４，５から符号量を下げる指示を受けると、画質が少し低下するように符号化処理を実施して、符号化データの符号量を低下させる。逆に、リアルタイムデータレート制御部４，５から符号量を上げる指示を受けると、画質が少し向上するように符号化処理を実施して、符号化データの符号量を増加させる。
このように、リアルタイムデータ符号化部１ａ，１ｂでは、符号化データの出力レートを直接制御するのではなく、画質レベルを制御するようにしているので、リアルタイムデータレート制御部４，５から指示を受けなければ、画質が一定になる。また、リアルタイムデータレート制御部４，５から指示を受けても、画質を安定的に少しだけ調整するため、画質の変動は抑えられる。
なお、リアルタイムデータ符号化部１ａ，１ｂが画質レベルを制御するのではなく、符号化データの出力レートを所望のレートに合わせようとすると、入力画像の複雑さに依存して画質レベルが変動してしまうため、画質レベルが安定しなくなる不具合を生じることが想定される。
【００５０】
上記実施の形態１，２では、リアルタイムデータレート制御部４，５が、逐次、平均レートＡＶＥｒａｔｅ（ＡＶＥｒａｔｅ’）が所望の平均レートＡＶＥｒａｔｅref（ＡＶＥｒａｔｅref’）に近づくように、リアルタイムデータ符号化部１ａ，１ｂから出力される符号化データの符号量を制御するものを示したが、リアルタイムデータレート制御部４，５が制御を行う度に、リアルタイムデータ符号化部１ａ，１ｂから出力される符号化データの画質が変動する。
リアルタイムデータ符号化部１ａ，１ｂから出力される符号化データの画質の変動を抑制するため、リアルタイムデータレート制御部４，５における符号量の制御回数及び制御幅を制限し、所定の制御回数及び制御幅の範囲内で、リアルタイムデータレート制御部４，５が符号化データの符号量を制御するようにしてもよい。
【００５１】
リアルタイムデータレート制御部４，５における符号量の制御回数として、例えば、１分間の上限制御回数“Ｎ回”が設定された場合、リアルタイムデータレート制御部４，５における制御回数が、１分間でＮ回を超えないように制限される。
また、リアルタイムデータレート制御部４，５における符号量の制御幅として、例えば、１回の制御による画質の上限変動幅Ｗが設定された場合、リアルタイムデータレート制御部４，５における１回の制御で、画質の上限変動幅Ｗを超えないように制限される。
【００５２】
ここでは、リアルタイムデータレート制御部４，５における符号量の制御回数及び制御幅を制限するものを示したが、リアルタイムデータレート制御部４，５が、多重化部３から多重化データの出力が開始された時点ＴSTARTから非リアルタイムデータのデータ量Ｄを累積し、そのデータ量Ｄの累積値Ｄａｃｃｕｍと所望のデータ総量の差が所定値を超えた場合に限り、リアルタイムデータ符号化部１ａ，１ｂから出力される符号化データの符号量を制御するようにしてもよい。
これにより、データ量Ｄの累積値Ｄａｃｃｕｍと所望のデータ総量の差が所定値の範囲内で変動している間は、リアルタイムデータ符号化部１ａ，１ｂから出力される符号化データの符号量が制御されないため、リアルタイムデータの画質が安定する。また、差が所定値の範囲を超えた場合でも、大きく画質を変えるような制御を与えず、少しずつ画質を変更するようにすることで、画質変化をなだらかに推移させることができる。
【００５３】
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【符号の説明】
【００５４】
１ａ，１ｂ リアルタイムデータ符号化部（リアルタイムデータ符号化手段）、２ａ，２ｂ 非リアルタイムデータ出力部（非リアルタイムデータ出力手段）、３ 多重化部（多重化手段）、４，５ リアルタイムデータレート制御部（リアルタイムデータレート制御手段）。
【技術分野】
【０００１】
この発明は、例えば、複数の番組のメディアデータを効率よく多重化して出力するデータ多重化装置及びデータ多重化方法に関するものである。
【背景技術】
【０００２】
例えば、デジタル放送のように、伝送帯域が限られている状況化では、複数の番組を効率よく多重化して出力する必要があり、以下の特許文献１には、複数の番組を効率よく多重化して出力するデータ多重化装置（統計多重を行うデータ多重化装置）が開示されている。
一般に、ビデオデータを符号化する場合、入力画像の複雑さや動きの大きさなどが異なると、同じ画質のビデオ符号化データを生成する場合でも符号量が大きく変動する。
上記のデータ多重化装置では、複数の番組を多重化して出力する際、複数の番組のビデオの画質が均等になるように、各番組の入力画像の複雑さを符号化前に調査し、複雑な入力画像の番組には多くの符号量を割り当て、複雑でない入力画像の番組には少ない符号量を割り当てるようにしている。
このとき、符号量の合計が伝送帯域と一致するように制御することで、限られた伝送帯域の中で、複数の番組の画質を同等に保ちながら、複数の番組の多重化を行うことが可能となる。
【０００３】
また、以下の特許文献２には、統計多重を行う際に、空いている帯域で他のデータを多重する方法が開示されている。
統計多重によって可変レートのデータの総和を出力レートに合わせ込めない場合、空いている帯域で他のデータを多重することで効率的な多重化を達成することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４４４１８３９号
【特許文献２】特許第４２０６５５９号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来のデータ多重化装置は以上のように構成されているので、ある時刻において、複数の番組の画質を均等にすることを目的として、符号量の配分を行うようにしている。このため、入力画像が複雑な番組と入力画像が複雑でない番組が混在する場合、入力画像が複雑でない番組に割り当てる符号量を減らして、入力画像が複雑な番組により多くの符号量を割り当てることで、入力画像が複雑な番組の画質低下を抑えることができる。しかし、全ての番組の入力画像が複雑な場合、符号量を減らせる番組が存在しないため、全ての番組で画質低下が発生してしまう課題があった。
また、ある時刻において、複数の番組の画質を均等にすることは可能であるが、ある１つの番組に着目すると、時刻の経過に伴って画質が変動してしまうため（番組の入力画像の複雑さは逐次変動するため）、時間軸方向では番組の画質を安定させることが困難である課題があった。
さらに、他のデータを用いて出力レートの合わせ込みを行う場合には、他のデータの伝送容量が保証できないという課題があった。
【０００６】
この発明は上記のような課題を解決するためになされたもので、複数の番組の画質の均等化を図りながら、画質の時間的変動を抑えて、高画質な番組多重を図ることができるデータ多重化装置及びデータ多重化方法を得ることを目的とする。
さらに、同時に送出する他のデータの伝送容量を保証することができるデータ多重化装置及びデータ多重化方法を得ることを目的とする。
【課題を解決するための手段】
【０００７】
この発明に係るデータ多重化装置は、リアルタイムデータ符号化手段から出力された符号化データ及び非リアルタイムデータ出力手段から出力された非リアルタイムデータのうち、リアルタイムデータ符号化手段から出力されたリアルタイムデータの符号化データを優先的に多重化し、その多重化データの帯域と所定の伝送レートの差分の範囲内で、非リアルタイムデータ出力手段から出力された非リアルタイムデータを多重化して出力する多重化手段を設け、リアルタイムデータレート制御手段が、多重化手段から出力された多重化データに含まれているリアルタイムデータの符号化データの平均レートを計測し、その平均レートが所望の平均レートに近づくように、リアルタイムデータ符号化手段から出力される符号化データの符号量を制御するようにしたものである。
【発明の効果】
【０００８】
この発明によれば、リアルタイムデータ符号化手段から出力された符号化データ及び非リアルタイムデータ出力手段から出力された非リアルタイムデータのうち、リアルタイムデータ符号化手段から出力されたリアルタイムデータの符号化データを優先的に多重化し、その多重化データの帯域と所定の伝送レートの差分の範囲内で、非リアルタイムデータ出力手段から出力された非リアルタイムデータを多重化して出力する多重化手段を設け、リアルタイムデータレート制御手段が、多重化手段から出力された多重化データに含まれているリアルタイムデータの符号化データの平均レートを計測し、その平均レートが所望の平均レートに近づくように、リアルタイムデータ符号化手段から出力される符号化データの符号量を制御するように構成したので、複数の番組の画質の均等化を図りながら、画質の時間的変動を抑えて、高画質な番組多重を図ることができる効果がある。
【図面の簡単な説明】
【０００９】
【図１】この発明の実施の形態１によるデータ多重化装置を示す構成図である。
【図２】この発明の実施の形態１によるデータ多重化装置の処理内容（データ多重化方法）を示すフローチャートである。
【図３】多重化部３から出力される多重化データの一例を示す説明図である。
【図４】３種類のビデオ画質をほぼ一定にしてビデオデータを符号化したときの各ビデオデータの符号化データのビットレートを示す説明図である。
【図５】図４のビデオデータの符号化データの情報量の累計結果を示す説明図である。
【図６】情報量の累計結果と、所望の累計情報量（リアルタイムデータの符号化データの所望の平均レートを１２０ｋｂｐｓとする場合の所望の累計情報量）との差を示す説明図である。
【図７】この発明の実施の形態２によるデータ多重化装置を示す構成図である。
【図８】この発明の実施の形態２によるデータ多重化装置の処理内容（データ多重化方法）を示すフローチャートである。
【発明を実施するための形態】
【００１０】
実施の形態１．
図１はこの発明の実施の形態１によるデータ多重化装置を示す構成図である。
図１において、リアルタイムデータ符号化部１ａ，１ｂは例えばエンコーダなどから構成されており、復号装置側でリアルタイムに復号されて再生されることが想定されるリアルタイムデータ（例えば、ビデオデータやオーディオデータなどを含むメディアデータ）をリアルタイムに符号化して、そのリアルタイムデータの符号化データを出力する処理を実施する。
図１では、２台のリアルタイムデータ符号化部１ａ，１ｂがデータ多重化装置に多重化されている例を示しているが、１台だけ搭載されていてもよし、３台以上搭載されていてもよい。
なお、リアルタイムデータ符号化部１ａ，１ｂはリアルタイムデータ符号化手段を構成している。
【００１１】
非リアルタイムデータ出力部２ａ，２ｂは例えばサーバなどから構成されており、復号装置側で非リアルタイムに復号されて再生（復号装置側で一旦蓄積されてから復号されて再生）されることが想定される非リアルタイムデータ（例えば、以前から蓄積している符号化されたデータやファイルなど）を出力する処理を実施する。
図１では、２台の非リアルタイムデータ出力部２ａ，２ｂがデータ多重化装置に多重化されている例を示しているが、１台だけ搭載されていてもよいし、３台以上搭載されていてもよい。
なお、非リアルタイムデータ出力部２ａ，２ｂは非リアルタイムデータ出力手段を構成している。
【００１２】
多重化部３は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、リアルタイムデータ符号化部１ａ，１ｂ及び非リアルタイムデータ出力部２ａ，２ｂから出力された符号化データのうち、リアルタイムデータ符号化部１ａ，１ｂから出力されたリアルタイムデータの符号化データを優先的に多重化し、その多重化データの帯域と所定の伝送レートの差分の範囲内（残っている伝送レートの範囲内）で、非リアルタイムデータ出力部２ａ，２ｂから出力された非リアルタイムデータを多重化して出力する処理を実施する。
なお、多重化部３は多重化手段を構成している。
【００１３】
リアルタイムデータレート制御部４は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、多重化部３から出力された多重化データに含まれているリアルタイムデータの符号化データの平均レートを計測し、その平均レートが所望の平均レートに近づくように、リアルタイムデータ符号化部１ａ，１ｂから出力される符号化データの符号量を制御する処理を実施する。
即ち、リアルタイムデータレート制御部４は多重化部３から出力された多重化データに含まれているリアルタイムデータの符号化データの平均レートが所望の平均レートより高い場合、符号化データの符号量を下げる指示をリアルタイムデータ符号化部１ａ，１ｂに与え、そのリアルタイムデータの符号化データの平均レートが所望の平均レートより低い場合、符号化データの符号量を上げる指示をリアルタイムデータ符号化部１ａ，１ｂに与える処理を実施する。
なお、リアルタイムデータレート制御部４はリアルタイムデータレート制御手段を構成している。
【００１４】
図１では、データ多重化装置の構成要素であるリアルタイムデータ符号化部１ａ，１ｂ、非リアルタイムデータ出力部２ａ，２ｂ、多重化部３及びリアルタイムデータレート制御部４のそれぞれが専用のハードウェアで構成されているものを想定しているが、データ多重化装置がコンピュータで構成される場合、リアルタイムデータ符号化部１ａ，１ｂ、非リアルタイムデータ出力部２ａ，２ｂ、多重化部３及びリアルタイムデータレート制御部４の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図２はこの発明の実施の形態１によるデータ多重化装置の処理内容（データ多重化方法）を示すフローチャートである。
【００１５】
次に動作について説明する。
まず、リアルタイムデータ符号化部１ａ，１ｂは、初期画質レベルを設定する（ステップＳＴ１）。
リアルタイムデータ符号化部１ａ，１ｂは、復号装置側でリアルタイムに復号されて再生されることが想定されるリアルタイムデータ（例えば、ビデオデータを含むメディアデータ）を入力すると、その設定した画質レベルが得られるように、そのリアルタイムデータをリアルタイムに符号化して、そのリアルタイムデータの符号化データを出力する（ステップＳＴ２）。
【００１６】
リアルタイムデータ符号化部１ａ，１ｂでは、画質を安定させるため、出力する符号化データのデータ量が時間の経過に伴って変化することを想定している。
即ち、入力画像が複雑であれば、符号化データのデータ量が一時的に多くなる一方、入力画像が複雑でなければ、符号化データのデータ量が少なくなることを想定している。
なお、リアルタイムデータ符号化部１ａ，１ｂは、デジタル放送で、１つの番組を構成する複数のメディアを含む符号化データ列（例えば、ＭＰＥＧ−２ ＴＳ）を出力する装置に相当する。
【００１７】
非リアルタイムデータ出力部２ａ，２ｂは、復号装置側で非リアルタイムに復号されて再生（復号装置側で一旦蓄積されてから復号されて再生）されることが想定される非リアルタイムデータ（例えば、以前から蓄積している符号化されたデータやファイルなど）を出力する（ステップＳＴ３）。
なお、非リアルタイムデータは、図示せぬ非リアルタイムデータ出力部２ａ，２ｂの内部メモリに蓄積されているデータであってもよいし、外部から入力されたデータであってもよい。
【００１８】
多重化部３は、リアルタイムデータ符号化部１ａ，１ｂからリアルタイムデータの符号化データを受け、非リアルタイムデータ出力部２ａ，２ｂから非リアルタイムデータを受けると、それらの符号化データの中で、リアルタイムデータ符号化部１ａ，１ｂから出力されたリアルタイムデータの符号化データを優先的に多重化する（ステップＳＴ４）。
ただし、多重化部３は、所定の伝送レートＴＲＮｒａｔｅの範囲内で、リアルタイムデータの符号化データを多重化する。
【００１９】
多重化部３は、リアルタイムデータの符号化データが多重化されている多重化データの帯域である出力レートＯＵＴｒａｔｅが所定の伝送レートＴＲＮｒａｔｅに到達していなければ（ＯＵＴｒａｔｅ＜ＴＲＮｒａｔｅ）、残っている伝送レート（＝ＴＲＮｒａｔｅ−ＯＵＴｒａｔｅ）の範囲内で、非リアルタイムデータ出力部２ａ，２ｂから出力された非リアルタイムデータを多重化する（ステップＳＴ５，ＳＴ６）。
多重化データの出力レートＯＵＴｒａｔｅが所定の伝送レートＴＲＮｒａｔｅに到達していれば（ＯＵＴｒａｔｅ＝ＴＲＮｒａｔｅ）、非リアルタイムデータ出力部２ａ，２ｂから出力された非リアルタイムデータは多重化されない。
【００２０】
多重化部３は、リアルタイムデータの符号化データが多重化されている多重化データの出力レートＯＵＴｒａｔｅが一時的に所定の伝送レートＴＲＮｒａｔｅを超えることがある場合を想定して、非リアルタイムデータ出力部２ａ，２ｂから出力された非リアルタイムデータを一時的に格納する入力バッファ等を内部に備えており、一時的な符号化データの過多に対応可能な構成になっている。
したがって、多重化部３は、非リアルタイムデータ出力部２ａ，２ｂから出力された全ての非リアルタイムデータを多重化することができない場合、一部の非リアルタイムデータを入力バッファに一時的に格納し、多重化が可能なタイミングで、入力バッファから非リアルタイムデータを読み出して多重化する。
【００２１】
多重化部３は、リアルタイムデータの符号化データ及び非リアルタイムデータを多重化すると、その多重化データを出力する（ステップＳＴ７）。
多重化部３が上記のような処理を行うことで、リアルタイムデータ符号化部１ａ，１ｂから出力されたリアルタイムデータの符号化データを優先して多重化しながら、非リアルタイムデータ出力部２ａ，２ｂから出力された非リアルタイムデータを所定の伝送レートＴＲＮｒａｔｅになるまで多重化することができる。
仮に、リアルタイムデータの符号化データと非リアルタイムデータを合わせても、多重化データの出力レートＯＵＴｒａｔｅが所定の伝送レートＴＲＮｒａｔｅに到達しない場合は、例えば、スタッフィングデータ等を多重化することで、多重化データの出力レートＯＵＴｒａｔｅが所定の伝送レートＴＲＮｒａｔｅに達するようにすることも可能である。
【００２２】
リアルタイムデータレート制御部４は、多重化部３が多重化データを出力すると、その多重化データに含まれているリアルタイムデータの符号化データの平均レートＡＶＥｒａｔｅを計測する（ステップＳＴ８）。
リアルタイムデータレート制御部４は、リアルタイムデータの符号化データの平均レートＡＶＥｒａｔｅを計測すると、その平均レートＡＶＥｒａｔｅが所望の平均レートＡＶＥｒａｔｅrefに近づくように、リアルタイムデータ符号化部１ａ，１ｂから出力される符号化データの符号量を制御する。
【００２３】
即ち、リアルタイムデータレート制御部４は、リアルタイムデータの符号化データの平均レートＡＶＥｒａｔｅが所望の平均レートＡＶＥｒａｔｅrefより高い場合（ステップＳＴ９）、符号化データの符号量を下げる指示をリアルタイムデータ符号化部１ａ，１ｂに与える（ステップＳＴ１０）。
符号化データの符号量を下げる指示としては、例えば、先に設定されている画質レベルを下げる（画質を低下させる）指示が考えられる。
これにより、リアルタイムデータ符号化部１ａ，１ｂから出力されるリアルタイムデータの符号化データの平均レートＡＶＥｒａｔｅが下がるため、リアルタイムデータの符号化データの平均レートＡＶＥｒａｔｅを所望の平均レートＡＶＥｒａｔｅrefに近づけることが可能になる。
【００２４】
リアルタイムデータレート制御部４は、リアルタイムデータの符号化データの平均レートＡＶＥｒａｔｅが所望の平均レートＡＶＥｒａｔｅrefより低い場合（ステップＳＴ９）、符号化データの符号量を上げる指示をリアルタイムデータ符号化部１ａ，１ｂに与える（ステップＳＴ１１）。
符号化データの符号量を上げる指示としては、例えば、先に設定されている画質レベルを上げる（画質を向上させる）指示が考えられる。
これにより、リアルタイムデータ符号化部１ａ，１ｂから出力されるリアルタイムデータの符号化データの平均レートＡＶＥｒａｔｅが上がるため、リアルタイムデータの符号化データの平均レートＡＶＥｒａｔｅを所望の平均レートＡＶＥｒａｔｅrefに近づけることが可能になる。
【００２５】
ここでは、リアルタイムデータの符号化データの平均レートＡＶＥｒａｔｅが所望の平均レートＡＶＥｒａｔｅrefより高い場合、符号化データの符号量を下げる指示をリアルタイムデータ符号化部１ａ，１ｂに与える一方、リアルタイムデータの符号化データの平均レートＡＶＥｒａｔｅが所望の平均レートＡＶＥｒａｔｅrefより低い場合、符号化データの符号量を上げる指示をリアルタイムデータ符号化部１ａ，１ｂに与えるものを示したが、リアルタイムデータの符号化データの平均レートＡＶＥｒａｔｅと所望の平均レートＡＶＥｒａｔｅrefとの差が小さい場合（差が所定の閾値より小さい場合）、符号化データの符号量を変更する指示をリアルタイムデータ符号化部１ａ，１ｂに与えないようにしてもよい。
この場合、リアルタイムデータの符号化データの平均レートＡＶＥｒａｔｅと所望の平均レートＡＶＥｒａｔｅrefが近いときには画質レベルが変更されなくなるため、画質を安定させることができる。
【００２６】
なお、リアルタイムデータレート制御部４は、多重化部３から出力された多重化データの調査を行わずに、多重化部３よりリアルタイムデータのレート情報の通知を受けて、リアルタイムデータ符号化部１ａ，１ｂから出力される符号化データの符号量を制御するようにしてもよい。
以降、ステップＳＴ２の処理に戻り、ステップＳＴ２〜ＳＴ１１の処理が繰り返し実施される。
【００２７】
ここで、図３は多重化部３から出力される多重化データの一例を示す説明図である。
ただし、図３では、３台のリアルタイムデータ符号化部１と、１台の非リアルタイムデータ出力部２がデータ多重装置に搭載されている場合の多重化データの一例を示している。
多重化部３は、上述したように、多重化データの出力レートＯＵＴｒａｔｅが所定の伝送レートＴＲＮｒａｔｅと一致するように、リアルタイムデータの符号化データ（１）〜（３）と非リアルタイムデータとを多重化するので、リアルタイムデータの符号化データ（１）〜（３）と非リアルタイムデータとの合計レートは、常に伝送レートＴＲＮｒａｔｅと一致する。
【００２８】
ただし、リアルタイムデータの符号化データ（１）〜（３）の出力レートは、入力画像の複雑さ等により変動する。
このため、所望の平均レートＡＶＥｒａｔｅref（図３の中段の点線）が予め設定され、リアルタイムデータの符号化データ（１）〜（３）の出力レートの合計が、所望の平均レートＡＶＥｒａｔｅrefの付近で変動する。
【００２９】
例えば、リアルタイムデータの符号化データ（１）〜（３）の出力レートの合計が、所望の平均レートＡＶＥｒａｔｅrefを超えた場合には、リアルタイムデータレート制御部４が、３台のリアルタイムデータ符号化部１に対して、符号化データの符号量を下げる指示を出力することで、リアルタイムデータの符号化データ（１）〜（３）の出力レートが下がり、最終的に符号化データ（１）〜（３）の出力レートの合計が所望の平均レートＡＶＥｒａｔｅrefに近づくことになる。
逆に、リアルタイムデータの符号化データ（１）〜（３）の出力レートの合計が、所望の平均レートＡＶＥｒａｔｅrefに満たない場合には、リアルタイムデータレート制御部４が、３台のリアルタイムデータ符号化部１に対して、符号化データの符号量を上げる指示を出力することで、リアルタイムデータの符号化データ（１）〜（３）の出力レートが上がり、最終的に符号化データ（１）〜（３）の出力レートの合計が所望の平均レートＡＶＥｒａｔｅrefに近づくことになる。
【００３０】
このように、実際に出力しているリアルタイムデータの符号化データ（１）〜（３）の出力レートの合計を監視し、所望の平均レートＡＶＥｒａｔｅrefとの差に応じて符号化データ（１）〜（３）の符号量を調整することで、リアルタイムデータの総レートと非リアルタイムデータの総レートを所望のレートに近づけることができる。
このとき、リアルタイムデータの符号化データ（１）〜（３）の一時的な符号量の増減を許しているため、急激な画質低下は発生せずに、安定した画質のリアルタイム番組の多重化が行える。
【００３１】
ただし、リアルタイムデータレート制御部４は、リアルタイムデータの符号化データの平均レートＡＶＥｒａｔｅを計測する際、ある期間毎に平均レートＡＶＥｒａｔｅを計測して、その平均レートＡＶＥｒａｔｅが所望の平均レートＡＶＥｒａｔｅrefに近づくように、リアルタイムデータ符号化部１ａ，１ｂから出力される符号化データの符号量を制御しようとすると、その時点でのリアルタイムデータの符号化データの平均レートＡＶＥｒａｔｅを所望の平均レートＡＶＥｒａｔｅrefに近づけることができるが、長い期間で見ると、リアルタイムデータの符号化データの平均レートＡＶＥｒａｔｅが所望の平均レートＡＶＥｒａｔｅrefからずれてしまうことがある。
【００３２】
そこで、リアルタイムデータレート制御部４は、多重化部３から多重化データの出力が開始された時点ＴSTARTから多重化データに含まれているリアルタイムデータの符号化データのデータ量Ｄを累積するとともに、その出力開始時点ＴSTARTから現時点ＴNOWに至るまでの経過時間ΔＴ（＝ＴNOW−ＴSTART）と所望の平均レートＡＶＥｒａｔｅrefを乗算する。
そして、リアルタイムデータレート制御部４は、データ量Ｄの累積値Ｄａｃｃｕｍと、経過時間ΔＴと所望の平均レートＡＶＥｒａｔｅrefの乗算結果ΔＴ×ＡＶＥｒａｔｅrefとを比較し、データ量Ｄの累積値Ｄａｃｃｕｍが乗算結果ΔＴ×ＡＶＥｒａｔｅrefより大きければ、符号化データの符号量を下げる指示をリアルタイムデータ符号化部１ａ，１ｂに与える。
一方、データ量Ｄの累積値Ｄａｃｃｕｍが乗算結果ΔＴ×ＡＶＥｒａｔｅrefより小さければ、符号化データの符号量を上げる指示をリアルタイムデータ符号化部１ａ，１ｂに与える。
このようにすることで、データ量Ｄの累積値Ｄａｃｃｕｍを所望のデータ総量に近づけることができるため、長い期間で見ても、リアルタイムデータの符号化データの平均レートＡＶＥｒａｔｅを所望の平均レートＡＶＥｒａｔｅrefに近づけることができる。
【００３３】
図４は３種類のビデオ画質をほぼ一定にしてビデオデータを符号化したときの各ビデオデータの符号化データのビットレートを示す説明図である。
各ビデオデータの符号化データは、ビットレートが時々刻々と変動し、３つの符号化データの総出力レートも変動する。
図５は図４のビデオデータの符号化データの情報量の累計結果を示す説明図である。
また、図６は情報量の累計結果と、所望の累計情報量（リアルタイムデータの符号化データの所望の平均レートを１２０ｋｂｐｓとする場合の所望の累計情報量）との差を示す説明図である。
図５のように、符号化データの総出力レートのレート変動を多少許容することで、画質が一定の符号化処理を行えるとともに、所望の平均レートも達成することができる。
【００３４】
以上で明らかなように、この実施の形態１によれば、リアルタイムデータ符号化部１ａ，１ｂ及び非リアルタイムデータ出力部２ａ，２ｂから出力された符号化データのうち、リアルタイムデータ符号化部１ａ，１ｂから出力されたリアルタイムデータの符号化データを優先的に多重化し、その多重化データの出力レートＯＵＴｒａｔｅと所定の伝送レートＴＲＮｒａｔｅの差分の範囲内で、非リアルタイムデータ出力部２ａ，２ｂから出力された非リアルタイムデータを多重化して出力する多重化部３を設け、リアルタイムデータレート制御部４が、多重化部３から出力された多重化データに含まれているリアルタイムデータの符号化データの平均レートＡＶＥｒａｔｅを計測し、その平均レートＡＶＥｒａｔｅが所望の平均レートＡＶＥｒａｔｅrefに近づくように、リアルタイムデータ符号化部１ａ，１ｂから出力される符号化データの符号量を制御するように構成したので、複数の番組の画質の均等化を図りながら、画質の時間的変動を抑えて、高画質な番組多重を図ることができる効果を奏する。
【００３５】
実施の形態２．
上記実施の形態１では、リアルタイムデータレート制御部４が、多重化部３から出力された多重化データに含まれているリアルタイムデータの符号化データの平均レートＡＶＥｒａｔｅを計測し、その平均レートＡＶＥｒａｔｅが所望の平均レートＡＶＥｒａｔｅrefに近づくように、リアルタイムデータ符号化部１ａ，１ｂから出力される符号化データの符号量を制御するものを示したが、多重化部３から出力された多重化データに含まれている非リアルタイムデータの平均レートＡＶＥｒａｔｅ’を計測し、その平均レートＡＶＥｒａｔｅ’が所望の平均レートＡＶＥｒａｔｅref’に近づくように、リアルタイムデータ符号化部１ａ，１ｂから出力される符号化データの符号量を制御するようにしてもよい。
【００３６】
図７はこの発明の実施の形態２によるデータ多重化装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
リアルタイムデータレート制御部５は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、多重化部３から出力された多重化データに含まれている非リアルタイムデータの平均レートＡＶＥｒａｔｅ’を計測し、その平均レートＡＶＥｒａｔ’が所望の平均レートＡＶＥｒａｔｅref’に近づくように、リアルタイムデータ符号化部１ａ，１ｂから出力される符号化データの符号量を制御する処理を実施する。
即ち、リアルタイムデータレート制御部５は多重化部３から出力された多重化データに含まれている非リアルタイムデータの平均レートＡＶＥｒａｔｅ’が所望の平均レートＡＶＥｒａｔｅref’より高い場合、符号化データの符号量を上げる指示をリアルタイムデータ符号化部１ａ，１ｂに与え、その非リアルタイムデータの平均レートＡＶＥｒａｔｅ’が所望の平均レートＡＶＥｒａｔｅref’より低い場合、符号化データの符号量を下げる指示をリアルタイムデータ符号化部１ａ，１ｂに与える処理を実施する。
なお、リアルタイムデータレート制御部５はリアルタイムデータレート制御手段を構成している。
【００３７】
図７では、データ多重化装置の構成要素であるリアルタイムデータ符号化部１ａ，１ｂ、非リアルタイムデータ出力部２ａ，２ｂ、多重化部３及びリアルタイムデータレート制御部５のそれぞれが専用のハードウェアで構成されているものを想定しているが、データ多重化装置がコンピュータで構成される場合、リアルタイムデータ符号化部１ａ，１ｂ、非リアルタイムデータ出力部２ａ，２ｂ、多重化部３及びリアルタイムデータレート制御部５の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図８はこの発明の実施の形態２によるデータ多重化装置の処理内容（データ多重化方法）を示すフローチャートである。
【００３８】
次に動作について説明する。
ただし、リアルタイムデータレート制御部５以外は、上記実施の形態１と同様であるため、リアルタイムデータレート制御部５の処理内容のみを説明する。
リアルタイムデータレート制御部５は、多重化部３が多重化データを出力すると、その多重化データに含まれている非リアルタイムデータの平均レートＡＶＥｒａｔｅ’を計測する（ステップＳＴ２１）。
リアルタイムデータレート制御部５は、非リアルタイムデータの平均レートＡＶＥｒａｔｅ’を計測すると、その平均レートＡＶＥｒａｔｅ’が所望の平均レートＡＶＥｒａｔｅref’に近づくように、リアルタイムデータ符号化部１ａ，１ｂから出力される符号化データの符号量を制御する。
【００３９】
即ち、リアルタイムデータレート制御部５は、非リアルタイムデータの平均レートＡＶＥｒａｔｅ’が所望の平均レートＡＶＥｒａｔｅref’より高い場合（ステップＳＴ２２）、符号化データの符号量を上げる指示をリアルタイムデータ符号化部１ａ，１ｂに与える（ステップＳＴ２３）。
符号化データの符号量を上げる指示としては、例えば、先に設定されている画質レベルを上げる（画質を向上させる）指示が考えられる。
これにより、リアルタイムデータ符号化部１ａ，１ｂから出力されるリアルタイムデータの符号化データの平均レートＡＶＥｒａｔｅが上がるため、多重化部３で非リアルタイムデータ出力部２ａ，２ｂから出力される非リアルタイムデータが多重化される割合が低下する。そのため、非リアルタイムデータの平均レートＡＶＥｒａｔｅ’を所望の平均レートＡＶＥｒａｔｅref’に近づけることが可能になる。
【００４０】
リアルタイムデータレート制御部５は、非リアルタイムデータの平均レートＡＶＥｒａｔｅ’が所望の平均レートＡＶＥｒａｔｅref’より低い場合（ステップＳＴ２２）、符号化データの符号量を下げる指示をリアルタイムデータ符号化部１ａ，１ｂに与える（ステップＳＴ２４）。
符号化データの符号量を下げる指示としては、例えば、先に設定されている画質レベルを下げる（画質を低下させる）指示が考えられる。
これにより、リアルタイムデータ符号化部１ａ，１ｂから出力されるリアルタイムデータの符号化データの平均レートＡＶＥｒａｔｅが下がるため、多重化部３で非リアルタイムデータ出力部２ａ，２ｂから出力される非リアルタイムデータが多重化される割合が上昇する。そのため、非リアルタイムデータの平均レートＡＶＥｒａｔｅ’を所望の平均レートＡＶＥｒａｔｅref’に近づけることが可能になる。
【００４１】
ここでは、非リアルタイムデータの平均レートＡＶＥｒａｔｅ’が所望の平均レートＡＶＥｒａｔｅref’より高い場合、符号化データの符号量を上げる指示をリアルタイムデータ符号化部１ａ，１ｂに与える一方、非リアルタイムデータの平均レートＡＶＥｒａｔｅ’が所望の平均レートＡＶＥｒａｔｅref’より低い場合、符号化データの符号量を下げる指示をリアルタイムデータ符号化部１ａ，１ｂに与えるものを示したが、非リアルタイムデータの平均レートＡＶＥｒａｔｅ’と所望の平均レートＡＶＥｒａｔｅref’との差が小さい場合（差が所定の閾値より小さい場合）、符号化データの符号量を変更する指示をリアルタイムデータ符号化部１ａ，１ｂに与えないようにしてもよい。
この場合、非リアルタイムデータの平均レートＡＶＥｒａｔｅ’と所望の平均レートＡＶＥｒａｔｅref’が近いときには画質レベルが変更されなくなるため、画質を安定させることができる。
【００４２】
また、リアルタイムデータレート制御部５は、多重化部３から出力された多重化データの調査を行わずに、多重化部３より非リアルタイムデータのレート情報の通知を受けて、リアルタイムデータ符号化部１ａ，１ｂから出力される符号化データの符号量を制御するようにしてもよい。
以降、ステップＳＴ２の処理に戻り、ステップＳＴ２〜ＳＴ２４の処理が繰り返し実施される。
【００４３】
ただし、リアルタイムデータレート制御部５は、非リアルタイムデータの平均レートＡＶＥｒａｔｅ’を計測する際、ある期間毎に平均レートＡＶＥｒａｔｅ’を計測して、その平均レートＡＶＥｒａｔｅ’が所望の平均レートＡＶＥｒａｔｅref’に近づくように、リアルタイムデータ符号化部１ａ，１ｂから出力される符号化データの符号量を制御しようとすると、その時点での非リアルタイムデータの平均レートＡＶＥｒａｔｅ’を所望の平均レートＡＶＥｒａｔｅref’に近づけることができるが、長い期間で見ると、非リアルタイムデータの平均レートＡＶＥｒａｔｅ’が所望の平均レートＡＶＥｒａｔｅref’からずれてしまうことがある。
【００４４】
そこで、リアルタイムデータレート制御部５は、多重化部３から多重化データの出力が開始された時点ＴSTARTから多重化データに含まれている非リアルタイムデータのデータ量Ｄを累積するとともに、その出力開始時点ＴSTARTから現時点ＴNOWに至るまでの経過時間ΔＴ（＝ＴNOW−ＴSTART）と所望の平均レートＡＶＥｒａｔｅref’を乗算する。
そして、リアルタイムデータレート制御部５は、データ量Ｄの累積値Ｄａｃｃｕｍと、経過時間ΔＴと所望の平均レートＡＶＥｒａｔｅref’の乗算結果ΔＴ×ＡＶＥｒａｔｅref’とを比較し、データ量Ｄの累積値Ｄａｃｃｕｍが乗算結果ΔＴ×ＡＶＥｒａｔｅref’より大きければ、符号化データの符号量を上げる指示をリアルタイムデータ符号化部１ａ，１ｂに与える。
一方、データ量Ｄの累積値Ｄａｃｃｕｍが乗算結果ΔＴ×ＡＶＥｒａｔｅref’より小さければ、符号化データの符号量を下げる指示をリアルタイムデータ符号化部１ａ，１ｂに与える。
このようにすることで、データ量Ｄの累積値Ｄａｃｃｕｍを所望のデータ総量に近づけることができるため、長い期間で見ても、非リアルタイムデータの平均レートＡＶＥｒａｔｅ’を所望の平均レートＡＶＥｒａｔｅref’に近づけることができる。
【００４５】
以上で明らかなように、この実施の形態２によれば、リアルタイムデータ符号化部１ａ，１ｂ及び非リアルタイムデータ出力部２ａ，２ｂから出力された符号化データのうち、リアルタイムデータ符号化部１ａ，１ｂから出力されたリアルタイムデータの符号化データを優先的に多重化し、その多重化データの出力レートＯＵＴｒａｔｅと所定の伝送レートＴＲＮｒａｔｅの差分の範囲内で、非リアルタイムデータ出力部２ａ，２ｂから出力された非リアルタイムデータを多重化して出力する多重化部３を設け、リアルタイムデータレート制御部５が、多重化部３から出力された多重化データに含まれている非リアルタイムデータの平均レートＡＶＥｒａｔｅ’を計測し、その平均レートＡＶＥｒａｔｅ’が所望の平均レートＡＶＥｒａｔｅrefに近づくように、リアルタイムデータ符号化部１ａ，１ｂから出力される符号化データの符号量を制御するように構成したので、複数の番組の画質の均等化を図りながら、画質の時間的変動を抑えて、高画質な番組多重を図ることができるとともに、非リアルタイムデータの平均レートを保証することができる効果を奏する。
【００４６】
なお、この実施の形態２では、リアルタイムデータレート制御部５が、多重化部３から出力された多重化データに含まれている非リアルタイムデータの平均レートＡＶＥｒａｔｅ’が所望の平均レートＡＶＥｒａｔｅrefに近づくように、リアルタイムデータ符号化部１ａ，１ｂから出力される符号化データの符号量を制御するものを示したが、非リアルタイムデータ出力部２ａ，２ｂが非リアルタイムデータを固定レートで多重化部３に出力し、多重化部３が、非リアルタイムデータを一時的に入力バッファ（図示せず）に蓄積しながら多重化を行う場合、リアルタイムデータレート制御部５が、多重化部３の入力バッファに蓄積された非リアルタイムデータのデータ総量に基づいて、リアルタイムデータ符号化部１ａ，１ｂから出力される符号化データの符号量を制御するようにしてもよい。
この場合も、非リアルタイムデータの出力データ総量を所望の値に保つことができる。また、リアルタイムデータに含まれるビデオ画質の急激な変動を抑えることができる。
【００４７】
図６に示すように、実際のリアルタイムデータの総量と所望のリアルタイムデータの総量との差が大きくなると、非リアルタイムデータの総量も所望の非リアルタイムデータの総量からずれてしまう。
例えば、非リアルタイムデータを或るレートで伝送することを想定した場合、実際のデータ総量と想定のデータ総量の差を想定レートで割った時間だけ、非リアルタイムデータの送信タイミングがずれることになる。
図６の例では、非リアルタイムデータの想定レートが１２０ｋｂｐｓとして、実際のリアルタイムデータの総量と所望のリアルタイムデータの総量との差が１２ｋｂｙｔｅであった場合、１２ｋ×８／１２０ｋ＝０．８となり、非リアルタイムデータの送信タイミングが、０．８秒だけ想定のタイミングよりずれることになる。
【００４８】
そのため、非リアルタイムデータの実際のデータ総量と想定のデータ総量との差が、ある閾値を超えないように、リアルタイムデータレート制御部５が、リアルタイムデータ符号化部１ａ，１ｂから出力される符号化データの符号量を制御することで、非リアルタイムデータの送信タイミングが、想定の送信タイミングから大きく変動することがなくなる。
このように、非リアルタイムデータの実際のデータ総量と想定のデータ総量との差が所定の閾値以下になるように制御することで、非リアルタイムデータの送信タイミングが、想定の送信タイミングから大きくずれることがなくなり、復号装置側で想定したタイミングで受信することが可能になる。
【００４９】
上記実施の形態１，２では、リアルタイムデータ符号化部１ａ，１ｂが、リアルタイムデータとして、例えば、ビデオデータを含むメディアデータを符号化する際、設定した画質レベルが得られるように、そのリアルタイムデータをリアルタイムに符号化（ビデオ画質が一定になるように符号化）し、リアルタイムデータレート制御部４，５から符号量を下げる指示を受けると、画質が少し低下するように符号化処理を実施して、符号化データの符号量を低下させる。逆に、リアルタイムデータレート制御部４，５から符号量を上げる指示を受けると、画質が少し向上するように符号化処理を実施して、符号化データの符号量を増加させる。
このように、リアルタイムデータ符号化部１ａ，１ｂでは、符号化データの出力レートを直接制御するのではなく、画質レベルを制御するようにしているので、リアルタイムデータレート制御部４，５から指示を受けなければ、画質が一定になる。また、リアルタイムデータレート制御部４，５から指示を受けても、画質を安定的に少しだけ調整するため、画質の変動は抑えられる。
なお、リアルタイムデータ符号化部１ａ，１ｂが画質レベルを制御するのではなく、符号化データの出力レートを所望のレートに合わせようとすると、入力画像の複雑さに依存して画質レベルが変動してしまうため、画質レベルが安定しなくなる不具合を生じることが想定される。
【００５０】
上記実施の形態１，２では、リアルタイムデータレート制御部４，５が、逐次、平均レートＡＶＥｒａｔｅ（ＡＶＥｒａｔｅ’）が所望の平均レートＡＶＥｒａｔｅref（ＡＶＥｒａｔｅref’）に近づくように、リアルタイムデータ符号化部１ａ，１ｂから出力される符号化データの符号量を制御するものを示したが、リアルタイムデータレート制御部４，５が制御を行う度に、リアルタイムデータ符号化部１ａ，１ｂから出力される符号化データの画質が変動する。
リアルタイムデータ符号化部１ａ，１ｂから出力される符号化データの画質の変動を抑制するため、リアルタイムデータレート制御部４，５における符号量の制御回数及び制御幅を制限し、所定の制御回数及び制御幅の範囲内で、リアルタイムデータレート制御部４，５が符号化データの符号量を制御するようにしてもよい。
【００５１】
リアルタイムデータレート制御部４，５における符号量の制御回数として、例えば、１分間の上限制御回数“Ｎ回”が設定された場合、リアルタイムデータレート制御部４，５における制御回数が、１分間でＮ回を超えないように制限される。
また、リアルタイムデータレート制御部４，５における符号量の制御幅として、例えば、１回の制御による画質の上限変動幅Ｗが設定された場合、リアルタイムデータレート制御部４，５における１回の制御で、画質の上限変動幅Ｗを超えないように制限される。
【００５２】
ここでは、リアルタイムデータレート制御部４，５における符号量の制御回数及び制御幅を制限するものを示したが、リアルタイムデータレート制御部４，５が、多重化部３から多重化データの出力が開始された時点ＴSTARTから非リアルタイムデータのデータ量Ｄを累積し、そのデータ量Ｄの累積値Ｄａｃｃｕｍと所望のデータ総量の差が所定値を超えた場合に限り、リアルタイムデータ符号化部１ａ，１ｂから出力される符号化データの符号量を制御するようにしてもよい。
これにより、データ量Ｄの累積値Ｄａｃｃｕｍと所望のデータ総量の差が所定値の範囲内で変動している間は、リアルタイムデータ符号化部１ａ，１ｂから出力される符号化データの符号量が制御されないため、リアルタイムデータの画質が安定する。また、差が所定値の範囲を超えた場合でも、大きく画質を変えるような制御を与えず、少しずつ画質を変更するようにすることで、画質変化をなだらかに推移させることができる。
【００５３】
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【符号の説明】
【００５４】
１ａ，１ｂ リアルタイムデータ符号化部（リアルタイムデータ符号化手段）、２ａ，２ｂ 非リアルタイムデータ出力部（非リアルタイムデータ出力手段）、３ 多重化部（多重化手段）、４，５ リアルタイムデータレート制御部（リアルタイムデータレート制御手段）。
【特許請求の範囲】
【請求項１】
復号装置側でリアルタイムに復号されて再生されることが想定されるリアルタイムデータをリアルタイムに符号化して、上記リアルタイムデータの符号化データを出力するリアルタイムデータ符号化手段と、復号装置側で非リアルタイムに復号されて再生されることが想定される非リアルタイムデータを出力する非リアルタイムデータ出力手段と、上記リアルタイムデータ符号化手段から出力された符号化データ及び上記非リアルタイムデータ出力手段から出力された非リアルタイムデータのうち、上記リアルタイムデータ符号化手段から出力されたリアルタイムデータの符号化データを優先的に多重化し、その多重化データの帯域と所定の伝送レートの差分の範囲内で、上記非リアルタイムデータ出力手段から出力された非リアルタイムデータを多重化して出力する多重化手段と、上記多重化手段から出力された多重化データに含まれているリアルタイムデータの符号化データの平均レートを計測し、上記平均レートが所望の平均レートに近づくように、上記リアルタイムデータ符号化手段から出力される符号化データの符号量を制御するリアルタイムデータレート制御手段とを備えたデータ多重化装置。
【請求項２】
リアルタイムデータレート制御手段は、多重化手段から出力された多重化データに含まれているリアルタイムデータの符号化データの平均レートが所望の平均レートより高い場合、符号化データの符号量を下げる指示をリアルタイムデータ符号化手段に与え、上記リアルタイムデータの符号化データの平均レートが所望の平均レートより低い場合、符号化データの符号量を上げる指示を上記リアルタイムデータ符号化手段に与えることを特徴とする請求項１記載のデータ多重化装置。
【請求項３】
リアルタイムデータレート制御手段は、多重化手段から多重化データの出力が開始された時点から上記多重化データに含まれているリアルタイムデータの符号化データのデータ量を累積するとともに、上記多重化データの出力が開始された時点から現時点に至るまでの経過時間と所望の平均レートを乗算し、上記データ量の累積値が上記経過時間と所望の平均レートの乗算結果より大きければ、符号化データの符号量を下げる指示をリアルタイムデータ符号化手段に与え、上記データ量の累積値が上記経過時間と所望の平均レートの乗算結果より小さければ、符号化データの符号量を上げる指示を上記リアルタイムデータ符号化手段に与えることを特徴とする請求項１記載のデータ多重化装置。
【請求項４】
復号装置側でリアルタイムに復号されて再生されることが想定されるリアルタイムデータをリアルタイムに符号化して、上記リアルタイムデータの符号化データを出力するリアルタイムデータ符号化手段と、復号装置側で非リアルタイムに復号されて再生されることが想定される非リアルタイムデータを出力する非リアルタイムデータ出力手段と、上記リアルタイムデータ符号化手段から出力された符号化データ及び上記非リアルタイムデータ出力手段から出力された非リアルタイムデータのうち、上記リアルタイムデータ符号化手段から出力されたリアルタイムデータの符号化データを優先的に多重化し、その多重化データの帯域と所定の伝送レートの差分の範囲内で、上記非リアルタイムデータ出力手段から出力された非リアルタイムデータを多重化して出力する多重化手段と、上記多重化手段から出力された多重化データに含まれている非リアルタイムデータの平均レートを計測し、上記平均レートが所望の平均レートに近づくように、上記リアルタイムデータ符号化手段から出力される符号化データの符号量を制御するリアルタイムデータレート制御手段とを備えたデータ多重化装置。
【請求項５】
リアルタイムデータレート制御手段は、多重化手段から出力された多重化データに含まれている非リアルタイムデータの平均レートが所望の平均レートより高い場合、符号化データの符号量を上げる指示をリアルタイムデータ符号化手段に与え、上記非リアルタイムデータの平均レートが所望の平均レートより低い場合、符号化データの符号量を下げる指示を上記リアルタイムデータ符号化手段に与えることを特徴とする請求項４記載のデータ多重化装置。
【請求項６】
リアルタイムデータレート制御手段は、多重化手段から多重化データの出力が開始された時点から上記多重化データに含まれている非リアルタイムデータのデータ量を累積するとともに、上記多重化データの出力が開始された時点から現時点に至るまでの経過時間と所望の平均レートを乗算し、上記データ量の累積値が上記経過時間と所望の平均レートの乗算結果より大きければ、符号化データの符号量を上げる指示をリアルタイムデータ符号化手段に与え、上記データ量の累積値が上記経過時間と所望の平均レートの乗算結果より小さければ、符号化データの符号量を下げる指示を上記リアルタイムデータ符号化手段に与えることを特徴とする請求項４記載のデータ多重化装置。
【請求項７】
リアルタイムデータレート制御手段は、データ量の累積値と所望のデータ総量の差が所定値以下になるように、リアルタイムデータ符号化手段から出力される符号化データの符号量を制御することを特徴とする請求項６記載のデータ多重化装置。
【請求項８】
リアルタイムデータ符号化手段は、リアルタイムデータがビデオデータを含むメディアデータである場合、上記リアルタイムデータを符号化する際、上記ビデオデータの画質が一定になるように符号化を行うことを特徴とする請求項１から請求項７のうちのいずれか１項記載のデータ多重化装置。
【請求項９】
リアルタイムデータレート制御手段における符号量の制御回数及び制御幅が制限されており、所定の制御回数及び制御幅の範囲内で、上記リアルタイムデータレート制御手段が符号化データの符号量を制御することを特徴とする請求項１から請求項７のうちのいずれか１項記載のデータ多重化装置。
【請求項１０】
リアルタイムデータレート制御手段は、多重化手段から多重化データの出力が開始された時点から非リアルタイムデータのデータ量を累積し、上記データ量の累積値と所望のデータ総量の差が所定値を超えた場合に限り、符号化データの符号量を制御することを特徴とする請求項９記載のデータ多重化装置。
【請求項１１】
リアルタイムデータ符号化手段が、復号装置側でリアルタイムに復号されて再生されることが想定されるリアルタイムデータをリアルタイムに符号化して、上記リアルタイムデータの符号化データを出力するリアルタイムデータ符号化処理ステップと、非リアルタイムデータ出力手段が、復号装置側で非リアルタイムに復号されて再生されることが想定される非リアルタイムデータを出力する非リアルタイムデータ出力処理ステップと、多重化手段が、上記リアルタイムデータ符号化手段から出力された符号化データ及び上記非リアルタイムデータ符号化手段から出力された非リアルタイムデータのうち、上記リアルタイムデータ符号化手段から出力されたリアルタイムデータの符号化データを優先的に多重化し、その多重化データの帯域と所定の伝送レートの差分の範囲内で、上記非リアルタイムデータ出力手段から出力された非リアルタイムデータを多重化して出力する多重化処理ステップと、リアルタイムデータレート制御手段が、上記多重化手段から出力された多重化データに含まれているリアルタイムデータの符号化データの平均レートを計測し、上記平均レートが所望の平均レートに近づくように、上記リアルタイムデータ符号化手段から出力される符号化データの符号量を制御するリアルタイムデータレート制御処理ステップとを備えたデータ多重化方法。
【請求項１２】
リアルタイムデータ符号化手段が、復号装置側でリアルタイムに復号されて再生されることが想定されるリアルタイムデータをリアルタイムに符号化して、上記リアルタイムデータの符号化データを出力するリアルタイムデータ符号化処理ステップと、非リアルタイムデータ出力手段が、復号装置側で非リアルタイムに復号されて再生されることが想定される非リアルタイムデータを出力する非リアルタイムデータ出力処理ステップと、多重化手段が、上記リアルタイムデータ符号化手段から出力された符号化データ及び上記非リアルタイムデータ出力手段から出力された非リアルタイムデータのうち、上記リアルタイムデータ符号化手段から出力されたリアルタイムデータの符号化データを優先的に多重化し、その多重化データの帯域と所定の伝送レートの差分の範囲内で、上記非リアルタイムデータ出力手段から出力された非リアルタイムデータを多重化して出力する多重化処理ステップと、リアルタイムデータレート制御手段が、上記多重化手段から出力された多重化データに含まれている非リアルタイムデータの平均レートを計測し、上記平均レートが所望の平均レートに近づくように、上記リアルタイムデータ符号化手段から出力される符号化データの符号量を制御するリアルタイムデータレート制御処理ステップとを備えたデータ多重化方法。
【請求項１】
復号装置側でリアルタイムに復号されて再生されることが想定されるリアルタイムデータをリアルタイムに符号化して、上記リアルタイムデータの符号化データを出力するリアルタイムデータ符号化手段と、復号装置側で非リアルタイムに復号されて再生されることが想定される非リアルタイムデータを出力する非リアルタイムデータ出力手段と、上記リアルタイムデータ符号化手段から出力された符号化データ及び上記非リアルタイムデータ出力手段から出力された非リアルタイムデータのうち、上記リアルタイムデータ符号化手段から出力されたリアルタイムデータの符号化データを優先的に多重化し、その多重化データの帯域と所定の伝送レートの差分の範囲内で、上記非リアルタイムデータ出力手段から出力された非リアルタイムデータを多重化して出力する多重化手段と、上記多重化手段から出力された多重化データに含まれているリアルタイムデータの符号化データの平均レートを計測し、上記平均レートが所望の平均レートに近づくように、上記リアルタイムデータ符号化手段から出力される符号化データの符号量を制御するリアルタイムデータレート制御手段とを備えたデータ多重化装置。
【請求項２】
リアルタイムデータレート制御手段は、多重化手段から出力された多重化データに含まれているリアルタイムデータの符号化データの平均レートが所望の平均レートより高い場合、符号化データの符号量を下げる指示をリアルタイムデータ符号化手段に与え、上記リアルタイムデータの符号化データの平均レートが所望の平均レートより低い場合、符号化データの符号量を上げる指示を上記リアルタイムデータ符号化手段に与えることを特徴とする請求項１記載のデータ多重化装置。
【請求項３】
リアルタイムデータレート制御手段は、多重化手段から多重化データの出力が開始された時点から上記多重化データに含まれているリアルタイムデータの符号化データのデータ量を累積するとともに、上記多重化データの出力が開始された時点から現時点に至るまでの経過時間と所望の平均レートを乗算し、上記データ量の累積値が上記経過時間と所望の平均レートの乗算結果より大きければ、符号化データの符号量を下げる指示をリアルタイムデータ符号化手段に与え、上記データ量の累積値が上記経過時間と所望の平均レートの乗算結果より小さければ、符号化データの符号量を上げる指示を上記リアルタイムデータ符号化手段に与えることを特徴とする請求項１記載のデータ多重化装置。
【請求項４】
復号装置側でリアルタイムに復号されて再生されることが想定されるリアルタイムデータをリアルタイムに符号化して、上記リアルタイムデータの符号化データを出力するリアルタイムデータ符号化手段と、復号装置側で非リアルタイムに復号されて再生されることが想定される非リアルタイムデータを出力する非リアルタイムデータ出力手段と、上記リアルタイムデータ符号化手段から出力された符号化データ及び上記非リアルタイムデータ出力手段から出力された非リアルタイムデータのうち、上記リアルタイムデータ符号化手段から出力されたリアルタイムデータの符号化データを優先的に多重化し、その多重化データの帯域と所定の伝送レートの差分の範囲内で、上記非リアルタイムデータ出力手段から出力された非リアルタイムデータを多重化して出力する多重化手段と、上記多重化手段から出力された多重化データに含まれている非リアルタイムデータの平均レートを計測し、上記平均レートが所望の平均レートに近づくように、上記リアルタイムデータ符号化手段から出力される符号化データの符号量を制御するリアルタイムデータレート制御手段とを備えたデータ多重化装置。
【請求項５】
リアルタイムデータレート制御手段は、多重化手段から出力された多重化データに含まれている非リアルタイムデータの平均レートが所望の平均レートより高い場合、符号化データの符号量を上げる指示をリアルタイムデータ符号化手段に与え、上記非リアルタイムデータの平均レートが所望の平均レートより低い場合、符号化データの符号量を下げる指示を上記リアルタイムデータ符号化手段に与えることを特徴とする請求項４記載のデータ多重化装置。
【請求項６】
リアルタイムデータレート制御手段は、多重化手段から多重化データの出力が開始された時点から上記多重化データに含まれている非リアルタイムデータのデータ量を累積するとともに、上記多重化データの出力が開始された時点から現時点に至るまでの経過時間と所望の平均レートを乗算し、上記データ量の累積値が上記経過時間と所望の平均レートの乗算結果より大きければ、符号化データの符号量を上げる指示をリアルタイムデータ符号化手段に与え、上記データ量の累積値が上記経過時間と所望の平均レートの乗算結果より小さければ、符号化データの符号量を下げる指示を上記リアルタイムデータ符号化手段に与えることを特徴とする請求項４記載のデータ多重化装置。
【請求項７】
リアルタイムデータレート制御手段は、データ量の累積値と所望のデータ総量の差が所定値以下になるように、リアルタイムデータ符号化手段から出力される符号化データの符号量を制御することを特徴とする請求項６記載のデータ多重化装置。
【請求項８】
リアルタイムデータ符号化手段は、リアルタイムデータがビデオデータを含むメディアデータである場合、上記リアルタイムデータを符号化する際、上記ビデオデータの画質が一定になるように符号化を行うことを特徴とする請求項１から請求項７のうちのいずれか１項記載のデータ多重化装置。
【請求項９】
リアルタイムデータレート制御手段における符号量の制御回数及び制御幅が制限されており、所定の制御回数及び制御幅の範囲内で、上記リアルタイムデータレート制御手段が符号化データの符号量を制御することを特徴とする請求項１から請求項７のうちのいずれか１項記載のデータ多重化装置。
【請求項１０】
リアルタイムデータレート制御手段は、多重化手段から多重化データの出力が開始された時点から非リアルタイムデータのデータ量を累積し、上記データ量の累積値と所望のデータ総量の差が所定値を超えた場合に限り、符号化データの符号量を制御することを特徴とする請求項９記載のデータ多重化装置。
【請求項１１】
リアルタイムデータ符号化手段が、復号装置側でリアルタイムに復号されて再生されることが想定されるリアルタイムデータをリアルタイムに符号化して、上記リアルタイムデータの符号化データを出力するリアルタイムデータ符号化処理ステップと、非リアルタイムデータ出力手段が、復号装置側で非リアルタイムに復号されて再生されることが想定される非リアルタイムデータを出力する非リアルタイムデータ出力処理ステップと、多重化手段が、上記リアルタイムデータ符号化手段から出力された符号化データ及び上記非リアルタイムデータ符号化手段から出力された非リアルタイムデータのうち、上記リアルタイムデータ符号化手段から出力されたリアルタイムデータの符号化データを優先的に多重化し、その多重化データの帯域と所定の伝送レートの差分の範囲内で、上記非リアルタイムデータ出力手段から出力された非リアルタイムデータを多重化して出力する多重化処理ステップと、リアルタイムデータレート制御手段が、上記多重化手段から出力された多重化データに含まれているリアルタイムデータの符号化データの平均レートを計測し、上記平均レートが所望の平均レートに近づくように、上記リアルタイムデータ符号化手段から出力される符号化データの符号量を制御するリアルタイムデータレート制御処理ステップとを備えたデータ多重化方法。
【請求項１２】
リアルタイムデータ符号化手段が、復号装置側でリアルタイムに復号されて再生されることが想定されるリアルタイムデータをリアルタイムに符号化して、上記リアルタイムデータの符号化データを出力するリアルタイムデータ符号化処理ステップと、非リアルタイムデータ出力手段が、復号装置側で非リアルタイムに復号されて再生されることが想定される非リアルタイムデータを出力する非リアルタイムデータ出力処理ステップと、多重化手段が、上記リアルタイムデータ符号化手段から出力された符号化データ及び上記非リアルタイムデータ出力手段から出力された非リアルタイムデータのうち、上記リアルタイムデータ符号化手段から出力されたリアルタイムデータの符号化データを優先的に多重化し、その多重化データの帯域と所定の伝送レートの差分の範囲内で、上記非リアルタイムデータ出力手段から出力された非リアルタイムデータを多重化して出力する多重化処理ステップと、リアルタイムデータレート制御手段が、上記多重化手段から出力された多重化データに含まれている非リアルタイムデータの平均レートを計測し、上記平均レートが所望の平均レートに近づくように、上記リアルタイムデータ符号化手段から出力される符号化データの符号量を制御するリアルタイムデータレート制御処理ステップとを備えたデータ多重化方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−９００３９（Ｐ２０１２−９００３９Ａ）
【公開日】平成２４年５月１０日（２０１２．５．１０）
【国際特許分類】
【出願番号】特願２０１０−２３４４１２（Ｐ２０１０−２３４４１２）
【出願日】平成２２年１０月１９日（２０１０．１０．１９）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【出願人】（３９２０２６６９３）株式会社エヌ・ティ・ティ・ドコモ (5,876)
【Ｆターム（参考）】
【公開日】平成２４年５月１０日（２０１２．５．１０）
【国際特許分類】
【出願日】平成２２年１０月１９日（２０１０．１０．１９）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【出願人】（３９２０２６６９３）株式会社エヌ・ティ・ティ・ドコモ (5,876)
【Ｆターム（参考）】
[ Back to top ]