マルチメディア送信装置
【課題】多重対象の符号化メディア信号の発生状況に応じて伝送パケットを生成する柔軟性を損なうことなく、各種のメディア信号の符号化レートの高レート化に伴うプロセッサ処理の負荷の増加を抑えることができるようにする。
【解決手段】パケット多重制御部４から出力された多重要求ＭＣを保持し、保持している１以上の多重要求ＭＣの中から何れかの多重要求ＭＣを選択する多重要求管理部７を設け、パケット生成部８が、その多重要求ＭＣが多重を指示する符号化メディア信号とヘッダ情報ＨＩを取得して、その符号化メディア信号とヘッダ情報ＨＩから伝送パケットＰを生成する。
【解決手段】パケット多重制御部４から出力された多重要求ＭＣを保持し、保持している１以上の多重要求ＭＣの中から何れかの多重要求ＭＣを選択する多重要求管理部７を設け、パケット生成部８が、その多重要求ＭＣが多重を指示する符号化メディア信号とヘッダ情報ＨＩを取得して、その符号化メディア信号とヘッダ情報ＨＩから伝送パケットＰを生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えば、映像信号、音声信号、データ信号などの各種のメディア信号を符号化して、その符号化メディア信号を含む伝送パケットを生成し、その伝送パケットを送信するマルチメディア送信装置に関するものである。
【背景技術】
【０００２】
例えば、デジタル放送、デジタルビデオカメラ、監視カメラなどでは、映像信号、音声信号、データ信号などの各種のメディア信号を複数同時に伝送、あるいは、記録することができる装置の開発が行われている。
これらの装置では、各種のメディア信号の情報量を削減するために、そのメディア信号の特性に応じた別々の符号化方式を用いて、個別に符号化処理を実施している。
そして、通信路への伝送、あるいは、記録媒体への書き込みの容易化を図るため、それらの符号化メディア信号を伝送パケットや記録パケットに格納し、それらのパケットを多重化ストリームに多重化して出力するようにしている。
その際、回路構成を簡素化するために、プロセッサによるソフトウェア処理で、パケットの構成（例えば、伝送パケットや記録パケットの中に多重する情報の組み合わせや、パケットヘッダの内容など）を決定する方法が採用されることが多い。
【０００３】
例えば、以下の特許文献１には、下記に示すようなマルチメディア送信装置が開示されている。
まず、映像信号、音声信号、データ信号などが符号化されている符号化メディア信号は、それぞれ独立のメディアＥＳバッファ（ビデオＥＳバッファ、オーディオＥＳバッファ、データＥＳバッファ）に格納される。
プロセッサであるコントローラは、メディアＥＳバッファにおける符号化メディア信号の格納状況から、次に生成する伝送パケットに多重するヘッダ情報の内容を決定して、そのヘッダ情報をヘッダ情報メモリに格納するとともに、その伝送パケットに多重する符号化メディア信号の内容を決定して、伝送パケットの生成指示を転送制御部に出力する。
転送制御部は、コントローラから伝送パケットの生成指示を受けると、ヘッダ情報メモリからヘッダ情報を読み出すとともに、メディアＥＳバッファから伝送パケットの生成指示が示す符号化メディア信号を読み出し、そのヘッダ情報と符号化メディア信号をパケット化して伝送パケットを生成する。
そして、転送制御部は、その伝送パケットを出力バッファに書き込み、所定の出力タイミングで、その伝送パケットを転送する。
【０００４】
このように、コントローラでのプロセッサ処理で、伝送パケットの生成における複雑な処理（例えば、ヘッダ情報の生成処理、伝送パケットに多重する各種の符号化メディア信号を判断して、パケット構造を決定する処理）を実施することで、複雑な回路構成を簡素化している。
しかし、各種のメディア信号の符号化レートが高レート化するにしたがって符号化メディア信号の情報発生量が多くなり、伝送パケット数が比例して増加する。
そのため、プロセッサに要求される処理量も大幅に増加し、プロセッサの高性能化などの対策が必要となっている。
【０００５】
また、以下の特許文献２には、下記に示すようなマルチメディア送信装置が開示されている。
映像信号、音声信号、データ信号などが符号化されている符号化メディア信号をそれぞれ独立なメディアＥＳバッファに格納する際、符号化メディアを構成する符号化フレームの区切れ目を検出、あるいは、伝送パケット化する際の単位を算出して、プロセッサであるＣＰＵに通知する。
ＣＰＵは、符号化メディアを構成する符号化フレームの区切れ目等の通知を受けると、その通知内容にしたがってヘッダ情報の生成とパケット構造の決定を行うことで、伝送パケットを構成してメディアＥＳバッファに格納する。
【０００６】
ＣＰＵが符号化メディア信号をパケット化する際、定型的に処理可能な場合には、ＣＰＵを介さず一定条件の下で、Ｈ／Ｗ回路が固定フォーマットのパケットを構成して自動的に伝送パケット生成する。
このように、複雑なプロセッサ処理を必要とするヘッダ情報の生成や、パケット構造の決定をＨ／Ｗ回路が自動的に行うことで、ＣＰＵの処理負荷を軽減している。
ただし、ＣＰＵによる処理とＨ／Ｗ回路による処理の分担が煩雑であり、競合制御の複雑化や、自動生成における制約がパケット生成の柔軟さを喪失させる問題が生じている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００１−１８６１００号公報
【特許文献２】特開２０００−６９０８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従来のマルチメディア送信装置は以上のように構成されているので、ヘッダ情報の生成やパケット構造の決定などの複雑な演算処理をプロセッサの処理とすれば、多重対象の符号化メディア信号の発生状況に応じて柔軟に伝送パケットを生成することができるとともに、複雑な回路構成を簡素化することができるが、各種のメディア信号の符号化レートが高レート化するにしたがってプロセッサに要求される処理量が大幅に増加し、プロセッサの高性能化などの対策が必要となる課題があった。
一方、Ｈ／Ｗ回路が固定フォーマットのパケットを構成して自動的に伝送パケットを生成する場合、プロセッサの処理負荷を軽減することができる。しかし、Ｈ／Ｗ回路では、多重対象の符号化メディア信号の発生状況に応じて柔軟に伝送パケットを生成することができず、プロセッサによる処理とＨ／Ｗ回路による処理を適応的に切り替えることができないため、多重対象の符号化メディア信号の発生状況に応じて柔軟に伝送パケットを生成することができない課題があった。
【０００９】
この発明は上記のような課題を解決するためになされたもので、多重対象の符号化メディア信号の発生状況に応じて伝送パケットを生成する柔軟性を損なうことなく、各種のメディア信号の符号化レートの高レート化に伴うプロセッサ処理の負荷の増加を抑えることができるマルチメディア送信装置を得ることを目的とする。
【課題を解決するための手段】
【００１０】
この発明に係るマルチメディア送信装置は、メディア信号符号化手段により符号化されたメディア信号である符号化メディア信号を取り込んで、その符号化メディア信号を保持するとともに、その符号化メディア信号の取込状況を通知する符号化メディア信号取込手段と、符号化メディア信号取込手段から通知された符号化メディア信号の取込状況と伝送パケットの生成状況を考慮して、伝送パケットに多重する符号化メディア信号及びヘッダ情報を決定し、その符号化メディア信号及びヘッダ情報の多重を指示する多重要求を出力するパケット多重制御手段と、パケット多重制御手段から出力された多重要求を保持し、伝送パケットの生成が可能な状態になると、保持している１以上の多重要求の中から何れかの多重要求を選択する多重要求管理手段とを設け、パケット生成手段が、符号化メディア信号取込手段により保持されている符号化メディア信号の中から多重要求管理手段により選択された多重要求が多重を指示する符号化メディア信号を取得するとともに、その多重要求が多重を指示するヘッダ情報を取得して、その符号化メディア信号とヘッダ情報から伝送パケットを生成するようにしたものである。
【発明の効果】
【００１１】
この発明によれば、メディア信号符号化手段により符号化されたメディア信号である符号化メディア信号を取り込んで、その符号化メディア信号を保持するとともに、その符号化メディア信号の取込状況を通知する符号化メディア信号取込手段と、符号化メディア信号取込手段から通知された符号化メディア信号の取込状況と伝送パケットの生成状況を考慮して、伝送パケットに多重する符号化メディア信号及びヘッダ情報を決定し、その符号化メディア信号及びヘッダ情報の多重を指示する多重要求を出力するパケット多重制御手段と、パケット多重制御手段から出力された多重要求を保持し、伝送パケットの生成が可能な状態になると、保持している１以上の多重要求の中から何れかの多重要求を選択する多重要求管理手段とを設け、パケット生成手段が、符号化メディア信号取込手段により保持されている符号化メディア信号の中から多重要求管理手段により選択された多重要求が多重を指示する符号化メディア信号を取得するとともに、その多重要求が多重を指示するヘッダ情報を取得して、その符号化メディア信号とヘッダ情報から伝送パケットを生成するように構成したので、多重対象の符号化メディア信号の発生状況に応じて伝送パケットを生成する柔軟性を損なうことなく、各種のメディア信号の符号化レートの高レート化に伴うプロセッサ処理の負荷の増加を抑えることができる効果がある。
【図面の簡単な説明】
【００１２】
【図１】この発明の実施の形態１によるマルチメディア送信装置を示す構成図である。
【図２】パケット生成部８により生成される伝送パケットＰの一例を示す説明図である。
【図３】パケット多重制御部４から出力される多重要求ＭＲに含まれる項目及び内容を示す説明図である。
【図４】パケット多重制御部４から出力される多重要求ＭＲの具体例を示す説明図である。
【図５】パケット生成部８により生成される付加情報付きの伝送パケットＰを示す説明図である。
【図６】パケット生成部８により生成される付加情報付きの伝送パケットＰを示す説明図である。
【図７】この発明の実施の形態２によるマルチメディア送信装置を示す構成図である。
【図８】この発明の実施の形態２によるマルチメディア送信装置のヘッダ補正部１１を示す構成図である。
【図９】この発明の実施の形態２によるマルチメディア送信装置が適用する「ＭＰＥＧ−２ Ｓｙｓｔｅｍｓ規格」のＴＳ形式のパケット構造の一例を示す説明図である。
【図１０】この発明の実施の形態３によるマルチメディア送信装置を示す構成図である。
【図１１】図１０のマルチメディア送信装置の多重待ち検出部２１により算出される多重残量を示す説明図である。
【図１２】図１０のマルチメディア送信装置の多重待ち検出部２１の処理内容を示すフローチャートである。
【発明を実施するための形態】
【００１３】
実施の形態１．
図１はこの発明の実施の形態１によるマルチメディア送信装置を示す構成図である。
図１では、メディア信号として、映像信号、音声信号、データ信号を取り扱う例を示しているが、これは一例に過ぎず、映像信号、音声信号、データ信号以外のメディア信号を取り扱うようにしてもよい。また、特定のメディア信号を一つだけ取り扱うようにしてもよい。
また、図１では、各種のメディア信号を符号化して、その符号化メディア信号を含む伝送パケットを生成し、その伝送パケットを多重化ストリームに多重化して送信する例を示しているが、その伝送パケットの出力先は伝送路に限るものではなく、記録媒体であってもよい。
【００１４】
図１において、映像符号化部１はメディア信号である映像信号Ｖを符号化し、符号化後の映像信号である符号化映像信号ＣＶを保持する処理を実施する。
音声符号化部２はメディア信号である音声信号Ａを符号化し、符号化後の音声信号である符号化音声信号ＣＡを保持する処理を実施する。
データ符号化部３はメディア信号であるデータ信号Ｄを符号化し、符号化後のデータ信号である符号化データ信号ＣＤを保持する処理を実施する。
【００１５】
映像符号化部１の映像符号化処理部１ａは映像信号Ｖを符号化し、符号化後の映像信号である符号化映像信号ＣＶを出力する処理を実施する。なお、映像符号化処理部１ａはメディア信号符号化手段を構成している。
符号化映像入力部１ｂは映像符号化処理部１ａから出力された符号化映像信号ＣＶを取り込んで、その符号化映像信号ＣＶを映像ＥＳバッファ１ｃに書き込む処理を実施する。
また、符号化映像入力部１ｂは符号化映像信号ＣＶを構成する符号化フレームの区切れ目を検知して、その符号化フレームの区切れ目の有無及び位置を示す区切れ目情報や、映像ＥＳバッファ１ｃに対する符号化映像信号ＣＶの書込位置を示す位置情報などを含む符号化映像信号ＣＶの取込状況ＩＣを通知する処理を実施する。
映像ＥＳバッファ１ｃは符号化映像入力部１ｂにより取り込まれた符号化映像信号ＣＶを保持するメモリである。
なお、符号化映像入力部１ｂ及び映像ＥＳバッファ１ｃから符号化メディア信号取込手段が構成されている。
【００１６】
図１では、音声符号化部２及びデータ符号化部３の内部構成を省略しているが、その内部構成は、映像符号化部１の内部構成と同様であり、音声符号化部２は映像符号化処理部１ａに相当する音声符号化処理部、符号化映像入力部１ｂに相当する符号化音声入力部、映像ＥＳバッファ１ｃに相当する音声ＥＳバッファを備えている。
また、データ符号化部３は映像符号化処理部１ａに相当するデータ符号化処理部、符号化映像入力部１ｂに相当する符号化データ入力部、映像ＥＳバッファ１ｃに相当するデータＥＳバッファを備えている。
【００１７】
パケット多重制御部４は例えばＣＰＵなどのプロセッサで構成されており、映像符号化部１の符号化映像入力部１ｂから通知された符号化映像信号ＣＶの取込状況ＩＣ（音声符号化部２から通知された符号化音声信号ＣＡの取込状況ＩＣ、データ符号化部３から通知された符号化データ信号ＣＤの取込状況ＩＣを含む）と、多重要求管理部７から通知された多重状況ＭＣとを考慮して、伝送パケットＰの本体部分に多重する符号化メディア信号（符号化映像信号ＣＶ、符号化音声信号ＣＡ又は符号化データ信号ＣＤ）又は制御情報ＣＩ（例えば、伝送パケットＰに含まれている符号化メディア信号の種類や、符号化メディア信号の属性などを示す情報）と、伝送パケットＰのヘッダ部分に多重するヘッダ情報ＨＩを決定する処理を実施する。
また、パケット多重制御部４は伝送パケットＰに多重する符号化メディア信号及びヘッダ情報ＨＩ・制御情報ＣＩの多重を指示する多重要求ＭＲを多重要求管理部７に出力するとともに、そのヘッダ情報ＨＩと制御情報ＣＩをヘッダ・制御情報管理部５に出力する処理を実施する。なお、パケット多重制御部４はパケット多重制御手段を構成している。
【００１８】
ヘッダ・制御情報管理部５はパケット多重制御部４から出力されたヘッダ情報ＨＩと制御情報ＣＩをヘッダ・制御情報格納バッファ６に書き込む一方、ヘッダ・制御情報格納バッファ６から、パケット生成部８より出力されるヘッダ・制御情報の読出要求ＩＲＲにしたがってヘッダ情報ＨＩと制御情報ＣＩを取り出し、そのヘッダ情報ＨＩと制御情報ＣＩをパケット生成部８に出力する処理を実施する。
ヘッダ・制御情報格納バッファ６はヘッダ・制御情報管理部５から出力されたヘッダ情報ＨＩと制御情報ＣＩを保持するメモリである。
【００１９】
多重要求管理部７はパケット多重制御部４から出力された多重要求ＭＲを保持し、パケット生成部８から伝送パケットＰの生成が可能な状態である旨を示す多重完了通知ＭＦＮを受けると、保持している１以上の多重要求ＭＲの中から何れかの多重要求ＭＲ（例えば、最も優先度が高い多重要求ＭＲ、パケット多重制御部４から最も先に出力された多重要求ＭＲ）を選択し、その選択した多重要求ＭＲをパケット生成部８に出力する処理を実施する。
また、多重要求管理部７はパケット多重制御部４から多重要求ＭＲを受けると、まだパケット化を指示していない符号化メディア信号のデータ列の最初の位置である多重開始位置（当該多重要求ＭＲが多重を指示する符号化メディア信号のデータ列の最終位置の次の位置）と、当該多重要求ＭＲが処理待ちである旨を示す多重状況ＭＣをパケット多重制御部４に通知する処理を実施する。
また、多重要求管理部７はパケット生成部８から多重完了通知ＭＦＮを受けると、次の多重要求が受けられる状態である旨を示す多重状況ＭＣをパケット多重制御部４に通知する処理を実施する。なお、多重要求管理部７は多重要求管理手段を構成している。
【００２０】
パケット生成部８は映像符号化部１、音声符号化部２又はデータ符号化部３により保持されている符号化メディア信号（符号化映像信号ＣＶ、符号化音声信号ＣＡ又は符号化データ信号ＣＤ）の中から、多重要求管理部７から出力された多重要求ＭＲが多重を指示する符号化メディア信号を取得するとともに、ヘッダ・制御情報管理部５により管理されているヘッダ情報ＨＩ及び制御情報ＣＩの中から、その多重要求ＭＲが多重を指示するヘッダ情報ＨＩ及び制御情報ＣＩを取得して、その符号化メディア信号とヘッダ情報ＨＩ・制御情報ＣＩから伝送パケットＰを生成する処理を実施する。
また、パケット生成部８は多重要求ＭＲに時刻情報を多重する要求が含まれている場合、時刻情報の多重を指示する付加情報を伝送パケットＰに付加して、付加情報付きの伝送パケットＰをパケット出力部９に出力するとともに、伝送パケットＰの生成が可能な状態である旨を示す多重完了通知ＭＦＮを多重要求管理部７に出力する処理を実施する。なお、パケット生成部８はパケット生成手段を構成している。
【００２１】
パケット出力部９はパケット生成部８により生成された伝送パケットＰをパケットバッファ１０に格納し、その伝送パケットＰを出力するタイミングになると、そのパケットバッファ１０から伝送パケットＰを取り出して、その伝送パケットＰを伝送路等に出力する処理を実施する。
ただし、パケット出力部９はパケット生成部８により生成された伝送パケットＰを出力する際、時刻情報の多重を指示する付加情報が伝送パケットＰに付加されている場合、その伝送パケットＰの出力時刻を示す時刻情報を伝送パケットＰに付与する。
パケットバッファ１０は伝送パケットＰを一時的に保持するメモリである。
なお、パケット出力部９及びパケットバッファ１０からパケット出力手段が構成されている。
【００２２】
図２はパケット生成部８により生成される伝送パケットＰの一例を示す説明図である。
ただし、図２では、特定のメディア信号によらず一般的なメディア信号が符号化されて、伝送パケットＰが生成されている例を示している。
例えば、メディア信号が映像信号である場合、映像符号化方式の規則に基づく一定の符号化単位（例えば、映像を構成する１枚ずつのピクチャ単位）で区切られている。
また、メディア信号が音声信号である場合、その音声信号からサンプリングされた音声情報のうち、音声符号化方式の規則に基づく一定の個数分が一纏めの単位で符号化され、その符号化単位で区切られている。
【００２３】
図２において、Ｆ１は符号化メディア信号（符号化映像信号ＣＶ、符号化音声信号ＣＡ又は符号化データ信号ＣＤ）が符号化単位で区切られたデータ列の一つであり、データ量が多いために、複数の伝送パケットＰ１〜Ｐ４に分割多重される符号化フレームである。
Ｆ２は符号化フレームＦ１と同様に符号化メディア信号が符号化単位で区切られたデータ列の一つであるが、データ量が少ないために、単一の伝送パケットＰ５に多重される符号化フレームである。
【００２４】
Ｐ１は符号化フレームＦ１の先頭部分を含む伝送パケット、Ｐ２は符号化フレームＦ１の中間部分を含む伝送パケット、Ｐ３は符号化フレームＦ１の中間部分と付加情報Ｈ３を含む伝送パケット、Ｐ４は符号化フレームＦ１の最終部分を含む伝送パケット、Ｐ５は符号化フレームＦ２を含む伝送パケットである。
Ｈ１は伝送パケットＰ１〜Ｐ５に含まれるパケットヘッダ、Ｈ２は符号化フレームＦ１の先頭部分を含む伝送パケットＰ１に付与されるフレームヘッダ、Ｈ３は伝送パケットＰ３に一時的に付与される付加情報、Ｈ４は符号化フレームＦ１，Ｆ２の最終部分を含む伝送パケットＰ４，Ｐ５の余剰部分に付与されるスタッフデータである。
【００２５】
図３はパケット多重制御部４から出力される多重要求ＭＲに含まれる項目及び内容を示す説明図である。
図４はパケット多重制御部４から出力される多重要求ＭＲの具体例を示す説明図である。
図３及び図４に示すように、多重要求ＭＲには、伝送パケットＰの構成を指定するために、付加情報、ヘッダ多重領域（１）〜（３）、ペイロード多重領域及びトレイラ多重領域が含まれている。
この例では、３つのヘッダ多重領域（１）〜（３）を示しているが、ヘッダ多重領域の個数は３つ未満でも、４つ以上でもよい。
トレイラ多重領域は、用途によって付加的に利用されるものであるため、トレイラ多重領域はなくてもよい。
【００２６】
付加情報には、伝送パケットＰの中に格納する映像信号、音声信号、データ信号などのメディア信号の区別、あるいは、制御データの区別など、伝送パケットＰに多重する主たる情報の種別を示すペイロード多重種別のほか、伝送パケットＰに付与するカウンタ値を初期化するか否かを指定するカウンタ初期化有無や、伝送パケットＰに時刻情報を設定するか否かを指定する時刻情報有無が含まれている。
【００２７】
ヘッダ多重領域には、ヘッダ・制御情報格納バッファ６に保持されているヘッダ情報ＨＩ及び制御情報ＣＩの中から、伝送パケットＰに多重するヘッダ情報ＨＩ，制御情報ＣＩを取り出すための情報として、ヘッダ・制御情報格納バッファ６に存在しているヘッダ情報ＨＩ，制御情報ＣＩのデータ列の最初の位置（メモリ上のアドレス）にあたる多重開始位置と、そのヘッダ情報ＨＩ，制御情報ＣＩのデータ列のデータ量（バイト数）にあたる多重サイズと、そのデータ列に続いて固定内容のスタッフデータを付与する際のスタッフ量にあたるスタッフサイズとが含まれている。
【００２８】
ペイロード多重領域には、付加情報中のペイロード多重種別で指定される多重対象の情報に対応するＥＳバッファ（例えば、多重対象の情報が符号化映像信号ＣＶであれば、映像ＥＳバッファ１ｃ）に保持されている符号化メディア信号の中から、伝送パケットＰに多重する符号化メディア信号を取り出すための情報として、ＥＳバッファに存在している符号化メディア信号のデータ列の最初の位置（メモリ上のアドレス）にあたる多重開始位置と、その符号化メディア信号のデータ列のデータ量（バイト数）にある多重サイズとが含まれている。
【００２９】
トレイラ多重領域には、付加情報中のペイロード多重種別で指定された多重対象の情報に続いて付加的な情報を多重する場合に適用されるものであり、ヘッダ・制御情報格納バッファ６に保持されているヘッダ情報ＨＩ及び制御情報ＣＩの中から、伝送パケットＰに多重するヘッダ情報ＨＩ，制御情報ＣＩを取り出すための情報として、ヘッダ・制御情報格納バッファ６に存在しているヘッダ情報ＨＩ，制御情報ＣＩのデータ列の最初の位置（メモリ上のアドレス）にあたる多重開始位置と、そのヘッダ情報ＨＩ，制御情報ＣＩのデータ列のデータ量（バイト数）にあたる多重サイズと、そのデータ列に続いて固定内容のスタッフデータを付与する際のスタッフ量にあたるスタッフサイズとが含まれている。
【００３０】
次に動作について説明する。
映像符号化部１の映像符号化処理部１ａは、メディア信号である映像信号Ｖを入力すると、その映像信号Ｖを所定の符号化方式で符号化し、符号化後の映像信号である符号化映像信号ＣＶを符号化映像入力部１ｂに出力する。
映像信号の符号化方式としては、例えば、「ＭＰＥＧ−２ Ｖｉｄｅｏ」、「ＭＰＥＧ−４ Ｖｉｄｅｏ」、「ＭＰＥＧ−４ ＡＶＣ」、「ＶＣ−１」などの映像符号化規格に準拠した符号化方式が考えられる。
【００３１】
映像符号化部１の符号化映像入力部１ｂは、映像符号化処理部１ａから出力された符号化映像信号ＣＶを取り込んで、その符号化映像信号ＣＶを一時的に映像ＥＳバッファ１ｃに格納する。
また、符号化映像入力部１ｂは、その符号化映像信号ＣＶを構成する符号化フレームの区切れ目を探索する処理を行う。
ここで、符号化映像信号ＣＶの区切れ目は、先に述べた映像符号化方式の規則に従って符号化単位に付与される区切れ目を意味し、例えば、映像符号化方式が「ＭＰＥＧ−２ Ｖｉｄｅｏ」であれば、符号化映像信号ＣＶの区切れ目には、「ｓｔａｒｔ＿ｃｏｄｅ＿ｐｒｅｆｉｘ」と呼ばれる他のデータ列とは異なる特別なデータ列が挿入されるので、「ｓｔａｒｔ＿ｃｏｄｅ＿ｐｒｅｆｉｘ」を検知することで、符号化フレームの区切れ目を探索する。
符号化映像入力部１ｂは、符号化フレームの区切れ目の探索処理を行うと、その符号化フレームの区切れ目の有無及び位置を示す区切れ目情報や、映像ＥＳバッファ１ｃに対する符号化映像信号ＣＶの書込位置（符号化映像信号ＣＶのデータ列の最初の位置）を示す位置情報などを含む符号化映像信号ＣＶの取込状況ＩＣをパケット多重制御部４に出力する。
【００３２】
音声符号化部２は、メディア信号である音声信号Ａを入力すると、その音声信号Ａを所定の符号化方式で符号化し、符号化後の音声信号である符号化音声信号ＣＡを内部の音声ＥＳバッファに格納するとともに、符号化映像信号ＣＶの取込状況ＩＣに相当する符号化音声信号ＣＡの取込状況ＩＣをパケット多重制御部４に出力する。
なお、音声信号の符号化方式としては、例えば、「ＭＰＥＧ−１ Ａｕｄｉｏ」、「ＭＰＥＧ−２ Ａｕｄｉｏ」、「ＭＰＥＧ−２／４ ＡＡＣ」、「Ｄｏｌｂｙ ＡＣ−３」などの音声符号化規格に準拠した符号化方式が考えられる。
【００３３】
データ符号化部３は、メディア信号であるデータ信号Ｄを入力すると、そのデータ信号Ｄを所定の符号化方式で符号化し、符号化後のデータ信号である符号化データ信号ＣＤを内部のデータＥＳバッファに格納するとともに、符号化映像信号ＣＶの取込状況ＩＣに相当する符号化データ信号ＣＤの取込状況ＩＣをパケット多重制御部４に出力する。
なお、音声符号化部２及びデータ符号化部３の内部の処理内容は、映像符号化部１の内部の処理内容と同様であるため詳細な説明を省略する。
【００３４】
パケット多重制御部４は、映像符号化部１、音声符号化部２及びデータ符号化部３から符号化映像信号ＣＶ等の取込状況ＩＣの通知を受けると、その符号化映像信号ＣＶ等の取込状況ＩＣと、多重要求管理部７から通知される多重状況ＭＣを考慮して、次に生成する伝送パケットＰの構成を決定する。
即ち、パケット多重制御部４は、次に生成する伝送パケットＰに多重する符号化メディア信号の種別を決定して、その符号化メディア信号のデータ列の多重開始位置（ＥＳバッファに存在している符号化メディア信号のデータ列のち、これから多重するデータ列の最初の位置）と、その符号化メディア信号のデータ列のデータ量である多重サイズを決定する。
【００３５】
例えば、映像→音声→データ→映像・・・の順番で、符号化メディア信号を送信する方式を採用している場合、前回、符号化データ信号ＣＤを送信していれば、多重対象の符号化メディア信号を符号化映像信号ＣＶに決定し、前回、符号化映像信号ＣＶを送信していれば、多重対象の符号化メディア信号を符号化音声信号ＣＡに決定し、前回、符号化音声信号ＣＡを送信していれば、多重対象の符号化メディア信号を符号化データ信号ＣＤに決定する。
ここでの多重対象の符号化メディア信号の決定方法は一例に過ぎず、例えば、多重要求管理部７に保持されていない多重要求ＭＲに係る符号化メディア信号を多重対象に決定するようにしてもよい。例えば、符号化音声信号ＣＡの多重を指示する多重要求ＭＲと、符号化データ信号ＣＤの多重を指示する多重要求ＭＲを保持しているが、符号化映像信号ＣＶの多重を指示する多重要求ＭＲを保持していなければ、符号化映像信号ＣＶを多重対象に決定するようにしてもよい。
【００３６】
あるいは、多重要求管理部７に保持されている多重要求ＭＲのうち、符号化映像信号ＣＶの多重を指示する多重要求ＭＲの個数と、符号化音声信号ＣＡの多重を指示する多重要求ＭＲの個数と、符号化データ信号ＣＤの多重を指示する多重要求ＭＲの個数とを比較して、最も個数が少ない多重要求ＭＲに係る符号化メディア信号を多重対象に決定するようにしてもよい。
あるいは、ＥＳバッファに蓄積されているデータ量が最も多い符号化メディア信号を多重対象に決定するようにしてもよい。
【００３７】
また、多重対象の符号化メディア信号を例えば符号化映像信号ＣＶに決定した場合、映像ＥＳバッファ１ｃに格納されている符号化映像信号ＣＶのデータ列のうち、まだパケット化を指示していないデータ列の最初の位置（多重要求管理部７から通知される多重状況ＭＣが示す多重設定受付済位置の次の位置、即ち、多重要求管理部７が既に受け付けている多重要求ＭＲが多重を指示する符号化映像信号ＣＶのデータ列の最終位置の次の位置）を多重開始位置に決定する。
符号化メディア信号のデータ列の多重サイズについては、例えば、符号化映像信号ＣＶの取込状況ＩＣに含まれている区切れ目情報を参照して、符号化フレームの区切れ目を認識することで、符号化フレームＦ１や符号化フレームＦ２を構成する符号化メディア信号のバイト数を把握し、そのバイト数を多重サイズに決定する。
【００３８】
パケット多重制御部４は、多重対象の符号化メディア信号を決定すると、その符号化メディア信号に対応するヘッダ情報ＨＩを決定する。
例えば、符号化映像信号ＣＶに対応するヘッダ情報と、符号化音声信号ＣＡに対応するヘッダ情報と、符号化データ信号ＣＤに対応するヘッダ情報とを予め用意し、多重対象の符号化メディア信号を決定すると、予め用意しているヘッダ情報の中から、多重対象の符号化メディア信号に対応するヘッダ情報ＨＩを選択するようにすればよい。
また、パケット多重制御部４は、多重対象の符号化メディア信号を決定すると、その符号化メディア信号の種別等を示す制御信号ＣＩを生成する。
【００３９】
パケット多重制御部４は、多重対象の符号化メディア信号に対応するヘッダ情報ＨＩ，制御信号ＣＩを決定すると、そのヘッダ情報ＨＩ，制御信号ＣＩをヘッダ・制御情報管理部５に出力する。
ヘッダ・制御情報管理部５は、パケット多重制御部４からヘッダ情報ＨＩ，制御信号ＣＩを受けると、そのヘッダ情報ＨＩ，制御信号ＣＩをヘッダ・制御情報格納バッファ６に格納する。
パケット多重制御部４は、多重要求管理部７から次の多重要求が受けられる状態である旨を示す多重状況ＭＣを受けると、次に生成する伝送パケットＰの構成を示す多重要求ＭＲ、即ち、伝送パケットＰに多重する符号化メディア信号及びヘッダ情報ＨＩ・制御情報ＣＩの多重を指示する多重要求ＭＲとして、その符号化メディア信号の種別、その符号化メディア信号のデータ列の多重開始位置及び多重サイズ、その符号化メディア信号に対応するヘッダ情報ＨＩ，制御信号ＣＩなどの情報を含む多重要求ＭＲを多重要求管理部７に出力する。
【００４０】
ここで、伝送パケットの一例としては、デジタル放送や次世代ディスクなどで採用される「ＭＰＥＧ−２ Ｓｙｓｔｅｍｓ規格」に準拠しているＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）形式のＴＳパケット、ＤＶＤなどで採用されるＰＳ（Ｐｒｏｇｒａｍ Ｓｔｒｅａｍ）形式のＰＳパック、あるいは、ＩＰ配信などで採用されるＩＥＴＦで規定されているＲＴＰ（Ｒｅａｌｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）形式のＲＴＰパケットにしたがってパケット多重されたデータ列が該当する。
例えば、ＴＳ形式に基づいて伝送パケットＰを生成する場合、図２に示すように、メディア信号に適する符号化方式によって一定の符号化単位で符号化された符号化メディア信号（符号化フレーム）を固定長の伝送パケットＰに多重して送信する。
各伝送パケットＰには、そのパケットの属性（例えば、映像信号、音声信号、データ信号など多重対象の区別、符号化フレームの先頭部分を含むか否か、パケットの欠落を確認するためにパケット毎に付与され、１ずつカウントアップするシーケンス番号など）を含むパケットヘッダＨ１が付与される。
【００４１】
固定長の伝送パケットＰに対して、可変長の符号化フレームＦ１，Ｆ２を多重するために、例えば、符号化フレームＦ１のように、符号化フレームのサイズが伝送パケットＰに格納可能なサイズよりも大きい場合、その符号化フレームを複数に分割して格納する。
逆に、符号化フレームＦ２のように、符号化フレームのサイズが伝送パケットＰに格納可能なサイズよりも小さい場合、その符号化フレームをそのまま格納する。
その際、各符号化フレームに付随する付加的な情報として、例えば、その符号化フレームを復号あるいは表示する時刻などを通知する場合、符号化フレームの先頭部分を送信する伝送パケットは、伝送パケットＰ１のような構成となり、パケットヘッダＨ１に続いてフレームヘッダＨ２（ＴＳ形式では、ＰＥＳヘッダと呼ばれる）を追加し、パケットヘッダＨ２の中に、符号化フレームの“先頭有り”が設定され、伝送パケットの残領域に符号化フレームが格納される。
【００４２】
符号化フレームが分割された中間部分を送信する伝送パケットは、伝送パケットＰ２のような構成となり、パケットヘッダＨ１を設定した残領域に符号化フレームが格納される。
符号化フレームの最終部分を送信する伝送パケットは、伝送パケットＰ４のような構成となり、伝送パケットに格納可能なサイズよりも符号化フレームの未送信部分が少なくなって、固定長の伝送パケットに余剰領域が発生してしまう場合、パケットヘッダＨ１に続いてスタッフ領域Ｈ４が設定されて調整される。
伝送パケットを送信するに際して、一時的に付与する情報がある場合、伝送パケットＰ３のように、伝送パケットヘッダＨ１に続いて付加情報Ｈ３が追加されて、その残領域に符号化フレームが格納される。
また、符号化フレームＦ２のように、伝送パケットに格納可能なサイズよりも小さな符号化フレームの場合、フレームヘッダＨ２とスタッフ領域Ｈ４の両方が設定される。
【００４３】
ＴＳ形式では、ＴＳパケットのヘッダ内の付加領域（アダプテーション領域）にスタッフ領域を設定する規定であるため、この実施の形態１にあてはめれば、必須部分がパケットヘッダＨ１、アダプテーション領域中の有意な情報部分が付加情報Ｈ３、アダプテーション領域中のスタッフ部分がスタッフ領域Ｈ４となり、伝送パケットＰの属性に応じてパケットヘッダＨ１、付加情報Ｈ３、スタッフ領域Ｈ４、さらにフレームヘッダ領域Ｈ２、残領域における符号化フレームの順序でそれぞれ必要により設定される。
この実施の形態１では、伝送パケットＰを生成する方法に着目しており、特定の符号化方式やパケット化方式に依存するものではなく、汎用的に適用することができる。
以下、パケットの生成に関わる処理内容を具体的に説明する。
【００４４】
多重要求管理部７は、パケット多重制御部４から多重要求ＭＲを受けると、その多重要求ＭＲを保持する。
また、多重要求管理部７は、その多重要求ＭＲが多重を指示する符号メディア信号のデータ列の多重開始位置と多重サイズから、そのデータ列の最後のデータ位置を多重設定受付済位置として算出し、その多重設定受付済位置と当該多重要求ＭＲが処理待ちである旨を示す多重状況ＭＣをパケット多重制御部４に通知する。
多重要求管理部７は、パケット生成部８から伝送パケットＰの生成が可能な状態である旨を示す多重完了通知ＭＦＮを受けると、保持している１以上の多重要求ＭＲの中から、何れかの多重要求ＭＲを選択し、その選択した多重要求ＭＲをパケット生成部８に出力する。
また、多重要求管理部７は、多重完了通知ＭＦＮを受けると、次の多重要求ＭＲが受けられる状態である旨を示す多重状況ＭＣをパケット多重制御部４に通知する。
【００４５】
ここで、保持している１以上の多重要求ＭＲの中から、パケット生成部８に出力する多重要求ＭＲの選択方法としては、例えば、保持している１以上の多重要求ＭＲのうち、最も優先度が高い多重要求ＭＲを選択する方法が考えられる。
具体的には、符号化映像信号ＣＶの多重を指示する多重要求ＭＲを保存している場合でも、符号化音声信号ＣＡや符号化データ信号ＣＤを一定周期で送信する必要がある場合がある。
このような場合に、最も優先度が高い多重要求ＭＲが符号化音声信号ＣＡの多重を指示する多重要求ＭＲ、次に優先度が高い多重要求ＭＲが符号化データ信号ＣＤの多重を指示する多重要求ＭＲであれば、最も優先度が高い符号化音声信号ＣＡの多重を指示する多重要求ＭＲを選択し、符号化音声信号ＣＡの多重を指示する多重要求ＭＲを保持していなければ、次に優先度が高い符号化データ信号ＣＤの多重を指示する多重要求ＭＲを選択するようにする。
【００４６】
したがって、この場合、符号化映像信号ＣＶの多重を指示する多重要求ＭＲは、符号化音声信号ＣＡの多重を指示する多重要求ＭＲと符号化データ信号ＣＤの多重を指示する多重要求ＭＲを保持していないときに選択されるようになる。
ただし、多重要求ＭＲの優先度は固定的である必要はなく、例えば、符号化音声信号ＣＶの多重を指示する多重要求ＭＲや、符号化データ信号ＣＤの多重を指示する多重要求ＭＲを選択した直後は、符号化音声信号ＣＡ及び符号化データ信号ＣＤの多重を指示する多重要求ＭＲの優先度を、符号化映像信号ＣＶの多重を指示する多重要求ＭＲの優先度より下げて、符号化映像信号ＣＶの多重を指示する多重要求ＭＲが選択され易くし、その後、所定の送信周期に近づくと、優先度を元の高さに戻すようにしてもよい。
【００４７】
また、多重要求管理部７がパケット多重制御部４から出力された多重要求ＭＲを時系列的に保持し、パケット生成部８から伝送パケットＰの生成が可能な状態である旨を示す多重完了通知ＭＦＮを受けると、パケット多重制御部４から最も先に出力された多重要求ＭＲを選択する方法が考えられる。
この場合、伝送パケットＰに多重される符号化メディア信号の順序は、パケット多重制御部４の判断に委ねられることになる。
このため、順序制御の柔軟性が高くなるのと同時に、パケット多重制御部４で処理負荷の増減を吸収することが可能になり、また、多重要求管理部７の回路構成を簡易化することが可能になる。
【００４８】
パケット生成部８は、多重要求管理部７から多重要求ＭＲを受けると、映像符号化部１、音声符号化部２又はデータ符号化部３により保持されている符号化メディア信号（符号化映像信号ＣＶ、符号化音声信号ＣＡ又は符号化データ信号ＣＤ）の中から、その多重要求ＭＲが多重を指示する符号化メディア信号のデータ列を取得する。
また、ヘッダ・制御情報管理部５により管理されているヘッダ情報ＨＩ及び制御情報ＣＩ、即ち、ヘッダ・制御情報格納バッファ６に保持されているヘッダ情報ＨＩ及び制御情報ＣＩの中から、その多重要求ＭＲが多重を指示するヘッダ情報ＨＩ及び制御情報ＣＩを取得する。
【００４９】
パケット生成部８は、取得した符号化メディア信号のデータ列又は制御情報ＣＩを伝送パケットＰの本体部分に格納し、取得した制御情報ＣＩを伝送パケットＰのヘッダ部分に格納することで、伝送パケットＰを生成する。
パケット生成部８は、伝送パケットＰを生成する際、多重要求ＭＲに時刻情報を多重する要求が含まれている場合（図３及び図４の付加情報を参照）、時刻情報の多重を指示する付加情報を伝送パケットＰに付加して、付加情報付きの伝送パケットＰをパケット出力部９に出力する。
パケット生成部８は、伝送パケットＰの生成が完了すると、伝送パケットＰの生成が可能な状態である旨を示す多重完了通知ＭＦＮを多重要求管理部７に出力する。
【００５０】
ここで、パケット生成部８によるパケットの生成処理を具体的に説明する。
パケット生成部８は、多重要求管理部７から出力された多重要求ＭＲの設定内容である付加情報のペイロード多重種別を参照して、多重対象の符号化メディア信号の種別を把握し、多重対象の符号化メディア信号が保持されているＥＳバッファにおいて、ペイロード多重領域の多重開始位置が示す位置から多重サイズ分のデータ列を取得する。
また、パケット生成部８は、ヘッダ多重領域（１）〜（３）とトレイラ多重領域を参照して、ヘッダ情報ＨＩ及び制御情報ＣＩを保持しているヘッダ・制御情報格納バッファ６において、それらの領域の多重開始位置が示す位置から多重サイズ分のデータ列を取得する。
【００５１】
図４に示すように、伝送パケットＰを構成する規格がＴＳ形式に準じている場合、ヘッダ多重領域（１）には、ＴＳパケットヘッダ（例えば、パケットヘッダＨ１）が格納される。
また、ヘッダ多重領域（２）には、アダプテーション領域の有意な情報部分（例えば、付加情報Ｈ３）やスタッフ部分（例えば、スタッフ領域Ｈ４）が格納され、ヘッダ多重領域（３）には、ＰＥＳヘッダ（例えば、フレームヘッダＨ２）が格納される態様が考えられる。
【００５２】
ただし、ヘッダ情報ＨＩの内容は、ヘッダ・制御情報格納バッファ６に存在するので、パケット多重制御部４の処理内容に応じて随時更新し、一つのヘッダ多重領域に全ての情報をまとめて設定するようにしてもよい。
また、固定内容となる情報や伝送パケット間で共通となる情報を個々のヘッダ領域に分割して設定して、書き換えの手間を削減できるようにしてもよい。
なお、ＰＳ形式に準じている場合、ヘッダ多重領域（１）にはＰＳパックヘッダ、ヘッダ多重領域（２）には制御情報にあたるシステムＰＥＳパケット、ヘッダ多重領域（３）にはＰＥＳヘッダ、トレイラ多重領域には例えばスタッフ目的で適用される特殊なＰＥＳパケット（ｐａｄｄｉｎｇ＿ｓｔｒｅａｍ）が格納される態様が考えられる。
【００５３】
パケット生成部８は、上記のようにして、符号化メディア信号のデータ列を取得するとともに、ヘッダ情報ＨＩ及び制御情報ＣＩを取得すると、その符号化メディア信号のデータ列又は制御情報ＣＩのデータ列を伝送パケットＰの本体部分に順次格納し、そのヘッダ情報ＨＩのデータ列を伝送パケットＰのヘッダ部分に順次格納することで、伝送パケットＰを生成する。
パケット生成部８は、上述したように、多重要求ＭＲに時刻情報を多重する要求が含まれている場合、時刻情報の多重を指示する付加情報を伝送パケットＰに付加する。
【００５４】
なお、多重要求ＭＲにおいて、スタッフサイズは、スタッフ目的でヘッダ情報の内容に０ｘＦＦ（１６進）などの固定値を設定する場合に、その多重量を指定するものである。
したがって、ヘッダ・制御情報格納バッファ６のメモリを消費することなく、多重量を指定するだけで、伝送パケットＰへの多重設定を実現することができる。
また、多重サイズやスタッフサイズに“０バイト”を指定することによって、各多重領域を適用したパケット生成が不要であることを示すことができる。もちろん、パケット多重制御部４のプロセッサ処理の都合によって、スタッフとして設定する固定値も含めて有意なデータ列として構成してもよい。
【００５５】
ここで、図５はパケット生成部８により生成される付加情報付きの伝送パケットＰを示す説明図である。
図５の例では、伝送パケットＰの本体に符号化メディア信号のデータ列又は制御情報ＣＩのデータ列が格納され、伝送パケットＰの先頭部分（図中、点線より上の部分）にヘッダ情報ＨＩが格納されている。
また、パケット付加情報には時刻情報の多重を指示する情報が格納されている。
【００５６】
パケット出力部９は、パケット生成部８から付加情報付きの伝送パケットＰを受けると、その伝送パケットＰの出力タイミングになるまで、その伝送パケットＰをパケットバッファ１０に格納して管理する。
パケット出力部９は、その伝送パケットＰの出力タイミングになると（例えば、伝送路側からパケットの送信要求を受けた場合、あるいは、伝送レート制御条件に基づく出力タイミングになった場合）、そのパケットバッファ１０から伝送パケットＰを取り出して、その伝送パケットＰを伝送路等に出力する。
【００５７】
ただし、パケット出力部９は、パケット生成部８により生成された伝送パケットＰを出力する際、時刻情報の多重を指示する付加情報が伝送パケットＰに付加されている場合、その伝送パケットＰの出力時刻（出力タイミングに応じた時刻）を示す時刻情報を伝送パケットＰに付与して、最終的な伝送パケットＰを生成し、その伝送パケットＰを伝送路等に出力する。
なお、パケット出力部９が伝送パケットＰの出力時刻を付与しているのは、パケット生成部８が伝送パケットＰを生成する時点では、出力タイミングに応じた時刻が分からないからである。
【００５８】
時刻情報の一例としては、伝送パケットＰがＴＳ形式である場合、想定される用途が放送や通信など、送受信装置間での利用であるため、送信装置側と受信装置側とで動作周波数を一致させる目的で、一定周期以内に送信装置側から特定のＴＳパケットのアダプテーション領域内にＰＣＲ（ｐｒｏｇｒａｍ＿ｃｌｏｃｋ＿ｒｅｆｅｒｅｎｃｅ）と呼ばれるクロック情報を設定して送出する規定となっている。このクロック情報には厳密な精度が求められるため、出力タイミングに合わせて時刻値を決定する必要がある。
ＰＳ形式の場合、想定される用途がＤＶＤなどの再生装置での利用であるため、このような規定はないが、ＴＳ形式に代わってＰＳ形式で送受信装置間での伝送に利用することも可能である。
このような場合には、ＰＳ形式の各ＰＳパックヘッダ内にＳＣＲ（ｓｙｓｔｅｍ＿ｃｌｏｃｋ＿ｒｅｆｅｒｅｎｃｅ）と呼ばれるクロック情報を設定して送出することで代用される。
【００５９】
図５では、伝送パケットＰの本体部分に付加情報が付加されている例を示しているが、図６に示すように、伝送パケットＰの先頭部分を除く部分（図中、点線より下の部分）にヘッダ情報ＨＩ、符号化メディア信号のデータ列又は制御情報ＣＩのデータ列が格納され、伝送パケットＰの先頭部分（図中、点線より上の部分）に付加情報を格納するようにしてもよい。
具体的には、パケット生成部８が伝送パケットＰの先頭部分の固定値（例えば、同期バイト）となる部分を改変して、時刻情報有りを意味する特定の値を設定するようにする。
あるいは、同期バイトをビット反転することで、時刻情報有りを意味するようにする。
パケット出力部９は、時刻情報有りを意味する特定の値（または、同期バイトのビット反転値）を検知することで、時刻情報有りを認識すると、その特定の値（ビット反転値）を元の固定値に復元する。
【００６０】
この実施の形態１では、パケット出力部９が伝送パケットＰをパケットバッファ１０に一時的に格納し、出力タイミングになると、そのパケットバッファ１０から伝送パケットＰを取り出して、その伝送パケットＰを出力するものについて示したが、パケット出力部９が伝送パケットＰの出力タイミングから、伝送パケットＰの生成タイミングを計ることで、パケット生成部８のパケット生成機能とパケット出力部９のパケット出力機能を一体化して、回路構成を簡易化することも可能である。
【００６１】
以上で明らかなように、この実施の形態１によれば、符号化メディア信号を取り込んで、その符号化メディア信号を保持するとともに、その符号化メディア信号の取込状況ＩＣを通知する符号化部１，２，３と、符号化部１，２，３から通知された符号化メディア信号の取込状況ＩＣと多重要求部７から通知された多重状況ＭＣを考慮して、伝送パケットＰに多重する符号化メディア信号及びヘッダ情報ＨＩを決定し、その符号化メディア信号及びヘッダ情報ＨＩの多重を指示する多重要求ＭＣを出力するパケット多重制御部４と、パケット多重制御部４から出力された多重要求ＭＣを保持し、伝送パケットＰの生成が可能な状態になると、保持している１以上の多重要求ＭＣの中から何れかの多重要求ＭＣを選択する多重要求管理部７とを設け、パケット生成部８が、符号化部１，２，３により保持されている符号化メディア信号の中から多重要求管理部７により選択された多重要求ＭＣが多重を指示する符号化メディア信号を取得するとともに、その多重要求ＭＣが多重を指示するヘッダ情報ＨＩを取得して、その符号化メディア信号とヘッダ情報ＨＩから伝送パケットＰを生成するように構成したので、多重対象の符号化メディア信号の発生状況に応じて伝送パケットＰを生成する柔軟性を損なうことなく、各種のメディア信号の符号化レートの高レート化に伴うプロセッサ処理の負荷の増加を抑えることができる効果を奏する。
【００６２】
即ち、パケット多重制御部４が符号化メディア信号の取込状況ＩＣと伝送パケットＰの生成状況を集積して、次に生成する伝送パケットＰの構成を決定し、パケット生成部８が多重要求ＭＣにしたがって複数のバッファから多重対象のデータ列を逐次的に取り込んで伝送パケットＰを生成するように構成したので、パケット多重制御部４のプロセッサ処理が介在することによる入出力状況に応じた柔軟性のあるパケット生成と、多重要求管理部７及びパケット生成部８による高速性のあるパケット生成の両立を図ることができる効果を奏する。
【００６３】
また、この実施の形態１によれば、多重要求管理部７が、保持している１以上の多重要求ＭＲのうち、最も優先度が高い多重要求ＭＲを選択するように構成したので、重要度が高い符号化メディア信号の多重タイミングが、重要度が低い符号化メディア信号の存在によって阻害される不具合を解消して、重要度が高い符号化メディア信号を時間通りに送信することができる効果を奏する。
【００６４】
また、この実施の形態１によれば、多重要求管理部７が、保持している１以上の多重要求ＭＲのうち、パケット多重制御部４から最も先に出力された多重要求を選択するように構成したので、伝送パケットＰに多重される符号化メディア信号の順序が、パケット多重制御部４の判断に委ねられるようになり、順序制御の柔軟性を高めることができる効果を奏する。
【００６５】
この実施の形態１によれば、パケット出力部９がパケット生成部８により生成された伝送パケットＰを出力する際、その伝送パケットＰの出力時刻を示す時刻情報を伝送パケットＰに付与するように構成したので、伝送パケットＰの受信側との間で動作周波数の設定を図ることができる効果を奏する。
【００６６】
実施の形態２．
図７はこの発明の実施の形態２によるマルチメディア送信装置を示す構成図であり、図において、図１と同一符号は同一又は相当部分を示すので説明を省略する。
ヘッダ補正部１１は多重要求管理部７により選択された多重要求ＭＲが多重を指示するヘッダ情報ＨＩ・制御情報ＣＩを補正し、補正後のヘッダ情報ＨＩ・制御情報ＣＩをパケット生成部８に出力する処理を実施する。なお、ヘッダ補正部１１はヘッダ補正手段を構成している。
【００６７】
図８はこの発明の実施の形態２によるマルチメディア送信装置のヘッダ補正部１１を示す構成図である。
図８において、ヘッダ補正解析部１２はパケット生成部８から出力されるヘッダ補正情報ＨＲＩを解析して、補正に関わる制御信号を出力する処理を実施する。
カウンタ管理部１３はカウンタ値の初期値１３ａと、多重対象の符号化メディア信号・制御情報ＣＩ別にカウンタ値を格納しているカウンタ値テーブル１３ｂとを有し、パケットＰのヘッダに格納するカウンタ値を管理する処理を実施する。
カウンタ管理部１３のカウンタ選択器１３ｃはカウンタ値の初期値１３ａ又はカウンタ値テーブル１３ｂ内のカウント値のいずれか一方を選択する処理を実施する。
ヘッダ書換部１４はヘッダ補正解析部１２から出力された制御信号とカウンタ管理部１３から出力されたカウンタ値とにしたがって多重対象のヘッダ情報ＨＩ・制御情報ＣＩのビットを書き換えて、補正後のヘッダ情報ＨＩ・制御情報ＣＩを出力する処理を実施する。
【００６８】
信号１０１はヘッダ補正情報内のヘッダ多重領域（３）が“有り”であれば有効になる信号である。
信号１０２はヘッダ補正情報内のヘッダ多重領域（３）、ペイロード領域、トレイラ領域のいずれか一つが“有り”であれば有効になる信号である。
信号１０３はヘッダ補正情報内のヘッダ多重領域（２）が“有り”であれば有効になる信号である。
信号１０４はカウンタ値テーブル１３ｂから取り出された多重対象のカウンタ値を示す信号である。
信号１０５はカウンタ選択器１３ｃにより選択されたカウンタ値を示す信号である。
【００６９】
信号１１１は多重対象のヘッダ情報ＨＩ・制御情報ＣＩの先頭２バイト目における第７ビット（バイト内の下位から数えて７ビット目、ｂ６の位置）の信号（例えば、ＴＳ形式では、ｐａｙｌｏａｄ＿ｕｎｉｔ＿ｓｔａｒｔ＿ｉｎｄｉｃａｔｏｒ）である。
信号１１２は多重対象のヘッダ情報ＨＩ・制御情報ＣＩの先頭４バイト目における第５ビット（バイト内の下位から数えて５ビット目、ｂ４の位置）の信号（例えば、ＴＳ形式では、ａｄａｐｔａｔｉｏｎ＿ｆｉｅｌｄ＿ｃｏｎｔｒｏｌの下位ビット）である。
信号１１３は多重対象のヘッダ情報ＨＩ・制御情報ＣＩの先頭４バイト目における第６ビット（バイト内の下位から数えて６ビット目、ｂ５の位置）の信号（例えば、ＴＳ形式では、ａｄａｐｔａｔｉｏｎ＿ｆｉｅｌｄ＿ｃｏｎｔｒｏｌの上位ビット）である。
信号１１４は多重対象のヘッダ情報ＨＩ・制御情報ＣＩの先頭４バイト目における下位４ビット分（ｂ３〜ｂ０までの４ビット分）で表されるカウンタ値（例えば、ＴＳ形式では、ｃｏｎｔｉｎｕｉｔｙ＿ｃｏｕｎｔｅｒ）である。
【００７０】
信号１２１は信号１０１と信号１１１のうち、いずれか一方の信号が有効であれば、有効になる信号である。
信号１２２は信号１０２と信号１１２のうち、いずれか一方の信号が有効であれば、有効になる信号である。
信号１２３は信号１０３と信号１１３のうち、いずれか一方の信号が有効であれば、有効になる信号である。
カウンタ加算器１４ａは信号１０５が示すカウンタ値（カウンタ選択器１３ｃにより選択されたカウンタ値）と、信号１２２（有効であれば“１”を示し、無効であれば“０”）と、信号１１４が示すカウンタ値とを加算し、その加算結果であるカウント値を示す信号１２４を出力する処理を実施する。
【００７１】
図９はこの発明の実施の形態２によるマルチメディア送信装置が適用する「ＭＰＥＧ−２ Ｓｙｓｔｅｍｓ規格」のＴＳ形式のパケット構造の一例を示す説明図である。
図９の例では、「ＭＰＥＧ−２ Ｓｙｓｔｅｍｓ規格」のＴＳ形式において、この実施の形態２の説明に必要なパラメータをビット配置で示している。
各パラメータの意味は、この実施の形態２の範疇に含まれないので説明を省略するが、ＴＳパケットは１８８バイトの固定長で構成され、その先頭バイトの位置を“１”、最終バイトの位置を“１８８”で示し、バイト内のＭＳＢ（Ｍｏｓｔ Ｓｉｇｎｉｆｉｃａｎｔ Ｂｉｔ）を“ｂ７”、ＬＳＢ（Ｌｅａｓｔ Ｓｉｇｎｉｆｉｃａｎｔ Ｂｉｔ）を“ｂ０”、ＭＳＢからＬＳＢまでの間の各ビットをそれぞれ“ｂ６”から“ｂ１”で示している。
【００７２】
次に動作について説明する。
ヘッダ補正部１１を追加している点以外は、上記実施の形態１と同様であるため、主にヘッダ補正部１１の動作を説明する。
パケット生成部８は、多重要求管理部７から多重要求ＭＲを受けると、上記実施の形態１と同様にして、伝送パケットＰを生成するが、その伝送パケットＰに格納するヘッダ情報ＨＩ，制御情報ＣＩについては、ヘッダ補正部１１による補正後のヘッダ情報ＨＩ，制御情報ＣＩである。
パケット生成部８は、多重要求管理部７から多重要求ＭＲを受けると、その多重要求ＭＲからヘッダ補正情報ＨＲＩを構成して、そのヘッダ補正情報ＨＲＩをヘッダ補正部１１に出力する。
【００７３】
ここで、ヘッダ補正情報ＨＲＩは、多重要求ＭＲに含まれているペイロード多重種別、カウンタ初期化の有無、ヘッダ多重領域（１）の有無、ヘッダ多重領域（２）の有無、ヘッダ多重領域（３）の有無、ペイロード多重領域の有無、トレイラ多重領域の有無を示す情報から構成される。
なお、各領域のサイズが“１”以上であれば多重領域が“有り”、サイズが“０”であれば多重領域が“無し”である。
【００７４】
ヘッダ補正部１１は、パケット生成部８からヘッダ補正情報ＨＲＩを受けると、そのヘッダ補正情報ＨＲＩにしたがって多重対象のヘッダ情報ＨＩ・制御情報ＣＩを補正し、補正後のヘッダ情報ＨＩ・制御情報ＣＩをパケット生成部８に出力する。
以下、ヘッダ補正部１１によるヘッダ情報ＨＩ・制御情報ＣＩの補正処理を具体的に説明する。
【００７５】
ヘッダ補正部１１のヘッダ補正解析部１２は、パケット生成部８からヘッダ補正情報ＨＲＩを受けると、そのヘッダ補正情報ＨＲＩを解析して、補正に関わる制御信号を出力する。
即ち、ヘッダ補正解析部１２は、ヘッダ補正情報ＨＲＩ内のヘッダ多重領域（３）が“有り”であれば、有効な信号１０１をヘッダ書換部１４に出力する。
また、ヘッダ補正情報ＨＲＩ内のヘッダ多重領域（３）、ペイロード領域、トレイラ領域のいずれか一つが“有り”であれば有効な信号１０２をヘッダ書換部１４に出力し、ヘッダ補正情報ＨＲＩ内のヘッダ多重領域（２）が“有り”であれば有効な信号１０３をヘッダ書換部１４に出力する。
また、ヘッダ補正解析部１２は、ヘッダ補正情報ＨＲＩ内のペイロード多重種別と、カウンタ初期化の有無をカウンタ管理部１３に出力する。
【００７６】
カウンタ管理部１３は、ヘッダ補正解析部１２からペイロード多重種別とカウンタ初期化の有無を受けると、カウンタ値テーブル１３ｂからペイロード多重種別に対応する符号化メディア信号又は制御情報ＣＩのカウンタ値を取り出し、そのカウンタ値を示す信号１０４をカウンタ選択器１３ｃに出力する。
カウンタ管理部１３のカウンタ選択器１３ｃは、カウンタ初期化が“有り”であれば、カウンタ値の初期値１３ａを選択し、カウンタ初期化が“無し”であれば、カウンタ値テーブル１３ｂから取り出したカウンタ値を選択する。
カウンタ選択器１３ｃは、選択したカウンタ値を示す信号１０５をヘッダ書換部１４に出力する。
なお、カウンタ値の初期値１３ａとしては、“０（１６進で０ｘ００）”や、“１５（１６進で０ｘ０Ｆ）”などの固定値が採用される。
【００７７】
ヘッダ書換部１４は、ヘッダ補正解析部１２から出力された制御信号である信号１０１〜１０３を受け、カウンタ管理部１３からカウンタ値を示す信号１０５を受けると、その制御信号とカウンタ値にしたがって多重対象のヘッダ情報ＨＩ・制御情報ＣＩのビットを書き換えて、補正後のヘッダ情報ＨＩ・制御情報ＣＩをパケット生成部８に出力する。
即ち、ヘッダ書換部１４は、多重対象のヘッダ情報ＨＩ・制御情報ＣＩの先頭２バイト目における第７ビットの信号である信号１１１と、信号１０１（ヘッダ多重領域（３）が“有り”であれば有効）のうち、いずれか一方の信号が有効であれば、そのヘッダ情報ＨＩ・制御情報ＣＩの先頭２バイト目における第７ビットを“１”に書き換える処理を実施する。
【００７８】
また、ヘッダ書換部１４は、多重対象のヘッダ情報ＨＩ・制御情報ＣＩの先頭４バイト目における第５ビットの信号である信号１１２と、信号１０２（ヘッダ多重領域（３）、ペイロード領域、トレイラ領域のいずれか一つが“有り”であれば有効）のうち、いずれか一方の信号が有効であれば、そのヘッダ情報ＨＩ・制御情報ＣＩの先頭４バイト目における第５ビットを“１”に書き換える処理を実施する。
また、ヘッダ書換部１４は、多重対象のヘッダ情報ＨＩ・制御情報ＣＩの先頭４バイト目における第６ビットの信号である信号１１３と、信号１０３（ヘッダ多重領域（２）が“有り”であれば有効）のうち、いずれか一方の信号が有効であれば、そのヘッダ情報ＨＩ・制御情報ＣＩの先頭４バイト目における第６ビットを“１”に書き換える処理を実施する。
【００７９】
さらに、ヘッダ書換部１４のカウンタ加算器１４ａは、信号１０５が示すカウンタ値（カウンタ選択器１３ｃにより選択されたカウンタ値）と、信号１２２（有効であれば“１”を示し、無効であれば“０”）と、信号１１４が示すカウンタ値とを４ビット精度で加算し、その加算結果であるカウント値を示す信号１２４を生成する。
そして、カウンタ加算器１４ａは、信号１１４に係るビット群（多重対象のヘッダ情報ＨＩ・制御情報ＣＩの先頭４バイト目における下位４ビット分）を信号１２４が示すカウント値で書き換える処理を行う。
また、カウンタ加算器１４ａは、ヘッダ補正解析部１２から出力されたペイロード多重種別に対応するカウンタ値テーブル１３ｂ内のカウンタ値に、その信号１２４が示すカウント値を保存する。
【００８０】
パケット生成部８は、上記のようにして、ヘッダ補正部１１がヘッダ情報ＨＩ，制御情報ＣＩを補正すると、補正後のヘッダ情報ＨＩ，制御情報ＣＩと符号化メディア信号をパケット化することで、伝送パケットＰを生成する。
【００８１】
以上で明らかなように、この実施の形態２によれば、ヘッダ補正部１１が多重要求管理部７により選択された多重要求ＭＲが多重を指示するヘッダ情報ＨＩ・制御情報ＣＩを補正し、補正後のヘッダ情報ＨＩ・制御情報ＣＩをパケット生成部８に出力するように構成したので、パケット多重制御部４が伝送パケットＰに多重する最終的なヘッダ情報ＨＩ・制御情報ＣＩを生成しなくても、そのヘッダ情報ＨＩ・制御情報ＣＩの内容を自動的に更新して最終的なヘッダ情報ＨＩ・制御情報ＣＩが得られるようになり、その結果、パケット多重制御部４によるプロセッサ処理の負荷を軽減することができる効果を奏する。
【００８２】
なお、この実施の形態２では、ヘッダ補正部１１がパケット多重制御部４により生成されたヘッダ情報ＨＩ・制御情報ＣＩの内容とヘッダ補正情報ＨＲＩを考慮して、そのヘッダ情報ＨＩ・制御情報ＣＩを補正するものについて示したが、パケット多重制御部４により生成されたヘッダ情報ＨＩ・制御情報ＣＩの内容を考慮せず、そのヘッダ補正情報ＨＲＩだけを考慮して、そのヘッダ情報ＨＩ・制御情報ＣＩを補正するようにしてもよい。
【００８３】
実施の形態３．
図１０はこの発明の実施の形態３によるマルチメディア送信装置を示す構成図であり、図において、図７と同一符号は同一又は相当部分を示すので説明を省略する。
多重待ち検出部２１は多重要求管理部７から出力された多重状況ＭＣ（次の多重要求が受けられる状態であるか否かを示す情報、多重設定受付済位置を示す情報）と、符号化部１，２，３から出力された符号化メディア信号の取込状況ＩＣ（符号化メディア信号のデータ列の書込位置を示す情報、符号化フレームの区切れ目を示す情報）とを参照して、伝送パケットＰを構成することが可能な多重対象のデータ列が存在するか否かを判定する処理を実施する。
また、多重待ち検出部２１は多重対象のデータ列が存在する場合、伝送パケットＰに多重する符号化メディア信号のデータ量である多重残量を算出して、その多重残量と規定値を比較して多重待ち量を求め、その多重待ち量と多重設定受付済位置を伝送パケットＰの多重条件として多重要求生成部２２に出力する処理を実施する。なお、多重待ち検出部２１は比較手段を構成している。
【００８４】
多重要求生成部２２は多重待ち検出部２１から出力された伝送パケットＰの多重条件にしたがって多重要求ＭＲを生成し、その多重要求ＭＲを多重管理部７に出力する処理を実施する。
この場合、多重要求管理部７は、多重要求生成部２２により生成された多重要求ＭＲを保持する。
なお、多重要求生成部２２は多重要求生成手段を構成している。
【００８５】
図１１は図１０のマルチメディア送信装置の多重待ち検出部２１により算出される多重残量を示す説明図である。
図１２は図１０のマルチメディア送信装置の多重待ち検出部２１の処理内容を示すフローチャートである。
【００８６】
次に動作について説明する。
多重待ち検出部２１及び多重要求生成部２２を追加している点以外は、上記実施の形態２と同様であるため、主に多重待ち検出部２１及び多重要求生成部２２の動作について説明する。
多重待ち検出部２１は、多重要求管理部７から多重状況ＭＣ（次の多重要求が受けられる状態であるか否かを示す情報、多重設定受付済位置を示す情報）の通知と、符号化部１，２，３から符号化メディア信号の取込状況ＩＣ（符号化メディア信号のデータ列の書込位置を示す情報、符号化フレームの区切れ目を示す情報）の通知を受けると、その多重状況ＭＣと取込状況ＩＣを参照して、伝送パケットＰを構成することが可能な多重対象のデータ列が存在するか否かを判定する。
【００８７】
多重待ち検出部２１は、多重対象のデータ列が存在する場合、符号化メディア信号の取込状況ＩＣにおける区切れ目情報を参照して、符号化メディア信号を構成する符号化フレームに境界（区切れ目）が存在しているか否かを判定する（ステップＳＴ１）。
多重待ち検出部２１は、符号化フレームに境界が存在している場合、図１１（ａ）に示すように、多重設定受付済位置と符号化フレームの境界位置との間にあるデータ列が、伝送パケットＰに対して、先に多重するデータ列であるため、その多重設定受付済位置と符号化フレームの境界位置との差分を多重残量として算出する（ステップＳＴ２）。
一方、符号化フレームに境界が存在していない場合、図１１（ｂ）に示すように、その多重設定受付済位置と、ＥＳバッファに対する符号化メディア信号のデータ列の書込位置との間にあるデータ列が、伝送パケットＰに多重するデータ列であるため、その多重設定受付済位置と書込位置の差分を多重残量として算出する（ステップＳＴ３）。
【００８８】
多重待ち検出部２１は、上記のようにして、多重残量を算出すると、その多重残量と規定値（伝送パケットに設定可能な一定の値）を比較する（ステップＳＴ４，ＳＴ５）。
ここで、規定値としては、ＴＳ形式であれば、ＴＳパケットの全体が１８８バイト、ＴＳパケットの必須ヘッダが４バイトであり、差し引き１８４バイトがＴＳパケットに多重可能な最大の符号化メディア信号の多重サイズになるので、規定値として“１８４”を適用することが考えられる。
なお、パケット多重制御部４のプロセッサ処理と関連して規定値を大き目にして、符号化フレームの最終部分が伝送パケットＰの終わりと一致して、自動生成されないように制御することも可能である。逆に、規定値を小さ目にして、伝送パケットＰの中に一定の空き領域を残して符号化メディア信号以外の情報を設定できるように制御することも可能である。
【００８９】
多重待ち検出部２１は、符号化フレームに境界が存在している場合において、多重残量が規定値を越えている場合、符号化フレームの最終部分を含む伝送パケットＰを構成することができず、符号化フレームの中間部分を構成する“ケース１”に該当するので、多重待ち量を規定値に設定する（ステップＳＴ６）。
多重待ち検出部２１は、符号化フレームに境界が存在している場合において、多重残量が規定値以下の場合、符号化フレームの最終部分を含む伝送パケットＰを構成することが可能であり、符号化フレームの最終部分を含む伝送パケットＰを構成する“ケース２”に該当するので、多重待ち量を多重残量（ステップＳＴ２で算出した多重残量）に設定する（ステップＳＴ７）。
【００９０】
多重待ち検出部２１は、符号化フレームに境界が存在していない場合において、多重残量が規定値を越えている場合、符号化フレームの中間部分を含む伝送パケットＰを構成することが可能であり、符号化フレームの中間部分を構成する“ケース３”に該当するので、多重待ち量を規定値に設定する（ステップＳＴ８）。
多重待ち検出部２１は、符号化フレームに境界が存在していない場合において、多重残量が規定値以下の場合、伝送パケットを構成するだけのデータ量に満たない“ケース４”に該当するので、多重不可を意味する多重待ち量“０”を設定する（ステップＳＴ９）。
多重待ち検出部２１は、上記のようにして、多重待ち量を設定すると、その多重待ち量と多重設定受付済位置を伝送パケットＰの多重条件として、多重要求生成部２２に出力する。
【００９１】
多重要求生成部２２は、多重待ち検出部２１から伝送パケットＰの多重条件を受けると、その多重条件にしたがって多重要求ＭＲを生成し、その多重要求ＭＲを多重管理部７に出力する。
また、多重要求生成部２２は、多重要求ＭＲの生成状況を示す自動生成状況ＡＣＩをパケット多重制御部４に出力する。
【００９２】
多重要求生成部２２により生成される多重要求ＭＲは、パケット多重制御部４に生成される多重要求ＭＲと同等の同一形式となる。
即ち、ヘッダ多重領域（１）、ヘッダ多重領域（３）に設定する内容は、固定的に決定可能なデータ列として、パケット多重制御部４から事前に通知されているデータ列を適用する。
このとき、ヘッダ多重領域（１）は、多重要求ＭＲで常に“有り”に設定されるが、ヘッダ多重領域（３）については、符号化フレームの先頭部分を含む場合に“有り”に設定され、それ以外では“無し”に設定される。
例えば、ＴＳ形式のＴＳヘッダ（必須部分）がヘッダ多重領域（１）に設定され、ＰＥＳヘッダがヘッダ多重領域（３）に設定される。
ここでは、説明を省略しているが、ＰＥＳヘッダに設定するパラメータの個数によってＰＥＳヘッダのデータ量が可変となるため、多重要求生成部２２の内部で読み替えることで、あるいは、パケット多重制御部４が事前に通知することで、初期のデータ列を状況に応じて変更する。
【００９３】
ペイロード多重領域に設定する多重開始位置は、多重設定受付済位置の次の位置、同じく多重サイズは、多重待ち量となる。
ただし、ヘッダ多重領域（１）、ヘッダ多重領域（３）の多重サイズの総和から算出可能な伝送パケットＰの空き領域が多重待ち量を下回る場合、ペイロード多重領域の多重サイズを調整（削減）する。
また、ヘッダ多重領域（２）に設定する内容については、基本的なデータ列としてパケット多重制御部４から事前に通知されているが、多重サイズは、伝送パケットＰの全体サイズである１８８バイトに対して、ヘッダ多重領域（１）、ヘッダ多重領域（３）、ペイロード領域の各多重サイズの総和を引き去った値となる。
例えば、ＴＳ形式のアダプテーション領域をヘッダ多重領域（２）に設定する。この結果、ヘッダ多重領域（２）に対するデータ列において、図９で示している“ａｄａｐｔａｔｉｏｎ＿ｌｅｎｇｔｈ”の値を多重サイズで設定した値相当の変更が必要となるので（パラメータの定義に従った調整が必要）、多重要求生成部２２が内部で変更する。
【００９４】
多重管理部７は、上記のようにして、多重要求生成部２２から多重要求ＭＲを受けると、多重要求生成部２２から出力される多重要求ＭＲを保持し、上記実施の形態１，２と同様に、保持している１以上の多重要求ＭＲの中から、所定の多重要求ＭＲを選択してパケット生成部８に出力する。
【００９５】
ここでは、多重管理部７が多重要求生成部２２から出力される多重要求ＭＲを保持するものについて示したが、多重要求生成部２２による多重要求ＭＲの生成と、パケット多重制御部４による多重要求ＭＲの生成が競合しないようにするために、パケット多重制御部４が自動生成指示ＡＣＲを多重要求生成部２２に出力することで、多重要求生成部２２による多重要求ＭＲの生成・停止を制御するようにしてもよい。
この場合、多重要求生成部２２は、パケット多重制御部４から自動生成指示ＡＣＲによって、パケット生成に関する制御権を委譲されている期間中に限り、多重要求ＭＲを生成することになる。
【００９６】
ただし、パケット多重制御部４は、多重要求生成部２２が多重要求ＭＲを生成している期間中であっても、一時的に伝送パケットＰに付加情報（例えば、図２の付加情報Ｈ３）を多重する必要があるような場合、多重要求ＭＲの生成条件として、付加情報の多重設定指示を自動生成指示ＡＣＲに付加することで、付加情報の多重を多重要求生成部２２に指示するようにしてもよい。
例えば、先に述べたＴＳ形式のＰＣＲを強制的に多重する場合、多重要求ＭＲの中で付加情報の時刻情報“有り”を指定し、ヘッダ多重情報領域（２）にＰＣＲ多重が必要な初期ヘッダのデータ列を指定し、その多重サイズ分だけ多重待ち量から引き去った値をペイロード領域に対する多重サイズに設定すればよい。
この結果、多重待ち量を変更した分は、多重要求管理部７から通知される多重状況ＭＣにおける多重設定受付済位置がその分だけ変化するため、特に補正動作をすることなく、次の自動生成処理に反映することができる。
【００９７】
また、符号化フレームに境界が存在している場合、あるいは、符号化フレームの最終部分を多重する“ケース２”に該当する場合、多重要求ＭＲの生成が複雑になるので、パケット生成に関する制御権を多重要求生成部２２からパケット多重制御部４に戻して、パケット多重制御部４がプロセッサ処理で、多重要求ＭＲを生成するようにしてもよい。
なお、多重待ち検出部２１の検出結果である多重待ちの有無をパケット多重制御部４に通知することで、パケット多重制御部４における伝送パケットの構成の算出処理を削減するようにしてもよい。
【００９８】
以上で明らかなように、この実施の形態３によれば、伝送パケットＰに多重する符号化メディア信号のデータ量である多重残量を算出して、その多重残量と規定値を比較して多重待ち量を求め、その多重待ち量と多重設定受付済位置を伝送パケットＰの多重条件として出力する多重待ち検出部２１と、多重待ち検出部２１から出力された伝送パケットＰの多重条件にしたがって多重要求ＭＲを生成し、その多重要求ＭＲを多重管理部７に出力する多重要求生成部２２とを設け、多重管理部７が多重要求生成部２２から出力された多重要求ＭＲを保持するように構成したので、パケット多重制御部４がプロセッサ処理で多重要求ＭＲを生成しなくても、その多重要求ＭＲを自動的に生成することができるようになり、その結果、パケット多重制御部４におけるプロセッサ処理の負荷を軽減することができる効果を奏する。
【００９９】
また、この実施の形態３によれば、符号化メディア信号の取込状況ＩＣに含まれている区切れ目情報が、区切れ目が存在している旨を示す場合、パケット生成に関する制御権を多重要求生成部２２からパケット多重制御部４に戻して、プロセッサ処理で多重要求ＭＲを生成するように構成したので、パケット多重制御部４でのプロセッサ処理を主体とする柔軟な伝送パケットの構成を行うことができる効果を奏する。
【符号の説明】
【０１００】
１ 映像符号化部、１ａ 映像符号化処理部（メディア信号符号化手段）、１ｂ 符号化映像入力部（符号化メディア信号取込手段）、１ｃ 映像ＥＳバッファ（符号化メディア信号取込手段）、２ 音声符号化部、３ データ符号化部、４ パケット多重制御部（パケット多重制御手段）、５ ヘッダ・制御情報管理部、６ ヘッダ・制御情報格納バッファ、７ 多重要求管理部（多重要求管理手段）、８ パケット生成部（パケット生成手段）、９ パケット出力部（パケット出力手段）、１０ パケットバッファ（パケット出力手段）、１１ ヘッダ補正部（ヘッダ補正手段）、１２ ヘッダ補正解析部、１３ カウンタ管理部、１３ａ カウンタ値の初期値、１３ｂ カウンタ値テーブル、１３ｃ カウンタ選択器、１４ ヘッダ書換部、１４ａ カウンタ加算器、２１ 多重待ち検出部（比較手段）、２２ 多重要求生成部（多重要求生成手段）、 １０１〜１０５，１１１〜１１４，１２１〜１２４ 信号。
【技術分野】
【０００１】
この発明は、例えば、映像信号、音声信号、データ信号などの各種のメディア信号を符号化して、その符号化メディア信号を含む伝送パケットを生成し、その伝送パケットを送信するマルチメディア送信装置に関するものである。
【背景技術】
【０００２】
例えば、デジタル放送、デジタルビデオカメラ、監視カメラなどでは、映像信号、音声信号、データ信号などの各種のメディア信号を複数同時に伝送、あるいは、記録することができる装置の開発が行われている。
これらの装置では、各種のメディア信号の情報量を削減するために、そのメディア信号の特性に応じた別々の符号化方式を用いて、個別に符号化処理を実施している。
そして、通信路への伝送、あるいは、記録媒体への書き込みの容易化を図るため、それらの符号化メディア信号を伝送パケットや記録パケットに格納し、それらのパケットを多重化ストリームに多重化して出力するようにしている。
その際、回路構成を簡素化するために、プロセッサによるソフトウェア処理で、パケットの構成（例えば、伝送パケットや記録パケットの中に多重する情報の組み合わせや、パケットヘッダの内容など）を決定する方法が採用されることが多い。
【０００３】
例えば、以下の特許文献１には、下記に示すようなマルチメディア送信装置が開示されている。
まず、映像信号、音声信号、データ信号などが符号化されている符号化メディア信号は、それぞれ独立のメディアＥＳバッファ（ビデオＥＳバッファ、オーディオＥＳバッファ、データＥＳバッファ）に格納される。
プロセッサであるコントローラは、メディアＥＳバッファにおける符号化メディア信号の格納状況から、次に生成する伝送パケットに多重するヘッダ情報の内容を決定して、そのヘッダ情報をヘッダ情報メモリに格納するとともに、その伝送パケットに多重する符号化メディア信号の内容を決定して、伝送パケットの生成指示を転送制御部に出力する。
転送制御部は、コントローラから伝送パケットの生成指示を受けると、ヘッダ情報メモリからヘッダ情報を読み出すとともに、メディアＥＳバッファから伝送パケットの生成指示が示す符号化メディア信号を読み出し、そのヘッダ情報と符号化メディア信号をパケット化して伝送パケットを生成する。
そして、転送制御部は、その伝送パケットを出力バッファに書き込み、所定の出力タイミングで、その伝送パケットを転送する。
【０００４】
このように、コントローラでのプロセッサ処理で、伝送パケットの生成における複雑な処理（例えば、ヘッダ情報の生成処理、伝送パケットに多重する各種の符号化メディア信号を判断して、パケット構造を決定する処理）を実施することで、複雑な回路構成を簡素化している。
しかし、各種のメディア信号の符号化レートが高レート化するにしたがって符号化メディア信号の情報発生量が多くなり、伝送パケット数が比例して増加する。
そのため、プロセッサに要求される処理量も大幅に増加し、プロセッサの高性能化などの対策が必要となっている。
【０００５】
また、以下の特許文献２には、下記に示すようなマルチメディア送信装置が開示されている。
映像信号、音声信号、データ信号などが符号化されている符号化メディア信号をそれぞれ独立なメディアＥＳバッファに格納する際、符号化メディアを構成する符号化フレームの区切れ目を検出、あるいは、伝送パケット化する際の単位を算出して、プロセッサであるＣＰＵに通知する。
ＣＰＵは、符号化メディアを構成する符号化フレームの区切れ目等の通知を受けると、その通知内容にしたがってヘッダ情報の生成とパケット構造の決定を行うことで、伝送パケットを構成してメディアＥＳバッファに格納する。
【０００６】
ＣＰＵが符号化メディア信号をパケット化する際、定型的に処理可能な場合には、ＣＰＵを介さず一定条件の下で、Ｈ／Ｗ回路が固定フォーマットのパケットを構成して自動的に伝送パケット生成する。
このように、複雑なプロセッサ処理を必要とするヘッダ情報の生成や、パケット構造の決定をＨ／Ｗ回路が自動的に行うことで、ＣＰＵの処理負荷を軽減している。
ただし、ＣＰＵによる処理とＨ／Ｗ回路による処理の分担が煩雑であり、競合制御の複雑化や、自動生成における制約がパケット生成の柔軟さを喪失させる問題が生じている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００１−１８６１００号公報
【特許文献２】特開２０００−６９０８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従来のマルチメディア送信装置は以上のように構成されているので、ヘッダ情報の生成やパケット構造の決定などの複雑な演算処理をプロセッサの処理とすれば、多重対象の符号化メディア信号の発生状況に応じて柔軟に伝送パケットを生成することができるとともに、複雑な回路構成を簡素化することができるが、各種のメディア信号の符号化レートが高レート化するにしたがってプロセッサに要求される処理量が大幅に増加し、プロセッサの高性能化などの対策が必要となる課題があった。
一方、Ｈ／Ｗ回路が固定フォーマットのパケットを構成して自動的に伝送パケットを生成する場合、プロセッサの処理負荷を軽減することができる。しかし、Ｈ／Ｗ回路では、多重対象の符号化メディア信号の発生状況に応じて柔軟に伝送パケットを生成することができず、プロセッサによる処理とＨ／Ｗ回路による処理を適応的に切り替えることができないため、多重対象の符号化メディア信号の発生状況に応じて柔軟に伝送パケットを生成することができない課題があった。
【０００９】
この発明は上記のような課題を解決するためになされたもので、多重対象の符号化メディア信号の発生状況に応じて伝送パケットを生成する柔軟性を損なうことなく、各種のメディア信号の符号化レートの高レート化に伴うプロセッサ処理の負荷の増加を抑えることができるマルチメディア送信装置を得ることを目的とする。
【課題を解決するための手段】
【００１０】
この発明に係るマルチメディア送信装置は、メディア信号符号化手段により符号化されたメディア信号である符号化メディア信号を取り込んで、その符号化メディア信号を保持するとともに、その符号化メディア信号の取込状況を通知する符号化メディア信号取込手段と、符号化メディア信号取込手段から通知された符号化メディア信号の取込状況と伝送パケットの生成状況を考慮して、伝送パケットに多重する符号化メディア信号及びヘッダ情報を決定し、その符号化メディア信号及びヘッダ情報の多重を指示する多重要求を出力するパケット多重制御手段と、パケット多重制御手段から出力された多重要求を保持し、伝送パケットの生成が可能な状態になると、保持している１以上の多重要求の中から何れかの多重要求を選択する多重要求管理手段とを設け、パケット生成手段が、符号化メディア信号取込手段により保持されている符号化メディア信号の中から多重要求管理手段により選択された多重要求が多重を指示する符号化メディア信号を取得するとともに、その多重要求が多重を指示するヘッダ情報を取得して、その符号化メディア信号とヘッダ情報から伝送パケットを生成するようにしたものである。
【発明の効果】
【００１１】
この発明によれば、メディア信号符号化手段により符号化されたメディア信号である符号化メディア信号を取り込んで、その符号化メディア信号を保持するとともに、その符号化メディア信号の取込状況を通知する符号化メディア信号取込手段と、符号化メディア信号取込手段から通知された符号化メディア信号の取込状況と伝送パケットの生成状況を考慮して、伝送パケットに多重する符号化メディア信号及びヘッダ情報を決定し、その符号化メディア信号及びヘッダ情報の多重を指示する多重要求を出力するパケット多重制御手段と、パケット多重制御手段から出力された多重要求を保持し、伝送パケットの生成が可能な状態になると、保持している１以上の多重要求の中から何れかの多重要求を選択する多重要求管理手段とを設け、パケット生成手段が、符号化メディア信号取込手段により保持されている符号化メディア信号の中から多重要求管理手段により選択された多重要求が多重を指示する符号化メディア信号を取得するとともに、その多重要求が多重を指示するヘッダ情報を取得して、その符号化メディア信号とヘッダ情報から伝送パケットを生成するように構成したので、多重対象の符号化メディア信号の発生状況に応じて伝送パケットを生成する柔軟性を損なうことなく、各種のメディア信号の符号化レートの高レート化に伴うプロセッサ処理の負荷の増加を抑えることができる効果がある。
【図面の簡単な説明】
【００１２】
【図１】この発明の実施の形態１によるマルチメディア送信装置を示す構成図である。
【図２】パケット生成部８により生成される伝送パケットＰの一例を示す説明図である。
【図３】パケット多重制御部４から出力される多重要求ＭＲに含まれる項目及び内容を示す説明図である。
【図４】パケット多重制御部４から出力される多重要求ＭＲの具体例を示す説明図である。
【図５】パケット生成部８により生成される付加情報付きの伝送パケットＰを示す説明図である。
【図６】パケット生成部８により生成される付加情報付きの伝送パケットＰを示す説明図である。
【図７】この発明の実施の形態２によるマルチメディア送信装置を示す構成図である。
【図８】この発明の実施の形態２によるマルチメディア送信装置のヘッダ補正部１１を示す構成図である。
【図９】この発明の実施の形態２によるマルチメディア送信装置が適用する「ＭＰＥＧ−２ Ｓｙｓｔｅｍｓ規格」のＴＳ形式のパケット構造の一例を示す説明図である。
【図１０】この発明の実施の形態３によるマルチメディア送信装置を示す構成図である。
【図１１】図１０のマルチメディア送信装置の多重待ち検出部２１により算出される多重残量を示す説明図である。
【図１２】図１０のマルチメディア送信装置の多重待ち検出部２１の処理内容を示すフローチャートである。
【発明を実施するための形態】
【００１３】
実施の形態１．
図１はこの発明の実施の形態１によるマルチメディア送信装置を示す構成図である。
図１では、メディア信号として、映像信号、音声信号、データ信号を取り扱う例を示しているが、これは一例に過ぎず、映像信号、音声信号、データ信号以外のメディア信号を取り扱うようにしてもよい。また、特定のメディア信号を一つだけ取り扱うようにしてもよい。
また、図１では、各種のメディア信号を符号化して、その符号化メディア信号を含む伝送パケットを生成し、その伝送パケットを多重化ストリームに多重化して送信する例を示しているが、その伝送パケットの出力先は伝送路に限るものではなく、記録媒体であってもよい。
【００１４】
図１において、映像符号化部１はメディア信号である映像信号Ｖを符号化し、符号化後の映像信号である符号化映像信号ＣＶを保持する処理を実施する。
音声符号化部２はメディア信号である音声信号Ａを符号化し、符号化後の音声信号である符号化音声信号ＣＡを保持する処理を実施する。
データ符号化部３はメディア信号であるデータ信号Ｄを符号化し、符号化後のデータ信号である符号化データ信号ＣＤを保持する処理を実施する。
【００１５】
映像符号化部１の映像符号化処理部１ａは映像信号Ｖを符号化し、符号化後の映像信号である符号化映像信号ＣＶを出力する処理を実施する。なお、映像符号化処理部１ａはメディア信号符号化手段を構成している。
符号化映像入力部１ｂは映像符号化処理部１ａから出力された符号化映像信号ＣＶを取り込んで、その符号化映像信号ＣＶを映像ＥＳバッファ１ｃに書き込む処理を実施する。
また、符号化映像入力部１ｂは符号化映像信号ＣＶを構成する符号化フレームの区切れ目を検知して、その符号化フレームの区切れ目の有無及び位置を示す区切れ目情報や、映像ＥＳバッファ１ｃに対する符号化映像信号ＣＶの書込位置を示す位置情報などを含む符号化映像信号ＣＶの取込状況ＩＣを通知する処理を実施する。
映像ＥＳバッファ１ｃは符号化映像入力部１ｂにより取り込まれた符号化映像信号ＣＶを保持するメモリである。
なお、符号化映像入力部１ｂ及び映像ＥＳバッファ１ｃから符号化メディア信号取込手段が構成されている。
【００１６】
図１では、音声符号化部２及びデータ符号化部３の内部構成を省略しているが、その内部構成は、映像符号化部１の内部構成と同様であり、音声符号化部２は映像符号化処理部１ａに相当する音声符号化処理部、符号化映像入力部１ｂに相当する符号化音声入力部、映像ＥＳバッファ１ｃに相当する音声ＥＳバッファを備えている。
また、データ符号化部３は映像符号化処理部１ａに相当するデータ符号化処理部、符号化映像入力部１ｂに相当する符号化データ入力部、映像ＥＳバッファ１ｃに相当するデータＥＳバッファを備えている。
【００１７】
パケット多重制御部４は例えばＣＰＵなどのプロセッサで構成されており、映像符号化部１の符号化映像入力部１ｂから通知された符号化映像信号ＣＶの取込状況ＩＣ（音声符号化部２から通知された符号化音声信号ＣＡの取込状況ＩＣ、データ符号化部３から通知された符号化データ信号ＣＤの取込状況ＩＣを含む）と、多重要求管理部７から通知された多重状況ＭＣとを考慮して、伝送パケットＰの本体部分に多重する符号化メディア信号（符号化映像信号ＣＶ、符号化音声信号ＣＡ又は符号化データ信号ＣＤ）又は制御情報ＣＩ（例えば、伝送パケットＰに含まれている符号化メディア信号の種類や、符号化メディア信号の属性などを示す情報）と、伝送パケットＰのヘッダ部分に多重するヘッダ情報ＨＩを決定する処理を実施する。
また、パケット多重制御部４は伝送パケットＰに多重する符号化メディア信号及びヘッダ情報ＨＩ・制御情報ＣＩの多重を指示する多重要求ＭＲを多重要求管理部７に出力するとともに、そのヘッダ情報ＨＩと制御情報ＣＩをヘッダ・制御情報管理部５に出力する処理を実施する。なお、パケット多重制御部４はパケット多重制御手段を構成している。
【００１８】
ヘッダ・制御情報管理部５はパケット多重制御部４から出力されたヘッダ情報ＨＩと制御情報ＣＩをヘッダ・制御情報格納バッファ６に書き込む一方、ヘッダ・制御情報格納バッファ６から、パケット生成部８より出力されるヘッダ・制御情報の読出要求ＩＲＲにしたがってヘッダ情報ＨＩと制御情報ＣＩを取り出し、そのヘッダ情報ＨＩと制御情報ＣＩをパケット生成部８に出力する処理を実施する。
ヘッダ・制御情報格納バッファ６はヘッダ・制御情報管理部５から出力されたヘッダ情報ＨＩと制御情報ＣＩを保持するメモリである。
【００１９】
多重要求管理部７はパケット多重制御部４から出力された多重要求ＭＲを保持し、パケット生成部８から伝送パケットＰの生成が可能な状態である旨を示す多重完了通知ＭＦＮを受けると、保持している１以上の多重要求ＭＲの中から何れかの多重要求ＭＲ（例えば、最も優先度が高い多重要求ＭＲ、パケット多重制御部４から最も先に出力された多重要求ＭＲ）を選択し、その選択した多重要求ＭＲをパケット生成部８に出力する処理を実施する。
また、多重要求管理部７はパケット多重制御部４から多重要求ＭＲを受けると、まだパケット化を指示していない符号化メディア信号のデータ列の最初の位置である多重開始位置（当該多重要求ＭＲが多重を指示する符号化メディア信号のデータ列の最終位置の次の位置）と、当該多重要求ＭＲが処理待ちである旨を示す多重状況ＭＣをパケット多重制御部４に通知する処理を実施する。
また、多重要求管理部７はパケット生成部８から多重完了通知ＭＦＮを受けると、次の多重要求が受けられる状態である旨を示す多重状況ＭＣをパケット多重制御部４に通知する処理を実施する。なお、多重要求管理部７は多重要求管理手段を構成している。
【００２０】
パケット生成部８は映像符号化部１、音声符号化部２又はデータ符号化部３により保持されている符号化メディア信号（符号化映像信号ＣＶ、符号化音声信号ＣＡ又は符号化データ信号ＣＤ）の中から、多重要求管理部７から出力された多重要求ＭＲが多重を指示する符号化メディア信号を取得するとともに、ヘッダ・制御情報管理部５により管理されているヘッダ情報ＨＩ及び制御情報ＣＩの中から、その多重要求ＭＲが多重を指示するヘッダ情報ＨＩ及び制御情報ＣＩを取得して、その符号化メディア信号とヘッダ情報ＨＩ・制御情報ＣＩから伝送パケットＰを生成する処理を実施する。
また、パケット生成部８は多重要求ＭＲに時刻情報を多重する要求が含まれている場合、時刻情報の多重を指示する付加情報を伝送パケットＰに付加して、付加情報付きの伝送パケットＰをパケット出力部９に出力するとともに、伝送パケットＰの生成が可能な状態である旨を示す多重完了通知ＭＦＮを多重要求管理部７に出力する処理を実施する。なお、パケット生成部８はパケット生成手段を構成している。
【００２１】
パケット出力部９はパケット生成部８により生成された伝送パケットＰをパケットバッファ１０に格納し、その伝送パケットＰを出力するタイミングになると、そのパケットバッファ１０から伝送パケットＰを取り出して、その伝送パケットＰを伝送路等に出力する処理を実施する。
ただし、パケット出力部９はパケット生成部８により生成された伝送パケットＰを出力する際、時刻情報の多重を指示する付加情報が伝送パケットＰに付加されている場合、その伝送パケットＰの出力時刻を示す時刻情報を伝送パケットＰに付与する。
パケットバッファ１０は伝送パケットＰを一時的に保持するメモリである。
なお、パケット出力部９及びパケットバッファ１０からパケット出力手段が構成されている。
【００２２】
図２はパケット生成部８により生成される伝送パケットＰの一例を示す説明図である。
ただし、図２では、特定のメディア信号によらず一般的なメディア信号が符号化されて、伝送パケットＰが生成されている例を示している。
例えば、メディア信号が映像信号である場合、映像符号化方式の規則に基づく一定の符号化単位（例えば、映像を構成する１枚ずつのピクチャ単位）で区切られている。
また、メディア信号が音声信号である場合、その音声信号からサンプリングされた音声情報のうち、音声符号化方式の規則に基づく一定の個数分が一纏めの単位で符号化され、その符号化単位で区切られている。
【００２３】
図２において、Ｆ１は符号化メディア信号（符号化映像信号ＣＶ、符号化音声信号ＣＡ又は符号化データ信号ＣＤ）が符号化単位で区切られたデータ列の一つであり、データ量が多いために、複数の伝送パケットＰ１〜Ｐ４に分割多重される符号化フレームである。
Ｆ２は符号化フレームＦ１と同様に符号化メディア信号が符号化単位で区切られたデータ列の一つであるが、データ量が少ないために、単一の伝送パケットＰ５に多重される符号化フレームである。
【００２４】
Ｐ１は符号化フレームＦ１の先頭部分を含む伝送パケット、Ｐ２は符号化フレームＦ１の中間部分を含む伝送パケット、Ｐ３は符号化フレームＦ１の中間部分と付加情報Ｈ３を含む伝送パケット、Ｐ４は符号化フレームＦ１の最終部分を含む伝送パケット、Ｐ５は符号化フレームＦ２を含む伝送パケットである。
Ｈ１は伝送パケットＰ１〜Ｐ５に含まれるパケットヘッダ、Ｈ２は符号化フレームＦ１の先頭部分を含む伝送パケットＰ１に付与されるフレームヘッダ、Ｈ３は伝送パケットＰ３に一時的に付与される付加情報、Ｈ４は符号化フレームＦ１，Ｆ２の最終部分を含む伝送パケットＰ４，Ｐ５の余剰部分に付与されるスタッフデータである。
【００２５】
図３はパケット多重制御部４から出力される多重要求ＭＲに含まれる項目及び内容を示す説明図である。
図４はパケット多重制御部４から出力される多重要求ＭＲの具体例を示す説明図である。
図３及び図４に示すように、多重要求ＭＲには、伝送パケットＰの構成を指定するために、付加情報、ヘッダ多重領域（１）〜（３）、ペイロード多重領域及びトレイラ多重領域が含まれている。
この例では、３つのヘッダ多重領域（１）〜（３）を示しているが、ヘッダ多重領域の個数は３つ未満でも、４つ以上でもよい。
トレイラ多重領域は、用途によって付加的に利用されるものであるため、トレイラ多重領域はなくてもよい。
【００２６】
付加情報には、伝送パケットＰの中に格納する映像信号、音声信号、データ信号などのメディア信号の区別、あるいは、制御データの区別など、伝送パケットＰに多重する主たる情報の種別を示すペイロード多重種別のほか、伝送パケットＰに付与するカウンタ値を初期化するか否かを指定するカウンタ初期化有無や、伝送パケットＰに時刻情報を設定するか否かを指定する時刻情報有無が含まれている。
【００２７】
ヘッダ多重領域には、ヘッダ・制御情報格納バッファ６に保持されているヘッダ情報ＨＩ及び制御情報ＣＩの中から、伝送パケットＰに多重するヘッダ情報ＨＩ，制御情報ＣＩを取り出すための情報として、ヘッダ・制御情報格納バッファ６に存在しているヘッダ情報ＨＩ，制御情報ＣＩのデータ列の最初の位置（メモリ上のアドレス）にあたる多重開始位置と、そのヘッダ情報ＨＩ，制御情報ＣＩのデータ列のデータ量（バイト数）にあたる多重サイズと、そのデータ列に続いて固定内容のスタッフデータを付与する際のスタッフ量にあたるスタッフサイズとが含まれている。
【００２８】
ペイロード多重領域には、付加情報中のペイロード多重種別で指定される多重対象の情報に対応するＥＳバッファ（例えば、多重対象の情報が符号化映像信号ＣＶであれば、映像ＥＳバッファ１ｃ）に保持されている符号化メディア信号の中から、伝送パケットＰに多重する符号化メディア信号を取り出すための情報として、ＥＳバッファに存在している符号化メディア信号のデータ列の最初の位置（メモリ上のアドレス）にあたる多重開始位置と、その符号化メディア信号のデータ列のデータ量（バイト数）にある多重サイズとが含まれている。
【００２９】
トレイラ多重領域には、付加情報中のペイロード多重種別で指定された多重対象の情報に続いて付加的な情報を多重する場合に適用されるものであり、ヘッダ・制御情報格納バッファ６に保持されているヘッダ情報ＨＩ及び制御情報ＣＩの中から、伝送パケットＰに多重するヘッダ情報ＨＩ，制御情報ＣＩを取り出すための情報として、ヘッダ・制御情報格納バッファ６に存在しているヘッダ情報ＨＩ，制御情報ＣＩのデータ列の最初の位置（メモリ上のアドレス）にあたる多重開始位置と、そのヘッダ情報ＨＩ，制御情報ＣＩのデータ列のデータ量（バイト数）にあたる多重サイズと、そのデータ列に続いて固定内容のスタッフデータを付与する際のスタッフ量にあたるスタッフサイズとが含まれている。
【００３０】
次に動作について説明する。
映像符号化部１の映像符号化処理部１ａは、メディア信号である映像信号Ｖを入力すると、その映像信号Ｖを所定の符号化方式で符号化し、符号化後の映像信号である符号化映像信号ＣＶを符号化映像入力部１ｂに出力する。
映像信号の符号化方式としては、例えば、「ＭＰＥＧ−２ Ｖｉｄｅｏ」、「ＭＰＥＧ−４ Ｖｉｄｅｏ」、「ＭＰＥＧ−４ ＡＶＣ」、「ＶＣ−１」などの映像符号化規格に準拠した符号化方式が考えられる。
【００３１】
映像符号化部１の符号化映像入力部１ｂは、映像符号化処理部１ａから出力された符号化映像信号ＣＶを取り込んで、その符号化映像信号ＣＶを一時的に映像ＥＳバッファ１ｃに格納する。
また、符号化映像入力部１ｂは、その符号化映像信号ＣＶを構成する符号化フレームの区切れ目を探索する処理を行う。
ここで、符号化映像信号ＣＶの区切れ目は、先に述べた映像符号化方式の規則に従って符号化単位に付与される区切れ目を意味し、例えば、映像符号化方式が「ＭＰＥＧ−２ Ｖｉｄｅｏ」であれば、符号化映像信号ＣＶの区切れ目には、「ｓｔａｒｔ＿ｃｏｄｅ＿ｐｒｅｆｉｘ」と呼ばれる他のデータ列とは異なる特別なデータ列が挿入されるので、「ｓｔａｒｔ＿ｃｏｄｅ＿ｐｒｅｆｉｘ」を検知することで、符号化フレームの区切れ目を探索する。
符号化映像入力部１ｂは、符号化フレームの区切れ目の探索処理を行うと、その符号化フレームの区切れ目の有無及び位置を示す区切れ目情報や、映像ＥＳバッファ１ｃに対する符号化映像信号ＣＶの書込位置（符号化映像信号ＣＶのデータ列の最初の位置）を示す位置情報などを含む符号化映像信号ＣＶの取込状況ＩＣをパケット多重制御部４に出力する。
【００３２】
音声符号化部２は、メディア信号である音声信号Ａを入力すると、その音声信号Ａを所定の符号化方式で符号化し、符号化後の音声信号である符号化音声信号ＣＡを内部の音声ＥＳバッファに格納するとともに、符号化映像信号ＣＶの取込状況ＩＣに相当する符号化音声信号ＣＡの取込状況ＩＣをパケット多重制御部４に出力する。
なお、音声信号の符号化方式としては、例えば、「ＭＰＥＧ−１ Ａｕｄｉｏ」、「ＭＰＥＧ−２ Ａｕｄｉｏ」、「ＭＰＥＧ−２／４ ＡＡＣ」、「Ｄｏｌｂｙ ＡＣ−３」などの音声符号化規格に準拠した符号化方式が考えられる。
【００３３】
データ符号化部３は、メディア信号であるデータ信号Ｄを入力すると、そのデータ信号Ｄを所定の符号化方式で符号化し、符号化後のデータ信号である符号化データ信号ＣＤを内部のデータＥＳバッファに格納するとともに、符号化映像信号ＣＶの取込状況ＩＣに相当する符号化データ信号ＣＤの取込状況ＩＣをパケット多重制御部４に出力する。
なお、音声符号化部２及びデータ符号化部３の内部の処理内容は、映像符号化部１の内部の処理内容と同様であるため詳細な説明を省略する。
【００３４】
パケット多重制御部４は、映像符号化部１、音声符号化部２及びデータ符号化部３から符号化映像信号ＣＶ等の取込状況ＩＣの通知を受けると、その符号化映像信号ＣＶ等の取込状況ＩＣと、多重要求管理部７から通知される多重状況ＭＣを考慮して、次に生成する伝送パケットＰの構成を決定する。
即ち、パケット多重制御部４は、次に生成する伝送パケットＰに多重する符号化メディア信号の種別を決定して、その符号化メディア信号のデータ列の多重開始位置（ＥＳバッファに存在している符号化メディア信号のデータ列のち、これから多重するデータ列の最初の位置）と、その符号化メディア信号のデータ列のデータ量である多重サイズを決定する。
【００３５】
例えば、映像→音声→データ→映像・・・の順番で、符号化メディア信号を送信する方式を採用している場合、前回、符号化データ信号ＣＤを送信していれば、多重対象の符号化メディア信号を符号化映像信号ＣＶに決定し、前回、符号化映像信号ＣＶを送信していれば、多重対象の符号化メディア信号を符号化音声信号ＣＡに決定し、前回、符号化音声信号ＣＡを送信していれば、多重対象の符号化メディア信号を符号化データ信号ＣＤに決定する。
ここでの多重対象の符号化メディア信号の決定方法は一例に過ぎず、例えば、多重要求管理部７に保持されていない多重要求ＭＲに係る符号化メディア信号を多重対象に決定するようにしてもよい。例えば、符号化音声信号ＣＡの多重を指示する多重要求ＭＲと、符号化データ信号ＣＤの多重を指示する多重要求ＭＲを保持しているが、符号化映像信号ＣＶの多重を指示する多重要求ＭＲを保持していなければ、符号化映像信号ＣＶを多重対象に決定するようにしてもよい。
【００３６】
あるいは、多重要求管理部７に保持されている多重要求ＭＲのうち、符号化映像信号ＣＶの多重を指示する多重要求ＭＲの個数と、符号化音声信号ＣＡの多重を指示する多重要求ＭＲの個数と、符号化データ信号ＣＤの多重を指示する多重要求ＭＲの個数とを比較して、最も個数が少ない多重要求ＭＲに係る符号化メディア信号を多重対象に決定するようにしてもよい。
あるいは、ＥＳバッファに蓄積されているデータ量が最も多い符号化メディア信号を多重対象に決定するようにしてもよい。
【００３７】
また、多重対象の符号化メディア信号を例えば符号化映像信号ＣＶに決定した場合、映像ＥＳバッファ１ｃに格納されている符号化映像信号ＣＶのデータ列のうち、まだパケット化を指示していないデータ列の最初の位置（多重要求管理部７から通知される多重状況ＭＣが示す多重設定受付済位置の次の位置、即ち、多重要求管理部７が既に受け付けている多重要求ＭＲが多重を指示する符号化映像信号ＣＶのデータ列の最終位置の次の位置）を多重開始位置に決定する。
符号化メディア信号のデータ列の多重サイズについては、例えば、符号化映像信号ＣＶの取込状況ＩＣに含まれている区切れ目情報を参照して、符号化フレームの区切れ目を認識することで、符号化フレームＦ１や符号化フレームＦ２を構成する符号化メディア信号のバイト数を把握し、そのバイト数を多重サイズに決定する。
【００３８】
パケット多重制御部４は、多重対象の符号化メディア信号を決定すると、その符号化メディア信号に対応するヘッダ情報ＨＩを決定する。
例えば、符号化映像信号ＣＶに対応するヘッダ情報と、符号化音声信号ＣＡに対応するヘッダ情報と、符号化データ信号ＣＤに対応するヘッダ情報とを予め用意し、多重対象の符号化メディア信号を決定すると、予め用意しているヘッダ情報の中から、多重対象の符号化メディア信号に対応するヘッダ情報ＨＩを選択するようにすればよい。
また、パケット多重制御部４は、多重対象の符号化メディア信号を決定すると、その符号化メディア信号の種別等を示す制御信号ＣＩを生成する。
【００３９】
パケット多重制御部４は、多重対象の符号化メディア信号に対応するヘッダ情報ＨＩ，制御信号ＣＩを決定すると、そのヘッダ情報ＨＩ，制御信号ＣＩをヘッダ・制御情報管理部５に出力する。
ヘッダ・制御情報管理部５は、パケット多重制御部４からヘッダ情報ＨＩ，制御信号ＣＩを受けると、そのヘッダ情報ＨＩ，制御信号ＣＩをヘッダ・制御情報格納バッファ６に格納する。
パケット多重制御部４は、多重要求管理部７から次の多重要求が受けられる状態である旨を示す多重状況ＭＣを受けると、次に生成する伝送パケットＰの構成を示す多重要求ＭＲ、即ち、伝送パケットＰに多重する符号化メディア信号及びヘッダ情報ＨＩ・制御情報ＣＩの多重を指示する多重要求ＭＲとして、その符号化メディア信号の種別、その符号化メディア信号のデータ列の多重開始位置及び多重サイズ、その符号化メディア信号に対応するヘッダ情報ＨＩ，制御信号ＣＩなどの情報を含む多重要求ＭＲを多重要求管理部７に出力する。
【００４０】
ここで、伝送パケットの一例としては、デジタル放送や次世代ディスクなどで採用される「ＭＰＥＧ−２ Ｓｙｓｔｅｍｓ規格」に準拠しているＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）形式のＴＳパケット、ＤＶＤなどで採用されるＰＳ（Ｐｒｏｇｒａｍ Ｓｔｒｅａｍ）形式のＰＳパック、あるいは、ＩＰ配信などで採用されるＩＥＴＦで規定されているＲＴＰ（Ｒｅａｌｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）形式のＲＴＰパケットにしたがってパケット多重されたデータ列が該当する。
例えば、ＴＳ形式に基づいて伝送パケットＰを生成する場合、図２に示すように、メディア信号に適する符号化方式によって一定の符号化単位で符号化された符号化メディア信号（符号化フレーム）を固定長の伝送パケットＰに多重して送信する。
各伝送パケットＰには、そのパケットの属性（例えば、映像信号、音声信号、データ信号など多重対象の区別、符号化フレームの先頭部分を含むか否か、パケットの欠落を確認するためにパケット毎に付与され、１ずつカウントアップするシーケンス番号など）を含むパケットヘッダＨ１が付与される。
【００４１】
固定長の伝送パケットＰに対して、可変長の符号化フレームＦ１，Ｆ２を多重するために、例えば、符号化フレームＦ１のように、符号化フレームのサイズが伝送パケットＰに格納可能なサイズよりも大きい場合、その符号化フレームを複数に分割して格納する。
逆に、符号化フレームＦ２のように、符号化フレームのサイズが伝送パケットＰに格納可能なサイズよりも小さい場合、その符号化フレームをそのまま格納する。
その際、各符号化フレームに付随する付加的な情報として、例えば、その符号化フレームを復号あるいは表示する時刻などを通知する場合、符号化フレームの先頭部分を送信する伝送パケットは、伝送パケットＰ１のような構成となり、パケットヘッダＨ１に続いてフレームヘッダＨ２（ＴＳ形式では、ＰＥＳヘッダと呼ばれる）を追加し、パケットヘッダＨ２の中に、符号化フレームの“先頭有り”が設定され、伝送パケットの残領域に符号化フレームが格納される。
【００４２】
符号化フレームが分割された中間部分を送信する伝送パケットは、伝送パケットＰ２のような構成となり、パケットヘッダＨ１を設定した残領域に符号化フレームが格納される。
符号化フレームの最終部分を送信する伝送パケットは、伝送パケットＰ４のような構成となり、伝送パケットに格納可能なサイズよりも符号化フレームの未送信部分が少なくなって、固定長の伝送パケットに余剰領域が発生してしまう場合、パケットヘッダＨ１に続いてスタッフ領域Ｈ４が設定されて調整される。
伝送パケットを送信するに際して、一時的に付与する情報がある場合、伝送パケットＰ３のように、伝送パケットヘッダＨ１に続いて付加情報Ｈ３が追加されて、その残領域に符号化フレームが格納される。
また、符号化フレームＦ２のように、伝送パケットに格納可能なサイズよりも小さな符号化フレームの場合、フレームヘッダＨ２とスタッフ領域Ｈ４の両方が設定される。
【００４３】
ＴＳ形式では、ＴＳパケットのヘッダ内の付加領域（アダプテーション領域）にスタッフ領域を設定する規定であるため、この実施の形態１にあてはめれば、必須部分がパケットヘッダＨ１、アダプテーション領域中の有意な情報部分が付加情報Ｈ３、アダプテーション領域中のスタッフ部分がスタッフ領域Ｈ４となり、伝送パケットＰの属性に応じてパケットヘッダＨ１、付加情報Ｈ３、スタッフ領域Ｈ４、さらにフレームヘッダ領域Ｈ２、残領域における符号化フレームの順序でそれぞれ必要により設定される。
この実施の形態１では、伝送パケットＰを生成する方法に着目しており、特定の符号化方式やパケット化方式に依存するものではなく、汎用的に適用することができる。
以下、パケットの生成に関わる処理内容を具体的に説明する。
【００４４】
多重要求管理部７は、パケット多重制御部４から多重要求ＭＲを受けると、その多重要求ＭＲを保持する。
また、多重要求管理部７は、その多重要求ＭＲが多重を指示する符号メディア信号のデータ列の多重開始位置と多重サイズから、そのデータ列の最後のデータ位置を多重設定受付済位置として算出し、その多重設定受付済位置と当該多重要求ＭＲが処理待ちである旨を示す多重状況ＭＣをパケット多重制御部４に通知する。
多重要求管理部７は、パケット生成部８から伝送パケットＰの生成が可能な状態である旨を示す多重完了通知ＭＦＮを受けると、保持している１以上の多重要求ＭＲの中から、何れかの多重要求ＭＲを選択し、その選択した多重要求ＭＲをパケット生成部８に出力する。
また、多重要求管理部７は、多重完了通知ＭＦＮを受けると、次の多重要求ＭＲが受けられる状態である旨を示す多重状況ＭＣをパケット多重制御部４に通知する。
【００４５】
ここで、保持している１以上の多重要求ＭＲの中から、パケット生成部８に出力する多重要求ＭＲの選択方法としては、例えば、保持している１以上の多重要求ＭＲのうち、最も優先度が高い多重要求ＭＲを選択する方法が考えられる。
具体的には、符号化映像信号ＣＶの多重を指示する多重要求ＭＲを保存している場合でも、符号化音声信号ＣＡや符号化データ信号ＣＤを一定周期で送信する必要がある場合がある。
このような場合に、最も優先度が高い多重要求ＭＲが符号化音声信号ＣＡの多重を指示する多重要求ＭＲ、次に優先度が高い多重要求ＭＲが符号化データ信号ＣＤの多重を指示する多重要求ＭＲであれば、最も優先度が高い符号化音声信号ＣＡの多重を指示する多重要求ＭＲを選択し、符号化音声信号ＣＡの多重を指示する多重要求ＭＲを保持していなければ、次に優先度が高い符号化データ信号ＣＤの多重を指示する多重要求ＭＲを選択するようにする。
【００４６】
したがって、この場合、符号化映像信号ＣＶの多重を指示する多重要求ＭＲは、符号化音声信号ＣＡの多重を指示する多重要求ＭＲと符号化データ信号ＣＤの多重を指示する多重要求ＭＲを保持していないときに選択されるようになる。
ただし、多重要求ＭＲの優先度は固定的である必要はなく、例えば、符号化音声信号ＣＶの多重を指示する多重要求ＭＲや、符号化データ信号ＣＤの多重を指示する多重要求ＭＲを選択した直後は、符号化音声信号ＣＡ及び符号化データ信号ＣＤの多重を指示する多重要求ＭＲの優先度を、符号化映像信号ＣＶの多重を指示する多重要求ＭＲの優先度より下げて、符号化映像信号ＣＶの多重を指示する多重要求ＭＲが選択され易くし、その後、所定の送信周期に近づくと、優先度を元の高さに戻すようにしてもよい。
【００４７】
また、多重要求管理部７がパケット多重制御部４から出力された多重要求ＭＲを時系列的に保持し、パケット生成部８から伝送パケットＰの生成が可能な状態である旨を示す多重完了通知ＭＦＮを受けると、パケット多重制御部４から最も先に出力された多重要求ＭＲを選択する方法が考えられる。
この場合、伝送パケットＰに多重される符号化メディア信号の順序は、パケット多重制御部４の判断に委ねられることになる。
このため、順序制御の柔軟性が高くなるのと同時に、パケット多重制御部４で処理負荷の増減を吸収することが可能になり、また、多重要求管理部７の回路構成を簡易化することが可能になる。
【００４８】
パケット生成部８は、多重要求管理部７から多重要求ＭＲを受けると、映像符号化部１、音声符号化部２又はデータ符号化部３により保持されている符号化メディア信号（符号化映像信号ＣＶ、符号化音声信号ＣＡ又は符号化データ信号ＣＤ）の中から、その多重要求ＭＲが多重を指示する符号化メディア信号のデータ列を取得する。
また、ヘッダ・制御情報管理部５により管理されているヘッダ情報ＨＩ及び制御情報ＣＩ、即ち、ヘッダ・制御情報格納バッファ６に保持されているヘッダ情報ＨＩ及び制御情報ＣＩの中から、その多重要求ＭＲが多重を指示するヘッダ情報ＨＩ及び制御情報ＣＩを取得する。
【００４９】
パケット生成部８は、取得した符号化メディア信号のデータ列又は制御情報ＣＩを伝送パケットＰの本体部分に格納し、取得した制御情報ＣＩを伝送パケットＰのヘッダ部分に格納することで、伝送パケットＰを生成する。
パケット生成部８は、伝送パケットＰを生成する際、多重要求ＭＲに時刻情報を多重する要求が含まれている場合（図３及び図４の付加情報を参照）、時刻情報の多重を指示する付加情報を伝送パケットＰに付加して、付加情報付きの伝送パケットＰをパケット出力部９に出力する。
パケット生成部８は、伝送パケットＰの生成が完了すると、伝送パケットＰの生成が可能な状態である旨を示す多重完了通知ＭＦＮを多重要求管理部７に出力する。
【００５０】
ここで、パケット生成部８によるパケットの生成処理を具体的に説明する。
パケット生成部８は、多重要求管理部７から出力された多重要求ＭＲの設定内容である付加情報のペイロード多重種別を参照して、多重対象の符号化メディア信号の種別を把握し、多重対象の符号化メディア信号が保持されているＥＳバッファにおいて、ペイロード多重領域の多重開始位置が示す位置から多重サイズ分のデータ列を取得する。
また、パケット生成部８は、ヘッダ多重領域（１）〜（３）とトレイラ多重領域を参照して、ヘッダ情報ＨＩ及び制御情報ＣＩを保持しているヘッダ・制御情報格納バッファ６において、それらの領域の多重開始位置が示す位置から多重サイズ分のデータ列を取得する。
【００５１】
図４に示すように、伝送パケットＰを構成する規格がＴＳ形式に準じている場合、ヘッダ多重領域（１）には、ＴＳパケットヘッダ（例えば、パケットヘッダＨ１）が格納される。
また、ヘッダ多重領域（２）には、アダプテーション領域の有意な情報部分（例えば、付加情報Ｈ３）やスタッフ部分（例えば、スタッフ領域Ｈ４）が格納され、ヘッダ多重領域（３）には、ＰＥＳヘッダ（例えば、フレームヘッダＨ２）が格納される態様が考えられる。
【００５２】
ただし、ヘッダ情報ＨＩの内容は、ヘッダ・制御情報格納バッファ６に存在するので、パケット多重制御部４の処理内容に応じて随時更新し、一つのヘッダ多重領域に全ての情報をまとめて設定するようにしてもよい。
また、固定内容となる情報や伝送パケット間で共通となる情報を個々のヘッダ領域に分割して設定して、書き換えの手間を削減できるようにしてもよい。
なお、ＰＳ形式に準じている場合、ヘッダ多重領域（１）にはＰＳパックヘッダ、ヘッダ多重領域（２）には制御情報にあたるシステムＰＥＳパケット、ヘッダ多重領域（３）にはＰＥＳヘッダ、トレイラ多重領域には例えばスタッフ目的で適用される特殊なＰＥＳパケット（ｐａｄｄｉｎｇ＿ｓｔｒｅａｍ）が格納される態様が考えられる。
【００５３】
パケット生成部８は、上記のようにして、符号化メディア信号のデータ列を取得するとともに、ヘッダ情報ＨＩ及び制御情報ＣＩを取得すると、その符号化メディア信号のデータ列又は制御情報ＣＩのデータ列を伝送パケットＰの本体部分に順次格納し、そのヘッダ情報ＨＩのデータ列を伝送パケットＰのヘッダ部分に順次格納することで、伝送パケットＰを生成する。
パケット生成部８は、上述したように、多重要求ＭＲに時刻情報を多重する要求が含まれている場合、時刻情報の多重を指示する付加情報を伝送パケットＰに付加する。
【００５４】
なお、多重要求ＭＲにおいて、スタッフサイズは、スタッフ目的でヘッダ情報の内容に０ｘＦＦ（１６進）などの固定値を設定する場合に、その多重量を指定するものである。
したがって、ヘッダ・制御情報格納バッファ６のメモリを消費することなく、多重量を指定するだけで、伝送パケットＰへの多重設定を実現することができる。
また、多重サイズやスタッフサイズに“０バイト”を指定することによって、各多重領域を適用したパケット生成が不要であることを示すことができる。もちろん、パケット多重制御部４のプロセッサ処理の都合によって、スタッフとして設定する固定値も含めて有意なデータ列として構成してもよい。
【００５５】
ここで、図５はパケット生成部８により生成される付加情報付きの伝送パケットＰを示す説明図である。
図５の例では、伝送パケットＰの本体に符号化メディア信号のデータ列又は制御情報ＣＩのデータ列が格納され、伝送パケットＰの先頭部分（図中、点線より上の部分）にヘッダ情報ＨＩが格納されている。
また、パケット付加情報には時刻情報の多重を指示する情報が格納されている。
【００５６】
パケット出力部９は、パケット生成部８から付加情報付きの伝送パケットＰを受けると、その伝送パケットＰの出力タイミングになるまで、その伝送パケットＰをパケットバッファ１０に格納して管理する。
パケット出力部９は、その伝送パケットＰの出力タイミングになると（例えば、伝送路側からパケットの送信要求を受けた場合、あるいは、伝送レート制御条件に基づく出力タイミングになった場合）、そのパケットバッファ１０から伝送パケットＰを取り出して、その伝送パケットＰを伝送路等に出力する。
【００５７】
ただし、パケット出力部９は、パケット生成部８により生成された伝送パケットＰを出力する際、時刻情報の多重を指示する付加情報が伝送パケットＰに付加されている場合、その伝送パケットＰの出力時刻（出力タイミングに応じた時刻）を示す時刻情報を伝送パケットＰに付与して、最終的な伝送パケットＰを生成し、その伝送パケットＰを伝送路等に出力する。
なお、パケット出力部９が伝送パケットＰの出力時刻を付与しているのは、パケット生成部８が伝送パケットＰを生成する時点では、出力タイミングに応じた時刻が分からないからである。
【００５８】
時刻情報の一例としては、伝送パケットＰがＴＳ形式である場合、想定される用途が放送や通信など、送受信装置間での利用であるため、送信装置側と受信装置側とで動作周波数を一致させる目的で、一定周期以内に送信装置側から特定のＴＳパケットのアダプテーション領域内にＰＣＲ（ｐｒｏｇｒａｍ＿ｃｌｏｃｋ＿ｒｅｆｅｒｅｎｃｅ）と呼ばれるクロック情報を設定して送出する規定となっている。このクロック情報には厳密な精度が求められるため、出力タイミングに合わせて時刻値を決定する必要がある。
ＰＳ形式の場合、想定される用途がＤＶＤなどの再生装置での利用であるため、このような規定はないが、ＴＳ形式に代わってＰＳ形式で送受信装置間での伝送に利用することも可能である。
このような場合には、ＰＳ形式の各ＰＳパックヘッダ内にＳＣＲ（ｓｙｓｔｅｍ＿ｃｌｏｃｋ＿ｒｅｆｅｒｅｎｃｅ）と呼ばれるクロック情報を設定して送出することで代用される。
【００５９】
図５では、伝送パケットＰの本体部分に付加情報が付加されている例を示しているが、図６に示すように、伝送パケットＰの先頭部分を除く部分（図中、点線より下の部分）にヘッダ情報ＨＩ、符号化メディア信号のデータ列又は制御情報ＣＩのデータ列が格納され、伝送パケットＰの先頭部分（図中、点線より上の部分）に付加情報を格納するようにしてもよい。
具体的には、パケット生成部８が伝送パケットＰの先頭部分の固定値（例えば、同期バイト）となる部分を改変して、時刻情報有りを意味する特定の値を設定するようにする。
あるいは、同期バイトをビット反転することで、時刻情報有りを意味するようにする。
パケット出力部９は、時刻情報有りを意味する特定の値（または、同期バイトのビット反転値）を検知することで、時刻情報有りを認識すると、その特定の値（ビット反転値）を元の固定値に復元する。
【００６０】
この実施の形態１では、パケット出力部９が伝送パケットＰをパケットバッファ１０に一時的に格納し、出力タイミングになると、そのパケットバッファ１０から伝送パケットＰを取り出して、その伝送パケットＰを出力するものについて示したが、パケット出力部９が伝送パケットＰの出力タイミングから、伝送パケットＰの生成タイミングを計ることで、パケット生成部８のパケット生成機能とパケット出力部９のパケット出力機能を一体化して、回路構成を簡易化することも可能である。
【００６１】
以上で明らかなように、この実施の形態１によれば、符号化メディア信号を取り込んで、その符号化メディア信号を保持するとともに、その符号化メディア信号の取込状況ＩＣを通知する符号化部１，２，３と、符号化部１，２，３から通知された符号化メディア信号の取込状況ＩＣと多重要求部７から通知された多重状況ＭＣを考慮して、伝送パケットＰに多重する符号化メディア信号及びヘッダ情報ＨＩを決定し、その符号化メディア信号及びヘッダ情報ＨＩの多重を指示する多重要求ＭＣを出力するパケット多重制御部４と、パケット多重制御部４から出力された多重要求ＭＣを保持し、伝送パケットＰの生成が可能な状態になると、保持している１以上の多重要求ＭＣの中から何れかの多重要求ＭＣを選択する多重要求管理部７とを設け、パケット生成部８が、符号化部１，２，３により保持されている符号化メディア信号の中から多重要求管理部７により選択された多重要求ＭＣが多重を指示する符号化メディア信号を取得するとともに、その多重要求ＭＣが多重を指示するヘッダ情報ＨＩを取得して、その符号化メディア信号とヘッダ情報ＨＩから伝送パケットＰを生成するように構成したので、多重対象の符号化メディア信号の発生状況に応じて伝送パケットＰを生成する柔軟性を損なうことなく、各種のメディア信号の符号化レートの高レート化に伴うプロセッサ処理の負荷の増加を抑えることができる効果を奏する。
【００６２】
即ち、パケット多重制御部４が符号化メディア信号の取込状況ＩＣと伝送パケットＰの生成状況を集積して、次に生成する伝送パケットＰの構成を決定し、パケット生成部８が多重要求ＭＣにしたがって複数のバッファから多重対象のデータ列を逐次的に取り込んで伝送パケットＰを生成するように構成したので、パケット多重制御部４のプロセッサ処理が介在することによる入出力状況に応じた柔軟性のあるパケット生成と、多重要求管理部７及びパケット生成部８による高速性のあるパケット生成の両立を図ることができる効果を奏する。
【００６３】
また、この実施の形態１によれば、多重要求管理部７が、保持している１以上の多重要求ＭＲのうち、最も優先度が高い多重要求ＭＲを選択するように構成したので、重要度が高い符号化メディア信号の多重タイミングが、重要度が低い符号化メディア信号の存在によって阻害される不具合を解消して、重要度が高い符号化メディア信号を時間通りに送信することができる効果を奏する。
【００６４】
また、この実施の形態１によれば、多重要求管理部７が、保持している１以上の多重要求ＭＲのうち、パケット多重制御部４から最も先に出力された多重要求を選択するように構成したので、伝送パケットＰに多重される符号化メディア信号の順序が、パケット多重制御部４の判断に委ねられるようになり、順序制御の柔軟性を高めることができる効果を奏する。
【００６５】
この実施の形態１によれば、パケット出力部９がパケット生成部８により生成された伝送パケットＰを出力する際、その伝送パケットＰの出力時刻を示す時刻情報を伝送パケットＰに付与するように構成したので、伝送パケットＰの受信側との間で動作周波数の設定を図ることができる効果を奏する。
【００６６】
実施の形態２．
図７はこの発明の実施の形態２によるマルチメディア送信装置を示す構成図であり、図において、図１と同一符号は同一又は相当部分を示すので説明を省略する。
ヘッダ補正部１１は多重要求管理部７により選択された多重要求ＭＲが多重を指示するヘッダ情報ＨＩ・制御情報ＣＩを補正し、補正後のヘッダ情報ＨＩ・制御情報ＣＩをパケット生成部８に出力する処理を実施する。なお、ヘッダ補正部１１はヘッダ補正手段を構成している。
【００６７】
図８はこの発明の実施の形態２によるマルチメディア送信装置のヘッダ補正部１１を示す構成図である。
図８において、ヘッダ補正解析部１２はパケット生成部８から出力されるヘッダ補正情報ＨＲＩを解析して、補正に関わる制御信号を出力する処理を実施する。
カウンタ管理部１３はカウンタ値の初期値１３ａと、多重対象の符号化メディア信号・制御情報ＣＩ別にカウンタ値を格納しているカウンタ値テーブル１３ｂとを有し、パケットＰのヘッダに格納するカウンタ値を管理する処理を実施する。
カウンタ管理部１３のカウンタ選択器１３ｃはカウンタ値の初期値１３ａ又はカウンタ値テーブル１３ｂ内のカウント値のいずれか一方を選択する処理を実施する。
ヘッダ書換部１４はヘッダ補正解析部１２から出力された制御信号とカウンタ管理部１３から出力されたカウンタ値とにしたがって多重対象のヘッダ情報ＨＩ・制御情報ＣＩのビットを書き換えて、補正後のヘッダ情報ＨＩ・制御情報ＣＩを出力する処理を実施する。
【００６８】
信号１０１はヘッダ補正情報内のヘッダ多重領域（３）が“有り”であれば有効になる信号である。
信号１０２はヘッダ補正情報内のヘッダ多重領域（３）、ペイロード領域、トレイラ領域のいずれか一つが“有り”であれば有効になる信号である。
信号１０３はヘッダ補正情報内のヘッダ多重領域（２）が“有り”であれば有効になる信号である。
信号１０４はカウンタ値テーブル１３ｂから取り出された多重対象のカウンタ値を示す信号である。
信号１０５はカウンタ選択器１３ｃにより選択されたカウンタ値を示す信号である。
【００６９】
信号１１１は多重対象のヘッダ情報ＨＩ・制御情報ＣＩの先頭２バイト目における第７ビット（バイト内の下位から数えて７ビット目、ｂ６の位置）の信号（例えば、ＴＳ形式では、ｐａｙｌｏａｄ＿ｕｎｉｔ＿ｓｔａｒｔ＿ｉｎｄｉｃａｔｏｒ）である。
信号１１２は多重対象のヘッダ情報ＨＩ・制御情報ＣＩの先頭４バイト目における第５ビット（バイト内の下位から数えて５ビット目、ｂ４の位置）の信号（例えば、ＴＳ形式では、ａｄａｐｔａｔｉｏｎ＿ｆｉｅｌｄ＿ｃｏｎｔｒｏｌの下位ビット）である。
信号１１３は多重対象のヘッダ情報ＨＩ・制御情報ＣＩの先頭４バイト目における第６ビット（バイト内の下位から数えて６ビット目、ｂ５の位置）の信号（例えば、ＴＳ形式では、ａｄａｐｔａｔｉｏｎ＿ｆｉｅｌｄ＿ｃｏｎｔｒｏｌの上位ビット）である。
信号１１４は多重対象のヘッダ情報ＨＩ・制御情報ＣＩの先頭４バイト目における下位４ビット分（ｂ３〜ｂ０までの４ビット分）で表されるカウンタ値（例えば、ＴＳ形式では、ｃｏｎｔｉｎｕｉｔｙ＿ｃｏｕｎｔｅｒ）である。
【００７０】
信号１２１は信号１０１と信号１１１のうち、いずれか一方の信号が有効であれば、有効になる信号である。
信号１２２は信号１０２と信号１１２のうち、いずれか一方の信号が有効であれば、有効になる信号である。
信号１２３は信号１０３と信号１１３のうち、いずれか一方の信号が有効であれば、有効になる信号である。
カウンタ加算器１４ａは信号１０５が示すカウンタ値（カウンタ選択器１３ｃにより選択されたカウンタ値）と、信号１２２（有効であれば“１”を示し、無効であれば“０”）と、信号１１４が示すカウンタ値とを加算し、その加算結果であるカウント値を示す信号１２４を出力する処理を実施する。
【００７１】
図９はこの発明の実施の形態２によるマルチメディア送信装置が適用する「ＭＰＥＧ−２ Ｓｙｓｔｅｍｓ規格」のＴＳ形式のパケット構造の一例を示す説明図である。
図９の例では、「ＭＰＥＧ−２ Ｓｙｓｔｅｍｓ規格」のＴＳ形式において、この実施の形態２の説明に必要なパラメータをビット配置で示している。
各パラメータの意味は、この実施の形態２の範疇に含まれないので説明を省略するが、ＴＳパケットは１８８バイトの固定長で構成され、その先頭バイトの位置を“１”、最終バイトの位置を“１８８”で示し、バイト内のＭＳＢ（Ｍｏｓｔ Ｓｉｇｎｉｆｉｃａｎｔ Ｂｉｔ）を“ｂ７”、ＬＳＢ（Ｌｅａｓｔ Ｓｉｇｎｉｆｉｃａｎｔ Ｂｉｔ）を“ｂ０”、ＭＳＢからＬＳＢまでの間の各ビットをそれぞれ“ｂ６”から“ｂ１”で示している。
【００７２】
次に動作について説明する。
ヘッダ補正部１１を追加している点以外は、上記実施の形態１と同様であるため、主にヘッダ補正部１１の動作を説明する。
パケット生成部８は、多重要求管理部７から多重要求ＭＲを受けると、上記実施の形態１と同様にして、伝送パケットＰを生成するが、その伝送パケットＰに格納するヘッダ情報ＨＩ，制御情報ＣＩについては、ヘッダ補正部１１による補正後のヘッダ情報ＨＩ，制御情報ＣＩである。
パケット生成部８は、多重要求管理部７から多重要求ＭＲを受けると、その多重要求ＭＲからヘッダ補正情報ＨＲＩを構成して、そのヘッダ補正情報ＨＲＩをヘッダ補正部１１に出力する。
【００７３】
ここで、ヘッダ補正情報ＨＲＩは、多重要求ＭＲに含まれているペイロード多重種別、カウンタ初期化の有無、ヘッダ多重領域（１）の有無、ヘッダ多重領域（２）の有無、ヘッダ多重領域（３）の有無、ペイロード多重領域の有無、トレイラ多重領域の有無を示す情報から構成される。
なお、各領域のサイズが“１”以上であれば多重領域が“有り”、サイズが“０”であれば多重領域が“無し”である。
【００７４】
ヘッダ補正部１１は、パケット生成部８からヘッダ補正情報ＨＲＩを受けると、そのヘッダ補正情報ＨＲＩにしたがって多重対象のヘッダ情報ＨＩ・制御情報ＣＩを補正し、補正後のヘッダ情報ＨＩ・制御情報ＣＩをパケット生成部８に出力する。
以下、ヘッダ補正部１１によるヘッダ情報ＨＩ・制御情報ＣＩの補正処理を具体的に説明する。
【００７５】
ヘッダ補正部１１のヘッダ補正解析部１２は、パケット生成部８からヘッダ補正情報ＨＲＩを受けると、そのヘッダ補正情報ＨＲＩを解析して、補正に関わる制御信号を出力する。
即ち、ヘッダ補正解析部１２は、ヘッダ補正情報ＨＲＩ内のヘッダ多重領域（３）が“有り”であれば、有効な信号１０１をヘッダ書換部１４に出力する。
また、ヘッダ補正情報ＨＲＩ内のヘッダ多重領域（３）、ペイロード領域、トレイラ領域のいずれか一つが“有り”であれば有効な信号１０２をヘッダ書換部１４に出力し、ヘッダ補正情報ＨＲＩ内のヘッダ多重領域（２）が“有り”であれば有効な信号１０３をヘッダ書換部１４に出力する。
また、ヘッダ補正解析部１２は、ヘッダ補正情報ＨＲＩ内のペイロード多重種別と、カウンタ初期化の有無をカウンタ管理部１３に出力する。
【００７６】
カウンタ管理部１３は、ヘッダ補正解析部１２からペイロード多重種別とカウンタ初期化の有無を受けると、カウンタ値テーブル１３ｂからペイロード多重種別に対応する符号化メディア信号又は制御情報ＣＩのカウンタ値を取り出し、そのカウンタ値を示す信号１０４をカウンタ選択器１３ｃに出力する。
カウンタ管理部１３のカウンタ選択器１３ｃは、カウンタ初期化が“有り”であれば、カウンタ値の初期値１３ａを選択し、カウンタ初期化が“無し”であれば、カウンタ値テーブル１３ｂから取り出したカウンタ値を選択する。
カウンタ選択器１３ｃは、選択したカウンタ値を示す信号１０５をヘッダ書換部１４に出力する。
なお、カウンタ値の初期値１３ａとしては、“０（１６進で０ｘ００）”や、“１５（１６進で０ｘ０Ｆ）”などの固定値が採用される。
【００７７】
ヘッダ書換部１４は、ヘッダ補正解析部１２から出力された制御信号である信号１０１〜１０３を受け、カウンタ管理部１３からカウンタ値を示す信号１０５を受けると、その制御信号とカウンタ値にしたがって多重対象のヘッダ情報ＨＩ・制御情報ＣＩのビットを書き換えて、補正後のヘッダ情報ＨＩ・制御情報ＣＩをパケット生成部８に出力する。
即ち、ヘッダ書換部１４は、多重対象のヘッダ情報ＨＩ・制御情報ＣＩの先頭２バイト目における第７ビットの信号である信号１１１と、信号１０１（ヘッダ多重領域（３）が“有り”であれば有効）のうち、いずれか一方の信号が有効であれば、そのヘッダ情報ＨＩ・制御情報ＣＩの先頭２バイト目における第７ビットを“１”に書き換える処理を実施する。
【００７８】
また、ヘッダ書換部１４は、多重対象のヘッダ情報ＨＩ・制御情報ＣＩの先頭４バイト目における第５ビットの信号である信号１１２と、信号１０２（ヘッダ多重領域（３）、ペイロード領域、トレイラ領域のいずれか一つが“有り”であれば有効）のうち、いずれか一方の信号が有効であれば、そのヘッダ情報ＨＩ・制御情報ＣＩの先頭４バイト目における第５ビットを“１”に書き換える処理を実施する。
また、ヘッダ書換部１４は、多重対象のヘッダ情報ＨＩ・制御情報ＣＩの先頭４バイト目における第６ビットの信号である信号１１３と、信号１０３（ヘッダ多重領域（２）が“有り”であれば有効）のうち、いずれか一方の信号が有効であれば、そのヘッダ情報ＨＩ・制御情報ＣＩの先頭４バイト目における第６ビットを“１”に書き換える処理を実施する。
【００７９】
さらに、ヘッダ書換部１４のカウンタ加算器１４ａは、信号１０５が示すカウンタ値（カウンタ選択器１３ｃにより選択されたカウンタ値）と、信号１２２（有効であれば“１”を示し、無効であれば“０”）と、信号１１４が示すカウンタ値とを４ビット精度で加算し、その加算結果であるカウント値を示す信号１２４を生成する。
そして、カウンタ加算器１４ａは、信号１１４に係るビット群（多重対象のヘッダ情報ＨＩ・制御情報ＣＩの先頭４バイト目における下位４ビット分）を信号１２４が示すカウント値で書き換える処理を行う。
また、カウンタ加算器１４ａは、ヘッダ補正解析部１２から出力されたペイロード多重種別に対応するカウンタ値テーブル１３ｂ内のカウンタ値に、その信号１２４が示すカウント値を保存する。
【００８０】
パケット生成部８は、上記のようにして、ヘッダ補正部１１がヘッダ情報ＨＩ，制御情報ＣＩを補正すると、補正後のヘッダ情報ＨＩ，制御情報ＣＩと符号化メディア信号をパケット化することで、伝送パケットＰを生成する。
【００８１】
以上で明らかなように、この実施の形態２によれば、ヘッダ補正部１１が多重要求管理部７により選択された多重要求ＭＲが多重を指示するヘッダ情報ＨＩ・制御情報ＣＩを補正し、補正後のヘッダ情報ＨＩ・制御情報ＣＩをパケット生成部８に出力するように構成したので、パケット多重制御部４が伝送パケットＰに多重する最終的なヘッダ情報ＨＩ・制御情報ＣＩを生成しなくても、そのヘッダ情報ＨＩ・制御情報ＣＩの内容を自動的に更新して最終的なヘッダ情報ＨＩ・制御情報ＣＩが得られるようになり、その結果、パケット多重制御部４によるプロセッサ処理の負荷を軽減することができる効果を奏する。
【００８２】
なお、この実施の形態２では、ヘッダ補正部１１がパケット多重制御部４により生成されたヘッダ情報ＨＩ・制御情報ＣＩの内容とヘッダ補正情報ＨＲＩを考慮して、そのヘッダ情報ＨＩ・制御情報ＣＩを補正するものについて示したが、パケット多重制御部４により生成されたヘッダ情報ＨＩ・制御情報ＣＩの内容を考慮せず、そのヘッダ補正情報ＨＲＩだけを考慮して、そのヘッダ情報ＨＩ・制御情報ＣＩを補正するようにしてもよい。
【００８３】
実施の形態３．
図１０はこの発明の実施の形態３によるマルチメディア送信装置を示す構成図であり、図において、図７と同一符号は同一又は相当部分を示すので説明を省略する。
多重待ち検出部２１は多重要求管理部７から出力された多重状況ＭＣ（次の多重要求が受けられる状態であるか否かを示す情報、多重設定受付済位置を示す情報）と、符号化部１，２，３から出力された符号化メディア信号の取込状況ＩＣ（符号化メディア信号のデータ列の書込位置を示す情報、符号化フレームの区切れ目を示す情報）とを参照して、伝送パケットＰを構成することが可能な多重対象のデータ列が存在するか否かを判定する処理を実施する。
また、多重待ち検出部２１は多重対象のデータ列が存在する場合、伝送パケットＰに多重する符号化メディア信号のデータ量である多重残量を算出して、その多重残量と規定値を比較して多重待ち量を求め、その多重待ち量と多重設定受付済位置を伝送パケットＰの多重条件として多重要求生成部２２に出力する処理を実施する。なお、多重待ち検出部２１は比較手段を構成している。
【００８４】
多重要求生成部２２は多重待ち検出部２１から出力された伝送パケットＰの多重条件にしたがって多重要求ＭＲを生成し、その多重要求ＭＲを多重管理部７に出力する処理を実施する。
この場合、多重要求管理部７は、多重要求生成部２２により生成された多重要求ＭＲを保持する。
なお、多重要求生成部２２は多重要求生成手段を構成している。
【００８５】
図１１は図１０のマルチメディア送信装置の多重待ち検出部２１により算出される多重残量を示す説明図である。
図１２は図１０のマルチメディア送信装置の多重待ち検出部２１の処理内容を示すフローチャートである。
【００８６】
次に動作について説明する。
多重待ち検出部２１及び多重要求生成部２２を追加している点以外は、上記実施の形態２と同様であるため、主に多重待ち検出部２１及び多重要求生成部２２の動作について説明する。
多重待ち検出部２１は、多重要求管理部７から多重状況ＭＣ（次の多重要求が受けられる状態であるか否かを示す情報、多重設定受付済位置を示す情報）の通知と、符号化部１，２，３から符号化メディア信号の取込状況ＩＣ（符号化メディア信号のデータ列の書込位置を示す情報、符号化フレームの区切れ目を示す情報）の通知を受けると、その多重状況ＭＣと取込状況ＩＣを参照して、伝送パケットＰを構成することが可能な多重対象のデータ列が存在するか否かを判定する。
【００８７】
多重待ち検出部２１は、多重対象のデータ列が存在する場合、符号化メディア信号の取込状況ＩＣにおける区切れ目情報を参照して、符号化メディア信号を構成する符号化フレームに境界（区切れ目）が存在しているか否かを判定する（ステップＳＴ１）。
多重待ち検出部２１は、符号化フレームに境界が存在している場合、図１１（ａ）に示すように、多重設定受付済位置と符号化フレームの境界位置との間にあるデータ列が、伝送パケットＰに対して、先に多重するデータ列であるため、その多重設定受付済位置と符号化フレームの境界位置との差分を多重残量として算出する（ステップＳＴ２）。
一方、符号化フレームに境界が存在していない場合、図１１（ｂ）に示すように、その多重設定受付済位置と、ＥＳバッファに対する符号化メディア信号のデータ列の書込位置との間にあるデータ列が、伝送パケットＰに多重するデータ列であるため、その多重設定受付済位置と書込位置の差分を多重残量として算出する（ステップＳＴ３）。
【００８８】
多重待ち検出部２１は、上記のようにして、多重残量を算出すると、その多重残量と規定値（伝送パケットに設定可能な一定の値）を比較する（ステップＳＴ４，ＳＴ５）。
ここで、規定値としては、ＴＳ形式であれば、ＴＳパケットの全体が１８８バイト、ＴＳパケットの必須ヘッダが４バイトであり、差し引き１８４バイトがＴＳパケットに多重可能な最大の符号化メディア信号の多重サイズになるので、規定値として“１８４”を適用することが考えられる。
なお、パケット多重制御部４のプロセッサ処理と関連して規定値を大き目にして、符号化フレームの最終部分が伝送パケットＰの終わりと一致して、自動生成されないように制御することも可能である。逆に、規定値を小さ目にして、伝送パケットＰの中に一定の空き領域を残して符号化メディア信号以外の情報を設定できるように制御することも可能である。
【００８９】
多重待ち検出部２１は、符号化フレームに境界が存在している場合において、多重残量が規定値を越えている場合、符号化フレームの最終部分を含む伝送パケットＰを構成することができず、符号化フレームの中間部分を構成する“ケース１”に該当するので、多重待ち量を規定値に設定する（ステップＳＴ６）。
多重待ち検出部２１は、符号化フレームに境界が存在している場合において、多重残量が規定値以下の場合、符号化フレームの最終部分を含む伝送パケットＰを構成することが可能であり、符号化フレームの最終部分を含む伝送パケットＰを構成する“ケース２”に該当するので、多重待ち量を多重残量（ステップＳＴ２で算出した多重残量）に設定する（ステップＳＴ７）。
【００９０】
多重待ち検出部２１は、符号化フレームに境界が存在していない場合において、多重残量が規定値を越えている場合、符号化フレームの中間部分を含む伝送パケットＰを構成することが可能であり、符号化フレームの中間部分を構成する“ケース３”に該当するので、多重待ち量を規定値に設定する（ステップＳＴ８）。
多重待ち検出部２１は、符号化フレームに境界が存在していない場合において、多重残量が規定値以下の場合、伝送パケットを構成するだけのデータ量に満たない“ケース４”に該当するので、多重不可を意味する多重待ち量“０”を設定する（ステップＳＴ９）。
多重待ち検出部２１は、上記のようにして、多重待ち量を設定すると、その多重待ち量と多重設定受付済位置を伝送パケットＰの多重条件として、多重要求生成部２２に出力する。
【００９１】
多重要求生成部２２は、多重待ち検出部２１から伝送パケットＰの多重条件を受けると、その多重条件にしたがって多重要求ＭＲを生成し、その多重要求ＭＲを多重管理部７に出力する。
また、多重要求生成部２２は、多重要求ＭＲの生成状況を示す自動生成状況ＡＣＩをパケット多重制御部４に出力する。
【００９２】
多重要求生成部２２により生成される多重要求ＭＲは、パケット多重制御部４に生成される多重要求ＭＲと同等の同一形式となる。
即ち、ヘッダ多重領域（１）、ヘッダ多重領域（３）に設定する内容は、固定的に決定可能なデータ列として、パケット多重制御部４から事前に通知されているデータ列を適用する。
このとき、ヘッダ多重領域（１）は、多重要求ＭＲで常に“有り”に設定されるが、ヘッダ多重領域（３）については、符号化フレームの先頭部分を含む場合に“有り”に設定され、それ以外では“無し”に設定される。
例えば、ＴＳ形式のＴＳヘッダ（必須部分）がヘッダ多重領域（１）に設定され、ＰＥＳヘッダがヘッダ多重領域（３）に設定される。
ここでは、説明を省略しているが、ＰＥＳヘッダに設定するパラメータの個数によってＰＥＳヘッダのデータ量が可変となるため、多重要求生成部２２の内部で読み替えることで、あるいは、パケット多重制御部４が事前に通知することで、初期のデータ列を状況に応じて変更する。
【００９３】
ペイロード多重領域に設定する多重開始位置は、多重設定受付済位置の次の位置、同じく多重サイズは、多重待ち量となる。
ただし、ヘッダ多重領域（１）、ヘッダ多重領域（３）の多重サイズの総和から算出可能な伝送パケットＰの空き領域が多重待ち量を下回る場合、ペイロード多重領域の多重サイズを調整（削減）する。
また、ヘッダ多重領域（２）に設定する内容については、基本的なデータ列としてパケット多重制御部４から事前に通知されているが、多重サイズは、伝送パケットＰの全体サイズである１８８バイトに対して、ヘッダ多重領域（１）、ヘッダ多重領域（３）、ペイロード領域の各多重サイズの総和を引き去った値となる。
例えば、ＴＳ形式のアダプテーション領域をヘッダ多重領域（２）に設定する。この結果、ヘッダ多重領域（２）に対するデータ列において、図９で示している“ａｄａｐｔａｔｉｏｎ＿ｌｅｎｇｔｈ”の値を多重サイズで設定した値相当の変更が必要となるので（パラメータの定義に従った調整が必要）、多重要求生成部２２が内部で変更する。
【００９４】
多重管理部７は、上記のようにして、多重要求生成部２２から多重要求ＭＲを受けると、多重要求生成部２２から出力される多重要求ＭＲを保持し、上記実施の形態１，２と同様に、保持している１以上の多重要求ＭＲの中から、所定の多重要求ＭＲを選択してパケット生成部８に出力する。
【００９５】
ここでは、多重管理部７が多重要求生成部２２から出力される多重要求ＭＲを保持するものについて示したが、多重要求生成部２２による多重要求ＭＲの生成と、パケット多重制御部４による多重要求ＭＲの生成が競合しないようにするために、パケット多重制御部４が自動生成指示ＡＣＲを多重要求生成部２２に出力することで、多重要求生成部２２による多重要求ＭＲの生成・停止を制御するようにしてもよい。
この場合、多重要求生成部２２は、パケット多重制御部４から自動生成指示ＡＣＲによって、パケット生成に関する制御権を委譲されている期間中に限り、多重要求ＭＲを生成することになる。
【００９６】
ただし、パケット多重制御部４は、多重要求生成部２２が多重要求ＭＲを生成している期間中であっても、一時的に伝送パケットＰに付加情報（例えば、図２の付加情報Ｈ３）を多重する必要があるような場合、多重要求ＭＲの生成条件として、付加情報の多重設定指示を自動生成指示ＡＣＲに付加することで、付加情報の多重を多重要求生成部２２に指示するようにしてもよい。
例えば、先に述べたＴＳ形式のＰＣＲを強制的に多重する場合、多重要求ＭＲの中で付加情報の時刻情報“有り”を指定し、ヘッダ多重情報領域（２）にＰＣＲ多重が必要な初期ヘッダのデータ列を指定し、その多重サイズ分だけ多重待ち量から引き去った値をペイロード領域に対する多重サイズに設定すればよい。
この結果、多重待ち量を変更した分は、多重要求管理部７から通知される多重状況ＭＣにおける多重設定受付済位置がその分だけ変化するため、特に補正動作をすることなく、次の自動生成処理に反映することができる。
【００９７】
また、符号化フレームに境界が存在している場合、あるいは、符号化フレームの最終部分を多重する“ケース２”に該当する場合、多重要求ＭＲの生成が複雑になるので、パケット生成に関する制御権を多重要求生成部２２からパケット多重制御部４に戻して、パケット多重制御部４がプロセッサ処理で、多重要求ＭＲを生成するようにしてもよい。
なお、多重待ち検出部２１の検出結果である多重待ちの有無をパケット多重制御部４に通知することで、パケット多重制御部４における伝送パケットの構成の算出処理を削減するようにしてもよい。
【００９８】
以上で明らかなように、この実施の形態３によれば、伝送パケットＰに多重する符号化メディア信号のデータ量である多重残量を算出して、その多重残量と規定値を比較して多重待ち量を求め、その多重待ち量と多重設定受付済位置を伝送パケットＰの多重条件として出力する多重待ち検出部２１と、多重待ち検出部２１から出力された伝送パケットＰの多重条件にしたがって多重要求ＭＲを生成し、その多重要求ＭＲを多重管理部７に出力する多重要求生成部２２とを設け、多重管理部７が多重要求生成部２２から出力された多重要求ＭＲを保持するように構成したので、パケット多重制御部４がプロセッサ処理で多重要求ＭＲを生成しなくても、その多重要求ＭＲを自動的に生成することができるようになり、その結果、パケット多重制御部４におけるプロセッサ処理の負荷を軽減することができる効果を奏する。
【００９９】
また、この実施の形態３によれば、符号化メディア信号の取込状況ＩＣに含まれている区切れ目情報が、区切れ目が存在している旨を示す場合、パケット生成に関する制御権を多重要求生成部２２からパケット多重制御部４に戻して、プロセッサ処理で多重要求ＭＲを生成するように構成したので、パケット多重制御部４でのプロセッサ処理を主体とする柔軟な伝送パケットの構成を行うことができる効果を奏する。
【符号の説明】
【０１００】
１ 映像符号化部、１ａ 映像符号化処理部（メディア信号符号化手段）、１ｂ 符号化映像入力部（符号化メディア信号取込手段）、１ｃ 映像ＥＳバッファ（符号化メディア信号取込手段）、２ 音声符号化部、３ データ符号化部、４ パケット多重制御部（パケット多重制御手段）、５ ヘッダ・制御情報管理部、６ ヘッダ・制御情報格納バッファ、７ 多重要求管理部（多重要求管理手段）、８ パケット生成部（パケット生成手段）、９ パケット出力部（パケット出力手段）、１０ パケットバッファ（パケット出力手段）、１１ ヘッダ補正部（ヘッダ補正手段）、１２ ヘッダ補正解析部、１３ カウンタ管理部、１３ａ カウンタ値の初期値、１３ｂ カウンタ値テーブル、１３ｃ カウンタ選択器、１４ ヘッダ書換部、１４ａ カウンタ加算器、２１ 多重待ち検出部（比較手段）、２２ 多重要求生成部（多重要求生成手段）、 １０１〜１０５，１１１〜１１４，１２１〜１２４ 信号。
【特許請求の範囲】
【請求項１】
各種のメディア信号を符号化するメディア信号符号化手段と、上記メディア信号符号化手段により符号化されたメディア信号である符号化メディア信号を取り込んで、上記符号化メディア信号を保持するとともに、上記符号化メディア信号の取込状況を通知する符号化メディア信号取込手段と、上記符号化メディア信号取込手段から通知された符号化メディア信号の取込状況と伝送パケットの生成状況を考慮して、伝送パケットに多重する符号化メディア信号及びヘッダ情報を決定し、上記符号化メディア信号及び上記ヘッダ情報の多重を指示する多重要求を出力するパケット多重制御手段と、上記パケット多重制御手段から出力された多重要求を保持し、伝送パケットの生成が可能な状態になると、保持している１以上の多重要求の中から何れかの多重要求を選択する多重要求管理手段と、上記符号化メディア信号取込手段により保持されている符号化メディア信号の中から上記多重要求管理手段により選択された多重要求が多重を指示する符号化メディア信号を取得するとともに、上記多重要求が多重を指示するヘッダ情報を取得して、上記符号化メディア信号と上記ヘッダ情報から伝送パケットを生成し、上記伝送パケットの生成状況を通知するパケット生成手段と、上記パケット生成手段により生成された伝送パケットを出力するパケット出力手段とを備えたマルチメディア送信装置。
【請求項２】
多重要求管理手段は、保持している１以上の多重要求のうち、最も優先度が高い多重要求を選択することを特徴とする請求項１記載のマルチメディア送信装置。
【請求項３】
多重要求管理手段は、保持している１以上の多重要求のうち、パケット多重制御手段から最も先に出力された多重要求を選択することを特徴とする請求項１記載のマルチメディア送信装置。
【請求項４】
多重要求管理手段により選択された多重要求が多重を指示するヘッダ情報を補正し、補正後のヘッダ情報をパケット生成手段に出力するヘッダ補正手段を設けたことを特徴とする請求項１から請求項３のうちのいずれか１項記載のマルチメディア送信装置。
【請求項５】
符号化メディア信号取込手段は、符号化メディア信号を構成する符号化フレームの区切れ目を検知して、上記符号化フレームの区切れ目を示す区切れ目情報を含む符号化メディア信号の取込状況を通知することを特徴とする請求項１から請求項４のうちのいずれか１項記載のマルチメディア送信装置。
【請求項６】
符号化メディア信号取込手段から通知された符号化メディア信号の取込状況と伝送パケットの生成状況から、伝送パケットに多重する符号化メディア信号のデータ量である多重残量を算出して、上記多重残量と規定値を比較する比較手段と、上記比較手段の比較結果に応じて多重要求を生成する多重要求生成手段とを設け、多重要求管理手段が上記多重要求生成手段により生成された多重要求を保持することを特徴とする請求項５記載のマルチメディア送信装置。
【請求項７】
多重残量算出手段が符号化メディア信号の取込状況に含まれている区切れ目情報を考慮して多重残量を算出することを特徴とする請求項６記載のマルチメディア送信装置。
【請求項８】
多重要求生成手段は、パケット多重制御手段からパケット生成に関する制御権を委譲されている期間中、多重要求を生成することを特徴とする請求項６または請求項７記載のマルチメディア送信装置。
【請求項９】
パケット多重制御手段は、符号化メディア信号の取込状況に含まれている区切れ目情報が、区切れ目が存在している旨を示す場合、多重要求生成手段からパケット生成に関する制御権を自己に戻して、多重要求を生成することを特徴とする請求項８記載のマルチメディア送信装置。
【請求項１０】
パケット多重制御手段は、多重要求の生成条件を多重要求生成手段に出力することを特徴とする請求項６から請求項９のうちのいずれか１項記載のマルチメディア送信装置。
【請求項１１】
パケット生成手段は、多重要求が複数のヘッダ情報の多重を指示する場合、複数のヘッダ情報を伝送パケットに多重することを特徴とする請求項１から請求項１０のうちのいずれか１項記載のマルチメディア送信装置。
【請求項１２】
パケット出力手段は、多重要求に時刻情報を多重する要求が含まれている場合、パケット生成手段により生成された伝送パケットを出力する際、上記伝送パケットの出力時刻を示す時刻情報を上記伝送パケットに付与することを特徴とする請求項１から請求項１１のうちのいずれか１項記載のマルチメディア送信装置。
【請求項１３】
パケット生成手段は、多重要求に時刻情報を多重する要求が含まれている場合、時刻情報の多重を指示する付加情報を伝送パケットに付加し、付加情報付きの伝送パケットをパケット出力手段に出力することを特徴とする請求項１２記載のマルチメディア送信装置。
【請求項１】
各種のメディア信号を符号化するメディア信号符号化手段と、上記メディア信号符号化手段により符号化されたメディア信号である符号化メディア信号を取り込んで、上記符号化メディア信号を保持するとともに、上記符号化メディア信号の取込状況を通知する符号化メディア信号取込手段と、上記符号化メディア信号取込手段から通知された符号化メディア信号の取込状況と伝送パケットの生成状況を考慮して、伝送パケットに多重する符号化メディア信号及びヘッダ情報を決定し、上記符号化メディア信号及び上記ヘッダ情報の多重を指示する多重要求を出力するパケット多重制御手段と、上記パケット多重制御手段から出力された多重要求を保持し、伝送パケットの生成が可能な状態になると、保持している１以上の多重要求の中から何れかの多重要求を選択する多重要求管理手段と、上記符号化メディア信号取込手段により保持されている符号化メディア信号の中から上記多重要求管理手段により選択された多重要求が多重を指示する符号化メディア信号を取得するとともに、上記多重要求が多重を指示するヘッダ情報を取得して、上記符号化メディア信号と上記ヘッダ情報から伝送パケットを生成し、上記伝送パケットの生成状況を通知するパケット生成手段と、上記パケット生成手段により生成された伝送パケットを出力するパケット出力手段とを備えたマルチメディア送信装置。
【請求項２】
多重要求管理手段は、保持している１以上の多重要求のうち、最も優先度が高い多重要求を選択することを特徴とする請求項１記載のマルチメディア送信装置。
【請求項３】
多重要求管理手段は、保持している１以上の多重要求のうち、パケット多重制御手段から最も先に出力された多重要求を選択することを特徴とする請求項１記載のマルチメディア送信装置。
【請求項４】
多重要求管理手段により選択された多重要求が多重を指示するヘッダ情報を補正し、補正後のヘッダ情報をパケット生成手段に出力するヘッダ補正手段を設けたことを特徴とする請求項１から請求項３のうちのいずれか１項記載のマルチメディア送信装置。
【請求項５】
符号化メディア信号取込手段は、符号化メディア信号を構成する符号化フレームの区切れ目を検知して、上記符号化フレームの区切れ目を示す区切れ目情報を含む符号化メディア信号の取込状況を通知することを特徴とする請求項１から請求項４のうちのいずれか１項記載のマルチメディア送信装置。
【請求項６】
符号化メディア信号取込手段から通知された符号化メディア信号の取込状況と伝送パケットの生成状況から、伝送パケットに多重する符号化メディア信号のデータ量である多重残量を算出して、上記多重残量と規定値を比較する比較手段と、上記比較手段の比較結果に応じて多重要求を生成する多重要求生成手段とを設け、多重要求管理手段が上記多重要求生成手段により生成された多重要求を保持することを特徴とする請求項５記載のマルチメディア送信装置。
【請求項７】
多重残量算出手段が符号化メディア信号の取込状況に含まれている区切れ目情報を考慮して多重残量を算出することを特徴とする請求項６記載のマルチメディア送信装置。
【請求項８】
多重要求生成手段は、パケット多重制御手段からパケット生成に関する制御権を委譲されている期間中、多重要求を生成することを特徴とする請求項６または請求項７記載のマルチメディア送信装置。
【請求項９】
パケット多重制御手段は、符号化メディア信号の取込状況に含まれている区切れ目情報が、区切れ目が存在している旨を示す場合、多重要求生成手段からパケット生成に関する制御権を自己に戻して、多重要求を生成することを特徴とする請求項８記載のマルチメディア送信装置。
【請求項１０】
パケット多重制御手段は、多重要求の生成条件を多重要求生成手段に出力することを特徴とする請求項６から請求項９のうちのいずれか１項記載のマルチメディア送信装置。
【請求項１１】
パケット生成手段は、多重要求が複数のヘッダ情報の多重を指示する場合、複数のヘッダ情報を伝送パケットに多重することを特徴とする請求項１から請求項１０のうちのいずれか１項記載のマルチメディア送信装置。
【請求項１２】
パケット出力手段は、多重要求に時刻情報を多重する要求が含まれている場合、パケット生成手段により生成された伝送パケットを出力する際、上記伝送パケットの出力時刻を示す時刻情報を上記伝送パケットに付与することを特徴とする請求項１から請求項１１のうちのいずれか１項記載のマルチメディア送信装置。
【請求項１３】
パケット生成手段は、多重要求に時刻情報を多重する要求が含まれている場合、時刻情報の多重を指示する付加情報を伝送パケットに付加し、付加情報付きの伝送パケットをパケット出力手段に出力することを特徴とする請求項１２記載のマルチメディア送信装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１０−２３３０５１（Ｐ２０１０−２３３０５１Ａ）
【公開日】平成２２年１０月１４日（２０１０．１０．１４）
【国際特許分類】
【出願番号】特願２００９−７９５６６（Ｐ２００９−７９５６６）
【出願日】平成２１年３月２７日（２００９．３．２７）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成２２年１０月１４日（２０１０．１０．１４）
【国際特許分類】
【出願日】平成２１年３月２７日（２００９．３．２７）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]