データレート調整装置、データ配信システム、及びプログラム
【課題】ビットスタッフィングによる伝送データ量の増加を抑制しつつ、データ列の伝送レートを調整する。
【解決手段】画像データ配信システム３は、画像符号化装置１と配信側モデム２とを備えている。ここで、配信側モデム２は、入力されたデータ列を送信する送信部と、送信部が送信するデータ列に、同一値のビットが所定個数連続している所定ビット列が含まれていた場合に、その同一値のビットとは異なる値のビットを、そのデータ列における当該所定ビット列の次に挿入しておくビットスタッフィング処理部とを備えている。このとき、画像符号化装置１に、その所定ビット列とは異なるビット列を、配信側モデム２に入力されるデータ列に追加して、当該データ列の配信における配信データレートを調整するデータレート調整部を有する。
【解決手段】画像データ配信システム３は、画像符号化装置１と配信側モデム２とを備えている。ここで、配信側モデム２は、入力されたデータ列を送信する送信部と、送信部が送信するデータ列に、同一値のビットが所定個数連続している所定ビット列が含まれていた場合に、その同一値のビットとは異なる値のビットを、そのデータ列における当該所定ビット列の次に挿入しておくビットスタッフィング処理部とを備えている。このとき、画像符号化装置１に、その所定ビット列とは異なるビット列を、配信側モデム２に入力されるデータ列に追加して、当該データ列の配信における配信データレートを調整するデータレート調整部を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像や音声などを表現しているデータ列（ストリーム）の伝送技術に関する。
【背景技術】
【０００２】
昨今、インターネット通信を始めとする様々な通信手段を介して、映像データをリアルタイムで伝送するストリーム配信の需要が高まっている。このような配信の手法のひとつに、Ｈ．２６４規格（ITU-T Rec.H.264|ISO/IEC 14496-10 AVC）で規定の映像符号化と、ＭＰＥＧ−２システムの規格（ISO/IEC 13818-1 ）で規定のトランスポートストリームによるデータ多重化とを利用するものが知られている。この手法を利用した映像データのリアルタイム配信は、デジタルテレビジョン放送やインターネットテレビ等で、一般的に行われている。
【０００３】
なお、本願では、上述のＨ．２６４の規格（ITU-T Rec.H.264|ISO/IEC 14496-10 AVC）を単に「Ｈ．２６４規格」と称することとし、上述のＭＰＥＧ−２システムの規格（ISO/IEC 13818-1）を単に「ＭＰＥＧ−２システム規格」と称することとする。また、本明細書においては、トランスポートストリームを単に「ＴＳ」と称することがある。
【０００４】
データ配信における一般的な要望として、データ伝送路での伝送可能帯域の範囲内で可能な限り高画質な映像を配信するというものがある。そのような利用シーンでの符号化方式として、ＣＢＲ（固定ビットレート：Constant Bit Rate）と呼ばれる、システム全体のレートを固定してネットワークに配信する手法が、通常採用される。
【０００５】
上述したＨ．２６４規格とＭＰＥＧ−２システム規格とを利用した、ＣＢＲの下での映像データのリアルタイム配信のために、符号化レートを固定して画像を符号化する符号化部が備えている画像バッファ部のデータ管理の例について、図１を用いて説明する。
【０００６】
図１において、横軸は時間の経過を表しており、縦軸は、画像バッファ部内に蓄えられた符号化データの蓄積データ量（バッファデータ量）を表している。
この符号化部では、画像の符号化が完了する度に、符号化データが一括して画像バッファ部に蓄えられる。その一方で、ＣＢＲにより指定されている符号化レートに従った一定の割合で符号化データが読み出される。従って、画像バッファ部でのバッファデータ量の時間変化は、図１に描かれているように遷移する。
【０００７】
この画像バッファ部において、符号化データの生成量が符号化データの読み出しレートに対して少ないと、バッファデータ量が減少していき、やがては枯渇してしまうことになる。そこで、符号化データの生成量が所定量に満たない場合には、その符号化データとは無関係のデータ（スタッフ：stuff）を、符号化データと共に画像バッファ部に蓄えるようにして、バッファ量の枯渇を防止する。
【０００８】
このスタッフデータとしては、Ｈ．２６４規格の項目７．４．１において、nal_unit_type 12として規定されている、フィラーデータ（Filler Data）が使用される。このフィラーデータの値は、Ｈ．２６４規格の項目７．４．２．７において、０ｘｆｆ（すなわち２進数で「１１１１１１１１」）と規定されている。
【０００９】
ところで、データ配信における配信元と配信先との間の通信形態として、様々なものがある。このような通信形態のひとつとして、広域通信網（ＷＡＮ：Wide Area Network ）などで標準的に使用されている１対１の通信プロトコルである、ＰＰＰ（Point to Point）接続が知られている。ＰＰＰ接続による通信は、ＲＦＣ（Request For Comment）にも記載されているように（RFC1662 PPP in HDLC-like Framing)、ＨＬＤＣ（ハイレベルデータリンク制御手順：High level Data Link Control Procedures ）をベースにして作られたものである。
【００１０】
このＰＰＰ接続による通信では、ビットスタッフィング機能を用いて効率的なデータ伝送を可能としている。このビットスタッフィング機能について説明する。
ＨＬＤＣ手順では、フラグ同期方式で同期を取ることで、データ受信側の応答確認を待たずに連続してデータ伝送を行えるようにして、データ伝送を高速化している。
【００１１】
図２は、ＨＬＤＣ手順でのデータ伝送に使用されるデータフレームの構造である。
図２に図解されているように、このデータフレームは、フラグシーケンス、アドレス部、制御部、情報部、及びフレーム検査シーケンスを有しており、伝送対象のデータ列は、このうちの情報部に格納される。このデータフレームにおけるフラグシーケンスについて説明する。
【００１２】
フラグシーケンスは、データフレームの先頭及び末尾に配置されるデータ列であり、２進数で「０１１１１１１０」なるビット列で構成される。データ受信側では、データフレームをデータ送信側より受信すると、受信したデータフレームから、このフラグシーケンスを検出し、このフラグシーケンスに基づいてデータの同期を取るようにする。
【００１３】
但し、この場合において、データフレーム中のフラグシーケンス以外のデータ列に、フラグシーケンスと同一のビット列が存在していると、データ受信側では、このビット列をフラグシーケンスと誤認してしまう。そこで、データ送信側では、フラグシーケンス以外のデータ列でビット「１」が５個連続する場合には、図３の［Ａ］のように、その次にビット「０」を強制的に挿入してビット列の変換を行っておく。一方、データ受信側では、受信したデータフレーム中のフラグシーケンス以外のデータ列でビット「１」が５個連続していた場合には、図３の［Ｂ］のように、その次のビット「０」を強制的に削除してビット列の逆変換を行う。このようにして、フラグシーケンスと一致するビット列を、他のビット列に変換してからデータフレームを構成することで、受信側でのフラグシーケンスの誤認を防止する機能が、ビットスタッフィング機能である。
【００１４】
なお、このビットスタッフィング機能は、ＨＤＬＣ手順にのみ利用されているものではなく、デジタルデータを伝送する各種の伝送方式で利用されている。例えば、情報の符号化方式としてＮＲＺＩ（Non Return to Zero Inverted）を採用しているＵＳＢ（Universal Serial Bus）では、伝送データ列中にビット「１」が連続すると、伝送信号に状態変化がなくなるため、送信側と受信側との同期がずれてきてしまう。そこで、伝送データ列中にビット「１」が所定数連続する場合に、ビット「０」を挿入するビットスタッフィングを行って同期検出を可能にし、送信側と受信側との同期のずれを抑制するようにしている。
【００１５】
なお、本願に関して、この他にも、幾つかの技術が知られている。
そのような技術のひとつは、映像信号の符号化レートと回線レートとの違いにより出力バッファ部内のデータ残量が徐々に低減して行く過程において、出力バッファ部内データ残量の不足をＮＵＬＬパケットで補充するというものである。
【００１６】
また、そのような技術の別のひとつとして、ＰＨＳ（Personal Handy-phone System ）のデータ通信プロトコルであるＰＩＡＦＳ（PHS Internet Access Forum Standard）を使用しデータ通信を行う装置に利用される技術が知られている。この技術は、ＰＩＡＦＳフレームのうち無効データにより埋められている部分に、代わりに、別の送信情報を含ませるというものである。
【００１７】
また、そのような技術の更に別のひとつとして、所定のレートでパケット出力を行うデータ伝送装置に利用される技術が知られている。この技術では、出力すべき時刻についての情報を持つパケットを生成する。そして、パケットの出力時刻を計時するタイマを備えるようにし、時刻情報を含まないパケットは所定のパケット間隔で順次出力すると共に、時刻情報を持つパケットは、このタイマ値に基づいて出力を行うようにするというものである。
【先行技術文献】
【特許文献】
【００１８】
【特許文献１】特開平１１−２９８８９３号公報
【特許文献２】特開２００２−１８６０３１号公報
【特許文献３】特開２００５−２７００６号公報
【発明の概要】
【発明が解決しようとする課題】
【００１９】
前述したＣＢＲの下での映像データのリアルタイム配信に、ビットスタッフィング機能を利用する伝送方式を使用すると、配信先で映像を正常に再生できないことがある。この現象について、説明する。
【００２０】
図４は、映像データ配信システムの各部から出力されるデータ列のデータ量の変化を模式的に図解したものである。
Ｈ．２６４規格で規定の映像符号化を行う符号化部は、ＣＢＲの下で、図示されている各ＮＡＬ（Network Abstraction Layer）ユニットを出力する。ＮＡＬユニットとは、符号化データや、その符号化データの復号に必要なパラメータ・セット等をカプセル化したデータ列である。図４には、ＡＵ（Access Unit ）デリミタ、ＳＰＳ（Sequence Parameter Set）、ＰＰＳ（Picture Parameter Set ）、Ｖｉｄｅｏ、フィラーの各ＮＡＬユニットが示されている。このうちのフィラーＮＡＬは、前述したフィラーデータが格納されるＮＡＬユニットであり、値：０ｘｆｆで埋め尽くされている。
【００２１】
ＭＰＥＧ−２システム規格で規定のＴＳによる多重化を行う多重化部は、まず、符号化部が出力する各ＮＡＬユニットのひとまとまり（アクセスユニット）を、ＰＥＳ（Packetized Elementary Stream）パケットに多重化する。ＰＥＳパケットは、符号化部が出力するアクセスユニットを格納するＰＥＳペイロードに、所定のヘッダ情報（ＰＥＳヘッダ）が付加されたデータ構造を有している。多重化部は、次に、このＰＥＳパケットを、各々１８８バイトのＴＳパケットに多重化する。ＴＳパケットは、ＰＥＳパケットを分割したデータ列を格納するＴＳペイロードに、所定のヘッダ情報（ＴＳヘッダ）が付加されたデータ構造を有している。従って、ＰＥＳパケットにおける前述したフィラーＮＡＬの格納部分を格納したＴＳパケットのＴＳペイロードも、値：０ｘｆｆのフィラーデータで埋め尽くされることになる。
【００２２】
このようにして多重化部から出力されるＴＳパケットは、モデムを介してＷＡＮ等の通信ネットワークへ送信される。このモデムがＨＬＤＣ手順によるフラグ同期方式を採用している場合には、ＴＳパケットに対し、ビット「１」が５連続するデータ列の次にビット「０」を強制的に挿入する前述したビットスタッフィングがこのモデムで実行される。このとき、ＰＥＳパケットにおける前述したフィラーＮＡＬの格納部分を格納したＴＳパケットは、ＴＳペイロードが値：０ｘｆｆのフィラーデータで埋め尽くされているため、ビットスタッフィングによるビット「０」の挿入が多数回行われることになる。この結果、モデムから通信ネットワークに送出されるデータ量は、多重化部から出力されたＴＳパケットのデータ量から大幅に増加する。
【００２３】
このような、ビットスタッフィング機能により発生する伝送データ量の増加について、図５を参照しながら更に説明する。
図５において、横軸は時間の経過を表しており、縦軸は、ビットレート（単位時間当たりのデータ量）を表している。
【００２４】
図５の例では、ＣＢＲとして９Ｍｂｐｓが設定されており、符号化部では、生成した４Ｍｂｐｓの符号化データに対し、５Ｍｂｐｓの割合でフィラーデータを挿入した場合を示している。この場合には、前述したビットスタッフィングによって、５Ｍｂｐｓ×１／５＝１Ｍｂｐｓの割合で「０」データの挿入が行われる（ヘッダ情報等に対するビットスタッフィングは無視するものとする）。従って、この場合、モデムから通信ネットワークに送出されるデータ量は、
４Ｍｂｐｓ＋５Ｍｂｐｓ＋１Ｍｂｐｓ＝１０Ｍｂｐｓ
となる。従って、この場合であれば、通信ネットワークの許容伝送量が１０Ｍｂｐｓあれば、映像データを正常に配信先まで配信することができ、映像を正常に再生することができる。
【００２５】
次に、例えばカラーバーの静止画の映像を符号化する場合を考える。このような映像では、符号化部で生成される符号化データ量は少なくなるため、符号化部では、上記の場合よりも多くのフィラーデータが挿入されることになる。例えば、ＣＢＲの設定として上記の場合と同様に９Ｍｂｐｓが設定されており、符号化部では、生成した２Ｍｂｐｓの符号化データに対し、７Ｍｂｐｓの割合でフィラーデータを挿入した場合を想定する。この場合では、前述したビットスタッフィングによって、７Ｍｂｐｓ×１／５＝１．４Ｍｂｐｓの割合で「０」データの挿入が行われることになる。すると、この場合、モデムから通信ネットワークに送出されるデータ量は、
２Ｍｂｐｓ＋７Ｍｂｐｓ＋１．４Ｍｂｐｓ＝１０．４Ｍｂｐｓ
となる。従って、この場合において、通信ネットワークの許容伝送量が１０Ｍｂｐｓであると、全ての映像データを正常に配信先まで配信することはできないため、映像の正常な再生ができなくなってしまう。
【００２６】
本発明は上述した問題に鑑みてなされたものであり、その解決しようとする課題は、ビットスタッフィングによる伝送データ量の増加を抑制しつつ、データ列の伝送レートを調整することである。
【課題を解決するための手段】
【００２７】
本明細書で後述するデータレート調整装置のひとつは、データレート調整装置とデータ送信装置とを有するデータ配信システムにおけるデータレート調整装置である。この構成において、該データ送信装置は、送信手段とビットスタッフィング手段とを有するものであり、該データレート調整装置は、データレート調整手段を有するものである。このうち、送信手段は、入力されたデータ列を送信するものである。また、ビットスタッフィング手段は、該送信手段が送信するデータ列に、同一値のビットが所定個数連続している所定ビット列が含まれていた場合に、該同一値のビットとは異なる値のビットを、該データ列における該所定ビット列の次に挿入しておくものである。そして、データレート調整手段は、該所定ビット列とは異なるビット列を、該データ送信装置に入力されるデータ列に追加して、該データ列の配信における配信データレートを調整するものである。
【００２８】
また、本明細書で後述するプログラムのひとつは、データレート調整装置とデータ送信装置とを有するデータ配信システムにおけるデータレート調整装置として演算処理装置を機能させるためのプログラムである。ここで、該データ送信装置は、送信手段とビットスタッフィング手段とを有するものである。このうち、送信手段は、入力されたデータ列を送信するものである。また、ビットスタッフィング手段は、該送信手段が送信するデータ列に、同一値のビットが所定個数連続している所定ビット列が含まれていた場合に、該同一値のビットとは異なる値のビットを、該データ列における該所定ビット列の次に挿入しておくものである。ここで、このプログラムは、該演算処理装置に、作成処理、取得処理、データレート調整処理、及び出力処理を行わせる。このうち、作成処理は、該所定ビット列とは異なるビット列を作成する処理であり、取得処理は、データ列の入力を取得する処理である。そして、データレート調整処理は、該取得処理で取得したデータ列に、該所定ビット列とは異なるビット列を追加して、該データ列の配信における配信データレートを調整する処理である。また、出力処理は、該データレート調整処理による調整後のデータ列を出力して該データ送信装置に入力させる処理である。
【発明の効果】
【００２９】
本明細書で後述するデータレート調整装置は、ビットスタッフィングによる伝送データ量の増加を抑制しつつ、データ列の伝送レートを調整することができる。
【図面の簡単な説明】
【００３０】
【図１】画像バッファ部でのデータ管理の例を説明する図である。
【図２】ＨＬＤＣ手順でのデータ伝送に使用されるデータフレームの構造図である。
【図３】ビットスタッフィング機能を説明する図である。
【図４】映像データ配信システムの各部から出力されるデータ列のデータ量の変化の模式図である。
【図５】ビットスタッフィング機能により発生する伝送データ量の増加を説明する図である。
【図６】画像データ伝送システムの全体構成図である。
【図７】画像符号化装置の構成図である。
【図８】配信側モデムの構成図である。
【図９】画像符号化装置の各構成要素の処理シーケンスを表した模式図である。
【図１０】配信側モデムの各構成要素の処理シーケンスを表した模式図である。
【図１１Ａ】符号化部の構成図の第一の例である。
【図１１Ｂ】多重化部の構成図の第一の例である。
【図１２Ａ】図１１Ａの構成を有する符号化部の各構成要素の処理シーケンスを表した模式図である。
【図１２Ｂ】図１１Ｂの構成を有する多重化部の各構成要素の処理シーケンスを表した模式図である。
【図１３】ＮＵＬＬＴＳ作成部による配信データレートの調整の効果を説明する図である。
【図１４】コンピュータの標準的な構成例を表した構成図である。
【図１５】ＮＵＬＬＴＳ作成処理の処理内容を図解したフローチャートである。
【図１６Ａ】符号化部の構成図の第二の例である。
【図１６Ｂ】多重化部の構成図の第二の例である。
【図１７Ａ】図１６Ａの構成を有する符号化部の各構成要素の処理シーケンスを表した模式図である。
【図１７Ｂ】図１６Ｂの構成を有する多重化部の各構成要素の処理シーケンスを表した模式図である。
【図１８】ＳＥＩＮＡＬ作成部による配信データレートの調整の効果を説明する図である。
【図１９】ＳＥＩＮＡＬ作成処理の処理内容を図解したフローチャートである。
【図２０】符号化部の構成図の第二の例である。
【図２１】図２０の構成を有する符号化部の各構成要素の処理シーケンスを表した模式図である。
【図２２】無指定ＮＡＬ作成部による配信データレートの調整の効果を説明する図である。
【図２３】無指定ＮＡＬ作成処理の処理内容を図解したフローチャートである。
【発明を実施するための形態】
【００３１】
以下、本発明の実施の形態を図面に基づいて説明する。各実施例は、処理として矛盾のない範囲で適宜組み合わせることが可能である。
図６には、画像データ伝送システムの全体構成が図解されている。この画像データ伝送システムは、映像データをリアルタイムで伝送するストリーム配信を行うシステムである。
【００３２】
図６において、画像符号化装置１と配信側モデム２とで画像データ配信システム３を構成しており、受信側モデム４と画像再生装置５とで画像データ受信システム６を構成している。
【００３３】
画像データ配信システム３は、ビデオカメラ等から出力される映像信号に対し映像符号化を行い、得られた符号化データを通信ネットワーク７へ送出する。一方、画像データ受信システム６は、画像データ配信システム３が送出した符号化データを受信してデコードして、得られた映像を表示する。
【００３４】
図６を更に説明する。
画像符号化装置１は、入力された映像信号に対し、Ｈ．２６４規格で規定の映像符号化を行い、得られた映像データ列に対し、ＭＰＥＧ−２システム規格で規定のＴＳによるデータ多重化を行う。
【００３５】
配信側モデム２は、通信ネットワーク７を介して、画像データ受信システム６の受信側モデム４との間でＰＰＰ接続による通信を行い、画像符号化装置１から出力される多重化映像データ列を受信側モデム４へ送付するデータ送信装置である。
【００３６】
受信側モデム４は、画像データ配信システム３の配信側モデム２から送付された多重化映像データ列を受信して画像再生装置５へ出力する。
画像再生装置５は、受信側モデム４から受け取った多重化映像データ列を、画像符号化装置１での映像符号化方式及びデータ多重化方式に応じてデコードして画像符号化装置１に入力された映像信号を再現する。そして、その映像信号で表現されている映像をディスプレイ装置に表示させる。
【００３７】
次に、図６における画像データ配信システム３について、より詳細に説明する。
図７には、画像符号化装置１の構成が図解されている。
この画像符号化装置１は、画像入力部１１、符号化部１２、多重化部１３、画像配信部１４、及び制御部１５を備えている。
【００３８】
画像入力部１１は、ビデオカメラ等の外部の装置から出力されて画像符号化装置１に入力される映像信号の取り込みを行う。
符号化部１２は、画像入力部１１が取り込んだ映像信号に対する、Ｈ．２６４規格で規定の映像符号化を、制御部１５により予め指定されている符号化レートに従って行う。この映像符号化により得られた画像データは、符号化部１２が備えている（ＦＩＦＯ：First In First Out）メモリである画像バッファ部１２−１に蓄えられる。
【００３９】
多重化部１３は、画像バッファ部１２−１に蓄えられている画像データを一定の割合で読み出して、ＭＰＥＧ−２システム規格で規定のＴＳによる多重化を行う。
画像配信部１４は、多重化部１３から出力される画像データ列（ＴＳパケット）を、配信側モデム２へ出力する。
【００４０】
画像符号化装置１は、以上の構成要素を備えている。
なお、これらの画像符号化装置１の構成要素のうちの符号化部１２若しくは多重化部１３は、画像データ配信システム３による映像データ列の配信における配信データレートを調整するデータレート調整装置１０としても動作する。この動作については後述する。
【００４１】
次に図８について説明する。図８には、データ送信装置である配信側モデム２の構成が図解されている。この配信側モデム２は、データ列入力部２１、ビットスタッフィング処理部２２、フォーマット変換部２３、及び送信部２４を備えている。
【００４２】
データ列入力部２１は、画像符号化装置１から出力されて配信側モデム２に入力される映像データ列の取り込みを行う。
ビットスタッフィング処理部２２は、データ列入力部２１が取り込んだ映像データ列に対し、ビットスタッフィング処理を施す。すなわち、ビットスタッフィング処理部２２は、この映像データ列において、ビット「１」が所定個（この実施形態では５個）連続する箇所（「所定ビット列」と称することとする）の検出を行う。そして、この所定ビット列が映像データ列に含まれていた場合には、ビット「０」（ビット「１」とは異なる値）を、その映像データ列における所定ビット列の次に挿入する。
【００４３】
フォーマット変換部２３は、ビットスタッフィング処理後の映像データ列のフォーマット変換を行う。すなわち、フォーマット変換部２３は、この映像データ列を、図２に示したデータフレームの情報部に格納すると共に、フラグシーケンス、アドレス部、制御部、及びフレーム検査シーケンスを追加して、図２のデータフレームを作成する。なお、本実施形態において、配信側モデム２と受信側モデム４との間でのフラグ同期制御でのデータ列伝送に使用されるフラグシーケンスは、図２に示されているように、２進数で「０１１１１１１０」なるビット列とする。
【００４４】
送信部２４は、フォーマット変換部２３によってフォーマット変換された映像データ列を、画像データ受信システム６へ宛てて、通信ネットワーク７に送信する。
配信側モデム２は、以上の構成要素を備えている。
【００４５】
次に、以上のような構成要素を備えている画像データ配信システム３の動作について、図９及び図１０を参照しながら説明する。なお、図９は、画像符号化装置１の各構成要素についての処理シーケンスを表しており、図１０は、配信側モデム２の各構成要素についての処理シーケンスを表している。
【００４６】
図９において、まず、Ｓ１０１では、制御部１５が、画サイズ情報及び符号化ビットレート情報を、符号化部１２及び多重化部１３に通知する動作を行う。符号化部１２及び多重化部１３は、制御部１５から通知されたこれらの情報に従って各自の動作を行う。
【００４７】
次に、外部の装置から画像符号化装置１に映像信号が入力されると、画像入力部１１は、Ｓ１０２において、この映像信号の取り込み動作を開始し、続くＳ１０３において、取り込んだ映像信号を符号化部１２に渡す。
【００４８】
次に、符号化部１２は、映像信号を画像入力部１１から受け取ると、Ｓ１０４において、この映像信号に対する、Ｈ．２６４規格で規定の映像符号化処理動作を開始する。なお、この映像符号化処理は、制御部１５から通知された画サイズ情報及び符号化ビットレートに従って行われる。そして、続くＳ１０５において、この映像符号化処理により得られた符号化画像データを画像バッファ部１２−１に渡す。
【００４９】
次に、画像バッファ部１２−１は、符号化画像データを符号化部１２から受け取ると、Ｓ１０６において、この符号化画像データの蓄積動作を開始する。
次に、多重化部１３は、画像バッファ部１２−１での符号化画像データの蓄積量が所定量を超えると、Ｓ１０７において、画像バッファ部１２−１で蓄積していた符号化画像データの読み出し動作を行う。そして、Ｓ１０８において、ＭＰＥＧ−２システム規格で規定のＴＳによる多重化処理動作を開始し、続くＳ１０９において、多重化された符号化画像データ（画像データ列）を画像配信部１４に渡して画像符号化装置１から出力させる。
【００５０】
次に、図１０において、画像符号化装置１から配信側モデム２に画像データ列が入力されると、データ列入力部２１は、Ｓ２０１において、この画像データ列の取り込み動作を開始する。そして、続くＳ２０２において、取り込んだ画像データ列をビットスタッフィング処理部２２に渡す。
【００５１】
次に、ビットスタッフィング処理部２２は、画像データ列をデータ列入力部２１から受け取ると、Ｓ２０３において、この画像データ列に対する前述したビットスタッフィング処理動作を開始する。そして、続くＳ２０４において、このビットスタッフィング処理を施した後の画像データ列をフォーマット変換部２３に渡す。
【００５２】
次に、フォーマット変換部２３は、ビットスタッフィング処理後の画像データ列をビットスタッフィング処理部２２から受け取ると、Ｓ２０５において、この画像データ列に対する前述したフォーマット変換動作を開始する。そして、続くＳ２０６において、フォーマット変換を施した後の画像データ列を送信部２４に渡し、この画像データ列を、画像データ受信システム６へ宛てて、通信ネットワーク７に送信させる。
【００５３】
次に、符号化部１２及び多重化部１３の構成の詳細と、これらにより行われる、映像データ列の配信における配信データレートの調整動作の手法とについての実施形態を、幾つか説明する。
【００５４】
まず図１１Ａ及び図１１Ｂについて説明する。これらには、符号化部１２及び多重化部１３の構成の第一の例が、それぞれ図解されている。
図１１Ａに図解されている符号化部１２は、前述した画像バッファ部１２−１と、ＡＵ・ＳＰＳ・ＰＰＳ・ＶｉｄｅｏＮＡＬ作成部（以下、「各種ＮＡＬ作成部」と称する）１２−２とを備えている。
【００５５】
各種ＮＡＬ作成部１２−２は、画像入力部１１が取り込んだ映像信号に対してＨ．２６４規格で規定の映像符号化を行い、得られた画像データを、データの種類に応じてカプセル化して各種のＮＡＬユニットを作成する。
【００５６】
より具体的には、各種ＮＡＬ作成部１２−２では、画像データを、Ｈ．２６４規格で規定されている、ＡＵデリミタ、ＳＰＳ、ＰＰＳ、及びＶｉｄｅｏの各ＮＡＬユニットにカプセル化する。このうち、ＡＵデリミタＮＡＬには、アクセスユニット（各種ＮＡＬ作成部１２−２が作成する各種ＮＡＬユニットのひとまとまり）の先頭を示す情報が格納される。ＳＰＳＮＡＬには、画像シーケンス（１つのアクセスユニット中に符号化データが含まれる、動画像を構成する画像複数枚のひとまとまりのグループ）全体での符号化に関する各種情報が格納される。ＰＰＳＮＡＬには、ピクチャ（動画像を構成する各画像）の符号化に関する各種情報が格納される。そして、ＶｉｄｅｏＮＡＬには、映像符号化により生成される、各ピクチャの生の符号化データが格納される。
【００５７】
各種ＮＡＬ作成部１２−２は、以上のようにして各種ＮＡＬユニットにカプセル化された画像データ、すなわち、符号化された映像データが格納されているＮＡＬユニットの集合体である画像データを画像バッファ部１２−１へ出力する。画像バッファ部１２−１は、この画像データを蓄える。
【００５８】
一方、図１１Ｂに図解されている多重化部１３の構成は、符号化部１２が図１１Ａの構成を備えている場合のものであり、ＰＥＳ作成部１３−１、ＴＳ作成部１３−２、及びＮＵＬＬＴＳ作成部１３−３を備えている。
【００５９】
ＰＥＳ作成部１３−１は、画像バッファ部１２−１に蓄えられている画像データを格納している、ＭＰＥＧ−２システム規格で規定のＰＥＳパケットを作成する。より具体的には、ＰＥＳ作成部１３−１は、前述したアクセスユニット単位で画像データ（特に、ＥＳ（Elementary Stream）データと称する）をＰＥＳペイロードに格納すると共に、所定のヘッダ情報（ＰＥＳヘッダ）を付加してＰＥＳパケットを作成する。
【００６０】
ＴＳ作成部１３−２は、ＰＥＳ作成部１３−１が作成したＰＥＳパケットを格納している、ＭＰＥＧ−２システム規格で規定のＴＳパケットを作成する。より具体的には、ＴＳ作成部１３−２は、ＰＥＳパケットを分割したデータ列をＴＳペイロードに格納すると共に、所定のヘッダ情報（ＴＳヘッダ）を付加して、各々１８８バイトのデータ量であるＴＳパケット群を作成する。
【００６１】
ＮＵＬＬＴＳ作成部１３−３は、ＭＰＥＧ−２システム規格で規定されている、１８８バイトのデータ量であるＴＳパケットであって、前述した所定ビット列を含まないビット列がＴＳペイロードに格納されているものを作成する。特に、本実施形態では、ＮＵＬＬＴＳ作成部１３−３がＴＳペイロードに格納するビット列として、前述した所定ビット列（本実施形態では、２進数で「１１１１１」）を含まない、例えば０ｘ５５（すなわち２進数で「０１０１０１０１」）の繰り返しとする。ビット列の例は０ｘ５５に限るものではなく、例えば０ｘＡＡ（すなわち２進数で「１０１０１０１０」）などでも良い。即ちビットスタッフィングの処理対象となるビット列（本実施形態では、２進数で「１１１１１」）を含まないビット列であれば良い。このようにしておくことで、配信側モデム２のビットスタッフィング処理部２２がビットスタッフィング処理を行っても、このビット列に対してはビット「０」の挿入を行わないので、ビットスタッフィングによる伝送データ量の増加が抑制される。
【００６２】
なお、このとき、ＮＵＬＬＴＳ作成部１３−３は、作成するＴＳパケットのＴＳヘッダに含まれている、当該ＴＳパケットのペイロードに格納されているデータの種類を示すパケットＩＤを、ヌルパケット（Null Packet）を示す値に設定する。なお、ＭＰＥＧ−２システム規格では、項目２．４．３．３において、ヌルパケットを示すパケットＩＤは、０ｘ１ｆｆｆと定義されている。規格上、このヌルパケットであるＴＳパケット（以下、「ＮＵＬＬＴＳパケット」と称する）のペイロードには任意のデータを格納することができ、また、符号化データのデコードの際には無視される。従って、上述したようなビット列をペイロードに格納したＴＳパケットが、画像データ受信システム６での画像再生に影響を及ぼすことはない。
【００６３】
ＮＵＬＬＴＳ作成部１３−３により作成されたＮＵＬＬＴＳパケットは、ＴＳ作成部１３−２が作成したＴＳパケット群と共に（例えばＮＵＬＬＴＳ作成部１３−３がＴＳパケット群の末尾にＮＵＬＬＴＳパケットを追加して）、画像配信部１４へと出力される。
【００６４】
なお、ＮＵＬＬＴＳ作成部１３−３は、ＮＵＬＬＴＳパケットの作成量の調整も行う。この調整は、このＮＵＬＬＴＳパケットの作成量とＴＳ作成部１３−２によるＴＳパケットの作成量との総和が、画像データ配信システム３から画像データ受信システム６への画像データ列の配信レートになるように行われる。なお、制御部１５が多重化部１３に通知する前述した符号化ビットレートは、この配信レートを表しているものとし、ＮＵＬＬＴＳ作成部１３−３は、この通知とＴＳパケットの作成量とに基づいて、ＮＵＬＬＴＳパケットの作成量を調整する。ＮＵＬＬＴＳ作成部１３−３は、このようにして、画像データ配信システム３から画像データ受信システム６への画像データ列の配信における配信データレートの調整を行う。
【００６５】
次に、図１１Ａ及び図１１Ｂの構成を有する符号化部１２及び多重化部１３の動作について、図１２Ａ及び図１２Ｂを参照しながら説明する。なお、図１２Ａは、図１１Ａの構成を有する符号化部１２の各構成要素についての処理シーケンスを表しており、図１２Ｂは、図１１Ｂの構成を有する多重化部１３の各構成要素についての処理シーケンスを表している。
【００６６】
まず、前述した図９のＳ１０３において、取り込んだ映像信号が画像入力部１１から符号化部１２に渡される。すると、図１２ＡのＳ１１１において、各種ＮＡＬ作成部１２−２は、この映像信号の入力を受け取ると、この映像信号から各種ＮＡＬユニットを作成して画像バッファ部１２−１に蓄える処理を行う。より具体的には、各種ＮＡＬ作成部１２−２は、Ｓ１１２においてＡＵデリミタＮＡＬを作成して画像バッファ部１２−１に蓄える処理を行い、続くＳ１１３においてＳＰＳＮＡＬを作成して画像バッファ部１２−１に蓄える処理を行う。そして更に、続くＳ１１４においてＰＰＳＮＡＬを作成して画像バッファ部１２−１に蓄える処理を行い、続く１１５においてＶｉｄｅｏＮＡＬを作成して画像バッファ部１２−１に蓄える処理を行う。
【００６７】
その後、Ｓ１１６において、以上のようにして画像バッファ部１２−１に蓄えられた各種ＮＡＬユニットが、多重化部１３により順に読み出され、ＥＳデータとして多重化部１３へと出力される。
【００６８】
次に、図１２ＢのＳ１２１において、このＥＳデータの入力を受け取ると、ＰＥＳ作成部１３−１は、Ｓ１２２において、このＥＳデータからＰＥＳパケットを作成して、ＴＳ作成部１３−２へ出力する処理を行う。また、ＰＥＳ作成部１３−１は、この処理により作成したＰＥＳパケットを、Ｓ１２３において、ＮＵＬＬＴＳ作成部１３−３へ出力する処理も行う。
【００６９】
次に、ＰＥＳパケットをＰＥＳ作成部１３−１から受け取ったＴＳ作成部１３−２は、Ｓ１２４において、このＰＥＳパケットを格納したＴＳパケット群を作成する処理を行う。一方、ＰＥＳパケットをＰＥＳ作成部１３−１から受け取ったＮＵＬＬＴＳ作成部１３−３は、Ｓ１２５において、ＮＵＬＬＴＳパケットを作成して、ＴＳパケット群と共に出力する処理を行う。ここで、ＮＵＬＬＴＳ作成部１３−３は、まず、受け取ったＰＥＳパケットから作成部１３−２によるＴＳパケットの作成量を算出する。そして、得られた作成量を、制御部１５から通知されている前述した配信レートに相当する配送データ量から減算することで、このときのＮＵＬＬＴＳパケットの作成量を決定する。なお、ＴＳパケットのサイズが１８８バイトの固定長であり、ＴＳヘッダのサイズが４バイトの固定長であることを利用すれば、ＴＳ作成部１３−２でのＴＳパケットの作成量をＰＥＳパケットのデータ量から算出することは容易である。また、この算出の代わりに、ＰＥＳパケットのデータ量とＴＳ作成部１３−２でのＴＳパケットの作成量との対応関係を示したテーブルを予め用意しておき、このテーブルを参照して、受け取ったＰＥＳパケットのデータ量からＴＳパケットの作成量を求めてもよい。
【００７０】
ここで図１３について説明する。図１３は、符号化部１２及び多重化部１３がそれぞれ図１１Ａ及び図１１Ｂのように構成されている画像符号化装置１を備えた画像データ配信システム３の各部から出力されるデータ列のデータ量の変化を模式的に図解したものである。この図１３を前述した図４と対比して、ＮＵＬＬＴＳ作成部１３−３による配信データレートの調整の効果を説明する。
【００７１】
前述したように、図４においては、配信データレートの調整のために、前述したフィラーデータを、符号化データと共に画像バッファ部に蓄えるようにしていた。従って、ＰＥＳパケットにおける前述したフィラーＮＡＬの格納部分を格納したＴＳパケットは、ＴＳペイロードが値：０ｘｆｆのフィラーデータで埋め尽くされている。このため、ビットスタッフィングによるビット「０」の挿入が多数回行われる結果、モデムから送出されるデータ量は、多重化部から出力されたＴＳパケットのデータ量から大幅に増加する。
【００７２】
一方、ＮＵＬＬＴＳ作成部１３−３によるＮＵＬＬＴＳパケットの作成量を調整して配信データレートを調整する場合には、ＮＵＬＬＴＳパケットのペイロード内に所定ビット列が存在しないので、ビットスタッフィングによるビット「０」の挿入は行われない。従って、図１３に図解されているように、配信側モデム２から送出されるデータ量の、多重化部１３から出力されたＴＳパケット（ＮＵＬＬＴＳパケットを含む）のデータ量からの増加が抑制される。
【００７３】
ここで図１４について説明する。図１４には、コンピュータの標準的な構成例が図解されている。このようなコンピュータに所定の制御プログラムを実行させることで、図１１ＢにおけるＮＵＬＬＴＳ作成部１３−３を、当該コンピュータで構成することも可能である。
【００７４】
図１４に示したコンピュータは、ＭＰＵ３１、ＲＯＭ３２、ＲＡＭ３３、ハードディスク装置３４、入力装置３５、表示装置３６、インタフェース装置３７、及び記録媒体駆動装置３８を備えて構成されている。これらの構成要素はいずれもバス３９に接続されており、ＭＰＵ３１の管理の下で各種のデータを相互に授受することができる。
【００７５】
ＭＰＵ（Micro Processing Unit）３１は、このコンピュータ全体の動作を制御する演算処理装置である。
ＲＯＭ（Read Only Memory）３２は、所定の基本制御プログラムが予め記録されている読み出し専用半導体メモリである。ＭＰＵ３１は、この基本制御プログラムをコンピュータの起動時に読み出して実行することにより、このコンピュータの各構成要素の動作制御が可能になる。
【００７６】
ＲＡＭ（Random Access Memory）３３は、ＭＰＵ３１が各種の制御プログラムを実行する際に、必要に応じて作業用記憶領域として使用する、随時書き込み読み出し可能な半導体メモリである。
【００７７】
ハードディスク装置３４は、ＭＰＵ３１によって実行される各種の制御プログラム、後述する各種のデータテーブル、及び各パンフレットの画像データを記憶しておく記憶装置である。ＭＰＵ３１は、ハードディスク装置３４に記憶されている所定の制御プログラムを読み出して実行することにより、後述する各種の制御処理を行えるようになる。
【００７８】
入力装置３５は、例えばキーボード装置やマウス装置であり、コンピュータの使用者により操作されると、その操作内容に対応付けられている使用者からの各種情報の入力を取得し、取得した入力情報をＭＰＵ３１に送付する。
【００７９】
表示装置３６は例えば液晶ディスプレイであり、ＭＰＵ３１から送付される表示データに応じて各種のテキストや画像を表示する。
インタフェース装置３７は、多重化部１３の他の構成要素や画像符号化装置１の各構成要素との間で各種データの授受の管理を行う。
【００８０】
記録媒体駆動装置３８は、可搬型記録媒体４０に記録されている各種の制御プログラムやデータの読み出しを行う装置である。ＭＰＵ３１は、可搬型記録媒体４０に記録されている所定の制御プログラムを、記録媒体駆動装置３８を介して読み出して実行することによって、後述する各種の制御処理を行うようにすることもできる。なお、可搬型記録媒体４０としては、例えばＣＤ−ＲＯＭ（Compact Disc Read Only Memory）やＤＶＤ−ＲＯＭ（Digital Versatile Disc Read Only Memory）などがある。
【００８１】
このようなコンピュータでＮＵＬＬＴＳ作成部１３−３を構成する場合には、まず、後述するＮＵＬＬＴＳ作成処理をＭＰＵ３１に行わせるための制御プログラムを作成する。作成された制御プログラムはハードディスク装置３４若しくは可搬型記録媒体４０に予め格納しておく。そして、ＭＰＵ３１に所定の指示を与えてこの制御プログラムを読み出させて実行させる。こうすることで、図１４のコンピュータにおけるＭＰＵ３１がＮＵＬＬＴＳ作成部１３−３として機能する。
【００８２】
次に図１５について説明する。図１５は、コンピュータをＮＵＬＬＴＳ作成部１３−３として機能させるためにＭＰＵ３１に行わせるＮＵＬＬＴＳ作成処理の処理内容をフローチャートで図解したものである。
【００８３】
図１５の処理が開始されると、ＭＰＵ３１は、まず、Ｓ１３１において、制御部１５から通知される符号化ビットレート（前述した配信レート）を受信する処理を行う。
次に、Ｓ１３２において、ＭＰＵ３１は、ＰＥＳパケットをＰＥＳ作成部１３−１から受信する処理を行い、続くＳ１３３において、このＰＥＳパケットを受信したか否かを判定する処理を行う。ここで、ＭＰＵ３１は、ＰＥＳパケットを受信したと判定したとき（判定結果がＹｅｓのとき）にはＳ１３４に処理を進める。一方、ＭＰＵ３１は、ＰＥＳパケットを受信していないと判定したとき（判定結果がＮｏのとき）にはＳ１３２へ処理を戻し、ＰＥＳパケットの受信処理を再度試みる。
【００８４】
次に、Ｓ１３４において、ＭＰＵ３１は、Ｓ１３１の処理で受信した配信データレートと、Ｓ１３２の処理で受信したＰＥＳパケットとから、ＮＵＬＬＴＳパケットの作成量を決定する処理を行う。この処理では、まず、受け取ったＰＥＳパケットから作成部１３−２によるＴＳパケットの作成量を前述したようにして算出する。そして、得られた作成量を、受信した配信レートに相当する配送データ量から減算することで、このときのＮＵＬＬＴＳパケットの作成量を決定する。なお、この処理においては、前述したように、ＰＥＳパケットのデータ量とＴＳパケットの作成量との対応関係を示したテーブルを予め用意しておき、このテーブルを参照して、作成部１３−２によるＴＳパケットの作成量を求めるようにしてもよい。
【００８５】
次に、Ｓ１３５において、ＭＰＵ３１は、前述した所定ビット列（本実施形態では、２進数で「１１１１１」）を含まない、０ｘ５５（すなわち２進数で「０１０１０１０１」）の繰り返しのビット列をＴＳパケットにおけるＴＳペイロードに格納する処理を行う。そして、続くＳ１３６において、パケットＩＤを、ヌルパケット（Null Packet）を示す値に設定した所定のＴＳヘッダを、このＴＳペイロードに付加してＮＵＬＬＴＳパケットを１つ作成する処理をＭＰＵ３１が行う。
【００８６】
次に、Ｓ１３７では、Ｓ１３５及びＳ１３６の処理によるＮＵＬＬＴＳパケットの作成量が、Ｓ１３４の処理による作成量の決定値に達したか否かを判定する処理をＭＰＵ３１が行う。ここで、ＭＰＵ３１は、作成量が決定値に達したと判定したとき（判定結果がＹｅｓのとき）には、ＮＵＬＬＴＳパケットの作成を終了してＳ１３８に処理を進める。一方、ＭＰＵ３１は、作成量が決定値に達していないと判定したとき（判定結果がＮｏのとき）には、Ｓ１３５へ処理を戻し、Ｓ１３５及びＳ１３６の処理によるＮＵＬＬＴＳパケットの作成を再度行う。
【００８７】
次に、Ｓ１３８では、ＭＰＵ３１は、ＴＳ作成部１３−２が作成したＴＳパケット群を取得する処理を行う。そして、続くＳ１３９において、Ｓ１３５及びＳ１３６の処理の繰り返しにより作成した全てのＮＵＬＬＴＳパケットを、取得したＴＳパケット群に続けてその末尾に追加した上で、それらを画像配信部１４へ出力する処理を行う。その後、Ｓ１３９の処理が完了したときには、ＭＰＵ３１は、処理をＳ１３２へ戻し、ＰＥＳパケットのＰＥＳ作成部１３−１からの受信処理以降の処理を改めて実行する。
【００８８】
以上までの処理がＮＵＬＬＴＳ作成処理である。この処理をＭＰＵ３１に行わせることにより、図１４の構成を有するコンピュータで、図１１ＢにおけるＮＵＬＬＴＳ作成部１３−３を構成することが可能になる。ＮＵＬＬＴＳ作成部１３−３では、ビットスタッフィング機能のデータ挿入対象となるビット列を生成しない。即ち、画像符号化装置１により出力されるデータは、配信レートを満たすデータでありながら、配信側モデム２におけるビットスタッフィング処理でデータ挿入の対象となるビット列を生成させないデータである。そのため、ビットスタッフィング機能により発生する伝送データ量の増加を抑制しつつ、データ列の伝送レートを調整することができる。
【００８９】
なお、図１４の構成を有するコンピュータで、ＮＵＬＬＴＳ作成部１３−３を構成するのみならず、画像符号化装置１の各構成要素の一部若しくは全部を構成することも可能である。このようにするには、ＮＵＬＬＴＳ作成部１３−３を構成する場合と同様に、まず、画像符号化装置１の各構成要素が提供する機能において行われる各種の処理をＭＰＵ３１に行わせるための制御プログラムを作成しておく。そして、作成された制御プログラムをハードディスク装置３４若しくは可搬型記録媒体４０に予め格納しておき、その後にＭＰＵ３１に所定の指示を与えてこの制御プログラムを読み出させて実行させればよい。
【００９０】
次に図１６Ａ及び図１６Ｂについて説明する。これらには、符号化部１２及び多重化部１３の構成の第二の例が、それぞれ図解されている。
図１６Ａに図解されている符号化部１２は、図１１Ａの第一の構成と同様の画像バッファ部１２−１及び各種ＮＡＬ作成部１２−２に加えて、ＳＥＩＮＡＬ作成部１２−３を更に備えている。
【００９１】
画像バッファ部１２−１及び各種ＮＡＬ作成部１２−２は、図１１Ａの第一の構成と同様のものであるので、ここでの詳細な説明は省略する。但し、この第二の構成において、各種ＮＡＬ作成部１２−２は、作成した画像データ量の情報をＳＥＩＮＡＬ作成部１２−３に通知する。
【００９２】
ＳＥＩＮＡＬ作成部１２−３は、Ｈ．２６４規格の項目７．４．１においてnal_unit_type 6 として規定されている、ＳＥＩ（Supplemental Enhancement Information）を格納するためのＮＡＬユニットである、ＳＥＩＮＡＬを作成する。ここで、ＳＥＩとは、Ｈ．２６４規格の項目７．４．２．３で規定されている、符号化データのデコードには必須ではない情報である。但し、ＳＥＩＮＡＬ作成部１２−３は、作成するＳＥＩＮＡＬに格納するＳＥＩを、前述した所定ビット列を含まないビット列とする。特に、本実施形態では、ＳＥＩＮＡＬ作成部１２−３がＳＥＩＮＡＬに格納するビット列として、前述した所定ビット列（本実施形態では、２進数で「１１１１１」）を含まない、例えば０ｘ５５（すなわち２進数で「０１０１０１０１」）の繰り返しとする。ビット列の例は０ｘ５５に限るものではなく、例えば０ｘＡＡ（すなわち２進数で「１０１０１０１０」）などでも良い。即ちビットスタッフィングの処理対象となるビット列（本実施形態では、２進数で「１１１１１」）を含まないビット列であれば良い。このようにしておくことで、配信側モデム２のビットスタッフィング処理部２２がビットスタッフィング処理を行っても、このビット列に対してはビット「０」の挿入を行わないので、ビットスタッフィングによる伝送データ量の増加が抑制される。
【００９３】
なお、Ｈ．２６４規格では、付属書の項目Ｄ．１において、ＳＥＩＮＡＬにおけるデータの格納構造について、複数種類の定義がされている（SEI payload syntax）。ＳＥＩＮＡＬ作成部１２−３は、作成するＳＥＩＮＡＬのヘッダ情報に含まれている、当該ＳＥＩＮＡＬにおけるこのデータの格納構造を示すペイロードタイプを、未登録の任意のユーザデータ（User Data Unregistered）を示す値に設定する。なお、Ｈ．２６４規格では、未登録の任意のユーザデータを示すペイロードタイプの値は「５」と定義されている。規格上、ペイロードタイプが未登録の任意のユーザデータに設定されているＳＥＩＮＡＬには、任意のデータを格納することができ、また、符号化データのデコードの際には無視される。従って、上述したようなビット列を格納したＳＥＩＮＡＬが、画像データ受信システム６での画像再生に影響を及ぼすことはない。
【００９４】
ＳＥＩＮＡＬ作成部１２−３により作成されたＳＥＩＮＡＬは、各種ＮＡＬ作成部１２−２が作成した画像データ（符号化された映像データが格納されている各種ＮＡＬユニットの集合体）と共に、画像バッファ部１２−１へと出力される。このために、ＳＥＩＮＡＬ作成部１２−３は、例えば、各種ＮＡＬ作成部１２−２が作成した各種ＮＡＬユニットの集合体における他のＮＡＬユニットとＶｉｄｅｏＮＡＬとの出力の間に、作成したＳＥＩＮＡＬを画像バッファ部１２−１に出力する。
【００９５】
なお、ＳＥＩＮＡＬ作成部１２−３は、ＳＥＩＮＡＬに格納する上述したＳＥＩのデータ量の調整も行う。この調整は、作成するＳＥＩＮＡＬのデータ量と各種ＮＡＬ作成部１２−２が作成した上述の画像データのデータ量との総和が、画像データ配信システム３から画像データ受信システム６への画像データ列の配信レートになるように行われる。なお、制御部１５が符号化部１２に通知する前述した符号化ビットレートは、この配信レートを表しているものとし、ＳＥＩＮＡＬ作成部１２−３は、この通知と各種ＮＡＬ作成部１２−２が作成した画像データ量とに基づいて、ＳＥＩのデータ量を調整する。ＳＥＩＮＡＬ作成部１２−３は、このようにして、画像データ配信システム３から画像データ受信システム６への画像データ列の配信における配信データレートの調整を行う。
【００９６】
一方、図１６Ｂに図解されている多重化部１３の構成は、符号化部１２が図１６Ａの構成を備えている場合のものである。この図１６Ｂの構成は、図１１Ｂの第一の構成と同様のＰＥＳ作成部１３−１及びＴＳ作成部１３−２を備えているが、ＮＵＬＬＴＳ作成部１３−３は削除されている。
【００９７】
ＰＥＳ作成部１３−１及びＴＳ作成部１３−２は、図１１Ｂの第一の構成と同様のものであるので、ここでの詳細な説明は省略する。なお、ＴＳ作成部１３−２は、作成したＴＳパケット群を画像配信部１４へ出力する。
【００９８】
次に、図１６Ａ及び図１６Ｂの構成を有する符号化部１２及び多重化部１３の動作について、図１７Ａ及び図１７Ｂを参照しながら説明する。なお、図１７Ａは、図１６Ａの構成を有する符号化部１２の各構成要素についての処理シーケンスを表しており、図１７Ｂは、図１６Ｂの構成を有する多重化部１３の各構成要素についての処理シーケンスを表している。
【００９９】
なお、図１７Ａ及び図１７Ｂにおいて、図１２Ａ若しくは図１２Ｂに示した符号化部１２及び多重化部１３の第一の構成の場合における処理シーケンスでのものと同様の処理内容については同一の符号をしている。
【０１００】
まず、前述した図９のＳ１０３において、取り込んだ映像信号が画像入力部１１から符号化部１２に渡される。すると、図１２ＡのＳ１１１において、各種ＮＡＬ作成部１２−２は、この映像信号の入力を受け取ると、この映像信号から各種ＮＡＬユニットを作成して画像バッファ部１２−１に蓄える処理を行う。より具体的には、各種ＮＡＬ作成部１２−２は、Ｓ１１２においてＡＵデリミタＮＡＬを作成して画像バッファ部１２−１に蓄える処理を行い、続くＳ１１３においてＳＰＳＮＡＬを作成して画像バッファ部１２−１に蓄える処理を行う。そして更に、続くＳ１１４においてＰＰＳＮＡＬを作成して画像バッファ部１２−１に蓄える処理を行い、続く１１５においてＶｉｄｅｏＮＡＬを作成して画像バッファ部１２−１に蓄える処理を行う。
【０１０１】
但し、図１７Ａにおいては、Ｓ１１５の処理でＶｉｄｅｏＮＡＬが作成されてから画像バッファ部１２−１に蓄えられるまでの間に、Ｓ１１７として、ＳＥＩＮＡＬ作成部１２−３が前述したＳＥＩＮＡＬを作成して、画像バッファ部１２−１に蓄える処理を行う。ここで、ＳＥＩＮＡＬ作成部１２−３は、各種ＮＡＬ作成部１２−２から通知される、作成した画像データ量を、制御部１５から通知される前述した配信レートに相当する配送データ量から減算することで、このときのＳＥＩＮＡＬのデータ量を決定する。なお、ＳＥＩのデータ量は、ＳＥＩＮＡＬのデータ量の決定値から、ＳＥＩＮＡＬのヘッダ情報のデータ量を更に減算して決定する。
【０１０２】
その後、Ｓ１１６において、以上のようにして画像バッファ部１２−１に蓄えられた各種ＮＡＬユニットが、多重化部１３により順に読み出され、ＥＳデータとして多重化部１３へと出力される。
【０１０３】
次に、図１７ＢのＳ１２１において、このＥＳデータの入力を受け取ると、ＰＥＳ作成部１３−１は、Ｓ１２２において、このＥＳデータからＰＥＳパケットを作成して、ＴＳ作成部１３−２へ出力する処理を行う。
【０１０４】
次に、ＰＥＳパケットをＰＥＳ作成部１３−１から受け取ったＴＳ作成部１３−２は、Ｓ１２４において、このＰＥＳパケットを格納したＴＳパケット群を作成して出力する処理を行う。
【０１０５】
ここで図１８について説明する。図１８は、符号化部１２及び多重化部１３がそれぞれ図１６Ａ及び図１６Ｂのように構成されている画像符号化装置１を備えた画像データ配信システム３の各部から出力されるデータ列のデータ量の変化を模式的に図解したものである。この図１８を前述した図４と対比して、ＳＥＩＮＡＬ作成部１２−３による配信データレートの調整の効果を説明する。
【０１０６】
前述したように、図４においては、配信データレートの調整のために、前述したフィラーデータを、符号化データと共に画像バッファ部に蓄えるようにしていた。従って、ＰＥＳパケットにおける前述したフィラーＮＡＬの格納部分を格納したＴＳパケットは、ＴＳペイロードが値：０ｘｆｆのフィラーデータで埋め尽くされている。このため、ビットスタッフィングによるビット「０」の挿入が多数回行われる結果、モデムから送出されるデータ量は、多重化部から出力されたＴＳパケットのデータ量から大幅に増加する。
【０１０７】
一方、ＳＥＩＮＡＬ作成部１２−３による前述したＳＥＩＮＡＬのデータ量を調整して配信データレートを調整する場合には、ＳＥＩＮＡＬのペイロード内に所定ビット列が存在しないので、ビットスタッフィングによるビット「０」の挿入は行われない。従って、図１８に図解されているように、配信側モデム２から送出されるデータ量の、多重化部１３から出力されたＴＳパケットのデータ量からの増加が抑制される。
【０１０８】
なお、図１４に図解されているような、標準的な構成を有するコンピュータに所定の制御プログラムを実行させることで、図１６ＡにおけるＳＥＩＮＡＬ作成部１２−３を、当該コンピュータで構成することも可能である。このようにする場合には、まず、後述するＳＥＩＮＡＬ作成処理をＭＰＵ３１に行わせるための制御プログラムを作成する。作成された制御プログラムはハードディスク装置３４若しくは可搬型記録媒体４０に予め格納しておく。そして、ＭＰＵ３１に所定の指示を与えてこの制御プログラムを読み出させて実行させる。こうすることで、図１４のコンピュータにおけるＭＰＵ３１がＳＥＩＮＡＬ作成部１２−３として機能する。
【０１０９】
ここで図１９について説明する。図１９は、コンピュータをＳＥＩＮＡＬ作成部１２−３として機能させるためにＭＰＵ３１に行わせるＳＥＩＮＡＬ作成処理の処理内容をフローチャートで図解したものである。
【０１１０】
図１９の処理が開始されると、ＭＰＵ３１は、まず、Ｓ１４１において、制御部１５から通知される符号化ビットレート（前述した配信レート）を受信する処理を行う。
次に、Ｓ１４２において、ＭＰＵ３１は、各種ＮＡＬ作成部１２−２から通知される、当該各種ＮＡＬ作成部１２−２が作成した画像データ量の情報を受信する処理を行い、続くＳ１４３において、この情報を受信したか否かを判定する処理を行う。ここで、ＭＰＵ３１は、この画像データ量の情報を受信したと判定したとき（判定結果がＹｅｓのとき）にはＳ１４４に処理を進める。一方、ＭＰＵ３１は、この画像データ量の情報を受信していないと判定したとき（判定結果がＮｏのとき）にはＳ１４２へ処理を戻し、この画像データ量の情報の受信処理を再度試みる。
【０１１１】
次に、Ｓ１４４において、ＭＰＵ３１は、Ｓ１４１の処理で受信した配信データレートと、Ｓ１４２の処理で受信した作成画像データ量情報とから、作成するＳＥＩＮＡＬに格納するＳＥＩのデータ量を決定する処理を行う。この処理では、受信した作成画像データ量情報を、受信した配信レートに相当する配送データ量から減算し、その減算結果から、ＳＥＩＮＡＬのヘッダ情報のデータ量を更に減算する処理を行うことで、ＳＥＩのデータ量を決定する。
【０１１２】
次に、Ｓ１４５において、ＭＰＵ３１は、前述した所定ビット列（本実施形態では、２進数で「１１１１１」）を含まない、０ｘ５５（すなわち２進数で「０１０１０１０１」）の繰り返しのビット列をＳＥＩＮＡＬのペイロードに格納する処理を行う。そして、続くＳ１４６において、所定のヘッダ情報をこのペイロードに付加してＳＥＩＮＡＬを作成する処理をＭＰＵ３１が行う。なお、このヘッダ情報では、前述したペイロードタイプ及びＮＡＬユニットタイプを、それぞれ、未登録の任意のユーザデータ（User Data Unregistered）及びＳＥＩＮＡＬを示す値に設定しておく。
【０１１３】
次に、Ｓ１４７において、ＭＰＵ３１は、Ｓ１４５及びＳ１４６の処理により作成したＳＥＩＮＡＬを、各種ＮＡＬ作成部１２−２が作成したＰＰＳＮＡＬに続けて（すなわち、ＶｉｄｅｏＮＡＬの前に）、画像バッファ部に格納する処理を行う。その後、Ｓ１４７の処理が完了したときには、ＭＰＵ３１は、処理をＳ１４２へ戻し、各種ＮＡＬ作成部１２−２が作成した画像データ量の情報の受信処理以降の処理を改めて実行する。
【０１１４】
ＳＥＩＮＡＬ作成部１２−３では、ビットスタッフィング機能のデータ挿入対象となるビット列を生成しない。即ち、画像符号化装置１により出力されるデータは、配信レートを満たすデータでありながら、配信側モデム２におけるビットスタッフィング処理でデータ挿入の対象となるビット列を生成させないデータである。そのため、ビットスタッフィング機能により発生する伝送データ量の増加を抑制しつつ、データ列の伝送レートを調整することができる。
【０１１５】
以上までの処理がＳＥＩＮＡＬ作成処理である。この処理をＭＰＵ３１に行わせることにより、図１４の構成を有するコンピュータで、図１６ＡにおけるＳＥＩＮＡＬ作成部１２−３を構成することが可能になる。
【０１１６】
なお、図１４の構成を有するコンピュータで、ＳＥＩＮＡＬ作成部１２−３を構成するのみならず、画像符号化装置１の各構成要素の一部若しくは全部を構成することも可能であることは、前述したとおりである。
【０１１７】
ところで、符号化部１２を図１６Ａに図解されているように構成する代わりに、図２０に図解されているように構成しても、映像データ列の配信における配信データレートの調整を行うことができる。次に、この図２０に図解されている、符号化部１２の構成の第三の例について説明する。
【０１１８】
図２０に図解されている符号化部１２が備えている構成は、図１６Ａの第二の構成におけるＳＥＩＮＡＬ作成部１２−３が、無指定ＮＡＬ１２−４に置き換えられたものである。
【０１１９】
画像バッファ部１２−１及び各種ＮＡＬ作成部１２−２は、図１１Ａの第一の構成と同様のものであるので、ここでの詳細な説明は省略する。但し、この第三の構成においても、各種ＮＡＬ作成部１２−２は、作成した画像データ量の情報を無指定ＮＡＬ作成部１２−４に通知する。
【０１２０】
無指定ＮＡＬ作成部１２−４は、Ｈ．２６４規格の項目７．４．１においてnal_unit_type 0 若しくは、24〜31として規定されている、格納データの内容が指定なし（unspecified ）とされている種類のＮＡＬユニットを作成する。なお、以下の説明では、このＮＡＬユニットを「無指定ＮＡＬ」と称することとする。
【０１２１】
但し、無指定ＮＡＬ作成部１２−４は、作成する無指定ＮＡＬに格納するデータ列を、前述した所定ビット列を含まないビット列とする。特に、本実施形態では、無指定ＮＡＬ作成部１２−４が無指定ＮＡＬに格納するビット列として、前述した所定ビット列（本実施形態では、２進数で「１１１１１」）を含まない、例えば０ｘ５５（すなわち２進数で「０１０１０１０１」）の繰り返しとする。ビット列の例は０ｘ５５に限るものではなく、例えば０ｘＡＡ（すなわち２進数で「１０１０１０１０」）などでも良い。即ちビットスタッフィングの処理対象となるビット列（本実施形態では、２進数で「１１１１１」）を含まないビット列であれば良い。このようにしておくことで、配信側モデム２のビットスタッフィング処理部２２がビットスタッフィング処理を行っても、このビット列に対してはビット「０」の挿入を行わないので、ビットスタッフィングによる伝送データ量の増加が抑制される。
【０１２２】
無指定ＮＡＬ作成部１２−４により作成された無指定ＮＡＬは、各種ＮＡＬ作成部１２−２が作成した画像データ（符号化された映像データが格納されている各種ＮＡＬユニットの集合体）と共に、画像バッファ部１２−１へと出力される。このために、無指定ＮＡＬ作成部１２−４は、例えば、各種ＮＡＬ作成部１２−２が作成した各種ＮＡＬユニットの集合体の出力の後に追加して、作成したＳＥＩＮＡＬを画像バッファ部１２−１に出力する。
【０１２３】
なお、無指定ＮＡＬ作成部１２−４は、無指定ＮＡＬに格納する上述したビット列の量の調整も行う。この調整は、作成する無指定ＮＡＬのデータ量と各種ＮＡＬ作成部１２−２が作成した上述の画像データのデータ量との総和が、画像データ配信システム３から画像データ受信システム６への画像データ列の配信レートになるように行われる。なお、制御部１５が符号化部１２に通知する前述した符号化ビットレートは、この配信レートを表しているものとし、無指定ＮＡＬ作成部１２−４は、この通知と各種ＮＡＬ作成部１２−２が作成した画像データ量とに基づいて、上述したビット列の量を調整する。無指定ＮＡＬ作成部１２−４は、このようにして、画像データ配信システム３から画像データ受信システム６への画像データ列の配信における配信データレートの調整を行う。
【０１２４】
なお、符号化部１２が図２０の構成を備えている場合における多重化部１３の構成は、図１６Ｂに図解されている第二の構成と同一のものでよい。
次に、図２０の構成を有する符号化部１２の動作について、図２１を参照しながら説明する。なお、図２１は、図２０Ａの構成を有する符号化部１２の各構成要素についての処理シーケンスを表している。
【０１２５】
なお、図２１において、図１２Ａ及び図１７Ａに示した符号化部１２の第一及び第二の構成の場合における処理シーケンスでのものと同様の処理内容については同一の符号をしている。
【０１２６】
まず、前述した図９のＳ１０３において、取り込んだ映像信号が画像入力部１１から符号化部１２に渡される。すると、図２１のＳ１１１において、各種ＮＡＬ作成部１２−２は、この映像信号の入力を受け取ると、この映像信号から各種ＮＡＬユニットを作成して画像バッファ部１２−１に蓄える処理を行う。より具体的には、各種ＮＡＬ作成部１２−２は、Ｓ１１２においてＡＵデリミタＮＡＬを作成して画像バッファ部１２−１に蓄える処理を行い、続くＳ１１３においてＳＰＳＮＡＬを作成して画像バッファ部１２−１に蓄える処理を行う。そして更に、続くＳ１１４においてＰＰＳＮＡＬを作成して画像バッファ部１２−１に蓄える処理を行い、続く１１５においてＶｉｄｅｏＮＡＬを作成して画像バッファ部１２−１に蓄える処理を行う。
【０１２７】
次に、図２１においては、Ｓ１１８として、無指定ＮＡＬ作成部１２−４が前述した無指定ＮＡＬを作成して、画像バッファ部１２−１に蓄える処理を行う。ここで、無指定ＮＡＬ作成部１２−４は、各種ＮＡＬ作成部１２−２から通知される、作成した画像データ量を、制御部１５から通知される前述した配信レートに相当する配送データ量から減算することで、このときの無指定ＮＡＬのデータ量を決定する。なお、無指定ＮＡＬに格納するビット列のデータ量は、無指定ＮＡＬのデータ量の決定値から、無指定ＮＡＬのヘッダ情報のデータ量を更に減算して決定する。
【０１２８】
その後、Ｓ１１６において、以上のようにして画像バッファ部１２−１に蓄えられた各種ＮＡＬユニットが、多重化部１３により順に読み出され、ＥＳデータとして多重化部１３へと出力される。
【０１２９】
なお、その後の多重化部１３での処理シーケンスは、図１７に示したものと同一であるので、説明は省略する。
次に図２２について説明する。図２２は、符号化部１２及び多重化部１３がそれぞれ図２０及び図１６Ｂのように構成されている画像符号化装置１を備えた画像データ配信システム３の各部から出力されるデータ列のデータ量の変化を模式的に図解したものである。この図１８を前述した図４と対比して、無指定ＮＡＬ作成部１２−４による配信データレートの調整の効果を説明する。
【０１３０】
前述したように、図４においては、配信データレートの調整のために、前述したフィラーデータを、符号化データと共に画像バッファ部に蓄えるようにしていた。従って、ＰＥＳパケットにおける前述したフィラーＮＡＬの格納部分を格納したＴＳパケットは、ＴＳペイロードが値：０ｘｆｆのフィラーデータで埋め尽くされている。このため、ビットスタッフィングによるビット「０」の挿入が多数回行われる結果、モデムから送出されるデータ量は、多重化部から出力されたＴＳパケットのデータ量から大幅に増加する。
【０１３１】
一方、無指定ＮＡＬ作成部１２−４による前述した無指定ＮＡＬのデータ量を調整して配信データレートを調整する場合には、無指定ＮＡＬのペイロード内に所定ビット列が存在しないので、ビットスタッフィングによるビット「０」の挿入は行われない。従って、図１８に図解されているように、配信側モデム２から送出されるデータ量の、多重化部１３から出力されたＴＳパケットのデータ量からの増加が抑制される。
【０１３２】
なお、図１４に図解されているような、標準的な構成を有するコンピュータに所定の制御プログラムを実行させることで、図２０における無指定ＮＡＬ作成部１２−４を、当該コンピュータで構成することも可能である。このようにする場合には、まず、後述する無指定ＮＡＬ作成処理をＭＰＵ３１に行わせるための制御プログラムを作成する。作成された制御プログラムはハードディスク装置３４若しくは可搬型記録媒体４０に予め格納しておく。そして、ＭＰＵ３１に所定の指示を与えてこの制御プログラムを読み出させて実行させる。こうすることで、図１４のコンピュータにおけるＭＰＵ３１が無指定ＮＡＬ作成部１２−４として機能する。
【０１３３】
ここで図２３について説明する。図２３は、コンピュータを無指定ＮＡＬ作成部１２−４として機能させるためにＭＰＵ３１に行わせる無指定ＮＡＬ作成処理の処理内容をフローチャートで図解したものである。
【０１３４】
図２３の処理が開始されると、ＭＰＵ３１は、まず、Ｓ１５１において、制御部１５から通知される符号化ビットレート（前述した配信レート）を受信する処理を行う。
次に、Ｓ１５２において、ＭＰＵ３１は、各種ＮＡＬ作成部１２−２から通知される、当該各種ＮＡＬ作成部１２−２が作成した画像データ量の情報を受信する処理を行い、続くＳ１５３において、この情報を受信したか否かを判定する処理を行う。ここで、ＭＰＵ３１は、この画像データ量の情報を受信したと判定したとき（判定結果がＹｅｓのとき）にはＳ１５４に処理を進める。一方、ＭＰＵ３１は、この画像データ量の情報を受信していないと判定したとき（判定結果がＮｏのとき）にはＳ１５２へ処理を戻し、この画像データ量の情報の受信処理を再度試みる。
【０１３５】
次に、Ｓ１５４において、ＭＰＵ３１は、Ｓ１５１の処理で受信した配信データレートと、Ｓ１５２の処理で受信した作成画像データ量情報とから、作成する無指定ＮＡＬに格納するビット列のデータ量を決定する処理を行う。この処理では、受信した作成画像データ量情報を、受信した配信レートに相当する配送データ量から減算し、その減算結果から、無指定ＮＡＬのヘッダ情報のデータ量を更に減算する処理を行うことで、当該ビット列のデータ量を決定する。
【０１３６】
次に、Ｓ１５５において、ＭＰＵ３１は、前述した所定ビット列（本実施形態では、２進数で「１１１１１」）を含まない、０ｘ５５（すなわち２進数で「０１０１０１０１」）の繰り返しのビット列を無指定ＮＡＬのペイロードに格納する処理を行う。そして、続くＳ１５６において、所定のヘッダ情報をこのペイロードに付加してＳＥＩＮＡＬを作成する処理をＭＰＵ３１が行う。なお、このヘッダ情報では、前述したＮＡＬユニットタイプを、指定なし（unspecified ）を示す値に設定しておく。
【０１３７】
次に、Ｓ１５７において、ＭＰＵ３１は、Ｓ１５５及びＳ１５６の処理により作成した無指定ＮＡＬを、各種ＮＡＬ作成部１２−２が作成した画像データ（符号化データが格納されているＮＡＬユニットの集合体）に続けて、画像バッファ部に格納する処理を行う。その後、Ｓ１５７の処理が完了したときには、ＭＰＵ３１は、処理をＳ１５２へ戻し、各種ＮＡＬ作成部１２−２が作成した画像データ量の情報の受信処理以降の処理を改めて実行する。
【０１３８】
無指定ＮＡＬ作成部１２−４では、ビットスタッフィング機能のデータ挿入対象となるビット列を生成しない。即ち、画像符号化装置１により出力されるデータは、配信レートを満たすデータでありながら、配信側モデム２におけるビットスタッフィング処理でデータ挿入の対象となるビット列を生成させないデータである。そのため、ビットスタッフィング機能により発生する伝送データ量の増加を抑制しつつ、データ列の伝送レートを調整することができる。
【０１３９】
以上までの処理が無指定ＮＡＬ作成処理である。この処理をＭＰＵ３１に行わせることにより、図１４の構成を有するコンピュータで、図２０における無指定ＮＡＬ作成部１２−４を構成することが可能になる。
【０１４０】
なお、図１４の構成を有するコンピュータで、無指定ＮＡＬ作成部１２−４を構成するのみならず、画像符号化装置１の各構成要素の一部若しくは全部を構成することも可能であることは、前述したとおりである。
【０１４１】
なお、本発明は、これまでに説明した実施の形態に限定されるものではなく、実施段階では、その要旨を変更しない範囲で種々変形することが可能である。
例えば、上述した実施形態では、Ｈ．２６４規格で規定の映像符号化により得られた画像データ列の配信における配信データレートを調整する画像符号化装置１について説明した。この代わりに、他の映像符号化方式に得られた画像データ列の配信における配信データレートの調整に本発明を使用することも可能である。更には、画像データ列以外のデータ列の伝送における伝送データレートの調整に本発明を使用することも可能である。
【０１４２】
また、上述した実施形態では、ＰＰＰ接続におけるＨＬＤＣ手順でのデータ伝送時におけるビットスタッフィングにより発生する伝送データ量の増加を抑制する画像符号化装置１について説明した。この代わりに、例えばＵＳＢ等の、デジタルデータ列を伝送する各種の伝送方式において行われるビットスタッフィングにより発生する伝送データ量の増加の抑制に本発明を使用することも可能である。
【０１４３】
なお、以上までに説明した実施形態に関し、更に以下の付記を開示する。
（付記１）
データレート調整装置とデータ送信装置とを有するデータ配信システムにおけるデータレート調整装置であって、
該データ送信装置は、
入力されたデータ列を送信する送信手段と、
該送信手段が送信するデータ列に、同一値のビットが所定個数連続している所定ビット列が含まれていた場合に、該同一値のビットとは異なる値のビットを、該データ列における該所定ビット列の次に挿入しておくビットスタッフィング手段と、
を有しており、
該データレート調整装置は、該所定ビット列とは異なるビット列を、該データ送信装置に入力されるデータ列に追加して、該データ列の配信における配信データレートを調整するデータレート調整手段を有する、
ことを特徴とするデータレート調整装置。
（付記２）
該所定ビット列は、該送信手段が送信するデータ列に追加される、フラグ同期制御でのデータ列伝送に使用するフラグであることを特徴とする付記１に記載のデータレート調整装置。
（付記３）
該データ列は、ＭＰＥＧ−２システム規格においてデータ多重化方式として規定されているであるトランスポートストリームであり、
該データレート調整手段は、該所定ビット列を含まないビット列がペイロードに格納されているトランスポートストリームパケットを該トランスポートストリームに追加して、該配信データレートを調整する、
ことを特徴とする付記１又は２に記載のデータレート調整装置。
（付記４）
該データレート調整手段は、該トランスポートストリームパケットのヘッダ情報に含まれている、該トランスポートストリームパケットのペイロードに格納されているデータの種類を示すパケットＩＤを、ヌルパケット（Null Packet）を示す値に設定することを特徴とする付記３に記載のデータレート調整装置。
（付記５）
該データ列は、符号化された映像データが格納されている、Ｈ．２６４規格で規定されているＮＡＬ（Network Abstraction Layer）ユニットの集合体であり、
該データレート調整手段は、該所定ビット列を含まないビット列が格納されているＮＡＬユニットを、該データ列であるＮＡＬユニットの集合体に追加して、該配信データレートを調整する、
ことを特徴とする付記１又は２に記載のデータレート調整装置。
（付記６）
該データレート調整手段は、Ｈ．２６４規格で規定されているＮＡＬユニットの種類のうちのひとつであるＳＥＩ（Supplemental Enhancement Information）ＮＡＬに、該所定ビット列を含まないビット列を格納したものを、該データ列であるＮＡＬユニットの集合体に追加して、該配信データレートを調整することを特徴とする付記５に記載のデータレート調整装置。
（付記７）
該ＳＥＩＮＡＬは、該ＳＥＩＮＡＬのヘッダ情報に含まれている、該ＳＥＩＮＡＬにおけるデータの格納構造を示すペイロードタイプを、未登録の任意のユーザデータ（User Data Unregistered）を示す値に設定することを特徴とする付記６に記載のデータレート調整装置。
（付記８）
該データレート調整手段は、Ｈ．２６４規格で未定義とされている種類のＮＡＬユニットのペイロードに、該所定ビット列を含まないビット列を格納したものを、該データ列であるＮＡＬユニットの集合体に追加して、該配信データレートを調整することを特徴とする付記５に記載のデータレート調整装置。
（付記９）
データレート調整装置とデータ送信装置とを有するデータ配信システムにおけるデータレート調整装置として演算処理装置を機能させるためのプログラムであって、
該データ送信装置は、
入力されたデータ列を送信する送信手段と、
該送信手段が送信するデータ列に、同一値のビットが所定個数連続している所定ビット列が含まれていた場合に、該同一値のビットとは異なる値のビットを、該データ列における該所定ビット列の次に挿入しておくビットスタッフィング手段と、
を有しており、
該演算処理装置に、
該所定ビット列とは異なるビット列を作成する作成処理、
データ列の入力を取得する取得処理、
該取得処理で取得したデータ列に、該所定ビット列とは異なるビット列を追加して、該データ列の配信における配信データレートを調整するデータレート調整処理、及び、
該データレート調整処理による調整後のデータ列を出力して該データ送信装置に入力させる出力処理、
を行わせる、
ことを特徴とするプログラム。
（付記１０）
該所定ビット列は、該送信手段が送信するデータ列に追加される、フラグ同期制御でのデータ列伝送に使用するフラグであることを特徴とする付記９に記載のプログラム。
（付記１１）
該データ列は、ＭＰＥＧ−２システム規格においてデータ多重化方式として規定されているであるトランスポートストリームであり、
該データレート調整処理は、該所定ビット列を含まないビット列がペイロードに格納されているトランスポートストリームパケットを該トランスポートストリームに追加して、該配信データレートを調整する、
ことを特徴とする付記９又は１０に記載のプログラム。
（付記１２）
該データレート調整処理は、該トランスポートストリームパケットのヘッダ情報に含まれている、該トランスポートストリームパケットのペイロードに格納されているデータの種類を示すパケットＩＤを、ヌルパケット（Null Packet）を示す値に設定することを特徴とする付記１１に記載のプログラム。
（付記１３）
該データ列は、符号化された映像データが格納されている、Ｈ．２６４規格で規定されているＮＡＬ（Network Abstraction Layer）ユニットの集合体であり、
該データレート調整処理は、該所定ビット列を含まないビット列が格納されているＮＡＬユニットを、該データ列であるＮＡＬユニットの集合体に追加して、該配信データレートを調整する、
ことを特徴とする付記９又は１０に記載のプログラム。
（付記１４）
該データレート調整処理は、Ｈ．２６４規格で規定されているＮＡＬユニットの種類のうちのひとつであるＳＥＩ（Supplemental Enhancement Information）ＮＡＬに、該所定ビット列を含まないビット列を格納したものを、該データ列であるＮＡＬユニットの集合体に追加して、該配信データレートを調整することを特徴とする付記１３に記載のプログラム。
（付記１５）
該ＳＥＩＮＡＬは、該ＳＥＩＮＡＬのヘッダ情報に含まれている、該ＳＥＩＮＡＬにおけるデータの格納構造を示すペイロードタイプを、未登録の任意のユーザデータ（User Data Unregistered）を示す値に設定することを特徴とする付記１４に記載のプログラム。
（付記１６）
該データレート調整処理は、Ｈ．２６４規格で未定義とされている種類のＮＡＬユニットのペイロードに、該所定ビット列を含まないビット列を格納したものを、該データ列であるＮＡＬユニットの集合体に追加して、該配信データレートを調整することを特徴とする付記１３に記載のプログラム。
（付記１７）
データレート調整装置とデータ送信装置とを有するデータ配信システムであって、
該データ送信装置は、
入力されたデータ列を送信する送信手段と、
該送信手段が送信するデータ列に、同一値のビットが所定個数連続している所定ビット列が含まれていた場合に、該同一値のビットとは異なる値のビットを、該データ列における該所定ビット列の次に挿入しておくビットスタッフィング手段と、
を有しており、
該データレート調整装置は、該所定ビット列とは異なるビット列を、該データ送信装置に入力されるデータ列に追加して、該データ列の配信における配信データレートを調整するデータレート調整手段を有する、
ことを特徴とするデータ配信システム。
【符号の説明】
【０１４４】
１ 画像符号化装置
２ 配信側モデム
３ 画像データ配信システム
４ 受信側モデム
５ 画像再生装置
６ 画像データ受信システム
７ 通信ネットワーク
１０ データレート調整装置
１１ 画像入力部
１２ 符号化部
１２−１ 画像バッファ部
１２−２ 各種ＮＡＬ作成部
１２−３ ＳＥＩＮＡＬ作成部
１２−４ 無指定ＮＡＬ作成部
１３ 多重化部
１３−１ ＰＥＳ作成部
１３−２ ＴＳ作成部
１３−３ ＮＵＬＬＴＳ作成部
１４ 画像配信部
１５ 制御部
２１ データ列入力部
２２ ビットスタッフィング処理部
２３ フォーマット変換部
２４ 送信部
３１ ＭＰＵ
３２ ＲＯＭ
３３ ＲＡＭ
３４ ハードディスク装置
３５ 入力装置
３６ 表示装置
３７ インタフェース装置
３８ 記録媒体駆動装置
３９ バス
４０ 可搬型記録媒体
【技術分野】
【０００１】
本発明は、映像や音声などを表現しているデータ列（ストリーム）の伝送技術に関する。
【背景技術】
【０００２】
昨今、インターネット通信を始めとする様々な通信手段を介して、映像データをリアルタイムで伝送するストリーム配信の需要が高まっている。このような配信の手法のひとつに、Ｈ．２６４規格（ITU-T Rec.H.264|ISO/IEC 14496-10 AVC）で規定の映像符号化と、ＭＰＥＧ−２システムの規格（ISO/IEC 13818-1 ）で規定のトランスポートストリームによるデータ多重化とを利用するものが知られている。この手法を利用した映像データのリアルタイム配信は、デジタルテレビジョン放送やインターネットテレビ等で、一般的に行われている。
【０００３】
なお、本願では、上述のＨ．２６４の規格（ITU-T Rec.H.264|ISO/IEC 14496-10 AVC）を単に「Ｈ．２６４規格」と称することとし、上述のＭＰＥＧ−２システムの規格（ISO/IEC 13818-1）を単に「ＭＰＥＧ−２システム規格」と称することとする。また、本明細書においては、トランスポートストリームを単に「ＴＳ」と称することがある。
【０００４】
データ配信における一般的な要望として、データ伝送路での伝送可能帯域の範囲内で可能な限り高画質な映像を配信するというものがある。そのような利用シーンでの符号化方式として、ＣＢＲ（固定ビットレート：Constant Bit Rate）と呼ばれる、システム全体のレートを固定してネットワークに配信する手法が、通常採用される。
【０００５】
上述したＨ．２６４規格とＭＰＥＧ−２システム規格とを利用した、ＣＢＲの下での映像データのリアルタイム配信のために、符号化レートを固定して画像を符号化する符号化部が備えている画像バッファ部のデータ管理の例について、図１を用いて説明する。
【０００６】
図１において、横軸は時間の経過を表しており、縦軸は、画像バッファ部内に蓄えられた符号化データの蓄積データ量（バッファデータ量）を表している。
この符号化部では、画像の符号化が完了する度に、符号化データが一括して画像バッファ部に蓄えられる。その一方で、ＣＢＲにより指定されている符号化レートに従った一定の割合で符号化データが読み出される。従って、画像バッファ部でのバッファデータ量の時間変化は、図１に描かれているように遷移する。
【０００７】
この画像バッファ部において、符号化データの生成量が符号化データの読み出しレートに対して少ないと、バッファデータ量が減少していき、やがては枯渇してしまうことになる。そこで、符号化データの生成量が所定量に満たない場合には、その符号化データとは無関係のデータ（スタッフ：stuff）を、符号化データと共に画像バッファ部に蓄えるようにして、バッファ量の枯渇を防止する。
【０００８】
このスタッフデータとしては、Ｈ．２６４規格の項目７．４．１において、nal_unit_type 12として規定されている、フィラーデータ（Filler Data）が使用される。このフィラーデータの値は、Ｈ．２６４規格の項目７．４．２．７において、０ｘｆｆ（すなわち２進数で「１１１１１１１１」）と規定されている。
【０００９】
ところで、データ配信における配信元と配信先との間の通信形態として、様々なものがある。このような通信形態のひとつとして、広域通信網（ＷＡＮ：Wide Area Network ）などで標準的に使用されている１対１の通信プロトコルである、ＰＰＰ（Point to Point）接続が知られている。ＰＰＰ接続による通信は、ＲＦＣ（Request For Comment）にも記載されているように（RFC1662 PPP in HDLC-like Framing)、ＨＬＤＣ（ハイレベルデータリンク制御手順：High level Data Link Control Procedures ）をベースにして作られたものである。
【００１０】
このＰＰＰ接続による通信では、ビットスタッフィング機能を用いて効率的なデータ伝送を可能としている。このビットスタッフィング機能について説明する。
ＨＬＤＣ手順では、フラグ同期方式で同期を取ることで、データ受信側の応答確認を待たずに連続してデータ伝送を行えるようにして、データ伝送を高速化している。
【００１１】
図２は、ＨＬＤＣ手順でのデータ伝送に使用されるデータフレームの構造である。
図２に図解されているように、このデータフレームは、フラグシーケンス、アドレス部、制御部、情報部、及びフレーム検査シーケンスを有しており、伝送対象のデータ列は、このうちの情報部に格納される。このデータフレームにおけるフラグシーケンスについて説明する。
【００１２】
フラグシーケンスは、データフレームの先頭及び末尾に配置されるデータ列であり、２進数で「０１１１１１１０」なるビット列で構成される。データ受信側では、データフレームをデータ送信側より受信すると、受信したデータフレームから、このフラグシーケンスを検出し、このフラグシーケンスに基づいてデータの同期を取るようにする。
【００１３】
但し、この場合において、データフレーム中のフラグシーケンス以外のデータ列に、フラグシーケンスと同一のビット列が存在していると、データ受信側では、このビット列をフラグシーケンスと誤認してしまう。そこで、データ送信側では、フラグシーケンス以外のデータ列でビット「１」が５個連続する場合には、図３の［Ａ］のように、その次にビット「０」を強制的に挿入してビット列の変換を行っておく。一方、データ受信側では、受信したデータフレーム中のフラグシーケンス以外のデータ列でビット「１」が５個連続していた場合には、図３の［Ｂ］のように、その次のビット「０」を強制的に削除してビット列の逆変換を行う。このようにして、フラグシーケンスと一致するビット列を、他のビット列に変換してからデータフレームを構成することで、受信側でのフラグシーケンスの誤認を防止する機能が、ビットスタッフィング機能である。
【００１４】
なお、このビットスタッフィング機能は、ＨＤＬＣ手順にのみ利用されているものではなく、デジタルデータを伝送する各種の伝送方式で利用されている。例えば、情報の符号化方式としてＮＲＺＩ（Non Return to Zero Inverted）を採用しているＵＳＢ（Universal Serial Bus）では、伝送データ列中にビット「１」が連続すると、伝送信号に状態変化がなくなるため、送信側と受信側との同期がずれてきてしまう。そこで、伝送データ列中にビット「１」が所定数連続する場合に、ビット「０」を挿入するビットスタッフィングを行って同期検出を可能にし、送信側と受信側との同期のずれを抑制するようにしている。
【００１５】
なお、本願に関して、この他にも、幾つかの技術が知られている。
そのような技術のひとつは、映像信号の符号化レートと回線レートとの違いにより出力バッファ部内のデータ残量が徐々に低減して行く過程において、出力バッファ部内データ残量の不足をＮＵＬＬパケットで補充するというものである。
【００１６】
また、そのような技術の別のひとつとして、ＰＨＳ（Personal Handy-phone System ）のデータ通信プロトコルであるＰＩＡＦＳ（PHS Internet Access Forum Standard）を使用しデータ通信を行う装置に利用される技術が知られている。この技術は、ＰＩＡＦＳフレームのうち無効データにより埋められている部分に、代わりに、別の送信情報を含ませるというものである。
【００１７】
また、そのような技術の更に別のひとつとして、所定のレートでパケット出力を行うデータ伝送装置に利用される技術が知られている。この技術では、出力すべき時刻についての情報を持つパケットを生成する。そして、パケットの出力時刻を計時するタイマを備えるようにし、時刻情報を含まないパケットは所定のパケット間隔で順次出力すると共に、時刻情報を持つパケットは、このタイマ値に基づいて出力を行うようにするというものである。
【先行技術文献】
【特許文献】
【００１８】
【特許文献１】特開平１１−２９８８９３号公報
【特許文献２】特開２００２−１８６０３１号公報
【特許文献３】特開２００５−２７００６号公報
【発明の概要】
【発明が解決しようとする課題】
【００１９】
前述したＣＢＲの下での映像データのリアルタイム配信に、ビットスタッフィング機能を利用する伝送方式を使用すると、配信先で映像を正常に再生できないことがある。この現象について、説明する。
【００２０】
図４は、映像データ配信システムの各部から出力されるデータ列のデータ量の変化を模式的に図解したものである。
Ｈ．２６４規格で規定の映像符号化を行う符号化部は、ＣＢＲの下で、図示されている各ＮＡＬ（Network Abstraction Layer）ユニットを出力する。ＮＡＬユニットとは、符号化データや、その符号化データの復号に必要なパラメータ・セット等をカプセル化したデータ列である。図４には、ＡＵ（Access Unit ）デリミタ、ＳＰＳ（Sequence Parameter Set）、ＰＰＳ（Picture Parameter Set ）、Ｖｉｄｅｏ、フィラーの各ＮＡＬユニットが示されている。このうちのフィラーＮＡＬは、前述したフィラーデータが格納されるＮＡＬユニットであり、値：０ｘｆｆで埋め尽くされている。
【００２１】
ＭＰＥＧ−２システム規格で規定のＴＳによる多重化を行う多重化部は、まず、符号化部が出力する各ＮＡＬユニットのひとまとまり（アクセスユニット）を、ＰＥＳ（Packetized Elementary Stream）パケットに多重化する。ＰＥＳパケットは、符号化部が出力するアクセスユニットを格納するＰＥＳペイロードに、所定のヘッダ情報（ＰＥＳヘッダ）が付加されたデータ構造を有している。多重化部は、次に、このＰＥＳパケットを、各々１８８バイトのＴＳパケットに多重化する。ＴＳパケットは、ＰＥＳパケットを分割したデータ列を格納するＴＳペイロードに、所定のヘッダ情報（ＴＳヘッダ）が付加されたデータ構造を有している。従って、ＰＥＳパケットにおける前述したフィラーＮＡＬの格納部分を格納したＴＳパケットのＴＳペイロードも、値：０ｘｆｆのフィラーデータで埋め尽くされることになる。
【００２２】
このようにして多重化部から出力されるＴＳパケットは、モデムを介してＷＡＮ等の通信ネットワークへ送信される。このモデムがＨＬＤＣ手順によるフラグ同期方式を採用している場合には、ＴＳパケットに対し、ビット「１」が５連続するデータ列の次にビット「０」を強制的に挿入する前述したビットスタッフィングがこのモデムで実行される。このとき、ＰＥＳパケットにおける前述したフィラーＮＡＬの格納部分を格納したＴＳパケットは、ＴＳペイロードが値：０ｘｆｆのフィラーデータで埋め尽くされているため、ビットスタッフィングによるビット「０」の挿入が多数回行われることになる。この結果、モデムから通信ネットワークに送出されるデータ量は、多重化部から出力されたＴＳパケットのデータ量から大幅に増加する。
【００２３】
このような、ビットスタッフィング機能により発生する伝送データ量の増加について、図５を参照しながら更に説明する。
図５において、横軸は時間の経過を表しており、縦軸は、ビットレート（単位時間当たりのデータ量）を表している。
【００２４】
図５の例では、ＣＢＲとして９Ｍｂｐｓが設定されており、符号化部では、生成した４Ｍｂｐｓの符号化データに対し、５Ｍｂｐｓの割合でフィラーデータを挿入した場合を示している。この場合には、前述したビットスタッフィングによって、５Ｍｂｐｓ×１／５＝１Ｍｂｐｓの割合で「０」データの挿入が行われる（ヘッダ情報等に対するビットスタッフィングは無視するものとする）。従って、この場合、モデムから通信ネットワークに送出されるデータ量は、
４Ｍｂｐｓ＋５Ｍｂｐｓ＋１Ｍｂｐｓ＝１０Ｍｂｐｓ
となる。従って、この場合であれば、通信ネットワークの許容伝送量が１０Ｍｂｐｓあれば、映像データを正常に配信先まで配信することができ、映像を正常に再生することができる。
【００２５】
次に、例えばカラーバーの静止画の映像を符号化する場合を考える。このような映像では、符号化部で生成される符号化データ量は少なくなるため、符号化部では、上記の場合よりも多くのフィラーデータが挿入されることになる。例えば、ＣＢＲの設定として上記の場合と同様に９Ｍｂｐｓが設定されており、符号化部では、生成した２Ｍｂｐｓの符号化データに対し、７Ｍｂｐｓの割合でフィラーデータを挿入した場合を想定する。この場合では、前述したビットスタッフィングによって、７Ｍｂｐｓ×１／５＝１．４Ｍｂｐｓの割合で「０」データの挿入が行われることになる。すると、この場合、モデムから通信ネットワークに送出されるデータ量は、
２Ｍｂｐｓ＋７Ｍｂｐｓ＋１．４Ｍｂｐｓ＝１０．４Ｍｂｐｓ
となる。従って、この場合において、通信ネットワークの許容伝送量が１０Ｍｂｐｓであると、全ての映像データを正常に配信先まで配信することはできないため、映像の正常な再生ができなくなってしまう。
【００２６】
本発明は上述した問題に鑑みてなされたものであり、その解決しようとする課題は、ビットスタッフィングによる伝送データ量の増加を抑制しつつ、データ列の伝送レートを調整することである。
【課題を解決するための手段】
【００２７】
本明細書で後述するデータレート調整装置のひとつは、データレート調整装置とデータ送信装置とを有するデータ配信システムにおけるデータレート調整装置である。この構成において、該データ送信装置は、送信手段とビットスタッフィング手段とを有するものであり、該データレート調整装置は、データレート調整手段を有するものである。このうち、送信手段は、入力されたデータ列を送信するものである。また、ビットスタッフィング手段は、該送信手段が送信するデータ列に、同一値のビットが所定個数連続している所定ビット列が含まれていた場合に、該同一値のビットとは異なる値のビットを、該データ列における該所定ビット列の次に挿入しておくものである。そして、データレート調整手段は、該所定ビット列とは異なるビット列を、該データ送信装置に入力されるデータ列に追加して、該データ列の配信における配信データレートを調整するものである。
【００２８】
また、本明細書で後述するプログラムのひとつは、データレート調整装置とデータ送信装置とを有するデータ配信システムにおけるデータレート調整装置として演算処理装置を機能させるためのプログラムである。ここで、該データ送信装置は、送信手段とビットスタッフィング手段とを有するものである。このうち、送信手段は、入力されたデータ列を送信するものである。また、ビットスタッフィング手段は、該送信手段が送信するデータ列に、同一値のビットが所定個数連続している所定ビット列が含まれていた場合に、該同一値のビットとは異なる値のビットを、該データ列における該所定ビット列の次に挿入しておくものである。ここで、このプログラムは、該演算処理装置に、作成処理、取得処理、データレート調整処理、及び出力処理を行わせる。このうち、作成処理は、該所定ビット列とは異なるビット列を作成する処理であり、取得処理は、データ列の入力を取得する処理である。そして、データレート調整処理は、該取得処理で取得したデータ列に、該所定ビット列とは異なるビット列を追加して、該データ列の配信における配信データレートを調整する処理である。また、出力処理は、該データレート調整処理による調整後のデータ列を出力して該データ送信装置に入力させる処理である。
【発明の効果】
【００２９】
本明細書で後述するデータレート調整装置は、ビットスタッフィングによる伝送データ量の増加を抑制しつつ、データ列の伝送レートを調整することができる。
【図面の簡単な説明】
【００３０】
【図１】画像バッファ部でのデータ管理の例を説明する図である。
【図２】ＨＬＤＣ手順でのデータ伝送に使用されるデータフレームの構造図である。
【図３】ビットスタッフィング機能を説明する図である。
【図４】映像データ配信システムの各部から出力されるデータ列のデータ量の変化の模式図である。
【図５】ビットスタッフィング機能により発生する伝送データ量の増加を説明する図である。
【図６】画像データ伝送システムの全体構成図である。
【図７】画像符号化装置の構成図である。
【図８】配信側モデムの構成図である。
【図９】画像符号化装置の各構成要素の処理シーケンスを表した模式図である。
【図１０】配信側モデムの各構成要素の処理シーケンスを表した模式図である。
【図１１Ａ】符号化部の構成図の第一の例である。
【図１１Ｂ】多重化部の構成図の第一の例である。
【図１２Ａ】図１１Ａの構成を有する符号化部の各構成要素の処理シーケンスを表した模式図である。
【図１２Ｂ】図１１Ｂの構成を有する多重化部の各構成要素の処理シーケンスを表した模式図である。
【図１３】ＮＵＬＬＴＳ作成部による配信データレートの調整の効果を説明する図である。
【図１４】コンピュータの標準的な構成例を表した構成図である。
【図１５】ＮＵＬＬＴＳ作成処理の処理内容を図解したフローチャートである。
【図１６Ａ】符号化部の構成図の第二の例である。
【図１６Ｂ】多重化部の構成図の第二の例である。
【図１７Ａ】図１６Ａの構成を有する符号化部の各構成要素の処理シーケンスを表した模式図である。
【図１７Ｂ】図１６Ｂの構成を有する多重化部の各構成要素の処理シーケンスを表した模式図である。
【図１８】ＳＥＩＮＡＬ作成部による配信データレートの調整の効果を説明する図である。
【図１９】ＳＥＩＮＡＬ作成処理の処理内容を図解したフローチャートである。
【図２０】符号化部の構成図の第二の例である。
【図２１】図２０の構成を有する符号化部の各構成要素の処理シーケンスを表した模式図である。
【図２２】無指定ＮＡＬ作成部による配信データレートの調整の効果を説明する図である。
【図２３】無指定ＮＡＬ作成処理の処理内容を図解したフローチャートである。
【発明を実施するための形態】
【００３１】
以下、本発明の実施の形態を図面に基づいて説明する。各実施例は、処理として矛盾のない範囲で適宜組み合わせることが可能である。
図６には、画像データ伝送システムの全体構成が図解されている。この画像データ伝送システムは、映像データをリアルタイムで伝送するストリーム配信を行うシステムである。
【００３２】
図６において、画像符号化装置１と配信側モデム２とで画像データ配信システム３を構成しており、受信側モデム４と画像再生装置５とで画像データ受信システム６を構成している。
【００３３】
画像データ配信システム３は、ビデオカメラ等から出力される映像信号に対し映像符号化を行い、得られた符号化データを通信ネットワーク７へ送出する。一方、画像データ受信システム６は、画像データ配信システム３が送出した符号化データを受信してデコードして、得られた映像を表示する。
【００３４】
図６を更に説明する。
画像符号化装置１は、入力された映像信号に対し、Ｈ．２６４規格で規定の映像符号化を行い、得られた映像データ列に対し、ＭＰＥＧ−２システム規格で規定のＴＳによるデータ多重化を行う。
【００３５】
配信側モデム２は、通信ネットワーク７を介して、画像データ受信システム６の受信側モデム４との間でＰＰＰ接続による通信を行い、画像符号化装置１から出力される多重化映像データ列を受信側モデム４へ送付するデータ送信装置である。
【００３６】
受信側モデム４は、画像データ配信システム３の配信側モデム２から送付された多重化映像データ列を受信して画像再生装置５へ出力する。
画像再生装置５は、受信側モデム４から受け取った多重化映像データ列を、画像符号化装置１での映像符号化方式及びデータ多重化方式に応じてデコードして画像符号化装置１に入力された映像信号を再現する。そして、その映像信号で表現されている映像をディスプレイ装置に表示させる。
【００３７】
次に、図６における画像データ配信システム３について、より詳細に説明する。
図７には、画像符号化装置１の構成が図解されている。
この画像符号化装置１は、画像入力部１１、符号化部１２、多重化部１３、画像配信部１４、及び制御部１５を備えている。
【００３８】
画像入力部１１は、ビデオカメラ等の外部の装置から出力されて画像符号化装置１に入力される映像信号の取り込みを行う。
符号化部１２は、画像入力部１１が取り込んだ映像信号に対する、Ｈ．２６４規格で規定の映像符号化を、制御部１５により予め指定されている符号化レートに従って行う。この映像符号化により得られた画像データは、符号化部１２が備えている（ＦＩＦＯ：First In First Out）メモリである画像バッファ部１２−１に蓄えられる。
【００３９】
多重化部１３は、画像バッファ部１２−１に蓄えられている画像データを一定の割合で読み出して、ＭＰＥＧ−２システム規格で規定のＴＳによる多重化を行う。
画像配信部１４は、多重化部１３から出力される画像データ列（ＴＳパケット）を、配信側モデム２へ出力する。
【００４０】
画像符号化装置１は、以上の構成要素を備えている。
なお、これらの画像符号化装置１の構成要素のうちの符号化部１２若しくは多重化部１３は、画像データ配信システム３による映像データ列の配信における配信データレートを調整するデータレート調整装置１０としても動作する。この動作については後述する。
【００４１】
次に図８について説明する。図８には、データ送信装置である配信側モデム２の構成が図解されている。この配信側モデム２は、データ列入力部２１、ビットスタッフィング処理部２２、フォーマット変換部２３、及び送信部２４を備えている。
【００４２】
データ列入力部２１は、画像符号化装置１から出力されて配信側モデム２に入力される映像データ列の取り込みを行う。
ビットスタッフィング処理部２２は、データ列入力部２１が取り込んだ映像データ列に対し、ビットスタッフィング処理を施す。すなわち、ビットスタッフィング処理部２２は、この映像データ列において、ビット「１」が所定個（この実施形態では５個）連続する箇所（「所定ビット列」と称することとする）の検出を行う。そして、この所定ビット列が映像データ列に含まれていた場合には、ビット「０」（ビット「１」とは異なる値）を、その映像データ列における所定ビット列の次に挿入する。
【００４３】
フォーマット変換部２３は、ビットスタッフィング処理後の映像データ列のフォーマット変換を行う。すなわち、フォーマット変換部２３は、この映像データ列を、図２に示したデータフレームの情報部に格納すると共に、フラグシーケンス、アドレス部、制御部、及びフレーム検査シーケンスを追加して、図２のデータフレームを作成する。なお、本実施形態において、配信側モデム２と受信側モデム４との間でのフラグ同期制御でのデータ列伝送に使用されるフラグシーケンスは、図２に示されているように、２進数で「０１１１１１１０」なるビット列とする。
【００４４】
送信部２４は、フォーマット変換部２３によってフォーマット変換された映像データ列を、画像データ受信システム６へ宛てて、通信ネットワーク７に送信する。
配信側モデム２は、以上の構成要素を備えている。
【００４５】
次に、以上のような構成要素を備えている画像データ配信システム３の動作について、図９及び図１０を参照しながら説明する。なお、図９は、画像符号化装置１の各構成要素についての処理シーケンスを表しており、図１０は、配信側モデム２の各構成要素についての処理シーケンスを表している。
【００４６】
図９において、まず、Ｓ１０１では、制御部１５が、画サイズ情報及び符号化ビットレート情報を、符号化部１２及び多重化部１３に通知する動作を行う。符号化部１２及び多重化部１３は、制御部１５から通知されたこれらの情報に従って各自の動作を行う。
【００４７】
次に、外部の装置から画像符号化装置１に映像信号が入力されると、画像入力部１１は、Ｓ１０２において、この映像信号の取り込み動作を開始し、続くＳ１０３において、取り込んだ映像信号を符号化部１２に渡す。
【００４８】
次に、符号化部１２は、映像信号を画像入力部１１から受け取ると、Ｓ１０４において、この映像信号に対する、Ｈ．２６４規格で規定の映像符号化処理動作を開始する。なお、この映像符号化処理は、制御部１５から通知された画サイズ情報及び符号化ビットレートに従って行われる。そして、続くＳ１０５において、この映像符号化処理により得られた符号化画像データを画像バッファ部１２−１に渡す。
【００４９】
次に、画像バッファ部１２−１は、符号化画像データを符号化部１２から受け取ると、Ｓ１０６において、この符号化画像データの蓄積動作を開始する。
次に、多重化部１３は、画像バッファ部１２−１での符号化画像データの蓄積量が所定量を超えると、Ｓ１０７において、画像バッファ部１２−１で蓄積していた符号化画像データの読み出し動作を行う。そして、Ｓ１０８において、ＭＰＥＧ−２システム規格で規定のＴＳによる多重化処理動作を開始し、続くＳ１０９において、多重化された符号化画像データ（画像データ列）を画像配信部１４に渡して画像符号化装置１から出力させる。
【００５０】
次に、図１０において、画像符号化装置１から配信側モデム２に画像データ列が入力されると、データ列入力部２１は、Ｓ２０１において、この画像データ列の取り込み動作を開始する。そして、続くＳ２０２において、取り込んだ画像データ列をビットスタッフィング処理部２２に渡す。
【００５１】
次に、ビットスタッフィング処理部２２は、画像データ列をデータ列入力部２１から受け取ると、Ｓ２０３において、この画像データ列に対する前述したビットスタッフィング処理動作を開始する。そして、続くＳ２０４において、このビットスタッフィング処理を施した後の画像データ列をフォーマット変換部２３に渡す。
【００５２】
次に、フォーマット変換部２３は、ビットスタッフィング処理後の画像データ列をビットスタッフィング処理部２２から受け取ると、Ｓ２０５において、この画像データ列に対する前述したフォーマット変換動作を開始する。そして、続くＳ２０６において、フォーマット変換を施した後の画像データ列を送信部２４に渡し、この画像データ列を、画像データ受信システム６へ宛てて、通信ネットワーク７に送信させる。
【００５３】
次に、符号化部１２及び多重化部１３の構成の詳細と、これらにより行われる、映像データ列の配信における配信データレートの調整動作の手法とについての実施形態を、幾つか説明する。
【００５４】
まず図１１Ａ及び図１１Ｂについて説明する。これらには、符号化部１２及び多重化部１３の構成の第一の例が、それぞれ図解されている。
図１１Ａに図解されている符号化部１２は、前述した画像バッファ部１２−１と、ＡＵ・ＳＰＳ・ＰＰＳ・ＶｉｄｅｏＮＡＬ作成部（以下、「各種ＮＡＬ作成部」と称する）１２−２とを備えている。
【００５５】
各種ＮＡＬ作成部１２−２は、画像入力部１１が取り込んだ映像信号に対してＨ．２６４規格で規定の映像符号化を行い、得られた画像データを、データの種類に応じてカプセル化して各種のＮＡＬユニットを作成する。
【００５６】
より具体的には、各種ＮＡＬ作成部１２−２では、画像データを、Ｈ．２６４規格で規定されている、ＡＵデリミタ、ＳＰＳ、ＰＰＳ、及びＶｉｄｅｏの各ＮＡＬユニットにカプセル化する。このうち、ＡＵデリミタＮＡＬには、アクセスユニット（各種ＮＡＬ作成部１２−２が作成する各種ＮＡＬユニットのひとまとまり）の先頭を示す情報が格納される。ＳＰＳＮＡＬには、画像シーケンス（１つのアクセスユニット中に符号化データが含まれる、動画像を構成する画像複数枚のひとまとまりのグループ）全体での符号化に関する各種情報が格納される。ＰＰＳＮＡＬには、ピクチャ（動画像を構成する各画像）の符号化に関する各種情報が格納される。そして、ＶｉｄｅｏＮＡＬには、映像符号化により生成される、各ピクチャの生の符号化データが格納される。
【００５７】
各種ＮＡＬ作成部１２−２は、以上のようにして各種ＮＡＬユニットにカプセル化された画像データ、すなわち、符号化された映像データが格納されているＮＡＬユニットの集合体である画像データを画像バッファ部１２−１へ出力する。画像バッファ部１２−１は、この画像データを蓄える。
【００５８】
一方、図１１Ｂに図解されている多重化部１３の構成は、符号化部１２が図１１Ａの構成を備えている場合のものであり、ＰＥＳ作成部１３−１、ＴＳ作成部１３−２、及びＮＵＬＬＴＳ作成部１３−３を備えている。
【００５９】
ＰＥＳ作成部１３−１は、画像バッファ部１２−１に蓄えられている画像データを格納している、ＭＰＥＧ−２システム規格で規定のＰＥＳパケットを作成する。より具体的には、ＰＥＳ作成部１３−１は、前述したアクセスユニット単位で画像データ（特に、ＥＳ（Elementary Stream）データと称する）をＰＥＳペイロードに格納すると共に、所定のヘッダ情報（ＰＥＳヘッダ）を付加してＰＥＳパケットを作成する。
【００６０】
ＴＳ作成部１３−２は、ＰＥＳ作成部１３−１が作成したＰＥＳパケットを格納している、ＭＰＥＧ−２システム規格で規定のＴＳパケットを作成する。より具体的には、ＴＳ作成部１３−２は、ＰＥＳパケットを分割したデータ列をＴＳペイロードに格納すると共に、所定のヘッダ情報（ＴＳヘッダ）を付加して、各々１８８バイトのデータ量であるＴＳパケット群を作成する。
【００６１】
ＮＵＬＬＴＳ作成部１３−３は、ＭＰＥＧ−２システム規格で規定されている、１８８バイトのデータ量であるＴＳパケットであって、前述した所定ビット列を含まないビット列がＴＳペイロードに格納されているものを作成する。特に、本実施形態では、ＮＵＬＬＴＳ作成部１３−３がＴＳペイロードに格納するビット列として、前述した所定ビット列（本実施形態では、２進数で「１１１１１」）を含まない、例えば０ｘ５５（すなわち２進数で「０１０１０１０１」）の繰り返しとする。ビット列の例は０ｘ５５に限るものではなく、例えば０ｘＡＡ（すなわち２進数で「１０１０１０１０」）などでも良い。即ちビットスタッフィングの処理対象となるビット列（本実施形態では、２進数で「１１１１１」）を含まないビット列であれば良い。このようにしておくことで、配信側モデム２のビットスタッフィング処理部２２がビットスタッフィング処理を行っても、このビット列に対してはビット「０」の挿入を行わないので、ビットスタッフィングによる伝送データ量の増加が抑制される。
【００６２】
なお、このとき、ＮＵＬＬＴＳ作成部１３−３は、作成するＴＳパケットのＴＳヘッダに含まれている、当該ＴＳパケットのペイロードに格納されているデータの種類を示すパケットＩＤを、ヌルパケット（Null Packet）を示す値に設定する。なお、ＭＰＥＧ−２システム規格では、項目２．４．３．３において、ヌルパケットを示すパケットＩＤは、０ｘ１ｆｆｆと定義されている。規格上、このヌルパケットであるＴＳパケット（以下、「ＮＵＬＬＴＳパケット」と称する）のペイロードには任意のデータを格納することができ、また、符号化データのデコードの際には無視される。従って、上述したようなビット列をペイロードに格納したＴＳパケットが、画像データ受信システム６での画像再生に影響を及ぼすことはない。
【００６３】
ＮＵＬＬＴＳ作成部１３−３により作成されたＮＵＬＬＴＳパケットは、ＴＳ作成部１３−２が作成したＴＳパケット群と共に（例えばＮＵＬＬＴＳ作成部１３−３がＴＳパケット群の末尾にＮＵＬＬＴＳパケットを追加して）、画像配信部１４へと出力される。
【００６４】
なお、ＮＵＬＬＴＳ作成部１３−３は、ＮＵＬＬＴＳパケットの作成量の調整も行う。この調整は、このＮＵＬＬＴＳパケットの作成量とＴＳ作成部１３−２によるＴＳパケットの作成量との総和が、画像データ配信システム３から画像データ受信システム６への画像データ列の配信レートになるように行われる。なお、制御部１５が多重化部１３に通知する前述した符号化ビットレートは、この配信レートを表しているものとし、ＮＵＬＬＴＳ作成部１３−３は、この通知とＴＳパケットの作成量とに基づいて、ＮＵＬＬＴＳパケットの作成量を調整する。ＮＵＬＬＴＳ作成部１３−３は、このようにして、画像データ配信システム３から画像データ受信システム６への画像データ列の配信における配信データレートの調整を行う。
【００６５】
次に、図１１Ａ及び図１１Ｂの構成を有する符号化部１２及び多重化部１３の動作について、図１２Ａ及び図１２Ｂを参照しながら説明する。なお、図１２Ａは、図１１Ａの構成を有する符号化部１２の各構成要素についての処理シーケンスを表しており、図１２Ｂは、図１１Ｂの構成を有する多重化部１３の各構成要素についての処理シーケンスを表している。
【００６６】
まず、前述した図９のＳ１０３において、取り込んだ映像信号が画像入力部１１から符号化部１２に渡される。すると、図１２ＡのＳ１１１において、各種ＮＡＬ作成部１２−２は、この映像信号の入力を受け取ると、この映像信号から各種ＮＡＬユニットを作成して画像バッファ部１２−１に蓄える処理を行う。より具体的には、各種ＮＡＬ作成部１２−２は、Ｓ１１２においてＡＵデリミタＮＡＬを作成して画像バッファ部１２−１に蓄える処理を行い、続くＳ１１３においてＳＰＳＮＡＬを作成して画像バッファ部１２−１に蓄える処理を行う。そして更に、続くＳ１１４においてＰＰＳＮＡＬを作成して画像バッファ部１２−１に蓄える処理を行い、続く１１５においてＶｉｄｅｏＮＡＬを作成して画像バッファ部１２−１に蓄える処理を行う。
【００６７】
その後、Ｓ１１６において、以上のようにして画像バッファ部１２−１に蓄えられた各種ＮＡＬユニットが、多重化部１３により順に読み出され、ＥＳデータとして多重化部１３へと出力される。
【００６８】
次に、図１２ＢのＳ１２１において、このＥＳデータの入力を受け取ると、ＰＥＳ作成部１３−１は、Ｓ１２２において、このＥＳデータからＰＥＳパケットを作成して、ＴＳ作成部１３−２へ出力する処理を行う。また、ＰＥＳ作成部１３−１は、この処理により作成したＰＥＳパケットを、Ｓ１２３において、ＮＵＬＬＴＳ作成部１３−３へ出力する処理も行う。
【００６９】
次に、ＰＥＳパケットをＰＥＳ作成部１３−１から受け取ったＴＳ作成部１３−２は、Ｓ１２４において、このＰＥＳパケットを格納したＴＳパケット群を作成する処理を行う。一方、ＰＥＳパケットをＰＥＳ作成部１３−１から受け取ったＮＵＬＬＴＳ作成部１３−３は、Ｓ１２５において、ＮＵＬＬＴＳパケットを作成して、ＴＳパケット群と共に出力する処理を行う。ここで、ＮＵＬＬＴＳ作成部１３−３は、まず、受け取ったＰＥＳパケットから作成部１３−２によるＴＳパケットの作成量を算出する。そして、得られた作成量を、制御部１５から通知されている前述した配信レートに相当する配送データ量から減算することで、このときのＮＵＬＬＴＳパケットの作成量を決定する。なお、ＴＳパケットのサイズが１８８バイトの固定長であり、ＴＳヘッダのサイズが４バイトの固定長であることを利用すれば、ＴＳ作成部１３−２でのＴＳパケットの作成量をＰＥＳパケットのデータ量から算出することは容易である。また、この算出の代わりに、ＰＥＳパケットのデータ量とＴＳ作成部１３−２でのＴＳパケットの作成量との対応関係を示したテーブルを予め用意しておき、このテーブルを参照して、受け取ったＰＥＳパケットのデータ量からＴＳパケットの作成量を求めてもよい。
【００７０】
ここで図１３について説明する。図１３は、符号化部１２及び多重化部１３がそれぞれ図１１Ａ及び図１１Ｂのように構成されている画像符号化装置１を備えた画像データ配信システム３の各部から出力されるデータ列のデータ量の変化を模式的に図解したものである。この図１３を前述した図４と対比して、ＮＵＬＬＴＳ作成部１３−３による配信データレートの調整の効果を説明する。
【００７１】
前述したように、図４においては、配信データレートの調整のために、前述したフィラーデータを、符号化データと共に画像バッファ部に蓄えるようにしていた。従って、ＰＥＳパケットにおける前述したフィラーＮＡＬの格納部分を格納したＴＳパケットは、ＴＳペイロードが値：０ｘｆｆのフィラーデータで埋め尽くされている。このため、ビットスタッフィングによるビット「０」の挿入が多数回行われる結果、モデムから送出されるデータ量は、多重化部から出力されたＴＳパケットのデータ量から大幅に増加する。
【００７２】
一方、ＮＵＬＬＴＳ作成部１３−３によるＮＵＬＬＴＳパケットの作成量を調整して配信データレートを調整する場合には、ＮＵＬＬＴＳパケットのペイロード内に所定ビット列が存在しないので、ビットスタッフィングによるビット「０」の挿入は行われない。従って、図１３に図解されているように、配信側モデム２から送出されるデータ量の、多重化部１３から出力されたＴＳパケット（ＮＵＬＬＴＳパケットを含む）のデータ量からの増加が抑制される。
【００７３】
ここで図１４について説明する。図１４には、コンピュータの標準的な構成例が図解されている。このようなコンピュータに所定の制御プログラムを実行させることで、図１１ＢにおけるＮＵＬＬＴＳ作成部１３−３を、当該コンピュータで構成することも可能である。
【００７４】
図１４に示したコンピュータは、ＭＰＵ３１、ＲＯＭ３２、ＲＡＭ３３、ハードディスク装置３４、入力装置３５、表示装置３６、インタフェース装置３７、及び記録媒体駆動装置３８を備えて構成されている。これらの構成要素はいずれもバス３９に接続されており、ＭＰＵ３１の管理の下で各種のデータを相互に授受することができる。
【００７５】
ＭＰＵ（Micro Processing Unit）３１は、このコンピュータ全体の動作を制御する演算処理装置である。
ＲＯＭ（Read Only Memory）３２は、所定の基本制御プログラムが予め記録されている読み出し専用半導体メモリである。ＭＰＵ３１は、この基本制御プログラムをコンピュータの起動時に読み出して実行することにより、このコンピュータの各構成要素の動作制御が可能になる。
【００７６】
ＲＡＭ（Random Access Memory）３３は、ＭＰＵ３１が各種の制御プログラムを実行する際に、必要に応じて作業用記憶領域として使用する、随時書き込み読み出し可能な半導体メモリである。
【００７７】
ハードディスク装置３４は、ＭＰＵ３１によって実行される各種の制御プログラム、後述する各種のデータテーブル、及び各パンフレットの画像データを記憶しておく記憶装置である。ＭＰＵ３１は、ハードディスク装置３４に記憶されている所定の制御プログラムを読み出して実行することにより、後述する各種の制御処理を行えるようになる。
【００７８】
入力装置３５は、例えばキーボード装置やマウス装置であり、コンピュータの使用者により操作されると、その操作内容に対応付けられている使用者からの各種情報の入力を取得し、取得した入力情報をＭＰＵ３１に送付する。
【００７９】
表示装置３６は例えば液晶ディスプレイであり、ＭＰＵ３１から送付される表示データに応じて各種のテキストや画像を表示する。
インタフェース装置３７は、多重化部１３の他の構成要素や画像符号化装置１の各構成要素との間で各種データの授受の管理を行う。
【００８０】
記録媒体駆動装置３８は、可搬型記録媒体４０に記録されている各種の制御プログラムやデータの読み出しを行う装置である。ＭＰＵ３１は、可搬型記録媒体４０に記録されている所定の制御プログラムを、記録媒体駆動装置３８を介して読み出して実行することによって、後述する各種の制御処理を行うようにすることもできる。なお、可搬型記録媒体４０としては、例えばＣＤ−ＲＯＭ（Compact Disc Read Only Memory）やＤＶＤ−ＲＯＭ（Digital Versatile Disc Read Only Memory）などがある。
【００８１】
このようなコンピュータでＮＵＬＬＴＳ作成部１３−３を構成する場合には、まず、後述するＮＵＬＬＴＳ作成処理をＭＰＵ３１に行わせるための制御プログラムを作成する。作成された制御プログラムはハードディスク装置３４若しくは可搬型記録媒体４０に予め格納しておく。そして、ＭＰＵ３１に所定の指示を与えてこの制御プログラムを読み出させて実行させる。こうすることで、図１４のコンピュータにおけるＭＰＵ３１がＮＵＬＬＴＳ作成部１３−３として機能する。
【００８２】
次に図１５について説明する。図１５は、コンピュータをＮＵＬＬＴＳ作成部１３−３として機能させるためにＭＰＵ３１に行わせるＮＵＬＬＴＳ作成処理の処理内容をフローチャートで図解したものである。
【００８３】
図１５の処理が開始されると、ＭＰＵ３１は、まず、Ｓ１３１において、制御部１５から通知される符号化ビットレート（前述した配信レート）を受信する処理を行う。
次に、Ｓ１３２において、ＭＰＵ３１は、ＰＥＳパケットをＰＥＳ作成部１３−１から受信する処理を行い、続くＳ１３３において、このＰＥＳパケットを受信したか否かを判定する処理を行う。ここで、ＭＰＵ３１は、ＰＥＳパケットを受信したと判定したとき（判定結果がＹｅｓのとき）にはＳ１３４に処理を進める。一方、ＭＰＵ３１は、ＰＥＳパケットを受信していないと判定したとき（判定結果がＮｏのとき）にはＳ１３２へ処理を戻し、ＰＥＳパケットの受信処理を再度試みる。
【００８４】
次に、Ｓ１３４において、ＭＰＵ３１は、Ｓ１３１の処理で受信した配信データレートと、Ｓ１３２の処理で受信したＰＥＳパケットとから、ＮＵＬＬＴＳパケットの作成量を決定する処理を行う。この処理では、まず、受け取ったＰＥＳパケットから作成部１３−２によるＴＳパケットの作成量を前述したようにして算出する。そして、得られた作成量を、受信した配信レートに相当する配送データ量から減算することで、このときのＮＵＬＬＴＳパケットの作成量を決定する。なお、この処理においては、前述したように、ＰＥＳパケットのデータ量とＴＳパケットの作成量との対応関係を示したテーブルを予め用意しておき、このテーブルを参照して、作成部１３−２によるＴＳパケットの作成量を求めるようにしてもよい。
【００８５】
次に、Ｓ１３５において、ＭＰＵ３１は、前述した所定ビット列（本実施形態では、２進数で「１１１１１」）を含まない、０ｘ５５（すなわち２進数で「０１０１０１０１」）の繰り返しのビット列をＴＳパケットにおけるＴＳペイロードに格納する処理を行う。そして、続くＳ１３６において、パケットＩＤを、ヌルパケット（Null Packet）を示す値に設定した所定のＴＳヘッダを、このＴＳペイロードに付加してＮＵＬＬＴＳパケットを１つ作成する処理をＭＰＵ３１が行う。
【００８６】
次に、Ｓ１３７では、Ｓ１３５及びＳ１３６の処理によるＮＵＬＬＴＳパケットの作成量が、Ｓ１３４の処理による作成量の決定値に達したか否かを判定する処理をＭＰＵ３１が行う。ここで、ＭＰＵ３１は、作成量が決定値に達したと判定したとき（判定結果がＹｅｓのとき）には、ＮＵＬＬＴＳパケットの作成を終了してＳ１３８に処理を進める。一方、ＭＰＵ３１は、作成量が決定値に達していないと判定したとき（判定結果がＮｏのとき）には、Ｓ１３５へ処理を戻し、Ｓ１３５及びＳ１３６の処理によるＮＵＬＬＴＳパケットの作成を再度行う。
【００８７】
次に、Ｓ１３８では、ＭＰＵ３１は、ＴＳ作成部１３−２が作成したＴＳパケット群を取得する処理を行う。そして、続くＳ１３９において、Ｓ１３５及びＳ１３６の処理の繰り返しにより作成した全てのＮＵＬＬＴＳパケットを、取得したＴＳパケット群に続けてその末尾に追加した上で、それらを画像配信部１４へ出力する処理を行う。その後、Ｓ１３９の処理が完了したときには、ＭＰＵ３１は、処理をＳ１３２へ戻し、ＰＥＳパケットのＰＥＳ作成部１３−１からの受信処理以降の処理を改めて実行する。
【００８８】
以上までの処理がＮＵＬＬＴＳ作成処理である。この処理をＭＰＵ３１に行わせることにより、図１４の構成を有するコンピュータで、図１１ＢにおけるＮＵＬＬＴＳ作成部１３−３を構成することが可能になる。ＮＵＬＬＴＳ作成部１３−３では、ビットスタッフィング機能のデータ挿入対象となるビット列を生成しない。即ち、画像符号化装置１により出力されるデータは、配信レートを満たすデータでありながら、配信側モデム２におけるビットスタッフィング処理でデータ挿入の対象となるビット列を生成させないデータである。そのため、ビットスタッフィング機能により発生する伝送データ量の増加を抑制しつつ、データ列の伝送レートを調整することができる。
【００８９】
なお、図１４の構成を有するコンピュータで、ＮＵＬＬＴＳ作成部１３−３を構成するのみならず、画像符号化装置１の各構成要素の一部若しくは全部を構成することも可能である。このようにするには、ＮＵＬＬＴＳ作成部１３−３を構成する場合と同様に、まず、画像符号化装置１の各構成要素が提供する機能において行われる各種の処理をＭＰＵ３１に行わせるための制御プログラムを作成しておく。そして、作成された制御プログラムをハードディスク装置３４若しくは可搬型記録媒体４０に予め格納しておき、その後にＭＰＵ３１に所定の指示を与えてこの制御プログラムを読み出させて実行させればよい。
【００９０】
次に図１６Ａ及び図１６Ｂについて説明する。これらには、符号化部１２及び多重化部１３の構成の第二の例が、それぞれ図解されている。
図１６Ａに図解されている符号化部１２は、図１１Ａの第一の構成と同様の画像バッファ部１２−１及び各種ＮＡＬ作成部１２−２に加えて、ＳＥＩＮＡＬ作成部１２−３を更に備えている。
【００９１】
画像バッファ部１２−１及び各種ＮＡＬ作成部１２−２は、図１１Ａの第一の構成と同様のものであるので、ここでの詳細な説明は省略する。但し、この第二の構成において、各種ＮＡＬ作成部１２−２は、作成した画像データ量の情報をＳＥＩＮＡＬ作成部１２−３に通知する。
【００９２】
ＳＥＩＮＡＬ作成部１２−３は、Ｈ．２６４規格の項目７．４．１においてnal_unit_type 6 として規定されている、ＳＥＩ（Supplemental Enhancement Information）を格納するためのＮＡＬユニットである、ＳＥＩＮＡＬを作成する。ここで、ＳＥＩとは、Ｈ．２６４規格の項目７．４．２．３で規定されている、符号化データのデコードには必須ではない情報である。但し、ＳＥＩＮＡＬ作成部１２−３は、作成するＳＥＩＮＡＬに格納するＳＥＩを、前述した所定ビット列を含まないビット列とする。特に、本実施形態では、ＳＥＩＮＡＬ作成部１２−３がＳＥＩＮＡＬに格納するビット列として、前述した所定ビット列（本実施形態では、２進数で「１１１１１」）を含まない、例えば０ｘ５５（すなわち２進数で「０１０１０１０１」）の繰り返しとする。ビット列の例は０ｘ５５に限るものではなく、例えば０ｘＡＡ（すなわち２進数で「１０１０１０１０」）などでも良い。即ちビットスタッフィングの処理対象となるビット列（本実施形態では、２進数で「１１１１１」）を含まないビット列であれば良い。このようにしておくことで、配信側モデム２のビットスタッフィング処理部２２がビットスタッフィング処理を行っても、このビット列に対してはビット「０」の挿入を行わないので、ビットスタッフィングによる伝送データ量の増加が抑制される。
【００９３】
なお、Ｈ．２６４規格では、付属書の項目Ｄ．１において、ＳＥＩＮＡＬにおけるデータの格納構造について、複数種類の定義がされている（SEI payload syntax）。ＳＥＩＮＡＬ作成部１２−３は、作成するＳＥＩＮＡＬのヘッダ情報に含まれている、当該ＳＥＩＮＡＬにおけるこのデータの格納構造を示すペイロードタイプを、未登録の任意のユーザデータ（User Data Unregistered）を示す値に設定する。なお、Ｈ．２６４規格では、未登録の任意のユーザデータを示すペイロードタイプの値は「５」と定義されている。規格上、ペイロードタイプが未登録の任意のユーザデータに設定されているＳＥＩＮＡＬには、任意のデータを格納することができ、また、符号化データのデコードの際には無視される。従って、上述したようなビット列を格納したＳＥＩＮＡＬが、画像データ受信システム６での画像再生に影響を及ぼすことはない。
【００９４】
ＳＥＩＮＡＬ作成部１２−３により作成されたＳＥＩＮＡＬは、各種ＮＡＬ作成部１２−２が作成した画像データ（符号化された映像データが格納されている各種ＮＡＬユニットの集合体）と共に、画像バッファ部１２−１へと出力される。このために、ＳＥＩＮＡＬ作成部１２−３は、例えば、各種ＮＡＬ作成部１２−２が作成した各種ＮＡＬユニットの集合体における他のＮＡＬユニットとＶｉｄｅｏＮＡＬとの出力の間に、作成したＳＥＩＮＡＬを画像バッファ部１２−１に出力する。
【００９５】
なお、ＳＥＩＮＡＬ作成部１２−３は、ＳＥＩＮＡＬに格納する上述したＳＥＩのデータ量の調整も行う。この調整は、作成するＳＥＩＮＡＬのデータ量と各種ＮＡＬ作成部１２−２が作成した上述の画像データのデータ量との総和が、画像データ配信システム３から画像データ受信システム６への画像データ列の配信レートになるように行われる。なお、制御部１５が符号化部１２に通知する前述した符号化ビットレートは、この配信レートを表しているものとし、ＳＥＩＮＡＬ作成部１２−３は、この通知と各種ＮＡＬ作成部１２−２が作成した画像データ量とに基づいて、ＳＥＩのデータ量を調整する。ＳＥＩＮＡＬ作成部１２−３は、このようにして、画像データ配信システム３から画像データ受信システム６への画像データ列の配信における配信データレートの調整を行う。
【００９６】
一方、図１６Ｂに図解されている多重化部１３の構成は、符号化部１２が図１６Ａの構成を備えている場合のものである。この図１６Ｂの構成は、図１１Ｂの第一の構成と同様のＰＥＳ作成部１３−１及びＴＳ作成部１３−２を備えているが、ＮＵＬＬＴＳ作成部１３−３は削除されている。
【００９７】
ＰＥＳ作成部１３−１及びＴＳ作成部１３−２は、図１１Ｂの第一の構成と同様のものであるので、ここでの詳細な説明は省略する。なお、ＴＳ作成部１３−２は、作成したＴＳパケット群を画像配信部１４へ出力する。
【００９８】
次に、図１６Ａ及び図１６Ｂの構成を有する符号化部１２及び多重化部１３の動作について、図１７Ａ及び図１７Ｂを参照しながら説明する。なお、図１７Ａは、図１６Ａの構成を有する符号化部１２の各構成要素についての処理シーケンスを表しており、図１７Ｂは、図１６Ｂの構成を有する多重化部１３の各構成要素についての処理シーケンスを表している。
【００９９】
なお、図１７Ａ及び図１７Ｂにおいて、図１２Ａ若しくは図１２Ｂに示した符号化部１２及び多重化部１３の第一の構成の場合における処理シーケンスでのものと同様の処理内容については同一の符号をしている。
【０１００】
まず、前述した図９のＳ１０３において、取り込んだ映像信号が画像入力部１１から符号化部１２に渡される。すると、図１２ＡのＳ１１１において、各種ＮＡＬ作成部１２−２は、この映像信号の入力を受け取ると、この映像信号から各種ＮＡＬユニットを作成して画像バッファ部１２−１に蓄える処理を行う。より具体的には、各種ＮＡＬ作成部１２−２は、Ｓ１１２においてＡＵデリミタＮＡＬを作成して画像バッファ部１２−１に蓄える処理を行い、続くＳ１１３においてＳＰＳＮＡＬを作成して画像バッファ部１２−１に蓄える処理を行う。そして更に、続くＳ１１４においてＰＰＳＮＡＬを作成して画像バッファ部１２−１に蓄える処理を行い、続く１１５においてＶｉｄｅｏＮＡＬを作成して画像バッファ部１２−１に蓄える処理を行う。
【０１０１】
但し、図１７Ａにおいては、Ｓ１１５の処理でＶｉｄｅｏＮＡＬが作成されてから画像バッファ部１２−１に蓄えられるまでの間に、Ｓ１１７として、ＳＥＩＮＡＬ作成部１２−３が前述したＳＥＩＮＡＬを作成して、画像バッファ部１２−１に蓄える処理を行う。ここで、ＳＥＩＮＡＬ作成部１２−３は、各種ＮＡＬ作成部１２−２から通知される、作成した画像データ量を、制御部１５から通知される前述した配信レートに相当する配送データ量から減算することで、このときのＳＥＩＮＡＬのデータ量を決定する。なお、ＳＥＩのデータ量は、ＳＥＩＮＡＬのデータ量の決定値から、ＳＥＩＮＡＬのヘッダ情報のデータ量を更に減算して決定する。
【０１０２】
その後、Ｓ１１６において、以上のようにして画像バッファ部１２−１に蓄えられた各種ＮＡＬユニットが、多重化部１３により順に読み出され、ＥＳデータとして多重化部１３へと出力される。
【０１０３】
次に、図１７ＢのＳ１２１において、このＥＳデータの入力を受け取ると、ＰＥＳ作成部１３−１は、Ｓ１２２において、このＥＳデータからＰＥＳパケットを作成して、ＴＳ作成部１３−２へ出力する処理を行う。
【０１０４】
次に、ＰＥＳパケットをＰＥＳ作成部１３−１から受け取ったＴＳ作成部１３−２は、Ｓ１２４において、このＰＥＳパケットを格納したＴＳパケット群を作成して出力する処理を行う。
【０１０５】
ここで図１８について説明する。図１８は、符号化部１２及び多重化部１３がそれぞれ図１６Ａ及び図１６Ｂのように構成されている画像符号化装置１を備えた画像データ配信システム３の各部から出力されるデータ列のデータ量の変化を模式的に図解したものである。この図１８を前述した図４と対比して、ＳＥＩＮＡＬ作成部１２−３による配信データレートの調整の効果を説明する。
【０１０６】
前述したように、図４においては、配信データレートの調整のために、前述したフィラーデータを、符号化データと共に画像バッファ部に蓄えるようにしていた。従って、ＰＥＳパケットにおける前述したフィラーＮＡＬの格納部分を格納したＴＳパケットは、ＴＳペイロードが値：０ｘｆｆのフィラーデータで埋め尽くされている。このため、ビットスタッフィングによるビット「０」の挿入が多数回行われる結果、モデムから送出されるデータ量は、多重化部から出力されたＴＳパケットのデータ量から大幅に増加する。
【０１０７】
一方、ＳＥＩＮＡＬ作成部１２−３による前述したＳＥＩＮＡＬのデータ量を調整して配信データレートを調整する場合には、ＳＥＩＮＡＬのペイロード内に所定ビット列が存在しないので、ビットスタッフィングによるビット「０」の挿入は行われない。従って、図１８に図解されているように、配信側モデム２から送出されるデータ量の、多重化部１３から出力されたＴＳパケットのデータ量からの増加が抑制される。
【０１０８】
なお、図１４に図解されているような、標準的な構成を有するコンピュータに所定の制御プログラムを実行させることで、図１６ＡにおけるＳＥＩＮＡＬ作成部１２−３を、当該コンピュータで構成することも可能である。このようにする場合には、まず、後述するＳＥＩＮＡＬ作成処理をＭＰＵ３１に行わせるための制御プログラムを作成する。作成された制御プログラムはハードディスク装置３４若しくは可搬型記録媒体４０に予め格納しておく。そして、ＭＰＵ３１に所定の指示を与えてこの制御プログラムを読み出させて実行させる。こうすることで、図１４のコンピュータにおけるＭＰＵ３１がＳＥＩＮＡＬ作成部１２−３として機能する。
【０１０９】
ここで図１９について説明する。図１９は、コンピュータをＳＥＩＮＡＬ作成部１２−３として機能させるためにＭＰＵ３１に行わせるＳＥＩＮＡＬ作成処理の処理内容をフローチャートで図解したものである。
【０１１０】
図１９の処理が開始されると、ＭＰＵ３１は、まず、Ｓ１４１において、制御部１５から通知される符号化ビットレート（前述した配信レート）を受信する処理を行う。
次に、Ｓ１４２において、ＭＰＵ３１は、各種ＮＡＬ作成部１２−２から通知される、当該各種ＮＡＬ作成部１２−２が作成した画像データ量の情報を受信する処理を行い、続くＳ１４３において、この情報を受信したか否かを判定する処理を行う。ここで、ＭＰＵ３１は、この画像データ量の情報を受信したと判定したとき（判定結果がＹｅｓのとき）にはＳ１４４に処理を進める。一方、ＭＰＵ３１は、この画像データ量の情報を受信していないと判定したとき（判定結果がＮｏのとき）にはＳ１４２へ処理を戻し、この画像データ量の情報の受信処理を再度試みる。
【０１１１】
次に、Ｓ１４４において、ＭＰＵ３１は、Ｓ１４１の処理で受信した配信データレートと、Ｓ１４２の処理で受信した作成画像データ量情報とから、作成するＳＥＩＮＡＬに格納するＳＥＩのデータ量を決定する処理を行う。この処理では、受信した作成画像データ量情報を、受信した配信レートに相当する配送データ量から減算し、その減算結果から、ＳＥＩＮＡＬのヘッダ情報のデータ量を更に減算する処理を行うことで、ＳＥＩのデータ量を決定する。
【０１１２】
次に、Ｓ１４５において、ＭＰＵ３１は、前述した所定ビット列（本実施形態では、２進数で「１１１１１」）を含まない、０ｘ５５（すなわち２進数で「０１０１０１０１」）の繰り返しのビット列をＳＥＩＮＡＬのペイロードに格納する処理を行う。そして、続くＳ１４６において、所定のヘッダ情報をこのペイロードに付加してＳＥＩＮＡＬを作成する処理をＭＰＵ３１が行う。なお、このヘッダ情報では、前述したペイロードタイプ及びＮＡＬユニットタイプを、それぞれ、未登録の任意のユーザデータ（User Data Unregistered）及びＳＥＩＮＡＬを示す値に設定しておく。
【０１１３】
次に、Ｓ１４７において、ＭＰＵ３１は、Ｓ１４５及びＳ１４６の処理により作成したＳＥＩＮＡＬを、各種ＮＡＬ作成部１２−２が作成したＰＰＳＮＡＬに続けて（すなわち、ＶｉｄｅｏＮＡＬの前に）、画像バッファ部に格納する処理を行う。その後、Ｓ１４７の処理が完了したときには、ＭＰＵ３１は、処理をＳ１４２へ戻し、各種ＮＡＬ作成部１２−２が作成した画像データ量の情報の受信処理以降の処理を改めて実行する。
【０１１４】
ＳＥＩＮＡＬ作成部１２−３では、ビットスタッフィング機能のデータ挿入対象となるビット列を生成しない。即ち、画像符号化装置１により出力されるデータは、配信レートを満たすデータでありながら、配信側モデム２におけるビットスタッフィング処理でデータ挿入の対象となるビット列を生成させないデータである。そのため、ビットスタッフィング機能により発生する伝送データ量の増加を抑制しつつ、データ列の伝送レートを調整することができる。
【０１１５】
以上までの処理がＳＥＩＮＡＬ作成処理である。この処理をＭＰＵ３１に行わせることにより、図１４の構成を有するコンピュータで、図１６ＡにおけるＳＥＩＮＡＬ作成部１２−３を構成することが可能になる。
【０１１６】
なお、図１４の構成を有するコンピュータで、ＳＥＩＮＡＬ作成部１２−３を構成するのみならず、画像符号化装置１の各構成要素の一部若しくは全部を構成することも可能であることは、前述したとおりである。
【０１１７】
ところで、符号化部１２を図１６Ａに図解されているように構成する代わりに、図２０に図解されているように構成しても、映像データ列の配信における配信データレートの調整を行うことができる。次に、この図２０に図解されている、符号化部１２の構成の第三の例について説明する。
【０１１８】
図２０に図解されている符号化部１２が備えている構成は、図１６Ａの第二の構成におけるＳＥＩＮＡＬ作成部１２−３が、無指定ＮＡＬ１２−４に置き換えられたものである。
【０１１９】
画像バッファ部１２−１及び各種ＮＡＬ作成部１２−２は、図１１Ａの第一の構成と同様のものであるので、ここでの詳細な説明は省略する。但し、この第三の構成においても、各種ＮＡＬ作成部１２−２は、作成した画像データ量の情報を無指定ＮＡＬ作成部１２−４に通知する。
【０１２０】
無指定ＮＡＬ作成部１２−４は、Ｈ．２６４規格の項目７．４．１においてnal_unit_type 0 若しくは、24〜31として規定されている、格納データの内容が指定なし（unspecified ）とされている種類のＮＡＬユニットを作成する。なお、以下の説明では、このＮＡＬユニットを「無指定ＮＡＬ」と称することとする。
【０１２１】
但し、無指定ＮＡＬ作成部１２−４は、作成する無指定ＮＡＬに格納するデータ列を、前述した所定ビット列を含まないビット列とする。特に、本実施形態では、無指定ＮＡＬ作成部１２−４が無指定ＮＡＬに格納するビット列として、前述した所定ビット列（本実施形態では、２進数で「１１１１１」）を含まない、例えば０ｘ５５（すなわち２進数で「０１０１０１０１」）の繰り返しとする。ビット列の例は０ｘ５５に限るものではなく、例えば０ｘＡＡ（すなわち２進数で「１０１０１０１０」）などでも良い。即ちビットスタッフィングの処理対象となるビット列（本実施形態では、２進数で「１１１１１」）を含まないビット列であれば良い。このようにしておくことで、配信側モデム２のビットスタッフィング処理部２２がビットスタッフィング処理を行っても、このビット列に対してはビット「０」の挿入を行わないので、ビットスタッフィングによる伝送データ量の増加が抑制される。
【０１２２】
無指定ＮＡＬ作成部１２−４により作成された無指定ＮＡＬは、各種ＮＡＬ作成部１２−２が作成した画像データ（符号化された映像データが格納されている各種ＮＡＬユニットの集合体）と共に、画像バッファ部１２−１へと出力される。このために、無指定ＮＡＬ作成部１２−４は、例えば、各種ＮＡＬ作成部１２−２が作成した各種ＮＡＬユニットの集合体の出力の後に追加して、作成したＳＥＩＮＡＬを画像バッファ部１２−１に出力する。
【０１２３】
なお、無指定ＮＡＬ作成部１２−４は、無指定ＮＡＬに格納する上述したビット列の量の調整も行う。この調整は、作成する無指定ＮＡＬのデータ量と各種ＮＡＬ作成部１２−２が作成した上述の画像データのデータ量との総和が、画像データ配信システム３から画像データ受信システム６への画像データ列の配信レートになるように行われる。なお、制御部１５が符号化部１２に通知する前述した符号化ビットレートは、この配信レートを表しているものとし、無指定ＮＡＬ作成部１２−４は、この通知と各種ＮＡＬ作成部１２−２が作成した画像データ量とに基づいて、上述したビット列の量を調整する。無指定ＮＡＬ作成部１２−４は、このようにして、画像データ配信システム３から画像データ受信システム６への画像データ列の配信における配信データレートの調整を行う。
【０１２４】
なお、符号化部１２が図２０の構成を備えている場合における多重化部１３の構成は、図１６Ｂに図解されている第二の構成と同一のものでよい。
次に、図２０の構成を有する符号化部１２の動作について、図２１を参照しながら説明する。なお、図２１は、図２０Ａの構成を有する符号化部１２の各構成要素についての処理シーケンスを表している。
【０１２５】
なお、図２１において、図１２Ａ及び図１７Ａに示した符号化部１２の第一及び第二の構成の場合における処理シーケンスでのものと同様の処理内容については同一の符号をしている。
【０１２６】
まず、前述した図９のＳ１０３において、取り込んだ映像信号が画像入力部１１から符号化部１２に渡される。すると、図２１のＳ１１１において、各種ＮＡＬ作成部１２−２は、この映像信号の入力を受け取ると、この映像信号から各種ＮＡＬユニットを作成して画像バッファ部１２−１に蓄える処理を行う。より具体的には、各種ＮＡＬ作成部１２−２は、Ｓ１１２においてＡＵデリミタＮＡＬを作成して画像バッファ部１２−１に蓄える処理を行い、続くＳ１１３においてＳＰＳＮＡＬを作成して画像バッファ部１２−１に蓄える処理を行う。そして更に、続くＳ１１４においてＰＰＳＮＡＬを作成して画像バッファ部１２−１に蓄える処理を行い、続く１１５においてＶｉｄｅｏＮＡＬを作成して画像バッファ部１２−１に蓄える処理を行う。
【０１２７】
次に、図２１においては、Ｓ１１８として、無指定ＮＡＬ作成部１２−４が前述した無指定ＮＡＬを作成して、画像バッファ部１２−１に蓄える処理を行う。ここで、無指定ＮＡＬ作成部１２−４は、各種ＮＡＬ作成部１２−２から通知される、作成した画像データ量を、制御部１５から通知される前述した配信レートに相当する配送データ量から減算することで、このときの無指定ＮＡＬのデータ量を決定する。なお、無指定ＮＡＬに格納するビット列のデータ量は、無指定ＮＡＬのデータ量の決定値から、無指定ＮＡＬのヘッダ情報のデータ量を更に減算して決定する。
【０１２８】
その後、Ｓ１１６において、以上のようにして画像バッファ部１２−１に蓄えられた各種ＮＡＬユニットが、多重化部１３により順に読み出され、ＥＳデータとして多重化部１３へと出力される。
【０１２９】
なお、その後の多重化部１３での処理シーケンスは、図１７に示したものと同一であるので、説明は省略する。
次に図２２について説明する。図２２は、符号化部１２及び多重化部１３がそれぞれ図２０及び図１６Ｂのように構成されている画像符号化装置１を備えた画像データ配信システム３の各部から出力されるデータ列のデータ量の変化を模式的に図解したものである。この図１８を前述した図４と対比して、無指定ＮＡＬ作成部１２−４による配信データレートの調整の効果を説明する。
【０１３０】
前述したように、図４においては、配信データレートの調整のために、前述したフィラーデータを、符号化データと共に画像バッファ部に蓄えるようにしていた。従って、ＰＥＳパケットにおける前述したフィラーＮＡＬの格納部分を格納したＴＳパケットは、ＴＳペイロードが値：０ｘｆｆのフィラーデータで埋め尽くされている。このため、ビットスタッフィングによるビット「０」の挿入が多数回行われる結果、モデムから送出されるデータ量は、多重化部から出力されたＴＳパケットのデータ量から大幅に増加する。
【０１３１】
一方、無指定ＮＡＬ作成部１２−４による前述した無指定ＮＡＬのデータ量を調整して配信データレートを調整する場合には、無指定ＮＡＬのペイロード内に所定ビット列が存在しないので、ビットスタッフィングによるビット「０」の挿入は行われない。従って、図１８に図解されているように、配信側モデム２から送出されるデータ量の、多重化部１３から出力されたＴＳパケットのデータ量からの増加が抑制される。
【０１３２】
なお、図１４に図解されているような、標準的な構成を有するコンピュータに所定の制御プログラムを実行させることで、図２０における無指定ＮＡＬ作成部１２−４を、当該コンピュータで構成することも可能である。このようにする場合には、まず、後述する無指定ＮＡＬ作成処理をＭＰＵ３１に行わせるための制御プログラムを作成する。作成された制御プログラムはハードディスク装置３４若しくは可搬型記録媒体４０に予め格納しておく。そして、ＭＰＵ３１に所定の指示を与えてこの制御プログラムを読み出させて実行させる。こうすることで、図１４のコンピュータにおけるＭＰＵ３１が無指定ＮＡＬ作成部１２−４として機能する。
【０１３３】
ここで図２３について説明する。図２３は、コンピュータを無指定ＮＡＬ作成部１２−４として機能させるためにＭＰＵ３１に行わせる無指定ＮＡＬ作成処理の処理内容をフローチャートで図解したものである。
【０１３４】
図２３の処理が開始されると、ＭＰＵ３１は、まず、Ｓ１５１において、制御部１５から通知される符号化ビットレート（前述した配信レート）を受信する処理を行う。
次に、Ｓ１５２において、ＭＰＵ３１は、各種ＮＡＬ作成部１２−２から通知される、当該各種ＮＡＬ作成部１２−２が作成した画像データ量の情報を受信する処理を行い、続くＳ１５３において、この情報を受信したか否かを判定する処理を行う。ここで、ＭＰＵ３１は、この画像データ量の情報を受信したと判定したとき（判定結果がＹｅｓのとき）にはＳ１５４に処理を進める。一方、ＭＰＵ３１は、この画像データ量の情報を受信していないと判定したとき（判定結果がＮｏのとき）にはＳ１５２へ処理を戻し、この画像データ量の情報の受信処理を再度試みる。
【０１３５】
次に、Ｓ１５４において、ＭＰＵ３１は、Ｓ１５１の処理で受信した配信データレートと、Ｓ１５２の処理で受信した作成画像データ量情報とから、作成する無指定ＮＡＬに格納するビット列のデータ量を決定する処理を行う。この処理では、受信した作成画像データ量情報を、受信した配信レートに相当する配送データ量から減算し、その減算結果から、無指定ＮＡＬのヘッダ情報のデータ量を更に減算する処理を行うことで、当該ビット列のデータ量を決定する。
【０１３６】
次に、Ｓ１５５において、ＭＰＵ３１は、前述した所定ビット列（本実施形態では、２進数で「１１１１１」）を含まない、０ｘ５５（すなわち２進数で「０１０１０１０１」）の繰り返しのビット列を無指定ＮＡＬのペイロードに格納する処理を行う。そして、続くＳ１５６において、所定のヘッダ情報をこのペイロードに付加してＳＥＩＮＡＬを作成する処理をＭＰＵ３１が行う。なお、このヘッダ情報では、前述したＮＡＬユニットタイプを、指定なし（unspecified ）を示す値に設定しておく。
【０１３７】
次に、Ｓ１５７において、ＭＰＵ３１は、Ｓ１５５及びＳ１５６の処理により作成した無指定ＮＡＬを、各種ＮＡＬ作成部１２−２が作成した画像データ（符号化データが格納されているＮＡＬユニットの集合体）に続けて、画像バッファ部に格納する処理を行う。その後、Ｓ１５７の処理が完了したときには、ＭＰＵ３１は、処理をＳ１５２へ戻し、各種ＮＡＬ作成部１２−２が作成した画像データ量の情報の受信処理以降の処理を改めて実行する。
【０１３８】
無指定ＮＡＬ作成部１２−４では、ビットスタッフィング機能のデータ挿入対象となるビット列を生成しない。即ち、画像符号化装置１により出力されるデータは、配信レートを満たすデータでありながら、配信側モデム２におけるビットスタッフィング処理でデータ挿入の対象となるビット列を生成させないデータである。そのため、ビットスタッフィング機能により発生する伝送データ量の増加を抑制しつつ、データ列の伝送レートを調整することができる。
【０１３９】
以上までの処理が無指定ＮＡＬ作成処理である。この処理をＭＰＵ３１に行わせることにより、図１４の構成を有するコンピュータで、図２０における無指定ＮＡＬ作成部１２−４を構成することが可能になる。
【０１４０】
なお、図１４の構成を有するコンピュータで、無指定ＮＡＬ作成部１２−４を構成するのみならず、画像符号化装置１の各構成要素の一部若しくは全部を構成することも可能であることは、前述したとおりである。
【０１４１】
なお、本発明は、これまでに説明した実施の形態に限定されるものではなく、実施段階では、その要旨を変更しない範囲で種々変形することが可能である。
例えば、上述した実施形態では、Ｈ．２６４規格で規定の映像符号化により得られた画像データ列の配信における配信データレートを調整する画像符号化装置１について説明した。この代わりに、他の映像符号化方式に得られた画像データ列の配信における配信データレートの調整に本発明を使用することも可能である。更には、画像データ列以外のデータ列の伝送における伝送データレートの調整に本発明を使用することも可能である。
【０１４２】
また、上述した実施形態では、ＰＰＰ接続におけるＨＬＤＣ手順でのデータ伝送時におけるビットスタッフィングにより発生する伝送データ量の増加を抑制する画像符号化装置１について説明した。この代わりに、例えばＵＳＢ等の、デジタルデータ列を伝送する各種の伝送方式において行われるビットスタッフィングにより発生する伝送データ量の増加の抑制に本発明を使用することも可能である。
【０１４３】
なお、以上までに説明した実施形態に関し、更に以下の付記を開示する。
（付記１）
データレート調整装置とデータ送信装置とを有するデータ配信システムにおけるデータレート調整装置であって、
該データ送信装置は、
入力されたデータ列を送信する送信手段と、
該送信手段が送信するデータ列に、同一値のビットが所定個数連続している所定ビット列が含まれていた場合に、該同一値のビットとは異なる値のビットを、該データ列における該所定ビット列の次に挿入しておくビットスタッフィング手段と、
を有しており、
該データレート調整装置は、該所定ビット列とは異なるビット列を、該データ送信装置に入力されるデータ列に追加して、該データ列の配信における配信データレートを調整するデータレート調整手段を有する、
ことを特徴とするデータレート調整装置。
（付記２）
該所定ビット列は、該送信手段が送信するデータ列に追加される、フラグ同期制御でのデータ列伝送に使用するフラグであることを特徴とする付記１に記載のデータレート調整装置。
（付記３）
該データ列は、ＭＰＥＧ−２システム規格においてデータ多重化方式として規定されているであるトランスポートストリームであり、
該データレート調整手段は、該所定ビット列を含まないビット列がペイロードに格納されているトランスポートストリームパケットを該トランスポートストリームに追加して、該配信データレートを調整する、
ことを特徴とする付記１又は２に記載のデータレート調整装置。
（付記４）
該データレート調整手段は、該トランスポートストリームパケットのヘッダ情報に含まれている、該トランスポートストリームパケットのペイロードに格納されているデータの種類を示すパケットＩＤを、ヌルパケット（Null Packet）を示す値に設定することを特徴とする付記３に記載のデータレート調整装置。
（付記５）
該データ列は、符号化された映像データが格納されている、Ｈ．２６４規格で規定されているＮＡＬ（Network Abstraction Layer）ユニットの集合体であり、
該データレート調整手段は、該所定ビット列を含まないビット列が格納されているＮＡＬユニットを、該データ列であるＮＡＬユニットの集合体に追加して、該配信データレートを調整する、
ことを特徴とする付記１又は２に記載のデータレート調整装置。
（付記６）
該データレート調整手段は、Ｈ．２６４規格で規定されているＮＡＬユニットの種類のうちのひとつであるＳＥＩ（Supplemental Enhancement Information）ＮＡＬに、該所定ビット列を含まないビット列を格納したものを、該データ列であるＮＡＬユニットの集合体に追加して、該配信データレートを調整することを特徴とする付記５に記載のデータレート調整装置。
（付記７）
該ＳＥＩＮＡＬは、該ＳＥＩＮＡＬのヘッダ情報に含まれている、該ＳＥＩＮＡＬにおけるデータの格納構造を示すペイロードタイプを、未登録の任意のユーザデータ（User Data Unregistered）を示す値に設定することを特徴とする付記６に記載のデータレート調整装置。
（付記８）
該データレート調整手段は、Ｈ．２６４規格で未定義とされている種類のＮＡＬユニットのペイロードに、該所定ビット列を含まないビット列を格納したものを、該データ列であるＮＡＬユニットの集合体に追加して、該配信データレートを調整することを特徴とする付記５に記載のデータレート調整装置。
（付記９）
データレート調整装置とデータ送信装置とを有するデータ配信システムにおけるデータレート調整装置として演算処理装置を機能させるためのプログラムであって、
該データ送信装置は、
入力されたデータ列を送信する送信手段と、
該送信手段が送信するデータ列に、同一値のビットが所定個数連続している所定ビット列が含まれていた場合に、該同一値のビットとは異なる値のビットを、該データ列における該所定ビット列の次に挿入しておくビットスタッフィング手段と、
を有しており、
該演算処理装置に、
該所定ビット列とは異なるビット列を作成する作成処理、
データ列の入力を取得する取得処理、
該取得処理で取得したデータ列に、該所定ビット列とは異なるビット列を追加して、該データ列の配信における配信データレートを調整するデータレート調整処理、及び、
該データレート調整処理による調整後のデータ列を出力して該データ送信装置に入力させる出力処理、
を行わせる、
ことを特徴とするプログラム。
（付記１０）
該所定ビット列は、該送信手段が送信するデータ列に追加される、フラグ同期制御でのデータ列伝送に使用するフラグであることを特徴とする付記９に記載のプログラム。
（付記１１）
該データ列は、ＭＰＥＧ−２システム規格においてデータ多重化方式として規定されているであるトランスポートストリームであり、
該データレート調整処理は、該所定ビット列を含まないビット列がペイロードに格納されているトランスポートストリームパケットを該トランスポートストリームに追加して、該配信データレートを調整する、
ことを特徴とする付記９又は１０に記載のプログラム。
（付記１２）
該データレート調整処理は、該トランスポートストリームパケットのヘッダ情報に含まれている、該トランスポートストリームパケットのペイロードに格納されているデータの種類を示すパケットＩＤを、ヌルパケット（Null Packet）を示す値に設定することを特徴とする付記１１に記載のプログラム。
（付記１３）
該データ列は、符号化された映像データが格納されている、Ｈ．２６４規格で規定されているＮＡＬ（Network Abstraction Layer）ユニットの集合体であり、
該データレート調整処理は、該所定ビット列を含まないビット列が格納されているＮＡＬユニットを、該データ列であるＮＡＬユニットの集合体に追加して、該配信データレートを調整する、
ことを特徴とする付記９又は１０に記載のプログラム。
（付記１４）
該データレート調整処理は、Ｈ．２６４規格で規定されているＮＡＬユニットの種類のうちのひとつであるＳＥＩ（Supplemental Enhancement Information）ＮＡＬに、該所定ビット列を含まないビット列を格納したものを、該データ列であるＮＡＬユニットの集合体に追加して、該配信データレートを調整することを特徴とする付記１３に記載のプログラム。
（付記１５）
該ＳＥＩＮＡＬは、該ＳＥＩＮＡＬのヘッダ情報に含まれている、該ＳＥＩＮＡＬにおけるデータの格納構造を示すペイロードタイプを、未登録の任意のユーザデータ（User Data Unregistered）を示す値に設定することを特徴とする付記１４に記載のプログラム。
（付記１６）
該データレート調整処理は、Ｈ．２６４規格で未定義とされている種類のＮＡＬユニットのペイロードに、該所定ビット列を含まないビット列を格納したものを、該データ列であるＮＡＬユニットの集合体に追加して、該配信データレートを調整することを特徴とする付記１３に記載のプログラム。
（付記１７）
データレート調整装置とデータ送信装置とを有するデータ配信システムであって、
該データ送信装置は、
入力されたデータ列を送信する送信手段と、
該送信手段が送信するデータ列に、同一値のビットが所定個数連続している所定ビット列が含まれていた場合に、該同一値のビットとは異なる値のビットを、該データ列における該所定ビット列の次に挿入しておくビットスタッフィング手段と、
を有しており、
該データレート調整装置は、該所定ビット列とは異なるビット列を、該データ送信装置に入力されるデータ列に追加して、該データ列の配信における配信データレートを調整するデータレート調整手段を有する、
ことを特徴とするデータ配信システム。
【符号の説明】
【０１４４】
１ 画像符号化装置
２ 配信側モデム
３ 画像データ配信システム
４ 受信側モデム
５ 画像再生装置
６ 画像データ受信システム
７ 通信ネットワーク
１０ データレート調整装置
１１ 画像入力部
１２ 符号化部
１２−１ 画像バッファ部
１２−２ 各種ＮＡＬ作成部
１２−３ ＳＥＩＮＡＬ作成部
１２−４ 無指定ＮＡＬ作成部
１３ 多重化部
１３−１ ＰＥＳ作成部
１３−２ ＴＳ作成部
１３−３ ＮＵＬＬＴＳ作成部
１４ 画像配信部
１５ 制御部
２１ データ列入力部
２２ ビットスタッフィング処理部
２３ フォーマット変換部
２４ 送信部
３１ ＭＰＵ
３２ ＲＯＭ
３３ ＲＡＭ
３４ ハードディスク装置
３５ 入力装置
３６ 表示装置
３７ インタフェース装置
３８ 記録媒体駆動装置
３９ バス
４０ 可搬型記録媒体
【特許請求の範囲】
【請求項１】
データレート調整装置とデータ送信装置とを有するデータ配信システムにおけるデータレート調整装置であって、
該データ送信装置は、
入力されたデータ列を送信する送信手段と、
該送信手段が送信するデータ列に、同一値のビットが所定個数連続している所定ビット列が含まれていた場合に、該同一値のビットとは異なる値のビットを、該データ列における該所定ビット列の次に挿入しておくビットスタッフィング手段と、
を有しており、
該データレート調整装置は、該所定ビット列とは異なるビット列を、該データ送信装置に入力されるデータ列に追加して、該データ列の配信における配信データレートを調整するデータレート調整手段を有する、
ことを特徴とするデータレート調整装置。
【請求項２】
該所定ビット列は、該送信手段が送信するデータ列に追加される、フラグ同期制御でのデータ列伝送に使用するフラグであることを特徴とする請求項１に記載のデータレート調整装置。
【請求項３】
該データ列は、ＭＰＥＧ−２システム規格においてデータ多重化方式として規定されているであるトランスポートストリームであり、
該データレート調整手段は、該所定ビット列を含まないビット列がペイロードに格納されているトランスポートストリームパケットを該トランスポートストリームに追加して、該配信データレートを調整する、
ことを特徴とする請求項１又は２に記載のデータレート調整装置。
【請求項４】
該データ列は、符号化された映像データが格納されている、Ｈ．２６４規格で規定されているＮＡＬ（Network Abstraction Layer）ユニットの集合体であり、
該データレート調整手段は、該所定ビット列を含まないビット列が格納されているＮＡＬユニットを、該データ列であるＮＡＬユニットの集合体に追加して、該配信データレートを調整する、
ことを特徴とする請求項１又は２に記載のデータレート調整装置。
【請求項５】
該データレート調整手段は、Ｈ．２６４規格で規定されているＮＡＬユニットの種類のうちのひとつであるＳＥＩ（Supplemental Enhancement Information）ＮＡＬに、該所定ビット列を含まないビット列を格納したものを、該データ列であるＮＡＬユニットの集合体に追加して、該配信データレートを調整することを特徴とする請求項４に記載のデータレート調整装置。
【請求項６】
該データレート調整手段は、Ｈ．２６４規格で未定義とされている種類のＮＡＬユニットのペイロードに、該所定ビット列を含まないビット列を格納したものを、該データ列であるＮＡＬユニットの集合体に追加して、該配信データレートを調整することを特徴とする請求項４に記載のデータレート調整装置。
【請求項７】
データレート調整装置とデータ送信装置とを有するデータ配信システムにおけるデータレート調整装置として演算処理装置を機能させるためのプログラムであって、
該データ送信装置は、
入力されたデータ列を送信する送信手段と、
該送信手段が送信するデータ列に、同一値のビットが所定個数連続している所定ビット列が含まれていた場合に、該同一値のビットとは異なる値のビットを、該データ列における該所定ビット列の次に挿入しておくビットスタッフィング手段と、
を有しており、
該演算処理装置に、
該所定ビット列とは異なるビット列を作成する作成処理、
データ列の入力を取得する取得処理、
該取得処理で取得したデータ列に、該所定ビット列とは異なるビット列を追加して、該データ列の配信における配信データレートを調整するデータレート調整処理、及び、
該データレート調整処理による調整後のデータ列を出力して該データ送信装置に入力させる出力処理、
を行わせる、
ことを特徴とするプログラム。
【請求項８】
データレート調整装置とデータ送信装置とを有するデータ配信システムであって、
該データ送信装置は、
入力されたデータ列を送信する送信手段と、
該送信手段が送信するデータ列に、同一値のビットが所定個数連続している所定ビット列が含まれていた場合に、該同一値のビットとは異なる値のビットを、該データ列における該所定ビット列の次に挿入しておくビットスタッフィング手段と、
を有しており、
該データレート調整装置は、該所定ビット列とは異なるビット列を、該データ送信装置に入力されるデータ列に追加して、該データ列の配信における配信データレートを調整するデータレート調整手段を有する、
ことを特徴とするデータ配信システム。
【請求項１】
データレート調整装置とデータ送信装置とを有するデータ配信システムにおけるデータレート調整装置であって、
該データ送信装置は、
入力されたデータ列を送信する送信手段と、
該送信手段が送信するデータ列に、同一値のビットが所定個数連続している所定ビット列が含まれていた場合に、該同一値のビットとは異なる値のビットを、該データ列における該所定ビット列の次に挿入しておくビットスタッフィング手段と、
を有しており、
該データレート調整装置は、該所定ビット列とは異なるビット列を、該データ送信装置に入力されるデータ列に追加して、該データ列の配信における配信データレートを調整するデータレート調整手段を有する、
ことを特徴とするデータレート調整装置。
【請求項２】
該所定ビット列は、該送信手段が送信するデータ列に追加される、フラグ同期制御でのデータ列伝送に使用するフラグであることを特徴とする請求項１に記載のデータレート調整装置。
【請求項３】
該データ列は、ＭＰＥＧ−２システム規格においてデータ多重化方式として規定されているであるトランスポートストリームであり、
該データレート調整手段は、該所定ビット列を含まないビット列がペイロードに格納されているトランスポートストリームパケットを該トランスポートストリームに追加して、該配信データレートを調整する、
ことを特徴とする請求項１又は２に記載のデータレート調整装置。
【請求項４】
該データ列は、符号化された映像データが格納されている、Ｈ．２６４規格で規定されているＮＡＬ（Network Abstraction Layer）ユニットの集合体であり、
該データレート調整手段は、該所定ビット列を含まないビット列が格納されているＮＡＬユニットを、該データ列であるＮＡＬユニットの集合体に追加して、該配信データレートを調整する、
ことを特徴とする請求項１又は２に記載のデータレート調整装置。
【請求項５】
該データレート調整手段は、Ｈ．２６４規格で規定されているＮＡＬユニットの種類のうちのひとつであるＳＥＩ（Supplemental Enhancement Information）ＮＡＬに、該所定ビット列を含まないビット列を格納したものを、該データ列であるＮＡＬユニットの集合体に追加して、該配信データレートを調整することを特徴とする請求項４に記載のデータレート調整装置。
【請求項６】
該データレート調整手段は、Ｈ．２６４規格で未定義とされている種類のＮＡＬユニットのペイロードに、該所定ビット列を含まないビット列を格納したものを、該データ列であるＮＡＬユニットの集合体に追加して、該配信データレートを調整することを特徴とする請求項４に記載のデータレート調整装置。
【請求項７】
データレート調整装置とデータ送信装置とを有するデータ配信システムにおけるデータレート調整装置として演算処理装置を機能させるためのプログラムであって、
該データ送信装置は、
入力されたデータ列を送信する送信手段と、
該送信手段が送信するデータ列に、同一値のビットが所定個数連続している所定ビット列が含まれていた場合に、該同一値のビットとは異なる値のビットを、該データ列における該所定ビット列の次に挿入しておくビットスタッフィング手段と、
を有しており、
該演算処理装置に、
該所定ビット列とは異なるビット列を作成する作成処理、
データ列の入力を取得する取得処理、
該取得処理で取得したデータ列に、該所定ビット列とは異なるビット列を追加して、該データ列の配信における配信データレートを調整するデータレート調整処理、及び、
該データレート調整処理による調整後のデータ列を出力して該データ送信装置に入力させる出力処理、
を行わせる、
ことを特徴とするプログラム。
【請求項８】
データレート調整装置とデータ送信装置とを有するデータ配信システムであって、
該データ送信装置は、
入力されたデータ列を送信する送信手段と、
該送信手段が送信するデータ列に、同一値のビットが所定個数連続している所定ビット列が含まれていた場合に、該同一値のビットとは異なる値のビットを、該データ列における該所定ビット列の次に挿入しておくビットスタッフィング手段と、
を有しており、
該データレート調整装置は、該所定ビット列とは異なるビット列を、該データ送信装置に入力されるデータ列に追加して、該データ列の配信における配信データレートを調整するデータレート調整手段を有する、
ことを特徴とするデータ配信システム。
【図１】
【図２】
【図４】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１Ａ】
【図１１Ｂ】
【図１２Ａ】
【図１２Ｂ】
【図１３】
【図１４】
【図１５】
【図１６Ａ】
【図１６Ｂ】
【図１７Ａ】
【図１７Ｂ】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図３】
【図５】
【図２】
【図４】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１Ａ】
【図１１Ｂ】
【図１２Ａ】
【図１２Ｂ】
【図１３】
【図１４】
【図１５】
【図１６Ａ】
【図１６Ｂ】
【図１７Ａ】
【図１７Ｂ】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図３】
【図５】
【公開番号】特開２０１１−２３９６５（Ｐ２０１１−２３９６５Ａ）
【公開日】平成２３年２月３日（２０１１．２．３）
【国際特許分類】
【出願番号】特願２００９−１６７０５８（Ｐ２００９−１６７０５８）
【出願日】平成２１年７月１５日（２００９．７．１５）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２３年２月３日（２０１１．２．３）
【国際特許分類】
【出願日】平成２１年７月１５日（２００９．７．１５）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]