ストリームデータ生成方法、ストリームデータ生成プログラム、およびストリームデータ生成装置
【課題】圧縮符号化済みの複数のストリームデータを容易に合成できるようにする。
【解決手段】時間情報取得手段１０４は合成元の第１ストリームデータ（ａ）に含まれるパックからオーディオパックを除去してストリームデータ（ａ’）を出力し、パックヘッダに含まれる時間情報を抽出して抽出時間情報を出力する。パック抜取手段１０５は合成しようとするオーディオパックを第２ストリームデータ（ｂ）から抜き取り抜き取りデータ（ｃ）として出力する。パック変換手段１０６は抜き取りデータ（ｃ）の各パックのパックヘッダに含まれる時間情報を抽出時間情報に基づいて第１ストリームデータ（ａ）に対応する時間情報に変換し、変換データ（ｄ）を出力するとともに、所定のタイミングで挿入制御信号を出力する。パック挿入手段１０７は、ストリームデータ（ａ’）に変換データ（ｄ）の各パックを挿入する。
【解決手段】時間情報取得手段１０４は合成元の第１ストリームデータ（ａ）に含まれるパックからオーディオパックを除去してストリームデータ（ａ’）を出力し、パックヘッダに含まれる時間情報を抽出して抽出時間情報を出力する。パック抜取手段１０５は合成しようとするオーディオパックを第２ストリームデータ（ｂ）から抜き取り抜き取りデータ（ｃ）として出力する。パック変換手段１０６は抜き取りデータ（ｃ）の各パックのパックヘッダに含まれる時間情報を抽出時間情報に基づいて第１ストリームデータ（ａ）に対応する時間情報に変換し、変換データ（ｄ）を出力するとともに、所定のタイミングで挿入制御信号を出力する。パック挿入手段１０７は、ストリームデータ（ａ’）に変換データ（ｄ）の各パックを挿入する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、既存のプログラムストリーム等と称されるストリームデータを合成して新規のストリームデータを生成するストリームデータ生成方法や装置に関するものである。
【背景技術】
【０００２】
例えば、ビデオデータとオーディオデータとが多重化されたストリームデータなどの処理において、いわゆるアフレコ（アフターレコーディング）と呼ばれるような、元のオーディオデータとは異なるオーディオデータを再生できるようなストリームデータを生成する場合がある。そのようなストリームデータを生成する装置としては、例えば図９に示すように、オーディオデータとビデオデータとが多重化された多重化ファイルを生成する際に、上記オーディオデータと対応した時間情報を有する他のオーディオデータから成るオフレコ音声ファイルを生成する圧縮符号化装置６１００が知られている（例えば、特許文献１参照。）。
【０００３】
上記圧縮符号化装置６１００は、ビデオ符号化器６１１０と、オーディオ符号化器６１２０と、多重化器６１３０とから構成され、ビデオ信号と、そのビデオ信号に同期した第１のオーディオ信号および第２のオーディオ信号が入力されることによって、ＡＶ多重化ファイル６２００とアフレコ音声ファイル６２１０とを出力するようになっている。また、これらのファイルからビデオ信号とそのビデオ信号に同期したオーディオ信号を再生する圧縮復号化装置６３００は、分離器６３１０と、信号切替器６３２０と、ビデオ復号化器６３３０と、オーディオ復号化器６３４０とから構成される。
【０００４】
より詳しくは、圧縮符号化装置６１００では、ビデオ符号化器６１１０は、ビデオ信号が入力されると、これを圧縮符号化し、多重化器６１３０に出力する。また、オーディオ符号化器６１２０は、前記のビデオ信号と同期関係にあるオーディオ信号が入力されると、これを圧縮符号化し、多重化器６１３０に出力する。多重化器６１３０は、ビデオ符号化器６１１０の出力信号と、オーディオ符号化器６１２０の出力信号を多重化し、ＡＶ多重化ファイル６２００として出力する。また、オーディオ符号化器６１２０は、さらに、同様にビデオ信号と同期関係にある他のオーディオ信号をアフレコ音声ファイル６２１０として出力する。
【０００５】
一方、圧縮復号化装置６３００では、分離器６３１０は、ＡＶ多重化ファイル６２００が入力されると、これをビデオ圧縮信号とオーディオ圧縮信号に分離する。そしてビデオ圧縮信号をビデオ復号化器６３３０に出力し、オーディオ圧縮信号を信号切替器６３２０に出力する。ビデオ復号化器６３３０は、上記ビデオ圧縮信号が入力されると、ビデオ復号を行い、ビデオ信号を出力する。また、信号切替器６３２０は、上記分離器６３１０からのオーディオ圧縮信号と、外部からのアフレコ音声ファイル６２１０とが入力されると、何れか一方を選択的に切り替えて、切替オーディオ圧縮信号としてオーディオ復号化器６３４０に出力する。オーディオ復号化器６３４０は、上記切替オーディオ圧縮信号が入力されると、オーディオ復号を行い、オーディオ信号を出力する。
【特許文献１】特開２００３−１９９０４５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上記のような圧縮符号化装置６１００、および圧縮復号化装置６３００を用いれば、ＡＶ多重化ファイル６２００とアフレコ音声ファイル６２１０とを生成し、ＡＶ多重化ファイル６２００中のビデオ信号と同期させて、多重化されているオーディオ信号とは異なるオーディオ信号を再生することができる。
【０００７】
しかしながら、上記のようなアフレコ音声ファイル６２１０は、上記異なるオーディオ信号をビデオ信号と同期させるために、ＡＶ多重化ファイル６２００と同時に符号化して生成する必要があり、必ず圧縮符号化装置を必要とする。また、再生する際にも、上記のような信号切替器６３２０を備えた専用の圧縮復号化装置６３００を用いる必要がある。
【０００８】
したがって、従来の装置は、規模が大きくなりがちであるとともに、データの汎用性が低いという問題点を有していた。
【０００９】
本発明は、上記のような従来の問題点を解決するもので、既に圧縮符号化済みの複数のストリームデータ（プログラムストリーム）から新たなストリームデータを生成できるようにして、圧縮符号化装置を必要とせず、装置の規模を容易に低減できるとともに、汎用性の高いストリームデータを生成できるようにすることを目的としている。
【課題を解決するための手段】
【００１０】
上記の課題を解決するため、請求項１の発明は、
それぞれ、所定の符号化単位における複数の単位データから成る第１のストリームデータと、第２のストリームデータとを合成して、第３のストリームデータを生成するストリームデータ生成方法であって、
上記第１のストリームデータに含まれる第１の単位データから時間情報を抽出し、抽出時間情報として出力する時間情報抽出ステップと、
上記第２のストリームデータから、その第２のストリームデータに含まれる第２の単位データを取り出す単位データ取り出しステップと、
上記抽出時間情報に基づいて、上記第２の単位データに含まれる時間情報を変更し、変換後単位データとして出力する変換ステップと、
上記第１のストリームデータに上記変換後単位データを合成し、第３のストリームデータとして出力する合成ステップと、
を有することを特徴とする。
【００１１】
また、請求項２の発明は、
請求項１のストリームデータ生成方法であって、
上記第１のストリームデータ、および第２のストリームデータは、それぞれ、複数種類の単位データを含み、
上記時間情報が抽出される第１の単位データの種類、および第２のストリームデータから取り出される第２の単位データの種類が、所定の指示信号に応じて指定されることを特徴とする。
【００１２】
また、請求項３の発明は、
請求項２のストリームデータ生成方法であって、
上記第１の単位データの種類、および第２の単位データの種類は、同じ種類であり、
上記合成ステップは、第１のストリームデータに含まれる上記第１の単位データを、上記変換後単位データに置換することを特徴とする。
【００１３】
また、請求項４の発明は、
請求項２のストリームデータ生成方法であって、
上記第１の単位データの種類、および第２の単位データの種類は、互いに異なる種類であり、
上記合成ステップは、上記第１のストリームデータに、上記変換後単位データを挿入することを特徴とする。
【００１４】
また、請求項５の発明は、
請求項４のストリームデータ生成方法であって、
上記第１の単位データは、音声データである一方、第２の単位データは、副映像データであることを特徴とする。
【００１５】
これらにより、圧縮符号化装置などを用いることなく、既に圧縮符号化済みの複数のストリームデータが、時間情報が変換されて合成され、新たなストリームデータが生成される。
【００１６】
また、請求項６の発明は、
請求項１のストリームデータ生成方法であって、
上記変換ステップは、所定のタイミングにおいて、上記第２の単位データに含まれる時間情報を、上記第１のストリームデータからの抽出時間情報に変更し、その後のタイミングにおいては、各タイミングでの時間情報変更前後の時間差が、上記所定のタイミングでの時間情報変更前後の時間差と等しくなるように、時間情報の変更を行うことを特徴とする。
【００１７】
これにより、合成される第２の単位データの時間情報が第１のストリームデータに対応した時間情報に変更されて、合成が行われる。
【００１８】
また、請求項７の発明は、
請求項６のストリームデータ生成方法であって、
上記合成ステップは、上記第１の単位データから抽出された抽出時間情報によって示される時間、または上記時間に所定のオフセット時間を加算した時間よりも、
上記第２の単位データにおける変換後の時間情報によって示される時間の方が、
遅い時間である場合に、上記変換後単位データの合成を保留する一方、
早い時間である場合に、上記変換後単位データの合成を行うことを特徴とする。
【００１９】
また、請求項８の発明は、
請求項７のストリームデータ生成方法であって、
上記所定のオフセット時間は、ストリームデータにおける所定の符号化単位に相当する時間であることを特徴とする。
【００２０】
これらにより、適切なタイミングで合成が行われる。
【００２１】
また、請求項９の発明は、
請求項６のストリームデータ生成方法であって、
上記変換ステップは、所定の周期ごとの所定のタイミングにおいて、上記第２の単位データに含まれる時間情報から上記第１のストリームデータの抽出時間情報への変更を行うことを特徴とする。
【００２２】
これにより、各ストリームデータを生成した装置のシステムタイムクロックにずれがある場合などでも、時間情報が適切に変更される。
【００２３】
また、請求項１０の発明は、
請求項１のストリームデータ生成方法であって、
上記第１の単位データは、複数の副単位データとヘッダ情報とを含むものであって、
上記時間情報抽出ステップは、上記ヘッダ情報に時間情報が含まれていない場合に、上記副単位データを解析して、その副単位データに含まれる時間情報を抽出することを特徴とする。
【００２４】
また、請求項１１の発明は、
請求項１のストリームデータ生成方法であって、
上記第２の単位データは、複数の副単位データとヘッダ情報とを含むものであって、
上記変換ステップは、上記ヘッダ情報に時間情報が含まれていない場合に、上記副単位データを解析して、その副単位データに含まれる時間情報を変更することを特徴とする。
【００２５】
これらにより、第１、第２の単位データに時間情報が含まれていないような場合でも、適切な時間情報の変更や合成が行われる。
【発明の効果】
【００２６】
本発明によれば、既に圧縮符号化済みの複数のストリームデータから新たなストリームデータを生成できるので、圧縮符号化装置を必要とせず、装置の規模を容易に低減できるとともに、汎用性の高いストリームデータを生成することができる。
【発明を実施するための最良の形態】
【００２７】
以下、本発明の実施形態として、例えばＭＰＥＧ−２（Moving Picture Experts Group）のプログラムストリームのように、複数のパック（単位データ）を含むストリームデータを合成して新たなストリームデータを生成する場合の例を図面に基づいて詳細に説明する。
【００２８】
《発明の実施形態１》
ストリームデータ生成装置は、図１に示すように、時間情報取得手段１０４、パック抜取手段１０５、パック変換手段１０６、およびパック挿入手段１０７を備えて構成されている。このような、ストリームデータ生成装置は、具体的には、ハードウェアによって構成してもよいし、コンピュータに上記各部に相当する処理を行うプログラムを組み込むことによって構成してもよい。特に、パーソナルコンピュータを用いるようにすれば、ユーザが好みの編集を行うといった用途にも使用可能である。
【００２９】
時間情報取得手段１０４は、合成する元となる第１ストリームデータ（ａ）が第１ストリームデータ入力端子１０２を介して入力されると、その第１ストリームデータ（ａ）に含まれるパックのうち、データ種別指示信号入力端子１０１から入力される置換データ種別指示信号によって示されるパック（例えばオーディオパック）を除去したストリームデータ（ａ’）を出力するとともに、上記除去したパックのパックヘッダに含まれる時間情報（例えばＰＴＳ：Presentation Time Stamp）を抽出し、抽出時間情報として出力するようになっている。なお、時間情報取得手段１０４は第１ストリームデータ（ａ）をそのまま出力し、パック挿入手段１０７でオーディオパック等の除去が行われるようにするなどしてもよい。
【００３０】
パック抜取手段１０５は、合成しようとするパック（例えばオーディオパック）を含む第２ストリームデータ（ｂ）が第２ストリームデータ入力端子１０３を介して入力されると、上記置換データ種別指示信号によって示されるパックを抜き取り、抜き取りデータ（ｃ）として出力するようになっている。
【００３１】
パック変換手段１０６は、上記パック抜取手段１０５によって抜き取られたパックのパックヘッダに含まれる時間情報を、時間情報取得手段１０４によって抽出された抽出時間情報に基づいて、第１ストリームデータ（ａ）に対応する時間情報に変換した変換データ（ｄ）を出力するとともに、挿入制御信号を出力するようになっている。なお、上記時間情報の変換については後に詳述する。ここで、時間情報の変換が行われた変換データ（ｄ）を直ちに出力せずに一旦保持して、ストリームデータ（ａ’）に挿入すべきタイミングで出力するようにしたりしてもよい。この場合には、上記挿入制御信号は出力されるようにしなくてもよい。
【００３２】
パック挿入手段１０７は、上記挿入制御信号に応じて、ストリームデータ（ａ’）に変換データ（ｄ）の各パックを挿入し、出力ストリームデータ（ｅ）としてストリームデータ出力端子１０８から出力するようになっている。
【００３３】
上記のように構成されたストリームデータ生成装置の動作について、図２に示すようにそれぞれビデオパックとオーディオパックとを含む第１、第２ストリームデータ（ａ）（ｂ）が入力され、第１ストリームデータ（ａ）のオーディオパックが第２ストリームデータ（ｂ）のオーディオパックに置換される場合の例を説明する。ここで、上記第１、第２ストリームデータ（ａ）（ｂ）の各オーディオパックには、時間情報Ｔ００、Ｔ０１、Ｔ０２…、または時間情報Ｔ１０、Ｔ１１、Ｔ１２…が含まれているとする。（時間情報はビデオパックにも同様に含まれているが、ここでは省略する。）
時間情報取得手段１０４は、データ種別指示信号入力端子１０１からオーディオパックを示す指示信号が入力されると、第１ストリームデータ（ａ）からオーディオパックを除いたストリームデータ（ａ’）をパック挿入手段１０７に出力する。また、上記オーディオパックの時間情報Ｔ００、Ｔ０１、Ｔ０２…を抽出して、パック変換手段１０６に出力する。
【００３４】
パック抜取手段１０５は、データ種別指示信号入力端子１０１から入力されたオーディオパックを示す指示信号に応じて、第２ストリームデータ（ｂ）からオーディオパックを抜き取り、オーディオパックだけから成る抜き取りデータ（ｃ）をパック変換手段１０６に出力する。
【００３５】
パック変換手段１０６は、所定の（最初の）タイミングで入力された抜き取りデータ（ｃ）のオーディオパックの時間情報Ｔ１０を、対応する第１ストリームデータ（ａ）のオーディオパックからの抽出時間情報Ｔ００に置き換える。また、その後のタイミングで入力される抜き取りデータの各オーディオパックについては、それぞれの時間情報Ｔ１１、Ｔ１２…に上記最初のオーディオパックについての置き換え前後の時間情報の差分（Ｔ００−Ｔ１０）を加えて、変換後時間情報Ｔ１（＝Ｔ１１＋Ｔ００−Ｔ１０）、Ｔ２（＝Ｔ１２＋Ｔ００−Ｔ１０）とした変換データ（ｄ）をパック挿入手段１０７に出力する。すなわち、各変換後時間情報Ｔ００、Ｔ１、Ｔ２…の相対関係が、変換前の時間情報Ｔ１０、Ｔ１１、Ｔ１２…と等しく、かつ、第１ストリームデータ（ａ）に対応する変換後時間情報を含むオーディオパックが出力される。
【００３６】
パック変換手段１０６は、また、時間情報取得手段１０４によって第１ストリームデータ（ａ）の各オーディオパックから抽出された抽出時間情報と、パック変換手段１０６によって変換された変換後時間情報とに基づいて、挿入制御信号をパック挿入手段１０７に出力する。より詳しくは、図３に示すように、時間情報が変換されたオーディオパックの変換後時間情報（によって示される時間）が、抽出時間情報に所定の（１５〜３０ｍｓｅｃなどの）オフセット時間αを加算した時間以前である場合には、上記オーディオパックを出力する際に、挿入制御信号を出力する一方、そうでない場合には、上記挿入制御信号の出力を保留する。ここで、上記オフセット時間αは、必ずしも加算しなくてもよいが、例えば所定の符号化単位に相当する時間、すなわち、ＭＰＥＧ−２のオーディオデータの場合であれば、ブロック化されて１フレームとして処理される所定のサンプル数に対応する時間などに設定すれば、通常、デコード処理等におけるオーディオバッファとビデオバッファとのバランス等を適切に保つことが容易にできる。
【００３７】
具体的には、図２、図３の例では、第２ストリームデータ（ｂ）の最初のオーディオパックについて置き換えられた抽出時間情報Ｔ００は、Ｔ００＋αよりも早い時間なので、パック変換手段１０６は上記オーディオパックとともに挿入制御信号を出力する。そこで、パック挿入手段１０７は上記オーディオパックを時間情報取得手段１０４から出力されるストリームデータ（ａ’）に挿入して、ストリームデータ出力端子１０８から出力する。（なお、上記のように最初のオーディオパックについて抽出時間情報Ｔ００への置き換えが行われる場合には、上記のような時間の比較を行うことなく必ず挿入制御信号が出力されるようにしてもよい。）
また、次に、変換後時間情報がＴ１の２番目のオーディオパックがパック変換手段１０６から出力される際に、時間情報取得手段１０４から次の抽出時間情報Ｔ０１が未だ出力されていなかったとすると、上記変換後時間情報Ｔ１は、例えばパック変換手段１０６内に最後に保持されたＴ００＋αと比較され、Ｔ００＋αよりも遅い時間であれば、挿入制御信号は出力されず、その２番目のオーディオパックはパック挿入手段１０７内の図示しないバッファに保持され、挿入が保留される。そこで、この時点で時間情報取得手段１０４からビデオパックが出力されたとすると、そのビデオパックは、そのままパック挿入手段１０７から出力される。
【００３８】
その後、時間情報取得手段１０４から次の抽出時間情報Ｔ０１が出力され、Ｔ０１＋αよりも上記２番目のオーディオパックの変換後時間情報Ｔ１の方が早い時間だと判定されると、パック変換手段１０６から挿入制御信号が出力され、保留されていた２番目のオーディオパックの挿入が行われる。
【００３９】
また、３番目のオーディオパックについての変換後時間情報Ｔ２が、Ｔ０１＋αやその後に入力されたＴ０２＋αよりも遅い時間であれば、同様に３番目のオーディオパックの挿入は保留され、その間に時間情報取得手段１０４から出力されたビデオパックはそのままパック挿入手段１０７から出力される。その後、αを加算した時間がＴ２よりも遅くなるような抽出時間情報が時間情報取得手段１０４から出力されたときに、上記３番目のオーディオパックが挿入されてストリームデータ出力端子１０８から出力される。
【００４０】
上記のように、各パックの時間情報を変換し、適切に制御されたタイミングで挿入して合成することにより、圧縮符号化を必要とせず、既に圧縮符号化済みの複数のストリームデータを種々組み合わせて新たなストリームデータを比較的簡単に生成できる。すなわち、圧縮符号化装置を必要としないので、装置の規模や製造コストを低減することが容易にできる。また、上記のようにして生成されるストリームデータの形式は、元のストリームデータと同じ形式に保つことができるので、ストリームデータの汎用性が損なわれることはなく、特別な処理を持つ圧縮復号化装置でなくても復号が可能で、ビデオ、オーディオ、副映像、文字などが視聴できる。
【００４１】
なお、上記の例では、第１、第２ストリームデータ（ａ）（ｂ）がビデオパックとオーディオパックとを含み、オーディオパックが置き換えられる例を示したが、これに限らず、ストリームデータに含まれるデータや置き換えられるデータの内容は特に限定されるものではない。
【００４２】
また、置き換えが行われるデータの単位がパックであるとして説明したが、これに限らず、時間情報を含む、所定の単位で符号化されたストリームデータであれば、同様にして置き換えを行うことができる。
【００４３】
《発明の実施形態２》
上記のようにオーディオパックの置換が行われるのではなく、副映像パックの挿入が行われる例について説明する。なお、以下の実施形態において、前記実施形態１等と同様の機能を有する構成要素については同一の符号を付して説明を省略する。
【００４４】
ストリームデータ生成装置は、実施形態１のストリームデータ生成装置と比べて、図４に示すように、時間情報取得手段１０４に代えて時間情報取得手段３０４を備えている点が異なっている。
【００４５】
上記時間情報取得手段３０４は、時間情報を抽出するパックのデータ種別が、データ種別指示信号入力端子１０１から入力される挿入データ種別指示信号とは独立に、データ種別指示信号入力端子３０１から入力される時間抽出データ種別指示信号によって指示されるようになっている。また、上記指示に係わらず、第１ストリームデータ入力端子１０２から入力された第１ストリームデータ（ａ）をそのまま出力するようになっている。
【００４６】
上記のように構成されたストリームデータ生成装置では、例えば図５に示すように、ビデオパックとオーディオパックとを含む第１ストリームデータ（ａ）、およびビデオパックと副映像（ＳＰＵ）パックとを含む第２ストリームデータ（ｂ）が入力されるとともに、データ種別指示信号入力端子１０１から副映像パックの挿入を示す挿入データ種別指示信号が入力され、データ種別指示信号入力端子３０１からオーディオパックを示す時間抽出データ種別指示信号が入力されたとすると、次のような動作が行われる。
【００４７】
時間情報取得手段３０４は、第１ストリームデータ（ａ）をそのまま出力する。また、時間抽出データ種別指示信号に応じて、第１ストリームデータ（ａ）に含まれる各オーディオパックの時間情報を抽出して出力する。
【００４８】
パック抜取手段１０５は、挿入データ種別指示信号に応じて、第２ストリームデータ（ｂ）に含まれる副映像パックを抜き取り、抜き取りデータ（ｃ）として出力する。
【００４９】
パック変換手段１０６は、実施形態１の場合と同様に、上記抜き取りデータ（ｃ）の副映像パックの時間情報Ｔ１０、Ｔ１１、Ｔ１２、Ｔ１３…を変換後時間情報Ｔ００、Ｔ１、Ｔ２、Ｔ３…に変換した変換データ（ｄ）を出力する。また、上記変換後時間情報Ｔ００、Ｔ１、Ｔ２、Ｔ３…と、時間情報取得手段３０４から出力される抽出時間情報Ｔ００、Ｔ０１、Ｔ２…とに基づいて、実施形態１で説明したのと同様に挿入制御信号を出力する。
【００５０】
パック挿入手段１０７は、上記挿入制御信号に応じて、第１ストリームデータ（ａ）に変換データ（ｄ）の副映像パックを挿入し、ビデオパックおよびオーディオパックに加えて副映像パックを含む出力ストリームデータ（ｅ）をストリームデータ出力端子１０８から出力する。
【００５１】
上記のように、挿入データ種別指示信号と時間抽出データ種別指示信号とが独立して与えられるようにすることにより、元のストリームデータに含まれていない種類のデータを追加することが容易にできる。
【００５２】
《発明の実施形態３》
第１、第２ストリームデータ（ａ）（ｂ）を構成するパックのパックヘッダに時間情報が含まれていない場合でも、ストリームデータの合成を行える場合の例について説明する。
【００５３】
ストリームデータ生成装置は、実施形態１のストリームデータ生成装置と比べて、図６に示すように、時間情報取得手段１０４およびパック変換手段１０６に代えて、時間情報取得手段４０４およびパック変換手段４０６を備えている点が異なっている。
【００５４】
時間情報取得手段４０４は、図７に示すように、第１ストリームデータ入力端子１０２から第１ストリームデータ（ａ）として入力された、例えばＭＰＥＧ−２のプログラムストリームにおけるパックのパックヘッダに時間情報（例えばＴ００）が含まれている場合には、実施形態１と同様にパックヘッダの時間情報を抽出する一方、パックヘッダに時間情報が含まれていない場合には、パック内部のパケットを解析して、パケットヘッダに含まれる時間情報（例えばＴ０１）を抽出するようになっている。
【００５５】
また、パック変換手段４０６は、第２ストリームデータ入力端子１０３から第２ストリームデータ（ｂ）として入力された、例えばＭＰＥＧ−２のプログラムストリームにおけるパックのパックヘッダに時間情報（例えばＴ１０）が含まれている場合には、実施形態１と同様にパックヘッダの時間情報を変換する一方、パックヘッダに時間情報が含まれていない場合には、パック内部のパケットを解析して、パケットヘッダに含まれる時間情報（例えばＴ１１）を変換するようになっている。
【００５６】
上記のように、パックヘッダに時間情報が含まれていない場合でも、パックの内部を解析して時間情報を取得できるようにすることにより、種々のストリームデータに対して柔軟に合成を行うことができる。
【００５７】
《発明の実施形態４》
２つのストリームデータが互いに異なる装置によって生成された場合などには、時間情報の基準となる各装置のシステムタイムクロックが正確には一致しないために、同時刻に対応する時間情報の値にずれを生じることがある。すなわち、いわゆるクロックのロックがかかっていない状態に等しいことになる。
【００５８】
そこで、例えば図８に示すように、実施形態１のパック変換手段１０６に代えてパック変換手段５０６を設け、リフレッシュとして定期的に時間情報の上書きを行うことによって、上記のようなずれの影響を回避することができる。具体的には、パック変換手段５０６は、抜き取りデータ（ｃ）から変換データ（ｄ）を生成する際に、例えば図９に示すように、まず３つ目までのオーディオパックについては、前記実施形態１等と同様に時間情報Ｔ１０から第１ストリームデータの抽出時間情報Ｔ００への置き換え（１つ目）、および時間情報Ｔ１１、Ｔ１２からＴ１（＝Ｔ１１＋Ｔ００−Ｔ１０）、Ｔ２（＝Ｔ１２＋Ｔ００−Ｔ１０）への置き換えを行う。その後、４つ目のオーディオパックについては、時間情報Ｔ１３をＴ１３＋Ｔ００−Ｔ１０ではなく、１つ目の場合と同じように、第１ストリームデータからの抽出時間情報Ｔ０３に置き換える。このように、定期的に第１ストリームデータ（ａ）の時間情報に置換することによって、システムタイムクロックのずれが吸収されるので、長時間にわたって、時間情報の整合性を確保することができる。
【００５９】
なお、上記各実施形態や変形例で説明した構成は、論理的に可能な範囲で種々組み合わせてもよい。具体的には、例えば、実施形態３で説明したようなパケットを解析して時間情報の変更などをする構成を実施形態２のように異種のパックを挿入する装置に適用してもよく、また、実施形態４で説明したような時間情報がリフレッシュされる構成を実施形態２、３などの構成に適用したりしてもよい。
【産業上の利用可能性】
【００６０】
本発明にかかるストリームデータ生成方法は、既に圧縮符号化済みの複数のストリームデータから新たなストリームデータを生成できるので、圧縮符号化装置を必要とせず、装置の規模を容易に低減できるとともに、汎用性の高いストリームデータを生成することができる効果を有し、既存のプログラムストリーム等と称されるストリームデータを合成して新規のストリームデータを生成するストリームデータ生成装置等として有用である。
【図面の簡単な説明】
【００６１】
【図１】実施形態１のストリームデータ生成装置の構成を示すブロック図である。
【図２】同、各部の入出力データの例を示す説明図である。
【図３】同、変換後時間情報とパックの挿入タイミングの関係を示す説明図である。
【図４】実施形態２のストリームデータ生成装置の構成を示すブロック図である。
【図５】同、各部の入出力データの例を示す説明図である。
【図６】実施形態３のストリームデータ生成装置の構成を示すブロック図である。
【図７】同、各部の入出力データの例を示す説明図である。
【図８】実施形態４のストリームデータ生成装置の構成を示すブロック図である。
【図９】同、各部の入出力データの例を示す説明図である。
【図１０】従来のストリームデータ生成装置等の構成を示すブロック図である。
【符号の説明】
【００６２】
１０１ データ種別指示信号入力端子
１０２ 第１ストリームデータ入力端子
１０３ 第２ストリームデータ入力端子
１０４ 時間情報取得手段
１０５ パック抜取手段
１０６ パック変換手段
１０７ パック挿入手段
１０８ ストリームデータ出力端子
３０１ データ種別指示信号入力端子
３０４ 時間情報取得手段
４０４ 時間情報取得手段
４０６ パック変換手段
５０６ パック変換手段
【技術分野】
【０００１】
本発明は、既存のプログラムストリーム等と称されるストリームデータを合成して新規のストリームデータを生成するストリームデータ生成方法や装置に関するものである。
【背景技術】
【０００２】
例えば、ビデオデータとオーディオデータとが多重化されたストリームデータなどの処理において、いわゆるアフレコ（アフターレコーディング）と呼ばれるような、元のオーディオデータとは異なるオーディオデータを再生できるようなストリームデータを生成する場合がある。そのようなストリームデータを生成する装置としては、例えば図９に示すように、オーディオデータとビデオデータとが多重化された多重化ファイルを生成する際に、上記オーディオデータと対応した時間情報を有する他のオーディオデータから成るオフレコ音声ファイルを生成する圧縮符号化装置６１００が知られている（例えば、特許文献１参照。）。
【０００３】
上記圧縮符号化装置６１００は、ビデオ符号化器６１１０と、オーディオ符号化器６１２０と、多重化器６１３０とから構成され、ビデオ信号と、そのビデオ信号に同期した第１のオーディオ信号および第２のオーディオ信号が入力されることによって、ＡＶ多重化ファイル６２００とアフレコ音声ファイル６２１０とを出力するようになっている。また、これらのファイルからビデオ信号とそのビデオ信号に同期したオーディオ信号を再生する圧縮復号化装置６３００は、分離器６３１０と、信号切替器６３２０と、ビデオ復号化器６３３０と、オーディオ復号化器６３４０とから構成される。
【０００４】
より詳しくは、圧縮符号化装置６１００では、ビデオ符号化器６１１０は、ビデオ信号が入力されると、これを圧縮符号化し、多重化器６１３０に出力する。また、オーディオ符号化器６１２０は、前記のビデオ信号と同期関係にあるオーディオ信号が入力されると、これを圧縮符号化し、多重化器６１３０に出力する。多重化器６１３０は、ビデオ符号化器６１１０の出力信号と、オーディオ符号化器６１２０の出力信号を多重化し、ＡＶ多重化ファイル６２００として出力する。また、オーディオ符号化器６１２０は、さらに、同様にビデオ信号と同期関係にある他のオーディオ信号をアフレコ音声ファイル６２１０として出力する。
【０００５】
一方、圧縮復号化装置６３００では、分離器６３１０は、ＡＶ多重化ファイル６２００が入力されると、これをビデオ圧縮信号とオーディオ圧縮信号に分離する。そしてビデオ圧縮信号をビデオ復号化器６３３０に出力し、オーディオ圧縮信号を信号切替器６３２０に出力する。ビデオ復号化器６３３０は、上記ビデオ圧縮信号が入力されると、ビデオ復号を行い、ビデオ信号を出力する。また、信号切替器６３２０は、上記分離器６３１０からのオーディオ圧縮信号と、外部からのアフレコ音声ファイル６２１０とが入力されると、何れか一方を選択的に切り替えて、切替オーディオ圧縮信号としてオーディオ復号化器６３４０に出力する。オーディオ復号化器６３４０は、上記切替オーディオ圧縮信号が入力されると、オーディオ復号を行い、オーディオ信号を出力する。
【特許文献１】特開２００３−１９９０４５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上記のような圧縮符号化装置６１００、および圧縮復号化装置６３００を用いれば、ＡＶ多重化ファイル６２００とアフレコ音声ファイル６２１０とを生成し、ＡＶ多重化ファイル６２００中のビデオ信号と同期させて、多重化されているオーディオ信号とは異なるオーディオ信号を再生することができる。
【０００７】
しかしながら、上記のようなアフレコ音声ファイル６２１０は、上記異なるオーディオ信号をビデオ信号と同期させるために、ＡＶ多重化ファイル６２００と同時に符号化して生成する必要があり、必ず圧縮符号化装置を必要とする。また、再生する際にも、上記のような信号切替器６３２０を備えた専用の圧縮復号化装置６３００を用いる必要がある。
【０００８】
したがって、従来の装置は、規模が大きくなりがちであるとともに、データの汎用性が低いという問題点を有していた。
【０００９】
本発明は、上記のような従来の問題点を解決するもので、既に圧縮符号化済みの複数のストリームデータ（プログラムストリーム）から新たなストリームデータを生成できるようにして、圧縮符号化装置を必要とせず、装置の規模を容易に低減できるとともに、汎用性の高いストリームデータを生成できるようにすることを目的としている。
【課題を解決するための手段】
【００１０】
上記の課題を解決するため、請求項１の発明は、
それぞれ、所定の符号化単位における複数の単位データから成る第１のストリームデータと、第２のストリームデータとを合成して、第３のストリームデータを生成するストリームデータ生成方法であって、
上記第１のストリームデータに含まれる第１の単位データから時間情報を抽出し、抽出時間情報として出力する時間情報抽出ステップと、
上記第２のストリームデータから、その第２のストリームデータに含まれる第２の単位データを取り出す単位データ取り出しステップと、
上記抽出時間情報に基づいて、上記第２の単位データに含まれる時間情報を変更し、変換後単位データとして出力する変換ステップと、
上記第１のストリームデータに上記変換後単位データを合成し、第３のストリームデータとして出力する合成ステップと、
を有することを特徴とする。
【００１１】
また、請求項２の発明は、
請求項１のストリームデータ生成方法であって、
上記第１のストリームデータ、および第２のストリームデータは、それぞれ、複数種類の単位データを含み、
上記時間情報が抽出される第１の単位データの種類、および第２のストリームデータから取り出される第２の単位データの種類が、所定の指示信号に応じて指定されることを特徴とする。
【００１２】
また、請求項３の発明は、
請求項２のストリームデータ生成方法であって、
上記第１の単位データの種類、および第２の単位データの種類は、同じ種類であり、
上記合成ステップは、第１のストリームデータに含まれる上記第１の単位データを、上記変換後単位データに置換することを特徴とする。
【００１３】
また、請求項４の発明は、
請求項２のストリームデータ生成方法であって、
上記第１の単位データの種類、および第２の単位データの種類は、互いに異なる種類であり、
上記合成ステップは、上記第１のストリームデータに、上記変換後単位データを挿入することを特徴とする。
【００１４】
また、請求項５の発明は、
請求項４のストリームデータ生成方法であって、
上記第１の単位データは、音声データである一方、第２の単位データは、副映像データであることを特徴とする。
【００１５】
これらにより、圧縮符号化装置などを用いることなく、既に圧縮符号化済みの複数のストリームデータが、時間情報が変換されて合成され、新たなストリームデータが生成される。
【００１６】
また、請求項６の発明は、
請求項１のストリームデータ生成方法であって、
上記変換ステップは、所定のタイミングにおいて、上記第２の単位データに含まれる時間情報を、上記第１のストリームデータからの抽出時間情報に変更し、その後のタイミングにおいては、各タイミングでの時間情報変更前後の時間差が、上記所定のタイミングでの時間情報変更前後の時間差と等しくなるように、時間情報の変更を行うことを特徴とする。
【００１７】
これにより、合成される第２の単位データの時間情報が第１のストリームデータに対応した時間情報に変更されて、合成が行われる。
【００１８】
また、請求項７の発明は、
請求項６のストリームデータ生成方法であって、
上記合成ステップは、上記第１の単位データから抽出された抽出時間情報によって示される時間、または上記時間に所定のオフセット時間を加算した時間よりも、
上記第２の単位データにおける変換後の時間情報によって示される時間の方が、
遅い時間である場合に、上記変換後単位データの合成を保留する一方、
早い時間である場合に、上記変換後単位データの合成を行うことを特徴とする。
【００１９】
また、請求項８の発明は、
請求項７のストリームデータ生成方法であって、
上記所定のオフセット時間は、ストリームデータにおける所定の符号化単位に相当する時間であることを特徴とする。
【００２０】
これらにより、適切なタイミングで合成が行われる。
【００２１】
また、請求項９の発明は、
請求項６のストリームデータ生成方法であって、
上記変換ステップは、所定の周期ごとの所定のタイミングにおいて、上記第２の単位データに含まれる時間情報から上記第１のストリームデータの抽出時間情報への変更を行うことを特徴とする。
【００２２】
これにより、各ストリームデータを生成した装置のシステムタイムクロックにずれがある場合などでも、時間情報が適切に変更される。
【００２３】
また、請求項１０の発明は、
請求項１のストリームデータ生成方法であって、
上記第１の単位データは、複数の副単位データとヘッダ情報とを含むものであって、
上記時間情報抽出ステップは、上記ヘッダ情報に時間情報が含まれていない場合に、上記副単位データを解析して、その副単位データに含まれる時間情報を抽出することを特徴とする。
【００２４】
また、請求項１１の発明は、
請求項１のストリームデータ生成方法であって、
上記第２の単位データは、複数の副単位データとヘッダ情報とを含むものであって、
上記変換ステップは、上記ヘッダ情報に時間情報が含まれていない場合に、上記副単位データを解析して、その副単位データに含まれる時間情報を変更することを特徴とする。
【００２５】
これらにより、第１、第２の単位データに時間情報が含まれていないような場合でも、適切な時間情報の変更や合成が行われる。
【発明の効果】
【００２６】
本発明によれば、既に圧縮符号化済みの複数のストリームデータから新たなストリームデータを生成できるので、圧縮符号化装置を必要とせず、装置の規模を容易に低減できるとともに、汎用性の高いストリームデータを生成することができる。
【発明を実施するための最良の形態】
【００２７】
以下、本発明の実施形態として、例えばＭＰＥＧ−２（Moving Picture Experts Group）のプログラムストリームのように、複数のパック（単位データ）を含むストリームデータを合成して新たなストリームデータを生成する場合の例を図面に基づいて詳細に説明する。
【００２８】
《発明の実施形態１》
ストリームデータ生成装置は、図１に示すように、時間情報取得手段１０４、パック抜取手段１０５、パック変換手段１０６、およびパック挿入手段１０７を備えて構成されている。このような、ストリームデータ生成装置は、具体的には、ハードウェアによって構成してもよいし、コンピュータに上記各部に相当する処理を行うプログラムを組み込むことによって構成してもよい。特に、パーソナルコンピュータを用いるようにすれば、ユーザが好みの編集を行うといった用途にも使用可能である。
【００２９】
時間情報取得手段１０４は、合成する元となる第１ストリームデータ（ａ）が第１ストリームデータ入力端子１０２を介して入力されると、その第１ストリームデータ（ａ）に含まれるパックのうち、データ種別指示信号入力端子１０１から入力される置換データ種別指示信号によって示されるパック（例えばオーディオパック）を除去したストリームデータ（ａ’）を出力するとともに、上記除去したパックのパックヘッダに含まれる時間情報（例えばＰＴＳ：Presentation Time Stamp）を抽出し、抽出時間情報として出力するようになっている。なお、時間情報取得手段１０４は第１ストリームデータ（ａ）をそのまま出力し、パック挿入手段１０７でオーディオパック等の除去が行われるようにするなどしてもよい。
【００３０】
パック抜取手段１０５は、合成しようとするパック（例えばオーディオパック）を含む第２ストリームデータ（ｂ）が第２ストリームデータ入力端子１０３を介して入力されると、上記置換データ種別指示信号によって示されるパックを抜き取り、抜き取りデータ（ｃ）として出力するようになっている。
【００３１】
パック変換手段１０６は、上記パック抜取手段１０５によって抜き取られたパックのパックヘッダに含まれる時間情報を、時間情報取得手段１０４によって抽出された抽出時間情報に基づいて、第１ストリームデータ（ａ）に対応する時間情報に変換した変換データ（ｄ）を出力するとともに、挿入制御信号を出力するようになっている。なお、上記時間情報の変換については後に詳述する。ここで、時間情報の変換が行われた変換データ（ｄ）を直ちに出力せずに一旦保持して、ストリームデータ（ａ’）に挿入すべきタイミングで出力するようにしたりしてもよい。この場合には、上記挿入制御信号は出力されるようにしなくてもよい。
【００３２】
パック挿入手段１０７は、上記挿入制御信号に応じて、ストリームデータ（ａ’）に変換データ（ｄ）の各パックを挿入し、出力ストリームデータ（ｅ）としてストリームデータ出力端子１０８から出力するようになっている。
【００３３】
上記のように構成されたストリームデータ生成装置の動作について、図２に示すようにそれぞれビデオパックとオーディオパックとを含む第１、第２ストリームデータ（ａ）（ｂ）が入力され、第１ストリームデータ（ａ）のオーディオパックが第２ストリームデータ（ｂ）のオーディオパックに置換される場合の例を説明する。ここで、上記第１、第２ストリームデータ（ａ）（ｂ）の各オーディオパックには、時間情報Ｔ００、Ｔ０１、Ｔ０２…、または時間情報Ｔ１０、Ｔ１１、Ｔ１２…が含まれているとする。（時間情報はビデオパックにも同様に含まれているが、ここでは省略する。）
時間情報取得手段１０４は、データ種別指示信号入力端子１０１からオーディオパックを示す指示信号が入力されると、第１ストリームデータ（ａ）からオーディオパックを除いたストリームデータ（ａ’）をパック挿入手段１０７に出力する。また、上記オーディオパックの時間情報Ｔ００、Ｔ０１、Ｔ０２…を抽出して、パック変換手段１０６に出力する。
【００３４】
パック抜取手段１０５は、データ種別指示信号入力端子１０１から入力されたオーディオパックを示す指示信号に応じて、第２ストリームデータ（ｂ）からオーディオパックを抜き取り、オーディオパックだけから成る抜き取りデータ（ｃ）をパック変換手段１０６に出力する。
【００３５】
パック変換手段１０６は、所定の（最初の）タイミングで入力された抜き取りデータ（ｃ）のオーディオパックの時間情報Ｔ１０を、対応する第１ストリームデータ（ａ）のオーディオパックからの抽出時間情報Ｔ００に置き換える。また、その後のタイミングで入力される抜き取りデータの各オーディオパックについては、それぞれの時間情報Ｔ１１、Ｔ１２…に上記最初のオーディオパックについての置き換え前後の時間情報の差分（Ｔ００−Ｔ１０）を加えて、変換後時間情報Ｔ１（＝Ｔ１１＋Ｔ００−Ｔ１０）、Ｔ２（＝Ｔ１２＋Ｔ００−Ｔ１０）とした変換データ（ｄ）をパック挿入手段１０７に出力する。すなわち、各変換後時間情報Ｔ００、Ｔ１、Ｔ２…の相対関係が、変換前の時間情報Ｔ１０、Ｔ１１、Ｔ１２…と等しく、かつ、第１ストリームデータ（ａ）に対応する変換後時間情報を含むオーディオパックが出力される。
【００３６】
パック変換手段１０６は、また、時間情報取得手段１０４によって第１ストリームデータ（ａ）の各オーディオパックから抽出された抽出時間情報と、パック変換手段１０６によって変換された変換後時間情報とに基づいて、挿入制御信号をパック挿入手段１０７に出力する。より詳しくは、図３に示すように、時間情報が変換されたオーディオパックの変換後時間情報（によって示される時間）が、抽出時間情報に所定の（１５〜３０ｍｓｅｃなどの）オフセット時間αを加算した時間以前である場合には、上記オーディオパックを出力する際に、挿入制御信号を出力する一方、そうでない場合には、上記挿入制御信号の出力を保留する。ここで、上記オフセット時間αは、必ずしも加算しなくてもよいが、例えば所定の符号化単位に相当する時間、すなわち、ＭＰＥＧ−２のオーディオデータの場合であれば、ブロック化されて１フレームとして処理される所定のサンプル数に対応する時間などに設定すれば、通常、デコード処理等におけるオーディオバッファとビデオバッファとのバランス等を適切に保つことが容易にできる。
【００３７】
具体的には、図２、図３の例では、第２ストリームデータ（ｂ）の最初のオーディオパックについて置き換えられた抽出時間情報Ｔ００は、Ｔ００＋αよりも早い時間なので、パック変換手段１０６は上記オーディオパックとともに挿入制御信号を出力する。そこで、パック挿入手段１０７は上記オーディオパックを時間情報取得手段１０４から出力されるストリームデータ（ａ’）に挿入して、ストリームデータ出力端子１０８から出力する。（なお、上記のように最初のオーディオパックについて抽出時間情報Ｔ００への置き換えが行われる場合には、上記のような時間の比較を行うことなく必ず挿入制御信号が出力されるようにしてもよい。）
また、次に、変換後時間情報がＴ１の２番目のオーディオパックがパック変換手段１０６から出力される際に、時間情報取得手段１０４から次の抽出時間情報Ｔ０１が未だ出力されていなかったとすると、上記変換後時間情報Ｔ１は、例えばパック変換手段１０６内に最後に保持されたＴ００＋αと比較され、Ｔ００＋αよりも遅い時間であれば、挿入制御信号は出力されず、その２番目のオーディオパックはパック挿入手段１０７内の図示しないバッファに保持され、挿入が保留される。そこで、この時点で時間情報取得手段１０４からビデオパックが出力されたとすると、そのビデオパックは、そのままパック挿入手段１０７から出力される。
【００３８】
その後、時間情報取得手段１０４から次の抽出時間情報Ｔ０１が出力され、Ｔ０１＋αよりも上記２番目のオーディオパックの変換後時間情報Ｔ１の方が早い時間だと判定されると、パック変換手段１０６から挿入制御信号が出力され、保留されていた２番目のオーディオパックの挿入が行われる。
【００３９】
また、３番目のオーディオパックについての変換後時間情報Ｔ２が、Ｔ０１＋αやその後に入力されたＴ０２＋αよりも遅い時間であれば、同様に３番目のオーディオパックの挿入は保留され、その間に時間情報取得手段１０４から出力されたビデオパックはそのままパック挿入手段１０７から出力される。その後、αを加算した時間がＴ２よりも遅くなるような抽出時間情報が時間情報取得手段１０４から出力されたときに、上記３番目のオーディオパックが挿入されてストリームデータ出力端子１０８から出力される。
【００４０】
上記のように、各パックの時間情報を変換し、適切に制御されたタイミングで挿入して合成することにより、圧縮符号化を必要とせず、既に圧縮符号化済みの複数のストリームデータを種々組み合わせて新たなストリームデータを比較的簡単に生成できる。すなわち、圧縮符号化装置を必要としないので、装置の規模や製造コストを低減することが容易にできる。また、上記のようにして生成されるストリームデータの形式は、元のストリームデータと同じ形式に保つことができるので、ストリームデータの汎用性が損なわれることはなく、特別な処理を持つ圧縮復号化装置でなくても復号が可能で、ビデオ、オーディオ、副映像、文字などが視聴できる。
【００４１】
なお、上記の例では、第１、第２ストリームデータ（ａ）（ｂ）がビデオパックとオーディオパックとを含み、オーディオパックが置き換えられる例を示したが、これに限らず、ストリームデータに含まれるデータや置き換えられるデータの内容は特に限定されるものではない。
【００４２】
また、置き換えが行われるデータの単位がパックであるとして説明したが、これに限らず、時間情報を含む、所定の単位で符号化されたストリームデータであれば、同様にして置き換えを行うことができる。
【００４３】
《発明の実施形態２》
上記のようにオーディオパックの置換が行われるのではなく、副映像パックの挿入が行われる例について説明する。なお、以下の実施形態において、前記実施形態１等と同様の機能を有する構成要素については同一の符号を付して説明を省略する。
【００４４】
ストリームデータ生成装置は、実施形態１のストリームデータ生成装置と比べて、図４に示すように、時間情報取得手段１０４に代えて時間情報取得手段３０４を備えている点が異なっている。
【００４５】
上記時間情報取得手段３０４は、時間情報を抽出するパックのデータ種別が、データ種別指示信号入力端子１０１から入力される挿入データ種別指示信号とは独立に、データ種別指示信号入力端子３０１から入力される時間抽出データ種別指示信号によって指示されるようになっている。また、上記指示に係わらず、第１ストリームデータ入力端子１０２から入力された第１ストリームデータ（ａ）をそのまま出力するようになっている。
【００４６】
上記のように構成されたストリームデータ生成装置では、例えば図５に示すように、ビデオパックとオーディオパックとを含む第１ストリームデータ（ａ）、およびビデオパックと副映像（ＳＰＵ）パックとを含む第２ストリームデータ（ｂ）が入力されるとともに、データ種別指示信号入力端子１０１から副映像パックの挿入を示す挿入データ種別指示信号が入力され、データ種別指示信号入力端子３０１からオーディオパックを示す時間抽出データ種別指示信号が入力されたとすると、次のような動作が行われる。
【００４７】
時間情報取得手段３０４は、第１ストリームデータ（ａ）をそのまま出力する。また、時間抽出データ種別指示信号に応じて、第１ストリームデータ（ａ）に含まれる各オーディオパックの時間情報を抽出して出力する。
【００４８】
パック抜取手段１０５は、挿入データ種別指示信号に応じて、第２ストリームデータ（ｂ）に含まれる副映像パックを抜き取り、抜き取りデータ（ｃ）として出力する。
【００４９】
パック変換手段１０６は、実施形態１の場合と同様に、上記抜き取りデータ（ｃ）の副映像パックの時間情報Ｔ１０、Ｔ１１、Ｔ１２、Ｔ１３…を変換後時間情報Ｔ００、Ｔ１、Ｔ２、Ｔ３…に変換した変換データ（ｄ）を出力する。また、上記変換後時間情報Ｔ００、Ｔ１、Ｔ２、Ｔ３…と、時間情報取得手段３０４から出力される抽出時間情報Ｔ００、Ｔ０１、Ｔ２…とに基づいて、実施形態１で説明したのと同様に挿入制御信号を出力する。
【００５０】
パック挿入手段１０７は、上記挿入制御信号に応じて、第１ストリームデータ（ａ）に変換データ（ｄ）の副映像パックを挿入し、ビデオパックおよびオーディオパックに加えて副映像パックを含む出力ストリームデータ（ｅ）をストリームデータ出力端子１０８から出力する。
【００５１】
上記のように、挿入データ種別指示信号と時間抽出データ種別指示信号とが独立して与えられるようにすることにより、元のストリームデータに含まれていない種類のデータを追加することが容易にできる。
【００５２】
《発明の実施形態３》
第１、第２ストリームデータ（ａ）（ｂ）を構成するパックのパックヘッダに時間情報が含まれていない場合でも、ストリームデータの合成を行える場合の例について説明する。
【００５３】
ストリームデータ生成装置は、実施形態１のストリームデータ生成装置と比べて、図６に示すように、時間情報取得手段１０４およびパック変換手段１０６に代えて、時間情報取得手段４０４およびパック変換手段４０６を備えている点が異なっている。
【００５４】
時間情報取得手段４０４は、図７に示すように、第１ストリームデータ入力端子１０２から第１ストリームデータ（ａ）として入力された、例えばＭＰＥＧ−２のプログラムストリームにおけるパックのパックヘッダに時間情報（例えばＴ００）が含まれている場合には、実施形態１と同様にパックヘッダの時間情報を抽出する一方、パックヘッダに時間情報が含まれていない場合には、パック内部のパケットを解析して、パケットヘッダに含まれる時間情報（例えばＴ０１）を抽出するようになっている。
【００５５】
また、パック変換手段４０６は、第２ストリームデータ入力端子１０３から第２ストリームデータ（ｂ）として入力された、例えばＭＰＥＧ−２のプログラムストリームにおけるパックのパックヘッダに時間情報（例えばＴ１０）が含まれている場合には、実施形態１と同様にパックヘッダの時間情報を変換する一方、パックヘッダに時間情報が含まれていない場合には、パック内部のパケットを解析して、パケットヘッダに含まれる時間情報（例えばＴ１１）を変換するようになっている。
【００５６】
上記のように、パックヘッダに時間情報が含まれていない場合でも、パックの内部を解析して時間情報を取得できるようにすることにより、種々のストリームデータに対して柔軟に合成を行うことができる。
【００５７】
《発明の実施形態４》
２つのストリームデータが互いに異なる装置によって生成された場合などには、時間情報の基準となる各装置のシステムタイムクロックが正確には一致しないために、同時刻に対応する時間情報の値にずれを生じることがある。すなわち、いわゆるクロックのロックがかかっていない状態に等しいことになる。
【００５８】
そこで、例えば図８に示すように、実施形態１のパック変換手段１０６に代えてパック変換手段５０６を設け、リフレッシュとして定期的に時間情報の上書きを行うことによって、上記のようなずれの影響を回避することができる。具体的には、パック変換手段５０６は、抜き取りデータ（ｃ）から変換データ（ｄ）を生成する際に、例えば図９に示すように、まず３つ目までのオーディオパックについては、前記実施形態１等と同様に時間情報Ｔ１０から第１ストリームデータの抽出時間情報Ｔ００への置き換え（１つ目）、および時間情報Ｔ１１、Ｔ１２からＴ１（＝Ｔ１１＋Ｔ００−Ｔ１０）、Ｔ２（＝Ｔ１２＋Ｔ００−Ｔ１０）への置き換えを行う。その後、４つ目のオーディオパックについては、時間情報Ｔ１３をＴ１３＋Ｔ００−Ｔ１０ではなく、１つ目の場合と同じように、第１ストリームデータからの抽出時間情報Ｔ０３に置き換える。このように、定期的に第１ストリームデータ（ａ）の時間情報に置換することによって、システムタイムクロックのずれが吸収されるので、長時間にわたって、時間情報の整合性を確保することができる。
【００５９】
なお、上記各実施形態や変形例で説明した構成は、論理的に可能な範囲で種々組み合わせてもよい。具体的には、例えば、実施形態３で説明したようなパケットを解析して時間情報の変更などをする構成を実施形態２のように異種のパックを挿入する装置に適用してもよく、また、実施形態４で説明したような時間情報がリフレッシュされる構成を実施形態２、３などの構成に適用したりしてもよい。
【産業上の利用可能性】
【００６０】
本発明にかかるストリームデータ生成方法は、既に圧縮符号化済みの複数のストリームデータから新たなストリームデータを生成できるので、圧縮符号化装置を必要とせず、装置の規模を容易に低減できるとともに、汎用性の高いストリームデータを生成することができる効果を有し、既存のプログラムストリーム等と称されるストリームデータを合成して新規のストリームデータを生成するストリームデータ生成装置等として有用である。
【図面の簡単な説明】
【００６１】
【図１】実施形態１のストリームデータ生成装置の構成を示すブロック図である。
【図２】同、各部の入出力データの例を示す説明図である。
【図３】同、変換後時間情報とパックの挿入タイミングの関係を示す説明図である。
【図４】実施形態２のストリームデータ生成装置の構成を示すブロック図である。
【図５】同、各部の入出力データの例を示す説明図である。
【図６】実施形態３のストリームデータ生成装置の構成を示すブロック図である。
【図７】同、各部の入出力データの例を示す説明図である。
【図８】実施形態４のストリームデータ生成装置の構成を示すブロック図である。
【図９】同、各部の入出力データの例を示す説明図である。
【図１０】従来のストリームデータ生成装置等の構成を示すブロック図である。
【符号の説明】
【００６２】
１０１ データ種別指示信号入力端子
１０２ 第１ストリームデータ入力端子
１０３ 第２ストリームデータ入力端子
１０４ 時間情報取得手段
１０５ パック抜取手段
１０６ パック変換手段
１０７ パック挿入手段
１０８ ストリームデータ出力端子
３０１ データ種別指示信号入力端子
３０４ 時間情報取得手段
４０４ 時間情報取得手段
４０６ パック変換手段
５０６ パック変換手段
【特許請求の範囲】
【請求項１】
それぞれ、所定の符号化単位における複数の単位データから成る第１のストリームデータと、第２のストリームデータとを合成して、第３のストリームデータを生成するストリームデータ生成方法であって、
上記第１のストリームデータに含まれる第１の単位データから時間情報を抽出し、抽出時間情報として出力する時間情報抽出ステップと、
上記第２のストリームデータから、その第２のストリームデータに含まれる第２の単位データを取り出す単位データ取り出しステップと、
上記抽出時間情報に基づいて、上記第２の単位データに含まれる時間情報を変更し、変換後単位データとして出力する変換ステップと、
上記第１のストリームデータに上記変換後単位データを合成し、第３のストリームデータとして出力する合成ステップと、
を有することを特徴とするストリームデータ生成方法。
【請求項２】
請求項１のストリームデータ生成方法であって、
上記第１のストリームデータ、および第２のストリームデータは、それぞれ、複数種類の単位データを含み、
上記時間情報が抽出される第１の単位データの種類、および第２のストリームデータから取り出される第２の単位データの種類が、所定の指示信号に応じて指定されることを特徴とするストリームデータ生成方法。
【請求項３】
請求項２のストリームデータ生成方法であって、
上記第１の単位データの種類、および第２の単位データの種類は、同じ種類であり、
上記合成ステップは、第１のストリームデータに含まれる上記第１の単位データを、上記変換後単位データに置換することを特徴とするストリームデータ生成方法。
【請求項４】
請求項２のストリームデータ生成方法であって、
上記第１の単位データの種類、および第２の単位データの種類は、互いに異なる種類であり、
上記合成ステップは、上記第１のストリームデータに、上記変換後単位データを挿入することを特徴とするストリームデータ生成方法。
【請求項５】
請求項４のストリームデータ生成方法であって、
上記第１の単位データは、音声データである一方、第２の単位データは、副映像データであることを特徴とするストリームデータ生成方法。
【請求項６】
請求項１のストリームデータ生成方法であって、
上記変換ステップは、所定のタイミングにおいて、上記第２の単位データに含まれる時間情報を、上記第１のストリームデータからの抽出時間情報に変更し、その後のタイミングにおいては、各タイミングでの時間情報変更前後の時間差が、上記所定のタイミングでの時間情報変更前後の時間差と等しくなるように、時間情報の変更を行うことを特徴とするストリームデータ生成方法。
【請求項７】
請求項６のストリームデータ生成方法であって、
上記合成ステップは、上記第１の単位データから抽出された抽出時間情報によって示される時間、または上記時間に所定のオフセット時間を加算した時間よりも、
上記第２の単位データにおける変換後の時間情報によって示される時間の方が、
遅い時間である場合に、上記変換後単位データの合成を保留する一方、
早い時間である場合に、上記変換後単位データの合成を行うことを特徴とするストリームデータ生成方法。
【請求項８】
請求項７のストリームデータ生成方法であって、
上記所定のオフセット時間は、ストリームデータにおける所定の符号化単位に相当する時間であることを特徴とするストリームデータ生成方法。
【請求項９】
請求項６のストリームデータ生成方法であって、
上記変換ステップは、所定の周期ごとの所定のタイミングにおいて、上記第２の単位データに含まれる時間情報から上記第１のストリームデータの抽出時間情報への変更を行うことを特徴とするストリームデータ生成方法。
【請求項１０】
請求項１のストリームデータ生成方法であって、
上記第１の単位データは、複数の副単位データとヘッダ情報とを含むものであって、
上記時間情報抽出ステップは、上記ヘッダ情報に時間情報が含まれていない場合に、上記副単位データを解析して、その副単位データに含まれる時間情報を抽出することを特徴とするストリームデータ生成方法。
【請求項１１】
請求項１のストリームデータ生成方法であって、
上記第２の単位データは、複数の副単位データとヘッダ情報とを含むものであって、
上記変換ステップは、上記ヘッダ情報に時間情報が含まれていない場合に、上記副単位データを解析して、その副単位データに含まれる時間情報を変更することを特徴とするストリームデータ生成方法。
【請求項１２】
それぞれ、所定の符号化単位における複数の単位データから成る第１のストリームデータと、第２のストリームデータとを合成して、第３のストリームデータを生成するストリームデータ生成プログラムであって、
上記第１のストリームデータに含まれる第１の単位データから時間情報を抽出し、抽出時間情報として出力する時間情報抽出ステップと、
上記第２のストリームデータから、その第２のストリームデータに含まれる第２の単位データを取り出す単位データ取り出しステップと、
上記抽出時間情報に基づいて、上記第２の単位データに含まれる時間情報を変更し、変換後単位データとして出力する変換ステップと、
上記第１のストリームデータに上記変換後単位データを合成し、第３のストリームデータとして出力する合成ステップと、
をコンピュータに実行させることを特徴とするストリームデータ生成プログラム。
【請求項１３】
それぞれ、所定の符号化単位における複数の単位データから成る第１のストリームデータと、第２のストリームデータとを合成して、第３のストリームデータを生成するストリームデータ生成装置であって、
上記第１のストリームデータに含まれる第１の単位データから時間情報を抽出し、抽出時間情報として出力する時間情報抽出手段と、
上記第２のストリームデータから、その第２のストリームデータに含まれる第２の単位データを取り出す単位データ取り出し手段と、
上記抽出時間情報に基づいて、上記第２の単位データに含まれる時間情報を変更し、変換後単位データとして出力する変換手段と、
上記第１のストリームデータに上記変換後単位データを合成し、第３のストリームデータとして出力する合成手段と、
を備えたことを特徴とするストリームデータ生成装置。
【請求項１】
それぞれ、所定の符号化単位における複数の単位データから成る第１のストリームデータと、第２のストリームデータとを合成して、第３のストリームデータを生成するストリームデータ生成方法であって、
上記第１のストリームデータに含まれる第１の単位データから時間情報を抽出し、抽出時間情報として出力する時間情報抽出ステップと、
上記第２のストリームデータから、その第２のストリームデータに含まれる第２の単位データを取り出す単位データ取り出しステップと、
上記抽出時間情報に基づいて、上記第２の単位データに含まれる時間情報を変更し、変換後単位データとして出力する変換ステップと、
上記第１のストリームデータに上記変換後単位データを合成し、第３のストリームデータとして出力する合成ステップと、
を有することを特徴とするストリームデータ生成方法。
【請求項２】
請求項１のストリームデータ生成方法であって、
上記第１のストリームデータ、および第２のストリームデータは、それぞれ、複数種類の単位データを含み、
上記時間情報が抽出される第１の単位データの種類、および第２のストリームデータから取り出される第２の単位データの種類が、所定の指示信号に応じて指定されることを特徴とするストリームデータ生成方法。
【請求項３】
請求項２のストリームデータ生成方法であって、
上記第１の単位データの種類、および第２の単位データの種類は、同じ種類であり、
上記合成ステップは、第１のストリームデータに含まれる上記第１の単位データを、上記変換後単位データに置換することを特徴とするストリームデータ生成方法。
【請求項４】
請求項２のストリームデータ生成方法であって、
上記第１の単位データの種類、および第２の単位データの種類は、互いに異なる種類であり、
上記合成ステップは、上記第１のストリームデータに、上記変換後単位データを挿入することを特徴とするストリームデータ生成方法。
【請求項５】
請求項４のストリームデータ生成方法であって、
上記第１の単位データは、音声データである一方、第２の単位データは、副映像データであることを特徴とするストリームデータ生成方法。
【請求項６】
請求項１のストリームデータ生成方法であって、
上記変換ステップは、所定のタイミングにおいて、上記第２の単位データに含まれる時間情報を、上記第１のストリームデータからの抽出時間情報に変更し、その後のタイミングにおいては、各タイミングでの時間情報変更前後の時間差が、上記所定のタイミングでの時間情報変更前後の時間差と等しくなるように、時間情報の変更を行うことを特徴とするストリームデータ生成方法。
【請求項７】
請求項６のストリームデータ生成方法であって、
上記合成ステップは、上記第１の単位データから抽出された抽出時間情報によって示される時間、または上記時間に所定のオフセット時間を加算した時間よりも、
上記第２の単位データにおける変換後の時間情報によって示される時間の方が、
遅い時間である場合に、上記変換後単位データの合成を保留する一方、
早い時間である場合に、上記変換後単位データの合成を行うことを特徴とするストリームデータ生成方法。
【請求項８】
請求項７のストリームデータ生成方法であって、
上記所定のオフセット時間は、ストリームデータにおける所定の符号化単位に相当する時間であることを特徴とするストリームデータ生成方法。
【請求項９】
請求項６のストリームデータ生成方法であって、
上記変換ステップは、所定の周期ごとの所定のタイミングにおいて、上記第２の単位データに含まれる時間情報から上記第１のストリームデータの抽出時間情報への変更を行うことを特徴とするストリームデータ生成方法。
【請求項１０】
請求項１のストリームデータ生成方法であって、
上記第１の単位データは、複数の副単位データとヘッダ情報とを含むものであって、
上記時間情報抽出ステップは、上記ヘッダ情報に時間情報が含まれていない場合に、上記副単位データを解析して、その副単位データに含まれる時間情報を抽出することを特徴とするストリームデータ生成方法。
【請求項１１】
請求項１のストリームデータ生成方法であって、
上記第２の単位データは、複数の副単位データとヘッダ情報とを含むものであって、
上記変換ステップは、上記ヘッダ情報に時間情報が含まれていない場合に、上記副単位データを解析して、その副単位データに含まれる時間情報を変更することを特徴とするストリームデータ生成方法。
【請求項１２】
それぞれ、所定の符号化単位における複数の単位データから成る第１のストリームデータと、第２のストリームデータとを合成して、第３のストリームデータを生成するストリームデータ生成プログラムであって、
上記第１のストリームデータに含まれる第１の単位データから時間情報を抽出し、抽出時間情報として出力する時間情報抽出ステップと、
上記第２のストリームデータから、その第２のストリームデータに含まれる第２の単位データを取り出す単位データ取り出しステップと、
上記抽出時間情報に基づいて、上記第２の単位データに含まれる時間情報を変更し、変換後単位データとして出力する変換ステップと、
上記第１のストリームデータに上記変換後単位データを合成し、第３のストリームデータとして出力する合成ステップと、
をコンピュータに実行させることを特徴とするストリームデータ生成プログラム。
【請求項１３】
それぞれ、所定の符号化単位における複数の単位データから成る第１のストリームデータと、第２のストリームデータとを合成して、第３のストリームデータを生成するストリームデータ生成装置であって、
上記第１のストリームデータに含まれる第１の単位データから時間情報を抽出し、抽出時間情報として出力する時間情報抽出手段と、
上記第２のストリームデータから、その第２のストリームデータに含まれる第２の単位データを取り出す単位データ取り出し手段と、
上記抽出時間情報に基づいて、上記第２の単位データに含まれる時間情報を変更し、変換後単位データとして出力する変換手段と、
上記第１のストリームデータに上記変換後単位データを合成し、第３のストリームデータとして出力する合成手段と、
を備えたことを特徴とするストリームデータ生成装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００６−５４８１９（Ｐ２００６−５４８１９Ａ）
【公開日】平成１８年２月２３日（２００６．２．２３）
【国際特許分類】
【出願番号】特願２００４−２３６７４５（Ｐ２００４−２３６７４５）
【出願日】平成１６年８月１６日（２００４．８．１６）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成１８年２月２３日（２００６．２．２３）
【国際特許分類】
【出願日】平成１６年８月１６日（２００４．８．１６）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]