説明

オーディオストリーム処理方法および再生装置と出力装置

【課題】複数オーディオストリームをパッキングしたデータ単位を転送する際にそのデータ単位の先頭に時間情報がない場合は、その時間情報を生成できるようにする。
【解決手段】再生時間情報(PTS)を伴い複数オーディオストリームをパッキングしたものを1単位のデータとして転送する。この1単位のデータ先頭(UNITbのヘッダHDR)にPTSがない場合は、UNITbのHDR直前の時間情報(PTS2)から、UNITbのHDRに対応する新たな時間情報(newPTSb)を算出する(矢印ルートc1)。

【発明の詳細な説明】
【技術分野】
【0001】
この発明は、複数のオーディオストリームをパッキングしたデータ単位を転送する場合における、オーディオストリーム処理方法、再生装置および出力装置に関する。
【0002】
特に、高ビットレートオーディオデータをHDMI(High-Definition Multimedia Interface)等のデジタルインターフェースを介して出力する場合に適した、パッキングデータ単位の先頭時間情報の求め方に関する。
【背景技術】
【0003】
再生タイムスタンプ(PTS)が付加されていないAVストリームに対してビデオとオーディオの同期再生、途中からの再生、およびリピート再生を実現することを目指した先行技術がある(特許文献1)。
【特許文献1】特開2006−352587号公報。
【発明の開示】
【発明が解決しようとする課題】
【0004】
特許文献1では、PTSが付加されていないAVストリームを入力してビデオ符号化データとオーディオ符号化データに分離し、オーディオ符号化データについては直前のPTSとビットレートに基づいて次のPTSを算出している。
【0005】
ところで、単純に付加されている時間情報(PTS)に基づいてデータを出力した場合、プレーヤで再生遷移(時間情報を基準に遷移する)を行った際に、中途半端なデータが出力されたり、外部音声復号装置側でのデータ検出までに時間を要するなどの弊害が想定される。例えば、プレーヤ側で再生をポーズさせるような場合は、中途半端にデータを出力して再生を一時中断する。この状態からポーズを解除した場合、中途半端なデータからデータ出力を再開してしまい、外部音声復号装置側で正しくデータを処理できずにノイズが出力されてしまったり、音声出力を開始するまでに時間を要したりする可能性がある。
【0006】
この発明の課題の1つは、上記不都合を回避するために、複数のオーディオストリームをパッキングしたデータ単位を転送する際にそのデータ単位の先頭に時間情報がない場合は、その時間情報を生成できるようにすることである。
【課題を解決するための手段】
【0007】
この発明の一実施の形態では、再生開始またはデコード開始の時間情報(PTSまたはDTS)を伴い複数のオーディオストリーム(A_ES)をパッキングして1単位のデータ(UNIT)として転送する。ここで、前記1単位のデータの先頭(例えば図2または図3のUNITbのHDR)に前記時間情報(PTSまたはDTS)がない場合は、以下のいずれかの算出処理を行う。
【0008】
(1.1)前記時間情報(PTSまたはDTS)がない前記1単位のデータ(UNITb)の先頭(HDR)の直前の前記時間情報(図2のPTS2または図3のDTS5)から、前記時間情報(PTSまたはDTS)がない前記1単位のデータ(UNITb)の先頭(HDR)に対応する新たな時間情報(図2のnewPTSbまたは図3のnewDTSb)を算出する(図2の矢印ルートc1または図3の矢印ルートc2)。
【0009】
(1.2)前記時間情報(PTSまたはDTS)がない前記1単位のデータ(UNITb)の先頭(HDR)の直後の前記時間情報(図2のPTS3または図3のDTS6)から、前記時間情報(PTSまたはDTS)がない前記1単位のデータ(UNITb)の先頭(HDR)に対応する新たな時間情報(図2のnewPTSbまたは図3のnewDTSb)を算出する(図2の矢印ルートd1または図3の矢印ルートd2)。
【0010】
(1.3)前記時間情報(PTSまたはDTS)がない前記1単位のデータ(UNITb)より1つ前の前記1単位のデータ(図2または図3のUNITa)の先頭(HDR)の時間情報(図2ではPTS0またはPTS1から算出したnewPTSa;図3ではDTS0またはDTS1から算出したnewDTSa)から、前記時間情報(PTSまたはDTS)がない前記1単位のデータ(UNITb)の先頭(HDR)に対応する新たな時間情報(図2のnewPTSbまたは図3のnewDTSb)を算出する(図2の矢印ルートe1または図3の矢印ルートe2)。
【発明の効果】
【0011】
先頭に時間情報がないデータ単位に対しても時間情報を確保できるため、再生遷移によるゴミデータ出力を防止でき、あるいはデコーダ側でのデコード開始を円滑に行えるようにできる。
【発明を実施するための最良の形態】
【0012】
以下、図面を参照してこの発明の種々な実施の形態を説明する。図1は、この発明の一実施の形態に係る再生装置を説明するブロック図である。光ディスク100等に記録されるマルチプレックスされた映像音声圧縮データがドライブ装置12からバッファ13に読み出され、Demux処理部(デマルチプレクサ)14において圧縮ビデオストリーム(ビデオパックV_PCK)と圧縮オーディオストリーム(オーディオパックA_PCK)に分離(デマルチプレクス)される。あるいは、ハードディスクHDD11から読み出された(もしくは図示しない通信端末を介して外部から供給された)同様なデータがマルチプレクサ14において圧縮ビデオストリーム(V_PCK)と圧縮オーディオストリーム(A_PCK)に分離(デマルチプレクス)される。(なお、オーディオストリームは非圧縮のリニアPCMデータを含むことも可能である。)
分離された圧縮ビデオストリームはビデオバッファ(V_PCKバッファ)15を介してビデオデコーダ16に送られてデコードされる。また、圧縮オーディオストリームはオーディオバッファ(A_PCKバッファ)20、エレメンタリストリーム抽出処理部(ES抽出処理)21およびオーディオエレメンタリストリームバッファ(A_ESバッファ)22を介してオーディオデコーダ23に送られてデコードされる。
【0013】
デコードされたビデオストリームは出力バッファ17とデータ出力処理部18を介してビデオDAC19に送られ、時間情報(PTS:Presentation Time StampまたはDTS:Decode Time Stamp)に従いD/A変換された後にビデオ表示装置(TV)40等へ出力される。また、デコードされたオーディオストリームは出力バッファ24とデータ出力処理部25を介してオーディオDAC26に送られ、時間情報(PTSまたはDTS)に従いD/A変換された後にTV・AVアンプ60等へ出力される。
【0014】
さらに、デコード前の圧縮オーディオストリーム(A_ES)は、データ・時間補正部(時間情報補正処理部30Aと出力データ変換処理部30Bをファームウエア等の形で含む)30で所定の変換処理を受けた後に、出力バッファ32とデータ出力処理部33を介してデジタル出力インターフェース(HDMI等)34に送られる。このオーディオストリームは、時間情報(PTSまたはDTS)に従いHDMI34を介してAVアンプ等の外部音声デコード装置(HDMI対応のAVアンプ)60に出力される。この実施の形態は、上記デジタルインターフェース34を介して圧縮オーディオストリームを出力する際の再生制御方法に関するものである。
【0015】
なお、図2以降を参照して後述する1単位のデータ(UNIT)の先頭(HDR)に時間情報(PTSまたはDTS)がない場合にその時間情報(newPTSまたはnewDTS)を生成する処理機能は、時間情報補正処理部30Aのファームウエアが受け持つ(図4のST24〜ST28または図5のST53〜ST59参照)。また、ES抽出処理部21に入力されるオーディオストリームは別種類(AC−3、MPEGオーディオ、DTS−HD等)の複数オーディオストリームを含み得るが、その中の所望の種類(例えばDTS−HD)のオーディオストリームを取り出してデータ出力処理部へ回す処理機能は、出力データ変換処理30Bのファームウエアが受け持つ(図4のST20〜ST22または図5のST50〜ST52参照)。
【0016】
図2は、この発明の一実施の形態に係るPTS算出方法(固定レート圧縮オーディオデータの時間補正例)を概念的に説明する図である。この図は、固定レート(CBR: Constant Bit Rrate)圧縮オーディオストリームのデータ構成と時間情報の関係を例示している。図2の例では、ある特定のsync情報をもつ圧縮音声フレームを先頭に複数の圧縮音声フレームをパッキングして、所定のHeader情報(HDR)およびPaddingデータを付加して、これを1単位のデータ(Padding付加により一定サイズのUNITとなる)として外部音声復号装置に出力することを想定している。なお、各圧縮音声フレームに対して必ずしもPTSが付加されることが保証されないことも想定される。図2は、Header(HDR)の先頭に出力を開始するための時間情報(PTS)が存在しない場合を例示している。PTSが付加されていないHDRに対する時間情報(newPTS)は、以下の方法で求めることができる。
【0017】
(a)前記1単位のデータ(UNIT)は所定の一定転送レート(TR)で転送され、前記1単位のデータ(UNIT)内の前記オーディオストリーム(A_ES)は固定レート(CBR)でエンコードされたオーディオデータを含み、前記時間情報は前記オーディオデータの再生タイムスタンプ(PTS)を含むことができる。その場合、前記直前の時間情報(図2のPTS2)の位置と前記時間情報(PTS)がない前記1単位のデータ(UNITb)の先頭(HDR)の位置との間のデータサイズ(DS)を前記一定転送レート(TR)で割ることにより得られる時間情報(T=DS/TR)で前記直前の時間情報(図2のPTS2)を補正することにより、前記時間情報(PTS)がない前記1単位のデータ(UNITb)の先頭(HDR)に対応する新たな時間情報(図2のnewPTSb=PTS2+T)を算出する(図2の矢印ルートc1)。
【0018】
(b)前記1単位のデータ(UNIT)は所定の一定転送レート(TR)で転送され、前記1単位のデータ(UNIT)内の前記オーディオストリーム(A_ES)は固定レート(CBR)でエンコードされたオーディオデータを含み、前記時間情報は前記オーディオデータの再生タイムスタンプ(PTS)を含むことができる。その場合、前記直後の前記時間情報(図2のPTS3)の位置と前記時間情報(PTS)がない前記1単位のデータ(UNITb)の先頭(HDR)の位置との間のデータサイズ(DS)を前記一定転送レート(TR)で割ることにより得られる時間情報(T=DS/TR)で前記直後の前記時間情報(図2のPTS3)を補正することにより、前記時間情報(PTS)がない前記1単位のデータ(UNITb)の先頭(HDR)に対応する新たな時間情報(図2のnewPTSb=PTS3−T)を算出する(図2の矢印ルートc1)。
【0019】
(c)前記1単位のデータ(UNIT)は所定の一定転送レート(TR)で転送され、前記1単位のデータ(UNIT)内の前記オーディオストリーム(A_ES)は固定レート(CBR)でエンコードされたオーディオデータを含み、前記時間情報は前記オーディオデータの再生タイムスタンプ(PTS)を含むことができる。その場合、前記1単位のデータ(UNIT)のデータサイズ(DS*)を前記一定転送レート(TR)で割ることにより得られる時間情報(T=DS*/TR)で前記1つ前の前記1単位のデータ(図2または図3のUNITa)の先頭(HDR)の時間情報(図2のnewPTSa)を補正することにより、前記時間情報(PTS)がない前記1単位のデータ(UNITb)の先頭(HDR)に対応する新たな時間情報(図2のnewPTSb=newPTSa+T)を算出する(図2の矢印ルートe1)。
【0020】
図3は、この発明の一実施の形態に係るDTS算出方法(可変レート圧縮オーディオデータの時間補正例)を概念的に説明する図である。この図は、可変レート(Variable Bit Rate)圧縮オーディオストリームのデータ構成と時間情報の関係を例示している。VBR圧縮オーディオストリームは、一般的に、CBR圧縮オーディオストリームとは異なり、復号処理(デコード)に要する遅延時間が生じることが往々にしてある。このため、VBR圧縮オーディオストリームに対しては、PTSとは異なり復号開始時間を意味するDTSが付加されている。図3の例では、各圧縮音声フレームの復号開始時間に出力を開始できるよう各圧縮音声フレーム間にPaddingを挿入し、ある特定間隔で所定のHeader情報が付加され、このHeader情報間(あるHDRと次のHDRの間)を1単位のデータ(一定サイズのUNIT)として外部音声復号装置に出力することを想定している。この例では、Header(HDR)の先頭に出力を開始するための時間情報(DTS)が存在しない。DTSが存在しないHDRに対する時間情報(newDTS)は、以下の方法で求めることができる。
【0021】
(d)前記1単位のデータ(UNIT)は所定の一定転送レート(TR)で転送され、前記1単位のデータ(UNIT)内の前記オーディオストリーム(A_ES)は可変レート(VBR)でエンコードされたオーディオデータを含み、前記時間情報は前記オーディオデータのデコードタイムスタンプ(DTS)を含むことができる。その場合、前記直前の時間情報(図3のDTS5)の位置と前記時間情報(DTS)がない前記1単位のデータ(UNITb)の先頭(HDR)の位置との間のデータサイズ(DS)を前記一定転送レート(TR)で割ることにより得られる時間情報(T=DS/TR)で前記直前の時間情報(図3のDTS5)を補正することにより、前記時間情報(DTS)がない前記1単位のデータ(UNITb)の先頭(HDR)に対応する新たな時間情報(図3のnewDTSb=DTS5+T)を算出する(図3の矢印ルートc2)。
【0022】
(e)前記1単位のデータ(UNIT)は所定の一定転送レート(TR)で転送され、前記1単位のデータ(UNIT)内の前記オーディオストリーム(A_ES)は可変レート(VBR)でエンコードされたオーディオデータを含み、前記時間情報は前記オーディオデータのデコードタイムスタンプ(DTS)を含むことができる。その場合、前記直後の前記時間情報(図3のDTS6)の位置と前記時間情報(DTS)がない前記1単位のデータ(UNITb)の先頭(HDR)の位置との間のデータサイズ(DS)を前記一定転送レート(TR)で割ることにより得られる時間情報(T=DS/TR)で前記直後の前記時間情報(図3のDTS6)を補正することにより、前記時間情報(DTS)がない前記1単位のデータ(UNITb)の先頭(HDR)に対応する新たな時間情報(図3のnewDTSb=DTS6−T)を算出する(図3の矢印ルートc2)。
【0023】
(f)前記1単位のデータ(UNIT)は所定の一定転送レート(TR)で転送され、前記1単位のデータ(UNIT)内の前記オーディオストリーム(A_ES)は可変レート(VBR)でエンコードされたオーディオデータを含み、前記時間情報は前記オーディオデータのデコードタイムスタンプ(DTS)を含むことができる。その場合、前記1単位のデータ(UNIT)のデータサイズ(DS*)を前記一定転送レート(TR)で割ることにより得られる時間情報(T=DS*/TR)で前記1つ前の前記1単位のデータ(図3のUNITa)の先頭(HDR)の時間情報(図3のnewDTSa)を補正することにより、前記時間情報(DTS)がない前記1単位のデータ(UNITb)の先頭(HDR)に対応する新たな時間情報(図3のnewDTSb=newDTSa+T)を算出する(図3の矢印ルートe2)。
【0024】
図2または図3のようなケースにおいて、単純に付加されている時間情報(PTSまたはDTS)に基づいてデータを出力した場合、プレーヤの再生遷移(時間情報を基準に遷移する)を行った際に、中途半端なデータが出力されたり、外部音声復号装置側でのデータ検出までに時間を要するなどの弊害が想定される。例えば、プレーヤ側で再生をポーズさせるような場合は、中途半端にデータを出力して再生を一時中断する。この状態からポーズを解除した場合、中途半端なデータからデータ出力を再開してしまい、外部音声復号装置側で正しくデータを処理できずにノイズが出力されてしまったり、音声出力を開始するまでに時間を要したりする可能性がある。図1の実施の形態では、このような弊害を解決するために、データ・時間補正部(図4または図5の処理を実行するファームウエア30A、30BがインストールされたMPU等)30で時間情報を補正するようにしている。
【0025】
図4は、この発明の一実施の形態に係るPTSまたはDTSの算出(時間情報の補正)手順を説明するフローチャートである。先ず、再生を開始して(ST10)ビデオデータ(V_PCK)とオーディオデータ(A_PCK)を分離する(ST12〜ST16)。次に分離されたA_PCKから圧縮音声フレームA_ESと時間情報PTS/DTSを抽出し(ST18)、データ変換のために必要なだけの圧縮音声フレームを取得できた段階で(ST20イエス)、外部音声復号装置(HDMI接続された外部機器等)に対して出力させるためのデータ変換処理を行う(ST22:図1では出力データ変換処理部30Bのファームウエアによる処理)。そして、Header(HDR)情報に対して直前または直後に位置する時間情報とHeader情報間のデータ量(データサイズDS)を算出する(ST24)。このデータ量とデータ出力の際の転送レート(TR)から導き出された時間(T)(ST26)を用いて、上記直前もしくは直後に位置する時間情報を補正し(ST28)、この補正された時間情報(newPTSまたはnewDTS)を用いて(ST30)、データ変換処理が施されたデータの出力を開始するようにする(ST32)。
【0026】
すなわち、例えば図2のUNITbの先頭時間情報(再生タイムスタンプ)newPTSbを算出する場合、PTS2から算出する場合はルートc1に対応する時間情報TでPTS2を時間進行方向に補正し、PTS3から算出する場合はルートd1に対応する時間情報TでPTS3を時間逆行方向に補正し、以前に求めて保存してあるnewPTSaから算出する場合はルートe1に対応する時間情報TでnewPTSaを時間進行方向に補正する。例えばnewPTS算出の基礎となるPTSをPTSxとし図1の装置構成におけるシステムの動作クロックを90kHzとし乗算を*で表すとすると、補正計算の符号の取り方を選べば、newPTS=PTSx±T*90000で算出することができる。
【0027】
同様に、例えば図3のUNITbの先頭時間情報(デコードタイムスタンプ)newDTSbを算出する場合、DTS5から算出する場合はルートc2に対応する時間情報TでDTS5を時間進行方向に補正し、DTS6から算出する場合はルートd2に対応する時間情報TでDTS6を時間逆行方向に補正し、以前に求めて保存してあるnewDTSaから算出する場合はルートe2に対応する時間情報TでnewDTSaを時間進行方向に補正する。例えばnewDTS算出の基礎となるDTSをDTSxとしシステムの動作クロックを90kHzとし乗算を*で表すとすると、補正計算の符号の取り方を選べば、newDTS=DTSx±T*90000で算出することができる。
【0028】
図5は、この発明の他の実施の形態に係るPTSまたはDTSの算出(時間情報の補正)手順を説明するフローチャートである。図5の偶数番処理工程ST40〜ST62は前述した図4の処理工程ST10〜ST32と同様な内容であるが、図5の処理例では、奇数番処理工程ST53〜ST63が図4と異なっている。すなわち、図4の例ではHeader(HDR)情報の直前または直後に存在する時間情報を用いて補正を行っていたが、図5の例のように再生開始直後のみ直前または直後に存在する時間情報を用いて補正(ST54〜ST58)を行い、以降は前のHeader情報に対して求められた時間情報(例えば図2のnewPTSaあるいは図3のnewDTSa)を基に補正を行うようにしている。
【0029】
図5の処理では、現在のUNITbのHDRに時間情報がない場合、その前のUNITaのHDRの時間情報(newPTSaまたはnewDTSa)がメモリ(図示しないが図1のデータ・時間補正部30内のレジスタをそのメモリとして利用できる)に待避している場合(ST63処理後のST53イエス)、UNITaのHDRからUNITbのHDRまでのデータ量(データサイズDS*)を求め(ST55),求めたデータ量と転送レートTRからからUNIT転送に必要な時間(T=DS*/TR)を算出する(ST57)。こうして算出された時間(T)を用いて、時間情報を補正し(ST59)、この補正された時間情報(newPTSまたはnewDTS)を用いて(ST60)、データ変換処理が施されたデータの出力を開始するようにする(ST62)。その後,新たに算出されたUNITbのHDRの時間情報(newPTSbまたはnewDTSb)を図示しないメモリに待避させる(ST63)。
【0030】
すなわち、例えば図2のnewPTSbを算出する場合、1単位のデータ(UNIT)のデータサイズ(DS*)を一定転送レート(TR)で割ることにより得られる時間情報(T=DS*/TR)で1つ前の1単位のデータ(図2のUNITa)の先頭(HDR)の時間情報(図2のnewPTSa)を補正することにより、時間情報(PTS)がない1単位のデータ(UNITb)の先頭(HDR)に対応する新たな時間情報(図2のnewPTSb=newPTSa+T)を算出することができる(図2の矢印ルートe1)。
【0031】
同様に、例えば図3のnewDTSbを算出する場合、1単位のデータ(UNIT)のデータサイズ(DS*)を一定転送レート(TR)で割ることにより得られる時間情報(T=DS*/TR)で1つ前の1単位のデータ(図3のUNITa)の先頭(HDR)の時間情報(図3のnewDTSa)を補正することにより、時間情報(DTS)がない1単位のデータ(UNITb)の先頭(HDR)に対応する新たな時間情報(図3のnewDTSb=newDTSa+T)を算出することができる(図3の矢印ルートe2)。
【0032】
このような時間情報の補正処理を行うことによって、外部音声復号装置がデータとして検知可能なHeader情報を基準に出力開始、停止などの制御を行うことが可能となる。
【0033】
<まとめ>
複数圧縮オーディオストリームをパッキングし、1単位のデータとして外部音声復号装置に出力するような再生装置において、上記一塊のデータ先頭に位置する圧縮オーディオストリームに再生開始時間情報(PTSまたはDTS)が付加されていない場合、
1.直前のPTSまたはDTSからパッキングデータ先頭位置の再生開始時間(newPTSxまたはnewDTSx)を算出;
2.直後のPTSまたはDTSからパッキングデータ先頭位置の再生開始時間(newPTSxまたはnewDTSx)を算出;
3.直前のパッキングデータ先頭位置の再生開始時間(newPTSxまたはnewDTSx)から次の再生開始時間(newPTSx+1またはnewDTSx+1)を算出。
【0034】
上記いずれかの方法によって算出された再生開始時間を基に外部音声復号装置に対してデータを出力するようにすることにより、再生遷移によるゴミデータ出力の防止や外部音声復号装置側でのデコード開始を円滑に行えるようにする。
【0035】
<実施の形態による効果>
時間情報を適切に補正し、補正された時間情報(newPTSあるいはnewDTS)を基に再生制御を行うことにより、再生遷移時にデコーダ(外部音声復号装置)に対してゴミデータが出力されるのを防止し、あるいはデコーダ側におけるデータ誤検出などを回避してデコードの開始を円滑に行うことが可能となる。
【0036】
<実施の形態と発明との対応例>
(1)再生開始またはデコード開始の時間情報(PTSまたはDTS)を伴い複数のオーディオストリーム(A_ES)をパッキングして1単位のデータ(ヘッダHDRと複数A_ESと適宜バディングをパッキングしたUNIT)として転送するオーディオストリーム処理方法において、前記1単位のデータの先頭(例えば図2または図3のUNITbのHDR)に前記時間情報(PTSまたはDTS)がない場合は、以下の算出処理を行う。
【0037】
(1.1)前記時間情報(PTSまたはDTS)がない前記1単位のデータ(UNITb)の先頭(HDR)の直前の前記時間情報(図2のPTS2または図3のDTS5)から、前記時間情報(PTSまたはDTS)がない前記1単位のデータ(UNITb)の先頭(HDR)に対応する新たな時間情報(図2のnewPTSbまたは図3のnewDTSb)を算出する(図2の矢印ルートc1または図3の矢印ルートc2;図4のST24〜ST28または図5のST53ノー、ST54〜ST58)。あるいは、
(1.2)前記時間情報(PTSまたはDTS)がない前記1単位のデータ(UNITb)の先頭(HDR)の直後の前記時間情報(図2のPTS3または図3のDTS6)から、前記時間情報(PTSまたはDTS)がない前記1単位のデータ(UNITb)の先頭(HDR)に対応する新たな時間情報(図2のnewPTSbまたは図3のnewDTSb)を算出する(図2の矢印ルートd1または図3の矢印ルートd2;図4のST24〜ST28または図5のST53ノー、ST54〜ST58)。あるいは、
(1.3)前記時間情報(PTSまたはDTS)がない前記1単位のデータ(UNITb)より1つ前の前記1単位のデータ(図2または図3のUNITa)の先頭(HDR)の時間情報(図2ではPTS0またはPTS1から算出したnewPTSa;図3ではDTS0またはDTS1から算出したnewDTSa)から、前記時間情報(PTSまたはDTS)がない前記1単位のデータ(UNITb)の先頭(HDR)に対応する新たな時間情報(図2のnewPTSbまたは図3のnewDTSb)を算出する(図2の矢印ルートe1または図3の矢印ルートe2;図5のST53イエス、ST55〜ST59)。
【0038】
すなわち、例えば図2のUNITbの先頭時間情報(再生タイムスタンプ)newPTSbを算出する場合、PTS2から算出する場合はルートc1に対応する時間情報TでPTS2を時間進行方向に補正し、PTS3から算出する場合はルートd1に対応する時間情報TでPTS3を時間逆行方向に補正し、以前に求めて保存してあるnewPTSaから算出する場合はルートe1に対応する時間情報TでnewPTSaを時間進行方向に補正すればよい。
【0039】
例えばnewPTS算出の基礎となるPTSをPTSxとしシステムの動作クロックを90kHzとし乗算を*で表すとすると、補正計算の符号の取り方を選べば、newPTS=PTSx±T*90000で算出することができる。
【0040】
同様に、例えば図3のUNITbの先頭時間情報(デコードタイムスタンプ)newDTSbを算出する場合、DTS5から算出する場合はルートc2に対応する時間情報TでDTS5を時間進行方向に補正し、DTS6から算出する場合はルートd2に対応する時間情報TでDTS6を時間逆行方向に補正し、以前に求めて保存してあるnewDTSaから算出する場合はルートe2に対応する時間情報TでnewDTSaを時間進行方向に補正すればよい。
【0041】
例えばnewDTS算出の基礎となるDTSをDTSxとしシステムの動作クロックを90kHzとし乗算を*で表すとすると、補正計算の符号の取り方を選べば、newDTS=DTSx±T*90000で算出することができる。
【0042】
(2)前記1単位のデータ(UNIT)は所定の一定転送レート(TR)で転送され、前記1単位のデータ(UNIT)内の前記オーディオストリーム(A_ES)は固定レート(CBR)でエンコードされたオーディオデータを含み、前記時間情報は前記オーディオデータの再生タイムスタンプ(PTS)を含むことができる。その場合、前記直前の時間情報(図2のPTS2)の位置と前記時間情報(PTS)がない前記1単位のデータ(UNITb)の先頭(HDR)の位置との間のデータサイズ(DS)を前記一定転送レート(TR)で割ることにより得られる時間情報(T=DS/TR)で前記直前の時間情報(図2のPTS2)を補正することにより、前記時間情報(PTS)がない前記1単位のデータ(UNITb)の先頭(HDR)に対応する新たな時間情報(図2のnewPTSb=PTS2+T)を算出する(図2の矢印ルートc1)。
【0043】
(3)前記1単位のデータ(UNIT)は所定の一定転送レート(TR)で転送され、前記1単位のデータ(UNIT)内の前記オーディオストリーム(A_ES)は固定レート(CBR)でエンコードされたオーディオデータを含み、前記時間情報は前記オーディオデータの再生タイムスタンプ(PTS)を含むことができる。その場合、前記直後の前記時間情報(図2のPTS3)の位置と前記時間情報(PTS)がない前記1単位のデータ(UNITb)の先頭(HDR)の位置との間のデータサイズ(DS)を前記一定転送レート(TR)で割ることにより得られる時間情報(T=DS/TR)で前記直後の前記時間情報(図2のPTS3)を補正することにより、前記時間情報(PTS)がない前記1単位のデータ(UNITb)の先頭(HDR)に対応する新たな時間情報(図2のnewPTSb=PTS3−T)を算出する(図2の矢印ルートc1)。
【0044】
(4)前記1単位のデータ(UNIT)は所定の一定転送レート(TR)で転送され、前記1単位のデータ(UNIT)内の前記オーディオストリーム(A_ES)は固定レート(CBR)でエンコードされたオーディオデータを含み、前記時間情報は前記オーディオデータの再生タイムスタンプ(PTS)を含むことができる。その場合、前記1単位のデータ(UNIT)のデータサイズ(DS*)を前記一定転送レート(TR)で割ることにより得られる時間情報(T=DS*/TR)で前記1つ前の前記1単位のデータ(図2のUNITa)の先頭(HDR)の時間情報(図2のnewPTSa)を補正することにより、前記時間情報(PTS)がない前記1単位のデータ(UNITb)の先頭(HDR)に対応する新たな時間情報(図2のnewPTSb=newPTSa+T)を算出する(図2の矢印ルートe1)。
【0045】
(5)前記1単位のデータ(UNIT)は所定の一定転送レート(TR)で転送され、前記1単位のデータ(UNIT)内の前記オーディオストリーム(A_ES)は可変レート(VBR)でエンコードされたオーディオデータを含み、前記時間情報は前記オーディオデータのデコードタイムスタンプ(DTS)を含むことができる。その場合、前記直前の時間情報(図3のDTS5)の位置と前記時間情報(DTS)がない前記1単位のデータ(UNITb)の先頭(HDR)の位置との間のデータサイズ(DS)を前記一定転送レート(TR)で割ることにより得られる時間情報(T=DS/TR)で前記直前の時間情報(図3のDTS5)を補正することにより、前記時間情報(DTS)がない前記1単位のデータ(UNITb)の先頭(HDR)に対応する新たな時間情報(図3のnewDTSb=DTS5+T)を算出する(図3の矢印ルートc2)。
【0046】
(6)前記1単位のデータ(UNIT)は所定の一定転送レート(TR)で転送され、前記1単位のデータ(UNIT)内の前記オーディオストリーム(A_ES)は可変レート(VBR)でエンコードされたオーディオデータを含み、前記時間情報は前記オーディオデータのデコードタイムスタンプ(DTS)を含むことができる。その場合、前記直後の前記時間情報(図3のDTS6)の位置と前記時間情報(DTS)がない前記1単位のデータ(UNITb)の先頭(HDR)の位置との間のデータサイズ(DS)を前記一定転送レート(TR)で割ることにより得られる時間情報(T=DS/TR)で前記直後の前記時間情報(図3のDTS6)を補正することにより、前記時間情報(DTS)がない前記1単位のデータ(UNITb)の先頭(HDR)に対応する新たな時間情報(図3のnewDTSb=DTS6−T)を算出する(図3の矢印ルートc2)。
【0047】
(7)前記1単位のデータ(UNIT)は所定の一定転送レート(TR)で転送され、前記1単位のデータ(UNIT)内の前記オーディオストリーム(A_ES)は可変レート(VBR)でエンコードされたオーディオデータを含み、前記時間情報は前記オーディオデータのデコードタイムスタンプ(DTS)を含むことができる。その場合、前記1単位のデータ(UNIT)のデータサイズ(DS*)を前記一定転送レート(TR)で割ることにより得られる時間情報(T=DS*/TR)で前記1つ前の前記1単位のデータ(図3のUNITa)の先頭(HDR)の時間情報(図3のnewDTSa)を補正することにより、前記時間情報(DTS)がない前記1単位のデータ(UNITb)の先頭(HDR)に対応する新たな時間情報(図3のnewDTSb=newDTSa+T)を算出する(図3の矢印ルートe2)。
【0048】
(8)前記1単位のデータ(UNIT)は、複数種類の圧縮エンコードされたオーディオデータ(AC−3、MLP、MPEG1、MPEG2、L−PCM、DTS−HD、DD+等)と、前記1単位のデータ(UNIT)が一定サイズとなるようなパディングデータを含むことができる。これにより、前記1単位のデータ(UNIT)内に可変レート(VBR:Variable Bit Rate)のデータが含まれていても、前記1単位のデータ(UNIT)全体としては固定レート(CBR:Constant Bit Rate)で転送できるようになる。
【0049】
(9)再生開始またはデコード開始の時間情報(PTSまたはDTS)を伴う複数のオーディオストリーム(A_ES)がパッキングされたものを1つのデータ単位(UNIT)として情報記録がなされた情報媒体(100または11)から記録情報を再生する再生装置は、前記情報媒体(100または11)から記録情報を読み取り、読み取った情報から前記時間情報(PTSまたはDTS)および前記データ単位(UNIT)のオーディオストリーム(A_ES)を抽出する情報読取部(12〜14、20〜22)と、前記情報読取部で抽出された前記時間情報(PTSまたはDTS)を補正して新たな時間情報(newPTSまたはnewDTS)を生成する時間補正部(30:その処理内容は図4または図5)と、前記時間補正部で補正された前記新たな時間情報(newPTSまたはnewDTS)を用いて、前記情報読取部で抽出された前記データ単位(UNIT)のオーディオストリーム(A_ES)の出力制御を行う出力制御部(31〜33)とを具備して構成できる。
【0050】
この再生装置において、前記1単位のデータの先頭(例えば図2または図3のUNITbのHDR)に前記時間情報(PTSまたはDTS)がない場合に、前記時間補正部(30)は、以下の算出処理により前記新たな時間情報(newPTSまたはnewDTS)を生成する:
(9.1)前記時間情報(PTSまたはDTS)がない前記1単位のデータ(UNITb)の先頭(HDR)の直前の前記時間情報(図2のPTS2または図3のDTS5)から、前記時間情報(PTSまたはDTS)がない前記1単位のデータ(UNITb)の先頭(HDR)に対応する新たな時間情報(図2のnewPTSbまたは図3のnewDTSb)を算出する(図2の矢印ルートc1または図3の矢印ルートc2;図4のST24〜ST28または図5のST53ノー、ST54〜ST58)。あるいは
(9.2)前記時間情報(PTSまたはDTS)がない前記1単位のデータ(UNITb)の先頭(HDR)の直後の前記時間情報(図2のPTS3または図3のDTS6)から、前記時間情報(PTSまたはDTS)がない前記1単位のデータ(UNITb)の先頭(HDR)に対応する新たな時間情報(図2のnewPTSbまたは図3のnewDTSb)を算出する(図2の矢印ルートd1または図3の矢印ルートd2;図4のST24〜ST28または図5のST53ノー、ST54〜ST58)。あるいは
(9.3)前記時間情報(PTSまたはDTS)がない前記1単位のデータ(UNITb)より1つ前の前記1単位のデータ(図2または図3のUNITa)の先頭(HDR)の時間情報(図2ではPTS0またはPTS1から算出したnewPTSa;図3ではDTS0またはDTS1から算出したnewDTSa)から、前記時間情報(PTSまたはDTS)がない前記1単位のデータ(UNITb)の先頭(HDR)に対応する新たな時間情報(図2のnewPTSbまたは図3のnewDTSb)を算出する(図2の矢印ルートe1または図3の矢印ルートe2;図5のST53イエス、ST55〜ST59)。
【0051】
(10)再生開始またはデコード開始の時間情報(PTSまたはDTS)を伴う複数のオーディオストリーム(A_ES)がパッキングされたものを1つのデータ単位(UNIT)とする情報を処理して出力する出力装置は、前記情報から前記時間情報(PTSまたはDTS)および前記データ単位(UNIT)のオーディオストリーム(A_ES)を抽出する情報抽出部(14、20〜22)と、前記情報抽出部で抽出された前記時間情報(PTSまたはDTS)を補正して新たな時間情報(newPTSまたはnewDTS)を生成する時間補正部(30:その処理内容は図4または図5)と、前記時間補正部で補正された前記新たな時間情報(newPTSまたはnewDTS)を用いて、前記情報抽出部で抽出された前記データ単位(UNIT)のオーディオストリーム(A_ES)の出力制御を行う出力制御部(31〜33)と、前記出力制御された前記データ単位(UNIT)のオーディオストリーム(A_ES)を外部に出力するインターフェース部(34)とを具備して構成できる。この出力装置において、前記1単位のデータの先頭(例えば図2または図3のUNITbのHDR)に前記時間情報(PTSまたはDTS)がない場合に、前記時間補正部(30)は、以下の算出処理により前記新たな時間情報(newPTSまたはnewDTS)を生成する:
(10.1)前記時間情報(PTSまたはDTS)がない前記1単位のデータ(UNITb)の先頭(HDR)の直前の前記時間情報(図2のPTS2または図3のDTS5)から、前記時間情報(PTSまたはDTS)がない前記1単位のデータ(UNITb)の先頭(HDR)に対応する新たな時間情報(図2のnewPTSbまたは図3のnewDTSb)を算出する(図2の矢印ルートc1または図3の矢印ルートc2;図4のST24〜ST28または図5のST53ノー、ST54〜ST58)。あるいは
(10.2)前記時間情報(PTSまたはDTS)がない前記1単位のデータ(UNITb)の先頭(HDR)の直後の前記時間情報(図2のPTS3または図3のDTS6)から、前記時間情報(PTSまたはDTS)がない前記1単位のデータ(UNITb)の先頭(HDR)に対応する新たな時間情報(図2のnewPTSbまたは図3のnewDTSb)を算出する(図2の矢印ルートd1または図3の矢印ルートd2;図4のST24〜ST28または図5のST53ノー、ST54〜ST58)。あるいは
(10.3)前記時間情報(PTSまたはDTS)がない前記1単位のデータ(UNITb)より1つ前の前記1単位のデータ(図2または図3のUNITa)の先頭(HDR)の時間情報(図2ではPTS0またはPTS1から算出したnewPTSa;図3ではDTS0またはDTS1から算出したnewDTSa)から、前記時間情報(PTSまたはDTS)がない前記1単位のデータ(UNITb)の先頭(HDR)に対応する新たな時間情報(図2のnewPTSbまたは図3のnewDTSb)を算出する(図2の矢印ルートe1または図3の矢印ルートe2;図5のST53イエス、ST55〜ST59)。
【0052】
なお、この発明は前述した実施の形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。例えば、図2または図3に例示されたデータ単位(UNITa,UNITb等)中には固定レートのオーディオストリームと可変レートのオーディオストリームが混在していてもよい。また、データ単位(UNITa,UNITb等)中にオーディオ以外の情報(画像データ、コンピュータデータ等)を含む実施の形態も可能である。
【0053】
また、各実施形態は可能な限り適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【図面の簡単な説明】
【0054】
【図1】この発明の一実施の形態に係る再生装置を説明するブロック図。
【図2】この発明の一実施の形態に係るPTS算出方法を概念的に説明する図。
【図3】この発明の一実施の形態に係るDTS算出方法を概念的に説明する図。
【図4】この発明の一実施の形態に係るPTSまたはDTSの算出手順を説明するフローチャート図。
【図5】この発明の他の実施の形態に係るPTSまたはDTSの算出手順を説明するフローチャート図。
【符号の説明】
【0055】
100…情報媒体(HD_DVD−ROM等の光ディスク);10…再生装置;11…ハードディスクドライブ(HDD);12…光ディスクドライブ;13…トラックバッファ;14…デマルチプレクサ;15…ビデオバッファ(V_PCKバッファ);16…ビデオデコーダ;17…ビデオ出力バッファ;18…ビデオデータ出力処理部;19…ビデオD/A変換機(ビデオDAC);20…オーディオバッファ(A_PCKバッファ);21…エレメンタリストリーム抽出処理部(ES抽出処理);22…オーディオエレメンタリストリームバッファ(A_ESバッファ);23…オーディオデコーダ;24…オーディオ出力バッファ;25…オーディオデータ出力処理部;26…オーディオD/A変換機(オーディオDAC);30…データ・時間補正部(ファームウエア);30A…時間情報補正処理部;30B…出力データ変換処理部;31…オーディオビデオ同期制御部;32…オーディオストリームデータの出力バッファ;33…オーディオストリームデータの出力処理部(ヘッダおよび適宜パディング付加);34…オーディオストリームデータのデジタル出力インターフェース(HDMI);40…ビデオ表示装置(TV);50…オーディオ・ビデオ増幅器(HDMI対応のAVアンプ);60…TV・AVアンプ。

【特許請求の範囲】
【請求項1】
再生開始またはデコード開始の時間情報を伴い複数のオーディオストリームをパッキングして1単位のデータとして転送する方法において、
前記1単位のデータの先頭に前記時間情報がない場合は、
前記時間情報がない前記1単位のデータの先頭の直前の前記時間情報から、前記時間情報がない前記1単位のデータの先頭に対応する新たな時間情報を算出し、あるいは
前記時間情報がない前記1単位のデータの先頭の直後の前記時間情報から、前記時間情報がない前記1単位のデータの先頭に対応する新たな時間情報を算出し、あるいは
前記時間情報がない前記1単位のデータより1つ前の前記1単位のデータの先頭の時間情報から、前記時間情報がない前記1単位のデータの先頭に対応する新たな時間情報を算出するオーディオストリーム処理方法。
【請求項2】
前記1単位のデータは所定の一定転送レートで転送され、前記1単位のデータ内の前記オーディオストリームは固定レートでエンコードされたオーディオデータを含み、前記時間情報は前記オーディオデータの再生タイムスタンプを含み、
前記直前の時間情報の位置と前記時間情報がない前記1単位のデータの先頭の位置との間のデータサイズを前記一定転送レートで割ることにより得られる時間情報で前記直前の時間情報を補正することにより、前記時間情報がない前記1単位のデータの先頭に対応する新たな時間情報を算出する請求項1に記載の方法。
【請求項3】
前記1単位のデータは所定の一定転送レートで転送され、前記1単位のデータ内の前記オーディオストリームは固定レートでエンコードされたオーディオデータを含み、前記時間情報は前記オーディオデータの再生タイムスタンプを含み、
前記直後の前記時間情報の位置と前記時間情報がない前記1単位のデータの先頭の位置との間のデータサイズを前記一定転送レートで割ることにより得られる時間情報で前記直後の前記時間情報を補正することにより、前記時間情報がない前記1単位のデータの先頭に対応する新たな時間情報を算出する請求項1に記載の方法。
【請求項4】
前記1単位のデータは所定の一定転送レートで転送され、前記1単位のデータ内の前記オーディオストリームは固定レートでエンコードされたオーディオデータを含み、前記時間情報は前記オーディオデータの再生タイムスタンプを含み、
前記1単位のデータのデータサイズを前記一定転送レートで割ることにより得られる時間情報で前記1つ前の前記1単位のデータの先頭の時間情報を補正することにより、前記時間情報がない前記1単位のデータの先頭に対応する新たな時間情報を算出する請求項1に記載の方法。
【請求項5】
前記1単位のデータは所定の一定転送レートで転送され、前記1単位のデータ内の前記オーディオストリームは可変レートでエンコードされたオーディオデータを含み、前記時間情報は前記オーディオデータのデコードタイムスタンプを含み、
前記直前の時間情報の位置と前記時間情報がない前記1単位のデータの先頭の位置との間のデータサイズを前記一定転送レートで割ることにより得られる時間情報で前記直前の時間情報を補正することにより、前記時間情報がない前記1単位のデータの先頭に対応する新たな時間情報を算出する請求項1に記載の方法。
【請求項6】
前記1単位のデータは所定の一定転送レートで転送され、前記1単位のデータ内の前記オーディオストリームは可変レートでエンコードされたオーディオデータを含み、前記時間情報は前記オーディオデータのデコードタイムスタンプを含み、
前記直後の前記時間情報の位置と前記時間情報がない前記1単位のデータの先頭の位置との間のデータサイズを前記一定転送レートで割ることにより得られる時間情報で前記直後の前記時間情報を補正することにより、前記時間情報がない前記1単位のデータの先頭に対応する新たな時間情報を算出する請求項1に記載の方法。
【請求項7】
前記1単位のデータは所定の一定転送レートで転送され、前記1単位のデータ内の前記オーディオストリームは可変レートでエンコードされたオーディオデータを含み、前記時間情報は前記オーディオデータのデコードタイムスタンプを含み、
前記1単位のデータのデータサイズを前記一定転送レートで割ることにより得られる時間情報で前記1つ前の前記1単位のデータの先頭の時間情報を補正することにより、前記時間情報がない前記1単位のデータの先頭に対応する新たな時間情報を算出する請求項1に記載の方法。
【請求項8】
前記1単位のデータが、複数種類の圧縮エンコードされたオーディオデータと、前記1単位のデータが一定サイズとなるようなパディングデータを含む請求項1に記載の方法。
【請求項9】
再生開始またはデコード開始の時間情報を伴う複数のオーディオストリームがパッキングされたものを1つのデータ単位として情報記録がなされた情報媒体から記録情報を再生するものであって、
前記情報媒体から記録情報を読み取り、読み取った情報から前記時間情報および前記データ単位のオーディオストリームを抽出する情報読取部と、
前記情報読取部で抽出された前記時間情報を補正して新たな時間情報を生成する時間補正部と、
前記時間補正部で補正された前記新たな時間情報を用いて、前記情報読取部で抽出された前記データ単位のオーディオストリームの出力制御を行う出力制御部とを具備した再生装置において、前記1単位のデータの先頭に前記時間情報がない場合に、前記時間補正部が、以下の算出処理により前記新たな時間情報を生成する:
前記時間情報がない前記1単位のデータの先頭の直前の前記時間情報から、前記時間情報がない前記1単位のデータの先頭に対応する新たな時間情報を算出し、あるいは
前記時間情報がない前記1単位のデータの先頭の直後の前記時間情報から、前記時間情報がない前記1単位のデータの先頭に対応する新たな時間情報を算出し、あるいは
前記時間情報がない前記1単位のデータより1つ前の前記1単位のデータの先頭の時間情報から、前記時間情報がない前記1単位のデータの先頭に対応する新たな時間情報を算出する。
【請求項10】
再生開始またはデコード開始の時間情報を伴う複数のオーディオストリームがパッキングされたものを1つのデータ単位とする情報を処理して出力するものであって、
前記情報から前記時間情報および前記データ単位のオーディオストリームを抽出する情報抽出部と、
前記情報抽出部で抽出された前記時間情報を補正して新たな時間情報を生成する時間補正部と、
前記時間補正部で補正された前記新たな時間情報を用いて、前記情報抽出部で抽出された前記データ単位のオーディオストリームの出力制御を行う出力制御部と、
前記出力制御された前記データ単位のオーディオストリームを外部に出力するインターフェース部とを具備した出力装置において、前記1単位のデータの先頭に前記時間情報がない場合に、前記時間補正部が、以下の算出処理により前記新たな時間情報を生成する:
前記時間情報がない前記1単位のデータの先頭の直前の前記時間情報から、前記時間情報がない前記1単位のデータの先頭に対応する新たな時間情報を算出し、あるいは
前記時間情報がない前記1単位のデータの先頭の直後の前記時間情報から、前記時間情報がない前記1単位のデータの先頭に対応する新たな時間情報を算出し、あるいは
前記時間情報がない前記1単位のデータより1つ前の前記1単位のデータの先頭の時間情報から、前記時間情報がない前記1単位のデータの先頭に対応する新たな時間情報を算出する。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate


【公開番号】特開2008−312008(P2008−312008A)
【公開日】平成20年12月25日(2008.12.25)
【国際特許分類】
【出願番号】特願2007−158887(P2007−158887)
【出願日】平成19年6月15日(2007.6.15)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】