説明

AVデータに同期されたテキストサブタイトルデータを記録した情報記録媒体、再生方法及び装置

【課題】テキストサブタイトルデータとAVデータとを同期するための装置を制御する方法。
【解決手段】データ及びテキストサブタイトルデータをアクセスユニットにレンダリングするステップと、アクセスユニットでの第1時間データと装置での時間データとが実質的に一致する場合に、AVデータ及びテキストサブタイトルデータのプレゼンテーションユニットを生成するように、アクセスユニットをデコーディングするステップと、AVデータとテキストサブタイトルデータとのプレゼンテーションユニットでの第2時間データと、装置での時間データとが実質的に一致する場合、デコーディングされたプレゼンテーションユニットを出力するステップとを含み、AVデータ及びテストサブタイトルデータのプレゼンテーションユニットで第2時間データは互いに合わせる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、サブタイトルに係り、より詳細には、AVデータの再生に同期させて出力できるように設けられたテキストサブタイトルデータを記録した情報記録媒体、その再生方法及び装置に関する。
【背景技術】
【0002】
AVデータの再生と共にサブタイトルをディスプレイするために、サブタイトルデータを含むプレゼンテーショングラフィックストリームをビットマップデータに作ってビデオストリーム及びオーディオストリームと共に多重化してAVデータを作る。このようなビットマップ形態のサブタイトルデータはビデオストリーム及びオーディオストリームと共に多重化されているために、ビデオストリームと同期されて円滑に再生されうる一方、データが大きくて特定情報記録媒体のアプリケーションで定義する最大ビット伝送率内で多重化されうるサブタイトルの数に制限がある。
【0003】
ビットマップ形態のサブタイトルデータ以外にもテキスト基盤のサブタイトルデータがある。テキストサブタイトルデータは、ビットマップサブタイトルデータの製作及び編集における難点を解決するためのものである。しかし、テキストサブタイトルデータはビデオストリームと共に多重化されずに別途に存在するために、ビデオストリームと同期を合わせるに当って、従来ビットマップ基盤のサブタイトルデータを含むプレゼンテーショングラフィックストリームのように、パケット化されたエレメンタリーストリーム(以下、PES)パケットヘッダで定義するプレゼンテーションタイムスタンプだけでは同期を合わせ難く、任意の位置にジャンプして再生する時にも再び同期を合わせ難い。
【発明の概要】
【発明が解決しようとする課題】
【0004】
したがって、本発明が解決しようとする技術的課題は、ビデオストリームの一般的な再生時だけでなくトリック再生時にもビデオストリームの再生に同期されて出力されるように、各サブタイトル項目の出力開始時間及び出力完了時間を指定したテキスト基盤のサブタイトルデータを記録した情報記録媒体、その再生方法及び装置を提供することである。
【課題を解決するための手段】
【0005】
前記技術的課題は、本発明によって、AVデータと同期されて出力されるサブタイトルデータと、前記サブタイトルデータの出力開始時間及び/または出力完了時間を表す出力時間情報と、を含むことを特徴とする情報記録媒体により達成される。
【0006】
前記情報記録媒体は、前記サブタイトルデータが同期されて出力されねばならないAVデータを指示する情報としてプレイアイテム(Playitem)情報をさらに含むことが望ましい。
【0007】
前記出力時間情報は、前記プレイアイテムのシステムタイムクロック(STC)を参照して作られたことが望ましい。
【0008】
また、前記出力時間情報は、前記サブタイトルデータが同期されて出力されねばならないAVデータを指示するプレイリスト(PlayList)に含まれた時間情報を参照することが望ましい。
【0009】
一方、本発明の他の分野によれば、前記技術的課題は、(a)AVデータと同期されて出力されるテキストサブタイトルデータの出力開始時間及び/または出力完了時間を表す出力時間情報を読み取るステップと、(b)前記出力時間情報によって前記テキストサブタイトルデータを出力するステップと、を含むことを特徴とするテキストサブタイトル再生方法によっても達成される。
【0010】
前記(b)ステップは、前記サブタイトルデータが同期されて出力されねばならないAVデータを指示する情報をさらに読み取って、該当AVデータの再生時に前記出力時間情報によって前記サブタイトルデータを出力するステップであることが望ましい。
【0011】
一方、本発明のさらに他の分野によれば、前記技術的課題は、AVデータをディスプレイするAVデータ処理部と、AVデータと同期されて出力されるサブタイトルデータの出力開始時間及び/または出力完了時間を表す出力時間情報を読む出力時間情報抽出部と、前記出力時間情報によって前記サブタイトルデータを読み取って前記AVデータに同期させて出力するサブタイトル出力部と、を備えることを特徴とするAVデータ再生装置によっても達成される。
【0012】
前記出力時間情報抽出部は、前記サブタイトルデータが同期されて出力されねばならないAVデータを指示する情報をさらに読み取ることが望ましい。
【発明の効果】
【0013】
本発明によれば、一般的な再生時だけでなく(AVストリームの他の部分へのジャンプ、スチールフレーム、スローモーション、高速プレイのような)トリック再生時にも、AVストリームにテキストサブタイトルデータを同期化して再生できる。
【図面の簡単な説明】
【0014】
【図1】1Aないし1Eは、ビデオストリーム、オーディオストリーム及びその他のストリームが多重化されてソースパケットで設けられてAVストリームを構成して情報記録媒体に保存される過程を示す図である。
【図2】AVストリームを再生する再生装置の簡略なブロック図である。
【図3】3A及び3Bは、記録媒体に記録されたAVストリームを構成するソースパケットが再生装置に入力されることを示す図である。
【図4】4Aないし4Cは、一つのATC−シーケンスを持つソースパケットが再生装置に入力される時、再生装置のSTCの変化を説明するための図である。
【図5】記録媒体に記録されているAVストリームの再生順序及び再生位置を指定するためのナビゲーション情報とAVストリームとの連結関係を示す図である。
【図6A】前述したテキストサブタイトルの問題点を説明するための図である。
【図6B】前述したテキストサブタイトルの問題点を説明するための図である。
【図7A】前述した第1の方法である、サブタイトルが表示されねばならない参照プレイアイテム情報を追加したことを説明する図である。
【図7B】前述した第1の方法である、サブタイトルが表示されねばならない参照プレイアイテム情報を追加したことを説明する図である。
【図8A】第2の方法である、全域時間によるPTSを割り当ててテキストサブタイトルを記録したことを示す図である。
【図8B】第2の方法である、全域時間によるPTSを割り当ててテキストサブタイトルを記録したことを示す図である。
【図9】各プレイアイテムが指示する時間情報とプレイリストの全域時間との関係を示す図である。
【図10】本発明のAVデータ再生装置を簡略化したブロック図である。
【発明を実施するための形態】
【0015】
以下、添付された図面を参照して本発明の望ましい実施形態について詳細に説明する。
【0016】
図1の1Aないし1Eは、ビデオストリーム、オーディオストリーム及びその他のストリームが多重化されてソースパケットで設けられて、AVストリームを構成して情報記録媒体に保存される過程を示す図である。図1Aを参照するに、AVストリームには、少なくともビデオストリーム、オーディオストリーム以外にビットマップ形態のサブタイトルデータを含むプレゼンテーショングラフィックストリームと、特定目的のために製作者により製作されたその他のデータストリームが含まれうる。ビデオストリームとオーディオストリームなどそれぞれのデータストリームをエレメンタリーストリームという。このようなそれぞれのエレメンタリーストリームをパケット化して図1Bに図示されたPESを作る。
【0017】
一つのPESは、PESヘッダとPESパケットデータとで構成され、PESヘッダは、PESパケットデータがビデオ、オーディオまたはその他のデータであるかを区分するためのStream_id情報、PESパケットのデコーディングタイムスタンプ(DTS)及びプレゼンテーションタイムスタンプ(PTS)情報などを記録している。
【0018】
このように作られたビデオPES、オーディオPES及びその他のデータに対するPESが多重化されて図1Cに図示された188バイトのMPEG−2トランスポートストリームパケットを構成する。188バイトのMPEG−2TSパケットは、ペイロードデータについての情報を記録しているMPEG−2TSヘッダとペイロードデータとで構成される。MPEG−2TSヘッダは、ペイロードデータの種類を表すパケットID情報、PESパケットをデコーディングして出力するために使用するDTS及びPTSの基準時間になる再生装置のSTCを設定するためのプログラム基準クロック(PCR)情報などを記録している適応フィールドなどを含む。
【0019】
188バイトのMPEG−2TSパケットは、再び4バイトのヘッダが追加されてソースパケットに作られ、これらソースパケットが集まってAVストリームを構成する。ソースパケットのヘッダは、該当ソースパケットの不法複製などを防止するために、コンテンツの保護情報を記録しているコピー防止情報と、該当ソースパケットが再生装置に到着した時間を表す到着タイムスタンプ(ATS)情報とを含む。このように作られたAVストリームは、図1Eに図示された情報記録媒体に記録される。情報記録媒体は、(CD、DVD、ブルーレイのような)光媒体、(DVR、フラッシュメモリ、ハードドライブのような)磁気媒体、磁気光学媒体または他の媒体と解釈される。
【0020】
図2は、AVストリームを再生する再生装置の簡略なブロック図である。
【0021】
読み出し部210は、図1を参照して前述したように作られたAVストリームを記録した情報記録媒体からAVストリームを読み出す。そして、ソースパケットのヘッダに記録されたATSによって該当ソースパケットを逆多重化部220に伝達する。逆多重化部220は、受信されたソースパケットからヘッダを除去してMPEG−2TSパケットに作る。そして、これらMPEG−2TSパケットのうちMPEG−2TSパケットヘッダにPCR情報を含んでいる場合には、そのPCR値によって再生装置のSTC 250を設定し、パケットIDによりビデオストリーム及びオーディオストリームに区分してそれぞれのPESパケットを作る。STC 250は、システムクロックをカウントして増加し続け、PCRによって時々順次に増加する値ではないPCRにより指示される値に再設定される。
【0022】
このように作られたPESパケットは、PESパケットヘッダに含まれているDTSと再生装置のSTC 250とが一致する時点にビデオデコーダ230及びオーディオデコーダ240に伝送され、PTSと再生装置のSTC 250とが一致する時点に、デコーディングされたビデオデータまたはオーディオデータを出力する。この時、特定時点に出力されるビデオストリームの単位をビデオプレゼンテーションユニット(VPU)といい、オーディオストリームの単位をオーディオプレゼンテーションユニット(APU)という。またそれぞれのデコーダ230、240によりデコーディングされて、それぞれのプレゼンテーションユニットを生成するためのデータを含んでいるビデオストリーム単位をビデオアクセスユニット(VAU)、オーディオストリーム単位をオーディオアクセスユニット(AAU)という。
【0023】
すなわち、記録媒体に記録されているソースパケットが逆多重化されて特定時点にデコーディングされねばならない単位であるVAUとAAUとで作られ、それぞれのアクセスユニットに記録されたDTSと再生装置のSTCとが一致する時点に、ビデオデコーダ230及びオーディオデコーダ240に送られてデコーディングされてVPU及びAPUに作られる。そして、それぞれのプレゼンテーションユニットのPTSと再生装置のSTCとが一致する時点に出力される。オーディオストリームのPTSは、AAUがオーディオデコーダ240に入力される時間及びオーディオデコーダ240から出力される時間をいずれも意味できる。あらゆる特徴で要求されていないが、VAU及び/またはAAAUは、STCカウンタとVAU及びAAUを同期するようにバッファリングされうる。
【0024】
一方、ビデオストリームまたはオーディオストリームと同様に、ビットマップ基盤のサブタイトルデータのためのプレゼンテーショングラフィックストリームもアクセスユニットとプレゼンテーションユニットとに作られ、そのDTSとPTSとが再生装置のSTCに合わせて動作するので互いに同期できる。
【0025】
図3の3A及び3Bは、記録媒体に記録されたAVストリームを構成するソースパケットが再生装置に入力されることを示す図である。AVストリームは、ソースパケットで構成されており、各ソースパケットのヘッダには、再生装置に入力される時間情報であるATS情報が含まれている。そして、再生装置に最初に入力されるソースパケットのATS値で再生装置の到着タイム時間カウンタを再設定する。そして、以後に入力されるソースパケットは、該当ソースパケットヘッダのATS値と再生装置のATCカウンタ値とを比較して一致する時点に再生装置に入力される。この時、各ソースパケットのATS値が切れずに連続的につながっている場合、これらソースパケットは同じATC−シーケンス(Sequence)を持つ。一般的に一つのAVストリームは一つのATC−シーケンスで構成されることが望ましい。しかし、複数のATS−シーケンスも可能である。
【0026】
図4の4Aないし4Cは、一つのATC−シーケンスを持つソースパケットが再生装置に入力される時、再生装置のSTCの変化を説明するための図である。図4Aを参照するに、一つのATC−シーケンスに含まれている各ソースパケットはATSによって順次に再生装置に入力された後、MPEG−2TSパケットで再構成される。この時、MPEG−2TSパケットのヘッダにPCR情報が含まれている場合、再生装置は、前記PCR情報を利用してSTCを再設定する。STC−シーケンスは、特定MPEG−2TSパケットのPCR情報により連続的に増加するSTCにより制御されるMPEG−2TSパケットのシーケンスを示す。
【0027】
一つのATC−シーケンスには少なくとも一つ以上のSTC−シーケンスが含まれうるが、この時に相異なるSTC−シーケンスに変更される時点、すなわち、新たなSTC−シーケンスの最初のMPEG−2TSパケットにはSTCを再設定するPCR情報が記録されていなければならず、この時点でSTC値の不連続が発生する。
【0028】
図4の4Aないし4Cを参照するに、一つのATC−シーケンスを持つAVストリームが再生される場合、AVストリームが再生される開始時点を0とする全域時間は順次に増加する一方、STC−シーケンスは#0から始まって#1、#2を経つつSTC−シーケンス別に相異なるSTCを持つことが分かる。
【0029】
しかし、ビデオストリーム、オーディオストリーム及びプレゼンテーショングラフィックストリームなどは、STC−シーケンスに不連続が発生してSTCが再設定されても一つのAVストリームで多重化されているために、各ストリームのDTSとPTSとは、該当時間情報を制御するSTC−シーケンス内のSTCにより処理すればよい。
【0030】
しかし、テキストサブタイトルデータは、AVストリームと別途に存在するために特定STC−シーケンス内に属しないだけでなく、複数のAVストリームにかけて保存されうるためにATC−シーケンスも複数が存在できるので、前述したように、STCによるPTSを使用した出力開始時間と出力完了時間とで表示できない。
【0031】
図5は、記録媒体に記録されているAVストリームの再生順序及び再生位置を指定するためのナビゲーション情報とAVストリームとの連結関係を示す図である。記録媒体には、AVストリーム以外にAVストリームについての属性情報などを記録しているクリップインフォメーション(Clip Information)、AVストリームの再生順序を表す情報としてナビゲーション情報などが含まれている。ナビゲーション情報には、記録媒体に含まれている少なくとも一つ以上のタイトルについてのタイトル情報と、各タイトルにより再生されるAVストリームの再生順序情報を含んでいる少なくとも一つ以上のプレイリストなどとが含まれている。
【0032】
図5を参照するに、プレイリストは、再生するAVストリームを指示するための参照情報を含んでいる一つ以上のプレイアイテムを含む。プレイアイテムは、再生に使われるAVストリームについての属性情報を記録しているクリップインフォメーションを指示する情報としてClip_info_fileと、該当AVストリーム上でプレイアイテムが指示しているAVストリームのSTCを含んでいるSTC−シーケンスの番号を指示するref_to_STC_id、プレイアイテムが指示しているSTC−シーケンスで該当プレイアイテムの開始と終了を指示するIN_time、OUT_time情報などを含む。
【0033】
前記のようなデータ構造を持つ記録媒体の再生過程を説明すれば、再生しようとするタイトルで指示するプレイリストが選択され、選択されたプレイリストに含まれているプレイアイテムが一般再生である場合には前部から順次に選択され、ランダム接近の場合に指定されたプレイアイテムから順次に選択される。
【0034】
最初にプレイアイテム#0が選択されれば、Clip_info_file=1情報によりクリップインフォメーション#1が選択され、ref_to_STC_id=0情報によりクリップインフォメーション#1が指示するAVストリームのATC−シーケンス内でSTC−シーケンス#0が選択され、IN_time=in1、OUT_time=out1によりSTC−シーケンス#0に該当するSTCにより指示されるin1位置からout1の位置まで再生される。
【0035】
次いで、プレイアイテム#1が選択されれば、Clip_info_file=2情報によりクリップインフォメーション#2が選択され、ref_to_STC_id=0情報によりクリップインフォメーション#2が指示するAVストリームのATC−シーケンス内でSTC−シーケンス#0が選択され、IN_time=in2、OUT_time=out2によりSTC−シーケンス#0に該当するSTCにより指示されるin2位置からout2位置まで再生され、以下、同じ方法で次のプレイアイテムを再生する。
【0036】
言い換えれば、一つのプレイリストが選択され、プレイリストに含まれているプレイアイテムが選択されて再生されるAVストリームの位置を探し、その位置からのAVストリームをATSによって再生装置に伝送した後、伝送されたデータのうちPCR情報を含むMPEG−2TSパケットを利用して再生装置のSTCを再設定する。その後にVAU及びAAUは、それぞれのアクセスユニットに含まれたPTSがSTCと一致する時点になれば、デコーディングを始めてプレゼンテーションユニットを作り、それぞれのプレゼンテーションユニットのPTSが前記STCと一致する時点になれば、出力する。
【0037】
一方、AVストリームを再生する再生装置でビデオに対応するサブタイトルを提供するために、テキスト基盤のサブタイトルは、テキストサブタイトルで定義している各サブタイトル項目を特定時間に出力するために、出力開始時間(begin)と、出力完了時間(end)とを定義している。この時、テキストサブタイトルで定義する各サブタイトル項目のbegin、end情報の属性値として、AVストリーム上のビデオストリーム及びオーディオストリームでのSTCによるPTSを使用する場合、前述したように一つのテキストサブタイトルで再生順序に合わせて順次に定義しているサブタイトル項目内の(begin,end)が連続的に増加せずに特定時間範囲が重なる現象が発生して、各サブタイトル項目間に前後関係を区分できないという問題が発生する。
【0038】
また、相異なるサブタイトル項目間に同じ(begin,end)が現れうる。したがって、特定プレイリストを選択して再生する時、一般的な順次再生をせずに任意の位置にジャンプして再生すれば、ビデオストリームの位置と一致するサブタイトル項目を正確に検索できない恐れもある。
【0039】
以下では、前述したテキストサブタイトルの問題点を解決するための方法について説明する。ただし、本発明ではテキストサブタイトルを構造化するためにマークアップ言語の形態で製作されたテキストサブタイトルを例として説明するが、サブタイトルデータを構造化するための方法としてバイナリ形態の構造を持つこともできる。バイナリ形態の構造とは、一連のバイナリデータに対して一定のバイト別に意味を付与してサブタイトルデータを構造化したことをいう。すなわち、最初のいくつかのバイトはサブタイトル項目1に関する情報を、その次のいくつかのバイトはサブタイトル項目2についての情報を表すなどの方式で作ることをいう。しかし、テキストサブタイトルデータは他の方法で構成できる。
【0040】
図6A及び図6Bは、前述したテキストサブタイトルの問題点を説明するための図である。図6A及び図6Bを参照するに、参照番号610のサブタイトルはSTC−シーケンス#0に該当するものであって、サブタイトル“Text1”の(begin,end)は(10,12)であり、サブタイトル“Text2”の(begin,end)は(20,22)である。
【0041】
そして、参照番号620のサブタイトル項目はSTC−シーケンス#1に該当するものであって、サブタイトル“Text3”の(begin,end)は(17,19)であり、サブタイトル“Text4”の(begin,end)は(25,27)であり、サブタイトル“Text5”の(begin,end)は(30,33)である。
【0042】
そして、参照番号630のサブタイトル項目はSTC−シーケンス#2に該当するものであり、サブタイトル“Text6”の(begin,end)は(5,8)であり、サブタイトル“Text7”の(begin,end)は(25,27)である。
【0043】
一般的な再生の場合、各サブタイトルの出力順序は610、620、630であるが、各サブタイトル項目の(begin,end)は一貫して維持されず、(begin,end)情報だけでは各サブタイトルの前後関係を区分できなくなる。また、サブタイトル“Text4”とサブタイトル“Text7”との(begin,end)は同じ値を持つ。このように構成されているテキストサブタイトルデータを利用してビデオに同期されるように出力せねばならないが、ビデオストリームの最初から一般的な再生をせずにビデオストリームの再生中にSTC−シーケンス#2の時間“25”に該当する位置にジャンプして再生すれば、テキストサブタイトルデータを処理するデコーダは、サブタイトル“Text4”と“Text7”のうちいずれかが現在ビデオの位置に合うサブタイトル項目であるか区分できなくなる。
【0044】
したがって、テキストサブタイトルデータで定義している各サブタイトル項目をビデオストリームと正しく同期を合わせて再生するために、次のような2つの方法がある。
【0045】
(1)各サブタイトル項目は、該当サブタイトル項目が表示されねばならない参照プレイアイテム情報をさらに含み、(begin,end)値には、STCにより作られたPTSを割り当てる。
【0046】
(2)各サブタイトル項目の出力開始時間及び出力終了時間は、該当サブタイトルデータが同期を合わせて再生せねばならない少なくとも一つ以上のAVストリームを含むプレイリストの全域時間により作られたPTSを割り当てる。
【0047】
前述した2つの方法ともで時間情報として(begin,end)をいずれも含ませず、出力開始時間情報であるbeginまたは出力完了時間情報であるendのみを含ませてもよい。
【0048】
図7A及び図7Bは、前述した第1の方法である、サブタイトルが表示されねばならない参照プレイアイテム情報を追加したことを説明する図である。図7A及び図7Bを参照するに、参照番号710のサブタイトル項目はSTC−シーケンス#0に属するものであり、STC−シーケンス#0はプレイアイテム#0により指示される。そして、参照番号720のサブタイトル項目はSTC−シーケンス#1に属するものであり、STC−シーケンス#1はプレイアイテム#1により指示される。また、参照番号730のサブタイトル項目はSTC−シーケンス#2に属するものであり、STC−シーケンス#2はプレイアイテム#2により指示される。そして、各サブタイトル項目の(begin,end)値はSTCにより作られたPTSが使われる。
【0049】
この場合、参照番号710のサブタイトル項目は、<プレイアイテム_ナンバー=0>という追加情報を通じて参照番号710のサブタイトル項目が使われるプレイアイテムの番号を指定している。したがって、参照番号710のサブタイトル項目が(begin,end)値として使用しているPTSは、プレイアイテム#0が指示するSTC−シーケンス#0によるSTCにより作られたものであって、それに合わせて制御されねばならないということが分かる。
【0050】
これと同じく、参照番号720のサブタイトル項目と参照番号730のサブタイトル項目とは、<プレイアイテム_ナンバー=1>と<プレイアイテム_ナンバー=2>という追加情報を通じて参照番号720のサブタイトル項目と参照番号730のサブタイトル項目とが使われるプレイアイテムの番号を指定することで、図6を参照して前述した問題点を解決できる。一方、テキストサブタイトルデータに含まれる参照プレイアイテム情報は、それぞれのサブタイトル項目ごとに別個に含んでもよい。
【0051】
図8A及び図8Bは、第2の方法である、全域時間によるPTSを割り当ててテキストサブタイトルを記録したことを示す図である。本発明によるテキストサブタイトルデータを保存している記録媒体を再生する再生装置には、AVストリームの再生が進んだ時間を保存するための全域時間を記録している別のメモリ空間を割り当てている。このように再生装置は、再生に必要な情報を保存する空間としてプレイヤーステータスレジスタ(PSR)を持っているが、全域時間を保存しているレジスタは、AVストリームの再生のために特定プレイリストが選択された時に0と設定され、プレイリストが指示しているAVストリームの再生が進むにつれて順次に増加する。すなわち、プレイリスト内の最初のプレイアイテムのIN_time時点に“0”となり、以後、該当プレイアイテムのOUT_timeまで順次に増加し、次のプレイアイテムが選択されれば、該当プレイアイテムのIN_timeからレジスタに保存された全域時間値を増加させ続ける。
【0052】
図9は、各プレイアイテムが指示する時間情報とプレイリストの全域時間との関係を示す図である。図9を参照するに、Xは、プレイアイテム_id=0により指示されるプレイアイテムの再生間隔を表し、Yは、プレイアイテム_id=1により指示されるプレイアイテムの再生間隔を表し、Zは、プレイアイテム_id=2により指示されるプレイアイテムの再生間隔を表す。すなわち、プレイリストが持つ全域時間軸上の時間情報は、各プレイアイテムが持つ特定ATC−シーケンス内の特定STC−シーケンス上の時間と一対一にマッチングされる。
【0053】
したがって、図8A及び図8Bを参照して説明したように、テキストサブタイトル内の各項目は、該当サブタイトル項目の出力開始時間及び出力終了時間値として全域時間軸上の時間値を使用してPTSを表すことで、AVストリームとの同期及び再同期時に現在再生時点の全域時間値を保存しているレジスタを参照することで円滑な再生を行える。
【0054】
図10は、本発明のAVデータ再生装置の簡略化したブロック図である。AVデータ処理部1010は、記録媒体に保存されたAVデータを読み取って出力する。そして、出力時間情報抽出部1020は、AVデータと同期されて出力されるサブタイトルデータの出力開始時間及び出力完了時間を表す出力時間情報を読み取る。出力開始時間と出力完了時間とは、前述したように(begin,end)で表現され、それぞれはプレイアイテムのSTCを参照して作られることができる。そして、出力時間情報には出力開始時間のみ含まれてもよく、出力完了時間のみ含まれてもよく、両方とも含まれてもよい。この場合には、前記サブタイトルデータが同期されて出力されねばならないAVデータを指示するプレイアイテム情報をさらに読み取って、どのプレイアイテムのSTCに同期させ出力すべきかを調べる。また、前述したように、出力時間情報は、サブタイトルデータが同期されて出力されねばならないAVデータを指示するプレイリストの全域時間を参照して作られることもある。サブタイトル出力部1030は、出力時間情報によってサブタイトルデータを読み取ってAVデータに同期させて出力する。
【0055】
一方、前述したテキストサブタイトル再生方法は、コンピュータプログラムで作成可能である。前記プログラムを構成するコード及びコードセグメントは当業界のコンピュータプログラマによって容易に推論できる。また、前記プログラムは、コンピュータで読み取り可能な情報記録媒体に保存され、コンピュータによって読み取られて実行されることによってテキストサブタイトル再生方法を具現する。前記情報記録媒体は、磁気記録媒体、光記録媒体、及びキャリアウェーブ媒体を含む。
【0056】
これまで本発明についてその望ましい実施形態を中心に説明した。当業者ならば本発明が本発明の本質的な特性から逸脱しない範囲で変形された形態に具現されうるということを理解できるであろう。したがって、開示された実施形態は限定的な観点ではなく説明的な観点で考慮されねばならない。本発明の範囲は前述した説明ではなく特許請求の範囲に現れており、それと同等な範囲内にあるあらゆる差異点は本発明に含まれていると解釈されねばならない。
なお、開示した実施形態について、以下に付記を記す。
(付記1)記録/再生装置に使用するための情報記録媒体において、
AVデータと同期されて出力されるサブタイトルデータと、
対応するAVデータと同期される前記サブタイトルデータの出力開始時間及び/または出力完了時間を表す出力時間情報とを含むことを特徴とする情報記録媒体。
(付記2)前記サブタイトルデータが同期されて出力されねばならないAVデータを指示する情報をさらに含むことを特徴とする付記1に記載の情報記録媒体。
(付記3)前記AVデータを指示する情報は、プレイアイテム情報を含むことを特徴とする付記2に記載の情報記録媒体。
(付記4)前記出力時間情報は、前記プレイアイテムのシステムタイムクロック(STC)を参照して作られたことを特徴とする付記3に記載の情報記録媒体。
(付記5)前記出力時間情報は、前記サブタイトルデータが同期されて出力されねばならないAVデータを指示するプレイリストに含まれた時間情報を参照することを特徴とする付記1に記載の情報記録媒体。
(付記6)前記プレイリストに含まれた時間情報は、前記プレイリストの全域時間を含むことを特徴とする付記5に記載の情報記録媒体。
(付記7)前記サブタイトルデータ及び出力時間情報は、マークアップ文書の形態またはバイナリデータ形態でまたはその結合で記録されていることを特徴とする付記1に記載の情報記録媒体。
(付記8)(a)AVデータと同期されて出力されるテキストサブタイトルデータの出力開始時間及び/または出力完了時間を表す出力時間情報を読み取るステップと、
(b)対応するAVデータと同期される前記出力時間情報によって前記テキストサブタイトルデータを出力するステップと、を含むことを特徴とするテキストサブタイトル再生方法。
(付記9)前記(b)ステップは、
前記サブタイトルデータが同期されて出力されねばならないAVデータを指示する情報をさらに読み取って、該当AVデータの再生時に前記出力時間情報によって前記サブタイトルデータを出力するステップであることを特徴とする付記8に記載のテキストサブタイトル再生方法。
(付記10)前記AVデータを指示する情報は、プレイアイテム情報を含むことを特徴とする付記9に記載のテキストサブタイトル再生方法。
(付記11)前記出力時間情報は、前記プレイアイテムのシステムタイムクロック(STC)を参照することを特徴とする付記10に記載のテキストサブタイトル再生方法。
(付記12)前記出力時間情報は、前記サブタイトルデータが同期されて出力されねばならないAVデータを指示するプレイリストに含まれた時間情報を参照することを特徴とする付記8に記載のテキストサブタイトル再生方法。
(付記13)前記プレイリストに含まれた時間情報は、前記プレイリストの全域時間であることを特徴とする付記12に記載のテキストサブタイトル再生方法。
(付記14)AVデータをディスプレイするAVデータ処理部と、
AVデータと同期されて出力されるサブタイトルデータの出力開始時間及び/または出力完了時間を表す出力時間情報を読む出力時間情報抽出部と、
前記出力時間情報によって前記サブタイトルデータを読み取って前記AVデータに同期させて出力するサブタイトル出力部と、を備えることを特徴とするAVデータ再生装置。
(付記15)前記出力時間情報抽出部は、
前記サブタイトルデータが同期されて出力されねばならないAVデータを指示する情報をさらに読み取ることを特徴とする付記14に記載のAVデータ再生装置。
(付記16)前記AVデータを指示する情報は、プレイアイテム情報を含むことを特徴とする付記15に記載のAVデータ再生装置。
(付記17)前記出力時間情報は、前記プレイアイテムのシステムタイムクロック(STC)を参照して作られたことを特徴とする付記16に記載のAVデータ再生装置。
(付記18)前記出力時間情報は、前記サブタイトルデータが同期されて出力されねばならないAVデータを指示するプレイリストに含まれた時間情報を参照して作られたことを特徴とする付記14に記載のAVデータ再生装置。
(付記19)前記プレイリストに含まれた時間情報は、前記プレイリストの全域時間を含むことを特徴とする付記18に記載のAVデータ再生装置。
(付記20)付記8に記載の方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体。
(付記21)テキストサブタイトルデータとAVデータとを同期するための装置を制御する方法において、
AVデータ及びテキストサブタイトルデータをアクセスユニットにレンダリングするステップと、
アクセスユニットでの第1時間データと前記装置での時間データとが実質的に一致する場合に、前記AVデータ及び前記テキストサブタイトルデータのプレゼンテーションユニットを生成するように、前記アクセスユニットをデコーディングするステップと、
前記AVデータと前記テキストサブタイトルデータとのプレゼンテーションユニットでの第2時間データと、前記装置での前記時間データとが実質的に一致する場合、前記デコーディングされたプレゼンテーションユニットを出力するステップとを含み、
前記AVデータ及び前記テストサブタイトルデータのプレゼンテーションユニットで前記第2時間データは互いに合わせることを特徴とする方法。
(付記22)前記AVデータをパケット化されたエレメンタリーストリーム(PES)にパケット化するステップと、
前記パケット化されたエレメンタリーストリームをMPEG−2TSパケットに多重化するステップと、
ソースパケットのグループがAVデータを構成するように、前記ソースパケットを構成するためにMPEG−2TSパケットにヘッダを付加するステップとを含むことを特徴とする付記21に記載の方法。
(付記23)前記AVデータは、少なくともビデオストリーム、オーディオストリーム及びビットマップ−フォーマットサブタイトルデータを含むプレゼンテーショングラフィックストリームを含むことを特徴とする付記22に記載の方法。
(付記24)それぞれのPESは、PESヘッダ及びPESパケットデータを含み、前記PESヘッダは、PESパケットデータのタイプを識別するためのストリームID情報を含むことを特徴とする付記22に記載の方法。
(付記25)前記MPEG−2TSパケットは188バイトであり、
ペイロードデータについての情報を含み、ペイロードデータのタイプを表すパケットID情報を含むヘッダと、
前記装置のシステムタイムクロック(STC)を設定するためのプログラム基準クロック(PCR)を含む適応フィールドとを含むことを特徴とする付記22に記載の方法。
(付記26)前記ヘッダは、
前記ソースパケットの不法複製などを防止するためにコンテンツの保護情報を記録しているコピー防止情報と、
該当ソースパケットが再生装置に到着した時間を表す到着タイムスタンプ(ATS)情報と、を含むことを特徴とする付記22に記載の方法。
(付記27)照プレイアイテム情報及び前記AVデータと同期して出力される前記テキストサブタイトルデータの出力開始時間及び/または出力完了時間を検出するステップと、
前記出力AVデータと同期して前記検出された出力時間情報によって前記テキストサブタイトルデータを出力するステップとを含むことを特徴とする付記21に記載の方法。
(付記28)前記テキストサブタイトルデータのうち多様なサブタイトルのサブタイトルアイテムは、前記サブタイトルアイテムが再生されるプレイアイテムの番号を指定することを特徴とする付記27に記載の方法。
(付記29)前記多様なサブタイトルのサブタイトルアイテムは、前記多様なサブタイトルのサブタイトルアイテムが利用されるプレイアイテムの番号を付加情報を利用して指定することを特徴とする付記27に記載の方法。
(付記30)テキストサブタイトルデータに含まれる参照プレイアイテム情報は、それぞれのサブタイトルアイテムに個別的に含まれることを特徴とする付記29に記載の方法。
(付記31)対応サブタイトルデータが同期化されて再生されるAVデータを含むプレイリストの全域時間に基づくプレゼンテーションタイムスタンプ(PTS)を検出するステップと、
前記PTSをそれぞれのサブタイトルアイテムの出力開始時間及び出力完了時間に割り当てるステップと、
前記出力AVデータと同期される前記検出された出力時間情報によって前記テキストサブタイトルデータを出力するステップと、を含むことを特徴とする付記21に記載の方法。
(付記32)AVストリームと同期及び再同期中に、前記全域時間を保存するレジスタを参照するステップをさらに含むことを特徴とする付記31に記載の方法。
(付記33)付記27に記載の方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体。
(付記34)付記31に記載の方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体。
(付記35)テキストサブタイトルデータは、トリック再生モード中にAVデータと同期して再生されることを特徴とする付記21に記載の方法。
(付記36)前記トリック再生モードは、前記AVデータの他の部分にジャンピング、前記AVデータのスチールフレームのプレゼンテーション、スローモーション再生、高速プレイ、またはその結合の手段を提供するステップを含むことを特徴とする付記35に記載の方法。
(付記37)オーディオ/ビデオ(AV)データと同期してテキストサブタイトルデータを再生する方法において、
ノーマル及びトリックプレイ再生に独立的な同期データによって、オーディオ/ビデオ(AV)ストリームと同期してテキストサブタイトルデータを再生するステップを含むことを特徴とする方法。
【符号の説明】
【0057】
210 読み出し部
220 逆多重化部
230 ビデオデコーダ
240 オーディオデコーダ
250 STCカウンタ
1010 AVデータ処理部
1020 出力時間情報抽出部
1030 サブタイトル出力部

【特許請求の範囲】
【請求項1】
テキストサブタイトルデータとAVデータとを同期するための装置を制御する方法において、
AVデータ及びテキストサブタイトルデータをアクセスユニットにレンダリングするステップと、
アクセスユニットでの第1時間データと前記装置での時間データとが実質的に一致する場合に、前記AVデータ及び前記テキストサブタイトルデータのプレゼンテーションユニットを生成するように、前記アクセスユニットをデコーディングするステップと、
前記AVデータと前記テキストサブタイトルデータとのプレゼンテーションユニットでの第2時間データと、前記装置での前記時間データとが実質的に一致する場合、前記デコーディングされたプレゼンテーションユニットを出力するステップとを含み、
前記AVデータ及び前記テストサブタイトルデータのプレゼンテーションユニットで前記第2時間データは互いに合わせることを特徴とする方法。
【請求項2】
前記AVデータをパケット化されたエレメンタリーストリーム(PES)にパケット化するステップと、
前記パケット化されたエレメンタリーストリームをMPEG−2TSパケットに多重化するステップと、
ソースパケットのグループがAVデータを構成するように、前記ソースパケットを構成するためにMPEG−2TSパケットにヘッダを付加するステップとを含むことを特徴とする請求項1に記載の方法。
【請求項3】
前記AVデータは、少なくともビデオストリーム、オーディオストリーム及びビットマップ−フォーマットサブタイトルデータを含むプレゼンテーショングラフィックストリームを含むことを特徴とする請求項2に記載の方法。
【請求項4】
それぞれのPESは、PESヘッダ及びPESパケットデータを含み、前記PESヘッダは、PESパケットデータのタイプを識別するためのストリームID情報を含むことを特徴とする請求項2に記載の方法。
【請求項5】
前記MPEG−2TSパケットは188バイトであり、
ペイロードデータについての情報を含み、ペイロードデータのタイプを表すパケットID情報を含むヘッダと、
前記装置のシステムタイムクロック(STC)を設定するためのプログラム基準クロック(PCR)を含む適応フィールドとを含むことを特徴とする請求項2に記載の方法。
【請求項6】
前記ヘッダは、
前記ソースパケットの不法複製などを防止するためにコンテンツの保護情報を記録しているコピー防止情報と、
該当ソースパケットが再生装置に到着した時間を表す到着タイムスタンプ(ATS)情報と、を含むことを特徴とする請求項2に記載の方法。
【請求項7】
参照プレイアイテム情報及び前記AVデータと同期して出力される前記テキストサブタイトルデータの出力開始時間及び/または出力完了時間を検出するステップと、
前記出力AVデータと同期して前記検出された出力時間情報によって前記テキストサブタイトルデータを出力するステップとを含むことを特徴とする請求項1に記載の方法。
【請求項8】
前記テキストサブタイトルデータのうち多様なサブタイトルのサブタイトルアイテムは、前記サブタイトルアイテムが再生されるプレイアイテムの番号を指定することを特徴とする請求項7に記載の方法。
【請求項9】
前記多様なサブタイトルのサブタイトルアイテムは、前記多様なサブタイトルのサブタイトルアイテムが利用されるプレイアイテムの番号を付加情報を利用して指定することを特徴とする請求項7に記載の方法。
【請求項10】
テキストサブタイトルデータに含まれる参照プレイアイテム情報は、それぞれのサブタイトルアイテムに個別的に含まれることを特徴とする請求項9に記載の方法。
【請求項11】
対応サブタイトルデータが同期化されて再生されるAVデータを含むプレイリストの全域時間に基づくプレゼンテーションタイムスタンプ(PTS)を検出するステップと、
前記PTSをそれぞれのサブタイトルアイテムの出力開始時間及び出力完了時間に割り当てるステップと、
前記出力AVデータと同期される前記検出された出力時間情報によって前記テキストサブタイトルデータを出力するステップと、を含むことを特徴とする請求項1に記載の方法。
【請求項12】
AVストリームと同期及び再同期中に、前記全域時間を保存するレジスタを参照するステップをさらに含むことを特徴とする請求項11に記載の方法。
【請求項13】
請求項7に記載の方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体。
【請求項14】
請求項11に記載の方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体。
【請求項15】
テキストサブタイトルデータは、トリック再生モード中にAVデータと同期して再生されることを特徴とする請求項1に記載の方法。
【請求項16】
前記トリック再生モードは、前記AVデータの他の部分にジャンピング、前記AVデータのスチールフレームのプレゼンテーション、スローモーション再生、高速プレイ、またはその結合の手段を提供するステップを含むことを特徴とする請求項15に記載の方法。
【請求項17】
オーディオ/ビデオ(AV)データと同期してテキストサブタイトルデータを再生する方法において、
ノーマル及びトリックプレイ再生に独立的な同期データによって、オーディオ/ビデオ(AV)ストリームと同期してテキストサブタイトルデータを再生するステップを含むことを特徴とする方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6A】
image rotate

【図6B】
image rotate

【図7A】
image rotate

【図7B】
image rotate

【図8A】
image rotate

【図8B】
image rotate

【図9】
image rotate

【図10】
image rotate


【公開番号】特開2011−187156(P2011−187156A)
【公開日】平成23年9月22日(2011.9.22)
【国際特許分類】
【出願番号】特願2011−83197(P2011−83197)
【出願日】平成23年4月4日(2011.4.4)
【分割の表示】特願2006−554032(P2006−554032)の分割
【原出願日】平成17年2月19日(2005.2.19)
【出願人】(503447036)サムスン エレクトロニクス カンパニー リミテッド (2,221)
【Fターム(参考)】