説明

サブタイトルを記録した情報記録媒体及びその処理装置

サブタイトルを記録した情報記録媒体及びサブタイトル処理装置が開示される。本発明によって、情報記録媒体は、AVデータと、少なくとも1つのサブタイトルテキストデータとサブタイトルテキストの出力形態を指定する出力スタイル情報をテキスト形式で保存しているサブタイトルデータと、を含むことを特徴とする。これにより、テキストサブタイトルデータに含まれている各サブタイトル項目の出力時間が重畳され、サブタイトルファイルを容易に製作でき、AVストリームに対するサブタイトルをより多様な形態に出力されうる。


【発明の詳細な説明】
【技術分野】
【0001】
本発明は、サブタイトルに係り、より詳細には、少なくとも1つのサブタイトルを同じ時間に画面に出力できる情報記録媒体及びその処理装置に関する。
【背景技術】
【0002】
従来のサブタイトルは、ビットマップイメージ形態に作られてAVストリーム内に含まれている。ビットマップイメージ形態になっているために、サブタイトルを作り難く、かつサブタイトル製作者により定義されたサブタイトルの多様な属性をユーザは選択できず、受動的に受け入れるしかない。すなわち、フォント、文字サイズ、文字色などの属性が既に決定されてビットマップイメージ形態にAVストリーム内に含まれているために、ユーザがその属性を任意に変更することができない。
【0003】
また、サブタイトルがAVストリームと共に圧縮符号化されているために、サブタイトルの出力開始時間と出力完了時間とがAVストリームに対応して明確に指定されており、サブタイトルビットマップイメージが出力される時間が互いに重畳されない。すなわち、いずれかの時間帯には1つのサブタイトルビットマップイメージが出力される。
【0004】
しかし、AVストリームと別途に生成されたテキスト基盤のサブタイトルを記録した記録媒体及びその再生装置では、それぞれのサブタイトルが出力される出力開始時間と出力完了時間とがサブタイトルの製作者により任意に指定されるので、その出力開始時間と出力完了時間とが複数のサブタイトルの間で重畳して存在しうる。言い換えれば、ある時間区間では、2つ以上の複数のサブタイトルが出力されうるが、これを処理する方法が必要である。
【発明の開示】
【発明が解決しようとする課題】
【0005】
したがって、本発明が解決しようとする技術的課題は、テキスト基盤のサブタイトルを記録した情報記録媒体及び再生装置で複数のサブタイトルの出力時間が重畳されている場合、そのサブタイトルを出力する装置を提供することである。
【0006】
本発明が解決しようとする他の技術的課題は、前記サブタイトルを記録した情報記録媒体を提供することである。
【課題を解決するための手段】
【0007】
前記技術的課題は、本発明によって、AVデータと、少なくとも1つのサブタイトルテキストデータと、前記サブタイトルテキストの出力形態を指定する出力スタイル情報をテキスト形式で保存しているサブタイトルデータとを含むことを特徴とする情報記録媒体により達成される。
【0008】
前記出力スタイル情報は、前記サブタイトルテキストごとに異なって適用されるように複数個が存在することが望ましい。
【0009】
前記サブタイトルデータが複数個である場合、複数個のサブタイトルデータがレンダリングされ、レンダリングされたイメージが各々複数個のページを構成することが望ましい。
【0010】
また、前記技術的課題は、テキスト基盤のサブタイトルデータでテキストのレンダリングに使われるレンダリング情報とレンダリングされたテキストのプレゼンテーションに使われる制御情報とを分離して抽出するテキストサブタイトルパーザと、前記抽出されたレンダリング情報によってサブタイトルテキストをレンダリングしてサブタイトルテキストに対するビットマップイメージを生成するテキストレイアウト/フォントレンダラーと、を備えることを特徴とするテキストサブタイトルの処理装置によっても達成される。
【0011】
前記テキストレイアウト/フォントレンダラーは、少なくとも1つのサブタイトルテキストデータに対して相異なるスタイルを適用してレンダリングし、レンダリングされた複数のイメージで複数のページを構成することが望ましい。
【発明の効果】
【0012】
本発明によれば、サブタイトルファイルを容易に製作でき、AVストリームに対するサブタイトルをさらに多様な形態に出力しうる。
【発明を実施するための最良の形態】
【0013】
以下添付された図面を参照して本発明の望ましい実施例について詳細に説明する。
【0014】
図1は、テキスト基盤のサブタイトルファイルの構造を示す図である。
【0015】
テキスト基盤のサブタイトルファイル100は、ダイアローグ情報110、プレゼンテーション情報120及びメタデータ130a、130bを含む。
【0016】
ダイアローグ情報110は、字幕テキストとそのテキストの出力開始時間、出力終了時間、テキストレンダリングに使用するスタイルグループまたはスタイル情報、フェードイン/フェードアウト(Fade−In/Fade−Out)のようなテキスト変化効果情報、そしてテキストに対するフォーマットコードを含む。フォーマットコードは、テキストを太く表示するコード、イタリック体で表示するコード、アンダーラインを示すコード、改行を示すコードなどを含んでいる。
【0017】
プレゼンテーション情報120は、字幕テキストのレンダリングに使われるスタイル情報を含み、複数個のスタイルグループで構成される。スタイルグループは、スタイル情報が記録されているスタイルの束である。スタイルは、字幕テキストのレンダリング及び画面出力に使われる情報を含んでいる。その情報の例としては、スタイル名、フォント、テキスト色、背景色、テキストサイズ、行間隔、テキスト出力領域、テキスト出力の開始位置、出力方向、整列方式などがある。
【0018】
メタデータ130a、130bは、動映像に対する付加情報としてサブタイトルの出力以外の付加機能を行うのに必要な情報を含んでいる。例えば、付加機能は、成人用プログラムのためのスクリーン上に“TV−MA”のようなTVパレンタルガイドラインをディスプレイしうる。
【0019】
図2は、テキスト基盤のサブタイトルを記録した情報記録媒体を再生する再生装置のブロック図である。このような装置は、情報記録媒体にテキストサブタイトルファイルを記録することもできる。
【0020】
テキストサブタイトル処理部220は、テキスト基盤のサブタイトルを処理するためにテキストをレンダリングする。テキストサブタイトル処理部220は、サブタイトルでプレゼンテーション情報とダイアローグ情報とを抽出するためのテキストサブタイトルパーザ(Text−ST parser)221と抽出されたプレゼンテーション情報によってテキストをレンダリングして出力されるイメージを生成するテキストレイアウト/フォントレンダラー(Text layout/Font Renderer)222を備える。
【0021】
図1に示されたテキスト基盤のサブタイトル100は、情報記録媒体に記録されるか、再生装置に備わったメモリに記録されうる。図2では、テキスト基盤のサブタイトルが記録されている情報記録媒体またはメモリをサブタイトル情報保存部200と称した。
【0022】
再生中の動映像に対応して製作されたテキスト基盤のサブタイトルファイルとサブタイトルのレンダリングに使われるフォントデータがサブタイトル情報保存部200から読込まれてバッファ210に保存される。バッファに保存されたサブタイトルファイルは、テキストサブタイトルパーザ221に伝えられてサブタイトルのレンダリングに必要な情報をパージングする。そして、テキストレンダリングに必要な字幕テキスト、フォント情報、レンダリングスタイル情報は、テキストレイアウト/フォントレンダラー222に伝送され、テキストサブタイトルの制御情報は、プレゼンテーションエンジン230の構成バッファ223に伝送される。制御情報は、サブタイトルで画面を構成するための情報であって、出力領域、出力開始位置などの情報がある。
【0023】
テキストレイアウト/フォントレンダラー222は、テキストサブタイトルパーザ221から伝送されたテキストレンダリング情報とバッファ210から伝送されたフォントデータを用いてテキストサブタイトルをレンダリングしてビットマップイメージを生成して字幕の各項目の出力開始時間と出力完了時間とを指定して、1つのサブタイトルページを構成した後、プレゼンテーションエンジン230のオブジェクトバッファ234に伝送する。
【0024】
一方、サブタイトル情報保存部200から読込まれたビットマップイメージ形態のサブタイトルは、コーデッドデータバッファ(coded data buffer)231に入力され、グラフィック処理部232により処理されてビットマップイメージが生成される。生成されたビットマップイメージは、オブジェクトバッファ234に伝送され、そのビットマップイメージの制御情報は、構成バッファ233に伝送される。制御情報は、オブジェクトバッファ234に保存されたビットマップイメージがグラフィックプレーナ240に出力される時間と位置とを指定し、グラフィックプレーナ240に出力されたビットマップイメージに適用される色情報が記録されたCLUT(Color Lookup Table)250を指定する情報である。
【0025】
構成バッファ233は、テキストサブタイトルパーザ221から伝送されたオブジェクト構成情報とグラフィック処理部232により処理されたビットマップサブタイトルデータを入力されて画面出力用制御情報をグラフィック制御部235に伝送する。オブジェクトバッファ234は、グラフィック処理部232により処理されたビットマップサブタイトルデータとテキストレイアウト/フォントレンダラー222から受信したレンダリングされたテキストサブタイトルオブジェクトとを合わせてグラフィックプレーナ240に作ってCLUT250を参照してディスプレイ装置に出力する。
【0026】
図3は、テキストサブタイトル処理部220の詳細ブロック図である。
【0027】
テキスト基盤のサブタイトルファイル情報であるサブタイトルは、テキストサブタイトルパーザ221に入力され、テキストサブタイトルパーザ221は、入力されたサブタイトルをパージングし、サブタイトル制御情報は、プレゼンテーションエンジン230に伝送し、テキストレンダリング関連情報は、テキストレイアウト/フォントレンダラー222に伝送する。テキストレイアウト/フォントレンダラー222は、テキストサブタイトルパーザ221からテキストレンダリングに関連した情報を伝送されて字幕項目の制御情報はエレメント制御バッファ(Element Control Data Buffer)290に、字幕データはテキストデータバッファ(Text Data Buffer)291に、レンダリングに使われるスタイル情報はスタイルデータバッファ(Style Data Buffer)292に各々保存し、テキストのレンダリングに使用するフォントデータは、フォントデータバッファ(Font Data Buffer)293に保存する。
【0028】
エレメント制御バッファ290に保存される制御情報は、フォーマットコードなどになるが、フォーマットコードはテキストを太く表示するコード、イタリック体で表示するコード、アンダーラインを示すコード、改行を示すコードなどを含んでいる。テキストデータバッファ291に保存されるテキストデータは、字幕として出力されるテキストデータである。スタイルデータバッファ292に保存されるスタイルデータは、フォント、テキスト色、背景色、テキストサイズ、行間隔、テキスト出力領域、テキスト出力の開始位置、出力方向、整列方式などについてのデータになりうる。テキストレンダラー(Text Renderer)294は、それぞれのバッファに記録された情報を参照してサブタイトルイメージを生成してプレゼンテーションエンジン230に伝送する。
【0029】
図4は、プレゼンテーションエンジンなしにビットマップイメージを生成することを説明するための参照図である。
【0030】
すなわち、テキストサブタイトル処理部の動作についてのさらに他の一実施例を記述したものであって、プレゼンテーションエンジンの代わりにテキストサブタイトル制御部410を備える。ここで、テキストレイアウト/フォントレンダラー222は、構成情報、位置情報、オブジェクト情報及び色相情報を生成し、これに基づいてビットマップイメージを作る。テキストサブタイトル制御部410は、テキストサブタイトル処理部220からオブジェクト構成情報を入力され、テキストレイアウト/フォントレンダラー222が生成したビットマップイメージを直接グラフィックプレーナ240及びCLUT250に出力するようにテキストレイアウト/フォントレンダラー222を制御する。
【0031】
図5は、構成情報、位置情報、オブジェクト情報及び色相情報が記録された構造体の相関関係の一例を示す図である。
【0032】
画面に出力されるサブタイトルは、ページ単位で構成される。このページには、サブタイトル以外にも他の用途で使われるデータを含みうる。1つのページを構成するのに使われる情報を記録している情報を構成情報として、構成情報にはページの出力時間を指示している出力時間情報、出力されるイメージオブジェクトを指示するオブジェクト情報参照値、オブジェクトの出力位置を指示する位置情報参照値及びオブジェクトに対する色相情報を指示する色相情報参照値を含む。
【0033】
図5で示す各情報の相関関係は、情報構成の一実施例であって、位置情報、オブジェクト情報及び色相情報の相関関係を図5とは異なる形式で構成することも可能である。図5を参照するに、1つのページは、画面上にイメージが出力される領域を1つ以上含みうる。少なくとも1つの領域は、位置情報参照値に区分される。そして、これら領域の構成に必要な情報を記録している構造体が位置情報である。位置情報は、各領域の水平及び垂直座標、幅と高さについての情報を含む。オブジェクト情報は、画面上にオブジェクトデータを記録している。オブジェクト情報は、オブジェクトのデータタイプ情報及びオブジェクトデータなどを含む。
【0034】
テキストサブタイトル処理部の動作を例として説明すれば、テキストサブタイトル処理部は、テキスト基盤のサブタイトルを提供するために画面に出力されるそれぞれのレンダリングされたサブタイトルイメージについて前述した構成情報、位置情報、オブジェクト情報及び色相情報を生成する。そして、このように生成された構成情報、位置情報、オブジェクト情報及び色相情報は、プレゼンテーションエンジンに伝送される。
【0035】
前述したようにテキスト形態で作られたサブタイトルを記録した情報記録媒体を再生するに当って、1つ以上のサブタイトルを同じ時間に出力する方法で色々な方法がある。
【0036】
第1の方法は、テキストサブタイトル処理部がサブタイトルテキストの出力時間が重なる複数のサブタイトルに対して新たなイメージを生成し、1つの構成情報内で1つの位置情報に出力されるように作られたオブジェクトで構成されたサブタイトルをプレゼンテーションエンジンに伝送する方法である。
【0037】
第2の方法は、字幕テキストの出力時間が重なる各サブタイトルが相異なる位置情報を有するように構成する方法である。すなわち、テキストサブタイトル処理部は、サブタイトルテキストの出力時間が重なる複数のサブタイトルに対して、1つの構成情報内で相異なる位置情報を使用してイメージを作ってプレゼンテーションエンジンに伝送する方法である。
【0038】
第3の方法は、字幕テキストの出力時間が重なる各サブタイトルを相異なる構成情報を使用して作る方法である。すなわち、テキストサブタイトル処理部は、サブタイトルの出力時間が重なる複数のサブタイトルに対し、各サブタイトル別に相異なる構成情報を作って1つの構成情報には1つのオブジェクトのみが含まれるように構成する方法である。以下では、それぞれの方法について図面を参照してさらに詳細に説明する。
【0039】
図6Aないし図6Cは、複数個のサブタイトルに対して1つの構成情報と1つの位置情報とを使用してイメージを生成することを説明するための図である。
【0040】
図6Aは、サブタイトルテキストのレンダリングに使われるスタイル情報としてスタイル“Script”を定義したものである。図6Aを参照するに、スタイル“Script”は、“Arial.ttf”というフォントを使用し、文字色は、“black”、背景色は、“white”、文字サイズは、“16pt”、テキストの基準位置は、座標(x、y)、整列方式は、“center”、出力方向は、“left−to−right−top−to−bottom”、出力領域は、“left、top、width、height”、行間隔は、“40px”であることが分かる。
【0041】
図6Bは、スタイル“Script”を使用してレンダリングされるサブタイトルテキスト610、620、630を定義したことである。図6Bを参照するに、サブタイトルテキストHello610は、時間“00:10:00”から“00:15:00”まで出力され、サブタイトルテキストSubtitle620は、時間“00:12:00”から“00:17:00”まで出力され、サブタイトルテキストWorld630は、時間“00:14:00”から“00:19:00”まで出力されるということが分かる。したがって、時間“00:12:00”から“00:17:00”までは2つまたは3つのサブタイトルテキストが出力される。ここで、“<br>”は、改行を示す情報である。<br>タッグを使用することによって1つのスタイルを使用するとしても、いろいろなサブタイトルが1つの領域に重なって出力されることを防止しうる。
【0042】
図6Cは、図6Aと図6Bにより定義されたサブタイトルが出力された結果を示す図である。これにより、各時間帯別にテキストサブタイトル処理部の各バッファに保存されているデータを詳細に説明すれば次の通りである。
【0043】
(1)時間“00:10:00”まで:空白サブタイトルイメージを含む構成情報を出力する時、テキストレイアウト/フォントレンダラー222は次を含む。
【0044】
エレメント制御データバッファ:空いている
テキストデータバッファ:空いている
スタイルデータバッファ:スタイル“Script”情報
フォントデータバッファ:“Arial.ttf”のフォント情報
(2)時間“00:10:00”から“00:12:00”まで:サブタイトルテキストHello610がレンダリングされるイメージを含む構成情報を出力する時、テキストレイアウト/フォントレンダラー222は次を含む。
【0045】
エレメント制御データバッファ:サブタイトルテキストHello610についての制御情報
テキストデータバッファ:“Hello”
スタイルデータバッファ:スタイル“Script”情報
フォントデータバッファ:“Arial.ttf”のフォント情報
(3)時間“00:12:00”から“00:14:00”まで:サブタイトルテキストHello610とサブタイトルテキストSubtitle620のレンダリングされたイメージを含む構成情報を出力する時、テキストレイアウト/フォントレンダラー222は次を含む。
【0046】
エレメント制御データバッファ:サブタイトルテキストHello610とサブタイトルテキストSubtitle620についての制御情報
テキストデータバッファ:“Hello”と“<br>Subtitle”
スタイルデータバッファ:スタイル“Script”情報
フォントデータバッファ:“Arial.ttf”のフォント情報
(4)時間“00:14:00”から“00:15:00”まで:サブタイトルテキストHello610、サブタイトルテキストSubtitle620、サブタイトルテキストWorld630のレンダリングされたイメージを含む構成情報を出力する時、テキストレイアウト/フォントレンダラー222は次を含む。
【0047】
エレメント制御データバッファ:サブタイトルテキストHello610、サブタイトルテキストSubtitle620、サブタイトルテキストWorld630についての制御情報
テキストデータバッファ:“Hello”と“<br>Subtitle”と“<br><br>World”
スタイルデータバッファ:スタイル“Script”情報
フォントデータバッファ:“Arial.ttf”のフォント情報
(5)時間“00:15:00”から“00:17:00”まで:サブタイトルテキストSubtitle620、サブタイトルテキストWorld630のレンダリングされたイメージを含む構成情報を出力する時、テキストレイアウト/フォントレンダラー222は次を含む。
【0048】
エレメント制御データバッファ:サブタイトルテキストSubtitle620、サブタイトルテキストWorld630についての制御情報
テキストデータバッファ:“<br>Subtitle”と“<br><br>World”
スタイルデータバッファ:スタイル“Script”情報
フォントデータバッファ:“Arial.ttf”のフォント情報
(6)時間“00:17:00”から“00:19:00”まで:サブタイトルテキストWorld630のレンダリングされたイメージを含む構成情報を出力する時、テキストレイアウト/フォントレンダラー222は次を含む。
【0049】
エレメント制御データバッファ:サブタイトルテキストWorld630についての制御情報
テキストデータバッファ:“<br><br>World”
スタイルデータバッファ:スタイル“Script”情報
フォントデータバッファ:“Arial.ttf”のフォント情報
(7)時間“00:19:00”まで:空白サブタイトルイメージを含む構成情報を出力する時、テキストレイアウト/フォントレンダラー222は次を含む。
【0050】
エレメント制御データバッファ:空いている
テキストデータバッファ:空いている
スタイルデータバッファ:スタイル“Script”情報
フォントデータバッファ:“Arial.ttf”のフォント情報
前記サブタイトルの出力過程で分かるように、第1の方法では重畳された出力時間を有する複数の字幕項目に対して同じスタイルを適用して1つのサブタイトルイメージを生成し、これを含むように1つの構成情報を生成してプレゼンテーションエンジンに伝送する。この際、伝送された構成情報が画面で消える時間であるpage_time_outは互いに重畳された出力時間を有する複数のサブタイトルのうち、最後に出力が完了するサブタイトルが消える時間または新たなサブタイトルが追加される時間である。
【0051】
そして、出力されるサブタイトルは、テキストサブタイトル処理部でサブタイトルに対するデコーディングを行う時間Tdecodingとレンダリングされたサブタイトルがオブジェクトバッファからグラフィックプレーナに出力されるのに必要な時間Tcompositionとを考慮して、テキストサブタイトル処理が迅速に行われるべきである。テキストサブタイトル処理部でサブタイトルが再生装置から出力される時間をTstartとし、テキストサブタイトル処理部にサブタイトルが到着する時間をTarrivalとすれば、これら時間の相関関係は次の式(1)のようである。
【0052】
【数1】


式(1)を参照するに、テキストサブタイトルがいかほど速く処理されねばならないかが分かる。そして、Tdecodingは出力されねばならないサブタイトルをレンダリングし、レンダリングされたオブジェクトを含む構成情報を生成してオブジェクトバッファに伝送するのにかかる時間である。Tstartの出力時間を有するサブタイトルは、少なくともTdecodingとTcompositionを加算した時間以前には処理が始まるべきである。Tdecodingは、字幕テキストをレンダリングしてオブジェクトバッファに伝送する時間であるTrenderingとレンダリングされたオブジェクトを含む構成情報とを生成してグラフィックプレーナに伝送する時間であるT構成情報生成を加算した時間である。そして、Tcharは、1つの字(character)のレンダリングにかかる時間であり、よって、Trenderingはそれぞれの字をいずれもレンダリングするのにかかる時間の和である。
【0053】
そして、オブジェクトバッファの大きさは、オブジェクトの大きさより大きいか、同じであるべきである。ここで、オブジェクトの大きさは、それぞれの字データの大きさの和である。したがって、1つのサブタイトルを構成する字の数は、オブジェクトバッファに保存されうる字の数で制限される。また、オブジェクトバッファは、複数個のサブタイトルを保存できるので、この場合に複数個のサブタイトルを構成する字の数もオブジェクトバッファに保存されうる字の数で制限される。
【0054】
図7Aないし図7Cは、複数個のサブタイトルに対して1つの構成情報と複数個の位置情報とを使用してイメージを生成することを説明するための図である。
【0055】
図7Aは、サブタイトルテキストのレンダリングに使われるスタイル情報としてスタイル“Script1”、“Script2”、“Script3”を定義したものである。図7Aを参照するに、3つのスタイルは、“Arial.ttf”フォントを使用し、文字色は“black”、背景色は“white”、文字サイズは“16pt”、整列方式は“center”、出力方向は“left−to−right−top−to−bottom”、行間隔は“40px”であるということが分かる。そして、サブタイトルテキストの基準位置として“Script1”は座標(x1、y1)を、“Script2”は座標(x2、y2)を、“Script3”は座標(x3、y3)を有する。出力領域としては、各々Script1は“left1、top1、width1、height1”、Script2は“left2、top2、width2、height2”、Script3は“left3、top3、width3、height3”であることということが分かる。
【0056】
図7Bは、スタイル“Script1”、“Script2”、“Script3”を使用してレンダリングされるサブタイトルテキスト710、720、730を定義したものである。図7Bを参照するに、サブタイトルテキストHello710は、スタイル“Script1”を使用して時間“00:10:00”から“00:15:00”まで出力され、サブタイトルテキストSubtitle720は、スタイル“Script2”を使用して時間“00:12:00”から“00:17:00”まで出力され、サブタイトルテキストWorld730は、スタイル“Script3”を使用して時間“00:14:00”から“00:19:00”まで出力されるということが分かる。したがって、時間“00:12:00”から“00:17:00”までは2つまたは3つのサブタイトルテキストが出力される。相異なるスクリプトを使用したのでこの場合には改行タッグである<br>が不要である。
【0057】
図7Cは、図7Aと図7Bにより定義された字幕が出力された結果を示す図である。これにより、各時間帯別にテキストサブタイトル処理部の各バッファに保存されているデータを詳細に説明すれば次の通りである。
【0058】
(1)時間“00:10:00”まで:空白サブタイトルイメージを含む構成情報を出力する時、テキストレイアウト/フォントレンダラー222は次を含む。
【0059】
エレメント制御データバッファ:空いている
テキストデータバッファ:空いている
スタイルデータバッファ:空いている
フォントデータバッファ:“Arial.ttf”のフォント情報
(2)時間“00:10:00”から“00:12:00”まで:サブタイトルテキストHello710のレンダリングされたイメージを含む構成情報を出力する時、テキストレイアウト/フォントレンダラー222は次を含む。
【0060】
エレメント制御データバッファ:サブタイトルテキストHello710についての制御情報
テキストデータバッファ:“Hello”
スタイルデータバッファ:スタイル“Script1”情報
フォントデータバッファ:“Arial.ttf”のフォント情報
(3)時間“00:12:00”から“00:14:00”まで:サブタイトルテキストHello710とサブタイトルテキストSubtitle720を含む構成情報を出力する時、テキストレイアウト/フォントレンダラー222は次を含む。
【0061】
エレメント制御データバッファ:サブタイトルテキストHello710とサブタイトルテキストSubtitle720とについての制御情報
テキストデータバッファ:“Hello”と“Subtitle”
スタイルデータバッファ:スタイル“Script1”とスタイル“Script2”情報
フォントデータバッファ:“Arial.ttf”のフォント情報
(4)時間“00:14:00”から“00:15:00”まで:サブタイトルテキストHello710、サブタイトルテキストSubtitle720及びサブタイトルテキストWorld730を含む構成情報を出力する時、テキストレイアウト/フォントレンダラー222は次を含む。
【0062】
エレメント制御データバッファ:サブタイトルテキストHello710、サブタイトルテキストSubtitle720及びサブタイトルテキストWorld730についての制御情報
テキストデータバッファ:“Hello”と“Subtitle”と“World”
スタイルデータバッファ:スタイル“Script1”とスタイル“Script2”とスタイル“Script3”情報
フォントデータバッファ:“Arial.ttf”のフォント情報
(5)時間“00:15:00”から“00:17:00”まで:サブタイトルテキストSubtitle720及びサブタイトルテキストWorld730を含む構成情報を出力する時、テキストレイアウト/フォントレンダラー222は次を含む。
【0063】
エレメント制御データバッファ:サブタイトルテキストSubtitle720及びサブタイトルテキストWorld730についての制御情報
テキストデータバッファ:“Subtitle”と“World”
スタイルデータバッファ:スタイル“Script2”とスタイル“Script3”情報
フォントデータバッファ:“Arial.ttf”のフォント情報
(6)時間“00:17:00”から“00:19:00”まで:サブタイトルテキストWorld730を含む構成情報を出力する時、テキストレイアウト/フォントレンダラー222は次を含む。
【0064】
エレメント制御データバッファ:サブタイトルテキストWorld730についての制御情報
テキストデータバッファ:“World”
スタイルデータバッファ:スタイル“Script3”情報
フォントデータバッファ:“Arial.ttf”のフォント情報
(7)時間“00:19:00”まで:空白サブタイトルイメージを含む構成情報を出力する時、テキストレイアウト/フォントレンダラー222は次を含む。
【0065】
エレメント制御データバッファ:空いている
テキストデータバッファ:空いている
スタイルデータバッファ:空いている
フォントデータバッファ:“Arial.ttf”のフォント情報
前述した第2の方法では重畳された出力時間を有する複数の字幕項目に対して相異なるスタイルを適用して字幕項目別に各々サブタイトルイメージを生成し、これらを含む1つの構成情報を生成してプレゼンテーションエンジンに伝送する。テキストサブタイトルの処理時間は第1の方法と同一である。すなわち、出力されるサブタイトルは、テキストサブタイトル処理部でサブタイトルに対するデコーディングを行う時間Tdecodingとレンダリングされたサブタイトルがオブジェクトバッファからグラフィックプレーナに出力されるのに必要な時間Tcompositionを考慮してテキストサブタイトル処理が速く行われるべきである。但し、この場合には、複数個のオブジェクトが存在するために、レンダリング時間はこれらそれぞれのオブジェクトのレンダリングにかかる時間の和になるので次の式(2)により計算される。
【0066】
【数2】


オブジェクトバッファに保存されうるサブタイトルテキストの字数の制限は第1の方法と同一である。
【0067】
図8Aないし図8Cは、複数のサブタイトルに対して複数の構成情報を構成して1つの構成情報に1つのイメージオブジェクトが各々含まれるようにイメージを生成することを説明するための図である。
【0068】
図8Aは、字幕テキストのレンダリングに使われるスタイル情報としてスタイル“Script1”、“Script2”、“Script3”を定義したものである。図8Aを参照するに、3つのスタイルは、“Arial.ttf”フォントを使用し、文字色は“black”、背景色は“white”、文字サイズは“16pt”、整列方式は“center”、出力方向は“left−to−right−top−to−bottom”、行間隔は“40px”であることが分かる。そして、テキストイメージの基準位置で、“Script1”は座標(x1、y1)を、“Script2”は座標(x2、y2)を、“Script3”は座標(x3、y3)を有し、出力領域で、“Script1”は“left1、top1、width1、height1”、“Script2”は“left2、top2、width2、height2”、“Script3”は“left3、top3、width3、height3”を有する。
【0069】
図8Bは、スタイル“Script1”、“Script2”、“Script3”を使用してレンダリングされるサブタイトルテキスト810、820、830を定義したものである。図8Bを参照するに、サブタイトルテキストHello810は、スタイル“Script1”を使用して時間“00:10:00”から“00:15:00”まで出力され、サブタイトルテキストSubtitle820は、スタイル“Script2”を使用して時間“00:12:00”から“00:17:00”まで出力され、サブタイトルテキストWorld(830)は、スタイル“Script3”を使用して時間“00:14:00”から“00:19:00”まで出力されるということが分かる。したがって、時間“00:12:00”から“00:17:00”までは2つまたは3つのサブタイトルテキストが重畳されている。
【0070】
図8Cは、図8A及び図8Bにより定義された字幕が出力された結果を示す図である。これにより、各時間帯別にテキストサブタイトル処理部の各バッファに保存されているデータを詳細に説明すれば次の通りである。
【0071】
(1)時間“00:00:00”において:空白サブタイトルイメージを含む構成情報を出力する時、テキストレイアウト/フォントレンダラー222は次を含む。
【0072】
エレメント制御データバッファ:空いている
テキストデータバッファ:空いている
スタイルデータバッファ:空いている
フォントデータバッファ:“Arial.ttf”のフォント情報
(2)時間“00:10:00”において:サブタイトルテキストHello810のレンダリングされたイメージを含む構成情報を出力する時、テキストレイアウト/フォントレンダラー222は次を含む。
【0073】
エレメント制御データバッファ:サブタイトルテキストHello810についての制御情報
テキストデータバッファ:“Hello”
スタイルデータバッファ:スタイル“Script1”情報
フォントデータバッファ:“Arial.ttf”のフォント情報
(3)時間“00:12:00”において:サブタイトルテキストHello810を含む構成情報とサブタイトルテキストSubtitle820とを含む構成情報を各々出力する時、テキストレイアウト/フォントレンダラー222は次を含む。
【0074】
エレメント制御データバッファ:サブタイトルテキストSubtitle820についての制御情報ロード
テキストデータバッファ:“Subtitle”
スタイルデータバッファ:スタイル“Script2”情報
フォントデータバッファ:“Arial.ttf”のフォント情報
(4)時間“00:14:00”において:サブタイトルテキストHello810を含む構成情報とサブタイトルテキストSubtitle820を含む構成情報とサブタイトルテキストWorld830を含む構成情報とを各々出力する時、テキストレイアウト/フォントレンダラー222は次を含む。
【0075】
エレメント制御データバッファ:サブタイトルテキストWorld830についての制御情報ロード
テキストデータバッファ:“World”
スタイルデータバッファ:スタイル“Script3”情報
フォントデータバッファ:“Arial.ttf”のフォント情報
(%)時間“00:15:00”以後:テキストサブタイトル処理部は、時間“00:19:00”以後に出力される次の字幕項目に対する出力準備を行うまで何らの動作もしない。したがって、時間“00:15:00”から時間“00:19:00”間で出力されるサブタイトルの変化は、テキストサブタイトル処理部から受信されたサブタイトルHello、Subtitle、World各々についての構成情報をプレゼンテーションエンジンが制御することによって行われる。
【0076】
すなわち、時間“00:15:00”でプレゼンテーションエンジンは、サブタイトルHelloについての構成情報とビットマップイメージオブジェクトを構成バッファとオブジェクトバッファから除去し、サブタイトルSubtitle、Worldについての構成情報のみを画面に出力する。そして、時間“00:17:00”でプレゼンテーションエンジンはサブタイトルSubtitleについての構成情報とビットマップイメージオブジェクトを構成バッファとオブジェクトバッファから除去し、サブタイトルWorldについての構成情報のみを画面に出力する。また、時間“00:19:00”では、プレゼンテーションエンジンはサブタイトルWorldについての構成情報とビットマップイメージオブジェクトを構成バッファとオブジェクトバッファから除去して、これ以上画面にサブタイトルを出力しない。
【0077】
第3の方法では、重畳された出力時間を有する複数の字幕項目に対して相異なるスタイルを適用して字幕項目別に1つのサブタイトルイメージを生成し、1つの字幕イメージに対して1つの構成情報を生成して複数の構成情報がプレゼンテーションエンジンに伝送される。テキストサブタイトルの出力時間は、第1の方法と同一である。前記第1、第2の方法では、出力時間が重畳される複数の字幕項目に対して1つの構成情報を構成して出力するので、一度に1つの構成情報に対する処理時間のみを考慮する一方、第3の方法ではそれぞれの字幕項目が1つの構成情報を構成するので、複数の構成情報が生成されて出力される。したがって、第3の方法で字幕項目の処理開始時間は、最悪の場合である同じ出力開始時間を有する複数のサブタイトルに対して同時に複数の構成情報が生成されて出力される場合を仮定せねばならず、これは次の式(3)によって説明される。
【0078】
【数3】


複数の構成情報を生成する時間である
【0079】
【数4】


は、1つのサブタイトルについての構成情報生成時間である
【0080】
【数5】


の和で示す。Trenderingは、複数のサブタイトルをレンダリングして複数のオブジェクトを生成する時間であって、1つのサブタイトルに対するレンダリング時間であるTOBJの和で示す。TOBJは1つのサブタイトルのレンダリングにかかる時間であって、該当サブタイトルが含む字それぞれのレンダリング時間であるTcharの和である。式(3)を参照するに、複数の字を含んでいる複数のサブタイトルが同時に出力されるためには、少なくともそれぞれのサブタイトルが含むあらゆる字がレンダリングされて複数の構成情報を構成して出力されるのにかかる時間の和がサブタイトルの出力時間とテキストサブタイトル処理部でサブタイトルが処理され始める時間との差より小さくなければならない。
【0081】
オブジェクトバッファに保存されうるサブタイトルテキストの字数の制限は第1の方法及び第2の方法の場合と同一である。
【0082】
前述した第3の方法のように同時に複数の構成情報の出力を支援する構造で構成された情報記録媒体及び再生装置では動映像に対するテキスト基盤のサブタイトルとサブタイトル以外のビットマップイメージとを同時に画面上に出力することもできる。
【0083】
AVストリームと共に圧縮符号化されているデータにはビデオデータ、オーディオデータ以外にビットマップ形式のサブタイトル、そしてサブタイトルでないビットマップイメージがある。サブタイトルでないビットマップイメージの例としては、TV放送で15才以上視聴可能なプログラムであるということを表示するために画面上端に(15)のようなイメージを表示できるが、これがその一例である。従来には、ある一瞬には1つの構成情報のみ画面に出力されるので、ビットマップサブタイトルとその他のビットマップイメージとを同時に出力するためには、サブタイトルを出力するための領域とその他のビットマップイメージを出力するための領域とを構成情報が別途に定義して各領域に出力した。
【0084】
したがって、ユーザがサブタイトルの出力を所望せず、出力をオフ(off)すれば、デコーダはサブタイトルのデコーディングのみを中止する。したがって、オブジェクトバッファにサブタイトルデータが伝えられず、サブタイトルは消えてサブタイトルでないビットマップイメージのみが出力され続けた。
【0085】
もし、サブタイトルを出力するためにテキストサブタイトル処理部が1つの構成情報でサブタイトルのためのイメージを作ってプレゼンテーションエンジンに伝送する場合、サブタイトルの出力をオフすれば、AVストリームに記録されているサブタイトル以外のビットマップイメージも出力されない。したがって、本発明の第3の方法で説明したように複数の構成情報を同時に画面上に出力しうる場合には、ビットマップサブタイトルの代わりにテキストサブタイトルを選択した場合にAVストリームに記録されている構成情報ではビットマップサブタイトルを除いた残りのイメージを出力しつづけ、テキストサブタイトル処理部が生成した構成情報を使用してサブタイトルを出力することが可能である。すなわち、テキストサブタイトルを出力しつつ、同時にサブタイトル以外の他のビットマップイメージも共に画面上に出力しうる。
【0086】
一方、前述したサブタイトル出力方法は、コンピュータプログラムで作成可能である。前記プログラムを構成するコード及びコードセグメントは、当分野のコンピュータプログラマーによって容易に推論されうる。また、前記プログラムは、コンピュータで読取り可能な情報記録媒体に保存され、コンピュータによって読取られて実行されることによって、参照ピクチャー決定方法及びその動き補償方法を具現する。前記情報記録媒体は、磁気記録媒体、光記録媒体、及びキャリアウェーブ媒体を含む。
【図面の簡単な説明】
【0087】
【図1】テキスト基盤のサブタイトルファイルの構造を示す図である。
【図2】テキスト基盤のサブタイトルを記録した情報記録媒体を再生する再生装置のブロック図である。
【図3】テキストサブタイトル処理部の詳細ブロック図である。
【図4】プレゼンテーションエンジンなしにビットマップイメージを生成することを説明するための参照図である。
【図5】構成情報、位置情報、オブジェクト情報及び色想情報が記録された構造体の相関関係の一例を示す図である。
【図6A】複数個のサブタイトルに対して1つの構成情報と1つの位置情報を使用してイメージを生成することを説明するための図である。
【図6B】複数個のサブタイトルに対して1つの構成情報と1つの位置情報を使用してイメージを生成することを説明するための図である。
【図6C】複数個のサブタイトルに対して1つの構成情報と1つの位置情報を使用してイメージを生成することを説明するための図である。
【図7A】複数個のサブタイトルに対して1つの構成情報と複数個の位置情報を使用してイメージを生成することを説明するための図である。
【図7B】複数個のサブタイトルに対して1つの構成情報と複数個の位置情報を使用してイメージを生成することを説明するための図である。
【図7C】複数個のサブタイトルに対して1つの構成情報と複数個の位置情報を使用してイメージを生成することを説明するための図である。
【図8A】複数のサブタイトルに対して複数の構成情報を構成して1つの構成情報に1つのイメージオブジェクトが各々含まれるようにイメージを生成することを説明するための図である。
【図8B】複数のサブタイトルに対して複数の構成情報を構成して1つの構成情報に1つのイメージオブジェクトが各々含まれるようにイメージを生成することを説明するための図である。
【図8C】複数のサブタイトルに対して複数の構成情報を構成して1つの構成情報に1つのイメージオブジェクトが各々含まれるようにイメージを生成することを説明するための図である。

【特許請求の範囲】
【請求項1】
オーディオビジュアル(AV)データと、
少なくとも1つのサブタイトルテキストデータと前記サブタイトルテキストの出力形態を指定する出力スタイル情報をテキスト形式で保存しているサブタイトルデータとを含むことを特徴とする情報記録媒体。
【請求項2】
前記出力スタイル情報は、前記各サブタイトルテキストごとに異なって適用されるように複数個が存在することを特徴とする請求項1に記載の情報記録媒体。
【請求項3】
前記サブタイトルテキストデータは、前記出力スタイル情報によって同じ出力スタイルを適用し、前記サブタイトルデータに対応する1つのイメージで構成された1つのページを生成する再生装置によりレンダリングされることを特徴とする請求項1に記載の情報記録媒体。
【請求項4】
前記サブタイトルテキストデータは、相異なる出力スタイルを適用し、各ページがレンダリングされたサブタイトルテキストデータに対応するページを生成する再生装置によりレンダリングされることを特徴とする請求項1に記載の情報記録媒体。
【請求項5】
前記サブタイトルデータが複数個である場合、複数個のサブタイトルデータがイメージとしてレンダリングされ、レンダリングされたイメージが各々複数個のページを構成することを特徴とする請求項1に記載の情報記録媒体。
【請求項6】
前記サブタイトルデータは、
前記少なくとも1つのサブタイトルテキストが画面に出力される時間情報をさらに含むことを特徴とする請求項1に記載の情報記録媒体。
【請求項7】
テキスト基盤のサブタイトルデータからテキストのレンダリングに使われるレンダリング情報とレンダリングされたテキストをプレゼンテーションするのに使われる制御情報とを分離して抽出するテキストサブタイトルパーザと、
前記抽出されたレンダリング情報によってサブタイトルテキストをレンダリングして前記テキストサブタイトルパーザにより抽出されたサブタイトルテキストに対するビットマップイメージを生成するテキストレイアウト/フォントレンダラーとを備えることを特徴とするテキストサブタイトルの処理装置。
【請求項8】
前記サブタイトルパーザは、
前記制御情報が所定の情報構造体フォーマットに合わせられるように制御情報を抽出し、前記制御情報をプレゼンテーションエンジンに伝送することを特徴とする請求項7に記載のテキストサブタイトルの処理装置。
【請求項9】
ビットマップサブタイトルデータを処理するプレゼンテーションエンジンと独立して前記制御情報を用いて前記テキストレイアウト/フォントレンダラーで生成されたビットマップイメージを画面に直接出力するように制御するテキストサブタイトル制御部をさらに備えることを特徴とする請求項7に記載のテキストサブタイトルの処理装置。
【請求項10】
前記サブタイトルデータは、出力時間が重畳される複数個のサブタイトルデータであることを特徴とする請求項7に記載のテキストサブタイトルの処理装置。
【請求項11】
前記テキストレイアウト/フォントレンダラーは、
出力時間が重畳される複数のサブタイトルデータに対し、1つの構成情報、1つの位置情報及び、1つのオブジェクト情報を生成してビットマップイメージを作って出力することを特徴とする請求項7に記載のテキストサブタイトルの処理装置。
【請求項12】
前記テキストレイアウト/フォントレンダラーは、
出力時間が重畳される複数のサブタイトルデータに対し、1つの構成情報、複数の位置情報及び複数のオブジェクト情報を生成してビットマップイメージを作って出力することを特徴とする請求項7に記載のテキストサブタイトルの処理装置。
【請求項13】
前記テキストレイアウト/フォントレンダラーは、
出力時間が重畳される複数のサブタイトルデータに対し、複数の構成情報、各構成情報ごとに対応する1つの位置情報及び1つのオブジェクト情報を生成してビットマップイメージを作って出力することを特徴とする請求項7に記載のテキストサブタイトルの処理装置。
【請求項14】
前記テキストレイアウト/フォントレンダラーは、
複数個の前記テキストサブタイトルデータに対して相等しい出力スタイルを適用してレンダリングし、1つのイメージで構成された1つのページとして生成することを特徴とする請求項7に記載のテキストサブタイトルの処理装置。
【請求項15】
前記テキストレイアウト/フォントレンダラーは、
複数個の前記テキストサブタイトルデータに対して相異なる出力スタイルを適用してレンダリングし、レンダリングされた複数のイメージを1つのページとして生成することを特徴とする請求項7に記載のテキストサブタイトルの処理装置。
【請求項16】
前記テキストレイアウト/フォントレンダラーは、
複数個の前記テキストサブタイトルデータに対して相異なる出力スタイルを適用してレンダリングし、レンダリングされた複数のイメージで複数のページを生成することを特徴とする請求項7に記載のテキストサブタイトルの処理装置。
【請求項17】
情報記録媒体を用いる再生装置において、
前記情報記録媒体から複数のサブタイトルを読込むリーダであって、各サブタイトルは、サブタイトルテキストと制御情報とスタイル情報とを含むリーダと、
前記サブタイトル、前記サブタイトルテキスト、前記制御情報、前記スタイル情報をバッファリングするバッファと、
前記制御情報及び前記スタイル情報に基づいて前記サブタイトルをデコードし、前記制御情報及び前記スタイル情報によって前記サブタイトルテキストをディスプレイする再生器とを備え、前記複数のサブタイトルは同時にディスプレイされることを特徴とする再生装置。
【請求項18】
前記再生器は、
各サブタイトルから前記サブタイトルテキスト、前記制御情報及び前記スタイル情報を抽出し、前記抽出された制御情報及び前記スタイル情報によって前記抽出されたサブタイトルテキストをレンダリングすることによって出力イメージを生成するサブタイトル処理器と、
前記出力イメージをディスプレイするプレゼンテーションエンジンとを備えることを特徴とする請求項17に記載の装置。
【請求項19】
前記リーダは、非サブタイトルビットマップイメージを読込み、前記プレゼンテーションエンジンは、前記出力イメージと同時に前記非サブタイトルビットマップイメージをディスプレイすることを特徴とする請求項18に記載の装置。
【請求項20】
前記再生器は、
各サブタイトルから前記サブタイトルテキスト、前記制御情報及び前記スタイル情報を抽出し、前記抽出された制御情報及び前記スタイル情報によって前記抽出されたサブタイトルテキストをレンダリングすることによって出力イメージを生成するサブタイトル処理器と、
前記抽出された制御情報及びスタイル情報によってスクリーン上にディスプレイするために、前記サブタイトル処理器により生成された前記出力イメージを制御するテキストサブタイトル制御器とを備えることを特徴とする請求項17に記載の装置。
【請求項21】
テキストサブタイトルファイルを再生する方法において、
再生のために重畳された再生時間を有するサブタイトルを選択するステップと、
前記サブタイトルのために構成情報データ、位置情報データ及びオブジェクト情報データの単一セットを生成するステップと、
前記構成情報データ、位置情報データ及びオブジェクト情報データの単一セットによってサブタイトルに対応するイメージを生成するステップとを含むことを特徴とする再生方法。
【請求項22】
テキストサブタイトルファイルを再生する方法において、
再生のために重畳された再生時間を有するサブタイトルを選択するステップと、
前記サブタイトルのうち選択されたサブタイトルの各々のために相異なる位置情報データと、前記サブタイトルのうち選択されたサブタイトルの各々のために相異なるオブジェクト情報データを有する構成情報データの単一セットを生成するステップと、
前記サブタイトルのうち選択されたサブタイトルの各々のために相異なる位置情報データと、前記サブタイトルのうち選択されたサブタイトルの各々のために相異なるオブジェクト情報データ、構成情報データの単一セットによってサブタイトルに対応するイメージを生成するステップとを含むことを特徴とする再生方法。
【請求項23】
テキストサブタイトルファイルを再生する方法において、
再生のために重畳された再生時間を有するサブタイトルを選択するステップと、
各サブタイトルに対して構成情報データ、位置情報データ及びオブジェクト情報データの相異なるセットを生成するステップと、
各サブタイトルについての構成情報データ、位置情報データ及びオブジェクト情報データの相異なるセットによってサブタイトルに対応するイメージを生成するステップとを含むことを特徴とする再生方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6A】
image rotate

【図6B】
image rotate

【図6C】
image rotate

【図7A】
image rotate

【図7B】
image rotate

【図7C】
image rotate

【図8A】
image rotate

【図8B】
image rotate

【図8C】
image rotate


【公表番号】特表2007−514255(P2007−514255A)
【公表日】平成19年5月31日(2007.5.31)
【国際特許分類】
【出願番号】特願2006−539384(P2006−539384)
【出願日】平成16年11月10日(2004.11.10)
【国際出願番号】PCT/KR2004/002904
【国際公開番号】WO2005/045835
【国際公開日】平成17年5月19日(2005.5.19)
【出願人】(503447036)サムスン エレクトロニクス カンパニー リミテッド (2,221)
【Fターム(参考)】