デジタル映像情報データ生成装置、デジタル映像情報記録装置、デジタル映像情報再生装置、及びデジタル映像情報データ生成方法
【課題】 デジタル放送を記録した時において、ランダムアクセスを行っても再生直後から字幕を表示することができ、また早送り・早戻し再生時において、字幕も同時に表示できるようにすること。
【解決手段】 字幕の表示開始時間と表示終了時間との間の期間に存在する、Ｉピクチャーを構成するＴＳパケットの先頭パケットと終端パケットの間に、字幕データを配置し、ランダムアクセス再生時には、最初に読み出された字幕データから、早送り・早戻し再生時には、Ｉピクチャーと同時に読み出される字幕データから、字幕を復号し表示を行う。
【解決手段】 字幕の表示開始時間と表示終了時間との間の期間に存在する、Ｉピクチャーを構成するＴＳパケットの先頭パケットと終端パケットの間に、字幕データを配置し、ランダムアクセス再生時には、最初に読み出された字幕データから、早送り・早戻し再生時には、Ｉピクチャーと同時に読み出される字幕データから、字幕を復号し表示を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、デジタル放送の映像情報を映像情報記録媒体に記録し再生する映像情報装置に係わり、早送り・早戻し再生時字幕表示が可能な映像情報装置のトランスポートストリームの生成、及びその記録再生に関するものである。
【背景技術】
【０００２】
デジタル放送をＭＰＥＧ方式に準拠したフォーマットで光ディスクに書き込まれた符号化されたビデオデータ（映像データ）を再生する際に、早送り・早戻し再生時において、字幕表示を行う方法として、ビデオデータの通常再生開始時点から予め設定した時間だけ遡った時点から再生する方式が提案されている（例えば、特許文献１等）
【特許文献１】特開２００２−２９０８９５号公報（図１、図２、段落0038〜0040、0043）
【発明の開示】
【発明が解決しようとする課題】
【０００３】
衛星デジタル放送、地上デジタルテレビジョン放送の普及が高まるにつれて、これらのデジタル放送信号が記録できる記録装置も徐々に普及が進んでいる。これまでのアナログ放送と違って、これらのデジタル放送は、トランスポート・ストリーム（以降ＴＳと省略）に、ビデオデータ、オーディオデータ、字幕・文字スーパーデータ、電子番組表のデジタル・データ等が重畳されて送出されている。このＴＳを記録する記録装置としては、Ｄ−ＶＨＳ、ＤＶＤレコーダー、Blu-ray Disc（以降ＢＤと省略）レコーダーがあるが、それぞれの記録装置で記録フォーマットが異なっている。例えば、Ｄ−ＶＨＳとＢＤレコーダーは、デジタル放送のＴＳをそのまま記録、またはＴＳの一部を選択して記録する方式を採用しており、ＤＶＤは、High Definition（以降ＨＤと省略）のＴＳを一度復号処理し、その後、再びStandard Definition（以降ＳＤと省略）のプログラム・ストリーム（以降ＰＳと省略）に符号化を行ってから記録を行う。上記の記録装置で、字幕表示が重畳されていないデジタル放送を記録する場合には問題はないが、字幕表示が重畳されている場合、様々な問題点が生じている。
【０００４】
Ｄ−ＶＨＳやＢＤレコーダーの場合、放送されたＴＳをそのまま、またはその一部を選択したパーシャルＴＳを記録するので、再生時には放送された時と同じＴＳがそのまま出力される。そのため、放送を受信している時と同様に、字幕付きの放送に対して、字幕のＯＮ／ＯＦＦを行うことができる。しかし、放送と同じＴＳを記録することによる弊害も生じる。一般にＭＰＥＧで符号化したビデオデータの早送り、早戻し再生は、ＧＯＰの先頭にあるＩピクチャーのデータだけを読み出して復号することで実現している。字幕データが重畳されている位置は決まっていないため、早送り、早戻し再生中には、字幕を表示するためのデータをディスクから読み出すことができない。そのため、字幕を見ながら早送り早戻し再生から通常再生に戻すタイミングをはかることができなくなってしまう。また、字幕表示用のデータがＴＳのどの部分に重畳されているか特定できないため、ディスク機器の特徴である、所望のシーンの再生（ランダムアクセスと称される）によりＴＳ上の任意の位置からの再生を行った場合、次の字幕表示用のデータが読み出せるまで字幕が表示できなくなるといった問題点もある。
【０００５】
例えば、ＤＶＤレコーダに記録する場合、ビデオデータは解像度をＨＤからＳＤに変換し、オーディオデータはMPEG2 Audio AAC（Advanced audio coding）方式(以降ＡＡＣと省略)からドルビーＡＣ−３（Audio Code number 3）方式(以降ＡＣ−３と省略)やリニアＰＣＭ（linear pulse code modulation:以降ＬＰＣＭと省略）に変換し、更にＰＳに変換する必要がある。
【０００６】
デジタル放送信号のＭＰＥＧ２で符号化されたビデオデータと字幕データはデジタルビデオ信号（以下、ビデオ信号）に復調され一旦メモリー上に展開された後、字幕が合成され、字幕が重畳されたビデオ信号が生成される。字幕が重畳されたビデオ信号はＨＤ解像度なので、ＳＤ解像度にリサイズされた後、再びＭＰＥＧ２で符号化される。
【０００７】
このＳＤ解像度にリサイズされた字幕が重畳されたビデオデータは、ビデオＰＳにパケッタイズされ、更に、オーディオＰＳと共にＴＳに変換された後、ＤＶＤ−ＲまたはＤＶＤ−ＲＷに記録される。このような記録を行った場合、常に字幕が表示されたままとなってしまい、字幕の必要のないユーザーにとって、字幕の消去ができないという不都合があった。
【０００８】
本発明は、上記のような問題を解決するためになされたもので、デジタル放送を記録した場合において、常に字幕の表示のＯＮ／ＯＦＦが制御でき、早送り・早戻し再生中においても字幕を表示することができ、また、ランダムアクセス再生時においても、すぐに字幕の表示が開始可能な映像情報生成装置、及びそれを用いた映像情報記録・再生装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明によるデジタル映像情報データ生成装置は、デジタル放送のトランスポートストリームの字幕データ、ビデオデータ、オーディオデータを分離する放送データ分離手段と、前記デジタル放送のビデオデータを復号するビデオ復号手段と、前記復号されたビデオデータを記録媒体フォーマットのビデオデータに符号化するビデオ符号化手段と、前記符号化されたビデオデータをパケット化し、ビデオタイムスタンプを付加するビデオパケット化手段と、前記デジタル放送の字幕データを挿入するタイムスタンプを検出する字幕制御手段と、前記デジタル放送の字幕データを復号する字幕復号手段と、前記復号された字幕データを記録媒体フォーマットの字幕データに符号化する字幕符号化手段と、前記符号化された字幕データをパケット化し、新たな字幕タイムスタンプを付加する字幕パケット化手段と、前記字幕パケットとビデオパケットとを重畳して前記記録媒体フォーマットのトランスポートストリーム生成するトランスポートストリーム手段とを備え、
前記、トランスポートストリーム手段において、前記ビデオタイムスタンプと字幕タイムスタンプとに基づき、字幕の表示開始時間と終了時間との間に存在する、Ｉピクチャーを構成するビデオパケットの間に前記字幕パケットを重畳することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、デジタル放送に重畳された字幕データの表示を開始する時刻と終了する時刻との間のタイムスタンプが付加されたＩピクチャーを構成するＴＳパケットの最初のＴＳパケットと最後のＴＳパケットとの間に、記録媒体のフォーマットに符号化された字幕データを重畳して記録するので、字幕が表示された早送り再生・早戻し再生が可能となり、またランダムアクセスで任意の位置から再生をした場合においても、短時間で字幕を表示することが可能となる。
【発明を実施するための最良の形態】
【００１１】
デジタル放送のビデオデータを記録する方法として、放送されたビデオデータをそのまま記録する方法と、一旦圧縮されたビデオデータを復号し、ビットレートやエンコード方式を変えて再び符号化する方式とがあり、また、オーディオデータ（音声データ）についても同様に、放送されたオーディオデータをそのまま記録する方法と、一旦圧縮されたオーディオデータを復号し、符号化ビットレートや符号化方式を変えて再び符号化する方式とがある。
【００１２】
以下の説明においては、放送されるＴＳのビデオデータはＭＰＥＧ２で符号化されており、再び符号化する際の符号化方式はＭＰＥＧ４として、放送されるＴＳの音声データはＡＡＣで符号化されており、再び符号化する際には、ＡＣ−３で符号化され、光ディスクに記録されるとして説明する。
なお、映像情報記録媒体として光ディスクを用いた光ディスク記録再生装置を例に説明するが、映像情報記録媒体がハードディスクや半導体メモリー等の記録媒体であってもよい。
【００１３】
実施の形態１．
図１は、本発明の実施の形態１によるトランスポートストリーム変換装置の構成例を示すブロック図である。一般にデジタル放送におけるＴＳは、ビデオパケット、オーディオパケット、字幕・文字スーパーパケット、ＰＳＩ（Program and System Information）パケット、電子番組ガイド（以下ＥＰＧと省略）等のデータパケットにより構成されている。入力されたＴＳのＰＳＩパケットを、ＴＳ解析部１で解析を行う。ＰＳＩパケットに含まれる、ＰＡＴ（Program Association Table）、ＰＭＴ（Program Map Table）の情報を元に、選択すべきＰＩＤ（Packet ID）をＰＩＤフィルター２で読み取り、ＰＩＤフィルター２の設定を行う。ＰＩＤフィルター２では、設定されたＰＩＤの情報に基づき、ビデオデータ、オーディデータ、字幕・文字スーパーデータを抽出し、ＰＥＳパケット化し、ＰＥＳビデオパケット１はビデオ処理部３へ、ＰＥＳオーディオパケット１はオーディオ処理部４へ、ＰＥＳ字幕・文字スーパーパケット１は字幕処理部５へ送出される。
【００１４】
図２は図１に示すビデオ処理部３の構成を示すブロック図である。ＰＩＤフィルター２から出力されるＰＥＳビデオパケット１のビデオデータは、ビデオデコーダー７でＹＣｂＣｒ等のビデオフォーマット信号に復号される。復号されたビデオ信号は、ビデオエンコーダー８でＭＰＥＧ４−ＡＶＣのビデオフォーマットデータに符号化され、更にビデオＰＥＳパケッタイザー９でＰＥＳパケット化され、ＰＥＳビデオパケット２として出力される。
【００１５】
図３は図１に示すオーディオ処理部４の構成を示すブロック図である。ＰＩＤフィルター２から出力されるＰＥＳオーディオパケット１のオーディオデータは、オーディオデコーダー１０で、リニアＰＣＭのデジタル信号に復号され、オーディオエンコーダー１１でＡＣ−３に符号化される。更に符号化されたオーディオデータは、オーディオＰＥＳパケッタイザー１２でＰＥＳパケット化され、ＰＥＳオーディオパケット２として出力される。
【００１６】
図４は図１に示す字幕処理部の構成を示すブロック図である。字幕制御部１３は、ＰＩＤフィルター２から出力されるＰＥＳ字幕・文字スーパーパケット１から、字幕データを抽出する。ここで字幕とは、映像に同期して表示される情報であり、例えば映画の字幕情報がこれに相当する。文字スーパーとは、映像とは非同期に表示される情報であり、例えば、ニュース速報がこれに相当する。一般にデジタル放送を記録する時には、字幕だけを記録し、文字スーパーは記録を行わない。よって字幕制御部１３では、字幕データとそのタイムスタンプが抽出され、字幕デコーダー１４でＹＣｂＣｒ、ＲＧＢ等のビデオ信号のフォーマットに復号され、字幕エンコーダー１５で、記録媒体で定義された字幕データファーマットに変換される。次に、記録媒体のフォーマットで符号化されたデータは、字幕の表示時間情報が付加された後ＰＥＳパケット化され、ＰＥＳ字幕パケット２に変換される。以下、その方法について詳細に説明を行う。
【００１７】
ビデオエンコーダー８で再符号化されたビデオデータのタイムスタンプ（Presentation Time Stamp：以下ＰＴＳと略す）は、放送された時のＰＴＳとは異なり、新しいシステムクロックに基づいた新たなビデオＰＴＳが付加される。字幕表示はビデオ信号の再生に同期して表示されるため、再符号化された字幕データに付加されるＰＴＳも、このビデオデータのシステムクロックに基づいて付加される。例えば、同一のフレームに対する、再符号化される前のビデオのPTS(v_before)と再符号化された後のPTS(v_after)との関係が、
PTS(v_after) = PTS(v_before) + ΔＴ ・・・・・・ （１）
次式である場合、再符号化される前の字幕のPTS(st_before)と、再符号化された後の字幕のPTS(st_after)との関係は、
PTS(st_after) = PTS(st_before) + ΔＴ ・・・・・ （２）
で示される。即ち、オーディオＰＥＳパケッタイザー１２および字幕のＰＥＳパケッタイザー１６では、上記のようにビデオエンコーダー８で生成されたシステムクロックを新しいシステムクロックとして、ＰＥＳパケットを生成する。
【００１８】
字幕ＰＥＳパケッタイザー１６では、字幕制御部１３から抽出されたＰＥＳデータと、ビデオ処理部３から送られるシステムクロック情報とから、新たな字幕ＰＴＳを生成し、ＰＥＳパケットに付加する。ここで付加されるＰＴＳは、デジタル放送の字幕データと同様に、字幕表示を開始するタイミングとして利用される。
【００１９】
次に字幕データを格納するＰＥＳパケットの生成方法について詳細に説明する。字幕を表示する期間は、デジタル放送と同様に字幕データに付随する字幕制御情報の中に記述される。以降、字幕データの表示開始時刻を“st_start_time”、表示終了時刻を“st_end_time”として説明を行う。字幕データの表示期間情報は、字幕制御部１３で字幕データ中の字幕制御情報から抽出される。字幕の表示時間は、一般に数秒から１０秒程度に設定されることが多い。
【００２０】
図５は、ＩピクチャーのＰＴＳと字幕のＰＥＳデータとの時間関係を示す図であり、字幕の表示時間とその間に表示されるＩピクチャの時間関係を示している。図５中の、PTS(v_I_1)、PTS(v_I_2)、PTS(v_I_3)、PTS(v_I_4)は、４枚のＩピクチャーのそれぞれのＰＴＳを示す。
以下、字幕データの表示期間、即ち“st_start_time”と“st_end_time”の間隔が２秒であり、ビデオのＧＯＰの長さを０．５秒、字幕が表示される間に表示されるビデオデータのＩピクチャーが４枚の場合について説明する。
【００２１】
字幕エンコーダー１５は、表示終了時刻が“st_end_time”となる字幕データを生成し、字幕ＰＥＳパケッタイザー１６では、その字幕データに対してＰＴＳが“st_start_time”となるＰＥＳ字幕パケットPES(st_start_time)１７を生成する。次に表示開始時間が“PTS(v_I_1)”で、表示終了時刻が“st_end_time”となるＰＥＳビデオパケットPES(v_I_1)１８を作成する。ここで、この二つのＰＥＳパケットを復号して表示される字幕は全く同一であり、字幕制御情報を除いたデータは全く同一である。以下同様にして、表示開始時間が、それぞれPTS(v_I_2)、PTS(v_I_3)、PTS(v_I_4)で、表示終了時刻が “st_end_time”となるＰＥＳパケット、PES(v_I_2)１９、PES(v_I_3)２０、PES(v_I_4)２１を順次作成する。以上のようにして、“st_start_time”のＰＴＳが付加されたデジタル放送の字幕データに対して、記録媒体のフォーマットに変換された字幕ＰＥＳパケットを生成する。
【００２２】
次に上記で生成された字幕のＰＥＳパケットを、マルチプレックスする方法について詳細に説明をする。図１において、マルチプレクサ６では、符号化されたビデオデータ、オーディオデータ、字幕データを再び１本のＴＳにマルチプレックスされるが、再生時に映像や音声が途切れることがない様に、ビデオ処理部３、オーディオ処理部４、字幕処理部５でそれぞれＰＥＳパケット化されたＰＥＳビデオパケット２、ＰＥＳオーディオパケット２ＰＥＳ字幕パケット２の並び替え、記録媒体のフォーマットの新たなＰＳＩパケットの付加が行われる。
【００２３】
図６は、字幕データが重畳されたＧＯＰ先頭のＴＳパケットの状態を示す図であり、マルチプレクサ６で、PTS(v_I_1)が付加されたPES(v_I_1)１８が重畳されたＴＳファイルのＧＯＰの構造を示している。図中の四角はそれぞれＴＳパケットを示し、網掛けされた四角はビデオおよび字幕以外のＴＳパケットを示す。V(I_1)からV(I_9)はＧＯＰのＩピクチャーを構成するＴＳパケットで、ST(1)からST(4)はPES(v_I_1)１８を構成するＴＳパケットである。マルチプレクサ６では、次の二つの条件を満たすようにデータの重畳を行うことで図６のＴＳは作られる。
（１）ＧＯＰのＩピクチャーの先頭を構成するＴＳパケットの後ろに、Ｉピクチャーと同じＰＴＳが付加された字幕データのＰＥＳパケットを構成する先頭のＴＳパケットを配置する。
（２）ＧＯＰのＩピクチャー構成する最後のＴＳパケットよりも前に、Ｉピクチャーと同じＰＴＳが付加された字幕データのＰＥＳパケットを構成する最後のＴＳパケットを配置する。
即ち、図６の場合では、V(I_1)のＴＳパケットの後ろにST(1)のパケットが配置され、V(I_9)の前に、ST(4)が配置されるよう、マルチプレクサ６は字幕データを重畳する。上記の条件でデータを重畳するのは、ＩピクチャーのＰＴＳと同じＰＴＳが付加された字幕データだけであり、図５においては、PES(v_I_1)１８、PES(v_I_2)１９、PES(v_I_3)２０、PES(v_I_4)２１が対象であり、PES(st_start_time)１７は対象外となる。
【００２４】
本説明では、ＩピクチャーのＰＴＳと、重畳する字幕データのＰＴＳ（PES(v_I_1)など）を同じ時刻としているが、必ずしも全く同時刻とする必要は無く、ＩピクチャーのＰＴＳの近傍の時刻に設定してもかまわない。
【００２５】
以上のように、デジタル放送のＴＳデータに含まれるビデオデータ、オーディオデータ、字幕データが記録再生装置のＴＳデータに変換され、記録媒体へと記録されるが、この時、デジタル放送のＴＳのデータだけでなく、記録再生装置に特有のランダムアクセス再生や早送り、早戻し再生等を行う際に必要な情報が記録媒体に記録される
【００２６】
ＭＰＥＧ２などの方式で符号化されたデータの復号は、必ずＧＯＰの先頭のＩピクチャーから行う必要がある。そのため、ランダムアクセスや早送り再生等を行うためには、光ディスクに記録されたＴＳデータのどの位置に、Ｉピクチャーが存在するかを知るためのアクセス情報が必要となる。図７はランダムアクセスをするために必要なアクセス情報ファイルのデータ構造を示す図であり、ＴＳファイルのどの位置にＩピクチャーが存在するかを示すアクセス情報ファイルの構造を示す。
【００２７】
“num_of_GOP”はＴＳファイル中に存在するＧＯＰの総数を表す。次の行のforループは“num_of_GOP”の数だけ繰り返される。“PTS_I(k)”はｋ番目のＧＯＰの先頭のＩピクチャーのＰＴＳの時間を意味し、“SPN_I(k)”は、ＴＳファイルの先頭からＩピクチャーの先頭のＴＳパケットまでのパケット数を意味し、“Ｉ_size(k)”は、ＧＯＰ先頭のＴＳパケットから、Ｉピクチャーを構成する最後のＴＳパケットまでのパケット数を意味する。これらのデータをＴＳファイルと一緒に光ディスク記録再生装置のＴＳ（以下ＤＶＤＴＳと省略）に変換し、光ディスクに記録を行う。
【００２８】
次に、光ディスクに記録されたＴＳファイルの任意の位置から再生を行う方法について説明をする。なお、説明では光ディスク記録再生装置により光ディスク上のデータを読み出すことを前提として説明するが、ＦＬＡＳＨ等の半導体メモリー、その他の光学ドライブを使ってもよい。
【００２９】
図８は、光ディスクに記録されたＴＳデータを再生する再生装置の構成を示す図である。ユーザーから、任意の位置からの再生指示が出されると、ＣＰＵ２３はドライブ２２から図７のアクセス情報ファイルを読み出し、ユーザーに指定された再生時間に最も近く、且つ指定された時間よりも前に存在する、“PTS_I(k)”を探し出す。次にドライブ２２に対して、再生するＴＳファイルの先頭から数えて“SPN_I(k)”番目のパケットから、データを読み出すように指示を出す。読み出されたＤＶＤＴＳのＰＥＳパケットのデータは、ＰＩＤフィルター２４で分離され、ビデオデコーダー２６、オーディオデコーダー２７、字幕デコーダー２８に送られるが、データ分離の詳細な動作は図１の説明と同様のため省略する。ビデオデコーダー２６で複合されたビデオ信号と字幕デコーダー２８で復号された字幕データは、ビデオミキサー２９で重畳されて、外部に接続された表示装置３０へと出力される。
【００３０】
図９は、再生指定位置と重畳された字幕データのＰＴＳとの関係を示す図であり、ユーザーが再生を指定した時刻と、字幕データの表示時刻との関係を示した図である。図９に示すような時間関係に有る場合、ＣＰＵ２３が探してくる“PTS_I(k)”はPTS(v_I_1)となる。ＧＯＰ先頭のＩピクチャーからでないとビデオデータは復号ができないため、ビデオデコーダー２６では、ユーザーが指定した時刻のピクチャーまでは復号された映像は出力せずに、指定された時間以降のピクチャーから映像の出力を行う。この時、PES(v_I_1)１８がPTS(v_I_1)のＰＴＳが付加されたＧＯＰに、図６のように重畳されているため、ユーザーの指定した時間から字幕を表示することが可能となる。
【００３１】
一方、本実施の形態のように、“st_start_time”から“st_end_time”の間の、時刻に含まれる各Iピクチャーに同一表示データを持った字幕データを重畳し、さらにＩピクチャーを構成する先頭のＴＳパケット以降に字幕のＴＳパケットを重畳することで、ランダムアクセス直後から、字幕を表示することが可能となる。
【００３２】
一方、デジタル放送に重畳された字幕データのように、PES(st_start_time)１７だけがＴＳファイルに重畳されていると、ＴＳファイルの先頭から再生していれば表示される字幕が、ランダムアクセスの時は表示することができなくなる。そのため、ユーザーは次の字幕の表示が始まるまで、再生表示されている映像の内容を把握することができないことがある。
【００３３】
次に早送り再生・早戻し再生の再生方法について説明をする。一般に、早送り、早戻し再生では、Ｉピクチャーだけを復号して表示する方法が一般的である。ユーザーから早送りの指令が出されると、ＣＰＵ２３はアクセス情報ファイルから、現在再生をしている時間よりも後の“PTS_I(k)”を探し出し、再生中のＴＳファイルの先頭から“SPN_I(k)”番目のＴＳパケットから“Ｉ_size(k)”個のＴＳパケットを読み出す指令を、ドライブ２２へと出す。以降の動作はランダムアクセス再生の時と同様のため説明は省略する。
【００３４】
“PTS_I(k)”のＩピクチャーの表示が行われると、ＣＰＵ２３はドライブ２２に、再生中のＴＳファイルの先頭から“SPN_I(k+1)”番目のＴＳパケットから“Ｉ_size(k+1)”個のＴＳパケットを読み出す指令が出される。以降同様にして、Ｉピクチャーのデータだけが次々と読み出され、復号され表示される。但し、Ｉピクチャーを読み出す間隔は、ユーザーの指定した倍速数、ドライブのアクセス速度によって変わるため、必ずしもすべてのＩピクチャーを再生するわけではない。以上のようにして早送り再生が行われる。
【００３５】
このようにして、Ｉピクチャーのデータだけを選択して読み出し再生することで、早送り・早戻し再生を行う。また早戻しの動作は、読み出すＩピクチャーのＰＴＳが過去の方向に再生されることを除いて、全く動作が同じでるため説明は省略する。デジタル放送に重畳された字幕データのように、PES(st_start_time)１７だけがＴＳファイルに重畳されていると、偶然に読み出されたＩピクチャーのＴＳパケットの中にPES(st_start_time)１７が存在する場合を除いて、字幕を表示することができない。一方、本実施の形態のように、“st_start_time”から“st_end_time”の間の、時刻に含まれる各Iピクチャーに同一表示データを持った字幕データを重畳し、さらにＩピクチャーを構成する先頭のＴＳパケットから最終のＴＳパケットの間に字幕のＴＳパケットを重畳することで、早送り再生時においても、常に字幕を表示することが可能となる。
【００３６】
以上、説明したように、デジタル放送の字幕データを、字幕が表示されている間に存在するＩピクチャーに対して、Ｉピクチャーを構成する先頭のＴＳパケットと最終ＴＳパケットとの間に重畳することで、ランダムアクセス再生には再生直後から字幕を表示することが可能となり、早送り・早戻し再生を行った場合においても、常に字幕を表示させることが可能となる。
【図面の簡単な説明】
【００３７】
【図１】この発明の実施の形態１によるトランスポートストリーム変換装置の構成例を示すブロック図である。
【図２】図１のビデオ処理部の構成を示すブロック図である。
【図３】図１のオーディオ処理部の構成を示すブロック図である。
【図４】図１の字幕処理部の構成を示すブロック図である。
【図５】この発明の実施の形態１によるＩピクチャーのＰＴＳと字幕のＰＥＳデータとの時間関係を示す図である。
【図６】この発明の実施の形態１による字幕データが重畳されたＧＯＰ先頭のＴＳパケットの状態を示す図である。
【図７】この発明の実施の形態１によるランダムアクセスをするために必要なアクセス情報ファイルのデータ構造を示す図である。
【図８】この発明の実施の形態１による記録媒体に記録されたＴＳファイルを再生する再生装置の構成を示すブロック図である。
【図９】この発明の実施の形態１による再生指定位置と重畳された字幕データのＰＴＳとの関係を示す図である。
【符号の説明】
【００３８】
１ ＴＳ解析部、２ ＰＩＤフィルター、３ ビデオ処理部、６ マルチプレクサ、１３ 字幕制御部、 １４ 字幕デコーダー、 １５ 字幕エンコーダー、 １６ 字幕ＰＥＳパケッタイザー、 ２２ ＤＶＤドライブ、 ２３ ＣＰＵ、 ２６ ビデオデコーダー、 ２７ オーディオデコーダー、 ２８ 字幕デコーダー、 ２９ ビデオミキサー、 ３０ 表示装置
【技術分野】
【０００１】
この発明は、デジタル放送の映像情報を映像情報記録媒体に記録し再生する映像情報装置に係わり、早送り・早戻し再生時字幕表示が可能な映像情報装置のトランスポートストリームの生成、及びその記録再生に関するものである。
【背景技術】
【０００２】
デジタル放送をＭＰＥＧ方式に準拠したフォーマットで光ディスクに書き込まれた符号化されたビデオデータ（映像データ）を再生する際に、早送り・早戻し再生時において、字幕表示を行う方法として、ビデオデータの通常再生開始時点から予め設定した時間だけ遡った時点から再生する方式が提案されている（例えば、特許文献１等）
【特許文献１】特開２００２−２９０８９５号公報（図１、図２、段落0038〜0040、0043）
【発明の開示】
【発明が解決しようとする課題】
【０００３】
衛星デジタル放送、地上デジタルテレビジョン放送の普及が高まるにつれて、これらのデジタル放送信号が記録できる記録装置も徐々に普及が進んでいる。これまでのアナログ放送と違って、これらのデジタル放送は、トランスポート・ストリーム（以降ＴＳと省略）に、ビデオデータ、オーディオデータ、字幕・文字スーパーデータ、電子番組表のデジタル・データ等が重畳されて送出されている。このＴＳを記録する記録装置としては、Ｄ−ＶＨＳ、ＤＶＤレコーダー、Blu-ray Disc（以降ＢＤと省略）レコーダーがあるが、それぞれの記録装置で記録フォーマットが異なっている。例えば、Ｄ−ＶＨＳとＢＤレコーダーは、デジタル放送のＴＳをそのまま記録、またはＴＳの一部を選択して記録する方式を採用しており、ＤＶＤは、High Definition（以降ＨＤと省略）のＴＳを一度復号処理し、その後、再びStandard Definition（以降ＳＤと省略）のプログラム・ストリーム（以降ＰＳと省略）に符号化を行ってから記録を行う。上記の記録装置で、字幕表示が重畳されていないデジタル放送を記録する場合には問題はないが、字幕表示が重畳されている場合、様々な問題点が生じている。
【０００４】
Ｄ−ＶＨＳやＢＤレコーダーの場合、放送されたＴＳをそのまま、またはその一部を選択したパーシャルＴＳを記録するので、再生時には放送された時と同じＴＳがそのまま出力される。そのため、放送を受信している時と同様に、字幕付きの放送に対して、字幕のＯＮ／ＯＦＦを行うことができる。しかし、放送と同じＴＳを記録することによる弊害も生じる。一般にＭＰＥＧで符号化したビデオデータの早送り、早戻し再生は、ＧＯＰの先頭にあるＩピクチャーのデータだけを読み出して復号することで実現している。字幕データが重畳されている位置は決まっていないため、早送り、早戻し再生中には、字幕を表示するためのデータをディスクから読み出すことができない。そのため、字幕を見ながら早送り早戻し再生から通常再生に戻すタイミングをはかることができなくなってしまう。また、字幕表示用のデータがＴＳのどの部分に重畳されているか特定できないため、ディスク機器の特徴である、所望のシーンの再生（ランダムアクセスと称される）によりＴＳ上の任意の位置からの再生を行った場合、次の字幕表示用のデータが読み出せるまで字幕が表示できなくなるといった問題点もある。
【０００５】
例えば、ＤＶＤレコーダに記録する場合、ビデオデータは解像度をＨＤからＳＤに変換し、オーディオデータはMPEG2 Audio AAC（Advanced audio coding）方式(以降ＡＡＣと省略)からドルビーＡＣ−３（Audio Code number 3）方式(以降ＡＣ−３と省略)やリニアＰＣＭ（linear pulse code modulation:以降ＬＰＣＭと省略）に変換し、更にＰＳに変換する必要がある。
【０００６】
デジタル放送信号のＭＰＥＧ２で符号化されたビデオデータと字幕データはデジタルビデオ信号（以下、ビデオ信号）に復調され一旦メモリー上に展開された後、字幕が合成され、字幕が重畳されたビデオ信号が生成される。字幕が重畳されたビデオ信号はＨＤ解像度なので、ＳＤ解像度にリサイズされた後、再びＭＰＥＧ２で符号化される。
【０００７】
このＳＤ解像度にリサイズされた字幕が重畳されたビデオデータは、ビデオＰＳにパケッタイズされ、更に、オーディオＰＳと共にＴＳに変換された後、ＤＶＤ−ＲまたはＤＶＤ−ＲＷに記録される。このような記録を行った場合、常に字幕が表示されたままとなってしまい、字幕の必要のないユーザーにとって、字幕の消去ができないという不都合があった。
【０００８】
本発明は、上記のような問題を解決するためになされたもので、デジタル放送を記録した場合において、常に字幕の表示のＯＮ／ＯＦＦが制御でき、早送り・早戻し再生中においても字幕を表示することができ、また、ランダムアクセス再生時においても、すぐに字幕の表示が開始可能な映像情報生成装置、及びそれを用いた映像情報記録・再生装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明によるデジタル映像情報データ生成装置は、デジタル放送のトランスポートストリームの字幕データ、ビデオデータ、オーディオデータを分離する放送データ分離手段と、前記デジタル放送のビデオデータを復号するビデオ復号手段と、前記復号されたビデオデータを記録媒体フォーマットのビデオデータに符号化するビデオ符号化手段と、前記符号化されたビデオデータをパケット化し、ビデオタイムスタンプを付加するビデオパケット化手段と、前記デジタル放送の字幕データを挿入するタイムスタンプを検出する字幕制御手段と、前記デジタル放送の字幕データを復号する字幕復号手段と、前記復号された字幕データを記録媒体フォーマットの字幕データに符号化する字幕符号化手段と、前記符号化された字幕データをパケット化し、新たな字幕タイムスタンプを付加する字幕パケット化手段と、前記字幕パケットとビデオパケットとを重畳して前記記録媒体フォーマットのトランスポートストリーム生成するトランスポートストリーム手段とを備え、
前記、トランスポートストリーム手段において、前記ビデオタイムスタンプと字幕タイムスタンプとに基づき、字幕の表示開始時間と終了時間との間に存在する、Ｉピクチャーを構成するビデオパケットの間に前記字幕パケットを重畳することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、デジタル放送に重畳された字幕データの表示を開始する時刻と終了する時刻との間のタイムスタンプが付加されたＩピクチャーを構成するＴＳパケットの最初のＴＳパケットと最後のＴＳパケットとの間に、記録媒体のフォーマットに符号化された字幕データを重畳して記録するので、字幕が表示された早送り再生・早戻し再生が可能となり、またランダムアクセスで任意の位置から再生をした場合においても、短時間で字幕を表示することが可能となる。
【発明を実施するための最良の形態】
【００１１】
デジタル放送のビデオデータを記録する方法として、放送されたビデオデータをそのまま記録する方法と、一旦圧縮されたビデオデータを復号し、ビットレートやエンコード方式を変えて再び符号化する方式とがあり、また、オーディオデータ（音声データ）についても同様に、放送されたオーディオデータをそのまま記録する方法と、一旦圧縮されたオーディオデータを復号し、符号化ビットレートや符号化方式を変えて再び符号化する方式とがある。
【００１２】
以下の説明においては、放送されるＴＳのビデオデータはＭＰＥＧ２で符号化されており、再び符号化する際の符号化方式はＭＰＥＧ４として、放送されるＴＳの音声データはＡＡＣで符号化されており、再び符号化する際には、ＡＣ−３で符号化され、光ディスクに記録されるとして説明する。
なお、映像情報記録媒体として光ディスクを用いた光ディスク記録再生装置を例に説明するが、映像情報記録媒体がハードディスクや半導体メモリー等の記録媒体であってもよい。
【００１３】
実施の形態１．
図１は、本発明の実施の形態１によるトランスポートストリーム変換装置の構成例を示すブロック図である。一般にデジタル放送におけるＴＳは、ビデオパケット、オーディオパケット、字幕・文字スーパーパケット、ＰＳＩ（Program and System Information）パケット、電子番組ガイド（以下ＥＰＧと省略）等のデータパケットにより構成されている。入力されたＴＳのＰＳＩパケットを、ＴＳ解析部１で解析を行う。ＰＳＩパケットに含まれる、ＰＡＴ（Program Association Table）、ＰＭＴ（Program Map Table）の情報を元に、選択すべきＰＩＤ（Packet ID）をＰＩＤフィルター２で読み取り、ＰＩＤフィルター２の設定を行う。ＰＩＤフィルター２では、設定されたＰＩＤの情報に基づき、ビデオデータ、オーディデータ、字幕・文字スーパーデータを抽出し、ＰＥＳパケット化し、ＰＥＳビデオパケット１はビデオ処理部３へ、ＰＥＳオーディオパケット１はオーディオ処理部４へ、ＰＥＳ字幕・文字スーパーパケット１は字幕処理部５へ送出される。
【００１４】
図２は図１に示すビデオ処理部３の構成を示すブロック図である。ＰＩＤフィルター２から出力されるＰＥＳビデオパケット１のビデオデータは、ビデオデコーダー７でＹＣｂＣｒ等のビデオフォーマット信号に復号される。復号されたビデオ信号は、ビデオエンコーダー８でＭＰＥＧ４−ＡＶＣのビデオフォーマットデータに符号化され、更にビデオＰＥＳパケッタイザー９でＰＥＳパケット化され、ＰＥＳビデオパケット２として出力される。
【００１５】
図３は図１に示すオーディオ処理部４の構成を示すブロック図である。ＰＩＤフィルター２から出力されるＰＥＳオーディオパケット１のオーディオデータは、オーディオデコーダー１０で、リニアＰＣＭのデジタル信号に復号され、オーディオエンコーダー１１でＡＣ−３に符号化される。更に符号化されたオーディオデータは、オーディオＰＥＳパケッタイザー１２でＰＥＳパケット化され、ＰＥＳオーディオパケット２として出力される。
【００１６】
図４は図１に示す字幕処理部の構成を示すブロック図である。字幕制御部１３は、ＰＩＤフィルター２から出力されるＰＥＳ字幕・文字スーパーパケット１から、字幕データを抽出する。ここで字幕とは、映像に同期して表示される情報であり、例えば映画の字幕情報がこれに相当する。文字スーパーとは、映像とは非同期に表示される情報であり、例えば、ニュース速報がこれに相当する。一般にデジタル放送を記録する時には、字幕だけを記録し、文字スーパーは記録を行わない。よって字幕制御部１３では、字幕データとそのタイムスタンプが抽出され、字幕デコーダー１４でＹＣｂＣｒ、ＲＧＢ等のビデオ信号のフォーマットに復号され、字幕エンコーダー１５で、記録媒体で定義された字幕データファーマットに変換される。次に、記録媒体のフォーマットで符号化されたデータは、字幕の表示時間情報が付加された後ＰＥＳパケット化され、ＰＥＳ字幕パケット２に変換される。以下、その方法について詳細に説明を行う。
【００１７】
ビデオエンコーダー８で再符号化されたビデオデータのタイムスタンプ（Presentation Time Stamp：以下ＰＴＳと略す）は、放送された時のＰＴＳとは異なり、新しいシステムクロックに基づいた新たなビデオＰＴＳが付加される。字幕表示はビデオ信号の再生に同期して表示されるため、再符号化された字幕データに付加されるＰＴＳも、このビデオデータのシステムクロックに基づいて付加される。例えば、同一のフレームに対する、再符号化される前のビデオのPTS(v_before)と再符号化された後のPTS(v_after)との関係が、
PTS(v_after) = PTS(v_before) + ΔＴ ・・・・・・ （１）
次式である場合、再符号化される前の字幕のPTS(st_before)と、再符号化された後の字幕のPTS(st_after)との関係は、
PTS(st_after) = PTS(st_before) + ΔＴ ・・・・・ （２）
で示される。即ち、オーディオＰＥＳパケッタイザー１２および字幕のＰＥＳパケッタイザー１６では、上記のようにビデオエンコーダー８で生成されたシステムクロックを新しいシステムクロックとして、ＰＥＳパケットを生成する。
【００１８】
字幕ＰＥＳパケッタイザー１６では、字幕制御部１３から抽出されたＰＥＳデータと、ビデオ処理部３から送られるシステムクロック情報とから、新たな字幕ＰＴＳを生成し、ＰＥＳパケットに付加する。ここで付加されるＰＴＳは、デジタル放送の字幕データと同様に、字幕表示を開始するタイミングとして利用される。
【００１９】
次に字幕データを格納するＰＥＳパケットの生成方法について詳細に説明する。字幕を表示する期間は、デジタル放送と同様に字幕データに付随する字幕制御情報の中に記述される。以降、字幕データの表示開始時刻を“st_start_time”、表示終了時刻を“st_end_time”として説明を行う。字幕データの表示期間情報は、字幕制御部１３で字幕データ中の字幕制御情報から抽出される。字幕の表示時間は、一般に数秒から１０秒程度に設定されることが多い。
【００２０】
図５は、ＩピクチャーのＰＴＳと字幕のＰＥＳデータとの時間関係を示す図であり、字幕の表示時間とその間に表示されるＩピクチャの時間関係を示している。図５中の、PTS(v_I_1)、PTS(v_I_2)、PTS(v_I_3)、PTS(v_I_4)は、４枚のＩピクチャーのそれぞれのＰＴＳを示す。
以下、字幕データの表示期間、即ち“st_start_time”と“st_end_time”の間隔が２秒であり、ビデオのＧＯＰの長さを０．５秒、字幕が表示される間に表示されるビデオデータのＩピクチャーが４枚の場合について説明する。
【００２１】
字幕エンコーダー１５は、表示終了時刻が“st_end_time”となる字幕データを生成し、字幕ＰＥＳパケッタイザー１６では、その字幕データに対してＰＴＳが“st_start_time”となるＰＥＳ字幕パケットPES(st_start_time)１７を生成する。次に表示開始時間が“PTS(v_I_1)”で、表示終了時刻が“st_end_time”となるＰＥＳビデオパケットPES(v_I_1)１８を作成する。ここで、この二つのＰＥＳパケットを復号して表示される字幕は全く同一であり、字幕制御情報を除いたデータは全く同一である。以下同様にして、表示開始時間が、それぞれPTS(v_I_2)、PTS(v_I_3)、PTS(v_I_4)で、表示終了時刻が “st_end_time”となるＰＥＳパケット、PES(v_I_2)１９、PES(v_I_3)２０、PES(v_I_4)２１を順次作成する。以上のようにして、“st_start_time”のＰＴＳが付加されたデジタル放送の字幕データに対して、記録媒体のフォーマットに変換された字幕ＰＥＳパケットを生成する。
【００２２】
次に上記で生成された字幕のＰＥＳパケットを、マルチプレックスする方法について詳細に説明をする。図１において、マルチプレクサ６では、符号化されたビデオデータ、オーディオデータ、字幕データを再び１本のＴＳにマルチプレックスされるが、再生時に映像や音声が途切れることがない様に、ビデオ処理部３、オーディオ処理部４、字幕処理部５でそれぞれＰＥＳパケット化されたＰＥＳビデオパケット２、ＰＥＳオーディオパケット２ＰＥＳ字幕パケット２の並び替え、記録媒体のフォーマットの新たなＰＳＩパケットの付加が行われる。
【００２３】
図６は、字幕データが重畳されたＧＯＰ先頭のＴＳパケットの状態を示す図であり、マルチプレクサ６で、PTS(v_I_1)が付加されたPES(v_I_1)１８が重畳されたＴＳファイルのＧＯＰの構造を示している。図中の四角はそれぞれＴＳパケットを示し、網掛けされた四角はビデオおよび字幕以外のＴＳパケットを示す。V(I_1)からV(I_9)はＧＯＰのＩピクチャーを構成するＴＳパケットで、ST(1)からST(4)はPES(v_I_1)１８を構成するＴＳパケットである。マルチプレクサ６では、次の二つの条件を満たすようにデータの重畳を行うことで図６のＴＳは作られる。
（１）ＧＯＰのＩピクチャーの先頭を構成するＴＳパケットの後ろに、Ｉピクチャーと同じＰＴＳが付加された字幕データのＰＥＳパケットを構成する先頭のＴＳパケットを配置する。
（２）ＧＯＰのＩピクチャー構成する最後のＴＳパケットよりも前に、Ｉピクチャーと同じＰＴＳが付加された字幕データのＰＥＳパケットを構成する最後のＴＳパケットを配置する。
即ち、図６の場合では、V(I_1)のＴＳパケットの後ろにST(1)のパケットが配置され、V(I_9)の前に、ST(4)が配置されるよう、マルチプレクサ６は字幕データを重畳する。上記の条件でデータを重畳するのは、ＩピクチャーのＰＴＳと同じＰＴＳが付加された字幕データだけであり、図５においては、PES(v_I_1)１８、PES(v_I_2)１９、PES(v_I_3)２０、PES(v_I_4)２１が対象であり、PES(st_start_time)１７は対象外となる。
【００２４】
本説明では、ＩピクチャーのＰＴＳと、重畳する字幕データのＰＴＳ（PES(v_I_1)など）を同じ時刻としているが、必ずしも全く同時刻とする必要は無く、ＩピクチャーのＰＴＳの近傍の時刻に設定してもかまわない。
【００２５】
以上のように、デジタル放送のＴＳデータに含まれるビデオデータ、オーディオデータ、字幕データが記録再生装置のＴＳデータに変換され、記録媒体へと記録されるが、この時、デジタル放送のＴＳのデータだけでなく、記録再生装置に特有のランダムアクセス再生や早送り、早戻し再生等を行う際に必要な情報が記録媒体に記録される
【００２６】
ＭＰＥＧ２などの方式で符号化されたデータの復号は、必ずＧＯＰの先頭のＩピクチャーから行う必要がある。そのため、ランダムアクセスや早送り再生等を行うためには、光ディスクに記録されたＴＳデータのどの位置に、Ｉピクチャーが存在するかを知るためのアクセス情報が必要となる。図７はランダムアクセスをするために必要なアクセス情報ファイルのデータ構造を示す図であり、ＴＳファイルのどの位置にＩピクチャーが存在するかを示すアクセス情報ファイルの構造を示す。
【００２７】
“num_of_GOP”はＴＳファイル中に存在するＧＯＰの総数を表す。次の行のforループは“num_of_GOP”の数だけ繰り返される。“PTS_I(k)”はｋ番目のＧＯＰの先頭のＩピクチャーのＰＴＳの時間を意味し、“SPN_I(k)”は、ＴＳファイルの先頭からＩピクチャーの先頭のＴＳパケットまでのパケット数を意味し、“Ｉ_size(k)”は、ＧＯＰ先頭のＴＳパケットから、Ｉピクチャーを構成する最後のＴＳパケットまでのパケット数を意味する。これらのデータをＴＳファイルと一緒に光ディスク記録再生装置のＴＳ（以下ＤＶＤＴＳと省略）に変換し、光ディスクに記録を行う。
【００２８】
次に、光ディスクに記録されたＴＳファイルの任意の位置から再生を行う方法について説明をする。なお、説明では光ディスク記録再生装置により光ディスク上のデータを読み出すことを前提として説明するが、ＦＬＡＳＨ等の半導体メモリー、その他の光学ドライブを使ってもよい。
【００２９】
図８は、光ディスクに記録されたＴＳデータを再生する再生装置の構成を示す図である。ユーザーから、任意の位置からの再生指示が出されると、ＣＰＵ２３はドライブ２２から図７のアクセス情報ファイルを読み出し、ユーザーに指定された再生時間に最も近く、且つ指定された時間よりも前に存在する、“PTS_I(k)”を探し出す。次にドライブ２２に対して、再生するＴＳファイルの先頭から数えて“SPN_I(k)”番目のパケットから、データを読み出すように指示を出す。読み出されたＤＶＤＴＳのＰＥＳパケットのデータは、ＰＩＤフィルター２４で分離され、ビデオデコーダー２６、オーディオデコーダー２７、字幕デコーダー２８に送られるが、データ分離の詳細な動作は図１の説明と同様のため省略する。ビデオデコーダー２６で複合されたビデオ信号と字幕デコーダー２８で復号された字幕データは、ビデオミキサー２９で重畳されて、外部に接続された表示装置３０へと出力される。
【００３０】
図９は、再生指定位置と重畳された字幕データのＰＴＳとの関係を示す図であり、ユーザーが再生を指定した時刻と、字幕データの表示時刻との関係を示した図である。図９に示すような時間関係に有る場合、ＣＰＵ２３が探してくる“PTS_I(k)”はPTS(v_I_1)となる。ＧＯＰ先頭のＩピクチャーからでないとビデオデータは復号ができないため、ビデオデコーダー２６では、ユーザーが指定した時刻のピクチャーまでは復号された映像は出力せずに、指定された時間以降のピクチャーから映像の出力を行う。この時、PES(v_I_1)１８がPTS(v_I_1)のＰＴＳが付加されたＧＯＰに、図６のように重畳されているため、ユーザーの指定した時間から字幕を表示することが可能となる。
【００３１】
一方、本実施の形態のように、“st_start_time”から“st_end_time”の間の、時刻に含まれる各Iピクチャーに同一表示データを持った字幕データを重畳し、さらにＩピクチャーを構成する先頭のＴＳパケット以降に字幕のＴＳパケットを重畳することで、ランダムアクセス直後から、字幕を表示することが可能となる。
【００３２】
一方、デジタル放送に重畳された字幕データのように、PES(st_start_time)１７だけがＴＳファイルに重畳されていると、ＴＳファイルの先頭から再生していれば表示される字幕が、ランダムアクセスの時は表示することができなくなる。そのため、ユーザーは次の字幕の表示が始まるまで、再生表示されている映像の内容を把握することができないことがある。
【００３３】
次に早送り再生・早戻し再生の再生方法について説明をする。一般に、早送り、早戻し再生では、Ｉピクチャーだけを復号して表示する方法が一般的である。ユーザーから早送りの指令が出されると、ＣＰＵ２３はアクセス情報ファイルから、現在再生をしている時間よりも後の“PTS_I(k)”を探し出し、再生中のＴＳファイルの先頭から“SPN_I(k)”番目のＴＳパケットから“Ｉ_size(k)”個のＴＳパケットを読み出す指令を、ドライブ２２へと出す。以降の動作はランダムアクセス再生の時と同様のため説明は省略する。
【００３４】
“PTS_I(k)”のＩピクチャーの表示が行われると、ＣＰＵ２３はドライブ２２に、再生中のＴＳファイルの先頭から“SPN_I(k+1)”番目のＴＳパケットから“Ｉ_size(k+1)”個のＴＳパケットを読み出す指令が出される。以降同様にして、Ｉピクチャーのデータだけが次々と読み出され、復号され表示される。但し、Ｉピクチャーを読み出す間隔は、ユーザーの指定した倍速数、ドライブのアクセス速度によって変わるため、必ずしもすべてのＩピクチャーを再生するわけではない。以上のようにして早送り再生が行われる。
【００３５】
このようにして、Ｉピクチャーのデータだけを選択して読み出し再生することで、早送り・早戻し再生を行う。また早戻しの動作は、読み出すＩピクチャーのＰＴＳが過去の方向に再生されることを除いて、全く動作が同じでるため説明は省略する。デジタル放送に重畳された字幕データのように、PES(st_start_time)１７だけがＴＳファイルに重畳されていると、偶然に読み出されたＩピクチャーのＴＳパケットの中にPES(st_start_time)１７が存在する場合を除いて、字幕を表示することができない。一方、本実施の形態のように、“st_start_time”から“st_end_time”の間の、時刻に含まれる各Iピクチャーに同一表示データを持った字幕データを重畳し、さらにＩピクチャーを構成する先頭のＴＳパケットから最終のＴＳパケットの間に字幕のＴＳパケットを重畳することで、早送り再生時においても、常に字幕を表示することが可能となる。
【００３６】
以上、説明したように、デジタル放送の字幕データを、字幕が表示されている間に存在するＩピクチャーに対して、Ｉピクチャーを構成する先頭のＴＳパケットと最終ＴＳパケットとの間に重畳することで、ランダムアクセス再生には再生直後から字幕を表示することが可能となり、早送り・早戻し再生を行った場合においても、常に字幕を表示させることが可能となる。
【図面の簡単な説明】
【００３７】
【図１】この発明の実施の形態１によるトランスポートストリーム変換装置の構成例を示すブロック図である。
【図２】図１のビデオ処理部の構成を示すブロック図である。
【図３】図１のオーディオ処理部の構成を示すブロック図である。
【図４】図１の字幕処理部の構成を示すブロック図である。
【図５】この発明の実施の形態１によるＩピクチャーのＰＴＳと字幕のＰＥＳデータとの時間関係を示す図である。
【図６】この発明の実施の形態１による字幕データが重畳されたＧＯＰ先頭のＴＳパケットの状態を示す図である。
【図７】この発明の実施の形態１によるランダムアクセスをするために必要なアクセス情報ファイルのデータ構造を示す図である。
【図８】この発明の実施の形態１による記録媒体に記録されたＴＳファイルを再生する再生装置の構成を示すブロック図である。
【図９】この発明の実施の形態１による再生指定位置と重畳された字幕データのＰＴＳとの関係を示す図である。
【符号の説明】
【００３８】
１ ＴＳ解析部、２ ＰＩＤフィルター、３ ビデオ処理部、６ マルチプレクサ、１３ 字幕制御部、 １４ 字幕デコーダー、 １５ 字幕エンコーダー、 １６ 字幕ＰＥＳパケッタイザー、 ２２ ＤＶＤドライブ、 ２３ ＣＰＵ、 ２６ ビデオデコーダー、 ２７ オーディオデコーダー、 ２８ 字幕デコーダー、 ２９ ビデオミキサー、 ３０ 表示装置
【特許請求の範囲】
【請求項１】
デジタル放送のトランスポートストリームの字幕データ、ビデオデータ、オーディオデータを分離する第１のデータ分離手段と、
前記デジタル放送のビデオデータを復号する第１のビデオ復号手段と、
前記復号されたビデオデータを記録媒体フォーマットのビデオデータに符号化する第１のビデオ符号化手段と、
前記符号化されたビデオデータをパケット化し、ビデオタイムスタンプを付加する第１のビデオパケット化手段と、
前記デジタル放送の字幕データを挿入するタイムスタンプを検出する字幕制御手段と、
前記デジタル放送の字幕データを復号する第１の字幕復号手段と、
前記復号された字幕データを記録媒体フォーマットの字幕データに符号化する字幕符号化手段と、
前記符号化された字幕データをパケット化し、新たな字幕タイムスタンプを付加する字幕パケット化手段と、
前記字幕パケットとビデオパケットとを重畳して前記記録媒体フォーマットのトランスポートストリーム生成するトランスポートストリーム生成手段とを備え、
前記、トランスポートストリーム生成手段において、前記ビデオタイムスタンプと字幕タイムスタンプとに基づき、字幕の表示開始時間と終了時間との間に存在する、Ｉピクチャーを構成するビデオパケットの間に前記字幕パケットを重畳することを特徴とするデジタル映像情報データ生成装置。
【請求項２】
請求項１に記載のデジタル映像情報データ生成装置を備えたことを特徴とするデジタル映像情報記録装置。
【請求項３】
字幕の表示開始時間と終了時間との間に存在する、Ｉピクチャーを構成するビデオパケットの間に前記字幕パケットが重畳され、記録媒体に記録されたトランスポートストリームから記録媒体フォーマットの字幕パケットとビデオパケットを分離する第２のデータ分離手段と、
前記記録媒体フォーマットのビデオパケットからビデオ信号を復号する第２のビデオ復号手段と、
前記記録媒体フォーマットの字幕パケットから字幕信号を復号する第２の字幕復号手段とを備えたことを特徴とするデジタル映像情報再生装置。
【請求項４】
前記デジタル放送のビデオデータを復号するビデオ復号ステップと、
前記復号されたビデオデータを記録媒体フォーマットのビデオデータに符号化するビデオ符号化ステップと、
前記符号化されたビデオデータをパケット化し、ビデオタイムスタンプを付加するビデオパケット化ステップと、
前記デジタル放送の字幕データを挿入するタイムスタンプを検出するタイムスタンプ検出ステップと、
前記デジタル放送の字幕データを復号する字幕復号ステップと、
前記復号された字幕データを記録媒体フォーマットの字幕データに符号化する字幕符号化ステップと、
前記符号化された字幕データをパケット化し、新たな字幕タイムスタンプを付加する字幕パケット化ステップと、
前記ビデオタイムスタンプと字幕タイムスタンプとに基づき、字幕の表示開始時間と終了時間との間に存在する、Ｉピクチャーを構成するビデオパケットの間に前記字幕パケットを重畳した後、前記字幕パケットとビデオパケットとを重畳してトランスポートストリームを生成する記録媒体フォーマットのトランスポートストリーム生成ステップとを備えたことを特徴とするデジタル映像情報データ生成方法。
【請求項１】
デジタル放送のトランスポートストリームの字幕データ、ビデオデータ、オーディオデータを分離する第１のデータ分離手段と、
前記デジタル放送のビデオデータを復号する第１のビデオ復号手段と、
前記復号されたビデオデータを記録媒体フォーマットのビデオデータに符号化する第１のビデオ符号化手段と、
前記符号化されたビデオデータをパケット化し、ビデオタイムスタンプを付加する第１のビデオパケット化手段と、
前記デジタル放送の字幕データを挿入するタイムスタンプを検出する字幕制御手段と、
前記デジタル放送の字幕データを復号する第１の字幕復号手段と、
前記復号された字幕データを記録媒体フォーマットの字幕データに符号化する字幕符号化手段と、
前記符号化された字幕データをパケット化し、新たな字幕タイムスタンプを付加する字幕パケット化手段と、
前記字幕パケットとビデオパケットとを重畳して前記記録媒体フォーマットのトランスポートストリーム生成するトランスポートストリーム生成手段とを備え、
前記、トランスポートストリーム生成手段において、前記ビデオタイムスタンプと字幕タイムスタンプとに基づき、字幕の表示開始時間と終了時間との間に存在する、Ｉピクチャーを構成するビデオパケットの間に前記字幕パケットを重畳することを特徴とするデジタル映像情報データ生成装置。
【請求項２】
請求項１に記載のデジタル映像情報データ生成装置を備えたことを特徴とするデジタル映像情報記録装置。
【請求項３】
字幕の表示開始時間と終了時間との間に存在する、Ｉピクチャーを構成するビデオパケットの間に前記字幕パケットが重畳され、記録媒体に記録されたトランスポートストリームから記録媒体フォーマットの字幕パケットとビデオパケットを分離する第２のデータ分離手段と、
前記記録媒体フォーマットのビデオパケットからビデオ信号を復号する第２のビデオ復号手段と、
前記記録媒体フォーマットの字幕パケットから字幕信号を復号する第２の字幕復号手段とを備えたことを特徴とするデジタル映像情報再生装置。
【請求項４】
前記デジタル放送のビデオデータを復号するビデオ復号ステップと、
前記復号されたビデオデータを記録媒体フォーマットのビデオデータに符号化するビデオ符号化ステップと、
前記符号化されたビデオデータをパケット化し、ビデオタイムスタンプを付加するビデオパケット化ステップと、
前記デジタル放送の字幕データを挿入するタイムスタンプを検出するタイムスタンプ検出ステップと、
前記デジタル放送の字幕データを復号する字幕復号ステップと、
前記復号された字幕データを記録媒体フォーマットの字幕データに符号化する字幕符号化ステップと、
前記符号化された字幕データをパケット化し、新たな字幕タイムスタンプを付加する字幕パケット化ステップと、
前記ビデオタイムスタンプと字幕タイムスタンプとに基づき、字幕の表示開始時間と終了時間との間に存在する、Ｉピクチャーを構成するビデオパケットの間に前記字幕パケットを重畳した後、前記字幕パケットとビデオパケットとを重畳してトランスポートストリームを生成する記録媒体フォーマットのトランスポートストリーム生成ステップとを備えたことを特徴とするデジタル映像情報データ生成方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００８−１９３２０３（Ｐ２００８−１９３２０３Ａ）
【公開日】平成２０年８月２１日（２００８．８．２１）
【国際特許分類】
【出願番号】特願２００７−２２９２３（Ｐ２００７−２２９２３）
【出願日】平成１９年２月１日（２００７．２．１）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成２０年８月２１日（２００８．８．２１）
【国際特許分類】
【出願日】平成１９年２月１日（２００７．２．１）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]