説明

映像・音声記録再生装置

【課題】トランスポートストリームをプログラムストリームとして記録した映像情報や音声情報を再生する際に、字幕情報の表示/非表示を切り替えたり、表示する言語の種類を選択できるようにする。
【解決手段】まず、ストリーム入力部102でトランスポートストリームを受信する。字幕情報抽出部104で、受信したトランスポートストリームを、字幕情報と、字幕以外の情報とに分離する。次に、ストリームフォーマット変換部105で、分離されたトランスポートストリームの映像・音声情報を、プログラムストリームの映像・音声へ変換する。また、字幕フォーマット変換部107で、字幕情報抽出部104が分離した字幕情報をプログラムストリームの字幕情報に変換する。そして字幕情報挿入部108で、字幕フォーマット変換部107が変換した字幕情報を、ストリームフォーマット変換部105が変換したプログラムストリームに挿入して出力する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、字幕情報を含むトランスポートストリームをプログラムストリームとして記録する映像・音声記録再生装置に関するものである。
【背景技術】
【0002】
現在、テレビジョン放送の映像情報や音声情報の記録装置(映像・音声記録再生装置)には、記録媒体にDVDやハードディスクを用いたDVDレコーダが一般的に広く使われている。このような記録装置には、テレビジョン放送(トランスポートストリーム)に含まれる字幕情報をプログラムストリームの字幕情報として記録するものがある。例えば、テレビジョン放送の垂直ブランキング期間に重畳された字幕情報を抽出してビットマップデータに変換し、ランレングス圧縮処理を施してプログラムストリームの字幕情報として記録する方法がある(例えば特許文献1を参照)。
【特許文献1】特開2000−23082号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
しかしながら従来の映像・音声記録再生装置では、垂直ブランキング期間が存在しないデジタルテレビジョン放送について考慮されておらず、デジタルテレビジョン放送のトランスポートストリームをプログラムストリームに変換して記録する場合、トランスポートストリームに含まれる字幕情報はプログラムストリームの映像情報の一部として記録されるため、再生する際に字幕情報の表示/非表示を切り替えることができないという問題点を有していた。
【0004】
また、複数の字幕情報が存在する場合、記録時に選択している字幕情報のみしか記録できず、再生する際に表示する言語の種類が選択できないという問題点を有していた。
【0005】
本発明は上記従来の問題点を解決するものであり、トランスポートストリームをプログラムストリームとして記録した映像情報や音声情報を再生する際に、字幕情報の表示/非表示を切り替えたり、表示する言語の種類を選択できるようにすることを目的としている。
【課題を解決するための手段】
【0006】
上記の課題を解決するため、本発明では、トランスポートストリームに含まれる字幕情報をプログラムストリームの字幕情報に変換して記録するようにした。
【0007】
例えば本発明の一態様は、
トランスポートストリームで提供される単一または複数言語の字幕情報を蓄積メディアに記録する映像・音声記録再生装置であって、
番組特定情報、字幕情報、及び映像・音声情報を含んだトランスポートストリームを受信するストリーム入力部と、
前記ストリーム入力部が受信したトランスポートストリームを、字幕情報と、字幕以外の情報とに分離する字幕情報抽出部と、
前記字幕情報抽出部が分離したトランスポートストリームの映像・音声情報を、プログラムストリームの映像・音声へ変換するストリームフォーマット変換部と、
前記字幕情報抽出部が分離した字幕情報をプログラムストリームの字幕情報に変換する字幕フォーマット変換部と、
前記字幕フォーマット変換部が変換した字幕情報を、前記ストリームフォーマット変換部が変換したプログラムストリームに挿入して出力する字幕情報挿入部と、
前記字幕情報挿入部が出力したプログラムストリームを記録するデータ記録部と、
を備えたことを特徴とする。
【0008】
これにより、まず、トランスポートストリームの映像・音声情報は、ストリームフォーマット変換部によってプログラムストリームの映像・音声へ変換される。また、単一又は複数言語の字幕情報は、プログラムストリームの字幕情報に変換される。そして、プログラムストリームの字幕情報は、プログラムストリームの映像・音声に挿入されて記録される。すなわち、トランスポートストリームに含まれる字幕情報がプログラムストリームの字幕情報に変換されて記録される。
【発明の効果】
【0009】
本発明によれば、トランスポートストリームに含まれる字幕情報がプログラムストリームの字幕情報に変換されて記録される。それゆえ、再生する際に字幕情報の表示/非表示を切り替えたり、表示する言語の種類を選択したりすることが可能になる。
【発明を実施するための最良の形態】
【0010】
以下、本発明の実施形態について図面を参照しながら説明する。なお、以下の各実施形態の説明において、一度説明した構成要素と同様の機能を有する構成要素については、同一の符号を付して説明を省略する。
【0011】
《発明の実施形態1》
図1は、本発明の実施形態1に係る映像・音声記録再生装置101の構成を示すブロック図である。映像・音声記録再生装置101は、映像、音声、データ、字情報を含むトランスポートストリームを受け取り、プログラムストリームとして記録や再生を行なう装置である。以下の説明では、映像・音声記録再生装置101に入力されるトランスポートストリームは、MPEG2‐TS(Transport Stream)であるものとする。
【0012】
−映像・音声記録再生装置101の構成−
映像・音声記録再生装置101は、ストリーム入力部102、番組特定情報取得部103、字幕情報抽出部104、ストリームフォーマット変換部105、時間情報取得部106、字幕フォーマット変換部107、字幕情報挿入部108、及びデータ記録部109を備えている。
【0013】
ストリーム入力部102は、字幕情報を含むデジタルテレビジョン放送のアンテナや、再生機器等から出力されたMPEG2‐TS(Transport Stream)を受信し、受信したMPEG2‐TSを番組特定情報取得部103と字幕情報抽出部104とに出力するようになっている。
【0014】
番組特定情報取得部103は、ストリーム入力部102が出力したMPEG2‐TSに含まれる番組特定情報を取得するようになっている。この例では、番組特定情報取得部103は、番組情報として、PAT(Program Association Table)、及びPMT(Program Map Table)を取得する。さらに番組特定情報取得部103は、映像、音声、データ、字幕の識別情報であるPID(Packet ID)、及び字幕ストリームの個数の情報も取得する。
【0015】
字幕情報抽出部104は、番組特定情報取得部103が取得した映像、音声、データ、字幕のPIDから、ストリーム入力部102が受信したMPEG2‐TSを、字幕情報であるSubtitleのTSパケットと、映像、音声のTSパケットとに分離するようになっている。このとき、字幕情報抽出部104は、再生時刻制御情報の抽出を行なう。この例では、再生時刻制御情報は、デジタルテレビジョン放送の記録動作が開始されるMPEG2−TSの先頭PTS(Presentation Time Stamp)である。字幕情報抽出部104は、再生時刻制御情報と、番組特定情報取得部103から取得した字幕の識別情報の個数を字幕フォーマット変換部107へ通知する。
【0016】
ストリームフォーマット変換部105は、字幕情報抽出部104が分離した映像・音声のTSパケットを、DVD−VR(Video Recording)規格のMPEG2−PS(Program Stream)に変換するようになっている。このとき、ストリームフォーマット変換部105は、変換後のMPEG2−PSには、字幕情報として記録するSub Pictureパックを挿入するための空パックを挿入する。この空パックは、MPEG2−PSの映像・音声ストリームの記録レートから逆算して、DVD−VR規格で規定される最大記録レートの制約の範囲で許容される個数だけ、MPEG2−PSの各パケットのSCR(System Clock Reference)間の連続性を保つように生成される。
【0017】
時間情報取得部106は、ストリームフォーマット変換部105が変換したMPEG2−PSの、先頭PTSを取得するようになっている。
【0018】
字幕フォーマット変換部107は、字幕情報抽出部104が抽出したSubtitleのTSパケットを、MPEG2−PSの字幕情報であるSub Pictureパックに変換するようになっている。詳しい変換方法については後述する。
【0019】
字幕情報挿入部108は、ストリームフォーマット変換部105が挿入した空パックのパックヘッダ以外の情報(パケットヘッダ、sub_stream_Id、Sub Pictureデータ)を、字幕フォーマット変換部107が変換したSub Pictureパックに挿入するようになっている。
【0020】
データ記録部109は、字幕情報挿入部108が出力したSub Pictureパックを含むMPEG2‐PSを、蓄積メディア(例えばDVD‐RAM)に記録するようになっている。
【0021】
(字幕フォーマット変換部107における変換方法)
字幕フォーマット変換部107は、Subtitleが画像(ビットマップイメージ)である場合には、MPEG2−TSとしてランレングス圧縮されたビットマップイメージを解凍し、MPEG2−PSのSub Pictureパックとして再度ランレングス圧縮する。
【0022】
また、字幕フォーマット変換部107は、Subtitleが文字情報(文字コード)である場合には、Subtitleの文字コードを、映像・音声記録再生装置101が持つフォントデータを用いて、ビットマップイメージに変換し、さらにMPEG2−PSのSub Pictureパックとしてランレングス圧縮する。
【0023】
また、字幕フォーマット変換部107は、Subtitleの色表示情報であるCLUT(Color Look Up Table)に対しては、字幕フォーマット変換部107は、DVD‐VR規格のSub Pictureの色表示情報であるCLUTに変換する。
【0024】
ここで、MPEG2−TSストリームに含まれるDVB−T規格のSubtitleについて説明する。図2は、MPEG2−TSストリーム中に送信されるSubtitleのPESパケットフォーマットを示している。
【0025】
図2に示すように、SubtitleのPESパケットは、Page構成部、Region構成部、CLUT定義部、Objectデータ部から構成されている。また、図3、図4、図5、図6に、それぞれ、Page構成部のフォーマット、bitmap Objectの場合のRegion構成部のフォーマット、CLUT定義部のフォーマット、bitmap Objectの場合のObject構成部のフォーマットを示している。
【0026】
ここで、Subtitle表示の画面構成は、図7に示すように、Page、Region、Objectからなり、Region毎にCLUTが定義されている。
【0027】
Pageは、構成部フォーマット(図3を参照)のデータによって定義される。各Pageは、複数のRegionを持つことが可能であり、Region_idでRegionを識別し、Region情報のRegion水平位置アドレス及びRegion垂直位置アドレスで、Regionの位置(Xrg,Yrg)が決定される。
【0028】
また、複数のPageが存在した場合は、いずれかのPageを表示する。ユーザーの選択等で他のPageの表示に切り替えることになる。具体的には、複数の言語のSubtitleが、各Pageに割り当てられる。そして、Subtitleの言語切り替えを行う場合に、Page切り替えを行うという操作がなされる。
【0029】
Regionは、Region構成部フォーマット(図4を参照)のデータによって定義される。Region幅とRegion高によって、Regionの大きさ(Width_rg,Height_rg)が決定される。また、Region毎に、CLUTが定義され、CLUT_idによって該当するCLUTが決定される。
【0030】
さらに、各Regionは、複数のObjectを持つことが可能であり、Object_idでObjectを識別し、Object情報の水平位置アドレス及び垂直位置アドレスで、Region内のObjectの相対位置(Xobj,Yobj)が決定される。
【0031】
CLUTは、CLUT定義部フォーマット(図5を参照)のデータによって定義される。CLUT_id毎に、CLUT_entry_idと関連付けられたY(輝度)データ、Cr(色相)データ、Cb(色相)データ、T(透明度)データのテーブルデータを持っている。Objectデータは、CLUT_entry_idを使ったPixelデータで構成されており、該当する色を、このCLUTから決定している。
【0032】
Objectは、Objectデータ部フォーマット(図6を参照)のデータによって定義される。PixelデータがObjectの実体であり、ランレングス圧縮されたデータが格納されている。このデータを解凍し、表示エリアへ展開すると、Subtitleが描画されることになる。
【0033】
表示は、STC(System Time Clock)とSubtitleのPES(Packetized Elementary Stream)パケットヘッダに付加されているPTSが一致するタイミングで行われる。このSTCは、MPEG2−TSストリーム中に配送されるPCR(Program Clock Reference)によって生成されるものである。また、Page構成部には、「Page_time_out」があり、Page全体の表示消去に使用される。
【0034】
次に、DVD‐VR(Video Recording)規格のSub Pictureについて、図8を用いて説明する。DVD‐VRストリームは、複数のVOBU(Video Object Unit)から成り立っている。このVOBUの中に、Sub PictureデータがSP_PCKとして埋め込まれている。その中のSub Pictureデータを、1VOBU分に含まれる1ユニット分集めたものがSub Picture Unitである。
【0035】
Sub Picture Unitに含まれるPXDは、表示されるSub Pictureをランレングス圧縮したものである。このPXDは、図9に示すような各2bitで1ピクセルを表現したデータの集合である。図9で示されたPixelデータは、図10に記載されたSET_COLORコマンドの色コード、及びSET_CONTRコマンドのコントラストで表現される。さらに色コードは、図11で示されたM_VOB_STI(VOBストリーム情報:RTR_VMG−>M_AVFIT−>M_VOB_STI)で定義されているSP_PLTのCLUTのY、Cr、Cbに対応している。また、コントラストは、主映像との混合比を表すデータとして使用される。つまり、PXDを構成する2bitのPixelデータは、最終的にY、Cr、Cb及びコントラストに変換される。
【0036】
図12は、Sub Picture表示制御コマンドの一覧である。Sub Pictureの表示タイミングは、図12中のSTA_DSPコマンドとSTP_DSPコマンドによって制御される。図8のSub Pictureパケットに付加されているPTSにSP_DCDQ内のSP_DCSQ_STM(コマンド開始時間)を加算した時間と、STCが一致したタイミングでSTA_DSPコマンドが実行され、Sub Pictureが表示される。同じく、Sub Pictureパケットに付加されているPTSにSP_DCDQ内のSP_DCSQ_STM(コマンド開始時間)を加算した時間と、STCが一致したタイミングでSTP_DSPコマンドが実行され、Sub Pictureが消去される。
【0037】
Sub Pictureの表示位置は、図13中のSET_DAREAコマンドで制御される。本コマンドの開始及び終了のX,Y座標に示される矩形領域内に表示される。
【0038】
また、複数のSub Pictureストリームが存在する場合は、図11で示されたM_VOB_STI(VOBストリーム情報:RTR_VMG−>M_AVFIT−>M_VOB_STI)で定義されているSPST_NsでSub Pictureのストリーム数が定義され、図8のSP_PCK内のsub_stream_idで識別される。このsub_stream_idを指定することで、異なる言語のSub Pictureを表示することになる。
【0039】
これらの基本的なSub Pictureの制御方法は、DVD−Video規格も同様である。
【0040】
以下にDVB−T規格のSubtitleからDVD−VR規格のSub Pictureへの変換の方法を記載する。
【0041】
SPST_NsにはSub Pictureのストリーム数を指定する必要があるため、番組特定情報取得部103から取得したMPEG2−TSに含まれるSubtitleのストリーム数を指定する。
【0042】
また、それぞれのSub Pictureに対してsub_stream_idを割り当てる必要がある。sub_stream_idは、8ビットのデータで、2進数表記すると「0b001*****(*は0または1の任意の値。)」の形式でなければならない。そのため、番組特定情報取得部103から取得したMPEG2−TSに含まれるSubtitleのストリーム数に応じて、「*****」には0、1、2、・・・の順に番号を割り当てる。
【0043】
次にSub Pictureの表示領域の生成方法について記載する。Page構成部のフォーマットで示されるRegion水平位置アドレス及びRegion垂直位置アドレスと、Region構成部フォーマットで示されるRegion幅とRegion高からRegionの表示位置、表示範囲を取得し、DVD−VR規格のSub Pictureの表示制御コマンドSET_DAREAへ置き換える。Regionの水平位置アドレスをSET_DAREAの開始X座標とし、Regionの水平位置アドレスにRegion幅を足し合わせた値をSET_DAREAの終了X座標とする。Regionの垂直位置アドレスをSET_DAREAの開始Y座標とし、Regionの垂直位置アドレスにRegion高を足し合わせた値をSET_DAREAの終了Y座標とする。
【0044】
同時に複数のRegionが表示される場合は、各Regionの水平位置アドレスの最小値をSET_DAREAの開始X座標とし、各Regionの水平位置アドレスとRegion幅とを足し合わせた値の最大値を、SET_DAREAの終了X座標とする。各Regionの垂直位置アドレスの最小値をSET_DAREAの開始Y座標とし、各Regionの垂直位置アドレスにRegion高を足し合わせた値の最大値をSET_DAREAの終了Y座標とする。
【0045】
次にSub Pictureの表示時間の生成方法について記載する。DVB−T規格では、ストリーム中のPTSに関連して字幕を表示する。そのため、DVD−VR規格の場合でも、ストリーム中のPTSに合わせてSub Pictureの表示を開始すればよい。したがって、SP_DCSQ_STMをSub Pictureが含まれるPTSと同時刻とするために0とし、その時刻にSTA_DSPコマンドを実行すると、PTSに合わせてSub Pictureが表示される。表示終了時刻については、Page_time_out時間を用いる。Page_time_outは、Subtitleで表示開始する時刻からのオフセットで表現されているため、SP_DCSQ_STMをPage_time_outと同じ時間になるように90KHz単位で計算した値に設定し、その時刻にSTP_DSPコマンドを実行する。
【0046】
次にSub Pictureの色表示情報の生成方法について記載する。Subtitleで使用する色表示情報は、Region構成部のCLUT_idに対応するCLUT情報で指定される。
【0047】
CLUT情報の2−bit/entry_CLUT_flag、4−bit/entry_CLUT_flag,8−bit/entry_CLUT_flagによって、Subtitleで使用するCLUTが4色、16色、256色のいずれかであるかが分かる。2−bit/entry_CLUT_flagが真であれば4色のCLUT、4−bit/entry_CLUT_flagが真であれば16色のCLUT、8−bit/entry_CLUT_flagが真であれば256色のCLUTとなる。16色または256色のCLUTである場合、4色のCLUTに変換する。
【0048】
図14は16色のCLUTを4色のCLUTに変換する方法、図15は256色のCLUTを4色のCLUTに変換する方法を示している。両者ともCLUTのIDが0、1、2、3のテーブルに位置する色情報(Y/Cr/Cb/T)が4色のCLUTとして使用される。
【0049】
図16は、SubtitleのObjectデータ部に含まれるPixelデータが示すCLUTのテーブルIDと、CLUTとの関係を示した図である。ここでは、Region構成部のCLUT_idで指定されるCLUTは、8−bit/entry(256色のCLUT)とする。Sub Pictureとして使用するCLUTに変換する場合、CLUTが4色のCLUTに減色されることに伴い、Pixelデータが指すCLUTのテーブルIDも変換する。
【0050】
図17は、Pixelデータが指すCLUTのテーブルIDの変換方法を示したものである。図17の(a)は、16色のCLUTから4色のCLUT変換する際のPixelデータが指すCLUTのテーブルIDの変換方法を示している。また、図17の(b)は、256色のCLUTから4色のCLUT変換する際のPixelデータが指すCLUTのテーブルIDの変換方法を示している。
【0051】
図18は、図16に示されるPixelデータが指すCLUTのテーブルIDを変換したものである。図17で示す変換方法を用いることで、Pixelデータが指すCLUTのテーブルIDを4色のCLUTに減色したCLUTのテーブルIDに変換する。
【0052】
上記の4色に減色されたSubtitleのCLUTは、字幕フォーマット変換部107によって、Sub PictureのCLUTに変換する際にTを除いてSub PictureパックのSP_PLTに挿入される。
【0053】
実際にSub Pictureの色を指定する方法として、SET_COLORコマンドの色コードとして変換後のCLUTの4色をそれぞれ背景色、パターン色、強調色1、強調色2に割り当て、SET_CONTRコマンドはそれぞれのSET_COLORコマンドで指定した色に対応するCLUTのTの値を使用する。
【0054】
以下に、Sub PictureのPTSの決定方法について記載する。字幕情報抽出部104で抽出されたMPEG2−TSの先頭PTSと、時間情報取得部106により取得されたMPEG2−PSの先頭PTSとの差分を字幕フォーマット変換部107で生成されるMPEG2−PSのSub PictureパックのPTSから減算することで字幕フォーマット変換部107において生成されるMPEG2−PSのSub PictureパックのPTSが決定される。
【0055】
−映像・音声記録再生装置101の動作−
上記の映像・音声記録再生装置101では、ストリーム入力部102がMPEG2‐TSを受信すると、受信したMPEG2‐TSを番組特定情報取得部103と字幕情報抽出部104とに出力する。
【0056】
番組特定情報取得部103は、ストリーム入力部102の出力を受けて、MPEG2‐TSに含まれるPAT、及びPMTを取得する。さらに番組特定情報取得部103は、映像、音声、データ、字幕の識別情報であるPID、及び字幕ストリームの個数の情報も取得する。
【0057】
また、字幕情報抽出部104は、番組特定情報取得部103が取得したPIDから、MPEG2‐TSを、Subtitle(字幕情報)のTSパケットと、映像、音声のTSパケットとに分離する。このとき、字幕情報抽出部104は、MPEG2−TSの先頭PTSの抽出も行なう。
【0058】
字幕情報抽出部104の出力を受けてストリームフォーマット変換部105は、字幕情報抽出部104が分離した映像・音声のTSパケットを、DVD−VR規格のMPEG2−PSに変換する。このとき、ストリームフォーマット変換部105は、変換後のMPEG2−PSには、字幕情報として記録するSub Pictureパックを挿入するための空パックを挿入する。
【0059】
時間情報取得部106は、ストリームフォーマット変換部105が変換したMPEG2−PSの、先頭PTSを取得する。
【0060】
字幕フォーマット変換部107は、字幕情報抽出部104が抽出したSubtitleのTSパケットを、MPEG2−PSの字幕情報であるSub Pictureパックに変換する。この際、Sub PictureのPTSを決定するために、字幕情報抽出部104が抽出したMPEG2−TSの先頭PTSと、時間情報取得部106が取得したMPEG2−PSの先頭PTSとを用いる。
【0061】
字幕情報挿入部108は、字幕情報挿入部108は、ストリームフォーマット変換部105が挿入した空パックのパックヘッダ以外の情報(パケットヘッダ、sub_stream_Id、Sub Pictureデータ)を、字幕フォーマット変換部107が変換したSub Pictureパックに挿入する。これにより、字幕情報挿入部108からは、Sub Pictureパックを含むMPEG2‐PSが出力される。
【0062】
データ記録部109は、字幕情報挿入部108が出力したMPEG2‐PSを蓄積メディア(この例ではDVD−RAM)に記録する。
【0063】
以上のように、本実施形態によれば、トランスポートストリームに含まれる字幕情報がプログラムストリームの字幕情報に変換されて記録される。したがって、再生する際に字幕情報の表示/非表示を切り替えたり、表示する言語の種類を選択したりすることが可能になる。
【0064】
《発明の実施形態2》
本発明の実施形態2に係る映像・音声記録再生装置は、特定の字幕のみをSub Pictureパックに変換して記録する。
【0065】
実施形態2に係る映像・音声記録再生装置は、映像・音声記録再生装置101(実施形態1)と同じ構成要素を有しているが、字幕フォーマット変換部107の機能が異なっている。具体的には、本実施形態の字幕フォーマット変換部107は、DVD−VR規格のSub Pictureとして記録する際に、指定された境界線から下に位置する字幕矩形領域(Subtitle矩形領域)のみをSub Pictureパックに変換するようになっている。
【0066】
例えば、図19は、デジタルテレビジョン放送で放送される字幕の例である。この例では、表示スクリーン201上に2つの字幕矩形領域202、字幕矩形領域203が配置されている。本実施形態の映像・音声記録再生装置は、境界線204を境界線として指定したとすれば、境界線204から下に位置する字幕矩形領域203(Subtitle矩形領域)のみをSub Pictureパックに変換する。
【0067】
したがって、本実施形態によれば、特定の範囲に位置する字幕情報のみをSub Pictureパックに変換することにより、蓄積メディアに記録する字幕情報を選択して記録することができる。
【0068】
なお、本実施形態では指定された境界線に基づいて記録する字幕矩形領域を選別しているが、表示範囲による選別や字幕矩形領域の面積に応じた選別を行ってもよい。
【0069】
《発明の実施形態3》
本発明の実施形態3に係る映像・音声記録再生装置は、ストリームフォーマット変換部105で空パックの生成を行なわずに、Sub PictureパックをMPEG2−PSに挿入する。実施形態3に係る映像・音声記録再生装置は、映像・音声記録再生装置101(実施形態1)と同じ構成要素を有しているが、字幕情報挿入部108の機能が異なっている。
【0070】
図20は、本実施形態におけるMPEG2−PSでのSub Pictureパックの挿入方法を示した図である。
【0071】
図20のプログラムストリーム301は、ストリームフォーマット変換部105が生成したMPEG2−PSである。また、Sub Pictureパック302(SP_PCK)は、字幕フォーマット変換部107が生成したSub Pictureパックを示している。プログラムストリーム301内の、ビデオパック301a、301b、301c(V_PCK)は映像情報を示し、オーディオパック301d、301e、301f(A_PCK)は音声情報を示している。そして、図20の(a)は、Sub Pictureパック302を挿入する前のMPEG2−PSを示し、(b)は、Sub Pictureパック302を挿入した後のMPEG2−PSを示している。
【0072】
例えば、Sub Pictureパック302をオーディオパック301dとビデオパック301bとの間に挿入する場合、オーディオパック301dとSub Pictureパック302とビデオパック301bの間でSCRが連続になるように、Sub Pictureパック302のSCRを選定する必要がある。そこで、本実施形態の字幕情報挿入部108は、Sub Pictureパック302のSCRを、オーディオパック301dのSCRとビデオパック301bのSCRの平均値となるように選定する。
【0073】
以上のように、本実施形態によれば、Sub PictureパックのSCRを挿入する前後のパックのSCRの平均値に選定することにより、Sub Pictureパックを挿入するための空パックが生成しなくてもよい。この際、挿入したSub Pictureパックの前後のSCRの連続性を保つこともできる。
【0074】
なお、本実施形態では挿入するSub Pictureパックの前後のパックのSCRの平均値からSub PictureパックのSCRを選定しているが、平均値以外の選定手段を使用してもよい。
【0075】
なお、上記の各実施形態ではデータ記録部109で記録する蓄積メディアとしてDVD−RAMを用いたが、例えば、DVD−R、DVD−RW、+R、+RW、HD(Hard Disc)等の蓄積メディアでもよいし、SDメモリカード(Secure Digital memory card)、USB(Universal Serial Bus)メモリなどの半導体メモリでもよい。
【0076】
また、上記の各実施形態では、記録するDVDのアプリケーションフォーマットとしてDVD−VR規格を用いたが、DVD−Video規格、+VR(Video Recording)規格などの字幕情報を持つ他のアプリケーションフォーマットでもよい。
【0077】
また、上記の各実施形態では、ストリーム入力部102に入力するストリームとしてDVB−T規格を用いたが、ARIB規格、H.264規格などの字幕情報を持つ他のストリームの規格でもよい。
【産業上の利用可能性】
【0078】
本発明に係る映像・音声記録再生装置は、トランスポートストリームに含まれる字幕情報がプログラムストリームの字幕情報に変換されて記録されるので、再生する際に字幕情報の表示/非表示を切り替えたり、表示する言語の種類を選択したりすることが可能になるという効果を有している。そのため、字幕情報を含むトランスポートストリームをプログラムストリームとして記録する映像・音声記録再生装置等として有用である。
【図面の簡単な説明】
【0079】
【図1】実施形態1に係る映像・音声記録再生装置101の構成を示すブロック図である。
【図2】MPEG2−TSストリーム中に送信されるSubtitleのPESパケットフォーマットを示す図である。
【図3】Page構成部のフォーマットを示す図である。
【図4】bitmap Objectの場合のRegion構成部のフォーマットを示す図である。
【図5】CLUT定義部のフォーマットを示す図である。
【図6】bitmap Objectの場合のObject構成部のフォーマットを示す図である。
【図7】Subtitle表示の画面構成を示す図である。
【図8】DVD―VRストリーム中のSub Pictureフォーマットを示す図である。
【図9】Sub PictureのPixelデータの割当表を示す図である。
【図10】Sub Pictureの色情報を決定する表示制御コマンドフォーマットを示す図である。
【図11】Sub PictureのCLUTの定義フォーマットを示す図である。
【図12】Sub Pictureの表示制御コマンド一覧を示す図である。
【図13】Sub Pictureの表示位置を決定する表示制御コマンドフォーマットを示す図である。
【図14】16色のCLUTを4色のCLUTに変換する方法を示す図である。
【図15】256色のCLUTを4色のCLUTに変換する方法を示す図である。
【図16】Pixelデータが指す256色のCLUTのテーブルIDを示す図である。
【図17】Pixelデータが指すCLUTのテーブルIDを4色に減色する方法を示す図である。
【図18】Pixelデータが指す4色に減色されたCLUTのテーブルIDを示す図である。
【図19】実施形態2における複数の字幕矩形領域を示す図である。
【図20】実施形態3におけるSub Pictureパックの挿入方法を示す図である。
【符号の説明】
【0080】
101 映像・音声記録再生装置
102 ストリーム入力部
103 番組特定情報取得部
104 字幕情報抽出部
105 ストリームフォーマット変換部
106 時間情報取得部
107 字幕フォーマット変換部
108 字幕情報挿入部
109 データ記録部
201 表示スクリーン
202 字幕矩形領域
203 字幕矩形領域
204 境界線
301 プログラムストリーム
301a、301b、301c ビデオパック
301d、301e、301f オーディオパック
302 Sub Pictureパック

【特許請求の範囲】
【請求項1】
トランスポートストリームで提供される単一または複数言語の字幕情報を蓄積メディアに記録する映像・音声記録再生装置であって、
番組特定情報、字幕情報、及び映像・音声情報を含んだトランスポートストリームを受信するストリーム入力部と、
前記ストリーム入力部が受信したトランスポートストリームを、字幕情報と、字幕以外の情報とに分離する字幕情報抽出部と、
前記字幕情報抽出部が分離したトランスポートストリームの映像・音声情報を、プログラムストリームの映像・音声へ変換するストリームフォーマット変換部と、
前記字幕情報抽出部が分離した字幕情報をプログラムストリームの字幕情報に変換する字幕フォーマット変換部と、
前記字幕フォーマット変換部が変換した字幕情報を、前記ストリームフォーマット変換部が変換したプログラムストリームに挿入して出力する字幕情報挿入部と、
前記字幕情報挿入部が出力したプログラムストリームを記録するデータ記録部と、
を備えたことを特徴とする映像・音声記録再生装置。
【請求項2】
請求項1の映像・音声記録再生装置であって、
前記ストリーム入力部が受信したトランスポートストリームの番組特定情報を取得する番組特定情報取得部をさらに備え、
前記字幕情報抽出部は、前記番組特定情報を用いて、トランスポートストリームを、単一又は複数言語の字幕情報字幕情報と、映像・音声情報を含む字幕以外の情報とに分離することを特徴とする映像・音声記録再生装置。
【請求項3】
請求項2の映像・音声記録再生装置であって、
前記ストリームフォーマット変換部が変換したプログラムストリーム先頭の再生時刻制御情報を取得し、前記字幕フォーマット変換部に通知する時間情報取得部をさらに備え、
前記番組特定情報取得部は、トランスポートストリームの再生時刻制御情報と、字幕識別情報の個数を字幕情報抽出部に通知するように構成されており、
前記字幕情報抽出部は、前記再生時刻制御情報を取得し、前記字幕識別情報の個数を字幕フォーマット変換部へ通知するように構成されており、
前記字幕フォーマット変換部107は、通知された前記再生時刻制御情報、及び前記字幕の識別情報の個数を用いて、単一又は複数言語の字幕情報をプログラムストリームの字幕情報に変換することを特徴とする映像・音声記録再生装置。
【請求項4】
請求項1の映像・音声記録再生装置であって、
前記ストリームフォーマット変換部は、プログラムストリームに字幕情報を挿入するための空パックを生成する機能を有し、空パックを生成する、しないを選択できることを特徴とする映像・音声記録再生装置。
【請求項5】
請求項4の映像・音声記録再生装置であって、
前記ストリームフォーマット変換部は、プログラムストリームに字幕情報を挿入するための空パックを生成することにより、規格が所望する範囲内で映像、音声の記録レートを調整することを特徴とする映像・音声記録再生装置。
【請求項6】
請求項4の映像・音声記録再生装置であって、
前記ストリームフォーマット変換部は、映像、音声の記録レートから挿入可能な空パック数をプログラムストリームの規格が所望する範囲内で計算し、その個数分の空パックを生成することを特徴とする映像・音声記録再生装置。
【請求項7】
請求項1の映像・音声記録再生装置であって、
前記字幕フォーマット変換部は、単一又は複数の領域に表示される字幕情報、及び複数言語の字幕情報をプログラムストリームの字幕情報へ変換することを特徴とする映像・音声記録再生装置。
【請求項8】
請求項7の映像・音声記録再生装置であって、
前記字幕フォーマット変換部は、トランスポートストリームの字幕識別情報の個数の分だけのプログラムストリームの字幕の識別情報を生成し、プログラムストリームへ変換することを特徴とする映像・音声記録再生装置。
【請求項9】
請求項8の映像・音声記録再生装置であって、
前記字幕フォーマット変換部は、字幕識別情報で指定される1つの字幕情報内にさらに複数の字幕情報が含まれている場合には、その数の分だけのプログラムストリームの字幕の識別情報を生成し、プログラムストリームへ変換することを特徴とする映像・音声記録再生装置。
【請求項10】
請求項7の映像・音声記録再生装置であって、
前記字幕フォーマット変換部は、プログラムストリーム先頭の再生時刻制御情報とトランスポートストリーム先頭の再生時刻制御情報の差分を計算し、トランスポートストリームの字幕情報の再生時刻制御情報にその差分を加算、または減算することによってプログラムストリームの字幕情報の再生時刻制御情報を生成することを特徴とする映像・音声記録再生装置。
【請求項11】
請求項7の映像・音声記録再生装置であって、
前記字幕フォーマット変換部は、トランスポートストリームの字幕情報のうち、指定された条件を満たす字幕情報を、プログラムストリームの字幕情報へ変換することを特徴とする映像・音声記録再生装置。
【請求項12】
請求項7の映像・音声記録再生装置であって、
前記字幕フォーマット変換部は、トランスポートストリームの字幕情報に含まれる色表示情報から、プログラムストリームの字幕情報表示用の色表示情報を生成することを特徴とする映像・音声記録再生装置。
【請求項13】
請求項7の映像・音声記録再生装置であって、
前記字幕フォーマット変換部は、トランスポートストリームの字幕情報用の圧縮形式で圧縮されたトランスポートストリームの字幕情報のビットマップイメージを解凍し、プログラムストリームの色表示情報に基づいてビットマップイメージを再構築し、プログラムストリームの字幕情報用の圧縮形式でビットマップイメージを再圧縮してプログラムストリームの字幕情報を生成することを特徴とする映像・音声記録再生装置。
【請求項14】
請求項7の映像・音声記録再生装置であって、
前記字幕フォーマット変換部は、トランスポートストリームの字幕情報の表示制御情報から、プログラムストリームの字幕情報の表示制御情報を生成することを特徴とする映像・音声記録再生装置。
【請求項15】
請求項14の映像・音声記録再生装置であって、
前記字幕フォーマット変換部は、トランスポートストリームの字幕情報の表示座標、表示領域からプログラムストリームの字幕情報の表示座標、表示領域を計算して生成することを特徴とする映像・音声記録再生装置。
【請求項16】
請求項14の映像・音声記録再生装置であって、
前記字幕フォーマット変換部は、トランスポートストリームの字幕情報で複数の位置に表示される字幕情報を、1つの字幕情報としてプログラムストリームの字幕情報に変換することを特徴とする映像・音声記録再生装置。
【請求項17】
請求項4の映像・音声記録再生装置であって、
前記字幕情報挿入部は、前記空パックに、字幕フォーマット変換部が生成したプログラムストリームの字幕情報が存在する場合は空パックのヘッダ部分以外を字幕情報で置き換え、プログラムストリームの字幕情報が存在しない場合は無効データで空パックのヘッダ領域以外を置き換えることを特徴とする映像・音声記録再生装置。
【請求項18】
請求項4の映像・音声記録再生装置であって、
前記字幕情報挿入部は、前記ストリームフォーマット変換部が出力したプログラムストリームに前記空パックが無い場合、前記字幕フォーマット変換部が出力したプログラムストリームの字幕情報を、プログラムストリームの映像、音声のパックの間に字幕情報パックとして挿入することを特徴とする映像・音声記録再生装置。
【請求項19】
請求項18の映像・音声記録再生装置であって、
前記字幕情報挿入部は、プログラムストリームの字幕情報を挿入する前後の映像、音声のパックの時刻基準情報から挿入するプログラムストリームの字幕情報の時刻基準情報を計算して生成することを特徴とする映像・音声記録再生装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate


【公開番号】特開2009−94846(P2009−94846A)
【公開日】平成21年4月30日(2009.4.30)
【国際特許分類】
【出願番号】特願2007−264091(P2007−264091)
【出願日】平成19年10月10日(2007.10.10)
【出願人】(000005821)パナソニック株式会社 (73,050)
【Fターム(参考)】