再生装置
【課題】字幕のような副画像表示を主画像の表示期間全体にわたって実時間で表示することができる再生技術を提供する。
【解決手段】図形情報および図形情報を表示する図形情報表示時刻を記憶する図形情報バッファと、表示画像を記憶する画像メモリと、時刻情報を入力する時刻情報入力端子と、時刻情報入力端子から入力された時刻情報と図形情報表示時刻とが一致した際に図形情報バッファから画像メモリへ情報の複写を行う図形情報複写手段とを設ける。
【解決手段】図形情報および図形情報を表示する図形情報表示時刻を記憶する図形情報バッファと、表示画像を記憶する画像メモリと、時刻情報を入力する時刻情報入力端子と、時刻情報入力端子から入力された時刻情報と図形情報表示時刻とが一致した際に図形情報バッファから画像メモリへ情報の複写を行う図形情報複写手段とを設ける。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像表示に同期して文字や図形などの副画像情報を表示することのできる再生技術に関するものである。
【背景技術】
【０００２】
文字情報である副画像情報を映像等の主画像とは別に符号化しておき、主画像の再生時に副画像を重畳して実時間で再生する技術が従来より知られている。（例えば、特許文献１参照）
また、字幕やカラオケの歌詞などの副画像データの復号処理と画像データや音声データ等の主画像への重畳処理が実時間で実行できない場合には、副画像データの重畳処理を適当に間引いて（コマ落とし）同期を補正する技術が従来より知られている。（例えば、特許文献２参照）
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平６−３１４０９２号公報
【特許文献２】特開平１１−７５１５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１は、字幕等の副画像の主画像への重畳を実時間で処理できることが前提の技術について開示されており、何等かの理由で字幕等の副画像の主画像への重畳を実時間で処理できない場合の対処方法については何ら開示されていない。
【０００５】
一方、特許文献２では、副画像データの重畳処理を適当に間引いて（コマ落とし）同期を補正することにより字幕等の副画像の主画像への重畳の実時間での処理を保証しようとしている。しかしながら、このような処理では、副画像の表示が所々で抜け落ちるため、主画像の視聴において見苦しくなる場合がある。
【０００６】
本発明の目的は、字幕のような副画像表示を主画像の表示期間全体にわたって実時間で表示することができる再生技術を提供することにある。
【課題を解決するための手段】
【０００７】
上記問題を解決するために、本発明は、図形情報および上記図形情報を表示する図形情報表示時刻を記憶する図形情報バッファと、表示画像を記憶する画像メモリーと、時刻情報を入力する時刻情報入力端子と、上記時刻情報入力端子から入力された時刻情報と、上記図形情報表示時刻とが一致した際に、図形情報バッファから画像メモリーへ情報の複写を行う図形情報複写手段とを有することを特徴とする副画像表示装置を提供する。
【発明の効果】
【０００８】
本発明によれば、字幕のような副画像表示を主画像の表示期間全体にわたって実時間で表示することができる。
【図面の簡単な説明】
【０００９】
【図１】副画像生成部のブロック図
【図２】図形情報バッファに入力するデータの構造図
【図３】カラーパレットバッファに入力するデータの構造図
【図４】再生装置のブロック図
【図５】ディスク上のファイルの構造図
【図６】字幕情報ファイルの例を示す図
【図７】グラフィックデータの生成例を示す図
【図８】副画像生成部のブロック図
【図９】データバッファに入力するデータの構造図
【発明を実施するための形態】
【００１０】
以下、本発明を適用した実施例について説明する。
【実施例１】
【００１１】
図４は、本発明を適用した実施例である再生装置のブロック図である。 光ピックアップ４０２は、光ディスク４０１から信号を読み出す。再生信号処理回路４０３は、光ピックアップ４０２が読み出した信号に所定の復調処理を行い、データを再生する。出力制御部４０４は、再生信号処理回路４０３が再生したデータを所定のタイミングで出力する。サーボ部４０５は、光ディスク４０１の回転速度や光ピックアップ４０２の位置制御を行う。ドライブ制御部４０６は、サーボ部４０５および再生信号処理回路４０３を制御する。ＰＣＲ検出部４０７は、再生されたデータ中からＰＣＲの値を検出する。
【００１２】
また、音声デコーダ４０８は、再生されたデータのうち音声データをデコードし、音声信号を音声出力端子４０９に出力する。映像デコーダ４１０は、再生されたデータのうち映像データをデコードして主画像の映像信号を字幕信号合成回路４１１に出力する。字幕信号合成部４１１は、映像デコーダ４１０でデコードされた主画像の映像信号に副画像生成部４１３で生成された副画像の映像信号を重畳して映像信号を生成し、映像出力端子に出力する。副画像生成部４１３は、副画像を映像信号として字幕信号合成部４１１に出力する。詳細については後述する。
【００１３】
なお、この再生装置は、ＣＰＵ等で構成されるシステム制御部４１４によって装置全体が制御される。リモコン受信部４１５はリモコン（図示せず）からの信号を受信し、ネットワーク制御部４１６は外部のネットワーク４１７との接続を制御するものである。メモリー４１８は、ネットワーク４１７を介してダウンロードしたデータや光ディスク４０１から再生したデータを保存するものであり、また、字幕の表示位置、表示サイズ、表示色などの表現方法も必要に応じてあらかじめ保存しておくことができる。
【００１４】
出力制御部４０４、サーボ部４０５、ドライブ制御部４０６、ＰＣＲ検出部４０７、副画像生成部４１３及びネットワーク制御部４１６は、ハードウェアとして電子回路等で構成して上述の機能を実行させることとしてもよいし、ソフトウェアとしてシステム制御部４１４がプログラムを実行することで上述の機能を実行させることとしてもよい。
【００１５】
次に、再生装置が光ディスク４０１からのデータを再生する際の動作を以下に説明する。
【００１６】
光ディスク４０１が再生装置に装着されると、システム制御部４１４はこれを検知し、光ディスク４０１上のファイル管理情報の読み出しを開始する。具体的には、システム制御部４１４は、ドライブ制御部４０６に対してファイル管理情報が記録されている光ディスク４０１上のセクターのデータ読み出しを指示する。ドライブ制御部４０６は、光ディスク４０１上の指定されたセクターのデータを読み出すために、サーボ部４０５を制御し、光ディスクの回転速度および光ピックアップ４０２の位置を制御する。光ピックアップ４０２により読み出された信号は、再生信号処理回路４０３によって所定の復調処理および誤り訂正処理などが施され、セクター単位のデータ列として信号処理回路４０３上のメモリー（図示せず）に蓄えられる。ドライブ制御部４０６は、指定されたセクターのデータが用意されると、再生信号処理回路４０３上のメモリーから読み出しを行い、システム制御部４１４へデータを出力する。システム制御部４１４は、読み出されたデータの解析を行い、ファイル管理情報を取得する。
【００１７】
ここで、ファイル管理情報は、例えばＵＤＦ（Ｕｎｉｖｅｒｓａｌ Ｄｉｓｋ Ｆｏｒｍａｔ）に代表されるファイル管理システムに準拠して、光ディスク４０１上の所定の位置に記録されている。ファイル管理情報は、光ディスク上に記録されている各情報をファイルとして管理する。具体的には、各ファイルのファイル識別子（ファイル名）、記録開始セクター番号、ファイル長、付加情報などが記録されている。
【００１８】
ファイル管理情報が読み出された後、システム制御部４１４は、光ディスク４０１の再生に必要なファイルを読み出しをドライブ制御部４０６に指示することで、ドライブ制御部４０６は上述の制御を行って所望のセクターからデータを読み出し、再生する。そして、再生されたデータをシステム制御部４１４で順次解析する。
【００１９】
図１に、図４の再生装置が持つ副画像生成部４１３のブロック図を示す。 システム制御部４１４からの字幕文字列情報は端子１０１から入力される。ＰＣＲ検出部４０７からのＰＣＲ値は端子１０２から入力される。図形情報バッファ１０３は字幕文字列情報を蓄える図形情報バッファである。タイミング制御部１０４は図形バッファ１０３から変換部１０５へ字幕文字列情報を出力するタイミングを制御する。変換部１０５は字幕文字列情報に基づいてピクセルごとの図形情報に変換する。変換された図形情報は、画像メモリー１０６内に展開される。カラーパレットバッファ１０７は、カラーパレット情報を蓄える。タイミング制御部１０８は、カラーパレットバッファ１０７からカラーパレット１０９にカラーパレット情報を出力するタイミングを制御する。カラーパレット１０９は、画像メモリー１０５から出力されるピクセルごとの図形情報に色情報を付加し、副画像出力端子１１０に出力する。
【００２０】
上述の通り、副画像生成部４１３はシステム制御部４１４が実行するプログラムに置き換えてもよいが、その際、図形情報バッファ１０３、画像メモリー１０６及びカラーパレットバッファ１０７は、システム制御部４１４が使用するメモリー（図示せず）を利用すればよい。
【００２１】
副画像生成部４１３では、システム制御部４１４が生成した字幕文字列情報を主画像に重ねて表示できる図形情報に変換し、色情報が付加される。以下、その手順について説明する。
【００２２】
まず、字幕文字列情報について説明する。 図２は、図形情報バッファ１０３に入力される字幕文字列情報のデータの構造を示す。 表示時刻情報２０１は、３３ビットのビット長であり、９０ｋＨｚの分解能を持つ。表示位置情報２０２は、図形情報の画面上の表示開始座標を示す。また、表示サイズ情報２０３は、図形情報の縦横のサイズを示している。ピクセルデータ２０４は、各ピクセルの表示形態の集合体であり、１ピクセルあたり１バイト（８ビット）で表される。
【００２３】
例えば、各ピクセルの表示形態をピクセルデータ２０４として持つことにより、図７のように、透明色で示されるピクセル７０１、半透明の黒色のピクセル７０２、黒色のピクセル７０３といったピクセルの集合で主画像上に文字を表示することができる。
【００２４】
図７の例では、「Ｃ」の文字を黒色で小さく表示している。透明なピクセルの上に、「Ｃ」の文字が黒色で示されるとともに、文字の輪郭は半透明の黒色に変換される。文字の輪郭を半透明にすることにより、映像と重ね合わせた際に、文字が不自然になることを防ぐことができる。また、輪郭を白色にすることにより、文字を目立たせるなどの処理も可能である。
【００２５】
字幕文字列情報は、光ディスク４０１上に記録されている字幕情報ファイル５０７あるいはネットワーク４１７を介して取得した字幕情報ファイルに基づいてシステム制御部４１４が作成する。
【００２６】
次に、字幕情報ファイル５０７について説明する。 図６に字幕情報ファイル５０７の一例を示す。 字幕情報ファイル５０７には、コンテンツのタイトル６０１や言語名６０２、フォント名６０３などの基本情報と、実際に表示を行うための字幕文字列６０６が含まれている。また、各字幕文字列には、その文字列の表示を行う表示開始時刻６０４と表示を継続する表示期間６０５が記述されている。
【００２７】
なお、図６には図示していないが、各字幕文字列の表示を規定するための、表示位置、表示サイズ、表示色などの情報も字幕情報ファイル５０７に含めることも出来る。表示位置、表示サイズ、表示色などの情報が字幕情報ファイル５０７に含まれていない場合には、メモリー４１８内に予め記憶されている表示方法でシステム制御部１１４が表示位置、表示サイズ、表示色などを設定する。
【００２８】
また、必要に応じて、章や段落の切れ目が分かるような情報を字幕情報ファイル５０７に含めてもよい。これにより、再生時に早送り動作やスキップ動作を行った場合にも、容易に字幕情報ファイル５０７中の字幕データの位置を求めることが出来る。
【００２９】
字幕情報ファイル５０７中の字幕文字列６０６は、システム制御部１１４によって字幕文字列情報に変換される。この際、システム制御部１１４は、メモリー４１８に予め記憶されている各文字の形状を記憶したフォント情報を参照する。
【００３０】
本実施例では、フォント情報はシステム制御部４１４からアクセスされるメモリー４１８に予め記憶されているものとして説明するが、このような手順に限定されるものではなく、例えば、光ディスク４０１上にファイルとして記録しておき、これを再生してメモリー４１８上に記憶させておくことによって実現することとしてもよい。光ディスク４０１に記録されているフォント情報を利用することとすれば、各光ディスク毎にフォント形状を切り替えることが出来る。
【００３１】
また、フォント情報を、ネットワーク４１７を介してダウンロードし、メモリー４１８に記憶させておくこととしてもよい。こうすることにより、所望のフォント形状を選択することができる。
【００３２】
フォント情報取得方法にかかわらず、フォント情報をシステム制御部４１４が利用できる構成であれば、文字列情報から図形情報への変換が可能になる。
【００３３】
次に、字幕情報ファイル５０７について説明する。 図５は、光ディスク４０１に記録されているファイル構造を示す図である。ＤＶＲディレクトリ中のプレイリストの数やファイル名などの情報が書かれたｉｎｆｏ．ｄｖｒファイル５０１、メニュー表示を行うプログラムを記録したｍｅｎｕ．ｊａｖａ（登録商標）ファイル５０２、映像の再生位置や順序およびマーク位置などの情報が記録されたプレイリストファイル５０３、ストリームファイル上の再生開始点とそのパケット位置などの情報を記録したクリップ情報５０４、映像や音声などの情報パケットが記録されたストリームファイル５０５及び副画像情報のデコード処理を行うプログラムを記録したｓｕｂｔｉｔｌｅ．ｊａｖａファイル５０６とともに字幕情報ファイル５０７が光ディスク４０１に記録されている。なお、字幕情報ファイル５０７は、ネットワーク４１７を介してダウンロードして取得することとしてもよい。
【００３４】
次に、カラーパレットバッファ１０６に入力される色情報としてのカラーパレット情報について説明する。 図３は、カラーパレット情報の構造を示す図である。表示時刻情報３０１は、図形情報バッファ１０３に入力される表示時刻情報２０１と同等のものである。カラーパレット数３０２は、カラーパレット情報中に含まれるカラーパレットの数を示している。カラーパレット３０３には、２５６種類のカラーパレットのうち、変更するカラーパレットのみを指定する。これにより、使用しないカラーパレットや変更を行わないカラーパレットの情報を指定する必要がない。
【００３５】
ここで、カラーパレットは、前述の図形情報がピクセルごとに何色に対応するかの変換テーブルであり、システム制御部１１４が生成する。カラーパレットも、上述のフォント情報と同様に、予め再生装置が記憶しておいてもよいし、光ディスク４０１から取得してもよいし、ネットワーク４１７を介してダウンロードして取得してもよい。
【００３６】
なお、図形情報は、１ピクセルあたり１バイト（８ビット）が割り当てられており、２５６種類の値を取り得る。従って、カラーパレット情報には、最大２５６種類のカラーパレットを指定することができ、各カラーパレットにはＲＧＢ各８ビットの色情報と、透明度を示す８ビットのアルファ値を指定する。なお、１ピクセル当たり３２ビット割り当てれば、１６７７万色のいわゆるフルカラーとすることもできる。
【００３７】
次に、字幕情報ファイル５０７に基づいてシステム制御部４１４が字幕文字列情報を生成し、生成された字幕文字列情報を副画像生成部４１３で図形情報に変換する手順について説明する。
【００３８】
字幕情報ファイル５０７から図形情報を生成する際には、まず、システム制御部４１４が光ディスク４０１上から字幕情報ファイル５０７を読み出し、字幕情報ファイル５０７の解析を行う。
【００３９】
字幕情報ファイル５０７の解析では、字幕情報ファイル５０７内に記載されている情報、あるいはメモリー４１８に記憶されている表現方法にしたがい、フォントの選択やフォントサイズの指定、表示色の選択などを行い、図２に示した字幕文字列情報を生成する。
【００４０】
字幕文字列情報は、図６の文字列６０６ごとに生成される。図２の表示時刻２０１は、図６の開始時間６０４および表示期間６０５に従って生成される。図６の文字列６０６は、図２のピクセルデータに変換される。また、図２の表示座標２０２と表示位置２０３は、システム制御部４１４がメモリー４１８から取得した表示位置および表示サイズなどの情報から算出する。
【００４１】
以上のようにして生成された字幕文字列情報は図形情報バッファ１０３に蓄積される。そして、蓄積された字幕文字列情報に基づき変換部１０５でピクセルごとの図形情報に変換される、
なお、上記実施例では、図形情報は字幕情報ファイル５０７中の文字列６０６及びフォント６０３に基づいて生成しているが、例えば、図形情報自体を字幕情報ファイルとして光ディスク４０１に記録しておくこともできる。この場合、ランレングス圧縮などによりデータ量の削減を行うこともできる。また、グラフィックデータを生成するようなプログラムをファイルとして光ディスク４０１に記録しておき、システム制御部４１４でこのプログラムを実行することにより図形情報を生成してもよい。いずれの場合にも、図形情報として表示時刻、表示位置、表示サイズの情報とともに図形情報バッファ１０３に入力する。
【００４２】
一方、字幕文字列情報の入力に平行して、カラーパレットバッファ１０６には、図３のカラーパレット情報が入力される。基本的に、各字幕文字列情報に対応してカラーパレット情報が必要となるが、字幕の色の変更がない場合には、カラーパレット情報の更新は不要である。逆に、カラーパレット情報のみを変更することにより、表示されている字幕文字列に様々な効果を与えることも可能である。例えば、カラーパレット情報中の透明度（α値）を徐々に変化させることにより、文字のフェードイン・フェードアウトの処理が可能である。また、いわゆるカラオケの字幕のように、文字の色を徐々に変化させることも可能である。このような処理では、例えば、カラーパレット情報を０．１秒毎に変化させればよく、少しずつ変化させたカラーパレット情報を表示時刻情報を０．１秒ずつ変化させてカラーパレットバッファ１０６に入力すればよい。
【００４３】
また、一旦画像メモリー１０６に図形情報が展開されると、ずっとその図形情報が出力されつづけることになるので、字幕文字列の表示期間が終了した時点で、図形情報を削除する必要がある。本実施例では、字幕文字列の表示期間の終了がタイミング制御部１０４で分かるので、表示期間の終了に伴って、表示した文字列のピクセルデータと同じ位置で同じサイズの無色透明なデータを画像メモリー１０６に上書きすることとする。詳細については後述する。
【００４４】
ここで、光ディスク４０１に記録されているファイルについて説明する。 図５は、光ディスク４０１に記録されているファイルの構造を示す図である。
【００４５】
まず、ストリームファイル５０５について説明する。 映像情報は、画像情報圧縮技術の一つであるＭＰＥＧ２方式でデータ量が削減され、トランスポートストリーム形式に変換されて、ストリームファイル５０５として光ディスク４０１に記録される。ＭＰＥＧ２は、ＮＴＳＣ形式の画像やハイビジョンに代表される高画質のＨＤ画像に対しても優れたデータ量削減を行うことが出来、原画像に対して１／１０〜１／５０程度にデータ量を削減することが出来る。例えば、ＮＴＳＣ形式の画像では６Ｍｂｐｓ程度、ＨＤ画像でも２０Ｍｂｐｓ程度のデータ量で十分な画質を得ることが出来る。ＭＰＥＧ２による画像圧縮は、ＤＶＤをはじめとする画像蓄積や、ディジタル放送などにも広く用いられている。
【００４６】
ここでは、ＭＰＥＧ２形式を例にとって説明するが、もちろん他の画像圧縮方法を用いてデータを符号化しても差し支えない。
【００４７】
映像と同様に、音声情報に関しても、音声圧縮技術を用いてデータ量圧縮を行なう。音声圧縮技術には、ＭＰＥＧ１オーディオやＢＳデジタル放送で用いられるＡＡＣ形式など様々な圧縮技術がある。また、音声情報は映像情報に比べてデータ量が少ないため、圧縮を行わないリニアＰＣＭ形式でデータを記録することも可能である。
【００４８】
上記のように符号化された映像情報および音声情報は、伝送や蓄積が容易なように、トランスポートストリームとして多重化し、一つのストリームファイル５０５として記録する。具体的には、ストリームファイル５０５は１８８バイトのパケットの集合体である。各パケットにはパケット識別のためのＰＩＤ（パケットＩＤ）が付加されている。このＰＩＤにより、音声デコーダ４０８や映像デコーダ４１０は、再生時に容易に映像パケット、音声パケット等の分別を行うことが出来る。
【００４９】
さらに、各ＰＩＤの関係を表したＰＭＴ（Ｐｒｏｇｒａｍ Ｍａｐ Ｔａｂｌｅ）やＰＡＴ（Ｐｒｏｇｒａｍ Ａｌｌｏｃａｔｉｏｎ Ｔａｂｌｅ）、時刻情報を表すＰＣＲ（Ｐｒｏｇｒａｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ）などのパケットも多重化する。このようにして情報の多重化を行ったトランスポートストリームは、ストリームファイル５０５として光ディスク上に記録しておく。
【００５０】
なお、ストリームファイル５０５に、映像・音声のほか、字幕情報や図形情報、制御コマンドなどの各種情報パケットを多重化することとしてもよい。
【００５１】
次に、クリップ情報ファイル５０４について説明する。 前述のように、映像情報はＭＰＥＧ２形式の画像圧縮を行った上で記録をしている。ＭＰＥＧ２形式では、連続した画像の相関性を用いてデータ量削減を行っている。具体的には、連続した画像間で変化のない部分の情報は再送せずに、直前の画像のデータをそのまま使用するような処理を行っている。そのため、変化分のみが符号化された画像データでは、そのデータから全画素の情報を復号できないという欠点がある。したがって、早送りやスキップ操作などで再生を開始できる画像は、全画素が符号化された画像のみである。
【００５２】
一般的に、ＭＰＥＧ２形式での画像圧縮は、１５枚程度の画像を組にして圧縮を行うことが多い。この画像の組をＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）と呼ぶ。このＧＯＰの先頭から再生を行えば、即座に画像の再生を行うことが出来る。
【００５３】
クリップ情報ファイル５０４には、このＧＯＰ先端のパケット位置を、その画像の符号化時刻（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐの値に対応）とともに記録しておく。これにより、サーチやスキップで再生を開始する位置が容易に検索できる。
【００５４】
クリップ情報ファイル５０４は、トランスポートストリームファイルと一対一に対応している。例えば、０１０００．ｍ２ｔｓというトランスポートストリームファイルに対応して、０１０００．ｃｌｐｉというクリップ情報ファイルを記録しておけば、ファイル間の対応が容易に識別できる。
【００５５】
次に、プレイリストファイル５０３について説明する。 プレイリストファイル５０３は、トランスポートストリームファイルの再生順序を規定する情報が記録されたファイルである。プレイリストファイルには、再生を行うストリームファイルのファイル識別子、再生開始時刻、再生終了時刻などの情報の組がプレイアイテム情報として一組ないし複数組記録されている。再生時には、指定されたプレイリストファイル中のプレイアイテム情報にしたがい、ストリームファイルが順次再生される。
【００５６】
以下、光ディスク４０１を再生する際の動作を説明する。 再生開始時には、まず、メニュー表示プログラム５０２が読み出され実行が行われる。メニュー表示プログラム５０２は、光ディスク４０１に記録されているコンテンツの選択や各種設定を行うことが出来るようなメニューを表示するようにプログラムされている。ユーザーは、表示されたメニュー画面より、コンテンツの選択を行ない、再生を指示する。
【００５７】
ユーザーによって所定のコンテンツの再生が指示されると、システム制御部４１４の制御の下、指定されたコンテンツに対応した字幕情報ファイル５０７およびそれをデコード処理するプログラムのファイル５０６を予め読み出し、メモリー４１８に記憶する。
【００５８】
次いで、システム制御部４１４では、ダウンロードした字幕デコードプログラムの実行を行う。具体的には、システム制御部４１４が持つメモリー（図示せず）に記憶されているフォント情報を用いて、同時にダウンロードされている字幕文字ファイルに基づいて字幕文字列情報を生成する。字幕文字列情報の生成方法は、上述の通りである。生成された字幕文字列情報は、副情報表示部４１３内の図形情報バッファ１０３に入力される。
【００５９】
また、システム制御部４１４は、字幕文字列の表示開始時刻と表示期間から、字幕文字列の消去時刻を計算し、文字列を消去するためのピクセルデータと消去を行う時刻情報を持つ字幕文字列情報を生成し、副情報表示部４１３内の図形情報バッファ１０３に入力する。
【００６０】
さらには、グラフィックデータを表示するために必要なカラーパレット情報も生成し、副情報表示部のカラーパレットバッファ１０６に入力する。
【００６１】
なお、字幕デコードプログラムは、光ディスク４０１からダウンロードされ、システム制御部４１４で実行されるとして説明したが、これは限定されるものではない。例えば、予めシステム制御部４１４内のＲＯＭに字幕デコードプログラムを記憶しておき実行を行ってもよいし、ネットワーク４１７を介してダウンロードを行い、実行するように構成してもよい。
【００６２】
同様に、字幕文字列情報も、光ディスク４０１に記録されている字幕情報ファイル５０７に基づいて生成するのではなく、ネットワーク４１７を介してダウンロードした字幕情報に基づいて生成するように構成してもよい。また、字幕情報ファイル５０７が光ディスク４０１上に個別のファイルとして記録されている例を示したが、字幕情報を、映像ストリームや音声ストリームとともに多重化し、出力制御部４０４からの出力をシステム制御部４１４で取得するような構成にしてもよい。
【００６３】
字幕文字列情報、カラーパレット情報が副画像生成部４１３に入力された、指示されたコンテンツの再生を開始する。コンテンツの再生のために、指定されたコンテンツに対応したプレイリストファイル５０３がシステム制御部４１４の制御の下、光ディスク４０１上から読み出す。プレイリストファイル５０３中には、一つないし複数のプレイアイテム情報が記録されており、プレイアイテム情報に対応したストリームファイル５０５の読み出しが行われ、プレイアイテム情報に指定されたパケット番号のパケットから読み出しが行われる。具体的には、読み出しを行うパケットの記録されているセクターの情報を読み出すよう、システム制御部４１４がドライブ制御部４０６に指示を行う。ドライブ制御部４０６は、指示されたセクターの読み出しが行えるように、サーボ部４０５を制御し、ディスク回転速度および光ピックアップの位置を制御する。光ピックアップ４０２により、光ディスク４０１から信号が読み出されると、再生信号処理部４０３により、誤り訂正処理、データの並び替えなどの信号処理が行われ、セクターデータとして出力制御部４０４に入力される。出力制御部４０４は、システム制御部４１４により指定されたパケット番号のパケットから順番に、各パケットに付加されたタイムスタンプに応じた時刻にパケットを出力する。
【００６４】
出力制御部４０４から出力されたＭＰＥＧパケットは、ＰＣＲ検出部４０７、音声デコーダ４０８、映像デコーダ４１０に入力される。各パケットにはパケット種別を判別する１３ビットのＰＩＤ（Ｐａｃｋｅｔ ＩＤ）が含まれており、これによりＰＣＲパケット、音声データパケット、映像データパケットなどの種類が判別される。これにより、各デコーダは、所望のパケットのみをデコード（復調）することが出来る。
【００６５】
また、再生するストリームファイル５０５内のストリームデータには、ＰＣＲ（Ｐｒｏｇｒａｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ）と呼ばれる時刻情報が含まれており、この時刻情報に同期して映像および音声の出力が行われる。ＰＣＲ検出部４０７には、このＰＣＲパケットが入力され、ストリーム中の時刻情報が取得される。映像デコーダ４１０および音声デコーダ４０８には、このＰＣＲ値（時刻情報）が入力され、このＰＣＲ値を基準として映像および音声のデコード処理を行う。また、ＰＣＲ値は、副画像生成部４１３にも入力され、字幕の表示タイミングの制御にも使用される。
【００６６】
映像デコーダ４１０では、入力された映像ストリームをデコードする。映像ストリームには、毎秒３０枚のフレーム画像が含まれており、各画像には、画像の表示時刻を示すＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）の情報が含まれている。映像デコーダ内では、ＰＣＲ検出部から入力されたＰＣＲ時刻と、デコードしたフレーム画像のＰＴＳとが比較され、一致した時点で画像データが映像合成回路４１１に入力される。音声データも同様に音声デコーダ４０８によりデコードされ、デコードした音声フレームデータのＰＴＳが、ＰＣＲ時刻に一致した時点で、音声出力端子４０９に出力される。
【００６７】
映像デコーダ４１０による映像信号の出力に平行して、副画像生成部４１３から副画像情報の出力が行われる。
【００６８】
ここで、副画像生成部４１３におけるデータの表示について説明する。
【００６９】
副画像生成部４１３では、システム制御部４１４から入力された字幕文字列情報の表示時刻（ＰＴＳ）に変換部１０５で図形情報に変換し、出力されるように制御される。具体的には、入力されたピクセルデータの表示時刻２０１と、ＰＣＲ検出部４０７から入力されたＰＣＲ値とがタイミング制御部１０４にて比較され、一致した時点で、ピクセルデータ２０４が変換部１０５へ転送され、図形情報に変換して画像メモリー１０６へ出力される。このとき、図形情報の画像メモリー１０６上のアドレスは、字幕文字列情報の表示座標情報２０２およびサイズ情報２０３から計算される。同様に、カラーパレットバッファ１０６へ入力されたカラーパレット情報も表示時刻がＰＣＲ値と一致した時点でカラーパレット１０９へコピーされる。これにより、図形情報バッファ１０３およびカラーパレットバッファ１０６へ入力されたデータが、所定のタイミングで画像メモリー１０６およびカラーパレット１０９へ反映される。
【００７０】
画像メモリー１０６上のデータは、ピクセル毎に順次読み出され、カラーパレット１０９によりＲＢＧの各色の輝度およびアルファ値の示す透明度のデータに変換され、副画像の映像信号として出力端子１０９から出力される。
【００７１】
副画像生成部４１３の出力端子１０９から出力された副画像の映像信号と、前述の映像デコーダ４１０から出力される主画像の映像信号は、映像合成回路４１１に入力され、合成された映像信号として、再生装置の映像出力端子４１２から外部のディスプレイに出力され、表示される。
【００７２】
以上の処理により、字幕が、映像および音声と同期して出力される。
【００７３】
ここで、図形情報バッファ１０３およびカラーパレットバッファ１０６へのデータ入力自体は、それぞれの表示時刻とは無関係に行うことが出来る。例えば、字幕情報の生成処理をコンテンツの再生前に全て行っておき、図形情報バッファ１０３およびカラーパレットバッファ１０６へ入力しておくことも可能である。図形情報バッファおよびカラーパレットバッファには、それぞれタイミング制御部１０４および１０８が設けられており、バッファへ入力されたデータをＰＴＳおよびＰＣＲにしたがい、所定のタイミングで出力することが可能である。これにより、字幕情報の生成処理を、光ディスク４０１の再生と同期して行う必要はなくなるので、字幕の生成処理を実時間で行う必要はなくなる。一般に、字幕の表示処理で実時間処理が要求されるのは表示タイミングの調整であり、字幕の生成処理自体は実時間処理が要求されない。
【００７４】
なお、図１に示した副画像生成部４１３では、図形情報バッファ１０３とカラーパレットバッファ１０７を独立したメモリーとして構成し、それぞれのデータを別々のタイミング制御部１０４および１０８）により画像メモリー１０６とカラーパレット１０９へコピーしていたが、これは限定されるものではない。例えば、図８に示したように、バッファメモリー８０１を共用し、タイミング制御部８０２により変換部１０５にピクセルデータを振り分け、カラーパレット情報をカラーパレット１０９に振り分けてデータを転送するように構成してもよい。この場合、図９に示したようなデータ構造で字幕文字列情報を生成し、バッファメモリー８０１へこの字幕文字列情報を書き込めばよい。
【００７５】
以上説明したように、本実施例では、字幕の生成処理を実時間で行う必要がなくなるため、高速な処理を行うための専用ソフトウェアが不要となる。これにより、例えば、ｊａｖａに代表される汎用のソフトウェアで字幕でコード処理のプログラムを作成し、光ディスク４０１上に記録しておくことが出来る。したがって、システム制御部４１４内にｊａｖａ等の汎用プログラム実行環境さえ準備しておけば、光ディスク４０１上のコンテンツに応じて字幕生成処理のプログラムを変更することもでき、高度な字幕処理を行うことも可能となる。もちろん、字幕以外の表示を行うことも可能である。
【００７６】
また本実施例では、時刻情報入力端子から入力された時刻情報と、上記図形情報表示時刻とが一致した際に、字幕を出力するので、所定の時刻に字幕の表示を行うことが可能である。したがって、再生中のストリームの時刻とは独立して図形情報を予め生成することができるため、字幕の生成を実時間で行う必要がなく、システム制御部４１４の負担を軽減することが出来る。そのため、字幕生成の処理を低速のＣＰＵを使用した環境や、汎用のソフトウェア実行環境を用いて行うことが出来る。さらには、字幕処理の実行時間に制限が少ないので、字幕処理プログラムの開発が容易であり、かつ、字幕の表示に問題を来すことが少なくなる。
【符号の説明】
【００７７】
１０１ データ入力端子
１０２ 時刻情報入力端子
１０３ 図形情報バッファ
１０４、１０７ タイミング制御部
１０５ 変換部
１０６ 画像メモリー
１０７ カラーパレットバッファ
１０８ カラーパレット
１０９ 副画像出力端子
４０１ 光ディスク
４０２ 光ピックアップ
４０３ 再生信号処理回路
４０４ 出力制御部
４０５ サーボ部
４０６ ドライブ制御部
４０７ ＰＣＲ検出部
４０８ 音声デコーダ
４０９ 音声出力端子
４１０ 映像デコーダ
４１１ 映像合成回路
４１２ 映像出力端子
４１３ 副画像生成部
４１４ システム制御部
４１５ リモコン受信部
４１６ ネットワーク制御部
４１７ ネットワーク
４１８ メモリー
【技術分野】
【０００１】
本発明は、映像表示に同期して文字や図形などの副画像情報を表示することのできる再生技術に関するものである。
【背景技術】
【０００２】
文字情報である副画像情報を映像等の主画像とは別に符号化しておき、主画像の再生時に副画像を重畳して実時間で再生する技術が従来より知られている。（例えば、特許文献１参照）
また、字幕やカラオケの歌詞などの副画像データの復号処理と画像データや音声データ等の主画像への重畳処理が実時間で実行できない場合には、副画像データの重畳処理を適当に間引いて（コマ落とし）同期を補正する技術が従来より知られている。（例えば、特許文献２参照）
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平６−３１４０９２号公報
【特許文献２】特開平１１−７５１５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１は、字幕等の副画像の主画像への重畳を実時間で処理できることが前提の技術について開示されており、何等かの理由で字幕等の副画像の主画像への重畳を実時間で処理できない場合の対処方法については何ら開示されていない。
【０００５】
一方、特許文献２では、副画像データの重畳処理を適当に間引いて（コマ落とし）同期を補正することにより字幕等の副画像の主画像への重畳の実時間での処理を保証しようとしている。しかしながら、このような処理では、副画像の表示が所々で抜け落ちるため、主画像の視聴において見苦しくなる場合がある。
【０００６】
本発明の目的は、字幕のような副画像表示を主画像の表示期間全体にわたって実時間で表示することができる再生技術を提供することにある。
【課題を解決するための手段】
【０００７】
上記問題を解決するために、本発明は、図形情報および上記図形情報を表示する図形情報表示時刻を記憶する図形情報バッファと、表示画像を記憶する画像メモリーと、時刻情報を入力する時刻情報入力端子と、上記時刻情報入力端子から入力された時刻情報と、上記図形情報表示時刻とが一致した際に、図形情報バッファから画像メモリーへ情報の複写を行う図形情報複写手段とを有することを特徴とする副画像表示装置を提供する。
【発明の効果】
【０００８】
本発明によれば、字幕のような副画像表示を主画像の表示期間全体にわたって実時間で表示することができる。
【図面の簡単な説明】
【０００９】
【図１】副画像生成部のブロック図
【図２】図形情報バッファに入力するデータの構造図
【図３】カラーパレットバッファに入力するデータの構造図
【図４】再生装置のブロック図
【図５】ディスク上のファイルの構造図
【図６】字幕情報ファイルの例を示す図
【図７】グラフィックデータの生成例を示す図
【図８】副画像生成部のブロック図
【図９】データバッファに入力するデータの構造図
【発明を実施するための形態】
【００１０】
以下、本発明を適用した実施例について説明する。
【実施例１】
【００１１】
図４は、本発明を適用した実施例である再生装置のブロック図である。 光ピックアップ４０２は、光ディスク４０１から信号を読み出す。再生信号処理回路４０３は、光ピックアップ４０２が読み出した信号に所定の復調処理を行い、データを再生する。出力制御部４０４は、再生信号処理回路４０３が再生したデータを所定のタイミングで出力する。サーボ部４０５は、光ディスク４０１の回転速度や光ピックアップ４０２の位置制御を行う。ドライブ制御部４０６は、サーボ部４０５および再生信号処理回路４０３を制御する。ＰＣＲ検出部４０７は、再生されたデータ中からＰＣＲの値を検出する。
【００１２】
また、音声デコーダ４０８は、再生されたデータのうち音声データをデコードし、音声信号を音声出力端子４０９に出力する。映像デコーダ４１０は、再生されたデータのうち映像データをデコードして主画像の映像信号を字幕信号合成回路４１１に出力する。字幕信号合成部４１１は、映像デコーダ４１０でデコードされた主画像の映像信号に副画像生成部４１３で生成された副画像の映像信号を重畳して映像信号を生成し、映像出力端子に出力する。副画像生成部４１３は、副画像を映像信号として字幕信号合成部４１１に出力する。詳細については後述する。
【００１３】
なお、この再生装置は、ＣＰＵ等で構成されるシステム制御部４１４によって装置全体が制御される。リモコン受信部４１５はリモコン（図示せず）からの信号を受信し、ネットワーク制御部４１６は外部のネットワーク４１７との接続を制御するものである。メモリー４１８は、ネットワーク４１７を介してダウンロードしたデータや光ディスク４０１から再生したデータを保存するものであり、また、字幕の表示位置、表示サイズ、表示色などの表現方法も必要に応じてあらかじめ保存しておくことができる。
【００１４】
出力制御部４０４、サーボ部４０５、ドライブ制御部４０６、ＰＣＲ検出部４０７、副画像生成部４１３及びネットワーク制御部４１６は、ハードウェアとして電子回路等で構成して上述の機能を実行させることとしてもよいし、ソフトウェアとしてシステム制御部４１４がプログラムを実行することで上述の機能を実行させることとしてもよい。
【００１５】
次に、再生装置が光ディスク４０１からのデータを再生する際の動作を以下に説明する。
【００１６】
光ディスク４０１が再生装置に装着されると、システム制御部４１４はこれを検知し、光ディスク４０１上のファイル管理情報の読み出しを開始する。具体的には、システム制御部４１４は、ドライブ制御部４０６に対してファイル管理情報が記録されている光ディスク４０１上のセクターのデータ読み出しを指示する。ドライブ制御部４０６は、光ディスク４０１上の指定されたセクターのデータを読み出すために、サーボ部４０５を制御し、光ディスクの回転速度および光ピックアップ４０２の位置を制御する。光ピックアップ４０２により読み出された信号は、再生信号処理回路４０３によって所定の復調処理および誤り訂正処理などが施され、セクター単位のデータ列として信号処理回路４０３上のメモリー（図示せず）に蓄えられる。ドライブ制御部４０６は、指定されたセクターのデータが用意されると、再生信号処理回路４０３上のメモリーから読み出しを行い、システム制御部４１４へデータを出力する。システム制御部４１４は、読み出されたデータの解析を行い、ファイル管理情報を取得する。
【００１７】
ここで、ファイル管理情報は、例えばＵＤＦ（Ｕｎｉｖｅｒｓａｌ Ｄｉｓｋ Ｆｏｒｍａｔ）に代表されるファイル管理システムに準拠して、光ディスク４０１上の所定の位置に記録されている。ファイル管理情報は、光ディスク上に記録されている各情報をファイルとして管理する。具体的には、各ファイルのファイル識別子（ファイル名）、記録開始セクター番号、ファイル長、付加情報などが記録されている。
【００１８】
ファイル管理情報が読み出された後、システム制御部４１４は、光ディスク４０１の再生に必要なファイルを読み出しをドライブ制御部４０６に指示することで、ドライブ制御部４０６は上述の制御を行って所望のセクターからデータを読み出し、再生する。そして、再生されたデータをシステム制御部４１４で順次解析する。
【００１９】
図１に、図４の再生装置が持つ副画像生成部４１３のブロック図を示す。 システム制御部４１４からの字幕文字列情報は端子１０１から入力される。ＰＣＲ検出部４０７からのＰＣＲ値は端子１０２から入力される。図形情報バッファ１０３は字幕文字列情報を蓄える図形情報バッファである。タイミング制御部１０４は図形バッファ１０３から変換部１０５へ字幕文字列情報を出力するタイミングを制御する。変換部１０５は字幕文字列情報に基づいてピクセルごとの図形情報に変換する。変換された図形情報は、画像メモリー１０６内に展開される。カラーパレットバッファ１０７は、カラーパレット情報を蓄える。タイミング制御部１０８は、カラーパレットバッファ１０７からカラーパレット１０９にカラーパレット情報を出力するタイミングを制御する。カラーパレット１０９は、画像メモリー１０５から出力されるピクセルごとの図形情報に色情報を付加し、副画像出力端子１１０に出力する。
【００２０】
上述の通り、副画像生成部４１３はシステム制御部４１４が実行するプログラムに置き換えてもよいが、その際、図形情報バッファ１０３、画像メモリー１０６及びカラーパレットバッファ１０７は、システム制御部４１４が使用するメモリー（図示せず）を利用すればよい。
【００２１】
副画像生成部４１３では、システム制御部４１４が生成した字幕文字列情報を主画像に重ねて表示できる図形情報に変換し、色情報が付加される。以下、その手順について説明する。
【００２２】
まず、字幕文字列情報について説明する。 図２は、図形情報バッファ１０３に入力される字幕文字列情報のデータの構造を示す。 表示時刻情報２０１は、３３ビットのビット長であり、９０ｋＨｚの分解能を持つ。表示位置情報２０２は、図形情報の画面上の表示開始座標を示す。また、表示サイズ情報２０３は、図形情報の縦横のサイズを示している。ピクセルデータ２０４は、各ピクセルの表示形態の集合体であり、１ピクセルあたり１バイト（８ビット）で表される。
【００２３】
例えば、各ピクセルの表示形態をピクセルデータ２０４として持つことにより、図７のように、透明色で示されるピクセル７０１、半透明の黒色のピクセル７０２、黒色のピクセル７０３といったピクセルの集合で主画像上に文字を表示することができる。
【００２４】
図７の例では、「Ｃ」の文字を黒色で小さく表示している。透明なピクセルの上に、「Ｃ」の文字が黒色で示されるとともに、文字の輪郭は半透明の黒色に変換される。文字の輪郭を半透明にすることにより、映像と重ね合わせた際に、文字が不自然になることを防ぐことができる。また、輪郭を白色にすることにより、文字を目立たせるなどの処理も可能である。
【００２５】
字幕文字列情報は、光ディスク４０１上に記録されている字幕情報ファイル５０７あるいはネットワーク４１７を介して取得した字幕情報ファイルに基づいてシステム制御部４１４が作成する。
【００２６】
次に、字幕情報ファイル５０７について説明する。 図６に字幕情報ファイル５０７の一例を示す。 字幕情報ファイル５０７には、コンテンツのタイトル６０１や言語名６０２、フォント名６０３などの基本情報と、実際に表示を行うための字幕文字列６０６が含まれている。また、各字幕文字列には、その文字列の表示を行う表示開始時刻６０４と表示を継続する表示期間６０５が記述されている。
【００２７】
なお、図６には図示していないが、各字幕文字列の表示を規定するための、表示位置、表示サイズ、表示色などの情報も字幕情報ファイル５０７に含めることも出来る。表示位置、表示サイズ、表示色などの情報が字幕情報ファイル５０７に含まれていない場合には、メモリー４１８内に予め記憶されている表示方法でシステム制御部１１４が表示位置、表示サイズ、表示色などを設定する。
【００２８】
また、必要に応じて、章や段落の切れ目が分かるような情報を字幕情報ファイル５０７に含めてもよい。これにより、再生時に早送り動作やスキップ動作を行った場合にも、容易に字幕情報ファイル５０７中の字幕データの位置を求めることが出来る。
【００２９】
字幕情報ファイル５０７中の字幕文字列６０６は、システム制御部１１４によって字幕文字列情報に変換される。この際、システム制御部１１４は、メモリー４１８に予め記憶されている各文字の形状を記憶したフォント情報を参照する。
【００３０】
本実施例では、フォント情報はシステム制御部４１４からアクセスされるメモリー４１８に予め記憶されているものとして説明するが、このような手順に限定されるものではなく、例えば、光ディスク４０１上にファイルとして記録しておき、これを再生してメモリー４１８上に記憶させておくことによって実現することとしてもよい。光ディスク４０１に記録されているフォント情報を利用することとすれば、各光ディスク毎にフォント形状を切り替えることが出来る。
【００３１】
また、フォント情報を、ネットワーク４１７を介してダウンロードし、メモリー４１８に記憶させておくこととしてもよい。こうすることにより、所望のフォント形状を選択することができる。
【００３２】
フォント情報取得方法にかかわらず、フォント情報をシステム制御部４１４が利用できる構成であれば、文字列情報から図形情報への変換が可能になる。
【００３３】
次に、字幕情報ファイル５０７について説明する。 図５は、光ディスク４０１に記録されているファイル構造を示す図である。ＤＶＲディレクトリ中のプレイリストの数やファイル名などの情報が書かれたｉｎｆｏ．ｄｖｒファイル５０１、メニュー表示を行うプログラムを記録したｍｅｎｕ．ｊａｖａ（登録商標）ファイル５０２、映像の再生位置や順序およびマーク位置などの情報が記録されたプレイリストファイル５０３、ストリームファイル上の再生開始点とそのパケット位置などの情報を記録したクリップ情報５０４、映像や音声などの情報パケットが記録されたストリームファイル５０５及び副画像情報のデコード処理を行うプログラムを記録したｓｕｂｔｉｔｌｅ．ｊａｖａファイル５０６とともに字幕情報ファイル５０７が光ディスク４０１に記録されている。なお、字幕情報ファイル５０７は、ネットワーク４１７を介してダウンロードして取得することとしてもよい。
【００３４】
次に、カラーパレットバッファ１０６に入力される色情報としてのカラーパレット情報について説明する。 図３は、カラーパレット情報の構造を示す図である。表示時刻情報３０１は、図形情報バッファ１０３に入力される表示時刻情報２０１と同等のものである。カラーパレット数３０２は、カラーパレット情報中に含まれるカラーパレットの数を示している。カラーパレット３０３には、２５６種類のカラーパレットのうち、変更するカラーパレットのみを指定する。これにより、使用しないカラーパレットや変更を行わないカラーパレットの情報を指定する必要がない。
【００３５】
ここで、カラーパレットは、前述の図形情報がピクセルごとに何色に対応するかの変換テーブルであり、システム制御部１１４が生成する。カラーパレットも、上述のフォント情報と同様に、予め再生装置が記憶しておいてもよいし、光ディスク４０１から取得してもよいし、ネットワーク４１７を介してダウンロードして取得してもよい。
【００３６】
なお、図形情報は、１ピクセルあたり１バイト（８ビット）が割り当てられており、２５６種類の値を取り得る。従って、カラーパレット情報には、最大２５６種類のカラーパレットを指定することができ、各カラーパレットにはＲＧＢ各８ビットの色情報と、透明度を示す８ビットのアルファ値を指定する。なお、１ピクセル当たり３２ビット割り当てれば、１６７７万色のいわゆるフルカラーとすることもできる。
【００３７】
次に、字幕情報ファイル５０７に基づいてシステム制御部４１４が字幕文字列情報を生成し、生成された字幕文字列情報を副画像生成部４１３で図形情報に変換する手順について説明する。
【００３８】
字幕情報ファイル５０７から図形情報を生成する際には、まず、システム制御部４１４が光ディスク４０１上から字幕情報ファイル５０７を読み出し、字幕情報ファイル５０７の解析を行う。
【００３９】
字幕情報ファイル５０７の解析では、字幕情報ファイル５０７内に記載されている情報、あるいはメモリー４１８に記憶されている表現方法にしたがい、フォントの選択やフォントサイズの指定、表示色の選択などを行い、図２に示した字幕文字列情報を生成する。
【００４０】
字幕文字列情報は、図６の文字列６０６ごとに生成される。図２の表示時刻２０１は、図６の開始時間６０４および表示期間６０５に従って生成される。図６の文字列６０６は、図２のピクセルデータに変換される。また、図２の表示座標２０２と表示位置２０３は、システム制御部４１４がメモリー４１８から取得した表示位置および表示サイズなどの情報から算出する。
【００４１】
以上のようにして生成された字幕文字列情報は図形情報バッファ１０３に蓄積される。そして、蓄積された字幕文字列情報に基づき変換部１０５でピクセルごとの図形情報に変換される、
なお、上記実施例では、図形情報は字幕情報ファイル５０７中の文字列６０６及びフォント６０３に基づいて生成しているが、例えば、図形情報自体を字幕情報ファイルとして光ディスク４０１に記録しておくこともできる。この場合、ランレングス圧縮などによりデータ量の削減を行うこともできる。また、グラフィックデータを生成するようなプログラムをファイルとして光ディスク４０１に記録しておき、システム制御部４１４でこのプログラムを実行することにより図形情報を生成してもよい。いずれの場合にも、図形情報として表示時刻、表示位置、表示サイズの情報とともに図形情報バッファ１０３に入力する。
【００４２】
一方、字幕文字列情報の入力に平行して、カラーパレットバッファ１０６には、図３のカラーパレット情報が入力される。基本的に、各字幕文字列情報に対応してカラーパレット情報が必要となるが、字幕の色の変更がない場合には、カラーパレット情報の更新は不要である。逆に、カラーパレット情報のみを変更することにより、表示されている字幕文字列に様々な効果を与えることも可能である。例えば、カラーパレット情報中の透明度（α値）を徐々に変化させることにより、文字のフェードイン・フェードアウトの処理が可能である。また、いわゆるカラオケの字幕のように、文字の色を徐々に変化させることも可能である。このような処理では、例えば、カラーパレット情報を０．１秒毎に変化させればよく、少しずつ変化させたカラーパレット情報を表示時刻情報を０．１秒ずつ変化させてカラーパレットバッファ１０６に入力すればよい。
【００４３】
また、一旦画像メモリー１０６に図形情報が展開されると、ずっとその図形情報が出力されつづけることになるので、字幕文字列の表示期間が終了した時点で、図形情報を削除する必要がある。本実施例では、字幕文字列の表示期間の終了がタイミング制御部１０４で分かるので、表示期間の終了に伴って、表示した文字列のピクセルデータと同じ位置で同じサイズの無色透明なデータを画像メモリー１０６に上書きすることとする。詳細については後述する。
【００４４】
ここで、光ディスク４０１に記録されているファイルについて説明する。 図５は、光ディスク４０１に記録されているファイルの構造を示す図である。
【００４５】
まず、ストリームファイル５０５について説明する。 映像情報は、画像情報圧縮技術の一つであるＭＰＥＧ２方式でデータ量が削減され、トランスポートストリーム形式に変換されて、ストリームファイル５０５として光ディスク４０１に記録される。ＭＰＥＧ２は、ＮＴＳＣ形式の画像やハイビジョンに代表される高画質のＨＤ画像に対しても優れたデータ量削減を行うことが出来、原画像に対して１／１０〜１／５０程度にデータ量を削減することが出来る。例えば、ＮＴＳＣ形式の画像では６Ｍｂｐｓ程度、ＨＤ画像でも２０Ｍｂｐｓ程度のデータ量で十分な画質を得ることが出来る。ＭＰＥＧ２による画像圧縮は、ＤＶＤをはじめとする画像蓄積や、ディジタル放送などにも広く用いられている。
【００４６】
ここでは、ＭＰＥＧ２形式を例にとって説明するが、もちろん他の画像圧縮方法を用いてデータを符号化しても差し支えない。
【００４７】
映像と同様に、音声情報に関しても、音声圧縮技術を用いてデータ量圧縮を行なう。音声圧縮技術には、ＭＰＥＧ１オーディオやＢＳデジタル放送で用いられるＡＡＣ形式など様々な圧縮技術がある。また、音声情報は映像情報に比べてデータ量が少ないため、圧縮を行わないリニアＰＣＭ形式でデータを記録することも可能である。
【００４８】
上記のように符号化された映像情報および音声情報は、伝送や蓄積が容易なように、トランスポートストリームとして多重化し、一つのストリームファイル５０５として記録する。具体的には、ストリームファイル５０５は１８８バイトのパケットの集合体である。各パケットにはパケット識別のためのＰＩＤ（パケットＩＤ）が付加されている。このＰＩＤにより、音声デコーダ４０８や映像デコーダ４１０は、再生時に容易に映像パケット、音声パケット等の分別を行うことが出来る。
【００４９】
さらに、各ＰＩＤの関係を表したＰＭＴ（Ｐｒｏｇｒａｍ Ｍａｐ Ｔａｂｌｅ）やＰＡＴ（Ｐｒｏｇｒａｍ Ａｌｌｏｃａｔｉｏｎ Ｔａｂｌｅ）、時刻情報を表すＰＣＲ（Ｐｒｏｇｒａｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ）などのパケットも多重化する。このようにして情報の多重化を行ったトランスポートストリームは、ストリームファイル５０５として光ディスク上に記録しておく。
【００５０】
なお、ストリームファイル５０５に、映像・音声のほか、字幕情報や図形情報、制御コマンドなどの各種情報パケットを多重化することとしてもよい。
【００５１】
次に、クリップ情報ファイル５０４について説明する。 前述のように、映像情報はＭＰＥＧ２形式の画像圧縮を行った上で記録をしている。ＭＰＥＧ２形式では、連続した画像の相関性を用いてデータ量削減を行っている。具体的には、連続した画像間で変化のない部分の情報は再送せずに、直前の画像のデータをそのまま使用するような処理を行っている。そのため、変化分のみが符号化された画像データでは、そのデータから全画素の情報を復号できないという欠点がある。したがって、早送りやスキップ操作などで再生を開始できる画像は、全画素が符号化された画像のみである。
【００５２】
一般的に、ＭＰＥＧ２形式での画像圧縮は、１５枚程度の画像を組にして圧縮を行うことが多い。この画像の組をＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）と呼ぶ。このＧＯＰの先頭から再生を行えば、即座に画像の再生を行うことが出来る。
【００５３】
クリップ情報ファイル５０４には、このＧＯＰ先端のパケット位置を、その画像の符号化時刻（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐの値に対応）とともに記録しておく。これにより、サーチやスキップで再生を開始する位置が容易に検索できる。
【００５４】
クリップ情報ファイル５０４は、トランスポートストリームファイルと一対一に対応している。例えば、０１０００．ｍ２ｔｓというトランスポートストリームファイルに対応して、０１０００．ｃｌｐｉというクリップ情報ファイルを記録しておけば、ファイル間の対応が容易に識別できる。
【００５５】
次に、プレイリストファイル５０３について説明する。 プレイリストファイル５０３は、トランスポートストリームファイルの再生順序を規定する情報が記録されたファイルである。プレイリストファイルには、再生を行うストリームファイルのファイル識別子、再生開始時刻、再生終了時刻などの情報の組がプレイアイテム情報として一組ないし複数組記録されている。再生時には、指定されたプレイリストファイル中のプレイアイテム情報にしたがい、ストリームファイルが順次再生される。
【００５６】
以下、光ディスク４０１を再生する際の動作を説明する。 再生開始時には、まず、メニュー表示プログラム５０２が読み出され実行が行われる。メニュー表示プログラム５０２は、光ディスク４０１に記録されているコンテンツの選択や各種設定を行うことが出来るようなメニューを表示するようにプログラムされている。ユーザーは、表示されたメニュー画面より、コンテンツの選択を行ない、再生を指示する。
【００５７】
ユーザーによって所定のコンテンツの再生が指示されると、システム制御部４１４の制御の下、指定されたコンテンツに対応した字幕情報ファイル５０７およびそれをデコード処理するプログラムのファイル５０６を予め読み出し、メモリー４１８に記憶する。
【００５８】
次いで、システム制御部４１４では、ダウンロードした字幕デコードプログラムの実行を行う。具体的には、システム制御部４１４が持つメモリー（図示せず）に記憶されているフォント情報を用いて、同時にダウンロードされている字幕文字ファイルに基づいて字幕文字列情報を生成する。字幕文字列情報の生成方法は、上述の通りである。生成された字幕文字列情報は、副情報表示部４１３内の図形情報バッファ１０３に入力される。
【００５９】
また、システム制御部４１４は、字幕文字列の表示開始時刻と表示期間から、字幕文字列の消去時刻を計算し、文字列を消去するためのピクセルデータと消去を行う時刻情報を持つ字幕文字列情報を生成し、副情報表示部４１３内の図形情報バッファ１０３に入力する。
【００６０】
さらには、グラフィックデータを表示するために必要なカラーパレット情報も生成し、副情報表示部のカラーパレットバッファ１０６に入力する。
【００６１】
なお、字幕デコードプログラムは、光ディスク４０１からダウンロードされ、システム制御部４１４で実行されるとして説明したが、これは限定されるものではない。例えば、予めシステム制御部４１４内のＲＯＭに字幕デコードプログラムを記憶しておき実行を行ってもよいし、ネットワーク４１７を介してダウンロードを行い、実行するように構成してもよい。
【００６２】
同様に、字幕文字列情報も、光ディスク４０１に記録されている字幕情報ファイル５０７に基づいて生成するのではなく、ネットワーク４１７を介してダウンロードした字幕情報に基づいて生成するように構成してもよい。また、字幕情報ファイル５０７が光ディスク４０１上に個別のファイルとして記録されている例を示したが、字幕情報を、映像ストリームや音声ストリームとともに多重化し、出力制御部４０４からの出力をシステム制御部４１４で取得するような構成にしてもよい。
【００６３】
字幕文字列情報、カラーパレット情報が副画像生成部４１３に入力された、指示されたコンテンツの再生を開始する。コンテンツの再生のために、指定されたコンテンツに対応したプレイリストファイル５０３がシステム制御部４１４の制御の下、光ディスク４０１上から読み出す。プレイリストファイル５０３中には、一つないし複数のプレイアイテム情報が記録されており、プレイアイテム情報に対応したストリームファイル５０５の読み出しが行われ、プレイアイテム情報に指定されたパケット番号のパケットから読み出しが行われる。具体的には、読み出しを行うパケットの記録されているセクターの情報を読み出すよう、システム制御部４１４がドライブ制御部４０６に指示を行う。ドライブ制御部４０６は、指示されたセクターの読み出しが行えるように、サーボ部４０５を制御し、ディスク回転速度および光ピックアップの位置を制御する。光ピックアップ４０２により、光ディスク４０１から信号が読み出されると、再生信号処理部４０３により、誤り訂正処理、データの並び替えなどの信号処理が行われ、セクターデータとして出力制御部４０４に入力される。出力制御部４０４は、システム制御部４１４により指定されたパケット番号のパケットから順番に、各パケットに付加されたタイムスタンプに応じた時刻にパケットを出力する。
【００６４】
出力制御部４０４から出力されたＭＰＥＧパケットは、ＰＣＲ検出部４０７、音声デコーダ４０８、映像デコーダ４１０に入力される。各パケットにはパケット種別を判別する１３ビットのＰＩＤ（Ｐａｃｋｅｔ ＩＤ）が含まれており、これによりＰＣＲパケット、音声データパケット、映像データパケットなどの種類が判別される。これにより、各デコーダは、所望のパケットのみをデコード（復調）することが出来る。
【００６５】
また、再生するストリームファイル５０５内のストリームデータには、ＰＣＲ（Ｐｒｏｇｒａｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ）と呼ばれる時刻情報が含まれており、この時刻情報に同期して映像および音声の出力が行われる。ＰＣＲ検出部４０７には、このＰＣＲパケットが入力され、ストリーム中の時刻情報が取得される。映像デコーダ４１０および音声デコーダ４０８には、このＰＣＲ値（時刻情報）が入力され、このＰＣＲ値を基準として映像および音声のデコード処理を行う。また、ＰＣＲ値は、副画像生成部４１３にも入力され、字幕の表示タイミングの制御にも使用される。
【００６６】
映像デコーダ４１０では、入力された映像ストリームをデコードする。映像ストリームには、毎秒３０枚のフレーム画像が含まれており、各画像には、画像の表示時刻を示すＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）の情報が含まれている。映像デコーダ内では、ＰＣＲ検出部から入力されたＰＣＲ時刻と、デコードしたフレーム画像のＰＴＳとが比較され、一致した時点で画像データが映像合成回路４１１に入力される。音声データも同様に音声デコーダ４０８によりデコードされ、デコードした音声フレームデータのＰＴＳが、ＰＣＲ時刻に一致した時点で、音声出力端子４０９に出力される。
【００６７】
映像デコーダ４１０による映像信号の出力に平行して、副画像生成部４１３から副画像情報の出力が行われる。
【００６８】
ここで、副画像生成部４１３におけるデータの表示について説明する。
【００６９】
副画像生成部４１３では、システム制御部４１４から入力された字幕文字列情報の表示時刻（ＰＴＳ）に変換部１０５で図形情報に変換し、出力されるように制御される。具体的には、入力されたピクセルデータの表示時刻２０１と、ＰＣＲ検出部４０７から入力されたＰＣＲ値とがタイミング制御部１０４にて比較され、一致した時点で、ピクセルデータ２０４が変換部１０５へ転送され、図形情報に変換して画像メモリー１０６へ出力される。このとき、図形情報の画像メモリー１０６上のアドレスは、字幕文字列情報の表示座標情報２０２およびサイズ情報２０３から計算される。同様に、カラーパレットバッファ１０６へ入力されたカラーパレット情報も表示時刻がＰＣＲ値と一致した時点でカラーパレット１０９へコピーされる。これにより、図形情報バッファ１０３およびカラーパレットバッファ１０６へ入力されたデータが、所定のタイミングで画像メモリー１０６およびカラーパレット１０９へ反映される。
【００７０】
画像メモリー１０６上のデータは、ピクセル毎に順次読み出され、カラーパレット１０９によりＲＢＧの各色の輝度およびアルファ値の示す透明度のデータに変換され、副画像の映像信号として出力端子１０９から出力される。
【００７１】
副画像生成部４１３の出力端子１０９から出力された副画像の映像信号と、前述の映像デコーダ４１０から出力される主画像の映像信号は、映像合成回路４１１に入力され、合成された映像信号として、再生装置の映像出力端子４１２から外部のディスプレイに出力され、表示される。
【００７２】
以上の処理により、字幕が、映像および音声と同期して出力される。
【００７３】
ここで、図形情報バッファ１０３およびカラーパレットバッファ１０６へのデータ入力自体は、それぞれの表示時刻とは無関係に行うことが出来る。例えば、字幕情報の生成処理をコンテンツの再生前に全て行っておき、図形情報バッファ１０３およびカラーパレットバッファ１０６へ入力しておくことも可能である。図形情報バッファおよびカラーパレットバッファには、それぞれタイミング制御部１０４および１０８が設けられており、バッファへ入力されたデータをＰＴＳおよびＰＣＲにしたがい、所定のタイミングで出力することが可能である。これにより、字幕情報の生成処理を、光ディスク４０１の再生と同期して行う必要はなくなるので、字幕の生成処理を実時間で行う必要はなくなる。一般に、字幕の表示処理で実時間処理が要求されるのは表示タイミングの調整であり、字幕の生成処理自体は実時間処理が要求されない。
【００７４】
なお、図１に示した副画像生成部４１３では、図形情報バッファ１０３とカラーパレットバッファ１０７を独立したメモリーとして構成し、それぞれのデータを別々のタイミング制御部１０４および１０８）により画像メモリー１０６とカラーパレット１０９へコピーしていたが、これは限定されるものではない。例えば、図８に示したように、バッファメモリー８０１を共用し、タイミング制御部８０２により変換部１０５にピクセルデータを振り分け、カラーパレット情報をカラーパレット１０９に振り分けてデータを転送するように構成してもよい。この場合、図９に示したようなデータ構造で字幕文字列情報を生成し、バッファメモリー８０１へこの字幕文字列情報を書き込めばよい。
【００７５】
以上説明したように、本実施例では、字幕の生成処理を実時間で行う必要がなくなるため、高速な処理を行うための専用ソフトウェアが不要となる。これにより、例えば、ｊａｖａに代表される汎用のソフトウェアで字幕でコード処理のプログラムを作成し、光ディスク４０１上に記録しておくことが出来る。したがって、システム制御部４１４内にｊａｖａ等の汎用プログラム実行環境さえ準備しておけば、光ディスク４０１上のコンテンツに応じて字幕生成処理のプログラムを変更することもでき、高度な字幕処理を行うことも可能となる。もちろん、字幕以外の表示を行うことも可能である。
【００７６】
また本実施例では、時刻情報入力端子から入力された時刻情報と、上記図形情報表示時刻とが一致した際に、字幕を出力するので、所定の時刻に字幕の表示を行うことが可能である。したがって、再生中のストリームの時刻とは独立して図形情報を予め生成することができるため、字幕の生成を実時間で行う必要がなく、システム制御部４１４の負担を軽減することが出来る。そのため、字幕生成の処理を低速のＣＰＵを使用した環境や、汎用のソフトウェア実行環境を用いて行うことが出来る。さらには、字幕処理の実行時間に制限が少ないので、字幕処理プログラムの開発が容易であり、かつ、字幕の表示に問題を来すことが少なくなる。
【符号の説明】
【００７７】
１０１ データ入力端子
１０２ 時刻情報入力端子
１０３ 図形情報バッファ
１０４、１０７ タイミング制御部
１０５ 変換部
１０６ 画像メモリー
１０７ カラーパレットバッファ
１０８ カラーパレット
１０９ 副画像出力端子
４０１ 光ディスク
４０２ 光ピックアップ
４０３ 再生信号処理回路
４０４ 出力制御部
４０５ サーボ部
４０６ ドライブ制御部
４０７ ＰＣＲ検出部
４０８ 音声デコーダ
４０９ 音声出力端子
４１０ 映像デコーダ
４１１ 映像合成回路
４１２ 映像出力端子
４１３ 副画像生成部
４１４ システム制御部
４１５ リモコン受信部
４１６ ネットワーク制御部
４１７ ネットワーク
４１８ メモリー
【特許請求の範囲】
【請求項１】
主画像の映像信号に副画像の映像信号を重畳して、該重畳した映像を表示手段に表示させる再生装置において、
前記主画像の映像信号の表示時間情報を取得する取得手段と、
前記副画像の映像信号と前記副画像の映像信号の表示時間情報とを生成して記憶する副画像生成手段と、を備え、
前記取得手段が取得した表示時間情報と前記副画像生成手段が記憶している表示時間情報とが一致した場合に、前記副画像生成手段が前記副画像の映像信号を出力して、該出力された副画像の映像信号を前記主画像の映像信号に重畳して前記表示手段に出力することを特徴とする再生装置。
【請求項２】
請求項１記載の再生装置において、
前記副画像の映像信号を、主画像のデータが記録されている記録媒体に記録されている副画像のデータに基づいて生成することを特徴とする再生装置。
【請求項３】
請求項１記載の再生装置において、
副画像のデータをネットワークを介して取得し、前記取得した副画像のデータに基づいて前記副画像の映像信号を生成することを特徴とする再生装置。
【請求項４】
請求項１記載の再生装置において、
前記副画像生成手段は、副画像のデータと前記副画像の映像信号の表示時間情報とを記憶する図形情報バッファと、前記副画像のデータを前記副画像の映像信号に変換する変換部と、前記変換した副画像の映像信号を記憶する画像メモリーと、を備え、
前記主画像の映像信号の表示時間情報と前記副画像の映像信号の表示時間情報とが一致した際に、前記図形情報バッファから前記変換部へ前記副画像のデータを転送し、前記変換部で生成した副画像の映像信号を前記画像メモリーへ転送することを特徴とする再生装置。
【請求項５】
請求項４記載の再生装置において、
前記副画像生成手段は、色情報と前記副画像の映像信号の表示時間情報とを記憶するメモリーと、
前記色情報を前記画像メモリーから出力される前記副画像の映像信号に反映させるカラーパレット手段と、を備え、
前記主画像の映像信号の表示時間情報と前記副画像の映像信号の表示時間情報とが一致した際に、前記画像メモリーから前記副画像の映像信号を前記カラーパレット手段に転送し、前記副画像の映像信号に前記色情報を反映させることを特徴とする再生装置。
【請求項１】
主画像の映像信号に副画像の映像信号を重畳して、該重畳した映像を表示手段に表示させる再生装置において、
前記主画像の映像信号の表示時間情報を取得する取得手段と、
前記副画像の映像信号と前記副画像の映像信号の表示時間情報とを生成して記憶する副画像生成手段と、を備え、
前記取得手段が取得した表示時間情報と前記副画像生成手段が記憶している表示時間情報とが一致した場合に、前記副画像生成手段が前記副画像の映像信号を出力して、該出力された副画像の映像信号を前記主画像の映像信号に重畳して前記表示手段に出力することを特徴とする再生装置。
【請求項２】
請求項１記載の再生装置において、
前記副画像の映像信号を、主画像のデータが記録されている記録媒体に記録されている副画像のデータに基づいて生成することを特徴とする再生装置。
【請求項３】
請求項１記載の再生装置において、
副画像のデータをネットワークを介して取得し、前記取得した副画像のデータに基づいて前記副画像の映像信号を生成することを特徴とする再生装置。
【請求項４】
請求項１記載の再生装置において、
前記副画像生成手段は、副画像のデータと前記副画像の映像信号の表示時間情報とを記憶する図形情報バッファと、前記副画像のデータを前記副画像の映像信号に変換する変換部と、前記変換した副画像の映像信号を記憶する画像メモリーと、を備え、
前記主画像の映像信号の表示時間情報と前記副画像の映像信号の表示時間情報とが一致した際に、前記図形情報バッファから前記変換部へ前記副画像のデータを転送し、前記変換部で生成した副画像の映像信号を前記画像メモリーへ転送することを特徴とする再生装置。
【請求項５】
請求項４記載の再生装置において、
前記副画像生成手段は、色情報と前記副画像の映像信号の表示時間情報とを記憶するメモリーと、
前記色情報を前記画像メモリーから出力される前記副画像の映像信号に反映させるカラーパレット手段と、を備え、
前記主画像の映像信号の表示時間情報と前記副画像の映像信号の表示時間情報とが一致した際に、前記画像メモリーから前記副画像の映像信号を前記カラーパレット手段に転送し、前記副画像の映像信号に前記色情報を反映させることを特徴とする再生装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−７５１１６（Ｐ２０１２−７５１１６Ａ）
【公開日】平成２４年４月１２日（２０１２．４．１２）
【国際特許分類】
【出願番号】特願２０１１−２２６３４６（Ｐ２０１１−２２６３４６）
【出願日】平成２３年１０月１４日（２０１１．１０．１４）
【分割の表示】特願２００９−２１１２４４（Ｐ２００９−２１１２４４）の分割
【原出願日】平成１６年３月１日（２００４．３．１）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
【公開日】平成２４年４月１２日（２０１２．４．１２）
【国際特許分類】
【出願日】平成２３年１０月１４日（２０１１．１０．１４）
【分割の表示】特願２００９−２１１２４４（Ｐ２００９−２１１２４４）の分割
【原出願日】平成１６年３月１日（２００４．３．１）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
[ Back to top ]