説明

再生装置

【課題】記録媒体にAVデータとアプリケーションが記録されている場合に、再生中のAVデータの映像等と連携するようにアプリケーションのグラフィックスを描画する再生装置を提供する。
【解決手段】
アプリケーション1400の実行環境であるプラットフォーム1410がアプリケーション1400を起動する際、API関数に相当するグラフィックス情報送信部1403によりグラフィックス情報を取得してグラフィックス情報記憶部1413に格納する。
グラフィックス情報制御部1414は、ストリームイベント受信部1416が取得したストリームイベントと、グラフィックス情報記憶部1413内のグラフィックス情報に基づいて描画すべきグラフィックス情報を選出し、ストリームイベントに係る映像の再生タイミングで、グラフィックス描画部1415に選出したグラフィックスを描画させる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、記録媒体に記録されているAV(Audio Video)データの再生装置に関し、特に、当該記録媒体にグラフィックスを描画するプログラムが格納されている場合に、再生中のAVデータの映像等と連携するようにグラフィックスの描画を制御する技術に関する。
【背景技術】
【0002】
従来、映像や音声等、複数のメディアを時間的に同期させるために、各メディアの時間を効率良く管理する技術が提案されている(特許文献1参照)。
この技術によれば、複数メディアを効率的に同期させることができる。
また、今後は複数メディアを同期させるだけでなく、BD−ROM等の記録媒体に動画や音声等のAVデータとJava(登録商標)アプリケーションを含むコンテンツを記録し、多種多様なサービスを提供することが想定されている。
【0003】
このようなサービスとしては、例えば、Java(登録商標)アプリケーションが、グラフィックスを描画するアプリケーションである場合、再生されるAVデータと連携させてグラフィックスを描画するものが考えられる。この場合、ユーザ操作に応じてグラフィックスを描画する等、きめ細かいサービスを提供できることが望ましい。
【特許文献1】特開2001-157175号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかしながら、従来の技術では、再生中の映像と連携させてアプリケーションのグラフィックスを描画したり、ユーザ操作に応じてグラフィックスを描画したりすることができない。
本発明は、記録媒体に映像等のAVデータとアプリケーションが記録されている場合において、再生中のAVデータの映像等と連携するようにアプリケーションのグラフィックスを描画する再生装置を提供することを目的とする。
【課題を解決するための手段】
【0005】
本発明の再生装置は、映像ストリームの再生に際して実行されるべきプログラムと共に記録媒体に記録されている映像ストリームを、再生する再生装置であって、前記映像ストリームは、映像の再生タイミングと関連する時間軸上の位置を特定するための制御情報を含み、前記プログラムは、複数の画像と各画像の描画されるべき時刻とを指定する所定コードを含み、前記再生装置は、記憶手段と、前記制御情報に応じて前記映像を逐次再生する再生手段と、前記所定コードを解釈実行し、前記所定コードについての解釈実行としては当該所定コードにより指定される各画像とその描画されるべき時刻とを前記記憶手段に格納することを行うプログラム実行手段と、前記再生手段による映像の再生タイミングと関連して前記制御情報に基づき特定される時間軸上の位置と、前記記憶手段に格納されている各画像についての描画されるべき時刻とに基づき、描画されるべき画像を選出する画像選出手段と、前記選出された画像を、当該映像の再生中に描画する描画手段と、プロセッサと、表示させるべき画面を構成する画像を格納するイメージメモリとを備え、前記プログラム実行手段は、前記プログラムを構成する所定のコードを前記プロセッサが実行し得る機械語命令に変換してから前記プロセッサに実行させることにより前記解釈実行を実現し、前記画像選出手段は、画像を選出するための機械語命令列を前記プロセッサに実行させることにより前記選出を行い、前記描画手段は、前記選出手段により選出された画像を前記記憶手段から前記イメージメモリに転送することにより前記描画を行うことを特徴とする。
【0006】
ここで、映像ストリームの再生とは、映像ストリームを構成する各映像を再生することを示しており、再生するとは、映像を表示するための制御を行うことであり、例えば、映像を示す映像データが圧縮動画である場合には、伸長した映像信号を表示装置へ出力することである。尚、表示装置は、再生装置外部に存在していても、内部に含まれていてもよい。
【0007】
また、描画とは、画像を表示するための制御を行うことを意味し、イメージメモリへ画像データを格納する、又は画像を表す信号を表示装置へ出力する等である。尚、映像再生中に画像を描画する場合、映像と画像は重ね合わせる等の合成がなされて表示される。
また、イメージメモリは、これに格納された画像の集合に基づいて、画面表示用の信号が出力される一種のメモリであり、この信号が表示装置に伝達され、当該画像の集合が表示される。
【0008】
また、再生タイミングと関連する時間軸とは、記録媒体における映像ストリームデータを再生する際において、その中の各映像の再生時刻を示す時間軸をいう。
【発明の効果】
【0009】
上述の構成により、本発明に係る再生装置は、プログラム実行手段が映像ストリームの再生中に描画すべき画像等の情報を含む所定コードを実行し、描画すべき画像等の情報を記憶手段に格納することにより、画像選出手段は、再生手段によって再生される各映像の再生タイミングに描画すべき画像を、記憶手段に格納された各画像から選択することができ、描画手段によりその再生タイミングで再生される映像と共に選択された画像を描画することができる。
【0010】
そのため、例えば、再生中の映像を背景として用いるゲームアプリケーションの場合、再生されている映像と連携してゲームアプリケーションのグラフィックスを表示することができる。
また、画像選出手段は、プログラム実行手段により、プログラムの所定コードから変換された、プロセッサが解釈実行可能なネイティブコードをプロセッサに実行させるのではなく、画像を選出するためのネイティブコードをプロセッサに実行させることにより画像選出をさせるため、本発明に係る再生装置は、画像選出を高速に行うことができる。
【0011】
また、前記所定コードは、各画像の描画されるべき時刻を、描画開始時刻と描画終了時刻とにより指定するものであり、前記画像選出手段は、再生中の映像に関連して前記制御情報に基づいて特定される時間軸上の位置を、描画開始時刻から描画終了時刻までの範囲内に含む画像を選出することとしてもよい。
この構成によれば、画像選出手段は、映像の再生タイミングを描画開始時刻と終了時刻の範囲に含む画像を選出することができるので、画像を選出する際の幅を持たせることができる。また、描画開始時刻と終了時刻の間、選出された画像を表示させることができる。
【発明を実施するための最良の形態】
【0012】
<実施形態1>
以下に、本発明に係る再生装置を、図面を参照しながら説明する。
図1は、本発明に係る再生装置で再生するBD−ROM(以下、「BD」と称する。)の構成を示しており、特にディスク媒体であるBD104と、BDに記録されているデータ101、102、103の構成を示す図である。
【0013】
BDディスク104に記録されるデータは、AVデータ103と、AVデータに関する管理情報およびAV再生シーケンス等のBD管理情報102と、BD再生プログラム101である。
尚、本実施の形態においては、映画等のAVコンテンツを再生するためのAVアプリケーションを主眼においてBDディスクを説明するが、BDディスクをCD−ROMやDVD−ROMのようにコンピュータ用途の記録媒体として利用することも当然ながら可能である。
【0014】
図2は、前述のBDディスクに記録されている論理データを示している。
BDディスク104は、他の光ディスク、例えばDVDやCD等と同様にその内周から外周に向けて螺旋状に記録領域を有し、内周のリード・インと外周のリード・アウトの間に、論理アドレス空間をもつ。また、リード・インの内側にはBCA(Burst Cutting Area)とよばれるドライブでしか読み出せない特殊な領域がある。この領域はアプリケーションから読み出せないため、例えば著作権保護技術等に利用される場合がある。
【0015】
この論理アドレス空間には、ファイルシステム情報(ボリューム)を先頭に映像データ等が記録されている。
ファイルシステムとはUDFやISO9660等であって、通常のPCと同様、論理データをディレクトリ、ファイル構造に従って読み出すことができる。
本実施の形態においては、BDディスク上のディレクトリ、ファイル構造は、ルートディレクトリ(ROOT)直下にBDVIDEOディレクトリが置かれている。このディレクトリは、BD−ROMで扱うAVコンテンツや管理情報等のデータ101、102、103が記録されているディレクトリである。
【0016】
尚、BDVIDEOディレクトリには、以下の7種類のファイルが記録されている。
<BD.INFO>(ファイル名固定)
BD管理情報102の1つであり、BDディスク全体に関する情報を記録したファイルである。BD再生装置は最初にこのファイルを読み出す。
<BD.PROG>(ファイル名固定)
BD再生プログラム101の1つであり、BDディスク全体に関わるプログラムを記録したファイルである。
【0017】
<XXX.PL>(XXXは可変、拡張子PLは固定)
BD管理情報102の1つであり、シナリオを記録するプレイリスト(Play List)情報を記録したファイルである。プレイリストごとに1つのファイルをもつ。
<XXX.PROG>(XXXは可変、拡張子PROGは固定)
BD再生プログラム101の1つであり、前述したプレイリストごとのプログラムを記録したファイルである。プレイリストとの対応はファイルボディ名(XXXが一致する)によって識別される。
【0018】
<YYY.VOB>(YYYは可変、拡張子VOBは固定)
AVデータ103の1つであり、MPEGストリームを記録したファイルである。MPEGストリームごとに1つのファイルをもつ。
<YYY.VOBI>(YYYは可変、拡張子VOBIは固定)
BD管理情報102の1つであり、前記VOBに関わる管理情報を記録したファイルである。VOBとの対応はファイルボディ名(YYYが一致する)によって識別される。
【0019】
<ZZZ.PNG>(ZZZは可変、拡張子PNGは固定)
AVデータ103の1つであり、例えば、字幕等のPNG(W3Cによって標準化された画像フォーマット)形式のデータ(以下、「PNGデータ」という。)を記録したファイルである。1つのPNGデータごとに1つのファイルをもつ。
次いで、前述したBDディスクを再生する再生装置の構成に関して図3および図4を参照しながら説明する。
【0020】
図3は、再生装置1000の機能構成を示すブロック図である。
BDディスク201上のデータは、光ピックアップ202を通して読み出され、読み出されたデータは、データの種類に応じて専用のメモリに格納される。
図2におけるBDディスク104上のデータ101〜103の格納先は以下の通りである。
【0021】
BD再生プログラム101(BD.PROGまたはXXX.PROGファイル)は、プログラム記録メモリ203に、BD管理情報102(BD.INFO、XXX.PLまたはYYY.VOBI)は管理情報記録メモリ204に、AVデータ103(YYY.VOBまたはZZZ.PNG)は、AV記録メモリ205にそれぞれ記録される。
<プログラム処理部>
プログラム処理部206は、管理情報処理部207からAVデータを再生するプレイリストの情報や、BD再生プログラムの実行等のイベント情報を受信し、BD再生プログラムを処理する。また、プログラム処理部206は、リモコンやジョイスティック等を介したイベント(以下、「ユーザイベント」という。)を受信して、それに対応するBD再生プログラムがある場合は実行する。
【0022】
さらに、プレゼンテーション処理部208がAVデータを再生している場合、そのAVデータに、後述のストリームイベントが存在すれば、そのストリームイベントをプレゼンテーション処理部208から受信する。
尚、上記BD再生プログラムとしては、AVデータの再生中に他のAVデータを再生させるようなアプリケーション、又はグラフィックスを描画させるようなアプリケーション等がある。
【0023】
本実施の形態のBD再生プログラムとしては、AVデータを再生すると同時に、グラフィックスを必要に応じて重ねて描画するようなアプリケーションを挙げるが、どちらか一方のみのアプリケーションも当然ながら可能である。また、汎用的なプログラムとしてJava(登録商標)アプリケーションを想定しているが、C言語やその他のプログラミング言語によるプログラムであっても同様である。
<管理情報処理部>
管理情報処理部207は、プログラム処理部206からの指示を受付け、対応するプレイリストおよびプレイリストに対応したVOBの管理情報を解析し、その解析結果によるAVデータを再生することをプレゼンテーション処理部208に指示する。また、管理情報処理部207は、プレゼンテーション処理部208から時刻情報を受信し、当該時刻情報に基づいて再生の停止をプレゼンテーション処理部208に指示する。また、管理情報処理部207は、プログラム処理部206へプログラムの実行を指示する。
<プレゼンテーション処理部>
プレゼンテーション処理部208は、映像、音声、PNGデータの各々に対応するデコーダを持ち、時刻情報と管理情報処理部207からの指示に基づいて、AVデータをデコードするとともに出力する。
【0024】
尚、時刻情報は、予め規定した時間軸に従ってAVデータの再生を行なわせるための制御情報である。
映像データは、デコードされた後にビデオプレーン210で描画され、PNGデータはイメージプレーン209で描画される。そして、合成処理部211によって合成されてTV等の表示デバイスへ出力される。
【0025】
さらに、プレゼンテーション処理部208は、AVデータを再生している場合に、そのAVデータにストリームイベントが存在すれば、そのストリームイベントをプログラム処理部206へ送信する。
図4は、前述した再生装置(図3)の機能構成をハードウェアで実現する場合の例を示している。
【0026】
AV記録メモリ205は、イメージメモリ308とトラックバッファ309に、プログラム処理部206は、プログラムプロセッサ302とUOPマネージャ303に、管理情報処理部207は、シナリオプロセッサ305とプレゼンテーションコントローラ306に、プレゼンテーション処理部208は、クロック307、デマルチプレクサ310、イメージプロセッサ311、ビデオプロセッサ312とサウンドプロセッサ313にそれぞれ対応している。
【0027】
以下、BDディスク201から読み出されたデータの処理について、図4を用いて概説する。
(AVデータ)
BDディスク201から読み出されたAVデータ103のうち、MPEGストリームデータはトラックバッファ309に、PNGデータはイメージメモリ308に記録される。
【0028】
デマルチプレクサ310が、クロック307の時刻にもとづいて、トラックバッファ309に記録されたMPEGストリームデータを抜き出し、映像データをビデオプロセッサ312に送出し、音声データをサウンドプロセッサ313に送出する。
ビデオプロセッサ312およびサウンドプロセッサ313は、それぞれMPEGシステム規格で規定されるとおりに、デコーダバッファとデコーダからそれぞれ構成されている。すなわち、デマルチプレクサ310から送り込まれる映像、音声それぞれのデータは、それぞれのデコーダバッファに一時的に記録され、クロック307にもとづいて個々のデコーダでデコード処理される。
【0029】
イメージメモリ308に記録されたPNGデータの処理について説明する。
PNGデータが字幕向けである場合は、プレゼンテーションコントローラ306によってデコードタイミングが指示される。クロック307からの時刻情報をシナリオプロセッサ305が一旦受けて、適切に字幕が表示されるように、字幕表示時刻(開始および終了)になればプレゼンテーションコントローラ306へ字幕の表示、あるいは、非表示を指示する。
【0030】
イメージプロセッサ311は、プレゼンテーションコントローラ306に指示されたPNGデータをイメージメモリ308から読み出し、デコードして、イメージプレーン314に描画する。
BD再生プログラムがメニュー画像等を描画するプログラムであり、メニュー画像等を示すPNGデータを描画する場合、プログラムプロセッサ302によってデコードタイミングがイメージプロセッサ311へ指示される。プログラムプロセッサ302がPNGデータのデコードをイメージプロセッサ311へ指示するタイミングは、プログラムプロセッサ302が処理しているBD再生プログラムに依存する。
【0031】
PNGデータおよび映像データは、図3で説明したようにそれぞれデコードされた後にイメージプレーン314、ビデオプレーン315に記録され、合成処理部316によって合成出力される。
(BD管理情報)
また、BDディスク201から読み出されたBD管理情報(シナリオ、AV管理情報)は、管理情報記録メモリ304に記録される。
【0032】
シナリオ情報(BD.INFOおよびXXX.PL)は、シナリオプロセッサ305に
よって読み出されて処理され、AV管理情報(YYY.VOBI)は、プレゼンテーションコントローラ306によって読み出されて処理される。
シナリオプロセッサ305は、プレイリストの情報を解析して、プレイリストによって参照されているMPEGストリームデータと、その再生位置をプレゼンテーションコントローラ306へ指示し、プレゼンテーションコントローラ306は、対応するMPEGストリームデータの管理情報(YYY.VOBI)を解析して、MPEGストリームデータを読み出すことをドライブコントローラ317へ指示する。
【0033】
ドライブコントローラ317は、プレゼンテーションコントローラ306の指示にもとづいて、光ピックアップを移動させて、対応するMPEGストリームデータを読み出す。
シナリオプロセッサ305は、クロック307の時刻を監視し、管理情報の設定にもとづいて、イベントをプログラムプロセッサ302に送出する。
(BD再生プログラム)
また、プログラム記録メモリ301に記録されたBD再生プログラム(BD.PROGまたはXXX.PROG)は、プログラムプロセッサ302によって実行処理される。プログラムプロセッサ302がBD再生プログラムを処理するのは、シナリオプロセッサ305からイベントが送信されてきた場合か、UOPマネージャ303からイベントが送信されてきた場合である。
【0034】
UOPマネージャ303は、ユーザのリモコン操作による要求が送信された場合に、当該要求を示すイベント情報を生成し、当該イベント情報をプログラムプロセッサ302へ送出する。
図5は、本実施の形態におけるMPEGストリームの構成図である。
MPEGストリームは、複数のトランスポートパケット(Transport Packet、以下、「TSパケット」と称す。)から構成される。1つのTSパケットのサイズは188バイトである。
【0035】
映像(Video)ストリーム、および、音声(Audio)ストリーム等は、複数のTSパケットによって分離して多重化されて伝送される。
また、映像ストリーム、および、音声ストリーム等は、複数のPESパケットによって構成されており、TSパケットによって伝送される情報としては、PESパケットからなるストリームの他に、セクション(Section)によって伝送されるPSI(Program Specific Information)、および、ストリームイベント(DSM−CC Stream Event)等がある。
【0036】
PSIは、例えば、あるAVデータを再生する場合に、映像ストリーム、および、音声ストリームから、どのPESパケットを対応させて復号すべきか等の情報を提供する。
ストリームイベントは、ある時刻にAVデータと連携して動作するアプリケーションへ情報を提供する。
図6は、ストリームイベント(DSM−CC Stream Event)を伝送するセクション(Section)の構成図である。
【0037】
ストリームイベントを伝送するセクションは、table_id、event_msg_group_id、および、ペイロード(Payload)等から構成される。
table_idは、データ格納領域であるペイロードに格納されるデータタイプを示している。ストリームイベントが格納される場合、table_idは0x3Dという値である。
【0038】
event_msg_group_idは、ペイロードに格納されるストリームイベント群を識別するための名称である。ストリームイベントは、ペイロードに格納されて伝送される。
さらに詳細な構成は、MPEGシステム(ISO/IEC13818−1)規格書、および、DSM−CC(ISO/IEC13818−6)規格書に記述されているので、ここでは省略する。
<処理概要>
図14は、本実施の形態におけるプログラム(BD再生プログラム)、及びプログラム処理部206の機能ブロック図である。
【0039】
同図において、アプリケーション1400はプログラムに、プラットフォーム1410が、そのプログラムの実行環境であるプログラム処理部206にそれぞれ対応する。
ここで、本実施の形態におけるアプリケーション1400は、Java(登録商標)アプリケーションであり、プラットフォーム1410は、プロセッサを含み、Java(登録商標)アプリケーションのプログラムを逐次解釈してプロセッサが実行可能なネイティブコードに変換し、プロセッサがネイティブコードを実行する仮想マシンを含むものである。
【0040】
アプリケーション1400は、再生されているAVデータの画像の一部又は全部の上にグラフィックスを重ねて描画するためのアプリケーションであり、描画時間や描画座標等の情報を含むグラフィックスに関する情報(以下、「グラフィックス情報」という。)に基づいて、グラフィックスを描画する。このようなアプリケーションとしては、例えば、AVデータの画像を背景に利用したシューティングゲーム等のようなアプリケーションが挙げられる。
【0041】
プラットフォーム1410は、グラフィックス情報とMPEGストリームにあらかじめ埋め込まれたストリームイベントが示す情報(以下、「ストリームイベント情報」という)とに基づき、描画するグラフィックスを示すグラフィックス情報を判定する。また、判定したグラフィックス情報に基づくグラフィックスを描画することをイメージプレーン209へ指示する。
【0042】
つまり、プラットフォーム1410の処理は、描画するグラフィックスを判定し、判定されたグラフィックスの描画を指示する旨のネイティブコードをプロセッサで実行することで実現する。
以下、アプリケーション1400及びプラットフォーム1410の機能構成について説明する。
(アプリケーション)
アプリケーション1400は、ユーザイベント受信部1401、ユーザイベント情報送信部1402、および、グラフィックス情報送信部1403から構成され、各部は、アプリケーション1400側の動作を示す。
【0043】
尚、上記の各部は、アプリケーションを構成するプログラムコードの記述部分のうち、プラットフォーム側が、アプリケーション側からの入力を受付けるためのインタフェース(以下、「API関数」という。)を備えている。
アプリケーション1400は、適宜API関数を呼び出すことによりユーザイベント情報やグラフィックス情報をプラットフォーム1410側へ出力することが可能となる。
【0044】
つまり、アプリケーションを構成するプログラムコードの記述部分のうち、ユーザイベント情報を送信するためのAPI関数を呼び出す命令を記述する部分を実行したものが、ユーザイベント情報送信部1402に相当し、グラフィックス情報を送信するためのAPI関数を呼び出す命令を記述する部分を実行したものがグラフィックス情報送信部1403に相当する。
【0045】
ユーザイベント受信部1401は、ユーザイベントをプログラム処理部206から受信し、イベントのタイプおよび座標等のユーザイベント情報を抽出する。
ユーザイベント情報送信部1402は、抽出したユーザイベント情報をプラットフォーム1410へ送信する。
グラフィックス情報送信部1403は、あらかじめ既定されたグラフィックス情報をプラットフォーム1410へ送信する。
【0046】
ここで、「グラフィックス情報を送信する」は、例えば、アプリケーション1400中のグラフィックス情報への参照を引数にしてAPI関数を呼び出すことである。
尚、実際は、そのAPI関数の呼出しもプラットフォーム1410が解釈することにより実現されるものとなる。
(プラットフォーム)
プラットフォーム1410は、ユーザイベント情報受信部1411、グラフィックス情報受信部1412、グラフィックス情報記憶部1413、グラフィックス情報制御部1414、グラフィックス描画部1415、および、ストリームイベント受信部1416から構成される。
【0047】
ユーザイベント情報受信部1411は、アプリケーション1400からユーザイベント情報を受信する。
グラフィックス情報受信部1412は、既定のグラフィックス情報をアプリケーション1400から受信する。
ここで、「グラフィックス情報をアプリケーション1400から受信する」は、具体的には、プラットフォーム1410が、アプリケーション1400中のグラフィックス情報への参照を引数にしたAPI関数を解釈し、グラフィックス情報記憶部1413にグラフィックス情報を格納させる旨のネイティブコードをプロセッサで実行することである。その結果、グラフィックス情報は、グラフィックス情報記憶部1413に記憶される。
【0048】
グラフィックス情報記憶部1413は、プラットフォーム1410における論理空間上のメモリであり、グラフィックス情報を記憶する。
グラフィックス情報制御部1414は、グラフィックス情報記憶部1413に記憶されているグラフィックス情報、および、ストリームイベント受信部1416から受付けたストリームイベント情報に基づき、描画すべきグラフィックス情報を判定する。
【0049】
グラフィックス描画部1415は、グラフィックス情報にもとづいて、グラフィックスの描画をイメージプレーン209へ指示する部分である。
ストリームイベント受信部1416は、AVデータに埋め込まれたストリームイベントをプレゼンテーション処理部208から受信し、ストリームイベント情報を抽出する。
<データ>
(グラフィックス情報)
図8は、本実施の形態に係るグラフィックス情報の例を示している。
【0050】
同図において、グラフィックス情報は、オブジェクトID、ファイル名、座標、および、描画時間から構成されている。
オブジェクトIDは、各グラフィックスオブジェクトを識別するための名称であって、そのアプリケーションにおいて一意である。
ファイル名は、そのグラフィックスオブジェクトに対応するPNGデータを格納するファイルを示している。
【0051】
座標は、描画すべきグラフィックスオブジェクトを判定する際の指標となる描画位置である。例えば、ユーザによって座標が指定された場合に、その指定された座標を中心にして定めた一定距離の範囲内に、グラフィックス情報の座標が含まれている場合には、その座標に対応付けられているグラフィックスオブジェクトを指定された座標に描画する。
描画時間は、そのグラフィックスオブジェクトの描画を開始すべき時刻、および、終了すべき時刻である。これらの時刻は、アプリケーションの実行と共に再生されるAVデータの再生時間軸上の位置として指定される。
(ストリームイベント情報)
図9は、本実施の形態におけるストリームイベント情報の例を示している。
【0052】
ストリームイベント情報は、時刻、オブジェクトID、座標、および、許容誤差から構成される。
時刻は、そのストリームイベントが埋め込まれていたAVデータの再生時間軸上の位置である。
オブジェクトIDは、対応するグラフィックスオブジェクトを識別するための名称である。
【0053】
座標は、対応するグラフィックスオブジェクトを描画すべき座標である。
許容誤差は、そのストリームイベントに対応して描画すべきグラフィックスを判定するに用いられるものであり、描画すべきグラフィックスの座標の範囲を示すものである。具体的には、描画すべき座標を中心にして許容誤差の値の範囲内にグラフィックス情報の座標が含まれている場合には、その座標に対応付けられているグラフィックスオブジェクトを描画すべきグラフィックスとして判定する。
【0054】
尚、同図のストリームイベント情報の例では、AVデータにおける時刻が“1分”の時に、グラフィックス情報(図8)においてオブジェクトID“000”が描画対象になっている場合には、オブジェクトID“000”のグラフィックスオブジェクトを座標“(225,125)”に描画することを示している。
<動作>
図15は、アプリケーション1400の起動時に、グラフィックス情報がプラットフォーム1410へ送信される場合のフローチャートを示す。
【0055】
以下、ユーザ操作により再生装置1000が起動され、プラットフォーム1410がアプリケーション1400を実行したものとして説明する。
アプリケーション1400のグラフィックス情報送信部1403が、グラフィックス情報をプラットフォーム1410へ送信する(S1510)。
プラットフォーム1410におけるグラフィックス情報受信部1412が、ステップS1510において送信されたグラフィックス情報を受信する(S1500)。
【0056】
ステップS1500において受信されたグラフィックス情報を、グラフィックス情報記憶部1413へ送出し(S1501)、グラフィックス情報記憶部1413に格納する(S1502)。
図16は、AVデータにあらかじめ埋め込まれたストリームイベント情報に応じて、グラフィックスの描画を制御するフローチャートを示す。
【0057】
具体的には、AVデータの再生時刻に応じてストリームイベント情報が発生することで、対応するグラフィックスオブジェクトを描画する。
尚、グラフィックス情報は、アプリケーションの起動時にプラットフォーム1410のグラフィックス情報記憶部1413に既に格納されており、再生するAVデータ中にはストリームイベントが含まれているものとする。
【0058】
以下、プログラム処理部206がストリームイベントをプレゼンテーション処理部208から受付けた場合のプラットフォーム1410における処理を、図16に基づいて説明する。
ストリームイベント受信部1416は、プレゼンテーション処理部208からストリームイベントを受信し(S1600)、受信したストリームイベントからストリームイベント情報を抽出し(S1601)、ストリームイベント情報をグラフィックス情報制御部1414に送出する(S1602)。
【0059】
グラフィックス情報制御部1414は、グラフィックス情報記憶部1413からグラフィックス情報を読み出す(S1603)。
次いで、グラフィックス情報制御部1414は、ステップS1603において読み出された全グラフィックス情報のうち、ステップS1601におい抽出されたストリームイベント情報に対応するグラフィックス情報を判定し(S1604)、該当するグラフィックス情報をグラフィックス描画部1415へ送出する(S1605)。
【0060】
グラフィックス描画部1415は、そのグラフィックス情報にもとづいて、イメージプレーン209へグラフィックスの描画を指示する(S1606)。
<判定処理(ストリームイベント)>
ここで、ストリームイベントが発生した場合におけるグラフィックス情報の判定処理について、図11を用いて説明する。
【0061】
ステップS1100において、グラフィックス情報制御部1414は、グラフィックス情報記憶部1413の全グラフィックス情報を走査して、判定処理を行なう。
グラフィックス情報制御部1414は、ストリームイベント情報受信部1416から受付けたストリームイベントより抽出したストリームイベント情報に含まれる時刻(以下、「イベント時刻」という。)が、グラフィックス情報における描画時間内にあるか判定する(S1101)。
【0062】
グラフィックス情報制御部1414が、描画時間内にイベント時刻が含まれると判断した場合(S1101:Y)、その描画時間の情報を有するグラフィックス情報に対応するグラフィックスオブジェクトのオブジェクトIDが、ストリームイベント情報に含まれるか判定する(S1102)。
ステップS1102において、グラフィックス情報制御部1414が、ストリームイベント情報に含まれると判定した場合(S1102:Y)、グラフィックス情報制御部1414は、当該グラフィックス情報を選出し、選出したグラフィックス情報の座標をストリームイベント情報の座標に置換える(S1103)。
【0063】
このグラフィックス情報は、グラフィックス描画部1415に送出され、グラフィックス描画部1415は、グラフィックス情報が示すグラフィックスをイメージプレーン209に描画する。また、合成処理部211によりイメージプレーン209のグラフィックスとビデオプレーン210の映像データとが重ね合わされて出力される。
以上のようにして、アプリケーションの起動時に、あらかじめ既定されたグラフィックス情報をプラットフォーム1410へ送信することにより、プラットフォーム1410がストリームイベント情報を逐次アプリケーション1400へ送信しなくとも、プラットフォーム1410が描画すべきグラフィックスオブジェクトを制御することが可能となり、プラットフォーム1410は、機械語命令セットを実行することによりグラフィックスオブジェクトの選択処理を行なうことができる。
【0064】
尚、例えば、アプリケーションがプラットフォームにグラフィックス情報を送信した際に、プラットフォームが、グラフィックス情報が示すBD中のPNGデータをAV記録メモリ205に読み込み、プレゼンテーション処理部208が、AV記録メモリ205に読み込まれたPNGデータのデコード処理を行なっておいてもよい。
また、上述の例では、イベント時刻を描画時間に含み、ストリームイベント情報とグラフィックス情報のオブジェクトIDが一致するグラフィックスを描画すべきグラフィックスとして選出したが、イベント時刻を描画時間に含み、ストリームイベント情報における座標の許容誤差範囲内に含まれる座標を有するグラフィックスを選出してもよいし、イベント時刻を描画時間に含むグラフィックス情報を選出してもよい。
(ユーザイベント)
また、ユーザイベントが発生した場合に、再生されるAVデータと連携してグラフィックスオブジェクトを描画する処理について説明する。
【0065】
図17は、アプリケーション1400がプログラム処理部206からユーザイベントを受信した場合に、グラフィックスの描画を制御する処理を示すフローチャートである。
具体的には、ユーザイベントにより指定された座標を中心として、システムで既定された許容範囲内の座標を有するグラフィックスオブジェクトを描画する。
ステップS1710において、プログラム処理部206がユーザイベントを受付け、アプリケーション1400のユーザイベント受信部1401に送出し、ユーザイベント受信部1401はユーザイベントを受信する。
【0066】
ユーザイベント受信部1401は、受信したユーザイベントに基づき、座標等のユーザイベント情報を抽出し(S1711)、ユーザイベント情報をユーザイベント情報送信部1402へ送出する(S1712)。
ユーザイベント情報送信部1402は、プラットフォーム1410へユーザイベント情報を送信する(S1713)。
【0067】
プラットフォーム1410のユーザイベント情報受信部1411は、ユーザイベント情報を受信し(S1700)、グラフィックス情報制御部1414に送出する(S1701)。
グラフィックス情報制御部1414は、グラフィックス情報記憶部1413に格納されたグラフィックス情報を読み出し(S1702)、グラフィックス情報とユーザイベント情報に基づいて、描画すべきグラフィックスのグラフィックス情報を判定する(S1703)。
【0068】
グラフィックス情報制御部1414は、ステップS1703によって判定されたグラフィックス情報をグラフィックス描画部1415に送出する(S1704)。
グラフィックス描画部1415は、受付けたグラフィックス情報に基づいて、グラフィックスを描画することをイメージプレーン209に指示する(S1704)。
<判定処理(ユーザイベント)>
ここで、ユーザイベントが発生した場合のグラフィックス情報の判定処理を、図13を参照しながら詳細に説明する。
【0069】
ステップS1300において、グラフィックス情報記憶部1413の全グラフィックス情報を判定対象として走査する。
グラフィックス情報制御部1414は、受付けたユーザイベント情報に係る座標(以下、「イベント座標」という。)を中心とし、システムで既定された許容誤差を半径とする円内に含まれる座標を有するグラフィックス情報があるか否か判定する(S1301)。
【0070】
ステップS1301において、グラフィックス情報制御部1414が、イベント座標の許容誤差範囲内の座標を有するグラフィックス情報があると判定した場合(ステップS1301:Y)、判定されたグラフィックス情報にイベント座標を付加する(S1302)。
<実施形態2>
上述した実施形態1では、描画すべきグラフィックスの判定処理をプラットフォーム側で行なっていたが、本実施形態は、上述した実施形態1と同様の再生装置1000(図3)を用い、アプリケーション側でグラフィックスの判定処理を行なう。
【0071】
尚、本実施の形態で想定するBD−ROMのデータ階層、BD−ROM上の論理空間の構成、BD−ROM再生装置の概要、BD−ROM再生装置の構成、MPEGストリームの構成、ストリームイベントを伝送するセクションの構成は、実施形態1と同様である。
図7は、本実施形態に係るアプリケーション700及びプラットフォーム710の機能構成を示している。
(アプリケーションの構成)
同図において、アプリケーション700は、ユーザイベント受信部701、グラフィックス情報記憶部702、グラフィックス情報制御部703、グラフィックス情報送信部704、及びストリームイベント情報受信部705から構成される。
【0072】
以下、実施形態1と異なる構成について説明する。
ストリームイベント情報受信部705は、プラットフォーム710からストリームイベント情報を受信する。
グラフィックス情報送信部704は、グラフィックス情報制御部705によって判定されたグラフィックス情報をプラットフォーム700へ送信する。
(プラットフォームの構成)
また、プラットフォーム710は、グラフィックス情報受信部711、ストリームイベント情報送信部712、グラフィックス描画部713、及びストリームイベント受信部714から構成される。
【0073】
ストリームイベント情報送信部712は、ストリームイベント情報をアプリケーション700へ送信する。
グラフィックス情報受信部711は、グラフィックス情報をアプリケーション700がグラフィックス情報を伝達するAPI関数の呼出しに対応して逐次受信する。
<動作>
図10は、AVデータにあらかじめ埋め込まれたストリームイベント情報に応じて、グラフィックスの描画を制御する処理を示すフローチャートである。
【0074】
同図において、ステップS1000、S1001の処理は、実施形態1と同様であるので、ステップS1002以下の処理について説明する。
ステップS1002において、ストリームイベント受信部714は、ストリームイベント情報をストリームイベント情報送信部712に送出する。
ストリームイベント情報送信部712は、ストリームイベント情報をアプリケーション700へ送信する(S1003)。
【0075】
アプリケーション700のストリームイベント情報受信部705は、ストリームイベント情報を受信し(S1010)、グラフィックス情報制御部703へ送出する(S1011)。
グラフィックス情報制御部703は、グラフィックス情報記憶部702に格納されているグラフィックス情報を読み出し(S1012)、グラフィックス情報とストリームイベント情報に基づいて、グラフィックス情報を判定する(S1013)。
【0076】
グラフィックス情報制御部703は、判定したグラフィックス情報をグラフィックス情報送信部712に送出し(S1014)、グラフィックス情報送信部712は、グラフィックス情報をプラットフォーム710に送信する(S1015)。
プラットフォーム710のグラフィックス情報受信部711は、プラットフォーム710からグラフィックス情報を受信し(S1004)、グラフィックス描画部713に送出する(S1005)。
【0077】
尚、グラフィックス情報の判定処理は、実施形態1と同様であるため説明を省略する。
また、本実施形態において、ユーザイベントが発生した場合の動作について、実施形態1と異なる部分を説明する。
図12は、本実施形態においてユーザイベントが発生した場合に、グラフィックスオブジェクトの描画を制御する処理を示すフローチャートである。
【0078】
同図のステップS1210〜S1211は、実施形態1と同様のため説明を省略する。
ステップS1212において、ユーザイベント受信部701は、ユーザイベント情報をアプリケーション700のグラフィックス情報制御部703に送出し、グラフィックス情報制御部703はユーザイベント情報を受付ける(S1213)。
グラフィックス情報制御部703は、グラフィックス情報とユーザイベント情報に基づいて、グラフィックス情報を判定し(S1214)、判定したグラフィックス情報をグラフィックス情報送信部704に送出する(S1215)。
【0079】
グラフィックス情報送信部704は、プラットフォーム710にグラフィックス情報を送信し(S1216)、プラットフォーム710のグラフィックス情報受信部711はグラフィックス情報を受信する(S1200)。
尚、グラフィックス情報の判定処理は、実施形態1と同様であるため説明を省略する。<実施形態3>
本実施形態は、上述した実施形態2において、ユーザが再生速度を切換えた場合におけるグラフィックスの描画を制御する。
【0080】
尚、本実施の形態で想定するBD−ROMのデータ階層、BD−ROM上の論理空間の構成、BD−ROMプレーヤの概要、BD−ROMプレーヤの構成、MPEGストリームの構成、ストリームイベントを伝送するセクションの構成は、実施形態1と同様である。
図18は、本実施形態におけるアプリケーション、及びプラットフォームの機能ブロック図である。
【0081】
アプリケーション1800は、AVデータを再生するモードが切り換わる際に発生するモード切換イベントを受信し、プラットフォーム1810へ送信する。
ここで、モードとは、例えば2倍速等、AVデータの再生速度を示すものであり、ユーザは再生速度を切り換える場合に、リモコン等の操作によりモードを切り換える。
また、モード切換イベントは、ユーザによるモードの切換操作の発生を示しており、ユーザ操作によるモード切換操作をプログラム処理部206が受付け、当該操作を示すモード切換イベントをアプリケーション1800に送出する。
【0082】
アプリケーション1800は、実施形態2のアプリケーションの構成に、モード切換イベント受信部1806、フィルタリング情報設定部1807、及びフィルタリング情報送信部1808を加えて構成される。
以下、上記構成について説明する。
モード切換イベント受信部1806は、AVデータを再生するモードが切り換わる際に発生するモード切換イベントを受信し、当該モード切換イベントに係る情報(以下、「モード切換イベント情報」という。)を抽出する。
【0083】
尚、モード切換イベント情報は、モード切換操作前後のモード情報等を含む。
フィルタリング情報設定部1807は、モード切換イベント情報に基づいて、ストリームイベントを抽出するためのフィルタリング情報を設定する。
ここで、フィルタリング情報とは、例えば、ユーザがモードを“1倍速”から“2倍速”に切り換えた場合、“2倍速”を示す情報をいう。
【0084】
フィルタリング情報送信部1808は、設定したフィルタリング情報をプラットフォームへ送信する。
また、プラットフォーム1810は、実施形態2のプラットフォームの構成に、フィルタリング情報受信部1815、及びフィルタリング情報記憶部1816を加えて構成される。
【0085】
フィルタリング情報受信部1815は、アプリケーション1800からフィルタリング情報を受信する。
フィルタリング情報記憶部1816は、受信されたフィルタリング情報を記憶する。
図19は、本実施形態に係るストリームイベント情報を示している。
ストリームイベント情報は、上述した実施形態のストリームイベント情報に、モード情報を加えたものである。
【0086】
尚、モード情報は、再生中のAVデータの再生モードを示しているが、複数の再生モードを含んでもよい。
<動作>
以下、本実施形態における動作について説明する。
図20は、ユーザ操作によりAVデータの再生モードが切換えられた場合に、アプリケーション1800からプラットフォーム1810にフィルタリング情報を送信する処理を示すフローチャートである。
【0087】
ユーザ操作によりモードが切換えられたとき、アプリケーション1800のモード切換イベント情報受信部1806は、プログラム処理部206からモード切換イベントを受信する(S2010)。
モード切換イベント情報受信部1806は、受信したモード切換イベントからモード切換イベント情報を抽出し(S2011)、モード切換イベント情報をフィルタリング情報設定部1807に送出する(S2012)。
【0088】
フィルタリング情報設定部1807は、モード切換イベント情報に基づき、フィルタリング情報を設定し(S2013)、フィルタリング情報送信部1808に送出する(S2014)。
フィルタリング情報送信部1808は、フィルタリング情報をプラットフォーム1810に送信する(S2015)。
【0089】
プラットフォーム1810のフィルタリング情報受信部1815は、フィルタリング情報を受信し(S2000)、フィルタリング情報記憶部1816にフィルタリング情報を送出する(S2001)。
フィルタリング情報記憶部1816は、フィルタリング情報を格納する(S2002)。
【0090】
尚、ストリームイベント受信部1814は、プレゼンテーション処理部208からストリームイベントを受付けた際、上述のステップS2002においてフィルタリング情報記憶部1816に格納されたフィルタリング情報を基に、ストリームイベント情報を抽出する。
以下、再生モード切換イベント、及びストリームイベントに応じて、グラフィックスオブジェクトの描画を制御する処理について説明する。
【0091】
図21は、本実施形態におけるグラフィックスオブジェクトの描画を制御する処理を示すフローチャートである。
尚、ユーザによるモード切換操作により、上述の図20に示す動作が行なわれ、プラットフォーム1810にフィルタリング情報が格納されているものとして、フローを説明することとする。
【0092】
ステップS2100において、プラットフォーム1810のストリーム受信部1814は、ストリームイベントをプレゼンテーション処理部208から受信する(S2100)。
ストリームイベント受信部1814は、ストリームイベント情報を抽出し(S2101)、フィルタリング情報記憶部1810からフィルタリング情報を読み出す(S2102)。
【0093】
続いて、ストリームイベント受信部1814は、フィルタリング情報に基づき、ストリームイベント情報を抽出し(S2103)、ストリームイベント情報送信部1812に抽出したストリームイベント情報を送出する(S2104)。
ストリームイベント情報送信部1812は、ストリームイベント情報をアプリケーション1800へ送信する(S2105)。
【0094】
アプリケーション1800のストリームイベント情報受信部1805は、ストリームイベント情報を受信する(S2110)。
ステップS2110以下の処理は、上述した実施形態2(図12)の処理と同様であるため、説明を省略する。
ここで、ストリームイベント情報の抽出処理について図22を用いて説明する。
【0095】
ステップS2200において、ストリームイベント受信部1814は、受信した全ストリームイベント情報を走査する。
ストリームイベント受信部1814は、フィルタリング情報記憶部1816からフィルタリング情報を読み出し、ストリームイベント情報に係るモード情報とフィルタリング情報と一致するか否か判定する(S2201)。
【0096】
ステップS2201において、ストリームイベント受信部1814が、一致すると判定した場合(ステップS2201:Y)、判定されたストリームイベント情報を抽出する(S2202)。
<実施形態4>
上述の実施形態3では、ストリームイベント情報にモード情報を含ませており、例えば、モードを2倍速に切換えるモード切換イベントが発生した場合、ストリームイベント受信部1814は、モード情報が“2倍速”のストリームイベント情報のみを抽出し、抽出したストリームイベント情報をアプリケーションに送信する。
【0097】
本実施形態では、ストリームイベント情報は実施形態1及び2と同様のものを用い、モード切換イベントが発生した場合に、ストリームイベント受信部1814は、モード切換イベントに応じて、適当な頻度でストリームイベントをアプリケーションに送信する。
具体的には、上述と同様、2倍速のモード切換イベントが発生した場合に、例えば、ストリームイベント情報を2回に1回の割合でアプリケーションに送信する。
【0098】
尚、本実施形態で想定するBD−ROMのデータ階層、BD−ROM上の論理空間の構成、BD−ROMプレーヤの概要、BD−ROMプレーヤの構成、MPEGストリームの構成、ストリームイベントを伝送するセクションの構成は、実施形態1と同様である。
また、アプリケーションの機能構成は、実施形態3と同様であるが、プラットフォームのストリームイベント受信部1814が、ストリームイベントカウンタを含んでいる点で、実施形態3におけるプラットフォームの機能構成と異なる。
【0099】
ここで、ストリームイベントカウンタは、時系列に沿ったストリームイベント情報をカウントし、カウントした数を保持する。
<動作>
以下、本実施形態に係るストリームイベント情報の抽出処理について説明する。
尚、AVデータの再生中にモード切換イベントが発生した場合に、プラットフォーム1810のフィルタリング情報記憶部1816にフィルタリング情報が記憶されているものとする。
【0100】
図23は、ストリームイベント情報の抽出処理を示すフローチャートである。
ステップS2300において、ストリームイベント受信部1814は、ストリームイベントカウンタを初期化する。
ストリームイベント受信部1814は、受信した全ストリームイベント情報を走査し(ステップS2301)、ストリームイベントカウンタが保持する値を参照して、フィルタリング情報に対応するストリームイベント情報であるか否かを判定する(S2302)。
【0101】
具体的には、例えば、フィルタリング情報が“2倍速”であるならば、ストリームイベントカウンタが2の倍数か判定する。
尚、アプリケーションが、フィルタリング情報として整数を直接設定してもよい。
ステップS2302において、ストリームイベント受信部1814が、フィルタリング情報に対応するストリームイベント情報であると判定した場合(ステップS2302:Y)、ストリームイベント受信部1814は、当該ストリームイベント情報を抽出する(S2304)。
【0102】
また、ステップS2302において、ストリームイベント受信部1814が、フィルタリング情報に対応するストリームイベント情報でないと判定した場合(ステップS2302:N)、ストリームイベントカウンタを更新する(S2303)。
<補足>
以上、本発明に係る再生装置について実施形態1〜4に基づいて説明したが、以下のように変形することもでき、本発明は上述の実施形態で示した再生装置に限られないことは勿論である。
【0103】
(1)上述した実施形態1におけるプログラムは、1つのAVストリームと連携して動作するものとして説明したが、BD中に複数種類のAVストリームが格納され、前記プログラムがこれらのAVストリームと連携して動作する場合についても適用することができる。
例えば、全AVデータを再生する前にプログラムが実行され、再生メニュー表示等がなされている場合、ユーザにより再生するAVデータが選択された際、プラットフォーム1410は、選択されたAVデータに対応するグラフィックス情報を受信する。このように、各AVデータの再生指示がなされたときに、各AVデータに対応するグラフィックス情報をプラットフォームが受信することにより、AVストリーム毎にプログラムを用意することなく、再生されるAVストリームと連携するグラフィックスを描画することができる。
【0104】
(2)また、上述した実施形態では、アプリケーションの起動時に全グラフィックス情報をプラットフォーム側、又はアプリケーション側のグラフィックス情報制御部が受信しているが、AVストリームを再生中、例えば10分毎にグラフィックス情報を受信することとしてもよい。この場合、全グラフィックス情報を受信してグラフィックス情報記憶部に格納する場合と比べ、一度に受信するグラフィックス情報量が少ないため、グラフィックス情報記憶部の容量を少なくすることができる。
【0105】
(3)また、上述の実施形態では、プラットフォーム上で単一のアプリケーションが動作している場合について説明したが、複数のアプリケーションが動作している場合についても適用できる。
プラットフォーム上で、例えば、2つのゲームのアプリケーションが動作する場合に、アプリケーションの起動時に、プラットフォームは、両アプリケーションからグラフィックス情報を受信する。
【0106】
ストリームイベントが発生した場合、グラフィックス情報制御部1414は、各々のゲームに対応するグラフィックス情報を選択し、グラフィックス描画部1415に各ゲームに対応するグラフィックスを描画させる。
(4)上述の実施形態では、アプリケーションにおいて予め既定されたグラフィックス情報に基づき、プラットフォームがグラフィックスオブジェクトを描画させていたが、例えば、再生中のAVデータと同じBDに記録されている他のAVデータに切換えてもよい。
【0107】
(5)また、上述した実施形態3及び4では、ユーザは再生モードを切換える際、既定されているモードのいずれかに切換えることとして説明したが、例えば、ユーザがジョイスティック等を用いて再生速度を指定した場合、その再生速度に相当する既定モードに切換えられたものとしてフィルタリング情報を設定してもよい。
(6)また、グラフィックス描画部がイメージプレーンへ指示したグラフィックスの描画が完了しないのに、新たなグラフィックスの描画をイメージプレーンへ指示しなければならない等、イメージプレーンへのグラフィックスの描画が間に合わない場合は、プラットフォームが描画すべきグラフィックスを適宜間引いてもよい。
【0108】
(7)また、上述した実施形態3及び4では、アプリケーション側がフィルタリング情報を設定しているが、プラットフォーム側がモード切換イベント情報に基づいてフィルタリング情報を設定するとしてもよい。
この場合、アプリケーションからプラットフォームへモード切換イベント情報を送信し、プラットフォームはモード切換イベント情報を受信し、モード切換イベント情報に基づいて描画すべきグラフィック情報を判定する。
【0109】
(8)上述した実施形態4では、ストリームイベントカウンタが保持する値がフィルタリング情報と対応している場合に、そのストリームイベント情報を抽出しているが、ストリームイベント情報にストリームイベントカウンタと同様の情報(以下、「カウンタ情報」という。)を含ませてもよい。
この場合、例えば、フィルタリング情報が“2倍速”のとき、ストリームイベント情報のカウンタ情報の下位1ビットが“0”であるようなストリームイベント情報のみを抽出し、フィルタリング情報が“4倍速”のときは、カウンタ情報の下位2ビットが“00”であるようなストリームイベント情報のみを抽出し、アプリケーションへ送信する。
【0110】
また、カウンタ情報のあるビットの値が、所定値であるストリームイベント情報のみを抽出する等、より緻密なフィルタリング情報をアプリケーションが設定するとしてもよい。
(9)また、上述の実施形態では、再生中のAVデータに予め埋め込まれたストリームイベントに応じてグラフィックスを描画することとして説明したが、AVデータの各映像の再生タイミングを示す時刻情報に基づいて、グラフィックスを描画することとしてもよい。
【産業上の利用可能性】
【0111】
本発明に係る再生装置は、再生中のAVデータストリームと連携して動作するプログラムを実行し、AVデータストリームと連携するようにグラフィックスを描画することができる。そのため、映画産業、及びそれを処理する機器の製造に携わる民生機器産業において利用される。例えば、BD−ROMディスク、及びBD−ROMプレーヤ等として利用可能である。
【図面の簡単な説明】
【0112】
【図1】本発明の実施形態に係るBD−ROMのデータ階層図である。
【図2】本発明の実施形態に係るBD−ROM上の論理空間の構成図である。
【図3】本発明に係る再生装置の機能構成図である。
【図4】本発明に係る再生装置のハードウェア構成図である。
【図5】本発明の実施形態に係るMPEGストリームの構成図である。
【図6】本発明の実施形態に係るストリームイベントを伝送するセクションの構成図である。
【図7】本発明の実施形態2に係るアプリケーション及びプラットフォームの機能構成図である。
【図8】本発明に係るグラフィックス情報の一例を示した図である。
【図9】本発明に係るストリームイベント情報の一例を示した図である。
【図10】実施形態2においてストリームイベントが発生した場合におけるグラフィックス描画を制御する処理を示すフローチャートである。
【図11】ストリームイベント情報に基づくグラフィックス情報判定処理を示すフローチャートである。
【図12】実施形態2においてユーザイベントが発生した場合におけるグラフィックス描画を制御する処理を示すフローチャートである。
【図13】ユーザイベント情報に基づくグラフィックス情報判定処理を示すフローチャートである。
【図14】実施形態1に係るアプリケーション及びプラットフォームの機能構成図である。
【図15】実施形態1に係るアプリケーションとプラットフォーム間におけるグラフィックス情報の送受信処理を示すフローチャートである。
【図16】実施形態1においてストリームイベントが発生した場合におけるグラフィックス描画を制御する処理を示すフローチャートである。
【図17】実施形態1においてユーザイベントが発生した場合におけるグラフィックス描画を制御する処理を示すフローチャートである。
【図18】実施形態3及び4に係るアプリケーション及びプラットフォームの機能構成図である。
【図19】実施形態3に係るストリームイベント情報の一例を示した図である。
【図20】実施形態3及び4においてモード切換イベントが発生した場合におけるフィルタリング情報設定処理を示すフローチャートである。
【図21】実施形態3及び4においてストリームイベントが発生した場合におけるグラフィックス描画を制御する処理を示すフローチャートである。
【図22】実施形態3においてストリームイベント情報を抽出する処理を示すフローチャートである。
【図23】実施形態4においてストリームイベント情報を抽出する処理を示すフローチャートである。
【符号の説明】
【0113】
101 BD再生プログラム
102 BD管理情報
103 AVデータ
104 BDディスク
201 BDディスク
202 光ピックアップ
203 プログラム記録メモリ
204 管理情報記録メモリ
205 AV記録メモリ
206 プログラム処理部
207 管理情報処理部
208 プレゼンテーション処理部
209 イメージプレーン
210 ビデオプレーン
211 合成処理部
301 プログラム記録メモリ
302 プログラムプロセッサ
303 UOPマネージャ
304 管理情報記録メモリ
305 シナリオプロセッサ
306 プレゼンテーションコントローラ
307 クロック
308 イメージメモリ
309 トラックバッファ
310 デマルチプレクサ
311 イメージプロセッサ
312 ビデオプロセッサ
313 サウンドプロセッサ
314 イメージプレーン
315 ビデオプレーン
316 合成処理部
317 ドライブコントローラ
700 アプリケーション
701 ユーザイベント受信部
702 グラフィックス情報記憶部
703 グラフィックス情報制御部
704 グラフィックス情報送信部
705 ストリームイベント情報受信部
710 プラットフォーム
711 グラフィックス情報受信部
712 ストリームイベント情報送信部
713 グラフィックス描画部
714 ストリームイベント受信部
1400 アプリケーション
1401 ユーザイベント受信部
1402 ユーザイベント情報送信部
1403 グラフィックス情報送信部
1410 プラットフォーム
1411 ユーザイベント情報受信部
1412 グラフィックス情報受信部
1413 グラフィックス情報記憶部
1414 グラフィックス情報制御部
1415 グラフィックス描画部
1416 ストリームイベント受信部
1800 アプリケーション
1801 ユーザイベント受信部
1802 グラフィックス情報記憶部
1803 グラフィックス情報制御部
1804 グラフィックス情報送信部
1805 ストリームイベント情報受信部
1806 モード切換イベント受信部
1807 フィルタリング情報設定部
1808 フィルタリング情報送信部
1810 プラットフォーム
1811 グラフィックス情報受信部
1812 ストリームイベント情報送信部
1813 グラフィックス描画部
1814 ストリームイベント受信部
1815 フィルタリング情報受信部
1816 フィルタリング情報記憶部

【特許請求の範囲】
【請求項1】
映像ストリームの再生に際して実行されるべきプログラムと共に記録媒体に記録されている映像ストリームを、再生する再生装置であって、
前記映像ストリームは、映像の再生タイミングと関連する時間軸上の位置を特定するための制御情報を含み、
前記プログラムは、複数の画像と各画像の描画されるべき時刻を、前記映像の再生タイミングと関連する時間軸上の描画開始時刻と描画終了時刻とにより指定する所定コードを含み、
前記再生装置は、
記憶手段と、
前記制御情報に応じて前記映像を逐次再生する再生手段と、
前記所定コードを解釈実行し、前記所定コードについての解釈実行としては当該所定コードにより指定される各画像とその描画されるべき時刻とを前記記憶手段に格納することを行うプログラム実行手段と、
前記再生手段による再生中の映像の再生タイミングに関連して前記制御情報に基づき特定される時間軸上の位置を前記描画開始時刻から前記描画終了時刻までの範囲内に含む描画時間データに対応する画像データで示される画像を選出する画像選出手段と、
前記選出された画像を、当該映像の再生中に描画する描画手段とを備える
ことを特徴とする再生装置。
【請求項2】
映像ストリームの再生に際して実行されるべきプログラムと共に記録媒体に記録されている映像ストリームを、再生する再生装置に用いる再生方法であって、
前記映像ストリームは、映像の再生タイミングと関連する時間軸上の位置を特定するための制御情報を含み、
前記プログラムは、複数の画像と各画像の描画されるべき時刻を、前記映像の再生タイミングと関連する時間軸上の描画開始時刻と描画終了時刻とにより指定する所定コードを含み、
前記再生装置は記憶手段を具備し、前記再生方法は、
前記制御情報に応じて前記映像を逐次再生する再生ステップと、
前記所定コードを解釈実行し、前記所定コードについての解釈実行としては当該所定コードにより指定される各画像とその描画されるべき時刻とを前記再生装置が備える記憶手段に格納することを行うプログラム実行ステップと、
前記再生ステップによる再生中の映像の再生タイミングに関連して前記制御情報に基づき特定される時間軸上の位置を前記描画開始時刻から前記描画終了時刻までの範囲内に含む描画時間データに対応する画像データで示される画像を選出する画像選出ステップと、
前記選出された画像を、当該映像の再生中に描画する描画ステップとを備える
ことを特徴とする再生方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate


【公開番号】特開2008−252920(P2008−252920A)
【公開日】平成20年10月16日(2008.10.16)
【国際特許分類】
【出願番号】特願2008−122518(P2008−122518)
【出願日】平成20年5月8日(2008.5.8)
【分割の表示】特願2007−220069(P2007−220069)の分割
【原出願日】平成17年5月10日(2005.5.10)
【出願人】(000005821)松下電器産業株式会社 (73,050)
【Fターム(参考)】