再生装置、再生方法、及びプログラム
【課題】分離処理の処理時間と、動画データの時間に基づくアプリケーション処理の処理時間との間のずれを吸収すること。
【解決手段】再生装置１００は、動画データとアプリケーションデータとが多重化されたデータを分離する分離処理部１０と、動画データをデコードする再生処理部１２と、アプリケーションデータを処理するアプリケーション処理部１８と、デコードされた動画データと、処理されたアプリケーションデータとを合成して、出力画像を生成する出力合成部２０とを具備する。分離処理部１０は、アプリケーション処理部１８にアプリケーションデータが必要か否かの問い合わせを行う。アプリケーションデータが必要である旨の通知を受けると、アプリケーションデータはアプリケーション処理部１８に記憶される。アプリケーションデータが必要か否か判定できない旨の通知を受けると、アプリケーションデータは中間バッファ１４に一時的に記憶される。
【解決手段】再生装置１００は、動画データとアプリケーションデータとが多重化されたデータを分離する分離処理部１０と、動画データをデコードする再生処理部１２と、アプリケーションデータを処理するアプリケーション処理部１８と、デコードされた動画データと、処理されたアプリケーションデータとを合成して、出力画像を生成する出力合成部２０とを具備する。分離処理部１０は、アプリケーション処理部１８にアプリケーションデータが必要か否かの問い合わせを行う。アプリケーションデータが必要である旨の通知を受けると、アプリケーションデータはアプリケーション処理部１８に記憶される。アプリケーションデータが必要か否か判定できない旨の通知を受けると、アプリケーションデータは中間バッファ１４に一時的に記憶される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一般に、再生装置、再生方法、及びプログラムに関し、特に、多重化されたデータを処理する再生装置、再生方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、ユーザに対してインタラクティブな機能を提供すべく、動画データに加えて、アプリケーションデータ（プログラム等）も処理する機能を備える再生装置が開発されつつある。このような再生装置では、動画データの処理とアプリケーションデータの処理とを同期させることが行われる。例えば、ＡＶデータ等の再生に同期させて実行するプログラムを効率よく実行する技術が提案されている（例えば、特許文献１参照）。
【特許文献１】特開２００６−１０９３１７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上述したように、動画データが、アプリケーションデータとは別個に再生装置に供給される場合には、動画データの処理と、アプリケーションデータの処理とを同期させることが行われる。しかし、動画データとアプリケーションデータとが多重化されたデータを扱う場合には、当該データを分離する処理が必要となる。このような場合、分離処理の処理時間と、動画データの処理時間に基づいて動作するアプリケーション処理の処理時間との間にずれが生じることがある。特許文献１には、ＡＶデータとプログラムとの同期の手法が記載されているものの、上記のように動画データとアプリケーションデータとが多重化されたデータを扱うわけではない。
【０００４】
そこで、本発明は、動画データとアプリケーションデータとが多重化されたデータを扱う場合に、分離処理の処理時間と、動画データの時間に基づくアプリケーション処理の処理時間との間のずれを吸収することができる再生装置、再生方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明の一つの面によれば、圧縮符号化された動画データと、前記動画データの再生に同期して処理されるべきアプリケーションデータとが多重化されたデータを、前記動画データと、前記アプリケーションデータとに分離する分離処理部と、前記分離処理部によって分離された前記アプリケーションデータを記憶するアプリケーションデータ記憶部と、前記分離処理部によって分離された前記動画データをデコードする再生処理部と、前記アプリケーションデータ記憶部に記憶された前記アプリケーションデータを処理するアプリケーション処理部と、前記再生処理部によってデコードされた前記動画データと、前記アプリケーション処理部によって処理された前記アプリケーションデータとを合成して、出力画像を生成する出力合成部とを具備し、前記分離処理部は、前記アプリケーション処理部に前記アプリケーションデータが必要か否かの問い合わせを行い、前記アプリケーション処理部から前記アプリケーションデータは必要であるという通知を受けた場合、前記アプリケーションデータを前記アプリケーションデータ記憶部に記憶し、前記アプリケーション処理部から前記アプリケーションデータは必要か否か判定できないという通知を受けた場合、前記アプリケーションデータを中間バッファに一時的に記憶し、前記アプリケーション処理部から前記アプリケーションデータは必要か否か判定できないという通知を受けた後に、前記アプリケーションデータは必要であるという通知を受けた場合、前記中間バッファに一時的に記憶された前記アプリケーションデータを前記アプリケーションデータ記憶部に記憶する再生装置が提供される。
【０００６】
また、本発明の別の面によれば、圧縮符号化された動画データと、前記動画データの再生に同期して処理されるべきアプリケーションデータとが多重化されたデータを、前記動画データと、前記アプリケーションデータとに分離するステップと、前記分離された前記動画データをデコードするステップと、前記アプリケーションデータが必要か否かを判定するステップと、前記アプリケーションデータが必要であると判定された場合、前記アプリケーションデータを処理するステップと、前記アプリケーションデータが必要か否か判定できない場合、前記アプリケーションデータを中間バッファに一時的に記憶するステップと、前記中間バッファに一時的に記憶されたアプリケーションデータが必要であるか否かを判定するステップと、前記中間バッファに一時的に記憶されたアプリケーションデータが必要であると判定された場合、前記一時的に記憶されたアプリケーションデータを処理するステップと、前記デコードされた動画データと、前記処理されたアプリケーションデータとを合成して、出力画像を生成するステップとを具備する再生方法が提供される。
【０００７】
さらに、本発明のまた別の面によれば、コンピュータに、圧縮符号化された動画データと、前記動画データの再生に同期して処理されるべきアプリケーションデータとが多重化されたデータを、前記動画データと、前記アプリケーションデータとに分離する機能と、前記分離された動画データをデコードする機能と、前記アプリケーションデータが必要か否かを判定する機能と、前記アプリケーションデータが必要であると判定された場合、前記アプリケーションデータを処理する機能と、前記分離されたアプリケーションデータが必要か否か判定できない場合、前記アプリケーションデータを中間バッファに一時的に記憶する機能と、前記中間バッファに一時的に記憶されたアプリケーションデータが必要であるか否かを判定する機能と、前記中間バッファに一時的に記憶されたアプリケーションデータが必要であると判定された場合、前記一時的に記憶されたアプリケーションデータを処理する機能と、前記デコードされた動画データと、前記処理されたアプリケーションデータとを合成して、出力画像を生成する機能とを実現させるプログラムが提供される。
【発明の効果】
【０００８】
本発明によれば、動画データとアプリケーションデータとが多重化されたデータを扱う場合に、分離処理の処理時間と、動画データの時間に基づくアプリケーション処理の処理時間との間のずれを吸収することができる再生装置、再生方法、及びプログラムを提供することができる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の実施形態について図面を参照しながら説明する。
【００１０】
まず、図１を参照しながら、本発明の一実施形態による再生装置１００について説明する。図１は、本発明の一実施形態による再生装置１００の構成を示すブロック図である。なお、再生装置１００は、ＨＤ ＤＶＤプレーヤ、パーソナルコンピュータ等といった、動画データとアプリケーションデータとが多重化されたデータを処理することができる装置である。
【００１１】
再生装置１００は、分離処理部１０、ＡＶ再生部（再生処理部）１２、中間バッファ１４、アプリケーションデータ記憶部１６、アプリケーション処理部１８、及び出力合成部２０を備える。
【００１２】
分離処理部１０には、データ２２が入力される。データ２２は、動画データ（ビデオデータ）、音声データ（オーディオデータ）、及び複数種類のアプリケーションそれぞれに対応するデータ（アプリケーションデータ）が多重化されたデータである。データ２２は、光ディスク（ＤＶＤ、ＨＤ ＤＶＤ等）といった記憶媒体２４に格納される。データ２２は、記憶媒体２４から光ディスクドライブ（図示せず）を介して、タイミング記述２８と共に分離処理部１０に供給され得る。また、データ２２は、インターネットといったネットワーク２６からネットワークコントローラ（図示せず）を介して、タイミング記述２８と共に分離処理部１０に供給されてもよい。
【００１３】
なお、本明細書において、アプリケーションとは、動画データの再生と同期してユーザにインタラクティブな機能を提供する機能であり、例えばスクリプトファイル、マークアップファイル、画像データ、テキストデータ、音声データ等によって構成される。この画像データ、テキストデータ、及び音声データによって、例えば、ディスプレイ上に表示されるボタン及び文字等、並びに、当該ボタンが選択されたときの効果音（クリック音等）が実現される。また、アプリケーショデータとは、アプリケーションを構成するスクリプトファイル、マークアップファイル、音声データ、画像データ、テキストデータ等である。アプリケーションデータは、例えば、ＨＤ ＤＶＤ規格のアドバンストコンテンツ（但し、プライマリビデオは除く）であってもよい。なお、アプリケーションデータには、無条件で実行される「無条件アプリケーション」と、所定の条件（実行条件）が満たされた場合にのみ実行される「条件付きアプリケーション」とがある。条件付きアプリケーションに対応する実行条件が満たされているか否かは、条件付きアプリケーションをロードすべきタイミングで判定される。
【００１４】
タイミング記述２８には、動画データの再生に同期して処理されるべき複数種類のアプリケーションそれぞれに対応するアプリケーションデータと、当該アプリケーションデータの各々をローディング及び処理するタイミングとが記述されている。また、タイミング記述２８は、動画の時間に合わせて記述されている。例えば、タイミング記述２８には、アプリケーションＡを時間（動画の表示時間）ｔ１からｔ２の間にローディングし、ｔ３で起動することが記述され得る。なお、タイミング記述２８は、例えば、複数種類のアプリケーションデータの各々について、対応する実行条件（ユーザが所定の音声トラックを選択した場合、ユーザが所定の言語の字幕を選択した場合等）を含んでもよい。この場合は、実行条件が満たされた場合（ユーザが当該条件を指定した場合等）に、タイミング記述２８に記述された所定のアプリケーションが処理（実行）される。
【００１５】
分離処理部１０は、受け取ったデータ２２を、動画データ、音声データ、及びアプリケーションデータに分離する。分離された動画データと音声データは、分離処理部１０からＡＶ再生部１２に供給される。分離されたアプリケーションデータは、分離処理部１０から、中間バッファ１４又はアプリケーションデータ記憶部１６に出力される。アプリケーションデータの出力先は、分離処理部１０からアプリケーション処理部１８への問い合わせと、当該問い合わせに対するアプリケーション処理部１８から分離処理部１０への通知とに基づいて判定される。
【００１６】
ＡＶ再生部１２は、分離処理部１０から受け取った動画データと音声データをデコードする。デコードされた動画データと音声データは、ＡＶ再生部１２から出力合成部２０に出力される。
【００１７】
中間バッファ１４は、分離処理部１０から受け取ったアプリケーションデータを一時的に記憶する。また、中間バッファ１４は、分離処理部１０による制御に基づいて、一時的に記憶したアプリケーションデータをアプリケーションデータ記憶部１６に出力する。
【００１８】
アプリケーションデータ記憶部１６は、分離処理部１０から受け取ったアプリケーションデータを記憶（蓄積）する。アプリケーションデータ記憶部１６には、アプリケーションを実行するのに必要なアプリケーションデータが記憶される。記憶されたアプリケーションデータは、アプリケーション処理部１８に供給される。
【００１９】
アプリケーション処理部１８は、ＡＶ再生部１２からの同期信号に従ってアプリケーションを起動することで、動画データの再生と同期してアプリケーションを動作させる。アプリケーションのローディング及び起動（実行の開始）は、タイミング記述２８に従って行われる。
【００２０】
出力合成部２０は、ＡＶ再生部１２から受け取った動画データと、アプリケーション処理部１８から受け取ったアプリケーションデータとを合成し、ＡＶ再生部１２からの同期信号に基づいて出力画像を生成する。また、出力生成部２０は、ＡＶ再生部１２から受け取った音声データと、アプリケーション処理部から受け取った音声データとを合成して出力する。
【００２１】
なお、図１に示す分離処理部１０、ＡＶ再生部１２、アプリケーション処理部１８、及び出力合成部２０は、基本的には、再生装置１００内のＣＰＵ（図示せず）によって実行されるソフトウェアによって実現される。但し、これらの要素の一部は、ハードウェアで実現されてもよい。例えば、ＡＶ再生部１２のデコード機能は、ソフトウェアによって制御されるハードウェアで実現され得る。
【００２２】
また、データ２２中の各アプリケーションデータによって構成されるアプリケーションのｉｄと、タイミング記述２８に記述されるアプリケーションのｉｄとは、同一の識別子によって記述されている。例えば、タイミング記述２８には「ｉｄ＝３」と記述され、データ２２中の識別子用のフィールドに「３」と記述されている。このため、分離処理部１０とアプリケーション処理部１８は、その識別子によってデータの必要性をチェックすることができる。
【００２３】
上述したような中間バッファ１４を備える再生装置１００によれば、動画データとアプリケーションデータとが多重化されたデータを扱う場合に、分離処理の処理時間と、動画データの時間に基づくアプリケーション処理の処理時間との間のずれを吸収することができる。
【００２４】
次に、図２を参照しつつ、本発明の一実施形態による再生方法について説明する。図２は、本発明の一実施形態による再生方法の概要を説明するための概略図である。より具体的には、図２は、分離処理部１０とアプリケーション処理部１８との間で行われる処理の概要を説明するための概略図である。本実施形態による再生方法は、図１に示す再生装置１００に適用することができる。以下、説明の都合上、本実施形態による再生方法を再生装置１００に適用した場合を例にとって説明する。なお、図２において、図１に示す要素と同一の要素には同一の符号を付し、その説明を省略する。
【００２５】
アプリケーション処理部１８は、ビデオデータの再生の時間に合わせて動作する。換言すれば、アプリケーション処理部１８は、ビデオデータが実際に表示される時間に合わせて動作する。このため、アプリケーション処理部１８の処理は、分離処理部１０の処理よりも、ＡＶ再生部１２による処理の時間分だけ遅れることになる。例えば、タイミング記述２８に、ビデオデータの再生開始から５分目（ｔ３＝５分）にアプリケーションＡを起動すると記述されている場合を想定する。この場合、分離処理部１０が、再生開始から５分目に対応するビデオデータを処理するのは、５分目のビデオデータが実際に表示されるよりも早い時間となる。従って、分離処理部１０の処理と、アプリケーション処理部１８の処理（映像の表示等）との間には、常に時間的なずれ（図２中のδで示される）が発生する。
【００２６】
分離処理部１０が、データ２２の分離処理を進め、ｔ１以降のデータの処理を行い、アプリケーションＡのアプリケーションデータａを検出したとき、分離処理部１０は、アプリケーションデータａをロードすべきか否かをアプリケーション処理部１８に問い合わせる（問い合わせ４０）。しかし、上述したように、この時点では、アプリケーション処理部１８の処理が時間ｔ１に達しておらず、アプリケーションデータａが必要か否かアプリケーション処理部１８は判定できないことがある。この理由は、アプリケーションデータａが必要か否かは、ユーザが指定した条件（英語の音声トラックを選択、日本語の字幕を選択等）に依存する場合があるためである。
【００２７】
アプリケーション処理部１８は、分離処理部１０からの問い合わせ４０に対して、３種類の回答のうちの１つを返す。３種類の回答とは、アプリケーションデータａが「必要」、「不要」、及び「必要である可能性あり」である。
【００２８】
アプリケーションデータａが必要であると判定された場合、分離処理部１０は、アプリケーションデータａをアプリケーションデータ記憶部１６にロードする処理を行う。
【００２９】
アプリケーションデータａが不要であると判定された場合、分離処理部１０は、それ以降のアプリケーションデータａを破棄する。より具体的には、同一の識別子を持つデータがその終了まで破棄される。
【００３０】
アプリケーションデータａが必要であるか否かの判定がつかず、必要である可能性があると判定された場合、分離処理部１０は、アプリケーションデータａを中間バッファ１４に保存しつつ（図２中の未確定のアプリケーションデータａ１）、分離処理を進める。アプリケーション処理部１８の処理時間がｔ１に到達した時点で、アプリケーションデータａは必要か否かがアプリケーション処理部１８によって再度判定される。なお、動画データの表示がｔ１に到達したときに、アプリケーションの処理時間もｔ１に到達することになる。動画データの表示時間は、データ２２中に記述されている。
【００３１】
アプリケーションデータａが必要と判定された場合、アプリケーション処理部１８は、分離処理部１０に対してアプリケーションデータａが必要であると通知する（通知４２）。分離処理部１０は、アプリケーション処理部１８から通知４２を受け取ると、アプリケーションデータａを中間バッファ１４からアプリケーションデータ記憶部１６に移動し（図２中の確定したアプリケーションデータａ２）、引き続き分離処理を続ける。
【００３２】
一方、アプリケーションデータａが不要と判定された場合、アプリケーション処理部１８は、分離処理部１０にアプリケーションデータａが不要であると通知する（通知４２）。この通知を受けて、分離処理部１０は、中間バッファ１４からアプリケーションデータａを破棄する。
【００３３】
ここで、不要と判定され得るアプリケーションデータ（条件付きアプリケーション）について説明する。例えば、日本語と英語の音声トラックがあり、そのトラックの選択に基づいて使用すべきアプリケーションを切り替える場合、及び、字幕の言語に合わせてアプリケーションの起動を切り替える場合には、不要なアプリケーションデータが存在することになる。前者の場合において、日本語トラックに対応する日本語アプリケーションを起動する場合、英語トラックに対応する英語アプリケーションのアプリケーションデータは不要となる。
【００３４】
また、データ２２の再生状態の変更（早送り等の特殊再生）が理由で、分離処理部１０がアプリケーションデータａを正確に取得できない場合、分離処理部１０は、アプリケーション処理部１８に対して、アプリケーションデータａを正確に取得できない旨を問い合わせ４０のパスを用いて通知する。この通知を受けると、アプリケーション処理部１８は、ＡＶ再生部１２に対して、動画データ及び音声データの再生停止を要求する。また、アプリケーション処理部１８は、アプリケーションデータを読み出す等の然るべき動作を行い、アプリケーションデータを別途確保する。より具体的には、アプリケーション処理部１８は、例えば記憶媒体２４からファイル等を別途読み込む処理を行う。
【００３５】
次に、図３を参照しつつ、本実施形態の再生方法について、より詳細に説明する。図３は、本実施形態による再生方法において、分離処理部１０、中間バッファ１４、アプリケーションデータ記憶部１６、及びアプリケーション処理部１８の間で行われる処理を説明するためのフローチャートである。
【００３６】
まず、分離処理部１０は、分離したアプリケーションデータａをロードすべきか否かを、アプリケーション処理部１８に問い合わせる（ステップＳ５０）（図２に示される問い合わせ４０に対応）。この問い合わせを受けて、アプリケーション処理部１８は、アプリケーションデータａが必要であるか否かを判定する（ステップＳ５２）。この判定は、例えば、ユーザが指定した条件（英語の音声トラックを選択、日本語の字幕を選択等）と、タイミング記述２８とに基づいてなされる。判定結果は、分離処理部１０に返される（Ｓ５４、Ｓ５６、又はＳ５８）。より具体的には、アプリケーション処理部１８は、分離処理部１０に対して、アプリケーションデータａが必要、不要、又は必要である可能性があると返答する（Ｓ５４、Ｓ５６、又はＳ５８）。
【００３７】
アプリケーションデータａが必要と判定された場合、分離処理部１０は、アプリケーションデータａをアプリケーションデータ記憶部１６にロードする（ステップＳ５４）。
【００３８】
アプリケーションデータａが不要であると判定された場合、分離処理部１０は、アプリケーションデータａを破棄する（ステップＳ５６）。
【００３９】
アプリケーションデータａが必要である可能性があると判定された（必要か否か判定がつかない）場合、分離処理部１０は、アプリケーションデータａを中間バッファ１４に保存しつつ、分離処理を行う（ステップＳ５８）。アプリケーションデータａが中間バッファ１４に保存されると、アプリケーション処理部１８の処理時間Ｔが、タイミング記述に記述された時間ｔ１に達したか否かが判定される（ステップＳ６０）。ステップＳ６０の処理は、アプリケーション処理部１８の処理時間Ｔが時間ｔ１に達するまで繰り返される。アプリケーション処理部１８の処理時間Ｔが時間ｔ１に達すると、アプリケーション処理部１８は、アプリケーションデータａは必要か否かを再度判定する（ステップＳ６２）。
【００４０】
アプリケーションデータａは必要であると判定された場合（ステップＳ６２でＹＥＳ）、アプリケーション処理部１８は、分離処理部１０に対して、アプリケーションデータａが必要であると通知する（ステップＳ６４）。この通知を受けて、分離処理部１０は、中間バッファ１４に一時的に記憶されたアプリケーションデータａをアプリケーションデータ記憶部１６に移動（記憶）する（ステップＳ６６）。
【００４１】
一方、アプリケーションデータａは不要であると判定された場合（ステップＳ６２でＮＯ）、アプリケーション処理部１８は、分離処理部１０に対して、アプリケーションデータａが不要であると通知する（ステップＳ６８）。この通知を受けて、分離処理部１０は、中間バッファ１４に一時的に記憶されたアプリケーションデータａを破棄する（ステップＳ７０）。
【００４２】
上述したような再生方法によれば、動画データとアプリケーションデータとが多重化されたデータを扱う場合に、分離処理の処理時間と、動画データの時間に基づくアプリケーション処理の処理時間との間のずれを吸収することができる。
【００４３】
次に、図４を参照しつつ、本発明の別の実施形態による再生方法について説明する。図４は、本発明の別の実施形態による再生方法の概要を説明するための概略図である。本再生方法においては、先行するアプリケーションの状況、又は（例えば、再生言語に依存する）再生状況に応じて、起動されるアプリケーションが決定される。
【００４４】
図４には、アプリケーションＢのアプリケーションデータｂ及びアプリケーションＣのアプリケーションデータｃ、中間バッファ１４に一時的に記憶されたアプリケーションＢのアプリケーションデータｂ及びアプリケーションＣのアプリケーションデータｃ、再生される動画データ及び音声データ、再生されるアプリケーションＢ、並びに、時間ｔ１、ｔ２、ｔ３、ｔ４、ｔ５及びｔ６が示されている。例えば、アプリケーションデータｂは、図１に示すアプリケーションデータ３２、３８等によって構成され、アプリケーションデータｃは、図１に示すアプリケーションデータ３５等によって構成され得る。
【００４５】
時間ｔ５においてアプリケーションＢ又はＣを起動するためには、データｂ及びｃは、時間ｔ５以前にはデータ（ビデオストリーム）として多重化されている必要がある。ここでは、説明の都合上、アプリケーションＢのデータｂは、時間ｔ３まで多重化されている必要があると仮定する。時間ｔ５で起動すべきアプリケーション（アプリケーションＢ又はＣ）は、時間ｔ６における再生状況、又は先行するアプリケーションの実行状況に依存して選択される。
【００４６】
まず、再生状況について説明する。時間ｔ６における再生状況は、例えば再生言語に依存する。より具体的には、再生状況としては、複数の音声トラック（日本語、英語、コメンタリ等）が存在し、そのうちの１つを再生している場合、及び、複数言語の字幕のうちの１つを選択している場合が考えられる。また、ｔ５＝ｔ６である場合もあり得る。このような場合の例としては、アプリケーションを実行するタイミングの音声トラックによって、アプリケーションＢ又はＣのどちらかが選択される場合がある。
【００４７】
次に、先行するアプリケーションについて説明する。先行するアプリケーションとは、時間的に前に実行されるアプリケーションである。例えば、再生開始から５分から７分の間に実行されるアプリケーションＤに対して、ユーザがボタンを選択する等の操作を行うことによって、１０分から実行されるアプリケーションＥを選択するような場合では、アプリケーションＤが先行するアプリケーションに該当する。
【００４８】
時間ｔ１及びｔ２では、アプリケーション処理部１８は、アプリケーションＢのアプリケーションデータｂ及びアプリケーションＣのアプリケーションデータｃのうちのいずれが必要であるか判定をすることができない。そのため、分離処理部１０は、時間ｔ１でアプリケーションＢのアプリケーションデータｂを検出すると、データｂのＩＤと名前に基づいて、アプリケーション処理部１８に問い合わせ（図２、図３参照）を行う。この問い合わせを受けて、アプリケーション処理部１８は、アプリケーションデータｂが必要か否かを判定し、判定結果を分離処理部１０に返す。アプリケーションデータｂは不要であると判定された場合、アプリケーションデータｂは保持されない。一方、アプリケーションデータｂは必要であると判定された場合、アプリケーションデータｂはアプリケーションデータ記憶部１６に記憶される。アプリケーションデータｂは、必要である可能性があると判定された場合、アプリケーションＢのアプリケーションデータｂは中間バッファ１４に保存される。なお、アプリケーションデータｂは必要であると判定された場合にも、特殊再生等で破棄するケースがあるため、アプリケーションデータｂを中間バッファ１４に一時的に記憶してもよい。
【００４９】
また、時間ｔ２でアプリケーションＣのアプリケーションデータｃを検出すると、アプリケーションデータｃのＩＤと名前に基づいて、アプリケーション処理部１８に問い合わせ（図２、図３参照）を行う。この問い合わせを受けて、アプリケーション処理部１８はアプリケーションデータｃが必要か否かを判定し、判定結果を分離処理部１０に返す。アプリケーションデータｃは不要であると判定された場合、アプリケーションデータｃは保持されない。一方、アプリケーションデータｃは必要であると判定された場合、アプリケーションデータｃはアプリケーションデータ記憶部１６に記憶される。アプリケーションデータｃは、必要である可能性があると判定された（必要か否か判定できない）場合、アプリケーションＣのアプリケーションデータｃは中間バッファ１４に保存される。なお、アプリケーションデータｃは必要であると判定された場合にも、特殊再生等で破棄するケースがあるため、アプリケーションデータｃを中間バッファ１４に一時的に記憶してもよい。
【００５０】
多重化されているアプリケーションデータｂ及びｃそれぞれの最後が検出される時間ｔ３及びｔ４でも、上記と同様の問い合わせが行われる。例えば、時間ｔ３において、アプリケーションデータｂは必要であると判定された場合、アプリケーションデータｂは中間バッファ１４からアプリケーションデータ記憶部１６に移動される。アプリケーションデータｂは不要であると判定された場合、アプリケーションデータｂは中間バッファ１４から破棄される。時間ｔ３においても、アプリケーションデータｂが必要か否かを判定できない場合、アプリケーションデータｂは引き続き中間バッファ１４に保持される。上記と同様の処理が、時間ｔ４においてアプリケーションデータｃについても行われる。
【００５１】
時間ｔ６で、データの再生条件及びタイミング記述２８により、アプリケーションＢのアプリケーションデータｂが必要であると判定された場合、アプリケーション処理部１８は分離処理部１０にアプリケーションデータｂが必要であることを通知する。この通知を受けて、分離処理部１０は、中間バッファ１４に保持されているアプリケーションＢのアプリケーションデータｂをアプリケーションデータ記憶部１６に移動（記憶）する。一方で、アプリケーションＣのアプリケーションデータｃは不要と判定されて、中間バッファ１４から破棄される。
【００５２】
また、時間ｔ１からｔ３の間に多重化されたデータの取り出しができないような特殊再生（早送り等）が行われた場合、アプリケーションＢのアプリケーションデータｂを用意することができない。このため、分離処理部１０は、上述したような問い合わせの代わりに、データを用意できない旨をアプリケーション処理部１８に通知する。
【００５３】
上述したような再生方法によれば、先行するアプリケーションの状況又は再生状況に応じて、使用すべきアプリケーションデータを決定する場合に、実際の決定時間前に多重化されているデータの取り扱いについて、中間バッファ１４と関連モジュールとの間の問い合わせ及び通知を用いて決定することができる。
【００５４】
なお、上述した再生方法は、コンピュータによって実行可能なプログラムとしても実現できる。
【００５５】
なお、本発明は、上記実施形態そのままに限定されるものではない。本発明は、実施段階では、その要旨を逸脱しない範囲で構成要素を変更して具現化できる。
【００５６】
また、上記実施形態に開示されている複数の構成要素を適宜に組み合わせることで、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００５７】
【図１】本発明の一実施形態による再生装置の構成を示すブロック図である。
【図２】本発明の一実施形態による再生方法の概要を説明するための概略図である。
【図３】上記実施形態による再生方法を、より詳細に説明するためのフローチャートである。
【図４】本発明の別の実施形態による再生方法の概要を説明するための概略図である。
【符号の説明】
【００５８】
１０…分離処理部、１２…ＡＶ再生部（再生処理部）、１４…中間バッファ、１６…アプリケーションデータ記憶部、１８…アプリケーション処理部、２０…出力合成部、２２…データ、２４…記録媒体、２６…ネットワーク、２８…タイミング記述、４０…問い合わせ、４２…通知。
【技術分野】
【０００１】
本発明は一般に、再生装置、再生方法、及びプログラムに関し、特に、多重化されたデータを処理する再生装置、再生方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、ユーザに対してインタラクティブな機能を提供すべく、動画データに加えて、アプリケーションデータ（プログラム等）も処理する機能を備える再生装置が開発されつつある。このような再生装置では、動画データの処理とアプリケーションデータの処理とを同期させることが行われる。例えば、ＡＶデータ等の再生に同期させて実行するプログラムを効率よく実行する技術が提案されている（例えば、特許文献１参照）。
【特許文献１】特開２００６−１０９３１７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上述したように、動画データが、アプリケーションデータとは別個に再生装置に供給される場合には、動画データの処理と、アプリケーションデータの処理とを同期させることが行われる。しかし、動画データとアプリケーションデータとが多重化されたデータを扱う場合には、当該データを分離する処理が必要となる。このような場合、分離処理の処理時間と、動画データの処理時間に基づいて動作するアプリケーション処理の処理時間との間にずれが生じることがある。特許文献１には、ＡＶデータとプログラムとの同期の手法が記載されているものの、上記のように動画データとアプリケーションデータとが多重化されたデータを扱うわけではない。
【０００４】
そこで、本発明は、動画データとアプリケーションデータとが多重化されたデータを扱う場合に、分離処理の処理時間と、動画データの時間に基づくアプリケーション処理の処理時間との間のずれを吸収することができる再生装置、再生方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明の一つの面によれば、圧縮符号化された動画データと、前記動画データの再生に同期して処理されるべきアプリケーションデータとが多重化されたデータを、前記動画データと、前記アプリケーションデータとに分離する分離処理部と、前記分離処理部によって分離された前記アプリケーションデータを記憶するアプリケーションデータ記憶部と、前記分離処理部によって分離された前記動画データをデコードする再生処理部と、前記アプリケーションデータ記憶部に記憶された前記アプリケーションデータを処理するアプリケーション処理部と、前記再生処理部によってデコードされた前記動画データと、前記アプリケーション処理部によって処理された前記アプリケーションデータとを合成して、出力画像を生成する出力合成部とを具備し、前記分離処理部は、前記アプリケーション処理部に前記アプリケーションデータが必要か否かの問い合わせを行い、前記アプリケーション処理部から前記アプリケーションデータは必要であるという通知を受けた場合、前記アプリケーションデータを前記アプリケーションデータ記憶部に記憶し、前記アプリケーション処理部から前記アプリケーションデータは必要か否か判定できないという通知を受けた場合、前記アプリケーションデータを中間バッファに一時的に記憶し、前記アプリケーション処理部から前記アプリケーションデータは必要か否か判定できないという通知を受けた後に、前記アプリケーションデータは必要であるという通知を受けた場合、前記中間バッファに一時的に記憶された前記アプリケーションデータを前記アプリケーションデータ記憶部に記憶する再生装置が提供される。
【０００６】
また、本発明の別の面によれば、圧縮符号化された動画データと、前記動画データの再生に同期して処理されるべきアプリケーションデータとが多重化されたデータを、前記動画データと、前記アプリケーションデータとに分離するステップと、前記分離された前記動画データをデコードするステップと、前記アプリケーションデータが必要か否かを判定するステップと、前記アプリケーションデータが必要であると判定された場合、前記アプリケーションデータを処理するステップと、前記アプリケーションデータが必要か否か判定できない場合、前記アプリケーションデータを中間バッファに一時的に記憶するステップと、前記中間バッファに一時的に記憶されたアプリケーションデータが必要であるか否かを判定するステップと、前記中間バッファに一時的に記憶されたアプリケーションデータが必要であると判定された場合、前記一時的に記憶されたアプリケーションデータを処理するステップと、前記デコードされた動画データと、前記処理されたアプリケーションデータとを合成して、出力画像を生成するステップとを具備する再生方法が提供される。
【０００７】
さらに、本発明のまた別の面によれば、コンピュータに、圧縮符号化された動画データと、前記動画データの再生に同期して処理されるべきアプリケーションデータとが多重化されたデータを、前記動画データと、前記アプリケーションデータとに分離する機能と、前記分離された動画データをデコードする機能と、前記アプリケーションデータが必要か否かを判定する機能と、前記アプリケーションデータが必要であると判定された場合、前記アプリケーションデータを処理する機能と、前記分離されたアプリケーションデータが必要か否か判定できない場合、前記アプリケーションデータを中間バッファに一時的に記憶する機能と、前記中間バッファに一時的に記憶されたアプリケーションデータが必要であるか否かを判定する機能と、前記中間バッファに一時的に記憶されたアプリケーションデータが必要であると判定された場合、前記一時的に記憶されたアプリケーションデータを処理する機能と、前記デコードされた動画データと、前記処理されたアプリケーションデータとを合成して、出力画像を生成する機能とを実現させるプログラムが提供される。
【発明の効果】
【０００８】
本発明によれば、動画データとアプリケーションデータとが多重化されたデータを扱う場合に、分離処理の処理時間と、動画データの時間に基づくアプリケーション処理の処理時間との間のずれを吸収することができる再生装置、再生方法、及びプログラムを提供することができる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の実施形態について図面を参照しながら説明する。
【００１０】
まず、図１を参照しながら、本発明の一実施形態による再生装置１００について説明する。図１は、本発明の一実施形態による再生装置１００の構成を示すブロック図である。なお、再生装置１００は、ＨＤ ＤＶＤプレーヤ、パーソナルコンピュータ等といった、動画データとアプリケーションデータとが多重化されたデータを処理することができる装置である。
【００１１】
再生装置１００は、分離処理部１０、ＡＶ再生部（再生処理部）１２、中間バッファ１４、アプリケーションデータ記憶部１６、アプリケーション処理部１８、及び出力合成部２０を備える。
【００１２】
分離処理部１０には、データ２２が入力される。データ２２は、動画データ（ビデオデータ）、音声データ（オーディオデータ）、及び複数種類のアプリケーションそれぞれに対応するデータ（アプリケーションデータ）が多重化されたデータである。データ２２は、光ディスク（ＤＶＤ、ＨＤ ＤＶＤ等）といった記憶媒体２４に格納される。データ２２は、記憶媒体２４から光ディスクドライブ（図示せず）を介して、タイミング記述２８と共に分離処理部１０に供給され得る。また、データ２２は、インターネットといったネットワーク２６からネットワークコントローラ（図示せず）を介して、タイミング記述２８と共に分離処理部１０に供給されてもよい。
【００１３】
なお、本明細書において、アプリケーションとは、動画データの再生と同期してユーザにインタラクティブな機能を提供する機能であり、例えばスクリプトファイル、マークアップファイル、画像データ、テキストデータ、音声データ等によって構成される。この画像データ、テキストデータ、及び音声データによって、例えば、ディスプレイ上に表示されるボタン及び文字等、並びに、当該ボタンが選択されたときの効果音（クリック音等）が実現される。また、アプリケーショデータとは、アプリケーションを構成するスクリプトファイル、マークアップファイル、音声データ、画像データ、テキストデータ等である。アプリケーションデータは、例えば、ＨＤ ＤＶＤ規格のアドバンストコンテンツ（但し、プライマリビデオは除く）であってもよい。なお、アプリケーションデータには、無条件で実行される「無条件アプリケーション」と、所定の条件（実行条件）が満たされた場合にのみ実行される「条件付きアプリケーション」とがある。条件付きアプリケーションに対応する実行条件が満たされているか否かは、条件付きアプリケーションをロードすべきタイミングで判定される。
【００１４】
タイミング記述２８には、動画データの再生に同期して処理されるべき複数種類のアプリケーションそれぞれに対応するアプリケーションデータと、当該アプリケーションデータの各々をローディング及び処理するタイミングとが記述されている。また、タイミング記述２８は、動画の時間に合わせて記述されている。例えば、タイミング記述２８には、アプリケーションＡを時間（動画の表示時間）ｔ１からｔ２の間にローディングし、ｔ３で起動することが記述され得る。なお、タイミング記述２８は、例えば、複数種類のアプリケーションデータの各々について、対応する実行条件（ユーザが所定の音声トラックを選択した場合、ユーザが所定の言語の字幕を選択した場合等）を含んでもよい。この場合は、実行条件が満たされた場合（ユーザが当該条件を指定した場合等）に、タイミング記述２８に記述された所定のアプリケーションが処理（実行）される。
【００１５】
分離処理部１０は、受け取ったデータ２２を、動画データ、音声データ、及びアプリケーションデータに分離する。分離された動画データと音声データは、分離処理部１０からＡＶ再生部１２に供給される。分離されたアプリケーションデータは、分離処理部１０から、中間バッファ１４又はアプリケーションデータ記憶部１６に出力される。アプリケーションデータの出力先は、分離処理部１０からアプリケーション処理部１８への問い合わせと、当該問い合わせに対するアプリケーション処理部１８から分離処理部１０への通知とに基づいて判定される。
【００１６】
ＡＶ再生部１２は、分離処理部１０から受け取った動画データと音声データをデコードする。デコードされた動画データと音声データは、ＡＶ再生部１２から出力合成部２０に出力される。
【００１７】
中間バッファ１４は、分離処理部１０から受け取ったアプリケーションデータを一時的に記憶する。また、中間バッファ１４は、分離処理部１０による制御に基づいて、一時的に記憶したアプリケーションデータをアプリケーションデータ記憶部１６に出力する。
【００１８】
アプリケーションデータ記憶部１６は、分離処理部１０から受け取ったアプリケーションデータを記憶（蓄積）する。アプリケーションデータ記憶部１６には、アプリケーションを実行するのに必要なアプリケーションデータが記憶される。記憶されたアプリケーションデータは、アプリケーション処理部１８に供給される。
【００１９】
アプリケーション処理部１８は、ＡＶ再生部１２からの同期信号に従ってアプリケーションを起動することで、動画データの再生と同期してアプリケーションを動作させる。アプリケーションのローディング及び起動（実行の開始）は、タイミング記述２８に従って行われる。
【００２０】
出力合成部２０は、ＡＶ再生部１２から受け取った動画データと、アプリケーション処理部１８から受け取ったアプリケーションデータとを合成し、ＡＶ再生部１２からの同期信号に基づいて出力画像を生成する。また、出力生成部２０は、ＡＶ再生部１２から受け取った音声データと、アプリケーション処理部から受け取った音声データとを合成して出力する。
【００２１】
なお、図１に示す分離処理部１０、ＡＶ再生部１２、アプリケーション処理部１８、及び出力合成部２０は、基本的には、再生装置１００内のＣＰＵ（図示せず）によって実行されるソフトウェアによって実現される。但し、これらの要素の一部は、ハードウェアで実現されてもよい。例えば、ＡＶ再生部１２のデコード機能は、ソフトウェアによって制御されるハードウェアで実現され得る。
【００２２】
また、データ２２中の各アプリケーションデータによって構成されるアプリケーションのｉｄと、タイミング記述２８に記述されるアプリケーションのｉｄとは、同一の識別子によって記述されている。例えば、タイミング記述２８には「ｉｄ＝３」と記述され、データ２２中の識別子用のフィールドに「３」と記述されている。このため、分離処理部１０とアプリケーション処理部１８は、その識別子によってデータの必要性をチェックすることができる。
【００２３】
上述したような中間バッファ１４を備える再生装置１００によれば、動画データとアプリケーションデータとが多重化されたデータを扱う場合に、分離処理の処理時間と、動画データの時間に基づくアプリケーション処理の処理時間との間のずれを吸収することができる。
【００２４】
次に、図２を参照しつつ、本発明の一実施形態による再生方法について説明する。図２は、本発明の一実施形態による再生方法の概要を説明するための概略図である。より具体的には、図２は、分離処理部１０とアプリケーション処理部１８との間で行われる処理の概要を説明するための概略図である。本実施形態による再生方法は、図１に示す再生装置１００に適用することができる。以下、説明の都合上、本実施形態による再生方法を再生装置１００に適用した場合を例にとって説明する。なお、図２において、図１に示す要素と同一の要素には同一の符号を付し、その説明を省略する。
【００２５】
アプリケーション処理部１８は、ビデオデータの再生の時間に合わせて動作する。換言すれば、アプリケーション処理部１８は、ビデオデータが実際に表示される時間に合わせて動作する。このため、アプリケーション処理部１８の処理は、分離処理部１０の処理よりも、ＡＶ再生部１２による処理の時間分だけ遅れることになる。例えば、タイミング記述２８に、ビデオデータの再生開始から５分目（ｔ３＝５分）にアプリケーションＡを起動すると記述されている場合を想定する。この場合、分離処理部１０が、再生開始から５分目に対応するビデオデータを処理するのは、５分目のビデオデータが実際に表示されるよりも早い時間となる。従って、分離処理部１０の処理と、アプリケーション処理部１８の処理（映像の表示等）との間には、常に時間的なずれ（図２中のδで示される）が発生する。
【００２６】
分離処理部１０が、データ２２の分離処理を進め、ｔ１以降のデータの処理を行い、アプリケーションＡのアプリケーションデータａを検出したとき、分離処理部１０は、アプリケーションデータａをロードすべきか否かをアプリケーション処理部１８に問い合わせる（問い合わせ４０）。しかし、上述したように、この時点では、アプリケーション処理部１８の処理が時間ｔ１に達しておらず、アプリケーションデータａが必要か否かアプリケーション処理部１８は判定できないことがある。この理由は、アプリケーションデータａが必要か否かは、ユーザが指定した条件（英語の音声トラックを選択、日本語の字幕を選択等）に依存する場合があるためである。
【００２７】
アプリケーション処理部１８は、分離処理部１０からの問い合わせ４０に対して、３種類の回答のうちの１つを返す。３種類の回答とは、アプリケーションデータａが「必要」、「不要」、及び「必要である可能性あり」である。
【００２８】
アプリケーションデータａが必要であると判定された場合、分離処理部１０は、アプリケーションデータａをアプリケーションデータ記憶部１６にロードする処理を行う。
【００２９】
アプリケーションデータａが不要であると判定された場合、分離処理部１０は、それ以降のアプリケーションデータａを破棄する。より具体的には、同一の識別子を持つデータがその終了まで破棄される。
【００３０】
アプリケーションデータａが必要であるか否かの判定がつかず、必要である可能性があると判定された場合、分離処理部１０は、アプリケーションデータａを中間バッファ１４に保存しつつ（図２中の未確定のアプリケーションデータａ１）、分離処理を進める。アプリケーション処理部１８の処理時間がｔ１に到達した時点で、アプリケーションデータａは必要か否かがアプリケーション処理部１８によって再度判定される。なお、動画データの表示がｔ１に到達したときに、アプリケーションの処理時間もｔ１に到達することになる。動画データの表示時間は、データ２２中に記述されている。
【００３１】
アプリケーションデータａが必要と判定された場合、アプリケーション処理部１８は、分離処理部１０に対してアプリケーションデータａが必要であると通知する（通知４２）。分離処理部１０は、アプリケーション処理部１８から通知４２を受け取ると、アプリケーションデータａを中間バッファ１４からアプリケーションデータ記憶部１６に移動し（図２中の確定したアプリケーションデータａ２）、引き続き分離処理を続ける。
【００３２】
一方、アプリケーションデータａが不要と判定された場合、アプリケーション処理部１８は、分離処理部１０にアプリケーションデータａが不要であると通知する（通知４２）。この通知を受けて、分離処理部１０は、中間バッファ１４からアプリケーションデータａを破棄する。
【００３３】
ここで、不要と判定され得るアプリケーションデータ（条件付きアプリケーション）について説明する。例えば、日本語と英語の音声トラックがあり、そのトラックの選択に基づいて使用すべきアプリケーションを切り替える場合、及び、字幕の言語に合わせてアプリケーションの起動を切り替える場合には、不要なアプリケーションデータが存在することになる。前者の場合において、日本語トラックに対応する日本語アプリケーションを起動する場合、英語トラックに対応する英語アプリケーションのアプリケーションデータは不要となる。
【００３４】
また、データ２２の再生状態の変更（早送り等の特殊再生）が理由で、分離処理部１０がアプリケーションデータａを正確に取得できない場合、分離処理部１０は、アプリケーション処理部１８に対して、アプリケーションデータａを正確に取得できない旨を問い合わせ４０のパスを用いて通知する。この通知を受けると、アプリケーション処理部１８は、ＡＶ再生部１２に対して、動画データ及び音声データの再生停止を要求する。また、アプリケーション処理部１８は、アプリケーションデータを読み出す等の然るべき動作を行い、アプリケーションデータを別途確保する。より具体的には、アプリケーション処理部１８は、例えば記憶媒体２４からファイル等を別途読み込む処理を行う。
【００３５】
次に、図３を参照しつつ、本実施形態の再生方法について、より詳細に説明する。図３は、本実施形態による再生方法において、分離処理部１０、中間バッファ１４、アプリケーションデータ記憶部１６、及びアプリケーション処理部１８の間で行われる処理を説明するためのフローチャートである。
【００３６】
まず、分離処理部１０は、分離したアプリケーションデータａをロードすべきか否かを、アプリケーション処理部１８に問い合わせる（ステップＳ５０）（図２に示される問い合わせ４０に対応）。この問い合わせを受けて、アプリケーション処理部１８は、アプリケーションデータａが必要であるか否かを判定する（ステップＳ５２）。この判定は、例えば、ユーザが指定した条件（英語の音声トラックを選択、日本語の字幕を選択等）と、タイミング記述２８とに基づいてなされる。判定結果は、分離処理部１０に返される（Ｓ５４、Ｓ５６、又はＳ５８）。より具体的には、アプリケーション処理部１８は、分離処理部１０に対して、アプリケーションデータａが必要、不要、又は必要である可能性があると返答する（Ｓ５４、Ｓ５６、又はＳ５８）。
【００３７】
アプリケーションデータａが必要と判定された場合、分離処理部１０は、アプリケーションデータａをアプリケーションデータ記憶部１６にロードする（ステップＳ５４）。
【００３８】
アプリケーションデータａが不要であると判定された場合、分離処理部１０は、アプリケーションデータａを破棄する（ステップＳ５６）。
【００３９】
アプリケーションデータａが必要である可能性があると判定された（必要か否か判定がつかない）場合、分離処理部１０は、アプリケーションデータａを中間バッファ１４に保存しつつ、分離処理を行う（ステップＳ５８）。アプリケーションデータａが中間バッファ１４に保存されると、アプリケーション処理部１８の処理時間Ｔが、タイミング記述に記述された時間ｔ１に達したか否かが判定される（ステップＳ６０）。ステップＳ６０の処理は、アプリケーション処理部１８の処理時間Ｔが時間ｔ１に達するまで繰り返される。アプリケーション処理部１８の処理時間Ｔが時間ｔ１に達すると、アプリケーション処理部１８は、アプリケーションデータａは必要か否かを再度判定する（ステップＳ６２）。
【００４０】
アプリケーションデータａは必要であると判定された場合（ステップＳ６２でＹＥＳ）、アプリケーション処理部１８は、分離処理部１０に対して、アプリケーションデータａが必要であると通知する（ステップＳ６４）。この通知を受けて、分離処理部１０は、中間バッファ１４に一時的に記憶されたアプリケーションデータａをアプリケーションデータ記憶部１６に移動（記憶）する（ステップＳ６６）。
【００４１】
一方、アプリケーションデータａは不要であると判定された場合（ステップＳ６２でＮＯ）、アプリケーション処理部１８は、分離処理部１０に対して、アプリケーションデータａが不要であると通知する（ステップＳ６８）。この通知を受けて、分離処理部１０は、中間バッファ１４に一時的に記憶されたアプリケーションデータａを破棄する（ステップＳ７０）。
【００４２】
上述したような再生方法によれば、動画データとアプリケーションデータとが多重化されたデータを扱う場合に、分離処理の処理時間と、動画データの時間に基づくアプリケーション処理の処理時間との間のずれを吸収することができる。
【００４３】
次に、図４を参照しつつ、本発明の別の実施形態による再生方法について説明する。図４は、本発明の別の実施形態による再生方法の概要を説明するための概略図である。本再生方法においては、先行するアプリケーションの状況、又は（例えば、再生言語に依存する）再生状況に応じて、起動されるアプリケーションが決定される。
【００４４】
図４には、アプリケーションＢのアプリケーションデータｂ及びアプリケーションＣのアプリケーションデータｃ、中間バッファ１４に一時的に記憶されたアプリケーションＢのアプリケーションデータｂ及びアプリケーションＣのアプリケーションデータｃ、再生される動画データ及び音声データ、再生されるアプリケーションＢ、並びに、時間ｔ１、ｔ２、ｔ３、ｔ４、ｔ５及びｔ６が示されている。例えば、アプリケーションデータｂは、図１に示すアプリケーションデータ３２、３８等によって構成され、アプリケーションデータｃは、図１に示すアプリケーションデータ３５等によって構成され得る。
【００４５】
時間ｔ５においてアプリケーションＢ又はＣを起動するためには、データｂ及びｃは、時間ｔ５以前にはデータ（ビデオストリーム）として多重化されている必要がある。ここでは、説明の都合上、アプリケーションＢのデータｂは、時間ｔ３まで多重化されている必要があると仮定する。時間ｔ５で起動すべきアプリケーション（アプリケーションＢ又はＣ）は、時間ｔ６における再生状況、又は先行するアプリケーションの実行状況に依存して選択される。
【００４６】
まず、再生状況について説明する。時間ｔ６における再生状況は、例えば再生言語に依存する。より具体的には、再生状況としては、複数の音声トラック（日本語、英語、コメンタリ等）が存在し、そのうちの１つを再生している場合、及び、複数言語の字幕のうちの１つを選択している場合が考えられる。また、ｔ５＝ｔ６である場合もあり得る。このような場合の例としては、アプリケーションを実行するタイミングの音声トラックによって、アプリケーションＢ又はＣのどちらかが選択される場合がある。
【００４７】
次に、先行するアプリケーションについて説明する。先行するアプリケーションとは、時間的に前に実行されるアプリケーションである。例えば、再生開始から５分から７分の間に実行されるアプリケーションＤに対して、ユーザがボタンを選択する等の操作を行うことによって、１０分から実行されるアプリケーションＥを選択するような場合では、アプリケーションＤが先行するアプリケーションに該当する。
【００４８】
時間ｔ１及びｔ２では、アプリケーション処理部１８は、アプリケーションＢのアプリケーションデータｂ及びアプリケーションＣのアプリケーションデータｃのうちのいずれが必要であるか判定をすることができない。そのため、分離処理部１０は、時間ｔ１でアプリケーションＢのアプリケーションデータｂを検出すると、データｂのＩＤと名前に基づいて、アプリケーション処理部１８に問い合わせ（図２、図３参照）を行う。この問い合わせを受けて、アプリケーション処理部１８は、アプリケーションデータｂが必要か否かを判定し、判定結果を分離処理部１０に返す。アプリケーションデータｂは不要であると判定された場合、アプリケーションデータｂは保持されない。一方、アプリケーションデータｂは必要であると判定された場合、アプリケーションデータｂはアプリケーションデータ記憶部１６に記憶される。アプリケーションデータｂは、必要である可能性があると判定された場合、アプリケーションＢのアプリケーションデータｂは中間バッファ１４に保存される。なお、アプリケーションデータｂは必要であると判定された場合にも、特殊再生等で破棄するケースがあるため、アプリケーションデータｂを中間バッファ１４に一時的に記憶してもよい。
【００４９】
また、時間ｔ２でアプリケーションＣのアプリケーションデータｃを検出すると、アプリケーションデータｃのＩＤと名前に基づいて、アプリケーション処理部１８に問い合わせ（図２、図３参照）を行う。この問い合わせを受けて、アプリケーション処理部１８はアプリケーションデータｃが必要か否かを判定し、判定結果を分離処理部１０に返す。アプリケーションデータｃは不要であると判定された場合、アプリケーションデータｃは保持されない。一方、アプリケーションデータｃは必要であると判定された場合、アプリケーションデータｃはアプリケーションデータ記憶部１６に記憶される。アプリケーションデータｃは、必要である可能性があると判定された（必要か否か判定できない）場合、アプリケーションＣのアプリケーションデータｃは中間バッファ１４に保存される。なお、アプリケーションデータｃは必要であると判定された場合にも、特殊再生等で破棄するケースがあるため、アプリケーションデータｃを中間バッファ１４に一時的に記憶してもよい。
【００５０】
多重化されているアプリケーションデータｂ及びｃそれぞれの最後が検出される時間ｔ３及びｔ４でも、上記と同様の問い合わせが行われる。例えば、時間ｔ３において、アプリケーションデータｂは必要であると判定された場合、アプリケーションデータｂは中間バッファ１４からアプリケーションデータ記憶部１６に移動される。アプリケーションデータｂは不要であると判定された場合、アプリケーションデータｂは中間バッファ１４から破棄される。時間ｔ３においても、アプリケーションデータｂが必要か否かを判定できない場合、アプリケーションデータｂは引き続き中間バッファ１４に保持される。上記と同様の処理が、時間ｔ４においてアプリケーションデータｃについても行われる。
【００５１】
時間ｔ６で、データの再生条件及びタイミング記述２８により、アプリケーションＢのアプリケーションデータｂが必要であると判定された場合、アプリケーション処理部１８は分離処理部１０にアプリケーションデータｂが必要であることを通知する。この通知を受けて、分離処理部１０は、中間バッファ１４に保持されているアプリケーションＢのアプリケーションデータｂをアプリケーションデータ記憶部１６に移動（記憶）する。一方で、アプリケーションＣのアプリケーションデータｃは不要と判定されて、中間バッファ１４から破棄される。
【００５２】
また、時間ｔ１からｔ３の間に多重化されたデータの取り出しができないような特殊再生（早送り等）が行われた場合、アプリケーションＢのアプリケーションデータｂを用意することができない。このため、分離処理部１０は、上述したような問い合わせの代わりに、データを用意できない旨をアプリケーション処理部１８に通知する。
【００５３】
上述したような再生方法によれば、先行するアプリケーションの状況又は再生状況に応じて、使用すべきアプリケーションデータを決定する場合に、実際の決定時間前に多重化されているデータの取り扱いについて、中間バッファ１４と関連モジュールとの間の問い合わせ及び通知を用いて決定することができる。
【００５４】
なお、上述した再生方法は、コンピュータによって実行可能なプログラムとしても実現できる。
【００５５】
なお、本発明は、上記実施形態そのままに限定されるものではない。本発明は、実施段階では、その要旨を逸脱しない範囲で構成要素を変更して具現化できる。
【００５６】
また、上記実施形態に開示されている複数の構成要素を適宜に組み合わせることで、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００５７】
【図１】本発明の一実施形態による再生装置の構成を示すブロック図である。
【図２】本発明の一実施形態による再生方法の概要を説明するための概略図である。
【図３】上記実施形態による再生方法を、より詳細に説明するためのフローチャートである。
【図４】本発明の別の実施形態による再生方法の概要を説明するための概略図である。
【符号の説明】
【００５８】
１０…分離処理部、１２…ＡＶ再生部（再生処理部）、１４…中間バッファ、１６…アプリケーションデータ記憶部、１８…アプリケーション処理部、２０…出力合成部、２２…データ、２４…記録媒体、２６…ネットワーク、２８…タイミング記述、４０…問い合わせ、４２…通知。
【特許請求の範囲】
【請求項１】
圧縮符号化された動画データと、前記動画データの再生に同期して処理されるべきアプリケーションデータとが多重化されたデータを、前記動画データと、前記アプリケーションデータとに分離する分離処理部と、
前記分離処理部によって分離された前記アプリケーションデータを記憶するアプリケーションデータ記憶部と、
前記分離処理部によって分離された前記動画データをデコードする再生処理部と、
前記アプリケーションデータ記憶部に記憶された前記アプリケーションデータを処理するアプリケーション処理部と、
前記再生処理部によってデコードされた前記動画データと、前記アプリケーション処理部によって処理された前記アプリケーションデータとを合成して、出力画像を生成する出力合成部とを具備し、
前記分離処理部は、前記アプリケーション処理部に前記アプリケーションデータが必要か否かの問い合わせを行い、前記アプリケーション処理部から前記アプリケーションデータは必要であるという通知を受けた場合、前記アプリケーションデータを前記アプリケーションデータ記憶部に記憶し、前記アプリケーション処理部から前記アプリケーションデータは必要か否か判定できないという通知を受けた場合、前記アプリケーションデータを中間バッファに一時的に記憶し、前記アプリケーション処理部から前記アプリケーションデータは必要か否か判定できないという通知を受けた後に、前記アプリケーションデータは必要であるという通知を受けた場合、前記中間バッファに一時的に記憶された前記アプリケーションデータを前記アプリケーションデータ記憶部に記憶する、再生装置。
【請求項２】
前記アプリケーション処理部は、前記アプリケーションデータが必要か否か判定できない場合、前記アプリケーションデータが処理されるべき時点において、前記アプリケーションデータに対応する条件が満たされているか否かを判定し、当該判定に基づいて前記アプリケーションデータが必要か否かの通知を返す、請求項１記載の再生装置。
【請求項３】
前記アプリケーションデータは、前記動画データの再生と同期してユーザにインタラクティブな機能を提供するアプリケーションを構成する、スクリプトファイル、マークアップファイル、画像データ、及びテキストデータを含む、請求項１記載の再生装置。
【請求項４】
前記多重化されたデータは、記録媒体を介して前記分離処理部に供給される、請求項１記載の再生装置。
【請求項５】
前記多重化されたデータは、ネットワークを介して前記分離処理部に供給される、請求項１記載の再生装置。
【請求項６】
圧縮符号化された動画データと、前記動画データの再生に同期して処理されるべきアプリケーションデータとが多重化されたデータを、前記動画データと、前記アプリケーションデータとに分離するステップと、
前記分離された動画データをデコードするステップと、
前記アプリケーションデータが必要か否かを判定するステップと、
前記アプリケーションデータが必要であると判定された場合、前記アプリケーションデータを処理するステップと、
前記アプリケーションデータが必要か否か判定できない場合、前記アプリケーションデータを中間バッファに一時的に記憶するステップと、
前記中間バッファに一時的に記憶されたアプリケーションデータが必要であるか否かを判定するステップと、
前記中間バッファに一時的に記憶されたアプリケーションデータが必要であると判定された場合、前記一時的に記憶されたアプリケーションデータを処理するステップと、
前記デコードされた動画データと、前記処理されたアプリケーションデータとを合成して、出力画像を生成するステップと
を具備する、再生方法。
【請求項７】
前記中間バッファに一時的に記憶されたアプリケーションデータが必要であるか否かを判定するステップは、前記アプリケーションデータが処理されるべき時点において、前記アプリケーションデータに対応する条件が満たされているか否かを判定し、当該判定に基づいて前記アプリケーションデータが必要か否かを判定するステップを含む、請求項６記載の再生方法。
【請求項８】
前記アプリケーションデータは、前記動画データの再生と同期してユーザにインタラクティブな機能を提供するアプリケーションを構成する、スクリプトファイル、マークアップファイル、画像データ、及びテキストデータを含む、請求項６記載の再生方法。
【請求項９】
前記多重化されたデータは、記録媒体を介して供給される、請求項６記載の再生方法。
【請求項１０】
前記多重化されたデータは、ネットワークを介して供給される、請求項６記載の再生方法。
【請求項１１】
コンピュータに、
圧縮符号化された動画データと、前記動画データの再生に同期して処理されるべきアプリケーションデータとが多重化されたデータを、前記動画データと、前記アプリケーションデータとに分離する機能と、
前記分離された動画データをデコードする機能と、
前記アプリケーションデータが必要か否かを判定する機能と、
前記アプリケーションデータが必要であると判定された場合、前記アプリケーションデータを処理する機能と、
前記分離されたアプリケーションデータが必要か否か判定できない場合、前記アプリケーションデータを中間バッファに一時的に記憶する機能と、
前記中間バッファに一時的に記憶されたアプリケーションデータが必要であるか否かを判定する機能と、
前記中間バッファに一時的に記憶されたアプリケーションデータが必要であると判定された場合、前記一時的に記憶されたアプリケーションデータを処理する機能と、
前記デコードされた動画データと、前記処理されたアプリケーションデータとを合成して、出力画像を生成する機能と
を実現させる、プログラム。
【請求項１２】
前記中間バッファに一時的に記憶されたアプリケーションデータが必要であるか否かを判定する機能は、前記アプリケーションデータが処理されるべき時点において、前記アプリケーションデータに対応する条件が満たされているか否かを判定し、当該判定に基づいて前記アプリケーションデータが必要か否かを判定する機能を含む、請求項１１記載のプログラム。
【請求項１３】
前記アプリケーションデータは、前記動画データの再生と同期してユーザにインタラクティブな機能を提供するアプリケーションを構成する、スクリプトファイル、マークアップファイル、画像データ、及びテキストデータを含む、請求項１１記載のプログラム。
【請求項１４】
前記多重化されたデータは、記録媒体を介して供給される、請求項１１記載のプログラム。
【請求項１５】
前記多重化されたデータは、ネットワークを介して供給される、請求項１１記載のプログラム。
【請求項１】
圧縮符号化された動画データと、前記動画データの再生に同期して処理されるべきアプリケーションデータとが多重化されたデータを、前記動画データと、前記アプリケーションデータとに分離する分離処理部と、
前記分離処理部によって分離された前記アプリケーションデータを記憶するアプリケーションデータ記憶部と、
前記分離処理部によって分離された前記動画データをデコードする再生処理部と、
前記アプリケーションデータ記憶部に記憶された前記アプリケーションデータを処理するアプリケーション処理部と、
前記再生処理部によってデコードされた前記動画データと、前記アプリケーション処理部によって処理された前記アプリケーションデータとを合成して、出力画像を生成する出力合成部とを具備し、
前記分離処理部は、前記アプリケーション処理部に前記アプリケーションデータが必要か否かの問い合わせを行い、前記アプリケーション処理部から前記アプリケーションデータは必要であるという通知を受けた場合、前記アプリケーションデータを前記アプリケーションデータ記憶部に記憶し、前記アプリケーション処理部から前記アプリケーションデータは必要か否か判定できないという通知を受けた場合、前記アプリケーションデータを中間バッファに一時的に記憶し、前記アプリケーション処理部から前記アプリケーションデータは必要か否か判定できないという通知を受けた後に、前記アプリケーションデータは必要であるという通知を受けた場合、前記中間バッファに一時的に記憶された前記アプリケーションデータを前記アプリケーションデータ記憶部に記憶する、再生装置。
【請求項２】
前記アプリケーション処理部は、前記アプリケーションデータが必要か否か判定できない場合、前記アプリケーションデータが処理されるべき時点において、前記アプリケーションデータに対応する条件が満たされているか否かを判定し、当該判定に基づいて前記アプリケーションデータが必要か否かの通知を返す、請求項１記載の再生装置。
【請求項３】
前記アプリケーションデータは、前記動画データの再生と同期してユーザにインタラクティブな機能を提供するアプリケーションを構成する、スクリプトファイル、マークアップファイル、画像データ、及びテキストデータを含む、請求項１記載の再生装置。
【請求項４】
前記多重化されたデータは、記録媒体を介して前記分離処理部に供給される、請求項１記載の再生装置。
【請求項５】
前記多重化されたデータは、ネットワークを介して前記分離処理部に供給される、請求項１記載の再生装置。
【請求項６】
圧縮符号化された動画データと、前記動画データの再生に同期して処理されるべきアプリケーションデータとが多重化されたデータを、前記動画データと、前記アプリケーションデータとに分離するステップと、
前記分離された動画データをデコードするステップと、
前記アプリケーションデータが必要か否かを判定するステップと、
前記アプリケーションデータが必要であると判定された場合、前記アプリケーションデータを処理するステップと、
前記アプリケーションデータが必要か否か判定できない場合、前記アプリケーションデータを中間バッファに一時的に記憶するステップと、
前記中間バッファに一時的に記憶されたアプリケーションデータが必要であるか否かを判定するステップと、
前記中間バッファに一時的に記憶されたアプリケーションデータが必要であると判定された場合、前記一時的に記憶されたアプリケーションデータを処理するステップと、
前記デコードされた動画データと、前記処理されたアプリケーションデータとを合成して、出力画像を生成するステップと
を具備する、再生方法。
【請求項７】
前記中間バッファに一時的に記憶されたアプリケーションデータが必要であるか否かを判定するステップは、前記アプリケーションデータが処理されるべき時点において、前記アプリケーションデータに対応する条件が満たされているか否かを判定し、当該判定に基づいて前記アプリケーションデータが必要か否かを判定するステップを含む、請求項６記載の再生方法。
【請求項８】
前記アプリケーションデータは、前記動画データの再生と同期してユーザにインタラクティブな機能を提供するアプリケーションを構成する、スクリプトファイル、マークアップファイル、画像データ、及びテキストデータを含む、請求項６記載の再生方法。
【請求項９】
前記多重化されたデータは、記録媒体を介して供給される、請求項６記載の再生方法。
【請求項１０】
前記多重化されたデータは、ネットワークを介して供給される、請求項６記載の再生方法。
【請求項１１】
コンピュータに、
圧縮符号化された動画データと、前記動画データの再生に同期して処理されるべきアプリケーションデータとが多重化されたデータを、前記動画データと、前記アプリケーションデータとに分離する機能と、
前記分離された動画データをデコードする機能と、
前記アプリケーションデータが必要か否かを判定する機能と、
前記アプリケーションデータが必要であると判定された場合、前記アプリケーションデータを処理する機能と、
前記分離されたアプリケーションデータが必要か否か判定できない場合、前記アプリケーションデータを中間バッファに一時的に記憶する機能と、
前記中間バッファに一時的に記憶されたアプリケーションデータが必要であるか否かを判定する機能と、
前記中間バッファに一時的に記憶されたアプリケーションデータが必要であると判定された場合、前記一時的に記憶されたアプリケーションデータを処理する機能と、
前記デコードされた動画データと、前記処理されたアプリケーションデータとを合成して、出力画像を生成する機能と
を実現させる、プログラム。
【請求項１２】
前記中間バッファに一時的に記憶されたアプリケーションデータが必要であるか否かを判定する機能は、前記アプリケーションデータが処理されるべき時点において、前記アプリケーションデータに対応する条件が満たされているか否かを判定し、当該判定に基づいて前記アプリケーションデータが必要か否かを判定する機能を含む、請求項１１記載のプログラム。
【請求項１３】
前記アプリケーションデータは、前記動画データの再生と同期してユーザにインタラクティブな機能を提供するアプリケーションを構成する、スクリプトファイル、マークアップファイル、画像データ、及びテキストデータを含む、請求項１１記載のプログラム。
【請求項１４】
前記多重化されたデータは、記録媒体を介して供給される、請求項１１記載のプログラム。
【請求項１５】
前記多重化されたデータは、ネットワークを介して供給される、請求項１１記載のプログラム。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２００８−５９６６６（Ｐ２００８−５９６６６Ａ）
【公開日】平成２０年３月１３日（２００８．３．１３）
【国際特許分類】
【出願番号】特願２００６−２３３７９５（Ｐ２００６−２３３７９５）
【出願日】平成１８年８月３０日（２００６．８．３０）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２０年３月１３日（２００８．３．１３）
【国際特許分類】
【出願日】平成１８年８月３０日（２００６．８．３０）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]