ユーザの要求により活性化されるインタラクティブ・グラフィック・ストリームを保存した保存媒体及び再生装置
【課題】 ユーザの要求により活性化されるインタラクティブ・グラフィック・ストリームを保存した保存媒体及び再生装置を提供する。
【解決手段】 ビデオデータ及びビデオデータに基づいて出力される映像上にメニュー画面を提供するためのグラフィックデータを保存し、グラフィックデータはユーザから活性化要求がある場合に画面上に出力される第1グラフィックデータと、指定された時間に画面上に出力される第2グラフィックデータと、を含むことを特徴とする保存媒体である。これにより、指定された時間に、またはユーザの要求がある時に、メニュー画面のようなグラフィックが画面に出力されるように制御しうる。
【解決手段】 ビデオデータ及びビデオデータに基づいて出力される映像上にメニュー画面を提供するためのグラフィックデータを保存し、グラフィックデータはユーザから活性化要求がある場合に画面上に出力される第1グラフィックデータと、指定された時間に画面上に出力される第2グラフィックデータと、を含むことを特徴とする保存媒体である。これにより、指定された時間に、またはユーザの要求がある時に、メニュー画面のようなグラフィックが画面に出力されるように制御しうる。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、マルチメディア映像の再生に係り、特に、ユーザの要求により活性化されるインタラクティブ・グラフィック・ストリームを保存した保存媒体及び再生装置に関する。
【背景技術】
【0002】
マルチメディア映像を再生するために、保存媒体には、マルチメディア映像に関するAVデータ、AVデータの再生を制御するナビゲーションデータ、そして保存媒体が再生装置に挿入されれば、最初に再生されるAVデータのタイトルに関する指示情報などを含むシステムデータなどが記録される。その他に、保存媒体にはその他の付加データが含まれうる。特に、AVデータ(Audio−visual data)は、ビデオ、オーディオ、サブタイトル、メニューなどの再生に必要な多様な情報が1つのメインストリームに多重化されて記録される。
【0003】
図1は、保存媒体に記録されたAVデータの構造を示す図である。図1を参照するに、マルチメディア映像を再生するための保存媒体には、ビデオストリーム102、オーディオストリーム104、サブタイトルを提供するためのプレゼンテーション・グラフィック・ストリーム106及びメニュー画面を提供するためのインタラクティブ・グラフィック・ストリーム108が多重化されて1つのメインストリームに記録される。多重化されたメインストリームを以下ではAVデータ110と略称する。
【0004】
図2は、AVデータ110を記録した保存媒体を再生するための再生装置の構造を示す図である。図2を参照するに、マルチメディア映像を再生するための再生装置は、前述したナビゲーションデータをロードして、AVデータ110を再生するために必要な制御情報を得る。例えば、AVデータのコーディングタイプ、ビット率、AVデータが記録された領域情報、AVデータに含まれたデータの種類についての情報がそれである。このような制御情報を参照して、読込部210、デマルチプレクサ220及び各デコーダ230ないし260の動作を制御する。
【0005】
具体的に、読込部210は、前述したAVデータが記録された領域情報を用いて保存媒体200から多重化されたAVデータ110を読込み、これをデマルチプレクサ220に伝送する。デマルチプレクサ220は、伝送されたAVデータ110をデータ種類によってビデオストリーム102、オーディオストリーム104、プレゼンテーション・グラフィック・ストリーム106、及びインタラクティブ・グラフィック・ストリーム108に分離して該当デコーダ230ないし260に伝送する。該当デコーダに伝送された各ストリームは、データ種類に合わせてデコーディングされ、指定された時間に画面上に出力可能に準備される。デコーディングされたビデオストリームとプレゼンテーション・グラフィック・ストリーム及び/またはインタラクティブ・グラフィック・ストリームは、ブレンダ270を通じて1つの映像にオーバレイされる。最後に、ユーザが設定した出力状態に基づいて選択された映像が画面に出力される。例えば、サブタイトルのオン/オフ、オーディオ音消去のようにユーザの選択に基づいて再生装置の出力状態が制御されうる。
【0006】
特に、インタラクティブ・グラフィックデコーダ250は、保存媒体200からインタラクティブ・グラフィック・ストリーム108を伝送され、これをデコーディングした後、指定された時間になれば、画面上にボタンなどが含まれたメニュー画面を出力する。出力されたメニュー画面でユーザが特定ボタンを選択することによって、ユーザの選択を入力されうる。すなわち、ユーザとの相互作用機能を提供しうる。
【0007】
しかし、従来の再生装置は、映画のようなマルチメディア映像を再生する場合、ユーザが所望しない場合でも指定された時間になれば、無条件メニュー画面を出力する。このように映画の鑑賞中に所望しないメニュー画面が出力されれば、ユーザは相当な不便さを感じうる。
【発明の開示】
【発明が解決しようとする課題】
【0008】
したがって、本発明の目的は、前述した問題点を解決するために、ユーザとの相互作用を支援するためのインタラクティブ・グラフィック・ストリームの機能を拡張して、ユーザの要求によって活性化されるオンデマンド・インタラクティブ・グラフィック・ストリームを記録した保存媒体及び再生装置を提供することである。
【課題を解決するための手段】
【0009】
前記目的は、ビデオデータと、ビデオデータに基づいて出力される画面上にオーバレイされるメニュー画面を提供するためのグラフィックデータを含み、グラフィックデータは、ユーザから活性化要求がある場合に画面上に出力される第1グラフィックデータと、を含むことを特徴とする保存媒体により達成される。
【0010】
グラフィックデータは、指定された時間に画面上に出力される第2グラフィックデータをさらに含むことが望ましい。
【0011】
また、第1及び第2グラフィックデータは、互いに類似した構造体を使用して具現され、構造体は両者を区分するためのフィールドを含むことが望ましい。
【0012】
また、第1及び第2グラフィックデータは、グラフィックセグメント構造体(graphic_segmentstructure)を使用して具現され、グラフィックセグメント構造体は、第1及び第2グラフィックデータのタイプ値が各々定義されたセグメントタイプフィールドを含むことが望ましい。
【0013】
また、第1及び第2グラフィックデータは、インタラクティブ・グラフィックセグメント構造体(interactive_graphic_segment structure)を使用して具現され、インタラクティブ・グラフィックセグメント構造体には、両者を区分するためのタイプフィールドが追加されることが望ましい。
【0014】
また、第1グラフィックデータは、第2グラフィックデータと異なる別途のオンデマンド・インタラクティブ・グラフィック構造体(on_demand_interactive_graphics structure)を使用して具現され、オンデマンド・インタラクティブ・グラフィック構造体は、ユーザに第1グラフィックデータがデコーディングされて出力準備が完了した状態であることを知らせるための最初のメニューページについての情報と、ユーザから活性化要求を受ければ、出力される少なくとも1つのメニューページについての情報を含み、各メニューページは少なくとも1つのボタンを出力するための情報と、ユーザがボタンを選択した場合に行われる命令についての情報を含むことが望ましい。
【0015】
また、第1グラフィックデータがビデオデータと共に多重化されて1つのストリームに記録されるか、または第1グラフィックデータ及び第2グラフィックデータがビデオデータと共に多重化されて1つのストリームに記録されることが望ましい。
【0016】
また、第1グラフィックデータ及び第2グラフィックデータは、ビデオデータと共に多重化されて1つのストリームに記録され、第1グラフィックデータにより使われる、メニュー画面のイメージを示すオブジェクトデータは別途のストリームに分離されて記録されることが望ましい。
【0017】
一方、本発明の他の分野によれば、前記目的は、ビデオデータと、ビデオデータに基づいて出力される画面上にオーバレイされるメニュー画面を提供するためのグラフィックデータを記録した保存媒体を再生する再生装置において、ビデオデータをデコーディングするビデオデコーダと、グラフィックデータをデコーディングするグラフィックデコーダと、を備え、グラフィックデコーダは、ユーザから活性化要求がある場合に画面上に出力される第1グラフィックデータ及び指定された時間に画面上に出力される第2グラフィックデータをデコーディングすることを特徴とする再生装置によって達成される。
【0018】
また、デコーディングされたビデオデータとグラフィックデータをオーバレイするブレンダと、ユーザ入力をグラフィックデコーダに伝達するインターフェースとをさらに含むことが望ましい。
【発明の効果】
【0019】
本発明によれば、オンデマンド・インタラクティブ・グラフィック・ストリームを用いてユーザの要求がある時にボタン等のインタラクティブ・グラフィックが画面に出力されるように制御しうる。
【0020】
また、AVデータの任意の区間別に、あるいはAVデータのチャプター別に相異なるオンデマンド・インタラクティブ・グラフィック・ストリームを構成することによって、該当区間に特化されたインタラクティブ・グラフィック・ストリームを構成しても良い。例えば、一定の機能を行うボタンの代わりに、マルチメディア映像中の一定区間内に存在する俳優、小品、撮影場所などの関連情報をユーザに提供しうる。
【0021】
また、再生装置の機能の増加に伴ってリモコンの各ボタンに該当する機能をオンデマンド・インタラクティブ・グラフィック・ストリームを使用してメニュー形式で構成することによって、リモコンのボタン数を減らしうる。
【発明を実施するための最良の形態】
【0022】
以下、添付した図面を参照して本発明の望ましい実施例を詳細に説明する。以下では、説明の便宜上、ユーザが望みの場合にだけ出力されるメニュー画面を提供するデータストリームをオンデマンドインタラクティブ・グラフィック・ストリームだとして、指定された時間に出力されるメニュー画面を提供するデータストリームを一般(normal)インタラクティブ・グラフィック・ストリームだと略称する。
【0023】
図3は、本発明に係るインタラクティブ・グラフィック・ストリームの構成を示す図である。図3を参照するに、インタラクティブ・グラフィック・ストリームは、デコーダの動作モデルを考慮してエポックという単位で構成される。複数のボタンで構成されたメニュー画面で1つのボタンを再生するための情報をインタラクティブ・グラフィック・オブジェクトと言う。1つのエポック内に含まれたあらゆるインタラクティブ・グラフィック・オブジェクトは後述するインタラクティブ・グラフィックデコーダ内のオブジェクトバッファにデコーディングされて保存され続け、次のエポックのデータが入らない限り、その内容は同一に保たれる。これにより、1つのエポック内では、毎度インタラクティブ・グラフィック・オブジェクトをデコーディングする必要がなく、既にデコーディングされてオブジェクトバッファに保存されたインタラクティブ・グラフィック・オブジェクトを再使用しうる。しかし、1つのエポックが終わり、次のエポックが始まる瞬間にデコーダ内のあらゆるバッファはリセットされ、保存されたあらゆるデータが消去される。もちろん、デコーダ内のバッファがリセットされる時点を1つのエポック内の所定の時点と定義することもある。
【0024】
一方、インタラクティブ・グラフィック・オブジェクトの出力単位として図面のようにディスプレイセットが定義される。ディスプレイセットは、1つの画面に出力されるインタラクティブ・グラフィック・オブジェクトの集合を示し、1つのエポックは少なくとも1つ以上のディスプレイセットを含みうる。各ディスプレイセットは、3種がある。第1に、エポック開始(epoch start:以下、ESと略称する)状態のディスプレイセットはエポックの開始を示し、このディスプレイセットには、インタラクティブ・グラフィックを構成するために必要なインタラクティブ・グラフィック構成情報やボタンのイメージに使われるオブジェクトデータのようなインタラクティブ・グラフィックを出力するためのあらゆるデータが含まれる。第2に、収集時点(Acqusition point:以下APと略称する)のディスプレイセットはESディスプレイセット以後に存在でき、ユーザのランダムサーチのような場合に対応してインタラクティブ・グラフィックを構成するためのあらゆる情報を含む。第3に、正規状態(Noraml state:以下、NCと略称する)であるディスプレイセットは以前のディスプレイセットで構成したインタラクティブ・グラフィックのうち変更が必要なデータ、すなわち更新されるデータだけを含んでいる。図面のように1つのエポックには、複数のディスプレイセットが含まれうる。エポックの開始部分にはESディスプレイセットが存在し、それ以後にはAPまたはNCディスプレイセットが存在しうる。1つのエポックにおいてESディスプレイセットは必須的に存在するが、APまたはNCディスプレイセットは選択的に存在する。
【0025】
また、1つのディスプレイセットは、インタラクティブ・グラフィック・ストリームの構成情報を記録する構成セグメント、画面上に出力されるボタンなどの実際イメージのようなオブジェクトデータを記録する複数の定義セグメント、そしてディスプレイセットの端部を示す終了セグメントより構成される。構成セグメントには該当ディスプレイセットの出力完了時間情報、ボタン構成情報、ユーザの入力に関する再生装置の動作情報などを含む。構成セグメントは、ICS(Interactive Composition Segment)という、データ構造を使用して具現しうる。定義セグメントにはボタンなどのイメージ情報を有しているオブジェクトデータを含むODS(Objec Definition Segment)や前記ODSに適用される色相情報を含むPDS(Palette Definition Segment)などが含まれる。
【0026】
1つのディスプレイセット内の各セグメントは、MPEG−2伝送ストリーム(Transport Stream:以下TSと略称する)のパケット単位であるPES(Packetized Elementary Stream)に記録される。このPESに含まれたデコーディング時間であるDTS(Decoding Time Stamp)に該当ディスプレイセットをデコーディングし、プレゼンテーション時間であるPTS(Presentation Time Stamp)に該当ディスプレイセットを画面上に出力し始める。また、該当ディスプレイセットの出力完了時間は前述した構成セグメントのデータ構造を示すICSに記録されているcomposition_time_out_ptsフィールドの値により決定される。
【0027】
これにより、インタラクティブ・グラフィック・ストリームは指定された時間(PTS)に画面に出力されてユーザの入力を受け、それによる動作を行って指定された出力完了時間(composition_time_out_pts)に画面上で消える。しかし、指定時間だけを使用してインタラクティブ・グラフィック・ストリームを出力する場合、ユーザが所望しない場合でも指定された時間になれば、無条件メニュー画面を出力する。すなわち、ユーザの要求がある場合にのみメニュー画面を活性化させることはできない。
【0028】
したがって、本発明では、ユーザとの相互作用を目的とするインタラクティブ・グラフィック・ストリームの機能を拡張し、ユーザの要求により活性化されるオンデマンド(on−demand)インタラクティブ・グラフィック・ストリームを定義する。本発明で定義するオンデマンド・インタラクティブ・グラフィック・ストリームと区別し、前述した指定された時間によって出力されるインタラクティブ・グラフィック・ストリームを一般のインタラクティブ・グラフィック・ストリームと表現する。
【0029】
一般のインタラクティブ・グラフィック・ストリームは、前述したように指定された時間に画面に出力され、指定された時間に画面から消える。一方、オンデマンド・インタラクティブ・グラフィック・ストリームはあらゆるデータがデコーディングされて出力準備が完了した後、ユーザにより活性化要求が発生した場合にだけ画面上に出力され、ユーザから入力されて指定された動作を行う。すなわち、オンデマンド・インタラクティブ・グラフィック・ストリームは、画面出力時間情報(PTS)により指定された時間になれば、ボタンのようなインタラクティブ・グラフィック・オブジェクトの有効期間が始まる点は同じであるが、ボタンが必ずしも画面に出力されねばならないものではなく、ユーザの要求により画面上での出力如何を決定するようになる。
【0030】
一般のインタラクティブ・グラフィック・ストリームの場合、出力完了時間composition_time_out_ptsが画面上でのボタンの出力完了時間を意味し、一方、オンデマンド・インタラクティブ・グラフィック・ストリームは、デコーダのバッファでのボタンと関連したデータの除去時点を意味する。すなわち、出力完了時間以後にはユーザからボタンの活性化要求が発生しても、これ以上活性化されるオンデマンド・インタラクティブ・グラフィック・ストリームが存在しないので、ユーザの活性化要求は無視される。
【0031】
図4及び図5A及び図5Bは、一般のインタラクティブ・グラフィック・ストリームと本発明に係るオンデマンド・インタラクティブ・グラフィック・ストリームとの動作差を説明するための図である。図4は、一般のインタラクティブ・グラフィック・ストリームの再生時の動作を説明するための図である。図4を参照するに、AVデータ内に一般のインタラクティブ・グラフィック・ストリームが多重化されている。デコーディングされた一般のインタラクティブ・グラフィック・ストリームは、エポック開始状態のディスプレイセットの構成セグメント(ICS)に含まれた画面出力時間情報(PTS)によって画面上に出力される。この際、ユーザは画面上に出力されたボタンをナビゲーションするか、あるいは選択しうる。ユーザの入力によってボタンに割り当てられた指定された動作が行われる。
【0032】
例えば、ボタン移動時には選択状態のボタンを変更してボタンの出力イメージをその状態に合わせて変更させる動作を行い、ユーザが特定のボタンを選択すれば該当ボタンに定義されているナビゲーション命令語による動作を行う。また、該当ボタンに定義された命令をAVデータの他の位置に移動させる命令である場合、現在の一般のインタラクティブ・グラフィック・ストリームの出力完了時間composition_time_out_ptsに到達していないとしても、該当ボタンは画面上で消え、移動命令により指示される位置のAVデータが出力される。一方、該当ボタンに定義されている命令がAVデータの位置を移動する動作でない場合には、ボタンに定義されている命令を行った後、出力完了時間composition_time_out_ptsまで各ボタンの出力が保持された後、出力完了時間が経過すれば、該当ボタンが画面上で消える。すなわち、一般のインタラクティブ・グラフィック・ストリームは指定された時間に画面上に出力されていて、指定された出力完了時間になれば画面上で消える。
【0033】
一方、図5A及び図5Bは、本発明に係るオンデマンド・インタラクティブ・グラフィック・ストリームの再生時の動作を説明するための図である。図5Aを参照するに、AVデータ内にオンデマンド・インタラクティブ・グラフィック・ストリームが多重化されている。オンデマンド・インタラクティブ・グラフィック・ストリームがデコーディングされれば、活性化準備が完了する。活性化準備が完了した後にも、該当ボタンは画面上に出力されず、ユーザの要求が発生する場合にのみ該当オンデマンド・インタラクティブ・グラフィック・ストリームが活性化されて画面上に出力され、ユーザから入力されうる。出力されたボタンは、出力完了時間composition_time_out_ptsになれば、画面上で消える。また、エポックを出力完了時間までに定義することによって、出力完了時間になれば、デコーダのバッファにあるあらゆるデコーディングされたデータも消える。したがって、出力完了時間以後のユーザの活性化要求は無視される。
【0034】
一方、図5Bを参照するに、図5Aとは異なる例として、図4の一般のインタラクティブ・グラフィック・ストリームのエポックの定義と同様に、エポックを次のエポック開始状態のICSに到達する前までに定義することもできる。この場合には、次のエポック開始状態のICSに到達すれば、デコーダ内のバッファから関連データが全て除去されるので、出力完了時間composition_time_out_ptsになっても、関連データをデコーダ内で除去する必要がない。但し、出力完了時間が経過された後にユーザからメニューに関する活性化要求が発生すれば、有効なインタラクティブディスプレイ期間が過ぎたことを認知し、該当ボタンを再生しない。すなわち、出力完了時間以後のユーザの活性化要求は無視される。
【0035】
前述したようなオンデマンド・インタラクティブ・グラフィック・ストリームと一般のインタラクティブ・グラフィック・ストリームとは、基本的に同じデータ構造を有することが望ましい。但し、オンデマンド・インタラクティブ・グラフィック・ストリームの場合は、ユーザの活性化要求により画面上にボタンの出力如何を決定し、一方、一般のインタラクティブ・グラフィック・ストリームの場合、データ構造内に指定された時間によって画面上へのボタンの出力が異なるだけである。すなわち、二種のインタラクティブ・グラフィック・ストリームを区分する情報だけ追加すれば、同じデータ構造を用いて二種のインタラクティブ・グラフィック・ストリームの具現が可能である。
【0036】
より具体的な実施例として、本発明に係るオンデマンド・インタラクティブ・グラフィック・ストリームと一般のインタラクティブ・グラフィック・ストリームとを区分して具現する方法としては次の通りである。
【0037】
方法1:ICSの情報のうちsegment_typeで区分する方法と、
方法2:ICSにICS_typeフィールドをさらに定義する方法と、
方法3:オンデマンド・インタラクティブ・グラフィック・ストリームを示す新たな構造体として、On_demand_ICS構造体を定義する方法と、がある。
【0038】
図6Aないし図6Cは、本発明に係るオンデマンド・インタラクティブ・グラフィック・ストリームを一般のインタラクティブ・グラフィック・ストリームと区分するための一実施例(方法1)を示す図である。図6A及び図6Bを参照するに、グラフィックセグメントgraphic_segment構造体は、セグメントの種類を示すセグメントタイプsegment_typeフィールド604を有する。図6Cにはセグメントタイプフィールド604が有し得るセグメントの種類が定義されている。本発明に係る方法1は、示されたように一般のインタラクティブ・グラフィック・ストリーム用のセグメントタイプは0x18という値を有し(606)、オンデマンド・インタラクティブ・グラフィック・ストリーム用のセグメントタイプは0x19という値を有するように(607)定義する。すなわち、方法1は、二種のインタラクティブ・グラフィック・ストリームが同じ構造体を使用しつつ、セグメントタイプを示すセグメントタイプフィールド604で両者を区別する方法である。
【0039】
図7は、本発明に係るオンデマンド・インタラクティブ・グラフィック・ストリームを一般のインタラクティブ・グラフィック・ストリームと区分するための他の実施例(方法2)を示す図である。図7を参照するに、方法2によれば、オンデマンド及び一般のインタラクティブ・グラフィック・ストリームは、何れも同じ構造体interactive_composition_segmentを使用し、ICS_type702で両者を区別する。すなわち、ICS_typeが0であれば、一般のインタラクティブ・グラフィック・ストリームを表し、ICS_typeが1であれば、オンデマンド・インタラクティブ・グラフィック・ストリームを示すように定義する。
【0040】
図8は、本発明に係るオンデマンド・インタラクティブ・グラフィック・ストリームを一般のインタラクティブ・グラフィック・ストリームと区分するためのさらに他の実施例(方法3)を示す図である。図8を参照するに、新たに定義されたOn_demand_ICS構造体が図示される。前述した方法1または方法2が同じ構造体を使用し、一方、方法3は、オンデマンド・インタラクティブ・グラフィック・ストリームのための新たな構造体を定義する。
【0041】
オンデマンド・インタラクティブ・グラフィック・ストリームのための新たな構造体であるOn_demand_ICS構造体は、一般のインタラクティブ・グラフィック・ストリームのための構造体とは異なって、オンデマンド・インタラクティブ・グラフィック・ストリームのデコーディングが完了してユーザにより活性化されうる状態であることをユーザに知らせるための最初のボタンを含むページ(initial output page)と、ユーザにより活性化された後に出力されるボタンを含むページ(1−output pageないしNth−output page)、すなわち1番目のメニューページないしn番目のメニューページを段階別に分けて構成するように定義する。各出力されるページには少なくとも1つ以上の出力されるボタンに関する再生情報と該当ボタンが選択された場合に行われる命令情報とが含まれうる。
【0042】
前述した本発明に係るオンデマンド・インタラクティブ・グラフィック・ストリームの具現例に基づき、本発明に係るオンデマンド・インタラクティブ・グラフィック・ストリームを支援する再生装置の構造を説明する。
【0043】
図9及び図10は、本発明に係るオンデマンド・インタラクティブ・グラフィック・ストリームを支援する再生装置の一実施例を示す図である。図9を参照するに、本発明に係る再生装置のインタラクティブ・グラフィックデコーダのブロック図が示されている。図2に示された保存媒体から読込まれたAVデータは、PID(Packet IDentifier)フィルター902を通じてインタラクティブ・グラフィック・ストリームだけが選択的に伝送バッファ904に伝送された後、インタラクティブ・グラフィックデコーダ910でデコーディングされる。
【0044】
一方、インタラクティブ・グラフィックデコーダ910内では、インタラクティブ・グラフィック・ストリームがコーディングデータバッファ912に一時保存されていて、ストリームグラフィック処理器914に伝送される。伝送されたインタラクティブ・グラフィック・ストリームは、ストリームグラフィック処理器914でデコーディングされ、ボタンイメージ用のオブジェクトデータはオブジェクトバッファ916に伝送され、ボタンの構成情報は、構成バッファ918に伝送される。グラフィック制御器920では伝送された各オブジェクトデータに対して該当構成情報を参照して出力されるイメージを構成し、構成されたイメージをグラフィック平面930に伝送する。すなわち、インタラクティブ・グラフィック・ストリームの出力開始時間のPTSになれば、グラフィック制御器920の制御を受けて現在画面上に出力されるイメージを決定し、該決定されたイメージをオブジェクトバッファ916からグラフィック平面930に伝送する。伝送されたイメージは、該当構成情報に含まれた色相情報によって色相参照テーブル932(Color Lookup Table:CLUTと略称する)を参照してイメージを出力する。また、グラフィック制御器920はユーザの入力(User Operation:UOPと略称する)を受けてボタンの移動や選択によるボタン状態を変更し、その結果を画面出力に適用させることもある。
【0045】
特に、図9は、一般のインタラクティブ・グラフィック・ストリームとオンデマンド・インタラクティブ・グラフィック・ストリームとが同じバッファメモリを使用するように構成された再生装置のブロック図を示す。図面のように2種のインタラクティブ・グラフィック・ストリームがデコーダ910内の同じバッファを使用するので、瞬間的に一般のインタラクティブ・グラフィック・ストリームまたはオンデマンド・インタラクティブ・グラフィック・ストリームのうち何れか1つだけがデコーダのバッファ内に存在するようになる。すなわち、一度に1種のインタラクティブ・グラフィック・ストリームだけを処理しうる。
【0046】
一方、図10は、本発明に係るオンデマンド・インタラクティブ・グラフィック・ストリームを再生するための再生装置の他の実施例を示す図である。図10を参照するに、一般のインタラクティブ・グラフィック・ストリームとオンデマンド・インタラクティブ・グラフィック・ストリームとが相異なるバッファメモリを使用するように構成された再生装置が図示されている。すなわち、一般のインタラクティブ・グラフィック・ストリームは一般のICSメモリ領域1010に保存され、オンデマンド・インタラクティブ・グラフィック・ストリームは、オンデマンドICSメモリ領域1020に保存される。したがって、二種のインタラクティブ・グラフィック・ストリームがバッファメモリに同時に存在しうる。この場合、オンデマンド・インタラクティブ・グラフィック・ストリームがバッファに存在する状態で一般のインタラクティブ・グラフィック・ストリームが入力された場合、またはその反対の場合に、デコーダのバッファメモリをリセットしなくても良いという長所がある。
【0047】
但し、二種のインタラクティブ・グラフィック・ストリームが同時に画面上に出力される場合、ユーザの入力をどちらに伝送すべきかが不明であり、画面構成のための色相情報などの適用に問題が発生しうる。したがって、図には示されていないが、一般のインタラクティブ・グラフィック・ストリームとオンデマンド・インタラクティブ・グラフィック・ストリームのうち、出力されるストリームを選択する制御ブロックと各インタラクティブ・グラフィック・ストリーム用のCLUTブロックを各々具備することが望ましい。
【0048】
図11は、本発明に係るインタラクティブ・グラフィック・ストリームがAVデータ上に記録される実施例を示す図である。図11を参照するに、(a)は、1つのAVデータ内にオンデマンド・インタラクティブ・グラフィック・ストリームだけが記録された場合を示す。(b)は、1つのAVデータ内に一般のインタラクティブ・グラフィック・ストリームだけが記録された場合を示す。(c)は、1つのAVデータ内に二種のインタラクティブ・グラフィック・ストリームが混ぜられて記録された場合を示す。(d)は、1つのAVデータ内に二種のインタラクティブ・グラフィック・ストリームが混ぜられて記録されており、オンデマンド・インタラクティブ・グラフィック・ストリームが他のAVデータと別途に分離されて記録された場合を示す。特に、(d)は、AVデータの最初から読込む場合は、AVデータの前部に記録されたオンデマンドICSデータを参照する。しかし、AVデータの中間部分から読込む場合には、AVデータにはオンデマンド・インタラクティブ・グラフィック・ストリームの構成情報だけが記録されており、実際のボタンイメージに関するオブジェクトデータは別途に記録されているために、AVデータに含まれた構成情報を参照して分離記録されたオブジェクトデータを使用してボタンなどを出力する。この場合、オブジェクトデータを別途に記録することによって、不要なデータの重複を防止しうる。
【0049】
以下、前述したオンデマンド・インタラクティブ・グラフィック・ストリームのデータ構造と再生装置の構造とに基づき、ユーザの活性化要求によってオンデマンド・インタラクティブ・グラフィック・ストリームが画面に出力される過程を説明する。
【0050】
図12及び図13は、本発明に係るインタラクティブ・グラフィック・ストリームについての情報を記録する再生装置の状態レジスター構成の一実施例を示す図である。図12を参照するに、再生装置の状態レジスター(Player Status Resister:以下PSRsと略称する)は、AVデータに含まれた複数のインタラクティブ・グラフィック・ストリームのうち現在再生中の、または今後再生するインタラクティブ・グラフィック・ストリームの番号を記録する。図面ではPSR 0の0〜7番ビットに保存された例が図示されている。したがって、マルチメディア映像の再生を一時停止した後、また再生を始める場合にも状態レジスターPSR 0を参照するに、直前に再生していたインタラクティブ・グラフィック・ストリームを再び再生しうる。
【0051】
一方、本発明のように一般のインタラクティブ・グラフィック・ストリームだけでなくオンデマンド・インタラクティブ・グラフィック・ストリームを何れも支援する再生装置の場合には、現在状態レジスターPSR 0に記録されたストリームの番号が一般のインタラクティブ・グラフィック・ストリーム用であるか、そうでなければ、オンデマンド・インタラクティブ・グラフィック・ストリーム用であるかを区別する必要がある。したがって、本発明に係る再生装置は、現在状態レジスターPSR 0に記録されているインタラクティブ・グラフィック・ストリーム番号が一般用であるか、デマンド用であるかを区別するためのICS_usageフラッグを具備する。図12では、PSR 0の30番目のビットに保存された例が図示されている。すなわち、現在再生中のインタラクティブ・グラフィック・ストリームがオンデマンド用である場合には、このフラッグが1に設定され、一般用である場合にはこのフラッグが0に設定される。
【0052】
また、オンデマンド・インタラクティブ・グラフィック・ストリームの場合、画面上に出力するか否かを選択できるようにdisp_flagフラッグが定義される。図12では、PSR 0の31番目のビットに保存された例が図示されている。このフラッグが1に設定された場合、オンデマンド・インタラクティブ・グラフィック・ストリームの活性化準備が完了すれば、この事実をユーザに知らせるために、再生装置は最初出力画面を画面上に出力する。一方、このフラッグが0に設定されている場合、再生装置は画面上にインタラクティブ・グラフィックを出力しない。
【0053】
一方、このフラッグが0に設定されており、オンデマンド・インタラクティブ・グラフィック・ストリームの活性化準備が完了した状態、すなわち、画面上にオンデマンド・インタラクティブ・グラフィック・ストリームが出力されないが、活性化準備が完了した場合の処理方法としては次のように2種が有り得る。第1に、ユーザから活性化要求が発生した場合、オンデマンド・インタラクティブ・グラフィック・ストリームが活性化されるように再生装置を構成する方法と、第2に、オンデマンド・インタラクティブ・グラフィック・ストリームを活性化せず、ユーザの要求を無視するように再生装置を構成する方法がそれである。
【0054】
一方、図13は、本発明に係るインタラクティブ・グラフィック・ストリームについての情報を記録する再生装置の状態レジスターの構成の他の実施例を示す図である。図13を参照するに、二種のインタラクティブ・グラフィック・ストリームが相異なる状態レジスターに記録されるように構成された再生装置の場合を示す。一般のインタラクティブ・グラフィック・ストリームについての情報は、PSR 0に記録され、オンデマンド・インタラクティブ・グラフィック・ストリームについての情報は、PSR 11に記録された例が図示されている。
【0055】
もし、ICSタイプが一般用であれば、PSR 0に一般のインタラクティブ・グラフィック・ストリームについての情報が記録され、オンデマンド用であれば、PSR 11に別途にオンデマンド・インタラクティブ・グラフィック・ストリームについての情報が記録されるので、図12のようにインタラクティブ・グラフィック・ストリームのICSタイプを区分するためのICS_usageフラッグが不要である。但し、PSR 11には、オンデマンド・インタラクティブ・グラフィック・ストリームの活性化準備が完了した後、これをユーザに知らせるための最初出力ページを画面上に出力するか否かを示すdisp_flagを定義する必要があり、その動作は図12の説明と同様である。図では、disp_flagがPSR 11の31番目のビットに保存された例が図示されている。
【0056】
図14は、ユーザにより発生するオンデマンド・インタラクティブ・グラフィック・ストリームの活性化要求を処理する過程を示す図である。図14を参照するに、ユーザにより活性化要求が発生する場合、再生装置はインタラクティブ・グラフィックデコーダ910内にオンデマンド・インタラクティブ・グラフィック・ストリームの活性化準備が完了したかをチェックし、完了したならば画面上に該当オンデマンド・インタラクティブ・グラフィック・ストリームを出力し、ユーザから入力されうるようにフォーカスを設定する。これで、ユーザからボタン選択に関する入力を受ける準備が完了する。もし、活性化準備が完了していなければ、ユーザからの活性化要求を無視するか、出力するオンデマンド・インタラクティブ・グラフィック・ストリームが無いということをユーザに知らせるためのメッセージを出力する。
【0057】
図15A及び図15Bは、図12または図13に示されたdisp_flagの設定状態に係る画面の出力状態を示す図である。図15Aを参照するに、disp_flagが1である場合であって、オンデマンド・インタラクティブ・グラフィック・ストリームがデコーディングされて活性化準備が完了すれば、最初メニューページが画面上に出力されてユーザに活性化準備が完了したことを知らせる。ユーザからオンデマンド・インタラクティブ・グラフィック・ストリームに関する活性化要求が発生すれば、最初のメニューページが画面上に出力される。
【0058】
図15Bを参照するに、disp_flagが0である場合であって、オンデマンド・インタラクティブ・グラフィック・ストリームがデコーディングされて活性化準備が完了しても最初メニューページが画面上に出力されない。但し、ユーザからオンデマンド・インタラクティブ・グラフィック・ストリームに関する活性化要求が発生すれば、再生装置はこの要求を無視するように構成されるか、または最初のメニューページが画面上に出力されるように構成されうる。
【0059】
図16は、disp_flagの設定を変更するための一実施例を示す図である。図16を参照するに、オンデマンド・インタラクティブ・グラフィック・ストリームの出力をオン/オフするメニュー項目が定義された再生装置のシステムメニューが図示されている。ユーザがシステムメニューでOn−demand ICS DisplayをOnに設定すれば、再生装置の状態レジスターのうちオンデマンド・インタラクティブ・グラフィック・ストリームについての情報を保存している状態レジスター、例えば、前述したPSR 0またはPSR 11のような状態レジスターのdisp_flagを1に設定する。一方、システムメニューでOn−demand ICS DisplayをOffに設定すれば、再生装置は状態レジスターのdisp_flagを0に設定する。このようにシステムメニューというユーザインターフェースを通じてdisp_flagを再設定しうる。
【0060】
図17は、disp_flagの設定を変更するための他の実施例を示す図である。一方、図17を参照するに、オンデマンド・インタラクティブ・グラフィック・ストリームの出力をオン/オフするボタンを備えたリモコンが図示されている。ユーザは、該当ボタンを押して再生装置の状態レジスターのdisp_flag値を0または1に再設定しうる。
【0061】
前述したインタラクティブ・グラフィック・ストリームのデータ構造と再生装置の構造とに基づいて、本発明に係る再生方法を説明すれば次の通りである。
【0062】
図18及び図19は、本発明に係るインタラクティブ・グラフィック・ストリームを記録した保存媒体の再生方法を示すフローチャートである。図18を参照するに、一般のインタラクティブ・グラフィック・ストリーム及び/またはオンデマンド・インタラクティブ・グラフィック・ストリームを記録した保存媒体からインタラクティブ・グラフィック・ストリームを読込み(1802段階)、読込まれたインタラクティブ・グラフィック・ストリームをデコーディングする(1804段階)。デコーディングされたインタラクティブ・グラフィック・ストリームの種類を確認し(1806段階)、一般のインタラクティブ・グラフィック・ストリームであれば、指定された出力時間にビデオデータとブレンドして画面に出力する(1808段階)。もし、オンデマンド・インタラクティブ・グラフィック・ストリームであれば、ユーザの活性化要求がある場合にだけデコーディングされたインタラクティブ・グラフィック・ストリームをビデオデータとブレンドして画面に出力する(1810段階)。
【0063】
図19は、オンデマンド・インタラクティブ・グラフィック・ストリームの再生過程をさらに詳細に説明したフローチャートである。図19を参照するに、デコーディングされたインタラクティブ・グラフィック・ストリームがオンデマンドタイプであれば、再生装置の状態レジスターでオンデマンド・インタラクティブ・グラフィック・ストリームを画面に出力するか否かを示すフラッグdisp_flag値を読込み(1902段階)、その値が1であれば(1904段階)、オンデマンド・インタラクティブ・グラフィック・ストリームの活性化準備が完了したことをユーザに知らせる最初のメニューページを画面に出力する(1906段階)。出力された最初のメニューページに対してユーザが活性化要求を入力すれば(1908段階)、ユーザの入力によって該当するメニューページを画面に出力する(1910段階)。
【0064】
一方、フラッグdisp_flag値が0であれば、画面に如何なる出力もせず、ユーザの活性化要求があっても(1920段階)、その活性化要求を無視する(1922段階)。示されていないが、本発明の他の実施例として、フラッグdisp_flag値が0であれば、画面に如何なる出力もせず、リモコンのようなユーザインターフェースを通じて活性化要求が入力されて初めて、最初のメニューページを出力するように再生装置を構成しても良い。
【0065】
前述したように本発明で定義したオンデマンド・インタラクティブ・グラフィック・ストリームを使用すれば、インタラクティブ・グラフィック・ストリームが指定された時間に出力されて指定された時間に画面上で消える動作だけでなく、ユーザの要求がある時にのみ画面上に出力されるように制御しうる。
【0066】
以上の説明は、本発明の一実施例に過ぎず、本発明が属する技術分野で当業者ならば、本発明の本質的特性から外れない範囲で変形された形に具現できるであろう。すなわち、本発明に係る実施例に限定されず、特許請求の範囲に記載された内容と同等な範囲内にある多様な実施形態が含まれるように解釈されねばならない。
【産業上の利用可能性】
【0067】
本発明は、ユーザの要求がある時、または指定された時間に、ボタンやメニュー画面などのインタラクティブ・グラフィックを画面に出力しうる動映像再生装置に適用しうる。
【図面の簡単な説明】
【0068】
【図1】保存媒体に記録されたAVデータの構造を示す図である。
【図2】AVデータを記録した保存媒体を再生するための再生装置の構造を示す図である。
【図3】本発明に係るインタラクティブ・グラフィック・ストリームの構成を示す図である。
【図4】一般のインタラクティブ・グラフィック・ストリームの再生時の動作を説明するための図である。
【図5A】本発明に係るオンデマンド・インタラクティブ・グラフィック・ストリームの再生時の動作を説明するための図である。
【図5B】本発明に係るオンデマンド・インタラクティブ・グラフィック・ストリームの再生時の動作を説明するための図である。
【図6A】本発明に係るオンデマンド・インタラクティブ・グラフィック・ストリームを一般のインタラクティブ・グラフィック・ストリームと区分するための一実施例を示す図である。
【図6B】本発明に係るオンデマンド・インタラクティブ・グラフィック・ストリームを一般のインタラクティブ・グラフィック・ストリームと区分するための一実施例を示す図である。
【図6C】本発明に係るオンデマンド・インタラクティブ・グラフィック・ストリームを一般のインタラクティブ・グラフィック・ストリームと区分するための一実施例を示す図である。
【図7】本発明に係るオンデマンド・インタラクティブ・グラフィック・ストリームを一般のインタラクティブ・グラフィック・ストリームと区分するための他の実施例を示す図である。
【図8】本発明に係るオンデマンド・インタラクティブ・グラフィック・ストリームを一般のインタラクティブ・グラフィック・ストリームと区分するためのさらに他の実施例を示す図である。
【図9】本発明に係るオンデマンド・インタラクティブ・グラフィック・ストリームを再生するための再生装置の一実施例を示す図である。
【図10】本発明に係るオンデマンド・インタラクティブ・グラフィック・ストリームを再生するための再生装置の他の実施例を示す図である。
【図11】本発明に係るインタラクティブ・グラフィック・ストリームがAVデータ上に記録される実施例を示す図である。
【図12】本発明に係るインタラクティブ・グラフィック・ストリームについての情報を記録する再生装置の状態レジスターの構成の一実施例を示す図である。
【図13】本発明に係るインタラクティブ・グラフィック・ストリームについての情報を記録する再生装置の状態レジスターの構成の他の実施例を示す図である。
【図14】ユーザによって発生するオンデマンド・インタラクティブ・グラフィック・ストリームの活性化要求を処理する過程を示す図である。
【図15A】図12または図13に示されたdisp_flagの設定状態による画面の出力状態を示す図である。
【図15B】図12または図13に示されたdisp_flagの設定状態による画面の出力状態を示す図である。
【図16】disp_flagの設定を変更するための一実施例を示す図である。
【図17】disp_flagの設定を変更するための他の実施例を示す図である。
【図18】本発明に係るインタラクティブ・グラフィック・ストリームを記録した保存媒体の再生方法を示すフローチャートである。
【図19】オンデマンド・インタラクティブ・グラフィック・ストリームの再生過程をさらに詳細に説明したフローチャートである。
【符号の説明】
【0069】
902 PID
904 伝送バッファ
910 インタラクティブ・グラフィック・デコーダ
912 コーディングデータバッファ
914 ストリームグラフィック処理器
916 オブジェクトバッファ
918 構成バッファ
920、1010、1020 グラフィック制御器
930 グラフィック平面
932 色相参照テーブル
【技術分野】
【0001】
本発明は、マルチメディア映像の再生に係り、特に、ユーザの要求により活性化されるインタラクティブ・グラフィック・ストリームを保存した保存媒体及び再生装置に関する。
【背景技術】
【0002】
マルチメディア映像を再生するために、保存媒体には、マルチメディア映像に関するAVデータ、AVデータの再生を制御するナビゲーションデータ、そして保存媒体が再生装置に挿入されれば、最初に再生されるAVデータのタイトルに関する指示情報などを含むシステムデータなどが記録される。その他に、保存媒体にはその他の付加データが含まれうる。特に、AVデータ(Audio−visual data)は、ビデオ、オーディオ、サブタイトル、メニューなどの再生に必要な多様な情報が1つのメインストリームに多重化されて記録される。
【0003】
図1は、保存媒体に記録されたAVデータの構造を示す図である。図1を参照するに、マルチメディア映像を再生するための保存媒体には、ビデオストリーム102、オーディオストリーム104、サブタイトルを提供するためのプレゼンテーション・グラフィック・ストリーム106及びメニュー画面を提供するためのインタラクティブ・グラフィック・ストリーム108が多重化されて1つのメインストリームに記録される。多重化されたメインストリームを以下ではAVデータ110と略称する。
【0004】
図2は、AVデータ110を記録した保存媒体を再生するための再生装置の構造を示す図である。図2を参照するに、マルチメディア映像を再生するための再生装置は、前述したナビゲーションデータをロードして、AVデータ110を再生するために必要な制御情報を得る。例えば、AVデータのコーディングタイプ、ビット率、AVデータが記録された領域情報、AVデータに含まれたデータの種類についての情報がそれである。このような制御情報を参照して、読込部210、デマルチプレクサ220及び各デコーダ230ないし260の動作を制御する。
【0005】
具体的に、読込部210は、前述したAVデータが記録された領域情報を用いて保存媒体200から多重化されたAVデータ110を読込み、これをデマルチプレクサ220に伝送する。デマルチプレクサ220は、伝送されたAVデータ110をデータ種類によってビデオストリーム102、オーディオストリーム104、プレゼンテーション・グラフィック・ストリーム106、及びインタラクティブ・グラフィック・ストリーム108に分離して該当デコーダ230ないし260に伝送する。該当デコーダに伝送された各ストリームは、データ種類に合わせてデコーディングされ、指定された時間に画面上に出力可能に準備される。デコーディングされたビデオストリームとプレゼンテーション・グラフィック・ストリーム及び/またはインタラクティブ・グラフィック・ストリームは、ブレンダ270を通じて1つの映像にオーバレイされる。最後に、ユーザが設定した出力状態に基づいて選択された映像が画面に出力される。例えば、サブタイトルのオン/オフ、オーディオ音消去のようにユーザの選択に基づいて再生装置の出力状態が制御されうる。
【0006】
特に、インタラクティブ・グラフィックデコーダ250は、保存媒体200からインタラクティブ・グラフィック・ストリーム108を伝送され、これをデコーディングした後、指定された時間になれば、画面上にボタンなどが含まれたメニュー画面を出力する。出力されたメニュー画面でユーザが特定ボタンを選択することによって、ユーザの選択を入力されうる。すなわち、ユーザとの相互作用機能を提供しうる。
【0007】
しかし、従来の再生装置は、映画のようなマルチメディア映像を再生する場合、ユーザが所望しない場合でも指定された時間になれば、無条件メニュー画面を出力する。このように映画の鑑賞中に所望しないメニュー画面が出力されれば、ユーザは相当な不便さを感じうる。
【発明の開示】
【発明が解決しようとする課題】
【0008】
したがって、本発明の目的は、前述した問題点を解決するために、ユーザとの相互作用を支援するためのインタラクティブ・グラフィック・ストリームの機能を拡張して、ユーザの要求によって活性化されるオンデマンド・インタラクティブ・グラフィック・ストリームを記録した保存媒体及び再生装置を提供することである。
【課題を解決するための手段】
【0009】
前記目的は、ビデオデータと、ビデオデータに基づいて出力される画面上にオーバレイされるメニュー画面を提供するためのグラフィックデータを含み、グラフィックデータは、ユーザから活性化要求がある場合に画面上に出力される第1グラフィックデータと、を含むことを特徴とする保存媒体により達成される。
【0010】
グラフィックデータは、指定された時間に画面上に出力される第2グラフィックデータをさらに含むことが望ましい。
【0011】
また、第1及び第2グラフィックデータは、互いに類似した構造体を使用して具現され、構造体は両者を区分するためのフィールドを含むことが望ましい。
【0012】
また、第1及び第2グラフィックデータは、グラフィックセグメント構造体(graphic_segmentstructure)を使用して具現され、グラフィックセグメント構造体は、第1及び第2グラフィックデータのタイプ値が各々定義されたセグメントタイプフィールドを含むことが望ましい。
【0013】
また、第1及び第2グラフィックデータは、インタラクティブ・グラフィックセグメント構造体(interactive_graphic_segment structure)を使用して具現され、インタラクティブ・グラフィックセグメント構造体には、両者を区分するためのタイプフィールドが追加されることが望ましい。
【0014】
また、第1グラフィックデータは、第2グラフィックデータと異なる別途のオンデマンド・インタラクティブ・グラフィック構造体(on_demand_interactive_graphics structure)を使用して具現され、オンデマンド・インタラクティブ・グラフィック構造体は、ユーザに第1グラフィックデータがデコーディングされて出力準備が完了した状態であることを知らせるための最初のメニューページについての情報と、ユーザから活性化要求を受ければ、出力される少なくとも1つのメニューページについての情報を含み、各メニューページは少なくとも1つのボタンを出力するための情報と、ユーザがボタンを選択した場合に行われる命令についての情報を含むことが望ましい。
【0015】
また、第1グラフィックデータがビデオデータと共に多重化されて1つのストリームに記録されるか、または第1グラフィックデータ及び第2グラフィックデータがビデオデータと共に多重化されて1つのストリームに記録されることが望ましい。
【0016】
また、第1グラフィックデータ及び第2グラフィックデータは、ビデオデータと共に多重化されて1つのストリームに記録され、第1グラフィックデータにより使われる、メニュー画面のイメージを示すオブジェクトデータは別途のストリームに分離されて記録されることが望ましい。
【0017】
一方、本発明の他の分野によれば、前記目的は、ビデオデータと、ビデオデータに基づいて出力される画面上にオーバレイされるメニュー画面を提供するためのグラフィックデータを記録した保存媒体を再生する再生装置において、ビデオデータをデコーディングするビデオデコーダと、グラフィックデータをデコーディングするグラフィックデコーダと、を備え、グラフィックデコーダは、ユーザから活性化要求がある場合に画面上に出力される第1グラフィックデータ及び指定された時間に画面上に出力される第2グラフィックデータをデコーディングすることを特徴とする再生装置によって達成される。
【0018】
また、デコーディングされたビデオデータとグラフィックデータをオーバレイするブレンダと、ユーザ入力をグラフィックデコーダに伝達するインターフェースとをさらに含むことが望ましい。
【発明の効果】
【0019】
本発明によれば、オンデマンド・インタラクティブ・グラフィック・ストリームを用いてユーザの要求がある時にボタン等のインタラクティブ・グラフィックが画面に出力されるように制御しうる。
【0020】
また、AVデータの任意の区間別に、あるいはAVデータのチャプター別に相異なるオンデマンド・インタラクティブ・グラフィック・ストリームを構成することによって、該当区間に特化されたインタラクティブ・グラフィック・ストリームを構成しても良い。例えば、一定の機能を行うボタンの代わりに、マルチメディア映像中の一定区間内に存在する俳優、小品、撮影場所などの関連情報をユーザに提供しうる。
【0021】
また、再生装置の機能の増加に伴ってリモコンの各ボタンに該当する機能をオンデマンド・インタラクティブ・グラフィック・ストリームを使用してメニュー形式で構成することによって、リモコンのボタン数を減らしうる。
【発明を実施するための最良の形態】
【0022】
以下、添付した図面を参照して本発明の望ましい実施例を詳細に説明する。以下では、説明の便宜上、ユーザが望みの場合にだけ出力されるメニュー画面を提供するデータストリームをオンデマンドインタラクティブ・グラフィック・ストリームだとして、指定された時間に出力されるメニュー画面を提供するデータストリームを一般(normal)インタラクティブ・グラフィック・ストリームだと略称する。
【0023】
図3は、本発明に係るインタラクティブ・グラフィック・ストリームの構成を示す図である。図3を参照するに、インタラクティブ・グラフィック・ストリームは、デコーダの動作モデルを考慮してエポックという単位で構成される。複数のボタンで構成されたメニュー画面で1つのボタンを再生するための情報をインタラクティブ・グラフィック・オブジェクトと言う。1つのエポック内に含まれたあらゆるインタラクティブ・グラフィック・オブジェクトは後述するインタラクティブ・グラフィックデコーダ内のオブジェクトバッファにデコーディングされて保存され続け、次のエポックのデータが入らない限り、その内容は同一に保たれる。これにより、1つのエポック内では、毎度インタラクティブ・グラフィック・オブジェクトをデコーディングする必要がなく、既にデコーディングされてオブジェクトバッファに保存されたインタラクティブ・グラフィック・オブジェクトを再使用しうる。しかし、1つのエポックが終わり、次のエポックが始まる瞬間にデコーダ内のあらゆるバッファはリセットされ、保存されたあらゆるデータが消去される。もちろん、デコーダ内のバッファがリセットされる時点を1つのエポック内の所定の時点と定義することもある。
【0024】
一方、インタラクティブ・グラフィック・オブジェクトの出力単位として図面のようにディスプレイセットが定義される。ディスプレイセットは、1つの画面に出力されるインタラクティブ・グラフィック・オブジェクトの集合を示し、1つのエポックは少なくとも1つ以上のディスプレイセットを含みうる。各ディスプレイセットは、3種がある。第1に、エポック開始(epoch start:以下、ESと略称する)状態のディスプレイセットはエポックの開始を示し、このディスプレイセットには、インタラクティブ・グラフィックを構成するために必要なインタラクティブ・グラフィック構成情報やボタンのイメージに使われるオブジェクトデータのようなインタラクティブ・グラフィックを出力するためのあらゆるデータが含まれる。第2に、収集時点(Acqusition point:以下APと略称する)のディスプレイセットはESディスプレイセット以後に存在でき、ユーザのランダムサーチのような場合に対応してインタラクティブ・グラフィックを構成するためのあらゆる情報を含む。第3に、正規状態(Noraml state:以下、NCと略称する)であるディスプレイセットは以前のディスプレイセットで構成したインタラクティブ・グラフィックのうち変更が必要なデータ、すなわち更新されるデータだけを含んでいる。図面のように1つのエポックには、複数のディスプレイセットが含まれうる。エポックの開始部分にはESディスプレイセットが存在し、それ以後にはAPまたはNCディスプレイセットが存在しうる。1つのエポックにおいてESディスプレイセットは必須的に存在するが、APまたはNCディスプレイセットは選択的に存在する。
【0025】
また、1つのディスプレイセットは、インタラクティブ・グラフィック・ストリームの構成情報を記録する構成セグメント、画面上に出力されるボタンなどの実際イメージのようなオブジェクトデータを記録する複数の定義セグメント、そしてディスプレイセットの端部を示す終了セグメントより構成される。構成セグメントには該当ディスプレイセットの出力完了時間情報、ボタン構成情報、ユーザの入力に関する再生装置の動作情報などを含む。構成セグメントは、ICS(Interactive Composition Segment)という、データ構造を使用して具現しうる。定義セグメントにはボタンなどのイメージ情報を有しているオブジェクトデータを含むODS(Objec Definition Segment)や前記ODSに適用される色相情報を含むPDS(Palette Definition Segment)などが含まれる。
【0026】
1つのディスプレイセット内の各セグメントは、MPEG−2伝送ストリーム(Transport Stream:以下TSと略称する)のパケット単位であるPES(Packetized Elementary Stream)に記録される。このPESに含まれたデコーディング時間であるDTS(Decoding Time Stamp)に該当ディスプレイセットをデコーディングし、プレゼンテーション時間であるPTS(Presentation Time Stamp)に該当ディスプレイセットを画面上に出力し始める。また、該当ディスプレイセットの出力完了時間は前述した構成セグメントのデータ構造を示すICSに記録されているcomposition_time_out_ptsフィールドの値により決定される。
【0027】
これにより、インタラクティブ・グラフィック・ストリームは指定された時間(PTS)に画面に出力されてユーザの入力を受け、それによる動作を行って指定された出力完了時間(composition_time_out_pts)に画面上で消える。しかし、指定時間だけを使用してインタラクティブ・グラフィック・ストリームを出力する場合、ユーザが所望しない場合でも指定された時間になれば、無条件メニュー画面を出力する。すなわち、ユーザの要求がある場合にのみメニュー画面を活性化させることはできない。
【0028】
したがって、本発明では、ユーザとの相互作用を目的とするインタラクティブ・グラフィック・ストリームの機能を拡張し、ユーザの要求により活性化されるオンデマンド(on−demand)インタラクティブ・グラフィック・ストリームを定義する。本発明で定義するオンデマンド・インタラクティブ・グラフィック・ストリームと区別し、前述した指定された時間によって出力されるインタラクティブ・グラフィック・ストリームを一般のインタラクティブ・グラフィック・ストリームと表現する。
【0029】
一般のインタラクティブ・グラフィック・ストリームは、前述したように指定された時間に画面に出力され、指定された時間に画面から消える。一方、オンデマンド・インタラクティブ・グラフィック・ストリームはあらゆるデータがデコーディングされて出力準備が完了した後、ユーザにより活性化要求が発生した場合にだけ画面上に出力され、ユーザから入力されて指定された動作を行う。すなわち、オンデマンド・インタラクティブ・グラフィック・ストリームは、画面出力時間情報(PTS)により指定された時間になれば、ボタンのようなインタラクティブ・グラフィック・オブジェクトの有効期間が始まる点は同じであるが、ボタンが必ずしも画面に出力されねばならないものではなく、ユーザの要求により画面上での出力如何を決定するようになる。
【0030】
一般のインタラクティブ・グラフィック・ストリームの場合、出力完了時間composition_time_out_ptsが画面上でのボタンの出力完了時間を意味し、一方、オンデマンド・インタラクティブ・グラフィック・ストリームは、デコーダのバッファでのボタンと関連したデータの除去時点を意味する。すなわち、出力完了時間以後にはユーザからボタンの活性化要求が発生しても、これ以上活性化されるオンデマンド・インタラクティブ・グラフィック・ストリームが存在しないので、ユーザの活性化要求は無視される。
【0031】
図4及び図5A及び図5Bは、一般のインタラクティブ・グラフィック・ストリームと本発明に係るオンデマンド・インタラクティブ・グラフィック・ストリームとの動作差を説明するための図である。図4は、一般のインタラクティブ・グラフィック・ストリームの再生時の動作を説明するための図である。図4を参照するに、AVデータ内に一般のインタラクティブ・グラフィック・ストリームが多重化されている。デコーディングされた一般のインタラクティブ・グラフィック・ストリームは、エポック開始状態のディスプレイセットの構成セグメント(ICS)に含まれた画面出力時間情報(PTS)によって画面上に出力される。この際、ユーザは画面上に出力されたボタンをナビゲーションするか、あるいは選択しうる。ユーザの入力によってボタンに割り当てられた指定された動作が行われる。
【0032】
例えば、ボタン移動時には選択状態のボタンを変更してボタンの出力イメージをその状態に合わせて変更させる動作を行い、ユーザが特定のボタンを選択すれば該当ボタンに定義されているナビゲーション命令語による動作を行う。また、該当ボタンに定義された命令をAVデータの他の位置に移動させる命令である場合、現在の一般のインタラクティブ・グラフィック・ストリームの出力完了時間composition_time_out_ptsに到達していないとしても、該当ボタンは画面上で消え、移動命令により指示される位置のAVデータが出力される。一方、該当ボタンに定義されている命令がAVデータの位置を移動する動作でない場合には、ボタンに定義されている命令を行った後、出力完了時間composition_time_out_ptsまで各ボタンの出力が保持された後、出力完了時間が経過すれば、該当ボタンが画面上で消える。すなわち、一般のインタラクティブ・グラフィック・ストリームは指定された時間に画面上に出力されていて、指定された出力完了時間になれば画面上で消える。
【0033】
一方、図5A及び図5Bは、本発明に係るオンデマンド・インタラクティブ・グラフィック・ストリームの再生時の動作を説明するための図である。図5Aを参照するに、AVデータ内にオンデマンド・インタラクティブ・グラフィック・ストリームが多重化されている。オンデマンド・インタラクティブ・グラフィック・ストリームがデコーディングされれば、活性化準備が完了する。活性化準備が完了した後にも、該当ボタンは画面上に出力されず、ユーザの要求が発生する場合にのみ該当オンデマンド・インタラクティブ・グラフィック・ストリームが活性化されて画面上に出力され、ユーザから入力されうる。出力されたボタンは、出力完了時間composition_time_out_ptsになれば、画面上で消える。また、エポックを出力完了時間までに定義することによって、出力完了時間になれば、デコーダのバッファにあるあらゆるデコーディングされたデータも消える。したがって、出力完了時間以後のユーザの活性化要求は無視される。
【0034】
一方、図5Bを参照するに、図5Aとは異なる例として、図4の一般のインタラクティブ・グラフィック・ストリームのエポックの定義と同様に、エポックを次のエポック開始状態のICSに到達する前までに定義することもできる。この場合には、次のエポック開始状態のICSに到達すれば、デコーダ内のバッファから関連データが全て除去されるので、出力完了時間composition_time_out_ptsになっても、関連データをデコーダ内で除去する必要がない。但し、出力完了時間が経過された後にユーザからメニューに関する活性化要求が発生すれば、有効なインタラクティブディスプレイ期間が過ぎたことを認知し、該当ボタンを再生しない。すなわち、出力完了時間以後のユーザの活性化要求は無視される。
【0035】
前述したようなオンデマンド・インタラクティブ・グラフィック・ストリームと一般のインタラクティブ・グラフィック・ストリームとは、基本的に同じデータ構造を有することが望ましい。但し、オンデマンド・インタラクティブ・グラフィック・ストリームの場合は、ユーザの活性化要求により画面上にボタンの出力如何を決定し、一方、一般のインタラクティブ・グラフィック・ストリームの場合、データ構造内に指定された時間によって画面上へのボタンの出力が異なるだけである。すなわち、二種のインタラクティブ・グラフィック・ストリームを区分する情報だけ追加すれば、同じデータ構造を用いて二種のインタラクティブ・グラフィック・ストリームの具現が可能である。
【0036】
より具体的な実施例として、本発明に係るオンデマンド・インタラクティブ・グラフィック・ストリームと一般のインタラクティブ・グラフィック・ストリームとを区分して具現する方法としては次の通りである。
【0037】
方法1:ICSの情報のうちsegment_typeで区分する方法と、
方法2:ICSにICS_typeフィールドをさらに定義する方法と、
方法3:オンデマンド・インタラクティブ・グラフィック・ストリームを示す新たな構造体として、On_demand_ICS構造体を定義する方法と、がある。
【0038】
図6Aないし図6Cは、本発明に係るオンデマンド・インタラクティブ・グラフィック・ストリームを一般のインタラクティブ・グラフィック・ストリームと区分するための一実施例(方法1)を示す図である。図6A及び図6Bを参照するに、グラフィックセグメントgraphic_segment構造体は、セグメントの種類を示すセグメントタイプsegment_typeフィールド604を有する。図6Cにはセグメントタイプフィールド604が有し得るセグメントの種類が定義されている。本発明に係る方法1は、示されたように一般のインタラクティブ・グラフィック・ストリーム用のセグメントタイプは0x18という値を有し(606)、オンデマンド・インタラクティブ・グラフィック・ストリーム用のセグメントタイプは0x19という値を有するように(607)定義する。すなわち、方法1は、二種のインタラクティブ・グラフィック・ストリームが同じ構造体を使用しつつ、セグメントタイプを示すセグメントタイプフィールド604で両者を区別する方法である。
【0039】
図7は、本発明に係るオンデマンド・インタラクティブ・グラフィック・ストリームを一般のインタラクティブ・グラフィック・ストリームと区分するための他の実施例(方法2)を示す図である。図7を参照するに、方法2によれば、オンデマンド及び一般のインタラクティブ・グラフィック・ストリームは、何れも同じ構造体interactive_composition_segmentを使用し、ICS_type702で両者を区別する。すなわち、ICS_typeが0であれば、一般のインタラクティブ・グラフィック・ストリームを表し、ICS_typeが1であれば、オンデマンド・インタラクティブ・グラフィック・ストリームを示すように定義する。
【0040】
図8は、本発明に係るオンデマンド・インタラクティブ・グラフィック・ストリームを一般のインタラクティブ・グラフィック・ストリームと区分するためのさらに他の実施例(方法3)を示す図である。図8を参照するに、新たに定義されたOn_demand_ICS構造体が図示される。前述した方法1または方法2が同じ構造体を使用し、一方、方法3は、オンデマンド・インタラクティブ・グラフィック・ストリームのための新たな構造体を定義する。
【0041】
オンデマンド・インタラクティブ・グラフィック・ストリームのための新たな構造体であるOn_demand_ICS構造体は、一般のインタラクティブ・グラフィック・ストリームのための構造体とは異なって、オンデマンド・インタラクティブ・グラフィック・ストリームのデコーディングが完了してユーザにより活性化されうる状態であることをユーザに知らせるための最初のボタンを含むページ(initial output page)と、ユーザにより活性化された後に出力されるボタンを含むページ(1−output pageないしNth−output page)、すなわち1番目のメニューページないしn番目のメニューページを段階別に分けて構成するように定義する。各出力されるページには少なくとも1つ以上の出力されるボタンに関する再生情報と該当ボタンが選択された場合に行われる命令情報とが含まれうる。
【0042】
前述した本発明に係るオンデマンド・インタラクティブ・グラフィック・ストリームの具現例に基づき、本発明に係るオンデマンド・インタラクティブ・グラフィック・ストリームを支援する再生装置の構造を説明する。
【0043】
図9及び図10は、本発明に係るオンデマンド・インタラクティブ・グラフィック・ストリームを支援する再生装置の一実施例を示す図である。図9を参照するに、本発明に係る再生装置のインタラクティブ・グラフィックデコーダのブロック図が示されている。図2に示された保存媒体から読込まれたAVデータは、PID(Packet IDentifier)フィルター902を通じてインタラクティブ・グラフィック・ストリームだけが選択的に伝送バッファ904に伝送された後、インタラクティブ・グラフィックデコーダ910でデコーディングされる。
【0044】
一方、インタラクティブ・グラフィックデコーダ910内では、インタラクティブ・グラフィック・ストリームがコーディングデータバッファ912に一時保存されていて、ストリームグラフィック処理器914に伝送される。伝送されたインタラクティブ・グラフィック・ストリームは、ストリームグラフィック処理器914でデコーディングされ、ボタンイメージ用のオブジェクトデータはオブジェクトバッファ916に伝送され、ボタンの構成情報は、構成バッファ918に伝送される。グラフィック制御器920では伝送された各オブジェクトデータに対して該当構成情報を参照して出力されるイメージを構成し、構成されたイメージをグラフィック平面930に伝送する。すなわち、インタラクティブ・グラフィック・ストリームの出力開始時間のPTSになれば、グラフィック制御器920の制御を受けて現在画面上に出力されるイメージを決定し、該決定されたイメージをオブジェクトバッファ916からグラフィック平面930に伝送する。伝送されたイメージは、該当構成情報に含まれた色相情報によって色相参照テーブル932(Color Lookup Table:CLUTと略称する)を参照してイメージを出力する。また、グラフィック制御器920はユーザの入力(User Operation:UOPと略称する)を受けてボタンの移動や選択によるボタン状態を変更し、その結果を画面出力に適用させることもある。
【0045】
特に、図9は、一般のインタラクティブ・グラフィック・ストリームとオンデマンド・インタラクティブ・グラフィック・ストリームとが同じバッファメモリを使用するように構成された再生装置のブロック図を示す。図面のように2種のインタラクティブ・グラフィック・ストリームがデコーダ910内の同じバッファを使用するので、瞬間的に一般のインタラクティブ・グラフィック・ストリームまたはオンデマンド・インタラクティブ・グラフィック・ストリームのうち何れか1つだけがデコーダのバッファ内に存在するようになる。すなわち、一度に1種のインタラクティブ・グラフィック・ストリームだけを処理しうる。
【0046】
一方、図10は、本発明に係るオンデマンド・インタラクティブ・グラフィック・ストリームを再生するための再生装置の他の実施例を示す図である。図10を参照するに、一般のインタラクティブ・グラフィック・ストリームとオンデマンド・インタラクティブ・グラフィック・ストリームとが相異なるバッファメモリを使用するように構成された再生装置が図示されている。すなわち、一般のインタラクティブ・グラフィック・ストリームは一般のICSメモリ領域1010に保存され、オンデマンド・インタラクティブ・グラフィック・ストリームは、オンデマンドICSメモリ領域1020に保存される。したがって、二種のインタラクティブ・グラフィック・ストリームがバッファメモリに同時に存在しうる。この場合、オンデマンド・インタラクティブ・グラフィック・ストリームがバッファに存在する状態で一般のインタラクティブ・グラフィック・ストリームが入力された場合、またはその反対の場合に、デコーダのバッファメモリをリセットしなくても良いという長所がある。
【0047】
但し、二種のインタラクティブ・グラフィック・ストリームが同時に画面上に出力される場合、ユーザの入力をどちらに伝送すべきかが不明であり、画面構成のための色相情報などの適用に問題が発生しうる。したがって、図には示されていないが、一般のインタラクティブ・グラフィック・ストリームとオンデマンド・インタラクティブ・グラフィック・ストリームのうち、出力されるストリームを選択する制御ブロックと各インタラクティブ・グラフィック・ストリーム用のCLUTブロックを各々具備することが望ましい。
【0048】
図11は、本発明に係るインタラクティブ・グラフィック・ストリームがAVデータ上に記録される実施例を示す図である。図11を参照するに、(a)は、1つのAVデータ内にオンデマンド・インタラクティブ・グラフィック・ストリームだけが記録された場合を示す。(b)は、1つのAVデータ内に一般のインタラクティブ・グラフィック・ストリームだけが記録された場合を示す。(c)は、1つのAVデータ内に二種のインタラクティブ・グラフィック・ストリームが混ぜられて記録された場合を示す。(d)は、1つのAVデータ内に二種のインタラクティブ・グラフィック・ストリームが混ぜられて記録されており、オンデマンド・インタラクティブ・グラフィック・ストリームが他のAVデータと別途に分離されて記録された場合を示す。特に、(d)は、AVデータの最初から読込む場合は、AVデータの前部に記録されたオンデマンドICSデータを参照する。しかし、AVデータの中間部分から読込む場合には、AVデータにはオンデマンド・インタラクティブ・グラフィック・ストリームの構成情報だけが記録されており、実際のボタンイメージに関するオブジェクトデータは別途に記録されているために、AVデータに含まれた構成情報を参照して分離記録されたオブジェクトデータを使用してボタンなどを出力する。この場合、オブジェクトデータを別途に記録することによって、不要なデータの重複を防止しうる。
【0049】
以下、前述したオンデマンド・インタラクティブ・グラフィック・ストリームのデータ構造と再生装置の構造とに基づき、ユーザの活性化要求によってオンデマンド・インタラクティブ・グラフィック・ストリームが画面に出力される過程を説明する。
【0050】
図12及び図13は、本発明に係るインタラクティブ・グラフィック・ストリームについての情報を記録する再生装置の状態レジスター構成の一実施例を示す図である。図12を参照するに、再生装置の状態レジスター(Player Status Resister:以下PSRsと略称する)は、AVデータに含まれた複数のインタラクティブ・グラフィック・ストリームのうち現在再生中の、または今後再生するインタラクティブ・グラフィック・ストリームの番号を記録する。図面ではPSR 0の0〜7番ビットに保存された例が図示されている。したがって、マルチメディア映像の再生を一時停止した後、また再生を始める場合にも状態レジスターPSR 0を参照するに、直前に再生していたインタラクティブ・グラフィック・ストリームを再び再生しうる。
【0051】
一方、本発明のように一般のインタラクティブ・グラフィック・ストリームだけでなくオンデマンド・インタラクティブ・グラフィック・ストリームを何れも支援する再生装置の場合には、現在状態レジスターPSR 0に記録されたストリームの番号が一般のインタラクティブ・グラフィック・ストリーム用であるか、そうでなければ、オンデマンド・インタラクティブ・グラフィック・ストリーム用であるかを区別する必要がある。したがって、本発明に係る再生装置は、現在状態レジスターPSR 0に記録されているインタラクティブ・グラフィック・ストリーム番号が一般用であるか、デマンド用であるかを区別するためのICS_usageフラッグを具備する。図12では、PSR 0の30番目のビットに保存された例が図示されている。すなわち、現在再生中のインタラクティブ・グラフィック・ストリームがオンデマンド用である場合には、このフラッグが1に設定され、一般用である場合にはこのフラッグが0に設定される。
【0052】
また、オンデマンド・インタラクティブ・グラフィック・ストリームの場合、画面上に出力するか否かを選択できるようにdisp_flagフラッグが定義される。図12では、PSR 0の31番目のビットに保存された例が図示されている。このフラッグが1に設定された場合、オンデマンド・インタラクティブ・グラフィック・ストリームの活性化準備が完了すれば、この事実をユーザに知らせるために、再生装置は最初出力画面を画面上に出力する。一方、このフラッグが0に設定されている場合、再生装置は画面上にインタラクティブ・グラフィックを出力しない。
【0053】
一方、このフラッグが0に設定されており、オンデマンド・インタラクティブ・グラフィック・ストリームの活性化準備が完了した状態、すなわち、画面上にオンデマンド・インタラクティブ・グラフィック・ストリームが出力されないが、活性化準備が完了した場合の処理方法としては次のように2種が有り得る。第1に、ユーザから活性化要求が発生した場合、オンデマンド・インタラクティブ・グラフィック・ストリームが活性化されるように再生装置を構成する方法と、第2に、オンデマンド・インタラクティブ・グラフィック・ストリームを活性化せず、ユーザの要求を無視するように再生装置を構成する方法がそれである。
【0054】
一方、図13は、本発明に係るインタラクティブ・グラフィック・ストリームについての情報を記録する再生装置の状態レジスターの構成の他の実施例を示す図である。図13を参照するに、二種のインタラクティブ・グラフィック・ストリームが相異なる状態レジスターに記録されるように構成された再生装置の場合を示す。一般のインタラクティブ・グラフィック・ストリームについての情報は、PSR 0に記録され、オンデマンド・インタラクティブ・グラフィック・ストリームについての情報は、PSR 11に記録された例が図示されている。
【0055】
もし、ICSタイプが一般用であれば、PSR 0に一般のインタラクティブ・グラフィック・ストリームについての情報が記録され、オンデマンド用であれば、PSR 11に別途にオンデマンド・インタラクティブ・グラフィック・ストリームについての情報が記録されるので、図12のようにインタラクティブ・グラフィック・ストリームのICSタイプを区分するためのICS_usageフラッグが不要である。但し、PSR 11には、オンデマンド・インタラクティブ・グラフィック・ストリームの活性化準備が完了した後、これをユーザに知らせるための最初出力ページを画面上に出力するか否かを示すdisp_flagを定義する必要があり、その動作は図12の説明と同様である。図では、disp_flagがPSR 11の31番目のビットに保存された例が図示されている。
【0056】
図14は、ユーザにより発生するオンデマンド・インタラクティブ・グラフィック・ストリームの活性化要求を処理する過程を示す図である。図14を参照するに、ユーザにより活性化要求が発生する場合、再生装置はインタラクティブ・グラフィックデコーダ910内にオンデマンド・インタラクティブ・グラフィック・ストリームの活性化準備が完了したかをチェックし、完了したならば画面上に該当オンデマンド・インタラクティブ・グラフィック・ストリームを出力し、ユーザから入力されうるようにフォーカスを設定する。これで、ユーザからボタン選択に関する入力を受ける準備が完了する。もし、活性化準備が完了していなければ、ユーザからの活性化要求を無視するか、出力するオンデマンド・インタラクティブ・グラフィック・ストリームが無いということをユーザに知らせるためのメッセージを出力する。
【0057】
図15A及び図15Bは、図12または図13に示されたdisp_flagの設定状態に係る画面の出力状態を示す図である。図15Aを参照するに、disp_flagが1である場合であって、オンデマンド・インタラクティブ・グラフィック・ストリームがデコーディングされて活性化準備が完了すれば、最初メニューページが画面上に出力されてユーザに活性化準備が完了したことを知らせる。ユーザからオンデマンド・インタラクティブ・グラフィック・ストリームに関する活性化要求が発生すれば、最初のメニューページが画面上に出力される。
【0058】
図15Bを参照するに、disp_flagが0である場合であって、オンデマンド・インタラクティブ・グラフィック・ストリームがデコーディングされて活性化準備が完了しても最初メニューページが画面上に出力されない。但し、ユーザからオンデマンド・インタラクティブ・グラフィック・ストリームに関する活性化要求が発生すれば、再生装置はこの要求を無視するように構成されるか、または最初のメニューページが画面上に出力されるように構成されうる。
【0059】
図16は、disp_flagの設定を変更するための一実施例を示す図である。図16を参照するに、オンデマンド・インタラクティブ・グラフィック・ストリームの出力をオン/オフするメニュー項目が定義された再生装置のシステムメニューが図示されている。ユーザがシステムメニューでOn−demand ICS DisplayをOnに設定すれば、再生装置の状態レジスターのうちオンデマンド・インタラクティブ・グラフィック・ストリームについての情報を保存している状態レジスター、例えば、前述したPSR 0またはPSR 11のような状態レジスターのdisp_flagを1に設定する。一方、システムメニューでOn−demand ICS DisplayをOffに設定すれば、再生装置は状態レジスターのdisp_flagを0に設定する。このようにシステムメニューというユーザインターフェースを通じてdisp_flagを再設定しうる。
【0060】
図17は、disp_flagの設定を変更するための他の実施例を示す図である。一方、図17を参照するに、オンデマンド・インタラクティブ・グラフィック・ストリームの出力をオン/オフするボタンを備えたリモコンが図示されている。ユーザは、該当ボタンを押して再生装置の状態レジスターのdisp_flag値を0または1に再設定しうる。
【0061】
前述したインタラクティブ・グラフィック・ストリームのデータ構造と再生装置の構造とに基づいて、本発明に係る再生方法を説明すれば次の通りである。
【0062】
図18及び図19は、本発明に係るインタラクティブ・グラフィック・ストリームを記録した保存媒体の再生方法を示すフローチャートである。図18を参照するに、一般のインタラクティブ・グラフィック・ストリーム及び/またはオンデマンド・インタラクティブ・グラフィック・ストリームを記録した保存媒体からインタラクティブ・グラフィック・ストリームを読込み(1802段階)、読込まれたインタラクティブ・グラフィック・ストリームをデコーディングする(1804段階)。デコーディングされたインタラクティブ・グラフィック・ストリームの種類を確認し(1806段階)、一般のインタラクティブ・グラフィック・ストリームであれば、指定された出力時間にビデオデータとブレンドして画面に出力する(1808段階)。もし、オンデマンド・インタラクティブ・グラフィック・ストリームであれば、ユーザの活性化要求がある場合にだけデコーディングされたインタラクティブ・グラフィック・ストリームをビデオデータとブレンドして画面に出力する(1810段階)。
【0063】
図19は、オンデマンド・インタラクティブ・グラフィック・ストリームの再生過程をさらに詳細に説明したフローチャートである。図19を参照するに、デコーディングされたインタラクティブ・グラフィック・ストリームがオンデマンドタイプであれば、再生装置の状態レジスターでオンデマンド・インタラクティブ・グラフィック・ストリームを画面に出力するか否かを示すフラッグdisp_flag値を読込み(1902段階)、その値が1であれば(1904段階)、オンデマンド・インタラクティブ・グラフィック・ストリームの活性化準備が完了したことをユーザに知らせる最初のメニューページを画面に出力する(1906段階)。出力された最初のメニューページに対してユーザが活性化要求を入力すれば(1908段階)、ユーザの入力によって該当するメニューページを画面に出力する(1910段階)。
【0064】
一方、フラッグdisp_flag値が0であれば、画面に如何なる出力もせず、ユーザの活性化要求があっても(1920段階)、その活性化要求を無視する(1922段階)。示されていないが、本発明の他の実施例として、フラッグdisp_flag値が0であれば、画面に如何なる出力もせず、リモコンのようなユーザインターフェースを通じて活性化要求が入力されて初めて、最初のメニューページを出力するように再生装置を構成しても良い。
【0065】
前述したように本発明で定義したオンデマンド・インタラクティブ・グラフィック・ストリームを使用すれば、インタラクティブ・グラフィック・ストリームが指定された時間に出力されて指定された時間に画面上で消える動作だけでなく、ユーザの要求がある時にのみ画面上に出力されるように制御しうる。
【0066】
以上の説明は、本発明の一実施例に過ぎず、本発明が属する技術分野で当業者ならば、本発明の本質的特性から外れない範囲で変形された形に具現できるであろう。すなわち、本発明に係る実施例に限定されず、特許請求の範囲に記載された内容と同等な範囲内にある多様な実施形態が含まれるように解釈されねばならない。
【産業上の利用可能性】
【0067】
本発明は、ユーザの要求がある時、または指定された時間に、ボタンやメニュー画面などのインタラクティブ・グラフィックを画面に出力しうる動映像再生装置に適用しうる。
【図面の簡単な説明】
【0068】
【図1】保存媒体に記録されたAVデータの構造を示す図である。
【図2】AVデータを記録した保存媒体を再生するための再生装置の構造を示す図である。
【図3】本発明に係るインタラクティブ・グラフィック・ストリームの構成を示す図である。
【図4】一般のインタラクティブ・グラフィック・ストリームの再生時の動作を説明するための図である。
【図5A】本発明に係るオンデマンド・インタラクティブ・グラフィック・ストリームの再生時の動作を説明するための図である。
【図5B】本発明に係るオンデマンド・インタラクティブ・グラフィック・ストリームの再生時の動作を説明するための図である。
【図6A】本発明に係るオンデマンド・インタラクティブ・グラフィック・ストリームを一般のインタラクティブ・グラフィック・ストリームと区分するための一実施例を示す図である。
【図6B】本発明に係るオンデマンド・インタラクティブ・グラフィック・ストリームを一般のインタラクティブ・グラフィック・ストリームと区分するための一実施例を示す図である。
【図6C】本発明に係るオンデマンド・インタラクティブ・グラフィック・ストリームを一般のインタラクティブ・グラフィック・ストリームと区分するための一実施例を示す図である。
【図7】本発明に係るオンデマンド・インタラクティブ・グラフィック・ストリームを一般のインタラクティブ・グラフィック・ストリームと区分するための他の実施例を示す図である。
【図8】本発明に係るオンデマンド・インタラクティブ・グラフィック・ストリームを一般のインタラクティブ・グラフィック・ストリームと区分するためのさらに他の実施例を示す図である。
【図9】本発明に係るオンデマンド・インタラクティブ・グラフィック・ストリームを再生するための再生装置の一実施例を示す図である。
【図10】本発明に係るオンデマンド・インタラクティブ・グラフィック・ストリームを再生するための再生装置の他の実施例を示す図である。
【図11】本発明に係るインタラクティブ・グラフィック・ストリームがAVデータ上に記録される実施例を示す図である。
【図12】本発明に係るインタラクティブ・グラフィック・ストリームについての情報を記録する再生装置の状態レジスターの構成の一実施例を示す図である。
【図13】本発明に係るインタラクティブ・グラフィック・ストリームについての情報を記録する再生装置の状態レジスターの構成の他の実施例を示す図である。
【図14】ユーザによって発生するオンデマンド・インタラクティブ・グラフィック・ストリームの活性化要求を処理する過程を示す図である。
【図15A】図12または図13に示されたdisp_flagの設定状態による画面の出力状態を示す図である。
【図15B】図12または図13に示されたdisp_flagの設定状態による画面の出力状態を示す図である。
【図16】disp_flagの設定を変更するための一実施例を示す図である。
【図17】disp_flagの設定を変更するための他の実施例を示す図である。
【図18】本発明に係るインタラクティブ・グラフィック・ストリームを記録した保存媒体の再生方法を示すフローチャートである。
【図19】オンデマンド・インタラクティブ・グラフィック・ストリームの再生過程をさらに詳細に説明したフローチャートである。
【符号の説明】
【0069】
902 PID
904 伝送バッファ
910 インタラクティブ・グラフィック・デコーダ
912 コーディングデータバッファ
914 ストリームグラフィック処理器
916 オブジェクトバッファ
918 構成バッファ
920、1010、1020 グラフィック制御器
930 グラフィック平面
932 色相参照テーブル
【特許請求の範囲】
【請求項1】
ビデオデータと、
メニュー画面を提供するためのグラフィックデータとを含み、
前記グラフィックデータは、ユーザから活性化要求がある場合に画面上に出力される第1グラフィックデータを含むことを特徴とする保存媒体。
【請求項2】
前記グラフィックデータは、指定された時間に画面上に出力される第2グラフィックデータをさらに含むことを特徴とする請求項1に記載の保存媒体。
【請求項3】
前記第1グラフィックデータは、前記第2グラフィックデータと異なる別途のオンデマンド・インタラクティブ・グラフィック構造体を使用して具現されることを特徴とする請求項2に記載の保存媒体。
【請求項4】
前記オンデマンド・インタラクティブ・グラフィック構造体は、ユーザに第1グラフィックデータがデコーディングされて出力準備が完了した状態であることを知らせるための最初のメニューページについての情報と、ユーザから活性化要求を受ければ、出力される少なくとも1つのメニューページについての情報とを含むことを特徴とする請求項3に記載の保存媒体。
【請求項5】
前記各メニューページは、少なくとも1つのボタンを出力するための情報と、ユーザが前記ボタンを選択した場合に行われる命令についての情報とを含むことを特徴とする請求項4に記載の保存媒体。
【請求項6】
前記第1グラフィックデータは、前記ビデオデータと共に多重化されて、1つのストリームに記録されることを特徴とする請求項1に記載の保存媒体。
【請求項7】
前記第1グラフィックデータ及び前記第2グラフィックデータは、前記ビデオデータと共に多重化されて、1つのストリームに記録されることを特徴とする請求項2に記載の保存媒体。
【請求項8】
前記第1グラフィックデータ及び前記第2グラフィックデータは、前記ビデオデータと共に多重化されて1つのストリームに記録され、メニュー画面のイメージを示す前記第1グラフィックデータにより使われるオブジェクトデータは、別途のストリームに分離されて記録されることを特徴とする請求項2に記載の保存媒体。
【請求項9】
ビデオデータ、及びメニュー画面を提供するためのグラフィックデータを記録した保存媒体を再生する再生装置において、
前記ビデオデータをデコーディングするビデオデコーダと、
前記グラフィックデータをデコーディングするグラフィックデコーダとを備え、
前記グラフィックデータは、第1グラフィックデータ及び第2グラフィックデータを含み、
前記グラフィックデコーダは、ユーザの活性化要求に対する応答として画面上に出力される前記第1グラフィックデータをデコーディングし、指定された時間に前記画面上に出力される前記第2グラフィックデータをデコーディングすることを特徴とする再生装置。
【請求項10】
デコーディングされた前記ビデオデータと前記グラフィックデータとをオーバレイするブレンダと、
ユーザ入力を前記グラフィックデコーダに伝達するインターフェースとをさらに含むことを特徴とする請求項9に記載の再生装置。
【請求項11】
前記グラフィックデコーダは、前記第1及び第2グラフィックデータを同じバッファを使用してデコーディングし、特定時点では前記第1及び第2グラフィックデータのうち1つのみをデコーディングすることを特徴とする請求項9に記載の再生装置。
【請求項12】
前記グラフィックデコーダは、前記第1グラフィックデータのためのバッファと前記第2グラフィックデータのためのバッファとを別途に備え、前記第1及び第1グラフィックデータが同時に前記グラフィックデコーダでデコーディングされ、
画面上に前記第1グラフィックデータだけ出力される状態では、前記第1グラフィックデータのための前記インターフェースにフォーカスが設定され、前記第2グラフィックデータだけ出力される状態では、前記第2グラフィックデータのための前記インターフェースにフォーカスが設定されることを特徴とする請求項9に記載の再生装置。
【請求項13】
前記インターフェースは、前記ビデオデータと前記グラフィックデコーダとが1つのストリームに多重化されて記録された場合、所定の有効期間内に前記ユーザから活性化要求を入力され、
前記グラフィックデコーダは、前記有効期間が経過すれば、前記グラフィックデコーダ内のあらゆるバッファの情報を除去することを特徴とする請求項10に記載の再生装置。
【請求項14】
前記有効期間は、前記グラフィックデータがMPEG標準の伝送ストリームである場合、パケットヘッダ情報に含まれたプレゼンテーション時間に始まり、前記第1及び前記第2グラフィックデータに含まれた出力完了時間に終了されるか、または前記第1及び前記第2グラフィックデータに含まれた後、ディスプレイセットの開始時点に終了されることを特徴とする請求項13に記載の再生装置。
【請求項15】
前記ビデオデータと前記グラフィックデータとが各々別途のストリームに多重化されて記録された場合、前記グラフィックデータは前記グラフィックデコーダ内のバッファにプリローディングされることを特徴とする請求項9に記載の再生装置。
【請求項16】
前記グラフィックデコーダは、再生中の、または再生される前記第1グラフィックデータまたは前記第2グラフィックデータのストリーム番号を保存する1つの状態レジスターを備え、
前記状態レジスターは、前記第1及び第2グラフィックデータを区分するためのフラッグと、デコーディングされた前記第1グラフィックデータを画面上に出力するか否かを示すフラッグと、を含むことを特徴とする請求項10に記載の再生装置。
【請求項17】
前記グラフィックデコーダは、再生中の、または再生される前記第1及び第2グラフィックデータのストリーム番号を保存するそれぞれの状態レジスターを備え、
前記第1グラフィックデータのための状態レジスターは、デコーディングされた前記第1グラフィックデータを画面上に出力するか否かを示すフラッグをさらに含むことを特徴とする請求項9に記載の再生装置。
【請求項18】
前記グラフィックデコーダは、前記第1グラフィックデータを画面上に出力するか否かを示すフラッグの値によって、前記第1グラフィックデータがデコーディングされて出力準備が完了したことをユーザに知らせる最初のメニューページを出力するか、または前記第1グラフィックデータがデコーディングされて出力準備が完了したとしても、画面上には如何なるメニュー画面も出力されないことを特徴とする請求項16に記載の再生装置。
【請求項19】
前記グラフィックデコーダは、前記フラッグが前記第1グラフィックデータを画面上に出力しないように設定された場合、ユーザから活性化要求が入力されれば、前記ユーザの活性化要求を無視するか、または前記最初のメニューページを出力することを特徴とする請求項18に記載の再生装置。
【請求項20】
前記インターフェースは、前記第1グラフィックデータを画面上に出力するか否かを示すフラッグの値をオン/オフするシステムメニューを含むことを特徴とする請求項16に記載の再生装置。
【請求項21】
前記インターフェースは、前記第1グラフィックデータを画面上に出力するか否かを示すフラッグの値をオン/オフするボタンを備えたリモコンを含むことを特徴とする請求項16に記載の再生装置。
【請求項1】
ビデオデータと、
メニュー画面を提供するためのグラフィックデータとを含み、
前記グラフィックデータは、ユーザから活性化要求がある場合に画面上に出力される第1グラフィックデータを含むことを特徴とする保存媒体。
【請求項2】
前記グラフィックデータは、指定された時間に画面上に出力される第2グラフィックデータをさらに含むことを特徴とする請求項1に記載の保存媒体。
【請求項3】
前記第1グラフィックデータは、前記第2グラフィックデータと異なる別途のオンデマンド・インタラクティブ・グラフィック構造体を使用して具現されることを特徴とする請求項2に記載の保存媒体。
【請求項4】
前記オンデマンド・インタラクティブ・グラフィック構造体は、ユーザに第1グラフィックデータがデコーディングされて出力準備が完了した状態であることを知らせるための最初のメニューページについての情報と、ユーザから活性化要求を受ければ、出力される少なくとも1つのメニューページについての情報とを含むことを特徴とする請求項3に記載の保存媒体。
【請求項5】
前記各メニューページは、少なくとも1つのボタンを出力するための情報と、ユーザが前記ボタンを選択した場合に行われる命令についての情報とを含むことを特徴とする請求項4に記載の保存媒体。
【請求項6】
前記第1グラフィックデータは、前記ビデオデータと共に多重化されて、1つのストリームに記録されることを特徴とする請求項1に記載の保存媒体。
【請求項7】
前記第1グラフィックデータ及び前記第2グラフィックデータは、前記ビデオデータと共に多重化されて、1つのストリームに記録されることを特徴とする請求項2に記載の保存媒体。
【請求項8】
前記第1グラフィックデータ及び前記第2グラフィックデータは、前記ビデオデータと共に多重化されて1つのストリームに記録され、メニュー画面のイメージを示す前記第1グラフィックデータにより使われるオブジェクトデータは、別途のストリームに分離されて記録されることを特徴とする請求項2に記載の保存媒体。
【請求項9】
ビデオデータ、及びメニュー画面を提供するためのグラフィックデータを記録した保存媒体を再生する再生装置において、
前記ビデオデータをデコーディングするビデオデコーダと、
前記グラフィックデータをデコーディングするグラフィックデコーダとを備え、
前記グラフィックデータは、第1グラフィックデータ及び第2グラフィックデータを含み、
前記グラフィックデコーダは、ユーザの活性化要求に対する応答として画面上に出力される前記第1グラフィックデータをデコーディングし、指定された時間に前記画面上に出力される前記第2グラフィックデータをデコーディングすることを特徴とする再生装置。
【請求項10】
デコーディングされた前記ビデオデータと前記グラフィックデータとをオーバレイするブレンダと、
ユーザ入力を前記グラフィックデコーダに伝達するインターフェースとをさらに含むことを特徴とする請求項9に記載の再生装置。
【請求項11】
前記グラフィックデコーダは、前記第1及び第2グラフィックデータを同じバッファを使用してデコーディングし、特定時点では前記第1及び第2グラフィックデータのうち1つのみをデコーディングすることを特徴とする請求項9に記載の再生装置。
【請求項12】
前記グラフィックデコーダは、前記第1グラフィックデータのためのバッファと前記第2グラフィックデータのためのバッファとを別途に備え、前記第1及び第1グラフィックデータが同時に前記グラフィックデコーダでデコーディングされ、
画面上に前記第1グラフィックデータだけ出力される状態では、前記第1グラフィックデータのための前記インターフェースにフォーカスが設定され、前記第2グラフィックデータだけ出力される状態では、前記第2グラフィックデータのための前記インターフェースにフォーカスが設定されることを特徴とする請求項9に記載の再生装置。
【請求項13】
前記インターフェースは、前記ビデオデータと前記グラフィックデコーダとが1つのストリームに多重化されて記録された場合、所定の有効期間内に前記ユーザから活性化要求を入力され、
前記グラフィックデコーダは、前記有効期間が経過すれば、前記グラフィックデコーダ内のあらゆるバッファの情報を除去することを特徴とする請求項10に記載の再生装置。
【請求項14】
前記有効期間は、前記グラフィックデータがMPEG標準の伝送ストリームである場合、パケットヘッダ情報に含まれたプレゼンテーション時間に始まり、前記第1及び前記第2グラフィックデータに含まれた出力完了時間に終了されるか、または前記第1及び前記第2グラフィックデータに含まれた後、ディスプレイセットの開始時点に終了されることを特徴とする請求項13に記載の再生装置。
【請求項15】
前記ビデオデータと前記グラフィックデータとが各々別途のストリームに多重化されて記録された場合、前記グラフィックデータは前記グラフィックデコーダ内のバッファにプリローディングされることを特徴とする請求項9に記載の再生装置。
【請求項16】
前記グラフィックデコーダは、再生中の、または再生される前記第1グラフィックデータまたは前記第2グラフィックデータのストリーム番号を保存する1つの状態レジスターを備え、
前記状態レジスターは、前記第1及び第2グラフィックデータを区分するためのフラッグと、デコーディングされた前記第1グラフィックデータを画面上に出力するか否かを示すフラッグと、を含むことを特徴とする請求項10に記載の再生装置。
【請求項17】
前記グラフィックデコーダは、再生中の、または再生される前記第1及び第2グラフィックデータのストリーム番号を保存するそれぞれの状態レジスターを備え、
前記第1グラフィックデータのための状態レジスターは、デコーディングされた前記第1グラフィックデータを画面上に出力するか否かを示すフラッグをさらに含むことを特徴とする請求項9に記載の再生装置。
【請求項18】
前記グラフィックデコーダは、前記第1グラフィックデータを画面上に出力するか否かを示すフラッグの値によって、前記第1グラフィックデータがデコーディングされて出力準備が完了したことをユーザに知らせる最初のメニューページを出力するか、または前記第1グラフィックデータがデコーディングされて出力準備が完了したとしても、画面上には如何なるメニュー画面も出力されないことを特徴とする請求項16に記載の再生装置。
【請求項19】
前記グラフィックデコーダは、前記フラッグが前記第1グラフィックデータを画面上に出力しないように設定された場合、ユーザから活性化要求が入力されれば、前記ユーザの活性化要求を無視するか、または前記最初のメニューページを出力することを特徴とする請求項18に記載の再生装置。
【請求項20】
前記インターフェースは、前記第1グラフィックデータを画面上に出力するか否かを示すフラッグの値をオン/オフするシステムメニューを含むことを特徴とする請求項16に記載の再生装置。
【請求項21】
前記インターフェースは、前記第1グラフィックデータを画面上に出力するか否かを示すフラッグの値をオン/オフするボタンを備えたリモコンを含むことを特徴とする請求項16に記載の再生装置。
【図1】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図6A】
【図6B】
【図6C】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15A】
【図15B】
【図16】
【図17】
【図18】
【図19】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図6A】
【図6B】
【図6C】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15A】
【図15B】
【図16】
【図17】
【図18】
【図19】
【公開番号】特開2007−68199(P2007−68199A)
【公開日】平成19年3月15日(2007.3.15)
【国際特許分類】
【出願番号】特願2006−276695(P2006−276695)
【出願日】平成18年10月10日(2006.10.10)
【分割の表示】特願2005−5705(P2005−5705)の分割
【原出願日】平成17年1月12日(2005.1.12)
【出願人】(390019839)三星電子株式会社 (8,520)
【氏名又は名称原語表記】Samsung Electronics Co.,Ltd.
【Fターム(参考)】
【公開日】平成19年3月15日(2007.3.15)
【国際特許分類】
【出願日】平成18年10月10日(2006.10.10)
【分割の表示】特願2005−5705(P2005−5705)の分割
【原出願日】平成17年1月12日(2005.1.12)
【出願人】(390019839)三星電子株式会社 (8,520)
【氏名又は名称原語表記】Samsung Electronics Co.,Ltd.
【Fターム(参考)】
[ Back to top ]