映像再生システム、制御装置及び映像再生方法
【課題】第１の映像を符号化した第１の符号化データと、第１の符号化データが有する表示領域情報に基づいて、第１の映像と同一画面上に表示される第２の映像を符号化した第２の符号化データを含むストリームデータの途中再生点にかかわらず、第２の映像を表示することができる表示映像再生システム、制御装置及び映像再生方法を提供すること
【解決手段】本発明にかかる映像再生システムは、第１の映像を符号化した第１の符号化データをデコードする第１のデコーダと、第１の符号化データが有する表示領域情報に基づいて第２の符号化データをデコードする第２のデコーダと、ストリームデータの途中である再生点から再生処理する場合に、第２の符号化データに対応する第１の符号化データが途中再生点より後のストリームデータに含まれていないときに、途中再生点より前のストリームデータに含まれる第１の符号化データを第１のデコーダに出力する制御部を有する。
【解決手段】本発明にかかる映像再生システムは、第１の映像を符号化した第１の符号化データをデコードする第１のデコーダと、第１の符号化データが有する表示領域情報に基づいて第２の符号化データをデコードする第２のデコーダと、ストリームデータの途中である再生点から再生処理する場合に、第２の符号化データに対応する第１の符号化データが途中再生点より後のストリームデータに含まれていないときに、途中再生点より前のストリームデータに含まれる第１の符号化データを第１のデコーダに出力する制御部を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像再生システム、制御装置及び映像再生方法に関する。
【背景技術】
【０００２】
特許文献１には、１ストリームデコードによってＢＤ(Blu-ray Disc(登録商標))を再生するプレーヤが開示されている。図４に、特許文献１に開示されているプレーヤのように、１ストリームデコードを行うハードウェア４のブロック図を示す。
また、図４に、ＭＰＥＧシステム規格(ＩＳＯ／ＩＥＣ１３８１８−１)におけるストリーム５２を示している。ストリーム５２は、映像データが符号化されたデータ"Ｖ" (以下、「ビデオデータ」とする)と、音声データが符号化されたデータ"Ａ"(以下、「オーディオデータ」とする)が、１つに多重化されたデータ群である。
【０００３】
ＭＰＥＧシステム規格におけるストリーム５２の特徴は、ビデオデータ及びオーディオデータなど、多重化されたデータがそれらのデコード順に基づくビット列になっており、必ずしも再生順に基づいてビット列が形成されている訳ではないということである。多重化されたデータ、即ち、ビデオデータ及びオーディオデータは、必ずしも再生順に基づいてビット列が形成されている訳ではない。
【０００４】
デマルチプレクサ２００は、ストリーム５２に含まれるデータをビデオバッファ２１０とオーディオバッファ２１１に分配して、それぞれに格納する。具体的には、ビデオバッファ２１０には、ビデオデータが格納され、オーディオバッファ２１１には、オーディオデータが格納される。そして、デコードタイミングで、ビデオデコーダ２１２がビデオバッファ２１０に格納されたビデオデータをデコードし、オーディオデコーダ２１３がオーディオバッファ２１１に格納されたオーディオデータをデコードする。これにより、ビデオデータをデコードして生成した映像データによる映像の表示と、オーディオデータをデコードして生成した音声データによる音声の出音を行うことができる。
【０００５】
なお、特許文献２には、テキスト字幕ストリームの空白期間にあたるＰｌａｙＩｔｅｍ情報のＳＴＮ＿Ｔａｂｌｅにダミーの値を設定する技術が開示されている。これにより、空白期間であってもテキスト字幕ストリームがプリロードされるようにして、シームレス再生を優先させることができ、テキスト字幕ストリームをロードすることができなくなるという事態の発生を避けることができる技術が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−０１３７２６号公報
【特許文献２】特開２００８−２５１１５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
次世代ＤＶＤ規格となるＢＤでは、２ストリームデコードに対応している。図５に、２ストリームデコードを行うハードウェア５のブロック図を示す。
【０００８】
また、図５は、背景技術として説明したＭＰＥＧシステム規格における２つのストリームが多重化されたストリーム５３を示している。ストリーム５３は、映像データが符号化されたデータ"Ｖ１"(以下、「ビデオデータ１」とする)及び"Ｖ２"(以下、「ビデオデータ２」とする)と、音声データが符号化されたデータ"Ａ１"(以下、「オーディオデータ１」とする)及び"Ａ２"(以下、「オーディオデータ２」とする)が、１つに多重化されたデータ群である。
具体的には、ビデオデータ１及びオーディオデータ１を含むストリームと、ビデオデータ２及びオーディオデータ２を含むストリームの２つのストリームが多重化されている。つまり、ビデオデータ１及びオーディオデータ１を含むストリームと、ビデオデータ２及びオーディオデータ２を含むストリームは、それぞれ独立した映像及び音声を再生する。
【０００９】
デマルチプレクサ３００は、ストリーム５３に含まれるデータをビデオバッファ３１０、３２０とオーディオバッファ３１１、３２１に分配して、それぞれに格納する。ビデオバッファ３１０には、ビデオデータ１が格納され、ビデオバッファ３２０には、ビデオデータ２が格納される。また、オーディオバッファ３１１には、オーディオデータ１が格納され、オーディオバッファ３２１には、オーディオデータ２が格納される。
【００１０】
そして、デコードタイミングで、ビデオデコーダ３１２がビデオバッファ３１０に格納されたビデオデータ１をデコードし、ビデオデコーダ３２２がビデオバッファ３２０に格納されたビデオデータ２をデコードする。また、同じタイミングで、オーディオデコーダ３１３がオーディオバッファ３１１に格納されたオーディオデータ１をデコードし、オーディオデコーダ３２３がオーディオバッファ３２１に格納されたオーディオデータ２をデコードする。これにより、ビデオデータ１及びビデオデータ２をデコードして生成した映像データによる映像の表示と、オーディオデータ１及びオーディオデータ２をデコードして生成した音声データによる音声の出音を行うことができる。
【００１１】
なお、一般的に、ＢＤでは、ビデオデータ１及びビデオデータ２のいずれかをビデオデータに基づいて表示される映像を本編となる主映像として再生し、他方のビデオデータに基づいて表示される映像をメイキングコメンタリー等の副映像として再生している。
【００１２】
ところで、ＢＤでは、２ストリームデコードを行って、同時に同一画面内に主映像及び副映像を表示する場合、図６に示すように、画面内における主映像の表示領域(表示開始位置、幅、高さ)に応じて、画面内における副映像の表示領域が決定される。以下、これを「表示の同期」とする。
しかしながら、背景技術として、図４において示したようなハードウェア４を、そのまま２つ組み合わせて、２ストリームデコードを行えるようにしただけでは、副映像をデコードするデコーダは、主映像の表示領域を知ることができないため、表示の同期を行うことができないという問題があった。
【００１３】
この課題を解決するため、ＢＤ規格では図７に示すように、PlayItemIDと、SecondaryVideoStreamIDというＩＤと、主映像の表示領域を示す表示領域情報を用いて、表示の同期の制御を行っている。なお、ここでは、ビデオデータ１によって主映像が再生され、ビデオデータ２によって副映像が再生される場合について説明する。
ここで、PlayItemIDは、主映像のビデオデータ１に割り当てられた識別情報であり、SecondaryVideoStreamIDは、副映像のビデオデータ２に割り当てられた識別情報である。
図７に示す場合、主映像は、"PlayItemID=0"のビデオデータ１、"PlayItemID=1"のビデオデータ１、"PlayItemID=2"のビデオデータ１の順番にデコードされて再生される。また、副映像は、"SecondaryVideoStreamID=0"のビデオデータ２、"SecondaryVideoStreamID=1"のビデオデータ２の順番にデコードされて再生される。
【００１４】
続いて、図５に示すハードウェア５において、表示の同期を行う場合について詳細に説明する。
【００１５】
まず、ビデオデコーダ３１２は、ビデオデータ１の入力とともに、そのビデオデータ１に対応付けられたPlayItemIDの入力を受ける。また、ビデオデコーダ３２２は、ビデオデータ２の入力とともに、そのビデオデータ２に対応付けられたSecondaryVideoStreamIDの入力を受ける。
【００１６】
ビデオデコーダ３１２は、入力されたビデオデータ１をデコードすることによってビデオデータ１に含まれる表示領域情報を取得し、取得した表示領域情報が示す表示領域に主映像を表示する映像データ１を生成する。このとき、ビデオデコーダ３１２は、入力されたPlayItemID及び取得した表示領域情報を内部に保持する。
【００１７】
また、ビデオデコーダ３２２は、入力されたビデオデータ２をデコードして映像データ２を生成するときに、ビデオデコーダ３１２からビデオデータ１のPlayItemIDを取得して、取得したPlayItemIDと、SecondaryVideoStreamIDと比較する。
ここで、ビデオデータ２のSecondaryVideoStreamIDは、このビデオデータ２によって再生される副映像と同時に表示される主映像のビデオデータ１のPlayItemIDと一致した値が割り当てられる。そのため、ビデオデコーダ３２２は、PlayItemIDと、SecondaryVideoStreamIDとが一致した場合、ビデオデコーダ３１２から表示領域情報を取得する。
【００１８】
また、ビデオデコーダ３２２は、ビデオデータ２をデコードすることによって、このビデオデータ２に含まれる表示領域情報を取得している。このビデオデータ２から取得した表示領域情報は、主映像の表示領域がとり得るパターンのそれぞれに対応する複数のパターンの表示領域が示されている。ビデオデコーダ３２２は、この複数のパターンの表示領域のうち、ビデオデコーダ３１２から取得した表示領域情報が示す表示領域に対応するパターンの表示領域に副映像を表示する映像データ２を生成する。つまり、図７に示すように、ビデオデコーダ３２２は、デコードするビデオデータ２に対応するビデオデータ１の表示領域情報をビデオデコーダ３１２から取得し、取得した表示領域情報が示す主映像の表示領域に基づいて、副映像の表示領域を決定する。
【００１９】
このように、副映像を正しい表示領域に表示するためには、PlayItemIDや表示領域情報を取得する必要がある。
しかし、ストリームの再生を開始する位置によっては、PlayItemIDや表示領域情報を取得することができないときがあるという問題がある。
【００２０】
続いて、この問題について、図８、９を参照して詳細に説明する。図８は、２ストリームデコードを行うハードウェア５における表示・出音までの流れを示す図である。
なお、図８(Ａ)に示すストリームは、ビデオデータ１をデコード順に、"Ｖ１−１"、"Ｖ１−２"、・・・として示しており、ビデオデータ２をデコード順に、"Ｖ２−１"、"Ｖ２−２"、・・・として示している。また、オーディオデータ１をデコード順に、"Ａ１−１"、"Ｖ１−２"、・・・として示しており、オーディオデータ２をデコード順に、"Ａ２−１"、"Ｖ２−２"、・・・として示している。ここで、ビデオデータ１"Ｖ１−１"の表示される期間内に、ビデオデータ２"Ｖ２−１"、"Ｖ２−２"、"Ｖ２−３"が表示されるものとする。つまり、ビデオデータ１"Ｖ１−１"のPlayItemIDと一致するように、ビデオデータ２"Ｖ２−１"、"Ｖ２−２"、"Ｖ２−３"のSecondaryVideoStreamIDが設定される。
【００２１】
図８(Ｂ)に示すビデオデコーダ３１２、３２２及びオーディオデコーダ３１３、３２３は、図８(Ａ)に示すストリームに含まれるデータをデコードすることによって、図８(Ｃ)に示すような映像及び音声を表示・出音する映像データ及び音声データを生成する。
【００２２】
このとき、ビデオデコーダ３１２は、ビデオデータ１"Ｖ１−１"をデコードした場合、このビデオデータ１"Ｖ１−１"のPlayItemID及び表示領域情報を保持する。ここで、ビデオデータ１"Ｖ１−１"、"Ｖ１−２"をデコードして表示される主映像は、例えば、静止画のように一定期間同一の画像が表示され続ける映像であるものとする。そのため、ビデオデータ１"Ｖ１−２"がストリームからビデオデコーダ３１２に入力されるのは、ビデオデータ１"Ｖ１−１"の表示終了直前となる。一般的に、ビデオデータ１"Ｖ１−１"によって表示される映像が静止画のように一定期間同一の映像が表示され続ける映像である場合、ビデオデータ１"Ｖ１−１"に後続するビデオデータ１"Ｖ１−２"は表示終了直前まで入力されない。
【００２３】
また、上述したように、ビデオデータ２"Ｖ２−１"、"Ｖ２−２"、"Ｖ２−３"は、それぞれによって表示される副映像が、ビデオデータ１"Ｖ１−１"によって表示される主映像の表示中に表示されるようにSecondaryVideStremIDが割り当てられている。そのため、ビデオデータ２"Ｖ２−１"、"Ｖ２−２"、"Ｖ２−３"をデコードする際には、それぞれに割り当てられたSecondaryVideStremIDと値が一致するPlayItemIDを有するビデオデータ１"Ｖ１−１"のビデオデータの表示領域情報を取得する。そして、ビデオデコーダ３２２は、取得した表示領域情報に基づいて、ビデオデータ２"Ｖ２−１"、"Ｖ２−２"、"Ｖ２−３"をデコードして、副映像を表示する映像データ２を生成する。
【００２４】
図９は、図８(Ａ)に示すストリームが、途中のビデオデータ１"Ａ１−１"から再生される場合において、２ストリームデコードを行うハードウェア５における表示・出音までの流れを示す図である。このように、ストリームにおける再生開始位置が変動することは、レジューム再生や再生開始時刻を指定した再生等によって頻繁に発生し得る。
【００２５】
図９(Ｂ)に示すビデオデコーダ３１２、３２２及びオーディオデコーダ３１３、３２３は、図９(Ａ)に示すストリームに含まれるデータをデコードすることによって、図８(Ｃ)に示すような映像及び音声を表示・出音する映像データ及び音声データを生成する。
【００２６】
この場合、図８(Ａ)に示されていたビデオデータ１"Ｖ１−１"は、ストリームの再生開始位置よりも前に含まれているため、ビデオデコーダ３１２に入力されない。そのため、本来ならビデオデータ１"Ｖ１−１"によって主映像が再生されている期間中であっても、ビデオデコーダ３２２は、ビデオデコーダ３１２からビデオデータ１"Ｖ１−１"のPlayItemIDや表示領域情報を取得することができない。ビデオデコーダ３１２は、ビデオデータ１"Ｖ１−２"がデコードされて初めてビデオデータ１のPlayItemID や表示領域情報を保持することになる。
【００２７】
よって、このような場合、ビデオデータ１"Ｖ１−１"がデコードされないため、ビデオデコーダ３２２は、ビデオデータ１"Ｖ１−１"のPlayItemIDと表示領域情報を取得することができない。そのため、ビデオデコーダ３２２は、ビデオデータ２"Ｖ２−１"、"Ｖ２−２"、"Ｖ２−３"について、表示の同期を行うことができず、これらの副映像を表示することができないという問題がある。
【００２８】
つまり、第１の映像を符号化した第１の符号化データと、第１の符号化データが有する表示領域情報に基づいて、第１の映像と同一画面上に表示される第２の映像を符号化した第２の符号化データを含んだストリームデータを途中である再生点から再生処理する場合に、このストリームデータの途中再生点によっては、第２の映像を表示することができないという問題がある。
【００２９】
しかし、背景技術として説明したように、特許文献２は、空白期間であってもテキスト字幕ストリームがプリロードされるようにすることで、シームレス再生を遮ることなく、字幕を表示できるようにするものであるが、この字幕は、主映像の表示領域情報に基づいて表示されるような映像ではない。つまり、特許文献２に記載の技術は、第１の映像を符号化した第１の符号化データと、第１の符号化データが有する表示領域情報に基づいて、第１の映像と同一画面上に表示される第２の映像を符号化した第２の符号化データを含んだストリームデータを再生処理するためのものではなく、本願の課題を解決するために適用することはできない。
【課題を解決するための手段】
【００３０】
本発明の第１の態様にかかる映像再生システムは、第１の映像を符号化した第１の符号化データと、前記第１の映像と同一画面上に表示される第２の映像を符号化した第２の符号化データを含むストリームデータを入力し、前記第１の映像及び前記第２の映像を再生処理する映像再生システムであって、前記第１の符号化データをデコードする第１のデコーダと、前記第２の符号化データに対応する前記第１の符号化データが有する表示領域情報に基づいて、前記第２の符号化データをデコードする第２のデコーダと、前記ストリームデータに含まれる前記第１の符号化データと前記第２の符号化データを夫々前記第１のデコーダ及び前記第２のデコーダに対して出力する制御部と、を有し、前記制御部は、
前記ストリームデータの途中である再生点から前記再生処理を実行する場合に、前記第２の符号化データに対応する前記第１の符号化データが前記途中再生点より後のストリームデータに含まれていないときに、前記途中再生点より前のストリームデータに含まれる前記第１の符号化データを前記第１のデコーダに出力するものである。
【００３１】
そのため、ストリームデータの途中再生点にかかわらず、第１の符号化データをデコードして、第１の符号化データが有する表示領域情報を取得することができるようになるため、この表示領域情報に基づいて第２の符号化データをデコードすることが可能となる。
【００３２】
本発明の第２の態様にかかる制御装置は、第１の映像を符号化した第１の符号化データと、前記第１の映像と同一画面上に表示される第２の映像を符号化した第２の符号化データを含むストリームデータを入力する手段と、前記ストリームデータに含まれる前記第１の符号化データを、前記第１の符号化データをデコードする第１のデコーダに出力する手段と、前記ストリームデータに含まれる当該第２の符号化データを、前記第２の符号化データに対応する前記第１の符号化データが有する表示領域情報に基づいて、前記第２の符号化データをデコードする第２のデコーダに出力する制御装置であって、前記ストリームデータの途中である再生点から再生処理を実行する場合に、前記第２の符号化データに対応する前記第１の符号化データが途中再生点より後のストリームデータに含まれていないときに、前記途中再生点より前のストリームデータに含まれる前記第１の符号化データを前記第１のデコーダに出力するものである。
【００３３】
そのため、ストリームデータの途中再生点にかかわらず、第１の符号化データをデコードして、第１の符号化データが有する表示領域情報を取得することができるようになるため、この表示領域情報に基づいて第２の符号化データをデコードすることが可能となる。
【００３４】
本発明の第３の態様にかかる映像再生方法は、第１の映像を符号化した第１の符号化データと、前記第１の映像と同一画面上に表示される第２の映像を符号化した第２の符号化データを含むストリームデータに基づいて、前記第１の映像と前記第２の映像を再生処理する映像再生方法であって、前記ストリームデータの途中である再生点から前記再生処理を実行する場合に、前記第２の符号化データに対応する前記第１の符号化データが前記途中再生点より後のストリームデータに含まれていないときに、前記途中再生点より前のストリームデータに含まれる前記第１の符号化データが有する表示領域情報に基づいて、第２の映像を前記再生処理するものである。
【００３５】
そのため、ストリームデータの途中再生点にかかわらず、第１の符号化データをデコードして、第１の符号化データが有する表示領域情報を取得することができるようになるため、この表示領域情報に基づいて第２の符号化データをデコードすることが可能となる。
【発明の効果】
【００３６】
上述した各態様により、第１の映像を符号化した第１の符号化データと、第１の符号化データが有する表示領域情報に基づいて、第１の映像と同一画面上に表示される第２の映像を符号化した第２の符号化データを含んだストリームデータを途中である再生点から再生処理する場合に、このストリームデータの途中再生点にかかわらず、第２の映像を表示することができる映像再生システム、制御装置及び映像再生方法を提供することができる。
【図面の簡単な説明】
【００３７】
【図１】本発明の実施の形態にかかる映像再生システムのブロック図である。
【図２】本発明の実施の形態にかかる映像再生システムにおける表示・出音までの流れを例示する図である。
【図３】本発明の実施の形態にかかる映像再生システムの処理を示すフローチャートである。
【図４】１ストリームデコードを行うハードウェアのブロック図である。
【図５】２ストリームデコードを行うハードウェアのブロック図である。
【図６】主映像及び副映像の表示領域の相関図である。
【図７】表示の同期を説明するための図である。
【図８】２ストリームデコードを行うハードウェアにおける表示・出音までの流れを示す図である。
【図９】２ストリームデコードを行うハードウェアにおいて、ストリームを途中から再生する場合の表示・出音までの流れを示す図である。
【発明を実施するための形態】
【００３８】
まず、図１を参照して、本発明の実施の形態にかかる映像再生システムの構成について説明する。図１は、本発明の実施の形態にかかる映像再生システムのブロック図である。なお、本実施の形態では、例えば、ＢＤディスクレコーダやＢＤディスクプレーヤ等の再生装置に適用した場合について例示する。
【００３９】
映像再生システム１は、制御部１０、デマルチプレクサ２０、ビデオバッファ３０、４０、オーディオバッファ３１、４１、ビデオデコーダ３２、４２及びオーディオデコーダ３３、４３を有する。映像再生システム１には、２つのストリームが多重化されたストリームがＢＤ２から入力される。
【００４０】
制御部１０は、ＢＤ２から再生するストリームを読み出し、読み出したストリームをデマルチプレクサ２０に出力する。このストリームは、図８(Ａ)において説明したように、ビデオデータ１及びビデオデータ２と、オーディオデータ１及びオーディオデータ２が、１つに多重化されたデータ群である。なお、制御部１０は、例えば、任意の回路やプロセッサによって構成されている。
【００４１】
デマルチプレクサ２０は、制御部１０から出力されたストリームに含まれるデータをビデオバッファ３０、４０及びオーディオバッファ３１、４１に分配して、それぞれに格納する。具体的には、デマルチプレクサ２０は、ビデオデータ１をビデオバッファ３０に格納し、ビデオデータ２をビデオバッファ４０に格納する。また、デマルチプレクサ２０は、オーディオデータ１をオーディオバッファ３１に格納し、オーディオデータ２をオーディオバッファ４１に格納する。
ここで、デマルチプレクサ２０がビデオデータ及びオーディオデータをどのバッファ３０、４０、３１、４１に格納するかの判断は、制御部１０がマルチプレクサ２０に出力するビデオデータ及びオーディオデータに、ビデオデータ１、ビデオデータ２、オーディオデータ１又はオーディオデータ２のうちのいずれのデータであるかを識別可能とする情報を付加することによって判断可能としている。なお、制御部１０は、ＢＤ２から読み出した情報に基づいて、ビデオデータやオーディオデータが、ビデオデータ１、ビデオデータ２、オーディオデータ１又はオーディオデータ２のうちのいずれのデータであるかを判断する。
【００４２】
ビデオデコーダ３２は、デコードタイミングで、ビデオバッファ３０に格納されたビデオデータ１をデコードして、主映像を表示するための映像データ１を生成する。
ビデオデコーダ４２は、デコードタイミングで、ビデオバッファ４０に格納されたビデオデータ２をデコードして、副映像を表示するための映像データ２を生成する。
【００４３】
オーディオデコーダ３３は、デコードタイミングで、オーディオバッファ３１に格納されたオーディオデータ１をデコードして、主映像の音声を出音するための音声データ１を生成する。
オーディオデコーダ４３は、デコードタイミングで、オーディオバッファ４１に格納されたオーディオデータ２をデコードして、副映像の音声を出音するための音声データ２を生成する。
【００４４】
なお、映像データ１及び映像データ２、音声データ１及び音声データ２は、映像再生システムから表示装置(図示せず)に出力されて、この出力を受けた表示装置によって再生される。表示装置は、例えば、ＣＲＴ(Cathode Ray Tube)、PDP(Plasma Display Panel)、LCD(Liquid Crystal Display)又は有機ＥＬ(Electro Luminescence)や、スピーカ等から構成される装置である。
【００４５】
続いて、図２、３を参照して、本発明の実施の形態にかかる映像再生システムの処理について説明する。図３は、本発明の実施の形態にかかる映像再生システムにおける表示・出音までの流れを例示する図である。本実施の形態では、図８(Ａ)に示すストリームをオーディオデータ１"Ａ１−１"から再生する場合における処理について例示する。
【００４６】
まず、制御部１０は、ＢＤ２からストリームを読み出す(Ｓ１００)。ここで、図２(Ａ)に示すビデオデータ１"Ｖ１−１"及び図２(Ｂ)に示すオーディオデータ１"Ａ１−１"からビデオデータ１"Ｖ１−２"の直前までのデータを読み出す。
このように、まず、図２(Ｂ)に示す再生するストリームのうちのオーディオデータ１"Ａ１−１"からビデオデータ１"Ｖ１−２"の直前までのデータを読み出して、それ以後も、ストリームのビデオデータ１"Ｖ１−２"以降のデータを順次任意の単位で読み出していくことで、再生を行っていく。以下、このようにして図２(Ｂ)に示すストリームから読み出す任意の単位のデータ群を「再生ストリーム」とする。
ここで、本実施の形態では、再生開始位置となるオーディオデータ１"Ａ１−１"よりも前にある直近のビデオデータ１"Ｖ１−１"も読み出すようにしている。これによって、後述するようにビデオデータ１"Ｖ１−１"を使用して、ビデオデータ１"Ｖ１−１"によって表示される主映像と同時に表示される副映像の再生を可能としている。
【００４７】
そして、制御部１０は、再生ストリームに含まれているビデオデータ２によって再生される副映像と同時に表示される主映像のビデオデータ１が、再生ストリームに含まれていないかどうかを判定する(Ｓ１０１)。なお、ここでの判断は、例えば、ビデオデータ１及びビデオデータ２に含まれるＰＳＴ(Presentation Time Stamp)等のように、ＢＤ２から読み出した時刻情報に基づいて同時に表示されるか否かを判断する。
【００４８】
本実施の形態のように、図２(Ｂ)に例示するストリームを再生する場合は、制御部１０は、再生ストリームに含まれるビデオデータ２"Ｖ２−１"、"Ｖ２−２"、"Ｖ２−３"によって再生される副映像と同時に表示される主映像のビデオデータ１"Ｖ１−１"が再生ストリームに含まれていないと判断する。
ビデオデータ１"Ｖ１−１"が再生ストリームに含まれていないと判断した場合、制御部１０は、再生ストリームに含まれるデータをデマルチプレクサ２０に出力するとき(Ｓ１０５)に、再生開始位置よりも前のストリームに含まれるビデオデータ１"Ｖ１−１"もデマルチプレクサ２０に出力する(Ｓ１０２)。このとき、制御部１０は、ビデオデータ１"Ｖ１−１"と対応付けてPlayItemIDをデマルチプレクサ２０に出力する。デマルチプレクサ２０は、制御部１０から出力されたビデオデータ１"Ｖ１−１"及びこれに対応付けられたPlayItemIDをビデオバッファ３０に格納する。
【００４９】
そして、ビデオデコーダ３２は、デコードタイミングで、ビデオバッファ３１からビデオデータ１"Ｖ１−１"及びこれに対応付けられたPlayItemIDを取得する。ビデオデコーダ３２は、取得したビデオデータ１"Ｖ１−１"をデコードすることによって、このビデオデータ１"Ｖ１−１"に含まれる表示領域情報を取得する(Ｓ１０３)。そして、ビデオデコーダ３２は、取得したPlayItemID及び表示領域情報を保持しておく(Ｓ１０４)。なお、PlayItemID及び表示領域情報は、ビデオデコーダ３２が有する任意の記憶装置に格納される。ここで、任意の記憶装置は、例えば、レジスタである。
以下、ビデオデコーダ３２がこのように取得したPlayItemID及び表示領域情報を「PlayItemID'」及び「表示領域情報'」とし、再生ストリームに含まれるビデオデータ１によって取得したPlayItemID及び表示領域情報を「PlayItemID」及び「表示領域情報」とする。
【００５０】
一方、ビデオデータ１"Ｖ１−１"が再生ストリームに含まれていると判断した場合、再生ストリームに含まれるデータをデマルチプレクサ２０に出力するが(Ｓ１０５)、別途、再生開始位置よりも前にあるビデオデータ１をデマルチプレクサ２０に出力しない。例えば、図８(Ａ)に示すストリームをビデオデータ１"Ｖ１−１"から再生する場合、このように判断される。
【００５１】
また、制御部１０は、再生ストリームに含まれるデータをデマルチプレクサ２０に出力するときに、ビデオデータ１"Ｖ１−１"によって再生される主映像と同時に表示される副映像のビデオデータ２"Ｖ２−１"、"Ｖ２−２"、"Ｖ２−３"と対応付けて、ビデオデータ１"Ｖ１−１"のPlayItemIDと同じ値のSecondaryVideoStreamIDをデマルチプレクサ２０に出力する。
【００５２】
デマルチプレクサ２０は、制御部１０から出力された再生ストリームに含まれるデータを分配してビデオバッファ３０、４０及びオーディオバッファ３１、４１に格納する。具体的には、ビデオデータ２"Ｖ２−１"、"Ｖ２−２"、"Ｖ２−３"及びそれらのSecondaryVideoStreamIDは、ビデオバッファ４０に格納される。また、オーディオデータ１"Ａ１−１"、"Ａ１−２"、"Ａ１−３"は、オーディオバッファ３１に格納され、オーディオデータ２"Ａ２−１"、"Ａ２−２"は、オーディオバッファ４１に格納される。
【００５３】
そして、デコードタイミングで、ビデオデコーダ３２、４２及びオーディオデコーダ３３、４３は、ビデオバッファ３０、４０及びオーディオバッファ３１、４１に格納されたデータを取得して、取得したデータをデコードする。
具体的には、ビデオデコーダ４２は、ビデオデータ２"Ｖ２−１"、"Ｖ２−２"、"Ｖ２−３"をデコードして、それぞれの映像データ２を生成する(Ｓ１１０、Ｓ１１１)。オーディオデコーダ３３は、オーディオデータ１"Ａ１−１"、"Ａ１−２"、"Ａ１−３"デコードして、それぞれの音声データ１を生成する(Ｓ１０８、Ｓ１０９)。また、オーディオデコーダ４３は、オーディオデータ２"Ａ２−１"、"Ａ２−２"をデコードして、それぞれの音声データ２を生成する(Ｓ１１２、Ｓ１１３)。
【００５４】
ここで、ビデオデコーダ４２は、ビデオデータ２"Ｖ２−１"、"Ｖ２−２"、"Ｖ２−３"をデコードするときに、ビデオデータ１"Ａ１−１"のPlayItemID及び表示領域情報をビデオデコーダ３２から取得できるか否かを判断する(Ｓ１１７)。
再生ストリームにビデオデータ１"Ａ１−１"は含まれていないため、ビデオデコーダ４２は、ビデオデータ１"Ａ１−１"のPlayItemID及び表示領域情報が取得できないと判断し、ビデオデータ１"Ａ１−１"のPlayItemID'をビデオデコーダ３２から取得する。
そして、ビデオデコーダ４２は、取得したビデオデータ１"Ａ１−１"のPlayItemID'と、ビデオデータ２"Ｖ２−１"、"Ｖ２−２"、"Ｖ２−３"のSecondaryVideoStreamIDが一致するので、ビデオデコーダ３２からビデオデータ１"Ａ１−１"の表示領域情報'を取得する。ビデオデコーダ４２は、取得した表示領域情報'に基づいて、ビデオデータ２"Ｖ２−１"、"Ｖ２−２"、"Ｖ２−３"によって再生される副映像の表示領域を決定して、それぞれの映像データ２を生成する(Ｓ１１９)。
【００５５】
ここで、ビデオデコーダ３２は、PlayItemID及び表示領域情報を保持しているか否かを示すフラグを有している。このフラグは、好ましくは、ビデオデータ１によって再生される主映像の再生期間中に有効とする。よって、ビデオデコーダ４２は、このフラグを参照することで、ビデオデータ１"Ａ１−１"のPlayItemID及び表示領域情報をビデオデコーダ３２から取得できるか否かを判断することができる。また、これにより、ビデオデコーダ４２は、ビデオデコーダ３２が、例えば、不定値のように無効なPlayItemID及び表示領域情報を保持している場合に、誤ってこの値を取得してしまわないようにすることができる。
【００５６】
また、ビデオデコーダ３２は、同様に、PlayItemID'及び表示領域情報'を保持しているか否かを示すフラグを有している。このフラグは、好ましくは、ビデオデータ１によって本来再生される主映像の再生期間中に有効とする。よって、ビデオデコーダ４２は、このフラグを参照することで、ビデオデコーダ３２が有効なビデオデータ１"Ａ１−１"のPlayItemID'及び表示領域情報'をから取得できるか否かを判断することができる。そのため、ビデオデコーダ４２は、ビデオデコーダ３２が、例えば、不定値のように無効なPlayItemID'及び表示領域情報'を保持している場合に、誤ってこの値を取得してしまわないようにすることができる。
なお、上述した各フラグは、ビデオデコーダ３２が有する任意の記憶装置に格納される。また、ビデオデコーダ３２は、例えば、ＢＤ２から読み出した時刻情報に基づいて、再生期間を判断してフラグを更新することができる。
【００５７】
また、ビデオデコーダ３２が、上述したどちらのフラグを有効にするか否かは、例えば、制御部１０が、再生ストリームに含まれるビデオデータ２によって再生される副映像と同時に表示される主映像のビデオデータ１が再生ストリームに含まれていないと判断した場合に、その旨を通知する情報をデマルチプレクサ２０経由でビデオデコーダ３２に出力することで判断可能とすることができる。
また、ビデオデコーダ３２は、この情報に基づいて、再生ストリームに含まれていないビデオデータ１が入力されたか否かを判断することができる。これにより、再生ストリームに含まれていないビデオデータ１が入力された場合は、このビデオデータ１をデコードして生成した映像データ１を外部の表示装置に出力しないようにすることもできる。
【００５８】
以上のようにして生成された映像データ２は、表示装置に出力されて、表示装置において表示される(Ｓ１２０)。また、以上のようにして生成された音声データ１及び音声データ２は、表示装置に出力されて、表示装置によって出音される(Ｓ１１８、Ｓ１２１)。
【００５９】
続いて、制御部１０は、次に再生する再生ストリームをＢＤ２から読み出す(Ｓ１２２)。ここでは、図２(Ｂ)に示すストリームの"Ｖ１−２"以降のデータを読み出すものとする。そして、制御部１０は、読み出した再生ストリームをデマルチプレクサ２０に出力する(Ｓ１２３)。
【００６０】
なお、制御部１０は、ビデオデータ１"Ｖ１−２"と対応付けてPlayItemIDもデマルチプレクサ２０に出力する。さらに、制御部１０は、ビデオデータ１"Ｖ１−２"によって再生される主映像と同時に表示される副映像のビデオデータ２"Ｖ２−４"と対応付けて、ビデオデータ１"Ｖ１−２"のPlayItemIDと同じ値のSecondaryVideoStreamIDもデマルチプレクサ２０に出力する。
【００６１】
デマルチプレクサ２０は、制御部１０から出力された再生ストリームに含まれるデータを分配してビデオバッファ３０、４０及びオーディオバッファ３１、４１に格納する。具体的には、ビデオデータ１"Ｖ１−２"及びそのPlayItemIDは、ビデオバッファ４０に格納され、ビデオデータ２"Ｖ２−４"及びそのSecondaryVideoStreamIDは、ビデオバッファ４０に格納される。
【００６２】
そして、デコードタイミングで、ビデオデコーダ３２、４２及びオーディオデコーダ３３、４３は、ビデオバッファ３０、４０及びオーディオバッファ３１、４１に格納されたデータを取得して、取得したデータをデコードする。
具体的には、ビデオデコーダ３２は、ビデオデータ１"Ａ１−２"をデコードして、その映像データ１を生成する(Ｓ１０６、Ｓ１０７)。ビデオデコーダ４２は、ビデオデータ２"Ｖ２−４"をデコードして、それぞれの映像データ２を生成する(Ｓ１１０、Ｓ１１１)。
【００６３】
ここで、ビデオデコーダ３２は、ビデオデータ１"Ａ１−２"をデコードして、その映像データ１を生成するときに、ビデオデータ１"Ａ１−２"をデコードすることによって、このビデオデータ１"Ｖ１−１"に含まれる表示領域情報を取得する。そして、ビデオデコーダ３２は、取得したPlayItemID及び表示領域情報を保持しておく。なお、ビデオデコーダ３２は、取得した表示領域情報に基づいて、映像データ１を生成することとなる。
そして、ビデオデコーダ４２は、ビデオデータ２"Ｖ２−４"をデコードするときに、ビデオデータ１"Ａ１−２"のPlayItemID及び表示領域情報をビデオデコーダ３２から取得できるか否かを判断する(Ｓ１１７)。
【００６４】
ビデオデコーダ３２には、ビデオデータ１"Ａ１−１"のPlayItemID及び表示領域情報が保持されているため、ビデオデコーダ４２は、ビデオデータ１"Ａ１−１"のPlayItemID及び表示領域情報を取得する(Ｓ１１４)。
そして、ビデオデコーダ４２は、取得したビデオデータ１"Ａ１−１"のPlayItemIDと、ビデオデータ２"Ｖ２−１"、"Ｖ２−２"、"Ｖ２−３"のSecondaryVideoStreamIDが一致するので、ビデオデコーダ３２からビデオデータ１"Ａ１−１"の表示領域情報を取得する。ビデオデコーダ４２は、取得した表示領域情報に基づいて、ビデオデータ２"Ｖ２−４"によって再生される副映像の表示領域を決定して、映像データ２を生成する(Ｓ１１８)。
【００６５】
以上のようにして生成された映像データ１及び映像データ２は、表示装置に出力されて、表示装置において表示される(Ｓ１１５、Ｓ１２０)。
【００６６】
以降は、制御部１０が、次に再生する再生ストリームをＢＤ２から読み出す(Ｓ１２２)。そして、制御部１０は、読み出した再生ストリームをデマルチプレクサ２０に出力して(Ｓ１２３)、同様に再生ストリームに含まれるデータをデコードして、表示・出音を行っていく。
【００６７】
以上に説明したように、本実施の形態によれば、主映像のビデオデータ１と、主映像と同一画面上に表示される副映像を再生するために主映像の表示領域情報に基づいてデコードされるビデオデータ２を含んだストリームを途中から再生する場合に、ビデオデータ２に対応するビデオデータ１が再生開始位置以降のストリームに含まれていないときに、再生開始位置よりも前のストリームに含まれているビデオデータ１をビデオデコーダ３２に出力するようにしている。
【００６８】
これにより、ストリームの再生が開始される位置にかかわらず、ビデオデータ１をデコードして、ビデオデータ１の表示領域情報を取得することができるようになるため、この表示領域情報に基づいてビデオデータ２をデコードすることが可能となる。
そのため、主映像を再生するためのビデオデータ１と、主映像と同一画面上に表示される副映像を再生するために第１の映像の表示領域情報に基づいてデコードされる第２の符号化データを含んだストリームデータを途中から再生する場合に、このストリームデータの再生が開始される位置にかかわらず、第２の映像を表示することができる。
【００６９】
つまり、本実施の形態によれば、第１の映像を符号化した第１の符号化データと、第１の符号化データが有する表示領域情報に基づいて、第１の映像と同一画面上に表示される第２の映像を符号化した第２の符号化データを含んだストリームデータを途中である再生点から再生処理する場合に、ストリームデータの途中再生点にかかわらず、第１の符号化データをデコードして、第１の符号化データが有する表示領域情報を取得することができるようになるため、この表示領域情報に基づいて第２の符号化データをデコードすることが可能となり、第２の映像を表示することができる。
【００７０】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
例えば、映像再生システムに入力されるストリームは、本実施の形態において例示したようにＢＤに格納されているデータに限られない。例えば、同一画面上に２つの映像を表示するためのストリームを格納する光ディスクであれば、ＢＤに限られない。また、地上波デジタル放送のように、光ディスクからでなく、送信されてきたストリームであってもよい。
【００７１】
また、本実施の形態においては、副映像をデコードするデコーダが、主映像をデコードするデコーダから表示領域情報を取得するようにしているが、別途、主映像のビデオデータから表示領域情報を取得する機能を有する回路又はプロセッサ等を設けて、そこから直接、副映像をデコードするデコーダが表示領域情報を取得できるようにしてもよい。
また、本実施の形態において例示した表示領域情報は、表示領域(表示開始位置、幅、高さ)を示すものに限られず、その他の映像に関する情報であってもよい。
【符号の説明】
【００７２】
１ 映像再生システム
２ ＢＤ
１０ 制御部
２０、２００、３００ デマルチプレクサ
３０、４０、２１０、３１０、３２０ ビデオバッファ
３１、４１、２１１、３１１、３２１ オーディオバッファ
３２、４２、２１２、３１２、３２２ ビデオデコーダ
３３、４３、２１３、３１３、３２３ オーディオデコーダ
５２、５３ ストリーム
４、５ ハードウェア
【技術分野】
【０００１】
本発明は、映像再生システム、制御装置及び映像再生方法に関する。
【背景技術】
【０００２】
特許文献１には、１ストリームデコードによってＢＤ(Blu-ray Disc(登録商標))を再生するプレーヤが開示されている。図４に、特許文献１に開示されているプレーヤのように、１ストリームデコードを行うハードウェア４のブロック図を示す。
また、図４に、ＭＰＥＧシステム規格(ＩＳＯ／ＩＥＣ１３８１８−１)におけるストリーム５２を示している。ストリーム５２は、映像データが符号化されたデータ"Ｖ" (以下、「ビデオデータ」とする)と、音声データが符号化されたデータ"Ａ"(以下、「オーディオデータ」とする)が、１つに多重化されたデータ群である。
【０００３】
ＭＰＥＧシステム規格におけるストリーム５２の特徴は、ビデオデータ及びオーディオデータなど、多重化されたデータがそれらのデコード順に基づくビット列になっており、必ずしも再生順に基づいてビット列が形成されている訳ではないということである。多重化されたデータ、即ち、ビデオデータ及びオーディオデータは、必ずしも再生順に基づいてビット列が形成されている訳ではない。
【０００４】
デマルチプレクサ２００は、ストリーム５２に含まれるデータをビデオバッファ２１０とオーディオバッファ２１１に分配して、それぞれに格納する。具体的には、ビデオバッファ２１０には、ビデオデータが格納され、オーディオバッファ２１１には、オーディオデータが格納される。そして、デコードタイミングで、ビデオデコーダ２１２がビデオバッファ２１０に格納されたビデオデータをデコードし、オーディオデコーダ２１３がオーディオバッファ２１１に格納されたオーディオデータをデコードする。これにより、ビデオデータをデコードして生成した映像データによる映像の表示と、オーディオデータをデコードして生成した音声データによる音声の出音を行うことができる。
【０００５】
なお、特許文献２には、テキスト字幕ストリームの空白期間にあたるＰｌａｙＩｔｅｍ情報のＳＴＮ＿Ｔａｂｌｅにダミーの値を設定する技術が開示されている。これにより、空白期間であってもテキスト字幕ストリームがプリロードされるようにして、シームレス再生を優先させることができ、テキスト字幕ストリームをロードすることができなくなるという事態の発生を避けることができる技術が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−０１３７２６号公報
【特許文献２】特開２００８−２５１１５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
次世代ＤＶＤ規格となるＢＤでは、２ストリームデコードに対応している。図５に、２ストリームデコードを行うハードウェア５のブロック図を示す。
【０００８】
また、図５は、背景技術として説明したＭＰＥＧシステム規格における２つのストリームが多重化されたストリーム５３を示している。ストリーム５３は、映像データが符号化されたデータ"Ｖ１"(以下、「ビデオデータ１」とする)及び"Ｖ２"(以下、「ビデオデータ２」とする)と、音声データが符号化されたデータ"Ａ１"(以下、「オーディオデータ１」とする)及び"Ａ２"(以下、「オーディオデータ２」とする)が、１つに多重化されたデータ群である。
具体的には、ビデオデータ１及びオーディオデータ１を含むストリームと、ビデオデータ２及びオーディオデータ２を含むストリームの２つのストリームが多重化されている。つまり、ビデオデータ１及びオーディオデータ１を含むストリームと、ビデオデータ２及びオーディオデータ２を含むストリームは、それぞれ独立した映像及び音声を再生する。
【０００９】
デマルチプレクサ３００は、ストリーム５３に含まれるデータをビデオバッファ３１０、３２０とオーディオバッファ３１１、３２１に分配して、それぞれに格納する。ビデオバッファ３１０には、ビデオデータ１が格納され、ビデオバッファ３２０には、ビデオデータ２が格納される。また、オーディオバッファ３１１には、オーディオデータ１が格納され、オーディオバッファ３２１には、オーディオデータ２が格納される。
【００１０】
そして、デコードタイミングで、ビデオデコーダ３１２がビデオバッファ３１０に格納されたビデオデータ１をデコードし、ビデオデコーダ３２２がビデオバッファ３２０に格納されたビデオデータ２をデコードする。また、同じタイミングで、オーディオデコーダ３１３がオーディオバッファ３１１に格納されたオーディオデータ１をデコードし、オーディオデコーダ３２３がオーディオバッファ３２１に格納されたオーディオデータ２をデコードする。これにより、ビデオデータ１及びビデオデータ２をデコードして生成した映像データによる映像の表示と、オーディオデータ１及びオーディオデータ２をデコードして生成した音声データによる音声の出音を行うことができる。
【００１１】
なお、一般的に、ＢＤでは、ビデオデータ１及びビデオデータ２のいずれかをビデオデータに基づいて表示される映像を本編となる主映像として再生し、他方のビデオデータに基づいて表示される映像をメイキングコメンタリー等の副映像として再生している。
【００１２】
ところで、ＢＤでは、２ストリームデコードを行って、同時に同一画面内に主映像及び副映像を表示する場合、図６に示すように、画面内における主映像の表示領域(表示開始位置、幅、高さ)に応じて、画面内における副映像の表示領域が決定される。以下、これを「表示の同期」とする。
しかしながら、背景技術として、図４において示したようなハードウェア４を、そのまま２つ組み合わせて、２ストリームデコードを行えるようにしただけでは、副映像をデコードするデコーダは、主映像の表示領域を知ることができないため、表示の同期を行うことができないという問題があった。
【００１３】
この課題を解決するため、ＢＤ規格では図７に示すように、PlayItemIDと、SecondaryVideoStreamIDというＩＤと、主映像の表示領域を示す表示領域情報を用いて、表示の同期の制御を行っている。なお、ここでは、ビデオデータ１によって主映像が再生され、ビデオデータ２によって副映像が再生される場合について説明する。
ここで、PlayItemIDは、主映像のビデオデータ１に割り当てられた識別情報であり、SecondaryVideoStreamIDは、副映像のビデオデータ２に割り当てられた識別情報である。
図７に示す場合、主映像は、"PlayItemID=0"のビデオデータ１、"PlayItemID=1"のビデオデータ１、"PlayItemID=2"のビデオデータ１の順番にデコードされて再生される。また、副映像は、"SecondaryVideoStreamID=0"のビデオデータ２、"SecondaryVideoStreamID=1"のビデオデータ２の順番にデコードされて再生される。
【００１４】
続いて、図５に示すハードウェア５において、表示の同期を行う場合について詳細に説明する。
【００１５】
まず、ビデオデコーダ３１２は、ビデオデータ１の入力とともに、そのビデオデータ１に対応付けられたPlayItemIDの入力を受ける。また、ビデオデコーダ３２２は、ビデオデータ２の入力とともに、そのビデオデータ２に対応付けられたSecondaryVideoStreamIDの入力を受ける。
【００１６】
ビデオデコーダ３１２は、入力されたビデオデータ１をデコードすることによってビデオデータ１に含まれる表示領域情報を取得し、取得した表示領域情報が示す表示領域に主映像を表示する映像データ１を生成する。このとき、ビデオデコーダ３１２は、入力されたPlayItemID及び取得した表示領域情報を内部に保持する。
【００１７】
また、ビデオデコーダ３２２は、入力されたビデオデータ２をデコードして映像データ２を生成するときに、ビデオデコーダ３１２からビデオデータ１のPlayItemIDを取得して、取得したPlayItemIDと、SecondaryVideoStreamIDと比較する。
ここで、ビデオデータ２のSecondaryVideoStreamIDは、このビデオデータ２によって再生される副映像と同時に表示される主映像のビデオデータ１のPlayItemIDと一致した値が割り当てられる。そのため、ビデオデコーダ３２２は、PlayItemIDと、SecondaryVideoStreamIDとが一致した場合、ビデオデコーダ３１２から表示領域情報を取得する。
【００１８】
また、ビデオデコーダ３２２は、ビデオデータ２をデコードすることによって、このビデオデータ２に含まれる表示領域情報を取得している。このビデオデータ２から取得した表示領域情報は、主映像の表示領域がとり得るパターンのそれぞれに対応する複数のパターンの表示領域が示されている。ビデオデコーダ３２２は、この複数のパターンの表示領域のうち、ビデオデコーダ３１２から取得した表示領域情報が示す表示領域に対応するパターンの表示領域に副映像を表示する映像データ２を生成する。つまり、図７に示すように、ビデオデコーダ３２２は、デコードするビデオデータ２に対応するビデオデータ１の表示領域情報をビデオデコーダ３１２から取得し、取得した表示領域情報が示す主映像の表示領域に基づいて、副映像の表示領域を決定する。
【００１９】
このように、副映像を正しい表示領域に表示するためには、PlayItemIDや表示領域情報を取得する必要がある。
しかし、ストリームの再生を開始する位置によっては、PlayItemIDや表示領域情報を取得することができないときがあるという問題がある。
【００２０】
続いて、この問題について、図８、９を参照して詳細に説明する。図８は、２ストリームデコードを行うハードウェア５における表示・出音までの流れを示す図である。
なお、図８(Ａ)に示すストリームは、ビデオデータ１をデコード順に、"Ｖ１−１"、"Ｖ１−２"、・・・として示しており、ビデオデータ２をデコード順に、"Ｖ２−１"、"Ｖ２−２"、・・・として示している。また、オーディオデータ１をデコード順に、"Ａ１−１"、"Ｖ１−２"、・・・として示しており、オーディオデータ２をデコード順に、"Ａ２−１"、"Ｖ２−２"、・・・として示している。ここで、ビデオデータ１"Ｖ１−１"の表示される期間内に、ビデオデータ２"Ｖ２−１"、"Ｖ２−２"、"Ｖ２−３"が表示されるものとする。つまり、ビデオデータ１"Ｖ１−１"のPlayItemIDと一致するように、ビデオデータ２"Ｖ２−１"、"Ｖ２−２"、"Ｖ２−３"のSecondaryVideoStreamIDが設定される。
【００２１】
図８(Ｂ)に示すビデオデコーダ３１２、３２２及びオーディオデコーダ３１３、３２３は、図８(Ａ)に示すストリームに含まれるデータをデコードすることによって、図８(Ｃ)に示すような映像及び音声を表示・出音する映像データ及び音声データを生成する。
【００２２】
このとき、ビデオデコーダ３１２は、ビデオデータ１"Ｖ１−１"をデコードした場合、このビデオデータ１"Ｖ１−１"のPlayItemID及び表示領域情報を保持する。ここで、ビデオデータ１"Ｖ１−１"、"Ｖ１−２"をデコードして表示される主映像は、例えば、静止画のように一定期間同一の画像が表示され続ける映像であるものとする。そのため、ビデオデータ１"Ｖ１−２"がストリームからビデオデコーダ３１２に入力されるのは、ビデオデータ１"Ｖ１−１"の表示終了直前となる。一般的に、ビデオデータ１"Ｖ１−１"によって表示される映像が静止画のように一定期間同一の映像が表示され続ける映像である場合、ビデオデータ１"Ｖ１−１"に後続するビデオデータ１"Ｖ１−２"は表示終了直前まで入力されない。
【００２３】
また、上述したように、ビデオデータ２"Ｖ２−１"、"Ｖ２−２"、"Ｖ２−３"は、それぞれによって表示される副映像が、ビデオデータ１"Ｖ１−１"によって表示される主映像の表示中に表示されるようにSecondaryVideStremIDが割り当てられている。そのため、ビデオデータ２"Ｖ２−１"、"Ｖ２−２"、"Ｖ２−３"をデコードする際には、それぞれに割り当てられたSecondaryVideStremIDと値が一致するPlayItemIDを有するビデオデータ１"Ｖ１−１"のビデオデータの表示領域情報を取得する。そして、ビデオデコーダ３２２は、取得した表示領域情報に基づいて、ビデオデータ２"Ｖ２−１"、"Ｖ２−２"、"Ｖ２−３"をデコードして、副映像を表示する映像データ２を生成する。
【００２４】
図９は、図８(Ａ)に示すストリームが、途中のビデオデータ１"Ａ１−１"から再生される場合において、２ストリームデコードを行うハードウェア５における表示・出音までの流れを示す図である。このように、ストリームにおける再生開始位置が変動することは、レジューム再生や再生開始時刻を指定した再生等によって頻繁に発生し得る。
【００２５】
図９(Ｂ)に示すビデオデコーダ３１２、３２２及びオーディオデコーダ３１３、３２３は、図９(Ａ)に示すストリームに含まれるデータをデコードすることによって、図８(Ｃ)に示すような映像及び音声を表示・出音する映像データ及び音声データを生成する。
【００２６】
この場合、図８(Ａ)に示されていたビデオデータ１"Ｖ１−１"は、ストリームの再生開始位置よりも前に含まれているため、ビデオデコーダ３１２に入力されない。そのため、本来ならビデオデータ１"Ｖ１−１"によって主映像が再生されている期間中であっても、ビデオデコーダ３２２は、ビデオデコーダ３１２からビデオデータ１"Ｖ１−１"のPlayItemIDや表示領域情報を取得することができない。ビデオデコーダ３１２は、ビデオデータ１"Ｖ１−２"がデコードされて初めてビデオデータ１のPlayItemID や表示領域情報を保持することになる。
【００２７】
よって、このような場合、ビデオデータ１"Ｖ１−１"がデコードされないため、ビデオデコーダ３２２は、ビデオデータ１"Ｖ１−１"のPlayItemIDと表示領域情報を取得することができない。そのため、ビデオデコーダ３２２は、ビデオデータ２"Ｖ２−１"、"Ｖ２−２"、"Ｖ２−３"について、表示の同期を行うことができず、これらの副映像を表示することができないという問題がある。
【００２８】
つまり、第１の映像を符号化した第１の符号化データと、第１の符号化データが有する表示領域情報に基づいて、第１の映像と同一画面上に表示される第２の映像を符号化した第２の符号化データを含んだストリームデータを途中である再生点から再生処理する場合に、このストリームデータの途中再生点によっては、第２の映像を表示することができないという問題がある。
【００２９】
しかし、背景技術として説明したように、特許文献２は、空白期間であってもテキスト字幕ストリームがプリロードされるようにすることで、シームレス再生を遮ることなく、字幕を表示できるようにするものであるが、この字幕は、主映像の表示領域情報に基づいて表示されるような映像ではない。つまり、特許文献２に記載の技術は、第１の映像を符号化した第１の符号化データと、第１の符号化データが有する表示領域情報に基づいて、第１の映像と同一画面上に表示される第２の映像を符号化した第２の符号化データを含んだストリームデータを再生処理するためのものではなく、本願の課題を解決するために適用することはできない。
【課題を解決するための手段】
【００３０】
本発明の第１の態様にかかる映像再生システムは、第１の映像を符号化した第１の符号化データと、前記第１の映像と同一画面上に表示される第２の映像を符号化した第２の符号化データを含むストリームデータを入力し、前記第１の映像及び前記第２の映像を再生処理する映像再生システムであって、前記第１の符号化データをデコードする第１のデコーダと、前記第２の符号化データに対応する前記第１の符号化データが有する表示領域情報に基づいて、前記第２の符号化データをデコードする第２のデコーダと、前記ストリームデータに含まれる前記第１の符号化データと前記第２の符号化データを夫々前記第１のデコーダ及び前記第２のデコーダに対して出力する制御部と、を有し、前記制御部は、
前記ストリームデータの途中である再生点から前記再生処理を実行する場合に、前記第２の符号化データに対応する前記第１の符号化データが前記途中再生点より後のストリームデータに含まれていないときに、前記途中再生点より前のストリームデータに含まれる前記第１の符号化データを前記第１のデコーダに出力するものである。
【００３１】
そのため、ストリームデータの途中再生点にかかわらず、第１の符号化データをデコードして、第１の符号化データが有する表示領域情報を取得することができるようになるため、この表示領域情報に基づいて第２の符号化データをデコードすることが可能となる。
【００３２】
本発明の第２の態様にかかる制御装置は、第１の映像を符号化した第１の符号化データと、前記第１の映像と同一画面上に表示される第２の映像を符号化した第２の符号化データを含むストリームデータを入力する手段と、前記ストリームデータに含まれる前記第１の符号化データを、前記第１の符号化データをデコードする第１のデコーダに出力する手段と、前記ストリームデータに含まれる当該第２の符号化データを、前記第２の符号化データに対応する前記第１の符号化データが有する表示領域情報に基づいて、前記第２の符号化データをデコードする第２のデコーダに出力する制御装置であって、前記ストリームデータの途中である再生点から再生処理を実行する場合に、前記第２の符号化データに対応する前記第１の符号化データが途中再生点より後のストリームデータに含まれていないときに、前記途中再生点より前のストリームデータに含まれる前記第１の符号化データを前記第１のデコーダに出力するものである。
【００３３】
そのため、ストリームデータの途中再生点にかかわらず、第１の符号化データをデコードして、第１の符号化データが有する表示領域情報を取得することができるようになるため、この表示領域情報に基づいて第２の符号化データをデコードすることが可能となる。
【００３４】
本発明の第３の態様にかかる映像再生方法は、第１の映像を符号化した第１の符号化データと、前記第１の映像と同一画面上に表示される第２の映像を符号化した第２の符号化データを含むストリームデータに基づいて、前記第１の映像と前記第２の映像を再生処理する映像再生方法であって、前記ストリームデータの途中である再生点から前記再生処理を実行する場合に、前記第２の符号化データに対応する前記第１の符号化データが前記途中再生点より後のストリームデータに含まれていないときに、前記途中再生点より前のストリームデータに含まれる前記第１の符号化データが有する表示領域情報に基づいて、第２の映像を前記再生処理するものである。
【００３５】
そのため、ストリームデータの途中再生点にかかわらず、第１の符号化データをデコードして、第１の符号化データが有する表示領域情報を取得することができるようになるため、この表示領域情報に基づいて第２の符号化データをデコードすることが可能となる。
【発明の効果】
【００３６】
上述した各態様により、第１の映像を符号化した第１の符号化データと、第１の符号化データが有する表示領域情報に基づいて、第１の映像と同一画面上に表示される第２の映像を符号化した第２の符号化データを含んだストリームデータを途中である再生点から再生処理する場合に、このストリームデータの途中再生点にかかわらず、第２の映像を表示することができる映像再生システム、制御装置及び映像再生方法を提供することができる。
【図面の簡単な説明】
【００３７】
【図１】本発明の実施の形態にかかる映像再生システムのブロック図である。
【図２】本発明の実施の形態にかかる映像再生システムにおける表示・出音までの流れを例示する図である。
【図３】本発明の実施の形態にかかる映像再生システムの処理を示すフローチャートである。
【図４】１ストリームデコードを行うハードウェアのブロック図である。
【図５】２ストリームデコードを行うハードウェアのブロック図である。
【図６】主映像及び副映像の表示領域の相関図である。
【図７】表示の同期を説明するための図である。
【図８】２ストリームデコードを行うハードウェアにおける表示・出音までの流れを示す図である。
【図９】２ストリームデコードを行うハードウェアにおいて、ストリームを途中から再生する場合の表示・出音までの流れを示す図である。
【発明を実施するための形態】
【００３８】
まず、図１を参照して、本発明の実施の形態にかかる映像再生システムの構成について説明する。図１は、本発明の実施の形態にかかる映像再生システムのブロック図である。なお、本実施の形態では、例えば、ＢＤディスクレコーダやＢＤディスクプレーヤ等の再生装置に適用した場合について例示する。
【００３９】
映像再生システム１は、制御部１０、デマルチプレクサ２０、ビデオバッファ３０、４０、オーディオバッファ３１、４１、ビデオデコーダ３２、４２及びオーディオデコーダ３３、４３を有する。映像再生システム１には、２つのストリームが多重化されたストリームがＢＤ２から入力される。
【００４０】
制御部１０は、ＢＤ２から再生するストリームを読み出し、読み出したストリームをデマルチプレクサ２０に出力する。このストリームは、図８(Ａ)において説明したように、ビデオデータ１及びビデオデータ２と、オーディオデータ１及びオーディオデータ２が、１つに多重化されたデータ群である。なお、制御部１０は、例えば、任意の回路やプロセッサによって構成されている。
【００４１】
デマルチプレクサ２０は、制御部１０から出力されたストリームに含まれるデータをビデオバッファ３０、４０及びオーディオバッファ３１、４１に分配して、それぞれに格納する。具体的には、デマルチプレクサ２０は、ビデオデータ１をビデオバッファ３０に格納し、ビデオデータ２をビデオバッファ４０に格納する。また、デマルチプレクサ２０は、オーディオデータ１をオーディオバッファ３１に格納し、オーディオデータ２をオーディオバッファ４１に格納する。
ここで、デマルチプレクサ２０がビデオデータ及びオーディオデータをどのバッファ３０、４０、３１、４１に格納するかの判断は、制御部１０がマルチプレクサ２０に出力するビデオデータ及びオーディオデータに、ビデオデータ１、ビデオデータ２、オーディオデータ１又はオーディオデータ２のうちのいずれのデータであるかを識別可能とする情報を付加することによって判断可能としている。なお、制御部１０は、ＢＤ２から読み出した情報に基づいて、ビデオデータやオーディオデータが、ビデオデータ１、ビデオデータ２、オーディオデータ１又はオーディオデータ２のうちのいずれのデータであるかを判断する。
【００４２】
ビデオデコーダ３２は、デコードタイミングで、ビデオバッファ３０に格納されたビデオデータ１をデコードして、主映像を表示するための映像データ１を生成する。
ビデオデコーダ４２は、デコードタイミングで、ビデオバッファ４０に格納されたビデオデータ２をデコードして、副映像を表示するための映像データ２を生成する。
【００４３】
オーディオデコーダ３３は、デコードタイミングで、オーディオバッファ３１に格納されたオーディオデータ１をデコードして、主映像の音声を出音するための音声データ１を生成する。
オーディオデコーダ４３は、デコードタイミングで、オーディオバッファ４１に格納されたオーディオデータ２をデコードして、副映像の音声を出音するための音声データ２を生成する。
【００４４】
なお、映像データ１及び映像データ２、音声データ１及び音声データ２は、映像再生システムから表示装置(図示せず)に出力されて、この出力を受けた表示装置によって再生される。表示装置は、例えば、ＣＲＴ(Cathode Ray Tube)、PDP(Plasma Display Panel)、LCD(Liquid Crystal Display)又は有機ＥＬ(Electro Luminescence)や、スピーカ等から構成される装置である。
【００４５】
続いて、図２、３を参照して、本発明の実施の形態にかかる映像再生システムの処理について説明する。図３は、本発明の実施の形態にかかる映像再生システムにおける表示・出音までの流れを例示する図である。本実施の形態では、図８(Ａ)に示すストリームをオーディオデータ１"Ａ１−１"から再生する場合における処理について例示する。
【００４６】
まず、制御部１０は、ＢＤ２からストリームを読み出す(Ｓ１００)。ここで、図２(Ａ)に示すビデオデータ１"Ｖ１−１"及び図２(Ｂ)に示すオーディオデータ１"Ａ１−１"からビデオデータ１"Ｖ１−２"の直前までのデータを読み出す。
このように、まず、図２(Ｂ)に示す再生するストリームのうちのオーディオデータ１"Ａ１−１"からビデオデータ１"Ｖ１−２"の直前までのデータを読み出して、それ以後も、ストリームのビデオデータ１"Ｖ１−２"以降のデータを順次任意の単位で読み出していくことで、再生を行っていく。以下、このようにして図２(Ｂ)に示すストリームから読み出す任意の単位のデータ群を「再生ストリーム」とする。
ここで、本実施の形態では、再生開始位置となるオーディオデータ１"Ａ１−１"よりも前にある直近のビデオデータ１"Ｖ１−１"も読み出すようにしている。これによって、後述するようにビデオデータ１"Ｖ１−１"を使用して、ビデオデータ１"Ｖ１−１"によって表示される主映像と同時に表示される副映像の再生を可能としている。
【００４７】
そして、制御部１０は、再生ストリームに含まれているビデオデータ２によって再生される副映像と同時に表示される主映像のビデオデータ１が、再生ストリームに含まれていないかどうかを判定する(Ｓ１０１)。なお、ここでの判断は、例えば、ビデオデータ１及びビデオデータ２に含まれるＰＳＴ(Presentation Time Stamp)等のように、ＢＤ２から読み出した時刻情報に基づいて同時に表示されるか否かを判断する。
【００４８】
本実施の形態のように、図２(Ｂ)に例示するストリームを再生する場合は、制御部１０は、再生ストリームに含まれるビデオデータ２"Ｖ２−１"、"Ｖ２−２"、"Ｖ２−３"によって再生される副映像と同時に表示される主映像のビデオデータ１"Ｖ１−１"が再生ストリームに含まれていないと判断する。
ビデオデータ１"Ｖ１−１"が再生ストリームに含まれていないと判断した場合、制御部１０は、再生ストリームに含まれるデータをデマルチプレクサ２０に出力するとき(Ｓ１０５)に、再生開始位置よりも前のストリームに含まれるビデオデータ１"Ｖ１−１"もデマルチプレクサ２０に出力する(Ｓ１０２)。このとき、制御部１０は、ビデオデータ１"Ｖ１−１"と対応付けてPlayItemIDをデマルチプレクサ２０に出力する。デマルチプレクサ２０は、制御部１０から出力されたビデオデータ１"Ｖ１−１"及びこれに対応付けられたPlayItemIDをビデオバッファ３０に格納する。
【００４９】
そして、ビデオデコーダ３２は、デコードタイミングで、ビデオバッファ３１からビデオデータ１"Ｖ１−１"及びこれに対応付けられたPlayItemIDを取得する。ビデオデコーダ３２は、取得したビデオデータ１"Ｖ１−１"をデコードすることによって、このビデオデータ１"Ｖ１−１"に含まれる表示領域情報を取得する(Ｓ１０３)。そして、ビデオデコーダ３２は、取得したPlayItemID及び表示領域情報を保持しておく(Ｓ１０４)。なお、PlayItemID及び表示領域情報は、ビデオデコーダ３２が有する任意の記憶装置に格納される。ここで、任意の記憶装置は、例えば、レジスタである。
以下、ビデオデコーダ３２がこのように取得したPlayItemID及び表示領域情報を「PlayItemID'」及び「表示領域情報'」とし、再生ストリームに含まれるビデオデータ１によって取得したPlayItemID及び表示領域情報を「PlayItemID」及び「表示領域情報」とする。
【００５０】
一方、ビデオデータ１"Ｖ１−１"が再生ストリームに含まれていると判断した場合、再生ストリームに含まれるデータをデマルチプレクサ２０に出力するが(Ｓ１０５)、別途、再生開始位置よりも前にあるビデオデータ１をデマルチプレクサ２０に出力しない。例えば、図８(Ａ)に示すストリームをビデオデータ１"Ｖ１−１"から再生する場合、このように判断される。
【００５１】
また、制御部１０は、再生ストリームに含まれるデータをデマルチプレクサ２０に出力するときに、ビデオデータ１"Ｖ１−１"によって再生される主映像と同時に表示される副映像のビデオデータ２"Ｖ２−１"、"Ｖ２−２"、"Ｖ２−３"と対応付けて、ビデオデータ１"Ｖ１−１"のPlayItemIDと同じ値のSecondaryVideoStreamIDをデマルチプレクサ２０に出力する。
【００５２】
デマルチプレクサ２０は、制御部１０から出力された再生ストリームに含まれるデータを分配してビデオバッファ３０、４０及びオーディオバッファ３１、４１に格納する。具体的には、ビデオデータ２"Ｖ２−１"、"Ｖ２−２"、"Ｖ２−３"及びそれらのSecondaryVideoStreamIDは、ビデオバッファ４０に格納される。また、オーディオデータ１"Ａ１−１"、"Ａ１−２"、"Ａ１−３"は、オーディオバッファ３１に格納され、オーディオデータ２"Ａ２−１"、"Ａ２−２"は、オーディオバッファ４１に格納される。
【００５３】
そして、デコードタイミングで、ビデオデコーダ３２、４２及びオーディオデコーダ３３、４３は、ビデオバッファ３０、４０及びオーディオバッファ３１、４１に格納されたデータを取得して、取得したデータをデコードする。
具体的には、ビデオデコーダ４２は、ビデオデータ２"Ｖ２−１"、"Ｖ２−２"、"Ｖ２−３"をデコードして、それぞれの映像データ２を生成する(Ｓ１１０、Ｓ１１１)。オーディオデコーダ３３は、オーディオデータ１"Ａ１−１"、"Ａ１−２"、"Ａ１−３"デコードして、それぞれの音声データ１を生成する(Ｓ１０８、Ｓ１０９)。また、オーディオデコーダ４３は、オーディオデータ２"Ａ２−１"、"Ａ２−２"をデコードして、それぞれの音声データ２を生成する(Ｓ１１２、Ｓ１１３)。
【００５４】
ここで、ビデオデコーダ４２は、ビデオデータ２"Ｖ２−１"、"Ｖ２−２"、"Ｖ２−３"をデコードするときに、ビデオデータ１"Ａ１−１"のPlayItemID及び表示領域情報をビデオデコーダ３２から取得できるか否かを判断する(Ｓ１１７)。
再生ストリームにビデオデータ１"Ａ１−１"は含まれていないため、ビデオデコーダ４２は、ビデオデータ１"Ａ１−１"のPlayItemID及び表示領域情報が取得できないと判断し、ビデオデータ１"Ａ１−１"のPlayItemID'をビデオデコーダ３２から取得する。
そして、ビデオデコーダ４２は、取得したビデオデータ１"Ａ１−１"のPlayItemID'と、ビデオデータ２"Ｖ２−１"、"Ｖ２−２"、"Ｖ２−３"のSecondaryVideoStreamIDが一致するので、ビデオデコーダ３２からビデオデータ１"Ａ１−１"の表示領域情報'を取得する。ビデオデコーダ４２は、取得した表示領域情報'に基づいて、ビデオデータ２"Ｖ２−１"、"Ｖ２−２"、"Ｖ２−３"によって再生される副映像の表示領域を決定して、それぞれの映像データ２を生成する(Ｓ１１９)。
【００５５】
ここで、ビデオデコーダ３２は、PlayItemID及び表示領域情報を保持しているか否かを示すフラグを有している。このフラグは、好ましくは、ビデオデータ１によって再生される主映像の再生期間中に有効とする。よって、ビデオデコーダ４２は、このフラグを参照することで、ビデオデータ１"Ａ１−１"のPlayItemID及び表示領域情報をビデオデコーダ３２から取得できるか否かを判断することができる。また、これにより、ビデオデコーダ４２は、ビデオデコーダ３２が、例えば、不定値のように無効なPlayItemID及び表示領域情報を保持している場合に、誤ってこの値を取得してしまわないようにすることができる。
【００５６】
また、ビデオデコーダ３２は、同様に、PlayItemID'及び表示領域情報'を保持しているか否かを示すフラグを有している。このフラグは、好ましくは、ビデオデータ１によって本来再生される主映像の再生期間中に有効とする。よって、ビデオデコーダ４２は、このフラグを参照することで、ビデオデコーダ３２が有効なビデオデータ１"Ａ１−１"のPlayItemID'及び表示領域情報'をから取得できるか否かを判断することができる。そのため、ビデオデコーダ４２は、ビデオデコーダ３２が、例えば、不定値のように無効なPlayItemID'及び表示領域情報'を保持している場合に、誤ってこの値を取得してしまわないようにすることができる。
なお、上述した各フラグは、ビデオデコーダ３２が有する任意の記憶装置に格納される。また、ビデオデコーダ３２は、例えば、ＢＤ２から読み出した時刻情報に基づいて、再生期間を判断してフラグを更新することができる。
【００５７】
また、ビデオデコーダ３２が、上述したどちらのフラグを有効にするか否かは、例えば、制御部１０が、再生ストリームに含まれるビデオデータ２によって再生される副映像と同時に表示される主映像のビデオデータ１が再生ストリームに含まれていないと判断した場合に、その旨を通知する情報をデマルチプレクサ２０経由でビデオデコーダ３２に出力することで判断可能とすることができる。
また、ビデオデコーダ３２は、この情報に基づいて、再生ストリームに含まれていないビデオデータ１が入力されたか否かを判断することができる。これにより、再生ストリームに含まれていないビデオデータ１が入力された場合は、このビデオデータ１をデコードして生成した映像データ１を外部の表示装置に出力しないようにすることもできる。
【００５８】
以上のようにして生成された映像データ２は、表示装置に出力されて、表示装置において表示される(Ｓ１２０)。また、以上のようにして生成された音声データ１及び音声データ２は、表示装置に出力されて、表示装置によって出音される(Ｓ１１８、Ｓ１２１)。
【００５９】
続いて、制御部１０は、次に再生する再生ストリームをＢＤ２から読み出す(Ｓ１２２)。ここでは、図２(Ｂ)に示すストリームの"Ｖ１−２"以降のデータを読み出すものとする。そして、制御部１０は、読み出した再生ストリームをデマルチプレクサ２０に出力する(Ｓ１２３)。
【００６０】
なお、制御部１０は、ビデオデータ１"Ｖ１−２"と対応付けてPlayItemIDもデマルチプレクサ２０に出力する。さらに、制御部１０は、ビデオデータ１"Ｖ１−２"によって再生される主映像と同時に表示される副映像のビデオデータ２"Ｖ２−４"と対応付けて、ビデオデータ１"Ｖ１−２"のPlayItemIDと同じ値のSecondaryVideoStreamIDもデマルチプレクサ２０に出力する。
【００６１】
デマルチプレクサ２０は、制御部１０から出力された再生ストリームに含まれるデータを分配してビデオバッファ３０、４０及びオーディオバッファ３１、４１に格納する。具体的には、ビデオデータ１"Ｖ１−２"及びそのPlayItemIDは、ビデオバッファ４０に格納され、ビデオデータ２"Ｖ２−４"及びそのSecondaryVideoStreamIDは、ビデオバッファ４０に格納される。
【００６２】
そして、デコードタイミングで、ビデオデコーダ３２、４２及びオーディオデコーダ３３、４３は、ビデオバッファ３０、４０及びオーディオバッファ３１、４１に格納されたデータを取得して、取得したデータをデコードする。
具体的には、ビデオデコーダ３２は、ビデオデータ１"Ａ１−２"をデコードして、その映像データ１を生成する(Ｓ１０６、Ｓ１０７)。ビデオデコーダ４２は、ビデオデータ２"Ｖ２−４"をデコードして、それぞれの映像データ２を生成する(Ｓ１１０、Ｓ１１１)。
【００６３】
ここで、ビデオデコーダ３２は、ビデオデータ１"Ａ１−２"をデコードして、その映像データ１を生成するときに、ビデオデータ１"Ａ１−２"をデコードすることによって、このビデオデータ１"Ｖ１−１"に含まれる表示領域情報を取得する。そして、ビデオデコーダ３２は、取得したPlayItemID及び表示領域情報を保持しておく。なお、ビデオデコーダ３２は、取得した表示領域情報に基づいて、映像データ１を生成することとなる。
そして、ビデオデコーダ４２は、ビデオデータ２"Ｖ２−４"をデコードするときに、ビデオデータ１"Ａ１−２"のPlayItemID及び表示領域情報をビデオデコーダ３２から取得できるか否かを判断する(Ｓ１１７)。
【００６４】
ビデオデコーダ３２には、ビデオデータ１"Ａ１−１"のPlayItemID及び表示領域情報が保持されているため、ビデオデコーダ４２は、ビデオデータ１"Ａ１−１"のPlayItemID及び表示領域情報を取得する(Ｓ１１４)。
そして、ビデオデコーダ４２は、取得したビデオデータ１"Ａ１−１"のPlayItemIDと、ビデオデータ２"Ｖ２−１"、"Ｖ２−２"、"Ｖ２−３"のSecondaryVideoStreamIDが一致するので、ビデオデコーダ３２からビデオデータ１"Ａ１−１"の表示領域情報を取得する。ビデオデコーダ４２は、取得した表示領域情報に基づいて、ビデオデータ２"Ｖ２−４"によって再生される副映像の表示領域を決定して、映像データ２を生成する(Ｓ１１８)。
【００６５】
以上のようにして生成された映像データ１及び映像データ２は、表示装置に出力されて、表示装置において表示される(Ｓ１１５、Ｓ１２０)。
【００６６】
以降は、制御部１０が、次に再生する再生ストリームをＢＤ２から読み出す(Ｓ１２２)。そして、制御部１０は、読み出した再生ストリームをデマルチプレクサ２０に出力して(Ｓ１２３)、同様に再生ストリームに含まれるデータをデコードして、表示・出音を行っていく。
【００６７】
以上に説明したように、本実施の形態によれば、主映像のビデオデータ１と、主映像と同一画面上に表示される副映像を再生するために主映像の表示領域情報に基づいてデコードされるビデオデータ２を含んだストリームを途中から再生する場合に、ビデオデータ２に対応するビデオデータ１が再生開始位置以降のストリームに含まれていないときに、再生開始位置よりも前のストリームに含まれているビデオデータ１をビデオデコーダ３２に出力するようにしている。
【００６８】
これにより、ストリームの再生が開始される位置にかかわらず、ビデオデータ１をデコードして、ビデオデータ１の表示領域情報を取得することができるようになるため、この表示領域情報に基づいてビデオデータ２をデコードすることが可能となる。
そのため、主映像を再生するためのビデオデータ１と、主映像と同一画面上に表示される副映像を再生するために第１の映像の表示領域情報に基づいてデコードされる第２の符号化データを含んだストリームデータを途中から再生する場合に、このストリームデータの再生が開始される位置にかかわらず、第２の映像を表示することができる。
【００６９】
つまり、本実施の形態によれば、第１の映像を符号化した第１の符号化データと、第１の符号化データが有する表示領域情報に基づいて、第１の映像と同一画面上に表示される第２の映像を符号化した第２の符号化データを含んだストリームデータを途中である再生点から再生処理する場合に、ストリームデータの途中再生点にかかわらず、第１の符号化データをデコードして、第１の符号化データが有する表示領域情報を取得することができるようになるため、この表示領域情報に基づいて第２の符号化データをデコードすることが可能となり、第２の映像を表示することができる。
【００７０】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
例えば、映像再生システムに入力されるストリームは、本実施の形態において例示したようにＢＤに格納されているデータに限られない。例えば、同一画面上に２つの映像を表示するためのストリームを格納する光ディスクであれば、ＢＤに限られない。また、地上波デジタル放送のように、光ディスクからでなく、送信されてきたストリームであってもよい。
【００７１】
また、本実施の形態においては、副映像をデコードするデコーダが、主映像をデコードするデコーダから表示領域情報を取得するようにしているが、別途、主映像のビデオデータから表示領域情報を取得する機能を有する回路又はプロセッサ等を設けて、そこから直接、副映像をデコードするデコーダが表示領域情報を取得できるようにしてもよい。
また、本実施の形態において例示した表示領域情報は、表示領域(表示開始位置、幅、高さ)を示すものに限られず、その他の映像に関する情報であってもよい。
【符号の説明】
【００７２】
１ 映像再生システム
２ ＢＤ
１０ 制御部
２０、２００、３００ デマルチプレクサ
３０、４０、２１０、３１０、３２０ ビデオバッファ
３１、４１、２１１、３１１、３２１ オーディオバッファ
３２、４２、２１２、３１２、３２２ ビデオデコーダ
３３、４３、２１３、３１３、３２３ オーディオデコーダ
５２、５３ ストリーム
４、５ ハードウェア
【特許請求の範囲】
【請求項１】
第１の映像を符号化した第１の符号化データと、前記第１の映像と同一画面上に表示される第２の映像を符号化した第２の符号化データを含むストリームデータを入力し、前記第１の映像及び前記第２の映像を再生処理する映像再生システムであって、
前記第１の符号化データをデコードする第１のデコーダと、
前記第２の符号化データに対応する前記第１の符号化データが有する表示領域情報に基づいて、前記第２の符号化データをデコードする第２のデコーダと、
前記ストリームデータに含まれる前記第１の符号化データと前記第２の符号化データを夫々前記第１のデコーダ及び前記第２のデコーダに対して出力する制御部と、
を有し、
前記制御部は、
前記ストリームデータの途中である再生点から前記再生処理を実行する場合に、前記第２の符号化データに対応する前記第１の符号化データが前記途中再生点より後のストリームデータに含まれていないときに、前記途中再生点より前のストリームデータに含まれる前記第１の符号化データを前記第１のデコーダに出力する映像再生システム。
【請求項２】
前記第１のデコーダは、前記第２の符号化データに対応する前記第１の符号化データが前記途中再生点より後のストリームデータに含まれていないときに、前記制御部から出力された第１の符号化データをデコードすることにより生成され、前記第１の映像を表示するための映像データを外部に出力しない請求項１に記載の映像再生システム。
【請求項３】
前記第１のデコーダは、前記第１の符号化データをデコードすることにより、前記第１の符号化データが有する表示領域情報を取得し、
前記第２のデコーダは、前記第２の符号化データに対応する前記第１の符号化データが前記途中再生点より後のストリームデータに含まれていないときに、前記第１のデコーダが取得した前記表示領域情報を前記第１のデコーダから取得する請求項１又は２に記載の映像再生システム。
【請求項４】
前記第１のデコーダは、前記第２の符号化データに対応する前記第１の符号化データが前記途中再生点より後のストリームデータに含まれていないときに、前記制御部から出力された第１の符号化データが有する表示領域情報を取得しているか否かを示すフラグを格納するフラグ記憶部を有し、
前記第２のデコーダは、前記フラグに基づいて、前記第１の符号化データが有する表示領域情報を前記第１のデコーダから取得するか否かを判断する請求項３に記載の映像再生システム。
【請求項５】
前記第１の符号化データが有する表示領域情報は、前記画面上において、前記第１の映像を表示する表示領域を特定する情報であり、
前記第２のデコーダは、前記第１の符号化データが有する表示領域情報に基づいて、前記第２の映像を表示する表示領域を決定する請求項１乃至４のいずれか１項に記載の映像再生システム。
【請求項６】
前記ストリームデータは、光ディスクから読み出したデータである請求項１乃至５のいずれか１項に記載の映像再生システム。
【請求項７】
前記第１の映像は、主映像であり、
前記第２の映像は、副映像である請求項１乃至６のいずれか１項に記載の映像再生システム。
【請求項８】
第１の映像を符号化した第１の符号化データと、前記第１の映像と同一画面上に表示される第２の映像を符号化した第２の符号化データを含むストリームデータを入力する手段と、
前記ストリームデータに含まれる前記第１の符号化データを、前記第１の符号化データをデコードする第１のデコーダに出力する手段と、
前記ストリームデータに含まれる当該第２の符号化データを、前記第２の符号化データに対応する前記第１の符号化データが有する表示領域情報に基づいて、前記第２の符号化データをデコードする第２のデコーダに出力する制御装置であって、
前記ストリームデータの途中である再生点から再生処理を実行する場合に、前記第２の符号化データに対応する前記第１の符号化データが途中再生点より後のストリームデータに含まれていないときに、前記途中再生点より前のストリームデータに含まれる前記第１の符号化データを前記第１のデコーダに出力する制御装置。
【請求項９】
第１の映像を符号化した第１の符号化データと、前記第１の映像と同一画面上に表示される第２の映像を符号化した第２の符号化データを含むストリームデータに基づいて、前記第１の映像と前記第２の映像を再生処理する映像再生方法であって、
前記ストリームデータの途中である再生点から前記再生処理を実行する場合に、前記第２の符号化データに対応する前記第１の符号化データが前記途中再生点より後のストリームデータに含まれていないときに、前記途中再生点より前のストリームデータに含まれる前記第１の符号化データが有する表示領域情報に基づいて、第２の映像を前記再生処理する映像再生方法。
【請求項１】
第１の映像を符号化した第１の符号化データと、前記第１の映像と同一画面上に表示される第２の映像を符号化した第２の符号化データを含むストリームデータを入力し、前記第１の映像及び前記第２の映像を再生処理する映像再生システムであって、
前記第１の符号化データをデコードする第１のデコーダと、
前記第２の符号化データに対応する前記第１の符号化データが有する表示領域情報に基づいて、前記第２の符号化データをデコードする第２のデコーダと、
前記ストリームデータに含まれる前記第１の符号化データと前記第２の符号化データを夫々前記第１のデコーダ及び前記第２のデコーダに対して出力する制御部と、
を有し、
前記制御部は、
前記ストリームデータの途中である再生点から前記再生処理を実行する場合に、前記第２の符号化データに対応する前記第１の符号化データが前記途中再生点より後のストリームデータに含まれていないときに、前記途中再生点より前のストリームデータに含まれる前記第１の符号化データを前記第１のデコーダに出力する映像再生システム。
【請求項２】
前記第１のデコーダは、前記第２の符号化データに対応する前記第１の符号化データが前記途中再生点より後のストリームデータに含まれていないときに、前記制御部から出力された第１の符号化データをデコードすることにより生成され、前記第１の映像を表示するための映像データを外部に出力しない請求項１に記載の映像再生システム。
【請求項３】
前記第１のデコーダは、前記第１の符号化データをデコードすることにより、前記第１の符号化データが有する表示領域情報を取得し、
前記第２のデコーダは、前記第２の符号化データに対応する前記第１の符号化データが前記途中再生点より後のストリームデータに含まれていないときに、前記第１のデコーダが取得した前記表示領域情報を前記第１のデコーダから取得する請求項１又は２に記載の映像再生システム。
【請求項４】
前記第１のデコーダは、前記第２の符号化データに対応する前記第１の符号化データが前記途中再生点より後のストリームデータに含まれていないときに、前記制御部から出力された第１の符号化データが有する表示領域情報を取得しているか否かを示すフラグを格納するフラグ記憶部を有し、
前記第２のデコーダは、前記フラグに基づいて、前記第１の符号化データが有する表示領域情報を前記第１のデコーダから取得するか否かを判断する請求項３に記載の映像再生システム。
【請求項５】
前記第１の符号化データが有する表示領域情報は、前記画面上において、前記第１の映像を表示する表示領域を特定する情報であり、
前記第２のデコーダは、前記第１の符号化データが有する表示領域情報に基づいて、前記第２の映像を表示する表示領域を決定する請求項１乃至４のいずれか１項に記載の映像再生システム。
【請求項６】
前記ストリームデータは、光ディスクから読み出したデータである請求項１乃至５のいずれか１項に記載の映像再生システム。
【請求項７】
前記第１の映像は、主映像であり、
前記第２の映像は、副映像である請求項１乃至６のいずれか１項に記載の映像再生システム。
【請求項８】
第１の映像を符号化した第１の符号化データと、前記第１の映像と同一画面上に表示される第２の映像を符号化した第２の符号化データを含むストリームデータを入力する手段と、
前記ストリームデータに含まれる前記第１の符号化データを、前記第１の符号化データをデコードする第１のデコーダに出力する手段と、
前記ストリームデータに含まれる当該第２の符号化データを、前記第２の符号化データに対応する前記第１の符号化データが有する表示領域情報に基づいて、前記第２の符号化データをデコードする第２のデコーダに出力する制御装置であって、
前記ストリームデータの途中である再生点から再生処理を実行する場合に、前記第２の符号化データに対応する前記第１の符号化データが途中再生点より後のストリームデータに含まれていないときに、前記途中再生点より前のストリームデータに含まれる前記第１の符号化データを前記第１のデコーダに出力する制御装置。
【請求項９】
第１の映像を符号化した第１の符号化データと、前記第１の映像と同一画面上に表示される第２の映像を符号化した第２の符号化データを含むストリームデータに基づいて、前記第１の映像と前記第２の映像を再生処理する映像再生方法であって、
前記ストリームデータの途中である再生点から前記再生処理を実行する場合に、前記第２の符号化データに対応する前記第１の符号化データが前記途中再生点より後のストリームデータに含まれていないときに、前記途中再生点より前のストリームデータに含まれる前記第１の符号化データが有する表示領域情報に基づいて、第２の映像を前記再生処理する映像再生方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１１−１４９９２（Ｐ２０１１−１４９９２Ａ）
【公開日】平成２３年１月２０日（２０１１．１．２０）
【国際特許分類】
【出願番号】特願２００９−１５５０８３（Ｐ２００９−１５５０８３）
【出願日】平成２１年６月３０日（２００９．６．３０）
【出願人】（３０２０６２９３１）ルネサスエレクトロニクス株式会社 (8,021)
【Ｆターム（参考）】
【公開日】平成２３年１月２０日（２０１１．１．２０）
【国際特許分類】
【出願日】平成２１年６月３０日（２００９．６．３０）
【出願人】（３０２０６２９３１）ルネサスエレクトロニクス株式会社 (8,021)
【Ｆターム（参考）】
[ Back to top ]