マルチＡＶストリームの再生方法および再生装置
【課題】時間関係のないマルチＡＶストリームの同期再生を実現する。
【解決手段】再生時間情報（EVOBU_S_PTM）を持つデータユニット（EVOBU）群で構成され、時間的に独立した互いに異なるプライマリオブジェクト（P-EVOB）およびセカンダリオブジェクト（S-EVOB）を同期再生する。ここでは、P-EVOBからその再生時間情報（EVOBU_S_PTM=Pri_S_PTM）を取得し（ST702）、S-EVOBからその再生時間情報（EVOBU_S_PTM=Sec_S_PTM）を取得する（ST703）。P-EVOBの再生時間情報およびS-EVOBの再生時間情報のうちの一方（ST704 YesならEVOBU_S_PTM=Sec_S_PTM；NoならEVOBU_S_PTM=Pri_S_PTM）を用いて、P-EVOBとS-EVOBの足並みを揃えて再生する。
【解決手段】再生時間情報（EVOBU_S_PTM）を持つデータユニット（EVOBU）群で構成され、時間的に独立した互いに異なるプライマリオブジェクト（P-EVOB）およびセカンダリオブジェクト（S-EVOB）を同期再生する。ここでは、P-EVOBからその再生時間情報（EVOBU_S_PTM=Pri_S_PTM）を取得し（ST702）、S-EVOBからその再生時間情報（EVOBU_S_PTM=Sec_S_PTM）を取得する（ST703）。P-EVOBの再生時間情報およびS-EVOBの再生時間情報のうちの一方（ST704 YesならEVOBU_S_PTM=Sec_S_PTM；NoならEVOBU_S_PTM=Pri_S_PTM）を用いて、P-EVOBとS-EVOBの足並みを揃えて再生する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、マルチＡＶストリームの再生方法および再生装置に関する。
【背景技術】
【０００２】
近年、オーディオビデオ情報（ＡＶ情報）のデジタル化が進み、ＭＰＥＧエンコードされたＡＶ情報を記録するメディアが一般的に利用されるようになってきている。そのようなメディアの代表例としてＤＶＤ（digital versatile disc）がある。ＤＶＤは規格自体も進化しており、間もなくHD_DVD（high definition DVD）と称されるハイビジョン対応の次世代ＤＶＤ規格もリリースされる状態にある。このHD_DVD規格では現世代ＤＶＤよりも格段に記録密度が高まるため、再生装置側でもそれに対応した高機能化を図ることが要求されている。すなわち、現世代ＤＶＤビデオ規格では１つのプログラムストリームのみの再生しかできないが、HD_DVD規格では、別々にマルチプレックスされ時間関係のない２系統のプログラムストリーム（Primary Video Setを構成するPrimary Program StreamとSecondary Video Setを構成するSecondary Program Stream）を同期再生できることが必須事項となっている。
【０００３】
具体的には、HD_DVD規格の光ディスクにはPrimary Program Streamとしてメインビデオ信号とサブビデオ信号とメインオーディオ信号とサブオーディオ信号とサブピクチャ信号が記録されており、HD_DVD規格の光ディスク再生装置はこれら５種類のPrimary Program Streamを選択的に再生できるように構成される。
【０００４】
また、HD_DVD規格の再生装置は、ネットワークを介してサーバから、Secondary Program Streamとしてメインビデオ信号とサブビデオ信号とメインオーディオ信号とサブオーディオ信号を取得可能であり、光ディスクから得られるサブビデオ信号、メインオーディオ信号および／またはサブオーディオ信号を、選択的に、サーバから得られたサブビデオ信号、メインオーディオ信号および／またはサブオーディオ信号に置き換えて、同期再生できるように構成される。
【０００５】
ところで、１つのプログラムストリーム内の別データ（ビデオとオーディオ、あるいはビデオとサブピクチャ）を同期再生することは従来から知られている（特許文献１参照）。
【特許文献１】特開２００４−２２８６２７公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１には、特殊再生モードおよび通常再生モードにおいて、ビデオデータとオーディオデータが同期して処理される装置が開示されている。しかし、別々にマルチプレックスされ時間関係のない２系統のプログラムストリーム（複数の独立コンテンツ：より広義にはマルチＡＶストリーム）の同期再生については開示がない（この同期再生は次世代HD_DVDでは必須事項）。
【０００７】
この発明の課題の１つは、時間関係のないマルチＡＶストリームの同期再生を実現することである。
【課題を解決するための手段】
【０００８】
この発明の一実施の形態に係るマルチＡＶストリームの再生方法は、再生時間情報（EVOBU_S_PTM）を持つデータユニット（EVOBU）群で構成されるものであって、時間的に独立した互いに異なるプライマリオブジェクトデータ（P-EVOB）およびセカンダリオブジェクトデータ（S-EVOB）を同期再生する方法である。この方法では、再生された前記プライマリオブジェクトデータ（P-EVOB）からその再生時間情報（EVOBU_S_PTM=Pri_S_PTM）を取得し（ＳＴ７０２）、再生された前記セカンダリオブジェクトデータ（S-EVOB）からその再生時間情報（EVOBU_S_PTM=Sec_S_PTM）を取得する（ＳＴ７０３）。そして、取得した前記プライマリオブジェクトデータ（P-EVOB）の再生時間情報（EVOBU_S_PTM=Pri_S_PTM）および取得した前記セカンダリオブジェクトデータ（S-EVOB）の再生時間情報（EVOBU_S_PTM=Sec_S_PTM）のうちの一方の再生時間情報（ＳＴ７０４でイエスならEVOBU_S_PTM=Sec_S_PTM；ノーならEVOBU_S_PTM=Pri_S_PTM）を用いて、前記プライマリオブジェクトデータ（P-EVOB）と前記セカンダリオブジェクトデータ（S-EVOB）の足並みを揃えて再生するようにしている。
【発明の効果】
【０００９】
複数の独立コンテンツ（時間的相互関係を持たないメインＡＶデータとサブＡＶデータ）の同期再生を実現できる。
【発明を実施するための最良の形態】
【００１０】
図１は、この発明の一実施の形態に係るマルチＡＶストリームの再生装置の要部（HD_DVDのデータフロー）を説明する図である。ここでは、ブルーレーザ等を用いたOptical Disc Drive９０、大容量フラッシュメモリ等を用いたPersistent Storage９２、インターネット等を介してコンテンツプロバイダに接続可能に構成さえたNetwork I/F９４、およびHard Disk Drive９６のうちのいずれか１つ以上から、HD_DVD規格に準拠したマルチＡＶストリームを取り出すことができるようになっている。また、図１の装置全体の動作タイミングはＳＴＣ（System Time Clock）１２０に基づいて決定でき、装置全体の動作はＭＰＵ１３０により制御されるようになっている。
【００１１】
図１の装置のシステム構成に対する入力データ（マルチＡＶストリーム）は、Primary Enhanced Video Object P-EVOB１００、Secondary Enhanced Video Object S-EVOB１０６として提供される。これらのデータは各々Primary Source Filter１０１およびSecondary Source Filter１０７でバッファリングされ、その後Main Demux１０２およびSub Demux１０８に供給される。Main Demux１０２およびSub Demux１０８により振り分けられた（デマルチプレクスされた）データはそれぞれMain Decoders１０３〜１０５およびSub Decoders１０９〜１１０に送られデコードされる。ここで、P-EVOB内のMain DataはMain Demux１０２に送られ、Sub DataはSub Demux１０８に送られる。同様に、S-EVOB内のMain DataはMain Demux１０２に送られ、Sub DataはSub Demux１０８に送られる。
【００１２】
Main Decoders１０３〜１０５およびSub Decoders１０９〜１１０のうち、ビデオ系のデコーダ（１０４、１０９）はＭＰＥＧ２、ＭＰＥＧ４、ＶＣ−１等の方法でエンコードされたビデオ情報をデコードする。また、オーディオ系のデコーダ（１０３、１１０）はＭＰＥＧの他にＡＣ−３（Ｒ）、ＤＴＳ（Ｒ）、Ｌ−ＰＣＭ等の方法でエンコードされたオーディオ情報をデコードする。さらに、サブピクチャ系のデコーダ（１０５）はHD_DVD規格で定められた方法（特別な符号を用いたランレングス圧縮）でエンコードされたビットマップ情報をデコードする。
【００１３】
図２は、図１の装置における再生同期処理の概要（別ファイル入力接続図）を説明する図である。図１の装置のシステムにおいて、通常再生（Normal Play）をする場合には、Main Demux１０２に送られたデータ（P-EVOBおよびS-EVOB）に含まれる時間情報（図３に示すPTSあるいはEVOBU_S_PTM）を元にシステムの時計が計算され、その計算結果によりＳＴＣ１２０がセットされる。 Main Demux１０２側もSub Demux１０８側も同じＳＴＣ１２０に基づくタイミングで動作することにより、P-EVOBおよびS-EVOBの同期再生が保証される。
【００１４】
なお、図１の再生システムにおいては通常再生以外にもSlow再生、再生Pause、Step再生、FastForward（FF）再生、FastReverse（FR）再生などの再生モードがある。これら再生モードには、Normal、Slow、Pause、Step等のＳＴＣ制御状態とFastForwardなどのＳＴＣ非制御状態（ＳＴＣフリー状態）が存在する。ＳＴＣ制御状態とはＳＴＣを参照して再生しているモードであり、ＳＴＣ非制御状態（ＳＴＣフリー状態）とはＳＴＣを参照せずに再生しているモードである。HD_DVDでは、メインデータとサブデータの同期をとるため、ＳＴＣ非制御状態（ＳＴＣフリー状態）の際にも同期を取って再生する必要がある。
【００１５】
例えば、早送りＦＦまたは早戻しＦＲ（ＳＴＣ非制御／ＳＴＣフリー）から通常再生（ＳＴＣ制御）に遷移する際には、再度メインデータにより生成された時計を基準として、再生を開始する。その際にメインデータよりサブデータの早送り再生時のデコードスピードが速かった場合は、サブのデータはメインの再生開始時間を通過しているため、サブデータはメインの再生開始時間に戻って再生を開始することになる。そのため、早送り再生時にも同期をとって再生する必要がある。
【００１６】
図３は、図１の装置で再生されるマルチＡＶストリームのデータ構造の一例を説明する図である。各EVOBは複数のデータユニット（Enhanced Video Object Unit：EVOBU）群で構成される（図３（ａ））。各EVOBUはその先頭にナビゲーションパックＮＶが配置され、その後に所定数のビデオパックＶ、オーディオパックＡ、副映像（サブピクチャ）パックＳＰが適宜配置される。各EVOBUは、0.4〜1.0秒の再生時間に相当する大きさを持つ（但しEVOB末尾のEVOBUは0.4〜1.2秒の再生時間に相当する大きさ）。図１のOptical Disc Drive９０は、任意のEVOBUにその先頭のＮＶパックからアクセスできるように構成されている。通常再生時（Normal Play）は各EVOBUが順番に再生され（図３（ｂ））、早送り再生（Fast Forward：FF）では一部のEVOBUが飛び飛びに（例えばEVOBUの３つに１つの割合）再生される（図３（ｃ））。
【００１７】
マルチＡＶストリームとしては別々にマルチプレックスされ時間関係のない複数系統のProgram Streamsがあり、HD_DVD規格の場合では、Primary Video Setを構成するPrimary Program StreamsとSecondary Video Setを構成するSecondary Program Streamsがある。Primary Program StreamsにはMain Video Stream、Main Audio Streams、Sub Video Stream、Sub Audio Streams、Sub-picture Streams、Advanced Streamsがある。また、Secondary Program StreamsにはMain Video Stream、Main Audio Stream、Sub Video Stream、Sub Audio Streamがある。これらのStreamsのいずれも、１つのオブジェクト（Enhanced Video Object：EVOB）内で完結する。
Primary Video Setの場合もSecondary Video Setの場合も、Main/Sub Video StreamsはビデオパックＶに格納され、Main/Sub Audio StreamsはオーディオパックＡに格納される。同様にSub-picture StreamsはサブピクチャパックＳＰに格納される。ビデオパックＶは再生タイムスタンプPTSとデコードタイムスタンプDTSを含むヘッダを持ち、オーディオパックＡは再生タイムスタンプPTSを含むヘッダを持ち、サブピクチャパックＳＰも再生タイムスタンプPTSを含むヘッダを持っている。
【００１８】
各EVOBUの先頭に配置されるナビゲーションパックＮＶ（図３（ｄ）ではNV_PCK#n）には全般制御情報（General Control Information）GCIが記録され、このGCIはその一般情報GCI_GI（図３（ｅ））を持つ。そして、このGCI_GIには、それが含まれるＮＶパックを先頭に持つEVOBUの再生開始時間を示す情報EVOBU_S_PTM、表示制御情報DCI、コンテンツ保護情報（コピー制御情報）CPI等が含まれる（図３（ｆ））。
【００１９】
Primary Video Setの情報（P-EVOB）とSecondary Video Setの情報（S-EVOB）の同期再生には、上記GCI内の再生時間情報（EVOBU_S_PTM）を利用することができる。また、Main/Sub Video Streams、Main/Sub Audio Streams間の同期再生には、これらのストリームを格納したパック（Ｖパック、Ａパック）内の再生時間情報（PTS）を利用することができる。
【００２０】
図４は、図１の装置における再生同期処理（データ取得フロー）の一例を説明するフローチャート図である。この処理は、図１のＭＰＵ１３０に装備されたＲＯＭ内に、ファームウエアとして書き込んでおくことができる。
【００２１】
まず、図１、図２のシステム構成において、システム内の時間パラメータ（Primary Video Set用のPri_S_PTMとSecondary Video Set用のSec_S_PTM）のレジスタ（図示せず）をゼロにリセットする（ステップＳＴ７０１）。その後、時間的に独立した別入力ファイル（P-EVOBとS-EVOB）の同期をとるために、データ入力段のDemux１０２部分において、 P-EVOBおよびS-EVOB それぞれのEVOBU内の再生時間情報（P-EVOBのＮＶパック内EVOBU_S_TPMとS-EVOBのＮＶパック内EVOBU_S_TPM）を取得する。
【００２２】
そして、取得した再生時間情報の値を時間パラメータPri_S_PTMのレジスタにセットし（ステップＳＴ７０２）、取得した再生時間情報の値を時間パラメータSec_S_PTMのレジスタにセットする（ステップＳＴ７０３）。なお、これらの時間パラメータレジスタは、図１のＭＰＵ１３０に装備されたＲＡＭエリアの一部に設けることができる。
【００２３】
次に、Pri_S_PTMの値とSec_S_PTMの値を比較する（ステップＳＴ７０４）。すなわち、図３（ｄ）〜（ｆ）に示したように、再生時間情報EVOBU_S_PTMはNaviPack（NV_PCK）内のGCIに記述されており、そのデータをDemuxで解析し、Primary側、Secondary側でその値を保持し、比較する。
【００２４】
その比較結果から、S-EVOBの再生開始時点（Sec_S_PTM）でP-EVOBの再生開始時間（Pri_S_PTM）が既に過ぎてしまっていたら（ステップＳＴ７０４イエス）、Demux１０２部分においてその時点でのS-EVOBのEVOBUデータ（図３（ａ））を取得する（ステップＳＴ７０６）。そして、そのEVOBUのＮＶパック内の再生時間情報（EVOBU_S_PTM）を時間パラメータSec_S_PTMのレジスタにセットする（ステップＳＴ７０８）。そして、設定された再生時間情報の含まれるEVOBUを後段バッファ（デコーダ）に供給する。
【００２５】
一方、P-EVOBの再生開始時点（Pri_S_PTM）でS-EVOBの再生開始時間（Sec_S_PTM）が既に過ぎてしまっていたら（ステップＳＴ７０４ノー）、Demux１０２部分においてその時点でのP-EVOBのEVOBUデータ（図３（ａ））を取得する（ステップＳＴ７０５）。そして、そのEVOBUのＮＶパック内の再生時間情報（EVOBU_S_PTM）を時間パラメータPri_S_PTMのレジスタにセットする（ステップＳＴ７０７）。そして、設定された再生時間情報の含まれるEVOBUを後段バッファ（デコーダ）に供給する。
【００２６】
以上の動作はP-EVOBまたはS_EVOBの入力データがある間は継続される（ステップＳＴ７０９ノー）。その間、P-EVOBの再生時間情報およびS-EVOBの再生時間情報のうちの一方（ＳＴ７０４イエスならEVOBU_S_PTM=Sec_S_PTM；ノーならEVOBU_S_PTM=Pri_S_PTM）を用いて後段バッファ（デコーダ）にデータ供給することにより、P-EVOBとS-EVOBの足並みが揃った再生（同期再生）が行われる。
【００２７】
＜実施の形態のまとめ＞
１）HD_DVDプレーヤーにおいて、メイン、サブの２つのＡＶストリームがあった際に、これらの同期を取って再生する。HD_DVD規格ではPrimaryEVOBの他にSecondaryEVOBを再生する必要があり、これらのデータにMainデコーダ用データおよびSubデコーダ用データが存在する。ここで、PrimaryEVOB（Main、Sub）、SecondaryEVOB（Main、Sub）のストリーム再生において同時に再生する必要があるデータは、Mainデータ１つ、Subデータ１つとなる。これらのデータを再生するためにはデコーダが２つ必要となる。そこで、PrimaryEVOBファイルとSecondaryEVOBファイルの接続の間にデータを振り分けるソースフィルタを設け、振り分けられたデータをそれぞれ該当するMain用DemuxとSub用Demuxに送出する。
【００２８】
２）通常再生時（ノーマルスピード再生）の際には２つのストリームを制御するためメインデータにより生成された１つの時計（ＳＴＣ）を使用して同期を取る。ここで、再生組み合わせのパターンとしてPrimaryEVOBのMain VideoデータとSecondaryEVOBのMain Audioを再生する組み合わせが存在する。本来ＤＶＤの再生においてはVideoとAudioは同期再生のためにあらかじめMultiplexされたデータを使用して再生していたが、HD_DVDでは別ファイルから取得したデータを同期をとって再生する必要がある。そこで、Demuxの部分で再生のための時間情報（タイムスタンプ）を解析することによりDemuxでの入力制御を行い、後段デコーダに対し時間情報（タイムスタンプ）に同期したストリームを供給し、同期再生を可能にする。このように２つのコンテンツを同期を取って出力するシステムは新規で有用なものである。
【００２９】
なお、この発明は前述した実施の形態に限定されるものではなく、現在または将来の実施段階では、その時点で利用可能な技術に基づき、その要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は可能な限り適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。さらに、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、この構成要件が削除された構成が発明として抽出され得る。
【図面の簡単な説明】
【００３０】
【図１】この発明の一実施の形態に係るマルチＡＶストリームの再生装置の要部を説明する図。
【図２】図１の装置における再生同期処理の概要を説明する図。
【図３】図１の装置で再生されるマルチＡＶストリームのデータ構造の一例を説明する図。
【図４】図１の装置における再生同期処理の一例を説明するフローチャート図。
【符号の説明】
【００３１】
９０…光ディスクドライブ（HD_DVDビデオディスク再生用）；９２…データ記憶装置（大容量フラッシュメモリ等）；９４…ネットワークインターフェイス；９６…ハードディスクドライブ；１０６…プライマリオブジェクトバッファ；１０６…セカンダリオブジェクトバッファ；１０１…プライマリソースフィルタ；１０７…セカンダリソースフィルタ；１０２…メインデマルチプレクサ；１０８…サブデマルチプレクサ；１０４…ビデオデコーダ（メインデータ用）；１０９…ビデオデコーダ（サブデータ用）；１０３…オーディオデコーダ（メインデータ用）；１１０…オーディオデコーダ（サブデータ用）；１０５…サブピクチャデコーダ（メインデータ用）；１２０…システムクロック発生器（ＳＴＣ）；１３０…マイクロコンピュータ（ＭＰＵ）。
【技術分野】
【０００１】
この発明は、マルチＡＶストリームの再生方法および再生装置に関する。
【背景技術】
【０００２】
近年、オーディオビデオ情報（ＡＶ情報）のデジタル化が進み、ＭＰＥＧエンコードされたＡＶ情報を記録するメディアが一般的に利用されるようになってきている。そのようなメディアの代表例としてＤＶＤ（digital versatile disc）がある。ＤＶＤは規格自体も進化しており、間もなくHD_DVD（high definition DVD）と称されるハイビジョン対応の次世代ＤＶＤ規格もリリースされる状態にある。このHD_DVD規格では現世代ＤＶＤよりも格段に記録密度が高まるため、再生装置側でもそれに対応した高機能化を図ることが要求されている。すなわち、現世代ＤＶＤビデオ規格では１つのプログラムストリームのみの再生しかできないが、HD_DVD規格では、別々にマルチプレックスされ時間関係のない２系統のプログラムストリーム（Primary Video Setを構成するPrimary Program StreamとSecondary Video Setを構成するSecondary Program Stream）を同期再生できることが必須事項となっている。
【０００３】
具体的には、HD_DVD規格の光ディスクにはPrimary Program Streamとしてメインビデオ信号とサブビデオ信号とメインオーディオ信号とサブオーディオ信号とサブピクチャ信号が記録されており、HD_DVD規格の光ディスク再生装置はこれら５種類のPrimary Program Streamを選択的に再生できるように構成される。
【０００４】
また、HD_DVD規格の再生装置は、ネットワークを介してサーバから、Secondary Program Streamとしてメインビデオ信号とサブビデオ信号とメインオーディオ信号とサブオーディオ信号を取得可能であり、光ディスクから得られるサブビデオ信号、メインオーディオ信号および／またはサブオーディオ信号を、選択的に、サーバから得られたサブビデオ信号、メインオーディオ信号および／またはサブオーディオ信号に置き換えて、同期再生できるように構成される。
【０００５】
ところで、１つのプログラムストリーム内の別データ（ビデオとオーディオ、あるいはビデオとサブピクチャ）を同期再生することは従来から知られている（特許文献１参照）。
【特許文献１】特開２００４−２２８６２７公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１には、特殊再生モードおよび通常再生モードにおいて、ビデオデータとオーディオデータが同期して処理される装置が開示されている。しかし、別々にマルチプレックスされ時間関係のない２系統のプログラムストリーム（複数の独立コンテンツ：より広義にはマルチＡＶストリーム）の同期再生については開示がない（この同期再生は次世代HD_DVDでは必須事項）。
【０００７】
この発明の課題の１つは、時間関係のないマルチＡＶストリームの同期再生を実現することである。
【課題を解決するための手段】
【０００８】
この発明の一実施の形態に係るマルチＡＶストリームの再生方法は、再生時間情報（EVOBU_S_PTM）を持つデータユニット（EVOBU）群で構成されるものであって、時間的に独立した互いに異なるプライマリオブジェクトデータ（P-EVOB）およびセカンダリオブジェクトデータ（S-EVOB）を同期再生する方法である。この方法では、再生された前記プライマリオブジェクトデータ（P-EVOB）からその再生時間情報（EVOBU_S_PTM=Pri_S_PTM）を取得し（ＳＴ７０２）、再生された前記セカンダリオブジェクトデータ（S-EVOB）からその再生時間情報（EVOBU_S_PTM=Sec_S_PTM）を取得する（ＳＴ７０３）。そして、取得した前記プライマリオブジェクトデータ（P-EVOB）の再生時間情報（EVOBU_S_PTM=Pri_S_PTM）および取得した前記セカンダリオブジェクトデータ（S-EVOB）の再生時間情報（EVOBU_S_PTM=Sec_S_PTM）のうちの一方の再生時間情報（ＳＴ７０４でイエスならEVOBU_S_PTM=Sec_S_PTM；ノーならEVOBU_S_PTM=Pri_S_PTM）を用いて、前記プライマリオブジェクトデータ（P-EVOB）と前記セカンダリオブジェクトデータ（S-EVOB）の足並みを揃えて再生するようにしている。
【発明の効果】
【０００９】
複数の独立コンテンツ（時間的相互関係を持たないメインＡＶデータとサブＡＶデータ）の同期再生を実現できる。
【発明を実施するための最良の形態】
【００１０】
図１は、この発明の一実施の形態に係るマルチＡＶストリームの再生装置の要部（HD_DVDのデータフロー）を説明する図である。ここでは、ブルーレーザ等を用いたOptical Disc Drive９０、大容量フラッシュメモリ等を用いたPersistent Storage９２、インターネット等を介してコンテンツプロバイダに接続可能に構成さえたNetwork I/F９４、およびHard Disk Drive９６のうちのいずれか１つ以上から、HD_DVD規格に準拠したマルチＡＶストリームを取り出すことができるようになっている。また、図１の装置全体の動作タイミングはＳＴＣ（System Time Clock）１２０に基づいて決定でき、装置全体の動作はＭＰＵ１３０により制御されるようになっている。
【００１１】
図１の装置のシステム構成に対する入力データ（マルチＡＶストリーム）は、Primary Enhanced Video Object P-EVOB１００、Secondary Enhanced Video Object S-EVOB１０６として提供される。これらのデータは各々Primary Source Filter１０１およびSecondary Source Filter１０７でバッファリングされ、その後Main Demux１０２およびSub Demux１０８に供給される。Main Demux１０２およびSub Demux１０８により振り分けられた（デマルチプレクスされた）データはそれぞれMain Decoders１０３〜１０５およびSub Decoders１０９〜１１０に送られデコードされる。ここで、P-EVOB内のMain DataはMain Demux１０２に送られ、Sub DataはSub Demux１０８に送られる。同様に、S-EVOB内のMain DataはMain Demux１０２に送られ、Sub DataはSub Demux１０８に送られる。
【００１２】
Main Decoders１０３〜１０５およびSub Decoders１０９〜１１０のうち、ビデオ系のデコーダ（１０４、１０９）はＭＰＥＧ２、ＭＰＥＧ４、ＶＣ−１等の方法でエンコードされたビデオ情報をデコードする。また、オーディオ系のデコーダ（１０３、１１０）はＭＰＥＧの他にＡＣ−３（Ｒ）、ＤＴＳ（Ｒ）、Ｌ−ＰＣＭ等の方法でエンコードされたオーディオ情報をデコードする。さらに、サブピクチャ系のデコーダ（１０５）はHD_DVD規格で定められた方法（特別な符号を用いたランレングス圧縮）でエンコードされたビットマップ情報をデコードする。
【００１３】
図２は、図１の装置における再生同期処理の概要（別ファイル入力接続図）を説明する図である。図１の装置のシステムにおいて、通常再生（Normal Play）をする場合には、Main Demux１０２に送られたデータ（P-EVOBおよびS-EVOB）に含まれる時間情報（図３に示すPTSあるいはEVOBU_S_PTM）を元にシステムの時計が計算され、その計算結果によりＳＴＣ１２０がセットされる。 Main Demux１０２側もSub Demux１０８側も同じＳＴＣ１２０に基づくタイミングで動作することにより、P-EVOBおよびS-EVOBの同期再生が保証される。
【００１４】
なお、図１の再生システムにおいては通常再生以外にもSlow再生、再生Pause、Step再生、FastForward（FF）再生、FastReverse（FR）再生などの再生モードがある。これら再生モードには、Normal、Slow、Pause、Step等のＳＴＣ制御状態とFastForwardなどのＳＴＣ非制御状態（ＳＴＣフリー状態）が存在する。ＳＴＣ制御状態とはＳＴＣを参照して再生しているモードであり、ＳＴＣ非制御状態（ＳＴＣフリー状態）とはＳＴＣを参照せずに再生しているモードである。HD_DVDでは、メインデータとサブデータの同期をとるため、ＳＴＣ非制御状態（ＳＴＣフリー状態）の際にも同期を取って再生する必要がある。
【００１５】
例えば、早送りＦＦまたは早戻しＦＲ（ＳＴＣ非制御／ＳＴＣフリー）から通常再生（ＳＴＣ制御）に遷移する際には、再度メインデータにより生成された時計を基準として、再生を開始する。その際にメインデータよりサブデータの早送り再生時のデコードスピードが速かった場合は、サブのデータはメインの再生開始時間を通過しているため、サブデータはメインの再生開始時間に戻って再生を開始することになる。そのため、早送り再生時にも同期をとって再生する必要がある。
【００１６】
図３は、図１の装置で再生されるマルチＡＶストリームのデータ構造の一例を説明する図である。各EVOBは複数のデータユニット（Enhanced Video Object Unit：EVOBU）群で構成される（図３（ａ））。各EVOBUはその先頭にナビゲーションパックＮＶが配置され、その後に所定数のビデオパックＶ、オーディオパックＡ、副映像（サブピクチャ）パックＳＰが適宜配置される。各EVOBUは、0.4〜1.0秒の再生時間に相当する大きさを持つ（但しEVOB末尾のEVOBUは0.4〜1.2秒の再生時間に相当する大きさ）。図１のOptical Disc Drive９０は、任意のEVOBUにその先頭のＮＶパックからアクセスできるように構成されている。通常再生時（Normal Play）は各EVOBUが順番に再生され（図３（ｂ））、早送り再生（Fast Forward：FF）では一部のEVOBUが飛び飛びに（例えばEVOBUの３つに１つの割合）再生される（図３（ｃ））。
【００１７】
マルチＡＶストリームとしては別々にマルチプレックスされ時間関係のない複数系統のProgram Streamsがあり、HD_DVD規格の場合では、Primary Video Setを構成するPrimary Program StreamsとSecondary Video Setを構成するSecondary Program Streamsがある。Primary Program StreamsにはMain Video Stream、Main Audio Streams、Sub Video Stream、Sub Audio Streams、Sub-picture Streams、Advanced Streamsがある。また、Secondary Program StreamsにはMain Video Stream、Main Audio Stream、Sub Video Stream、Sub Audio Streamがある。これらのStreamsのいずれも、１つのオブジェクト（Enhanced Video Object：EVOB）内で完結する。
Primary Video Setの場合もSecondary Video Setの場合も、Main/Sub Video StreamsはビデオパックＶに格納され、Main/Sub Audio StreamsはオーディオパックＡに格納される。同様にSub-picture StreamsはサブピクチャパックＳＰに格納される。ビデオパックＶは再生タイムスタンプPTSとデコードタイムスタンプDTSを含むヘッダを持ち、オーディオパックＡは再生タイムスタンプPTSを含むヘッダを持ち、サブピクチャパックＳＰも再生タイムスタンプPTSを含むヘッダを持っている。
【００１８】
各EVOBUの先頭に配置されるナビゲーションパックＮＶ（図３（ｄ）ではNV_PCK#n）には全般制御情報（General Control Information）GCIが記録され、このGCIはその一般情報GCI_GI（図３（ｅ））を持つ。そして、このGCI_GIには、それが含まれるＮＶパックを先頭に持つEVOBUの再生開始時間を示す情報EVOBU_S_PTM、表示制御情報DCI、コンテンツ保護情報（コピー制御情報）CPI等が含まれる（図３（ｆ））。
【００１９】
Primary Video Setの情報（P-EVOB）とSecondary Video Setの情報（S-EVOB）の同期再生には、上記GCI内の再生時間情報（EVOBU_S_PTM）を利用することができる。また、Main/Sub Video Streams、Main/Sub Audio Streams間の同期再生には、これらのストリームを格納したパック（Ｖパック、Ａパック）内の再生時間情報（PTS）を利用することができる。
【００２０】
図４は、図１の装置における再生同期処理（データ取得フロー）の一例を説明するフローチャート図である。この処理は、図１のＭＰＵ１３０に装備されたＲＯＭ内に、ファームウエアとして書き込んでおくことができる。
【００２１】
まず、図１、図２のシステム構成において、システム内の時間パラメータ（Primary Video Set用のPri_S_PTMとSecondary Video Set用のSec_S_PTM）のレジスタ（図示せず）をゼロにリセットする（ステップＳＴ７０１）。その後、時間的に独立した別入力ファイル（P-EVOBとS-EVOB）の同期をとるために、データ入力段のDemux１０２部分において、 P-EVOBおよびS-EVOB それぞれのEVOBU内の再生時間情報（P-EVOBのＮＶパック内EVOBU_S_TPMとS-EVOBのＮＶパック内EVOBU_S_TPM）を取得する。
【００２２】
そして、取得した再生時間情報の値を時間パラメータPri_S_PTMのレジスタにセットし（ステップＳＴ７０２）、取得した再生時間情報の値を時間パラメータSec_S_PTMのレジスタにセットする（ステップＳＴ７０３）。なお、これらの時間パラメータレジスタは、図１のＭＰＵ１３０に装備されたＲＡＭエリアの一部に設けることができる。
【００２３】
次に、Pri_S_PTMの値とSec_S_PTMの値を比較する（ステップＳＴ７０４）。すなわち、図３（ｄ）〜（ｆ）に示したように、再生時間情報EVOBU_S_PTMはNaviPack（NV_PCK）内のGCIに記述されており、そのデータをDemuxで解析し、Primary側、Secondary側でその値を保持し、比較する。
【００２４】
その比較結果から、S-EVOBの再生開始時点（Sec_S_PTM）でP-EVOBの再生開始時間（Pri_S_PTM）が既に過ぎてしまっていたら（ステップＳＴ７０４イエス）、Demux１０２部分においてその時点でのS-EVOBのEVOBUデータ（図３（ａ））を取得する（ステップＳＴ７０６）。そして、そのEVOBUのＮＶパック内の再生時間情報（EVOBU_S_PTM）を時間パラメータSec_S_PTMのレジスタにセットする（ステップＳＴ７０８）。そして、設定された再生時間情報の含まれるEVOBUを後段バッファ（デコーダ）に供給する。
【００２５】
一方、P-EVOBの再生開始時点（Pri_S_PTM）でS-EVOBの再生開始時間（Sec_S_PTM）が既に過ぎてしまっていたら（ステップＳＴ７０４ノー）、Demux１０２部分においてその時点でのP-EVOBのEVOBUデータ（図３（ａ））を取得する（ステップＳＴ７０５）。そして、そのEVOBUのＮＶパック内の再生時間情報（EVOBU_S_PTM）を時間パラメータPri_S_PTMのレジスタにセットする（ステップＳＴ７０７）。そして、設定された再生時間情報の含まれるEVOBUを後段バッファ（デコーダ）に供給する。
【００２６】
以上の動作はP-EVOBまたはS_EVOBの入力データがある間は継続される（ステップＳＴ７０９ノー）。その間、P-EVOBの再生時間情報およびS-EVOBの再生時間情報のうちの一方（ＳＴ７０４イエスならEVOBU_S_PTM=Sec_S_PTM；ノーならEVOBU_S_PTM=Pri_S_PTM）を用いて後段バッファ（デコーダ）にデータ供給することにより、P-EVOBとS-EVOBの足並みが揃った再生（同期再生）が行われる。
【００２７】
＜実施の形態のまとめ＞
１）HD_DVDプレーヤーにおいて、メイン、サブの２つのＡＶストリームがあった際に、これらの同期を取って再生する。HD_DVD規格ではPrimaryEVOBの他にSecondaryEVOBを再生する必要があり、これらのデータにMainデコーダ用データおよびSubデコーダ用データが存在する。ここで、PrimaryEVOB（Main、Sub）、SecondaryEVOB（Main、Sub）のストリーム再生において同時に再生する必要があるデータは、Mainデータ１つ、Subデータ１つとなる。これらのデータを再生するためにはデコーダが２つ必要となる。そこで、PrimaryEVOBファイルとSecondaryEVOBファイルの接続の間にデータを振り分けるソースフィルタを設け、振り分けられたデータをそれぞれ該当するMain用DemuxとSub用Demuxに送出する。
【００２８】
２）通常再生時（ノーマルスピード再生）の際には２つのストリームを制御するためメインデータにより生成された１つの時計（ＳＴＣ）を使用して同期を取る。ここで、再生組み合わせのパターンとしてPrimaryEVOBのMain VideoデータとSecondaryEVOBのMain Audioを再生する組み合わせが存在する。本来ＤＶＤの再生においてはVideoとAudioは同期再生のためにあらかじめMultiplexされたデータを使用して再生していたが、HD_DVDでは別ファイルから取得したデータを同期をとって再生する必要がある。そこで、Demuxの部分で再生のための時間情報（タイムスタンプ）を解析することによりDemuxでの入力制御を行い、後段デコーダに対し時間情報（タイムスタンプ）に同期したストリームを供給し、同期再生を可能にする。このように２つのコンテンツを同期を取って出力するシステムは新規で有用なものである。
【００２９】
なお、この発明は前述した実施の形態に限定されるものではなく、現在または将来の実施段階では、その時点で利用可能な技術に基づき、その要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は可能な限り適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。さらに、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、この構成要件が削除された構成が発明として抽出され得る。
【図面の簡単な説明】
【００３０】
【図１】この発明の一実施の形態に係るマルチＡＶストリームの再生装置の要部を説明する図。
【図２】図１の装置における再生同期処理の概要を説明する図。
【図３】図１の装置で再生されるマルチＡＶストリームのデータ構造の一例を説明する図。
【図４】図１の装置における再生同期処理の一例を説明するフローチャート図。
【符号の説明】
【００３１】
９０…光ディスクドライブ（HD_DVDビデオディスク再生用）；９２…データ記憶装置（大容量フラッシュメモリ等）；９４…ネットワークインターフェイス；９６…ハードディスクドライブ；１０６…プライマリオブジェクトバッファ；１０６…セカンダリオブジェクトバッファ；１０１…プライマリソースフィルタ；１０７…セカンダリソースフィルタ；１０２…メインデマルチプレクサ；１０８…サブデマルチプレクサ；１０４…ビデオデコーダ（メインデータ用）；１０９…ビデオデコーダ（サブデータ用）；１０３…オーディオデコーダ（メインデータ用）；１１０…オーディオデコーダ（サブデータ用）；１０５…サブピクチャデコーダ（メインデータ用）；１２０…システムクロック発生器（ＳＴＣ）；１３０…マイクロコンピュータ（ＭＰＵ）。
【特許請求の範囲】
【請求項１】
再生時間情報を持つデータユニット群で構成されるものであって、時間的に独立した互いに異なるプライマリオブジェクトデータおよびセカンダリオブジェクトデータを同期再生する方法において、
再生された前記プライマリオブジェクトデータからその再生時間情報を取得し、
再生された前記セカンダリオブジェクトデータからその再生時間情報を取得し、
取得した前記プライマリオブジェクトデータの再生時間情報および取得した前記セカンダリオブジェクトデータの再生時間情報のうちの一方の再生時間情報を用いて、前記プライマリオブジェクトデータと前記セカンダリオブジェクトデータを同期再生する方法。
【請求項２】
前記プライマリオブジェクトデータおよび前記セカンダリオブジェクトデータはそれぞれメインビデオデータとメインオーディオデータとサブビデオデータとサブオーディオデータを含み、
１種類の前記再生時間情報に基づいて、前記プライマリオブジェクトのメインビデオデータまたは前記セカンダリオブジェクトのメインオーディオデータの情報をデコードするように構成された請求項１に記載の方法。
【請求項３】
再生時間情報を持つデータユニット群で構成されるものであって、時間的に独立した互いに異なるプライマリオブジェクトデータおよびセカンダリオブジェクトデータを再生する情報再生部と、
再生された前記プライマリオブジェクトデータからその再生時間情報を取得し、再生された前記セカンダリオブジェクトデータからその再生時間情報を取得し、取得した前記プライマリオブジェクトデータの再生時間情報および取得した前記セカンダリオブジェクトデータの再生時間情報のうちの一方の再生時間情報を用いて、前記プライマリオブジェクトデータと前記セカンダリオブジェクトデータを同期再生する制御を行なうように構成された再生制御回路とを具備した再生装置。
【請求項４】
前記プライマリオブジェクトデータおよび前記セカンダリオブジェクトデータはそれぞれメインビデオデータとメインオーディオデータとサブビデオデータとサブオーディオデータを含み、
前記情報再生部が、前記プライマリオブジェクトのデータストリームと前記セカンダリオブジェクトのデータストリームを振り分けるフィルタと、前記フィルタで振り分けられた前記プライマリオブジェクトのデータストリームおよび／または前記セカンダリオブジェクトのデータストリームから前記メインビデオデータおよび／またはメインオーディオデータの情報を取り出すメインデマルチプレクサと、前記フィルタで振り分けられた前記セカンダリオブジェクトのデータストリームから前記サブビデオデータおよび／またはサブオーディオデータの情報を取り出すサブデマルチプレクサとを含んで構成される請求項３に記載の装置。
【請求項５】
前記メインビデオデータおよびメインオーディオデータの情報は所定の方法でエンコードされており、前記情報再生部が、前記メインビデオデータをデコードするメインビデオデコーダおよび前記メインオーディオデータをデコードするメインオーディオデコーダを持つメインデコーダを含んで構成される請求項４に記載の装置。
【請求項６】
前記サブビデオデータおよびサブオーディオデータの情報は所定の方法でエンコードされており、前記情報再生部が、前記サブビデオデータをデコードするサブビデオデコーダと、前記サブオーディオデータをデコードするサブオーディオデコーダを含んで構成される請求項５に記載の装置。
【請求項７】
前記メインデマルチプレクサは、前記プライマリオブジェクトのメインビデオデータおよび前記セカンダリオブジェクトのメインオーディオデータの情報を取り出すように構成され、
前記メインデマルチプレクサが、１種類の前記再生時間情報に基づいて、前記プライマリオブジェクトのメインビデオデータまたは前記セカンダリオブジェクトのメインオーディオデータの情報を前記メインデコーダへ供給するように構成された請求項５または請求項６に記載の装置。
【請求項１】
再生時間情報を持つデータユニット群で構成されるものであって、時間的に独立した互いに異なるプライマリオブジェクトデータおよびセカンダリオブジェクトデータを同期再生する方法において、
再生された前記プライマリオブジェクトデータからその再生時間情報を取得し、
再生された前記セカンダリオブジェクトデータからその再生時間情報を取得し、
取得した前記プライマリオブジェクトデータの再生時間情報および取得した前記セカンダリオブジェクトデータの再生時間情報のうちの一方の再生時間情報を用いて、前記プライマリオブジェクトデータと前記セカンダリオブジェクトデータを同期再生する方法。
【請求項２】
前記プライマリオブジェクトデータおよび前記セカンダリオブジェクトデータはそれぞれメインビデオデータとメインオーディオデータとサブビデオデータとサブオーディオデータを含み、
１種類の前記再生時間情報に基づいて、前記プライマリオブジェクトのメインビデオデータまたは前記セカンダリオブジェクトのメインオーディオデータの情報をデコードするように構成された請求項１に記載の方法。
【請求項３】
再生時間情報を持つデータユニット群で構成されるものであって、時間的に独立した互いに異なるプライマリオブジェクトデータおよびセカンダリオブジェクトデータを再生する情報再生部と、
再生された前記プライマリオブジェクトデータからその再生時間情報を取得し、再生された前記セカンダリオブジェクトデータからその再生時間情報を取得し、取得した前記プライマリオブジェクトデータの再生時間情報および取得した前記セカンダリオブジェクトデータの再生時間情報のうちの一方の再生時間情報を用いて、前記プライマリオブジェクトデータと前記セカンダリオブジェクトデータを同期再生する制御を行なうように構成された再生制御回路とを具備した再生装置。
【請求項４】
前記プライマリオブジェクトデータおよび前記セカンダリオブジェクトデータはそれぞれメインビデオデータとメインオーディオデータとサブビデオデータとサブオーディオデータを含み、
前記情報再生部が、前記プライマリオブジェクトのデータストリームと前記セカンダリオブジェクトのデータストリームを振り分けるフィルタと、前記フィルタで振り分けられた前記プライマリオブジェクトのデータストリームおよび／または前記セカンダリオブジェクトのデータストリームから前記メインビデオデータおよび／またはメインオーディオデータの情報を取り出すメインデマルチプレクサと、前記フィルタで振り分けられた前記セカンダリオブジェクトのデータストリームから前記サブビデオデータおよび／またはサブオーディオデータの情報を取り出すサブデマルチプレクサとを含んで構成される請求項３に記載の装置。
【請求項５】
前記メインビデオデータおよびメインオーディオデータの情報は所定の方法でエンコードされており、前記情報再生部が、前記メインビデオデータをデコードするメインビデオデコーダおよび前記メインオーディオデータをデコードするメインオーディオデコーダを持つメインデコーダを含んで構成される請求項４に記載の装置。
【請求項６】
前記サブビデオデータおよびサブオーディオデータの情報は所定の方法でエンコードされており、前記情報再生部が、前記サブビデオデータをデコードするサブビデオデコーダと、前記サブオーディオデータをデコードするサブオーディオデコーダを含んで構成される請求項５に記載の装置。
【請求項７】
前記メインデマルチプレクサは、前記プライマリオブジェクトのメインビデオデータおよび前記セカンダリオブジェクトのメインオーディオデータの情報を取り出すように構成され、
前記メインデマルチプレクサが、１種類の前記再生時間情報に基づいて、前記プライマリオブジェクトのメインビデオデータまたは前記セカンダリオブジェクトのメインオーディオデータの情報を前記メインデコーダへ供給するように構成された請求項５または請求項６に記載の装置。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２００７−１５１０１９（Ｐ２００７−１５１０１９Ａ）
【公開日】平成１９年６月１４日（２００７．６．１４）
【国際特許分類】
【出願番号】特願２００５−３４５９１２（Ｐ２００５−３４５９１２）
【出願日】平成１７年１１月３０日（２００５．１１．３０）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成１９年６月１４日（２００７．６．１４）
【国際特許分類】
【出願日】平成１７年１１月３０日（２００５．１１．３０）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]