動画像復号化装置
【課題】複数の動画像ストリームを同時に復号し、かつ複数の動画像ストリームに対してシームレス再生を行う。
【解決手段】本発明に係る動画像復号化装置１００は、動画像ストリーム１３１の区間ＴＳ１とＴＳ２との境界に、ダミーパケット２２１を挿入するダミーパケット挿入部１０５Ａと、ダミーパケット２２１が挿入された動画像ストリーム１３２を映像ストリーム１３３、１３５、音声ストリーム１３４及び１３６に分離するＤＥＭＵＸ部１０６と、ダミーパケット２２１が挿入された位置が、映像ストリーム１３３、１３５、音声ストリーム１３４及び１３６の境界であると検出するシームレス検出部１０７と、映像ストリーム１３３、１３５、音声ストリーム１３４及び１３６を復号し、かつシームレス検出部１０７により検出された境界に対してシームレス再生処理を行うデコード部１０９とを備える。
【解決手段】本発明に係る動画像復号化装置１００は、動画像ストリーム１３１の区間ＴＳ１とＴＳ２との境界に、ダミーパケット２２１を挿入するダミーパケット挿入部１０５Ａと、ダミーパケット２２１が挿入された動画像ストリーム１３２を映像ストリーム１３３、１３５、音声ストリーム１３４及び１３６に分離するＤＥＭＵＸ部１０６と、ダミーパケット２２１が挿入された位置が、映像ストリーム１３３、１３５、音声ストリーム１３４及び１３６の境界であると検出するシームレス検出部１０７と、映像ストリーム１３３、１３５、音声ストリーム１３４及び１３６を復号し、かつシームレス検出部１０７により検出された境界に対してシームレス再生処理を行うデコード部１０９とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像復号化装置に関し、特に、複数の区間に分割されている１以上の動画像データストリームに多重化された同時に再生される複数の映像データストリーム及び複数の音声データストリームを並列に復号する動画像復号化装置に関する。
【背景技術】
【０００２】
近年、高密度に記録可能な情報記録媒体として光ディスクが開発されている。例えば、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）は、映画及び音楽を記録するための光ディスクとして一般に広く普及している。また、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）は、ＤＶＤよりも、大容量、かつ高速な転送速度を実現できるので、今後の光ディスクとして注目される。
【０００３】
ＢＤには、符号化された映像データ及び音声データが多重化された動画像データストリーム（以下、単に「動画像ストリーム」とも記す。）が記録されている。ＤＶＤ及びＢＤに対応した再生装置は、符号化された映像データ及び音声データを復号する動画像復号化装置を備える。
【０００４】
ここで、ＢＤでは、記録されるコンテンツに対して複数種類の再生方法を選択できる場合がある。例えば、映画においては、劇場公開版と、劇場公開版に含まれていないシーンを含むノーカット版を選択して再生することができる。
【０００５】
この場合、例えば、ＢＤには、ノーカット版の映像データ及び音声データが再生の順序に従い記録されている。劇場公開版が選択された場合には、再生装置は、ノーカット版に含まれる一部の映像データ及び音声データをスキップすることで、劇場公開版の映像データ及び音声データを再生する。
【０００６】
このように、映像データ及び音声データの一部をスキップしながら再生する場合、スキップした前後の映像データ及び音声データは、必ずしも連続しない。これにより、映像及び音声に途切れが発生する場合がある。
【０００７】
また、倍速再生を行う場合、チャプターの境界を再生する場合、及びユーザにより編集された映像データ及び音声データを再生する場合にも、映像及び音声に途切れが発生する場合がある。
【０００８】
これに対して、映像データ及び音声データをシームレス再生する技術が知られている（例えば、特許文献１参照）。シームレス再生とは、映像と映像との間を途切れさせることなく、再生させることを言う。
【０００９】
特許文献１記載の従来の動画像復号化装置は、連続しない動画像ストリームの境界にダミーパケットを挿入することで、シームレス再生を実現している。
【特許文献１】国際公開第２００５／００２２２１号パンフレット
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかしながら、従来の動画像復号化装置は、複数の動画像ストリームが同時に入力され、複数の動画像ストリームを同時に復号及び再生する場合のシームレス再生に対する対応方法は記載されていない。つまり、従来の動画像復号化装置は、複数のストリームを同時に再生する場合に、要求に応じたシームレス再生の処理をできるとはかぎらない。
【００１１】
例えば、ＢＤの新しい規格において、Ｉｎ−Ｍｕｘ及びＯｕｔ−Ｏｆ−Ｍｕｘなどの複数のストリームが同時に再生される場合がある。Ｉｎ−Ｍｕｘとは、複数の音声データストリーム及び複数の映像データストリームが多重化された１つの動画像ストリームが転送される場合であり、Ｏｕｔ−Ｏｆ−Ｍｕｘとは、複数の音声データストリーム及び複数の映像データストリームが、複数の動画像ストリームに分割されて転送される場合である。
【００１２】
そこで、本発明は、複数の動画像ストリームを同時に復号し、かつ複数の動画像ストリームに対してシームレス再生を行える動画像復号化装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記目的を達成するために、本発明に係る動画像復号化装置は、複数の区間に分割されている１以上の動画像データストリームに多重化された同時に再生される第１映像データストリーム、第２映像データストリーム、第１音声データストリーム及び第２音声データストリームを並列に復号する動画像復号化装置であって、前記１以上の動画像データストリームの前記区間の境界に、ダミーパケットを挿入するダミーパケット挿入部と、前記ダミーパケット挿入部により前記ダミーパケットが挿入された動画像データストリームを前記第１映像データストリーム、前記第２映像データストリーム、前記第１音声データストリーム及び前記第２音声データストリームに分離する分離部と、前記ダミーパケットが挿入された位置が、前記分離部により分離された前記第１映像データストリーム、前記第２映像データストリーム、前記第１音声データストリーム及び前記第２音声データストリームの境界であると検出する検出部と、前記分離部により分離された前記第１映像データストリームを復号し、かつ前記検出部により検出された境界に対して映像を途切れなく再生させるための処理を行う第１映像復号部と、前記分離部により分離された前記第２映像データストリームを復号し、かつ前記検出部により検出された境界に対して映像を途切れなく再生させるための処理を行う第２映像復号部と、前記分離部により分離された前記第１音声データストリームを復号し、かつ前記検出部により検出された境界に対して音声を途切れなく再生させるための処理を行う第１音声復号部と、前記分離部により分離された前記第２音声データストリームを復号し、かつ前記検出部により検出された境界に対して音声を途切れなく再生させるための処理を行う第２音声復号部とを備える。
【００１４】
この構成によれば、本発明に係る動画像復号化装置は、複数の復号部により、複数の動画像ストリームを同時に復号できる。さらに、本発明に係る動画像復号化装置は、動画像ストリームの区間の境界にダミーパケットを挿入し、当該ダミーパケットに基づきストリームの境界を判別することで、複数の動画像ストリームに対してシームレス再生を行える。
【００１５】
また、前記ダミーパケット挿入部は、前記第１映像復号部、前記第２映像復号部、前記第１音声復号部及び前記第２音声復号部のそれぞれを指定するか否かを示す第１情報を含む前記ダミーパケットを挿入し、前記第１映像復号部、前記第２映像復号部、前記第１音声復号部及び前記第２音声復号部は、前記第１情報により自身が指定される場合に、前記検出部により検出された境界に対して映像又は音声を途切れなく再生させるための処理を行ってもよい。
【００１６】
この構成によれば、本発明に係る動画像復号化装置は、複数の映像データストリーム及び複数の映像データストリームのうち任意のデータストリームに対して、ストリームの境界を指定し、選択的にシームレス再生の処理を行うことができる。
【００１７】
また、前記ダミーパケット挿入部は、映像又は音声を途切れなく再生させるための前記処理の種別を示す第２情報を含む前記ダミーパケットを挿入し、前記検出部は、さらに、前記第２情報に示される映像又は音声を途切れなく再生させるための前記処理の種別を検出し、前記第１映像復号部、第２映像復号部、第１音声復号部及び第２音声復号部は、前記検出部により検出された境界に対して、前記検出部により検出された前記種別に従った映像又は音声を途切れなく再生させるための処理を行ってもよい。
【００１８】
この構成によれば、本発明に係る動画像復号化装置は、複数の映像データストリーム及び複数の音声データストリームに対して、任意の種別のシームレス再生を行うことができる。
【００１９】
また、前記ダミーパケット挿入部は、前記ダミーパケットの直後の前記区間を識別するための第３情報を含むダミーパケットを挿入し、前記検出部は、前記ダミーパケットに含まれる前記第３情報を検出し、前記分離部により分離された前記第１映像データストリーム、前記第２映像データストリーム、前記第１音声データストリーム及び前記第２音声データストリームのそれぞれに検出した前記第３情報を関連付け、前記第１映像復号部、第２映像復号部、第１音声復号部及び第２音声復号部は、同一の第３情報が関連付けられた前記第１映像データストリーム、前記第２映像データストリーム、前記第１音声データストリーム及び前記第２音声データストリームが同時刻に再生されるものとして、前記第１映像データストリーム、前記第２映像データストリーム、前記第１音声データストリーム及び前記第２音声データストリームに、映像又は音声を途切れなく再生させるための処理を行ってもよい。
【００２０】
この構成によれば、本発明に係る動画像復号化装置は、複数の映像データストリーム及び複数の音声データストリームのそれぞれに含まれるデータに対して、同時刻に再生されるデータを判別し、シームレス再生の処理を行うことができる。
【００２１】
また、本発明に係る動画像復号化方法は、複数の区間に分割されている１以上の動画像データストリームに多重化された同時に再生される第１映像データストリーム、第２映像データストリーム、第１音声データストリーム及び第２音声データストリームを並列に復号する動画像復号化方法であって、前記１以上の動画像データストリームの前記区間の境界に、ダミーパケットを挿入するダミーパケット挿入ステップと、前記ダミーパケットが挿入された動画像データストリームを前記第１映像データストリーム、前記第２映像データストリーム、前記第１音声データストリーム及び前記第２音声データストリームに分離する分離ステップと、前記ダミーパケットが挿入された位置が、前記分離ステップで分離された前記第１映像データストリーム、前記第２映像データストリーム、前記第１音声データストリーム及び前記第２音声データストリームの境界であると検出する検出ステップと、前記分離ステップで分離された前記第１映像データストリーム、前記第２映像データストリーム、前記第１音声データストリーム及び前記第２音声データストリームを並列に復号し、かつ前記検出ステップで検出された境界に対して映像及び音声を途切れなく再生させるための処理を行う復号ステップとを含む。
【００２２】
これによれば、本発明に係る動画像復号化方法は、複数の動画像ストリームを同時に復号できる。さらに、本発明に係る動画像復号化方法は、動画像ストリームの区間の境界にダミーパケットを挿入し、当該ダミーパケットに基づきストリームの境界を判別することで、複数の動画像ストリームに対してシームレス再生を行える。
【００２３】
なお、本発明は、このような動画像復号化装置及び動画像復号化方法として実現できるだけでなく、動画像復号化方法に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現できる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
【発明の効果】
【００２４】
以上より、本発明は、複数の動画像ストリームを同時に復号し、かつ複数の動画像ストリームに対してシームレス再生を行える動画像復号化装置を提供できる。
【発明を実施するための最良の形態】
【００２５】
以下、本発明に係る動画像復号化装置の実施の形態について、図面を参照しながら詳細に説明する。
【００２６】
本発明の実施の形態に係る動画像復号化装置は、複数の動画像ストリームを同時に復号する複数の復号部を備え、連続しない動画像ストリームの境界に複数の復号部を指定する情報を含むダミーパケットを挿入する。
【００２７】
まず、本発明の実施の形態に係る動画像復号化装置の構成を説明する。
図１は、本発明の実施の形態に係る動画像復号化装置の構成を示す図である。
【００２８】
図１に示す動画像復号化装置１００は、例えば、ＢＤ及びＤＶＤ等を再生する再生装置が備える動画像復号化装置である。動画像復号化装置１００は、記録媒体１２０及びＨＤＤ（ハードディスクドライブ）１２１に記録されている動画像データを復号し、復号した動画像データを出力する。
【００２９】
記録媒体１２０は、例えば、ＢＤである。ＨＤＤ１２１は、例えば、再生装置が備えるＨＤＤである。
【００３０】
例えば、記録媒体１２０及びＨＤＤ１２１に記録される動画像ストリームは、ＭＰＥＧ２−ＴＳに対応した動画像ストリームである。ＭＰＥＧ２−ＴＳにおいて、映像データストリームと、音声データストリームとが多重化され、トランスポートストリーム（以下、「ＴＳ」とも記す。）として転送される。
【００３１】
また、ＢＤの新しい規格において、Ｉｎ−Ｍｕｘ及びＯｕｔ−Ｏｆ−Ｍｕｘなどの複数のストリームが同時に再生される場合がある。具体的には、Ｉｎ−Ｍｕｘとは、記録媒体１２０から複数の音声データストリーム及び複数の映像データストリームが多重化された１つのＴＳが転送される場合であり、Ｏｕｔ−Ｏｆ−Ｍｕｘとは、複数の音声データストリーム及び複数の映像データストリームが、記録媒体１２０からのＴＳと、ＨＤＤ１２１からのＴＳに分割されて転送される場合である。
【００３２】
また、Ｉｎ−Ｍｕｘ及びＯｕｔ−Ｏｆ−Ｍｕｘにおいて、多重化される複数の映像データストリーム及び複数の音声データストリームは、それぞれ同時に再生される。例えば、多重化される複数の映像データストリーム及び複数の音声データストリームは、同時に表示される主画像及びサブ画像のそれぞれに対応する映像データストリーム及び音声データストリームである。
【００３３】
図２は、動画像復号化装置１００により復号化された動画像データの表示例を示す図である。図２に示すように、主画像２００の一部にサブ画像２０１が割付けられて表示される。例えば、映画が記録されたＢＤにおいては、主画像２００には映画の映像が表示され、サブ画像として主画像２００のシーンに対応した監督のコメント等の映像が表示される。
【００３４】
また、倍速再生を行う場合、チャプターの境界を再生する場合、及びユーザにより編集された映像データ及び音声データを再生する場合等には、記録媒体１２０及びＨＤＤ１２１から転送される動画像ストリームは、時間的に不連続な複数の区間を含む。
【００３５】
つまり、動画像復号化装置１００は、複数の不連続な区間に分割されている１以上の動画像データストリームに多重化された同時に再生される複数の映像データ及び複数の音声データを並列に復号する。具体的には、動画像復号化装置１００は、２つの映像データ及び２つの音声データが多重化された１以上のＴＳを、２つの映像エレメンタリストリーム及び２つの音声エレメンタリストリームにデコードし、さらに、２つの映像エレメンタリストリーム及び２つの音声エレメンタリストリームをビデオピクチャ及びオーディオフレームに復号する。
【００３６】
ここで、不連続な区間とは、前後の区間をそのまま再生した場合には、区間の境界において、映像又は音声に途切れ、又は映像又は音声に重複が発生する可能性のある区間であり、具体的には、区間の境界において、ＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐｓ）が連続していない場合がある区間である。ＰＴＳは、映像及び音声の同期再生のための時間情報であり、映像及び音声を再生する時刻を示すタイムスタンプである。
【００３７】
動画像復号化装置１００は、ファイルシステム制御部１０１と、再生制御部１０２と、ストリーム制御部１０３と、データ転送部１０４Ａと、データ転送部１０４Ｂと、ＤＥＭＵＸ部１０６と、デコード制御部１０８と、デコード部１０９と、ＡＶ入出力制御部１１４と、ＡＶ入出力部１１５とを備える。
【００３８】
ファイルシステム制御部１０１は、記録媒体１２０に記録される管理情報１３０を取得する。管理情報１３０は、再生ストリームの情報を含む。再生ストリームの情報は、ストリームに含まれるパケットの位置（アドレス）、及びシームレス再生の種別の情報等を含む。また、ファイルシステム制御部１０１は、ＨＤＤ１２１に保持される動画像データの管理情報を保持する。
【００３９】
再生制御部１０２は、ファイルシステム制御部１０１により取得された管理情報１３０及びファイルシステム制御部１０１に保持される管理情報に含まれる再生ストリームの情報を取得する。再生制御部１０２は、取得した再生ストリームの情報に基づき、ストリーム制御部１０３にストリーム転送の指示を行う。
【００４０】
また、再生制御部１０２は、デコード制御部１０８にデコードの指示を行う。再生制御部１０２は、ＡＶ入出力制御部１１４にＡＶ入出力の指示を行う。
【００４１】
ストリーム制御部１０３は、再生制御部１０２の指示に基づき、データ転送部１０４Ａ及び１０４Ｂにストリーム転送の指示及びダミーパケットの挿入指示を行う。
【００４２】
データ転送部１０４Ａは、記録媒体１２０に記録される動画像データをＴＳとして読み出す。データ転送部１０４Ｂは、ＨＤＤ１２１に記録される動画像データをＴＳとして読み出す。
【００４３】
データ転送部１０４Ａは、ダミーパケット挿入部１０５Ａを備える。ダミーパケット挿入部１０５Ａは、データ転送部１０４Ａにより読み出されたＴＳのストリーム境界にダミーパケットを挿入する。ここで、ストリーム境界とは、ＴＳに含まれる不連続な複数の区間の境界である。
【００４４】
データ転送部１０４Ｂは、ダミーパケット挿入部１０５Ｂを備える。ダミーパケット挿入部１０５Ｂは、データ転送部１０４Ｂにより読み出されたＴＳのストリーム境界にダミーパケットを挿入し出力する。
【００４５】
データ転送部１０４Ａ及び１０４Ｂはそれぞれ、ダミーパケット挿入部１０５Ａ及び１０５Ｂによりダミーパケットが挿入されたＴＳをＤＥＭＵＸ部１０６に出力する。
【００４６】
図３は、データ転送部１０４Ａ及び１０４Ｂにより挿入されるダミーパケットの構成を示す図である。
【００４７】
図３に示すようにダミーパケットは、ＴＳヘッダ２１０と、ＴＳペイロード２１１とを含む。ＴＳヘッダ２１０は、ＰＩＤ２１２と、ＳｕｂＳｅｑｕｅｎｃｅＮｏ２１３とを含む。ＴＳペイロード２１１は、Ｄｕｍｍｙ＿ＩＤ２１４と、Ｂｕｆｆｅｒ＿ｉｎｄｉｃａｔｅ２１５とを含む。
【００４８】
ＰＩＤ２１２は、当該パケットがダミーパケットであることを示す情報である。
ＳｕｂＳｅｑｕｅｎｃｅＮｏ２１３は、当該ダミーパケットの直後に位置する区間のＴＳを一意に識別するための情報である。
【００４９】
Ｄｕｍｍｙ＿ＩＤ２１４は、シームレス再生の種別を示す情報である。
Ｂｕｆｆｅｒ＿ｉｎｄｉｃａｔｅ２１５は、デコード部１０９が備える複数のデコード部（第１映像デコード部１１０、第１音声デコード部１１１、第２映像デコード部１１２及び第２音声デコード部１１３）のそれぞれを指定するか否かの情報であり、当該ＴＳに含まれる映像データパケット及び音声データパケットの転送先のデコード部を示す情報である。具体的には、Ｂｕｆｆｅｒ＿ｉｎｄｉｃａｔｅ２１５は、４ビットから構成される。各ビットは、それぞれ第１映像デコード部１１０、第１音声デコード部１１１、第２映像デコード部１１２及び第２音声デコード部１１３に対応する。
【００５０】
ＤＥＭＵＸ部１０６は、データ転送部１０４Ａ及び１０４Ｂにより出力されるＴＳに多重化された映像データストリーム及び音声データストリームを分離する多重化分離部である。ＤＥＭＵＸ部１０６は、分離した映像データストリーム及び音声データストリームをそれぞれ映像エレメンタリストリーム（以下、「映像ストリーム」とも記す。）及び音声エレメンタリストリーム（以下、「音声ストリーム」とも記す。）として出力する。ＤＥＭＵＸ部１０６は、シームレス検出部１０７を備える。
【００５１】
シームレス検出部１０７は、データ転送部１０４Ａ及び１０４Ｂにより出力されたＴＳに含まれるダミーパケットを検出する。具体的には、シームレス検出部１０７は、ＴＳにおいてダミーパケットが挿入された位置が、ＤＥＭＵＸ部１０６により分離された映像ストリーム及び音声ストリームのうち、Ｂｕｆｆｅｒ＿ｉｎｄｉｃａｔｅ２１５で指定される第１映像デコード部１１０、第１音声デコード部１１１、第２映像デコード部１１２及び第２音声デコード部１１３において復号化される映像ストリーム及び音声ストリームのストリーム境界であると検出する。
【００５２】
また、シームレス検出部１０７は、Ｄｕｍｍｙ＿ＩＤ２１４に示されるシームレス再生処理の種別を検出する。また、シームレス検出部１０７は、ＳｕｂＳｅｑｕｅｎｃｅＮｏ２１３を検出する。
【００５３】
シームレス検出部１０７は、ＳｕｂＳｅｑｕｅｎｃｅＮｏ２１３と、Ｄｕｍｍｙ＿ＩＤ２１４と、Ｂｕｆｆｅｒ＿ｉｎｄｉｃａｔｅ２１５とが示す情報をデコード制御部１０８に出力する。
【００５４】
また、デコード制御部１０８は、再生制御部１０２の指示に基づき、ＤＥＭＵＸ部１０６に多重化分離の指示を行う。また、デコード制御部１０８は、シームレス検出部１０７に出力されるＳｕｂＳｅｑｕｅｎｃｅＮｏ２１３と、Ｄｕｍｍｙ＿ＩＤ２１４と、Ｂｕｆｆｅｒ＿ｉｎｄｉｃａｔｅ２１５とが示す情報に基づき、デコード部１０９にデコードの指示を行う。
【００５５】
具体的には、デコード制御部１０８は、ＤＥＭＵＸ部１０６により分離された映像ストリーム及び音声ストリームのそれぞれに、シームレス検出部１０７により検出されたＳｕｂＳｅｑｕｅｎｃｅＮｏ２１３を関連付ける。
【００５６】
デコード部１０９は、ＤＥＭＵＸ部１０６により分離された複数の映像ストリーム及び複数の音声ストリームを並列に復号する。ここでは、デコード部１０９は、２つの映像データ及び２つの音声データを並列に復号する。例えば、デコード部１０９は、映像データを復号する復号回路と、音声データを復号化する復号回路とをそれぞれ１個備え、各復号回路により２つの映像データ及び２つの音声データをそれぞれ時分割で並列に処理する。
【００５７】
デコード部１０９は、第１映像デコード部１１０と、第１音声デコード部１１１と、第２映像デコード部１１２と、第２音声デコード部１１３とを備える。
【００５８】
第１映像デコード部１１０、第１音声デコード部１１１、第２映像デコード部１１２及び第２音声デコード部１１３には、ＤＥＭＵＸ部１０６により分離された複数の映像ストリーム及び複数の音声ストリームがそれぞれ入力される。第１映像デコード部１１０、第１音声デコード部１１１、第２映像デコード部１１２及び第２音声デコード部１１３は、入力された映像ストリーム又は音声ストリームを再生表示可能な映像データ及び音声データ（ビデオピクチャ及びオーディオフレーム）に復号する。
【００５９】
第１映像デコード部１１０及び第２映像デコード部１１２は、ＤＥＭＵＸ部１０６により分離された映像ストリームを復号する。第１音声デコード部１１１及び第２音声デコード部１１３は、ＤＥＭＵＸ部１０６により分離された音声ストリームを復号する。
【００６０】
また、第１映像デコード部１１０、第１音声デコード部１１１、第２映像デコード部１１２及び第２音声デコード部１１３は、復号した映像データ及び音声データに、シームレス検出部により検出されたストリーム境界に対してシームレス再生処理を行う。つまり、Ｂｕｆｆｅｒ＿ｉｎｄｉｃａｔｅ２１５で指定された第１映像デコード部１１０、第１音声デコード部１１１、第２映像デコード部１１２及び第２音声デコード部１１３は、ダミーパケットが挿入された位置をストリーム境界として、映像データ又は音声データにシームレス再生処理を行う。ここで、シームレス再生処理とは、映像及び音声を途切れることなく再生させるための処理である。
【００６１】
また、第１映像デコード部１１０、第１音声デコード部１１１、第２映像デコード部１１２及び第２音声デコード部１１３は、デコード制御部１０８により同一のＳｕｂＳｅｑｕｅｎｃｅＮｏ２１３が関連付けられた映像データ及び音声データが同時刻に再生されるものとして、映像データ及び音声データに、シームレス再生処理を行う。
【００６２】
また、第１映像デコード部１１０、第１音声デコード部１１１、第２映像デコード部１１２及び第２音声デコード部１１３は、Ｄｕｍｍｙ＿ＩＤ２１４で指定された種別のシームレス再生処理を行う。
【００６３】
ＡＶ入出力制御部１１４は、再生制御部１０２による指示に基づき、ＡＶ入出力部１１５にＡＶ入出力の指示を行う。
【００６４】
ＡＶ入出力部１１５は、デコード部１０９により復号され、シームレス再生処理された再生表示可能な映像データ及び音声データを出力する。例えば、ＡＶ入出力部１１５により出力された映像データはモニタに出画され、音声データはスピーカから出音される。
【００６５】
次に、本発明の実施の形態に係る動画像復号化装置１００の動作を説明する。
以下に、動画像復号化装置１００の４つの動作例を説明する。
【００６６】
まず、第１の動作例として、Ｉｎ−Ｍｕｘ時の動画像復号化装置１００の動作例を説明する。具体的には、主画像２００及びサブ画像２０１の映像データストリーム及び音声データストリームが多重化された動画像ストリーム１３１が記録媒体（ＢＤ）１２０から転送される。
【００６７】
図４は、第１の動作例におけるストリームの流れを示す図である。
図４に示すように、まず、記録媒体１２０及びＨＤＤ１２１からトランスポートストリームである動画像ストリーム１３１が転送される。
【００６８】
図５は、動画像ストリーム１３１の構成例を示す図である。
図５に示すように、動画像ストリーム１３１はＴＳ１及びＴＳ２を含む。ここで、ＴＳ１及びＴＳ２は、動画像ストリーム１３１に含まれる区間であり、互いに時間的に不連続なストリーム（区間）である。
【００６９】
つまり、ＴＳ１の終わりにおいて、映像データと音声データとが終了する時刻が必ずしも一致しない。同様に、ＴＳ２の初めにおいて、映像データと音声データとが開始する時刻が必ずしも一致しない。これにより、ＴＳ１と、ＴＳ２とをそのまま再生した場合、映像及び音声の一方が途切れる、又は映像及び音声が重複するという問題が生じる。
【００７０】
ＴＳ１には、映像データパケットであるＶｉｄｅｏ１０及びＶｉｄｅｏ２０と、音声データパケットであるＡｕｄｉｏ１０及びＡｕｄｉｏ２０とが含まれる。ＴＳ２には、映像データパケットであるＶｉｄｅｏ１１及びＶｉｄｅｏ２１と、音声データパケットであるＡｕｄｉｏ１１及びＡｕｄｉｏ２１とが含まれる。ＴＳにおいて、各パケット（ＴＳパケット）は１８８バイトの固定長のデータである。
【００７１】
ここで、Ｖｉｄｅｏ１０、Ａｕｄｉｏ１０、Ｖｉｄｅｏ２０及びＡｕｄｉｏ２０は、同時刻に出画及び出音される映像データ及び音声データである。Ｖｉｄｅｏ１１、Ａｕｄｉｏ１１、Ｖｉｄｅｏ２１及びＡｕｄｉｏ２１は、同時刻に出画及び出音される映像データ及び音声データである。
【００７２】
また、Ｖｉｄｅｏ１０及び１１は主画像２００の映像データであり、Ｖｉｄｅｏ２０及び２１はサブ画像２０１の映像データである。Ａｕｄｉｏ１０及び１１は主画像２００の音声データであり、Ａｕｄｉｏ２０及び２１はサブ画像２０１の音声データである。
【００７３】
なお、ここでは、各区間ＴＳ１及びＴＳ２に、主画像２００及びサブ画像２０１にそれぞれ対応する映像データパケット及び音声データパケットが１個ずつ含まれる例を述べるが、各区間ＴＳ１及びＴＳ２にそれぞれ２以上の主画像２００及びサブ画像２０１にそれぞれ対応する映像データパケット及び音声データパケットが含まれてもよい。
【００７４】
ダミーパケット挿入部１０５Ａは、動画像ストリーム１３１のＴＳ１の直前、及びＴＳ１とＴＳ２との間にダミーパケットを挿入する。
【００７５】
図６は、ダミーパケット挿入部１０５Ａによりダミーパケットが挿入された後の動画像ストリーム１３２の構成例を示す図である。
【００７６】
図６に示すように、ダミーパケット挿入部１０５Ａは、ＴＳ１の直前にダミーパケット２２０を挿入し、ＴＳ１とＴＳ２との間にダミーパケット２２１を挿入する。
【００７７】
ダミーパケット２２０は、ＳｕｂＳｅｑｕｅｎｃｅＮｏ２１３が「０」であり、Ｄｕｍｍｙ＿ＩＤ２１４が「０ｘｆ」である。Ｄｕｍｍｙ＿ＩＤ２１４「０ｘｆ」は、直後の区間ＴＳ１がストリームの先頭であることを示す。
【００７８】
ダミーパケット２２１は、ＳｕｂＳｅｑｕｅｎｃｅＮｏ２１３が「１」であり、Ｄｕｍｍｙ＿ＩＤ２１４が「０ｘ５」又は「０ｘ６」である。Ｄｕｍｍｙ＿ＩＤ２１４「０ｘ５」は、ダミーパケット２２１の前後の区間ＴＳ１及びＴＳ２に含まれる映像データ及び音声データが、ストリーム境界において重複するデータを有しており、ＰＴＳが連続していないことを示す。例えばこれは、ＴＳ１に含まれる音声データが映像データより長く、ストリーム境界において映像データを連続して再生した場合、音声データがＴＳ１の最後とＴＳ２の最初とで重複する場合などである。
【００７９】
Ｄｕｍｍｙ＿ＩＤ２１４「０ｘ６」は、ダミーパケット２２１及び２２３の前後の区間のＴＳに含まれる映像データ及び音声データがもともと一つの連続したストリームであり、ストリームの境界においてＰＴＳが連続していることを示す。
【００８０】
また、ダミーパケット２２０及び２２１では、Ｂｕｆｆｅｒ＿ｉｎｄｉｃａｔｅ２１５に第１映像デコード部１１０、第１音声デコード部１１１、第２映像デコード部１１２及び第２音声デコード部１１３が指定されている。
【００８１】
ＤＥＭＵＸ部１０６は、動画像ストリーム１３２を分離し、エレメンタリストリームである映像ストリーム１３３及び１３５と、音声ストリーム１３４及び１３６とをデコード部１０９に出力する。
【００８２】
シームレス検出部１０７は、動画像ストリーム１３２に含まれるダミーパケット２２０及び２２１を検出する。
【００８３】
Ｂｕｆｆｅｒ＿ｉｎｄｉｃａｔｅ２１５に全てのデコード部（第１映像デコード部１１０、第１音声デコード部１１１、第２映像デコード部１１２及び第２音声デコード部１１３）が指定されているので、シームレス検出部１０７は、ダミーパケット２２１が挿入された位置が、映像ストリーム１３３及び１３５と、音声ストリーム１３４及び１３６のストリーム境界であると検出する。
【００８４】
また、シームレス検出部１０７は、Ｄｕｍｍｙ＿ＩＤ２１４に示されるシームレス再生処理の種別を検出する。また、シームレス検出部１０７は、ＳｕｂＳｅｑｕｅｎｃｅＮｏ２１３を検出する。
【００８５】
シームレス検出部１０７は、ダミーパケット２２０及び２２１に含まれるＳｕｂＳｅｑｕｅｎｃｅＮｏ２１３と、Ｄｕｍｍｙ＿ＩＤ２１４と、Ｂｕｆｆｅｒ＿ｉｎｄｉｃａｔｅ２１５とが示す情報をデコード制御部１０８に出力する。
【００８６】
デコード制御部１０８は、映像ストリーム１３３及び１３５と、音声ストリーム１３４及び１３６のそれぞれに検出したＳｕｂＳｅｑｕｅｎｃｅＮｏ２１３を関連付ける。具体的には、デコード制御部１０８は、ダミーパケット２２０に含まれるＳｕｂＳｅｑｕｅｎｃｅＮｏ２１３＝「０」をＴＳ１に含まれるＶｉｄｅｏ１０、Ａｕｄｉｏ１０、Ｖｉｄｅｏ２０、及びＡｕｄｉｏ２０と関連付ける。デコード制御部１０８は、ダミーパケット２２１に含まれるＳｕｂＳｅｑｕｅｎｃｅＮｏ２１３＝「１」をＴＳ２に含まれるＶｉｄｅｏ１１、Ａｕｄｉｏ１１、Ｖｉｄｅｏ２１、及びＡｕｄｉｏ２１と関連付ける。
【００８７】
図７は、映像ストリーム１３３及び１３５と、音声ストリーム１３４及び１３６の構成例を示す図である。
【００８８】
図７に示すように映像ストリーム１３３はＶｉｄｅｏ１０及びＶｉｄｅｏ１１を含み、音声ストリーム１３４はＡｕｄｉｏ１０及びＡｕｄｉｏ１１を含み、映像ストリーム１３５はＶｉｄｅｏ２０及びＶｉｄｅｏ２１を含み、音声ストリーム１３６はＡｕｄｉｏ２０及びＡｕｄｉｏ２１を含む。
【００８９】
ＤＥＭＵＸ部１０６により出力された映像ストリーム１３３及び１３５と、音声ストリーム１３４及び１３６とはそれぞれ、第１映像デコード部１１０、第２映像デコード部１１２、第１音声デコード部１１１及び第２音声デコード部１１３がそれぞれ備えるバッファ（図示せず）に一時的に格納される。
【００９０】
デコード部１０９は、デコード制御部１０８の指示に従い、映像ストリーム１３３及び１３５と、音声ストリーム１３４及び１３６を並列に復号化処理する。
【００９１】
具体的には、第１映像デコード部１１０、第１音声デコード部１１１、第２映像デコード部１１２及び第２音声デコード部１１３は、それぞれ自身が備えるバッファに保持される映像ストリーム１３３、音声ストリーム１３４、映像ストリーム１３５及び音声ストリーム１３６を復号する。
【００９２】
また、デコード制御部１０８は、ダミーパケット２２１のＢｕｆｆｅｒ＿ｉｎｄｉｃａｔｅ２１５に第１映像デコード部１１０、第１音声デコード部１１１、第２映像デコード部１１２及び第２音声デコード部１１３が指定されているので、第１映像デコード部１１０、第１音声デコード部１１１、第２映像デコード部１１２及び第２音声デコード部１１３に、ダミーパケット２２１が挿入されていた位置をストリーム境界とするシームレス再生処理を行わせる。つまり、デコード制御部１０８は、第１映像デコード部１１０、第１音声デコード部１１１、第２映像デコード部１１２及び第２音声デコード部１１３に、Ｖｉｄｅｏ１０とＶｉｄｅｏ１１との間、Ａｕｄｉｏ１０とＡｕｄｉｏ１１との間、Ｖｉｄｅｏ２０とＶｉｄｅｏ２１との間、及び、Ａｕｉｄｏ２０とＡｕｄｉｏ２１との間をストリーム境界とするシームレス再生処理を行わせる。
【００９３】
第１映像デコード部１１０、第１音声デコード部１１１、第２映像デコード部１１２及び第２音声デコード部１１３は、ストリーム境界に対して、ダミーパケット２２１に含まれるＤｕｍｍｙ＿ＩＤ２１４で指定された種別のシームレス再生処理を行う。
【００９４】
具体的には、Ｄｕｍｍｙ＿ＩＤ２１４に「０ｘ５」が指定されている場合、第１映像デコード部１１０、第１音声デコード部１１１、第２映像デコード部１１２及び第２音声デコード部１１３は、ストリームの境界における映像データ及び音声データの重複部分をスキップする等の処理を行うことで、映像データ及び音声データを同期させる。また、Ｄｕｍｍｙ＿ＩＤ２１４に「０ｘ６」が指定されている場合、第１映像デコード部１１０、第１音声デコード部１１１、第２映像デコード部１１２及び第２音声デコード部１１３は、上記処理を行わない。
【００９５】
また、第１映像デコード部１１０、第１音声デコード部１１１、第２映像デコード部１１２及び第２音声デコード部１１３は、デコード制御部１０８により同一のＳｕｂＳｅｑｕｅｎｃｅＮｏ２１３が関連付けられた映像データ及び音声データが同時刻に再生されるものとして、映像データ及び音声データに、シームレス再生処理を行う。ここでは、第１映像デコード部１１０、第１音声デコード部１１１、第２映像デコード部１１２及び第２音声デコード部１１３はそれぞれ、Ｖｉｄｅｏ１０、Ａｕｄｉｏ１０、Ｖｉｄｅｏ２０及びＡｕｄｉｏ２０が同時刻に再生され、Ｖｉｄｅｏ１１、Ａｕｄｉｏ１１、Ｖｉｄｅｏ２１及びＡｕｄｉｏ２１が同時刻に再生されるものとしてシームレス再生処理を行う。
【００９６】
ＡＶ入出力部１１５は、第１映像デコード部１１０、第１音声デコード部１１１、第２映像デコード部１１２及び第２音声デコード部１１３により、復号化及びシームレス再生処理が行われた映像データ及び音声データを出力する。
【００９７】
以上より、本発明の実施の形態に係る動画像復号化装置１００は、１つの動画像ストリーム１３１に含まれる主画像２００及びサブ画像２０１にそれぞれ対応する２つの動画像ストリーム（２つの映像ストリーム及び２つの音声ストリーム）を同時に復号し、かつ２つの動画像ストリームに対してシームレス再生を行える。
【００９８】
次に、第２の動作例として、第１の動作例と同様にＩｎ−Ｍｕｘ時の動作例であり、第１映像デコード部１１０、第１音声デコード部１１１、第２映像デコード部１１２及び第２音声デコード部１１３が復号するそれぞれストリームのうち一部のストリームにのみストリーム境界が存在する場合について説明する。なお、第１の動作例と重複する説明は省略する。
【００９９】
図８は、第２の動作例における動画像ストリーム１３２の構成例を示す図である。
図８に示すように、ダミーパケット挿入部１０５Ａは、ＴＳ１の直前にダミーパケット２２２を挿入し、ＴＳ１とＴＳ２との間にダミーパケット２２３を挿入する。
【０１００】
ダミーパケット２２２及び２２３では、Ｂｕｆｆｅｒ＿ｉｎｄｉｃａｔｅ２１５に第１映像デコード部１１０及び第１音声デコード部１１１が指定され、第２映像デコード部１１２及び第２音声デコード部１１３は指定されていない。
【０１０１】
図９は、第２の動作例における映像ストリーム１３３及び１３５と、音声ストリーム１３４及び１３６の構成例を示す図である。
【０１０２】
デコード制御部１０８は、ダミーパケット２２１のＢｕｆｆｅｒ＿ｉｎｄｉｃａｔｅ２１５に第１映像デコード部１１０及び第１音声デコード部１１１が指定されているので、第１映像デコード部１１０及び第１音声デコード部１１１に、ダミーパケット２２１が挿入されていた位置をストリームの境界とするシームレス再生処理を行わせる。
【０１０３】
また、デコード制御部１０８は、ダミーパケット２２１のＢｕｆｆｅｒ＿ｉｎｄｉｃａｔｅ２１５に第２映像デコード部１１２及び第２音声デコード部１１３が指定されていないので、第２映像デコード部１１２にＶｉｄｅｏ２０とＶｉｄｅｏ２１とを連続した一つのストリームとして処理させる。また、デコード制御部１０８は、第２音声デコード部１１３にＡｕｄｉｏ２０とＡｕｄｉｏ２１とを連続した一つのストリームとして処理させる。すなわち、第２映像デコード部１１２及び第２音声デコード部１１３は、ダミーパケット２２１が挿入されていた位置をストリームの境界とするシームレス再生処理を行わない。
【０１０４】
以上により、本発明の実施の形態に係る動画像復号化装置１００は、主画像２００及びサブ画像２０１にそれぞれ対応する２つの動画像ストリームを含む１つの動画像ストリーム１３１に対して、Ｂｕｆｆｅｒ＿ｉｎｄｉｃａｔｅ２１５に第１映像デコード部１１０、第１音声デコード部１１１、第２映像デコード部１１２及び第２音声デコード部１１３のうち任意のデコード部を指定することで、複数の映像ストリーム１３３及び１３５と、複数の音声ストリーム１３４及び１３６とのうち任意のストリームに対して選択的にシームレス再生処理を行うことができる。
【０１０５】
なお、ここでは、映像ストリーム１３３及び音声ストリーム１３４にストリームの境界が存在する場合を例に説明したが、動画像復号化装置１００は、映像ストリーム１３３及び１３５と、音声ストリーム１３４及び１３６とのうち任意のストリームに対して、選択的にシームレス再生処理を行うことができる。
【０１０６】
次に、第３の動作例として、Ｏｕｔ−Ｏｆ−Ｍｕｘ時の動画像復号化装置１００の動作例を説明する。具体的には、主画像２００の映像データ及び音声データが多重化された動画像ストリーム１４１が記録媒体（ＢＤ）１２０から転送され、サブ画像２０１の映像データ及び音声データが多重化された動画像ストリーム１４２がＨＤＤ１２１から転送される。これは、例えば、記録媒体１２０には主画像２００のみが記録されており、再生装置がインターネット等を介して、対応するサブ画像２０１をダウンロードし、ＨＤＤ１２１に記録している場合である。
【０１０７】
なお、第１の動作例及び第２の動作例と重複する説明は省略する。
図１０は、第３の動作例におけるストリームの流れを示す図である。
【０１０８】
図１０に示すように、記録媒体１２０及びＨＤＤ１２１からそれぞれ動画像ストリーム１４１及び１４２が転送される。
【０１０９】
図１１は、動画像ストリーム１４１及び１４２の構成例を示す図である。
図１１に示すように、動画像ストリーム１４１はＴＳ１及びＴＳ２を含み、ストリーム１４２はＴＳ３及びＴＳ４を含む。ＴＳ１〜ＴＳ４はそれぞれ、映像データパケットであるＶｉｄｅｏ１０、Ｖｉｄｅｏ１１、Ｖｉｄｅｏ２０及びＶｉｄｅｏ２１と、音声データパケットであるＡｕｄｉｏ１０、Ａｕｄｉｏ１１、Ａｕｄｉｏ２０及びＡｕｄｉｏ２１とを含む。
【０１１０】
また、ＴＳ１及びＴＳ２は、動画像ストリーム１４１に含まれる区間であり、互いに時間的に連続しないストリームである。ＴＳ３及びＴＳ４は、動画像ストリーム１４２に含まれる区間であり、互いに時間的に連続しないストリームである。
【０１１１】
ここで、Ｖｉｄｅｏ１０、Ａｕｄｉｏ１０、Ｖｉｄｅｏ２０及びＡｕｄｉｏ２０は、同時刻に出画及び出音される映像データ及び音声データである。Ｖｉｄｅｏ１１、Ａｕｄｉｏ１１、Ｖｉｄｅｏ２１及びＡｕｄｉｏ２１は、同時刻に出画及び出音される映像データ及び音声データである。
【０１１２】
また、Ｖｉｄｅｏ１０及び１１は主画像２００の映像データであり、Ｖｉｄｅｏ２０及び２１はサブ画像２０１の映像データである。Ａｕｄｉｏ１０及び１１は主画像２００の音声データであり、Ａｕｄｉｏ２０及び２１はサブ画像２０１の音声データである。
【０１１３】
ダミーパケット挿入部１０５Ａ及び１０５Ｂは、それぞれ動画像ストリーム１４１及び１４２にダミーパケットを挿入し動画像ストリーム１４３及び１４４を出力する。
【０１１４】
図１２は、動画像ストリーム１４３及び１４４の構成例を示す図である。
図１２に示すように、ダミーパケット挿入部１０５Ａは、ＴＳ１の直前にダミーパケット２２４を挿入し、ＴＳ１とＴＳ２との間にダミーパケット２２５を挿入する。ダミーパケット挿入部１０５Ｂは、ＴＳ３の直前にダミーパケット２２６を挿入し、ＴＳ３とＴＳ４との間にダミーパケット２２７を挿入する。
【０１１５】
ダミーパケット２２４及び２２６は、ＳｕｂＳｅｑｕｅｎｃｅＮｏ２１３が「０」であり、Ｄｕｍｍｙ＿ＩＤ２１４が「０ｘｆ」である。ダミーパケット２２５及び２２７は、ＳｕｂＳｅｑｕｅｎｃｅＮｏ２１３が「１」であり、Ｄｕｍｍｙ＿ＩＤ２１４が「０ｘ５」又は「０ｘ６」である。
【０１１６】
また、ダミーパケット２２４及び２２５では、Ｂｕｆｆｅｒ＿ｉｎｄｉｃａｔｅ２１５に第１映像デコード部１１０及び第１音声デコード部１１１が指定されている。ダミーパケット２２６及び２２７では、Ｂｕｆｆｅｒ＿ｉｎｄｉｃａｔｅ２１５に第２映像デコード部１１２及び第２音声デコード部１１３が指定されている。
【０１１７】
シームレス検出部１０７は、動画像ストリーム１４３及び１４４に含まれるダミーパケット２２４〜２２７を検出する。シームレス検出部１０７は、ダミーパケット２２４〜２２７に含まれるＳｕｂＳｅｑｕｅｎｃｅＮｏ２１３と、Ｄｕｍｍｙ＿ＩＤ２１４と、Ｂｕｆｆｅｒ＿ｉｎｄｉｃａｔｅ２１５とが示す情報をデコード制御部１０８に出力する。
【０１１８】
ＤＥＭＵＸ部１０６は、動画像ストリーム１４３及び１４４をそれぞれ分離し、エレメンタリストリームである映像ストリーム１４５及び１４７と、音声ストリーム１４６及び１４８とをデコード部１０９に出力する。
【０１１９】
図１３は、映像ストリーム１４５及び１４７と、音声ストリーム１４６及び１４８との構成例を示す図である。
【０１２０】
図１３に示すように映像ストリーム１４５はＶｉｄｅｏ１０及びＶｉｄｅｏ１１を含み、音声ストリーム１４６はＡｕｄｉｏ１０及びＡｕｄｉｏ１１を含み、映像ストリーム１４７はＶｉｄｅｏ２０及びＶｉｄｅｏ２１を含み、音声ストリーム１４８はＡｕｄｉｏ２０及びＡｕｄｉｏ２１を含む。
【０１２１】
デコード部１０９は、デコード制御部１０８の指示に従い、映像ストリーム１４５及び１４７と、音声ストリーム１４６及び１４８とを並列に復号化処理する。
【０１２２】
具体的には、デコード制御部１０８は、ダミーパケット２２５のＢｕｆｆｅｒ＿ｉｎｄｉｃａｔｅ２１５に第１映像デコード部１１０が指定されているので、第１映像デコード部１１０に、ダミーパケット２２５が挿入されていた位置をＶｉｄｅｏ１０とＶｉｄｅｏ１１とのストリームの境界とするシームレス再生処理を行わせる。
【０１２３】
デコード制御部１０８は、ダミーパケット２２５のＢｕｆｆｅｒ＿ｉｎｄｉｃａｔｅ２１５に第１音声デコード部１１１が指定されているので、第１音声デコード部１１１に、ダミーパケット２２５が挿入されていた位置をＡｕｄｉｏ１０とＡｕｄｉｏ１１とのストリーム境界とするシームレス再生処理を行わせる。
【０１２４】
また、第１映像デコード部１１０及び第１音声デコード部１１１は、ストリーム境界において、ダミーパケット２２５に含まれるＤｕｍｍｙ＿ＩＤ２１４で指定されたシームレス再生処理を行う。
【０１２５】
同様に、デコード制御部１０８は、ダミーパケット２２７のＢｕｆｆｅｒ＿ｉｎｄｉｃａｔｅ２１５に第２映像デコード部１１２が指定されているので、第２映像デコード部１１２に、ダミーパケット２２７が挿入されていた位置をＶｉｄｅｏ２０とＶｉｄｅｏ２１とのストリーム境界とするシームレス再生処理を行わせる。
【０１２６】
デコード制御部１０８は、ダミーパケット２２７のＢｕｆｆｅｒ＿ｉｎｄｉｃａｔｅ２１５に第２音声デコード部１１３が指定されているので、第２音声デコード部１１３に、ダミーパケット２２７が挿入されていた位置をＡｕｄｉｏ２０とＡｕｄｉｏ２１とのストリーム境界とするシームレス再生処理を行わせる。
【０１２７】
また、第２映像デコード部１１２及び第２音声デコード部１１３は、ストリーム境界において、ダミーパケット２２７に含まれるＤｕｍｍｙ＿ＩＤ２１４で指定されたシームレス再生処理を行う。
【０１２８】
また、第１映像デコード部１１０、第１音声デコード部１１１、第２映像デコード部１１２及び第２音声デコード部１１３は、デコード制御部１０８により同一のＳｕｂＳｅｑｕｅｎｃｅＮｏ２１３が関連付けられた映像データ及び音声データが同時刻に再生されるものとして、映像データ及び音声データに、シームレス再生処理を行う。ここでは、第１映像デコード部１１０、第１音声デコード部１１１、第２映像デコード部１１２及び第２音声デコード部１１３はそれぞれ、Ｖｉｄｅｏ１０、Ａｕｄｉｏ１０、Ｖｉｄｅｏ２０及びＡｕｄｉｏ２０が同時刻に再生され、Ｖｉｄｅｏ１１、Ａｕｄｉｏ１１、Ｖｉｄｅｏ２１及びＡｕｄｉｏ２１が同時刻に再生されるものとしてシームレス再生処理を行う。
【０１２９】
つまり、デコード制御部１０８は、動画像ストリーム１４３から分離された映像ストリーム１４５及び音声ストリーム１４６に対しては、動画像ストリーム１４３に挿入されたダミーパケット２２５に基づき、第１映像デコード部１１０及び第１音声デコード部１１１のシームレス再生処理を制御する。また、デコード制御部１０８は、動画像ストリーム１４４から分離された映像ストリーム１４７及び音声ストリーム１４８に対しては、動画像ストリーム１４４に挿入されたダミーパケット２２７に基づき、第２映像デコード部１１２及び第２音声デコード部１１３のシームレス再生処理を制御する。
【０１３０】
以上により、本発明の実施の形態に係る動画像復号化装置１００は、記録媒体１２０及びＨＤＤ１２１からそれぞれ転送される主画像２００に対応する動画像ストリーム１４１、及びサブ画像２０１に対応する動画像ストリーム１４２を同時に復号し、かつ２つの動画像ストリーム１４１及び１４２に対してシームレス再生を行える。
【０１３１】
なお、第３の動作例では、映像ストリーム１４５及び１４７と、音声ストリーム１４６及び１４８との全てに対して、ストリーム境界が存在する場合を例に説明したが、第２の動作例と同様に、Ｂｕｆｆｅｒ＿ｉｎｄｉｃａｔｅ２１５にデコード部を指定しないことで、シームレス再生処理を行わせないこともできる。
【０１３２】
すなわち、本発明の実施の形態に係る動画像復号化装置１００は、２つの動画像ストリーム１４１及び１４２のそれぞれに対して、Ｂｕｆｆｅｒ＿ｉｎｄｉｃａｔｅ２１５に第１映像デコード部１１０、第１音声デコード部１１１、第２映像デコード部１１２及び第２音声デコード部１１３のうち任意のデコード部を指定することで、複数の映像ストリーム１４５及び１４７と、複数の音声ストリーム１４６及び１４８とのうち任意のストリームに対して選択的にシームレス再生処理を行うことができる。
【０１３３】
また、動画像復号化装置１００は、ダミーパケットに含まれるＳｕｂＳｅｑｕｅｎｃｅＮｏ２１３を参照することで、２つの動画像ストリーム１４１及び１４２に含まれる同時に再生される映像データ及び音声データを判定し、シームレス再生処理を行うことができる。
【０１３４】
次に、第４の動作例として、Ｏｕｔ−Ｏｆ−Ｍｕｘの他の例であり、主画像２００及びサブ画像２０１の映像データストリームが多重化されたストリーム１４１が記録媒体（ＢＤ）１２０から転送され、主画像２００及びサブ画像２０１の音声データストリームが多重化されたストリーム１３２がＨＤＤ１２１から転送される例を説明する。
【０１３５】
これは、記録媒体１２０には再生する映像データのみが記録されており、再生装置がインターネット等を介して、対応する音声データをダウンロードし、ＨＤＤ１２１に記録している場合である。例えば、記録媒体１２０には、主画像２００及びサブ画像２０１に対応する映像データと、日本語及び英語の音声データのみが記録されており、かつ再生装置の使用者により音声の言語としてフランス語が指定された場合、主画像２００及びサブ画像２０１に対応するフランス語の音声データがインターネット等を介してダウンロードされ、ＨＤＤ１２１に記録される。
【０１３６】
なお、第１の動作例、第２の動作例及び第３の動作例と重複する説明は省略する。
図１４は、第４の動作例におけるストリームの流れを示す図である。
【０１３７】
図１４に示すように、記録媒体１２０及びＨＤＤ１２１からそれぞれＴＳであるストリーム１５１及び１５２が転送される。
【０１３８】
図１５は、ストリーム１５１及び１５２の構成例を示す図である。
図１５に示すように、ストリーム１５１はＴＳ１及びＴＳ２を含み、ストリーム１５２はＴＳ３及びＴＳ４を含む。ＴＳ１はＶｉｄｅｏ１０及びＶｉｄｅｏ２０を含み、ＴＳ２はＶｉｄｅｏ１１及びＶｉｄｅｏ２１を含み、ＴＳ３はＡｕｄｉｏ１０及びＡｕｄｉｏ２０を含み、ＴＳ４はＡｕｄｉｏ１１及びＡｕｄｉｏ２１を含む。
【０１３９】
また、ＴＳ１及びＴＳ２は、ストリーム１５１に含まれる区間であり、互いに時間的に連続しないストリームである。ＴＳ３及びＴＳ４は、ストリーム１５２に含まれる区間であり、互いに時間的に連続しないストリームである。
【０１４０】
ここで、Ｖｉｄｅｏ１０、Ａｕｄｉｏ１０、Ｖｉｄｅｏ２０及びＡｕｄｉｏ２０は、同時刻に出画及び出音される映像データ及び音声データである。Ｖｉｄｅｏ１１、Ａｕｄｉｏ１１、Ｖｉｄｅｏ２１及びＡｕｄｉｏ２１は、同時刻に出画及び出音される映像データ及び音声データである。
【０１４１】
また、Ｖｉｄｅｏ１０及び１１は主画像２００の映像データであり、Ｖｉｄｅｏ２０及び２１はサブ画像２０１の映像データである。Ａｕｄｉｏ１０及び１１は主画像２００の音声データであり、Ａｕｄｉｏ２０及び２１はサブ画像２０１の音声データである。
【０１４２】
ダミーパケット挿入部１０５Ａ及び１０５Ｂは、それぞれ動画像ストリーム１５１及び１５２にダミーパケットを挿入し動画像ストリーム１５３及び１５４を出力する。
【０１４３】
図１６は、ストリーム１５３及び１５４の構成例を示す図である。
図１６に示すように、ダミーパケット挿入部１０５Ａは、ＴＳ１の直前にダミーパケット２２８を挿入し、ＴＳ１とＴＳ２との間にダミーパケット２２９を挿入する。ダミーパケット挿入部１０５Ｂは、ＴＳ３の直前にダミーパケット２３０を挿入し、ＴＳ３とＴＳ４との間にダミーパケット２３１を挿入する。
【０１４４】
ダミーパケット２２８及び２３０は、ＳｕｂＳｅｑｕｅｎｃｅＮｏ２１３が「０」であり、Ｄｕｍｍｙ＿ＩＤ２１４が「０ｘｆ」である。ダミーパケット２２９及び２３１は、ＳｕｂＳｅｑｕｅｎｃｅＮｏ２１３が「１」であり、Ｄｕｍｍｙ＿ＩＤ２１４が「０ｘ５」又は「０ｘ６」である。
【０１４５】
また、ダミーパケット２２８及び２２９では、Ｂｕｆｆｅｒ＿ｉｎｄｉｃａｔｅ２１５に第１映像デコード部１１０及び第２映像デコード部１１２が指定されている。ダミーパケット２３０及び２３１では、Ｂｕｆｆｅｒ＿ｉｎｄｉｃａｔｅ２１５に第１音声デコード部１１１及び第２音声デコード部１１３が指定されている。
【０１４６】
ＤＥＭＵＸ部１０６は、ストリーム１５３及びストリーム１５４をそれぞれ分離し、エレメンタリストリームである映像ストリーム１５５及び１５７と、音声ストリーム１５６及び１５８とをデコード部１０９に出力する。
【０１４７】
なお、映像ストリーム１５５及び１５７と、音声ストリーム１５６及び１５８との構成は、図１３に示す映像ストリーム１４５及び１４７と、音声ストリーム１４６及び１４８との構成と同様である。
【０１４８】
デコード部１０９は、デコード制御部１０８の指示に従い、映像ストリーム１５５及び１５７と、音声ストリーム１５６及び１５８とを並列に復号化処理する。
【０１４９】
具体的には、デコード制御部１０８は、ダミーパケット２２９のＢｕｆｆｅｒ＿ｉｎｄｉｃａｔｅ２１５に第１映像デコード部１１０及び第２映像デコード部１１２が指定されているので、第１映像デコード部１１０及び第２映像デコード部１１２に、ダミーパケット２２９が挿入されていた位置をストリーム境界とするシームレス再生処理を行わせる。
【０１５０】
デコード制御部１０８は、ダミーパケット２３１のＢｕｆｆｅｒ＿ｉｎｄｉｃａｔｅ２１５に第１音声デコード部１１１及び第２音声デコード部１１３が指定されているので、第１音声デコード部１１１及び第２音声デコード部１１３に、ダミーパケット２３１が挿入されていた位置をストリーム境界とするシームレス再生処理を行わせる。
【０１５１】
また、第１映像デコード部１１０、第１音声デコード部１１１、第２映像デコード部１１２及び第２音声デコード部１１３は、デコード制御部１０８により同一のＳｕｂＳｅｑｕｅｎｃｅＮｏ２１３が関連付けられた映像データ及び音声データが同時刻に再生されるものとして、映像データ及び音声データに、シームレス再生処理を行う。ここでは、第１映像デコード部１１０、第１音声デコード部１１１、第２映像デコード部１１２及び第２音声デコード部１１３はそれぞれ、Ｖｉｄｅｏ１０、Ａｕｄｉｏ１０、Ｖｉｄｅｏ２０及びＡｕｄｉｏ２０が同時刻に再生され、Ｖｉｄｅｏ１１、Ａｕｄｉｏ１１、Ｖｉｄｅｏ２１及びＡｕｄｉｏ２１が同時刻に再生されるものとしてシームレス再生処理を行う。
【０１５２】
以上により、本発明の実施の形態に係る動画像復号化装置１００は、主画像２００及びサブ画像２０１に対応する映像データが多重化されたストリーム１５１と、主画像２００及びサブ画像２０１に対応する音声データが多重化されたストリーム１５２とが異なる記録媒体１２０及びＨＤＤ１２１から入力される場合において、主画像２００及びサブ画像２０１にそれぞれ対応する映像データ及び音声データを同時に復号し、かつシームレス再生を行える。
【０１５３】
なお、第４の動作例では、映像ストリーム１５５及び１５７と、音声ストリーム１５６及び１５８との全てに対して、ストリーム境界が存在する場合を例に説明したが、第２の動作例と同様に、Ｂｕｆｆｅｒ＿ｉｎｄｉｃａｔｅ２１５にデコード部を指定しないことで、シームレス再生処理を行わせないこともできる。
【０１５４】
すなわち、本発明の実施の形態に係る動画像復号化装置１００は、２つのストリーム１５１及び１５２のそれぞれに対して、Ｂｕｆｆｅｒ＿ｉｎｄｉｃａｔｅ２１５に第１映像デコード部１１０、第１音声デコード部１１１、第２映像デコード部１１２及び第２音声デコード部１１３のうち任意のデコード部を指定することで、複数の映像ストリーム１５５及び１５７と、複数の音声ストリーム１５６及び１５８とのうち任意のストリームに対して選択的にシームレス再生処理を行うことができる。
【０１５５】
また、動画像復号化装置１００は、ダミーパケットに含まれるＳｕｂＳｅｑｕｅｎｃｅＮｏ２１３を参照することで、２つのストリーム１５１及び１５２に含まれる同時に再生される映像データ及び音声データを判定し、シームレス再生処理を行うことができる。
【０１５６】
以上、本発明の実施の形態に係る動画像復号化装置について説明したが、本発明は、この実施の形態に限定されるものではない。
【０１５７】
例えば、上記説明では、Ｏｕｔ−Ｏｆ−Ｍｕｘの動作例として、第３の動作例及び第４の動作例を説明したが、記録媒体１２０及びＨＤＤ１２１から送信される２つの動画像ストリームに多重化される主画像２００及びサブ画像２０１にそれぞれ対応する映像ストリーム及び音声ストリームの組み合わせはいかなる組み合わせでもよい。また、記録媒体１２０及びＨＤＤ１２１から送信される２つの動画像ストリームの一方に、主画像２００及びサブ画像２０１にそれぞれ対応する映像ストリーム及び音声ストリームのうち３つが多重化され、他方に残りの１つが含まれてもよい。
【０１５８】
また、上記説明では、動画像復号化装置１００は、２つの動画像ストリームを同時に復号する機能を有するが３以上の動画像ストリームを同時に復号する機能を有してもよい。
【０１５９】
また、上記説明では、デコード部１０９は、時分割で複数の映像ストリーム及び音声ストリームを復号するとしたが、並列に映像ストリーム及び音声ストリームを復号化できる複数のデコード回路を備え、同時に複数の映像データ及び音声データを復号化してもよい。
【０１６０】
また、上記説明では、記録媒体１２０（ＢＤ）と、ＨＤＤ１２１とからトランスポートストリームが転送される例を説明したが、トランスポートストリームの転送元は、任意の記録媒体又は記憶部であってよい。例えば、トランスポートストリームの転送元は、ＢＤ以外の光ディスク及びメモリカード等の記録媒体であってもよいし、再生装置が備える不揮発性メモリ及びＲＡＭ等であってもよい。また、２つの記録媒体からそれぞれトランスポートストリームが転送されてもよい。さらに、１つの転送元から２つのトランスポートストリームが転送されてもよい。
【０１６１】
また、上記説明では、ダミーパケット挿入部１０５Ａ及び１０５Ｂは、ＴＳの区間の間にそれぞれ１つのダミーパケットを挿入しているが、上述したダミーパケットに含まれる情報を分割し２以上のダミーパケットを挿入してもよい。
【産業上の利用可能性】
【０１６２】
本発明は、動画像復号化装置に適用でき、特に、ＢＤプレーヤ及びＢＤ再生機能を有するＤＶＤプレーヤ等の動画像再生装置に適用できる。
【図面の簡単な説明】
【０１６３】
【図１】本発明の実施の形態に係る動画像復号化装置の構成を示すブロック図である。
【図２】本発明の実施の形態に係る動画像復号化装置により復号化された動画像データの表示例を示す図である。
【図３】本発明の実施の形態に係る動画像復号化装置におけるダミーパケットの構成を示す図である。
【図４】本発明の実施の形態に係る動画像復号化装置の第１の動作例におけるストリームの流れを示す図である。
【図５】本発明の実施の形態に係る動画像復号化装置の第１の動作例におけるストリームの構成を示す図である。
【図６】本発明の実施の形態に係る動画像復号化装置の第１の動作例におけるダミーパケット挿入後のストリームの構成を示す図である。
【図７】本発明の実施の形態に係る動画像復号化装置の第１の動作例におけるＤＥＭＵＸ後のストリームの構成を示す図である。
【図８】本発明の実施の形態に係る動画像復号化装置の第２の動作例におけるダミーパケット挿入後のストリームの構成を示す図である。
【図９】本発明の実施の形態に係る動画像復号化装置の第２の動作例におけるＤＥＭＵＸ後のストリームの構成を示す図である。
【図１０】本発明の実施の形態に係る動画像復号化装置の第３の動作例におけるストリームの流れを示す図である。
【図１１】本発明の実施の形態に係る動画像復号化装置の第３の動作例におけるストリームの構成を示す図である。
【図１２】本発明の実施の形態に係る動画像復号化装置の第３の動作例におけるダミーパケット挿入後のストリームの構成を示す図である。
【図１３】本発明の実施の形態に係る動画像復号化装置の第３の動作例におけるＤＥＭＵＸ後のストリームの構成を示す図である。
【図１４】本発明の実施の形態に係る動画像復号化装置の第４の動作例におけるストリームの流れを示す図である。
【図１５】本発明の実施の形態に係る動画像復号化装置の第４の動作例におけるストリームの構成を示す図である。
【図１６】本発明の実施の形態に係る動画像復号化装置の第４の動作例におけるダミーパケット挿入後のストリームの構成を示す図である。
【符号の説明】
【０１６４】
１００ 動画像復号化装置
１０１ ファイルシステム制御部
１０２ 再生制御部
１０３ ストリーム制御部
１０４Ａ、１０４Ｂ データ転送部
１０５Ａ、１０５Ｂ ダミーパケット挿入部
１０６ ＤＥＭＵＸ部
１０７ シームレス検出部
１０８ デコード制御部
１０９ デコード部
１１０ 第１映像デコード部
１１１ 第１音声デコード部
１１２ 第２映像デコード部
１１３ 第２音声デコード部
１１４ ＡＶ入出力制御部
１１５ ＡＶ入出力部
１２０ 記録媒体
１２１ ＨＤＤ
１３１、１３２、１３３、１３４、１３５、１３６、１４１、１４２、１４３、１４４、１４５、１４６、１４７、１４８、１５１、１５２、１５３、１５４、１５５、１５６、１５７、１５８ ストリーム
２００ 主画像
２０１ サブ画像
２１０ ＴＳヘッダ
２１１ ＴＳペイロード
２１２ ＰＩＤ
２１３ ＳｕｂＳｅｑｕｅｎｃｅＮｏ
２１４ Ｄｕｍｍｙ＿ＩＤ
２１５ Ｂｕｆｆｅｒ＿ｉｎｄｉｃａｔｅ
２２０、２２１、２２２、２２３、２２４、２２５、２２６、２２７、２２８、２２９、２３０、２３１ ダミーパケット
【技術分野】
【０００１】
本発明は、動画像復号化装置に関し、特に、複数の区間に分割されている１以上の動画像データストリームに多重化された同時に再生される複数の映像データストリーム及び複数の音声データストリームを並列に復号する動画像復号化装置に関する。
【背景技術】
【０００２】
近年、高密度に記録可能な情報記録媒体として光ディスクが開発されている。例えば、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）は、映画及び音楽を記録するための光ディスクとして一般に広く普及している。また、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）は、ＤＶＤよりも、大容量、かつ高速な転送速度を実現できるので、今後の光ディスクとして注目される。
【０００３】
ＢＤには、符号化された映像データ及び音声データが多重化された動画像データストリーム（以下、単に「動画像ストリーム」とも記す。）が記録されている。ＤＶＤ及びＢＤに対応した再生装置は、符号化された映像データ及び音声データを復号する動画像復号化装置を備える。
【０００４】
ここで、ＢＤでは、記録されるコンテンツに対して複数種類の再生方法を選択できる場合がある。例えば、映画においては、劇場公開版と、劇場公開版に含まれていないシーンを含むノーカット版を選択して再生することができる。
【０００５】
この場合、例えば、ＢＤには、ノーカット版の映像データ及び音声データが再生の順序に従い記録されている。劇場公開版が選択された場合には、再生装置は、ノーカット版に含まれる一部の映像データ及び音声データをスキップすることで、劇場公開版の映像データ及び音声データを再生する。
【０００６】
このように、映像データ及び音声データの一部をスキップしながら再生する場合、スキップした前後の映像データ及び音声データは、必ずしも連続しない。これにより、映像及び音声に途切れが発生する場合がある。
【０００７】
また、倍速再生を行う場合、チャプターの境界を再生する場合、及びユーザにより編集された映像データ及び音声データを再生する場合にも、映像及び音声に途切れが発生する場合がある。
【０００８】
これに対して、映像データ及び音声データをシームレス再生する技術が知られている（例えば、特許文献１参照）。シームレス再生とは、映像と映像との間を途切れさせることなく、再生させることを言う。
【０００９】
特許文献１記載の従来の動画像復号化装置は、連続しない動画像ストリームの境界にダミーパケットを挿入することで、シームレス再生を実現している。
【特許文献１】国際公開第２００５／００２２２１号パンフレット
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかしながら、従来の動画像復号化装置は、複数の動画像ストリームが同時に入力され、複数の動画像ストリームを同時に復号及び再生する場合のシームレス再生に対する対応方法は記載されていない。つまり、従来の動画像復号化装置は、複数のストリームを同時に再生する場合に、要求に応じたシームレス再生の処理をできるとはかぎらない。
【００１１】
例えば、ＢＤの新しい規格において、Ｉｎ−Ｍｕｘ及びＯｕｔ−Ｏｆ−Ｍｕｘなどの複数のストリームが同時に再生される場合がある。Ｉｎ−Ｍｕｘとは、複数の音声データストリーム及び複数の映像データストリームが多重化された１つの動画像ストリームが転送される場合であり、Ｏｕｔ−Ｏｆ−Ｍｕｘとは、複数の音声データストリーム及び複数の映像データストリームが、複数の動画像ストリームに分割されて転送される場合である。
【００１２】
そこで、本発明は、複数の動画像ストリームを同時に復号し、かつ複数の動画像ストリームに対してシームレス再生を行える動画像復号化装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記目的を達成するために、本発明に係る動画像復号化装置は、複数の区間に分割されている１以上の動画像データストリームに多重化された同時に再生される第１映像データストリーム、第２映像データストリーム、第１音声データストリーム及び第２音声データストリームを並列に復号する動画像復号化装置であって、前記１以上の動画像データストリームの前記区間の境界に、ダミーパケットを挿入するダミーパケット挿入部と、前記ダミーパケット挿入部により前記ダミーパケットが挿入された動画像データストリームを前記第１映像データストリーム、前記第２映像データストリーム、前記第１音声データストリーム及び前記第２音声データストリームに分離する分離部と、前記ダミーパケットが挿入された位置が、前記分離部により分離された前記第１映像データストリーム、前記第２映像データストリーム、前記第１音声データストリーム及び前記第２音声データストリームの境界であると検出する検出部と、前記分離部により分離された前記第１映像データストリームを復号し、かつ前記検出部により検出された境界に対して映像を途切れなく再生させるための処理を行う第１映像復号部と、前記分離部により分離された前記第２映像データストリームを復号し、かつ前記検出部により検出された境界に対して映像を途切れなく再生させるための処理を行う第２映像復号部と、前記分離部により分離された前記第１音声データストリームを復号し、かつ前記検出部により検出された境界に対して音声を途切れなく再生させるための処理を行う第１音声復号部と、前記分離部により分離された前記第２音声データストリームを復号し、かつ前記検出部により検出された境界に対して音声を途切れなく再生させるための処理を行う第２音声復号部とを備える。
【００１４】
この構成によれば、本発明に係る動画像復号化装置は、複数の復号部により、複数の動画像ストリームを同時に復号できる。さらに、本発明に係る動画像復号化装置は、動画像ストリームの区間の境界にダミーパケットを挿入し、当該ダミーパケットに基づきストリームの境界を判別することで、複数の動画像ストリームに対してシームレス再生を行える。
【００１５】
また、前記ダミーパケット挿入部は、前記第１映像復号部、前記第２映像復号部、前記第１音声復号部及び前記第２音声復号部のそれぞれを指定するか否かを示す第１情報を含む前記ダミーパケットを挿入し、前記第１映像復号部、前記第２映像復号部、前記第１音声復号部及び前記第２音声復号部は、前記第１情報により自身が指定される場合に、前記検出部により検出された境界に対して映像又は音声を途切れなく再生させるための処理を行ってもよい。
【００１６】
この構成によれば、本発明に係る動画像復号化装置は、複数の映像データストリーム及び複数の映像データストリームのうち任意のデータストリームに対して、ストリームの境界を指定し、選択的にシームレス再生の処理を行うことができる。
【００１７】
また、前記ダミーパケット挿入部は、映像又は音声を途切れなく再生させるための前記処理の種別を示す第２情報を含む前記ダミーパケットを挿入し、前記検出部は、さらに、前記第２情報に示される映像又は音声を途切れなく再生させるための前記処理の種別を検出し、前記第１映像復号部、第２映像復号部、第１音声復号部及び第２音声復号部は、前記検出部により検出された境界に対して、前記検出部により検出された前記種別に従った映像又は音声を途切れなく再生させるための処理を行ってもよい。
【００１８】
この構成によれば、本発明に係る動画像復号化装置は、複数の映像データストリーム及び複数の音声データストリームに対して、任意の種別のシームレス再生を行うことができる。
【００１９】
また、前記ダミーパケット挿入部は、前記ダミーパケットの直後の前記区間を識別するための第３情報を含むダミーパケットを挿入し、前記検出部は、前記ダミーパケットに含まれる前記第３情報を検出し、前記分離部により分離された前記第１映像データストリーム、前記第２映像データストリーム、前記第１音声データストリーム及び前記第２音声データストリームのそれぞれに検出した前記第３情報を関連付け、前記第１映像復号部、第２映像復号部、第１音声復号部及び第２音声復号部は、同一の第３情報が関連付けられた前記第１映像データストリーム、前記第２映像データストリーム、前記第１音声データストリーム及び前記第２音声データストリームが同時刻に再生されるものとして、前記第１映像データストリーム、前記第２映像データストリーム、前記第１音声データストリーム及び前記第２音声データストリームに、映像又は音声を途切れなく再生させるための処理を行ってもよい。
【００２０】
この構成によれば、本発明に係る動画像復号化装置は、複数の映像データストリーム及び複数の音声データストリームのそれぞれに含まれるデータに対して、同時刻に再生されるデータを判別し、シームレス再生の処理を行うことができる。
【００２１】
また、本発明に係る動画像復号化方法は、複数の区間に分割されている１以上の動画像データストリームに多重化された同時に再生される第１映像データストリーム、第２映像データストリーム、第１音声データストリーム及び第２音声データストリームを並列に復号する動画像復号化方法であって、前記１以上の動画像データストリームの前記区間の境界に、ダミーパケットを挿入するダミーパケット挿入ステップと、前記ダミーパケットが挿入された動画像データストリームを前記第１映像データストリーム、前記第２映像データストリーム、前記第１音声データストリーム及び前記第２音声データストリームに分離する分離ステップと、前記ダミーパケットが挿入された位置が、前記分離ステップで分離された前記第１映像データストリーム、前記第２映像データストリーム、前記第１音声データストリーム及び前記第２音声データストリームの境界であると検出する検出ステップと、前記分離ステップで分離された前記第１映像データストリーム、前記第２映像データストリーム、前記第１音声データストリーム及び前記第２音声データストリームを並列に復号し、かつ前記検出ステップで検出された境界に対して映像及び音声を途切れなく再生させるための処理を行う復号ステップとを含む。
【００２２】
これによれば、本発明に係る動画像復号化方法は、複数の動画像ストリームを同時に復号できる。さらに、本発明に係る動画像復号化方法は、動画像ストリームの区間の境界にダミーパケットを挿入し、当該ダミーパケットに基づきストリームの境界を判別することで、複数の動画像ストリームに対してシームレス再生を行える。
【００２３】
なお、本発明は、このような動画像復号化装置及び動画像復号化方法として実現できるだけでなく、動画像復号化方法に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現できる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
【発明の効果】
【００２４】
以上より、本発明は、複数の動画像ストリームを同時に復号し、かつ複数の動画像ストリームに対してシームレス再生を行える動画像復号化装置を提供できる。
【発明を実施するための最良の形態】
【００２５】
以下、本発明に係る動画像復号化装置の実施の形態について、図面を参照しながら詳細に説明する。
【００２６】
本発明の実施の形態に係る動画像復号化装置は、複数の動画像ストリームを同時に復号する複数の復号部を備え、連続しない動画像ストリームの境界に複数の復号部を指定する情報を含むダミーパケットを挿入する。
【００２７】
まず、本発明の実施の形態に係る動画像復号化装置の構成を説明する。
図１は、本発明の実施の形態に係る動画像復号化装置の構成を示す図である。
【００２８】
図１に示す動画像復号化装置１００は、例えば、ＢＤ及びＤＶＤ等を再生する再生装置が備える動画像復号化装置である。動画像復号化装置１００は、記録媒体１２０及びＨＤＤ（ハードディスクドライブ）１２１に記録されている動画像データを復号し、復号した動画像データを出力する。
【００２９】
記録媒体１２０は、例えば、ＢＤである。ＨＤＤ１２１は、例えば、再生装置が備えるＨＤＤである。
【００３０】
例えば、記録媒体１２０及びＨＤＤ１２１に記録される動画像ストリームは、ＭＰＥＧ２−ＴＳに対応した動画像ストリームである。ＭＰＥＧ２−ＴＳにおいて、映像データストリームと、音声データストリームとが多重化され、トランスポートストリーム（以下、「ＴＳ」とも記す。）として転送される。
【００３１】
また、ＢＤの新しい規格において、Ｉｎ−Ｍｕｘ及びＯｕｔ−Ｏｆ−Ｍｕｘなどの複数のストリームが同時に再生される場合がある。具体的には、Ｉｎ−Ｍｕｘとは、記録媒体１２０から複数の音声データストリーム及び複数の映像データストリームが多重化された１つのＴＳが転送される場合であり、Ｏｕｔ−Ｏｆ−Ｍｕｘとは、複数の音声データストリーム及び複数の映像データストリームが、記録媒体１２０からのＴＳと、ＨＤＤ１２１からのＴＳに分割されて転送される場合である。
【００３２】
また、Ｉｎ−Ｍｕｘ及びＯｕｔ−Ｏｆ−Ｍｕｘにおいて、多重化される複数の映像データストリーム及び複数の音声データストリームは、それぞれ同時に再生される。例えば、多重化される複数の映像データストリーム及び複数の音声データストリームは、同時に表示される主画像及びサブ画像のそれぞれに対応する映像データストリーム及び音声データストリームである。
【００３３】
図２は、動画像復号化装置１００により復号化された動画像データの表示例を示す図である。図２に示すように、主画像２００の一部にサブ画像２０１が割付けられて表示される。例えば、映画が記録されたＢＤにおいては、主画像２００には映画の映像が表示され、サブ画像として主画像２００のシーンに対応した監督のコメント等の映像が表示される。
【００３４】
また、倍速再生を行う場合、チャプターの境界を再生する場合、及びユーザにより編集された映像データ及び音声データを再生する場合等には、記録媒体１２０及びＨＤＤ１２１から転送される動画像ストリームは、時間的に不連続な複数の区間を含む。
【００３５】
つまり、動画像復号化装置１００は、複数の不連続な区間に分割されている１以上の動画像データストリームに多重化された同時に再生される複数の映像データ及び複数の音声データを並列に復号する。具体的には、動画像復号化装置１００は、２つの映像データ及び２つの音声データが多重化された１以上のＴＳを、２つの映像エレメンタリストリーム及び２つの音声エレメンタリストリームにデコードし、さらに、２つの映像エレメンタリストリーム及び２つの音声エレメンタリストリームをビデオピクチャ及びオーディオフレームに復号する。
【００３６】
ここで、不連続な区間とは、前後の区間をそのまま再生した場合には、区間の境界において、映像又は音声に途切れ、又は映像又は音声に重複が発生する可能性のある区間であり、具体的には、区間の境界において、ＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐｓ）が連続していない場合がある区間である。ＰＴＳは、映像及び音声の同期再生のための時間情報であり、映像及び音声を再生する時刻を示すタイムスタンプである。
【００３７】
動画像復号化装置１００は、ファイルシステム制御部１０１と、再生制御部１０２と、ストリーム制御部１０３と、データ転送部１０４Ａと、データ転送部１０４Ｂと、ＤＥＭＵＸ部１０６と、デコード制御部１０８と、デコード部１０９と、ＡＶ入出力制御部１１４と、ＡＶ入出力部１１５とを備える。
【００３８】
ファイルシステム制御部１０１は、記録媒体１２０に記録される管理情報１３０を取得する。管理情報１３０は、再生ストリームの情報を含む。再生ストリームの情報は、ストリームに含まれるパケットの位置（アドレス）、及びシームレス再生の種別の情報等を含む。また、ファイルシステム制御部１０１は、ＨＤＤ１２１に保持される動画像データの管理情報を保持する。
【００３９】
再生制御部１０２は、ファイルシステム制御部１０１により取得された管理情報１３０及びファイルシステム制御部１０１に保持される管理情報に含まれる再生ストリームの情報を取得する。再生制御部１０２は、取得した再生ストリームの情報に基づき、ストリーム制御部１０３にストリーム転送の指示を行う。
【００４０】
また、再生制御部１０２は、デコード制御部１０８にデコードの指示を行う。再生制御部１０２は、ＡＶ入出力制御部１１４にＡＶ入出力の指示を行う。
【００４１】
ストリーム制御部１０３は、再生制御部１０２の指示に基づき、データ転送部１０４Ａ及び１０４Ｂにストリーム転送の指示及びダミーパケットの挿入指示を行う。
【００４２】
データ転送部１０４Ａは、記録媒体１２０に記録される動画像データをＴＳとして読み出す。データ転送部１０４Ｂは、ＨＤＤ１２１に記録される動画像データをＴＳとして読み出す。
【００４３】
データ転送部１０４Ａは、ダミーパケット挿入部１０５Ａを備える。ダミーパケット挿入部１０５Ａは、データ転送部１０４Ａにより読み出されたＴＳのストリーム境界にダミーパケットを挿入する。ここで、ストリーム境界とは、ＴＳに含まれる不連続な複数の区間の境界である。
【００４４】
データ転送部１０４Ｂは、ダミーパケット挿入部１０５Ｂを備える。ダミーパケット挿入部１０５Ｂは、データ転送部１０４Ｂにより読み出されたＴＳのストリーム境界にダミーパケットを挿入し出力する。
【００４５】
データ転送部１０４Ａ及び１０４Ｂはそれぞれ、ダミーパケット挿入部１０５Ａ及び１０５Ｂによりダミーパケットが挿入されたＴＳをＤＥＭＵＸ部１０６に出力する。
【００４６】
図３は、データ転送部１０４Ａ及び１０４Ｂにより挿入されるダミーパケットの構成を示す図である。
【００４７】
図３に示すようにダミーパケットは、ＴＳヘッダ２１０と、ＴＳペイロード２１１とを含む。ＴＳヘッダ２１０は、ＰＩＤ２１２と、ＳｕｂＳｅｑｕｅｎｃｅＮｏ２１３とを含む。ＴＳペイロード２１１は、Ｄｕｍｍｙ＿ＩＤ２１４と、Ｂｕｆｆｅｒ＿ｉｎｄｉｃａｔｅ２１５とを含む。
【００４８】
ＰＩＤ２１２は、当該パケットがダミーパケットであることを示す情報である。
ＳｕｂＳｅｑｕｅｎｃｅＮｏ２１３は、当該ダミーパケットの直後に位置する区間のＴＳを一意に識別するための情報である。
【００４９】
Ｄｕｍｍｙ＿ＩＤ２１４は、シームレス再生の種別を示す情報である。
Ｂｕｆｆｅｒ＿ｉｎｄｉｃａｔｅ２１５は、デコード部１０９が備える複数のデコード部（第１映像デコード部１１０、第１音声デコード部１１１、第２映像デコード部１１２及び第２音声デコード部１１３）のそれぞれを指定するか否かの情報であり、当該ＴＳに含まれる映像データパケット及び音声データパケットの転送先のデコード部を示す情報である。具体的には、Ｂｕｆｆｅｒ＿ｉｎｄｉｃａｔｅ２１５は、４ビットから構成される。各ビットは、それぞれ第１映像デコード部１１０、第１音声デコード部１１１、第２映像デコード部１１２及び第２音声デコード部１１３に対応する。
【００５０】
ＤＥＭＵＸ部１０６は、データ転送部１０４Ａ及び１０４Ｂにより出力されるＴＳに多重化された映像データストリーム及び音声データストリームを分離する多重化分離部である。ＤＥＭＵＸ部１０６は、分離した映像データストリーム及び音声データストリームをそれぞれ映像エレメンタリストリーム（以下、「映像ストリーム」とも記す。）及び音声エレメンタリストリーム（以下、「音声ストリーム」とも記す。）として出力する。ＤＥＭＵＸ部１０６は、シームレス検出部１０７を備える。
【００５１】
シームレス検出部１０７は、データ転送部１０４Ａ及び１０４Ｂにより出力されたＴＳに含まれるダミーパケットを検出する。具体的には、シームレス検出部１０７は、ＴＳにおいてダミーパケットが挿入された位置が、ＤＥＭＵＸ部１０６により分離された映像ストリーム及び音声ストリームのうち、Ｂｕｆｆｅｒ＿ｉｎｄｉｃａｔｅ２１５で指定される第１映像デコード部１１０、第１音声デコード部１１１、第２映像デコード部１１２及び第２音声デコード部１１３において復号化される映像ストリーム及び音声ストリームのストリーム境界であると検出する。
【００５２】
また、シームレス検出部１０７は、Ｄｕｍｍｙ＿ＩＤ２１４に示されるシームレス再生処理の種別を検出する。また、シームレス検出部１０７は、ＳｕｂＳｅｑｕｅｎｃｅＮｏ２１３を検出する。
【００５３】
シームレス検出部１０７は、ＳｕｂＳｅｑｕｅｎｃｅＮｏ２１３と、Ｄｕｍｍｙ＿ＩＤ２１４と、Ｂｕｆｆｅｒ＿ｉｎｄｉｃａｔｅ２１５とが示す情報をデコード制御部１０８に出力する。
【００５４】
また、デコード制御部１０８は、再生制御部１０２の指示に基づき、ＤＥＭＵＸ部１０６に多重化分離の指示を行う。また、デコード制御部１０８は、シームレス検出部１０７に出力されるＳｕｂＳｅｑｕｅｎｃｅＮｏ２１３と、Ｄｕｍｍｙ＿ＩＤ２１４と、Ｂｕｆｆｅｒ＿ｉｎｄｉｃａｔｅ２１５とが示す情報に基づき、デコード部１０９にデコードの指示を行う。
【００５５】
具体的には、デコード制御部１０８は、ＤＥＭＵＸ部１０６により分離された映像ストリーム及び音声ストリームのそれぞれに、シームレス検出部１０７により検出されたＳｕｂＳｅｑｕｅｎｃｅＮｏ２１３を関連付ける。
【００５６】
デコード部１０９は、ＤＥＭＵＸ部１０６により分離された複数の映像ストリーム及び複数の音声ストリームを並列に復号する。ここでは、デコード部１０９は、２つの映像データ及び２つの音声データを並列に復号する。例えば、デコード部１０９は、映像データを復号する復号回路と、音声データを復号化する復号回路とをそれぞれ１個備え、各復号回路により２つの映像データ及び２つの音声データをそれぞれ時分割で並列に処理する。
【００５７】
デコード部１０９は、第１映像デコード部１１０と、第１音声デコード部１１１と、第２映像デコード部１１２と、第２音声デコード部１１３とを備える。
【００５８】
第１映像デコード部１１０、第１音声デコード部１１１、第２映像デコード部１１２及び第２音声デコード部１１３には、ＤＥＭＵＸ部１０６により分離された複数の映像ストリーム及び複数の音声ストリームがそれぞれ入力される。第１映像デコード部１１０、第１音声デコード部１１１、第２映像デコード部１１２及び第２音声デコード部１１３は、入力された映像ストリーム又は音声ストリームを再生表示可能な映像データ及び音声データ（ビデオピクチャ及びオーディオフレーム）に復号する。
【００５９】
第１映像デコード部１１０及び第２映像デコード部１１２は、ＤＥＭＵＸ部１０６により分離された映像ストリームを復号する。第１音声デコード部１１１及び第２音声デコード部１１３は、ＤＥＭＵＸ部１０６により分離された音声ストリームを復号する。
【００６０】
また、第１映像デコード部１１０、第１音声デコード部１１１、第２映像デコード部１１２及び第２音声デコード部１１３は、復号した映像データ及び音声データに、シームレス検出部により検出されたストリーム境界に対してシームレス再生処理を行う。つまり、Ｂｕｆｆｅｒ＿ｉｎｄｉｃａｔｅ２１５で指定された第１映像デコード部１１０、第１音声デコード部１１１、第２映像デコード部１１２及び第２音声デコード部１１３は、ダミーパケットが挿入された位置をストリーム境界として、映像データ又は音声データにシームレス再生処理を行う。ここで、シームレス再生処理とは、映像及び音声を途切れることなく再生させるための処理である。
【００６１】
また、第１映像デコード部１１０、第１音声デコード部１１１、第２映像デコード部１１２及び第２音声デコード部１１３は、デコード制御部１０８により同一のＳｕｂＳｅｑｕｅｎｃｅＮｏ２１３が関連付けられた映像データ及び音声データが同時刻に再生されるものとして、映像データ及び音声データに、シームレス再生処理を行う。
【００６２】
また、第１映像デコード部１１０、第１音声デコード部１１１、第２映像デコード部１１２及び第２音声デコード部１１３は、Ｄｕｍｍｙ＿ＩＤ２１４で指定された種別のシームレス再生処理を行う。
【００６３】
ＡＶ入出力制御部１１４は、再生制御部１０２による指示に基づき、ＡＶ入出力部１１５にＡＶ入出力の指示を行う。
【００６４】
ＡＶ入出力部１１５は、デコード部１０９により復号され、シームレス再生処理された再生表示可能な映像データ及び音声データを出力する。例えば、ＡＶ入出力部１１５により出力された映像データはモニタに出画され、音声データはスピーカから出音される。
【００６５】
次に、本発明の実施の形態に係る動画像復号化装置１００の動作を説明する。
以下に、動画像復号化装置１００の４つの動作例を説明する。
【００６６】
まず、第１の動作例として、Ｉｎ−Ｍｕｘ時の動画像復号化装置１００の動作例を説明する。具体的には、主画像２００及びサブ画像２０１の映像データストリーム及び音声データストリームが多重化された動画像ストリーム１３１が記録媒体（ＢＤ）１２０から転送される。
【００６７】
図４は、第１の動作例におけるストリームの流れを示す図である。
図４に示すように、まず、記録媒体１２０及びＨＤＤ１２１からトランスポートストリームである動画像ストリーム１３１が転送される。
【００６８】
図５は、動画像ストリーム１３１の構成例を示す図である。
図５に示すように、動画像ストリーム１３１はＴＳ１及びＴＳ２を含む。ここで、ＴＳ１及びＴＳ２は、動画像ストリーム１３１に含まれる区間であり、互いに時間的に不連続なストリーム（区間）である。
【００６９】
つまり、ＴＳ１の終わりにおいて、映像データと音声データとが終了する時刻が必ずしも一致しない。同様に、ＴＳ２の初めにおいて、映像データと音声データとが開始する時刻が必ずしも一致しない。これにより、ＴＳ１と、ＴＳ２とをそのまま再生した場合、映像及び音声の一方が途切れる、又は映像及び音声が重複するという問題が生じる。
【００７０】
ＴＳ１には、映像データパケットであるＶｉｄｅｏ１０及びＶｉｄｅｏ２０と、音声データパケットであるＡｕｄｉｏ１０及びＡｕｄｉｏ２０とが含まれる。ＴＳ２には、映像データパケットであるＶｉｄｅｏ１１及びＶｉｄｅｏ２１と、音声データパケットであるＡｕｄｉｏ１１及びＡｕｄｉｏ２１とが含まれる。ＴＳにおいて、各パケット（ＴＳパケット）は１８８バイトの固定長のデータである。
【００７１】
ここで、Ｖｉｄｅｏ１０、Ａｕｄｉｏ１０、Ｖｉｄｅｏ２０及びＡｕｄｉｏ２０は、同時刻に出画及び出音される映像データ及び音声データである。Ｖｉｄｅｏ１１、Ａｕｄｉｏ１１、Ｖｉｄｅｏ２１及びＡｕｄｉｏ２１は、同時刻に出画及び出音される映像データ及び音声データである。
【００７２】
また、Ｖｉｄｅｏ１０及び１１は主画像２００の映像データであり、Ｖｉｄｅｏ２０及び２１はサブ画像２０１の映像データである。Ａｕｄｉｏ１０及び１１は主画像２００の音声データであり、Ａｕｄｉｏ２０及び２１はサブ画像２０１の音声データである。
【００７３】
なお、ここでは、各区間ＴＳ１及びＴＳ２に、主画像２００及びサブ画像２０１にそれぞれ対応する映像データパケット及び音声データパケットが１個ずつ含まれる例を述べるが、各区間ＴＳ１及びＴＳ２にそれぞれ２以上の主画像２００及びサブ画像２０１にそれぞれ対応する映像データパケット及び音声データパケットが含まれてもよい。
【００７４】
ダミーパケット挿入部１０５Ａは、動画像ストリーム１３１のＴＳ１の直前、及びＴＳ１とＴＳ２との間にダミーパケットを挿入する。
【００７５】
図６は、ダミーパケット挿入部１０５Ａによりダミーパケットが挿入された後の動画像ストリーム１３２の構成例を示す図である。
【００７６】
図６に示すように、ダミーパケット挿入部１０５Ａは、ＴＳ１の直前にダミーパケット２２０を挿入し、ＴＳ１とＴＳ２との間にダミーパケット２２１を挿入する。
【００７７】
ダミーパケット２２０は、ＳｕｂＳｅｑｕｅｎｃｅＮｏ２１３が「０」であり、Ｄｕｍｍｙ＿ＩＤ２１４が「０ｘｆ」である。Ｄｕｍｍｙ＿ＩＤ２１４「０ｘｆ」は、直後の区間ＴＳ１がストリームの先頭であることを示す。
【００７８】
ダミーパケット２２１は、ＳｕｂＳｅｑｕｅｎｃｅＮｏ２１３が「１」であり、Ｄｕｍｍｙ＿ＩＤ２１４が「０ｘ５」又は「０ｘ６」である。Ｄｕｍｍｙ＿ＩＤ２１４「０ｘ５」は、ダミーパケット２２１の前後の区間ＴＳ１及びＴＳ２に含まれる映像データ及び音声データが、ストリーム境界において重複するデータを有しており、ＰＴＳが連続していないことを示す。例えばこれは、ＴＳ１に含まれる音声データが映像データより長く、ストリーム境界において映像データを連続して再生した場合、音声データがＴＳ１の最後とＴＳ２の最初とで重複する場合などである。
【００７９】
Ｄｕｍｍｙ＿ＩＤ２１４「０ｘ６」は、ダミーパケット２２１及び２２３の前後の区間のＴＳに含まれる映像データ及び音声データがもともと一つの連続したストリームであり、ストリームの境界においてＰＴＳが連続していることを示す。
【００８０】
また、ダミーパケット２２０及び２２１では、Ｂｕｆｆｅｒ＿ｉｎｄｉｃａｔｅ２１５に第１映像デコード部１１０、第１音声デコード部１１１、第２映像デコード部１１２及び第２音声デコード部１１３が指定されている。
【００８１】
ＤＥＭＵＸ部１０６は、動画像ストリーム１３２を分離し、エレメンタリストリームである映像ストリーム１３３及び１３５と、音声ストリーム１３４及び１３６とをデコード部１０９に出力する。
【００８２】
シームレス検出部１０７は、動画像ストリーム１３２に含まれるダミーパケット２２０及び２２１を検出する。
【００８３】
Ｂｕｆｆｅｒ＿ｉｎｄｉｃａｔｅ２１５に全てのデコード部（第１映像デコード部１１０、第１音声デコード部１１１、第２映像デコード部１１２及び第２音声デコード部１１３）が指定されているので、シームレス検出部１０７は、ダミーパケット２２１が挿入された位置が、映像ストリーム１３３及び１３５と、音声ストリーム１３４及び１３６のストリーム境界であると検出する。
【００８４】
また、シームレス検出部１０７は、Ｄｕｍｍｙ＿ＩＤ２１４に示されるシームレス再生処理の種別を検出する。また、シームレス検出部１０７は、ＳｕｂＳｅｑｕｅｎｃｅＮｏ２１３を検出する。
【００８５】
シームレス検出部１０７は、ダミーパケット２２０及び２２１に含まれるＳｕｂＳｅｑｕｅｎｃｅＮｏ２１３と、Ｄｕｍｍｙ＿ＩＤ２１４と、Ｂｕｆｆｅｒ＿ｉｎｄｉｃａｔｅ２１５とが示す情報をデコード制御部１０８に出力する。
【００８６】
デコード制御部１０８は、映像ストリーム１３３及び１３５と、音声ストリーム１３４及び１３６のそれぞれに検出したＳｕｂＳｅｑｕｅｎｃｅＮｏ２１３を関連付ける。具体的には、デコード制御部１０８は、ダミーパケット２２０に含まれるＳｕｂＳｅｑｕｅｎｃｅＮｏ２１３＝「０」をＴＳ１に含まれるＶｉｄｅｏ１０、Ａｕｄｉｏ１０、Ｖｉｄｅｏ２０、及びＡｕｄｉｏ２０と関連付ける。デコード制御部１０８は、ダミーパケット２２１に含まれるＳｕｂＳｅｑｕｅｎｃｅＮｏ２１３＝「１」をＴＳ２に含まれるＶｉｄｅｏ１１、Ａｕｄｉｏ１１、Ｖｉｄｅｏ２１、及びＡｕｄｉｏ２１と関連付ける。
【００８７】
図７は、映像ストリーム１３３及び１３５と、音声ストリーム１３４及び１３６の構成例を示す図である。
【００８８】
図７に示すように映像ストリーム１３３はＶｉｄｅｏ１０及びＶｉｄｅｏ１１を含み、音声ストリーム１３４はＡｕｄｉｏ１０及びＡｕｄｉｏ１１を含み、映像ストリーム１３５はＶｉｄｅｏ２０及びＶｉｄｅｏ２１を含み、音声ストリーム１３６はＡｕｄｉｏ２０及びＡｕｄｉｏ２１を含む。
【００８９】
ＤＥＭＵＸ部１０６により出力された映像ストリーム１３３及び１３５と、音声ストリーム１３４及び１３６とはそれぞれ、第１映像デコード部１１０、第２映像デコード部１１２、第１音声デコード部１１１及び第２音声デコード部１１３がそれぞれ備えるバッファ（図示せず）に一時的に格納される。
【００９０】
デコード部１０９は、デコード制御部１０８の指示に従い、映像ストリーム１３３及び１３５と、音声ストリーム１３４及び１３６を並列に復号化処理する。
【００９１】
具体的には、第１映像デコード部１１０、第１音声デコード部１１１、第２映像デコード部１１２及び第２音声デコード部１１３は、それぞれ自身が備えるバッファに保持される映像ストリーム１３３、音声ストリーム１３４、映像ストリーム１３５及び音声ストリーム１３６を復号する。
【００９２】
また、デコード制御部１０８は、ダミーパケット２２１のＢｕｆｆｅｒ＿ｉｎｄｉｃａｔｅ２１５に第１映像デコード部１１０、第１音声デコード部１１１、第２映像デコード部１１２及び第２音声デコード部１１３が指定されているので、第１映像デコード部１１０、第１音声デコード部１１１、第２映像デコード部１１２及び第２音声デコード部１１３に、ダミーパケット２２１が挿入されていた位置をストリーム境界とするシームレス再生処理を行わせる。つまり、デコード制御部１０８は、第１映像デコード部１１０、第１音声デコード部１１１、第２映像デコード部１１２及び第２音声デコード部１１３に、Ｖｉｄｅｏ１０とＶｉｄｅｏ１１との間、Ａｕｄｉｏ１０とＡｕｄｉｏ１１との間、Ｖｉｄｅｏ２０とＶｉｄｅｏ２１との間、及び、Ａｕｉｄｏ２０とＡｕｄｉｏ２１との間をストリーム境界とするシームレス再生処理を行わせる。
【００９３】
第１映像デコード部１１０、第１音声デコード部１１１、第２映像デコード部１１２及び第２音声デコード部１１３は、ストリーム境界に対して、ダミーパケット２２１に含まれるＤｕｍｍｙ＿ＩＤ２１４で指定された種別のシームレス再生処理を行う。
【００９４】
具体的には、Ｄｕｍｍｙ＿ＩＤ２１４に「０ｘ５」が指定されている場合、第１映像デコード部１１０、第１音声デコード部１１１、第２映像デコード部１１２及び第２音声デコード部１１３は、ストリームの境界における映像データ及び音声データの重複部分をスキップする等の処理を行うことで、映像データ及び音声データを同期させる。また、Ｄｕｍｍｙ＿ＩＤ２１４に「０ｘ６」が指定されている場合、第１映像デコード部１１０、第１音声デコード部１１１、第２映像デコード部１１２及び第２音声デコード部１１３は、上記処理を行わない。
【００９５】
また、第１映像デコード部１１０、第１音声デコード部１１１、第２映像デコード部１１２及び第２音声デコード部１１３は、デコード制御部１０８により同一のＳｕｂＳｅｑｕｅｎｃｅＮｏ２１３が関連付けられた映像データ及び音声データが同時刻に再生されるものとして、映像データ及び音声データに、シームレス再生処理を行う。ここでは、第１映像デコード部１１０、第１音声デコード部１１１、第２映像デコード部１１２及び第２音声デコード部１１３はそれぞれ、Ｖｉｄｅｏ１０、Ａｕｄｉｏ１０、Ｖｉｄｅｏ２０及びＡｕｄｉｏ２０が同時刻に再生され、Ｖｉｄｅｏ１１、Ａｕｄｉｏ１１、Ｖｉｄｅｏ２１及びＡｕｄｉｏ２１が同時刻に再生されるものとしてシームレス再生処理を行う。
【００９６】
ＡＶ入出力部１１５は、第１映像デコード部１１０、第１音声デコード部１１１、第２映像デコード部１１２及び第２音声デコード部１１３により、復号化及びシームレス再生処理が行われた映像データ及び音声データを出力する。
【００９７】
以上より、本発明の実施の形態に係る動画像復号化装置１００は、１つの動画像ストリーム１３１に含まれる主画像２００及びサブ画像２０１にそれぞれ対応する２つの動画像ストリーム（２つの映像ストリーム及び２つの音声ストリーム）を同時に復号し、かつ２つの動画像ストリームに対してシームレス再生を行える。
【００９８】
次に、第２の動作例として、第１の動作例と同様にＩｎ−Ｍｕｘ時の動作例であり、第１映像デコード部１１０、第１音声デコード部１１１、第２映像デコード部１１２及び第２音声デコード部１１３が復号するそれぞれストリームのうち一部のストリームにのみストリーム境界が存在する場合について説明する。なお、第１の動作例と重複する説明は省略する。
【００９９】
図８は、第２の動作例における動画像ストリーム１３２の構成例を示す図である。
図８に示すように、ダミーパケット挿入部１０５Ａは、ＴＳ１の直前にダミーパケット２２２を挿入し、ＴＳ１とＴＳ２との間にダミーパケット２２３を挿入する。
【０１００】
ダミーパケット２２２及び２２３では、Ｂｕｆｆｅｒ＿ｉｎｄｉｃａｔｅ２１５に第１映像デコード部１１０及び第１音声デコード部１１１が指定され、第２映像デコード部１１２及び第２音声デコード部１１３は指定されていない。
【０１０１】
図９は、第２の動作例における映像ストリーム１３３及び１３５と、音声ストリーム１３４及び１３６の構成例を示す図である。
【０１０２】
デコード制御部１０８は、ダミーパケット２２１のＢｕｆｆｅｒ＿ｉｎｄｉｃａｔｅ２１５に第１映像デコード部１１０及び第１音声デコード部１１１が指定されているので、第１映像デコード部１１０及び第１音声デコード部１１１に、ダミーパケット２２１が挿入されていた位置をストリームの境界とするシームレス再生処理を行わせる。
【０１０３】
また、デコード制御部１０８は、ダミーパケット２２１のＢｕｆｆｅｒ＿ｉｎｄｉｃａｔｅ２１５に第２映像デコード部１１２及び第２音声デコード部１１３が指定されていないので、第２映像デコード部１１２にＶｉｄｅｏ２０とＶｉｄｅｏ２１とを連続した一つのストリームとして処理させる。また、デコード制御部１０８は、第２音声デコード部１１３にＡｕｄｉｏ２０とＡｕｄｉｏ２１とを連続した一つのストリームとして処理させる。すなわち、第２映像デコード部１１２及び第２音声デコード部１１３は、ダミーパケット２２１が挿入されていた位置をストリームの境界とするシームレス再生処理を行わない。
【０１０４】
以上により、本発明の実施の形態に係る動画像復号化装置１００は、主画像２００及びサブ画像２０１にそれぞれ対応する２つの動画像ストリームを含む１つの動画像ストリーム１３１に対して、Ｂｕｆｆｅｒ＿ｉｎｄｉｃａｔｅ２１５に第１映像デコード部１１０、第１音声デコード部１１１、第２映像デコード部１１２及び第２音声デコード部１１３のうち任意のデコード部を指定することで、複数の映像ストリーム１３３及び１３５と、複数の音声ストリーム１３４及び１３６とのうち任意のストリームに対して選択的にシームレス再生処理を行うことができる。
【０１０５】
なお、ここでは、映像ストリーム１３３及び音声ストリーム１３４にストリームの境界が存在する場合を例に説明したが、動画像復号化装置１００は、映像ストリーム１３３及び１３５と、音声ストリーム１３４及び１３６とのうち任意のストリームに対して、選択的にシームレス再生処理を行うことができる。
【０１０６】
次に、第３の動作例として、Ｏｕｔ−Ｏｆ−Ｍｕｘ時の動画像復号化装置１００の動作例を説明する。具体的には、主画像２００の映像データ及び音声データが多重化された動画像ストリーム１４１が記録媒体（ＢＤ）１２０から転送され、サブ画像２０１の映像データ及び音声データが多重化された動画像ストリーム１４２がＨＤＤ１２１から転送される。これは、例えば、記録媒体１２０には主画像２００のみが記録されており、再生装置がインターネット等を介して、対応するサブ画像２０１をダウンロードし、ＨＤＤ１２１に記録している場合である。
【０１０７】
なお、第１の動作例及び第２の動作例と重複する説明は省略する。
図１０は、第３の動作例におけるストリームの流れを示す図である。
【０１０８】
図１０に示すように、記録媒体１２０及びＨＤＤ１２１からそれぞれ動画像ストリーム１４１及び１４２が転送される。
【０１０９】
図１１は、動画像ストリーム１４１及び１４２の構成例を示す図である。
図１１に示すように、動画像ストリーム１４１はＴＳ１及びＴＳ２を含み、ストリーム１４２はＴＳ３及びＴＳ４を含む。ＴＳ１〜ＴＳ４はそれぞれ、映像データパケットであるＶｉｄｅｏ１０、Ｖｉｄｅｏ１１、Ｖｉｄｅｏ２０及びＶｉｄｅｏ２１と、音声データパケットであるＡｕｄｉｏ１０、Ａｕｄｉｏ１１、Ａｕｄｉｏ２０及びＡｕｄｉｏ２１とを含む。
【０１１０】
また、ＴＳ１及びＴＳ２は、動画像ストリーム１４１に含まれる区間であり、互いに時間的に連続しないストリームである。ＴＳ３及びＴＳ４は、動画像ストリーム１４２に含まれる区間であり、互いに時間的に連続しないストリームである。
【０１１１】
ここで、Ｖｉｄｅｏ１０、Ａｕｄｉｏ１０、Ｖｉｄｅｏ２０及びＡｕｄｉｏ２０は、同時刻に出画及び出音される映像データ及び音声データである。Ｖｉｄｅｏ１１、Ａｕｄｉｏ１１、Ｖｉｄｅｏ２１及びＡｕｄｉｏ２１は、同時刻に出画及び出音される映像データ及び音声データである。
【０１１２】
また、Ｖｉｄｅｏ１０及び１１は主画像２００の映像データであり、Ｖｉｄｅｏ２０及び２１はサブ画像２０１の映像データである。Ａｕｄｉｏ１０及び１１は主画像２００の音声データであり、Ａｕｄｉｏ２０及び２１はサブ画像２０１の音声データである。
【０１１３】
ダミーパケット挿入部１０５Ａ及び１０５Ｂは、それぞれ動画像ストリーム１４１及び１４２にダミーパケットを挿入し動画像ストリーム１４３及び１４４を出力する。
【０１１４】
図１２は、動画像ストリーム１４３及び１４４の構成例を示す図である。
図１２に示すように、ダミーパケット挿入部１０５Ａは、ＴＳ１の直前にダミーパケット２２４を挿入し、ＴＳ１とＴＳ２との間にダミーパケット２２５を挿入する。ダミーパケット挿入部１０５Ｂは、ＴＳ３の直前にダミーパケット２２６を挿入し、ＴＳ３とＴＳ４との間にダミーパケット２２７を挿入する。
【０１１５】
ダミーパケット２２４及び２２６は、ＳｕｂＳｅｑｕｅｎｃｅＮｏ２１３が「０」であり、Ｄｕｍｍｙ＿ＩＤ２１４が「０ｘｆ」である。ダミーパケット２２５及び２２７は、ＳｕｂＳｅｑｕｅｎｃｅＮｏ２１３が「１」であり、Ｄｕｍｍｙ＿ＩＤ２１４が「０ｘ５」又は「０ｘ６」である。
【０１１６】
また、ダミーパケット２２４及び２２５では、Ｂｕｆｆｅｒ＿ｉｎｄｉｃａｔｅ２１５に第１映像デコード部１１０及び第１音声デコード部１１１が指定されている。ダミーパケット２２６及び２２７では、Ｂｕｆｆｅｒ＿ｉｎｄｉｃａｔｅ２１５に第２映像デコード部１１２及び第２音声デコード部１１３が指定されている。
【０１１７】
シームレス検出部１０７は、動画像ストリーム１４３及び１４４に含まれるダミーパケット２２４〜２２７を検出する。シームレス検出部１０７は、ダミーパケット２２４〜２２７に含まれるＳｕｂＳｅｑｕｅｎｃｅＮｏ２１３と、Ｄｕｍｍｙ＿ＩＤ２１４と、Ｂｕｆｆｅｒ＿ｉｎｄｉｃａｔｅ２１５とが示す情報をデコード制御部１０８に出力する。
【０１１８】
ＤＥＭＵＸ部１０６は、動画像ストリーム１４３及び１４４をそれぞれ分離し、エレメンタリストリームである映像ストリーム１４５及び１４７と、音声ストリーム１４６及び１４８とをデコード部１０９に出力する。
【０１１９】
図１３は、映像ストリーム１４５及び１４７と、音声ストリーム１４６及び１４８との構成例を示す図である。
【０１２０】
図１３に示すように映像ストリーム１４５はＶｉｄｅｏ１０及びＶｉｄｅｏ１１を含み、音声ストリーム１４６はＡｕｄｉｏ１０及びＡｕｄｉｏ１１を含み、映像ストリーム１４７はＶｉｄｅｏ２０及びＶｉｄｅｏ２１を含み、音声ストリーム１４８はＡｕｄｉｏ２０及びＡｕｄｉｏ２１を含む。
【０１２１】
デコード部１０９は、デコード制御部１０８の指示に従い、映像ストリーム１４５及び１４７と、音声ストリーム１４６及び１４８とを並列に復号化処理する。
【０１２２】
具体的には、デコード制御部１０８は、ダミーパケット２２５のＢｕｆｆｅｒ＿ｉｎｄｉｃａｔｅ２１５に第１映像デコード部１１０が指定されているので、第１映像デコード部１１０に、ダミーパケット２２５が挿入されていた位置をＶｉｄｅｏ１０とＶｉｄｅｏ１１とのストリームの境界とするシームレス再生処理を行わせる。
【０１２３】
デコード制御部１０８は、ダミーパケット２２５のＢｕｆｆｅｒ＿ｉｎｄｉｃａｔｅ２１５に第１音声デコード部１１１が指定されているので、第１音声デコード部１１１に、ダミーパケット２２５が挿入されていた位置をＡｕｄｉｏ１０とＡｕｄｉｏ１１とのストリーム境界とするシームレス再生処理を行わせる。
【０１２４】
また、第１映像デコード部１１０及び第１音声デコード部１１１は、ストリーム境界において、ダミーパケット２２５に含まれるＤｕｍｍｙ＿ＩＤ２１４で指定されたシームレス再生処理を行う。
【０１２５】
同様に、デコード制御部１０８は、ダミーパケット２２７のＢｕｆｆｅｒ＿ｉｎｄｉｃａｔｅ２１５に第２映像デコード部１１２が指定されているので、第２映像デコード部１１２に、ダミーパケット２２７が挿入されていた位置をＶｉｄｅｏ２０とＶｉｄｅｏ２１とのストリーム境界とするシームレス再生処理を行わせる。
【０１２６】
デコード制御部１０８は、ダミーパケット２２７のＢｕｆｆｅｒ＿ｉｎｄｉｃａｔｅ２１５に第２音声デコード部１１３が指定されているので、第２音声デコード部１１３に、ダミーパケット２２７が挿入されていた位置をＡｕｄｉｏ２０とＡｕｄｉｏ２１とのストリーム境界とするシームレス再生処理を行わせる。
【０１２７】
また、第２映像デコード部１１２及び第２音声デコード部１１３は、ストリーム境界において、ダミーパケット２２７に含まれるＤｕｍｍｙ＿ＩＤ２１４で指定されたシームレス再生処理を行う。
【０１２８】
また、第１映像デコード部１１０、第１音声デコード部１１１、第２映像デコード部１１２及び第２音声デコード部１１３は、デコード制御部１０８により同一のＳｕｂＳｅｑｕｅｎｃｅＮｏ２１３が関連付けられた映像データ及び音声データが同時刻に再生されるものとして、映像データ及び音声データに、シームレス再生処理を行う。ここでは、第１映像デコード部１１０、第１音声デコード部１１１、第２映像デコード部１１２及び第２音声デコード部１１３はそれぞれ、Ｖｉｄｅｏ１０、Ａｕｄｉｏ１０、Ｖｉｄｅｏ２０及びＡｕｄｉｏ２０が同時刻に再生され、Ｖｉｄｅｏ１１、Ａｕｄｉｏ１１、Ｖｉｄｅｏ２１及びＡｕｄｉｏ２１が同時刻に再生されるものとしてシームレス再生処理を行う。
【０１２９】
つまり、デコード制御部１０８は、動画像ストリーム１４３から分離された映像ストリーム１４５及び音声ストリーム１４６に対しては、動画像ストリーム１４３に挿入されたダミーパケット２２５に基づき、第１映像デコード部１１０及び第１音声デコード部１１１のシームレス再生処理を制御する。また、デコード制御部１０８は、動画像ストリーム１４４から分離された映像ストリーム１４７及び音声ストリーム１４８に対しては、動画像ストリーム１４４に挿入されたダミーパケット２２７に基づき、第２映像デコード部１１２及び第２音声デコード部１１３のシームレス再生処理を制御する。
【０１３０】
以上により、本発明の実施の形態に係る動画像復号化装置１００は、記録媒体１２０及びＨＤＤ１２１からそれぞれ転送される主画像２００に対応する動画像ストリーム１４１、及びサブ画像２０１に対応する動画像ストリーム１４２を同時に復号し、かつ２つの動画像ストリーム１４１及び１４２に対してシームレス再生を行える。
【０１３１】
なお、第３の動作例では、映像ストリーム１４５及び１４７と、音声ストリーム１４６及び１４８との全てに対して、ストリーム境界が存在する場合を例に説明したが、第２の動作例と同様に、Ｂｕｆｆｅｒ＿ｉｎｄｉｃａｔｅ２１５にデコード部を指定しないことで、シームレス再生処理を行わせないこともできる。
【０１３２】
すなわち、本発明の実施の形態に係る動画像復号化装置１００は、２つの動画像ストリーム１４１及び１４２のそれぞれに対して、Ｂｕｆｆｅｒ＿ｉｎｄｉｃａｔｅ２１５に第１映像デコード部１１０、第１音声デコード部１１１、第２映像デコード部１１２及び第２音声デコード部１１３のうち任意のデコード部を指定することで、複数の映像ストリーム１４５及び１４７と、複数の音声ストリーム１４６及び１４８とのうち任意のストリームに対して選択的にシームレス再生処理を行うことができる。
【０１３３】
また、動画像復号化装置１００は、ダミーパケットに含まれるＳｕｂＳｅｑｕｅｎｃｅＮｏ２１３を参照することで、２つの動画像ストリーム１４１及び１４２に含まれる同時に再生される映像データ及び音声データを判定し、シームレス再生処理を行うことができる。
【０１３４】
次に、第４の動作例として、Ｏｕｔ−Ｏｆ−Ｍｕｘの他の例であり、主画像２００及びサブ画像２０１の映像データストリームが多重化されたストリーム１４１が記録媒体（ＢＤ）１２０から転送され、主画像２００及びサブ画像２０１の音声データストリームが多重化されたストリーム１３２がＨＤＤ１２１から転送される例を説明する。
【０１３５】
これは、記録媒体１２０には再生する映像データのみが記録されており、再生装置がインターネット等を介して、対応する音声データをダウンロードし、ＨＤＤ１２１に記録している場合である。例えば、記録媒体１２０には、主画像２００及びサブ画像２０１に対応する映像データと、日本語及び英語の音声データのみが記録されており、かつ再生装置の使用者により音声の言語としてフランス語が指定された場合、主画像２００及びサブ画像２０１に対応するフランス語の音声データがインターネット等を介してダウンロードされ、ＨＤＤ１２１に記録される。
【０１３６】
なお、第１の動作例、第２の動作例及び第３の動作例と重複する説明は省略する。
図１４は、第４の動作例におけるストリームの流れを示す図である。
【０１３７】
図１４に示すように、記録媒体１２０及びＨＤＤ１２１からそれぞれＴＳであるストリーム１５１及び１５２が転送される。
【０１３８】
図１５は、ストリーム１５１及び１５２の構成例を示す図である。
図１５に示すように、ストリーム１５１はＴＳ１及びＴＳ２を含み、ストリーム１５２はＴＳ３及びＴＳ４を含む。ＴＳ１はＶｉｄｅｏ１０及びＶｉｄｅｏ２０を含み、ＴＳ２はＶｉｄｅｏ１１及びＶｉｄｅｏ２１を含み、ＴＳ３はＡｕｄｉｏ１０及びＡｕｄｉｏ２０を含み、ＴＳ４はＡｕｄｉｏ１１及びＡｕｄｉｏ２１を含む。
【０１３９】
また、ＴＳ１及びＴＳ２は、ストリーム１５１に含まれる区間であり、互いに時間的に連続しないストリームである。ＴＳ３及びＴＳ４は、ストリーム１５２に含まれる区間であり、互いに時間的に連続しないストリームである。
【０１４０】
ここで、Ｖｉｄｅｏ１０、Ａｕｄｉｏ１０、Ｖｉｄｅｏ２０及びＡｕｄｉｏ２０は、同時刻に出画及び出音される映像データ及び音声データである。Ｖｉｄｅｏ１１、Ａｕｄｉｏ１１、Ｖｉｄｅｏ２１及びＡｕｄｉｏ２１は、同時刻に出画及び出音される映像データ及び音声データである。
【０１４１】
また、Ｖｉｄｅｏ１０及び１１は主画像２００の映像データであり、Ｖｉｄｅｏ２０及び２１はサブ画像２０１の映像データである。Ａｕｄｉｏ１０及び１１は主画像２００の音声データであり、Ａｕｄｉｏ２０及び２１はサブ画像２０１の音声データである。
【０１４２】
ダミーパケット挿入部１０５Ａ及び１０５Ｂは、それぞれ動画像ストリーム１５１及び１５２にダミーパケットを挿入し動画像ストリーム１５３及び１５４を出力する。
【０１４３】
図１６は、ストリーム１５３及び１５４の構成例を示す図である。
図１６に示すように、ダミーパケット挿入部１０５Ａは、ＴＳ１の直前にダミーパケット２２８を挿入し、ＴＳ１とＴＳ２との間にダミーパケット２２９を挿入する。ダミーパケット挿入部１０５Ｂは、ＴＳ３の直前にダミーパケット２３０を挿入し、ＴＳ３とＴＳ４との間にダミーパケット２３１を挿入する。
【０１４４】
ダミーパケット２２８及び２３０は、ＳｕｂＳｅｑｕｅｎｃｅＮｏ２１３が「０」であり、Ｄｕｍｍｙ＿ＩＤ２１４が「０ｘｆ」である。ダミーパケット２２９及び２３１は、ＳｕｂＳｅｑｕｅｎｃｅＮｏ２１３が「１」であり、Ｄｕｍｍｙ＿ＩＤ２１４が「０ｘ５」又は「０ｘ６」である。
【０１４５】
また、ダミーパケット２２８及び２２９では、Ｂｕｆｆｅｒ＿ｉｎｄｉｃａｔｅ２１５に第１映像デコード部１１０及び第２映像デコード部１１２が指定されている。ダミーパケット２３０及び２３１では、Ｂｕｆｆｅｒ＿ｉｎｄｉｃａｔｅ２１５に第１音声デコード部１１１及び第２音声デコード部１１３が指定されている。
【０１４６】
ＤＥＭＵＸ部１０６は、ストリーム１５３及びストリーム１５４をそれぞれ分離し、エレメンタリストリームである映像ストリーム１５５及び１５７と、音声ストリーム１５６及び１５８とをデコード部１０９に出力する。
【０１４７】
なお、映像ストリーム１５５及び１５７と、音声ストリーム１５６及び１５８との構成は、図１３に示す映像ストリーム１４５及び１４７と、音声ストリーム１４６及び１４８との構成と同様である。
【０１４８】
デコード部１０９は、デコード制御部１０８の指示に従い、映像ストリーム１５５及び１５７と、音声ストリーム１５６及び１５８とを並列に復号化処理する。
【０１４９】
具体的には、デコード制御部１０８は、ダミーパケット２２９のＢｕｆｆｅｒ＿ｉｎｄｉｃａｔｅ２１５に第１映像デコード部１１０及び第２映像デコード部１１２が指定されているので、第１映像デコード部１１０及び第２映像デコード部１１２に、ダミーパケット２２９が挿入されていた位置をストリーム境界とするシームレス再生処理を行わせる。
【０１５０】
デコード制御部１０８は、ダミーパケット２３１のＢｕｆｆｅｒ＿ｉｎｄｉｃａｔｅ２１５に第１音声デコード部１１１及び第２音声デコード部１１３が指定されているので、第１音声デコード部１１１及び第２音声デコード部１１３に、ダミーパケット２３１が挿入されていた位置をストリーム境界とするシームレス再生処理を行わせる。
【０１５１】
また、第１映像デコード部１１０、第１音声デコード部１１１、第２映像デコード部１１２及び第２音声デコード部１１３は、デコード制御部１０８により同一のＳｕｂＳｅｑｕｅｎｃｅＮｏ２１３が関連付けられた映像データ及び音声データが同時刻に再生されるものとして、映像データ及び音声データに、シームレス再生処理を行う。ここでは、第１映像デコード部１１０、第１音声デコード部１１１、第２映像デコード部１１２及び第２音声デコード部１１３はそれぞれ、Ｖｉｄｅｏ１０、Ａｕｄｉｏ１０、Ｖｉｄｅｏ２０及びＡｕｄｉｏ２０が同時刻に再生され、Ｖｉｄｅｏ１１、Ａｕｄｉｏ１１、Ｖｉｄｅｏ２１及びＡｕｄｉｏ２１が同時刻に再生されるものとしてシームレス再生処理を行う。
【０１５２】
以上により、本発明の実施の形態に係る動画像復号化装置１００は、主画像２００及びサブ画像２０１に対応する映像データが多重化されたストリーム１５１と、主画像２００及びサブ画像２０１に対応する音声データが多重化されたストリーム１５２とが異なる記録媒体１２０及びＨＤＤ１２１から入力される場合において、主画像２００及びサブ画像２０１にそれぞれ対応する映像データ及び音声データを同時に復号し、かつシームレス再生を行える。
【０１５３】
なお、第４の動作例では、映像ストリーム１５５及び１５７と、音声ストリーム１５６及び１５８との全てに対して、ストリーム境界が存在する場合を例に説明したが、第２の動作例と同様に、Ｂｕｆｆｅｒ＿ｉｎｄｉｃａｔｅ２１５にデコード部を指定しないことで、シームレス再生処理を行わせないこともできる。
【０１５４】
すなわち、本発明の実施の形態に係る動画像復号化装置１００は、２つのストリーム１５１及び１５２のそれぞれに対して、Ｂｕｆｆｅｒ＿ｉｎｄｉｃａｔｅ２１５に第１映像デコード部１１０、第１音声デコード部１１１、第２映像デコード部１１２及び第２音声デコード部１１３のうち任意のデコード部を指定することで、複数の映像ストリーム１５５及び１５７と、複数の音声ストリーム１５６及び１５８とのうち任意のストリームに対して選択的にシームレス再生処理を行うことができる。
【０１５５】
また、動画像復号化装置１００は、ダミーパケットに含まれるＳｕｂＳｅｑｕｅｎｃｅＮｏ２１３を参照することで、２つのストリーム１５１及び１５２に含まれる同時に再生される映像データ及び音声データを判定し、シームレス再生処理を行うことができる。
【０１５６】
以上、本発明の実施の形態に係る動画像復号化装置について説明したが、本発明は、この実施の形態に限定されるものではない。
【０１５７】
例えば、上記説明では、Ｏｕｔ−Ｏｆ−Ｍｕｘの動作例として、第３の動作例及び第４の動作例を説明したが、記録媒体１２０及びＨＤＤ１２１から送信される２つの動画像ストリームに多重化される主画像２００及びサブ画像２０１にそれぞれ対応する映像ストリーム及び音声ストリームの組み合わせはいかなる組み合わせでもよい。また、記録媒体１２０及びＨＤＤ１２１から送信される２つの動画像ストリームの一方に、主画像２００及びサブ画像２０１にそれぞれ対応する映像ストリーム及び音声ストリームのうち３つが多重化され、他方に残りの１つが含まれてもよい。
【０１５８】
また、上記説明では、動画像復号化装置１００は、２つの動画像ストリームを同時に復号する機能を有するが３以上の動画像ストリームを同時に復号する機能を有してもよい。
【０１５９】
また、上記説明では、デコード部１０９は、時分割で複数の映像ストリーム及び音声ストリームを復号するとしたが、並列に映像ストリーム及び音声ストリームを復号化できる複数のデコード回路を備え、同時に複数の映像データ及び音声データを復号化してもよい。
【０１６０】
また、上記説明では、記録媒体１２０（ＢＤ）と、ＨＤＤ１２１とからトランスポートストリームが転送される例を説明したが、トランスポートストリームの転送元は、任意の記録媒体又は記憶部であってよい。例えば、トランスポートストリームの転送元は、ＢＤ以外の光ディスク及びメモリカード等の記録媒体であってもよいし、再生装置が備える不揮発性メモリ及びＲＡＭ等であってもよい。また、２つの記録媒体からそれぞれトランスポートストリームが転送されてもよい。さらに、１つの転送元から２つのトランスポートストリームが転送されてもよい。
【０１６１】
また、上記説明では、ダミーパケット挿入部１０５Ａ及び１０５Ｂは、ＴＳの区間の間にそれぞれ１つのダミーパケットを挿入しているが、上述したダミーパケットに含まれる情報を分割し２以上のダミーパケットを挿入してもよい。
【産業上の利用可能性】
【０１６２】
本発明は、動画像復号化装置に適用でき、特に、ＢＤプレーヤ及びＢＤ再生機能を有するＤＶＤプレーヤ等の動画像再生装置に適用できる。
【図面の簡単な説明】
【０１６３】
【図１】本発明の実施の形態に係る動画像復号化装置の構成を示すブロック図である。
【図２】本発明の実施の形態に係る動画像復号化装置により復号化された動画像データの表示例を示す図である。
【図３】本発明の実施の形態に係る動画像復号化装置におけるダミーパケットの構成を示す図である。
【図４】本発明の実施の形態に係る動画像復号化装置の第１の動作例におけるストリームの流れを示す図である。
【図５】本発明の実施の形態に係る動画像復号化装置の第１の動作例におけるストリームの構成を示す図である。
【図６】本発明の実施の形態に係る動画像復号化装置の第１の動作例におけるダミーパケット挿入後のストリームの構成を示す図である。
【図７】本発明の実施の形態に係る動画像復号化装置の第１の動作例におけるＤＥＭＵＸ後のストリームの構成を示す図である。
【図８】本発明の実施の形態に係る動画像復号化装置の第２の動作例におけるダミーパケット挿入後のストリームの構成を示す図である。
【図９】本発明の実施の形態に係る動画像復号化装置の第２の動作例におけるＤＥＭＵＸ後のストリームの構成を示す図である。
【図１０】本発明の実施の形態に係る動画像復号化装置の第３の動作例におけるストリームの流れを示す図である。
【図１１】本発明の実施の形態に係る動画像復号化装置の第３の動作例におけるストリームの構成を示す図である。
【図１２】本発明の実施の形態に係る動画像復号化装置の第３の動作例におけるダミーパケット挿入後のストリームの構成を示す図である。
【図１３】本発明の実施の形態に係る動画像復号化装置の第３の動作例におけるＤＥＭＵＸ後のストリームの構成を示す図である。
【図１４】本発明の実施の形態に係る動画像復号化装置の第４の動作例におけるストリームの流れを示す図である。
【図１５】本発明の実施の形態に係る動画像復号化装置の第４の動作例におけるストリームの構成を示す図である。
【図１６】本発明の実施の形態に係る動画像復号化装置の第４の動作例におけるダミーパケット挿入後のストリームの構成を示す図である。
【符号の説明】
【０１６４】
１００ 動画像復号化装置
１０１ ファイルシステム制御部
１０２ 再生制御部
１０３ ストリーム制御部
１０４Ａ、１０４Ｂ データ転送部
１０５Ａ、１０５Ｂ ダミーパケット挿入部
１０６ ＤＥＭＵＸ部
１０７ シームレス検出部
１０８ デコード制御部
１０９ デコード部
１１０ 第１映像デコード部
１１１ 第１音声デコード部
１１２ 第２映像デコード部
１１３ 第２音声デコード部
１１４ ＡＶ入出力制御部
１１５ ＡＶ入出力部
１２０ 記録媒体
１２１ ＨＤＤ
１３１、１３２、１３３、１３４、１３５、１３６、１４１、１４２、１４３、１４４、１４５、１４６、１４７、１４８、１５１、１５２、１５３、１５４、１５５、１５６、１５７、１５８ ストリーム
２００ 主画像
２０１ サブ画像
２１０ ＴＳヘッダ
２１１ ＴＳペイロード
２１２ ＰＩＤ
２１３ ＳｕｂＳｅｑｕｅｎｃｅＮｏ
２１４ Ｄｕｍｍｙ＿ＩＤ
２１５ Ｂｕｆｆｅｒ＿ｉｎｄｉｃａｔｅ
２２０、２２１、２２２、２２３、２２４、２２５、２２６、２２７、２２８、２２９、２３０、２３１ ダミーパケット
【特許請求の範囲】
【請求項１】
複数の区間に分割されている１以上の動画像データストリームに多重化された同時に再生される第１映像データストリーム、第２映像データストリーム、第１音声データストリーム及び第２音声データストリームを並列に復号する動画像復号化装置であって、
前記１以上の動画像データストリームの前記区間の境界に、ダミーパケットを挿入するダミーパケット挿入部と、
前記ダミーパケット挿入部により前記ダミーパケットが挿入された動画像データストリームを前記第１映像データストリーム、前記第２映像データストリーム、前記第１音声データストリーム及び前記第２音声データストリームに分離する分離部と、
前記ダミーパケットが挿入された位置が、前記分離部により分離された前記第１映像データストリーム、前記第２映像データストリーム、前記第１音声データストリーム及び前記第２音声データストリームの境界であると検出する検出部と、
前記分離部により分離された前記第１映像データストリームを復号し、かつ前記検出部により検出された境界に対して映像を途切れなく再生させるための処理を行う第１映像復号部と、
前記分離部により分離された前記第２映像データストリームを復号し、かつ前記検出部により検出された境界に対して映像を途切れなく再生させるための処理を行う第２映像復号部と、
前記分離部により分離された前記第１音声データストリームを復号し、かつ前記検出部により検出された境界に対して音声を途切れなく再生させるための処理を行う第１音声復号部と、
前記分離部により分離された前記第２音声データストリームを復号し、かつ前記検出部により検出された境界に対して音声を途切れなく再生させるための処理を行う第２音声復号部とを備える
ことを特徴とする動画像復号化装置。
【請求項２】
前記ダミーパケット挿入部は、前記第１映像復号部、前記第２映像復号部、前記第１音声復号部及び前記第２音声復号部のそれぞれを指定するか否かを示す第１情報を含む前記ダミーパケットを挿入し、
前記第１映像復号部、前記第２映像復号部、前記第１音声復号部及び前記第２音声復号部は、前記第１情報により自身が指定される場合に、前記検出部により検出された境界に対して映像又は音声を途切れなく再生させるための処理を行う
ことを特徴とする請求項１記載の動画像復号化装置。
【請求項３】
前記ダミーパケット挿入部は、映像又は音声を途切れなく再生させるための前記処理の種別を示す第２情報を含む前記ダミーパケットを挿入し、
前記検出部は、さらに、前記第２情報に示される映像又は音声を途切れなく再生させるための前記処理の種別を検出し、
前記第１映像復号部、第２映像復号部、第１音声復号部及び第２音声復号部は、前記検出部により検出された境界に対して、前記検出部により検出された前記種別に従った映像又は音声を途切れなく再生させるための処理を行う
ことを特徴とする請求項１又は２記載の動画像復号化装置。
【請求項４】
前記ダミーパケット挿入部は、前記ダミーパケットの直後の前記区間を識別するための第３情報を含むダミーパケットを挿入し、
前記検出部は、前記ダミーパケットに含まれる前記第３情報を検出し、前記分離部により分離された前記第１映像データストリーム、前記第２映像データストリーム、前記第１音声データストリーム及び前記第２音声データストリームのそれぞれに検出した前記第３情報を関連付け、
前記第１映像復号部、第２映像復号部、第１音声復号部及び第２音声復号部は、同一の第３情報が関連付けられた前記第１映像データストリーム、前記第２映像データストリーム、前記第１音声データストリーム及び前記第２音声データストリームが同時刻に再生されるものとして、前記第１映像データストリーム、前記第２映像データストリーム、前記第１音声データストリーム及び前記第２音声データストリームに、映像又は音声を途切れなく再生させるための処理を行う
ことを特徴とする請求項１、２又は３記載の動画像復号化装置。
【請求項５】
複数の区間に分割されている１以上の動画像データストリームに多重化された同時に再生される第１映像データストリーム、第２映像データストリーム、第１音声データストリーム及び第２音声データストリームを並列に復号する動画像復号化方法であって、
前記１以上の動画像データストリームの前記区間の境界に、ダミーパケットを挿入するダミーパケット挿入ステップと、
前記ダミーパケットが挿入された動画像データストリームを前記第１映像データストリーム、前記第２映像データストリーム、前記第１音声データストリーム及び前記第２音声データストリームに分離する分離ステップと、
前記ダミーパケットが挿入された位置が、前記分離ステップで分離された前記第１映像データストリーム、前記第２映像データストリーム、前記第１音声データストリーム及び前記第２音声データストリームの境界であると検出する検出ステップと、
前記分離ステップで分離された前記第１映像データストリーム、前記第２映像データストリーム、前記第１音声データストリーム及び前記第２音声データストリームを並列に復号し、かつ前記検出ステップで検出された境界に対して映像及び音声を途切れなく再生させるための処理を行う復号ステップとを含む
ことを特徴とする動画像復号化方法。
【請求項６】
複数の区間に分割されている１以上の動画像データストリームに多重化された同時に再生される第１映像データストリーム、第２映像データストリーム、第１音声データストリーム及び第２音声データストリームを並列に復号する動画像復号化方法のプログラムであって、
前記１以上の動画像データストリームの前記区間の境界に、ダミーパケットを挿入するダミーパケット挿入ステップと、
前記ダミーパケットが挿入された動画像データストリームを前記第１映像データストリーム、前記第２映像データストリーム、前記第１音声データストリーム及び前記第２音声データストリームに分離する分離ステップと、
前記ダミーパケットが挿入された位置が、前記分離ステップで分離された前記第１映像データストリーム、前記第２映像データストリーム、前記第１音声データストリーム及び前記第２音声データストリームの境界であると検出する検出ステップと、
前記分離ステップで分離された前記第１映像データストリーム、前記第２映像データストリーム、前記第１音声データストリーム及び前記第２音声データストリームを並列に復号し、かつ前記検出ステップで検出された境界に対して映像及び音声を途切れなく再生させるための処理を行う復号ステップと
をコンピュータに実行させることを特徴とするプログラム。
【請求項１】
複数の区間に分割されている１以上の動画像データストリームに多重化された同時に再生される第１映像データストリーム、第２映像データストリーム、第１音声データストリーム及び第２音声データストリームを並列に復号する動画像復号化装置であって、
前記１以上の動画像データストリームの前記区間の境界に、ダミーパケットを挿入するダミーパケット挿入部と、
前記ダミーパケット挿入部により前記ダミーパケットが挿入された動画像データストリームを前記第１映像データストリーム、前記第２映像データストリーム、前記第１音声データストリーム及び前記第２音声データストリームに分離する分離部と、
前記ダミーパケットが挿入された位置が、前記分離部により分離された前記第１映像データストリーム、前記第２映像データストリーム、前記第１音声データストリーム及び前記第２音声データストリームの境界であると検出する検出部と、
前記分離部により分離された前記第１映像データストリームを復号し、かつ前記検出部により検出された境界に対して映像を途切れなく再生させるための処理を行う第１映像復号部と、
前記分離部により分離された前記第２映像データストリームを復号し、かつ前記検出部により検出された境界に対して映像を途切れなく再生させるための処理を行う第２映像復号部と、
前記分離部により分離された前記第１音声データストリームを復号し、かつ前記検出部により検出された境界に対して音声を途切れなく再生させるための処理を行う第１音声復号部と、
前記分離部により分離された前記第２音声データストリームを復号し、かつ前記検出部により検出された境界に対して音声を途切れなく再生させるための処理を行う第２音声復号部とを備える
ことを特徴とする動画像復号化装置。
【請求項２】
前記ダミーパケット挿入部は、前記第１映像復号部、前記第２映像復号部、前記第１音声復号部及び前記第２音声復号部のそれぞれを指定するか否かを示す第１情報を含む前記ダミーパケットを挿入し、
前記第１映像復号部、前記第２映像復号部、前記第１音声復号部及び前記第２音声復号部は、前記第１情報により自身が指定される場合に、前記検出部により検出された境界に対して映像又は音声を途切れなく再生させるための処理を行う
ことを特徴とする請求項１記載の動画像復号化装置。
【請求項３】
前記ダミーパケット挿入部は、映像又は音声を途切れなく再生させるための前記処理の種別を示す第２情報を含む前記ダミーパケットを挿入し、
前記検出部は、さらに、前記第２情報に示される映像又は音声を途切れなく再生させるための前記処理の種別を検出し、
前記第１映像復号部、第２映像復号部、第１音声復号部及び第２音声復号部は、前記検出部により検出された境界に対して、前記検出部により検出された前記種別に従った映像又は音声を途切れなく再生させるための処理を行う
ことを特徴とする請求項１又は２記載の動画像復号化装置。
【請求項４】
前記ダミーパケット挿入部は、前記ダミーパケットの直後の前記区間を識別するための第３情報を含むダミーパケットを挿入し、
前記検出部は、前記ダミーパケットに含まれる前記第３情報を検出し、前記分離部により分離された前記第１映像データストリーム、前記第２映像データストリーム、前記第１音声データストリーム及び前記第２音声データストリームのそれぞれに検出した前記第３情報を関連付け、
前記第１映像復号部、第２映像復号部、第１音声復号部及び第２音声復号部は、同一の第３情報が関連付けられた前記第１映像データストリーム、前記第２映像データストリーム、前記第１音声データストリーム及び前記第２音声データストリームが同時刻に再生されるものとして、前記第１映像データストリーム、前記第２映像データストリーム、前記第１音声データストリーム及び前記第２音声データストリームに、映像又は音声を途切れなく再生させるための処理を行う
ことを特徴とする請求項１、２又は３記載の動画像復号化装置。
【請求項５】
複数の区間に分割されている１以上の動画像データストリームに多重化された同時に再生される第１映像データストリーム、第２映像データストリーム、第１音声データストリーム及び第２音声データストリームを並列に復号する動画像復号化方法であって、
前記１以上の動画像データストリームの前記区間の境界に、ダミーパケットを挿入するダミーパケット挿入ステップと、
前記ダミーパケットが挿入された動画像データストリームを前記第１映像データストリーム、前記第２映像データストリーム、前記第１音声データストリーム及び前記第２音声データストリームに分離する分離ステップと、
前記ダミーパケットが挿入された位置が、前記分離ステップで分離された前記第１映像データストリーム、前記第２映像データストリーム、前記第１音声データストリーム及び前記第２音声データストリームの境界であると検出する検出ステップと、
前記分離ステップで分離された前記第１映像データストリーム、前記第２映像データストリーム、前記第１音声データストリーム及び前記第２音声データストリームを並列に復号し、かつ前記検出ステップで検出された境界に対して映像及び音声を途切れなく再生させるための処理を行う復号ステップとを含む
ことを特徴とする動画像復号化方法。
【請求項６】
複数の区間に分割されている１以上の動画像データストリームに多重化された同時に再生される第１映像データストリーム、第２映像データストリーム、第１音声データストリーム及び第２音声データストリームを並列に復号する動画像復号化方法のプログラムであって、
前記１以上の動画像データストリームの前記区間の境界に、ダミーパケットを挿入するダミーパケット挿入ステップと、
前記ダミーパケットが挿入された動画像データストリームを前記第１映像データストリーム、前記第２映像データストリーム、前記第１音声データストリーム及び前記第２音声データストリームに分離する分離ステップと、
前記ダミーパケットが挿入された位置が、前記分離ステップで分離された前記第１映像データストリーム、前記第２映像データストリーム、前記第１音声データストリーム及び前記第２音声データストリームの境界であると検出する検出ステップと、
前記分離ステップで分離された前記第１映像データストリーム、前記第２映像データストリーム、前記第１音声データストリーム及び前記第２音声データストリームを並列に復号し、かつ前記検出ステップで検出された境界に対して映像及び音声を途切れなく再生させるための処理を行う復号ステップと
をコンピュータに実行させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２００９−１０５６８４（Ｐ２００９−１０５６８４Ａ）
【公開日】平成２１年５月１４日（２００９．５．１４）
【国際特許分類】
【出願番号】特願２００７−２７５７０５（Ｐ２００７−２７５７０５）
【出願日】平成１９年１０月２３日（２００７．１０．２３）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２１年５月１４日（２００９．５．１４）
【国際特許分類】
【出願日】平成１９年１０月２３日（２００７．１０．２３）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]