データ同期処理装置、データ同期処理方法及びプログラム
【課題】処理負荷を軽減したデータ同期処理装置、データ同期処理方法及びプログラムを提供すること。
【解決手段】データ同期処理装置１０は、ビデオストリームとデータストリームとを同期させる装置である。また、データ同期処理装置１０は、ビデオストリームのピクチャレイヤ毎に記憶されたデータストリームと関連付けるためのタグ情報を検出するタグ情報検出手段と、タグ情報検出手段により検出されたタグ情報に基づいて、ビデオストリームの各ピクチャレイヤにデータストリームのデータを同期させる同期処理手段と、を備えている。
【解決手段】データ同期処理装置１０は、ビデオストリームとデータストリームとを同期させる装置である。また、データ同期処理装置１０は、ビデオストリームのピクチャレイヤ毎に記憶されたデータストリームと関連付けるためのタグ情報を検出するタグ情報検出手段と、タグ情報検出手段により検出されたタグ情報に基づいて、ビデオストリームの各ピクチャレイヤにデータストリームのデータを同期させる同期処理手段と、を備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオストリームとデータストリームとを同期させるデータ同期処理装置、データ同期処理方法及びプログラムに関するものである。
【背景技術】
【０００２】
一般に、デジタル放送の字幕、文字スーパー等のデータ放送のデータストリームと映像データなどのビデオストリームは、別々のＰＥＳ（Packetized Elementary Stream）で伝送されている。従って、例えば、字幕データ等の独立ＰＥＳを映像ＰＥＳと同期させて表示させる場合、各ＰＥＳに含まれるＰＴＳ（Presentation Time Stamp）という時刻情報に従って各ＰＥＳを表示させることで、字幕データ等の独立ＰＥＳと映像ＰＥＳとが同期して表示される（図５）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１２２１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、ＨＤＤレコーダのような録画機器で記憶容量を削減する目的で、映像を低いビットレートのストリームへ再圧縮して録画される場合がある。このとき、映像ＰＥＳのＰＴＳが変化し、映像ＰＥＳと字幕データなどの独立ＰＥＳとの同期が乱れてしまうことがある。（例えば、映像より字幕の方が先に表示されることがある。）この対策として、映像のビットレートを変換する際に、独立ＰＥＳのＰＴＳも同時に書き換える処理が想定されるが、データストリーム中を確認する必要があるため、処理負荷が増加する。
【０００５】
一方、多重化ストリームにランダムアクセスして、再生を行う映像などのビデオストリームと、音声などのオーディオストリーム及び字幕などの字幕ストリームと、を同期させる技術が知られている（例えば、特許文献１参照）。
【０００６】
ここで、上記ビデオストリームの動画像符号化処理レイヤにおいて、未来のフレームを参照するフレーム間予測符号化が行われることがある。この場合、ランダムアクセスポイントから再生を行った場合、フレームの復号順序と表示順序とが一致しないこととなる。したがって、ランダムアクセスの際に、システムレイヤで取得されたＰＴＳ情報を、その状態で、映像と音声及び字幕との同期再生のための基準タイムスタンプとして利用することができない。
【０００７】
そこで、復号先頭ピクチャの再生タイムスタンプに基づいて、最初に表示される表示先頭ピクチャの再生タイムスタンプを算出し、算出した表示先頭ピクチャのＰＴＳ情報を基準にして、映像と音声及び字幕とを同期させることとなる。このように、ビデオストリームと、このビデオストリームと関連するデータストリームとを、ＰＴＳという時刻情報で関連付けられている場合、ビデオストリームのピクチャ単位での制御や管理が困難となり、処理負荷の増加が懸念される。
【課題を解決するための手段】
【０００８】
本発明の一態様は、ビデオストリームとデータストリームとを同期させるデータ同期処理装置であって、前記ビデオストリームのピクチャレイヤ毎に記憶された前記データストリームと関連付けるためのタグ情報を検出するタグ情報検出手段と、前記タグ情報検出手段により検出されたタグ情報に基づいて、前記ビデオストリームの各ピクチャレイヤに前記データストリームのデータを同期させる同期処理手段と、を備える、ことを特徴とするデータ同期処理装置である。
【０００９】
これにより、タグ情報検出手段はビデオストリームのピクチャレイヤ毎に記憶されたタグ情報を検出し、同期処理手段は、検出されたタグ情報のピクチャレイヤに、そのタグ情報に関連付けられたビデオストリームのデータを同期させる。したがって、ビデオストリームのピクチャ単位で容易に制御や管理ができ、処理負荷を軽減することができる。
【００１０】
また、本発明の一態様は、ビデオストリームとデータストリームとを同期させるデータ同期処理方法であって、前記ビデオストリームのピクチャレイヤ毎に記憶された前記データストリームと関連付けるためのタグ情報を検出する工程と、前記検出されたタグ情報に基づいて、前記ビデオストリームの各ピクチャレイヤに前記データストリームのデータを同期させる工程と、を含む、ことを特徴とするデータ同期処理方法であってもよい。
【００１１】
さらに、本発明の一態様は、ビデオストリームとデータストリームとを同期させるデータ同期処理装置のプログラムであって、前記ビデオストリームのピクチャレイヤ毎に記憶された前記データストリームと関連付けるためのタグ情報を検出する処理と、前記検出されたタグ情報に基づいて、前記ビデオストリームの各ピクチャレイヤに前記データストリームのデータを同期させる処理と、をコンピュータに実行させることを特徴とするデータ同期処理装置のプログラムであってもよい。
【発明の効果】
【００１２】
本発明によれば、処理負荷を軽減したデータ同期処理装置、データ同期処理方法及びプログラムを提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施の形態に係るデータ同期処理装置の概略的なシステム構成を示すブロック図である。
【図２】映像ＰＥＳにおいて同期させる最初のピクチャレイヤのユーザデータ領域のみにタグ情報が記憶されている場合の一例を示す図である。
【図３】映像ＰＥＳにおいて同期させる全てのピクチャレイヤのユーザデータ領域にタグ情報が記憶されている場合の一例を示す図である。
【図４】本発明の実施の形態に係るデータ同期処理装置によるデータ同期処理の一例を示すフローチャートである。
【図５】ＰＴＳに従って字幕データ等の独立ＰＥＳと映像ＰＥＳとが同期して表示される一例を示す図である。
【発明を実施するための形態】
【００１４】
以下、図面を参照して本発明の実施の形態について説明する。図１は、本発明の一実施の形態に係るデータ同期処理装置の概略的なシステム構成を示すブロック図である。本実施の形態に係るデータ同期処理装置１０は、ビデオストリームと、このビデオストリームと関連するデータストリームとを同期させる装置である。また、データ同期処理装置１０は、多重化ストリームが入力されるシステムデコーダ１と、システムデコーダ１に接続された映像デコーダ２と、システムデコーダ１に接続された字幕デコーダ３と、映像デコーダ２及び字幕デコーダ３が接続された出力装置４と、を備えている。
【００１５】
システムデコーダ１は、分離手段の一具体例であり、ビデオストリームとデータストリームとが多重化された多重化ストリームが入力される。この多重化ストリームは、例えば、ビデオ及び字幕等のデータのＰＥＳ（Packetized Elementary Stream）を、ＭＰＥＧ（Moving Picture Experts Group）システムのプログラムストリームとして多重化してなる。
【００１６】
システムデコーダ１は、入力された多重化ストリームを、映像ＰＥＳと独立ＰＥＳと、に分離する。ここで、独立ＰＥＳは、デジタル放送の字幕データストリームであるが、これに限らず、例えば、データ放送における文字スーパー、広告情報などの、映像と同期させる任意のデータストリームを含む。システムデコーダ１は、分離した映像ＰＥＳを映像デコーダ２に対して出力し、分離した独立ＰＥＳを字幕デコーダ３に対して出力する。
【００１７】
映像デコーダ２は、タグ情報検出手段の一具体例であり、システムデコーダ１から出力された映像ＰＥＳをバッファリングしつつ、符号化された映像ＰＥＳのデータに対して復号処理を行う。また、映像デコーダ２は、映像ＰＥＳの各ピクチャレイヤのユーザデータ領域に記憶されたタグ情報を検出する。
【００１８】
ここで、タグ情報は、例えば、独立ＰＥＳのＰＩＤ（ソースコード）と、ＡＢＩＢ ＳＴＤ−Ｂ２４（デジタル放送におけるデータ放送符号化方式及び伝送方式）に記載されたdata_group_versionと、で構成されているが、これに限らず、例えば、既存のデータ放送の識別データであってもよい。また、タグ情報は、入力装置を介して、任意の識別情報が各ピクチャレイヤのユーザデータ領域に入力される構成であってもよい。さらに、タグ情報は、各ピクチャレイヤのユーザデータ領域に記憶されているが、これに限らず、各ピクチャレイヤ毎に記憶されていれば、任意の領域に記憶させてもよい。
【００１９】
映像デコーダ２は、映像ＰＥＳの各ピクチャレイヤのユーザデータ領域からタグ情報を検出すると、検出したタグ情報を字幕デコーダ３に対して出力する。また、映像デコーダ２は、復号化された映像データを出力装置４に対して出力する。
【００２０】
字幕デコーダ３は、同期処理手段の一具体例であり、システムデコーダ１から出力された独立ＰＥＳをバッファリングしつつ、符号化された独立ＰＥＳのデータに対して復号処理を行う。
【００２１】
字幕デコーダ３は、復号化した字幕などのデータを出力装置４に対して出力する。このとき、字幕デコーダ３は、映像デコーダ２から出力されたタグ情報に基づいて、映像ＰＥＳに独立ＰＥＳを同期させるように、出力装置４に対してデータの出力を行う。
【００２２】
出力装置４は、例えば、液晶ディスプレイやＬＥＤディスプレイなどの表示部を用いて画像出力、あるいはスピーカを用いて音声出力等が可能な装置である。出力装置４は、映像デコーダ２から出力された映像データと、字幕デコーダから出力された字幕データと、を複合し、映像と字幕とを同期させて出力する。
【００２３】
例えば、図２に示すように、映像ＰＥＳにおいて同期させる最初のピクチャレイヤ（変化点となるピクチャレイヤ）のユーザデータ領域のみにタグ情報が記憶されている場合を想定する。
【００２４】
この場合、字幕デコーダ３は、映像デコーダ２から最初のピクチャレイヤのタグ情報を受信すると、そのタグ情報に関連付けされた字幕データを、出力装置４に対してそのピクチャレイヤと同期させて出力する。さらに、字幕デコーダ３は、それ以降の各ピクチャレイヤに同期させてその字幕データを出力する。この場合、タグ情報は最初のピクチャレイヤのユーザデータ領域にのみ記憶させればよいため、その記憶容量を小さく抑えることができる。
【００２５】
また、図３に示すように、映像ＰＥＳにおいて同期させる全てのピクチャレイヤのユーザデータ領域にタグ情報が記憶されている場合を想定する。この場合、字幕デコーダ３は、映像デコーダ２から各ピクチャレイヤのタグ情報を受信する毎に、そのタグ情報に関連付けされた字幕データを、出力装置４に対してそのピクチャレイヤと同期させて出力する。
【００２６】
この場合、例えば、途中からビデオ再生を行う場合でも即座に同期が可能となる。なお、上述のように、同期させる最初のピクチャレイヤのユーザデータ領域あるは同期させる全てのピクチャレイヤのユーザデータ領域に、タグ情報を記憶させる場合について説明したが、これらに限らず、任意の記憶方法が適用可能である。
【００２７】
次に、本実施の形態に係るデータ同期処理装置１０によるデータ同期処理方法について、詳細に説明する。図４は、本実施の形態に係るデータ同期処理装置によるデータ同期処理の一例を示すフローチャートである。
【００２８】
まず、システムデコーダ１は、入力された多重化ストリームを映像ＰＥＳと独立ＰＥＳとに分離し、分離した映像ＰＥＳを映像デコーダ２に対して出力し、分離した独立ＰＥＳを字幕デコーダ３に対して出力する（ステップＳ１０１）。
【００２９】
次に、映像デコーダ２は、システムデコーダ１から出力された映像ＰＥＳに対して復号化処理を行い（ステップＳ１０２）、復号化した映像データを出力装置４に対して出力する。
【００３０】
また、映像デコーダ２は、映像ＰＥＳの各ピクチャレイヤのユーザデータ領域に記憶されたタグ情報を検出する（ステップＳ１０３）。
【００３１】
映像デコーダ２は、映像ＰＥＳの各ピクチャレイヤのユーザデータ領域からタグ情報を検出できた場合（ステップＳ１０３のＹＥＳ）、検出したタグ情報を字幕デコーダ３に対して出力する（ステップＳ１０４）。一方、映像デコーダ２は、映像ＰＥＳの各ピクチャレイヤのユーザデータ領域からタグ情報を検出できない場合（ステップＳ１０３のＮＯ）、ユーザデータ領域の情報に応じた処理を行い（ステップＳ１０５）、本処理を終了する。
【００３２】
字幕デコーダ３は、システムデコーダ１から出力された独立ＰＥＳに対して復号化処理を行い、映像デコーダ２から出力されたタグ情報に応じて、タグ情報に関連付けされた字幕データをそのピクチャレイヤと同期させて出力装置４に対して出力する（ステップＳ１０６）。出力装置４は、各ピクチャレイヤの映像データと、各ピクチャレイヤと関連付けされた字幕データとを複合処理し（ステップＳ１０７）、映像と字幕を同期させて表示部に出力する（ステップＳ１０８）。
【００３３】
以上、本実施の形態に係るデータ同期処理装置１０において、映像デコーダ２は、ビデオストリームのピクチャレイヤ毎に記憶されたタグ情報を検出して字幕デコーダ３に出力し、字幕デコーダ３は、映像デコーダ２から出力されたタグ情報のピクチャレイヤに、そのタグ情報に関連付けられたビデオストリームのデータを同期させる。これにより、ビデオストリームのピクチャ単位で容易に制御や管理ができ、処理負荷を軽減することができる。
【００３４】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
【００３５】
また、上述の実施の形態では、本発明をハードウェアの構成として説明したが、本発明は、これに限定されるものではない。本発明は、図４に示す処理を、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。）
【００３６】
プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。
【００３７】
ここで、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【００３８】
また、上記実施の形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【００３９】
（付記１）
ビデオストリームとデータストリームとを同期させるデータ同期処理装置であって、
前記ビデオストリームのピクチャレイヤ毎に記憶された前記データストリームと関連付けるためのタグ情報を検出するタグ情報検出手段と、
前記タグ情報検出手段により検出されたタグ情報に基づいて、前記ビデオストリームの各ピクチャレイヤに前記データストリームのデータを同期させる同期処理手段と、を備える、ことを特徴とするデータ同期処理装置。
【００４０】
（付記２）
（付記１）のデータ同期処理装置であって、前記タグ情報は、前記ビデオストリームにおける各ピクチャレイヤのユーザデータ領域に記憶されている、ことを特徴とするデータ同期処理装置。
【００４１】
（付記３）
（付記１）又は（付記２）のデータ同期処理装置であって、前記タグ情報は、同期させる最初のピクチャレイヤにのみ記憶されている、ことを特徴とするデータ同期処理装置。
【００４２】
（付記４）
（付記１）乃至（付記３）のうちいずれかのデータ同期処理装置であって、前記タグ情報は、同期させる全てのピクチャレイヤに記憶されている、ことを特徴とするデータ同期処理装置。
【００４３】
（付記５）
（付記１）乃至（付記４）のうちいずれかのデータ同期処理装置であって、前記タグ情報は、データ放送を識別するための識別データを含む、ことを特徴とするデータ同期処理装置。
【００４４】
（付記６）
（付記１）乃至（付記５）のうちいずれかのデータ同期処理装置であって、前記ビデオストリームと前記データストリームとが多重化された多重化ストリームから、前記ビデオストリームと前記データストリームとを分離する分離手段を更に備える、ことを特徴とするデータ同期処理装置。
【００４５】
（付記７）
ビデオストリームとデータストリームとを同期させるデータ同期処理方法であって、前記ビデオストリームのピクチャレイヤ毎に記憶された前記データストリームと関連付けるためのタグ情報を検出する工程と、前記検出されたタグ情報に基づいて、前記ビデオストリームの各ピクチャレイヤに前記データストリームのデータを同期させる工程と、を含む、ことを特徴とするデータ同期処理方法。
【００４６】
（付記８）
（付記７）のデータ同期処理方法であって、前記ビデオストリームにおける各ピクチャレイヤのユーザデータ領域にタグ情報を記憶させる工程を更に含む、ことを特徴とするデータ同期処理方法。
【００４７】
（付記９）
ビデオストリームとデータストリームとを同期させるデータ同期処理装置のプログラムであって、前記ビデオストリームのピクチャレイヤ毎に記憶された前記データストリームと関連付けるためのタグ情報を検出する処理と、前記検出されたタグ情報に基づいて、前記ビデオストリームの各ピクチャレイヤに前記データストリームのデータを同期させる処理と、をコンピュータに実行させることを特徴とするデータ同期処理装置のプログラム。
【００４８】
（付記１０）
（付記９）のデータ同期処理装置のプログラムを記憶することを特徴とするコンピュータ可読媒体。
【符号の説明】
【００４９】
１ システムデコーダ
２ 映像デコーダ
３ 字幕デコーダ
４ 出力装置
１０ データ同期処理装置
【技術分野】
【０００１】
本発明は、ビデオストリームとデータストリームとを同期させるデータ同期処理装置、データ同期処理方法及びプログラムに関するものである。
【背景技術】
【０００２】
一般に、デジタル放送の字幕、文字スーパー等のデータ放送のデータストリームと映像データなどのビデオストリームは、別々のＰＥＳ（Packetized Elementary Stream）で伝送されている。従って、例えば、字幕データ等の独立ＰＥＳを映像ＰＥＳと同期させて表示させる場合、各ＰＥＳに含まれるＰＴＳ（Presentation Time Stamp）という時刻情報に従って各ＰＥＳを表示させることで、字幕データ等の独立ＰＥＳと映像ＰＥＳとが同期して表示される（図５）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１２２１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、ＨＤＤレコーダのような録画機器で記憶容量を削減する目的で、映像を低いビットレートのストリームへ再圧縮して録画される場合がある。このとき、映像ＰＥＳのＰＴＳが変化し、映像ＰＥＳと字幕データなどの独立ＰＥＳとの同期が乱れてしまうことがある。（例えば、映像より字幕の方が先に表示されることがある。）この対策として、映像のビットレートを変換する際に、独立ＰＥＳのＰＴＳも同時に書き換える処理が想定されるが、データストリーム中を確認する必要があるため、処理負荷が増加する。
【０００５】
一方、多重化ストリームにランダムアクセスして、再生を行う映像などのビデオストリームと、音声などのオーディオストリーム及び字幕などの字幕ストリームと、を同期させる技術が知られている（例えば、特許文献１参照）。
【０００６】
ここで、上記ビデオストリームの動画像符号化処理レイヤにおいて、未来のフレームを参照するフレーム間予測符号化が行われることがある。この場合、ランダムアクセスポイントから再生を行った場合、フレームの復号順序と表示順序とが一致しないこととなる。したがって、ランダムアクセスの際に、システムレイヤで取得されたＰＴＳ情報を、その状態で、映像と音声及び字幕との同期再生のための基準タイムスタンプとして利用することができない。
【０００７】
そこで、復号先頭ピクチャの再生タイムスタンプに基づいて、最初に表示される表示先頭ピクチャの再生タイムスタンプを算出し、算出した表示先頭ピクチャのＰＴＳ情報を基準にして、映像と音声及び字幕とを同期させることとなる。このように、ビデオストリームと、このビデオストリームと関連するデータストリームとを、ＰＴＳという時刻情報で関連付けられている場合、ビデオストリームのピクチャ単位での制御や管理が困難となり、処理負荷の増加が懸念される。
【課題を解決するための手段】
【０００８】
本発明の一態様は、ビデオストリームとデータストリームとを同期させるデータ同期処理装置であって、前記ビデオストリームのピクチャレイヤ毎に記憶された前記データストリームと関連付けるためのタグ情報を検出するタグ情報検出手段と、前記タグ情報検出手段により検出されたタグ情報に基づいて、前記ビデオストリームの各ピクチャレイヤに前記データストリームのデータを同期させる同期処理手段と、を備える、ことを特徴とするデータ同期処理装置である。
【０００９】
これにより、タグ情報検出手段はビデオストリームのピクチャレイヤ毎に記憶されたタグ情報を検出し、同期処理手段は、検出されたタグ情報のピクチャレイヤに、そのタグ情報に関連付けられたビデオストリームのデータを同期させる。したがって、ビデオストリームのピクチャ単位で容易に制御や管理ができ、処理負荷を軽減することができる。
【００１０】
また、本発明の一態様は、ビデオストリームとデータストリームとを同期させるデータ同期処理方法であって、前記ビデオストリームのピクチャレイヤ毎に記憶された前記データストリームと関連付けるためのタグ情報を検出する工程と、前記検出されたタグ情報に基づいて、前記ビデオストリームの各ピクチャレイヤに前記データストリームのデータを同期させる工程と、を含む、ことを特徴とするデータ同期処理方法であってもよい。
【００１１】
さらに、本発明の一態様は、ビデオストリームとデータストリームとを同期させるデータ同期処理装置のプログラムであって、前記ビデオストリームのピクチャレイヤ毎に記憶された前記データストリームと関連付けるためのタグ情報を検出する処理と、前記検出されたタグ情報に基づいて、前記ビデオストリームの各ピクチャレイヤに前記データストリームのデータを同期させる処理と、をコンピュータに実行させることを特徴とするデータ同期処理装置のプログラムであってもよい。
【発明の効果】
【００１２】
本発明によれば、処理負荷を軽減したデータ同期処理装置、データ同期処理方法及びプログラムを提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施の形態に係るデータ同期処理装置の概略的なシステム構成を示すブロック図である。
【図２】映像ＰＥＳにおいて同期させる最初のピクチャレイヤのユーザデータ領域のみにタグ情報が記憶されている場合の一例を示す図である。
【図３】映像ＰＥＳにおいて同期させる全てのピクチャレイヤのユーザデータ領域にタグ情報が記憶されている場合の一例を示す図である。
【図４】本発明の実施の形態に係るデータ同期処理装置によるデータ同期処理の一例を示すフローチャートである。
【図５】ＰＴＳに従って字幕データ等の独立ＰＥＳと映像ＰＥＳとが同期して表示される一例を示す図である。
【発明を実施するための形態】
【００１４】
以下、図面を参照して本発明の実施の形態について説明する。図１は、本発明の一実施の形態に係るデータ同期処理装置の概略的なシステム構成を示すブロック図である。本実施の形態に係るデータ同期処理装置１０は、ビデオストリームと、このビデオストリームと関連するデータストリームとを同期させる装置である。また、データ同期処理装置１０は、多重化ストリームが入力されるシステムデコーダ１と、システムデコーダ１に接続された映像デコーダ２と、システムデコーダ１に接続された字幕デコーダ３と、映像デコーダ２及び字幕デコーダ３が接続された出力装置４と、を備えている。
【００１５】
システムデコーダ１は、分離手段の一具体例であり、ビデオストリームとデータストリームとが多重化された多重化ストリームが入力される。この多重化ストリームは、例えば、ビデオ及び字幕等のデータのＰＥＳ（Packetized Elementary Stream）を、ＭＰＥＧ（Moving Picture Experts Group）システムのプログラムストリームとして多重化してなる。
【００１６】
システムデコーダ１は、入力された多重化ストリームを、映像ＰＥＳと独立ＰＥＳと、に分離する。ここで、独立ＰＥＳは、デジタル放送の字幕データストリームであるが、これに限らず、例えば、データ放送における文字スーパー、広告情報などの、映像と同期させる任意のデータストリームを含む。システムデコーダ１は、分離した映像ＰＥＳを映像デコーダ２に対して出力し、分離した独立ＰＥＳを字幕デコーダ３に対して出力する。
【００１７】
映像デコーダ２は、タグ情報検出手段の一具体例であり、システムデコーダ１から出力された映像ＰＥＳをバッファリングしつつ、符号化された映像ＰＥＳのデータに対して復号処理を行う。また、映像デコーダ２は、映像ＰＥＳの各ピクチャレイヤのユーザデータ領域に記憶されたタグ情報を検出する。
【００１８】
ここで、タグ情報は、例えば、独立ＰＥＳのＰＩＤ（ソースコード）と、ＡＢＩＢ ＳＴＤ−Ｂ２４（デジタル放送におけるデータ放送符号化方式及び伝送方式）に記載されたdata_group_versionと、で構成されているが、これに限らず、例えば、既存のデータ放送の識別データであってもよい。また、タグ情報は、入力装置を介して、任意の識別情報が各ピクチャレイヤのユーザデータ領域に入力される構成であってもよい。さらに、タグ情報は、各ピクチャレイヤのユーザデータ領域に記憶されているが、これに限らず、各ピクチャレイヤ毎に記憶されていれば、任意の領域に記憶させてもよい。
【００１９】
映像デコーダ２は、映像ＰＥＳの各ピクチャレイヤのユーザデータ領域からタグ情報を検出すると、検出したタグ情報を字幕デコーダ３に対して出力する。また、映像デコーダ２は、復号化された映像データを出力装置４に対して出力する。
【００２０】
字幕デコーダ３は、同期処理手段の一具体例であり、システムデコーダ１から出力された独立ＰＥＳをバッファリングしつつ、符号化された独立ＰＥＳのデータに対して復号処理を行う。
【００２１】
字幕デコーダ３は、復号化した字幕などのデータを出力装置４に対して出力する。このとき、字幕デコーダ３は、映像デコーダ２から出力されたタグ情報に基づいて、映像ＰＥＳに独立ＰＥＳを同期させるように、出力装置４に対してデータの出力を行う。
【００２２】
出力装置４は、例えば、液晶ディスプレイやＬＥＤディスプレイなどの表示部を用いて画像出力、あるいはスピーカを用いて音声出力等が可能な装置である。出力装置４は、映像デコーダ２から出力された映像データと、字幕デコーダから出力された字幕データと、を複合し、映像と字幕とを同期させて出力する。
【００２３】
例えば、図２に示すように、映像ＰＥＳにおいて同期させる最初のピクチャレイヤ（変化点となるピクチャレイヤ）のユーザデータ領域のみにタグ情報が記憶されている場合を想定する。
【００２４】
この場合、字幕デコーダ３は、映像デコーダ２から最初のピクチャレイヤのタグ情報を受信すると、そのタグ情報に関連付けされた字幕データを、出力装置４に対してそのピクチャレイヤと同期させて出力する。さらに、字幕デコーダ３は、それ以降の各ピクチャレイヤに同期させてその字幕データを出力する。この場合、タグ情報は最初のピクチャレイヤのユーザデータ領域にのみ記憶させればよいため、その記憶容量を小さく抑えることができる。
【００２５】
また、図３に示すように、映像ＰＥＳにおいて同期させる全てのピクチャレイヤのユーザデータ領域にタグ情報が記憶されている場合を想定する。この場合、字幕デコーダ３は、映像デコーダ２から各ピクチャレイヤのタグ情報を受信する毎に、そのタグ情報に関連付けされた字幕データを、出力装置４に対してそのピクチャレイヤと同期させて出力する。
【００２６】
この場合、例えば、途中からビデオ再生を行う場合でも即座に同期が可能となる。なお、上述のように、同期させる最初のピクチャレイヤのユーザデータ領域あるは同期させる全てのピクチャレイヤのユーザデータ領域に、タグ情報を記憶させる場合について説明したが、これらに限らず、任意の記憶方法が適用可能である。
【００２７】
次に、本実施の形態に係るデータ同期処理装置１０によるデータ同期処理方法について、詳細に説明する。図４は、本実施の形態に係るデータ同期処理装置によるデータ同期処理の一例を示すフローチャートである。
【００２８】
まず、システムデコーダ１は、入力された多重化ストリームを映像ＰＥＳと独立ＰＥＳとに分離し、分離した映像ＰＥＳを映像デコーダ２に対して出力し、分離した独立ＰＥＳを字幕デコーダ３に対して出力する（ステップＳ１０１）。
【００２９】
次に、映像デコーダ２は、システムデコーダ１から出力された映像ＰＥＳに対して復号化処理を行い（ステップＳ１０２）、復号化した映像データを出力装置４に対して出力する。
【００３０】
また、映像デコーダ２は、映像ＰＥＳの各ピクチャレイヤのユーザデータ領域に記憶されたタグ情報を検出する（ステップＳ１０３）。
【００３１】
映像デコーダ２は、映像ＰＥＳの各ピクチャレイヤのユーザデータ領域からタグ情報を検出できた場合（ステップＳ１０３のＹＥＳ）、検出したタグ情報を字幕デコーダ３に対して出力する（ステップＳ１０４）。一方、映像デコーダ２は、映像ＰＥＳの各ピクチャレイヤのユーザデータ領域からタグ情報を検出できない場合（ステップＳ１０３のＮＯ）、ユーザデータ領域の情報に応じた処理を行い（ステップＳ１０５）、本処理を終了する。
【００３２】
字幕デコーダ３は、システムデコーダ１から出力された独立ＰＥＳに対して復号化処理を行い、映像デコーダ２から出力されたタグ情報に応じて、タグ情報に関連付けされた字幕データをそのピクチャレイヤと同期させて出力装置４に対して出力する（ステップＳ１０６）。出力装置４は、各ピクチャレイヤの映像データと、各ピクチャレイヤと関連付けされた字幕データとを複合処理し（ステップＳ１０７）、映像と字幕を同期させて表示部に出力する（ステップＳ１０８）。
【００３３】
以上、本実施の形態に係るデータ同期処理装置１０において、映像デコーダ２は、ビデオストリームのピクチャレイヤ毎に記憶されたタグ情報を検出して字幕デコーダ３に出力し、字幕デコーダ３は、映像デコーダ２から出力されたタグ情報のピクチャレイヤに、そのタグ情報に関連付けられたビデオストリームのデータを同期させる。これにより、ビデオストリームのピクチャ単位で容易に制御や管理ができ、処理負荷を軽減することができる。
【００３４】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
【００３５】
また、上述の実施の形態では、本発明をハードウェアの構成として説明したが、本発明は、これに限定されるものではない。本発明は、図４に示す処理を、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。）
【００３６】
プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。
【００３７】
ここで、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【００３８】
また、上記実施の形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【００３９】
（付記１）
ビデオストリームとデータストリームとを同期させるデータ同期処理装置であって、
前記ビデオストリームのピクチャレイヤ毎に記憶された前記データストリームと関連付けるためのタグ情報を検出するタグ情報検出手段と、
前記タグ情報検出手段により検出されたタグ情報に基づいて、前記ビデオストリームの各ピクチャレイヤに前記データストリームのデータを同期させる同期処理手段と、を備える、ことを特徴とするデータ同期処理装置。
【００４０】
（付記２）
（付記１）のデータ同期処理装置であって、前記タグ情報は、前記ビデオストリームにおける各ピクチャレイヤのユーザデータ領域に記憶されている、ことを特徴とするデータ同期処理装置。
【００４１】
（付記３）
（付記１）又は（付記２）のデータ同期処理装置であって、前記タグ情報は、同期させる最初のピクチャレイヤにのみ記憶されている、ことを特徴とするデータ同期処理装置。
【００４２】
（付記４）
（付記１）乃至（付記３）のうちいずれかのデータ同期処理装置であって、前記タグ情報は、同期させる全てのピクチャレイヤに記憶されている、ことを特徴とするデータ同期処理装置。
【００４３】
（付記５）
（付記１）乃至（付記４）のうちいずれかのデータ同期処理装置であって、前記タグ情報は、データ放送を識別するための識別データを含む、ことを特徴とするデータ同期処理装置。
【００４４】
（付記６）
（付記１）乃至（付記５）のうちいずれかのデータ同期処理装置であって、前記ビデオストリームと前記データストリームとが多重化された多重化ストリームから、前記ビデオストリームと前記データストリームとを分離する分離手段を更に備える、ことを特徴とするデータ同期処理装置。
【００４５】
（付記７）
ビデオストリームとデータストリームとを同期させるデータ同期処理方法であって、前記ビデオストリームのピクチャレイヤ毎に記憶された前記データストリームと関連付けるためのタグ情報を検出する工程と、前記検出されたタグ情報に基づいて、前記ビデオストリームの各ピクチャレイヤに前記データストリームのデータを同期させる工程と、を含む、ことを特徴とするデータ同期処理方法。
【００４６】
（付記８）
（付記７）のデータ同期処理方法であって、前記ビデオストリームにおける各ピクチャレイヤのユーザデータ領域にタグ情報を記憶させる工程を更に含む、ことを特徴とするデータ同期処理方法。
【００４７】
（付記９）
ビデオストリームとデータストリームとを同期させるデータ同期処理装置のプログラムであって、前記ビデオストリームのピクチャレイヤ毎に記憶された前記データストリームと関連付けるためのタグ情報を検出する処理と、前記検出されたタグ情報に基づいて、前記ビデオストリームの各ピクチャレイヤに前記データストリームのデータを同期させる処理と、をコンピュータに実行させることを特徴とするデータ同期処理装置のプログラム。
【００４８】
（付記１０）
（付記９）のデータ同期処理装置のプログラムを記憶することを特徴とするコンピュータ可読媒体。
【符号の説明】
【００４９】
１ システムデコーダ
２ 映像デコーダ
３ 字幕デコーダ
４ 出力装置
１０ データ同期処理装置
【特許請求の範囲】
【請求項１】
ビデオストリームとデータストリームとを同期させるデータ同期処理装置であって、
前記ビデオストリームのピクチャレイヤ毎に記憶された前記データストリームと関連付けるためのタグ情報を検出するタグ情報検出手段と、
前記タグ情報検出手段により検出されたタグ情報に基づいて、前記ビデオストリームの各ピクチャレイヤに前記データストリームのデータを同期させる同期処理手段と、を備える、ことを特徴とするデータ同期処理装置。
【請求項２】
請求項１記載のデータ同期処理装置であって、
前記タグ情報は、前記ビデオストリームにおける各ピクチャレイヤのユーザデータ領域に記憶されている、ことを特徴とするデータ同期処理装置。
【請求項３】
請求項１又は２記載のデータ同期処理装置であって、
前記タグ情報は、同期させる最初のピクチャレイヤにのみ記憶されている、ことを特徴とするデータ同期処理装置。
【請求項４】
請求項１乃至３のうちいずれか１項記載のデータ同期処理装置であって、
前記タグ情報は、同期させる全てのピクチャレイヤに記憶されている、ことを特徴とするデータ同期処理装置。
【請求項５】
請求項１乃至４のうちいずれか１項記載のデータ同期処理装置であって、
前記タグ情報は、データ放送を識別するための識別データを含む、ことを特徴とするデータ同期処理装置。
【請求項６】
請求項１乃至５のうちいずれか１項記載のデータ同期処理装置であって、
前記ビデオストリームと前記データストリームとが多重化された多重化ストリームから、前記ビデオストリームと前記データストリームとを分離する分離手段を更に備える、ことを特徴とするデータ同期処理装置。
【請求項７】
ビデオストリームとデータストリームとを同期させるデータ同期処理方法であって、
前記ビデオストリームのピクチャレイヤ毎に記憶された前記データストリームと関連付けるためのタグ情報を検出する工程と、
前記検出されたタグ情報に基づいて、前記ビデオストリームの各ピクチャレイヤに前記データストリームのデータを同期させる工程と、を含む、ことを特徴とするデータ同期処理方法。
【請求項８】
請求項７記載のデータ同期処理方法であって、
前記ビデオストリームにおける各ピクチャレイヤのユーザデータ領域にタグ情報を記憶させる工程を更に含む、ことを特徴とするデータ同期処理方法。
【請求項９】
ビデオストリームとデータストリームとを同期させるデータ同期処理装置のプログラムであって、
前記ビデオストリームのピクチャレイヤ毎に記憶された前記データストリームと関連付けるためのタグ情報を検出する処理と、
前記検出されたタグ情報に基づいて、前記ビデオストリームの各ピクチャレイヤに前記データストリームのデータを同期させる処理と、をコンピュータに実行させることを特徴とするデータ同期処理装置のプログラム。
【請求項１０】
請求項９に記載のデータ同期処理装置のプログラムを記憶することを特徴とするコンピュータ可読媒体。
【請求項１】
ビデオストリームとデータストリームとを同期させるデータ同期処理装置であって、
前記ビデオストリームのピクチャレイヤ毎に記憶された前記データストリームと関連付けるためのタグ情報を検出するタグ情報検出手段と、
前記タグ情報検出手段により検出されたタグ情報に基づいて、前記ビデオストリームの各ピクチャレイヤに前記データストリームのデータを同期させる同期処理手段と、を備える、ことを特徴とするデータ同期処理装置。
【請求項２】
請求項１記載のデータ同期処理装置であって、
前記タグ情報は、前記ビデオストリームにおける各ピクチャレイヤのユーザデータ領域に記憶されている、ことを特徴とするデータ同期処理装置。
【請求項３】
請求項１又は２記載のデータ同期処理装置であって、
前記タグ情報は、同期させる最初のピクチャレイヤにのみ記憶されている、ことを特徴とするデータ同期処理装置。
【請求項４】
請求項１乃至３のうちいずれか１項記載のデータ同期処理装置であって、
前記タグ情報は、同期させる全てのピクチャレイヤに記憶されている、ことを特徴とするデータ同期処理装置。
【請求項５】
請求項１乃至４のうちいずれか１項記載のデータ同期処理装置であって、
前記タグ情報は、データ放送を識別するための識別データを含む、ことを特徴とするデータ同期処理装置。
【請求項６】
請求項１乃至５のうちいずれか１項記載のデータ同期処理装置であって、
前記ビデオストリームと前記データストリームとが多重化された多重化ストリームから、前記ビデオストリームと前記データストリームとを分離する分離手段を更に備える、ことを特徴とするデータ同期処理装置。
【請求項７】
ビデオストリームとデータストリームとを同期させるデータ同期処理方法であって、
前記ビデオストリームのピクチャレイヤ毎に記憶された前記データストリームと関連付けるためのタグ情報を検出する工程と、
前記検出されたタグ情報に基づいて、前記ビデオストリームの各ピクチャレイヤに前記データストリームのデータを同期させる工程と、を含む、ことを特徴とするデータ同期処理方法。
【請求項８】
請求項７記載のデータ同期処理方法であって、
前記ビデオストリームにおける各ピクチャレイヤのユーザデータ領域にタグ情報を記憶させる工程を更に含む、ことを特徴とするデータ同期処理方法。
【請求項９】
ビデオストリームとデータストリームとを同期させるデータ同期処理装置のプログラムであって、
前記ビデオストリームのピクチャレイヤ毎に記憶された前記データストリームと関連付けるためのタグ情報を検出する処理と、
前記検出されたタグ情報に基づいて、前記ビデオストリームの各ピクチャレイヤに前記データストリームのデータを同期させる処理と、をコンピュータに実行させることを特徴とするデータ同期処理装置のプログラム。
【請求項１０】
請求項９に記載のデータ同期処理装置のプログラムを記憶することを特徴とするコンピュータ可読媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１２−４８６９（Ｐ２０１２−４８６９Ａ）
【公開日】平成２４年１月５日（２０１２．１．５）
【国際特許分類】
【出願番号】特願２０１０−１３８１９２（Ｐ２０１０−１３８１９２）
【出願日】平成２２年６月１７日（２０１０．６．１７）
【出願人】（３０２０６２９３１）ルネサスエレクトロニクス株式会社 (8,021)
【Ｆターム（参考）】
【公開日】平成２４年１月５日（２０１２．１．５）
【国際特許分類】
【出願日】平成２２年６月１７日（２０１０．６．１７）
【出願人】（３０２０６２９３１）ルネサスエレクトロニクス株式会社 (8,021)
【Ｆターム（参考）】
[ Back to top ]