データ処理装置
【課題】オーディオとビデオとを同期して再生する。
【解決手段】データ処理装置は、データストリームを受信してオリジナルストリームとして、および複製後に複製ストリームとして出力する受信部と、オリジナルストリームから第１データとその第１時刻情報、第２データとその第２時刻情報を抽出し、複製ストリームから第１データとその第１時刻情報、第２データとその第２時刻情報を抽出する分離部と、各ストリームに関し、第１データをデコードして第１時刻情報に基づいて出力する第１デコード部と、第２時刻情報に基づいて第２データを出力する第２デコード部とを有する。さらに、第１および第２データの同期再生のため、各ストリームの再生時刻の遅延量情報を保持し、かつ、その情報に基づいて第２時刻情報を修正し、第２データの再生時刻を遅延させる遅延設定部を有する。
【解決手段】データ処理装置は、データストリームを受信してオリジナルストリームとして、および複製後に複製ストリームとして出力する受信部と、オリジナルストリームから第１データとその第１時刻情報、第２データとその第２時刻情報を抽出し、複製ストリームから第１データとその第１時刻情報、第２データとその第２時刻情報を抽出する分離部と、各ストリームに関し、第１データをデコードして第１時刻情報に基づいて出力する第１デコード部と、第２時刻情報に基づいて第２データを出力する第２デコード部とを有する。さらに、第１および第２データの同期再生のため、各ストリームの再生時刻の遅延量情報を保持し、かつ、その情報に基づいて第２時刻情報を修正し、第２データの再生時刻を遅延させる遅延設定部を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
圧縮符号化されたオーディオデータおよびビデオデータを再生する際に、オーディオとビデオとを同期して再生する技術に関する。
【背景技術】
【０００２】
従来、圧縮符号化されて記録されたビデオ信号およびオーディオ信号をＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ハードディスク等の記録媒体から読み出し、デコード（伸張）して出力するデータ再生装置が知られている。データ再生装置が伸張されたデータをその装置に接続されたモニタ、音響スピーカ等に送ることにより、ビデオおよびオーディオの再生が実現される。
【０００３】
圧縮符号化に関しては、多くの規格が規定されている。例えばＭＰＥＧ（Motion Picture Experts Group）は、ビデオ信号およびオーディオ信号の両方を圧縮符号化する規格として知られている。ＭＰＥＧ規格では、ビデオ信号が表すビデオおよびオーディオ信号が表すオーディオが同期して再生されることを保証するために、オーディオ信号およびビデオ信号のそれぞれに再生されるべき時刻を表す時刻情報が付加される。これにより、伸張時にはシステム機器が有するシステム時刻基準参照値に対し、これらの時刻情報を参照してオーディオ信号とビデオ信号とを同期させて再生することができる。
【０００４】
以下従来の再生方法について説明する。なお、出願人は、特許文献１に開示されている信号再生装置を認識しており、本発明の課題を明確にするために、先行技術の内容を従来例として、簡単に説明する。この方法では、音声の遅延及び画像の遅延用として各々デコードに遅延部を設け、所定の遅延を行ってリップシンクをとりながら再生を実現する。
【０００５】
以下従来の信号再生装置について説明する。図１１は、従来の信号再生装置の実装形態を示す。図１１を参照して、オーディオ遅延部１８７は、制御部１９４から入力されるオフセット幅をビデオ遅延部１９０と共通の所定の遅延時間に加算した時間だけ、オーディオデコーダ１８６から入力される音声信号を遅延した後、オーディオディジタルアナログコンバータ（ＡＤＡＣと略）１８８に出力する。ビデオ遅延部１９０は、ビデオデコーダ１８９から入力される映像信号を所定時間だけ遅延した後、ミキサ１９１に出力し、ビデオディジタルアナログコンバータ（ＶＤＡＣと略）１９２に出力する。制御部１９４は、コマンド入力部１９３から遅延コマンド等を受け付け指定されるリップシンクのオフセット幅等を設定する。
【０００６】
オーディオの再生と、ビデオの表示タイミングの同期がずれると、視聴者は、違和感を覚える。特に、オーディオ再生がビデオ再生よりも一定時間（概ね３０ミリ秒）以上先行すると、映像中の人物の口の動きと音声の同期のずれが目立ち、視聴者に違和感を与える。また接続する外部機器の処理において、さらに時間を要する処理を行うとさらにビデオおよびオーディオの再生タイミングがずれてしまう。そこで、ビデオ遅延部１９０及びオーディオ遅延部１８７を用いて、出力タイミングを調整する。
【０００７】
この従来の信号再生装置の構成を用い、第１の出力部だけでなく、第２の出力部を追加した場合について、図１２を用いて説明する。図１２は、複数の出力経路を有する従来の信号再生装置の構成を示す。例えば第１の出力は大画面のシアター向けの高精細画像及び外部オーディオアンプに接続される系として、第２の出力は、標準画質でビデオデッキなどの録画機や手元のモニタ出力に接続される系を想定する。図１５において、２０１のオーディオデコーダは、オーディオデコーダ１８６と同等の機能を有する。２０２のビデオデコーダは、ビデオデコーダ１８９と同等。２０３のオーディオ遅延部Ａは、オーディオ遅延部１８７と同等、２０４のビデオ遅延部Ａは、ビデオ遅延部１９０と同等、２０５のＡＤＡＣは、ＡＤＡＣ１８８と同等。２０６のＶＤＡＣは、ＶＤＡＣ１９２と同等。さらにエンコーダ２０９に入力するために各々を遅延させるオーディオ遅延部Ｂ２０７と、ビデオ遅延部Ｂ２０８から構成される。
【０００８】
ビデオデコーダ２０２における標準画質用の画像処理時間と、高精細画質用の画像処理時間とは、遅延設定に違いが生じる。さらに、ＩＰ変換（インタレースからプログレッシブ）などを行う場合の遅延設定、サラウンド音声処理の有無に伴う場合の遅延設定など、各々の出力のための処理内容に適した遅延設定が必要である。制御部から各々の遅延部の設定を行うことにより、オーディオとビデオとを同期させることができる。遅延部として半導体メモリを設けることで、複数の出力部を有していてもこれに対応できる。
【特許文献１】特開２００１−１０１８０３号公報（第３−５頁、第１図、第２図）
【発明の開示】
【発明が解決しようとする課題】
【０００９】
従来の信号再生装置のように遅延部に半導体メモリを用いると、遅延量を多くとるためには半導体メモリのメモリサイズを大きくせざるを得ない。しかし、一般にはメモリサイズが大きくなると半導体メモリのコストが増加し、信号再生装置の価格にも大きな影響を与える。よって、できるだけメモリサイズを小さくすることが必要である。
【００１０】
本発明の目的は、メモリコストの増加を極力抑えながら、当初意図されたとおりにオーディオとビデオとを同期して再生することである。特に、オーディオとビデオの出力経路が複数存在し、出力先の外部接続機器の相違、処理種別の相違等によって出力経路の遅延量が異なる場合であっても、各出力経路について当初意図されたとおりにオーディオとビデオとを同期して再生することである。
【課題を解決するための手段】
【００１１】
本発明によるデータ処理装置は、データストリームを受信してオリジナルストリームとして出力するとともに、受信された前記データストリームを複製して複製ストリームとして出力し、かつ、出力に際して前記オリジナルストリームおよび前記複製ストリームの各々を識別可能な識別情報を付与する受信部を備えている。前記データストリームは、圧縮符号化されたビデオコンテンツに関する第１データ、前記第１データの再生時刻を規定する第１時刻情報、前記ビデオコンテンツと異なるコンテンツに関する第２データおよび前記第２データの再生時刻を規定する第２時刻情報を有する。またデータ処理装置は、前記オリジナルストリームから、前記第１データ、前記第１時刻情報、前記第２データおよび前記第２時刻情報を抽出し、前記複製ストリームから、前記第１データ、前記第１時刻情報、前記第２データおよび前記第２時刻情報を抽出する分離部と、前記オリジナルストリームに関し、前記第１データをデコードして、前記第１時刻情報に基づいて出力する第１デコード部と、前記オリジナルストリームに関し、第２時刻情報に基づいて前記第２データを出力する第２デコード部と、前記複製ストリームに関し、前記第１データをデコードして、前記第１時刻情報に基づいて出力する第３デコード部と、前記複製ストリームに関し、前記第２時刻情報に基づいて前記第２データを出力する第４デコード部と、第１遅延設定部および第２遅延設定部とを有する。
【００１２】
前記第１時刻情報および前記第２時刻情報が前記第１データおよび前記第２データを同期して再生する時刻を規定している場合において、前記第１遅延設定部は、前記オリジナルストリームの再生時刻の遅延量を規定する第１遅延情報を保持し、かつ、前記第１遅延情報に基づいて前記第２時刻情報を修正し、前記第２データの再生時刻を遅延させ、前記第２遅延設定部は、前記複製ストリームの再生時刻の遅延量を規定する第２遅延情報を保持し、かつ、前記第２遅延情報に基づいて前記第２時刻情報を修正し、前記第２データの再生時刻を遅延させる。
【００１３】
前記データ処理装置は、前記オリジナルストリームの第２データ、および、前記複製ストリームの第２データの各々を格納する少なくとも１つのデータバッファをさらに備えていてもよい。前記オリジナルストリームの前記第２データは圧縮符号化されており、前記少なくとも１つのデータバッファは、修正された第２時刻情報によって規定される再生時刻の前に前記圧縮符号化された第２データを取り出し、前記第２デコード部および前記第４デコード部に出力してもよい。
【００１４】
前記少なくとも１つのデータバッファは、前記オリジナルストリームの第２データを格納する第１バッファと、前記複製ストリームの第２データを格納する第２バッファとから構成されていてもよい。前記第１バッファは、前記第１遅延設定部によって修正された第２時刻情報によって規定される再生時刻の前に、前記オリジナルストリームの第２データを取り出して前記第２デコード部に出力し、前記第２バッファは、前記第２遅延設定部によって修正された第２時刻情報によって規定される再生時刻の前に、前記複製ストリームの第２データを取り出して前記第４デコード部に出力してもよい。
【００１５】
本発明によるデータ処理装置は、データストリームを受信してオリジナルストリームとして出力する受信部を有している。前記データストリームは、圧縮符号化されたビデオコンテンツに関する第１データ、前記第１データの再生時刻を規定する第１時刻情報、前記ビデオコンテンツと異なるコンテンツに関する第２データおよび前記第２データの再生時刻を規定する第２時刻情報を有する。またデータ処理装置は、前記オリジナルストリームから、前記第１データ、前記第１時刻情報、前記第２データおよび前記第２時刻情報を抽出する分離部と、前記第１データ、前記第１時刻情報、前記第２データおよび前記第２時刻情報を複製する複製部と、前記オリジナルストリームに関し、前記第１データをデコードして、前記第１時刻情報に基づいて出力する第１デコード部と、前記オリジナルストリームに関し、第２時刻情報に基づいて前記第２データを出力する第２デコード部と、複製された第１データをデコードして、複製された第１時刻情報に基づいて出力する第３デコード部と、複製された第２時刻情報に基づいて、複製された第２データを出力する第４デコード部と、第１遅延設定部および第２遅延設定部とを有している。前記オリジナルストリームから抽出された前記第１時刻情報および前記第２時刻情報が前記第１データおよび前記第２データを同期して再生する時刻を規定している場合において、前記第１遅延設定部は、前記オリジナルストリームの再生時刻の遅延量を規定する第１遅延情報を保持し、かつ、前記第１遅延情報に基づいて前記第２時刻情報を修正し、前記第２データの再生時刻を遅延させ、前記第２遅延設定部は、複製された第１データの再生時刻の遅延量を規定する第２遅延情報を保持し、かつ、前記第２遅延情報に基づいて前記第２時刻情報を修正し、前記第２データの再生時刻を遅延させる。
【００１６】
前記オリジナルストリームの前記第２データは圧縮符号化されている。前記データ処理装置は、前記オリジナルストリームの第２データ、および、複製された第２データの各々を格納する少なくとも１つのデータバッファをさらに備えていてもよい。前記少なくとも１つのデータバッファは、修正された第２時刻情報によって規定される再生時刻の前に前記圧縮符号化された第２データを取り出し、前記第２デコード部および前記第４デコード部に出力する。
【００１７】
前記少なくとも１つのデータバッファは、前記オリジナルストリームの第２データを格納する第１バッファと、複製された第２データを格納する第２バッファとから構成されていてもよい。
【発明の効果】
【００１８】
本発明によれば、入力されたビデオ及びオーディオのデータを含む圧縮符号化されたコンテンツデータに基づいて、オリジナルのデータと複製後のデータを作成する。圧縮符号化されたままのデータを遅延出力のために保持させることにより、各々の同期信号に基づいて、別々にデコードされた映像と音声に対し、経路毎の遅延を独自に設定して同期再生を実行できるという利点がある。
【発明を実施するための最良の形態】
【００１９】
以下、添付の図面を参照しながら、本発明によるデータ処理装置の実施形態を説明する。
【００２０】
（実施形態１）
まず図１を主として参照しながら、本発明の実施形態１によるデータ処理装置の構成を説明する。図１は、本実施形態によるデータ処理装置１００の機能ブロックの構成を示す。図１はまた、データ処理装置１００と接続された映像／音響機器１３〜１６を示す。データ処理装置１００は、ＤＶＤ−ＲＯＭ等の光ディスクから光ピックアップを介して読み出されたデータストリームに２値化処理等を行って、デジタルデータストリームとして出力する。その後で、このストリームをビデオデータおよびオーディオデータに分離し、各々をデコードして映像音響機器に出力する。
【００２１】
データ処理装置１００は、ＤＶＤプレーヤ、ＤＶＤレコーダ、ＰＣ等であるが、光ディスクに代えてハードディスクを用いたときはハードディスクレコーダである。または、アンテナ等を介してデジタル放送のデータストリームを受け取るときには、データ処理装置１００はセットトップボックス、デジタル衛星放送受像機等として実現される。一方、映像音響機器は、例えばＴＶ等のモニタ出力機器、オーディオ出力アンプ、ＡＶセレクタ機能を有するＡＶアンプ等のインタフェース機器である。図１では映像を表示する機器、音声等を出力する機器等が複数存在している例を示している。
【００２２】
各種符号化方式されたコンテンツや、デジタル放送等のデジタル圧縮符号化されたオーディオ・ビデオ信号を格納する光ディスク装置等や、デジタル放送チューナ装置等からデータの供給を受ける受信部１、多重化されて記録されているオーディオ・ビデオ信号を分離し、圧縮ビデオデータ及び圧縮オーディオデータの分離とビデオ再生時刻情報とオーディオ再生時刻情報を抽出する入力解析を行う分離部２を有する。
【００２３】
ＭＰＥＧでは、ビデオおよびオーディオの同期再生を実現するために、ビデオとオーディオの各アクセスユニットと呼ばれるデコードの単位ごと（ビデオは１フレーム、オーディオは１オーディオフレーム）に、いつ再生すべきかの時刻を管理するためのタイムスタンプ値が付加されている。このタイムスタンプ値は、ＰＴＳ（Presentation Time Stamp）と呼ばれ、オーディオ用はオーディオＰＴＳ（以下「ＡＰＴＳ」と記述する）およびビデオ用はビデオＰＴＳ（以下「ＶＰＴＳ」と記述する）が規定されている。なお、本明細書では、オーディオとビデオとが同期している状態を「ＡＶ同期」と称する。
【００２４】
ＰＴＳが上述のシステム時刻基準ＳＴＣに一致したときに、そのＰＴＳが付加されたアクセスユニットが再生のために出力される。ＰＴＳの精度は、ＳＣＲと同様、９０ｋＨｚのクロックで計測した値であり、３３ビット長で表されている。９０ｋＨｚで計測する理由は、ＮＴＳＣ、ＰＡＬの両方のビデオ方式のフレーム周波数の公倍数であることと、オーディオの１サンプル周期よりも高い精度を得るためである。
【００２５】
本実施形態によるデータ処理装置１００の特徴のひとつは、映像音響機器において行われる種々の演算処理等により、本来同期して再生すべきビデオおよびオーディオがずれて再生されてしまう場合に、先行する出力を遅延して出力することにある。例えば、映像音響機器においてビデオデータのインターレース／プログレッシブ変換を行うためにビデオデータの再生がオーディオの再生よりも遅延してしまう場合に、ビデオデータの再生時刻の遅延量相当時間だけ、先行するオーディオデータを遅延して出力する。これにより、ビデオデータとオーディオデータとの同期再生が可能になる。なお、オーディオデータの遅延出力は、オーディオデータの再生時刻を規定するＰＴＳを修正することによって実現される。遅延量は、予想される時間、ユーザによって設定された時間、映像音響機器を特定して判断することができる映像音響機器におけるビデオ処理の所要時間等に基づいて設定される。
【００２６】
上述のデータ処理装置１００の特徴は、主としてデータ処理装置１００のデコード部１０１によって実現される。以下、デコード部１０１を詳細に説明する。
【００２７】
図２は、デコード部１０１の詳細な機能ブロックの構成例を示す。デコード部１０１は、分離部２からの入力により、ビデオバッファ部（図示せず）と、ビデオ再生時刻情報管理部Ａ３０１と、システム時刻参照部１１と、圧縮ビデオバッファ部Ａ１７と、ビデオデコード部Ａ３と、圧縮オーディオバッファ部Ａ７と、オーディオ再生時刻情報管理部Ａ４０１と、オーディオデコード部Ａ４と、オーディオ遅延設定部Ａ９とを有する。
【００２８】
分離部２は、データストリームから、デジタル圧縮符号化されたオーディオおよびビデオデータを分離して抽出するとともに、ビデオパックに付加されたＰＴＳをビデオ再生時刻情報として抽出し、オーディオパックに付加されたＰＴＳをオーディオ再生時刻情報として抽出する。
【００２９】
まず、ビデオ処理に関する構成要素を説明する。圧縮ビデオバッファ部Ａ１７は、分離部２によって分離されたビデオデータを一次格納する。ビデオ再生時刻情報管理部Ａ３０１は、圧縮ビデオバッファ部Ａ１７に格納されたビデオデータとビデオ再生時刻情報を関連づけたテーブルを生成し、管理する。
【００３０】
ビデオデコード部Ａ３は、圧縮符号化されたビデオデータの属性情報（ビデオヘッダ情報）を解析するとともに、圧縮ビデオバッファ部Ａ１７に格納されているビデオデータをビデオ再生時刻情報に従ってデコードする。ビデオデコード部Ａ３にはフレームバッファ部３０３およびビデオ出力部３０４が設けられている。フレームバッファ部３０３は、デコードしたビデオデータを格納する。ビデオ出力部３０４は、外部へビデオデータを出力する。このビデオデータは、さらにデータ処理装置１００に接続された映像音響機器（例えば外部映像機器１３）に出力される。
【００３１】
次に、オーディオ処理に関する構成要素を説明する。圧縮オーディオバッファ部Ａ７は、分離部２によって分離されたオーディオデータを格納することができる半導体メモリである。そのバッファサイズは、取り扱う符号化オーディオデータの圧縮率等によって異なり、例えば数キロバイトから数十キロバイト程度である。オーディオ再生時刻情報管理部Ａ４０１は、圧縮オーディオバッファ部Ａ７に格納されたオーディオデータとオーディオ再生時刻情報を関連づけるテーブルを生成し、管理する。このテーブルは後に図５を参照しながら詳述する。
【００３２】
遅延設定部Ａ９は、オーディオの再生時刻の遅延量を規定する遅延情報を保持し、かつ、遅延情報に基づいてオーディオの再生時刻情報を修正して、その再生時刻を遅延させる。遅延設定部Ａ９は、例えば遅延情報を保持するメモリ（図示せず）を有しており、映像音響機器の処理に鑑みて想定される時間が予め設定されている。そしてさらに、ユーザによって設定された数ミリ秒単位またはビデオフレーム単位の遅延時間に関する情報も保持できる。これにより、映像音響機器において発生する処理遅延に応じた微調整が可能になる。
【００３３】
オーディオデコード部Ａ４は、圧縮符号化されたオーディオデータの属性情報（オーディオヘッダ情報）を解析するとともに、圧縮オーディオバッファ部Ａ７に格納されているオーディオデータをオーディオ再生時刻情報に従ってデコードする。オーディオデコード部Ａ４にはＰＣＭバッファ部４０３およびオーディオ出力部４０４が設けられている。ＰＣＭバッファ部４０３は、デコードしたオーディオデータを格納する。オーディオ出力部４０４は、外部へオーディオデータを出力する。このオーディオデータは、さらにデータ処理装置１００に接続された映像音響機器（例えば外部音響機器１４）に出力される。
【００３４】
なお、上述のビデオデコード部Ａ３およびオーディオデコード部Ａ４は、各々別々の半導体集積回路等とその制御用のプログラムにより実現することができる。しかし、それぞれの機能を実現できる限り、１つの半導体集積回路等とその制御用のプログラムによって実現してもよい。
【００３５】
次に、ビデオ出力部３０４およびオーディオ出力部４０４から出力されるビデオデータおよびオーディオデータを、同期して再生するための構成を説明する。デコードタイミングおよび再生タイミングは、システム時刻参照部Ａ１１によって実現される。システム時刻参照部Ａ１１は、ＭＰＥＧシステムのデータ処理装置１００の内部においてシステム時刻基準ＳＴＣを生成する。データ処理装置１００側でＳＴＣを生成するためには、ＤＶＤディスク等で使用されるプログラムストリーム（ＰＳ）に規定されるＳＣＲ（System Clock Reference；システム時刻基準参照値）の値を用いる。ＳＣＲはパックヘッダに記述されている。なお、入力されるデータストリームがＢＳデジタル放送で使用されるトランスポートストリーム（ＴＳ）のときは、ＰＣＲ（Program Clock Reference：プログラム時刻基準参照値）が用いられる。
【００３６】
システム時刻参照部Ａ１１は、ビデオデータの最終バイトの到着時に、ＳＣＲの値をシステム時刻基準ＳＴＣと同じ値に設定する。これにより基準となる時刻を設定することができる。さらに、このＳＴＣの値の設定と、ＰＬＬ（位相ロックループ）回路（図示せず）を組み合わせることにより、デコード部６０の基準時刻用システムクロックと完全に周波数が一致したＳＴＣをもつことができる。システム時刻基準ＳＴＣのシステムクロックの周波数は２７ＭＨｚである。このＳＴＣからカウンタ等により分周することにより、各ＰＴＳ（周波数：９０ｋＨｚ）が参照される。
【００３７】
データ処理装置１００が従来の処理を行う場合には、ビデオデコード部Ａ３は、システム時刻基準ＳＴＣがＶＰＴＳに一致したときそのＰＴＳが付加されていたアクセスユニットを出力し再生させる。またオーディオデコード部Ａ４は、ＳＴＣがＡＰＴＳに一致したときにそのＰＴＳが付加されていたアクセスユニットを出力し再生させる。ＰＴＳの周波数は９０ｋＨｚであるから、この精度の範囲内で、ＳＴＣとＶＰＴＳおよびＡＰＴＳとの同期をとれるようにビデオデータおよびオーディオデータの各々をデコードする。これにより、ビデオおよびオーディオの同期再生を実現できる。
【００３８】
一方、本実施形態による処理によれば、映像音響機器におけるビデオ処理の遅延を考慮した上で、データ処理装置１００はビデオおよびオーディオの同期再生を実現する。以下、図３を参照しながらその概略を説明し、その後、図４を参照しながらその動作を実現するための処理の手順を説明する。
【００３９】
図３は、ビデオとオーディオとの同期再生を実現する再生タイミングを示す。再生タイミングは、ビデオ再生時刻情報およびオーディオ再生時刻情報に基づいて規定される。図３では、再生時刻情報によって示されるタイミングが４段に分けて記載されている。１段目は、データストリームに規定されていたビデオ再生時刻情報（ＶＰＴＳ）のタイミングを示す。データストリームを生成したエンコーダ（図示せず）では、時刻Ｔｖ１、Ｔｖ２、・・・において、ビデオが再生されることを意図して圧縮符号化を行っている。また、データストリームには時刻Ｔａ１、Ｔａ２、・・・において再生されるべきオーディオの再生時刻情報（ＡＰＴＳ）も存在している。エンコーダは、ビデオとオーディオについて各々ＶＰＴＳ、ＡＰＴＳを付すことにより、システムクロックＳＴＣに同期して再生されることを要求している。
【００４０】
次に、図３の２段目は、映像音響機器におけるビデオ処理によって遅延したビデオの再生タイミングを示す。例えば、最初に表示されるビデオについてみると、ビデオ処理に起因する遅延により、本来時刻Ｔｖ１で表示されるはずの映像が、時刻Ｔｖ１より後の時刻Ｔｐ１において再生されている。その時間差をΔｔとする。
【００４１】
次に、４段目は、本実施形態の遅延設定部Ａ９が元の再生時刻情報（ＡＰＴＳ）を修正した後の、オーディオの再生タイミングを示す。オーディオ遅延設定部９は、時刻Ｔａ１において再生されるべきことを示すオーディオの再生時刻情報（ＡＰＴＳ）を、ビデオが遅延する時間（Δｔ）だけずらした時刻情報（ＮＡＰＴＳ）に修正し、オーディオの再生時刻を遅延させている。したがって、ビデオ出力は２段目のタイミング（時刻Ｔｐ１、Ｔｐ２、・・・）において再生され、オーディオ出力は４段目のタイミング（時刻Ｔna1、Ｔna2、・・・）において出力されて再生される。これにより、ビデオとオーディオの同期再生を実現できる。
【００４２】
なお、ビデオおよびオーディオの「同期再生」とは、ビデオの再生タイミングがオーディオの再生タイミングに対して、一定の時間範囲（例えば５０ミリ秒先行から３０ミリ秒遅延の間）に入っていることをいう。ビデオおよびオーディオのＰＴＳが一致している場合に限られない。
【００４３】
図４は、本実施形態によるデコード処理手順を示す。まず分離部１にて、符号化データストリームを符号化ビデオデータおよび符号化オーディオデータに分離し、ステップＳ１０１及びステップＳ１０２において、符号化データ（ビデオ／オーディオ）から、符号化フレームデータおよび再生時刻情報（ＶＰＴＳ／ＡＰＴＳ）を抽出する。ビデオおよびオーディオの各符号化フレームデータは、それぞれ圧縮ビデオバッファ部Ａ１７および圧縮オーディオバッファ部Ａ７に格納され、再生時刻情報（ＶＰＴＳ／ＡＰＴＳ）はビデオ再生時刻情報管理部Ａ３０１およびオーディオ再生時刻情報管理部Ａ４０１に送られる。
【００４４】
図５は、オーディオ再生時刻情報管理部Ａ４０１において生成されるテーブルの構成を示す。このテーブルは、圧縮オーディオバッファ部７に格納されたオーディオデータとオーディオ再生時刻情報とを関連づける。まず、オーディオ再生時刻情報管理部Ａ４０１は、例えばＡＰＴＳごとにスロットという単位に分割する。そして、各スロットとオーディオアドレス情報とを対応付ける。オーディオアドレス情報は、オーディオバッファ部Ａ７に格納されたオーディオデータの先頭アドレスを参照するデータとして、各スロットに対応づけられて格納される。そして、格納されたオーディオデータのデータ配置と、オーディオアドレス情報によって参照されるデータ位置の関係を示す。
【００４５】
更に圧縮オーディオバッファ部Ａ７は、圧縮オーディオデータを書き込んだ最後の位置（バッファ内のアドレス）を特定するライトポインタを有している。ライトポインタが示す位置はデータの書き込みが行われるとその最後の位置を示すように更新される。圧縮オーディオバッファＡ７はデータをバッファの最終アドレスまで書き込むと、書き込み位置を最初のアドレスまで戻す。すなわちバッファのアドレス管理はリング状（ラップアラウンド状）に行われる。
【００４６】
また圧縮オーディオバッファ部Ａ７は、圧縮オーディオデータを読み出した最終位置（バッファ内の最終アドレス）を特定するリードポインタを有している。オーディオデコード部Ａ４によって圧縮オーディオデータが読み出されると、圧縮オーディオデータのリードポインタが示す位置を更新する。従って、読み出された位置までは、後続のデータを書き込むことができる。ライトポインタの位置がリードポインタの位置を追い越さないよう管理しながら、保持された圧縮オーディオデータが読み出され、分離部２によって分離された後続の圧縮オーディオデータが書き込まれる。
【００４７】
再び図４を参照する。ステップＳ１０３において、ビデオデコード部Ａ３は、ＶＰＴＳがシステム時刻基準ＳＴＣに達する前に、ビデオの符号化フレームデータをデコードし、デコードされたビデオデータをフレームバッファ部３０３に格納する。
【００４８】
次にステップＳ１０４及びステップＳ１０５において、遅延設定部Ａ９は、予め設定された遅延時間に対応するＰＴＳ値ΔｔをＡＰＴＳの値に加算し、新たなオーディオ再生時刻情報ＮＡＰＴＳ値を求める（ＮＡＰＴＳ＝ＡＰＴＳ＋Δｔ）。以上の処理によって、オーディオの再生時刻情報（ＡＰＴＳ）を修正した新たな再生時刻情報（ＮＡＰＴＳ）が得られる。本実施形態においては、遅延時間は利用者により予め設定される場合を想定して説明する。利用者は、遅延設定部Ａ９として設けられた入力ボタン、リモコン（図示せず）等によって設定したい項目を選択することができる。例えば、遅延させたい時間が“６０ｍｓ”と設定する。ＰＴＳ値Δｔは設定された遅延時間に基づいて得ることができる。
【００４９】
なお、遅延時間の設定はＡＶ同期を実現するために必要であるが、現実の再生前に遅延時間を予め設定することができる根拠は以下のとおりである。すなわちビデオデコード部Ａ３においては、例えば標準画質の映像を出力するための処理時間は概ね一定であり、また高精細画質の映像を出力するための処理時間もまた概ね一定である（ただし両方の処理時間は異なっていてもよい）。よって、どの程度オーディオを遅延させればよいかは、映像の処理内容に応じて予めほぼ特定できるといえる。この結果、利用者が現実の再生前に遅延時間を予め設定できる。
【００５０】
ステップＳ１０６において、オーディオデコード部Ａ４は、ＮＡＰＴＳがシステム時刻基準ＳＴＣに達する前に、オーディオの符号化フレームデータをデコードし、ステップＳ１０８において、デコードされたオーディオデータをＰＣＭバッファ部４０３に格納する。
【００５１】
ステップＳ１０７において、ビデオデコード部Ａ３は、システム時刻基準ＳＴＣがＶＰＴＳに達したか否かを判断する。「達した」とは、ＳＴＣがＶＰＴＳに一致したとき、またはＳＴＣがＶＰＴＳを超過したときを示す。達していれば、ステップＳ１０７においてビデオ出力部３０４はフレームバッファからビデオデータを出力する。達していなければ、達するまで待つ。
【００５２】
次に、ステップＳ１０８において、オーディオデコード部Ａ４は、ＳＴＣがＮＡＰＴＳに達したか否かを判断する。ここでいう「達した」もビデオと同様であり、ＳＴＣがＮＡＰＴＳに一致したとき、またはＳＴＣがＮＡＰＴＳを超過したときを示す。達していれば、オーディオ出力部４０４はＰＣＭバッファからオーディオデータを出力する。達していなければ、達するまで待つ。
【００５３】
そして、ステップＳ１０９において、ビデオデコード部Ａ３およびオーディオデコード部Ａ４はデコードが終了したか否かを判断する。終了したときは処理を終了し、していなければステップＳ１０１もしくはステップＳ１０２に戻って処理を継続する。なお、ユーザから再生の停止が指示された場合にも処理は終了する。なお、ステップＳ１０１とＳ１０２は、どちらの入力が先かで適時順序が変更になる。
【００５４】
なお、装置によっては、光出力端子からドルビーデジタル等のストリームのままで出力する場合もある。このような場合、ストリームバッファ（図示せず）に一旦蓄えて、ＳＴＣを参照し、ＮＡＰＴＳが一致もしくは超過した時点で、オーディオ出力する。
【００５５】
ＳＴＣに対して、ＶＰＴＳ及びＮＡＰＴＳを同期させるよう、ビデオデコード及びオーディオデコードを実施する。特に、ＮＡＰＴＳにＶＰＴＳが、５０ミリ秒先行から、３０ミリ秒遅延までの間にあわせれば、リップシンクのずれは気にならない程度に収まる。
【００５６】
次に、データ処理装置１００と複数種類の外部映像機器、外部音響機器等との接続について説明する。各種符号化方式によって（圧縮）符号化されたコンテンツデータ、デジタル放送等のデジタル圧縮符号化されたオーディオ・ビデオデータ等は、データ処理装置１００において復号化され、外部映像機器、外部音響機器等において再生される。
【００５７】
まず、デジタル圧縮符号化されたオーディオ／ビデオデータストリームを供給される受信部１の処理を以下に説明する。以下では、受信部１は、例えばオーディオデータストリームとビデオデータストリームとを含むトランスポートストリーム（ＴＳ）を受信するとして説明する。
【００５８】
受信部１に入力されるオーディオデータストリームとビデオデータストリームには、各々のストリームを識別するための識別番号（以下ＩＤと略す）が付されている。従来の衛星放送用のセットトップボックスに内蔵される受信部１は、衛星放送等を受信する場合においては、利用者が選択した番組を特定する番組ＩＤに基づいて、その番組に関するオーディオ／ビデオデータストリームのＩＤを特定する。そして、特定されたＩＤを有するオーディオ／ビデオデータストリームを、複数のデータストリームの中から抽出して分離部２に供給する。
【００５９】
本実施形態による受信部１は、上記動作に加えてさらに、抽出したオーディオ／ビデオデータストリームのデータストリームの複製を作成するとともに、複製されたデータストリームに対して先のデータストリームの抽出時に特定したＩＤとは異なるＩＤを作成し、複製されたデータストリームに付与する。すなわち複製の対象となるオリジナルのデータストリームのＩＤと、複製されたデータストリームのＩＤとは異なっている。
【００６０】
次に分離部２は、ＩＤを利用して映像データストリームおよび音声データストリームを分離し、圧縮ビデオデータ及び圧縮オーディオデータの分離とビデオ再生時刻情報とオーディオ再生時刻情報を抽出する入力解析を行う。
【００６１】
分離部２においても、複数の圧縮オーディオデータと複数の圧縮ビデオデータを扱い、複数のデコード部に対して、各データを供給する働きを有する。分離部２は、データ処理装置の中の複数のデコード部の各々に対し、指定されたＩＤを有する圧縮データを供給する。
【００６２】
よって、分離部２に対して、下記の２つは区別なく処理できるようになり、複数のデコード部によって、別々のデコード処理が行われる。
【００６３】
（１）利用者が同時に複数の番組再生を指定した場合で、複数の番組ＩＤが指定されて複数番組のデータストリームが供給される。
【００６４】
（２）利用者が単一の番組のＩＤを指定することにより、結果として受信部１が複製前及びの複製後の各々のデータストリームが供給される。
【００６５】
本実施形態のデータ処理装置１００は、複数の外部接続機器への出力経路が設けられている場合においても、各々の外部接続機器において、ＡＶ同期をとりながらコンテンツを再生することができる。例えば、一方の端子からＢＳデジタル放送のハイビジョン放送を高画質で再生出力しながら、標準画質のビデオレコーダに接続されたもう一方の端子から、録画のための再生出力することができる。この例では、ハイビジョン放送画面（第１画面）を作成するには、より高画質で表示するための画像処理を行う必要がありその分ビデオ出力処理に時間がかかる。一方標準画質のビデオレコーダへの出力映像画面（第２画面）を作成するためには、ハイビジョン映像を標準の映像にフォーマット変換するための画像処理を行う必要がある。第１画面と第２画面の各々の画像処理時間は、外部接続機器に接続する形態において各々設定され、同一である必要はない。従って先に説明したオーディオ再生を遅延させる処理を行い、各々ＡＶ同期をはかったうえで、ビデオとオーディオ信号を出力する。
【００６６】
本実施形態によるデータ処理装置の特徴は、受信部１を従来の指定ＩＤを有するデータストリームのみを分離部２へ通過させるだけでなく、指定ＩＤのデータストリームの複製を作成し、かつ異なるＩＤを複製データストリームに付与し、異なるＩＤ情報を分離部２へ通知することにより、分離部２より後処理は、複数の番組のデコード処理と全く同一の処理を行うところにある。
【００６７】
さらに、データ処理装置の一方の出力を記録処理装置（内蔵ビデオ装置等）に接続し、残りの出力を外部接続機器用に準備する場合においても同様な構成で対応できる。またデータ処理装置がデジタル放送受信機で、デジタル放送のトランスポートストリーム形式であるデータストリームを再生しながら、内部にＤＶＤ記録用にプログラムストリーム方式にエンコードしながらＤＶＤ記録するためのエンコード装置を有する場合に対しても同様な構成で対応できる。
【００６８】
エンコード装置でＤＶＤなどのメディアに記録する際には、ＡＶ同期が必ずあっていないといけない。これは記録したメディアが、エンコード記録した機器と同じ機器でデコード再生するとは限らないからである。ＡＶ同期がずれた状態で、ビデオ用のＶＰＴＳと、オーディオ用のＡＰＴＳをつけてしまうと、再生側では、ずれた状態のＰＴＳを正規の時刻情報と思って再生するからである。
【００６９】
上述のように、外部接続した映像機器と音響機器に出力するために設定した遅延時間と、内部エンコード用の遅延時間とはそれぞれ異なっている。利用者が外部接続機器を利用する場合には、ＡＶ同期が実現されているか否かは、ニュース番組などでアナウンサーの映像（口の動き）と音声とが合致しているかなどに基づいて確認することができる。しかし内部エンコード用の映像及び音声は、それらの映像や音声をモニタ出力しない限り、ＡＶ同期が実現されているかどうかを直に確認することはできない。特に、衛星デジタル放送を受信記録する場合などで、デコードするデータストリームの元々の画質が、番組途中などで、放送局側の都合により変更される場合がある。ハイビジョン画質（以下高精細画質）から標準画質へ、もしくはその逆の場合もある。
【００７０】
このような場合には、画質を変換するために現実に要する画像処理時間と当初想定していた処理時間とは相違する。この画像処理時間の相違を考慮せずにそのままの同じ遅延時間を設定し続ければ、番組途中の画質が変わった時点から後はＡＶ同期が図れていない状態が継続する。
【００７１】
そこで本実施形態では、画像処理の遅延情報を取得した時点で遅延情報を変更し、再度遅延設定を行い直す。これにより、変更発生後においてもＡＶ同期を図ることができる。なお外部接続に出力する経路においても、画像処理内容がかわり遅延時間の変更が認知されれば、遅延時間の変更を実行すればよい。
【００７２】
上述の説明では、圧縮符号化されたオーディオデータをデコードした後ＰＣＭデータをバッファするとした。これはオーディオ出力部へ出力するための出力信号の準備処理に相当する。オーディオ信号を遅延するためには、従来例のデコードされたＰＣＭデータを遅延させるオーディオ遅延部１８７（図１１）の構成と比較すると、本実施形態によるオーディオバッファ部Ａ７（図１）はデコード前の圧縮符号化された状態のオーディオデータを保持しているためデータ量が小さく、バッファサイズが少なくてすむ。
【００７３】
オーディオバッファ部Ａ７に必要なバッファ容量は、当初のＡＰＴＳによって規定される再生時刻の到達前までに受け取る符号化オーディオデータのデータ量と、再生時刻の遅延量（Δｔ）に応じた時間の経過までに受け取る符号化オーディオデータのデータ量との和以上である。例えば、遅延のために必要なバッファとして、最大１００ミリ秒のデータを追加的に格納できる追加バッファが必要である場合を考える。これは、遅延時間が最大１００ミリ秒の場合に相当し、ビデオではＮＴＳＣ方式出力のときのビデオ約３フレームの表示時間に相当する。この場合に必要な追加バッファの容量は、ＢＳデジタル放送で使用されているオーディオ圧縮フォーマットのＡＡＣ方式では約２２キロバイトである（１チャンネルあたり２８８キロビット秒として６チャンネル分のデータ量を算出した）。この容量は、デコード後のＰＣＭデータを追加的に保存するときの容量の数分の１ですむ。
【００７４】
本実施形態では、ビデオデコード部Ａ３およびオーディオデコード部Ａ４は、圧縮符号化されたビデオデータおよびオーディオデータをデコードして、フレームバッファ部３０３およびＰＣＭバッファ部４０３に保持しておくとした。しかし、例えばＤＶＤにはリニアＰＣＭデータがオーディオデータとして含まれている場合には、デコード動作は不要である。リニアＰＣＭデータは、符号化はされているが圧縮はされていないからである。ただし、オーディオデータがリニアＰＣＭデータであっても、ストリームに含まれる同期情報に従ってビデオと同期して再生されるため、先の説明をそのまま適用できる。また、データ処理装置１００が光出力端子からドルビーデジタル等の符号化ストリームをそのまま出力する場合には、ストリームバッファ（図示せず）に一旦蓄えて、ＳＴＣを参照し、ＮＡＰＴＳがＳＴＣに達した時点で、オーディオ出力部４０４から出力すればよい。
【００７５】
次に、オーディオの遅延を発生させる外部映像機器１３への出力のためのビデオ処理の具体例を説明する。想定されるビデオ処理は、
（１）毎秒２４フレームのフィルム素材から毎秒３０フレームのビデオ素材への変換処理、
（２）インターレース走査・プログレッシブ走査間の変換処理、標準画質（Standard Definition;ＳＤ）のＤ１規格信号・高精細画質（High Definition;ＨＤ）のＤ３規格信号間の変換処理、ＮＴＳＣ方式・ＰＡＬ方式間の変換処理
（３）ユーザからの指示等に基づく映像の拡大、縮小、編集処理
（４）複数の映像の合成処理
等である。上述の処理が不要な通常の再生時には、オーディオデータを遅延して出力する必要はない。しかし、ビデオ処理のオン／オフによって遅延が発生しうるため、遅延量の設定およびその設定に基づくオーディオデータの遅延出力が必要になる。
【００７６】
そのようなときは、遅延設定部Ａ９に遅延時間が異なる複数の遅延情報を設け、行われる処理種別に応じて対応付けておくことが好ましい。さらに、外部映像機器１３で実行される画像処理の種別をユーザが入力すると、その種別応じて遅延時間を変えるように構成すればよい。
【００７７】
図６は、ビデオ処理を行う処理回路を搭載したビデオ出力部３０４の機能ブロックの構成を示す。ビデオ出力部３０４は、フレームバッファ部３０３からデコードされたフレームデータを受け取り、所定のビデオ処理を行ったビデオデータを出力する。ビデオ出力部３０４は、ＩＰ変換部３７１と、フォーマット変換部３７２と、拡大縮小部３７３と、他画面合成部３７４と、ＧＵＩ重畳部３７５と、出力部３７６とを有する。これらの構成要素に関連して、ビデオデコード部Ａ３には外部映像入力部３７７およびＧＵＩデータ生成部３７８とが別途設けられる。
【００７８】
ＩＰ変換部３７１は、インターレース走査・プログレッシブ走査間の変換処理を行う。フォーマット変換部３７２は、４８０ｉビデオ信号・１０８０ｉビデオ信号間の変換処理およびＮＴＳＣ方式・ＰＡＬ方式間の変換処理を行う。拡大縮小部３７３は、ユーザからの指示等に基づく映像の拡大、縮小、編集処理を行う。他画面合成部３７４は、デコードされたビデオと外部映像入力部３７７から入力されるビデオとを合成する。ＧＵＩ重畳部３７５は、これまでの処理によって得られたビデオに、ＧＵＩデータ生成部３７８によって生成されたＧＵＩデータを重畳する。そして出力部３７６は、最終的に得られたビデオデータを出力する。この出力は、外部映像機器１３に送られる。ビデオデコード部Ａ３は、ビデオデータが得られたときの時刻をＳＴＣに基づいて取得し、そのビデオデータのＶＰＴＳと比較することによって、遅延時間を特定することができる。
【００７９】
さらに、図７に示すように、データ処理装置１００と映像音響機器１２０との接続およびそれらの間で授受されるデータの種類を示す。図７の例では、ＨＤＭＩ規格に従ってデータが授受される。まずＨＤＭＩトランスミッタ４８０は、映像音響機器１２０のＨＤＭＩレシーバ４３０に対して、映像音響機器１２０を特定する情報（機器固有情報）を求める制御コマンドを送信する。ＨＤＭＩレシーバ４３０は、その制御コマンドに基づいて、自己の装置の機器ＩＤを機器固有情報としてＨＤＭＩトランスミッタ４８０に送信する。機器ＩＤは、例えば映像音響機器１２０内のＲＯＭ４３１にメーカー固有情報（Vendor Specific Data）として格納されており、メーカー名、機種名等を特定することができる。
【００８０】
ＨＤＭＩトランスミッタ４８０は、機器ＩＤを受け取る。遅延設定部Ａ９は、機器ＩＤを受け取ると、内部メモリまたは外部のメモリカード等に規定されたテーブルを参照する。テーブルには、機器ＩＤと遅延設定との対応が記述されている。そして、機器ＩＤおよびそのテーブルに基づいて、映像音響機器１２０が実行するビデオ処理に起因する遅延時間を得ることができる。これにより、その遅延時間を特定できる。これら獲得した情報は、データ処理装置内でデフォルト設定値として保存しておく構成にしておけば、機器接続が変わらない限りいつも同じ状態でのＡＶ鑑賞を行うことができる。接続機器ＩＤ等の変更があれば、その都度相手機器側の情報を受け、設定を変更すればよい。
【００８１】
これらの外部接続機器には、ＴＶなどのモニタ出力機器や、オーディオ出力アンプ、ＡＶセレクタ機能を有するＡＶアンプなどのインタフェース機器、携帯型出力機器、車載用ＡＶ再生機器などが想定される。
【００８２】
なお、実施形態１においては、複数の出力経路のそれぞれのＡＶ同期を合わせるために、各々の圧縮前のバッファ部とデコード部を設ける構成としている。これは、デコード後に出力経路ごとにバッファ部用のメモリを有する場合より、半導体コストが安い場合に有効である。例えば、マイクロプロセッサが高機能となり、複数のデコード機能を同一の半導体により実現可能である場合を想定する。すると、出力経路ごとに、デコード後にバッファメモリをおくよりも、デコード前に圧縮された状態でバッファする方が装置全体のコストを低減できる。
【００８３】
他にも、１台のデータ処理装置に複数のデコード部が必要な場合がある。例えば、ＢＳデジタル放送の圧縮符号化データストリームを再エンコードしてハードディスクや光ディスク等に書き込みつつ、そのデータストリームをその放送時刻よりも遅い時刻に再生する場合である。再エンコード処理は、圧縮符号化データストリームをデコード部において一旦復号化し、圧縮率をさらに高めてエンコード（圧縮符号化）する処理であり、復号化処理を含んでいる。また再生処理は、圧縮符号化データストリームをデコード部において復号化して出力する処理である。上述の例では同時に２つのデコード部が必要とされ、各々の出力用にＡＶ同期用の遅延設定が必要となる。従って、デジタル放送を追いかけ再生する機能を有するデータ処理装置においては、複数のデコード部が必要となるため、実施形態１の複数の出力用の遅延設定を実現するために、特別のデコード部を追加する必要はない。遅延用のバッファのためのメモリサイズを低減することにより、コストの低減を図ることが第１の効果である。
【００８４】
（実施形態２）
図８は、本実施形態によるデータ処理装置１０２の構成を示すブロック図である。以下、実施形態１によるデータ処理装置１００との相違点を中心に説明する。なお図８には、実施形態１における圧縮ビデオバッファ部ＡおよびＢに相当する構成要素は記載されていないが、この相違は簡略化のためであり本質的ではない。
【００８５】
受信部２１は、ビデオのデータストリームのみ複製を行い、複製前のデータストリームと複製後のデータストリームとを識別するＩＤを付与する。一方オーディオのデータストリームの複製は行わない。
【００８６】
従って分離部２２は、ＩＤの異なるビデオストリームデータをビデオデコード部Ａ２３と、ビデオデコード部Ｂ２６に分割して供給するともに、オーディオストリームデータは、圧縮オーディオ共通バッファ部２７に供給する。
【００８７】
圧縮オーディオ共通バッファ部２７は、圧縮オーディオデータを書き込むことにより、書き込んだ最終点まで最新の書き込み位置を移動するライトポインタを有している。また圧縮オーディオ共通バッファ部２７はリードポインタＡおよびＢも有している。オーディオデコード部Ａ２４によって圧縮オーディオデータが読み出されることにより、圧縮オーディオデータのリードポインタＡを更新する。またオーディオデコード部Ｂ２５によって圧縮オーディオデータが読み出されることにより、圧縮オーディオデータのリードポインタＢを更新する構成をとる。圧縮オーディオ共通バッファ部２７は、最終アドレスまで書き込んでいけば、また最初のアドレスまで書き込み位置をもどす。すなわちバッファのアドレス管理はリング状（ラップアラウンド状）に行われる。従って、読み出された位置まで、次の書き込みが可能となり、分離部２によって、ライトポインタが２つのリードポインタのうちのまだ読み込みが完了していないほうのリードポインタを追い越さないようにしながら、次の圧縮オーディオデータの書きこみがバッファ管理される。上述のライトポインタおよびリードポインタの機能は実施形態１におけるライトポインタおよびリードポインタと同じである。
【００８８】
実施形態１に比べ、実施形態２には、圧縮オーディオデータのバッファ容量がおよそ半分ですむ。これは、実施形態１においては、各々のデコード部それぞれに固有のオーディオバッファを有していた。しかし、実施形態２では、このオーディオバッファに格納されるデータそのものは同一であり、各々の遅延時間の設定の差により、複数の読み出し位置の制御を行うことにより、バッファの共通利用を図っている。
【００８９】
（実施形態３）
図９は、本実施形態によるデータ処理装置１０４の構成を示すブロック図である。以下、実施形態１との相違点を中心に説明する。なお図９には、実施形態１における圧縮ビデオバッファ部ＡおよびＢに相当する構成要素は記載されていないが、この相違は簡略化のためであり本質的ではない。
【００９０】
受信部４１は、利用者の指定した番組に対応するＩＤを有するビデオのデータストリームとオーディオのデータストリームを取得し、分離部４２へ渡す。分離部４２のあとにデータ複製部５３を設け入力されたデータストリームの複製を行う。データ複製部５３前のデータを第１のデコーダ部（ビデオデコード部Ａ４３及び圧縮オーディオバッファ部Ａ４７）へ、データ複製部５３にて複製されたデータストリームを第２のデコーダ部（ビデオデコード部Ｂ４５及び圧縮オーディオバッファ部Ｂ４８）へ供給する。
【００９１】
その後の処理については、実施形態１と同様である。これは、データ複製部５３を設けることにより、データ処理装置１０４を半導体で構成する場合において、受信部４１、分離部４２と、デコーダ部には、手を加えなくても、実施形態１と同等の効果が得られる。
【００９２】
（実施形態４）
図１０は、本実施形態によるデータ処理装置１０６の構成を示すブロック図である。以下、実施形態３によるデータ処理装置１０４との相違点を中心に説明する。
【００９３】
受信部８１は、利用者の指定した番組に対応するＩＤを有するビデオのデータストリームとオーディオのデータストリームを取得し、分離部８２へ渡す。分離部８２のあとにデータ複製部９３を設け入力されたビデオデータのデータストリームの複製を行う。データ複製前のデータを第１のデコーダ部（ビデオデコード部Ａ８３）へ、データ複製部９３にて複製されたデータストリームを第２のデコーダ部（ビデオデコード部Ｂ８５）へ供給する。
【００９４】
従って分離部８２は、オーディオストリームデータは、圧縮オーディオ共通バッファ部８７に供給する。
【００９５】
圧縮オーディオ共通バッファ部８７へは、圧縮オーディオデータを書き込むことにより、書き込んだ最終点まで最新の書き込み位置を移動するライトポインタを有している。そして、オーディオデコード部Ａ８４によって圧縮オーディオデータが読み出されることにより、圧縮オーディオデータのリードポインタＡを更新する構成をとる。またオーディオデコード部Ｂ８６によって圧縮オーディオデータが読み出されることにより、圧縮オーディオデータのリードポインタＢを更新する構成をとる。圧縮オーディオ共通バッファ部８７は、最終アドレスまで書き込んでいけば、また最初のアドレスまで書き込み位置がもどるリング状の使用形態とする。従って、読み出された位置まで、次の書き込みが可能となり、分離部２によって、ライトポインタが２つのリードポインタのうちのまだ読み込みが完了していないほうのリードポインタを追い越さないようにしながら、次の圧縮オーディオデータの書きこみがバッファ管理される。
【００９６】
実施形態３に比べ、実施形態４には、圧縮オーディオデータのバッファ容量がおよそ半分ですむ。これは、実施形態１においては、各々のデコード部それぞれに固有のオーディオバッファを有していた。しかし、実施形態４では、このオーディオバッファに格納されるデータそのものは同一であり、各々の遅延時間の設定の差により、複数の読み出し位置の制御を行うことにより、バッファの共通利用を図っている。その後の処理は実施形態１によるデータ処理装置１００の処理と同様である。
【００９７】
なお上述の各実施形態においては、入力データは、外部から入力されるデータ、外部記録媒体から入力されるデータとして説明してきたが、予め機器内に存在するデータであってもよい。
【００９８】
また上述の実施形態においては、分離部がビデオ信号とオーディオ信号とを分離するとして説明した。しかし、あらかじめ各々が分離されているファイルデータであってもよい。圧縮ビデオデータと関連する再生時刻情報、圧縮オーディオデータと再生時刻情報を入力とし、各々の再生時刻情報に対し、同期情報とともに再生できる構成であれば、上述の各実施形態によるデータ処理装置を構成することができる。これは、ビデオカメラ等で撮影した信号をパーソナルコンピュータ上で編集した結果として、ＡＶ及びデータの混合ファイルもしくは、ＡＶデータ独立のファイルどちらの場合でも、圧縮ビデオデータと関連する再生時刻情報、圧縮オーディオデータと再生時刻情報、ファイル上のデータ情報を互いに関連づけた同期をとって再生する場合すべてに適応される。
【００９９】
上述の実施形態によるデータ処理装置の適用例としては、セットトップボックス、デジタル衛星放送受像機及びその記録機器、ＤＶＤプレーヤもしくはＤＶＤレコーダの関連機器、ハードディスクレコーダ、パーソナルコンピュータなどがある。
【産業上の利用可能性】
【０１００】
本発明におけるデータ処理装置は、デジタル符号化された映像信号と音声信号の同期信号を元に、表示などの目的で複数の出力経路を持つ場合に、各々の経路の遅延を、圧縮データのままバッファメモリに蓄え、さらに各々の信号処理による遅延時間を独自に設定することにより、各経路のＡＶ同期を動的に合わす用途に使用することができる。
【図面の簡単な説明】
【０１０１】
【図１】実施形態１によるデータ処理装置１００の機能ブロックの構成を示す図である。
【図２】デコード部１０１の詳細な機能ブロックの構成例を示す図である。
【図３】ビデオとオーディオとの同期再生を実現する再生タイミングを示す図である。
【図４】実施形態１によるデコード処理手順を示すフローチャートである。
【図５】オーディオ再生時刻情報管理部Ａ４０１において生成されるテーブルの構成を示す図である。
【図６】ビデオ処理を行う処理回路を搭載したビデオ出力部３０４の機能ブロックの構成を示す図である。
【図７】データ処理装置１００と映像音響機器１２０との接続およびそれらの間で授受されるデータの種類を示す図である。
【図８】実施形態２によるデータ処理装置１０２の構成を示すブロック図である。
【図９】実施形態３によるデータ処理装置１０４の構成を示すブロック図である。
【図１０】実施形態４によるデータ処理装置１０６の構成を示すブロック図である。
【図１１】従来の信号再生装置の実装形態を示すブロック図である。
【図１２】複数の出力経路を有する従来の信号再生装置の構成を示すブロック図である。
【符号の説明】
【０１０２】
１ 受信部
２ 入力部
３ ビデオデコード部Ａ
４ オーディオデコード部Ａ
５ ビデオデコード部Ｂ
６ オーディオデコード部Ｂ
７ 圧縮オーディオバッファ部Ａ
８ 圧縮オーディオバッファ部Ｂ
９ 遅延設定部Ａ
１０ 遅延設定部Ｂ
１１ システム時刻参照部Ａ
１２ システム時刻参照部Ｂ
１３、１６ 外部映像機器
１４、１５ 外部音響機器
１７、１８ 圧縮ビデオバッファ部
１００、１０２、１０４、１０６ データ処理装置
１０１ デコード部
【技術分野】
【０００１】
圧縮符号化されたオーディオデータおよびビデオデータを再生する際に、オーディオとビデオとを同期して再生する技術に関する。
【背景技術】
【０００２】
従来、圧縮符号化されて記録されたビデオ信号およびオーディオ信号をＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ハードディスク等の記録媒体から読み出し、デコード（伸張）して出力するデータ再生装置が知られている。データ再生装置が伸張されたデータをその装置に接続されたモニタ、音響スピーカ等に送ることにより、ビデオおよびオーディオの再生が実現される。
【０００３】
圧縮符号化に関しては、多くの規格が規定されている。例えばＭＰＥＧ（Motion Picture Experts Group）は、ビデオ信号およびオーディオ信号の両方を圧縮符号化する規格として知られている。ＭＰＥＧ規格では、ビデオ信号が表すビデオおよびオーディオ信号が表すオーディオが同期して再生されることを保証するために、オーディオ信号およびビデオ信号のそれぞれに再生されるべき時刻を表す時刻情報が付加される。これにより、伸張時にはシステム機器が有するシステム時刻基準参照値に対し、これらの時刻情報を参照してオーディオ信号とビデオ信号とを同期させて再生することができる。
【０００４】
以下従来の再生方法について説明する。なお、出願人は、特許文献１に開示されている信号再生装置を認識しており、本発明の課題を明確にするために、先行技術の内容を従来例として、簡単に説明する。この方法では、音声の遅延及び画像の遅延用として各々デコードに遅延部を設け、所定の遅延を行ってリップシンクをとりながら再生を実現する。
【０００５】
以下従来の信号再生装置について説明する。図１１は、従来の信号再生装置の実装形態を示す。図１１を参照して、オーディオ遅延部１８７は、制御部１９４から入力されるオフセット幅をビデオ遅延部１９０と共通の所定の遅延時間に加算した時間だけ、オーディオデコーダ１８６から入力される音声信号を遅延した後、オーディオディジタルアナログコンバータ（ＡＤＡＣと略）１８８に出力する。ビデオ遅延部１９０は、ビデオデコーダ１８９から入力される映像信号を所定時間だけ遅延した後、ミキサ１９１に出力し、ビデオディジタルアナログコンバータ（ＶＤＡＣと略）１９２に出力する。制御部１９４は、コマンド入力部１９３から遅延コマンド等を受け付け指定されるリップシンクのオフセット幅等を設定する。
【０００６】
オーディオの再生と、ビデオの表示タイミングの同期がずれると、視聴者は、違和感を覚える。特に、オーディオ再生がビデオ再生よりも一定時間（概ね３０ミリ秒）以上先行すると、映像中の人物の口の動きと音声の同期のずれが目立ち、視聴者に違和感を与える。また接続する外部機器の処理において、さらに時間を要する処理を行うとさらにビデオおよびオーディオの再生タイミングがずれてしまう。そこで、ビデオ遅延部１９０及びオーディオ遅延部１８７を用いて、出力タイミングを調整する。
【０００７】
この従来の信号再生装置の構成を用い、第１の出力部だけでなく、第２の出力部を追加した場合について、図１２を用いて説明する。図１２は、複数の出力経路を有する従来の信号再生装置の構成を示す。例えば第１の出力は大画面のシアター向けの高精細画像及び外部オーディオアンプに接続される系として、第２の出力は、標準画質でビデオデッキなどの録画機や手元のモニタ出力に接続される系を想定する。図１５において、２０１のオーディオデコーダは、オーディオデコーダ１８６と同等の機能を有する。２０２のビデオデコーダは、ビデオデコーダ１８９と同等。２０３のオーディオ遅延部Ａは、オーディオ遅延部１８７と同等、２０４のビデオ遅延部Ａは、ビデオ遅延部１９０と同等、２０５のＡＤＡＣは、ＡＤＡＣ１８８と同等。２０６のＶＤＡＣは、ＶＤＡＣ１９２と同等。さらにエンコーダ２０９に入力するために各々を遅延させるオーディオ遅延部Ｂ２０７と、ビデオ遅延部Ｂ２０８から構成される。
【０００８】
ビデオデコーダ２０２における標準画質用の画像処理時間と、高精細画質用の画像処理時間とは、遅延設定に違いが生じる。さらに、ＩＰ変換（インタレースからプログレッシブ）などを行う場合の遅延設定、サラウンド音声処理の有無に伴う場合の遅延設定など、各々の出力のための処理内容に適した遅延設定が必要である。制御部から各々の遅延部の設定を行うことにより、オーディオとビデオとを同期させることができる。遅延部として半導体メモリを設けることで、複数の出力部を有していてもこれに対応できる。
【特許文献１】特開２００１−１０１８０３号公報（第３−５頁、第１図、第２図）
【発明の開示】
【発明が解決しようとする課題】
【０００９】
従来の信号再生装置のように遅延部に半導体メモリを用いると、遅延量を多くとるためには半導体メモリのメモリサイズを大きくせざるを得ない。しかし、一般にはメモリサイズが大きくなると半導体メモリのコストが増加し、信号再生装置の価格にも大きな影響を与える。よって、できるだけメモリサイズを小さくすることが必要である。
【００１０】
本発明の目的は、メモリコストの増加を極力抑えながら、当初意図されたとおりにオーディオとビデオとを同期して再生することである。特に、オーディオとビデオの出力経路が複数存在し、出力先の外部接続機器の相違、処理種別の相違等によって出力経路の遅延量が異なる場合であっても、各出力経路について当初意図されたとおりにオーディオとビデオとを同期して再生することである。
【課題を解決するための手段】
【００１１】
本発明によるデータ処理装置は、データストリームを受信してオリジナルストリームとして出力するとともに、受信された前記データストリームを複製して複製ストリームとして出力し、かつ、出力に際して前記オリジナルストリームおよび前記複製ストリームの各々を識別可能な識別情報を付与する受信部を備えている。前記データストリームは、圧縮符号化されたビデオコンテンツに関する第１データ、前記第１データの再生時刻を規定する第１時刻情報、前記ビデオコンテンツと異なるコンテンツに関する第２データおよび前記第２データの再生時刻を規定する第２時刻情報を有する。またデータ処理装置は、前記オリジナルストリームから、前記第１データ、前記第１時刻情報、前記第２データおよび前記第２時刻情報を抽出し、前記複製ストリームから、前記第１データ、前記第１時刻情報、前記第２データおよび前記第２時刻情報を抽出する分離部と、前記オリジナルストリームに関し、前記第１データをデコードして、前記第１時刻情報に基づいて出力する第１デコード部と、前記オリジナルストリームに関し、第２時刻情報に基づいて前記第２データを出力する第２デコード部と、前記複製ストリームに関し、前記第１データをデコードして、前記第１時刻情報に基づいて出力する第３デコード部と、前記複製ストリームに関し、前記第２時刻情報に基づいて前記第２データを出力する第４デコード部と、第１遅延設定部および第２遅延設定部とを有する。
【００１２】
前記第１時刻情報および前記第２時刻情報が前記第１データおよび前記第２データを同期して再生する時刻を規定している場合において、前記第１遅延設定部は、前記オリジナルストリームの再生時刻の遅延量を規定する第１遅延情報を保持し、かつ、前記第１遅延情報に基づいて前記第２時刻情報を修正し、前記第２データの再生時刻を遅延させ、前記第２遅延設定部は、前記複製ストリームの再生時刻の遅延量を規定する第２遅延情報を保持し、かつ、前記第２遅延情報に基づいて前記第２時刻情報を修正し、前記第２データの再生時刻を遅延させる。
【００１３】
前記データ処理装置は、前記オリジナルストリームの第２データ、および、前記複製ストリームの第２データの各々を格納する少なくとも１つのデータバッファをさらに備えていてもよい。前記オリジナルストリームの前記第２データは圧縮符号化されており、前記少なくとも１つのデータバッファは、修正された第２時刻情報によって規定される再生時刻の前に前記圧縮符号化された第２データを取り出し、前記第２デコード部および前記第４デコード部に出力してもよい。
【００１４】
前記少なくとも１つのデータバッファは、前記オリジナルストリームの第２データを格納する第１バッファと、前記複製ストリームの第２データを格納する第２バッファとから構成されていてもよい。前記第１バッファは、前記第１遅延設定部によって修正された第２時刻情報によって規定される再生時刻の前に、前記オリジナルストリームの第２データを取り出して前記第２デコード部に出力し、前記第２バッファは、前記第２遅延設定部によって修正された第２時刻情報によって規定される再生時刻の前に、前記複製ストリームの第２データを取り出して前記第４デコード部に出力してもよい。
【００１５】
本発明によるデータ処理装置は、データストリームを受信してオリジナルストリームとして出力する受信部を有している。前記データストリームは、圧縮符号化されたビデオコンテンツに関する第１データ、前記第１データの再生時刻を規定する第１時刻情報、前記ビデオコンテンツと異なるコンテンツに関する第２データおよび前記第２データの再生時刻を規定する第２時刻情報を有する。またデータ処理装置は、前記オリジナルストリームから、前記第１データ、前記第１時刻情報、前記第２データおよび前記第２時刻情報を抽出する分離部と、前記第１データ、前記第１時刻情報、前記第２データおよび前記第２時刻情報を複製する複製部と、前記オリジナルストリームに関し、前記第１データをデコードして、前記第１時刻情報に基づいて出力する第１デコード部と、前記オリジナルストリームに関し、第２時刻情報に基づいて前記第２データを出力する第２デコード部と、複製された第１データをデコードして、複製された第１時刻情報に基づいて出力する第３デコード部と、複製された第２時刻情報に基づいて、複製された第２データを出力する第４デコード部と、第１遅延設定部および第２遅延設定部とを有している。前記オリジナルストリームから抽出された前記第１時刻情報および前記第２時刻情報が前記第１データおよび前記第２データを同期して再生する時刻を規定している場合において、前記第１遅延設定部は、前記オリジナルストリームの再生時刻の遅延量を規定する第１遅延情報を保持し、かつ、前記第１遅延情報に基づいて前記第２時刻情報を修正し、前記第２データの再生時刻を遅延させ、前記第２遅延設定部は、複製された第１データの再生時刻の遅延量を規定する第２遅延情報を保持し、かつ、前記第２遅延情報に基づいて前記第２時刻情報を修正し、前記第２データの再生時刻を遅延させる。
【００１６】
前記オリジナルストリームの前記第２データは圧縮符号化されている。前記データ処理装置は、前記オリジナルストリームの第２データ、および、複製された第２データの各々を格納する少なくとも１つのデータバッファをさらに備えていてもよい。前記少なくとも１つのデータバッファは、修正された第２時刻情報によって規定される再生時刻の前に前記圧縮符号化された第２データを取り出し、前記第２デコード部および前記第４デコード部に出力する。
【００１７】
前記少なくとも１つのデータバッファは、前記オリジナルストリームの第２データを格納する第１バッファと、複製された第２データを格納する第２バッファとから構成されていてもよい。
【発明の効果】
【００１８】
本発明によれば、入力されたビデオ及びオーディオのデータを含む圧縮符号化されたコンテンツデータに基づいて、オリジナルのデータと複製後のデータを作成する。圧縮符号化されたままのデータを遅延出力のために保持させることにより、各々の同期信号に基づいて、別々にデコードされた映像と音声に対し、経路毎の遅延を独自に設定して同期再生を実行できるという利点がある。
【発明を実施するための最良の形態】
【００１９】
以下、添付の図面を参照しながら、本発明によるデータ処理装置の実施形態を説明する。
【００２０】
（実施形態１）
まず図１を主として参照しながら、本発明の実施形態１によるデータ処理装置の構成を説明する。図１は、本実施形態によるデータ処理装置１００の機能ブロックの構成を示す。図１はまた、データ処理装置１００と接続された映像／音響機器１３〜１６を示す。データ処理装置１００は、ＤＶＤ−ＲＯＭ等の光ディスクから光ピックアップを介して読み出されたデータストリームに２値化処理等を行って、デジタルデータストリームとして出力する。その後で、このストリームをビデオデータおよびオーディオデータに分離し、各々をデコードして映像音響機器に出力する。
【００２１】
データ処理装置１００は、ＤＶＤプレーヤ、ＤＶＤレコーダ、ＰＣ等であるが、光ディスクに代えてハードディスクを用いたときはハードディスクレコーダである。または、アンテナ等を介してデジタル放送のデータストリームを受け取るときには、データ処理装置１００はセットトップボックス、デジタル衛星放送受像機等として実現される。一方、映像音響機器は、例えばＴＶ等のモニタ出力機器、オーディオ出力アンプ、ＡＶセレクタ機能を有するＡＶアンプ等のインタフェース機器である。図１では映像を表示する機器、音声等を出力する機器等が複数存在している例を示している。
【００２２】
各種符号化方式されたコンテンツや、デジタル放送等のデジタル圧縮符号化されたオーディオ・ビデオ信号を格納する光ディスク装置等や、デジタル放送チューナ装置等からデータの供給を受ける受信部１、多重化されて記録されているオーディオ・ビデオ信号を分離し、圧縮ビデオデータ及び圧縮オーディオデータの分離とビデオ再生時刻情報とオーディオ再生時刻情報を抽出する入力解析を行う分離部２を有する。
【００２３】
ＭＰＥＧでは、ビデオおよびオーディオの同期再生を実現するために、ビデオとオーディオの各アクセスユニットと呼ばれるデコードの単位ごと（ビデオは１フレーム、オーディオは１オーディオフレーム）に、いつ再生すべきかの時刻を管理するためのタイムスタンプ値が付加されている。このタイムスタンプ値は、ＰＴＳ（Presentation Time Stamp）と呼ばれ、オーディオ用はオーディオＰＴＳ（以下「ＡＰＴＳ」と記述する）およびビデオ用はビデオＰＴＳ（以下「ＶＰＴＳ」と記述する）が規定されている。なお、本明細書では、オーディオとビデオとが同期している状態を「ＡＶ同期」と称する。
【００２４】
ＰＴＳが上述のシステム時刻基準ＳＴＣに一致したときに、そのＰＴＳが付加されたアクセスユニットが再生のために出力される。ＰＴＳの精度は、ＳＣＲと同様、９０ｋＨｚのクロックで計測した値であり、３３ビット長で表されている。９０ｋＨｚで計測する理由は、ＮＴＳＣ、ＰＡＬの両方のビデオ方式のフレーム周波数の公倍数であることと、オーディオの１サンプル周期よりも高い精度を得るためである。
【００２５】
本実施形態によるデータ処理装置１００の特徴のひとつは、映像音響機器において行われる種々の演算処理等により、本来同期して再生すべきビデオおよびオーディオがずれて再生されてしまう場合に、先行する出力を遅延して出力することにある。例えば、映像音響機器においてビデオデータのインターレース／プログレッシブ変換を行うためにビデオデータの再生がオーディオの再生よりも遅延してしまう場合に、ビデオデータの再生時刻の遅延量相当時間だけ、先行するオーディオデータを遅延して出力する。これにより、ビデオデータとオーディオデータとの同期再生が可能になる。なお、オーディオデータの遅延出力は、オーディオデータの再生時刻を規定するＰＴＳを修正することによって実現される。遅延量は、予想される時間、ユーザによって設定された時間、映像音響機器を特定して判断することができる映像音響機器におけるビデオ処理の所要時間等に基づいて設定される。
【００２６】
上述のデータ処理装置１００の特徴は、主としてデータ処理装置１００のデコード部１０１によって実現される。以下、デコード部１０１を詳細に説明する。
【００２７】
図２は、デコード部１０１の詳細な機能ブロックの構成例を示す。デコード部１０１は、分離部２からの入力により、ビデオバッファ部（図示せず）と、ビデオ再生時刻情報管理部Ａ３０１と、システム時刻参照部１１と、圧縮ビデオバッファ部Ａ１７と、ビデオデコード部Ａ３と、圧縮オーディオバッファ部Ａ７と、オーディオ再生時刻情報管理部Ａ４０１と、オーディオデコード部Ａ４と、オーディオ遅延設定部Ａ９とを有する。
【００２８】
分離部２は、データストリームから、デジタル圧縮符号化されたオーディオおよびビデオデータを分離して抽出するとともに、ビデオパックに付加されたＰＴＳをビデオ再生時刻情報として抽出し、オーディオパックに付加されたＰＴＳをオーディオ再生時刻情報として抽出する。
【００２９】
まず、ビデオ処理に関する構成要素を説明する。圧縮ビデオバッファ部Ａ１７は、分離部２によって分離されたビデオデータを一次格納する。ビデオ再生時刻情報管理部Ａ３０１は、圧縮ビデオバッファ部Ａ１７に格納されたビデオデータとビデオ再生時刻情報を関連づけたテーブルを生成し、管理する。
【００３０】
ビデオデコード部Ａ３は、圧縮符号化されたビデオデータの属性情報（ビデオヘッダ情報）を解析するとともに、圧縮ビデオバッファ部Ａ１７に格納されているビデオデータをビデオ再生時刻情報に従ってデコードする。ビデオデコード部Ａ３にはフレームバッファ部３０３およびビデオ出力部３０４が設けられている。フレームバッファ部３０３は、デコードしたビデオデータを格納する。ビデオ出力部３０４は、外部へビデオデータを出力する。このビデオデータは、さらにデータ処理装置１００に接続された映像音響機器（例えば外部映像機器１３）に出力される。
【００３１】
次に、オーディオ処理に関する構成要素を説明する。圧縮オーディオバッファ部Ａ７は、分離部２によって分離されたオーディオデータを格納することができる半導体メモリである。そのバッファサイズは、取り扱う符号化オーディオデータの圧縮率等によって異なり、例えば数キロバイトから数十キロバイト程度である。オーディオ再生時刻情報管理部Ａ４０１は、圧縮オーディオバッファ部Ａ７に格納されたオーディオデータとオーディオ再生時刻情報を関連づけるテーブルを生成し、管理する。このテーブルは後に図５を参照しながら詳述する。
【００３２】
遅延設定部Ａ９は、オーディオの再生時刻の遅延量を規定する遅延情報を保持し、かつ、遅延情報に基づいてオーディオの再生時刻情報を修正して、その再生時刻を遅延させる。遅延設定部Ａ９は、例えば遅延情報を保持するメモリ（図示せず）を有しており、映像音響機器の処理に鑑みて想定される時間が予め設定されている。そしてさらに、ユーザによって設定された数ミリ秒単位またはビデオフレーム単位の遅延時間に関する情報も保持できる。これにより、映像音響機器において発生する処理遅延に応じた微調整が可能になる。
【００３３】
オーディオデコード部Ａ４は、圧縮符号化されたオーディオデータの属性情報（オーディオヘッダ情報）を解析するとともに、圧縮オーディオバッファ部Ａ７に格納されているオーディオデータをオーディオ再生時刻情報に従ってデコードする。オーディオデコード部Ａ４にはＰＣＭバッファ部４０３およびオーディオ出力部４０４が設けられている。ＰＣＭバッファ部４０３は、デコードしたオーディオデータを格納する。オーディオ出力部４０４は、外部へオーディオデータを出力する。このオーディオデータは、さらにデータ処理装置１００に接続された映像音響機器（例えば外部音響機器１４）に出力される。
【００３４】
なお、上述のビデオデコード部Ａ３およびオーディオデコード部Ａ４は、各々別々の半導体集積回路等とその制御用のプログラムにより実現することができる。しかし、それぞれの機能を実現できる限り、１つの半導体集積回路等とその制御用のプログラムによって実現してもよい。
【００３５】
次に、ビデオ出力部３０４およびオーディオ出力部４０４から出力されるビデオデータおよびオーディオデータを、同期して再生するための構成を説明する。デコードタイミングおよび再生タイミングは、システム時刻参照部Ａ１１によって実現される。システム時刻参照部Ａ１１は、ＭＰＥＧシステムのデータ処理装置１００の内部においてシステム時刻基準ＳＴＣを生成する。データ処理装置１００側でＳＴＣを生成するためには、ＤＶＤディスク等で使用されるプログラムストリーム（ＰＳ）に規定されるＳＣＲ（System Clock Reference；システム時刻基準参照値）の値を用いる。ＳＣＲはパックヘッダに記述されている。なお、入力されるデータストリームがＢＳデジタル放送で使用されるトランスポートストリーム（ＴＳ）のときは、ＰＣＲ（Program Clock Reference：プログラム時刻基準参照値）が用いられる。
【００３６】
システム時刻参照部Ａ１１は、ビデオデータの最終バイトの到着時に、ＳＣＲの値をシステム時刻基準ＳＴＣと同じ値に設定する。これにより基準となる時刻を設定することができる。さらに、このＳＴＣの値の設定と、ＰＬＬ（位相ロックループ）回路（図示せず）を組み合わせることにより、デコード部６０の基準時刻用システムクロックと完全に周波数が一致したＳＴＣをもつことができる。システム時刻基準ＳＴＣのシステムクロックの周波数は２７ＭＨｚである。このＳＴＣからカウンタ等により分周することにより、各ＰＴＳ（周波数：９０ｋＨｚ）が参照される。
【００３７】
データ処理装置１００が従来の処理を行う場合には、ビデオデコード部Ａ３は、システム時刻基準ＳＴＣがＶＰＴＳに一致したときそのＰＴＳが付加されていたアクセスユニットを出力し再生させる。またオーディオデコード部Ａ４は、ＳＴＣがＡＰＴＳに一致したときにそのＰＴＳが付加されていたアクセスユニットを出力し再生させる。ＰＴＳの周波数は９０ｋＨｚであるから、この精度の範囲内で、ＳＴＣとＶＰＴＳおよびＡＰＴＳとの同期をとれるようにビデオデータおよびオーディオデータの各々をデコードする。これにより、ビデオおよびオーディオの同期再生を実現できる。
【００３８】
一方、本実施形態による処理によれば、映像音響機器におけるビデオ処理の遅延を考慮した上で、データ処理装置１００はビデオおよびオーディオの同期再生を実現する。以下、図３を参照しながらその概略を説明し、その後、図４を参照しながらその動作を実現するための処理の手順を説明する。
【００３９】
図３は、ビデオとオーディオとの同期再生を実現する再生タイミングを示す。再生タイミングは、ビデオ再生時刻情報およびオーディオ再生時刻情報に基づいて規定される。図３では、再生時刻情報によって示されるタイミングが４段に分けて記載されている。１段目は、データストリームに規定されていたビデオ再生時刻情報（ＶＰＴＳ）のタイミングを示す。データストリームを生成したエンコーダ（図示せず）では、時刻Ｔｖ１、Ｔｖ２、・・・において、ビデオが再生されることを意図して圧縮符号化を行っている。また、データストリームには時刻Ｔａ１、Ｔａ２、・・・において再生されるべきオーディオの再生時刻情報（ＡＰＴＳ）も存在している。エンコーダは、ビデオとオーディオについて各々ＶＰＴＳ、ＡＰＴＳを付すことにより、システムクロックＳＴＣに同期して再生されることを要求している。
【００４０】
次に、図３の２段目は、映像音響機器におけるビデオ処理によって遅延したビデオの再生タイミングを示す。例えば、最初に表示されるビデオについてみると、ビデオ処理に起因する遅延により、本来時刻Ｔｖ１で表示されるはずの映像が、時刻Ｔｖ１より後の時刻Ｔｐ１において再生されている。その時間差をΔｔとする。
【００４１】
次に、４段目は、本実施形態の遅延設定部Ａ９が元の再生時刻情報（ＡＰＴＳ）を修正した後の、オーディオの再生タイミングを示す。オーディオ遅延設定部９は、時刻Ｔａ１において再生されるべきことを示すオーディオの再生時刻情報（ＡＰＴＳ）を、ビデオが遅延する時間（Δｔ）だけずらした時刻情報（ＮＡＰＴＳ）に修正し、オーディオの再生時刻を遅延させている。したがって、ビデオ出力は２段目のタイミング（時刻Ｔｐ１、Ｔｐ２、・・・）において再生され、オーディオ出力は４段目のタイミング（時刻Ｔna1、Ｔna2、・・・）において出力されて再生される。これにより、ビデオとオーディオの同期再生を実現できる。
【００４２】
なお、ビデオおよびオーディオの「同期再生」とは、ビデオの再生タイミングがオーディオの再生タイミングに対して、一定の時間範囲（例えば５０ミリ秒先行から３０ミリ秒遅延の間）に入っていることをいう。ビデオおよびオーディオのＰＴＳが一致している場合に限られない。
【００４３】
図４は、本実施形態によるデコード処理手順を示す。まず分離部１にて、符号化データストリームを符号化ビデオデータおよび符号化オーディオデータに分離し、ステップＳ１０１及びステップＳ１０２において、符号化データ（ビデオ／オーディオ）から、符号化フレームデータおよび再生時刻情報（ＶＰＴＳ／ＡＰＴＳ）を抽出する。ビデオおよびオーディオの各符号化フレームデータは、それぞれ圧縮ビデオバッファ部Ａ１７および圧縮オーディオバッファ部Ａ７に格納され、再生時刻情報（ＶＰＴＳ／ＡＰＴＳ）はビデオ再生時刻情報管理部Ａ３０１およびオーディオ再生時刻情報管理部Ａ４０１に送られる。
【００４４】
図５は、オーディオ再生時刻情報管理部Ａ４０１において生成されるテーブルの構成を示す。このテーブルは、圧縮オーディオバッファ部７に格納されたオーディオデータとオーディオ再生時刻情報とを関連づける。まず、オーディオ再生時刻情報管理部Ａ４０１は、例えばＡＰＴＳごとにスロットという単位に分割する。そして、各スロットとオーディオアドレス情報とを対応付ける。オーディオアドレス情報は、オーディオバッファ部Ａ７に格納されたオーディオデータの先頭アドレスを参照するデータとして、各スロットに対応づけられて格納される。そして、格納されたオーディオデータのデータ配置と、オーディオアドレス情報によって参照されるデータ位置の関係を示す。
【００４５】
更に圧縮オーディオバッファ部Ａ７は、圧縮オーディオデータを書き込んだ最後の位置（バッファ内のアドレス）を特定するライトポインタを有している。ライトポインタが示す位置はデータの書き込みが行われるとその最後の位置を示すように更新される。圧縮オーディオバッファＡ７はデータをバッファの最終アドレスまで書き込むと、書き込み位置を最初のアドレスまで戻す。すなわちバッファのアドレス管理はリング状（ラップアラウンド状）に行われる。
【００４６】
また圧縮オーディオバッファ部Ａ７は、圧縮オーディオデータを読み出した最終位置（バッファ内の最終アドレス）を特定するリードポインタを有している。オーディオデコード部Ａ４によって圧縮オーディオデータが読み出されると、圧縮オーディオデータのリードポインタが示す位置を更新する。従って、読み出された位置までは、後続のデータを書き込むことができる。ライトポインタの位置がリードポインタの位置を追い越さないよう管理しながら、保持された圧縮オーディオデータが読み出され、分離部２によって分離された後続の圧縮オーディオデータが書き込まれる。
【００４７】
再び図４を参照する。ステップＳ１０３において、ビデオデコード部Ａ３は、ＶＰＴＳがシステム時刻基準ＳＴＣに達する前に、ビデオの符号化フレームデータをデコードし、デコードされたビデオデータをフレームバッファ部３０３に格納する。
【００４８】
次にステップＳ１０４及びステップＳ１０５において、遅延設定部Ａ９は、予め設定された遅延時間に対応するＰＴＳ値ΔｔをＡＰＴＳの値に加算し、新たなオーディオ再生時刻情報ＮＡＰＴＳ値を求める（ＮＡＰＴＳ＝ＡＰＴＳ＋Δｔ）。以上の処理によって、オーディオの再生時刻情報（ＡＰＴＳ）を修正した新たな再生時刻情報（ＮＡＰＴＳ）が得られる。本実施形態においては、遅延時間は利用者により予め設定される場合を想定して説明する。利用者は、遅延設定部Ａ９として設けられた入力ボタン、リモコン（図示せず）等によって設定したい項目を選択することができる。例えば、遅延させたい時間が“６０ｍｓ”と設定する。ＰＴＳ値Δｔは設定された遅延時間に基づいて得ることができる。
【００４９】
なお、遅延時間の設定はＡＶ同期を実現するために必要であるが、現実の再生前に遅延時間を予め設定することができる根拠は以下のとおりである。すなわちビデオデコード部Ａ３においては、例えば標準画質の映像を出力するための処理時間は概ね一定であり、また高精細画質の映像を出力するための処理時間もまた概ね一定である（ただし両方の処理時間は異なっていてもよい）。よって、どの程度オーディオを遅延させればよいかは、映像の処理内容に応じて予めほぼ特定できるといえる。この結果、利用者が現実の再生前に遅延時間を予め設定できる。
【００５０】
ステップＳ１０６において、オーディオデコード部Ａ４は、ＮＡＰＴＳがシステム時刻基準ＳＴＣに達する前に、オーディオの符号化フレームデータをデコードし、ステップＳ１０８において、デコードされたオーディオデータをＰＣＭバッファ部４０３に格納する。
【００５１】
ステップＳ１０７において、ビデオデコード部Ａ３は、システム時刻基準ＳＴＣがＶＰＴＳに達したか否かを判断する。「達した」とは、ＳＴＣがＶＰＴＳに一致したとき、またはＳＴＣがＶＰＴＳを超過したときを示す。達していれば、ステップＳ１０７においてビデオ出力部３０４はフレームバッファからビデオデータを出力する。達していなければ、達するまで待つ。
【００５２】
次に、ステップＳ１０８において、オーディオデコード部Ａ４は、ＳＴＣがＮＡＰＴＳに達したか否かを判断する。ここでいう「達した」もビデオと同様であり、ＳＴＣがＮＡＰＴＳに一致したとき、またはＳＴＣがＮＡＰＴＳを超過したときを示す。達していれば、オーディオ出力部４０４はＰＣＭバッファからオーディオデータを出力する。達していなければ、達するまで待つ。
【００５３】
そして、ステップＳ１０９において、ビデオデコード部Ａ３およびオーディオデコード部Ａ４はデコードが終了したか否かを判断する。終了したときは処理を終了し、していなければステップＳ１０１もしくはステップＳ１０２に戻って処理を継続する。なお、ユーザから再生の停止が指示された場合にも処理は終了する。なお、ステップＳ１０１とＳ１０２は、どちらの入力が先かで適時順序が変更になる。
【００５４】
なお、装置によっては、光出力端子からドルビーデジタル等のストリームのままで出力する場合もある。このような場合、ストリームバッファ（図示せず）に一旦蓄えて、ＳＴＣを参照し、ＮＡＰＴＳが一致もしくは超過した時点で、オーディオ出力する。
【００５５】
ＳＴＣに対して、ＶＰＴＳ及びＮＡＰＴＳを同期させるよう、ビデオデコード及びオーディオデコードを実施する。特に、ＮＡＰＴＳにＶＰＴＳが、５０ミリ秒先行から、３０ミリ秒遅延までの間にあわせれば、リップシンクのずれは気にならない程度に収まる。
【００５６】
次に、データ処理装置１００と複数種類の外部映像機器、外部音響機器等との接続について説明する。各種符号化方式によって（圧縮）符号化されたコンテンツデータ、デジタル放送等のデジタル圧縮符号化されたオーディオ・ビデオデータ等は、データ処理装置１００において復号化され、外部映像機器、外部音響機器等において再生される。
【００５７】
まず、デジタル圧縮符号化されたオーディオ／ビデオデータストリームを供給される受信部１の処理を以下に説明する。以下では、受信部１は、例えばオーディオデータストリームとビデオデータストリームとを含むトランスポートストリーム（ＴＳ）を受信するとして説明する。
【００５８】
受信部１に入力されるオーディオデータストリームとビデオデータストリームには、各々のストリームを識別するための識別番号（以下ＩＤと略す）が付されている。従来の衛星放送用のセットトップボックスに内蔵される受信部１は、衛星放送等を受信する場合においては、利用者が選択した番組を特定する番組ＩＤに基づいて、その番組に関するオーディオ／ビデオデータストリームのＩＤを特定する。そして、特定されたＩＤを有するオーディオ／ビデオデータストリームを、複数のデータストリームの中から抽出して分離部２に供給する。
【００５９】
本実施形態による受信部１は、上記動作に加えてさらに、抽出したオーディオ／ビデオデータストリームのデータストリームの複製を作成するとともに、複製されたデータストリームに対して先のデータストリームの抽出時に特定したＩＤとは異なるＩＤを作成し、複製されたデータストリームに付与する。すなわち複製の対象となるオリジナルのデータストリームのＩＤと、複製されたデータストリームのＩＤとは異なっている。
【００６０】
次に分離部２は、ＩＤを利用して映像データストリームおよび音声データストリームを分離し、圧縮ビデオデータ及び圧縮オーディオデータの分離とビデオ再生時刻情報とオーディオ再生時刻情報を抽出する入力解析を行う。
【００６１】
分離部２においても、複数の圧縮オーディオデータと複数の圧縮ビデオデータを扱い、複数のデコード部に対して、各データを供給する働きを有する。分離部２は、データ処理装置の中の複数のデコード部の各々に対し、指定されたＩＤを有する圧縮データを供給する。
【００６２】
よって、分離部２に対して、下記の２つは区別なく処理できるようになり、複数のデコード部によって、別々のデコード処理が行われる。
【００６３】
（１）利用者が同時に複数の番組再生を指定した場合で、複数の番組ＩＤが指定されて複数番組のデータストリームが供給される。
【００６４】
（２）利用者が単一の番組のＩＤを指定することにより、結果として受信部１が複製前及びの複製後の各々のデータストリームが供給される。
【００６５】
本実施形態のデータ処理装置１００は、複数の外部接続機器への出力経路が設けられている場合においても、各々の外部接続機器において、ＡＶ同期をとりながらコンテンツを再生することができる。例えば、一方の端子からＢＳデジタル放送のハイビジョン放送を高画質で再生出力しながら、標準画質のビデオレコーダに接続されたもう一方の端子から、録画のための再生出力することができる。この例では、ハイビジョン放送画面（第１画面）を作成するには、より高画質で表示するための画像処理を行う必要がありその分ビデオ出力処理に時間がかかる。一方標準画質のビデオレコーダへの出力映像画面（第２画面）を作成するためには、ハイビジョン映像を標準の映像にフォーマット変換するための画像処理を行う必要がある。第１画面と第２画面の各々の画像処理時間は、外部接続機器に接続する形態において各々設定され、同一である必要はない。従って先に説明したオーディオ再生を遅延させる処理を行い、各々ＡＶ同期をはかったうえで、ビデオとオーディオ信号を出力する。
【００６６】
本実施形態によるデータ処理装置の特徴は、受信部１を従来の指定ＩＤを有するデータストリームのみを分離部２へ通過させるだけでなく、指定ＩＤのデータストリームの複製を作成し、かつ異なるＩＤを複製データストリームに付与し、異なるＩＤ情報を分離部２へ通知することにより、分離部２より後処理は、複数の番組のデコード処理と全く同一の処理を行うところにある。
【００６７】
さらに、データ処理装置の一方の出力を記録処理装置（内蔵ビデオ装置等）に接続し、残りの出力を外部接続機器用に準備する場合においても同様な構成で対応できる。またデータ処理装置がデジタル放送受信機で、デジタル放送のトランスポートストリーム形式であるデータストリームを再生しながら、内部にＤＶＤ記録用にプログラムストリーム方式にエンコードしながらＤＶＤ記録するためのエンコード装置を有する場合に対しても同様な構成で対応できる。
【００６８】
エンコード装置でＤＶＤなどのメディアに記録する際には、ＡＶ同期が必ずあっていないといけない。これは記録したメディアが、エンコード記録した機器と同じ機器でデコード再生するとは限らないからである。ＡＶ同期がずれた状態で、ビデオ用のＶＰＴＳと、オーディオ用のＡＰＴＳをつけてしまうと、再生側では、ずれた状態のＰＴＳを正規の時刻情報と思って再生するからである。
【００６９】
上述のように、外部接続した映像機器と音響機器に出力するために設定した遅延時間と、内部エンコード用の遅延時間とはそれぞれ異なっている。利用者が外部接続機器を利用する場合には、ＡＶ同期が実現されているか否かは、ニュース番組などでアナウンサーの映像（口の動き）と音声とが合致しているかなどに基づいて確認することができる。しかし内部エンコード用の映像及び音声は、それらの映像や音声をモニタ出力しない限り、ＡＶ同期が実現されているかどうかを直に確認することはできない。特に、衛星デジタル放送を受信記録する場合などで、デコードするデータストリームの元々の画質が、番組途中などで、放送局側の都合により変更される場合がある。ハイビジョン画質（以下高精細画質）から標準画質へ、もしくはその逆の場合もある。
【００７０】
このような場合には、画質を変換するために現実に要する画像処理時間と当初想定していた処理時間とは相違する。この画像処理時間の相違を考慮せずにそのままの同じ遅延時間を設定し続ければ、番組途中の画質が変わった時点から後はＡＶ同期が図れていない状態が継続する。
【００７１】
そこで本実施形態では、画像処理の遅延情報を取得した時点で遅延情報を変更し、再度遅延設定を行い直す。これにより、変更発生後においてもＡＶ同期を図ることができる。なお外部接続に出力する経路においても、画像処理内容がかわり遅延時間の変更が認知されれば、遅延時間の変更を実行すればよい。
【００７２】
上述の説明では、圧縮符号化されたオーディオデータをデコードした後ＰＣＭデータをバッファするとした。これはオーディオ出力部へ出力するための出力信号の準備処理に相当する。オーディオ信号を遅延するためには、従来例のデコードされたＰＣＭデータを遅延させるオーディオ遅延部１８７（図１１）の構成と比較すると、本実施形態によるオーディオバッファ部Ａ７（図１）はデコード前の圧縮符号化された状態のオーディオデータを保持しているためデータ量が小さく、バッファサイズが少なくてすむ。
【００７３】
オーディオバッファ部Ａ７に必要なバッファ容量は、当初のＡＰＴＳによって規定される再生時刻の到達前までに受け取る符号化オーディオデータのデータ量と、再生時刻の遅延量（Δｔ）に応じた時間の経過までに受け取る符号化オーディオデータのデータ量との和以上である。例えば、遅延のために必要なバッファとして、最大１００ミリ秒のデータを追加的に格納できる追加バッファが必要である場合を考える。これは、遅延時間が最大１００ミリ秒の場合に相当し、ビデオではＮＴＳＣ方式出力のときのビデオ約３フレームの表示時間に相当する。この場合に必要な追加バッファの容量は、ＢＳデジタル放送で使用されているオーディオ圧縮フォーマットのＡＡＣ方式では約２２キロバイトである（１チャンネルあたり２８８キロビット秒として６チャンネル分のデータ量を算出した）。この容量は、デコード後のＰＣＭデータを追加的に保存するときの容量の数分の１ですむ。
【００７４】
本実施形態では、ビデオデコード部Ａ３およびオーディオデコード部Ａ４は、圧縮符号化されたビデオデータおよびオーディオデータをデコードして、フレームバッファ部３０３およびＰＣＭバッファ部４０３に保持しておくとした。しかし、例えばＤＶＤにはリニアＰＣＭデータがオーディオデータとして含まれている場合には、デコード動作は不要である。リニアＰＣＭデータは、符号化はされているが圧縮はされていないからである。ただし、オーディオデータがリニアＰＣＭデータであっても、ストリームに含まれる同期情報に従ってビデオと同期して再生されるため、先の説明をそのまま適用できる。また、データ処理装置１００が光出力端子からドルビーデジタル等の符号化ストリームをそのまま出力する場合には、ストリームバッファ（図示せず）に一旦蓄えて、ＳＴＣを参照し、ＮＡＰＴＳがＳＴＣに達した時点で、オーディオ出力部４０４から出力すればよい。
【００７５】
次に、オーディオの遅延を発生させる外部映像機器１３への出力のためのビデオ処理の具体例を説明する。想定されるビデオ処理は、
（１）毎秒２４フレームのフィルム素材から毎秒３０フレームのビデオ素材への変換処理、
（２）インターレース走査・プログレッシブ走査間の変換処理、標準画質（Standard Definition;ＳＤ）のＤ１規格信号・高精細画質（High Definition;ＨＤ）のＤ３規格信号間の変換処理、ＮＴＳＣ方式・ＰＡＬ方式間の変換処理
（３）ユーザからの指示等に基づく映像の拡大、縮小、編集処理
（４）複数の映像の合成処理
等である。上述の処理が不要な通常の再生時には、オーディオデータを遅延して出力する必要はない。しかし、ビデオ処理のオン／オフによって遅延が発生しうるため、遅延量の設定およびその設定に基づくオーディオデータの遅延出力が必要になる。
【００７６】
そのようなときは、遅延設定部Ａ９に遅延時間が異なる複数の遅延情報を設け、行われる処理種別に応じて対応付けておくことが好ましい。さらに、外部映像機器１３で実行される画像処理の種別をユーザが入力すると、その種別応じて遅延時間を変えるように構成すればよい。
【００７７】
図６は、ビデオ処理を行う処理回路を搭載したビデオ出力部３０４の機能ブロックの構成を示す。ビデオ出力部３０４は、フレームバッファ部３０３からデコードされたフレームデータを受け取り、所定のビデオ処理を行ったビデオデータを出力する。ビデオ出力部３０４は、ＩＰ変換部３７１と、フォーマット変換部３７２と、拡大縮小部３７３と、他画面合成部３７４と、ＧＵＩ重畳部３７５と、出力部３７６とを有する。これらの構成要素に関連して、ビデオデコード部Ａ３には外部映像入力部３７７およびＧＵＩデータ生成部３７８とが別途設けられる。
【００７８】
ＩＰ変換部３７１は、インターレース走査・プログレッシブ走査間の変換処理を行う。フォーマット変換部３７２は、４８０ｉビデオ信号・１０８０ｉビデオ信号間の変換処理およびＮＴＳＣ方式・ＰＡＬ方式間の変換処理を行う。拡大縮小部３７３は、ユーザからの指示等に基づく映像の拡大、縮小、編集処理を行う。他画面合成部３７４は、デコードされたビデオと外部映像入力部３７７から入力されるビデオとを合成する。ＧＵＩ重畳部３７５は、これまでの処理によって得られたビデオに、ＧＵＩデータ生成部３７８によって生成されたＧＵＩデータを重畳する。そして出力部３７６は、最終的に得られたビデオデータを出力する。この出力は、外部映像機器１３に送られる。ビデオデコード部Ａ３は、ビデオデータが得られたときの時刻をＳＴＣに基づいて取得し、そのビデオデータのＶＰＴＳと比較することによって、遅延時間を特定することができる。
【００７９】
さらに、図７に示すように、データ処理装置１００と映像音響機器１２０との接続およびそれらの間で授受されるデータの種類を示す。図７の例では、ＨＤＭＩ規格に従ってデータが授受される。まずＨＤＭＩトランスミッタ４８０は、映像音響機器１２０のＨＤＭＩレシーバ４３０に対して、映像音響機器１２０を特定する情報（機器固有情報）を求める制御コマンドを送信する。ＨＤＭＩレシーバ４３０は、その制御コマンドに基づいて、自己の装置の機器ＩＤを機器固有情報としてＨＤＭＩトランスミッタ４８０に送信する。機器ＩＤは、例えば映像音響機器１２０内のＲＯＭ４３１にメーカー固有情報（Vendor Specific Data）として格納されており、メーカー名、機種名等を特定することができる。
【００８０】
ＨＤＭＩトランスミッタ４８０は、機器ＩＤを受け取る。遅延設定部Ａ９は、機器ＩＤを受け取ると、内部メモリまたは外部のメモリカード等に規定されたテーブルを参照する。テーブルには、機器ＩＤと遅延設定との対応が記述されている。そして、機器ＩＤおよびそのテーブルに基づいて、映像音響機器１２０が実行するビデオ処理に起因する遅延時間を得ることができる。これにより、その遅延時間を特定できる。これら獲得した情報は、データ処理装置内でデフォルト設定値として保存しておく構成にしておけば、機器接続が変わらない限りいつも同じ状態でのＡＶ鑑賞を行うことができる。接続機器ＩＤ等の変更があれば、その都度相手機器側の情報を受け、設定を変更すればよい。
【００８１】
これらの外部接続機器には、ＴＶなどのモニタ出力機器や、オーディオ出力アンプ、ＡＶセレクタ機能を有するＡＶアンプなどのインタフェース機器、携帯型出力機器、車載用ＡＶ再生機器などが想定される。
【００８２】
なお、実施形態１においては、複数の出力経路のそれぞれのＡＶ同期を合わせるために、各々の圧縮前のバッファ部とデコード部を設ける構成としている。これは、デコード後に出力経路ごとにバッファ部用のメモリを有する場合より、半導体コストが安い場合に有効である。例えば、マイクロプロセッサが高機能となり、複数のデコード機能を同一の半導体により実現可能である場合を想定する。すると、出力経路ごとに、デコード後にバッファメモリをおくよりも、デコード前に圧縮された状態でバッファする方が装置全体のコストを低減できる。
【００８３】
他にも、１台のデータ処理装置に複数のデコード部が必要な場合がある。例えば、ＢＳデジタル放送の圧縮符号化データストリームを再エンコードしてハードディスクや光ディスク等に書き込みつつ、そのデータストリームをその放送時刻よりも遅い時刻に再生する場合である。再エンコード処理は、圧縮符号化データストリームをデコード部において一旦復号化し、圧縮率をさらに高めてエンコード（圧縮符号化）する処理であり、復号化処理を含んでいる。また再生処理は、圧縮符号化データストリームをデコード部において復号化して出力する処理である。上述の例では同時に２つのデコード部が必要とされ、各々の出力用にＡＶ同期用の遅延設定が必要となる。従って、デジタル放送を追いかけ再生する機能を有するデータ処理装置においては、複数のデコード部が必要となるため、実施形態１の複数の出力用の遅延設定を実現するために、特別のデコード部を追加する必要はない。遅延用のバッファのためのメモリサイズを低減することにより、コストの低減を図ることが第１の効果である。
【００８４】
（実施形態２）
図８は、本実施形態によるデータ処理装置１０２の構成を示すブロック図である。以下、実施形態１によるデータ処理装置１００との相違点を中心に説明する。なお図８には、実施形態１における圧縮ビデオバッファ部ＡおよびＢに相当する構成要素は記載されていないが、この相違は簡略化のためであり本質的ではない。
【００８５】
受信部２１は、ビデオのデータストリームのみ複製を行い、複製前のデータストリームと複製後のデータストリームとを識別するＩＤを付与する。一方オーディオのデータストリームの複製は行わない。
【００８６】
従って分離部２２は、ＩＤの異なるビデオストリームデータをビデオデコード部Ａ２３と、ビデオデコード部Ｂ２６に分割して供給するともに、オーディオストリームデータは、圧縮オーディオ共通バッファ部２７に供給する。
【００８７】
圧縮オーディオ共通バッファ部２７は、圧縮オーディオデータを書き込むことにより、書き込んだ最終点まで最新の書き込み位置を移動するライトポインタを有している。また圧縮オーディオ共通バッファ部２７はリードポインタＡおよびＢも有している。オーディオデコード部Ａ２４によって圧縮オーディオデータが読み出されることにより、圧縮オーディオデータのリードポインタＡを更新する。またオーディオデコード部Ｂ２５によって圧縮オーディオデータが読み出されることにより、圧縮オーディオデータのリードポインタＢを更新する構成をとる。圧縮オーディオ共通バッファ部２７は、最終アドレスまで書き込んでいけば、また最初のアドレスまで書き込み位置をもどす。すなわちバッファのアドレス管理はリング状（ラップアラウンド状）に行われる。従って、読み出された位置まで、次の書き込みが可能となり、分離部２によって、ライトポインタが２つのリードポインタのうちのまだ読み込みが完了していないほうのリードポインタを追い越さないようにしながら、次の圧縮オーディオデータの書きこみがバッファ管理される。上述のライトポインタおよびリードポインタの機能は実施形態１におけるライトポインタおよびリードポインタと同じである。
【００８８】
実施形態１に比べ、実施形態２には、圧縮オーディオデータのバッファ容量がおよそ半分ですむ。これは、実施形態１においては、各々のデコード部それぞれに固有のオーディオバッファを有していた。しかし、実施形態２では、このオーディオバッファに格納されるデータそのものは同一であり、各々の遅延時間の設定の差により、複数の読み出し位置の制御を行うことにより、バッファの共通利用を図っている。
【００８９】
（実施形態３）
図９は、本実施形態によるデータ処理装置１０４の構成を示すブロック図である。以下、実施形態１との相違点を中心に説明する。なお図９には、実施形態１における圧縮ビデオバッファ部ＡおよびＢに相当する構成要素は記載されていないが、この相違は簡略化のためであり本質的ではない。
【００９０】
受信部４１は、利用者の指定した番組に対応するＩＤを有するビデオのデータストリームとオーディオのデータストリームを取得し、分離部４２へ渡す。分離部４２のあとにデータ複製部５３を設け入力されたデータストリームの複製を行う。データ複製部５３前のデータを第１のデコーダ部（ビデオデコード部Ａ４３及び圧縮オーディオバッファ部Ａ４７）へ、データ複製部５３にて複製されたデータストリームを第２のデコーダ部（ビデオデコード部Ｂ４５及び圧縮オーディオバッファ部Ｂ４８）へ供給する。
【００９１】
その後の処理については、実施形態１と同様である。これは、データ複製部５３を設けることにより、データ処理装置１０４を半導体で構成する場合において、受信部４１、分離部４２と、デコーダ部には、手を加えなくても、実施形態１と同等の効果が得られる。
【００９２】
（実施形態４）
図１０は、本実施形態によるデータ処理装置１０６の構成を示すブロック図である。以下、実施形態３によるデータ処理装置１０４との相違点を中心に説明する。
【００９３】
受信部８１は、利用者の指定した番組に対応するＩＤを有するビデオのデータストリームとオーディオのデータストリームを取得し、分離部８２へ渡す。分離部８２のあとにデータ複製部９３を設け入力されたビデオデータのデータストリームの複製を行う。データ複製前のデータを第１のデコーダ部（ビデオデコード部Ａ８３）へ、データ複製部９３にて複製されたデータストリームを第２のデコーダ部（ビデオデコード部Ｂ８５）へ供給する。
【００９４】
従って分離部８２は、オーディオストリームデータは、圧縮オーディオ共通バッファ部８７に供給する。
【００９５】
圧縮オーディオ共通バッファ部８７へは、圧縮オーディオデータを書き込むことにより、書き込んだ最終点まで最新の書き込み位置を移動するライトポインタを有している。そして、オーディオデコード部Ａ８４によって圧縮オーディオデータが読み出されることにより、圧縮オーディオデータのリードポインタＡを更新する構成をとる。またオーディオデコード部Ｂ８６によって圧縮オーディオデータが読み出されることにより、圧縮オーディオデータのリードポインタＢを更新する構成をとる。圧縮オーディオ共通バッファ部８７は、最終アドレスまで書き込んでいけば、また最初のアドレスまで書き込み位置がもどるリング状の使用形態とする。従って、読み出された位置まで、次の書き込みが可能となり、分離部２によって、ライトポインタが２つのリードポインタのうちのまだ読み込みが完了していないほうのリードポインタを追い越さないようにしながら、次の圧縮オーディオデータの書きこみがバッファ管理される。
【００９６】
実施形態３に比べ、実施形態４には、圧縮オーディオデータのバッファ容量がおよそ半分ですむ。これは、実施形態１においては、各々のデコード部それぞれに固有のオーディオバッファを有していた。しかし、実施形態４では、このオーディオバッファに格納されるデータそのものは同一であり、各々の遅延時間の設定の差により、複数の読み出し位置の制御を行うことにより、バッファの共通利用を図っている。その後の処理は実施形態１によるデータ処理装置１００の処理と同様である。
【００９７】
なお上述の各実施形態においては、入力データは、外部から入力されるデータ、外部記録媒体から入力されるデータとして説明してきたが、予め機器内に存在するデータであってもよい。
【００９８】
また上述の実施形態においては、分離部がビデオ信号とオーディオ信号とを分離するとして説明した。しかし、あらかじめ各々が分離されているファイルデータであってもよい。圧縮ビデオデータと関連する再生時刻情報、圧縮オーディオデータと再生時刻情報を入力とし、各々の再生時刻情報に対し、同期情報とともに再生できる構成であれば、上述の各実施形態によるデータ処理装置を構成することができる。これは、ビデオカメラ等で撮影した信号をパーソナルコンピュータ上で編集した結果として、ＡＶ及びデータの混合ファイルもしくは、ＡＶデータ独立のファイルどちらの場合でも、圧縮ビデオデータと関連する再生時刻情報、圧縮オーディオデータと再生時刻情報、ファイル上のデータ情報を互いに関連づけた同期をとって再生する場合すべてに適応される。
【００９９】
上述の実施形態によるデータ処理装置の適用例としては、セットトップボックス、デジタル衛星放送受像機及びその記録機器、ＤＶＤプレーヤもしくはＤＶＤレコーダの関連機器、ハードディスクレコーダ、パーソナルコンピュータなどがある。
【産業上の利用可能性】
【０１００】
本発明におけるデータ処理装置は、デジタル符号化された映像信号と音声信号の同期信号を元に、表示などの目的で複数の出力経路を持つ場合に、各々の経路の遅延を、圧縮データのままバッファメモリに蓄え、さらに各々の信号処理による遅延時間を独自に設定することにより、各経路のＡＶ同期を動的に合わす用途に使用することができる。
【図面の簡単な説明】
【０１０１】
【図１】実施形態１によるデータ処理装置１００の機能ブロックの構成を示す図である。
【図２】デコード部１０１の詳細な機能ブロックの構成例を示す図である。
【図３】ビデオとオーディオとの同期再生を実現する再生タイミングを示す図である。
【図４】実施形態１によるデコード処理手順を示すフローチャートである。
【図５】オーディオ再生時刻情報管理部Ａ４０１において生成されるテーブルの構成を示す図である。
【図６】ビデオ処理を行う処理回路を搭載したビデオ出力部３０４の機能ブロックの構成を示す図である。
【図７】データ処理装置１００と映像音響機器１２０との接続およびそれらの間で授受されるデータの種類を示す図である。
【図８】実施形態２によるデータ処理装置１０２の構成を示すブロック図である。
【図９】実施形態３によるデータ処理装置１０４の構成を示すブロック図である。
【図１０】実施形態４によるデータ処理装置１０６の構成を示すブロック図である。
【図１１】従来の信号再生装置の実装形態を示すブロック図である。
【図１２】複数の出力経路を有する従来の信号再生装置の構成を示すブロック図である。
【符号の説明】
【０１０２】
１ 受信部
２ 入力部
３ ビデオデコード部Ａ
４ オーディオデコード部Ａ
５ ビデオデコード部Ｂ
６ オーディオデコード部Ｂ
７ 圧縮オーディオバッファ部Ａ
８ 圧縮オーディオバッファ部Ｂ
９ 遅延設定部Ａ
１０ 遅延設定部Ｂ
１１ システム時刻参照部Ａ
１２ システム時刻参照部Ｂ
１３、１６ 外部映像機器
１４、１５ 外部音響機器
１７、１８ 圧縮ビデオバッファ部
１００、１０２、１０４、１０６ データ処理装置
１０１ デコード部
【特許請求の範囲】
【請求項１】
データストリームを受信してオリジナルストリームとして出力するとともに、受信された前記データストリームを複製して複製ストリームとして出力し、かつ、出力に際して前記オリジナルストリームおよび前記複製ストリームの各々を識別可能な識別情報を付与する受信部であって、前記データストリームは、圧縮符号化されたビデオコンテンツに関する第１データ、前記第１データの再生時刻を規定する第１時刻情報、前記ビデオコンテンツと異なるコンテンツに関する第２データおよび前記第２データの再生時刻を規定する第２時刻情報を有する、受信部と、
前記オリジナルストリームから、前記第１データ、前記第１時刻情報、前記第２データおよび前記第２時刻情報を抽出し、前記複製ストリームから、前記第１データ、前記第１時刻情報、前記第２データおよび前記第２時刻情報を抽出する分離部と、
前記オリジナルストリームに関し、前記第１データをデコードして、前記第１時刻情報に基づいて出力する第１デコード部と、
前記オリジナルストリームに関し、第２時刻情報に基づいて前記第２データを出力する第２デコード部と、
前記複製ストリームに関し、前記第１データをデコードして、前記第１時刻情報に基づいて出力する第３デコード部と、
前記複製ストリームに関し、前記第２時刻情報に基づいて前記第２データを出力する第４デコード部と、
第１遅延設定部および第２遅延設定部と
を有するデータ処理装置であって、
前記第１時刻情報および前記第２時刻情報が前記第１データおよび前記第２データを同期して再生する時刻を規定している場合において、
前記第１遅延設定部は、前記オリジナルストリームの再生時刻の遅延量を規定する第１遅延情報を保持し、かつ、前記第１遅延情報に基づいて前記第２時刻情報を修正し、前記第２データの再生時刻を遅延させ、
前記第２遅延設定部は、前記複製ストリームの再生時刻の遅延量を規定する第２遅延情報を保持し、かつ、前記第２遅延情報に基づいて前記第２時刻情報を修正し、前記第２データの再生時刻を遅延させる、データ処理装置。
【請求項２】
前記オリジナルストリームの第２データ、および、前記複製ストリームの第２データの各々を格納する少なくとも１つのデータバッファをさらに備え、
前記オリジナルストリームの前記第２データは圧縮符号化されており、
前記少なくとも１つのデータバッファは、修正された第２時刻情報によって規定される再生時刻の前に前記圧縮符号化された第２データを取り出し、前記第２デコード部および前記第４デコード部に出力する、請求項１に記載のデータ処理装置。
【請求項３】
前記少なくとも１つのデータバッファは、前記オリジナルストリームの第２データを格納する第１バッファと、前記複製ストリームの第２データを格納する第２バッファとから構成され、
前記第１バッファは、前記第１遅延設定部によって修正された第２時刻情報によって規定される再生時刻の前に、前記オリジナルストリームの第２データを取り出して前記第２デコード部に出力し、
前記第２バッファは、前記第２遅延設定部によって修正された第２時刻情報によって規定される再生時刻の前に、前記複製ストリームの第２データを取り出して前記第４デコード部に出力する、請求項２に記載のデータ処理装置。
【請求項４】
データストリームを受信してオリジナルストリームとして出力する受信部であって、前記データストリームは、圧縮符号化されたビデオコンテンツに関する第１データ、前記第１データの再生時刻を規定する第１時刻情報、前記ビデオコンテンツと異なるコンテンツに関する第２データおよび前記第２データの再生時刻を規定する第２時刻情報を有する、受信部と、
前記オリジナルストリームから、前記第１データ、前記第１時刻情報、前記第２データおよび前記第２時刻情報を抽出する分離部と、
前記第１データ、前記第１時刻情報、前記第２データおよび前記第２時刻情報を複製する複製部と、
前記オリジナルストリームに関し、前記第１データをデコードして、前記第１時刻情報に基づいて出力する第１デコード部と、
前記オリジナルストリームに関し、第２時刻情報に基づいて前記第２データを出力する第２デコード部と、
複製された第１データをデコードして、複製された第１時刻情報に基づいて出力する第３デコード部と、
複製された第２時刻情報に基づいて、複製された第２データを出力する第４デコード部と、
第１遅延設定部および第２遅延設定部と
を有するデータ処理装置であって、
前記オリジナルストリームから抽出された前記第１時刻情報および前記第２時刻情報が前記第１データおよび前記第２データを同期して再生する時刻を規定している場合において、
前記第１遅延設定部は、前記オリジナルストリームの再生時刻の遅延量を規定する第１遅延情報を保持し、かつ、前記第１遅延情報に基づいて前記第２時刻情報を修正し、前記第２データの再生時刻を遅延させ、
前記第２遅延設定部は、複製された第１データの再生時刻の遅延量を規定する第２遅延情報を保持し、かつ、前記第２遅延情報に基づいて前記第２時刻情報を修正し、前記第２データの再生時刻を遅延させる、データ処理装置。
【請求項５】
前記オリジナルストリームの前記第２データは圧縮符号化されており、
前記オリジナルストリームの第２データ、および、複製された第２データの各々を格納する少なくとも１つのデータバッファをさらに備え、前記少なくとも１つのデータバッファは、修正された第２時刻情報によって規定される再生時刻の前に前記圧縮符号化された第２データを取り出し、前記第２デコード部および前記第４デコード部に出力する、請求項４に記載のデータ処理装置。
【請求項６】
前記少なくとも１つのデータバッファは、前記オリジナルストリームの第２データを格納する第１バッファと、複製された第２データを格納する第２バッファとから構成される、請求項５に記載のデータ処理装置。
【請求項１】
データストリームを受信してオリジナルストリームとして出力するとともに、受信された前記データストリームを複製して複製ストリームとして出力し、かつ、出力に際して前記オリジナルストリームおよび前記複製ストリームの各々を識別可能な識別情報を付与する受信部であって、前記データストリームは、圧縮符号化されたビデオコンテンツに関する第１データ、前記第１データの再生時刻を規定する第１時刻情報、前記ビデオコンテンツと異なるコンテンツに関する第２データおよび前記第２データの再生時刻を規定する第２時刻情報を有する、受信部と、
前記オリジナルストリームから、前記第１データ、前記第１時刻情報、前記第２データおよび前記第２時刻情報を抽出し、前記複製ストリームから、前記第１データ、前記第１時刻情報、前記第２データおよび前記第２時刻情報を抽出する分離部と、
前記オリジナルストリームに関し、前記第１データをデコードして、前記第１時刻情報に基づいて出力する第１デコード部と、
前記オリジナルストリームに関し、第２時刻情報に基づいて前記第２データを出力する第２デコード部と、
前記複製ストリームに関し、前記第１データをデコードして、前記第１時刻情報に基づいて出力する第３デコード部と、
前記複製ストリームに関し、前記第２時刻情報に基づいて前記第２データを出力する第４デコード部と、
第１遅延設定部および第２遅延設定部と
を有するデータ処理装置であって、
前記第１時刻情報および前記第２時刻情報が前記第１データおよび前記第２データを同期して再生する時刻を規定している場合において、
前記第１遅延設定部は、前記オリジナルストリームの再生時刻の遅延量を規定する第１遅延情報を保持し、かつ、前記第１遅延情報に基づいて前記第２時刻情報を修正し、前記第２データの再生時刻を遅延させ、
前記第２遅延設定部は、前記複製ストリームの再生時刻の遅延量を規定する第２遅延情報を保持し、かつ、前記第２遅延情報に基づいて前記第２時刻情報を修正し、前記第２データの再生時刻を遅延させる、データ処理装置。
【請求項２】
前記オリジナルストリームの第２データ、および、前記複製ストリームの第２データの各々を格納する少なくとも１つのデータバッファをさらに備え、
前記オリジナルストリームの前記第２データは圧縮符号化されており、
前記少なくとも１つのデータバッファは、修正された第２時刻情報によって規定される再生時刻の前に前記圧縮符号化された第２データを取り出し、前記第２デコード部および前記第４デコード部に出力する、請求項１に記載のデータ処理装置。
【請求項３】
前記少なくとも１つのデータバッファは、前記オリジナルストリームの第２データを格納する第１バッファと、前記複製ストリームの第２データを格納する第２バッファとから構成され、
前記第１バッファは、前記第１遅延設定部によって修正された第２時刻情報によって規定される再生時刻の前に、前記オリジナルストリームの第２データを取り出して前記第２デコード部に出力し、
前記第２バッファは、前記第２遅延設定部によって修正された第２時刻情報によって規定される再生時刻の前に、前記複製ストリームの第２データを取り出して前記第４デコード部に出力する、請求項２に記載のデータ処理装置。
【請求項４】
データストリームを受信してオリジナルストリームとして出力する受信部であって、前記データストリームは、圧縮符号化されたビデオコンテンツに関する第１データ、前記第１データの再生時刻を規定する第１時刻情報、前記ビデオコンテンツと異なるコンテンツに関する第２データおよび前記第２データの再生時刻を規定する第２時刻情報を有する、受信部と、
前記オリジナルストリームから、前記第１データ、前記第１時刻情報、前記第２データおよび前記第２時刻情報を抽出する分離部と、
前記第１データ、前記第１時刻情報、前記第２データおよび前記第２時刻情報を複製する複製部と、
前記オリジナルストリームに関し、前記第１データをデコードして、前記第１時刻情報に基づいて出力する第１デコード部と、
前記オリジナルストリームに関し、第２時刻情報に基づいて前記第２データを出力する第２デコード部と、
複製された第１データをデコードして、複製された第１時刻情報に基づいて出力する第３デコード部と、
複製された第２時刻情報に基づいて、複製された第２データを出力する第４デコード部と、
第１遅延設定部および第２遅延設定部と
を有するデータ処理装置であって、
前記オリジナルストリームから抽出された前記第１時刻情報および前記第２時刻情報が前記第１データおよび前記第２データを同期して再生する時刻を規定している場合において、
前記第１遅延設定部は、前記オリジナルストリームの再生時刻の遅延量を規定する第１遅延情報を保持し、かつ、前記第１遅延情報に基づいて前記第２時刻情報を修正し、前記第２データの再生時刻を遅延させ、
前記第２遅延設定部は、複製された第１データの再生時刻の遅延量を規定する第２遅延情報を保持し、かつ、前記第２遅延情報に基づいて前記第２時刻情報を修正し、前記第２データの再生時刻を遅延させる、データ処理装置。
【請求項５】
前記オリジナルストリームの前記第２データは圧縮符号化されており、
前記オリジナルストリームの第２データ、および、複製された第２データの各々を格納する少なくとも１つのデータバッファをさらに備え、前記少なくとも１つのデータバッファは、修正された第２時刻情報によって規定される再生時刻の前に前記圧縮符号化された第２データを取り出し、前記第２デコード部および前記第４デコード部に出力する、請求項４に記載のデータ処理装置。
【請求項６】
前記少なくとも１つのデータバッファは、前記オリジナルストリームの第２データを格納する第１バッファと、複製された第２データを格納する第２バッファとから構成される、請求項５に記載のデータ処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００６−１４８６７９（Ｐ２００６−１４８６７９Ａ）
【公開日】平成１８年６月８日（２００６．６．８）
【国際特許分類】
【出願番号】特願２００４−３３７５０８（Ｐ２００４−３３７５０８）
【出願日】平成１６年１１月２２日（２００４．１１．２２）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成１８年６月８日（２００６．６．８）
【国際特許分類】
【出願日】平成１６年１１月２２日（２００４．１１．２２）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]