ストリームデータ処理装置およびストリームデータの同期検証方法
【課題】同一のストリームデータを複数回入力することなく同期検証をすること。
【解決手段】本発明にかかるストリームデータ処理装置は、期待値記憶部と、出力準備されたユニットデータが格納されるデータ記憶部と、現在時刻をカウントする時刻カウント部と、データ記憶部のユニットデータの時刻情報と、現在時刻の一致時に、ユニットデータを再生出力する再生出力部と、データ記憶部へのユニットデータの格納前に、ユニットデータ及び時刻情報を識別する第１のデータ識別情報及び第１の時刻識別情報を期待値記憶部に格納する第１の情報出力部と、再生出力されるユニットデータを識別する第２のデータ識別情報を出力する第２の情報出力部と、ユニットデータの再生出力時の現在時刻の第２の時刻識別情報と、第２のデータ識別情報と同一の第１のデータ識別情報に対応する第１の時刻識別情報が示す時刻の差が所定範囲内かを検証する同期検証部を備える。
【解決手段】本発明にかかるストリームデータ処理装置は、期待値記憶部と、出力準備されたユニットデータが格納されるデータ記憶部と、現在時刻をカウントする時刻カウント部と、データ記憶部のユニットデータの時刻情報と、現在時刻の一致時に、ユニットデータを再生出力する再生出力部と、データ記憶部へのユニットデータの格納前に、ユニットデータ及び時刻情報を識別する第１のデータ識別情報及び第１の時刻識別情報を期待値記憶部に格納する第１の情報出力部と、再生出力されるユニットデータを識別する第２のデータ識別情報を出力する第２の情報出力部と、ユニットデータの再生出力時の現在時刻の第２の時刻識別情報と、第２のデータ識別情報と同一の第１のデータ識別情報に対応する第１の時刻識別情報が示す時刻の差が所定範囲内かを検証する同期検証部を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ストリームデータ処理装置およびストリームデータの同期検証方法に関する。
【背景技術】
【０００２】
デジタル放送システムにおけるストリームデータ処理は、ストリーム多重分離処理、復号処理、出力処理、および同期制御から構成される。同期制御とは、映像と音声の再生タイミングを合わせる制御である。ストリームデータの再生時に、画が抜けたり、音がとんだりしても、視聴しただけではその原因が同期制御による適切なスキップ制御であるか、障害によるものかを判別することは難しい。そのため、同期制御の定量的な検証方法が必要となる。既知の定量的な同期検証方法として、あらかじめフラッシュ画像とビープ音を同期して多重化したストリームデータを用意し、出力映像信号と出力音声信号をオシロスコープで観測する方法がある。
【０００３】
しかし、同期制御に関する障害は放送波を受信しているときに発生するケースが多い。そのため、検証対象の放送波が送出されている地域での検証も必要となることから、特殊なストリームや機材によらず検証可能であることが望ましい。したがって、定量的かつ低コストにて同期検証ができるストリームデータ処理装置および同期検証方法が求められている。
【０００４】
特許文献１には、ストリームデータをＡＶ同期再生させるストリームデータ処理のＡＶ同期検証方法が開示されている。特許文献１に開示のＡＶ同期検証方法は、同期を有効にした場合と無効にした場合とでデータ圧縮値を取り込み、それぞれの場合で取り込んだデータ圧縮値を比較する。これにより、評価対象であるデータ自体への加工が不要として、デジタル放送などのストリームデータ処理のＡＶ同期検証を行うようにしている。
【０００５】
図７は、特許文献１にかかるデジタル放送ＡＶシステム（ストリームデータ処理装置）を示すシステム構成図である。
【０００６】
データ入力部１１０は、多重分離部１１１と、映像バッファ１１２と、音声バッファ１１３と、を備える。ストリームデータは、データ入力部１１０に入力される。データ入力部１１０に入力されたストリームデータは、多重分離部１１１によって音声ストリームと映像ストリームとに分離される。分離された音声ストリームと映像ストリームとは、それぞれ音声バッファ１１３と映像バッファ１１２とに順次蓄積される。ＰＴＳ読取部１２０は、映像バッファ１１２および音声バッファ１１３上のデータからＰＴＳ情報（Presentation Time Stamp：提示時刻情報）を取得する。読み取られたＰＴＳ情報は、ＡＶ同期制御部１４０に送られる。
【０００７】
ＳＴＣカウンタ１３０は、ストリームデータに付加されているＰＣＲ（Program Clock Reference）情報に基づいて設定され、システムクロックＳＴＣ（System Time Clock）をカウントする。
【０００８】
ＡＶ同期制御部１４０は、ＳＴＣ情報およびＰＴＳ情報に基づいて、音声再生出力と映像再生出力との同期をとるもので、音声信号処理部１５０および映像信号処理部１６０に復号開始命令および出力命令を与える。このとき、ＡＶ同期制御部１４０は、ＰＴＳ情報とＳＴＣ情報とを比較して、ＳＴＣがＰＴＳの時刻になった時点で再生を開始させる。
【０００９】
音声信号復号部１５１および映像信号復号部１６１は、復号開始命令を受けて復号を開始し、出力命令を受けて復号したデータを外部出力する。
【００１０】
図８は、ＡＶ同期制御の検証を行う動作手順を示すフローチャートである。ＡＶ同期制御の検証においては、まず、ＡＶ同期制御をオフにし（ＳＴ１００）、期待値を取得する（ＳＴ２００）。続いて、ＡＶ同期制御をＯＮにし（ＳＴ３００）、データ照合処理を行う（ＳＴ４００）。
【００１１】
図９は、期待値を取得する工程（ＳＴ２００）の詳細な動作手順を示すフローチャートである。
【００１２】
まず、検証対象となるストリームデータをデータ入力部１１０から入力する（ＳＴ２０１）。データ圧縮部１６２は、映像信号復号部１６１から外部出力されるデータを１フレームごとに取り込んで圧縮する（ＳＴ２０２）。圧縮したデータは、順次メモリ１８０に格納されていく（ＳＴ２０３）。
【００１３】
このとき、各データ圧縮値の取得に合わせ、１フレーム毎のＰＴＳ値をＰＴＳ読取部１２０によって取得し（ＳＴ２０４）、メモリ１８０へ格納する（ＳＴ２０５）。これをフレーム毎に繰り返し行い、データ圧縮値とＰＴＳ値とを取得し、メモリ１８０へ蓄積する。検証の対象となる全てのフレームのデータ取得が完了した後（ＳＴ２０６：ＹＥＳ）、記憶媒体２００にデータ圧縮値および各データ圧縮値に対応するＰＴＳ値の格納を行なう（ＳＴ２０７）。これにより、期待値データの取得が終了する。
【００１４】
図１０は、ＡＶ同期有効モードにおける映像データと取得した期待値データとを照合する工程（ＳＴ４００）の詳細な動作手順を示すフローチャートである。
【００１５】
まずは、予め取得しておいた期待値データを記憶媒体２００上からメモリ１８０上に展開しておく（ＳＴ４０１）。そして、ストリームデータをデータ入力部１１０から入力する（ＳＴ４０２）。このストリームデータは、期待値データの取得時に用いたデータと同じものである。
【００１６】
データの１フレームごとにデータ圧縮値を取得する（ＳＴ４０３）。すなわち、ストリームデータは多重分離されたのち、映像バッファ１１２を経て、映像信号処理部１６０に送られる。ここで、ＡＶ同期制御部１４０によるＡＶ同期処理を有効にしているので、ＳＴＣがＰＴＳになるタイミングで映像信号復号部１６１からデータが復号されて外部出力される。そして、データ圧縮部１６２は、映像信号復号部１６１から外部出力されるデータを１フレームごとに取り込んで圧縮し、圧縮データを取得する（ＳＴ４０３）。取得された圧縮データは、ＡＶ同期検証部１７０に送られる。
【００１７】
また、同時に、ＡＶ同期検証部１７０は、メモリ１８０上に展開している期待値データとしての映像圧縮データを読み出す（ＳＴ４０４）。そして、ＡＶ同期検証部１７０は、取得した圧縮データを順次期待値データと比較していく（ＳＴ４０５）。
【００１８】
データ圧縮値の比較結果が一致すれば（ＳＴ４０５：ＹＥＳ）、そのフレームはＯＫであると判定とする（ＳＴ４０６）。
【００１９】
一方、不一致の場合（ＳＴ４０５：ＮＯ）、フレームリピート、フレームスキップ、及びＮＧのいずれかが考えられる。この場合には、現在の出力映像フレームに対応するＳＴＣ情報をＳＴＣカウンタから取得する（ＳＴ４０８）。そして、取得したＳＴＣ値と期待値データとしてメモリ１８０上に展開している該当データ圧縮値に相当するＰＴＳ値とを比較する（ＳＴ４１０）。
【００２０】
この比較の結果として、ＳＴＣ値が１フレーム分早い場合、フレームスキップが発生していると判断し、メモリ１８０上に展開している期待値データを次フレームのデータとし（ＳＴ４１１）、再度、圧縮データと期待値データとの比較を行う（ＳＴ４０５）。また、比較（ＳＴ４１０）の結果として、ＳＴＣ値が１フレーム分遅い場合、フレームリピートが発生していると判断し、メモリ１８０上に展開している期待値データを前フレームのデータ圧縮値とし（ＳＴ４１２）、再度、圧縮データと期待値データとの比較を行う（ＳＴ４０５）。また、比較（ＳＴ４１０）の結果として、ＳＴＣ値とＰＴＳ値の差分が１フレーム以下の場合、スキップ又はリピート動作しておらず、期待値不一致が発生したと判断し、ＮＧと判定する（ＳＴ４１３）。
【００２１】
検証の対象となるストリームデータ全ての期待値照合が完了するまで（ＳＴ４０７：ＹＥＳ）、上記の処理を行う。
【００２２】
しかし、以上に説明した特許文献１に開示の技術は、期待値データを取得するために、ＡＶ同期制御をオフにした状態で、一度ストリームデータを入力する必要がある。そして、ＡＶ同期制御をＯＮにしてＡＶ同期制御を検証するときに、さらにもう一度、同一のストリームデータを入力する必要がある。
【００２３】
よって、特許文献１に開示の技術は、期待値データを作成するためのストリームデータと、ＡＶ同期制御の検証の対象となるストリームデータとを別々に入力する必要がある。そのため、期待値となるデータと、その期待値との比較対象となるデータとがまったく同じ映像又は音声に対応するものであることは具体的に保証されていないという問題がある。
【００２４】
また、特許文献１に開示の技術は、ＡＶ同期制御を検証するために、同一のストリームデータを複数回入力する必要があるという問題がある。そのため、リアルタイムで放送波が送出されている地域で、その放送波を使用した検証もすることができない。
【００２５】
特許文献２には、エンコーダＳＴＣの周波数と、再生された音声ＤＴＳと実施の音声デコーディングタイムの間の差と、再生された音声ＰＴＳと実際の音声プレゼンテーションタイムの間の差と、再生される映像ＤＴＳと実際の映像デコーディングタイムの間の差と、再生される映像ＰＴＳと実際の映像デコーディングタイムの間の差と、を計算して記憶し、それぞれの値を、検査の間または終了後の任意の時刻にリアルタイムで再検査する音声／映像同期の自動検査方法が開示されている。
【００２６】
しかし、特許文献２には、本願発明のように、期待値となるデータと、その期待値との比較対象となるデータとが同じ映像又は音声に対応するものであることを保証するための具体的な技術は開示されていない。
【先行技術文献】
【特許文献】
【００２７】
【特許文献１】特開２０１０−２７９０１４号公報
【特許文献２】特表２００６−５０９４０９号公報
【発明の概要】
【発明が解決しようとする課題】
【００２８】
背景技術として説明したように、特許文献１に開示の技術は、ストリームデータの同期検証を行う際に、期待値となるデータと、その期待値との比較対象となるデータとが、ストリームデータに含まれる同じユニットデータに対応するものであることが保証されていないという課題がある。
【課題を解決するための手段】
【００２９】
本発明の第１の態様にかかるストリームデータ処理装置は、複数のユニットデータと、各ユニットデータに対応づけられ、当該ユニットデータの再生出力時刻を示す時刻情報とを有するストリームデータを再生するストリームデータ処理装置であって、期待値記憶部と、前記ストリームデータに含まれるユニットデータのうち、出力準備されたユニットデータが格納されるデータ記憶部と、現在時刻をカウントする時刻カウント部と、前記データ記憶部に格納されたユニットデータに対応づけられた時刻情報が、前記時刻カウント部によってカウントされる現在時刻に一致したときに、当該ユニットデータを再生出力する再生出力部と、前記データ記憶部に前記ユニットデータが格納される前までに、当該ユニットデータ及びこれに対応する時刻情報をそれぞれ識別する第１のデータ識別情報及び第１の時刻識別情報を出力して前記期待値記憶部に格納する第１の情報出力部と、前記ユニットデータが再生出力されるときに、当該ユニットデータを識別する第２のデータ識別情報を出力する第２の情報出力部と、前記ユニットデータが再生出力されるときに、前記時刻カウント部の現在時刻を第２の時刻識別情報として取得するとともに、前記第２のデータ識別情報と同一のユニットデータを識別する第１のデータ識別情報に対応する第１の時刻識別情報を前記期待値記憶部から取得して、当該第２の時刻識別情報と、当該第１の時刻識別情報とが示す時刻の差が所定の範囲内であるか否かを検証する同期検証部と、を備えたものである。
【００３０】
本発明の第２の態様にかかるストリームデータの同期検証方法は、複数のユニットデータと、各ユニットデータに対応づけられ、当該ユニットデータの再生出力時刻を示す時刻情報とを有するストリームデータの同期検証方法であって、前記ユニットデータの出力準備をする前に、当該ユニットデータ及びこれに対応する時刻情報をそれぞれ識別する第１のデータ識別情報及び第１の時刻識別情報を期待値記憶部に格納し、前記出力準備されたユニットデータに対応づけられた時刻情報が、現在時刻をカウントする時刻カウント部がカウントする現在時刻に一致したときに、当該ユニットデータを再生出力し、前記ユニットデータが再生出力されるときに、当該ユニットデータを識別する第２のデータ識別情報を取得し、そのときの前記時刻カウント部の現在時刻を第２の時刻識別情報として取得し、前記第２のデータ識別情報と同一のユニットデータを識別する第１のデータ識別情報に対応する第１の時刻識別情報を前記期待値記憶部から取得して、当該第２の時刻識別情報と、当該第１の時刻識別情報とが示す時刻の差が所定の範囲内であるか否かを検証する、ものである。
【００３１】
上述した本発明の各態様によれば、ストリームデータに含まれるユニットデータが出力準備されるまでに、そのユニットデータの再生出力時刻の期待値となる第１の時刻識別情報を、そのユニットデータを識別する第１のデータ識別情報と対応付けて用意することができる。そのため、その出力準備されたユニットデータが再生出力されるときには、そのユニットデータを識別する第２のデータ識別情報に基づいて、そのユニットデータの再生出力時刻の期待値となる第１の時刻識別情報を特定して、そのユニットデータの実際の再生出力時刻となる第２の時刻識別情報と比較することができる。そのため、再生出力時刻の期待値を、ストリームデータにおいてその再生出力時刻の期待値が対応付けられていた復号データそのものの実際の再生出力時刻と比較することができる。
【発明の効果】
【００３２】
上述した本発明の各態様によれば、ストリームデータの同期検証を行う際に、期待値となるデータと、その期待値との比較対象となるデータとが、ストリームデータに含まれる同じユニットデータに対応するものであることを保証することができるストリームデータ処理装置およびストリームデータの同期検証方法を提供することができる。
【図面の簡単な説明】
【００３３】
【図１】本発明の実施の形態にかかるストリームデータ処理装置の構成図である。
【図２】本発明の実施の形態にかかるストリームデータ処理装置の処理を示すフローチャートである。
【図３】本発明の実施の形態にかかるストリームデータ処理装置の信号処理を示すフローチャートである。
【図４】本発明の実施の形態にかかるストリームデータ処理装置の出力処理を示すフローチャートである。
【図５】本発明の実施の形態にかかるストリームデータ処理装置の同期検証モード有効化時の処理を詳細に示すフローチャートである。
【図６】本発明の実施の形態にかかるストリームデータ処理装置のデータフロー図である。
【図７】特許文献１にかかるデジタル放送ＡＶシステムを示すシステム構成図である。
【図８】特許文献１にかかる同期処理検証の動作手順を示すフローチャートである。
【図９】特許文献１にかかる期待値を取得する工程の詳細な動作手順を示すフローチャートである。
【図１０】特許文献１にかかる圧縮データ同士を照合する工程の詳細な動作手順を示すフローチャートである。
【発明を実施するための形態】
【００３４】
本発明の実施の形態．
まず、図１を参照して、本発明の実施の形態にかかるストリームデータ処理装置の構成について説明する。図１は、本発明の実施の形態にかかるストリームデータ処理装置の構成図である。
【００３５】
ストリームデータ処理装置１０は、データ入力部２０、ＣＰＵ（Central Processing Unit）１１、内部バス１２、メモリ１３、ＰＴＳ読取部３０、ＳＴＣカウンタ４０、音声信号処理部５０、映像信号処理部６０、ＡＶ同期制御部７０、及びＡＶ同期検証部８０を有する。
【００３６】
ＣＰＵ１１は、各ブロックの制御をする。ＣＰＵ１１は、プログラムに従って、各部１３、３０、４０、５０、６０、７０の設定変更、起動、及び停止等の制御を行う。
内部バス１２は、各部１３、３０、４０、５０、６０、７０の間で相互に、各種情報を伝達する。
【００３７】
メモリ１３は、同期検証に必要なデータが保存される。ここで、メモリ１３として、メモリ以外の任意の記憶装置を使用してもよい。記憶装置として、例えば、メモリ以外にハードディスクを使用してもよい。メモリ１３は、期待値記憶部に相当する。
【００３８】
データ入力部２０は、ストリームデータから特定の符号データを分離して蓄積する。ここで、ストリームデータは、１フレーム当たりの映像を示す映像データと、１フレーム当たりの音声を示す音声データとが多重化されたデータである。このストリームデータに含まれる映像データ及び音声データのそれぞれは、符号化されている。以下、符号化された映像データ及び音声データのそれぞれを「符号データ」とも言い、復号化された映像データ及び音声データのそれぞれを「復号データ」とも言う。また、符号化された映像データを「映像符号データ」とも言い、符号化された音声データを「音声符号データ」とも言い、復号化された映像データを「映像復号データ」とも言い、復号化された音声データを「音声復号データ」とも言う。
【００３９】
ストリームデータにおいては、映像データ及び音声データのそれぞれに、ＰＴＳ値（Presentation Time Stamp：提示時刻情報）が付加されている。ストリームデータは、例えば、ＭＰＥＧ（Moving Picture Experts）規格におけるストリームデータである。この場合、ストリームデータは、映像データ又は音声データと、ＰＴＳ値とを含むパケットを有することになる。
【００４０】
データ入力部２０は、多重分離部２１、映像符号バッファ２２、及び音声符号バッファ２３を有する。
【００４１】
多重分離部２１は、受信機等（図示せず）で受信されたストリームデータから特定の符号データを分離し、映像符号バッファ２２及び音声符号バッファ２３にそれぞれ出力する。具体的には、多重分離部２１は、ストリームデータから映像データ及び音声データのそれぞれを分離して、分離した映像データを映像符号バッファ２２に格納し、分離した音声データを音声符号バッファ２３に格納する。そのとき、映像データ及び音声データのそれぞれに付加されていたＰＴＳ値もともに格納される。
【００４２】
映像符号バッファ２２及び音声符号バッファ２３は、分離した符号データが一時的に蓄積される。映像符号バッファ２２及び音声符号バッファ２３は、例えば、レジスタ又はメモリ等の任意の記憶装置である。
【００４３】
ＰＴＳ読取部３０は、復号する符号データのＰＴＳ値を読み取る。ＰＴＳ読取部３０は、内部バス１２を介して、映像符号バッファ２２及び音声符号バッファ２３に格納されたＰＴＳ値を取得して、ＡＶ同期制御部７０とメモリ１３に出力する。これによって、メモリ１３にＰＴＳ値が格納される。
【００４４】
ＳＴＣカウンタ４０は、ＳＴＣ値（System Time Clock：システム基準時刻情報）をカウントする。ＳＴＣカウンタ４０は、ストリームに付加されているＰＣＲ（Program Clock Reference）情報に同期するようにＣＰＵ１１によって制御されるカウンタである。ＳＴＣカウンタ４０は、ＳＴＣ値をＡＶ同期制御部７０とＡＶ同期検証部８０に出力する。ＳＴＣカウンタ４０は、時刻カウント部として機能する。
【００４５】
音声信号処理部５０は、音声符号データを復号して出力する。音声信号処理部５０は、音声信号復号部５１、復号データ圧縮部５２、デコードバッファ５３、出音処理部５４、及び出力データ圧縮部５５を有する。
【００４６】
音声信号復号部５１は、音声符号データを復号する。音声信号復号部５１は、ＡＶ同期制御部７０からの指示に応じて、フレーム単位で音声符号データを復号する。音声信号復号部５１は、音声符号データを復号した音声復号データをデコードバッファ５３に出力する。
【００４７】
復号データ圧縮部５２は、音声復号データの圧縮値を計算する。以下、音声復号データの圧縮値を「音声データ圧縮値」とも言う。復号データ圧縮部５２は、音声信号復号部５１からデコードバッファ５３に出力される音声復号データを読み取り、読み取った音声復号データを圧縮して音声データ圧縮値を生成する。復号データ圧縮部５２は、生成した音声データ圧縮値を、内部バス１２を介して出力してメモリ１３に格納する。
【００４８】
デコードバッファ５３は、音声信号復号部５１から出力された音声復号データを一時的に蓄積する。デコードバッファ５３は、例えば、レジスタ又はメモリ等の任意の記憶装置である。
【００４９】
出音処理部５４は、音声復号データの出音処理をする。出音処理部５４は、ＡＶ同期制御部７０からの指示に応じて、デコードバッファ５３に蓄積された音声復号データを読み取り、ストリームデータ処理装置１０の外部に出力する。
【００５０】
出力データ圧縮部５５は、音声復号データの圧縮値を計算する。出力データ圧縮部５５は、出音処理部５４からストリームデータ処理装置１０の外部に出力される音声復号データを読み取り、読み取った音声復号データを圧縮して音声データ圧縮値を生成する。出力データ圧縮部５５は、生成した音声データ圧縮値を、内部バス１２を介してＡＶ同期検証部８０に出力する。
【００５１】
ここで、復号データ圧縮部５２及び出力データ圧縮部５５は、同期検証を行うときにのみ、ＣＰＵ１１によって内部バス１２を介して有効化される。
【００５２】
映像信号処理部６０は、映像符号データを復号して出力する。映像信号処理部６０は、映像信号復号部６１、復号データ圧縮部６２、デコードバッファ６３、表示処理部６４、及び出力データ圧縮部６５を有する。
【００５３】
映像信号復号部６１は、映像符号データを復号する。映像信号復号部６１は、ＡＶ同期制御部７０からの指示に応じて、フレーム単位で映像符号データを復号する。映像信号復号部６１は、映像符号データを復号した映像復号データをデコードバッファ６３に出力する。
【００５４】
復号データ圧縮部６２は、映像復号データの圧縮値を計算する。以下、映像復号データの圧縮値を「映像データ圧縮値」とも言う。復号データ圧縮部６２は、映像信号復号部６１からデコードバッファ６３に出力される映像復号データを読み取り、読み取った映像復号データを圧縮して映像データ圧縮値を生成する。復号データ圧縮部６２は、生成した映像データ圧縮値を、内部バス１２を介して出力してメモリ１３に格納する。
【００５５】
デコードバッファ６３は、映像信号復号部６１から出力された映像復号データを一時的に蓄積する。デコードバッファ６３は、例えば、レジスタ又はメモリ等の任意の記憶装置である。
【００５６】
表示処理部６４は、映像復号データの出画処理をする。表示処理部６４は、ＡＶ同期制御部７０からの指示に応じて、デコードバッファ６３に蓄積された映像復号データを読み取り、ストリームデータ処理装置１０の外部に出力する。
【００５７】
出力データ圧縮部６５は、映像復号データの圧縮値を計算する。出力データ圧縮部６５は、表示処理部６４からストリームデータ処理装置１０の外部に出力される出力データを読み取り、読み取った映像復号データを圧縮して音声データ圧縮値を生成する。出力データ圧縮部６５は、生成した映像データ圧縮値を、内部バス１２を介してＡＶ同期検証部８０に出力する。
【００５８】
ここで、復号データ圧縮部６２及び出力データ圧縮部６５は、同期検証を行うときにのみ、ＣＰＵ１１によって内部バス１２を介して有効化される。ＰＴＳ読取部３０及び復号データ圧縮部５２、６２は、第１の情報出力部として機能する。出力データ圧縮部５５、６５は、第２の情報出力部として機能する。
【００５９】
ＡＶ同期制御部７０は、映像と音声が同期して再生されるように復号処理と出力処理を制御する。具体的には、ＡＶ同期制御部７０は、ＰＴＳ値とＳＴＣ値の差分が規定の範囲内に収まるように復号処理と出力処理を制御する。ＡＶ同期制御部７０は、ＳＴＣ値とＰＴＳ値を比較して、ＳＴＣ値がＰＴＳ値の時刻になった時点で、そのＰＴＳ値が付加された音声データ又は映像データに基づいた音声又は映像が出力されるように、音声信号処理部５０及び映像信号処理部６０を制御する。言い換えると、ＡＶ同期制御部７０は、ＳＴＣ値がＰＴＳ値の時刻になった時点で、そのＰＴＳ値が付加された音声データ又は映像データがストリームデータ処理装置１０の外部に出力されるように、音声信号処理部５０及び映像信号処理部６０を制御する。ＡＶ同期制御部７０は、再生出力部として機能する。
【００６０】
ＡＶ同期検証部８０は、ＡＶ同期検証を行う。具体的には、ＡＶ同期検証部８０は、ＰＴＳ値とＳＴＣ値の差分が規定の範囲内に収まっているか否かを検証する。具体的には、ＡＶ同期検証部８０は、ある映像データ又は音声データのストリームデータ処理装置１０の外部への出力が開始された時点のＳＴＣ値と、その映像データ又は音声データのＰＴＳ値とを比較して、ＰＴＳ値とＳＴＣ値の差分が規定の範囲内であるかを判定する。ＡＶ同期検証部８０は、判定結果をＣＰＵ１１に出力する。この規定の範囲は、予め任意に定めてよい。ＡＶ同期検証部８０は、同期検証部として機能する。
【００６１】
以上に説明したように、ストリームデータ処理装置１０は、映像データ及び音声データをストリームデータ処理装置１０の外部に出力する。つまり、ストリームデータ処理装置１０は、出音装置（図示せず）及び表示装置（図示せず）に接続される。出音装置は、例えば、スピーカーである。表示装置は、例えば、ＣＲＴ（Cathode Ray Tube）ディスプレイ、プラズマディスプレイ、液晶ディスプレイ及び有機ＥＬ（Electro Luminescence）ディスプレイ等である。
【００６２】
出音処理部５４からストリームデータ処理装置１０の外部に出力された音声データは、出音装置に入力される。出音装置は、入力された音声データに基づいて音声を出音する。また、表示処理部６４からストリームデータ処理装置１０の外部に出力された映像データは、表示装置に入力される。表示装置は、入力された映像データに基づいて映像を表示する。以下、本実施の形態では、このように、音声又は映像を出音又は表示するために、出音処理部５４又は表示処理部６４が、音声データ又は映像データをストリームデータ処理装置１０の外部に出力することを、再生出力と言う。
【００６３】
ストリームデータ処理装置１０は、例えば、光ディスクに記録されたストリームデータを再生するプレーヤーであってもよい。また、ストリームデータ処理装置１０は、例えば、出音装置及び表示装置を有し、ストリームデータを受信して再生する映像音声再生装置の一部に含まれていてもよい。映像音声再生装置は、例えば、デジタルテレビ又はテレビ電話等である。
【００６４】
続いて、図１〜図２を参照して、本発明の実施の形態にかかるストリームデータ処理装置１０の処理について説明する。図２は、本発明の実施の形態にかかるストリームデータ処理装置１０の処理を示すフローチャートである。
【００６５】
ＣＰＵ１１は、同期検証を行なうかを判定する（Ｓ１０）。同期検証を行うか否かは、例えば、ストリームデータ処理装置１０が有するスイッチ（図示せず）によって判定される。スイッチは、ユーザによって同期検証を行うか否かが選択される。スイッチは、選択内容を示す選択信号をＣＰＵ１１に出力する。この選択信号は、同期検証を行うか否かを示す。ＣＰＵ１１は、スイッチから出力された選択信号に基づいて、同期検証を行うか否かを判定する。
【００６６】
なお、同期検証を行うか否かを判定する方法は、これに限られない。ユーザインタフェースを介して入力された選択内容に基づいて判定するようにしてもよい。例えば、ストリームデータ処理装置１０がデジタルテレビに含まれている場合、表示装置が同期検証を行うか否かの選択表示を表示するようにして、入力装置（図示せず）によって、そのうちのいずれかを選択する入力を受けるようにしてもよい。入力装置は、例えば、リモートコントローラ又はデジタルテレビの操作ボタン等である。この場合、デジタルテレビがストリームデータ処理装置１０のＣＰＵ１１に対して選択内容を示す信号を入力する。つまり、ユーザが同期検証を行うか否かを選択する入力装置は、スイッチに限られない。
【００６７】
同期検証を行わないと判定した場合（Ｓ１０：ＮＯ）、ＣＰＵ１１は、同期検証モードを無効化する（Ｓ１１）。この場合、ＣＰＵ１１は、復号データ圧縮部５２、６２及び出力データ圧縮部５５、６５による圧縮値の計算機能と、ＡＶ同期検証部８０による同期検証機能とを無効化する。具体的には、ＣＰＵ１１は、同期検証機能の無効化を指示する指示信号を、復号データ圧縮部５２、６２、出力データ圧縮部５５、６５、及びＡＶ同期検証部８０に出力する。復号データ圧縮部５２、６２及び出力データ圧縮部５５、６５のそれぞれは、ＣＰＵ１１からの指示信号の出力に応じて、圧縮値の計算を行わないようにする。ＡＶ同期検証部８０は、ＣＰＵ１１からの指示信号の出力に応じて、同期検証を行わないようにする。
【００６８】
音声信号復号部５１及び映像信号復号部６１のそれぞれは、復号処理を行う（Ｓ１２）。具体的には、ＡＶ同期制御部７０は、音声符号データの復号を指示する復号指示信号を音声信号復号部５１に出力する。また、ＡＶ同期制御部７０は、映像符号データの復号を指示する復号指示信号を映像信号復号部６１に出力する。ＡＶ同期制御部７０は、ＳＴＣカウンタ４０から出力されているＳＴＣ値と、ＰＴＳ読取部３０から出力されたＰＴＳ値とが一致した時点で、そのＰＴＳ値が付加されていた音声復号データ又は映像復号データが再生出力可能な状態となっているように復号指示信号を出力する。よって、復号指示信号の出力タイミングは、例えば、ＳＴＣ値がＰＴＳ値となるまでの時間が所定の時間未満となったときとする。また、ＭＰＥＧ規格のように、音声データ又は映像データにＤＴＳ（Decoding Time Stamp）値が付加されている場合は、ＳＴＣ値とＤＴＳ値が一致したときに復号指示信号を出力するようにしてもよい。
【００６９】
音声信号復号部５１は、ＡＶ同期制御部７０からの復号指示信号の出力に応じて、音声符号バッファ２３から音声符号データを取得して復号する。音声信号復号部５１は、復号によって生成した音声復号データをデコードバッファ５３に蓄積する。また、映像信号復号部６１は、ＡＶ同期制御部７０からの復号指示信号の出力に応じて、映像符号バッファ２２から映像符号データを取得して復号する。映像信号復号部６１は、復号によって生成した映像復号データをデコードバッファ６３に蓄積する。
【００７０】
なお、音声信号復号部５１及び映像信号復号部６１のそれぞれは、例えば、復号データを再生順に並べてデコードバッファ５３、６３のそれぞれに格納する。復号データは、例えば、デコードバッファ５３、６３のアドレスの昇順又は降順等の所定の順序で並べられる。このようにすることで、出音処理部５４及び表示処理部６４のそれぞれが、ＡＶ同期制御部７０からの指示に応じて、並び順に復号データを取得することで、再生順に復号データを取得して再生出力可能とする。
【００７１】
出音処理部５４及び表示処理部６４のそれぞれは、出力処理を行う（Ｓ１３）。具体的には、ＡＶ同期制御部７０は、ＳＴＣカウンタ４０から出力されているＳＴＣ値と、音声信号復号部５１によって復号された音声符号データに付加されていたＰＴＳ値とが一致したときに、その音声符号データを復号した音声復号データの出力を指示する出力指示信号を出音処理部５４に出力する。また、ＡＶ同期制御部７０は、ＳＴＣカウンタ４０から出力されているＳＴＣ値と、映像信号復号部６１によって復号された映像符号データに付加されていたＰＴＳ値とが一致したときに、その映像符号データを復号した映像復号データの出力を指示する出力指示信号を表示処理部６４に出力する。
【００７２】
ここで、ＡＶ同期制御部７０は、例えば、ＰＴＳ読取部３０から出力されたＰＴＳ値がＳＴＣ値と一致するまでの間、そのＰＴＳ値を保持するレジスタ又はメモリ等の任意の記憶装置を有するようにして、ＳＴＣ値との比較を可能とする。
【００７３】
出音処理部５４は、ＡＶ同期制御部７０からの出力指示信号の出力に応じて、デコードバッファ５３から音声復号データを取得して、ストリームデータ処理装置１０の外部に出力する。表示処理部６４は、ＡＶ同期制御部７０からの出力指示信号の出力に応じて、デコードバッファ６３から映像復号データを取得して、ストリームデータ処理装置１０の外部に出力する。
【００７４】
以上に説明した処理によって、映像データ及び音声データのそれぞれが、それぞれに付加されたＰＴＳ値が示す時刻となったときに、同期して再生されるようにしている。
【００７５】
同期検証を行うと判定した場合（Ｓ１０：ＹＥＳ）、ＣＰＵ１１は、同期検証モードを有効化する（Ｓ２１）。この場合、ＣＰＵ１１は、復号データ圧縮部５２、６２及び出力データ圧縮部５５、６５による圧縮値の計算機能と、ＡＶ同期検証部８０による同期検証機能とを有効化する。具体的には、ＣＰＵ１１は、同期検証機能の有効化を指示する指示信号を、復号データ圧縮部５２、６２、出力データ圧縮部５５、６５、及びＡＶ同期検証部８０に出力する。復号データ圧縮部５２、６２及び出力データ圧縮部５５、６５のそれぞれは、ＣＰＵ１１からの指示信号の出力に応じて、圧縮値の計算を行うようにする。ＡＶ同期検証部８０は、ＣＰＵ１１からの指示信号の出力に応じて、同期検証を行うようにする。
【００７６】
音声信号復号部５１及び映像信号復号部６１のそれぞれは、復号処理を行う（Ｓ２２）。音声信号復号部５１及び映像信号復号部６１のそれぞれは、映像符号バッファ２２及び音声符号バッファ２３のそれぞれから取得した符号データを復号する。音声信号復号部５１及び映像信号復号部６１のそれぞれは、復号によって生成した復号データをデコードバッファ５３、６３のそれぞれに蓄積する。なお、音声信号復号部５１、映像信号復号部６１、及びＡＶ同期制御部７０の具体的な処理内容については、ステップＳ１２と同様であるため、説明を省略する。
【００７７】
さらに、同期検証モードの有効化時には、復号データのデコードバッファ５３、６３への蓄積時に、ＰＴＳ読取部３０が、映像符号バッファ２２及び音声符号バッファ２３から取得したＰＴＳ値を、内部バス１２を介してメモリ１３に蓄積する。また、同期検証モードの有効化時には、復号データ圧縮部５２は、音声信号復号部５１から出力されてデコードバッファ５３に格納される音声復号データを取得して、取得した音声復号データの音声データ圧縮値を生成する。復号データ圧縮部５２は、生成した音声データ圧縮値を、内部バス１２を介してメモリ１３に蓄積する。また、同期検証モードの有効化時には、復号データ圧縮部６２は、映像信号復号部６１から出力されたデコードバッファ６３に格納される映像復号データを取得して、取得した映像復号データの映像データ圧縮値を生成する。復号データ圧縮部６２は、生成した映像復号データの圧縮値を、内部バス１２を介してメモリ１３に蓄積する。
【００７８】
出音処理部５４及び表示処理部６４のそれぞれは、出力処理を行う（Ｓ２３）。出音処理部５４及び表示処理部６４のそれぞれは、デコードバッファ５３、６３から取得した復号データをストリームデータ処理装置１０の外部に出力する。なお、出音処理部５４、表示処理部６４、及びＡＶ同期制御部７０の具体的な処理内容については、ステップＳ１３と同様であるため、説明を省略する。
【００７９】
さらに、同期検証モードの有効化時には、出力データ圧縮部５５は、出音処理部５４からストリームデータ処理装置１０の外部に出力される音声復号データを取得して、取得した音声復号データの音声データ圧縮値を生成する。出力データ圧縮部５５は、生成した音声データ圧縮値をＡＶ同期検証部８０に出力する。また、同期検証モードの有効化時には、出力データ圧縮部６５は、表示処理部６４からストリームデータ処理装置１０の外部に出力される映像復号データを取得して、取得した映像復号データの映像データ圧縮値を生成する。出力データ圧縮部６５は、生成した映像データ圧縮値をＡＶ同期検証部８０に出力する。
【００８０】
ＡＶ同期検証部８０は、ステップＳ２２でメモリ１３に蓄積された圧縮値及びＰＴＳ値と、ステップＳ２３で出力データ圧縮部５５、６５から出力された圧縮値とを使用して同期検証処理を実施する（Ｓ２４）。
【００８１】
続いて、図３を参照して、本発明の実施の形態にかかるストリームデータ処理装置１０の同期検証モード有効化時の詳細な処理について説明する。図３は、本発明の実施の形態にかかるストリームデータ処理装置１０の同期検証モード有効化時の処理を詳細に示すフローチャートである。
【００８２】
まず、図３（ａ）を参照して、図２のステップＳ２２における復号処理を詳細に説明する。図３（ａ）は、図２のステップＳ２２における復号処理を詳細に示すフローチャートである。
【００８３】
音声信号復号部５１及び映像信号復号部６１のそれぞれは、フレームごとに符号データを復号して、復号データをデコードバッファ５３、６３のそれぞれに格納する（Ｓ３１）。
【００８４】
ＰＴＳ読取部３０は、その復号データに対応するＰＴＳ値を取得して、メモリ１３に格納する。言い換えると、ＰＴＳ読取部３０は、その復号データの復号前の符号データに付加されていたＰＴＳ値を取得して、メモリ１３に格納する。また、復号データ圧縮部５２、６２のそれぞれは、デコードバッファ５３、６３のそれぞれに格納される復号データの圧縮値を生成して、メモリ１３に格納する。（Ｓ３２）。ここで、メモリ１３には、復号データの圧縮値と、その復号データの復号前の符号データに付加されていたＰＴＳ値とが対応付けられて格納されるようにする。
【００８５】
なお、ここでの圧縮値とＰＴＳ値の格納方法は、復号データの圧縮値と、その復号データの復号前の符号データに付加されていたＰＴＳ値とを対応付けて格納するものであれば、どのような格納方法であってもよい。例えば、圧縮値とＰＴＳ値との組を１つのエントリとして、音声データ圧縮値及び映像データ圧縮値のそれぞれについて、複数のエントリをメモリ１３に用意する。そして、ＰＴＳ読取部３０は、音声データ圧縮値についての複数のエントリに、ＰＴＳ値を、そのＰＴＳ値が付加されていた音声データが再生順に並ぶように格納する。また、復号データ圧縮部５２も、音声データ圧縮値についての複数のエントリに、音声データ圧縮値を、その音声データ圧縮値を生成した音声データが再生順に並ぶように格納する。このとき、例えば、ＰＴＳ値及び音声データ圧縮値は、複数のエントリのエントリ番号順、もしくはメモリ１３におけるエントリのアドレスの昇順又は降順等の所定の順序で、再生順に並ぶようにメモリ１３に格納されるようにする。このようにすることで、ＰＴＳ読取部３０と復号データ圧縮部５２とが別々にＰＴＳ値及び音声データ圧縮値を格納しても、音声復号データの圧縮値と、その音声復号データの復号前の符号データに付加されていたＰＴＳ値とが、１つのエントリとして対応付けられて格納されるようにする。映像データ圧縮値についての複数のエントリに対しても、同様である。
【００８６】
続いて、図３（ｂ）を参照して、図２のステップＳ２３における出力処理を詳細に説明する。図３（ｂ）は、図２のステップＳ２３における出力処理を詳細に示すフローチャートである。
【００８７】
出音処理部５４及び表示処理部６４のそれぞれは、ＡＶ同期制御部７０から内部バス１２を介して出力指示信号が入力されたとき、デコードバッファ５３、６３のそれぞれから復号データを取得して、取得した復号データをストリームデータ処理装置１０の外部に出力する（Ｓ４１）。また、このとき、ＡＶ同期制御部７０は、出力指示信号を同時にＡＶ同期検証部８０にも出力する。
【００８８】
ＡＶ同期検証部８０は、復号データのストリームデータ処理装置１０の外部への出力開始時点のＳＴＣ値をＳＴＣカウンタ４０から取得する（Ｓ４２）。具体的には、ＡＶ同期検証部８０は、ＡＶ同期制御部７０からの出力指示信号の出力に応じて、ＳＴＣカウンタ４０から出力されたＳＴＣ値を取得する。
【００８９】
出力データ圧縮部５５、６５のそれぞれは、出音処理部５４及び表示処理部６４のそれぞれからストリームデータ処理装置１０の外部に出力された復号データの圧縮値を生成して、内部バス１２を介してＡＶ同期検証部８０に出力する。ＡＶ同期検証部８０は、出力データ圧縮部５５、６５のそれぞれから出力された圧縮値を取得する（Ｓ４３）。ＡＶ同期検証部８０は、例えば、ＳＴＣカウンタ４０から出力されたＳＴＣ値と、出音処理部５４又は表示処理部６４から出力された圧縮値とを取得したときに、同期検証処理を開始する。
【００９０】
ここで、復号データ圧縮部５２、６２及び出力データ圧縮部５５、６５によって生成する圧縮値は、例えば、ハッシュ値である。なお、圧縮値は、復号データを圧縮して、復号データよりもサイズが小さく、復号データを一意に識別することができるものであれば、ハッシュ値に限られない。例えば、ハッシュ値のように一方向性の関数によって生成したデータに限られず、復号データ自体を不可逆圧縮又は可逆圧縮した圧縮データを、圧縮値として生成するようにしてもよい。しかし、好ましくは、ハッシュ値のように一方向性の関数によって比較的簡単な演算で生成することができるデータを圧縮値とすることで、復号データ圧縮部５２、６２及び出力データ圧縮部５５、６５の構成を容易にすることができ、ストリームデータ処理装置１０のコストを低減することができる。
【００９１】
続いて、図３（ｃ）を参照して、図２のステップＳ２４における同期検証処理を詳細に説明する。図３（ｃ）は、図２のステップＳ２４における同期検証処理を詳細に示すフローチャートである。
【００９２】
ＡＶ同期検証部８０は、ステップＳ４３で取得した復号データの圧縮値と一致する復号データの圧縮値をメモリ１３から検索する。ＡＶ同期検証部８０は、検索した復号データの圧縮値に対応するＰＴＳ値をメモリ１３から取得して、取得したＰＴＳ値を次ステップＳ５２で比較するデータとする（Ｓ５１）。
【００９３】
ＡＶ同期検証部８０は、ステップＳ４２で取得したＳＴＣ値と、ステップＳ５１で取得したＰＴＳ値とを比較し、ＳＴＣ値とＰＴＳ値の差分が規定の範囲内であるかを判定する（Ｓ５２）。この範囲は、ユーザが任意の値を予め規定するようにしてよい。ＳＴＣ値とＰＴＳ値の差分が規定の範囲内であればステップＳ５３に進み、規定の範囲外であればステップＳ５４に進む。
【００９４】
ステップＳ５２で規定の範囲内であると判定した場合、ＡＶ同期検証部８０は、正常に同期しているとの判定結果をＣＰＵ１１に通知する（Ｓ５３）。具体的には、ＡＶ同期検証部８０は、正常に同期しているとの判定結果を示す判定結果情報をＣＰＵ１１に出力する。
【００９５】
ステップＳ５２で規定の範囲内ではないと判定した場合、ＡＶ同期検証部８０は、正常に同期できていないとの判定結果をＣＰＵ１１に通知する（Ｓ５４）。具体的には、ＡＶ同期検証部８０は、正常に同期していないとの判定結果を示す判定結果情報をＣＰＵ１１に出力する。ＣＰＵ１１は、正常に同期できていないとの判定結果の通知に応じて、任意の異常に応じた処理を実行するようにしてもよい。例えば、ＣＰＵ１１は、ユーザに異常を通知する映像を示す映像データを映像信号処理部６０に出力して、その映像を映像信号処理部６０によって表示装置に表示させる。
【００９６】
続いて、図４を参照して、本発明の実施の形態にかかる同期検証のメカニズムについて説明する。図４は、本発明の実施の形態にかかるストリームデータ処理装置１０のデータフロー図である。図４は、図３に示すフローチャートのステップＳ３１、Ｓ３２、Ｓ４３〜Ｓ４３、Ｓ５１、及びＳ５２におけるデータフローを示す図である。
【００９７】
映像符号バッファ２２及び音声符号バッファ２３に蓄積された符号データのそれぞれは、音声信号復号部５１又は映像信号復号部６１によって復号され（ＤＦ１）、デコードバッファ５３、６３に格納される（Ｓ３１）。図４の「ＰＴＳ１」〜「ＰＴＳ４」のそれぞれは、ＰＴＳ値を示す。図４の「符号Ａ」〜「符号Ｄ」のそれぞれは、「ＰＴＳ１」〜「ＰＴＳ４」のそれぞれに対応する符号データを示す。ＰＴＳ値に対応する符号データとは、そのＰＴＳ値が付加されている符号データのことである。図４の「データＡ」〜「データＤ」のそれぞれは、「符号Ａ」〜「符号Ｄ」のそれぞれを復号した復号データを示す。
【００９８】
復号データ圧縮部５２又は復号データ圧縮部６２は、「データＡ」〜「データＤ」ごとに復号データを圧縮して、圧縮値をメモリ１３に格納する。ＰＴＳ読取部３０は、「データＡ」〜「データＤ」のそれぞれに対応するＰＴＳ値を映像符号バッファ２２及び音声符号バッファ２３から取得してメモリ１３に格納する（Ｓ３２）。図４では、「データＡ」〜「データＤ」のそれぞれの復号データを圧縮した圧縮値を、「データＡ」〜「データＤ」のそれぞれに対応するＰＴＳ値（「ＰＴＳ１」〜「ＰＴＳ４」）とともにメモリ１３に格納した場合について例示している（ＤＦ２）。
【００９９】
図４では、「データＡ」の圧縮値が"４ｅｆ８１ａｂｃ"であり、「データＡ」が再生出力されるべき時刻が"ＰＴＳ：００：０１"であり、「データＢ」の圧縮値が"３７ｅ９８ｂａｃ"であり、「データＢ」が再生出力されるべき時刻が"ＰＴＳ：００：０２"であり、「データＣ」の圧縮値が"１ａｃ７１２ａｆ"であり、「データＣ」が再生出力されるべき時刻が"ＰＴＳ：００：０３"であり、「データＤ」の圧縮値が"９６２９ｄｅｂ２"であり、「データＤ」が再生出力されるべき時刻が"ＰＴＳ：００：０４"である場合について例示している。
【０１００】
出音処理部５４及び表示処理部６４は、デコードバッファ５３、６３に格納された復号データを、ストリームデータ処理装置１０の外部に出力する（Ｓ４１）。ここで、図４では、「データＢ」のＰＴＳ値に対してＳＴＣ値が先行していたため、ＡＶ同期制御部７０が、ＡＶ同期制御によって、「データＢ」の提示をスキップして、「データＣ」を提示した場合について例示している（ＤＦ３）。この場合、ＡＶ同期制御部７０は、復号データを１つスキップして出力するように指示する出力指示信号を出音処理部５４又は表示処理部６４に出力する。そして、出音処理部５４又は表示処理部６４は、その出力指示信号の出力に応じて、復号データを１つスキップした次の復号データをストリームデータ処理装置１０の外部に出力するようにする。例えば、上述したように、デコードバッファ５３、６３のそれぞれに復号データが再生順に並んでいる場合、出音処理部５４又は表示処理部６４は、１つとばして復号データを取得するようにすることで、復号データを１つスキップした次の復号データを再生出力することができる。
【０１０１】
ＡＶ同期検証部８０は、復号データのストリームデータ処理装置１０の外部への出力開始時点のＳＴＣ値を取得する（Ｓ４２）。出力データ圧縮部５５、６５は、ストリームデータ処理装置１０の外部に出力される復号データを圧縮して、圧縮された圧縮値をＡＶ同期検証部８０に出力する（Ｓ４３）。図４では、ＡＶ同期検証部８０がＳＴＣ値"ＳＴＣ：００：０３"を取得し（ＤＦ４）、ＡＶ同期検証部８０に復号データの圧縮値"１ａｃ７１２ａｆ"が出力された（ＤＦ５）ときについて例示している。つまり、「データＣ」が再生出力された場合について例示している。
【０１０２】
ＡＶ同期検証部８０は、ステップＳ４３で取得した復号データの圧縮値"１ａｃ７１２ａｆ"と一致する復号データの圧縮値をメモリ１３から検索する。ＡＶ同期検証部８０は、検索した復号データの圧縮値"１ａｃ７１２ａｆ"に対応するＰＴＳ値"ＰＴＣ：００：０３"と、ステップＳ４２で取得したＳＴＣ値"ＳＴＣ：００：０３"とを、次ステップで比較するデータとする（Ｓ５１）。このように、本実施の形態では、同期検証のために比較すべきＰＴＳ値と、ＳＴＣ値とを、復号データの圧縮値によって関連付けることができる。
【０１０３】
ステップＳ４２で取得したＳＴＣ値と、ステップＳ５１で取得したＰＴＳ値とを比較して、ＳＴＣ値とＰＴＳ値との差分が規定の範囲内であるか否かを判定する（Ｓ５２）。具体的には、「データＣ」の復号データの再生出力時刻の期待値となるＰＴＳ値"ＰＴＳ：００：０３"と、その「データＣ」の復号データがストリームデータ処理装置１０の外部に実際に出力された時点のＳＴＣ値"ＳＴＣ：００：０３"とがＡＶ同期検証部８０によって比較されて、規定の範囲内であるか否かが判定される（ＤＦ６）。図４で例示したように、ＰＴＳ値とＳＴＣ値とがともに時刻"００：０３"を示し、相互に一致している場合は、期待した時刻に同期して復号データが再生出力されたことになる。
【０１０４】
このように、本実施の形態では、復号データに付加されたＰＴＳ値をその復号データの再生出力時刻の期待値として、その復号データの圧縮値と対応付けて保持するようにしている。そのため、復号データが再生出力されるときに、実際に再生出力される復号データの圧縮値から、その復号データの再生出力時刻の期待値となるＰＴＳ値を特定することができる。言い換えると、復号データの圧縮値によって、その復号データの実際の再生出力時刻を示すＳＴＣ値と、その復号データの再生出力時刻の期待値とを関連付けて、それぞれを比較可能としている。これによれば、復号データの再生出力時刻の期待値となるＰＴＳ値と、その復号データの実際の再生出力時刻を示すＳＴＣ値とを比較して、実際に再生出力される映像データ又は音声データが正しい時刻に出力再生されているか否かを同期検証することができる。
【０１０５】
本発明の他の実施の形態．
上述した実施の形態では、ＳＴＣ値とＰＴＳ値とを関連付けるデータとして、復号データの圧縮値を使用した場合について例示したが、復号データを識別するデータであれば、これに限られない。
【０１０６】
例えば、図５に示すように、ＳＴＣ値とＰＴＳ値とを関連付けるデータとして、復号データを使用するようにしてもよい。この場合、図５に示すように、ストリームデータ処理装置１０は、復号データ圧縮部５２、６２及び出力データ圧縮部５５、６５を有さない。
【０１０７】
復号データ圧縮部５２、６２が復号データの圧縮値をメモリ１３に格納するのに代えて、音声信号復号部５１及び映像信号復号部６１のそれぞれが、デコードバッファ５３、６３のそれぞれに格納する復号データを、メモリ１３にも格納するようにする。また、出力データ符号部５６、６６が復号データの圧縮値をＡＶ同期検証部８０に出力するのに代えて、出音処理部５４及び表示処理部６４のそれぞれが、ストリームデータ処理装置１０の外部に出力する復号データを、ＡＶ同期検証部８０にも出力するようにする。
【０１０８】
そして、ＡＶ同期検証部８０は、出音処理部５４及び表示処理部６４のそれぞれから出力された復号データと一致する復号データをメモリ１３から検索する。ＡＶ同期検証部８０は、検索した復号データに対応するＰＴＳ値をメモリ１３から取得して、取得したＰＴＳ値をＳＴＣ値と比較するデータとする。
【０１０９】
また、例えば、図６に示すように、ＳＴＣ値とＰＴＳ値とを関連付けるデータとして、符号データを使用するようにしてもよい。この場合、図６に示すように、ストリームデータ処理装置１０は、復号データ圧縮部５２、６２及び出力データ圧縮部５５、６５を有さず、復号データを再度符号化する出力データ符号部５６、６６のそれぞれを、音声信号処理部５０及び映像信号処理部６０のそれぞれに有するようにする。
【０１１０】
復号データ圧縮部５２、６２が復号データの圧縮値をメモリ１３に格納するのに代えて、音声信号復号部５１及び映像信号復号部６１のそれぞれで復号する前の符号データを、メモリ１３に格納するようにする。また、出力データ符号部５６、６６が復号データの圧縮値をＡＶ同期検証部８０に出力するのに代えて、出力データ符号部５６、６６のそれぞれが、ストリームデータ処理装置１０の外部に出力する復号データを再度符号化して、符号データを生成してＡＶ同期検証部８０に出力するようにする。ここでの符号化規則は、ストリームデータに含まれている符号データの符号化規則と同一であるものとする。
【０１１１】
ここで、符号データのメモリ１３への格納は、音声信号復号部５１及び映像信号復号部６１のそれぞれが、復号するために取得した符号データをメモリ１３に格納することによって実施してもよく、ＡＶ同期制御部７０が、音声信号復号部５１又は映像信号復号部６１に復号を指示したときに、復号を指示した符号データを映像符号バッファ２２又は音声符号バッファ２３から取得してメモリ１３に格納することによって実施するようにしてもよい。
【０１１２】
そして、ＡＶ同期検証部８０は、出力データ符号部５６、６６のそれぞれから出力された符号データと一致する符合データをメモリ１３から検索する。ＡＶ同期検証部８０は、検索した復号データに対応するＰＴＳ値をメモリ１３から取得して、取得したＰＴＳ値をＳＴＣ値と比較するデータとする。
【０１１３】
以上に説明したように、ＳＴＣ値とＰＴＳ値とを関連付けるデータとして、復号データの圧縮値に代えて、復号データを識別するデータであれば、復号データ又は符号データ等も使用することもできる。
【０１１４】
また、上述した実施の形態では、復号データの実際の再生出力時刻と、その復号データの再生出力時刻の期待値とが、ＳＴＣ値とＰＴＳ値とで関連付けられるようにしている場合について例示しているが、両者が比較可能な程度に再生出力時刻を識別することができるデータであれば、ＳＴＣ値及びＰＴＳ値そのものに限られない。例えば、ＳＴＣ値及びＰＴＳ値に基づいて、再生出力時刻をＳＴＣ値及びＰＴＳ値とは異なるフォーマット又はビット数で示すデータを生成して関連付けるようにしてもよい。
【０１１５】
以上に説明したように、本実施の形態では、出力準備された復号データが格納されるデコードバッファ５３、６３に、復号データが格納される前までに、その復号データ及びこれに対応するＰＴＳ値をそれぞれ識別する第１のデータ識別情報及び第１の時刻識別情報を出力してメモリ１３に格納するようにしている。また、出力準備された復号データが再生出力されるときに、その復号データを識別する第２のデータ識別情報をＡＶ同期制御部７０に出力するようにしている。ＡＶ同期制御部７０は、復号データが再生出力されるときに、ＳＴＣカウンタ４０のＳＴＣ値を第２の時刻識別情報として取得するとともに、第２のデータ識別情報と同一の復号データを識別する第１のデータ識別情報に対応する第１の時刻識別情報をメモリ１３から取得して、第２の時刻識別情報と、第１の時刻識別情報とが示す時刻の差が所定の範囲内であるか否かを検証するようにしている。
【０１１６】
これによれば、ストリームデータに含まれる符号データが復号データとして出力準備されるまでに、その復号データの再生出力時刻の期待値となる第１の時刻識別情報を、その復号データを識別する第１のデータ識別情報と対応付けて用意することができる。そのため、その出力準備された復号データが再生出力されるときには、その復号データを識別する第２のデータ識別情報に基づいて、その復号データの再生出力時刻の期待値となる第１の時刻識別情報を特定して、その復号データの実際の再生出力時刻となる第２の時刻識別情報と比較することができる。
【０１１７】
つまり、復号データが再生出力されるまでの一連の流れの中で、その復号データに対して再生出力時刻の期待値を用意し、その復号データの実際の再生出力時刻と比較するようにしている。そのため、再生出力時刻の期待値を、ストリームデータにおいてその再生出力時刻の期待値が対応付けられていた復号データそのものの実際の再生出力時刻と比較することができる。よって、期待値となるデータと、その期待値との比較対象となるデータとが、まったく同じ復号データに対応するものであることを保証することができる。
【０１１８】
また、一度ストリームデータを入力するのみで、その復号データが再生出力されるときの現在時刻を識別する第２の時刻識別情報と、その復号データの再生出力時刻の期待値となる第１の時刻識別情報とを比較して、同期検証をすることができる。
【０１１９】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
【０１２０】
本実施の形態では、圧縮値をメモリ１３に蓄積しているが、復号データ圧縮部５２、６２及び出力データ圧縮部５５、６５のそれぞれの内部に保持させるようにしてもよい。この場合、例えば、ＰＴＳ読取部３０が、ＡＶ同期制御部７０によって復号が指示された復号データに付加されたＰＴＳ値を、復号データ圧縮部５２、６２及び出力データ圧縮部５５、６５のそれぞれに出力するようにして、復号データ圧縮部５２、６２及び出力データ圧縮部５５、６５のそれぞれが、圧縮値とＰＴＳ値とを対応付けて保持するようにする。また、ＡＶ同期検証部８０が圧縮値を比較するようにしているが、ＣＰＵ１１で圧縮値を比較するようにしてもよい。
【０１２１】
本実施の形態では、映像データ及び音声データが多重化されたストリームデータを処理する場合について例示したが、これに限られない。例えば、映像データ及び音声データのうち、いずれか１つが多重化されたストリームデータに対して処理を行うようにしてもよい。この場合、ストリームデータ処理装置１０は、音声信号処理部５０及び映像信号処理部６０のうち、いずれか１つを有するようにしてもよい。
【０１２２】
復号データに、高画質化処理やサラウンド処理等のフィルタ処理を施してストリームデータ処理装置１０の外部に出力する場合には、復号データの圧縮値と出力データの圧縮値が異なるものとなってしまう。この場合、予め同期制御を無効化して再生することで、復号データ圧縮部５２、６２及び出力データ圧縮部５５及び５６が、復号データの圧縮値と、フィルタ処理を施した出力データの圧縮値とを１対１に関連付けてメモリ１３に格納しておくようにしてもよい。そして、同期制御を有効化して再生した場合に、ＡＶ同期検証部８０が、出力データの圧縮値から対応する復号データの圧縮値を検索することを可能として、上述した本発明の実施の形態を適用可能とすることができる。
【符号の説明】
【０１２３】
１０ ストリームデータ処理装置
１１ ＣＰＵ
１２ 内部バス
１３ メモリ
２０、１１０ データ入力部
２１、１１１ 多重分離部
２２、１１２ 映像符号バッファ
２３ 音声符号バッファ
３０、１２０ ＰＴＳ読取部
４０、１３０ ＳＴＣカウンタ
５０、１５０ 音声信号処理部
５１、１５１ 音声信号復号部
５２、６２ 復号データ圧縮部
５３、６３ デコードバッファ
５４ 出音処理部
５５、６５ 出力データ圧縮部
５６、６６ 出力データ符号部
６０、１６０ 映像信号処理部
６１、１６１ 映像信号復号部
６４ 表示処理部
７０、１４０ ＡＶ同期制御部
８０、１７０ ＡＶ同期検証部
１００ デジタル放送ＡＶシステム
１１２ 映像バッファ
１１３ 音声バッファ
１５２、１６２ データ圧縮部
１６２ データ圧縮部
１８０ メモリ
２００ 記憶媒体
【技術分野】
【０００１】
本発明は、ストリームデータ処理装置およびストリームデータの同期検証方法に関する。
【背景技術】
【０００２】
デジタル放送システムにおけるストリームデータ処理は、ストリーム多重分離処理、復号処理、出力処理、および同期制御から構成される。同期制御とは、映像と音声の再生タイミングを合わせる制御である。ストリームデータの再生時に、画が抜けたり、音がとんだりしても、視聴しただけではその原因が同期制御による適切なスキップ制御であるか、障害によるものかを判別することは難しい。そのため、同期制御の定量的な検証方法が必要となる。既知の定量的な同期検証方法として、あらかじめフラッシュ画像とビープ音を同期して多重化したストリームデータを用意し、出力映像信号と出力音声信号をオシロスコープで観測する方法がある。
【０００３】
しかし、同期制御に関する障害は放送波を受信しているときに発生するケースが多い。そのため、検証対象の放送波が送出されている地域での検証も必要となることから、特殊なストリームや機材によらず検証可能であることが望ましい。したがって、定量的かつ低コストにて同期検証ができるストリームデータ処理装置および同期検証方法が求められている。
【０００４】
特許文献１には、ストリームデータをＡＶ同期再生させるストリームデータ処理のＡＶ同期検証方法が開示されている。特許文献１に開示のＡＶ同期検証方法は、同期を有効にした場合と無効にした場合とでデータ圧縮値を取り込み、それぞれの場合で取り込んだデータ圧縮値を比較する。これにより、評価対象であるデータ自体への加工が不要として、デジタル放送などのストリームデータ処理のＡＶ同期検証を行うようにしている。
【０００５】
図７は、特許文献１にかかるデジタル放送ＡＶシステム（ストリームデータ処理装置）を示すシステム構成図である。
【０００６】
データ入力部１１０は、多重分離部１１１と、映像バッファ１１２と、音声バッファ１１３と、を備える。ストリームデータは、データ入力部１１０に入力される。データ入力部１１０に入力されたストリームデータは、多重分離部１１１によって音声ストリームと映像ストリームとに分離される。分離された音声ストリームと映像ストリームとは、それぞれ音声バッファ１１３と映像バッファ１１２とに順次蓄積される。ＰＴＳ読取部１２０は、映像バッファ１１２および音声バッファ１１３上のデータからＰＴＳ情報（Presentation Time Stamp：提示時刻情報）を取得する。読み取られたＰＴＳ情報は、ＡＶ同期制御部１４０に送られる。
【０００７】
ＳＴＣカウンタ１３０は、ストリームデータに付加されているＰＣＲ（Program Clock Reference）情報に基づいて設定され、システムクロックＳＴＣ（System Time Clock）をカウントする。
【０００８】
ＡＶ同期制御部１４０は、ＳＴＣ情報およびＰＴＳ情報に基づいて、音声再生出力と映像再生出力との同期をとるもので、音声信号処理部１５０および映像信号処理部１６０に復号開始命令および出力命令を与える。このとき、ＡＶ同期制御部１４０は、ＰＴＳ情報とＳＴＣ情報とを比較して、ＳＴＣがＰＴＳの時刻になった時点で再生を開始させる。
【０００９】
音声信号復号部１５１および映像信号復号部１６１は、復号開始命令を受けて復号を開始し、出力命令を受けて復号したデータを外部出力する。
【００１０】
図８は、ＡＶ同期制御の検証を行う動作手順を示すフローチャートである。ＡＶ同期制御の検証においては、まず、ＡＶ同期制御をオフにし（ＳＴ１００）、期待値を取得する（ＳＴ２００）。続いて、ＡＶ同期制御をＯＮにし（ＳＴ３００）、データ照合処理を行う（ＳＴ４００）。
【００１１】
図９は、期待値を取得する工程（ＳＴ２００）の詳細な動作手順を示すフローチャートである。
【００１２】
まず、検証対象となるストリームデータをデータ入力部１１０から入力する（ＳＴ２０１）。データ圧縮部１６２は、映像信号復号部１６１から外部出力されるデータを１フレームごとに取り込んで圧縮する（ＳＴ２０２）。圧縮したデータは、順次メモリ１８０に格納されていく（ＳＴ２０３）。
【００１３】
このとき、各データ圧縮値の取得に合わせ、１フレーム毎のＰＴＳ値をＰＴＳ読取部１２０によって取得し（ＳＴ２０４）、メモリ１８０へ格納する（ＳＴ２０５）。これをフレーム毎に繰り返し行い、データ圧縮値とＰＴＳ値とを取得し、メモリ１８０へ蓄積する。検証の対象となる全てのフレームのデータ取得が完了した後（ＳＴ２０６：ＹＥＳ）、記憶媒体２００にデータ圧縮値および各データ圧縮値に対応するＰＴＳ値の格納を行なう（ＳＴ２０７）。これにより、期待値データの取得が終了する。
【００１４】
図１０は、ＡＶ同期有効モードにおける映像データと取得した期待値データとを照合する工程（ＳＴ４００）の詳細な動作手順を示すフローチャートである。
【００１５】
まずは、予め取得しておいた期待値データを記憶媒体２００上からメモリ１８０上に展開しておく（ＳＴ４０１）。そして、ストリームデータをデータ入力部１１０から入力する（ＳＴ４０２）。このストリームデータは、期待値データの取得時に用いたデータと同じものである。
【００１６】
データの１フレームごとにデータ圧縮値を取得する（ＳＴ４０３）。すなわち、ストリームデータは多重分離されたのち、映像バッファ１１２を経て、映像信号処理部１６０に送られる。ここで、ＡＶ同期制御部１４０によるＡＶ同期処理を有効にしているので、ＳＴＣがＰＴＳになるタイミングで映像信号復号部１６１からデータが復号されて外部出力される。そして、データ圧縮部１６２は、映像信号復号部１６１から外部出力されるデータを１フレームごとに取り込んで圧縮し、圧縮データを取得する（ＳＴ４０３）。取得された圧縮データは、ＡＶ同期検証部１７０に送られる。
【００１７】
また、同時に、ＡＶ同期検証部１７０は、メモリ１８０上に展開している期待値データとしての映像圧縮データを読み出す（ＳＴ４０４）。そして、ＡＶ同期検証部１７０は、取得した圧縮データを順次期待値データと比較していく（ＳＴ４０５）。
【００１８】
データ圧縮値の比較結果が一致すれば（ＳＴ４０５：ＹＥＳ）、そのフレームはＯＫであると判定とする（ＳＴ４０６）。
【００１９】
一方、不一致の場合（ＳＴ４０５：ＮＯ）、フレームリピート、フレームスキップ、及びＮＧのいずれかが考えられる。この場合には、現在の出力映像フレームに対応するＳＴＣ情報をＳＴＣカウンタから取得する（ＳＴ４０８）。そして、取得したＳＴＣ値と期待値データとしてメモリ１８０上に展開している該当データ圧縮値に相当するＰＴＳ値とを比較する（ＳＴ４１０）。
【００２０】
この比較の結果として、ＳＴＣ値が１フレーム分早い場合、フレームスキップが発生していると判断し、メモリ１８０上に展開している期待値データを次フレームのデータとし（ＳＴ４１１）、再度、圧縮データと期待値データとの比較を行う（ＳＴ４０５）。また、比較（ＳＴ４１０）の結果として、ＳＴＣ値が１フレーム分遅い場合、フレームリピートが発生していると判断し、メモリ１８０上に展開している期待値データを前フレームのデータ圧縮値とし（ＳＴ４１２）、再度、圧縮データと期待値データとの比較を行う（ＳＴ４０５）。また、比較（ＳＴ４１０）の結果として、ＳＴＣ値とＰＴＳ値の差分が１フレーム以下の場合、スキップ又はリピート動作しておらず、期待値不一致が発生したと判断し、ＮＧと判定する（ＳＴ４１３）。
【００２１】
検証の対象となるストリームデータ全ての期待値照合が完了するまで（ＳＴ４０７：ＹＥＳ）、上記の処理を行う。
【００２２】
しかし、以上に説明した特許文献１に開示の技術は、期待値データを取得するために、ＡＶ同期制御をオフにした状態で、一度ストリームデータを入力する必要がある。そして、ＡＶ同期制御をＯＮにしてＡＶ同期制御を検証するときに、さらにもう一度、同一のストリームデータを入力する必要がある。
【００２３】
よって、特許文献１に開示の技術は、期待値データを作成するためのストリームデータと、ＡＶ同期制御の検証の対象となるストリームデータとを別々に入力する必要がある。そのため、期待値となるデータと、その期待値との比較対象となるデータとがまったく同じ映像又は音声に対応するものであることは具体的に保証されていないという問題がある。
【００２４】
また、特許文献１に開示の技術は、ＡＶ同期制御を検証するために、同一のストリームデータを複数回入力する必要があるという問題がある。そのため、リアルタイムで放送波が送出されている地域で、その放送波を使用した検証もすることができない。
【００２５】
特許文献２には、エンコーダＳＴＣの周波数と、再生された音声ＤＴＳと実施の音声デコーディングタイムの間の差と、再生された音声ＰＴＳと実際の音声プレゼンテーションタイムの間の差と、再生される映像ＤＴＳと実際の映像デコーディングタイムの間の差と、再生される映像ＰＴＳと実際の映像デコーディングタイムの間の差と、を計算して記憶し、それぞれの値を、検査の間または終了後の任意の時刻にリアルタイムで再検査する音声／映像同期の自動検査方法が開示されている。
【００２６】
しかし、特許文献２には、本願発明のように、期待値となるデータと、その期待値との比較対象となるデータとが同じ映像又は音声に対応するものであることを保証するための具体的な技術は開示されていない。
【先行技術文献】
【特許文献】
【００２７】
【特許文献１】特開２０１０−２７９０１４号公報
【特許文献２】特表２００６−５０９４０９号公報
【発明の概要】
【発明が解決しようとする課題】
【００２８】
背景技術として説明したように、特許文献１に開示の技術は、ストリームデータの同期検証を行う際に、期待値となるデータと、その期待値との比較対象となるデータとが、ストリームデータに含まれる同じユニットデータに対応するものであることが保証されていないという課題がある。
【課題を解決するための手段】
【００２９】
本発明の第１の態様にかかるストリームデータ処理装置は、複数のユニットデータと、各ユニットデータに対応づけられ、当該ユニットデータの再生出力時刻を示す時刻情報とを有するストリームデータを再生するストリームデータ処理装置であって、期待値記憶部と、前記ストリームデータに含まれるユニットデータのうち、出力準備されたユニットデータが格納されるデータ記憶部と、現在時刻をカウントする時刻カウント部と、前記データ記憶部に格納されたユニットデータに対応づけられた時刻情報が、前記時刻カウント部によってカウントされる現在時刻に一致したときに、当該ユニットデータを再生出力する再生出力部と、前記データ記憶部に前記ユニットデータが格納される前までに、当該ユニットデータ及びこれに対応する時刻情報をそれぞれ識別する第１のデータ識別情報及び第１の時刻識別情報を出力して前記期待値記憶部に格納する第１の情報出力部と、前記ユニットデータが再生出力されるときに、当該ユニットデータを識別する第２のデータ識別情報を出力する第２の情報出力部と、前記ユニットデータが再生出力されるときに、前記時刻カウント部の現在時刻を第２の時刻識別情報として取得するとともに、前記第２のデータ識別情報と同一のユニットデータを識別する第１のデータ識別情報に対応する第１の時刻識別情報を前記期待値記憶部から取得して、当該第２の時刻識別情報と、当該第１の時刻識別情報とが示す時刻の差が所定の範囲内であるか否かを検証する同期検証部と、を備えたものである。
【００３０】
本発明の第２の態様にかかるストリームデータの同期検証方法は、複数のユニットデータと、各ユニットデータに対応づけられ、当該ユニットデータの再生出力時刻を示す時刻情報とを有するストリームデータの同期検証方法であって、前記ユニットデータの出力準備をする前に、当該ユニットデータ及びこれに対応する時刻情報をそれぞれ識別する第１のデータ識別情報及び第１の時刻識別情報を期待値記憶部に格納し、前記出力準備されたユニットデータに対応づけられた時刻情報が、現在時刻をカウントする時刻カウント部がカウントする現在時刻に一致したときに、当該ユニットデータを再生出力し、前記ユニットデータが再生出力されるときに、当該ユニットデータを識別する第２のデータ識別情報を取得し、そのときの前記時刻カウント部の現在時刻を第２の時刻識別情報として取得し、前記第２のデータ識別情報と同一のユニットデータを識別する第１のデータ識別情報に対応する第１の時刻識別情報を前記期待値記憶部から取得して、当該第２の時刻識別情報と、当該第１の時刻識別情報とが示す時刻の差が所定の範囲内であるか否かを検証する、ものである。
【００３１】
上述した本発明の各態様によれば、ストリームデータに含まれるユニットデータが出力準備されるまでに、そのユニットデータの再生出力時刻の期待値となる第１の時刻識別情報を、そのユニットデータを識別する第１のデータ識別情報と対応付けて用意することができる。そのため、その出力準備されたユニットデータが再生出力されるときには、そのユニットデータを識別する第２のデータ識別情報に基づいて、そのユニットデータの再生出力時刻の期待値となる第１の時刻識別情報を特定して、そのユニットデータの実際の再生出力時刻となる第２の時刻識別情報と比較することができる。そのため、再生出力時刻の期待値を、ストリームデータにおいてその再生出力時刻の期待値が対応付けられていた復号データそのものの実際の再生出力時刻と比較することができる。
【発明の効果】
【００３２】
上述した本発明の各態様によれば、ストリームデータの同期検証を行う際に、期待値となるデータと、その期待値との比較対象となるデータとが、ストリームデータに含まれる同じユニットデータに対応するものであることを保証することができるストリームデータ処理装置およびストリームデータの同期検証方法を提供することができる。
【図面の簡単な説明】
【００３３】
【図１】本発明の実施の形態にかかるストリームデータ処理装置の構成図である。
【図２】本発明の実施の形態にかかるストリームデータ処理装置の処理を示すフローチャートである。
【図３】本発明の実施の形態にかかるストリームデータ処理装置の信号処理を示すフローチャートである。
【図４】本発明の実施の形態にかかるストリームデータ処理装置の出力処理を示すフローチャートである。
【図５】本発明の実施の形態にかかるストリームデータ処理装置の同期検証モード有効化時の処理を詳細に示すフローチャートである。
【図６】本発明の実施の形態にかかるストリームデータ処理装置のデータフロー図である。
【図７】特許文献１にかかるデジタル放送ＡＶシステムを示すシステム構成図である。
【図８】特許文献１にかかる同期処理検証の動作手順を示すフローチャートである。
【図９】特許文献１にかかる期待値を取得する工程の詳細な動作手順を示すフローチャートである。
【図１０】特許文献１にかかる圧縮データ同士を照合する工程の詳細な動作手順を示すフローチャートである。
【発明を実施するための形態】
【００３４】
本発明の実施の形態．
まず、図１を参照して、本発明の実施の形態にかかるストリームデータ処理装置の構成について説明する。図１は、本発明の実施の形態にかかるストリームデータ処理装置の構成図である。
【００３５】
ストリームデータ処理装置１０は、データ入力部２０、ＣＰＵ（Central Processing Unit）１１、内部バス１２、メモリ１３、ＰＴＳ読取部３０、ＳＴＣカウンタ４０、音声信号処理部５０、映像信号処理部６０、ＡＶ同期制御部７０、及びＡＶ同期検証部８０を有する。
【００３６】
ＣＰＵ１１は、各ブロックの制御をする。ＣＰＵ１１は、プログラムに従って、各部１３、３０、４０、５０、６０、７０の設定変更、起動、及び停止等の制御を行う。
内部バス１２は、各部１３、３０、４０、５０、６０、７０の間で相互に、各種情報を伝達する。
【００３７】
メモリ１３は、同期検証に必要なデータが保存される。ここで、メモリ１３として、メモリ以外の任意の記憶装置を使用してもよい。記憶装置として、例えば、メモリ以外にハードディスクを使用してもよい。メモリ１３は、期待値記憶部に相当する。
【００３８】
データ入力部２０は、ストリームデータから特定の符号データを分離して蓄積する。ここで、ストリームデータは、１フレーム当たりの映像を示す映像データと、１フレーム当たりの音声を示す音声データとが多重化されたデータである。このストリームデータに含まれる映像データ及び音声データのそれぞれは、符号化されている。以下、符号化された映像データ及び音声データのそれぞれを「符号データ」とも言い、復号化された映像データ及び音声データのそれぞれを「復号データ」とも言う。また、符号化された映像データを「映像符号データ」とも言い、符号化された音声データを「音声符号データ」とも言い、復号化された映像データを「映像復号データ」とも言い、復号化された音声データを「音声復号データ」とも言う。
【００３９】
ストリームデータにおいては、映像データ及び音声データのそれぞれに、ＰＴＳ値（Presentation Time Stamp：提示時刻情報）が付加されている。ストリームデータは、例えば、ＭＰＥＧ（Moving Picture Experts）規格におけるストリームデータである。この場合、ストリームデータは、映像データ又は音声データと、ＰＴＳ値とを含むパケットを有することになる。
【００４０】
データ入力部２０は、多重分離部２１、映像符号バッファ２２、及び音声符号バッファ２３を有する。
【００４１】
多重分離部２１は、受信機等（図示せず）で受信されたストリームデータから特定の符号データを分離し、映像符号バッファ２２及び音声符号バッファ２３にそれぞれ出力する。具体的には、多重分離部２１は、ストリームデータから映像データ及び音声データのそれぞれを分離して、分離した映像データを映像符号バッファ２２に格納し、分離した音声データを音声符号バッファ２３に格納する。そのとき、映像データ及び音声データのそれぞれに付加されていたＰＴＳ値もともに格納される。
【００４２】
映像符号バッファ２２及び音声符号バッファ２３は、分離した符号データが一時的に蓄積される。映像符号バッファ２２及び音声符号バッファ２３は、例えば、レジスタ又はメモリ等の任意の記憶装置である。
【００４３】
ＰＴＳ読取部３０は、復号する符号データのＰＴＳ値を読み取る。ＰＴＳ読取部３０は、内部バス１２を介して、映像符号バッファ２２及び音声符号バッファ２３に格納されたＰＴＳ値を取得して、ＡＶ同期制御部７０とメモリ１３に出力する。これによって、メモリ１３にＰＴＳ値が格納される。
【００４４】
ＳＴＣカウンタ４０は、ＳＴＣ値（System Time Clock：システム基準時刻情報）をカウントする。ＳＴＣカウンタ４０は、ストリームに付加されているＰＣＲ（Program Clock Reference）情報に同期するようにＣＰＵ１１によって制御されるカウンタである。ＳＴＣカウンタ４０は、ＳＴＣ値をＡＶ同期制御部７０とＡＶ同期検証部８０に出力する。ＳＴＣカウンタ４０は、時刻カウント部として機能する。
【００４５】
音声信号処理部５０は、音声符号データを復号して出力する。音声信号処理部５０は、音声信号復号部５１、復号データ圧縮部５２、デコードバッファ５３、出音処理部５４、及び出力データ圧縮部５５を有する。
【００４６】
音声信号復号部５１は、音声符号データを復号する。音声信号復号部５１は、ＡＶ同期制御部７０からの指示に応じて、フレーム単位で音声符号データを復号する。音声信号復号部５１は、音声符号データを復号した音声復号データをデコードバッファ５３に出力する。
【００４７】
復号データ圧縮部５２は、音声復号データの圧縮値を計算する。以下、音声復号データの圧縮値を「音声データ圧縮値」とも言う。復号データ圧縮部５２は、音声信号復号部５１からデコードバッファ５３に出力される音声復号データを読み取り、読み取った音声復号データを圧縮して音声データ圧縮値を生成する。復号データ圧縮部５２は、生成した音声データ圧縮値を、内部バス１２を介して出力してメモリ１３に格納する。
【００４８】
デコードバッファ５３は、音声信号復号部５１から出力された音声復号データを一時的に蓄積する。デコードバッファ５３は、例えば、レジスタ又はメモリ等の任意の記憶装置である。
【００４９】
出音処理部５４は、音声復号データの出音処理をする。出音処理部５４は、ＡＶ同期制御部７０からの指示に応じて、デコードバッファ５３に蓄積された音声復号データを読み取り、ストリームデータ処理装置１０の外部に出力する。
【００５０】
出力データ圧縮部５５は、音声復号データの圧縮値を計算する。出力データ圧縮部５５は、出音処理部５４からストリームデータ処理装置１０の外部に出力される音声復号データを読み取り、読み取った音声復号データを圧縮して音声データ圧縮値を生成する。出力データ圧縮部５５は、生成した音声データ圧縮値を、内部バス１２を介してＡＶ同期検証部８０に出力する。
【００５１】
ここで、復号データ圧縮部５２及び出力データ圧縮部５５は、同期検証を行うときにのみ、ＣＰＵ１１によって内部バス１２を介して有効化される。
【００５２】
映像信号処理部６０は、映像符号データを復号して出力する。映像信号処理部６０は、映像信号復号部６１、復号データ圧縮部６２、デコードバッファ６３、表示処理部６４、及び出力データ圧縮部６５を有する。
【００５３】
映像信号復号部６１は、映像符号データを復号する。映像信号復号部６１は、ＡＶ同期制御部７０からの指示に応じて、フレーム単位で映像符号データを復号する。映像信号復号部６１は、映像符号データを復号した映像復号データをデコードバッファ６３に出力する。
【００５４】
復号データ圧縮部６２は、映像復号データの圧縮値を計算する。以下、映像復号データの圧縮値を「映像データ圧縮値」とも言う。復号データ圧縮部６２は、映像信号復号部６１からデコードバッファ６３に出力される映像復号データを読み取り、読み取った映像復号データを圧縮して映像データ圧縮値を生成する。復号データ圧縮部６２は、生成した映像データ圧縮値を、内部バス１２を介して出力してメモリ１３に格納する。
【００５５】
デコードバッファ６３は、映像信号復号部６１から出力された映像復号データを一時的に蓄積する。デコードバッファ６３は、例えば、レジスタ又はメモリ等の任意の記憶装置である。
【００５６】
表示処理部６４は、映像復号データの出画処理をする。表示処理部６４は、ＡＶ同期制御部７０からの指示に応じて、デコードバッファ６３に蓄積された映像復号データを読み取り、ストリームデータ処理装置１０の外部に出力する。
【００５７】
出力データ圧縮部６５は、映像復号データの圧縮値を計算する。出力データ圧縮部６５は、表示処理部６４からストリームデータ処理装置１０の外部に出力される出力データを読み取り、読み取った映像復号データを圧縮して音声データ圧縮値を生成する。出力データ圧縮部６５は、生成した映像データ圧縮値を、内部バス１２を介してＡＶ同期検証部８０に出力する。
【００５８】
ここで、復号データ圧縮部６２及び出力データ圧縮部６５は、同期検証を行うときにのみ、ＣＰＵ１１によって内部バス１２を介して有効化される。ＰＴＳ読取部３０及び復号データ圧縮部５２、６２は、第１の情報出力部として機能する。出力データ圧縮部５５、６５は、第２の情報出力部として機能する。
【００５９】
ＡＶ同期制御部７０は、映像と音声が同期して再生されるように復号処理と出力処理を制御する。具体的には、ＡＶ同期制御部７０は、ＰＴＳ値とＳＴＣ値の差分が規定の範囲内に収まるように復号処理と出力処理を制御する。ＡＶ同期制御部７０は、ＳＴＣ値とＰＴＳ値を比較して、ＳＴＣ値がＰＴＳ値の時刻になった時点で、そのＰＴＳ値が付加された音声データ又は映像データに基づいた音声又は映像が出力されるように、音声信号処理部５０及び映像信号処理部６０を制御する。言い換えると、ＡＶ同期制御部７０は、ＳＴＣ値がＰＴＳ値の時刻になった時点で、そのＰＴＳ値が付加された音声データ又は映像データがストリームデータ処理装置１０の外部に出力されるように、音声信号処理部５０及び映像信号処理部６０を制御する。ＡＶ同期制御部７０は、再生出力部として機能する。
【００６０】
ＡＶ同期検証部８０は、ＡＶ同期検証を行う。具体的には、ＡＶ同期検証部８０は、ＰＴＳ値とＳＴＣ値の差分が規定の範囲内に収まっているか否かを検証する。具体的には、ＡＶ同期検証部８０は、ある映像データ又は音声データのストリームデータ処理装置１０の外部への出力が開始された時点のＳＴＣ値と、その映像データ又は音声データのＰＴＳ値とを比較して、ＰＴＳ値とＳＴＣ値の差分が規定の範囲内であるかを判定する。ＡＶ同期検証部８０は、判定結果をＣＰＵ１１に出力する。この規定の範囲は、予め任意に定めてよい。ＡＶ同期検証部８０は、同期検証部として機能する。
【００６１】
以上に説明したように、ストリームデータ処理装置１０は、映像データ及び音声データをストリームデータ処理装置１０の外部に出力する。つまり、ストリームデータ処理装置１０は、出音装置（図示せず）及び表示装置（図示せず）に接続される。出音装置は、例えば、スピーカーである。表示装置は、例えば、ＣＲＴ（Cathode Ray Tube）ディスプレイ、プラズマディスプレイ、液晶ディスプレイ及び有機ＥＬ（Electro Luminescence）ディスプレイ等である。
【００６２】
出音処理部５４からストリームデータ処理装置１０の外部に出力された音声データは、出音装置に入力される。出音装置は、入力された音声データに基づいて音声を出音する。また、表示処理部６４からストリームデータ処理装置１０の外部に出力された映像データは、表示装置に入力される。表示装置は、入力された映像データに基づいて映像を表示する。以下、本実施の形態では、このように、音声又は映像を出音又は表示するために、出音処理部５４又は表示処理部６４が、音声データ又は映像データをストリームデータ処理装置１０の外部に出力することを、再生出力と言う。
【００６３】
ストリームデータ処理装置１０は、例えば、光ディスクに記録されたストリームデータを再生するプレーヤーであってもよい。また、ストリームデータ処理装置１０は、例えば、出音装置及び表示装置を有し、ストリームデータを受信して再生する映像音声再生装置の一部に含まれていてもよい。映像音声再生装置は、例えば、デジタルテレビ又はテレビ電話等である。
【００６４】
続いて、図１〜図２を参照して、本発明の実施の形態にかかるストリームデータ処理装置１０の処理について説明する。図２は、本発明の実施の形態にかかるストリームデータ処理装置１０の処理を示すフローチャートである。
【００６５】
ＣＰＵ１１は、同期検証を行なうかを判定する（Ｓ１０）。同期検証を行うか否かは、例えば、ストリームデータ処理装置１０が有するスイッチ（図示せず）によって判定される。スイッチは、ユーザによって同期検証を行うか否かが選択される。スイッチは、選択内容を示す選択信号をＣＰＵ１１に出力する。この選択信号は、同期検証を行うか否かを示す。ＣＰＵ１１は、スイッチから出力された選択信号に基づいて、同期検証を行うか否かを判定する。
【００６６】
なお、同期検証を行うか否かを判定する方法は、これに限られない。ユーザインタフェースを介して入力された選択内容に基づいて判定するようにしてもよい。例えば、ストリームデータ処理装置１０がデジタルテレビに含まれている場合、表示装置が同期検証を行うか否かの選択表示を表示するようにして、入力装置（図示せず）によって、そのうちのいずれかを選択する入力を受けるようにしてもよい。入力装置は、例えば、リモートコントローラ又はデジタルテレビの操作ボタン等である。この場合、デジタルテレビがストリームデータ処理装置１０のＣＰＵ１１に対して選択内容を示す信号を入力する。つまり、ユーザが同期検証を行うか否かを選択する入力装置は、スイッチに限られない。
【００６７】
同期検証を行わないと判定した場合（Ｓ１０：ＮＯ）、ＣＰＵ１１は、同期検証モードを無効化する（Ｓ１１）。この場合、ＣＰＵ１１は、復号データ圧縮部５２、６２及び出力データ圧縮部５５、６５による圧縮値の計算機能と、ＡＶ同期検証部８０による同期検証機能とを無効化する。具体的には、ＣＰＵ１１は、同期検証機能の無効化を指示する指示信号を、復号データ圧縮部５２、６２、出力データ圧縮部５５、６５、及びＡＶ同期検証部８０に出力する。復号データ圧縮部５２、６２及び出力データ圧縮部５５、６５のそれぞれは、ＣＰＵ１１からの指示信号の出力に応じて、圧縮値の計算を行わないようにする。ＡＶ同期検証部８０は、ＣＰＵ１１からの指示信号の出力に応じて、同期検証を行わないようにする。
【００６８】
音声信号復号部５１及び映像信号復号部６１のそれぞれは、復号処理を行う（Ｓ１２）。具体的には、ＡＶ同期制御部７０は、音声符号データの復号を指示する復号指示信号を音声信号復号部５１に出力する。また、ＡＶ同期制御部７０は、映像符号データの復号を指示する復号指示信号を映像信号復号部６１に出力する。ＡＶ同期制御部７０は、ＳＴＣカウンタ４０から出力されているＳＴＣ値と、ＰＴＳ読取部３０から出力されたＰＴＳ値とが一致した時点で、そのＰＴＳ値が付加されていた音声復号データ又は映像復号データが再生出力可能な状態となっているように復号指示信号を出力する。よって、復号指示信号の出力タイミングは、例えば、ＳＴＣ値がＰＴＳ値となるまでの時間が所定の時間未満となったときとする。また、ＭＰＥＧ規格のように、音声データ又は映像データにＤＴＳ（Decoding Time Stamp）値が付加されている場合は、ＳＴＣ値とＤＴＳ値が一致したときに復号指示信号を出力するようにしてもよい。
【００６９】
音声信号復号部５１は、ＡＶ同期制御部７０からの復号指示信号の出力に応じて、音声符号バッファ２３から音声符号データを取得して復号する。音声信号復号部５１は、復号によって生成した音声復号データをデコードバッファ５３に蓄積する。また、映像信号復号部６１は、ＡＶ同期制御部７０からの復号指示信号の出力に応じて、映像符号バッファ２２から映像符号データを取得して復号する。映像信号復号部６１は、復号によって生成した映像復号データをデコードバッファ６３に蓄積する。
【００７０】
なお、音声信号復号部５１及び映像信号復号部６１のそれぞれは、例えば、復号データを再生順に並べてデコードバッファ５３、６３のそれぞれに格納する。復号データは、例えば、デコードバッファ５３、６３のアドレスの昇順又は降順等の所定の順序で並べられる。このようにすることで、出音処理部５４及び表示処理部６４のそれぞれが、ＡＶ同期制御部７０からの指示に応じて、並び順に復号データを取得することで、再生順に復号データを取得して再生出力可能とする。
【００７１】
出音処理部５４及び表示処理部６４のそれぞれは、出力処理を行う（Ｓ１３）。具体的には、ＡＶ同期制御部７０は、ＳＴＣカウンタ４０から出力されているＳＴＣ値と、音声信号復号部５１によって復号された音声符号データに付加されていたＰＴＳ値とが一致したときに、その音声符号データを復号した音声復号データの出力を指示する出力指示信号を出音処理部５４に出力する。また、ＡＶ同期制御部７０は、ＳＴＣカウンタ４０から出力されているＳＴＣ値と、映像信号復号部６１によって復号された映像符号データに付加されていたＰＴＳ値とが一致したときに、その映像符号データを復号した映像復号データの出力を指示する出力指示信号を表示処理部６４に出力する。
【００７２】
ここで、ＡＶ同期制御部７０は、例えば、ＰＴＳ読取部３０から出力されたＰＴＳ値がＳＴＣ値と一致するまでの間、そのＰＴＳ値を保持するレジスタ又はメモリ等の任意の記憶装置を有するようにして、ＳＴＣ値との比較を可能とする。
【００７３】
出音処理部５４は、ＡＶ同期制御部７０からの出力指示信号の出力に応じて、デコードバッファ５３から音声復号データを取得して、ストリームデータ処理装置１０の外部に出力する。表示処理部６４は、ＡＶ同期制御部７０からの出力指示信号の出力に応じて、デコードバッファ６３から映像復号データを取得して、ストリームデータ処理装置１０の外部に出力する。
【００７４】
以上に説明した処理によって、映像データ及び音声データのそれぞれが、それぞれに付加されたＰＴＳ値が示す時刻となったときに、同期して再生されるようにしている。
【００７５】
同期検証を行うと判定した場合（Ｓ１０：ＹＥＳ）、ＣＰＵ１１は、同期検証モードを有効化する（Ｓ２１）。この場合、ＣＰＵ１１は、復号データ圧縮部５２、６２及び出力データ圧縮部５５、６５による圧縮値の計算機能と、ＡＶ同期検証部８０による同期検証機能とを有効化する。具体的には、ＣＰＵ１１は、同期検証機能の有効化を指示する指示信号を、復号データ圧縮部５２、６２、出力データ圧縮部５５、６５、及びＡＶ同期検証部８０に出力する。復号データ圧縮部５２、６２及び出力データ圧縮部５５、６５のそれぞれは、ＣＰＵ１１からの指示信号の出力に応じて、圧縮値の計算を行うようにする。ＡＶ同期検証部８０は、ＣＰＵ１１からの指示信号の出力に応じて、同期検証を行うようにする。
【００７６】
音声信号復号部５１及び映像信号復号部６１のそれぞれは、復号処理を行う（Ｓ２２）。音声信号復号部５１及び映像信号復号部６１のそれぞれは、映像符号バッファ２２及び音声符号バッファ２３のそれぞれから取得した符号データを復号する。音声信号復号部５１及び映像信号復号部６１のそれぞれは、復号によって生成した復号データをデコードバッファ５３、６３のそれぞれに蓄積する。なお、音声信号復号部５１、映像信号復号部６１、及びＡＶ同期制御部７０の具体的な処理内容については、ステップＳ１２と同様であるため、説明を省略する。
【００７７】
さらに、同期検証モードの有効化時には、復号データのデコードバッファ５３、６３への蓄積時に、ＰＴＳ読取部３０が、映像符号バッファ２２及び音声符号バッファ２３から取得したＰＴＳ値を、内部バス１２を介してメモリ１３に蓄積する。また、同期検証モードの有効化時には、復号データ圧縮部５２は、音声信号復号部５１から出力されてデコードバッファ５３に格納される音声復号データを取得して、取得した音声復号データの音声データ圧縮値を生成する。復号データ圧縮部５２は、生成した音声データ圧縮値を、内部バス１２を介してメモリ１３に蓄積する。また、同期検証モードの有効化時には、復号データ圧縮部６２は、映像信号復号部６１から出力されたデコードバッファ６３に格納される映像復号データを取得して、取得した映像復号データの映像データ圧縮値を生成する。復号データ圧縮部６２は、生成した映像復号データの圧縮値を、内部バス１２を介してメモリ１３に蓄積する。
【００７８】
出音処理部５４及び表示処理部６４のそれぞれは、出力処理を行う（Ｓ２３）。出音処理部５４及び表示処理部６４のそれぞれは、デコードバッファ５３、６３から取得した復号データをストリームデータ処理装置１０の外部に出力する。なお、出音処理部５４、表示処理部６４、及びＡＶ同期制御部７０の具体的な処理内容については、ステップＳ１３と同様であるため、説明を省略する。
【００７９】
さらに、同期検証モードの有効化時には、出力データ圧縮部５５は、出音処理部５４からストリームデータ処理装置１０の外部に出力される音声復号データを取得して、取得した音声復号データの音声データ圧縮値を生成する。出力データ圧縮部５５は、生成した音声データ圧縮値をＡＶ同期検証部８０に出力する。また、同期検証モードの有効化時には、出力データ圧縮部６５は、表示処理部６４からストリームデータ処理装置１０の外部に出力される映像復号データを取得して、取得した映像復号データの映像データ圧縮値を生成する。出力データ圧縮部６５は、生成した映像データ圧縮値をＡＶ同期検証部８０に出力する。
【００８０】
ＡＶ同期検証部８０は、ステップＳ２２でメモリ１３に蓄積された圧縮値及びＰＴＳ値と、ステップＳ２３で出力データ圧縮部５５、６５から出力された圧縮値とを使用して同期検証処理を実施する（Ｓ２４）。
【００８１】
続いて、図３を参照して、本発明の実施の形態にかかるストリームデータ処理装置１０の同期検証モード有効化時の詳細な処理について説明する。図３は、本発明の実施の形態にかかるストリームデータ処理装置１０の同期検証モード有効化時の処理を詳細に示すフローチャートである。
【００８２】
まず、図３（ａ）を参照して、図２のステップＳ２２における復号処理を詳細に説明する。図３（ａ）は、図２のステップＳ２２における復号処理を詳細に示すフローチャートである。
【００８３】
音声信号復号部５１及び映像信号復号部６１のそれぞれは、フレームごとに符号データを復号して、復号データをデコードバッファ５３、６３のそれぞれに格納する（Ｓ３１）。
【００８４】
ＰＴＳ読取部３０は、その復号データに対応するＰＴＳ値を取得して、メモリ１３に格納する。言い換えると、ＰＴＳ読取部３０は、その復号データの復号前の符号データに付加されていたＰＴＳ値を取得して、メモリ１３に格納する。また、復号データ圧縮部５２、６２のそれぞれは、デコードバッファ５３、６３のそれぞれに格納される復号データの圧縮値を生成して、メモリ１３に格納する。（Ｓ３２）。ここで、メモリ１３には、復号データの圧縮値と、その復号データの復号前の符号データに付加されていたＰＴＳ値とが対応付けられて格納されるようにする。
【００８５】
なお、ここでの圧縮値とＰＴＳ値の格納方法は、復号データの圧縮値と、その復号データの復号前の符号データに付加されていたＰＴＳ値とを対応付けて格納するものであれば、どのような格納方法であってもよい。例えば、圧縮値とＰＴＳ値との組を１つのエントリとして、音声データ圧縮値及び映像データ圧縮値のそれぞれについて、複数のエントリをメモリ１３に用意する。そして、ＰＴＳ読取部３０は、音声データ圧縮値についての複数のエントリに、ＰＴＳ値を、そのＰＴＳ値が付加されていた音声データが再生順に並ぶように格納する。また、復号データ圧縮部５２も、音声データ圧縮値についての複数のエントリに、音声データ圧縮値を、その音声データ圧縮値を生成した音声データが再生順に並ぶように格納する。このとき、例えば、ＰＴＳ値及び音声データ圧縮値は、複数のエントリのエントリ番号順、もしくはメモリ１３におけるエントリのアドレスの昇順又は降順等の所定の順序で、再生順に並ぶようにメモリ１３に格納されるようにする。このようにすることで、ＰＴＳ読取部３０と復号データ圧縮部５２とが別々にＰＴＳ値及び音声データ圧縮値を格納しても、音声復号データの圧縮値と、その音声復号データの復号前の符号データに付加されていたＰＴＳ値とが、１つのエントリとして対応付けられて格納されるようにする。映像データ圧縮値についての複数のエントリに対しても、同様である。
【００８６】
続いて、図３（ｂ）を参照して、図２のステップＳ２３における出力処理を詳細に説明する。図３（ｂ）は、図２のステップＳ２３における出力処理を詳細に示すフローチャートである。
【００８７】
出音処理部５４及び表示処理部６４のそれぞれは、ＡＶ同期制御部７０から内部バス１２を介して出力指示信号が入力されたとき、デコードバッファ５３、６３のそれぞれから復号データを取得して、取得した復号データをストリームデータ処理装置１０の外部に出力する（Ｓ４１）。また、このとき、ＡＶ同期制御部７０は、出力指示信号を同時にＡＶ同期検証部８０にも出力する。
【００８８】
ＡＶ同期検証部８０は、復号データのストリームデータ処理装置１０の外部への出力開始時点のＳＴＣ値をＳＴＣカウンタ４０から取得する（Ｓ４２）。具体的には、ＡＶ同期検証部８０は、ＡＶ同期制御部７０からの出力指示信号の出力に応じて、ＳＴＣカウンタ４０から出力されたＳＴＣ値を取得する。
【００８９】
出力データ圧縮部５５、６５のそれぞれは、出音処理部５４及び表示処理部６４のそれぞれからストリームデータ処理装置１０の外部に出力された復号データの圧縮値を生成して、内部バス１２を介してＡＶ同期検証部８０に出力する。ＡＶ同期検証部８０は、出力データ圧縮部５５、６５のそれぞれから出力された圧縮値を取得する（Ｓ４３）。ＡＶ同期検証部８０は、例えば、ＳＴＣカウンタ４０から出力されたＳＴＣ値と、出音処理部５４又は表示処理部６４から出力された圧縮値とを取得したときに、同期検証処理を開始する。
【００９０】
ここで、復号データ圧縮部５２、６２及び出力データ圧縮部５５、６５によって生成する圧縮値は、例えば、ハッシュ値である。なお、圧縮値は、復号データを圧縮して、復号データよりもサイズが小さく、復号データを一意に識別することができるものであれば、ハッシュ値に限られない。例えば、ハッシュ値のように一方向性の関数によって生成したデータに限られず、復号データ自体を不可逆圧縮又は可逆圧縮した圧縮データを、圧縮値として生成するようにしてもよい。しかし、好ましくは、ハッシュ値のように一方向性の関数によって比較的簡単な演算で生成することができるデータを圧縮値とすることで、復号データ圧縮部５２、６２及び出力データ圧縮部５５、６５の構成を容易にすることができ、ストリームデータ処理装置１０のコストを低減することができる。
【００９１】
続いて、図３（ｃ）を参照して、図２のステップＳ２４における同期検証処理を詳細に説明する。図３（ｃ）は、図２のステップＳ２４における同期検証処理を詳細に示すフローチャートである。
【００９２】
ＡＶ同期検証部８０は、ステップＳ４３で取得した復号データの圧縮値と一致する復号データの圧縮値をメモリ１３から検索する。ＡＶ同期検証部８０は、検索した復号データの圧縮値に対応するＰＴＳ値をメモリ１３から取得して、取得したＰＴＳ値を次ステップＳ５２で比較するデータとする（Ｓ５１）。
【００９３】
ＡＶ同期検証部８０は、ステップＳ４２で取得したＳＴＣ値と、ステップＳ５１で取得したＰＴＳ値とを比較し、ＳＴＣ値とＰＴＳ値の差分が規定の範囲内であるかを判定する（Ｓ５２）。この範囲は、ユーザが任意の値を予め規定するようにしてよい。ＳＴＣ値とＰＴＳ値の差分が規定の範囲内であればステップＳ５３に進み、規定の範囲外であればステップＳ５４に進む。
【００９４】
ステップＳ５２で規定の範囲内であると判定した場合、ＡＶ同期検証部８０は、正常に同期しているとの判定結果をＣＰＵ１１に通知する（Ｓ５３）。具体的には、ＡＶ同期検証部８０は、正常に同期しているとの判定結果を示す判定結果情報をＣＰＵ１１に出力する。
【００９５】
ステップＳ５２で規定の範囲内ではないと判定した場合、ＡＶ同期検証部８０は、正常に同期できていないとの判定結果をＣＰＵ１１に通知する（Ｓ５４）。具体的には、ＡＶ同期検証部８０は、正常に同期していないとの判定結果を示す判定結果情報をＣＰＵ１１に出力する。ＣＰＵ１１は、正常に同期できていないとの判定結果の通知に応じて、任意の異常に応じた処理を実行するようにしてもよい。例えば、ＣＰＵ１１は、ユーザに異常を通知する映像を示す映像データを映像信号処理部６０に出力して、その映像を映像信号処理部６０によって表示装置に表示させる。
【００９６】
続いて、図４を参照して、本発明の実施の形態にかかる同期検証のメカニズムについて説明する。図４は、本発明の実施の形態にかかるストリームデータ処理装置１０のデータフロー図である。図４は、図３に示すフローチャートのステップＳ３１、Ｓ３２、Ｓ４３〜Ｓ４３、Ｓ５１、及びＳ５２におけるデータフローを示す図である。
【００９７】
映像符号バッファ２２及び音声符号バッファ２３に蓄積された符号データのそれぞれは、音声信号復号部５１又は映像信号復号部６１によって復号され（ＤＦ１）、デコードバッファ５３、６３に格納される（Ｓ３１）。図４の「ＰＴＳ１」〜「ＰＴＳ４」のそれぞれは、ＰＴＳ値を示す。図４の「符号Ａ」〜「符号Ｄ」のそれぞれは、「ＰＴＳ１」〜「ＰＴＳ４」のそれぞれに対応する符号データを示す。ＰＴＳ値に対応する符号データとは、そのＰＴＳ値が付加されている符号データのことである。図４の「データＡ」〜「データＤ」のそれぞれは、「符号Ａ」〜「符号Ｄ」のそれぞれを復号した復号データを示す。
【００９８】
復号データ圧縮部５２又は復号データ圧縮部６２は、「データＡ」〜「データＤ」ごとに復号データを圧縮して、圧縮値をメモリ１３に格納する。ＰＴＳ読取部３０は、「データＡ」〜「データＤ」のそれぞれに対応するＰＴＳ値を映像符号バッファ２２及び音声符号バッファ２３から取得してメモリ１３に格納する（Ｓ３２）。図４では、「データＡ」〜「データＤ」のそれぞれの復号データを圧縮した圧縮値を、「データＡ」〜「データＤ」のそれぞれに対応するＰＴＳ値（「ＰＴＳ１」〜「ＰＴＳ４」）とともにメモリ１３に格納した場合について例示している（ＤＦ２）。
【００９９】
図４では、「データＡ」の圧縮値が"４ｅｆ８１ａｂｃ"であり、「データＡ」が再生出力されるべき時刻が"ＰＴＳ：００：０１"であり、「データＢ」の圧縮値が"３７ｅ９８ｂａｃ"であり、「データＢ」が再生出力されるべき時刻が"ＰＴＳ：００：０２"であり、「データＣ」の圧縮値が"１ａｃ７１２ａｆ"であり、「データＣ」が再生出力されるべき時刻が"ＰＴＳ：００：０３"であり、「データＤ」の圧縮値が"９６２９ｄｅｂ２"であり、「データＤ」が再生出力されるべき時刻が"ＰＴＳ：００：０４"である場合について例示している。
【０１００】
出音処理部５４及び表示処理部６４は、デコードバッファ５３、６３に格納された復号データを、ストリームデータ処理装置１０の外部に出力する（Ｓ４１）。ここで、図４では、「データＢ」のＰＴＳ値に対してＳＴＣ値が先行していたため、ＡＶ同期制御部７０が、ＡＶ同期制御によって、「データＢ」の提示をスキップして、「データＣ」を提示した場合について例示している（ＤＦ３）。この場合、ＡＶ同期制御部７０は、復号データを１つスキップして出力するように指示する出力指示信号を出音処理部５４又は表示処理部６４に出力する。そして、出音処理部５４又は表示処理部６４は、その出力指示信号の出力に応じて、復号データを１つスキップした次の復号データをストリームデータ処理装置１０の外部に出力するようにする。例えば、上述したように、デコードバッファ５３、６３のそれぞれに復号データが再生順に並んでいる場合、出音処理部５４又は表示処理部６４は、１つとばして復号データを取得するようにすることで、復号データを１つスキップした次の復号データを再生出力することができる。
【０１０１】
ＡＶ同期検証部８０は、復号データのストリームデータ処理装置１０の外部への出力開始時点のＳＴＣ値を取得する（Ｓ４２）。出力データ圧縮部５５、６５は、ストリームデータ処理装置１０の外部に出力される復号データを圧縮して、圧縮された圧縮値をＡＶ同期検証部８０に出力する（Ｓ４３）。図４では、ＡＶ同期検証部８０がＳＴＣ値"ＳＴＣ：００：０３"を取得し（ＤＦ４）、ＡＶ同期検証部８０に復号データの圧縮値"１ａｃ７１２ａｆ"が出力された（ＤＦ５）ときについて例示している。つまり、「データＣ」が再生出力された場合について例示している。
【０１０２】
ＡＶ同期検証部８０は、ステップＳ４３で取得した復号データの圧縮値"１ａｃ７１２ａｆ"と一致する復号データの圧縮値をメモリ１３から検索する。ＡＶ同期検証部８０は、検索した復号データの圧縮値"１ａｃ７１２ａｆ"に対応するＰＴＳ値"ＰＴＣ：００：０３"と、ステップＳ４２で取得したＳＴＣ値"ＳＴＣ：００：０３"とを、次ステップで比較するデータとする（Ｓ５１）。このように、本実施の形態では、同期検証のために比較すべきＰＴＳ値と、ＳＴＣ値とを、復号データの圧縮値によって関連付けることができる。
【０１０３】
ステップＳ４２で取得したＳＴＣ値と、ステップＳ５１で取得したＰＴＳ値とを比較して、ＳＴＣ値とＰＴＳ値との差分が規定の範囲内であるか否かを判定する（Ｓ５２）。具体的には、「データＣ」の復号データの再生出力時刻の期待値となるＰＴＳ値"ＰＴＳ：００：０３"と、その「データＣ」の復号データがストリームデータ処理装置１０の外部に実際に出力された時点のＳＴＣ値"ＳＴＣ：００：０３"とがＡＶ同期検証部８０によって比較されて、規定の範囲内であるか否かが判定される（ＤＦ６）。図４で例示したように、ＰＴＳ値とＳＴＣ値とがともに時刻"００：０３"を示し、相互に一致している場合は、期待した時刻に同期して復号データが再生出力されたことになる。
【０１０４】
このように、本実施の形態では、復号データに付加されたＰＴＳ値をその復号データの再生出力時刻の期待値として、その復号データの圧縮値と対応付けて保持するようにしている。そのため、復号データが再生出力されるときに、実際に再生出力される復号データの圧縮値から、その復号データの再生出力時刻の期待値となるＰＴＳ値を特定することができる。言い換えると、復号データの圧縮値によって、その復号データの実際の再生出力時刻を示すＳＴＣ値と、その復号データの再生出力時刻の期待値とを関連付けて、それぞれを比較可能としている。これによれば、復号データの再生出力時刻の期待値となるＰＴＳ値と、その復号データの実際の再生出力時刻を示すＳＴＣ値とを比較して、実際に再生出力される映像データ又は音声データが正しい時刻に出力再生されているか否かを同期検証することができる。
【０１０５】
本発明の他の実施の形態．
上述した実施の形態では、ＳＴＣ値とＰＴＳ値とを関連付けるデータとして、復号データの圧縮値を使用した場合について例示したが、復号データを識別するデータであれば、これに限られない。
【０１０６】
例えば、図５に示すように、ＳＴＣ値とＰＴＳ値とを関連付けるデータとして、復号データを使用するようにしてもよい。この場合、図５に示すように、ストリームデータ処理装置１０は、復号データ圧縮部５２、６２及び出力データ圧縮部５５、６５を有さない。
【０１０７】
復号データ圧縮部５２、６２が復号データの圧縮値をメモリ１３に格納するのに代えて、音声信号復号部５１及び映像信号復号部６１のそれぞれが、デコードバッファ５３、６３のそれぞれに格納する復号データを、メモリ１３にも格納するようにする。また、出力データ符号部５６、６６が復号データの圧縮値をＡＶ同期検証部８０に出力するのに代えて、出音処理部５４及び表示処理部６４のそれぞれが、ストリームデータ処理装置１０の外部に出力する復号データを、ＡＶ同期検証部８０にも出力するようにする。
【０１０８】
そして、ＡＶ同期検証部８０は、出音処理部５４及び表示処理部６４のそれぞれから出力された復号データと一致する復号データをメモリ１３から検索する。ＡＶ同期検証部８０は、検索した復号データに対応するＰＴＳ値をメモリ１３から取得して、取得したＰＴＳ値をＳＴＣ値と比較するデータとする。
【０１０９】
また、例えば、図６に示すように、ＳＴＣ値とＰＴＳ値とを関連付けるデータとして、符号データを使用するようにしてもよい。この場合、図６に示すように、ストリームデータ処理装置１０は、復号データ圧縮部５２、６２及び出力データ圧縮部５５、６５を有さず、復号データを再度符号化する出力データ符号部５６、６６のそれぞれを、音声信号処理部５０及び映像信号処理部６０のそれぞれに有するようにする。
【０１１０】
復号データ圧縮部５２、６２が復号データの圧縮値をメモリ１３に格納するのに代えて、音声信号復号部５１及び映像信号復号部６１のそれぞれで復号する前の符号データを、メモリ１３に格納するようにする。また、出力データ符号部５６、６６が復号データの圧縮値をＡＶ同期検証部８０に出力するのに代えて、出力データ符号部５６、６６のそれぞれが、ストリームデータ処理装置１０の外部に出力する復号データを再度符号化して、符号データを生成してＡＶ同期検証部８０に出力するようにする。ここでの符号化規則は、ストリームデータに含まれている符号データの符号化規則と同一であるものとする。
【０１１１】
ここで、符号データのメモリ１３への格納は、音声信号復号部５１及び映像信号復号部６１のそれぞれが、復号するために取得した符号データをメモリ１３に格納することによって実施してもよく、ＡＶ同期制御部７０が、音声信号復号部５１又は映像信号復号部６１に復号を指示したときに、復号を指示した符号データを映像符号バッファ２２又は音声符号バッファ２３から取得してメモリ１３に格納することによって実施するようにしてもよい。
【０１１２】
そして、ＡＶ同期検証部８０は、出力データ符号部５６、６６のそれぞれから出力された符号データと一致する符合データをメモリ１３から検索する。ＡＶ同期検証部８０は、検索した復号データに対応するＰＴＳ値をメモリ１３から取得して、取得したＰＴＳ値をＳＴＣ値と比較するデータとする。
【０１１３】
以上に説明したように、ＳＴＣ値とＰＴＳ値とを関連付けるデータとして、復号データの圧縮値に代えて、復号データを識別するデータであれば、復号データ又は符号データ等も使用することもできる。
【０１１４】
また、上述した実施の形態では、復号データの実際の再生出力時刻と、その復号データの再生出力時刻の期待値とが、ＳＴＣ値とＰＴＳ値とで関連付けられるようにしている場合について例示しているが、両者が比較可能な程度に再生出力時刻を識別することができるデータであれば、ＳＴＣ値及びＰＴＳ値そのものに限られない。例えば、ＳＴＣ値及びＰＴＳ値に基づいて、再生出力時刻をＳＴＣ値及びＰＴＳ値とは異なるフォーマット又はビット数で示すデータを生成して関連付けるようにしてもよい。
【０１１５】
以上に説明したように、本実施の形態では、出力準備された復号データが格納されるデコードバッファ５３、６３に、復号データが格納される前までに、その復号データ及びこれに対応するＰＴＳ値をそれぞれ識別する第１のデータ識別情報及び第１の時刻識別情報を出力してメモリ１３に格納するようにしている。また、出力準備された復号データが再生出力されるときに、その復号データを識別する第２のデータ識別情報をＡＶ同期制御部７０に出力するようにしている。ＡＶ同期制御部７０は、復号データが再生出力されるときに、ＳＴＣカウンタ４０のＳＴＣ値を第２の時刻識別情報として取得するとともに、第２のデータ識別情報と同一の復号データを識別する第１のデータ識別情報に対応する第１の時刻識別情報をメモリ１３から取得して、第２の時刻識別情報と、第１の時刻識別情報とが示す時刻の差が所定の範囲内であるか否かを検証するようにしている。
【０１１６】
これによれば、ストリームデータに含まれる符号データが復号データとして出力準備されるまでに、その復号データの再生出力時刻の期待値となる第１の時刻識別情報を、その復号データを識別する第１のデータ識別情報と対応付けて用意することができる。そのため、その出力準備された復号データが再生出力されるときには、その復号データを識別する第２のデータ識別情報に基づいて、その復号データの再生出力時刻の期待値となる第１の時刻識別情報を特定して、その復号データの実際の再生出力時刻となる第２の時刻識別情報と比較することができる。
【０１１７】
つまり、復号データが再生出力されるまでの一連の流れの中で、その復号データに対して再生出力時刻の期待値を用意し、その復号データの実際の再生出力時刻と比較するようにしている。そのため、再生出力時刻の期待値を、ストリームデータにおいてその再生出力時刻の期待値が対応付けられていた復号データそのものの実際の再生出力時刻と比較することができる。よって、期待値となるデータと、その期待値との比較対象となるデータとが、まったく同じ復号データに対応するものであることを保証することができる。
【０１１８】
また、一度ストリームデータを入力するのみで、その復号データが再生出力されるときの現在時刻を識別する第２の時刻識別情報と、その復号データの再生出力時刻の期待値となる第１の時刻識別情報とを比較して、同期検証をすることができる。
【０１１９】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
【０１２０】
本実施の形態では、圧縮値をメモリ１３に蓄積しているが、復号データ圧縮部５２、６２及び出力データ圧縮部５５、６５のそれぞれの内部に保持させるようにしてもよい。この場合、例えば、ＰＴＳ読取部３０が、ＡＶ同期制御部７０によって復号が指示された復号データに付加されたＰＴＳ値を、復号データ圧縮部５２、６２及び出力データ圧縮部５５、６５のそれぞれに出力するようにして、復号データ圧縮部５２、６２及び出力データ圧縮部５５、６５のそれぞれが、圧縮値とＰＴＳ値とを対応付けて保持するようにする。また、ＡＶ同期検証部８０が圧縮値を比較するようにしているが、ＣＰＵ１１で圧縮値を比較するようにしてもよい。
【０１２１】
本実施の形態では、映像データ及び音声データが多重化されたストリームデータを処理する場合について例示したが、これに限られない。例えば、映像データ及び音声データのうち、いずれか１つが多重化されたストリームデータに対して処理を行うようにしてもよい。この場合、ストリームデータ処理装置１０は、音声信号処理部５０及び映像信号処理部６０のうち、いずれか１つを有するようにしてもよい。
【０１２２】
復号データに、高画質化処理やサラウンド処理等のフィルタ処理を施してストリームデータ処理装置１０の外部に出力する場合には、復号データの圧縮値と出力データの圧縮値が異なるものとなってしまう。この場合、予め同期制御を無効化して再生することで、復号データ圧縮部５２、６２及び出力データ圧縮部５５及び５６が、復号データの圧縮値と、フィルタ処理を施した出力データの圧縮値とを１対１に関連付けてメモリ１３に格納しておくようにしてもよい。そして、同期制御を有効化して再生した場合に、ＡＶ同期検証部８０が、出力データの圧縮値から対応する復号データの圧縮値を検索することを可能として、上述した本発明の実施の形態を適用可能とすることができる。
【符号の説明】
【０１２３】
１０ ストリームデータ処理装置
１１ ＣＰＵ
１２ 内部バス
１３ メモリ
２０、１１０ データ入力部
２１、１１１ 多重分離部
２２、１１２ 映像符号バッファ
２３ 音声符号バッファ
３０、１２０ ＰＴＳ読取部
４０、１３０ ＳＴＣカウンタ
５０、１５０ 音声信号処理部
５１、１５１ 音声信号復号部
５２、６２ 復号データ圧縮部
５３、６３ デコードバッファ
５４ 出音処理部
５５、６５ 出力データ圧縮部
５６、６６ 出力データ符号部
６０、１６０ 映像信号処理部
６１、１６１ 映像信号復号部
６４ 表示処理部
７０、１４０ ＡＶ同期制御部
８０、１７０ ＡＶ同期検証部
１００ デジタル放送ＡＶシステム
１１２ 映像バッファ
１１３ 音声バッファ
１５２、１６２ データ圧縮部
１６２ データ圧縮部
１８０ メモリ
２００ 記憶媒体
【特許請求の範囲】
【請求項１】
複数のユニットデータと、各ユニットデータに対応づけられ、当該ユニットデータの再生出力時刻を示す時刻情報とを有するストリームデータを再生するストリームデータ処理装置であって、
期待値記憶部と、
前記ストリームデータに含まれるユニットデータのうち、出力準備されたユニットデータが格納されるデータ記憶部と、
現在時刻をカウントする時刻カウント部と、
前記データ記憶部に格納されたユニットデータに対応づけられた時刻情報が、前記時刻カウント部によってカウントされる現在時刻に一致したときに、当該ユニットデータを再生出力する再生出力部と、
前記データ記憶部に前記ユニットデータが格納される前までに、当該ユニットデータ及びこれに対応する時刻情報をそれぞれ識別する第１のデータ識別情報及び第１の時刻識別情報を出力して前記期待値記憶部に格納する第１の情報出力部と、
前記ユニットデータが再生出力されるときに、当該ユニットデータを識別する第２のデータ識別情報を出力する第２の情報出力部と、
前記ユニットデータが再生出力されるときに、前記時刻カウント部の現在時刻を第２の時刻識別情報として取得するとともに、前記第２のデータ識別情報と同一のユニットデータを識別する第１のデータ識別情報に対応する第１の時刻識別情報を前記期待値記憶部から取得して、当該第２の時刻識別情報と、当該第１の時刻識別情報とが示す時刻の差が所定の範囲内であるか否かを検証する同期検証部と、
を備えたストリームデータ処理装置。
【請求項２】
前記ストリームデータ処理装置は、前記時刻カウント部によってカウントされる現在時刻が、前記時刻情報が示す再生出力時刻となったときに、通知信号を前記再生出力部及び前記同期検証部に出力する同期制御部を備え、
前記再生出力部は、前記同期制御部からの通知信号の出力に応じて、前記ユニットデータを再生出力し、
前記同期検証部は、前記同期制御部からの通知信号の出力に応じて、前記時刻カウント部から前記現在時刻を前記第２の時刻識別情報として取得する、
請求項１に記載のストリームデータ処理装置。
【請求項３】
外部からの指示に基づき前記検証を有効にするか否かを判定し、前記検証を有効にすると判定した場合に、前記第１の情報出力部、前記第２の情報出力部、及び前記同期検証部を動作させ、前記検証を有効にしないと判定した場合に、前記第１の情報出力部、前記第２の情報出力部、及び前記同期検証部の動作を抑止する制御部を備えた、
請求項１又は２に記載のストリームデータ処理装置。
【請求項４】
前記ストリームデータに含まれる各ユニットデータは、エンコードされたエンコードデータであり、
前記エンコードデータをデコードしてデコードデータとして前記データ記憶部に格納するデコード部をさらに備えた、
請求項１乃至３のいずれか１項に記載のストリームデータ処理装置。
【請求項５】
前記第１の情報出力部は、前記第１の識別情報として、前記ユニットデータを圧縮して第１の圧縮値を生成し、
前記第２の情報出力部は、前記第２の識別情報として、前記ユニットデータを前記第１の圧縮値と同一規則で圧縮して第２の圧縮値を生成する、
請求項１乃至４のいずれか１項に記載のストリームデータ処理装置。
【請求項６】
前記第１の圧縮値及び前記第２の圧縮値は、ハッシュ値である、
請求項５に記載のストリームデータ処理装置。
【請求項７】
前記ストリームデータの各ユニットデータは、音声データ又は映像データであって、
前記第１の情報出力部、前記第２の情報出力部、及び前記同期検証部を有し、前記音声データ及び前記映像データのうち、前記音声データを処理する音声処理部と、
前記第１の情報出力部、前記第２の情報出力部、及び前記同期検証部を有し、前記音声データ及び前記映像データのうち、前記映像データを処理する映像処理部と、をさらに備えた、
請求項１乃至６のいずれか１項に記載のストリームデータ処理装置。
【請求項８】
前記ストリームデータを、前記映像データと前記音声データとに分離する分離部と、
前記分離部により分離された前記音声データが格納される音声バッファと、
前記分離部により分離された前記映像データが格納される映像バッファと、
を備え、
前記音声処理部は、前記音声バッファから前記音声データを取得し、
前記映像処理部は、前記映像バッファから前記映像データを取得する、
請求項７に記載のストリームデータ処理装置。
【請求項９】
前記時刻情報は、ＰＴＳ（Presentation Time Stamp）値であり、
前記時刻カウント部は、ＳＴＣ（System Time Clock）値をカウントするＳＴＣカウンタである、
請求項１乃至９のいずれか１項に記載のストリームデータ処理装置。
【請求項１０】
複数のユニットデータと、各ユニットデータに対応づけられ、当該ユニットデータの再生出力時刻を示す時刻情報とを有するストリームデータの同期検証方法であって、
前記ユニットデータの出力準備をする前に、当該ユニットデータ及びこれに対応する時刻情報をそれぞれ識別する第１のデータ識別情報及び第１の時刻識別情報を期待値記憶部に格納し、
前記出力準備されたユニットデータに対応づけられた時刻情報が、現在時刻をカウントする時刻カウント部がカウントする現在時刻に一致したときに、当該ユニットデータを再生出力し、
前記ユニットデータが再生出力されるときに、当該ユニットデータを識別する第２のデータ識別情報を取得し、そのときの前記時刻カウント部の現在時刻を第２の時刻識別情報として取得し、前記第２のデータ識別情報と同一のユニットデータを識別する第１のデータ識別情報に対応する第１の時刻識別情報を前記期待値記憶部から取得して、当該第２の時刻識別情報と、当該第１の時刻識別情報とが示す時刻の差が所定の範囲内であるか否かを検証する、
ストリームデータの同期検証方法。
【請求項１】
複数のユニットデータと、各ユニットデータに対応づけられ、当該ユニットデータの再生出力時刻を示す時刻情報とを有するストリームデータを再生するストリームデータ処理装置であって、
期待値記憶部と、
前記ストリームデータに含まれるユニットデータのうち、出力準備されたユニットデータが格納されるデータ記憶部と、
現在時刻をカウントする時刻カウント部と、
前記データ記憶部に格納されたユニットデータに対応づけられた時刻情報が、前記時刻カウント部によってカウントされる現在時刻に一致したときに、当該ユニットデータを再生出力する再生出力部と、
前記データ記憶部に前記ユニットデータが格納される前までに、当該ユニットデータ及びこれに対応する時刻情報をそれぞれ識別する第１のデータ識別情報及び第１の時刻識別情報を出力して前記期待値記憶部に格納する第１の情報出力部と、
前記ユニットデータが再生出力されるときに、当該ユニットデータを識別する第２のデータ識別情報を出力する第２の情報出力部と、
前記ユニットデータが再生出力されるときに、前記時刻カウント部の現在時刻を第２の時刻識別情報として取得するとともに、前記第２のデータ識別情報と同一のユニットデータを識別する第１のデータ識別情報に対応する第１の時刻識別情報を前記期待値記憶部から取得して、当該第２の時刻識別情報と、当該第１の時刻識別情報とが示す時刻の差が所定の範囲内であるか否かを検証する同期検証部と、
を備えたストリームデータ処理装置。
【請求項２】
前記ストリームデータ処理装置は、前記時刻カウント部によってカウントされる現在時刻が、前記時刻情報が示す再生出力時刻となったときに、通知信号を前記再生出力部及び前記同期検証部に出力する同期制御部を備え、
前記再生出力部は、前記同期制御部からの通知信号の出力に応じて、前記ユニットデータを再生出力し、
前記同期検証部は、前記同期制御部からの通知信号の出力に応じて、前記時刻カウント部から前記現在時刻を前記第２の時刻識別情報として取得する、
請求項１に記載のストリームデータ処理装置。
【請求項３】
外部からの指示に基づき前記検証を有効にするか否かを判定し、前記検証を有効にすると判定した場合に、前記第１の情報出力部、前記第２の情報出力部、及び前記同期検証部を動作させ、前記検証を有効にしないと判定した場合に、前記第１の情報出力部、前記第２の情報出力部、及び前記同期検証部の動作を抑止する制御部を備えた、
請求項１又は２に記載のストリームデータ処理装置。
【請求項４】
前記ストリームデータに含まれる各ユニットデータは、エンコードされたエンコードデータであり、
前記エンコードデータをデコードしてデコードデータとして前記データ記憶部に格納するデコード部をさらに備えた、
請求項１乃至３のいずれか１項に記載のストリームデータ処理装置。
【請求項５】
前記第１の情報出力部は、前記第１の識別情報として、前記ユニットデータを圧縮して第１の圧縮値を生成し、
前記第２の情報出力部は、前記第２の識別情報として、前記ユニットデータを前記第１の圧縮値と同一規則で圧縮して第２の圧縮値を生成する、
請求項１乃至４のいずれか１項に記載のストリームデータ処理装置。
【請求項６】
前記第１の圧縮値及び前記第２の圧縮値は、ハッシュ値である、
請求項５に記載のストリームデータ処理装置。
【請求項７】
前記ストリームデータの各ユニットデータは、音声データ又は映像データであって、
前記第１の情報出力部、前記第２の情報出力部、及び前記同期検証部を有し、前記音声データ及び前記映像データのうち、前記音声データを処理する音声処理部と、
前記第１の情報出力部、前記第２の情報出力部、及び前記同期検証部を有し、前記音声データ及び前記映像データのうち、前記映像データを処理する映像処理部と、をさらに備えた、
請求項１乃至６のいずれか１項に記載のストリームデータ処理装置。
【請求項８】
前記ストリームデータを、前記映像データと前記音声データとに分離する分離部と、
前記分離部により分離された前記音声データが格納される音声バッファと、
前記分離部により分離された前記映像データが格納される映像バッファと、
を備え、
前記音声処理部は、前記音声バッファから前記音声データを取得し、
前記映像処理部は、前記映像バッファから前記映像データを取得する、
請求項７に記載のストリームデータ処理装置。
【請求項９】
前記時刻情報は、ＰＴＳ（Presentation Time Stamp）値であり、
前記時刻カウント部は、ＳＴＣ（System Time Clock）値をカウントするＳＴＣカウンタである、
請求項１乃至９のいずれか１項に記載のストリームデータ処理装置。
【請求項１０】
複数のユニットデータと、各ユニットデータに対応づけられ、当該ユニットデータの再生出力時刻を示す時刻情報とを有するストリームデータの同期検証方法であって、
前記ユニットデータの出力準備をする前に、当該ユニットデータ及びこれに対応する時刻情報をそれぞれ識別する第１のデータ識別情報及び第１の時刻識別情報を期待値記憶部に格納し、
前記出力準備されたユニットデータに対応づけられた時刻情報が、現在時刻をカウントする時刻カウント部がカウントする現在時刻に一致したときに、当該ユニットデータを再生出力し、
前記ユニットデータが再生出力されるときに、当該ユニットデータを識別する第２のデータ識別情報を取得し、そのときの前記時刻カウント部の現在時刻を第２の時刻識別情報として取得し、前記第２のデータ識別情報と同一のユニットデータを識別する第１のデータ識別情報に対応する第１の時刻識別情報を前記期待値記憶部から取得して、当該第２の時刻識別情報と、当該第１の時刻識別情報とが示す時刻の差が所定の範囲内であるか否かを検証する、
ストリームデータの同期検証方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−２３１２５０（Ｐ２０１２−２３１２５０Ａ）
【公開日】平成２４年１１月２２日（２０１２．１１．２２）
【国際特許分類】
【出願番号】特願２０１１−９７４４４（Ｐ２０１１−９７４４４）
【出願日】平成２３年４月２５日（２０１１．４．２５）
【出願人】（３０２０６２９３１）ルネサスエレクトロニクス株式会社 (8,021)
【Ｆターム（参考）】
【公開日】平成２４年１１月２２日（２０１２．１１．２２）
【国際特許分類】
【出願日】平成２３年４月２５日（２０１１．４．２５）
【出願人】（３０２０６２９３１）ルネサスエレクトロニクス株式会社 (8,021)
【Ｆターム（参考）】
[ Back to top ]