同期再生装置
【課題】映像再生装置と音声再生装置が別々にネットワークに接続されているようなシステム構成の下、映像と音声の同期を可能とする。
【解決手段】音声再生装置３側に設けられ、コンテンツデータの音声をデコードするデコーダ３６と、デコーダ３６によるデコードのタイミングを制御する音声側クロック信号を、ネットワーク４を通じて映像再生装置２側に送信する同期制御部３２と、映像再生装置２側に設けられ、コンテンツデータの映像をデコードするデコーダ２６と、映像再生装置２側に設けられ、音声再生装置３側から送信された音声側クロック信号に応じて、デコーダ２６によるデコードのカウント値を調整する同期制御部２２とを備える。
【解決手段】音声再生装置３側に設けられ、コンテンツデータの音声をデコードするデコーダ３６と、デコーダ３６によるデコードのタイミングを制御する音声側クロック信号を、ネットワーク４を通じて映像再生装置２側に送信する同期制御部３２と、映像再生装置２側に設けられ、コンテンツデータの映像をデコードするデコーダ２６と、映像再生装置２側に設けられ、音声再生装置３側から送信された音声側クロック信号に応じて、デコーダ２６によるデコードのカウント値を調整する同期制御部２２とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ネットワーク上にある別々の映像再生装置と音声再生装置を使って映像と音声とが組み合わされたストリームを再生する場合に、映像と音声との同期を取る同期再生装置に関する。
【背景技術】
【０００２】
近年にあっては、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）などのデジタル圧縮技術により高品位な映像と音声を少ないデータ量で保存したり、限られた帯域のネットワーク通信路を介して伝送するといったことが可能になってきている。
【０００３】
また、一般家庭においては、Ｅｔｈｅｒｎｅｔ（登録商標）等の普及により、特別な設備を導入せずとも手軽にネットワークが構築できる環境になっている。
上記のような背景からＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を経由した映像や音楽の視聴といった利用のされ方が増えつつある。
【０００４】
ところで、ＬＡＮを経由してサーバーに蓄積されたコンテンツを視聴しようとした場合、一般的には、再生装置において、ある程度サーバーからのＭＰＥＧデータを受信バッファに蓄積した後、デコーダのクロックを基準にＭＰＥＧデコードとデコード結果の出力を行い、バッファが少なくなるとクライアントである再生装置側からサーバーへＭＰＥＧデータを取りに行き、受信バッファへ補充するということを繰り返す。
【０００５】
従来こういったネットワーク経由での視聴は、映像と音声がマルチプレックスされたストリームを単一の再生装置で受信し再生するか、又はＲＴＰ（ＲｅａＩ−ｔｉｍｅＴｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）に代表されるような音声と映像が別々に伝送されるストリームを映像と音声を同時にデコードできる単一の再生装置で受信し再生する構成が主流であった（例えば、特許文献１）。
【特許文献１】特開２００５−１０２１９２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した特許文献１に開示された従来の装置では、映像と音声がマルチプレックスされたストリームでありながらも、単一の再生装置で映像と音声を再生する構成であることから、映像と音声との両方をデコードできる能力が必要となる。一般的なＭＰＥＧ２等の符号化方式で符号化された映像音声であればこのような装置でも問題はない。しかし、近年は、符号化技術の向上により多様な圧縮方式が開発されており、特に音声に関しては、ＭＰＥＧ２の他、ＭＰ３（ＭＰＥＧ Ａｕｄｉｏ Ｌａｙｅｒ−３）、ＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）、ＡＣ−３（Ａｕｄｉｏ Ｃｏｄｅ ｎｕｍｂｅｒ ３）（登録商標）等多くの符号化方式が存在する。したがって、単一の再生装置に、上記したような多様な符号化方式で符号化された音声をデコードする能力がないと、映像は再生できるが音声は再生されないといったケースが生じてしまう場合がある。
【０００７】
また、単一の再生装置が音声をデコードする能力を有していたとしても、デコード後のアナログ的な性能の面で、より高音質な音声再生を実現できる音声再生装置をユーザーが所有していた場合、音声はこの音声再生装置で再生したいというニーズもある。
【０００８】
上記のような問題を解決する一手法として、ＬＡＮなどのネットワークを経由して音声のデータを音声再生装置に供給し、単一の再生装置（映像再生装置）では映像を再生し、音声は音声再生装置で再生する方法が考えられる。
このような手法を実現する場合、映像と音声の同期を取らなければならないという課題が発生する。
【０００９】
すなわち、従来、ＬＡＮなどのネットワークを経由して、映像と音声を別々の機器で受信し再生した場合、受信の際のバッファ量の違いによる遅延時間の違いとデコーダ内での遅延時間が個別のデコーダに依存することから同時にスタートしても同期関係は、全く保障されていなかった。
【００１０】
また、従来の装置では、それぞれの再生装置でそれぞれのクロック発信器に従って各々デコードされるため、再生クロック自体がエンコーダ側のクロックと同期しておらず、各デコーダにおけるクロック発信器の誤差分だけ徐々に映像と音声のズレが発生していってしまうという課題があった。
【００１１】
そこで、本発明は、上記課題を解決するものであり、映像再生装置と音声再生装置が別々にネットワークに接続されているようなシステム構成の下、映像と音声との同期再生を可能とする同期再生装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
そこで上記課題を解決するために本発明は、下記の装置を提供するものである。
（１）コンテンツデータに含まれる映像データと音声データとを、ネットワーク上に独立して配置される映像再生装置及び音声再生装置を用いてそれぞれ独立して再生させる場合に、前記映像再生装置による前記映像データの再生と前記音声再生装置による音声データの再生とを同期させる同期再生装置であって、
前記音声再生装置側に設けられ、前記コンテンツデータの音声データをデコードする音声デコード手段と、
前記音声再生装置側に設けられ、前記音声デコード手段によるデコード結果である音声信号を出力すべきタイミングの制御値を、音声側同期信号として前記ネットワークを通じて前記映像再生装置側に送信する音声側同期制御部と、
前記映像再生装置側に設けられ、前記コンテンツデータの映像データをデコードする映像デコード手段と、
前記映像再生装置側に設けられ、前記音声再生装置側から送信された前記音声側同期信号を受信し、該音声側同期信号に応じて、前記映像デコード手段で用いるクロックの周波数、及び前記映像デコード手段で再生するフレームのうちの少なくともいずれか一方を調整する映像側同期制御部と、
を備えることを特徴とする同期再生装置。
【００１３】
（２）前記映像再生装置側に設けられ、
前記ネットワークにおける応答時間を測定するための測定用信号を、前記ネットワークを介して前記音声再生装置側に送信し、前記測定用信号に応じて前記音声再生装置側から返信された応答信号を受信し、前記測定用信号の送信から前記応答信号の受信までの伝送遅延時間を測定し、測定された伝送遅延時間に応じて、前記音声再生装置側から受信した前記音声側同期信号の値を補正する遅延補正部を
更に備えることを特徴とする上記（１）記載の同期再生装置。
【発明の効果】
【００１４】
本発明によれば、映像再生装置と音声再生装置とが別々にネットワークに接続されているようなシステム構成の下、別々に設置された映像再生装置と音声再生装置との間で映像と音声とを同期再生させることが可能となる。
【００１５】
したがって、音声をより高品位に再生することが可能な音声再生装置によって再生して楽しみたいといったニーズに対応することができる。
【発明を実施するための最良の形態】
【００１６】
以下に添付図面を参照して、本発明に係る同期再生装置の実施形態を詳細に説明する。図１は、本実施形態に係る同期再生装置の全体構成を示す概念図である。
【００１７】
（装置の全体構成）
同期再生装置は、少なくとも映像及び音声を含むコンテンツデータを、ネットワーク上に別途独立して分散配置された映像再生装置２及び音声再生装置３により、映像及び音声を同期させて再生出力する機能を備えている。本実施形態では、ネットワーク４に接続されたＡＶサーバー１と、映像再生装置２と、音声再生装置３（３ａ〜３ｃを含む。）とからなる機器構成となっており、ネットワーク４に接続されたＡＶサーバー１から、映像再生装置２及び音声再生装置３へ同一のコンテンツの映像と音声を送信し、各装置において再生出力する。
【００１８】
本実施形態においてＡＶサーバー１は、コンテンツデータを配信するコンテンツサーバーの役割を果たす装置である。例えば、地上波放送や衛星放送、ケーブルテレビ放送を受信したり、ルーター４４及びＬＡＮ４を介してインターネット４２上のコンテンツ配信サーバー５に接続したりして、音声・映像を含むコンテンツデータを中継したり、蓄積して再配信する機能を備えた装置である。ＡＶサーバー１としては、例えば、ホームサーバーやセットトップボックスなどがある。
【００１９】
映像再生装置２は、ネットワークに接続する通信インターフェースを備え、ＡＶサーバー１に接続することによって、ＡＶサーバー１が中継・配信するコンテンツデータに含まれる映像を再生し、モニター２ａに出力表示させる装置である。なお、本説明では便宜上、映像再生装置２と名づけているが、この映像再生装置２は、音声再生機能を備えていてもよい。この映像再生装置２としては、例えばネットワーク４に接続する機能を有するＤＶＤプレーヤー／レコーダーなどがある。
【００２０】
本発明は、このような前提の下で、より高品位に音声を再生することが可能な音声再生装置３側に音声再生機能を委ね、かつ、映像再生装置２での映像再生と音声再生装置３での音声再生とを同期させるところに特徴がある。
【００２１】
音声再生装置３は、映像再生装置２とは別途独立して構成され、ネットワークに接続する通信インターフェースを備え、ＡＶサーバー１に接続することによって、ＡＶサーバー１が中継・配信するコンテンツデータに含まれる音声を再生し、スピーカーやヘッドホン等から出力させる装置である。この音声再生装置３としては、例えばネットワーク４に接続する機能を有し、高品位な音声の再生が可能な、オーディオコンポや、携帯型シリコンプレーヤー３ａや、ＰＤＡ３ｂや、携帯電話３ｃなどがある。
【００２２】
なお、ＡＶサーバー１と映像再生装置２とを単一の装置とし、両者の機能を兼ね備えた装置としてもよい。この場合には、ＡＶサーバー兼映像再生装置で映像の再生をしつつ、これと同一のコンテンツの音声を音声再生装置３で同期して再生出力を行う。同様にＡＶサーバー１が音声再生装置３を兼ねた構成としてもよく、ネットワーク４に接続されている映像再生装置２へコンテンツを送信し、音声と映像とを同期させて再生出力するようにしてもよい。また、これらの機器操作を、ネットワーク４に接続可能なコントローラで操作するようにしてもよい。
【００２３】
そして、各再生装置において再生出力する際、映像再生装置２で再生出力される映像と、音声再生装置３で再生出力される音声との間で同期を取り、視聴者が映像と音声のタイミングのズレによる違和感が生じないように制御する。
【００２４】
なお、コンテンツのストリームは、ＡＶサーバー１側で送信時に同一のシステムクロックを持つ映像ストリームと音声ストリームとに分離してそれぞれ送信してもよい。
【００２５】
図２は、ＡＶサーバー１、映像再生装置２、及び音声再生装置３の内部構成を示すブロック図である。
同図に示すように、ＡＶサーバー１は、テレビ放送受信アンテナ４３等を介してコンテンツを受信するチューナー部１２と、受信したコンテンツがアナログ信号の場合に、このアナログ信号をデジタル化し、ＭＰＥＧ２方式等の高能率符号化方式で圧縮するとともに、この圧縮したコンテンツデータをＰＳ（ｐｒｏｇｒａｍ Ｓｔｒｅａｍ）形式のストリームデータ（以下ＰＳデータと呼ぶ）に変換するエンコーダ１４と、エンコーダ１４で得られたＰＳ形式のストリームデータを蓄積するか、又はチューナー部１２で受信したコンテンツがデジタル信号の場合は、このデジタル信号であるＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）形式のストリームデータ（以下ＴＳデータと呼ぶ）を直接蓄積するストレージ１６と、ストレージ１６に対するストリームデータの入出力を管理するストレージ管理部１３と、ストリームデータをネットワーク４に送出するネットワーク制御部１１と、ストリームデータのＦｌＦＯ（Ｆｉｒｓｔ Ｉｎ Ｆｉｒｓｔ Ｏｕｔ）バッファであるストリームバッファ１５とを有する。
【００２６】
なお、ＴＳ形式は、主にデジタル放送やＡＴＭ（非同期転送モード）交換網などの通信メディアで使用される形式であり、ＰＳ形式は、主にＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などの蓄積メディアで使用される形式である。
【００２７】
そして、ＡＶサーバー１に蓄積されたストリームツデータは、再生機からの要求に応じてストレージ１６から読み出される。そしてこの読み出されたストリームデータは、ストリームバッファ１５に蓄積されつつ、ネットワーク制御部１１に送出され、ネットワーク制御部１１においてネットワークプロトコル（ＴＣＰ／ＩＰ又はＵＤＰ／ＩＰ）のヘッダ情報が付加されパケットデータとしてネットワーク４に送出される。
【００２８】
一方、映像再生装置２は、ＡＶサーバー１から送信されたパケットデータをネットワーク４から受信し、このパケットデータからストリームデータを抽出するネットワーク制御部２３と、ネットワーク制御部２３で抽出したストリームデータを一時的に蓄積するＦｌＦＯバッファであるストリームバッファ２７と、このストリームバッファ２７に蓄積されたストリームデータを後述する同期制御部２２からの制御に基づくタイミングで読み出してデコーダ２６に出力するＴＳパケットタイミング再現部２００１と、このＴＳパケットタイミング部２００１から出力されるストリームデータをデコードするデコーダ２６と、デコードされた映像をディスプレイ２４等に表示させる出力インターフェース２５と、ＴＳパケットタイミング再現部２００１におけるストリームデータの入出力のタイミングと、デコーダ２６におけるデコードのタイミングを調整する同期制御部２２とから構成される。なお、ＴＳパケットタイミング００部２１は、映像再生装置２へ入力されるストリームデータが、後述するタイムスタンプ付のＴＳデータの場合に必要になるものであり、通常のＴＳデータとＰＳデータの場合は必要ない。したがって、通常のＴＳデータとＰＳデータの場合、ストリームバッファ２７から出力されるストリームデータは、直接デコーダ２６へ供給される。
【００２９】
デコーダ２６は、ストリームデータに含まれる音声データ及び映像データのうち、少なくとも映像データのデコードを行う映像デコード手段であり、上述したように、ストリームデータとして、ＴＳデータとＰＳデータとが入力されるため、この両方のデータをデコードする能力を有している。
【００３０】
このような構成の映像再生装置２では、ネットワーク制御部２３で受信したパケットデータは、ＴＣＰ／ＩＰ又はＵＤＰ／ＩＰの各プロトコルのヘッダが取り除かれてストリームデータに変換され、ストリームバッファ２７に一時的に蓄積された後、ＴＳパケットタイミング再現部２００１によって逐次ストリームバッファ３７から読み出され、デコーダ２６に供給されて、デコード処理され、出力インターフェース２５を通じて映像信号として送出され、ディスプレイ２４により表示される。
【００３１】
他方、音声再生装置３は、ＡＶサーバー１から送信されたパケットデータをネットワーク４から受信し、このパケットデータからストリームデータを抽出するネットワーク制御部３３と、ネットワーク制御部２３で抽出したストリームデータを一時的に蓄積するストリームバッファ３７と、このストリームバッファ２７に蓄積されたストリームデータを後述する同期制御部３２からの制御に基づくタイミングで読み出してデコーダ３６に出力するＴＳパケットタイミング再現部３００１と、このＴＳパケットタイミング再現部３００１から出力されるストリームデータをデコードするデコーダ３６と、デコードされた音声をスピーカー３４等から出力させる出力インターフェース３５と、ＴＳパケットタイミング再現部３００１におけるストリームデータの入出力のタイミングと、デコーダ３６におけるデコードのタイミングを調整する同期制御部２２とから構成される。なお、ＴＳパケットタイミング再現部３００１は、映像再生装置２の場合と同様に、タイムスタンプ付のＴＳデータの場合に必要になるものである。
【００３２】
このような構成の音声再生装置３では、ネットワーク制御部３３で受信されたパケットデータは、ＴＣＰ／ＩＰ又はＵＤＰ／ＩＰの各プロトコルのヘッダが取り除かれたストリームデータに変換され、ストリームバッファ３７に一時的に蓄積された後、ＴＳパケットタイミング再現部３００１によって逐次ストリームバッファ３７から読み出され、デコーダ３６に供給されて、デコード処理され、出力インターフェース３５を通じて音声信号として送出され、スピーカー３４により出力される。
【００３３】
上記したようなシステムに用いるネットワークが、例えば、Ｅｔｈｅｎｅｔ（登録商標）に代表されるようなパケット通信とＣＳＭＡ／ＣＤ（ＣａｒｒｉｅｒＳｅｎｓｅ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ ｗｉｔｈＣｏｌｌｉｓｉｏｎ Ｄｅｔｅｃｔｉｏｎ）によるベストエフォートからなる場合、同時に出力するように対応付けされた映像データと音声データとの間の同期を取るための基準クロックを、映像再生装置２と音声再生装置３とに直接伝送することができないため、これらの装置間での再生同期を取るための特別な手段が必要になる。
【００３４】
以下に、本願に係る上記した再生同期を取るための手段の実施例を図３及び図４を用いて説明する。
図３は、音声再生装置３側の同期制御部３２の内部構成を示すブロック図であり、図４は、映像再生装置２側の同期制御部２２の内部構成を示すブロック図である。
【００３５】
（音声側）
まず音声再生装置３側の同期制御部３２について図３を用いて説明する。
【００３６】
同期制御部３２は、位相同期ループ回路（ＰＬＬ回路）として比較器３０１と、デジタル信号をアナログ信号に変換する回路であるＤＡＣ（Ｄｉｇｉｔａｌ Ａｎａｌｏｇ Ｃｏｎｖｅｒｔｅｒ）３０２と、低域周波数を通過させるフィルタであるＬＰＦ（Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ）３０３と、発振周波数を制御する発振回路であるＶＣＸＯ（Ｖｏｌｔａｇｅ Ｃｏｎｔｒｏｌｌｅｄ Ｘｔａｌ Ｏｓｃｉｌｌａｔｏｒ）３０４と、ＳＴＣカウンタ３０５を備えている。
【００３７】
また、本実施形態での同期制御部３２は、タイムスタンプ付きＴＳデータの再生に対応するために、ＶＣＸＯ３０６と、タイミング制御ブロック３０７と、スイッチ３０８とを備えている。
【００３８】
なお、本説明におけるタイムスタンプとは、ＡＲＩＢ ＳＴＤ−Ｂ２４「デジタル放送におけるデータ放送符号化方式」の第二編に記載されているタイムスタンプ付きＴＳ形式を指しており、ＭＰＥＧ規格におけるＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）、ＤＴＳ（Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ Ｓｔａｍｐ）とは異なるものである。「タイムスタンプ付きＴＳ」は、放送などのようにマルチプログラムが多重化されたＭＰＥＧ−ＴＳから目的のプログラムのみを抽出したパーシャルＴＳをストレージメディアなどの蓄積媒体に記録する際に、再生時にクロック・リカバリーができるようにパケットの到着タイミングを表す４バイトのタイムスタンプを付加したものである。上記タイムスタンプ付きＴＳは、１８８バイトのＮＰＥＧ−ＴＳパケットにこの４バイトを付加した１９２バイトのＭＰＥＧ−ＴＳパケットを指している。
【００３９】
しかし、このタイムスタンプ付のＴＳデータであっても、それぞれの装置内のストリームバッファ２７、３７のサイズが異なっていると、ストリームデータが各デコーダ２６、３６へ入力されるまでの遅延時間が異なってしまい、完全には同期が取れない。また、各デコーダ２６、３６での遅延時間は、通常の場合同一ではないので、これによっても同期がずれてしまう。
【００４０】
上記で示した構成の同期制御部３２の内部動作を以下に説明する。入力データがタイムスタンプ付ＴＳデータの場合は、タイミング制御ブロックにこのデータが供給され、タイムスタンプが付いていない通常のＴＳデータとＰＳデータとの場合は、これらからそれぞれ抽出したＰＣＲ及びＳＣＲ（以下両者をまとめてクロックリファレンスと呼ぶ）がスイッチ３０８のＢ側の端子に供給される。
【００４１】
（ＴＳデータ、ＰＳデータの場合）
まず、入力データが通常のＴＳデータとＰＳデータとの場合について説明する。この場合、３０８はＢ側の端子に接続される。
ＡＶサーバー１から受信したストリームデータから抽出されたクロックリファレンスは、スイッチ３０８のＢ側の端子を介して、ＳＴＣカウンタ３０５に供給される。
【００４２】
ＳＴＣカウンタ３０５は、クロックリファレンスが最初に到着したときにその値を初期値にセットされ、ＰＬＬを構成するＶＣＸＯ３０４から出力されるクロックをカウントすることでＳＴＣを生成する。そして、このＳＴＣを比較器３０１に供給する。
【００４３】
比較器３０１は、供給されるクロックリファレンスと、このクロックリファレンスが供給された時点でのＳＴＣの値とを比較して、誤差値を算出しＤＡＣ３０２に供給する。
ＤＡＣ３０２は、供給された誤差値に応じた誤差電圧を生成しＬＰＦ３０３に供給する。
【００４４】
ＬＰＦ３０３は、供給される誤差電圧から高周波成分を除去し、低周波成分をＶＣＸＯ３０４に制御電圧として供給する。
【００４５】
ＶＣＸＯ３０４は、供給される制御電圧に応じて発振中心周波数が可変制御されたクロックを出力する。このＶＣＸＯ３０４から出力されたクロックは、ＳＴＣカウンタ３０５に帰還入力される。この、ＶＣＸＯ３０４から出力されるクロックが、デコーダ３６のシステムクロックとして用いられる。
【００４６】
そして、デコーダ３６は、上記で生成されたシステムクロックを用いてストリームデータのデコードを行う。このとき、デコーダ３６は、オーディオフレームが出力された瞬間にそのフレームに関連付けられたＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）を、音声側同期信号としてネットワーク４を通じて映像再生装置２側に送信する。本実施形態では、この音声側同期信号を、オーバーヘッドの少なさを考慮して、ＵＤＰ（ＵｓｅｒＤａｔａｇｒａｍＰｒｏｔｏｃｏｌ）パケットにＰＴＳの値をパケッタイズし、ＰＴＳ通知パケットとして送信する。
【００４７】
ここで、ＰＴＳ通知パケットにより音声再生装置３側のＰＴＳを通知するのは、音声再生装置３側においてＳＴＣカウンタの値がＰＴＳと一致したときに、当該ＰＴＳに関連付けられたオーディオフレームが出力されることから、音声再生装置３側のＳＴＣカウンタの値を映像再生装置２側に通知するのと同等となるためである。なお、この音声再生装置３側のＰＴＳに代えて、オーディオフレームが出力された瞬間のＳＴＣカウンタの値を読み取って、これを通知パケットにより映像再生装置２側に通知するようにしてもよい。
【００４８】
（タイムスタンプ付きＴＳデータの場合）
次に、入力データがタイムスタンプ付きＴＳデータの場合について説明する。この場合、スイッチ３０８はＡ側の端子に接続される。
タイムスタンプ付きＴＳデータは、タイミング制御ブロック３０７に供給される。
【００４９】
タイミング制御ブロック３０７は、タイムスタンプ付きＴＳデータの再生時に、ＶＣＸＯ３０６からのクロック信号に基づいてこのＴＳデータを取り込み、このＴＳデータをデコーダへ供給するタイミングを制御する回路である。
【００５０】
このタイミング制御ブロック３０７は、上記動作とともにＴＳデータからクロックリファレンス（ＰＣＲ）を抽出し、上記で説明したＰＬＬ回路（比較器３０１、ＤＡＣ３０２、ＬＰＦ３０３、ＶＣＸＯ３０４及びＳＴＣカウンタ３０５）に入力する。その後のＰＬＬ回路の動作は通常のＴＳデータ及びＰＳデータの場合と同様である。
ＶＣＸＯ３０６は、タイミング制御ブロック３０７で用いるクロックを発生する発振器である。
【００５１】
（映像側）
次に映像再生装置３の同期制御部２２について図４を用いて説明する。
同期制御部２２は、位相同期ループ回路（ＰＬＬ回路）として比較器２０５と、デジタル信号をアナログ信号に変換するＤＡＣ２０７と、低域周波数を通過させるＬＰＦ２０８と、発振周波数を制御するＶＣＸＯ２０９と、ＳＴＣカウンタ２１２とを備えている。
【００５２】
また、本実施形態での同期制御部２２は、タイムスタンプ付きＴＳデータの再生に対応するために、ＶＣＸＯ２０１と、タイミング制御ブロック２０２と、スイッチ２０３及び２０４とを備えている。
【００５３】
（ＴＳデータ、ＰＳデータの場合）
音声側の説明と同様に、まず、入力データが通常のＴＳデータとＰＳデータとの場合について説明する。この場合、スイッチ２０４はＢ側の端子に接続される。
【００５４】
ＡＶサーバー１から受信したストリームデータから抽出されたクロックリファレンスは、スイッチ２０４のB側の端子を介して比較器２０５に入力される。ただし最初に到着したときはＳＴＣカウンタ２１２に初期化のため、供給される。
【００５５】
その後のＰＬＬ回路における、比較器２０５，ＤＡＣ２０７、ＬＰＦ２０８、ＶＣＸＯ２０９及びＳＴＣカウンタ２１２の各部の動作は、音声再生装置３側とほぼ同様であるので説明を省略し、音声再生装置３との同期を図るために映像再生装置２側に加わった構成についてのみ説明する。
【００５６】
映像再生装置２の同期制御部２２は、上記ＰＬＬ回路の各部に加えて、遅延補正ブロック２１３と、ＳＴＣ差分検出ブロック２１１と、比較器２１０と、加算器２０６とを備えている。
【００５７】
遅延補正ブロック２１３は、音声再生装置３側に応答時間を測定するための測定用信号を、ネットワーク４を通じて送信し、測定用信号に応じて音声再生装置３側から返信された応答信号を受信し、測定用信号の送信から応答信号の受信までの伝送遅延時間を測定し、測定された伝送遅延時間に応じて、音声再生装置３側から受信した音声側同期信号を補正するモジュールである。
【００５８】
具体的には、この遅延補正ブロック２１３は、図５に示すように、コンテンツの再生開始前に、映像再生装置２から音声再生装置３へ、測定用信号としての応答時間測定パケットを複数回送信してから、これに対する応答信号である音声再生装置３からの応答パケットを受信するまでの時間Ｔｒを測定する。そして、このＴｒの半分、すなわちＴｒ／２の平均時間を伝送遅延時間とする。そして、このようにして測定したＰＴＳ通知パケットの遅延時間を、デコーダのクロック周波数で換算したＳＴＣカウント値分として補正に使用する。
【００５９】
ここで、音声再生装置３では、映像再生装置２からの応答時間測定パケットを受信してから応答パケットを送信するまでの応答遅延時間Ｔｄｌが発生する可能性があるが、この応答遅延時間Ｔｄｌは、人間の検知しうるリップシンクのズレ量より十分小さい時間と考えられることから、Ｔｒ／２の平均時間を音声再生装置３がオーディオフレームを出力した瞬間から映像再生装置２でＰＴＳを通知するパケットを受信するまでの時間として問題無い。なお、この人間のリップシンクズレの検知限は、アナウンスにおける評価実験の場合、音進み約４５ｍｓ、音遅れ約１２５ｍｓ、許容限は音進み約９０ｍｓ、音遅れ約１８５ｍｓであることが知られており、打楽器における評価実験の場合で、音進み２３ｍｓ、音遅れ５６ｍｓ、許容限は音進み５６ｍｓ、音遅れ１３０ｍｓであることも知られている。
【００６０】
比較器２１０は、遅延補正ブロック２１３により補正された音声側ＳＴＣカウント値（すなわちＰＴＳ値）とデコーダ２６のＳＴＣカウント値とを比較してこれらの差分を算出し、ＳＴＣ差分検出ブロック２１１は、比較器２１０で得た差分がVideo信号のフレーム周期より大きい小さいか、正の値か負の値かの検出を行うモジュールである。
【００６１】
具体的には、比較器２１０は、補正後の音声再生装置３側のＳＴＣカウント値（ＰＴＳ値）と、映像再生装置２側のＳＴＣカウント値との差分を検出するモジュールである。また、ＳＴＣ差分検出ブロック２１１は、検出された差分が、正の値でビデオフレーム周期相当のカウント値よりも大きかった場合、デコーダにフレームスキップを指示し、負の値で同様の場合だったら、フレームの連続出力をするよう、ＳＴＣ差分検出ブロック２１１から制御するようにして映像と音声の大きな時間ズレに対して短い時間で同期状態に補正できるようにする。
【００６２】
なお、フレームスキップする場合、ＭＰＥＧではＩ、Ｐフレームをスキップすると、これらのフレームは、それ以降のフレームを復号する参照元になっているため再生画像に影響を及ぼしてしまう。したがって、本実施形態では、スキップする場合、次のＢフレームをスキップするようにする。
【００６３】
このようなフレームのスキップや連続出力を行った場合、映像再生装置２側のＳＴＣカウンタ２１２には、次のＰＣＲが到着したときに、その値がセットされ、スキップされたフレーム分だけ追従するように、ＳＴＣカウンタの値が更新される。
【００６４】
（タイムスタンプ付きＴＳデータの場合）
次に、入力データがタイムスタンプ付きＴＳデータの場合について説明する。この場合、スイッチ２０４はＡ側の端子に接続される。タイムスタンプ付きＴＳデータは、タイミング制御ブロック２０２に供給される。
【００６５】
タイミング制御ブロック２０２は、タイムスタンプ付きＴＳデータの再生時に、ＶＣＸＯ２０１からのクロック信号に基づいてこのＴＳデータを取り込み、このＴＳデータをデコーダへ供給するタイミングを制御する回路である。
【００６６】
このタイミング制御ブロック２０２は、上記動作とともにＴＳデータからクロックリファレンス（ＰＣＲ）を抽出し、上記で説明したＰＬＬ回路（比較器２０５、加算器２０６、ＤＡＣ２０７、ＬＰＦ２０８、ＶＣＸＯ２０９及びＳＴＣカウンタ２１２）に入力する。その後のＰＬＬ回路の動作は通常のＴＳデータ及びＰＳデータの場合と同様である。
【００６７】
ＶＣＸＯ２０１は、タイミング制御ブロック３０７で用いるクロックを発生する発振器である。
【００６８】
スイッチ２０３は、ＬＰＦ２０８から出力される誤差電圧と、固定値の電圧とを選択的に切り替えて、ＶＣＸＯ２０１に入力させるためのスイッチであり、外部の音声再生装置３側との同期を行うときには、スイッチをＣ側の端子に接続してＬＰＦ２０８からの誤差電圧をＶＣＸＯ２０１に入力させる一方、同期を行わないときには、スイッチをＤ側の端子に接続して固定値の電圧をＶＣＸＯ２０１に入力させてタイミング制御ブロック２０２のクロックを固定周波数とするとともに、ＳＴＣ差分検出ブロック２１１の出力を「ＳＴＣカウントの誤差なし」の固定値出力とする。
【００６９】
（処理の流れ）
次に、以上の構成によって映像と音声の同期再生を実現するための処理の流れを図６のシーケンス図を用いて説明する。
【００７０】
音声再生装置３又は映像再生装置２からＡＶサーバー１に対して、コンテンツデータの配信要求を送信する（Ｓ１０１）。
ＡＶサーバー１は、この配信要求を受信したらコンテンツデータの配信を開始する（Ｓ１０５）。
【００７１】
このコンテンツデータの配信は、本実施形態では、音声再生装置３及び映像再生装置２の両方に対して同一内容のデータを送信する例で説明するが、音声再生装置３及び映像再生装置２のそれぞれに対して、映像データ及び音声データのそれぞれを送信するようにしてもよい。
【００７２】
次に、遅延補正のための伝送遅延の測定及び算出を行う（Ｓ１０２及びＳ１０３）。なお、このステップは、コンテンツデータの配信要求の前に前もって行なっておいてもよい。
【００７３】
次いで、音声再生装置３及び映像再生装置２において、それぞれネットワーク制御部２３及び３３でコンテンツデータをネットワーク４から受信する（Ｓ１０４）。
【００７４】
次に、音声再生装置３は、音声をデコードするとともに、このデコード時に取り出される音声側同期信号（ＰＴＳ）を、この音声の出力タイミングで映像再生装置２へ送信する。
映像再生装置２は、音声再生装置３から送信される音声側同期信号（ＰＴＳ）を受信する（Ｓ１０７）。
【００７５】
次いで、映像再生装置２側において、Ｓ１０３で算出した遅延時間分を補正する（Ｓ１０８）。
この遅延補正は、ステップＳ１０２及びＳ１０３で測定・算出したＰＴＳ通知パケットの遅延時間を、デコーダのクロック周波数で換算したＳＴＣカウント値分として加算する。そして、比較器２１０において、補正後の音声再生装置３側のＳＴＣカウント値（ＰＴＳ値）と、映像再生装置２側のＳＴＣカウント値との差分を検出する。
【００７６】
検出された差分が、ビデオフレーム周期相当のカウント値よりも大きかった場合（ステップＳ１０９における“Ｙ”）、デコーダにフレームスキップ、又はフレームの連続出力をするよう、ＳＴＣ差分検出ブロック２１１から制御するようにして、映像と音声の大きな時間ズレを補正し、同期状態を維持する（Ｓ１１０）。
【００７７】
一方、検出された差分がビデオフレーム周期相当のカウント値よりも小さかった場合（ステップＳ１０９における“Ｎ”）、そのまま処理を続行する。
更に、送信されるコンテンツデータがタイムスタンプ付きＴＳデータの場合は、映像再生装置２側のタイミング制御ブロック２０２のクロックを発生しているＶＣＸＯ２０１に対しても、上記デコーダのクロック制御に用いるＬＰＦ２０８からの出力を利用し、タイミング制御ブロック２０２のクロックを、デコーダのクロック制御に追従させ、ストリームデータの流量とデコーダの動作クロックとを整合させ、破綻なくデコード動作を制御する。
【００７８】
以上のような処理により、映像再生装置２側において、同期制御部２２は、音声再生装置３側の音声側同期信号（ＰＴＳ）とのズレをなくすように動作し、映像と音声の同期が取るようになる。また、このズレ量が１フレーム期間を超えるような場合は、上述したようにフレームスキップ、若しくはフレームの連続出力により映像の再生を、音声再生装置３側に追従するように動作させる。
したがって、映像の出力タイミングと音声の出力タイミングのズレによる違和感を解消することができる。
【００７９】
（変更例）
本発明は、上述した実施形態に限定されるものではなく、種々の変更を加えることができる。例えば、映像再生装置側のデコーダを、サイズや処理能力、デコード方式が異なるものを複数設け、遅延補正ブロックにおいて検出された伝送遅延の程度に応じて、デコーダを選択するようにしてもよい。
【００８０】
また、図１に示した、ＡＶサーバー１や、音声再生装置３、映像再生装置２に備えられている操作パネルや操作ボタン、リモコン、液晶ディスプレイ等のユーザーインターフェースを、ネットワーク４を通じて相互に接続し、ユーザーの操作信号を相互に送受信可能とし、これらのネットワーク４に接続されたユーザーインターフェースのいずれからでも、上述したコンテンツデータの配信要求や、再生・停止等の再生制御を行えるようにするとともに、これらの操作を上記リップシンク処理の開始又は停止のトリガーとすることができる。
【００８１】
（作用・効果）
以上説明した本実施形態によれば、ネットワーク４上に別途独立して分散配置された映像再生装置２及び音声再生装置３を備えたシステム構成において、音声再生装置３側のデコードを制御する音声側同期信号を映像再生装置２側で取得し、取得した音声側同期信号に映像再生装置２側におけるデコードのカウント値を整合させることにより、音声再生に映像再生を同期させ、リップシンクを取ることができる。
【００８２】
また、本実施形態では、同期再生の際に、伝送遅延時間を測定し、測定された伝送遅延時間に応じて、音声再生装置側から受信した音声側クロック信号を補正するため、ネットワークに依存する伝送遅延を解消することができ、より精度よリップシンクを取ることができる。
【図面の簡単な説明】
【００８３】
【図１】実施形態に係る同期再生装置の全体構成を示す概念図である。
【図２】実施形態に係るＡＶサーバー１、映像再生装置２、及び音声再生装置３の内部構成を示すブロック図である。
【図３】実施形態に係る音声再生装置側同期制御部３２の内部構成を示すブロック図である。
【図４】実施形態に係る映像再生装置側同期制御部２２の内部構成を示すブロック図である。
【図５】実施形態に係る伝送遅延測定方法の説明図である。
【図６】実施形態に係る同期再生装置の動作を示すシーケンス図である。
【符号の説明】
【００８４】
Ｔｄｌ…応答遅延時間
Ｔｒ…時間
１…ＡＶサーバー
２…映像再生装置
２ａ…モニター
３…音声再生装置（オーディオコンポ）
３ａ…シリコンプレーヤー
３ｂ…ＰＤＡ
３ｃ…携帯電話
４…ネットワーク
５…コンテンツ配信サーバー
１１…ネットワーク制御部
１２…チューナー部
１３…ストレージ管理部
１４…エンコーダ
１５…ストリームバッファ
１６…ストレージ
２００１，３００１…ＴＳパケットタイミング再現部
２２，３２…同期制御部
２３，３３…ネットワーク制御部
２４…ディスプレイ
２５…出力インターフェース
２６，３６…デコーダ
２７，３７…ストリームバッファ
３４…スピーカー
３５…出力インターフェース
４１…無線ＬＡＮルーター
４２…インターネット
４３…テレビ放送受信アンテナ
４４…ルーター
２０１，３０６…ＶＣＸＯ
２０２，３０７…タイミング制御ブロック
２０３，２０４，３０８…スイッチ
２０５，３０１…比較器
２０６…加算器
２０７，３０２…ＤＡＣ
２０８，３０３…ＬＰＦ
２０９，３０４…ＶＣＸＯ
２１０…比較器
２１１…ＳＴＣ差分検出ブロック
２１２，３０５…ＳＴＣカウンタ
２１３…遅延補正ブロック
【技術分野】
【０００１】
本発明は、ネットワーク上にある別々の映像再生装置と音声再生装置を使って映像と音声とが組み合わされたストリームを再生する場合に、映像と音声との同期を取る同期再生装置に関する。
【背景技術】
【０００２】
近年にあっては、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）などのデジタル圧縮技術により高品位な映像と音声を少ないデータ量で保存したり、限られた帯域のネットワーク通信路を介して伝送するといったことが可能になってきている。
【０００３】
また、一般家庭においては、Ｅｔｈｅｒｎｅｔ（登録商標）等の普及により、特別な設備を導入せずとも手軽にネットワークが構築できる環境になっている。
上記のような背景からＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を経由した映像や音楽の視聴といった利用のされ方が増えつつある。
【０００４】
ところで、ＬＡＮを経由してサーバーに蓄積されたコンテンツを視聴しようとした場合、一般的には、再生装置において、ある程度サーバーからのＭＰＥＧデータを受信バッファに蓄積した後、デコーダのクロックを基準にＭＰＥＧデコードとデコード結果の出力を行い、バッファが少なくなるとクライアントである再生装置側からサーバーへＭＰＥＧデータを取りに行き、受信バッファへ補充するということを繰り返す。
【０００５】
従来こういったネットワーク経由での視聴は、映像と音声がマルチプレックスされたストリームを単一の再生装置で受信し再生するか、又はＲＴＰ（ＲｅａＩ−ｔｉｍｅＴｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）に代表されるような音声と映像が別々に伝送されるストリームを映像と音声を同時にデコードできる単一の再生装置で受信し再生する構成が主流であった（例えば、特許文献１）。
【特許文献１】特開２００５−１０２１９２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した特許文献１に開示された従来の装置では、映像と音声がマルチプレックスされたストリームでありながらも、単一の再生装置で映像と音声を再生する構成であることから、映像と音声との両方をデコードできる能力が必要となる。一般的なＭＰＥＧ２等の符号化方式で符号化された映像音声であればこのような装置でも問題はない。しかし、近年は、符号化技術の向上により多様な圧縮方式が開発されており、特に音声に関しては、ＭＰＥＧ２の他、ＭＰ３（ＭＰＥＧ Ａｕｄｉｏ Ｌａｙｅｒ−３）、ＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）、ＡＣ−３（Ａｕｄｉｏ Ｃｏｄｅ ｎｕｍｂｅｒ ３）（登録商標）等多くの符号化方式が存在する。したがって、単一の再生装置に、上記したような多様な符号化方式で符号化された音声をデコードする能力がないと、映像は再生できるが音声は再生されないといったケースが生じてしまう場合がある。
【０００７】
また、単一の再生装置が音声をデコードする能力を有していたとしても、デコード後のアナログ的な性能の面で、より高音質な音声再生を実現できる音声再生装置をユーザーが所有していた場合、音声はこの音声再生装置で再生したいというニーズもある。
【０００８】
上記のような問題を解決する一手法として、ＬＡＮなどのネットワークを経由して音声のデータを音声再生装置に供給し、単一の再生装置（映像再生装置）では映像を再生し、音声は音声再生装置で再生する方法が考えられる。
このような手法を実現する場合、映像と音声の同期を取らなければならないという課題が発生する。
【０００９】
すなわち、従来、ＬＡＮなどのネットワークを経由して、映像と音声を別々の機器で受信し再生した場合、受信の際のバッファ量の違いによる遅延時間の違いとデコーダ内での遅延時間が個別のデコーダに依存することから同時にスタートしても同期関係は、全く保障されていなかった。
【００１０】
また、従来の装置では、それぞれの再生装置でそれぞれのクロック発信器に従って各々デコードされるため、再生クロック自体がエンコーダ側のクロックと同期しておらず、各デコーダにおけるクロック発信器の誤差分だけ徐々に映像と音声のズレが発生していってしまうという課題があった。
【００１１】
そこで、本発明は、上記課題を解決するものであり、映像再生装置と音声再生装置が別々にネットワークに接続されているようなシステム構成の下、映像と音声との同期再生を可能とする同期再生装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
そこで上記課題を解決するために本発明は、下記の装置を提供するものである。
（１）コンテンツデータに含まれる映像データと音声データとを、ネットワーク上に独立して配置される映像再生装置及び音声再生装置を用いてそれぞれ独立して再生させる場合に、前記映像再生装置による前記映像データの再生と前記音声再生装置による音声データの再生とを同期させる同期再生装置であって、
前記音声再生装置側に設けられ、前記コンテンツデータの音声データをデコードする音声デコード手段と、
前記音声再生装置側に設けられ、前記音声デコード手段によるデコード結果である音声信号を出力すべきタイミングの制御値を、音声側同期信号として前記ネットワークを通じて前記映像再生装置側に送信する音声側同期制御部と、
前記映像再生装置側に設けられ、前記コンテンツデータの映像データをデコードする映像デコード手段と、
前記映像再生装置側に設けられ、前記音声再生装置側から送信された前記音声側同期信号を受信し、該音声側同期信号に応じて、前記映像デコード手段で用いるクロックの周波数、及び前記映像デコード手段で再生するフレームのうちの少なくともいずれか一方を調整する映像側同期制御部と、
を備えることを特徴とする同期再生装置。
【００１３】
（２）前記映像再生装置側に設けられ、
前記ネットワークにおける応答時間を測定するための測定用信号を、前記ネットワークを介して前記音声再生装置側に送信し、前記測定用信号に応じて前記音声再生装置側から返信された応答信号を受信し、前記測定用信号の送信から前記応答信号の受信までの伝送遅延時間を測定し、測定された伝送遅延時間に応じて、前記音声再生装置側から受信した前記音声側同期信号の値を補正する遅延補正部を
更に備えることを特徴とする上記（１）記載の同期再生装置。
【発明の効果】
【００１４】
本発明によれば、映像再生装置と音声再生装置とが別々にネットワークに接続されているようなシステム構成の下、別々に設置された映像再生装置と音声再生装置との間で映像と音声とを同期再生させることが可能となる。
【００１５】
したがって、音声をより高品位に再生することが可能な音声再生装置によって再生して楽しみたいといったニーズに対応することができる。
【発明を実施するための最良の形態】
【００１６】
以下に添付図面を参照して、本発明に係る同期再生装置の実施形態を詳細に説明する。図１は、本実施形態に係る同期再生装置の全体構成を示す概念図である。
【００１７】
（装置の全体構成）
同期再生装置は、少なくとも映像及び音声を含むコンテンツデータを、ネットワーク上に別途独立して分散配置された映像再生装置２及び音声再生装置３により、映像及び音声を同期させて再生出力する機能を備えている。本実施形態では、ネットワーク４に接続されたＡＶサーバー１と、映像再生装置２と、音声再生装置３（３ａ〜３ｃを含む。）とからなる機器構成となっており、ネットワーク４に接続されたＡＶサーバー１から、映像再生装置２及び音声再生装置３へ同一のコンテンツの映像と音声を送信し、各装置において再生出力する。
【００１８】
本実施形態においてＡＶサーバー１は、コンテンツデータを配信するコンテンツサーバーの役割を果たす装置である。例えば、地上波放送や衛星放送、ケーブルテレビ放送を受信したり、ルーター４４及びＬＡＮ４を介してインターネット４２上のコンテンツ配信サーバー５に接続したりして、音声・映像を含むコンテンツデータを中継したり、蓄積して再配信する機能を備えた装置である。ＡＶサーバー１としては、例えば、ホームサーバーやセットトップボックスなどがある。
【００１９】
映像再生装置２は、ネットワークに接続する通信インターフェースを備え、ＡＶサーバー１に接続することによって、ＡＶサーバー１が中継・配信するコンテンツデータに含まれる映像を再生し、モニター２ａに出力表示させる装置である。なお、本説明では便宜上、映像再生装置２と名づけているが、この映像再生装置２は、音声再生機能を備えていてもよい。この映像再生装置２としては、例えばネットワーク４に接続する機能を有するＤＶＤプレーヤー／レコーダーなどがある。
【００２０】
本発明は、このような前提の下で、より高品位に音声を再生することが可能な音声再生装置３側に音声再生機能を委ね、かつ、映像再生装置２での映像再生と音声再生装置３での音声再生とを同期させるところに特徴がある。
【００２１】
音声再生装置３は、映像再生装置２とは別途独立して構成され、ネットワークに接続する通信インターフェースを備え、ＡＶサーバー１に接続することによって、ＡＶサーバー１が中継・配信するコンテンツデータに含まれる音声を再生し、スピーカーやヘッドホン等から出力させる装置である。この音声再生装置３としては、例えばネットワーク４に接続する機能を有し、高品位な音声の再生が可能な、オーディオコンポや、携帯型シリコンプレーヤー３ａや、ＰＤＡ３ｂや、携帯電話３ｃなどがある。
【００２２】
なお、ＡＶサーバー１と映像再生装置２とを単一の装置とし、両者の機能を兼ね備えた装置としてもよい。この場合には、ＡＶサーバー兼映像再生装置で映像の再生をしつつ、これと同一のコンテンツの音声を音声再生装置３で同期して再生出力を行う。同様にＡＶサーバー１が音声再生装置３を兼ねた構成としてもよく、ネットワーク４に接続されている映像再生装置２へコンテンツを送信し、音声と映像とを同期させて再生出力するようにしてもよい。また、これらの機器操作を、ネットワーク４に接続可能なコントローラで操作するようにしてもよい。
【００２３】
そして、各再生装置において再生出力する際、映像再生装置２で再生出力される映像と、音声再生装置３で再生出力される音声との間で同期を取り、視聴者が映像と音声のタイミングのズレによる違和感が生じないように制御する。
【００２４】
なお、コンテンツのストリームは、ＡＶサーバー１側で送信時に同一のシステムクロックを持つ映像ストリームと音声ストリームとに分離してそれぞれ送信してもよい。
【００２５】
図２は、ＡＶサーバー１、映像再生装置２、及び音声再生装置３の内部構成を示すブロック図である。
同図に示すように、ＡＶサーバー１は、テレビ放送受信アンテナ４３等を介してコンテンツを受信するチューナー部１２と、受信したコンテンツがアナログ信号の場合に、このアナログ信号をデジタル化し、ＭＰＥＧ２方式等の高能率符号化方式で圧縮するとともに、この圧縮したコンテンツデータをＰＳ（ｐｒｏｇｒａｍ Ｓｔｒｅａｍ）形式のストリームデータ（以下ＰＳデータと呼ぶ）に変換するエンコーダ１４と、エンコーダ１４で得られたＰＳ形式のストリームデータを蓄積するか、又はチューナー部１２で受信したコンテンツがデジタル信号の場合は、このデジタル信号であるＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）形式のストリームデータ（以下ＴＳデータと呼ぶ）を直接蓄積するストレージ１６と、ストレージ１６に対するストリームデータの入出力を管理するストレージ管理部１３と、ストリームデータをネットワーク４に送出するネットワーク制御部１１と、ストリームデータのＦｌＦＯ（Ｆｉｒｓｔ Ｉｎ Ｆｉｒｓｔ Ｏｕｔ）バッファであるストリームバッファ１５とを有する。
【００２６】
なお、ＴＳ形式は、主にデジタル放送やＡＴＭ（非同期転送モード）交換網などの通信メディアで使用される形式であり、ＰＳ形式は、主にＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などの蓄積メディアで使用される形式である。
【００２７】
そして、ＡＶサーバー１に蓄積されたストリームツデータは、再生機からの要求に応じてストレージ１６から読み出される。そしてこの読み出されたストリームデータは、ストリームバッファ１５に蓄積されつつ、ネットワーク制御部１１に送出され、ネットワーク制御部１１においてネットワークプロトコル（ＴＣＰ／ＩＰ又はＵＤＰ／ＩＰ）のヘッダ情報が付加されパケットデータとしてネットワーク４に送出される。
【００２８】
一方、映像再生装置２は、ＡＶサーバー１から送信されたパケットデータをネットワーク４から受信し、このパケットデータからストリームデータを抽出するネットワーク制御部２３と、ネットワーク制御部２３で抽出したストリームデータを一時的に蓄積するＦｌＦＯバッファであるストリームバッファ２７と、このストリームバッファ２７に蓄積されたストリームデータを後述する同期制御部２２からの制御に基づくタイミングで読み出してデコーダ２６に出力するＴＳパケットタイミング再現部２００１と、このＴＳパケットタイミング部２００１から出力されるストリームデータをデコードするデコーダ２６と、デコードされた映像をディスプレイ２４等に表示させる出力インターフェース２５と、ＴＳパケットタイミング再現部２００１におけるストリームデータの入出力のタイミングと、デコーダ２６におけるデコードのタイミングを調整する同期制御部２２とから構成される。なお、ＴＳパケットタイミング００部２１は、映像再生装置２へ入力されるストリームデータが、後述するタイムスタンプ付のＴＳデータの場合に必要になるものであり、通常のＴＳデータとＰＳデータの場合は必要ない。したがって、通常のＴＳデータとＰＳデータの場合、ストリームバッファ２７から出力されるストリームデータは、直接デコーダ２６へ供給される。
【００２９】
デコーダ２６は、ストリームデータに含まれる音声データ及び映像データのうち、少なくとも映像データのデコードを行う映像デコード手段であり、上述したように、ストリームデータとして、ＴＳデータとＰＳデータとが入力されるため、この両方のデータをデコードする能力を有している。
【００３０】
このような構成の映像再生装置２では、ネットワーク制御部２３で受信したパケットデータは、ＴＣＰ／ＩＰ又はＵＤＰ／ＩＰの各プロトコルのヘッダが取り除かれてストリームデータに変換され、ストリームバッファ２７に一時的に蓄積された後、ＴＳパケットタイミング再現部２００１によって逐次ストリームバッファ３７から読み出され、デコーダ２６に供給されて、デコード処理され、出力インターフェース２５を通じて映像信号として送出され、ディスプレイ２４により表示される。
【００３１】
他方、音声再生装置３は、ＡＶサーバー１から送信されたパケットデータをネットワーク４から受信し、このパケットデータからストリームデータを抽出するネットワーク制御部３３と、ネットワーク制御部２３で抽出したストリームデータを一時的に蓄積するストリームバッファ３７と、このストリームバッファ２７に蓄積されたストリームデータを後述する同期制御部３２からの制御に基づくタイミングで読み出してデコーダ３６に出力するＴＳパケットタイミング再現部３００１と、このＴＳパケットタイミング再現部３００１から出力されるストリームデータをデコードするデコーダ３６と、デコードされた音声をスピーカー３４等から出力させる出力インターフェース３５と、ＴＳパケットタイミング再現部３００１におけるストリームデータの入出力のタイミングと、デコーダ３６におけるデコードのタイミングを調整する同期制御部２２とから構成される。なお、ＴＳパケットタイミング再現部３００１は、映像再生装置２の場合と同様に、タイムスタンプ付のＴＳデータの場合に必要になるものである。
【００３２】
このような構成の音声再生装置３では、ネットワーク制御部３３で受信されたパケットデータは、ＴＣＰ／ＩＰ又はＵＤＰ／ＩＰの各プロトコルのヘッダが取り除かれたストリームデータに変換され、ストリームバッファ３７に一時的に蓄積された後、ＴＳパケットタイミング再現部３００１によって逐次ストリームバッファ３７から読み出され、デコーダ３６に供給されて、デコード処理され、出力インターフェース３５を通じて音声信号として送出され、スピーカー３４により出力される。
【００３３】
上記したようなシステムに用いるネットワークが、例えば、Ｅｔｈｅｎｅｔ（登録商標）に代表されるようなパケット通信とＣＳＭＡ／ＣＤ（ＣａｒｒｉｅｒＳｅｎｓｅ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ ｗｉｔｈＣｏｌｌｉｓｉｏｎ Ｄｅｔｅｃｔｉｏｎ）によるベストエフォートからなる場合、同時に出力するように対応付けされた映像データと音声データとの間の同期を取るための基準クロックを、映像再生装置２と音声再生装置３とに直接伝送することができないため、これらの装置間での再生同期を取るための特別な手段が必要になる。
【００３４】
以下に、本願に係る上記した再生同期を取るための手段の実施例を図３及び図４を用いて説明する。
図３は、音声再生装置３側の同期制御部３２の内部構成を示すブロック図であり、図４は、映像再生装置２側の同期制御部２２の内部構成を示すブロック図である。
【００３５】
（音声側）
まず音声再生装置３側の同期制御部３２について図３を用いて説明する。
【００３６】
同期制御部３２は、位相同期ループ回路（ＰＬＬ回路）として比較器３０１と、デジタル信号をアナログ信号に変換する回路であるＤＡＣ（Ｄｉｇｉｔａｌ Ａｎａｌｏｇ Ｃｏｎｖｅｒｔｅｒ）３０２と、低域周波数を通過させるフィルタであるＬＰＦ（Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ）３０３と、発振周波数を制御する発振回路であるＶＣＸＯ（Ｖｏｌｔａｇｅ Ｃｏｎｔｒｏｌｌｅｄ Ｘｔａｌ Ｏｓｃｉｌｌａｔｏｒ）３０４と、ＳＴＣカウンタ３０５を備えている。
【００３７】
また、本実施形態での同期制御部３２は、タイムスタンプ付きＴＳデータの再生に対応するために、ＶＣＸＯ３０６と、タイミング制御ブロック３０７と、スイッチ３０８とを備えている。
【００３８】
なお、本説明におけるタイムスタンプとは、ＡＲＩＢ ＳＴＤ−Ｂ２４「デジタル放送におけるデータ放送符号化方式」の第二編に記載されているタイムスタンプ付きＴＳ形式を指しており、ＭＰＥＧ規格におけるＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）、ＤＴＳ（Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ Ｓｔａｍｐ）とは異なるものである。「タイムスタンプ付きＴＳ」は、放送などのようにマルチプログラムが多重化されたＭＰＥＧ−ＴＳから目的のプログラムのみを抽出したパーシャルＴＳをストレージメディアなどの蓄積媒体に記録する際に、再生時にクロック・リカバリーができるようにパケットの到着タイミングを表す４バイトのタイムスタンプを付加したものである。上記タイムスタンプ付きＴＳは、１８８バイトのＮＰＥＧ−ＴＳパケットにこの４バイトを付加した１９２バイトのＭＰＥＧ−ＴＳパケットを指している。
【００３９】
しかし、このタイムスタンプ付のＴＳデータであっても、それぞれの装置内のストリームバッファ２７、３７のサイズが異なっていると、ストリームデータが各デコーダ２６、３６へ入力されるまでの遅延時間が異なってしまい、完全には同期が取れない。また、各デコーダ２６、３６での遅延時間は、通常の場合同一ではないので、これによっても同期がずれてしまう。
【００４０】
上記で示した構成の同期制御部３２の内部動作を以下に説明する。入力データがタイムスタンプ付ＴＳデータの場合は、タイミング制御ブロックにこのデータが供給され、タイムスタンプが付いていない通常のＴＳデータとＰＳデータとの場合は、これらからそれぞれ抽出したＰＣＲ及びＳＣＲ（以下両者をまとめてクロックリファレンスと呼ぶ）がスイッチ３０８のＢ側の端子に供給される。
【００４１】
（ＴＳデータ、ＰＳデータの場合）
まず、入力データが通常のＴＳデータとＰＳデータとの場合について説明する。この場合、３０８はＢ側の端子に接続される。
ＡＶサーバー１から受信したストリームデータから抽出されたクロックリファレンスは、スイッチ３０８のＢ側の端子を介して、ＳＴＣカウンタ３０５に供給される。
【００４２】
ＳＴＣカウンタ３０５は、クロックリファレンスが最初に到着したときにその値を初期値にセットされ、ＰＬＬを構成するＶＣＸＯ３０４から出力されるクロックをカウントすることでＳＴＣを生成する。そして、このＳＴＣを比較器３０１に供給する。
【００４３】
比較器３０１は、供給されるクロックリファレンスと、このクロックリファレンスが供給された時点でのＳＴＣの値とを比較して、誤差値を算出しＤＡＣ３０２に供給する。
ＤＡＣ３０２は、供給された誤差値に応じた誤差電圧を生成しＬＰＦ３０３に供給する。
【００４４】
ＬＰＦ３０３は、供給される誤差電圧から高周波成分を除去し、低周波成分をＶＣＸＯ３０４に制御電圧として供給する。
【００４５】
ＶＣＸＯ３０４は、供給される制御電圧に応じて発振中心周波数が可変制御されたクロックを出力する。このＶＣＸＯ３０４から出力されたクロックは、ＳＴＣカウンタ３０５に帰還入力される。この、ＶＣＸＯ３０４から出力されるクロックが、デコーダ３６のシステムクロックとして用いられる。
【００４６】
そして、デコーダ３６は、上記で生成されたシステムクロックを用いてストリームデータのデコードを行う。このとき、デコーダ３６は、オーディオフレームが出力された瞬間にそのフレームに関連付けられたＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）を、音声側同期信号としてネットワーク４を通じて映像再生装置２側に送信する。本実施形態では、この音声側同期信号を、オーバーヘッドの少なさを考慮して、ＵＤＰ（ＵｓｅｒＤａｔａｇｒａｍＰｒｏｔｏｃｏｌ）パケットにＰＴＳの値をパケッタイズし、ＰＴＳ通知パケットとして送信する。
【００４７】
ここで、ＰＴＳ通知パケットにより音声再生装置３側のＰＴＳを通知するのは、音声再生装置３側においてＳＴＣカウンタの値がＰＴＳと一致したときに、当該ＰＴＳに関連付けられたオーディオフレームが出力されることから、音声再生装置３側のＳＴＣカウンタの値を映像再生装置２側に通知するのと同等となるためである。なお、この音声再生装置３側のＰＴＳに代えて、オーディオフレームが出力された瞬間のＳＴＣカウンタの値を読み取って、これを通知パケットにより映像再生装置２側に通知するようにしてもよい。
【００４８】
（タイムスタンプ付きＴＳデータの場合）
次に、入力データがタイムスタンプ付きＴＳデータの場合について説明する。この場合、スイッチ３０８はＡ側の端子に接続される。
タイムスタンプ付きＴＳデータは、タイミング制御ブロック３０７に供給される。
【００４９】
タイミング制御ブロック３０７は、タイムスタンプ付きＴＳデータの再生時に、ＶＣＸＯ３０６からのクロック信号に基づいてこのＴＳデータを取り込み、このＴＳデータをデコーダへ供給するタイミングを制御する回路である。
【００５０】
このタイミング制御ブロック３０７は、上記動作とともにＴＳデータからクロックリファレンス（ＰＣＲ）を抽出し、上記で説明したＰＬＬ回路（比較器３０１、ＤＡＣ３０２、ＬＰＦ３０３、ＶＣＸＯ３０４及びＳＴＣカウンタ３０５）に入力する。その後のＰＬＬ回路の動作は通常のＴＳデータ及びＰＳデータの場合と同様である。
ＶＣＸＯ３０６は、タイミング制御ブロック３０７で用いるクロックを発生する発振器である。
【００５１】
（映像側）
次に映像再生装置３の同期制御部２２について図４を用いて説明する。
同期制御部２２は、位相同期ループ回路（ＰＬＬ回路）として比較器２０５と、デジタル信号をアナログ信号に変換するＤＡＣ２０７と、低域周波数を通過させるＬＰＦ２０８と、発振周波数を制御するＶＣＸＯ２０９と、ＳＴＣカウンタ２１２とを備えている。
【００５２】
また、本実施形態での同期制御部２２は、タイムスタンプ付きＴＳデータの再生に対応するために、ＶＣＸＯ２０１と、タイミング制御ブロック２０２と、スイッチ２０３及び２０４とを備えている。
【００５３】
（ＴＳデータ、ＰＳデータの場合）
音声側の説明と同様に、まず、入力データが通常のＴＳデータとＰＳデータとの場合について説明する。この場合、スイッチ２０４はＢ側の端子に接続される。
【００５４】
ＡＶサーバー１から受信したストリームデータから抽出されたクロックリファレンスは、スイッチ２０４のB側の端子を介して比較器２０５に入力される。ただし最初に到着したときはＳＴＣカウンタ２１２に初期化のため、供給される。
【００５５】
その後のＰＬＬ回路における、比較器２０５，ＤＡＣ２０７、ＬＰＦ２０８、ＶＣＸＯ２０９及びＳＴＣカウンタ２１２の各部の動作は、音声再生装置３側とほぼ同様であるので説明を省略し、音声再生装置３との同期を図るために映像再生装置２側に加わった構成についてのみ説明する。
【００５６】
映像再生装置２の同期制御部２２は、上記ＰＬＬ回路の各部に加えて、遅延補正ブロック２１３と、ＳＴＣ差分検出ブロック２１１と、比較器２１０と、加算器２０６とを備えている。
【００５７】
遅延補正ブロック２１３は、音声再生装置３側に応答時間を測定するための測定用信号を、ネットワーク４を通じて送信し、測定用信号に応じて音声再生装置３側から返信された応答信号を受信し、測定用信号の送信から応答信号の受信までの伝送遅延時間を測定し、測定された伝送遅延時間に応じて、音声再生装置３側から受信した音声側同期信号を補正するモジュールである。
【００５８】
具体的には、この遅延補正ブロック２１３は、図５に示すように、コンテンツの再生開始前に、映像再生装置２から音声再生装置３へ、測定用信号としての応答時間測定パケットを複数回送信してから、これに対する応答信号である音声再生装置３からの応答パケットを受信するまでの時間Ｔｒを測定する。そして、このＴｒの半分、すなわちＴｒ／２の平均時間を伝送遅延時間とする。そして、このようにして測定したＰＴＳ通知パケットの遅延時間を、デコーダのクロック周波数で換算したＳＴＣカウント値分として補正に使用する。
【００５９】
ここで、音声再生装置３では、映像再生装置２からの応答時間測定パケットを受信してから応答パケットを送信するまでの応答遅延時間Ｔｄｌが発生する可能性があるが、この応答遅延時間Ｔｄｌは、人間の検知しうるリップシンクのズレ量より十分小さい時間と考えられることから、Ｔｒ／２の平均時間を音声再生装置３がオーディオフレームを出力した瞬間から映像再生装置２でＰＴＳを通知するパケットを受信するまでの時間として問題無い。なお、この人間のリップシンクズレの検知限は、アナウンスにおける評価実験の場合、音進み約４５ｍｓ、音遅れ約１２５ｍｓ、許容限は音進み約９０ｍｓ、音遅れ約１８５ｍｓであることが知られており、打楽器における評価実験の場合で、音進み２３ｍｓ、音遅れ５６ｍｓ、許容限は音進み５６ｍｓ、音遅れ１３０ｍｓであることも知られている。
【００６０】
比較器２１０は、遅延補正ブロック２１３により補正された音声側ＳＴＣカウント値（すなわちＰＴＳ値）とデコーダ２６のＳＴＣカウント値とを比較してこれらの差分を算出し、ＳＴＣ差分検出ブロック２１１は、比較器２１０で得た差分がVideo信号のフレーム周期より大きい小さいか、正の値か負の値かの検出を行うモジュールである。
【００６１】
具体的には、比較器２１０は、補正後の音声再生装置３側のＳＴＣカウント値（ＰＴＳ値）と、映像再生装置２側のＳＴＣカウント値との差分を検出するモジュールである。また、ＳＴＣ差分検出ブロック２１１は、検出された差分が、正の値でビデオフレーム周期相当のカウント値よりも大きかった場合、デコーダにフレームスキップを指示し、負の値で同様の場合だったら、フレームの連続出力をするよう、ＳＴＣ差分検出ブロック２１１から制御するようにして映像と音声の大きな時間ズレに対して短い時間で同期状態に補正できるようにする。
【００６２】
なお、フレームスキップする場合、ＭＰＥＧではＩ、Ｐフレームをスキップすると、これらのフレームは、それ以降のフレームを復号する参照元になっているため再生画像に影響を及ぼしてしまう。したがって、本実施形態では、スキップする場合、次のＢフレームをスキップするようにする。
【００６３】
このようなフレームのスキップや連続出力を行った場合、映像再生装置２側のＳＴＣカウンタ２１２には、次のＰＣＲが到着したときに、その値がセットされ、スキップされたフレーム分だけ追従するように、ＳＴＣカウンタの値が更新される。
【００６４】
（タイムスタンプ付きＴＳデータの場合）
次に、入力データがタイムスタンプ付きＴＳデータの場合について説明する。この場合、スイッチ２０４はＡ側の端子に接続される。タイムスタンプ付きＴＳデータは、タイミング制御ブロック２０２に供給される。
【００６５】
タイミング制御ブロック２０２は、タイムスタンプ付きＴＳデータの再生時に、ＶＣＸＯ２０１からのクロック信号に基づいてこのＴＳデータを取り込み、このＴＳデータをデコーダへ供給するタイミングを制御する回路である。
【００６６】
このタイミング制御ブロック２０２は、上記動作とともにＴＳデータからクロックリファレンス（ＰＣＲ）を抽出し、上記で説明したＰＬＬ回路（比較器２０５、加算器２０６、ＤＡＣ２０７、ＬＰＦ２０８、ＶＣＸＯ２０９及びＳＴＣカウンタ２１２）に入力する。その後のＰＬＬ回路の動作は通常のＴＳデータ及びＰＳデータの場合と同様である。
【００６７】
ＶＣＸＯ２０１は、タイミング制御ブロック３０７で用いるクロックを発生する発振器である。
【００６８】
スイッチ２０３は、ＬＰＦ２０８から出力される誤差電圧と、固定値の電圧とを選択的に切り替えて、ＶＣＸＯ２０１に入力させるためのスイッチであり、外部の音声再生装置３側との同期を行うときには、スイッチをＣ側の端子に接続してＬＰＦ２０８からの誤差電圧をＶＣＸＯ２０１に入力させる一方、同期を行わないときには、スイッチをＤ側の端子に接続して固定値の電圧をＶＣＸＯ２０１に入力させてタイミング制御ブロック２０２のクロックを固定周波数とするとともに、ＳＴＣ差分検出ブロック２１１の出力を「ＳＴＣカウントの誤差なし」の固定値出力とする。
【００６９】
（処理の流れ）
次に、以上の構成によって映像と音声の同期再生を実現するための処理の流れを図６のシーケンス図を用いて説明する。
【００７０】
音声再生装置３又は映像再生装置２からＡＶサーバー１に対して、コンテンツデータの配信要求を送信する（Ｓ１０１）。
ＡＶサーバー１は、この配信要求を受信したらコンテンツデータの配信を開始する（Ｓ１０５）。
【００７１】
このコンテンツデータの配信は、本実施形態では、音声再生装置３及び映像再生装置２の両方に対して同一内容のデータを送信する例で説明するが、音声再生装置３及び映像再生装置２のそれぞれに対して、映像データ及び音声データのそれぞれを送信するようにしてもよい。
【００７２】
次に、遅延補正のための伝送遅延の測定及び算出を行う（Ｓ１０２及びＳ１０３）。なお、このステップは、コンテンツデータの配信要求の前に前もって行なっておいてもよい。
【００７３】
次いで、音声再生装置３及び映像再生装置２において、それぞれネットワーク制御部２３及び３３でコンテンツデータをネットワーク４から受信する（Ｓ１０４）。
【００７４】
次に、音声再生装置３は、音声をデコードするとともに、このデコード時に取り出される音声側同期信号（ＰＴＳ）を、この音声の出力タイミングで映像再生装置２へ送信する。
映像再生装置２は、音声再生装置３から送信される音声側同期信号（ＰＴＳ）を受信する（Ｓ１０７）。
【００７５】
次いで、映像再生装置２側において、Ｓ１０３で算出した遅延時間分を補正する（Ｓ１０８）。
この遅延補正は、ステップＳ１０２及びＳ１０３で測定・算出したＰＴＳ通知パケットの遅延時間を、デコーダのクロック周波数で換算したＳＴＣカウント値分として加算する。そして、比較器２１０において、補正後の音声再生装置３側のＳＴＣカウント値（ＰＴＳ値）と、映像再生装置２側のＳＴＣカウント値との差分を検出する。
【００７６】
検出された差分が、ビデオフレーム周期相当のカウント値よりも大きかった場合（ステップＳ１０９における“Ｙ”）、デコーダにフレームスキップ、又はフレームの連続出力をするよう、ＳＴＣ差分検出ブロック２１１から制御するようにして、映像と音声の大きな時間ズレを補正し、同期状態を維持する（Ｓ１１０）。
【００７７】
一方、検出された差分がビデオフレーム周期相当のカウント値よりも小さかった場合（ステップＳ１０９における“Ｎ”）、そのまま処理を続行する。
更に、送信されるコンテンツデータがタイムスタンプ付きＴＳデータの場合は、映像再生装置２側のタイミング制御ブロック２０２のクロックを発生しているＶＣＸＯ２０１に対しても、上記デコーダのクロック制御に用いるＬＰＦ２０８からの出力を利用し、タイミング制御ブロック２０２のクロックを、デコーダのクロック制御に追従させ、ストリームデータの流量とデコーダの動作クロックとを整合させ、破綻なくデコード動作を制御する。
【００７８】
以上のような処理により、映像再生装置２側において、同期制御部２２は、音声再生装置３側の音声側同期信号（ＰＴＳ）とのズレをなくすように動作し、映像と音声の同期が取るようになる。また、このズレ量が１フレーム期間を超えるような場合は、上述したようにフレームスキップ、若しくはフレームの連続出力により映像の再生を、音声再生装置３側に追従するように動作させる。
したがって、映像の出力タイミングと音声の出力タイミングのズレによる違和感を解消することができる。
【００７９】
（変更例）
本発明は、上述した実施形態に限定されるものではなく、種々の変更を加えることができる。例えば、映像再生装置側のデコーダを、サイズや処理能力、デコード方式が異なるものを複数設け、遅延補正ブロックにおいて検出された伝送遅延の程度に応じて、デコーダを選択するようにしてもよい。
【００８０】
また、図１に示した、ＡＶサーバー１や、音声再生装置３、映像再生装置２に備えられている操作パネルや操作ボタン、リモコン、液晶ディスプレイ等のユーザーインターフェースを、ネットワーク４を通じて相互に接続し、ユーザーの操作信号を相互に送受信可能とし、これらのネットワーク４に接続されたユーザーインターフェースのいずれからでも、上述したコンテンツデータの配信要求や、再生・停止等の再生制御を行えるようにするとともに、これらの操作を上記リップシンク処理の開始又は停止のトリガーとすることができる。
【００８１】
（作用・効果）
以上説明した本実施形態によれば、ネットワーク４上に別途独立して分散配置された映像再生装置２及び音声再生装置３を備えたシステム構成において、音声再生装置３側のデコードを制御する音声側同期信号を映像再生装置２側で取得し、取得した音声側同期信号に映像再生装置２側におけるデコードのカウント値を整合させることにより、音声再生に映像再生を同期させ、リップシンクを取ることができる。
【００８２】
また、本実施形態では、同期再生の際に、伝送遅延時間を測定し、測定された伝送遅延時間に応じて、音声再生装置側から受信した音声側クロック信号を補正するため、ネットワークに依存する伝送遅延を解消することができ、より精度よリップシンクを取ることができる。
【図面の簡単な説明】
【００８３】
【図１】実施形態に係る同期再生装置の全体構成を示す概念図である。
【図２】実施形態に係るＡＶサーバー１、映像再生装置２、及び音声再生装置３の内部構成を示すブロック図である。
【図３】実施形態に係る音声再生装置側同期制御部３２の内部構成を示すブロック図である。
【図４】実施形態に係る映像再生装置側同期制御部２２の内部構成を示すブロック図である。
【図５】実施形態に係る伝送遅延測定方法の説明図である。
【図６】実施形態に係る同期再生装置の動作を示すシーケンス図である。
【符号の説明】
【００８４】
Ｔｄｌ…応答遅延時間
Ｔｒ…時間
１…ＡＶサーバー
２…映像再生装置
２ａ…モニター
３…音声再生装置（オーディオコンポ）
３ａ…シリコンプレーヤー
３ｂ…ＰＤＡ
３ｃ…携帯電話
４…ネットワーク
５…コンテンツ配信サーバー
１１…ネットワーク制御部
１２…チューナー部
１３…ストレージ管理部
１４…エンコーダ
１５…ストリームバッファ
１６…ストレージ
２００１，３００１…ＴＳパケットタイミング再現部
２２，３２…同期制御部
２３，３３…ネットワーク制御部
２４…ディスプレイ
２５…出力インターフェース
２６，３６…デコーダ
２７，３７…ストリームバッファ
３４…スピーカー
３５…出力インターフェース
４１…無線ＬＡＮルーター
４２…インターネット
４３…テレビ放送受信アンテナ
４４…ルーター
２０１，３０６…ＶＣＸＯ
２０２，３０７…タイミング制御ブロック
２０３，２０４，３０８…スイッチ
２０５，３０１…比較器
２０６…加算器
２０７，３０２…ＤＡＣ
２０８，３０３…ＬＰＦ
２０９，３０４…ＶＣＸＯ
２１０…比較器
２１１…ＳＴＣ差分検出ブロック
２１２，３０５…ＳＴＣカウンタ
２１３…遅延補正ブロック
【特許請求の範囲】
【請求項１】
コンテンツデータに含まれる映像データと音声データとを、ネットワーク上に独立して配置される映像再生装置及び音声再生装置を用いてそれぞれ独立して再生させる場合に、前記映像再生装置による前記映像データの再生と前記音声再生装置による音声データの再生とを同期させる同期再生装置であって、
前記音声再生装置側に設けられ、前記コンテンツデータの音声データをデコードする音声デコード手段と、
前記音声再生装置側に設けられ、前記音声デコード手段によるデコード結果である音声信号を出力すべきタイミングの制御値を、音声側同期信号として前記ネットワークを通じて前記映像再生装置側に送信する音声側同期制御部と、
前記映像再生装置側に設けられ、前記コンテンツデータの映像データをデコードする映像デコード手段と、
前記映像再生装置側に設けられ、前記音声再生装置側から送信された前記音声側同期信号を受信し、該音声側同期信号に応じて、前記映像デコード手段で用いるクロックの周波数、及び前記映像デコード手段で再生するフレームのうちの少なくともいずれか一方を調整する映像側同期制御部と、
を備えることを特徴とする同期再生装置。
【請求項２】
前記映像再生装置側に設けられ、
前記ネットワークにおける応答時間を測定するための測定用信号を、前記ネットワークを介して前記音声再生装置側に送信し、前記測定用信号に応じて前記音声再生装置側から返信された応答信号を受信し、前記測定用信号の送信から前記応答信号の受信までの伝送遅延時間を測定し、測定された伝送遅延時間に応じて、前記音声再生装置側から受信した前記音声側同期信号の値を補正する遅延補正部を
更に備えることを特徴とする請求項１に記載の同期再生装置。
【請求項１】
コンテンツデータに含まれる映像データと音声データとを、ネットワーク上に独立して配置される映像再生装置及び音声再生装置を用いてそれぞれ独立して再生させる場合に、前記映像再生装置による前記映像データの再生と前記音声再生装置による音声データの再生とを同期させる同期再生装置であって、
前記音声再生装置側に設けられ、前記コンテンツデータの音声データをデコードする音声デコード手段と、
前記音声再生装置側に設けられ、前記音声デコード手段によるデコード結果である音声信号を出力すべきタイミングの制御値を、音声側同期信号として前記ネットワークを通じて前記映像再生装置側に送信する音声側同期制御部と、
前記映像再生装置側に設けられ、前記コンテンツデータの映像データをデコードする映像デコード手段と、
前記映像再生装置側に設けられ、前記音声再生装置側から送信された前記音声側同期信号を受信し、該音声側同期信号に応じて、前記映像デコード手段で用いるクロックの周波数、及び前記映像デコード手段で再生するフレームのうちの少なくともいずれか一方を調整する映像側同期制御部と、
を備えることを特徴とする同期再生装置。
【請求項２】
前記映像再生装置側に設けられ、
前記ネットワークにおける応答時間を測定するための測定用信号を、前記ネットワークを介して前記音声再生装置側に送信し、前記測定用信号に応じて前記音声再生装置側から返信された応答信号を受信し、前記測定用信号の送信から前記応答信号の受信までの伝送遅延時間を測定し、測定された伝送遅延時間に応じて、前記音声再生装置側から受信した前記音声側同期信号の値を補正する遅延補正部を
更に備えることを特徴とする請求項１に記載の同期再生装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００９−２７２９４５（Ｐ２００９−２７２９４５Ａ）
【公開日】平成２１年１１月１９日（２００９．１１．１９）
【国際特許分類】
【出願番号】特願２００８−１２２４９６（Ｐ２００８−１２２４９６）
【出願日】平成２０年５月８日（２００８．５．８）
【出願人】（０００００４３２９）日本ビクター株式会社 (3,896)
【Ｆターム（参考）】
【公開日】平成２１年１１月１９日（２００９．１１．１９）
【国際特許分類】
【出願日】平成２０年５月８日（２００８．５．８）
【出願人】（０００００４３２９）日本ビクター株式会社 (3,896)
【Ｆターム（参考）】
[ Back to top ]