映像情報再生方法及びシステム、並びに映像情報コンテンツ
【課題】PCRを利用してシステムクロックの補正ができない情況で、蓄積メディアからデータを読み出して再生したり、ネットワーク配信でデータを受信して再生したりした場合において、複数の再生装置(42)における再生を同期させる。
【解決手段】コンテンツの本編の最後のフレームと同じ内容の映像を表示するためのI又はPピクチャーを、再生同期調整用のフレームとして、本編の最後のフレームの後に複数枚追加しておき、基準となる再生装置よりも再生が進んでいる場合は、より多くの同期調整用フレームを再生し(ST11)、再生が遅れている場合には、より少ない同期調整用フレームを再生する(ST9)。
【解決手段】コンテンツの本編の最後のフレームと同じ内容の映像を表示するためのI又はPピクチャーを、再生同期調整用のフレームとして、本編の最後のフレームの後に複数枚追加しておき、基準となる再生装置よりも再生が進んでいる場合は、より多くの同期調整用フレームを再生し(ST11)、再生が遅れている場合には、より少ない同期調整用フレームを再生する(ST9)。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ネットワーク経由で配信された符号化されたデータや、蓄積メディアから読み出された符号化されたデータの再生を行う映像情報再生方法及び映像情報再生システムに関するものである。本発明はまたネットワーク経由で配信される、或いは蓄積メディアから読み出されるコンテンツに関する。
【背景技術】
【0002】
複数の再生装置に対して配信されたコンテンツを、バッファメモリがアンダーフローや、オーバーフローさせることなく再生同期をとる方法としては、TS(Transport Stream)に含まれる、PCR(Program Clock Reference)を利用することが一般的である(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2008−96756号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
地上波デジタル放送などのTS(Transport Stream)を使った放送では、データ送信側から定められたビットレートでデータが送られてくるため、デコーダのシステムクロックが正規の27MHzに完全に一致していないと、バッファメモリが空になってしまったり、あるいはバッファメモリがオーバーフローしてしまったりしてしまい、正常に再生できなくなってしまう。この問題を回避するために、PCR(Program Clock Reference)を使って、デコーダのシステムクロックを定期的に補正する仕組みが用意されている。このようにシステムクロックがTSを受信したすべての再生装置において、同一の時刻に調整されるため、複数の再生装置をならべて表示を行わせた場合、すべての表示装置間で完全に同期がとれた状態となる。
【0005】
一方、DVDやBlu−rayプレーヤーなどの、MPEGデータを再生する機器は、デコーダのバッファがアンダーフローや、オーバーフローを起こさないよう、蓄積メディアから、データの読み出しを行うため、一般にはPCRを使ったシステムクロックを使った時刻補正は必要では無い。そのため、例えば、これらの蓄積メディアから読み出されたデータを複数の再生装置に送り、該複数の再生装置で表示を行った場合、数時間後には、システムクロックのばらつきのため、同期がずれてしまうことがある。
【0006】
同様のことが、ネットワーク配信による再生においても起こりうる。ネットワーク経由の配信も、放送のように定められたビットレートでデータが送出されないため、再生装置側で大きなバッファメモリを保有して再生を行うことが一般的であり、DVDなどと同様にPCRを使ったシステムクロックの補正はできない。そのため、長時間再生を行うと表示装置間で同期がずれてしまうことがある。
【0007】
例えば、サイネージ用途では、一斉配信されたコンテンツは、すべての再生装置において再生同期することが求められるが、以上のように、蓄積メディアからデータを読み出したり、ネットワークでデータを配信したりする場合、PCRが利用できないため、複数の表示装置で長時間再生を行っていると、それぞれの表示が少しずつずれてしまい、そのことが問題となる。
【0008】
そこで、本発明は、上記の課題を解決するためになされたものであり。その目的は、PCRを利用してシステムクロックの補正ができない情況で、蓄積メディアからデータを読み出して複数の映像情報再生装置で再生したり、ネットワーク配信されたデータを複数の映像情報再生装置で受信して再生したりする場合において、再生装置間で再生の同期が取れるようにすることにある。
【課題を解決するための手段】
【0009】
本発明の映像情報再生方法は、
ネットワークで接続されたコンテンツサーバーから、或いは蓄積メディアから、少なくともフレーム内符号化画像情報、及びフレーム間順方向予測符号化画像情報を含むシーケンスで構成され、かつタイムスタンプ情報を含むコンテンツを複数の映像情報再生装置で受信し、前記コンテンツを前記映像情報再生装置で復号し再生する映像情報再生方法であって、
複数の映像情報再生装置の中から、再生時刻の基準となる映像情報再生装置を決めて、それぞれの映像情報再生装置と、基準となる映像情報再生装置との間の再生時刻の誤差を検出する検出ステップと、
基準となる映像情報再生装置から遅れている場合は、遅れ時間に応じて再生する符号化されたコンテンツのフレーム数を、基準となる映像情報再生装置が再生するフレーム数から減じ、基準となる映像情報再生装置から進んでいる場合は、進み時間に応じて再生する符号化されたコンテンツのフレーム数を、基準となる映像情報再生装置が再生するフレームに加算して、再生するフレーム数を調整する調整ステップと
を有することを特徴とする。
【発明の効果】
【0010】
本発明によれば、PCRを使ったデコーダの再生時刻調整ができない、ストリーミング配信されたデータや、蓄積メディアから読み出したデータの再生においても、各再生装置で再生するコンテンツの総フレーム数を、それぞれの再生装置で個別に設定できるため、複数の映像情報再生装置間で再生時刻を高精度に同期させることができるという効果が得られる。
【図面の簡単な説明】
【0011】
【図1】本発明の実施の形態1に係る映像情報再生方法の実施に用いられる映像情報再生装置の構成例を概略的に示すブロック図である。
【図2】図1の係る映像情報再生装置と該映像情報再生装置にネットワークを介して接続されるコンテンツサーバーを含む映像情報再生システム全体の構成を概念的に示す図である。
【図3】図1の映像情報再生装置のバッファメモリの残量の遷移の一例を示す図である。
【図4】一般的なTSストリームのパケットの構成の一例を示す図である。
【図5】図2の映像情報再生システム内の再生時刻が最も進んだ再生装置と、最も遅れた再生装置のバッファメモリの残量の遷移の一例を示す図である。
【図6】本発明の実施の形態1に係るMPEGデータのPESパケットの構成の一例を示す図である。
【図7】発明の実施の形態1に係るTSストリームのパケットの構成の一例を示す図である。
【図8】図7の同期調整用パケットのシンタックスの一例を示す図である。
【図9】本発明の実施の形態1に係る映像情報再生方法を示すフローチャートである。
【図10】図9のステップST7の詳細を示すフローチャートである。
【図11】本発明の実施の形態1における、同期調整のために、再生装置ごとに異なる数のフレームを追加再生する様子を示す図である。
【図12】一般的なMPEG2データの、デコードされる順番と、表示される順番との関係の一例を示す図である。
【図13】本発明の実施の形態1に係る同期調整用に追加されたフレームの、デコードされる順番と、表示される順番との関係の一例を示す図である。
【図14】本発明の実施の形態2に係る映像情報再生方法を示すフローチャートである。
【発明を実施するための形態】
【0012】
実施の形態1.
図1は、本発明の実施の形態1に係る映像情報再生方法の実施に用いられる映像情報再生装置の構成例を概略的に示すブロック図である。図示の映像情報再生装置は、コンテンツサーバーからネットワークを経由して配信されるコンテンツを再生する装置である。
【0013】
図2は、図1の映像情報再生装置とコンテンツサーバーを含む映像情報再生システム全体を概略的に示すブロック図である。コンテンツサーバー41から、例えばイーサネット(登録商標)で構成されるネットワーク43を経由して各映像情報再生装置42に、データは配信される。以下では、ネットワーク43上に、UDP(User Datagram Protocol)を使ったブロードキャスト配信によりデータを配信することを前提として説明を行う。
【0014】
図2に示される映像情報再生装置42は、例えば図1に示されるように構成される。
図1に示される映像情報再生装置は、コンテンツサーバー41から配信されたデータの再生手段としての再生部10と、装置全体の制御を実行する再生制御手段としてのCPU21とを有する。再生部10は、コンテンツサーバー41からの配信されたデータを受信する、データ受信部11と、データ受信部11で受信されたデータを一時的に蓄積しておくバッファメモリ12と、バッファメモリ12から読み出されたデータを、映像情報、音声情報の各情報に分離するデマルチプレクサ13と、映像情報をデコードするビデオデコーダ14と、音声情報をデコードするオーディオデコーダ15とを有する。ビデオデコーダ14から出力される映像信号は、外部表示装置31に送られ、外部表示装置31によって映像が表示される。オーディオデコーダ15から出力される音声信号は、音声出力装置(図示せず)に送られ、音声が出力される。
【0015】
本実施の形態において、データ受信部11に配信されるデータは、TS(Transport Stream)を想定している。この場合、映像情報、音声情報は、PES(Packetized Elementary Stream)パケットに分割された上で、さらにTSパケットに分割され、映像情報、音声情報が重畳された状態で配信される。
【0016】
PESパケットは、MPEG2や、H.264等で符号化されたES(Elementary Stream)に、PESヘッダ情報が付加されたものである。PESパケットは、再生の時間管理を行なう単位でパケット化したものであり、映像情報は、例えば、1枚の画像フレーム(ピクチャー)が1つのPESパケットとされる。PESパケットのヘッダ情報には、タイムスタンプ、例えば再生を行なう時刻情報であるPTS(Presentation Time Stamp)が含まれる。
【0017】
TSパケットは固定長(188バイト)のものであり、それぞれのTSパケットのヘッダ部分には、それぞれのデータ種別に固有のPID(Packet ID)が付与されている。このPIDにより、映像情報であるか、音声情報であるか、システム情報(再生制御情報など)であるかの識別が可能である。デマルチプレクサ13では、PIDを読み取り、映像情報であるか、音声情報であるかを識別し、それぞれのデコーダにデータを振り分ける。
【0018】
なお、本実施の形態においては、188バイトのTSパケットに分割されているものとして説明をしているが、映像情報であるか、音声情報であるかを識別することが可能な、データフォーマットであればTS以外のフォーマットでもよい。また、音声情報が無く、映像情報のみのデータが配信されるような場合は、TSパケットに分割せずPES(Packetized Elementary Stream)のままでもよい。この場合、再生部10のデマルチプレクサ13、オーディオデコーダ15は必要がない。
【0019】
本実施の形態の映像情報再生装置においては、CPU21は、バッファメモリ12の容量を常時監視し、バッファメモリ12がアンダーフローやオーバーフローを起こさないように制御を行う、受信データの制御手段として動作する。
【0020】
図3はバッファメモリ12の容量の遷移を示す図である。CPU21はバッファメモリ12の容量を常にモニターしており、バッファメモリ12の残量を逐次コンテンツサーバー41に通知している。
コンテンツサーバー41がデータの送信を行なっていない状態で、再生装置が再生を行ない、その結果バッファメモリ12のデータ残量が下限値(第1の所定の閾値)SR1まで減少すると、コンテンツサーバー41は再生装置42に対してデータの送信を開始(再開)し、バッファメモリ12の残量が上限値(第2の所定の閾値)SR2に達すると、コンテンツサーバー41は再生装置42に対するデータの送信を停止する。
次にバッファメモリ12の残量が下限値12まで減少すると、コンテンツサーバー41はデータの送信を再開する。
以上の動作を繰り返すことで、バッファメモリ12のデータ残量が上限値SR2と下限値SR1との間に収まるよう送信データの制御を行う。
【0021】
また、CPU21は、同じ再生装置42内のビデオデコーダ14の再生時刻を監視し、コンテンツサーバー41にその時刻を通知するとともに、コンテンツサーバー41から知らされる基準となる再生時刻に対する、同じ再生装置42内のビデオデコーダ14の再生時刻のずれに従い、コンテンツサーバー41からバッファメモリ12に転送するデータサイズを増減させて制御する手段としても動作する。
【0022】
コンテンツサーバー41は、標準となる再生装置42の再生時刻からのずれ量を、各再生装置42に通知する。CPU21は、再生装置42の再生時刻が標準となる再生装置42の再生時刻より進んでいる場合は、データ受信部12で受信したデータから、バッファメモリ12に蓄積するデータ量を多くし、標準となる再生装置42の再生時刻より遅れている場合は、バッファメモリ12に蓄積するデータ量を少なくするよう、データの制御を行う。バッファメモリ12に蓄積するデータ量の制御の詳細な説明は後述する。
【0023】
図4は、コンテンツサーバー41から配信されるTSデータの、データ構成を示す図である。TSデータは、映像情報と音声情報は、188バイト単位のパケット(TSパケット)に分割され、映像データ格納されたビデオパケット、音声データが格納されたオーディオパケット、PAT・PMT等のシステム情報が格納されたPSI/SIパケットが、映像、音声の再生がとぎれることが無いよう重畳されている。
【0024】
次に、コンテンツサーバー41から配信されたコンテンツが再生されるまでのシーケンスについて説明を行う。ユーザーから、コンテンツサーバー41に対して再生開始の要求(再生のためのデータ送信の要求)が出されると、コンテンツサーバー41は、各再生装置42に対する、TSデータのブロードキャストでの送信を開始する。(この再生開始の要求は、再生装置のいずれかから信号を送ることにより行なわれる場合もあり、また図示しない別個の制御機器により与えられることもある。)
【0025】
各再生装置42は、配信されたTSデータをデータ受信部12で受信し、バッファメモリ13へ蓄積を開始する。この時、コンテンツサーバー41は、全再生装置42の中から、代表の装置を任意に決め、代表とした再生装置42のバッファメモリ13のデータ残量を逐次モニターをする。コンテンツサーバー41は、バッファメモリ12の残量が、図3の下限値SR1より大きく、上限値SR2より小さい第3の所定の閾値(初期再生開始値)SR3を超えたことを検知すると、全再生装置42に対して再生の開始(再生装置における表示、出力の開始)を指示する。
【0026】
コンテンツサーバー41から再生指示が出されると、各再生装置42において、バッファメモリ12のTSデータのそれぞれのパケットはデマルチプレクサ13に送出され、該パケットのPIDに従って映像情報、音声情報、SPI/SI情報とに分離される。分離された映像情報はビデオデコーダ14へ送出され、デコードされた映像信号は、外部表示装置31に出力される。また分離された音声情報は、オーディオデコーダ15へ送出され、デコードされた音声信号は音声出力装置(図示せず)に送られ、音声が出力される。映像と音声の再生が開始された後も、コンテンツサーバー41からデータの送信が続けられる限り、バッファメモリ12内の残量は時間とともに増加していく。但し、増加の速度は、再生装置で再生を行なっていないときに比べると遅くなり、そのため、再生時刻より後の残量曲線の傾きは小さくなる。
【0027】
先にも述べたように、CPU21はバッファメモリ12の残量を逐次コンテンツサーバー41に通知しており、バッファメモリ12の残量が上限値SR2に達したことを、コンテンツサーバー41が検知すると、コンテンツサーバー41は、データの転送を停止する。
データの転送が停止されると、各再生装置42のバッファメモリ12の残量は、デコーダでデータが消費されるに従って次第に減少する。代表となっている再生装置42のバッファメモリ12の残量が下限値SR1に達したことをコンテンツサーバー41が検知すると、コンテンツサーバー41はデータの配信を再開する。
【0028】
以上の動作を繰り返すことで、バッファメモリ12がアンダーフローやオーバーフローを起こして音声や映像が途切れることなく、再生が継続される。
但し、各コンテンツの最後の部分では、バッファメモリ12の残量が下限値SR1に達したことが検知されても、それ以上送信すべきデータが存在しないので、図3に点線EOCで示すように、残量はさらに少なくなり、最後はゼロに達する。
【0029】
閾値SR1、SR2、SR3の値については、バッファメモリ12の容量、再生するビットレート等により最適な値に設定されるべきであるが、本出願には直接関わる値でないため、特に閾値の値については言及しない。
【0030】
以上の手順で、全再生装置42で一斉に再生が開始されるが、ビデオデコーダ14の基準時刻を生成している、クロック回路22内の水晶発振器の発振周波数は全く同一ではなく、再生装置42間で発振周波数に差異がある。デコードした映像の出力時刻は、この基準時刻を元に映像情報中の(PESパケットのヘッダ情報に含まれる)PTSに従って制御されている。即ち、各PESは、該PESのヘッダ情報に含まれるPTSで指定された時刻(コンテンツの先頭を再生する時刻に対する相対時刻)になったことを、再生装置42内の水晶発振器から発生されるクロックパルスのカウント結果との比較により、検知しながら、デコードを行なったり、デコード後の時間調整(遅延)を行なったりしながら、各PESの画像を、当該PESのヘッダ情報に含まれるPTSで指定された時刻(コンテンツの再生開始からの相対時刻)に再生出力を行なうようにしている。上記の再生時刻のずれとは、あるPTSを含むPESパケットの一つの再生装置における再生を、当該一つの再生装置内のクロック回路22で計時した時刻と、同じPTSを含むPESパケットの、別の再生装置における再生を、当該別の再生装置内のクロック回路22で計時した時刻との差を意味する。
【0031】
上記の構成であるため、水晶発振器の周波数の誤差が原因となり、時間とともに各再生装置42の再生時刻にずれが生じてくる。例えば、水晶発振器の精度が±20ppmとし、最も表示の進んだ再生装置42と、最も表示の遅れた再生装置42との間には、40ppmの誤差が生じ、24時間連続して再生を続けると仮定すると、約3秒弱の時間のずれが生じる可能性がある。
【0032】
また、コンテンツサーバー41は、全再生装置42の中の、一つを代表の再生装置42として、そのバッファメモリ12内のデータ残量をモニターしながら、データ配信の制御を行っているため、最も誤差の大きい再生装置42を代表とした場合、他の再生装置42のバッファメモリ12でバッファのアンダーフローやオーバーフローが発生する可能性が高くなる。
【0033】
図5は、再生を開始して20時間後の、当該最も時刻の進みが早い映像再生装置42が代表で選択されている場合の、最も時刻の進みの早い再生装置(F)と、最も遅い再生装置(S)のバッファの残量の遷移を示す。最も早い再生装置(F)の残量が下限値SR1になった時刻T1より、コンテンツサーバー41からのデータ配信が再開されるが、この時、最も遅い再生装置の残量(S)は、データがより多く残っている。
【0034】
例えば、映像の符号化ビットレートが10Mbpsとすると、上記の時間のずれにより、再生装置(S)には再生装置(F)よりも、3.5Mbitも多くデータが残っている。
バッファメモリ12の容量が10Mbit、下限値SR1が3Mbit、上限値SR2が6Mbitとすると、再生装置(F)の残量が6Mbitになった時点で、再生装置(S)の残量は、9.5Mbitとなり、バッファメモリの容量の限界に近づいている。このまま再生(そのためのデータの送信)をさらに継続すると、再生装置(S)のバッファメモリ12の容量を超えたときに、再生すべきデータが捨てられ、一部フレームの抜けた映像が表示されることになる。
【0035】
上記に説明したように、水晶発振器の周波数のばらつきが原因で、長時間再生を継続することで、各映像情報表示装置間の表示の同期がとれなくなり、最悪の場合バッファメモリのオーバーフローや、アンダーフローが発生し、再生の途切れや中断が発生するという問題があった。
【0036】
図6は、本発明の実施の形態に係る映像情報再生方法を実施するために、改良された映像情報におけるPESパケットの配列の一例を示す図である。
PESパケットのうち、符号「I」で示すものはIピクチャーで構成されたもの、符号「P」はPピクチャーで構成されたもの、符号「B」はBピクチャーで構成されたものを示す。符号「I」、「P」、「B」に付された添え字「1」、「2」、「3」などはそれぞれI、P、Bピクチャー同士を区別するためのものであり、再生の順序をも示す。
【0037】
Iピクチャーはフレーム内符号化された画像情報(フレーム内符号化画像情報)であり、単独にデコード可能である。Pピクチャーはそれより前のピクチャー(Iピクチャー又は他のPピクチャー)を参照して順方向動き補償予測符号化された画像情報(フレーム間順方向予測符号化画像情報)であり、Bピクチャーは、それより前のピクチャー及びそれより後のピクチャー(Iピクチャー、Pピクチャー又は他のBピクチャー)を参照して双方向動き補償予測符号化された画像情報(フレーム間双方向予測符号化画像)である。
【0038】
ここでTSデータの再生時間が60secで、フレームレートが30fpsとすると、TSデータは合計1800(60x30=1800)のPESパケットとなるが、本実施の形態では、上記の1800のPESパケットで構成される本編部分(本発明の同期調整をおこなわない場合にもTSデータを構成する部分として含まれる部分)に、再生同期調整用に、さらに10フレーム分のPESパケットが追加され、合計1810のPESパケットにより構成される。この追加された10フレームの映像は、60secの最終フレームの映像と同じものを繰り返し表示するよう符号化されている。図示の例では、最終フレームの映像と同じ映像のデータからなる1フレームのIピクチャーデータと、それに続き同じ映像を引き続き表示するための9フレームのPピクチャーデータとで同期調整用フレーム(群)が構成されている。
【0039】
このように同期調整用のフレームの追加は、あらかじめコンテンツサーバー41にオーサリングされた形態で保持してもよいし、またMPEGのダミーピクチャーを利用して、コンテンツサーバー41上で配信時に付加してもよい。
【0040】
追加されたPESパケットの先頭のPESパケットは、Iピクチャー(H.264の場合はIDRピクチャーであるが、これもフレーム内符号化された画像情報である)であり、続くPESパケットは、Bピクチャーを含まない、PピクチャーまたはIピクチャー(IDRピクチャー)により構成されている。Bピクチャーを含まないため、追加された同期調整用の10フレーム分のピクチャーは、表示される順番と、データの配列の順番とが一致することになる。これに対して、例えば、図6のTSデータの先頭部分は、「I1」、「P1」、「B1」、「B2」、の順にPESパケットが配列されているが、実際に表示される順番は、「I1」、「B1」、「B2」、「P1」であり、配列順と表示順が異なる。
【0041】
図7は、実施の形態に係る映像情報再生方法を実施するために、改良されたTSデータのTSパケットの配列を示す図である。図4のTSデータとの違いは、追加された10フレーム分の各PESパケットの先頭のTSパケットが、TSデータの先頭から何パケット目に存在するかを示す調整パケット情報が記述された調整情報パケットが重畳されている点である。
【0042】
図8は、前記の同期調整用パケットのシンタックスを示す図である。
“num_of_PES”は、本編に追加された同期調整用に利用できるPES(フレーム)の総数である。次のループは、“num_of_PES”の数だけ繰り返される。10フレームある場合は“num_of_PES”=10となる。
“PTS_for_adjust(i)”は、同期調整用に利用できるPESパケットの各々の先頭のPTS値を示す。
“SPN_for_adjust(i)”は、“PTS_for_adjust(i)”が指し示すPESパケットの先頭を含むTSパケットが、TSデータの先頭から何パケット目であるかを示す値である。
なお、本実施の形態では、調整パケット情報をTSパケットに重畳して再生装置42に送っているが、必ずしもTSパケットに重畳する必要は無く、独自のコマンドに調整パケット情報を載せて、再生装置42に送ってもよい。
【0043】
コンテンツサーバー41には、図7のように構成されたTSデータが複数存在し、各映像情報再生装置42に対して、連続して配信される。ユーザーからコンテンツサーバー41に対して、再生の指示が出されると、あらかじめ指示された順番で、コンテンツサーバー41のTSデータの配信が開始される。
通常再生時においては、CPU21では、TSデータに含まれる調整情報パケットのデータをから、追加された10フレームのPESパケットが含まれるTSパケットが来るのを監視し、SPN_for_adjust(0)”以降のTSパケットは破棄し、バッファメモリ13に蓄積を行わない。
【0044】
図9は、映像情報再生装置42間の再生を同期させるための処理のシーケンスを示す図である。ステップSTST5,ST6は、コンテンツサーバー41における処理を示し、他のステップは、再生装置42における処理を示す。
【0045】
通常再生を行っている時は、コンテンツの本編の再生が完了しても、前述の様に追加された10フレーム分の表示は行われない(ST1)。前述した通り、水晶発振器の周波数は20ppm程度の精度であるため、数分再生した程度では、同期ずれは視認されない程度である。コンテンツサーバー41からは、数十分に1回程度(即ち所定時間が経過するごとに(ST2)、各再生装置42に対して、現在の再生時刻の確認が行われる(ST3)。
【0046】
コンテンツサーバー41からの再生時刻の確認に対して、各再生装置42からは、現在の再生時刻をコンテンツサーバー41に通知する(ST4)。
【0047】
コンテンツサーバー41では、通知された時刻を集計し、再生時刻の同期調整を行う必要があるかどうかを判断する(ST5)。そのため、最も進んでいる再生時刻と最も遅れている再生時刻の差が所定値以上、例えば1フレーム以上かどうかの判断を行なう。
再生時刻の差が1フレーム以上あり、調整の必要性があると判断された場合、再生時刻の中の平均値を持つ再生装置42を基準となる再生装置42とし、その再生時刻を基準時刻として全再生装置42に対して通知する(ST6)。
基準時刻を受け取った各再生装置42は、先ほど自身で通知した再生時刻と、コンテンツサーバー41から通知された基準時刻との差から、基準の再生装置42から、遅れて再生しているのか、進んで再生をしているかを認識し再生時刻を調整する(ST7)。
【0048】
コンテンツサーバー41から通知された基準再生時刻との差が1フレーム以内であるかどうかを判定し、再生時刻の差が1フレーム以内である場合、再生装置42は同期調整用に追加された10フレームの内、5フレーム目までを再生し、CPU21はSPN_for_adjust(5)以降のデータを破棄する。よって、現在再生中のTSデータの総再生時間は、本編+5フレームとなり、最後の6フレームは本編最終のフレームが連続して表示されることになる。付加された前半5フレーム分を再生した後は、引き続き次のコンテンツのTSデータの再生を継続する。
【0049】
図10は、図9のステップST7の調整シーケンスを詳細に示す図である。まず、基準とする再生装置42の再生時刻(基準時刻)から、1フレーム以上遅れて再生しているかどうかを判別する(ST8)。
基準時刻から1フレーム以上遅れていると判断した再生装置42は、基準時刻と、自らの再生時刻から遅れ時間を算出し、遅れ時間に相当するフレーム数を割り出し、5フレームから遅れ時間に相当するフレーム数を減算することで、バッファメモリ12に蓄積するべきデータサイズを計算する。例えば遅れ時間が60msec(2フレーム分)であった場合、TSデータの終端に付加された10フレームの内、前半の3フレーム分だけをバッファメモリ12に蓄積し、SPN_for_adjust(3)以降のデータを破棄する(ST9)。
この結果、現在再生中のTSデータの総再生時間は、本編+3フレームとなり、最後の4フレームは本編最終のフレームが連続して表示されることになる。付加された前半3フレーム分を再生した後、引き続き次のコンテンツのTSデータの再生を継続する。
【0050】
ステップST10では、基準となっている再生装置42の再生時刻から1フレーム以上進んでいるかどうかを判断する。1フレーム以上進んでいると判断した再生装置42は、基準時刻と、自らの再生時刻から、進み時間を算出し、進み時間に相当するフレーム数を割り出し、5フレームに進み時間に相当するフレーム数を加算することで、バッファメモリ12に蓄積すべきデータサイズを計算する(ST11)。例えば進み時間が90msec(3フレーム分)であった場合、TSデータの終端に付加された10フレームの内、前半の8フレーム分だけをバッファメモリ12に蓄積し、SPN_for_adjust(8)以降のデータを破棄する。よって、現在再生中のTSデータの総再生時間は、本編+8フレームとなり、最後の9フレームは本編最終のフレームが連続して表示されることになる。付加された前半8フレーム分を再生した後、引き続き次のコンテンツのTSデータの再生を継続する。
【0051】
ステップST10で、進み時間が1フレーム以内と判断した再生装置42は、TSデータの終端に付加された10フレームの内、5フレーム目までを再生し、SPN_for_adjust(5)以降のデータを破棄する(ST12)。よって、現在再生中のTSデータの総再生時間は、本編+5フレームとなり、最後の6フレームは本編最終のフレームが連続して表示されることになる。付加された前半5フレーム分を再生した後は、引き続き次のコンテンツのTSデータの再生を継続する。
【0052】
上記の場合、基準時刻から遅れた再生装置42の、現在再生中のコンテンツの総再生時間は、基準となっている再生装置42に対して、2フレーム分だけ短くなり、再生時刻が進んだ再生装置42の、現在再生中のコンテンツの総再生時間は、基準となっている再生装置42に対して、2フレーム分だけ長くなる。
【0053】
図11は、コンテンツの切り替わり前後の、各再生装置42の再生時刻の遷移を表した図である。上記のシーケンスに従って再生を行うと、基準時刻に対して、遅れている再生装置42は、現在再生しているTSデータの総再生時間を、遅れた分だけ基準となっている再生装置42より短くし、進んでいる再生装置42は、現在再生しているTSデータの総再生時間を、遅れた分だけ基準となっている再生装置42より長くすることで、次のコンテンツのTSデータの再生の開始タイミングを1フレーム以内の時間差以下にあわせることが可能となる。
【0054】
以上の様に、TSデータの再生時刻を、各再生装置42で高精度に調整可能とするために、付加された調整用のTSデータにはいくつかの制約条件が必要となる。図12は一般的なMPEGのフレームの並びを示した図である。この場合、コンテンツサーバー41からは、「I1」、「P1」、「B1」、「B2」、…の順にデータが配信されるが、表示の順番は、「I1」、「B1」、「B2」、「P1」、…となっている。図12の様に、追加データが配列されている場合において、「B1」までを再生したい場合、データは「I1」、「P1」、「B1」、「B2」の4フレーム分をバッファメモリ12に入力する必要がある。デコーダ14では、「I1」、「B1」、「B2」、「P1」の4フレームが再生されてしまうため、本来表示させたいフレーム数を2フレーム超えてしまう。
【0055】
同様に、「B2」まで表示させたい場合も、「P1」まで再生させたい場合も、「I1」、「B1」、「B2」、「P1」の4フレームが再生されてしまう。このように、Bフレームが含まれるよう符号化すると、図12に示す場合には最大2フレームの誤差が発生するため、同期精度が落ちてしまう。
【0056】
図13は、フレーム単位で、1フレームの精度で同期をあわせるために考慮されたフレームの並びである。図12との違いはBフレームを使わずに符号化を行っている点である。このように符号化した場合、フレームの配列順と再生順とが一致している。このため、3フレーム分だけ再生したい場合は、「I1」、「P1」、「P2」の3フレーム分のデータをバッファメモリに蓄積し、以降のフレームを破棄すればよい。この様にBフレームを使用しないことで、フレーム精度の同期調整が可能となる。但し、Bフレームを使わずに符号化した場合、符号化効率が下がるため、Bフレームを使った場合と同じ画質を確保するためには、データサイズが大きくなってしまう。これを回避するには、本編部分はBフレームを使って符号化を行い、調整用のフレームについては、Bフレームを使わずに符号化を行う方法が望ましいが、本編と調整用のフレームとを別の規則で符号化することは、符号化が複雑になる問題点もある。よって、同期精度が求められるシステムに対して、調整用のフレームにBフレームを使わずに符号化し、高い同期精度を求めない場合は、Bフレームを使用した符号化を行うとよい。
【0057】
以上、説明したように、終端に再生時刻の同期調整するためのフレームを追加されたTSデータを使い、基準となっている再生装置42の再生時刻からの、相対的な再生時刻差情報から、バッファメモリに蓄積する追加された同期調整用のTSデータ量を調整することで、高精度に表示装置間の再生の同期を図ることが可能となる。
【0058】
なお、本実施の形態の説明では、再生時刻が全再生装置42の再生時刻の平均値に近い再生装置42の再生時刻を基準時刻に設定しているが、平均値に近い値である必要はなく、例えば、中央値としても良く、また最も再生時刻の進んだ再生装置42を基準とし、最も再生時刻の進んだ再生装置42には、追加された10フレームすべてを再生させ、それ以外の再生装置42には、基準となっている再生時刻との誤差の大きさに従って、追加再生するフレーム数を10フレームから減らして再生させても、全く同じ効果が得られる。同様に、最も再生時刻の遅れた再生装置42を基準とし、最も再生時刻の遅れた再生装置42には、追加フレームは再生させず、それ以外の再生装置42には、基準の再生時刻との誤差の大きさに従って、追加再生するフレームを増やして再生させることでも、全く同様の効果が得られる。
【0059】
本発明は、例えば自動車、列車、建物などにおいて複数の画面に表示を行なう表示装置に適用することができ、複数の表示装置間の再生時刻を高精度に同期させることができるという効果が得られる。
【0060】
実施の形態2.
実施の形態1では、各再生装置42間の再生時刻のばらつきが調整用に用意されたフレーム数以内に収まっている場合の調整方法について説明をおこなった。しかし、再生装置42内でCPU21に急な負荷がかったり、また電気的なノイズの影響で再生装置42にリセットがかかってしまったりして、再生準備可能となる前に、コンテンツサーバー41からのデータ配信が開始されてしまった場合、大幅に再生同期がずれてしまう場合がある。この場合、ずれ時間が、数秒間にもなるため、実施の形態1の調整方法で、同期がとれるまでに、数十分から数時間を要する場合がある。
【0061】
図14は、このように大幅に再生時刻がずれてしまった時に、短時間に調整を行うために改良されたシーケンス図である。同図において、ステップST18及びST19は、コンテンツサーバー41で行なわれる処理であり、その他のステップは、各再生装置42で行なわれる処理である。
まず、基準となっている再生装置42の再生時刻に対して、実施の形態1で説明した調整方法で、同期化が可能な範囲内のずれ量かどうか(実施の形態1で説明した方法で調整が可能な範囲内かどうか)を判断する(ST13)。
【0062】
同期化が可能な範囲内であると判断された場合は、ステップST14へ進み、通常の調整(図10を参照して説明した調整)を行う。ステップST14での調整の詳細については、実施の形態1で詳細に説明を行ったので省略する。
再生時刻のずれ量が、同期化が可能な範囲外であると判断されると、現在再生中のコンテンツの再生を中断し、バッファメモリ13に蓄積されているすべてのデータをクリアする(ST15)。
【0063】
再生を中断した再生装置42は、現在再生中のコンテンツのTSデータの配信が完了し、次のコンテンツの先頭のTSパケットの先頭パケットが配信されるのを待つ(ST16)。次のコンテンツの先頭のTSパケットを検出すると、CPU21は、データのバッファメモリ13への蓄積を開始する(ST17)。
【0064】
次に、コンテンツサーバー41は、基準となっている再生装置42に対して、次のコンテンツの先頭のフレームの再生が開始されたら、コンテンツサーバー41に通知するよう指示し、基準となっている再生装置42から、次のコンテンツの再生が開始されたことが、コンテンツサーバー41に通知される(ST18)と、コンテンツサーバー41は、再生を中断した再生装置42に対して、再生開始指示を出し(ST19)、再生を中断した再生装置42におけるコンテンツの再生が再開される。
【0065】
基準となっている再生装置42から、コンテンツサーバー41に再生開始が通知され、コンテンツサーバー41から、再生を中断した再生装置42に再生開始指示が伝わるまで、ネットワークによる遅延、ソフトウェアの処理時間による遅延、ビデオデコーダ14に再生指示を出してから最初のフレームが表示されるまでの遅延があるため、この時点では、再生を中断した再生装置42の再生時刻は、他の再生装置42に対し数フレーム遅れた状態にある。しかし、この遅れは通常の同期を調整するシーケンスで調整可能な範囲内であるため、次回の調整シーケンスで同期を一致させることが可能である。
【0066】
以上説明したように、再生時刻が大幅にずれた再生装置42に対しては、一旦再生を中断し、基準となっている再生装置42が、次のコンテンツの先頭フレームを再生開始するタイミングで、再生を再開することで、次のコンテンツの調整で速やかに再生時刻の同期を図ることが可能となる。
【0067】
本発明は、例えば自動車、列車、建物などにおいて複数の画面に表示する表示装置に適用することができ、複数の表示装置間の再生時刻の同期を短時間に合わせることができるという効果が得られる。
【符号の説明】
【0068】
10 再生部、 11 データ受信部、 12 バッファメモリ、 13 デマルチプレクサ、 14 ビデオデコーダ、 15 オーディオデコーダ、 21 CPU(判別手段、再生制御手段)、 31 外部表示装置、 41 コンテンツサーバー、 42 再生装置、 43 ネットワーク。
【技術分野】
【0001】
本発明は、ネットワーク経由で配信された符号化されたデータや、蓄積メディアから読み出された符号化されたデータの再生を行う映像情報再生方法及び映像情報再生システムに関するものである。本発明はまたネットワーク経由で配信される、或いは蓄積メディアから読み出されるコンテンツに関する。
【背景技術】
【0002】
複数の再生装置に対して配信されたコンテンツを、バッファメモリがアンダーフローや、オーバーフローさせることなく再生同期をとる方法としては、TS(Transport Stream)に含まれる、PCR(Program Clock Reference)を利用することが一般的である(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2008−96756号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
地上波デジタル放送などのTS(Transport Stream)を使った放送では、データ送信側から定められたビットレートでデータが送られてくるため、デコーダのシステムクロックが正規の27MHzに完全に一致していないと、バッファメモリが空になってしまったり、あるいはバッファメモリがオーバーフローしてしまったりしてしまい、正常に再生できなくなってしまう。この問題を回避するために、PCR(Program Clock Reference)を使って、デコーダのシステムクロックを定期的に補正する仕組みが用意されている。このようにシステムクロックがTSを受信したすべての再生装置において、同一の時刻に調整されるため、複数の再生装置をならべて表示を行わせた場合、すべての表示装置間で完全に同期がとれた状態となる。
【0005】
一方、DVDやBlu−rayプレーヤーなどの、MPEGデータを再生する機器は、デコーダのバッファがアンダーフローや、オーバーフローを起こさないよう、蓄積メディアから、データの読み出しを行うため、一般にはPCRを使ったシステムクロックを使った時刻補正は必要では無い。そのため、例えば、これらの蓄積メディアから読み出されたデータを複数の再生装置に送り、該複数の再生装置で表示を行った場合、数時間後には、システムクロックのばらつきのため、同期がずれてしまうことがある。
【0006】
同様のことが、ネットワーク配信による再生においても起こりうる。ネットワーク経由の配信も、放送のように定められたビットレートでデータが送出されないため、再生装置側で大きなバッファメモリを保有して再生を行うことが一般的であり、DVDなどと同様にPCRを使ったシステムクロックの補正はできない。そのため、長時間再生を行うと表示装置間で同期がずれてしまうことがある。
【0007】
例えば、サイネージ用途では、一斉配信されたコンテンツは、すべての再生装置において再生同期することが求められるが、以上のように、蓄積メディアからデータを読み出したり、ネットワークでデータを配信したりする場合、PCRが利用できないため、複数の表示装置で長時間再生を行っていると、それぞれの表示が少しずつずれてしまい、そのことが問題となる。
【0008】
そこで、本発明は、上記の課題を解決するためになされたものであり。その目的は、PCRを利用してシステムクロックの補正ができない情況で、蓄積メディアからデータを読み出して複数の映像情報再生装置で再生したり、ネットワーク配信されたデータを複数の映像情報再生装置で受信して再生したりする場合において、再生装置間で再生の同期が取れるようにすることにある。
【課題を解決するための手段】
【0009】
本発明の映像情報再生方法は、
ネットワークで接続されたコンテンツサーバーから、或いは蓄積メディアから、少なくともフレーム内符号化画像情報、及びフレーム間順方向予測符号化画像情報を含むシーケンスで構成され、かつタイムスタンプ情報を含むコンテンツを複数の映像情報再生装置で受信し、前記コンテンツを前記映像情報再生装置で復号し再生する映像情報再生方法であって、
複数の映像情報再生装置の中から、再生時刻の基準となる映像情報再生装置を決めて、それぞれの映像情報再生装置と、基準となる映像情報再生装置との間の再生時刻の誤差を検出する検出ステップと、
基準となる映像情報再生装置から遅れている場合は、遅れ時間に応じて再生する符号化されたコンテンツのフレーム数を、基準となる映像情報再生装置が再生するフレーム数から減じ、基準となる映像情報再生装置から進んでいる場合は、進み時間に応じて再生する符号化されたコンテンツのフレーム数を、基準となる映像情報再生装置が再生するフレームに加算して、再生するフレーム数を調整する調整ステップと
を有することを特徴とする。
【発明の効果】
【0010】
本発明によれば、PCRを使ったデコーダの再生時刻調整ができない、ストリーミング配信されたデータや、蓄積メディアから読み出したデータの再生においても、各再生装置で再生するコンテンツの総フレーム数を、それぞれの再生装置で個別に設定できるため、複数の映像情報再生装置間で再生時刻を高精度に同期させることができるという効果が得られる。
【図面の簡単な説明】
【0011】
【図1】本発明の実施の形態1に係る映像情報再生方法の実施に用いられる映像情報再生装置の構成例を概略的に示すブロック図である。
【図2】図1の係る映像情報再生装置と該映像情報再生装置にネットワークを介して接続されるコンテンツサーバーを含む映像情報再生システム全体の構成を概念的に示す図である。
【図3】図1の映像情報再生装置のバッファメモリの残量の遷移の一例を示す図である。
【図4】一般的なTSストリームのパケットの構成の一例を示す図である。
【図5】図2の映像情報再生システム内の再生時刻が最も進んだ再生装置と、最も遅れた再生装置のバッファメモリの残量の遷移の一例を示す図である。
【図6】本発明の実施の形態1に係るMPEGデータのPESパケットの構成の一例を示す図である。
【図7】発明の実施の形態1に係るTSストリームのパケットの構成の一例を示す図である。
【図8】図7の同期調整用パケットのシンタックスの一例を示す図である。
【図9】本発明の実施の形態1に係る映像情報再生方法を示すフローチャートである。
【図10】図9のステップST7の詳細を示すフローチャートである。
【図11】本発明の実施の形態1における、同期調整のために、再生装置ごとに異なる数のフレームを追加再生する様子を示す図である。
【図12】一般的なMPEG2データの、デコードされる順番と、表示される順番との関係の一例を示す図である。
【図13】本発明の実施の形態1に係る同期調整用に追加されたフレームの、デコードされる順番と、表示される順番との関係の一例を示す図である。
【図14】本発明の実施の形態2に係る映像情報再生方法を示すフローチャートである。
【発明を実施するための形態】
【0012】
実施の形態1.
図1は、本発明の実施の形態1に係る映像情報再生方法の実施に用いられる映像情報再生装置の構成例を概略的に示すブロック図である。図示の映像情報再生装置は、コンテンツサーバーからネットワークを経由して配信されるコンテンツを再生する装置である。
【0013】
図2は、図1の映像情報再生装置とコンテンツサーバーを含む映像情報再生システム全体を概略的に示すブロック図である。コンテンツサーバー41から、例えばイーサネット(登録商標)で構成されるネットワーク43を経由して各映像情報再生装置42に、データは配信される。以下では、ネットワーク43上に、UDP(User Datagram Protocol)を使ったブロードキャスト配信によりデータを配信することを前提として説明を行う。
【0014】
図2に示される映像情報再生装置42は、例えば図1に示されるように構成される。
図1に示される映像情報再生装置は、コンテンツサーバー41から配信されたデータの再生手段としての再生部10と、装置全体の制御を実行する再生制御手段としてのCPU21とを有する。再生部10は、コンテンツサーバー41からの配信されたデータを受信する、データ受信部11と、データ受信部11で受信されたデータを一時的に蓄積しておくバッファメモリ12と、バッファメモリ12から読み出されたデータを、映像情報、音声情報の各情報に分離するデマルチプレクサ13と、映像情報をデコードするビデオデコーダ14と、音声情報をデコードするオーディオデコーダ15とを有する。ビデオデコーダ14から出力される映像信号は、外部表示装置31に送られ、外部表示装置31によって映像が表示される。オーディオデコーダ15から出力される音声信号は、音声出力装置(図示せず)に送られ、音声が出力される。
【0015】
本実施の形態において、データ受信部11に配信されるデータは、TS(Transport Stream)を想定している。この場合、映像情報、音声情報は、PES(Packetized Elementary Stream)パケットに分割された上で、さらにTSパケットに分割され、映像情報、音声情報が重畳された状態で配信される。
【0016】
PESパケットは、MPEG2や、H.264等で符号化されたES(Elementary Stream)に、PESヘッダ情報が付加されたものである。PESパケットは、再生の時間管理を行なう単位でパケット化したものであり、映像情報は、例えば、1枚の画像フレーム(ピクチャー)が1つのPESパケットとされる。PESパケットのヘッダ情報には、タイムスタンプ、例えば再生を行なう時刻情報であるPTS(Presentation Time Stamp)が含まれる。
【0017】
TSパケットは固定長(188バイト)のものであり、それぞれのTSパケットのヘッダ部分には、それぞれのデータ種別に固有のPID(Packet ID)が付与されている。このPIDにより、映像情報であるか、音声情報であるか、システム情報(再生制御情報など)であるかの識別が可能である。デマルチプレクサ13では、PIDを読み取り、映像情報であるか、音声情報であるかを識別し、それぞれのデコーダにデータを振り分ける。
【0018】
なお、本実施の形態においては、188バイトのTSパケットに分割されているものとして説明をしているが、映像情報であるか、音声情報であるかを識別することが可能な、データフォーマットであればTS以外のフォーマットでもよい。また、音声情報が無く、映像情報のみのデータが配信されるような場合は、TSパケットに分割せずPES(Packetized Elementary Stream)のままでもよい。この場合、再生部10のデマルチプレクサ13、オーディオデコーダ15は必要がない。
【0019】
本実施の形態の映像情報再生装置においては、CPU21は、バッファメモリ12の容量を常時監視し、バッファメモリ12がアンダーフローやオーバーフローを起こさないように制御を行う、受信データの制御手段として動作する。
【0020】
図3はバッファメモリ12の容量の遷移を示す図である。CPU21はバッファメモリ12の容量を常にモニターしており、バッファメモリ12の残量を逐次コンテンツサーバー41に通知している。
コンテンツサーバー41がデータの送信を行なっていない状態で、再生装置が再生を行ない、その結果バッファメモリ12のデータ残量が下限値(第1の所定の閾値)SR1まで減少すると、コンテンツサーバー41は再生装置42に対してデータの送信を開始(再開)し、バッファメモリ12の残量が上限値(第2の所定の閾値)SR2に達すると、コンテンツサーバー41は再生装置42に対するデータの送信を停止する。
次にバッファメモリ12の残量が下限値12まで減少すると、コンテンツサーバー41はデータの送信を再開する。
以上の動作を繰り返すことで、バッファメモリ12のデータ残量が上限値SR2と下限値SR1との間に収まるよう送信データの制御を行う。
【0021】
また、CPU21は、同じ再生装置42内のビデオデコーダ14の再生時刻を監視し、コンテンツサーバー41にその時刻を通知するとともに、コンテンツサーバー41から知らされる基準となる再生時刻に対する、同じ再生装置42内のビデオデコーダ14の再生時刻のずれに従い、コンテンツサーバー41からバッファメモリ12に転送するデータサイズを増減させて制御する手段としても動作する。
【0022】
コンテンツサーバー41は、標準となる再生装置42の再生時刻からのずれ量を、各再生装置42に通知する。CPU21は、再生装置42の再生時刻が標準となる再生装置42の再生時刻より進んでいる場合は、データ受信部12で受信したデータから、バッファメモリ12に蓄積するデータ量を多くし、標準となる再生装置42の再生時刻より遅れている場合は、バッファメモリ12に蓄積するデータ量を少なくするよう、データの制御を行う。バッファメモリ12に蓄積するデータ量の制御の詳細な説明は後述する。
【0023】
図4は、コンテンツサーバー41から配信されるTSデータの、データ構成を示す図である。TSデータは、映像情報と音声情報は、188バイト単位のパケット(TSパケット)に分割され、映像データ格納されたビデオパケット、音声データが格納されたオーディオパケット、PAT・PMT等のシステム情報が格納されたPSI/SIパケットが、映像、音声の再生がとぎれることが無いよう重畳されている。
【0024】
次に、コンテンツサーバー41から配信されたコンテンツが再生されるまでのシーケンスについて説明を行う。ユーザーから、コンテンツサーバー41に対して再生開始の要求(再生のためのデータ送信の要求)が出されると、コンテンツサーバー41は、各再生装置42に対する、TSデータのブロードキャストでの送信を開始する。(この再生開始の要求は、再生装置のいずれかから信号を送ることにより行なわれる場合もあり、また図示しない別個の制御機器により与えられることもある。)
【0025】
各再生装置42は、配信されたTSデータをデータ受信部12で受信し、バッファメモリ13へ蓄積を開始する。この時、コンテンツサーバー41は、全再生装置42の中から、代表の装置を任意に決め、代表とした再生装置42のバッファメモリ13のデータ残量を逐次モニターをする。コンテンツサーバー41は、バッファメモリ12の残量が、図3の下限値SR1より大きく、上限値SR2より小さい第3の所定の閾値(初期再生開始値)SR3を超えたことを検知すると、全再生装置42に対して再生の開始(再生装置における表示、出力の開始)を指示する。
【0026】
コンテンツサーバー41から再生指示が出されると、各再生装置42において、バッファメモリ12のTSデータのそれぞれのパケットはデマルチプレクサ13に送出され、該パケットのPIDに従って映像情報、音声情報、SPI/SI情報とに分離される。分離された映像情報はビデオデコーダ14へ送出され、デコードされた映像信号は、外部表示装置31に出力される。また分離された音声情報は、オーディオデコーダ15へ送出され、デコードされた音声信号は音声出力装置(図示せず)に送られ、音声が出力される。映像と音声の再生が開始された後も、コンテンツサーバー41からデータの送信が続けられる限り、バッファメモリ12内の残量は時間とともに増加していく。但し、増加の速度は、再生装置で再生を行なっていないときに比べると遅くなり、そのため、再生時刻より後の残量曲線の傾きは小さくなる。
【0027】
先にも述べたように、CPU21はバッファメモリ12の残量を逐次コンテンツサーバー41に通知しており、バッファメモリ12の残量が上限値SR2に達したことを、コンテンツサーバー41が検知すると、コンテンツサーバー41は、データの転送を停止する。
データの転送が停止されると、各再生装置42のバッファメモリ12の残量は、デコーダでデータが消費されるに従って次第に減少する。代表となっている再生装置42のバッファメモリ12の残量が下限値SR1に達したことをコンテンツサーバー41が検知すると、コンテンツサーバー41はデータの配信を再開する。
【0028】
以上の動作を繰り返すことで、バッファメモリ12がアンダーフローやオーバーフローを起こして音声や映像が途切れることなく、再生が継続される。
但し、各コンテンツの最後の部分では、バッファメモリ12の残量が下限値SR1に達したことが検知されても、それ以上送信すべきデータが存在しないので、図3に点線EOCで示すように、残量はさらに少なくなり、最後はゼロに達する。
【0029】
閾値SR1、SR2、SR3の値については、バッファメモリ12の容量、再生するビットレート等により最適な値に設定されるべきであるが、本出願には直接関わる値でないため、特に閾値の値については言及しない。
【0030】
以上の手順で、全再生装置42で一斉に再生が開始されるが、ビデオデコーダ14の基準時刻を生成している、クロック回路22内の水晶発振器の発振周波数は全く同一ではなく、再生装置42間で発振周波数に差異がある。デコードした映像の出力時刻は、この基準時刻を元に映像情報中の(PESパケットのヘッダ情報に含まれる)PTSに従って制御されている。即ち、各PESは、該PESのヘッダ情報に含まれるPTSで指定された時刻(コンテンツの先頭を再生する時刻に対する相対時刻)になったことを、再生装置42内の水晶発振器から発生されるクロックパルスのカウント結果との比較により、検知しながら、デコードを行なったり、デコード後の時間調整(遅延)を行なったりしながら、各PESの画像を、当該PESのヘッダ情報に含まれるPTSで指定された時刻(コンテンツの再生開始からの相対時刻)に再生出力を行なうようにしている。上記の再生時刻のずれとは、あるPTSを含むPESパケットの一つの再生装置における再生を、当該一つの再生装置内のクロック回路22で計時した時刻と、同じPTSを含むPESパケットの、別の再生装置における再生を、当該別の再生装置内のクロック回路22で計時した時刻との差を意味する。
【0031】
上記の構成であるため、水晶発振器の周波数の誤差が原因となり、時間とともに各再生装置42の再生時刻にずれが生じてくる。例えば、水晶発振器の精度が±20ppmとし、最も表示の進んだ再生装置42と、最も表示の遅れた再生装置42との間には、40ppmの誤差が生じ、24時間連続して再生を続けると仮定すると、約3秒弱の時間のずれが生じる可能性がある。
【0032】
また、コンテンツサーバー41は、全再生装置42の中の、一つを代表の再生装置42として、そのバッファメモリ12内のデータ残量をモニターしながら、データ配信の制御を行っているため、最も誤差の大きい再生装置42を代表とした場合、他の再生装置42のバッファメモリ12でバッファのアンダーフローやオーバーフローが発生する可能性が高くなる。
【0033】
図5は、再生を開始して20時間後の、当該最も時刻の進みが早い映像再生装置42が代表で選択されている場合の、最も時刻の進みの早い再生装置(F)と、最も遅い再生装置(S)のバッファの残量の遷移を示す。最も早い再生装置(F)の残量が下限値SR1になった時刻T1より、コンテンツサーバー41からのデータ配信が再開されるが、この時、最も遅い再生装置の残量(S)は、データがより多く残っている。
【0034】
例えば、映像の符号化ビットレートが10Mbpsとすると、上記の時間のずれにより、再生装置(S)には再生装置(F)よりも、3.5Mbitも多くデータが残っている。
バッファメモリ12の容量が10Mbit、下限値SR1が3Mbit、上限値SR2が6Mbitとすると、再生装置(F)の残量が6Mbitになった時点で、再生装置(S)の残量は、9.5Mbitとなり、バッファメモリの容量の限界に近づいている。このまま再生(そのためのデータの送信)をさらに継続すると、再生装置(S)のバッファメモリ12の容量を超えたときに、再生すべきデータが捨てられ、一部フレームの抜けた映像が表示されることになる。
【0035】
上記に説明したように、水晶発振器の周波数のばらつきが原因で、長時間再生を継続することで、各映像情報表示装置間の表示の同期がとれなくなり、最悪の場合バッファメモリのオーバーフローや、アンダーフローが発生し、再生の途切れや中断が発生するという問題があった。
【0036】
図6は、本発明の実施の形態に係る映像情報再生方法を実施するために、改良された映像情報におけるPESパケットの配列の一例を示す図である。
PESパケットのうち、符号「I」で示すものはIピクチャーで構成されたもの、符号「P」はPピクチャーで構成されたもの、符号「B」はBピクチャーで構成されたものを示す。符号「I」、「P」、「B」に付された添え字「1」、「2」、「3」などはそれぞれI、P、Bピクチャー同士を区別するためのものであり、再生の順序をも示す。
【0037】
Iピクチャーはフレーム内符号化された画像情報(フレーム内符号化画像情報)であり、単独にデコード可能である。Pピクチャーはそれより前のピクチャー(Iピクチャー又は他のPピクチャー)を参照して順方向動き補償予測符号化された画像情報(フレーム間順方向予測符号化画像情報)であり、Bピクチャーは、それより前のピクチャー及びそれより後のピクチャー(Iピクチャー、Pピクチャー又は他のBピクチャー)を参照して双方向動き補償予測符号化された画像情報(フレーム間双方向予測符号化画像)である。
【0038】
ここでTSデータの再生時間が60secで、フレームレートが30fpsとすると、TSデータは合計1800(60x30=1800)のPESパケットとなるが、本実施の形態では、上記の1800のPESパケットで構成される本編部分(本発明の同期調整をおこなわない場合にもTSデータを構成する部分として含まれる部分)に、再生同期調整用に、さらに10フレーム分のPESパケットが追加され、合計1810のPESパケットにより構成される。この追加された10フレームの映像は、60secの最終フレームの映像と同じものを繰り返し表示するよう符号化されている。図示の例では、最終フレームの映像と同じ映像のデータからなる1フレームのIピクチャーデータと、それに続き同じ映像を引き続き表示するための9フレームのPピクチャーデータとで同期調整用フレーム(群)が構成されている。
【0039】
このように同期調整用のフレームの追加は、あらかじめコンテンツサーバー41にオーサリングされた形態で保持してもよいし、またMPEGのダミーピクチャーを利用して、コンテンツサーバー41上で配信時に付加してもよい。
【0040】
追加されたPESパケットの先頭のPESパケットは、Iピクチャー(H.264の場合はIDRピクチャーであるが、これもフレーム内符号化された画像情報である)であり、続くPESパケットは、Bピクチャーを含まない、PピクチャーまたはIピクチャー(IDRピクチャー)により構成されている。Bピクチャーを含まないため、追加された同期調整用の10フレーム分のピクチャーは、表示される順番と、データの配列の順番とが一致することになる。これに対して、例えば、図6のTSデータの先頭部分は、「I1」、「P1」、「B1」、「B2」、の順にPESパケットが配列されているが、実際に表示される順番は、「I1」、「B1」、「B2」、「P1」であり、配列順と表示順が異なる。
【0041】
図7は、実施の形態に係る映像情報再生方法を実施するために、改良されたTSデータのTSパケットの配列を示す図である。図4のTSデータとの違いは、追加された10フレーム分の各PESパケットの先頭のTSパケットが、TSデータの先頭から何パケット目に存在するかを示す調整パケット情報が記述された調整情報パケットが重畳されている点である。
【0042】
図8は、前記の同期調整用パケットのシンタックスを示す図である。
“num_of_PES”は、本編に追加された同期調整用に利用できるPES(フレーム)の総数である。次のループは、“num_of_PES”の数だけ繰り返される。10フレームある場合は“num_of_PES”=10となる。
“PTS_for_adjust(i)”は、同期調整用に利用できるPESパケットの各々の先頭のPTS値を示す。
“SPN_for_adjust(i)”は、“PTS_for_adjust(i)”が指し示すPESパケットの先頭を含むTSパケットが、TSデータの先頭から何パケット目であるかを示す値である。
なお、本実施の形態では、調整パケット情報をTSパケットに重畳して再生装置42に送っているが、必ずしもTSパケットに重畳する必要は無く、独自のコマンドに調整パケット情報を載せて、再生装置42に送ってもよい。
【0043】
コンテンツサーバー41には、図7のように構成されたTSデータが複数存在し、各映像情報再生装置42に対して、連続して配信される。ユーザーからコンテンツサーバー41に対して、再生の指示が出されると、あらかじめ指示された順番で、コンテンツサーバー41のTSデータの配信が開始される。
通常再生時においては、CPU21では、TSデータに含まれる調整情報パケットのデータをから、追加された10フレームのPESパケットが含まれるTSパケットが来るのを監視し、SPN_for_adjust(0)”以降のTSパケットは破棄し、バッファメモリ13に蓄積を行わない。
【0044】
図9は、映像情報再生装置42間の再生を同期させるための処理のシーケンスを示す図である。ステップSTST5,ST6は、コンテンツサーバー41における処理を示し、他のステップは、再生装置42における処理を示す。
【0045】
通常再生を行っている時は、コンテンツの本編の再生が完了しても、前述の様に追加された10フレーム分の表示は行われない(ST1)。前述した通り、水晶発振器の周波数は20ppm程度の精度であるため、数分再生した程度では、同期ずれは視認されない程度である。コンテンツサーバー41からは、数十分に1回程度(即ち所定時間が経過するごとに(ST2)、各再生装置42に対して、現在の再生時刻の確認が行われる(ST3)。
【0046】
コンテンツサーバー41からの再生時刻の確認に対して、各再生装置42からは、現在の再生時刻をコンテンツサーバー41に通知する(ST4)。
【0047】
コンテンツサーバー41では、通知された時刻を集計し、再生時刻の同期調整を行う必要があるかどうかを判断する(ST5)。そのため、最も進んでいる再生時刻と最も遅れている再生時刻の差が所定値以上、例えば1フレーム以上かどうかの判断を行なう。
再生時刻の差が1フレーム以上あり、調整の必要性があると判断された場合、再生時刻の中の平均値を持つ再生装置42を基準となる再生装置42とし、その再生時刻を基準時刻として全再生装置42に対して通知する(ST6)。
基準時刻を受け取った各再生装置42は、先ほど自身で通知した再生時刻と、コンテンツサーバー41から通知された基準時刻との差から、基準の再生装置42から、遅れて再生しているのか、進んで再生をしているかを認識し再生時刻を調整する(ST7)。
【0048】
コンテンツサーバー41から通知された基準再生時刻との差が1フレーム以内であるかどうかを判定し、再生時刻の差が1フレーム以内である場合、再生装置42は同期調整用に追加された10フレームの内、5フレーム目までを再生し、CPU21はSPN_for_adjust(5)以降のデータを破棄する。よって、現在再生中のTSデータの総再生時間は、本編+5フレームとなり、最後の6フレームは本編最終のフレームが連続して表示されることになる。付加された前半5フレーム分を再生した後は、引き続き次のコンテンツのTSデータの再生を継続する。
【0049】
図10は、図9のステップST7の調整シーケンスを詳細に示す図である。まず、基準とする再生装置42の再生時刻(基準時刻)から、1フレーム以上遅れて再生しているかどうかを判別する(ST8)。
基準時刻から1フレーム以上遅れていると判断した再生装置42は、基準時刻と、自らの再生時刻から遅れ時間を算出し、遅れ時間に相当するフレーム数を割り出し、5フレームから遅れ時間に相当するフレーム数を減算することで、バッファメモリ12に蓄積するべきデータサイズを計算する。例えば遅れ時間が60msec(2フレーム分)であった場合、TSデータの終端に付加された10フレームの内、前半の3フレーム分だけをバッファメモリ12に蓄積し、SPN_for_adjust(3)以降のデータを破棄する(ST9)。
この結果、現在再生中のTSデータの総再生時間は、本編+3フレームとなり、最後の4フレームは本編最終のフレームが連続して表示されることになる。付加された前半3フレーム分を再生した後、引き続き次のコンテンツのTSデータの再生を継続する。
【0050】
ステップST10では、基準となっている再生装置42の再生時刻から1フレーム以上進んでいるかどうかを判断する。1フレーム以上進んでいると判断した再生装置42は、基準時刻と、自らの再生時刻から、進み時間を算出し、進み時間に相当するフレーム数を割り出し、5フレームに進み時間に相当するフレーム数を加算することで、バッファメモリ12に蓄積すべきデータサイズを計算する(ST11)。例えば進み時間が90msec(3フレーム分)であった場合、TSデータの終端に付加された10フレームの内、前半の8フレーム分だけをバッファメモリ12に蓄積し、SPN_for_adjust(8)以降のデータを破棄する。よって、現在再生中のTSデータの総再生時間は、本編+8フレームとなり、最後の9フレームは本編最終のフレームが連続して表示されることになる。付加された前半8フレーム分を再生した後、引き続き次のコンテンツのTSデータの再生を継続する。
【0051】
ステップST10で、進み時間が1フレーム以内と判断した再生装置42は、TSデータの終端に付加された10フレームの内、5フレーム目までを再生し、SPN_for_adjust(5)以降のデータを破棄する(ST12)。よって、現在再生中のTSデータの総再生時間は、本編+5フレームとなり、最後の6フレームは本編最終のフレームが連続して表示されることになる。付加された前半5フレーム分を再生した後は、引き続き次のコンテンツのTSデータの再生を継続する。
【0052】
上記の場合、基準時刻から遅れた再生装置42の、現在再生中のコンテンツの総再生時間は、基準となっている再生装置42に対して、2フレーム分だけ短くなり、再生時刻が進んだ再生装置42の、現在再生中のコンテンツの総再生時間は、基準となっている再生装置42に対して、2フレーム分だけ長くなる。
【0053】
図11は、コンテンツの切り替わり前後の、各再生装置42の再生時刻の遷移を表した図である。上記のシーケンスに従って再生を行うと、基準時刻に対して、遅れている再生装置42は、現在再生しているTSデータの総再生時間を、遅れた分だけ基準となっている再生装置42より短くし、進んでいる再生装置42は、現在再生しているTSデータの総再生時間を、遅れた分だけ基準となっている再生装置42より長くすることで、次のコンテンツのTSデータの再生の開始タイミングを1フレーム以内の時間差以下にあわせることが可能となる。
【0054】
以上の様に、TSデータの再生時刻を、各再生装置42で高精度に調整可能とするために、付加された調整用のTSデータにはいくつかの制約条件が必要となる。図12は一般的なMPEGのフレームの並びを示した図である。この場合、コンテンツサーバー41からは、「I1」、「P1」、「B1」、「B2」、…の順にデータが配信されるが、表示の順番は、「I1」、「B1」、「B2」、「P1」、…となっている。図12の様に、追加データが配列されている場合において、「B1」までを再生したい場合、データは「I1」、「P1」、「B1」、「B2」の4フレーム分をバッファメモリ12に入力する必要がある。デコーダ14では、「I1」、「B1」、「B2」、「P1」の4フレームが再生されてしまうため、本来表示させたいフレーム数を2フレーム超えてしまう。
【0055】
同様に、「B2」まで表示させたい場合も、「P1」まで再生させたい場合も、「I1」、「B1」、「B2」、「P1」の4フレームが再生されてしまう。このように、Bフレームが含まれるよう符号化すると、図12に示す場合には最大2フレームの誤差が発生するため、同期精度が落ちてしまう。
【0056】
図13は、フレーム単位で、1フレームの精度で同期をあわせるために考慮されたフレームの並びである。図12との違いはBフレームを使わずに符号化を行っている点である。このように符号化した場合、フレームの配列順と再生順とが一致している。このため、3フレーム分だけ再生したい場合は、「I1」、「P1」、「P2」の3フレーム分のデータをバッファメモリに蓄積し、以降のフレームを破棄すればよい。この様にBフレームを使用しないことで、フレーム精度の同期調整が可能となる。但し、Bフレームを使わずに符号化した場合、符号化効率が下がるため、Bフレームを使った場合と同じ画質を確保するためには、データサイズが大きくなってしまう。これを回避するには、本編部分はBフレームを使って符号化を行い、調整用のフレームについては、Bフレームを使わずに符号化を行う方法が望ましいが、本編と調整用のフレームとを別の規則で符号化することは、符号化が複雑になる問題点もある。よって、同期精度が求められるシステムに対して、調整用のフレームにBフレームを使わずに符号化し、高い同期精度を求めない場合は、Bフレームを使用した符号化を行うとよい。
【0057】
以上、説明したように、終端に再生時刻の同期調整するためのフレームを追加されたTSデータを使い、基準となっている再生装置42の再生時刻からの、相対的な再生時刻差情報から、バッファメモリに蓄積する追加された同期調整用のTSデータ量を調整することで、高精度に表示装置間の再生の同期を図ることが可能となる。
【0058】
なお、本実施の形態の説明では、再生時刻が全再生装置42の再生時刻の平均値に近い再生装置42の再生時刻を基準時刻に設定しているが、平均値に近い値である必要はなく、例えば、中央値としても良く、また最も再生時刻の進んだ再生装置42を基準とし、最も再生時刻の進んだ再生装置42には、追加された10フレームすべてを再生させ、それ以外の再生装置42には、基準となっている再生時刻との誤差の大きさに従って、追加再生するフレーム数を10フレームから減らして再生させても、全く同じ効果が得られる。同様に、最も再生時刻の遅れた再生装置42を基準とし、最も再生時刻の遅れた再生装置42には、追加フレームは再生させず、それ以外の再生装置42には、基準の再生時刻との誤差の大きさに従って、追加再生するフレームを増やして再生させることでも、全く同様の効果が得られる。
【0059】
本発明は、例えば自動車、列車、建物などにおいて複数の画面に表示を行なう表示装置に適用することができ、複数の表示装置間の再生時刻を高精度に同期させることができるという効果が得られる。
【0060】
実施の形態2.
実施の形態1では、各再生装置42間の再生時刻のばらつきが調整用に用意されたフレーム数以内に収まっている場合の調整方法について説明をおこなった。しかし、再生装置42内でCPU21に急な負荷がかったり、また電気的なノイズの影響で再生装置42にリセットがかかってしまったりして、再生準備可能となる前に、コンテンツサーバー41からのデータ配信が開始されてしまった場合、大幅に再生同期がずれてしまう場合がある。この場合、ずれ時間が、数秒間にもなるため、実施の形態1の調整方法で、同期がとれるまでに、数十分から数時間を要する場合がある。
【0061】
図14は、このように大幅に再生時刻がずれてしまった時に、短時間に調整を行うために改良されたシーケンス図である。同図において、ステップST18及びST19は、コンテンツサーバー41で行なわれる処理であり、その他のステップは、各再生装置42で行なわれる処理である。
まず、基準となっている再生装置42の再生時刻に対して、実施の形態1で説明した調整方法で、同期化が可能な範囲内のずれ量かどうか(実施の形態1で説明した方法で調整が可能な範囲内かどうか)を判断する(ST13)。
【0062】
同期化が可能な範囲内であると判断された場合は、ステップST14へ進み、通常の調整(図10を参照して説明した調整)を行う。ステップST14での調整の詳細については、実施の形態1で詳細に説明を行ったので省略する。
再生時刻のずれ量が、同期化が可能な範囲外であると判断されると、現在再生中のコンテンツの再生を中断し、バッファメモリ13に蓄積されているすべてのデータをクリアする(ST15)。
【0063】
再生を中断した再生装置42は、現在再生中のコンテンツのTSデータの配信が完了し、次のコンテンツの先頭のTSパケットの先頭パケットが配信されるのを待つ(ST16)。次のコンテンツの先頭のTSパケットを検出すると、CPU21は、データのバッファメモリ13への蓄積を開始する(ST17)。
【0064】
次に、コンテンツサーバー41は、基準となっている再生装置42に対して、次のコンテンツの先頭のフレームの再生が開始されたら、コンテンツサーバー41に通知するよう指示し、基準となっている再生装置42から、次のコンテンツの再生が開始されたことが、コンテンツサーバー41に通知される(ST18)と、コンテンツサーバー41は、再生を中断した再生装置42に対して、再生開始指示を出し(ST19)、再生を中断した再生装置42におけるコンテンツの再生が再開される。
【0065】
基準となっている再生装置42から、コンテンツサーバー41に再生開始が通知され、コンテンツサーバー41から、再生を中断した再生装置42に再生開始指示が伝わるまで、ネットワークによる遅延、ソフトウェアの処理時間による遅延、ビデオデコーダ14に再生指示を出してから最初のフレームが表示されるまでの遅延があるため、この時点では、再生を中断した再生装置42の再生時刻は、他の再生装置42に対し数フレーム遅れた状態にある。しかし、この遅れは通常の同期を調整するシーケンスで調整可能な範囲内であるため、次回の調整シーケンスで同期を一致させることが可能である。
【0066】
以上説明したように、再生時刻が大幅にずれた再生装置42に対しては、一旦再生を中断し、基準となっている再生装置42が、次のコンテンツの先頭フレームを再生開始するタイミングで、再生を再開することで、次のコンテンツの調整で速やかに再生時刻の同期を図ることが可能となる。
【0067】
本発明は、例えば自動車、列車、建物などにおいて複数の画面に表示する表示装置に適用することができ、複数の表示装置間の再生時刻の同期を短時間に合わせることができるという効果が得られる。
【符号の説明】
【0068】
10 再生部、 11 データ受信部、 12 バッファメモリ、 13 デマルチプレクサ、 14 ビデオデコーダ、 15 オーディオデコーダ、 21 CPU(判別手段、再生制御手段)、 31 外部表示装置、 41 コンテンツサーバー、 42 再生装置、 43 ネットワーク。
【特許請求の範囲】
【請求項1】
ネットワークで接続されたコンテンツサーバーから、或いは蓄積メディアから、少なくともフレーム内符号化画像情報、及びフレーム間順方向予測符号化画像情報を含むシーケンスで構成され、かつタイムスタンプ情報を含むコンテンツを複数の映像情報再生装置で受信し、前記コンテンツを前記映像情報再生装置で復号し再生する映像情報再生方法であって、
複数の映像情報再生装置の中から、再生時刻の基準となる映像情報再生装置を決めて、それぞれの映像情報再生装置と、基準となる映像情報再生装置との間の再生時刻の誤差を検出する検出ステップと、
基準となる映像情報再生装置から遅れている場合は、遅れ時間に応じて再生する符号化されたコンテンツのフレーム数を、基準となる映像情報再生装置が再生するフレーム数から減じ、基準となる映像情報再生装置から進んでいる場合は、進み時間に応じて再生する符号化されたコンテンツのフレーム数を、基準となる映像情報再生装置が再生するフレームに加算して、再生するフレーム数を調整する調整ステップと
を有することを特徴とする映像情報再生方法。
【請求項2】
前記それぞれの映像情報再生装置と前記基準となる映像情報再生装置との間の再生時刻の誤差を検出するステップにおいて、コンテンツサーバーが、各映像情報再生装置から通知される再生時刻を集計し、平均値に最も近い再生時刻の映像情報再生装置を基準とすることを特徴とする請求項1に記載の映像情報再生方法。
【請求項3】
前記それぞれの映像情報再生装置と前記基準となる映像情報再生装置との間の再生時刻の誤差を検出するステップにおいて、コンテンツサーバーが、各映像情報再生装置から通知される再生時刻を集計し、最も遅れた再生時刻の映像情報再生装置を基準とすることを特徴とする請求項1に記載の映像情報再生方法。
【請求項4】
前記それぞれの映像情報再生装置と前記基準となる映像情報再生装置との間の再生時刻の誤差を検出するステップにおいて、コンテンツサーバーが、各映像情報再生装置から通知される再生時刻を集計し、最も進んだ再生時刻の映像情報再生装置を基準とすることを特徴とする請求項1に記載の映像情報再生方法。
【請求項5】
前記検出ステップで検出された再生時刻の誤差が、前記調整ステップによる調整により同期化が可能な範囲内のものかどうか判断する判断ステップと、
上記判断ステップで同期化が可能な範囲内のものではないと判断された場合、現在再生中のコンテンツの再生を中断し、バッファメモリに蓄積されているコンテンツのデータを破棄する破棄ステップと、
再生を中断した映像情報再生装置において、次のコンテンツを受信した時点より、コンテンツのデータをバッファメモリに蓄積する蓄積ステップと、
次のコンテンツを、基準となる映像情報再生装置が再生を開始したタイミングを、前記再生を中断した映像情報再生装置がコンテンツサーバーから通知を受け、その通知を受けたら、次のコンテンツの再生を開始する開始制御ステップと
をさらに有することを特徴とする請求項1に記載の映像情報再生方法。
【請求項6】
前記フレーム内符号化画像情報、及びフレーム間順方向予測符号化画像情報がMPEG2またはH.264で符号化されたものであることを特徴とする請求項1乃至5のいずれかに記載の映像情報再生方法。
【請求項7】
ネットワークで接続されたコンテンツサーバーから、或いは蓄積メディアから、少なくともフレーム内符号化画像情報、及びフレーム間順方向予測符号化画像情報を含むシーケンスで構成され、かつタイムスタンプ情報を含むコンテンツを複数の映像情報再生装置で受信し、前記コンテンツを前記映像情報再生装置で復号し再生する映像情報再生システムであって、
複数の映像情報再生装置の中から、再生時刻の基準となる映像情報再生装置を決めて、それぞれの映像情報再生装置と、基準となる映像情報再生装置との間の再生時刻の誤差を検出する手段と、
基準となる映像情報再生装置から遅れている場合は、遅れ時間に応じて再生する符号化されたコンテンツのフレーム数を、基準となる映像情報再生装置が再生するフレーム数から減じ、基準となる映像情報再生装置から進んでいる場合は、進み時間に応じて再生する符号化されたコンテンツのフレーム数を、基準となる映像情報再生装置が再生するフレームに加算して、再生するフレーム数を調整する手段と、
を有することを特徴とする映像情報再生システム。
【請求項8】
前記それぞれの映像情報再生装置と前記基準となる映像情報再生装置との間の再生時刻の誤差を検出する手段において、コンテンツサーバーが、各映像情報再生装置から通知される再生時刻を集計し、平均値に最も近い再生時刻の映像情報再生装置を基準とすることを特徴とする請求項7に記載の映像情報再生システム。
【請求項9】
前記それぞれの映像情報再生装置と前記基準となる映像情報再生装置との間の再生時刻の誤差を検出する手段において、コンテンツサーバーが、各映像情報再生装置から通知される再生時刻を集計し、最も遅れた再生時刻の映像情報再生装置を基準とすることを特徴とする請求項7に記載の映像情報再生システム。
【請求項10】
前記それぞれの映像情報再生装置と前記基準となる映像情報再生装置との間の再生時刻の誤差を検出する手段において、コンテンツサーバーが、各映像情報再生装置から通知される再生時刻を集計し、最も進んだ再生時刻の映像情報再生装置を基準とすることを特徴とする請求項7に記載の映像情報再生システム。
【請求項11】
前記検出手段で検出された再生時刻の誤差が、前記調整手段による調整により同期化が可能な範囲内のものかどうか判断する判断手段と、
上記判断手段で同期化が可能な範囲内のものではないと判断された場合、現在再生中のコンテンツの再生を中断し、バッファメモリに蓄積されているコンテンツのデータを破棄する破棄手段と、
再生を中断した映像情報再生装置において、次のコンテンツを受信した時点より、コンテンツのデータをバッファメモリに蓄積する蓄積手段と、
次のコンテンツを、基準となる映像情報再生装置が再生を開始したタイミングを、前記再生を中断した映像情報再生装置がコンテンツサーバーから通知を受けたら、次のコンテンツの再生を開始する開始制御手段と
をさらに有することを特徴とする請求項7に記載の映像情報再生システム。
【請求項12】
前記フレーム内符号化画像情報、及びフレーム間順方向予測符号化画像情報がMPEG2またはH.264で符号化されたものであることを特徴とする請求項7乃至11のいずれかに記載の映像情報再生システム。
【請求項13】
ネットワークで接続されたコンテンツサーバーから配信される、或いは蓄積メディアから、少なくともフレーム内符号化画像情報、及びフレーム間順方向予測符号化画像情報を含むシーケンスで構成され、かつタイムスタンプ情報を含むコンテンツであって、
前記本編の最後のフレームと同じ内容の映像を表示するためのフレーム内符号化画像情報、及びフレーム間順方向予測符号化画像情報が、再生同期調整用のフレームとして、本編の最後のフレームの後に複数枚追加されている
ことを特徴とする映像情報コンテンツ。
【請求項14】
前記フレーム内符号化画像情報、及びフレーム間順方向予測符号化画像情報がMPEG2またはH.264で符号化されたものであることを特徴とする請求項13に記載の映像情報コンテンツ。
【請求項1】
ネットワークで接続されたコンテンツサーバーから、或いは蓄積メディアから、少なくともフレーム内符号化画像情報、及びフレーム間順方向予測符号化画像情報を含むシーケンスで構成され、かつタイムスタンプ情報を含むコンテンツを複数の映像情報再生装置で受信し、前記コンテンツを前記映像情報再生装置で復号し再生する映像情報再生方法であって、
複数の映像情報再生装置の中から、再生時刻の基準となる映像情報再生装置を決めて、それぞれの映像情報再生装置と、基準となる映像情報再生装置との間の再生時刻の誤差を検出する検出ステップと、
基準となる映像情報再生装置から遅れている場合は、遅れ時間に応じて再生する符号化されたコンテンツのフレーム数を、基準となる映像情報再生装置が再生するフレーム数から減じ、基準となる映像情報再生装置から進んでいる場合は、進み時間に応じて再生する符号化されたコンテンツのフレーム数を、基準となる映像情報再生装置が再生するフレームに加算して、再生するフレーム数を調整する調整ステップと
を有することを特徴とする映像情報再生方法。
【請求項2】
前記それぞれの映像情報再生装置と前記基準となる映像情報再生装置との間の再生時刻の誤差を検出するステップにおいて、コンテンツサーバーが、各映像情報再生装置から通知される再生時刻を集計し、平均値に最も近い再生時刻の映像情報再生装置を基準とすることを特徴とする請求項1に記載の映像情報再生方法。
【請求項3】
前記それぞれの映像情報再生装置と前記基準となる映像情報再生装置との間の再生時刻の誤差を検出するステップにおいて、コンテンツサーバーが、各映像情報再生装置から通知される再生時刻を集計し、最も遅れた再生時刻の映像情報再生装置を基準とすることを特徴とする請求項1に記載の映像情報再生方法。
【請求項4】
前記それぞれの映像情報再生装置と前記基準となる映像情報再生装置との間の再生時刻の誤差を検出するステップにおいて、コンテンツサーバーが、各映像情報再生装置から通知される再生時刻を集計し、最も進んだ再生時刻の映像情報再生装置を基準とすることを特徴とする請求項1に記載の映像情報再生方法。
【請求項5】
前記検出ステップで検出された再生時刻の誤差が、前記調整ステップによる調整により同期化が可能な範囲内のものかどうか判断する判断ステップと、
上記判断ステップで同期化が可能な範囲内のものではないと判断された場合、現在再生中のコンテンツの再生を中断し、バッファメモリに蓄積されているコンテンツのデータを破棄する破棄ステップと、
再生を中断した映像情報再生装置において、次のコンテンツを受信した時点より、コンテンツのデータをバッファメモリに蓄積する蓄積ステップと、
次のコンテンツを、基準となる映像情報再生装置が再生を開始したタイミングを、前記再生を中断した映像情報再生装置がコンテンツサーバーから通知を受け、その通知を受けたら、次のコンテンツの再生を開始する開始制御ステップと
をさらに有することを特徴とする請求項1に記載の映像情報再生方法。
【請求項6】
前記フレーム内符号化画像情報、及びフレーム間順方向予測符号化画像情報がMPEG2またはH.264で符号化されたものであることを特徴とする請求項1乃至5のいずれかに記載の映像情報再生方法。
【請求項7】
ネットワークで接続されたコンテンツサーバーから、或いは蓄積メディアから、少なくともフレーム内符号化画像情報、及びフレーム間順方向予測符号化画像情報を含むシーケンスで構成され、かつタイムスタンプ情報を含むコンテンツを複数の映像情報再生装置で受信し、前記コンテンツを前記映像情報再生装置で復号し再生する映像情報再生システムであって、
複数の映像情報再生装置の中から、再生時刻の基準となる映像情報再生装置を決めて、それぞれの映像情報再生装置と、基準となる映像情報再生装置との間の再生時刻の誤差を検出する手段と、
基準となる映像情報再生装置から遅れている場合は、遅れ時間に応じて再生する符号化されたコンテンツのフレーム数を、基準となる映像情報再生装置が再生するフレーム数から減じ、基準となる映像情報再生装置から進んでいる場合は、進み時間に応じて再生する符号化されたコンテンツのフレーム数を、基準となる映像情報再生装置が再生するフレームに加算して、再生するフレーム数を調整する手段と、
を有することを特徴とする映像情報再生システム。
【請求項8】
前記それぞれの映像情報再生装置と前記基準となる映像情報再生装置との間の再生時刻の誤差を検出する手段において、コンテンツサーバーが、各映像情報再生装置から通知される再生時刻を集計し、平均値に最も近い再生時刻の映像情報再生装置を基準とすることを特徴とする請求項7に記載の映像情報再生システム。
【請求項9】
前記それぞれの映像情報再生装置と前記基準となる映像情報再生装置との間の再生時刻の誤差を検出する手段において、コンテンツサーバーが、各映像情報再生装置から通知される再生時刻を集計し、最も遅れた再生時刻の映像情報再生装置を基準とすることを特徴とする請求項7に記載の映像情報再生システム。
【請求項10】
前記それぞれの映像情報再生装置と前記基準となる映像情報再生装置との間の再生時刻の誤差を検出する手段において、コンテンツサーバーが、各映像情報再生装置から通知される再生時刻を集計し、最も進んだ再生時刻の映像情報再生装置を基準とすることを特徴とする請求項7に記載の映像情報再生システム。
【請求項11】
前記検出手段で検出された再生時刻の誤差が、前記調整手段による調整により同期化が可能な範囲内のものかどうか判断する判断手段と、
上記判断手段で同期化が可能な範囲内のものではないと判断された場合、現在再生中のコンテンツの再生を中断し、バッファメモリに蓄積されているコンテンツのデータを破棄する破棄手段と、
再生を中断した映像情報再生装置において、次のコンテンツを受信した時点より、コンテンツのデータをバッファメモリに蓄積する蓄積手段と、
次のコンテンツを、基準となる映像情報再生装置が再生を開始したタイミングを、前記再生を中断した映像情報再生装置がコンテンツサーバーから通知を受けたら、次のコンテンツの再生を開始する開始制御手段と
をさらに有することを特徴とする請求項7に記載の映像情報再生システム。
【請求項12】
前記フレーム内符号化画像情報、及びフレーム間順方向予測符号化画像情報がMPEG2またはH.264で符号化されたものであることを特徴とする請求項7乃至11のいずれかに記載の映像情報再生システム。
【請求項13】
ネットワークで接続されたコンテンツサーバーから配信される、或いは蓄積メディアから、少なくともフレーム内符号化画像情報、及びフレーム間順方向予測符号化画像情報を含むシーケンスで構成され、かつタイムスタンプ情報を含むコンテンツであって、
前記本編の最後のフレームと同じ内容の映像を表示するためのフレーム内符号化画像情報、及びフレーム間順方向予測符号化画像情報が、再生同期調整用のフレームとして、本編の最後のフレームの後に複数枚追加されている
ことを特徴とする映像情報コンテンツ。
【請求項14】
前記フレーム内符号化画像情報、及びフレーム間順方向予測符号化画像情報がMPEG2またはH.264で符号化されたものであることを特徴とする請求項13に記載の映像情報コンテンツ。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【公開番号】特開2011−114681(P2011−114681A)
【公開日】平成23年6月9日(2011.6.9)
【国際特許分類】
【出願番号】特願2009−270330(P2009−270330)
【出願日】平成21年11月27日(2009.11.27)
【出願人】(000006013)三菱電機株式会社 (33,312)
【Fターム(参考)】
【公開日】平成23年6月9日(2011.6.9)
【国際特許分類】
【出願日】平成21年11月27日(2009.11.27)
【出願人】(000006013)三菱電機株式会社 (33,312)
【Fターム(参考)】
[ Back to top ]