メディア同期再生システム
【課題】同期再生のための時刻配信サーバといった構成を必要とせず、柔軟に同期再生のための構成を実現することのできるメディア同期再生システムを得る。
【解決手段】任意の端末装置１を基準端末装置１ａとし、これ以外の端末装置１を従属端末装置１ｂとする。基準端末装置１ａは、基準システムクロックと、従属端末装置１ｂより問い合わせを受けてから基準システムクロックを出力するまでの応答処理時間とを同期情報として出力する。従属端末装置１ｂは、基準端末装置１ａからの同期情報の基準システムクロックおよび応答処理時間と、自身のシステムクロックとに基づいて、同期再生のための待機時間を決定する。
【解決手段】任意の端末装置１を基準端末装置１ａとし、これ以外の端末装置１を従属端末装置１ｂとする。基準端末装置１ａは、基準システムクロックと、従属端末装置１ｂより問い合わせを受けてから基準システムクロックを出力するまでの応答処理時間とを同期情報として出力する。従属端末装置１ｂは、基準端末装置１ａからの同期情報の基準システムクロックおよび応答処理時間と、自身のシステムクロックとに基づいて、同期再生のための待機時間を決定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、配信装置からネットワークを介して映像や音声、テキスト、画像等のメディアデータを複数の端末装置に配信し、これら端末装置間で同期再生させるためのメディア同期再生システムに関するものである。
【背景技術】
【０００２】
今日、配信サーバから配信される映像を同時に再生する映像コミュニケ−ションシステムが存在する。このような映像コミュニケーションシステムにおけるメディア同期再生システムとして、従来では、時刻配信サーバからの時刻情報に合わせて、映像配信サーバから、映像データと配信時刻を示す情報を含むマルチキャストパケットを各端末装置に配送するようにしたものがあった（例えば、特許文献１参照）。このシステムは、各端末装置でマルチキャストパケットを受信し、配信時刻と受信時刻の情報を一つの端末装置に集め、最大の配信遅延時間を算出し、この最大の配信遅延時間を基準として、各端末装置の再生タイミング制御部が映像データの再生タイミングを調整するものであった。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−２３５０２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来のメディア同期再生システムでは、配信時刻と受信時刻の情報を一つの端末装置に集めるが、配信装置と端末装置で時刻情報を合わせるために、別途、時刻配信サーバを使用しなければならないという問題があった。また、配信時刻と受信時刻の情報を集計する端末装置が稼動し続ける必要があり、この端末装置が故障などにより停止すると、同期再生を継続することができなくなるという問題点もあった。更に、同期再生中にこの端末装置を任意に停止させることができないといった制限もあった。
【０００５】
また、同期再生する端末装置の数が多くなると、配信時刻と受信時刻の情報を集計する端末装置には負荷が集中することで多くの資源（ネットワークの伝送資源、計算資源、記憶資源）を要するという問題がある。最大の負荷を想定した資源を確保する必要があり、スケーラビリティの面で柔軟性がないという問題があった。
【０００６】
この発明は上記のような課題を解決するためになされたもので、同期再生のための時刻配信サーバといった構成を必要とせず、柔軟に同期再生のための構成を実現することのできるメディア同期再生システムを得ることを目的とする。
【課題を解決するための手段】
【０００７】
この発明に係るメディア同期再生システムは、ネットワークを介してメディアデータを配信する配信装置と、配信装置からメディアデータを受信し、メディアデータの同期再生を行う複数の端末装置からなるメディア同期再生システムであって、複数の端末装置のうち、任意の端末装置を基準端末装置、基準端末装置以外の端末装置を従属端末装置とし、基準端末装置は、従属端末装置から、複数の端末装置の同期再生の基準となる基準システムクロックの問い合わせを受けた場合、基準システムクロックと、問い合わせを受けてから基準システムクロックを出力するまでの応答処理時間とを同期情報として出力すると共に、基準システムクロックと自身のシステムクロックとの差分を同期再生のための待機時間とし、従属端末装置は、基準端末装置に対して、基準システムクロックを問い合わせ、その結果、応答として得られた同期情報の基準システムクロックおよび応答処理時間と、自身のシステムクロックとに基づいて、同期再生のための待機時間を決定するようにしたものである。
【発明の効果】
【０００８】
この発明のメディア同期再生システムは、各端末装置間で同期再生の基準となる基準システムクロックを基準端末装置で生成し、従属端末装置は、基準端末装置における基準システムクロックと応答処理時間と、自身のシステムクロックとに基づいて、同期再生のための待機時間を決定するようにしたので、同期再生のための時刻配信サーバといった構成を必要とせず、柔軟に同期再生のための構成を実現することができる。
【図面の簡単な説明】
【０００９】
【図１】この発明の実施の形態１によるメディア同期再生システムを示す全体構成図である。
【図２】この発明の実施の形態１によるメディア同期再生システムの同期の原理を示す説明図である。
【図３】この発明の実施の形態１によるメディア同期再生システムの基準ＳＴＣの問い合わせのシーケンスを示す説明図である。
【図４】この発明の実施の形態１によるメディア同期再生システムの端末装置を示す構成図である。
【図５】この発明の実施の形態１によるメディア同期再生システムの同期調整部の構成図である。
【図６】この発明の実施の形態１によるメディア同期再生システムの基準端末装置として振る舞う場合の同期調整部を示す構成図である。
【図７】この発明の実施の形態１によるメディア同期再生システムの従属端末装置として振る舞う場合の同期調整部を示す構成図である。
【図８】この発明の実施の形態１によるメディア同期再生システムの同期グループへの端末装置の参加のシーケンスを示す説明図である。
【図９】この発明の実施の形態１によるメディア同期再生システムの端末装置の初回同期のシーケンスを示す説明図である。
【図１０】この発明の実施の形態１によるメディア同期再生システムのスケジュール生成を示すフローチャートである。
【図１１】この発明の実施の形態１によるメディア同期再生システムの端末装置の再同期のシーケンスを示す説明図である。
【図１２】この発明の実施の形態１によるメディア同期再生システムの端末装置の同期グループからの離脱のシーケンスを示す説明図である。
【図１３】この発明の実施の形態１によるメディア同期再生システムの新しい基準端末装置を指定するシーケンスを示す説明図である。
【図１４】この発明の実施の形態１によるメディア同期再生システムの基準端末装置の選出を示すフローチャートである。
【図１５】この発明の実施の形態１によるメディア同期再生システムの基準端末装置の選出における他の例を示すフローチャートである。
【図１６】この発明の実施の形態２によるメディア同期再生システムを示す構成図である。
【発明を実施するための形態】
【００１０】
実施の形態１．
図１は、この発明の実施の形態１によるメディア同期再生システムの全体構成図である。
メディア同期再生システムは、端末装置１（基準端末装置１ａ、従属端末装置１ｂ）と配信装置２がネットワーク３で相互に接続され構成されている。また、端末装置１（基準端末装置１ａ、従属端末装置１ｂ）と配信装置２は、一つの同期グループ４ａを構成しており、この同期グループ４ａ内で同期再生を行う。更に、この同期グループ４ａとは異なる同期グループ４ｂも存在する。同期グループ４ａ，４ｂでは、同期再生の基準となる一つの端末装置１を基準端末装置１ａとし、基準端末装置１ａに同期するその他の端末装置１を従属端末装置１ｂとする。
【００１１】
このようなメディア同期再生システムにおける同期再生の原理について先ず説明する。
図２は、同期再生の原理を示す説明図である。
この図は、配信装置からメディアデータが配信され、各端末装置Ａ，Ｂ，Ｃで表示されるまでに要する時間を示している。
配信装置からマルチキャスト送信されるメディアデータが各端末装置Ａ，Ｂ，Ｃに到達する時間Ｔ（伝送時間）は、ネットワークの伝送状況により異なる。
Ｔ１≠Ｔ２≠Ｔ３
各端末装置Ａ，Ｂ，Ｃがメディアデータをデコード処理して得られたフレームを表示可能となるまでの時間Ｄ（再生処理時間）は、端末装置の性能により異なる。
Ｄ１≠Ｄ２≠Ｄ３
端末装置Ａ，Ｂ，Ｃ間で同タイミングにフレームを表示できるように、表示が可能になった時刻から実際に表示するまでに待機時間Ｗを設ける。
Ｔ１＋Ｄ１＋Ｗ１＝Ｔ２＋Ｄ２＋Ｗ２＝Ｔ３＋Ｄ３＋Ｗ３
【００１２】
次に、待機時間の求め方について説明する。
端末装置１のシステムクロックはメディアデータを再生処理することで得られるフレームに付加されたタイムスタンプなど（設定すべきシステムクロックの値を定義する情報でもよい）により初期化するが、伝送時間と再生処理時間が端末装置間で異なるため、あるタイミングの各端末装置のシステムクロックの値は同じにはならない。ここで基準とする仮想のシステムクロック（基準ＳＴＣ）を生成し、基準ＳＴＣに従ってフレームを表示することを考える。端末装置１のシステムクロックと基準ＳＴＣとの差分が待機時間となる。
基準ＳＴＣを管理する端末装置（基準端末装置１ａ）を決定し、他の端末装置（従属端末装置１ｂ）は、基準端末装置１ａに基準ＳＴＣを問い合わせることで同期する。図３は、この問い合わせを示す説明図である。
【００１３】
端末装置１はネットワーク３を介して接続されるため、問い合わせが基準端末装置１ａに到達する時間（Ｔ１０）と問い合わせに応答する時間（Ｔ１１）、応答が従属端末装置１ｂに到達する時間（Ｔ１２）が発生する。Ｔ１０、Ｔ１１、Ｔ１２を考慮し、より正確な同期再生を実現する。
Ｔ１０、Ｔ１１、Ｔ１２の合計は、従属端末装置１ｂで問い合わせた時刻（ｓｔｃ１０）と応答された時刻（ｓｔｃ１１）の差分と同じである。
Ｔ１０＋Ｔ１１＋Ｔ１２＝ｓｔｃ１１−ｓｔｃ１０
ｓｔｃ１１に相当する基準ＳＴＣの値として、従属端末装置１ｂに応答されるｓｔｃ２０を補正する値を考える。
補正値＝Ｔ１１＋Ｔ１２
問い合わせが伝送される時間（Ｔ１０）と応答が伝送される時間（Ｔ１２）が等しいとみなす。
Ｔ１２≒（Ｔ１０＋Ｔ１２）／２
よって、補正値を次のようにみなす。
補正値≒Ｔ１１＋（Ｔ１０＋Ｔ１２）／２
≒Ｔ１１＋（（ｓｔｃ１１−ｓｔｃ１０）−Ｔ１１）／２
【００１４】
Ｔ１１は基準端末装置１ａが計測することでき、従属端末装置１ｂへの応答にｓｔｃ２０とＴ１１を含めることとする。従属端末装置１ｂでの待機時間は次のように求められる。
待機時間＝ｓｔｃ１１−（ｓｔｃ２０＋補正値）
＝ｓｔｃ１１−（ｓｔｃ２０＋（Ｔ１１＋（（ｓｔｃ１１−ｓｔｃ１０）−Ｔ１１）／２）
＝（ｓｔｃ１０＋ｓｔｃ１１−ｓｔｃ２０＊２＋Ｔ１１）／２
なお、基準端末装置１ａの待機時間は次のように求められる。
待機時間＝システムクロック値−基準ＳＴＣ値
【００１５】
以下、基準端末装置１ａ，従属端末装置１ｂと配信装置２の細部について説明する。
配信装置２は、同期グループ４ａ（４ｂ）に登録した端末装置１のアドレスを保持しており、メディアデータを同期グループ４ａ（４ｂ）に含まれる端末装置１にマルチキャストで配信する。メディアデータの全フレームに重複のないタイムスタンプを付加し、同期の調整をするためのフレームにはフラグ（同期調整フラグ）を付加する。端末装置１では、同期調整フラグがＯＮであるフレームに対して、表示中のフレームを複数フレームの期間表示させるフレームポーズ制御と、連続してフレームを出力させることでフレームを表示させないフレームスキップ制御を実施する。即ち、配信装置２は、各端末装置１で再生されるメディアデータにおいて、不連続にフレームを表示しても知覚されにくいフレームを予め決定し、このフレームの同期調整フラグをＯＮとする。そして、各端末装置１は、同期調整フラグがＯＮであるフレームを表示するときに待機時間の変更を実施する。
【００１６】
端末装置１はネットワーク３に接続するとアドレスを解決し、同期グループ４ａ（４ｂ）に参加すると配信装置２からメディアデータを受信する。次に、メディアデータをデコードしてフレームとタイムスタンプを得る。フレームはタイムスタンプのタイミングで表示される。
端末装置１は、同期グループ４ａ（４ｂ）に参加すると、先ず、従属端末装置１ｂとして振る舞う。基準端末装置１ａは、任意の従属端末装置１ｂを指定して基準端末装置１ａの役割を引き継がせることができ、引き継ぎが完了した基準端末装置１ａは従属端末装置１ｂとして振る舞う。以下、図４を用いて端末装置１の構成を説明する。
【００１７】
図４に示すように、端末装置１は、通信部１０、接続管理部１１、デコーダ１２、フレームバッファ１３、表示器１４、システムクロック部１５、同期調整部１６を備えている。
通信部１０は、配信装置２と他の端末装置１とネットワーク３を介して接続し、接続情報と同期情報を送受信し、メディアデータを受信する。また、端末装置１内部の接続管理部１１と接続され、接続情報を入出力すると共に、同期調整部１６と接続され、接続情報および同期情報を入出力する。更に、デコーダ１２と接続され、デコーダ１２に対してメディアデータを出力する。
【００１８】
接続管理部１１は、接続情報を管理し、配信装置２のアドレスと基準端末装置１ａのアドレスを保持する。デコーダ１２は、入力されたメディアデータをデコードし、フレームをフレームバッファ１３に出力する。フレームバッファ１３は、入力されたフレームを一時的に保持し、フレームのタイムスタンプを同期調整部１６に出力する。また、同期調整部１６からのフレーム出力制御により、フレームを表示器１４に出力する。表示器１４は、フレームバッファ１３から入力されたフレームを即座に表示する。
【００１９】
システムクロック部１５は、周期的にカウントアップするカウンタであり、同期調整部１６により初期値をセットされ、同期調整部１６にＳＴＣ値を供給する。同期調整部１６は、通信部１０と接続して同期情報を送受信し、システムクロック部１５におけるシステムクロックを設定してシステムクロック部１５からＳＴＣ値を供給させ、フレームバッファ１３内のフレームのタイムスタンプを参照してフレーム出力制御を行う。この同期調整部１６は、基準端末装置１ａと従属端末装置１ｂとでその機能が異なるものであり、以下、それぞれの構成について説明する。
【００２０】
図５は、基準端末装置１ａ及び従属端末装置１ｂの両対応の同期調整部１６を示す構成図である。図示のように、同期調整部１６は、同期情報受信部１６０、同期管理部１６１（同期情報蓄積部１６２、スケジュール部１６３、基準ＳＴＣ生成部１６４、応答処理時間計測部１６５）、待機時間算出部１６６、同期情報送信部１６７、フレーム出力制御部１６８から構成される。
また、図６は、端末装置１が基準端末装置１ａとして動作する場合の同期調整部１６を示すブロック図であり、同期管理部１６１が有効となる。一方、図７は、端末装置１が従属端末装置１ｂとして動作する場合の同期調整部１６を示すブロック図であり、同期管理部１６１が無効となる。以下、各部の詳細について説明する。
【００２１】
同期情報受信部１６０は、基準端末装置１ａであるか従属端末装置１ｂであるかで動作が異なる。図６に示すような基準端末装置１ａであるとき、通信部１０から受信した同期情報を判別し、従属端末装置１ｂからの同期情報（例えば、送信元アドレス、ＳＴＣ値と待機時間）を同期情報蓄積部１６２に出力して応答処理時間計測部１６５に開始情報を伝える。一方、図７に示すような従属端末装置１ｂであるとき、受信した同期情報を判別し、基準端末装置１ａからの同期情報（例えば、基準ＳＴＣと応答処理時間）を待機時間算出部１６６に出力する。また、受信した同期情報の送信元アドレスを同期情報送信部１６７に通知する。
【００２２】
同期情報蓄積部１６２は、基準端末装置１ａであるとき有効となり、端末装置１毎の同期情報を蓄積し、基準ＳＴＣ生成部１６４とスケジュール部１６３に任意の同期情報を出力する。また、スケジュール部１６３により生成されたスケジュールを端末装置１毎に蓄積する。スケジュール部１６３は、基準端末装置１ａであるとき有効となり、同期情報蓄積部１６２の同期情報を参照して端末装置１を同期させるスケジュールを生成し、同期情報蓄積部１６２と同期情報送信部１６７に出力する。また、スケジュール部１６３は、基準端末装置１ａの同期処理による負荷に配慮し、同期処理ができるだけ同時に発生しないようにスケジュールを生成する。また、同期処理による待機時間の調整幅を考慮して優先的に再同期する端末装置１を決定する。尚、スケジュール生成については後述する。
【００２３】
基準ＳＴＣ生成部１６４は、基準端末装置１ａであるとき有効となり、同期情報蓄積部１６２の同期情報の中で最も大きく遅延している端末装置１の待機時間から基準ＳＴＣを生成し、基準ＳＴＣ値を待機時間算出部１６６と同期情報送信部１６７に出力する。基準ＳＴＣの値は、同期する全ての端末装置１のシステムクロックよりも遅れている必要があり、基準ＳＴＣの値は全ての端末装置のシステムクロックの値（最遅延システムクロック）以下であることが条件となる。
基準ＳＴＣ≦最遅延システムクロック
例として、同期グループ４ａ（４ｂ）に端末装置１が追加されることに配慮し、最遅延システムクロックから余裕をもたせた値（余裕値）を設定する。
基準ＳＴＣ＝最遅延システムクロック−余裕値
【００２４】
応答処理時間計測部１６５は、基準端末装置１ａであるとき有効となり、システムクロック部１５から入力されるＳＴＣ値を参照して開始情報により計測を開始し、終了情報により計測を終了して同期情報送信部１６７に応答処理時間を出力する。
待機時間算出部１６６は、入力されたＳＴＣ値と基準ＳＴＣ値、応答処理時間から待機時間を算出し、同期情報送信部１６７とフレーム出力制御部１６８に出力する。
フレーム出力制御部１６８は、システムクロック部１５のシステムクロックを最初に入力されたタイムスタンプにより設定し、フレーム出力制御を行う。以降はシステムクロック部１５のＳＴＣ値を監視し、フレームバッファ１３から入力されたタイムスタンプに待機時間を加えた時刻にフレームを出力するように制御する。同期処理などにより待機時間が更新されると、同期調整フラグがＯＮになったフレームに対して、フレームポーズとフレームスキップの制御を行う。
【００２５】
同期情報送信部１６７は、基準端末装置１ａであるか従属端末装置１ｂであるかで動作が異なる。基準端末装置１ａであるとき、システムクロック部１５から入力されたＳＴＣ値と、待機時間算出部１６６から入力された待機時間から同期情報を生成して同期情報蓄積部１６２に出力し、基準ＳＴＣ生成部１６４から出力された基準ＳＴＣ値と、応答処理時間計測部１６５に終了情報を伝えて出力させた応答処理時間から同期情報を生成して通信部１０に送信する。一方、従属端末装置１ｂであるとき、システムクロック部１５から入力されたＳＴＣ値と、待機時間算出部１６６から入力された待機時間から同期情報を生成して通信部１０に送信する。また、同期情報受信部１６０から通知された端末装置アドレスが通信部１０に送信する同期情報の送信先となる。
【００２６】
同期情報は送信される方向により含まれる情報が異なるので次のように細分化する。
基準端末装置１ａから従属端末装置１ｂに送信される同期情報を、基準同期情報、スケジュール情報、同期グループ情報とする。基準同期情報には、送信元の端末装置１のアドレスと基準ＳＴＣ、応答処理時間などが含まれる。スケジュール情報には、送信元の端末装置１のアドレスとスケジュール（次に同期処理を実施する時刻）などが含まれる。同期グループ情報には、基準端末装置１ａが保持している同期グループ内に存在する全ての端末装置１の同期情報などが含まれる。一方、従属端末装置１ｂから基準端末装置１ａに送信される同期情報を従属同期情報とする。従属同期情報には、送信元の端末装置のアドレスとＳＴＣ値、待機時間などが含まれる。
【００２７】
接続情報は送信方向により内容が異なる。基準端末装置１ａから従属端末装置１ｂに送信される接続情報を基準接続情報とする。基準接続情報には、配信装置２のアドレスと基準端末装置１ａのアドレス（送信元の端末装置１のアドレス）などが含まれる。一方、従属端末装置１ｂから基準端末装置１ａと配信装置２に送信される接続情報を従属接続情報とする。従属接続情報には、同期グループに追加する端末装置１のアドレス（送信元の端末装置１のアドレス）などが含まれる。
【００２８】
次に、このように構成されたメディア同期再生システムの動作について説明する。
先ず、端末装置１が同期グループに参加すると従属端末装置１ｂとして振る舞う。この動作シーケンスを図８に示す。即ち、ある同期グループの基準端末装置１ａは、ネットワーク３に一定期間毎に基準接続情報をブロードキャストしている。参加する端末装置１は従属端末装置１ｂとして振る舞い、基準接続情報を受信するまでは待機状態となる。基準接続情報を受信した場合は、その基準接続情報から、同期グループに属する配信装置２のアドレスを取得する。そして、従属端末装置１ｂは従属接続情報を配信装置２に対してユニキャスト送信し、メディアデータの受信処理を開始する。配信装置２では従属接続情報を受け取ると、端末装置１のアドレスを取得し、配信先アドレスのリストに追加する。
【００２９】
次に、基準端末装置１ａと従属端末装置１ｂの初回同期について説明する。図９は、その動作シーケンスである。同期グループに参加した端末装置１は、従属端末装置１ｂとして振る舞い、最初に基準端末装置１ａと同期する。基準端末装置１ａは次に同期すべき時刻をスケジュール情報として従属端末装置１ｂに送信する。
即ち、従属端末装置１ｂは、配信装置２よりメディアデータを受信すると、メディアデータをデコードし、フレームとタイムスタンプを取得する。そして、タイムスタンプによりシステムクロックを設定する。その後は、先頭フレームの表示制御を行うと共に、ＳＴＣ値と待機時間から従属同期情報を生成して基準端末装置１ａに対してユニキャスト送信し基準同期情報の受信待ちとなる。
基準端末装置１ａでは、受信した従属同期情報に基づいて基準ＳＴＣを更新し、基準同期情報を、従属同期情報を送信した従属端末装置１ｂ宛にユニキャスト送信する。
従属端末装置１ｂでは、伝送遅延を考慮して待機時間を算出し、ＳＴＣ値と待機時間から従属同期情報を生成して基準端末装置１ａにユニキャスト送信する。その後は、スケジュール情報の受信待ちとなる。
基準端末装置１ａでは、受信した従属同期情報に基づいてスケジュール生成を行い、生成したスケジュール情報をユニキャスト送信する。
【００３０】
次に、基準端末装置１ａにおけるスケジュール生成について説明する。
図１０は、スケジュール部１６３におけるスケジュール生成を示すフローチャートである。
スケジュール部１６３は同期情報蓄積部１６２の同期グループ情報を参照して（ステップＳＴ１）、前回の調整幅から同期処理を行う従属端末装置１ｂの優先度を決定する（ステップＳＴ２）。即ち、同期する前と同期した後の待機時間の差分が大きい従属端末装置１ｂほど優先度が高くなるようにする。次に、ステップＳＴ２で決定した優先度に応じて同期処理の間隔を決定する（ステップＳＴ３）。また、各端末装置１の次に同期処理を実施する時刻から、重複しない時刻を抽出し（ステップＳＴ４）、同期処理の間隔に最も近い重複しない時刻を選択して、次に同期処理する時刻を決定する（ステップＳＴ５）。そして、次に同期処理する時刻からスケジュール情報を生成して出力する（ステップＳＴ６）。
【００３１】
従属端末装置１ｂは、基準端末装置１ａからの指示（スケジュール情報）に従い、基準端末装置１ａとの再同期（スケジュール同期）を実施する。図１１はこの再度同期処理の動作シーケンスである。
従属端末装置１ｂではスケジュール情報に従い、再同期処理を開始する。この再同期処理は、上述した初回同期処理と同様に、ＳＴＣ値と待機時間から従属同期情報を生成し、これを基準端末装置１ａにユニキャスト送信する。その後の基準端末装置１ａと従属端末装置１ｂの処理は初回同期の場合と同様である。
【００３２】
次に、従属端末装置１ｂの同期グループからの離脱について説明する。
従属端末装置１ｂは任意に同期グループから外れることができる。図１２はその動作シーケンスである。
即ち、従属端末装置１ｂは、同期グループから離脱する場合は、スケジュールを破棄して再同期を実施しない。一方、基準端末装置１ａでは、スケジュールに従い、従属端末装置１ｂの再同期が行われないことを検出すると、スケジュールを破棄した従属端末装置１ｂを同期グループ情報から削除し、配信装置２に対して、同期グループ情報から削除した従属端末装置１ｂのアドレスを通知する。配信装置２では、保持している同期グループに登録した端末装置１のアドレスを更新する。
尚、基準端末装置１ａが同期グループから離脱する場合は、新しい基準端末装置１ａを指定し、基準端末装置１ａから従属端末装置１ｂになる。
【００３３】
次に、新しい基準端末装置１ａの指定について説明する。
基準端末装置１ａは、同期グループ内の従属端末装置１ｂを新しい基準端末装置１ａに指定する。その動作シーケンスを図１３に示す。
即ち、基準端末装置１ａは、従属端末装置１ｂの中から新しい基準端末装置１ａを選出すると、その従属端末装置１ｂに対して同期グループ情報を送信する。その後、基準端末装置１ａは基準接続情報がブロードキャスト送信されるのを待機する。尚、新たな基準端末装置１ａの選出処理については後述する。
同期グループ情報を受信した従属端末装置１ｂは、同期グループ情報を保持し、同期管理部１６１を有効化し、以降、基準端末装置１ａとして振る舞う。新たな基準端末装置１ａは、基準接続情報をブロードキャスト送信し、これを受信した旧基準端末装置１ａは、同期管理部１６１を無効化し、同期グループ情報を破棄し、以降、従属端末装置１ｂとして振る舞う。
【００３４】
次に、基準端末装置の選出について説明する。
基準端末装置１ａは、ネットワーク３の接続状況や端末装置１の性能を考慮して新たな基準端末装置１ａを決定する。
基準端末装置１ａを決定する一つの例として、あるタイミングのシステムクロックの値が最大となる従属端末装置１ｂの負荷が最も低いと見込み、新しい基準端末装置１ａの候補とする。そのフローを図１４に示す。
即ち、基準端末装置１ａでは、同期情報蓄積部１６２の同期グループ情報を参照して（ステップＳＴ１１）、各従属端末装置１ｂの待機時間などからシステムクロックの値を推測する（ステップＳＴ１２）。そして、推測したシステムクロックの値が最大となる従属端末装置１ｂを選択し（ステップＳＴ１３）、選択した従属端末装置１ｂを新たな基準端末装置１ａとして選出する（ステップＳＴ１４）。
【００３５】
また、新たな基準端末装置１ａを決定する別の例として、あるタイミングのシステムクロックの値が最小となる従属端末装置１ｂの負荷が最も高いと見込み、この従属端末装置１ｂを除いた従属端末装置１ｂからランダムで新たな基準端末装置１ａを選択する。そのフローを図１５に示す。
即ち、基準端末装置１ａでは、同期情報蓄積部１６２の同期グループ情報を参照して（ステップＳＴ２１）、各従属端末装置１ｂの待機時間などからシステムクロックの値を推測する（ステップＳＴ２２）。次に、推測したシステムクロックの値が最小となる従属端末装置１ｂを除外した従属端末装置１ｂのリストを生成し（ステップＳＴ２３）、このリストからランダムに端末装置を選択する（ステップＳＴ２４）。そして、選択した端末装置を新たな基準端末装置１ａとして選出する（ステップＳＴ２５）。
【００３６】
以上のように、実施の形態１のメディア同期再生システムによれば、ネットワークを介してメディアデータを配信する配信装置と、配信装置からメディアデータを受信し、メディアデータの同期再生を行う複数の端末装置からなるメディア同期再生システムであって、複数の端末装置のうち、任意の端末装置を基準端末装置、基準端末装置以外の端末装置を従属端末装置とし、基準端末装置は、従属端末装置から、複数の端末装置の同期再生の基準となる基準システムクロックの問い合わせを受けた場合、基準システムクロックと、問い合わせを受けてから基準システムクロックを出力するまでの応答処理時間とを同期情報として出力すると共に、基準システムクロックと自身のシステムクロックとの差分を同期再生のための待機時間とし、従属端末装置は、基準端末装置に対して、基準システムクロックを問い合わせ、その結果、応答として得られた同期情報の基準システムクロックおよび応答処理時間と、自身のシステムクロックとに基づいて、同期再生のための待機時間を決定するようにしたので、同期再生のための時刻配信サーバといった構成を必要とせず、柔軟に同期再生のための構成を実現することができる。
【００３７】
また、実施の形態１のメディア同期再生システムによれば、基準端末装置は、従属端末装置の中から新たな基準端末装置を選択し、新たな基準端末装置となる従属端末装置が基準端末装置としての処理を開始した後、旧基準端末装置は従属端末装置として振る舞うようにしたので、各端末装置の負荷の変化等に対しても柔軟に対応することができる。
【００３８】
また、実施の形態１のメディア同期再生システムによれば、特定のタイミングで従属端末装置のシステムクロックを比較し、システムクロックが最も大きい従属端末装置を新たな基準端末装置として選択するようにしたので、各端末装置の負荷を適切に分散することができる。
【００３９】
また、実施の形態１のメディア同期再生システムによれば、特定のタイミングで従属端末装置のシステムクロックを比較し、システムクロックが最も小さい従属端末装置を除外して残りの従属端末装置からランダムに新たな基準端末装置を選択するようにしたので、各端末装置の負荷を適切に分散することができる。
【００４０】
また、実施の形態１のメディア同期再生システムによれば、基準端末装置は、同期する前と同期した後の待機時間の差分が大きい従属端末装置を優先的に次回の同期処理の対象として選択するようにしたので、同期する端末装置の数が多い場合でも適切に同期を行うことができる。
【００４１】
また、実施の形態１のメディア同期再生システムによれば、配信装置は、配信するメディアデータ中、特定のフレームを予め決定してそのフレームにフラグを付与し、端末装置は、フラグが付与されたフレームを再生するときに待機時間の変更を実施するようにしたので、メディアデータの再生において同期処理を意識させない表示を行うことができる。
【００４２】
実施の形態２．
実施の形態２は、実施の形態１における同期グループを複数の同期グループに分割し、同期グループ間で同期再生するようにしたものである。
同期再生の基準となる同期グループを基準同期グループとし、基準同期グループに同期する同期グループを従属同期グループとする。基準同期グループに対して従属同期グループは複数存在してよい。また、従属同期グループは、異なる同期グループの基準同期グループとして振る舞っても構わない。図１６に実施の形態２のメディア同期再生システムを示す。
【００４３】
図示の同期グループＡは、同期グループＢの基準同期グループである。また、同期グループＢは同期グループＡの従属同期グループであり、かつ、同期グループＣの基準同期グループである。更に、同期グループＣは、同期グループＢの従属同期グループである。図中の矢印が指す方向が従属から基準への方向を指している。
ここで、基準同期グループとして振る舞う同期グループは、実施の形態１における同期グループ４ａ（４ｂ）と同じ構成、振る舞いをする。ただし、基準同期グループの従属端末装置１ｂは、異なる同期グループの基準端末装置１ａとして振る舞ってもよい。
【００４４】
また、従属同期グループの基準端末装置１ａは、基準同期グループの従属端末装置１ｂとして振る舞う。従属同期グループの従属端末装置１ｂは、実施の形態１と同じである。
従属同期グループは配信装置を含まなくてよく、このときの従属同期グループの基準端末装置１ａの基準同期情報の配信装置のアドレスには、基準同期グループの基準端末装置１ａからブロードキャストされた配信装置のアドレスを使用する。
従属同期グループが配信装置を含むときは、基準同期グループに含まれる配信装置と同等の配信装置である必要がある。同等の配信装置であるとは、同一内容のメディアデータを配信することができることを意味する。
【００４５】
以上のように、実施の形態２のメディア同期再生システムによれば、同期再生する複数の端末装置を一つの同期グループとし、かつ、複数の同期グループが存在するメディア同期再生システムであって、複数の同期グループのうち、任意の同期グループの従属端末装置として振る舞い、かつ、異なる同期グループの基準端末装置として振る舞う端末装置を備えたので、複数の異なる同期グループが存在する場合でも各端末装置の負荷を適切に分散させることができる。
【符号の説明】
【００４６】
１ 端末装置、１ａ 基準端末装置、１ｂ 従属端末装置、２ 配信装置、３ ネットワーク、４ａ，４ｂ 同期グループ、１１ 接続管理部、１５ システムクロック部、１６ 同期調整部、１６０ 同期情報受信部、１６１ 同期管理部、１６２ 同期情報蓄積部、１６３ スケジュール部、１６４ 基準ＳＴＣ生成部、１６５ 応答処理時間計測部、１６６ 待機時間算出部、１６７ 同期情報送信部、１６８ フレーム出力制御部。
【技術分野】
【０００１】
本発明は、配信装置からネットワークを介して映像や音声、テキスト、画像等のメディアデータを複数の端末装置に配信し、これら端末装置間で同期再生させるためのメディア同期再生システムに関するものである。
【背景技術】
【０００２】
今日、配信サーバから配信される映像を同時に再生する映像コミュニケ−ションシステムが存在する。このような映像コミュニケーションシステムにおけるメディア同期再生システムとして、従来では、時刻配信サーバからの時刻情報に合わせて、映像配信サーバから、映像データと配信時刻を示す情報を含むマルチキャストパケットを各端末装置に配送するようにしたものがあった（例えば、特許文献１参照）。このシステムは、各端末装置でマルチキャストパケットを受信し、配信時刻と受信時刻の情報を一つの端末装置に集め、最大の配信遅延時間を算出し、この最大の配信遅延時間を基準として、各端末装置の再生タイミング制御部が映像データの再生タイミングを調整するものであった。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−２３５０２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来のメディア同期再生システムでは、配信時刻と受信時刻の情報を一つの端末装置に集めるが、配信装置と端末装置で時刻情報を合わせるために、別途、時刻配信サーバを使用しなければならないという問題があった。また、配信時刻と受信時刻の情報を集計する端末装置が稼動し続ける必要があり、この端末装置が故障などにより停止すると、同期再生を継続することができなくなるという問題点もあった。更に、同期再生中にこの端末装置を任意に停止させることができないといった制限もあった。
【０００５】
また、同期再生する端末装置の数が多くなると、配信時刻と受信時刻の情報を集計する端末装置には負荷が集中することで多くの資源（ネットワークの伝送資源、計算資源、記憶資源）を要するという問題がある。最大の負荷を想定した資源を確保する必要があり、スケーラビリティの面で柔軟性がないという問題があった。
【０００６】
この発明は上記のような課題を解決するためになされたもので、同期再生のための時刻配信サーバといった構成を必要とせず、柔軟に同期再生のための構成を実現することのできるメディア同期再生システムを得ることを目的とする。
【課題を解決するための手段】
【０００７】
この発明に係るメディア同期再生システムは、ネットワークを介してメディアデータを配信する配信装置と、配信装置からメディアデータを受信し、メディアデータの同期再生を行う複数の端末装置からなるメディア同期再生システムであって、複数の端末装置のうち、任意の端末装置を基準端末装置、基準端末装置以外の端末装置を従属端末装置とし、基準端末装置は、従属端末装置から、複数の端末装置の同期再生の基準となる基準システムクロックの問い合わせを受けた場合、基準システムクロックと、問い合わせを受けてから基準システムクロックを出力するまでの応答処理時間とを同期情報として出力すると共に、基準システムクロックと自身のシステムクロックとの差分を同期再生のための待機時間とし、従属端末装置は、基準端末装置に対して、基準システムクロックを問い合わせ、その結果、応答として得られた同期情報の基準システムクロックおよび応答処理時間と、自身のシステムクロックとに基づいて、同期再生のための待機時間を決定するようにしたものである。
【発明の効果】
【０００８】
この発明のメディア同期再生システムは、各端末装置間で同期再生の基準となる基準システムクロックを基準端末装置で生成し、従属端末装置は、基準端末装置における基準システムクロックと応答処理時間と、自身のシステムクロックとに基づいて、同期再生のための待機時間を決定するようにしたので、同期再生のための時刻配信サーバといった構成を必要とせず、柔軟に同期再生のための構成を実現することができる。
【図面の簡単な説明】
【０００９】
【図１】この発明の実施の形態１によるメディア同期再生システムを示す全体構成図である。
【図２】この発明の実施の形態１によるメディア同期再生システムの同期の原理を示す説明図である。
【図３】この発明の実施の形態１によるメディア同期再生システムの基準ＳＴＣの問い合わせのシーケンスを示す説明図である。
【図４】この発明の実施の形態１によるメディア同期再生システムの端末装置を示す構成図である。
【図５】この発明の実施の形態１によるメディア同期再生システムの同期調整部の構成図である。
【図６】この発明の実施の形態１によるメディア同期再生システムの基準端末装置として振る舞う場合の同期調整部を示す構成図である。
【図７】この発明の実施の形態１によるメディア同期再生システムの従属端末装置として振る舞う場合の同期調整部を示す構成図である。
【図８】この発明の実施の形態１によるメディア同期再生システムの同期グループへの端末装置の参加のシーケンスを示す説明図である。
【図９】この発明の実施の形態１によるメディア同期再生システムの端末装置の初回同期のシーケンスを示す説明図である。
【図１０】この発明の実施の形態１によるメディア同期再生システムのスケジュール生成を示すフローチャートである。
【図１１】この発明の実施の形態１によるメディア同期再生システムの端末装置の再同期のシーケンスを示す説明図である。
【図１２】この発明の実施の形態１によるメディア同期再生システムの端末装置の同期グループからの離脱のシーケンスを示す説明図である。
【図１３】この発明の実施の形態１によるメディア同期再生システムの新しい基準端末装置を指定するシーケンスを示す説明図である。
【図１４】この発明の実施の形態１によるメディア同期再生システムの基準端末装置の選出を示すフローチャートである。
【図１５】この発明の実施の形態１によるメディア同期再生システムの基準端末装置の選出における他の例を示すフローチャートである。
【図１６】この発明の実施の形態２によるメディア同期再生システムを示す構成図である。
【発明を実施するための形態】
【００１０】
実施の形態１．
図１は、この発明の実施の形態１によるメディア同期再生システムの全体構成図である。
メディア同期再生システムは、端末装置１（基準端末装置１ａ、従属端末装置１ｂ）と配信装置２がネットワーク３で相互に接続され構成されている。また、端末装置１（基準端末装置１ａ、従属端末装置１ｂ）と配信装置２は、一つの同期グループ４ａを構成しており、この同期グループ４ａ内で同期再生を行う。更に、この同期グループ４ａとは異なる同期グループ４ｂも存在する。同期グループ４ａ，４ｂでは、同期再生の基準となる一つの端末装置１を基準端末装置１ａとし、基準端末装置１ａに同期するその他の端末装置１を従属端末装置１ｂとする。
【００１１】
このようなメディア同期再生システムにおける同期再生の原理について先ず説明する。
図２は、同期再生の原理を示す説明図である。
この図は、配信装置からメディアデータが配信され、各端末装置Ａ，Ｂ，Ｃで表示されるまでに要する時間を示している。
配信装置からマルチキャスト送信されるメディアデータが各端末装置Ａ，Ｂ，Ｃに到達する時間Ｔ（伝送時間）は、ネットワークの伝送状況により異なる。
Ｔ１≠Ｔ２≠Ｔ３
各端末装置Ａ，Ｂ，Ｃがメディアデータをデコード処理して得られたフレームを表示可能となるまでの時間Ｄ（再生処理時間）は、端末装置の性能により異なる。
Ｄ１≠Ｄ２≠Ｄ３
端末装置Ａ，Ｂ，Ｃ間で同タイミングにフレームを表示できるように、表示が可能になった時刻から実際に表示するまでに待機時間Ｗを設ける。
Ｔ１＋Ｄ１＋Ｗ１＝Ｔ２＋Ｄ２＋Ｗ２＝Ｔ３＋Ｄ３＋Ｗ３
【００１２】
次に、待機時間の求め方について説明する。
端末装置１のシステムクロックはメディアデータを再生処理することで得られるフレームに付加されたタイムスタンプなど（設定すべきシステムクロックの値を定義する情報でもよい）により初期化するが、伝送時間と再生処理時間が端末装置間で異なるため、あるタイミングの各端末装置のシステムクロックの値は同じにはならない。ここで基準とする仮想のシステムクロック（基準ＳＴＣ）を生成し、基準ＳＴＣに従ってフレームを表示することを考える。端末装置１のシステムクロックと基準ＳＴＣとの差分が待機時間となる。
基準ＳＴＣを管理する端末装置（基準端末装置１ａ）を決定し、他の端末装置（従属端末装置１ｂ）は、基準端末装置１ａに基準ＳＴＣを問い合わせることで同期する。図３は、この問い合わせを示す説明図である。
【００１３】
端末装置１はネットワーク３を介して接続されるため、問い合わせが基準端末装置１ａに到達する時間（Ｔ１０）と問い合わせに応答する時間（Ｔ１１）、応答が従属端末装置１ｂに到達する時間（Ｔ１２）が発生する。Ｔ１０、Ｔ１１、Ｔ１２を考慮し、より正確な同期再生を実現する。
Ｔ１０、Ｔ１１、Ｔ１２の合計は、従属端末装置１ｂで問い合わせた時刻（ｓｔｃ１０）と応答された時刻（ｓｔｃ１１）の差分と同じである。
Ｔ１０＋Ｔ１１＋Ｔ１２＝ｓｔｃ１１−ｓｔｃ１０
ｓｔｃ１１に相当する基準ＳＴＣの値として、従属端末装置１ｂに応答されるｓｔｃ２０を補正する値を考える。
補正値＝Ｔ１１＋Ｔ１２
問い合わせが伝送される時間（Ｔ１０）と応答が伝送される時間（Ｔ１２）が等しいとみなす。
Ｔ１２≒（Ｔ１０＋Ｔ１２）／２
よって、補正値を次のようにみなす。
補正値≒Ｔ１１＋（Ｔ１０＋Ｔ１２）／２
≒Ｔ１１＋（（ｓｔｃ１１−ｓｔｃ１０）−Ｔ１１）／２
【００１４】
Ｔ１１は基準端末装置１ａが計測することでき、従属端末装置１ｂへの応答にｓｔｃ２０とＴ１１を含めることとする。従属端末装置１ｂでの待機時間は次のように求められる。
待機時間＝ｓｔｃ１１−（ｓｔｃ２０＋補正値）
＝ｓｔｃ１１−（ｓｔｃ２０＋（Ｔ１１＋（（ｓｔｃ１１−ｓｔｃ１０）−Ｔ１１）／２）
＝（ｓｔｃ１０＋ｓｔｃ１１−ｓｔｃ２０＊２＋Ｔ１１）／２
なお、基準端末装置１ａの待機時間は次のように求められる。
待機時間＝システムクロック値−基準ＳＴＣ値
【００１５】
以下、基準端末装置１ａ，従属端末装置１ｂと配信装置２の細部について説明する。
配信装置２は、同期グループ４ａ（４ｂ）に登録した端末装置１のアドレスを保持しており、メディアデータを同期グループ４ａ（４ｂ）に含まれる端末装置１にマルチキャストで配信する。メディアデータの全フレームに重複のないタイムスタンプを付加し、同期の調整をするためのフレームにはフラグ（同期調整フラグ）を付加する。端末装置１では、同期調整フラグがＯＮであるフレームに対して、表示中のフレームを複数フレームの期間表示させるフレームポーズ制御と、連続してフレームを出力させることでフレームを表示させないフレームスキップ制御を実施する。即ち、配信装置２は、各端末装置１で再生されるメディアデータにおいて、不連続にフレームを表示しても知覚されにくいフレームを予め決定し、このフレームの同期調整フラグをＯＮとする。そして、各端末装置１は、同期調整フラグがＯＮであるフレームを表示するときに待機時間の変更を実施する。
【００１６】
端末装置１はネットワーク３に接続するとアドレスを解決し、同期グループ４ａ（４ｂ）に参加すると配信装置２からメディアデータを受信する。次に、メディアデータをデコードしてフレームとタイムスタンプを得る。フレームはタイムスタンプのタイミングで表示される。
端末装置１は、同期グループ４ａ（４ｂ）に参加すると、先ず、従属端末装置１ｂとして振る舞う。基準端末装置１ａは、任意の従属端末装置１ｂを指定して基準端末装置１ａの役割を引き継がせることができ、引き継ぎが完了した基準端末装置１ａは従属端末装置１ｂとして振る舞う。以下、図４を用いて端末装置１の構成を説明する。
【００１７】
図４に示すように、端末装置１は、通信部１０、接続管理部１１、デコーダ１２、フレームバッファ１３、表示器１４、システムクロック部１５、同期調整部１６を備えている。
通信部１０は、配信装置２と他の端末装置１とネットワーク３を介して接続し、接続情報と同期情報を送受信し、メディアデータを受信する。また、端末装置１内部の接続管理部１１と接続され、接続情報を入出力すると共に、同期調整部１６と接続され、接続情報および同期情報を入出力する。更に、デコーダ１２と接続され、デコーダ１２に対してメディアデータを出力する。
【００１８】
接続管理部１１は、接続情報を管理し、配信装置２のアドレスと基準端末装置１ａのアドレスを保持する。デコーダ１２は、入力されたメディアデータをデコードし、フレームをフレームバッファ１３に出力する。フレームバッファ１３は、入力されたフレームを一時的に保持し、フレームのタイムスタンプを同期調整部１６に出力する。また、同期調整部１６からのフレーム出力制御により、フレームを表示器１４に出力する。表示器１４は、フレームバッファ１３から入力されたフレームを即座に表示する。
【００１９】
システムクロック部１５は、周期的にカウントアップするカウンタであり、同期調整部１６により初期値をセットされ、同期調整部１６にＳＴＣ値を供給する。同期調整部１６は、通信部１０と接続して同期情報を送受信し、システムクロック部１５におけるシステムクロックを設定してシステムクロック部１５からＳＴＣ値を供給させ、フレームバッファ１３内のフレームのタイムスタンプを参照してフレーム出力制御を行う。この同期調整部１６は、基準端末装置１ａと従属端末装置１ｂとでその機能が異なるものであり、以下、それぞれの構成について説明する。
【００２０】
図５は、基準端末装置１ａ及び従属端末装置１ｂの両対応の同期調整部１６を示す構成図である。図示のように、同期調整部１６は、同期情報受信部１６０、同期管理部１６１（同期情報蓄積部１６２、スケジュール部１６３、基準ＳＴＣ生成部１６４、応答処理時間計測部１６５）、待機時間算出部１６６、同期情報送信部１６７、フレーム出力制御部１６８から構成される。
また、図６は、端末装置１が基準端末装置１ａとして動作する場合の同期調整部１６を示すブロック図であり、同期管理部１６１が有効となる。一方、図７は、端末装置１が従属端末装置１ｂとして動作する場合の同期調整部１６を示すブロック図であり、同期管理部１６１が無効となる。以下、各部の詳細について説明する。
【００２１】
同期情報受信部１６０は、基準端末装置１ａであるか従属端末装置１ｂであるかで動作が異なる。図６に示すような基準端末装置１ａであるとき、通信部１０から受信した同期情報を判別し、従属端末装置１ｂからの同期情報（例えば、送信元アドレス、ＳＴＣ値と待機時間）を同期情報蓄積部１６２に出力して応答処理時間計測部１６５に開始情報を伝える。一方、図７に示すような従属端末装置１ｂであるとき、受信した同期情報を判別し、基準端末装置１ａからの同期情報（例えば、基準ＳＴＣと応答処理時間）を待機時間算出部１６６に出力する。また、受信した同期情報の送信元アドレスを同期情報送信部１６７に通知する。
【００２２】
同期情報蓄積部１６２は、基準端末装置１ａであるとき有効となり、端末装置１毎の同期情報を蓄積し、基準ＳＴＣ生成部１６４とスケジュール部１６３に任意の同期情報を出力する。また、スケジュール部１６３により生成されたスケジュールを端末装置１毎に蓄積する。スケジュール部１６３は、基準端末装置１ａであるとき有効となり、同期情報蓄積部１６２の同期情報を参照して端末装置１を同期させるスケジュールを生成し、同期情報蓄積部１６２と同期情報送信部１６７に出力する。また、スケジュール部１６３は、基準端末装置１ａの同期処理による負荷に配慮し、同期処理ができるだけ同時に発生しないようにスケジュールを生成する。また、同期処理による待機時間の調整幅を考慮して優先的に再同期する端末装置１を決定する。尚、スケジュール生成については後述する。
【００２３】
基準ＳＴＣ生成部１６４は、基準端末装置１ａであるとき有効となり、同期情報蓄積部１６２の同期情報の中で最も大きく遅延している端末装置１の待機時間から基準ＳＴＣを生成し、基準ＳＴＣ値を待機時間算出部１６６と同期情報送信部１６７に出力する。基準ＳＴＣの値は、同期する全ての端末装置１のシステムクロックよりも遅れている必要があり、基準ＳＴＣの値は全ての端末装置のシステムクロックの値（最遅延システムクロック）以下であることが条件となる。
基準ＳＴＣ≦最遅延システムクロック
例として、同期グループ４ａ（４ｂ）に端末装置１が追加されることに配慮し、最遅延システムクロックから余裕をもたせた値（余裕値）を設定する。
基準ＳＴＣ＝最遅延システムクロック−余裕値
【００２４】
応答処理時間計測部１６５は、基準端末装置１ａであるとき有効となり、システムクロック部１５から入力されるＳＴＣ値を参照して開始情報により計測を開始し、終了情報により計測を終了して同期情報送信部１６７に応答処理時間を出力する。
待機時間算出部１６６は、入力されたＳＴＣ値と基準ＳＴＣ値、応答処理時間から待機時間を算出し、同期情報送信部１６７とフレーム出力制御部１６８に出力する。
フレーム出力制御部１６８は、システムクロック部１５のシステムクロックを最初に入力されたタイムスタンプにより設定し、フレーム出力制御を行う。以降はシステムクロック部１５のＳＴＣ値を監視し、フレームバッファ１３から入力されたタイムスタンプに待機時間を加えた時刻にフレームを出力するように制御する。同期処理などにより待機時間が更新されると、同期調整フラグがＯＮになったフレームに対して、フレームポーズとフレームスキップの制御を行う。
【００２５】
同期情報送信部１６７は、基準端末装置１ａであるか従属端末装置１ｂであるかで動作が異なる。基準端末装置１ａであるとき、システムクロック部１５から入力されたＳＴＣ値と、待機時間算出部１６６から入力された待機時間から同期情報を生成して同期情報蓄積部１６２に出力し、基準ＳＴＣ生成部１６４から出力された基準ＳＴＣ値と、応答処理時間計測部１６５に終了情報を伝えて出力させた応答処理時間から同期情報を生成して通信部１０に送信する。一方、従属端末装置１ｂであるとき、システムクロック部１５から入力されたＳＴＣ値と、待機時間算出部１６６から入力された待機時間から同期情報を生成して通信部１０に送信する。また、同期情報受信部１６０から通知された端末装置アドレスが通信部１０に送信する同期情報の送信先となる。
【００２６】
同期情報は送信される方向により含まれる情報が異なるので次のように細分化する。
基準端末装置１ａから従属端末装置１ｂに送信される同期情報を、基準同期情報、スケジュール情報、同期グループ情報とする。基準同期情報には、送信元の端末装置１のアドレスと基準ＳＴＣ、応答処理時間などが含まれる。スケジュール情報には、送信元の端末装置１のアドレスとスケジュール（次に同期処理を実施する時刻）などが含まれる。同期グループ情報には、基準端末装置１ａが保持している同期グループ内に存在する全ての端末装置１の同期情報などが含まれる。一方、従属端末装置１ｂから基準端末装置１ａに送信される同期情報を従属同期情報とする。従属同期情報には、送信元の端末装置のアドレスとＳＴＣ値、待機時間などが含まれる。
【００２７】
接続情報は送信方向により内容が異なる。基準端末装置１ａから従属端末装置１ｂに送信される接続情報を基準接続情報とする。基準接続情報には、配信装置２のアドレスと基準端末装置１ａのアドレス（送信元の端末装置１のアドレス）などが含まれる。一方、従属端末装置１ｂから基準端末装置１ａと配信装置２に送信される接続情報を従属接続情報とする。従属接続情報には、同期グループに追加する端末装置１のアドレス（送信元の端末装置１のアドレス）などが含まれる。
【００２８】
次に、このように構成されたメディア同期再生システムの動作について説明する。
先ず、端末装置１が同期グループに参加すると従属端末装置１ｂとして振る舞う。この動作シーケンスを図８に示す。即ち、ある同期グループの基準端末装置１ａは、ネットワーク３に一定期間毎に基準接続情報をブロードキャストしている。参加する端末装置１は従属端末装置１ｂとして振る舞い、基準接続情報を受信するまでは待機状態となる。基準接続情報を受信した場合は、その基準接続情報から、同期グループに属する配信装置２のアドレスを取得する。そして、従属端末装置１ｂは従属接続情報を配信装置２に対してユニキャスト送信し、メディアデータの受信処理を開始する。配信装置２では従属接続情報を受け取ると、端末装置１のアドレスを取得し、配信先アドレスのリストに追加する。
【００２９】
次に、基準端末装置１ａと従属端末装置１ｂの初回同期について説明する。図９は、その動作シーケンスである。同期グループに参加した端末装置１は、従属端末装置１ｂとして振る舞い、最初に基準端末装置１ａと同期する。基準端末装置１ａは次に同期すべき時刻をスケジュール情報として従属端末装置１ｂに送信する。
即ち、従属端末装置１ｂは、配信装置２よりメディアデータを受信すると、メディアデータをデコードし、フレームとタイムスタンプを取得する。そして、タイムスタンプによりシステムクロックを設定する。その後は、先頭フレームの表示制御を行うと共に、ＳＴＣ値と待機時間から従属同期情報を生成して基準端末装置１ａに対してユニキャスト送信し基準同期情報の受信待ちとなる。
基準端末装置１ａでは、受信した従属同期情報に基づいて基準ＳＴＣを更新し、基準同期情報を、従属同期情報を送信した従属端末装置１ｂ宛にユニキャスト送信する。
従属端末装置１ｂでは、伝送遅延を考慮して待機時間を算出し、ＳＴＣ値と待機時間から従属同期情報を生成して基準端末装置１ａにユニキャスト送信する。その後は、スケジュール情報の受信待ちとなる。
基準端末装置１ａでは、受信した従属同期情報に基づいてスケジュール生成を行い、生成したスケジュール情報をユニキャスト送信する。
【００３０】
次に、基準端末装置１ａにおけるスケジュール生成について説明する。
図１０は、スケジュール部１６３におけるスケジュール生成を示すフローチャートである。
スケジュール部１６３は同期情報蓄積部１６２の同期グループ情報を参照して（ステップＳＴ１）、前回の調整幅から同期処理を行う従属端末装置１ｂの優先度を決定する（ステップＳＴ２）。即ち、同期する前と同期した後の待機時間の差分が大きい従属端末装置１ｂほど優先度が高くなるようにする。次に、ステップＳＴ２で決定した優先度に応じて同期処理の間隔を決定する（ステップＳＴ３）。また、各端末装置１の次に同期処理を実施する時刻から、重複しない時刻を抽出し（ステップＳＴ４）、同期処理の間隔に最も近い重複しない時刻を選択して、次に同期処理する時刻を決定する（ステップＳＴ５）。そして、次に同期処理する時刻からスケジュール情報を生成して出力する（ステップＳＴ６）。
【００３１】
従属端末装置１ｂは、基準端末装置１ａからの指示（スケジュール情報）に従い、基準端末装置１ａとの再同期（スケジュール同期）を実施する。図１１はこの再度同期処理の動作シーケンスである。
従属端末装置１ｂではスケジュール情報に従い、再同期処理を開始する。この再同期処理は、上述した初回同期処理と同様に、ＳＴＣ値と待機時間から従属同期情報を生成し、これを基準端末装置１ａにユニキャスト送信する。その後の基準端末装置１ａと従属端末装置１ｂの処理は初回同期の場合と同様である。
【００３２】
次に、従属端末装置１ｂの同期グループからの離脱について説明する。
従属端末装置１ｂは任意に同期グループから外れることができる。図１２はその動作シーケンスである。
即ち、従属端末装置１ｂは、同期グループから離脱する場合は、スケジュールを破棄して再同期を実施しない。一方、基準端末装置１ａでは、スケジュールに従い、従属端末装置１ｂの再同期が行われないことを検出すると、スケジュールを破棄した従属端末装置１ｂを同期グループ情報から削除し、配信装置２に対して、同期グループ情報から削除した従属端末装置１ｂのアドレスを通知する。配信装置２では、保持している同期グループに登録した端末装置１のアドレスを更新する。
尚、基準端末装置１ａが同期グループから離脱する場合は、新しい基準端末装置１ａを指定し、基準端末装置１ａから従属端末装置１ｂになる。
【００３３】
次に、新しい基準端末装置１ａの指定について説明する。
基準端末装置１ａは、同期グループ内の従属端末装置１ｂを新しい基準端末装置１ａに指定する。その動作シーケンスを図１３に示す。
即ち、基準端末装置１ａは、従属端末装置１ｂの中から新しい基準端末装置１ａを選出すると、その従属端末装置１ｂに対して同期グループ情報を送信する。その後、基準端末装置１ａは基準接続情報がブロードキャスト送信されるのを待機する。尚、新たな基準端末装置１ａの選出処理については後述する。
同期グループ情報を受信した従属端末装置１ｂは、同期グループ情報を保持し、同期管理部１６１を有効化し、以降、基準端末装置１ａとして振る舞う。新たな基準端末装置１ａは、基準接続情報をブロードキャスト送信し、これを受信した旧基準端末装置１ａは、同期管理部１６１を無効化し、同期グループ情報を破棄し、以降、従属端末装置１ｂとして振る舞う。
【００３４】
次に、基準端末装置の選出について説明する。
基準端末装置１ａは、ネットワーク３の接続状況や端末装置１の性能を考慮して新たな基準端末装置１ａを決定する。
基準端末装置１ａを決定する一つの例として、あるタイミングのシステムクロックの値が最大となる従属端末装置１ｂの負荷が最も低いと見込み、新しい基準端末装置１ａの候補とする。そのフローを図１４に示す。
即ち、基準端末装置１ａでは、同期情報蓄積部１６２の同期グループ情報を参照して（ステップＳＴ１１）、各従属端末装置１ｂの待機時間などからシステムクロックの値を推測する（ステップＳＴ１２）。そして、推測したシステムクロックの値が最大となる従属端末装置１ｂを選択し（ステップＳＴ１３）、選択した従属端末装置１ｂを新たな基準端末装置１ａとして選出する（ステップＳＴ１４）。
【００３５】
また、新たな基準端末装置１ａを決定する別の例として、あるタイミングのシステムクロックの値が最小となる従属端末装置１ｂの負荷が最も高いと見込み、この従属端末装置１ｂを除いた従属端末装置１ｂからランダムで新たな基準端末装置１ａを選択する。そのフローを図１５に示す。
即ち、基準端末装置１ａでは、同期情報蓄積部１６２の同期グループ情報を参照して（ステップＳＴ２１）、各従属端末装置１ｂの待機時間などからシステムクロックの値を推測する（ステップＳＴ２２）。次に、推測したシステムクロックの値が最小となる従属端末装置１ｂを除外した従属端末装置１ｂのリストを生成し（ステップＳＴ２３）、このリストからランダムに端末装置を選択する（ステップＳＴ２４）。そして、選択した端末装置を新たな基準端末装置１ａとして選出する（ステップＳＴ２５）。
【００３６】
以上のように、実施の形態１のメディア同期再生システムによれば、ネットワークを介してメディアデータを配信する配信装置と、配信装置からメディアデータを受信し、メディアデータの同期再生を行う複数の端末装置からなるメディア同期再生システムであって、複数の端末装置のうち、任意の端末装置を基準端末装置、基準端末装置以外の端末装置を従属端末装置とし、基準端末装置は、従属端末装置から、複数の端末装置の同期再生の基準となる基準システムクロックの問い合わせを受けた場合、基準システムクロックと、問い合わせを受けてから基準システムクロックを出力するまでの応答処理時間とを同期情報として出力すると共に、基準システムクロックと自身のシステムクロックとの差分を同期再生のための待機時間とし、従属端末装置は、基準端末装置に対して、基準システムクロックを問い合わせ、その結果、応答として得られた同期情報の基準システムクロックおよび応答処理時間と、自身のシステムクロックとに基づいて、同期再生のための待機時間を決定するようにしたので、同期再生のための時刻配信サーバといった構成を必要とせず、柔軟に同期再生のための構成を実現することができる。
【００３７】
また、実施の形態１のメディア同期再生システムによれば、基準端末装置は、従属端末装置の中から新たな基準端末装置を選択し、新たな基準端末装置となる従属端末装置が基準端末装置としての処理を開始した後、旧基準端末装置は従属端末装置として振る舞うようにしたので、各端末装置の負荷の変化等に対しても柔軟に対応することができる。
【００３８】
また、実施の形態１のメディア同期再生システムによれば、特定のタイミングで従属端末装置のシステムクロックを比較し、システムクロックが最も大きい従属端末装置を新たな基準端末装置として選択するようにしたので、各端末装置の負荷を適切に分散することができる。
【００３９】
また、実施の形態１のメディア同期再生システムによれば、特定のタイミングで従属端末装置のシステムクロックを比較し、システムクロックが最も小さい従属端末装置を除外して残りの従属端末装置からランダムに新たな基準端末装置を選択するようにしたので、各端末装置の負荷を適切に分散することができる。
【００４０】
また、実施の形態１のメディア同期再生システムによれば、基準端末装置は、同期する前と同期した後の待機時間の差分が大きい従属端末装置を優先的に次回の同期処理の対象として選択するようにしたので、同期する端末装置の数が多い場合でも適切に同期を行うことができる。
【００４１】
また、実施の形態１のメディア同期再生システムによれば、配信装置は、配信するメディアデータ中、特定のフレームを予め決定してそのフレームにフラグを付与し、端末装置は、フラグが付与されたフレームを再生するときに待機時間の変更を実施するようにしたので、メディアデータの再生において同期処理を意識させない表示を行うことができる。
【００４２】
実施の形態２．
実施の形態２は、実施の形態１における同期グループを複数の同期グループに分割し、同期グループ間で同期再生するようにしたものである。
同期再生の基準となる同期グループを基準同期グループとし、基準同期グループに同期する同期グループを従属同期グループとする。基準同期グループに対して従属同期グループは複数存在してよい。また、従属同期グループは、異なる同期グループの基準同期グループとして振る舞っても構わない。図１６に実施の形態２のメディア同期再生システムを示す。
【００４３】
図示の同期グループＡは、同期グループＢの基準同期グループである。また、同期グループＢは同期グループＡの従属同期グループであり、かつ、同期グループＣの基準同期グループである。更に、同期グループＣは、同期グループＢの従属同期グループである。図中の矢印が指す方向が従属から基準への方向を指している。
ここで、基準同期グループとして振る舞う同期グループは、実施の形態１における同期グループ４ａ（４ｂ）と同じ構成、振る舞いをする。ただし、基準同期グループの従属端末装置１ｂは、異なる同期グループの基準端末装置１ａとして振る舞ってもよい。
【００４４】
また、従属同期グループの基準端末装置１ａは、基準同期グループの従属端末装置１ｂとして振る舞う。従属同期グループの従属端末装置１ｂは、実施の形態１と同じである。
従属同期グループは配信装置を含まなくてよく、このときの従属同期グループの基準端末装置１ａの基準同期情報の配信装置のアドレスには、基準同期グループの基準端末装置１ａからブロードキャストされた配信装置のアドレスを使用する。
従属同期グループが配信装置を含むときは、基準同期グループに含まれる配信装置と同等の配信装置である必要がある。同等の配信装置であるとは、同一内容のメディアデータを配信することができることを意味する。
【００４５】
以上のように、実施の形態２のメディア同期再生システムによれば、同期再生する複数の端末装置を一つの同期グループとし、かつ、複数の同期グループが存在するメディア同期再生システムであって、複数の同期グループのうち、任意の同期グループの従属端末装置として振る舞い、かつ、異なる同期グループの基準端末装置として振る舞う端末装置を備えたので、複数の異なる同期グループが存在する場合でも各端末装置の負荷を適切に分散させることができる。
【符号の説明】
【００４６】
１ 端末装置、１ａ 基準端末装置、１ｂ 従属端末装置、２ 配信装置、３ ネットワーク、４ａ，４ｂ 同期グループ、１１ 接続管理部、１５ システムクロック部、１６ 同期調整部、１６０ 同期情報受信部、１６１ 同期管理部、１６２ 同期情報蓄積部、１６３ スケジュール部、１６４ 基準ＳＴＣ生成部、１６５ 応答処理時間計測部、１６６ 待機時間算出部、１６７ 同期情報送信部、１６８ フレーム出力制御部。
【特許請求の範囲】
【請求項１】
ネットワークを介してメディアデータを配信する配信装置と、当該配信装置からメディアデータを受信し、当該メディアデータの同期再生を行う複数の端末装置からなるメディア同期再生システムであって、
前記複数の端末装置のうち、任意の端末装置を基準端末装置、当該基準端末装置以外の端末装置を従属端末装置とし、
前記基準端末装置は、
前記従属端末装置から、前記複数の端末装置の同期再生の基準となる基準システムクロックの問い合わせを受けた場合、当該基準システムクロックと、前記問い合わせを受けてから前記基準システムクロックを出力するまでの応答処理時間とを同期情報として出力すると共に、前記基準システムクロックと自身のシステムクロックとの差分を同期再生のための待機時間とし、
前記従属端末装置は、
前記基準端末装置に対して、前記基準システムクロックを問い合わせ、その結果、応答として得られた同期情報の基準システムクロックおよび応答処理時間と、自身のシステムクロックとに基づいて、同期再生のための待機時間を決定することを特徴とするメディア同期再生システム。
【請求項２】
基準端末装置は、従属端末装置の中から新たな基準端末装置を選択し、当該新たな基準端末装置となる従属端末装置が基準端末装置としての処理を開始した後、旧基準端末装置は従属端末装置として振る舞うことを特徴とする請求項１記載のメディア同期再生システム。
【請求項３】
特定のタイミングで従属端末装置のシステムクロックを比較し、当該システムクロックが最も大きい従属端末装置を新たな基準端末装置として選択することを特徴とする請求項２記載のメディア同期再生システム。
【請求項４】
特定のタイミングで従属端末装置のシステムクロックを比較し、当該システムクロックが最も小さい従属端末装置を除外して残りの従属端末装置からランダムに新たな基準端末装置を選択することを特徴とする請求項２記載のメディア同期再生システム。
【請求項５】
基準端末装置は、同期する前と同期した後の待機時間の差分が大きい従属端末装置を優先的に次回の同期処理の対象として選択することを特徴とする請求項１から請求項４のうちのいずれか１項記載のメディア同期再生システム。
【請求項６】
配信装置は、配信するメディアデータ中、特定のフレームを予め決定して当該フレームにフラグを付与し、
端末装置は、前記フラグが付与されたフレームを再生するときに待機時間の変更を実施することを特徴とする請求項１から請求項５のうちのいずれか１項記載のメディア同期再生システム。
【請求項７】
同期再生する複数の端末装置を一つの同期グループとし、かつ、複数の同期グループが存在するメディア同期再生システムであって、
複数の同期グループのうち、任意の同期グループの従属端末装置として振る舞い、かつ、異なる同期グループの基準端末装置として振る舞う端末装置を備えたことを特徴とする請求項１から請求項６のうちのいずれか１項記載のメディア同期再生システム。
【請求項１】
ネットワークを介してメディアデータを配信する配信装置と、当該配信装置からメディアデータを受信し、当該メディアデータの同期再生を行う複数の端末装置からなるメディア同期再生システムであって、
前記複数の端末装置のうち、任意の端末装置を基準端末装置、当該基準端末装置以外の端末装置を従属端末装置とし、
前記基準端末装置は、
前記従属端末装置から、前記複数の端末装置の同期再生の基準となる基準システムクロックの問い合わせを受けた場合、当該基準システムクロックと、前記問い合わせを受けてから前記基準システムクロックを出力するまでの応答処理時間とを同期情報として出力すると共に、前記基準システムクロックと自身のシステムクロックとの差分を同期再生のための待機時間とし、
前記従属端末装置は、
前記基準端末装置に対して、前記基準システムクロックを問い合わせ、その結果、応答として得られた同期情報の基準システムクロックおよび応答処理時間と、自身のシステムクロックとに基づいて、同期再生のための待機時間を決定することを特徴とするメディア同期再生システム。
【請求項２】
基準端末装置は、従属端末装置の中から新たな基準端末装置を選択し、当該新たな基準端末装置となる従属端末装置が基準端末装置としての処理を開始した後、旧基準端末装置は従属端末装置として振る舞うことを特徴とする請求項１記載のメディア同期再生システム。
【請求項３】
特定のタイミングで従属端末装置のシステムクロックを比較し、当該システムクロックが最も大きい従属端末装置を新たな基準端末装置として選択することを特徴とする請求項２記載のメディア同期再生システム。
【請求項４】
特定のタイミングで従属端末装置のシステムクロックを比較し、当該システムクロックが最も小さい従属端末装置を除外して残りの従属端末装置からランダムに新たな基準端末装置を選択することを特徴とする請求項２記載のメディア同期再生システム。
【請求項５】
基準端末装置は、同期する前と同期した後の待機時間の差分が大きい従属端末装置を優先的に次回の同期処理の対象として選択することを特徴とする請求項１から請求項４のうちのいずれか１項記載のメディア同期再生システム。
【請求項６】
配信装置は、配信するメディアデータ中、特定のフレームを予め決定して当該フレームにフラグを付与し、
端末装置は、前記フラグが付与されたフレームを再生するときに待機時間の変更を実施することを特徴とする請求項１から請求項５のうちのいずれか１項記載のメディア同期再生システム。
【請求項７】
同期再生する複数の端末装置を一つの同期グループとし、かつ、複数の同期グループが存在するメディア同期再生システムであって、
複数の同期グループのうち、任意の同期グループの従属端末装置として振る舞い、かつ、異なる同期グループの基準端末装置として振る舞う端末装置を備えたことを特徴とする請求項１から請求項６のうちのいずれか１項記載のメディア同期再生システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１２−１９４５６（Ｐ２０１２−１９４５６Ａ）
【公開日】平成２４年１月２６日（２０１２．１．２６）
【国際特許分類】
【出願番号】特願２０１０−１５６８２７（Ｐ２０１０−１５６８２７）
【出願日】平成２２年７月９日（２０１０．７．９）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成２４年１月２６日（２０１２．１．２６）
【国際特許分類】
【出願日】平成２２年７月９日（２０１０．７．９）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]