マルチメディアコンテンツ同期システム及び方法
【課題】 映像と音のメディア同期のみでなく、マルチメディアコンテンツを演出するために必要となる照明の切替などのタイミングも同期させる。
【解決手段】 本発明は、送信地側から演出制御信号と遅延測定用の音を受信地側システムに送信することで、該コンテンツと演出制御情報の遅延の測定を指示し、受信地側が、送信地側から受信した遅延測定用の音に基づいて、コンテンツと演出制御情報との遅延を測定し、遅延値を該送信地側に送信する。送信地側は、受信地側から取得した遅延値を該コンテンツの演出制御情報に付加し、該コンテンツと遅延値を付加した演出制御情報を該受信地側に送信し、受信地側が、送信地側からコンテンツと遅延値を付加された演出制御情報を受信し、コンテンツを再生する。
【解決手段】 本発明は、送信地側から演出制御信号と遅延測定用の音を受信地側システムに送信することで、該コンテンツと演出制御情報の遅延の測定を指示し、受信地側が、送信地側から受信した遅延測定用の音に基づいて、コンテンツと演出制御情報との遅延を測定し、遅延値を該送信地側に送信する。送信地側は、受信地側から取得した遅延値を該コンテンツの演出制御情報に付加し、該コンテンツと遅延値を付加した演出制御情報を該受信地側に送信し、受信地側が、送信地側からコンテンツと遅延値を付加された演出制御情報を受信し、コンテンツを再生する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチメディアコンテンツ同期システム及び方法に係り、特に、ネットワークに接続された複数地点の映像コンテンツ（蓄積ならびにライブのコンテンツ）を互いに共有、または、コンテンツ自身をライブで製作して協調動作を行う応用において、映像や音と照明の切替などのタイミングが、コンテンツ制作者の意図に合うように適切な時間遅れを保ちながら同期し、または、これらの信号（映像や音と照明の切替など）がコンテンツ視聴者に適切な範囲で同期して到達するように調整するための計測と制御の仕組みを有するマルチメディアコンテンツ同期システム及び方法に関する。
【背景技術】
【０００２】
従来、映像コンテンツを再生する場合、特にネットワークで他地点から送信する場合、映像送信に関わるシステムの要素の処理時間などにより、映像と音の周期が、オリジナルのコンテンツにおける時間関係からずれてしまう問題があった。
【０００３】
これはいわゆるリップシンクといわれ、通常は映像処理時間の方が音の処理時間より長いために、音を遅延させる必要がある。
【０００４】
送信側から映像と音を同期して伝送し、受信側では映像と音の出力時の遅延差を計測し、計測した遅延分、受信側のサウンドシステムに計測した遅延差を遅延させることによって同期を実現してきた（例えば、特許文献1参照）。
【０００５】
近年、ネットワークにより複数地点との高精細なコンテンツ共有や、遠隔協調作業、双方向ライブパフォーマンスなどの応用が注目されている。このような状況から、単にリップシンクだけでなく、照明の切替などのタイミングが、映像、音と容易に同期できる仕組みが必要となる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１０−２８５４８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記のように、従来はマルチメディアコンテンツを演出するための制御をマルチメディアコンテンツと容易に同期する仕組みが存在しなかった。
【０００８】
本発明は、上記の点に鑑みなされたもので、映像と音のメディア同期のみでなく、マルチメディアコンテンツを演出するために必要となる照明の切替などのタイミングが、容易に同期することが可能なマルチメディアコンテンツ同期システム及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記の課題を解決するため、本発明（請求項１）は、ネットワークにより接続された送信地側システムと受信地側システム間において、マルチメディアコンテンツを演出するための制御を該マルチメディアコンテンツと同期させるためのマルチメディアコンテンツ同期システムであって、
前記送信地側システムは、
遅延測定用の音と演出制御情報を前記受信地側システムに送信することで、マルチメディアコンテンツと演出制御情報の遅延の測定を指示する遅延測定指示手段と、
前記受信地側システムから取得した遅延値を該マルチメディアコンテンツの演出制御情報に付加し、該マルチメディアコンテンツと、該遅延値を付加した演出制御情報を該受信地側システムに送信する遅延制御手段と、
を有し、
前記受信地側システムは、
前記送信地側システムから受信した前記遅延測定用の音と前記演出制御情報に基づいて、前記マルチメディアコンテンツと演出制御情報との遅延を測定し、測定結果である前記遅延値を該送信地側システムに送信する遅延値測定手段と、
前記送信地側システムから前記マルチメディアコンテンツと前記遅延値を付加された前記演出制御情報を受信し、該演出制御情報に基づいて該マルチメディアコンテンツを再生する再生手段と、を有する。
【００１０】
また、本発明（請求項２）は、前記遅延測定指示手段に、
前記演出制御情報と、当該送信地側システムの被制御装置を操作することにより発生する遅延測定用の音Aを前記受信地側システムに送信する手段を含み、
前記遅延値測定手段は、
前記遅延測定用の音Ａを音声出力手段から出力すると共に、前記演出制御情報を当該受信地側システムの被制御装置に出力すると同時に音Ｂを発生させ、該音Ａと該音Ｂが出力された時間差を計測し、その差を前記遅延値とする手段を含む。
【００１１】
また、本発明（請求項３）は、前記演出制御信号は、照明装置を制御するための照明制御信号、または、オーディオシステムを制御するための特殊効果サウンドを含む。
【００１２】
本発明（請求項４）は、ネットワークにより接続された送信地側システムと受信地側システム間において、マルチメディアコンテンツを演出するための制御を該マルチメディアコンテンツと同期させるためのマルチメディアコンテンツ同期方法であって、
前記送信地側システムは、
遅延測定指示手段が、遅延測定用の音と演出制御情報を前記受信地側システムに送信することで、マルチメディアコンテンツと演出制御情報の遅延の測定を指示する遅延測定指示ステップと、を行い、
前記受信地側システムは、
遅延値測定手段が、前記送信地側システムから受信した前記遅延測定用の音と前記演出制御情報に基づいて、前記マルチメディアコンテンツと演出制御情報との遅延を測定し、測定結果である前記遅延値を該送信地側システムに送信する遅延値測定を行い、
前記送信地側システムは、
遅延制御手段が、前記受信地側システムから取得した前記遅延値を該マルチメディアコンテンツの演出制御情報に付加し、該マルチメディアコンテンツと該遅延値を付加した演出制御情報を該受信地側システムに送信する遅延制御ステップを行い、
前記受信地側システムは、
再生手段が、前記送信地側システムから前記マルチメディアコンテンツと前記遅延値を付加された前記演出制御情報を受信し、該演出制御情報に基づいて該マルチメディアコンテンツを再生する再生ステップを行う。
【００１３】
また、本発明（請求項５）は、前記遅延測定指示ステップにおいて、
前記演出制御情報と、当該送信地側システムの被制御装置を操作することにより発生する遅延測定用の音Aを前記受信地側システムに送信し、
前記遅延値測定ステップにおいて、
前記遅延測定用の音Ａを音声出力手段から出力すると共に、前記演出制御情報を当該受信地側システムの被制御装置に出力すると同時に音Ｂを発生させ、該音Ａと該音Ｂが出力された時間差を計測し、その差を前記遅延値とする。
【００１４】
また、本発明（請求項６）は、前記演出制御信号は、照明装置を制御するための照明制御信号、または、オーディオシステムを制御するための特殊効果サウンドを含む。
【発明の効果】
【００１５】
本発明は、被演出制御地（受信地）側で、音に基づいてマルチメディアコンテンツと演出制御情報との遅延を測定し、その測定結果を演出制御地（送信地）側に送信し、演出制御地側で演出制御情報にだけ上記測定結果分の遅延を付加し、マルチメディアコンテンツと演出制御情報を被演出制御地に送信することにより、各拠点において、マルチメディアコンテンツの演出とマルチメディアコンテンツとをコンテンツ製作者の意図に合うように同期させることが可能となる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施の形態におけるマルチメディアコンテンツ同期システムの構成図である。
【図２】本発明の一実施の形態における送信地側システム・受信地側システム間のシーケンスチャートである。
【図３】本発明の一実施の形態における送信側キューシステムの構成図である。
【図４】本発明の一実施の形態における受信地側キューシステムの構成図である。
【図５】本発明の一実施の形態における遅延値の測定のシーケンスチャートである。
【図６】本発明の一実施の形態における遅延地測定機能を示す図である。
【発明を実施するための形態】
【００１７】
以下図面と共に、本発明の実施の形態を説明する。
【００１８】
図１は、本発明の一実施の形態におけるマルチメディアコンテンツ同期システムの構成を示す。
【００１９】
同図に示すシステムは、送信地側システム１００と受信地側システム２００及びそれらを接続するネットワーク３００から構成される。
【００２０】
送信地側システム１００は、カメラ１１０、エンコーダ１２０、マイク１３０、オーディオシステム１４０、照明制御用ＰＣ１５０、キューシステム１６０、照明制御装置１７０、照明器具１８０を有する。
【００２１】
受信地側システム２００は、デコーダ２１０、映像表示装置２２０、オーディオシステム２３０、スピーカ２４０、キューシステム２５０、照明制御装置２６０、照明器具２７０、遅延値通知部２８０、遅延値計算手段２９０を有する。
【００２２】
本発明では、照明の切替を映像と音に同期させるために、送受信側双方にキューシステム１６０を導入していることが特徴である。
【００２３】
図1に示す構成では、特許文献1等の方法により、受信地側システム２００の映像表示装置２２０の映像と、スピーカ２４０から出力される音声の遅延差Ｄｓを測定し、受信地側システム２００に送信する。受信地側のシステム２００はオーディオシステム２３０に受信した遅延Ｄｓを挿入する。これにより、受信地側システム２００では、映像と音声が同期して出力される。
【００２４】
また、送信地側システム１００、受信地側システム２００の照明器具１８０，２７０のオン／オフ、調光の制御は、送信地側システム１００では、照明制御装置１７０を照明制御用ＰＣ１５０から制御信号を送ることにより制御する。受信地側システム２００では、キューシステム２５０から出力された制御信号により照明制御装置２６０が照明器具２７０を制御する。
【００２５】
送信地側システム１００では、照明制御用ＰＣ１５０から出力された照明の切替を制御する制御信号は分岐され、照明制御装置１７０とキューシステム１６０の両方に入力される。
【００２６】
図２は、本発明の一実施の形態における送信地側システム・受信地側システム間のシーケンスチャートである。
【００２７】
ステップ１００） 送信地側システム１００と受信地側システム２００との間で遅延値測定を行う。詳細については後述する。
【００２８】
ステップ１１０） 受信地側システム２００の遅延値通知部２８０において、測定された遅延値を送信地側システム１００のキューシステム１６０に送信する。
【００２９】
ステップ１２０） 送信地側システム１００のキューシステム１６０は、遅延値を受信する。
【００３０】
ステップ１３０） 照明制御用ＰＣ１５０は、照明の演出制御情報を照明制御装置１７０とキューシステム１６０に出力する。照明制御装置１７０は、演出制御情報に基づいて照明器具１８０のオン／オフを行う。
【００３１】
ステップ１４０） キューシステム１６０は、照明制御用PC１５０から取得した演出制御信号にステップ１２０で受信地側システム２００から受信した遅延値分の遅延を付加して受信地側システム２００のキューシステム２５０に制御情報を送信する。
【００３２】
図３は、本発明の一実施の形態における送信側キューシステムの構成を示す。
【００３３】
送信側キューシステム１６０は、入力側ネットワークインタフェース１６１、遅延付加部１６２、出力側インタフェース１６３から構成される。
【００３４】
キューシステム１６０は、照明制御用PC１５０から入力された制御信号を受信地側システム２００のキューシステム２５０に送信する。そのときに、設定した遅延値だけを遅延を付加して送信する。設定する遅延値については後述する。
【００３５】
図４は、本発明の一実施の形態における受信側キーシステムの構成を示す。
【００３６】
受信側キューシステム２５０は、入力側ネットワークインタフェース２５１、出力側ネットワークインタフェース２５２、音発生装置２５３から構成される。
【００３７】
受信側キューシステム２５０では、受け取った制御信号を受信地の照明制御装置２６０に送る。また、送信側のキューシステム１００に設定する遅延値を決定するための制御信号を送るときに、遅延値計測手段２９０の音発生装置２５３において音を発生させる。なお、音を発生させるか否かは、切り替えることができ、遅延値を決定するときだけ音を発生させるものとする。
【００３８】
送信地側のキューシステム１６０に設定する遅延値は、送信地の映像と音声が受信地側システム２００に伝送され出力される時間と、送信地側システム１００の照明の演出制御信号が受信地側システム２００に送信され、キューシステム２５０から照明制御装置２６０に送信されるまでの時間差である。この時間差の測定は、以下の方法で行う。
【００３９】
図５は、本発明の一実施の形態における遅延値の測定のシーケンスチャートであり、図６は、遅延値測定機能を示す図である。
【００４０】
送信地側システム１００のキューシステム１６０から、演出制御信号を受信地側システム２００に送信する（ステップ１０１）。受信地側システム２００の遅延値計測手段２９０は、キューシステム２５０から入力された当該演出制御信号による音（B）を発生させる。
【００４１】
照明制御用PC１５０において、上記のステップ１０１の処理に対する操作時のキーボード、または、マウスのボタンを打つことによって入力された音（A）が、当該PC１５０の近くに設置されたマイク１３０で集音され（ステップ１０３）、受信地側システム２００に送られる（ステップ１０４）。このとき、キューシステム１６０に設定する遅延値は０とする。
【００４２】
受信地側システム２００では、送られたキーボードのキーやマウスボタンを打つ音（A）を受信地システム２００のオーディオシステム２３０を用いてスピーカ２４０から出力する（ステップ１０５）
遅延値計測手段２９０のマイク２９１で音（A）と音（B）を集音して電気変換部２９２で電気信号に変換する（ステップ１０６）。その電気信号をオシロスコープ２９３に入力し、スピーカ２４０が出力した音の波形とキューシステム２５０が発生させた音の波形を観測することにより、音の発生時間の差を計測する（ステップ１０７）。その計測した差の値が、送信側のキューシステム１６０に設定する遅延値となる。なお、本実施の形態では、当該オシロスコープの計測は人が行うものであり、観測された遅延値は計測値入力部２９４から遅延値通知部２８０に入力されるものとする（ステップ１０８）。遅延値通知部２８０は、遅延値を送信地側システム１００のキューシステム１６０に送信する。
【００４３】
また、照明の制御だけではなく、特殊効果サウンドの制御等もＰＣから制御されている場合は、同じ構成のキューシステムで受信側でも同期をとることができる。
【００４４】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【符号の説明】
【００４５】
１００ 装置地側システム
１１０ カメラ
１２０ エンコーダ
１３０ マイク
１４０ オーディオシステム
１５０ 照明制御用ＰＣ
１６０ キューシステム
１６１ ネットワークインタフェース（入力側）
１６２ 遅延付加部
１６３ ネットワークインタフェース（出力側）
１７０ 照明制御装置
１８０ 照明器具
２３０ オーディオシステム
２４０ スピーカ
２５０ キューシステム
２５１ ネットワークインタフェース（入力側）
２５２ ネットワークインタフェース（出力側）
２５３ 音発生装置
２６０ 照明制御装置
２８０ 遅延値通知部
２９０ 遅延地計測手段
２９１ マイク
２９２ 変換部
２９３ オシロスコープ
２９４ 計測値入力部
【技術分野】
【０００１】
本発明は、マルチメディアコンテンツ同期システム及び方法に係り、特に、ネットワークに接続された複数地点の映像コンテンツ（蓄積ならびにライブのコンテンツ）を互いに共有、または、コンテンツ自身をライブで製作して協調動作を行う応用において、映像や音と照明の切替などのタイミングが、コンテンツ制作者の意図に合うように適切な時間遅れを保ちながら同期し、または、これらの信号（映像や音と照明の切替など）がコンテンツ視聴者に適切な範囲で同期して到達するように調整するための計測と制御の仕組みを有するマルチメディアコンテンツ同期システム及び方法に関する。
【背景技術】
【０００２】
従来、映像コンテンツを再生する場合、特にネットワークで他地点から送信する場合、映像送信に関わるシステムの要素の処理時間などにより、映像と音の周期が、オリジナルのコンテンツにおける時間関係からずれてしまう問題があった。
【０００３】
これはいわゆるリップシンクといわれ、通常は映像処理時間の方が音の処理時間より長いために、音を遅延させる必要がある。
【０００４】
送信側から映像と音を同期して伝送し、受信側では映像と音の出力時の遅延差を計測し、計測した遅延分、受信側のサウンドシステムに計測した遅延差を遅延させることによって同期を実現してきた（例えば、特許文献1参照）。
【０００５】
近年、ネットワークにより複数地点との高精細なコンテンツ共有や、遠隔協調作業、双方向ライブパフォーマンスなどの応用が注目されている。このような状況から、単にリップシンクだけでなく、照明の切替などのタイミングが、映像、音と容易に同期できる仕組みが必要となる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１０−２８５４８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記のように、従来はマルチメディアコンテンツを演出するための制御をマルチメディアコンテンツと容易に同期する仕組みが存在しなかった。
【０００８】
本発明は、上記の点に鑑みなされたもので、映像と音のメディア同期のみでなく、マルチメディアコンテンツを演出するために必要となる照明の切替などのタイミングが、容易に同期することが可能なマルチメディアコンテンツ同期システム及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記の課題を解決するため、本発明（請求項１）は、ネットワークにより接続された送信地側システムと受信地側システム間において、マルチメディアコンテンツを演出するための制御を該マルチメディアコンテンツと同期させるためのマルチメディアコンテンツ同期システムであって、
前記送信地側システムは、
遅延測定用の音と演出制御情報を前記受信地側システムに送信することで、マルチメディアコンテンツと演出制御情報の遅延の測定を指示する遅延測定指示手段と、
前記受信地側システムから取得した遅延値を該マルチメディアコンテンツの演出制御情報に付加し、該マルチメディアコンテンツと、該遅延値を付加した演出制御情報を該受信地側システムに送信する遅延制御手段と、
を有し、
前記受信地側システムは、
前記送信地側システムから受信した前記遅延測定用の音と前記演出制御情報に基づいて、前記マルチメディアコンテンツと演出制御情報との遅延を測定し、測定結果である前記遅延値を該送信地側システムに送信する遅延値測定手段と、
前記送信地側システムから前記マルチメディアコンテンツと前記遅延値を付加された前記演出制御情報を受信し、該演出制御情報に基づいて該マルチメディアコンテンツを再生する再生手段と、を有する。
【００１０】
また、本発明（請求項２）は、前記遅延測定指示手段に、
前記演出制御情報と、当該送信地側システムの被制御装置を操作することにより発生する遅延測定用の音Aを前記受信地側システムに送信する手段を含み、
前記遅延値測定手段は、
前記遅延測定用の音Ａを音声出力手段から出力すると共に、前記演出制御情報を当該受信地側システムの被制御装置に出力すると同時に音Ｂを発生させ、該音Ａと該音Ｂが出力された時間差を計測し、その差を前記遅延値とする手段を含む。
【００１１】
また、本発明（請求項３）は、前記演出制御信号は、照明装置を制御するための照明制御信号、または、オーディオシステムを制御するための特殊効果サウンドを含む。
【００１２】
本発明（請求項４）は、ネットワークにより接続された送信地側システムと受信地側システム間において、マルチメディアコンテンツを演出するための制御を該マルチメディアコンテンツと同期させるためのマルチメディアコンテンツ同期方法であって、
前記送信地側システムは、
遅延測定指示手段が、遅延測定用の音と演出制御情報を前記受信地側システムに送信することで、マルチメディアコンテンツと演出制御情報の遅延の測定を指示する遅延測定指示ステップと、を行い、
前記受信地側システムは、
遅延値測定手段が、前記送信地側システムから受信した前記遅延測定用の音と前記演出制御情報に基づいて、前記マルチメディアコンテンツと演出制御情報との遅延を測定し、測定結果である前記遅延値を該送信地側システムに送信する遅延値測定を行い、
前記送信地側システムは、
遅延制御手段が、前記受信地側システムから取得した前記遅延値を該マルチメディアコンテンツの演出制御情報に付加し、該マルチメディアコンテンツと該遅延値を付加した演出制御情報を該受信地側システムに送信する遅延制御ステップを行い、
前記受信地側システムは、
再生手段が、前記送信地側システムから前記マルチメディアコンテンツと前記遅延値を付加された前記演出制御情報を受信し、該演出制御情報に基づいて該マルチメディアコンテンツを再生する再生ステップを行う。
【００１３】
また、本発明（請求項５）は、前記遅延測定指示ステップにおいて、
前記演出制御情報と、当該送信地側システムの被制御装置を操作することにより発生する遅延測定用の音Aを前記受信地側システムに送信し、
前記遅延値測定ステップにおいて、
前記遅延測定用の音Ａを音声出力手段から出力すると共に、前記演出制御情報を当該受信地側システムの被制御装置に出力すると同時に音Ｂを発生させ、該音Ａと該音Ｂが出力された時間差を計測し、その差を前記遅延値とする。
【００１４】
また、本発明（請求項６）は、前記演出制御信号は、照明装置を制御するための照明制御信号、または、オーディオシステムを制御するための特殊効果サウンドを含む。
【発明の効果】
【００１５】
本発明は、被演出制御地（受信地）側で、音に基づいてマルチメディアコンテンツと演出制御情報との遅延を測定し、その測定結果を演出制御地（送信地）側に送信し、演出制御地側で演出制御情報にだけ上記測定結果分の遅延を付加し、マルチメディアコンテンツと演出制御情報を被演出制御地に送信することにより、各拠点において、マルチメディアコンテンツの演出とマルチメディアコンテンツとをコンテンツ製作者の意図に合うように同期させることが可能となる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施の形態におけるマルチメディアコンテンツ同期システムの構成図である。
【図２】本発明の一実施の形態における送信地側システム・受信地側システム間のシーケンスチャートである。
【図３】本発明の一実施の形態における送信側キューシステムの構成図である。
【図４】本発明の一実施の形態における受信地側キューシステムの構成図である。
【図５】本発明の一実施の形態における遅延値の測定のシーケンスチャートである。
【図６】本発明の一実施の形態における遅延地測定機能を示す図である。
【発明を実施するための形態】
【００１７】
以下図面と共に、本発明の実施の形態を説明する。
【００１８】
図１は、本発明の一実施の形態におけるマルチメディアコンテンツ同期システムの構成を示す。
【００１９】
同図に示すシステムは、送信地側システム１００と受信地側システム２００及びそれらを接続するネットワーク３００から構成される。
【００２０】
送信地側システム１００は、カメラ１１０、エンコーダ１２０、マイク１３０、オーディオシステム１４０、照明制御用ＰＣ１５０、キューシステム１６０、照明制御装置１７０、照明器具１８０を有する。
【００２１】
受信地側システム２００は、デコーダ２１０、映像表示装置２２０、オーディオシステム２３０、スピーカ２４０、キューシステム２５０、照明制御装置２６０、照明器具２７０、遅延値通知部２８０、遅延値計算手段２９０を有する。
【００２２】
本発明では、照明の切替を映像と音に同期させるために、送受信側双方にキューシステム１６０を導入していることが特徴である。
【００２３】
図1に示す構成では、特許文献1等の方法により、受信地側システム２００の映像表示装置２２０の映像と、スピーカ２４０から出力される音声の遅延差Ｄｓを測定し、受信地側システム２００に送信する。受信地側のシステム２００はオーディオシステム２３０に受信した遅延Ｄｓを挿入する。これにより、受信地側システム２００では、映像と音声が同期して出力される。
【００２４】
また、送信地側システム１００、受信地側システム２００の照明器具１８０，２７０のオン／オフ、調光の制御は、送信地側システム１００では、照明制御装置１７０を照明制御用ＰＣ１５０から制御信号を送ることにより制御する。受信地側システム２００では、キューシステム２５０から出力された制御信号により照明制御装置２６０が照明器具２７０を制御する。
【００２５】
送信地側システム１００では、照明制御用ＰＣ１５０から出力された照明の切替を制御する制御信号は分岐され、照明制御装置１７０とキューシステム１６０の両方に入力される。
【００２６】
図２は、本発明の一実施の形態における送信地側システム・受信地側システム間のシーケンスチャートである。
【００２７】
ステップ１００） 送信地側システム１００と受信地側システム２００との間で遅延値測定を行う。詳細については後述する。
【００２８】
ステップ１１０） 受信地側システム２００の遅延値通知部２８０において、測定された遅延値を送信地側システム１００のキューシステム１６０に送信する。
【００２９】
ステップ１２０） 送信地側システム１００のキューシステム１６０は、遅延値を受信する。
【００３０】
ステップ１３０） 照明制御用ＰＣ１５０は、照明の演出制御情報を照明制御装置１７０とキューシステム１６０に出力する。照明制御装置１７０は、演出制御情報に基づいて照明器具１８０のオン／オフを行う。
【００３１】
ステップ１４０） キューシステム１６０は、照明制御用PC１５０から取得した演出制御信号にステップ１２０で受信地側システム２００から受信した遅延値分の遅延を付加して受信地側システム２００のキューシステム２５０に制御情報を送信する。
【００３２】
図３は、本発明の一実施の形態における送信側キューシステムの構成を示す。
【００３３】
送信側キューシステム１６０は、入力側ネットワークインタフェース１６１、遅延付加部１６２、出力側インタフェース１６３から構成される。
【００３４】
キューシステム１６０は、照明制御用PC１５０から入力された制御信号を受信地側システム２００のキューシステム２５０に送信する。そのときに、設定した遅延値だけを遅延を付加して送信する。設定する遅延値については後述する。
【００３５】
図４は、本発明の一実施の形態における受信側キーシステムの構成を示す。
【００３６】
受信側キューシステム２５０は、入力側ネットワークインタフェース２５１、出力側ネットワークインタフェース２５２、音発生装置２５３から構成される。
【００３７】
受信側キューシステム２５０では、受け取った制御信号を受信地の照明制御装置２６０に送る。また、送信側のキューシステム１００に設定する遅延値を決定するための制御信号を送るときに、遅延値計測手段２９０の音発生装置２５３において音を発生させる。なお、音を発生させるか否かは、切り替えることができ、遅延値を決定するときだけ音を発生させるものとする。
【００３８】
送信地側のキューシステム１６０に設定する遅延値は、送信地の映像と音声が受信地側システム２００に伝送され出力される時間と、送信地側システム１００の照明の演出制御信号が受信地側システム２００に送信され、キューシステム２５０から照明制御装置２６０に送信されるまでの時間差である。この時間差の測定は、以下の方法で行う。
【００３９】
図５は、本発明の一実施の形態における遅延値の測定のシーケンスチャートであり、図６は、遅延値測定機能を示す図である。
【００４０】
送信地側システム１００のキューシステム１６０から、演出制御信号を受信地側システム２００に送信する（ステップ１０１）。受信地側システム２００の遅延値計測手段２９０は、キューシステム２５０から入力された当該演出制御信号による音（B）を発生させる。
【００４１】
照明制御用PC１５０において、上記のステップ１０１の処理に対する操作時のキーボード、または、マウスのボタンを打つことによって入力された音（A）が、当該PC１５０の近くに設置されたマイク１３０で集音され（ステップ１０３）、受信地側システム２００に送られる（ステップ１０４）。このとき、キューシステム１６０に設定する遅延値は０とする。
【００４２】
受信地側システム２００では、送られたキーボードのキーやマウスボタンを打つ音（A）を受信地システム２００のオーディオシステム２３０を用いてスピーカ２４０から出力する（ステップ１０５）
遅延値計測手段２９０のマイク２９１で音（A）と音（B）を集音して電気変換部２９２で電気信号に変換する（ステップ１０６）。その電気信号をオシロスコープ２９３に入力し、スピーカ２４０が出力した音の波形とキューシステム２５０が発生させた音の波形を観測することにより、音の発生時間の差を計測する（ステップ１０７）。その計測した差の値が、送信側のキューシステム１６０に設定する遅延値となる。なお、本実施の形態では、当該オシロスコープの計測は人が行うものであり、観測された遅延値は計測値入力部２９４から遅延値通知部２８０に入力されるものとする（ステップ１０８）。遅延値通知部２８０は、遅延値を送信地側システム１００のキューシステム１６０に送信する。
【００４３】
また、照明の制御だけではなく、特殊効果サウンドの制御等もＰＣから制御されている場合は、同じ構成のキューシステムで受信側でも同期をとることができる。
【００４４】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【符号の説明】
【００４５】
１００ 装置地側システム
１１０ カメラ
１２０ エンコーダ
１３０ マイク
１４０ オーディオシステム
１５０ 照明制御用ＰＣ
１６０ キューシステム
１６１ ネットワークインタフェース（入力側）
１６２ 遅延付加部
１６３ ネットワークインタフェース（出力側）
１７０ 照明制御装置
１８０ 照明器具
２３０ オーディオシステム
２４０ スピーカ
２５０ キューシステム
２５１ ネットワークインタフェース（入力側）
２５２ ネットワークインタフェース（出力側）
２５３ 音発生装置
２６０ 照明制御装置
２８０ 遅延値通知部
２９０ 遅延地計測手段
２９１ マイク
２９２ 変換部
２９３ オシロスコープ
２９４ 計測値入力部
【特許請求の範囲】
【請求項１】
ネットワークにより接続された送信地側システムと受信地側システム間において、マルチメディアコンテンツを演出するための制御を該マルチメディアコンテンツと同期させるためのマルチメディアコンテンツ同期システムであって、
前記送信地側システムは、
遅延測定用の音と演出制御情報を前記受信地側システムに送信することで、該マルチメディアコンテンツと演出制御情報の遅延の測定を指示する遅延測定指示手段と、
前記受信地側システムから取得した遅延値を該マルチメディアコンテンツの演出制御情報に付加し、該マルチメディアコンテンツと遅延値が付加された演出制御情報を該受信地側システムに送信する遅延制御手段と、
を有し、
前記受信地側システムは、
前記送信地側システムから受信した前記遅延測定用の音と前記演出制御情報に基づいて、前記マルチメディアコンテンツと該演出制御情報との遅延を測定し、測定結果である前記遅延値を該送信地側システムに送信する遅延値測定手段と、
前記送信地側システムから前記マルチメディアコンテンツと前記遅延値を付加された前記演出制御情報を受信し、該演出制御情報に基づいて該マルチメディアコンテンツを再生する再生手段と、
を有することを特徴とするマルチメディアコンテンツ同期システム。
【請求項２】
前記遅延測定指示手段は、
前記演出制御情報と、当該送信地側システムの被制御装置を操作することにより発生する遅延測定用の音Aを前記受信地側システムに送信する手段を含み、
前記遅延値測定手段は、
前記遅延測定用の音Ａを音声出力手段から出力すると共に、前記演出制御情報を当該受信地側システムの被制御装置に出力すると同時に音Ｂを発生させ、該音Ａと該音Ｂが出力された時間差を計測し、その差を前記遅延値とする手段を含む
請求項１記載のマルチメディアコンテンツ同期システム。
【請求項３】
前記演出制御信号は、照明装置を制御するための照明制御信号、または、オーディオシステムを制御するための特殊効果サウンドを含む
請求項１または２記載のマルチメディアコンテンツ同期システム。
【請求項４】
ネットワークにより接続された送信地側システムと受信地側システム間において、マルチメディアコンテンツを演出するための制御を該マルチメディアコンテンツと同期させるためのマルチメディアコンテンツ同期方法であって、
前記送信地側システムは、
遅延測定指示手段が、遅延測定用の音と演出制御情報を前記受信地側システムに送信することで、該マルチメディアコンテンツと演出制御情報の遅延の測定を指示する遅延測定指示ステップと、を行い、
前記受信地側システムは、
遅延値測定手段が、前記送信地側システムから受信した前記遅延測定用の音と前記演出制御情報に基づいて、前記マルチメディアコンテンツと演出制御情報との遅延を測定し、測定結果である前記遅延値を該送信地側システムに送信する遅延値測定を行う遅延測定ステップと、
前記送信地側システムは、
遅延制御手段が、前記受信地側システムから取得した前記遅延値を該マルチメディアコンテンツの演出制御情報に付加し、該マルチメディアコンテンツと遅延値を付加した演出制御情報を該受信地側システムに送信する遅延制御ステップを行い、
前記受信地側システムは、
再生手段が、前記送信地側システムから前記マルチメディアコンテンツと前記遅延値を付加された前記演出制御情報を受信し、該演出制御情報に基づいて該マルチメディアコンテンツを再生する再生ステップを行う
をことを特徴とするマルチメディアコンテンツ同期方法。
【請求項５】
前記遅延測定指示ステップにおいて、
前記演出制御情報と、当該送信地側システムの被制御装置を操作することにより発生する遅延測定用の音Aを前記受信地側システムに送信し、
前記遅延値測定ステップにおいて、
前記遅延測定用の音Ａを音声出力手段から出力すると共に、前記演出制御情報を当該受信地側システムの被制御装置に出力すると同時に音Ｂを発生させ、該音Ａと該音Ｂが出力された時間差を計測し、その差を前記遅延値とする
請求項４記載のマルチメディアコンテンツ同期方法。
【請求項６】
前記演出制御信号は、照明装置を制御するための照明制御信号、または、オーディオシステムを制御するための特殊効果サウンドを含む
請求項４または５記載のマルチメディアコンテンツ同期方法。
【請求項１】
ネットワークにより接続された送信地側システムと受信地側システム間において、マルチメディアコンテンツを演出するための制御を該マルチメディアコンテンツと同期させるためのマルチメディアコンテンツ同期システムであって、
前記送信地側システムは、
遅延測定用の音と演出制御情報を前記受信地側システムに送信することで、該マルチメディアコンテンツと演出制御情報の遅延の測定を指示する遅延測定指示手段と、
前記受信地側システムから取得した遅延値を該マルチメディアコンテンツの演出制御情報に付加し、該マルチメディアコンテンツと遅延値が付加された演出制御情報を該受信地側システムに送信する遅延制御手段と、
を有し、
前記受信地側システムは、
前記送信地側システムから受信した前記遅延測定用の音と前記演出制御情報に基づいて、前記マルチメディアコンテンツと該演出制御情報との遅延を測定し、測定結果である前記遅延値を該送信地側システムに送信する遅延値測定手段と、
前記送信地側システムから前記マルチメディアコンテンツと前記遅延値を付加された前記演出制御情報を受信し、該演出制御情報に基づいて該マルチメディアコンテンツを再生する再生手段と、
を有することを特徴とするマルチメディアコンテンツ同期システム。
【請求項２】
前記遅延測定指示手段は、
前記演出制御情報と、当該送信地側システムの被制御装置を操作することにより発生する遅延測定用の音Aを前記受信地側システムに送信する手段を含み、
前記遅延値測定手段は、
前記遅延測定用の音Ａを音声出力手段から出力すると共に、前記演出制御情報を当該受信地側システムの被制御装置に出力すると同時に音Ｂを発生させ、該音Ａと該音Ｂが出力された時間差を計測し、その差を前記遅延値とする手段を含む
請求項１記載のマルチメディアコンテンツ同期システム。
【請求項３】
前記演出制御信号は、照明装置を制御するための照明制御信号、または、オーディオシステムを制御するための特殊効果サウンドを含む
請求項１または２記載のマルチメディアコンテンツ同期システム。
【請求項４】
ネットワークにより接続された送信地側システムと受信地側システム間において、マルチメディアコンテンツを演出するための制御を該マルチメディアコンテンツと同期させるためのマルチメディアコンテンツ同期方法であって、
前記送信地側システムは、
遅延測定指示手段が、遅延測定用の音と演出制御情報を前記受信地側システムに送信することで、該マルチメディアコンテンツと演出制御情報の遅延の測定を指示する遅延測定指示ステップと、を行い、
前記受信地側システムは、
遅延値測定手段が、前記送信地側システムから受信した前記遅延測定用の音と前記演出制御情報に基づいて、前記マルチメディアコンテンツと演出制御情報との遅延を測定し、測定結果である前記遅延値を該送信地側システムに送信する遅延値測定を行う遅延測定ステップと、
前記送信地側システムは、
遅延制御手段が、前記受信地側システムから取得した前記遅延値を該マルチメディアコンテンツの演出制御情報に付加し、該マルチメディアコンテンツと遅延値を付加した演出制御情報を該受信地側システムに送信する遅延制御ステップを行い、
前記受信地側システムは、
再生手段が、前記送信地側システムから前記マルチメディアコンテンツと前記遅延値を付加された前記演出制御情報を受信し、該演出制御情報に基づいて該マルチメディアコンテンツを再生する再生ステップを行う
をことを特徴とするマルチメディアコンテンツ同期方法。
【請求項５】
前記遅延測定指示ステップにおいて、
前記演出制御情報と、当該送信地側システムの被制御装置を操作することにより発生する遅延測定用の音Aを前記受信地側システムに送信し、
前記遅延値測定ステップにおいて、
前記遅延測定用の音Ａを音声出力手段から出力すると共に、前記演出制御情報を当該受信地側システムの被制御装置に出力すると同時に音Ｂを発生させ、該音Ａと該音Ｂが出力された時間差を計測し、その差を前記遅延値とする
請求項４記載のマルチメディアコンテンツ同期方法。
【請求項６】
前記演出制御信号は、照明装置を制御するための照明制御信号、または、オーディオシステムを制御するための特殊効果サウンドを含む
請求項４または５記載のマルチメディアコンテンツ同期方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１３−２６７４８（Ｐ２０１３−２６７４８Ａ）
【公開日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願番号】特願２０１１−１５８４０８（Ｐ２０１１−１５８４０８）
【出願日】平成２３年７月１９日（２０１１．７．１９）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【出願人】（８９９００００７９）学校法人慶應義塾 (742)
【Ｆターム（参考）】
【公開日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願日】平成２３年７月１９日（２０１１．７．１９）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【出願人】（８９９００００７９）学校法人慶應義塾 (742)
【Ｆターム（参考）】
[ Back to top ]