コンテンツ再生装置
【課題】ライブ映像等のリアルタイムに発生するビデオ信号に対応づけて歌詞テロップ等の映像を同期再生することができるコンテンツ再生装置を提供する。
【解決手段】本人出演の背景映像を有するカラオケ楽曲データを記憶し、ビデオ入力部２４から入力されたライブ映像と背景映像とを対比して同期をとり（同期制御部３）、この同期に基づいてクロック信号を生成する（クロック生成部４）。このクロック信号で歌詞データトラックをシーケンスする（映像シーケンス部１０）ことにより、外部から入力されたライブ映像に同期して歌詞を表示することができる。
【解決手段】本人出演の背景映像を有するカラオケ楽曲データを記憶し、ビデオ入力部２４から入力されたライブ映像と背景映像とを対比して同期をとり（同期制御部３）、この同期に基づいてクロック信号を生成する（クロック生成部４）。このクロック信号で歌詞データトラックをシーケンスする（映像シーケンス部１０）ことにより、外部から入力されたライブ映像に同期して歌詞を表示することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、外部から入力されるビデオ信号に同期した映像を表示するコンテンツ再生装置に関する。
【背景技術】
【０００２】
カラオケ装置による演奏では、楽曲の演奏およびその背景映像と同期して歌詞テロップが表示される（たとえば特許文献１）。これは予め曲データ中に演奏用の演奏トラックと歌詞テロップを表示するための歌詞トラックとを並列に記憶しているからである。
【０００３】
【特許文献１】特開２０００−９９０４４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
近年、カラオケ装置だけでなく、テレビ放送等でも歌手の歌唱に合わせて歌詞を表示することがよく行われている。また、テレビ放送では、歌詞に限定されず、ニュース番組等で人物の発言を文字に記述したものをテロップとして画面にスーパーインポーズ表示（テロップ化）したり、語学学習番組では講師の発言をテロップ化して表示することが広く行われている。
【０００５】
これらは、いずれも事前に映像にテロップを合成したものを再生表示するものであり、たとえば演奏の生中継（いわゆるライブ中継）などのリアルタイムに行われ、ストリーミングで到来する演奏や発言等の動作に同期してテロップを生成しているものではなかった。
【０００６】
この発明は、ストリーミングで入力されるビデオ信号に同期させて歌詞テロップ等の映像を再生することができるコンテンツ再生装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
請求項１の発明は、参照用映像時系列データと再生用映像時系列データとを時系列に対応づけて記録したコンテンツデータを記憶するコンテンツデータ記憶部と、外部からビデオ信号を入力するビデオ信号入力部と、外部から補助情報を入力する補助情報入力部と、前記ビデオ信号と前記参照用映像時系列データとを対比する対比処理を実行するとともに、前記補助情報に基づいて前記対比処理を修正することにより、前記ビデオ信号に同期した再生クロックを生成するクロック生成部と、前記クロック生成部が生成した再生クロックに基づいて前記再生用映像時系列データを再生する映像再生部と、を備えたことを特徴とする。
【０００８】
請求項２の発明は、請求項１の発明において、前記ビデオ信号入力部が入力したビデオ信号と前記映像再生部が再生した映像信号とを合成して出力する映像合成部をさらに備えたことを特徴とする。
【０００９】
請求項３の発明は、請求項２の発明において、前記ビデオ信号を、前記クロック生成部による再生クロックの生成に要する時間だけ遅延させたのち前記映像合成部に入力するビデオ遅延部を備えたことを特徴とする。
【００１０】
請求項４の発明は、請求項１〜３の発明において、外部から前記ビデオ信号に同期したオーディオ信号を入力するオーディオ信号入力部と、前記オーディオ信号入力部から入力されたオーディオ信号を、前記クロック生成部による再生クロックの生成に要する時間だけ遅延させて再出力するオーディオ信号遅延部と、をさらに備えたことを特徴とする。
【００１１】
請求項５の発明は、請求項１〜４の発明において、前記コンテンツデータ記憶部が記憶しているコンテンツデータは、前記参照用映像時系列データに時系列に対応づけられた音声時系列データをさらに含み、前記クロック生成部が生成した再生クロックに基づいて前記音声時系列データを再生する音声再生部を、さらに備えたことを特徴とする。
【００１２】
請求項６の発明は、請求項１〜５の発明において、前記コンテンツデータ記憶部が記憶する前記映像時系列データは、表示すべき映像データとその表示タイミングを示すタイミングデータを含むシーケンスデータであり、前記映像再生部は、前記シーケンスデータを再生するシーケンス処理部を含むことを特徴とする。
【００１３】
請求項７の発明は、請求項１〜５の発明において、前記コンテンツデータ記憶部が記憶する前記映像時系列データは、動画映像を含むビデオデータであり、前記映像再生部は、前記ビデオデータを再生するビデオ再生部を含むことを特徴とする。
【００１４】
請求項８の発明は、請求項１〜７の発明において、前記コンテンツデータ記憶部は、さらに、外部機器を時系列に制御する機器制御時系列データを記憶し、前記クロック生成部が生成した再生クロックに基づいて前記機器制御時系列データを読み出して制御信号を出力する外部機器制御部をさらに備えたことを特徴とする。
【００１５】
［作用］
この発明では、ビデオ信号および各種の補助情報に基づいてビデオ信号に同期した再生クロックを生成し、この再生クロックに基づいて再生用映像時系列データを再生することにより、ビデオ信号に同期した映像（および音声）を再生することができる。なお、ビデオ信号は、この装置を経由して再生用に出力されるようにしてもよく、この装置をバイパスする別の経路で再生されるようにしてもよい。
【００１６】
また、精度よく同期した再生クロックを生成する処理は、複雑で重い処理であるため、ビデオ信号が入力されたのち、その信号に同期したクロックが生成されるまである程度の時間が必要である。入力されたビデオ信号やオーディオ信号をこの時間分遅延させて出力することにより、再生された映像と遅延されたビデオ信号との同期をより精度よくすることが可能になる。
【発明の効果】
【００１７】
この発明によれば、入力されたビデオ信号に同期して再生用映像時系列データを再生することができる。たとえば、カラオケ装置に、本人出演の背景映像が組み合わされたカラオケ楽曲データが記憶されている場合、ライブ演奏の映像を入力し、この映像に同期して歌詞テロップを再生表示することができる。
【発明を実施するための最良の形態】
【００１８】
図面を参照してこの発明の実施形態について説明する。
<<第１実施形態>>
図１はこの発明の第１実施形態であるコンテンツ再生装置の構成図である。このコンテンツ再生装置は、ビデオ入力部（Ｖｉｄｅｏ Ｉｎ）２４から入力されたビデオ信号に同期させて映像シーケンスデータ（Ｄｉｓｐｌａｙ Ｓｅｑｕｅｎｃｅ Ｄａｔａ）９を再生出力する装置である。以下の説明では、カラオケ曲の演奏に用いられる曲データおよび背景映像を用いて、ライブ演奏の映像・音声に同期した歌詞を表示する場合を例に挙げて説明する。
【００１９】
コンテンツ再生装置は、外部からビデオ信号が入力されるビデオ入力部（Ｖｉｄｅｏ
Ｉｎ）２４、外部からオーディオ信号が入力されるオーディオ入力部１、補助情報が入力される補助情報入力部（Ａｕｘ Ｉｎｆｏ）２、オーディオ信号が出力されるオーディオ出力部（Ａｕｄｉｏ Ｏｕｔ）１１、映像が出力される映像出力部（Ｖｉｄｅｏ Ｏｕｔ）１２、参照用ビデオデータ（Ｖｉｄｅｏ Ｄａｔａ ｆｏｒ ｒｅｆｅｒｅｎｃｅ）８および前記映像シーケンスデータ９を含むカラオケ曲の曲データが記憶される記憶部（Ｓｏｎｇ Ｄａｔａ）７、入力されたビデオ信号と映像とを同期させるための信号処理部６、前記映像シーケンスデータ９を再生する映像シーケンサ（Ｇｒａｐｈｉｃ Ｓｅｑｕｅｎｃｅｒ）１０、および、映像シーケンサ１０が再生した映像と入力されたビデオ信号とを合成する映像ミキサ（ＳｕｐｅｒＩｍｐｏｓｅ）２６を備えている。
【００２０】
本人出演の背景映像を有するカラオケ楽曲データを用いてライブ演奏の歌詞を表示する場合、ビデオ入力部２４から入力されるビデオ信号は、ライブ演奏の演奏者のライブ映像である。ライブ映像は、公共放送網、インターネット等を経由して配信されてくる。また、参照用ビデオデータ８は、そのカラオケ曲のオリジナル歌手が歌唱する姿を撮影したビデオ映像である。また、映像シーケンスデータ９は、歌詞を表示するための歌詞トラックである。シーケンスデータは、楽音の発音動作や消音動作を実行するための情報であるイベントデータとこのイベントデータの読み出しタイミングを指示するタイミングデータからなっている。
【００２１】
信号処理部６は、同期制御部（Ｔｉｍｅ Ａｌｉｇｎｍｅｎｔ）３、クロック生成部（Ｃｌｏｃｋ Ｇｅｎｅｒａｔｏｒ）４、ビデオ遅延部２５、および、オーディオ遅延部（Ｄｅｌａｙ）５を有している。同期制御部３は、ビデオ入力部２４から入力されたビデオ信号と参照用ビデオデータ８のビデオ映像とを対比し、且つ、補助情報入力部２から入力された補助情報に基づいて対比位置や速度を修正しつつ、入力されたビデオ信号と同期した再生位置情報（タイミング情報）およびテンポ情報を生成する。クロック生成部４は、同期制御部３が生成した再生位置情報（タイミング情報）およびテンポ情報に基づいて再生クロックを生成する。ビデオ遅延部２５は、ビデオ入力部２４から入力されたビデオ信号を所定間遅延させてビデオ出力部１２に入力する。オーディオ遅延部５は、オーディオ入力部１から入力されたオーディオ信号１を所定時間遅延させてオーディオ出力部１１に入力する。
【００２２】
同期制御部３は、ビデオ入力部２４から入力されたビデオ信号のフレーム毎の映像を解析し、撮影されているライブ出演者の動作や口の動きを分析するとともに、記憶部７に記憶されている参照用ビデオデータ８のフレーム毎の映像を解析し、撮影されているオリジナル歌手の動作や口の動きを分析する。特開２００３−１９６６５５公報や特開２０００−２２２５７６公報等に記載された手法で顔や身体を検出し、検出された顔や身体の動きを対比すればよい。そして、この対比結果に基づいて入力ビデオ信号と参照用ビデオデータとをフレーム毎に対比し、動作や口の動き等が最も近似する時間軸上の対応位置を検出し、その対応位置における曲データの時間情報を曲の演奏位置情報とする。すなわち、ライブ演奏の演奏音が曲データのどの位置を演奏しているかを検出する。
【００２３】
この演奏位置の検出すなわち同期検出により、現在入力されているビデオ信号が参照用ビデオデータのビデオ映像において時間軸上のどの位置であるかを割り出すとともに、そのビデオ信号の進行速度すなわちテンポを割り出す。そして、この時間軸上の位置、すなわち演奏位置情報およびタイミング情報（いつ拍タイミングを通過するかの情報）とテンポ情報をクロック生成部４に出力する。なお、テンポおよび拍タイミングの決定は、たとえば特開平９−１６１７１号公報に記載された技術等を用いればよい。
【００２４】
このクロック信号は、映像シーケンサ１０に入力される。映像シーケンサ１０は、歌詞テロップである映像シーケンスデータ９を、クロック信号にしたがって読み出し、歌詞テロップの映像を再生する。上記のようにクロック信号が、外部から入力されたビデオ信号すなわちライブ演奏者の映像に同期したものであるため、この映像シーケンサ１０によって再生され、映像出力部１２から出力される歌詞テロップは、ライブ演奏に同期したものとなる。
【００２５】
なお、同期制御部３による同期検出およびクロック生成部４によるクロック信号の生成には若干の処理時間が必要であるため、ビデオ入力部２４から入力されたビデオ信号、および、オーディオ入力部１から入力されたオーディオ信号を、それぞれビデオ遅延部２５、オーディオ遅延部５で、上記処理時間分遅延させて出力する。これにより、映像シーケンサ１０が再生する歌詞テロップと、入力されたビデオ信号，オーディオ信号との同期をより精度よくすることができる。なお、ビデオ遅延部２５，オーディオ遅延部１は必須ではなく、同期にそれほど高い精度が不要な場合やクロック信号生成処理に要する処理時間が微小な場合等には、入力された信号をそのまま出力するようにしてもよい。
【００２６】
ここで、図２，図３を参照して、カラオケ曲の曲データと歌詞テロップの表示方式について説明する。
図２において、曲データは、同図（Ａ）に示すように、ヘッダ、カラオケ曲を演奏するための楽音トラック、ガイドメロディを発生するためのガイドメロディトラック、歌詞テロップを表示するための歌詞トラック、曲の区切り位置を示すジャンプマークが書き込まれたマークトラック等からなっている。マークトラックには、たとえば、１番、２番、サビ、クライマックス、イントロ、間奏、エンディング等を示すジャンプマークが書き込まれる。
【００２７】
各トラックは、ＭＩＤＩフォーマットに従って記述されている。たとえば、楽音トラックやガイドメロディトラックは、同図（Ｂ）に示すように、ノートオンイベントデータ、ノートオフイベントデータなどのイベントデータと各イベントデータの読み出しタイミングを示すタイミングデータからなっている。ノートオンイベントデータは音高データを含み、このノートオンによって発生する楽音の音高や音量を指定する。この楽音は、対応するノートオフイベントデータが読み出されるまで継続する。
タイミングデータは、各イベントデータ間の時間的間隔を示すデュレーションデータや曲のスタート時刻からの絶対時間を示す絶対時間データなどで構成することができる。
【００２８】
楽音トラック、ガイドメロディトラックのイベントデータは、上記のように楽音の音高、音量、オン／オフなどを示すノートイベントデータなどで構成され、このノートイベントデータを音源に入力することにより楽音が発音／消音される。楽音トラックは、多数の楽器の楽音を発生するために複数トラック（パート）で構成されており、ガイドメロディトラックは、歌唱旋律をガイドするための単旋律のＭＩＤＩデータで構成されている。
【００２９】
歌詞トラックは、カラオケ曲の曲名や歌詞を表示するための各種データをインプリメントしたシーケンスデータであり、図３（Ａ）に示すように、タイミングデータに基づいて読み出される歌詞表示データから構成されている。
【００３０】
歌詞表示データは１行分の歌詞表示に関する全てのデータを内包しており、表示オンタイミング、表示オフタイミング、文字列データ（表示ポイント数、表示座標、文字間データなどを含む）、色１データ、色２データ、歌詞の色変えデータなどからなっている。
【００３１】
同図（Ｂ）を参照して、歌詞表示データによる歌詞テロップの表示態様について説明する。この図のグラフは、縦軸が時間、横軸が歌詞テロップ（モニタ画面）のｘ座標を表している。曲の演奏がこの歌詞の箇所に到達するｔｏｎ前に、１行分の歌詞を色１で先出し表示する。そして、曲の演奏がこの歌詞の箇所まで進行してくるまでの間色１で表示し続ける。曲の演奏がこの歌詞の箇所に到達すると、曲の進行に合わせて表示色を左から順に色１から色２に色変え（ワイプ）してゆく。ワイプが終了したのちも暫くの間（ｔｅ）色２で残表示したのちこの歌詞テロップを消去する。
【００３２】
歌詞の色変えデータは同図（Ｂ）に示すようにワイプの（時間−ｘ座標）曲線の主要な点を示す複数のプロッティングデータで構成されている。映像シーケンス部１０はこのプロッティングデータを２次曲線で補間して色変え（ワイプ）を行う。
【００３３】
ここで、再び図１において、同期制御部３は、ビデオ入力部２４から入力されるビデオ信号のみでは演奏位置の割り出しや正確な同期確定が困難である。そこで、補助情報入力部２から入力された補助情報を用いて確実な演奏位置の決定や同期の確定を行う。
【００３４】
補助情報は、例えばライブ会場にいる係員によって入力される情報や、ライブ映像等から検出される情報である。ライブ会場には、ライブ中継のためにカメラマンや音声担当を含む複数人のスタッフが従事しており、そのうちの一人がカラオケ装置での同期再生のための補助情報を入力する。補助情報としては、曲がスタートしたことを示すスタート情報、曲が一時停止したことを示すストップ情報、曲が終了したことを示すエンド情報、曲の演奏位置が通常の進行からジャンプすることを示すジャンプ情報等である。ライブ演奏の場合、時間の制約で３コーラス目を省略したり、聴衆の反応に合わせてサビを繰り返したりするなど、レコーディングされた通常の演奏と異なる進行で演奏される場合がある。このような場合に、会場の係員がどこにジャンプしたか（またはどこにジャンプしそうかという予測）をジャンプ情報として入力する。ジャンプ位置は、曲データ中のジャンプマークで指定すればよいが、曲データにおける時刻軸の値で指定してもよい。ジャンプマークとしては、上述したように、１番、２番、サビ、クライマックス、イントロ、間奏、エンディングを示すマークがあり、それぞれの曲に応じて曲データにおける時刻軸の値に対応づけて付される。このジャンプマークは、図２に示したように元々曲データに付加されていることが好ましいが、ジャンプマークを持たない曲データについては、ライブ会場の係員が、曲のスタート時に補助情報としてジャンプマークトラックのデータを配信するようにしてもよい。
【００３５】
また、ライブ会場の係員が入力する補助情報として、曲スタート時やテンポ変化時に手動（タッピング）で入力されるビート信号も送られてくる。このビート信号は精度が高いものではなく、また、曲の開始から終了まで継続的に送られてくるものではないため、これをそのままテンポクロック信号として用いることはできないが、テンポ決定や拍タイミングを割り出すための情報として用いることができる。
【００３６】
同期制御部３は、補助情報入力部２から入力される上記のような補助情報を参照して、現在の演奏位置がどのあたりであるかを割り出し、その周辺の参照用ビデオデータを読み出して、入力されるビデオ信号と対比する。また、間欠的に入力されるビート信号を参照して概ねの拍タイミングとテンポを把握し、この概ねの拍タイミングとテンポ（時間軸のスケーリング）で入力されたビデオ信号と参照用ビデオデータとを対比することで同期を容易にする。
【００３７】
なお、この実施形態のコンテンツ再生装置では、再生用映像時系列データとして、歌詞テロップ等の映像シーケンスデータ９を記憶しているが、これにビデオデータ（Ｖｉｄｅｏ Ｄａｔａ）を記憶し、このビデオデータを再生クロック信号に同期して再生するようにしてもよい。この場合、このビデオデータを再生する機能部として、映像シーケンサ１０に代えてビデオ再生部（Ｖｉｄｅｏ Ｐｌａｙｅｒ）を備える。ビデオ再生部は、可変フレームレートの再生装置（再生ソフトウェア）を用いることが好ましい。
【００３８】
<<第２実施形態>>
図４はこの発明の第２実施形態であるコンテンツ再生装置の構成図である。図４において、図１に示した第１の実施形態と同一構成の部分は、同一番号を付して説明を省略する。
【００３９】
この実施形態のコンテンツ再生装置では、記憶部７は、映像シーケンスデータ９に加えて外部機器を制御するための外部シーケンスデータ（Ａｕｘ Ｓｅｑｕｅｎｃｅ Ｄａｔａ）１７を記憶している。そしてこの外部シーケンスデータ１７をシーケンスする機能部として、外部シーケンサ１８を備えている。外部シーケンサ１８がシーケンスした制御データは制御信号出力部１９から外部機器に対して出力される。
【００４０】
制御信号出力部１９には、たとえば、自動演奏ピアノ、照明機器や花火，噴水等の演出装置が接続される。このような機器を、ビデオ入力部２４から入力されるビデオ信号に同期して制御することにより、ライブ演奏に同期して生ピアノが演奏されたり、照明が変化したり花火が点火されたりするような演出を加えることができる。
【００４１】
<<第３実施形態>>
図５はこの発明の第３実施形態であるコンテンツ再生装置の構成図である。図５において、図１に示した第１の実施形態と同一構成の部分は、同一番号を付して説明を省略する。
【００４２】
この実施形態のコンテンツ再生装置では、音声データ１４を再生する機能部として、音声再生部２１を備えている。音声データ１４は、ＭＩＤＩデータ等のシーケンスデータであってもよく、ＰＣＭ，ＭＰ３等のオーディオ波形データであってもよい。再生用の音声データ１４がＭＩＤＩ等のシーケンスデータの場合、音声再生部２１は、シーケンサおよび音源の機能を備える。また、再生用の音声データ１４がオーディオ波形データの場合、音声再生部２１は、デコーダを備える。
【００４３】
音声再生部２１が再生した音声データ１４の音声信号は、ミキサ２２に入力される。ミキサ２２には、オーディオ入力部１から入力され遅延部５で遅延されたオーディオ信号も入力される。ミキサ２２は、この入力されたオーディオ信号および再生された音声信号をミキシングしてオーディオ出力部１１から出力する。
【００４４】
これにより、入力されたライブ映像に同期して、歌詞テロップ等の映像を再生することができるとともに、入力されたライブ音声に同期してさらに音声信号を再生してミキシング出力することができる。
【００４５】
<<尚書き>>
上記第２実施形態は、第１実施形態に外部シーケンスデータ１７，外部シーケンサ１８等による外部機器制御機能を付加した例を示したが、この外部機器制御機能を第３実施形態に設けてもよく、いずれの形態も本発明の技術的範囲内のものである。
【００４６】
また、上記実施形態では、主としてライブ演奏の中継を例にあげて説明したが、本発明は、ライブ演奏に限定されることなく、ビデオ信号に同期して映像を再生する場面であれば、どのような場面にも適用することができる。たとえば、テレビのキャプション表示装置、映画等のマルチリンガル字幕表示装置、語学学習装置等に適用することが可能である。
【００４７】
また、上記実施形態では、ネットワークや放送を通じてオーディオ信号やビデオ信号が送られてくる例を示したが、ビデオ信号，オーディオ信号および補助情報がＤＶＤやＨＤＤ等のメディア，ストレージに記憶されており、これを再生したものをビデオ信号，オーディオ信号，補助情報として入力する形態で、本コンテンツ再生装置を用いることも可能である。
【００４８】
また、上記実施形態では、コンテンツ再生装置をローカル（カラオケボックス）側に設置する構成で説明したが、このコンテンツ再生装置を配信側（たとえばライブ会場）に設置し、ビデオ信号に同期した映像を合成して配信するようにしてもよい。
【図面の簡単な説明】
【００４９】
【図１】この発明の第１の実施形態であるコンテンツ再生装置のブロック図
【図２】コンテンツ再生装置に記憶されている曲データの構成を示す図
【図３】歌詞テロップの表示方式を説明する図
【図４】この発明の第２の実施形態であるコンテンツ再生装置のブロック図
【図５】この発明の第３の実施形態であるコンテンツ再生装置のブロック図
【符号の説明】
【００５０】
１ オーディオ入力部
２ 補助情報入力部
３ 同期制御部
４ クロック生成部
５ 遅延部
６ 信号処理部
７ 記憶部
８ 参照用ビデオデータ
９ 映像シーケンスデータ
１０ 映像シーケンサ
１１ オーディオ出力部
１２ 映像出力部
１４ 音声データ
１７ 外部シーケンスデータ
１８ 外部シーケンサ
１９ 制御信号出力部
２１ 音声再生部
２２ ミキサ
２４ ビデオ入力部
２５ 映像遅延部
２６ 映像ミキサ
【技術分野】
【０００１】
この発明は、外部から入力されるビデオ信号に同期した映像を表示するコンテンツ再生装置に関する。
【背景技術】
【０００２】
カラオケ装置による演奏では、楽曲の演奏およびその背景映像と同期して歌詞テロップが表示される（たとえば特許文献１）。これは予め曲データ中に演奏用の演奏トラックと歌詞テロップを表示するための歌詞トラックとを並列に記憶しているからである。
【０００３】
【特許文献１】特開２０００−９９０４４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
近年、カラオケ装置だけでなく、テレビ放送等でも歌手の歌唱に合わせて歌詞を表示することがよく行われている。また、テレビ放送では、歌詞に限定されず、ニュース番組等で人物の発言を文字に記述したものをテロップとして画面にスーパーインポーズ表示（テロップ化）したり、語学学習番組では講師の発言をテロップ化して表示することが広く行われている。
【０００５】
これらは、いずれも事前に映像にテロップを合成したものを再生表示するものであり、たとえば演奏の生中継（いわゆるライブ中継）などのリアルタイムに行われ、ストリーミングで到来する演奏や発言等の動作に同期してテロップを生成しているものではなかった。
【０００６】
この発明は、ストリーミングで入力されるビデオ信号に同期させて歌詞テロップ等の映像を再生することができるコンテンツ再生装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
請求項１の発明は、参照用映像時系列データと再生用映像時系列データとを時系列に対応づけて記録したコンテンツデータを記憶するコンテンツデータ記憶部と、外部からビデオ信号を入力するビデオ信号入力部と、外部から補助情報を入力する補助情報入力部と、前記ビデオ信号と前記参照用映像時系列データとを対比する対比処理を実行するとともに、前記補助情報に基づいて前記対比処理を修正することにより、前記ビデオ信号に同期した再生クロックを生成するクロック生成部と、前記クロック生成部が生成した再生クロックに基づいて前記再生用映像時系列データを再生する映像再生部と、を備えたことを特徴とする。
【０００８】
請求項２の発明は、請求項１の発明において、前記ビデオ信号入力部が入力したビデオ信号と前記映像再生部が再生した映像信号とを合成して出力する映像合成部をさらに備えたことを特徴とする。
【０００９】
請求項３の発明は、請求項２の発明において、前記ビデオ信号を、前記クロック生成部による再生クロックの生成に要する時間だけ遅延させたのち前記映像合成部に入力するビデオ遅延部を備えたことを特徴とする。
【００１０】
請求項４の発明は、請求項１〜３の発明において、外部から前記ビデオ信号に同期したオーディオ信号を入力するオーディオ信号入力部と、前記オーディオ信号入力部から入力されたオーディオ信号を、前記クロック生成部による再生クロックの生成に要する時間だけ遅延させて再出力するオーディオ信号遅延部と、をさらに備えたことを特徴とする。
【００１１】
請求項５の発明は、請求項１〜４の発明において、前記コンテンツデータ記憶部が記憶しているコンテンツデータは、前記参照用映像時系列データに時系列に対応づけられた音声時系列データをさらに含み、前記クロック生成部が生成した再生クロックに基づいて前記音声時系列データを再生する音声再生部を、さらに備えたことを特徴とする。
【００１２】
請求項６の発明は、請求項１〜５の発明において、前記コンテンツデータ記憶部が記憶する前記映像時系列データは、表示すべき映像データとその表示タイミングを示すタイミングデータを含むシーケンスデータであり、前記映像再生部は、前記シーケンスデータを再生するシーケンス処理部を含むことを特徴とする。
【００１３】
請求項７の発明は、請求項１〜５の発明において、前記コンテンツデータ記憶部が記憶する前記映像時系列データは、動画映像を含むビデオデータであり、前記映像再生部は、前記ビデオデータを再生するビデオ再生部を含むことを特徴とする。
【００１４】
請求項８の発明は、請求項１〜７の発明において、前記コンテンツデータ記憶部は、さらに、外部機器を時系列に制御する機器制御時系列データを記憶し、前記クロック生成部が生成した再生クロックに基づいて前記機器制御時系列データを読み出して制御信号を出力する外部機器制御部をさらに備えたことを特徴とする。
【００１５】
［作用］
この発明では、ビデオ信号および各種の補助情報に基づいてビデオ信号に同期した再生クロックを生成し、この再生クロックに基づいて再生用映像時系列データを再生することにより、ビデオ信号に同期した映像（および音声）を再生することができる。なお、ビデオ信号は、この装置を経由して再生用に出力されるようにしてもよく、この装置をバイパスする別の経路で再生されるようにしてもよい。
【００１６】
また、精度よく同期した再生クロックを生成する処理は、複雑で重い処理であるため、ビデオ信号が入力されたのち、その信号に同期したクロックが生成されるまである程度の時間が必要である。入力されたビデオ信号やオーディオ信号をこの時間分遅延させて出力することにより、再生された映像と遅延されたビデオ信号との同期をより精度よくすることが可能になる。
【発明の効果】
【００１７】
この発明によれば、入力されたビデオ信号に同期して再生用映像時系列データを再生することができる。たとえば、カラオケ装置に、本人出演の背景映像が組み合わされたカラオケ楽曲データが記憶されている場合、ライブ演奏の映像を入力し、この映像に同期して歌詞テロップを再生表示することができる。
【発明を実施するための最良の形態】
【００１８】
図面を参照してこの発明の実施形態について説明する。
<<第１実施形態>>
図１はこの発明の第１実施形態であるコンテンツ再生装置の構成図である。このコンテンツ再生装置は、ビデオ入力部（Ｖｉｄｅｏ Ｉｎ）２４から入力されたビデオ信号に同期させて映像シーケンスデータ（Ｄｉｓｐｌａｙ Ｓｅｑｕｅｎｃｅ Ｄａｔａ）９を再生出力する装置である。以下の説明では、カラオケ曲の演奏に用いられる曲データおよび背景映像を用いて、ライブ演奏の映像・音声に同期した歌詞を表示する場合を例に挙げて説明する。
【００１９】
コンテンツ再生装置は、外部からビデオ信号が入力されるビデオ入力部（Ｖｉｄｅｏ
Ｉｎ）２４、外部からオーディオ信号が入力されるオーディオ入力部１、補助情報が入力される補助情報入力部（Ａｕｘ Ｉｎｆｏ）２、オーディオ信号が出力されるオーディオ出力部（Ａｕｄｉｏ Ｏｕｔ）１１、映像が出力される映像出力部（Ｖｉｄｅｏ Ｏｕｔ）１２、参照用ビデオデータ（Ｖｉｄｅｏ Ｄａｔａ ｆｏｒ ｒｅｆｅｒｅｎｃｅ）８および前記映像シーケンスデータ９を含むカラオケ曲の曲データが記憶される記憶部（Ｓｏｎｇ Ｄａｔａ）７、入力されたビデオ信号と映像とを同期させるための信号処理部６、前記映像シーケンスデータ９を再生する映像シーケンサ（Ｇｒａｐｈｉｃ Ｓｅｑｕｅｎｃｅｒ）１０、および、映像シーケンサ１０が再生した映像と入力されたビデオ信号とを合成する映像ミキサ（ＳｕｐｅｒＩｍｐｏｓｅ）２６を備えている。
【００２０】
本人出演の背景映像を有するカラオケ楽曲データを用いてライブ演奏の歌詞を表示する場合、ビデオ入力部２４から入力されるビデオ信号は、ライブ演奏の演奏者のライブ映像である。ライブ映像は、公共放送網、インターネット等を経由して配信されてくる。また、参照用ビデオデータ８は、そのカラオケ曲のオリジナル歌手が歌唱する姿を撮影したビデオ映像である。また、映像シーケンスデータ９は、歌詞を表示するための歌詞トラックである。シーケンスデータは、楽音の発音動作や消音動作を実行するための情報であるイベントデータとこのイベントデータの読み出しタイミングを指示するタイミングデータからなっている。
【００２１】
信号処理部６は、同期制御部（Ｔｉｍｅ Ａｌｉｇｎｍｅｎｔ）３、クロック生成部（Ｃｌｏｃｋ Ｇｅｎｅｒａｔｏｒ）４、ビデオ遅延部２５、および、オーディオ遅延部（Ｄｅｌａｙ）５を有している。同期制御部３は、ビデオ入力部２４から入力されたビデオ信号と参照用ビデオデータ８のビデオ映像とを対比し、且つ、補助情報入力部２から入力された補助情報に基づいて対比位置や速度を修正しつつ、入力されたビデオ信号と同期した再生位置情報（タイミング情報）およびテンポ情報を生成する。クロック生成部４は、同期制御部３が生成した再生位置情報（タイミング情報）およびテンポ情報に基づいて再生クロックを生成する。ビデオ遅延部２５は、ビデオ入力部２４から入力されたビデオ信号を所定間遅延させてビデオ出力部１２に入力する。オーディオ遅延部５は、オーディオ入力部１から入力されたオーディオ信号１を所定時間遅延させてオーディオ出力部１１に入力する。
【００２２】
同期制御部３は、ビデオ入力部２４から入力されたビデオ信号のフレーム毎の映像を解析し、撮影されているライブ出演者の動作や口の動きを分析するとともに、記憶部７に記憶されている参照用ビデオデータ８のフレーム毎の映像を解析し、撮影されているオリジナル歌手の動作や口の動きを分析する。特開２００３−１９６６５５公報や特開２０００−２２２５７６公報等に記載された手法で顔や身体を検出し、検出された顔や身体の動きを対比すればよい。そして、この対比結果に基づいて入力ビデオ信号と参照用ビデオデータとをフレーム毎に対比し、動作や口の動き等が最も近似する時間軸上の対応位置を検出し、その対応位置における曲データの時間情報を曲の演奏位置情報とする。すなわち、ライブ演奏の演奏音が曲データのどの位置を演奏しているかを検出する。
【００２３】
この演奏位置の検出すなわち同期検出により、現在入力されているビデオ信号が参照用ビデオデータのビデオ映像において時間軸上のどの位置であるかを割り出すとともに、そのビデオ信号の進行速度すなわちテンポを割り出す。そして、この時間軸上の位置、すなわち演奏位置情報およびタイミング情報（いつ拍タイミングを通過するかの情報）とテンポ情報をクロック生成部４に出力する。なお、テンポおよび拍タイミングの決定は、たとえば特開平９−１６１７１号公報に記載された技術等を用いればよい。
【００２４】
このクロック信号は、映像シーケンサ１０に入力される。映像シーケンサ１０は、歌詞テロップである映像シーケンスデータ９を、クロック信号にしたがって読み出し、歌詞テロップの映像を再生する。上記のようにクロック信号が、外部から入力されたビデオ信号すなわちライブ演奏者の映像に同期したものであるため、この映像シーケンサ１０によって再生され、映像出力部１２から出力される歌詞テロップは、ライブ演奏に同期したものとなる。
【００２５】
なお、同期制御部３による同期検出およびクロック生成部４によるクロック信号の生成には若干の処理時間が必要であるため、ビデオ入力部２４から入力されたビデオ信号、および、オーディオ入力部１から入力されたオーディオ信号を、それぞれビデオ遅延部２５、オーディオ遅延部５で、上記処理時間分遅延させて出力する。これにより、映像シーケンサ１０が再生する歌詞テロップと、入力されたビデオ信号，オーディオ信号との同期をより精度よくすることができる。なお、ビデオ遅延部２５，オーディオ遅延部１は必須ではなく、同期にそれほど高い精度が不要な場合やクロック信号生成処理に要する処理時間が微小な場合等には、入力された信号をそのまま出力するようにしてもよい。
【００２６】
ここで、図２，図３を参照して、カラオケ曲の曲データと歌詞テロップの表示方式について説明する。
図２において、曲データは、同図（Ａ）に示すように、ヘッダ、カラオケ曲を演奏するための楽音トラック、ガイドメロディを発生するためのガイドメロディトラック、歌詞テロップを表示するための歌詞トラック、曲の区切り位置を示すジャンプマークが書き込まれたマークトラック等からなっている。マークトラックには、たとえば、１番、２番、サビ、クライマックス、イントロ、間奏、エンディング等を示すジャンプマークが書き込まれる。
【００２７】
各トラックは、ＭＩＤＩフォーマットに従って記述されている。たとえば、楽音トラックやガイドメロディトラックは、同図（Ｂ）に示すように、ノートオンイベントデータ、ノートオフイベントデータなどのイベントデータと各イベントデータの読み出しタイミングを示すタイミングデータからなっている。ノートオンイベントデータは音高データを含み、このノートオンによって発生する楽音の音高や音量を指定する。この楽音は、対応するノートオフイベントデータが読み出されるまで継続する。
タイミングデータは、各イベントデータ間の時間的間隔を示すデュレーションデータや曲のスタート時刻からの絶対時間を示す絶対時間データなどで構成することができる。
【００２８】
楽音トラック、ガイドメロディトラックのイベントデータは、上記のように楽音の音高、音量、オン／オフなどを示すノートイベントデータなどで構成され、このノートイベントデータを音源に入力することにより楽音が発音／消音される。楽音トラックは、多数の楽器の楽音を発生するために複数トラック（パート）で構成されており、ガイドメロディトラックは、歌唱旋律をガイドするための単旋律のＭＩＤＩデータで構成されている。
【００２９】
歌詞トラックは、カラオケ曲の曲名や歌詞を表示するための各種データをインプリメントしたシーケンスデータであり、図３（Ａ）に示すように、タイミングデータに基づいて読み出される歌詞表示データから構成されている。
【００３０】
歌詞表示データは１行分の歌詞表示に関する全てのデータを内包しており、表示オンタイミング、表示オフタイミング、文字列データ（表示ポイント数、表示座標、文字間データなどを含む）、色１データ、色２データ、歌詞の色変えデータなどからなっている。
【００３１】
同図（Ｂ）を参照して、歌詞表示データによる歌詞テロップの表示態様について説明する。この図のグラフは、縦軸が時間、横軸が歌詞テロップ（モニタ画面）のｘ座標を表している。曲の演奏がこの歌詞の箇所に到達するｔｏｎ前に、１行分の歌詞を色１で先出し表示する。そして、曲の演奏がこの歌詞の箇所まで進行してくるまでの間色１で表示し続ける。曲の演奏がこの歌詞の箇所に到達すると、曲の進行に合わせて表示色を左から順に色１から色２に色変え（ワイプ）してゆく。ワイプが終了したのちも暫くの間（ｔｅ）色２で残表示したのちこの歌詞テロップを消去する。
【００３２】
歌詞の色変えデータは同図（Ｂ）に示すようにワイプの（時間−ｘ座標）曲線の主要な点を示す複数のプロッティングデータで構成されている。映像シーケンス部１０はこのプロッティングデータを２次曲線で補間して色変え（ワイプ）を行う。
【００３３】
ここで、再び図１において、同期制御部３は、ビデオ入力部２４から入力されるビデオ信号のみでは演奏位置の割り出しや正確な同期確定が困難である。そこで、補助情報入力部２から入力された補助情報を用いて確実な演奏位置の決定や同期の確定を行う。
【００３４】
補助情報は、例えばライブ会場にいる係員によって入力される情報や、ライブ映像等から検出される情報である。ライブ会場には、ライブ中継のためにカメラマンや音声担当を含む複数人のスタッフが従事しており、そのうちの一人がカラオケ装置での同期再生のための補助情報を入力する。補助情報としては、曲がスタートしたことを示すスタート情報、曲が一時停止したことを示すストップ情報、曲が終了したことを示すエンド情報、曲の演奏位置が通常の進行からジャンプすることを示すジャンプ情報等である。ライブ演奏の場合、時間の制約で３コーラス目を省略したり、聴衆の反応に合わせてサビを繰り返したりするなど、レコーディングされた通常の演奏と異なる進行で演奏される場合がある。このような場合に、会場の係員がどこにジャンプしたか（またはどこにジャンプしそうかという予測）をジャンプ情報として入力する。ジャンプ位置は、曲データ中のジャンプマークで指定すればよいが、曲データにおける時刻軸の値で指定してもよい。ジャンプマークとしては、上述したように、１番、２番、サビ、クライマックス、イントロ、間奏、エンディングを示すマークがあり、それぞれの曲に応じて曲データにおける時刻軸の値に対応づけて付される。このジャンプマークは、図２に示したように元々曲データに付加されていることが好ましいが、ジャンプマークを持たない曲データについては、ライブ会場の係員が、曲のスタート時に補助情報としてジャンプマークトラックのデータを配信するようにしてもよい。
【００３５】
また、ライブ会場の係員が入力する補助情報として、曲スタート時やテンポ変化時に手動（タッピング）で入力されるビート信号も送られてくる。このビート信号は精度が高いものではなく、また、曲の開始から終了まで継続的に送られてくるものではないため、これをそのままテンポクロック信号として用いることはできないが、テンポ決定や拍タイミングを割り出すための情報として用いることができる。
【００３６】
同期制御部３は、補助情報入力部２から入力される上記のような補助情報を参照して、現在の演奏位置がどのあたりであるかを割り出し、その周辺の参照用ビデオデータを読み出して、入力されるビデオ信号と対比する。また、間欠的に入力されるビート信号を参照して概ねの拍タイミングとテンポを把握し、この概ねの拍タイミングとテンポ（時間軸のスケーリング）で入力されたビデオ信号と参照用ビデオデータとを対比することで同期を容易にする。
【００３７】
なお、この実施形態のコンテンツ再生装置では、再生用映像時系列データとして、歌詞テロップ等の映像シーケンスデータ９を記憶しているが、これにビデオデータ（Ｖｉｄｅｏ Ｄａｔａ）を記憶し、このビデオデータを再生クロック信号に同期して再生するようにしてもよい。この場合、このビデオデータを再生する機能部として、映像シーケンサ１０に代えてビデオ再生部（Ｖｉｄｅｏ Ｐｌａｙｅｒ）を備える。ビデオ再生部は、可変フレームレートの再生装置（再生ソフトウェア）を用いることが好ましい。
【００３８】
<<第２実施形態>>
図４はこの発明の第２実施形態であるコンテンツ再生装置の構成図である。図４において、図１に示した第１の実施形態と同一構成の部分は、同一番号を付して説明を省略する。
【００３９】
この実施形態のコンテンツ再生装置では、記憶部７は、映像シーケンスデータ９に加えて外部機器を制御するための外部シーケンスデータ（Ａｕｘ Ｓｅｑｕｅｎｃｅ Ｄａｔａ）１７を記憶している。そしてこの外部シーケンスデータ１７をシーケンスする機能部として、外部シーケンサ１８を備えている。外部シーケンサ１８がシーケンスした制御データは制御信号出力部１９から外部機器に対して出力される。
【００４０】
制御信号出力部１９には、たとえば、自動演奏ピアノ、照明機器や花火，噴水等の演出装置が接続される。このような機器を、ビデオ入力部２４から入力されるビデオ信号に同期して制御することにより、ライブ演奏に同期して生ピアノが演奏されたり、照明が変化したり花火が点火されたりするような演出を加えることができる。
【００４１】
<<第３実施形態>>
図５はこの発明の第３実施形態であるコンテンツ再生装置の構成図である。図５において、図１に示した第１の実施形態と同一構成の部分は、同一番号を付して説明を省略する。
【００４２】
この実施形態のコンテンツ再生装置では、音声データ１４を再生する機能部として、音声再生部２１を備えている。音声データ１４は、ＭＩＤＩデータ等のシーケンスデータであってもよく、ＰＣＭ，ＭＰ３等のオーディオ波形データであってもよい。再生用の音声データ１４がＭＩＤＩ等のシーケンスデータの場合、音声再生部２１は、シーケンサおよび音源の機能を備える。また、再生用の音声データ１４がオーディオ波形データの場合、音声再生部２１は、デコーダを備える。
【００４３】
音声再生部２１が再生した音声データ１４の音声信号は、ミキサ２２に入力される。ミキサ２２には、オーディオ入力部１から入力され遅延部５で遅延されたオーディオ信号も入力される。ミキサ２２は、この入力されたオーディオ信号および再生された音声信号をミキシングしてオーディオ出力部１１から出力する。
【００４４】
これにより、入力されたライブ映像に同期して、歌詞テロップ等の映像を再生することができるとともに、入力されたライブ音声に同期してさらに音声信号を再生してミキシング出力することができる。
【００４５】
<<尚書き>>
上記第２実施形態は、第１実施形態に外部シーケンスデータ１７，外部シーケンサ１８等による外部機器制御機能を付加した例を示したが、この外部機器制御機能を第３実施形態に設けてもよく、いずれの形態も本発明の技術的範囲内のものである。
【００４６】
また、上記実施形態では、主としてライブ演奏の中継を例にあげて説明したが、本発明は、ライブ演奏に限定されることなく、ビデオ信号に同期して映像を再生する場面であれば、どのような場面にも適用することができる。たとえば、テレビのキャプション表示装置、映画等のマルチリンガル字幕表示装置、語学学習装置等に適用することが可能である。
【００４７】
また、上記実施形態では、ネットワークや放送を通じてオーディオ信号やビデオ信号が送られてくる例を示したが、ビデオ信号，オーディオ信号および補助情報がＤＶＤやＨＤＤ等のメディア，ストレージに記憶されており、これを再生したものをビデオ信号，オーディオ信号，補助情報として入力する形態で、本コンテンツ再生装置を用いることも可能である。
【００４８】
また、上記実施形態では、コンテンツ再生装置をローカル（カラオケボックス）側に設置する構成で説明したが、このコンテンツ再生装置を配信側（たとえばライブ会場）に設置し、ビデオ信号に同期した映像を合成して配信するようにしてもよい。
【図面の簡単な説明】
【００４９】
【図１】この発明の第１の実施形態であるコンテンツ再生装置のブロック図
【図２】コンテンツ再生装置に記憶されている曲データの構成を示す図
【図３】歌詞テロップの表示方式を説明する図
【図４】この発明の第２の実施形態であるコンテンツ再生装置のブロック図
【図５】この発明の第３の実施形態であるコンテンツ再生装置のブロック図
【符号の説明】
【００５０】
１ オーディオ入力部
２ 補助情報入力部
３ 同期制御部
４ クロック生成部
５ 遅延部
６ 信号処理部
７ 記憶部
８ 参照用ビデオデータ
９ 映像シーケンスデータ
１０ 映像シーケンサ
１１ オーディオ出力部
１２ 映像出力部
１４ 音声データ
１７ 外部シーケンスデータ
１８ 外部シーケンサ
１９ 制御信号出力部
２１ 音声再生部
２２ ミキサ
２４ ビデオ入力部
２５ 映像遅延部
２６ 映像ミキサ
【特許請求の範囲】
【請求項１】
参照用映像時系列データと再生用映像時系列データとを時系列に対応づけて記録したコンテンツデータを記憶するコンテンツデータ記憶部と、
外部からビデオ信号を入力するビデオ信号入力部と、
外部から補助情報を入力する補助情報入力部と、
前記ビデオ信号と前記参照用映像時系列データとを対比する対比処理を実行するとともに、前記補助情報に基づいて前記対比処理を修正することにより、前記ビデオ信号に同期した再生クロックを生成するクロック生成部と、
前記クロック生成部が生成した再生クロックに基づいて前記再生用映像時系列データを再生する映像再生部と、
を備えたコンテンツ再生装置。
【請求項２】
前記ビデオ信号入力部が入力したビデオ信号と前記映像再生部が再生した映像信号とを合成して出力する映像合成部をさらに備えた請求項１に記載のコンテンツ再生装置。
【請求項３】
前記ビデオ信号を、前記クロック生成部による再生クロックの生成に要する時間だけ遅延させたのち前記映像合成部に入力するビデオ遅延部を備えた請求項２に記載のコンテンツ再生装置。
【請求項４】
外部から前記ビデオ信号に同期したオーディオ信号を入力するオーディオ信号入力部と、
前記オーディオ信号入力部から入力されたオーディオ信号を、前記クロック生成部による再生クロックの生成に要する時間だけ遅延させて再出力するオーディオ信号遅延部と、
をさらに備えた請求項１、請求項２または請求項３に記載のコンテンツ再生装置。
【請求項５】
前記コンテンツデータ記憶部が記憶しているコンテンツデータは、前記参照用映像時系列データに時系列に対応づけられた音声時系列データをさらに含み、
前記クロック生成部が生成した再生クロックに基づいて前記音声時系列データを再生する音声再生部を、さらに備えた請求項１乃至請求項４のいずれかに記載のコンテンツ再生装置。
【請求項６】
前記コンテンツデータ記憶部が記憶する前記映像時系列データは、表示すべき映像データとその表示タイミングを示すタイミングデータを含むシーケンスデータであり、
前記映像再生部は、前記シーケンスデータを再生するシーケンス処理部を含む請求項１乃至請求項５のいずれかに記載のコンテンツ再生装置。
【請求項７】
前記コンテンツデータ記憶部が記憶する前記映像時系列データは、動画映像を含むビデオデータであり、
前記映像再生部は、前記ビデオデータを再生するビデオ再生部を含む請求項１乃至請求項５のいずれかに記載のコンテンツ再生装置。
【請求項８】
前記コンテンツデータ記憶部は、さらに、外部機器を時系列に制御する機器制御時系列データを記憶し、
前記クロック生成部が生成した再生クロックに基づいて前記機器制御時系列データを読み出して制御信号を出力する外部機器制御部をさらに備えた請求項１乃至請求項７のいずれかに記載のコンテンツ再生装置。
【請求項１】
参照用映像時系列データと再生用映像時系列データとを時系列に対応づけて記録したコンテンツデータを記憶するコンテンツデータ記憶部と、
外部からビデオ信号を入力するビデオ信号入力部と、
外部から補助情報を入力する補助情報入力部と、
前記ビデオ信号と前記参照用映像時系列データとを対比する対比処理を実行するとともに、前記補助情報に基づいて前記対比処理を修正することにより、前記ビデオ信号に同期した再生クロックを生成するクロック生成部と、
前記クロック生成部が生成した再生クロックに基づいて前記再生用映像時系列データを再生する映像再生部と、
を備えたコンテンツ再生装置。
【請求項２】
前記ビデオ信号入力部が入力したビデオ信号と前記映像再生部が再生した映像信号とを合成して出力する映像合成部をさらに備えた請求項１に記載のコンテンツ再生装置。
【請求項３】
前記ビデオ信号を、前記クロック生成部による再生クロックの生成に要する時間だけ遅延させたのち前記映像合成部に入力するビデオ遅延部を備えた請求項２に記載のコンテンツ再生装置。
【請求項４】
外部から前記ビデオ信号に同期したオーディオ信号を入力するオーディオ信号入力部と、
前記オーディオ信号入力部から入力されたオーディオ信号を、前記クロック生成部による再生クロックの生成に要する時間だけ遅延させて再出力するオーディオ信号遅延部と、
をさらに備えた請求項１、請求項２または請求項３に記載のコンテンツ再生装置。
【請求項５】
前記コンテンツデータ記憶部が記憶しているコンテンツデータは、前記参照用映像時系列データに時系列に対応づけられた音声時系列データをさらに含み、
前記クロック生成部が生成した再生クロックに基づいて前記音声時系列データを再生する音声再生部を、さらに備えた請求項１乃至請求項４のいずれかに記載のコンテンツ再生装置。
【請求項６】
前記コンテンツデータ記憶部が記憶する前記映像時系列データは、表示すべき映像データとその表示タイミングを示すタイミングデータを含むシーケンスデータであり、
前記映像再生部は、前記シーケンスデータを再生するシーケンス処理部を含む請求項１乃至請求項５のいずれかに記載のコンテンツ再生装置。
【請求項７】
前記コンテンツデータ記憶部が記憶する前記映像時系列データは、動画映像を含むビデオデータであり、
前記映像再生部は、前記ビデオデータを再生するビデオ再生部を含む請求項１乃至請求項５のいずれかに記載のコンテンツ再生装置。
【請求項８】
前記コンテンツデータ記憶部は、さらに、外部機器を時系列に制御する機器制御時系列データを記憶し、
前記クロック生成部が生成した再生クロックに基づいて前記機器制御時系列データを読み出して制御信号を出力する外部機器制御部をさらに備えた請求項１乃至請求項７のいずれかに記載のコンテンツ再生装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２００８−１４５９７８（Ｐ２００８−１４５９７８Ａ）
【公開日】平成２０年６月２６日（２００８．６．２６）
【国際特許分類】
【出願番号】特願２００６−３３６２４９（Ｐ２００６−３３６２４９）
【出願日】平成１８年１２月１３日（２００６．１２．１３）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
【公開日】平成２０年６月２６日（２００８．６．２６）
【国際特許分類】
【出願日】平成１８年１２月１３日（２００６．１２．１３）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
[ Back to top ]