データ再生装置、データ再生方法およびプログラム
【課題】ライブ演奏のように楽曲のテンポの変動があっても、楽曲の流れにあわせた映像データの再生を簡単に行うことができるデータ再生装置、データ再生方法およびプログラムを提供すること。
【解決手段】本発明のデータ再生装置を有する映像表示装置は、タイムアライメント部１０２によって行われるライブ楽音データと事前に準備したリファレンス楽音データとの比較によって生成した時刻情報に基づいて、データ読出部１０３がリファレンス楽音データと時間同期された歌詞データを読み出すことにより、ライブ楽音データと歌詞データを時間同期して再生することが可能となり、ライブ演奏のように楽曲のテンポの変動があっても、楽曲の流れにあわせて事前に準備したデータを再生することができる。
【解決手段】本発明のデータ再生装置を有する映像表示装置は、タイムアライメント部１０２によって行われるライブ楽音データと事前に準備したリファレンス楽音データとの比較によって生成した時刻情報に基づいて、データ読出部１０３がリファレンス楽音データと時間同期された歌詞データを読み出すことにより、ライブ楽音データと歌詞データを時間同期して再生することが可能となり、ライブ演奏のように楽曲のテンポの変動があっても、楽曲の流れにあわせて事前に準備したデータを再生することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力されたデータと同期して、他のデータを再生する技術に関する。
【背景技術】
【０００２】
一般的なカラオケ装置においては、例えば、ＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔｓ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ：登録商標）形式の伴奏用データ、楽曲の歌詞テロップを表示するシーケンスデータおよび映像データなどから構成された楽曲データをそれぞれ同期させて再生することにより、利用者はその楽曲のカラオケを楽しむことができる。特許文献１には、伴奏データと映像データを別個にサーバから受信してそれらを同期させて再生させる技術が開示されている。また、特許文献２においては、ライブ演奏のような臨場感のあるカラオケ演奏を提供する技術が開示されている。
【０００３】
また、歌詞を表示させる技術は、カラオケ装置だけで用いられるわけではなく、テレビ放送などにおける歌番組においても用いられている。また、テレビ放送においては、生放送の歌番組などで歌手が歌唱に合わせて歌詞テロップを表示する場合、オペレータが楽曲の進行にあわせて、所定のタイミングで歌詞を表示させるようにしている。
【特許文献１】特開２００３−１５６７５号公報
【特許文献２】特開２０００−３４７６７６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１に開示された技術を用いる場合には、伴奏データはＭＩＤＩ形式のデータの再生であるため、ＭＩＤＩ形式のデータを再生できる音源を用いた再生のため、音質が劣る場合や、テンポが単調な演奏となってしまう場合があった。また、特許文献２に開示された技術の場合には、ライブ演奏のような臨場感が得られるが、楽曲の進行が単調ではないため、歌詞テロップを表示させるためなどのシーケンスデータについては、楽曲の進行に合わせて事前に作成しておく必要があった。また、テレビ放送などにおいて上述したようなオペレータの作業は、本番においてミスは許されず、事前に楽曲の進行と歌詞の表示を行うタイミングとを合わせる練習をしておく必要があり、非常に負担が大きかった。
【０００５】
本発明は、上述の事情に鑑みてなされたものであり、ライブ演奏のように楽曲のテンポの変動があっても、楽曲の流れにあわせたデータの再生を簡単に行うことができるデータ再生装置、データ再生方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述の課題を解決するため、本発明は、第１のオーディオデータを記憶するとともに、データ各部についての時刻を規定する同期情報を有した第１のデータを記憶する記憶手段と、外部から供給される第２のオーディオデータと前記第１のオーディオデータとを所定時間長のフレーム単位で対応付けて、対応する部分についての時刻を示す時刻情報を生成するタイムアライメント手段と、前記時刻情報と前記同期情報の対応関係に基づいて、前記記憶手段から前記第１のデータを読み出すデータ読出手段と、前記データ読出手段によって読み出された第１のデータに基づいて第１の映像データを生成する映像データ生成手段と、前記外部から供給される第２のオーディオデータを所定量遅延させる遅延手段とを具備することを特徴とするデータ再生装置を提供する。
【０００７】
また、本発明は、第１のオーディオデータを記憶するとともに、データ各部についての時刻を規定する同期情報を有した第１のデータおよび第２のデータを記憶する記憶手段と、外部から供給される第２のオーディオデータと前記第１のオーディオデータとを所定時間長のフレーム単位で対応付けて、対応する部分についての時刻を示す時刻情報を生成するタイムアライメント手段と、前記時刻情報と前記同期情報の対応関係に基づいて、前記記憶手段から前記第１のデータと前記第２のデータとを読み出すデータ読出手段と、前記データ読出手段によって読み出された第１のデータに基づいて第１の映像データを生成する映像データ生成手段と、前記外部から供給される第２のオーディオデータを所定量遅延させる遅延手段とを具備することを特徴とするデータ再生装置を提供する。
【０００８】
また、別の好ましい態様において、前記第２のデータは、外部に接続した装置を制御するためのシーケンスデータである制御信号データであってもよい。
【０００９】
また、別の好ましい態様において、前記第２のデータは、オーディオデータであってもよい。
【００１０】
また、別の好ましい態様において、前記データ読出手段によって読み出された第２のデータに基づいてオーディオデータを生成する音源部をさらに具備し、前記第２のデータは、前記音源部によって生成されるオーディオデータに係る楽音の発音内容を示すシーケンスデータであってもよい。
【００１１】
また、別の好ましい態様において、前記記憶手段に記憶されている前記第１のデータは、映像の表示内容を指示するシーケンスデータであってもよい。
【００１２】
また、別の好ましい態様において、前記記憶手段に記憶されている前記第１のデータは、映像自体の内容を示すデータであってもよい。
【００１３】
また、別の好ましい態様において、複数の映像データが入力され、前記複数の映像データのうち一の映像データに係る映像に対して、他の映像データに係る映像をスーパーインポーズする映像合成手段をさらに具備し、前記遅延手段は、外部から供給され、前記第２のオーディオデータと時間同期がとられた第２の映像データを前記所定量遅延させ、 前記映像合成手段は、前記遅延手段によって遅延された第２の映像データに係る映像に対して、前記映像データ生成手段によって生成された第１の映像データに係る映像をスーパーインポーズしてもよい。
【００１４】
また、別の好ましい態様において、前記遅延手段における遅延量は、タイムアライメント手段に第２のオーディオデータが供給されてから前記映像データ生成手段によって第１の映像データを生成するまでの時間として設定されていてもよい。
【００１５】
また、本発明は、外部から供給される第２のオーディオデータと記憶手段に記憶された第１のオーディオデータとを所定時間長のフレーム単位で対応付けて、対応する部分についての時刻を示す時刻情報を生成するタイムアライメント過程と、第１のオーディオデータを記憶するとともに、データ各部についての時刻を規定する同期情報を有した第１のデータを記憶する記憶手段から、前記時刻情報と前記同期情報の対応関係に基づいて、前記第１のデータを読み出すデータ読出過程と、前記データ読出過程において読み出された第１のデータに基づいて第１の映像データを生成する映像データ生成過程と、前記外部から供給される第２のオーディオデータを所定量遅延させる遅延過程とを備えることを特徴とするデータ再生方法を提供する。
【００１６】
また、本発明は、外部から供給される第２のオーディオデータと記憶手段に記憶された第１のオーディオデータとを所定時間長のフレーム単位で対応付けて、対応する部分についての時刻を示す時刻情報を生成するタイムアライメント過程と、第１のオーディオデータを記憶するとともに、データ各部についての時刻を規定する同期情報を有した第１のデータおよび第２のデータを記憶する記憶手段から、前記時刻情報と前記同期情報の対応関係に基づいて、前記第１のデータと前記第２のデータとを読み出すデータ読出過程と、前記データ読出過程において読み出された第１のデータに基づいて第１の映像データを生成する映像データ生成過程と、前記外部から供給される第２のオーディオデータを所定量遅延させる遅延過程とを備えることを特徴とするデータ再生方法を提供する。
【００１７】
また、本発明は、記憶手段を有するコンピュータに、前記記憶手段に第１のオーディオデータを記憶させるとともに、データ各部についての時刻を規定する同期情報を有した第１のデータを記憶させる記憶機能と、外部から供給される第２のオーディオデータと前記第１のオーディオデータとを所定時間長のフレーム単位で対応付けて、対応する部分についての時刻を示す時刻情報を生成するタイムアライメント機能と、前記時刻情報と前記同期情報の対応関係に基づいて、前記記憶手段から前記第１のデータを読み出すデータ読出機能と、前記データ読出機能によって読み出された第１のデータに基づいて第１の映像データを生成する映像データ生成機能と、前記外部から供給される第２のオーディオデータを所定量遅延させる遅延機能とを実現させるためのコンピュータ読み取り可能なプログラムを提供する。
【００１８】
また、本発明は、記憶手段を有するコンピュータに、前記記憶手段に第１のオーディオデータと、第１のオーディオデータを記憶させるとともに、データ各部についての時刻を規定する同期情報を有した第１のデータおよび第２のデータを記憶させる記憶機能と、外部から供給される第２のオーディオデータと前記第１のオーディオデータとを所定時間長のフレーム単位で対応付けて、対応する部分についての時刻を示す時刻情報を生成するタイムアライメント機能と、前記時刻情報と前記同期情報の対応関係に基づいて、前記記憶手段から前記第１のデータと前記第２のデータとを読み出すデータ読出機能と、前記データ読出機能によって読み出された第１のデータに基づいて第１の映像データを生成する映像データ生成機能と、前記外部から供給される第２のオーディオデータを所定量遅延させる遅延機能とを実現させるためのコンピュータ読み取り可能なプログラムを提供する。
【発明の効果】
【００１９】
本発明によれば、ライブ演奏のように楽曲のテンポの変動があっても、楽曲の流れにあわせたデータの再生を簡単に行うことができるデータ再生装置、データ再生方法およびプログラムを提供することができる。
【発明を実施するための最良の形態】
【００２０】
以下、本発明の一実施形態について説明する。
【００２１】
＜実施形態＞
図１は、本発明の本実施形態に係るデータ再生装置を有する映像表示装置１のハードウエアの構成を示すブロック図である。
【００２２】
ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２に記憶されているプログラムを読み出して、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３にロードして実行することにより、映像表示装置１の各部について、バス１０を介して制御する。また、ＲＡＭ１３は、ＣＰＵ１１が記憶された各データの加工などを行う際のワークエリアとして機能する。
【００２３】
さらにＲＡＭ１３は、内部に有するライブデータバッファ領域１３ａに、通信部１７から受信するストリーミング再生するためのライブ映像データ（第２の映像データ）、ライブ楽音データ（第２のオーディオデータ）を一時的にバッファする機能を有するとともに、当該各データに対応する楽曲に関する情報のデータ（以下、楽曲情報データという）についても、通信部１７において受信して記憶する。なお、楽曲に関する情報は、楽曲名や認識番号など、当該楽曲を特定できる情報であれば何でもよい。そして、ＣＰＵ１１は、ＲＡＭ１３にバッファされたライブ映像データ、ライブ楽音データを読み出し、後述するような処理を行ってストリーミング再生を行う。
【００２４】
ここで、ライブ映像データは、楽曲の生演奏を撮影した映像（以下、ライブ映像という）の映像データである。また、ライブ楽音データは、楽曲の生演奏を録音した音声（以下、ライブ演奏）のオーディオデータであって、ライブ演奏には、歌手の歌声（以下、ライブボーカルという）や伴奏などが含まれている。
【００２５】
記憶部（記憶手段）１４は、例えば、ハードディスクなどの大容量記憶手段であって、楽曲データ記憶領域１４ａに、各楽曲のリファレンスデータとなるリファレンス楽曲データを記憶する。リファレンス楽曲データは、リファレンス楽音データ（第１のオーディオデータ）と歌詞データ（第１のデータ）を有している。リファレンス楽音データは、楽曲の見本となる歌声や伴奏を含む演奏（以下、リファレンス演奏という）を録音したオーディオデータであって、その再生時刻を示すタイムコードが付されている。歌詞データは、楽曲の歌詞を示すテキストデータと当該テキストデータの各テキストの表示タイミングを示すデータとを有するシーケンスデータであって、シーケンスデータの読み出し時刻を示すタイムコード（同期情報）が付されている。そして、リファレンス楽音データと歌詞データは、同じタイムコードによって読み出すことにより時間同期して再生することができ、楽曲の見本となる歌声にあった歌詞が表示されるようになっている。
【００２６】
表示部１５は、映像を画面に表示する液晶ディスプレイなどの表示デバイスであって、入力された映像データに基づいて表示を行う。また、映像表示装置１を操作するためのメニュー画面などの各種画面を表示する。操作部１６は、例えばキーボードやマウスなどであり、映像表示装置１の利用者が操作部１６を操作すると、その操作内容を表すデータがＣＰＵ１１へ出力される。
【００２７】
通信部１７は、有線、無線などによって、データを受信するチューナなどの通信手段であって、上述したように、本実施形態においては、ライブ映像データ、ライブ楽音データ、楽曲情報データを受信して、ＲＡＭ１３のライブデータバッファ領域１３ａにバッファする機能を有している。
【００２８】
音声出力部１８は、スピーカなどの放音手段を有し、入力されたオーディオデータに基づいて放音する。
【００２９】
次に、ＣＰＵ１１が、ＲＯＭ１２に記憶されたプログラムを実行することによって実現する機能について説明する。図２は、ＣＰＵ１１が実現する機能を示したソフトウエアの構成を示すブロック図である。
【００３０】
楽曲データ選択部１０１は、ライブデータバッファ領域１３ａから楽曲情報データを読み取り、通信部１７が受信している各データの楽曲を認識する。そして、楽曲データ記憶領域１４ａに記憶されているリファレンス楽曲データの中から、認識した楽曲に対応するリファレンス楽曲データを選択し、そのリファレンス楽曲データのリファレンス楽音データおよび歌詞データを読み出す。そして、楽曲データ選択部１０１は、読み出したリファレンス楽音データをタイムアライメント部（タイムアライメント手段）１０２へ出力するとともに、読み出した歌詞データについては、後述するデータ読出部（データ読出手段）１０３に読み出されるまでＲＡＭ１３にバッファしておく。
【００３１】
タイムアライメント部１０２は、ＣＰＵ１１によってライブデータバッファ領域１３ａから読み出されたライブ楽音データを取得し、当該ライブ楽音データと、楽曲データ選択部１０１から出力されたリファレンス楽音データとを比較して、ライブ演奏とリファレンス演奏との楽曲の進行のずれを検出し、当該楽曲の進行のずれに基づいてタイムコード（時刻情報）を出力する機能を有している。
【００３２】
ここで、楽曲の進行のずれは、それぞれのデータを所定時間長のフレーム単位に分離し、その各々に対してＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）を施して、それぞれのデータのスペクトルを算出し、これらの各フレーム間で類似したスペクトルを対応付けることにより検出する。また、楽曲の進行のずれを検出する機能について、本実施形態ではＤＰ（Ｄｙｎａｍｉｃ Ｐｒｏｇｒａｍｍｉｎｇ：動的計画法）マッチングを用いる。具体的には以下のような処理となる。
【００３３】
タイムアライメント部１０２は、図３に示すような座標平面（以下、ＤＰプレーンという）をＲＡＭ１３に形成する。このＤＰプレーンの縦軸は、ライブ楽音データをそれぞれ所定時間長のフレーム単位に分離してその各々に対してＦＦＴを施して得られたスペクトルについて、各フレームのスペクトルの絶対値の対数に逆フーリエ変換をかけて得られるパラメータ（ケプストラム）をａ１、ａ２、ａ３・・・ａｎとして、時間軸に従って並べたものである。また、横軸のｂ１、ｂ２、ｂ３・・・ｂｎは、リファレンス楽音データについて、上記同様に時間軸に従って並べたものである。ここで、縦軸のａ１、ａ２、ａ３・・・ａｎの間隔と横軸のｂ１、ｂ２、ｂ３・・・ｂｎの間隔は、いずれもフレームの時間長と対応している。このＤＰプレーンにおける各格子点の各々には、ａ１、ａ２、ａ３・・・ａｎの各パラメータと、ｂ１、ｂ２、ｂ３・・・ｂｎの各パラメータのユークリッド距離を夫々示す値であるＤＰマッチングスコアが対応付けられている。例えば、ａ１とｂ１とにより位置決めされる格子点（ａ１，ｂ１）には、ライブ楽音データの一連のフレームのうち最初のフレームから得たパラメータとリファレンス楽音データの一連のフレームのうち最初のフレームから得たパラメータのユークリッド距離を示す値が対応付けられることになる。
【００３４】
そして、タイムアライメント部１０２は、このような構造を成すＤＰプレーンを形成した後、ａ１とｂ１とにより位置決めされる始端にあたる格子点（ａ１，ｂ１）からａｎとｂｎとにより位置決めされる終端にあたる格子点（ａｎ，ｂｎ）に至る全経路を探索し、探索した経路ごとに、その始端から終端までの間に辿る各格子点のＤＰマッチングスコアを累算して累算値を求める。なお、始端と終端は各データの最初のフレームと最後のフレームということではなく、各データから所定のフレーム数を単位として行われ、この単位における最初のフレームから最後のフレームまで行われて、これが順次処理され各データの最後のフレームまで処理されていく。
【００３５】
そして、ＤＰマッチングスコアの累算値が最小となる経路をＤＰプレーン上から特定し、その経路上の各格子点によって、ライブ楽音データの各フレームにリファレンス楽音データの各フレームが対応付けられる。この対応関係により楽曲の進行のずれを検出することができる。例えば、図３に示すＤＰプレーン上に記された経路においては、ａ１とｂ１により位置決めされる格子点（ａ１，ｂ１）からその右上のａ２とｂ２により位置決めされる格子点（ａ２，ｂ２）に進んでいることが分かる。この場合、ａ２のフレームとｂ２のフレームとの時間軸上の位置は当初から同じである。一方、この経路においては、ａ２とｂ２により位置決めされる格子点（ａ２，ｂ２）からその右のａ２とｂ３により位置決めされる格子点（ａ２，ｂ３）に進んでいる。楽曲の進行のずれが無ければ格子点（ａ３，ｂ３）へ進み、ｂ３のフレームの時間軸上の位置に対応すべきフレームはａ３のフレームとなるものであるが、格子点（ａ２，ｂ３）に進んでいることから、ｂ３のフレームはａ３ではなくａ２のフレームの時間軸上の位置と同じであると対応付けられ、楽曲の進行のずれが発生していることになる。すなわち、リファレンス楽音データのフレームｂ３までに進行する演奏の内容が、ライブ楽音データのフレームａ２までに進行していることになるから、この時点においては、リファレンス演奏よりもライブ演奏の方が早く進んでいることになる。このようにして、楽曲の進行のずれを検出することができる。そして、ライブ楽音データの全てのフレームに対して、リファレンス楽音データのフレームを対応付けて、楽曲の進行のずれを検出する。以上がＤＰマッチングの仕組みである。
【００３６】
次に、タイムアライメント部１０２が検出した楽曲の進行のずれに基づいてタイムコードを順次出力する機能について説明する。タイムアライメント部１０２は、上述したように、ライブ楽音データの各フレームに対してリファレンス楽音データのフレームを対応付けるから、入力されたライブ楽音データの時間軸上の位置をリファレンス楽音データの時間軸上の位置（以下、再生位置という）として認識することができる。また、この再生位置の時間変化によりテンポを認識することができる。タイムアライメント部１０２は、所定の間隔で、認識した再生位置とテンポに基づいてタイムコードを生成し、順次出力する。もし、タイムアライメント部１０２から順次出力されたタイムコードを参照してリファレンス楽音データを読み出して再生したとすれば、リファレンス演奏の時間軸が伸縮され、ライブ演奏と同等な楽曲の進行で再生することができる。
【００３７】
図２に戻って、説明を続ける。データ読出部１０３は、タイムアライメント部１０２から順次出力されるタイムコードと、歌詞データに付されたタイムコードとを対応させるようにして、楽曲データ選択部１０１がＲＡＭ１３にバッファした歌詞データを読み出し、データ処理部１０４に順次出力していく。そして、データ処理部（映像データ生成手段）１０４は、データ読出部１０３から順次出力された歌詞データに基づいて歌詞映像データ（第１の映像データ）を生成し、映像合成部（映像合成手段）１０６に出力する。ここで、楽曲の歌詞を示すテキストデータとそのテキストの表示タイミングを示すデータを有する歌詞データは、タイムアライメント部１０２から出力されたタイムコードを参照して読み出すことによりデータ読出部１０３から出力されるシーケンスデータであるから、歌詞映像データは、楽曲の歌詞の表示タイミングがライブ演奏の楽曲の進行にあわせて表示される映像のデータとして生成される。
【００３８】
遅延部（遅延手段）１０５は、ＣＰＵ１１によってライブデータバッファ領域１３ａから読み出されたライブ映像データとライブ楽音データに所定時間の遅延処理を行って出力する。ここで、所定時間は、上述したタイムアライメント部１０２がライブ楽音データを取得してから、データ処理部１０４が歌詞映像データを出力するまでの処理に必要な時間が設定されている。このようにすると、遅延部１０５から出力されたライブ楽音データ、ライブ映像データと、データ処理部１０４から出力された歌詞映像データは時間同期したものとなる。
【００３９】
映像合成部１０６は、遅延部１０５から出力されたライブ映像データに係るライブ映像に対して、データ処理部１０４から出力された歌詞映像データに係る歌詞の映像（以下、歌詞映像という）をスーパーインポーズした合成映像データを生成して表示部１５へ出力する。ここで、合成映像データは、遅延部１０５において所定時間の遅延処理を行ったライブ映像データに係るライブ映像に対して、時間同期した歌詞映像、すなわち楽曲の歌詞がライブ演奏の楽曲の進行にあわせて表示される映像をスーパーインポーズしたものであり、ライブ映像に楽曲の歌詞映像が合成されることによって、その歌詞映像がライブボーカル、ライブ演奏、ライブ映像に合った映像の映像データとして生成される。
【００４０】
このようにして、表示部１５には合成映像データが出力され、音声出力部１８にはライブ楽音データが出力されることにより、本実施形態に係るデータ再生装置を有する映像表示装置１は、もともとのライブ映像に対して時間同期、すなわち楽曲の進行に合わせた歌詞映像が合成された映像と楽曲とを再生することができる。
【００４１】
以上、本発明の実施形態について説明したが、本発明は以下のように、さまざまな態様で実施可能である。
【００４２】
＜変形例１＞
実施形態においては、入力される情報にライブ映像データが含まれていたが、入力されるデータには映像データが含まれなくてもよい。この場合は、図４に示すように、映像合成部１０６を用いずに、データ処理部１０４は、歌詞映像データをそのまま表示部１５へ出力するようにすればよい。このように、入力される情報には映像データを含む必要はなく、オーディオデータが含まれていればよいから、例えば、携帯オーディオから出力される音声データ、ラジオ放送など、様々な装置からのデータ入力に対応できる。この場合、通信部１７をそれぞれのデータ入力に対応した通信手段とすればよい。
【００４３】
＜変形例２＞
実施形態においては、リファレンス楽音データと対応する歌詞データは、楽曲の歌詞を示すテキストデータと当該テキストデータの各テキストの表示タイミングを示すデータとを有するシーケンスデータであったが、楽曲の歌詞をリファレンス楽音データと時間同期して再生できるようにしたタイムコードの付された映像データ（第１のデータ）であってもよい。この場合、以下のようにすればよい。データ読出部１０３は、実施形態に示したようにタイムコードを参照し、映像データである歌詞データを読み出して、データ処理部１０４に順次出力する。これにより、データ読出部１０３から順次出力された歌詞データは、読み出されるときに楽曲の進行に合わせるように時間軸が伸縮されてデータ処理部１０４に出力される。そして、データ処理部１０４は、この時間軸が伸縮された歌詞データを歌詞映像データ（第１の映像データ）として生成して出力する。このようにすれば、歌詞データが映像データであっても、本発明の効果を奏することができる。なお、映像データについては、歌詞データに限らず、楽曲の楽譜など、入力されたオーディオデータ（実施形態においてはライブ楽音データ）の楽曲の進行に合わせて表示させたい映像のデータなら、どのような映像データでもよい。
【００４４】
＜変形例３＞
実施形態においては、楽曲の進行に合わせて歌詞を表示させるようにしていたが、これに加えて、外部の他の装置を楽曲の進行に合わせて制御するようにしてもよい。この場合は、以下のような構成とすればよい。図５に示すように、例えば、ＡＵＸ（Ａｕｘｉｌｉａｒｙ）端子などの制御信号出力部１９を設け、楽曲データ記憶領域１４ａに記憶されているリファレンス楽曲データは、リファレンス楽音データ、歌詞データに加え、制御信号データ（第２のデータ）を有するようにする。ここで、制御信号データは、ＡＵＸ端子に接続される外部の装置を制御する信号とその制御のタイミングを示すデータを有するシーケンスデータであって、歌詞データと同様にリファレンス楽音データと時間同期して外部の装置を制御できるようにタイムコード（同期情報）が付されている。
【００４５】
そして、図６に示すように、実施形態における楽曲データ選択部１０１の動作に加えて、楽曲データ記憶領域１４ａに記憶されている制御信号データを読み出す。そして、制御信号データをデータ読出部１０３に読み出されるまでＲＡＭ１３にバッファしておく。データ読出部１０３は、歌詞データを読み出すときと同様に、タイムアライメント部１０２から順次出力されるタイムコードと、制御信号データに付されたタイムコードとを対応させるようにして、楽曲データ選択部１０１がＲＡＭ１３にバッファした制御信号データを読み出し、制御信号出力部１９に順次出力していく。このようにすると、データ再生装置を有する映像表示装置１は、制御信号出力部に接続される外部の装置が、楽曲の進行にあわせて出力される制御信号に基づいて制御されるため、楽曲の進行にあわせて外部の装置を動作させることができる。なお、外部の装置には、照明、音響機器、ロボットなど、制御信号によって制御できるものであれば、どのようなものにも適用できる。この場合は、制御信号データは、制御したい装置にあわせたデータとしておけばよい。さらに、複数の外部の装置を同時に制御したい場合には、複数の制御信号データを用意しておき、制御信号出力部１９に複数の装置を接続できるようにしておけばよい。この接続は、有線接続であってもよいし、無線接続であってもよく、信号が伝達できるものであればよい。
【００４６】
＜変形例４＞
実施形態においては、楽曲の進行に合わせて歌詞を表示させるようにしていたが、これに加えて、ライブ演奏に別の楽音を楽曲の進行に合わせて再生するようにしてもよい。この場合は、以下のような構成とすればよい。図７に示すように、楽曲データ記憶領域１４ａに記憶されているリファレンス楽曲データは、リファレンス楽音データ、歌詞データに加え、ＭＩＤＩデータ（第２のデータ）を有するようにする。ここで、ＭＩＤＩデータには、歌詞データと同様に、リファレンス楽音データと時間同期して再生できるように時刻情報（同期情報）が付されている。
【００４７】
そして、図８に示すように、楽曲データ選択部１０１は、実施形態における動作に加えて、楽曲データ記憶領域１４ａに記憶されているＭＩＤＩデータを読み出す。そして、ＭＩＤＩデータをデータ読出部１０３に読み出されるまでＲＡＭ１３にバッファしておく。データ読出部１０３は、歌詞データを読み出すときと同様に、タイムアライメント部１０２から順次で出力されるタイムコードと、ＭＩＤＩデータに付された時刻情報とを対応させるようにして、楽曲データ選択部１０１がＲＡＭ１３にバッファしたＭＩＤＩデータを読み出し、再生部（音源部）１０７に順次出力する。ここで、時刻情報がタイムコードである場合には、そのまま対応させればよいが、デュレーションなどタイムコード以外の相対時刻を表す情報である場合には、ＣＰＵ１１はリファレンス楽音データと時間同期して再生できるように設定されるテンポなどを参照してタイムコードを生成して対応させればよい。これにより、データ読出部１０３から順次出力されたＭＩＤＩデータは、読み出されるときに楽曲の進行に合わせるように読み出され再生部１０７に出力される。そして、再生部１０７は、このＭＩＤＩデータを再生してオーディオデータであるＭＩＤＩ楽音データを生成し、音声合成部１０８へ出力する。一方、遅延部１０５によって遅延処理されたライブ楽音データも音声合成部１０８へ出力される。そして、音声合成部１０８は、ライブ楽音データに係るライブ演奏とＭＩＤＩ楽音データに係るＭＩＤＩ演奏とをミキシングした音を合成楽音データとして生成し、音声出力部１８へ出力する。なお、ライブ楽音データとＭＩＤＩ楽音データとをミキシングせずに別々に音声出力部１８に出力するようにしてもよい。この場合は、それぞれのデータについて音声出力部１８においてミキシングしてもよいし、ミキシングせず異なる放音手段から放音するようにしてもよい。ここで、再生部１０７は、ＭＩＤＩデータを再生することができる音源部を有することによって、ＭＩＤＩ楽音データを生成することができる。なお、音源部によって生成されるオーディオデータの楽音の発音内容を示すシーケンスデータであれば、必ずしもＭＩＤＩデータでなくてもよい。
【００４８】
また、楽曲データ記憶領域１４ａに記憶されているリファレンス楽曲データのＭＩＤＩデータに代えて、リファレンス楽音データと時間同期して再生できるようにタイムコード（同期情報）の付されたオーディオデータである追加楽音データ（第２のデータ）としてもよい。この場合は、以下のように処理される。まず、楽曲データ選択部１０１は、楽曲データ記憶領域１４ａに記憶されている追加楽音データを読み出す。そして、追加楽音データをデータ読出部１０３に読み出されるまでＲＡＭ１３にバッファしておく。データ読出部１０３は、歌詞データを読み出すときと同様に、タイムアライメント部１０２から順次出力されるタイムコードと、追加楽音データに付されたタイムコードとを対応させるようにして、楽曲データ選択部１０１がＲＡＭ１３にバッファした追加楽音データを読み出し、再生部１０７に順次出力する。これにより、データ読出部１０３から順次出力された追加楽音データは、読み出されるときに楽曲の進行に合わせるように時間軸が伸縮されて再生部１０７に出力される。そして、再生部１０７は、この時間軸が伸縮された追加楽音データを新たなオーディオデータとして、音声合成部１０８へ出力する。その後はＭＩＤＩデータの場合と同様に処理すればよい。このようにすれば、映像だけでなく様々な音についても、楽曲の進行にあわせて出力することができる。
【００４９】
＜変形例５＞
実施形態においては、通信部１７は、有線、無線などによって、データを受信するチューナなどの通信手段であって、ライブ映像データ、ライブ楽音データ、楽曲情報データを受信していたが、図１に破線で示したように、データ入力部２０を設けて、これらのデータがデータ入力部２０から入力されるようにしてもよい。例えば、これらのデータが、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などの記録メディアに記録されたデータであれば、データ入力部は、ＤＶＤに記録されたデータを読み取れる光学ドライブであればよい。このようにしても、実施形態と同様な効果を得ることができる。
【００５０】
＜変形例６＞
実施形態においては、遅延部１０５を設け、ＣＰＵ１１によってライブデータバッファ領域１３ａから読み出されたライブ映像データとライブ楽音データに、タイムアライメント部１０２がライブ楽音データを取得してから、データ処理部１０４が歌詞映像データを出力するまでの処理に必要な時間（以下、遅延時間という）の遅延処理を行って出力していた。一方、図９に示すように、タイムアライメント部１０２からのタイムコードの出力は、タイムコード予測部１０９を介してデータ読出部１０３に出力されるようにしてもよい。この場合は、タイムコード予測部１０９は、タイムアライメント部１０２から順次出力されるタイムコードを参照して、遅延時間後にタイムアライメント部１０２から出力されるタイムコードを予測する。そして、タイムコード予測部１０９は、予測したタイムコードをデータ読出部１０３に順次出力すればよい。ここで、タイムコードの予測は、タイムアライメント部１０２から順次出力されたタイムコードのうち、過去の所定の数のタイムコードを参照し、これらのタイムコードの示す時間軸上の位置の変化量から、遅延時間後のタイムコードを推定すればよい。なお、タイムコードの予測は、遅延時間後にタイムアライメント部１０２から出力されるタイムコードを予測すればよいから、上記方法に限らず、所定のアルゴリズムに基づいて行なえばよい。このようにすれば、遅延部１０５を用いたライブ楽音データ、ライブ演奏データの遅延をさせずに、実施形態の効果を得ることができる。
【００５１】
＜変形例７＞
実施形態においては、タイムアライメント部１０２は、楽曲の進行のずれを検出する機能について、ＤＰマッチングを用いていたが、異なった手法によって楽曲の進行のずれを検出するようにしてもよい。例えば、ＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ：隠れマルコフモデル）を用いてもよいし、比較対象である各データから波形の特徴量（音程、音量など）を抽出して比較するようにしてもよい。すなわち、各データの比較をして、各データ間の類似する部分を対応させることができる手法であればどのような手法でもよい。このようにしても、実施形態と同様な効果を得ることができる。
【図面の簡単な説明】
【００５２】
【図１】実施形態に係る映像表示装置のハードウエアの構成を示すブロック図である。
【図２】実施形態に係る映像表示装置のソフトウエアの構成を示すブロック図である。
【図３】ＤＰマッチングを行う際のＤＰプレーンを示す説明図である。
【図４】変形例１に係る映像表示装置のソフトウエアの構成を示すブロック図である。
【図５】変形例３に係る映像表示装置のハードウエアの構成を示すブロック図である。
【図６】変形例３に係る映像表示装置のソフトウエアの構成を示すブロック図である。
【図７】変形例４に係る映像表示装置のハードウエアの構成を示すブロック図である。
【図８】変形例４に係る映像表示装置のソフトウエアの構成を示すブロック図である。
【図９】変形例６に係る映像表示装置のソフトウエアの構成を示すブロック図である。
【符号の説明】
【００５３】
１…映像表示装置、１０…バス、１１…ＣＰＵ、１２…ＲＯＭ、１３…ＲＡＭ、１３ａ…ライブデータバッファ領域、１４…記憶部、１４ａ…楽曲データ記憶領域、１５…表示部、１６…操作部、１７…通信部、１８…音声出力部、１９…制御信号出力部、２０…データ入力部、１０１…楽曲データ選択部、１０２…タイムアライメント部、１０３…データ読出部、１０４…データ処理部、１０５…遅延部、１０６…映像合成部、１０７…再生部、１０８…音声合成部、１０９…タイムコード予測部
【技術分野】
【０００１】
本発明は、入力されたデータと同期して、他のデータを再生する技術に関する。
【背景技術】
【０００２】
一般的なカラオケ装置においては、例えば、ＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔｓ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ：登録商標）形式の伴奏用データ、楽曲の歌詞テロップを表示するシーケンスデータおよび映像データなどから構成された楽曲データをそれぞれ同期させて再生することにより、利用者はその楽曲のカラオケを楽しむことができる。特許文献１には、伴奏データと映像データを別個にサーバから受信してそれらを同期させて再生させる技術が開示されている。また、特許文献２においては、ライブ演奏のような臨場感のあるカラオケ演奏を提供する技術が開示されている。
【０００３】
また、歌詞を表示させる技術は、カラオケ装置だけで用いられるわけではなく、テレビ放送などにおける歌番組においても用いられている。また、テレビ放送においては、生放送の歌番組などで歌手が歌唱に合わせて歌詞テロップを表示する場合、オペレータが楽曲の進行にあわせて、所定のタイミングで歌詞を表示させるようにしている。
【特許文献１】特開２００３−１５６７５号公報
【特許文献２】特開２０００−３４７６７６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１に開示された技術を用いる場合には、伴奏データはＭＩＤＩ形式のデータの再生であるため、ＭＩＤＩ形式のデータを再生できる音源を用いた再生のため、音質が劣る場合や、テンポが単調な演奏となってしまう場合があった。また、特許文献２に開示された技術の場合には、ライブ演奏のような臨場感が得られるが、楽曲の進行が単調ではないため、歌詞テロップを表示させるためなどのシーケンスデータについては、楽曲の進行に合わせて事前に作成しておく必要があった。また、テレビ放送などにおいて上述したようなオペレータの作業は、本番においてミスは許されず、事前に楽曲の進行と歌詞の表示を行うタイミングとを合わせる練習をしておく必要があり、非常に負担が大きかった。
【０００５】
本発明は、上述の事情に鑑みてなされたものであり、ライブ演奏のように楽曲のテンポの変動があっても、楽曲の流れにあわせたデータの再生を簡単に行うことができるデータ再生装置、データ再生方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述の課題を解決するため、本発明は、第１のオーディオデータを記憶するとともに、データ各部についての時刻を規定する同期情報を有した第１のデータを記憶する記憶手段と、外部から供給される第２のオーディオデータと前記第１のオーディオデータとを所定時間長のフレーム単位で対応付けて、対応する部分についての時刻を示す時刻情報を生成するタイムアライメント手段と、前記時刻情報と前記同期情報の対応関係に基づいて、前記記憶手段から前記第１のデータを読み出すデータ読出手段と、前記データ読出手段によって読み出された第１のデータに基づいて第１の映像データを生成する映像データ生成手段と、前記外部から供給される第２のオーディオデータを所定量遅延させる遅延手段とを具備することを特徴とするデータ再生装置を提供する。
【０００７】
また、本発明は、第１のオーディオデータを記憶するとともに、データ各部についての時刻を規定する同期情報を有した第１のデータおよび第２のデータを記憶する記憶手段と、外部から供給される第２のオーディオデータと前記第１のオーディオデータとを所定時間長のフレーム単位で対応付けて、対応する部分についての時刻を示す時刻情報を生成するタイムアライメント手段と、前記時刻情報と前記同期情報の対応関係に基づいて、前記記憶手段から前記第１のデータと前記第２のデータとを読み出すデータ読出手段と、前記データ読出手段によって読み出された第１のデータに基づいて第１の映像データを生成する映像データ生成手段と、前記外部から供給される第２のオーディオデータを所定量遅延させる遅延手段とを具備することを特徴とするデータ再生装置を提供する。
【０００８】
また、別の好ましい態様において、前記第２のデータは、外部に接続した装置を制御するためのシーケンスデータである制御信号データであってもよい。
【０００９】
また、別の好ましい態様において、前記第２のデータは、オーディオデータであってもよい。
【００１０】
また、別の好ましい態様において、前記データ読出手段によって読み出された第２のデータに基づいてオーディオデータを生成する音源部をさらに具備し、前記第２のデータは、前記音源部によって生成されるオーディオデータに係る楽音の発音内容を示すシーケンスデータであってもよい。
【００１１】
また、別の好ましい態様において、前記記憶手段に記憶されている前記第１のデータは、映像の表示内容を指示するシーケンスデータであってもよい。
【００１２】
また、別の好ましい態様において、前記記憶手段に記憶されている前記第１のデータは、映像自体の内容を示すデータであってもよい。
【００１３】
また、別の好ましい態様において、複数の映像データが入力され、前記複数の映像データのうち一の映像データに係る映像に対して、他の映像データに係る映像をスーパーインポーズする映像合成手段をさらに具備し、前記遅延手段は、外部から供給され、前記第２のオーディオデータと時間同期がとられた第２の映像データを前記所定量遅延させ、 前記映像合成手段は、前記遅延手段によって遅延された第２の映像データに係る映像に対して、前記映像データ生成手段によって生成された第１の映像データに係る映像をスーパーインポーズしてもよい。
【００１４】
また、別の好ましい態様において、前記遅延手段における遅延量は、タイムアライメント手段に第２のオーディオデータが供給されてから前記映像データ生成手段によって第１の映像データを生成するまでの時間として設定されていてもよい。
【００１５】
また、本発明は、外部から供給される第２のオーディオデータと記憶手段に記憶された第１のオーディオデータとを所定時間長のフレーム単位で対応付けて、対応する部分についての時刻を示す時刻情報を生成するタイムアライメント過程と、第１のオーディオデータを記憶するとともに、データ各部についての時刻を規定する同期情報を有した第１のデータを記憶する記憶手段から、前記時刻情報と前記同期情報の対応関係に基づいて、前記第１のデータを読み出すデータ読出過程と、前記データ読出過程において読み出された第１のデータに基づいて第１の映像データを生成する映像データ生成過程と、前記外部から供給される第２のオーディオデータを所定量遅延させる遅延過程とを備えることを特徴とするデータ再生方法を提供する。
【００１６】
また、本発明は、外部から供給される第２のオーディオデータと記憶手段に記憶された第１のオーディオデータとを所定時間長のフレーム単位で対応付けて、対応する部分についての時刻を示す時刻情報を生成するタイムアライメント過程と、第１のオーディオデータを記憶するとともに、データ各部についての時刻を規定する同期情報を有した第１のデータおよび第２のデータを記憶する記憶手段から、前記時刻情報と前記同期情報の対応関係に基づいて、前記第１のデータと前記第２のデータとを読み出すデータ読出過程と、前記データ読出過程において読み出された第１のデータに基づいて第１の映像データを生成する映像データ生成過程と、前記外部から供給される第２のオーディオデータを所定量遅延させる遅延過程とを備えることを特徴とするデータ再生方法を提供する。
【００１７】
また、本発明は、記憶手段を有するコンピュータに、前記記憶手段に第１のオーディオデータを記憶させるとともに、データ各部についての時刻を規定する同期情報を有した第１のデータを記憶させる記憶機能と、外部から供給される第２のオーディオデータと前記第１のオーディオデータとを所定時間長のフレーム単位で対応付けて、対応する部分についての時刻を示す時刻情報を生成するタイムアライメント機能と、前記時刻情報と前記同期情報の対応関係に基づいて、前記記憶手段から前記第１のデータを読み出すデータ読出機能と、前記データ読出機能によって読み出された第１のデータに基づいて第１の映像データを生成する映像データ生成機能と、前記外部から供給される第２のオーディオデータを所定量遅延させる遅延機能とを実現させるためのコンピュータ読み取り可能なプログラムを提供する。
【００１８】
また、本発明は、記憶手段を有するコンピュータに、前記記憶手段に第１のオーディオデータと、第１のオーディオデータを記憶させるとともに、データ各部についての時刻を規定する同期情報を有した第１のデータおよび第２のデータを記憶させる記憶機能と、外部から供給される第２のオーディオデータと前記第１のオーディオデータとを所定時間長のフレーム単位で対応付けて、対応する部分についての時刻を示す時刻情報を生成するタイムアライメント機能と、前記時刻情報と前記同期情報の対応関係に基づいて、前記記憶手段から前記第１のデータと前記第２のデータとを読み出すデータ読出機能と、前記データ読出機能によって読み出された第１のデータに基づいて第１の映像データを生成する映像データ生成機能と、前記外部から供給される第２のオーディオデータを所定量遅延させる遅延機能とを実現させるためのコンピュータ読み取り可能なプログラムを提供する。
【発明の効果】
【００１９】
本発明によれば、ライブ演奏のように楽曲のテンポの変動があっても、楽曲の流れにあわせたデータの再生を簡単に行うことができるデータ再生装置、データ再生方法およびプログラムを提供することができる。
【発明を実施するための最良の形態】
【００２０】
以下、本発明の一実施形態について説明する。
【００２１】
＜実施形態＞
図１は、本発明の本実施形態に係るデータ再生装置を有する映像表示装置１のハードウエアの構成を示すブロック図である。
【００２２】
ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２に記憶されているプログラムを読み出して、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３にロードして実行することにより、映像表示装置１の各部について、バス１０を介して制御する。また、ＲＡＭ１３は、ＣＰＵ１１が記憶された各データの加工などを行う際のワークエリアとして機能する。
【００２３】
さらにＲＡＭ１３は、内部に有するライブデータバッファ領域１３ａに、通信部１７から受信するストリーミング再生するためのライブ映像データ（第２の映像データ）、ライブ楽音データ（第２のオーディオデータ）を一時的にバッファする機能を有するとともに、当該各データに対応する楽曲に関する情報のデータ（以下、楽曲情報データという）についても、通信部１７において受信して記憶する。なお、楽曲に関する情報は、楽曲名や認識番号など、当該楽曲を特定できる情報であれば何でもよい。そして、ＣＰＵ１１は、ＲＡＭ１３にバッファされたライブ映像データ、ライブ楽音データを読み出し、後述するような処理を行ってストリーミング再生を行う。
【００２４】
ここで、ライブ映像データは、楽曲の生演奏を撮影した映像（以下、ライブ映像という）の映像データである。また、ライブ楽音データは、楽曲の生演奏を録音した音声（以下、ライブ演奏）のオーディオデータであって、ライブ演奏には、歌手の歌声（以下、ライブボーカルという）や伴奏などが含まれている。
【００２５】
記憶部（記憶手段）１４は、例えば、ハードディスクなどの大容量記憶手段であって、楽曲データ記憶領域１４ａに、各楽曲のリファレンスデータとなるリファレンス楽曲データを記憶する。リファレンス楽曲データは、リファレンス楽音データ（第１のオーディオデータ）と歌詞データ（第１のデータ）を有している。リファレンス楽音データは、楽曲の見本となる歌声や伴奏を含む演奏（以下、リファレンス演奏という）を録音したオーディオデータであって、その再生時刻を示すタイムコードが付されている。歌詞データは、楽曲の歌詞を示すテキストデータと当該テキストデータの各テキストの表示タイミングを示すデータとを有するシーケンスデータであって、シーケンスデータの読み出し時刻を示すタイムコード（同期情報）が付されている。そして、リファレンス楽音データと歌詞データは、同じタイムコードによって読み出すことにより時間同期して再生することができ、楽曲の見本となる歌声にあった歌詞が表示されるようになっている。
【００２６】
表示部１５は、映像を画面に表示する液晶ディスプレイなどの表示デバイスであって、入力された映像データに基づいて表示を行う。また、映像表示装置１を操作するためのメニュー画面などの各種画面を表示する。操作部１６は、例えばキーボードやマウスなどであり、映像表示装置１の利用者が操作部１６を操作すると、その操作内容を表すデータがＣＰＵ１１へ出力される。
【００２７】
通信部１７は、有線、無線などによって、データを受信するチューナなどの通信手段であって、上述したように、本実施形態においては、ライブ映像データ、ライブ楽音データ、楽曲情報データを受信して、ＲＡＭ１３のライブデータバッファ領域１３ａにバッファする機能を有している。
【００２８】
音声出力部１８は、スピーカなどの放音手段を有し、入力されたオーディオデータに基づいて放音する。
【００２９】
次に、ＣＰＵ１１が、ＲＯＭ１２に記憶されたプログラムを実行することによって実現する機能について説明する。図２は、ＣＰＵ１１が実現する機能を示したソフトウエアの構成を示すブロック図である。
【００３０】
楽曲データ選択部１０１は、ライブデータバッファ領域１３ａから楽曲情報データを読み取り、通信部１７が受信している各データの楽曲を認識する。そして、楽曲データ記憶領域１４ａに記憶されているリファレンス楽曲データの中から、認識した楽曲に対応するリファレンス楽曲データを選択し、そのリファレンス楽曲データのリファレンス楽音データおよび歌詞データを読み出す。そして、楽曲データ選択部１０１は、読み出したリファレンス楽音データをタイムアライメント部（タイムアライメント手段）１０２へ出力するとともに、読み出した歌詞データについては、後述するデータ読出部（データ読出手段）１０３に読み出されるまでＲＡＭ１３にバッファしておく。
【００３１】
タイムアライメント部１０２は、ＣＰＵ１１によってライブデータバッファ領域１３ａから読み出されたライブ楽音データを取得し、当該ライブ楽音データと、楽曲データ選択部１０１から出力されたリファレンス楽音データとを比較して、ライブ演奏とリファレンス演奏との楽曲の進行のずれを検出し、当該楽曲の進行のずれに基づいてタイムコード（時刻情報）を出力する機能を有している。
【００３２】
ここで、楽曲の進行のずれは、それぞれのデータを所定時間長のフレーム単位に分離し、その各々に対してＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）を施して、それぞれのデータのスペクトルを算出し、これらの各フレーム間で類似したスペクトルを対応付けることにより検出する。また、楽曲の進行のずれを検出する機能について、本実施形態ではＤＰ（Ｄｙｎａｍｉｃ Ｐｒｏｇｒａｍｍｉｎｇ：動的計画法）マッチングを用いる。具体的には以下のような処理となる。
【００３３】
タイムアライメント部１０２は、図３に示すような座標平面（以下、ＤＰプレーンという）をＲＡＭ１３に形成する。このＤＰプレーンの縦軸は、ライブ楽音データをそれぞれ所定時間長のフレーム単位に分離してその各々に対してＦＦＴを施して得られたスペクトルについて、各フレームのスペクトルの絶対値の対数に逆フーリエ変換をかけて得られるパラメータ（ケプストラム）をａ１、ａ２、ａ３・・・ａｎとして、時間軸に従って並べたものである。また、横軸のｂ１、ｂ２、ｂ３・・・ｂｎは、リファレンス楽音データについて、上記同様に時間軸に従って並べたものである。ここで、縦軸のａ１、ａ２、ａ３・・・ａｎの間隔と横軸のｂ１、ｂ２、ｂ３・・・ｂｎの間隔は、いずれもフレームの時間長と対応している。このＤＰプレーンにおける各格子点の各々には、ａ１、ａ２、ａ３・・・ａｎの各パラメータと、ｂ１、ｂ２、ｂ３・・・ｂｎの各パラメータのユークリッド距離を夫々示す値であるＤＰマッチングスコアが対応付けられている。例えば、ａ１とｂ１とにより位置決めされる格子点（ａ１，ｂ１）には、ライブ楽音データの一連のフレームのうち最初のフレームから得たパラメータとリファレンス楽音データの一連のフレームのうち最初のフレームから得たパラメータのユークリッド距離を示す値が対応付けられることになる。
【００３４】
そして、タイムアライメント部１０２は、このような構造を成すＤＰプレーンを形成した後、ａ１とｂ１とにより位置決めされる始端にあたる格子点（ａ１，ｂ１）からａｎとｂｎとにより位置決めされる終端にあたる格子点（ａｎ，ｂｎ）に至る全経路を探索し、探索した経路ごとに、その始端から終端までの間に辿る各格子点のＤＰマッチングスコアを累算して累算値を求める。なお、始端と終端は各データの最初のフレームと最後のフレームということではなく、各データから所定のフレーム数を単位として行われ、この単位における最初のフレームから最後のフレームまで行われて、これが順次処理され各データの最後のフレームまで処理されていく。
【００３５】
そして、ＤＰマッチングスコアの累算値が最小となる経路をＤＰプレーン上から特定し、その経路上の各格子点によって、ライブ楽音データの各フレームにリファレンス楽音データの各フレームが対応付けられる。この対応関係により楽曲の進行のずれを検出することができる。例えば、図３に示すＤＰプレーン上に記された経路においては、ａ１とｂ１により位置決めされる格子点（ａ１，ｂ１）からその右上のａ２とｂ２により位置決めされる格子点（ａ２，ｂ２）に進んでいることが分かる。この場合、ａ２のフレームとｂ２のフレームとの時間軸上の位置は当初から同じである。一方、この経路においては、ａ２とｂ２により位置決めされる格子点（ａ２，ｂ２）からその右のａ２とｂ３により位置決めされる格子点（ａ２，ｂ３）に進んでいる。楽曲の進行のずれが無ければ格子点（ａ３，ｂ３）へ進み、ｂ３のフレームの時間軸上の位置に対応すべきフレームはａ３のフレームとなるものであるが、格子点（ａ２，ｂ３）に進んでいることから、ｂ３のフレームはａ３ではなくａ２のフレームの時間軸上の位置と同じであると対応付けられ、楽曲の進行のずれが発生していることになる。すなわち、リファレンス楽音データのフレームｂ３までに進行する演奏の内容が、ライブ楽音データのフレームａ２までに進行していることになるから、この時点においては、リファレンス演奏よりもライブ演奏の方が早く進んでいることになる。このようにして、楽曲の進行のずれを検出することができる。そして、ライブ楽音データの全てのフレームに対して、リファレンス楽音データのフレームを対応付けて、楽曲の進行のずれを検出する。以上がＤＰマッチングの仕組みである。
【００３６】
次に、タイムアライメント部１０２が検出した楽曲の進行のずれに基づいてタイムコードを順次出力する機能について説明する。タイムアライメント部１０２は、上述したように、ライブ楽音データの各フレームに対してリファレンス楽音データのフレームを対応付けるから、入力されたライブ楽音データの時間軸上の位置をリファレンス楽音データの時間軸上の位置（以下、再生位置という）として認識することができる。また、この再生位置の時間変化によりテンポを認識することができる。タイムアライメント部１０２は、所定の間隔で、認識した再生位置とテンポに基づいてタイムコードを生成し、順次出力する。もし、タイムアライメント部１０２から順次出力されたタイムコードを参照してリファレンス楽音データを読み出して再生したとすれば、リファレンス演奏の時間軸が伸縮され、ライブ演奏と同等な楽曲の進行で再生することができる。
【００３７】
図２に戻って、説明を続ける。データ読出部１０３は、タイムアライメント部１０２から順次出力されるタイムコードと、歌詞データに付されたタイムコードとを対応させるようにして、楽曲データ選択部１０１がＲＡＭ１３にバッファした歌詞データを読み出し、データ処理部１０４に順次出力していく。そして、データ処理部（映像データ生成手段）１０４は、データ読出部１０３から順次出力された歌詞データに基づいて歌詞映像データ（第１の映像データ）を生成し、映像合成部（映像合成手段）１０６に出力する。ここで、楽曲の歌詞を示すテキストデータとそのテキストの表示タイミングを示すデータを有する歌詞データは、タイムアライメント部１０２から出力されたタイムコードを参照して読み出すことによりデータ読出部１０３から出力されるシーケンスデータであるから、歌詞映像データは、楽曲の歌詞の表示タイミングがライブ演奏の楽曲の進行にあわせて表示される映像のデータとして生成される。
【００３８】
遅延部（遅延手段）１０５は、ＣＰＵ１１によってライブデータバッファ領域１３ａから読み出されたライブ映像データとライブ楽音データに所定時間の遅延処理を行って出力する。ここで、所定時間は、上述したタイムアライメント部１０２がライブ楽音データを取得してから、データ処理部１０４が歌詞映像データを出力するまでの処理に必要な時間が設定されている。このようにすると、遅延部１０５から出力されたライブ楽音データ、ライブ映像データと、データ処理部１０４から出力された歌詞映像データは時間同期したものとなる。
【００３９】
映像合成部１０６は、遅延部１０５から出力されたライブ映像データに係るライブ映像に対して、データ処理部１０４から出力された歌詞映像データに係る歌詞の映像（以下、歌詞映像という）をスーパーインポーズした合成映像データを生成して表示部１５へ出力する。ここで、合成映像データは、遅延部１０５において所定時間の遅延処理を行ったライブ映像データに係るライブ映像に対して、時間同期した歌詞映像、すなわち楽曲の歌詞がライブ演奏の楽曲の進行にあわせて表示される映像をスーパーインポーズしたものであり、ライブ映像に楽曲の歌詞映像が合成されることによって、その歌詞映像がライブボーカル、ライブ演奏、ライブ映像に合った映像の映像データとして生成される。
【００４０】
このようにして、表示部１５には合成映像データが出力され、音声出力部１８にはライブ楽音データが出力されることにより、本実施形態に係るデータ再生装置を有する映像表示装置１は、もともとのライブ映像に対して時間同期、すなわち楽曲の進行に合わせた歌詞映像が合成された映像と楽曲とを再生することができる。
【００４１】
以上、本発明の実施形態について説明したが、本発明は以下のように、さまざまな態様で実施可能である。
【００４２】
＜変形例１＞
実施形態においては、入力される情報にライブ映像データが含まれていたが、入力されるデータには映像データが含まれなくてもよい。この場合は、図４に示すように、映像合成部１０６を用いずに、データ処理部１０４は、歌詞映像データをそのまま表示部１５へ出力するようにすればよい。このように、入力される情報には映像データを含む必要はなく、オーディオデータが含まれていればよいから、例えば、携帯オーディオから出力される音声データ、ラジオ放送など、様々な装置からのデータ入力に対応できる。この場合、通信部１７をそれぞれのデータ入力に対応した通信手段とすればよい。
【００４３】
＜変形例２＞
実施形態においては、リファレンス楽音データと対応する歌詞データは、楽曲の歌詞を示すテキストデータと当該テキストデータの各テキストの表示タイミングを示すデータとを有するシーケンスデータであったが、楽曲の歌詞をリファレンス楽音データと時間同期して再生できるようにしたタイムコードの付された映像データ（第１のデータ）であってもよい。この場合、以下のようにすればよい。データ読出部１０３は、実施形態に示したようにタイムコードを参照し、映像データである歌詞データを読み出して、データ処理部１０４に順次出力する。これにより、データ読出部１０３から順次出力された歌詞データは、読み出されるときに楽曲の進行に合わせるように時間軸が伸縮されてデータ処理部１０４に出力される。そして、データ処理部１０４は、この時間軸が伸縮された歌詞データを歌詞映像データ（第１の映像データ）として生成して出力する。このようにすれば、歌詞データが映像データであっても、本発明の効果を奏することができる。なお、映像データについては、歌詞データに限らず、楽曲の楽譜など、入力されたオーディオデータ（実施形態においてはライブ楽音データ）の楽曲の進行に合わせて表示させたい映像のデータなら、どのような映像データでもよい。
【００４４】
＜変形例３＞
実施形態においては、楽曲の進行に合わせて歌詞を表示させるようにしていたが、これに加えて、外部の他の装置を楽曲の進行に合わせて制御するようにしてもよい。この場合は、以下のような構成とすればよい。図５に示すように、例えば、ＡＵＸ（Ａｕｘｉｌｉａｒｙ）端子などの制御信号出力部１９を設け、楽曲データ記憶領域１４ａに記憶されているリファレンス楽曲データは、リファレンス楽音データ、歌詞データに加え、制御信号データ（第２のデータ）を有するようにする。ここで、制御信号データは、ＡＵＸ端子に接続される外部の装置を制御する信号とその制御のタイミングを示すデータを有するシーケンスデータであって、歌詞データと同様にリファレンス楽音データと時間同期して外部の装置を制御できるようにタイムコード（同期情報）が付されている。
【００４５】
そして、図６に示すように、実施形態における楽曲データ選択部１０１の動作に加えて、楽曲データ記憶領域１４ａに記憶されている制御信号データを読み出す。そして、制御信号データをデータ読出部１０３に読み出されるまでＲＡＭ１３にバッファしておく。データ読出部１０３は、歌詞データを読み出すときと同様に、タイムアライメント部１０２から順次出力されるタイムコードと、制御信号データに付されたタイムコードとを対応させるようにして、楽曲データ選択部１０１がＲＡＭ１３にバッファした制御信号データを読み出し、制御信号出力部１９に順次出力していく。このようにすると、データ再生装置を有する映像表示装置１は、制御信号出力部に接続される外部の装置が、楽曲の進行にあわせて出力される制御信号に基づいて制御されるため、楽曲の進行にあわせて外部の装置を動作させることができる。なお、外部の装置には、照明、音響機器、ロボットなど、制御信号によって制御できるものであれば、どのようなものにも適用できる。この場合は、制御信号データは、制御したい装置にあわせたデータとしておけばよい。さらに、複数の外部の装置を同時に制御したい場合には、複数の制御信号データを用意しておき、制御信号出力部１９に複数の装置を接続できるようにしておけばよい。この接続は、有線接続であってもよいし、無線接続であってもよく、信号が伝達できるものであればよい。
【００４６】
＜変形例４＞
実施形態においては、楽曲の進行に合わせて歌詞を表示させるようにしていたが、これに加えて、ライブ演奏に別の楽音を楽曲の進行に合わせて再生するようにしてもよい。この場合は、以下のような構成とすればよい。図７に示すように、楽曲データ記憶領域１４ａに記憶されているリファレンス楽曲データは、リファレンス楽音データ、歌詞データに加え、ＭＩＤＩデータ（第２のデータ）を有するようにする。ここで、ＭＩＤＩデータには、歌詞データと同様に、リファレンス楽音データと時間同期して再生できるように時刻情報（同期情報）が付されている。
【００４７】
そして、図８に示すように、楽曲データ選択部１０１は、実施形態における動作に加えて、楽曲データ記憶領域１４ａに記憶されているＭＩＤＩデータを読み出す。そして、ＭＩＤＩデータをデータ読出部１０３に読み出されるまでＲＡＭ１３にバッファしておく。データ読出部１０３は、歌詞データを読み出すときと同様に、タイムアライメント部１０２から順次で出力されるタイムコードと、ＭＩＤＩデータに付された時刻情報とを対応させるようにして、楽曲データ選択部１０１がＲＡＭ１３にバッファしたＭＩＤＩデータを読み出し、再生部（音源部）１０７に順次出力する。ここで、時刻情報がタイムコードである場合には、そのまま対応させればよいが、デュレーションなどタイムコード以外の相対時刻を表す情報である場合には、ＣＰＵ１１はリファレンス楽音データと時間同期して再生できるように設定されるテンポなどを参照してタイムコードを生成して対応させればよい。これにより、データ読出部１０３から順次出力されたＭＩＤＩデータは、読み出されるときに楽曲の進行に合わせるように読み出され再生部１０７に出力される。そして、再生部１０７は、このＭＩＤＩデータを再生してオーディオデータであるＭＩＤＩ楽音データを生成し、音声合成部１０８へ出力する。一方、遅延部１０５によって遅延処理されたライブ楽音データも音声合成部１０８へ出力される。そして、音声合成部１０８は、ライブ楽音データに係るライブ演奏とＭＩＤＩ楽音データに係るＭＩＤＩ演奏とをミキシングした音を合成楽音データとして生成し、音声出力部１８へ出力する。なお、ライブ楽音データとＭＩＤＩ楽音データとをミキシングせずに別々に音声出力部１８に出力するようにしてもよい。この場合は、それぞれのデータについて音声出力部１８においてミキシングしてもよいし、ミキシングせず異なる放音手段から放音するようにしてもよい。ここで、再生部１０７は、ＭＩＤＩデータを再生することができる音源部を有することによって、ＭＩＤＩ楽音データを生成することができる。なお、音源部によって生成されるオーディオデータの楽音の発音内容を示すシーケンスデータであれば、必ずしもＭＩＤＩデータでなくてもよい。
【００４８】
また、楽曲データ記憶領域１４ａに記憶されているリファレンス楽曲データのＭＩＤＩデータに代えて、リファレンス楽音データと時間同期して再生できるようにタイムコード（同期情報）の付されたオーディオデータである追加楽音データ（第２のデータ）としてもよい。この場合は、以下のように処理される。まず、楽曲データ選択部１０１は、楽曲データ記憶領域１４ａに記憶されている追加楽音データを読み出す。そして、追加楽音データをデータ読出部１０３に読み出されるまでＲＡＭ１３にバッファしておく。データ読出部１０３は、歌詞データを読み出すときと同様に、タイムアライメント部１０２から順次出力されるタイムコードと、追加楽音データに付されたタイムコードとを対応させるようにして、楽曲データ選択部１０１がＲＡＭ１３にバッファした追加楽音データを読み出し、再生部１０７に順次出力する。これにより、データ読出部１０３から順次出力された追加楽音データは、読み出されるときに楽曲の進行に合わせるように時間軸が伸縮されて再生部１０７に出力される。そして、再生部１０７は、この時間軸が伸縮された追加楽音データを新たなオーディオデータとして、音声合成部１０８へ出力する。その後はＭＩＤＩデータの場合と同様に処理すればよい。このようにすれば、映像だけでなく様々な音についても、楽曲の進行にあわせて出力することができる。
【００４９】
＜変形例５＞
実施形態においては、通信部１７は、有線、無線などによって、データを受信するチューナなどの通信手段であって、ライブ映像データ、ライブ楽音データ、楽曲情報データを受信していたが、図１に破線で示したように、データ入力部２０を設けて、これらのデータがデータ入力部２０から入力されるようにしてもよい。例えば、これらのデータが、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などの記録メディアに記録されたデータであれば、データ入力部は、ＤＶＤに記録されたデータを読み取れる光学ドライブであればよい。このようにしても、実施形態と同様な効果を得ることができる。
【００５０】
＜変形例６＞
実施形態においては、遅延部１０５を設け、ＣＰＵ１１によってライブデータバッファ領域１３ａから読み出されたライブ映像データとライブ楽音データに、タイムアライメント部１０２がライブ楽音データを取得してから、データ処理部１０４が歌詞映像データを出力するまでの処理に必要な時間（以下、遅延時間という）の遅延処理を行って出力していた。一方、図９に示すように、タイムアライメント部１０２からのタイムコードの出力は、タイムコード予測部１０９を介してデータ読出部１０３に出力されるようにしてもよい。この場合は、タイムコード予測部１０９は、タイムアライメント部１０２から順次出力されるタイムコードを参照して、遅延時間後にタイムアライメント部１０２から出力されるタイムコードを予測する。そして、タイムコード予測部１０９は、予測したタイムコードをデータ読出部１０３に順次出力すればよい。ここで、タイムコードの予測は、タイムアライメント部１０２から順次出力されたタイムコードのうち、過去の所定の数のタイムコードを参照し、これらのタイムコードの示す時間軸上の位置の変化量から、遅延時間後のタイムコードを推定すればよい。なお、タイムコードの予測は、遅延時間後にタイムアライメント部１０２から出力されるタイムコードを予測すればよいから、上記方法に限らず、所定のアルゴリズムに基づいて行なえばよい。このようにすれば、遅延部１０５を用いたライブ楽音データ、ライブ演奏データの遅延をさせずに、実施形態の効果を得ることができる。
【００５１】
＜変形例７＞
実施形態においては、タイムアライメント部１０２は、楽曲の進行のずれを検出する機能について、ＤＰマッチングを用いていたが、異なった手法によって楽曲の進行のずれを検出するようにしてもよい。例えば、ＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ：隠れマルコフモデル）を用いてもよいし、比較対象である各データから波形の特徴量（音程、音量など）を抽出して比較するようにしてもよい。すなわち、各データの比較をして、各データ間の類似する部分を対応させることができる手法であればどのような手法でもよい。このようにしても、実施形態と同様な効果を得ることができる。
【図面の簡単な説明】
【００５２】
【図１】実施形態に係る映像表示装置のハードウエアの構成を示すブロック図である。
【図２】実施形態に係る映像表示装置のソフトウエアの構成を示すブロック図である。
【図３】ＤＰマッチングを行う際のＤＰプレーンを示す説明図である。
【図４】変形例１に係る映像表示装置のソフトウエアの構成を示すブロック図である。
【図５】変形例３に係る映像表示装置のハードウエアの構成を示すブロック図である。
【図６】変形例３に係る映像表示装置のソフトウエアの構成を示すブロック図である。
【図７】変形例４に係る映像表示装置のハードウエアの構成を示すブロック図である。
【図８】変形例４に係る映像表示装置のソフトウエアの構成を示すブロック図である。
【図９】変形例６に係る映像表示装置のソフトウエアの構成を示すブロック図である。
【符号の説明】
【００５３】
１…映像表示装置、１０…バス、１１…ＣＰＵ、１２…ＲＯＭ、１３…ＲＡＭ、１３ａ…ライブデータバッファ領域、１４…記憶部、１４ａ…楽曲データ記憶領域、１５…表示部、１６…操作部、１７…通信部、１８…音声出力部、１９…制御信号出力部、２０…データ入力部、１０１…楽曲データ選択部、１０２…タイムアライメント部、１０３…データ読出部、１０４…データ処理部、１０５…遅延部、１０６…映像合成部、１０７…再生部、１０８…音声合成部、１０９…タイムコード予測部
【特許請求の範囲】
【請求項１】
第１のオーディオデータを記憶するとともに、データ各部についての時刻を規定する同期情報を有した第１のデータを記憶する記憶手段と、
外部から供給される第２のオーディオデータと前記第１のオーディオデータとを所定時間長のフレーム単位で対応付けて、対応する部分についての時刻を示す時刻情報を生成するタイムアライメント手段と、
前記時刻情報と前記同期情報の対応関係に基づいて、前記記憶手段から前記第１のデータを読み出すデータ読出手段と、
前記データ読出手段によって読み出された第１のデータに基づいて第１の映像データを生成する映像データ生成手段と、
前記外部から供給される第２のオーディオデータを所定量遅延させる遅延手段と
を具備することを特徴とするデータ再生装置。
【請求項２】
第１のオーディオデータを記憶するとともに、データ各部についての時刻を規定する同期情報を有した第１のデータおよび第２のデータを記憶する記憶手段と、
外部から供給される第２のオーディオデータと前記第１のオーディオデータとを所定時間長のフレーム単位で対応付けて、対応する部分についての時刻を示す時刻情報を生成するタイムアライメント手段と、
前記時刻情報と前記同期情報の対応関係に基づいて、前記記憶手段から前記第１のデータと前記第２のデータとを読み出すデータ読出手段と、
前記データ読出手段によって読み出された第１のデータに基づいて第１の映像データを生成する映像データ生成手段と、
前記外部から供給される第２のオーディオデータを所定量遅延させる遅延手段と
を具備することを特徴とするデータ再生装置。
【請求項３】
前記第２のデータは、外部に接続した装置を制御するためのシーケンスデータである制御信号データであることを特徴とする請求項２に記載のデータ再生装置。
【請求項４】
前記第２のデータは、オーディオデータであることを特徴とする請求項２に記載のデータ再生装置。
【請求項５】
前記データ読出手段によって読み出された第２のデータに基づいてオーディオデータを生成する音源部をさらに具備し、
前記第２のデータは、前記音源部によって生成されるオーディオデータに係る楽音の発音内容を示すシーケンスデータであることを特徴とする請求項２に記載のデータ再生装置。
【請求項６】
前記記憶手段に記憶されている前記第１のデータは、映像の表示内容を指示するシーケンスデータであること
を特徴とする請求項１乃至請求項５のいずれかに記載のデータ再生装置。
【請求項７】
前記記憶手段に記憶されている前記第１のデータは、映像自体の内容を示すデータであること
を特徴とする請求項１乃至請求項５のいずれかに記載のデータ再生装置。
【請求項８】
複数の映像データが入力され、前記複数の映像データのうち一の映像データに係る映像に対して、他の映像データに係る映像をスーパーインポーズする映像合成手段をさらに具備し、
前記遅延手段は、外部から供給され、前記第２のオーディオデータと時間同期がとられた第２の映像データを前記所定量遅延させ、
前記映像合成手段は、前記遅延手段によって遅延された第２の映像データに係る映像に対して、前記映像データ生成手段によって生成された第１の映像データに係る映像をスーパーインポーズすること
を特徴とする請求項１乃至請求項７のいずれかに記載のデータ再生装置。
【請求項９】
前記遅延手段における遅延量は、タイムアライメント手段に第２のオーディオデータが供給されてから前記映像データ生成手段によって第１の映像データが生成されるまでの時間として設定されていること
を特徴とする請求項１乃至請求項８のいずれかに記載のデータ再生装置。
【請求項１０】
外部から供給される第２のオーディオデータと記憶手段に記憶された第１のオーディオデータとを所定時間長のフレーム単位で対応付けて、対応する部分についての時刻を示す時刻情報を生成するタイムアライメント過程と、
第１のオーディオデータを記憶するとともに、データ各部についての時刻を規定する同期情報を有した第１のデータを記憶する記憶手段から、前記時刻情報と前記同期情報の対応関係に基づいて、前記第１のデータを読み出すデータ読出過程と、
前記データ読出過程において読み出された第１のデータに基づいて第１の映像データを生成する映像データ生成過程と、
前記外部から供給される第２のオーディオデータを所定量遅延させる遅延過程と
を備えることを特徴とするデータ再生方法。
【請求項１１】
外部から供給される第２のオーディオデータと記憶手段に記憶された第１のオーディオデータとを所定時間長のフレーム単位で対応付けて、対応する部分についての時刻を示す時刻情報を生成するタイムアライメント過程と、
第１のオーディオデータを記憶するとともに、データ各部についての時刻を規定する同期情報を有した第１のデータおよび第２のデータを記憶する記憶手段から、前記時刻情報と前記同期情報の対応関係に基づいて、前記第１のデータと前記第２のデータとを読み出すデータ読出過程と、
前記データ読出過程において読み出された第１のデータに基づいて第１の映像データを生成する映像データ生成過程と、
前記外部から供給される第２のオーディオデータを所定量遅延させる遅延過程と、
前記映像データ生成過程において生成された第１の映像データと前記遅延過程において遅延された第２のオーディオデータとを出力する第１の出力過程と
を備えることを特徴とするデータ再生方法。
【請求項１２】
記憶手段を有するコンピュータに、
前記記憶手段に第１のオーディオデータを記憶させるとともに、データ各部についての時刻を規定する同期情報を有した第１のデータを記憶させる記憶機能と、
外部から供給される第２のオーディオデータと前記第１のオーディオデータとを所定時間長のフレーム単位で対応付けて、対応する部分についての時刻を示す時刻情報を生成するタイムアライメント機能と、
前記時刻情報と前記同期情報の対応関係に基づいて、前記記憶手段から前記第１のデータを読み出すデータ読出機能と、
前記データ読出機能によって読み出された第１のデータに基づいて第１の映像データを生成する映像データ生成機能と、
前記外部から供給される第２のオーディオデータを所定量遅延させる遅延機能と
を実現させるためのコンピュータ読み取り可能なプログラム。
【請求項１３】
記憶手段を有するコンピュータに、
前記記憶手段に第１のオーディオデータと、第１のオーディオデータを記憶させるとともに、データ各部についての時刻を規定する同期情報を有した第１のデータおよび第２のデータを記憶させる記憶機能と、
外部から供給される第２のオーディオデータと前記第１のオーディオデータとを所定時間長のフレーム単位で対応付けて、対応する部分についての時刻を示す時刻情報を生成するタイムアライメント機能と、
前記時刻情報と前記同期情報の対応関係に基づいて、前記記憶手段から前記第１のデータと前記第２のデータとを読み出すデータ読出機能と、
前記データ読出機能によって読み出された第１のデータに基づいて第１の映像データを生成する映像データ生成機能と、
前記外部から供給される第２のオーディオデータを所定量遅延させる遅延機能と
を実現させるためのコンピュータ読み取り可能なプログラム。
【請求項１】
第１のオーディオデータを記憶するとともに、データ各部についての時刻を規定する同期情報を有した第１のデータを記憶する記憶手段と、
外部から供給される第２のオーディオデータと前記第１のオーディオデータとを所定時間長のフレーム単位で対応付けて、対応する部分についての時刻を示す時刻情報を生成するタイムアライメント手段と、
前記時刻情報と前記同期情報の対応関係に基づいて、前記記憶手段から前記第１のデータを読み出すデータ読出手段と、
前記データ読出手段によって読み出された第１のデータに基づいて第１の映像データを生成する映像データ生成手段と、
前記外部から供給される第２のオーディオデータを所定量遅延させる遅延手段と
を具備することを特徴とするデータ再生装置。
【請求項２】
第１のオーディオデータを記憶するとともに、データ各部についての時刻を規定する同期情報を有した第１のデータおよび第２のデータを記憶する記憶手段と、
外部から供給される第２のオーディオデータと前記第１のオーディオデータとを所定時間長のフレーム単位で対応付けて、対応する部分についての時刻を示す時刻情報を生成するタイムアライメント手段と、
前記時刻情報と前記同期情報の対応関係に基づいて、前記記憶手段から前記第１のデータと前記第２のデータとを読み出すデータ読出手段と、
前記データ読出手段によって読み出された第１のデータに基づいて第１の映像データを生成する映像データ生成手段と、
前記外部から供給される第２のオーディオデータを所定量遅延させる遅延手段と
を具備することを特徴とするデータ再生装置。
【請求項３】
前記第２のデータは、外部に接続した装置を制御するためのシーケンスデータである制御信号データであることを特徴とする請求項２に記載のデータ再生装置。
【請求項４】
前記第２のデータは、オーディオデータであることを特徴とする請求項２に記載のデータ再生装置。
【請求項５】
前記データ読出手段によって読み出された第２のデータに基づいてオーディオデータを生成する音源部をさらに具備し、
前記第２のデータは、前記音源部によって生成されるオーディオデータに係る楽音の発音内容を示すシーケンスデータであることを特徴とする請求項２に記載のデータ再生装置。
【請求項６】
前記記憶手段に記憶されている前記第１のデータは、映像の表示内容を指示するシーケンスデータであること
を特徴とする請求項１乃至請求項５のいずれかに記載のデータ再生装置。
【請求項７】
前記記憶手段に記憶されている前記第１のデータは、映像自体の内容を示すデータであること
を特徴とする請求項１乃至請求項５のいずれかに記載のデータ再生装置。
【請求項８】
複数の映像データが入力され、前記複数の映像データのうち一の映像データに係る映像に対して、他の映像データに係る映像をスーパーインポーズする映像合成手段をさらに具備し、
前記遅延手段は、外部から供給され、前記第２のオーディオデータと時間同期がとられた第２の映像データを前記所定量遅延させ、
前記映像合成手段は、前記遅延手段によって遅延された第２の映像データに係る映像に対して、前記映像データ生成手段によって生成された第１の映像データに係る映像をスーパーインポーズすること
を特徴とする請求項１乃至請求項７のいずれかに記載のデータ再生装置。
【請求項９】
前記遅延手段における遅延量は、タイムアライメント手段に第２のオーディオデータが供給されてから前記映像データ生成手段によって第１の映像データが生成されるまでの時間として設定されていること
を特徴とする請求項１乃至請求項８のいずれかに記載のデータ再生装置。
【請求項１０】
外部から供給される第２のオーディオデータと記憶手段に記憶された第１のオーディオデータとを所定時間長のフレーム単位で対応付けて、対応する部分についての時刻を示す時刻情報を生成するタイムアライメント過程と、
第１のオーディオデータを記憶するとともに、データ各部についての時刻を規定する同期情報を有した第１のデータを記憶する記憶手段から、前記時刻情報と前記同期情報の対応関係に基づいて、前記第１のデータを読み出すデータ読出過程と、
前記データ読出過程において読み出された第１のデータに基づいて第１の映像データを生成する映像データ生成過程と、
前記外部から供給される第２のオーディオデータを所定量遅延させる遅延過程と
を備えることを特徴とするデータ再生方法。
【請求項１１】
外部から供給される第２のオーディオデータと記憶手段に記憶された第１のオーディオデータとを所定時間長のフレーム単位で対応付けて、対応する部分についての時刻を示す時刻情報を生成するタイムアライメント過程と、
第１のオーディオデータを記憶するとともに、データ各部についての時刻を規定する同期情報を有した第１のデータおよび第２のデータを記憶する記憶手段から、前記時刻情報と前記同期情報の対応関係に基づいて、前記第１のデータと前記第２のデータとを読み出すデータ読出過程と、
前記データ読出過程において読み出された第１のデータに基づいて第１の映像データを生成する映像データ生成過程と、
前記外部から供給される第２のオーディオデータを所定量遅延させる遅延過程と、
前記映像データ生成過程において生成された第１の映像データと前記遅延過程において遅延された第２のオーディオデータとを出力する第１の出力過程と
を備えることを特徴とするデータ再生方法。
【請求項１２】
記憶手段を有するコンピュータに、
前記記憶手段に第１のオーディオデータを記憶させるとともに、データ各部についての時刻を規定する同期情報を有した第１のデータを記憶させる記憶機能と、
外部から供給される第２のオーディオデータと前記第１のオーディオデータとを所定時間長のフレーム単位で対応付けて、対応する部分についての時刻を示す時刻情報を生成するタイムアライメント機能と、
前記時刻情報と前記同期情報の対応関係に基づいて、前記記憶手段から前記第１のデータを読み出すデータ読出機能と、
前記データ読出機能によって読み出された第１のデータに基づいて第１の映像データを生成する映像データ生成機能と、
前記外部から供給される第２のオーディオデータを所定量遅延させる遅延機能と
を実現させるためのコンピュータ読み取り可能なプログラム。
【請求項１３】
記憶手段を有するコンピュータに、
前記記憶手段に第１のオーディオデータと、第１のオーディオデータを記憶させるとともに、データ各部についての時刻を規定する同期情報を有した第１のデータおよび第２のデータを記憶させる記憶機能と、
外部から供給される第２のオーディオデータと前記第１のオーディオデータとを所定時間長のフレーム単位で対応付けて、対応する部分についての時刻を示す時刻情報を生成するタイムアライメント機能と、
前記時刻情報と前記同期情報の対応関係に基づいて、前記記憶手段から前記第１のデータと前記第２のデータとを読み出すデータ読出機能と、
前記データ読出機能によって読み出された第１のデータに基づいて第１の映像データを生成する映像データ生成機能と、
前記外部から供給される第２のオーディオデータを所定量遅延させる遅延機能と
を実現させるためのコンピュータ読み取り可能なプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００８−１９７２６８（Ｐ２００８−１９７２６８Ａ）
【公開日】平成２０年８月２８日（２００８．８．２８）
【国際特許分類】
【出願番号】特願２００７−３１０６２（Ｐ２００７−３１０６２）
【出願日】平成１９年２月９日（２００７．２．９）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
【公開日】平成２０年８月２８日（２００８．８．２８）
【国際特許分類】
【出願日】平成１９年２月９日（２００７．２．９）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
[ Back to top ]