演奏クロック生成装置、データ再生装置、演奏クロック生成方法、データ再生方法およびプログラム
【課題】どのような楽曲においても、安定して楽曲の進行にあわせた演奏クロックを生成することができる演奏クロック生成装置、データ再生装置、演奏クロック生成方法、データ再生方法およびプログラムを提供すること。
【解決手段】本発明のデータ再生装置は、もともとのライブ映像に対して時間同期、すなわち楽曲の進行に合わせた歌詞映像が合成された映像と楽曲とを再生することができる。また、歌詞データを読み出す際に用いる演奏クロックは、ライブ楽音データを複数のアルゴリズムで解析した結果から生成された演奏位置情報と信頼性情報とに基づいて生成されているから、データ再生装置は、多様な種類の楽曲のライブ演奏に対応し、検出精度の高い演奏位置に基づいて演奏クロックを生成することができる。
【解決手段】本発明のデータ再生装置は、もともとのライブ映像に対して時間同期、すなわち楽曲の進行に合わせた歌詞映像が合成された映像と楽曲とを再生することができる。また、歌詞データを読み出す際に用いる演奏クロックは、ライブ楽音データを複数のアルゴリズムで解析した結果から生成された演奏位置情報と信頼性情報とに基づいて生成されているから、データ再生装置は、多様な種類の楽曲のライブ演奏に対応し、検出精度の高い演奏位置に基づいて演奏クロックを生成することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力されたデータと同期して、他のデータを再生させるためのクロック生成技術に関する。
【背景技術】
【０００２】
一般的なカラオケ装置においては、例えば、ＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）形式の伴奏用データ、楽曲の歌詞テロップを表示するシーケンスデータおよび映像データなどから構成された楽曲データをそれぞれ同期させて再生することにより、利用者はその楽曲のカラオケを楽しむことができる。
【０００３】
また、伴奏データの代わりにライブ演奏などを録音した楽音データを用いる場合、その楽曲のテンポが必ずしも一定でないため、その楽曲のビートを抽出して算出したＢＰＭ（Ｂｅａｔ Ｐｅｒ Ｍｉｎｕｔｅ）値に基づいてクロックを生成し、当該クロックに基づいてシーケンスデータを読み出すことによって、歌詞テロップを楽曲の進行に合わせて表示可能なカラオケ装置を提供する技術が開示されている（例えば、特許文献１）。
【特許文献１】特開２００７−３３８５１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１に開示された技術を用いる場合には、楽曲のビートを抽出することによって、テンポの変化を認識していることから、楽曲のビートが不明確、不安定な場合など、楽曲のビートの特徴によっては、正常に機能しないことがあった。
【０００５】
本発明は、上述の事情に鑑みてなされたものであり、どのような楽曲においても、安定して楽曲の進行にあわせた演奏クロックを生成することができる演奏クロック生成装置、データ再生装置、演奏クロック生成方法、データ再生方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述の課題を解決するため、本発明は、楽曲の内容に対応し時刻の進行に応じて変化する楽曲関連データを取得するデータ取得手段と、所定のアルゴリズムを用いて前記データ取得手段が取得した楽曲関連データを解析した結果に基づいて、前記楽曲の演奏位置を示す演奏位置情報を生成する演奏位置検出手段を複数有し、各演奏位置検出手段のアルゴリズムが各々異なる演奏位置検出手段群と、前記演奏位置検出手段の各々から出力される演奏位置情報の正確性の程度を示す信頼性情報を取得する信頼性情報取得手段と、前記演奏位置検出手段の各々から出力された演奏位置情報と、前記信頼性情報取得手段が取得した信頼性情報とに基づいて、前記楽曲の演奏位置に対応した時刻を示す演奏クロックを生成するクロック生成手段とを具備することを特徴とする演奏クロック生成装置を提供する。
【０００７】
また、別の好ましい態様において、複数の前記演奏位置検出手段の少なくとも１の演奏位置検出手段は、参照用データを記憶する参照用データ記憶手段を有し、当該演奏位置検出手段は、前記参照用データをさらに用いて前記データ取得手段が取得した楽曲関連データを解析した結果に基づいて演奏位置情報を生成してもよい。
【０００８】
また、別の好ましい態様において、前記楽曲の内容に関する情報を示す補助情報を取得する補助情報取得手段とを具備し、前記演奏位置検出手段は、前記補助情報取得手段が取得した補助情報をさらに用いて前記データ取得手段が取得した楽曲関連データを解析した結果に基づいて演奏位置情報を生成してもよい。
【０００９】
また、別の好ましい態様において、前記クロック生成手段は、前記演奏クロックを生成するとともに、当該演奏クロックに対応する演奏位置を示す補正演奏位置情報を生成し、前記演奏位置検出手段は、前記補正演奏位置情報をさらに用いて前記データ取得手段が取得した楽曲関連データを解析した結果に基づいて演奏位置情報を生成してもよい。
【００１０】
また、別の好ましい態様において、前記演奏位置検出手段は、演奏位置情報を生成するとともに、信頼性情報を生成し、前記信頼性情報取得手段は、前記演奏位置検出手段が生成した信頼性情報を取得してもよい。
【００１１】
また、別の好ましい態様において、複数の前記演奏位置検出手段の少なくとも１の演奏位置検出手段は、演奏位置情報と信頼性情報との組を複数生成してもよい。
【００１２】
また、別の好ましい態様において、信頼性情報を外部から受信する信頼性情報受信手段をさらに具備し、前記信頼性情報取得手段は、前記信頼性情報受信手段が受信した信頼性情報を取得してもよい。
【００１３】
また、別の好ましい態様において、前記データ取得手段が取得した楽曲関連データの特徴量を抽出し、当該特徴量に基づいて信頼性情報を生成する特徴量抽出手段をさらに具備し、前記信頼性情報取得手段は、前記特徴量抽出手段によって生成された信頼性情報を取得してもよい。
【００１４】
また、別の好ましい態様において、前記クロック生成手段は、前記演奏クロックを生成するとともに、前記演奏クロックの正確性の程度を示す総合信頼性情報を生成してもよい。
【００１５】
また、本発明は、上記記載の演奏クロック生成装置と、データ各部についての時刻を規定する時刻情報を有した同期データを記憶する記憶手段と、前記クロック生成手段によって生成された演奏クロックと前記時刻情報の対応関係に基づいて、前記記憶手段から前記同期データを読み出すデータ読出手段と、前記データ取得手段が取得した楽曲関連データを所定量遅延させる遅延手段とを具備することを特徴とするデータ再生装置を提供する。
【００１６】
また、本発明は、複数の演奏クロック生成装置と、複数の前記演奏クロック生成装置のクロック生成手段によって生成された演奏クロックと総合信頼性情報とに基づいて、１の演奏クロックを生成するクロック調整手段と、データ各部についての時刻を規定する時刻情報を有した同期データを記憶する記憶手段と、前記クロック生成手段によって生成された演奏クロックと前記時刻情報の対応関係に基づいて、前記記憶手段から前記同期データを読み出すデータ読出手段と、外部から供給される複数トラックを有する楽曲関連データを所定量遅延させる遅延手段とを具備し、前記演奏クロック生成装置のデータ取得手段は、前記外部から供給される楽曲関連データの１のトラックを取得し、各々の前記演奏クロック生成装置のデータ取得手段は、互いに異なるトラックを取得することを特徴とするデータ再生装置を提供する。
【００１７】
また、本発明は、楽曲の内容に対応し時刻の進行に応じて変化する楽曲関連データを取得するデータ取得過程と、所定のアルゴリズムを用いて前記データ取得過程において取得した楽曲関連データを解析した結果に基づいて、前記楽曲の演奏位置を示す演奏位置情報を生成する演奏位置検出過程を複数有し、各演奏位置検出過程のアルゴリズムが各々異なる演奏位置検出過程群と、前記演奏位置検出過程の各々において出力される演奏位置情報の正確性の程度を示す信頼性情報を取得する信頼性情報取得過程と、前記演奏位置検出過程の各々において出力された演奏位置情報と、前記信頼性情報取得過程において取得した信頼性情報とに基づいて、前記楽曲の演奏位置に対応した時刻を示す演奏クロックを生成するクロック生成過程とを備えることを特徴とする演奏クロック生成方法を提供する。
【００１８】
また、本発明は、楽曲の内容に対応し時刻の進行に応じて変化する楽曲関連データを取得するデータ取得過程と、所定のアルゴリズムを用いて前記データ取得過程において取得した楽曲関連データを解析した結果に基づいて、前記楽曲の演奏位置を示す演奏位置情報を生成する演奏位置検出過程を複数有し、各演奏位置検出過程のアルゴリズムが各々異なる演奏位置検出過程群と、前記演奏位置検出過程の各々において出力される演奏位置情報の正確性の程度を示す信頼性情報を取得する信頼性情報取得過程と、前記演奏位置検出過程の各々において出力された演奏位置情報と、前記信頼性情報取得過程において取得した信頼性情報とに基づいて、前記楽曲の演奏位置に対応した時刻を示す演奏クロックを生成するクロック生成過程とデータ各部についての時刻を規定する時刻情報を有した同期データを記憶する記憶手段から、前記クロック生成過程によって生成された演奏クロックと前記時刻情報の対応関係に基づいて、前記同期データを読み出すデータ読出過程と、前記データ取得過程において取得した楽曲関連データを所定量遅延させる遅延過程とを備えることを特徴とするデータ再生方法を提供する。
【００１９】
また、本発明は、コンピュータに、楽曲の内容に対応し時刻の進行に応じて変化する楽曲関連データを取得するデータ取得機能と、所定のアルゴリズムを用いて前記データ取得機能において取得した楽曲関連データを解析した結果に基づいて、前記楽曲の演奏位置を示す演奏位置情報を生成する演奏位置検出機能を複数有し、各演奏位置検出機能のアルゴリズムが各々異なる演奏位置検出機能群と、前記演奏位置検出機能の各々において出力される演奏位置情報の正確性の程度を示す信頼性情報を取得する信頼性情報取得機能と、前記演奏位置検出機能の各々において出力された演奏位置情報と、前記信頼性情報取得機能において取得した信頼性情報とに基づいて、前記楽曲の演奏位置に対応した時刻を示す演奏クロックを生成するクロック生成機能とを実現させるためのプログラムを提供する。
【００２０】
また、本発明は、コンピュータに、楽曲の内容に対応し時刻の進行に応じて変化する楽曲関連データを取得するデータ取得機能と、所定のアルゴリズムを用いて前記データ取得機能において取得した楽曲関連データを解析した結果に基づいて、前記楽曲の演奏位置を示す演奏位置情報を生成する演奏位置検出機能を複数有し、各演奏位置検出機能のアルゴリズムが各々異なる演奏位置検出機能群と、前記演奏位置検出機能の各々において出力される演奏位置情報の正確性の程度を示す信頼性情報を取得する信頼性情報取得機能と、前記演奏位置検出機能の各々において出力された演奏位置情報と、前記信頼性情報取得機能において取得した信頼性情報とに基づいて、前記楽曲の演奏位置に対応した時刻を示す演奏クロックを生成するクロック生成機能と、データ各部についての時刻を規定する時刻情報を有した同期データを記憶する記憶手段から、前記クロック生成機能によって生成された演奏クロックと前記時刻情報の対応関係に基づいて、前記同期データを読み出すデータ読出機能と、前記データ取得機能において取得した楽曲関連データを所定量遅延させる遅延機能とを実現させるためのプログラムを提供する。
【発明の効果】
【００２１】
本発明によれば、どのような楽曲においても、安定して楽曲の進行にあわせた演奏クロックを生成することができる演奏クロック生成装置、データ再生装置、演奏クロック生成方法、データ再生方法およびプログラムを提供することができる。
【発明を実施するための最良の形態】
【００２２】
以下、本発明の一実施形態について説明する。
【００２３】
＜実施形態＞
図１は、本発明の本実施形態に係るデータ再生装置１のハードウエアの構成を示すブロック図である。
【００２４】
ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２に記憶されているプログラムを読み出して、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３にロードして実行することにより、データ再生装置１の各部について、バス１０を介して制御する。また、ＲＡＭ１３は、ＣＰＵ１１が記憶された各データの加工などを行う際のワークエリアとして機能する。
【００２５】
さらにＲＡＭ１３は、内部に有するライブデータバッファ領域１３ａに、通信部１７から受信するストリーミング再生するためのライブ映像データ（楽曲関連データ）、ライブ楽音データ（楽曲関連データ）を一時的にバッファする機能を有するとともに、当該各データに対応する楽曲に関する情報（以下、楽曲情報という）についても、通信部１７において受信して記憶する。なお、楽曲に関する情報は、楽曲名や認識番号など、当該楽曲を特定できる情報であれば何でもよい。そして、ＣＰＵ１１は、ＲＡＭ１３にバッファされたライブ映像データ、ライブ楽音データを読み出し、後述するような処理を行ってストリーミング再生を行う。
【００２６】
ここで、ライブ映像データは、楽曲の生演奏を撮影した映像（以下、ライブ映像という）の映像データである。また、ライブ楽音データは、楽曲の生演奏を録音した音声（以下、ライブ演奏）のオーディオデータであって、ライブ演奏には、歌手の歌声（以下、ライブボーカルという）や伴奏などが含まれている。
【００２７】
記憶部１４は、例えば、ハードディスクなどの大容量記憶手段であって、楽曲データ記憶領域１４ａに、各楽曲のリファレンスデータとなるリファレンス楽曲データを記憶する。リファレンス楽曲データは、リファレンス楽音データとコード進行データとを有する参照用データと、歌詞データ（同期データ）とを有している。リファレンス楽音データは、楽曲の見本となる歌声や伴奏を含む演奏（以下、リファレンス演奏という）を録音したオーディオデータであって、その再生時刻を示すタイムコードが付されている。コード進行データは、楽曲の見本となる伴奏に対応する和音コードを示す情報とその和音コードが発音されるべき再生時刻を示すタイムコードが付されている。歌詞データは、楽曲の歌詞を示すテキストデータと当該テキストデータの各テキストの表示タイミングを示すデータとを有するシーケンスデータであって、シーケンスデータの読み出し時刻を示すタイムコード（時刻情報）が付されている。そして、リファレンス楽音データと歌詞データとは、同じ時刻を示すタイムコードによって読み出すことにより時間同期して再生することができ、楽曲の見本となる歌声にあった歌詞が表示されるようになっている。
【００２８】
表示部１５は、映像を画面に表示する液晶ディスプレイなどの表示デバイスであって、入力された映像データに基づいて表示を行う。また、データ再生装置１を操作するためのメニュー画面などの各種画面を表示する。操作部１６は、例えばキーボードやマウスなどであり、データ再生装置１の利用者が操作部１６を操作すると、その操作内容を表すデータがＣＰＵ１１へ出力される。
【００２９】
通信部１７は、有線、無線などによって、データを受信するチューナなどの通信手段であって、上述したように、本実施形態においては、ライブ映像データ、ライブ楽音データ、楽曲情報を受信して、ＲＡＭ１３のライブデータバッファ領域１３ａにバッファする機能を有している。
【００３０】
音声出力部１８は、スピーカなどの放音手段を有し、入力されたオーディオデータに基づいて放音する。
【００３１】
次に、ＣＰＵ１１が、ＲＯＭ１２に記憶されたプログラムを実行することによって実現するデータ再生の機能について説明する。図２は、ＣＰＵ１１が実現する機能を示したソフトウエアの構成を示すブロック図である。
【００３２】
楽曲データ選択部１０１は、ライブデータバッファ領域１３ａから楽曲情報を読み取り、通信部１７が受信している各データの楽曲を認識する。そして、楽曲データ記憶領域１４ａに記憶されているリファレンス楽曲データの中から、認識した楽曲に対応するリファレンス楽曲データを選択し、そのリファレンス楽曲データの参照用データおよび歌詞データを読み出す。そして、楽曲データ選択部１０１は、読み出した参照用データを演奏クロック生成部１０２へ出力するとともに、読み出した歌詞データについては、後述するデータ読出部１０３に読み出されるまでＲＡＭ１３にバッファしておく。
【００３３】
演奏クロック生成部１０２は、ＣＰＵ１１によってライブデータバッファ領域１３ａから読み出されたライブ楽音データを取得し、複数のアルゴリズムを用いて、ライブ楽音データを解析し、取得したときのライブ楽音データに係るライブ演奏が楽曲のどの部分の演奏に対応（以下、演奏位置という）しているかを検出し、当該演奏位置に基づいて楽曲の演奏位置に対応した時刻を示す演奏クロックを後述するデータ読出部１０３に出力する機能を有している。以下、演奏クロック生成部１０２について、図３を用いて説明する。図３は、演奏クロック生成部１０２における構成を示したブロック図である。
【００３４】
演奏クロック生成部１０２は、ライブ楽音データを所定のアルゴリズムを用いて解析し、演奏位置を検出して当該演奏位置を示す演奏位置情報を出力するとともに、検出した演奏位置の正確性の程度を示す信頼性指標である信頼性情報を出力する演奏位置検出手段を複数具備する演奏位置検出手段群（本実施形態においては、ビート検出部１０２１、コード進行検出部１０２２、タイムアライメント部１０２３）を有する。また、ビート検出部１０２１、コード進行検出部１０２２、タイムアライメント部１０２３の各々から出力された演奏位置情報と信頼性情報とに基づいて演奏クロックを生成して出力するクロック生成部１０２４を有する。
【００３５】
ビート検出部１０２１は、ライブ楽音データに係るライブ演奏の音量レベルを検出し、その音量レベルの変化（例えば、急激に音量レベルが大きくなる部分）に基づいてビートを抽出し、ライブ演奏のＢＰＭ値を計算する。そして、ＢＰＭ値とライブ演奏が開始されてから経過した時間とに基づいて、楽曲の演奏位置を検出して演奏位置情報を生成して出力する。一方、信頼性情報については、生成した演奏位置情報の正確性の程度、すなわち検出した演奏位置の正確性の程度を示す信頼性指標として生成され、具体的には、ＢＰＭ値を計算するときの精度、ビートの抽出の精度（例えば、音量レベルの変化から検出可能なアタック検出レベルなど）、ＢＰＭ値の所定時間内の変動量や安定性などに基づいて生成され出力される。
【００３６】
コード進行検出部１０２２は、ライブ楽音データに係るライブ演奏の周波数分布などからピッチを検出し、当該ピッチに基づいて和音コードを認識する。そして、認識した和音コードの変化（コード進行）と、楽曲データ選択部１０１から出力された参照用データのコード進行データが示すコード進行とを比較することにより、楽曲の演奏位置を検出して演奏位置情報を生成して出力する。一方、信頼性情報については、生成した演奏位置情報の正確性の程度、すなわち検出した演奏位置の正確性の程度を示す信頼性指標として生成され、具体的には、ピッチ検出の精度、和音コードの認識の精度などに基づいて生成され出力される。
【００３７】
タイムアライメント部１０２３は、ライブ楽音データと、楽曲データ選択部１０１から出力された参照用データのリファレンス楽音データとを比較して、ライブ演奏とリファレンス演奏との楽曲の進行のずれを検出し、当該楽曲の進行のずれに基づいて演奏位置を検出する。
【００３８】
ここで、楽曲の進行のずれは、それぞれのデータを所定時間長のフレーム単位に分離し、その各々に対してＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）を施して、それぞれのデータのスペクトルを算出し、これらの各フレーム間で類似したスペクトルを対応付けることにより検出する。また、楽曲の進行のずれを検出する機能について、本実施形態ではＤＰ（Ｄｙｎａｍｉｃ Ｐｒｏｇｒａｍｍｉｎｇ：動的計画法）マッチングを用いる。具体的には以下のような処理となる。
【００３９】
タイムアライメント部１０２３は、図４に示すような座標平面（以下、ＤＰプレーンという）をＲＡＭ１３に形成する。このＤＰプレーンの縦軸は、ライブ楽音データをそれぞれ所定時間長のフレーム単位に分離してその各々に対してＦＦＴを施して得られたスペクトルについて、各フレームのスペクトルの絶対値の対数に逆フーリエ変換をかけて得られるパラメータ（ケプストラム）をａ１、ａ２、ａ３・・・ａｎとして、時間軸に従って並べたものである。また、横軸のｂ１、ｂ２、ｂ３・・・ｂｎは、リファレンス楽音データについて、上記同様に時間軸に従って並べたものである。ここで、縦軸のａ１、ａ２、ａ３・・・ａｎの間隔と横軸のｂ１、ｂ２、ｂ３・・・ｂｎの間隔は、いずれもフレームの時間長と対応している。このＤＰプレーンにおける各格子点の各々には、ａ１、ａ２、ａ３・・・ａｎの各パラメータと、ｂ１、ｂ２、ｂ３・・・ｂｎの各パラメータのユークリッド距離を夫々示す値であるＤＰマッチングスコアが対応付けられている。例えば、ａ１とｂ１とにより位置決めされる格子点（ａ１，ｂ１）には、ライブ楽音データの一連のフレームのうち最初のフレームから得たパラメータとリファレンス楽音データの一連のフレームのうち最初のフレームから得たパラメータのユークリッド距離を示す値が対応付けられることになる。
【００４０】
そして、タイムアライメント部１０２３は、このような構造を成すＤＰプレーンを形成した後、ａ１とｂ１とにより位置決めされる始端にあたる格子点（ａ１，ｂ１）からａｎとｂｎとにより位置決めされる終端にあたる格子点（ａｎ，ｂｎ）に至る全経路を探索し、探索した経路ごとに、その始端から終端までの間に辿る各格子点のＤＰマッチングスコアを累算して累算値を求める。なお、始端と終端は各データの最初のフレームと最後のフレームということではなく、各データから所定のフレーム数を単位として行われ、この単位における最初のフレームから最後のフレームまで行われて、これが順次処理され各データの最後のフレームまで処理されていく。
【００４１】
そして、ＤＰマッチングスコアの累算値が最小となる経路をＤＰプレーン上から特定し、その経路上の各格子点によって、ライブ楽音データの各フレームにリファレンス楽音データの各フレームが対応付けられる。この対応関係により楽曲の進行のずれを検出することができる。例えば、図４に示すＤＰプレーン上に記された経路においては、ａ１とｂ１により位置決めされる格子点（ａ１，ｂ１）からその右上のａ２とｂ２により位置決めされる格子点（ａ２，ｂ２）に進んでいることが分かる。この場合、ａ２のフレームとｂ２のフレームとの時間軸上の位置は当初から同じである。一方、この経路においては、ａ２とｂ２により位置決めされる格子点（ａ２，ｂ２）からその右のａ２とｂ３により位置決めされる格子点（ａ２，ｂ３）に進んでいる。楽曲の進行のずれが無ければ格子点（ａ３，ｂ３）へ進み、ｂ３のフレームの時間軸上の位置に対応すべきフレームはａ３のフレームとなるものであるが、格子点（ａ２，ｂ３）に進んでいることから、ｂ３のフレームはａ３ではなくａ２のフレームの時間軸上の位置と同じであると対応付けられ、楽曲の進行のずれが発生していることになる。すなわち、リファレンス楽音データのフレームｂ３までに進行する演奏の内容が、ライブ楽音データのフレームａ２までに進行していることになるから、この時点においては、リファレンス演奏よりもライブ演奏の方が早く進んでいることになる。このようにして、楽曲の進行のずれを検出することができる。そして、ライブ楽音データの全てのフレームに対して、リファレンス楽音データのフレームを対応付けて、楽曲の進行のずれを検出する。以上がＤＰマッチングの仕組みである。このようにしてタイムアライメント部１０２３は、演奏位置を検出して演奏位置情報を生成して出力する。
【００４２】
一方、信頼性情報については、生成した演奏位置情報の正確性の程度、すなわち検出した演奏位置の正確性の程度を示す信頼性指標として生成され出力される。具体的には、上述したように、ライブ楽音データとリファレンス楽音データのＤＰマッチングにおいて、ＤＰマッチングスコアの累算値が最小となるような経路をＤＰプレーン上から特定するが、この際の最小となるＤＰマッチングスコアの累積値に基づいて信頼性情報を生成する。なお、信頼性情報については、このような方法における生成に限られず、生成した演奏位置情報の正確性の程度を示していれば、どのような方法で生成してもよい。
【００４３】
図３に戻って説明を続ける。クロック生成部１０２４は、ビート検出部１０２１、コード進行検出部１０２２、タイムアライメント部１０２３の各々から出力される演奏位置情報と信頼性情報とに基づいて、出力された時点における演奏位置情報が示す演奏位置に対応するように決定した楽曲の演奏位置に対応した時刻を示すタイムコードを有する演奏クロックを生成して出力する。本実施形態においては、クロック生成部１０２４は、所定の時間間隔で信頼性情報が示す信頼性指標を認識し、次に信頼性指標を認識するまでの間、その時点において正確性の程度が最も高い演奏位置に係る演奏位置情報に基づいて演奏クロックを生成する。ここで、ビート検出部１０２１、コード進行検出部１０２２、タイムアライメント部１０２３の各々における処理時間については、同じ時間となるように設定されている。すなわち、各々における演奏位置が正確に検出された場合には、ある時点に各々から出力される演奏位置情報が示す演奏位置が同じものになるように設定されている。なお、クロック生成部１０２４において、その処理時間の違いを補正するようにすれば、各々の処理時間が同じ時間になるように設定されていなくてもよい。この場合は、ビート検出部１０２１、コード進行検出部１０２２、タイムアライメント部１０２３の各々において予め測定した処理時間をクロック生成部１０２４に設定しておけばよい。このようにして、出力された演奏クロックを参照して、仮にリファレンス楽音データを読み出して再生したとすれば、リファレンス演奏の時間軸が伸縮され、ライブ演奏と同等な楽曲の進行で再生することができる。
【００４４】
図２に戻って説明を続ける。データ読出部１０３は、演奏クロック生成部１０２から出力される演奏クロックのタイムコードと、歌詞データに付されたタイムコードとを対応させるようにして、楽曲データ選択部１０１がＲＡＭ１３にバッファした歌詞データを読み出し、データ処理部１０４に順次出力していく。
【００４５】
データ処理部１０４は、データ読出部１０３から順次出力された歌詞データに基づいて歌詞映像データを生成し、映像合成部１０６に出力する。ここで、楽曲の歌詞を示すテキストデータとそのテキストの表示タイミングを示すデータとを有する歌詞データは、演奏クロック生成部１０２から出力された演奏クロックを参照して読み出すことによりデータ読出部１０３から出力されるシーケンスデータであるから、歌詞映像データは、楽曲の歌詞の表示タイミングがライブ演奏の楽曲の進行にあわせて表示される映像のデータとして生成される。
【００４６】
遅延部１０５は、ＣＰＵ１１によってライブデータバッファ領域１３ａから読み出されたライブ映像データとライブ楽音データに所定時間の遅延処理を行って出力する。ここで、所定時間は、上述した演奏クロック生成部１０２がライブ楽音データを取得してから、データ処理部１０４が歌詞映像データを出力するまでの処理に必要な時間が設定されている。このようにすると、遅延部１０５から出力されたライブ楽音データ、ライブ映像データと、データ処理部１０４から出力された歌詞映像データは時間同期したものとなる。
【００４７】
映像合成部１０６は、遅延部１０５から出力されたライブ映像データに係るライブ映像に対して、データ処理部１０４から出力された歌詞映像データに係る歌詞の映像（以下、歌詞映像という）をスーパーインポーズした合成映像データを生成して表示部１５へ出力する。ここで、合成映像データは、遅延部１０５において所定時間の遅延処理を行ったライブ映像データに係るライブ映像に対して、時間同期した歌詞映像、すなわち楽曲の歌詞がライブ演奏の楽曲の進行にあわせて表示される映像をスーパーインポーズしたものであり、ライブ映像に楽曲の歌詞映像が合成されることによって、その歌詞映像がライブボーカル、ライブ演奏、ライブ映像に合った映像の映像データとして生成される。
【００４８】
このようにして、表示部１５には合成映像データが出力され、音声出力部１８にはライブ楽音データが出力されることにより、本実施形態に係るデータ再生装置１は、もともとのライブ映像に対して時間同期、すなわち楽曲の進行に合わせた歌詞映像が合成された映像と楽曲とを再生することができる。また、歌詞データを読み出す際に用いる演奏クロックは、ライブ楽音データを複数のアルゴリズムで解析した結果から生成された演奏位置情報と信頼性情報とに基づいて生成されているから、データ再生装置１は、多様な種類の楽曲のライブ演奏に対応し、検出精度の高い演奏位置に基づいて演奏クロックを生成することができる。
【００４９】
以上、本発明の実施形態について説明したが、本発明は以下のように、さまざまな態様で実施可能である。
【００５０】
＜変形例１＞
実施形態においては、演奏クロック生成部１０２の演奏位置検出手段群の演奏位置検出手段としては、ビート検出部１０２１、コード進行検出部１０２２、タイムアライメント部１０２３を例示していたが、その他のアルゴリズムで演奏位置を検出する演奏位置検出手段としてもよい。例えば、ビート検出部１０２１と同様にしてＢＰＭ値を計算し、楽曲において、ＢＰＭ値が変化したり、ビートが変化したりする演奏位置を記憶する参照用データと比較することによって、演奏位置を検出するようなビート変化検出部、ライブ楽音データにおける特徴的な音（例えば、シンバルの音、特定楽器のソロ演奏、電子音など周波数分布の解析などによって特定できるような音）を検出し、楽曲において特徴的な音が発生する演奏位置を記憶する参照用データと比較することによって、演奏位置を検出する特徴音検出部など、様々なアルゴリズムによって演奏位置を検出する演奏位置検出手段を用いることができる。そして、これらの演奏位置検出手段は、検出した演奏位置を示す演奏位置情報と、演奏位置の検出の正確性の程度を示す信頼性指標である信頼性情報とを出力する。このように様々なアルゴリズムで並列して演奏位置を検出し、クロック生成部１０２４は、出力された信頼性情報に基づいて正確性を判断することで、どのアルゴリズムによって検出した演奏位置が確からしいかを認識することができる。そのため、演奏位置検出手段群は、より多くのアルゴリズムを用いれば、より精度の高い演奏位置を検出することができる。
【００５１】
＜変形例２＞
実施形態においては、クロック生成部１０２４は、各演奏位置検出手段から出力された信頼性情報を参照し、正確性の程度が最も高い演奏位置情報に基づいて演奏クロックを生成していたが、信頼性情報に基づいて演奏クロックを生成すれば、この方法に限られない。例えば、各演奏位置検出手段から出力された演奏位置情報が示す演奏位置に対して、信頼性情報が示す正確性の程度に基づいて、重み付けして平均をとることにより、加重平均された演奏位置を算出し、当該算出した演奏位置に基づいて演奏クロックを生成して出力するようにしてもよい。また、正確性の程度が所定値以上である演奏位置検出手段から出力された演奏位置情報のみを用いて、加重平均をとってもよいし、特定の演奏位置検出手段が検出する演奏位置の正確性の程度が高いものとして設定して加重平均をとってもよい。これらの方法は操作部１６を操作することにより変更できるようにしてもよい。このようにしても、本実施形態と同様な効果を得ることができる。
【００５２】
＜変形例３＞
実施形態においては、クロック生成部１０２４は、演奏クロックの生成に用いて演奏位置情報については、所定の時間周期で信頼性情報が示す信頼性指標を認識して、必要に応じて変更していたが、所定の条件を満たした場合に、演奏クロック生成に用いる演奏位置情報の変更を行うようにしてもよい。例えば、ある時点において用いられている演奏位置情報に対応する信頼性情報が示す正確性の程度が所定値以下、または前回用いた演奏位置情報に対応する信頼性情報が示す正確性の程度に対して所定の割合以下に減少した場合に、演奏位置情報の変更を行う（ただし、他の信頼性情報が示す正確性の程度が低い場合は同じ演奏位置情報を用いる）ようにしてもよい。なお、全ての演奏位置検出手段から出力される信頼性情報の正確性の程度が低く、精度が信頼できない場合には、その時点におけるテンポを維持して演奏クロックを生成するようにしてもよい。また、クロック生成部１０２４は、楽曲の最初の部分において用いる演奏位置情報を継続して用いてもよい。この場合は、利用者が操作部１６を操作することによって、操作に基づくタイミングで再度演奏位置情報の変更を行うようにしてもよい。
【００５３】
＜変形例４＞
実施形態においては、クロック生成部１０２４は、最新の信頼性情報を参照して、演奏クロック生成に用いる演奏位置情報を決めていたが、最新の信頼性情報が示す正確性の程度を用いる代わりに最新の数回分の正確性の程度を平均した値を用いてもよい。この場合は、クロック生成部１０２４は、各演奏位置検出手段から出力される信頼性情報を所定時間ＲＡＭ１３にバッファするようにしておけばよい。このようにすると、演奏位置検出手段が突発的に演奏位置の検出が失敗している場合であっても、その影響を受けにくくなるため、クロック生成部１０２４における演奏クロックが示すタイムコードの変化を安定させることもできる。
【００５４】
＜変形例５＞
実施形態の構成に加えて、図５に示すように、ライブ演奏に係る情報である補助情報を取得し、これを利用して演奏クロックを生成するようにしてもよい。ここで、補助情報とは、例えば、ライブ演奏の開始時刻、停止時刻、演奏位置が大きく変化することを意味するジャンプ情報、大まかな演奏位置を示す演奏位置情報等、ライブ楽音データに係るライブ演奏の演奏シーケンスを示す情報であってもよいし、楽曲情報のように、楽曲を特定する情報、楽曲の分野などの種別情報、演奏パート構成の情報、演奏者の情報などの楽曲の内容に関する情報であってもよい。そして、図６のように、各演奏位置検出手段に補助情報が入力されるようにしてもよい。このようにすれば、各演奏位置検出手段は、例えば、補助情報の演奏シーケンスを示す情報を参照して、大まかな演奏位置を推定し、推定した大まかな演奏位置を参考にして、所定のアルゴリズムを用いて演奏位置を検出し、演奏位置の精度を上げるようにしてもよい。また、所定のアルゴリズムを用いて検出した演奏位置の正確性の程度が非常に低い場合には、推定した演奏位置を示す演奏位置情報を出力するようにしてもよい。
【００５５】
補助情報が楽曲の種別情報を有していれば、各演奏位置検出手段は出力する信頼性情報が示す正確性の程度を種別情報に基づいて変更するようにしてもよい。例えば、種別情報によって、楽曲の分野がバラードであることが示された場合には、ビート検出部１０２１は、演奏位置検出を行うことが困難にあるから、信頼性情報が示す正確性の程度をより低くなるように変更する。このようにすれば、演奏位置検出を行うことが困難な分野である演奏検出手段から出力される演奏位置情報が、クロック生成部１０２４において採用される確率を減らすことができるから、演奏クロックの精度を向上させることができる。なお、図７のように、補助情報がクロック生成部１０２４に入力されるようにして、用いるべき演奏位置情報の判断の参考としてもよい。この場合、補助情報に信頼性情報を有するようにしてもよい。この場合は、信頼性情報は、各演奏位置検出手段が検出する演奏位置の正確性の程度を示す情報であればよい。このようにすれば、クロック生成部１０２４は、各演奏位置検出手段から出力される信頼性情報と、補助情報が示す信頼性情報とに基づいて、演奏クロックの生成に用いるべき演奏位置情報を決めるようにすればよい。また、各演奏位置検出手段から信頼性情報を出力させなくても、補助情報が示す信頼性情報を用いれば、実施形態と同様な効果を得ることができる。
【００５６】
＜変形例６＞
実施形態における演奏クロック生成部１０２は、図８に示すように、ライブ楽音データに係るライブ演奏の音声特徴量を抽出して、抽出した音声特徴量に基づいて信頼性情報を生成する特徴量抽出部１０２５を有するようにしてもよい。特徴量抽出部１０２５は、例えば、ライブ演奏の所定周波数以下の音量が周期的に変動して、ビートが感じられる曲調であると判断した場合には、ビート検出部１０２１において検出された演奏位置の正確性の程度が高いことを示す信頼性情報を生成して、クロック生成部１０２４に出力する。そして、特徴量抽出部１０２５から出力された信頼性情報をクロック生成部１０２４は用いるべき演奏位置情報の判断の参考としてもよい。また、上述した変形例５と同様に、各演奏位置検出手段から信頼性情報を出力させなくても、特徴量抽出部１０２５から出力された信頼性情報が、各演奏位置検出手段によって検出される演奏位置の正確性の程度を示す情報とすれば、実施形態と同様な効果を得ることができる。
【００５７】
＜変形例７＞
実施形態におけるクロック生成部１０２４は、各演奏位置検出手段から出力された演奏位置情報と信頼性情報とに基づいて、演奏クロックを生成していたが、図９に示すように、演奏クロックの生成に用いた演奏位置を示す補正演奏位置情報を各演奏位置検出手段に出力してもよい。そして、各演奏位置検出手段は、補正演奏位置情報に基づいて、その時点において最適と判断した演奏位置を認識することができるから、当該演奏位置を基準にライブ楽音データを解析することができ、次に検出する演奏位置の正確性を向上させることができる。
【００５８】
＜変形例８＞
実施形態におけるクロック生成部１０２４は、生成する演奏クロックの正確性の程度を示す総合信頼性情報を生成して、演奏クロックとともに出力してもよい。この総合信頼性情報は、演奏位置検出手段群の各演奏位置検出手段から出力される演奏位置情報、信頼性情報に基づいて生成される演奏クロックの正確性の程度を示す信頼性指標であって、例えば、実施形態のように、最も正確性の高い演奏位置に係る演奏位置情報に基づいて演奏クロックを生成する場合には、当該演奏位置情報に対応する信頼性情報がそのまま総合信頼性情報として用いられる。また、変形例２のように実施形態とは異なるアルゴリズムで演奏クロックを生成する場合には、そのアルゴリズムに応じて、当該演奏クロックの正確性の程度を示す総合信頼性情報が生成される。
【００５９】
このようにすると、図１０に示すように、総合演奏クロック生成部１０７を用いて、以下に説明するような構成とすることができる。総合演奏クロック生成部１０７は、図１１に示すように、実施形態における演奏クロック生成部１０２に総合信頼性情報を生成することができる演奏クロック生成部１０２−Ａ、１０２−Ｂ、１０２−Ｃを有する。本変形例においては、ライブ楽音データは、ボーカルトラック、伴奏トラック、リズムトラックから構成され、演奏クロック生成部１０２−Ａは、ライブ楽音データのボーカルトラックが入力される。同様にして、演奏クロック生成部１０２−Ｂには伴奏トラックが、演奏クロック生成部１０２−Ｃにはリズムトラックが入力される。そして、各演奏クロック生成部１０２−Ａ、１０２−Ｂ、１０２−Ｃは、入力されたライブ楽音データの各トラックに対して、各々実施形態において説明した演奏クロック生成部１０２における処理を行い、さらに演奏クロック生成部１０２−Ａ、１０２−Ｂ、１０２−Ｃは、各々が生成した演奏クロックの正確性の程度を示す総合信頼性情報をクロック調整部１０８に出力する。クロック調整部１０８は、各演奏クロック生成部１０２−Ａ、１０２−Ｂ、１０２−Ｃから出力された演奏クロックと総合信頼性情報とに基づいて、新たに演奏クロックを生成し、データ読出部１０３に出力する。クロック調整部１０８における演奏クロックの生成は、実施形態で説明したように総合信頼性情報が示す正確性の程度が最も高い演奏クロックに基づいて生成してもよいし、他の変形例で説明したように加重平均などの他の方法で演奏クロックを生成してもよい。このようにすると、生成される演奏クロックはさらに精度を高いものとすることができる。
【００６０】
＜変形例９＞
実施形態においては、各演奏位置検出手段であるビート検出部１０２１、コード進行検出部１０２２、タイムアライメント部１０２３は、各々が１つの演奏位置を検出していたが、複数の演奏位置を検出するようにしてもよい。そして、各演奏位置検出手段は、検出した複数の演奏位置を示す複数の演奏位置情報を生成し、当該複数の演奏位置の各々の正確性の程度を示す信頼性情報を演奏位置情報と組にして複数生成して、クロック生成部１０２４に出力する。そして、クロック生成部１０２４は、演奏位置情報と信頼性情報とに基づいて演奏クロックを生成する。この場合、クロック生成部１０２４は、各演奏位置検出手段から出力された信頼性情報のうち、正確性の程度が低い演奏位置に対応する演奏位置情報であっても、複数の演奏位置検出手段から同じ演奏位置を示す演奏位置情報が出力されている場合には、その演奏位置の正確性の程度を高くして認識する。このようにすると、クロック生成部１０２４は、精度の高い演奏クロックを生成することができる。
【００６１】
＜変形例１０＞
実施形態においては、歌詞データは、楽曲の歌詞を示すテキストデータと当該テキストデータの各テキストの表示タイミングを示すデータとを有するシーケンスデータであったが、楽曲の歌詞をリファレンス楽音データと時間同期して再生できるようにしたタイムコードの付された映像データであってもよい。また、歌詞データではなく、他のシーケンスデータ、例えば、ＡＵＸ（Ａｕｘｉｌｉａｒｙ）端子などに接続される外部の装置を制御する信号とその制御のタイミングを示すデータを有するシーケンスデータや、ＭＩＤＩデータのように楽音の発音を示すシーケンスデータであってもよい。この場合は、データ再生装置１は、これらのデータを読み出すことができるように演奏クロックを変換する変換部、ＡＵＸ端子などの制御信号出力部、ＭＩＤＩデータを再生する音源部などを具備するようにすればよい。
【００６２】
＜変形例１１＞
実施形態においては、通信部１７は、有線、無線などによって、データを受信するチューナなどの通信手段であって、ライブ映像データ、ライブ楽音データ、楽曲情報などを受信していたが、図１に破線で示したように、データ入力部２０を設けて、これらのデータがデータ入力部２０から入力されるようにしてもよい。例えば、これらのデータが、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などの記録メディアに記録されたデータであれば、データ入力部は、ＤＶＤに記録されたデータを読み取れる光学ドライブであればよい。このようにしても、実施形態と同様な効果を得ることができる。
【００６３】
＜変形例１２＞
実施形態においては、入力される情報にライブ映像データが含まれていたが、入力されるデータには映像データが含まれなくてもよい。この場合は、図１２に示すように、映像合成部１０６を用いずに、データ処理部１０４は、歌詞映像データをそのまま表示部１５へ出力するようにすればよい。このように、入力される情報には映像データを含む必要はなく、オーディオデータが含まれていればよいから、例えば、携帯オーディオから出力される音声データ、ラジオ放送など、様々な装置からのデータ入力に対応できる。この場合、通信部１７をそれぞれのデータ入力に対応した通信手段とすればよい。
【００６４】
＜変形例１３＞
実施形態においては、演奏クロック生成部１０２は、ライブ楽音データに基づいて演奏クロックを生成していたが、ライブ映像データに基づいて演奏クロックを生成してもよい。この場合も、ライブ楽音データのときと同様にして、複数のアルゴリズムでライブ映像データを解析した結果に基づいて、演奏クロックを生成するようにすればよい。ライブ映像データを解析するアルゴリズムの一例としては、ライブ映像に係るライブ映像と、楽曲の進行における映像の見本となるリファレンス映像データである参照用データとを比較することにより、実施形態におけるタイムアライメント部１０２３のようなＤＰマッチングを行い、演奏位置を検出すればよい。この際、映像の一部分の特徴、例えば歌唱者の唇付近を抽出して、その動きの特徴量を比較してもよい。このように、演奏クロック生成部１０２は、楽曲の内容に対応し時刻の進行に応じて変化するデータであれば、どのようなデータに基づいても、複数のアルゴリズムで解析して、その結果に基づいて演奏クロックを生成することができる。
【図面の簡単な説明】
【００６５】
【図１】実施形態に係るデータ再生装置のハードウエアの構成を示すブロック図である。
【図２】実施形態に係るデータ再生装置のソフトウエアの構成を示すブロック図である。
【図３】実施形態に係る演奏クロック生成部のソフトウエアの構成を示すブロック図である。
【図４】ＤＰマッチングを行う際のＤＰプレーンを示す説明図である。
【図５】変形例５に係るデータ再生装置のソフトウエアの構成を示すブロック図である。
【図６】変形例５に係る演奏クロック生成部のソフトウエアの構成を示すブロック図である。
【図７】変形例５に係る演奏クロック生成部のソフトウエアの構成を示すブロック図である。
【図８】変形例６に係る演奏クロック生成部のソフトウエアの構成を示すブロック図である。
【図９】変形例７に係る演奏クロック生成部のソフトウエアの構成を示すブロック図である。
【図１０】変形例８に係るデータ再生装置のソフトウエアの構成を示すブロック図である。
【図１１】変形例８に係る演奏クロック生成部のソフトウエアの構成を示すブロック図である。
【図１２】変形例１２に係るデータ再生装置のソフトウエアの構成を示すブロック図である。
【符号の説明】
【００６６】
１…データ再生装置、１０…バス、１１…ＣＰＵ、１２…ＲＯＭ、１３…ＲＡＭ、１３ａ…ライブデータバッファ領域、１４…記憶部、１４ａ…楽曲データ記憶領域、１５…表示部、１６…操作部、１７…通信部、１８…音声出力部、２０…データ入力部、１０１…楽曲データ選択部、１０２、１０２−Ａ、１０２−Ｂ、１０２−Ｃ…演奏クロック生成部、１０２１…ビート検出部、１０２２…コード進行検出部、１０２３…タイムアライメント部、１０２４…クロック生成部、１０２５…特徴量抽出部、１０３…データ読出部、１０４…データ処理部、１０５…遅延部、１０６…映像合成部、１０７…総合演奏クロック生成部、１０８…クロック調整部
【技術分野】
【０００１】
本発明は、入力されたデータと同期して、他のデータを再生させるためのクロック生成技術に関する。
【背景技術】
【０００２】
一般的なカラオケ装置においては、例えば、ＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）形式の伴奏用データ、楽曲の歌詞テロップを表示するシーケンスデータおよび映像データなどから構成された楽曲データをそれぞれ同期させて再生することにより、利用者はその楽曲のカラオケを楽しむことができる。
【０００３】
また、伴奏データの代わりにライブ演奏などを録音した楽音データを用いる場合、その楽曲のテンポが必ずしも一定でないため、その楽曲のビートを抽出して算出したＢＰＭ（Ｂｅａｔ Ｐｅｒ Ｍｉｎｕｔｅ）値に基づいてクロックを生成し、当該クロックに基づいてシーケンスデータを読み出すことによって、歌詞テロップを楽曲の進行に合わせて表示可能なカラオケ装置を提供する技術が開示されている（例えば、特許文献１）。
【特許文献１】特開２００７−３３８５１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１に開示された技術を用いる場合には、楽曲のビートを抽出することによって、テンポの変化を認識していることから、楽曲のビートが不明確、不安定な場合など、楽曲のビートの特徴によっては、正常に機能しないことがあった。
【０００５】
本発明は、上述の事情に鑑みてなされたものであり、どのような楽曲においても、安定して楽曲の進行にあわせた演奏クロックを生成することができる演奏クロック生成装置、データ再生装置、演奏クロック生成方法、データ再生方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述の課題を解決するため、本発明は、楽曲の内容に対応し時刻の進行に応じて変化する楽曲関連データを取得するデータ取得手段と、所定のアルゴリズムを用いて前記データ取得手段が取得した楽曲関連データを解析した結果に基づいて、前記楽曲の演奏位置を示す演奏位置情報を生成する演奏位置検出手段を複数有し、各演奏位置検出手段のアルゴリズムが各々異なる演奏位置検出手段群と、前記演奏位置検出手段の各々から出力される演奏位置情報の正確性の程度を示す信頼性情報を取得する信頼性情報取得手段と、前記演奏位置検出手段の各々から出力された演奏位置情報と、前記信頼性情報取得手段が取得した信頼性情報とに基づいて、前記楽曲の演奏位置に対応した時刻を示す演奏クロックを生成するクロック生成手段とを具備することを特徴とする演奏クロック生成装置を提供する。
【０００７】
また、別の好ましい態様において、複数の前記演奏位置検出手段の少なくとも１の演奏位置検出手段は、参照用データを記憶する参照用データ記憶手段を有し、当該演奏位置検出手段は、前記参照用データをさらに用いて前記データ取得手段が取得した楽曲関連データを解析した結果に基づいて演奏位置情報を生成してもよい。
【０００８】
また、別の好ましい態様において、前記楽曲の内容に関する情報を示す補助情報を取得する補助情報取得手段とを具備し、前記演奏位置検出手段は、前記補助情報取得手段が取得した補助情報をさらに用いて前記データ取得手段が取得した楽曲関連データを解析した結果に基づいて演奏位置情報を生成してもよい。
【０００９】
また、別の好ましい態様において、前記クロック生成手段は、前記演奏クロックを生成するとともに、当該演奏クロックに対応する演奏位置を示す補正演奏位置情報を生成し、前記演奏位置検出手段は、前記補正演奏位置情報をさらに用いて前記データ取得手段が取得した楽曲関連データを解析した結果に基づいて演奏位置情報を生成してもよい。
【００１０】
また、別の好ましい態様において、前記演奏位置検出手段は、演奏位置情報を生成するとともに、信頼性情報を生成し、前記信頼性情報取得手段は、前記演奏位置検出手段が生成した信頼性情報を取得してもよい。
【００１１】
また、別の好ましい態様において、複数の前記演奏位置検出手段の少なくとも１の演奏位置検出手段は、演奏位置情報と信頼性情報との組を複数生成してもよい。
【００１２】
また、別の好ましい態様において、信頼性情報を外部から受信する信頼性情報受信手段をさらに具備し、前記信頼性情報取得手段は、前記信頼性情報受信手段が受信した信頼性情報を取得してもよい。
【００１３】
また、別の好ましい態様において、前記データ取得手段が取得した楽曲関連データの特徴量を抽出し、当該特徴量に基づいて信頼性情報を生成する特徴量抽出手段をさらに具備し、前記信頼性情報取得手段は、前記特徴量抽出手段によって生成された信頼性情報を取得してもよい。
【００１４】
また、別の好ましい態様において、前記クロック生成手段は、前記演奏クロックを生成するとともに、前記演奏クロックの正確性の程度を示す総合信頼性情報を生成してもよい。
【００１５】
また、本発明は、上記記載の演奏クロック生成装置と、データ各部についての時刻を規定する時刻情報を有した同期データを記憶する記憶手段と、前記クロック生成手段によって生成された演奏クロックと前記時刻情報の対応関係に基づいて、前記記憶手段から前記同期データを読み出すデータ読出手段と、前記データ取得手段が取得した楽曲関連データを所定量遅延させる遅延手段とを具備することを特徴とするデータ再生装置を提供する。
【００１６】
また、本発明は、複数の演奏クロック生成装置と、複数の前記演奏クロック生成装置のクロック生成手段によって生成された演奏クロックと総合信頼性情報とに基づいて、１の演奏クロックを生成するクロック調整手段と、データ各部についての時刻を規定する時刻情報を有した同期データを記憶する記憶手段と、前記クロック生成手段によって生成された演奏クロックと前記時刻情報の対応関係に基づいて、前記記憶手段から前記同期データを読み出すデータ読出手段と、外部から供給される複数トラックを有する楽曲関連データを所定量遅延させる遅延手段とを具備し、前記演奏クロック生成装置のデータ取得手段は、前記外部から供給される楽曲関連データの１のトラックを取得し、各々の前記演奏クロック生成装置のデータ取得手段は、互いに異なるトラックを取得することを特徴とするデータ再生装置を提供する。
【００１７】
また、本発明は、楽曲の内容に対応し時刻の進行に応じて変化する楽曲関連データを取得するデータ取得過程と、所定のアルゴリズムを用いて前記データ取得過程において取得した楽曲関連データを解析した結果に基づいて、前記楽曲の演奏位置を示す演奏位置情報を生成する演奏位置検出過程を複数有し、各演奏位置検出過程のアルゴリズムが各々異なる演奏位置検出過程群と、前記演奏位置検出過程の各々において出力される演奏位置情報の正確性の程度を示す信頼性情報を取得する信頼性情報取得過程と、前記演奏位置検出過程の各々において出力された演奏位置情報と、前記信頼性情報取得過程において取得した信頼性情報とに基づいて、前記楽曲の演奏位置に対応した時刻を示す演奏クロックを生成するクロック生成過程とを備えることを特徴とする演奏クロック生成方法を提供する。
【００１８】
また、本発明は、楽曲の内容に対応し時刻の進行に応じて変化する楽曲関連データを取得するデータ取得過程と、所定のアルゴリズムを用いて前記データ取得過程において取得した楽曲関連データを解析した結果に基づいて、前記楽曲の演奏位置を示す演奏位置情報を生成する演奏位置検出過程を複数有し、各演奏位置検出過程のアルゴリズムが各々異なる演奏位置検出過程群と、前記演奏位置検出過程の各々において出力される演奏位置情報の正確性の程度を示す信頼性情報を取得する信頼性情報取得過程と、前記演奏位置検出過程の各々において出力された演奏位置情報と、前記信頼性情報取得過程において取得した信頼性情報とに基づいて、前記楽曲の演奏位置に対応した時刻を示す演奏クロックを生成するクロック生成過程とデータ各部についての時刻を規定する時刻情報を有した同期データを記憶する記憶手段から、前記クロック生成過程によって生成された演奏クロックと前記時刻情報の対応関係に基づいて、前記同期データを読み出すデータ読出過程と、前記データ取得過程において取得した楽曲関連データを所定量遅延させる遅延過程とを備えることを特徴とするデータ再生方法を提供する。
【００１９】
また、本発明は、コンピュータに、楽曲の内容に対応し時刻の進行に応じて変化する楽曲関連データを取得するデータ取得機能と、所定のアルゴリズムを用いて前記データ取得機能において取得した楽曲関連データを解析した結果に基づいて、前記楽曲の演奏位置を示す演奏位置情報を生成する演奏位置検出機能を複数有し、各演奏位置検出機能のアルゴリズムが各々異なる演奏位置検出機能群と、前記演奏位置検出機能の各々において出力される演奏位置情報の正確性の程度を示す信頼性情報を取得する信頼性情報取得機能と、前記演奏位置検出機能の各々において出力された演奏位置情報と、前記信頼性情報取得機能において取得した信頼性情報とに基づいて、前記楽曲の演奏位置に対応した時刻を示す演奏クロックを生成するクロック生成機能とを実現させるためのプログラムを提供する。
【００２０】
また、本発明は、コンピュータに、楽曲の内容に対応し時刻の進行に応じて変化する楽曲関連データを取得するデータ取得機能と、所定のアルゴリズムを用いて前記データ取得機能において取得した楽曲関連データを解析した結果に基づいて、前記楽曲の演奏位置を示す演奏位置情報を生成する演奏位置検出機能を複数有し、各演奏位置検出機能のアルゴリズムが各々異なる演奏位置検出機能群と、前記演奏位置検出機能の各々において出力される演奏位置情報の正確性の程度を示す信頼性情報を取得する信頼性情報取得機能と、前記演奏位置検出機能の各々において出力された演奏位置情報と、前記信頼性情報取得機能において取得した信頼性情報とに基づいて、前記楽曲の演奏位置に対応した時刻を示す演奏クロックを生成するクロック生成機能と、データ各部についての時刻を規定する時刻情報を有した同期データを記憶する記憶手段から、前記クロック生成機能によって生成された演奏クロックと前記時刻情報の対応関係に基づいて、前記同期データを読み出すデータ読出機能と、前記データ取得機能において取得した楽曲関連データを所定量遅延させる遅延機能とを実現させるためのプログラムを提供する。
【発明の効果】
【００２１】
本発明によれば、どのような楽曲においても、安定して楽曲の進行にあわせた演奏クロックを生成することができる演奏クロック生成装置、データ再生装置、演奏クロック生成方法、データ再生方法およびプログラムを提供することができる。
【発明を実施するための最良の形態】
【００２２】
以下、本発明の一実施形態について説明する。
【００２３】
＜実施形態＞
図１は、本発明の本実施形態に係るデータ再生装置１のハードウエアの構成を示すブロック図である。
【００２４】
ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２に記憶されているプログラムを読み出して、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３にロードして実行することにより、データ再生装置１の各部について、バス１０を介して制御する。また、ＲＡＭ１３は、ＣＰＵ１１が記憶された各データの加工などを行う際のワークエリアとして機能する。
【００２５】
さらにＲＡＭ１３は、内部に有するライブデータバッファ領域１３ａに、通信部１７から受信するストリーミング再生するためのライブ映像データ（楽曲関連データ）、ライブ楽音データ（楽曲関連データ）を一時的にバッファする機能を有するとともに、当該各データに対応する楽曲に関する情報（以下、楽曲情報という）についても、通信部１７において受信して記憶する。なお、楽曲に関する情報は、楽曲名や認識番号など、当該楽曲を特定できる情報であれば何でもよい。そして、ＣＰＵ１１は、ＲＡＭ１３にバッファされたライブ映像データ、ライブ楽音データを読み出し、後述するような処理を行ってストリーミング再生を行う。
【００２６】
ここで、ライブ映像データは、楽曲の生演奏を撮影した映像（以下、ライブ映像という）の映像データである。また、ライブ楽音データは、楽曲の生演奏を録音した音声（以下、ライブ演奏）のオーディオデータであって、ライブ演奏には、歌手の歌声（以下、ライブボーカルという）や伴奏などが含まれている。
【００２７】
記憶部１４は、例えば、ハードディスクなどの大容量記憶手段であって、楽曲データ記憶領域１４ａに、各楽曲のリファレンスデータとなるリファレンス楽曲データを記憶する。リファレンス楽曲データは、リファレンス楽音データとコード進行データとを有する参照用データと、歌詞データ（同期データ）とを有している。リファレンス楽音データは、楽曲の見本となる歌声や伴奏を含む演奏（以下、リファレンス演奏という）を録音したオーディオデータであって、その再生時刻を示すタイムコードが付されている。コード進行データは、楽曲の見本となる伴奏に対応する和音コードを示す情報とその和音コードが発音されるべき再生時刻を示すタイムコードが付されている。歌詞データは、楽曲の歌詞を示すテキストデータと当該テキストデータの各テキストの表示タイミングを示すデータとを有するシーケンスデータであって、シーケンスデータの読み出し時刻を示すタイムコード（時刻情報）が付されている。そして、リファレンス楽音データと歌詞データとは、同じ時刻を示すタイムコードによって読み出すことにより時間同期して再生することができ、楽曲の見本となる歌声にあった歌詞が表示されるようになっている。
【００２８】
表示部１５は、映像を画面に表示する液晶ディスプレイなどの表示デバイスであって、入力された映像データに基づいて表示を行う。また、データ再生装置１を操作するためのメニュー画面などの各種画面を表示する。操作部１６は、例えばキーボードやマウスなどであり、データ再生装置１の利用者が操作部１６を操作すると、その操作内容を表すデータがＣＰＵ１１へ出力される。
【００２９】
通信部１７は、有線、無線などによって、データを受信するチューナなどの通信手段であって、上述したように、本実施形態においては、ライブ映像データ、ライブ楽音データ、楽曲情報を受信して、ＲＡＭ１３のライブデータバッファ領域１３ａにバッファする機能を有している。
【００３０】
音声出力部１８は、スピーカなどの放音手段を有し、入力されたオーディオデータに基づいて放音する。
【００３１】
次に、ＣＰＵ１１が、ＲＯＭ１２に記憶されたプログラムを実行することによって実現するデータ再生の機能について説明する。図２は、ＣＰＵ１１が実現する機能を示したソフトウエアの構成を示すブロック図である。
【００３２】
楽曲データ選択部１０１は、ライブデータバッファ領域１３ａから楽曲情報を読み取り、通信部１７が受信している各データの楽曲を認識する。そして、楽曲データ記憶領域１４ａに記憶されているリファレンス楽曲データの中から、認識した楽曲に対応するリファレンス楽曲データを選択し、そのリファレンス楽曲データの参照用データおよび歌詞データを読み出す。そして、楽曲データ選択部１０１は、読み出した参照用データを演奏クロック生成部１０２へ出力するとともに、読み出した歌詞データについては、後述するデータ読出部１０３に読み出されるまでＲＡＭ１３にバッファしておく。
【００３３】
演奏クロック生成部１０２は、ＣＰＵ１１によってライブデータバッファ領域１３ａから読み出されたライブ楽音データを取得し、複数のアルゴリズムを用いて、ライブ楽音データを解析し、取得したときのライブ楽音データに係るライブ演奏が楽曲のどの部分の演奏に対応（以下、演奏位置という）しているかを検出し、当該演奏位置に基づいて楽曲の演奏位置に対応した時刻を示す演奏クロックを後述するデータ読出部１０３に出力する機能を有している。以下、演奏クロック生成部１０２について、図３を用いて説明する。図３は、演奏クロック生成部１０２における構成を示したブロック図である。
【００３４】
演奏クロック生成部１０２は、ライブ楽音データを所定のアルゴリズムを用いて解析し、演奏位置を検出して当該演奏位置を示す演奏位置情報を出力するとともに、検出した演奏位置の正確性の程度を示す信頼性指標である信頼性情報を出力する演奏位置検出手段を複数具備する演奏位置検出手段群（本実施形態においては、ビート検出部１０２１、コード進行検出部１０２２、タイムアライメント部１０２３）を有する。また、ビート検出部１０２１、コード進行検出部１０２２、タイムアライメント部１０２３の各々から出力された演奏位置情報と信頼性情報とに基づいて演奏クロックを生成して出力するクロック生成部１０２４を有する。
【００３５】
ビート検出部１０２１は、ライブ楽音データに係るライブ演奏の音量レベルを検出し、その音量レベルの変化（例えば、急激に音量レベルが大きくなる部分）に基づいてビートを抽出し、ライブ演奏のＢＰＭ値を計算する。そして、ＢＰＭ値とライブ演奏が開始されてから経過した時間とに基づいて、楽曲の演奏位置を検出して演奏位置情報を生成して出力する。一方、信頼性情報については、生成した演奏位置情報の正確性の程度、すなわち検出した演奏位置の正確性の程度を示す信頼性指標として生成され、具体的には、ＢＰＭ値を計算するときの精度、ビートの抽出の精度（例えば、音量レベルの変化から検出可能なアタック検出レベルなど）、ＢＰＭ値の所定時間内の変動量や安定性などに基づいて生成され出力される。
【００３６】
コード進行検出部１０２２は、ライブ楽音データに係るライブ演奏の周波数分布などからピッチを検出し、当該ピッチに基づいて和音コードを認識する。そして、認識した和音コードの変化（コード進行）と、楽曲データ選択部１０１から出力された参照用データのコード進行データが示すコード進行とを比較することにより、楽曲の演奏位置を検出して演奏位置情報を生成して出力する。一方、信頼性情報については、生成した演奏位置情報の正確性の程度、すなわち検出した演奏位置の正確性の程度を示す信頼性指標として生成され、具体的には、ピッチ検出の精度、和音コードの認識の精度などに基づいて生成され出力される。
【００３７】
タイムアライメント部１０２３は、ライブ楽音データと、楽曲データ選択部１０１から出力された参照用データのリファレンス楽音データとを比較して、ライブ演奏とリファレンス演奏との楽曲の進行のずれを検出し、当該楽曲の進行のずれに基づいて演奏位置を検出する。
【００３８】
ここで、楽曲の進行のずれは、それぞれのデータを所定時間長のフレーム単位に分離し、その各々に対してＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）を施して、それぞれのデータのスペクトルを算出し、これらの各フレーム間で類似したスペクトルを対応付けることにより検出する。また、楽曲の進行のずれを検出する機能について、本実施形態ではＤＰ（Ｄｙｎａｍｉｃ Ｐｒｏｇｒａｍｍｉｎｇ：動的計画法）マッチングを用いる。具体的には以下のような処理となる。
【００３９】
タイムアライメント部１０２３は、図４に示すような座標平面（以下、ＤＰプレーンという）をＲＡＭ１３に形成する。このＤＰプレーンの縦軸は、ライブ楽音データをそれぞれ所定時間長のフレーム単位に分離してその各々に対してＦＦＴを施して得られたスペクトルについて、各フレームのスペクトルの絶対値の対数に逆フーリエ変換をかけて得られるパラメータ（ケプストラム）をａ１、ａ２、ａ３・・・ａｎとして、時間軸に従って並べたものである。また、横軸のｂ１、ｂ２、ｂ３・・・ｂｎは、リファレンス楽音データについて、上記同様に時間軸に従って並べたものである。ここで、縦軸のａ１、ａ２、ａ３・・・ａｎの間隔と横軸のｂ１、ｂ２、ｂ３・・・ｂｎの間隔は、いずれもフレームの時間長と対応している。このＤＰプレーンにおける各格子点の各々には、ａ１、ａ２、ａ３・・・ａｎの各パラメータと、ｂ１、ｂ２、ｂ３・・・ｂｎの各パラメータのユークリッド距離を夫々示す値であるＤＰマッチングスコアが対応付けられている。例えば、ａ１とｂ１とにより位置決めされる格子点（ａ１，ｂ１）には、ライブ楽音データの一連のフレームのうち最初のフレームから得たパラメータとリファレンス楽音データの一連のフレームのうち最初のフレームから得たパラメータのユークリッド距離を示す値が対応付けられることになる。
【００４０】
そして、タイムアライメント部１０２３は、このような構造を成すＤＰプレーンを形成した後、ａ１とｂ１とにより位置決めされる始端にあたる格子点（ａ１，ｂ１）からａｎとｂｎとにより位置決めされる終端にあたる格子点（ａｎ，ｂｎ）に至る全経路を探索し、探索した経路ごとに、その始端から終端までの間に辿る各格子点のＤＰマッチングスコアを累算して累算値を求める。なお、始端と終端は各データの最初のフレームと最後のフレームということではなく、各データから所定のフレーム数を単位として行われ、この単位における最初のフレームから最後のフレームまで行われて、これが順次処理され各データの最後のフレームまで処理されていく。
【００４１】
そして、ＤＰマッチングスコアの累算値が最小となる経路をＤＰプレーン上から特定し、その経路上の各格子点によって、ライブ楽音データの各フレームにリファレンス楽音データの各フレームが対応付けられる。この対応関係により楽曲の進行のずれを検出することができる。例えば、図４に示すＤＰプレーン上に記された経路においては、ａ１とｂ１により位置決めされる格子点（ａ１，ｂ１）からその右上のａ２とｂ２により位置決めされる格子点（ａ２，ｂ２）に進んでいることが分かる。この場合、ａ２のフレームとｂ２のフレームとの時間軸上の位置は当初から同じである。一方、この経路においては、ａ２とｂ２により位置決めされる格子点（ａ２，ｂ２）からその右のａ２とｂ３により位置決めされる格子点（ａ２，ｂ３）に進んでいる。楽曲の進行のずれが無ければ格子点（ａ３，ｂ３）へ進み、ｂ３のフレームの時間軸上の位置に対応すべきフレームはａ３のフレームとなるものであるが、格子点（ａ２，ｂ３）に進んでいることから、ｂ３のフレームはａ３ではなくａ２のフレームの時間軸上の位置と同じであると対応付けられ、楽曲の進行のずれが発生していることになる。すなわち、リファレンス楽音データのフレームｂ３までに進行する演奏の内容が、ライブ楽音データのフレームａ２までに進行していることになるから、この時点においては、リファレンス演奏よりもライブ演奏の方が早く進んでいることになる。このようにして、楽曲の進行のずれを検出することができる。そして、ライブ楽音データの全てのフレームに対して、リファレンス楽音データのフレームを対応付けて、楽曲の進行のずれを検出する。以上がＤＰマッチングの仕組みである。このようにしてタイムアライメント部１０２３は、演奏位置を検出して演奏位置情報を生成して出力する。
【００４２】
一方、信頼性情報については、生成した演奏位置情報の正確性の程度、すなわち検出した演奏位置の正確性の程度を示す信頼性指標として生成され出力される。具体的には、上述したように、ライブ楽音データとリファレンス楽音データのＤＰマッチングにおいて、ＤＰマッチングスコアの累算値が最小となるような経路をＤＰプレーン上から特定するが、この際の最小となるＤＰマッチングスコアの累積値に基づいて信頼性情報を生成する。なお、信頼性情報については、このような方法における生成に限られず、生成した演奏位置情報の正確性の程度を示していれば、どのような方法で生成してもよい。
【００４３】
図３に戻って説明を続ける。クロック生成部１０２４は、ビート検出部１０２１、コード進行検出部１０２２、タイムアライメント部１０２３の各々から出力される演奏位置情報と信頼性情報とに基づいて、出力された時点における演奏位置情報が示す演奏位置に対応するように決定した楽曲の演奏位置に対応した時刻を示すタイムコードを有する演奏クロックを生成して出力する。本実施形態においては、クロック生成部１０２４は、所定の時間間隔で信頼性情報が示す信頼性指標を認識し、次に信頼性指標を認識するまでの間、その時点において正確性の程度が最も高い演奏位置に係る演奏位置情報に基づいて演奏クロックを生成する。ここで、ビート検出部１０２１、コード進行検出部１０２２、タイムアライメント部１０２３の各々における処理時間については、同じ時間となるように設定されている。すなわち、各々における演奏位置が正確に検出された場合には、ある時点に各々から出力される演奏位置情報が示す演奏位置が同じものになるように設定されている。なお、クロック生成部１０２４において、その処理時間の違いを補正するようにすれば、各々の処理時間が同じ時間になるように設定されていなくてもよい。この場合は、ビート検出部１０２１、コード進行検出部１０２２、タイムアライメント部１０２３の各々において予め測定した処理時間をクロック生成部１０２４に設定しておけばよい。このようにして、出力された演奏クロックを参照して、仮にリファレンス楽音データを読み出して再生したとすれば、リファレンス演奏の時間軸が伸縮され、ライブ演奏と同等な楽曲の進行で再生することができる。
【００４４】
図２に戻って説明を続ける。データ読出部１０３は、演奏クロック生成部１０２から出力される演奏クロックのタイムコードと、歌詞データに付されたタイムコードとを対応させるようにして、楽曲データ選択部１０１がＲＡＭ１３にバッファした歌詞データを読み出し、データ処理部１０４に順次出力していく。
【００４５】
データ処理部１０４は、データ読出部１０３から順次出力された歌詞データに基づいて歌詞映像データを生成し、映像合成部１０６に出力する。ここで、楽曲の歌詞を示すテキストデータとそのテキストの表示タイミングを示すデータとを有する歌詞データは、演奏クロック生成部１０２から出力された演奏クロックを参照して読み出すことによりデータ読出部１０３から出力されるシーケンスデータであるから、歌詞映像データは、楽曲の歌詞の表示タイミングがライブ演奏の楽曲の進行にあわせて表示される映像のデータとして生成される。
【００４６】
遅延部１０５は、ＣＰＵ１１によってライブデータバッファ領域１３ａから読み出されたライブ映像データとライブ楽音データに所定時間の遅延処理を行って出力する。ここで、所定時間は、上述した演奏クロック生成部１０２がライブ楽音データを取得してから、データ処理部１０４が歌詞映像データを出力するまでの処理に必要な時間が設定されている。このようにすると、遅延部１０５から出力されたライブ楽音データ、ライブ映像データと、データ処理部１０４から出力された歌詞映像データは時間同期したものとなる。
【００４７】
映像合成部１０６は、遅延部１０５から出力されたライブ映像データに係るライブ映像に対して、データ処理部１０４から出力された歌詞映像データに係る歌詞の映像（以下、歌詞映像という）をスーパーインポーズした合成映像データを生成して表示部１５へ出力する。ここで、合成映像データは、遅延部１０５において所定時間の遅延処理を行ったライブ映像データに係るライブ映像に対して、時間同期した歌詞映像、すなわち楽曲の歌詞がライブ演奏の楽曲の進行にあわせて表示される映像をスーパーインポーズしたものであり、ライブ映像に楽曲の歌詞映像が合成されることによって、その歌詞映像がライブボーカル、ライブ演奏、ライブ映像に合った映像の映像データとして生成される。
【００４８】
このようにして、表示部１５には合成映像データが出力され、音声出力部１８にはライブ楽音データが出力されることにより、本実施形態に係るデータ再生装置１は、もともとのライブ映像に対して時間同期、すなわち楽曲の進行に合わせた歌詞映像が合成された映像と楽曲とを再生することができる。また、歌詞データを読み出す際に用いる演奏クロックは、ライブ楽音データを複数のアルゴリズムで解析した結果から生成された演奏位置情報と信頼性情報とに基づいて生成されているから、データ再生装置１は、多様な種類の楽曲のライブ演奏に対応し、検出精度の高い演奏位置に基づいて演奏クロックを生成することができる。
【００４９】
以上、本発明の実施形態について説明したが、本発明は以下のように、さまざまな態様で実施可能である。
【００５０】
＜変形例１＞
実施形態においては、演奏クロック生成部１０２の演奏位置検出手段群の演奏位置検出手段としては、ビート検出部１０２１、コード進行検出部１０２２、タイムアライメント部１０２３を例示していたが、その他のアルゴリズムで演奏位置を検出する演奏位置検出手段としてもよい。例えば、ビート検出部１０２１と同様にしてＢＰＭ値を計算し、楽曲において、ＢＰＭ値が変化したり、ビートが変化したりする演奏位置を記憶する参照用データと比較することによって、演奏位置を検出するようなビート変化検出部、ライブ楽音データにおける特徴的な音（例えば、シンバルの音、特定楽器のソロ演奏、電子音など周波数分布の解析などによって特定できるような音）を検出し、楽曲において特徴的な音が発生する演奏位置を記憶する参照用データと比較することによって、演奏位置を検出する特徴音検出部など、様々なアルゴリズムによって演奏位置を検出する演奏位置検出手段を用いることができる。そして、これらの演奏位置検出手段は、検出した演奏位置を示す演奏位置情報と、演奏位置の検出の正確性の程度を示す信頼性指標である信頼性情報とを出力する。このように様々なアルゴリズムで並列して演奏位置を検出し、クロック生成部１０２４は、出力された信頼性情報に基づいて正確性を判断することで、どのアルゴリズムによって検出した演奏位置が確からしいかを認識することができる。そのため、演奏位置検出手段群は、より多くのアルゴリズムを用いれば、より精度の高い演奏位置を検出することができる。
【００５１】
＜変形例２＞
実施形態においては、クロック生成部１０２４は、各演奏位置検出手段から出力された信頼性情報を参照し、正確性の程度が最も高い演奏位置情報に基づいて演奏クロックを生成していたが、信頼性情報に基づいて演奏クロックを生成すれば、この方法に限られない。例えば、各演奏位置検出手段から出力された演奏位置情報が示す演奏位置に対して、信頼性情報が示す正確性の程度に基づいて、重み付けして平均をとることにより、加重平均された演奏位置を算出し、当該算出した演奏位置に基づいて演奏クロックを生成して出力するようにしてもよい。また、正確性の程度が所定値以上である演奏位置検出手段から出力された演奏位置情報のみを用いて、加重平均をとってもよいし、特定の演奏位置検出手段が検出する演奏位置の正確性の程度が高いものとして設定して加重平均をとってもよい。これらの方法は操作部１６を操作することにより変更できるようにしてもよい。このようにしても、本実施形態と同様な効果を得ることができる。
【００５２】
＜変形例３＞
実施形態においては、クロック生成部１０２４は、演奏クロックの生成に用いて演奏位置情報については、所定の時間周期で信頼性情報が示す信頼性指標を認識して、必要に応じて変更していたが、所定の条件を満たした場合に、演奏クロック生成に用いる演奏位置情報の変更を行うようにしてもよい。例えば、ある時点において用いられている演奏位置情報に対応する信頼性情報が示す正確性の程度が所定値以下、または前回用いた演奏位置情報に対応する信頼性情報が示す正確性の程度に対して所定の割合以下に減少した場合に、演奏位置情報の変更を行う（ただし、他の信頼性情報が示す正確性の程度が低い場合は同じ演奏位置情報を用いる）ようにしてもよい。なお、全ての演奏位置検出手段から出力される信頼性情報の正確性の程度が低く、精度が信頼できない場合には、その時点におけるテンポを維持して演奏クロックを生成するようにしてもよい。また、クロック生成部１０２４は、楽曲の最初の部分において用いる演奏位置情報を継続して用いてもよい。この場合は、利用者が操作部１６を操作することによって、操作に基づくタイミングで再度演奏位置情報の変更を行うようにしてもよい。
【００５３】
＜変形例４＞
実施形態においては、クロック生成部１０２４は、最新の信頼性情報を参照して、演奏クロック生成に用いる演奏位置情報を決めていたが、最新の信頼性情報が示す正確性の程度を用いる代わりに最新の数回分の正確性の程度を平均した値を用いてもよい。この場合は、クロック生成部１０２４は、各演奏位置検出手段から出力される信頼性情報を所定時間ＲＡＭ１３にバッファするようにしておけばよい。このようにすると、演奏位置検出手段が突発的に演奏位置の検出が失敗している場合であっても、その影響を受けにくくなるため、クロック生成部１０２４における演奏クロックが示すタイムコードの変化を安定させることもできる。
【００５４】
＜変形例５＞
実施形態の構成に加えて、図５に示すように、ライブ演奏に係る情報である補助情報を取得し、これを利用して演奏クロックを生成するようにしてもよい。ここで、補助情報とは、例えば、ライブ演奏の開始時刻、停止時刻、演奏位置が大きく変化することを意味するジャンプ情報、大まかな演奏位置を示す演奏位置情報等、ライブ楽音データに係るライブ演奏の演奏シーケンスを示す情報であってもよいし、楽曲情報のように、楽曲を特定する情報、楽曲の分野などの種別情報、演奏パート構成の情報、演奏者の情報などの楽曲の内容に関する情報であってもよい。そして、図６のように、各演奏位置検出手段に補助情報が入力されるようにしてもよい。このようにすれば、各演奏位置検出手段は、例えば、補助情報の演奏シーケンスを示す情報を参照して、大まかな演奏位置を推定し、推定した大まかな演奏位置を参考にして、所定のアルゴリズムを用いて演奏位置を検出し、演奏位置の精度を上げるようにしてもよい。また、所定のアルゴリズムを用いて検出した演奏位置の正確性の程度が非常に低い場合には、推定した演奏位置を示す演奏位置情報を出力するようにしてもよい。
【００５５】
補助情報が楽曲の種別情報を有していれば、各演奏位置検出手段は出力する信頼性情報が示す正確性の程度を種別情報に基づいて変更するようにしてもよい。例えば、種別情報によって、楽曲の分野がバラードであることが示された場合には、ビート検出部１０２１は、演奏位置検出を行うことが困難にあるから、信頼性情報が示す正確性の程度をより低くなるように変更する。このようにすれば、演奏位置検出を行うことが困難な分野である演奏検出手段から出力される演奏位置情報が、クロック生成部１０２４において採用される確率を減らすことができるから、演奏クロックの精度を向上させることができる。なお、図７のように、補助情報がクロック生成部１０２４に入力されるようにして、用いるべき演奏位置情報の判断の参考としてもよい。この場合、補助情報に信頼性情報を有するようにしてもよい。この場合は、信頼性情報は、各演奏位置検出手段が検出する演奏位置の正確性の程度を示す情報であればよい。このようにすれば、クロック生成部１０２４は、各演奏位置検出手段から出力される信頼性情報と、補助情報が示す信頼性情報とに基づいて、演奏クロックの生成に用いるべき演奏位置情報を決めるようにすればよい。また、各演奏位置検出手段から信頼性情報を出力させなくても、補助情報が示す信頼性情報を用いれば、実施形態と同様な効果を得ることができる。
【００５６】
＜変形例６＞
実施形態における演奏クロック生成部１０２は、図８に示すように、ライブ楽音データに係るライブ演奏の音声特徴量を抽出して、抽出した音声特徴量に基づいて信頼性情報を生成する特徴量抽出部１０２５を有するようにしてもよい。特徴量抽出部１０２５は、例えば、ライブ演奏の所定周波数以下の音量が周期的に変動して、ビートが感じられる曲調であると判断した場合には、ビート検出部１０２１において検出された演奏位置の正確性の程度が高いことを示す信頼性情報を生成して、クロック生成部１０２４に出力する。そして、特徴量抽出部１０２５から出力された信頼性情報をクロック生成部１０２４は用いるべき演奏位置情報の判断の参考としてもよい。また、上述した変形例５と同様に、各演奏位置検出手段から信頼性情報を出力させなくても、特徴量抽出部１０２５から出力された信頼性情報が、各演奏位置検出手段によって検出される演奏位置の正確性の程度を示す情報とすれば、実施形態と同様な効果を得ることができる。
【００５７】
＜変形例７＞
実施形態におけるクロック生成部１０２４は、各演奏位置検出手段から出力された演奏位置情報と信頼性情報とに基づいて、演奏クロックを生成していたが、図９に示すように、演奏クロックの生成に用いた演奏位置を示す補正演奏位置情報を各演奏位置検出手段に出力してもよい。そして、各演奏位置検出手段は、補正演奏位置情報に基づいて、その時点において最適と判断した演奏位置を認識することができるから、当該演奏位置を基準にライブ楽音データを解析することができ、次に検出する演奏位置の正確性を向上させることができる。
【００５８】
＜変形例８＞
実施形態におけるクロック生成部１０２４は、生成する演奏クロックの正確性の程度を示す総合信頼性情報を生成して、演奏クロックとともに出力してもよい。この総合信頼性情報は、演奏位置検出手段群の各演奏位置検出手段から出力される演奏位置情報、信頼性情報に基づいて生成される演奏クロックの正確性の程度を示す信頼性指標であって、例えば、実施形態のように、最も正確性の高い演奏位置に係る演奏位置情報に基づいて演奏クロックを生成する場合には、当該演奏位置情報に対応する信頼性情報がそのまま総合信頼性情報として用いられる。また、変形例２のように実施形態とは異なるアルゴリズムで演奏クロックを生成する場合には、そのアルゴリズムに応じて、当該演奏クロックの正確性の程度を示す総合信頼性情報が生成される。
【００５９】
このようにすると、図１０に示すように、総合演奏クロック生成部１０７を用いて、以下に説明するような構成とすることができる。総合演奏クロック生成部１０７は、図１１に示すように、実施形態における演奏クロック生成部１０２に総合信頼性情報を生成することができる演奏クロック生成部１０２−Ａ、１０２−Ｂ、１０２−Ｃを有する。本変形例においては、ライブ楽音データは、ボーカルトラック、伴奏トラック、リズムトラックから構成され、演奏クロック生成部１０２−Ａは、ライブ楽音データのボーカルトラックが入力される。同様にして、演奏クロック生成部１０２−Ｂには伴奏トラックが、演奏クロック生成部１０２−Ｃにはリズムトラックが入力される。そして、各演奏クロック生成部１０２−Ａ、１０２−Ｂ、１０２−Ｃは、入力されたライブ楽音データの各トラックに対して、各々実施形態において説明した演奏クロック生成部１０２における処理を行い、さらに演奏クロック生成部１０２−Ａ、１０２−Ｂ、１０２−Ｃは、各々が生成した演奏クロックの正確性の程度を示す総合信頼性情報をクロック調整部１０８に出力する。クロック調整部１０８は、各演奏クロック生成部１０２−Ａ、１０２−Ｂ、１０２−Ｃから出力された演奏クロックと総合信頼性情報とに基づいて、新たに演奏クロックを生成し、データ読出部１０３に出力する。クロック調整部１０８における演奏クロックの生成は、実施形態で説明したように総合信頼性情報が示す正確性の程度が最も高い演奏クロックに基づいて生成してもよいし、他の変形例で説明したように加重平均などの他の方法で演奏クロックを生成してもよい。このようにすると、生成される演奏クロックはさらに精度を高いものとすることができる。
【００６０】
＜変形例９＞
実施形態においては、各演奏位置検出手段であるビート検出部１０２１、コード進行検出部１０２２、タイムアライメント部１０２３は、各々が１つの演奏位置を検出していたが、複数の演奏位置を検出するようにしてもよい。そして、各演奏位置検出手段は、検出した複数の演奏位置を示す複数の演奏位置情報を生成し、当該複数の演奏位置の各々の正確性の程度を示す信頼性情報を演奏位置情報と組にして複数生成して、クロック生成部１０２４に出力する。そして、クロック生成部１０２４は、演奏位置情報と信頼性情報とに基づいて演奏クロックを生成する。この場合、クロック生成部１０２４は、各演奏位置検出手段から出力された信頼性情報のうち、正確性の程度が低い演奏位置に対応する演奏位置情報であっても、複数の演奏位置検出手段から同じ演奏位置を示す演奏位置情報が出力されている場合には、その演奏位置の正確性の程度を高くして認識する。このようにすると、クロック生成部１０２４は、精度の高い演奏クロックを生成することができる。
【００６１】
＜変形例１０＞
実施形態においては、歌詞データは、楽曲の歌詞を示すテキストデータと当該テキストデータの各テキストの表示タイミングを示すデータとを有するシーケンスデータであったが、楽曲の歌詞をリファレンス楽音データと時間同期して再生できるようにしたタイムコードの付された映像データであってもよい。また、歌詞データではなく、他のシーケンスデータ、例えば、ＡＵＸ（Ａｕｘｉｌｉａｒｙ）端子などに接続される外部の装置を制御する信号とその制御のタイミングを示すデータを有するシーケンスデータや、ＭＩＤＩデータのように楽音の発音を示すシーケンスデータであってもよい。この場合は、データ再生装置１は、これらのデータを読み出すことができるように演奏クロックを変換する変換部、ＡＵＸ端子などの制御信号出力部、ＭＩＤＩデータを再生する音源部などを具備するようにすればよい。
【００６２】
＜変形例１１＞
実施形態においては、通信部１７は、有線、無線などによって、データを受信するチューナなどの通信手段であって、ライブ映像データ、ライブ楽音データ、楽曲情報などを受信していたが、図１に破線で示したように、データ入力部２０を設けて、これらのデータがデータ入力部２０から入力されるようにしてもよい。例えば、これらのデータが、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などの記録メディアに記録されたデータであれば、データ入力部は、ＤＶＤに記録されたデータを読み取れる光学ドライブであればよい。このようにしても、実施形態と同様な効果を得ることができる。
【００６３】
＜変形例１２＞
実施形態においては、入力される情報にライブ映像データが含まれていたが、入力されるデータには映像データが含まれなくてもよい。この場合は、図１２に示すように、映像合成部１０６を用いずに、データ処理部１０４は、歌詞映像データをそのまま表示部１５へ出力するようにすればよい。このように、入力される情報には映像データを含む必要はなく、オーディオデータが含まれていればよいから、例えば、携帯オーディオから出力される音声データ、ラジオ放送など、様々な装置からのデータ入力に対応できる。この場合、通信部１７をそれぞれのデータ入力に対応した通信手段とすればよい。
【００６４】
＜変形例１３＞
実施形態においては、演奏クロック生成部１０２は、ライブ楽音データに基づいて演奏クロックを生成していたが、ライブ映像データに基づいて演奏クロックを生成してもよい。この場合も、ライブ楽音データのときと同様にして、複数のアルゴリズムでライブ映像データを解析した結果に基づいて、演奏クロックを生成するようにすればよい。ライブ映像データを解析するアルゴリズムの一例としては、ライブ映像に係るライブ映像と、楽曲の進行における映像の見本となるリファレンス映像データである参照用データとを比較することにより、実施形態におけるタイムアライメント部１０２３のようなＤＰマッチングを行い、演奏位置を検出すればよい。この際、映像の一部分の特徴、例えば歌唱者の唇付近を抽出して、その動きの特徴量を比較してもよい。このように、演奏クロック生成部１０２は、楽曲の内容に対応し時刻の進行に応じて変化するデータであれば、どのようなデータに基づいても、複数のアルゴリズムで解析して、その結果に基づいて演奏クロックを生成することができる。
【図面の簡単な説明】
【００６５】
【図１】実施形態に係るデータ再生装置のハードウエアの構成を示すブロック図である。
【図２】実施形態に係るデータ再生装置のソフトウエアの構成を示すブロック図である。
【図３】実施形態に係る演奏クロック生成部のソフトウエアの構成を示すブロック図である。
【図４】ＤＰマッチングを行う際のＤＰプレーンを示す説明図である。
【図５】変形例５に係るデータ再生装置のソフトウエアの構成を示すブロック図である。
【図６】変形例５に係る演奏クロック生成部のソフトウエアの構成を示すブロック図である。
【図７】変形例５に係る演奏クロック生成部のソフトウエアの構成を示すブロック図である。
【図８】変形例６に係る演奏クロック生成部のソフトウエアの構成を示すブロック図である。
【図９】変形例７に係る演奏クロック生成部のソフトウエアの構成を示すブロック図である。
【図１０】変形例８に係るデータ再生装置のソフトウエアの構成を示すブロック図である。
【図１１】変形例８に係る演奏クロック生成部のソフトウエアの構成を示すブロック図である。
【図１２】変形例１２に係るデータ再生装置のソフトウエアの構成を示すブロック図である。
【符号の説明】
【００６６】
１…データ再生装置、１０…バス、１１…ＣＰＵ、１２…ＲＯＭ、１３…ＲＡＭ、１３ａ…ライブデータバッファ領域、１４…記憶部、１４ａ…楽曲データ記憶領域、１５…表示部、１６…操作部、１７…通信部、１８…音声出力部、２０…データ入力部、１０１…楽曲データ選択部、１０２、１０２−Ａ、１０２−Ｂ、１０２−Ｃ…演奏クロック生成部、１０２１…ビート検出部、１０２２…コード進行検出部、１０２３…タイムアライメント部、１０２４…クロック生成部、１０２５…特徴量抽出部、１０３…データ読出部、１０４…データ処理部、１０５…遅延部、１０６…映像合成部、１０７…総合演奏クロック生成部、１０８…クロック調整部
【特許請求の範囲】
【請求項１】
楽曲の内容に対応し時刻の進行に応じて変化する楽曲関連データを取得するデータ取得手段と、
所定のアルゴリズムを用いて前記データ取得手段が取得した楽曲関連データを解析した結果に基づいて、前記楽曲の演奏位置を示す演奏位置情報を生成する演奏位置検出手段を複数有し、各演奏位置検出手段のアルゴリズムが各々異なる演奏位置検出手段群と、
前記演奏位置検出手段の各々から出力される演奏位置情報の正確性の程度を示す信頼性情報を取得する信頼性情報取得手段と、
前記演奏位置検出手段の各々から出力された演奏位置情報と、前記信頼性情報取得手段が取得した信頼性情報とに基づいて、前記楽曲の演奏位置に対応した時刻を示す演奏クロックを生成するクロック生成手段と
を具備することを特徴とする演奏クロック生成装置。
【請求項２】
複数の前記演奏位置検出手段の少なくとも１の演奏位置検出手段は、参照用データを記憶する参照用データ記憶手段を有し、
当該演奏位置検出手段は、前記参照用データをさらに用いて前記データ取得手段が取得した楽曲関連データを解析した結果に基づいて演奏位置情報を生成する
ことを特徴とする請求項１に記載の演奏クロック生成装置。
【請求項３】
前記楽曲の内容に関する情報を示す補助情報を取得する補助情報取得手段と
を具備し、
前記演奏位置検出手段は、前記補助情報取得手段が取得した補助情報をさらに用いて前記データ取得手段が取得した楽曲関連データを解析した結果に基づいて演奏位置情報を生成する
ことを特徴とする請求項１または請求項２に記載の演奏クロック生成装置。
【請求項４】
前記クロック生成手段は、前記演奏クロックを生成するとともに、当該演奏クロックに対応する演奏位置を示す補正演奏位置情報を生成し、
前記演奏位置検出手段は、前記補正演奏位置情報をさらに用いて前記データ取得手段が取得した楽曲関連データを解析した結果に基づいて演奏位置情報を生成する
ことを特徴とする請求項１乃至請求項３のいずれかに記載の演奏クロック生成装置。
【請求項５】
前記演奏位置検出手段は、演奏位置情報を生成するとともに、信頼性情報を生成し、
前記信頼性情報取得手段は、前記演奏位置検出手段が生成した信頼性情報を取得する
ことを特徴とする請求項１乃至請求項４のいずれかに記載の演奏クロック生成装置。
【請求項６】
複数の前記演奏位置検出手段の少なくとも１の演奏位置検出手段は、演奏位置情報と信頼性情報との組を複数生成する
ことを特徴とする請求項５に記載の演奏クロック生成装置。
【請求項７】
信頼性情報を外部から受信する信頼性情報受信手段をさらに具備し、
前記信頼性情報取得手段は、前記信頼性情報受信手段が受信した信頼性情報を取得する
ことを特徴とする請求項１乃至請求項６のいずれかに記載の演奏クロック生成装置。
【請求項８】
前記データ取得手段が取得した楽曲関連データの特徴量を抽出し、当該特徴量に基づいて信頼性情報を生成する特徴量抽出手段をさらに具備し、
前記信頼性情報取得手段は、前記特徴量抽出手段によって生成された信頼性情報を取得する
ことを特徴とする請求項１乃至請求項７のいずれかに記載の演奏クロック生成装置。
【請求項９】
前記クロック生成手段は、前記演奏クロックを生成するとともに、前記演奏クロックの正確性の程度を示す総合信頼性情報を生成する
ことを特徴とする請求項１乃至請求項８のいずれかに記載の演奏クロック生成装置。
【請求項１０】
請求項１乃至請求項８のいずれかに記載の演奏クロック生成装置と、
データ各部についての時刻を規定する時刻情報を有した同期データを記憶する記憶手段と、
前記クロック生成手段によって生成された演奏クロックと前記時刻情報の対応関係に基づいて、前記記憶手段から前記同期データを読み出すデータ読出手段と、
前記データ取得手段が取得した楽曲関連データを所定量遅延させる遅延手段と
を具備することを特徴とするデータ再生装置。
【請求項１１】
複数の請求項９に記載の演奏クロック生成装置と、
複数の前記演奏クロック生成装置のクロック生成手段によって生成された演奏クロックと総合信頼性情報とに基づいて、１の演奏クロックを生成するクロック調整手段と、
データ各部についての時刻を規定する時刻情報を有した同期データを記憶する記憶手段と、
前記クロック生成手段によって生成された演奏クロックと前記時刻情報の対応関係に基づいて、前記記憶手段から前記同期データを読み出すデータ読出手段と、
外部から供給される複数トラックを有する楽曲関連データを所定量遅延させる遅延手段と
を具備し、
前記演奏クロック生成装置のデータ取得手段は、前記外部から供給される楽曲関連データの１のトラックを取得し、
各々の前記演奏クロック生成装置のデータ取得手段は、互いに異なるトラックを取得する
ことを特徴とするデータ再生装置。
【請求項１２】
楽曲の内容に対応し時刻の進行に応じて変化する楽曲関連データを取得するデータ取得過程と、
所定のアルゴリズムを用いて前記データ取得過程において取得した楽曲関連データを解析した結果に基づいて、前記楽曲の演奏位置を示す演奏位置情報を生成する演奏位置検出過程を複数有し、各演奏位置検出過程のアルゴリズムが各々異なる演奏位置検出過程群と、
前記演奏位置検出過程の各々において出力される演奏位置情報の正確性の程度を示す信頼性情報を取得する信頼性情報取得過程と、
前記演奏位置検出過程の各々において出力された演奏位置情報と、前記信頼性情報取得過程において取得した信頼性情報とに基づいて、前記楽曲の演奏位置に対応した時刻を示す演奏クロックを生成するクロック生成過程と
を備えることを特徴とする演奏クロック生成方法。
【請求項１３】
楽曲の内容に対応し時刻の進行に応じて変化する楽曲関連データを取得するデータ取得過程と、
所定のアルゴリズムを用いて前記データ取得過程において取得した楽曲関連データを解析した結果に基づいて、前記楽曲の演奏位置を示す演奏位置情報を生成する演奏位置検出過程を複数有し、各演奏位置検出過程のアルゴリズムが各々異なる演奏位置検出過程群と、
前記演奏位置検出過程の各々において出力される演奏位置情報の正確性の程度を示す信頼性情報を取得する信頼性情報取得過程と、
前記演奏位置検出過程の各々において出力された演奏位置情報と、前記信頼性情報取得過程において取得した信頼性情報とに基づいて、前記楽曲の演奏位置に対応した時刻を示す演奏クロックを生成するクロック生成過程と
データ各部についての時刻を規定する時刻情報を有した同期データを記憶する記憶手段から、前記クロック生成過程によって生成された演奏クロックと前記時刻情報の対応関係に基づいて、前記同期データを読み出すデータ読出過程と、
前記データ取得過程において取得した楽曲関連データを所定量遅延させる遅延過程と
を備えることを特徴とするデータ再生方法。
【請求項１４】
コンピュータに、
楽曲の内容に対応し時刻の進行に応じて変化する楽曲関連データを取得するデータ取得機能と、
所定のアルゴリズムを用いて前記データ取得機能において取得した楽曲関連データを解析した結果に基づいて、前記楽曲の演奏位置を示す演奏位置情報を生成する演奏位置検出機能を複数有し、各演奏位置検出機能のアルゴリズムが各々異なる演奏位置検出機能群と、
前記演奏位置検出機能の各々において出力される演奏位置情報の正確性の程度を示す信頼性情報を取得する信頼性情報取得機能と、
前記演奏位置検出機能の各々において出力された演奏位置情報と、前記信頼性情報取得機能において取得した信頼性情報とに基づいて、前記楽曲の演奏位置に対応した時刻を示す演奏クロックを生成するクロック生成機能と
を実現させるためのプログラム。
【請求項１５】
コンピュータに、
楽曲の内容に対応し時刻の進行に応じて変化する楽曲関連データを取得するデータ取得機能と、
所定のアルゴリズムを用いて前記データ取得機能において取得した楽曲関連データを解析した結果に基づいて、前記楽曲の演奏位置を示す演奏位置情報を生成する演奏位置検出機能を複数有し、各演奏位置検出機能のアルゴリズムが各々異なる演奏位置検出機能群と、
前記演奏位置検出機能の各々において出力される演奏位置情報の正確性の程度を示す信頼性情報を取得する信頼性情報取得機能と、
前記演奏位置検出機能の各々において出力された演奏位置情報と、前記信頼性情報取得機能において取得した信頼性情報とに基づいて、前記楽曲の演奏位置に対応した時刻を示す演奏クロックを生成するクロック生成機能と、
データ各部についての時刻を規定する時刻情報を有した同期データを記憶する記憶手段から、前記クロック生成機能によって生成された演奏クロックと前記時刻情報の対応関係に基づいて、前記同期データを読み出すデータ読出機能と、
前記データ取得機能において取得した楽曲関連データを所定量遅延させる遅延機能と
を実現させるためのプログラム。
【請求項１】
楽曲の内容に対応し時刻の進行に応じて変化する楽曲関連データを取得するデータ取得手段と、
所定のアルゴリズムを用いて前記データ取得手段が取得した楽曲関連データを解析した結果に基づいて、前記楽曲の演奏位置を示す演奏位置情報を生成する演奏位置検出手段を複数有し、各演奏位置検出手段のアルゴリズムが各々異なる演奏位置検出手段群と、
前記演奏位置検出手段の各々から出力される演奏位置情報の正確性の程度を示す信頼性情報を取得する信頼性情報取得手段と、
前記演奏位置検出手段の各々から出力された演奏位置情報と、前記信頼性情報取得手段が取得した信頼性情報とに基づいて、前記楽曲の演奏位置に対応した時刻を示す演奏クロックを生成するクロック生成手段と
を具備することを特徴とする演奏クロック生成装置。
【請求項２】
複数の前記演奏位置検出手段の少なくとも１の演奏位置検出手段は、参照用データを記憶する参照用データ記憶手段を有し、
当該演奏位置検出手段は、前記参照用データをさらに用いて前記データ取得手段が取得した楽曲関連データを解析した結果に基づいて演奏位置情報を生成する
ことを特徴とする請求項１に記載の演奏クロック生成装置。
【請求項３】
前記楽曲の内容に関する情報を示す補助情報を取得する補助情報取得手段と
を具備し、
前記演奏位置検出手段は、前記補助情報取得手段が取得した補助情報をさらに用いて前記データ取得手段が取得した楽曲関連データを解析した結果に基づいて演奏位置情報を生成する
ことを特徴とする請求項１または請求項２に記載の演奏クロック生成装置。
【請求項４】
前記クロック生成手段は、前記演奏クロックを生成するとともに、当該演奏クロックに対応する演奏位置を示す補正演奏位置情報を生成し、
前記演奏位置検出手段は、前記補正演奏位置情報をさらに用いて前記データ取得手段が取得した楽曲関連データを解析した結果に基づいて演奏位置情報を生成する
ことを特徴とする請求項１乃至請求項３のいずれかに記載の演奏クロック生成装置。
【請求項５】
前記演奏位置検出手段は、演奏位置情報を生成するとともに、信頼性情報を生成し、
前記信頼性情報取得手段は、前記演奏位置検出手段が生成した信頼性情報を取得する
ことを特徴とする請求項１乃至請求項４のいずれかに記載の演奏クロック生成装置。
【請求項６】
複数の前記演奏位置検出手段の少なくとも１の演奏位置検出手段は、演奏位置情報と信頼性情報との組を複数生成する
ことを特徴とする請求項５に記載の演奏クロック生成装置。
【請求項７】
信頼性情報を外部から受信する信頼性情報受信手段をさらに具備し、
前記信頼性情報取得手段は、前記信頼性情報受信手段が受信した信頼性情報を取得する
ことを特徴とする請求項１乃至請求項６のいずれかに記載の演奏クロック生成装置。
【請求項８】
前記データ取得手段が取得した楽曲関連データの特徴量を抽出し、当該特徴量に基づいて信頼性情報を生成する特徴量抽出手段をさらに具備し、
前記信頼性情報取得手段は、前記特徴量抽出手段によって生成された信頼性情報を取得する
ことを特徴とする請求項１乃至請求項７のいずれかに記載の演奏クロック生成装置。
【請求項９】
前記クロック生成手段は、前記演奏クロックを生成するとともに、前記演奏クロックの正確性の程度を示す総合信頼性情報を生成する
ことを特徴とする請求項１乃至請求項８のいずれかに記載の演奏クロック生成装置。
【請求項１０】
請求項１乃至請求項８のいずれかに記載の演奏クロック生成装置と、
データ各部についての時刻を規定する時刻情報を有した同期データを記憶する記憶手段と、
前記クロック生成手段によって生成された演奏クロックと前記時刻情報の対応関係に基づいて、前記記憶手段から前記同期データを読み出すデータ読出手段と、
前記データ取得手段が取得した楽曲関連データを所定量遅延させる遅延手段と
を具備することを特徴とするデータ再生装置。
【請求項１１】
複数の請求項９に記載の演奏クロック生成装置と、
複数の前記演奏クロック生成装置のクロック生成手段によって生成された演奏クロックと総合信頼性情報とに基づいて、１の演奏クロックを生成するクロック調整手段と、
データ各部についての時刻を規定する時刻情報を有した同期データを記憶する記憶手段と、
前記クロック生成手段によって生成された演奏クロックと前記時刻情報の対応関係に基づいて、前記記憶手段から前記同期データを読み出すデータ読出手段と、
外部から供給される複数トラックを有する楽曲関連データを所定量遅延させる遅延手段と
を具備し、
前記演奏クロック生成装置のデータ取得手段は、前記外部から供給される楽曲関連データの１のトラックを取得し、
各々の前記演奏クロック生成装置のデータ取得手段は、互いに異なるトラックを取得する
ことを特徴とするデータ再生装置。
【請求項１２】
楽曲の内容に対応し時刻の進行に応じて変化する楽曲関連データを取得するデータ取得過程と、
所定のアルゴリズムを用いて前記データ取得過程において取得した楽曲関連データを解析した結果に基づいて、前記楽曲の演奏位置を示す演奏位置情報を生成する演奏位置検出過程を複数有し、各演奏位置検出過程のアルゴリズムが各々異なる演奏位置検出過程群と、
前記演奏位置検出過程の各々において出力される演奏位置情報の正確性の程度を示す信頼性情報を取得する信頼性情報取得過程と、
前記演奏位置検出過程の各々において出力された演奏位置情報と、前記信頼性情報取得過程において取得した信頼性情報とに基づいて、前記楽曲の演奏位置に対応した時刻を示す演奏クロックを生成するクロック生成過程と
を備えることを特徴とする演奏クロック生成方法。
【請求項１３】
楽曲の内容に対応し時刻の進行に応じて変化する楽曲関連データを取得するデータ取得過程と、
所定のアルゴリズムを用いて前記データ取得過程において取得した楽曲関連データを解析した結果に基づいて、前記楽曲の演奏位置を示す演奏位置情報を生成する演奏位置検出過程を複数有し、各演奏位置検出過程のアルゴリズムが各々異なる演奏位置検出過程群と、
前記演奏位置検出過程の各々において出力される演奏位置情報の正確性の程度を示す信頼性情報を取得する信頼性情報取得過程と、
前記演奏位置検出過程の各々において出力された演奏位置情報と、前記信頼性情報取得過程において取得した信頼性情報とに基づいて、前記楽曲の演奏位置に対応した時刻を示す演奏クロックを生成するクロック生成過程と
データ各部についての時刻を規定する時刻情報を有した同期データを記憶する記憶手段から、前記クロック生成過程によって生成された演奏クロックと前記時刻情報の対応関係に基づいて、前記同期データを読み出すデータ読出過程と、
前記データ取得過程において取得した楽曲関連データを所定量遅延させる遅延過程と
を備えることを特徴とするデータ再生方法。
【請求項１４】
コンピュータに、
楽曲の内容に対応し時刻の進行に応じて変化する楽曲関連データを取得するデータ取得機能と、
所定のアルゴリズムを用いて前記データ取得機能において取得した楽曲関連データを解析した結果に基づいて、前記楽曲の演奏位置を示す演奏位置情報を生成する演奏位置検出機能を複数有し、各演奏位置検出機能のアルゴリズムが各々異なる演奏位置検出機能群と、
前記演奏位置検出機能の各々において出力される演奏位置情報の正確性の程度を示す信頼性情報を取得する信頼性情報取得機能と、
前記演奏位置検出機能の各々において出力された演奏位置情報と、前記信頼性情報取得機能において取得した信頼性情報とに基づいて、前記楽曲の演奏位置に対応した時刻を示す演奏クロックを生成するクロック生成機能と
を実現させるためのプログラム。
【請求項１５】
コンピュータに、
楽曲の内容に対応し時刻の進行に応じて変化する楽曲関連データを取得するデータ取得機能と、
所定のアルゴリズムを用いて前記データ取得機能において取得した楽曲関連データを解析した結果に基づいて、前記楽曲の演奏位置を示す演奏位置情報を生成する演奏位置検出機能を複数有し、各演奏位置検出機能のアルゴリズムが各々異なる演奏位置検出機能群と、
前記演奏位置検出機能の各々において出力される演奏位置情報の正確性の程度を示す信頼性情報を取得する信頼性情報取得機能と、
前記演奏位置検出機能の各々において出力された演奏位置情報と、前記信頼性情報取得機能において取得した信頼性情報とに基づいて、前記楽曲の演奏位置に対応した時刻を示す演奏クロックを生成するクロック生成機能と、
データ各部についての時刻を規定する時刻情報を有した同期データを記憶する記憶手段から、前記クロック生成機能によって生成された演奏クロックと前記時刻情報の対応関係に基づいて、前記同期データを読み出すデータ読出機能と、
前記データ取得機能において取得した楽曲関連データを所定量遅延させる遅延機能と
を実現させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００９−１４９７８（Ｐ２００９−１４９７８Ａ）
【公開日】平成２１年１月２２日（２００９．１．２２）
【国際特許分類】
【出願番号】特願２００７−１７６２１５（Ｐ２００７−１７６２１５）
【出願日】平成１９年７月４日（２００７．７．４）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
【公開日】平成２１年１月２２日（２００９．１．２２）
【国際特許分類】
【出願日】平成１９年７月４日（２００７．７．４）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
[ Back to top ]