情報処理システム，プログラム
【課題】携帯機器において、楽曲波形データに基づく楽音の演奏タイミングに対する、歌詞構成文字の出力のズレを低減させる。
【解決手段】カラオケ再生処理は、対象楽曲に対応する楽曲タグデータを情報処理サーバに送信し（ＳＳ１０）、さらに、楽曲波形データに対して、各種処理を実行した結果である端末送信情報を情報処理サーバに送信する（ＳＳ２０，ＳＳ３０，ＳＳ４０）。一方、データ修正処理は、携帯端末からの楽曲タグデータを取得すると、その楽曲タグデータに対応する対象楽曲の音楽データと端末送信情報とに基づいて生成した修正出力データ、及び対象楽曲の歌詞テロップデータを携帯端末へと送信する（ＳＳ５０）。これらのデータを受信した携帯端末は、対象楽曲に対応する楽曲波形データを再生すると共に、その再生に併せて歌詞構成文字を出力する。
【解決手段】カラオケ再生処理は、対象楽曲に対応する楽曲タグデータを情報処理サーバに送信し（ＳＳ１０）、さらに、楽曲波形データに対して、各種処理を実行した結果である端末送信情報を情報処理サーバに送信する（ＳＳ２０，ＳＳ３０，ＳＳ４０）。一方、データ修正処理は、携帯端末からの楽曲タグデータを取得すると、その楽曲タグデータに対応する対象楽曲の音楽データと端末送信情報とに基づいて生成した修正出力データ、及び対象楽曲の歌詞テロップデータを携帯端末へと送信する（ＳＳ５０）。これらのデータを受信した携帯端末は、対象楽曲に対応する楽曲波形データを再生すると共に、その再生に併せて歌詞構成文字を出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音楽データに対して情報処理を実行する情報処理システム、及びプログラムに関する。
【背景技術】
【０００２】
従来、音楽を再生する音楽再生機器と、音楽再生機器との間でデータ通信を実行する情報処理装置とを備えた情報配信システムが知られている（例えば、特許文献１参照）。
この特許文献１に記載された情報配信システムにおいては、情報処理装置にて、楽曲に関する複数種類のデータ群である音楽データを取得して、その音楽データを音楽再生機器に送信することがなされている。ここでいう“音楽データ”とは、楽曲の楽譜を表し、当該楽曲の進行を表す演奏速度情報と共に、音源モジュールから出力する個々の出力音について、少なくとも音高及び演奏開始タイミングが規定された楽曲楽譜データ（いわゆるＭＩＤＩデータ）と、楽曲の歌詞を構成する歌詞構成文字を表す歌詞テロップデータと、歌詞構成文字の出力タイミングである歌詞出力タイミングを規定するデータであり、かつ少なくとも１つの歌詞構成文字に対する歌詞出力タイミングが、楽曲楽譜データ中の少なくとも１つのタイミングに対応付けられた歌詞出力データとを、楽曲ごとに対応付けたものである。
【０００３】
ところで、近年普及した携帯機器は、楽曲を構成する楽音の音圧が時間軸に沿って推移した楽音波形を表す楽曲波形データ（いわゆる、ＭＰ３やＷＡＶなどの音声ファイルフォーマット形式のデータ）を再生演奏することで、音楽再生機器として機能させることが可能に構成されている。このような携帯機器の利用方法として、再生演奏した音楽を聴くだけでなく、その音楽の再生演奏の際に、カラオケを楽しみたいという要望がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−０２６６７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、携帯機器において、楽曲波形データを有効活用してカラオケを実現するためには、当該楽曲に対応した歌詞データを、携帯機器にて取得する必要がある。ここで、携帯機器にて取得する必要がある歌詞データとは、楽曲の歌詞に関するデータであり、歌詞テロップデータと、歌詞出力データとを含む。
【０００６】
一般的に、歌詞出力データは、楽曲楽譜データに基づく当該楽曲の演奏に、個々の歌詞構成文字の歌詞出力タイミングが対応付くように生成されており、楽曲波形データに基づく当該楽曲の再生演奏に対応付くように生成されてはいない。
【０００７】
特に、楽曲楽譜データは、一般的に、楽曲波形データに基づく演奏を聴聞した人物が、個々の出力音の音高や演奏開始タイミングを特定して規定することで生成される。よって、楽曲楽譜データにおいて、出力音の音高や演奏開始タイミングは、楽曲波形データにおける個々の楽音の音高や演奏タイミングと一致せず、ズレが存在する。
【０００８】
このため、携帯機器において、楽曲波形データに基づく当該楽曲の再生演奏と共に、歌詞出力データに基づいて歌詞構成文字の出力（表示）を実行すると、その歌詞構成文字の出力タイミングが、個々の楽音の演奏タイミングに一致しないという問題が生じる。
【０００９】
そこで、本発明は、携帯機器において、楽曲波形データに基づく楽音の演奏タイミングに対する、歌詞構成文字の出力のズレを低減させることを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するためになされた本発明は、楽曲を構成する楽音の音圧が時間軸に沿って推移した楽音推移波形を表す楽曲波形データが、記憶部に記憶される携帯機器と、その携帯機器との間でデータ通信を実行する情報処理装置とを備えた情報処理システムに関する。
【００１１】
本発明の情報処理システムにおける情報処理装置は、楽曲楽譜データ、歌詞データ、歌詞出力データを取得して、少なくとも歌詞出力データに対して情報処理を実行する装置である。
【００１２】
この楽曲楽譜データは、楽曲の楽譜を表し、当該楽曲の進行を表す演奏速度情報と共に、音源モジュールから出力する個々の出力音について、少なくとも音高及び演奏開始タイミングが規定されたデータである。歌詞データは、楽曲の歌詞を構成する歌詞構成文字を表すデータである。歌詞出力データは、歌詞構成文字の出力タイミングである歌詞出力タイミングを規定するデータであり、かつ少なくとも１つの歌詞構成文字に対する歌詞出力タイミングが、楽曲楽譜データ中の少なくとも１つのタイミングに対応付けられたデータである。
【００１３】
そして、本発明の情報処理システムにおける携帯機器では、識別情報取得手段が、指定された楽曲である対象楽曲を識別する楽曲識別情報を取得し、その取得した楽曲識別情報を、識別情報送信手段が情報処理装置に送信する。速度情報送信手段が、識別情報取得手段で取得した楽曲識別情報に対応する対象楽曲の楽曲波形データから、該対象楽曲の進行を表す楽曲速度情報を取得して、情報処理装置に送信する。
【００１４】
さらに、本発明の情報処理システムにおける携帯機器では、歌詞情報取得手段が、対象楽曲の歌詞データ、及び情報処理装置にて情報処理が実行された歌詞出力データである修正出力データであって対象楽曲の修正出力データを、情報処理装置から取得し、演奏出力手段が、対象楽曲の楽曲波形データに基づいて当該対象楽曲を演奏すると共に、歌詞情報取得手段で取得した修正出力データに規定された歌詞出力タイミングに従って、歌詞データによって表される歌詞構成文字を順次表示する。
【００１５】
一方、本発明の情報処理システムにおける情報処理装置では、データ取得手段が、識別情報送信手段で送信された楽曲識別情報に対応する対象楽曲の楽曲楽譜データ、及び歌詞出力データを取得し、その取得した楽曲楽譜データから、演奏速度取得手段が演奏速度情報を取得する。そして、速度情報送信手段にて送信された楽曲速度情報と、演奏速度取得手段で取得した演奏速度情報とを比較した結果に基づき、時間ズレ量導出手段が、出力音の各々の演奏開始タイミングに対する、各出力音に対応する楽音の開始タイミングのズレ量を表す時間ズレ量を導出する。
【００１６】
さらに、本発明の情報処理システムにおける情報処理装置では、データ修正手段が、時間ズレ量導出手段で導出された時間ズレ量に従って、データ取得手段にて取得した歌詞出力データにおける歌詞出力タイミングを、楽音の開始タイミングに一致するように修正した当該歌詞出力データを修正出力データとして生成すると、その生成した修正出力データ、及び楽曲識別情報に対応する対象楽曲の歌詞データを、歌詞送信手段が携帯機器に送信する。
【００１７】
このような情報処理システムにて生成される修正出力データは、歌詞出力タイミングが、楽曲波形データにおける楽音の出力開始タイミングに一致したものである。よって、携帯機器にて、楽曲波形データに基づいて対象楽曲を演奏するときに、楽音の出力タイミングに一致して歌詞構成文字を順次表示することができ、各歌詞構成文字の表示が、楽曲波形データに基づく楽音の演奏タイミングに対して、ズレが生じることを低減できる。
【００１８】
特に、本発明の情報処理装置によれば、情報処理装置から携帯機器に送信するデータを、歌詞データ及び歌詞出力データとすることができるため、情報処理装置から携帯機器への通信量を少量とすることができる。
【００１９】
なお、情報処理装置が取得する「楽曲楽譜データ、歌詞データ、及び歌詞出力データ」は、情報処理装置内に設けられた情報記憶部に格納されていても良いし、情報処理装置とは別個に設けられた装置に格納されていても良い。また、ここでいう「歌詞構成文字」とは、歌詞を構成する文字の各々であっても良いし、その文字の各々を特定の規則に従って一群とした文節やフレーズであっても良い。
【００２０】
さらに、ここでいう「楽曲の進行」とは、楽曲におけるテンポを表す情報や、ベース楽器が演奏されたタイミングを表すベース波形を含むものである。
ところで、本発明において、携帯機器の速度情報送信手段は、対象楽曲の楽曲波形データに基づいて特定した、対象楽曲のテンポを表すテンポ情報、及び特定の楽器が演奏されたタイミングを表すベース波形情報を、楽曲速度情報として取得しても良い。
【００２１】
この場合、楽曲楽譜データは、当該楽曲楽譜データに対応する楽曲のテンポを表す情報である楽曲テンポ情報が規定されていると共に、対応する楽曲において演奏される楽器の種類毎に、出力音についての音高及び演奏開始タイミングが規定されていることが好ましく、さらに、情報処理装置の演奏速度取得手段は、楽曲テンポ情報、及び特定の楽器の出力音の演奏開始タイミングが時間軸に沿って推移したベース楽器波形を、演奏速度情報として取得することが好ましい（請求項２）。
【００２２】
本発明の情報処理システムにおいては、携帯端末側の楽曲波形データに基づいて、対象楽曲のテンポを楽曲速度情報として取得すると共に、ベース波形が出現したタイミングを利用したベース波形情報を楽曲速度情報として取得する。
【００２３】
したがって、対象楽曲におけるテンポのズレ、対象楽曲に含まれる楽器が演奏されるタイミングのズレを、時間ズレ量導出手段が算出できる。
なお、このような楽曲速度情報、及び演奏速度情報を用いて時間ズレ量を導出する方法としては、様々な方法が考えられる。
【００２４】
一例としては、テンポ情報と楽曲テンポ情報とのテンポの比を導出し、その導出したテンポの比を楽曲テンポ情報に乗じることで、楽曲楽譜データ全体のテンポを修正した上でベース楽器波形を取得する。
【００２５】
その上で、ベース波形情報に対して、取得したベース楽器波形を時間軸に沿ってシフトさせるごとに、ベース楽器波形とベース波形情報との相関値を導出し、その相関値が最大となるシフト量を、時間ズレ量として導出することが考えられる。
【００２６】
また、他の例としては、楽曲楽譜データ全体のテンポを修正した上で取得したベース楽器波形の時間軸に沿った最初のピークと、ベース波形情報の時間軸に沿った最初のピークとを一致させるベース楽器波形の時間軸に沿ったシフト量を時間ズレ量として導出することも考えられる。
【００２７】
そして、本発明の情報処理システムによれば、このような時間ズレ量を用いて修正出力データを生成するため、楽曲波形データに基づく楽音の演奏タイミングに対する、歌詞構成文字の出力タイミングのズレを、より確実に低減できる。
【００２８】
ただし、ここでいう“特定の楽器”とは、ベースギターや、コントラバスなどを含んでいても良く、この他に、打楽器（ドラムやシンバルなど）を含んでいても良い。そして、ベース波形情報は、特定の楽器の音の周波数帯の信号を通過させるフィルタに、楽曲波形データを通すことで取得しても良い。
【００２９】
ところで、本発明において、ベース波形情報は、サンプリング波形である。この場合、携帯機器の速度情報送信手段が送信するベース波形情報は、楽音推移波形のサンプリング周波数よりも低いサンプリング周波数でサンプリングしたものであることが好ましい（請求項３）。
【００３０】
このような情報処理システムによれば、携帯機器から情報処理装置に送信される楽曲速度情報の情報量を抑制できる。
また、本発明の情報処理システムにおいて、携帯機器では、スペクトル送信手段が、対象楽曲の楽曲波形データを取得し、該楽曲波形データによって表された楽音推移波形の周波数スペクトルである楽音スペクトル分布を導出して、情報処理装置に送信しても良い。
【００３１】
この場合、情報処理装置では、出力音スペクトル導出手段が、対象楽曲の楽曲楽譜データを取得し、該楽曲楽譜データに基づいて、出力音が時間軸に沿って推移した波形である出力音推移波形の周波数スペクトルである出力音スペクトル分布を導出する。そして、音高相関導出手段が、スペクトル送信手段にて送信された楽音スペクトル分布と、出力音スペクトル導出手段で導出された出力音スペクトル分布との相関値を表す音高相関値を、楽音スペクトル分布において予め規定された規定位置から出力音スペクトル分布を周波数軸に沿ってシフトさせるごとに導出する。すると、楽譜データ修正手段が、音高相関導出手段にて導出された音高相関値の中で、値が最大となる音高相関値に対応する規定位置からの周波数軸に沿ったシフト量を音高補正量として、対象楽曲の楽曲楽譜データに規定された出力音の各々の音高をシフトさせることで、新たな楽曲楽譜データを生成することが好ましい。
【００３２】
なお、演奏速度取得手段は、楽譜データ修正手段で生成された新たな楽曲楽譜データから、演奏速度情報を取得することが好ましい。
このような情報処理システムによれば、楽音の音高に一致するように楽曲楽譜データを修正した上で、演奏速度情報を導出できる。この結果、本発明の情報処理システムによれば、修正出力データに規定される歌詞出力タイミングを、より確実に、楽曲波形データにおける楽音の出力開始タイミングに一致させることができる。
【００３３】
なお、本発明は、携帯機器に備えられたコンピュータに実行させるプログラムであっても良い。ただし、携帯機器は、楽曲楽譜データ、歌詞データ、及び歌詞出力データを取得して、少なくとも歌詞出力データに対して情報処理を実行する情報処理装置との間でデータ通信を実行すると共に、楽曲波形データが記憶部に記憶されている。
【００３４】
この本発明のプログラムは、指定された楽曲である対象楽曲を識別する楽曲識別情報を取得する識別情報取得手順と、その取得した楽曲識別情報を、情報処理装置に送信する識別情報送信手順と、楽曲識別情報に対応する対象楽曲の楽曲波形データから、該対象楽曲の進行を表す楽曲速度情報を取得して、情報処理装置に送信する速度情報送信手順と、修正出力データ、及び楽曲識別情報に対応する対象楽曲の歌詞データを、情報処理装置から取得する歌詞情報取得手順と、対象楽曲の楽曲波形データに基づいて当該対象楽曲を演奏すると共に、歌詞情報取得手順で取得した修正出力データに規定された歌詞出力タイミングに従って、歌詞データによって表される歌詞構成文字を順次表示する演奏出力手順とをコンピュータに実行させるものである（請求項５）。
【００３５】
ただし、歌詞情報取得手順にて取得される修正出力データとは、情報処理装置が情報処理を実行した結果であり、楽曲識別情報に対応する対象楽曲の楽曲楽譜データ、及び歌詞出力データを取得し、該取得した楽曲楽譜データから取得した演奏速度情報と速度情報送信手順にて送信された楽曲速度情報と比較した結果に基づき、出力音の各々の演奏開始タイミングに対する、各出力音に対応する楽音の開始タイミングのズレ量を表す時間ズレ量を導出すると共に、該導出された時間ズレ量に従って、歌詞出力データにおける歌詞出力タイミングを、楽音の開始タイミングに一致するように修正した歌詞出力データである。
【００３６】
本発明のプログラムが、このようになされていれば、コンピュータ読み取り可能な記録媒体（例えば、メモリカードなど）に記録し、必要に応じてコンピュータにロードさせて起動することや、必要に応じて通信回線を介してコンピュータに取得させて起動することにより用いることができる。そして、携帯機器のコンピュータに各手順を実行させることで、その携帯機器のコンピュータを、請求項１に記載された情報処理システムを構成する携帯機器（音楽再生機器）として機能させることができる。
【図面の簡単な説明】
【００３７】
【図１】本発明が適用された情報処理システムの概略構成を示すブロック図である。
【図２】情報処理システムにて実行される処理の処理手順を示すフローチャートである。
【図３】楽曲ＢＰＭの推定手法を示す図である。
【図４】情報処理サーバにて実行する音高補正処理の処理手順を示すフローチャートである。
【図５】音高補正処理の処理概要を示す図である。
【図６】情報処理サーバにて実行するタイミング補正処理の処理手順を示すフローチャートである。
【図７】タイミング補正処理の概要を示す図である。
【発明を実施するための形態】
【００３８】
以下に本発明の実施形態を図面と共に説明する。
〈情報処理システムについて〉
ここで、図１は、本発明が適用された情報処理システムの概略構成を示すブロック図である。
【００３９】
本実施形態の情報処理システム１は、ポータブルオーディオプレーヤとして機能する携帯端末５に対して、処理プログラムに従って処理を実行したデータを配信する情報配信システムである。
【００４０】
これを実現するため、情報処理システム１は、記憶部１０に格納された楽曲音響データＷＤを再生可能な、少なくとも一台の携帯端末５Ａ〜５ｎ（ｎは、携帯端末の台数を表す１以上の自然数）と、楽曲の歌詞に関する歌詞データ群ＤＬを含む音楽データＭＤに対して、各種処理を実行する情報処理サーバ２０とを備えている。そして、情報処理システム１においては、携帯端末５と情報処理サーバ２０とは、相互にデータ通信可能に接続されている。
【００４１】
すなわち、本実施形態の情報処理システム１では、楽曲音響データＷＤが記憶された携帯端末５において、その記憶された楽曲音響データＷＤを再生すると共に、情報処理サーバ２０から配信されたデータに基づいて、楽曲音響データＷＤの再生に併せて歌詞を出力するシステムである。
〈携帯端末について〉
ここで、携帯端末について説明する。
【００４２】
携帯端末５は、図１に示すように、情報受付部６と、表示部７と、音出力部８と、通信部９と、記憶部１０と、制御部１１とを備え、楽曲音響データＷＤを再生可能な端末（例えば、周知のポータブルオーディオプレーヤや、オーディオプレーヤとして機能する周知の携帯電話）である。
【００４３】
このうち、情報受付部６は、入力装置（図示せず）を介して入力された情報を受け付ける。表示部７は、制御部１１からの指令に基づいて、少なくとも、文字コードで示される情報を含む画像を表示する。音出力部８は、少なくとも、楽曲音響データＷＤを再生して音を出力する周知の装置であり、例えば、ＰＣＭ音源と、スピーカとを備えている。
【００４４】
通信部９は、通信網（例えば、公衆無線通信網やネットワーク回線）を介して、携帯端末５が外部との間で情報通信を行うものである。記憶部１０は、記憶内容を読み書き可能に構成された不揮発性の記憶装置（例えば、ハードディスク装置や、フラッシュメモリ）であり、各種処理プログラムや各種データが記憶される。
【００４５】
その記憶部１０に記憶される楽曲音響データＷＤは、１つの楽曲（以下、特定楽曲とする）を構成する全ての楽音の音圧が時間軸に沿って推移したアナログ波形（即ち、楽音推移波形）を標本化（サンプリング）した楽曲波形データＤＷと、特定楽曲を識別する情報（例えば、識別番号）である楽曲タグデータＤＤとを備えている。
【００４６】
すなわち、１つの楽曲音響データＷＤは、楽曲タグデータＤＤと楽曲波形データＤＷとが、特定楽曲ごとに対応付けられたデータであり、例えば、ＷＡＶやＭＰ３形式の音声ファイルである。なお、本実施形態においては、少なくとも１つの楽曲音響データＷＤが記憶部１０に記憶されており、図１中の符号“ｍ”は、記憶部１０に記憶されている楽曲波形データの数（１以上の自然数）を表す。
【００４７】
また、制御部１１は、電源が切断されても記憶内容を保持する必要がある処理プログラムやデータを格納するＲＯＭ１２と、処理プログラムやデータを一時的に格納するＲＡＭ１３と、ＲＯＭ１２やＲＡＭ１３に記憶された処理プログラムに従って各処理（各種演算）を実行するＣＰＵ１４とを少なくとも有した周知のコンピュータを中心に構成されている。
【００４８】
なお、ＲＯＭ１２には、情報受付部６を介して指定された楽曲（以下、対象楽曲と称す）に対応する楽曲波形データＤＷを再生すると共に、情報処理サーバ２０から、対象楽曲に対応する歌詞データ群ＤＬを取得して、楽曲波形データＤＷの再生に併せて歌詞を出力するカラオケ再生処理を、制御部１１が実行するためのプログラムが格納されている。
〈情報処理サーバについて〉
次に、情報処理サーバ２０について説明する。
【００４９】
この情報処理サーバ２０は、通信部２１と、入力受付部２２と、表示部２３と、音入力部２４と、音出力部２５と、音源モジュール２６と、記憶部２７と、制御部３０とを備えている。
【００５０】
このうち、通信部２１は、通信網（例えば、公衆無線通信網やネットワーク回線）を介して、情報処理サーバ２０が外部との間で通信を行う。入力受付部２２は、外部からの操作に従って情報や指令の入力を受け付ける入力機器（例えば、キーボードやポインティングデバイス）である。
【００５１】
表示部２３は、少なくとも、文字コードで示される情報を含む画像を表示する表示装置（例えば、液晶ディスプレイやＣＲＴ等）である。また、音入力部２４は、音を電気信号に変換して制御部３０に入力する装置（いわゆるマイクロホン）である。音出力部２５は、制御部３０からの電気信号を音に変換して出力する装置（いわゆるスピーカ）である。さらに、音源モジュール２６は、ＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）規格によって規定されたデータに基づいて、音源からの音を模擬した音（即ち、出力音）を出力する装置（例えば、ＭＩＤＩ音源）である。
【００５２】
記憶部２７は、記憶内容を読み書き可能に構成された不揮発性の記憶装置（例えば、ハードディスク装置や、フラッシュメモリ）である。その記憶部２７には、音楽データＭＤ１〜ＭＤｌ（ｌは、音楽データの数を表す１以上の自然数）が格納されている。
〈音楽データについて〉
本実施形態における音楽データＭＤには、楽曲ＭＩＤＩデータＤＭ（特許請求の範囲における楽曲楽譜データに相当）と、歌詞データ群ＤＬとが含まれる。
【００５３】
このうち、楽曲ＭＩＤＩデータＤＭは、周知のＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）規格によって、特定楽曲を模擬した楽曲の楽譜を表すデータであり、楽曲ごとに予め用意されている。この楽曲ＭＩＤＩデータＤＭの各々は、楽曲を区別するデータである識別データと、当該楽曲にて用いられる楽器ごとの楽譜を表す楽譜トラックと、当該楽曲を分割した区間（例えば、Ａメロやサビなど）の各々におけるテンポ（いわゆるＢＰＭ（Ｂｅａｔｓ Ｐｅｒ Ｍｉｎｕｔｅ））を表すテンポデータ（特許請求の範囲における楽曲テンポ情報に相当）とを少なくとも有している。
【００５４】
そして、楽譜トラックには、ＭＩＤＩ音源から出力される個々の出力音について、少なくとも、音高（いわゆるノートナンバー）と、音源モジュールが出力音を出力する期間（以下、音符長）とが規定されている。ただし、楽譜トラックの音符長は、当該出力音の出力を開始するまでの当該楽曲の演奏開始からの時間を表す演奏開始タイミング（いわゆるノートオンタイミング）と、当該出力音の出力を終了するまでの当該楽曲の演奏開始からの時間を表す演奏終了タイミング（いわゆるノートオフタイミング）とによって規定されている。
【００５５】
なお、楽譜トラックは、例えば、鍵盤楽器（例えば、ピアノやパイプオルガンなど）、弦楽器（例えば、バイオリンやビオラ、ギター、ベースギター、琴など）、打楽器（例えば、ドラムやシンバル、ティンパニー、木琴など）、及び管楽器（例えば、クラリネットやトランペット、フルート、尺八など）などの楽器ごとに用意されている。
【００５６】
一方、歌詞データ群ＤＬは、周知のカラオケ装置を構成する表示装置に表示される歌詞に関するデータであり、特定楽曲の歌詞を構成する文字（以下、歌詞構成文字とする）を表す歌詞テロップデータＤＴと、歌詞構成文字の出力タイミングである歌詞出力タイミングを、楽曲ＭＩＤＩデータＤＭの演奏と対応付けるタイミング対応関係が規定された歌詞出力データＤＯとを備えている。
【００５７】
具体的に、本実施形態におけるタイミング対応関係は、楽曲ＭＩＤＩデータＤＭの演奏を開始するタイミングに、歌詞テロップデータＤＴの出力を開始するタイミングが対応付けられた上で、特定楽曲の時間軸に沿った各歌詞構成文字の歌詞出力タイミングが、楽曲ＭＩＤＩデータＤＭの演奏を開始からの経過時間によって規定されている。なお、ここでいう経過時間とは、例えば、表示された歌詞構成文字の色替えを実行するタイミングを表す時間であり、色替えの速度によって規定されている。また、ここでいう歌詞構成文字は、歌詞を構成する文字の各々であっても良いし、その文字の各々を時間軸に沿った特定の規則に従って一群とした文節やフレーズであっても良い。
【００５８】
なお、本実施形態においては、楽曲ＭＩＤＩデータＤＭと、歌詞データ群ＤＬとは、それぞれ対応する特定楽曲ごとに対応付けて、記憶部２７に格納されている。
また、制御部３０は、電源が切断されても記憶内容を保持する必要がある処理プログラムやデータを格納するＲＯＭ３１と、処理プログラムやデータを一時的に格納するＲＡＭ３２と、ＲＯＭ３１やＲＡＭ３２に記憶された処理プログラムに従って各処理（各種演算）を実行するＣＰＵ３３とを少なくとも有した周知のコンピュータを中心に構成されている。
【００５９】
なお、ＲＯＭ３１には、対象楽曲に対応する歌詞出力データＤＯの歌詞出力タイミングを、対象楽曲に対応する楽曲波形データＤＷ中の楽音の演奏開始タイミングに一致するように修正した修正出力データＤＯを生成して出力するデータ修正処理を、制御部３０が実行するための処理プログラムが格納されている。
〈カラオケ再生処理及びデータ修正処理の概要について〉
次に、携帯端末５の制御部１１が実行するカラオケ再生処理、及び情報処理サーバ２０の制御部３０が実行するデータ修正処理について説明する。
【００６０】
ここで、図２は、カラオケ再生処理の処理手順、及びデータ修正処理の処理手順を示したフローチャートである。
このカラオケ再生処理は、情報受付部６を介して起動指令が入力されると、起動されるものである。
【００６１】
この図２に示すように、携帯端末５の制御部１１が実行するカラオケ再生処理では、対象楽曲に対応する楽曲タグデータＤＤを、携帯端末５の記憶部１０から取得して情報処理サーバ２０に送信する（ＳＳ１０）。さらに、カラオケ再生処理では、携帯端末５の記憶部１０から取得した対象楽曲に対応する楽曲波形データＤＷに対して、各種処理を実行した結果（以下、端末送信情報と称す）を情報処理サーバ２０に送信する（ＳＳ２０，ＳＳ３０，ＳＳ４０）。
【００６２】
一方、情報処理サーバ２０の制御部３０が実行するデータ修正処理では、携帯端末５からの楽曲タグデータＤＤを取得すると、その楽曲タグデータＤＤに対応する特定楽曲の音楽データ、及び携帯端末５からの端末送信情報に基づいて、修正出力データＤＯを生成する。さらに、データ修正処理では、その生成した修正出力データＤＯ、及び対象楽曲の歌詞テロップデータＤＴを携帯端末５へと送信する（ＳＳ５０）。
【００６３】
この情報処理サーバ２０から、修正出力データＤＯ及び対象楽曲の歌詞テロップデータＤＴを受信した携帯端末５では、カラオケ再生処理にて、対象楽曲に対応する楽曲波形データＤＷを再生すると共に、楽曲波形データＤＷの再生に併せて歌詞構成文字を出力する。
〈カラオケ再生処理について〉
次に、携帯端末５の制御部１１が実行するカラオケ再生処理について、詳細に説明する。
【００６４】
このカラオケ再生処理は、情報受付部６を介して起動指令が入力されると、起動されるものである。
そして、カラオケ再生処理は、起動されると、まず、情報受付部６を介して入力された情報によって指定された楽曲（即ち、対象楽曲）に対応する楽曲タグデータＤＤを、携帯端末５の記憶部１０から取得する（Ｓ１１０（Ｓは、ステップを意味する））。続いて、Ｓ１１０にて取得した楽曲タグデータＤＤを情報処理サーバ２０に送信する（ＳＳ１０）。
【００６５】
さらに、対象楽曲に対応する楽曲波形データＤＷを取得し（Ｓ１２０）、その取得した楽曲波形データＤＷから楽曲スペクトルを導出する（Ｓ１３０）。
具体的に、本実施形態のＳ１３０では、楽曲波形データＤＷによって表される楽音推移波形を時間軸に沿って単位時間ごとに切り出した波形素片を周波数分析（例えば、ＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ ｔｒａｎｓｆｏｒｍ）による離散フーリエ変換）する。なお、単位時間とは、いわゆる時間窓として予め規定された時間長であり、楽曲波形データＤＷにおける時間軸に沿って重複して設定されている。
【００６６】
そして、この周波数分析によって導出される全ての波形素片の周波数スペクトルについて、周波数成分ごとの振幅（絶対値）を平均した結果を、楽曲スペクトルとして導出する。
【００６７】
その後、端末送信情報の１つとして、Ｓ１３０で導出した楽曲スペクトルを情報処理サーバ２０に送信する（ＳＳ２０）。
さらに、Ｓ１２０で取得した楽曲波形データＤＷに基づいて、対象楽曲のテンポ（いわゆるＢＰＭ（Ｂｅａｔｓ Ｐｅｒ Ｍｉｎｕｔｅ）、以下、楽曲ＢＰＭと称す）を推定する（Ｓ１４０）。
【００６８】
ここで、図３は、本実施形態において、楽曲ＢＰＭを推定する手法を説明する図である。
具体的に、本実施形態のＳ１４０では、楽曲波形データＤＷによって表される楽音推移波形から、時間軸に沿って単位時間ごとに波形素片を切り出す。そして、打楽器（例えば、ドラム）の楽音の周波数スペクトルを包絡線にて模擬し、かつ予め用意した基準スペクトル（図３（Ａ）参照）を、単位時間ごとに切り出した各波形素片を周波数分析した結果（即ち、周波数スペクトルの包絡線）に照合し、各波形素片の周波数スペクトル（包絡線）に対する基準スペクトルの類似度（以下、スペクトル類似度と称す）を導出する。
【００６９】
さらに、図３（Ｂ）に示すような、対象楽曲の時間軸に沿ったスペクトル類似度の推移を表す類似度推移を導出し、その類似度推移において、スペクトル類似度の極大値であって、互いに隣接するスペクトル類似度の極大値間の時間間隔（図３（Ｂ）中：ＴＩ）を求める。そして、図３（Ｃ）に示すような、時間間隔ＴＩを階級としたヒストグラムを表す時間間隔分布を生成し、その時間間隔分布において、最も大きな度数に対応する時間間隔（以下、最頻時間間隔と称す）ＴＩの逆数を、楽曲ＢＰＭとして推定する。
【００７０】
なお、楽曲ＢＰＭの推定方法を、より詳しく説明すると、本実施形態では、最頻時間間隔ＴＩの単位が秒［ｓ：ｓｅｃｏｎｄ］であれば、楽曲ＢＰＭ＝６０／最頻時間間隔ＴＩにて推定し、最頻時間間隔ＴＩの単位が分［ｍ：ｍｉｎｕｔｅ］であれば、楽曲ＢＰＭ＝１／最頻時間間隔ＴＩにて推定することが好ましい。
【００７１】
なお、Ｓ１４０における楽曲ＢＰＭの推定は、対象楽曲において、歌詞が規定されている歌唱区間（例えば、サビ）などの特定の区間に対して実行しても良いし、対象楽曲の全区間に対して実行しても良い。
【００７２】
カラオケ再生処理では、Ｓ１４０にて推定した楽曲ＢＰＭを端末送信情報の１つとして、情報処理サーバ２０に送信する（ＳＳ３０）。その後、楽曲波形データＤＷによって表される楽音推移波形から、ベースギターの楽音が時間軸に沿って推移した波形であるベース波形情報を抽出する（Ｓ１５０）。具体的に、本実施形態のＳ１５０では、ベースギターの楽音の周波数帯域での信号を通過させる帯域制限フィルタを予め用意し、その帯域制限フィルタに、楽曲波形データＤＷによって表される楽音推移波形を通す。そして、この帯域制限フィルタ通過後の信号波形を、楽音推移波形のサンプリング周波数よりも低いサンプリング周波数で再度サンプリングした信号波形（即ち、ダウンサンプリングした信号波形）を、ベース波形情報として抽出する。
【００７３】
カラオケ再生処理では、端末送信情報の１つとして、ベース波形情報を情報処理サーバ２０に送信する（ＳＳ４０）。
そして、カラオケ再生処理では、情報処理サーバ２０からの修正出力データＤＯ及び対象楽曲の歌詞テロップデータＤＴを受信すると、対象楽曲に対応する楽曲波形データＤＷを再生すると共に、楽曲波形データＤＷの再生に併せて歌詞構成文字を表示部７に表示する（Ｓ１６０）。このＳ１６０での歌詞構成文字の表示には、表示部７に表示した歌詞構成文字の色を、楽曲波形データＤＷの再生に併せて変更することを含む。
【００７４】
その後、本カラオケ再生処理を終了する。
〈データ修正処理について〉
次に、情報処理サーバ２０の制御部３０が実行するデータ修正処理について、詳細に説明する。
【００７５】
このデータ修正処理は、図２に示すように、起動されると、まず、携帯端末５から楽曲タグデータＤＤを受信したか否かを判定する（Ｓ３１０）。このＳ３１０の判定の結果、楽曲タグデータＤＤを受信していなければ（Ｓ３１０：ＮＯ）、楽曲タグデータＤＤを受信するまで待機し、携帯端末５からの楽曲タグデータＤＤを受信すると（Ｓ３１０：ＹＥＳ）、Ｓ３２０へと移行する。
【００７６】
そのＳ３２０では、Ｓ３１０で受信した楽曲タグデータＤＤによって表される対象楽曲に対応した楽曲ＭＩＤＩデータＤＭ及び歌詞データ群ＤＬを取得する。そして、Ｓ３２０にて取得した楽曲ＭＩＤＩデータＤＭ、及び携帯端末５から受信した楽曲スペクトルに基づいて、対象楽曲を構成する楽音の音高に、出力音の音高が一致するように、当該楽曲ＭＩＤＩデータＤＭを修正する音高補正処理を実行する（Ｓ３３０）。以下、出力音について修正が実行された楽曲ＭＩＤＩデータＤＭを修正楽曲ＭＩＤＩデータＤＭと称す。
〈音高補正処理の処理内容について〉
ここで、データ修正処理のＳ１５０にて起動される音高補正処理について説明する。
【００７７】
この音高補正処理は、起動されると、図４に示すように、先のＳ３２０にて取得した楽曲ＭＩＤＩデータＤＭに含まれる全ての楽譜トラックに基づいて、全ての出力音が時間軸に沿って推移した波形である出力音推移波形を取得する（Ｓ５１０）。具体的に、本実施形態における出力音推移波形の取得は、ＭＩＤＩ規格のデータから音声信号（波形）を生成する周知のレンダリングによって実行される。
【００７８】
続いて、その取得した出力音推移波形を、時間軸に沿って設定された単位時間ごとに周波数解析して、各単位時間の出力音推移波形に対する周波数スペクトルを導出する（Ｓ５２０）。そのＳ５２０で導出された周波数スペクトルに基づいて、各周波数成分の強度を、時間軸に沿って周波数ごとに相加平均した平均出力音スペクトルを導出する（Ｓ５３０）。その導出した平均出力音スペクトルにおける周波数成分の強度を、境界が互いに隣接するように予め規定された周波数範囲（例えば、半音単位、以下、規定音高範囲）ごとに平均化して代表値とする（Ｓ５４０）。さらに、そのＳ５４０で平均化した平均出力音スペクトルにおける周波数成分の強度を、分散「１」、平均「０」となるように正規化した正規化出力音スペクトル（図５（Ａ）参照）を導出する（Ｓ５５０）。
【００７９】
続いて、携帯端末５から取得した楽曲スペクトルについて、周波数成分の強度を、規定音高範囲ごとに平均化して代表値とし、その周波数成分の強度を、分散「１」、平均「０」となるように正規化した正規化楽音スペクトル（図５（Ｂ）参照）を導出する（Ｓ５６０）。
【００８０】
なお、本実施形態のＳ５４０，Ｓ５６０にて求める代表値は、規定音高範囲における中心値に対応する周波数における強度を代表値としても良い。この場合、具体的には、２０Ｃｅｎｔ毎（半音の５分の１毎）に、２０Ｃｅｎｔグリッドに一番近い周波数の値（パワー）を抽出する処理を行う。
【００８１】
そして、正規化出力音スペクトルと正規化楽音スペクトルとの相関値（以下、音高相関値とする）を導出する（Ｓ５７０）。そして、正規化楽音スペクトルに対する正規化出力音スペクトルのシフト量が予め規定された上限値以上であるか否かを判定する（Ｓ５８０）。その判定の結果、シフト量が上限値未満であれば（Ｓ５８０：ＮＯ）、正規化出力音スペクトルを、周波数軸に沿って予め規定された規定量シフトして（Ｓ５９０）、Ｓ５７０へと戻り、音高相関値を再度導出する。
【００８２】
すなわち、本実施形態のＳ５７０〜Ｓ５９０では、図５（Ｃ）に示すように、正規化楽音スペクトルに対して、正規化出力音スペクトルを周波数軸に沿って下限値から上限値に達するまでシフトさせつつ、その正規化出力音スペクトルをシフトさせるごとに、音高相関値を導出する。
【００８３】
そして、正規化出力音のシフト量が上限値以上となると（Ｓ５８０：ＹＥＳ）、対象楽曲を構成する楽音の音高に、出力音の音高を一致させるための補正量（以下、音高補正量とする）を決定する（Ｓ６００）。本実施形態のＳ６００では、具体的に、先のＳ５７０にて導出された全ての音高相関値の中で、値が最大である音高相関値に対応する正規化出力音スペクトルのシフト量を音高補正量として決定する。
【００８４】
続いて、その導出された音高補正量に従って、楽曲ＭＩＤＩデータＤＭにおける全ての楽譜トラックに規定された個々の出力音の音高を修正することで、修正楽曲ＭＩＤＩデータＤＭを生成する（Ｓ６１０）。すなわち、本実施形態のＳ６１０にて生成される修正楽曲ＭＩＤＩデータＤＭは、全ての出力音の音高が、予め用意された出力音の音高から音高補正量シフトされたものとなる。
【００８５】
そして、その後、本音高補正処理を終了し、データ修正処理へと戻る。
続いて、図２に示すデータ修正処理では、楽曲ＭＩＤＩデータＤＭ中に含まれている対象楽曲のテンポデータ、及び携帯端末５からの楽曲ＢＰＭに基づいて、楽曲ＢＰＭに一致するように、楽曲ＭＩＤＩデータＤＭに含まれているテンポデータを修正するＢＰＭ補正を実行する（Ｓ３４０）。
【００８６】
具体的に、本実施形態のＳ３４０では、楽曲ＭＩＤＩデータＤＭからテンポデータを抽出し、その抽出したテンポデータ（すなわち、ＢＰＭ）と、携帯端末５からの楽曲ＢＰＭとの比αを導出する。そして、導出した比αを、楽曲ＭＩＤＩデータの時間軸に沿った全区間のテンポデータに乗じることを、ＢＰＭ補正として実行する。
【００８７】
さらに、携帯端末５からのベース波形情報に基づいて、音高補正処理によって、出力音の音高が楽音の音高に一致するように修正された出力音（以下、修正出力音とする）の演奏開始タイミングと、楽音の演奏開始タイミングとのズレ量（以下、時間ズレ量と称す）を導出すると共に、対象楽曲を構成する楽音の演奏開始タイミングに一致するように、個々の出力音の演奏開始タイミングを修正した修正楽曲ＭＩＤＩデータＤＭを生成するタイミング補正処理を実行する（Ｓ３５０）。
【００８８】
〈タイミング補正処理の処理内容について〉
次に、データ修正処理のＳ３５０にて起動されるタイミング補正処理について説明する。
【００８９】
このタイミング補正処理は、起動されると、図６に示すように、修正楽曲ＭＩＤＩデータＤＭに含まれている楽譜トラックのうち、ベースギターに対応する楽譜トラックに基づいて、ベースギターを模擬した出力音が時間軸に沿って推移した波形であるベース楽器波形を取得する（Ｓ７１０）。
【００９０】
そして、Ｓ７１０にて取得したベース楽器波形の時間軸上に規定されたベース設定位置を、携帯端末５からのベース波形情報の時間軸上に規定された波形基準位置に一致させて、ベース楽器波形とベース波形情報との相関値（以下、時間相関値とする）を導出する（Ｓ７２０）。
【００９１】
続いて、ベース波形情報に対するベース楽器波形の時間軸に沿ったシフト量が、予め規定された上限値（シフト量の上限値）以上であるか否かを判定する（Ｓ７３０）。その判定の結果、ベース楽器波形のシフト量が、シフト量の上限値未満であれば（Ｓ７３０：ＮＯ）、ベース楽器波形の波形設定位置を、予め規定されたシフト量（即ち、時間）シフトして（Ｓ７４０）、Ｓ７２０へと戻る。
【００９２】
すなわち、本実施形態のＳ７２０〜Ｓ７４０では、図７に示すように、携帯端末５からのベース波形情報に対してベース楽器波形を上限値に達するまでシフトさせ、そのベース楽器波形をシフトさせるごとに、時間相関値を導出する。
【００９３】
一方、Ｓ７３０での判定の結果、シフト量が、シフト量の上限値以上となると（Ｓ７３０：ＹＥＳ）、対象楽曲を構成する楽音の演奏開始タイミングに、修正出力音の演奏開始タイミングを一致させるための補正量、即ち、時間ズレ量を決定する（Ｓ７５０）。具体的に、本実施形態のＳ７５０では、Ｓ７２０で導出された全ての時間相関値の中で値が最大となる時間相関値に対応する、ベース波形情報に対するベース楽器波形のシフト量を、時間ズレ量として決定する。
【００９４】
続いて、タイミング補正処理にて導出された時間ズレ量に従って、楽曲波形データＤＷにおける個々の楽音の演奏開始タイミングに一致するように、楽曲ＭＩＤＩデータＤＭに規定されている個々の出力音の演奏開始タイミングを補正する（Ｓ７６０）。具体的に、本実施形態のＳ７６０では、楽曲ＭＩＤＩデータＤＭに規定されている個々の出力音の演奏開始タイミングを、時間軸に沿って時間シフト量シフトする。
【００９５】
その後、図２に示すデータ修正処理へと戻る。
そのデータ修正処理では、タイミング補正処理にて生成された修正楽曲ＭＩＤＩデータＤＭに含まれるガイドメロディの各出力音の演奏開始タイミングと、修正前の楽曲ＭＩＤＩデータＤＭに含まれているガイドメロディの各出力音の演奏開始タイミングとの時間差分（以下、タイミング差分と称す）を導出する（Ｓ３６０）。
【００９６】
続いて、対象楽曲の歌詞出力データＤＯを取得し、その歌詞出力データＤＯに規定されている各歌詞構成文字の歌詞出力タイミングが、楽曲波形データＤＷにおける楽音の演奏開始タイミングに一致するように、当該歌詞出力タイミングを修正した修正出力データＤＯを生成する（Ｓ３７０）。具体的に、本実施形態のＳ３７０では、歌詞構成文字の各々の歌詞出力タイミングを、対象楽曲の時間軸に沿って、Ｓ３６０で導出したタイミング差分シフトさせることで、修正出力データＤＯを生成する。
【００９７】
さらに、対象楽曲の歌詞テロップデータＤＴ、及びＳ３７０にて生成した修正出力データＤＯ（図２中：修正歌詞データ）を、Ｓ３１０にて受信した楽曲タグデータＤＤを送信した携帯端末５へと送信する（Ｓ３８０）。
【００９８】
その後、Ｓ３１０へと戻り、新たな楽曲タグデータＤＤを受信するまで待機する。
［実施形態の効果］
以上説明したように、本実施形態の情報処理システム１を構成する情報処理サーバ２０にて生成される修正出力データＤＯは、歌詞出力タイミングが、楽曲波形データＤＷに基づく楽音の出力開始タイミングに一致したものとなる。よって、情報処理システム１を構成する携帯端末５にて、楽曲波形データＤＷに基づいて対象楽曲を演奏するときに、当該対象楽曲の楽音の出力タイミングに一致して歌詞構成文字を順次表示することができ、各歌詞構成文字の表示が、楽音の演奏タイミングに対してズレることを低減できる。
【００９９】
また、本実施形態の情報処理システム１では、楽曲波形データＤＷに基づくＢＰＭと、楽曲ＭＩＤＩデータＤＭに基づくＢＰＭとのズレ、楽曲波形データＤＷにおいてベースギターが演奏されるタイミングと、楽曲ＭＩＤＩデータＤＭにおいてベースギターが出力されるタイミングのズレを導出している。そして、情報処理サーバ２０によれば、これらのズレを用いて修正出力データＤＯを生成するため、その生成された修正出力データＤＯは、楽曲波形データＤＷに基づく楽音の演奏タイミングに対する、歌詞構成文字の出力タイミングのズレがより確実に低減されたものとなる。
【０１００】
しかも、上記実施形態では、情報処理サーバ２０から携帯端末５に送信するデータを、歌詞テロップデータＤＴ及び修正出力データＤＯの２つのデータとしている。このため、情報処理システム１によれば、携帯端末５にて、対象楽曲の楽音の出力タイミングに一致して歌詞構成文字を順次表示するために、情報処理サーバ２０から携帯端末５へと送信するデータの通信量を少量とすることができる。
【０１０１】
さらに、上記実施形態では、携帯端末５から情報処理サーバ２０に送信されるベース波形情報を、帯域制限フィルタ通過後の楽音推移波形を、ダウンサンプリングした信号波形としている。したがって、情報処理システム１によれば、携帯端末５から情報処理サーバ２０への通信量を、より確実に低減できる。
［その他の実施形態］
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。
【０１０２】
例えば、上記実施形態のカラオケ再生処理では、Ｓ１１０において、対象楽曲の楽曲タグデータＤＤを情報処理サーバ２０に送信していたが、Ｓ１１０において、携帯端末５から送信するデータは、楽曲タグデータＤＤに限るものではない。すなわち、Ｓ１１０において、携帯端末５から送信するデータは、対象楽曲の演奏開始から予め定められた期間（例えば、いわゆるイントロに相当する期間）分の楽曲波形データＤＷでも良い。この場合、情報処理サーバ２０は、周知の手法により、楽曲波形データＤＷを分析し楽曲を認識すれば良い。このとき、楽曲タグデータＤＤは、携帯端末５の記憶部１０に記憶されていなくとも良い。
【０１０３】
換言すれば、情報処理サーバ２０が対象楽曲を特定可能であれば、Ｓ１１０において、携帯端末５から送信されるデータは、どのようなデータであっても良い。
また、上記実施形態のタイミング補正処理では、携帯端末５からのベース波形情報に対してベース楽器波形を上限値に達するまでシフトさせ、そのベース楽器波形をシフトさせるごとに、時間相関値を導出した結果の中で、時間相関値の値が最も大きくなるシフト量を時間ズレ量として決定していたが、時間ズレ量を決定する方法は、これに限るものではない。例えば、ベース楽器波形の時間軸に沿った最初のピークと、ベース波形情報の時間軸に沿った最初のピークとが一致するように導出した、ベース波形情報に対するベース楽器波形の時間軸に沿ったシフト量を時間ズレ量として決定しても良い。
【０１０４】
また、上記実施形態のカラオケ再生処理では、ＳＳ４０にて、端末送信情報の１つとして、ベース波形情報を情報処理サーバ２０に送信していたが、ＳＳ４０にて送信するデータは、これに限るものではない。例えば、打楽器の楽音が推移した波形である打楽器波形情報を端末送信情報の１つとして、情報処理サーバ２０に送信しても良い。この場合、打楽器波形情報は、ベース波形情報に加えて、端末送信情報とすることが好ましい。
［実施形態と特許請求の範囲との対応関係］
最後に、上記実施形態の記載と、特許請求の範囲の記載との関係を説明する。
【０１０５】
上記実施形態のカラオケ再生処理におけるＳ１１０（ＳＳ１０）が、特許請求の範囲の記載における識別情報取得手段及び識別情報送信手段に相当し、Ｓ１４０（ＳＳ３０）及びＳ１５０（ＳＳ４０）が、特許請求の範囲の記載における速度情報送信手段に相当する。さらに、携帯端末５にて、データ修正処理のＳＳ５０にて送信されたデータを取得する機能が、特許請求の範囲の記載における歌詞情報取得手段に相当し、カラオケ再生処理におけるＳ１６０が、特許請求の範囲の記載における演奏出力手段に相当する。
【０１０６】
また、上記実施形態のデータ修正処理におけるＳ３２０が、特許請求の範囲の記載におけるデータ取得手段に相当し、データ修正処理におけるＳ３４０及びタイミング補正処理におけるＳ７１０が、特許請求の範囲の記載における演奏速度取得手段に相当する。そして、タイミング補正処理におけるＳ７２０〜Ｓ７５０が、特許請求の範囲の記載における時間ズレ量導出手段に相当し、データ修正処理におけるＳ３７０が、特許請求の範囲の記載におけるデータ修正手段に相当し、データ修正処理におけるＳ３８０が、特許請求の範囲の記載における歌詞送信手段に相当する。
【０１０７】
また、上記実施形態のカラオケ再生処理におけるＳ１３０（ＳＳ２０）が、特許請求の範囲の記載におけるスペクトル送信手段に相当し、音高補正処理におけるＳ５１０〜Ｓ５５０が、特許請求の範囲の記載における出力音スペクトル導出手段に相当し、音高補正処理におけるＳ５７０〜Ｓ５９０が、特許請求の範囲の記載における音高相関導出手段に相当し、音高補正処理におけるＳ６００，Ｓ６１０が、特許請求の範囲の記載における楽譜データ修正手段に相当する。
【符号の説明】
【０１０８】
１…情報処理システム ５…携帯端末 ６…情報受付部 ７…表示部 ８…音出力部 ９…通信部 １０…記憶部 １１…制御部 １２…ＲＯＭ １３…ＲＡＭ １４…ＣＰＵ ２０…情報処理サーバ ２１…通信部 ２２…入力受付部 ２３…表示部 ２４…音入力部 ２５…音出力部 ２６…音源モジュール ２７…記憶部 ３０…制御部 ３１…ＲＯＭ ３２…ＲＡＭ ３３…ＣＰＵ
【技術分野】
【０００１】
本発明は、音楽データに対して情報処理を実行する情報処理システム、及びプログラムに関する。
【背景技術】
【０００２】
従来、音楽を再生する音楽再生機器と、音楽再生機器との間でデータ通信を実行する情報処理装置とを備えた情報配信システムが知られている（例えば、特許文献１参照）。
この特許文献１に記載された情報配信システムにおいては、情報処理装置にて、楽曲に関する複数種類のデータ群である音楽データを取得して、その音楽データを音楽再生機器に送信することがなされている。ここでいう“音楽データ”とは、楽曲の楽譜を表し、当該楽曲の進行を表す演奏速度情報と共に、音源モジュールから出力する個々の出力音について、少なくとも音高及び演奏開始タイミングが規定された楽曲楽譜データ（いわゆるＭＩＤＩデータ）と、楽曲の歌詞を構成する歌詞構成文字を表す歌詞テロップデータと、歌詞構成文字の出力タイミングである歌詞出力タイミングを規定するデータであり、かつ少なくとも１つの歌詞構成文字に対する歌詞出力タイミングが、楽曲楽譜データ中の少なくとも１つのタイミングに対応付けられた歌詞出力データとを、楽曲ごとに対応付けたものである。
【０００３】
ところで、近年普及した携帯機器は、楽曲を構成する楽音の音圧が時間軸に沿って推移した楽音波形を表す楽曲波形データ（いわゆる、ＭＰ３やＷＡＶなどの音声ファイルフォーマット形式のデータ）を再生演奏することで、音楽再生機器として機能させることが可能に構成されている。このような携帯機器の利用方法として、再生演奏した音楽を聴くだけでなく、その音楽の再生演奏の際に、カラオケを楽しみたいという要望がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−０２６６７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、携帯機器において、楽曲波形データを有効活用してカラオケを実現するためには、当該楽曲に対応した歌詞データを、携帯機器にて取得する必要がある。ここで、携帯機器にて取得する必要がある歌詞データとは、楽曲の歌詞に関するデータであり、歌詞テロップデータと、歌詞出力データとを含む。
【０００６】
一般的に、歌詞出力データは、楽曲楽譜データに基づく当該楽曲の演奏に、個々の歌詞構成文字の歌詞出力タイミングが対応付くように生成されており、楽曲波形データに基づく当該楽曲の再生演奏に対応付くように生成されてはいない。
【０００７】
特に、楽曲楽譜データは、一般的に、楽曲波形データに基づく演奏を聴聞した人物が、個々の出力音の音高や演奏開始タイミングを特定して規定することで生成される。よって、楽曲楽譜データにおいて、出力音の音高や演奏開始タイミングは、楽曲波形データにおける個々の楽音の音高や演奏タイミングと一致せず、ズレが存在する。
【０００８】
このため、携帯機器において、楽曲波形データに基づく当該楽曲の再生演奏と共に、歌詞出力データに基づいて歌詞構成文字の出力（表示）を実行すると、その歌詞構成文字の出力タイミングが、個々の楽音の演奏タイミングに一致しないという問題が生じる。
【０００９】
そこで、本発明は、携帯機器において、楽曲波形データに基づく楽音の演奏タイミングに対する、歌詞構成文字の出力のズレを低減させることを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するためになされた本発明は、楽曲を構成する楽音の音圧が時間軸に沿って推移した楽音推移波形を表す楽曲波形データが、記憶部に記憶される携帯機器と、その携帯機器との間でデータ通信を実行する情報処理装置とを備えた情報処理システムに関する。
【００１１】
本発明の情報処理システムにおける情報処理装置は、楽曲楽譜データ、歌詞データ、歌詞出力データを取得して、少なくとも歌詞出力データに対して情報処理を実行する装置である。
【００１２】
この楽曲楽譜データは、楽曲の楽譜を表し、当該楽曲の進行を表す演奏速度情報と共に、音源モジュールから出力する個々の出力音について、少なくとも音高及び演奏開始タイミングが規定されたデータである。歌詞データは、楽曲の歌詞を構成する歌詞構成文字を表すデータである。歌詞出力データは、歌詞構成文字の出力タイミングである歌詞出力タイミングを規定するデータであり、かつ少なくとも１つの歌詞構成文字に対する歌詞出力タイミングが、楽曲楽譜データ中の少なくとも１つのタイミングに対応付けられたデータである。
【００１３】
そして、本発明の情報処理システムにおける携帯機器では、識別情報取得手段が、指定された楽曲である対象楽曲を識別する楽曲識別情報を取得し、その取得した楽曲識別情報を、識別情報送信手段が情報処理装置に送信する。速度情報送信手段が、識別情報取得手段で取得した楽曲識別情報に対応する対象楽曲の楽曲波形データから、該対象楽曲の進行を表す楽曲速度情報を取得して、情報処理装置に送信する。
【００１４】
さらに、本発明の情報処理システムにおける携帯機器では、歌詞情報取得手段が、対象楽曲の歌詞データ、及び情報処理装置にて情報処理が実行された歌詞出力データである修正出力データであって対象楽曲の修正出力データを、情報処理装置から取得し、演奏出力手段が、対象楽曲の楽曲波形データに基づいて当該対象楽曲を演奏すると共に、歌詞情報取得手段で取得した修正出力データに規定された歌詞出力タイミングに従って、歌詞データによって表される歌詞構成文字を順次表示する。
【００１５】
一方、本発明の情報処理システムにおける情報処理装置では、データ取得手段が、識別情報送信手段で送信された楽曲識別情報に対応する対象楽曲の楽曲楽譜データ、及び歌詞出力データを取得し、その取得した楽曲楽譜データから、演奏速度取得手段が演奏速度情報を取得する。そして、速度情報送信手段にて送信された楽曲速度情報と、演奏速度取得手段で取得した演奏速度情報とを比較した結果に基づき、時間ズレ量導出手段が、出力音の各々の演奏開始タイミングに対する、各出力音に対応する楽音の開始タイミングのズレ量を表す時間ズレ量を導出する。
【００１６】
さらに、本発明の情報処理システムにおける情報処理装置では、データ修正手段が、時間ズレ量導出手段で導出された時間ズレ量に従って、データ取得手段にて取得した歌詞出力データにおける歌詞出力タイミングを、楽音の開始タイミングに一致するように修正した当該歌詞出力データを修正出力データとして生成すると、その生成した修正出力データ、及び楽曲識別情報に対応する対象楽曲の歌詞データを、歌詞送信手段が携帯機器に送信する。
【００１７】
このような情報処理システムにて生成される修正出力データは、歌詞出力タイミングが、楽曲波形データにおける楽音の出力開始タイミングに一致したものである。よって、携帯機器にて、楽曲波形データに基づいて対象楽曲を演奏するときに、楽音の出力タイミングに一致して歌詞構成文字を順次表示することができ、各歌詞構成文字の表示が、楽曲波形データに基づく楽音の演奏タイミングに対して、ズレが生じることを低減できる。
【００１８】
特に、本発明の情報処理装置によれば、情報処理装置から携帯機器に送信するデータを、歌詞データ及び歌詞出力データとすることができるため、情報処理装置から携帯機器への通信量を少量とすることができる。
【００１９】
なお、情報処理装置が取得する「楽曲楽譜データ、歌詞データ、及び歌詞出力データ」は、情報処理装置内に設けられた情報記憶部に格納されていても良いし、情報処理装置とは別個に設けられた装置に格納されていても良い。また、ここでいう「歌詞構成文字」とは、歌詞を構成する文字の各々であっても良いし、その文字の各々を特定の規則に従って一群とした文節やフレーズであっても良い。
【００２０】
さらに、ここでいう「楽曲の進行」とは、楽曲におけるテンポを表す情報や、ベース楽器が演奏されたタイミングを表すベース波形を含むものである。
ところで、本発明において、携帯機器の速度情報送信手段は、対象楽曲の楽曲波形データに基づいて特定した、対象楽曲のテンポを表すテンポ情報、及び特定の楽器が演奏されたタイミングを表すベース波形情報を、楽曲速度情報として取得しても良い。
【００２１】
この場合、楽曲楽譜データは、当該楽曲楽譜データに対応する楽曲のテンポを表す情報である楽曲テンポ情報が規定されていると共に、対応する楽曲において演奏される楽器の種類毎に、出力音についての音高及び演奏開始タイミングが規定されていることが好ましく、さらに、情報処理装置の演奏速度取得手段は、楽曲テンポ情報、及び特定の楽器の出力音の演奏開始タイミングが時間軸に沿って推移したベース楽器波形を、演奏速度情報として取得することが好ましい（請求項２）。
【００２２】
本発明の情報処理システムにおいては、携帯端末側の楽曲波形データに基づいて、対象楽曲のテンポを楽曲速度情報として取得すると共に、ベース波形が出現したタイミングを利用したベース波形情報を楽曲速度情報として取得する。
【００２３】
したがって、対象楽曲におけるテンポのズレ、対象楽曲に含まれる楽器が演奏されるタイミングのズレを、時間ズレ量導出手段が算出できる。
なお、このような楽曲速度情報、及び演奏速度情報を用いて時間ズレ量を導出する方法としては、様々な方法が考えられる。
【００２４】
一例としては、テンポ情報と楽曲テンポ情報とのテンポの比を導出し、その導出したテンポの比を楽曲テンポ情報に乗じることで、楽曲楽譜データ全体のテンポを修正した上でベース楽器波形を取得する。
【００２５】
その上で、ベース波形情報に対して、取得したベース楽器波形を時間軸に沿ってシフトさせるごとに、ベース楽器波形とベース波形情報との相関値を導出し、その相関値が最大となるシフト量を、時間ズレ量として導出することが考えられる。
【００２６】
また、他の例としては、楽曲楽譜データ全体のテンポを修正した上で取得したベース楽器波形の時間軸に沿った最初のピークと、ベース波形情報の時間軸に沿った最初のピークとを一致させるベース楽器波形の時間軸に沿ったシフト量を時間ズレ量として導出することも考えられる。
【００２７】
そして、本発明の情報処理システムによれば、このような時間ズレ量を用いて修正出力データを生成するため、楽曲波形データに基づく楽音の演奏タイミングに対する、歌詞構成文字の出力タイミングのズレを、より確実に低減できる。
【００２８】
ただし、ここでいう“特定の楽器”とは、ベースギターや、コントラバスなどを含んでいても良く、この他に、打楽器（ドラムやシンバルなど）を含んでいても良い。そして、ベース波形情報は、特定の楽器の音の周波数帯の信号を通過させるフィルタに、楽曲波形データを通すことで取得しても良い。
【００２９】
ところで、本発明において、ベース波形情報は、サンプリング波形である。この場合、携帯機器の速度情報送信手段が送信するベース波形情報は、楽音推移波形のサンプリング周波数よりも低いサンプリング周波数でサンプリングしたものであることが好ましい（請求項３）。
【００３０】
このような情報処理システムによれば、携帯機器から情報処理装置に送信される楽曲速度情報の情報量を抑制できる。
また、本発明の情報処理システムにおいて、携帯機器では、スペクトル送信手段が、対象楽曲の楽曲波形データを取得し、該楽曲波形データによって表された楽音推移波形の周波数スペクトルである楽音スペクトル分布を導出して、情報処理装置に送信しても良い。
【００３１】
この場合、情報処理装置では、出力音スペクトル導出手段が、対象楽曲の楽曲楽譜データを取得し、該楽曲楽譜データに基づいて、出力音が時間軸に沿って推移した波形である出力音推移波形の周波数スペクトルである出力音スペクトル分布を導出する。そして、音高相関導出手段が、スペクトル送信手段にて送信された楽音スペクトル分布と、出力音スペクトル導出手段で導出された出力音スペクトル分布との相関値を表す音高相関値を、楽音スペクトル分布において予め規定された規定位置から出力音スペクトル分布を周波数軸に沿ってシフトさせるごとに導出する。すると、楽譜データ修正手段が、音高相関導出手段にて導出された音高相関値の中で、値が最大となる音高相関値に対応する規定位置からの周波数軸に沿ったシフト量を音高補正量として、対象楽曲の楽曲楽譜データに規定された出力音の各々の音高をシフトさせることで、新たな楽曲楽譜データを生成することが好ましい。
【００３２】
なお、演奏速度取得手段は、楽譜データ修正手段で生成された新たな楽曲楽譜データから、演奏速度情報を取得することが好ましい。
このような情報処理システムによれば、楽音の音高に一致するように楽曲楽譜データを修正した上で、演奏速度情報を導出できる。この結果、本発明の情報処理システムによれば、修正出力データに規定される歌詞出力タイミングを、より確実に、楽曲波形データにおける楽音の出力開始タイミングに一致させることができる。
【００３３】
なお、本発明は、携帯機器に備えられたコンピュータに実行させるプログラムであっても良い。ただし、携帯機器は、楽曲楽譜データ、歌詞データ、及び歌詞出力データを取得して、少なくとも歌詞出力データに対して情報処理を実行する情報処理装置との間でデータ通信を実行すると共に、楽曲波形データが記憶部に記憶されている。
【００３４】
この本発明のプログラムは、指定された楽曲である対象楽曲を識別する楽曲識別情報を取得する識別情報取得手順と、その取得した楽曲識別情報を、情報処理装置に送信する識別情報送信手順と、楽曲識別情報に対応する対象楽曲の楽曲波形データから、該対象楽曲の進行を表す楽曲速度情報を取得して、情報処理装置に送信する速度情報送信手順と、修正出力データ、及び楽曲識別情報に対応する対象楽曲の歌詞データを、情報処理装置から取得する歌詞情報取得手順と、対象楽曲の楽曲波形データに基づいて当該対象楽曲を演奏すると共に、歌詞情報取得手順で取得した修正出力データに規定された歌詞出力タイミングに従って、歌詞データによって表される歌詞構成文字を順次表示する演奏出力手順とをコンピュータに実行させるものである（請求項５）。
【００３５】
ただし、歌詞情報取得手順にて取得される修正出力データとは、情報処理装置が情報処理を実行した結果であり、楽曲識別情報に対応する対象楽曲の楽曲楽譜データ、及び歌詞出力データを取得し、該取得した楽曲楽譜データから取得した演奏速度情報と速度情報送信手順にて送信された楽曲速度情報と比較した結果に基づき、出力音の各々の演奏開始タイミングに対する、各出力音に対応する楽音の開始タイミングのズレ量を表す時間ズレ量を導出すると共に、該導出された時間ズレ量に従って、歌詞出力データにおける歌詞出力タイミングを、楽音の開始タイミングに一致するように修正した歌詞出力データである。
【００３６】
本発明のプログラムが、このようになされていれば、コンピュータ読み取り可能な記録媒体（例えば、メモリカードなど）に記録し、必要に応じてコンピュータにロードさせて起動することや、必要に応じて通信回線を介してコンピュータに取得させて起動することにより用いることができる。そして、携帯機器のコンピュータに各手順を実行させることで、その携帯機器のコンピュータを、請求項１に記載された情報処理システムを構成する携帯機器（音楽再生機器）として機能させることができる。
【図面の簡単な説明】
【００３７】
【図１】本発明が適用された情報処理システムの概略構成を示すブロック図である。
【図２】情報処理システムにて実行される処理の処理手順を示すフローチャートである。
【図３】楽曲ＢＰＭの推定手法を示す図である。
【図４】情報処理サーバにて実行する音高補正処理の処理手順を示すフローチャートである。
【図５】音高補正処理の処理概要を示す図である。
【図６】情報処理サーバにて実行するタイミング補正処理の処理手順を示すフローチャートである。
【図７】タイミング補正処理の概要を示す図である。
【発明を実施するための形態】
【００３８】
以下に本発明の実施形態を図面と共に説明する。
〈情報処理システムについて〉
ここで、図１は、本発明が適用された情報処理システムの概略構成を示すブロック図である。
【００３９】
本実施形態の情報処理システム１は、ポータブルオーディオプレーヤとして機能する携帯端末５に対して、処理プログラムに従って処理を実行したデータを配信する情報配信システムである。
【００４０】
これを実現するため、情報処理システム１は、記憶部１０に格納された楽曲音響データＷＤを再生可能な、少なくとも一台の携帯端末５Ａ〜５ｎ（ｎは、携帯端末の台数を表す１以上の自然数）と、楽曲の歌詞に関する歌詞データ群ＤＬを含む音楽データＭＤに対して、各種処理を実行する情報処理サーバ２０とを備えている。そして、情報処理システム１においては、携帯端末５と情報処理サーバ２０とは、相互にデータ通信可能に接続されている。
【００４１】
すなわち、本実施形態の情報処理システム１では、楽曲音響データＷＤが記憶された携帯端末５において、その記憶された楽曲音響データＷＤを再生すると共に、情報処理サーバ２０から配信されたデータに基づいて、楽曲音響データＷＤの再生に併せて歌詞を出力するシステムである。
〈携帯端末について〉
ここで、携帯端末について説明する。
【００４２】
携帯端末５は、図１に示すように、情報受付部６と、表示部７と、音出力部８と、通信部９と、記憶部１０と、制御部１１とを備え、楽曲音響データＷＤを再生可能な端末（例えば、周知のポータブルオーディオプレーヤや、オーディオプレーヤとして機能する周知の携帯電話）である。
【００４３】
このうち、情報受付部６は、入力装置（図示せず）を介して入力された情報を受け付ける。表示部７は、制御部１１からの指令に基づいて、少なくとも、文字コードで示される情報を含む画像を表示する。音出力部８は、少なくとも、楽曲音響データＷＤを再生して音を出力する周知の装置であり、例えば、ＰＣＭ音源と、スピーカとを備えている。
【００４４】
通信部９は、通信網（例えば、公衆無線通信網やネットワーク回線）を介して、携帯端末５が外部との間で情報通信を行うものである。記憶部１０は、記憶内容を読み書き可能に構成された不揮発性の記憶装置（例えば、ハードディスク装置や、フラッシュメモリ）であり、各種処理プログラムや各種データが記憶される。
【００４５】
その記憶部１０に記憶される楽曲音響データＷＤは、１つの楽曲（以下、特定楽曲とする）を構成する全ての楽音の音圧が時間軸に沿って推移したアナログ波形（即ち、楽音推移波形）を標本化（サンプリング）した楽曲波形データＤＷと、特定楽曲を識別する情報（例えば、識別番号）である楽曲タグデータＤＤとを備えている。
【００４６】
すなわち、１つの楽曲音響データＷＤは、楽曲タグデータＤＤと楽曲波形データＤＷとが、特定楽曲ごとに対応付けられたデータであり、例えば、ＷＡＶやＭＰ３形式の音声ファイルである。なお、本実施形態においては、少なくとも１つの楽曲音響データＷＤが記憶部１０に記憶されており、図１中の符号“ｍ”は、記憶部１０に記憶されている楽曲波形データの数（１以上の自然数）を表す。
【００４７】
また、制御部１１は、電源が切断されても記憶内容を保持する必要がある処理プログラムやデータを格納するＲＯＭ１２と、処理プログラムやデータを一時的に格納するＲＡＭ１３と、ＲＯＭ１２やＲＡＭ１３に記憶された処理プログラムに従って各処理（各種演算）を実行するＣＰＵ１４とを少なくとも有した周知のコンピュータを中心に構成されている。
【００４８】
なお、ＲＯＭ１２には、情報受付部６を介して指定された楽曲（以下、対象楽曲と称す）に対応する楽曲波形データＤＷを再生すると共に、情報処理サーバ２０から、対象楽曲に対応する歌詞データ群ＤＬを取得して、楽曲波形データＤＷの再生に併せて歌詞を出力するカラオケ再生処理を、制御部１１が実行するためのプログラムが格納されている。
〈情報処理サーバについて〉
次に、情報処理サーバ２０について説明する。
【００４９】
この情報処理サーバ２０は、通信部２１と、入力受付部２２と、表示部２３と、音入力部２４と、音出力部２５と、音源モジュール２６と、記憶部２７と、制御部３０とを備えている。
【００５０】
このうち、通信部２１は、通信網（例えば、公衆無線通信網やネットワーク回線）を介して、情報処理サーバ２０が外部との間で通信を行う。入力受付部２２は、外部からの操作に従って情報や指令の入力を受け付ける入力機器（例えば、キーボードやポインティングデバイス）である。
【００５１】
表示部２３は、少なくとも、文字コードで示される情報を含む画像を表示する表示装置（例えば、液晶ディスプレイやＣＲＴ等）である。また、音入力部２４は、音を電気信号に変換して制御部３０に入力する装置（いわゆるマイクロホン）である。音出力部２５は、制御部３０からの電気信号を音に変換して出力する装置（いわゆるスピーカ）である。さらに、音源モジュール２６は、ＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）規格によって規定されたデータに基づいて、音源からの音を模擬した音（即ち、出力音）を出力する装置（例えば、ＭＩＤＩ音源）である。
【００５２】
記憶部２７は、記憶内容を読み書き可能に構成された不揮発性の記憶装置（例えば、ハードディスク装置や、フラッシュメモリ）である。その記憶部２７には、音楽データＭＤ１〜ＭＤｌ（ｌは、音楽データの数を表す１以上の自然数）が格納されている。
〈音楽データについて〉
本実施形態における音楽データＭＤには、楽曲ＭＩＤＩデータＤＭ（特許請求の範囲における楽曲楽譜データに相当）と、歌詞データ群ＤＬとが含まれる。
【００５３】
このうち、楽曲ＭＩＤＩデータＤＭは、周知のＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）規格によって、特定楽曲を模擬した楽曲の楽譜を表すデータであり、楽曲ごとに予め用意されている。この楽曲ＭＩＤＩデータＤＭの各々は、楽曲を区別するデータである識別データと、当該楽曲にて用いられる楽器ごとの楽譜を表す楽譜トラックと、当該楽曲を分割した区間（例えば、Ａメロやサビなど）の各々におけるテンポ（いわゆるＢＰＭ（Ｂｅａｔｓ Ｐｅｒ Ｍｉｎｕｔｅ））を表すテンポデータ（特許請求の範囲における楽曲テンポ情報に相当）とを少なくとも有している。
【００５４】
そして、楽譜トラックには、ＭＩＤＩ音源から出力される個々の出力音について、少なくとも、音高（いわゆるノートナンバー）と、音源モジュールが出力音を出力する期間（以下、音符長）とが規定されている。ただし、楽譜トラックの音符長は、当該出力音の出力を開始するまでの当該楽曲の演奏開始からの時間を表す演奏開始タイミング（いわゆるノートオンタイミング）と、当該出力音の出力を終了するまでの当該楽曲の演奏開始からの時間を表す演奏終了タイミング（いわゆるノートオフタイミング）とによって規定されている。
【００５５】
なお、楽譜トラックは、例えば、鍵盤楽器（例えば、ピアノやパイプオルガンなど）、弦楽器（例えば、バイオリンやビオラ、ギター、ベースギター、琴など）、打楽器（例えば、ドラムやシンバル、ティンパニー、木琴など）、及び管楽器（例えば、クラリネットやトランペット、フルート、尺八など）などの楽器ごとに用意されている。
【００５６】
一方、歌詞データ群ＤＬは、周知のカラオケ装置を構成する表示装置に表示される歌詞に関するデータであり、特定楽曲の歌詞を構成する文字（以下、歌詞構成文字とする）を表す歌詞テロップデータＤＴと、歌詞構成文字の出力タイミングである歌詞出力タイミングを、楽曲ＭＩＤＩデータＤＭの演奏と対応付けるタイミング対応関係が規定された歌詞出力データＤＯとを備えている。
【００５７】
具体的に、本実施形態におけるタイミング対応関係は、楽曲ＭＩＤＩデータＤＭの演奏を開始するタイミングに、歌詞テロップデータＤＴの出力を開始するタイミングが対応付けられた上で、特定楽曲の時間軸に沿った各歌詞構成文字の歌詞出力タイミングが、楽曲ＭＩＤＩデータＤＭの演奏を開始からの経過時間によって規定されている。なお、ここでいう経過時間とは、例えば、表示された歌詞構成文字の色替えを実行するタイミングを表す時間であり、色替えの速度によって規定されている。また、ここでいう歌詞構成文字は、歌詞を構成する文字の各々であっても良いし、その文字の各々を時間軸に沿った特定の規則に従って一群とした文節やフレーズであっても良い。
【００５８】
なお、本実施形態においては、楽曲ＭＩＤＩデータＤＭと、歌詞データ群ＤＬとは、それぞれ対応する特定楽曲ごとに対応付けて、記憶部２７に格納されている。
また、制御部３０は、電源が切断されても記憶内容を保持する必要がある処理プログラムやデータを格納するＲＯＭ３１と、処理プログラムやデータを一時的に格納するＲＡＭ３２と、ＲＯＭ３１やＲＡＭ３２に記憶された処理プログラムに従って各処理（各種演算）を実行するＣＰＵ３３とを少なくとも有した周知のコンピュータを中心に構成されている。
【００５９】
なお、ＲＯＭ３１には、対象楽曲に対応する歌詞出力データＤＯの歌詞出力タイミングを、対象楽曲に対応する楽曲波形データＤＷ中の楽音の演奏開始タイミングに一致するように修正した修正出力データＤＯを生成して出力するデータ修正処理を、制御部３０が実行するための処理プログラムが格納されている。
〈カラオケ再生処理及びデータ修正処理の概要について〉
次に、携帯端末５の制御部１１が実行するカラオケ再生処理、及び情報処理サーバ２０の制御部３０が実行するデータ修正処理について説明する。
【００６０】
ここで、図２は、カラオケ再生処理の処理手順、及びデータ修正処理の処理手順を示したフローチャートである。
このカラオケ再生処理は、情報受付部６を介して起動指令が入力されると、起動されるものである。
【００６１】
この図２に示すように、携帯端末５の制御部１１が実行するカラオケ再生処理では、対象楽曲に対応する楽曲タグデータＤＤを、携帯端末５の記憶部１０から取得して情報処理サーバ２０に送信する（ＳＳ１０）。さらに、カラオケ再生処理では、携帯端末５の記憶部１０から取得した対象楽曲に対応する楽曲波形データＤＷに対して、各種処理を実行した結果（以下、端末送信情報と称す）を情報処理サーバ２０に送信する（ＳＳ２０，ＳＳ３０，ＳＳ４０）。
【００６２】
一方、情報処理サーバ２０の制御部３０が実行するデータ修正処理では、携帯端末５からの楽曲タグデータＤＤを取得すると、その楽曲タグデータＤＤに対応する特定楽曲の音楽データ、及び携帯端末５からの端末送信情報に基づいて、修正出力データＤＯを生成する。さらに、データ修正処理では、その生成した修正出力データＤＯ、及び対象楽曲の歌詞テロップデータＤＴを携帯端末５へと送信する（ＳＳ５０）。
【００６３】
この情報処理サーバ２０から、修正出力データＤＯ及び対象楽曲の歌詞テロップデータＤＴを受信した携帯端末５では、カラオケ再生処理にて、対象楽曲に対応する楽曲波形データＤＷを再生すると共に、楽曲波形データＤＷの再生に併せて歌詞構成文字を出力する。
〈カラオケ再生処理について〉
次に、携帯端末５の制御部１１が実行するカラオケ再生処理について、詳細に説明する。
【００６４】
このカラオケ再生処理は、情報受付部６を介して起動指令が入力されると、起動されるものである。
そして、カラオケ再生処理は、起動されると、まず、情報受付部６を介して入力された情報によって指定された楽曲（即ち、対象楽曲）に対応する楽曲タグデータＤＤを、携帯端末５の記憶部１０から取得する（Ｓ１１０（Ｓは、ステップを意味する））。続いて、Ｓ１１０にて取得した楽曲タグデータＤＤを情報処理サーバ２０に送信する（ＳＳ１０）。
【００６５】
さらに、対象楽曲に対応する楽曲波形データＤＷを取得し（Ｓ１２０）、その取得した楽曲波形データＤＷから楽曲スペクトルを導出する（Ｓ１３０）。
具体的に、本実施形態のＳ１３０では、楽曲波形データＤＷによって表される楽音推移波形を時間軸に沿って単位時間ごとに切り出した波形素片を周波数分析（例えば、ＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ ｔｒａｎｓｆｏｒｍ）による離散フーリエ変換）する。なお、単位時間とは、いわゆる時間窓として予め規定された時間長であり、楽曲波形データＤＷにおける時間軸に沿って重複して設定されている。
【００６６】
そして、この周波数分析によって導出される全ての波形素片の周波数スペクトルについて、周波数成分ごとの振幅（絶対値）を平均した結果を、楽曲スペクトルとして導出する。
【００６７】
その後、端末送信情報の１つとして、Ｓ１３０で導出した楽曲スペクトルを情報処理サーバ２０に送信する（ＳＳ２０）。
さらに、Ｓ１２０で取得した楽曲波形データＤＷに基づいて、対象楽曲のテンポ（いわゆるＢＰＭ（Ｂｅａｔｓ Ｐｅｒ Ｍｉｎｕｔｅ）、以下、楽曲ＢＰＭと称す）を推定する（Ｓ１４０）。
【００６８】
ここで、図３は、本実施形態において、楽曲ＢＰＭを推定する手法を説明する図である。
具体的に、本実施形態のＳ１４０では、楽曲波形データＤＷによって表される楽音推移波形から、時間軸に沿って単位時間ごとに波形素片を切り出す。そして、打楽器（例えば、ドラム）の楽音の周波数スペクトルを包絡線にて模擬し、かつ予め用意した基準スペクトル（図３（Ａ）参照）を、単位時間ごとに切り出した各波形素片を周波数分析した結果（即ち、周波数スペクトルの包絡線）に照合し、各波形素片の周波数スペクトル（包絡線）に対する基準スペクトルの類似度（以下、スペクトル類似度と称す）を導出する。
【００６９】
さらに、図３（Ｂ）に示すような、対象楽曲の時間軸に沿ったスペクトル類似度の推移を表す類似度推移を導出し、その類似度推移において、スペクトル類似度の極大値であって、互いに隣接するスペクトル類似度の極大値間の時間間隔（図３（Ｂ）中：ＴＩ）を求める。そして、図３（Ｃ）に示すような、時間間隔ＴＩを階級としたヒストグラムを表す時間間隔分布を生成し、その時間間隔分布において、最も大きな度数に対応する時間間隔（以下、最頻時間間隔と称す）ＴＩの逆数を、楽曲ＢＰＭとして推定する。
【００７０】
なお、楽曲ＢＰＭの推定方法を、より詳しく説明すると、本実施形態では、最頻時間間隔ＴＩの単位が秒［ｓ：ｓｅｃｏｎｄ］であれば、楽曲ＢＰＭ＝６０／最頻時間間隔ＴＩにて推定し、最頻時間間隔ＴＩの単位が分［ｍ：ｍｉｎｕｔｅ］であれば、楽曲ＢＰＭ＝１／最頻時間間隔ＴＩにて推定することが好ましい。
【００７１】
なお、Ｓ１４０における楽曲ＢＰＭの推定は、対象楽曲において、歌詞が規定されている歌唱区間（例えば、サビ）などの特定の区間に対して実行しても良いし、対象楽曲の全区間に対して実行しても良い。
【００７２】
カラオケ再生処理では、Ｓ１４０にて推定した楽曲ＢＰＭを端末送信情報の１つとして、情報処理サーバ２０に送信する（ＳＳ３０）。その後、楽曲波形データＤＷによって表される楽音推移波形から、ベースギターの楽音が時間軸に沿って推移した波形であるベース波形情報を抽出する（Ｓ１５０）。具体的に、本実施形態のＳ１５０では、ベースギターの楽音の周波数帯域での信号を通過させる帯域制限フィルタを予め用意し、その帯域制限フィルタに、楽曲波形データＤＷによって表される楽音推移波形を通す。そして、この帯域制限フィルタ通過後の信号波形を、楽音推移波形のサンプリング周波数よりも低いサンプリング周波数で再度サンプリングした信号波形（即ち、ダウンサンプリングした信号波形）を、ベース波形情報として抽出する。
【００７３】
カラオケ再生処理では、端末送信情報の１つとして、ベース波形情報を情報処理サーバ２０に送信する（ＳＳ４０）。
そして、カラオケ再生処理では、情報処理サーバ２０からの修正出力データＤＯ及び対象楽曲の歌詞テロップデータＤＴを受信すると、対象楽曲に対応する楽曲波形データＤＷを再生すると共に、楽曲波形データＤＷの再生に併せて歌詞構成文字を表示部７に表示する（Ｓ１６０）。このＳ１６０での歌詞構成文字の表示には、表示部７に表示した歌詞構成文字の色を、楽曲波形データＤＷの再生に併せて変更することを含む。
【００７４】
その後、本カラオケ再生処理を終了する。
〈データ修正処理について〉
次に、情報処理サーバ２０の制御部３０が実行するデータ修正処理について、詳細に説明する。
【００７５】
このデータ修正処理は、図２に示すように、起動されると、まず、携帯端末５から楽曲タグデータＤＤを受信したか否かを判定する（Ｓ３１０）。このＳ３１０の判定の結果、楽曲タグデータＤＤを受信していなければ（Ｓ３１０：ＮＯ）、楽曲タグデータＤＤを受信するまで待機し、携帯端末５からの楽曲タグデータＤＤを受信すると（Ｓ３１０：ＹＥＳ）、Ｓ３２０へと移行する。
【００７６】
そのＳ３２０では、Ｓ３１０で受信した楽曲タグデータＤＤによって表される対象楽曲に対応した楽曲ＭＩＤＩデータＤＭ及び歌詞データ群ＤＬを取得する。そして、Ｓ３２０にて取得した楽曲ＭＩＤＩデータＤＭ、及び携帯端末５から受信した楽曲スペクトルに基づいて、対象楽曲を構成する楽音の音高に、出力音の音高が一致するように、当該楽曲ＭＩＤＩデータＤＭを修正する音高補正処理を実行する（Ｓ３３０）。以下、出力音について修正が実行された楽曲ＭＩＤＩデータＤＭを修正楽曲ＭＩＤＩデータＤＭと称す。
〈音高補正処理の処理内容について〉
ここで、データ修正処理のＳ１５０にて起動される音高補正処理について説明する。
【００７７】
この音高補正処理は、起動されると、図４に示すように、先のＳ３２０にて取得した楽曲ＭＩＤＩデータＤＭに含まれる全ての楽譜トラックに基づいて、全ての出力音が時間軸に沿って推移した波形である出力音推移波形を取得する（Ｓ５１０）。具体的に、本実施形態における出力音推移波形の取得は、ＭＩＤＩ規格のデータから音声信号（波形）を生成する周知のレンダリングによって実行される。
【００７８】
続いて、その取得した出力音推移波形を、時間軸に沿って設定された単位時間ごとに周波数解析して、各単位時間の出力音推移波形に対する周波数スペクトルを導出する（Ｓ５２０）。そのＳ５２０で導出された周波数スペクトルに基づいて、各周波数成分の強度を、時間軸に沿って周波数ごとに相加平均した平均出力音スペクトルを導出する（Ｓ５３０）。その導出した平均出力音スペクトルにおける周波数成分の強度を、境界が互いに隣接するように予め規定された周波数範囲（例えば、半音単位、以下、規定音高範囲）ごとに平均化して代表値とする（Ｓ５４０）。さらに、そのＳ５４０で平均化した平均出力音スペクトルにおける周波数成分の強度を、分散「１」、平均「０」となるように正規化した正規化出力音スペクトル（図５（Ａ）参照）を導出する（Ｓ５５０）。
【００７９】
続いて、携帯端末５から取得した楽曲スペクトルについて、周波数成分の強度を、規定音高範囲ごとに平均化して代表値とし、その周波数成分の強度を、分散「１」、平均「０」となるように正規化した正規化楽音スペクトル（図５（Ｂ）参照）を導出する（Ｓ５６０）。
【００８０】
なお、本実施形態のＳ５４０，Ｓ５６０にて求める代表値は、規定音高範囲における中心値に対応する周波数における強度を代表値としても良い。この場合、具体的には、２０Ｃｅｎｔ毎（半音の５分の１毎）に、２０Ｃｅｎｔグリッドに一番近い周波数の値（パワー）を抽出する処理を行う。
【００８１】
そして、正規化出力音スペクトルと正規化楽音スペクトルとの相関値（以下、音高相関値とする）を導出する（Ｓ５７０）。そして、正規化楽音スペクトルに対する正規化出力音スペクトルのシフト量が予め規定された上限値以上であるか否かを判定する（Ｓ５８０）。その判定の結果、シフト量が上限値未満であれば（Ｓ５８０：ＮＯ）、正規化出力音スペクトルを、周波数軸に沿って予め規定された規定量シフトして（Ｓ５９０）、Ｓ５７０へと戻り、音高相関値を再度導出する。
【００８２】
すなわち、本実施形態のＳ５７０〜Ｓ５９０では、図５（Ｃ）に示すように、正規化楽音スペクトルに対して、正規化出力音スペクトルを周波数軸に沿って下限値から上限値に達するまでシフトさせつつ、その正規化出力音スペクトルをシフトさせるごとに、音高相関値を導出する。
【００８３】
そして、正規化出力音のシフト量が上限値以上となると（Ｓ５８０：ＹＥＳ）、対象楽曲を構成する楽音の音高に、出力音の音高を一致させるための補正量（以下、音高補正量とする）を決定する（Ｓ６００）。本実施形態のＳ６００では、具体的に、先のＳ５７０にて導出された全ての音高相関値の中で、値が最大である音高相関値に対応する正規化出力音スペクトルのシフト量を音高補正量として決定する。
【００８４】
続いて、その導出された音高補正量に従って、楽曲ＭＩＤＩデータＤＭにおける全ての楽譜トラックに規定された個々の出力音の音高を修正することで、修正楽曲ＭＩＤＩデータＤＭを生成する（Ｓ６１０）。すなわち、本実施形態のＳ６１０にて生成される修正楽曲ＭＩＤＩデータＤＭは、全ての出力音の音高が、予め用意された出力音の音高から音高補正量シフトされたものとなる。
【００８５】
そして、その後、本音高補正処理を終了し、データ修正処理へと戻る。
続いて、図２に示すデータ修正処理では、楽曲ＭＩＤＩデータＤＭ中に含まれている対象楽曲のテンポデータ、及び携帯端末５からの楽曲ＢＰＭに基づいて、楽曲ＢＰＭに一致するように、楽曲ＭＩＤＩデータＤＭに含まれているテンポデータを修正するＢＰＭ補正を実行する（Ｓ３４０）。
【００８６】
具体的に、本実施形態のＳ３４０では、楽曲ＭＩＤＩデータＤＭからテンポデータを抽出し、その抽出したテンポデータ（すなわち、ＢＰＭ）と、携帯端末５からの楽曲ＢＰＭとの比αを導出する。そして、導出した比αを、楽曲ＭＩＤＩデータの時間軸に沿った全区間のテンポデータに乗じることを、ＢＰＭ補正として実行する。
【００８７】
さらに、携帯端末５からのベース波形情報に基づいて、音高補正処理によって、出力音の音高が楽音の音高に一致するように修正された出力音（以下、修正出力音とする）の演奏開始タイミングと、楽音の演奏開始タイミングとのズレ量（以下、時間ズレ量と称す）を導出すると共に、対象楽曲を構成する楽音の演奏開始タイミングに一致するように、個々の出力音の演奏開始タイミングを修正した修正楽曲ＭＩＤＩデータＤＭを生成するタイミング補正処理を実行する（Ｓ３５０）。
【００８８】
〈タイミング補正処理の処理内容について〉
次に、データ修正処理のＳ３５０にて起動されるタイミング補正処理について説明する。
【００８９】
このタイミング補正処理は、起動されると、図６に示すように、修正楽曲ＭＩＤＩデータＤＭに含まれている楽譜トラックのうち、ベースギターに対応する楽譜トラックに基づいて、ベースギターを模擬した出力音が時間軸に沿って推移した波形であるベース楽器波形を取得する（Ｓ７１０）。
【００９０】
そして、Ｓ７１０にて取得したベース楽器波形の時間軸上に規定されたベース設定位置を、携帯端末５からのベース波形情報の時間軸上に規定された波形基準位置に一致させて、ベース楽器波形とベース波形情報との相関値（以下、時間相関値とする）を導出する（Ｓ７２０）。
【００９１】
続いて、ベース波形情報に対するベース楽器波形の時間軸に沿ったシフト量が、予め規定された上限値（シフト量の上限値）以上であるか否かを判定する（Ｓ７３０）。その判定の結果、ベース楽器波形のシフト量が、シフト量の上限値未満であれば（Ｓ７３０：ＮＯ）、ベース楽器波形の波形設定位置を、予め規定されたシフト量（即ち、時間）シフトして（Ｓ７４０）、Ｓ７２０へと戻る。
【００９２】
すなわち、本実施形態のＳ７２０〜Ｓ７４０では、図７に示すように、携帯端末５からのベース波形情報に対してベース楽器波形を上限値に達するまでシフトさせ、そのベース楽器波形をシフトさせるごとに、時間相関値を導出する。
【００９３】
一方、Ｓ７３０での判定の結果、シフト量が、シフト量の上限値以上となると（Ｓ７３０：ＹＥＳ）、対象楽曲を構成する楽音の演奏開始タイミングに、修正出力音の演奏開始タイミングを一致させるための補正量、即ち、時間ズレ量を決定する（Ｓ７５０）。具体的に、本実施形態のＳ７５０では、Ｓ７２０で導出された全ての時間相関値の中で値が最大となる時間相関値に対応する、ベース波形情報に対するベース楽器波形のシフト量を、時間ズレ量として決定する。
【００９４】
続いて、タイミング補正処理にて導出された時間ズレ量に従って、楽曲波形データＤＷにおける個々の楽音の演奏開始タイミングに一致するように、楽曲ＭＩＤＩデータＤＭに規定されている個々の出力音の演奏開始タイミングを補正する（Ｓ７６０）。具体的に、本実施形態のＳ７６０では、楽曲ＭＩＤＩデータＤＭに規定されている個々の出力音の演奏開始タイミングを、時間軸に沿って時間シフト量シフトする。
【００９５】
その後、図２に示すデータ修正処理へと戻る。
そのデータ修正処理では、タイミング補正処理にて生成された修正楽曲ＭＩＤＩデータＤＭに含まれるガイドメロディの各出力音の演奏開始タイミングと、修正前の楽曲ＭＩＤＩデータＤＭに含まれているガイドメロディの各出力音の演奏開始タイミングとの時間差分（以下、タイミング差分と称す）を導出する（Ｓ３６０）。
【００９６】
続いて、対象楽曲の歌詞出力データＤＯを取得し、その歌詞出力データＤＯに規定されている各歌詞構成文字の歌詞出力タイミングが、楽曲波形データＤＷにおける楽音の演奏開始タイミングに一致するように、当該歌詞出力タイミングを修正した修正出力データＤＯを生成する（Ｓ３７０）。具体的に、本実施形態のＳ３７０では、歌詞構成文字の各々の歌詞出力タイミングを、対象楽曲の時間軸に沿って、Ｓ３６０で導出したタイミング差分シフトさせることで、修正出力データＤＯを生成する。
【００９７】
さらに、対象楽曲の歌詞テロップデータＤＴ、及びＳ３７０にて生成した修正出力データＤＯ（図２中：修正歌詞データ）を、Ｓ３１０にて受信した楽曲タグデータＤＤを送信した携帯端末５へと送信する（Ｓ３８０）。
【００９８】
その後、Ｓ３１０へと戻り、新たな楽曲タグデータＤＤを受信するまで待機する。
［実施形態の効果］
以上説明したように、本実施形態の情報処理システム１を構成する情報処理サーバ２０にて生成される修正出力データＤＯは、歌詞出力タイミングが、楽曲波形データＤＷに基づく楽音の出力開始タイミングに一致したものとなる。よって、情報処理システム１を構成する携帯端末５にて、楽曲波形データＤＷに基づいて対象楽曲を演奏するときに、当該対象楽曲の楽音の出力タイミングに一致して歌詞構成文字を順次表示することができ、各歌詞構成文字の表示が、楽音の演奏タイミングに対してズレることを低減できる。
【００９９】
また、本実施形態の情報処理システム１では、楽曲波形データＤＷに基づくＢＰＭと、楽曲ＭＩＤＩデータＤＭに基づくＢＰＭとのズレ、楽曲波形データＤＷにおいてベースギターが演奏されるタイミングと、楽曲ＭＩＤＩデータＤＭにおいてベースギターが出力されるタイミングのズレを導出している。そして、情報処理サーバ２０によれば、これらのズレを用いて修正出力データＤＯを生成するため、その生成された修正出力データＤＯは、楽曲波形データＤＷに基づく楽音の演奏タイミングに対する、歌詞構成文字の出力タイミングのズレがより確実に低減されたものとなる。
【０１００】
しかも、上記実施形態では、情報処理サーバ２０から携帯端末５に送信するデータを、歌詞テロップデータＤＴ及び修正出力データＤＯの２つのデータとしている。このため、情報処理システム１によれば、携帯端末５にて、対象楽曲の楽音の出力タイミングに一致して歌詞構成文字を順次表示するために、情報処理サーバ２０から携帯端末５へと送信するデータの通信量を少量とすることができる。
【０１０１】
さらに、上記実施形態では、携帯端末５から情報処理サーバ２０に送信されるベース波形情報を、帯域制限フィルタ通過後の楽音推移波形を、ダウンサンプリングした信号波形としている。したがって、情報処理システム１によれば、携帯端末５から情報処理サーバ２０への通信量を、より確実に低減できる。
［その他の実施形態］
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。
【０１０２】
例えば、上記実施形態のカラオケ再生処理では、Ｓ１１０において、対象楽曲の楽曲タグデータＤＤを情報処理サーバ２０に送信していたが、Ｓ１１０において、携帯端末５から送信するデータは、楽曲タグデータＤＤに限るものではない。すなわち、Ｓ１１０において、携帯端末５から送信するデータは、対象楽曲の演奏開始から予め定められた期間（例えば、いわゆるイントロに相当する期間）分の楽曲波形データＤＷでも良い。この場合、情報処理サーバ２０は、周知の手法により、楽曲波形データＤＷを分析し楽曲を認識すれば良い。このとき、楽曲タグデータＤＤは、携帯端末５の記憶部１０に記憶されていなくとも良い。
【０１０３】
換言すれば、情報処理サーバ２０が対象楽曲を特定可能であれば、Ｓ１１０において、携帯端末５から送信されるデータは、どのようなデータであっても良い。
また、上記実施形態のタイミング補正処理では、携帯端末５からのベース波形情報に対してベース楽器波形を上限値に達するまでシフトさせ、そのベース楽器波形をシフトさせるごとに、時間相関値を導出した結果の中で、時間相関値の値が最も大きくなるシフト量を時間ズレ量として決定していたが、時間ズレ量を決定する方法は、これに限るものではない。例えば、ベース楽器波形の時間軸に沿った最初のピークと、ベース波形情報の時間軸に沿った最初のピークとが一致するように導出した、ベース波形情報に対するベース楽器波形の時間軸に沿ったシフト量を時間ズレ量として決定しても良い。
【０１０４】
また、上記実施形態のカラオケ再生処理では、ＳＳ４０にて、端末送信情報の１つとして、ベース波形情報を情報処理サーバ２０に送信していたが、ＳＳ４０にて送信するデータは、これに限るものではない。例えば、打楽器の楽音が推移した波形である打楽器波形情報を端末送信情報の１つとして、情報処理サーバ２０に送信しても良い。この場合、打楽器波形情報は、ベース波形情報に加えて、端末送信情報とすることが好ましい。
［実施形態と特許請求の範囲との対応関係］
最後に、上記実施形態の記載と、特許請求の範囲の記載との関係を説明する。
【０１０５】
上記実施形態のカラオケ再生処理におけるＳ１１０（ＳＳ１０）が、特許請求の範囲の記載における識別情報取得手段及び識別情報送信手段に相当し、Ｓ１４０（ＳＳ３０）及びＳ１５０（ＳＳ４０）が、特許請求の範囲の記載における速度情報送信手段に相当する。さらに、携帯端末５にて、データ修正処理のＳＳ５０にて送信されたデータを取得する機能が、特許請求の範囲の記載における歌詞情報取得手段に相当し、カラオケ再生処理におけるＳ１６０が、特許請求の範囲の記載における演奏出力手段に相当する。
【０１０６】
また、上記実施形態のデータ修正処理におけるＳ３２０が、特許請求の範囲の記載におけるデータ取得手段に相当し、データ修正処理におけるＳ３４０及びタイミング補正処理におけるＳ７１０が、特許請求の範囲の記載における演奏速度取得手段に相当する。そして、タイミング補正処理におけるＳ７２０〜Ｓ７５０が、特許請求の範囲の記載における時間ズレ量導出手段に相当し、データ修正処理におけるＳ３７０が、特許請求の範囲の記載におけるデータ修正手段に相当し、データ修正処理におけるＳ３８０が、特許請求の範囲の記載における歌詞送信手段に相当する。
【０１０７】
また、上記実施形態のカラオケ再生処理におけるＳ１３０（ＳＳ２０）が、特許請求の範囲の記載におけるスペクトル送信手段に相当し、音高補正処理におけるＳ５１０〜Ｓ５５０が、特許請求の範囲の記載における出力音スペクトル導出手段に相当し、音高補正処理におけるＳ５７０〜Ｓ５９０が、特許請求の範囲の記載における音高相関導出手段に相当し、音高補正処理におけるＳ６００，Ｓ６１０が、特許請求の範囲の記載における楽譜データ修正手段に相当する。
【符号の説明】
【０１０８】
１…情報処理システム ５…携帯端末 ６…情報受付部 ７…表示部 ８…音出力部 ９…通信部 １０…記憶部 １１…制御部 １２…ＲＯＭ １３…ＲＡＭ １４…ＣＰＵ ２０…情報処理サーバ ２１…通信部 ２２…入力受付部 ２３…表示部 ２４…音入力部 ２５…音出力部 ２６…音源モジュール ２７…記憶部 ３０…制御部 ３１…ＲＯＭ ３２…ＲＡＭ ３３…ＣＰＵ
【特許請求の範囲】
【請求項１】
楽曲を構成する楽音の音圧が時間軸に沿って推移した楽音推移波形を表す楽曲波形データが、記憶部に記憶される携帯機器と、前記携帯機器との間でデータ通信を実行する情報処理装置とを備えた情報処理システムであって、
前記情報処理装置は、
楽曲の楽譜を表し、当該楽曲の進行を表す演奏速度情報と共に、音源モジュールから出力する個々の出力音について、少なくとも音高及び演奏開始タイミングが規定された楽曲楽譜データ、楽曲の歌詞を構成する歌詞構成文字を表す歌詞データ、及び前記歌詞構成文字の出力タイミングである歌詞出力タイミングを規定するデータであり、かつ少なくとも１つの前記歌詞構成文字に対する前記歌詞出力タイミングが、前記楽曲楽譜データ中の少なくとも１つのタイミングに対応付けられた歌詞出力データを取得して、少なくとも前記歌詞出力データに対して情報処理を実行する装置であり、
前記携帯機器は、
指定された楽曲である対象楽曲を識別する楽曲識別情報を取得する識別情報取得手段と、
前記識別情報取得手段で取得した楽曲識別情報を、前記情報処理装置に送信する識別情報送信手段と、
前記識別情報取得手段で取得した楽曲識別情報に対応する前記対象楽曲の前記楽曲波形データから、該対象楽曲の進行を表す楽曲速度情報を取得して、前記情報処理装置に送信する速度情報送信手段と、
前記対象楽曲の前記歌詞データ、及び前記情報処理装置にて情報処理が実行された前記歌詞出力データである修正出力データであって前記対象楽曲の修正出力データを、前記情報処理装置から取得する歌詞情報取得手段と、
前記対象楽曲の前記楽曲波形データに基づいて当該対象楽曲を演奏すると共に、前記歌詞情報取得手段で取得した前記修正出力データに規定された歌詞出力タイミングに従って、前記歌詞データによって表される歌詞構成文字を順次表示する演奏出力手段と
を備え、
前記情報処理装置は、
前記識別情報送信手段で送信された楽曲識別情報に対応する対象楽曲の楽曲楽譜データ、及び歌詞出力データを取得するデータ取得手段と、
前記データ取得手段で取得した楽曲楽譜データから、前記演奏速度情報を取得する演奏速度取得手段と、
前記速度情報送信手段にて送信された楽曲速度情報と、前記演奏速度取得手段で取得した演奏速度情報とを比較した結果に基づき、前記出力音の各々の演奏開始タイミングに対する、各出力音に対応する前記楽音の開始タイミングのズレ量を表す時間ズレ量を導出する時間ズレ量導出手段と、
前記時間ズレ量導出手段で導出された時間ズレ量に従って、前記データ取得手段にて取得した前記歌詞出力データにおける前記歌詞出力タイミングを、前記楽音の開始タイミングに一致するように修正した当該歌詞出力データを前記修正出力データとして生成するデータ修正手段と、
前記データ修正手段で生成された修正出力データ、及び前記楽曲識別情報に対応する対象楽曲の歌詞データを、前記携帯機器に送信する歌詞送信手段と
を備えることを特徴とする情報処理システム。
【請求項２】
前記携帯機器の速度情報送信手段は、
前記対象楽曲の楽曲波形データに基づいて特定した、対象楽曲のテンポを表すテンポ情報、及び特定の楽器が演奏されたタイミングを表すベース波形情報を、前記楽曲速度情報として取得し、
前記楽曲楽譜データは、
当該楽曲楽譜データに対応する楽曲のテンポを表す情報である楽曲テンポ情報が規定されていると共に、対応する楽曲において演奏される楽器の種類ごとに、出力音についての音高及び演奏開始タイミングが規定されており、
前記情報処理装置の演奏速度取得手段は、
前記楽曲テンポ情報、及び前記特定の楽器の出力音の演奏開始タイミングが時間軸に沿って推移したベース楽器波形を、前記演奏速度情報として取得する
ことを特徴とする請求項１に記載の情報処理システム。
【請求項３】
前記ベース波形情報は、サンプリング波形であり、
前記携帯機器の速度情報送信手段が送信する前記ベース波形情報は、
前記楽音推移波形のサンプリング周波数よりも低いサンプリング周波数でサンプリングしたものである
ことを特徴とする請求項２に記載の情報処理システム。
【請求項４】
前記携帯機器は、
前記対象楽曲の楽曲波形データを取得し、該楽曲波形データによって表された楽音推移波形の周波数スペクトルである楽音スペクトル分布を導出して、前記情報処理装置に送信するスペクトル送信手段を備え、
前記情報処理装置は、
前記対象楽曲の楽曲楽譜データを取得し、該楽曲楽譜データに基づいて、出力音が時間軸に沿って推移した波形である出力音推移波形の周波数スペクトルである出力音スペクトル分布を導出する出力音スペクトル導出手段と、
前記スペクトル送信手段にて送信された楽音スペクトル分布と、前記出力音スペクトル導出手段で導出された出力音スペクトル分布との相関値を表す音高相関値を、前記楽音スペクトル分布において予め規定された規定位置から前記出力音スペクトル分布を周波数軸に沿ってシフトさせるごとに導出する音高相関導出手段と、
前記音高相関導出手段にて導出された音高相関値の中で、値が最大となる音高相関値に対応する前記規定位置からの周波数軸に沿ったシフト量を音高補正量として、前記対象楽曲の楽曲楽譜データに規定された前記出力音の各々の音高をシフトさせることで、新たな楽曲楽譜データを生成する楽譜データ修正手段と
を備え、
前記演奏速度取得手段は、
前記楽譜データ修正手段で生成された新たな楽曲楽譜データから、前記演奏速度情報を取得する
ことを特徴とする請求項１〜請求項３のいずれか一項に記載の情報処理システム。
【請求項５】
楽曲の楽譜を表し、当該楽曲の進行を表す演奏速度情報と共に、音源モジュールから出力する個々の出力音について、少なくとも音高及び演奏開始タイミングが規定された楽曲楽譜データ、楽曲の歌詞を構成する歌詞構成文字を表す歌詞データ、及び前記歌詞構成文字の出力タイミングである歌詞出力タイミングを規定するデータであり、かつ少なくとも１つの前記歌詞構成文字に対する前記歌詞出力タイミングが、前記楽曲楽譜データ中の少なくとも１つのタイミングである特定開始タイミングに対応付けられた歌詞出力データを取得して、少なくとも前記歌詞出力データに対して情報処理を実行する情報処理装置との間でデータ通信を実行すると共に、楽曲を構成する楽音の音圧が時間軸に沿って推移した楽音推移波形を表す楽曲波形データが、記憶部に記憶される携帯機器に備えられたコンピュータにて実行されるプログラムであって、
指定された楽曲である対象楽曲を識別する楽曲識別情報を取得する識別情報取得手順と、
前記識別情報取得手順で取得した楽曲識別情報を、前記情報処理装置に送信する識別情報送信手順と、
前記識別情報取得手順で取得した楽曲識別情報に対応する前記対象楽曲の前記楽曲波形データから、該対象楽曲の進行を表す楽曲速度情報を取得して、前記情報処理装置に送信する速度情報送信手順と、
前記識別情報送信手順で送信された楽曲識別情報に対応する対象楽曲の楽曲楽譜データ、及び歌詞出力データを取得し、該取得した楽曲楽譜データから取得した前記演奏速度情報と前記速度情報送信手順にて送信された楽曲速度情報と比較した結果に基づき、前記出力音の各々の演奏開始タイミングに対する、各出力音に対応する前記楽音の開始タイミングのズレ量を表す時間ズレ量を導出すると共に、該導出された時間ズレ量に従って、前記取得した歌詞出力データにおける前記歌詞出力タイミングを、前記楽音の開始タイミングに一致するように修正した当該歌詞出力データを修正出力データとして生成する処理が前記情報処理として実行された結果である、前記修正出力データ、及び前記楽曲識別情報に対応する対象楽曲の歌詞データを、前記情報処理装置から取得する歌詞情報取得手順と、
前記対象楽曲の前記楽曲波形データに基づいて当該対象楽曲を演奏すると共に、前記歌詞情報取得手順で取得した前記修正出力データに規定された歌詞出力タイミングに従って、前記歌詞データによって表される歌詞構成文字を順次表示する演奏出力手順とを
前記コンピュータに実行させることを特徴とするプログラム。
【請求項１】
楽曲を構成する楽音の音圧が時間軸に沿って推移した楽音推移波形を表す楽曲波形データが、記憶部に記憶される携帯機器と、前記携帯機器との間でデータ通信を実行する情報処理装置とを備えた情報処理システムであって、
前記情報処理装置は、
楽曲の楽譜を表し、当該楽曲の進行を表す演奏速度情報と共に、音源モジュールから出力する個々の出力音について、少なくとも音高及び演奏開始タイミングが規定された楽曲楽譜データ、楽曲の歌詞を構成する歌詞構成文字を表す歌詞データ、及び前記歌詞構成文字の出力タイミングである歌詞出力タイミングを規定するデータであり、かつ少なくとも１つの前記歌詞構成文字に対する前記歌詞出力タイミングが、前記楽曲楽譜データ中の少なくとも１つのタイミングに対応付けられた歌詞出力データを取得して、少なくとも前記歌詞出力データに対して情報処理を実行する装置であり、
前記携帯機器は、
指定された楽曲である対象楽曲を識別する楽曲識別情報を取得する識別情報取得手段と、
前記識別情報取得手段で取得した楽曲識別情報を、前記情報処理装置に送信する識別情報送信手段と、
前記識別情報取得手段で取得した楽曲識別情報に対応する前記対象楽曲の前記楽曲波形データから、該対象楽曲の進行を表す楽曲速度情報を取得して、前記情報処理装置に送信する速度情報送信手段と、
前記対象楽曲の前記歌詞データ、及び前記情報処理装置にて情報処理が実行された前記歌詞出力データである修正出力データであって前記対象楽曲の修正出力データを、前記情報処理装置から取得する歌詞情報取得手段と、
前記対象楽曲の前記楽曲波形データに基づいて当該対象楽曲を演奏すると共に、前記歌詞情報取得手段で取得した前記修正出力データに規定された歌詞出力タイミングに従って、前記歌詞データによって表される歌詞構成文字を順次表示する演奏出力手段と
を備え、
前記情報処理装置は、
前記識別情報送信手段で送信された楽曲識別情報に対応する対象楽曲の楽曲楽譜データ、及び歌詞出力データを取得するデータ取得手段と、
前記データ取得手段で取得した楽曲楽譜データから、前記演奏速度情報を取得する演奏速度取得手段と、
前記速度情報送信手段にて送信された楽曲速度情報と、前記演奏速度取得手段で取得した演奏速度情報とを比較した結果に基づき、前記出力音の各々の演奏開始タイミングに対する、各出力音に対応する前記楽音の開始タイミングのズレ量を表す時間ズレ量を導出する時間ズレ量導出手段と、
前記時間ズレ量導出手段で導出された時間ズレ量に従って、前記データ取得手段にて取得した前記歌詞出力データにおける前記歌詞出力タイミングを、前記楽音の開始タイミングに一致するように修正した当該歌詞出力データを前記修正出力データとして生成するデータ修正手段と、
前記データ修正手段で生成された修正出力データ、及び前記楽曲識別情報に対応する対象楽曲の歌詞データを、前記携帯機器に送信する歌詞送信手段と
を備えることを特徴とする情報処理システム。
【請求項２】
前記携帯機器の速度情報送信手段は、
前記対象楽曲の楽曲波形データに基づいて特定した、対象楽曲のテンポを表すテンポ情報、及び特定の楽器が演奏されたタイミングを表すベース波形情報を、前記楽曲速度情報として取得し、
前記楽曲楽譜データは、
当該楽曲楽譜データに対応する楽曲のテンポを表す情報である楽曲テンポ情報が規定されていると共に、対応する楽曲において演奏される楽器の種類ごとに、出力音についての音高及び演奏開始タイミングが規定されており、
前記情報処理装置の演奏速度取得手段は、
前記楽曲テンポ情報、及び前記特定の楽器の出力音の演奏開始タイミングが時間軸に沿って推移したベース楽器波形を、前記演奏速度情報として取得する
ことを特徴とする請求項１に記載の情報処理システム。
【請求項３】
前記ベース波形情報は、サンプリング波形であり、
前記携帯機器の速度情報送信手段が送信する前記ベース波形情報は、
前記楽音推移波形のサンプリング周波数よりも低いサンプリング周波数でサンプリングしたものである
ことを特徴とする請求項２に記載の情報処理システム。
【請求項４】
前記携帯機器は、
前記対象楽曲の楽曲波形データを取得し、該楽曲波形データによって表された楽音推移波形の周波数スペクトルである楽音スペクトル分布を導出して、前記情報処理装置に送信するスペクトル送信手段を備え、
前記情報処理装置は、
前記対象楽曲の楽曲楽譜データを取得し、該楽曲楽譜データに基づいて、出力音が時間軸に沿って推移した波形である出力音推移波形の周波数スペクトルである出力音スペクトル分布を導出する出力音スペクトル導出手段と、
前記スペクトル送信手段にて送信された楽音スペクトル分布と、前記出力音スペクトル導出手段で導出された出力音スペクトル分布との相関値を表す音高相関値を、前記楽音スペクトル分布において予め規定された規定位置から前記出力音スペクトル分布を周波数軸に沿ってシフトさせるごとに導出する音高相関導出手段と、
前記音高相関導出手段にて導出された音高相関値の中で、値が最大となる音高相関値に対応する前記規定位置からの周波数軸に沿ったシフト量を音高補正量として、前記対象楽曲の楽曲楽譜データに規定された前記出力音の各々の音高をシフトさせることで、新たな楽曲楽譜データを生成する楽譜データ修正手段と
を備え、
前記演奏速度取得手段は、
前記楽譜データ修正手段で生成された新たな楽曲楽譜データから、前記演奏速度情報を取得する
ことを特徴とする請求項１〜請求項３のいずれか一項に記載の情報処理システム。
【請求項５】
楽曲の楽譜を表し、当該楽曲の進行を表す演奏速度情報と共に、音源モジュールから出力する個々の出力音について、少なくとも音高及び演奏開始タイミングが規定された楽曲楽譜データ、楽曲の歌詞を構成する歌詞構成文字を表す歌詞データ、及び前記歌詞構成文字の出力タイミングである歌詞出力タイミングを規定するデータであり、かつ少なくとも１つの前記歌詞構成文字に対する前記歌詞出力タイミングが、前記楽曲楽譜データ中の少なくとも１つのタイミングである特定開始タイミングに対応付けられた歌詞出力データを取得して、少なくとも前記歌詞出力データに対して情報処理を実行する情報処理装置との間でデータ通信を実行すると共に、楽曲を構成する楽音の音圧が時間軸に沿って推移した楽音推移波形を表す楽曲波形データが、記憶部に記憶される携帯機器に備えられたコンピュータにて実行されるプログラムであって、
指定された楽曲である対象楽曲を識別する楽曲識別情報を取得する識別情報取得手順と、
前記識別情報取得手順で取得した楽曲識別情報を、前記情報処理装置に送信する識別情報送信手順と、
前記識別情報取得手順で取得した楽曲識別情報に対応する前記対象楽曲の前記楽曲波形データから、該対象楽曲の進行を表す楽曲速度情報を取得して、前記情報処理装置に送信する速度情報送信手順と、
前記識別情報送信手順で送信された楽曲識別情報に対応する対象楽曲の楽曲楽譜データ、及び歌詞出力データを取得し、該取得した楽曲楽譜データから取得した前記演奏速度情報と前記速度情報送信手順にて送信された楽曲速度情報と比較した結果に基づき、前記出力音の各々の演奏開始タイミングに対する、各出力音に対応する前記楽音の開始タイミングのズレ量を表す時間ズレ量を導出すると共に、該導出された時間ズレ量に従って、前記取得した歌詞出力データにおける前記歌詞出力タイミングを、前記楽音の開始タイミングに一致するように修正した当該歌詞出力データを修正出力データとして生成する処理が前記情報処理として実行された結果である、前記修正出力データ、及び前記楽曲識別情報に対応する対象楽曲の歌詞データを、前記情報処理装置から取得する歌詞情報取得手順と、
前記対象楽曲の前記楽曲波形データに基づいて当該対象楽曲を演奏すると共に、前記歌詞情報取得手順で取得した前記修正出力データに規定された歌詞出力タイミングに従って、前記歌詞データによって表される歌詞構成文字を順次表示する演奏出力手順とを
前記コンピュータに実行させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１３−７６８８７（Ｐ２０１３−７６８８７Ａ）
【公開日】平成２５年４月２５日（２０１３．４．２５）
【国際特許分類】
【出願番号】特願２０１１−２１７２９４（Ｐ２０１１−２１７２９４）
【出願日】平成２３年９月３０日（２０１１．９．３０）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
【公開日】平成２５年４月２５日（２０１３．４．２５）
【国際特許分類】
【出願日】平成２３年９月３０日（２０１１．９．３０）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
[ Back to top ]