特徴波形抽出システムおよび特徴波形抽出方法
【課題】楽曲の中から精度よくサビを抽出できるようにする。
【解決手段】楽曲の波形情報を周波数解析し、時間軸方向の周波数変動値を求める。そして、その周波数変動値のうち、上位複数個の周波数変動値を有する変動時刻を抽出し、その変動時刻から連続する一定区間の波形情報を抽出する。そして、その抽出された区間波形同士の相関係数を算出して繰り返し頻度を求めるとともに、その区間波形における平均音圧を求める。そして、繰り返し頻度が複数回以上であって平均音圧が最大となる区間波形の変動時刻をサビの開始時刻とし、次の変動時刻までの波形情報を特徴波形として抽出する。その後、サビのテンポ値を一定にする処理やテンポ値による並び替えを行い、それぞれのサビの拍の位置を一致させてサビを連結する。
【解決手段】楽曲の波形情報を周波数解析し、時間軸方向の周波数変動値を求める。そして、その周波数変動値のうち、上位複数個の周波数変動値を有する変動時刻を抽出し、その変動時刻から連続する一定区間の波形情報を抽出する。そして、その抽出された区間波形同士の相関係数を算出して繰り返し頻度を求めるとともに、その区間波形における平均音圧を求める。そして、繰り返し頻度が複数回以上であって平均音圧が最大となる区間波形の変動時刻をサビの開始時刻とし、次の変動時刻までの波形情報を特徴波形として抽出する。その後、サビのテンポ値を一定にする処理やテンポ値による並び替えを行い、それぞれのサビの拍の位置を一致させてサビを連結する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、楽曲の中からサビを抽出できるようにした特徴波形抽出システムに関するものである。
【背景技術】
【０００２】
一般に、楽曲の中のサビとなる部分は、前のフレーズから転調したり、あるいは、長い間奏区間や長い音符・休符などを挟んで音圧が大きく変化したり、高音域へと変化することが多い。このため、従来では、このようなサビの特徴を利用して、楽曲の中からサビとなる部分の情報を抽出できるようにした方法が各種提案されている。
【０００３】
例えば、下記の特許文献１には、楽曲の中から音圧が最大となる位置をサビとして抽出する技術が開示されており、また、下記の特許文献２には、所定時間以上大きな音圧が継続し、かつ、周波数スペクトルが高周波域にシフトする傾向が所定時間以上続いた場合は、その部分をサビであると判定する技術が開示されている。
【０００４】
さらに、下記の特許文献３には、音圧などを用いて抽出されたサビの区間が、楽曲中に繰り返し出現している場合、その区間をサビとする技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−０８０３０４号公報
【特許文献２】特開２００８−１５９２５２号公報
【特許文献３】特開２００８−２６２０４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述のようなサビの抽出方法では次のような問題を有する。
【０００７】
すなわち、特許文献１のように、音圧のみでサビの領域を抽出する方法では、間奏区間や長い休符区間などが存在している場合、その区間を「サビでない」としてサビの候補から除外することができるが、例えば、バスやビートなどのように音圧の大きな楽器が断続的に演奏されている場合、楽曲全体にわたって音圧が大きくなるため、どの部分がサビであるかを正確に判断するのが難しくなる。
【０００８】
また、上記特許文献２のように、所定時間以上大きな音圧が続き、かつ、高周波成分が多く含まれる部分をサビとする方法においても、同様に、バスやビートなどのような音圧の大きな楽器が断続的に演奏されている場合は、サビとなる部分を抽出するのが難しくなる。また、仮に、その抽出された区間から、高周波成分に基づいて絞り込みを行ったとしても、音圧に基づいて間違ったサビの候補を抽出してしまった場合は、結果として間違ったサビを抽出してしまうことになる。
【０００９】
さらには、上記特許文献３のように、繰り返し頻度を計算する場合であっても、ＡメロやＢメロが繰り返し多く演奏される楽曲では、サビだけが突出して繰り返し多く演奏されるわけではないので、そのサビを正確に抽出するのが難しくなってしまう。
【００１０】
そこで、本発明は上記課題に着目してなされたもので、楽曲の中から精度よくサビとなる部分を抽出できるようにしたシステムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
すなわち、本発明は上記課題を解決するために、楽曲の波形情報の入力を受け付ける入力受付手段と、当該入力受付手段によって受け付けた波形情報を周波数解析し、時間軸方向の周波数変動値を求める変動算出手段と、当該変動算出手段によって求められた周波数変動値のうち、所定値以上の周波数変動値を有する変動時刻を抽出する変動時刻抽出手段と、当該変動時刻から連続する所定区間内の波形情報を抽出する区間波形抽出手段と、当該抽出された区間波形同士の繰り返し頻度を求める頻度算出手段と、当該区間波形における音圧を求める音圧算出手段と、前記繰り返し頻度が複数回以上であって前記音圧が最大となる区間波形の変動時刻を特徴開始時刻として抽出し、所定の終了時刻までの波形情報を特徴波形として抽出する特徴波形抽出手段とを備えるようにしたものである。
【００１２】
このように、先に周波数変動の大きな位置をサビの開始時刻の候補として列挙し、その後、その開始時刻から所定区間内の音圧や繰り返し頻度に基づいてサビの候補を抽出するようにすれば、曲想が大きく変わる部分（すなわち、転調する部分や、長い間奏、長い音符や休符の存在する部分）を優先して、正確にサビを抽出することができる。すなわち、音圧に基づいてサビの候補を先に抽出した場合は、音圧変化の少ないサビを抽出することが難しくなるが、サビに切り替わる部分では必ず曲想の変化があるため、この曲想の変化に基づいてサビを正確に抽出することができるようになる。
【００１３】
また、このような発明において、変動時刻から連続する所定区間を、一定の区間として抽出する。
【００１４】
このように変動時刻から抽出された一定区間の情報に基づいて開始時刻のみを決定すれば、あらかじめサビの終了時刻を推定して繰り返し頻度などを計算する場合と比べて、その終了時刻を誤って推定することに基づくサビの誤判断を防止することができる。
【００１５】
さらには、終了時刻を決定する場合、前記抽出された開始時刻の次の変動時刻とする。
【００１６】
このようにすれば、終了時刻については周波数変動のみで決定されるため、音圧が極端に変化することなく次のメロディに移るような場合であっても、終了時刻を正確に抽出することができるようになる。
【００１７】
また、このように抽出された特徴波形についてテンポ値を一致させて他の楽曲の特徴波形と連結する連結手段も備えるようにする。
【００１８】
このようにすれば、サビを連結させてサビメドレーを作成する場合に、それぞれのサビのテンポ値を一定にすることによってスムーズに他のサビに遷移させることができる。
【００１９】
また、このように抽出された特徴波形について、テンポ値順に並び替えて連結する連結手段を備えるようにすることもできる。
【００２０】
このようにした場合であっても、スムーズに他のサビに遷移させることができる。
【００２１】
また、このように抽出された特徴波形について拍の位置を一致させて他の楽曲の特徴波形と連結するようにすることもできる。
【００２２】
このようにすれば、サビを連結させてサビメドレーを作成する場合に、それぞれのサビの拍を一致させることによってスムーズに他のサビに遷移させることができる。
【発明の効果】
【００２３】
本発明では、先に周波数変動の大きな位置をサビの開始時刻の候補として列挙し、その後、その開始時刻から所定区間内の音圧や繰り返し頻度に基づいてサビの候補を抽出するようにしたので、曲想が大きく変わる部分（すなわち、転調する部分や、長い間奏、長い音符や休符の存在する部分）を優先して、正確にサビを抽出することができる。すなわち、音圧に基づいてサビの候補を先に抽出した場合は、音圧変化の少ないサビを抽出することが難しくなるが、サビに切り替わる部分では必ず曲想の変化があるため、この曲想の変化に基づいてサビを正確に抽出することができるようになる。
【図面の簡単な説明】
【００２４】
【図１】本発明の一実施の形態における楽曲特徴波形抽出システムの機能ブロック
【図２】同形態における各機能実現手段で抽出された波形を示す図
【図３】同形態におけるテンポ値を推定する場合の処理を示す図
【図４】同形態におけるゼロクロスとテンポ値との関係を示す図
【図５】同形態におけるサビを連結する処理を示す図
【図６】同形態におけるサビを抽出するフローチャート
【図７】同形態におけるサビを連結する場合のフローチャート
【発明を実施するための最良の形態】
【００２５】
以下、本発明の一実施の形態について図面を参照して説明する。本実施の形態における特徴波形抽出システム１００は、一曲の楽曲の中からサビとなる部分を抽出できるようにしたものであって、パーソナルコンピューターや、複数のコンピューターや関連するデバイスなどを接続したシステムなどによって構成される。そして、これらのＣＰＵ、ＲＯＭやＲＡＭなどの記憶デバイスに記憶されたプログラム、ディスクドライブなどを協働させて図１に示すような各機能を実現している。
【００２６】
具体的には、この特徴波形抽出システム１００は、大きく分けて、楽曲のデータの入力を受け付けてサビとなる部分の波形を抽出する機能と、その抽出されたサビを連結させてサビメドレーを作成する機能とを備えている。
【００２７】
このような構成において、サビの特徴波形を抽出する特徴波形抽出システム１００は、入力受付手段１によって受け付けた波形情報を周波数解析する解析手段２と、その解析された周波数情報から時間軸方向の周波数変動値を求める変動算出手段３と、所定値以上あるいは所定個数以上（例えば上位50個）の周波数変動値を有する変動時刻を抽出する変動時刻抽出手段４と、この変動時刻から連続する所定区間内の波形情報を抽出する区間波形抽出手段５と、その抽出された区間波形同士の繰り返し頻度を求める頻度算出手段６と、区間波形における音圧を求める音圧算出手段７とを備え、特徴波形抽出手段８によって、区間波形の繰り返し頻度が複数回以上であって音圧が最大となる区間波形の変動時刻を特徴開始時刻として抽出し、次の変動時刻までの区間をサビの波形情報を特徴波形として抽出するようにしている。以下、本実施の形態における各機能実現手段について詳細に説明する。
【００２８】
まず、入力受付手段１は、ユーザーが選択した楽曲の入力を受け付ける。この楽曲の入力を受け付ける場合、デバイスに挿入されたＣＤから楽曲のデータを受け付ける他、インターネットなどを介してダウンロードされた楽曲のデータなどを受け付ける。なお、楽曲のデータとしては種々のフォーマット形式のものが存在するが、この実施の形態ではWAVE形式で楽曲のデータを受け付けるものとする。この楽曲のデータを受け付けるに際して、他のフォーマット形式の楽曲データを受け付けた場合は、フォーマット変換によってWAVE形式に変換して受け付けるようにする。この受け付けた楽曲の波形情報を図２に示す。図２（ａ）は、受け付けた楽曲の振幅波形である波形情報であって、横軸が時間軸、縦軸が音圧を示している。
【００２９】
解析手段２は、この受け付けた楽曲を所定の分析フレームごとにシフトさせながら高速フーリエ変換（FFT）によって周波数解析を行う。ここでは、サンプル点数として512点、シフト幅としては512点（約11.6msecに相当）で高速フーリエ変換を行う。この周波数解析を行うと、横軸が周波数、縦軸が分析フレームの時間、高さ軸がスペクトルで表現された情報が得られる。
【００３０】
変動算出手段３は、この周波数解析された波形情報をもとに分析フレームごとの周波数変動の大きさを算出する。この周波数変動を算出する場合、まずは、隣接する分析フレームの各周波数ビンにおける差分の絶対値の総和（スカラー量）を算出してflux関数を抽出する。これによって、隣接する分析フレームにおける周波数スペクトルの大きさの差が抽出される。この抽出されたflux関数は、図２（ｂ）のように、横軸が時間軸、縦軸が各周波数ビンにおける差分の絶対値の総和（スカラー量）として表される。この図２（ｂ）における波形において、縦軸の大きな信号は、隣接する分析フレームの周波数変動の大きな部分を示しており、隣接する分析フレームの時刻から大きく周波数スペクトルが変化した部分を示している。しかしながら、隣接する分析フレームの周波数変動の総和だけでは、ノイズによって大きく周波数が変動した場合、誤った判断をしてしまう可能性がある。そこで、この抽出された情報を平滑化処理する。
【００３１】
平滑化処理においては、移動平均フィルタを用いてfluxの時間関数の振幅包絡を求める。この移動平均フィルタとしては、この実施の形態では、60点（約696.6msecに相当）の移動平均フィルタを用いるものとする。すると図２（ｂ）に示されたflux関数が、図２（ｃ）に示すように平滑化された関数に置き換えられる。
【００３２】
次に、このように平滑化処理した信号を、もっと大きな周波数変動の傾向として判断できるような処理を行う。この処理においては、最小二乗法を用いて回帰直線を求め、その回帰直線の微分値（すなわち、図２（ｃ）における傾きの値）を求める（図２（ｄ））。この微分値には、プラスとマイナスの二種類存在するが、ここでは周波数変動の大きさのみを判断するため、微分値を絶対値にして抽出する。すると、図２（ｅ）に示すように、図２（ｄ）の値がすべて正の値となった信号を得ることができる。この図２（ｃ）や図２（ｄ）において、横軸は時間軸、縦軸は平滑化されたflux関数の周波数変動の傾きの値、を示している。このような処理を行うと、ノイズが含まれている場合や、隣接する分析フレームの周波数は急激に変化していているものの全体の傾向として周波数変動が少ない場合であっても、サビであるかどうかを判断することができる。
【００３３】
変動時刻抽出手段４は、この抽出された信号情報から傾きの大きい時刻を上位所定数個抽出する。図２（ｆ）における丸印を付した部分は、この抽出された時刻の信号を示している。ここでは上位から所定数個（例えば150個）の信号を抽出しているが、この個数については、あらかじめ傾きの値について閾値を設けておき、その閾値を超える傾きを有する信号の時刻を抽出するようにしてもよい。このように抽出された時刻は、サビの開始時刻に該当する可能性の高い変動時刻として記憶部に記憶される。
【００３４】
次に、区間波形抽出手段５は、この変動時刻を基準として、そこから所定時間の楽曲の波形情報を抽出する。この波形情報を抽出する場合、WAVE波形の情報を抽出する。この抽出された波形情報を図２（ｇ）に示す。この図２（ｇ）において、横軸は時間軸、縦軸は音圧を示しており、図２（ａ）の一部の信号情報となっている。ここで変動時刻から所定時間の楽曲の波形情報を抽出する場合、その抽出される時間幅として、あらかじめ規定された一定長さの時間としておき、それぞれの変動時刻からこの規定された時間幅の信号を抽出するようにしている。ここでは、変動時刻から2048点（約23.7secに相当）の区間波形を抽出している。この時点においては、変動時刻が近接している場合、抽出された区間波形がオーバーラップしている可能性もある。
【００３５】
頻度算出手段６は、この抽出された区間波形の類似頻度を算出する。この類似頻度を算出する場合、各区間波形同士の相関係数を算出する。この相関係数を算出することにより、それぞれの区間波形の類似度が高い場合は大きな相関係数の値を得ることができ、一方、それぞれの区間波形の類似度が低い場合は小さな相関係数の値を得ることができる。そして、それぞれの区間波形の組み合わせを相関係数の高い順にソーティングする。このとき、ソーティングされた区間波形の組み合わせの中には、前述のように変動時刻が近接していて、ほとんどの区間がオーバーラップしているものも存在するため、変動時刻が所定時間内の組み合わせとなっているものを除外する。ここでは、それぞれの変動時刻が１５秒以内となっている組み合わせを除外するものとし、その組み合わせを構成した２つの変動時刻を除外する。そして、相関係数が所定値以上あるいは所定個数以上の組み合わせ（具体的には、繰り返し頻度が２回以上の組み合わせ）をサビの候補として記憶させておく。
【００３６】
音圧算出手段７は、このサビの候補として抽出された区間波形の平均音圧を計算する。この計算においては、抽出されたWAVE波形の情報を用いて音圧を計算する。
【００３７】
特徴波形抽出手段８は、このように算出された区間波形について、相関係数が所定値以上の組み合わせの中から平均音圧が最大となる区間波形を抽出する。これにより得られた区間波形は、２つの変動時刻に挟まれた波形であることから、それらをサビの開始時刻と終了時刻とし、そのサビ（WAVEファイル）を抽出する。
【００３８】
このように、周波数変動を計算して、最も大きい周波数変動値を有する変動時刻を所定個抽出し、そこから一定区間の楽曲データの波形の繰り返し頻度および音圧を考慮してサビを抽出するようにすれば、曲想の変化する部分に着目して正確にサビを抽出することができるようになる。
【００３９】
次に、このように抽出されたサビの使用方法について説明する。この実施の形態では、このように抽出されたサビをそれぞれ連結して、サビメドレーとして一連の楽曲を作成できるようにしている。このサビの連結を行う連結手段９の構成について説明する。
【００４０】
抽出されたサビは、それぞれテンポ値や拍などがそれぞれ異なっている。このため、ランダムにサビを連結したのでは自然にサビを遷移させることができない。そこで、サビのテンポ値や拍などを一致させて連結させるような処理を行うようにしている。
【００４１】
まず、テンポ値を一致させる場合、その楽曲のテンポ値を推定して一定のテンポ値となるようにタイムストレッチ処理を行うようにする。
【００４２】
楽曲のテンポ値を推定する場合は、種々の方法を採用することができるが、この実施の形態では、次のような処理を行うようにしている。
【００４３】
すなわち、受け付けた楽曲の振幅波形から振幅包絡を算出し、その振幅包絡を周波数解析して周波数スペクトルを抽出する（図３（ａ））。そして、この周波数スペクトルを乗算した後の短時間周波数解析の結果を周波数ごとに時間軸方向に足し合わせ（図３（ｂ））、最大周波数スペクトルから所定個数の周波数スペクトルを有するテンポ値を候補として並び替えて列挙し、最後に、倍半関係の周波数スペクトルを足し合わせて上位所定個数（例えば２個）の候補を抽出する（図３（ｃ）（ｄ））。この倍半関係にある周波スペクトルを考慮するのは、例えば、すなわち、120bpmの楽曲において１拍目と３拍目に強拍が存在する場合（すなわち４／４拍子の演奏の場合）、１小節には第１拍目と第３拍目にピーク値が存在するために、ピーク値の把握の仕方によっては120bpmの半分の60bpmと判断される可能性があり、逆に、120bpmの楽曲において隣接する拍との間に他の楽器の拍が入っている場合は、240bpmと判断される可能性がある。そこで、それぞれの場合を考慮しておくために倍半処理を行うようにしている。
【００４４】
次に、楽曲の振幅波形が時間軸とクロスするゼロクロスの値を算出する（図４上図の丸印の数）。このとき、あらかじめゼロクロスの値とテンポ値との相関関係を記憶させておき、先に算出されたゼロクロスから相関関係を参酌してテンポ値を抽出し、このテンポ値に最も近いテンポ値を前記並び替えられたテンポ値から抽出する。一般的に、振幅波形のゼロクロスの値とテンポ値とは、図４下図に示すような関係を有しており、テンポ値が高ければゼロクロスの値も高くなる。逆に、テンポ値が低ければゼロクロスの値も低くなる。そこで、このような相関関係を利用することによって正解のテンポ値を抽出できるようにしている。そして、このように推定されたテンポ値でサビが演奏されていると仮定してサビのテンポ値を決定し、すべての楽曲のテンポ値を一定速度にタイムストレッチする。このテンポ値を一定にする場合は、楽曲全体をタイムストレッチしてもよく、あるいは、サビのみをタイムストレッチしてもよい。楽曲全体をタイムストレッチさせる場合は、後の拍時刻を抽出する際に、全体のデータの中から拍に対応する音圧の強い部分を抽出することができ、精度よく拍時刻を抽出することができるというメリットがある。一方、サビのみをタイムストレッチさせる場合は、全体的な処理時間を短くすることができるというメリットがある。
【００４５】
次に、拍の位置を推定する方法について説明する。この拍の位置を推定する方法にも種々の方法があるが、ここでは、次のような方法を用いることとする。
【００４６】
すなわち、この実施の形態では、先に推定されたテンポ値を用いるとともに、楽曲全体から最も音圧の高い部分を抽出する。この最も音圧の高い部分を抽出する場合、タイムストレッチによってテンポ値の統一された楽曲の振幅波形から最も音圧の高い部分を抽出する。もしくは、タイムストレッチされた楽曲の振幅波形から振幅包絡を算出し、その振幅包絡に基づいて最も音圧の高い部分を抽出してもよい。そして、このように抽出された音圧の最も高い部分を基準として、テンポ値に対応する時刻を拍の位置として決定する。
【００４７】
そして、連結手段９は、このようにテンポ値の統一されたサビについて、図５に示すように、拍の位置を合わせて、音量をフェードさせながら次のサビに遷移させるようにしていく。
【００４８】
次に、このように構成された特徴波形抽出システム１００における楽曲のサビの抽出方法について、図６のフローチャートを用いて説明する。
【００４９】
＜サビの抽出処理＞
一曲の楽曲の中からサビを抽出する場合、その楽曲の入力をWAVEファイルとして受け付ける（ステップＳ１）。そして、この受け付けた楽曲の振幅波形について512点の分析フレームを512点ずつシフトさせながら高速フーリエ変換して周波数解析し（ステップＳ２）、周波数・スペクトル・分析フレームの時刻で表現される周波数情報を得る。
【００５０】
次に、この周波数解析された情報に基づき、時間軸方向に沿った周波数変動の大きさを算出する。この周波数変動の算出においては、まず、隣接する分析フレームの各周波数ビンにおける差分の絶対値の総和を求めてflux関数を算出するとともに（ステップＳ３）、これを平滑化処理する。平滑化処理においては、60点ずつの移動平均フィルタを求めてflux関数の振幅包絡を求め（ステップＳ４）、また、その振幅包絡の部分的な傾きの傾向を把握すべく、最小二乗法を用い、回帰直線を求めて（ステップＳ５）その回帰直線の微分値の絶対値を求める（ステップＳ６）。
【００５１】
そして、この微分値の絶対値について上位150個の信号の時刻を抽出し、その時刻をサビの候補の開始時刻とする（ステップＳ７）。
【００５２】
また、それぞれのサビの開始時刻から一定区間の区間波形を抽出して（ステップＳ８）、任意の２つの区間波形を抽出して相関係数を求め（ステップＳ９）、所定値以上の区間波形の組み合わせであって、かつ、それぞれの区間波形の変動時刻が１５秒以下のものを除去した後に、相関係数の高い波形の組み合わせを所定の数（例えば、50組）残してそれ以外は削除する（ステップＳ１０）。
【００５３】
そして最後に、残った区間波形のうち、最も音圧の高い区間波形の変動時刻を開始時刻とし（ステップＳ１１）、その開始時刻から次の変動時刻までの波形情報をサビとして抽出する（ステップＳ１２）。
【００５４】
＜サビの連結処理＞
次に、このように抽出されたサビを連結して、サビメドレーの楽曲を作成する場合のフローチャートについて、図７を用いて説明する。
【００５５】
まず、楽曲のサビを抽出する処理と並行して、楽曲のテンポ値を推定する。このテンポ値を推定する場合は、周波数解析された情報に基づいて（ステップＴ１）、すべての周波数の倍半関係にある周波数スペクトルをその周波数スペクトルに乗算し（ステップＴ２）、この乗算した後の短時間周波数解析の結果を周波数ごとに時間軸方向に足し合わせて、最大周波数スペクトルから所定個数の周波数スペクトルを有するテンポ値を候補として並び替えて列挙する。そして、倍半関係の周波数スペクトルを足し合わせて上位所定個数（例えば２個）の候補を抽出する（ステップＴ３）。
【００５６】
また、これとともに、楽曲の振幅波形が時間軸とクロスするゼロクロスの値を算出し（ステップＴ４）、あらかじめ記憶させておいたゼロクロスの値とテンポ値との相関関係を参酌してテンポ値を抽出する（ステップＴ５）。そして、このテンポ値に最も近いテンポ値を先に並び替えられたテンポ値から抽出して（ステップＴ６）、そのサビを含む楽曲のテンポ値として推定する。
【００５７】
このようにテンポ値を推定した後、今度は、一定のテンポ値にタイムストレッチ処理する（ステップＴ７）。
【００５８】
次に、タイムストレッチされた楽曲中から拍に相当する音圧の強い部分を抽出し、その音圧の強い時刻からテンポ値に対応する時刻を拍の時刻として推定する（ステップＴ８）。そして、ランダムにタイムストレッチされたサビを抽出するとともに、それぞれの拍時刻が一致するように各サビを連結させる（ステップＴ９）。
【００５９】
このように上記実施の形態によれば、先に周波数変動の大きな位置をサビの開始時刻の候補として列挙し、その後、その開始時刻から所定区間内の音圧や繰り返し頻度に基づいてサビの候補を抽出するようにしたので、曲想が大きく変わる部分を優先して、正確にサビを抽出することができる。すなわち、音圧に基づいてサビの候補を先に抽出した場合は、音圧変化の少ないサビを抽出することが難しくなるが、サビに切り替わる部分では必ず曲想の変化があるため、この曲想の変化に基づいてサビを正確に抽出することができるようになる。
【００６０】
また、変動時刻から連続する所定区間を、一定の区間として抽出するようにしたので、あらかじめサビの終了時刻を推定して繰り返し頻度などを計算する場合と比較して、その終了時刻を誤って推定することに基づくサビの誤判断を防止することができる。
【００６１】
さらには、終了時刻を決定する場合、開始時刻の次の変動時刻とするようにしたので、終了時刻については周波数変動のみで決定され、音圧が極端に変化することなく次のメロディに移るような場合であっても、終了時刻を正確に抽出することができるようになる。
【００６２】
なお、本発明は上記実施の形態に限定されることなく種々の態様で実施することができる。
【００６３】
例えば、上記実施の形態では、周波数変動値を求める際に、平滑化処理や最小二乗法による回帰直線を求めるようにしたが、隣接する周波数ビンの差分の総和から周波数変動を求めるようにしてもよい。
【００６４】
また、上記実施の形態では、終了時刻を求める際、開始時刻の次の変動時刻を終了時刻としているが、音圧が閾値よりも小さくなる時刻を終了時刻としてもよい。
【００６５】
さらには、上記実施の形態では、変動時刻から一定の区間の区間波形を抽出して繰り返し頻度や音圧などを算出するようにしたが、この区間については、次の変動時刻までの区間としてもよい。
【００６６】
また、上記実施の形態では、抽出されたサビを連結させてサビメドレーを作成する場合のアプリケーションを例に挙げて説明したが、サビの開始時刻から一定の時間（例えば、１０秒など）で打ち切って、サビのダイジェスト版を作成するようにしてもよい。この場合、それぞれのサビを連結させることなく、数秒のインターバルを挟んで次のサビを開始させるようにしてもよい。
【００６７】
また、上記実施の形態では、サビメドレーを作成する際に、タイムストレッチを行うようにしたが、タイムストレッチを行わずにテンポ値順に特徴波形（サビ）を並び替え、その並び替えられた順序で連結を行うようにしてもよい。このようにテンポ値順に連結を行うようにした場合であっても、スムーズな遷移を行わせることもできる。
【符号の説明】
【００６８】
１００・・・特徴波形抽出システム
１・・・入力受付手段
２・・・解析手段
３・・・変動算出手段
４・・・変動時刻抽出手段
５・・・区間波形抽出手段
６・・・頻度算出手段
７・・・音圧算出手段
８・・・特徴波形抽出手段
９・・・連結手段
【技術分野】
【０００１】
本発明は、楽曲の中からサビを抽出できるようにした特徴波形抽出システムに関するものである。
【背景技術】
【０００２】
一般に、楽曲の中のサビとなる部分は、前のフレーズから転調したり、あるいは、長い間奏区間や長い音符・休符などを挟んで音圧が大きく変化したり、高音域へと変化することが多い。このため、従来では、このようなサビの特徴を利用して、楽曲の中からサビとなる部分の情報を抽出できるようにした方法が各種提案されている。
【０００３】
例えば、下記の特許文献１には、楽曲の中から音圧が最大となる位置をサビとして抽出する技術が開示されており、また、下記の特許文献２には、所定時間以上大きな音圧が継続し、かつ、周波数スペクトルが高周波域にシフトする傾向が所定時間以上続いた場合は、その部分をサビであると判定する技術が開示されている。
【０００４】
さらに、下記の特許文献３には、音圧などを用いて抽出されたサビの区間が、楽曲中に繰り返し出現している場合、その区間をサビとする技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−０８０３０４号公報
【特許文献２】特開２００８−１５９２５２号公報
【特許文献３】特開２００８−２６２０４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述のようなサビの抽出方法では次のような問題を有する。
【０００７】
すなわち、特許文献１のように、音圧のみでサビの領域を抽出する方法では、間奏区間や長い休符区間などが存在している場合、その区間を「サビでない」としてサビの候補から除外することができるが、例えば、バスやビートなどのように音圧の大きな楽器が断続的に演奏されている場合、楽曲全体にわたって音圧が大きくなるため、どの部分がサビであるかを正確に判断するのが難しくなる。
【０００８】
また、上記特許文献２のように、所定時間以上大きな音圧が続き、かつ、高周波成分が多く含まれる部分をサビとする方法においても、同様に、バスやビートなどのような音圧の大きな楽器が断続的に演奏されている場合は、サビとなる部分を抽出するのが難しくなる。また、仮に、その抽出された区間から、高周波成分に基づいて絞り込みを行ったとしても、音圧に基づいて間違ったサビの候補を抽出してしまった場合は、結果として間違ったサビを抽出してしまうことになる。
【０００９】
さらには、上記特許文献３のように、繰り返し頻度を計算する場合であっても、ＡメロやＢメロが繰り返し多く演奏される楽曲では、サビだけが突出して繰り返し多く演奏されるわけではないので、そのサビを正確に抽出するのが難しくなってしまう。
【００１０】
そこで、本発明は上記課題に着目してなされたもので、楽曲の中から精度よくサビとなる部分を抽出できるようにしたシステムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
すなわち、本発明は上記課題を解決するために、楽曲の波形情報の入力を受け付ける入力受付手段と、当該入力受付手段によって受け付けた波形情報を周波数解析し、時間軸方向の周波数変動値を求める変動算出手段と、当該変動算出手段によって求められた周波数変動値のうち、所定値以上の周波数変動値を有する変動時刻を抽出する変動時刻抽出手段と、当該変動時刻から連続する所定区間内の波形情報を抽出する区間波形抽出手段と、当該抽出された区間波形同士の繰り返し頻度を求める頻度算出手段と、当該区間波形における音圧を求める音圧算出手段と、前記繰り返し頻度が複数回以上であって前記音圧が最大となる区間波形の変動時刻を特徴開始時刻として抽出し、所定の終了時刻までの波形情報を特徴波形として抽出する特徴波形抽出手段とを備えるようにしたものである。
【００１２】
このように、先に周波数変動の大きな位置をサビの開始時刻の候補として列挙し、その後、その開始時刻から所定区間内の音圧や繰り返し頻度に基づいてサビの候補を抽出するようにすれば、曲想が大きく変わる部分（すなわち、転調する部分や、長い間奏、長い音符や休符の存在する部分）を優先して、正確にサビを抽出することができる。すなわち、音圧に基づいてサビの候補を先に抽出した場合は、音圧変化の少ないサビを抽出することが難しくなるが、サビに切り替わる部分では必ず曲想の変化があるため、この曲想の変化に基づいてサビを正確に抽出することができるようになる。
【００１３】
また、このような発明において、変動時刻から連続する所定区間を、一定の区間として抽出する。
【００１４】
このように変動時刻から抽出された一定区間の情報に基づいて開始時刻のみを決定すれば、あらかじめサビの終了時刻を推定して繰り返し頻度などを計算する場合と比べて、その終了時刻を誤って推定することに基づくサビの誤判断を防止することができる。
【００１５】
さらには、終了時刻を決定する場合、前記抽出された開始時刻の次の変動時刻とする。
【００１６】
このようにすれば、終了時刻については周波数変動のみで決定されるため、音圧が極端に変化することなく次のメロディに移るような場合であっても、終了時刻を正確に抽出することができるようになる。
【００１７】
また、このように抽出された特徴波形についてテンポ値を一致させて他の楽曲の特徴波形と連結する連結手段も備えるようにする。
【００１８】
このようにすれば、サビを連結させてサビメドレーを作成する場合に、それぞれのサビのテンポ値を一定にすることによってスムーズに他のサビに遷移させることができる。
【００１９】
また、このように抽出された特徴波形について、テンポ値順に並び替えて連結する連結手段を備えるようにすることもできる。
【００２０】
このようにした場合であっても、スムーズに他のサビに遷移させることができる。
【００２１】
また、このように抽出された特徴波形について拍の位置を一致させて他の楽曲の特徴波形と連結するようにすることもできる。
【００２２】
このようにすれば、サビを連結させてサビメドレーを作成する場合に、それぞれのサビの拍を一致させることによってスムーズに他のサビに遷移させることができる。
【発明の効果】
【００２３】
本発明では、先に周波数変動の大きな位置をサビの開始時刻の候補として列挙し、その後、その開始時刻から所定区間内の音圧や繰り返し頻度に基づいてサビの候補を抽出するようにしたので、曲想が大きく変わる部分（すなわち、転調する部分や、長い間奏、長い音符や休符の存在する部分）を優先して、正確にサビを抽出することができる。すなわち、音圧に基づいてサビの候補を先に抽出した場合は、音圧変化の少ないサビを抽出することが難しくなるが、サビに切り替わる部分では必ず曲想の変化があるため、この曲想の変化に基づいてサビを正確に抽出することができるようになる。
【図面の簡単な説明】
【００２４】
【図１】本発明の一実施の形態における楽曲特徴波形抽出システムの機能ブロック
【図２】同形態における各機能実現手段で抽出された波形を示す図
【図３】同形態におけるテンポ値を推定する場合の処理を示す図
【図４】同形態におけるゼロクロスとテンポ値との関係を示す図
【図５】同形態におけるサビを連結する処理を示す図
【図６】同形態におけるサビを抽出するフローチャート
【図７】同形態におけるサビを連結する場合のフローチャート
【発明を実施するための最良の形態】
【００２５】
以下、本発明の一実施の形態について図面を参照して説明する。本実施の形態における特徴波形抽出システム１００は、一曲の楽曲の中からサビとなる部分を抽出できるようにしたものであって、パーソナルコンピューターや、複数のコンピューターや関連するデバイスなどを接続したシステムなどによって構成される。そして、これらのＣＰＵ、ＲＯＭやＲＡＭなどの記憶デバイスに記憶されたプログラム、ディスクドライブなどを協働させて図１に示すような各機能を実現している。
【００２６】
具体的には、この特徴波形抽出システム１００は、大きく分けて、楽曲のデータの入力を受け付けてサビとなる部分の波形を抽出する機能と、その抽出されたサビを連結させてサビメドレーを作成する機能とを備えている。
【００２７】
このような構成において、サビの特徴波形を抽出する特徴波形抽出システム１００は、入力受付手段１によって受け付けた波形情報を周波数解析する解析手段２と、その解析された周波数情報から時間軸方向の周波数変動値を求める変動算出手段３と、所定値以上あるいは所定個数以上（例えば上位50個）の周波数変動値を有する変動時刻を抽出する変動時刻抽出手段４と、この変動時刻から連続する所定区間内の波形情報を抽出する区間波形抽出手段５と、その抽出された区間波形同士の繰り返し頻度を求める頻度算出手段６と、区間波形における音圧を求める音圧算出手段７とを備え、特徴波形抽出手段８によって、区間波形の繰り返し頻度が複数回以上であって音圧が最大となる区間波形の変動時刻を特徴開始時刻として抽出し、次の変動時刻までの区間をサビの波形情報を特徴波形として抽出するようにしている。以下、本実施の形態における各機能実現手段について詳細に説明する。
【００２８】
まず、入力受付手段１は、ユーザーが選択した楽曲の入力を受け付ける。この楽曲の入力を受け付ける場合、デバイスに挿入されたＣＤから楽曲のデータを受け付ける他、インターネットなどを介してダウンロードされた楽曲のデータなどを受け付ける。なお、楽曲のデータとしては種々のフォーマット形式のものが存在するが、この実施の形態ではWAVE形式で楽曲のデータを受け付けるものとする。この楽曲のデータを受け付けるに際して、他のフォーマット形式の楽曲データを受け付けた場合は、フォーマット変換によってWAVE形式に変換して受け付けるようにする。この受け付けた楽曲の波形情報を図２に示す。図２（ａ）は、受け付けた楽曲の振幅波形である波形情報であって、横軸が時間軸、縦軸が音圧を示している。
【００２９】
解析手段２は、この受け付けた楽曲を所定の分析フレームごとにシフトさせながら高速フーリエ変換（FFT）によって周波数解析を行う。ここでは、サンプル点数として512点、シフト幅としては512点（約11.6msecに相当）で高速フーリエ変換を行う。この周波数解析を行うと、横軸が周波数、縦軸が分析フレームの時間、高さ軸がスペクトルで表現された情報が得られる。
【００３０】
変動算出手段３は、この周波数解析された波形情報をもとに分析フレームごとの周波数変動の大きさを算出する。この周波数変動を算出する場合、まずは、隣接する分析フレームの各周波数ビンにおける差分の絶対値の総和（スカラー量）を算出してflux関数を抽出する。これによって、隣接する分析フレームにおける周波数スペクトルの大きさの差が抽出される。この抽出されたflux関数は、図２（ｂ）のように、横軸が時間軸、縦軸が各周波数ビンにおける差分の絶対値の総和（スカラー量）として表される。この図２（ｂ）における波形において、縦軸の大きな信号は、隣接する分析フレームの周波数変動の大きな部分を示しており、隣接する分析フレームの時刻から大きく周波数スペクトルが変化した部分を示している。しかしながら、隣接する分析フレームの周波数変動の総和だけでは、ノイズによって大きく周波数が変動した場合、誤った判断をしてしまう可能性がある。そこで、この抽出された情報を平滑化処理する。
【００３１】
平滑化処理においては、移動平均フィルタを用いてfluxの時間関数の振幅包絡を求める。この移動平均フィルタとしては、この実施の形態では、60点（約696.6msecに相当）の移動平均フィルタを用いるものとする。すると図２（ｂ）に示されたflux関数が、図２（ｃ）に示すように平滑化された関数に置き換えられる。
【００３２】
次に、このように平滑化処理した信号を、もっと大きな周波数変動の傾向として判断できるような処理を行う。この処理においては、最小二乗法を用いて回帰直線を求め、その回帰直線の微分値（すなわち、図２（ｃ）における傾きの値）を求める（図２（ｄ））。この微分値には、プラスとマイナスの二種類存在するが、ここでは周波数変動の大きさのみを判断するため、微分値を絶対値にして抽出する。すると、図２（ｅ）に示すように、図２（ｄ）の値がすべて正の値となった信号を得ることができる。この図２（ｃ）や図２（ｄ）において、横軸は時間軸、縦軸は平滑化されたflux関数の周波数変動の傾きの値、を示している。このような処理を行うと、ノイズが含まれている場合や、隣接する分析フレームの周波数は急激に変化していているものの全体の傾向として周波数変動が少ない場合であっても、サビであるかどうかを判断することができる。
【００３３】
変動時刻抽出手段４は、この抽出された信号情報から傾きの大きい時刻を上位所定数個抽出する。図２（ｆ）における丸印を付した部分は、この抽出された時刻の信号を示している。ここでは上位から所定数個（例えば150個）の信号を抽出しているが、この個数については、あらかじめ傾きの値について閾値を設けておき、その閾値を超える傾きを有する信号の時刻を抽出するようにしてもよい。このように抽出された時刻は、サビの開始時刻に該当する可能性の高い変動時刻として記憶部に記憶される。
【００３４】
次に、区間波形抽出手段５は、この変動時刻を基準として、そこから所定時間の楽曲の波形情報を抽出する。この波形情報を抽出する場合、WAVE波形の情報を抽出する。この抽出された波形情報を図２（ｇ）に示す。この図２（ｇ）において、横軸は時間軸、縦軸は音圧を示しており、図２（ａ）の一部の信号情報となっている。ここで変動時刻から所定時間の楽曲の波形情報を抽出する場合、その抽出される時間幅として、あらかじめ規定された一定長さの時間としておき、それぞれの変動時刻からこの規定された時間幅の信号を抽出するようにしている。ここでは、変動時刻から2048点（約23.7secに相当）の区間波形を抽出している。この時点においては、変動時刻が近接している場合、抽出された区間波形がオーバーラップしている可能性もある。
【００３５】
頻度算出手段６は、この抽出された区間波形の類似頻度を算出する。この類似頻度を算出する場合、各区間波形同士の相関係数を算出する。この相関係数を算出することにより、それぞれの区間波形の類似度が高い場合は大きな相関係数の値を得ることができ、一方、それぞれの区間波形の類似度が低い場合は小さな相関係数の値を得ることができる。そして、それぞれの区間波形の組み合わせを相関係数の高い順にソーティングする。このとき、ソーティングされた区間波形の組み合わせの中には、前述のように変動時刻が近接していて、ほとんどの区間がオーバーラップしているものも存在するため、変動時刻が所定時間内の組み合わせとなっているものを除外する。ここでは、それぞれの変動時刻が１５秒以内となっている組み合わせを除外するものとし、その組み合わせを構成した２つの変動時刻を除外する。そして、相関係数が所定値以上あるいは所定個数以上の組み合わせ（具体的には、繰り返し頻度が２回以上の組み合わせ）をサビの候補として記憶させておく。
【００３６】
音圧算出手段７は、このサビの候補として抽出された区間波形の平均音圧を計算する。この計算においては、抽出されたWAVE波形の情報を用いて音圧を計算する。
【００３７】
特徴波形抽出手段８は、このように算出された区間波形について、相関係数が所定値以上の組み合わせの中から平均音圧が最大となる区間波形を抽出する。これにより得られた区間波形は、２つの変動時刻に挟まれた波形であることから、それらをサビの開始時刻と終了時刻とし、そのサビ（WAVEファイル）を抽出する。
【００３８】
このように、周波数変動を計算して、最も大きい周波数変動値を有する変動時刻を所定個抽出し、そこから一定区間の楽曲データの波形の繰り返し頻度および音圧を考慮してサビを抽出するようにすれば、曲想の変化する部分に着目して正確にサビを抽出することができるようになる。
【００３９】
次に、このように抽出されたサビの使用方法について説明する。この実施の形態では、このように抽出されたサビをそれぞれ連結して、サビメドレーとして一連の楽曲を作成できるようにしている。このサビの連結を行う連結手段９の構成について説明する。
【００４０】
抽出されたサビは、それぞれテンポ値や拍などがそれぞれ異なっている。このため、ランダムにサビを連結したのでは自然にサビを遷移させることができない。そこで、サビのテンポ値や拍などを一致させて連結させるような処理を行うようにしている。
【００４１】
まず、テンポ値を一致させる場合、その楽曲のテンポ値を推定して一定のテンポ値となるようにタイムストレッチ処理を行うようにする。
【００４２】
楽曲のテンポ値を推定する場合は、種々の方法を採用することができるが、この実施の形態では、次のような処理を行うようにしている。
【００４３】
すなわち、受け付けた楽曲の振幅波形から振幅包絡を算出し、その振幅包絡を周波数解析して周波数スペクトルを抽出する（図３（ａ））。そして、この周波数スペクトルを乗算した後の短時間周波数解析の結果を周波数ごとに時間軸方向に足し合わせ（図３（ｂ））、最大周波数スペクトルから所定個数の周波数スペクトルを有するテンポ値を候補として並び替えて列挙し、最後に、倍半関係の周波数スペクトルを足し合わせて上位所定個数（例えば２個）の候補を抽出する（図３（ｃ）（ｄ））。この倍半関係にある周波スペクトルを考慮するのは、例えば、すなわち、120bpmの楽曲において１拍目と３拍目に強拍が存在する場合（すなわち４／４拍子の演奏の場合）、１小節には第１拍目と第３拍目にピーク値が存在するために、ピーク値の把握の仕方によっては120bpmの半分の60bpmと判断される可能性があり、逆に、120bpmの楽曲において隣接する拍との間に他の楽器の拍が入っている場合は、240bpmと判断される可能性がある。そこで、それぞれの場合を考慮しておくために倍半処理を行うようにしている。
【００４４】
次に、楽曲の振幅波形が時間軸とクロスするゼロクロスの値を算出する（図４上図の丸印の数）。このとき、あらかじめゼロクロスの値とテンポ値との相関関係を記憶させておき、先に算出されたゼロクロスから相関関係を参酌してテンポ値を抽出し、このテンポ値に最も近いテンポ値を前記並び替えられたテンポ値から抽出する。一般的に、振幅波形のゼロクロスの値とテンポ値とは、図４下図に示すような関係を有しており、テンポ値が高ければゼロクロスの値も高くなる。逆に、テンポ値が低ければゼロクロスの値も低くなる。そこで、このような相関関係を利用することによって正解のテンポ値を抽出できるようにしている。そして、このように推定されたテンポ値でサビが演奏されていると仮定してサビのテンポ値を決定し、すべての楽曲のテンポ値を一定速度にタイムストレッチする。このテンポ値を一定にする場合は、楽曲全体をタイムストレッチしてもよく、あるいは、サビのみをタイムストレッチしてもよい。楽曲全体をタイムストレッチさせる場合は、後の拍時刻を抽出する際に、全体のデータの中から拍に対応する音圧の強い部分を抽出することができ、精度よく拍時刻を抽出することができるというメリットがある。一方、サビのみをタイムストレッチさせる場合は、全体的な処理時間を短くすることができるというメリットがある。
【００４５】
次に、拍の位置を推定する方法について説明する。この拍の位置を推定する方法にも種々の方法があるが、ここでは、次のような方法を用いることとする。
【００４６】
すなわち、この実施の形態では、先に推定されたテンポ値を用いるとともに、楽曲全体から最も音圧の高い部分を抽出する。この最も音圧の高い部分を抽出する場合、タイムストレッチによってテンポ値の統一された楽曲の振幅波形から最も音圧の高い部分を抽出する。もしくは、タイムストレッチされた楽曲の振幅波形から振幅包絡を算出し、その振幅包絡に基づいて最も音圧の高い部分を抽出してもよい。そして、このように抽出された音圧の最も高い部分を基準として、テンポ値に対応する時刻を拍の位置として決定する。
【００４７】
そして、連結手段９は、このようにテンポ値の統一されたサビについて、図５に示すように、拍の位置を合わせて、音量をフェードさせながら次のサビに遷移させるようにしていく。
【００４８】
次に、このように構成された特徴波形抽出システム１００における楽曲のサビの抽出方法について、図６のフローチャートを用いて説明する。
【００４９】
＜サビの抽出処理＞
一曲の楽曲の中からサビを抽出する場合、その楽曲の入力をWAVEファイルとして受け付ける（ステップＳ１）。そして、この受け付けた楽曲の振幅波形について512点の分析フレームを512点ずつシフトさせながら高速フーリエ変換して周波数解析し（ステップＳ２）、周波数・スペクトル・分析フレームの時刻で表現される周波数情報を得る。
【００５０】
次に、この周波数解析された情報に基づき、時間軸方向に沿った周波数変動の大きさを算出する。この周波数変動の算出においては、まず、隣接する分析フレームの各周波数ビンにおける差分の絶対値の総和を求めてflux関数を算出するとともに（ステップＳ３）、これを平滑化処理する。平滑化処理においては、60点ずつの移動平均フィルタを求めてflux関数の振幅包絡を求め（ステップＳ４）、また、その振幅包絡の部分的な傾きの傾向を把握すべく、最小二乗法を用い、回帰直線を求めて（ステップＳ５）その回帰直線の微分値の絶対値を求める（ステップＳ６）。
【００５１】
そして、この微分値の絶対値について上位150個の信号の時刻を抽出し、その時刻をサビの候補の開始時刻とする（ステップＳ７）。
【００５２】
また、それぞれのサビの開始時刻から一定区間の区間波形を抽出して（ステップＳ８）、任意の２つの区間波形を抽出して相関係数を求め（ステップＳ９）、所定値以上の区間波形の組み合わせであって、かつ、それぞれの区間波形の変動時刻が１５秒以下のものを除去した後に、相関係数の高い波形の組み合わせを所定の数（例えば、50組）残してそれ以外は削除する（ステップＳ１０）。
【００５３】
そして最後に、残った区間波形のうち、最も音圧の高い区間波形の変動時刻を開始時刻とし（ステップＳ１１）、その開始時刻から次の変動時刻までの波形情報をサビとして抽出する（ステップＳ１２）。
【００５４】
＜サビの連結処理＞
次に、このように抽出されたサビを連結して、サビメドレーの楽曲を作成する場合のフローチャートについて、図７を用いて説明する。
【００５５】
まず、楽曲のサビを抽出する処理と並行して、楽曲のテンポ値を推定する。このテンポ値を推定する場合は、周波数解析された情報に基づいて（ステップＴ１）、すべての周波数の倍半関係にある周波数スペクトルをその周波数スペクトルに乗算し（ステップＴ２）、この乗算した後の短時間周波数解析の結果を周波数ごとに時間軸方向に足し合わせて、最大周波数スペクトルから所定個数の周波数スペクトルを有するテンポ値を候補として並び替えて列挙する。そして、倍半関係の周波数スペクトルを足し合わせて上位所定個数（例えば２個）の候補を抽出する（ステップＴ３）。
【００５６】
また、これとともに、楽曲の振幅波形が時間軸とクロスするゼロクロスの値を算出し（ステップＴ４）、あらかじめ記憶させておいたゼロクロスの値とテンポ値との相関関係を参酌してテンポ値を抽出する（ステップＴ５）。そして、このテンポ値に最も近いテンポ値を先に並び替えられたテンポ値から抽出して（ステップＴ６）、そのサビを含む楽曲のテンポ値として推定する。
【００５７】
このようにテンポ値を推定した後、今度は、一定のテンポ値にタイムストレッチ処理する（ステップＴ７）。
【００５８】
次に、タイムストレッチされた楽曲中から拍に相当する音圧の強い部分を抽出し、その音圧の強い時刻からテンポ値に対応する時刻を拍の時刻として推定する（ステップＴ８）。そして、ランダムにタイムストレッチされたサビを抽出するとともに、それぞれの拍時刻が一致するように各サビを連結させる（ステップＴ９）。
【００５９】
このように上記実施の形態によれば、先に周波数変動の大きな位置をサビの開始時刻の候補として列挙し、その後、その開始時刻から所定区間内の音圧や繰り返し頻度に基づいてサビの候補を抽出するようにしたので、曲想が大きく変わる部分を優先して、正確にサビを抽出することができる。すなわち、音圧に基づいてサビの候補を先に抽出した場合は、音圧変化の少ないサビを抽出することが難しくなるが、サビに切り替わる部分では必ず曲想の変化があるため、この曲想の変化に基づいてサビを正確に抽出することができるようになる。
【００６０】
また、変動時刻から連続する所定区間を、一定の区間として抽出するようにしたので、あらかじめサビの終了時刻を推定して繰り返し頻度などを計算する場合と比較して、その終了時刻を誤って推定することに基づくサビの誤判断を防止することができる。
【００６１】
さらには、終了時刻を決定する場合、開始時刻の次の変動時刻とするようにしたので、終了時刻については周波数変動のみで決定され、音圧が極端に変化することなく次のメロディに移るような場合であっても、終了時刻を正確に抽出することができるようになる。
【００６２】
なお、本発明は上記実施の形態に限定されることなく種々の態様で実施することができる。
【００６３】
例えば、上記実施の形態では、周波数変動値を求める際に、平滑化処理や最小二乗法による回帰直線を求めるようにしたが、隣接する周波数ビンの差分の総和から周波数変動を求めるようにしてもよい。
【００６４】
また、上記実施の形態では、終了時刻を求める際、開始時刻の次の変動時刻を終了時刻としているが、音圧が閾値よりも小さくなる時刻を終了時刻としてもよい。
【００６５】
さらには、上記実施の形態では、変動時刻から一定の区間の区間波形を抽出して繰り返し頻度や音圧などを算出するようにしたが、この区間については、次の変動時刻までの区間としてもよい。
【００６６】
また、上記実施の形態では、抽出されたサビを連結させてサビメドレーを作成する場合のアプリケーションを例に挙げて説明したが、サビの開始時刻から一定の時間（例えば、１０秒など）で打ち切って、サビのダイジェスト版を作成するようにしてもよい。この場合、それぞれのサビを連結させることなく、数秒のインターバルを挟んで次のサビを開始させるようにしてもよい。
【００６７】
また、上記実施の形態では、サビメドレーを作成する際に、タイムストレッチを行うようにしたが、タイムストレッチを行わずにテンポ値順に特徴波形（サビ）を並び替え、その並び替えられた順序で連結を行うようにしてもよい。このようにテンポ値順に連結を行うようにした場合であっても、スムーズな遷移を行わせることもできる。
【符号の説明】
【００６８】
１００・・・特徴波形抽出システム
１・・・入力受付手段
２・・・解析手段
３・・・変動算出手段
４・・・変動時刻抽出手段
５・・・区間波形抽出手段
６・・・頻度算出手段
７・・・音圧算出手段
８・・・特徴波形抽出手段
９・・・連結手段
【特許請求の範囲】
【請求項１】
楽曲の波形情報の入力を受け付ける入力受付手段と、
当該入力受付手段によって受け付けた波形情報を周波数解析し、時間軸方向の周波数変動値を求める変動算出手段と、
当該変動算出手段によって求められた周波数変動値のうち、所定値以上の周波数変動値を有する変動時刻を抽出する変動時刻抽出手段と、
当該変動時刻から連続する所定区間内の波形情報を抽出する区間波形抽出手段と、
当該抽出された区間波形同士の繰り返し頻度を求める頻度算出手段と、
当該区間波形における音圧を求める音圧算出手段と、
前記繰り返し頻度が複数回以上であって前記音圧が最大となる区間波形の変動時刻を特徴開始時刻として抽出し、所定の終了時刻までの波形情報を特徴波形として抽出する特徴波形抽出手段と、
を備えるようにしたことを特徴とする楽曲の特徴波形抽出システム。
【請求項２】
前記変動時刻から連続する所定区間が、一定の区間である請求項１に記載の特徴波形抽出システム。
【請求項３】
前記終了時刻が、前記抽出された開始時刻の次の変動時刻である請求項１に記載の特徴波形抽出システム。
【請求項４】
前記抽出された特徴波形についてテンポ値を一致させて他の楽曲の特徴波形と連結する連結手段を備えた請求項１に記載の特徴波形抽出システム。
【請求項５】
前記抽出された特徴波形をテンポ値順に並び替えて連結する連結手段を備えた請求項１に記載の特徴波形抽出システム。
【請求項６】
前記抽出された特徴波形について拍の位置を一致させて他の楽曲の特徴波形と連結する連結手段を備えた請求項１に記載の特徴波形抽出システム。
【請求項７】
楽曲の波形情報の入力を受け付けるステップと、
当該受け付けた波形情報を周波数解析し、時間軸方向の周波数変動値を求めるステップと、
当該求められた周波数変動値のうち、所定値以上の周波数変動値を有する変動時刻を抽出するステップと、
当該変動時刻から連続する所定区間内の波形情報を抽出するステップと、
当該抽出された区間波形同士の繰り返し頻度を求めるステップと、
当該区間波形における音圧を求めるステップと、
前記繰り返し頻度が複数回以上であって前記音圧が最大となる区間波形の変動時刻を特徴開始時刻として抽出し、所定の終了時刻までの波形情報を特徴波形として抽出するステップと、
を備えるようにしたことを特徴とする楽曲の特徴波形抽出方法。
【請求項１】
楽曲の波形情報の入力を受け付ける入力受付手段と、
当該入力受付手段によって受け付けた波形情報を周波数解析し、時間軸方向の周波数変動値を求める変動算出手段と、
当該変動算出手段によって求められた周波数変動値のうち、所定値以上の周波数変動値を有する変動時刻を抽出する変動時刻抽出手段と、
当該変動時刻から連続する所定区間内の波形情報を抽出する区間波形抽出手段と、
当該抽出された区間波形同士の繰り返し頻度を求める頻度算出手段と、
当該区間波形における音圧を求める音圧算出手段と、
前記繰り返し頻度が複数回以上であって前記音圧が最大となる区間波形の変動時刻を特徴開始時刻として抽出し、所定の終了時刻までの波形情報を特徴波形として抽出する特徴波形抽出手段と、
を備えるようにしたことを特徴とする楽曲の特徴波形抽出システム。
【請求項２】
前記変動時刻から連続する所定区間が、一定の区間である請求項１に記載の特徴波形抽出システム。
【請求項３】
前記終了時刻が、前記抽出された開始時刻の次の変動時刻である請求項１に記載の特徴波形抽出システム。
【請求項４】
前記抽出された特徴波形についてテンポ値を一致させて他の楽曲の特徴波形と連結する連結手段を備えた請求項１に記載の特徴波形抽出システム。
【請求項５】
前記抽出された特徴波形をテンポ値順に並び替えて連結する連結手段を備えた請求項１に記載の特徴波形抽出システム。
【請求項６】
前記抽出された特徴波形について拍の位置を一致させて他の楽曲の特徴波形と連結する連結手段を備えた請求項１に記載の特徴波形抽出システム。
【請求項７】
楽曲の波形情報の入力を受け付けるステップと、
当該受け付けた波形情報を周波数解析し、時間軸方向の周波数変動値を求めるステップと、
当該求められた周波数変動値のうち、所定値以上の周波数変動値を有する変動時刻を抽出するステップと、
当該変動時刻から連続する所定区間内の波形情報を抽出するステップと、
当該抽出された区間波形同士の繰り返し頻度を求めるステップと、
当該区間波形における音圧を求めるステップと、
前記繰り返し頻度が複数回以上であって前記音圧が最大となる区間波形の変動時刻を特徴開始時刻として抽出し、所定の終了時刻までの波形情報を特徴波形として抽出するステップと、
を備えるようにしたことを特徴とする楽曲の特徴波形抽出方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−１１８４１７（Ｐ２０１２−１１８４１７Ａ）
【公開日】平成２４年６月２１日（２０１２．６．２１）
【国際特許分類】
【出願番号】特願２０１０−２６９８２７（Ｐ２０１０−２６９８２７）
【出願日】平成２２年１２月２日（２０１０．１２．２）
【出願人】（５９７０６５３２９）学校法人 龍谷大学 (120)
【Ｆターム（参考）】
【公開日】平成２４年６月２１日（２０１２．６．２１）
【国際特許分類】
【出願日】平成２２年１２月２日（２０１０．１２．２）
【出願人】（５９７０６５３２９）学校法人 龍谷大学 (120)
【Ｆターム（参考）】
[ Back to top ]