説明

楽曲再生制御装置、楽曲再生制御方法およびコンピュータプログラム

【課題】複数の楽曲を切れ目なく連続再生させる際に、楽曲が不自然に切り替わることを防ぐ。
【解決手段】楽曲に分割点を設定し、再生区間に分割する楽曲分割部と、再生区間の音楽特徴量を算出する音楽特徴量算出部と、再生楽曲について、いずれかの分割点を楽曲切替ポイントとして設定し、所定数連続する再生区間を類似基準区間として設定する再生楽曲処理部と、他の楽曲について、連続する所定数の再生区間を評価対象区間として順次設定し、類似基準区間と対応する順番の再生区間同士を順次対比させることで類似度を算出し、最も類似度の高い評価対象区間を抽出し、その評価対象区間を含む楽曲を次楽曲として設定する評価楽曲処理部と、再生楽曲を楽曲切替ポイントまで再生したら、次楽曲の最も類似度の高い評価対象区間から再生を開始させる再生制御部と、を備えた楽曲再生制御装置。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複数の楽曲を切れ目なく連続して再生させる楽曲再生制御装置、楽曲再生制御方法およびコンピュータプログラムに関する。
【背景技術】
【0002】
近年、大量の楽曲データを、ハードディスクドライブ、半導体メモリ等の大容量記憶装置に格納し、再生することが広く行なわれている。このような場合、ユーザは、格納された楽曲データのうち、所望の楽曲を選択して個別に再生することもできるし、数多くの楽曲を連続して再生することもできる。
【0003】
楽曲を連続して再生させる場合には、例えば、所定のディレクトリに格納された楽曲データを順番に再生させるような制御が行なわれている。すなわち、ある曲の再生が終了すると、次の曲の再生が開始される。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2006−337914号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、楽曲の終了を聴き手に意識させずに数多くの楽曲を連続して再生したい場合がある。例えば、喫茶店などでバックミュージックとして音楽を流す場合、ある楽曲の終了を意識させずに、自然な雰囲気で切れ目なく次の楽曲に切り替えることができれば、顧客は、バックミュージックに気を取られることなく喫茶や会話に集中することができ、顧客サービスの向上につながる。
【0006】
そこで、本発明は、複数の楽曲を切れ目なく連続再生させる際に、楽曲が不自然に切り替わることを防ぐことを目的とする。
【課題を解決するための手段】
【0007】
上記課題を解決するため、本発明の第1の態様である楽曲再生制御装置は、複数の楽曲のそれぞれについて、所定の基準に基づいて分割点を設定することで、複数の再生区間に分割する楽曲分割部と、それぞれの再生区間について、音楽的な特徴を指標化した音楽特徴量を算出する音楽特徴量算出部と、所定の再生楽曲における、いずれかの分割点を楽曲切替ポイントとして設定し、前記切替ポイントから連続する所定数の再生区間を類似基準区間として設定する再生楽曲処理部と、前記再生楽曲の他の楽曲について、前記所定数連続する再生区間を評価対象区間として順次設定し、その設定した評価対象区間について、前記類似基準区間と対応する順番の再生区間同士を順次対比させることで類似度を算出することで、最も類似度の高い評価対象区間を抽出し、その最も類似度の高い評価対象区間を含む楽曲を次楽曲として設定する評価楽曲処理部と、前記再生楽曲を前記楽曲切替ポイントまで再生したら、前記次楽曲の最も類似度の高い評価対象区間から再生を開始させる再生制御部と、を備えることを特徴とする。
ここで、前記再生楽曲処理部は、類似基準区間に含まれる再生区間の長さが長いほど高い重み付けとなる重視度を算出し、前記評価楽曲処理部は、前記重視度により再生区間に重み付けを行なって前記類似度を算出することができる。
また、前記楽曲分割部は、分割した再生区間それぞれについて、設定した分割点の妥当性を示す分割妥当度を算出し、前記評価楽曲処理部は、前記分割妥当度により再生区間に重み付けを行なって前記類似度を算出することができる。
このとき、前記分割妥当度は、所定周波数帯域の前記分割点における平均パワーと、楽曲全体の平均パワーとの差分が大きいほど、高い重み付けとすることができる。
また、前記楽曲分割部は、楽曲の所定周波数帯域における平均パワーの極値を検出することにより前記分割点を設定することができる。
また、前記再生楽曲処理部は、前記再生楽曲の所定の再生位置を含む再生区間の先頭を楽曲切替ポイントとして設定することができる。
上記課題を解決するため、本発明の第2の態様である楽曲再生制御方法は、複数の楽曲のそれぞれについて、所定の基準に基づいて分割点を設定することで、複数の再生区間に分割する楽曲分割ステップと、それぞれの再生区間について、音楽的な特徴を指標化した音楽特徴量を算出する音楽特徴量算出ステップと、所定の再生楽曲における、いずれかの分割点を楽曲切替ポイントとして設定し、前記切替ポイントから連続する所定数の再生区間を類似基準区間として設定する再生楽曲処理ステップと、前記再生楽曲の他の楽曲について、前記所定数連続する再生区間を評価対象区間として順次設定し、その設定した評価対象区間について、前記類似基準区間と対応する順番の再生区間同士を順次対比させることで類似度を算出することで、最も類似度の高い評価対象区間を抽出し、その最も類似度の高い評価対象区間を含む楽曲を次楽曲として設定する評価楽曲処理ステップと、前記再生楽曲を前記楽曲切替ポイントまで再生したら、前記次楽曲の最も類似度の高い評価対象区間から再生を開始させる再生制御ステップと、を含むことを特徴とする。
上記課題を解決するため、本発明の第3の態様であるコンピュータプログラムは、複数の楽曲のそれぞれについて、所定の基準に基づいて分割点を設定することで、複数の再生区間に分割する楽曲分割部、それぞれの再生区間について、音楽的な特徴を指標化した音楽特徴量を算出する音楽特徴量算出部、所定の再生楽曲における、いずれかの分割点を楽曲切替ポイントとして設定し、前記切替ポイントから連続する所定数の再生区間を類似基準区間として設定する再生楽曲処理部、前記再生楽曲の他の楽曲について、前記所定数連続する再生区間を評価対象区間として順次設定し、その設定した評価対象区間について、前記類似基準区間と対応する順番の再生区間同士を順次対比させることで類似度を算出することで、最も類似度の高い評価対象区間を抽出し、その最も類似度の高い評価対象区間を含む楽曲を次楽曲として設定する評価楽曲処理部、前記再生楽曲を前記楽曲切替ポイントまで再生したら、前記次楽曲の最も類似度の高い評価対象区間から再生を開始させる再生制御部、として情報処理装置を機能させることを特徴とする。
【発明の効果】
【0008】
本発明によれば、複数の楽曲を切れ目なく連続再生させる際に、楽曲が不自然に切り替わることを防ぐことができる。
【図面の簡単な説明】
【0009】
【図1】本発明の第1実施形態に係る楽曲再生装置の機能構成を示すブロック図である。
【図2】楽曲解析部の動作について説明するフローチャートである。
【図3】楽曲分割部が行なう楽曲分割処理の詳細について説明するフローチャートである。
【図4】低周波帯域の複素周波数特性の例として、周波数帯域毎の振幅特性amxの例と、位相特性pmxの例を示す図である。
【図5】ある楽曲の(f(m)−FAv)を描いたグラフである。
【図6】設定された再生区間を示す図である。
【図7】楽曲分割情報が記録された楽曲解析情報の例を示す図である。
【図8】音楽特徴量算出部の動作について説明するフローチャートである。
【図9】音楽特徴量が記録された楽曲解析情報の例を示す図である。
【図10】連続再生時の楽曲再生装置の動作を説明するフローチャートである。
【図11】次楽曲設定処理について説明するフローチャートである。
【図12】再生楽曲の類似基準区間と評価対象楽曲の評価対象区間とについて説明する図である。
【図13】類似基準区間と評価対象区間との類似度の算出について説明する図である。
【図14】再生楽曲の楽曲切替ポイントと次楽曲の再生開始ポイントについて説明する図である。
【図15】本発明の第2実施形態に係る楽曲再生装置の機能構成を示すブロック図である。
【図16】第2実施形態における楽曲分割部が行なう楽曲分割処理の詳細について説明するフローチャートである。
【図17】第2実施形態における楽曲分割情報が記録された楽曲解析情報の例を示す図である。
【図18】第2実施形態における次楽曲設定処理について説明するフローチャートである。
【発明を実施するための形態】
【0010】
本発明の実施の形態について図面を参照して詳細に説明する。図1は、本発明の第1実施形態に係る楽曲再生装置10の機能構成を示すブロック図である。
【0011】
本図に示すように、楽曲再生装置10は、再生制御部110、再生部120、操作受付部130、楽曲解析部140、次楽曲選定部150、記憶部160を備えて構成される。楽曲再生装置10は、例えば、CPU、メモリ、補助記憶装置、インタフェース等を備え、CPUがメモリに格納されたプログラムを実行することにより種々の動作を行なう情報処理装置を用いることができる。具体的には、パーソナルコンピュータ、据置型/可搬型音響装置等とすることができる。また、本図に示した各機能ブロックは、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。なお、楽曲再生装置10のうち、再生制御部110、楽曲解析部140、次楽曲選定部150は、楽曲再生制御装置として機能する。
【0012】
再生制御部110は、記憶部160に格納された楽曲データの再生処理を制御する。本実施形態では、特に、複数の楽曲を切れ目なく続けて再生する連続再生処理を制御する。連続再生に際しては、あらかじめ楽曲解析部140に、それぞれの楽曲を複数の再生区間に分割させ、それぞれの再生区間について音楽特徴量を算出させておく。そして、連続再生実行時には、次楽曲選定部150に、再生中の楽曲の次に再生する楽曲を選定させる。なお、本実施形態では、再生中の楽曲について次に再生する楽曲を選定する場合を例に説明するが、再生中の楽曲に限られず、再生前の楽曲について次に再生する楽曲を選定するようにしてもよい。さらには、すべての再生順序を予め設定するようにしてもよい。
【0013】
再生部120は、再生制御部110の指示に基づいて楽曲データを再生し、再生音を外部あるいは内部に備えられたスピーカー、ヘッドフォン等に出力する。操作受付部130は、キーボード、マウス、タッチパネル等の入力装置を介してユーザから各種操作を受け付ける。
【0014】
楽曲解析部140は、楽曲分割部141、音楽特徴量算出部142を備えている。楽曲分割部141は、記憶部160に格納された各楽曲データに基づく楽曲を複数の区間に分割する。分割されたそれぞれの区間を再生区間と称する。楽曲分割部141は、曲調や音響的特徴が変化するポイントを検出できるような所定の基準に従って、楽曲を複数の再生区間に分割する。
【0015】
音楽特徴量算出部142は、楽曲分割部141が分割した再生区間毎に、音楽特徴量を算出する。音楽特徴量は、再生区間の音楽的な特徴を指標化したものであり、複数の要素で表わすことができる。
【0016】
次楽曲選定部150は、連続再生において、再生中の楽曲における楽曲切替ポイントと、次に再生する楽曲と再生開始ポイントとを選定する。すなわち、連続再生においては、再生中の楽曲は楽曲切替ポイントにおいて再生を終了し、次の楽曲が再生開始ポイントから、切れ目なく再生を開始する。次楽曲選定部150は、この際に、なるべく違和感が生じないように、次楽曲と再生開始ポイントとを決定する。
【0017】
次楽曲選定部150は、再生楽曲処理部151、評価楽曲処理部152を備えている。
【0018】
再生楽曲処理部151は、再生中の楽曲に対して楽曲切替ポイントを設定する。また、楽曲切替ポイントから連続する所定数の再生区間を類似基準区間として設定し、類似基準区間に含まれるそれぞれの再生区間について重視度を算出する。
【0019】
評価楽曲処理部152は、次楽曲の候補となる楽曲を順次、評価対象楽曲とする。そして、評価対象楽曲となった楽曲に評価対象区間を設定する。評価対象区間は、類似基準区間と同じ数の連続する再生区間を含んだ区間である。そして、評価対象区間をずらしながら、類似基準区間と評価対象区間との類似度を算出する。評価楽曲処理部152は、算出された類似度のうち最も高い類似度である評価対象区間を抽出し、その評価対象区間を含む楽曲を次楽曲として設定する。また、その評価対象区間の開始位置を再生開始ポイントとして設定する。
【0020】
類似基準区間と評価対象区間との類似度算出では、類似基準区間に含まれる再生区間と、評価対象区間に含まれる再生区間とを対比させ、順番が対応する再生区間同士の音楽特徴量の類似度を算出し、さらに重視度を加味して類似基準区間と評価対象区間との類似度を算出する。すなわち、類似度の高い類似基準区間と評価対象区間とは、対応する再生区間同士で音楽特徴量が近似することを意味する。
【0021】
この結果、次楽曲として設定された楽曲の再生開始ポイントから連続する再生区間の音楽的特徴の推移は、再生中の楽曲の楽曲切替ポイントから連続する再生区間の音楽的特徴の推移・展開と類似したものとなる。したがって、切れ目なく再生した場合における違和感を少なくすることができる。
【0022】
記憶部160は、ハードディスクドライブや半導体メモリ等の記憶装置であり、楽曲格納部161、楽曲解析情報格納部162を備えている。楽曲格納部161は、楽曲フォーマットで記録された楽曲データを格納する。楽曲データには、楽曲ID等の識別子が付されているものとする。楽曲解析情報格納部162は、格納された楽曲データのそれぞれの楽曲についての楽曲解析情報を格納する。楽曲解析情報には、楽曲分割部141が分割した再生区間に関する情報と、音楽特徴量算出部142が算出した再生区間毎の音楽特徴量とが含まれる。
【0023】
次に、楽曲解析部140の動作について図2のフローチャートを参照して説明する。楽曲解析部140が行なう処理は、楽曲格納部161に格納されているすべての楽曲データに対して楽曲データ毎に行なう。ただし、楽曲格納部161の所定のディレクトリに格納された楽曲データを対象としたり、前回の処理から新たに記録された楽曲データのみを対象にしてもよい。
【0024】
楽曲解析部140は、まず、所定の順序に従って処理対象とする楽曲データを設定する(S101)。処理対象とする楽曲データの順序は、例えば、楽曲ID順、楽曲データ名順、データ作成日順等とすることができる。
【0025】
そして、再生対象となった楽曲データの楽曲を再生区間に分割する(S102)。この処理は、楽曲分割部141が行なう。次に、音楽特徴量算出部142が分割された再生区間のそれぞれについて音楽特徴量を算出する(S103)。
【0026】
楽曲解析部140は、以上の再生区間分割処理(S102)と音楽特徴量算出処理(S103)を、処理対象楽曲を順次設定しながら繰り返す(S104)。これにより、すべての楽曲について、再生区間への分割、再生区間毎の音楽特徴量の算出が行なわれる。
【0027】
次に、楽曲分割部141が行なう楽曲分割処理(S102)の詳細について図3のフローチャートを参照して説明する。楽曲分割部141は、楽曲の曲調や音響的な変化点を検出して、そのポイントで楽曲を分割する。本実施形態では、曲調や音響的な変化点を検出するために、低周波数帯域の平均パワーに着目する。
【0028】
ただし、低周波数帯域の平均パワーへの着目は一例であり、他の周波数帯域を用いてもよいし、他の手法により、曲調や音響的な変化点を検出するようにしてもよい。一般に、低周波数帯域の平均パワーが大きければ、バスドラムやベースが強いリズミックな曲調と推定され、中周波数帯域の平均パワーが大きければ、メロディックな曲調と推定され、高周波数帯域の平均パワーが大きければ、音の数が多い曲調や賑やかな曲調と推定される。また、シンセサイザーなどを多用した楽曲では全周波数帯域に渡ってパワーが大きく、オーケストラの楽曲は、低周波数帯域が弱くて高周波数帯域が比較的強い傾向が表れる。
【0029】
低周波数帯域の平均パワーを取得するために、処理対象楽曲の音楽信号に対して、FFT(高速フーリエ変換)を行ない、低周波数帯域の複素周波数特性を算出する(S301)。FFTは、離散フーリエ変換を高速化したものであって、フーリエ変換を行なう区間であるフレーム1つ当たりのサンプル数は、2の累乗に設定する。なお、本実施形態においては、1フレームあたりの所定サンプル数を1024として説明する。図4は、低周波帯域の複素周波数特性の例として、周波数帯域毎の振幅特性amxの例と、位相特性pmxの例を示す図である。本図の例では、低周波帯域を、0〜43Hz、43〜86Hz、86〜129Hzの3つ(帯域番号1〜3)の帯域に分割し、それぞれについて振幅特性amxと、位相特性pmxとを算出している。
【0030】
そして、低周波のそれぞれの周波数帯域についてフレーム毎に平均パワーを算出する(S302)。フレーム番号をm、帯域データ番号をx、低周波数帯域の開始帯域番号をx(図4の例では1)、低周波数帯域の終了帯域番号をX(図4の例では3)とすると、フレーム番号mにおける低周波数帯域の平均パワーf(m)は、[数1]によって算出することができる。
【数1】

【0031】
図4に示した例を用いて、[数1]に従って平均パワーf(m)を求めると、[数2]に示すような結果が得られる。
【数2】

【0032】
次に、フレーム毎の低周波数帯域の平均パワーから、楽曲全体の統計量として、楽曲全体の低周波数帯域の平均パワーFAvおよび標準偏差σを算出する(S303)。総フレーム数をMとすると、楽曲全体の平均パワーFAvは、[数3]によって求められ、標準偏差σは、[数4]によって求めることができる。
【数3】

【数4】

【0033】
次に、所定の条件を満たすフレームを抽出し、抽出されたフレームを、分割点の候補であるカット候補点とする(S304)。所定の条件として、例えば、[数5]を満たした極大値または極小値のフレームとすることができる。
【数5】

【0034】
[数5]におけるαは、カット候補点の抽出数を調整するための0以上の実数であり、αの値を大きくすると、カット候補点として抽出されるフレーム数は少なくなり、αの値を小さくすると、カット候補点として抽出されるフレーム数は多くなる。ここでは、例としてα=2.0とする。
【0035】
図5は、横軸をフレーム番号として、ある楽曲の(f(m)−FAv)を描いたグラフである。図中の2本の水平破線は、±2.0σの閾値を示している。f(m)−FAvが2.0σ以上であり、かつ極大であるフレーム、あるいは(f(m)−FAv)が−2.0以下であり、かつ極小であるフレームをカット候補点とする。本図の例においては、条件を満たし抽出されるカット候補点は7点であり、それぞれ破線円で示している。この結果、分割される再生区間の候補として、区間候補1〜区間候補8が得られる。
【0036】
次に、区間候補から所定の長さ以下の区間候補を、隣接する区間候補のいずれかに結合させることで、再生区間を決定する(S305)。これは、再生区間が短くなりすぎることを防ぐためである。隣接する区間候補のどちらに結合させるかは予め設定しておくことができる。例えば、後の区間候補に結合させたり、短い方の区間候補に結合させることができる。あるいは、前の区間候補に結合させたり、長い方の区間候補に結合させるようにしてもよい。
【0037】
図5に示した例における区間候補7が所定の長さ以下である場合には、区間候補7を区間候補6に結合させ、図6に示すように再生区間1〜再生区間7の7つの再生区間を設定する。本図でも示されているように、各再生区間の開始ポイントと終了ポイントとは、平均パワーf(m)が極値となるポイントである。このため、曲調や音響的な変化点において再生区間が区切られることが期待される。
【0038】
再生区間が決定されると、楽曲解析情報の楽曲分割情報として楽曲解析情報格納部162に記録する(S306)。図7は、楽曲分割情報が記録された楽曲解析情報の例を示す図である。本図の例では、楽曲ID1の楽曲が、15個の再生区間に分割されていることが示されている。それぞれの再生区間は、開始時間と終了時間とで区切りポイントが示されている。なお、フレーム番号mから再生時間t[秒]への変換は、1フレーム当たりのサンプル数をs、サンプリング周波数をfr[Hz]として、[数6]にしたがって行なうことができる。ただし、別のフォーマットで再生区間を示すようにしてもよい。
【数6】

【0039】
以上が、楽曲分割部141が行なう楽曲分割処理(S102)の詳細であるが、曲調や音響的な変化点で楽曲を再生区間に分割する方法であれば、他の方法を用いてもよい。あるいは、楽曲分割情報を格納したデータベースから、楽曲分割情報を取得するようにしてもよい。このデータベースは、楽曲再生装置10の内部に設けてもよいし、外部に設けてもよい。
【0040】
次に、音楽特徴量算出部142が行なう音楽特徴量算出処理(S103)の詳細について図8のフローチャートを参照して説明する。音楽特徴量算出部142は、楽曲分割部141によって分割された再生区間のそれぞれについて音楽特徴量を算出する。
【0041】
このため、まず処理対象再生区間を設定する(S401)。処理対象再生区間は、例えば、再生区間番号順に設定することができる。
【0042】
そして、処理対象となった再生区間の音楽特徴量を算出する(S402)。音楽特徴量は、再生区間の音楽的な特徴を指標化したものであり、種々の量で表わすことができる。音楽特徴量は、複数の種類を用いることが望ましく、例えば、テンポ(1分間の拍数)、低周波数帯域の平均パワーである低域平均パワー、高周波数帯域の平均パワーである高域平均パワー、平均音量等を用いることができる。また、調性、周波数帯域、音定感、音の厚み、リズムパターン、ビート存在率等を公知の技術を用いて指標化したものであってもよい。なお、公知の技術例としては、特開2007−322598号公報、特開平6−290574号公報等に記載された技術が挙げられる。
【0043】
音楽特徴量を算出すると、楽曲解析情報格納部162に格納されている画曲解析情報の対応する楽曲の再生区間番号に記録する(S403)。以上の処理を処理対象楽曲のすべての再生区間に対して行なう(S404)。図9は、音楽特徴量が記録された楽曲解析情報の例を示している。本図の例では、音楽特徴量としてテンポ、低域平均パワー、高域平均パワーを用いている。
【0044】
次に、連続再生時における楽曲再生装置10の動作について図10のフローチャートを参照して説明する。連続再生は、例えば、操作受付部130を介して、ユーザから連続再生指示を受け付けることで開始する(S201)。そして、最初に再生する開始楽曲の設定を行なう(S202)。最初に再生する楽曲をユーザから指定されている場合には、指定された楽曲を開始楽曲とする。ユーザが特定の楽曲を指定していない場合は、例えば、ランダムに開始楽曲を設定する。
【0045】
最初に再生する楽曲が設定されると、その楽曲の再生を開始する(S203)。楽曲の再生は、記憶部160の楽曲格納部161に格納されている楽曲データを再生部120が再生することで行なわれる。
【0046】
楽曲の再生は、連続再生が終了するまで(S204:Yes)、楽曲を切り替えながら続ける。連続再生の終了は、例えば、全楽曲を再生した場合、ユーザから終了の指示を受け付けた場合、所定の楽曲数を再生した場合、所定時間再生を行なった場合等とすることができる。
【0047】
楽曲の再生中に、次に再生する次楽曲の設定を行なう(S205)。次楽曲の設定では、再生中の楽曲についての楽曲切替ポイントと、次楽曲の再生開始ポイントが併せて設定される。楽曲切替ポイント、再生開始ポイントは、例えば、再生経過時間で表わすことができる。
【0048】
そして、再生中の楽曲の再生位置(再生時間)が、楽曲切替ポイントに達すると(S206:Yes)、次楽曲の再生に切り替える(S207)。この際に、次楽曲の再生開始ポイントから再生を開始する。その後は、次楽曲を再生中の楽曲として扱い、同様の手順で次楽曲を設定していく。これにより、楽曲が途切れることなく連続再生が行なわれる。
【0049】
なお、再生中の楽曲の再生位置が、楽曲切替ポイントに達したとき、再生中の楽曲の再生をすぐに終了せず、一定の時間だけ、再生を継続するようにしてもよい。この場合、再生中の楽曲と次楽曲とが同時に再生されるが、例えば、再生中の楽曲をフェードアウトさせ、次楽曲をフェードインさせることで、楽曲の切替を円滑に行なえるようになる。
【0050】
次に、次楽曲選定部150が行なう次楽曲設定処理(S205)の詳細について図11のフローチャートを参照して説明する。次楽曲設定処理(S205)では、まず、再生楽曲処理部151が、再生中の楽曲について楽曲切替ポイントを設定する(S501)。
【0051】
楽曲切替ポイントは、種々の方法で任意に設定することができるが、本実施形態では、図12(a)に示すように、再生中の楽曲の再生時間長に対して、例えば、70%の位置を含む再生区間の先頭位置を楽曲切替ポイントとして設定するものとする。70%としたのは、楽曲切替ポイントが前過ぎると再生中の楽曲の再生時間が短くなるからである。なお、70%の位置に最も近い再生区間の先頭位置を楽曲切替ポイントとしてもよい。
【0052】
楽曲切替ポイントを設定すると、その再生区間から、連続する所定数の再生区間を類似基準区間として設定する(S502)。図12(a)に示した例では、所定数を4として類似基準区間を設定している。ただし、所定数の4は一例であり、他の数であってもよい。また、楽曲切替ポイントや類似基準区間として設定する再生区間の数は、ユーザからの指示に基づいて設定するようにしてもよい。
【0053】
次に、類似基準区間に含まれるそれぞれの再生区間について重視度を算出する(S503)。重視度は、それぞれの再生区間の音楽特徴量をどの程度重視するかを示す値であり、本実施形態では、再生区間の長さに比例するものとする。すなわち、再生区間の長さが相対的に大きいほど、重視度を高く設定する。これは、再生区間が長いほど印象が大きくなると考えられるからである。このため、類似基準区間中のi番目の再生区間の重視度wは、図12(b)に示すように、その再生区間の再生時間をDとし、類似基準区間の再生時間をTとして、[数7]により算出することができる。
【数7】

【0054】
例えば、1番目の再生区間の再生時間D1が25秒であり、2番目の再生区間の再生時間D2が35秒であり、3番目の再生区間の再生時間D3が22秒であり、4番目の再生区間の再生時間D4が18秒であったとすると、類似基準区間の再生時間Tは100秒となり、それぞれの再生区間の重視度は、W1=0.25、W2=0.35、W3=0.22、W4=0.18となる。
【0055】
類似基準区間が設定され、重視度が算出されると、評価楽曲処理部152が次楽曲の選定を行なう。そのために、評価対象楽曲を設定する(S504)。評価対象楽曲は、記憶部160の楽曲格納部161に格納されている楽曲データに係る楽曲のうち、再生中の楽曲および再生済の楽曲以外の楽曲を順次設定する。
【0056】
そして、設定された評価対象楽曲について評価対象区間を設定する(S505)。評価対象区間は、類似基準区間との類似度を算出する区間であり、類似基準区間と同じ数の連続する再生区間を含んだ区間である。評価対象区間は、図12(c)に示すように、評価対象楽曲の先頭再生区間から1再生区間ずつずらしながら設定していく。この場合、評価対象区間に含まれる再生区間数は、図12(a)に示した類似基準区間に含まれる再生区間数と同じ4である。
【0057】
次に設定された評価対象区間と類似基準区間との類似度を算出する(S506)。類似度の算出にあたっては、対応する順番の再生区間毎に音楽特徴量の類似度を算出し、算出された類似度の重み付け平均値を評価対象区間と類似基準区間との類似度とする。重み付け値は、再生区間の重視度を用いる。
【0058】
再生区間毎の音楽特徴量の類似度は、複数要素の音楽特徴量をベクトルで表わし、そのベクトルのコサイン距離を用いて算出することができる。ただし、コサイン距離に限られず、ジャカード(Jaccard)係数、ピアソン積率相関係数等を用いて類似度を算出してもよい。
【0059】
例えば、図13に示すように、音楽特徴量として、「テンポ」「低域平均パワー」「高域平均パワー」の3つの要素が採用されていたとすると、類似度基準区間の第1再生区間の音楽特徴量は、(Va11、Va12、Va13)の3次元のベクトルVa1で表わすことができる。同様に、評価多少区間の第1再生区間の音楽特徴量は、(Vk11、Vk12、Vk13)の3次元のベクトルVk1で表わすことができる。
【0060】
この場合、第1再生区間の類似度cosθは、[数8]により求めることができる。
【数8】

【0061】
コサイン距離等による類似度の算出を、対応する順番の再生区間同士で行ない、重視度による重み付け平均値を評価対象区間と類似基準区間との類似度とする。すなわち、類似基準区間に含まれる再生区間の数をdとし、i番目の再生区間の重視度をwとすると、評価対象区間と類似基準区間との類似度Simは、[数9]により求めることができる。
【数9】

【0062】
なお、重視度wの総和が1である場合、重視度wが平均の意味を有するので、類似度Simは、[数10]によって求めることができる。
【数10】

【0063】
以上の、評価対象区間と類似基準区間との類似度算出を、図12(c)に示すように、評価対象区間をずらしながら繰り返す(S509)。そして、設定可能なすべての評価対象区間に対して類似算出を終えると(S507:Yes)、評価対象楽曲の中で最大の類似度が算出された評価対象区間を抽出する(S508)。
【0064】
なお、評価対象楽曲の終了付近の評価対象区間が最大類似度として設定されると、次楽曲の再生時間が極めて短くなってしまう。これを避けるため、評価対象楽曲に対する評価対象区間の設定範囲に制限を設けるようにしてもよい。例えば、評価対象楽曲に含まれる再生区間数をSとしたとき、評価対象区間の先頭再生区間が、S/2番目の再生区間以内となるように、評価対象区間を設定するようにしてもよい。
【0065】
あるいは、調整係数をβ(0<β≦1)、類似基準区間の再生区間数をd、評価対象楽曲に含まれる再生区間数をSとして、評価対象区間の先頭再生区間が、[数11]で求められるJ番目の再生区間以内となるように、評価対象区間を設定するようにしてもよい。
【数11】

【0066】
例えば、S=20、d=4、β=0.6のとき、J=0.6×20−4=8となり、次曲の開始再生区間は、再生区間1〜再生区間8のいずれかに制限される。
【0067】
以上に示した最大の類似度が算出された評価対象区間の抽出を、評価すべきすべての評価対象楽曲に対して行なうと(S509:Yes)、その中で最も大きな類似度の評価対象区間と、その評価対象区間を含む楽曲とを抽出する(S510)。
【0068】
そして、抽出された最大の類似度が、予め定められた閾値以上であるかどうかを判定する(S511)。抽出された最大の類似度が、予め定められた閾値未満であれば(S512:No)、類似基準区間に含める再生区間数を短縮して(S512)、再度、重視度算出処理(S503)以降の処理を繰り返す。例えば、類似基準区間に含める再生区間数4であった場合には、3にして再処理を行なうようにする。この場合、評価対象区間の数も対応させて縮小させる。これにより、類似度が低い楽曲が次楽曲として設定され、連続再生において違和感が生じるのを防いでいる。
【0069】
抽出された最大の類似度が、予め定められた閾値以上であれば(S512:Yes)、その楽曲を次楽曲として設定し、評価対象区間の開始位置を再生開始ポイントとして設定する(S513)。
【0070】
再生区間は、曲調や音響的な変化点において分割されたものであり、音楽特徴量は、再生区間の音楽的な特徴を指標化したものである。このため、類似基準区間と類似度の高い評価対象区間は、音楽的な特徴の推移・展開が類似していることを意味する。
【0071】
例えば、類似基準区間の第1再生区間が静かな曲調であり、第2再生区間がややリズムのある曲調であり、第3再生区間が激しい曲調であり、第4再生区間が再度静かな曲調であった場合、同じような展開をする評価対象区間の類似度が高く算出される。このような評価対象区間を、再生中の楽曲の楽曲切替ポイントから切り替えて再生開始することで、違和感のない連続再生を実現することが可能となる。
【0072】
図14は、再生楽曲の楽曲切替ポイントと次楽曲の再生開始ポイントについて説明する図である。本図の例では、再生楽曲の再生区間18〜再生区間21が類似基準区間として設定されている。このため、楽曲切替ポイントは、再生区間18の先頭位置となる。これに対して、次楽曲として設定された楽曲は、再生区間1〜再生区間5の評価対象区間が最大類似度となったものとする。この場合、再生開始ポイントは、再生区間2の先頭位置となる。
【0073】
本図の例では、再生制御部110は、再生楽曲の再生位置が、楽曲切替ポイントまで進むと、すなわち、再生区間17の再生が終了すると、再生楽曲の再生を終了し、次楽曲の再生開始ポイント、すなわち、再生区間2から切れ目なく再生を開始する。本図において、再生対象となっている再生区間を網掛けで示している。
【0074】
このとき、再生楽曲の再生区間18〜再生区間21の音楽的特徴の推移・展開と、次楽曲の再生区間2〜再生区間5の音楽的特徴の推移・展開とは類似しているため、違和感なく連続再生を行なうことができる。
【0075】
次に、本発明の第2実施形態について説明する。図15は、本発明の第2実施形態に係る楽曲再生装置20の機能構成を示すブロック図である。第1実施形態と同じブロックについては同じ符号を付し、説明を簡略化する。
【0076】
第1実施形態の楽曲再生装置10は、類似基準区間に含まれる再生区間の重視度を、再生区間の長さに応じた値としたが、第2実施形態の楽曲再生装置20は、再生区間への分割における分割点の妥当性を示す分割妥当度を重視度として用いるものとする。
【0077】
本図に示すように、第2実施形態に係る楽曲再生装置20は、楽曲分割部141と音楽特徴量算出部142とを備えた楽曲解析部140に替えて、楽曲分割部141aと音楽特徴量算出部142とを備えた楽曲解析部140aを備えている。また、再生楽曲処理部151と評価楽曲処理部152とを備えた次楽曲選定部150に替えて、再生楽曲処理部151aと評価楽曲処理部152aとを備えた次楽曲選定部150aを備えている。さらに、楽曲格納部161と楽曲解析情報格納部162とを備えた記憶部160に替えて、楽曲格納部161と楽曲解析情報格納部162aとを備えた記憶部160aを備えている。他の構成については、第1実施形態の楽曲再生装置10と同様である。
【0078】
楽曲解析部140aの動作は図2に示した楽曲解析部140の動作と同様であるため、説明を省略し、楽曲分割部141aが行なう楽曲分割処理(S102)の詳細について図16のフローチャートを参照して説明する。ここでは、図3に示した楽曲分割部141が行なう楽曲分割処理(S102)との差異を中心に説明する。
【0079】
低周波数帯域の複素周波数特性算出処理(S301)、平均パワー算出処理(S302)、楽曲全体の平均パワー統計量算出処理(S303)、カット候補点抽出処理(S304)、再生区間決定処理(S305)は、第1実施形態の楽曲解析部140の動作と同様である。
【0080】
第2実施形態では、再生区間を決定した後、それぞれの分割点における分割の妥当性を示す分割妥当度を算出する(S307)。分割妥当度λは、再生区間の先頭フレームmにおける低周波数帯域の平均パワーをf(m)、[数3]によって算出される楽曲全体の低周波数帯域の平均パワーをFAv、[数4]によって算出される楽曲全体の低周波数帯域の標準偏差をσとして、[数12]によって求めることができる。つまり、再生区間の分割点の平均パワーであるf(m)と楽曲全体の平均パワーFAvとの差分が大きいほど高い重み付けとなる。ただし、分割妥当度、分割の妥当性、すなわち、分割点により曲調や音響的特徴が変化している確度を指標化できるものであれば、他の方法で求めてもよい。
【数12】

【0081】
再生区間が決定され、分割妥当度が算出されると、楽曲解析情報の楽曲分割情報として楽曲解析情報格納部162aに記録する(S308)。図17は、第2実施形態における楽曲分割情報が記録された楽曲解析情報の例を示す図である。本図に示すように、楽曲分割情報に、分割妥当度が追加され、それぞれの再生区間に対して、0.6、0.5等の分割妥当度が記録されている。
【0082】
次に、次楽曲選定部150aが行なう次楽曲設定処理について図18のフローチャートを参照して説明する。ここでは、図11に示した次楽曲選定部150が行なう次楽曲設定処理との差異を中心に説明する。
【0083】
第2実施形態の次楽曲設定処理では、評価対象区間と類似基準区間との類似度算出処理(S506)において、その再生区間の分割妥当度λを重視度Wとして用いる。このため、第1実施形態における重視度の算出(S503)は行なわない。他の処理については、図11に示した次楽曲設定処理と同様である。
【0084】
第2実施形態の楽曲再生装置20では、曲調や音響的な変化点の確からしさを示す分割妥当度が高い再生区間を重視して評価対象区間と類似基準区間との類似度を算出するため、楽曲の変化点として重要な再生区間の音楽的特徴がより反映されることになる。このため、連続再生の楽曲切替点における違和感をより少なくすることが可能となる。
【符号の説明】
【0085】
10…楽曲再生装置
20…楽曲再生装置
110…再生制御部
120…再生部
130…操作受付部
140、140a…楽曲解析部
141、141a…楽曲分割部
142…音楽特徴量算出部
150、150a…次楽曲選定部
151、151a…再生楽曲処理部
152、152a…評価楽曲処理部
160、160a…記憶部
161…楽曲格納部
162、162a…楽曲解析情報格納部

【特許請求の範囲】
【請求項1】
複数の楽曲のそれぞれについて、所定の基準に基づいて分割点を設定することで、複数の再生区間に分割する楽曲分割部と、
それぞれの再生区間について、音楽的な特徴を指標化した音楽特徴量を算出する音楽特徴量算出部と、
所定の再生楽曲における、いずれかの分割点を楽曲切替ポイントとして設定し、前記切替ポイントから連続する所定数の再生区間を類似基準区間として設定する再生楽曲処理部と、
前記再生楽曲の他の楽曲について、前記所定数連続する再生区間を評価対象区間として順次設定し、その設定した評価対象区間について、前記類似基準区間と対応する順番の再生区間同士を順次対比させることで類似度を算出することで、最も類似度の高い評価対象区間を抽出し、その最も類似度の高い評価対象区間を含む楽曲を次楽曲として設定する評価楽曲処理部と、
前記再生楽曲を前記楽曲切替ポイントまで再生したら、前記次楽曲の最も類似度の高い評価対象区間から再生を開始させる再生制御部と、
を備えることを特徴とする楽曲再生制御装置。
【請求項2】
前記再生楽曲処理部は、類似基準区間に含まれる再生区間の長さが長いほど高い重み付けとなる重視度を算出し、
前記評価楽曲処理部は、前記重視度により再生区間に重み付けを行なって前記類似度を算出することを特徴とする請求項1に記載の楽曲再生制御装置。
【請求項3】
前記楽曲分割部は、分割した再生区間それぞれについて、設定した分割点の妥当性を示す分割妥当度を算出し、
前記評価楽曲処理部は、前記分割妥当度により再生区間に重み付けを行なって前記類似度を算出することを特徴とする請求項1に記載の楽曲再生制御装置。
【請求項4】
前記分割妥当度は、所定周波数帯域の前記分割点における平均パワーと、楽曲全体の平均パワーとの差分が大きいほど、高い重み付けとなることを特徴とする請求項3記載の楽曲再生制御装置。
【請求項5】
前記楽曲分割部は、楽曲の所定周波数帯域における平均パワーの極値を検出することにより前記分割点を設定することを特徴とする請求項1に記載の楽曲再生制御装置。
【請求項6】
前記再生楽曲処理部は、前記再生楽曲の所定の再生位置を含む再生区間の先頭を楽曲切替ポイントとして設定することを特徴とする請求項1に記載の楽曲再生制御装置。
【請求項7】
複数の楽曲のそれぞれについて、所定の基準に基づいて分割点を設定することで、複数の再生区間に分割する楽曲分割ステップと、
それぞれの再生区間について、音楽的な特徴を指標化した音楽特徴量を算出する音楽特徴量算出ステップと、
所定の再生楽曲における、いずれかの分割点を楽曲切替ポイントとして設定し、前記切替ポイントから連続する所定数の再生区間を類似基準区間として設定する再生楽曲処理ステップと、
前記再生楽曲の他の楽曲について、前記所定数連続する再生区間を評価対象区間として順次設定し、その設定した評価対象区間について、前記類似基準区間と対応する順番の再生区間同士を順次対比させることで類似度を算出することで、最も類似度の高い評価対象区間を抽出し、その最も類似度の高い評価対象区間を含む楽曲を次楽曲として設定する評価楽曲処理ステップと、
前記再生楽曲を前記楽曲切替ポイントまで再生したら、前記次楽曲の最も類似度の高い評価対象区間から再生を開始させる再生制御ステップと、
を含むことを特徴とする楽曲再生制御方法。
【請求項8】
複数の楽曲のそれぞれについて、所定の基準に基づいて分割点を設定することで、複数の再生区間に分割する楽曲分割部、
それぞれの再生区間について、音楽的な特徴を指標化した音楽特徴量を算出する音楽特徴量算出部、
所定の再生楽曲における、いずれかの分割点を楽曲切替ポイントとして設定し、前記切替ポイントから連続する所定数の再生区間を類似基準区間として設定する再生楽曲処理部、
前記再生楽曲の他の楽曲について、前記所定数連続する再生区間を評価対象区間として順次設定し、その設定した評価対象区間について、前記類似基準区間と対応する順番の再生区間同士を順次対比させることで類似度を算出することで、最も類似度の高い評価対象区間を抽出し、その最も類似度の高い評価対象区間を含む楽曲を次楽曲として設定する評価楽曲処理部、
前記再生楽曲を前記楽曲切替ポイントまで再生したら、前記次楽曲の最も類似度の高い評価対象区間から再生を開始させる再生制御部、
として情報処理装置を機能させることを特徴とするコンピュータプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate


【公開番号】特開2012−173691(P2012−173691A)
【公開日】平成24年9月10日(2012.9.10)
【国際特許分類】
【出願番号】特願2011−38178(P2011−38178)
【出願日】平成23年2月24日(2011.2.24)
【出願人】(308036402)株式会社JVCケンウッド (1,152)