楽曲加工装置およびプログラム
【課題】複数の楽曲から自然な楽曲を編成する。
【解決手段】記憶装置20は、楽曲を区分した各素片Sの楽音データAと各素片Sの音楽的な特徴量Fとを複数の楽曲の各々について記憶する。類否指標算定部11は、主楽曲の各主素片Smについて、複数の楽曲における主素片Sm以外の各副素片Ssとの特徴量Fの類否を示す類否指標値Rを算定する。条件設定部17は、入力装置40に対する入力に応じて選択条件を設定する。選択部16は、主楽曲の各主素片Smについて、当該主素片Smとの類否指標値Rが選択条件を満たす副素片Ssを選択する。加工部18は、主楽曲の主素片Smの楽音データAを、選択部16が主素片Smについて選択した副素片Ssの楽音データAに基づいて加工する。
【解決手段】記憶装置20は、楽曲を区分した各素片Sの楽音データAと各素片Sの音楽的な特徴量Fとを複数の楽曲の各々について記憶する。類否指標算定部11は、主楽曲の各主素片Smについて、複数の楽曲における主素片Sm以外の各副素片Ssとの特徴量Fの類否を示す類否指標値Rを算定する。条件設定部17は、入力装置40に対する入力に応じて選択条件を設定する。選択部16は、主楽曲の各主素片Smについて、当該主素片Smとの類否指標値Rが選択条件を満たす副素片Ssを選択する。加工部18は、主楽曲の主素片Smの楽音データAを、選択部16が主素片Smについて選択した副素片Ssの楽音データAに基づいて加工する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、楽曲を加工する技術に関する。
【背景技術】
【0002】
例えばディスクジョッキ(DJ)は、複数の楽曲を途切れなく連結しながら次々に再生する。特許文献1には、このような再生を実現する技術が開示されている。同文献の技術においては、相前後する各楽曲の拍位置が合致するように各々の再生の時期を制御することで、複数の楽曲を円滑に連結することが可能となる。
【特許文献1】特開2003−108132号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
ところで、複数の楽曲から自然で洗練された雰囲気の楽曲を編成するためには、楽曲を再生する時期の調整に加えて適切な楽曲の選択が重要な要件となる。すなわち、特許文献1の技術のように単純に各楽曲の拍位置を合致させたとしても、例えば各楽曲の音楽的な特徴が大幅に相違するような場合には聴感上において自然な楽曲を編成することができない。以上の事情を背景として、本発明は、複数の楽曲から違和感のない楽曲を生成するという課題の解決をひとつの目的としている。
【課題を解決するための手段】
【0004】
以上の課題を解決するために、本発明に係る楽曲加工装置は、楽曲を区分した各素片の楽音データと各素片の音楽的な特徴量とを複数の楽曲の各々について記憶する記憶手段と、複数の楽曲から選択された主楽曲の複数の素片の各々である主素片について、複数の楽曲における当該主素片以外の各素片である副素片との特徴量の類否を示す類否指標値を算定する類否指標算定手段と、入力装置に対する入力に応じて選択条件を設定する条件設定手段と、主楽曲の各主素片について、当該主素片との類否指標値が選択条件を満たす副素片を選択する選択手段と、主楽曲の主素片の楽音データを、選択手段が当該主素片について選択した副素片の楽音データに基づいて加工する加工手段とを具備する。以上の構成においては、主素片との類似指標値に応じて選択された副素片が当該主素片の加工に使用されるから、利用者が各楽曲の類似性や調和性について認識していない場合であっても、主楽曲の曲調を大幅に損なうことなく聴感上において自然な楽曲を生成することが可能となる。
【0005】
本発明の好適な態様において、素片は、楽曲の拍に同期した時点で楽曲を区分した区間である。例えば、ひとつまたは複数の拍を単位として楽曲を区分した区間や相前後する各拍の間隔を複数に区分した区間(例えば1/2拍や1/4拍に相当する時間長の区間)が素片とされる。本態様によれば、拍に同期した時点で楽曲を区分した区間が素片とされるから、主楽曲のリズム感を維持しながら自然な楽曲を生成することができる。
【0006】
本発明において条件設定手段が設定する選択条件は任意であるが、例えば以下の各態様が好適に採用される。第1の態様において、条件設定手段は、基準順位を選択条件として設定し、選択手段は、主素片との類似順で当該基準順位に応じた順位にある副素片を選択する。第2の態様において、条件設定手段は、乱数の範囲を選択条件として設定し、選択手段は、範囲内の乱数を発生し、主素片との類似順で当該乱数に応じた順位にある副素片を選択する。第3の態様において、条件設定手段は、総選択数を選択条件として設定し、選択手段は、総選択数に相当する個数の副素片を選択する。第4の態様において、条件設定手段は、最大選択数を選択条件として設定し、選択手段は、ひとつの楽曲から選択する副素片の個数の最大値を最大選択数に制限しながら各主素片について複数の副素片を選択する。
【0007】
本発明の好適な態様に係る楽曲加工装置は、加工手段による加工後の楽音データと主楽曲の楽音データとを、入力装置に対する入力に応じた割合で順次に混合して出力する混合手段を具備する。本態様によれば、加工手段による加工後の楽音データと主楽曲の元来の楽音データとの何れを優先させるかを入力装置に対する入力に応じて適宜に変更することが可能である。また、別の態様に係る楽曲加工装置は、加工手段による加工後の各楽音データを、当該楽音データが示す楽音のうち入力装置に対する入力に応じた時点から終点までの区間が無音となるように加工する音長調整手段を具備する。本態様によれば、各楽音の音長(楽曲のリズム感)を入力装置に対する入力に応じて適宜に変更することが可能である。
【0008】
本発明の好適な態様に係る楽曲加工装置は、選択手段が選択した各副素片の楽音データが示す楽音のピッチを、入力装置に対する入力に応じて楽曲毎に制御するピッチ制御手段を具備する。本態様によれば、楽音のピッチを楽曲毎に調整することで、例えばピッチに関して統一感のある楽曲を編成することができる。また、選択手段が選択した各副素片の楽音データに音響効果を付与する手段であって、入力装置に対する入力に応じて音響効果を楽曲毎に制御する効果付与手段を具備する構成も好適である。本態様によれば、音響効果を楽曲毎に調整することで、例えば統一感のある楽曲を編成することが可能である。
【0009】
本発明の好適な態様において、前記類否指標算定手段は、前記各主素片について各副素片との特徴量の類否を示す基礎指標値を算定する類否特定手段と、前記類否特定手段が特定した各基礎指標値から類否指標値を決定する手段であって、一の主素片について副素片毎に算定された基礎指標値のうち、前記一の主素片の直前の主素片について前記選択手段が選択した副素片に後続する副素片の基礎指標値を(例えば入力装置に対する入力に応じて)類似側に調整する調整手段とを含む。本態様によれば、ひとつの楽曲から副素片が連続して選択される可能性が高まる。したがって、特定の楽曲の曲調を維持した楽曲を編成することが可能となる。
【0010】
さらに好適な態様において、類否指標算定手段は、複数の楽曲から選択された主楽曲の各主素片について各副素片との特徴量の類否の指標となる基礎指標値を算定する類否特定手段と、入力装置に対する入力に応じて楽曲毎に係数を設定する係数設定手段と、各楽曲の副素片について算定された基礎指標値を、係数設定手段が当該楽曲について設定した係数に応じて調整することで類否指標値を算定する調整手段とを含む。本態様によれば、係数設定手段が設定する係数に応じて類否指標値が楽曲毎に調整されるから、各楽曲の副素片が主楽曲の加工に使用される頻度は入力装置に対する入力に応じて増減する。したがって、利用者の意図に合致した多様な楽曲を編成することが可能となる。
【0011】
本発明は、楽曲を加工する方法としても特定される。本発明の楽曲加工方法は、楽曲を区分した各素片の楽音データと各素片の音楽的な特徴量とを複数の楽曲の各々について記憶する記憶手段を利用して、複数の楽曲から選択された主楽曲の各主素片について、複数の楽曲における当該主素片以外の各副素片との特徴量の類否を示す類否指標値を算定する類否指標算定過程と、入力装置に対する入力に応じて選択条件を設定する条件設定過程と、主楽曲の各主素片について、当該主素片との類否指標値が選択条件を満たす副素片を選択する選択過程と、主楽曲の主素片の楽音データを、選択過程にて当該主素片について選択した副素片の楽音データに基づいて加工する加工過程とを含む。以上の方法によれば、本発明に係る楽曲加工装置と同様の作用および効果が奏される。
【0012】
本発明に係る楽曲加工装置は、各処理に専用されるDSP(Digital Signal Processor)などのハードウェア(電子回路)によって実現されるほか、CPU(Central Processing Unit)などの汎用の演算処理装置とプログラムとの協働によっても実現される。本発明に係るプログラムは、楽曲を区分した各素片の楽音データと各素片の音楽的な特徴量とを複数の楽曲の各々について記憶する記憶手段を具備するコンピュータに、複数の楽曲から選択された主楽曲の各主素片について、複数の楽曲における当該主素片以外の各副素片との特徴量の類否を示す類否指標値を算定する類否指標算定処理と、入力装置に対する入力に応じて選択条件を設定する条件設定処理と、主楽曲の各主素片について、当該主素片との類否指標値が選択条件を満たす副素片を選択する選択処理と、主楽曲の主素片の楽音データを、選択処理で当該主素片について選択した副素片の楽音データに基づいて加工する加工処理とを実行させる。以上のプログラムによっても、本発明に係る楽曲加工装置と同様の作用および効果が奏される。なお、本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で利用者に提供されてコンピュータにインストールされるほか、通信網を介した配信の形態で提供されてコンピュータにインストールされる。
【発明を実施するための最良の形態】
【0013】
<A:第1実施形態>
図1は、本発明のひとつの形態に係る楽曲加工装置の構成を示すブロック図である。本形態の楽曲加工装置100は、複数の楽曲を利用してひとつの楽曲(以下「主楽曲」という)を加工する装置である。図1に示すように、楽曲加工装置100は、制御装置10と記憶装置20と放音装置30と入力装置40と表示装置50とを具備するコンピュータシステム(例えばパーソナルコンピュータ)によって実現される。
【0014】
制御装置10は、プログラムの実行によって楽曲加工装置100の各部を制御する演算処理装置(CPU)である。記憶装置20は、制御装置10が実行するプログラムや制御装置10が処理する各種のデータを記憶する。例えば半導体記憶装置や磁気記憶装置が記憶装置20として好適に採用される。図1に示すように、記憶装置20は、複数の楽曲の各々について楽曲データを記憶する。
【0015】
図2は、楽曲の構成を示す概念図である。ひとつの楽曲は多数の小節に区分される。図2に示すように、楽曲には、複数の小節で構成される区間(以下「ループ」という)が画定される。ループは、例えば楽曲の特徴的な部分(例えばいわゆるサビの部分)であり、入力装置40に対する操作によって利用者が楽曲中に始点および終点を指定することで画定される。ただし、楽曲のうち所定の条件を満たす区間を制御装置10がループとして自動的に特定する構成も採用される。なお、楽曲の全部をひとつのループとしてもよい。
【0016】
図2に示すように、各小節はひとつまたは複数の拍(ビート)を単位として複数の区間(以下「素片」という)Sに区分される。本形態における素片Sはひとつの拍に相当する区間である。したがって、例えば2拍子の楽曲であればひとつの小節を2等分した各区間が素片Sに相当し、3拍子の楽曲であればひとつの小節を3等分した各区間が素片Sに相当する。なお、素片Sは、ひとつの拍を複数に区分した区間(すなわち1/2拍や1/4拍に相当する区間)であってもよい。
【0017】
図1に示すように、ひとつの楽曲の楽曲データは、当該楽曲のループに属する複数の素片Sの各々について、当該素片Sに属する楽音の波形を表わす楽音データAと、当該素片Sの音楽的な性質を特徴付ける数値(以下「特徴量」という)Fとを含む。特徴量Fは、楽音のエネルギ(強度),振幅スペクトルのセントロイド,スペクトルの強度が最大となる周波数,MFCC(Mel-Frequency Cepstrum Coefficient)などN個(Nは自然数)の数値で定義されるN次元ベクトルとして表現される。
【0018】
入力装置40は、利用者が楽曲加工装置100に対する指示を入力する機器(例えばマウスやキーボード)である。例えば、利用者は、入力装置40を適宜に操作することで、記憶装置20に楽曲データが記憶された複数の楽曲のなかから、楽曲加工装置100による処理の対象となるM個の楽曲(以下「対象楽曲」という)を指定する(Mは2以上の整数)。
【0019】
制御装置10は、M個(本形態では8個)の対象楽曲から選択された主楽曲の複数の素片Sの各々(以下「主素片Sm」という)の楽音データAを、M個の対象楽曲における当該主素片Sm以外の総ての素片(以下「副素片Ss」という)のうち特徴量Fが主素片Smに類似するひとつまたは複数の副素片Ssの楽音データAに基づいて加工したうえで順次に出力する。放音装置30は、制御装置10から出力される楽音データAのデータ列a1に基づいて放音する。例えば、放音装置30は、各楽音データAからアナログの信号を生成するD/A変換器と、D/A変換器が出力する信号を増幅する増幅器と、増幅器が出力する信号に応じた音波を出力する放音機器(スピーカやヘッドホン)とを含む。
【0020】
表示装置50は、制御装置10による制御のもとに各種の画像を表示する。楽曲加工装置100の作動中には例えば図3の操作画面52が継続的に表示装置50に表示される。利用者は、入力装置40を操作して操作画面52の各部分を指定することで、各種の指示を楽曲加工装置100に付与することができる。図3に示すように、操作画面52は、利用者が選択したM個の対象楽曲の名称(Name)と、各対象楽曲に対応するM個の操作子(ボタン)70の画像を配列した領域G0とを含む。利用者は、入力装置40を操作してM個の操作子70の何れかを押下することで、当該操作子70に対応した対象楽曲を主楽曲(Master)に指定することができる。
【0021】
次に、制御装置10の具体的な機能について説明する。図1に示すように、制御装置10は、記憶装置20に格納されたプログラムを実行することで複数の要素(類否指標算定部11,選択部16,条件設定部17,加工部18)として機能する。なお、図1の制御装置10の各要素は、楽音の処理に専用されるDSPなどの電子回路によっても実現される。また、制御装置10は、複数の集積回路に分散して実装されてもよい。
【0022】
類否指標算定部11は、主楽曲の複数の主素片Smの各々について、各副素片Ssとの特徴量Fの類否の程度を示す数値(以下「類否指標値」という)Rを副素片Ss毎に算定する手段である。本形態の類否指標算定部11は、類否特定部12と係数設定部13と調整部14とで構成される。
【0023】
類否特定部12は、類否指標値Rの基礎となる数値(以下「基礎指標値」という)R0を算定する。基礎指標値R0は、類否指標値Rと同様に、主素片Smと副素片Ssとの特徴量Fの類否の指標となる数値である。さらに詳述すると、類否特定部12は、各主素片Smの特徴量Fを順次に記憶装置20から取得し、ひとつの主素片Smの特徴量FとM個の対象楽曲における各副素片Ssの特徴量Fとに応じた基礎指標値R0を副素片Ss毎に算定する。主素片Smと副素片Ssとの基礎指標値R0は、例えば、特徴量FのN個の数値を座標値として主素片Smおよび副素片Ssの各々についてN次元空間に特定される各座標のユークリッド距離の逆数として算定される。したがって、主素片Smと副素片Ssとは、両者の基礎指標値R0が大きいほど音楽的な特徴が類似する。
【0024】
係数設定部13は、M個の対象楽曲の各々について係数Kを設定する。本形態の係数設定部13は、図3の操作画面52のうち領域G1に対する指示に応じて対象楽曲毎に個別に係数Kを制御する。領域G1は、M個の対象楽曲の各々に対応するM個の操作子(スライダ)71の画像を含む。利用者は、入力装置40を適宜に操作することで各操作子71を上下に移動させることができる。係数設定部13は、M個の対象楽曲の各々について、当該対象楽曲に対応する操作子71の位置に応じた係数Kを設定する。例えば、係数Kは、操作子71が下端にある場合にゼロに設定され、操作子71が上端に接近するほど増加する。
【0025】
調整部14は、類否特定部12が算定した基礎指標値R0を係数Kに応じて対象楽曲毎に調整することで類否指標値Rを算定する。さらに詳述すると、調整部14は、ひとつの対象楽曲の各副素片Ssについて算定された基礎指標値R0と、係数設定部13が当該対象楽曲について設定した係数Kとの乗算値を類否指標値Rとして算定する。
【0026】
選択部16は、主楽曲の複数の主素片Smの各々について、当該主素片Smとの類否指標値Rが類似を示す所定個(ひとつまたは複数)の副素片Ssを選択する。条件設定部17は、入力装置40に対する入力に応じて選択部16による選択条件を設定する。加工部18は、主楽曲の各主素片Smの楽音データAを、選択部16が当該主素片Smについて選択した所定個の副素片Ssの楽音データAに置換したうえで順次に出力する。
【0027】
図3の操作画面52を構成する領域G2は、利用者が選択条件を楽曲加工装置100に指示するための部分である。領域G2は、複数の操作子(ツマミ)73(73A,73B,73C,73D)の画像を含む。利用者は、入力装置40を適宜に操作することで各操作子73を個別に回転させることができる。条件設定部17は、第1に、操作子73A(Offset)の角度に応じて基準順位CAを設定し、第2に、操作子73B(Random)の角度に応じて乱数範囲CBを設定する。選択部16は、乱数範囲CB内の乱数rを発生する。条件設定部17は、第3に、操作子73C(Layers)の角度に応じて総選択数CCを設定し、第4に、操作子73D(Max/Source)の角度に応じて最大選択数CDを設定する。選択部16は、複数の副素片Ssのなかから主素片Smとの類否指標値Rが選択条件を満たす副素片Ssを選択する。
【0028】
図4は、副素片Ss毎に算定された類否指標値Rと選択部16による選択条件との関係を示す概念図である。縦軸は、ひとつの主素片Smについて副素片Ss毎に算定された類否指標値Rを意味し、横軸は、複数の副素片Ssを主素片Smとの類似順(すなわち類否指標値Rの降順(大→小))に配列したときの順位を意味する。図4に示すように、選択部16は、主素片Smとの類似順において基準順位CAから乱数rに応じた順位だけ下位にある副素片Ssを先頭として総選択数CCに相当する個数の副素片Ssを選択する。例えば、図4においては、基準順位CAに対応する第2位(CA=2)から4個(r=4)だけ下位にある第6位の副素片Ssを先頭として、総選択数CCに相当する4個(CC=4)の副素片Ssを選択した場合が例示されている。
【0029】
以上のように、利用者の指定する基準順位CAが増加するほど主素片Smとの類似度が低い副素片Ssが選択される。また、乱数範囲CBが拡大するほど選択部16の選択し得る副素片Ssの範囲が拡大し、総選択数CCが増加するほど選択部16の選択する副素片Ssの個数が増加する。ただし、選択部16は、ひとつの楽曲から選択する副素片Ssの個数の最大値を最大選択数CDに制限する。したがって、最大選択数CDが増加するほど、ひとつの楽曲から選択される副素片Ssの個数が増加する(すなわち、最大選択数CDが減少するほど多数の対象楽曲から分散的に副素片Ssが選択される)。
【0030】
図5は、制御装置10の具体的な動作を説明するためのフローチャートである。図5の処理は、主楽曲の再生の開始を指示する操作が入力装置40に付与されるたびに実行される。一方、係数設定部13は、領域G1の各操作子71が操作されるたびに図5の処理に並行して各対象楽曲の係数Kを更新する。同様に、条件設定部17は、領域G2の各操作子73が操作されるたびに図5の処理に並行して選択条件(CA〜CD)を更新する。
【0031】
図5の処理を開始すると、加工部18は、主楽曲に含まれるひとつの主素片Smを選択する(ステップS1)。図5の処理を開始した直後には主楽曲のループの先頭に位置する主素片Smが選択される。類否指標算定部11は、ステップS1で選択した主素片Sm(以下では特に「選択主素片Sm」という)と複数の副素片Ssの各々との類否指標値Rを係数Kに応じて算定する(ステップS2)。副素片Ssには、主楽曲以外の対象楽曲の各素片Sのほかに、主楽曲のうち選択主素片Sm以外の各素片Sも含まれる。
【0032】
次いで、選択部16は、図4を参照して前述したように、各副素片Ssの類否指標値Rを降順に配列したときに基準順位CAから乱数rだけ下位にある副素片Ssを先頭として総選択数CCに相当する個数の副素片Ssを、ひとつの対象楽曲から選択する副素片Ssが最大選択数CDを超えない範囲で選択する(ステップS3)
【0033】
次いで、加工部18は、選択部16がステップS3で選択した複数の副素片Ssの類否指標値Rのなかの最小値Rminが閾値THを上回るか否かを判定する(ステップS4)。ステップS4の結果が否定である場合(すなわち、選択主素片Smに充分には類似しない副素片Ssが選択部16による選択の対象に含まれる場合)、加工部18は、選択主素片Smの楽音データAを記憶装置20から取得して放音装置30に出力する(ステップS5)。したがって、今回の選択主素片Smについては主楽曲の楽音が放音装置30から再生される。
【0034】
一方、ステップS4の結果が肯定である場合(すなわち、選択部16の選択した総ての副素片Ssが充分に選択主素片Smに類似する場合)、加工部18は、選択主素片Smの楽音データAに代えて、選択部16が選択した複数の副素片Ssの各々の楽音データAを記憶装置20から取得する(ステップS6)。さらに、加工部18は、ステップS6で取得した楽音データAを、選択主素片Smと略同等の時間長となるように加工する(ステップS7)。ステップS7においては、例えば、楽音の音高を変化させずにテンポを調整する公知の技術を採用することで、副素片Ssの元来の音高を維持しながら時間長を選択主素片Smに合致させることが可能である。加工部18は、ステップS7で加工した各副素片Ssの楽音データAを加算したうえで放音装置30に出力する(ステップS8)。したがって、今回の選択主素片Smについては、主楽曲に代えて、当該選択主素片Smに類似する他楽曲の楽音が放音装置30から再生される。
【0035】
ステップS5またはステップS8を実行すると、加工部18は、楽曲の再生の終了を指示する操作が入力装置40に付与されたか否かを判定する(ステップS9)。ステップS9の結果が肯定である場合、加工部18は図5の処理を終了する。一方、再生の終了が指示されていない場合(ステップS9:NO)、主楽曲のうち現段階の選択主素片Smの直後の主素片Smが新たな選択主素片Smとして選択されたうえで(ステップS1)、ステップS2以後の処理が実行される。また、ステップS1の直前における選択主素片Smがループの最後の主素片Smである場合、制御装置10は、ループの先頭の素片SmをステップS1にて新たな選択主素片Smとして選択する。すなわち、部分的に他の素片Sに置換された主楽曲のループが反復的に再生される。
【0036】
以上に説明したように、本形態においては、主楽曲の各主素片Smが、類否指標値Rに応じて選択された副素片Ss(典型的には音楽的な特徴が主素片Smに類似する副素片Ss)に置換される。したがって、利用者が各対象楽曲の類似性や調和性について熟知していない場合であっても、主楽曲の曲調を大幅に損なうことなく聴感上において自然な楽曲を生成することが可能である。また、各楽曲が拍単位で素片Sに区分されるとともに、選択部16の選択した副素片Ssが主素片Smの時間長に調整(ステップS7)されたうえで主素片Smの加工に使用されるから、主楽曲のリズム感が損なわれることもない。
【0037】
また、選択部16による選択の指標となる類否指標値Rは係数Kに応じて制御されるから、係数Kが大きい数値に設定された対象楽曲の副素片Ssほど、選択部16によって選択される可能性(頻度)が高くなる。すなわち、入力装置40の操作によって特定の対象楽曲の係数Kを増減させることで、主素片Smが当該対象楽曲の副素片Ssに置換される頻度が増減する。したがって、係数Kが固定された構成(あるいは類否特定部12の算定した基礎指標値R0がそのまま選択部16に出力される構成)と比較して、利用者の好みに応じた多様な楽曲を編成することが可能である。しかも、本形態においてはスライダを模した操作子71の移動によって各対象楽曲の係数Kが調整されるから、優先的に出力される対象楽曲を利用者が直感的に把握できるという利点もある。
【0038】
さらに、本形態においては選択部16による選択条件が入力装置40に対する入力に応じて可変に制御される。したがって、選択条件が固定された構成と比較して多様な楽曲を生成することができる。例えば、本形態においては基準順位CAや総選択数CCが可変に制御されるから、類否指標値Rが最大であるひとつの副素片Ssのみが固定的に選択される構成と比較して多様な楽曲が生成される。また、乱数範囲CBで規定される乱数rが副素片Ssの選択の基準として採用されるから、主楽曲が同じ場合でも選択部16の選択する副素片Ssは随時に変化する。すなわち、再生のたびに楽曲の楽音を変化させることが可能である。また、最大選択数CDの制約がない構成においては、特定の対象楽曲の副素片Ssのみが集中的に選択されることで再生曲が単調となる可能性がある。本形態においてはひとつの楽曲からの最大選択数CDが規定されるから、例えば最大選択数CDを小さい数値に設定することで、多数の対象楽曲の副素片Ssを組合わせた多様な楽曲を生成することが可能である。もちろん最大選択数CDを大きい数値に設定すれば、主楽曲に類似する特定の対象楽曲から集中的に副素片Ssを選択することも可能である。
【0039】
<B:第2実施形態>
次に、本発明の第2実施形態を説明する。なお、以下の各形態において作用や機能が第1実施形態と同等である要素については、以上と同じ符号を付して各々の詳細な説明を適宜に省略する。
【0040】
図6は、操作画面52を例示する模式図である。同図に示すように、本形態の操作画面52は、図3の領域G0から領域G2に領域G3を追加した構成である。領域G3は、複数の操作子75(75A,75B)の画像を含む。利用者は、入力装置40を操作することで各操作子75を任意に回転させることができる。
【0041】
図7は、楽曲加工装置100の構成を示すブロック図である。本形態の楽曲加工装置100は、混合部62と音長調整部64とを第1実施形態の加工部18の後段に追加した構成である。混合部62は、加工部18による加工後の楽音データAのデータ列a1と記憶装置20から順次に出力される主楽曲の各楽音データAのデータ列a2とを混合することで楽音データAのデータ列aを生成する。さらに詳述すると、混合部62は、図8に示すように、データ列a1の各楽音データAに係数g(0≦g≦1)を乗算する乗算器621と、データ列a2の各楽音データAに係数(1−g)を乗算する乗算器622と、両者の出力を加算する加算器624とで構成される。さらに、混合部62は、利用者が操作した操作子75Aの角度に応じて係数g(データ列a1とデータ列a2との混合比)を可変に制御する。
【0042】
図9は、混合部62による混合後のデータ列aの各楽音データAが示す楽音の区間(素片S)を時間軸上に配列した概念図である。音長調整部64は、混合部62による混合後の各楽音データAが示す楽音のうち途中の時点から終点までの区間P(時間長pT)が無音となるようにデータ列aの各楽音データAを加工する。音長調整部64は、利用者が操作した操作子75Bの角度に応じて時間長pT(区間Pの始点)を可変に制御する。時間長pTが増加するほど楽音が実際に放音される時間長は短縮されるから、スタッカートのような効果が付与された楽音が放音装置30から放音される。
【0043】
以上に説明したように、データ列a1とデータ列a2との混合比(係数g)や楽音のうち無音とされる時間長pTが可変に制御されるから、第1実施形態と比較して多様な態様で楽曲を再生することが可能である。例えば、操作子75Aを操作して係数gを増加させた場合には加工部18による加工後の楽音が優勢的に再生され、係数gを減少させた場合には主楽曲の楽音が優勢的に再生される。また、操作子75Bを操作して時間長pTを増加させるほどリズム感(スタッカート感)に富んだ楽音が再生される。
【0044】
なお、図7においては混合部62の後段に音長調整部64を配置したが、混合部62の前段に音長調整部64を配置してもよい。例えば、音長調整部64は、加工部18による加工後のデータ列a1と記憶装置20から出力されるデータ列a2との少なくとも一方について、楽音データAが示す素片S内の時間長pTを操作子75Bの角度に応じて調整したうえで混合部62に出力する。すなわち、混合部62や音長調整部64の各々は、加工部18による加工後の楽音データAを処理する構成であればよい。また、混合部62および音長調整部64の一方を省略した構成も採用される。
【0045】
<C:第3実施形態>
図10は、操作画面52を例示する模式図である。同図に示すように、本形態の操作画面52は、図3の領域G0から領域G2に領域G4および領域G5を追加した構成である。領域G4は、各対象楽曲に対応したM個の操作子77の画像を含む。同様に、領域G5は、各対象楽曲に対応したM個の操作子78の画像を含む。利用者は、入力装置40を操作することで各操作子77および各操作子78を任意に回転させることができる。
【0046】
図11は、楽曲加工装置100の構成を示すブロック図である。本形態の楽曲加工装置100は、ピッチ制御部66と効果付与部68とを第1実施形態の制御装置10に追加した構成である。ピッチ制御部66は、選択部16がひとつの対象楽曲から選択した副素片Ssの楽音データAのピッチ(音高)を、領域G4のうち当該対象楽曲に対応する操作子77の角度に応じて可変に制御する。すなわち、各副素片Ssの楽音のピッチが対象楽曲毎に個別に制御される。ピッチの制御には公知の技術が任意に採用される。例えば、楽音データAのリサンプリングによってピッチおよび音長を変更する技術や、楽音データAの伸長によってピッチのみを変更する技術が好適である。
【0047】
一方、効果付与部68は、選択部16が選択した各副素片Ssの楽音データAに音響効果を付与する。ひとつの対象楽曲から選択された副素片Ssの楽音データAに付与される音響効果は、領域G4のうち当該対象楽曲に対応する操作子78の角度に応じて可変に制御される。本形態の効果付与部68は、楽音データAに対してレゾナンス効果を付与するローパスフィルタ(レゾナンスローパスフィルタ)であり、操作子78の角度に応じてカットオフ周波数を変化させることで楽音データAのレゾナンス効果を制御する。
【0048】
以上のように本形態によれば、楽音データAのピッチや音響効果が入力装置40に対する入力に応じて対象楽曲毎に個別に制御されるから、利用者の意図に即した楽曲を柔軟に生成することが可能である。例えば、複数の対象楽曲の楽音データAのピッチや音響的な特性が近似するように各操作子77や各操作子78を操作することで曲調に統一感のある楽曲を編成することが可能である。なお、効果付与部68が付与する音響効果の種類や制御の対象となる特性は適宜に変更される。例えば、操作子78の角度に応じて残響時間が設定された残響効果を効果付与部68が楽音データAに付与する構成も採用される。
【0049】
<D:変形例>
以上の各形態には以下に例示するような様々な変形を加えることができる。なお、以下の例示から2以上の態様を任意に選択して組合わせてもよい。
【0050】
(1)変形例1
以上の各形態においては主楽曲のループの全体を処理の対象としたが、処理の対象となる区間(例えば小節数や拍数)を入力装置40に対する入力に応じて可変に制御する構成も採用される。図5の処理において、主楽曲のうち利用者が指示した区間の最後の主素片Smの処理が完了すると、制御装置10は、直後のステップS1において、当該区間の先頭の主素片Smを新たな選択主素片Smとして選択する。また、入力装置40に対する操作を契機として楽曲の再生を停止または再開する構成や、入力装置40に対する操作を契機として再生点を楽曲の先頭に変更する(最初から再生を開始する)構成も好適である。
【0051】
(2)変形例2
以上の各形態においてはM個の対象楽曲を利用者が個別に指定する構成を例示したが、複数の楽曲の各々について属性情報(例えばジャンルや拍子)を記憶装置20に格納しておき、利用者の指定する属性情報に対応した複数の楽曲を対象楽曲として自動的に選択する構成も採用される。また、楽曲の再生時における各種の設定の内容(以下「再生情報」という)を、入力装置40に対する操作を契機として制御装置10が記憶装置20や他の記憶装置に格納する構成も好適である。再生情報には、例えば、主楽曲やM個の対象楽曲を指定する情報のほか、操作画面52で設定された変数(選択条件(CA〜CD),各対象楽曲の係数K,係数g,時間長pT,各対象楽曲のピッチや音響効果)が含まれる。制御装置10は、入力装置40に対する操作を契機として、以上の各変数を、再生情報が指定する内容に設定する。以上の構成によれば、過去に生成された楽曲の曲調を再現することが可能である。
【0052】
(3)変形例3
以上の各形態においては、選択条件を規定する4種類の変数(CA〜CD)を例示したが、ひとつの変数のみを選択条件として採用してもよい。基準順位CAのみを選択条件として採用した構成においては、主素片Smとの類似順で基準順位CAにある副素片Ssが選択される。また、乱数範囲CBのみを選択条件として採用した構成においては、主素片Smとの類似順で最上位にある副素片Ssから変数rに応じた順位だけ下位にある副素片Ssが選択される。何れの構成においても、選択部16が選択する副素片Ssの個数はひとつでも複数でもよい。また、総選択数CCのみを選択条件として採用した構成においては、主素片Smとの類似順で最上位にある副素片Ssから計数して総選択数CCに応じた個数の副素片Ssが選択される。さらに、例えば図5のステップS4で使用する閾値THを選択条件として可変に制御する構成も好適である。なお、第2実施形態や第3実施形態においては、選択条件を固定した構成(すなわち条件設定部17を省略した構成)も採用される。例えば、選択部16は、類否指標値Rが最大である副素片Ssを一律に選択する。
【0053】
(4)変形例4
複数の副素片Ssのうち選択部16が直前の主素片Smについて選択した副素片Ssに楽曲内で後続する副素片Ssが選択される可能性を高める構成(すなわち、同じ対象楽曲内の副素片Ssが連続して選択される可能性を高める構成)も好適に採用される。図12は、操作画面52を例示する模式図である。同図に示すように、本形態の操作画面52は、利用者が入力装置40を適宜に操作することで回転する操作子73E(Sequency)を図3の領域G2内に追加した構成である。類否指標算定部11の調整部14は、操作子73Eの角度に応じて連続度SQを可変に制御する。
【0054】
類否特定部12がひとつの主素片Smについて各副素片Ssとの基礎指標値R0を算定すると、調整部14は、第1実施形態と同様に、各基礎指標値R0を係数Kに応じて調整することで類否指標値Rを算定する。ただし、直前の主素片Smについて選択部16が選択した副素片Ssに対象楽曲内で後続する副素片Ss(以下では特に「後続副素片」という)の基礎指標値R0について、調整部14は、係数Kに応じた調整に加え、連続度SQに応じて類似側に調整する処理を実行することで類否指標値Rを算定する。例えば、調整部14は、係数Kに応じた調整後の後続副素片Ssの基礎指標値R0と連続度SQに応じた数値との加算値を類否指標値Rとして算定する。したがって、図5のステップS3においては、後続副素片Ssの選択される可能性が上昇する。すなわち、ひとつの対象楽曲の複数の副素片Ssが配列順に連続して選択される可能性が高まる。
【0055】
連続度SQが最小値(例えばゼロ)に設定されている場合、調整部14は、総ての基礎指標値R0を係数Kのみに基づいて調整する。したがって、図5のステップS3における選択の対象は第1実施形態と同様となる。一方、連続度SQが最大値に設定されている場合、調整部14は、後続副素片SsがステップS3にて必ず選択されるように当該後続副素片Ssの類否指標値Rを算定する。したがって、総選択数CCが1であれば、同じ対象楽曲の副素片Ssが対象楽曲内の配列順で順次に再生される。
【0056】
(5)変形例5
以上の各形態においては、主素片Smとの類似順で基準順位CAから乱数rだけ下位の副素片Ssを先頭として総選択数CCに相当する個数の副素片Ssを選択したが、乱数rに応じた副素片Ssの選択の方法は適宜に変更される。例えば、乱数rを複数回にわたって発生し、基準順位CAから各乱数rだけ下位にある副素片Ssを重複しないように総選択数CCだけ選択するといった構成も好適である。
【0057】
(6)変形例6
以上の各形態においては、各副素片Ssの類否指標値Rの最小値Rminが閾値THを下回る場合には選択主素片Smの楽音データAを放音装置30に出力したが(図5のステップS4およびステップS5)、各副素片Ssの類否指標値Rと閾値THとを比較し、類否指標値Rが閾値THを上回る副素片Ssのみを主楽曲の加工に使用するといった構成も採用される。
【0058】
(7)変形例7
以上の各形態においては、主楽曲のうち主素片Sm以外の素片Sを副素片Ssとして選択部16による選択の候補としたが、M個の対象楽曲のうち主楽曲を除外した(M−1)個の対象楽曲の各素片Sのみを副素片Ssとする構成も好適である。同じ楽曲中の各素片Sは音響的な特徴が類似する場合が多いから、第1実施形態の構成においては、主素片Smに類似する副素片Ssとして主楽曲中の素片Sが選択される可能性が高い。一方、選択部16による選択の対象から主楽曲の素片Sを除外する構成によれば、主楽曲以外の対象楽曲の素片Sを利用して多様な楽曲を生成することが可能となる。
【0059】
(8)変形例8
以上の各形態においては主素片Smを副素片Ssに置換する構成を例示したが、副素片Ssに基づいて主素片Smを加工する方法は楽音データAの置換に限定されない。例えば、主素片Smの楽音データAと所定個の副素片Ssの楽音データAとを所定の比率で混合して出力してもよい。もっとも、以上の各形態のように主素片Smを副素片Ssに単純に置換する構成によれば、制御装置10による処理の負荷が軽減されるという利点がある。
【0060】
(9)変形例9
主素片Smの特徴量Fと副素片Ssの特徴量Fとから類否指標値Rを算定する方法は任意である。例えば、以上においては主素片Smと副素片Ssとの類似度が高いほど増加する類否指標値Rを例示したが、類否指標値Rは主素片Smと副素片Ssとの類似度が高いほど減少する数値(例えば特徴量F間の距離)であってもよい。
【0061】
(10)変形例10
以上の各形態においては、利用者が楽曲加工装置100を操作するための操作画面52が表示装置50に画像として表示される構成を例示したが、図6や図10に例示した各種の操作子が実際に配列された入力機器を操作に利用してもよい。
【図面の簡単な説明】
【0062】
【図1】本発明の第1実施形態に係る楽曲加工装置の構成を示すブロック図である。
【図2】楽曲の素片について説明するための概念図である。
【図3】操作画面の内容を示す模式図である。
【図4】選択条件について説明するための概念図である。
【図5】制御装置による処理の内容を示すフローチャートである。
【図6】本発明の第2実施形態に係る操作画面の内容を示す模式図である。
【図7】第2実施形態に係る楽曲加工装置の構成を示すブロック図である。
【図8】混合部の具体的な構成を示すブロック図である。
【図9】音長調整部による処理を説明するための概念図である。
【図10】本発明の第3実施形態に係る操作画面の内容を示す模式図である。
【図11】第3実施形態に係る楽曲加工装置の構成を示すブロック図である。
【図12】変形例に係る操作画面の内容を示す模式図である。
【符号の説明】
【0063】
100……楽曲加工装置、10……制御装置、11……類否指標算定部、12……類否特定部、13……係数設定部、14……調整部、16……選択部、17……条件設定部、18……加工部、20……記憶装置、30……放音装置、40……入力装置、50……表示装置、52……操作画面、62……混合部、64……音長調整部、66……ピッチ制御部、68……効果付与部、S……素片、Sm……主素片、Ss……副素片、A……楽音データ、F……特徴量、R0……基礎指標値、R……類否指標値。
【技術分野】
【0001】
本発明は、楽曲を加工する技術に関する。
【背景技術】
【0002】
例えばディスクジョッキ(DJ)は、複数の楽曲を途切れなく連結しながら次々に再生する。特許文献1には、このような再生を実現する技術が開示されている。同文献の技術においては、相前後する各楽曲の拍位置が合致するように各々の再生の時期を制御することで、複数の楽曲を円滑に連結することが可能となる。
【特許文献1】特開2003−108132号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
ところで、複数の楽曲から自然で洗練された雰囲気の楽曲を編成するためには、楽曲を再生する時期の調整に加えて適切な楽曲の選択が重要な要件となる。すなわち、特許文献1の技術のように単純に各楽曲の拍位置を合致させたとしても、例えば各楽曲の音楽的な特徴が大幅に相違するような場合には聴感上において自然な楽曲を編成することができない。以上の事情を背景として、本発明は、複数の楽曲から違和感のない楽曲を生成するという課題の解決をひとつの目的としている。
【課題を解決するための手段】
【0004】
以上の課題を解決するために、本発明に係る楽曲加工装置は、楽曲を区分した各素片の楽音データと各素片の音楽的な特徴量とを複数の楽曲の各々について記憶する記憶手段と、複数の楽曲から選択された主楽曲の複数の素片の各々である主素片について、複数の楽曲における当該主素片以外の各素片である副素片との特徴量の類否を示す類否指標値を算定する類否指標算定手段と、入力装置に対する入力に応じて選択条件を設定する条件設定手段と、主楽曲の各主素片について、当該主素片との類否指標値が選択条件を満たす副素片を選択する選択手段と、主楽曲の主素片の楽音データを、選択手段が当該主素片について選択した副素片の楽音データに基づいて加工する加工手段とを具備する。以上の構成においては、主素片との類似指標値に応じて選択された副素片が当該主素片の加工に使用されるから、利用者が各楽曲の類似性や調和性について認識していない場合であっても、主楽曲の曲調を大幅に損なうことなく聴感上において自然な楽曲を生成することが可能となる。
【0005】
本発明の好適な態様において、素片は、楽曲の拍に同期した時点で楽曲を区分した区間である。例えば、ひとつまたは複数の拍を単位として楽曲を区分した区間や相前後する各拍の間隔を複数に区分した区間(例えば1/2拍や1/4拍に相当する時間長の区間)が素片とされる。本態様によれば、拍に同期した時点で楽曲を区分した区間が素片とされるから、主楽曲のリズム感を維持しながら自然な楽曲を生成することができる。
【0006】
本発明において条件設定手段が設定する選択条件は任意であるが、例えば以下の各態様が好適に採用される。第1の態様において、条件設定手段は、基準順位を選択条件として設定し、選択手段は、主素片との類似順で当該基準順位に応じた順位にある副素片を選択する。第2の態様において、条件設定手段は、乱数の範囲を選択条件として設定し、選択手段は、範囲内の乱数を発生し、主素片との類似順で当該乱数に応じた順位にある副素片を選択する。第3の態様において、条件設定手段は、総選択数を選択条件として設定し、選択手段は、総選択数に相当する個数の副素片を選択する。第4の態様において、条件設定手段は、最大選択数を選択条件として設定し、選択手段は、ひとつの楽曲から選択する副素片の個数の最大値を最大選択数に制限しながら各主素片について複数の副素片を選択する。
【0007】
本発明の好適な態様に係る楽曲加工装置は、加工手段による加工後の楽音データと主楽曲の楽音データとを、入力装置に対する入力に応じた割合で順次に混合して出力する混合手段を具備する。本態様によれば、加工手段による加工後の楽音データと主楽曲の元来の楽音データとの何れを優先させるかを入力装置に対する入力に応じて適宜に変更することが可能である。また、別の態様に係る楽曲加工装置は、加工手段による加工後の各楽音データを、当該楽音データが示す楽音のうち入力装置に対する入力に応じた時点から終点までの区間が無音となるように加工する音長調整手段を具備する。本態様によれば、各楽音の音長(楽曲のリズム感)を入力装置に対する入力に応じて適宜に変更することが可能である。
【0008】
本発明の好適な態様に係る楽曲加工装置は、選択手段が選択した各副素片の楽音データが示す楽音のピッチを、入力装置に対する入力に応じて楽曲毎に制御するピッチ制御手段を具備する。本態様によれば、楽音のピッチを楽曲毎に調整することで、例えばピッチに関して統一感のある楽曲を編成することができる。また、選択手段が選択した各副素片の楽音データに音響効果を付与する手段であって、入力装置に対する入力に応じて音響効果を楽曲毎に制御する効果付与手段を具備する構成も好適である。本態様によれば、音響効果を楽曲毎に調整することで、例えば統一感のある楽曲を編成することが可能である。
【0009】
本発明の好適な態様において、前記類否指標算定手段は、前記各主素片について各副素片との特徴量の類否を示す基礎指標値を算定する類否特定手段と、前記類否特定手段が特定した各基礎指標値から類否指標値を決定する手段であって、一の主素片について副素片毎に算定された基礎指標値のうち、前記一の主素片の直前の主素片について前記選択手段が選択した副素片に後続する副素片の基礎指標値を(例えば入力装置に対する入力に応じて)類似側に調整する調整手段とを含む。本態様によれば、ひとつの楽曲から副素片が連続して選択される可能性が高まる。したがって、特定の楽曲の曲調を維持した楽曲を編成することが可能となる。
【0010】
さらに好適な態様において、類否指標算定手段は、複数の楽曲から選択された主楽曲の各主素片について各副素片との特徴量の類否の指標となる基礎指標値を算定する類否特定手段と、入力装置に対する入力に応じて楽曲毎に係数を設定する係数設定手段と、各楽曲の副素片について算定された基礎指標値を、係数設定手段が当該楽曲について設定した係数に応じて調整することで類否指標値を算定する調整手段とを含む。本態様によれば、係数設定手段が設定する係数に応じて類否指標値が楽曲毎に調整されるから、各楽曲の副素片が主楽曲の加工に使用される頻度は入力装置に対する入力に応じて増減する。したがって、利用者の意図に合致した多様な楽曲を編成することが可能となる。
【0011】
本発明は、楽曲を加工する方法としても特定される。本発明の楽曲加工方法は、楽曲を区分した各素片の楽音データと各素片の音楽的な特徴量とを複数の楽曲の各々について記憶する記憶手段を利用して、複数の楽曲から選択された主楽曲の各主素片について、複数の楽曲における当該主素片以外の各副素片との特徴量の類否を示す類否指標値を算定する類否指標算定過程と、入力装置に対する入力に応じて選択条件を設定する条件設定過程と、主楽曲の各主素片について、当該主素片との類否指標値が選択条件を満たす副素片を選択する選択過程と、主楽曲の主素片の楽音データを、選択過程にて当該主素片について選択した副素片の楽音データに基づいて加工する加工過程とを含む。以上の方法によれば、本発明に係る楽曲加工装置と同様の作用および効果が奏される。
【0012】
本発明に係る楽曲加工装置は、各処理に専用されるDSP(Digital Signal Processor)などのハードウェア(電子回路)によって実現されるほか、CPU(Central Processing Unit)などの汎用の演算処理装置とプログラムとの協働によっても実現される。本発明に係るプログラムは、楽曲を区分した各素片の楽音データと各素片の音楽的な特徴量とを複数の楽曲の各々について記憶する記憶手段を具備するコンピュータに、複数の楽曲から選択された主楽曲の各主素片について、複数の楽曲における当該主素片以外の各副素片との特徴量の類否を示す類否指標値を算定する類否指標算定処理と、入力装置に対する入力に応じて選択条件を設定する条件設定処理と、主楽曲の各主素片について、当該主素片との類否指標値が選択条件を満たす副素片を選択する選択処理と、主楽曲の主素片の楽音データを、選択処理で当該主素片について選択した副素片の楽音データに基づいて加工する加工処理とを実行させる。以上のプログラムによっても、本発明に係る楽曲加工装置と同様の作用および効果が奏される。なお、本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で利用者に提供されてコンピュータにインストールされるほか、通信網を介した配信の形態で提供されてコンピュータにインストールされる。
【発明を実施するための最良の形態】
【0013】
<A:第1実施形態>
図1は、本発明のひとつの形態に係る楽曲加工装置の構成を示すブロック図である。本形態の楽曲加工装置100は、複数の楽曲を利用してひとつの楽曲(以下「主楽曲」という)を加工する装置である。図1に示すように、楽曲加工装置100は、制御装置10と記憶装置20と放音装置30と入力装置40と表示装置50とを具備するコンピュータシステム(例えばパーソナルコンピュータ)によって実現される。
【0014】
制御装置10は、プログラムの実行によって楽曲加工装置100の各部を制御する演算処理装置(CPU)である。記憶装置20は、制御装置10が実行するプログラムや制御装置10が処理する各種のデータを記憶する。例えば半導体記憶装置や磁気記憶装置が記憶装置20として好適に採用される。図1に示すように、記憶装置20は、複数の楽曲の各々について楽曲データを記憶する。
【0015】
図2は、楽曲の構成を示す概念図である。ひとつの楽曲は多数の小節に区分される。図2に示すように、楽曲には、複数の小節で構成される区間(以下「ループ」という)が画定される。ループは、例えば楽曲の特徴的な部分(例えばいわゆるサビの部分)であり、入力装置40に対する操作によって利用者が楽曲中に始点および終点を指定することで画定される。ただし、楽曲のうち所定の条件を満たす区間を制御装置10がループとして自動的に特定する構成も採用される。なお、楽曲の全部をひとつのループとしてもよい。
【0016】
図2に示すように、各小節はひとつまたは複数の拍(ビート)を単位として複数の区間(以下「素片」という)Sに区分される。本形態における素片Sはひとつの拍に相当する区間である。したがって、例えば2拍子の楽曲であればひとつの小節を2等分した各区間が素片Sに相当し、3拍子の楽曲であればひとつの小節を3等分した各区間が素片Sに相当する。なお、素片Sは、ひとつの拍を複数に区分した区間(すなわち1/2拍や1/4拍に相当する区間)であってもよい。
【0017】
図1に示すように、ひとつの楽曲の楽曲データは、当該楽曲のループに属する複数の素片Sの各々について、当該素片Sに属する楽音の波形を表わす楽音データAと、当該素片Sの音楽的な性質を特徴付ける数値(以下「特徴量」という)Fとを含む。特徴量Fは、楽音のエネルギ(強度),振幅スペクトルのセントロイド,スペクトルの強度が最大となる周波数,MFCC(Mel-Frequency Cepstrum Coefficient)などN個(Nは自然数)の数値で定義されるN次元ベクトルとして表現される。
【0018】
入力装置40は、利用者が楽曲加工装置100に対する指示を入力する機器(例えばマウスやキーボード)である。例えば、利用者は、入力装置40を適宜に操作することで、記憶装置20に楽曲データが記憶された複数の楽曲のなかから、楽曲加工装置100による処理の対象となるM個の楽曲(以下「対象楽曲」という)を指定する(Mは2以上の整数)。
【0019】
制御装置10は、M個(本形態では8個)の対象楽曲から選択された主楽曲の複数の素片Sの各々(以下「主素片Sm」という)の楽音データAを、M個の対象楽曲における当該主素片Sm以外の総ての素片(以下「副素片Ss」という)のうち特徴量Fが主素片Smに類似するひとつまたは複数の副素片Ssの楽音データAに基づいて加工したうえで順次に出力する。放音装置30は、制御装置10から出力される楽音データAのデータ列a1に基づいて放音する。例えば、放音装置30は、各楽音データAからアナログの信号を生成するD/A変換器と、D/A変換器が出力する信号を増幅する増幅器と、増幅器が出力する信号に応じた音波を出力する放音機器(スピーカやヘッドホン)とを含む。
【0020】
表示装置50は、制御装置10による制御のもとに各種の画像を表示する。楽曲加工装置100の作動中には例えば図3の操作画面52が継続的に表示装置50に表示される。利用者は、入力装置40を操作して操作画面52の各部分を指定することで、各種の指示を楽曲加工装置100に付与することができる。図3に示すように、操作画面52は、利用者が選択したM個の対象楽曲の名称(Name)と、各対象楽曲に対応するM個の操作子(ボタン)70の画像を配列した領域G0とを含む。利用者は、入力装置40を操作してM個の操作子70の何れかを押下することで、当該操作子70に対応した対象楽曲を主楽曲(Master)に指定することができる。
【0021】
次に、制御装置10の具体的な機能について説明する。図1に示すように、制御装置10は、記憶装置20に格納されたプログラムを実行することで複数の要素(類否指標算定部11,選択部16,条件設定部17,加工部18)として機能する。なお、図1の制御装置10の各要素は、楽音の処理に専用されるDSPなどの電子回路によっても実現される。また、制御装置10は、複数の集積回路に分散して実装されてもよい。
【0022】
類否指標算定部11は、主楽曲の複数の主素片Smの各々について、各副素片Ssとの特徴量Fの類否の程度を示す数値(以下「類否指標値」という)Rを副素片Ss毎に算定する手段である。本形態の類否指標算定部11は、類否特定部12と係数設定部13と調整部14とで構成される。
【0023】
類否特定部12は、類否指標値Rの基礎となる数値(以下「基礎指標値」という)R0を算定する。基礎指標値R0は、類否指標値Rと同様に、主素片Smと副素片Ssとの特徴量Fの類否の指標となる数値である。さらに詳述すると、類否特定部12は、各主素片Smの特徴量Fを順次に記憶装置20から取得し、ひとつの主素片Smの特徴量FとM個の対象楽曲における各副素片Ssの特徴量Fとに応じた基礎指標値R0を副素片Ss毎に算定する。主素片Smと副素片Ssとの基礎指標値R0は、例えば、特徴量FのN個の数値を座標値として主素片Smおよび副素片Ssの各々についてN次元空間に特定される各座標のユークリッド距離の逆数として算定される。したがって、主素片Smと副素片Ssとは、両者の基礎指標値R0が大きいほど音楽的な特徴が類似する。
【0024】
係数設定部13は、M個の対象楽曲の各々について係数Kを設定する。本形態の係数設定部13は、図3の操作画面52のうち領域G1に対する指示に応じて対象楽曲毎に個別に係数Kを制御する。領域G1は、M個の対象楽曲の各々に対応するM個の操作子(スライダ)71の画像を含む。利用者は、入力装置40を適宜に操作することで各操作子71を上下に移動させることができる。係数設定部13は、M個の対象楽曲の各々について、当該対象楽曲に対応する操作子71の位置に応じた係数Kを設定する。例えば、係数Kは、操作子71が下端にある場合にゼロに設定され、操作子71が上端に接近するほど増加する。
【0025】
調整部14は、類否特定部12が算定した基礎指標値R0を係数Kに応じて対象楽曲毎に調整することで類否指標値Rを算定する。さらに詳述すると、調整部14は、ひとつの対象楽曲の各副素片Ssについて算定された基礎指標値R0と、係数設定部13が当該対象楽曲について設定した係数Kとの乗算値を類否指標値Rとして算定する。
【0026】
選択部16は、主楽曲の複数の主素片Smの各々について、当該主素片Smとの類否指標値Rが類似を示す所定個(ひとつまたは複数)の副素片Ssを選択する。条件設定部17は、入力装置40に対する入力に応じて選択部16による選択条件を設定する。加工部18は、主楽曲の各主素片Smの楽音データAを、選択部16が当該主素片Smについて選択した所定個の副素片Ssの楽音データAに置換したうえで順次に出力する。
【0027】
図3の操作画面52を構成する領域G2は、利用者が選択条件を楽曲加工装置100に指示するための部分である。領域G2は、複数の操作子(ツマミ)73(73A,73B,73C,73D)の画像を含む。利用者は、入力装置40を適宜に操作することで各操作子73を個別に回転させることができる。条件設定部17は、第1に、操作子73A(Offset)の角度に応じて基準順位CAを設定し、第2に、操作子73B(Random)の角度に応じて乱数範囲CBを設定する。選択部16は、乱数範囲CB内の乱数rを発生する。条件設定部17は、第3に、操作子73C(Layers)の角度に応じて総選択数CCを設定し、第4に、操作子73D(Max/Source)の角度に応じて最大選択数CDを設定する。選択部16は、複数の副素片Ssのなかから主素片Smとの類否指標値Rが選択条件を満たす副素片Ssを選択する。
【0028】
図4は、副素片Ss毎に算定された類否指標値Rと選択部16による選択条件との関係を示す概念図である。縦軸は、ひとつの主素片Smについて副素片Ss毎に算定された類否指標値Rを意味し、横軸は、複数の副素片Ssを主素片Smとの類似順(すなわち類否指標値Rの降順(大→小))に配列したときの順位を意味する。図4に示すように、選択部16は、主素片Smとの類似順において基準順位CAから乱数rに応じた順位だけ下位にある副素片Ssを先頭として総選択数CCに相当する個数の副素片Ssを選択する。例えば、図4においては、基準順位CAに対応する第2位(CA=2)から4個(r=4)だけ下位にある第6位の副素片Ssを先頭として、総選択数CCに相当する4個(CC=4)の副素片Ssを選択した場合が例示されている。
【0029】
以上のように、利用者の指定する基準順位CAが増加するほど主素片Smとの類似度が低い副素片Ssが選択される。また、乱数範囲CBが拡大するほど選択部16の選択し得る副素片Ssの範囲が拡大し、総選択数CCが増加するほど選択部16の選択する副素片Ssの個数が増加する。ただし、選択部16は、ひとつの楽曲から選択する副素片Ssの個数の最大値を最大選択数CDに制限する。したがって、最大選択数CDが増加するほど、ひとつの楽曲から選択される副素片Ssの個数が増加する(すなわち、最大選択数CDが減少するほど多数の対象楽曲から分散的に副素片Ssが選択される)。
【0030】
図5は、制御装置10の具体的な動作を説明するためのフローチャートである。図5の処理は、主楽曲の再生の開始を指示する操作が入力装置40に付与されるたびに実行される。一方、係数設定部13は、領域G1の各操作子71が操作されるたびに図5の処理に並行して各対象楽曲の係数Kを更新する。同様に、条件設定部17は、領域G2の各操作子73が操作されるたびに図5の処理に並行して選択条件(CA〜CD)を更新する。
【0031】
図5の処理を開始すると、加工部18は、主楽曲に含まれるひとつの主素片Smを選択する(ステップS1)。図5の処理を開始した直後には主楽曲のループの先頭に位置する主素片Smが選択される。類否指標算定部11は、ステップS1で選択した主素片Sm(以下では特に「選択主素片Sm」という)と複数の副素片Ssの各々との類否指標値Rを係数Kに応じて算定する(ステップS2)。副素片Ssには、主楽曲以外の対象楽曲の各素片Sのほかに、主楽曲のうち選択主素片Sm以外の各素片Sも含まれる。
【0032】
次いで、選択部16は、図4を参照して前述したように、各副素片Ssの類否指標値Rを降順に配列したときに基準順位CAから乱数rだけ下位にある副素片Ssを先頭として総選択数CCに相当する個数の副素片Ssを、ひとつの対象楽曲から選択する副素片Ssが最大選択数CDを超えない範囲で選択する(ステップS3)
【0033】
次いで、加工部18は、選択部16がステップS3で選択した複数の副素片Ssの類否指標値Rのなかの最小値Rminが閾値THを上回るか否かを判定する(ステップS4)。ステップS4の結果が否定である場合(すなわち、選択主素片Smに充分には類似しない副素片Ssが選択部16による選択の対象に含まれる場合)、加工部18は、選択主素片Smの楽音データAを記憶装置20から取得して放音装置30に出力する(ステップS5)。したがって、今回の選択主素片Smについては主楽曲の楽音が放音装置30から再生される。
【0034】
一方、ステップS4の結果が肯定である場合(すなわち、選択部16の選択した総ての副素片Ssが充分に選択主素片Smに類似する場合)、加工部18は、選択主素片Smの楽音データAに代えて、選択部16が選択した複数の副素片Ssの各々の楽音データAを記憶装置20から取得する(ステップS6)。さらに、加工部18は、ステップS6で取得した楽音データAを、選択主素片Smと略同等の時間長となるように加工する(ステップS7)。ステップS7においては、例えば、楽音の音高を変化させずにテンポを調整する公知の技術を採用することで、副素片Ssの元来の音高を維持しながら時間長を選択主素片Smに合致させることが可能である。加工部18は、ステップS7で加工した各副素片Ssの楽音データAを加算したうえで放音装置30に出力する(ステップS8)。したがって、今回の選択主素片Smについては、主楽曲に代えて、当該選択主素片Smに類似する他楽曲の楽音が放音装置30から再生される。
【0035】
ステップS5またはステップS8を実行すると、加工部18は、楽曲の再生の終了を指示する操作が入力装置40に付与されたか否かを判定する(ステップS9)。ステップS9の結果が肯定である場合、加工部18は図5の処理を終了する。一方、再生の終了が指示されていない場合(ステップS9:NO)、主楽曲のうち現段階の選択主素片Smの直後の主素片Smが新たな選択主素片Smとして選択されたうえで(ステップS1)、ステップS2以後の処理が実行される。また、ステップS1の直前における選択主素片Smがループの最後の主素片Smである場合、制御装置10は、ループの先頭の素片SmをステップS1にて新たな選択主素片Smとして選択する。すなわち、部分的に他の素片Sに置換された主楽曲のループが反復的に再生される。
【0036】
以上に説明したように、本形態においては、主楽曲の各主素片Smが、類否指標値Rに応じて選択された副素片Ss(典型的には音楽的な特徴が主素片Smに類似する副素片Ss)に置換される。したがって、利用者が各対象楽曲の類似性や調和性について熟知していない場合であっても、主楽曲の曲調を大幅に損なうことなく聴感上において自然な楽曲を生成することが可能である。また、各楽曲が拍単位で素片Sに区分されるとともに、選択部16の選択した副素片Ssが主素片Smの時間長に調整(ステップS7)されたうえで主素片Smの加工に使用されるから、主楽曲のリズム感が損なわれることもない。
【0037】
また、選択部16による選択の指標となる類否指標値Rは係数Kに応じて制御されるから、係数Kが大きい数値に設定された対象楽曲の副素片Ssほど、選択部16によって選択される可能性(頻度)が高くなる。すなわち、入力装置40の操作によって特定の対象楽曲の係数Kを増減させることで、主素片Smが当該対象楽曲の副素片Ssに置換される頻度が増減する。したがって、係数Kが固定された構成(あるいは類否特定部12の算定した基礎指標値R0がそのまま選択部16に出力される構成)と比較して、利用者の好みに応じた多様な楽曲を編成することが可能である。しかも、本形態においてはスライダを模した操作子71の移動によって各対象楽曲の係数Kが調整されるから、優先的に出力される対象楽曲を利用者が直感的に把握できるという利点もある。
【0038】
さらに、本形態においては選択部16による選択条件が入力装置40に対する入力に応じて可変に制御される。したがって、選択条件が固定された構成と比較して多様な楽曲を生成することができる。例えば、本形態においては基準順位CAや総選択数CCが可変に制御されるから、類否指標値Rが最大であるひとつの副素片Ssのみが固定的に選択される構成と比較して多様な楽曲が生成される。また、乱数範囲CBで規定される乱数rが副素片Ssの選択の基準として採用されるから、主楽曲が同じ場合でも選択部16の選択する副素片Ssは随時に変化する。すなわち、再生のたびに楽曲の楽音を変化させることが可能である。また、最大選択数CDの制約がない構成においては、特定の対象楽曲の副素片Ssのみが集中的に選択されることで再生曲が単調となる可能性がある。本形態においてはひとつの楽曲からの最大選択数CDが規定されるから、例えば最大選択数CDを小さい数値に設定することで、多数の対象楽曲の副素片Ssを組合わせた多様な楽曲を生成することが可能である。もちろん最大選択数CDを大きい数値に設定すれば、主楽曲に類似する特定の対象楽曲から集中的に副素片Ssを選択することも可能である。
【0039】
<B:第2実施形態>
次に、本発明の第2実施形態を説明する。なお、以下の各形態において作用や機能が第1実施形態と同等である要素については、以上と同じ符号を付して各々の詳細な説明を適宜に省略する。
【0040】
図6は、操作画面52を例示する模式図である。同図に示すように、本形態の操作画面52は、図3の領域G0から領域G2に領域G3を追加した構成である。領域G3は、複数の操作子75(75A,75B)の画像を含む。利用者は、入力装置40を操作することで各操作子75を任意に回転させることができる。
【0041】
図7は、楽曲加工装置100の構成を示すブロック図である。本形態の楽曲加工装置100は、混合部62と音長調整部64とを第1実施形態の加工部18の後段に追加した構成である。混合部62は、加工部18による加工後の楽音データAのデータ列a1と記憶装置20から順次に出力される主楽曲の各楽音データAのデータ列a2とを混合することで楽音データAのデータ列aを生成する。さらに詳述すると、混合部62は、図8に示すように、データ列a1の各楽音データAに係数g(0≦g≦1)を乗算する乗算器621と、データ列a2の各楽音データAに係数(1−g)を乗算する乗算器622と、両者の出力を加算する加算器624とで構成される。さらに、混合部62は、利用者が操作した操作子75Aの角度に応じて係数g(データ列a1とデータ列a2との混合比)を可変に制御する。
【0042】
図9は、混合部62による混合後のデータ列aの各楽音データAが示す楽音の区間(素片S)を時間軸上に配列した概念図である。音長調整部64は、混合部62による混合後の各楽音データAが示す楽音のうち途中の時点から終点までの区間P(時間長pT)が無音となるようにデータ列aの各楽音データAを加工する。音長調整部64は、利用者が操作した操作子75Bの角度に応じて時間長pT(区間Pの始点)を可変に制御する。時間長pTが増加するほど楽音が実際に放音される時間長は短縮されるから、スタッカートのような効果が付与された楽音が放音装置30から放音される。
【0043】
以上に説明したように、データ列a1とデータ列a2との混合比(係数g)や楽音のうち無音とされる時間長pTが可変に制御されるから、第1実施形態と比較して多様な態様で楽曲を再生することが可能である。例えば、操作子75Aを操作して係数gを増加させた場合には加工部18による加工後の楽音が優勢的に再生され、係数gを減少させた場合には主楽曲の楽音が優勢的に再生される。また、操作子75Bを操作して時間長pTを増加させるほどリズム感(スタッカート感)に富んだ楽音が再生される。
【0044】
なお、図7においては混合部62の後段に音長調整部64を配置したが、混合部62の前段に音長調整部64を配置してもよい。例えば、音長調整部64は、加工部18による加工後のデータ列a1と記憶装置20から出力されるデータ列a2との少なくとも一方について、楽音データAが示す素片S内の時間長pTを操作子75Bの角度に応じて調整したうえで混合部62に出力する。すなわち、混合部62や音長調整部64の各々は、加工部18による加工後の楽音データAを処理する構成であればよい。また、混合部62および音長調整部64の一方を省略した構成も採用される。
【0045】
<C:第3実施形態>
図10は、操作画面52を例示する模式図である。同図に示すように、本形態の操作画面52は、図3の領域G0から領域G2に領域G4および領域G5を追加した構成である。領域G4は、各対象楽曲に対応したM個の操作子77の画像を含む。同様に、領域G5は、各対象楽曲に対応したM個の操作子78の画像を含む。利用者は、入力装置40を操作することで各操作子77および各操作子78を任意に回転させることができる。
【0046】
図11は、楽曲加工装置100の構成を示すブロック図である。本形態の楽曲加工装置100は、ピッチ制御部66と効果付与部68とを第1実施形態の制御装置10に追加した構成である。ピッチ制御部66は、選択部16がひとつの対象楽曲から選択した副素片Ssの楽音データAのピッチ(音高)を、領域G4のうち当該対象楽曲に対応する操作子77の角度に応じて可変に制御する。すなわち、各副素片Ssの楽音のピッチが対象楽曲毎に個別に制御される。ピッチの制御には公知の技術が任意に採用される。例えば、楽音データAのリサンプリングによってピッチおよび音長を変更する技術や、楽音データAの伸長によってピッチのみを変更する技術が好適である。
【0047】
一方、効果付与部68は、選択部16が選択した各副素片Ssの楽音データAに音響効果を付与する。ひとつの対象楽曲から選択された副素片Ssの楽音データAに付与される音響効果は、領域G4のうち当該対象楽曲に対応する操作子78の角度に応じて可変に制御される。本形態の効果付与部68は、楽音データAに対してレゾナンス効果を付与するローパスフィルタ(レゾナンスローパスフィルタ)であり、操作子78の角度に応じてカットオフ周波数を変化させることで楽音データAのレゾナンス効果を制御する。
【0048】
以上のように本形態によれば、楽音データAのピッチや音響効果が入力装置40に対する入力に応じて対象楽曲毎に個別に制御されるから、利用者の意図に即した楽曲を柔軟に生成することが可能である。例えば、複数の対象楽曲の楽音データAのピッチや音響的な特性が近似するように各操作子77や各操作子78を操作することで曲調に統一感のある楽曲を編成することが可能である。なお、効果付与部68が付与する音響効果の種類や制御の対象となる特性は適宜に変更される。例えば、操作子78の角度に応じて残響時間が設定された残響効果を効果付与部68が楽音データAに付与する構成も採用される。
【0049】
<D:変形例>
以上の各形態には以下に例示するような様々な変形を加えることができる。なお、以下の例示から2以上の態様を任意に選択して組合わせてもよい。
【0050】
(1)変形例1
以上の各形態においては主楽曲のループの全体を処理の対象としたが、処理の対象となる区間(例えば小節数や拍数)を入力装置40に対する入力に応じて可変に制御する構成も採用される。図5の処理において、主楽曲のうち利用者が指示した区間の最後の主素片Smの処理が完了すると、制御装置10は、直後のステップS1において、当該区間の先頭の主素片Smを新たな選択主素片Smとして選択する。また、入力装置40に対する操作を契機として楽曲の再生を停止または再開する構成や、入力装置40に対する操作を契機として再生点を楽曲の先頭に変更する(最初から再生を開始する)構成も好適である。
【0051】
(2)変形例2
以上の各形態においてはM個の対象楽曲を利用者が個別に指定する構成を例示したが、複数の楽曲の各々について属性情報(例えばジャンルや拍子)を記憶装置20に格納しておき、利用者の指定する属性情報に対応した複数の楽曲を対象楽曲として自動的に選択する構成も採用される。また、楽曲の再生時における各種の設定の内容(以下「再生情報」という)を、入力装置40に対する操作を契機として制御装置10が記憶装置20や他の記憶装置に格納する構成も好適である。再生情報には、例えば、主楽曲やM個の対象楽曲を指定する情報のほか、操作画面52で設定された変数(選択条件(CA〜CD),各対象楽曲の係数K,係数g,時間長pT,各対象楽曲のピッチや音響効果)が含まれる。制御装置10は、入力装置40に対する操作を契機として、以上の各変数を、再生情報が指定する内容に設定する。以上の構成によれば、過去に生成された楽曲の曲調を再現することが可能である。
【0052】
(3)変形例3
以上の各形態においては、選択条件を規定する4種類の変数(CA〜CD)を例示したが、ひとつの変数のみを選択条件として採用してもよい。基準順位CAのみを選択条件として採用した構成においては、主素片Smとの類似順で基準順位CAにある副素片Ssが選択される。また、乱数範囲CBのみを選択条件として採用した構成においては、主素片Smとの類似順で最上位にある副素片Ssから変数rに応じた順位だけ下位にある副素片Ssが選択される。何れの構成においても、選択部16が選択する副素片Ssの個数はひとつでも複数でもよい。また、総選択数CCのみを選択条件として採用した構成においては、主素片Smとの類似順で最上位にある副素片Ssから計数して総選択数CCに応じた個数の副素片Ssが選択される。さらに、例えば図5のステップS4で使用する閾値THを選択条件として可変に制御する構成も好適である。なお、第2実施形態や第3実施形態においては、選択条件を固定した構成(すなわち条件設定部17を省略した構成)も採用される。例えば、選択部16は、類否指標値Rが最大である副素片Ssを一律に選択する。
【0053】
(4)変形例4
複数の副素片Ssのうち選択部16が直前の主素片Smについて選択した副素片Ssに楽曲内で後続する副素片Ssが選択される可能性を高める構成(すなわち、同じ対象楽曲内の副素片Ssが連続して選択される可能性を高める構成)も好適に採用される。図12は、操作画面52を例示する模式図である。同図に示すように、本形態の操作画面52は、利用者が入力装置40を適宜に操作することで回転する操作子73E(Sequency)を図3の領域G2内に追加した構成である。類否指標算定部11の調整部14は、操作子73Eの角度に応じて連続度SQを可変に制御する。
【0054】
類否特定部12がひとつの主素片Smについて各副素片Ssとの基礎指標値R0を算定すると、調整部14は、第1実施形態と同様に、各基礎指標値R0を係数Kに応じて調整することで類否指標値Rを算定する。ただし、直前の主素片Smについて選択部16が選択した副素片Ssに対象楽曲内で後続する副素片Ss(以下では特に「後続副素片」という)の基礎指標値R0について、調整部14は、係数Kに応じた調整に加え、連続度SQに応じて類似側に調整する処理を実行することで類否指標値Rを算定する。例えば、調整部14は、係数Kに応じた調整後の後続副素片Ssの基礎指標値R0と連続度SQに応じた数値との加算値を類否指標値Rとして算定する。したがって、図5のステップS3においては、後続副素片Ssの選択される可能性が上昇する。すなわち、ひとつの対象楽曲の複数の副素片Ssが配列順に連続して選択される可能性が高まる。
【0055】
連続度SQが最小値(例えばゼロ)に設定されている場合、調整部14は、総ての基礎指標値R0を係数Kのみに基づいて調整する。したがって、図5のステップS3における選択の対象は第1実施形態と同様となる。一方、連続度SQが最大値に設定されている場合、調整部14は、後続副素片SsがステップS3にて必ず選択されるように当該後続副素片Ssの類否指標値Rを算定する。したがって、総選択数CCが1であれば、同じ対象楽曲の副素片Ssが対象楽曲内の配列順で順次に再生される。
【0056】
(5)変形例5
以上の各形態においては、主素片Smとの類似順で基準順位CAから乱数rだけ下位の副素片Ssを先頭として総選択数CCに相当する個数の副素片Ssを選択したが、乱数rに応じた副素片Ssの選択の方法は適宜に変更される。例えば、乱数rを複数回にわたって発生し、基準順位CAから各乱数rだけ下位にある副素片Ssを重複しないように総選択数CCだけ選択するといった構成も好適である。
【0057】
(6)変形例6
以上の各形態においては、各副素片Ssの類否指標値Rの最小値Rminが閾値THを下回る場合には選択主素片Smの楽音データAを放音装置30に出力したが(図5のステップS4およびステップS5)、各副素片Ssの類否指標値Rと閾値THとを比較し、類否指標値Rが閾値THを上回る副素片Ssのみを主楽曲の加工に使用するといった構成も採用される。
【0058】
(7)変形例7
以上の各形態においては、主楽曲のうち主素片Sm以外の素片Sを副素片Ssとして選択部16による選択の候補としたが、M個の対象楽曲のうち主楽曲を除外した(M−1)個の対象楽曲の各素片Sのみを副素片Ssとする構成も好適である。同じ楽曲中の各素片Sは音響的な特徴が類似する場合が多いから、第1実施形態の構成においては、主素片Smに類似する副素片Ssとして主楽曲中の素片Sが選択される可能性が高い。一方、選択部16による選択の対象から主楽曲の素片Sを除外する構成によれば、主楽曲以外の対象楽曲の素片Sを利用して多様な楽曲を生成することが可能となる。
【0059】
(8)変形例8
以上の各形態においては主素片Smを副素片Ssに置換する構成を例示したが、副素片Ssに基づいて主素片Smを加工する方法は楽音データAの置換に限定されない。例えば、主素片Smの楽音データAと所定個の副素片Ssの楽音データAとを所定の比率で混合して出力してもよい。もっとも、以上の各形態のように主素片Smを副素片Ssに単純に置換する構成によれば、制御装置10による処理の負荷が軽減されるという利点がある。
【0060】
(9)変形例9
主素片Smの特徴量Fと副素片Ssの特徴量Fとから類否指標値Rを算定する方法は任意である。例えば、以上においては主素片Smと副素片Ssとの類似度が高いほど増加する類否指標値Rを例示したが、類否指標値Rは主素片Smと副素片Ssとの類似度が高いほど減少する数値(例えば特徴量F間の距離)であってもよい。
【0061】
(10)変形例10
以上の各形態においては、利用者が楽曲加工装置100を操作するための操作画面52が表示装置50に画像として表示される構成を例示したが、図6や図10に例示した各種の操作子が実際に配列された入力機器を操作に利用してもよい。
【図面の簡単な説明】
【0062】
【図1】本発明の第1実施形態に係る楽曲加工装置の構成を示すブロック図である。
【図2】楽曲の素片について説明するための概念図である。
【図3】操作画面の内容を示す模式図である。
【図4】選択条件について説明するための概念図である。
【図5】制御装置による処理の内容を示すフローチャートである。
【図6】本発明の第2実施形態に係る操作画面の内容を示す模式図である。
【図7】第2実施形態に係る楽曲加工装置の構成を示すブロック図である。
【図8】混合部の具体的な構成を示すブロック図である。
【図9】音長調整部による処理を説明するための概念図である。
【図10】本発明の第3実施形態に係る操作画面の内容を示す模式図である。
【図11】第3実施形態に係る楽曲加工装置の構成を示すブロック図である。
【図12】変形例に係る操作画面の内容を示す模式図である。
【符号の説明】
【0063】
100……楽曲加工装置、10……制御装置、11……類否指標算定部、12……類否特定部、13……係数設定部、14……調整部、16……選択部、17……条件設定部、18……加工部、20……記憶装置、30……放音装置、40……入力装置、50……表示装置、52……操作画面、62……混合部、64……音長調整部、66……ピッチ制御部、68……効果付与部、S……素片、Sm……主素片、Ss……副素片、A……楽音データ、F……特徴量、R0……基礎指標値、R……類否指標値。
【特許請求の範囲】
【請求項1】
楽曲を区分した各素片の楽音データと前記各素片の音楽的な特徴量とを複数の楽曲の各々について記憶する記憶手段と、
前記複数の楽曲から選択された主楽曲の複数の素片の各々(以下「主素片」という)について、前記複数の楽曲における当該主素片以外の各素片(以下「副素片」という)との特徴量の類否を示す類否指標値を算定する類否指標算定手段と、
入力装置に対する入力に応じて選択条件を設定する条件設定手段と、
前記主楽曲の前記各主素片について、当該主素片との類否指標値が前記選択条件を満たす副素片を選択する選択手段と、
前記主楽曲の前記主素片の楽音データを、前記選択手段が当該主素片について選択した副素片の楽音データに基づいて加工する加工手段と
を具備する楽曲加工装置。
【請求項2】
前記条件設定手段は、基準順位を前記選択条件として設定し、
前記選択手段は、前記主素片との類似順で当該基準順位に応じた順位にある副素片を選択する
請求項1の楽曲加工装置。
【請求項3】
前記条件設定手段は、乱数の範囲を前記選択条件として設定し、
前記選択手段は、前記範囲内の乱数を発生し、前記主素片との類似順で当該乱数に応じた順位にある副素片を選択する
請求項1または請求項2の楽曲加工装置。
【請求項4】
前記条件設定手段は、総選択数を前記選択条件として設定し、
前記選択手段は、前記総選択数に相当する個数の副素片を選択する
請求項1から請求項3の何れかの楽曲加工装置。
【請求項5】
前記条件設定手段は、最大選択数を前記選択条件として設定し、
前記選択手段は、ひとつの楽曲から選択する副素片の個数の最大値を前記最大選択数に制限しながら前記各主素片について複数の副素片を選択する
請求項1から請求項4の何れかの楽曲加工装置。
【請求項6】
前記加工手段による加工後の楽音データと前記主楽曲の楽音データとを、入力装置に対する入力に応じた割合で順次に混合して出力する混合手段
を具備する請求項1から請求項5の何れかの楽曲加工装置。
【請求項7】
前記加工手段による加工後の各楽音データを、当該楽音データが示す楽音のうち入力装置に対する入力に応じた時点から終点までの区間が無音となるように加工する音長調整手段
を具備する請求項1から請求項6の何れかの楽曲加工装置。
【請求項8】
前記選択手段が選択した各副素片の楽音データが示す楽音のピッチを、入力装置に対する入力に応じて楽曲毎に制御するピッチ制御手段
を具備する請求項1から請求項7の何れかの楽曲加工装置。
【請求項9】
前記選択手段が選択した各副素片の楽音データに音響効果を付与する手段であって、入力装置に対する入力に応じて前記音響効果を楽曲毎に制御する効果付与手段
を具備する請求項1から請求項8の何れかの楽曲加工装置。
【請求項10】
前記類否指標算定手段は、
前記各主素片について各副素片との特徴量の類否を示す基礎指標値を算定する類否特定手段と、
前記類否特定手段が特定した各基礎指標値から類否指標値を決定する手段であって、一の主素片について副素片毎に算定された基礎指標値のうち、前記一の主素片の直前の主素片について前記選択手段が選択した副素片に後続する副素片の基礎指標値を類似側に調整する調整手段と
を含む請求項1から請求項9の何れかの楽曲加工装置。
【請求項11】
楽曲を区分した各素片の楽音データと前記各素片の音楽的な特徴量とを複数の楽曲の各々について記憶する記憶手段を具備するコンピュータに、
前記複数の楽曲から選択された主楽曲の複数の素片の各々(以下「主素片」という)について、前記複数の楽曲における当該主素片以外の各素片(以下「副素片」という)との特徴量の類否を示す類否指標値を算定する類否指標算定処理と、
入力装置に対する入力に応じて選択条件を設定する条件設定処理と、
前記主楽曲の前記各主素片について、当該主素片との類否指標値が前記選択条件を満たす副素片を選択する選択処理と、
前記主楽曲の前記主素片の楽音データを、前記選択処理で当該主素片について選択した副素片の楽音データに基づいて加工する加工処理と
を実行させるプログラム。
【請求項1】
楽曲を区分した各素片の楽音データと前記各素片の音楽的な特徴量とを複数の楽曲の各々について記憶する記憶手段と、
前記複数の楽曲から選択された主楽曲の複数の素片の各々(以下「主素片」という)について、前記複数の楽曲における当該主素片以外の各素片(以下「副素片」という)との特徴量の類否を示す類否指標値を算定する類否指標算定手段と、
入力装置に対する入力に応じて選択条件を設定する条件設定手段と、
前記主楽曲の前記各主素片について、当該主素片との類否指標値が前記選択条件を満たす副素片を選択する選択手段と、
前記主楽曲の前記主素片の楽音データを、前記選択手段が当該主素片について選択した副素片の楽音データに基づいて加工する加工手段と
を具備する楽曲加工装置。
【請求項2】
前記条件設定手段は、基準順位を前記選択条件として設定し、
前記選択手段は、前記主素片との類似順で当該基準順位に応じた順位にある副素片を選択する
請求項1の楽曲加工装置。
【請求項3】
前記条件設定手段は、乱数の範囲を前記選択条件として設定し、
前記選択手段は、前記範囲内の乱数を発生し、前記主素片との類似順で当該乱数に応じた順位にある副素片を選択する
請求項1または請求項2の楽曲加工装置。
【請求項4】
前記条件設定手段は、総選択数を前記選択条件として設定し、
前記選択手段は、前記総選択数に相当する個数の副素片を選択する
請求項1から請求項3の何れかの楽曲加工装置。
【請求項5】
前記条件設定手段は、最大選択数を前記選択条件として設定し、
前記選択手段は、ひとつの楽曲から選択する副素片の個数の最大値を前記最大選択数に制限しながら前記各主素片について複数の副素片を選択する
請求項1から請求項4の何れかの楽曲加工装置。
【請求項6】
前記加工手段による加工後の楽音データと前記主楽曲の楽音データとを、入力装置に対する入力に応じた割合で順次に混合して出力する混合手段
を具備する請求項1から請求項5の何れかの楽曲加工装置。
【請求項7】
前記加工手段による加工後の各楽音データを、当該楽音データが示す楽音のうち入力装置に対する入力に応じた時点から終点までの区間が無音となるように加工する音長調整手段
を具備する請求項1から請求項6の何れかの楽曲加工装置。
【請求項8】
前記選択手段が選択した各副素片の楽音データが示す楽音のピッチを、入力装置に対する入力に応じて楽曲毎に制御するピッチ制御手段
を具備する請求項1から請求項7の何れかの楽曲加工装置。
【請求項9】
前記選択手段が選択した各副素片の楽音データに音響効果を付与する手段であって、入力装置に対する入力に応じて前記音響効果を楽曲毎に制御する効果付与手段
を具備する請求項1から請求項8の何れかの楽曲加工装置。
【請求項10】
前記類否指標算定手段は、
前記各主素片について各副素片との特徴量の類否を示す基礎指標値を算定する類否特定手段と、
前記類否特定手段が特定した各基礎指標値から類否指標値を決定する手段であって、一の主素片について副素片毎に算定された基礎指標値のうち、前記一の主素片の直前の主素片について前記選択手段が選択した副素片に後続する副素片の基礎指標値を類似側に調整する調整手段と
を含む請求項1から請求項9の何れかの楽曲加工装置。
【請求項11】
楽曲を区分した各素片の楽音データと前記各素片の音楽的な特徴量とを複数の楽曲の各々について記憶する記憶手段を具備するコンピュータに、
前記複数の楽曲から選択された主楽曲の複数の素片の各々(以下「主素片」という)について、前記複数の楽曲における当該主素片以外の各素片(以下「副素片」という)との特徴量の類否を示す類否指標値を算定する類否指標算定処理と、
入力装置に対する入力に応じて選択条件を設定する条件設定処理と、
前記主楽曲の前記各主素片について、当該主素片との類否指標値が前記選択条件を満たす副素片を選択する選択処理と、
前記主楽曲の前記主素片の楽音データを、前記選択処理で当該主素片について選択した副素片の楽音データに基づいて加工する加工処理と
を実行させるプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2009−25406(P2009−25406A)
【公開日】平成21年2月5日(2009.2.5)
【国際特許分類】
【出願番号】特願2007−186149(P2007−186149)
【出願日】平成19年7月17日(2007.7.17)
【出願人】(000004075)ヤマハ株式会社 (5,930)
【Fターム(参考)】
【公開日】平成21年2月5日(2009.2.5)
【国際特許分類】
【出願日】平成19年7月17日(2007.7.17)
【出願人】(000004075)ヤマハ株式会社 (5,930)
【Fターム(参考)】
[ Back to top ]