プログラム、及び編集装置
【課題】編集前の楽曲の音色を可能な限り保持しつつも、楽曲の印象を編集前の楽曲から変更するように音楽を編集するプログラム、及び編集装置の提供。
【解決手段】 対象楽曲Ａの楽音波形を、対象楽曲Ａにて用いられている音源毎に分離して、楽器音波形を生成する音源分離処理を実行する（Ｓ１３０）。楽器音波形での時間軸上の個々の音符に対応する区間である単音波形に関する情報である楽音分類情報を生成し（Ｓ１４０）、対象楽曲Ａから特定楽曲Ｂへと変更する内容（以下、変更内容とする）が予め規定された１つの移植パターンを取得する（Ｓ１６０）。その取得した移植パターンに従って、対象楽曲Ａの楽譜データを編集して編集楽曲Ａ'の楽譜データを生成した結果、及び楽音分類情報に基づいて、本発明の特定音波形に相当する対象楽曲Ａ'の楽音波形を生成する（Ｓ１８０）。
【解決手段】 対象楽曲Ａの楽音波形を、対象楽曲Ａにて用いられている音源毎に分離して、楽器音波形を生成する音源分離処理を実行する（Ｓ１３０）。楽器音波形での時間軸上の個々の音符に対応する区間である単音波形に関する情報である楽音分類情報を生成し（Ｓ１４０）、対象楽曲Ａから特定楽曲Ｂへと変更する内容（以下、変更内容とする）が予め規定された１つの移植パターンを取得する（Ｓ１６０）。その取得した移植パターンに従って、対象楽曲Ａの楽譜データを編集して編集楽曲Ａ'の楽譜データを生成した結果、及び楽音分類情報に基づいて、本発明の特定音波形に相当する対象楽曲Ａ'の楽音波形を生成する（Ｓ１８０）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音楽を編集するプログラム、及び編集装置に関する。
【背景技術】
【０００２】
従来、予め作られた楽曲Ａを表し、ＭＩＤＩ形式のデータによって作製されたＭＩＤＩ楽曲データを、そのＭＩＤＩ楽曲データにおいて変更すべき音楽の要素（楽曲のテンポや、リズム、伴奏音の音高、伴奏音の強さ等）及び変更内容について記述した編集データに基づいて編集した編集楽曲データを作成するデータ編集装置が知られている（特許文献１参照）。
【０００３】
このように、特許文献１に記載のデータ編集装置では、編集データに記述された内容に従って、編集データに記述された音と、ＭＩＤＩ楽曲データを構成する一部の音（以下、特定構成音とする）とを合成することや、編集データに記述された音へと特定構成音を変更することで、編集楽曲データを作成している。
【０００４】
これにより、特許文献１に記載のデータ編集装置によって作成された編集作曲データは、当該編集作曲データに基づいて演奏された楽曲Ａ'の印象を、編集前の楽曲Ａの印象とは異なる印象とする（アレンジする）ことができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−１６９５５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、ＭＩＤＩ楽曲データに基づいて楽曲を演奏した演奏音は、一般的に、その楽曲データを演奏するＭＩＤＩの音源（以下、楽曲音源）の機種によって、音色そのものが異なる。また、楽曲音源は、機種によってコントロールチェンジ（即ち、演奏制御）が異なるため、たとえ、同一のＭＩＤＩ楽曲データを演奏しても、その楽曲音源の機種（例えば、カラオケ装置）から出力される演奏音の音色が異なる。
【０００７】
したがって、楽曲音源の機種によっては、特許文献１に記載のデータ編集装置によって編集された編集楽曲データに基づく楽曲Ａ'の音色が、編集前の楽曲Ａの音色から大きくかけ離れるという問題があった。このように楽曲Ａ'の音色が編集前の楽曲Ａの音色から大きくかけ離れると、それぞれの楽曲を聞いた利用者に違和感を与えるという問題があった。
【０００８】
つまり、特許文献１に記載のデータ編集装置では、楽曲Ａ'の印象を、編集前の楽曲Ａの印象から変更しつつも、楽曲Ａ'の音色を編集前の音色に維持することができない、つまり、楽曲音源の音色が大きく異なる場合には，アレンジの変化以上の聴感変化が生じてしまう、という問題があった。
【０００９】
そこで、本発明は、楽曲の印象を編集前の楽曲から変更したときに、編集前の楽曲の音色を可能な限り保持するように音楽を編集するプログラム、及び編集装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するためになされた本発明は、楽音波形取得手順と、採譜手順と、音源分離手順と、楽音分類手順と、楽譜編集手順と、波形変更手順とをコンピュータに実行させるプログラムに関する。
【００１１】
本発明のプログラムは、楽音波形取得手順にて、楽曲の一つである対象楽曲を構成する１つ１つの音である楽音が時間軸に沿って推移した波形（以下、楽音波形とする）を取得し、採譜手順にて、その取得した楽音波形を採譜することで、対象楽曲の楽譜データ（以下、対象楽譜データとする）を生成する。
【００１２】
ただし、本発明における楽譜データとは、楽曲にて用いられる音源である楽曲音源毎に出力される個々の出力音について、少なくとも音高及び出力タイミングが規定された楽譜トラックを備えるデータである。また、本発明における音源とは、音を出力する物体であり、例えば、楽器や人物（人の発声）を含む。そして、本発明において、音源のうち楽曲音源（即ち、出力音を出力する音源）は、楽譜データに基づいて音を出力する装置（例えば、ＭＩＤＩ音源）である。
【００１３】
さらに、音源分離手順にて、楽音波形取得手順で取得した楽音波形を、対象楽曲にて用いられる音源毎に出力された楽音が時間軸に沿って推移した波形（以下、楽器音波形）に分離する。すると、楽音分類手順にて、採譜手順で生成された対象楽譜データ、及び音源分離手順で分離した楽器音波形に基づいて、時間軸上の個々の音符に対応する楽器音波形での区間である単音波形を、該音符に対応する楽音の楽器種類と音高とに分類した情報である楽音分類情報として、音源の種類と対応付けて生成する。
【００１４】
一方、楽譜編集手順では、対象楽曲とは異なる楽曲である特定楽曲の楽譜データ（以下、特定楽譜データとする）を取得すると共に、予め生成された情報によって規定された音源に対応する楽譜トラックの少なくとも一部の楽音を、採譜手順で生成した対象楽譜データに含まれるものから、特定楽譜データに含まれるものへと変更した楽譜トラック（以下、変更楽譜トラックとする）を生成する。
【００１５】
その後、波形変更手順にて、変更楽譜トラックに対応する音源の種類の中で、変更楽譜トラックで規定された出力音に対しては、楽音分類情報を用いて、対応する楽音を表す特定音の楽器種類と音高との単音波形を時間軸に沿って配置することで、特定音が時間軸に沿って推移した波形である特定音波形を生成する。
【００１６】
このような本発明のプログラムによれば、対象楽曲にて用いられる音源にて演奏された楽音の一部、つまり楽音の波形を、特定楽曲の予め規定された楽曲の波形へと変更することができる。したがって、本発明のプログラムによれば、楽曲音源の種類によって生じる「音色」の違いを可能な限り排除しつつ、楽曲のアレンジによって生じる楽曲全体の印象の変化を際立たせることができる。
【００１７】
しかも、本発明のプログラムでは、対象楽曲の一部を変更する際に、対象楽曲のＭＩＤＩ楽譜情報を変更し、対象楽曲における楽音の波形を用いて、変更後の楽音である特定音が時間軸に沿って推移した特定音波形、即ち、変更後の楽曲のデータを波形出力として生成している。
【００１８】
よって、本発明のプログラムによれば、対象楽曲の一部を変更しても、その変更後の楽曲の音色については、変更前の楽曲の音色を可能な限り維持することができる。
すなわち、本発明のプログラムによれば、対象楽曲の音色を可能な限り保持しつつも、楽曲の印象を編集前の楽曲から変更した音楽を生成（編集）することができる。
【００１９】
なお、本発明のプログラムによれば、例えば、ＤＶＤ−ＲＯＭ、ＣＤ−ＲＯＭ、ハードディスク等のコンピュータ読み取り可能な記録媒体に当該プログラムを記録し、必要に応じてコンピュータにロードさせて起動することや、必要に応じて通信回線を介してコンピュータに取得させて起動することにより用いることができる。
【００２０】
また、本発明のプログラムにおける音源分離手順は、出力音取得手順と、補正量導出手順と、修正手順と、楽音解析手順と、修正音取得手順と、修正音解析手順と、振幅比率導出手順と、区間波形導出手順と、分離実行手順とをコンピュータに実行させても良い（請求項２）。
【００２１】
このうち、出力音取得手順では、採譜手順で生成された対象楽譜データに基づいて、全ての出力音が時間軸に沿って推移した波形（以下、出力音波形とする）を取得する。続く、補正量導出手順では、楽音波形の特性を表す楽音情報と、出力音波形の特性を表す出力音情報とを、楽音情報と出力音情報とが一致するように照合した結果に基づき、出力音の音高及び出力タイミングについて、対象楽譜データの補正量を導出する。
【００２２】
そして、修正手順では、その導出した補正量に従って、出力音を補正することで修正出力音へと修正した対象楽譜データである修正楽譜データを生成し、楽音解析手順では、楽音波形取得手順で取得した楽音波形に含まれる周波数と各周波数における強度とを表す楽音振幅スペクトルを、対象楽曲に時間軸に沿って単位時間毎に導出する。
【００２３】
さらに、修正音取得手順では、修正手順で生成された修正楽譜データにおける楽譜トラックの一つに規定された修正出力音が、修正楽譜データにおける時間軸に沿って推移した波形である修正音波形を取得する。続く、修正音解析手順では、その取得した修正音波形に含まれる周波数と各周波数における強度とを表す修正音振幅スペクトルを、修正楽譜データの時間軸に沿って単位時間毎に導出する。そして、振幅比率導出手順では、楽音振幅スペクトルでの周波数における強度と、修正音振幅スペクトルでの周波数における強度との比を表す振幅比率を、各周波数について導出する。
【００２４】
さらには、区間波形導出手順にて、振幅比率導出手順で導出された振幅比率それぞれを、楽音振幅スペクトルでの各周波数における強度に乗じた結果である分離スペクトルから、時間軸に沿った音の波形である区間波形を導出する。その後、分離実行手順にて、区間波形を対象楽曲の時間軸に沿って配することで、楽器音波形を生成する。
【００２５】
このような本発明のプログラムによれば、出力音の音高及び出力タイミングについて補正した後に導出した分離スペクトルから区間波形、ひいては、楽器音波形を生成するため、楽音波形からの楽器音波形の分離を精度良く実行することができる。
【００２６】
また、本発明のプログラムにおいて、楽譜編集手順は、変更楽譜トラックを生成するときに、対象楽譜データにおける楽譜トラックから、変更した変更点を表す変更点情報を、変更楽譜トラックの一部として生成しても良い。
【００２７】
この場合、本発明のプログラムにおける波形変更手順は、楽譜編集手順で生成された変更点情報によって表された変更点を、変更対象とする楽譜トラックに対応する楽器音波形に反映することで、特定音波形を生成しても良い（請求項３）。
【００２８】
このような本発明のプログラムによれば、変更点情報によって表された変更点について、変更対象とする楽譜トラックに対応する楽器音波形から変更することで、特定音波形を生成することができる。この結果、本発明のプログラムによれば、変更した箇所だけを処理するので、全体を処理するのに比べて、特定音波形の生成に要する処理量を低減できる。
【００２９】
さらに、本発明のプログラムにおいて、楽音分類手順は、音源毎に予め用意され、かつ各音源から出力される音の振幅スペクトルを表す楽音モデルを、楽器音波形の振幅スペクトルに照合した結果、一致度が最も高い楽音モデルに対応する音源の種類を、楽音分類情報と対応付けても良い（請求項４）。
【００３０】
このような楽音分類手順によれば、楽器音推移を演奏した音源の種類を確実に特定することができ、楽音分類情報と対応付けることができる。
また、本発明のプログラムにおいて、楽音分類手順は、該楽音の音高、音長、及び強さの組合せ毎に、単音波形を分類することで、楽音分類情報を生成しても良い（請求項５）。
【００３１】
このような本発明のプログラムによれば、対象楽曲を構成する楽音を、より詳細に分類することができる。
なお、本発明は、音楽（楽曲）を編集する編集装置としてなされたものでも良い（請求項６）。
【００３２】
このように、本発明が編集装置としてなされている場合、本発明の編集装置は、楽音波形取得手段と、採譜手段と、音源分離手段と、楽音分類手段と、楽譜編集手段と、波形変更手段とを備えていても良い。
【００３３】
ただし、本発明の編集装置においては、楽音波形取得手段が、楽曲の一つである対象楽曲を構成する１つ１つの音である楽音が時間軸に沿って推移した波形（即ち、楽音波形）を取得し、その取得した楽音波形を採譜することで、採譜手段が、対象楽曲の楽譜データ（即ち、対象楽譜データ）を生成する。そして、音源分離手段が、楽音波形取得手段で取得した楽音波形を、対象楽曲にて用いられる音源毎に出力された楽音が時間軸に沿って推移した波形（即ち、楽器音波形）に分離する。
【００３４】
さらに、楽音分類手段が、採譜手段で生成された対象楽譜データ、及び音源分離手段で分離した楽器音波形に基づいて、時間軸上の個々の音符に対応する楽器音波形での区間である単音波形を、該音符に対応する楽音の楽器種類と音高とに分類した情報である楽音分類情報として、前記音源の種類と対応付けて生成する。これと共に、楽譜編集手段が、対象楽曲とは異なる楽曲である特定楽曲の楽譜データ（即ち、特定楽譜データ）を取得すると共に、予め生成された情報によって規定された音源に対応する楽譜トラックの少なくとも一部の楽音を、採譜手段で生成した対象楽譜データに含まれるものから、特定楽譜データに含まれるものへと変更した楽譜トラック（即ち、変更楽譜トラック）を生成する。
【００３５】
すると、波形変更手段が、変更楽譜トラックに対応する音源の種類の中で、変更楽譜トラックで規定された出力音に対しては、楽音分類情報を用いて、対応する楽音を表す特定音の楽器種類と音高との単音波形を時間軸に沿って配置することで、特定音が時間軸に沿って推移した波形である特定音波形を生成する。
【００３６】
このような楽曲編集装置によれば、請求項１に記載のプログラムと同様の効果を得ることができる。
【図面の簡単な説明】
【００３７】
【図１】本発明が適用された編集装置の概略構成を示すブロック図である。
【図２】音楽編集処理の処理手順を示すフローチャートである。
【図３】音楽編集処理にて用いられる移植パターンを例示した図面である。
【図４】音楽編集処理にて実行される音源分離処理の処理手順を示すフローチャートである。
【図５】音源分離処理にて実行されるトラック分離処理の処理手順を示すフローチャートである。
【図６】音楽編集処理にて用いられる移植パターンの変形例を例示した図面である。
【発明を実施するための形態】
【００３８】
以下に本発明の実施形態を図面と共に説明する。
〈編集装置の構成について〉
本発明が適用された編集装置は、予め生成された１つの楽曲である対象楽曲Ａを編集するものである。具体的には、本実施形態の編集装置は、対象楽曲Ａに対応する音響データ、及び対象楽曲Ａとは別の楽曲として予め生成された特定楽曲Ｂに対応する楽譜データに基づき、対象楽曲Ａにおける一部の楽音を、特定楽曲Ｂにおける一部の楽音へと変更するように編集し、編集楽曲Ａ'に対応する楽譜データ及び音響データを生成する装置である。
【００３９】
この編集装置を実現するために、本実施形態の編集装置は、図１に示す情報処理装置１０によって構成されている。図１に示すように、情報処理装置１０は、通信部１１と、音響データ読取部１２と、入力受付部１３と、表示部１４と、音声入力部１５と、音声出力部１６と、音源モジュール１７と、記憶部１８と、制御部２０とを備えている。
【００４０】
このような編集装置を実現するための音響データは、楽曲にて用いられた全ての音源から出力される個々の楽音の音圧が時間軸に沿って推移した波形（以下、楽音波形と称す）を表すデータである。この音響データは、一般的に、ＣＤやＤＶＤなどの記憶媒体に記憶される。なお、ここで言う楽音とは、楽曲を構成する１つ１つの音（音符に対応する音）である。
【００４１】
また、楽譜データは、楽曲の楽譜を表すデータであり、例えば、周知のＭＩＤＩ（ｍｕｓｉｃａｌ ｉｎｓｔｒｕｍｅｎｔ ｄｅｉｇｉｔａｌ ｉｎｔｅｒｆａｃｅ）規格によって作成されている。
【００４２】
本実施形態における楽譜データは、対応する楽曲を区別するデータである識別データと、本発明の楽曲音源の一例である音源モジュール１７が演奏する楽譜を表した楽譜トラックとを少なくとも備えている。
【００４３】
このうち、各楽譜トラックは、個々の楽音に対応し、音源モジュール１７（例えば、ＭＩＤＩ音源）から出力される音である出力音について規定されている。その楽譜トラックに規定される内容として、少なくとも、個々の出力音を出力する期間（以下、音符長）、及び個々の出力音の音高（いわゆるノートナンバー）、個々の出力音の強さ（いわゆるアタック、ベロシティ、ディケイなど）がある。
【００４４】
ただし、楽譜トラックでの音符長は、当該出力音の出力を開始するまでの当該楽曲の演奏開始からの時刻を表す出力タイミング（いわゆるノートオンタイミング）と、当該出力音の出力を終了するまでの当該楽曲の演奏開始からの時刻を表す終了タイミング（いわゆるノートオフタイミング）とによって規定されている。なお、以下では、楽譜トラックに規定された出力音を演奏音とも称す。
【００４５】
次に、本実施形態の情報処理装置１０を構成する通信部１１は、情報処理装置１０をネットワーク（例えば、専用回線やＷＡＮ）に接続し、その接続されたネットワークを介して外部と通信を行うものである。
【００４６】
音響データ読取部１２は、記憶媒体に記憶されている音響データに基づいて、その音響データに対応する楽曲を構成する楽音の波形を読み取る装置（例えば、ＣＤやＤＶＤの読取装置）である。
【００４７】
そして、入力受付部１３は、外部からの操作に従って情報や指令の入力を受け付ける入力機器（例えば、キーボードやポインティングデバイス）である。表示部１４は、画像を表示する表示装置（例えば、液晶ディスプレイやＣＲＴ等）である。また、音声入力部１５は、音声を電気信号に変換して制御部２０に入力する装置（いわゆるマイクロホン）である。音声出力部１６は、制御部２０からの電気信号を音声に変換して出力する装置（いわゆるスピーカ）である。
【００４８】
音源モジュール１７は、楽譜データに基づいて、出力音を出力する装置であり、例えば、周知のＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）音源によって構成されている。そして、音源モジュール１７において、出力音として音が模擬される楽器は、鍵盤楽器（例えば、ピアノやパイプオルガンなど）、弦楽器（例えば、バイオリンやビオラ、ギター、琴など）、打楽器（例えば、ドラムやシンバル、ティンパニー、木琴など）、及び管楽器（例えば、クラリネットやトランペット、フルート、尺八など）などであり、予め登録されている。
【００４９】
また、記憶部１８は、記憶内容を読み書き可能に構成された不揮発性の記憶装置（例えば、ハードディスク装置）である。この記憶部１８には、特定楽曲Ｂに対応する楽譜データや処理プログラムが格納される。
【００５０】
さらに、制御部２０は、電源が切断されても記憶内容を保持する必要がある処理プログラムやデータを格納するＲＯＭ２１と、処理プログラムやデータを一時的に格納するＲＡＭ２２と、ＲＯＭ２１やＲＡＭ２２に記憶された処理プログラムに従って各処理（各種演算）を実行するＣＰＵ２３とを少なくとも有した周知のコンピュータを中心に構成されている。
【００５１】
なお、本実施形態における処理プログラムとして、対象楽曲Ａに対応する音響データ、及び特定楽曲Ｂに対応する楽譜データに基づいて、対象楽曲Ａにおける一部の楽音を、特定楽曲Ｂにおける一部の楽音へと変更して編集し、編集楽曲Ａ'に対応する音響データを生成する音楽編集処理を、制御部２０が実行する処理プログラムが予め用意されている。
〈音楽編集処理の処理内容について〉
次に、制御部２０が実行する音楽編集処理の処理内容について説明する。
【００５２】
この音楽編集処理は、入力受付部１３を介して音楽編集処理を起動するための起動指令が入力されると実行される。
そして、音楽編集処理は、起動されると、図２に示すように、音響データ読取部１２にて対象楽曲Ａに対応する音響データを読み取ることで、対象楽曲Ａの楽音波形を取得する（Ｓ１１０）。
【００５３】
続いて、Ｓ１１０にて取得した対象楽曲Ａの楽音波形に対して採譜処理を実行することで、対象楽曲Ａの楽音波形を採譜して、対象楽曲Ａにて用いられた音源（楽器）毎に楽譜トラック、ひいては、対象楽曲Ａに対応する楽譜データを生成する（Ｓ１２０）。以下、このＳ１２０にて生成される対象楽曲Ａの楽譜データを対象楽譜データと称す。
【００５４】
ただし、本実施形態の採譜処理には、楽譜トラック毎に対応する音源の種類を特定する処理（以下、音源特定処理とする）が含まれている。この音源特定処理を実行することで、対象楽譜データを構成する各楽譜トラックには、当該楽譜トラックに対応する音源（楽器）の種類が対応付けられる。
【００５５】
具体的に、音源特定処理では、採譜した結果である個々の音について、その各音の振幅スペクトルに、音源が出力する音の振幅スペクトルとして音源毎に予め用意された各楽音モデルを照合し、その照合した結果として類似度を導出する。そして、類似度が最も高い楽音モデルに対応する音源から出力された楽音であるものと特定し、その特定した音源の種類を楽譜トラックに対応付けている。
【００５６】
このように、音源特定処理において導出される類似度は、振幅スペクトルにおける周波数ピークや振幅スペクトルの包絡の波形といった振幅スペクトルの包絡同士の類似度合いである。そして、導出される類似度は、１つの楽譜トラックに対して１つの値、即ち、１つの楽譜トラックを構成する全ての出力音に対応する値が平均化されたものであることが好ましい。
【００５７】
なお、採譜処理において、楽音波形を採譜して楽譜データを生成する過程は、周知の処理であるため、ここでの詳しい説明は省略する。
さらに、対象楽曲Ａの楽音波形を、対象楽曲Ａにて用いられている音源毎に分離して、各音源からの楽音が時間軸に沿って推移した波形である楽器音波形を生成する音源分離処理を実行する（Ｓ１３０）。
【００５８】
その音源分離処理にて分離された楽器音波形、及びＳ１２０にて生成された対象楽譜データに基づいて、時間軸上の個々の音符（即ち、対象楽譜データを構成する楽譜トラックの各出力音）に対応する楽器音波形での区間である単音波形に関する情報である楽音分類情報を生成し、記憶部１８に記憶する音源推定処理を実行する（Ｓ１４０）。本実施形態の音源推定処理では、単音波形を、対応する音符（出力音）の楽器種類、音高、音の強さ（ベロシティなど）の組合せ毎に分類して、平均化した情報を楽音分類情報としている。
【００５９】
このＳ１４０にて生成された楽音分類情報が記憶された記憶部１８は、各音符（出力音）に対応する単音波形が、対応する音符（出力音）の楽器種類、音高、音の強さが紐付けられたデータベース（以下、音源ＤＢとも称す）として機能する。
【００６０】
なお、本実施形態のＳ１４０では、対象楽譜データにおける音符が和音である場合、その和音を構成する個々の音符毎に、楽音分類情報を生成する。このように和音を、当該和音を構成する個々の音符に分割する方法としては、和音を構成する個々の楽音の振幅スペクトルにおける周波数ピークを検出することなどが考えられる。
【００６１】
続いて、予め用意された特定楽曲Ｂの楽譜データを取得し（Ｓ１５０）、さらに、対象楽曲Ａから特定楽曲Ｂへと変更する内容（以下、変更内容とする）が予め規定された１つの移植パターン（本発明の「予め規定された情報」に相当）を取得する（Ｓ１６０）。
【００６２】
本実施形態における移植パターンは、楽曲毎に予め用意されたものであり、変更内容として、一部の楽譜トラックにおける少なくとも一つの楽音からなる区間（即ち、少なくとも１つの音符、以下、変更対象楽音とする）と、その変更対象楽音に対する変更の具体的な内容とを含む。
【００６３】
本実施形態における変更の具体的な内容とは、図３に示すように、対象楽曲Ａ（図３中：原曲）の内容を維持するか、特定楽曲Ｂ（図３中：適応曲）の内容へと変更するかが規定された情報である。さらに、本実施形態における変更対象楽音としては、例えば、図３に示すように、楽曲のメロディを構成する楽譜トラックや、楽曲のハーモニーを構成する楽譜トラック、楽曲のリズムを決定する楽譜トラックにおける少なくとも一部の楽音からなる区間が挙げられる。ただし、本実施形態の移植パターンでは、楽曲のメロディを構成する楽譜トラックに関する変更の具体的な内容は、対象楽曲Ａの内容を維持するように規定されている。
【００６４】
なお、本実施形態における変更対象楽音は、変更対象とする楽譜トラックを構成する全ての楽音（出力音）でも良いし、変更対象とする楽譜トラックを構成する一部の楽音でも良い。
【００６５】
続いて、Ｓ１６０にて取得した移植パターンに従って、対象楽曲Ａの楽譜データを編集し、編集楽曲Ａ'の楽譜データを生成する。（Ｓ１７０）。具体的には、本実施形態におけるＳ１７０では、Ｓ１６０にて取得した移植パターンにおける変更対象楽音を、その変更対象楽音についての「変更の具体的な内容」に従って、対象楽曲Ａの楽譜データの内容から特定楽曲Ｂの楽譜データの内容へと変更する。さらに、本実施形態のＳ１７０では、対象楽曲Ａの楽譜データから、編集楽曲Ａ'の楽譜データを生成する際に、対象楽曲Ａの楽譜データから変更した変更点（即ち、変更対象楽音をどのように変更したのかという点）を表す情報である変更点情報を生成する。
【００６６】
続いて、少なくともＳ１４０にて生成した楽音分類情報に基づいて、対象楽曲Ａの楽音波形を編集して、本発明の特定音波形に相当する編集楽曲Ａ'の楽音波形を生成する（Ｓ１８０）。具体的に、本実施形態のＳ１８０では、変更点情報によって表わされた変更点、即ち、変更対象楽音に対応する楽音である特定音について、音源ＤＢとして機能する記憶部１８に記憶されている音源波形の中から、その特定音に対応する単音波形を読み出す。その読み出した単音波形を、対象楽曲Ａの楽器音波形における対応する区間に置き換えることで、編集楽曲Ａ'の楽器音波形、ひいては、編集楽曲Ａ'全体の楽音波形を生成する。
【００６７】
さらに、Ｓ１７０で生成した編集楽曲Ａ'の楽譜データ、及びＳ１８０で生成した編集楽曲'の楽音波形を出力する（Ｓ１９０）。ここでの出力とは、記憶部１８に記憶することでも良いし、通信部１１を介して外部に出力することでも良いし、音声出力部１６などから演奏音を出力することでも良い。
【００６８】
その後、本音楽編集処理を終了する。
〈音源分離処理の処理内容について〉
次に、制御部２０が実行する音源分離処理について説明する。
【００６９】
図４に示すように、音源分離処理は、音楽編集処理のＳ１３０にて起動されると、対象楽曲Ａの楽譜データを取得する（Ｓ３１０）。
そして、Ｓ３１０にて取得した楽譜データと、先のＳ１１０にて取得した楽音波形とに基づいて、対象楽曲Ａを構成する楽音の音高に、演奏音の音高が一致するように、周波数軸方向に沿って当該楽譜データを修正する音高補正処理を実行する（Ｓ３２０）。具体的に、本実施形態のＳ３２０では、対象楽曲Ａを構成する楽音のパワースペクトルを楽音情報とし、対象楽曲Ａの演奏音のパワースペクトルを出力音情報として、それらのパワースペクトルが周波数軸に沿って一致する補正量を導出した上で、対象楽曲Ａの楽譜データを修正する。
【００７０】
以下、演奏音について修正が実行された楽譜データを修正楽譜データと称し、修正された演奏音を修正演奏音と称す。
さらに、音高補正処理によって、楽音の音高に音高が一致するように修正した修正演奏音の出力タイミングが、対象楽曲Ａの楽音の演奏開始タイミングに一致するように、時間軸方向に沿って修正楽譜データを修正する時間補正処理を実行する（Ｓ３３０）。具体的に、本実施形態のＳ３３０では、対象楽曲Ａを構成する楽音の非調波成分における振幅ピークを楽音情報とし、対象楽曲Ａの演奏音の非調波成分における振幅ピークを出力音情報として、それらの非調波成分における振幅ピークが時間軸に沿って一致する補正量を導出した上で、対象楽曲Ａの楽譜データを修正する。
【００７１】
続いて、時間補正処理によって、楽音の演奏開始タイミングに出力タイミングが一致するように修正した修正演奏音の強さが、楽音の強さ（即ち、音量）に一致するように、修正楽譜データを修正するための補正量である音量比率ｋｖを導出する音量補正処理を実行する（Ｓ３４０）。
【００７２】
そして、演奏音の音高や出力タイミングが修正された修正楽譜データ、及び音量比率を用いて、楽音波形から、一つの音源から出力された音が時間軸に沿って推移した波形である楽器音波形を生成するトラック分離処理を実行する（Ｓ３５０）。
【００７３】
その後、本音源分離処理を終了する。
〈トラック分離処理の処理内容について〉
次に、音源分離処理のＳ３５０にて起動されるトラック分離処理について説明する。
【００７４】
このトラック分離処理は、起動されると、図５に示すように、先のＳ１１０で取得した楽音波形の全体を、時間軸に沿って設定された分析時間ｔｗｉ毎に周波数解析（本実施形態では、離散フーリエ変換）し、その周波数解析の結果をＲＡＭ２２（または記憶部１８）に記憶する（Ｓ４１０）。このＳ４１０の周波数解析により、各分析時間ｔｗｉの楽音波形に含まれる周波数、及び各周波数における強度（以下、楽音スペクトル振幅値とする）ｔｕｓｐ（ｔｗｉ，ｆｉ）が、実数部及び虚数部の両方について導出される。また、符合ｆｉは、周波数の区分（即ち、離散フーリエ変換によって導出される周波数区分：単位［ｂｉｎ］）である。
【００７５】
次に、楽譜トラック毎に対応付けられたインデックス番号ｍｔｉを初期値（本実施形態では、初期値＝０）に設定する（Ｓ４２０）。続いて、設定されている楽譜トラックのインデックス番号（以下、設定インデックスとする）ｍｔｉが、対象楽譜データにおける最大のインデックス番号（以下、最終インデックス）ＭＴＮ未満であるか否かを判定する（Ｓ４３０）。
【００７６】
そのＳ４３０での判定の結果、設定インデックスｍｔｉが最終インデックスＭＴＮ未満であれば（Ｓ４３０：ＹＥＳ）、設定インデックスｍｔｉを１つインクリメントする（Ｓ４４０）。続いて、楽器音波形を初期値に設定する（Ｓ４５０）。本実施形態において、楽器音波形の初期値は、音圧が時間軸に沿って全て「０」に設定されたゼロ波形である。
【００７７】
そして、設定インデックスｍｔｉに対応する楽譜トラックの演奏音のインデックス番号（以下、演奏音インデックスとする）ｎｉを初期値（本実施形態では、０とする）に設定する（Ｓ４６０）。続いて、演奏音インデックスｎｉが、設定インデックスｍｔｉに対応する楽譜トラックにおいて、最大のインデックス番号（以下、最終演奏音とする）ＮＮＰＴ（ｍｔｉ）未満であるか否かを判定する（Ｓ４７０）。
【００７８】
そのＳ４７０での判定の結果、演奏音インデックスｎｉが、最終演奏音ＮＮＰＴ（ｍｔｉ）未満であれば（Ｓ４７０：ＹＥＳ）、演奏音インデックスｎｉを規定数インクリメントする（Ｓ４８０）。続いて、今回のＳ４８０でインクリメントされた規定数の演奏音インデックスｎｉに対応する演奏音が、時間軸に沿って推移した波形である修正音波形を取得する（Ｓ４９０）。
【００７９】
そして、取得した修正音波形を、時間軸に沿って設定された分析時間ｔｗｉ毎に周波数解析（ここでは、離散フーリエ変換）する（Ｓ５００）。この周波数解析の結果、修正音波形における分析時間ｔｗｉに含まれる周波数毎に、その周波数における強度（以下、スペクトル振幅値）ｎｔｓｐ（ｔｗｉ，ｆｉ）が、実数部及び虚数部の両方について導出される。
【００８０】
続いて、先の音量補正量導出処理で導出された音量比率ｋｖを、個々のスペクトル振幅値ｎｔｓｐ（ｔｗｉ，ｆｉ）に乗じた修正音スペクトル振幅値ｎｔｓｐ＿ｎ（ｔｗｉ，ｆｉ）を導出する（Ｓ５１０）。その修正音スペクトル振幅値ｎｔｓｐ＿ｎ（ｔｗｉ，ｆｉ）と、楽音スペクトル振幅値ｔｕｓｐ（ｔｗｉ，ｆｉ）との比を表す振幅比率ｋｒ（ｔｗｉ，ｆｉ）を導出する（Ｓ５２０）。本実施形態のＳ５２０では、振幅比率ｋｒを、周波数区分ｆｉ毎に導出する。ただし、振幅比率ｋｒ（ｔｗｉ，ｆｉ）の値は、修正音スペクトル振幅値ｎｔｓｐ（ｔｗｉ，ｆｉ）が、楽音スペクトル振幅値ｔｕｓｐ（ｔｗｉ，ｆｉ）よりも大きければ、「１」とし、修正音スペクトル振幅値ｎｔｓｐ（ｔｗｉ，ｆｉ）が、楽音スペクトル振幅値ｔｕｓｐ（ｔｗｉ，ｆｉ）よりも小さければ、両スペクトル振幅値の比としている。
【００８１】
そして、楽音スペクトル振幅値ｔｕｓｐ（ｔｗｉ，ｆｉ）に、振幅比率ｋｒを乗算して分離スペクトル振幅値ｎｔｃｐｓｐ（ｔｗｉ，ｆｉ）、即ち、分離スペクトルを導出する（Ｓ５３０）。具体的には、このＳ５３０では、実数部及び虚数部それぞれの楽音スペクトル振幅値ｔｕｓｐ（ｔｗｉ，ｆｉ）に、分析時間ｔｗｉと周波数区分ｆｉとの組み合わせに対応する振幅比率ｋｒ（ｔｗｉ，ｆｉ）を乗算する。
【００８２】
さらに、Ｓ５３０にて導出された分離スペクトル振幅値ｎｔｃｐｓｐ（ｔｗｉ，ｆｉ）を、ＲＡＭ２２（または記憶部１８）に記憶され、対応する時間（期間）における楽音スペクトル振幅値ｔｕｓｐから減算することで、ＲＡＭ２２（または記憶部１８）に記憶された楽音スペクトル振幅値ｔｕｓｐを新たな楽音スペクトル振幅値ｔｕｓｐへと更新する（Ｓ５４０）。
【００８３】
続いて、分離スペクトル振幅値ｎｔｃｐｓｐ（ｔｗｉ，ｆｉ）を逆離散フーリエ変換（ＩＤＦＴ）して、区間波形を導出する（Ｓ５５０）。そして、初期値に設定されている楽器音波形のうち、対応する区間について、Ｓ５５０で導出された区間波形へと置き換えることで、新たな楽器音波形へと更新する（Ｓ５６０）。
【００８４】
その後、Ｓ４７０へと戻り、演奏音インデックスｎｉが、設定インデックスｍｔｉにおける最終演奏音ＮＮＰＴ（ｍｔｉ）未満であれば（Ｓ４７０：ＹＥＳ）、Ｓ４７０からＳ５６０のステップを繰り返す。そして、演奏音インデックスｎｉが、設定インデックスｍｔｉにおける最終演奏音ＮＮＰＴ（ｍｔｉ）以上となると（Ｓ４７０：ＮＯ）、その時点での楽器音波形を記憶部１８に記憶する（Ｓ５７０）。すなわち、音響データから、対象トラックに対応する音源から出力される音（つまり、楽器音波形）を分離し終えると、Ｓ５７０を経てＳ４３０へと戻る。
【００８５】
そのＳ５７０を経て戻ったＳ４３０では、設定インデックスｍｔｉが、最終インデックスＭＴＮ未満であれば（Ｓ４３０：ＹＥＳ）、Ｓ４４０からＳ５７０のステップを繰り返す。そして、設定されている設定インデックスｍｔｉが、最終インデックスＭＴＮ以上となると（Ｓ４３０：ＮＯ）、本音源分離処理を終了する。すなわち、楽譜データに含まれる全ての楽譜トラックについて、音響データから楽器音波形を生成して分離し終えると、本音源分離処理を終了する。
［実施形態の効果］
以上説明したように、本実施形態の編集装置１によれば、対象楽曲Ａにて用いられる音源にて演奏された楽音の一部を、特定楽曲Ｂの予め規定された楽音へと変更することができる。したがって、本実施形態の編集装置１によれば、聴取者による対象楽曲Ａの聴感上の印象を、変更前の楽音の波形での曲の印象から、楽音の波形が変更された後の曲の印象へと、変えることができる。
【００８６】
しかも、本実施形態の編集装置１では、対象楽曲Ａの一部を変更する際に、対象楽曲Ａの楽譜データを変更して曲の演奏出力を変えるのではなく、対象楽曲Ａにおける楽音の波形を用いて、変更後の楽音である特定音が時間軸に沿って推移した特定音波形、即ち、編集楽曲Ｂを波形出力として生成している。
【００８７】
よって、本実施形態の編集装置１によれば、対象楽曲Ａの一部を変更しても、その変更後の楽曲（即ち、編集楽曲Ａ'）の音色については、対象楽曲Ａの音色を可能な限り維持することができる。
【００８８】
すなわち、本実施形態の編集装置１によれば、対象楽曲Ａの音色を可能な限り保持しつつも、楽曲の印象を編集前の楽曲から変更した音楽（即ち、編集楽曲Ａ'）を生成（編集）することができる。
【００８９】
なお、本実施形態の編集装置１では、変更対象とする楽譜トラックに対応する楽器音波形を、変更点情報によって表された変更点についてのみ変更することで、特定音波形を生成することができる。この結果、本実施形態の編集装置１によれば、対象楽曲Ａから変更した箇所だけを処理するので、楽曲全体を処理する場合に比べて、特定音波形の生成に要する処理量を低減できる。
［その他の実施形態］
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。
【００９０】
例えば、上記実施形態における移植パターンの変更対象楽音は、楽曲のメロディを構成する楽譜トラックや、楽曲のハーモニーを構成する楽譜トラックにおける少なくとも一部の楽音が規定されていたが、変更対象楽音は、これに限るものではない。つまり、変更対象楽音として、図６に示すように、ボーカルに対応する楽譜トラックや、メインバッキングに対応する楽譜トラック、ベースに対応する楽譜トラック、ドラムに対応する楽譜トラックを構成する楽音などが規定されていても良い。さらに、上記実施形態における移植パターンによって対象楽曲Ａから特定楽曲Ｂに変更可能な音楽の要素として、楽曲のテンポや、楽曲の拍子、楽曲の曲構造、音楽のキー、楽曲のコード進行などが含まれていても良い。
【００９１】
ただし、移植パターンが図６に示すように構成されている場合であっても、楽曲のメロディ関連する音楽の要素（図６では、拍子、曲構造、キーなど）に関しては、対象楽曲Ａの内容を維持するように、「具体的な変更内容」が規定されていることが好ましい。
【００９２】
なお、上記実施形態の音源分離処理におけるＳ１４０では、対象楽曲Ａにて用いられた楽音についてのみ、楽音分類情報を生成していたが、この楽音分類情報は、対象楽曲Ａにて用いられていない楽音の単音波形についても、対象楽曲Ａにて用いられた楽音の単音波形から近似するように生成しても良い。このように、対象楽曲Ａにて用いられていない楽音の単音波形について、対象楽曲Ａにて用いられた楽音の単音波形から近似して生成する手法は、周知（例えば、特開２００６−０７１８０６号）であるため、ここでの詳しい説明は省略する。ただし、対象楽曲Ａにて用いられていない楽音の単音波形について、対象楽曲Ａにて用いられた楽音の単音波形から近似して生成する際には、当該楽音に対応する演奏音のアタックの位置などは、基礎とした楽音のアタックの位置を維持することが好ましい。
【００９３】
また、音楽編集処理における音源分離処理は、上記実施形態の手法に限るものではなく、楽音波形から、各音源について楽器音波形を分離可能であれば、どのような手法を用いても良い。
【００９４】
さらに、上記実施形態の編集装置では、編集楽曲Ａ'に対応する楽譜データ及び音響データの両方を生成していたが、生成するデータは、編集楽曲Ａ'に対応する音響データのみでも良い。
［実施形態と特許請求の範囲との対応関係］
最後に、上記実施形態の記載と、特許請求の範囲の記載との関係を説明する。
【００９５】
上記実施形態の音楽編集処理におけるＳ１１０が、本発明の楽音波形取得手順に相当し、音楽編集処理におけるＳ１２０が、本発明の採譜手順に相当し、音楽編集処理におけるＳ１３０が、本発明の音源分離手順に相当する。さらに、音楽編集処理におけるＳ１４０が、本発明の楽音分離手順に相当し、音楽編集処理におけるＳ１５０からＳ１７０が、本発明の楽譜編集手順に相当し、音楽編集処理のＳ１８０が、波形変更手順に相当する。
【符号の説明】
【００９６】
１０…情報処理装置 １１…通信部 １２…音響データ読取部 １３…入力受付部 １４…表示部 １５…音声入力部 １６…音声出力部 １７…音源モジュール １８…記憶部 ２０…制御部 ２１…ＲＯＭ ２２…ＲＡＭ ２３…ＣＰＵ
【技術分野】
【０００１】
本発明は、音楽を編集するプログラム、及び編集装置に関する。
【背景技術】
【０００２】
従来、予め作られた楽曲Ａを表し、ＭＩＤＩ形式のデータによって作製されたＭＩＤＩ楽曲データを、そのＭＩＤＩ楽曲データにおいて変更すべき音楽の要素（楽曲のテンポや、リズム、伴奏音の音高、伴奏音の強さ等）及び変更内容について記述した編集データに基づいて編集した編集楽曲データを作成するデータ編集装置が知られている（特許文献１参照）。
【０００３】
このように、特許文献１に記載のデータ編集装置では、編集データに記述された内容に従って、編集データに記述された音と、ＭＩＤＩ楽曲データを構成する一部の音（以下、特定構成音とする）とを合成することや、編集データに記述された音へと特定構成音を変更することで、編集楽曲データを作成している。
【０００４】
これにより、特許文献１に記載のデータ編集装置によって作成された編集作曲データは、当該編集作曲データに基づいて演奏された楽曲Ａ'の印象を、編集前の楽曲Ａの印象とは異なる印象とする（アレンジする）ことができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−１６９５５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、ＭＩＤＩ楽曲データに基づいて楽曲を演奏した演奏音は、一般的に、その楽曲データを演奏するＭＩＤＩの音源（以下、楽曲音源）の機種によって、音色そのものが異なる。また、楽曲音源は、機種によってコントロールチェンジ（即ち、演奏制御）が異なるため、たとえ、同一のＭＩＤＩ楽曲データを演奏しても、その楽曲音源の機種（例えば、カラオケ装置）から出力される演奏音の音色が異なる。
【０００７】
したがって、楽曲音源の機種によっては、特許文献１に記載のデータ編集装置によって編集された編集楽曲データに基づく楽曲Ａ'の音色が、編集前の楽曲Ａの音色から大きくかけ離れるという問題があった。このように楽曲Ａ'の音色が編集前の楽曲Ａの音色から大きくかけ離れると、それぞれの楽曲を聞いた利用者に違和感を与えるという問題があった。
【０００８】
つまり、特許文献１に記載のデータ編集装置では、楽曲Ａ'の印象を、編集前の楽曲Ａの印象から変更しつつも、楽曲Ａ'の音色を編集前の音色に維持することができない、つまり、楽曲音源の音色が大きく異なる場合には，アレンジの変化以上の聴感変化が生じてしまう、という問題があった。
【０００９】
そこで、本発明は、楽曲の印象を編集前の楽曲から変更したときに、編集前の楽曲の音色を可能な限り保持するように音楽を編集するプログラム、及び編集装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するためになされた本発明は、楽音波形取得手順と、採譜手順と、音源分離手順と、楽音分類手順と、楽譜編集手順と、波形変更手順とをコンピュータに実行させるプログラムに関する。
【００１１】
本発明のプログラムは、楽音波形取得手順にて、楽曲の一つである対象楽曲を構成する１つ１つの音である楽音が時間軸に沿って推移した波形（以下、楽音波形とする）を取得し、採譜手順にて、その取得した楽音波形を採譜することで、対象楽曲の楽譜データ（以下、対象楽譜データとする）を生成する。
【００１２】
ただし、本発明における楽譜データとは、楽曲にて用いられる音源である楽曲音源毎に出力される個々の出力音について、少なくとも音高及び出力タイミングが規定された楽譜トラックを備えるデータである。また、本発明における音源とは、音を出力する物体であり、例えば、楽器や人物（人の発声）を含む。そして、本発明において、音源のうち楽曲音源（即ち、出力音を出力する音源）は、楽譜データに基づいて音を出力する装置（例えば、ＭＩＤＩ音源）である。
【００１３】
さらに、音源分離手順にて、楽音波形取得手順で取得した楽音波形を、対象楽曲にて用いられる音源毎に出力された楽音が時間軸に沿って推移した波形（以下、楽器音波形）に分離する。すると、楽音分類手順にて、採譜手順で生成された対象楽譜データ、及び音源分離手順で分離した楽器音波形に基づいて、時間軸上の個々の音符に対応する楽器音波形での区間である単音波形を、該音符に対応する楽音の楽器種類と音高とに分類した情報である楽音分類情報として、音源の種類と対応付けて生成する。
【００１４】
一方、楽譜編集手順では、対象楽曲とは異なる楽曲である特定楽曲の楽譜データ（以下、特定楽譜データとする）を取得すると共に、予め生成された情報によって規定された音源に対応する楽譜トラックの少なくとも一部の楽音を、採譜手順で生成した対象楽譜データに含まれるものから、特定楽譜データに含まれるものへと変更した楽譜トラック（以下、変更楽譜トラックとする）を生成する。
【００１５】
その後、波形変更手順にて、変更楽譜トラックに対応する音源の種類の中で、変更楽譜トラックで規定された出力音に対しては、楽音分類情報を用いて、対応する楽音を表す特定音の楽器種類と音高との単音波形を時間軸に沿って配置することで、特定音が時間軸に沿って推移した波形である特定音波形を生成する。
【００１６】
このような本発明のプログラムによれば、対象楽曲にて用いられる音源にて演奏された楽音の一部、つまり楽音の波形を、特定楽曲の予め規定された楽曲の波形へと変更することができる。したがって、本発明のプログラムによれば、楽曲音源の種類によって生じる「音色」の違いを可能な限り排除しつつ、楽曲のアレンジによって生じる楽曲全体の印象の変化を際立たせることができる。
【００１７】
しかも、本発明のプログラムでは、対象楽曲の一部を変更する際に、対象楽曲のＭＩＤＩ楽譜情報を変更し、対象楽曲における楽音の波形を用いて、変更後の楽音である特定音が時間軸に沿って推移した特定音波形、即ち、変更後の楽曲のデータを波形出力として生成している。
【００１８】
よって、本発明のプログラムによれば、対象楽曲の一部を変更しても、その変更後の楽曲の音色については、変更前の楽曲の音色を可能な限り維持することができる。
すなわち、本発明のプログラムによれば、対象楽曲の音色を可能な限り保持しつつも、楽曲の印象を編集前の楽曲から変更した音楽を生成（編集）することができる。
【００１９】
なお、本発明のプログラムによれば、例えば、ＤＶＤ−ＲＯＭ、ＣＤ−ＲＯＭ、ハードディスク等のコンピュータ読み取り可能な記録媒体に当該プログラムを記録し、必要に応じてコンピュータにロードさせて起動することや、必要に応じて通信回線を介してコンピュータに取得させて起動することにより用いることができる。
【００２０】
また、本発明のプログラムにおける音源分離手順は、出力音取得手順と、補正量導出手順と、修正手順と、楽音解析手順と、修正音取得手順と、修正音解析手順と、振幅比率導出手順と、区間波形導出手順と、分離実行手順とをコンピュータに実行させても良い（請求項２）。
【００２１】
このうち、出力音取得手順では、採譜手順で生成された対象楽譜データに基づいて、全ての出力音が時間軸に沿って推移した波形（以下、出力音波形とする）を取得する。続く、補正量導出手順では、楽音波形の特性を表す楽音情報と、出力音波形の特性を表す出力音情報とを、楽音情報と出力音情報とが一致するように照合した結果に基づき、出力音の音高及び出力タイミングについて、対象楽譜データの補正量を導出する。
【００２２】
そして、修正手順では、その導出した補正量に従って、出力音を補正することで修正出力音へと修正した対象楽譜データである修正楽譜データを生成し、楽音解析手順では、楽音波形取得手順で取得した楽音波形に含まれる周波数と各周波数における強度とを表す楽音振幅スペクトルを、対象楽曲に時間軸に沿って単位時間毎に導出する。
【００２３】
さらに、修正音取得手順では、修正手順で生成された修正楽譜データにおける楽譜トラックの一つに規定された修正出力音が、修正楽譜データにおける時間軸に沿って推移した波形である修正音波形を取得する。続く、修正音解析手順では、その取得した修正音波形に含まれる周波数と各周波数における強度とを表す修正音振幅スペクトルを、修正楽譜データの時間軸に沿って単位時間毎に導出する。そして、振幅比率導出手順では、楽音振幅スペクトルでの周波数における強度と、修正音振幅スペクトルでの周波数における強度との比を表す振幅比率を、各周波数について導出する。
【００２４】
さらには、区間波形導出手順にて、振幅比率導出手順で導出された振幅比率それぞれを、楽音振幅スペクトルでの各周波数における強度に乗じた結果である分離スペクトルから、時間軸に沿った音の波形である区間波形を導出する。その後、分離実行手順にて、区間波形を対象楽曲の時間軸に沿って配することで、楽器音波形を生成する。
【００２５】
このような本発明のプログラムによれば、出力音の音高及び出力タイミングについて補正した後に導出した分離スペクトルから区間波形、ひいては、楽器音波形を生成するため、楽音波形からの楽器音波形の分離を精度良く実行することができる。
【００２６】
また、本発明のプログラムにおいて、楽譜編集手順は、変更楽譜トラックを生成するときに、対象楽譜データにおける楽譜トラックから、変更した変更点を表す変更点情報を、変更楽譜トラックの一部として生成しても良い。
【００２７】
この場合、本発明のプログラムにおける波形変更手順は、楽譜編集手順で生成された変更点情報によって表された変更点を、変更対象とする楽譜トラックに対応する楽器音波形に反映することで、特定音波形を生成しても良い（請求項３）。
【００２８】
このような本発明のプログラムによれば、変更点情報によって表された変更点について、変更対象とする楽譜トラックに対応する楽器音波形から変更することで、特定音波形を生成することができる。この結果、本発明のプログラムによれば、変更した箇所だけを処理するので、全体を処理するのに比べて、特定音波形の生成に要する処理量を低減できる。
【００２９】
さらに、本発明のプログラムにおいて、楽音分類手順は、音源毎に予め用意され、かつ各音源から出力される音の振幅スペクトルを表す楽音モデルを、楽器音波形の振幅スペクトルに照合した結果、一致度が最も高い楽音モデルに対応する音源の種類を、楽音分類情報と対応付けても良い（請求項４）。
【００３０】
このような楽音分類手順によれば、楽器音推移を演奏した音源の種類を確実に特定することができ、楽音分類情報と対応付けることができる。
また、本発明のプログラムにおいて、楽音分類手順は、該楽音の音高、音長、及び強さの組合せ毎に、単音波形を分類することで、楽音分類情報を生成しても良い（請求項５）。
【００３１】
このような本発明のプログラムによれば、対象楽曲を構成する楽音を、より詳細に分類することができる。
なお、本発明は、音楽（楽曲）を編集する編集装置としてなされたものでも良い（請求項６）。
【００３２】
このように、本発明が編集装置としてなされている場合、本発明の編集装置は、楽音波形取得手段と、採譜手段と、音源分離手段と、楽音分類手段と、楽譜編集手段と、波形変更手段とを備えていても良い。
【００３３】
ただし、本発明の編集装置においては、楽音波形取得手段が、楽曲の一つである対象楽曲を構成する１つ１つの音である楽音が時間軸に沿って推移した波形（即ち、楽音波形）を取得し、その取得した楽音波形を採譜することで、採譜手段が、対象楽曲の楽譜データ（即ち、対象楽譜データ）を生成する。そして、音源分離手段が、楽音波形取得手段で取得した楽音波形を、対象楽曲にて用いられる音源毎に出力された楽音が時間軸に沿って推移した波形（即ち、楽器音波形）に分離する。
【００３４】
さらに、楽音分類手段が、採譜手段で生成された対象楽譜データ、及び音源分離手段で分離した楽器音波形に基づいて、時間軸上の個々の音符に対応する楽器音波形での区間である単音波形を、該音符に対応する楽音の楽器種類と音高とに分類した情報である楽音分類情報として、前記音源の種類と対応付けて生成する。これと共に、楽譜編集手段が、対象楽曲とは異なる楽曲である特定楽曲の楽譜データ（即ち、特定楽譜データ）を取得すると共に、予め生成された情報によって規定された音源に対応する楽譜トラックの少なくとも一部の楽音を、採譜手段で生成した対象楽譜データに含まれるものから、特定楽譜データに含まれるものへと変更した楽譜トラック（即ち、変更楽譜トラック）を生成する。
【００３５】
すると、波形変更手段が、変更楽譜トラックに対応する音源の種類の中で、変更楽譜トラックで規定された出力音に対しては、楽音分類情報を用いて、対応する楽音を表す特定音の楽器種類と音高との単音波形を時間軸に沿って配置することで、特定音が時間軸に沿って推移した波形である特定音波形を生成する。
【００３６】
このような楽曲編集装置によれば、請求項１に記載のプログラムと同様の効果を得ることができる。
【図面の簡単な説明】
【００３７】
【図１】本発明が適用された編集装置の概略構成を示すブロック図である。
【図２】音楽編集処理の処理手順を示すフローチャートである。
【図３】音楽編集処理にて用いられる移植パターンを例示した図面である。
【図４】音楽編集処理にて実行される音源分離処理の処理手順を示すフローチャートである。
【図５】音源分離処理にて実行されるトラック分離処理の処理手順を示すフローチャートである。
【図６】音楽編集処理にて用いられる移植パターンの変形例を例示した図面である。
【発明を実施するための形態】
【００３８】
以下に本発明の実施形態を図面と共に説明する。
〈編集装置の構成について〉
本発明が適用された編集装置は、予め生成された１つの楽曲である対象楽曲Ａを編集するものである。具体的には、本実施形態の編集装置は、対象楽曲Ａに対応する音響データ、及び対象楽曲Ａとは別の楽曲として予め生成された特定楽曲Ｂに対応する楽譜データに基づき、対象楽曲Ａにおける一部の楽音を、特定楽曲Ｂにおける一部の楽音へと変更するように編集し、編集楽曲Ａ'に対応する楽譜データ及び音響データを生成する装置である。
【００３９】
この編集装置を実現するために、本実施形態の編集装置は、図１に示す情報処理装置１０によって構成されている。図１に示すように、情報処理装置１０は、通信部１１と、音響データ読取部１２と、入力受付部１３と、表示部１４と、音声入力部１５と、音声出力部１６と、音源モジュール１７と、記憶部１８と、制御部２０とを備えている。
【００４０】
このような編集装置を実現するための音響データは、楽曲にて用いられた全ての音源から出力される個々の楽音の音圧が時間軸に沿って推移した波形（以下、楽音波形と称す）を表すデータである。この音響データは、一般的に、ＣＤやＤＶＤなどの記憶媒体に記憶される。なお、ここで言う楽音とは、楽曲を構成する１つ１つの音（音符に対応する音）である。
【００４１】
また、楽譜データは、楽曲の楽譜を表すデータであり、例えば、周知のＭＩＤＩ（ｍｕｓｉｃａｌ ｉｎｓｔｒｕｍｅｎｔ ｄｅｉｇｉｔａｌ ｉｎｔｅｒｆａｃｅ）規格によって作成されている。
【００４２】
本実施形態における楽譜データは、対応する楽曲を区別するデータである識別データと、本発明の楽曲音源の一例である音源モジュール１７が演奏する楽譜を表した楽譜トラックとを少なくとも備えている。
【００４３】
このうち、各楽譜トラックは、個々の楽音に対応し、音源モジュール１７（例えば、ＭＩＤＩ音源）から出力される音である出力音について規定されている。その楽譜トラックに規定される内容として、少なくとも、個々の出力音を出力する期間（以下、音符長）、及び個々の出力音の音高（いわゆるノートナンバー）、個々の出力音の強さ（いわゆるアタック、ベロシティ、ディケイなど）がある。
【００４４】
ただし、楽譜トラックでの音符長は、当該出力音の出力を開始するまでの当該楽曲の演奏開始からの時刻を表す出力タイミング（いわゆるノートオンタイミング）と、当該出力音の出力を終了するまでの当該楽曲の演奏開始からの時刻を表す終了タイミング（いわゆるノートオフタイミング）とによって規定されている。なお、以下では、楽譜トラックに規定された出力音を演奏音とも称す。
【００４５】
次に、本実施形態の情報処理装置１０を構成する通信部１１は、情報処理装置１０をネットワーク（例えば、専用回線やＷＡＮ）に接続し、その接続されたネットワークを介して外部と通信を行うものである。
【００４６】
音響データ読取部１２は、記憶媒体に記憶されている音響データに基づいて、その音響データに対応する楽曲を構成する楽音の波形を読み取る装置（例えば、ＣＤやＤＶＤの読取装置）である。
【００４７】
そして、入力受付部１３は、外部からの操作に従って情報や指令の入力を受け付ける入力機器（例えば、キーボードやポインティングデバイス）である。表示部１４は、画像を表示する表示装置（例えば、液晶ディスプレイやＣＲＴ等）である。また、音声入力部１５は、音声を電気信号に変換して制御部２０に入力する装置（いわゆるマイクロホン）である。音声出力部１６は、制御部２０からの電気信号を音声に変換して出力する装置（いわゆるスピーカ）である。
【００４８】
音源モジュール１７は、楽譜データに基づいて、出力音を出力する装置であり、例えば、周知のＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）音源によって構成されている。そして、音源モジュール１７において、出力音として音が模擬される楽器は、鍵盤楽器（例えば、ピアノやパイプオルガンなど）、弦楽器（例えば、バイオリンやビオラ、ギター、琴など）、打楽器（例えば、ドラムやシンバル、ティンパニー、木琴など）、及び管楽器（例えば、クラリネットやトランペット、フルート、尺八など）などであり、予め登録されている。
【００４９】
また、記憶部１８は、記憶内容を読み書き可能に構成された不揮発性の記憶装置（例えば、ハードディスク装置）である。この記憶部１８には、特定楽曲Ｂに対応する楽譜データや処理プログラムが格納される。
【００５０】
さらに、制御部２０は、電源が切断されても記憶内容を保持する必要がある処理プログラムやデータを格納するＲＯＭ２１と、処理プログラムやデータを一時的に格納するＲＡＭ２２と、ＲＯＭ２１やＲＡＭ２２に記憶された処理プログラムに従って各処理（各種演算）を実行するＣＰＵ２３とを少なくとも有した周知のコンピュータを中心に構成されている。
【００５１】
なお、本実施形態における処理プログラムとして、対象楽曲Ａに対応する音響データ、及び特定楽曲Ｂに対応する楽譜データに基づいて、対象楽曲Ａにおける一部の楽音を、特定楽曲Ｂにおける一部の楽音へと変更して編集し、編集楽曲Ａ'に対応する音響データを生成する音楽編集処理を、制御部２０が実行する処理プログラムが予め用意されている。
〈音楽編集処理の処理内容について〉
次に、制御部２０が実行する音楽編集処理の処理内容について説明する。
【００５２】
この音楽編集処理は、入力受付部１３を介して音楽編集処理を起動するための起動指令が入力されると実行される。
そして、音楽編集処理は、起動されると、図２に示すように、音響データ読取部１２にて対象楽曲Ａに対応する音響データを読み取ることで、対象楽曲Ａの楽音波形を取得する（Ｓ１１０）。
【００５３】
続いて、Ｓ１１０にて取得した対象楽曲Ａの楽音波形に対して採譜処理を実行することで、対象楽曲Ａの楽音波形を採譜して、対象楽曲Ａにて用いられた音源（楽器）毎に楽譜トラック、ひいては、対象楽曲Ａに対応する楽譜データを生成する（Ｓ１２０）。以下、このＳ１２０にて生成される対象楽曲Ａの楽譜データを対象楽譜データと称す。
【００５４】
ただし、本実施形態の採譜処理には、楽譜トラック毎に対応する音源の種類を特定する処理（以下、音源特定処理とする）が含まれている。この音源特定処理を実行することで、対象楽譜データを構成する各楽譜トラックには、当該楽譜トラックに対応する音源（楽器）の種類が対応付けられる。
【００５５】
具体的に、音源特定処理では、採譜した結果である個々の音について、その各音の振幅スペクトルに、音源が出力する音の振幅スペクトルとして音源毎に予め用意された各楽音モデルを照合し、その照合した結果として類似度を導出する。そして、類似度が最も高い楽音モデルに対応する音源から出力された楽音であるものと特定し、その特定した音源の種類を楽譜トラックに対応付けている。
【００５６】
このように、音源特定処理において導出される類似度は、振幅スペクトルにおける周波数ピークや振幅スペクトルの包絡の波形といった振幅スペクトルの包絡同士の類似度合いである。そして、導出される類似度は、１つの楽譜トラックに対して１つの値、即ち、１つの楽譜トラックを構成する全ての出力音に対応する値が平均化されたものであることが好ましい。
【００５７】
なお、採譜処理において、楽音波形を採譜して楽譜データを生成する過程は、周知の処理であるため、ここでの詳しい説明は省略する。
さらに、対象楽曲Ａの楽音波形を、対象楽曲Ａにて用いられている音源毎に分離して、各音源からの楽音が時間軸に沿って推移した波形である楽器音波形を生成する音源分離処理を実行する（Ｓ１３０）。
【００５８】
その音源分離処理にて分離された楽器音波形、及びＳ１２０にて生成された対象楽譜データに基づいて、時間軸上の個々の音符（即ち、対象楽譜データを構成する楽譜トラックの各出力音）に対応する楽器音波形での区間である単音波形に関する情報である楽音分類情報を生成し、記憶部１８に記憶する音源推定処理を実行する（Ｓ１４０）。本実施形態の音源推定処理では、単音波形を、対応する音符（出力音）の楽器種類、音高、音の強さ（ベロシティなど）の組合せ毎に分類して、平均化した情報を楽音分類情報としている。
【００５９】
このＳ１４０にて生成された楽音分類情報が記憶された記憶部１８は、各音符（出力音）に対応する単音波形が、対応する音符（出力音）の楽器種類、音高、音の強さが紐付けられたデータベース（以下、音源ＤＢとも称す）として機能する。
【００６０】
なお、本実施形態のＳ１４０では、対象楽譜データにおける音符が和音である場合、その和音を構成する個々の音符毎に、楽音分類情報を生成する。このように和音を、当該和音を構成する個々の音符に分割する方法としては、和音を構成する個々の楽音の振幅スペクトルにおける周波数ピークを検出することなどが考えられる。
【００６１】
続いて、予め用意された特定楽曲Ｂの楽譜データを取得し（Ｓ１５０）、さらに、対象楽曲Ａから特定楽曲Ｂへと変更する内容（以下、変更内容とする）が予め規定された１つの移植パターン（本発明の「予め規定された情報」に相当）を取得する（Ｓ１６０）。
【００６２】
本実施形態における移植パターンは、楽曲毎に予め用意されたものであり、変更内容として、一部の楽譜トラックにおける少なくとも一つの楽音からなる区間（即ち、少なくとも１つの音符、以下、変更対象楽音とする）と、その変更対象楽音に対する変更の具体的な内容とを含む。
【００６３】
本実施形態における変更の具体的な内容とは、図３に示すように、対象楽曲Ａ（図３中：原曲）の内容を維持するか、特定楽曲Ｂ（図３中：適応曲）の内容へと変更するかが規定された情報である。さらに、本実施形態における変更対象楽音としては、例えば、図３に示すように、楽曲のメロディを構成する楽譜トラックや、楽曲のハーモニーを構成する楽譜トラック、楽曲のリズムを決定する楽譜トラックにおける少なくとも一部の楽音からなる区間が挙げられる。ただし、本実施形態の移植パターンでは、楽曲のメロディを構成する楽譜トラックに関する変更の具体的な内容は、対象楽曲Ａの内容を維持するように規定されている。
【００６４】
なお、本実施形態における変更対象楽音は、変更対象とする楽譜トラックを構成する全ての楽音（出力音）でも良いし、変更対象とする楽譜トラックを構成する一部の楽音でも良い。
【００６５】
続いて、Ｓ１６０にて取得した移植パターンに従って、対象楽曲Ａの楽譜データを編集し、編集楽曲Ａ'の楽譜データを生成する。（Ｓ１７０）。具体的には、本実施形態におけるＳ１７０では、Ｓ１６０にて取得した移植パターンにおける変更対象楽音を、その変更対象楽音についての「変更の具体的な内容」に従って、対象楽曲Ａの楽譜データの内容から特定楽曲Ｂの楽譜データの内容へと変更する。さらに、本実施形態のＳ１７０では、対象楽曲Ａの楽譜データから、編集楽曲Ａ'の楽譜データを生成する際に、対象楽曲Ａの楽譜データから変更した変更点（即ち、変更対象楽音をどのように変更したのかという点）を表す情報である変更点情報を生成する。
【００６６】
続いて、少なくともＳ１４０にて生成した楽音分類情報に基づいて、対象楽曲Ａの楽音波形を編集して、本発明の特定音波形に相当する編集楽曲Ａ'の楽音波形を生成する（Ｓ１８０）。具体的に、本実施形態のＳ１８０では、変更点情報によって表わされた変更点、即ち、変更対象楽音に対応する楽音である特定音について、音源ＤＢとして機能する記憶部１８に記憶されている音源波形の中から、その特定音に対応する単音波形を読み出す。その読み出した単音波形を、対象楽曲Ａの楽器音波形における対応する区間に置き換えることで、編集楽曲Ａ'の楽器音波形、ひいては、編集楽曲Ａ'全体の楽音波形を生成する。
【００６７】
さらに、Ｓ１７０で生成した編集楽曲Ａ'の楽譜データ、及びＳ１８０で生成した編集楽曲'の楽音波形を出力する（Ｓ１９０）。ここでの出力とは、記憶部１８に記憶することでも良いし、通信部１１を介して外部に出力することでも良いし、音声出力部１６などから演奏音を出力することでも良い。
【００６８】
その後、本音楽編集処理を終了する。
〈音源分離処理の処理内容について〉
次に、制御部２０が実行する音源分離処理について説明する。
【００６９】
図４に示すように、音源分離処理は、音楽編集処理のＳ１３０にて起動されると、対象楽曲Ａの楽譜データを取得する（Ｓ３１０）。
そして、Ｓ３１０にて取得した楽譜データと、先のＳ１１０にて取得した楽音波形とに基づいて、対象楽曲Ａを構成する楽音の音高に、演奏音の音高が一致するように、周波数軸方向に沿って当該楽譜データを修正する音高補正処理を実行する（Ｓ３２０）。具体的に、本実施形態のＳ３２０では、対象楽曲Ａを構成する楽音のパワースペクトルを楽音情報とし、対象楽曲Ａの演奏音のパワースペクトルを出力音情報として、それらのパワースペクトルが周波数軸に沿って一致する補正量を導出した上で、対象楽曲Ａの楽譜データを修正する。
【００７０】
以下、演奏音について修正が実行された楽譜データを修正楽譜データと称し、修正された演奏音を修正演奏音と称す。
さらに、音高補正処理によって、楽音の音高に音高が一致するように修正した修正演奏音の出力タイミングが、対象楽曲Ａの楽音の演奏開始タイミングに一致するように、時間軸方向に沿って修正楽譜データを修正する時間補正処理を実行する（Ｓ３３０）。具体的に、本実施形態のＳ３３０では、対象楽曲Ａを構成する楽音の非調波成分における振幅ピークを楽音情報とし、対象楽曲Ａの演奏音の非調波成分における振幅ピークを出力音情報として、それらの非調波成分における振幅ピークが時間軸に沿って一致する補正量を導出した上で、対象楽曲Ａの楽譜データを修正する。
【００７１】
続いて、時間補正処理によって、楽音の演奏開始タイミングに出力タイミングが一致するように修正した修正演奏音の強さが、楽音の強さ（即ち、音量）に一致するように、修正楽譜データを修正するための補正量である音量比率ｋｖを導出する音量補正処理を実行する（Ｓ３４０）。
【００７２】
そして、演奏音の音高や出力タイミングが修正された修正楽譜データ、及び音量比率を用いて、楽音波形から、一つの音源から出力された音が時間軸に沿って推移した波形である楽器音波形を生成するトラック分離処理を実行する（Ｓ３５０）。
【００７３】
その後、本音源分離処理を終了する。
〈トラック分離処理の処理内容について〉
次に、音源分離処理のＳ３５０にて起動されるトラック分離処理について説明する。
【００７４】
このトラック分離処理は、起動されると、図５に示すように、先のＳ１１０で取得した楽音波形の全体を、時間軸に沿って設定された分析時間ｔｗｉ毎に周波数解析（本実施形態では、離散フーリエ変換）し、その周波数解析の結果をＲＡＭ２２（または記憶部１８）に記憶する（Ｓ４１０）。このＳ４１０の周波数解析により、各分析時間ｔｗｉの楽音波形に含まれる周波数、及び各周波数における強度（以下、楽音スペクトル振幅値とする）ｔｕｓｐ（ｔｗｉ，ｆｉ）が、実数部及び虚数部の両方について導出される。また、符合ｆｉは、周波数の区分（即ち、離散フーリエ変換によって導出される周波数区分：単位［ｂｉｎ］）である。
【００７５】
次に、楽譜トラック毎に対応付けられたインデックス番号ｍｔｉを初期値（本実施形態では、初期値＝０）に設定する（Ｓ４２０）。続いて、設定されている楽譜トラックのインデックス番号（以下、設定インデックスとする）ｍｔｉが、対象楽譜データにおける最大のインデックス番号（以下、最終インデックス）ＭＴＮ未満であるか否かを判定する（Ｓ４３０）。
【００７６】
そのＳ４３０での判定の結果、設定インデックスｍｔｉが最終インデックスＭＴＮ未満であれば（Ｓ４３０：ＹＥＳ）、設定インデックスｍｔｉを１つインクリメントする（Ｓ４４０）。続いて、楽器音波形を初期値に設定する（Ｓ４５０）。本実施形態において、楽器音波形の初期値は、音圧が時間軸に沿って全て「０」に設定されたゼロ波形である。
【００７７】
そして、設定インデックスｍｔｉに対応する楽譜トラックの演奏音のインデックス番号（以下、演奏音インデックスとする）ｎｉを初期値（本実施形態では、０とする）に設定する（Ｓ４６０）。続いて、演奏音インデックスｎｉが、設定インデックスｍｔｉに対応する楽譜トラックにおいて、最大のインデックス番号（以下、最終演奏音とする）ＮＮＰＴ（ｍｔｉ）未満であるか否かを判定する（Ｓ４７０）。
【００７８】
そのＳ４７０での判定の結果、演奏音インデックスｎｉが、最終演奏音ＮＮＰＴ（ｍｔｉ）未満であれば（Ｓ４７０：ＹＥＳ）、演奏音インデックスｎｉを規定数インクリメントする（Ｓ４８０）。続いて、今回のＳ４８０でインクリメントされた規定数の演奏音インデックスｎｉに対応する演奏音が、時間軸に沿って推移した波形である修正音波形を取得する（Ｓ４９０）。
【００７９】
そして、取得した修正音波形を、時間軸に沿って設定された分析時間ｔｗｉ毎に周波数解析（ここでは、離散フーリエ変換）する（Ｓ５００）。この周波数解析の結果、修正音波形における分析時間ｔｗｉに含まれる周波数毎に、その周波数における強度（以下、スペクトル振幅値）ｎｔｓｐ（ｔｗｉ，ｆｉ）が、実数部及び虚数部の両方について導出される。
【００８０】
続いて、先の音量補正量導出処理で導出された音量比率ｋｖを、個々のスペクトル振幅値ｎｔｓｐ（ｔｗｉ，ｆｉ）に乗じた修正音スペクトル振幅値ｎｔｓｐ＿ｎ（ｔｗｉ，ｆｉ）を導出する（Ｓ５１０）。その修正音スペクトル振幅値ｎｔｓｐ＿ｎ（ｔｗｉ，ｆｉ）と、楽音スペクトル振幅値ｔｕｓｐ（ｔｗｉ，ｆｉ）との比を表す振幅比率ｋｒ（ｔｗｉ，ｆｉ）を導出する（Ｓ５２０）。本実施形態のＳ５２０では、振幅比率ｋｒを、周波数区分ｆｉ毎に導出する。ただし、振幅比率ｋｒ（ｔｗｉ，ｆｉ）の値は、修正音スペクトル振幅値ｎｔｓｐ（ｔｗｉ，ｆｉ）が、楽音スペクトル振幅値ｔｕｓｐ（ｔｗｉ，ｆｉ）よりも大きければ、「１」とし、修正音スペクトル振幅値ｎｔｓｐ（ｔｗｉ，ｆｉ）が、楽音スペクトル振幅値ｔｕｓｐ（ｔｗｉ，ｆｉ）よりも小さければ、両スペクトル振幅値の比としている。
【００８１】
そして、楽音スペクトル振幅値ｔｕｓｐ（ｔｗｉ，ｆｉ）に、振幅比率ｋｒを乗算して分離スペクトル振幅値ｎｔｃｐｓｐ（ｔｗｉ，ｆｉ）、即ち、分離スペクトルを導出する（Ｓ５３０）。具体的には、このＳ５３０では、実数部及び虚数部それぞれの楽音スペクトル振幅値ｔｕｓｐ（ｔｗｉ，ｆｉ）に、分析時間ｔｗｉと周波数区分ｆｉとの組み合わせに対応する振幅比率ｋｒ（ｔｗｉ，ｆｉ）を乗算する。
【００８２】
さらに、Ｓ５３０にて導出された分離スペクトル振幅値ｎｔｃｐｓｐ（ｔｗｉ，ｆｉ）を、ＲＡＭ２２（または記憶部１８）に記憶され、対応する時間（期間）における楽音スペクトル振幅値ｔｕｓｐから減算することで、ＲＡＭ２２（または記憶部１８）に記憶された楽音スペクトル振幅値ｔｕｓｐを新たな楽音スペクトル振幅値ｔｕｓｐへと更新する（Ｓ５４０）。
【００８３】
続いて、分離スペクトル振幅値ｎｔｃｐｓｐ（ｔｗｉ，ｆｉ）を逆離散フーリエ変換（ＩＤＦＴ）して、区間波形を導出する（Ｓ５５０）。そして、初期値に設定されている楽器音波形のうち、対応する区間について、Ｓ５５０で導出された区間波形へと置き換えることで、新たな楽器音波形へと更新する（Ｓ５６０）。
【００８４】
その後、Ｓ４７０へと戻り、演奏音インデックスｎｉが、設定インデックスｍｔｉにおける最終演奏音ＮＮＰＴ（ｍｔｉ）未満であれば（Ｓ４７０：ＹＥＳ）、Ｓ４７０からＳ５６０のステップを繰り返す。そして、演奏音インデックスｎｉが、設定インデックスｍｔｉにおける最終演奏音ＮＮＰＴ（ｍｔｉ）以上となると（Ｓ４７０：ＮＯ）、その時点での楽器音波形を記憶部１８に記憶する（Ｓ５７０）。すなわち、音響データから、対象トラックに対応する音源から出力される音（つまり、楽器音波形）を分離し終えると、Ｓ５７０を経てＳ４３０へと戻る。
【００８５】
そのＳ５７０を経て戻ったＳ４３０では、設定インデックスｍｔｉが、最終インデックスＭＴＮ未満であれば（Ｓ４３０：ＹＥＳ）、Ｓ４４０からＳ５７０のステップを繰り返す。そして、設定されている設定インデックスｍｔｉが、最終インデックスＭＴＮ以上となると（Ｓ４３０：ＮＯ）、本音源分離処理を終了する。すなわち、楽譜データに含まれる全ての楽譜トラックについて、音響データから楽器音波形を生成して分離し終えると、本音源分離処理を終了する。
［実施形態の効果］
以上説明したように、本実施形態の編集装置１によれば、対象楽曲Ａにて用いられる音源にて演奏された楽音の一部を、特定楽曲Ｂの予め規定された楽音へと変更することができる。したがって、本実施形態の編集装置１によれば、聴取者による対象楽曲Ａの聴感上の印象を、変更前の楽音の波形での曲の印象から、楽音の波形が変更された後の曲の印象へと、変えることができる。
【００８６】
しかも、本実施形態の編集装置１では、対象楽曲Ａの一部を変更する際に、対象楽曲Ａの楽譜データを変更して曲の演奏出力を変えるのではなく、対象楽曲Ａにおける楽音の波形を用いて、変更後の楽音である特定音が時間軸に沿って推移した特定音波形、即ち、編集楽曲Ｂを波形出力として生成している。
【００８７】
よって、本実施形態の編集装置１によれば、対象楽曲Ａの一部を変更しても、その変更後の楽曲（即ち、編集楽曲Ａ'）の音色については、対象楽曲Ａの音色を可能な限り維持することができる。
【００８８】
すなわち、本実施形態の編集装置１によれば、対象楽曲Ａの音色を可能な限り保持しつつも、楽曲の印象を編集前の楽曲から変更した音楽（即ち、編集楽曲Ａ'）を生成（編集）することができる。
【００８９】
なお、本実施形態の編集装置１では、変更対象とする楽譜トラックに対応する楽器音波形を、変更点情報によって表された変更点についてのみ変更することで、特定音波形を生成することができる。この結果、本実施形態の編集装置１によれば、対象楽曲Ａから変更した箇所だけを処理するので、楽曲全体を処理する場合に比べて、特定音波形の生成に要する処理量を低減できる。
［その他の実施形態］
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。
【００９０】
例えば、上記実施形態における移植パターンの変更対象楽音は、楽曲のメロディを構成する楽譜トラックや、楽曲のハーモニーを構成する楽譜トラックにおける少なくとも一部の楽音が規定されていたが、変更対象楽音は、これに限るものではない。つまり、変更対象楽音として、図６に示すように、ボーカルに対応する楽譜トラックや、メインバッキングに対応する楽譜トラック、ベースに対応する楽譜トラック、ドラムに対応する楽譜トラックを構成する楽音などが規定されていても良い。さらに、上記実施形態における移植パターンによって対象楽曲Ａから特定楽曲Ｂに変更可能な音楽の要素として、楽曲のテンポや、楽曲の拍子、楽曲の曲構造、音楽のキー、楽曲のコード進行などが含まれていても良い。
【００９１】
ただし、移植パターンが図６に示すように構成されている場合であっても、楽曲のメロディ関連する音楽の要素（図６では、拍子、曲構造、キーなど）に関しては、対象楽曲Ａの内容を維持するように、「具体的な変更内容」が規定されていることが好ましい。
【００９２】
なお、上記実施形態の音源分離処理におけるＳ１４０では、対象楽曲Ａにて用いられた楽音についてのみ、楽音分類情報を生成していたが、この楽音分類情報は、対象楽曲Ａにて用いられていない楽音の単音波形についても、対象楽曲Ａにて用いられた楽音の単音波形から近似するように生成しても良い。このように、対象楽曲Ａにて用いられていない楽音の単音波形について、対象楽曲Ａにて用いられた楽音の単音波形から近似して生成する手法は、周知（例えば、特開２００６−０７１８０６号）であるため、ここでの詳しい説明は省略する。ただし、対象楽曲Ａにて用いられていない楽音の単音波形について、対象楽曲Ａにて用いられた楽音の単音波形から近似して生成する際には、当該楽音に対応する演奏音のアタックの位置などは、基礎とした楽音のアタックの位置を維持することが好ましい。
【００９３】
また、音楽編集処理における音源分離処理は、上記実施形態の手法に限るものではなく、楽音波形から、各音源について楽器音波形を分離可能であれば、どのような手法を用いても良い。
【００９４】
さらに、上記実施形態の編集装置では、編集楽曲Ａ'に対応する楽譜データ及び音響データの両方を生成していたが、生成するデータは、編集楽曲Ａ'に対応する音響データのみでも良い。
［実施形態と特許請求の範囲との対応関係］
最後に、上記実施形態の記載と、特許請求の範囲の記載との関係を説明する。
【００９５】
上記実施形態の音楽編集処理におけるＳ１１０が、本発明の楽音波形取得手順に相当し、音楽編集処理におけるＳ１２０が、本発明の採譜手順に相当し、音楽編集処理におけるＳ１３０が、本発明の音源分離手順に相当する。さらに、音楽編集処理におけるＳ１４０が、本発明の楽音分離手順に相当し、音楽編集処理におけるＳ１５０からＳ１７０が、本発明の楽譜編集手順に相当し、音楽編集処理のＳ１８０が、波形変更手順に相当する。
【符号の説明】
【００９６】
１０…情報処理装置 １１…通信部 １２…音響データ読取部 １３…入力受付部 １４…表示部 １５…音声入力部 １６…音声出力部 １７…音源モジュール １８…記憶部 ２０…制御部 ２１…ＲＯＭ ２２…ＲＡＭ ２３…ＣＰＵ
【特許請求の範囲】
【請求項１】
楽曲の一つである対象楽曲を構成する１つ１つの音である楽音が時間軸に沿って推移した波形である楽音波形を取得する楽音波形取得手順と、
楽曲にて用いられる音源である楽曲音源毎に出力される個々の出力音について、少なくとも音高及び出力タイミングが規定された楽譜トラックを備えるデータを楽譜データとし、前記楽音波形取得手順で取得した楽音波形を採譜することで、前記対象楽曲の楽譜データである対象楽譜データを生成する採譜手順と、
前記楽音波形取得手順で取得した楽音波形を、対象楽曲にて用いられる音源毎に出力された楽音が時間軸に沿って推移した波形である楽器音波形に分離する音源分離手順と、
前記採譜手順で生成された対象楽譜データ、及び前記音源分離手順で分離した楽器音波形に基づいて、各楽音に対応する前記楽器音波形での、時間軸上の個々の音符に対応する区間である単音波形を、対応する楽音の楽器種類と音高とに分類した情報である楽音分類情報として、前記音源の種類と対応付けて生成する楽音分類手順と、
前記対象楽曲とは異なる楽曲である特定楽曲の楽譜データである特定楽譜データを取得し、予め生成された情報によって規定された音源に対応する楽譜トラックの少なくとも一部の楽音を、前記採譜手順で生成した対象楽譜データに含まれるものから、前記特定楽譜データに含まれるものへと変更した楽譜トラックである変更楽譜トラックを生成する楽譜編集手順と、
前記変更楽譜トラックに対応する前記音源の種類の中で、前記変更楽譜トラックで規定された出力音に対しては、前記楽音分類情報を用いて、対応する楽音を表す特定音の楽器種類と音高との単音波形を時間軸に沿って配置することで、前記特定音が時間軸に沿って推移した波形である特定音波形を生成する波形変更手順と
をコンピュータに実行させることを特徴とするプログラム。
【請求項２】
前記音源分離手順は、
前記採譜手順で生成された対象楽譜データに基づいて、全ての出力音が時間軸に沿って推移した波形である出力音波形を取得する出力音取得手順と、
前記楽音波形取得手順にて取得した楽音波形の特性を表す楽音情報と、前記出力音取得手順にて取得した出力音波形の特性を表す出力音情報とを、前記楽音情報と前記出力音情報とが一致するように照合した結果に基づき、前記出力音の音高及び出力タイミングについて、前記対象楽譜データの補正量を導出する補正量導出手順と、
前記補正量導出手順にて導出した補正量に従って、前記出力音を補正することで修正出力音へと修正した前記対象楽譜データである修正楽譜データを生成する修正手順と、
前記楽音波形取得手順で取得した楽音波形に含まれる周波数と各周波数における強度とを表す楽音振幅スペクトルを、前記対象楽曲に時間軸に沿って単位時間毎に導出する楽音解析手順と、
前記修正手順で生成された修正楽譜データにおける楽譜トラックの一つに規定された前記修正出力音が、前記修正楽譜データにおける時間軸に沿って推移した波形である修正音波形を取得する修正音取得手順と、
前記修正音取得手順で取得した修正音波形に含まれる周波数と各周波数における強度とを表す修正音振幅スペクトルを、前記修正楽譜データの時間軸に沿って単位時間毎に導出する修正音解析手順と、
前記楽音解析手順で導出された楽音振幅スペクトルでの周波数における強度と、前記修正音解析手順で導出された修正音振幅スペクトルでの周波数における強度との比を表す振幅比率を、各周波数について導出する振幅比率導出手順と、
前記振幅比率導出手順で導出された振幅比率それぞれを、前記楽音振幅スペクトルでの各周波数における強度に乗じた結果である分離スペクトルから、時間軸に沿った音の波形である区間波形を導出する区間波形導出手順と、
前記区間波形導出手順にて導出した区間波形を前記対象楽曲の時間軸に沿って配することで、前記楽器音波形を生成する分離実行手順とを
コンピュータに実行させることを特徴とする請求項１に記載のプログラム。
【請求項３】
前記楽譜編集手順は、
前記変更楽譜トラックを生成するときに、前記対象楽譜データにおける楽譜トラックから、変更した変更点を表す変更点情報を、前記変更楽譜トラックの一部として生成し、
前記波形変更手順は、
前記楽譜編集手順で生成された変更点情報によって表された変更点を、変更対象とする楽譜トラックに対応する楽器音波形に反映することで、前記特定音波形を生成する
ことを特徴とする請求項１または請求項２に記載のプログラム。
【請求項４】
前記楽音分類手順は、
音源毎に予め用意され、かつ各音源から出力される音の振幅スペクトルを表す楽音モデルを、前記楽器音波形の振幅スペクトルに照合した結果、一致度が最も高い楽音モデルに対応する音源の種類を、前記楽音分類情報と対応付けることを特徴とする請求項１から請求項３のいずれか一項に記載のプログラム。
【請求項５】
前記楽音分類手順は、
該楽音の音高、音長、及び強さの組合せ毎に、前記単音波形を分類することで、前記楽音分類情報を生成することを特徴とする請求項１から請求項４のいずれか一項に記載のプログラム。
【請求項６】
楽曲の一つである対象楽曲を構成する１つ１つの音である楽音が時間軸に沿って推移した波形である楽音波形を取得する楽音波形取得手段と、
楽曲にて用いられる音源である楽曲音源毎に出力される個々の出力音について、少なくとも音高及び出力タイミングが規定された楽譜トラックを備えるデータを楽譜データとし、前記楽音波形取得手段で取得した楽音波形を採譜することで、前記対象楽曲の楽譜データである対象楽譜データを生成する採譜手段と、
前記楽音波形取得手段で取得した楽音波形を、対象楽曲にて用いられる音源毎に出力された楽音が時間軸に沿って推移した波形である楽器音波形に分離する音源分離手段と、
前記採譜手段で生成された対象楽譜データ、及び前記音源分離手段で分離した楽器音波形に基づいて、各楽音に対応する前記楽器音波形での、時間軸上の個々の音符に対応する区間である単音波形を、対応する楽音の楽器種類と音高とに分類した情報である楽音分類情報として、前記音源の種類と対応付けて生成する楽音分類手段と、
前記対象楽曲とは異なる楽曲である特定楽曲の楽譜データである特定楽譜データを取得し、予め生成された情報によって規定された音源に対応する楽譜トラックの少なくとも一部の楽音を、前記採譜手段で生成した対象楽譜データに含まれるものから、前記特定楽譜データに含まれるものへと変更した楽譜トラックである変更楽譜トラックを生成する楽譜編集手段と、
前記変更楽譜トラックに対応する前記音源の種類の中で、前記変更楽譜トラックで規定された出力音に対しては、前記楽音分類情報を用いて、対応する楽音を表す特定音の楽器種類と音高との単音波形を時間軸に沿って配置することで、前記特定音が時間軸に沿って推移した波形である特定音波形を生成する波形変更手段と
を備えることを特徴とする編集装置。
【請求項１】
楽曲の一つである対象楽曲を構成する１つ１つの音である楽音が時間軸に沿って推移した波形である楽音波形を取得する楽音波形取得手順と、
楽曲にて用いられる音源である楽曲音源毎に出力される個々の出力音について、少なくとも音高及び出力タイミングが規定された楽譜トラックを備えるデータを楽譜データとし、前記楽音波形取得手順で取得した楽音波形を採譜することで、前記対象楽曲の楽譜データである対象楽譜データを生成する採譜手順と、
前記楽音波形取得手順で取得した楽音波形を、対象楽曲にて用いられる音源毎に出力された楽音が時間軸に沿って推移した波形である楽器音波形に分離する音源分離手順と、
前記採譜手順で生成された対象楽譜データ、及び前記音源分離手順で分離した楽器音波形に基づいて、各楽音に対応する前記楽器音波形での、時間軸上の個々の音符に対応する区間である単音波形を、対応する楽音の楽器種類と音高とに分類した情報である楽音分類情報として、前記音源の種類と対応付けて生成する楽音分類手順と、
前記対象楽曲とは異なる楽曲である特定楽曲の楽譜データである特定楽譜データを取得し、予め生成された情報によって規定された音源に対応する楽譜トラックの少なくとも一部の楽音を、前記採譜手順で生成した対象楽譜データに含まれるものから、前記特定楽譜データに含まれるものへと変更した楽譜トラックである変更楽譜トラックを生成する楽譜編集手順と、
前記変更楽譜トラックに対応する前記音源の種類の中で、前記変更楽譜トラックで規定された出力音に対しては、前記楽音分類情報を用いて、対応する楽音を表す特定音の楽器種類と音高との単音波形を時間軸に沿って配置することで、前記特定音が時間軸に沿って推移した波形である特定音波形を生成する波形変更手順と
をコンピュータに実行させることを特徴とするプログラム。
【請求項２】
前記音源分離手順は、
前記採譜手順で生成された対象楽譜データに基づいて、全ての出力音が時間軸に沿って推移した波形である出力音波形を取得する出力音取得手順と、
前記楽音波形取得手順にて取得した楽音波形の特性を表す楽音情報と、前記出力音取得手順にて取得した出力音波形の特性を表す出力音情報とを、前記楽音情報と前記出力音情報とが一致するように照合した結果に基づき、前記出力音の音高及び出力タイミングについて、前記対象楽譜データの補正量を導出する補正量導出手順と、
前記補正量導出手順にて導出した補正量に従って、前記出力音を補正することで修正出力音へと修正した前記対象楽譜データである修正楽譜データを生成する修正手順と、
前記楽音波形取得手順で取得した楽音波形に含まれる周波数と各周波数における強度とを表す楽音振幅スペクトルを、前記対象楽曲に時間軸に沿って単位時間毎に導出する楽音解析手順と、
前記修正手順で生成された修正楽譜データにおける楽譜トラックの一つに規定された前記修正出力音が、前記修正楽譜データにおける時間軸に沿って推移した波形である修正音波形を取得する修正音取得手順と、
前記修正音取得手順で取得した修正音波形に含まれる周波数と各周波数における強度とを表す修正音振幅スペクトルを、前記修正楽譜データの時間軸に沿って単位時間毎に導出する修正音解析手順と、
前記楽音解析手順で導出された楽音振幅スペクトルでの周波数における強度と、前記修正音解析手順で導出された修正音振幅スペクトルでの周波数における強度との比を表す振幅比率を、各周波数について導出する振幅比率導出手順と、
前記振幅比率導出手順で導出された振幅比率それぞれを、前記楽音振幅スペクトルでの各周波数における強度に乗じた結果である分離スペクトルから、時間軸に沿った音の波形である区間波形を導出する区間波形導出手順と、
前記区間波形導出手順にて導出した区間波形を前記対象楽曲の時間軸に沿って配することで、前記楽器音波形を生成する分離実行手順とを
コンピュータに実行させることを特徴とする請求項１に記載のプログラム。
【請求項３】
前記楽譜編集手順は、
前記変更楽譜トラックを生成するときに、前記対象楽譜データにおける楽譜トラックから、変更した変更点を表す変更点情報を、前記変更楽譜トラックの一部として生成し、
前記波形変更手順は、
前記楽譜編集手順で生成された変更点情報によって表された変更点を、変更対象とする楽譜トラックに対応する楽器音波形に反映することで、前記特定音波形を生成する
ことを特徴とする請求項１または請求項２に記載のプログラム。
【請求項４】
前記楽音分類手順は、
音源毎に予め用意され、かつ各音源から出力される音の振幅スペクトルを表す楽音モデルを、前記楽器音波形の振幅スペクトルに照合した結果、一致度が最も高い楽音モデルに対応する音源の種類を、前記楽音分類情報と対応付けることを特徴とする請求項１から請求項３のいずれか一項に記載のプログラム。
【請求項５】
前記楽音分類手順は、
該楽音の音高、音長、及び強さの組合せ毎に、前記単音波形を分類することで、前記楽音分類情報を生成することを特徴とする請求項１から請求項４のいずれか一項に記載のプログラム。
【請求項６】
楽曲の一つである対象楽曲を構成する１つ１つの音である楽音が時間軸に沿って推移した波形である楽音波形を取得する楽音波形取得手段と、
楽曲にて用いられる音源である楽曲音源毎に出力される個々の出力音について、少なくとも音高及び出力タイミングが規定された楽譜トラックを備えるデータを楽譜データとし、前記楽音波形取得手段で取得した楽音波形を採譜することで、前記対象楽曲の楽譜データである対象楽譜データを生成する採譜手段と、
前記楽音波形取得手段で取得した楽音波形を、対象楽曲にて用いられる音源毎に出力された楽音が時間軸に沿って推移した波形である楽器音波形に分離する音源分離手段と、
前記採譜手段で生成された対象楽譜データ、及び前記音源分離手段で分離した楽器音波形に基づいて、各楽音に対応する前記楽器音波形での、時間軸上の個々の音符に対応する区間である単音波形を、対応する楽音の楽器種類と音高とに分類した情報である楽音分類情報として、前記音源の種類と対応付けて生成する楽音分類手段と、
前記対象楽曲とは異なる楽曲である特定楽曲の楽譜データである特定楽譜データを取得し、予め生成された情報によって規定された音源に対応する楽譜トラックの少なくとも一部の楽音を、前記採譜手段で生成した対象楽譜データに含まれるものから、前記特定楽譜データに含まれるものへと変更した楽譜トラックである変更楽譜トラックを生成する楽譜編集手段と、
前記変更楽譜トラックに対応する前記音源の種類の中で、前記変更楽譜トラックで規定された出力音に対しては、前記楽音分類情報を用いて、対応する楽音を表す特定音の楽器種類と音高との単音波形を時間軸に沿って配置することで、前記特定音が時間軸に沿って推移した波形である特定音波形を生成する波形変更手段と
を備えることを特徴とする編集装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−７８４１２（Ｐ２０１２−７８４１２Ａ）
【公開日】平成２４年４月１９日（２０１２．４．１９）
【国際特許分類】
【出願番号】特願２０１０−２２１０３９（Ｐ２０１０−２２１０３９）
【出願日】平成２２年９月３０日（２０１０．９．３０）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
【公開日】平成２４年４月１９日（２０１２．４．１９）
【国際特許分類】
【出願日】平成２２年９月３０日（２０１０．９．３０）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
[ Back to top ]