楽曲のグルーピング構造の自動分析方法および装置、ならびにプログラムおよびこのプログラムを記録した記録媒体
【課題】階層的なグルーピングを行えるようにする。
【解決手段】メロディを構成する個々の音の特性を示す楽曲データが入力される楽曲データ入力ステップＳ１と、入力された楽曲データに示される連続した個々の音の特性が変化する箇所を検出しメロディの局所的境界とする局所的境界検出ステップＳ２と、検出された局所的境界に基づいてメロディを分割することによりメロディの階層的なグルーピング構造を分析するグルーピング構造分析ステップＳ３と、分析結果を出力する分析結果出力ステップＳ４とを備える。
【解決手段】メロディを構成する個々の音の特性を示す楽曲データが入力される楽曲データ入力ステップＳ１と、入力された楽曲データに示される連続した個々の音の特性が変化する箇所を検出しメロディの局所的境界とする局所的境界検出ステップＳ２と、検出された局所的境界に基づいてメロディを分割することによりメロディの階層的なグルーピング構造を分析するグルーピング構造分析ステップＳ３と、分析結果を出力する分析結果出力ステップＳ４とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、楽曲のグルーピング構造の自動分析方法および装置に関し、より詳しくは、連続したメロディをフレーズやモチーフなどに階層的に分割するグルーピング構造分析を自動的に行う方法および装置に関する。
【背景技術】
【０００２】
人間が音楽を聴くとき、初めて聞くような旋律でも心地よく感じたり、音が外れているように聞こえるのはなぜだろうか、このような問いに対する研究は古くから行われてきた。その中で、楽曲を音符列という符号化された情報である視点から構造的に分析し、音楽認識を客観的に捉えようという理論がある。Generative Theory of Tonal Music（ＧＴＴＭ）は、そのような理論の中の一つであり、様々な理由により計算機上での自動化が有望視されている。ＧＴＴＭによる楽曲の分析が自動化されれば、これまでの音楽検索エンジンとは違ったアプローチによる楽曲検索エンジンの作成や、自動伴奏システム、作曲支援などへの応用が期待できる。
【０００３】
ＧＴＴＭは、グルーピング構造分析、拍節構造分析、タイムスパン簡約、プロロンゲーション簡約という４つのサブ理論から構成される。このうち、グルーピング構造分析は、連続したメロディをフレーズやモチーフなどに階層的に分割するものであり、長いメロディを歌うときにどこで息継ぎすべきかを見つけるような分析である。
ＧＴＴＭにはさらに、グルーピング構成ルール（Grouping Well-Formedness Rules：ＧＷＦＲ）と、グルーピング選好ルール（Grouping Preference Rules：ＧＰＲ）という２種類のグルーピングに関するルールがある。ＧＷＦＲは、グルーピング構造が成立するために必要な条件の制約であり、ＧＰＲは、ＧＷＦＲが成り立つグルーピング構造が複数存在する場合に、どれが好ましいかを示すルールである（例えば、非特許文献１を参照）。
【０００４】
ＧＰＲはさらに、ＧＰＲ１（alternative form）、ＧＰＲ２（proximity）、ＧＰＲ３（change）、ＧＰＲ４（intensification）、ＧＰＲ５（symmetry）、ＧＰＲ６（parallelism）、ＧＰＲ７（time-span and prolongational stability）という７つのルールから構成される。ＧＰＲ１〜３は、局所的な境界を求めるためのルールであり、ＧＰＲ４〜７は、高次の境界を求め階層的なグルーピングを行うためのルールに２分できる。さらに、ＧＰＲ２は、（ａ）（slur/rest）および（ｂ）（attack-point）の２通りに分かれ、ＧＰＲ３は、（ａ）（register）、（ｂ）（dynamics）、（ｃ）（articulation）および（ｄ）（length）の４通りに分かれる。
【０００５】
上述したＧＴＴＭは、元々計算機上への実装を目指した理論ではない。このため、計算機上での自動化には多くの問題があり、この問題を解決すべく様々な技術が提案されている。その一例として、非特許文献２に記載された技術では、ＧＰＲ２〜３の適用対象を絞り込むために、次のような前処理を行っている。
・隣接音を接続するボイスリーディングを導入する。具体的には、上下２半音以内の隣接音に対してボイスリーディングが成立しているとし、そのような隣接音をすべて時間順に接続する。
・主旋律を捉えるために、第一声部（最も高い音）に限り、ボイスリーディングの成立不成立にかかわらず、隣接音を接続する。
【０００６】
また、非特許文献３に記載された技術では、ＧＰＲ２〜３の適用対象を絞り込むために、さらに次のような隣接音を判定するヒューリスティクスを導入している。
・着目している音から１２半音以内の後続音を隣接音接続する。
・着目している音から４拍以内の後続音を隣接音接続する。
・後続音が半音的に変化している場合には、隣接音接続しない。
・着目している音と後続音との間に一定比率以上オンセット時間に差がある場合には、隣接音接続しない。
・着目している音と後続音との間で音高差／時間差が一定値以上である場合には、隣接音接続しない。
【０００７】
なお、出願人は、本明細書に記載した先行技術文献情報で特定される先行技術文献以外には、本発明に関連する先行技術文献を出願時までに発見するには至らなかった。
【非特許文献１】平田，青柳，音楽理論ＧＴＴＭに基づく多声音楽の表現手法と基本演算，（社）情報処理学会論文誌，ｖｏｌ．４３，Ｎｏ．２（２００２）
【非特許文献２】井田，平田，東条，ＧＴＴＭに基づくグルーピング構造及び拍節構造の自動分析の試み，（社）情報処理学会音楽情報科学研究会，２００１−ＭＵＳ−４２，ｐｐ．４９−５４（２００１）
【非特許文献３】東洋，平田，東条，佐藤，グルーピング規則適用を改良したＧＴＴＭの実装，（社）情報処理学会音楽情報科学研究会，２００２−ＭＵＳ−４７，ｐｐ．１２１−１２６（２００２）
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上述した従来の技術は、グルーピング選好ルールＧＰＲ２〜３に関するものであるが、ルールの適用順序が決まっていないので、ルール間の競合がしばしば起こる。このため、従来の技術を用いて楽曲のグルーピング構造分析を行っても、楽曲の認識率が低いという問題があった。
また、従来の技術はメロディの局所的な境界を求めることに主眼を置いていたため、階層的なグルーピング構造を得ることができないという問題があった。
【０００９】
本発明は、このような課題を解決するためになされたものであり、その目的は、ルール間の競合が起こらないようにすることにある。
また、他の目的は、階層的なグルーピングを適切に行えるようにすることにある。
【課題を解決するための手段】
【００１０】
このような目的を達成するために、本発明に係る楽曲のグルーピング構造の自動分析方法は、メロディを構成する個々の音の特性を示す楽曲データが入力される楽曲データ入力ステップと、楽曲データに示される連続した個々の音の特性が変化する箇所を検出しメロディの局所的境界とする局所的境界検出ステップと、局所的境界に基づいてメロディを分割することによりメロディの階層的なグルーピング構造を検出するグルーピング構造検出ステップとを備えることを特徴とする。
【００１１】
ここで、局所的境界検出ステップおよびグルーピング構造検出ステップが、複数の評価指標と、それぞれの評価指標に対する重み付けを調節するパラメータとに基づいて、音の特性の変化の度合いを局所的境界の深さとして数値化するようにしてもよい。
また、局所的境界検出ステップが、変化の度合いを規格化し、規格化された変化の度合いが閾値よりも大きい箇所を局所的境界とするようにしてもよい。
【００１２】
また、グルーピング構造検出ステップが、メロディの全体またはメロディを局所的境界に基づいて分割することにより得られた連続する複数の音のグループに含まれる局所的境界の深さを比較して、最も深い局所的境界を１段下の階層のグループ境界に決定する第１のステップと、第１のステップの処理を下の階層のグループにおいて再帰的に実行する第２のステップとを備えるようにしてもよい。
【００１３】
また、グルーピング構造検出ステップが、局所的境界のそれぞれにおける音の特性の変化とその前後の音の特性の変化との差が閾値よりも大きい場合に、その局所的境界の深さを増大させるようにしてもよい。
また、グルーピング構造検出ステップが、メロディの全体またはメロディを局所的境界に基づいて分割することにより得られた連続する複数の音のグループに対して、その時間的中心を平均とし、分散σをパラメータとする正規分布に基づいて、メロディの全体またはグループに含まれる局所的境界の深さにを増大または減少させるようにしてもよい。
【００１４】
また、本発明に係る楽曲のグルーピング構造の自動分析装置は、メロディを構成する個々の音の特性を示す楽曲データが入力される楽曲データ入力手段と、楽曲データに示される連続した個々の音の特性が変化する箇所を検出しメロディの局所的境界とする局所的境界検出手段と、局所的境界に基づいてメロディを分割することによりメロディの階層的なグルーピング構造を検出するグルーピング構造検出手段とを備えることを特徴とする。
【００１５】
ここで、局所的境界検出手段およびグルーピング構造検出手段は、複数の評価指標と、それぞれの評価指標に対する重み付けを調節するパラメータとに基づいて、音の特性の変化の度合いを局所的境界の深さとして数値化するようにしてもよい。
また、局所的境界検出手段が、変化の度合いを規格化し、規格化された変化の度合いが閾値よりも大きい箇所を局所的境界とするものであってもよい。
【００１６】
また、グルーピング構造検出手段は、メロディの全体またはメロディを局所的境界に基づいて分割することにより得られた連続する複数の音のグループに含まれる局所的境界の深さを比較して、最も深い局所的境界を１段下の階層のグループ境界に決定する第１の手段と、第１の手段の処理を下の階層のグループにおいて再帰的に実行する第２の手段とを備えるものであってもよい。
【００１７】
また、グルーピング構造検出手段は、局所的境界のそれぞれにおける音の特性の変化とその前後の音の特性の変化との差が閾値よりも大きい場合に、その局所的境界の深さを増大させるものであってもよい。
また、グルーピング構造検出手段は、メロディの全体またはメロディを局所的境界に基づいて分割することにより得られた連続する複数の音のグループに対して、その時間的中心を平均とし、分散σをパラメータとする正規分布に基づいて、メロディの全体またはグループに含まれる局所的境界の深さにを増大または減少させるものであってもよい。
【００１８】
また、本発明に係る楽曲のグルーピング構造の自動分析プログラムは、メロディを構成する個々の音の特性を示す楽曲データが入力される楽曲データ入力ステップと、楽曲データに示される連続した個々の音の特性が変化する箇所を検出しメロディの局所的境界とする局所的境界検出ステップと、局所的境界に基づいてメロディを分割することによりメロディの階層的なグルーピング構造を検出するグルーピング構造検出ステップとをコンピュータに実行させることを特徴とする。
【００１９】
ここで、局所的境界検出ステップおよびグルーピング構造検出ステップが、複数の評価指標と、それぞれの評価指標に対する重み付けを調節するパラメータとに基づいて、音の特性の変化の度合いを局所的境界の深さとして数値化するようにしてもよい。
また、局所的境界検出ステップが、変化の度合いを規格化し、規格化された変化の度合いが閾値よりも大きい箇所を局所的境界とするようにしてもよい。
【００２０】
また、グルーピング構造検出ステップが、メロディの全体またはメロディを局所的境界に基づいて分割することにより得られた連続する複数の音のグループに含まれる局所的境界の深さを比較して、最も深い局所的境界を１段下の階層のグループ境界に決定する第１のステップと、第１のステップの処理を下の階層のグループにおいて再帰的に実行する第２のステップとを備えるようにしてもよい。
【００２１】
また、グルーピング構造検出ステップが、局所的境界のそれぞれにおける音の特性の変化とその前後の音の特性の変化との差が閾値よりも大きい場合に、その局所的境界の深さを増大させるようにしてもよい。
また、グルーピング構造検出ステップが、メロディの全体またはメロディを局所的境界に基づいて分割することにより得られた連続する複数の音のグループに対して、その時間的中心を平均とし、分散σをパラメータとする正規分布に基づいて、メロディの全体またはグループに含まれる局所的境界の深さにを増大または減少させるようにしてもよい。
【００２２】
また、本発明に係る記録媒体は、上述した楽曲のグルーピング構造の自動分析プログラムを記録した機械読み取り可能な記録媒体である。
【発明の効果】
【００２３】
本発明では、まずメロディの局所的境界を検出し、検出された局所的境界に基づいてメロディの階層的なグルーピング構造を検出することにより、階層的なグルーピングを適切に行うことができる。
また、複数の評価指標（例えば、グルーピング選好ルール）と、それぞれの評価指標に対する重み付けを調節するパラメータとに基づいて、音の特性変化の度合いを意味する局所的境界の深さを数値化することにより、評価指標間の競合を防止し、楽曲の認識率を向上させることができる。
【発明を実施するための最良の形態】
【００２４】
以下、本発明の一実施の形態について、図面を参照して詳細に説明する。
図１は、本発明の一実施の形態に係る楽曲のグルーピング構造の自動分析方法の概要を示す図である。この図に示すように、本実施の形態は、メロディを構成する個々の音の特性を示す楽曲データが入力される楽曲データ入力ステップＳ１と、入力された楽曲データに示される連続した個々の音の特性が変化する箇所を検出しメロディの局所的境界とする局所的境界検出ステップＳ２と、検出された局所的境界に基づいてメロディを分割することによりメロディの階層的なグルーピング構造を分析するグルーピング構造分析ステップＳ３と、分析結果を出力する分析結果出力ステップＳ４とから構成される。
【００２５】
１．楽曲データ
楽曲データは、メロディを構成する個々の音の特性、例えば音の高さ、長さ、強さ、間隔などのデータからなる。楽曲データとしては、例えばＭｕｓｉｃＸＭＬ形式のデータを用いることができる。ＭｕｓｉｃＸＭＬは、ＸＭＬ（extensible mark-up language）に基づく楽譜表記の方法で、アトリビュートエレメントとノートエレメントとからなる。アトリビュートエレメントには、調記号、拍子記号および音部記号が記述され、ノートエレメントには、音高、音価およびノーテーションエレメントが記述される。ノーテーションエレメントには、タイ、スラー、フェルマータ、アルペジオ、強弱記号、装飾音、アーティキュレーションなどが記述される。
【００２６】
２ グルーピング選好ルールの適用
以下、グルーピング選好ルール（評価指標）ＧＰＲ１、ＧＰＲ２ａ、ＧＰＲ２ｂ、ＧＰＲ３ａ、ＧＰＲ３ｂ、ＧＰＲ３ｃ、ＧＰＲ３ｄ、ＧＰＲ４、ＧＰＲ５およびＧＰＲ６の適用について説明する。なお、タイムスパン簡約やプロロンゲーション簡約の結果が必要となるＧＰＲ７については、本実施の形態では適用しない。
各ルールにより生じるグループの境界の深さは、ＤiGPRj=(1,2a,2b,3a,3b,3c,3d,4,5,6)（０≦ＤiGPRj≦１）で表される。
【００２７】
本実施の形態では、次の１５個の調節可能なパラメータを導入する。
・ＳGPRj（ｊ＝（２ａ、２ｂ、３ａ、３ｂ、３ｃ、３ｄ、４、５、６））：各ルールの強さを表すパラメータ。値が大きいほど、ルールの影響が強くなる。式（１７）、（１８）で使用。
・σ：ＧＰＲ５で用いられる。平均をグループの時間的中心とする正規分布の分散の値。値が大きくなるほど、正規分布の裾野が広がる。式（８）で使用。
【００２８】
・Ｗr：ＧＰＲ６で用いられる。リズム方向のずれと音高方向のずれのどちらを重視するかを決めるパラメータ。値が大きいほど、音高の方を重視する。式（１４），（１５），（１６）で使用。
・Ｗs：ＧＰＲ６で用いられる。並列な区間の始まりと終わりのどちらを重視するかを決めるパラメータ。値が大きいほど、終わりの方を重視する。式（１４），（１５），（１６）で使用。
・Ｗl：ＧＰＲ６で用いられる。並列な区間の長さをどれくらい重視するかを決めるパラメータ。値が大きいほど、長い並列区間を重視する。式（１４），（１５），（１６）で使用。
【００２９】
・ＴGPR4：ＧＰＲ４で用いられる。ＧＰＲ２，３の効果を抑制するかどうかを決める閾値。値が大きいほど、ＧＰＲ４が成立しにくくなる。式（７）で使用。
・Ｔlow-level：低いグルーピングレベルで境界とするかどうかを決める閾値。値が大きいほど、境界と認識されにくくなる。式（１８）で使用。
【００３０】
２．１ ＧＰＲ２，３および４の適用
ＧＰＲ２，３および４は、連続する４音（ｎ１，ｎ２，ｎ３，ｎ４）に関するルールである。ｉ番目の遷移（ｉ音目とｉ＋１音目の間）で各ルールにより生じる境界の深さは、境界になり得る（ＤiGPRj＝１）か、そうでない（ＤiGPRj＝０）かで表される。
【００３１】
ＧＰＲ２ａ（slur/rest）では、ｎ２の終わりからｎ３の始まりまでの時間間隔が、ｎ１の終わりからｎ２の始まりまでの時間間隔、および、ｎ３の終わりからｎ４の始まりまでの時間間隔よりも長い場合に、グループの境界と認識される。ＧＰＲ２ａは、次式のように定式化できる。
【００３２】
【数１】
【００３３】
ただし、
resti：消音時刻から次の発音時刻までの間隔（図２参照）
【００３４】
ＧＰＲ２ｂ（attack-point）では、ｎ２の始まりからｎ３の始まりまでの時間間隔が、ｎ１の始まりからｎ２の始まりまでの時間間隔、および、ｎ３の始まりからｎ４の始まりまでの時間間隔よりも長い場合に、グループの境界と認識される。ＧＰＲ２ｂは、次式のように定式化できる。
【００３５】
【数２】
【００３６】
ただし、
ioii：発音時刻間隔（inter onset intervals）（図２参照）
【００３７】
ＧＰＲ３ａ（register）では、ｎ２とｎ３との音高差が、ｎ１とｎ２との音高差およびｎ３とｎ４との音高差よりも大きい場合に、グループの境界と認識される。ＧＰＲ３ａは、次式のように定式化できる。
【００３８】
【数３】
【００３９】
ただし、
regii：音程（図２参照）
【００４０】
ＧＰＲ３ｂ（dynamics）では、ｎ２とｎ３の強弱記号に差があり、ｎ１とｎ２およびｎ３とｎ４の強弱記号に差がない場合に、グループの境界と認識される。ＧＰＲ３ｂは、次式のように定式化できる。
【００４１】
【数４】
【００４２】
ただし、
dynai：音量（ダイナミクス）の差（図２参照）
【００４３】
ＧＰＲ３ｃ（articulation）では、新しいアーティキュレーション（演奏により、連続した個々の音を一つのまとまりに聴かせるため、各音の始まりと終わりのタイミングを変化させること）がそこから開始したり、そこで終了したりする場合に、グループの境界と認識される。ＧＰＲ３ｃは、次式のように定式化できる。
【００４４】
【数５】
【００４５】
ただし、
artii：アーティキュレーションの変化（図２参照）
【００４６】
ＧＰＲ３ｄ（length）では、ｎ２とｎ３が異なった音長をもち、ｎ１とｎ２およびｎ３とｎ４が同じ音長の場合に、グループの境界と認識される。ＧＰＲ３ｄは、次式のように定式化できる。
【００４７】
【数６】
【００４８】
ただし、
leni：音価の差（図２参照）
【００４９】
ＧＰＲ４（intensification）では、ＧＰＲ２，３で示される効果が比較的明白な場合に、グループの境界と認識される。ＧＰＲ４は、次式のように定式化できる。ここで、明白性評価変数Ｐirest，Ｐiioi，Ｐiregistは、それぞれＧＰＲ２ａ，ＧＰＲ２ｂ，ＧＰＲ３ａが明白に成立するほど大きな値を示す。ＴGPR4は（０≦ＴGPR4≦１）は、ＧＰＲ２，３の効果が明白であるかどうかを決める閾値であり、この閾値によりＧＰＲ２，３の効果を抑制するかどうかを決めることができる。
【００５０】
【数７】
【００５１】
２．２ ＧＰＲ５（symmetry）の適用
ＧＰＲ５では、分割された２つのグループの長さが等しくなるようにグルーピングすることを優先する。このようなグルーピングを実現するために、分割された２つのグループの長さが等しいほど高い値を示す関数ＤiGPR5を定義する。
このような関数は様々考えられるが、本実施の形態では、平均をグループの時間的中心、分散をσとする正規分布を用いる。正規分布は、パラメータを調節することにより裾野の広さを自由に変えられるという特長がある。分散σは、調節可能なパラメータで、０に近いほど正規分布の裾野が狭まり、分割前のグループの中心付近でのＤiGPR5の値が大きくなる。したがって、より中心に近いほどグループの境界になりやすくなる。逆にσが大きくなった場合には、中心付近以外の位置でもグループの境界になりやすくなる。
【００５２】
本実施の形態では、ＧＰＲ５を次式のように定式化する。この式の計算は、後述する局所的境界を検出した後、階層的なグルーピング構造を検出する際に、式（１９）において行われる。
【００５３】
【数８】
【００５４】
ただし、
start：グループの始まりの遷移
end ：グループの終わりの遷移
図３に、式（８）により求められる境界の深さＤiGPR5を示す。
【００５５】
２．３ ＧＰＲ６（parallelism）の適用
ＧＰＲ６では、並列性がある部分については並列性のあるグルーピングを優先する。メロディ中のある２つの部分が同一または類似している場合に、その２つの部分には「並列性がある」という。
【００５６】
ここでは、調整可能な３つのパラメータＷr，Ｗs，Ｗlを導入する（０≦Ｗr，Ｗs，Ｗl≦１）。Ｗrは、リズム方向のずれと音高方向のずれのどちらを重視するかを決めるパラメータ、Ｗsは、並列な区間の始まりと終わりのどちらを重視するかを決めるパラメータ、Ｗlは、並列な区間の長さをどれくらい重視するかを決めるパラメータである。
並列な部分の長さｒを、１拍の長さの整数倍とする、したがって、並列な区間の始まりと終わりは、拍の境目になる。
並列の度合いＤiGPR6の算出には、ｑi，ｍij，ｘqir，ｙqiqjr，ｚqiqjrを用いる。
ｑiは、ｉ番目の遷移が楽曲の頭から数えて何拍目であるか（拍数）を表す。
【００５７】
【数９】
【００５８】
ただし、
div：４分音符の音価
ioii：発音時刻間隔
【００５９】
ｍijは、遷移ｉと遷移ｊが並列な区間の開始や終わりになり得るかどうかを表す。遷移ｉが並列な区間の開始となるためには、遷移ｉ−１に拍線がある。すなわち、ｑi≠ｑi-1が成立する必要がある。一方、遷移ｉが並列な区間の終わりとなるためには、遷移ｉ＋１に拍線がある。すなわち、ｑi≠ｑi+1が成立する必要がある。ｍijは、ｉおよびｊが並列な区間の開始となり得る場合にはｂ（＝begin）、並列な区間の終わりとなり得る場合にはｅ（＝end）、並列な区間の開始と終了の両方になり得る場合にはｔ（＝terminal）、開始にも終了にもなり得ない場合はｓ（＝else）とする。
【００６０】
【数１０】
【００６１】
ｘqirは、ｑi拍目からｑi＋ｒ拍目までの間に、何個の音があるかを表す。
ｙqiqjrは、ｑi拍目からｑi＋ｒ拍目までの区間とｑj拍目からｑj＋ｒ拍目までの区間とを比較して、発音のタイミングが一致している音が何音あるかを表す。
ｚqiqjrは、ｑi拍目からｑi＋ｒ拍目までの区間とｑj拍目からｑj＋ｒ拍目までの区間で発音のタイミングが一致している音を比較して、前の音からの音高変化（音程）が一致する音の数を表す。
【００６２】
【数１１】
【００６３】
並列な部分の長さがｒのとき、遷移ｉと遷移ｊのＧＰＲ６による境界の深さは、ＧijrstartおよびＧijrendで表される。図４に示すように、Ｇijrstartは、ｑi拍目からｑi＋ｒ拍目までの区間とｑj拍目からｑj＋ｒ拍目までの区間が並列な場合に高い値になり、Ｇijrendは、ｑi−ｒ拍目からｑi拍目までの区間とｑj−ｒ拍目からｑj拍目までの区間が並列な場合に高い値になる。
【００６４】
【数１２】
【００６５】
並列な度合いＤiGPR6は、次式で表される。
【００６６】
【数１３】
【００６７】
ただし、
Ws′=1-Ws，Wr′=1-Wr，Wl′=1-Wl
【００６８】
２．４ ＧＰＲ１（alternative form）の適用
ＧＰＲ１では、非常に小さいグループ、特に単音からなるグループヘの分割は避ける。このため、遷移ｉの境界の深さが前後の遷移ｉ−１および遷移ｉ＋１の境界の深さより深い場合に、ＧＰＲ１によるグループの境界と認識される。ここで比較される境界の深さは、ＧＰＲ２ａ，ＧＰＲ２ｂ，ＧＰＲ３ａ，ＧＰＲ３ｂ，ＧＰＲ３ｃ，ＧＰＲ３ｄおよびＧＰＲ６による境界の深さの総和である。この際、各ルールによる境界の深さに対し、それぞれのルールの強さを表すパラメータＳGPRjを掛けて重み付けしている。このパラメータＳGPRjを変えて各ルールの影響を調整することにより、ルール間で競合が起こっても、この競合を解消することが可能になる。
【００６９】
ＧＰＲ１による境界の深さは、境界になり得る（ＤiGPR1＝１）かそうでない（ＤiGPR1＝０）かで表される。
ＧＰＲ１は、次式のように定式化できる。
この式において、Ｂiは、遷移ｉの境界の深さを、連続したメロディ中における境界の深さの最大値により規格化した値である。したがって、Ｂiは０から１の実数であり、その値が大きいほど境界が深いことになる。
【００７０】
【数１４】
【００７１】
３ 局所的境界の検出
局所的な境界の検出には、ＤiGPR1，ＤiGPR2a，ＤiGPR2b，ＤiGPR3a，ＤiGPR3b，ＤiGPR3c，ＤiGPR3dおよびＤiGPR6を用いる。ＧＰＲ１による境界であり（ＤiGPR1＝１）、かつ、規格化された境界の深さＢiが閾値Ｔlow-levelより大きい場合に、遷移ｉを局所的なグループ境界候補（局所的境界）とする。この局所的境界の検出は、次式のように定式化できる。ここでは、遷移ｉが局所的境界であることをＤilow-level＝１、そうでないことをＤilow-level＝０で表す。Ｂiは式（１７）と同じである。
【００７２】
【数１５】
【００７３】
４ 階層的なグルーピング構造の検出
階層的なグルーピング構造は、以上のボトムアップ処理により求められた局所的境界を用いて、トップダウンに獲得する。具体的にいえば、ある階層のグループの内部に局所的境界が含まれている場合に、そのすべの局所的境界の深さを比較して、最も深い境界を１段下の階層のグループ境界に決定する。このグループ境界により分割された２つのグループについても同様にして、さらに１段下の階層（当初の階層から見て２段下の階層）のグループ境界を決定する。このような処理をグループの内部に局所的境界が存在しなくなるまで繰り返すことにより、階層的なグルーピング構造を検出できる。
このような処理は、次式の計算を再帰的に実行することにより実現できる。
【００７４】
【数１６】
【００７５】
ただし、
ｊ＝（２ａ，２ｂ，３ａ，３ｂ，３ｃ，３ｄ，４，５，６）
ｉは、グループに含まれるすべての局所的境界の位置
なお、式（１９）では、argmaxの引数（D * Sigma D * S）の値を最大にするようなｉを計算する。例えば、最も上位の階層において、ｉを１から楽曲の終わりの位置を表す位置まで動かしたときに、D * Sigma D * Sの値が最大になるようなｉがargmaxの値になる。
また、この式においても、各ルールによる境界の深さＤGPRjをパラメータＳGPRjで重み付けすることにより、ルール間で競合を解消することが可能になる。
【００７６】
５ 楽曲のグルーピング構造の自動分析装置
次に、楽曲のグルーピング構造の自動分析方法を実現する装置について説明する。図５は、この装置の一構成例を示すブロック図である。
【００７７】
この装置は、楽曲データＭｕｓｉｃＸＭＬから各種の基本変数（ｒｅｓｔi，ｉｏｉi，ｒｅｇｉi，ｌｅｎi，ｄｙｎａi，ａｒｔｉi）を算出する基本変数算出部１と、楽曲データＭｕｓｉｃＸＭＬおよび算出された各種の基本変数を記憶する楽曲データ記憶部２と、各種のパラメータ（ＳGPRj，σ，Ｗr，Ｗs，Ｗl，ＴGPR4，Ｔlow-level）を設定するパラメータ設定部３と、式（１）〜式（６）を計算することによりＧＰＲ２ａ，ＧＰＲ２ｂ，ＧＰＲ３ａ，ＧＰＲ３ｂ，ＧＰＲ３ｃおよびＧＰＲ３ｄを評価するＧＰＲ２，３評価部４と、明白性評価変数Ｐirest，Ｐiioi，Ｐiregistを算出する明白性評価変数算出部５と、式（７）を計算することによりＧＰＲ４を評価するＧＰＲ４評価部６と、式（８）を計算することによりＧＰＲ５を評価するＧＰＲ５評価部７と、式（９）を計算することにより拍数ｑiを算出する拍数算出部８と、式（１０）〜式（１６）を計算することによりＧＰＲ６を評価するＧＰＲ６評価部９と、境界の深さＢiを規格化する規格化部１０と、式（１７）を計算することによりＧＰＲ１を評価するＧＰＲ１評価部１１と、式（１８）を計算することによりグループ境界の候補となる局所的境界を検出する局所的境界検出部１２と、式（１９）を再帰的に計算することにより階層的なグルーピング構造を検出する高次境界検出部１３と、分析結果をＧｒｏｕｐｉｎｇＸＭＬとして出力する分析結果出力部１４とから構成される。
【００７８】
図６は、図５に示した装置の動作の流れを示すフローチャートである。
楽曲データＭｕｓｉｃＸＭＬが入力されると（ステップＳ１１）、楽曲データＭｕｓｉｃＸＭＬを楽曲データ記憶部２に記憶する。また、基本変数算出部１において、楽曲データＭｕｓｉｃＸＭＬから各種の基本変数（ｒｅｓｔi，ｉｏｉi，ｒｅｇｉi，ｌｅｎi，ｄｙｎａi，ａｒｔｉi）を算出し（ステップＳ１２）、算出結果を楽曲データ記憶部２に記憶する（ステップＳ１３）。
【００７９】
パラメータ設定部３から各種のパラメータ（ＳGPRj，σ，Ｗr，Ｗs，Ｗl，ＴGPR4，Ｔlow-level）が設定されると（ステップＳ１４，ＹＥＳ）、グループ境界の候補となる局所的境界を検出するために必要な、ＤiGPRj（ｊ＝１，２ａ，２ｂ，３ａ，３ｂ，３ｃ，３ｄ，６）を求める。より具体的に説明する。
ＧＰＲ２，３評価部４において、楽曲データ記憶部２から各種の基本変数を読み出し、式（１）〜式（６）を計算することによりＤiGPRj（ｊ＝２ａ，２ｂ，３ａ，３ｂ，３ｃ，３ｄ）を求め、規格化部１０へ出力する。
【００８０】
また、拍数算出部８において、楽曲データ記憶部２から４分音符の音価ｄｉｖおよび発音時間間隔ｉｏｉiを読み出し、式（９）を計算することにより拍数ｑiを算出して、ＧＰＲ６評価部９へ出力する。そして、ＧＰＲ６評価部９において、楽曲データ記憶部２から４分音符の音価ｄｉｖ、発音時間間隔ｉｏｉiおよび音程ｒｅｇｉiを読み出し、さらに拍数ｑiおよびパラメータＷr，Ｗs，Ｗlを用いて式（１０）〜式（１６）を計算することにより並列の度合いＤiGPR6を求め、規格化部１０へ出力する。なお、並列の度合いＤiGPR6の計算は、遷移ｉの前または後ｒ拍目までの区間と、遷移ｊ（ｊ＞ｉ）の前または後ｒ拍目までの区間の両方について、ｒを変化させながら行う。
【００８１】
また、規格化部１０において、ＤiGPRjおよびＳGPRj（ｊ＝２ａ，２ｂ，３ａ，３ｂ，３ｃ，３ｄ，６）を用いて遷移ｉの境界の深さを規格化してＢiを求め、ＧＰＲ１評価部１１および局所的境界検出部１２へ出力する。そして、ＧＰＲ１評価部１１において、式（１７）を計算してＤiGPR1を求め、局所的境界検出部１２へ出力する。
このようにしてＤiGPR1およびＢiを得た局所的境界検出部１２において、パラメータＴlow-levelを用いて式（１８）を計算し、局所的境界を検出する（ステップＳ１５）。また、遷移ｉが局所的境界となるか否かを示すＤilow-levelを高次境界検出部１３へ出力する。
【００８２】
高次境界検出部１３にＤilow-levelが入力されると、階層的なグルーピング構造の分析を開始する。まず、最も上位の階層を２つのグループに分割する高次境界を検出する処理を行う。
この処理を行うために、まず、楽曲の最初から最後までの間で、局所的境界となる遷移ｉのそれぞれについて、ＤiGPRj（ｊ＝２ａ，２ｂ，３ａ，３ｂ，３ｃ，３ｄ，４，５，６）を求める。ＤiGPRj（ｊ＝２ａ，２ｂ，３ａ，３ｂ，３ｃ，３ｄ，６）については、ＧＰＲ２，３評価部４、拍数算出部８およびＧＰＲ６評価部９において、上述した処理と同様の処理を局所的境界となる遷移ｉのそれぞれについて実行すればよい。以下、ＤiGPR4およびＤiGPR5について、具体的に説明する。
【００８３】
明白性評価変数算出部５において、局所的境界となる遷移ｉおよびその前後の遷移ｉ−１，ｉ＋１の基本変数ｒｅｓｔi-1，ｒｅｓｔi，ｒｅｓｔi+1と、ｉｏｉi-1，ｉｏｉi，ｉｏｉi+1と、ｒｅｇｉi-1，ｒｅｇｉi，ｒｅｇｉi+1を、楽曲データ記憶部２から読み出す。そして、読み出された各種の基本変数を用いて明白性評価変数Ｐirest，Ｐiioi，Ｐiregistを算出し、ＧＰＲ４評価部６へ出力する。さらに、ＧＰＲ４評価部６において、明白性評価変数Ｐirest，Ｐiioi，ＰiregistおよびパラメータＴGPR4を用いて、式（７）を計算することによりＤiGPR4を求め、高次境界検出部１３へ出力する。
【００８４】
また、ＧＰＲ５評価部７において、楽曲データ記憶部２から全遷移ｉの発音時刻間隔ｉｏｉiを読み出す。そして、楽曲の始まりの遷移ｉ＝１をｓｔａｒｔ、楽曲の終わりの遷移をｅｎｄとし、読み出された発音時刻間隔ｉｏｉiおよび設定された分散σを用いて、局所的境界となる遷移ｉのそれぞれについて式（８）を計算することによりＤiGPR5を求め、高次境界検出部１３へ出力する。
【００８５】
このようにしてＤiGPRj（ｊ＝２ａ，２ｂ，３ａ，３ｂ，３ｃ，３ｄ，４，５，６）を得ると、高次境界検出部１３において、局所的境界となる遷移ｉのそれぞれについて式（１９）を計算する。その結果、ｉが最大となったｉ（ハット）の遷移ｉ（「ｉ0」とおく）を、最も上位の階層を２つのグループに分割する高次境界、すなわち１段下の階層のグループ境界に決定する。
【００８６】
次に、この１段下の階層をさらに２つのグループに分割する高次境界を検出する処理を行う。ここでは、楽曲の最初からグループ境界の遷移ｉ0までの第１のグループと、グループ境界の遷移ｉ0から楽曲の最後までの第２のグループに対し、上述した処理と同様の処理を行う。まず、第１のグループに含まれる局所的境界となる遷移ｉのそれぞれについて、ＤiGPRj（ｊ＝２ａ，２ｂ，３ａ，３ｂ，３ｃ，３ｄ，４，５，６）を求め、高次境界検出部１３において式（１９）を計算し、ｉが最大となったｉ（ハット）の遷移ｉをさらに１段下の階層（最も上位の階層から見て２段下の階層）のグループ境界に決定する。第２のグループについても同様である。
このような処理をグループの内部に局所的境界が存在しなくなるまで繰り返すことにより、階層的なグルーピング構造を検出することができる（ステップＳ１６）。
【００８７】
階層的なグルーピング構造の分析が終了したら、分析結果出力部１４から分析結果をＧｒｏｕｐｉｎｇＸＭＬとして出力する（ステップＳ１７）。
この後、パラメータ設定部３からパラメータの設定が変更されたときには（ステップＳ１８，ＹＥＳ）、局所的境界の検出処理（ステップＳ１５）、階層的なグルーピング構造の分析処理（ステップＳ１６）および分析結果の出力処理（ステップＳ１７）という一連の処理を繰り返し行う。
【００８８】
上述した楽曲のグルーピング構造の自動分析装置は、コンピュータにより実現することができる。このコンピュータ２０は、図７に示すように、演算処理部２１と記憶部２２ａ，２２ｂとインターフェース部（Ｉ／Ｆ部）２３ａ，２３ｂ，２３ｃとがバス２４により接続された構成となっている。Ｉ／Ｆ部２３ａ、２３ｂは、それぞれコンピュータ２０の外部装置である操作卓２５、表示装置２６とインタフェースをとる。
コンピュータ２０の動作を制御するプログラムは、光磁気ディスク、半導体メモリその他の記録媒体２７に記録された状態で提供される。この記録媒体２７がＩ／Ｆ部２３ｃに接続されると、演算処理部２１は記録媒体２７に書き込まれたプログラムを読み出し、記憶部２２ａに格納する。その後、操作卓２５からの指示に基づき、演算処理部２１が記憶部２２ａに格納されたプログラムを実行し、図５に示した各部１〜１４を実現する。
【００８９】
具体的には、次のように動作する。
楽曲データＭｕｓｉｃＸＭＬが記録された記録媒体がＩ／Ｆ部２３ｃに接続されると、演算処理部２１は記録媒体から楽曲データＭｕｓｉｃＸＭＬを読み出し、記憶部２２ｂに記録する（ステップＳ１１）。
その後、演算処理部２１は、記憶部２２ｂから楽曲データＭｕｓｉｃＸＭＬを読み出し、楽曲データＭｕｓｉｃＸＭＬから各種の基本変数（ｒｅｓｔi，ｉｏｉi，ｒｅｇｉi，ｌｅｎi，ｄｙｎａi，ａｒｔｉi）を算出し（ステップＳ１２）、算出結果を記憶部２２ｂに記録する（ステップＳ１３）。
【００９０】
操作卓２５から各種のパラメータ（ＳGPRj，σ，Ｗr，Ｗs，Ｗl，ＴGPR4，Ｔlow-level）が設定されると（ステップＳ１４，ＹＥＳ）、演算処理部２１は、パラメータを記憶部２２ｂに記録する。
その後、演算処理部２１は、記憶部２２ｂから必要な基本変数を読み出し、式（１）〜式（６）を計算することによりＤiGPRj（ｊ＝２ａ，２ｂ，３ａ，３ｂ，３ｃ，３ｄ）を求め、記憶部２２ｂに記録する。また、記憶部２２ｂから必要な基本変数およびパラメータを読み出し、式（９）〜式（１６）を計算することにより並列の度合いＤiGPR6を求め、記憶部２２ｂに記録する。
【００９１】
次いで、演算処理部２１は、記憶部２２ｂから全遷移ｉについてＤiGPR2aを順次読み出し、ＳGPR2aを掛けた結果（ＤiGPR2a×ＳGPR2a）を記憶部２２ｂに記録する。この処理をＤiGPR2b，ＤiGPR3a，ＤiGPR3b，ＤiGPR3c，ＤiGPR3d，ＤiGPR6のぞれぞれについて繰り返し行う。これにより、記憶部２２ｂには、全遷移ｉについてのＤiGPRj×ＳGPRj（ｊ＝２ａ，２ｂ，３ａ，３ｂ，３ｃ，３ｄ，６）が記録される。
続いて、記憶部２２ｂから遷移ｉごとにＤiGPRj×ＳGPRj（ｊ＝２ａ，２ｂ，３ａ，３ｂ，３ｃ，３ｄ，６）を読み出し、総和を求める。これらの総和を比較して最大値を求め、この最大値で遷移ｉごとの総和を割って規格化することによりＢiを求め、記憶部２２ｂに記憶する。
続いて、記憶部２２ｂから連続する３つの遷移ｉ−１，ｉ，ｉ＋１のＢi-1，Ｂi，Ｂi+1を読み出し、これらを比較する。その結果、Ｂiが最大の場合にはＤiGPR1＝１，それ以外の場合にはＤiGPR1＝０とする。この処理を全遷移ｉについて繰り返し行う。
このようにして式（１７）を計算することによりＤiGPR1を求め、記憶部２２ｂに記録する。
【００９２】
次いで、演算処理部２１は、記憶部２２ｂからＤiGPR1およびＴlow-levelを読み出し、式（１８）を計算することによりＤilow-levelを求め、記憶部２２ｂに記録する。この結果、Ｄilow-level＝１となる遷移ｉが、グループ境界の候補となる局所的境界として検出される（ステップＳ１５）。
【００９３】
次いで、演算処理部２１は、記憶部２２ｂから必要な基本変数およびパラメータを読み出し、式（７）および式（８）を計算することにより、局所的境界となる遷移ｉについてＤiGPR4およびＤiGPR5を求め、記憶部２２ｂに記録する。
続いて、記憶部２２ｂからＤiGPR4を順次読み出し、ＳGPR4を掛けた結果（ＤiGPR4×ＳGPR4）を記憶部２２ｂに記録する。この処理をＤiGPR5についても行う。これにより、ステップＳ１５において求められたＤiGPRj×ＳGPRj（ｊ＝２ａ，２ｂ，３ａ，３ｂ，３ｃ，３ｄ，６）と合わせて、記憶部２２ｂには、局所的境界となる遷移ｉについてのＤiGPRj×ＳGPRj（ｊ＝２ａ，２ｂ，３ａ，３ｂ，３ｃ，３ｄ，４，５，６）が記録されることになる。
【００９４】
演算処理部２１は、記憶部２２ｂから局所的境界となる遷移ｉごとにＤiGPRj×ＳGPRj（ｊ＝２ａ，２ｂ，３ａ，３ｂ，３ｃ，３ｄ，４，５，６）を読み出し、式（１９）を計算する。すなわち、局所的境界となる遷移ｉ（Ｄilow-level＝１）ごとにＤiGPRj×ＳGPRj（ｊ＝２ａ，２ｂ，３ａ，３ｂ，３ｃ，３ｄ，４，５，６）の総和を求め、これらの総和が最大となる遷移ｉを求める。この遷移ｉ（「ｉ0」とおく）を、最も上位の階層を２つのグループに分割する高次境界、すなわち１段下の階層のグループ境界に決定し、記憶部２２ｂに記録する。
【００９５】
続いて、楽曲の最初からグループ境界の遷移ｉ0までの第１のグループと、グループ境界の遷移ｉ0から楽曲の最後までの第２のグループに対し、上述した式（７）および式（８）の計算から式（１９）の計算までを行い、各グループにおいて、さらに１段下の階層（最も上位の階層から見て２段下の階層）のグループ境界に決定し、記憶部２２ｂに記録する。
このような処理をグループの内部に局所的境界が存在しなくなるまで繰り返し、階層的なグルーピング構造を検出する（ステップＳ１６）。
階層的なグルーピング構造の分析が終了したら、演算処理部２１は、分析結果を表示装置２６に表示する（ステップＳ１７）。
【００９６】
ここでは、コンピュータ２０の動作を制御するプログラムが、記録媒体２７に記録された状態で提供される例を示したが、インターネットなどのディジタル通信網を介して提供されてもよい。
【００９７】
６ 分析結果の表示
実際に、楽曲のグルーピング構造の自動分析装置を実現するプログラムを作成した。ただし、このプログラムでは、１５個のパラメータのうち、ＧＰＲ３ｂおよびＧＰＲ３ｃに関連するＳGPR3bおよびＳGPR3cを除く１３個のパラメータを調節可能にした。このプログラムによって実現された装置を用いて、既存の楽曲を分析した結果を図８および図９に示す。
【００９８】
図８（ａ）に示す楽曲は、分析対象であるブラームス作曲「子守歌」の一節であり、音符が２７個含まれている（Ｎｏｔｅ１〜Ｎｏｔｅ２７）。
図８（ｂ）に示すウィンドウには、分析結果が表示されいている。このウィンドウの左半分がグルーピング階層の結果表示であり、右半分が１３個のパラメータを調節する１３個のスライダである。グルーピング階層の結果表示において、一番左のカラムにはＮｏｔｅ１〜Ｎｏｔｅ２７と記されている。次に、左から順番に５階層分のグルーピングの結果が表示されている（一番左が最下層、一番右が最上層）。グルーピングの結果表示において、「--｜--」の箇所がグループ境界である。
【００９９】
図９（ａ）に示す楽曲は、分析対象であるモーツァルト作曲「トルコ行進曲」の一節であり、音符が３８個含まれている（Ｎｏｔｅ１〜Ｎｏｔｅ３８）。
図９（ｂ）に示すウィンドウの説明は、図８（ｂ）に示すウィンドウと同様である。
【０１００】
７ 実験結果
上述したプログラムによって実現された装置のグルーピングの性能の評価を、再現率（reca11）と適合率（precisioｎ）とを組み合わせたＦ値で評価する。Ｆ値は、再現率と適合率が高いほど、すなわち、グルーピングの性能が高いほど高くなる。
Ｆ値＝２×（Ｐ×Ｒ）／（Ｐ＋Ｒ） （２０）
ただし、
Ｒ：再現率（装置が出力したグルーピングと同じグループが、正解データに含まれている割合）
Ｐ：適合率（正解データのグルーピングと同じグループが、装置の出力に含まれている割合）
【０１０１】
Ｆ値の計算は、グループが所属する階層に関係なく行う。このため、局所的境界が正しく求まっていない位置では、すべての階層で誤ったグルーピングとなり、Ｆ値が大きく落ちる結果となる。
グルーピング構造は、パラメータの調整によって変化する、そこでまず、パラメータ調節前（ベースライン）の性能を求める。パラメータの初期値は、ＳGPRj（ｊ＝（２ａ，２ｂ，３ａ，３ｄ，４，５，６））＝０．５、σ＝０．０５、Ｗr＝０．５、Ｗs＝０．５、Ｗl＝０．５、ＴGPR4＝０．５、Ｔlow-level＝０．５である。次に、手作業でパラメータを調節した。パラメータは、局所的境界に関するパラメータから先に調節し、その後に高次の境界に関するパラメータを調節した。１曲につき１０分間でパラメータの調整を行ったところ、図１０に示すように、ベースラインの性能よりＦ値が０．３以上向上した。
【産業上の利用可能性】
【０１０２】
本発明は、例えば、作曲・編曲ソフトに利用できる。与えられた楽曲をモチーフとして新たな曲の作曲や編曲を行う際に、まず与えられた楽曲のグルーピング構造を分析する。作曲の場合には、分析結果からそのまま楽曲を適当な大きさのグループに分割する。各グループがモチーフに対応しているので、これらのグループを自由に組み合わせて、新しい曲を作曲することができる。また、編曲の場合には、グループ単位で編曲を行うことにより、より小さくて扱いやすい粒度で編曲すること可能になる。
【０１０３】
また、ある楽曲をビデオやＷｅｂページのＢＧＭとして付ける場合に、グループの境界部分に到達した時点にタイミングを合わせて、ビデオのシーンチェンジやＷｅｂページの自動ジャンプを実行させる処理も可能になる。
また、楽曲の構造を自動判定することができるので、曲を再生するときに、繰り返し部分を１回だけ聴いて飛ばし聴きする、特定のグルーピングのパターンの部分にジャンプするなど、ユーザが能動的に聴く箇所を選ぶという新しい聴き方が可能になる。
【図面の簡単な説明】
【０１０４】
【図１】本発明の一実施の形態に係る楽曲のグルーピング構造の自動分析方法の概要を示す図である。
【図２】楽曲データから算出される基本変数の一例を示す図である。
【図３】ＧＰＲ５による境界の深さを示す図である。
【図４】ＧＰＲ６による境界の深さを示す図である。
【図５】楽曲のグルーピング構造の自動分析装置の一構成例を示すブロック図である。
【図６】楽曲のグルーピング構造の自動分析装置の動作の流れを示すフローチャートである。
【図７】楽曲のグルーピング構造の自動分析装置を実現するコンピュータの一構成例を示すブロック図である。
【図８】楽曲のグルーピング構造の自動分析装置を用いて既存の楽曲を分析した結果の一例を示す図である。
【図９】楽曲のグルーピング構造の自動分析装置を用いて既存の楽曲を分析した結果の他のを示す図である。
【図１０】パラメータ調節前と後のＦ値の変化を示す図である。
【符号の説明】
【０１０５】
１…基本変数算出部１、２…楽曲データ記憶部、３…パラメータ設定部、４…ＧＰＲ２，３評価部、５…明白性評価変数算出部、６…ＧＰＲ４評価部、７…ＧＰＲ５評価部、８…拍数算出部、９…ＧＰＲ６評価部、１０…規格化部、１１…ＧＰＲ１評価部、１２…局所的境界検出部、１３…高次境界検出部、１４…分析結果出力部、２１…演算処理部、２２ａ，２２ｂ…記憶部、２３ａ〜２３ｃ…インターフェース部、２４…バス、２５…操作卓、２６…表示装置、２７…記録媒体。
【技術分野】
【０００１】
本発明は、楽曲のグルーピング構造の自動分析方法および装置に関し、より詳しくは、連続したメロディをフレーズやモチーフなどに階層的に分割するグルーピング構造分析を自動的に行う方法および装置に関する。
【背景技術】
【０００２】
人間が音楽を聴くとき、初めて聞くような旋律でも心地よく感じたり、音が外れているように聞こえるのはなぜだろうか、このような問いに対する研究は古くから行われてきた。その中で、楽曲を音符列という符号化された情報である視点から構造的に分析し、音楽認識を客観的に捉えようという理論がある。Generative Theory of Tonal Music（ＧＴＴＭ）は、そのような理論の中の一つであり、様々な理由により計算機上での自動化が有望視されている。ＧＴＴＭによる楽曲の分析が自動化されれば、これまでの音楽検索エンジンとは違ったアプローチによる楽曲検索エンジンの作成や、自動伴奏システム、作曲支援などへの応用が期待できる。
【０００３】
ＧＴＴＭは、グルーピング構造分析、拍節構造分析、タイムスパン簡約、プロロンゲーション簡約という４つのサブ理論から構成される。このうち、グルーピング構造分析は、連続したメロディをフレーズやモチーフなどに階層的に分割するものであり、長いメロディを歌うときにどこで息継ぎすべきかを見つけるような分析である。
ＧＴＴＭにはさらに、グルーピング構成ルール（Grouping Well-Formedness Rules：ＧＷＦＲ）と、グルーピング選好ルール（Grouping Preference Rules：ＧＰＲ）という２種類のグルーピングに関するルールがある。ＧＷＦＲは、グルーピング構造が成立するために必要な条件の制約であり、ＧＰＲは、ＧＷＦＲが成り立つグルーピング構造が複数存在する場合に、どれが好ましいかを示すルールである（例えば、非特許文献１を参照）。
【０００４】
ＧＰＲはさらに、ＧＰＲ１（alternative form）、ＧＰＲ２（proximity）、ＧＰＲ３（change）、ＧＰＲ４（intensification）、ＧＰＲ５（symmetry）、ＧＰＲ６（parallelism）、ＧＰＲ７（time-span and prolongational stability）という７つのルールから構成される。ＧＰＲ１〜３は、局所的な境界を求めるためのルールであり、ＧＰＲ４〜７は、高次の境界を求め階層的なグルーピングを行うためのルールに２分できる。さらに、ＧＰＲ２は、（ａ）（slur/rest）および（ｂ）（attack-point）の２通りに分かれ、ＧＰＲ３は、（ａ）（register）、（ｂ）（dynamics）、（ｃ）（articulation）および（ｄ）（length）の４通りに分かれる。
【０００５】
上述したＧＴＴＭは、元々計算機上への実装を目指した理論ではない。このため、計算機上での自動化には多くの問題があり、この問題を解決すべく様々な技術が提案されている。その一例として、非特許文献２に記載された技術では、ＧＰＲ２〜３の適用対象を絞り込むために、次のような前処理を行っている。
・隣接音を接続するボイスリーディングを導入する。具体的には、上下２半音以内の隣接音に対してボイスリーディングが成立しているとし、そのような隣接音をすべて時間順に接続する。
・主旋律を捉えるために、第一声部（最も高い音）に限り、ボイスリーディングの成立不成立にかかわらず、隣接音を接続する。
【０００６】
また、非特許文献３に記載された技術では、ＧＰＲ２〜３の適用対象を絞り込むために、さらに次のような隣接音を判定するヒューリスティクスを導入している。
・着目している音から１２半音以内の後続音を隣接音接続する。
・着目している音から４拍以内の後続音を隣接音接続する。
・後続音が半音的に変化している場合には、隣接音接続しない。
・着目している音と後続音との間に一定比率以上オンセット時間に差がある場合には、隣接音接続しない。
・着目している音と後続音との間で音高差／時間差が一定値以上である場合には、隣接音接続しない。
【０００７】
なお、出願人は、本明細書に記載した先行技術文献情報で特定される先行技術文献以外には、本発明に関連する先行技術文献を出願時までに発見するには至らなかった。
【非特許文献１】平田，青柳，音楽理論ＧＴＴＭに基づく多声音楽の表現手法と基本演算，（社）情報処理学会論文誌，ｖｏｌ．４３，Ｎｏ．２（２００２）
【非特許文献２】井田，平田，東条，ＧＴＴＭに基づくグルーピング構造及び拍節構造の自動分析の試み，（社）情報処理学会音楽情報科学研究会，２００１−ＭＵＳ−４２，ｐｐ．４９−５４（２００１）
【非特許文献３】東洋，平田，東条，佐藤，グルーピング規則適用を改良したＧＴＴＭの実装，（社）情報処理学会音楽情報科学研究会，２００２−ＭＵＳ−４７，ｐｐ．１２１−１２６（２００２）
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上述した従来の技術は、グルーピング選好ルールＧＰＲ２〜３に関するものであるが、ルールの適用順序が決まっていないので、ルール間の競合がしばしば起こる。このため、従来の技術を用いて楽曲のグルーピング構造分析を行っても、楽曲の認識率が低いという問題があった。
また、従来の技術はメロディの局所的な境界を求めることに主眼を置いていたため、階層的なグルーピング構造を得ることができないという問題があった。
【０００９】
本発明は、このような課題を解決するためになされたものであり、その目的は、ルール間の競合が起こらないようにすることにある。
また、他の目的は、階層的なグルーピングを適切に行えるようにすることにある。
【課題を解決するための手段】
【００１０】
このような目的を達成するために、本発明に係る楽曲のグルーピング構造の自動分析方法は、メロディを構成する個々の音の特性を示す楽曲データが入力される楽曲データ入力ステップと、楽曲データに示される連続した個々の音の特性が変化する箇所を検出しメロディの局所的境界とする局所的境界検出ステップと、局所的境界に基づいてメロディを分割することによりメロディの階層的なグルーピング構造を検出するグルーピング構造検出ステップとを備えることを特徴とする。
【００１１】
ここで、局所的境界検出ステップおよびグルーピング構造検出ステップが、複数の評価指標と、それぞれの評価指標に対する重み付けを調節するパラメータとに基づいて、音の特性の変化の度合いを局所的境界の深さとして数値化するようにしてもよい。
また、局所的境界検出ステップが、変化の度合いを規格化し、規格化された変化の度合いが閾値よりも大きい箇所を局所的境界とするようにしてもよい。
【００１２】
また、グルーピング構造検出ステップが、メロディの全体またはメロディを局所的境界に基づいて分割することにより得られた連続する複数の音のグループに含まれる局所的境界の深さを比較して、最も深い局所的境界を１段下の階層のグループ境界に決定する第１のステップと、第１のステップの処理を下の階層のグループにおいて再帰的に実行する第２のステップとを備えるようにしてもよい。
【００１３】
また、グルーピング構造検出ステップが、局所的境界のそれぞれにおける音の特性の変化とその前後の音の特性の変化との差が閾値よりも大きい場合に、その局所的境界の深さを増大させるようにしてもよい。
また、グルーピング構造検出ステップが、メロディの全体またはメロディを局所的境界に基づいて分割することにより得られた連続する複数の音のグループに対して、その時間的中心を平均とし、分散σをパラメータとする正規分布に基づいて、メロディの全体またはグループに含まれる局所的境界の深さにを増大または減少させるようにしてもよい。
【００１４】
また、本発明に係る楽曲のグルーピング構造の自動分析装置は、メロディを構成する個々の音の特性を示す楽曲データが入力される楽曲データ入力手段と、楽曲データに示される連続した個々の音の特性が変化する箇所を検出しメロディの局所的境界とする局所的境界検出手段と、局所的境界に基づいてメロディを分割することによりメロディの階層的なグルーピング構造を検出するグルーピング構造検出手段とを備えることを特徴とする。
【００１５】
ここで、局所的境界検出手段およびグルーピング構造検出手段は、複数の評価指標と、それぞれの評価指標に対する重み付けを調節するパラメータとに基づいて、音の特性の変化の度合いを局所的境界の深さとして数値化するようにしてもよい。
また、局所的境界検出手段が、変化の度合いを規格化し、規格化された変化の度合いが閾値よりも大きい箇所を局所的境界とするものであってもよい。
【００１６】
また、グルーピング構造検出手段は、メロディの全体またはメロディを局所的境界に基づいて分割することにより得られた連続する複数の音のグループに含まれる局所的境界の深さを比較して、最も深い局所的境界を１段下の階層のグループ境界に決定する第１の手段と、第１の手段の処理を下の階層のグループにおいて再帰的に実行する第２の手段とを備えるものであってもよい。
【００１７】
また、グルーピング構造検出手段は、局所的境界のそれぞれにおける音の特性の変化とその前後の音の特性の変化との差が閾値よりも大きい場合に、その局所的境界の深さを増大させるものであってもよい。
また、グルーピング構造検出手段は、メロディの全体またはメロディを局所的境界に基づいて分割することにより得られた連続する複数の音のグループに対して、その時間的中心を平均とし、分散σをパラメータとする正規分布に基づいて、メロディの全体またはグループに含まれる局所的境界の深さにを増大または減少させるものであってもよい。
【００１８】
また、本発明に係る楽曲のグルーピング構造の自動分析プログラムは、メロディを構成する個々の音の特性を示す楽曲データが入力される楽曲データ入力ステップと、楽曲データに示される連続した個々の音の特性が変化する箇所を検出しメロディの局所的境界とする局所的境界検出ステップと、局所的境界に基づいてメロディを分割することによりメロディの階層的なグルーピング構造を検出するグルーピング構造検出ステップとをコンピュータに実行させることを特徴とする。
【００１９】
ここで、局所的境界検出ステップおよびグルーピング構造検出ステップが、複数の評価指標と、それぞれの評価指標に対する重み付けを調節するパラメータとに基づいて、音の特性の変化の度合いを局所的境界の深さとして数値化するようにしてもよい。
また、局所的境界検出ステップが、変化の度合いを規格化し、規格化された変化の度合いが閾値よりも大きい箇所を局所的境界とするようにしてもよい。
【００２０】
また、グルーピング構造検出ステップが、メロディの全体またはメロディを局所的境界に基づいて分割することにより得られた連続する複数の音のグループに含まれる局所的境界の深さを比較して、最も深い局所的境界を１段下の階層のグループ境界に決定する第１のステップと、第１のステップの処理を下の階層のグループにおいて再帰的に実行する第２のステップとを備えるようにしてもよい。
【００２１】
また、グルーピング構造検出ステップが、局所的境界のそれぞれにおける音の特性の変化とその前後の音の特性の変化との差が閾値よりも大きい場合に、その局所的境界の深さを増大させるようにしてもよい。
また、グルーピング構造検出ステップが、メロディの全体またはメロディを局所的境界に基づいて分割することにより得られた連続する複数の音のグループに対して、その時間的中心を平均とし、分散σをパラメータとする正規分布に基づいて、メロディの全体またはグループに含まれる局所的境界の深さにを増大または減少させるようにしてもよい。
【００２２】
また、本発明に係る記録媒体は、上述した楽曲のグルーピング構造の自動分析プログラムを記録した機械読み取り可能な記録媒体である。
【発明の効果】
【００２３】
本発明では、まずメロディの局所的境界を検出し、検出された局所的境界に基づいてメロディの階層的なグルーピング構造を検出することにより、階層的なグルーピングを適切に行うことができる。
また、複数の評価指標（例えば、グルーピング選好ルール）と、それぞれの評価指標に対する重み付けを調節するパラメータとに基づいて、音の特性変化の度合いを意味する局所的境界の深さを数値化することにより、評価指標間の競合を防止し、楽曲の認識率を向上させることができる。
【発明を実施するための最良の形態】
【００２４】
以下、本発明の一実施の形態について、図面を参照して詳細に説明する。
図１は、本発明の一実施の形態に係る楽曲のグルーピング構造の自動分析方法の概要を示す図である。この図に示すように、本実施の形態は、メロディを構成する個々の音の特性を示す楽曲データが入力される楽曲データ入力ステップＳ１と、入力された楽曲データに示される連続した個々の音の特性が変化する箇所を検出しメロディの局所的境界とする局所的境界検出ステップＳ２と、検出された局所的境界に基づいてメロディを分割することによりメロディの階層的なグルーピング構造を分析するグルーピング構造分析ステップＳ３と、分析結果を出力する分析結果出力ステップＳ４とから構成される。
【００２５】
１．楽曲データ
楽曲データは、メロディを構成する個々の音の特性、例えば音の高さ、長さ、強さ、間隔などのデータからなる。楽曲データとしては、例えばＭｕｓｉｃＸＭＬ形式のデータを用いることができる。ＭｕｓｉｃＸＭＬは、ＸＭＬ（extensible mark-up language）に基づく楽譜表記の方法で、アトリビュートエレメントとノートエレメントとからなる。アトリビュートエレメントには、調記号、拍子記号および音部記号が記述され、ノートエレメントには、音高、音価およびノーテーションエレメントが記述される。ノーテーションエレメントには、タイ、スラー、フェルマータ、アルペジオ、強弱記号、装飾音、アーティキュレーションなどが記述される。
【００２６】
２ グルーピング選好ルールの適用
以下、グルーピング選好ルール（評価指標）ＧＰＲ１、ＧＰＲ２ａ、ＧＰＲ２ｂ、ＧＰＲ３ａ、ＧＰＲ３ｂ、ＧＰＲ３ｃ、ＧＰＲ３ｄ、ＧＰＲ４、ＧＰＲ５およびＧＰＲ６の適用について説明する。なお、タイムスパン簡約やプロロンゲーション簡約の結果が必要となるＧＰＲ７については、本実施の形態では適用しない。
各ルールにより生じるグループの境界の深さは、ＤiGPRj=(1,2a,2b,3a,3b,3c,3d,4,5,6)（０≦ＤiGPRj≦１）で表される。
【００２７】
本実施の形態では、次の１５個の調節可能なパラメータを導入する。
・ＳGPRj（ｊ＝（２ａ、２ｂ、３ａ、３ｂ、３ｃ、３ｄ、４、５、６））：各ルールの強さを表すパラメータ。値が大きいほど、ルールの影響が強くなる。式（１７）、（１８）で使用。
・σ：ＧＰＲ５で用いられる。平均をグループの時間的中心とする正規分布の分散の値。値が大きくなるほど、正規分布の裾野が広がる。式（８）で使用。
【００２８】
・Ｗr：ＧＰＲ６で用いられる。リズム方向のずれと音高方向のずれのどちらを重視するかを決めるパラメータ。値が大きいほど、音高の方を重視する。式（１４），（１５），（１６）で使用。
・Ｗs：ＧＰＲ６で用いられる。並列な区間の始まりと終わりのどちらを重視するかを決めるパラメータ。値が大きいほど、終わりの方を重視する。式（１４），（１５），（１６）で使用。
・Ｗl：ＧＰＲ６で用いられる。並列な区間の長さをどれくらい重視するかを決めるパラメータ。値が大きいほど、長い並列区間を重視する。式（１４），（１５），（１６）で使用。
【００２９】
・ＴGPR4：ＧＰＲ４で用いられる。ＧＰＲ２，３の効果を抑制するかどうかを決める閾値。値が大きいほど、ＧＰＲ４が成立しにくくなる。式（７）で使用。
・Ｔlow-level：低いグルーピングレベルで境界とするかどうかを決める閾値。値が大きいほど、境界と認識されにくくなる。式（１８）で使用。
【００３０】
２．１ ＧＰＲ２，３および４の適用
ＧＰＲ２，３および４は、連続する４音（ｎ１，ｎ２，ｎ３，ｎ４）に関するルールである。ｉ番目の遷移（ｉ音目とｉ＋１音目の間）で各ルールにより生じる境界の深さは、境界になり得る（ＤiGPRj＝１）か、そうでない（ＤiGPRj＝０）かで表される。
【００３１】
ＧＰＲ２ａ（slur/rest）では、ｎ２の終わりからｎ３の始まりまでの時間間隔が、ｎ１の終わりからｎ２の始まりまでの時間間隔、および、ｎ３の終わりからｎ４の始まりまでの時間間隔よりも長い場合に、グループの境界と認識される。ＧＰＲ２ａは、次式のように定式化できる。
【００３２】
【数１】
【００３３】
ただし、
resti：消音時刻から次の発音時刻までの間隔（図２参照）
【００３４】
ＧＰＲ２ｂ（attack-point）では、ｎ２の始まりからｎ３の始まりまでの時間間隔が、ｎ１の始まりからｎ２の始まりまでの時間間隔、および、ｎ３の始まりからｎ４の始まりまでの時間間隔よりも長い場合に、グループの境界と認識される。ＧＰＲ２ｂは、次式のように定式化できる。
【００３５】
【数２】
【００３６】
ただし、
ioii：発音時刻間隔（inter onset intervals）（図２参照）
【００３７】
ＧＰＲ３ａ（register）では、ｎ２とｎ３との音高差が、ｎ１とｎ２との音高差およびｎ３とｎ４との音高差よりも大きい場合に、グループの境界と認識される。ＧＰＲ３ａは、次式のように定式化できる。
【００３８】
【数３】
【００３９】
ただし、
regii：音程（図２参照）
【００４０】
ＧＰＲ３ｂ（dynamics）では、ｎ２とｎ３の強弱記号に差があり、ｎ１とｎ２およびｎ３とｎ４の強弱記号に差がない場合に、グループの境界と認識される。ＧＰＲ３ｂは、次式のように定式化できる。
【００４１】
【数４】
【００４２】
ただし、
dynai：音量（ダイナミクス）の差（図２参照）
【００４３】
ＧＰＲ３ｃ（articulation）では、新しいアーティキュレーション（演奏により、連続した個々の音を一つのまとまりに聴かせるため、各音の始まりと終わりのタイミングを変化させること）がそこから開始したり、そこで終了したりする場合に、グループの境界と認識される。ＧＰＲ３ｃは、次式のように定式化できる。
【００４４】
【数５】
【００４５】
ただし、
artii：アーティキュレーションの変化（図２参照）
【００４６】
ＧＰＲ３ｄ（length）では、ｎ２とｎ３が異なった音長をもち、ｎ１とｎ２およびｎ３とｎ４が同じ音長の場合に、グループの境界と認識される。ＧＰＲ３ｄは、次式のように定式化できる。
【００４７】
【数６】
【００４８】
ただし、
leni：音価の差（図２参照）
【００４９】
ＧＰＲ４（intensification）では、ＧＰＲ２，３で示される効果が比較的明白な場合に、グループの境界と認識される。ＧＰＲ４は、次式のように定式化できる。ここで、明白性評価変数Ｐirest，Ｐiioi，Ｐiregistは、それぞれＧＰＲ２ａ，ＧＰＲ２ｂ，ＧＰＲ３ａが明白に成立するほど大きな値を示す。ＴGPR4は（０≦ＴGPR4≦１）は、ＧＰＲ２，３の効果が明白であるかどうかを決める閾値であり、この閾値によりＧＰＲ２，３の効果を抑制するかどうかを決めることができる。
【００５０】
【数７】
【００５１】
２．２ ＧＰＲ５（symmetry）の適用
ＧＰＲ５では、分割された２つのグループの長さが等しくなるようにグルーピングすることを優先する。このようなグルーピングを実現するために、分割された２つのグループの長さが等しいほど高い値を示す関数ＤiGPR5を定義する。
このような関数は様々考えられるが、本実施の形態では、平均をグループの時間的中心、分散をσとする正規分布を用いる。正規分布は、パラメータを調節することにより裾野の広さを自由に変えられるという特長がある。分散σは、調節可能なパラメータで、０に近いほど正規分布の裾野が狭まり、分割前のグループの中心付近でのＤiGPR5の値が大きくなる。したがって、より中心に近いほどグループの境界になりやすくなる。逆にσが大きくなった場合には、中心付近以外の位置でもグループの境界になりやすくなる。
【００５２】
本実施の形態では、ＧＰＲ５を次式のように定式化する。この式の計算は、後述する局所的境界を検出した後、階層的なグルーピング構造を検出する際に、式（１９）において行われる。
【００５３】
【数８】
【００５４】
ただし、
start：グループの始まりの遷移
end ：グループの終わりの遷移
図３に、式（８）により求められる境界の深さＤiGPR5を示す。
【００５５】
２．３ ＧＰＲ６（parallelism）の適用
ＧＰＲ６では、並列性がある部分については並列性のあるグルーピングを優先する。メロディ中のある２つの部分が同一または類似している場合に、その２つの部分には「並列性がある」という。
【００５６】
ここでは、調整可能な３つのパラメータＷr，Ｗs，Ｗlを導入する（０≦Ｗr，Ｗs，Ｗl≦１）。Ｗrは、リズム方向のずれと音高方向のずれのどちらを重視するかを決めるパラメータ、Ｗsは、並列な区間の始まりと終わりのどちらを重視するかを決めるパラメータ、Ｗlは、並列な区間の長さをどれくらい重視するかを決めるパラメータである。
並列な部分の長さｒを、１拍の長さの整数倍とする、したがって、並列な区間の始まりと終わりは、拍の境目になる。
並列の度合いＤiGPR6の算出には、ｑi，ｍij，ｘqir，ｙqiqjr，ｚqiqjrを用いる。
ｑiは、ｉ番目の遷移が楽曲の頭から数えて何拍目であるか（拍数）を表す。
【００５７】
【数９】
【００５８】
ただし、
div：４分音符の音価
ioii：発音時刻間隔
【００５９】
ｍijは、遷移ｉと遷移ｊが並列な区間の開始や終わりになり得るかどうかを表す。遷移ｉが並列な区間の開始となるためには、遷移ｉ−１に拍線がある。すなわち、ｑi≠ｑi-1が成立する必要がある。一方、遷移ｉが並列な区間の終わりとなるためには、遷移ｉ＋１に拍線がある。すなわち、ｑi≠ｑi+1が成立する必要がある。ｍijは、ｉおよびｊが並列な区間の開始となり得る場合にはｂ（＝begin）、並列な区間の終わりとなり得る場合にはｅ（＝end）、並列な区間の開始と終了の両方になり得る場合にはｔ（＝terminal）、開始にも終了にもなり得ない場合はｓ（＝else）とする。
【００６０】
【数１０】
【００６１】
ｘqirは、ｑi拍目からｑi＋ｒ拍目までの間に、何個の音があるかを表す。
ｙqiqjrは、ｑi拍目からｑi＋ｒ拍目までの区間とｑj拍目からｑj＋ｒ拍目までの区間とを比較して、発音のタイミングが一致している音が何音あるかを表す。
ｚqiqjrは、ｑi拍目からｑi＋ｒ拍目までの区間とｑj拍目からｑj＋ｒ拍目までの区間で発音のタイミングが一致している音を比較して、前の音からの音高変化（音程）が一致する音の数を表す。
【００６２】
【数１１】
【００６３】
並列な部分の長さがｒのとき、遷移ｉと遷移ｊのＧＰＲ６による境界の深さは、ＧijrstartおよびＧijrendで表される。図４に示すように、Ｇijrstartは、ｑi拍目からｑi＋ｒ拍目までの区間とｑj拍目からｑj＋ｒ拍目までの区間が並列な場合に高い値になり、Ｇijrendは、ｑi−ｒ拍目からｑi拍目までの区間とｑj−ｒ拍目からｑj拍目までの区間が並列な場合に高い値になる。
【００６４】
【数１２】
【００６５】
並列な度合いＤiGPR6は、次式で表される。
【００６６】
【数１３】
【００６７】
ただし、
Ws′=1-Ws，Wr′=1-Wr，Wl′=1-Wl
【００６８】
２．４ ＧＰＲ１（alternative form）の適用
ＧＰＲ１では、非常に小さいグループ、特に単音からなるグループヘの分割は避ける。このため、遷移ｉの境界の深さが前後の遷移ｉ−１および遷移ｉ＋１の境界の深さより深い場合に、ＧＰＲ１によるグループの境界と認識される。ここで比較される境界の深さは、ＧＰＲ２ａ，ＧＰＲ２ｂ，ＧＰＲ３ａ，ＧＰＲ３ｂ，ＧＰＲ３ｃ，ＧＰＲ３ｄおよびＧＰＲ６による境界の深さの総和である。この際、各ルールによる境界の深さに対し、それぞれのルールの強さを表すパラメータＳGPRjを掛けて重み付けしている。このパラメータＳGPRjを変えて各ルールの影響を調整することにより、ルール間で競合が起こっても、この競合を解消することが可能になる。
【００６９】
ＧＰＲ１による境界の深さは、境界になり得る（ＤiGPR1＝１）かそうでない（ＤiGPR1＝０）かで表される。
ＧＰＲ１は、次式のように定式化できる。
この式において、Ｂiは、遷移ｉの境界の深さを、連続したメロディ中における境界の深さの最大値により規格化した値である。したがって、Ｂiは０から１の実数であり、その値が大きいほど境界が深いことになる。
【００７０】
【数１４】
【００７１】
３ 局所的境界の検出
局所的な境界の検出には、ＤiGPR1，ＤiGPR2a，ＤiGPR2b，ＤiGPR3a，ＤiGPR3b，ＤiGPR3c，ＤiGPR3dおよびＤiGPR6を用いる。ＧＰＲ１による境界であり（ＤiGPR1＝１）、かつ、規格化された境界の深さＢiが閾値Ｔlow-levelより大きい場合に、遷移ｉを局所的なグループ境界候補（局所的境界）とする。この局所的境界の検出は、次式のように定式化できる。ここでは、遷移ｉが局所的境界であることをＤilow-level＝１、そうでないことをＤilow-level＝０で表す。Ｂiは式（１７）と同じである。
【００７２】
【数１５】
【００７３】
４ 階層的なグルーピング構造の検出
階層的なグルーピング構造は、以上のボトムアップ処理により求められた局所的境界を用いて、トップダウンに獲得する。具体的にいえば、ある階層のグループの内部に局所的境界が含まれている場合に、そのすべの局所的境界の深さを比較して、最も深い境界を１段下の階層のグループ境界に決定する。このグループ境界により分割された２つのグループについても同様にして、さらに１段下の階層（当初の階層から見て２段下の階層）のグループ境界を決定する。このような処理をグループの内部に局所的境界が存在しなくなるまで繰り返すことにより、階層的なグルーピング構造を検出できる。
このような処理は、次式の計算を再帰的に実行することにより実現できる。
【００７４】
【数１６】
【００７５】
ただし、
ｊ＝（２ａ，２ｂ，３ａ，３ｂ，３ｃ，３ｄ，４，５，６）
ｉは、グループに含まれるすべての局所的境界の位置
なお、式（１９）では、argmaxの引数（D * Sigma D * S）の値を最大にするようなｉを計算する。例えば、最も上位の階層において、ｉを１から楽曲の終わりの位置を表す位置まで動かしたときに、D * Sigma D * Sの値が最大になるようなｉがargmaxの値になる。
また、この式においても、各ルールによる境界の深さＤGPRjをパラメータＳGPRjで重み付けすることにより、ルール間で競合を解消することが可能になる。
【００７６】
５ 楽曲のグルーピング構造の自動分析装置
次に、楽曲のグルーピング構造の自動分析方法を実現する装置について説明する。図５は、この装置の一構成例を示すブロック図である。
【００７７】
この装置は、楽曲データＭｕｓｉｃＸＭＬから各種の基本変数（ｒｅｓｔi，ｉｏｉi，ｒｅｇｉi，ｌｅｎi，ｄｙｎａi，ａｒｔｉi）を算出する基本変数算出部１と、楽曲データＭｕｓｉｃＸＭＬおよび算出された各種の基本変数を記憶する楽曲データ記憶部２と、各種のパラメータ（ＳGPRj，σ，Ｗr，Ｗs，Ｗl，ＴGPR4，Ｔlow-level）を設定するパラメータ設定部３と、式（１）〜式（６）を計算することによりＧＰＲ２ａ，ＧＰＲ２ｂ，ＧＰＲ３ａ，ＧＰＲ３ｂ，ＧＰＲ３ｃおよびＧＰＲ３ｄを評価するＧＰＲ２，３評価部４と、明白性評価変数Ｐirest，Ｐiioi，Ｐiregistを算出する明白性評価変数算出部５と、式（７）を計算することによりＧＰＲ４を評価するＧＰＲ４評価部６と、式（８）を計算することによりＧＰＲ５を評価するＧＰＲ５評価部７と、式（９）を計算することにより拍数ｑiを算出する拍数算出部８と、式（１０）〜式（１６）を計算することによりＧＰＲ６を評価するＧＰＲ６評価部９と、境界の深さＢiを規格化する規格化部１０と、式（１７）を計算することによりＧＰＲ１を評価するＧＰＲ１評価部１１と、式（１８）を計算することによりグループ境界の候補となる局所的境界を検出する局所的境界検出部１２と、式（１９）を再帰的に計算することにより階層的なグルーピング構造を検出する高次境界検出部１３と、分析結果をＧｒｏｕｐｉｎｇＸＭＬとして出力する分析結果出力部１４とから構成される。
【００７８】
図６は、図５に示した装置の動作の流れを示すフローチャートである。
楽曲データＭｕｓｉｃＸＭＬが入力されると（ステップＳ１１）、楽曲データＭｕｓｉｃＸＭＬを楽曲データ記憶部２に記憶する。また、基本変数算出部１において、楽曲データＭｕｓｉｃＸＭＬから各種の基本変数（ｒｅｓｔi，ｉｏｉi，ｒｅｇｉi，ｌｅｎi，ｄｙｎａi，ａｒｔｉi）を算出し（ステップＳ１２）、算出結果を楽曲データ記憶部２に記憶する（ステップＳ１３）。
【００７９】
パラメータ設定部３から各種のパラメータ（ＳGPRj，σ，Ｗr，Ｗs，Ｗl，ＴGPR4，Ｔlow-level）が設定されると（ステップＳ１４，ＹＥＳ）、グループ境界の候補となる局所的境界を検出するために必要な、ＤiGPRj（ｊ＝１，２ａ，２ｂ，３ａ，３ｂ，３ｃ，３ｄ，６）を求める。より具体的に説明する。
ＧＰＲ２，３評価部４において、楽曲データ記憶部２から各種の基本変数を読み出し、式（１）〜式（６）を計算することによりＤiGPRj（ｊ＝２ａ，２ｂ，３ａ，３ｂ，３ｃ，３ｄ）を求め、規格化部１０へ出力する。
【００８０】
また、拍数算出部８において、楽曲データ記憶部２から４分音符の音価ｄｉｖおよび発音時間間隔ｉｏｉiを読み出し、式（９）を計算することにより拍数ｑiを算出して、ＧＰＲ６評価部９へ出力する。そして、ＧＰＲ６評価部９において、楽曲データ記憶部２から４分音符の音価ｄｉｖ、発音時間間隔ｉｏｉiおよび音程ｒｅｇｉiを読み出し、さらに拍数ｑiおよびパラメータＷr，Ｗs，Ｗlを用いて式（１０）〜式（１６）を計算することにより並列の度合いＤiGPR6を求め、規格化部１０へ出力する。なお、並列の度合いＤiGPR6の計算は、遷移ｉの前または後ｒ拍目までの区間と、遷移ｊ（ｊ＞ｉ）の前または後ｒ拍目までの区間の両方について、ｒを変化させながら行う。
【００８１】
また、規格化部１０において、ＤiGPRjおよびＳGPRj（ｊ＝２ａ，２ｂ，３ａ，３ｂ，３ｃ，３ｄ，６）を用いて遷移ｉの境界の深さを規格化してＢiを求め、ＧＰＲ１評価部１１および局所的境界検出部１２へ出力する。そして、ＧＰＲ１評価部１１において、式（１７）を計算してＤiGPR1を求め、局所的境界検出部１２へ出力する。
このようにしてＤiGPR1およびＢiを得た局所的境界検出部１２において、パラメータＴlow-levelを用いて式（１８）を計算し、局所的境界を検出する（ステップＳ１５）。また、遷移ｉが局所的境界となるか否かを示すＤilow-levelを高次境界検出部１３へ出力する。
【００８２】
高次境界検出部１３にＤilow-levelが入力されると、階層的なグルーピング構造の分析を開始する。まず、最も上位の階層を２つのグループに分割する高次境界を検出する処理を行う。
この処理を行うために、まず、楽曲の最初から最後までの間で、局所的境界となる遷移ｉのそれぞれについて、ＤiGPRj（ｊ＝２ａ，２ｂ，３ａ，３ｂ，３ｃ，３ｄ，４，５，６）を求める。ＤiGPRj（ｊ＝２ａ，２ｂ，３ａ，３ｂ，３ｃ，３ｄ，６）については、ＧＰＲ２，３評価部４、拍数算出部８およびＧＰＲ６評価部９において、上述した処理と同様の処理を局所的境界となる遷移ｉのそれぞれについて実行すればよい。以下、ＤiGPR4およびＤiGPR5について、具体的に説明する。
【００８３】
明白性評価変数算出部５において、局所的境界となる遷移ｉおよびその前後の遷移ｉ−１，ｉ＋１の基本変数ｒｅｓｔi-1，ｒｅｓｔi，ｒｅｓｔi+1と、ｉｏｉi-1，ｉｏｉi，ｉｏｉi+1と、ｒｅｇｉi-1，ｒｅｇｉi，ｒｅｇｉi+1を、楽曲データ記憶部２から読み出す。そして、読み出された各種の基本変数を用いて明白性評価変数Ｐirest，Ｐiioi，Ｐiregistを算出し、ＧＰＲ４評価部６へ出力する。さらに、ＧＰＲ４評価部６において、明白性評価変数Ｐirest，Ｐiioi，ＰiregistおよびパラメータＴGPR4を用いて、式（７）を計算することによりＤiGPR4を求め、高次境界検出部１３へ出力する。
【００８４】
また、ＧＰＲ５評価部７において、楽曲データ記憶部２から全遷移ｉの発音時刻間隔ｉｏｉiを読み出す。そして、楽曲の始まりの遷移ｉ＝１をｓｔａｒｔ、楽曲の終わりの遷移をｅｎｄとし、読み出された発音時刻間隔ｉｏｉiおよび設定された分散σを用いて、局所的境界となる遷移ｉのそれぞれについて式（８）を計算することによりＤiGPR5を求め、高次境界検出部１３へ出力する。
【００８５】
このようにしてＤiGPRj（ｊ＝２ａ，２ｂ，３ａ，３ｂ，３ｃ，３ｄ，４，５，６）を得ると、高次境界検出部１３において、局所的境界となる遷移ｉのそれぞれについて式（１９）を計算する。その結果、ｉが最大となったｉ（ハット）の遷移ｉ（「ｉ0」とおく）を、最も上位の階層を２つのグループに分割する高次境界、すなわち１段下の階層のグループ境界に決定する。
【００８６】
次に、この１段下の階層をさらに２つのグループに分割する高次境界を検出する処理を行う。ここでは、楽曲の最初からグループ境界の遷移ｉ0までの第１のグループと、グループ境界の遷移ｉ0から楽曲の最後までの第２のグループに対し、上述した処理と同様の処理を行う。まず、第１のグループに含まれる局所的境界となる遷移ｉのそれぞれについて、ＤiGPRj（ｊ＝２ａ，２ｂ，３ａ，３ｂ，３ｃ，３ｄ，４，５，６）を求め、高次境界検出部１３において式（１９）を計算し、ｉが最大となったｉ（ハット）の遷移ｉをさらに１段下の階層（最も上位の階層から見て２段下の階層）のグループ境界に決定する。第２のグループについても同様である。
このような処理をグループの内部に局所的境界が存在しなくなるまで繰り返すことにより、階層的なグルーピング構造を検出することができる（ステップＳ１６）。
【００８７】
階層的なグルーピング構造の分析が終了したら、分析結果出力部１４から分析結果をＧｒｏｕｐｉｎｇＸＭＬとして出力する（ステップＳ１７）。
この後、パラメータ設定部３からパラメータの設定が変更されたときには（ステップＳ１８，ＹＥＳ）、局所的境界の検出処理（ステップＳ１５）、階層的なグルーピング構造の分析処理（ステップＳ１６）および分析結果の出力処理（ステップＳ１７）という一連の処理を繰り返し行う。
【００８８】
上述した楽曲のグルーピング構造の自動分析装置は、コンピュータにより実現することができる。このコンピュータ２０は、図７に示すように、演算処理部２１と記憶部２２ａ，２２ｂとインターフェース部（Ｉ／Ｆ部）２３ａ，２３ｂ，２３ｃとがバス２４により接続された構成となっている。Ｉ／Ｆ部２３ａ、２３ｂは、それぞれコンピュータ２０の外部装置である操作卓２５、表示装置２６とインタフェースをとる。
コンピュータ２０の動作を制御するプログラムは、光磁気ディスク、半導体メモリその他の記録媒体２７に記録された状態で提供される。この記録媒体２７がＩ／Ｆ部２３ｃに接続されると、演算処理部２１は記録媒体２７に書き込まれたプログラムを読み出し、記憶部２２ａに格納する。その後、操作卓２５からの指示に基づき、演算処理部２１が記憶部２２ａに格納されたプログラムを実行し、図５に示した各部１〜１４を実現する。
【００８９】
具体的には、次のように動作する。
楽曲データＭｕｓｉｃＸＭＬが記録された記録媒体がＩ／Ｆ部２３ｃに接続されると、演算処理部２１は記録媒体から楽曲データＭｕｓｉｃＸＭＬを読み出し、記憶部２２ｂに記録する（ステップＳ１１）。
その後、演算処理部２１は、記憶部２２ｂから楽曲データＭｕｓｉｃＸＭＬを読み出し、楽曲データＭｕｓｉｃＸＭＬから各種の基本変数（ｒｅｓｔi，ｉｏｉi，ｒｅｇｉi，ｌｅｎi，ｄｙｎａi，ａｒｔｉi）を算出し（ステップＳ１２）、算出結果を記憶部２２ｂに記録する（ステップＳ１３）。
【００９０】
操作卓２５から各種のパラメータ（ＳGPRj，σ，Ｗr，Ｗs，Ｗl，ＴGPR4，Ｔlow-level）が設定されると（ステップＳ１４，ＹＥＳ）、演算処理部２１は、パラメータを記憶部２２ｂに記録する。
その後、演算処理部２１は、記憶部２２ｂから必要な基本変数を読み出し、式（１）〜式（６）を計算することによりＤiGPRj（ｊ＝２ａ，２ｂ，３ａ，３ｂ，３ｃ，３ｄ）を求め、記憶部２２ｂに記録する。また、記憶部２２ｂから必要な基本変数およびパラメータを読み出し、式（９）〜式（１６）を計算することにより並列の度合いＤiGPR6を求め、記憶部２２ｂに記録する。
【００９１】
次いで、演算処理部２１は、記憶部２２ｂから全遷移ｉについてＤiGPR2aを順次読み出し、ＳGPR2aを掛けた結果（ＤiGPR2a×ＳGPR2a）を記憶部２２ｂに記録する。この処理をＤiGPR2b，ＤiGPR3a，ＤiGPR3b，ＤiGPR3c，ＤiGPR3d，ＤiGPR6のぞれぞれについて繰り返し行う。これにより、記憶部２２ｂには、全遷移ｉについてのＤiGPRj×ＳGPRj（ｊ＝２ａ，２ｂ，３ａ，３ｂ，３ｃ，３ｄ，６）が記録される。
続いて、記憶部２２ｂから遷移ｉごとにＤiGPRj×ＳGPRj（ｊ＝２ａ，２ｂ，３ａ，３ｂ，３ｃ，３ｄ，６）を読み出し、総和を求める。これらの総和を比較して最大値を求め、この最大値で遷移ｉごとの総和を割って規格化することによりＢiを求め、記憶部２２ｂに記憶する。
続いて、記憶部２２ｂから連続する３つの遷移ｉ−１，ｉ，ｉ＋１のＢi-1，Ｂi，Ｂi+1を読み出し、これらを比較する。その結果、Ｂiが最大の場合にはＤiGPR1＝１，それ以外の場合にはＤiGPR1＝０とする。この処理を全遷移ｉについて繰り返し行う。
このようにして式（１７）を計算することによりＤiGPR1を求め、記憶部２２ｂに記録する。
【００９２】
次いで、演算処理部２１は、記憶部２２ｂからＤiGPR1およびＴlow-levelを読み出し、式（１８）を計算することによりＤilow-levelを求め、記憶部２２ｂに記録する。この結果、Ｄilow-level＝１となる遷移ｉが、グループ境界の候補となる局所的境界として検出される（ステップＳ１５）。
【００９３】
次いで、演算処理部２１は、記憶部２２ｂから必要な基本変数およびパラメータを読み出し、式（７）および式（８）を計算することにより、局所的境界となる遷移ｉについてＤiGPR4およびＤiGPR5を求め、記憶部２２ｂに記録する。
続いて、記憶部２２ｂからＤiGPR4を順次読み出し、ＳGPR4を掛けた結果（ＤiGPR4×ＳGPR4）を記憶部２２ｂに記録する。この処理をＤiGPR5についても行う。これにより、ステップＳ１５において求められたＤiGPRj×ＳGPRj（ｊ＝２ａ，２ｂ，３ａ，３ｂ，３ｃ，３ｄ，６）と合わせて、記憶部２２ｂには、局所的境界となる遷移ｉについてのＤiGPRj×ＳGPRj（ｊ＝２ａ，２ｂ，３ａ，３ｂ，３ｃ，３ｄ，４，５，６）が記録されることになる。
【００９４】
演算処理部２１は、記憶部２２ｂから局所的境界となる遷移ｉごとにＤiGPRj×ＳGPRj（ｊ＝２ａ，２ｂ，３ａ，３ｂ，３ｃ，３ｄ，４，５，６）を読み出し、式（１９）を計算する。すなわち、局所的境界となる遷移ｉ（Ｄilow-level＝１）ごとにＤiGPRj×ＳGPRj（ｊ＝２ａ，２ｂ，３ａ，３ｂ，３ｃ，３ｄ，４，５，６）の総和を求め、これらの総和が最大となる遷移ｉを求める。この遷移ｉ（「ｉ0」とおく）を、最も上位の階層を２つのグループに分割する高次境界、すなわち１段下の階層のグループ境界に決定し、記憶部２２ｂに記録する。
【００９５】
続いて、楽曲の最初からグループ境界の遷移ｉ0までの第１のグループと、グループ境界の遷移ｉ0から楽曲の最後までの第２のグループに対し、上述した式（７）および式（８）の計算から式（１９）の計算までを行い、各グループにおいて、さらに１段下の階層（最も上位の階層から見て２段下の階層）のグループ境界に決定し、記憶部２２ｂに記録する。
このような処理をグループの内部に局所的境界が存在しなくなるまで繰り返し、階層的なグルーピング構造を検出する（ステップＳ１６）。
階層的なグルーピング構造の分析が終了したら、演算処理部２１は、分析結果を表示装置２６に表示する（ステップＳ１７）。
【００９６】
ここでは、コンピュータ２０の動作を制御するプログラムが、記録媒体２７に記録された状態で提供される例を示したが、インターネットなどのディジタル通信網を介して提供されてもよい。
【００９７】
６ 分析結果の表示
実際に、楽曲のグルーピング構造の自動分析装置を実現するプログラムを作成した。ただし、このプログラムでは、１５個のパラメータのうち、ＧＰＲ３ｂおよびＧＰＲ３ｃに関連するＳGPR3bおよびＳGPR3cを除く１３個のパラメータを調節可能にした。このプログラムによって実現された装置を用いて、既存の楽曲を分析した結果を図８および図９に示す。
【００９８】
図８（ａ）に示す楽曲は、分析対象であるブラームス作曲「子守歌」の一節であり、音符が２７個含まれている（Ｎｏｔｅ１〜Ｎｏｔｅ２７）。
図８（ｂ）に示すウィンドウには、分析結果が表示されいている。このウィンドウの左半分がグルーピング階層の結果表示であり、右半分が１３個のパラメータを調節する１３個のスライダである。グルーピング階層の結果表示において、一番左のカラムにはＮｏｔｅ１〜Ｎｏｔｅ２７と記されている。次に、左から順番に５階層分のグルーピングの結果が表示されている（一番左が最下層、一番右が最上層）。グルーピングの結果表示において、「--｜--」の箇所がグループ境界である。
【００９９】
図９（ａ）に示す楽曲は、分析対象であるモーツァルト作曲「トルコ行進曲」の一節であり、音符が３８個含まれている（Ｎｏｔｅ１〜Ｎｏｔｅ３８）。
図９（ｂ）に示すウィンドウの説明は、図８（ｂ）に示すウィンドウと同様である。
【０１００】
７ 実験結果
上述したプログラムによって実現された装置のグルーピングの性能の評価を、再現率（reca11）と適合率（precisioｎ）とを組み合わせたＦ値で評価する。Ｆ値は、再現率と適合率が高いほど、すなわち、グルーピングの性能が高いほど高くなる。
Ｆ値＝２×（Ｐ×Ｒ）／（Ｐ＋Ｒ） （２０）
ただし、
Ｒ：再現率（装置が出力したグルーピングと同じグループが、正解データに含まれている割合）
Ｐ：適合率（正解データのグルーピングと同じグループが、装置の出力に含まれている割合）
【０１０１】
Ｆ値の計算は、グループが所属する階層に関係なく行う。このため、局所的境界が正しく求まっていない位置では、すべての階層で誤ったグルーピングとなり、Ｆ値が大きく落ちる結果となる。
グルーピング構造は、パラメータの調整によって変化する、そこでまず、パラメータ調節前（ベースライン）の性能を求める。パラメータの初期値は、ＳGPRj（ｊ＝（２ａ，２ｂ，３ａ，３ｄ，４，５，６））＝０．５、σ＝０．０５、Ｗr＝０．５、Ｗs＝０．５、Ｗl＝０．５、ＴGPR4＝０．５、Ｔlow-level＝０．５である。次に、手作業でパラメータを調節した。パラメータは、局所的境界に関するパラメータから先に調節し、その後に高次の境界に関するパラメータを調節した。１曲につき１０分間でパラメータの調整を行ったところ、図１０に示すように、ベースラインの性能よりＦ値が０．３以上向上した。
【産業上の利用可能性】
【０１０２】
本発明は、例えば、作曲・編曲ソフトに利用できる。与えられた楽曲をモチーフとして新たな曲の作曲や編曲を行う際に、まず与えられた楽曲のグルーピング構造を分析する。作曲の場合には、分析結果からそのまま楽曲を適当な大きさのグループに分割する。各グループがモチーフに対応しているので、これらのグループを自由に組み合わせて、新しい曲を作曲することができる。また、編曲の場合には、グループ単位で編曲を行うことにより、より小さくて扱いやすい粒度で編曲すること可能になる。
【０１０３】
また、ある楽曲をビデオやＷｅｂページのＢＧＭとして付ける場合に、グループの境界部分に到達した時点にタイミングを合わせて、ビデオのシーンチェンジやＷｅｂページの自動ジャンプを実行させる処理も可能になる。
また、楽曲の構造を自動判定することができるので、曲を再生するときに、繰り返し部分を１回だけ聴いて飛ばし聴きする、特定のグルーピングのパターンの部分にジャンプするなど、ユーザが能動的に聴く箇所を選ぶという新しい聴き方が可能になる。
【図面の簡単な説明】
【０１０４】
【図１】本発明の一実施の形態に係る楽曲のグルーピング構造の自動分析方法の概要を示す図である。
【図２】楽曲データから算出される基本変数の一例を示す図である。
【図３】ＧＰＲ５による境界の深さを示す図である。
【図４】ＧＰＲ６による境界の深さを示す図である。
【図５】楽曲のグルーピング構造の自動分析装置の一構成例を示すブロック図である。
【図６】楽曲のグルーピング構造の自動分析装置の動作の流れを示すフローチャートである。
【図７】楽曲のグルーピング構造の自動分析装置を実現するコンピュータの一構成例を示すブロック図である。
【図８】楽曲のグルーピング構造の自動分析装置を用いて既存の楽曲を分析した結果の一例を示す図である。
【図９】楽曲のグルーピング構造の自動分析装置を用いて既存の楽曲を分析した結果の他のを示す図である。
【図１０】パラメータ調節前と後のＦ値の変化を示す図である。
【符号の説明】
【０１０５】
１…基本変数算出部１、２…楽曲データ記憶部、３…パラメータ設定部、４…ＧＰＲ２，３評価部、５…明白性評価変数算出部、６…ＧＰＲ４評価部、７…ＧＰＲ５評価部、８…拍数算出部、９…ＧＰＲ６評価部、１０…規格化部、１１…ＧＰＲ１評価部、１２…局所的境界検出部、１３…高次境界検出部、１４…分析結果出力部、２１…演算処理部、２２ａ，２２ｂ…記憶部、２３ａ〜２３ｃ…インターフェース部、２４…バス、２５…操作卓、２６…表示装置、２７…記録媒体。
【特許請求の範囲】
【請求項１】
メロディを構成する個々の音の特性を示す楽曲データが入力される楽曲データ入力ステップと、
前記楽曲データに示される連続した個々の音の特性が変化する箇所を検出し前記メロディの局所的境界とする局所的境界検出ステップと、
前記局所的境界に基づいて前記メロディを分割することにより前記メロディの階層的なグルーピング構造を検出するグルーピング構造検出ステップと
を備えることを特徴とする楽曲のグルーピング構造の自動分析方法。
【請求項２】
請求項１に記載の楽曲のグルーピング構造の自動分析方法において、
前記局所的境界検出ステップおよび前記グルーピング構造検出ステップは、複数の評価指標と、それぞれの評価指標に対する重み付けを調節するパラメータとに基づいて、前記音の特性の変化の度合いを局所的境界の深さとして数値化することを特徴とする楽曲のグルーピング構造の自動分析方法。
【請求項３】
請求項２に記載の楽曲のグルーピング構造の自動分析方法において、
前記局所的境界検出ステップは、前記変化の度合いを規格化し、規格化された前記変化の度合いが閾値よりも大きい箇所を前記局所的境界とすることを特徴とする楽曲のグルーピング構造の自動分析方法。
【請求項４】
請求項２または３に記載の楽曲のグルーピング構造の自動分析方法において、
前記グルーピング構造検出ステップは、
前記メロディの全体または前記メロディを前記局所的境界に基づいて分割することにより得られた連続する複数の音のグループに含まれる局所的境界の深さを比較して、最も深い局所的境界を１段下の階層のグループ境界に決定する第１のステップと、
前記第１のステップの処理を下の階層のグループにおいて再帰的に実行する第２のステップと
を備えることを特徴とする楽曲のグルーピング構造の自動分析方法。
【請求項５】
請求項２〜４のいずれか１項に記載の楽曲のグルーピング構造の自動分析方法において、
前記グルーピング構造検出ステップは、前記局所的境界のそれぞれにおける音の特性の変化とその前後の音の特性の変化との差が閾値よりも大きい場合に、その局所的境界の深さを増大させることを特徴とする楽曲のグルーピング構造の自動分析方法。
【請求項６】
請求項２〜５のいずれか１項に記載の楽曲のグルーピング構造の自動分析方法において、
前記グルーピング構造検出ステップは、前記メロディの全体または前記メロディを前記局所的境界に基づいて分割することにより得られた連続する複数の音のグループに対して、その時間的中心を平均とし、分散σをパラメータとする正規分布に基づいて、前記メロディの全体または前記グループに含まれる局所的境界の深さにを増大または減少させることを特徴とする楽曲のグルーピング構造の自動分析方法。
【請求項７】
メロディを構成する個々の音の特性を示す楽曲データが入力される楽曲データ入力手段と、
前記楽曲データに示される連続した個々の音の特性が変化する箇所を検出し前記メロディの局所的境界とする局所的境界検出手段と、
前記局所的境界に基づいて前記メロディを分割することにより前記メロディの階層的なグルーピング構造を検出するグルーピング構造検出手段と
を備えることを特徴とする楽曲のグルーピング構造の自動分析装置。
【請求項８】
請求項７に記載の楽曲のグルーピング構造の自動分析装置において、
前記局所的境界検出手段および前記グルーピング構造検出手段は、複数の評価指標と、それぞれの評価指標に対する重み付けを調節するパラメータとに基づいて、前記音の特性の変化の度合いを局所的境界の深さとして数値化することを特徴とする楽曲のグルーピング構造の自動分析装置。
【請求項９】
請求項８に記載の楽曲のグルーピング構造の自動分析装置において、
前記局所的境界検出手段は、前記変化の度合いを規格化し、規格化された前記変化の度合いが閾値よりも大きい箇所を前記局所的境界とすることを特徴とする楽曲のグルーピング構造の自動分析装置。
【請求項１０】
請求項８または９に記載の楽曲のグルーピング構造の自動分析装置において、
前記グルーピング構造検出手段は、
前記メロディの全体または前記メロディを前記局所的境界に基づいて分割することにより得られた連続する複数の音のグループに含まれる局所的境界の深さを比較して、最も深い局所的境界を１段下の階層のグループ境界に決定する第１の手段と、
前記第１の手段による処理を下の階層のグループにおいて再帰的に実行する第２の手段と
を備えることを特徴とする楽曲のグルーピング構造の自動分析装置。
【請求項１１】
請求項８〜１０のいずれか１項に記載の楽曲のグルーピング構造の自動分析装置において、
前記グルーピング構造検出手段は、前記局所的境界のそれぞれにおける音の特性の変化とその前後の音の特性の変化との差が閾値よりも大きい場合に、その局所的境界の深さを増大させることを特徴とする楽曲のグルーピング構造の自動分析装置。
【請求項１２】
請求項８〜１１のいずれか１項に記載の楽曲のグルーピング構造の自動分析装置において、
前記グルーピング構造検出手段は、前記メロディの全体または前記メロディを前記局所的境界に基づいて分割することにより得られた連続する複数の音のグループに対して、その時間的中心を平均とし、分散σをパラメータとする正規分布に基づいて、前記メロディの全体または前記グループに含まれる局所的境界の深さにを増大または減少させることを特徴とする楽曲のグルーピング構造の自動分析装置。
【請求項１３】
メロディを構成する個々の音の特性を示す楽曲データが入力される楽曲データ入力ステップと、
前記楽曲データに示される連続した個々の音の特性が変化する箇所を検出し前記メロディの局所的境界とする局所的境界検出ステップと、
前記局所的境界に基づいて前記メロディを分割することにより前記メロディの階層的なグルーピング構造を検出するグルーピング構造検出ステップと
をコンピュータに実行させることを特徴とする楽曲のグルーピング構造の自動分析プログラム。
【請求項１４】
請求項１３に記載の楽曲のグルーピング構造の自動分析プログラムにおいて、
前記局所的境界検出ステップおよび前記グルーピング構造検出ステップは、複数の評価指標と、それぞれの評価指標に対する重み付けを調節するパラメータとに基づいて、前記音の特性の変化の度合いを局所的境界の深さとして数値化することを特徴とする楽曲のグルーピング構造の自動分析プログラム。
【請求項１５】
請求項１４に記載の楽曲のグルーピング構造の自動分析プログラムにおいて、
前記局所的境界検出ステップは、前記変化の度合いを規格化し、規格化された前記変化の度合いが閾値よりも大きい箇所を前記局所的境界とすることを特徴とする楽曲のグルーピング構造の自動分析プログラム。
【請求項１６】
請求項１４または１５に記載の楽曲のグルーピング構造の自動分析プログラムにおいて、
前記グルーピング構造検出ステップは、
前記メロディの全体または前記メロディを前記局所的境界に基づいて分割することにより得られた連続する複数の音のグループに含まれる局所的境界の深さを比較して、最も深い局所的境界を１段下の階層のグループ境界に決定する第１のステップと、
前記第１のステップの処理を下の階層のグループにおいて再帰的に実行する第２のステップと
を備えることを特徴とする楽曲のグルーピング構造の自動分析プログラム。
【請求項１７】
請求項１４〜１６のいずれか１項に記載の楽曲のグルーピング構造の自動分析プログラムにおいて、
前記グルーピング構造検出ステップは、前記局所的境界のそれぞれにおける音の特性の変化とその前後の音の特性の変化との差が閾値よりも大きい場合に、その局所的境界の深さを増大させることを特徴とする楽曲のグルーピング構造の自動分析プログラム。
【請求項１８】
請求項１４〜１７のいずれか１項に記載の楽曲のグルーピング構造の自動分析プログラムにおいて、
前記グルーピング構造検出ステップは、前記メロディの全体または前記メロディを前記局所的境界に基づいて分割することにより得られた連続する複数の音のグループに対して、その時間的中心を平均とし、分散σをパラメータとする正規分布に基づいて、前記メロディの全体または前記グループに含まれる局所的境界の深さにを増大または減少させることを特徴とする楽曲のグルーピング構造の自動分析プログラム。
【請求項１９】
請求項１３〜１８のいずれか１項に記載の楽曲のグルーピング構造の自動分析プログラムを記録した機械読み取り可能な記録媒体。
【請求項１】
メロディを構成する個々の音の特性を示す楽曲データが入力される楽曲データ入力ステップと、
前記楽曲データに示される連続した個々の音の特性が変化する箇所を検出し前記メロディの局所的境界とする局所的境界検出ステップと、
前記局所的境界に基づいて前記メロディを分割することにより前記メロディの階層的なグルーピング構造を検出するグルーピング構造検出ステップと
を備えることを特徴とする楽曲のグルーピング構造の自動分析方法。
【請求項２】
請求項１に記載の楽曲のグルーピング構造の自動分析方法において、
前記局所的境界検出ステップおよび前記グルーピング構造検出ステップは、複数の評価指標と、それぞれの評価指標に対する重み付けを調節するパラメータとに基づいて、前記音の特性の変化の度合いを局所的境界の深さとして数値化することを特徴とする楽曲のグルーピング構造の自動分析方法。
【請求項３】
請求項２に記載の楽曲のグルーピング構造の自動分析方法において、
前記局所的境界検出ステップは、前記変化の度合いを規格化し、規格化された前記変化の度合いが閾値よりも大きい箇所を前記局所的境界とすることを特徴とする楽曲のグルーピング構造の自動分析方法。
【請求項４】
請求項２または３に記載の楽曲のグルーピング構造の自動分析方法において、
前記グルーピング構造検出ステップは、
前記メロディの全体または前記メロディを前記局所的境界に基づいて分割することにより得られた連続する複数の音のグループに含まれる局所的境界の深さを比較して、最も深い局所的境界を１段下の階層のグループ境界に決定する第１のステップと、
前記第１のステップの処理を下の階層のグループにおいて再帰的に実行する第２のステップと
を備えることを特徴とする楽曲のグルーピング構造の自動分析方法。
【請求項５】
請求項２〜４のいずれか１項に記載の楽曲のグルーピング構造の自動分析方法において、
前記グルーピング構造検出ステップは、前記局所的境界のそれぞれにおける音の特性の変化とその前後の音の特性の変化との差が閾値よりも大きい場合に、その局所的境界の深さを増大させることを特徴とする楽曲のグルーピング構造の自動分析方法。
【請求項６】
請求項２〜５のいずれか１項に記載の楽曲のグルーピング構造の自動分析方法において、
前記グルーピング構造検出ステップは、前記メロディの全体または前記メロディを前記局所的境界に基づいて分割することにより得られた連続する複数の音のグループに対して、その時間的中心を平均とし、分散σをパラメータとする正規分布に基づいて、前記メロディの全体または前記グループに含まれる局所的境界の深さにを増大または減少させることを特徴とする楽曲のグルーピング構造の自動分析方法。
【請求項７】
メロディを構成する個々の音の特性を示す楽曲データが入力される楽曲データ入力手段と、
前記楽曲データに示される連続した個々の音の特性が変化する箇所を検出し前記メロディの局所的境界とする局所的境界検出手段と、
前記局所的境界に基づいて前記メロディを分割することにより前記メロディの階層的なグルーピング構造を検出するグルーピング構造検出手段と
を備えることを特徴とする楽曲のグルーピング構造の自動分析装置。
【請求項８】
請求項７に記載の楽曲のグルーピング構造の自動分析装置において、
前記局所的境界検出手段および前記グルーピング構造検出手段は、複数の評価指標と、それぞれの評価指標に対する重み付けを調節するパラメータとに基づいて、前記音の特性の変化の度合いを局所的境界の深さとして数値化することを特徴とする楽曲のグルーピング構造の自動分析装置。
【請求項９】
請求項８に記載の楽曲のグルーピング構造の自動分析装置において、
前記局所的境界検出手段は、前記変化の度合いを規格化し、規格化された前記変化の度合いが閾値よりも大きい箇所を前記局所的境界とすることを特徴とする楽曲のグルーピング構造の自動分析装置。
【請求項１０】
請求項８または９に記載の楽曲のグルーピング構造の自動分析装置において、
前記グルーピング構造検出手段は、
前記メロディの全体または前記メロディを前記局所的境界に基づいて分割することにより得られた連続する複数の音のグループに含まれる局所的境界の深さを比較して、最も深い局所的境界を１段下の階層のグループ境界に決定する第１の手段と、
前記第１の手段による処理を下の階層のグループにおいて再帰的に実行する第２の手段と
を備えることを特徴とする楽曲のグルーピング構造の自動分析装置。
【請求項１１】
請求項８〜１０のいずれか１項に記載の楽曲のグルーピング構造の自動分析装置において、
前記グルーピング構造検出手段は、前記局所的境界のそれぞれにおける音の特性の変化とその前後の音の特性の変化との差が閾値よりも大きい場合に、その局所的境界の深さを増大させることを特徴とする楽曲のグルーピング構造の自動分析装置。
【請求項１２】
請求項８〜１１のいずれか１項に記載の楽曲のグルーピング構造の自動分析装置において、
前記グルーピング構造検出手段は、前記メロディの全体または前記メロディを前記局所的境界に基づいて分割することにより得られた連続する複数の音のグループに対して、その時間的中心を平均とし、分散σをパラメータとする正規分布に基づいて、前記メロディの全体または前記グループに含まれる局所的境界の深さにを増大または減少させることを特徴とする楽曲のグルーピング構造の自動分析装置。
【請求項１３】
メロディを構成する個々の音の特性を示す楽曲データが入力される楽曲データ入力ステップと、
前記楽曲データに示される連続した個々の音の特性が変化する箇所を検出し前記メロディの局所的境界とする局所的境界検出ステップと、
前記局所的境界に基づいて前記メロディを分割することにより前記メロディの階層的なグルーピング構造を検出するグルーピング構造検出ステップと
をコンピュータに実行させることを特徴とする楽曲のグルーピング構造の自動分析プログラム。
【請求項１４】
請求項１３に記載の楽曲のグルーピング構造の自動分析プログラムにおいて、
前記局所的境界検出ステップおよび前記グルーピング構造検出ステップは、複数の評価指標と、それぞれの評価指標に対する重み付けを調節するパラメータとに基づいて、前記音の特性の変化の度合いを局所的境界の深さとして数値化することを特徴とする楽曲のグルーピング構造の自動分析プログラム。
【請求項１５】
請求項１４に記載の楽曲のグルーピング構造の自動分析プログラムにおいて、
前記局所的境界検出ステップは、前記変化の度合いを規格化し、規格化された前記変化の度合いが閾値よりも大きい箇所を前記局所的境界とすることを特徴とする楽曲のグルーピング構造の自動分析プログラム。
【請求項１６】
請求項１４または１５に記載の楽曲のグルーピング構造の自動分析プログラムにおいて、
前記グルーピング構造検出ステップは、
前記メロディの全体または前記メロディを前記局所的境界に基づいて分割することにより得られた連続する複数の音のグループに含まれる局所的境界の深さを比較して、最も深い局所的境界を１段下の階層のグループ境界に決定する第１のステップと、
前記第１のステップの処理を下の階層のグループにおいて再帰的に実行する第２のステップと
を備えることを特徴とする楽曲のグルーピング構造の自動分析プログラム。
【請求項１７】
請求項１４〜１６のいずれか１項に記載の楽曲のグルーピング構造の自動分析プログラムにおいて、
前記グルーピング構造検出ステップは、前記局所的境界のそれぞれにおける音の特性の変化とその前後の音の特性の変化との差が閾値よりも大きい場合に、その局所的境界の深さを増大させることを特徴とする楽曲のグルーピング構造の自動分析プログラム。
【請求項１８】
請求項１４〜１７のいずれか１項に記載の楽曲のグルーピング構造の自動分析プログラムにおいて、
前記グルーピング構造検出ステップは、前記メロディの全体または前記メロディを前記局所的境界に基づいて分割することにより得られた連続する複数の音のグループに対して、その時間的中心を平均とし、分散σをパラメータとする正規分布に基づいて、前記メロディの全体または前記グループに含まれる局所的境界の深さにを増大または減少させることを特徴とする楽曲のグルーピング構造の自動分析プログラム。
【請求項１９】
請求項１３〜１８のいずれか１項に記載の楽曲のグルーピング構造の自動分析プログラムを記録した機械読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００６−４７７２５（Ｐ２００６−４７７２５Ａ）
【公開日】平成１８年２月１６日（２００６．２．１６）
【国際特許分類】
【出願番号】特願２００４−２２９０５７（Ｐ２００４−２２９０５７）
【出願日】平成１６年８月５日（２００４．８．５）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り ２００４年５月７日 社団法人情報処理学会発行の「情報処理学会研究報告 情処研報Ｖｏｌ．２００４ Ｎｏ．４１」に発表
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成１８年２月１６日（２００６．２．１６）
【国際特許分類】
【出願日】平成１６年８月５日（２００４．８．５）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り ２００４年５月７日 社団法人情報処理学会発行の「情報処理学会研究報告 情処研報Ｖｏｌ．２００４ Ｎｏ．４１」に発表
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]