演奏表情付け支援装置
【構成】 演奏表情付け支援装置（１０）は、表示装置（１８）を含み、フレージングに基づく演奏の表情付けを支援する。ユーザが指定したフレーズに対して演奏の表情付けを行う際、表示装置（１８）には、テンポ、ダイナミクスおよびアーティキュレーションの３つの演奏表現の表情カーブ５０が、同じ画面４２上に、同じ時間軸で多重表示される。表情カーブ５０は、マウス等の操作によって形状を変化させることが可能であり、ユーザは、この表情カーブ５０の修正によって、指定したフレーズに対する演奏の表情付けを行う。
【効果】 テンポ、ダイナミクスおよびアーティキュレーションの関係性を把握し易いので、演奏の表情付けを容易かつ効率的に実行できる。
【効果】 テンポ、ダイナミクスおよびアーティキュレーションの関係性を把握し易いので、演奏の表情付けを容易かつ効率的に実行できる。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は演奏表情付け支援装置に関し、特にたとえば、楽曲分析情報をユーザに提供することによって、ユーザ主導で行われるフレージングに基づく演奏の表情付けを支援する、演奏表情付け支援装置に関する。
【背景技術】
【０００２】
近年、音楽コンテンツのデザインにおいて、演奏の表情付けの重要性が増してきている。演奏の表情付けとは、指定された音の並びに対して、音量、テンポおよびアーティキュレーションを含む演奏表現（演奏パラメータ）に変化を与え、音楽を活き活きしたものとして実体化する作業であり、人間の知性や感性の表れとして実施されるものである。なお、アーティキュレーションとは、音や音のつながりに影響をもたらす音の形の表現であり、スラー、スタッカートおよびアクセント等の記号やその表現を示す。
【０００３】
演奏の表情付けに関する研究は、音楽系人工知能研究の１つとして取り組まれ、その多くは、ルール学習や事例ベース推論に基づく自動化技術の開発に焦点が当てられてきた。このような自動化技術は、音楽コンテンツの生産性の向上をもたらすが、一方では、ユーザが求める演奏表情に辿り着くことが必ずしも容易ではないという問題が残る。
【０００４】
そこで、この発明者らは、非特許文献１などにおいて、演奏デザインにおける表情付けはユーザが主導で行い、煩雑な作業の部分を自動化技術で代替（支援）することによって、ユーザ所望の表情付けを効率的に実行できるシステムを提案している。非特許文献１の技術は、フレージングに焦点を当てたユーザ主導の演奏表情デザインシステムであって、フレーズ構造解析支援機能と演奏表情エディット機能とを備えている。フレーズ構造解析支援機能は、ユーザが部分的にフレーズの境界（構造）を指定すれば、残りのフレーズ構造については、ＧＴＴＭ（A Generative Theory of Tonal Music）を応用して解析できる機能であり、演奏表情エディット機能は、ユーザが表情付けしたいフレーズを任意に選択すると、そのフレーズに対応するテンポおよび音量（ダイナミクス）の表情カーブのそれぞれを各エディット画面に表示し、ユーザの操作に応じて各表情カーブを個別に修正していくことによって、ユーザ所望の演奏表情を形成する機能である。ユーザが選択したフレーズに表情付けが行われると、その表情付けは楽曲全体に反映され、演奏の表情付けの効率化が図られる。
【非特許文献１】「Mixtract：ユーザの意図に応える演奏表現デザイン支援環境」 （第１７回大阪大学保健センター 健康科学フォーラム「音楽とウェルネスの学際的融合」，３６−３７，２００９年１１月）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
音楽経験者は、暗黙知としてフレーズの表現方法を理解しているが、演奏表現における「聴こえ」を実現する演奏パラメータ（テンポやダイナミクスなど）の組み合わせは、必ずしも一意ではない。また、フレーズ構造の演奏表現は、テンポ表現やダイナミクス表現などを有機的に組み合わせることによって、その個性が表出されるものである。しかしながら、非特許文献１の技術では、指定されたフレーズに対するテンポおよびダイナミクスの表情カーブを別個のエディット画面に表示し、各エディット画面において各表情カーブを個別に修正するようにしていたので、演奏パラメータ相互の関係性を把握し難い上、演奏パラメータのどのような組み合わせによってその演奏表現の「聴こえ」が実現されているのかを把握し難かった。
【０００６】
また、ユーザは、選択したフレーズに対する演奏表現（表情カーブ）の修正（編集）と試聴とを繰り返すことによって、所望の表情付けを行うが、演奏生成に関わる方法論が規定されず、目安や手掛かりとなる情報が乏しい状態、たとえば楽譜情報（ピアノロール情報）のみを参考にして、演奏の表情付けを行うことは、必ずしも容易ではなかった。
【０００７】
それゆえに、この発明の主たる目的は、新規な、演奏表情付け支援装置を提供することである。
【０００８】
この発明の他の目的は、演奏に対する所望の表情付けを容易に実行できる、演奏表情付け支援装置を提供することである。
【課題を解決するための手段】
【０００９】
この発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明などは、本発明の理解を助けるために後述する実施の形態との対応関係を示したものであって、この発明を何ら限定するものではない。
【００１０】
第１の発明は、フレージングに基づく演奏の表情付けを支援する演奏表情付け支援装置であって、ユーザによって指定、もしくは、自動解析された階層的フレーズ構造を構成する各フレーズに対して、テンポ、ダイナミクスおよびアーティキュレーションの３つの表情カーブを、同じ画面に、同じ時間軸で多重表示する第１表示手段、および画面に表示された表情カーブの修正を受け付ける修正受付手段を備える、演奏表情付け支援装置である。
【００１１】
第１の発明では、演奏表情付け支援装置（１０）は、第１表示手段（１２，１８，４２，Ｓ１３）を備え、ユーザが行うフレージングに基づく演奏の表情付けを支援する。第１表示手段は、たとえば、ユーザによる指定や自動解析によって楽曲の階層的フレーズ構造の解析がなされた後、その階層的フレーズ構造を構成する複数のフレーズから任意に選択されたフレーズに対して、テンポ、ダイナミクスおよびアーティキュレーションの３つの演奏表現の表情カーブ（５０）を、同じ画面上に、同じ時間軸で多重表示する。修正受付手段（１２，１６，４２，Ｓ５１）は、ユーザが行うマウス等の操作によって、表情カーブの修正を受け付ける。この表情カーブの修正により、ユーザは、そのフレーズに対する演奏の表情付けを行う。
【００１２】
第１の発明によれば、３つの表情カーブを、同じ画面上に、同じ時間軸で多重表示するので、テンポ、ダイナミクスおよびアーティキュレーションの関係性が把握し易くなる。つまり、これら３つの演奏表現の関係性を総合的に判断しながら編集できるので、ユーザは、演奏の表情付けを容易に行うことができる。
【００１３】
また、暗黙知として存在していたフレーズの表現の仕方、つまりテンポ等の演奏パラメータをどのように組み合わせてその表現を実現したかを外在化できるので、自身の知識を形式化することができ、第３者に演奏表現の技法をより具体的に伝えることができるようになる。
【００１４】
第２の発明は、第１の発明に従属し、フレーズ内の各音符の頂点らしさを算出する算出手段、および各音符の頂点らしさを識別可能に表示する第２表示手段をさらに備える。
【００１５】
第２の発明では、各音符の頂点らしさ、つまり演奏表現における各音符の重要度を定量的に見分けるための指標となるものを算出する算出手段（１２，１４，Ｓ７）、および算出した各音符の頂点らしさを識別可能に表示する第２表示手段（１２，１８，４０，Ｓ９）を備える。第２表示手段は、たとえば、各音符の頂点らしさを、ピアノロール上の各音符の描画色の濃淡情報として表示する。
【００１６】
第２の発明によれば、フレーズ内のどの音符が重要であるかを定量的に判断できるようになるので、これを参照することにより、ユーザは、演奏の表情付けを容易かつ効率的にできるようになる。
【００１７】
第３の発明は、第２の発明に従属し、算出手段は、所定の音楽理論に基づく音符の頂点らしさを判定するためのルール群を記憶するルール記憶手段、およびフレーズ内の各音符とルール群のそれぞれとを照合し、該当するルールがある音符には、当該ルールに割り当てられた評価ポイントを、その音符の頂点らしさを示すエネルギー値として加算する加算手段を含む。
【００１８】
第３の発明では、算出手段（１２，１４，Ｓ７）は、ルール記憶手段（１４）を含み、ルール記憶手段には、たとえば、保科の提唱した音楽解釈理論に基づくルール群が記憶される。各ルールには、重要度などに応じて評価ポイントが設定される。つまり、音符の頂点らしさの計算のための条件および評価ポイント値をルールとして記述している。加算手段（１２，Ｓ４７）は、フレーズ内の各音符（具体的には、その音高、音価および和声など）と、ルール記憶手段に記憶されたルール群とを比較照合し、該当するルールがある音符には、該当するルールに割り当てられた評価ポイントを、その音符の頂点らしさを示すエネルギー値として加算する。各音符についてのエネルギー値の計算結果は、メモリ（１４）等に適宜記憶される。
【００１９】
第３の発明によれば、算出されたエネルギー値の大きさによって、各音符の頂点らしさ、つまり各音符の重要度を定量的に表すことができる。また、音符の頂点らしさの計算のための条件および評価ポイント値をルールとして記述していることから、その計算の根拠をユーザに示すことも容易に実現される。したがって、ユーザ自身による頂点の推定や把握を助けるという視点において、演奏の表情付けの支援を行うことができる。
【発明の効果】
【００２０】
第１の発明によれば、表情カーブを修正するときに、テンポ、ダイナミクスおよびアーティキュレーションの関係性を把握し易くなるので、演奏の表情付けを容易に行うことができる。
【００２１】
第２の発明によれば、フレーズ内のどの音符が重要であるかを定量的に判断できるようになるので、これを参照することにより、ユーザは、演奏の表情付けを容易かつ効率的にできるようになる。
【００２２】
第３の発明によれば、音符の頂点らしさの計算のための条件および評価ポイント値をルールとして記述していることから、その計算の根拠をユーザに示すことも容易に実現される。したがって、ユーザ自身による頂点の推定や把握を助けるという視点において、演奏の表情付けの支援を行うことができる。
【００２３】
この発明の上述の目的、その他の目的、特徴および利点は、図面を参照して行う後述の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００２４】
【図１】この発明の一実施例の演奏表情付け支援装置の内部構成を示すブロック図である。
【図２】図１の演奏表情付け支援装置の表示装置に表示されるフレーズ構造解析画面の一例を示す図解図である。
【図３】頂点推定ルールの分類を示す図解図である。
【図４】頂点推定ルールの一部を示すテーブルである。
【図５】頂点推定ルールの他の一部を示すテーブルである。
【図６】図１の演奏表情付け支援装置の表示装置に表示される演奏表情編集画面の一例を示す図解図である。
【図７】図１の演奏表情付け支援装置のＣＰＵが実行する演奏デザインの全体処理の動作の一例を示すフロー図である。
【図８】図７におけるフレーズ構造解析処理の動作の一例を示すフロー図である。
【図９】図７における頂点らしさの計算処理の動作の一例を示すフロー図である。
【図１０】図７における表情カーブの編集処理の動作の一例を示すフロー図である。
【発明を実施するための形態】
【００２５】
図１を参照して、この発明の一実施例である演奏表情付け支援装置（以下、単に「支援装置」という。）１０は、階層的なフレーズ表現を基本とした、ユーザ主導で行う演奏の表情付けを支援するための装置である。支援装置１０は、たとえばパーソナルコンピュータのような電子計算機を用いて構成され、詳細は後述するように、ユーザによる演奏の表情付けを支援するために、フレーズ構造解析支援機能、頂点解析機能および演奏表情編集機能などを備えている。
【００２６】
支援装置１０は、ＣＰＵ１２を含む。ＣＰＵ１２は、マイクロコンピュータ或いはプロセサとも呼ばれ、支援装置１０の全体的な制御を実行する。ＣＰＵ１２には、バス等を介して、メモリ１４、入力装置１６、表示装置１８および音源２０等が接続される。
【００２７】
メモリ１４は、図示は省略するが、ＲＯＭ、ＨＤＤおよびＲＡＭ等を含む。ＲＯＭやＨＤＤには、ＣＰＵ１２がこの演奏表情付け支援処理を行うためのプログラムおよびデータ、ならびにその他必要なプログラムおよびデータが記憶される。ＲＡＭは、ＣＰＵ１２の作業領域またはバッファ領域として使用される。つまり、ＣＰＵ１２は、ＲＯＭやＨＤＤに記憶されたプログラムおよびデータをＲＡＭにロードし、これらプログラムに従って支援装置１０の各部の動作を制御し、各種処理を実行する。また、ＣＰＵ１２は、演奏の表情付け処理の進行などに応じて適宜生成される演奏データ等の一時的なデータをＲＡＭに記憶する。
【００２８】
メモリ１４（ＲＯＭやＨＤＤ）に記憶されるプログラムとしては、表示装置１８に所定の画面を表示するための画面表示プログラム、ユーザが入力した部分的なフレーズ構造に基づいて残りのフレーズ構造を解析するためのフレーズ構造解析支援プログラム、各音符の頂点らしさを推定するための頂点推定プログラム、ユーザによって指定されたフレーズにおける表情カーブを生成するための表情カーブ生成プログラム、ユーザによる表情カーブの修正などに応じて演奏データを生成（更新）するための演奏データ生成プログラム、生成された演奏データに応じた音声（演奏音）を出力するための演奏音出力プログラム等がある。
【００２９】
メモリ１４に記憶されるデータとしては、表示装置１８に表示される文字データや映像データ、各音符の頂点らしさを推定するためのルールに関するデータ、および所望の楽曲の楽譜データ（音符の並びや演奏記号の情報）等がある。楽譜データは、たとえば、標準ＭＩＤＩファイル（ＳＭＦ）形式やＭｕｓｉｃＸＭＬ形式のデータを用いることができ、ＭＩＤＩのスコアエディタ、またはＭｕｓｉｃＸＭＬのインポート機能などを利用して適宜入力されてメモリ１４に記憶される。
【００３０】
なお、上述のプログラムおよびデータ等は、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭおよびメモリカード等の各種情報記録媒体に記録されているものを読み出して使用してもよいし、ＬＡＮあるいはインターネットのようなネットワーク上のサーバ等から取得して使用してもよい。
【００３１】
入力装置１６は、ユーザが操作する操作手段であり、キーボードおよびポインティングデバイス等を含む。ポインティングデバイスとしては、マウス、タッチパネル、トラックボール、トラックパッド、デジタイザまたはタブレット等が用いられる。ユーザによる入力装置１６の操作に応じた操作信号（操作情報）は、ＣＰＵ１２に与えられ、ＣＰＵ１２は、与えられた操作信号に基づいて処理を実行する。
【００３２】
表示装置１８は、ＬＣＤやＣＲＴ等であり、ＣＰＵ１２から与えられる表示信号に基づいて、後述するピアノロール画面およびエディット画面などの各種画面を表示する。
【００３３】
音源２０は、ＣＰＵ１２の制御の下、ＲＡＭに生成される演奏データ（表情付けされた演奏データ等）に基づいて音声信号を生成し、音声出力装置２２に出力する。音声出力装置２２は、Ｄ／Ａコンバータ、アンプおよびスピーカ等を含み、音声信号に応じた音声（演奏音）を出力する。なお、音源２０としては、音源を備えたサウンドカード等の内部音源を使用することもできるし、電子ピアノ等の外部音源を使用することもできる。
【００３４】
このような構成の支援装置１０は、上述のように、階層的なフレーズ表現（フレージング）に焦点を当て、ユーザ主導で行われる演奏の表情付けを支援する。ここで、この発明の理解に必要な範囲で、音楽表現におけるフレーズ構造について簡単に説明する。なお、演奏家や作曲家によっては、フレーズのことをグループと表現している場合があるが、フレーズとグループとは同義語であるので、ここでは、フレーズの呼称を使用することとする。
【００３５】
どのような音楽においても、ある時刻における音とそれに前後する音との間には何らかの関係を持ったまとまりが形成される。このまとまりをフレーズという。複数のフレーズはさらに関連付けられて、階層的なフレーズ構造が形成される。また、フレージングとは、音楽の流れを適切な位置で区切る（つまりフレーズを設定する）ことによって曲に呼吸を与えることであり、フレージングを踏まえて演奏することによって演奏に抑揚が生まれる。つまり、楽曲の階層的フレーズ構造をいかに聴取者へ伝達するかが、音楽表現の主題であると言っても過言ではない。
【００３６】
ところで、作曲家が用意した楽譜から解釈されるフレーズ構造は必ずしも１つではなく、多義性が存在する。演奏家や指揮者などは、フレーズ構造の可能な解釈の中から１つを定め、そのフレーズ構造が伝わるように演奏表現として具現化している。また、フレーズ構造の演奏表現も必ずしも１つではなく、テンポ、ダイナミクスおよびアーティキュレーションの組み合わせによって演奏の個性が表出される。つまり、ユーザが望む演奏デザインを行うためには、楽曲のフレーズ構造をどのように解釈（設定）し、そのフレーズ構造をどのように表現するのかが重要となる。しかし、楽曲全体の階層的なフレーズ構造、およびそのフレーム構造の表現方法の全てを、何の手掛かりもないままユーザが決定していくことは、多大な労力を必要とすると共に、初心者では能力的に困難な作業となる。
【００３７】
そこで、支援装置１０では、あくまでもユーザ主導で演奏の表情付けを行うことを前提として、特定のルールや事例参照などに基づく楽曲分析情報（フレーズ構造解析情報や頂点解析情報など）をユーザに提供することによって、ユーザ主導で行われる演奏の表情付けを支援する。
【００３８】
なお、この実施例では、ピアノのような打鍵楽器を対象として説明するが、支援装置１０は、打鍵楽器以外の楽器、たとえば、弦楽器、管楽器、打楽器、およびそれらの複合にも適用可能である。
【００３９】
以下には、支援装置１０が提供する演奏表情付け支援処理の一連の流れについて、一例を挙げて説明する。支援装置１０を用いて演奏の表情付けを行う作業は、簡単にいうと、（１）一列に連なるフレーズ群（プライマリフレーズライン）の決定、（２）プライマリフレーズライン中のフレーズに対しての頂点の決定、（３）頂点情報を利用したプライマリフレーズラインの演奏デザイン、（４）プライマリフレーズラインの上位構造に対するまとまり感の付与、という流れで行われる。支援装置１０は、ユーザに入力や選択動作を行わせるためのＧＵＩ（Graphical User Interface）画面を表示装置１８に適宜表示し、ユーザによる入力指示に応じた楽曲分析情報を提供しながら、インタラクティブに演奏表情付け支援処理を実行する。なお、演奏デザインの進行に応じて、音声出力装置２２から演奏音を出力するための演奏データは適宜生成され、たとえば、表示装置１８の画面上に表示される試聴ボタン（図示せず）をクリックすることによって、ユーザは、任意段階での演奏音の試聴が可能である。以下、具体的に説明する。
【００４０】
支援装置１０を用いて演奏の表情付け作業を行うユーザは、先ず、所望の楽曲の楽譜情報（楽譜データ）を支援装置１０に入力する、或いは予め支援装置１０のメモリ１４等に楽譜情報が記憶された楽曲の中から所望の楽曲を選択する。表情付けを行う楽曲が決定すると、ユーザは、支援装置１０のフレーズ構造解析支援機能を利用して、楽曲のフレーズ構造を決定する。図２は、表示装置１８の画面上に表示されるフレーズ構造解析画面の一例を示している。
【００４１】
具体的には、フレーズ構造を解析する際には、支援装置１０では、その楽曲の楽譜情報を示すピアノロール画面３０がＧＵＩとして表示装置１８に表示される（図２の上部参照）。ユーザは、ピアノロールの任意の部分、たとえば楽曲最初の数小節や中盤の数小節を選択して、概ね１〜数小節分の長さを目安に、一列に連なるフレーズ群（プライマリフレーズライン）を形成する。つまり、楽曲の任意の部分において、ピアノロール上に数個の区切り線を入れることによって、フレーズ境界を部分的に指定する。
【００４２】
ユーザがフレーズ境界を部分的に指定すると、支援装置１０では、ユーザが指定した部分以外のフレーズ境界および階層的フレーズ構造が、ＧＴＴＭ（A Generative Theory of Tonal Music）の境界判定を行うルール（ＧＰＲ：Grouping Preference Rule）を利用したｅｘＧＴＴＭ（Hamanaka,M., Hirata,K. andTojo,S.: Implementing“A Generative Theory of Tonal Music”,Journal of New Music Research, Vol.35, No.4, pp.249-277(2006)参照）を利用して自動解析される。
【００４３】
フレーズ構造の解析処理が終了すると、階層的フレーズ構造３２がＧＵＩとして表示装置１８に表示される（図２の下部参照）。図２において、斜線で示されるフレーズ構造（Ｕ（０）−Ｕ（５）のフレーズ）３２ａがユーザ指定によるフレーズ構造であり、ドット模様で示されるフレーズ構造（Ｃ（０）−Ｃ（２７）のフレーズ）３２ｂが支援装置１０によって自動解析された上位および下位のフレーズ構造である。なお、階層的フレーズ構造３２中に示される複数の縦線３４は、ユーザのフレーズ境界指定に依存しない自動処理によって提示されるフレーズ境界の候補である。ユーザは、このフレーズ境界の候補を参照して、フレーズ構造を修正することもできる。また、図面の都合上、斜線やドット模様を付してユーザ指定のフレーズ構造３２ａと自動解析によるフレーズ構造３２ｂとを区別しているが、実際には、任意の色を配色することによって区別しており、自動解析によるフレーズ構造３２ｂにおいては、さらに上位構造と下位構造とで違う色を配色して区別できるようにしている。
【００４４】
また、支援装置１０では、ユーザによってフレーズ境界が入力または更新されると、自動演奏を再生するための演奏データが順次生成される。楽譜情報のみを手掛かりとしてフレーズ境界を判断することは、ユーザにとって必ずしも容易な作業ではないが、楽曲の試聴機能を利用することで、専門家以外のユーザでもほぼ直感的にこの作業を実施できる。
【００４５】
上述の作業で意図するフレーズ構造が得られなかった場合には、ユーザは、適宜、フレーズ構造を編集する。たとえば、あるフレーズを選択して、そのフレーズとその直前または直後のフレーズとの境界位置を移動させることによって、修正作業を実施する。ユーザによって修正されたフレーズ構造の上位構造および下位構造は、自動的に再解析が実施され、この作業を繰り返すことにより、最終的にユーザの意図するフレーズ構造に近づけていくことができる。
【００４６】
なお、ユーザの指定するフレーズ境界は、ＧＴＴＭのプレファランスと反駁することがあるが、この際には、ユーザ指定のフレーズ境界が優先され、ＧＴＴＭの支持するデフォルトプレファランスの重みを下げることによって自動解析処理自体のユーザ適合が図られる。また、支援装置１０には、ＧＰＲのユーザプレファランスを、ユーザが指定したフレーズ境界をサポートするものになるように更新していく機能を備えるようにしてもよい。この場合には、支援装置１０が実行するフレーズ構造の自動解析に関して、ＧＰＲの基本プレファランスと随時更新されるユーザプレファランスとのどちらを優先させるかをユーザが選択できるようにしてもよい。さらに、ユーザのフレーズ指定作業を補助するものとして、旋律外形の計算により、ユーザが指定したフレーズと同型のフレーズを検出する機能を備えるようにしてもよい。
【００４７】
上述のような作業によってユーザが望むフレーズ構造が得られると、続いて、支援装置１０のフレーズ頂点解析機能を利用して、プライマリフレーズライン中のフレーズに対しての頂点を決定する。
【００４８】
具体的には、フレーズに対しての頂点を決定する際には、先ず、ユーザは、プライマリフレーズラインに含まれるフレーズ群の中から１つのフレーズを選択する。ユーザがフレーズを選択すると、支援装置１０の表示装置１８には、選択したフレーズ部分のピアノロール画面が表示され、支援装置１０では、選択されたフレーズに含まれる各音符の頂点らしさ（尤度）が推定される。
【００４９】
この実施例では、保科の提唱した音楽解釈理論（保科洋：生きた音楽表現へのアプローチ，エネルギー思考に基づく演奏解釈法，音楽之友社，（１９９９）参照。以下、「保科理論」という。）に基づいて、頂点解析を行うようにしている。
【００５０】
保科理論では、楽譜の解析から得られるフレーズにおいて、最もエネルギー値が高い音符を頂点または重心と定義している。そして、音符のエネルギー値を音量やテンポ等の演奏表現上での制御に置き換えていくことで、作曲者の意図に沿った演奏が可能になると説明している。頂点の演奏表現法は一意ではないが、頂点を中心とした表情カーブを描くことによって、音楽的な破綻を避けた演奏の表情付け（演奏デザイン）が可能となる。
【００５１】
そこで、この実施例では、保科理論に即した頂点らしさの推定方法を定式化し、フレーズが構成する音符が持つエネルギー値を推定して表示することによって、ユーザが演奏の表情付けを実行する上での目安あるいは手掛かりとなる情報を提示している。
【００５２】
具体的には、保科理論では、音高の高い音（つまり音形輪郭における頂点音）、音価の長い音、および各音の緊張-弛緩構造における緊張音は、エネルギー値（つまり頂点らしさ）が高いとされる。また、和声によって頂点らしさは変化し、フレーズの最終音は頂点にならないという原則も与えられている。この実施例では、これらの音形輪郭や和音進行の原則をルールの条件節として使用できるように類型化すると共に、臨時記号などに関するルールを追加している。図３−５には、頂点らしさの計算に使用されるルール群の一例を示す。図３に示すように、頂点らしさの計算に用いるルール群は、音価、音高、旋律的緊張-弛緩、音積（和声）、グループおよびその他の６つに分類される。また、ドミナント・モーションなど音楽的に意味を持つ音の並びの表現にも対応するため、各ルールにおいては、該当する音符の他に、先行音および後続音にも評価ポイントを設定している場合がある。
【００５３】
図４および５に示すように、音価に属するルールとしては、たとえば「隣接する２音の第１音が後続音より短いとき、後続音に１ポイント加算する。」というルールがあり、音高に属するルールとしては、たとえば「隣接する２音の第１音が後続音より低いとき、後続音に１ポイント加算する。」というルールがあり、旋律的緊張-弛緩に属するルールとしては、たとえば「倚音の音価が後続音より長いとき、その倚音に３ポイント加算する。」というルールがある。また、音積に属するルールとしては、たとえば「Ｉ６の和音には１ポイント加算する。」というルールがあり、グループに属するルールとしては、たとえば「グループ（つまりフレーズ）の開始音には１ポイント加算する。」というルールがあり、その他に属するルールとしては、たとえば「アクセント記号が付された音には１ポイント加算する。」というルールがある。
【００５４】
各音符の頂点らしさの計算は、各ルールに適合するか否かを判定していき、該当するルールがあったときに、そのルールに割り当てられた頂点らしさの評価ポイントを、その音符のエネルギー値として加算する処理によって実行される。このエネルギー値の合計ポイントは、音符の頂点らしさを表し、合計ポイントの高い音符が、頂点音として表現することが好ましい音符とされる。各音符についての計算結果は、メモリ１４等に適宜記憶される。
【００５５】
なお、ここで適用したルール群は単なる例示であり、他のルールを適用して音符の頂点らしさを計算してもよい。たとえば、図４および５に示すルール群の一部のみを用いることもできるし、図４および５に示すルール群に他のルールを付加することもできる。また、保科理論とは別の理論に基づくルール群を適用することもできる。さらに、特定のルールに該当するか否かで頂点らしさを推定することにも限定されず、たとえば事例参照によって頂点らしさを推定することもできる。
【００５６】
上述のような方法でフレーズ内の各音符の頂点らしさが推定されると、支援装置１０の表示装置１８には、ユーザが各音符の頂点らしさを識別できるように、ピアノロール上の各音符の描画色の濃淡情報などとして表示される。ユーザは、この各音符の頂点らしさの情報を適宜参照して、フレーズの頂点音を指定する。ただし、フレーズの頂点音は、支援装置１０によって自動的に決定されてもよく、たとえば、頂点らしさのポイントが１番高い音符を頂点音として自動的に決定するようにしてもよい。
【００５７】
フレーズの頂点音が決定すると、続いて、支援装置１０の演奏表情編集機能を利用して、選択したフレーズに対する演奏デザイン（演奏の表情付け）を行う。
【００５８】
具体的には、フレーズの頂点音が決定すると、支援装置１０では、テンポ、ダイナミクスおよびアーティキュレーションの３つの表情カーブのデフォルト値が設定され、ユーザからの指示に応じて、表情カーブがＧＵＩとして表示装置１８に表示される。表情カーブのデフォルト値としては、決定した頂点音に対するシンプルな山型の表情カーブ、算出した各音符の頂点らしさに応じた表情カーブ、または頂点音に依存しない直線や自由曲線の表情カーブなどが設定される。これらは、ユーザによって選択可能にされてもよいし、自動的に決定されてもよい。ユーザは、表示画面１８に表示された３つの表情カーブの形状を修正（編集）することによって演奏の表情付けを実施する。たとえば、マウスによるドラッグ操作によって表情カーブの形状を修正するとよい。
【００５９】
図６には、表示装置１８に表示される演奏表情編集画面の一例を示す。演奏表情編集画面は、画面上部のピアノロール画面４０、および画面下部のエディット画面４２を含む。なお、ピアノロール画面４０およびエディット画面４２においては、横軸が時間軸を表している。エディット画面４２の左部には、３つ表示ボタン、つまりＤ（ダイナミクス）ボタン４４、Ｔ（テンポ）ボタン４６、およびＡ（アーティキュレーション）ボタン４８が設けられており、これら表示ボタン４４，４６，４８をユーザがオンにすると、対応する演奏表現の表情カーブ５０がエディット画面４２上に点線表示される。たとえば、Ｄボタン４４のみをオンにすると、ダイナミクスカーブのみが表示され、３つの表示ボタン４４，４６，４８の全てをオンにすると、ダイナミクスカーブ、テンポカーブおよびアーティキュレーションカーブが多重表示される。つまり、エディット画面４２には、テンポ、ダイナミクスおよびアーティキュレーションの３つの表情カーブ５０を同じ時間軸上に多重表示することが可能である。
【００６０】
また、表示ボタン４４，４６，４８の横に設けられるエディットラジオボタン５２で選択された表情カーブ５０は、実線で表示され、ユーザは、入力装置１６のマウスなどを操作することにより、エディット画面４２上でその形状を直接修正（編集）できる。この編集操作を各表情カーブ５０について行うことによって、ユーザは、所望の演奏表情を形成する。
【００６１】
このとき、エディット画面４２の下部に設けられるShow apecesのチェックボックス５４を指定すると、ピアノロール画面４０上に各音符の頂点らしさの情報が表示される。図６では、図面の都合上、密度が異なるように音５６の塗りつぶしのパターンを変化させ、そのパターンによって表現される密度の違いによって、各音５６の頂点らしさの違いを表現している。ただし、実際には、任意の色を配色し、その濃淡情報によって頂点らしさを識別可能に表示している。この実施例では、頂点らしさが高ければ色が濃く、頂点らしさが低ければ色が薄くされる。ただし、その他の方法、たとえば頂点らしさの高い順に番号を付けるなどして、各音符の頂点らしさの違いを表現してもよい。
【００６２】
また、エディット画面４２の下部に設けられるShow articulationのチェックボックス５８を指定すると、たとえば、エディット画面４２に表示されるデフォルト表情カーブが、各音符の頂点らしさに応じた表情カーブとなり、チェックボックス５８の指定を外すと、頂点音に対するシンプルな山型の表情カーブとなる。
【００６３】
そして、Reset curvesボタン６０が押されると、選択したフレーズに対する表情カーブが更新され、この表情付けは、残りのフレーズに対しても反映される。また、設定装置１０では、プライマリフレーズラインの上位構造に対しても、頂点情報に基づいて表情カーブのデフォルト値が自動設定される。この上位構造については、その構造がまとまりをもって聞かれる程度に控えめの表情カーブが付与される。なお、ユーザは、上記と同様の操作を行うことによって、この上位フレーズの表情カーブを編集することも可能である。
【００６４】
階層的フレーズ構造の各フレーズの表情カーブが設定されると、これら表情カーブは合成され、楽曲全体としての表情カーブが生成される。楽曲全体（階層的フレーズ構造全体）での各表情カーブの算出方法を以下に示す。
【００６５】
テンポカーブ自体は、指数表現、すなわち変化なしの場合は０、テンポが倍になる場合は１、テンポが半分になる場合は−１として与えられる。楽曲全体でのテンポカーブＴｅｍｐｏ（ｔ）は、式（１）で与えられる。
【００６６】
式（１）
【００６７】
ここで、ｔは楽譜時間、ＧｒｏｕｐＴｅｍｐｏｋ（ｔ）は楽譜上での時刻ｔをその範囲に持つフレーズのテンポカーブ、ｗｋはそのフレーズの重みを示す。また、各音の発音時刻および消音時刻は、Ｔｅｍｐｏ（ｔ）の積分値によって定められる。つまり、楽譜上の時刻としてｔ０，ｔ１に配置されたイベント間の経過時間Ｔｉｍｅ（ｔ０，ｔ１）は、テンポカーブが指数で表記されていること、およびテンポが時間進行の逆数になることから、式（２）によって表される。
【００６８】
式（２）
【００６９】
ここで、ＤｅｌｔａＤｕｒａｔｉｏｎは、曲全体のｂｐｍ（Beats Per Minute）と式（２）での積分区間の分解能によって規定される値である。このような計算を実施することによって、指揮システム等の実時間のスケジューラを構成する際に、拍以下の単位で、だんだん速くする或いはだんだん遅くする等の処理をシンプルに実装できる。
【００７０】
上述のテンポカーブと同様に、楽曲全体でのダイナミクスカーブＤｙｎ（ｔ）は、式（３）によって与えられる。各音の音量の計算についても、上述の発音・消音と同じく、楽譜上での時刻ｔをその範囲に持つフレーズのダイナミクスカーブの足し合わせによって計算される。
【００７１】
式（３）
【００７２】
ここで、ｔは楽譜時間、ＧｒｏｕｐＤｙｎｋ（ｔ）は楽譜上での時刻ｔをその範囲に持つフレーズのダイナミクスカーブ、ｗｋはそのフレーズの重みを示す。ダイナミックスカーブは、ＭＩＤＩにおけるｖｅｌｏｃｉｔｙ（音の強さ）を基準として設定されることから、楽譜上での時刻ｔの音符のｖｅｌｏｃｉｔｙは、式（４）によって計算される。
【００７３】
式（４）
【００７４】
ここで、ＳｔｄＶｅｌは、デフォルトのｖｅｌｏｃｉｔｙ設定値である。
【００７５】
また、この実施例では、打鍵楽器を対象としているので、アーティキュレーションの表現における主要な制御対象は、各音符のノートオフのタイミングとなる。ｉ番目の音符の楽譜上の終了時間ＮＯｆｆｓｅｔ（ｉ）は、式（５）によって設定される。
【００７６】
式（５）
【００７７】
ここで、ＮＯｎｓｅｔ（ｉ）およびＮＴＶ（ｉ）のそれぞれは、ｉ番目の音符の楽譜上の開始時間および音価を示す。ＧｒｏｕｐＡｒｔｃｌｔｎ（ｔ）は、その音符が含まれるフレーズのアーティキュレーションカーブの時刻ｔにおける比率を示す。ＮＯｆｆｓｅｔ（ｉ）が実際に発行される時間は、式（２）に従って計算される。
【００７８】
なお、この支援装置１０では、楽譜情報（楽譜データ）として、クレッシェンド、リタルダントおよびスタッカート等の演奏記号が付加されている場合には、それらをルール処理によって表情カーブに展開することもできる。演奏記号が適用されると、その演奏記号に対応する新たなフレーズが形成され、対応する表情カーブのデフォルト値が設定される。
【００７９】
このようにして、楽曲全体としての表情カーブは生成される。なお、選択したフレーズの表情カーブを編集する際には、ユーザは、必要に応じて、各音の開始時刻、終了時刻および音量を個別に設定することもできる。また、プライマリフレーズラインよりも、上位構造の演奏デザインを重視したくなった場合には、予め設定されたプライマリフレーズラインの重み係数を下げ、上位構造をあらためてプライマリフレーズラインとして再設定して編集操作を継続してもよい。また、上述の一連の過程は、必要に応じて前の操作に戻り、処理を繰り返すこともできる。
【００８０】
支援装置１０では、上述のようなユーザによる表情カーブの修正に応じて、自動演奏を再生するための演奏データが生成または更新され、ピアノロール画面４０のプレビュも更新される。そして、ユーザは、ピアノロール画面４０およびエディット画面４２に表示される視覚情報を参考にしながら、試聴と上述の編集操作とを繰り返すことにより、所望の演奏表情を形成していく。
【００８１】
この編集操作の際には、テンポ、ダイナミクスおよびアーティキュレーションの３つの表情カーブ５０が、エディット画面４２上に、同じ時間軸で多重表示されるので、ユーザは、これら演奏表現の関係性を把握し易くなる。つまり、これら３つの演奏表現の関係性を総合的に判断しながら編集作業を実行できるようになる。また、テンポや音量などの演奏表現をどのように組み合わせることで、その演奏表情が出来上がっているかを認識できるので、ユーザは、演奏の表情付けを容易に行うことができるようになる。
【００８２】
また、ピアノロール画面４０に頂点らしさの情報が表示されるので、どの音符が重要であるかを定量的に判断できるようになり、これによってもユーザは、演奏の表情付けを容易に実行できるようになる。
【００８３】
なお、１分間程度の中級者向けのピアノ曲に対して表情付けを行う場合、対象音符は概ね５００音程度であり、それぞれに演奏表情を付けることは困難な作業である。しかし、支援装置１０を用いた場合、ユーザが指定するフレーズ（境界）は１０数個であり、ユーザが指定したフレーズの表情カーブを修正するだけで演奏の表情付けが実行できるので、演奏デザインの効率化という観点において、支援装置１０は有効であることがわかる。
【００８４】
続いて、上述のような支援装置１０の動作の一例をフロー図に従って説明する。具体的には、支援装置１０のＣＰＵ１２が、図７に示す全体処理を実行する。図７を参照して、ＣＰＵ１２は、全体処理を開始すると、ステップＳ１で、楽譜情報（楽譜データ）を取得し、その楽譜情報をピアノロール形式で提示する。すなわち、メモリ１４等に記憶されたユーザ所望の楽曲の楽譜情報を読み出し、その情報に基づいてピアノロール画面を生成して表示装置１８の表示画面に表示する。次のステップＳ３では、詳細は後述するフレーズ構造の解析処理を実行する。ステップＳ３で楽曲のフレーズ構造が決定すると、ステップＳ５に進む。
【００８５】
ステップＳ５では、フレーズ選択の入力があるか否かを判断する。すなわち、ステップ３で決定されたフレーズ構造における一連のフレーズ群の中から、ユーザが入力装置１６等を用いて１つのフレーズを選択したか否かを判断する。ステップＳ５で“ＹＥＳ”の場合、すなわちフレーズ選択の入力がある場合には、ステップＳ７に進む。一方、ステップＳ５で“ＮＯ”の場合、すなわちフレーズ選択の入力がない場合には、ステップＳ１７に進む。
【００８６】
ステップＳ７では、詳細は後述する頂点らしさの推定処理を実行し、ステップＳ９に進む。ステップＳ９では、頂点らしさの提示、つまり頂点音の候補の提示を行う。たとえば、ピアノロール画面上の音に任意の色を配色し、その濃淡情報によって頂点らしさを識別可能に表示する。
【００８７】
次のステップＳ１１では、頂点指定の入力を受け付ける。ただし、ユーザによる頂点指定が無い場合や、自動決定に設定されているような場合には、ステップＳ７で算出した各音符の頂点らしさに基づいて、フレーズの頂点音を自動的に決定してもよい。また、ユーザによる頂点指定の入力があった場合には、その情報をユーザプレファランスとして適宜記憶しておき、頂点推定ルールのパラメータなどをそのユーザに合うように更新していくようにすることもできる。
【００８８】
次のステップＳ１３では、頂点情報に基づく表情カーブの初期値を設定し、提示する。たとえば、ステップＳ１１で決定された頂点音を頂点とする山型形状となるようにダイナミクスカーブやテンポカーブのデフォルト値を設定したり、ステップＳ７で推定した頂点らしさに応じた形状になるようにダイナミクスカーブやテンポカーブのデフォルト値を設定したりする。どのようなデフォルト値を取るかはユーザが選択できるようにすることもできる。そして、ユーザからの入力指示に応じて、各表情カーブをＧＵＩとして表示する。たとえば、ユーザが、テンポ、ダイナミクスおよびアーティキュレーションの３つの表情カーブを表示するよう入力したときは、これら３つの表情カーブを同じ画面上に、同じ時間軸で多重表示する。
【００８９】
次のステップＳ１５では、後述する表情カーブの編集処理を実行し、ステップＳ１７に進む。ステップＳ１７では、全体処理を終了するか否かを判断する。たとえば、ユーザから終了指示があった場合や、ユーザによる入力操作が所定時間以上行われなかった場合には、全体処理の終了と判断する。ステップＳ１７で“ＹＥＳ”の場合には、この全体処理をそのまま終了する。一方、ステップＳ１７で“ＮＯ”の場合には、処理はステップＳ３またはユーザの指定に応じた適宜のステップに戻る。
【００９０】
図８は、図７に示したステップＳ３のフレーズ構造解析処理を示すフロー図である。図８を参照して、ＣＰＵ１２は、フレーズ構造解析処理を開始すると、ステップＳ２１で、ＧＰＲプレファレンスの指定を受け付ける。すなわち、ＧＰＲの基本プレファレンスとユーザプレファレンスのどちらを優先するのかのユーザによる選択を受け付け、ユーザの選択に応じたＧＰＲプレファレンスに設定する。
【００９１】
次のステップＳ２３では、フレーズ境界の入力を受け付ける。すなわち、図７のステップＳ１で提示したピアノロール上のどの部分にユーザによってフレーズ境界が入力されたかを検出し、メモリ１４等に一時記憶する。ステップＳ２５では、ユーザＧＰＲプレファレンスを更新する。すなわち、ステップＳ２３でのユーザによるフレーズの境界指定に応じて、ユーザＧＰＲプレファレンスをそのユーザに合うように更新する。
【００９２】
次のステップＳ２７では、類似フレーズを検出する。すなわち、ステップＳ２３でユーザが指定したフレーズと類似するフレーズを楽曲全体から抽出し、ステップＳ２９に進む。ステップＳ２９では、ｅＸＧＴＴＭに基づいて、残りのフレーズ構造を解析する。すなわち、ユーザが境界指定したフレーズの前後のフレーズ構造、および上位や下位のフレーズ構造を解析する。この際には、ステップＳ２１で設定したＧＰＲプレファレンス（ユーザまたは基本）を優先する。また、ユーザの指定したフレーズ境界が、ＧＴＴＭのプレファレンスと反駁するときには、基本ＧＰＲプレファレンスの重みを下げると共に、ユーザＧＰＲプレファレンスをそのユーザに合うように更新する。ステップＳ３１では、フレーズ構造を提示する。すなわち、ステップＳ２９で解析した階層的フレーズ構造を表示装置１８にＧＵＩとして表示する。
【００９３】
次のステップ３３では、フレーズ構造を決定するか否かを判断する。すなわち、ユーザからのフレーズ構造の決定指示があるか否かを判断する。たとえば、ユーザは、この段階での演奏の試聴とフレーズ構造の視覚的な確認とによって、意図するフレーズ構造になっているか判断し、満足である場合にはその判断結果を入力する。ステップＳ３３で“ＹＥＳ”の場合、すなわちフレーズ構造を決定する場合には、図１の全体処理にリターンする。一方、ステップＳ３３で“ＮＯ”の場合、すなわちフレーズ構造を解析しなおす場合には、ステップＳ２３またはユーザの指定に応じた適宜のステップに戻る。
【００９４】
図９は、図７に示したステップＳ７の頂点らしさの計算処理を示すフロー図である。なお、図９において、「ｉ」は、音符を指定するために音符の並び順に割り振られた変数である。また、Ｎｏｔｅ（ｉ）は、ｉ番目の音符の音高、音価および和声などの情報を記述したものであり、ＡｐｅｘＶａｌ（ｉ）は、ｉ番目の音符の頂点らしさを表す値（エネルギー値）である。図９を参照して、ＣＰＵ１２は、頂点らしさの計算処理を開始すると、ステップＳ４１で、ＡｐｅｘＶａｌ（ｉ）＝０を設定して頂点らしさの初期化を行い、ステップＳ４３で、ｉ＝０を設定する。
【００９５】
次のステップＳ４５では、ｉ＝ｍａｘか否かを判断する。すなわち、対象となる全ての音符について頂点らしさの計算を行ったか否かを判断する。ステップＳ４５で“ＹＥＳ”の場合、すなわち対象となる全ての音符について頂点らしさの計算を行った場合には、図１の全体処理にリターンする。一方、ステップＳ４５で“ＮＯ”の場合、すなわち頂点らしさの計算を行っていない音符がある場合には、ステップＳ４７に進む。
【００９６】
ステップＳ４７では、Ｎｏｔｅ（ｉ）の情報と頂点推定ルール（図４および５参照）のそれぞれとを比較照合し、Ｎｏｔｅ（ｉ）に該当するルールがある場合には、該当するルールに割り当てられた評価ポイントをＡｐｅｘＶａｌ（ｉ）に加算する。算出したＡｐｅｘＶａｌ（ｉ）の値、つまり頂点らしさを示す合計ポイントは、各音符に対応付けてメモリ１４などに適宜記憶される。次のステップＳ４９では、ｉをインクリメントして（ｉ＝ｉ＋１）、ステップＳ４５に戻る。
【００９７】
図１０は、図７に示したステップＳ１５の表情カーブの編集処理を示すフロー図である。図１０を参照して、ＣＰＵ１２は、表情カーブの編集処理を開始すると、ステップＳ５１で、表情カーブの修正があるか否かを判断する。すなわち、ユーザによってテンポカーブやダイナミクスカーブ等に修正が加えられたか否かを判断する。ステップＳ５１で“ＹＥＳ”の場合、すなわち表情カーブの修正がある場合には、ステップＳ５３に進む。一方、ステップＳ５１で“ＮＯ”の場合、すなわち表情カーブの修正がない場合には、ステップＳ６１に進む。
【００９８】
ステップＳ５３では、楽曲全体の表情カーブを計算する。すなわち、ステップＳ５１で修正したフレーズの上位構造に対しても、頂点情報に基づいて表情カーブのデフォルト値を設定し、階層的フレーズ構造の各フレーズの表情カーブを合成して、楽曲全体としての表情カーブを生成する。なお、ユーザは、表情カーブを修正する際には、クレッシェンド等の演奏記号を入力することも可能であり、演奏記号が入力された場合には、ルール処理によって演奏記号を表情カーブに展開する。
【００９９】
次のステップＳ５５では、各音符の個別修正があるか否かを判断する。すなわち、音符ごとの発音時刻、消音時刻および音量などの修正がユーザによって行われたか否かを判断する。ステップＳ５５で“ＹＥＳ”の場合、すなわち各音符の個別修正がある場合には、ステップＳ５７に進む。一方、ステップＳ５５で“ＮＯ”の場合、すなわち各音符の個別修正がない場合には、ステップＳ５９に進む。
【０１００】
ステップＳ５７では、ステップＳ５５で受け付けた修正指示に応じて、音符単位での演奏表情の修正を行う。ステップＳ５９では、ピアノロール画面およびエディット画面に編集結果を表示すると共に、表情カーブの編集に応じた演奏を出力するための演奏データを更新する。
【０１０１】
そして、ステップ６１では、表情カーブの決定か否かを判断する。すなわち、ユーザからの表情カーブの決定指示があるか否かを判断する。たとえば、ユーザは、表情付けされた演奏の試聴とピアノロール画面やエディット画面の視覚的な確認とによって、意図する演奏の表情付けが行われたか否かを判断し、満足である場合にはその判断結果を入力する。ステップＳ６１で“ＹＥＳ”の場合、すなわち表情カーブを決定する場合には、図１の全体処理にリターンする。一方、ステップＳ６１で“ＮＯ”の場合、すなわち表情カーブを修正しなおす場合には、ステップＳ５１またはユーザの指定に応じた適宜のステップに戻る。
【０１０２】
この実施例によれば、表情カーブを編集するときに、テンポ、ダイナミクスおよびアーティキュレーションの３つの表情カーブを、エディット画面上に、同じ時間軸で多重表示するので、ユーザは、これら演奏表現の関係性を把握し易い。つまり、テンポや音量などの演奏表現をどのように組み合わせることで、その演奏表情が出来上がっているかを認識できるので、ユーザは、演奏の表情付けを効率良く容易に実行することができるようになる。また、このような認識を持って演奏の表情付けを行うことによって、ユーザの演奏表現に関する思考が客観的のものに移行し、楽曲分析や演奏表現の技法をより具体的に理解できるようになる。つまり、暗黙知として存在していたフレーズの表現法、つまりテンポ等の演奏パラメータをどのように組み合わせてその表現を実現したかを外在化できるので、自身の知識を形式化することができる。したがって、第３者に演奏表現の技法をより具体的に伝えることができるようになるので、支援装置１０は、教育用ツールとして好適に用いることができる。
【０１０３】
また、フレーズの頂点音は、フレーズ境界のように試聴によって明示的に判断できるものではないため、音楽未経験者にとって頂点音を見極めることは困難な作業となる。しかし、この実施例によれば、ピアノロール画面に頂点らしさの情報（ガイダンス）を表示するので、ユーザは、どの音符が重要であるかを定量的に判断できるようになり、これを参照することによって、演奏の表情付けを容易かつ効率的にできるようになる。また、どのような音が頂点音になり易いかを視覚的に判断できるので、ユーザは、頂点音の発見方法を理解し易くなる。この点においても、支援装置１０は、教育用ツールとして好適に用いることができると言える。
【０１０４】
さらに、この実施例では、音符の頂点らしさの計算のための条件および評価ポイント値をルールとして記述していることから、その計算の根拠をユーザに示すことも容易に実現される。したがって、ユーザ自身による頂点の推定や把握を助けるという視点において、演奏の表情付けの支援を行うことができる。
【０１０５】
なお、上述の実施例では、ユーザがフレーズ境界を部分的に指定（プライマリフレーズラインを指定）した後、残りの部分のフレーズ構造を自動解析するようにしたが、これに限定されない。たとえば、楽曲の階層的フレーズ構造の全てをユーザが指定することもできるし、階層的フレーズ構造の全てを自動解析することもできる。もちろん、階層的フレーズ構造の全てを自動解析した後に、ユーザによってフレーズ境界を修正していくこともできる。
【０１０６】
また、上述の実施例では、プライマリフレーズラインに含まれるフレーズに対して、頂点らしさを計算したり、表情カーブの修正を受け付けたりしたが、これに限定されず、楽曲の階層的フレーズ構造を構成する全てのフレーズのそれぞれに対して、頂点らしさを計算することもできるし、表情カーブの修正を受け付けることもできる。
【符号の説明】
【０１０７】
１０ …演奏表情付け支援装置
１２ …ＣＰＵ
１４ …メモリ
１６ …入力装置
１８ …表示装置
２０ …音源
４０ …ピアノロール画面
４２ …エディット画面
５０ …表情カーブ
【技術分野】
【０００１】
この発明は演奏表情付け支援装置に関し、特にたとえば、楽曲分析情報をユーザに提供することによって、ユーザ主導で行われるフレージングに基づく演奏の表情付けを支援する、演奏表情付け支援装置に関する。
【背景技術】
【０００２】
近年、音楽コンテンツのデザインにおいて、演奏の表情付けの重要性が増してきている。演奏の表情付けとは、指定された音の並びに対して、音量、テンポおよびアーティキュレーションを含む演奏表現（演奏パラメータ）に変化を与え、音楽を活き活きしたものとして実体化する作業であり、人間の知性や感性の表れとして実施されるものである。なお、アーティキュレーションとは、音や音のつながりに影響をもたらす音の形の表現であり、スラー、スタッカートおよびアクセント等の記号やその表現を示す。
【０００３】
演奏の表情付けに関する研究は、音楽系人工知能研究の１つとして取り組まれ、その多くは、ルール学習や事例ベース推論に基づく自動化技術の開発に焦点が当てられてきた。このような自動化技術は、音楽コンテンツの生産性の向上をもたらすが、一方では、ユーザが求める演奏表情に辿り着くことが必ずしも容易ではないという問題が残る。
【０００４】
そこで、この発明者らは、非特許文献１などにおいて、演奏デザインにおける表情付けはユーザが主導で行い、煩雑な作業の部分を自動化技術で代替（支援）することによって、ユーザ所望の表情付けを効率的に実行できるシステムを提案している。非特許文献１の技術は、フレージングに焦点を当てたユーザ主導の演奏表情デザインシステムであって、フレーズ構造解析支援機能と演奏表情エディット機能とを備えている。フレーズ構造解析支援機能は、ユーザが部分的にフレーズの境界（構造）を指定すれば、残りのフレーズ構造については、ＧＴＴＭ（A Generative Theory of Tonal Music）を応用して解析できる機能であり、演奏表情エディット機能は、ユーザが表情付けしたいフレーズを任意に選択すると、そのフレーズに対応するテンポおよび音量（ダイナミクス）の表情カーブのそれぞれを各エディット画面に表示し、ユーザの操作に応じて各表情カーブを個別に修正していくことによって、ユーザ所望の演奏表情を形成する機能である。ユーザが選択したフレーズに表情付けが行われると、その表情付けは楽曲全体に反映され、演奏の表情付けの効率化が図られる。
【非特許文献１】「Mixtract：ユーザの意図に応える演奏表現デザイン支援環境」 （第１７回大阪大学保健センター 健康科学フォーラム「音楽とウェルネスの学際的融合」，３６−３７，２００９年１１月）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
音楽経験者は、暗黙知としてフレーズの表現方法を理解しているが、演奏表現における「聴こえ」を実現する演奏パラメータ（テンポやダイナミクスなど）の組み合わせは、必ずしも一意ではない。また、フレーズ構造の演奏表現は、テンポ表現やダイナミクス表現などを有機的に組み合わせることによって、その個性が表出されるものである。しかしながら、非特許文献１の技術では、指定されたフレーズに対するテンポおよびダイナミクスの表情カーブを別個のエディット画面に表示し、各エディット画面において各表情カーブを個別に修正するようにしていたので、演奏パラメータ相互の関係性を把握し難い上、演奏パラメータのどのような組み合わせによってその演奏表現の「聴こえ」が実現されているのかを把握し難かった。
【０００６】
また、ユーザは、選択したフレーズに対する演奏表現（表情カーブ）の修正（編集）と試聴とを繰り返すことによって、所望の表情付けを行うが、演奏生成に関わる方法論が規定されず、目安や手掛かりとなる情報が乏しい状態、たとえば楽譜情報（ピアノロール情報）のみを参考にして、演奏の表情付けを行うことは、必ずしも容易ではなかった。
【０００７】
それゆえに、この発明の主たる目的は、新規な、演奏表情付け支援装置を提供することである。
【０００８】
この発明の他の目的は、演奏に対する所望の表情付けを容易に実行できる、演奏表情付け支援装置を提供することである。
【課題を解決するための手段】
【０００９】
この発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明などは、本発明の理解を助けるために後述する実施の形態との対応関係を示したものであって、この発明を何ら限定するものではない。
【００１０】
第１の発明は、フレージングに基づく演奏の表情付けを支援する演奏表情付け支援装置であって、ユーザによって指定、もしくは、自動解析された階層的フレーズ構造を構成する各フレーズに対して、テンポ、ダイナミクスおよびアーティキュレーションの３つの表情カーブを、同じ画面に、同じ時間軸で多重表示する第１表示手段、および画面に表示された表情カーブの修正を受け付ける修正受付手段を備える、演奏表情付け支援装置である。
【００１１】
第１の発明では、演奏表情付け支援装置（１０）は、第１表示手段（１２，１８，４２，Ｓ１３）を備え、ユーザが行うフレージングに基づく演奏の表情付けを支援する。第１表示手段は、たとえば、ユーザによる指定や自動解析によって楽曲の階層的フレーズ構造の解析がなされた後、その階層的フレーズ構造を構成する複数のフレーズから任意に選択されたフレーズに対して、テンポ、ダイナミクスおよびアーティキュレーションの３つの演奏表現の表情カーブ（５０）を、同じ画面上に、同じ時間軸で多重表示する。修正受付手段（１２，１６，４２，Ｓ５１）は、ユーザが行うマウス等の操作によって、表情カーブの修正を受け付ける。この表情カーブの修正により、ユーザは、そのフレーズに対する演奏の表情付けを行う。
【００１２】
第１の発明によれば、３つの表情カーブを、同じ画面上に、同じ時間軸で多重表示するので、テンポ、ダイナミクスおよびアーティキュレーションの関係性が把握し易くなる。つまり、これら３つの演奏表現の関係性を総合的に判断しながら編集できるので、ユーザは、演奏の表情付けを容易に行うことができる。
【００１３】
また、暗黙知として存在していたフレーズの表現の仕方、つまりテンポ等の演奏パラメータをどのように組み合わせてその表現を実現したかを外在化できるので、自身の知識を形式化することができ、第３者に演奏表現の技法をより具体的に伝えることができるようになる。
【００１４】
第２の発明は、第１の発明に従属し、フレーズ内の各音符の頂点らしさを算出する算出手段、および各音符の頂点らしさを識別可能に表示する第２表示手段をさらに備える。
【００１５】
第２の発明では、各音符の頂点らしさ、つまり演奏表現における各音符の重要度を定量的に見分けるための指標となるものを算出する算出手段（１２，１４，Ｓ７）、および算出した各音符の頂点らしさを識別可能に表示する第２表示手段（１２，１８，４０，Ｓ９）を備える。第２表示手段は、たとえば、各音符の頂点らしさを、ピアノロール上の各音符の描画色の濃淡情報として表示する。
【００１６】
第２の発明によれば、フレーズ内のどの音符が重要であるかを定量的に判断できるようになるので、これを参照することにより、ユーザは、演奏の表情付けを容易かつ効率的にできるようになる。
【００１７】
第３の発明は、第２の発明に従属し、算出手段は、所定の音楽理論に基づく音符の頂点らしさを判定するためのルール群を記憶するルール記憶手段、およびフレーズ内の各音符とルール群のそれぞれとを照合し、該当するルールがある音符には、当該ルールに割り当てられた評価ポイントを、その音符の頂点らしさを示すエネルギー値として加算する加算手段を含む。
【００１８】
第３の発明では、算出手段（１２，１４，Ｓ７）は、ルール記憶手段（１４）を含み、ルール記憶手段には、たとえば、保科の提唱した音楽解釈理論に基づくルール群が記憶される。各ルールには、重要度などに応じて評価ポイントが設定される。つまり、音符の頂点らしさの計算のための条件および評価ポイント値をルールとして記述している。加算手段（１２，Ｓ４７）は、フレーズ内の各音符（具体的には、その音高、音価および和声など）と、ルール記憶手段に記憶されたルール群とを比較照合し、該当するルールがある音符には、該当するルールに割り当てられた評価ポイントを、その音符の頂点らしさを示すエネルギー値として加算する。各音符についてのエネルギー値の計算結果は、メモリ（１４）等に適宜記憶される。
【００１９】
第３の発明によれば、算出されたエネルギー値の大きさによって、各音符の頂点らしさ、つまり各音符の重要度を定量的に表すことができる。また、音符の頂点らしさの計算のための条件および評価ポイント値をルールとして記述していることから、その計算の根拠をユーザに示すことも容易に実現される。したがって、ユーザ自身による頂点の推定や把握を助けるという視点において、演奏の表情付けの支援を行うことができる。
【発明の効果】
【００２０】
第１の発明によれば、表情カーブを修正するときに、テンポ、ダイナミクスおよびアーティキュレーションの関係性を把握し易くなるので、演奏の表情付けを容易に行うことができる。
【００２１】
第２の発明によれば、フレーズ内のどの音符が重要であるかを定量的に判断できるようになるので、これを参照することにより、ユーザは、演奏の表情付けを容易かつ効率的にできるようになる。
【００２２】
第３の発明によれば、音符の頂点らしさの計算のための条件および評価ポイント値をルールとして記述していることから、その計算の根拠をユーザに示すことも容易に実現される。したがって、ユーザ自身による頂点の推定や把握を助けるという視点において、演奏の表情付けの支援を行うことができる。
【００２３】
この発明の上述の目的、その他の目的、特徴および利点は、図面を参照して行う後述の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００２４】
【図１】この発明の一実施例の演奏表情付け支援装置の内部構成を示すブロック図である。
【図２】図１の演奏表情付け支援装置の表示装置に表示されるフレーズ構造解析画面の一例を示す図解図である。
【図３】頂点推定ルールの分類を示す図解図である。
【図４】頂点推定ルールの一部を示すテーブルである。
【図５】頂点推定ルールの他の一部を示すテーブルである。
【図６】図１の演奏表情付け支援装置の表示装置に表示される演奏表情編集画面の一例を示す図解図である。
【図７】図１の演奏表情付け支援装置のＣＰＵが実行する演奏デザインの全体処理の動作の一例を示すフロー図である。
【図８】図７におけるフレーズ構造解析処理の動作の一例を示すフロー図である。
【図９】図７における頂点らしさの計算処理の動作の一例を示すフロー図である。
【図１０】図７における表情カーブの編集処理の動作の一例を示すフロー図である。
【発明を実施するための形態】
【００２５】
図１を参照して、この発明の一実施例である演奏表情付け支援装置（以下、単に「支援装置」という。）１０は、階層的なフレーズ表現を基本とした、ユーザ主導で行う演奏の表情付けを支援するための装置である。支援装置１０は、たとえばパーソナルコンピュータのような電子計算機を用いて構成され、詳細は後述するように、ユーザによる演奏の表情付けを支援するために、フレーズ構造解析支援機能、頂点解析機能および演奏表情編集機能などを備えている。
【００２６】
支援装置１０は、ＣＰＵ１２を含む。ＣＰＵ１２は、マイクロコンピュータ或いはプロセサとも呼ばれ、支援装置１０の全体的な制御を実行する。ＣＰＵ１２には、バス等を介して、メモリ１４、入力装置１６、表示装置１８および音源２０等が接続される。
【００２７】
メモリ１４は、図示は省略するが、ＲＯＭ、ＨＤＤおよびＲＡＭ等を含む。ＲＯＭやＨＤＤには、ＣＰＵ１２がこの演奏表情付け支援処理を行うためのプログラムおよびデータ、ならびにその他必要なプログラムおよびデータが記憶される。ＲＡＭは、ＣＰＵ１２の作業領域またはバッファ領域として使用される。つまり、ＣＰＵ１２は、ＲＯＭやＨＤＤに記憶されたプログラムおよびデータをＲＡＭにロードし、これらプログラムに従って支援装置１０の各部の動作を制御し、各種処理を実行する。また、ＣＰＵ１２は、演奏の表情付け処理の進行などに応じて適宜生成される演奏データ等の一時的なデータをＲＡＭに記憶する。
【００２８】
メモリ１４（ＲＯＭやＨＤＤ）に記憶されるプログラムとしては、表示装置１８に所定の画面を表示するための画面表示プログラム、ユーザが入力した部分的なフレーズ構造に基づいて残りのフレーズ構造を解析するためのフレーズ構造解析支援プログラム、各音符の頂点らしさを推定するための頂点推定プログラム、ユーザによって指定されたフレーズにおける表情カーブを生成するための表情カーブ生成プログラム、ユーザによる表情カーブの修正などに応じて演奏データを生成（更新）するための演奏データ生成プログラム、生成された演奏データに応じた音声（演奏音）を出力するための演奏音出力プログラム等がある。
【００２９】
メモリ１４に記憶されるデータとしては、表示装置１８に表示される文字データや映像データ、各音符の頂点らしさを推定するためのルールに関するデータ、および所望の楽曲の楽譜データ（音符の並びや演奏記号の情報）等がある。楽譜データは、たとえば、標準ＭＩＤＩファイル（ＳＭＦ）形式やＭｕｓｉｃＸＭＬ形式のデータを用いることができ、ＭＩＤＩのスコアエディタ、またはＭｕｓｉｃＸＭＬのインポート機能などを利用して適宜入力されてメモリ１４に記憶される。
【００３０】
なお、上述のプログラムおよびデータ等は、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭおよびメモリカード等の各種情報記録媒体に記録されているものを読み出して使用してもよいし、ＬＡＮあるいはインターネットのようなネットワーク上のサーバ等から取得して使用してもよい。
【００３１】
入力装置１６は、ユーザが操作する操作手段であり、キーボードおよびポインティングデバイス等を含む。ポインティングデバイスとしては、マウス、タッチパネル、トラックボール、トラックパッド、デジタイザまたはタブレット等が用いられる。ユーザによる入力装置１６の操作に応じた操作信号（操作情報）は、ＣＰＵ１２に与えられ、ＣＰＵ１２は、与えられた操作信号に基づいて処理を実行する。
【００３２】
表示装置１８は、ＬＣＤやＣＲＴ等であり、ＣＰＵ１２から与えられる表示信号に基づいて、後述するピアノロール画面およびエディット画面などの各種画面を表示する。
【００３３】
音源２０は、ＣＰＵ１２の制御の下、ＲＡＭに生成される演奏データ（表情付けされた演奏データ等）に基づいて音声信号を生成し、音声出力装置２２に出力する。音声出力装置２２は、Ｄ／Ａコンバータ、アンプおよびスピーカ等を含み、音声信号に応じた音声（演奏音）を出力する。なお、音源２０としては、音源を備えたサウンドカード等の内部音源を使用することもできるし、電子ピアノ等の外部音源を使用することもできる。
【００３４】
このような構成の支援装置１０は、上述のように、階層的なフレーズ表現（フレージング）に焦点を当て、ユーザ主導で行われる演奏の表情付けを支援する。ここで、この発明の理解に必要な範囲で、音楽表現におけるフレーズ構造について簡単に説明する。なお、演奏家や作曲家によっては、フレーズのことをグループと表現している場合があるが、フレーズとグループとは同義語であるので、ここでは、フレーズの呼称を使用することとする。
【００３５】
どのような音楽においても、ある時刻における音とそれに前後する音との間には何らかの関係を持ったまとまりが形成される。このまとまりをフレーズという。複数のフレーズはさらに関連付けられて、階層的なフレーズ構造が形成される。また、フレージングとは、音楽の流れを適切な位置で区切る（つまりフレーズを設定する）ことによって曲に呼吸を与えることであり、フレージングを踏まえて演奏することによって演奏に抑揚が生まれる。つまり、楽曲の階層的フレーズ構造をいかに聴取者へ伝達するかが、音楽表現の主題であると言っても過言ではない。
【００３６】
ところで、作曲家が用意した楽譜から解釈されるフレーズ構造は必ずしも１つではなく、多義性が存在する。演奏家や指揮者などは、フレーズ構造の可能な解釈の中から１つを定め、そのフレーズ構造が伝わるように演奏表現として具現化している。また、フレーズ構造の演奏表現も必ずしも１つではなく、テンポ、ダイナミクスおよびアーティキュレーションの組み合わせによって演奏の個性が表出される。つまり、ユーザが望む演奏デザインを行うためには、楽曲のフレーズ構造をどのように解釈（設定）し、そのフレーズ構造をどのように表現するのかが重要となる。しかし、楽曲全体の階層的なフレーズ構造、およびそのフレーム構造の表現方法の全てを、何の手掛かりもないままユーザが決定していくことは、多大な労力を必要とすると共に、初心者では能力的に困難な作業となる。
【００３７】
そこで、支援装置１０では、あくまでもユーザ主導で演奏の表情付けを行うことを前提として、特定のルールや事例参照などに基づく楽曲分析情報（フレーズ構造解析情報や頂点解析情報など）をユーザに提供することによって、ユーザ主導で行われる演奏の表情付けを支援する。
【００３８】
なお、この実施例では、ピアノのような打鍵楽器を対象として説明するが、支援装置１０は、打鍵楽器以外の楽器、たとえば、弦楽器、管楽器、打楽器、およびそれらの複合にも適用可能である。
【００３９】
以下には、支援装置１０が提供する演奏表情付け支援処理の一連の流れについて、一例を挙げて説明する。支援装置１０を用いて演奏の表情付けを行う作業は、簡単にいうと、（１）一列に連なるフレーズ群（プライマリフレーズライン）の決定、（２）プライマリフレーズライン中のフレーズに対しての頂点の決定、（３）頂点情報を利用したプライマリフレーズラインの演奏デザイン、（４）プライマリフレーズラインの上位構造に対するまとまり感の付与、という流れで行われる。支援装置１０は、ユーザに入力や選択動作を行わせるためのＧＵＩ（Graphical User Interface）画面を表示装置１８に適宜表示し、ユーザによる入力指示に応じた楽曲分析情報を提供しながら、インタラクティブに演奏表情付け支援処理を実行する。なお、演奏デザインの進行に応じて、音声出力装置２２から演奏音を出力するための演奏データは適宜生成され、たとえば、表示装置１８の画面上に表示される試聴ボタン（図示せず）をクリックすることによって、ユーザは、任意段階での演奏音の試聴が可能である。以下、具体的に説明する。
【００４０】
支援装置１０を用いて演奏の表情付け作業を行うユーザは、先ず、所望の楽曲の楽譜情報（楽譜データ）を支援装置１０に入力する、或いは予め支援装置１０のメモリ１４等に楽譜情報が記憶された楽曲の中から所望の楽曲を選択する。表情付けを行う楽曲が決定すると、ユーザは、支援装置１０のフレーズ構造解析支援機能を利用して、楽曲のフレーズ構造を決定する。図２は、表示装置１８の画面上に表示されるフレーズ構造解析画面の一例を示している。
【００４１】
具体的には、フレーズ構造を解析する際には、支援装置１０では、その楽曲の楽譜情報を示すピアノロール画面３０がＧＵＩとして表示装置１８に表示される（図２の上部参照）。ユーザは、ピアノロールの任意の部分、たとえば楽曲最初の数小節や中盤の数小節を選択して、概ね１〜数小節分の長さを目安に、一列に連なるフレーズ群（プライマリフレーズライン）を形成する。つまり、楽曲の任意の部分において、ピアノロール上に数個の区切り線を入れることによって、フレーズ境界を部分的に指定する。
【００４２】
ユーザがフレーズ境界を部分的に指定すると、支援装置１０では、ユーザが指定した部分以外のフレーズ境界および階層的フレーズ構造が、ＧＴＴＭ（A Generative Theory of Tonal Music）の境界判定を行うルール（ＧＰＲ：Grouping Preference Rule）を利用したｅｘＧＴＴＭ（Hamanaka,M., Hirata,K. andTojo,S.: Implementing“A Generative Theory of Tonal Music”,Journal of New Music Research, Vol.35, No.4, pp.249-277(2006)参照）を利用して自動解析される。
【００４３】
フレーズ構造の解析処理が終了すると、階層的フレーズ構造３２がＧＵＩとして表示装置１８に表示される（図２の下部参照）。図２において、斜線で示されるフレーズ構造（Ｕ（０）−Ｕ（５）のフレーズ）３２ａがユーザ指定によるフレーズ構造であり、ドット模様で示されるフレーズ構造（Ｃ（０）−Ｃ（２７）のフレーズ）３２ｂが支援装置１０によって自動解析された上位および下位のフレーズ構造である。なお、階層的フレーズ構造３２中に示される複数の縦線３４は、ユーザのフレーズ境界指定に依存しない自動処理によって提示されるフレーズ境界の候補である。ユーザは、このフレーズ境界の候補を参照して、フレーズ構造を修正することもできる。また、図面の都合上、斜線やドット模様を付してユーザ指定のフレーズ構造３２ａと自動解析によるフレーズ構造３２ｂとを区別しているが、実際には、任意の色を配色することによって区別しており、自動解析によるフレーズ構造３２ｂにおいては、さらに上位構造と下位構造とで違う色を配色して区別できるようにしている。
【００４４】
また、支援装置１０では、ユーザによってフレーズ境界が入力または更新されると、自動演奏を再生するための演奏データが順次生成される。楽譜情報のみを手掛かりとしてフレーズ境界を判断することは、ユーザにとって必ずしも容易な作業ではないが、楽曲の試聴機能を利用することで、専門家以外のユーザでもほぼ直感的にこの作業を実施できる。
【００４５】
上述の作業で意図するフレーズ構造が得られなかった場合には、ユーザは、適宜、フレーズ構造を編集する。たとえば、あるフレーズを選択して、そのフレーズとその直前または直後のフレーズとの境界位置を移動させることによって、修正作業を実施する。ユーザによって修正されたフレーズ構造の上位構造および下位構造は、自動的に再解析が実施され、この作業を繰り返すことにより、最終的にユーザの意図するフレーズ構造に近づけていくことができる。
【００４６】
なお、ユーザの指定するフレーズ境界は、ＧＴＴＭのプレファランスと反駁することがあるが、この際には、ユーザ指定のフレーズ境界が優先され、ＧＴＴＭの支持するデフォルトプレファランスの重みを下げることによって自動解析処理自体のユーザ適合が図られる。また、支援装置１０には、ＧＰＲのユーザプレファランスを、ユーザが指定したフレーズ境界をサポートするものになるように更新していく機能を備えるようにしてもよい。この場合には、支援装置１０が実行するフレーズ構造の自動解析に関して、ＧＰＲの基本プレファランスと随時更新されるユーザプレファランスとのどちらを優先させるかをユーザが選択できるようにしてもよい。さらに、ユーザのフレーズ指定作業を補助するものとして、旋律外形の計算により、ユーザが指定したフレーズと同型のフレーズを検出する機能を備えるようにしてもよい。
【００４７】
上述のような作業によってユーザが望むフレーズ構造が得られると、続いて、支援装置１０のフレーズ頂点解析機能を利用して、プライマリフレーズライン中のフレーズに対しての頂点を決定する。
【００４８】
具体的には、フレーズに対しての頂点を決定する際には、先ず、ユーザは、プライマリフレーズラインに含まれるフレーズ群の中から１つのフレーズを選択する。ユーザがフレーズを選択すると、支援装置１０の表示装置１８には、選択したフレーズ部分のピアノロール画面が表示され、支援装置１０では、選択されたフレーズに含まれる各音符の頂点らしさ（尤度）が推定される。
【００４９】
この実施例では、保科の提唱した音楽解釈理論（保科洋：生きた音楽表現へのアプローチ，エネルギー思考に基づく演奏解釈法，音楽之友社，（１９９９）参照。以下、「保科理論」という。）に基づいて、頂点解析を行うようにしている。
【００５０】
保科理論では、楽譜の解析から得られるフレーズにおいて、最もエネルギー値が高い音符を頂点または重心と定義している。そして、音符のエネルギー値を音量やテンポ等の演奏表現上での制御に置き換えていくことで、作曲者の意図に沿った演奏が可能になると説明している。頂点の演奏表現法は一意ではないが、頂点を中心とした表情カーブを描くことによって、音楽的な破綻を避けた演奏の表情付け（演奏デザイン）が可能となる。
【００５１】
そこで、この実施例では、保科理論に即した頂点らしさの推定方法を定式化し、フレーズが構成する音符が持つエネルギー値を推定して表示することによって、ユーザが演奏の表情付けを実行する上での目安あるいは手掛かりとなる情報を提示している。
【００５２】
具体的には、保科理論では、音高の高い音（つまり音形輪郭における頂点音）、音価の長い音、および各音の緊張-弛緩構造における緊張音は、エネルギー値（つまり頂点らしさ）が高いとされる。また、和声によって頂点らしさは変化し、フレーズの最終音は頂点にならないという原則も与えられている。この実施例では、これらの音形輪郭や和音進行の原則をルールの条件節として使用できるように類型化すると共に、臨時記号などに関するルールを追加している。図３−５には、頂点らしさの計算に使用されるルール群の一例を示す。図３に示すように、頂点らしさの計算に用いるルール群は、音価、音高、旋律的緊張-弛緩、音積（和声）、グループおよびその他の６つに分類される。また、ドミナント・モーションなど音楽的に意味を持つ音の並びの表現にも対応するため、各ルールにおいては、該当する音符の他に、先行音および後続音にも評価ポイントを設定している場合がある。
【００５３】
図４および５に示すように、音価に属するルールとしては、たとえば「隣接する２音の第１音が後続音より短いとき、後続音に１ポイント加算する。」というルールがあり、音高に属するルールとしては、たとえば「隣接する２音の第１音が後続音より低いとき、後続音に１ポイント加算する。」というルールがあり、旋律的緊張-弛緩に属するルールとしては、たとえば「倚音の音価が後続音より長いとき、その倚音に３ポイント加算する。」というルールがある。また、音積に属するルールとしては、たとえば「Ｉ６の和音には１ポイント加算する。」というルールがあり、グループに属するルールとしては、たとえば「グループ（つまりフレーズ）の開始音には１ポイント加算する。」というルールがあり、その他に属するルールとしては、たとえば「アクセント記号が付された音には１ポイント加算する。」というルールがある。
【００５４】
各音符の頂点らしさの計算は、各ルールに適合するか否かを判定していき、該当するルールがあったときに、そのルールに割り当てられた頂点らしさの評価ポイントを、その音符のエネルギー値として加算する処理によって実行される。このエネルギー値の合計ポイントは、音符の頂点らしさを表し、合計ポイントの高い音符が、頂点音として表現することが好ましい音符とされる。各音符についての計算結果は、メモリ１４等に適宜記憶される。
【００５５】
なお、ここで適用したルール群は単なる例示であり、他のルールを適用して音符の頂点らしさを計算してもよい。たとえば、図４および５に示すルール群の一部のみを用いることもできるし、図４および５に示すルール群に他のルールを付加することもできる。また、保科理論とは別の理論に基づくルール群を適用することもできる。さらに、特定のルールに該当するか否かで頂点らしさを推定することにも限定されず、たとえば事例参照によって頂点らしさを推定することもできる。
【００５６】
上述のような方法でフレーズ内の各音符の頂点らしさが推定されると、支援装置１０の表示装置１８には、ユーザが各音符の頂点らしさを識別できるように、ピアノロール上の各音符の描画色の濃淡情報などとして表示される。ユーザは、この各音符の頂点らしさの情報を適宜参照して、フレーズの頂点音を指定する。ただし、フレーズの頂点音は、支援装置１０によって自動的に決定されてもよく、たとえば、頂点らしさのポイントが１番高い音符を頂点音として自動的に決定するようにしてもよい。
【００５７】
フレーズの頂点音が決定すると、続いて、支援装置１０の演奏表情編集機能を利用して、選択したフレーズに対する演奏デザイン（演奏の表情付け）を行う。
【００５８】
具体的には、フレーズの頂点音が決定すると、支援装置１０では、テンポ、ダイナミクスおよびアーティキュレーションの３つの表情カーブのデフォルト値が設定され、ユーザからの指示に応じて、表情カーブがＧＵＩとして表示装置１８に表示される。表情カーブのデフォルト値としては、決定した頂点音に対するシンプルな山型の表情カーブ、算出した各音符の頂点らしさに応じた表情カーブ、または頂点音に依存しない直線や自由曲線の表情カーブなどが設定される。これらは、ユーザによって選択可能にされてもよいし、自動的に決定されてもよい。ユーザは、表示画面１８に表示された３つの表情カーブの形状を修正（編集）することによって演奏の表情付けを実施する。たとえば、マウスによるドラッグ操作によって表情カーブの形状を修正するとよい。
【００５９】
図６には、表示装置１８に表示される演奏表情編集画面の一例を示す。演奏表情編集画面は、画面上部のピアノロール画面４０、および画面下部のエディット画面４２を含む。なお、ピアノロール画面４０およびエディット画面４２においては、横軸が時間軸を表している。エディット画面４２の左部には、３つ表示ボタン、つまりＤ（ダイナミクス）ボタン４４、Ｔ（テンポ）ボタン４６、およびＡ（アーティキュレーション）ボタン４８が設けられており、これら表示ボタン４４，４６，４８をユーザがオンにすると、対応する演奏表現の表情カーブ５０がエディット画面４２上に点線表示される。たとえば、Ｄボタン４４のみをオンにすると、ダイナミクスカーブのみが表示され、３つの表示ボタン４４，４６，４８の全てをオンにすると、ダイナミクスカーブ、テンポカーブおよびアーティキュレーションカーブが多重表示される。つまり、エディット画面４２には、テンポ、ダイナミクスおよびアーティキュレーションの３つの表情カーブ５０を同じ時間軸上に多重表示することが可能である。
【００６０】
また、表示ボタン４４，４６，４８の横に設けられるエディットラジオボタン５２で選択された表情カーブ５０は、実線で表示され、ユーザは、入力装置１６のマウスなどを操作することにより、エディット画面４２上でその形状を直接修正（編集）できる。この編集操作を各表情カーブ５０について行うことによって、ユーザは、所望の演奏表情を形成する。
【００６１】
このとき、エディット画面４２の下部に設けられるShow apecesのチェックボックス５４を指定すると、ピアノロール画面４０上に各音符の頂点らしさの情報が表示される。図６では、図面の都合上、密度が異なるように音５６の塗りつぶしのパターンを変化させ、そのパターンによって表現される密度の違いによって、各音５６の頂点らしさの違いを表現している。ただし、実際には、任意の色を配色し、その濃淡情報によって頂点らしさを識別可能に表示している。この実施例では、頂点らしさが高ければ色が濃く、頂点らしさが低ければ色が薄くされる。ただし、その他の方法、たとえば頂点らしさの高い順に番号を付けるなどして、各音符の頂点らしさの違いを表現してもよい。
【００６２】
また、エディット画面４２の下部に設けられるShow articulationのチェックボックス５８を指定すると、たとえば、エディット画面４２に表示されるデフォルト表情カーブが、各音符の頂点らしさに応じた表情カーブとなり、チェックボックス５８の指定を外すと、頂点音に対するシンプルな山型の表情カーブとなる。
【００６３】
そして、Reset curvesボタン６０が押されると、選択したフレーズに対する表情カーブが更新され、この表情付けは、残りのフレーズに対しても反映される。また、設定装置１０では、プライマリフレーズラインの上位構造に対しても、頂点情報に基づいて表情カーブのデフォルト値が自動設定される。この上位構造については、その構造がまとまりをもって聞かれる程度に控えめの表情カーブが付与される。なお、ユーザは、上記と同様の操作を行うことによって、この上位フレーズの表情カーブを編集することも可能である。
【００６４】
階層的フレーズ構造の各フレーズの表情カーブが設定されると、これら表情カーブは合成され、楽曲全体としての表情カーブが生成される。楽曲全体（階層的フレーズ構造全体）での各表情カーブの算出方法を以下に示す。
【００６５】
テンポカーブ自体は、指数表現、すなわち変化なしの場合は０、テンポが倍になる場合は１、テンポが半分になる場合は−１として与えられる。楽曲全体でのテンポカーブＴｅｍｐｏ（ｔ）は、式（１）で与えられる。
【００６６】
式（１）
【００６７】
ここで、ｔは楽譜時間、ＧｒｏｕｐＴｅｍｐｏｋ（ｔ）は楽譜上での時刻ｔをその範囲に持つフレーズのテンポカーブ、ｗｋはそのフレーズの重みを示す。また、各音の発音時刻および消音時刻は、Ｔｅｍｐｏ（ｔ）の積分値によって定められる。つまり、楽譜上の時刻としてｔ０，ｔ１に配置されたイベント間の経過時間Ｔｉｍｅ（ｔ０，ｔ１）は、テンポカーブが指数で表記されていること、およびテンポが時間進行の逆数になることから、式（２）によって表される。
【００６８】
式（２）
【００６９】
ここで、ＤｅｌｔａＤｕｒａｔｉｏｎは、曲全体のｂｐｍ（Beats Per Minute）と式（２）での積分区間の分解能によって規定される値である。このような計算を実施することによって、指揮システム等の実時間のスケジューラを構成する際に、拍以下の単位で、だんだん速くする或いはだんだん遅くする等の処理をシンプルに実装できる。
【００７０】
上述のテンポカーブと同様に、楽曲全体でのダイナミクスカーブＤｙｎ（ｔ）は、式（３）によって与えられる。各音の音量の計算についても、上述の発音・消音と同じく、楽譜上での時刻ｔをその範囲に持つフレーズのダイナミクスカーブの足し合わせによって計算される。
【００７１】
式（３）
【００７２】
ここで、ｔは楽譜時間、ＧｒｏｕｐＤｙｎｋ（ｔ）は楽譜上での時刻ｔをその範囲に持つフレーズのダイナミクスカーブ、ｗｋはそのフレーズの重みを示す。ダイナミックスカーブは、ＭＩＤＩにおけるｖｅｌｏｃｉｔｙ（音の強さ）を基準として設定されることから、楽譜上での時刻ｔの音符のｖｅｌｏｃｉｔｙは、式（４）によって計算される。
【００７３】
式（４）
【００７４】
ここで、ＳｔｄＶｅｌは、デフォルトのｖｅｌｏｃｉｔｙ設定値である。
【００７５】
また、この実施例では、打鍵楽器を対象としているので、アーティキュレーションの表現における主要な制御対象は、各音符のノートオフのタイミングとなる。ｉ番目の音符の楽譜上の終了時間ＮＯｆｆｓｅｔ（ｉ）は、式（５）によって設定される。
【００７６】
式（５）
【００７７】
ここで、ＮＯｎｓｅｔ（ｉ）およびＮＴＶ（ｉ）のそれぞれは、ｉ番目の音符の楽譜上の開始時間および音価を示す。ＧｒｏｕｐＡｒｔｃｌｔｎ（ｔ）は、その音符が含まれるフレーズのアーティキュレーションカーブの時刻ｔにおける比率を示す。ＮＯｆｆｓｅｔ（ｉ）が実際に発行される時間は、式（２）に従って計算される。
【００７８】
なお、この支援装置１０では、楽譜情報（楽譜データ）として、クレッシェンド、リタルダントおよびスタッカート等の演奏記号が付加されている場合には、それらをルール処理によって表情カーブに展開することもできる。演奏記号が適用されると、その演奏記号に対応する新たなフレーズが形成され、対応する表情カーブのデフォルト値が設定される。
【００７９】
このようにして、楽曲全体としての表情カーブは生成される。なお、選択したフレーズの表情カーブを編集する際には、ユーザは、必要に応じて、各音の開始時刻、終了時刻および音量を個別に設定することもできる。また、プライマリフレーズラインよりも、上位構造の演奏デザインを重視したくなった場合には、予め設定されたプライマリフレーズラインの重み係数を下げ、上位構造をあらためてプライマリフレーズラインとして再設定して編集操作を継続してもよい。また、上述の一連の過程は、必要に応じて前の操作に戻り、処理を繰り返すこともできる。
【００８０】
支援装置１０では、上述のようなユーザによる表情カーブの修正に応じて、自動演奏を再生するための演奏データが生成または更新され、ピアノロール画面４０のプレビュも更新される。そして、ユーザは、ピアノロール画面４０およびエディット画面４２に表示される視覚情報を参考にしながら、試聴と上述の編集操作とを繰り返すことにより、所望の演奏表情を形成していく。
【００８１】
この編集操作の際には、テンポ、ダイナミクスおよびアーティキュレーションの３つの表情カーブ５０が、エディット画面４２上に、同じ時間軸で多重表示されるので、ユーザは、これら演奏表現の関係性を把握し易くなる。つまり、これら３つの演奏表現の関係性を総合的に判断しながら編集作業を実行できるようになる。また、テンポや音量などの演奏表現をどのように組み合わせることで、その演奏表情が出来上がっているかを認識できるので、ユーザは、演奏の表情付けを容易に行うことができるようになる。
【００８２】
また、ピアノロール画面４０に頂点らしさの情報が表示されるので、どの音符が重要であるかを定量的に判断できるようになり、これによってもユーザは、演奏の表情付けを容易に実行できるようになる。
【００８３】
なお、１分間程度の中級者向けのピアノ曲に対して表情付けを行う場合、対象音符は概ね５００音程度であり、それぞれに演奏表情を付けることは困難な作業である。しかし、支援装置１０を用いた場合、ユーザが指定するフレーズ（境界）は１０数個であり、ユーザが指定したフレーズの表情カーブを修正するだけで演奏の表情付けが実行できるので、演奏デザインの効率化という観点において、支援装置１０は有効であることがわかる。
【００８４】
続いて、上述のような支援装置１０の動作の一例をフロー図に従って説明する。具体的には、支援装置１０のＣＰＵ１２が、図７に示す全体処理を実行する。図７を参照して、ＣＰＵ１２は、全体処理を開始すると、ステップＳ１で、楽譜情報（楽譜データ）を取得し、その楽譜情報をピアノロール形式で提示する。すなわち、メモリ１４等に記憶されたユーザ所望の楽曲の楽譜情報を読み出し、その情報に基づいてピアノロール画面を生成して表示装置１８の表示画面に表示する。次のステップＳ３では、詳細は後述するフレーズ構造の解析処理を実行する。ステップＳ３で楽曲のフレーズ構造が決定すると、ステップＳ５に進む。
【００８５】
ステップＳ５では、フレーズ選択の入力があるか否かを判断する。すなわち、ステップ３で決定されたフレーズ構造における一連のフレーズ群の中から、ユーザが入力装置１６等を用いて１つのフレーズを選択したか否かを判断する。ステップＳ５で“ＹＥＳ”の場合、すなわちフレーズ選択の入力がある場合には、ステップＳ７に進む。一方、ステップＳ５で“ＮＯ”の場合、すなわちフレーズ選択の入力がない場合には、ステップＳ１７に進む。
【００８６】
ステップＳ７では、詳細は後述する頂点らしさの推定処理を実行し、ステップＳ９に進む。ステップＳ９では、頂点らしさの提示、つまり頂点音の候補の提示を行う。たとえば、ピアノロール画面上の音に任意の色を配色し、その濃淡情報によって頂点らしさを識別可能に表示する。
【００８７】
次のステップＳ１１では、頂点指定の入力を受け付ける。ただし、ユーザによる頂点指定が無い場合や、自動決定に設定されているような場合には、ステップＳ７で算出した各音符の頂点らしさに基づいて、フレーズの頂点音を自動的に決定してもよい。また、ユーザによる頂点指定の入力があった場合には、その情報をユーザプレファランスとして適宜記憶しておき、頂点推定ルールのパラメータなどをそのユーザに合うように更新していくようにすることもできる。
【００８８】
次のステップＳ１３では、頂点情報に基づく表情カーブの初期値を設定し、提示する。たとえば、ステップＳ１１で決定された頂点音を頂点とする山型形状となるようにダイナミクスカーブやテンポカーブのデフォルト値を設定したり、ステップＳ７で推定した頂点らしさに応じた形状になるようにダイナミクスカーブやテンポカーブのデフォルト値を設定したりする。どのようなデフォルト値を取るかはユーザが選択できるようにすることもできる。そして、ユーザからの入力指示に応じて、各表情カーブをＧＵＩとして表示する。たとえば、ユーザが、テンポ、ダイナミクスおよびアーティキュレーションの３つの表情カーブを表示するよう入力したときは、これら３つの表情カーブを同じ画面上に、同じ時間軸で多重表示する。
【００８９】
次のステップＳ１５では、後述する表情カーブの編集処理を実行し、ステップＳ１７に進む。ステップＳ１７では、全体処理を終了するか否かを判断する。たとえば、ユーザから終了指示があった場合や、ユーザによる入力操作が所定時間以上行われなかった場合には、全体処理の終了と判断する。ステップＳ１７で“ＹＥＳ”の場合には、この全体処理をそのまま終了する。一方、ステップＳ１７で“ＮＯ”の場合には、処理はステップＳ３またはユーザの指定に応じた適宜のステップに戻る。
【００９０】
図８は、図７に示したステップＳ３のフレーズ構造解析処理を示すフロー図である。図８を参照して、ＣＰＵ１２は、フレーズ構造解析処理を開始すると、ステップＳ２１で、ＧＰＲプレファレンスの指定を受け付ける。すなわち、ＧＰＲの基本プレファレンスとユーザプレファレンスのどちらを優先するのかのユーザによる選択を受け付け、ユーザの選択に応じたＧＰＲプレファレンスに設定する。
【００９１】
次のステップＳ２３では、フレーズ境界の入力を受け付ける。すなわち、図７のステップＳ１で提示したピアノロール上のどの部分にユーザによってフレーズ境界が入力されたかを検出し、メモリ１４等に一時記憶する。ステップＳ２５では、ユーザＧＰＲプレファレンスを更新する。すなわち、ステップＳ２３でのユーザによるフレーズの境界指定に応じて、ユーザＧＰＲプレファレンスをそのユーザに合うように更新する。
【００９２】
次のステップＳ２７では、類似フレーズを検出する。すなわち、ステップＳ２３でユーザが指定したフレーズと類似するフレーズを楽曲全体から抽出し、ステップＳ２９に進む。ステップＳ２９では、ｅＸＧＴＴＭに基づいて、残りのフレーズ構造を解析する。すなわち、ユーザが境界指定したフレーズの前後のフレーズ構造、および上位や下位のフレーズ構造を解析する。この際には、ステップＳ２１で設定したＧＰＲプレファレンス（ユーザまたは基本）を優先する。また、ユーザの指定したフレーズ境界が、ＧＴＴＭのプレファレンスと反駁するときには、基本ＧＰＲプレファレンスの重みを下げると共に、ユーザＧＰＲプレファレンスをそのユーザに合うように更新する。ステップＳ３１では、フレーズ構造を提示する。すなわち、ステップＳ２９で解析した階層的フレーズ構造を表示装置１８にＧＵＩとして表示する。
【００９３】
次のステップ３３では、フレーズ構造を決定するか否かを判断する。すなわち、ユーザからのフレーズ構造の決定指示があるか否かを判断する。たとえば、ユーザは、この段階での演奏の試聴とフレーズ構造の視覚的な確認とによって、意図するフレーズ構造になっているか判断し、満足である場合にはその判断結果を入力する。ステップＳ３３で“ＹＥＳ”の場合、すなわちフレーズ構造を決定する場合には、図１の全体処理にリターンする。一方、ステップＳ３３で“ＮＯ”の場合、すなわちフレーズ構造を解析しなおす場合には、ステップＳ２３またはユーザの指定に応じた適宜のステップに戻る。
【００９４】
図９は、図７に示したステップＳ７の頂点らしさの計算処理を示すフロー図である。なお、図９において、「ｉ」は、音符を指定するために音符の並び順に割り振られた変数である。また、Ｎｏｔｅ（ｉ）は、ｉ番目の音符の音高、音価および和声などの情報を記述したものであり、ＡｐｅｘＶａｌ（ｉ）は、ｉ番目の音符の頂点らしさを表す値（エネルギー値）である。図９を参照して、ＣＰＵ１２は、頂点らしさの計算処理を開始すると、ステップＳ４１で、ＡｐｅｘＶａｌ（ｉ）＝０を設定して頂点らしさの初期化を行い、ステップＳ４３で、ｉ＝０を設定する。
【００９５】
次のステップＳ４５では、ｉ＝ｍａｘか否かを判断する。すなわち、対象となる全ての音符について頂点らしさの計算を行ったか否かを判断する。ステップＳ４５で“ＹＥＳ”の場合、すなわち対象となる全ての音符について頂点らしさの計算を行った場合には、図１の全体処理にリターンする。一方、ステップＳ４５で“ＮＯ”の場合、すなわち頂点らしさの計算を行っていない音符がある場合には、ステップＳ４７に進む。
【００９６】
ステップＳ４７では、Ｎｏｔｅ（ｉ）の情報と頂点推定ルール（図４および５参照）のそれぞれとを比較照合し、Ｎｏｔｅ（ｉ）に該当するルールがある場合には、該当するルールに割り当てられた評価ポイントをＡｐｅｘＶａｌ（ｉ）に加算する。算出したＡｐｅｘＶａｌ（ｉ）の値、つまり頂点らしさを示す合計ポイントは、各音符に対応付けてメモリ１４などに適宜記憶される。次のステップＳ４９では、ｉをインクリメントして（ｉ＝ｉ＋１）、ステップＳ４５に戻る。
【００９７】
図１０は、図７に示したステップＳ１５の表情カーブの編集処理を示すフロー図である。図１０を参照して、ＣＰＵ１２は、表情カーブの編集処理を開始すると、ステップＳ５１で、表情カーブの修正があるか否かを判断する。すなわち、ユーザによってテンポカーブやダイナミクスカーブ等に修正が加えられたか否かを判断する。ステップＳ５１で“ＹＥＳ”の場合、すなわち表情カーブの修正がある場合には、ステップＳ５３に進む。一方、ステップＳ５１で“ＮＯ”の場合、すなわち表情カーブの修正がない場合には、ステップＳ６１に進む。
【００９８】
ステップＳ５３では、楽曲全体の表情カーブを計算する。すなわち、ステップＳ５１で修正したフレーズの上位構造に対しても、頂点情報に基づいて表情カーブのデフォルト値を設定し、階層的フレーズ構造の各フレーズの表情カーブを合成して、楽曲全体としての表情カーブを生成する。なお、ユーザは、表情カーブを修正する際には、クレッシェンド等の演奏記号を入力することも可能であり、演奏記号が入力された場合には、ルール処理によって演奏記号を表情カーブに展開する。
【００９９】
次のステップＳ５５では、各音符の個別修正があるか否かを判断する。すなわち、音符ごとの発音時刻、消音時刻および音量などの修正がユーザによって行われたか否かを判断する。ステップＳ５５で“ＹＥＳ”の場合、すなわち各音符の個別修正がある場合には、ステップＳ５７に進む。一方、ステップＳ５５で“ＮＯ”の場合、すなわち各音符の個別修正がない場合には、ステップＳ５９に進む。
【０１００】
ステップＳ５７では、ステップＳ５５で受け付けた修正指示に応じて、音符単位での演奏表情の修正を行う。ステップＳ５９では、ピアノロール画面およびエディット画面に編集結果を表示すると共に、表情カーブの編集に応じた演奏を出力するための演奏データを更新する。
【０１０１】
そして、ステップ６１では、表情カーブの決定か否かを判断する。すなわち、ユーザからの表情カーブの決定指示があるか否かを判断する。たとえば、ユーザは、表情付けされた演奏の試聴とピアノロール画面やエディット画面の視覚的な確認とによって、意図する演奏の表情付けが行われたか否かを判断し、満足である場合にはその判断結果を入力する。ステップＳ６１で“ＹＥＳ”の場合、すなわち表情カーブを決定する場合には、図１の全体処理にリターンする。一方、ステップＳ６１で“ＮＯ”の場合、すなわち表情カーブを修正しなおす場合には、ステップＳ５１またはユーザの指定に応じた適宜のステップに戻る。
【０１０２】
この実施例によれば、表情カーブを編集するときに、テンポ、ダイナミクスおよびアーティキュレーションの３つの表情カーブを、エディット画面上に、同じ時間軸で多重表示するので、ユーザは、これら演奏表現の関係性を把握し易い。つまり、テンポや音量などの演奏表現をどのように組み合わせることで、その演奏表情が出来上がっているかを認識できるので、ユーザは、演奏の表情付けを効率良く容易に実行することができるようになる。また、このような認識を持って演奏の表情付けを行うことによって、ユーザの演奏表現に関する思考が客観的のものに移行し、楽曲分析や演奏表現の技法をより具体的に理解できるようになる。つまり、暗黙知として存在していたフレーズの表現法、つまりテンポ等の演奏パラメータをどのように組み合わせてその表現を実現したかを外在化できるので、自身の知識を形式化することができる。したがって、第３者に演奏表現の技法をより具体的に伝えることができるようになるので、支援装置１０は、教育用ツールとして好適に用いることができる。
【０１０３】
また、フレーズの頂点音は、フレーズ境界のように試聴によって明示的に判断できるものではないため、音楽未経験者にとって頂点音を見極めることは困難な作業となる。しかし、この実施例によれば、ピアノロール画面に頂点らしさの情報（ガイダンス）を表示するので、ユーザは、どの音符が重要であるかを定量的に判断できるようになり、これを参照することによって、演奏の表情付けを容易かつ効率的にできるようになる。また、どのような音が頂点音になり易いかを視覚的に判断できるので、ユーザは、頂点音の発見方法を理解し易くなる。この点においても、支援装置１０は、教育用ツールとして好適に用いることができると言える。
【０１０４】
さらに、この実施例では、音符の頂点らしさの計算のための条件および評価ポイント値をルールとして記述していることから、その計算の根拠をユーザに示すことも容易に実現される。したがって、ユーザ自身による頂点の推定や把握を助けるという視点において、演奏の表情付けの支援を行うことができる。
【０１０５】
なお、上述の実施例では、ユーザがフレーズ境界を部分的に指定（プライマリフレーズラインを指定）した後、残りの部分のフレーズ構造を自動解析するようにしたが、これに限定されない。たとえば、楽曲の階層的フレーズ構造の全てをユーザが指定することもできるし、階層的フレーズ構造の全てを自動解析することもできる。もちろん、階層的フレーズ構造の全てを自動解析した後に、ユーザによってフレーズ境界を修正していくこともできる。
【０１０６】
また、上述の実施例では、プライマリフレーズラインに含まれるフレーズに対して、頂点らしさを計算したり、表情カーブの修正を受け付けたりしたが、これに限定されず、楽曲の階層的フレーズ構造を構成する全てのフレーズのそれぞれに対して、頂点らしさを計算することもできるし、表情カーブの修正を受け付けることもできる。
【符号の説明】
【０１０７】
１０ …演奏表情付け支援装置
１２ …ＣＰＵ
１４ …メモリ
１６ …入力装置
１８ …表示装置
２０ …音源
４０ …ピアノロール画面
４２ …エディット画面
５０ …表情カーブ
【特許請求の範囲】
【請求項１】
フレージングに基づく演奏の表情付けを支援する演奏表情付け支援装置であって、
ユーザによって指定、もしくは、自動解析された階層的フレーズ構造を構成する各フレーズに対して、テンポ、ダイナミクスおよびアーティキュレーションの３つの表情カーブを、同じ画面に、同じ時間軸で多重表示する第１表示手段、および
前記画面に表示された前記表情カーブの修正を受け付ける修正受付手段を備える、演奏表情付け支援装置。
【請求項２】
前記フレーズ内の各音符の頂点らしさを算出する算出手段、および
前記各音符の頂点らしさを識別可能に表示する第２表示手段をさらに備える、請求項１記載の演奏表情付け支援装置。
【請求項３】
前記算出手段は、
所定の音楽理論に基づく音符の頂点らしさを判定するためのルール群を記憶するルール記憶手段、および
前記フレーズ内の各音符と前記ルール群のそれぞれとを照合し、該当するルールがある音符には、当該ルールに割り当てられた評価ポイントを、その音符の頂点らしさを示すエネルギー値として加算する加算手段を含む、請求項２記載の演奏表情付け支援装置。
【請求項１】
フレージングに基づく演奏の表情付けを支援する演奏表情付け支援装置であって、
ユーザによって指定、もしくは、自動解析された階層的フレーズ構造を構成する各フレーズに対して、テンポ、ダイナミクスおよびアーティキュレーションの３つの表情カーブを、同じ画面に、同じ時間軸で多重表示する第１表示手段、および
前記画面に表示された前記表情カーブの修正を受け付ける修正受付手段を備える、演奏表情付け支援装置。
【請求項２】
前記フレーズ内の各音符の頂点らしさを算出する算出手段、および
前記各音符の頂点らしさを識別可能に表示する第２表示手段をさらに備える、請求項１記載の演奏表情付け支援装置。
【請求項３】
前記算出手段は、
所定の音楽理論に基づく音符の頂点らしさを判定するためのルール群を記憶するルール記憶手段、および
前記フレーズ内の各音符と前記ルール群のそれぞれとを照合し、該当するルールがある音符には、当該ルールに割り当てられた評価ポイントを、その音符の頂点らしさを示すエネルギー値として加算する加算手段を含む、請求項２記載の演奏表情付け支援装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１１−１６４１６２（Ｐ２０１１−１６４１６２Ａ）
【公開日】平成２３年８月２５日（２０１１．８．２５）
【国際特許分類】
【出願番号】特願２０１０−２３７９５（Ｐ２０１０−２３７９５）
【出願日】平成２２年２月５日（２０１０．２．５）
【出願人】（５０３０９２１８０）学校法人関西学院 (71)
【Ｆターム（参考）】
【公開日】平成２３年８月２５日（２０１１．８．２５）
【国際特許分類】
【出願日】平成２２年２月５日（２０１０．２．５）
【出願人】（５０３０９２１８０）学校法人関西学院 (71)
【Ｆターム（参考）】
[ Back to top ]