楽曲演奏装置
【課題】
楽曲演奏装置の伴奏に合わせて外部楽器を用いた演奏を楽しむ際、外部楽器の演奏音を表情豊かなものとすることを課題とする。
【解決手段】
本発明の楽曲演奏装置は、音階を指定する音階情報と、加工情報を含む演奏情報に基づいて演奏を行う演奏部３０８と、通常演奏、外部楽器演奏の指定を可能とする入力部３０７と、外部楽器４０５からの演奏音を入力し、加工情報に基づいて加工処理して出力する加工部３０９と、通常演奏が指定された場合には、楽曲データに含まれる演奏情報に基づいて演奏部３０８に演奏させ、外部楽器演奏が指定された場合には、楽曲データに含まれる演奏情報に基づいて演奏部３０８に演奏させるとともに、当該特定パートの加工情報に基づいて外部楽器４０５からの演奏音を加工処理させる制御部と、を備えることを特徴としている。
楽曲演奏装置の伴奏に合わせて外部楽器を用いた演奏を楽しむ際、外部楽器の演奏音を表情豊かなものとすることを課題とする。
【解決手段】
本発明の楽曲演奏装置は、音階を指定する音階情報と、加工情報を含む演奏情報に基づいて演奏を行う演奏部３０８と、通常演奏、外部楽器演奏の指定を可能とする入力部３０７と、外部楽器４０５からの演奏音を入力し、加工情報に基づいて加工処理して出力する加工部３０９と、通常演奏が指定された場合には、楽曲データに含まれる演奏情報に基づいて演奏部３０８に演奏させ、外部楽器演奏が指定された場合には、楽曲データに含まれる演奏情報に基づいて演奏部３０８に演奏させるとともに、当該特定パートの加工情報に基づいて外部楽器４０５からの演奏音を加工処理させる制御部と、を備えることを特徴としている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、楽曲データに基づいて演奏を行う楽曲演奏装置に関するものであり、特に、外部楽器を接続し、楽曲データに基づく演奏に合わせて、演奏者による外部楽器演奏を楽しむことのできる楽曲演奏装置に関するものである。
【背景技術】
【０００２】
楽曲演奏装置は、ユーザーの演奏操作にしたがって発音する形態の他、シーケンサ利用することで自動演奏を行う形態が知られている。この自動演奏機能を利用することで、ユーザーはメンバーと集うことなく１人で適宜パートを担当し、バンド演奏、あるいは、オーケストラ演奏を行うことができる。ユーザーは、楽曲演奏装置の自動演奏に合わせて楽器を演奏することで１人で演奏を楽しむことができる。
このような楽曲演奏装置を利用して楽しむ例として、特許文献１には、エレキギターなどの外部楽器を接続し、外部楽器からの演奏音の入力音のピークの間隔、レベル、ピッチを検出手段で検出し、検出に基づいてカラオケ演奏に合った補助演奏情報を呼び出し、カラオケ演奏の一部又は全部に置き換えて発音するカラオケ装置について記載されている。この特許文献１に開示されるカラオケ装置によれば、楽器を演奏できなかった人でも容易にカラオケに参加して演奏することが可能となる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平６−１６１４８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来、楽器演奏を楽しむ場合、外部楽器の演奏音をさらに表情豊かなものとするためエフェクタを用いることがよく知られている。特にエレキギターなどでは、楽器から出力される演奏音を別途接続されたエフェクタを介して放音するとともに、エフェクタの種類を切り換える、あるいは、効果の度合いを調整することで演奏音に表情を付与することが行われている。
【０００５】
ギターとともにエフェクタを所持する上級者であれば、エフェクタを介してギターからの演奏音を自在に調整することが可能ではあるが、初心者の場合は、エフェクタを所持していなかったり、たとえ所持していた場合でも、どのような設定を行い、どのように切り換えを行ってよいか分からない場合がある。
【０００６】
また、初心者は練習スタジオの代替としてカラオケボックスを利用して演奏練習を行うことが多いが、一般的なカラオケボックスは練習スタジオと異なりエフェクタは用意されていないことはもちろんのこと、エフェクタの設定を行ってくれる者もいない。
【０００７】
このため、初心者がカラオケボックスで,楽曲演奏装置としてのカラオケ装置に外部楽
器を接続して演奏を楽しむ場合に、自らの演奏音にエフェクタの効果付与を行うことができなかった。
【０００８】
また、音量についても、楽曲演奏装置の自動演奏音にあった音量にするには、各種ゲインを調整する必要があり、その調整は初心者にとっては困難である。また、鍵盤を叩く強さを変化させる、弦を弾く強さを変化させるなどして音量を変化させ、演奏音に表情を付与することが行われるが、この音量変化についても初心者は演奏をうまくコントロールす
ることができず、楽曲演奏装置の演奏に沿った表情を付与することが困難であった。
【０００９】
本願発明は、このような楽曲演奏装置の伴奏に合わせて外部楽器を用いた演奏を楽しむ際、別途機材を設けることなく、そして、高度な演奏技術を必要とすることなく、初心者に対しても、外部楽器の演奏音を表情豊かなものとすることを目的としている。
【課題を解決するための手段】
【００１０】
上記課題を解決するため、本発明の楽曲演奏装置は、複数のパートの演奏情報で構成された楽曲データに基づいて演奏を行う楽曲演奏装置であって、音階を指定する音階情報と、加工情報を含む前記演奏情報に基づいて演奏を行う演奏部と、通常演奏、外部楽器演奏の指定を可能とする入力部と、外部楽器からの演奏音を入力し、加工情報に基づいて加工処理して出力する加工部と、通常演奏が指定された場合には、前記楽曲データに含まれる演奏情報に基づいて演奏部に演奏させ、外部楽器演奏が指定された場合には、前記楽曲データに含まれる特定パート以外の演奏情報に基づいて前記演奏部に演奏させるとともに、当該特定パートの加工情報に基づいて前記外部楽器からの演奏音を加工処理させる制御部と、を備えることを特徴としている。
【００１１】
さらに、本発明の楽曲演奏装置において、外部楽器演奏が指定された場合、前記外部楽器からの演奏音と特定パートの音階情報とを比較し、合致していないと判定したときには、当該特定パートの加工情報に基づく加工処理を中止することを特徴としている。
【００１２】
さらに、本発明の楽曲演奏装置において、外部楽器演奏が指定された場合、外部楽器からの演奏音が単音演奏か和音演奏かを判定し、単音演奏であると判定したときには、特定パートの加工情報に基づく加工処理を中止することを特徴としている。
【００１３】
さらに、本発明の楽曲演奏装置において、単音演奏であると判定したときには、特定パートの加工情報に代えて所定の加工情報に基づく加工処理を実行することを特徴としている。
【００１４】
さらに、本発明の楽曲演奏装置において、加工情報は、エフェクト付与、もしくは、音量制御を行うための情報であることを特徴としている。
【発明の効果】
【００１５】
以上、本発明によれば、楽曲データに含まれる特定パートを外部楽器にて担当する際、当該特定パートに対応する演奏情報の加工情報を利用して、外部楽器からの演奏音に対して、エフェクト付与、あるいは、音量制御を行うことが可能となり、別途エフェクタなどの機材を用意する必要がなく、また、高度な演奏技術を必要とすることなく、初心者に対しても、外部楽器の演奏音を表情豊かなものとすることが可能となる。
【００１６】
さらに、外部楽器の演奏者が自己の演奏を主張したい場合や、即興で演奏する場合には、楽曲データによる演奏に対して、自らの演奏を合致させずにアドリブで演奏（以下、アドリブ演奏）する場合がある。本発明では、外部楽器からの演奏音が、特定パートの音階情報に合致していないと判定したときには、当該特定パートの加工情報に基づく加工処理を中止するように構成したため、アドリブ演奏などユーザーが特定パートと異なる演奏を行った際、不用意に本来、特定パートのために用意された加工を中止し、違和感のあるエフェクタ制御、あるいは、音量制御を防止することが可能となる。
【００１７】
さらに、外部楽器が、例えばギターの場合、演奏者がアドリブ演奏するときは、単音で演奏（リード演奏）を行い、他の楽器と演奏と合致させる演奏を行うときには和音で演奏(リズム演奏）を行うことが多い。つまり、外部楽器からの演奏音が、単音演奏か和音演
奏かに基づいて、本来の特定パートのために用意された加工を行うか否かを決定することで、外部楽器の演奏者も加わった楽曲演奏に用いるべき加工情報の正確な判定を行うことも可能となる。
【００１８】
さらに、単音演奏を行っている場合には、単音演奏用に予め設けられた所定の加工情報を利用することで、演奏者が自己主張したい演奏や即興の演奏（アドリブ演奏）などを行っているときに、予め楽曲データ側で用意した特定パートの加工情報ではなく、演奏者が望む加工情報を用いることができる。よって、演奏者の違和感を生じることなく、外部楽器の演奏音を表情豊かなものとすることが可能となる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施形態に係る楽曲演奏装置の構成を示す図。
【図２】本発明の実施形態に係る楽曲データの構成を示す図。
【図３】本発明の実施形態に係る加工部の動作を示すブロック図。
【図４】本発明の実施形態に係る楽曲演奏装置の動作を示すフロー図。
【図５】本発明の他の実施形態に係る楽曲演奏装置の動作を示すフロー図。
【図６】本発明の他の実施形態に係る楽曲演奏装置の動作を示すフロー図。
【発明を実施するための形態】
【００２０】
図１は、本発明の実施形態に係る楽曲演奏装置（コマンダ）３００、及び、その周辺の構成を示すブロック図である。本実施形態では、カラオケ装置に適用した場合における楽曲演奏装置の実施形態について説明を行うが、カラオケ機能を有さない通常の電子楽器に対して適用することも可能である。
【００２１】
コマンダ３００は、ＣＰＵ３０２、ＲＯＭ３０５、ＲＡＭ３０６等で構成された制御部を中心として、楽曲データ等、各種情報を記憶する記憶部としてのハードディスク３０４、外部通信網と通信を行う通信部３０１、各種入力を行うための入力部３０７、映像表示装置としてのディスプレイ装置４０４に映像信号を出力する表示制御部３０３、楽曲データに基づいて演奏を行う音源部３０８（演奏部）を含んで構成されている。
【００２２】
さらに本実施形態のコマンダ３００には、外部楽器４０５が出力する演奏音を加工して、音源部３０８による演奏音と一緒に出力するため、ＡＤ変換部３１０、加工部３０９、ミキシング部３１１、ＤＡ変換部３１２が設けられている。
【００２３】
また、コマンダ３００の外部構成としては、表示制御部３０３からの映像信号を表示するためのディスプレイ装置４０４、コマンダ３００に接続して演奏を楽しむための外部楽器４０５、マイクロホン４０３、４０３'、コマンダ３００から出力された再生信号とマ
イクロホン４０３、４０３'からの音声をミキシングしてスピーカー４０２に出力するミ
キシングアンプ４０１が設けられている。
【００２４】
ＣＰＵ３０２を含んで構成された制御部は、コマンダ３００におけるシステム全体の制御を行う。ハードディスク３０４には、楽曲データの他、背景映像表示のための映像情報、各種プログラムなどが記憶されている。
【００２５】
通信部３０１は、周知の有線ＬＡＮなどが用いられ、店舗内のネットワークや、インターネットなど各種通信網に接続された各種機器との間で情報の授受を行うことが可能である。この通信部３０１にて、例えば、ホスト装置から受信した楽曲データをハードディスク３０４に格納する配信機能や、コマンダ３００の利用履歴（ログ情報）などをホスト装置に送信する履歴送信機能を実現することが可能となる。また、通信部３０１を介してコマンダ３００の遠隔制御を行うこととしてもよい。例えば、無線ＬＡＮを利用したリモコ
ン装置を利用し、無線ルータを介してこの通信部３０１と接続することで、従来の赤外線を利用したリモコン装置と比較し、遮蔽物を気にすることのない制御が可能になるとともに、通信部の集約を図ることが可能となる。
【００２６】
入力部３０７は、フロントパネルなどに設けられた各種スイッチ群、あるいは、図示しないリモコン装置からの制御信号を受信するための受信部であり、予約選曲、音程コントロールなど各種機能を設定可能としている。
【００２７】
表示制御部３０３は、制御部と連携し、ハードディスク３０４に記憶されている楽曲データ中の歌詞情報に基づいて歌詞映像を作成する。そして、映像情報に基づいて背景映像を作成し、背景映像に歌詞映像を重畳した出力映像信号をディスプレイ装置４０４に出力する表示制御を行う。その他、表示制御部３０３は、各種コンテンツ、広告情報などをディスプレイ４０４にて表示するための表示制御を行うこととしてもよい。
【００２８】
音源部３０８は、ＭＩＤＩなど、各種規格に基づいた楽曲データに基づいて楽音信号を形成する再生手段として機能する。この音源部３０８では、単一規格の楽曲情報のみならず、ＭＩＤＩとＰＣＭ音声などの複数規格を含む楽曲情報を同時に扱うことも可能である。例えば、ＭＩＤＩにて伴奏を再生すると同時に、ＰＣＭ音声、あるいは、ＭＰＥＧ音声にて模範歌唱、バックコーラスを再生することができる。
【００２９】
本実施形態のコマンダ３００は、通常カラオケ装置として用いられるものに、外部楽器４０５を接続し、外部楽器４０５の演奏音を加工する機能が装備されている。エレキギターのような外部楽器４０５は、アナログ信号を出力することが通常である。本実施形態では、デジタル領域にて加工処理を行うこととしており、外部楽器４０５の演奏音をデジタル信号に変換するためのＡＤ変換部３１０が設けられている。外部楽器４０５としてエレキギターを例示しているが、外部楽器４０５としては、電気的に変換された音響信号をコマンダ３００に取り込むことができるものであれば、エレキギターに限らず、キーボード、エレアコなど各種楽器を採用することができる。
【００３０】
加工部３０９は、デジタル化された外部楽器４０５の演奏音に対し、リバーブ、ディストーションといった各種エフェクト付与、そして、演奏音の音量調整を行う。本実施形態では、楽曲データ中に含まれる加工情報に基づいて、これらエフェクト付与や音量調整が行われる。なお、加工部３０９は、音源部３０８の機能の一部として組み込まれるものであってもよい。音源部３０８の機能として組み込むことで、楽曲データに基づく演奏音に対する加工処理と、外部楽器４０５の演奏音に対する加工処理を兼用し、ハードウェア資源の削減を図ることができる。
【００３１】
ミキシング部３１１は、音源部３０８で再生された再生音と、加工部３０９にて加工処理された演奏音をデジタル的にミキシングし、ＤＡ変換部３１２に出力する。ＤＡ変換部３１２では、入力されるミキシングされたデジタル信号をアナログ信号に変換し、コマンダ３００の出力として外部に出力する。このように、本実施形態では、外部楽器４０５の演奏音をコマンダ３００内でデジタル的に加工処理することとしているが、デジタル変換することなくアナログ信号のまま加工し、アナログ変換された音源部３０８からの再生信号とミキシングして出力するものであってもよい。
【００３２】
ミキシングアンプ４０１は、コマンダ３００が出力する再生信号と、マイクロホン４０３から入力される歌唱者の歌唱音声信号を適宜なバランスで混合・増幅する。混合された信号は、スピーカー４０２から放音される。
【００３３】
以上、本実施形態の楽曲演奏装置（コマンダ３００）の構成について説明したが、本実
施形態の楽曲演奏装置では、外部楽器４０５の演奏音に対してエフェクト付与、音量制御といった加工処理を行う加工部３０９を設けたことで、利用者が別途、エフェクタを用意する必要が無い。そして、エフェクト付与、音量制御といった加工処理についても、楽曲に最適化された処理が実行できるため、楽器初心者であっても複雑な設定を行うことなく容易に演奏を楽しむことが可能となる。
【００３４】
図２は、本発明の実施形態に係る楽曲データの構成を模式的に示した図である。楽曲データは、パート毎に設けられた複数の演奏情報にて構成される。図に示す例では、各パート毎に割り当てられた５つの演奏情報で１つの楽曲データが構成されている。この例では演奏情報１（ギターパート）が、外部楽器による演奏を可能とする特定パートとして予め割り当てられている。外部楽器による演奏が指定された場合には、この演奏情報１を再生出力しない、あるいは、演奏情報１の再生音量を抑えることで、利用者の外部楽器による演奏を行いやすくする。このような、特定パートを出力しない演奏をマイナスワン演奏ともいう。
【００３５】
具体的には、楽曲データに含まれた複数パート毎の演奏情報による楽曲演奏をコマンダ３００から出力するときに、コマンダ３００のＣＰＵ３０２が外部楽器４０５の接続を検出した場合、あるいは、入力部３０７により外部演奏の指定がなされたときに、特定パートの演奏を外部楽器４０５の演奏へ実質置き換え（出力しない、又は、音量を抑える）、残りの複数パートの演奏とともにコマンダ３００から出力する。
【００３６】
なお、特定パートは本実施形態のように予め割り当てられたものであってもよいし、利用者が適宜手段にて選択可能であってもよい。また、本実施形態のようにカラオケ装置において利用する場合には、楽曲データ中に歌詞データ、背景映像指定データなどを含めておくことで、楽曲の演奏に同期して歌詞、背景映像を表示することが可能となる。
【００３７】
楽曲データに含まれる演奏情報は、音階情報と加工情報にて構成されている。ここでは、特定パートでとなる演奏情報１（ギターパート）について説明する。図２に示されるように演奏情報１は、音階情報と加工情報を含んで構成される。図では、左から右側に向かって演奏が進行することとしている。なお、参考のため、音階情報には、前奏、Ａメロなど演奏の進行状況を記載している。
【００３８】
音階情報は、音の高さと長さの組み合わせからなる情報であって、いわゆる音符の並びに対応する情報である。図１で説明した音源部３０８は、この音階情報を解釈し、予め記憶している音色に基づいて再生音を発生する。
【００３９】
本実施形態における加工情報は、エフェクト符号と音量値によって構成されている。特に、加工情報は、音階情報と同様、楽曲の進行に同期した情報となっており、楽曲の状況に即した加工処理を行うことが可能となっている。エフェクト符号は、音階情報に基づいて発生した再生音に対し、ディストーション、リバーブなどの各種効果付与を行うための符号である。エフェクト対応表を参照することで、エフェクトの選択、付与が実行される。エフェクト対応表は、予めコマンダ３００内に記憶されたものであってもよいし、楽曲データのヘッダに格納しておき、各楽曲に対応できるものであってもよい。
【００４０】
音量値は、音階情報に基づいて発生した再生音の音量を制御するための数値である。本実施形態では、任意の区間毎に音量値が割り当てられているが、音階情報中の音符単位、あるいは、音符単位よりも小さい任意の区間毎に設けられるものであってもよい。
【００４１】
他の演奏情報２〜５についても、略同様の構成を有している。このように本実施形態では、従来と同様の楽曲データによって、音源部３０８における通常演奏処理が実行される
。通常演奏処理とは、楽曲データ中に含まれる演奏情報を音源部３０８に演奏させる処理である。このように楽曲データに基づいて演奏を行うことで、利用者は、演奏に併せて歌唱を楽しむことができる。
【００４２】
本実施形態では、このような従来と同様の楽曲データを用いることで、外部楽器の演奏音に対する加工処理を実行可能としている。外部楽器による演奏が指定された場合、音源部３０８において、外部楽器が担当することとなる特定パートの演奏を中止、あるいは、特定パートの音量を下げて演奏を実行する。音量を下げて演奏した場合には、外部楽器の演奏者は、特定パートの再生音を自分の演奏の参考（ガイド）とすることができる。
【００４３】
一方、図１で説明したように外部楽器４０５からの演奏音は加工部３０９に供給されることとなるが、この加工部３０９では、当該楽曲の特定パートに含まれる加工情報に基づいて、外部楽器４０５の演奏音に対する加工処理が実行される。加工情報は、楽曲の進行に同期した情報であるとともに、当該楽曲において演奏情報１（ギターパート）用に設けられた情報であるため、当該演奏情報１と同じ内容の演奏を外部楽器４０５にて演奏した場合には、通常演奏時に、ギターパートに対して実行された加工処理と同じ加工処理が外部楽器４０５の演奏音に対して実行されることとなり、演奏に即した加工処理が行われることとなる。
【００４４】
本実施形態の加工処理は、外部楽器４０５の演奏音に対し、加工情報中のエフェクト符号を利用したエフェクト付与と、加工情報中の音量値を利用した音量制御の両方を行うこととしているが、加工処理は、これらエフェクト付与、音量制御のどちらか一方のみ行うこととしてもよい。
【００４５】
では、図３を用い外部楽器演奏が指定された場合の加工処理について詳しく説明する。図３は、本発明の実施形態に係る加工部３０９での動作を説明するためのブロック図である。外部楽器４０５からの演奏音は、ＡＤ変換部３０９（符号は図１と同じ）にてデジタル変換された後、加工部３０９にて加工処理が実行される。本実施形態では、加工処理として、エフェクト付与、音量制御の両方を行うこととしている。
【００４６】
デジタル化された演奏音は、まずＳ１０１にて音量レベルの調整が実行される。外部楽器４０５からの演奏音の音量は、外部楽器４０５の出力設定、あるいは、演奏の仕方などでバラツキが生じることが多い。ここでは、演奏音の音量をある程度の範囲内に収まるように調整しておくことで、後の加工処理Ｓ１０５での音量制御において、音量を揃えて出力することが可能となる。
【００４７】
ハードディスク３０４などの記憶部から読み出された楽曲データは、音源部３０８に供給され、音源部３０８では供給された楽曲データに基づいて演奏が実行される。このとき、外部楽器４０５にて担当することとなる特定パートについては、その演奏を実行しない、あるいは、音量を下げて演奏することとするとよい。
【００４８】
一方、読み出された楽曲データのうち、特定パート、すなわち、外部楽器４０５にて演奏が実行される予定のパートについては、その演奏情報のうち加工情報のみが読み出され、加工部３０９に供給される（Ｓ１０４）。加工処理（Ｓ１０５）では、この供給された加工情報に基づいて、音量レベルが調整された演奏音に対して、エフェクト付与、音量制御が実行される。具体的には、楽曲の進行に同期して読み出されたエフェクト符号に基づいて、対応するエフェクト付与が行われるとともに、同期して読み出された音量値に基づいて音量制御が実行される。特に、音量制御については、Ｓ１０１で予め音量レベルの調整が行われているため、入力された演奏音の音量の不均一により、出力に音量差が生じることを防止できる。なお、Ｓ１０１の音量レベル調整は、加工処理Ｓ１０５の一処理とし
て組み込むこととしてもよい。
【００４９】
Ｓ１０５にて加工処理が施された演奏音は、ミキシング部３１１にて、音源部３０８からの再生音とミキシングされ、ＤＡ変換された後、音声出力される。このように、本来、音源部３０８にて演奏される特定パートの演奏情報に含まれる加工情報を、外部楽器４０５の演奏音に利用することで、楽曲の雰囲気、進行に適応したエフェクト付与、音量制御が可能となる。また、利用者はエフェクト付与するためにエフェクタを持参する必要が無く、特に、カラオケボックスのように楽器演奏のための設備が整っていない環境で行う場合には都合がよい。さらに、利用者は特段、機器の設定を行うことなく簡易に、楽曲に適したエフェクト付与、音量制御を行うことができる。
【００５０】
さらに、本実施形態では、外部楽器４０５の演奏音が特定パートに即した演奏でない場合、加工処理を中止する機能を有している。Ｓ１０１にて音量レベルの調整された演奏音は、Ｓ１０２にてピッチ検出される。これは、演奏音の主要な周波数成分を検出する処理であって、演奏音がどの音階に相当するのかを検出するための処理である。検出された演奏音のピッチは、楽曲データの特定パートの音階情報と比較され、一致している（音高上、時間上においてある程度の誤差を含んでよい）と判定された場合には、前述した加工処理が実行される。
【００５１】
一方、一致していないと判定された場合には、Ｓ１０４にて加工情報の読み出しを停止する、あるいは、Ｓ１０５にて加工機能を停止させることで、加工処理を中止させ、演奏音をミキシング部３１１に対してスルーさせる。このように、外部楽器４０５による演奏が、特定パートに沿った演奏でない場合には、加工処理を中止することで、例えば、利用者が外部楽器４０５にてアドリブ演奏を行った場合には、不用意に加工処理が行われることが無く、加工処理による違和感を防ぐことが可能となる。
【００５２】
図４は、本発明の実施形態に係る楽曲演奏装置の動作を示すフロー図である。入力部３０７などで利用者により楽曲が指定されると、当該楽曲に対応する楽曲データが読み出される。Ｓ２０１では、外部楽器演奏を行うか否かの指定が判断され、外部楽器演奏を行わない、すなわち、通常演奏を行うことが指定されていた、あるいは、指定されている場合には、Ｓ５００の通常演奏処理が実行される。この通常演奏処理は、図２で説明した楽曲データに基づいて演奏が実行される処理であって、その詳細は省略する。
【００５３】
一方、Ｓ２０１で、外部楽器演奏を行うことが指定されている、あるいは、指定を受け付けた場合には、Ｓ２０２にて楽曲データに基づく演奏が実行される。ここでは、特定パートの演奏情報を演奏しない、あるいは、その音量を下げて演奏することで、外部楽器４０５による演奏を行いやすくしている。なお、特定パートは、入力部３０７などを介して利用者が選択できるように構成してもよい。
【００５４】
演奏が開始されると、楽曲データ中、特定パートの演奏情報に含まれる加工情報に基づいて加工処理が実行される。加工処理は、加工情報中のエフェクト符号に基づくエフェクト付与、あるいは、加工情報中の音量値に基づく音量制御である。
【００５５】
Ｓ２０４では、図３で説明したＳ１０２、Ｓ１０３の処理、すなわち、演奏音から検出されたピッチが、特定パートの音階情報に一致しているか否かの判定が実行される。本実施形態では、演奏音のピッチと音階情報の一致度を算出し、当該一致度が閾値以上か否かに基づいて以後の処理を変更している。一致度が閾値より小さいと判定された場合には、Ｓ２０３と同じ加工処理を継続する（Ｓ２０６）。一方、一致度が閾値以上と判定された場合には、加工部３０９における加工処理を中止する。
【００５６】
Ｓ２０４からＳ２１０の処理は演奏が終了するまで実行され、外部楽器４０５による演奏音が特定パートに沿った演奏となった場合には加工処理Ｓ２０６が実行され、演奏音が特定パートに沿わない演奏となった場合には、加工処理が中止される（Ｓ２０９）こととなる。 図５は、本発明の実施形態に係る楽曲演奏装置の動作の変形例を示したフロー
図である。本実施形態では、外部楽器４０５による演奏音が単音であるのか、和音であるかを判定する処理を含み、この判定結果に基づいて加工処理を行うか否かを選択することとしている。
【００５７】
外部楽器演奏を行う場合、特にギターによる外部楽器演奏を行う場合には、初心者から上級者まで簡易に演奏を楽しむことを前提として、コードを刻む（和音演奏）演奏パートが特定パートとして選ばれることが多い。この事情を鑑み、本実施形態では演奏音が短音か、和音であるのかを判定して、和音である場合にのみ加工情報を利用した加工処理（通常加工処理）を実行することとしている。
図５において、Ｓ３００〜Ｓ３０３、Ｓ３１０、Ｓ３１１は、それぞれ、図４におけるＳ２００〜Ｓ２０３、Ｓ２１０、Ｓ２１１における処理に相当しており、ここではその説明は省略する。Ｓ３０５では、外部楽器４０５による演奏音に対して、周知のＦＦＴ処理を用いた所定時間毎の周波数解析を行い、外部楽器４０５による演奏音の周波数スペクトラムを抽出する。
【００５８】
抽出された周波数スペクトラムが倍音関係にある場合には、外部楽器４０５による演奏音は単音であると判定し（Ｓ３０５：ＹＥＳ）、抽出された周波数スペクトラムが倍音関係になっていない場合には、単音演奏でないと判定する（Ｓ３０５：ＮＯ）
【００５９】
抽出された周波数スペクトラムの倍音関係が単音演奏の判断となる根拠を以下に示す。例えば、ギター演奏における単音演奏（リード演奏）は、演奏者が１本の弦を弾く演奏スタイルなので、１本の弦の振動から生じる音は単音となる。
【００６０】
このため、抽出される周波数スペクトラムは、単音の基本波と、その高調波とで構成される。このとき、抽出された周波数スペクトルの最も低い周波数を特定すると、最も低い周波数と、それより高い周波数群とは、基本波と、その高調波との関係であるから、お互いに整数倍の関係（倍音関係）となる。よって、抽出された周波数スペクトラムが倍音関係にあれば、単音演奏（リード演奏）と判定できる。
【００６１】
ところが、和音演奏（リズム演奏）では、演奏者が複数の弦を同時に弾くので、抽出される周波数スペクトラムは、弾いた弦の数に応じて生じる異なった周波数の基本波群と、それぞれの高調波群とで構成される。
【００６２】
抽出される周波数スペクトラムの最も低い周波数（弾いた複数の弦のうち、最低音の弦の基本波）を特定すると、その周波数より高い周波数群には、弾いた弦のうちの、最低音の弦以外の弦それぞれの基本波と、弾いた弦の全ての高調波とが含まれる。このため、最も低い周波数と、その周波数より高い周波数群とは一定の整数倍間隔（倍音関係）にならない。つまり、抽出された周波数スペクトラムが倍音関係でなければ、演奏は単音演奏でないと判定できる。
【００６３】
Ｓ３０５で単音演奏でないと判定された場合には、特定パートの演奏情報に含まれる加工情報に基づく加工処理（通常加工処理）が実行される。一方、単音演奏であると判定された場合には、Ｓ３０９にてリード加工処理が実行される。
【００６４】
このリード加工処理は、通常加工処理のための加工情報とは異なる加工情報に基づいて実行される処理である。この加工情報は、エフェクト符号や音量値といった本来の加工情
報と同様の内容で構成されており、所定のもの（規定値）を用いることの他、予め楽曲データ中に含ませておくこととしてもよい。特に、楽曲データ中に含ませる場合には、楽曲の進行に同期した加工処理を実行させることも可能となる。
【００６５】
具体的には、加工情報を所定のものを用いる場合には、ＭＩＤＩのプログラムチェンジ・コマンドを利用して、エフェクト対応表のエフェクトへ、加工情報を切替える。また、予め楽曲データ中に加工情報が含まれている場合には、ＭＩＤＩのインサーションエフェクトを利用して、エフェクト対応表のエフェクトを加工情報として、楽曲データへ反映させればよい。
【００６６】
このように本実施形態では、外部楽器による演奏音が単音演奏か否かという簡易な判断処理で、加工処理を行うか否かを決定することが可能となる。さらに、演奏音が単音である場合、単音演奏に即した加工情報を用いて加工処理（リード加工処理）を実行することで、単音演奏に即したエフェクト付与、そして、音量制御を行うことが可能となり、例えば、利用者が即興的にリード演奏を行った場合には、リード演奏に適したリード加工処理が実行されることとなる。
【００６７】
具体的には、加工情報に所定のもの（規定値）を用いる場合には、ＭＩＤＩのプログラムチェンジ・コマンドを利用してエフェクト対応表のエフェクトを切替える。または、予め楽曲データ中に含ませておく場合には、ＭＩＤＩのインサーションエフェクトなどを利用すればよい。
【００６８】
図６は、本発明の実施形態に係る楽曲演奏装置の動作の変形例を示したフロー図であって、図４のピッチによる判定と、図５の単音か否かによる判定とを組み合わせた実施例となっている。図６中、破線で囲まれた処理が図４のフロー図と比較して特に異なる処理となっている。Ｓ４０５にて、一致度が閾値より小さい、すなわち、外部楽器による演奏音が特定パートに即していないと判定された場合には、Ｓ４０７にて演奏音が単音か否かが判定される。ここで、単音演奏であると判定された場合には、Ｓ４０８にてリード加工処理が実行される。また、Ｓ４０７で単音演奏でないと判定された場合には、加工処理は実行されることなく、演奏音はスルー状態で出力される。
【００６９】
このように本実施形態では、ピッチによる判定に基づき外部楽器による演奏音が特定パートに即しているか否かを精度よく判定することができるとともに、特定パートに即していない場合には、さらに演奏音が単音か否かを判定し、単音演奏と判定された場合には単音演奏に適した加工処理（リード加工処理）を実行することで、単音演奏に即したエフェクト付与、そして、音量制御を行うことが可能となる。
なお、本発明はこれらの実施形態のみに限られるものではなく、それぞれの実施形態の構成を適宜組み合わせて構成した実施形態も本発明の範疇となるものである。
【符号の説明】
【００７０】
３００…コマンダ（楽曲演奏装置）、３０１…通信部、３０２…ＣＰＵ、３０３…表示制御部、３０４…ハードディスク、３０５…ＲＯＭ、３０６…ＲＡＭ、３０７…入力部、３０８…音源部、３０９…加工部、３１０…ＡＤ変換部、３１１…ミキシング部、３１２…ＤＡ変換部、４０１…ミキシングアンプ、４０２…スピーカー、４０３…マイクロホン、４０４…ディスプレイ装置、４０５…エレキギター（外部楽器）
【技術分野】
【０００１】
本発明は、楽曲データに基づいて演奏を行う楽曲演奏装置に関するものであり、特に、外部楽器を接続し、楽曲データに基づく演奏に合わせて、演奏者による外部楽器演奏を楽しむことのできる楽曲演奏装置に関するものである。
【背景技術】
【０００２】
楽曲演奏装置は、ユーザーの演奏操作にしたがって発音する形態の他、シーケンサ利用することで自動演奏を行う形態が知られている。この自動演奏機能を利用することで、ユーザーはメンバーと集うことなく１人で適宜パートを担当し、バンド演奏、あるいは、オーケストラ演奏を行うことができる。ユーザーは、楽曲演奏装置の自動演奏に合わせて楽器を演奏することで１人で演奏を楽しむことができる。
このような楽曲演奏装置を利用して楽しむ例として、特許文献１には、エレキギターなどの外部楽器を接続し、外部楽器からの演奏音の入力音のピークの間隔、レベル、ピッチを検出手段で検出し、検出に基づいてカラオケ演奏に合った補助演奏情報を呼び出し、カラオケ演奏の一部又は全部に置き換えて発音するカラオケ装置について記載されている。この特許文献１に開示されるカラオケ装置によれば、楽器を演奏できなかった人でも容易にカラオケに参加して演奏することが可能となる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平６−１６１４８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来、楽器演奏を楽しむ場合、外部楽器の演奏音をさらに表情豊かなものとするためエフェクタを用いることがよく知られている。特にエレキギターなどでは、楽器から出力される演奏音を別途接続されたエフェクタを介して放音するとともに、エフェクタの種類を切り換える、あるいは、効果の度合いを調整することで演奏音に表情を付与することが行われている。
【０００５】
ギターとともにエフェクタを所持する上級者であれば、エフェクタを介してギターからの演奏音を自在に調整することが可能ではあるが、初心者の場合は、エフェクタを所持していなかったり、たとえ所持していた場合でも、どのような設定を行い、どのように切り換えを行ってよいか分からない場合がある。
【０００６】
また、初心者は練習スタジオの代替としてカラオケボックスを利用して演奏練習を行うことが多いが、一般的なカラオケボックスは練習スタジオと異なりエフェクタは用意されていないことはもちろんのこと、エフェクタの設定を行ってくれる者もいない。
【０００７】
このため、初心者がカラオケボックスで,楽曲演奏装置としてのカラオケ装置に外部楽
器を接続して演奏を楽しむ場合に、自らの演奏音にエフェクタの効果付与を行うことができなかった。
【０００８】
また、音量についても、楽曲演奏装置の自動演奏音にあった音量にするには、各種ゲインを調整する必要があり、その調整は初心者にとっては困難である。また、鍵盤を叩く強さを変化させる、弦を弾く強さを変化させるなどして音量を変化させ、演奏音に表情を付与することが行われるが、この音量変化についても初心者は演奏をうまくコントロールす
ることができず、楽曲演奏装置の演奏に沿った表情を付与することが困難であった。
【０００９】
本願発明は、このような楽曲演奏装置の伴奏に合わせて外部楽器を用いた演奏を楽しむ際、別途機材を設けることなく、そして、高度な演奏技術を必要とすることなく、初心者に対しても、外部楽器の演奏音を表情豊かなものとすることを目的としている。
【課題を解決するための手段】
【００１０】
上記課題を解決するため、本発明の楽曲演奏装置は、複数のパートの演奏情報で構成された楽曲データに基づいて演奏を行う楽曲演奏装置であって、音階を指定する音階情報と、加工情報を含む前記演奏情報に基づいて演奏を行う演奏部と、通常演奏、外部楽器演奏の指定を可能とする入力部と、外部楽器からの演奏音を入力し、加工情報に基づいて加工処理して出力する加工部と、通常演奏が指定された場合には、前記楽曲データに含まれる演奏情報に基づいて演奏部に演奏させ、外部楽器演奏が指定された場合には、前記楽曲データに含まれる特定パート以外の演奏情報に基づいて前記演奏部に演奏させるとともに、当該特定パートの加工情報に基づいて前記外部楽器からの演奏音を加工処理させる制御部と、を備えることを特徴としている。
【００１１】
さらに、本発明の楽曲演奏装置において、外部楽器演奏が指定された場合、前記外部楽器からの演奏音と特定パートの音階情報とを比較し、合致していないと判定したときには、当該特定パートの加工情報に基づく加工処理を中止することを特徴としている。
【００１２】
さらに、本発明の楽曲演奏装置において、外部楽器演奏が指定された場合、外部楽器からの演奏音が単音演奏か和音演奏かを判定し、単音演奏であると判定したときには、特定パートの加工情報に基づく加工処理を中止することを特徴としている。
【００１３】
さらに、本発明の楽曲演奏装置において、単音演奏であると判定したときには、特定パートの加工情報に代えて所定の加工情報に基づく加工処理を実行することを特徴としている。
【００１４】
さらに、本発明の楽曲演奏装置において、加工情報は、エフェクト付与、もしくは、音量制御を行うための情報であることを特徴としている。
【発明の効果】
【００１５】
以上、本発明によれば、楽曲データに含まれる特定パートを外部楽器にて担当する際、当該特定パートに対応する演奏情報の加工情報を利用して、外部楽器からの演奏音に対して、エフェクト付与、あるいは、音量制御を行うことが可能となり、別途エフェクタなどの機材を用意する必要がなく、また、高度な演奏技術を必要とすることなく、初心者に対しても、外部楽器の演奏音を表情豊かなものとすることが可能となる。
【００１６】
さらに、外部楽器の演奏者が自己の演奏を主張したい場合や、即興で演奏する場合には、楽曲データによる演奏に対して、自らの演奏を合致させずにアドリブで演奏（以下、アドリブ演奏）する場合がある。本発明では、外部楽器からの演奏音が、特定パートの音階情報に合致していないと判定したときには、当該特定パートの加工情報に基づく加工処理を中止するように構成したため、アドリブ演奏などユーザーが特定パートと異なる演奏を行った際、不用意に本来、特定パートのために用意された加工を中止し、違和感のあるエフェクタ制御、あるいは、音量制御を防止することが可能となる。
【００１７】
さらに、外部楽器が、例えばギターの場合、演奏者がアドリブ演奏するときは、単音で演奏（リード演奏）を行い、他の楽器と演奏と合致させる演奏を行うときには和音で演奏(リズム演奏）を行うことが多い。つまり、外部楽器からの演奏音が、単音演奏か和音演
奏かに基づいて、本来の特定パートのために用意された加工を行うか否かを決定することで、外部楽器の演奏者も加わった楽曲演奏に用いるべき加工情報の正確な判定を行うことも可能となる。
【００１８】
さらに、単音演奏を行っている場合には、単音演奏用に予め設けられた所定の加工情報を利用することで、演奏者が自己主張したい演奏や即興の演奏（アドリブ演奏）などを行っているときに、予め楽曲データ側で用意した特定パートの加工情報ではなく、演奏者が望む加工情報を用いることができる。よって、演奏者の違和感を生じることなく、外部楽器の演奏音を表情豊かなものとすることが可能となる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施形態に係る楽曲演奏装置の構成を示す図。
【図２】本発明の実施形態に係る楽曲データの構成を示す図。
【図３】本発明の実施形態に係る加工部の動作を示すブロック図。
【図４】本発明の実施形態に係る楽曲演奏装置の動作を示すフロー図。
【図５】本発明の他の実施形態に係る楽曲演奏装置の動作を示すフロー図。
【図６】本発明の他の実施形態に係る楽曲演奏装置の動作を示すフロー図。
【発明を実施するための形態】
【００２０】
図１は、本発明の実施形態に係る楽曲演奏装置（コマンダ）３００、及び、その周辺の構成を示すブロック図である。本実施形態では、カラオケ装置に適用した場合における楽曲演奏装置の実施形態について説明を行うが、カラオケ機能を有さない通常の電子楽器に対して適用することも可能である。
【００２１】
コマンダ３００は、ＣＰＵ３０２、ＲＯＭ３０５、ＲＡＭ３０６等で構成された制御部を中心として、楽曲データ等、各種情報を記憶する記憶部としてのハードディスク３０４、外部通信網と通信を行う通信部３０１、各種入力を行うための入力部３０７、映像表示装置としてのディスプレイ装置４０４に映像信号を出力する表示制御部３０３、楽曲データに基づいて演奏を行う音源部３０８（演奏部）を含んで構成されている。
【００２２】
さらに本実施形態のコマンダ３００には、外部楽器４０５が出力する演奏音を加工して、音源部３０８による演奏音と一緒に出力するため、ＡＤ変換部３１０、加工部３０９、ミキシング部３１１、ＤＡ変換部３１２が設けられている。
【００２３】
また、コマンダ３００の外部構成としては、表示制御部３０３からの映像信号を表示するためのディスプレイ装置４０４、コマンダ３００に接続して演奏を楽しむための外部楽器４０５、マイクロホン４０３、４０３'、コマンダ３００から出力された再生信号とマ
イクロホン４０３、４０３'からの音声をミキシングしてスピーカー４０２に出力するミ
キシングアンプ４０１が設けられている。
【００２４】
ＣＰＵ３０２を含んで構成された制御部は、コマンダ３００におけるシステム全体の制御を行う。ハードディスク３０４には、楽曲データの他、背景映像表示のための映像情報、各種プログラムなどが記憶されている。
【００２５】
通信部３０１は、周知の有線ＬＡＮなどが用いられ、店舗内のネットワークや、インターネットなど各種通信網に接続された各種機器との間で情報の授受を行うことが可能である。この通信部３０１にて、例えば、ホスト装置から受信した楽曲データをハードディスク３０４に格納する配信機能や、コマンダ３００の利用履歴（ログ情報）などをホスト装置に送信する履歴送信機能を実現することが可能となる。また、通信部３０１を介してコマンダ３００の遠隔制御を行うこととしてもよい。例えば、無線ＬＡＮを利用したリモコ
ン装置を利用し、無線ルータを介してこの通信部３０１と接続することで、従来の赤外線を利用したリモコン装置と比較し、遮蔽物を気にすることのない制御が可能になるとともに、通信部の集約を図ることが可能となる。
【００２６】
入力部３０７は、フロントパネルなどに設けられた各種スイッチ群、あるいは、図示しないリモコン装置からの制御信号を受信するための受信部であり、予約選曲、音程コントロールなど各種機能を設定可能としている。
【００２７】
表示制御部３０３は、制御部と連携し、ハードディスク３０４に記憶されている楽曲データ中の歌詞情報に基づいて歌詞映像を作成する。そして、映像情報に基づいて背景映像を作成し、背景映像に歌詞映像を重畳した出力映像信号をディスプレイ装置４０４に出力する表示制御を行う。その他、表示制御部３０３は、各種コンテンツ、広告情報などをディスプレイ４０４にて表示するための表示制御を行うこととしてもよい。
【００２８】
音源部３０８は、ＭＩＤＩなど、各種規格に基づいた楽曲データに基づいて楽音信号を形成する再生手段として機能する。この音源部３０８では、単一規格の楽曲情報のみならず、ＭＩＤＩとＰＣＭ音声などの複数規格を含む楽曲情報を同時に扱うことも可能である。例えば、ＭＩＤＩにて伴奏を再生すると同時に、ＰＣＭ音声、あるいは、ＭＰＥＧ音声にて模範歌唱、バックコーラスを再生することができる。
【００２９】
本実施形態のコマンダ３００は、通常カラオケ装置として用いられるものに、外部楽器４０５を接続し、外部楽器４０５の演奏音を加工する機能が装備されている。エレキギターのような外部楽器４０５は、アナログ信号を出力することが通常である。本実施形態では、デジタル領域にて加工処理を行うこととしており、外部楽器４０５の演奏音をデジタル信号に変換するためのＡＤ変換部３１０が設けられている。外部楽器４０５としてエレキギターを例示しているが、外部楽器４０５としては、電気的に変換された音響信号をコマンダ３００に取り込むことができるものであれば、エレキギターに限らず、キーボード、エレアコなど各種楽器を採用することができる。
【００３０】
加工部３０９は、デジタル化された外部楽器４０５の演奏音に対し、リバーブ、ディストーションといった各種エフェクト付与、そして、演奏音の音量調整を行う。本実施形態では、楽曲データ中に含まれる加工情報に基づいて、これらエフェクト付与や音量調整が行われる。なお、加工部３０９は、音源部３０８の機能の一部として組み込まれるものであってもよい。音源部３０８の機能として組み込むことで、楽曲データに基づく演奏音に対する加工処理と、外部楽器４０５の演奏音に対する加工処理を兼用し、ハードウェア資源の削減を図ることができる。
【００３１】
ミキシング部３１１は、音源部３０８で再生された再生音と、加工部３０９にて加工処理された演奏音をデジタル的にミキシングし、ＤＡ変換部３１２に出力する。ＤＡ変換部３１２では、入力されるミキシングされたデジタル信号をアナログ信号に変換し、コマンダ３００の出力として外部に出力する。このように、本実施形態では、外部楽器４０５の演奏音をコマンダ３００内でデジタル的に加工処理することとしているが、デジタル変換することなくアナログ信号のまま加工し、アナログ変換された音源部３０８からの再生信号とミキシングして出力するものであってもよい。
【００３２】
ミキシングアンプ４０１は、コマンダ３００が出力する再生信号と、マイクロホン４０３から入力される歌唱者の歌唱音声信号を適宜なバランスで混合・増幅する。混合された信号は、スピーカー４０２から放音される。
【００３３】
以上、本実施形態の楽曲演奏装置（コマンダ３００）の構成について説明したが、本実
施形態の楽曲演奏装置では、外部楽器４０５の演奏音に対してエフェクト付与、音量制御といった加工処理を行う加工部３０９を設けたことで、利用者が別途、エフェクタを用意する必要が無い。そして、エフェクト付与、音量制御といった加工処理についても、楽曲に最適化された処理が実行できるため、楽器初心者であっても複雑な設定を行うことなく容易に演奏を楽しむことが可能となる。
【００３４】
図２は、本発明の実施形態に係る楽曲データの構成を模式的に示した図である。楽曲データは、パート毎に設けられた複数の演奏情報にて構成される。図に示す例では、各パート毎に割り当てられた５つの演奏情報で１つの楽曲データが構成されている。この例では演奏情報１（ギターパート）が、外部楽器による演奏を可能とする特定パートとして予め割り当てられている。外部楽器による演奏が指定された場合には、この演奏情報１を再生出力しない、あるいは、演奏情報１の再生音量を抑えることで、利用者の外部楽器による演奏を行いやすくする。このような、特定パートを出力しない演奏をマイナスワン演奏ともいう。
【００３５】
具体的には、楽曲データに含まれた複数パート毎の演奏情報による楽曲演奏をコマンダ３００から出力するときに、コマンダ３００のＣＰＵ３０２が外部楽器４０５の接続を検出した場合、あるいは、入力部３０７により外部演奏の指定がなされたときに、特定パートの演奏を外部楽器４０５の演奏へ実質置き換え（出力しない、又は、音量を抑える）、残りの複数パートの演奏とともにコマンダ３００から出力する。
【００３６】
なお、特定パートは本実施形態のように予め割り当てられたものであってもよいし、利用者が適宜手段にて選択可能であってもよい。また、本実施形態のようにカラオケ装置において利用する場合には、楽曲データ中に歌詞データ、背景映像指定データなどを含めておくことで、楽曲の演奏に同期して歌詞、背景映像を表示することが可能となる。
【００３７】
楽曲データに含まれる演奏情報は、音階情報と加工情報にて構成されている。ここでは、特定パートでとなる演奏情報１（ギターパート）について説明する。図２に示されるように演奏情報１は、音階情報と加工情報を含んで構成される。図では、左から右側に向かって演奏が進行することとしている。なお、参考のため、音階情報には、前奏、Ａメロなど演奏の進行状況を記載している。
【００３８】
音階情報は、音の高さと長さの組み合わせからなる情報であって、いわゆる音符の並びに対応する情報である。図１で説明した音源部３０８は、この音階情報を解釈し、予め記憶している音色に基づいて再生音を発生する。
【００３９】
本実施形態における加工情報は、エフェクト符号と音量値によって構成されている。特に、加工情報は、音階情報と同様、楽曲の進行に同期した情報となっており、楽曲の状況に即した加工処理を行うことが可能となっている。エフェクト符号は、音階情報に基づいて発生した再生音に対し、ディストーション、リバーブなどの各種効果付与を行うための符号である。エフェクト対応表を参照することで、エフェクトの選択、付与が実行される。エフェクト対応表は、予めコマンダ３００内に記憶されたものであってもよいし、楽曲データのヘッダに格納しておき、各楽曲に対応できるものであってもよい。
【００４０】
音量値は、音階情報に基づいて発生した再生音の音量を制御するための数値である。本実施形態では、任意の区間毎に音量値が割り当てられているが、音階情報中の音符単位、あるいは、音符単位よりも小さい任意の区間毎に設けられるものであってもよい。
【００４１】
他の演奏情報２〜５についても、略同様の構成を有している。このように本実施形態では、従来と同様の楽曲データによって、音源部３０８における通常演奏処理が実行される
。通常演奏処理とは、楽曲データ中に含まれる演奏情報を音源部３０８に演奏させる処理である。このように楽曲データに基づいて演奏を行うことで、利用者は、演奏に併せて歌唱を楽しむことができる。
【００４２】
本実施形態では、このような従来と同様の楽曲データを用いることで、外部楽器の演奏音に対する加工処理を実行可能としている。外部楽器による演奏が指定された場合、音源部３０８において、外部楽器が担当することとなる特定パートの演奏を中止、あるいは、特定パートの音量を下げて演奏を実行する。音量を下げて演奏した場合には、外部楽器の演奏者は、特定パートの再生音を自分の演奏の参考（ガイド）とすることができる。
【００４３】
一方、図１で説明したように外部楽器４０５からの演奏音は加工部３０９に供給されることとなるが、この加工部３０９では、当該楽曲の特定パートに含まれる加工情報に基づいて、外部楽器４０５の演奏音に対する加工処理が実行される。加工情報は、楽曲の進行に同期した情報であるとともに、当該楽曲において演奏情報１（ギターパート）用に設けられた情報であるため、当該演奏情報１と同じ内容の演奏を外部楽器４０５にて演奏した場合には、通常演奏時に、ギターパートに対して実行された加工処理と同じ加工処理が外部楽器４０５の演奏音に対して実行されることとなり、演奏に即した加工処理が行われることとなる。
【００４４】
本実施形態の加工処理は、外部楽器４０５の演奏音に対し、加工情報中のエフェクト符号を利用したエフェクト付与と、加工情報中の音量値を利用した音量制御の両方を行うこととしているが、加工処理は、これらエフェクト付与、音量制御のどちらか一方のみ行うこととしてもよい。
【００４５】
では、図３を用い外部楽器演奏が指定された場合の加工処理について詳しく説明する。図３は、本発明の実施形態に係る加工部３０９での動作を説明するためのブロック図である。外部楽器４０５からの演奏音は、ＡＤ変換部３０９（符号は図１と同じ）にてデジタル変換された後、加工部３０９にて加工処理が実行される。本実施形態では、加工処理として、エフェクト付与、音量制御の両方を行うこととしている。
【００４６】
デジタル化された演奏音は、まずＳ１０１にて音量レベルの調整が実行される。外部楽器４０５からの演奏音の音量は、外部楽器４０５の出力設定、あるいは、演奏の仕方などでバラツキが生じることが多い。ここでは、演奏音の音量をある程度の範囲内に収まるように調整しておくことで、後の加工処理Ｓ１０５での音量制御において、音量を揃えて出力することが可能となる。
【００４７】
ハードディスク３０４などの記憶部から読み出された楽曲データは、音源部３０８に供給され、音源部３０８では供給された楽曲データに基づいて演奏が実行される。このとき、外部楽器４０５にて担当することとなる特定パートについては、その演奏を実行しない、あるいは、音量を下げて演奏することとするとよい。
【００４８】
一方、読み出された楽曲データのうち、特定パート、すなわち、外部楽器４０５にて演奏が実行される予定のパートについては、その演奏情報のうち加工情報のみが読み出され、加工部３０９に供給される（Ｓ１０４）。加工処理（Ｓ１０５）では、この供給された加工情報に基づいて、音量レベルが調整された演奏音に対して、エフェクト付与、音量制御が実行される。具体的には、楽曲の進行に同期して読み出されたエフェクト符号に基づいて、対応するエフェクト付与が行われるとともに、同期して読み出された音量値に基づいて音量制御が実行される。特に、音量制御については、Ｓ１０１で予め音量レベルの調整が行われているため、入力された演奏音の音量の不均一により、出力に音量差が生じることを防止できる。なお、Ｓ１０１の音量レベル調整は、加工処理Ｓ１０５の一処理とし
て組み込むこととしてもよい。
【００４９】
Ｓ１０５にて加工処理が施された演奏音は、ミキシング部３１１にて、音源部３０８からの再生音とミキシングされ、ＤＡ変換された後、音声出力される。このように、本来、音源部３０８にて演奏される特定パートの演奏情報に含まれる加工情報を、外部楽器４０５の演奏音に利用することで、楽曲の雰囲気、進行に適応したエフェクト付与、音量制御が可能となる。また、利用者はエフェクト付与するためにエフェクタを持参する必要が無く、特に、カラオケボックスのように楽器演奏のための設備が整っていない環境で行う場合には都合がよい。さらに、利用者は特段、機器の設定を行うことなく簡易に、楽曲に適したエフェクト付与、音量制御を行うことができる。
【００５０】
さらに、本実施形態では、外部楽器４０５の演奏音が特定パートに即した演奏でない場合、加工処理を中止する機能を有している。Ｓ１０１にて音量レベルの調整された演奏音は、Ｓ１０２にてピッチ検出される。これは、演奏音の主要な周波数成分を検出する処理であって、演奏音がどの音階に相当するのかを検出するための処理である。検出された演奏音のピッチは、楽曲データの特定パートの音階情報と比較され、一致している（音高上、時間上においてある程度の誤差を含んでよい）と判定された場合には、前述した加工処理が実行される。
【００５１】
一方、一致していないと判定された場合には、Ｓ１０４にて加工情報の読み出しを停止する、あるいは、Ｓ１０５にて加工機能を停止させることで、加工処理を中止させ、演奏音をミキシング部３１１に対してスルーさせる。このように、外部楽器４０５による演奏が、特定パートに沿った演奏でない場合には、加工処理を中止することで、例えば、利用者が外部楽器４０５にてアドリブ演奏を行った場合には、不用意に加工処理が行われることが無く、加工処理による違和感を防ぐことが可能となる。
【００５２】
図４は、本発明の実施形態に係る楽曲演奏装置の動作を示すフロー図である。入力部３０７などで利用者により楽曲が指定されると、当該楽曲に対応する楽曲データが読み出される。Ｓ２０１では、外部楽器演奏を行うか否かの指定が判断され、外部楽器演奏を行わない、すなわち、通常演奏を行うことが指定されていた、あるいは、指定されている場合には、Ｓ５００の通常演奏処理が実行される。この通常演奏処理は、図２で説明した楽曲データに基づいて演奏が実行される処理であって、その詳細は省略する。
【００５３】
一方、Ｓ２０１で、外部楽器演奏を行うことが指定されている、あるいは、指定を受け付けた場合には、Ｓ２０２にて楽曲データに基づく演奏が実行される。ここでは、特定パートの演奏情報を演奏しない、あるいは、その音量を下げて演奏することで、外部楽器４０５による演奏を行いやすくしている。なお、特定パートは、入力部３０７などを介して利用者が選択できるように構成してもよい。
【００５４】
演奏が開始されると、楽曲データ中、特定パートの演奏情報に含まれる加工情報に基づいて加工処理が実行される。加工処理は、加工情報中のエフェクト符号に基づくエフェクト付与、あるいは、加工情報中の音量値に基づく音量制御である。
【００５５】
Ｓ２０４では、図３で説明したＳ１０２、Ｓ１０３の処理、すなわち、演奏音から検出されたピッチが、特定パートの音階情報に一致しているか否かの判定が実行される。本実施形態では、演奏音のピッチと音階情報の一致度を算出し、当該一致度が閾値以上か否かに基づいて以後の処理を変更している。一致度が閾値より小さいと判定された場合には、Ｓ２０３と同じ加工処理を継続する（Ｓ２０６）。一方、一致度が閾値以上と判定された場合には、加工部３０９における加工処理を中止する。
【００５６】
Ｓ２０４からＳ２１０の処理は演奏が終了するまで実行され、外部楽器４０５による演奏音が特定パートに沿った演奏となった場合には加工処理Ｓ２０６が実行され、演奏音が特定パートに沿わない演奏となった場合には、加工処理が中止される（Ｓ２０９）こととなる。 図５は、本発明の実施形態に係る楽曲演奏装置の動作の変形例を示したフロー
図である。本実施形態では、外部楽器４０５による演奏音が単音であるのか、和音であるかを判定する処理を含み、この判定結果に基づいて加工処理を行うか否かを選択することとしている。
【００５７】
外部楽器演奏を行う場合、特にギターによる外部楽器演奏を行う場合には、初心者から上級者まで簡易に演奏を楽しむことを前提として、コードを刻む（和音演奏）演奏パートが特定パートとして選ばれることが多い。この事情を鑑み、本実施形態では演奏音が短音か、和音であるのかを判定して、和音である場合にのみ加工情報を利用した加工処理（通常加工処理）を実行することとしている。
図５において、Ｓ３００〜Ｓ３０３、Ｓ３１０、Ｓ３１１は、それぞれ、図４におけるＳ２００〜Ｓ２０３、Ｓ２１０、Ｓ２１１における処理に相当しており、ここではその説明は省略する。Ｓ３０５では、外部楽器４０５による演奏音に対して、周知のＦＦＴ処理を用いた所定時間毎の周波数解析を行い、外部楽器４０５による演奏音の周波数スペクトラムを抽出する。
【００５８】
抽出された周波数スペクトラムが倍音関係にある場合には、外部楽器４０５による演奏音は単音であると判定し（Ｓ３０５：ＹＥＳ）、抽出された周波数スペクトラムが倍音関係になっていない場合には、単音演奏でないと判定する（Ｓ３０５：ＮＯ）
【００５９】
抽出された周波数スペクトラムの倍音関係が単音演奏の判断となる根拠を以下に示す。例えば、ギター演奏における単音演奏（リード演奏）は、演奏者が１本の弦を弾く演奏スタイルなので、１本の弦の振動から生じる音は単音となる。
【００６０】
このため、抽出される周波数スペクトラムは、単音の基本波と、その高調波とで構成される。このとき、抽出された周波数スペクトルの最も低い周波数を特定すると、最も低い周波数と、それより高い周波数群とは、基本波と、その高調波との関係であるから、お互いに整数倍の関係（倍音関係）となる。よって、抽出された周波数スペクトラムが倍音関係にあれば、単音演奏（リード演奏）と判定できる。
【００６１】
ところが、和音演奏（リズム演奏）では、演奏者が複数の弦を同時に弾くので、抽出される周波数スペクトラムは、弾いた弦の数に応じて生じる異なった周波数の基本波群と、それぞれの高調波群とで構成される。
【００６２】
抽出される周波数スペクトラムの最も低い周波数（弾いた複数の弦のうち、最低音の弦の基本波）を特定すると、その周波数より高い周波数群には、弾いた弦のうちの、最低音の弦以外の弦それぞれの基本波と、弾いた弦の全ての高調波とが含まれる。このため、最も低い周波数と、その周波数より高い周波数群とは一定の整数倍間隔（倍音関係）にならない。つまり、抽出された周波数スペクトラムが倍音関係でなければ、演奏は単音演奏でないと判定できる。
【００６３】
Ｓ３０５で単音演奏でないと判定された場合には、特定パートの演奏情報に含まれる加工情報に基づく加工処理（通常加工処理）が実行される。一方、単音演奏であると判定された場合には、Ｓ３０９にてリード加工処理が実行される。
【００６４】
このリード加工処理は、通常加工処理のための加工情報とは異なる加工情報に基づいて実行される処理である。この加工情報は、エフェクト符号や音量値といった本来の加工情
報と同様の内容で構成されており、所定のもの（規定値）を用いることの他、予め楽曲データ中に含ませておくこととしてもよい。特に、楽曲データ中に含ませる場合には、楽曲の進行に同期した加工処理を実行させることも可能となる。
【００６５】
具体的には、加工情報を所定のものを用いる場合には、ＭＩＤＩのプログラムチェンジ・コマンドを利用して、エフェクト対応表のエフェクトへ、加工情報を切替える。また、予め楽曲データ中に加工情報が含まれている場合には、ＭＩＤＩのインサーションエフェクトを利用して、エフェクト対応表のエフェクトを加工情報として、楽曲データへ反映させればよい。
【００６６】
このように本実施形態では、外部楽器による演奏音が単音演奏か否かという簡易な判断処理で、加工処理を行うか否かを決定することが可能となる。さらに、演奏音が単音である場合、単音演奏に即した加工情報を用いて加工処理（リード加工処理）を実行することで、単音演奏に即したエフェクト付与、そして、音量制御を行うことが可能となり、例えば、利用者が即興的にリード演奏を行った場合には、リード演奏に適したリード加工処理が実行されることとなる。
【００６７】
具体的には、加工情報に所定のもの（規定値）を用いる場合には、ＭＩＤＩのプログラムチェンジ・コマンドを利用してエフェクト対応表のエフェクトを切替える。または、予め楽曲データ中に含ませておく場合には、ＭＩＤＩのインサーションエフェクトなどを利用すればよい。
【００６８】
図６は、本発明の実施形態に係る楽曲演奏装置の動作の変形例を示したフロー図であって、図４のピッチによる判定と、図５の単音か否かによる判定とを組み合わせた実施例となっている。図６中、破線で囲まれた処理が図４のフロー図と比較して特に異なる処理となっている。Ｓ４０５にて、一致度が閾値より小さい、すなわち、外部楽器による演奏音が特定パートに即していないと判定された場合には、Ｓ４０７にて演奏音が単音か否かが判定される。ここで、単音演奏であると判定された場合には、Ｓ４０８にてリード加工処理が実行される。また、Ｓ４０７で単音演奏でないと判定された場合には、加工処理は実行されることなく、演奏音はスルー状態で出力される。
【００６９】
このように本実施形態では、ピッチによる判定に基づき外部楽器による演奏音が特定パートに即しているか否かを精度よく判定することができるとともに、特定パートに即していない場合には、さらに演奏音が単音か否かを判定し、単音演奏と判定された場合には単音演奏に適した加工処理（リード加工処理）を実行することで、単音演奏に即したエフェクト付与、そして、音量制御を行うことが可能となる。
なお、本発明はこれらの実施形態のみに限られるものではなく、それぞれの実施形態の構成を適宜組み合わせて構成した実施形態も本発明の範疇となるものである。
【符号の説明】
【００７０】
３００…コマンダ（楽曲演奏装置）、３０１…通信部、３０２…ＣＰＵ、３０３…表示制御部、３０４…ハードディスク、３０５…ＲＯＭ、３０６…ＲＡＭ、３０７…入力部、３０８…音源部、３０９…加工部、３１０…ＡＤ変換部、３１１…ミキシング部、３１２…ＤＡ変換部、４０１…ミキシングアンプ、４０２…スピーカー、４０３…マイクロホン、４０４…ディスプレイ装置、４０５…エレキギター（外部楽器）
【特許請求の範囲】
【請求項１】
複数のパートの演奏情報で構成された楽曲データに基づいて演奏を行う楽曲演奏装置であって、
音階を指定する音階情報と、加工情報を含む前記演奏情報に基づいて演奏を行う演奏部と、
通常演奏、外部楽器演奏の指定を可能とする入力部と、
外部楽器からの演奏音を入力し、加工情報に基づいて加工処理して出力する加工部と、
通常演奏が指定された場合には、前記楽曲データに含まれる演奏情報に基づいて演奏部に演奏させ、
外部楽器演奏が指定された場合には、前記楽曲データに含まれる特定パート以外の演奏情報に基づいて前記演奏部に演奏させるとともに、当該特定パートの加工情報に基づいて前記外部楽器からの演奏音を加工処理させる制御部と、を備えることを特徴とする
楽曲演奏装置。
【請求項２】
外部楽器演奏が指定された場合、前記外部楽器からの演奏音と特定パートの音階情報とを比較し、合致していないと判定したときには、当該特定パートの加工情報に基づく加工処理を中止することを特徴とする
請求項１に記載の楽曲演奏装置。
【請求項３】
外部楽器演奏が指定された場合、前記外部楽器からの演奏音が単音演奏か和音演奏かを判定し、単音演奏であると判定したときには、当該特定パートの加工情報に基づく加工処理を中止することを特徴とする
請求項１または請求項２に記載の楽曲演奏装置。
【請求項４】
単音演奏であると判定したときには、当該特定パートの加工情報に代えて所定の加工情報に基づく加工処理を実行することを特徴とする
請求項３に記載の楽曲演奏装置。
【請求項５】
前記加工情報は、エフェクト付与、もしくは、音量制御を行うための情報であることを特徴とする
請求項１から請求項４の何れか１項に記載の楽曲演奏装置。
【請求項１】
複数のパートの演奏情報で構成された楽曲データに基づいて演奏を行う楽曲演奏装置であって、
音階を指定する音階情報と、加工情報を含む前記演奏情報に基づいて演奏を行う演奏部と、
通常演奏、外部楽器演奏の指定を可能とする入力部と、
外部楽器からの演奏音を入力し、加工情報に基づいて加工処理して出力する加工部と、
通常演奏が指定された場合には、前記楽曲データに含まれる演奏情報に基づいて演奏部に演奏させ、
外部楽器演奏が指定された場合には、前記楽曲データに含まれる特定パート以外の演奏情報に基づいて前記演奏部に演奏させるとともに、当該特定パートの加工情報に基づいて前記外部楽器からの演奏音を加工処理させる制御部と、を備えることを特徴とする
楽曲演奏装置。
【請求項２】
外部楽器演奏が指定された場合、前記外部楽器からの演奏音と特定パートの音階情報とを比較し、合致していないと判定したときには、当該特定パートの加工情報に基づく加工処理を中止することを特徴とする
請求項１に記載の楽曲演奏装置。
【請求項３】
外部楽器演奏が指定された場合、前記外部楽器からの演奏音が単音演奏か和音演奏かを判定し、単音演奏であると判定したときには、当該特定パートの加工情報に基づく加工処理を中止することを特徴とする
請求項１または請求項２に記載の楽曲演奏装置。
【請求項４】
単音演奏であると判定したときには、当該特定パートの加工情報に代えて所定の加工情報に基づく加工処理を実行することを特徴とする
請求項３に記載の楽曲演奏装置。
【請求項５】
前記加工情報は、エフェクト付与、もしくは、音量制御を行うための情報であることを特徴とする
請求項１から請求項４の何れか１項に記載の楽曲演奏装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１１−２３７６００（Ｐ２０１１−２３７６００Ａ）
【公開日】平成２３年１１月２４日（２０１１．１１．２４）
【国際特許分類】
【出願番号】特願２０１０−１０８９３４（Ｐ２０１０−１０８９３４）
【出願日】平成２２年５月１１日（２０１０．５．１１）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
【公開日】平成２３年１１月２４日（２０１１．１１．２４）
【国際特許分類】
【出願日】平成２２年５月１１日（２０１０．５．１１）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
[ Back to top ]