ハーモニー音生成装置及びプログラム
【課題】音楽的知識や効果種類に関する知識を有していなくても、ハーモニー音の種類に応じた適切な効果種類を設定することができるハーモニー音生成システムの提供。
【解決手段】このシステムでは、ハーモニー音のタイプThを設定すると、設定したタイプThに応じてハーモニー音又は音声に付与すべき効果の種類Eb,Ecが自動設定される(C)。設定されたタイプThと入力された音声信号SmのピッチPm(第1モード)或いは設定されたタイプThと供給された音高情報Pi(Ph)の音高(第2モード)に基づいて、ハーモニー音高Nhが決定され(G)、音声信号Smを利用してハーモニー音高Nhを有するハーモニー音信号Svが生成される(J)。そして、生成されたハーモニー音信号Sv又は音声信号Smに、設定された種類の効果Eb,Ecが付与される(L,M)。ハーモニー音信号は、音声信号Smを加工(ピッチ変換)して生成してもよい。
【解決手段】このシステムでは、ハーモニー音のタイプThを設定すると、設定したタイプThに応じてハーモニー音又は音声に付与すべき効果の種類Eb,Ecが自動設定される(C)。設定されたタイプThと入力された音声信号SmのピッチPm(第1モード)或いは設定されたタイプThと供給された音高情報Pi(Ph)の音高(第2モード)に基づいて、ハーモニー音高Nhが決定され(G)、音声信号Smを利用してハーモニー音高Nhを有するハーモニー音信号Svが生成される(J)。そして、生成されたハーモニー音信号Sv又は音声信号Smに、設定された種類の効果Eb,Ecが付与される(L,M)。ハーモニー音信号は、音声信号Smを加工(ピッチ変換)して生成してもよい。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、入力された音声信号を用いて所望のハーモニー音を発生させるハーモニー音生成システムに関する。
【背景技術】
【0002】
従来より、入力された音声信号からピッチを検出し、検出されたピッチに基づいてハーモニー音を生成する音楽信号処理装置は、例えば、特許文献1により知られている。
【特許文献1】特許第3329245号公報
【0003】
また、従来の装置では、入力された音声信号や、生成されたハーモニー音に対して効果(エフェクト)を付与することで、ハーモニー音に深みを与えたり、入力音声を引き立たせたり、或いは、入力音声とハーモニー音を融合させたりすることができる。さらに、入力音声信号と生成されたハーモニー音とのピッチ差に応じて効果の種類や程度を変更することで、適切な効果を付与するようにしている。
【0004】
ハーモニー音の種類を考慮して効果種類を設定するのが望ましいが、従来は、ハーモニーの種類はユーザが指定するものであって、どの種類のハーモニー音にはどの種類の効果を付与するのが好ましいのかは、音楽的知識や効果種類の知識などを有していないと適切な効果種類の設定は難しい。
【発明の開示】
【発明が解決しようとする課題】
【0005】
この発明は、このような事情に鑑み、特に、音楽的知識や効果種類に関する知識を有していなくても、ハーモニー音の種類に応じた適切な効果種類を設定することができるハーモニー音生成システムを提供することを目的とする。
【課題を解決するための手段】
【0006】
この発明の第1の特徴に従うと、音声信号(Sm)を入力する音声入力手段(14)と、ハーモニー音のタイプ(Th)を設定するハーモニータイプ設定手段(C)と、ハーモニータイプ設定手段により設定されたタイプ(Th)に応じて、自動的に、ハーモニー音或いは音声に付与すべき効果の種類(Ec;Eb,Ee)を設定する効果種類設定手段(C)と、音声入力手段により入力された音声信号(Sm)のピッチ(Pm)を検出するピッチ検出手段(E)と、ピッチ検出手段により検出されたピッチ(Pm)及びハーモニータイプ設定手段により設定されたタイプ(Th)に基づいて、ハーモニー音の音高(Nh)を決定するハーモニー音高決定手段(G)と、音声入力手段により入力された音声信号(Sm)を加工或いは利用して、ハーモニー音高決定手段により決定された音高(Nh)を有するハーモニー音信号(Sv,Sn)を生成するハーモニー音生成手段(H,J;N)と、ハーモニー音生成手段により生成されたハーモニー音信号(Sv,Sn)或いは音声入力手段により入力された音声信号(Sm)に、効果種類設定手段により設定された種類の効果(Ec;Eb,Ee)を付与する効果付与手段(M;L,P)とを具備するハーモニー音生成装置〔請求項1〕、並びに、音声信号(Sm)を入力する音声入力手段(14)を具備し、ハーモニー音生成装置として機能するコンピュータに、ハーモニー音のタイプ(Th)を設定するハーモニータイプ設定ステップ(C)と、ハーモニータイプ設定ステップで設定されたタイプ(Th)に応じて、自動的に、ハーモニー音或いは音声に付与すべき効果の種類(Ec;Eb,Ee)を設定する効果種類設定ステップ(C)と、音声入力手段により入力された音声信号のピッチ(Pm)を検出するピッチ検出ステップ(E)と、ピッチ検出ステップで検出されたピッチ(Pm)及びハーモニータイプ設定ステップで設定されたタイプ(Th)に基づいて、ハーモニー音の音高(Nh)を決定するハーモニー音高決定ステップ(G)と、音声入力手段により入力された音声信号(Sm)を加工或いは利用して、ハーモニー音高決定ステップで決定された音高(Nh)を有するハーモニー音信号(Sv,Sn)を生成するハーモニー音生成ステップ(H,J;N)と、ハーモニー音生成ステップで生成されたハーモニー音信号(Sv,Sn)或いは音声入力手段により入力された音声信号(Sm)に、効果種類設定ステップで設定された種類の効果(Ec;Eb,Ee)を付与する効果付与ステップ(M;L,P)とから成る手順を実行させるハーモニー音生成プログラム〔請求項3〕が提供される。なお、括弧書きは、理解の便のために付記した実施例の参照記号等を表わし、以下においても同様である。
【0007】
また、この発明の第2の特徴に従うと、音声信号(Sm)を入力する音声入力手段(14)と、ハーモニー音のタイプ(Th)を設定するハーモニータイプ設定手段(C)と、ハーモニータイプ設定手段により設定されたタイプ(Th)に応じて、自動的に、ハーモニー音或いは音声に付与すべき効果の種類(Ec;Eb,Ee)を設定する効果種類設定手段(C)と、音高情報(Pi,Ph)を供給する音高情報供給手段(A)と、音高情報供給手段により供給された音高情報の音高(Pi,Ph)及びハーモニータイプ設定手段により設定されたタイプ(Th)に基づいて、ハーモニー音の音高(Nh)を決定するハーモニー音高決定手段(G)と、音声入力手段により入力された音声信号(Sm)を加工或いは利用して、ハーモニー音高決定手段により決定された音高(Nh)を有するハーモニー音信号(Sv,Sn)を生成するハーモニー音生成手段(H,J;N)と、ハーモニー音生成手段により生成されたハーモニー音信号(Sv,Sn)或いは音声入力手段により入力された音声信号(Sm)に、効果種類設定手段により設定された種類の効果(Ec;Eb,Ee)を付与する効果付与手段(M;L,P)とを具備するハーモニー音生成装置〔請求項2〕、並びに、音声信号(Sm)を入力する音声入力手段(14)を具備し、ハーモニー音生成装置として機能するコンピュータに、ハーモニー音のタイプ(Th)を設定するハーモニータイプ設定ステップ(C)と、ハーモニータイプ設定ステップで設定されたタイプ(Th)に応じて、自動的に、ハーモニー音或いは音声に付与すべき効果の種類(Ec;Eb,Ee)を設定する効果種類設定ステップ(C)と、音高情報(Pi,Ph)を供給する音高情報供給ステップと、音高情報供給ステップで供給された音高情報の音高(Pi,Ph)及びハーモニータイプ設定ステップで設定されたタイプ(Th)に基づいて、ハーモニー音の音高(Nh)を決定するハーモニー音高決定ステップ(G)と、音声入力手段により入力された音声信号(Sm)を加工或いは利用して、ハーモニー音高決定ステップで決定された音高(Nh)を有するハーモニー音信号(Sv,Sn)を生成するハーモニー音生成ステップ(H,J;N)と、ハーモニー音生成ステップで生成されたハーモニー音信号(Sv,Sn)或いは音声入力手段により入力された音声信号(Sm)に、効果種類設定ステップで設定された種類の効果(Ec;Eb,Ee)を付与する効果付与ステップ(M;L,P)とから成る手順を実行させるハーモニー音生成プログラム〔請求項4〕が提供される。
【発明の効果】
【0008】
この発明の第1の特徴(請求項1,3)によると、入力された音声信号(Sm)のピッチ(Pm)に基づいて決定された音高(Nh)のハーモニー音(Sv,Sn)を生成し(H,J;N)、入力された音声信号(Sm)或いは生成されたハーモニー音(Sv,Sn)に効果を付与する(M;L,P)ハーモニー音生成システムにおいて、ハーモニータイプの設定に応じて音声信号(Sm)或いはハーモニー音(Sv,Sn)に付与される効果の種類(Ec,Eb)を自動設定する(C)ように構成しているので、音楽的知識や効果種類に関する知識を有していなくても、音声の音高に応答して生成されるハーモニー音や音声に対して、ハーモニー音の種類に応じた適切な効果種類を設定することができる。
【0009】
この発明の第2の特徴(請求項2,4)によると、供給された演奏情報の音高(Pi,Ph)に基づいて決定された音高(Nh)のハーモニー音(Sv,Sn)を生成し(H,J;N)、入力された音声信号(Sm)或いは生成されたハーモニー音(Sv,Sn)に効果を付与する(M;L,P)ハーモニー音生成システムにおいて、ハーモニータイプの設定に応じて音声信号(Sm)或いはハーモニー音(Sv,Sn)に付与される効果の種類(Ec,Eb)を自動設定する(C)ように構成しているので、音楽的知識や効果種類に関する知識を有していなくても、演奏音の音高に応答して生成されるハーモニー音や音声に対して、ハーモニー音の種類に応じた適切な効果種類を設定することができる。
【発明を実施するための最良の形態】
【0010】
〔システムの概要〕
この発明の一実施例によるハーモニー音生成システムの機能が組み込まれる電子音楽装置は、ハーモニー音生成処理を含む音楽情報処理機能を有する一種のコンピュータであり、電子楽器などの音楽専用機器や、所定の音楽情報処理機能を有するパーソナルコンピュータ等の汎用の情報処理装置が用いられる。図1は、この発明の一実施例によるハーモニー音生成システムが構築される電子音楽装置のハードウエア構成ブロック図を示す。
【0011】
この電子音楽装置は、中央処理装置(CPU)1、ランダムアクセスメモリ(RAM)2、読出専用メモリ(ROM)3、記憶装置4、演奏操作検出回路5、設定操作検出回路6、A/D変換回路7、表示回路8、音源・効果回路9、通信インターフェース(I/F)10などを備え、これらの要素1〜10はバス11を介して互いに接続される。
【0012】
CPU1は、RAM2及ROM3と共にデータ処理部を構成し、ハーモニー音生成プログラムを含む所定の制御プログラムに従い、タイマによるクロックを利用してハーモニー音生成処理を含む種々の音楽情報処理を実行する。RAM2は、これらの処理に際して必要な各種データを一時記憶するためのワーク領域として用いられる。また、ROM3には、これらの処理を実行するために、ハーモニー音生成プログラムを含む各種制御プログラムやプリセットされたエフェクト(効果)テーブル、演奏データ等が予め記憶される。
【0013】
記憶装置4は、HD(ハードディスク)、FD(フレキシブルディスク)、CD(コンパクトディスク)、DVD(デジタル多目的ディスク)、フラッシュメモリなどの半導体メモリなどの記憶媒体と、その駆動装置を含み、任意の制御プログラムやテーブル、演奏データ等を任意の記憶媒体に記憶することができる。また、記憶媒体は、着脱可能であってもよいし、電子音楽装置に内蔵されていてもよい。
【0014】
演奏操作検出回路5は、鍵盤などの演奏操作子12と共に演奏操作部を構成し、演奏操作子12の演奏操作を検出して検出内容に対応する演奏操作情報をデータ処理部(1〜3)に導入する。データ処理部は、この演奏操作情報を処理して得られる実演奏データを音源・効果回路9に送ったり、自動演奏データとして記憶装置4に記憶することができる。設定操作検出回路6は、スイッチやマウス等の設定操作子(パネル操作子)13と共に設定操作部を構成し、設定操作子13の操作内容を検出して検出内容に対応する設定情報をデータ処理部に導入する。例えば、設定操作子13には、第1及び第2モードなどを指定するモード指定スイッチ、音域指定用操作子、ハーモニータイプ指定用操作子、音色指定用操作子、効果選択用操作子などが含まれる。
【0015】
また、A/D変換回路7は、マイクロフォン14と共に音声入力部を構成し、マイクロフォン14から入力される音声信号(マイク音)をA/D変換してデータ処理部に導入する。表示回路8は、演奏や設定に必要な各種画面を表示するLCD等のディスプレイ15や、インジケータ/ランプを備え、これらの表示・点灯内容をデータ処理部からの指令に従って制御し、演奏操作や設定操作、マイク音入力などに関する表示援助を行う。
【0016】
音源・効果回路9は、音源やDSPを有し、演奏操作部(12−5)の演奏操作情報から得られる実演奏データやROM3又は記憶装置4から得られる自動演奏データに基づいて楽音信号を生成すると共にその楽音信号(演奏音信号)に効果を付与したり、A/D変換回路7からの音声信号に効果を付与したり、各種ハーモニー音生成用パラメータ等に基づいて楽音信号や音声信号を制御してハーモニー音信号を生成すると共にそのハーモニー音信号に効果を付与することができる。サウンドシステム16は、D/A変換部やアンプ、スピーカ等を備え、音源・効果回路8から出力される楽音信号や音声信号、ハーモニー音信号に基づく楽音(演奏音)や音声、ハーモニー音を発生する。
【0017】
通信I/F10は、MIDI等の音楽専用有線I/F、USBやIEEE1394等の汎用近距離有線I/F、Ethernet(登録商標)等の汎用ネットワークI/F、無線LanやBluetooth(登録商標)等の汎用近距離無線I/Fなどの1又は複数を含み、他の音楽機器との間でMIDI演奏データを授受したり、外部のサーバコンピュータ等から制御プログラムやデータ等を受信し記憶装置4に保存することができる。
【0018】
なお、この電子音楽装置をPCで構成する場合は、演奏操作子12は外付けされる。また、サーバコンピュータは、図1と同様のハードウエア構成を有するが、演奏操作子や演奏操作検出回路、音源・効果回路などはなくてもよい。
【0019】
〔ボコーダを用いるハーモニー音生成システム〕
この発明の一実施例によるハーモニー音生成システムにおいては、ボコーダを用い入力音声を利用して楽音信号を加工することにより、入力音声のピッチ或いは演奏情報の音高に基づいて決定される音高のハーモニー音を生成する際に、入力音声のピッチ或いは演奏情報の音高を音域調整して、ユーザが意図しない音域でのハーモニー音を発生させないようにしたり、ハーモニータイプの設定に応じて自動的に音声やハーモニー音に適切な効果をプリセットすることができる。
【0020】
図2は、この発明の一実施例によるボコーダを用いたハーモニー音生成システムの機能ブロック図を示す。このハーモニー音生成システムでは、音声入力部(マイク音入力部)14−7、音高情報供給部A、和音情報供給部B、ハーモニータイプ設定部C、音域設定部D、ピッチ検出部E1及びピッチ修正部E2から成るピッチ調整部E、音高調整部或いは音高修正部F、ハーモニー音決定部G、音源H、特徴抽出部J1及びフォルマントフィルタ部J2から成るボコーダ部J、演奏音効果付与部K、ハーモニー音効果付与部L、音声効果付与部Mなどによりハーモニー音生成システムが構成され、ピッチ調整部Eは第1モード(ピッチ検出型モード)でのみ動作し、音高調整部Fは第2モード(音高指定型モード)でのみ動作する。また、機能部A〜Gはデータ処理部1〜3の機能に対応し、機能部H〜Mは音源・効果回路9の機能に対応している。
【0021】
図3は、この発明の一実例によるハーモニー音生成システムにおいてボコーダ部を構成するボコーダ( Vocoder)の機能を説明するための図である。ボコーダの原理は、人が声を出すしくみに関係がある。人は声帯で発生する音を口や鼻で共振させて声を出しているが、ボコーダの共振部は、周波数特性を持つ一種のフィルタとして働き、マイク入力から抽出した特徴を用いて電子楽器の音源から入力された楽器音を加工し多数のフォルマント(Formant)を発生させる。つまり、ボコーダJは、図3(1)に示すように、マイクロフォン14からA/D変換器を介して入力された音声(マイク音)信号Smからフィルタに対する音声の特徴を抽出し(J1)、音源Hからの演奏音(楽器音)信号Siを多数のバンドパスフィルタ(BPF)に通すことによって音声のフォルマントを再現するボコーダ音信号(所謂「ロボットボイス」)Svを作り出す。例えば、マイクを使ってしゃべりながら鍵盤を弾くと楽器音をロボットボイスのように発音させることができる。
【0022】
図3(2)に示す構成例に従ってより詳細に説明すると、音声信号Smに対して所定周波数帯域毎に設けられた複数(n)の共振部(Band1〜n)は、それぞれ、特徴抽出用のフィルタ(BPFm1〜BPFmn)及びレベル検出器、フォルマント再現用のフィルタ(BPFi1〜in)、音量制御器及び出力増幅器(G1〜Gn)などにより構成される。マイク入力の音声信号Smは、ノイズゲートでノイズ成分が除去された後、各共振部(Band1〜n)において、特徴抽出用フィルタ(BPFm1〜mn)により各帯域の周波数成分が検出され、レベル検出器により各周波数成分のレベルが検出される。
【0023】
音源Hからの演奏音信号Siは、ボコーダ内で発生させたノイズが加算された後、各共振部(Band1〜n)のフォルマント再現用フィルタ(BPFi1〜BPFin)を通じて各帯域の周波数成分が抽出され音量制御器に導入される(なお、BPFm1〜mnとBPFi1〜inのカットオフ周波数はシフト量又はオフセット量の設定で異ならせることができ必ずしも一致しない)。各音量制御器では、演奏音信号Siの各周波数成分の音量が音声信号Smの各周波数成分レベルに応じて制御され、各出力増幅器(G1〜Gn)を通じて各共振部(Band1〜n)から出力される。
【0024】
そして、各共振部(Band1〜n)からの出力信号を加算した信号に、音声信号Smのハイパスフィルタ(HPF)通過信号を加算し(Wet)、さらに、演奏音信号Si(Dry)を加算することにより、ボコーダ音信号Svが得られる。
【0025】
さて、図2の機能ブロック図の説明に戻ると、音高情報供給部Aは、演奏操作部12−5からの実演奏情報を処理するデータ処理部1〜3の実演奏処理機能部分(実演奏装置)や、ROM3又は記憶装置4からの演奏データを処理するデータ処理部1〜3の自動演奏処理機能部分(自動演奏装置)に対応し、演奏操作部12−5の実演奏情報から得られる実演奏データや、記憶装置4から読み出した自動演奏データに従って、順次、1乃至複数の演奏情報Npを音源Hに供給すると共に和音情報供給部Bに対して必要な演奏情報を供給し、第2モードでは更に音高調整部Fにも必要な音高情報(例えば、メロディ演奏やハーモニー演奏による音高情報Pi,Ph)を供給する。なお、自動演奏の際に利用される自動演奏データに和音進行データが含まれている場合は、この和音進行データ自体を和音情報供給部Bに供給するようにしてもよい。
【0026】
和音情報供給部Bは、音高情報供給部Aから供給された音高情報を元に和音(コード)を検出することで和音を特定し、特定した和音を表わす和音情報(コード情報)Cdをハーモニー音決定部Gに供給する。なお、自動演奏データ中に和音進行データが含まれている場合は、音高情報供給部Aから供給された和音進行データを構成する和音情報Cdを順次ハーモニー音決定部Gに供給する。
【0027】
ハーモニータイプ設定部Cは、設定操作子13におけるハーモニータイプ指定用操作子の操作に基づいて、生成すべきハーモニー音のタイプ(ハーモニータイプ)を指定するタイプ指定情報Thをハーモニー音決定部Gに与える。このタイプThは、ハーモニータイプと呼ばれ、後述するように、大まかにボコーダタイプとコーダルタイプ(和音タイプ)とに分けられる。ハーモニータイプ設定部Cは、また、ハーモニータイプThの設定状態に対応して、ボコーダ音信号Sv及び音声信号Smに夫々付与される効果の種類Eb,Ecを自動的にプリセットすることができる。効果設定については、ユーザによる効果選択操作がない場合や「プリセット」の指定操作があった場合は、標準設定モードとなり、ハーモニータイプ設定部Cは、設定したハーモニータイプThに応じて自動設定された効果種類Eb,Ecを指定する効果指定情報を夫々ハーモニー音及び音声効果付与部L,Mに出力する。
【0028】
音声入力部(マイク音入力部)14−7では、マイクロフォン14から、歌唱、楽器音などの少なくともピッチを検出することができるアナログの音声信号(波形信号)が入力され、入力された音声信号はA/D変換回路7によりA/D変換されてこのハーモニー音生成システムで利用可能なディジタルの音声信号Smに変換される。
【0029】
音域設定部Dは、設定操作子13における音域指定用操作子の操作に基づいて、音声入力部14−7から入力される音声信号に想定される音域(ピッチ範囲)を設定し、例えば、ユーザは、音域設定操作により、自分が歌える音域を設定することができる。音域設定部Dは、また、設定された音域(設定音域)を表わす音域指定情報を、第1モードではピッチ調整部Eに出力し、第2モードでは音高調整部Fに出力する。
【0030】
ハーモニー音の決定に音声のピッチ情報が用いられる第1モードでは、ピッチ調整部Eが能動化され、ハーモニー音決定に用いられるピッチ情報が調整される。このため、ピッチ調整部Eにおいては、まず、ピッチ検出部E1で、音声入力部14−7から入力される音声信号Smのピッチを検出し、続くピッチ修正部E2では、検出された音声信号Smのピッチが、音域設定部Dからの音域指定情報により指定される設定音域に入っているか否かを判定し、判定結果に応じてピッチ情報を処理する。すなわち、ピッチ検出部E1で検出された音声信号Smのピッチが設定音域に入っている場合は、そのピッチ情報Pmをそのままハーモニー音決定部Gに出力し、設定音域に入っていない場合には、検出されたピッチをオクターブシフトして設定音域内に入るように修正して修正後のピッチ情報Pmをハーモニー音決定部Gに出力するか、或いは、ピッチ検出部E1でのピッチ検出が失敗したとみなして音声入力を無視する。ハーモニー音決定部Gでは、ピッチ調整部Eからのピッチ情報Pmが、ハーモニー音の音高(ピッチ)Nhを決定するための基準音を示す入力音情報として用いられる。
【0031】
一方、ハーモニー音の決定に演奏音の音高情報が用いられる第2モードでは、ピッチ調整部Eに代わって音高調整部Fが能動化され、ハーモニー音決定に用いられる演奏音の音高情報(例えば、メロディ演奏の音高情報Pi)が調整される。音高調整部Fは、音高情報供給部Aから供給された音高情報が示す演奏音の音高が音域設定部Dからの音域指定情報により指定される設定音域に入っているか否かを判定し、演奏音の音高が設定音域に入っている場合は、その音高情報Piをそのままハーモニー音決定部Gに出力し、設定音域に入っていない場合には、演奏音の音高をオクターブシフトして設定音域内に入るように修正して修正後の音高情報Piをハーモニー音決定部Gに出力する。ハーモニー音決定部Gでは、音高調整部Fからの音高情報Piが、ハーモニー音の音高Nhを決定するための基準音を示す入力音情報として用いられる。
【0032】
第2モードでは、音高情報供給部Aからの演奏音高情報(Pi)及び和音情報供給部Bからの和音情報Cdをハーモニー音決定部Gに供給するのに代えて、破線で示すように、ハーモニー演奏に基づく音高情報Phをハーモニー音決定部Gに供給してハーモニー演奏に基づきハーモニー音を決定することができる。この場合も、音高情報Piと同様に、ハーモニー演奏の音高を音高調整部Fで調整し、調整されたハーモニー演奏音高情報Phをハーモニー音決定部Gに供給する。
【0033】
ハーモニー音決定部Gは、ハーモニータイプ設定部Cからのタイプ指定情報Thで指定されるハーモニータイプに応じて、入力音情報(Pm,Pi)及び和音情報Cd、或いはハーモニー演奏音高情報Phに基づく1乃至複数のハーモニー音の音高(ピッチ)Nhを決定し、決定した音高Nhのハーモニー音情報を音源Hに供給する。
【0034】
音源Hは、ハーモニー音決定部Gから供給されたハーモニー音情報Nh及び音高情報供給部Aからの演奏音情報Npに基づいて楽音信号Si,Sjを生成する。生成された楽音信号のうち、ボコーダ部Jに供給すべき演奏パートの楽音信号Siは、ボコーダ部Jに供給される。なお、ハーモニータイプThが「ボコーダ」の場合、演奏操作子12の演奏操作に基づく実演奏データや自動演奏データにおける所定演奏パートの演奏音情報Npに対応する楽音信号Siがボコーダ部Jに供給される。例えば、ボコーダ効果を付与したいパートを上鍵盤(メロディパート)とすると、上鍵盤に設定された音色の楽音信号Siがボコーダ部Jに供給される。また、その他の演奏パートの楽音信号Sjは、演奏音効果付与部Kに供給され、演奏音効果付与部Kは、その他の演奏パートの楽音信号に当該パートに設定された効果情報に従って効果を付与し、効果が付与されたその他パートの楽音信号Saを演奏音信号としてサウンドシステム16に出力する。
【0035】
ボコーダ部Jでは、特徴抽出部J1によって、A/D変換回路7でアナログに変換された音声信号から、入力音声信号の特徴を抽出し、その特徴に基づいてフォルマントフィルタJ2の特性を制御する。音源Hからボコーダ部Jに供給された楽音信号SiがフォルマントフィルタJ2を通過することで、ロボットボイスのような独特の音質を有するボコーダ音信号Svに変換される。
【0036】
ボコーダ部Jを通過した楽音信号Svは、ハーモニー音効果付与部Lに供給され、所定の効果が付与されハーモニー音出力信号Sbとしてサウンドシステム16に出力される。効果付与部Lは、標準設定モードでは、ハーモニータイプ設定部Cから入力された効果指定情報Ebによる指定に従って効果を付与する。つまり、付与される効果のタイプはユーザが任意に選択できるが、「プリセット」を選択しておくことにより、ハーモニータイプThに応じて適切な効果種類Ebを設定することができるようになっている。
【0037】
マイクロフォンからの音声信号Smは、音声効果付与部Mに供給され、所定の効果が付与され音声出力信号Scとしてサウンドシステム16に出力される。音声効果付与部Mは、標準設定モードでは、ハーモニータイプ設定部Cからの効果指定情報Ecによる指定に従って音声信号Smに効果が付与されるが、音声効果付与部Mで付与される効果が任意に選択可能である点は、ハーモニー音効果付与部Lと同様である。なお、ハーモニータイプThに応じて効果種類が自動設定されるのは、ハーモニー音効果付与部L及び音声効果付与部Mの両方でもよいし、何れか一方でもよい。
【0038】
以上のように、このハーモニー音生成システムにおける音声ピッチ或いは演奏音高の調整に関する特徴によれば、ハーモニー音に対応する音域を設定しておき(D)、第1モードでは、入力された音声信号Smのピッチが設定音域に入る場合はそのピッチを有効とし、外れる場合は設定音域内に入るように音声ピッチを修正するか無視し(E)、第2モードでは、供給された演奏情報の音高が設定音域に入る場合はその音高を有効とし、外れる場合は設定音域内に入るように演奏音高を修正する(F)。次いで、有効とされた又は修正された音声信号SmのピッチPm或いは演奏情報の音高Pi,Phに基づいてハーモニー音の音高Nhを決定する(G)。そして、音声信号Smを利用して、ハーモニー音高Nhをもつ楽音信号Si(H)を加工し(ボコーダ)、ハーモニー音信号Sbを生成するか(J)、或いは、ハーモニー音高Nhをもつように音声信号Smを加工(ピッチ変換)してハーモニー音信号を生成する。この特徴により、ユーザが意図した音域におけるハーモニー音を生成することができる。
【0039】
また、このハーモニー音生成システムのハーモニータイプ設定に関する特徴によれば、ハーモニー音のタイプThを設定すると、設定したタイプThに応じて、ハーモニー音又は音声に付与すべき効果の種類Eb,Ecが自動設定される(C)。次いで、設定されたタイプThと入力された音声信号SmのピッチPmに基づいて(第1モード)、或いは、設定されたタイプThと供給された音高情報Pi,Phの音高に基づいて(第2モード)、ハーモニー音高Nhを決定し(G)、音声信号Smを利用してハーモニー音高Nhを有するハーモニー音信号Svを生成する(J)。そして、生成されたハーモニー音信号Sv又は音声信号Smに、設定された種類の効果Eb,Ecが付与される(L,M)。なお、ハーモニー音信号の生成については、ハーモニー音高Nhをもつように音声信号Smを加工(ピッチ変換)してハーモニー音信号を生成するようにしてもよい。この特徴により、音楽的知識や効果種類に関する知識を有していなくても、ハーモニー音の種類に応じた適切な効果種類を設定することができる。
【0040】
〔音域設定及び音域判定処理〕
音域設定部Dにおける音域設定には、例えば、次の(1)〜(4)のような方法を採用することができる:
(1)具体的な音高範囲(例えば、「C3〜C5」)を指定する。
(2)「男性」、「女性」、「大人」、「子供」などの性別や年代に関連した用語を指定する。この方法は、各性別や年代毎に発生可能な音声の音域がおおよそ決まっていることによるものである。
(3)「ソプラノ」、「アルト」、「テノール」、「バス」などの声域を指定する。
(4)実際にユーザが音声を発してそのピッチを検出し、検出された最高ピッチと最低ピッチとの間を設定音域とする。この場合、音域設定モードを設け、音域設定モードでピッチ検出部E1を動作し、ピッチ検出部E1で検出されたピッチの最高値と最低値を用いて音域を設定するように構成することができる。
【0041】
第1モードでは、ピッチ調整部Eにおいて、入力された音声のピッチが音域設定の範囲との関係に応じて調整され、第2モードでは、音高調整部Fにおいて、供給された演奏音の音高が音域設定との関係に応じて調整され、調整されたピッチ或いは音高がハーモニー音決定部Gへの入力音となる。図4は、ピッチ調整部及び音高調整部における音声ピッチ及び演奏音高の調整作用を説明するための図であり、図5は、ピッチ調整部又は音高調整部における音域判定処理を表わすフローチャートである。
【0042】
ピッチ調整部Eは、第1モードにおいて、図4(1)に示すようなピッチ調整作用を行う。ここで、A/D変換回路7から入力される音声信号Smのピッチが設定音域内のピッチであるとする。例えば、ユーザは、自分が歌える音域を設定音域に設定しておくことで、aのように、入力される音声信号Smのピッチが設定音域内となる。
【0043】
ピッチ調整部Eのピッチ検出部E1では、何らかの理由により入力音声信号Smのピッチが誤検出されて、ピッチ修正部E2により、bのように、設定音域から外れたピッチであると判定される場合がある。つまり、音声は元々ピッチ検出に使いよい音ではなく、ピッチ検出部E1は、システムの性能上、精度はよいが外乱(周囲音ノイズ)を拾い易いということから、音声ピッチを誤検出する場合が多い。この場合、ピッチ修正部E2により、cのように、ピッチ検出部E1で検出されたピッチをオクターブシフトして設定音域内に入るように修正するか、或いは、dのように、ピッチ検出結果を無効とする。そして、ハーモニー音決定部Gでは、このようにシフトされたピッチに基づいてハーモニーの音高を決める。また、無効としたときはハーモニー音無しとする。
【0044】
一方、音高調整部Fでは、第2モードにおいて、図4(2)に示すような音高調整作用が行われる。実演奏データに基づいて演奏を行う実演奏時において、演奏操作子12の操作により演奏される音高は、演奏操作子12の物理的な音域や、演奏時の左右手の関係などにより制限され、設定音域により指示される所望音域の音高とすることができないことがある。このように、演奏された音高が設定音域から外れた場合、音高調整部Fにより、この音高をオクターブシフトして設定音域内に入るように修正する。そして、ハーモニー音決定部Gでは、このようにシフトされた音高に基づいてハーモニーの音高を決める。
【0045】
以上のようなピッチ調整部Eのピッチ修正部E1におけるピッチの調整作用又は音高調整部(音高修正部)Fにおける音高の調整作用は、図5の音域判定処理フローにより実行される。すなわち、第1モードにおいて、ピッチ修正部E1は、ピッチ検出部E1からピッチ検出結果が与えられると、まず、ステップS1において、ピッチ検出部E1で検出された音声のピッチが設定音域外にあるか否かを判定し、設定音域外にあるときは(S1=YES)、ステップS2に進み、当該ピッチを設定音域内へと修正するか或いは無視する。そして、検出された音声ピッチが設定音域内にあると判定したとき(S1=NO)及びステップS2の処理の後は、次のピッチ検出結果を待機する状態にリターンする。
【0046】
また、第2モードにおいて、音高修正部Fは、音高情報供給部Aから演奏データの音高情報が与えられると、まず、ステップS1において、供給された音高情報が示す音高即ち演奏された音高が設定音域外にあるか否かを判定し、設定音域外にあるときは(S1=YES)ステップS2に進み、当該音高を設定音域内へと修正する。そして、演奏された音高が設定音域内にあると判定したとき(S1=NO)及びステップS2の処理の後は、次の音高情報の供給を待機する状態にリターンする。
【0047】
〔発音系列とパートの構成例〕
このシステムの発音系列は、図2に示すように、入力演奏音情報Npから楽音信号Sjを経て演奏音信号Saを出力する演奏音発音系列と、ハーモニー音情報Nhから楽音信号Siを経てハーモニー音信号Sbを出力するハーモニー音発音系列と、入力音声信号Smから音声信号Scを出力する音声発音系列から成るが、音源部Hの音源パート(楽音信号生成系列)から発音系列をみてみよう。図6は、この発明の一実施例による発音系列とパートの構成例を示し、演奏操作子12が、例えば、上鍵盤(UK)、下鍵盤(LK)及びペダル鍵盤(PK)を備えるシステムでは、図示のような発音系列で表わされる。
【0048】
ここで、ハーモニータイプ設定部Cで設定されるハーモニータイプThの機能について説明すると、ハーモニータイプThは、図7(1)及び図8(2)のように、ハーモニー音生成モードでない通常演奏モードを指示するTh=「スルー」の外に、「ボコーダタイプ」と「コーダルタイプ」があり、ボコーダタイプは、1つのタイプTh=「ボコーダ」から成り、入力音(Pm,Pi)に対応するパートの演奏音に直接ボコーダ効果を付与すべきことを指示する。また、コーダルタイプは、複数のタイプTh=「デュエット1」、「デュエット2」、…から成り、入力音(Pm,Pi)に対して和音的な種々の音にボコーダ効果を付与すべきことを指示する。なお、ボコーダ効果を付与したいパート或いはボコーダ効果が付与される音を決める際の基準としたいパートは、例えば、上鍵盤右鍵域(メロディ演奏音Np1)に対応するUKパート(メロディパート)に予め設定される。
【0049】
図6には示されていないが、Th=「スルー」の通常演奏モードでは、音高情報供給部Aは、各鍵盤(UK〜PK)の演奏に基づく演奏音情報Np=Np1〜Np3を音源部Hに供給し、音源部Hは、各鍵盤に対応するUKパート、LKパート及びPKパートに設定された所定音色の楽音信号生成系列で各演奏音情報に基づく楽音信号を生成する。
【0050】
上述のように上鍵盤のメロディ演奏音Np1に対応するUKパートがボコーダ効果付与パートに設定されている場合に、ハーモニータイプTh=「ボコーダ」即ちボコーダタイプが指定されると、図6(1)に示すようなパート構成となる。すなわち、第1モードでは、ハーモニー音決定部Gにおいて、ピッチ調整部Eで調整(検出及び修正)されたピッチ情報Pmが示す音高がボコーダ音の音高Nhに決定され、音源部Hは、UKパート(メロディパート)で、メロディ演奏音Np1の楽音生成パラメータ(音高以外の音長、強さ等)と決定された音高Nh=Pmに従って、このパートに対応する所定音色(例えば、オルガン音色)を持つ音高Nh=Pmの楽音信号Siを生成する。また、第2モードでは、音高調整部Eで調整(修正)されたメロディ演奏音Np1の音高情報Piが示す音高がボコーダ音の音高Nhに決定され、音源部Hは、UKパートで、メロディ演奏音Np1に対応する所定音色(例えば、オルガン音色)で音高Nh=Piの楽音信号Siを生成する。
【0051】
そして、ボコーダ部Jは、音声信号Smにより、UKパートの所定音色楽音信号Siを加工(楽音信号Siにボコーダ効果を付与)し、これにより得られたボコーダ音信号Svをハーモニー音効果付与部Lに送る。また、他のLK及びPKパートでは、通常演奏モードと同様に、夫々の演奏音情報Np2,Np3に対応して生成される楽音信号Sjが演奏音効果付与部Kに送られる。なお、Th=「ボコーダ」が指定された場合のボコーダ音Sbは、厳密には「ハーモニー音」とは呼べないかも知れないが、音声(音声出力Sc)や他の楽音(演奏音出力Sa)と共に発音される音(Sb)であるため、この明細書では「ハーモニー音」と呼ばれる。
【0052】
一方、ハーモニータイプThがコーダルタイプに指定されたときは、図6(2)に示すようなパート構成となる。すなわち、第1モードでは、ハーモニー音決定部Gにて、ピッチ調整部Eからのピッチ情報Pmが示す音高と和音情報Cdに基づきハーモニー音の音高Nhが決定され、第2モードにおいても、標準的には、第1モードと同様に、音高調整部Fから入力されるメロディ演奏音Np1の音高情報Piが示す音高と和音情報Cdに基づいてハーモニー音高Nhが決定される。この場合、コーダルタイプの各種類Th=「デュエット1」、「デュエット2」、…に応じて、ハーモニー音高Nhの付き方が異なる。なお、第2モードについてのみ、タイプTh=「ハーモニー1」、「ハーモニー2」〔図8(2)参照〕があり、これらのタイプが設定されている場合は(ハーモニー演奏モード)、ハーモニー演奏音情報Phによりハーモニー音高Nhが決定される。
【0053】
また、ハーモニータイプがコーダルタイプの場合、音源部Hは、ハーモニー音パートと呼ばれる専用パートで、基準としたいパートに設定されたメロディパートの演奏音Np1の楽音生成パラメータ(音高以外の音長、強さ等)と決定されたハーモニー音高Nh(=Pm,Pi)に従って、この専用パートに対応して予め設定された所定音色(例えば、バイオリン音色)を持つ音高Nhの楽音信号Siを生成する。なお、ハーモニー音パートの設定音色は、このシステムで1種類が固定的に設定されていてもよいし、ハーモニータイプに対応付けて設定されていてもよいし、ユーザによる音色指定用操作子の操作(音色設定操作)により予め任意に選択してもよい。この場合の音色は、ボコーダ部Jを通過した楽音信号Svがあたかも人の声に類似するような特性の楽音を表わしたものであることが望ましく、一例として、バイオリンやサックスのような持続音で且つ人の音声と近似した周波数特性を有した楽音が好ましい。
【0054】
そして、ハーモニー音パートでは、ボコーダ部Jは、音声信号Smにより設定音色の楽音信号Siを加工(楽音信号Siにボコーダ効果を付与)し、これにより得られるボコーダ音信号Svをハーモニー音効果付与部Lに送る。また、他のUK乃至PKパートでは、通常演奏モードと同様に、夫々の演奏音情報Np1〜Np3に対応して生成される楽音信号Sjが演奏音効果付与部Kに送られる。
【0055】
〔ハーモニー音の付け方〕
ハーモニー音決定部Gでは、ハーモニータイプ設定部Cで設定されたハーモニータイプThに従って演奏音にハーモニー音を付け、当該ハーモニー音の音高Thを表わすハーモニー音情報を生成する。図7は、この発明の一実施例によるハーモニー音の付け方の例を示す。図7(1)において、前述したように、ハーモニータイプTh=「スルー」は、ハーモニー音を生成しない通常演奏モードを指示し、Th=「ボコーダ」は、入力音Pm,Piの音高をハーモニー音Th1の音高にすべきことを指示する。
【0056】
「デュエット1」以下のハーモニータイプThは、前述したように「コーダルタイプ」と総称され、※印を付した「ハーモニー1」及び「ハーモニー2」〔図8(2)参照:第2モードでのみ動作可能〕を除いて、基準入力音Pm,Piと和音情報Cdに基づいてハーモニー音Th:Th1,Th2,…の音高にすべきことを指示する(記号“Nh”は、ハーモニー音又はその音高を代表的に表わす)。図7(1)中で、入力音の「上」は、入力音Pm,Piを、和音情報Cdが示す和音構成音の根音とした場合、入力音Pm,Piのすぐ上に位置する和音構成音の音高を表わし、入力音の「上上」は、同様の場合、入力音Pm,Piの上で2番目に位置する和音構成音の音高を表わし、入力音の「下」は、同様に、入力音Pm,Piのすぐ下に位置する和音構成音の音高を表わす。また、「oct」はオクターブを表わし、例えば、「1oct下」は、入力音Pm,Piの1オクターブ下に位置するすぐ下の和音構成音の音高を表わす。
【0057】
つまり、※印を除くコーダルタイプが指定された場合、ハーモニー音決定部Gでは、入力音の音高Pm,Piに対し、1乃至複数の上及び/又は下の和音構成音の音高Nh1,Nh2,…をハーモニー音の音高Nhに決定し、コーダルタイプの種類に応じて、構成音の付き方が異なる。例えば、図7(2)に示すように、和音情報Cdが、音名C,E,Gで構成され根音をCとする和音Cmajを示しており、基準入力音となる音声ピッチPm(第1モード)或いはメロディ演奏音高Pi(第2モード)が音高C3を示している場合に、ハーモニータイプTh=「デュエット1」が指定されると、根音となる音高C3の「上」の和音構成音の音高E3を第1ハーモニー音Nh1に決定する。また、この場合、Th=「トリオ2」が指定されると、根音C3の「上」の音高E3を第1ハーモニー音Nh1に、「下」の音高G3を第2ハーモニー音Nh2に決定する。
【0058】
〔効果種類の選択とハーモニータイプ〕
このシステムでは、ハーモニータイプの設定に伴って自動的に所定の効果種類を所定の効果付与部にプリセットしたり、ユーザによる効果選択操作により、ユーザが指定する効果付与部に所望の種類の効果を設定することができる。図8は、この発明の一実施例における効果種類の選択態様を説明するための図である。何れかのハーモニータイプがシステムに設定されているときに、ユーザが効果選択用操作子を操作して、図8(1)に示す効果種類の選択肢の中から所望の選択肢を指示することにより、任意の効果付与部L,Mに任意の効果種類を設定することができる。
【0059】
「プリセット」は、図8(2)に示すプリセットエフェクトテーブルを参照しその内容に従って効果種類Eb,Ecをハーモニー音及び音声効果付与部L,Mに設定すべきことを指示する選択肢であり、このシステムにデフォルトで設定されるが、ユーザの効果選択操作によって選択することもできる。つまり、「プリセット」が設定されているときにハーモニータイプ指定用操作子の操作によりハーモニータイプThが指定されると、図8(2)のプリセットエフェクトテーブルが参照され、ハーモニー音効果付与部L乃至音声効果付与部Mでボコーダハーモニー音信号Sv乃至音声信号Smに付与される効果の種類が自動的にプリセットされる。また、何れかのハーモニータイプが設定されているときにユーザ操作により「プリセット」を選択すると、このテーブルが参照されて所定の効果が所定の効果付与部L,Mに設定され、プリセット内容と同一の設定に戻すことができる。
【0060】
プリセットエフェクトテーブルにおいては、基本的な方針として、デュエットやトリオのようなポップス系のハーモニータイプ(「デュエット1」〜「クァルテット2」)の場合は「スルー」とし、大編成の合唱のハーモニータイプ(「クワイア1」、「クワイア2」)の場合にはコーラス効果(「コーラス1」)を付与し、同一声部を複数で歌うようなタイプ(「ユニゾン」)には「デチューン」を付与する。なお、テーブル中、ハーモニー内容の「Thru」はハーモニー音を設定しないことを表わし、エフェクト種類欄の「スルー」は効果を付与しないことを表わす。
【0061】
また、効果付与対象となる効果付与部L,Mを指定し「コーラス1」を選択した場合は、当該効果付与部L,Mは、第1のコーラス効果を付与するように設定する。同様に、効果付与部を指定し、「コーラス2」、「デチューン」、「ディストーション」、…を選択した場合には、別の第2のコーラス効果、デチューン、ディストーション(歪み効果)、…を設定する。
【0062】
図9は、この発明の一実施例によるハーモニー音生成システムにおけるハーモニー選択処理を表わすフローチャートである。このハーモニー選択処理の最初のステップT1では、ユーザによるハーモニータイプ指定操作によりハーモニータイプThを選択してハーモニー音決定部Cに設定する。次のステップT2では、現在選ばれている効果種類は、「プリセット」即ちプリセットエフェクトテーブルに従って選択されたものであるか否かを判定し、「プリセット」であれば(T2=YES)、ステップT3に進んで、選択されたハーモニータイプに対応付けられた効果種類を選択して効果付与部L,Mに設定し、この設定処理の後は、次のハーモニータイプ選択を待機する状態にリターンする。また、ステップT2で「プリセット」でないと判定したときは(T2=NO)、直ちに、次のハーモニータイプ選択を待機する状態にリターンする。
【0063】
図10は、この発明の一実施例によるハーモニー音生成システムにおける効果種類選択処理を表わすフローチャートである。効果種類選択処理の第1ステップU1では、ユーザによる効果選択操作により、効果付与部L,Mに設定する効果種類を選択する。次のステップU2では、選択された効果種類は「プリセット」即ちプリセットエフェクトテーブルに従ったものであるか否かを判定する。そして、選択された効果種類が「プリセット」であれば(U2=YES)、ステップU3で、現在のハーモニータイプに対応付けられた効果種類を効果付与部L,Mに設定し、選択された効果種類が「プリセット」でなければ(U2=NO)、ステップU4で、選択された効果種類を効果付与部L,Mに設定して、次の効果種類選択を待機する状態にリターンする。
【0064】
〔ボコーダを使用した音高応答ハーモニー音生成システムの機能〕
図2では、音声ピッチPmの検出に基づいてハーモニー音の音高を決定する「ピッチ検出型」の第1モードと演奏音高Piの指定に基づいてハーモニー音の音高を決定する「音高指定型」の第2モードを備えたシステムについて説明したが、第1モード専用の「ピッチ検出型」システム或いは第2モード専用の「音高指定型」システムを個別に構築するようにしてもよい。また、「音高指定型」システム即ち「ボコーダを用い演奏音高に応答してハーモニー音を生成するハーモニー音生成システム」の場合は、第1モード即ちピッチ検出型のように、マイクロフォン14から入力された音声信号Smのピッチ検出結果を必要とせず、その代わりに、音高情報供給部Aから供給される演奏音高Piをハーモニー音決定の際の基準とするので、ピッチ検出部E1及びピッチ修正部E2を省略することができ、前述のように、和音情報Cdによるハーモニーを音Npを決定するだけでなく、和音情報Cdによらずハーモニー演奏による音高Phでハーモニー音Npを決定して、ボコーダによる独特の音質を持つハーモニー音を生成することができる。
【0065】
図11は、この発明の一実施例による「ボコーダを用い音高に応答してハーモニー音を生成するハーモニー音生成システム」の機能を説明するためのブロック図である。図11のようにボコーダを使用する音高指定型ハーモニー音生成システムには、次のような特徴がある。例えば、メロディ演奏情報Np(=音高Pi)が第1演奏情報として入力され、これとは別に、和音情報Cdが入力されるか、或いは、ハーモニー演奏情報Phが第2演奏情報として入力される(A,B)。これに対して、ハーモニー音決定部Gは、コード供給モード〔図8(2)で※印以外のコーダルタイプが設定されている場合の動作モード〕では、第1演奏情報Npの音高Pi及び和音情報Cdの音高に基づいて、第1演奏情報Npに付与すべきハーモニー音の音高Nhを決定するか、或いは、ハーモニー演奏モード〔図8(2)で※印の「ハーモニー」タイプが設定されている場合の動作モード〕で、第2演奏情報Phの音高に基づいて同音高Nhを決定する。音源部Hは、第1演奏情報Npに基づく第1楽音信号Sjと決定されたハーモニー音高Nhに基づく第2楽音信号Siとを生成する。ボコーダ部Jは、入力された音声信号Smの周波数特性を検出し(J1)、検出された音声信号Smの周波数特性に応じて第2楽音信号Siの周波数特性を制御し、第1楽音信号Sjに対してハーモニーの付いたボコーダ音信号Svを生成する(J2)。そして、第1楽音信号Sj及びボコーダ音信号Svは、サウンドシステム16に出力される。この特徴により、右手でメロディを演奏し左手でコード又はハーモニーを弾くという演奏形態で、メロディ音Sjに対して適切なハーモニーの付いたボコーダ音Svを生成することができる。
【0066】
これを図6(2)の楽音生成系列のパート構成(第2モード)に従って説明すると、次のとおりである。例えば、コード供給モードのハーモニータイプ(※印以外のコーダルタイプ)を設定し、右側鍵域でのメロディ演奏に対して左側鍵域でコード指示操作を行うと、ハーモニー音決定部Gには、音高情報供給部Aから、メロディ演奏情報Np=Np1が示す音高情報Piが供給されると共に、和音情報供給部Bを介してコード指示操作に基づく和音情報Cdが供給されるので、ハーモニー音決定部Gは、メロディ音高Pi及び和音情報Cdの音高に基づいて、メロディ演奏情報Np=Np1に付与すべきハーモニー音の音高Nhを決定する。或いは、ハーモニー演奏モードのハーモニータイプ(※印のタイプ)を設定し、右側鍵域でのメロディ演奏に対して左側鍵域でハーモニー演奏を行うと、ハーモニー音決定部Gには、ハーモニー演奏情報が示す音高情報Phが音高情報供給部Aから供給されるので、ハーモニー音決定部Gは、ハーモニー演奏音高Phの音高に基づいて、メロディ演奏情報Npに付与すべきハーモニー音の音高Nhを決定する。
【0067】
そして、音源部Hは、コード供給モード、ハーモニー演奏モードの何れにおいても、ハーモニー音決定部Gからのメロディ演奏情報Npに基づく楽音信号SjをUKパート(メロディパート)から出力すると共に、ハーモニー音パート即ちボコーダをかける専用パートにて、音高Nhを持つ所定音色の楽音信号Siを生成し、ボコーダ部Jに出力する。
【0068】
従って、ボコーダを使用してハーモニー音を生成する際、ユーザが右手でメロディを演奏し左手でコード或いはハーモニーを弾くという演奏形態で適切なハーモニーでボコーダをかけることができる。また、重音奏は出来ないが右手で単旋律のメロディを弾きながら左手でコードを押すことはできる初心者ユーザでも、適切なハーモニーの付いた演奏にボコーダをかけることができる。
【0069】
ここで、図11のシステムにおけるハーモニー付けの態様を整理すると、図7(1)で説明したように、ハーモニータイプThを選ぶことで、
(1)Th=「ボコーダ」では、指定した鍵盤パートでの演奏(例えば、UKパートNp1)をそのままボコーダ音の生成に使用する、
(2)Th=コーダルタイプ〔「デュエット1」、「デュエット2」、…(「ハーモニー1」及び「ハーモニー2」を除く〕では、コードCdによってハーモニーを付ける、
(3)Th=「ハーモニー1」/「ハーモニー2」では、ハーモニーパートで演奏(Ph)した音程でハーモニーを付ける〔図8(2)※印の行を参照〕、
の何れかの使い方にするかが設定される。
【0070】
コードCdによってハーモニーを付けるコード供給モードの態様(2)では、図7(2)で説明したように、メロディを演奏するパートのトップノート(例えば、UKパートのNp1:Pi)に対して、コード構成音を適切な音程に変化させたハーモニー音Nh:Nh1,Nh2,…を作成し、作成したハーモニー音Nhの楽音信号Siに対してボコーダをかける。図7(2)の例では、ハーモニー音Nhが同数のハーモニーについて、コード構成音の展開の仕方〔オープンボイシング(音程が離れている)にする、クローズボイシング(音程が接近している)にする、等〕に応じて複数のタイプThを設けておき(例えば、トリオのハーモニーについては、3つのタイプTh=「トリオ1」〜「トリオ3」)、何れかのタイプThを指定することによりコード構成音の展開を所定の態様に設定することができる。なお、ユーザ操作によりディスプレイ15上にハーモニー展開の変更/編集画面を表示しこれを利用してコード構成音の展開の仕方を変更することができるようにしてもよく、ユーザにより変更された構成音の展開内容は、コード供給モードの新たなハーモニータイプThとして登録しておき、再度利用することができるようにしてもよい。
【0071】
また、ハーモニーパートの演奏(Ph)によってハーモニーを付けるハーモニー演奏モードの態様(3)については、図8(2)の右2欄から成るハーモニータイプ表中に※印を付けたハーモニータイプTh、即ち、コーダルタイプのうちハーモニー演奏演奏モードのハーモニータイプTh=「ハーモニー1」/「ハーモニー2」の「ハーモニーの内容」欄に示すように、ハーモニー音の展開の仕方として、
(H1)ハーモニーパート演奏(Ph)をそのままハーモニー演奏音Nhに使用する(Th=「ハーモニー1」)か、或いは、
(H2)ハーモニーパート演奏(Ph)の音高をシフトしてハーモニー演奏音Nhに使用する(例えば、Th=「ハーモニー2」)
ものとし、何れかのハーモニー演奏音情報Nhに基づく所定音色の楽音信号Siに対してボコーダをかける。図8(2)の例では、(H2)の音高シフトについて、ハーモニー音のメロディを演奏するパートのトップノート(UKパートのNp1=Pi)に対してオクターブ以内にシフトさせたハーモニー音を使用するものだけを示したが、種々の音高シフト態様を用意しておくことができる。
【0072】
図12は、この発明の一実施例におけるハーモニー演奏音の更なる展開例を示す。すなわち、図12に示すハーモニー演奏モードのハーモニータイプでは、Th=「ハーモニー1」は、図8(2)と同様に、ハーモニーノートPhをそのまま使用し、Th=「ハーモニー2」も、図8(2)と同様に、ハーモニーノートPhを、入力音(UKパートのメロディ演奏奏音Np1の音高)Piの1オクターブ以内の範囲に入るように、オクターブシフトすることを指示するが、さらに、ハーモニーノートを−1オクターブシフトする「ハーモニー3」と、ハーモニーノートを+1オクターブシフトする「ハーモニー4」を備えている。なお、ハーモニーパートの演奏でハーモニーを付けるハーモニー演奏音展開型についても、タイプコードCdでハーモニーを付ける場合と同様に、ハーモニー展開の変更/編集画面でハーモニー演奏音の展開の仕方を変更可能にしてもよく、ユーザにより変更されたハーモニー演奏音の展開内容は、新たなハーモニー演奏モードのハーモニータイプThとして登録しておき、再度利用することができるようにしてもよい。
【0073】
なお、図11のシステムにおいて、ボコーダをかける演奏情報については、
(A)上述のようにコード音又はハーモニー演奏音によるハーモニー音のみボコーダをかけるか、
(B)メロディ音自体にもボコーダをかけるか
を、ユーザがモード設定で選択することができるように構成してもよい。
【0074】
また、和音情報Cdを用いるコード供給モードの場合にボコーダをかける時間は、
(a)実際にコード指示操作がなされている(コード指定鍵が押されている)間のみハーモニーを付加するか、
(b)この操作を停止しても(コード指定鍵を離しても)解除操作或いは次のコード指示操作があるまで付加し続けるか
を、ユーザがモード設定で選択することができるように構成してもよい。
【0075】
〔音声のピッチ変換を用いるハーモニー音生成システム〕
この発明の一実施例によるハーモニー音生成システムにおいては、入力音声のピッチ変換を用いて入力音声を加工することにより、入力音声のピッチ或いは演奏情報の音高に基づいて決定される音高のハーモニー音を生成する際に、入力音声のピッチ或いは演奏情報の音高を音域調整して、ユーザが意図しない音域でのハーモニー音を発生させないようにしたり、ハーモニータイプの設定に応じて自動的に音声やハーモニー音に適切な効果をプリセットすることができる。
【0076】
図13は、この発明の一実施例による音声のピッチ変換を用いたハーモニー音生成システムの機能ブロック図を示す。このシステムでは、図2に示したボコーダ部Jに代えて、音声入力部14−7から入力された音声信号Smのピッチを変換するピッチ変換部Nを用い、ピッチ変換部Nにおいて、ハーモニー音決定部Gで決定されたハーモニー音の音高情報Nhに基づいて、音声信号Smのピッチを変換し、ピッチ変換された音声信号Snをハーモニー音とする点が、図2で説明したボコーダ使用のハーモニー音生成システム(以下、「第1システム」と呼ぶ)と異なるが、それ以外は、第1システムと同様である。
【0077】
すなわち、音源部Hは、音高情報供給部Aから供給される演奏音情報(演奏情報)Npに応じた楽音信号Skを生成し、演奏音効果付与部Kは、この楽音信号Skに所定の効果を付与する。また、音声効果付与部Mは、マイクロフォン14からA/D変換回路7を介して入力される音声信号Smに所定の効果を付与する。これに対して、ピッチ変換部Nは、ハーモニー音決定部Gで決定されたハーモニー音高Nhに応じて入力音声信号Smをピッチ変換して該音高Nhを持つハーモニー音Snに加工し、ハーモニー音効果付与部Pは、このハーモニー音Snに所定の効果を付与する。そして、各効果付与部K,M,Pで各効果が夫々付与された演奏音、音声及びハーモニー音信号Sa,Sc,Seは、サウンドシステム16に出力される。
【0078】
ここで、ハーモニー音効果付与部P及び音声効果付与部Mで付与される効果の設定態様は、第1システムと同様であり、例えば、標準設定モードでは、ハーモニータイプ設定部Cからの効果指定情報Ee,Ecに従ってハーモニータイプThに応じた効果が各信号Se,Scに付与される。また、ハーモニー音決定部Gにおけるハーモニー音高Nhの決定態様も第1システムと同様であるが、簡単に説明すると次のとおりである。
【0079】
第1モードでは、ピッチ調整部Eが動作し、図4(1)及び図5で説明したように、入力音声信号Smのピッチを検出し(E1)、検出されたピッチが、音域設定部Dから指定される設定音域にないときは、設定音域に入るように検出ピッチを修正し(E2)、入力音声信号Smの正しいピッチPmを入力音情報としてハーモニー音決定部Gに送る。ハーモニー音決定部Gは、図7で説明したように、ハーモニータイプ設定部Cからのタイプ指定情報Thで指定されるハーモニータイプに従って、音高情報供給部Aから和音情報供給部Bを介して入力される和音情報Cdとピッチ調整部Eからのピッチ情報Piとに基づいて、ハーモニー音の音高Nh:Nh1,Nh2,…を決定する〔但し、図7(1)や図8(2)のハーモニータイプTh=「ボコーダ」、「ハーモニー1」、「ハーモニー2」に対応するタイプ及びハーモニー音はない〕。
【0080】
一方、第2モードでは、音高調整部Fが動作し、図4(2)及び図5で説明したように、演奏音情報(演奏情報)Npのうちハーモニー音の基準となる演奏音情報(例えば、メロディ演奏情報)Np1の音高が音域設定部Dの設定音域にないときは、設定音域に入るように音高を修正し、当該演奏音情報の正しい音高Piをハーモニー音決定部Gに送る。或いは、ハーモニー演奏による演奏情報の音高が音域設定部Dの設定音域にないときは、設定音域に入るように音高を修正し、当該演奏音情報の正しい音高Phをハーモニー音決定部Gに送る。ハーモニー音決定部Gは、図7で説明したように、ハーモニータイプ設定部Cから指定されるハーモニータイプThに従い、和音情報供給部Bを介して入力される和音情報Cdと音高調整部Fからの音高情報Piとに基づいて、或いは、ハーモニータイプ設定部Cからの所定のハーモニータイプThに従い、音高調整部Fからの音高情報Phに基づいて、ハーモニー音の音高Nh:Nh1,Nh2,…を決定する。
【0081】
なお、図13では、音声ピッチPmの検出に基づいてハーモニー音の音高を決定する「ピッチ検出型」の第1モードと演奏音高Piの指定に基づいてハーモニー音の音高を決定する「音高指定型」の第2モードを備えたシステムについて説明したが、第1システムと同様に、第1モード専用の「ピッチ検出型」システム或いは第2モード専用の「音高指定型」システムを個別に構築することができる。
【0082】
〔種々の実施態様〕
以上、図面を参照しつつこの発明の好適な実施の一形態について説明したが、これは単なる一例で、この発明は、発明の精神を逸脱しない範囲で種々の変更が可能である。例えば、音域設定部(D)で設定した音域に応じて、ボコーダ部(J)におけるフォルマントフィルタの特性制御パラメータや、ピッチ変換部(N)におけるピッチ変換特性制御パラメータを変更するようにしてもよい。例えば、ハーモニータイプ(Th)によってボコーダ部(J)やピッチ変換部(N)のパラメータが初期設定されるが、この初期設定値を、音域設定部(D)で設定した音域に応じて修正するようにしてもよい。これにより、設定音域に合った適切な音質のハーモニー音(Sv,Sn)を生成することが可能となる。
【図面の簡単な説明】
【0083】
【図1】この発明の一実施例によるハーモニー音生成システムが構築される電子音楽装置のハードウエア構成ブロック図を示す。
【図2】この発明の一実施例によるボコーダを用いたハーモニー音生成システムの機能ブロック図を示す。
【図3】ボコーダの機能を説明するための図である。
【図4】この発明の一実施例による音声ピッチ及び演奏音高の調整作用を説明するための図である。
【図5】この発明の一実施例によるハーモニー音生成システムのピッチ調整部又は音高調整部における音域判定処理を表わすフローチャートである。
【図6】この発明の一実施例における発音系列とパートの構成例を示す。
【図7】この発明の一実施例におけるハーモニー音の付け方の例を示す。
【図8】この発明の一実施例における効果種類の選択態様を説明するための図である。
【図9】この発明の一実施例によるハーモニー音生成システムにおけるハーモニー選択処理を表わすフローチャートである。
【図10】この発明の一実施例によるハーモニー音生成システムにおける効果種類選択処理を表わすフローチャートである。
【図11】この発明の一実施例による「ボコーダを用い音高に応答してハーモニー音を生成するハーモニー音生成システム」の機能を説明するためのブロック図である。
【図12】この発明の一実施例におけるハーモニー演奏音の更なる展開例である。
【図13】この発明の一実施例によるピッチ変換を用いたハーモニー音生成システムの機能ブロック図を示す。
【符号の説明】
【0084】
Th 設定されたハーモニータイプを表わすタイプ指定情報又はそのタイプ、
Eb,Ee ハーモニー音信号Sv,Snに自動設定される効果指定情報又はその効果、
Ec 音声信号Smに自動設定される効果指定情報又はその効果、
Sm;Sc 音声入力信号及び音声出力信号、
Pm コード音展開の基準入力音に用いられる音声ピッチ情報又はそのピッチ、
Pi コード音展開の基準入力音に用いられる演奏音高情報又はその音高、
Cd;Ph 和音情報(又はその音高)及びハーモニー演奏情報(又はその音高)、
Np:Np1,Np2,… 演奏音情報、
Nh 生成すべきハーモニー音を表わすハーモニー音情報又はその音高、
Si;Sj ボコーダ音信号Svに変換される楽音信号及びその他の楽音信号、
Sa;Sb,Se 演奏音出力信号及びハーモニー音出力信号。
【技術分野】
【0001】
この発明は、入力された音声信号を用いて所望のハーモニー音を発生させるハーモニー音生成システムに関する。
【背景技術】
【0002】
従来より、入力された音声信号からピッチを検出し、検出されたピッチに基づいてハーモニー音を生成する音楽信号処理装置は、例えば、特許文献1により知られている。
【特許文献1】特許第3329245号公報
【0003】
また、従来の装置では、入力された音声信号や、生成されたハーモニー音に対して効果(エフェクト)を付与することで、ハーモニー音に深みを与えたり、入力音声を引き立たせたり、或いは、入力音声とハーモニー音を融合させたりすることができる。さらに、入力音声信号と生成されたハーモニー音とのピッチ差に応じて効果の種類や程度を変更することで、適切な効果を付与するようにしている。
【0004】
ハーモニー音の種類を考慮して効果種類を設定するのが望ましいが、従来は、ハーモニーの種類はユーザが指定するものであって、どの種類のハーモニー音にはどの種類の効果を付与するのが好ましいのかは、音楽的知識や効果種類の知識などを有していないと適切な効果種類の設定は難しい。
【発明の開示】
【発明が解決しようとする課題】
【0005】
この発明は、このような事情に鑑み、特に、音楽的知識や効果種類に関する知識を有していなくても、ハーモニー音の種類に応じた適切な効果種類を設定することができるハーモニー音生成システムを提供することを目的とする。
【課題を解決するための手段】
【0006】
この発明の第1の特徴に従うと、音声信号(Sm)を入力する音声入力手段(14)と、ハーモニー音のタイプ(Th)を設定するハーモニータイプ設定手段(C)と、ハーモニータイプ設定手段により設定されたタイプ(Th)に応じて、自動的に、ハーモニー音或いは音声に付与すべき効果の種類(Ec;Eb,Ee)を設定する効果種類設定手段(C)と、音声入力手段により入力された音声信号(Sm)のピッチ(Pm)を検出するピッチ検出手段(E)と、ピッチ検出手段により検出されたピッチ(Pm)及びハーモニータイプ設定手段により設定されたタイプ(Th)に基づいて、ハーモニー音の音高(Nh)を決定するハーモニー音高決定手段(G)と、音声入力手段により入力された音声信号(Sm)を加工或いは利用して、ハーモニー音高決定手段により決定された音高(Nh)を有するハーモニー音信号(Sv,Sn)を生成するハーモニー音生成手段(H,J;N)と、ハーモニー音生成手段により生成されたハーモニー音信号(Sv,Sn)或いは音声入力手段により入力された音声信号(Sm)に、効果種類設定手段により設定された種類の効果(Ec;Eb,Ee)を付与する効果付与手段(M;L,P)とを具備するハーモニー音生成装置〔請求項1〕、並びに、音声信号(Sm)を入力する音声入力手段(14)を具備し、ハーモニー音生成装置として機能するコンピュータに、ハーモニー音のタイプ(Th)を設定するハーモニータイプ設定ステップ(C)と、ハーモニータイプ設定ステップで設定されたタイプ(Th)に応じて、自動的に、ハーモニー音或いは音声に付与すべき効果の種類(Ec;Eb,Ee)を設定する効果種類設定ステップ(C)と、音声入力手段により入力された音声信号のピッチ(Pm)を検出するピッチ検出ステップ(E)と、ピッチ検出ステップで検出されたピッチ(Pm)及びハーモニータイプ設定ステップで設定されたタイプ(Th)に基づいて、ハーモニー音の音高(Nh)を決定するハーモニー音高決定ステップ(G)と、音声入力手段により入力された音声信号(Sm)を加工或いは利用して、ハーモニー音高決定ステップで決定された音高(Nh)を有するハーモニー音信号(Sv,Sn)を生成するハーモニー音生成ステップ(H,J;N)と、ハーモニー音生成ステップで生成されたハーモニー音信号(Sv,Sn)或いは音声入力手段により入力された音声信号(Sm)に、効果種類設定ステップで設定された種類の効果(Ec;Eb,Ee)を付与する効果付与ステップ(M;L,P)とから成る手順を実行させるハーモニー音生成プログラム〔請求項3〕が提供される。なお、括弧書きは、理解の便のために付記した実施例の参照記号等を表わし、以下においても同様である。
【0007】
また、この発明の第2の特徴に従うと、音声信号(Sm)を入力する音声入力手段(14)と、ハーモニー音のタイプ(Th)を設定するハーモニータイプ設定手段(C)と、ハーモニータイプ設定手段により設定されたタイプ(Th)に応じて、自動的に、ハーモニー音或いは音声に付与すべき効果の種類(Ec;Eb,Ee)を設定する効果種類設定手段(C)と、音高情報(Pi,Ph)を供給する音高情報供給手段(A)と、音高情報供給手段により供給された音高情報の音高(Pi,Ph)及びハーモニータイプ設定手段により設定されたタイプ(Th)に基づいて、ハーモニー音の音高(Nh)を決定するハーモニー音高決定手段(G)と、音声入力手段により入力された音声信号(Sm)を加工或いは利用して、ハーモニー音高決定手段により決定された音高(Nh)を有するハーモニー音信号(Sv,Sn)を生成するハーモニー音生成手段(H,J;N)と、ハーモニー音生成手段により生成されたハーモニー音信号(Sv,Sn)或いは音声入力手段により入力された音声信号(Sm)に、効果種類設定手段により設定された種類の効果(Ec;Eb,Ee)を付与する効果付与手段(M;L,P)とを具備するハーモニー音生成装置〔請求項2〕、並びに、音声信号(Sm)を入力する音声入力手段(14)を具備し、ハーモニー音生成装置として機能するコンピュータに、ハーモニー音のタイプ(Th)を設定するハーモニータイプ設定ステップ(C)と、ハーモニータイプ設定ステップで設定されたタイプ(Th)に応じて、自動的に、ハーモニー音或いは音声に付与すべき効果の種類(Ec;Eb,Ee)を設定する効果種類設定ステップ(C)と、音高情報(Pi,Ph)を供給する音高情報供給ステップと、音高情報供給ステップで供給された音高情報の音高(Pi,Ph)及びハーモニータイプ設定ステップで設定されたタイプ(Th)に基づいて、ハーモニー音の音高(Nh)を決定するハーモニー音高決定ステップ(G)と、音声入力手段により入力された音声信号(Sm)を加工或いは利用して、ハーモニー音高決定ステップで決定された音高(Nh)を有するハーモニー音信号(Sv,Sn)を生成するハーモニー音生成ステップ(H,J;N)と、ハーモニー音生成ステップで生成されたハーモニー音信号(Sv,Sn)或いは音声入力手段により入力された音声信号(Sm)に、効果種類設定ステップで設定された種類の効果(Ec;Eb,Ee)を付与する効果付与ステップ(M;L,P)とから成る手順を実行させるハーモニー音生成プログラム〔請求項4〕が提供される。
【発明の効果】
【0008】
この発明の第1の特徴(請求項1,3)によると、入力された音声信号(Sm)のピッチ(Pm)に基づいて決定された音高(Nh)のハーモニー音(Sv,Sn)を生成し(H,J;N)、入力された音声信号(Sm)或いは生成されたハーモニー音(Sv,Sn)に効果を付与する(M;L,P)ハーモニー音生成システムにおいて、ハーモニータイプの設定に応じて音声信号(Sm)或いはハーモニー音(Sv,Sn)に付与される効果の種類(Ec,Eb)を自動設定する(C)ように構成しているので、音楽的知識や効果種類に関する知識を有していなくても、音声の音高に応答して生成されるハーモニー音や音声に対して、ハーモニー音の種類に応じた適切な効果種類を設定することができる。
【0009】
この発明の第2の特徴(請求項2,4)によると、供給された演奏情報の音高(Pi,Ph)に基づいて決定された音高(Nh)のハーモニー音(Sv,Sn)を生成し(H,J;N)、入力された音声信号(Sm)或いは生成されたハーモニー音(Sv,Sn)に効果を付与する(M;L,P)ハーモニー音生成システムにおいて、ハーモニータイプの設定に応じて音声信号(Sm)或いはハーモニー音(Sv,Sn)に付与される効果の種類(Ec,Eb)を自動設定する(C)ように構成しているので、音楽的知識や効果種類に関する知識を有していなくても、演奏音の音高に応答して生成されるハーモニー音や音声に対して、ハーモニー音の種類に応じた適切な効果種類を設定することができる。
【発明を実施するための最良の形態】
【0010】
〔システムの概要〕
この発明の一実施例によるハーモニー音生成システムの機能が組み込まれる電子音楽装置は、ハーモニー音生成処理を含む音楽情報処理機能を有する一種のコンピュータであり、電子楽器などの音楽専用機器や、所定の音楽情報処理機能を有するパーソナルコンピュータ等の汎用の情報処理装置が用いられる。図1は、この発明の一実施例によるハーモニー音生成システムが構築される電子音楽装置のハードウエア構成ブロック図を示す。
【0011】
この電子音楽装置は、中央処理装置(CPU)1、ランダムアクセスメモリ(RAM)2、読出専用メモリ(ROM)3、記憶装置4、演奏操作検出回路5、設定操作検出回路6、A/D変換回路7、表示回路8、音源・効果回路9、通信インターフェース(I/F)10などを備え、これらの要素1〜10はバス11を介して互いに接続される。
【0012】
CPU1は、RAM2及ROM3と共にデータ処理部を構成し、ハーモニー音生成プログラムを含む所定の制御プログラムに従い、タイマによるクロックを利用してハーモニー音生成処理を含む種々の音楽情報処理を実行する。RAM2は、これらの処理に際して必要な各種データを一時記憶するためのワーク領域として用いられる。また、ROM3には、これらの処理を実行するために、ハーモニー音生成プログラムを含む各種制御プログラムやプリセットされたエフェクト(効果)テーブル、演奏データ等が予め記憶される。
【0013】
記憶装置4は、HD(ハードディスク)、FD(フレキシブルディスク)、CD(コンパクトディスク)、DVD(デジタル多目的ディスク)、フラッシュメモリなどの半導体メモリなどの記憶媒体と、その駆動装置を含み、任意の制御プログラムやテーブル、演奏データ等を任意の記憶媒体に記憶することができる。また、記憶媒体は、着脱可能であってもよいし、電子音楽装置に内蔵されていてもよい。
【0014】
演奏操作検出回路5は、鍵盤などの演奏操作子12と共に演奏操作部を構成し、演奏操作子12の演奏操作を検出して検出内容に対応する演奏操作情報をデータ処理部(1〜3)に導入する。データ処理部は、この演奏操作情報を処理して得られる実演奏データを音源・効果回路9に送ったり、自動演奏データとして記憶装置4に記憶することができる。設定操作検出回路6は、スイッチやマウス等の設定操作子(パネル操作子)13と共に設定操作部を構成し、設定操作子13の操作内容を検出して検出内容に対応する設定情報をデータ処理部に導入する。例えば、設定操作子13には、第1及び第2モードなどを指定するモード指定スイッチ、音域指定用操作子、ハーモニータイプ指定用操作子、音色指定用操作子、効果選択用操作子などが含まれる。
【0015】
また、A/D変換回路7は、マイクロフォン14と共に音声入力部を構成し、マイクロフォン14から入力される音声信号(マイク音)をA/D変換してデータ処理部に導入する。表示回路8は、演奏や設定に必要な各種画面を表示するLCD等のディスプレイ15や、インジケータ/ランプを備え、これらの表示・点灯内容をデータ処理部からの指令に従って制御し、演奏操作や設定操作、マイク音入力などに関する表示援助を行う。
【0016】
音源・効果回路9は、音源やDSPを有し、演奏操作部(12−5)の演奏操作情報から得られる実演奏データやROM3又は記憶装置4から得られる自動演奏データに基づいて楽音信号を生成すると共にその楽音信号(演奏音信号)に効果を付与したり、A/D変換回路7からの音声信号に効果を付与したり、各種ハーモニー音生成用パラメータ等に基づいて楽音信号や音声信号を制御してハーモニー音信号を生成すると共にそのハーモニー音信号に効果を付与することができる。サウンドシステム16は、D/A変換部やアンプ、スピーカ等を備え、音源・効果回路8から出力される楽音信号や音声信号、ハーモニー音信号に基づく楽音(演奏音)や音声、ハーモニー音を発生する。
【0017】
通信I/F10は、MIDI等の音楽専用有線I/F、USBやIEEE1394等の汎用近距離有線I/F、Ethernet(登録商標)等の汎用ネットワークI/F、無線LanやBluetooth(登録商標)等の汎用近距離無線I/Fなどの1又は複数を含み、他の音楽機器との間でMIDI演奏データを授受したり、外部のサーバコンピュータ等から制御プログラムやデータ等を受信し記憶装置4に保存することができる。
【0018】
なお、この電子音楽装置をPCで構成する場合は、演奏操作子12は外付けされる。また、サーバコンピュータは、図1と同様のハードウエア構成を有するが、演奏操作子や演奏操作検出回路、音源・効果回路などはなくてもよい。
【0019】
〔ボコーダを用いるハーモニー音生成システム〕
この発明の一実施例によるハーモニー音生成システムにおいては、ボコーダを用い入力音声を利用して楽音信号を加工することにより、入力音声のピッチ或いは演奏情報の音高に基づいて決定される音高のハーモニー音を生成する際に、入力音声のピッチ或いは演奏情報の音高を音域調整して、ユーザが意図しない音域でのハーモニー音を発生させないようにしたり、ハーモニータイプの設定に応じて自動的に音声やハーモニー音に適切な効果をプリセットすることができる。
【0020】
図2は、この発明の一実施例によるボコーダを用いたハーモニー音生成システムの機能ブロック図を示す。このハーモニー音生成システムでは、音声入力部(マイク音入力部)14−7、音高情報供給部A、和音情報供給部B、ハーモニータイプ設定部C、音域設定部D、ピッチ検出部E1及びピッチ修正部E2から成るピッチ調整部E、音高調整部或いは音高修正部F、ハーモニー音決定部G、音源H、特徴抽出部J1及びフォルマントフィルタ部J2から成るボコーダ部J、演奏音効果付与部K、ハーモニー音効果付与部L、音声効果付与部Mなどによりハーモニー音生成システムが構成され、ピッチ調整部Eは第1モード(ピッチ検出型モード)でのみ動作し、音高調整部Fは第2モード(音高指定型モード)でのみ動作する。また、機能部A〜Gはデータ処理部1〜3の機能に対応し、機能部H〜Mは音源・効果回路9の機能に対応している。
【0021】
図3は、この発明の一実例によるハーモニー音生成システムにおいてボコーダ部を構成するボコーダ( Vocoder)の機能を説明するための図である。ボコーダの原理は、人が声を出すしくみに関係がある。人は声帯で発生する音を口や鼻で共振させて声を出しているが、ボコーダの共振部は、周波数特性を持つ一種のフィルタとして働き、マイク入力から抽出した特徴を用いて電子楽器の音源から入力された楽器音を加工し多数のフォルマント(Formant)を発生させる。つまり、ボコーダJは、図3(1)に示すように、マイクロフォン14からA/D変換器を介して入力された音声(マイク音)信号Smからフィルタに対する音声の特徴を抽出し(J1)、音源Hからの演奏音(楽器音)信号Siを多数のバンドパスフィルタ(BPF)に通すことによって音声のフォルマントを再現するボコーダ音信号(所謂「ロボットボイス」)Svを作り出す。例えば、マイクを使ってしゃべりながら鍵盤を弾くと楽器音をロボットボイスのように発音させることができる。
【0022】
図3(2)に示す構成例に従ってより詳細に説明すると、音声信号Smに対して所定周波数帯域毎に設けられた複数(n)の共振部(Band1〜n)は、それぞれ、特徴抽出用のフィルタ(BPFm1〜BPFmn)及びレベル検出器、フォルマント再現用のフィルタ(BPFi1〜in)、音量制御器及び出力増幅器(G1〜Gn)などにより構成される。マイク入力の音声信号Smは、ノイズゲートでノイズ成分が除去された後、各共振部(Band1〜n)において、特徴抽出用フィルタ(BPFm1〜mn)により各帯域の周波数成分が検出され、レベル検出器により各周波数成分のレベルが検出される。
【0023】
音源Hからの演奏音信号Siは、ボコーダ内で発生させたノイズが加算された後、各共振部(Band1〜n)のフォルマント再現用フィルタ(BPFi1〜BPFin)を通じて各帯域の周波数成分が抽出され音量制御器に導入される(なお、BPFm1〜mnとBPFi1〜inのカットオフ周波数はシフト量又はオフセット量の設定で異ならせることができ必ずしも一致しない)。各音量制御器では、演奏音信号Siの各周波数成分の音量が音声信号Smの各周波数成分レベルに応じて制御され、各出力増幅器(G1〜Gn)を通じて各共振部(Band1〜n)から出力される。
【0024】
そして、各共振部(Band1〜n)からの出力信号を加算した信号に、音声信号Smのハイパスフィルタ(HPF)通過信号を加算し(Wet)、さらに、演奏音信号Si(Dry)を加算することにより、ボコーダ音信号Svが得られる。
【0025】
さて、図2の機能ブロック図の説明に戻ると、音高情報供給部Aは、演奏操作部12−5からの実演奏情報を処理するデータ処理部1〜3の実演奏処理機能部分(実演奏装置)や、ROM3又は記憶装置4からの演奏データを処理するデータ処理部1〜3の自動演奏処理機能部分(自動演奏装置)に対応し、演奏操作部12−5の実演奏情報から得られる実演奏データや、記憶装置4から読み出した自動演奏データに従って、順次、1乃至複数の演奏情報Npを音源Hに供給すると共に和音情報供給部Bに対して必要な演奏情報を供給し、第2モードでは更に音高調整部Fにも必要な音高情報(例えば、メロディ演奏やハーモニー演奏による音高情報Pi,Ph)を供給する。なお、自動演奏の際に利用される自動演奏データに和音進行データが含まれている場合は、この和音進行データ自体を和音情報供給部Bに供給するようにしてもよい。
【0026】
和音情報供給部Bは、音高情報供給部Aから供給された音高情報を元に和音(コード)を検出することで和音を特定し、特定した和音を表わす和音情報(コード情報)Cdをハーモニー音決定部Gに供給する。なお、自動演奏データ中に和音進行データが含まれている場合は、音高情報供給部Aから供給された和音進行データを構成する和音情報Cdを順次ハーモニー音決定部Gに供給する。
【0027】
ハーモニータイプ設定部Cは、設定操作子13におけるハーモニータイプ指定用操作子の操作に基づいて、生成すべきハーモニー音のタイプ(ハーモニータイプ)を指定するタイプ指定情報Thをハーモニー音決定部Gに与える。このタイプThは、ハーモニータイプと呼ばれ、後述するように、大まかにボコーダタイプとコーダルタイプ(和音タイプ)とに分けられる。ハーモニータイプ設定部Cは、また、ハーモニータイプThの設定状態に対応して、ボコーダ音信号Sv及び音声信号Smに夫々付与される効果の種類Eb,Ecを自動的にプリセットすることができる。効果設定については、ユーザによる効果選択操作がない場合や「プリセット」の指定操作があった場合は、標準設定モードとなり、ハーモニータイプ設定部Cは、設定したハーモニータイプThに応じて自動設定された効果種類Eb,Ecを指定する効果指定情報を夫々ハーモニー音及び音声効果付与部L,Mに出力する。
【0028】
音声入力部(マイク音入力部)14−7では、マイクロフォン14から、歌唱、楽器音などの少なくともピッチを検出することができるアナログの音声信号(波形信号)が入力され、入力された音声信号はA/D変換回路7によりA/D変換されてこのハーモニー音生成システムで利用可能なディジタルの音声信号Smに変換される。
【0029】
音域設定部Dは、設定操作子13における音域指定用操作子の操作に基づいて、音声入力部14−7から入力される音声信号に想定される音域(ピッチ範囲)を設定し、例えば、ユーザは、音域設定操作により、自分が歌える音域を設定することができる。音域設定部Dは、また、設定された音域(設定音域)を表わす音域指定情報を、第1モードではピッチ調整部Eに出力し、第2モードでは音高調整部Fに出力する。
【0030】
ハーモニー音の決定に音声のピッチ情報が用いられる第1モードでは、ピッチ調整部Eが能動化され、ハーモニー音決定に用いられるピッチ情報が調整される。このため、ピッチ調整部Eにおいては、まず、ピッチ検出部E1で、音声入力部14−7から入力される音声信号Smのピッチを検出し、続くピッチ修正部E2では、検出された音声信号Smのピッチが、音域設定部Dからの音域指定情報により指定される設定音域に入っているか否かを判定し、判定結果に応じてピッチ情報を処理する。すなわち、ピッチ検出部E1で検出された音声信号Smのピッチが設定音域に入っている場合は、そのピッチ情報Pmをそのままハーモニー音決定部Gに出力し、設定音域に入っていない場合には、検出されたピッチをオクターブシフトして設定音域内に入るように修正して修正後のピッチ情報Pmをハーモニー音決定部Gに出力するか、或いは、ピッチ検出部E1でのピッチ検出が失敗したとみなして音声入力を無視する。ハーモニー音決定部Gでは、ピッチ調整部Eからのピッチ情報Pmが、ハーモニー音の音高(ピッチ)Nhを決定するための基準音を示す入力音情報として用いられる。
【0031】
一方、ハーモニー音の決定に演奏音の音高情報が用いられる第2モードでは、ピッチ調整部Eに代わって音高調整部Fが能動化され、ハーモニー音決定に用いられる演奏音の音高情報(例えば、メロディ演奏の音高情報Pi)が調整される。音高調整部Fは、音高情報供給部Aから供給された音高情報が示す演奏音の音高が音域設定部Dからの音域指定情報により指定される設定音域に入っているか否かを判定し、演奏音の音高が設定音域に入っている場合は、その音高情報Piをそのままハーモニー音決定部Gに出力し、設定音域に入っていない場合には、演奏音の音高をオクターブシフトして設定音域内に入るように修正して修正後の音高情報Piをハーモニー音決定部Gに出力する。ハーモニー音決定部Gでは、音高調整部Fからの音高情報Piが、ハーモニー音の音高Nhを決定するための基準音を示す入力音情報として用いられる。
【0032】
第2モードでは、音高情報供給部Aからの演奏音高情報(Pi)及び和音情報供給部Bからの和音情報Cdをハーモニー音決定部Gに供給するのに代えて、破線で示すように、ハーモニー演奏に基づく音高情報Phをハーモニー音決定部Gに供給してハーモニー演奏に基づきハーモニー音を決定することができる。この場合も、音高情報Piと同様に、ハーモニー演奏の音高を音高調整部Fで調整し、調整されたハーモニー演奏音高情報Phをハーモニー音決定部Gに供給する。
【0033】
ハーモニー音決定部Gは、ハーモニータイプ設定部Cからのタイプ指定情報Thで指定されるハーモニータイプに応じて、入力音情報(Pm,Pi)及び和音情報Cd、或いはハーモニー演奏音高情報Phに基づく1乃至複数のハーモニー音の音高(ピッチ)Nhを決定し、決定した音高Nhのハーモニー音情報を音源Hに供給する。
【0034】
音源Hは、ハーモニー音決定部Gから供給されたハーモニー音情報Nh及び音高情報供給部Aからの演奏音情報Npに基づいて楽音信号Si,Sjを生成する。生成された楽音信号のうち、ボコーダ部Jに供給すべき演奏パートの楽音信号Siは、ボコーダ部Jに供給される。なお、ハーモニータイプThが「ボコーダ」の場合、演奏操作子12の演奏操作に基づく実演奏データや自動演奏データにおける所定演奏パートの演奏音情報Npに対応する楽音信号Siがボコーダ部Jに供給される。例えば、ボコーダ効果を付与したいパートを上鍵盤(メロディパート)とすると、上鍵盤に設定された音色の楽音信号Siがボコーダ部Jに供給される。また、その他の演奏パートの楽音信号Sjは、演奏音効果付与部Kに供給され、演奏音効果付与部Kは、その他の演奏パートの楽音信号に当該パートに設定された効果情報に従って効果を付与し、効果が付与されたその他パートの楽音信号Saを演奏音信号としてサウンドシステム16に出力する。
【0035】
ボコーダ部Jでは、特徴抽出部J1によって、A/D変換回路7でアナログに変換された音声信号から、入力音声信号の特徴を抽出し、その特徴に基づいてフォルマントフィルタJ2の特性を制御する。音源Hからボコーダ部Jに供給された楽音信号SiがフォルマントフィルタJ2を通過することで、ロボットボイスのような独特の音質を有するボコーダ音信号Svに変換される。
【0036】
ボコーダ部Jを通過した楽音信号Svは、ハーモニー音効果付与部Lに供給され、所定の効果が付与されハーモニー音出力信号Sbとしてサウンドシステム16に出力される。効果付与部Lは、標準設定モードでは、ハーモニータイプ設定部Cから入力された効果指定情報Ebによる指定に従って効果を付与する。つまり、付与される効果のタイプはユーザが任意に選択できるが、「プリセット」を選択しておくことにより、ハーモニータイプThに応じて適切な効果種類Ebを設定することができるようになっている。
【0037】
マイクロフォンからの音声信号Smは、音声効果付与部Mに供給され、所定の効果が付与され音声出力信号Scとしてサウンドシステム16に出力される。音声効果付与部Mは、標準設定モードでは、ハーモニータイプ設定部Cからの効果指定情報Ecによる指定に従って音声信号Smに効果が付与されるが、音声効果付与部Mで付与される効果が任意に選択可能である点は、ハーモニー音効果付与部Lと同様である。なお、ハーモニータイプThに応じて効果種類が自動設定されるのは、ハーモニー音効果付与部L及び音声効果付与部Mの両方でもよいし、何れか一方でもよい。
【0038】
以上のように、このハーモニー音生成システムにおける音声ピッチ或いは演奏音高の調整に関する特徴によれば、ハーモニー音に対応する音域を設定しておき(D)、第1モードでは、入力された音声信号Smのピッチが設定音域に入る場合はそのピッチを有効とし、外れる場合は設定音域内に入るように音声ピッチを修正するか無視し(E)、第2モードでは、供給された演奏情報の音高が設定音域に入る場合はその音高を有効とし、外れる場合は設定音域内に入るように演奏音高を修正する(F)。次いで、有効とされた又は修正された音声信号SmのピッチPm或いは演奏情報の音高Pi,Phに基づいてハーモニー音の音高Nhを決定する(G)。そして、音声信号Smを利用して、ハーモニー音高Nhをもつ楽音信号Si(H)を加工し(ボコーダ)、ハーモニー音信号Sbを生成するか(J)、或いは、ハーモニー音高Nhをもつように音声信号Smを加工(ピッチ変換)してハーモニー音信号を生成する。この特徴により、ユーザが意図した音域におけるハーモニー音を生成することができる。
【0039】
また、このハーモニー音生成システムのハーモニータイプ設定に関する特徴によれば、ハーモニー音のタイプThを設定すると、設定したタイプThに応じて、ハーモニー音又は音声に付与すべき効果の種類Eb,Ecが自動設定される(C)。次いで、設定されたタイプThと入力された音声信号SmのピッチPmに基づいて(第1モード)、或いは、設定されたタイプThと供給された音高情報Pi,Phの音高に基づいて(第2モード)、ハーモニー音高Nhを決定し(G)、音声信号Smを利用してハーモニー音高Nhを有するハーモニー音信号Svを生成する(J)。そして、生成されたハーモニー音信号Sv又は音声信号Smに、設定された種類の効果Eb,Ecが付与される(L,M)。なお、ハーモニー音信号の生成については、ハーモニー音高Nhをもつように音声信号Smを加工(ピッチ変換)してハーモニー音信号を生成するようにしてもよい。この特徴により、音楽的知識や効果種類に関する知識を有していなくても、ハーモニー音の種類に応じた適切な効果種類を設定することができる。
【0040】
〔音域設定及び音域判定処理〕
音域設定部Dにおける音域設定には、例えば、次の(1)〜(4)のような方法を採用することができる:
(1)具体的な音高範囲(例えば、「C3〜C5」)を指定する。
(2)「男性」、「女性」、「大人」、「子供」などの性別や年代に関連した用語を指定する。この方法は、各性別や年代毎に発生可能な音声の音域がおおよそ決まっていることによるものである。
(3)「ソプラノ」、「アルト」、「テノール」、「バス」などの声域を指定する。
(4)実際にユーザが音声を発してそのピッチを検出し、検出された最高ピッチと最低ピッチとの間を設定音域とする。この場合、音域設定モードを設け、音域設定モードでピッチ検出部E1を動作し、ピッチ検出部E1で検出されたピッチの最高値と最低値を用いて音域を設定するように構成することができる。
【0041】
第1モードでは、ピッチ調整部Eにおいて、入力された音声のピッチが音域設定の範囲との関係に応じて調整され、第2モードでは、音高調整部Fにおいて、供給された演奏音の音高が音域設定との関係に応じて調整され、調整されたピッチ或いは音高がハーモニー音決定部Gへの入力音となる。図4は、ピッチ調整部及び音高調整部における音声ピッチ及び演奏音高の調整作用を説明するための図であり、図5は、ピッチ調整部又は音高調整部における音域判定処理を表わすフローチャートである。
【0042】
ピッチ調整部Eは、第1モードにおいて、図4(1)に示すようなピッチ調整作用を行う。ここで、A/D変換回路7から入力される音声信号Smのピッチが設定音域内のピッチであるとする。例えば、ユーザは、自分が歌える音域を設定音域に設定しておくことで、aのように、入力される音声信号Smのピッチが設定音域内となる。
【0043】
ピッチ調整部Eのピッチ検出部E1では、何らかの理由により入力音声信号Smのピッチが誤検出されて、ピッチ修正部E2により、bのように、設定音域から外れたピッチであると判定される場合がある。つまり、音声は元々ピッチ検出に使いよい音ではなく、ピッチ検出部E1は、システムの性能上、精度はよいが外乱(周囲音ノイズ)を拾い易いということから、音声ピッチを誤検出する場合が多い。この場合、ピッチ修正部E2により、cのように、ピッチ検出部E1で検出されたピッチをオクターブシフトして設定音域内に入るように修正するか、或いは、dのように、ピッチ検出結果を無効とする。そして、ハーモニー音決定部Gでは、このようにシフトされたピッチに基づいてハーモニーの音高を決める。また、無効としたときはハーモニー音無しとする。
【0044】
一方、音高調整部Fでは、第2モードにおいて、図4(2)に示すような音高調整作用が行われる。実演奏データに基づいて演奏を行う実演奏時において、演奏操作子12の操作により演奏される音高は、演奏操作子12の物理的な音域や、演奏時の左右手の関係などにより制限され、設定音域により指示される所望音域の音高とすることができないことがある。このように、演奏された音高が設定音域から外れた場合、音高調整部Fにより、この音高をオクターブシフトして設定音域内に入るように修正する。そして、ハーモニー音決定部Gでは、このようにシフトされた音高に基づいてハーモニーの音高を決める。
【0045】
以上のようなピッチ調整部Eのピッチ修正部E1におけるピッチの調整作用又は音高調整部(音高修正部)Fにおける音高の調整作用は、図5の音域判定処理フローにより実行される。すなわち、第1モードにおいて、ピッチ修正部E1は、ピッチ検出部E1からピッチ検出結果が与えられると、まず、ステップS1において、ピッチ検出部E1で検出された音声のピッチが設定音域外にあるか否かを判定し、設定音域外にあるときは(S1=YES)、ステップS2に進み、当該ピッチを設定音域内へと修正するか或いは無視する。そして、検出された音声ピッチが設定音域内にあると判定したとき(S1=NO)及びステップS2の処理の後は、次のピッチ検出結果を待機する状態にリターンする。
【0046】
また、第2モードにおいて、音高修正部Fは、音高情報供給部Aから演奏データの音高情報が与えられると、まず、ステップS1において、供給された音高情報が示す音高即ち演奏された音高が設定音域外にあるか否かを判定し、設定音域外にあるときは(S1=YES)ステップS2に進み、当該音高を設定音域内へと修正する。そして、演奏された音高が設定音域内にあると判定したとき(S1=NO)及びステップS2の処理の後は、次の音高情報の供給を待機する状態にリターンする。
【0047】
〔発音系列とパートの構成例〕
このシステムの発音系列は、図2に示すように、入力演奏音情報Npから楽音信号Sjを経て演奏音信号Saを出力する演奏音発音系列と、ハーモニー音情報Nhから楽音信号Siを経てハーモニー音信号Sbを出力するハーモニー音発音系列と、入力音声信号Smから音声信号Scを出力する音声発音系列から成るが、音源部Hの音源パート(楽音信号生成系列)から発音系列をみてみよう。図6は、この発明の一実施例による発音系列とパートの構成例を示し、演奏操作子12が、例えば、上鍵盤(UK)、下鍵盤(LK)及びペダル鍵盤(PK)を備えるシステムでは、図示のような発音系列で表わされる。
【0048】
ここで、ハーモニータイプ設定部Cで設定されるハーモニータイプThの機能について説明すると、ハーモニータイプThは、図7(1)及び図8(2)のように、ハーモニー音生成モードでない通常演奏モードを指示するTh=「スルー」の外に、「ボコーダタイプ」と「コーダルタイプ」があり、ボコーダタイプは、1つのタイプTh=「ボコーダ」から成り、入力音(Pm,Pi)に対応するパートの演奏音に直接ボコーダ効果を付与すべきことを指示する。また、コーダルタイプは、複数のタイプTh=「デュエット1」、「デュエット2」、…から成り、入力音(Pm,Pi)に対して和音的な種々の音にボコーダ効果を付与すべきことを指示する。なお、ボコーダ効果を付与したいパート或いはボコーダ効果が付与される音を決める際の基準としたいパートは、例えば、上鍵盤右鍵域(メロディ演奏音Np1)に対応するUKパート(メロディパート)に予め設定される。
【0049】
図6には示されていないが、Th=「スルー」の通常演奏モードでは、音高情報供給部Aは、各鍵盤(UK〜PK)の演奏に基づく演奏音情報Np=Np1〜Np3を音源部Hに供給し、音源部Hは、各鍵盤に対応するUKパート、LKパート及びPKパートに設定された所定音色の楽音信号生成系列で各演奏音情報に基づく楽音信号を生成する。
【0050】
上述のように上鍵盤のメロディ演奏音Np1に対応するUKパートがボコーダ効果付与パートに設定されている場合に、ハーモニータイプTh=「ボコーダ」即ちボコーダタイプが指定されると、図6(1)に示すようなパート構成となる。すなわち、第1モードでは、ハーモニー音決定部Gにおいて、ピッチ調整部Eで調整(検出及び修正)されたピッチ情報Pmが示す音高がボコーダ音の音高Nhに決定され、音源部Hは、UKパート(メロディパート)で、メロディ演奏音Np1の楽音生成パラメータ(音高以外の音長、強さ等)と決定された音高Nh=Pmに従って、このパートに対応する所定音色(例えば、オルガン音色)を持つ音高Nh=Pmの楽音信号Siを生成する。また、第2モードでは、音高調整部Eで調整(修正)されたメロディ演奏音Np1の音高情報Piが示す音高がボコーダ音の音高Nhに決定され、音源部Hは、UKパートで、メロディ演奏音Np1に対応する所定音色(例えば、オルガン音色)で音高Nh=Piの楽音信号Siを生成する。
【0051】
そして、ボコーダ部Jは、音声信号Smにより、UKパートの所定音色楽音信号Siを加工(楽音信号Siにボコーダ効果を付与)し、これにより得られたボコーダ音信号Svをハーモニー音効果付与部Lに送る。また、他のLK及びPKパートでは、通常演奏モードと同様に、夫々の演奏音情報Np2,Np3に対応して生成される楽音信号Sjが演奏音効果付与部Kに送られる。なお、Th=「ボコーダ」が指定された場合のボコーダ音Sbは、厳密には「ハーモニー音」とは呼べないかも知れないが、音声(音声出力Sc)や他の楽音(演奏音出力Sa)と共に発音される音(Sb)であるため、この明細書では「ハーモニー音」と呼ばれる。
【0052】
一方、ハーモニータイプThがコーダルタイプに指定されたときは、図6(2)に示すようなパート構成となる。すなわち、第1モードでは、ハーモニー音決定部Gにて、ピッチ調整部Eからのピッチ情報Pmが示す音高と和音情報Cdに基づきハーモニー音の音高Nhが決定され、第2モードにおいても、標準的には、第1モードと同様に、音高調整部Fから入力されるメロディ演奏音Np1の音高情報Piが示す音高と和音情報Cdに基づいてハーモニー音高Nhが決定される。この場合、コーダルタイプの各種類Th=「デュエット1」、「デュエット2」、…に応じて、ハーモニー音高Nhの付き方が異なる。なお、第2モードについてのみ、タイプTh=「ハーモニー1」、「ハーモニー2」〔図8(2)参照〕があり、これらのタイプが設定されている場合は(ハーモニー演奏モード)、ハーモニー演奏音情報Phによりハーモニー音高Nhが決定される。
【0053】
また、ハーモニータイプがコーダルタイプの場合、音源部Hは、ハーモニー音パートと呼ばれる専用パートで、基準としたいパートに設定されたメロディパートの演奏音Np1の楽音生成パラメータ(音高以外の音長、強さ等)と決定されたハーモニー音高Nh(=Pm,Pi)に従って、この専用パートに対応して予め設定された所定音色(例えば、バイオリン音色)を持つ音高Nhの楽音信号Siを生成する。なお、ハーモニー音パートの設定音色は、このシステムで1種類が固定的に設定されていてもよいし、ハーモニータイプに対応付けて設定されていてもよいし、ユーザによる音色指定用操作子の操作(音色設定操作)により予め任意に選択してもよい。この場合の音色は、ボコーダ部Jを通過した楽音信号Svがあたかも人の声に類似するような特性の楽音を表わしたものであることが望ましく、一例として、バイオリンやサックスのような持続音で且つ人の音声と近似した周波数特性を有した楽音が好ましい。
【0054】
そして、ハーモニー音パートでは、ボコーダ部Jは、音声信号Smにより設定音色の楽音信号Siを加工(楽音信号Siにボコーダ効果を付与)し、これにより得られるボコーダ音信号Svをハーモニー音効果付与部Lに送る。また、他のUK乃至PKパートでは、通常演奏モードと同様に、夫々の演奏音情報Np1〜Np3に対応して生成される楽音信号Sjが演奏音効果付与部Kに送られる。
【0055】
〔ハーモニー音の付け方〕
ハーモニー音決定部Gでは、ハーモニータイプ設定部Cで設定されたハーモニータイプThに従って演奏音にハーモニー音を付け、当該ハーモニー音の音高Thを表わすハーモニー音情報を生成する。図7は、この発明の一実施例によるハーモニー音の付け方の例を示す。図7(1)において、前述したように、ハーモニータイプTh=「スルー」は、ハーモニー音を生成しない通常演奏モードを指示し、Th=「ボコーダ」は、入力音Pm,Piの音高をハーモニー音Th1の音高にすべきことを指示する。
【0056】
「デュエット1」以下のハーモニータイプThは、前述したように「コーダルタイプ」と総称され、※印を付した「ハーモニー1」及び「ハーモニー2」〔図8(2)参照:第2モードでのみ動作可能〕を除いて、基準入力音Pm,Piと和音情報Cdに基づいてハーモニー音Th:Th1,Th2,…の音高にすべきことを指示する(記号“Nh”は、ハーモニー音又はその音高を代表的に表わす)。図7(1)中で、入力音の「上」は、入力音Pm,Piを、和音情報Cdが示す和音構成音の根音とした場合、入力音Pm,Piのすぐ上に位置する和音構成音の音高を表わし、入力音の「上上」は、同様の場合、入力音Pm,Piの上で2番目に位置する和音構成音の音高を表わし、入力音の「下」は、同様に、入力音Pm,Piのすぐ下に位置する和音構成音の音高を表わす。また、「oct」はオクターブを表わし、例えば、「1oct下」は、入力音Pm,Piの1オクターブ下に位置するすぐ下の和音構成音の音高を表わす。
【0057】
つまり、※印を除くコーダルタイプが指定された場合、ハーモニー音決定部Gでは、入力音の音高Pm,Piに対し、1乃至複数の上及び/又は下の和音構成音の音高Nh1,Nh2,…をハーモニー音の音高Nhに決定し、コーダルタイプの種類に応じて、構成音の付き方が異なる。例えば、図7(2)に示すように、和音情報Cdが、音名C,E,Gで構成され根音をCとする和音Cmajを示しており、基準入力音となる音声ピッチPm(第1モード)或いはメロディ演奏音高Pi(第2モード)が音高C3を示している場合に、ハーモニータイプTh=「デュエット1」が指定されると、根音となる音高C3の「上」の和音構成音の音高E3を第1ハーモニー音Nh1に決定する。また、この場合、Th=「トリオ2」が指定されると、根音C3の「上」の音高E3を第1ハーモニー音Nh1に、「下」の音高G3を第2ハーモニー音Nh2に決定する。
【0058】
〔効果種類の選択とハーモニータイプ〕
このシステムでは、ハーモニータイプの設定に伴って自動的に所定の効果種類を所定の効果付与部にプリセットしたり、ユーザによる効果選択操作により、ユーザが指定する効果付与部に所望の種類の効果を設定することができる。図8は、この発明の一実施例における効果種類の選択態様を説明するための図である。何れかのハーモニータイプがシステムに設定されているときに、ユーザが効果選択用操作子を操作して、図8(1)に示す効果種類の選択肢の中から所望の選択肢を指示することにより、任意の効果付与部L,Mに任意の効果種類を設定することができる。
【0059】
「プリセット」は、図8(2)に示すプリセットエフェクトテーブルを参照しその内容に従って効果種類Eb,Ecをハーモニー音及び音声効果付与部L,Mに設定すべきことを指示する選択肢であり、このシステムにデフォルトで設定されるが、ユーザの効果選択操作によって選択することもできる。つまり、「プリセット」が設定されているときにハーモニータイプ指定用操作子の操作によりハーモニータイプThが指定されると、図8(2)のプリセットエフェクトテーブルが参照され、ハーモニー音効果付与部L乃至音声効果付与部Mでボコーダハーモニー音信号Sv乃至音声信号Smに付与される効果の種類が自動的にプリセットされる。また、何れかのハーモニータイプが設定されているときにユーザ操作により「プリセット」を選択すると、このテーブルが参照されて所定の効果が所定の効果付与部L,Mに設定され、プリセット内容と同一の設定に戻すことができる。
【0060】
プリセットエフェクトテーブルにおいては、基本的な方針として、デュエットやトリオのようなポップス系のハーモニータイプ(「デュエット1」〜「クァルテット2」)の場合は「スルー」とし、大編成の合唱のハーモニータイプ(「クワイア1」、「クワイア2」)の場合にはコーラス効果(「コーラス1」)を付与し、同一声部を複数で歌うようなタイプ(「ユニゾン」)には「デチューン」を付与する。なお、テーブル中、ハーモニー内容の「Thru」はハーモニー音を設定しないことを表わし、エフェクト種類欄の「スルー」は効果を付与しないことを表わす。
【0061】
また、効果付与対象となる効果付与部L,Mを指定し「コーラス1」を選択した場合は、当該効果付与部L,Mは、第1のコーラス効果を付与するように設定する。同様に、効果付与部を指定し、「コーラス2」、「デチューン」、「ディストーション」、…を選択した場合には、別の第2のコーラス効果、デチューン、ディストーション(歪み効果)、…を設定する。
【0062】
図9は、この発明の一実施例によるハーモニー音生成システムにおけるハーモニー選択処理を表わすフローチャートである。このハーモニー選択処理の最初のステップT1では、ユーザによるハーモニータイプ指定操作によりハーモニータイプThを選択してハーモニー音決定部Cに設定する。次のステップT2では、現在選ばれている効果種類は、「プリセット」即ちプリセットエフェクトテーブルに従って選択されたものであるか否かを判定し、「プリセット」であれば(T2=YES)、ステップT3に進んで、選択されたハーモニータイプに対応付けられた効果種類を選択して効果付与部L,Mに設定し、この設定処理の後は、次のハーモニータイプ選択を待機する状態にリターンする。また、ステップT2で「プリセット」でないと判定したときは(T2=NO)、直ちに、次のハーモニータイプ選択を待機する状態にリターンする。
【0063】
図10は、この発明の一実施例によるハーモニー音生成システムにおける効果種類選択処理を表わすフローチャートである。効果種類選択処理の第1ステップU1では、ユーザによる効果選択操作により、効果付与部L,Mに設定する効果種類を選択する。次のステップU2では、選択された効果種類は「プリセット」即ちプリセットエフェクトテーブルに従ったものであるか否かを判定する。そして、選択された効果種類が「プリセット」であれば(U2=YES)、ステップU3で、現在のハーモニータイプに対応付けられた効果種類を効果付与部L,Mに設定し、選択された効果種類が「プリセット」でなければ(U2=NO)、ステップU4で、選択された効果種類を効果付与部L,Mに設定して、次の効果種類選択を待機する状態にリターンする。
【0064】
〔ボコーダを使用した音高応答ハーモニー音生成システムの機能〕
図2では、音声ピッチPmの検出に基づいてハーモニー音の音高を決定する「ピッチ検出型」の第1モードと演奏音高Piの指定に基づいてハーモニー音の音高を決定する「音高指定型」の第2モードを備えたシステムについて説明したが、第1モード専用の「ピッチ検出型」システム或いは第2モード専用の「音高指定型」システムを個別に構築するようにしてもよい。また、「音高指定型」システム即ち「ボコーダを用い演奏音高に応答してハーモニー音を生成するハーモニー音生成システム」の場合は、第1モード即ちピッチ検出型のように、マイクロフォン14から入力された音声信号Smのピッチ検出結果を必要とせず、その代わりに、音高情報供給部Aから供給される演奏音高Piをハーモニー音決定の際の基準とするので、ピッチ検出部E1及びピッチ修正部E2を省略することができ、前述のように、和音情報Cdによるハーモニーを音Npを決定するだけでなく、和音情報Cdによらずハーモニー演奏による音高Phでハーモニー音Npを決定して、ボコーダによる独特の音質を持つハーモニー音を生成することができる。
【0065】
図11は、この発明の一実施例による「ボコーダを用い音高に応答してハーモニー音を生成するハーモニー音生成システム」の機能を説明するためのブロック図である。図11のようにボコーダを使用する音高指定型ハーモニー音生成システムには、次のような特徴がある。例えば、メロディ演奏情報Np(=音高Pi)が第1演奏情報として入力され、これとは別に、和音情報Cdが入力されるか、或いは、ハーモニー演奏情報Phが第2演奏情報として入力される(A,B)。これに対して、ハーモニー音決定部Gは、コード供給モード〔図8(2)で※印以外のコーダルタイプが設定されている場合の動作モード〕では、第1演奏情報Npの音高Pi及び和音情報Cdの音高に基づいて、第1演奏情報Npに付与すべきハーモニー音の音高Nhを決定するか、或いは、ハーモニー演奏モード〔図8(2)で※印の「ハーモニー」タイプが設定されている場合の動作モード〕で、第2演奏情報Phの音高に基づいて同音高Nhを決定する。音源部Hは、第1演奏情報Npに基づく第1楽音信号Sjと決定されたハーモニー音高Nhに基づく第2楽音信号Siとを生成する。ボコーダ部Jは、入力された音声信号Smの周波数特性を検出し(J1)、検出された音声信号Smの周波数特性に応じて第2楽音信号Siの周波数特性を制御し、第1楽音信号Sjに対してハーモニーの付いたボコーダ音信号Svを生成する(J2)。そして、第1楽音信号Sj及びボコーダ音信号Svは、サウンドシステム16に出力される。この特徴により、右手でメロディを演奏し左手でコード又はハーモニーを弾くという演奏形態で、メロディ音Sjに対して適切なハーモニーの付いたボコーダ音Svを生成することができる。
【0066】
これを図6(2)の楽音生成系列のパート構成(第2モード)に従って説明すると、次のとおりである。例えば、コード供給モードのハーモニータイプ(※印以外のコーダルタイプ)を設定し、右側鍵域でのメロディ演奏に対して左側鍵域でコード指示操作を行うと、ハーモニー音決定部Gには、音高情報供給部Aから、メロディ演奏情報Np=Np1が示す音高情報Piが供給されると共に、和音情報供給部Bを介してコード指示操作に基づく和音情報Cdが供給されるので、ハーモニー音決定部Gは、メロディ音高Pi及び和音情報Cdの音高に基づいて、メロディ演奏情報Np=Np1に付与すべきハーモニー音の音高Nhを決定する。或いは、ハーモニー演奏モードのハーモニータイプ(※印のタイプ)を設定し、右側鍵域でのメロディ演奏に対して左側鍵域でハーモニー演奏を行うと、ハーモニー音決定部Gには、ハーモニー演奏情報が示す音高情報Phが音高情報供給部Aから供給されるので、ハーモニー音決定部Gは、ハーモニー演奏音高Phの音高に基づいて、メロディ演奏情報Npに付与すべきハーモニー音の音高Nhを決定する。
【0067】
そして、音源部Hは、コード供給モード、ハーモニー演奏モードの何れにおいても、ハーモニー音決定部Gからのメロディ演奏情報Npに基づく楽音信号SjをUKパート(メロディパート)から出力すると共に、ハーモニー音パート即ちボコーダをかける専用パートにて、音高Nhを持つ所定音色の楽音信号Siを生成し、ボコーダ部Jに出力する。
【0068】
従って、ボコーダを使用してハーモニー音を生成する際、ユーザが右手でメロディを演奏し左手でコード或いはハーモニーを弾くという演奏形態で適切なハーモニーでボコーダをかけることができる。また、重音奏は出来ないが右手で単旋律のメロディを弾きながら左手でコードを押すことはできる初心者ユーザでも、適切なハーモニーの付いた演奏にボコーダをかけることができる。
【0069】
ここで、図11のシステムにおけるハーモニー付けの態様を整理すると、図7(1)で説明したように、ハーモニータイプThを選ぶことで、
(1)Th=「ボコーダ」では、指定した鍵盤パートでの演奏(例えば、UKパートNp1)をそのままボコーダ音の生成に使用する、
(2)Th=コーダルタイプ〔「デュエット1」、「デュエット2」、…(「ハーモニー1」及び「ハーモニー2」を除く〕では、コードCdによってハーモニーを付ける、
(3)Th=「ハーモニー1」/「ハーモニー2」では、ハーモニーパートで演奏(Ph)した音程でハーモニーを付ける〔図8(2)※印の行を参照〕、
の何れかの使い方にするかが設定される。
【0070】
コードCdによってハーモニーを付けるコード供給モードの態様(2)では、図7(2)で説明したように、メロディを演奏するパートのトップノート(例えば、UKパートのNp1:Pi)に対して、コード構成音を適切な音程に変化させたハーモニー音Nh:Nh1,Nh2,…を作成し、作成したハーモニー音Nhの楽音信号Siに対してボコーダをかける。図7(2)の例では、ハーモニー音Nhが同数のハーモニーについて、コード構成音の展開の仕方〔オープンボイシング(音程が離れている)にする、クローズボイシング(音程が接近している)にする、等〕に応じて複数のタイプThを設けておき(例えば、トリオのハーモニーについては、3つのタイプTh=「トリオ1」〜「トリオ3」)、何れかのタイプThを指定することによりコード構成音の展開を所定の態様に設定することができる。なお、ユーザ操作によりディスプレイ15上にハーモニー展開の変更/編集画面を表示しこれを利用してコード構成音の展開の仕方を変更することができるようにしてもよく、ユーザにより変更された構成音の展開内容は、コード供給モードの新たなハーモニータイプThとして登録しておき、再度利用することができるようにしてもよい。
【0071】
また、ハーモニーパートの演奏(Ph)によってハーモニーを付けるハーモニー演奏モードの態様(3)については、図8(2)の右2欄から成るハーモニータイプ表中に※印を付けたハーモニータイプTh、即ち、コーダルタイプのうちハーモニー演奏演奏モードのハーモニータイプTh=「ハーモニー1」/「ハーモニー2」の「ハーモニーの内容」欄に示すように、ハーモニー音の展開の仕方として、
(H1)ハーモニーパート演奏(Ph)をそのままハーモニー演奏音Nhに使用する(Th=「ハーモニー1」)か、或いは、
(H2)ハーモニーパート演奏(Ph)の音高をシフトしてハーモニー演奏音Nhに使用する(例えば、Th=「ハーモニー2」)
ものとし、何れかのハーモニー演奏音情報Nhに基づく所定音色の楽音信号Siに対してボコーダをかける。図8(2)の例では、(H2)の音高シフトについて、ハーモニー音のメロディを演奏するパートのトップノート(UKパートのNp1=Pi)に対してオクターブ以内にシフトさせたハーモニー音を使用するものだけを示したが、種々の音高シフト態様を用意しておくことができる。
【0072】
図12は、この発明の一実施例におけるハーモニー演奏音の更なる展開例を示す。すなわち、図12に示すハーモニー演奏モードのハーモニータイプでは、Th=「ハーモニー1」は、図8(2)と同様に、ハーモニーノートPhをそのまま使用し、Th=「ハーモニー2」も、図8(2)と同様に、ハーモニーノートPhを、入力音(UKパートのメロディ演奏奏音Np1の音高)Piの1オクターブ以内の範囲に入るように、オクターブシフトすることを指示するが、さらに、ハーモニーノートを−1オクターブシフトする「ハーモニー3」と、ハーモニーノートを+1オクターブシフトする「ハーモニー4」を備えている。なお、ハーモニーパートの演奏でハーモニーを付けるハーモニー演奏音展開型についても、タイプコードCdでハーモニーを付ける場合と同様に、ハーモニー展開の変更/編集画面でハーモニー演奏音の展開の仕方を変更可能にしてもよく、ユーザにより変更されたハーモニー演奏音の展開内容は、新たなハーモニー演奏モードのハーモニータイプThとして登録しておき、再度利用することができるようにしてもよい。
【0073】
なお、図11のシステムにおいて、ボコーダをかける演奏情報については、
(A)上述のようにコード音又はハーモニー演奏音によるハーモニー音のみボコーダをかけるか、
(B)メロディ音自体にもボコーダをかけるか
を、ユーザがモード設定で選択することができるように構成してもよい。
【0074】
また、和音情報Cdを用いるコード供給モードの場合にボコーダをかける時間は、
(a)実際にコード指示操作がなされている(コード指定鍵が押されている)間のみハーモニーを付加するか、
(b)この操作を停止しても(コード指定鍵を離しても)解除操作或いは次のコード指示操作があるまで付加し続けるか
を、ユーザがモード設定で選択することができるように構成してもよい。
【0075】
〔音声のピッチ変換を用いるハーモニー音生成システム〕
この発明の一実施例によるハーモニー音生成システムにおいては、入力音声のピッチ変換を用いて入力音声を加工することにより、入力音声のピッチ或いは演奏情報の音高に基づいて決定される音高のハーモニー音を生成する際に、入力音声のピッチ或いは演奏情報の音高を音域調整して、ユーザが意図しない音域でのハーモニー音を発生させないようにしたり、ハーモニータイプの設定に応じて自動的に音声やハーモニー音に適切な効果をプリセットすることができる。
【0076】
図13は、この発明の一実施例による音声のピッチ変換を用いたハーモニー音生成システムの機能ブロック図を示す。このシステムでは、図2に示したボコーダ部Jに代えて、音声入力部14−7から入力された音声信号Smのピッチを変換するピッチ変換部Nを用い、ピッチ変換部Nにおいて、ハーモニー音決定部Gで決定されたハーモニー音の音高情報Nhに基づいて、音声信号Smのピッチを変換し、ピッチ変換された音声信号Snをハーモニー音とする点が、図2で説明したボコーダ使用のハーモニー音生成システム(以下、「第1システム」と呼ぶ)と異なるが、それ以外は、第1システムと同様である。
【0077】
すなわち、音源部Hは、音高情報供給部Aから供給される演奏音情報(演奏情報)Npに応じた楽音信号Skを生成し、演奏音効果付与部Kは、この楽音信号Skに所定の効果を付与する。また、音声効果付与部Mは、マイクロフォン14からA/D変換回路7を介して入力される音声信号Smに所定の効果を付与する。これに対して、ピッチ変換部Nは、ハーモニー音決定部Gで決定されたハーモニー音高Nhに応じて入力音声信号Smをピッチ変換して該音高Nhを持つハーモニー音Snに加工し、ハーモニー音効果付与部Pは、このハーモニー音Snに所定の効果を付与する。そして、各効果付与部K,M,Pで各効果が夫々付与された演奏音、音声及びハーモニー音信号Sa,Sc,Seは、サウンドシステム16に出力される。
【0078】
ここで、ハーモニー音効果付与部P及び音声効果付与部Mで付与される効果の設定態様は、第1システムと同様であり、例えば、標準設定モードでは、ハーモニータイプ設定部Cからの効果指定情報Ee,Ecに従ってハーモニータイプThに応じた効果が各信号Se,Scに付与される。また、ハーモニー音決定部Gにおけるハーモニー音高Nhの決定態様も第1システムと同様であるが、簡単に説明すると次のとおりである。
【0079】
第1モードでは、ピッチ調整部Eが動作し、図4(1)及び図5で説明したように、入力音声信号Smのピッチを検出し(E1)、検出されたピッチが、音域設定部Dから指定される設定音域にないときは、設定音域に入るように検出ピッチを修正し(E2)、入力音声信号Smの正しいピッチPmを入力音情報としてハーモニー音決定部Gに送る。ハーモニー音決定部Gは、図7で説明したように、ハーモニータイプ設定部Cからのタイプ指定情報Thで指定されるハーモニータイプに従って、音高情報供給部Aから和音情報供給部Bを介して入力される和音情報Cdとピッチ調整部Eからのピッチ情報Piとに基づいて、ハーモニー音の音高Nh:Nh1,Nh2,…を決定する〔但し、図7(1)や図8(2)のハーモニータイプTh=「ボコーダ」、「ハーモニー1」、「ハーモニー2」に対応するタイプ及びハーモニー音はない〕。
【0080】
一方、第2モードでは、音高調整部Fが動作し、図4(2)及び図5で説明したように、演奏音情報(演奏情報)Npのうちハーモニー音の基準となる演奏音情報(例えば、メロディ演奏情報)Np1の音高が音域設定部Dの設定音域にないときは、設定音域に入るように音高を修正し、当該演奏音情報の正しい音高Piをハーモニー音決定部Gに送る。或いは、ハーモニー演奏による演奏情報の音高が音域設定部Dの設定音域にないときは、設定音域に入るように音高を修正し、当該演奏音情報の正しい音高Phをハーモニー音決定部Gに送る。ハーモニー音決定部Gは、図7で説明したように、ハーモニータイプ設定部Cから指定されるハーモニータイプThに従い、和音情報供給部Bを介して入力される和音情報Cdと音高調整部Fからの音高情報Piとに基づいて、或いは、ハーモニータイプ設定部Cからの所定のハーモニータイプThに従い、音高調整部Fからの音高情報Phに基づいて、ハーモニー音の音高Nh:Nh1,Nh2,…を決定する。
【0081】
なお、図13では、音声ピッチPmの検出に基づいてハーモニー音の音高を決定する「ピッチ検出型」の第1モードと演奏音高Piの指定に基づいてハーモニー音の音高を決定する「音高指定型」の第2モードを備えたシステムについて説明したが、第1システムと同様に、第1モード専用の「ピッチ検出型」システム或いは第2モード専用の「音高指定型」システムを個別に構築することができる。
【0082】
〔種々の実施態様〕
以上、図面を参照しつつこの発明の好適な実施の一形態について説明したが、これは単なる一例で、この発明は、発明の精神を逸脱しない範囲で種々の変更が可能である。例えば、音域設定部(D)で設定した音域に応じて、ボコーダ部(J)におけるフォルマントフィルタの特性制御パラメータや、ピッチ変換部(N)におけるピッチ変換特性制御パラメータを変更するようにしてもよい。例えば、ハーモニータイプ(Th)によってボコーダ部(J)やピッチ変換部(N)のパラメータが初期設定されるが、この初期設定値を、音域設定部(D)で設定した音域に応じて修正するようにしてもよい。これにより、設定音域に合った適切な音質のハーモニー音(Sv,Sn)を生成することが可能となる。
【図面の簡単な説明】
【0083】
【図1】この発明の一実施例によるハーモニー音生成システムが構築される電子音楽装置のハードウエア構成ブロック図を示す。
【図2】この発明の一実施例によるボコーダを用いたハーモニー音生成システムの機能ブロック図を示す。
【図3】ボコーダの機能を説明するための図である。
【図4】この発明の一実施例による音声ピッチ及び演奏音高の調整作用を説明するための図である。
【図5】この発明の一実施例によるハーモニー音生成システムのピッチ調整部又は音高調整部における音域判定処理を表わすフローチャートである。
【図6】この発明の一実施例における発音系列とパートの構成例を示す。
【図7】この発明の一実施例におけるハーモニー音の付け方の例を示す。
【図8】この発明の一実施例における効果種類の選択態様を説明するための図である。
【図9】この発明の一実施例によるハーモニー音生成システムにおけるハーモニー選択処理を表わすフローチャートである。
【図10】この発明の一実施例によるハーモニー音生成システムにおける効果種類選択処理を表わすフローチャートである。
【図11】この発明の一実施例による「ボコーダを用い音高に応答してハーモニー音を生成するハーモニー音生成システム」の機能を説明するためのブロック図である。
【図12】この発明の一実施例におけるハーモニー演奏音の更なる展開例である。
【図13】この発明の一実施例によるピッチ変換を用いたハーモニー音生成システムの機能ブロック図を示す。
【符号の説明】
【0084】
Th 設定されたハーモニータイプを表わすタイプ指定情報又はそのタイプ、
Eb,Ee ハーモニー音信号Sv,Snに自動設定される効果指定情報又はその効果、
Ec 音声信号Smに自動設定される効果指定情報又はその効果、
Sm;Sc 音声入力信号及び音声出力信号、
Pm コード音展開の基準入力音に用いられる音声ピッチ情報又はそのピッチ、
Pi コード音展開の基準入力音に用いられる演奏音高情報又はその音高、
Cd;Ph 和音情報(又はその音高)及びハーモニー演奏情報(又はその音高)、
Np:Np1,Np2,… 演奏音情報、
Nh 生成すべきハーモニー音を表わすハーモニー音情報又はその音高、
Si;Sj ボコーダ音信号Svに変換される楽音信号及びその他の楽音信号、
Sa;Sb,Se 演奏音出力信号及びハーモニー音出力信号。
【特許請求の範囲】
【請求項1】
音声信号を入力する音声入力手段と、
ハーモニー音のタイプを設定するハーモニータイプ設定手段と、
ハーモニータイプ設定手段により設定されたタイプに応じて、自動的に、ハーモニー音或いは音声に付与すべき効果の種類を設定する効果種類設定手段と、
音声入力手段により入力された音声信号のピッチを検出するピッチ検出手段と、
ピッチ検出手段により検出されたピッチ及びハーモニータイプ設定手段により設定されたタイプに基づいて、ハーモニー音の音高を決定するハーモニー音高決定手段と、
音声入力手段により入力された音声信号を加工或いは利用して、ハーモニー音高決定手段により決定された音高を有するハーモニー音信号を生成するハーモニー音生成手段と、
ハーモニー音生成手段により生成されたハーモニー音信号或いは音声入力手段により入力された音声信号に、効果種類設定手段により設定された種類の効果を付与する効果付与手段と
を具備することを特徴とするハーモニー音生成装置。
【請求項2】
音声信号を入力する音声入力手段と、
ハーモニー音のタイプを設定するハーモニータイプ設定手段と、
ハーモニータイプ設定手段により設定されたタイプに応じて、自動的に、ハーモニー音或いは音声に付与すべき効果の種類を設定する効果種類設定手段と、
音高情報を供給する音高情報供給手段と、
音高情報供給手段により供給された音高情報の音高及びハーモニータイプ設定手段により設定されたタイプに基づいて、ハーモニー音の音高を決定するハーモニー音高決定手段と、
音声入力手段により入力された音声信号を加工或いは利用して、ハーモニー音高決定手段により決定された音高を有するハーモニー音信号を生成するハーモニー音生成手段と、
ハーモニー音生成手段により生成されたハーモニー音信号或いは音声入力手段により入力された音声信号に、効果種類設定手段により設定された種類の効果を付与する効果付与手段と
を具備することを特徴とするハーモニー音生成装置。
【請求項3】
音声信号を入力する音声入力手段を具備し、ハーモニー音生成装置として機能するコンピュータに、
ハーモニー音のタイプを設定するハーモニータイプ設定ステップと、
ハーモニータイプ設定ステップで設定されたタイプに応じて、自動的に、ハーモニー音或いは音声に付与すべき効果の種類を設定する効果種類設定ステップと、
音声入力手段により入力された音声信号のピッチを検出するピッチ検出ステップと、
ピッチ検出ステップで検出されたピッチ及びハーモニータイプ設定ステップで設定されたタイプに基づいて、ハーモニー音の音高を決定するハーモニー音高決定ステップと、
音声入力手段により入力された音声信号を加工或いは利用して、ハーモニー音高決定ステップで決定された音高を有するハーモニー音信号を生成するハーモニー音生成ステップと、
ハーモニー音生成ステップで生成されたハーモニー音信号或いは音声入力手段により入力された音声信号に、効果種類設定ステップで設定された種類の効果を付与する効果付与ステップと
から成る手順を実行させるハーモニー音生成プログラム。
【請求項4】
音声信号を入力する音声入力手段を具備し、ハーモニー音生成装置として機能するコンピュータに、
ハーモニー音のタイプを設定するハーモニータイプ設定ステップと、
ハーモニータイプ設定ステップで設定されたタイプに応じて、自動的に、ハーモニー音或いは音声に付与すべき効果の種類を設定する効果種類設定ステップと、
音高情報を供給する音高情報供給ステップと、
音高情報供給ステップで供給された音高情報の音高及びハーモニータイプ設定ステップで設定されたタイプに基づいて、ハーモニー音の音高を決定するハーモニー音高決定ステップと、
音声入力手段により入力された音声信号を加工或いは利用して、ハーモニー音高決定ステップで決定された音高を有するハーモニー音信号を生成するハーモニー音生成ステップと、
ハーモニー音生成ステップで生成されたハーモニー音信号或いは音声入力手段により入力された音声信号に、効果種類設定ステップで設定された種類の効果を付与する効果付与ステップと
から成る手順を実行させるハーモニー音生成プログラム。
【請求項1】
音声信号を入力する音声入力手段と、
ハーモニー音のタイプを設定するハーモニータイプ設定手段と、
ハーモニータイプ設定手段により設定されたタイプに応じて、自動的に、ハーモニー音或いは音声に付与すべき効果の種類を設定する効果種類設定手段と、
音声入力手段により入力された音声信号のピッチを検出するピッチ検出手段と、
ピッチ検出手段により検出されたピッチ及びハーモニータイプ設定手段により設定されたタイプに基づいて、ハーモニー音の音高を決定するハーモニー音高決定手段と、
音声入力手段により入力された音声信号を加工或いは利用して、ハーモニー音高決定手段により決定された音高を有するハーモニー音信号を生成するハーモニー音生成手段と、
ハーモニー音生成手段により生成されたハーモニー音信号或いは音声入力手段により入力された音声信号に、効果種類設定手段により設定された種類の効果を付与する効果付与手段と
を具備することを特徴とするハーモニー音生成装置。
【請求項2】
音声信号を入力する音声入力手段と、
ハーモニー音のタイプを設定するハーモニータイプ設定手段と、
ハーモニータイプ設定手段により設定されたタイプに応じて、自動的に、ハーモニー音或いは音声に付与すべき効果の種類を設定する効果種類設定手段と、
音高情報を供給する音高情報供給手段と、
音高情報供給手段により供給された音高情報の音高及びハーモニータイプ設定手段により設定されたタイプに基づいて、ハーモニー音の音高を決定するハーモニー音高決定手段と、
音声入力手段により入力された音声信号を加工或いは利用して、ハーモニー音高決定手段により決定された音高を有するハーモニー音信号を生成するハーモニー音生成手段と、
ハーモニー音生成手段により生成されたハーモニー音信号或いは音声入力手段により入力された音声信号に、効果種類設定手段により設定された種類の効果を付与する効果付与手段と
を具備することを特徴とするハーモニー音生成装置。
【請求項3】
音声信号を入力する音声入力手段を具備し、ハーモニー音生成装置として機能するコンピュータに、
ハーモニー音のタイプを設定するハーモニータイプ設定ステップと、
ハーモニータイプ設定ステップで設定されたタイプに応じて、自動的に、ハーモニー音或いは音声に付与すべき効果の種類を設定する効果種類設定ステップと、
音声入力手段により入力された音声信号のピッチを検出するピッチ検出ステップと、
ピッチ検出ステップで検出されたピッチ及びハーモニータイプ設定ステップで設定されたタイプに基づいて、ハーモニー音の音高を決定するハーモニー音高決定ステップと、
音声入力手段により入力された音声信号を加工或いは利用して、ハーモニー音高決定ステップで決定された音高を有するハーモニー音信号を生成するハーモニー音生成ステップと、
ハーモニー音生成ステップで生成されたハーモニー音信号或いは音声入力手段により入力された音声信号に、効果種類設定ステップで設定された種類の効果を付与する効果付与ステップと
から成る手順を実行させるハーモニー音生成プログラム。
【請求項4】
音声信号を入力する音声入力手段を具備し、ハーモニー音生成装置として機能するコンピュータに、
ハーモニー音のタイプを設定するハーモニータイプ設定ステップと、
ハーモニータイプ設定ステップで設定されたタイプに応じて、自動的に、ハーモニー音或いは音声に付与すべき効果の種類を設定する効果種類設定ステップと、
音高情報を供給する音高情報供給ステップと、
音高情報供給ステップで供給された音高情報の音高及びハーモニータイプ設定ステップで設定されたタイプに基づいて、ハーモニー音の音高を決定するハーモニー音高決定ステップと、
音声入力手段により入力された音声信号を加工或いは利用して、ハーモニー音高決定ステップで決定された音高を有するハーモニー音信号を生成するハーモニー音生成ステップと、
ハーモニー音生成ステップで生成されたハーモニー音信号或いは音声入力手段により入力された音声信号に、効果種類設定ステップで設定された種類の効果を付与する効果付与ステップと
から成る手順を実行させるハーモニー音生成プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2009−122611(P2009−122611A)
【公開日】平成21年6月4日(2009.6.4)
【国際特許分類】
【出願番号】特願2007−299513(P2007−299513)
【出願日】平成19年11月19日(2007.11.19)
【出願人】(000004075)ヤマハ株式会社 (5,930)
【Fターム(参考)】
【公開日】平成21年6月4日(2009.6.4)
【国際特許分類】
【出願日】平成19年11月19日(2007.11.19)
【出願人】(000004075)ヤマハ株式会社 (5,930)
【Fターム(参考)】
[ Back to top ]