ハーモニー音生成装置及びプログラム
【課題】ユーザが意図した音域におけるハーモニー音を生成するシステムの提供。
【解決手段】ハーモニー音に対応する音域を設定しておき（Ｄ）、第１モードでは、入力された音声信号Ｓｍのピッチが設定音域に入る場合はそのピッチを有効とし、外れる場合は設定音域内に入るようにピッチ修正するか無視し（Ｅ）、第２モードでは、供給された演奏情報の音高が設定音域に入る場合はその音高を有効とし、外れる場合は設定音域内に入るように音高修正する（Ｆ）。次いで、有効とされた又は修正された音声信号ＳｍのピッチＰｍ或いは演奏情報の音高Ｐｉに基づいてハーモニー音の音高Ｎｈを決定する（Ｇ）。そして、音声信号Ｓｍを利用して、ハーモニー音高Ｎｈをもつ楽音信号Ｓｉ（Ｈ）を加工し（ボコーダ）、ハーモニー音信号Ｓｂを生成する（Ｊ）。或いは、ハーモニー音高Ｎｈをもつように音声信号Ｓｍを加工（ピッチ変換）してハーモニー音信号を生成する。
【解決手段】ハーモニー音に対応する音域を設定しておき（Ｄ）、第１モードでは、入力された音声信号Ｓｍのピッチが設定音域に入る場合はそのピッチを有効とし、外れる場合は設定音域内に入るようにピッチ修正するか無視し（Ｅ）、第２モードでは、供給された演奏情報の音高が設定音域に入る場合はその音高を有効とし、外れる場合は設定音域内に入るように音高修正する（Ｆ）。次いで、有効とされた又は修正された音声信号ＳｍのピッチＰｍ或いは演奏情報の音高Ｐｉに基づいてハーモニー音の音高Ｎｈを決定する（Ｇ）。そして、音声信号Ｓｍを利用して、ハーモニー音高Ｎｈをもつ楽音信号Ｓｉ（Ｈ）を加工し（ボコーダ）、ハーモニー音信号Ｓｂを生成する（Ｊ）。或いは、ハーモニー音高Ｎｈをもつように音声信号Ｓｍを加工（ピッチ変換）してハーモニー音信号を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、入力された音声信号を用いて所望のハーモニー音を発生させるハーモニー音生成システムに関する。
【背景技術】
【０００２】
従来より、入力された音声信号からピッチを検出し、検出されたピッチに基づいてハーモニー音を生成する音楽信号処理装置は、例えば、特許文献１により知られている。
【特許文献１】特許第３３２９２４５号公報
【０００３】
しかしながら、従来の装置では、さまざまな要因により音声信号のピッチを正しく検出することができないことがあり、ユーザが意図した音域のハーモニー音を生成することができない。例えば、入力された音声信号の音質によっては、ピッチをオクターブ高く或いは低く検出してしまうことがあり、その場合は、ユーザが意図していない音高のハーモニー音が生成されてしまう。また、ピッチ検出自体は正しくできた場合であっても、ユーザが入力することができる音声信号の音域と、生成させたいハーモニー音の音域とがずれている場合には、意図した音域のハーモニー音を生成することができない。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
この発明は、このような事情に鑑み、特に、ユーザが意図しない音域でのハーモニー音が発生しないようにし、ユーザが意図した音域におけるハーモニー音を生成することができるハーモニー音生成システムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
この発明の第１の特徴に従うと、音声信号（Ｓｍ）を入力する音声入力手段（１４，７）と、音域を設定する音域設定手段（Ｄ）と、音声入力手段により入力された音声信号（Ｓｍ）のピッチを検出するピッチ検出手段（Ｅ１）と、ピッチ検出手段により検出されたピッチが音域設定手段により設定された音域に入るか否かを判定し、当該ピッチが該音域に入るときは当該ピッチを有効とし、当該ピッチが該音域に入らないときには当該ピッチを該音域に入るように修正するか或いは無効にするピッチ調整手段（Ｅ２）と、ピッチ調整手段により有効とされたピッチ（Ｐｍ）或いは修正されたピッチ（Ｐｍ）に基づいてハーモニー音の音高（Ｎｈ）を決定するハーモニー音高決定手段（Ｇ）と、音声入力手段により入力された音声信号（Ｓｍ）を加工或いは利用して、ハーモニー音高決定手段により決定された音高（Ｎｈ）を有するハーモニー音（Ｓｂ；Ｓｅ）を生成するハーモニー音生成手段（Ｈ，Ｊ，Ｌ；Ｎ，Ｐ）とを具備するハーモニー音生成装置〔請求項１〕、並びに、音声信号（Ｓｍ）を入力する音声入力手段（１４，７）を具備し、ハーモニー音生成装置として機能するコンピュータに、音域を設定する音域設定ステップ（Ｄ）と、音声入力手段により入力された音声信号（Ｓｍ）のピッチを検出するピッチ検出ステップ（Ｅ１）と、ピッチ検出ステップで検出されたピッチが音域設定ステップで設定された音域に入るか否かを判定し、当該ピッチが該音域に入るときは当該ピッチを有効とし、当該ピッチが該音域に入らないときには当該ピッチを該音域に入るように修正するか或いは無効にするピッチ調整ステップ（Ｅ２）と、ピッチ調整ステップで有効とされたピッチ（Ｐｍ）或いは修正されたピッチ（Ｐｍ）に基づいてハーモニー音の音高（Ｎｈ）を決定するハーモニー音高決定ステップ（Ｇ）と、音声入力手段により入力された音声信号（Ｓｍ）を加工或いは利用して、ハーモニー音高決定ステップで決定された音高（Ｎｈ）を有するハーモニー音（Ｓｂ；Ｓｅ）を生成するハーモニー音生成ステップ（Ｈ，Ｊ，Ｌ；Ｎ，Ｐ）とから成る手順を実行させるハーモニー音生成プログラム〔請求項３〕が提供される。なお、括弧書きは、理解の便のために付記した実施例の参照記号等を表わし、以下においても同様である。
【０００６】
また、この発明の第２の特徴に従うと、音声信号（Ｓｍ）を入力する音声入力手段（１４，７）と、音域を設定する音域設定手段（Ｄ）と、音高情報を供給する音高情報供給手段（Ａ）と、音高情報供給手段により供給された音高情報の音高が音域設定手段により設定された音域に入るか否かを判定し、当該音高が該音域に入るときは当該音高を有効とし、当該音高が該音域に入らないときには当該音高を該音域に入るように修正する音高調整手段（Ｆ）と、音高調整手段により有効とされた音高（Ｐｉ，Ｐｈ）或いは修正された音高（Ｐｉ，Ｐｈ）に基づいてハーモニー音の音高（Ｎｈ）を決定するハーモニー音高決定手段（Ｇ）と、音声入力手段により入力された音声信号（Ｓｍ）を加工或いは利用して、ハーモニー音高決定手段により決定された音高（Ｎｈ）を有するハーモニー音（Ｓｂ；Ｓｅ）を生成するハーモニー音生成手段（Ｈ，Ｊ，Ｌ；Ｎ，Ｐ）とを具備するハーモニー音生成装置〔請求項２〕、並びに、音声信号（Ｓｍ）を入力する音声入力手段（１４，７）を具備し、ハーモニー音生成装置として機能するコンピュータに、音域を設定する音域設定ステップ（Ｄ）と、音高情報を供給する音高情報供給ステップ（Ａ）と、音高情報供給ステップで供給された音高情報の音高が音域設定ステップで設定された音域に入るか否かを判定し、当該音高が該音域に入るときは当該音高を有効とし、当該音高が該音域に入らないときには当該音高を該音域に入るように修正する音高調整ステップ（Ｆ）と、音高調整ステップで有効とされた音高（Ｐｉ，Ｐｈ）或いは修正された音高（Ｐｉ，Ｐｈ）に基づいてハーモニー音の音高（Ｎｈ）を決定するハーモニー音高決定ステップ（Ｇ）と、音声入力手段により入力された音声信号（Ｓｍ）を加工或いは利用して、ハーモニー音高決定ステップで決定された音高（Ｎｈ）を有するハーモニー音（Ｓｂ；Ｓｅ）を生成するハーモニー音生成ステップ（Ｈ，Ｊ，Ｌ；Ｎ，Ｐ）とから成る手順を実行させるハーモニー音生成プログラム〔請求項４〕が提供される。
【発明の効果】
【０００７】
この発明の第１の特徴（請求項１，３）によると、入力された音声信号（Ｓｍ）のピッチ（Ｐｍ）に基づいて決定された音高（Ｎｈ）のハーモニー音（Ｓｂ）を生成する（Ｈ，Ｊ，Ｌ；Ｎ，Ｐ）ハーモニー音生成システムにおいて、音域設定機能（Ｄ）を設け、検出された音声信号のピッチが、音域設定機能により設定された音域から外れる場合に、設定された音域内に入るように修正するか或いは無視する（Ｅ）ように構成しているので、音声の音高に応答したハーモニー音がユーザの意図しない音域で発生しないようにし、ユーザが意図した音域におけるハーモニー音を確実に生成することができる。
【０００８】
この発明の第２の特徴（請求項２，４）によると、供給された演奏情報の音高（Ｐｉ，Ｐｈ）に基づいて決定された音高（Ｎｈ）のハーモニー音（Ｓｂ）を生成する（Ｈ，Ｊ，Ｌ；Ｎ，Ｐ）ハーモニー音生成システムにおいて、音域設定機能（Ｄ）を設け、供給された演奏情報の音高が、音域設定機能により設定された音域から外れる場合は、設定された音域内に入るように修正する（Ｆ）ように構成しているので、演奏音の音高に応答したハーモニー音がユーザの意図しない音域で発生しないようにし、ユーザが意図した音域におけるハーモニー音を確実に生成することができる。
【発明を実施するための最良の形態】
【０００９】
〔システムの概要〕
この発明の一実施例によるハーモニー音生成システムの機能が組み込まれる電子音楽装置は、ハーモニー音生成処理を含む音楽情報処理機能を有する一種のコンピュータであり、電子楽器などの音楽専用機器や、所定の音楽情報処理機能を有するパーソナルコンピュータ等の汎用の情報処理装置が用いられる。図１は、この発明の一実施例によるハーモニー音生成システムが構築される電子音楽装置のハードウエア構成ブロック図を示す。
【００１０】
この電子音楽装置は、中央処理装置（ＣＰＵ）１、ランダムアクセスメモリ（ＲＡＭ）２、読出専用メモリ（ＲＯＭ）３、記憶装置４、演奏操作検出回路５、設定操作検出回路６、Ａ／Ｄ変換回路７、表示回路８、音源・効果回路９、通信インターフェース（Ｉ／Ｆ）１０などを備え、これらの要素１〜１０はバス１１を介して互いに接続される。
【００１１】
ＣＰＵ１は、ＲＡＭ２及ＲＯＭ３と共にデータ処理部を構成し、ハーモニー音生成プログラムを含む所定の制御プログラムに従い、タイマによるクロックを利用してハーモニー音生成処理を含む種々の音楽情報処理を実行する。ＲＡＭ２は、これらの処理に際して必要な各種データを一時記憶するためのワーク領域として用いられる。また、ＲＯＭ３には、これらの処理を実行するために、ハーモニー音生成プログラムを含む各種制御プログラムやプリセットされたエフェクト（効果）テーブル、演奏データ等が予め記憶される。
【００１２】
記憶装置４は、ＨＤ（ハードディスク）、ＦＤ（フレキシブルディスク）、ＣＤ（コンパクトディスク）、ＤＶＤ（デジタル多目的ディスク）、フラッシュメモリなどの半導体メモリなどの記憶媒体と、その駆動装置を含み、任意の制御プログラムやテーブル、演奏データ等を任意の記憶媒体に記憶することができる。また、記憶媒体は、着脱可能であってもよいし、電子音楽装置に内蔵されていてもよい。
【００１３】
演奏操作検出回路５は、鍵盤などの演奏操作子１２と共に演奏操作部を構成し、演奏操作子１２の演奏操作を検出して検出内容に対応する演奏操作情報をデータ処理部（１〜３）に導入する。データ処理部は、この演奏操作情報を処理して得られる実演奏データを音源・効果回路９に送ったり、自動演奏データとして記憶装置４に記憶することができる。設定操作検出回路６は、スイッチやマウス等の設定操作子（パネル操作子）１３と共に設定操作部を構成し、設定操作子１３の操作内容を検出して検出内容に対応する設定情報をデータ処理部に導入する。例えば、設定操作子１３には、第１及び第２モードなどを指定するモード指定スイッチ、音域指定用操作子、ハーモニータイプ指定用操作子、音色指定用操作子、効果選択用操作子などが含まれる。
【００１４】
また、Ａ／Ｄ変換回路７は、マイクロフォン１４と共に音声入力部を構成し、マイクロフォン１４から入力される音声信号（マイク音）をＡ／Ｄ変換してデータ処理部に導入する。表示回路８は、演奏や設定に必要な各種画面を表示するＬＣＤ等のディスプレイ１５や、インジケータ／ランプを備え、これらの表示・点灯内容をデータ処理部からの指令に従って制御し、演奏操作や設定操作、マイク音入力などに関する表示援助を行う。
【００１５】
音源・効果回路９は、音源やＤＳＰを有し、演奏操作部（１２−５）の演奏操作情報から得られる実演奏データやＲＯＭ３又は記憶装置４から得られる自動演奏データに基づいて楽音信号を生成すると共にその楽音信号（演奏音信号）に効果を付与したり、Ａ／Ｄ変換回路７からの音声信号に効果を付与したり、各種ハーモニー音生成用パラメータ等に基づいて楽音信号や音声信号を制御してハーモニー音信号を生成すると共にそのハーモニー音信号に効果を付与することができる。サウンドシステム１６は、Ｄ／Ａ変換部やアンプ、スピーカ等を備え、音源・効果回路８から出力される楽音信号や音声信号、ハーモニー音信号に基づく楽音（演奏音）や音声、ハーモニー音を発生する。
【００１６】
通信Ｉ／Ｆ１０は、ＭＩＤＩ等の音楽専用有線Ｉ／Ｆ、ＵＳＢやＩＥＥＥ１３９４等の汎用近距離有線Ｉ／Ｆ、Ｅｔｈｅｒｎｅｔ（登録商標）等の汎用ネットワークＩ／Ｆ、無線ＬａｎやＢｌｕｅｔｏｏｔｈ（登録商標）等の汎用近距離無線Ｉ／Ｆなどの１又は複数を含み、他の音楽機器との間でＭＩＤＩ演奏データを授受したり、外部のサーバコンピュータ等から制御プログラムやデータ等を受信し記憶装置４に保存することができる。
【００１７】
なお、この電子音楽装置をＰＣで構成する場合は、演奏操作子１２は外付けされる。また、サーバコンピュータは、図１と同様のハードウエア構成を有するが、演奏操作子や演奏操作検出回路、音源・効果回路などはなくてもよい。
【００１８】
〔ボコーダを用いるハーモニー音生成システム〕
この発明の一実施例によるハーモニー音生成システムにおいては、ボコーダを用い入力音声を利用して楽音信号を加工することにより、入力音声のピッチ或いは演奏情報の音高に基づいて決定される音高のハーモニー音を生成する際に、入力音声のピッチ或いは演奏情報の音高を音域調整して、ユーザが意図しない音域でのハーモニー音を発生させないようにしたり、ハーモニータイプの設定に応じて自動的に音声やハーモニー音に適切な効果をプリセットすることができる。
【００１９】
図２は、この発明の一実施例によるボコーダを用いたハーモニー音生成システムの機能ブロック図を示す。このハーモニー音生成システムでは、音声入力部（マイク音入力部）１４−７、音高情報供給部Ａ、和音情報供給部Ｂ、ハーモニータイプ設定部Ｃ、音域設定部Ｄ、ピッチ検出部Ｅ１及びピッチ修正部Ｅ２から成るピッチ調整部Ｅ、音高調整部或いは音高修正部Ｆ、ハーモニー音決定部Ｇ、音源Ｈ、特徴抽出部Ｊ１及びフォルマントフィルタ部Ｊ２から成るボコーダ部Ｊ、演奏音効果付与部Ｋ、ハーモニー音効果付与部Ｌ、音声効果付与部Ｍなどによりハーモニー音生成システムが構成され、ピッチ調整部Ｅは第１モード（ピッチ検出型モード）でのみ動作し、音高調整部Ｆは第２モード（音高指定型モード）でのみ動作する。また、機能部Ａ〜Ｇはデータ処理部１〜３の機能に対応し、機能部Ｈ〜Ｍは音源・効果回路９の機能に対応している。
【００２０】
図３は、この発明の一実例によるハーモニー音生成システムにおいてボコーダ部を構成するボコーダ（ Vocoder）の機能を説明するための図である。ボコーダの原理は、人が声を出すしくみに関係がある。人は声帯で発生する音を口や鼻で共振させて声を出しているが、ボコーダの共振部は、周波数特性を持つ一種のフィルタとして働き、マイク入力から抽出した特徴を用いて電子楽器の音源から入力された楽器音を加工し多数のフォルマント（Ｆｏｒｍａｎｔ）を発生させる。つまり、ボコーダＪは、図３（１）に示すように、マイクロフォン１４からＡ／Ｄ変換器を介して入力された音声（マイク音）信号Ｓｍからフィルタに対する音声の特徴を抽出し（Ｊ１）、音源Ｈからの演奏音（楽器音）信号Ｓｉを多数のバンドパスフィルタ（ＢＰＦ）に通すことによって音声のフォルマントを再現するボコーダ音信号（所謂「ロボットボイス」）Ｓｖを作り出す。例えば、マイクを使ってしゃべりながら鍵盤を弾くと楽器音をロボットボイスのように発音させることができる。
【００２１】
図３（２）に示す構成例に従ってより詳細に説明すると、音声信号Ｓｍに対して所定周波数帯域毎に設けられた複数（ｎ）の共振部（Ｂａｎｄ１〜ｎ）は、それぞれ、特徴抽出用のフィルタ（ＢＰＦｍ１〜ＢＰＦｍｎ）及びレベル検出器、フォルマント再現用のフィルタ（ＢＰＦｉ１〜ｉｎ）、音量制御器及び出力増幅器（Ｇ１〜Ｇｎ）などにより構成される。マイク入力の音声信号Ｓｍは、ノイズゲートでノイズ成分が除去された後、各共振部（Ｂａｎｄ１〜ｎ）において、特徴抽出用フィルタ（ＢＰＦｍ１〜ｍｎ）により各帯域の周波数成分が検出され、レベル検出器により各周波数成分のレベルが検出される。
【００２２】
音源Ｈからの演奏音信号Ｓｉは、ボコーダ内で発生させたノイズが加算された後、各共振部（Ｂａｎｄ１〜ｎ）のフォルマント再現用フィルタ（ＢＰＦｉ１〜ＢＰＦｉｎ）を通じて各帯域の周波数成分が抽出され音量制御器に導入される（なお、ＢＰＦｍ１〜ｍｎとＢＰＦｉ１〜ｉｎのカットオフ周波数はシフト量又はオフセット量の設定で異ならせることができ必ずしも一致しない）。各音量制御器では、演奏音信号Ｓｉの各周波数成分の音量が音声信号Ｓｍの各周波数成分レベルに応じて制御され、各出力増幅器（Ｇ１〜Ｇｎ）を通じて各共振部（Ｂａｎｄ１〜ｎ）から出力される。
【００２３】
そして、各共振部（Ｂａｎｄ１〜ｎ）からの出力信号を加算した信号に、音声信号Ｓｍのハイパスフィルタ（ＨＰＦ）通過信号を加算し（Ｗｅｔ）、さらに、演奏音信号Ｓｉ（Ｄｒｙ）を加算することにより、ボコーダ音信号Ｓｖが得られる。
【００２４】
さて、図２の機能ブロック図の説明に戻ると、音高情報供給部Ａは、演奏操作部１２−５からの実演奏情報を処理するデータ処理部１〜３の実演奏処理機能部分（実演奏装置）や、ＲＯＭ３又は記憶装置４からの演奏データを処理するデータ処理部１〜３の自動演奏処理機能部分（自動演奏装置）に対応し、演奏操作部１２−５の実演奏情報から得られる実演奏データや、記憶装置４から読み出した自動演奏データに従って、順次、１乃至複数の演奏情報Ｎｐを音源Ｈに供給すると共に和音情報供給部Ｂに対して必要な演奏情報を供給し、第２モードでは更に音高調整部Ｆにも必要な音高情報（例えば、メロディ演奏やハーモニー演奏による音高情報Ｐｉ，Ｐｈ）を供給する。なお、自動演奏の際に利用される自動演奏データに和音進行データが含まれている場合は、この和音進行データ自体を和音情報供給部Ｂに供給するようにしてもよい。
【００２５】
和音情報供給部Ｂは、音高情報供給部Ａから供給された音高情報を元に和音（コード）を検出することで和音を特定し、特定した和音を表わす和音情報（コード情報）Ｃｄをハーモニー音決定部Ｇに供給する。なお、自動演奏データ中に和音進行データが含まれている場合は、音高情報供給部Ａから供給された和音進行データを構成する和音情報Ｃｄを順次ハーモニー音決定部Ｇに供給する。
【００２６】
ハーモニータイプ設定部Ｃは、設定操作子１３におけるハーモニータイプ指定用操作子の操作に基づいて、生成すべきハーモニー音のタイプ（ハーモニータイプ）を指定するタイプ指定情報Ｔｈをハーモニー音決定部Ｇに与える。このタイプＴｈは、ハーモニータイプと呼ばれ、後述するように、大まかにボコーダタイプとコーダルタイプ（和音タイプ）とに分けられる。ハーモニータイプ設定部Ｃは、また、ハーモニータイプＴｈの設定状態に対応して、ボコーダ音信号Ｓｖ及び音声信号Ｓｍに夫々付与される効果の種類Ｅｂ，Ｅｃを自動的にプリセットすることができる。効果設定については、ユーザによる効果選択操作がない場合や「プリセット」の指定操作があった場合は、標準設定モードとなり、ハーモニータイプ設定部Ｃは、設定したハーモニータイプＴｈに応じて自動設定された効果種類Ｅｂ，Ｅｃを指定する効果指定情報を夫々ハーモニー音及び音声効果付与部Ｌ，Ｍに出力する。
【００２７】
音声入力部（マイク音入力部）１４−７では、マイクロフォン１４から、歌唱、楽器音などの少なくともピッチを検出することができるアナログの音声信号（波形信号）が入力され、入力された音声信号はＡ／Ｄ変換回路７によりＡ／Ｄ変換されてこのハーモニー音生成システムで利用可能なディジタルの音声信号Ｓｍに変換される。
【００２８】
音域設定部Ｄは、設定操作子１３における音域指定用操作子の操作に基づいて、音声入力部１４−７から入力される音声信号に想定される音域（ピッチ範囲）を設定し、例えば、ユーザは、音域設定操作により、自分が歌える音域を設定することができる。音域設定部Ｄは、また、設定された音域（設定音域）を表わす音域指定情報を、第１モードではピッチ調整部Ｅに出力し、第２モードでは音高調整部Ｆに出力する。
【００２９】
ハーモニー音の決定に音声のピッチ情報が用いられる第１モードでは、ピッチ調整部Ｅが能動化され、ハーモニー音決定に用いられるピッチ情報が調整される。このため、ピッチ調整部Ｅにおいては、まず、ピッチ検出部Ｅ１で、音声入力部１４−７から入力される音声信号Ｓｍのピッチを検出し、続くピッチ修正部Ｅ２では、検出された音声信号Ｓｍのピッチが、音域設定部Ｄからの音域指定情報により指定される設定音域に入っているか否かを判定し、判定結果に応じてピッチ情報を処理する。すなわち、ピッチ検出部Ｅ１で検出された音声信号Ｓｍのピッチが設定音域に入っている場合は、そのピッチ情報Ｐｍをそのままハーモニー音決定部Ｇに出力し、設定音域に入っていない場合には、検出されたピッチをオクターブシフトして設定音域内に入るように修正して修正後のピッチ情報Ｐｍをハーモニー音決定部Ｇに出力するか、或いは、ピッチ検出部Ｅ１でのピッチ検出が失敗したとみなして音声入力を無視する。ハーモニー音決定部Ｇでは、ピッチ調整部Ｅからのピッチ情報Ｐｍが、ハーモニー音の音高（ピッチ）Ｎｈを決定するための基準音を示す入力音情報として用いられる。
【００３０】
一方、ハーモニー音の決定に演奏音の音高情報が用いられる第２モードでは、ピッチ調整部Ｅに代わって音高調整部Ｆが能動化され、ハーモニー音決定に用いられる演奏音の音高情報（例えば、メロディ演奏の音高情報Ｐｉ）が調整される。音高調整部Ｆは、音高情報供給部Ａから供給された音高情報が示す演奏音の音高が音域設定部Ｄからの音域指定情報により指定される設定音域に入っているか否かを判定し、演奏音の音高が設定音域に入っている場合は、その音高情報Ｐｉをそのままハーモニー音決定部Ｇに出力し、設定音域に入っていない場合には、演奏音の音高をオクターブシフトして設定音域内に入るように修正して修正後の音高情報Ｐｉをハーモニー音決定部Ｇに出力する。ハーモニー音決定部Ｇでは、音高調整部Ｆからの音高情報Ｐｉが、ハーモニー音の音高Ｎｈを決定するための基準音を示す入力音情報として用いられる。
【００３１】
第２モードでは、音高情報供給部Ａからの演奏音高情報（Ｐｉ）及び和音情報供給部Ｂからの和音情報Ｃｄをハーモニー音決定部Ｇに供給するのに代えて、破線で示すように、ハーモニー演奏に基づく音高情報Ｐｈをハーモニー音決定部Ｇに供給してハーモニー演奏に基づきハーモニー音を決定することができる。この場合も、音高情報Ｐｉと同様に、ハーモニー演奏の音高を音高調整部Ｆで調整し、調整されたハーモニー演奏音高情報Ｐｈをハーモニー音決定部Ｇに供給する。
【００３２】
ハーモニー音決定部Ｇは、ハーモニータイプ設定部Ｃからのタイプ指定情報Ｔｈで指定されるハーモニータイプに応じて、入力音情報（Ｐｍ，Ｐｉ）及び和音情報Ｃｄ、或いはハーモニー演奏音高情報Ｐｈに基づく１乃至複数のハーモニー音の音高（ピッチ）Ｎｈを決定し、決定した音高Ｎｈのハーモニー音情報を音源Ｈに供給する。
【００３３】
音源Ｈは、ハーモニー音決定部Ｇから供給されたハーモニー音情報Ｎｈ及び音高情報供給部Ａからの演奏音情報Ｎｐに基づいて楽音信号Ｓｉ，Ｓｊを生成する。生成された楽音信号のうち、ボコーダ部Ｊに供給すべき演奏パートの楽音信号Ｓｉは、ボコーダ部Ｊに供給される。なお、ハーモニータイプＴｈが「ボコーダ」の場合、演奏操作子１２の演奏操作に基づく実演奏データや自動演奏データにおける所定演奏パートの演奏音情報Ｎｐに対応する楽音信号Ｓｉがボコーダ部Ｊに供給される。例えば、ボコーダ効果を付与したいパートを上鍵盤（メロディパート）とすると、上鍵盤に設定された音色の楽音信号Ｓｉがボコーダ部Ｊに供給される。また、その他の演奏パートの楽音信号Ｓｊは、演奏音効果付与部Ｋに供給され、演奏音効果付与部Ｋは、その他の演奏パートの楽音信号に当該パートに設定された効果情報に従って効果を付与し、効果が付与されたその他パートの楽音信号Ｓａを演奏音信号としてサウンドシステム１６に出力する。
【００３４】
ボコーダ部Ｊでは、特徴抽出部Ｊ１によって、Ａ／Ｄ変換回路７でアナログに変換された音声信号から、入力音声信号の特徴を抽出し、その特徴に基づいてフォルマントフィルタＪ２の特性を制御する。音源Ｈからボコーダ部Ｊに供給された楽音信号ＳｉがフォルマントフィルタＪ２を通過することで、ロボットボイスのような独特の音質を有するボコーダ音信号Ｓｖに変換される。
【００３５】
ボコーダ部Ｊを通過した楽音信号Ｓｖは、ハーモニー音効果付与部Ｌに供給され、所定の効果が付与されハーモニー音出力信号Ｓｂとしてサウンドシステム１６に出力される。効果付与部Ｌは、標準設定モードでは、ハーモニータイプ設定部Ｃから入力された効果指定情報Ｅｂによる指定に従って効果を付与する。つまり、付与される効果のタイプはユーザが任意に選択できるが、「プリセット」を選択しておくことにより、ハーモニータイプＴｈに応じて適切な効果種類Ｅｂを設定することができるようになっている。
【００３６】
マイクロフォンからの音声信号Ｓｍは、音声効果付与部Ｍに供給され、所定の効果が付与され音声出力信号Ｓｃとしてサウンドシステム１６に出力される。音声効果付与部Ｍは、標準設定モードでは、ハーモニータイプ設定部Ｃからの効果指定情報Ｅｃによる指定に従って音声信号Ｓｍに効果が付与されるが、音声効果付与部Ｍで付与される効果が任意に選択可能である点は、ハーモニー音効果付与部Ｌと同様である。なお、ハーモニータイプＴｈに応じて効果種類が自動設定されるのは、ハーモニー音効果付与部Ｌ及び音声効果付与部Ｍの両方でもよいし、何れか一方でもよい。
【００３７】
以上のように、このハーモニー音生成システムにおける音声ピッチ或いは演奏音高の調整に関する特徴によれば、ハーモニー音に対応する音域を設定しておき（Ｄ）、第１モードでは、入力された音声信号Ｓｍのピッチが設定音域に入る場合はそのピッチを有効とし、外れる場合は設定音域内に入るように音声ピッチを修正するか無視し（Ｅ）、第２モードでは、供給された演奏情報の音高が設定音域に入る場合はその音高を有効とし、外れる場合は設定音域内に入るように演奏音高を修正する（Ｆ）。次いで、有効とされた又は修正された音声信号ＳｍのピッチＰｍ或いは演奏情報の音高Ｐｉ，Ｐｈに基づいてハーモニー音の音高Ｎｈを決定する（Ｇ）。そして、音声信号Ｓｍを利用して、ハーモニー音高Ｎｈをもつ楽音信号Ｓｉ（Ｈ）を加工し（ボコーダ）、ハーモニー音信号Ｓｂを生成するか（Ｊ）、或いは、ハーモニー音高Ｎｈをもつように音声信号Ｓｍを加工（ピッチ変換）してハーモニー音信号を生成する。この特徴により、ユーザが意図した音域におけるハーモニー音を生成することができる。
【００３８】
また、このハーモニー音生成システムのハーモニータイプ設定に関する特徴によれば、ハーモニー音のタイプＴｈを設定すると、設定したタイプＴｈに応じて、ハーモニー音又は音声に付与すべき効果の種類Ｅｂ，Ｅｃが自動設定される（Ｃ）。次いで、設定されたタイプＴｈと入力された音声信号ＳｍのピッチＰｍに基づいて（第１モード）、或いは、設定されたタイプＴｈと供給された音高情報Ｐｉ，Ｐｈの音高に基づいて（第２モード）、ハーモニー音高Ｎｈを決定し（Ｇ）、音声信号Ｓｍを利用してハーモニー音高Ｎｈを有するハーモニー音信号Ｓｖを生成する（Ｊ）。そして、生成されたハーモニー音信号Ｓｖ又は音声信号Ｓｍに、設定された種類の効果Ｅｂ，Ｅｃが付与される（Ｌ，Ｍ）。なお、ハーモニー音信号の生成については、ハーモニー音高Ｎｈをもつように音声信号Ｓｍを加工（ピッチ変換）してハーモニー音信号を生成するようにしてもよい。この特徴により、音楽的知識や効果種類に関する知識を有していなくても、ハーモニー音の種類に応じた適切な効果種類を設定することができる。
【００３９】
〔音域設定及び音域判定処理〕
音域設定部Ｄにおける音域設定には、例えば、次の（１）〜（４）のような方法を採用することができる：
（１）具体的な音高範囲（例えば、「Ｃ３〜Ｃ５」）を指定する。
（２）「男性」、「女性」、「大人」、「子供」などの性別や年代に関連した用語を指定する。この方法は、各性別や年代毎に発生可能な音声の音域がおおよそ決まっていることによるものである。
（３）「ソプラノ」、「アルト」、「テノール」、「バス」などの声域を指定する。
（４）実際にユーザが音声を発してそのピッチを検出し、検出された最高ピッチと最低ピッチとの間を設定音域とする。この場合、音域設定モードを設け、音域設定モードでピッチ検出部Ｅ１を動作し、ピッチ検出部Ｅ１で検出されたピッチの最高値と最低値を用いて音域を設定するように構成することができる。
【００４０】
第１モードでは、ピッチ調整部Ｅにおいて、入力された音声のピッチが音域設定の範囲との関係に応じて調整され、第２モードでは、音高調整部Ｆにおいて、供給された演奏音の音高が音域設定との関係に応じて調整され、調整されたピッチ或いは音高がハーモニー音決定部Ｇへの入力音となる。図４は、ピッチ調整部及び音高調整部における音声ピッチ及び演奏音高の調整作用を説明するための図であり、図５は、ピッチ調整部又は音高調整部における音域判定処理を表わすフローチャートである。
【００４１】
ピッチ調整部Ｅは、第１モードにおいて、図４（１）に示すようなピッチ調整作用を行う。ここで、Ａ／Ｄ変換回路７から入力される音声信号Ｓｍのピッチが設定音域内のピッチであるとする。例えば、ユーザは、自分が歌える音域を設定音域に設定しておくことで、ａのように、入力される音声信号Ｓｍのピッチが設定音域内となる。
【００４２】
ピッチ調整部Ｅのピッチ検出部Ｅ１では、何らかの理由により入力音声信号Ｓｍのピッチが誤検出されて、ピッチ修正部Ｅ２により、ｂのように、設定音域から外れたピッチであると判定される場合がある。つまり、音声は元々ピッチ検出に使いよい音ではなく、ピッチ検出部Ｅ１は、システムの性能上、精度はよいが外乱（周囲音ノイズ）を拾い易いということから、音声ピッチを誤検出する場合が多い。この場合、ピッチ修正部Ｅ２により、ｃのように、ピッチ検出部Ｅ１で検出されたピッチをオクターブシフトして設定音域内に入るように修正するか、或いは、ｄのように、ピッチ検出結果を無効とする。そして、ハーモニー音決定部Ｇでは、このようにシフトされたピッチに基づいてハーモニーの音高を決める。また、無効としたときはハーモニー音無しとする。
【００４３】
一方、音高調整部Ｆでは、第２モードにおいて、図４（２）に示すような音高調整作用が行われる。実演奏データに基づいて演奏を行う実演奏時において、演奏操作子１２の操作により演奏される音高は、演奏操作子１２の物理的な音域や、演奏時の左右手の関係などにより制限され、設定音域により指示される所望音域の音高とすることができないことがある。このように、演奏された音高が設定音域から外れた場合、音高調整部Ｆにより、この音高をオクターブシフトして設定音域内に入るように修正する。そして、ハーモニー音決定部Ｇでは、このようにシフトされた音高に基づいてハーモニーの音高を決める。
【００４４】
以上のようなピッチ調整部Ｅのピッチ修正部Ｅ１におけるピッチの調整作用又は音高調整部（音高修正部）Ｆにおける音高の調整作用は、図５の音域判定処理フローにより実行される。すなわち、第１モードにおいて、ピッチ修正部Ｅ１は、ピッチ検出部Ｅ１からピッチ検出結果が与えられると、まず、ステップＳ１において、ピッチ検出部Ｅ１で検出された音声のピッチが設定音域外にあるか否かを判定し、設定音域外にあるときは（Ｓ１＝ＹＥＳ）、ステップＳ２に進み、当該ピッチを設定音域内へと修正するか或いは無視する。そして、検出された音声ピッチが設定音域内にあると判定したとき（Ｓ１＝ＮＯ）及びステップＳ２の処理の後は、次のピッチ検出結果を待機する状態にリターンする。
【００４５】
また、第２モードにおいて、音高修正部Ｆは、音高情報供給部Ａから演奏データの音高情報が与えられると、まず、ステップＳ１において、供給された音高情報が示す音高即ち演奏された音高が設定音域外にあるか否かを判定し、設定音域外にあるときは（Ｓ１＝ＹＥＳ）ステップＳ２に進み、当該音高を設定音域内へと修正する。そして、演奏された音高が設定音域内にあると判定したとき（Ｓ１＝ＮＯ）及びステップＳ２の処理の後は、次の音高情報の供給を待機する状態にリターンする。
【００４６】
〔発音系列とパートの構成例〕
このシステムの発音系列は、図２に示すように、入力演奏音情報Ｎｐから楽音信号Ｓｊを経て演奏音信号Ｓａを出力する演奏音発音系列と、ハーモニー音情報Ｎｈから楽音信号Ｓｉを経てハーモニー音信号Ｓｂを出力するハーモニー音発音系列と、入力音声信号Ｓｍから音声信号Ｓｃを出力する音声発音系列から成るが、音源部Ｈの音源パート（楽音信号生成系列）から発音系列をみてみよう。図６は、この発明の一実施例による発音系列とパートの構成例を示し、演奏操作子１２が、例えば、上鍵盤（ＵＫ）、下鍵盤（ＬＫ）及びペダル鍵盤（ＰＫ）を備えるシステムでは、図示のような発音系列で表わされる。
【００４７】
ここで、ハーモニータイプ設定部Ｃで設定されるハーモニータイプＴｈの機能について説明すると、ハーモニータイプＴｈは、図７（１）及び図８（２）のように、ハーモニー音生成モードでない通常演奏モードを指示するＴｈ＝「スルー」の外に、「ボコーダタイプ」と「コーダルタイプ」があり、ボコーダタイプは、１つのタイプＴｈ＝「ボコーダ」から成り、入力音（Ｐｍ，Ｐｉ）に対応するパートの演奏音に直接ボコーダ効果を付与すべきことを指示する。また、コーダルタイプは、複数のタイプＴｈ＝「デュエット１」、「デュエット２」、…から成り、入力音（Ｐｍ，Ｐｉ）に対して和音的な種々の音にボコーダ効果を付与すべきことを指示する。なお、ボコーダ効果を付与したいパート或いはボコーダ効果が付与される音を決める際の基準としたいパートは、例えば、上鍵盤右鍵域（メロディ演奏音Ｎｐ１）に対応するＵＫパート（メロディパート）に予め設定される。
【００４８】
図６には示されていないが、Ｔｈ＝「スルー」の通常演奏モードでは、音高情報供給部Ａは、各鍵盤（ＵＫ〜ＰＫ）の演奏に基づく演奏音情報Ｎｐ＝Ｎｐ１〜Ｎｐ３を音源部Ｈに供給し、音源部Ｈは、各鍵盤に対応するＵＫパート、ＬＫパート及びＰＫパートに設定された所定音色の楽音信号生成系列で各演奏音情報に基づく楽音信号を生成する。
【００４９】
上述のように上鍵盤のメロディ演奏音Ｎｐ１に対応するＵＫパートがボコーダ効果付与パートに設定されている場合に、ハーモニータイプＴｈ＝「ボコーダ」即ちボコーダタイプが指定されると、図６（１）に示すようなパート構成となる。すなわち、第１モードでは、ハーモニー音決定部Ｇにおいて、ピッチ調整部Ｅで調整（検出及び修正）されたピッチ情報Ｐｍが示す音高がボコーダ音の音高Ｎｈに決定され、音源部Ｈは、ＵＫパート（メロディパート）で、メロディ演奏音Ｎｐ１の楽音生成パラメータ（音高以外の音長、強さ等）と決定された音高Ｎｈ＝Ｐｍに従って、このパートに対応する所定音色（例えば、オルガン音色）を持つ音高Ｎｈ＝Ｐｍの楽音信号Ｓｉを生成する。また、第２モードでは、音高調整部Ｅで調整（修正）されたメロディ演奏音Ｎｐ１の音高情報Ｐｉが示す音高がボコーダ音の音高Ｎｈに決定され、音源部Ｈは、ＵＫパートで、メロディ演奏音Ｎｐ１に対応する所定音色（例えば、オルガン音色）で音高Ｎｈ＝Ｐｉの楽音信号Ｓｉを生成する。
【００５０】
そして、ボコーダ部Ｊは、音声信号Ｓｍにより、ＵＫパートの所定音色楽音信号Ｓｉを加工（楽音信号Ｓｉにボコーダ効果を付与）し、これにより得られたボコーダ音信号Ｓｖをハーモニー音効果付与部Ｌに送る。また、他のＬＫ及びＰＫパートでは、通常演奏モードと同様に、夫々の演奏音情報Ｎｐ２，Ｎｐ３に対応して生成される楽音信号Ｓｊが演奏音効果付与部Ｋに送られる。なお、Ｔｈ＝「ボコーダ」が指定された場合のボコーダ音Ｓｂは、厳密には「ハーモニー音」とは呼べないかも知れないが、音声（音声出力Ｓｃ）や他の楽音（演奏音出力Ｓａ）と共に発音される音（Ｓｂ）であるため、この明細書では「ハーモニー音」と呼ばれる。
【００５１】
一方、ハーモニータイプＴｈがコーダルタイプに指定されたときは、図６（２）に示すようなパート構成となる。すなわち、第１モードでは、ハーモニー音決定部Ｇにて、ピッチ調整部Ｅからのピッチ情報Ｐｍが示す音高と和音情報Ｃｄに基づきハーモニー音の音高Ｎｈが決定され、第２モードにおいても、標準的には、第１モードと同様に、音高調整部Ｆから入力されるメロディ演奏音Ｎｐ１の音高情報Ｐｉが示す音高と和音情報Ｃｄに基づいてハーモニー音高Ｎｈが決定される。この場合、コーダルタイプの各種類Ｔｈ＝「デュエット１」、「デュエット２」、…に応じて、ハーモニー音高Ｎｈの付き方が異なる。なお、第２モードについてのみ、タイプＴｈ＝「ハーモニー１」、「ハーモニー２」〔図８（２）参照〕があり、これらのタイプが設定されている場合は（ハーモニー演奏モード）、ハーモニー演奏音情報Ｐｈによりハーモニー音高Ｎｈが決定される。
【００５２】
また、ハーモニータイプがコーダルタイプの場合、音源部Ｈは、ハーモニー音パートと呼ばれる専用パートで、基準としたいパートに設定されたメロディパートの演奏音Ｎｐ１の楽音生成パラメータ（音高以外の音長、強さ等）と決定されたハーモニー音高Ｎｈ（＝Ｐｍ，Ｐｉ）に従って、この専用パートに対応して予め設定された所定音色（例えば、バイオリン音色）を持つ音高Ｎｈの楽音信号Ｓｉを生成する。なお、ハーモニー音パートの設定音色は、このシステムで１種類が固定的に設定されていてもよいし、ハーモニータイプに対応付けて設定されていてもよいし、ユーザによる音色指定用操作子の操作（音色設定操作）により予め任意に選択してもよい。この場合の音色は、ボコーダ部Ｊを通過した楽音信号Ｓｖがあたかも人の声に類似するような特性の楽音を表わしたものであることが望ましく、一例として、バイオリンやサックスのような持続音で且つ人の音声と近似した周波数特性を有した楽音が好ましい。
【００５３】
そして、ハーモニー音パートでは、ボコーダ部Ｊは、音声信号Ｓｍにより設定音色の楽音信号Ｓｉを加工（楽音信号Ｓｉにボコーダ効果を付与）し、これにより得られるボコーダ音信号Ｓｖをハーモニー音効果付与部Ｌに送る。また、他のＵＫ乃至ＰＫパートでは、通常演奏モードと同様に、夫々の演奏音情報Ｎｐ１〜Ｎｐ３に対応して生成される楽音信号Ｓｊが演奏音効果付与部Ｋに送られる。
【００５４】
〔ハーモニー音の付け方〕
ハーモニー音決定部Ｇでは、ハーモニータイプ設定部Ｃで設定されたハーモニータイプＴｈに従って演奏音にハーモニー音を付け、当該ハーモニー音の音高Ｔｈを表わすハーモニー音情報を生成する。図７は、この発明の一実施例によるハーモニー音の付け方の例を示す。図７（１）において、前述したように、ハーモニータイプＴｈ＝「スルー」は、ハーモニー音を生成しない通常演奏モードを指示し、Ｔｈ＝「ボコーダ」は、入力音Ｐｍ，Ｐｉの音高をハーモニー音Ｔｈ１の音高にすべきことを指示する。
【００５５】
「デュエット１」以下のハーモニータイプＴｈは、前述したように「コーダルタイプ」と総称され、※印を付した「ハーモニー１」及び「ハーモニー２」〔図８（２）参照：第２モードでのみ動作可能〕を除いて、基準入力音Ｐｍ，Ｐｉと和音情報Ｃｄに基づいてハーモニー音Ｔｈ：Ｔｈ１，Ｔｈ２，…の音高にすべきことを指示する（記号“Ｎｈ”は、ハーモニー音又はその音高を代表的に表わす）。図７（１）中で、入力音の「上」は、入力音Ｐｍ，Ｐｉを、和音情報Ｃｄが示す和音構成音の根音とした場合、入力音Ｐｍ，Ｐｉのすぐ上に位置する和音構成音の音高を表わし、入力音の「上上」は、同様の場合、入力音Ｐｍ，Ｐｉの上で２番目に位置する和音構成音の音高を表わし、入力音の「下」は、同様に、入力音Ｐｍ，Ｐｉのすぐ下に位置する和音構成音の音高を表わす。また、「ｏｃｔ」はオクターブを表わし、例えば、「１ｏｃｔ下」は、入力音Ｐｍ，Ｐｉの１オクターブ下に位置するすぐ下の和音構成音の音高を表わす。
【００５６】
つまり、※印を除くコーダルタイプが指定された場合、ハーモニー音決定部Ｇでは、入力音の音高Ｐｍ，Ｐｉに対し、１乃至複数の上及び／又は下の和音構成音の音高Ｎｈ１，Ｎｈ２，…をハーモニー音の音高Ｎｈに決定し、コーダルタイプの種類に応じて、構成音の付き方が異なる。例えば、図７（２）に示すように、和音情報Ｃｄが、音名Ｃ，Ｅ，Ｇで構成され根音をＣとする和音Ｃｍａｊを示しており、基準入力音となる音声ピッチＰｍ（第１モード）或いはメロディ演奏音高Ｐｉ（第２モード）が音高Ｃ３を示している場合に、ハーモニータイプＴｈ＝「デュエット１」が指定されると、根音となる音高Ｃ３の「上」の和音構成音の音高Ｅ３を第１ハーモニー音Ｎｈ１に決定する。また、この場合、Ｔｈ＝「トリオ２」が指定されると、根音Ｃ３の「上」の音高Ｅ３を第１ハーモニー音Ｎｈ１に、「下」の音高Ｇ３を第２ハーモニー音Ｎｈ２に決定する。
【００５７】
〔効果種類の選択とハーモニータイプ〕
このシステムでは、ハーモニータイプの設定に伴って自動的に所定の効果種類を所定の効果付与部にプリセットしたり、ユーザによる効果選択操作により、ユーザが指定する効果付与部に所望の種類の効果を設定することができる。図８は、この発明の一実施例における効果種類の選択態様を説明するための図である。何れかのハーモニータイプがシステムに設定されているときに、ユーザが効果選択用操作子を操作して、図８（１）に示す効果種類の選択肢の中から所望の選択肢を指示することにより、任意の効果付与部Ｌ，Ｍに任意の効果種類を設定することができる。
【００５８】
「プリセット」は、図８（２）に示すプリセットエフェクトテーブルを参照しその内容に従って効果種類Ｅｂ，Ｅｃをハーモニー音及び音声効果付与部Ｌ，Ｍに設定すべきことを指示する選択肢であり、このシステムにデフォルトで設定されるが、ユーザの効果選択操作によって選択することもできる。つまり、「プリセット」が設定されているときにハーモニータイプ指定用操作子の操作によりハーモニータイプＴｈが指定されると、図８（２）のプリセットエフェクトテーブルが参照され、ハーモニー音効果付与部Ｌ乃至音声効果付与部Ｍでボコーダハーモニー音信号Ｓｖ乃至音声信号Ｓｍに付与される効果の種類が自動的にプリセットされる。また、何れかのハーモニータイプが設定されているときにユーザ操作により「プリセット」を選択すると、このテーブルが参照されて所定の効果が所定の効果付与部Ｌ，Ｍに設定され、プリセット内容と同一の設定に戻すことができる。
【００５９】
プリセットエフェクトテーブルにおいては、基本的な方針として、デュエットやトリオのようなポップス系のハーモニータイプ（「デュエット１」〜「クァルテット２」）の場合は「スルー」とし、大編成の合唱のハーモニータイプ（「クワイア１」、「クワイア２」）の場合にはコーラス効果（「コーラス１」）を付与し、同一声部を複数で歌うようなタイプ（「ユニゾン」）には「デチューン」を付与する。なお、テーブル中、ハーモニー内容の「Ｔｈｒｕ」はハーモニー音を設定しないことを表わし、エフェクト種類欄の「スルー」は効果を付与しないことを表わす。
【００６０】
また、効果付与対象となる効果付与部Ｌ，Ｍを指定し「コーラス１」を選択した場合は、当該効果付与部Ｌ，Ｍは、第１のコーラス効果を付与するように設定する。同様に、効果付与部を指定し、「コーラス２」、「デチューン」、「ディストーション」、…を選択した場合には、別の第２のコーラス効果、デチューン、ディストーション（歪み効果）、…を設定する。
【００６１】
図９は、この発明の一実施例によるハーモニー音生成システムにおけるハーモニー選択処理を表わすフローチャートである。このハーモニー選択処理の最初のステップＴ１では、ユーザによるハーモニータイプ指定操作によりハーモニータイプＴｈを選択してハーモニー音決定部Ｃに設定する。次のステップＴ２では、現在選ばれている効果種類は、「プリセット」即ちプリセットエフェクトテーブルに従って選択されたものであるか否かを判定し、「プリセット」であれば（Ｔ２＝ＹＥＳ）、ステップＴ３に進んで、選択されたハーモニータイプに対応付けられた効果種類を選択して効果付与部Ｌ，Ｍに設定し、この設定処理の後は、次のハーモニータイプ選択を待機する状態にリターンする。また、ステップＴ２で「プリセット」でないと判定したときは（Ｔ２＝ＮＯ）、直ちに、次のハーモニータイプ選択を待機する状態にリターンする。
【００６２】
図１０は、この発明の一実施例によるハーモニー音生成システムにおける効果種類選択処理を表わすフローチャートである。効果種類選択処理の第１ステップＵ１では、ユーザによる効果選択操作により、効果付与部Ｌ，Ｍに設定する効果種類を選択する。次のステップＵ２では、選択された効果種類は「プリセット」即ちプリセットエフェクトテーブルに従ったものであるか否かを判定する。そして、選択された効果種類が「プリセット」であれば（Ｕ２＝ＹＥＳ）、ステップＵ３で、現在のハーモニータイプに対応付けられた効果種類を効果付与部Ｌ，Ｍに設定し、選択された効果種類が「プリセット」でなければ（Ｕ２＝ＮＯ）、ステップＵ４で、選択された効果種類を効果付与部Ｌ，Ｍに設定して、次の効果種類選択を待機する状態にリターンする。
【００６３】
〔ボコーダを使用した音高応答ハーモニー音生成システムの機能〕
図２では、音声ピッチＰｍの検出に基づいてハーモニー音の音高を決定する「ピッチ検出型」の第１モードと演奏音高Ｐｉの指定に基づいてハーモニー音の音高を決定する「音高指定型」の第２モードを備えたシステムについて説明したが、第１モード専用の「ピッチ検出型」システム或いは第２モード専用の「音高指定型」システムを個別に構築するようにしてもよい。また、「音高指定型」システム即ち「ボコーダを用い演奏音高に応答してハーモニー音を生成するハーモニー音生成システム」の場合は、第１モード即ちピッチ検出型のように、マイクロフォン１４から入力された音声信号Ｓｍのピッチ検出結果を必要とせず、その代わりに、音高情報供給部Ａから供給される演奏音高Ｐｉをハーモニー音決定の際の基準とするので、ピッチ検出部Ｅ１及びピッチ修正部Ｅ２を省略することができ、前述のように、和音情報Ｃｄによるハーモニーを音Ｎｐを決定するだけでなく、和音情報Ｃｄによらずハーモニー演奏による音高Ｐｈでハーモニー音Ｎｐを決定して、ボコーダによる独特の音質を持つハーモニー音を生成することができる。
【００６４】
図１１は、この発明の一実施例による「ボコーダを用い音高に応答してハーモニー音を生成するハーモニー音生成システム」の機能を説明するためのブロック図である。図１１のようにボコーダを使用する音高指定型ハーモニー音生成システムには、次のような特徴がある。例えば、メロディ演奏情報Ｎｐ（＝音高Ｐｉ）が第１演奏情報として入力され、これとは別に、和音情報Ｃｄが入力されるか、或いは、ハーモニー演奏情報Ｐｈが第２演奏情報として入力される（Ａ，Ｂ）。これに対して、ハーモニー音決定部Ｇは、コード供給モード〔図８（２）で※印以外のコーダルタイプが設定されている場合の動作モード〕では、第１演奏情報Ｎｐの音高Ｐｉ及び和音情報Ｃｄの音高に基づいて、第１演奏情報Ｎｐに付与すべきハーモニー音の音高Ｎｈを決定するか、或いは、ハーモニー演奏モード〔図８（２）で※印の「ハーモニー」タイプが設定されている場合の動作モード〕で、第２演奏情報Ｐｈの音高に基づいて同音高Ｎｈを決定する。音源部Ｈは、第１演奏情報Ｎｐに基づく第１楽音信号Ｓｊと決定されたハーモニー音高Ｎｈに基づく第２楽音信号Ｓｉとを生成する。ボコーダ部Ｊは、入力された音声信号Ｓｍの周波数特性を検出し（Ｊ１）、検出された音声信号Ｓｍの周波数特性に応じて第２楽音信号Ｓｉの周波数特性を制御し、第１楽音信号Ｓｊに対してハーモニーの付いたボコーダ音信号Ｓｖを生成する（Ｊ２）。そして、第１楽音信号Ｓｊ及びボコーダ音信号Ｓｖは、サウンドシステム１６に出力される。この特徴により、右手でメロディを演奏し左手でコード又はハーモニーを弾くという演奏形態で、メロディ音Ｓｊに対して適切なハーモニーの付いたボコーダ音Ｓｖを生成することができる。
【００６５】
これを図６（２）の楽音生成系列のパート構成（第２モード）に従って説明すると、次のとおりである。例えば、コード供給モードのハーモニータイプ（※印以外のコーダルタイプ）を設定し、右側鍵域でのメロディ演奏に対して左側鍵域でコード指示操作を行うと、ハーモニー音決定部Ｇには、音高情報供給部Ａから、メロディ演奏情報Ｎｐ＝Ｎｐ１が示す音高情報Ｐｉが供給されると共に、和音情報供給部Ｂを介してコード指示操作に基づく和音情報Ｃｄが供給されるので、ハーモニー音決定部Ｇは、メロディ音高Ｐｉ及び和音情報Ｃｄの音高に基づいて、メロディ演奏情報Ｎｐ＝Ｎｐ１に付与すべきハーモニー音の音高Ｎｈを決定する。或いは、ハーモニー演奏モードのハーモニータイプ（※印のタイプ）を設定し、右側鍵域でのメロディ演奏に対して左側鍵域でハーモニー演奏を行うと、ハーモニー音決定部Ｇには、ハーモニー演奏情報が示す音高情報Ｐｈが音高情報供給部Ａから供給されるので、ハーモニー音決定部Ｇは、ハーモニー演奏音高Ｐｈの音高に基づいて、メロディ演奏情報Ｎｐに付与すべきハーモニー音の音高Ｎｈを決定する。
【００６６】
そして、音源部Ｈは、コード供給モード、ハーモニー演奏モードの何れにおいても、ハーモニー音決定部Ｇからのメロディ演奏情報Ｎｐに基づく楽音信号ＳｊをＵＫパート（メロディパート）から出力すると共に、ハーモニー音パート即ちボコーダをかける専用パートにて、音高Ｎｈを持つ所定音色の楽音信号Ｓｉを生成し、ボコーダ部Ｊに出力する。
【００６７】
従って、ボコーダを使用してハーモニー音を生成する際、ユーザが右手でメロディを演奏し左手でコード或いはハーモニーを弾くという演奏形態で適切なハーモニーでボコーダをかけることができる。また、重音奏は出来ないが右手で単旋律のメロディを弾きながら左手でコードを押すことはできる初心者ユーザでも、適切なハーモニーの付いた演奏にボコーダをかけることができる。
【００６８】
ここで、図１１のシステムにおけるハーモニー付けの態様を整理すると、図７（１）で説明したように、ハーモニータイプＴｈを選ぶことで、
（１）Ｔｈ＝「ボコーダ」では、指定した鍵盤パートでの演奏（例えば、ＵＫパートＮｐ１）をそのままボコーダ音の生成に使用する、
（２）Ｔｈ＝コーダルタイプ〔「デュエット１」、「デュエット２」、…（「ハーモニー１」及び「ハーモニー２」を除く〕では、コードＣｄによってハーモニーを付ける、
（３）Ｔｈ＝「ハーモニー１」／「ハーモニー２」では、ハーモニーパートで演奏（Ｐｈ）した音程でハーモニーを付ける〔図８（２）※印の行を参照〕、
の何れかの使い方にするかが設定される。
【００６９】
コードＣｄによってハーモニーを付けるコード供給モードの態様（２）では、図７（２）で説明したように、メロディを演奏するパートのトップノート（例えば、ＵＫパートのＮｐ１：Ｐｉ）に対して、コード構成音を適切な音程に変化させたハーモニー音Ｎｈ：Ｎｈ１，Ｎｈ２，…を作成し、作成したハーモニー音Ｎｈの楽音信号Ｓｉに対してボコーダをかける。図７（２）の例では、ハーモニー音Ｎｈが同数のハーモニーについて、コード構成音の展開の仕方〔オープンボイシング（音程が離れている）にする、クローズボイシング（音程が接近している）にする、等〕に応じて複数のタイプＴｈを設けておき（例えば、トリオのハーモニーについては、３つのタイプＴｈ＝「トリオ１」〜「トリオ３」）、何れかのタイプＴｈを指定することによりコード構成音の展開を所定の態様に設定することができる。なお、ユーザ操作によりディスプレイ１５上にハーモニー展開の変更／編集画面を表示しこれを利用してコード構成音の展開の仕方を変更することができるようにしてもよく、ユーザにより変更された構成音の展開内容は、コード供給モードの新たなハーモニータイプＴｈとして登録しておき、再度利用することができるようにしてもよい。
【００７０】
また、ハーモニーパートの演奏（Ｐｈ）によってハーモニーを付けるハーモニー演奏モードの態様（３）については、図８（２）の右２欄から成るハーモニータイプ表中に※印を付けたハーモニータイプＴｈ、即ち、コーダルタイプのうちハーモニー演奏演奏モードのハーモニータイプＴｈ＝「ハーモニー１」／「ハーモニー２」の「ハーモニーの内容」欄に示すように、ハーモニー音の展開の仕方として、
（Ｈ１）ハーモニーパート演奏（Ｐｈ）をそのままハーモニー演奏音Ｎｈに使用する（Ｔｈ＝「ハーモニー１」）か、或いは、
（Ｈ２）ハーモニーパート演奏（Ｐｈ）の音高をシフトしてハーモニー演奏音Ｎｈに使用する（例えば、Ｔｈ＝「ハーモニー２」）
ものとし、何れかのハーモニー演奏音情報Ｎｈに基づく所定音色の楽音信号Ｓｉに対してボコーダをかける。図８（２）の例では、（Ｈ２）の音高シフトについて、ハーモニー音のメロディを演奏するパートのトップノート（ＵＫパートのＮｐ１＝Ｐｉ）に対してオクターブ以内にシフトさせたハーモニー音を使用するものだけを示したが、種々の音高シフト態様を用意しておくことができる。
【００７１】
図１２は、この発明の一実施例におけるハーモニー演奏音の更なる展開例を示す。すなわち、図１２に示すハーモニー演奏モードのハーモニータイプでは、Ｔｈ＝「ハーモニー１」は、図８（２）と同様に、ハーモニーノートＰｈをそのまま使用し、Ｔｈ＝「ハーモニー２」も、図８（２）と同様に、ハーモニーノートＰｈを、入力音（ＵＫパートのメロディ演奏奏音Ｎｐ１の音高）Ｐｉの１オクターブ以内の範囲に入るように、オクターブシフトすることを指示するが、さらに、ハーモニーノートを−１オクターブシフトする「ハーモニー３」と、ハーモニーノートを＋１オクターブシフトする「ハーモニー４」を備えている。なお、ハーモニーパートの演奏でハーモニーを付けるハーモニー演奏音展開型についても、タイプコードＣｄでハーモニーを付ける場合と同様に、ハーモニー展開の変更／編集画面でハーモニー演奏音の展開の仕方を変更可能にしてもよく、ユーザにより変更されたハーモニー演奏音の展開内容は、新たなハーモニー演奏モードのハーモニータイプＴｈとして登録しておき、再度利用することができるようにしてもよい。
【００７２】
なお、図１１のシステムにおいて、ボコーダをかける演奏情報については、
（Ａ）上述のようにコード音又はハーモニー演奏音によるハーモニー音のみボコーダをかけるか、
（Ｂ）メロディ音自体にもボコーダをかけるか
を、ユーザがモード設定で選択することができるように構成してもよい。
【００７３】
また、和音情報Ｃｄを用いるコード供給モードの場合にボコーダをかける時間は、
（ａ）実際にコード指示操作がなされている（コード指定鍵が押されている）間のみハーモニーを付加するか、
（ｂ）この操作を停止しても（コード指定鍵を離しても）解除操作或いは次のコード指示操作があるまで付加し続けるか
を、ユーザがモード設定で選択することができるように構成してもよい。
【００７４】
〔音声のピッチ変換を用いるハーモニー音生成システム〕
この発明の一実施例によるハーモニー音生成システムにおいては、入力音声のピッチ変換を用いて入力音声を加工することにより、入力音声のピッチ或いは演奏情報の音高に基づいて決定される音高のハーモニー音を生成する際に、入力音声のピッチ或いは演奏情報の音高を音域調整して、ユーザが意図しない音域でのハーモニー音を発生させないようにしたり、ハーモニータイプの設定に応じて自動的に音声やハーモニー音に適切な効果をプリセットすることができる。
【００７５】
図１３は、この発明の一実施例による音声のピッチ変換を用いたハーモニー音生成システムの機能ブロック図を示す。このシステムでは、図２に示したボコーダ部Ｊに代えて、音声入力部１４−７から入力された音声信号Ｓｍのピッチを変換するピッチ変換部Ｎを用い、ピッチ変換部Ｎにおいて、ハーモニー音決定部Ｇで決定されたハーモニー音の音高情報Ｎｈに基づいて、音声信号Ｓｍのピッチを変換し、ピッチ変換された音声信号Ｓｎをハーモニー音とする点が、図２で説明したボコーダ使用のハーモニー音生成システム（以下、「第１システム」と呼ぶ）と異なるが、それ以外は、第１システムと同様である。
【００７６】
すなわち、音源部Ｈは、音高情報供給部Ａから供給される演奏音情報（演奏情報）Ｎｐに応じた楽音信号Ｓｋを生成し、演奏音効果付与部Ｋは、この楽音信号Ｓｋに所定の効果を付与する。また、音声効果付与部Ｍは、マイクロフォン１４からＡ／Ｄ変換回路７を介して入力される音声信号Ｓｍに所定の効果を付与する。これに対して、ピッチ変換部Ｎは、ハーモニー音決定部Ｇで決定されたハーモニー音高Ｎｈに応じて入力音声信号Ｓｍをピッチ変換して該音高Ｎｈを持つハーモニー音Ｓｎに加工し、ハーモニー音効果付与部Ｐは、このハーモニー音Ｓｎに所定の効果を付与する。そして、各効果付与部Ｋ，Ｍ，Ｐで各効果が夫々付与された演奏音、音声及びハーモニー音信号Ｓａ，Ｓｃ，Ｓｅは、サウンドシステム１６に出力される。
【００７７】
ここで、ハーモニー音効果付与部Ｐ及び音声効果付与部Ｍで付与される効果の設定態様は、第１システムと同様であり、例えば、標準設定モードでは、ハーモニータイプ設定部Ｃからの効果指定情報Ｅｅ，Ｅｃに従ってハーモニータイプＴｈに応じた効果が各信号Ｓｅ，Ｓｃに付与される。また、ハーモニー音決定部Ｇにおけるハーモニー音高Ｎｈの決定態様も第１システムと同様であるが、簡単に説明すると次のとおりである。
【００７８】
第１モードでは、ピッチ調整部Ｅが動作し、図４（１）及び図５で説明したように、入力音声信号Ｓｍのピッチを検出し（Ｅ１）、検出されたピッチが、音域設定部Ｄから指定される設定音域にないときは、設定音域に入るように検出ピッチを修正し（Ｅ２）、入力音声信号Ｓｍの正しいピッチＰｍを入力音情報としてハーモニー音決定部Ｇに送る。ハーモニー音決定部Ｇは、図７で説明したように、ハーモニータイプ設定部Ｃからのタイプ指定情報Ｔｈで指定されるハーモニータイプに従って、音高情報供給部Ａから和音情報供給部Ｂを介して入力される和音情報Ｃｄとピッチ調整部Ｅからのピッチ情報Ｐｉとに基づいて、ハーモニー音の音高Ｎｈ：Ｎｈ１，Ｎｈ２，…を決定する〔但し、図７（１）や図８（２）のハーモニータイプＴｈ＝「ボコーダ」、「ハーモニー１」、「ハーモニー２」に対応するタイプ及びハーモニー音はない〕。
【００７９】
一方、第２モードでは、音高調整部Ｆが動作し、図４（２）及び図５で説明したように、演奏音情報（演奏情報）Ｎｐのうちハーモニー音の基準となる演奏音情報（例えば、メロディ演奏情報）Ｎｐ１の音高が音域設定部Ｄの設定音域にないときは、設定音域に入るように音高を修正し、当該演奏音情報の正しい音高Ｐｉをハーモニー音決定部Ｇに送る。或いは、ハーモニー演奏による演奏情報の音高が音域設定部Ｄの設定音域にないときは、設定音域に入るように音高を修正し、当該演奏音情報の正しい音高Ｐｈをハーモニー音決定部Ｇに送る。ハーモニー音決定部Ｇは、図７で説明したように、ハーモニータイプ設定部Ｃから指定されるハーモニータイプＴｈに従い、和音情報供給部Ｂを介して入力される和音情報Ｃｄと音高調整部Ｆからの音高情報Ｐｉとに基づいて、或いは、ハーモニータイプ設定部Ｃからの所定のハーモニータイプＴｈに従い、音高調整部Ｆからの音高情報Ｐｈに基づいて、ハーモニー音の音高Ｎｈ：Ｎｈ１，Ｎｈ２，…を決定する。
【００８０】
なお、図１３では、音声ピッチＰｍの検出に基づいてハーモニー音の音高を決定する「ピッチ検出型」の第１モードと演奏音高Ｐｉの指定に基づいてハーモニー音の音高を決定する「音高指定型」の第２モードを備えたシステムについて説明したが、第１システムと同様に、第１モード専用の「ピッチ検出型」システム或いは第２モード専用の「音高指定型」システムを個別に構築することができる。
【００８１】
〔種々の実施態様〕
以上、図面を参照しつつこの発明の好適な実施の一形態について説明したが、これは単なる一例で、この発明は、発明の精神を逸脱しない範囲で種々の変更が可能である。例えば、音域設定部（Ｄ）で設定した音域に応じて、ボコーダ部（Ｊ）におけるフォルマントフィルタの特性制御パラメータや、ピッチ変換部（Ｎ）におけるピッチ変換特性制御パラメータを変更するようにしてもよい。例えば、ハーモニータイプ（Ｔｈ）によってボコーダ部（Ｊ）やピッチ変換部（Ｎ）のパラメータが初期設定されるが、この初期設定値を、音域設定部（Ｄ）で設定した音域に応じて修正するようにしてもよい。これにより、設定音域に合った適切な音質のハーモニー音（Ｓｖ，Ｓｎ）を生成することが可能となる。
【図面の簡単な説明】
【００８２】
【図１】この発明の一実施例によるハーモニー音生成システムが構築される電子音楽装置のハードウエア構成ブロック図を示す。
【図２】この発明の一実施例によるボコーダを用いたハーモニー音生成システムの機能ブロック図を示す。
【図３】ボコーダの機能を説明するための図である。
【図４】この発明の一実施例による音声ピッチ及び演奏音高の調整作用を説明するための図である。
【図５】この発明の一実施例によるハーモニー音生成システムのピッチ調整部又は音高調整部における音域判定処理を表わすフローチャートである。
【図６】この発明の一実施例における発音系列とパートの構成例を示す。
【図７】この発明の一実施例におけるハーモニー音の付け方の例を示す。
【図８】この発明の一実施例における効果種類の選択態様を説明するための図である。
【図９】この発明の一実施例によるハーモニー音生成システムにおけるハーモニー選択処理を表わすフローチャートである。
【図１０】この発明の一実施例によるハーモニー音生成システムにおける効果種類選択処理を表わすフローチャートである。
【図１１】この発明の一実施例による「ボコーダを用い音高に応答してハーモニー音を生成するハーモニー音生成システム」の機能を説明するためのブロック図である。
【図１２】この発明の一実施例におけるハーモニー演奏音の更なる展開例である。
【図１３】この発明の一実施例によるピッチ変換を用いたハーモニー音生成システムの機能ブロック図を示す。
【符号の説明】
【００８３】
Ｔｈ 設定されたハーモニータイプを表わすタイプ指定情報又はそのタイプ、
Ｅｂ，Ｅｅ ハーモニー音信号Ｓｖ，Ｓｎに自動設定される効果指定情報又はその効果、
Ｅｃ 音声信号Ｓｍに自動設定される効果指定情報又はその効果、
Ｓｍ；Ｓｃ 音声入力信号及び音声出力信号、
Ｐｍ コード音展開の基準入力音に用いられる音声ピッチ情報又はそのピッチ、
Ｐｉ コード音展開の基準入力音に用いられる演奏音高情報又はその音高、
Ｃｄ；Ｐｈ 和音情報（又はその音高）及びハーモニー演奏情報（又はその音高）、
Ｎｐ：Ｎｐ１，Ｎｐ２，… 演奏音情報、
Ｎｈ 生成すべきハーモニー音を表わすハーモニー音情報又はその音高、
Ｓｉ；Ｓｊ ボコーダ音信号Ｓｖに変換される楽音信号及びその他の楽音信号、
Ｓａ；Ｓｂ，Ｓｅ 演奏音出力信号及びハーモニー音出力信号。
【技術分野】
【０００１】
この発明は、入力された音声信号を用いて所望のハーモニー音を発生させるハーモニー音生成システムに関する。
【背景技術】
【０００２】
従来より、入力された音声信号からピッチを検出し、検出されたピッチに基づいてハーモニー音を生成する音楽信号処理装置は、例えば、特許文献１により知られている。
【特許文献１】特許第３３２９２４５号公報
【０００３】
しかしながら、従来の装置では、さまざまな要因により音声信号のピッチを正しく検出することができないことがあり、ユーザが意図した音域のハーモニー音を生成することができない。例えば、入力された音声信号の音質によっては、ピッチをオクターブ高く或いは低く検出してしまうことがあり、その場合は、ユーザが意図していない音高のハーモニー音が生成されてしまう。また、ピッチ検出自体は正しくできた場合であっても、ユーザが入力することができる音声信号の音域と、生成させたいハーモニー音の音域とがずれている場合には、意図した音域のハーモニー音を生成することができない。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
この発明は、このような事情に鑑み、特に、ユーザが意図しない音域でのハーモニー音が発生しないようにし、ユーザが意図した音域におけるハーモニー音を生成することができるハーモニー音生成システムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
この発明の第１の特徴に従うと、音声信号（Ｓｍ）を入力する音声入力手段（１４，７）と、音域を設定する音域設定手段（Ｄ）と、音声入力手段により入力された音声信号（Ｓｍ）のピッチを検出するピッチ検出手段（Ｅ１）と、ピッチ検出手段により検出されたピッチが音域設定手段により設定された音域に入るか否かを判定し、当該ピッチが該音域に入るときは当該ピッチを有効とし、当該ピッチが該音域に入らないときには当該ピッチを該音域に入るように修正するか或いは無効にするピッチ調整手段（Ｅ２）と、ピッチ調整手段により有効とされたピッチ（Ｐｍ）或いは修正されたピッチ（Ｐｍ）に基づいてハーモニー音の音高（Ｎｈ）を決定するハーモニー音高決定手段（Ｇ）と、音声入力手段により入力された音声信号（Ｓｍ）を加工或いは利用して、ハーモニー音高決定手段により決定された音高（Ｎｈ）を有するハーモニー音（Ｓｂ；Ｓｅ）を生成するハーモニー音生成手段（Ｈ，Ｊ，Ｌ；Ｎ，Ｐ）とを具備するハーモニー音生成装置〔請求項１〕、並びに、音声信号（Ｓｍ）を入力する音声入力手段（１４，７）を具備し、ハーモニー音生成装置として機能するコンピュータに、音域を設定する音域設定ステップ（Ｄ）と、音声入力手段により入力された音声信号（Ｓｍ）のピッチを検出するピッチ検出ステップ（Ｅ１）と、ピッチ検出ステップで検出されたピッチが音域設定ステップで設定された音域に入るか否かを判定し、当該ピッチが該音域に入るときは当該ピッチを有効とし、当該ピッチが該音域に入らないときには当該ピッチを該音域に入るように修正するか或いは無効にするピッチ調整ステップ（Ｅ２）と、ピッチ調整ステップで有効とされたピッチ（Ｐｍ）或いは修正されたピッチ（Ｐｍ）に基づいてハーモニー音の音高（Ｎｈ）を決定するハーモニー音高決定ステップ（Ｇ）と、音声入力手段により入力された音声信号（Ｓｍ）を加工或いは利用して、ハーモニー音高決定ステップで決定された音高（Ｎｈ）を有するハーモニー音（Ｓｂ；Ｓｅ）を生成するハーモニー音生成ステップ（Ｈ，Ｊ，Ｌ；Ｎ，Ｐ）とから成る手順を実行させるハーモニー音生成プログラム〔請求項３〕が提供される。なお、括弧書きは、理解の便のために付記した実施例の参照記号等を表わし、以下においても同様である。
【０００６】
また、この発明の第２の特徴に従うと、音声信号（Ｓｍ）を入力する音声入力手段（１４，７）と、音域を設定する音域設定手段（Ｄ）と、音高情報を供給する音高情報供給手段（Ａ）と、音高情報供給手段により供給された音高情報の音高が音域設定手段により設定された音域に入るか否かを判定し、当該音高が該音域に入るときは当該音高を有効とし、当該音高が該音域に入らないときには当該音高を該音域に入るように修正する音高調整手段（Ｆ）と、音高調整手段により有効とされた音高（Ｐｉ，Ｐｈ）或いは修正された音高（Ｐｉ，Ｐｈ）に基づいてハーモニー音の音高（Ｎｈ）を決定するハーモニー音高決定手段（Ｇ）と、音声入力手段により入力された音声信号（Ｓｍ）を加工或いは利用して、ハーモニー音高決定手段により決定された音高（Ｎｈ）を有するハーモニー音（Ｓｂ；Ｓｅ）を生成するハーモニー音生成手段（Ｈ，Ｊ，Ｌ；Ｎ，Ｐ）とを具備するハーモニー音生成装置〔請求項２〕、並びに、音声信号（Ｓｍ）を入力する音声入力手段（１４，７）を具備し、ハーモニー音生成装置として機能するコンピュータに、音域を設定する音域設定ステップ（Ｄ）と、音高情報を供給する音高情報供給ステップ（Ａ）と、音高情報供給ステップで供給された音高情報の音高が音域設定ステップで設定された音域に入るか否かを判定し、当該音高が該音域に入るときは当該音高を有効とし、当該音高が該音域に入らないときには当該音高を該音域に入るように修正する音高調整ステップ（Ｆ）と、音高調整ステップで有効とされた音高（Ｐｉ，Ｐｈ）或いは修正された音高（Ｐｉ，Ｐｈ）に基づいてハーモニー音の音高（Ｎｈ）を決定するハーモニー音高決定ステップ（Ｇ）と、音声入力手段により入力された音声信号（Ｓｍ）を加工或いは利用して、ハーモニー音高決定ステップで決定された音高（Ｎｈ）を有するハーモニー音（Ｓｂ；Ｓｅ）を生成するハーモニー音生成ステップ（Ｈ，Ｊ，Ｌ；Ｎ，Ｐ）とから成る手順を実行させるハーモニー音生成プログラム〔請求項４〕が提供される。
【発明の効果】
【０００７】
この発明の第１の特徴（請求項１，３）によると、入力された音声信号（Ｓｍ）のピッチ（Ｐｍ）に基づいて決定された音高（Ｎｈ）のハーモニー音（Ｓｂ）を生成する（Ｈ，Ｊ，Ｌ；Ｎ，Ｐ）ハーモニー音生成システムにおいて、音域設定機能（Ｄ）を設け、検出された音声信号のピッチが、音域設定機能により設定された音域から外れる場合に、設定された音域内に入るように修正するか或いは無視する（Ｅ）ように構成しているので、音声の音高に応答したハーモニー音がユーザの意図しない音域で発生しないようにし、ユーザが意図した音域におけるハーモニー音を確実に生成することができる。
【０００８】
この発明の第２の特徴（請求項２，４）によると、供給された演奏情報の音高（Ｐｉ，Ｐｈ）に基づいて決定された音高（Ｎｈ）のハーモニー音（Ｓｂ）を生成する（Ｈ，Ｊ，Ｌ；Ｎ，Ｐ）ハーモニー音生成システムにおいて、音域設定機能（Ｄ）を設け、供給された演奏情報の音高が、音域設定機能により設定された音域から外れる場合は、設定された音域内に入るように修正する（Ｆ）ように構成しているので、演奏音の音高に応答したハーモニー音がユーザの意図しない音域で発生しないようにし、ユーザが意図した音域におけるハーモニー音を確実に生成することができる。
【発明を実施するための最良の形態】
【０００９】
〔システムの概要〕
この発明の一実施例によるハーモニー音生成システムの機能が組み込まれる電子音楽装置は、ハーモニー音生成処理を含む音楽情報処理機能を有する一種のコンピュータであり、電子楽器などの音楽専用機器や、所定の音楽情報処理機能を有するパーソナルコンピュータ等の汎用の情報処理装置が用いられる。図１は、この発明の一実施例によるハーモニー音生成システムが構築される電子音楽装置のハードウエア構成ブロック図を示す。
【００１０】
この電子音楽装置は、中央処理装置（ＣＰＵ）１、ランダムアクセスメモリ（ＲＡＭ）２、読出専用メモリ（ＲＯＭ）３、記憶装置４、演奏操作検出回路５、設定操作検出回路６、Ａ／Ｄ変換回路７、表示回路８、音源・効果回路９、通信インターフェース（Ｉ／Ｆ）１０などを備え、これらの要素１〜１０はバス１１を介して互いに接続される。
【００１１】
ＣＰＵ１は、ＲＡＭ２及ＲＯＭ３と共にデータ処理部を構成し、ハーモニー音生成プログラムを含む所定の制御プログラムに従い、タイマによるクロックを利用してハーモニー音生成処理を含む種々の音楽情報処理を実行する。ＲＡＭ２は、これらの処理に際して必要な各種データを一時記憶するためのワーク領域として用いられる。また、ＲＯＭ３には、これらの処理を実行するために、ハーモニー音生成プログラムを含む各種制御プログラムやプリセットされたエフェクト（効果）テーブル、演奏データ等が予め記憶される。
【００１２】
記憶装置４は、ＨＤ（ハードディスク）、ＦＤ（フレキシブルディスク）、ＣＤ（コンパクトディスク）、ＤＶＤ（デジタル多目的ディスク）、フラッシュメモリなどの半導体メモリなどの記憶媒体と、その駆動装置を含み、任意の制御プログラムやテーブル、演奏データ等を任意の記憶媒体に記憶することができる。また、記憶媒体は、着脱可能であってもよいし、電子音楽装置に内蔵されていてもよい。
【００１３】
演奏操作検出回路５は、鍵盤などの演奏操作子１２と共に演奏操作部を構成し、演奏操作子１２の演奏操作を検出して検出内容に対応する演奏操作情報をデータ処理部（１〜３）に導入する。データ処理部は、この演奏操作情報を処理して得られる実演奏データを音源・効果回路９に送ったり、自動演奏データとして記憶装置４に記憶することができる。設定操作検出回路６は、スイッチやマウス等の設定操作子（パネル操作子）１３と共に設定操作部を構成し、設定操作子１３の操作内容を検出して検出内容に対応する設定情報をデータ処理部に導入する。例えば、設定操作子１３には、第１及び第２モードなどを指定するモード指定スイッチ、音域指定用操作子、ハーモニータイプ指定用操作子、音色指定用操作子、効果選択用操作子などが含まれる。
【００１４】
また、Ａ／Ｄ変換回路７は、マイクロフォン１４と共に音声入力部を構成し、マイクロフォン１４から入力される音声信号（マイク音）をＡ／Ｄ変換してデータ処理部に導入する。表示回路８は、演奏や設定に必要な各種画面を表示するＬＣＤ等のディスプレイ１５や、インジケータ／ランプを備え、これらの表示・点灯内容をデータ処理部からの指令に従って制御し、演奏操作や設定操作、マイク音入力などに関する表示援助を行う。
【００１５】
音源・効果回路９は、音源やＤＳＰを有し、演奏操作部（１２−５）の演奏操作情報から得られる実演奏データやＲＯＭ３又は記憶装置４から得られる自動演奏データに基づいて楽音信号を生成すると共にその楽音信号（演奏音信号）に効果を付与したり、Ａ／Ｄ変換回路７からの音声信号に効果を付与したり、各種ハーモニー音生成用パラメータ等に基づいて楽音信号や音声信号を制御してハーモニー音信号を生成すると共にそのハーモニー音信号に効果を付与することができる。サウンドシステム１６は、Ｄ／Ａ変換部やアンプ、スピーカ等を備え、音源・効果回路８から出力される楽音信号や音声信号、ハーモニー音信号に基づく楽音（演奏音）や音声、ハーモニー音を発生する。
【００１６】
通信Ｉ／Ｆ１０は、ＭＩＤＩ等の音楽専用有線Ｉ／Ｆ、ＵＳＢやＩＥＥＥ１３９４等の汎用近距離有線Ｉ／Ｆ、Ｅｔｈｅｒｎｅｔ（登録商標）等の汎用ネットワークＩ／Ｆ、無線ＬａｎやＢｌｕｅｔｏｏｔｈ（登録商標）等の汎用近距離無線Ｉ／Ｆなどの１又は複数を含み、他の音楽機器との間でＭＩＤＩ演奏データを授受したり、外部のサーバコンピュータ等から制御プログラムやデータ等を受信し記憶装置４に保存することができる。
【００１７】
なお、この電子音楽装置をＰＣで構成する場合は、演奏操作子１２は外付けされる。また、サーバコンピュータは、図１と同様のハードウエア構成を有するが、演奏操作子や演奏操作検出回路、音源・効果回路などはなくてもよい。
【００１８】
〔ボコーダを用いるハーモニー音生成システム〕
この発明の一実施例によるハーモニー音生成システムにおいては、ボコーダを用い入力音声を利用して楽音信号を加工することにより、入力音声のピッチ或いは演奏情報の音高に基づいて決定される音高のハーモニー音を生成する際に、入力音声のピッチ或いは演奏情報の音高を音域調整して、ユーザが意図しない音域でのハーモニー音を発生させないようにしたり、ハーモニータイプの設定に応じて自動的に音声やハーモニー音に適切な効果をプリセットすることができる。
【００１９】
図２は、この発明の一実施例によるボコーダを用いたハーモニー音生成システムの機能ブロック図を示す。このハーモニー音生成システムでは、音声入力部（マイク音入力部）１４−７、音高情報供給部Ａ、和音情報供給部Ｂ、ハーモニータイプ設定部Ｃ、音域設定部Ｄ、ピッチ検出部Ｅ１及びピッチ修正部Ｅ２から成るピッチ調整部Ｅ、音高調整部或いは音高修正部Ｆ、ハーモニー音決定部Ｇ、音源Ｈ、特徴抽出部Ｊ１及びフォルマントフィルタ部Ｊ２から成るボコーダ部Ｊ、演奏音効果付与部Ｋ、ハーモニー音効果付与部Ｌ、音声効果付与部Ｍなどによりハーモニー音生成システムが構成され、ピッチ調整部Ｅは第１モード（ピッチ検出型モード）でのみ動作し、音高調整部Ｆは第２モード（音高指定型モード）でのみ動作する。また、機能部Ａ〜Ｇはデータ処理部１〜３の機能に対応し、機能部Ｈ〜Ｍは音源・効果回路９の機能に対応している。
【００２０】
図３は、この発明の一実例によるハーモニー音生成システムにおいてボコーダ部を構成するボコーダ（ Vocoder）の機能を説明するための図である。ボコーダの原理は、人が声を出すしくみに関係がある。人は声帯で発生する音を口や鼻で共振させて声を出しているが、ボコーダの共振部は、周波数特性を持つ一種のフィルタとして働き、マイク入力から抽出した特徴を用いて電子楽器の音源から入力された楽器音を加工し多数のフォルマント（Ｆｏｒｍａｎｔ）を発生させる。つまり、ボコーダＪは、図３（１）に示すように、マイクロフォン１４からＡ／Ｄ変換器を介して入力された音声（マイク音）信号Ｓｍからフィルタに対する音声の特徴を抽出し（Ｊ１）、音源Ｈからの演奏音（楽器音）信号Ｓｉを多数のバンドパスフィルタ（ＢＰＦ）に通すことによって音声のフォルマントを再現するボコーダ音信号（所謂「ロボットボイス」）Ｓｖを作り出す。例えば、マイクを使ってしゃべりながら鍵盤を弾くと楽器音をロボットボイスのように発音させることができる。
【００２１】
図３（２）に示す構成例に従ってより詳細に説明すると、音声信号Ｓｍに対して所定周波数帯域毎に設けられた複数（ｎ）の共振部（Ｂａｎｄ１〜ｎ）は、それぞれ、特徴抽出用のフィルタ（ＢＰＦｍ１〜ＢＰＦｍｎ）及びレベル検出器、フォルマント再現用のフィルタ（ＢＰＦｉ１〜ｉｎ）、音量制御器及び出力増幅器（Ｇ１〜Ｇｎ）などにより構成される。マイク入力の音声信号Ｓｍは、ノイズゲートでノイズ成分が除去された後、各共振部（Ｂａｎｄ１〜ｎ）において、特徴抽出用フィルタ（ＢＰＦｍ１〜ｍｎ）により各帯域の周波数成分が検出され、レベル検出器により各周波数成分のレベルが検出される。
【００２２】
音源Ｈからの演奏音信号Ｓｉは、ボコーダ内で発生させたノイズが加算された後、各共振部（Ｂａｎｄ１〜ｎ）のフォルマント再現用フィルタ（ＢＰＦｉ１〜ＢＰＦｉｎ）を通じて各帯域の周波数成分が抽出され音量制御器に導入される（なお、ＢＰＦｍ１〜ｍｎとＢＰＦｉ１〜ｉｎのカットオフ周波数はシフト量又はオフセット量の設定で異ならせることができ必ずしも一致しない）。各音量制御器では、演奏音信号Ｓｉの各周波数成分の音量が音声信号Ｓｍの各周波数成分レベルに応じて制御され、各出力増幅器（Ｇ１〜Ｇｎ）を通じて各共振部（Ｂａｎｄ１〜ｎ）から出力される。
【００２３】
そして、各共振部（Ｂａｎｄ１〜ｎ）からの出力信号を加算した信号に、音声信号Ｓｍのハイパスフィルタ（ＨＰＦ）通過信号を加算し（Ｗｅｔ）、さらに、演奏音信号Ｓｉ（Ｄｒｙ）を加算することにより、ボコーダ音信号Ｓｖが得られる。
【００２４】
さて、図２の機能ブロック図の説明に戻ると、音高情報供給部Ａは、演奏操作部１２−５からの実演奏情報を処理するデータ処理部１〜３の実演奏処理機能部分（実演奏装置）や、ＲＯＭ３又は記憶装置４からの演奏データを処理するデータ処理部１〜３の自動演奏処理機能部分（自動演奏装置）に対応し、演奏操作部１２−５の実演奏情報から得られる実演奏データや、記憶装置４から読み出した自動演奏データに従って、順次、１乃至複数の演奏情報Ｎｐを音源Ｈに供給すると共に和音情報供給部Ｂに対して必要な演奏情報を供給し、第２モードでは更に音高調整部Ｆにも必要な音高情報（例えば、メロディ演奏やハーモニー演奏による音高情報Ｐｉ，Ｐｈ）を供給する。なお、自動演奏の際に利用される自動演奏データに和音進行データが含まれている場合は、この和音進行データ自体を和音情報供給部Ｂに供給するようにしてもよい。
【００２５】
和音情報供給部Ｂは、音高情報供給部Ａから供給された音高情報を元に和音（コード）を検出することで和音を特定し、特定した和音を表わす和音情報（コード情報）Ｃｄをハーモニー音決定部Ｇに供給する。なお、自動演奏データ中に和音進行データが含まれている場合は、音高情報供給部Ａから供給された和音進行データを構成する和音情報Ｃｄを順次ハーモニー音決定部Ｇに供給する。
【００２６】
ハーモニータイプ設定部Ｃは、設定操作子１３におけるハーモニータイプ指定用操作子の操作に基づいて、生成すべきハーモニー音のタイプ（ハーモニータイプ）を指定するタイプ指定情報Ｔｈをハーモニー音決定部Ｇに与える。このタイプＴｈは、ハーモニータイプと呼ばれ、後述するように、大まかにボコーダタイプとコーダルタイプ（和音タイプ）とに分けられる。ハーモニータイプ設定部Ｃは、また、ハーモニータイプＴｈの設定状態に対応して、ボコーダ音信号Ｓｖ及び音声信号Ｓｍに夫々付与される効果の種類Ｅｂ，Ｅｃを自動的にプリセットすることができる。効果設定については、ユーザによる効果選択操作がない場合や「プリセット」の指定操作があった場合は、標準設定モードとなり、ハーモニータイプ設定部Ｃは、設定したハーモニータイプＴｈに応じて自動設定された効果種類Ｅｂ，Ｅｃを指定する効果指定情報を夫々ハーモニー音及び音声効果付与部Ｌ，Ｍに出力する。
【００２７】
音声入力部（マイク音入力部）１４−７では、マイクロフォン１４から、歌唱、楽器音などの少なくともピッチを検出することができるアナログの音声信号（波形信号）が入力され、入力された音声信号はＡ／Ｄ変換回路７によりＡ／Ｄ変換されてこのハーモニー音生成システムで利用可能なディジタルの音声信号Ｓｍに変換される。
【００２８】
音域設定部Ｄは、設定操作子１３における音域指定用操作子の操作に基づいて、音声入力部１４−７から入力される音声信号に想定される音域（ピッチ範囲）を設定し、例えば、ユーザは、音域設定操作により、自分が歌える音域を設定することができる。音域設定部Ｄは、また、設定された音域（設定音域）を表わす音域指定情報を、第１モードではピッチ調整部Ｅに出力し、第２モードでは音高調整部Ｆに出力する。
【００２９】
ハーモニー音の決定に音声のピッチ情報が用いられる第１モードでは、ピッチ調整部Ｅが能動化され、ハーモニー音決定に用いられるピッチ情報が調整される。このため、ピッチ調整部Ｅにおいては、まず、ピッチ検出部Ｅ１で、音声入力部１４−７から入力される音声信号Ｓｍのピッチを検出し、続くピッチ修正部Ｅ２では、検出された音声信号Ｓｍのピッチが、音域設定部Ｄからの音域指定情報により指定される設定音域に入っているか否かを判定し、判定結果に応じてピッチ情報を処理する。すなわち、ピッチ検出部Ｅ１で検出された音声信号Ｓｍのピッチが設定音域に入っている場合は、そのピッチ情報Ｐｍをそのままハーモニー音決定部Ｇに出力し、設定音域に入っていない場合には、検出されたピッチをオクターブシフトして設定音域内に入るように修正して修正後のピッチ情報Ｐｍをハーモニー音決定部Ｇに出力するか、或いは、ピッチ検出部Ｅ１でのピッチ検出が失敗したとみなして音声入力を無視する。ハーモニー音決定部Ｇでは、ピッチ調整部Ｅからのピッチ情報Ｐｍが、ハーモニー音の音高（ピッチ）Ｎｈを決定するための基準音を示す入力音情報として用いられる。
【００３０】
一方、ハーモニー音の決定に演奏音の音高情報が用いられる第２モードでは、ピッチ調整部Ｅに代わって音高調整部Ｆが能動化され、ハーモニー音決定に用いられる演奏音の音高情報（例えば、メロディ演奏の音高情報Ｐｉ）が調整される。音高調整部Ｆは、音高情報供給部Ａから供給された音高情報が示す演奏音の音高が音域設定部Ｄからの音域指定情報により指定される設定音域に入っているか否かを判定し、演奏音の音高が設定音域に入っている場合は、その音高情報Ｐｉをそのままハーモニー音決定部Ｇに出力し、設定音域に入っていない場合には、演奏音の音高をオクターブシフトして設定音域内に入るように修正して修正後の音高情報Ｐｉをハーモニー音決定部Ｇに出力する。ハーモニー音決定部Ｇでは、音高調整部Ｆからの音高情報Ｐｉが、ハーモニー音の音高Ｎｈを決定するための基準音を示す入力音情報として用いられる。
【００３１】
第２モードでは、音高情報供給部Ａからの演奏音高情報（Ｐｉ）及び和音情報供給部Ｂからの和音情報Ｃｄをハーモニー音決定部Ｇに供給するのに代えて、破線で示すように、ハーモニー演奏に基づく音高情報Ｐｈをハーモニー音決定部Ｇに供給してハーモニー演奏に基づきハーモニー音を決定することができる。この場合も、音高情報Ｐｉと同様に、ハーモニー演奏の音高を音高調整部Ｆで調整し、調整されたハーモニー演奏音高情報Ｐｈをハーモニー音決定部Ｇに供給する。
【００３２】
ハーモニー音決定部Ｇは、ハーモニータイプ設定部Ｃからのタイプ指定情報Ｔｈで指定されるハーモニータイプに応じて、入力音情報（Ｐｍ，Ｐｉ）及び和音情報Ｃｄ、或いはハーモニー演奏音高情報Ｐｈに基づく１乃至複数のハーモニー音の音高（ピッチ）Ｎｈを決定し、決定した音高Ｎｈのハーモニー音情報を音源Ｈに供給する。
【００３３】
音源Ｈは、ハーモニー音決定部Ｇから供給されたハーモニー音情報Ｎｈ及び音高情報供給部Ａからの演奏音情報Ｎｐに基づいて楽音信号Ｓｉ，Ｓｊを生成する。生成された楽音信号のうち、ボコーダ部Ｊに供給すべき演奏パートの楽音信号Ｓｉは、ボコーダ部Ｊに供給される。なお、ハーモニータイプＴｈが「ボコーダ」の場合、演奏操作子１２の演奏操作に基づく実演奏データや自動演奏データにおける所定演奏パートの演奏音情報Ｎｐに対応する楽音信号Ｓｉがボコーダ部Ｊに供給される。例えば、ボコーダ効果を付与したいパートを上鍵盤（メロディパート）とすると、上鍵盤に設定された音色の楽音信号Ｓｉがボコーダ部Ｊに供給される。また、その他の演奏パートの楽音信号Ｓｊは、演奏音効果付与部Ｋに供給され、演奏音効果付与部Ｋは、その他の演奏パートの楽音信号に当該パートに設定された効果情報に従って効果を付与し、効果が付与されたその他パートの楽音信号Ｓａを演奏音信号としてサウンドシステム１６に出力する。
【００３４】
ボコーダ部Ｊでは、特徴抽出部Ｊ１によって、Ａ／Ｄ変換回路７でアナログに変換された音声信号から、入力音声信号の特徴を抽出し、その特徴に基づいてフォルマントフィルタＪ２の特性を制御する。音源Ｈからボコーダ部Ｊに供給された楽音信号ＳｉがフォルマントフィルタＪ２を通過することで、ロボットボイスのような独特の音質を有するボコーダ音信号Ｓｖに変換される。
【００３５】
ボコーダ部Ｊを通過した楽音信号Ｓｖは、ハーモニー音効果付与部Ｌに供給され、所定の効果が付与されハーモニー音出力信号Ｓｂとしてサウンドシステム１６に出力される。効果付与部Ｌは、標準設定モードでは、ハーモニータイプ設定部Ｃから入力された効果指定情報Ｅｂによる指定に従って効果を付与する。つまり、付与される効果のタイプはユーザが任意に選択できるが、「プリセット」を選択しておくことにより、ハーモニータイプＴｈに応じて適切な効果種類Ｅｂを設定することができるようになっている。
【００３６】
マイクロフォンからの音声信号Ｓｍは、音声効果付与部Ｍに供給され、所定の効果が付与され音声出力信号Ｓｃとしてサウンドシステム１６に出力される。音声効果付与部Ｍは、標準設定モードでは、ハーモニータイプ設定部Ｃからの効果指定情報Ｅｃによる指定に従って音声信号Ｓｍに効果が付与されるが、音声効果付与部Ｍで付与される効果が任意に選択可能である点は、ハーモニー音効果付与部Ｌと同様である。なお、ハーモニータイプＴｈに応じて効果種類が自動設定されるのは、ハーモニー音効果付与部Ｌ及び音声効果付与部Ｍの両方でもよいし、何れか一方でもよい。
【００３７】
以上のように、このハーモニー音生成システムにおける音声ピッチ或いは演奏音高の調整に関する特徴によれば、ハーモニー音に対応する音域を設定しておき（Ｄ）、第１モードでは、入力された音声信号Ｓｍのピッチが設定音域に入る場合はそのピッチを有効とし、外れる場合は設定音域内に入るように音声ピッチを修正するか無視し（Ｅ）、第２モードでは、供給された演奏情報の音高が設定音域に入る場合はその音高を有効とし、外れる場合は設定音域内に入るように演奏音高を修正する（Ｆ）。次いで、有効とされた又は修正された音声信号ＳｍのピッチＰｍ或いは演奏情報の音高Ｐｉ，Ｐｈに基づいてハーモニー音の音高Ｎｈを決定する（Ｇ）。そして、音声信号Ｓｍを利用して、ハーモニー音高Ｎｈをもつ楽音信号Ｓｉ（Ｈ）を加工し（ボコーダ）、ハーモニー音信号Ｓｂを生成するか（Ｊ）、或いは、ハーモニー音高Ｎｈをもつように音声信号Ｓｍを加工（ピッチ変換）してハーモニー音信号を生成する。この特徴により、ユーザが意図した音域におけるハーモニー音を生成することができる。
【００３８】
また、このハーモニー音生成システムのハーモニータイプ設定に関する特徴によれば、ハーモニー音のタイプＴｈを設定すると、設定したタイプＴｈに応じて、ハーモニー音又は音声に付与すべき効果の種類Ｅｂ，Ｅｃが自動設定される（Ｃ）。次いで、設定されたタイプＴｈと入力された音声信号ＳｍのピッチＰｍに基づいて（第１モード）、或いは、設定されたタイプＴｈと供給された音高情報Ｐｉ，Ｐｈの音高に基づいて（第２モード）、ハーモニー音高Ｎｈを決定し（Ｇ）、音声信号Ｓｍを利用してハーモニー音高Ｎｈを有するハーモニー音信号Ｓｖを生成する（Ｊ）。そして、生成されたハーモニー音信号Ｓｖ又は音声信号Ｓｍに、設定された種類の効果Ｅｂ，Ｅｃが付与される（Ｌ，Ｍ）。なお、ハーモニー音信号の生成については、ハーモニー音高Ｎｈをもつように音声信号Ｓｍを加工（ピッチ変換）してハーモニー音信号を生成するようにしてもよい。この特徴により、音楽的知識や効果種類に関する知識を有していなくても、ハーモニー音の種類に応じた適切な効果種類を設定することができる。
【００３９】
〔音域設定及び音域判定処理〕
音域設定部Ｄにおける音域設定には、例えば、次の（１）〜（４）のような方法を採用することができる：
（１）具体的な音高範囲（例えば、「Ｃ３〜Ｃ５」）を指定する。
（２）「男性」、「女性」、「大人」、「子供」などの性別や年代に関連した用語を指定する。この方法は、各性別や年代毎に発生可能な音声の音域がおおよそ決まっていることによるものである。
（３）「ソプラノ」、「アルト」、「テノール」、「バス」などの声域を指定する。
（４）実際にユーザが音声を発してそのピッチを検出し、検出された最高ピッチと最低ピッチとの間を設定音域とする。この場合、音域設定モードを設け、音域設定モードでピッチ検出部Ｅ１を動作し、ピッチ検出部Ｅ１で検出されたピッチの最高値と最低値を用いて音域を設定するように構成することができる。
【００４０】
第１モードでは、ピッチ調整部Ｅにおいて、入力された音声のピッチが音域設定の範囲との関係に応じて調整され、第２モードでは、音高調整部Ｆにおいて、供給された演奏音の音高が音域設定との関係に応じて調整され、調整されたピッチ或いは音高がハーモニー音決定部Ｇへの入力音となる。図４は、ピッチ調整部及び音高調整部における音声ピッチ及び演奏音高の調整作用を説明するための図であり、図５は、ピッチ調整部又は音高調整部における音域判定処理を表わすフローチャートである。
【００４１】
ピッチ調整部Ｅは、第１モードにおいて、図４（１）に示すようなピッチ調整作用を行う。ここで、Ａ／Ｄ変換回路７から入力される音声信号Ｓｍのピッチが設定音域内のピッチであるとする。例えば、ユーザは、自分が歌える音域を設定音域に設定しておくことで、ａのように、入力される音声信号Ｓｍのピッチが設定音域内となる。
【００４２】
ピッチ調整部Ｅのピッチ検出部Ｅ１では、何らかの理由により入力音声信号Ｓｍのピッチが誤検出されて、ピッチ修正部Ｅ２により、ｂのように、設定音域から外れたピッチであると判定される場合がある。つまり、音声は元々ピッチ検出に使いよい音ではなく、ピッチ検出部Ｅ１は、システムの性能上、精度はよいが外乱（周囲音ノイズ）を拾い易いということから、音声ピッチを誤検出する場合が多い。この場合、ピッチ修正部Ｅ２により、ｃのように、ピッチ検出部Ｅ１で検出されたピッチをオクターブシフトして設定音域内に入るように修正するか、或いは、ｄのように、ピッチ検出結果を無効とする。そして、ハーモニー音決定部Ｇでは、このようにシフトされたピッチに基づいてハーモニーの音高を決める。また、無効としたときはハーモニー音無しとする。
【００４３】
一方、音高調整部Ｆでは、第２モードにおいて、図４（２）に示すような音高調整作用が行われる。実演奏データに基づいて演奏を行う実演奏時において、演奏操作子１２の操作により演奏される音高は、演奏操作子１２の物理的な音域や、演奏時の左右手の関係などにより制限され、設定音域により指示される所望音域の音高とすることができないことがある。このように、演奏された音高が設定音域から外れた場合、音高調整部Ｆにより、この音高をオクターブシフトして設定音域内に入るように修正する。そして、ハーモニー音決定部Ｇでは、このようにシフトされた音高に基づいてハーモニーの音高を決める。
【００４４】
以上のようなピッチ調整部Ｅのピッチ修正部Ｅ１におけるピッチの調整作用又は音高調整部（音高修正部）Ｆにおける音高の調整作用は、図５の音域判定処理フローにより実行される。すなわち、第１モードにおいて、ピッチ修正部Ｅ１は、ピッチ検出部Ｅ１からピッチ検出結果が与えられると、まず、ステップＳ１において、ピッチ検出部Ｅ１で検出された音声のピッチが設定音域外にあるか否かを判定し、設定音域外にあるときは（Ｓ１＝ＹＥＳ）、ステップＳ２に進み、当該ピッチを設定音域内へと修正するか或いは無視する。そして、検出された音声ピッチが設定音域内にあると判定したとき（Ｓ１＝ＮＯ）及びステップＳ２の処理の後は、次のピッチ検出結果を待機する状態にリターンする。
【００４５】
また、第２モードにおいて、音高修正部Ｆは、音高情報供給部Ａから演奏データの音高情報が与えられると、まず、ステップＳ１において、供給された音高情報が示す音高即ち演奏された音高が設定音域外にあるか否かを判定し、設定音域外にあるときは（Ｓ１＝ＹＥＳ）ステップＳ２に進み、当該音高を設定音域内へと修正する。そして、演奏された音高が設定音域内にあると判定したとき（Ｓ１＝ＮＯ）及びステップＳ２の処理の後は、次の音高情報の供給を待機する状態にリターンする。
【００４６】
〔発音系列とパートの構成例〕
このシステムの発音系列は、図２に示すように、入力演奏音情報Ｎｐから楽音信号Ｓｊを経て演奏音信号Ｓａを出力する演奏音発音系列と、ハーモニー音情報Ｎｈから楽音信号Ｓｉを経てハーモニー音信号Ｓｂを出力するハーモニー音発音系列と、入力音声信号Ｓｍから音声信号Ｓｃを出力する音声発音系列から成るが、音源部Ｈの音源パート（楽音信号生成系列）から発音系列をみてみよう。図６は、この発明の一実施例による発音系列とパートの構成例を示し、演奏操作子１２が、例えば、上鍵盤（ＵＫ）、下鍵盤（ＬＫ）及びペダル鍵盤（ＰＫ）を備えるシステムでは、図示のような発音系列で表わされる。
【００４７】
ここで、ハーモニータイプ設定部Ｃで設定されるハーモニータイプＴｈの機能について説明すると、ハーモニータイプＴｈは、図７（１）及び図８（２）のように、ハーモニー音生成モードでない通常演奏モードを指示するＴｈ＝「スルー」の外に、「ボコーダタイプ」と「コーダルタイプ」があり、ボコーダタイプは、１つのタイプＴｈ＝「ボコーダ」から成り、入力音（Ｐｍ，Ｐｉ）に対応するパートの演奏音に直接ボコーダ効果を付与すべきことを指示する。また、コーダルタイプは、複数のタイプＴｈ＝「デュエット１」、「デュエット２」、…から成り、入力音（Ｐｍ，Ｐｉ）に対して和音的な種々の音にボコーダ効果を付与すべきことを指示する。なお、ボコーダ効果を付与したいパート或いはボコーダ効果が付与される音を決める際の基準としたいパートは、例えば、上鍵盤右鍵域（メロディ演奏音Ｎｐ１）に対応するＵＫパート（メロディパート）に予め設定される。
【００４８】
図６には示されていないが、Ｔｈ＝「スルー」の通常演奏モードでは、音高情報供給部Ａは、各鍵盤（ＵＫ〜ＰＫ）の演奏に基づく演奏音情報Ｎｐ＝Ｎｐ１〜Ｎｐ３を音源部Ｈに供給し、音源部Ｈは、各鍵盤に対応するＵＫパート、ＬＫパート及びＰＫパートに設定された所定音色の楽音信号生成系列で各演奏音情報に基づく楽音信号を生成する。
【００４９】
上述のように上鍵盤のメロディ演奏音Ｎｐ１に対応するＵＫパートがボコーダ効果付与パートに設定されている場合に、ハーモニータイプＴｈ＝「ボコーダ」即ちボコーダタイプが指定されると、図６（１）に示すようなパート構成となる。すなわち、第１モードでは、ハーモニー音決定部Ｇにおいて、ピッチ調整部Ｅで調整（検出及び修正）されたピッチ情報Ｐｍが示す音高がボコーダ音の音高Ｎｈに決定され、音源部Ｈは、ＵＫパート（メロディパート）で、メロディ演奏音Ｎｐ１の楽音生成パラメータ（音高以外の音長、強さ等）と決定された音高Ｎｈ＝Ｐｍに従って、このパートに対応する所定音色（例えば、オルガン音色）を持つ音高Ｎｈ＝Ｐｍの楽音信号Ｓｉを生成する。また、第２モードでは、音高調整部Ｅで調整（修正）されたメロディ演奏音Ｎｐ１の音高情報Ｐｉが示す音高がボコーダ音の音高Ｎｈに決定され、音源部Ｈは、ＵＫパートで、メロディ演奏音Ｎｐ１に対応する所定音色（例えば、オルガン音色）で音高Ｎｈ＝Ｐｉの楽音信号Ｓｉを生成する。
【００５０】
そして、ボコーダ部Ｊは、音声信号Ｓｍにより、ＵＫパートの所定音色楽音信号Ｓｉを加工（楽音信号Ｓｉにボコーダ効果を付与）し、これにより得られたボコーダ音信号Ｓｖをハーモニー音効果付与部Ｌに送る。また、他のＬＫ及びＰＫパートでは、通常演奏モードと同様に、夫々の演奏音情報Ｎｐ２，Ｎｐ３に対応して生成される楽音信号Ｓｊが演奏音効果付与部Ｋに送られる。なお、Ｔｈ＝「ボコーダ」が指定された場合のボコーダ音Ｓｂは、厳密には「ハーモニー音」とは呼べないかも知れないが、音声（音声出力Ｓｃ）や他の楽音（演奏音出力Ｓａ）と共に発音される音（Ｓｂ）であるため、この明細書では「ハーモニー音」と呼ばれる。
【００５１】
一方、ハーモニータイプＴｈがコーダルタイプに指定されたときは、図６（２）に示すようなパート構成となる。すなわち、第１モードでは、ハーモニー音決定部Ｇにて、ピッチ調整部Ｅからのピッチ情報Ｐｍが示す音高と和音情報Ｃｄに基づきハーモニー音の音高Ｎｈが決定され、第２モードにおいても、標準的には、第１モードと同様に、音高調整部Ｆから入力されるメロディ演奏音Ｎｐ１の音高情報Ｐｉが示す音高と和音情報Ｃｄに基づいてハーモニー音高Ｎｈが決定される。この場合、コーダルタイプの各種類Ｔｈ＝「デュエット１」、「デュエット２」、…に応じて、ハーモニー音高Ｎｈの付き方が異なる。なお、第２モードについてのみ、タイプＴｈ＝「ハーモニー１」、「ハーモニー２」〔図８（２）参照〕があり、これらのタイプが設定されている場合は（ハーモニー演奏モード）、ハーモニー演奏音情報Ｐｈによりハーモニー音高Ｎｈが決定される。
【００５２】
また、ハーモニータイプがコーダルタイプの場合、音源部Ｈは、ハーモニー音パートと呼ばれる専用パートで、基準としたいパートに設定されたメロディパートの演奏音Ｎｐ１の楽音生成パラメータ（音高以外の音長、強さ等）と決定されたハーモニー音高Ｎｈ（＝Ｐｍ，Ｐｉ）に従って、この専用パートに対応して予め設定された所定音色（例えば、バイオリン音色）を持つ音高Ｎｈの楽音信号Ｓｉを生成する。なお、ハーモニー音パートの設定音色は、このシステムで１種類が固定的に設定されていてもよいし、ハーモニータイプに対応付けて設定されていてもよいし、ユーザによる音色指定用操作子の操作（音色設定操作）により予め任意に選択してもよい。この場合の音色は、ボコーダ部Ｊを通過した楽音信号Ｓｖがあたかも人の声に類似するような特性の楽音を表わしたものであることが望ましく、一例として、バイオリンやサックスのような持続音で且つ人の音声と近似した周波数特性を有した楽音が好ましい。
【００５３】
そして、ハーモニー音パートでは、ボコーダ部Ｊは、音声信号Ｓｍにより設定音色の楽音信号Ｓｉを加工（楽音信号Ｓｉにボコーダ効果を付与）し、これにより得られるボコーダ音信号Ｓｖをハーモニー音効果付与部Ｌに送る。また、他のＵＫ乃至ＰＫパートでは、通常演奏モードと同様に、夫々の演奏音情報Ｎｐ１〜Ｎｐ３に対応して生成される楽音信号Ｓｊが演奏音効果付与部Ｋに送られる。
【００５４】
〔ハーモニー音の付け方〕
ハーモニー音決定部Ｇでは、ハーモニータイプ設定部Ｃで設定されたハーモニータイプＴｈに従って演奏音にハーモニー音を付け、当該ハーモニー音の音高Ｔｈを表わすハーモニー音情報を生成する。図７は、この発明の一実施例によるハーモニー音の付け方の例を示す。図７（１）において、前述したように、ハーモニータイプＴｈ＝「スルー」は、ハーモニー音を生成しない通常演奏モードを指示し、Ｔｈ＝「ボコーダ」は、入力音Ｐｍ，Ｐｉの音高をハーモニー音Ｔｈ１の音高にすべきことを指示する。
【００５５】
「デュエット１」以下のハーモニータイプＴｈは、前述したように「コーダルタイプ」と総称され、※印を付した「ハーモニー１」及び「ハーモニー２」〔図８（２）参照：第２モードでのみ動作可能〕を除いて、基準入力音Ｐｍ，Ｐｉと和音情報Ｃｄに基づいてハーモニー音Ｔｈ：Ｔｈ１，Ｔｈ２，…の音高にすべきことを指示する（記号“Ｎｈ”は、ハーモニー音又はその音高を代表的に表わす）。図７（１）中で、入力音の「上」は、入力音Ｐｍ，Ｐｉを、和音情報Ｃｄが示す和音構成音の根音とした場合、入力音Ｐｍ，Ｐｉのすぐ上に位置する和音構成音の音高を表わし、入力音の「上上」は、同様の場合、入力音Ｐｍ，Ｐｉの上で２番目に位置する和音構成音の音高を表わし、入力音の「下」は、同様に、入力音Ｐｍ，Ｐｉのすぐ下に位置する和音構成音の音高を表わす。また、「ｏｃｔ」はオクターブを表わし、例えば、「１ｏｃｔ下」は、入力音Ｐｍ，Ｐｉの１オクターブ下に位置するすぐ下の和音構成音の音高を表わす。
【００５６】
つまり、※印を除くコーダルタイプが指定された場合、ハーモニー音決定部Ｇでは、入力音の音高Ｐｍ，Ｐｉに対し、１乃至複数の上及び／又は下の和音構成音の音高Ｎｈ１，Ｎｈ２，…をハーモニー音の音高Ｎｈに決定し、コーダルタイプの種類に応じて、構成音の付き方が異なる。例えば、図７（２）に示すように、和音情報Ｃｄが、音名Ｃ，Ｅ，Ｇで構成され根音をＣとする和音Ｃｍａｊを示しており、基準入力音となる音声ピッチＰｍ（第１モード）或いはメロディ演奏音高Ｐｉ（第２モード）が音高Ｃ３を示している場合に、ハーモニータイプＴｈ＝「デュエット１」が指定されると、根音となる音高Ｃ３の「上」の和音構成音の音高Ｅ３を第１ハーモニー音Ｎｈ１に決定する。また、この場合、Ｔｈ＝「トリオ２」が指定されると、根音Ｃ３の「上」の音高Ｅ３を第１ハーモニー音Ｎｈ１に、「下」の音高Ｇ３を第２ハーモニー音Ｎｈ２に決定する。
【００５７】
〔効果種類の選択とハーモニータイプ〕
このシステムでは、ハーモニータイプの設定に伴って自動的に所定の効果種類を所定の効果付与部にプリセットしたり、ユーザによる効果選択操作により、ユーザが指定する効果付与部に所望の種類の効果を設定することができる。図８は、この発明の一実施例における効果種類の選択態様を説明するための図である。何れかのハーモニータイプがシステムに設定されているときに、ユーザが効果選択用操作子を操作して、図８（１）に示す効果種類の選択肢の中から所望の選択肢を指示することにより、任意の効果付与部Ｌ，Ｍに任意の効果種類を設定することができる。
【００５８】
「プリセット」は、図８（２）に示すプリセットエフェクトテーブルを参照しその内容に従って効果種類Ｅｂ，Ｅｃをハーモニー音及び音声効果付与部Ｌ，Ｍに設定すべきことを指示する選択肢であり、このシステムにデフォルトで設定されるが、ユーザの効果選択操作によって選択することもできる。つまり、「プリセット」が設定されているときにハーモニータイプ指定用操作子の操作によりハーモニータイプＴｈが指定されると、図８（２）のプリセットエフェクトテーブルが参照され、ハーモニー音効果付与部Ｌ乃至音声効果付与部Ｍでボコーダハーモニー音信号Ｓｖ乃至音声信号Ｓｍに付与される効果の種類が自動的にプリセットされる。また、何れかのハーモニータイプが設定されているときにユーザ操作により「プリセット」を選択すると、このテーブルが参照されて所定の効果が所定の効果付与部Ｌ，Ｍに設定され、プリセット内容と同一の設定に戻すことができる。
【００５９】
プリセットエフェクトテーブルにおいては、基本的な方針として、デュエットやトリオのようなポップス系のハーモニータイプ（「デュエット１」〜「クァルテット２」）の場合は「スルー」とし、大編成の合唱のハーモニータイプ（「クワイア１」、「クワイア２」）の場合にはコーラス効果（「コーラス１」）を付与し、同一声部を複数で歌うようなタイプ（「ユニゾン」）には「デチューン」を付与する。なお、テーブル中、ハーモニー内容の「Ｔｈｒｕ」はハーモニー音を設定しないことを表わし、エフェクト種類欄の「スルー」は効果を付与しないことを表わす。
【００６０】
また、効果付与対象となる効果付与部Ｌ，Ｍを指定し「コーラス１」を選択した場合は、当該効果付与部Ｌ，Ｍは、第１のコーラス効果を付与するように設定する。同様に、効果付与部を指定し、「コーラス２」、「デチューン」、「ディストーション」、…を選択した場合には、別の第２のコーラス効果、デチューン、ディストーション（歪み効果）、…を設定する。
【００６１】
図９は、この発明の一実施例によるハーモニー音生成システムにおけるハーモニー選択処理を表わすフローチャートである。このハーモニー選択処理の最初のステップＴ１では、ユーザによるハーモニータイプ指定操作によりハーモニータイプＴｈを選択してハーモニー音決定部Ｃに設定する。次のステップＴ２では、現在選ばれている効果種類は、「プリセット」即ちプリセットエフェクトテーブルに従って選択されたものであるか否かを判定し、「プリセット」であれば（Ｔ２＝ＹＥＳ）、ステップＴ３に進んで、選択されたハーモニータイプに対応付けられた効果種類を選択して効果付与部Ｌ，Ｍに設定し、この設定処理の後は、次のハーモニータイプ選択を待機する状態にリターンする。また、ステップＴ２で「プリセット」でないと判定したときは（Ｔ２＝ＮＯ）、直ちに、次のハーモニータイプ選択を待機する状態にリターンする。
【００６２】
図１０は、この発明の一実施例によるハーモニー音生成システムにおける効果種類選択処理を表わすフローチャートである。効果種類選択処理の第１ステップＵ１では、ユーザによる効果選択操作により、効果付与部Ｌ，Ｍに設定する効果種類を選択する。次のステップＵ２では、選択された効果種類は「プリセット」即ちプリセットエフェクトテーブルに従ったものであるか否かを判定する。そして、選択された効果種類が「プリセット」であれば（Ｕ２＝ＹＥＳ）、ステップＵ３で、現在のハーモニータイプに対応付けられた効果種類を効果付与部Ｌ，Ｍに設定し、選択された効果種類が「プリセット」でなければ（Ｕ２＝ＮＯ）、ステップＵ４で、選択された効果種類を効果付与部Ｌ，Ｍに設定して、次の効果種類選択を待機する状態にリターンする。
【００６３】
〔ボコーダを使用した音高応答ハーモニー音生成システムの機能〕
図２では、音声ピッチＰｍの検出に基づいてハーモニー音の音高を決定する「ピッチ検出型」の第１モードと演奏音高Ｐｉの指定に基づいてハーモニー音の音高を決定する「音高指定型」の第２モードを備えたシステムについて説明したが、第１モード専用の「ピッチ検出型」システム或いは第２モード専用の「音高指定型」システムを個別に構築するようにしてもよい。また、「音高指定型」システム即ち「ボコーダを用い演奏音高に応答してハーモニー音を生成するハーモニー音生成システム」の場合は、第１モード即ちピッチ検出型のように、マイクロフォン１４から入力された音声信号Ｓｍのピッチ検出結果を必要とせず、その代わりに、音高情報供給部Ａから供給される演奏音高Ｐｉをハーモニー音決定の際の基準とするので、ピッチ検出部Ｅ１及びピッチ修正部Ｅ２を省略することができ、前述のように、和音情報Ｃｄによるハーモニーを音Ｎｐを決定するだけでなく、和音情報Ｃｄによらずハーモニー演奏による音高Ｐｈでハーモニー音Ｎｐを決定して、ボコーダによる独特の音質を持つハーモニー音を生成することができる。
【００６４】
図１１は、この発明の一実施例による「ボコーダを用い音高に応答してハーモニー音を生成するハーモニー音生成システム」の機能を説明するためのブロック図である。図１１のようにボコーダを使用する音高指定型ハーモニー音生成システムには、次のような特徴がある。例えば、メロディ演奏情報Ｎｐ（＝音高Ｐｉ）が第１演奏情報として入力され、これとは別に、和音情報Ｃｄが入力されるか、或いは、ハーモニー演奏情報Ｐｈが第２演奏情報として入力される（Ａ，Ｂ）。これに対して、ハーモニー音決定部Ｇは、コード供給モード〔図８（２）で※印以外のコーダルタイプが設定されている場合の動作モード〕では、第１演奏情報Ｎｐの音高Ｐｉ及び和音情報Ｃｄの音高に基づいて、第１演奏情報Ｎｐに付与すべきハーモニー音の音高Ｎｈを決定するか、或いは、ハーモニー演奏モード〔図８（２）で※印の「ハーモニー」タイプが設定されている場合の動作モード〕で、第２演奏情報Ｐｈの音高に基づいて同音高Ｎｈを決定する。音源部Ｈは、第１演奏情報Ｎｐに基づく第１楽音信号Ｓｊと決定されたハーモニー音高Ｎｈに基づく第２楽音信号Ｓｉとを生成する。ボコーダ部Ｊは、入力された音声信号Ｓｍの周波数特性を検出し（Ｊ１）、検出された音声信号Ｓｍの周波数特性に応じて第２楽音信号Ｓｉの周波数特性を制御し、第１楽音信号Ｓｊに対してハーモニーの付いたボコーダ音信号Ｓｖを生成する（Ｊ２）。そして、第１楽音信号Ｓｊ及びボコーダ音信号Ｓｖは、サウンドシステム１６に出力される。この特徴により、右手でメロディを演奏し左手でコード又はハーモニーを弾くという演奏形態で、メロディ音Ｓｊに対して適切なハーモニーの付いたボコーダ音Ｓｖを生成することができる。
【００６５】
これを図６（２）の楽音生成系列のパート構成（第２モード）に従って説明すると、次のとおりである。例えば、コード供給モードのハーモニータイプ（※印以外のコーダルタイプ）を設定し、右側鍵域でのメロディ演奏に対して左側鍵域でコード指示操作を行うと、ハーモニー音決定部Ｇには、音高情報供給部Ａから、メロディ演奏情報Ｎｐ＝Ｎｐ１が示す音高情報Ｐｉが供給されると共に、和音情報供給部Ｂを介してコード指示操作に基づく和音情報Ｃｄが供給されるので、ハーモニー音決定部Ｇは、メロディ音高Ｐｉ及び和音情報Ｃｄの音高に基づいて、メロディ演奏情報Ｎｐ＝Ｎｐ１に付与すべきハーモニー音の音高Ｎｈを決定する。或いは、ハーモニー演奏モードのハーモニータイプ（※印のタイプ）を設定し、右側鍵域でのメロディ演奏に対して左側鍵域でハーモニー演奏を行うと、ハーモニー音決定部Ｇには、ハーモニー演奏情報が示す音高情報Ｐｈが音高情報供給部Ａから供給されるので、ハーモニー音決定部Ｇは、ハーモニー演奏音高Ｐｈの音高に基づいて、メロディ演奏情報Ｎｐに付与すべきハーモニー音の音高Ｎｈを決定する。
【００６６】
そして、音源部Ｈは、コード供給モード、ハーモニー演奏モードの何れにおいても、ハーモニー音決定部Ｇからのメロディ演奏情報Ｎｐに基づく楽音信号ＳｊをＵＫパート（メロディパート）から出力すると共に、ハーモニー音パート即ちボコーダをかける専用パートにて、音高Ｎｈを持つ所定音色の楽音信号Ｓｉを生成し、ボコーダ部Ｊに出力する。
【００６７】
従って、ボコーダを使用してハーモニー音を生成する際、ユーザが右手でメロディを演奏し左手でコード或いはハーモニーを弾くという演奏形態で適切なハーモニーでボコーダをかけることができる。また、重音奏は出来ないが右手で単旋律のメロディを弾きながら左手でコードを押すことはできる初心者ユーザでも、適切なハーモニーの付いた演奏にボコーダをかけることができる。
【００６８】
ここで、図１１のシステムにおけるハーモニー付けの態様を整理すると、図７（１）で説明したように、ハーモニータイプＴｈを選ぶことで、
（１）Ｔｈ＝「ボコーダ」では、指定した鍵盤パートでの演奏（例えば、ＵＫパートＮｐ１）をそのままボコーダ音の生成に使用する、
（２）Ｔｈ＝コーダルタイプ〔「デュエット１」、「デュエット２」、…（「ハーモニー１」及び「ハーモニー２」を除く〕では、コードＣｄによってハーモニーを付ける、
（３）Ｔｈ＝「ハーモニー１」／「ハーモニー２」では、ハーモニーパートで演奏（Ｐｈ）した音程でハーモニーを付ける〔図８（２）※印の行を参照〕、
の何れかの使い方にするかが設定される。
【００６９】
コードＣｄによってハーモニーを付けるコード供給モードの態様（２）では、図７（２）で説明したように、メロディを演奏するパートのトップノート（例えば、ＵＫパートのＮｐ１：Ｐｉ）に対して、コード構成音を適切な音程に変化させたハーモニー音Ｎｈ：Ｎｈ１，Ｎｈ２，…を作成し、作成したハーモニー音Ｎｈの楽音信号Ｓｉに対してボコーダをかける。図７（２）の例では、ハーモニー音Ｎｈが同数のハーモニーについて、コード構成音の展開の仕方〔オープンボイシング（音程が離れている）にする、クローズボイシング（音程が接近している）にする、等〕に応じて複数のタイプＴｈを設けておき（例えば、トリオのハーモニーについては、３つのタイプＴｈ＝「トリオ１」〜「トリオ３」）、何れかのタイプＴｈを指定することによりコード構成音の展開を所定の態様に設定することができる。なお、ユーザ操作によりディスプレイ１５上にハーモニー展開の変更／編集画面を表示しこれを利用してコード構成音の展開の仕方を変更することができるようにしてもよく、ユーザにより変更された構成音の展開内容は、コード供給モードの新たなハーモニータイプＴｈとして登録しておき、再度利用することができるようにしてもよい。
【００７０】
また、ハーモニーパートの演奏（Ｐｈ）によってハーモニーを付けるハーモニー演奏モードの態様（３）については、図８（２）の右２欄から成るハーモニータイプ表中に※印を付けたハーモニータイプＴｈ、即ち、コーダルタイプのうちハーモニー演奏演奏モードのハーモニータイプＴｈ＝「ハーモニー１」／「ハーモニー２」の「ハーモニーの内容」欄に示すように、ハーモニー音の展開の仕方として、
（Ｈ１）ハーモニーパート演奏（Ｐｈ）をそのままハーモニー演奏音Ｎｈに使用する（Ｔｈ＝「ハーモニー１」）か、或いは、
（Ｈ２）ハーモニーパート演奏（Ｐｈ）の音高をシフトしてハーモニー演奏音Ｎｈに使用する（例えば、Ｔｈ＝「ハーモニー２」）
ものとし、何れかのハーモニー演奏音情報Ｎｈに基づく所定音色の楽音信号Ｓｉに対してボコーダをかける。図８（２）の例では、（Ｈ２）の音高シフトについて、ハーモニー音のメロディを演奏するパートのトップノート（ＵＫパートのＮｐ１＝Ｐｉ）に対してオクターブ以内にシフトさせたハーモニー音を使用するものだけを示したが、種々の音高シフト態様を用意しておくことができる。
【００７１】
図１２は、この発明の一実施例におけるハーモニー演奏音の更なる展開例を示す。すなわち、図１２に示すハーモニー演奏モードのハーモニータイプでは、Ｔｈ＝「ハーモニー１」は、図８（２）と同様に、ハーモニーノートＰｈをそのまま使用し、Ｔｈ＝「ハーモニー２」も、図８（２）と同様に、ハーモニーノートＰｈを、入力音（ＵＫパートのメロディ演奏奏音Ｎｐ１の音高）Ｐｉの１オクターブ以内の範囲に入るように、オクターブシフトすることを指示するが、さらに、ハーモニーノートを−１オクターブシフトする「ハーモニー３」と、ハーモニーノートを＋１オクターブシフトする「ハーモニー４」を備えている。なお、ハーモニーパートの演奏でハーモニーを付けるハーモニー演奏音展開型についても、タイプコードＣｄでハーモニーを付ける場合と同様に、ハーモニー展開の変更／編集画面でハーモニー演奏音の展開の仕方を変更可能にしてもよく、ユーザにより変更されたハーモニー演奏音の展開内容は、新たなハーモニー演奏モードのハーモニータイプＴｈとして登録しておき、再度利用することができるようにしてもよい。
【００７２】
なお、図１１のシステムにおいて、ボコーダをかける演奏情報については、
（Ａ）上述のようにコード音又はハーモニー演奏音によるハーモニー音のみボコーダをかけるか、
（Ｂ）メロディ音自体にもボコーダをかけるか
を、ユーザがモード設定で選択することができるように構成してもよい。
【００７３】
また、和音情報Ｃｄを用いるコード供給モードの場合にボコーダをかける時間は、
（ａ）実際にコード指示操作がなされている（コード指定鍵が押されている）間のみハーモニーを付加するか、
（ｂ）この操作を停止しても（コード指定鍵を離しても）解除操作或いは次のコード指示操作があるまで付加し続けるか
を、ユーザがモード設定で選択することができるように構成してもよい。
【００７４】
〔音声のピッチ変換を用いるハーモニー音生成システム〕
この発明の一実施例によるハーモニー音生成システムにおいては、入力音声のピッチ変換を用いて入力音声を加工することにより、入力音声のピッチ或いは演奏情報の音高に基づいて決定される音高のハーモニー音を生成する際に、入力音声のピッチ或いは演奏情報の音高を音域調整して、ユーザが意図しない音域でのハーモニー音を発生させないようにしたり、ハーモニータイプの設定に応じて自動的に音声やハーモニー音に適切な効果をプリセットすることができる。
【００７５】
図１３は、この発明の一実施例による音声のピッチ変換を用いたハーモニー音生成システムの機能ブロック図を示す。このシステムでは、図２に示したボコーダ部Ｊに代えて、音声入力部１４−７から入力された音声信号Ｓｍのピッチを変換するピッチ変換部Ｎを用い、ピッチ変換部Ｎにおいて、ハーモニー音決定部Ｇで決定されたハーモニー音の音高情報Ｎｈに基づいて、音声信号Ｓｍのピッチを変換し、ピッチ変換された音声信号Ｓｎをハーモニー音とする点が、図２で説明したボコーダ使用のハーモニー音生成システム（以下、「第１システム」と呼ぶ）と異なるが、それ以外は、第１システムと同様である。
【００７６】
すなわち、音源部Ｈは、音高情報供給部Ａから供給される演奏音情報（演奏情報）Ｎｐに応じた楽音信号Ｓｋを生成し、演奏音効果付与部Ｋは、この楽音信号Ｓｋに所定の効果を付与する。また、音声効果付与部Ｍは、マイクロフォン１４からＡ／Ｄ変換回路７を介して入力される音声信号Ｓｍに所定の効果を付与する。これに対して、ピッチ変換部Ｎは、ハーモニー音決定部Ｇで決定されたハーモニー音高Ｎｈに応じて入力音声信号Ｓｍをピッチ変換して該音高Ｎｈを持つハーモニー音Ｓｎに加工し、ハーモニー音効果付与部Ｐは、このハーモニー音Ｓｎに所定の効果を付与する。そして、各効果付与部Ｋ，Ｍ，Ｐで各効果が夫々付与された演奏音、音声及びハーモニー音信号Ｓａ，Ｓｃ，Ｓｅは、サウンドシステム１６に出力される。
【００７７】
ここで、ハーモニー音効果付与部Ｐ及び音声効果付与部Ｍで付与される効果の設定態様は、第１システムと同様であり、例えば、標準設定モードでは、ハーモニータイプ設定部Ｃからの効果指定情報Ｅｅ，Ｅｃに従ってハーモニータイプＴｈに応じた効果が各信号Ｓｅ，Ｓｃに付与される。また、ハーモニー音決定部Ｇにおけるハーモニー音高Ｎｈの決定態様も第１システムと同様であるが、簡単に説明すると次のとおりである。
【００７８】
第１モードでは、ピッチ調整部Ｅが動作し、図４（１）及び図５で説明したように、入力音声信号Ｓｍのピッチを検出し（Ｅ１）、検出されたピッチが、音域設定部Ｄから指定される設定音域にないときは、設定音域に入るように検出ピッチを修正し（Ｅ２）、入力音声信号Ｓｍの正しいピッチＰｍを入力音情報としてハーモニー音決定部Ｇに送る。ハーモニー音決定部Ｇは、図７で説明したように、ハーモニータイプ設定部Ｃからのタイプ指定情報Ｔｈで指定されるハーモニータイプに従って、音高情報供給部Ａから和音情報供給部Ｂを介して入力される和音情報Ｃｄとピッチ調整部Ｅからのピッチ情報Ｐｉとに基づいて、ハーモニー音の音高Ｎｈ：Ｎｈ１，Ｎｈ２，…を決定する〔但し、図７（１）や図８（２）のハーモニータイプＴｈ＝「ボコーダ」、「ハーモニー１」、「ハーモニー２」に対応するタイプ及びハーモニー音はない〕。
【００７９】
一方、第２モードでは、音高調整部Ｆが動作し、図４（２）及び図５で説明したように、演奏音情報（演奏情報）Ｎｐのうちハーモニー音の基準となる演奏音情報（例えば、メロディ演奏情報）Ｎｐ１の音高が音域設定部Ｄの設定音域にないときは、設定音域に入るように音高を修正し、当該演奏音情報の正しい音高Ｐｉをハーモニー音決定部Ｇに送る。或いは、ハーモニー演奏による演奏情報の音高が音域設定部Ｄの設定音域にないときは、設定音域に入るように音高を修正し、当該演奏音情報の正しい音高Ｐｈをハーモニー音決定部Ｇに送る。ハーモニー音決定部Ｇは、図７で説明したように、ハーモニータイプ設定部Ｃから指定されるハーモニータイプＴｈに従い、和音情報供給部Ｂを介して入力される和音情報Ｃｄと音高調整部Ｆからの音高情報Ｐｉとに基づいて、或いは、ハーモニータイプ設定部Ｃからの所定のハーモニータイプＴｈに従い、音高調整部Ｆからの音高情報Ｐｈに基づいて、ハーモニー音の音高Ｎｈ：Ｎｈ１，Ｎｈ２，…を決定する。
【００８０】
なお、図１３では、音声ピッチＰｍの検出に基づいてハーモニー音の音高を決定する「ピッチ検出型」の第１モードと演奏音高Ｐｉの指定に基づいてハーモニー音の音高を決定する「音高指定型」の第２モードを備えたシステムについて説明したが、第１システムと同様に、第１モード専用の「ピッチ検出型」システム或いは第２モード専用の「音高指定型」システムを個別に構築することができる。
【００８１】
〔種々の実施態様〕
以上、図面を参照しつつこの発明の好適な実施の一形態について説明したが、これは単なる一例で、この発明は、発明の精神を逸脱しない範囲で種々の変更が可能である。例えば、音域設定部（Ｄ）で設定した音域に応じて、ボコーダ部（Ｊ）におけるフォルマントフィルタの特性制御パラメータや、ピッチ変換部（Ｎ）におけるピッチ変換特性制御パラメータを変更するようにしてもよい。例えば、ハーモニータイプ（Ｔｈ）によってボコーダ部（Ｊ）やピッチ変換部（Ｎ）のパラメータが初期設定されるが、この初期設定値を、音域設定部（Ｄ）で設定した音域に応じて修正するようにしてもよい。これにより、設定音域に合った適切な音質のハーモニー音（Ｓｖ，Ｓｎ）を生成することが可能となる。
【図面の簡単な説明】
【００８２】
【図１】この発明の一実施例によるハーモニー音生成システムが構築される電子音楽装置のハードウエア構成ブロック図を示す。
【図２】この発明の一実施例によるボコーダを用いたハーモニー音生成システムの機能ブロック図を示す。
【図３】ボコーダの機能を説明するための図である。
【図４】この発明の一実施例による音声ピッチ及び演奏音高の調整作用を説明するための図である。
【図５】この発明の一実施例によるハーモニー音生成システムのピッチ調整部又は音高調整部における音域判定処理を表わすフローチャートである。
【図６】この発明の一実施例における発音系列とパートの構成例を示す。
【図７】この発明の一実施例におけるハーモニー音の付け方の例を示す。
【図８】この発明の一実施例における効果種類の選択態様を説明するための図である。
【図９】この発明の一実施例によるハーモニー音生成システムにおけるハーモニー選択処理を表わすフローチャートである。
【図１０】この発明の一実施例によるハーモニー音生成システムにおける効果種類選択処理を表わすフローチャートである。
【図１１】この発明の一実施例による「ボコーダを用い音高に応答してハーモニー音を生成するハーモニー音生成システム」の機能を説明するためのブロック図である。
【図１２】この発明の一実施例におけるハーモニー演奏音の更なる展開例である。
【図１３】この発明の一実施例によるピッチ変換を用いたハーモニー音生成システムの機能ブロック図を示す。
【符号の説明】
【００８３】
Ｔｈ 設定されたハーモニータイプを表わすタイプ指定情報又はそのタイプ、
Ｅｂ，Ｅｅ ハーモニー音信号Ｓｖ，Ｓｎに自動設定される効果指定情報又はその効果、
Ｅｃ 音声信号Ｓｍに自動設定される効果指定情報又はその効果、
Ｓｍ；Ｓｃ 音声入力信号及び音声出力信号、
Ｐｍ コード音展開の基準入力音に用いられる音声ピッチ情報又はそのピッチ、
Ｐｉ コード音展開の基準入力音に用いられる演奏音高情報又はその音高、
Ｃｄ；Ｐｈ 和音情報（又はその音高）及びハーモニー演奏情報（又はその音高）、
Ｎｐ：Ｎｐ１，Ｎｐ２，… 演奏音情報、
Ｎｈ 生成すべきハーモニー音を表わすハーモニー音情報又はその音高、
Ｓｉ；Ｓｊ ボコーダ音信号Ｓｖに変換される楽音信号及びその他の楽音信号、
Ｓａ；Ｓｂ，Ｓｅ 演奏音出力信号及びハーモニー音出力信号。
【特許請求の範囲】
【請求項１】
音声信号を入力する音声入力手段と、
音域を設定する音域設定手段と、
音声入力手段により入力された音声信号のピッチを検出するピッチ検出手段と、
ピッチ検出手段により検出されたピッチが音域設定手段により設定された音域に入るか否かを判定し、当該ピッチが該音域に入るときは当該ピッチを有効とし、当該ピッチが該音域に入らないときには当該ピッチを該音域に入るように修正するか或いは無効にするピッチ調整手段と、
ピッチ調整手段により有効とされたピッチ或いは修正されたピッチに基づいてハーモニー音の音高を決定するハーモニー音高決定手段と、
音声入力手段により入力された音声信号を加工或いは利用して、ハーモニー音高決定手段により決定された音高を有するハーモニー音を生成するハーモニー音生成手段と
を具備することを特徴とするハーモニー音生成装置。
【請求項２】
音声信号を入力する音声入力手段と、
音域を設定する音域設定手段と、
音高情報を供給する音高情報供給手段と、
音高情報供給手段により供給された音高情報の音高が音域設定手段により設定された音域に入るか否かを判定し、当該音高が該音域に入るときは当該音高を有効とし、当該音高が該音域に入らないときには当該音高を該音域に入るように修正する音高調整手段と、
音高調整手段により有効とされた音高或いは修正された音高に基づいてハーモニー音の音高を決定するハーモニー音高決定手段と、
音声入力手段により入力された音声信号を加工或いは利用して、ハーモニー音高決定手段により決定された音高を有するハーモニー音を生成するハーモニー音生成手段と
を具備することを特徴とするハーモニー音生成装置。
【請求項３】
音声信号を入力する音声入力手段を具備し、ハーモニー音生成装置として機能するコンピュータに、
音域を設定する音域設定ステップと、
音声入力手段により入力された音声信号のピッチを検出するピッチ検出ステップと、
ピッチ検出ステップで検出されたピッチが音域設定ステップで設定された音域に入るか否かを判定し、当該ピッチが該音域に入るときは当該ピッチを有効とし、当該ピッチが該音域に入らないときには当該ピッチを該音域に入るように修正するか或いは無効にするピッチ調整ステップと、
ピッチ調整ステップで有効とされたピッチ或いは修正されたピッチに基づいてハーモニー音の音高を決定するハーモニー音高決定ステップと、
音声入力手段により入力された音声信号を加工或いは利用して、ハーモニー音高決定ステップで決定された音高を有するハーモニー音を生成するハーモニー音生成ステップと
から成る手順を実行させるハーモニー音生成プログラム。
【請求項４】
音声信号を入力する音声入力手段を具備し、ハーモニー音生成装置として機能するコンピュータに、
音域を設定する音域設定ステップと、
音高情報を供給する音高情報供給ステップと、
音高情報供給ステップで供給された音高情報の音高が音域設定ステップで設定された音域に入るか否かを判定し、当該音高が該音域に入るときは当該音高を有効とし、当該音高が該音域に入らないときには当該音高を該音域に入るように修正する音高調整ステップと、
音高調整ステップで有効とされた音高或いは修正された音高に基づいてハーモニー音の音高を決定するハーモニー音高決定ステップと、
音声入力手段により入力された音声信号を加工或いは利用して、ハーモニー音高決定ステップで決定された音高を有するハーモニー音を生成するハーモニー音生成ステップと
から成る手順を実行させるハーモニー音生成プログラム。
【請求項１】
音声信号を入力する音声入力手段と、
音域を設定する音域設定手段と、
音声入力手段により入力された音声信号のピッチを検出するピッチ検出手段と、
ピッチ検出手段により検出されたピッチが音域設定手段により設定された音域に入るか否かを判定し、当該ピッチが該音域に入るときは当該ピッチを有効とし、当該ピッチが該音域に入らないときには当該ピッチを該音域に入るように修正するか或いは無効にするピッチ調整手段と、
ピッチ調整手段により有効とされたピッチ或いは修正されたピッチに基づいてハーモニー音の音高を決定するハーモニー音高決定手段と、
音声入力手段により入力された音声信号を加工或いは利用して、ハーモニー音高決定手段により決定された音高を有するハーモニー音を生成するハーモニー音生成手段と
を具備することを特徴とするハーモニー音生成装置。
【請求項２】
音声信号を入力する音声入力手段と、
音域を設定する音域設定手段と、
音高情報を供給する音高情報供給手段と、
音高情報供給手段により供給された音高情報の音高が音域設定手段により設定された音域に入るか否かを判定し、当該音高が該音域に入るときは当該音高を有効とし、当該音高が該音域に入らないときには当該音高を該音域に入るように修正する音高調整手段と、
音高調整手段により有効とされた音高或いは修正された音高に基づいてハーモニー音の音高を決定するハーモニー音高決定手段と、
音声入力手段により入力された音声信号を加工或いは利用して、ハーモニー音高決定手段により決定された音高を有するハーモニー音を生成するハーモニー音生成手段と
を具備することを特徴とするハーモニー音生成装置。
【請求項３】
音声信号を入力する音声入力手段を具備し、ハーモニー音生成装置として機能するコンピュータに、
音域を設定する音域設定ステップと、
音声入力手段により入力された音声信号のピッチを検出するピッチ検出ステップと、
ピッチ検出ステップで検出されたピッチが音域設定ステップで設定された音域に入るか否かを判定し、当該ピッチが該音域に入るときは当該ピッチを有効とし、当該ピッチが該音域に入らないときには当該ピッチを該音域に入るように修正するか或いは無効にするピッチ調整ステップと、
ピッチ調整ステップで有効とされたピッチ或いは修正されたピッチに基づいてハーモニー音の音高を決定するハーモニー音高決定ステップと、
音声入力手段により入力された音声信号を加工或いは利用して、ハーモニー音高決定ステップで決定された音高を有するハーモニー音を生成するハーモニー音生成ステップと
から成る手順を実行させるハーモニー音生成プログラム。
【請求項４】
音声信号を入力する音声入力手段を具備し、ハーモニー音生成装置として機能するコンピュータに、
音域を設定する音域設定ステップと、
音高情報を供給する音高情報供給ステップと、
音高情報供給ステップで供給された音高情報の音高が音域設定ステップで設定された音域に入るか否かを判定し、当該音高が該音域に入るときは当該音高を有効とし、当該音高が該音域に入らないときには当該音高を該音域に入るように修正する音高調整ステップと、
音高調整ステップで有効とされた音高或いは修正された音高に基づいてハーモニー音の音高を決定するハーモニー音高決定ステップと、
音声入力手段により入力された音声信号を加工或いは利用して、ハーモニー音高決定ステップで決定された音高を有するハーモニー音を生成するハーモニー音生成ステップと
から成る手順を実行させるハーモニー音生成プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２００９−１２２６１０（Ｐ２００９−１２２６１０Ａ）
【公開日】平成２１年６月４日（２００９．６．４）
【国際特許分類】
【出願番号】特願２００７−２９９５１２（Ｐ２００７−２９９５１２）
【出願日】平成１９年１１月１９日（２００７．１１．１９）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
【公開日】平成２１年６月４日（２００９．６．４）
【国際特許分類】
【出願日】平成１９年１１月１９日（２００７．１１．１９）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
[ Back to top ]