音信号処理装置
【課題】主要音に、不要音（例えば、かぶり音や残響音）が混ざった混合音から、主要音を好適に抽出し得る音信号処理装置を提供すること。
【解決手段】本発明の音信号処理装置によれば、第１の音と第２の音とを含む混合音の時間領域の信号である混合音信号と、少なくとも第２の音に相当する音を含む音の時間領域の信号である対象音信号とからなる２つの信号であって、全てまたは一部が時間的な相関関係を有する前記２つの信号をそれぞれ複数の周波数帯域に分割し、各周波数毎に算出した２つの信号のレベル比に基づき、混合音信号に含まれている第１の音の信号を抽出する。これは、周波数特性やレベル比に注目して、混合音から第１の音を抽出するものであるので、擬似的に生成した波形の時間軸上での差し引きや、逆相波との空間合成による打ち消しを伴わず、第１の音を容易に良好な音質で抽出できる。
【解決手段】本発明の音信号処理装置によれば、第１の音と第２の音とを含む混合音の時間領域の信号である混合音信号と、少なくとも第２の音に相当する音を含む音の時間領域の信号である対象音信号とからなる２つの信号であって、全てまたは一部が時間的な相関関係を有する前記２つの信号をそれぞれ複数の周波数帯域に分割し、各周波数毎に算出した２つの信号のレベル比に基づき、混合音信号に含まれている第１の音の信号を抽出する。これは、周波数特性やレベル比に注目して、混合音から第１の音を抽出するものであるので、擬似的に生成した波形の時間軸上での差し引きや、逆相波との空間合成による打ち消しを伴わず、第１の音を容易に良好な音質で抽出できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音信号処理装置に関し、特に、主要音に不要音が混ざった混合音から、主要音を好適に抽出し得る音信号処理装置に関するものである。
【背景技術】
【０００２】
ライブなどで１つの楽曲を演奏する複数の楽器の演奏音を楽器毎に独立して収録した場合に、各楽器の収録音は、対象とする楽器の演奏音に、「かぶり音」と呼ばれる他の楽器の演奏音が混ざった混合音となる。各楽器の収録音を加工処理（例えば、ディレイ）する場合に、かぶり音の存在が問題になることがあり、かぶり音を収録音から除去することが望まれている。
【０００３】
また、マイクなどで収録された音には、原音と、その残響成分（残響音）が含まれていることが一般的である。従来、原音に残響音が混合した混合音から残響音を除く技術としては、残響音に相当する擬似残響音の波形を生成し、その擬似残響音の波形を、時間軸上で元の混合音から差し引く方法（例えば、特許文献１）や、混合音から残響音の逆相波を生成して補助スピーカから出力して混合音と空間合成することにより、該残響音を打ち消す方法（例えば、特許文献２）などの方法が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平０７−１５４３０６号公報
【特許文献２】特開平０６−０６２４９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、残響音の除去については、上記の先行技術があるものの、特許文献１に記載される技術の場合、擬似残響音の波形を正確に生成しなければ、残響音を除去した後の音質が悪く、特許文献２に記載される技術の場合、残響音を除去できる聴衆位置が限定的であるという問題点がある。また、かぶり音を除去するために、残響音を除去するための上記の先行技術を取り入れたとしても、上述した問題点が同様に生じると考えられる。
【０００６】
ところで、本出願人は、複数の楽音が混合してなる混合音の信号から、その周波数領域の信号のレベルに基づき、複数の定位に位置する楽音を抽出する未公知技術を提案している（例えば、特願２００９−２７７０５４（未公知））。
【０００７】
本発明は、上述した事情等を鑑みてなされたものであり、上記技術を応用することにより、主要音に不要音（例えば、かぶり音や残響音）が混ざった混合音から、主要音を好適に抽出し得る音信号処理装置を提供することを目的としている。
【課題を解決するための手段および発明の効果】
【０００８】
この目的を達成するために、請求項１記載の音信号処理装置によれば、第１の音と第２の音とを含む混合音の時間領域の信号である混合音信号と、少なくとも第２の音に相当する音を含む音の時間領域の信号である対象音信号とからなる２つの信号であって、全てまたは一部が時間的な相関関係を有する前記２つの信号をそれぞれ複数の周波数帯域に分割し、各周波数毎に、２つの信号のレベル比を算出する。このレベル比は、混合音信号と対象音信号との相違の度合いの表す指標となる。そして、この指標に基づくことにより、混合音信号には含まれ、対象音信号には含まれない第１の音の信号を、第２の音の信号に対して区別することができる。よって、第１の音を示すレベル比の範囲を周波数帯域毎に予め設定しておくことにより、レベル比算出手段により算出されたレベル比が、設定された範囲内にあると判定手段により判定された周波数帯域の信号を、前記混合音信号に対応する信号から抽出手段によって抽出することにより、混合音信号に含まれている第１の音の信号を抽出できる。従って、第１の音としての主要音に、第２の音としての不要音（例えば、かぶり音や、テープの劣化により移り込んだ音や、残響音など）が混ざった混合音から、第１の音である主要音を抽出することができる。
【０００９】
かかる第１の音の抽出は、信号の周波数特性やレベル比に注目して、混合音から第１の音を抽出する（換言すれば、第２の音を除く）ものであり、擬似的に生成した波形の時間軸上での差し引きを伴うものではないので、第１の音を容易に良好な音質で抽出できる。また、逆相波による音像空間における打ち消しを伴わないので、聴衆位置が限定的になることなく良好な音質の第１の音を抽出することができる。よって、請求項１記載の音信号処理装置によれば、主要音に、不要音が混ざった混合音から、主要音を好適に抽出し得るという効果がある。
【００１０】
請求項２記載の音処理装置によれば、請求項１が奏する効果に加え、混合音に含まれる第１の音及び第２の音のそれぞれの発音タイミングの差に基づき生じる時間差が、調整手段によって調整される。具体的には、第１入力手段から入力された信号（混合音信号）又は第２入力手段から入力された信号（対象音信号）のいずれかの信号を、時間軸上で、該時間差に応じた調整量に応じて遅延させることによって調整する。上記の時間差は、混合音信号における第２の音の信号と、対象音信号における第２の音の信号との時間差であるので、上記調整手段による調整により、混合音信号における第２の音の信号と、対象音信号における第２の音の信号とを時間軸上で相対的に合わせることができる。
【００１１】
なお、この請求項２における「前記混合音に含まれる第１の音及び第２の音のそれぞれの発音タイミングの差に基づき生じる時間差」としては、例えば、第１の音を出力する第１の出力源と収音手段との間の音場空間の特性と、第２の音を出力する第２の出力源と該収音手段との間の音場空間の特性との差に基づいて生じる時間差や、演奏音が録音されたカセットテープが劣化し、テープの巻きによる重なり部分において、ある時刻に演奏されて録音された第１の音の信号に、時系列的に異なる第２の音の信号（例えば、時系列的に前に演奏された第２の音の信号）が移りこんだことによって生じる時間差、などがある。また、請求項２における「時間差」としては、必ずしも時間差がある場合に限らず、時間差がない場合（即ち、時間差がゼロである場合）も含むことを意図している。また、請求項２における「時間差に応じた調整量」もまた、ゼロを含むことを意図している。
【００１２】
よって、請求項２記載の音信号処理装置によれば、主要音に、不要音（例えば、かぶり音や、テープの劣化により移り込んだ音など）が混ざった混合音から、主要音を好適に抽出し得るという効果がある。
【００１３】
請求項３記載の音信号処理装置によれば、請求項２が奏する効果に加え、第２の抽出手段は、調整信号又は元信号のうち、混合音信号に対応する信号から、レベル比が予め設定された範囲外であると判定手段により判定された周波数帯域の信号を抽出するので、混合音中に含まれる第２の音に相当する音の信号を抽出して出力できるという効果がある。混合音中に含まれる第２の音に相当する音の信号を抽出して出力することにより、混合音からどのような音が除去されるかをユーザに聴かせることができ、第１の音を適切に抽出させるための感覚的な情報を与えることができる。
【００１４】
請求項４記載の音信号処理装置によれば、請求項２又は３が奏する効果に加え、マルチトラックデータの中から、所定のトラックに録音されている第１の音を抽出できるという効果がある。よって、ライブなどで１つの楽曲を演奏する複数の楽器の演奏音を楽器毎に独立して収録したマルチトラックデータから、所望の楽器の音や音声が録音されたトラックに録音されている音の信号を第１入力手段に入力し、そのトラックに録音されている音に含まれる所望の楽器の音または音声以外の音が録音された他のトラックに録音されている音の信号を第２入力手段に入力することにより、かぶり音を除去した所望の楽器の音又は音声を抽出できる。
【００１５】
請求項５記載の音信号処理装置によれば、請求項２から４のいずれかが奏する効果に加え、第２の出力源の位置に応じた調整量としての遅延時間と、第２の出力源の数とに基づいて、調整信号を生成するので、混合音信号における第２の音の信号と、対象音信号における第２の音の信号とを精度良く合わせることができ、第１の音を良好な音質で抽出できるという効果がある。
【００１６】
請求項６記載の音信号処理装置によれば、所定の出力源から出力された第１の音と、その第１の音に基づいて音場空間において生じた第２の音とを１つの収音手段により収音して得られた混合音の時間領域の信号が混合音信号として入力手段から入力される場合に、所定の出力源から出力された第１の音が収音手段により収音されるタイミングと、第２の音（第１の音に基づいて生じた音）が同じ収音手段により収音されるタイミングとの時間差に応じた調整量に応じて、擬似信号生成手段によって、混合音信号が、時間軸上で遅延され、それにより、該混合音の信号から、対象音信号としての第２の音の信号が擬似的に生成される。
【００１７】
よって、請求項６記載の音信号処理装置によれば、主要音に、不要音（例えば、残響音など）が混ざった混合音から、主要音（例えば、原音）を好適に抽出し得るという効果がある。
【００１８】
請求項７記載の音信号処理装置によれば、請求項６が奏する効果に加え、入力手段から入力された、原音である第１の音と残響音（第２の音）との混合音から、原音を抽出できるという効果がある。
【００１９】
請求項８記載の音信号処理装置によれば、請求項７が奏する効果に加え、音場空間における残響特性に応じて生じる、第１の音が収音手段により収音されてから、その第１の音に基づいて生じた残響音が該収音手段により収音されるまでの遅延時間を調整量とする。そして、かかる調整量としての遅延時間と、該音場空間において第１の音を反射する反射位置として設定した数とに基づいて、擬似的な第２の音の信号としての初期反射音の信号を生成するので、初期反射音の信号を精度よく模倣することができ、原音（第１の音）を良好な音質で抽出できるという効果がある。
【００２０】
請求項９記載の音信号処理装置によれば、請求項６から８のいずれかが奏する効果に加え、擬似的な第２の音の信号における今回のレベルを、前回のレベルと比較し、今回のレベルが、前回のレベルに所定の減衰率をかけたレベルより小さい場合に、レベル補正手段により、レベル比算出手段に使用する擬似的な第２の音の信号のレベルが、前回のレベルに所定の減衰率をかけたレベルに補正されるので、擬似的な第２の音の信号のレベルの急激な減衰を鈍らせることができる。よって、レベル比算出手段により算出されるレベル比の急激な変化を抑制することができ、その結果、大音量後の反射音が到達した後に続く比較的レベルの低い反射音を捕らえることができるという効果がある。
【００２１】
請求項１０記載の音信号処理装置によれば、請求項６から９のいずれかが奏する効果に加え、混合音の信号のレベルが小さい程、擬似的な第２の音の信号のレベルに対する、混合音の信号のレベルの比が小さくなるように、レベル比算出手段により算出されたレベル比が、レベル比補正手段によって補正されるので、小さいレベルの混合音の信号を、より第２の音として判定され易いようにすることができ、それにより、後部残響音を捕らえることができるという効果がある。
【図面の簡単な説明】
【００２２】
【図１】本発明の一実施形態であるエフェクタ（音信号処理装置の一例）の構成を示すブロック図である。
【図２】ＤＳＰの機能を示す機能ブロック図である。
【図３】マルチトラック再生部の機能を示す機能ブロック図である。
【図４】（ａ）は、遅延部の機能を示す機能ブロック図であり、（ｂ）は、（ａ）に示した遅延部において、入力信号に対して畳み込まれるインパルス応答を示す模式図である。
【図５】第１処理部を構成する各部で実行される処理を、機能ブロックを用いて模式的に示す図である。
【図６】表示装置の表示画面に表示されたユーザインターフェイス画面の一例を示す模式図である。
【図７】第２実施形態のエフェクタの構成を示すブロック図である。
【図８】第２実施形態のＤＳＰの機能を示す機能ブロック図である。
【図９】（ａ）は、Ｌｃｈ初期反射成分生成部の機能を示すブロック図であり、（ｂ）は、（ａ）に示したＬｃｈ初期反射成分生成部において、入力信号に対して畳み込まれるインパルス応答を示す模式図である。
【図１０】Ｌｃｈ成分選別部で実行される処理を、機能ブロックを用いて模式的に示す図である。
【図１１】ある周波数ｆにおいて、｜ＰＯＬ＿１Ｌ［ｆ］の動径｜を一定にしたときの、｜ＰＯＬ＿２Ｌ［ｆ］の動径｜の減衰を鈍らせない場合と、鈍らせた場合とを比較するための説明図である。
【図１２】表示装置の表示画面に表示されたユーザインターフェイス画面の一例を示す模式図である。
【図１３】信号表示部に設定される範囲の変形例を示す図である。
【図１４】オールパスフィルタの構成を示すブロック図である。
【発明を実施するための形態】
【００２３】
以下、本発明の好ましい実施例について、添付図面を参照して説明する。まず、図１から図６を参照して本発明の第１実施形態について説明する。図１は、本発明における第１実施形態のエフェクタ１（音信号処理装置の一例）の構成を示すブロック図である。第１実施形態のエフェクタ１は、１つの楽曲を演奏する複数の楽器の演奏音を楽器毎にマルチトラック録音した場合に、各楽器を録音したトラックの収録音に含まれるかぶり音を除去できるものである。なお、本明細書に記載される用語「楽器」としては、ボーカルを含むことを意図している。
【００２４】
エフェクタ１は、ＣＰＵ１１と、ＲＯＭ１２と、ＲＡＭ１３と、デジタルシグナルプロセッサ（以下、「ＤＳＰ」と称す）１４と、Ｌｃｈ用Ｄ／Ａ１５Ｌと、Ｒｃｈ用Ｄ／Ａ１５Ｒと、表示装置用Ｉ／Ｆ１６と、入力装置用Ｉ／Ｆ１７と、ＨＤＤ＿Ｉ／Ｆ１８と、バスライン１９とを有している。なお、「Ｄ／Ａ」とは、デジタルアナログコンバータである。各部１１〜１４，１５Ｌ，１５Ｒ，１６〜１８は、バスライン１９を介して互いに電気的に接続されている。
【００２５】
ＣＰＵ１１は、ＲＯＭ１２等に記憶される固定値や制御プログラムに従って、バスライン１９を介して接続されている各部を制御する中央制御装置である。ＲＯＭ１２は、エフェクタ１で実行される制御プログラム１２ａなどを格納した書換不能なメモリである。制御プログラム１２ａには、図２〜図５を参照して後述するＤＳＰ１４により実行される各処理の制御プログラムが含まれている。ＲＡＭ１３は、各種のデータを一時的に記憶するためのメモリである。
【００２６】
ＤＳＰ１４は、デジタル信号を処理するための演算装置である。詳細は後述するが、本実施形態におけるＤＳＰ１４は、ＨＤＤ２１に記憶されているマルチトラックデータ２１ａをマルチトラック再生し、ユーザ指定された楽器の演奏音が録音されているトラックの収録音の信号から、そのトラックへの録音を意図した音（即ち、ユーザ指定された楽器の演奏音であり、この音を以下では「主要音」と称することがある）の信号と、その主要音に混ざって録音されたかぶり音の信号とを選別し、選別された主要音の信号を「かぶり取り音」の信号として抽出して、Ｌｃｈ用Ｄ／Ａ１５ＬおよびＲｃｈ用Ｄ／Ａ１５Ｒへ出力する処理を実行する。
【００２７】
Ｌｃｈ用Ｄ／Ａ１５Ｌは、ＤＳＰ１４にて信号処理が施された左チャンネル信号を、デジタル信号からアナログ信号へ変換するコンバータであり、変換後のアナログ信号はＯＵＴ＿Ｌ端子から出力される。Ｒｃｈ用Ｄ／Ａ１５Ｒは、ＤＳＰ１４にて信号処理が施された右チャンネル信号を、デジタル信号からアナログ信号へ変換するコンバータであり、変換後のアナログ信号はＯＵＴ＿Ｒ端子から出力される。
【００２８】
表示装置用Ｉ／Ｆ１６は、表示装置２２を接続するためのインターフェイスである。エフェクタ１には、この表示装置用Ｉ／Ｆ１６を介して表示装置２２が接続される。表示装置２２は、ＬＣＤ等によって構成される表示画面を有する装置であり、本実施形態では、この表示装置２２の表示画面に、図６を参照して後述するユーザインターフェイス画面３０が表示される。なお、以下では、ユーザインターフェイス画面を「ＵＩ画面」と称す。
【００２９】
入力装置用Ｉ／Ｆ１７は、入力装置２３を接続するためのインターフェイスである。エフェクタ１には、この入力装置用Ｉ／Ｆ１７を介して入力装置２３が接続される。入力装置２３は、エフェクタ１に供給する各種実行指示を入力するための装置であり、例えば、マウスやタブレットやキーボードなどで構成される。本実施形態では、表示装置２２の表示画面に表示されたＵＩ画面３０（図６参照）に対し、入力装置２３を適宜操作することにより、ユーザ指定された楽器の演奏音が録音されているトラックの収録音からかぶり取り音を抽出するための各種実行指示を入力する。なお、入力装置２３を、表示装置２２の表示画面上になされた操作を感知するタッチパネルとして構成してもよい。
【００３０】
ＨＤＤ＿Ｉ／Ｆ１８は、外付けのハードディスクドライブであるＨＤＤ２１を接続するためのインターフェイスである。本実施形態では、ＨＤＤ２１には、１又は複数のマルチトラックデータ２１ａが記憶されており、ユーザにより選択された１つのマルチトラックデータ２１ａが、処理のためにＨＤＤ＿Ｉ／Ｆ１８を介してＤＳＰ１４へ入力される。マルチトラックデータ２１ａは、トラック単位でマルチトラック録音されたオーディオデータである。
【００３１】
次に、図２を参照して、ＤＳＰ１４の機能について説明する。図２は、ＤＳＰ１４の機能を示す機能ブロック図である。ＤＳＰ１４に形成される機能ブロックは、マルチトラック再生部１００と、遅延部２００と、第１処理部３００と、第２処理部４００とから構成される。
【００３２】
マルチトラック再生部１００は、ＨＤＤ２１に記憶されているマルチトラックデータ２１ａをマルチトラック再生し、ユーザ指定された楽器の演奏音が録音されているトラックの収録音に基づく再生信号であるＩＮ＿Ｐ［ｔ］を、第１処理部３００の第１周波数分析部３１０と、第２処理部４００の第１周波数分析部４１０とにそれぞれ入力する。なお、本明細書中において、［ｔ］は、その信号が時間領域の信号であることを示す。また、マルチトラック再生部１００は、ユーザ指定されたトラック以外のトラックに録音されている演奏音に基づく再生信号であるＩＮ＿Ｂ［ｔ］を、遅延部２００に入力する。なお、マルチトラック再生部１００の詳細については、図３を参照して後述する。
【００３３】
遅延部２００は、マルチトラック再生部１００から供給されたＩＮ＿Ｂ［ｔ］を、ユーザ設定に応じた遅延時間だけ遅延し、所定のレベル係数（１．０以下の正数）を乗算する。そして、ユーザにより設定された遅延時間とレベル係数との組が複数組ある場合には、その全てを加算する。これにより得られた遅延信号であるＩＮ＿Ｂｄ［ｔ］を、第１処理部３００の第２周波数分析部３２０と、第２処理部４００の第２周波数分析部４２０とにそれぞれ入力する。なお、遅延部２００の機能の詳細については、図４を参照して後述する。
【００３４】
第１処理部３００および第２処理部４００は、マルチトラック再生部１００から供給されたＩＮ＿Ｐ［ｔ］と、遅延部２００から供給されたＩＮ＿Ｂｄ［ｔ］に対し、同一の処理をそれぞれ所定時間毎に繰り返して実行することにより、かぶり取り音の信号であるＰ［ｔ］又はかぶり音の信号であるＢ［ｔ］のいずれかを出力する。第１処理部３００および第２処理部４００のそれぞれから出力されたＰ［ｔ］又はＢ［ｔ］は、クロスフェードで合成されて、ＯＵＴ＿Ｐ［ｔ］又はＯＵＴ＿Ｂ［ｔ］として出力される。具体的には、第１処理部３００および第２処理部４００からＰ［ｔ］が出力された場合には、その合成信号であるＯＵＴ＿Ｐ［ｔ］がＤＳＰ１４から出力される。一方で、第１処理部３００および第２処理部４００からＢ［ｔ］が出力された場合には、その合成信号であるＯＵＴ＿Ｂ［ｔ］がＤＳＰ１４から出力される。ＤＳＰ１４から出力されたＯＵＴ＿Ｐ［ｔ］又はＯＵＴ＿Ｂ［ｔ］は分配されて、Ｌｃｈ用Ｄ／Ａ１５ＬとＲｃｈ用Ｄ／Ａ１５Ｒとにそれぞれ入力される。
【００３５】
より詳細には、第１処理部３００は、第１周波数分析部３１０と、第２周波数分析部３２０と、成分選別部３３０と、第１周波数合成部３４０と、第２周波数合成部３５０と、セレクタ部３６０とから構成される。
【００３６】
第１周波数分析部３１０は、マルチトラック再生部１００から供給されたＩＮ＿Ｐ［ｔ］を、周波数領域の信号に変換すると共に、直交座標系から極座標系に変換し、極座標系で表される周波数領域の信号であるＰＯＬ＿１［ｆ］を、成分選別部３３０へ出力する。第２周波数分析部３２０は、遅延部２００から供給されたＩＮ＿Ｂｄ［ｔ］を、周波数領域の信号への変換と極座標系への変換とを行った後、極座標系で表される周波数領域の信号であるＰＯＬ＿２［ｆ］を、成分選別部３３０へ出力する。
【００３７】
成分選別部３３０は、第１周波数分析部３１０から供給されたＰＯＬ＿１［ｆ］の動径の絶対値と、第２周波数分析部３２０から供給されたＰＯＬ＿２［ｆ］の動径の絶対値との比（以下、この比を「レベル比」と称す）を、周波数ｆ毎に、その周波数ｆに対して予め設定されているレベル比の範囲と比較し、その比較結果に応じて設定されたＰＯＬ＿３［ｆ］およびＰＯＬ＿４［ｆ］を、それぞれ、第１周波数合成部３４０および第２周波数合成部３５０へ出力する。
【００３８】
第１周波数合成部３４０は、成分選別部３３０から供給されたＰＯＬ＿３［ｆ］を、極座標系から直交座標系へ変換すると共に時間領域の信号に変換し、得られた直交座標系で表される時間領域の信号であるＰ［ｔ］を、セレクタ部３６０へ出力する。第２周波数合成部３５０は、成分選別部３３０から供給されたＰＯＬ＿４［ｆ］を、極座標系から直交座標系へ変換すると共に時間領域の信号に変換し、得られた直交座標系で表される時間領域の信号であるＢ［ｔ］を、セレクタ部３６０へ出力する。セレクタ部３６０は、ユーザの指定に基づき、第１周波数合成部３４０から供給されたＰ［ｔ］か、第２周波数合成部３５０から供給されたＢ［ｔ］のいずれかを出力する。
【００３９】
詳細は後述するが、Ｐ［ｔ］は、ユーザ指定された楽器音が録音されているトラックの収録音から不要音であるかぶり音を除いた音、即ち、かぶり取り音の信号であり、Ｂ［ｔ］は、かぶり音の信号である。つまり、第１処理部３００は、ユーザの所望に応じて、かぶり取り音の信号であるＰ［ｔ］か、かぶり音の信号であるＢ［ｔ］のいずれかを抽出して出力することができる。
【００４０】
なお、第１処理部３００を構成する各部３１０〜３６０において実行される詳細な処理については、図５を参照して後述する。
【００４１】
第２処理部４００は、第１周波数分析部４１０と、第２周波数分析部４２０と、成分選別部４３０と、第１周波数合成部４４０と、第２周波数合成部４５０と、セレクタ部４６０とから構成される。
【００４２】
第２処理部４００を構成する各部４１０〜４６０は、それぞれ、第１処理部３００を構成する各部３１０〜３６０と同様に機能し、同じ信号を出力する。即ち、第１周波数分析部４１０は、第１周波数分析３１０と同様に機能してＰＯＬ＿１［ｆ］を出力する。第２周波数分析部４２０は、第２周波数分析３２０と同様に機能してＰＯＬ＿２［ｆ］を出力する。成分選別部４３０は、成分選別部３３０と同様に機能してＰＯＬ＿３［ｆ］およびＰＯＬ＿４［ｆ］を出力する。第１周波数分析部４４０は、第１周波数分析部３４０と同様に機能してＰ［ｔ］を出力する。第２周波数分析部４５０は、第２周波数分析部３５０と同様に機能してＢ［ｔ］を出力する。セレクタ部４６０は、セレクタ部３６０と同様に機能してＰ［ｔ］またはＢ［ｔ］のいずれかを出力する。
【００４３】
この第２処理部４００で実行される処理の実行間隔は、第１処理部３００で実行される処理の実行間隔と同じであるが、第２処理部４００で実行される処理は、第１処理部３００における処理の実行開始から所定時間だけ遅れて開始される。これにより、第２処理部４００で実行される処理は、第１処理部３００における処理の実行終了から実行開始までのつなぎ目を補い、その一方で、第１処理部３００で実行される処理は、第２処理部４００における処理の実行終了から実行開始までのつなぎ目を補う。よって、第１処理部３００から出力された信号と、第２処理部４００から出力された信号とが合成された信号（即ち、ＤＳＰ１４から出力されるＯＵＴ＿Ｐ［ｔ］又はＯＵＴ＿Ｂ［ｔ］）に不連続が生じることを防止できる。
【００４４】
なお、本実施形態では、第１処理部３００及び第２処理部４００は、その処理を０．１秒毎に実行するものとし、第２処理部４００で実行される処理は、第１処理部３００における処理の実行開始から０．０５秒後（半周期後）に実行開始されるものとする。しかし、第１処理部３００及び第２処理部４００の実行間隔や、第１処理部３００における処理の実行開始から第２処理部４００における処理の実行開始までの遅延時間は、上記例示した０．１秒及び０．０５秒に限定されず、サンプリング周波数と楽音信号の数とに応じた値を適宜使用できる。
【００４５】
次に、図３を参照して、上述したマルチトラック再生部１００の機能について説明する。図３は、マルチトラック再生部１００の機能を示す機能ブロック図である。マルチトラック再生部１００は、第１〜第ｎトラック再生部１０１−１〜１０１−ｎと、ｎ個の第１の乗算器１０２ａ−１〜１０２ａ−ｎと、ｎ個の第２の乗算器１０２ｂ−１〜１０２ｂ−ｎと、第１の加算器１０３ａと、第２の加算器１０３ｂとから構成される。なお、ｎは、１以上の整数である。
【００４６】
第１〜第ｎトラック再生部１０１−１〜１０１−ｎは、マルチトラックデータ２１ａを構成するシングルトラックデータを同期して再生するマルチトラック再生を実行する。なお、「シングルトラックデータ」とは、１つのトラックに録音されたオーディオデータである。
【００４７】
各トラック再生部１０１−１〜１０１−ｎは、マルチトラックデータ２１ａを構成するシングルトラックデータのうち、１つの楽器の演奏音が録音された１又は複数のシングルトラックデータの同期した再生を行い、その楽器の演奏音のモノラル再生信号を出力する。つまり、１つのトラック再生部が、１つのシングルトラックデータを再生するとは限らず、例えば、１つの楽器の演奏音が、複数のトラックにステレオ録音されている場合には、それら複数のトラックにそれぞれ対応するシングルトラックデータの再生音を混合してモノラルの再生信号として出力する。これらの第１〜第ｎトラック再生部１０１−１〜１０１−ｎは、それぞれ、再生により生じたモノラルの再生信号を、対応する第１の乗算器１０２ａ−１〜１０２ａ−ｎと、第２の乗算器１０２ｂ−１〜１０２ｂ−ｎとに出力する。
【００４８】
第１の乗算器１０２ａ−１〜１０２ａ−ｎは、それぞれ、係数Ｓ１〜係数Ｓｎを、対応するトラック再生部１０１−１〜１０１−ｎから入力された再生信号に乗算し、第１の加算器１０３ａへ出力する。係数Ｓ１〜係数Ｓｎは、いずれも、１以下の正数である。第２の乗算器１０２ｂ−１〜１０２ｂ−ｎは、それぞれ、係数（１−Ｓ１）〜係数（１−Ｓｎ）を、対応するトラック再生部１０１−１〜１０１−ｎから入力された再生信号に乗算し、第２の加算器１０３ｂへ出力する。
【００４９】
第１の加算器１０３ａは、第１の乗算器１０２ａ−１〜１０２ａ−ｎから出力された信号を全て加算し、それにより得られた信号であるＩＮ＿Ｐ［ｔ］を、第１処理部３００の第１周波数分析部３１０と、第２処理部４００の第１周波数分析部４１０とにそれぞれ入力する。第２の加算器１０３ｂは、第２の乗算器１０２ｂ−１〜１０２ｂ−ｎから出力された信号を全て加算し、それにより得られた信号であるＩＮ＿Ｂ［ｔ］を、遅延部２００に入力する。
【００５０】
本実施形態では、第１の乗算器１０２ａ−１〜１０２ａ−ｎで使用する係数Ｓ１〜係数Ｓｎの値は、対応するトラック再生部１０１−１〜１０１−ｎにより再生される楽器の音が、後述するＵＩ画面３０（図６参照）において、ユーザがかぶり取り音として抽出したい１つの楽器の音として指定した楽器の音であるか否かに応じて規定されるように構成されている。具体的に、かぶり取り音として指定された楽器の音を主要音として含むトラック再生部１０１−１〜１０１−ｎに対応する係数Ｓ１〜係数Ｓｎの値は１．０に設定され、それ以外のトラック再生部に対応する係数Ｓ１〜係数Ｓｎの値は０．０に設定される。
【００５１】
一方、第２の乗算器１０２ａ−１〜１０２ａ−ｎでそれぞれ使用する係数は、対応する係数Ｓ１〜係数Ｓｎの値に応じて決まり、第１の乗算器１０２ａ−１〜１０２ａ−ｎで使用する係数Ｓ１〜係数Ｓｎが１．０であれば、対応する第２の乗算器１０２ｂ−１〜１０２ｂ−ｎで使用する係数（１−Ｓ１）〜係数（１−Ｓｎ）は０．０に設定される。また、係数Ｓ１〜係数Ｓｎが０．０であれば、対応する係数（１−Ｓ１）〜係数（１−Ｓｎ）は１．０に設定される。
【００５２】
つまり、マルチトラック再生部１００は、かぶり取り音として指定された楽器の音を主要音として含むトラック再生部１０１−１〜１０１−ｎから出力された再生信号を、ＩＮ＿Ｐ［ｔ］として、第１周波数分析部３１０，４１０へ出力する。他のトラック再生部から出力された再生信号は、ＩＮ＿Ｐ［ｔ］には含まれない。その一方で、マルチトラック再生部１００は、かぶり取り音として指定された楽器の音以外の楽器の音を主要音として含むトラック再生部から出力された再生信号を、ＩＮ＿Ｂ［ｔ］として、遅延部２００へ出力する。かぶり取り音として指定されたトラック再生部１０１−１〜１０１−ｎから出力された再生信号は、ＩＮ＿Ｂ［ｔ］には含まれない。
【００５３】
ここで、例えば、ボーカル音（ボーカリストの声）がかぶり取り音としてユーザにより指定された場合、マルチトラック再生部１００から第１周波数分析部３１０，４１０へ出力されるＩＮ＿Ｐ［ｔ］は、主要音としてのボーカル音の信号（Ｖｏ［ｔ］）と、不要音（主要音にかぶるかぶり音）となる他の楽器の音の合成音の信号であるＢ［ｔ］が音場空間の特性Ｇａ［ｔ］により変化された信号との混合音となる。つまり、『ＩＮ＿Ｐ［ｔ］＝Ｖｏ［ｔ］＋Ｇａ［Ｂ［ｔ］］』である。
【００５４】
一方、マルチトラック再生部１００から遅延部２００へ出力されるＩＮ＿Ｂ［ｔ］は、不要音の信号（Ｂ［ｔ］）である。例えば、Ｂ［ｔ］が、ギターの演奏音の信号（Ｇｔｒ［ｔ］）と、キーボードの演奏音の信号（Ｋｂｄ［ｔ］）と、ドラムの演奏音の信号（Ｄｒｕｍ［ｔ］）などを含む混合音であるとすると、ＩＮ＿Ｂ［ｔ］は、各楽器の音の信号の和となる。つまり、『ＩＮ＿Ｂ［ｔ］＝Ｇｔｒ［ｔ］＋Ｋｂｄ［ｔ］＋Ｄｒｕｍ［ｔ］＋・・・』である。
【００５５】
次に、図４を参照して、上述した遅延部２００の機能について説明する。図４（ａ）は、遅延部２００の機能を示す機能ブロック図である。遅延部２００は、ＦＩＲフィルタであり、第１〜第Ｎ遅延素子２０１−１〜２０１−Ｎと、Ｎ個の乗算器２０２−１〜２０２−Ｎと、加算器２０３とから構成される。なお、Ｎは、１以上の整数である。
【００５６】
遅延素子２０１−１〜２０１−Ｎは、入力信号であるＩＮ＿Ｂ［ｔ］を、各遅延素子に対して規定された遅延時間Ｔ１〜ＴＮだけ遅延する素子である。これらの遅延素子２０１−１〜２０１−Ｎは、それぞれ、遅延時間Ｔ１〜ＴＮだけ遅延させることにより得られた信号を、対応する乗算器２０２−１〜２０２−Ｎへ出力する。
【００５７】
乗算器２０２−１〜２０２−Ｎは、それぞれ、レベル係数Ｃ１〜ＣＮ（いずれも１．０以下の正数）を、対応する遅延素子２０１−１〜２０１−Ｎから供給された信号に乗算し、加算器２０３へ出力する。加算器２０３は、乗算器２０２−１〜２０２−Ｎから出力された信号を全て加算し、それにより得られた信号であるＩＮ＿Ｂｄ［ｔ］を、第１処理部３００の第２周波数分析部３２０と、第２処理部４００の第２周波数分析部４２０とにそれぞれ入力する。
【００５８】
遅延部２００における遅延素子２０１−１〜２０１−Ｎの数（即ち、Ｎ）、遅延時間Ｔ１〜ＴＮ、及びレベル係数Ｃ１〜ＣＮは、後述するＵＩ画面３０（図６参照）における遅延時間設定部３４をユーザが操作することによって適宜設定される。なお、遅延時間Ｔ１〜ＴＮのうち、少なくとも１つの遅延時間がゼロ（即ち、遅延しない）であってもよい。遅延素子２０１−１〜２０１−Ｎの数を、かぶり音の出力源の数に設定し、各遅延素子に対して遅延時間Ｔ１〜ＴＮとレベル係数Ｃ１〜ＣＮを設定することにより、図４（ｂ）に示すようなインパルス応答Ｉｒ１〜ＩｒＮが得られ、これらのインパルス応答Ｉｒ１〜ＩｒＮを、ＩＮ＿Ｂ［ｔ］に対して畳み込むことにより、ＩＮ＿Ｂｄ［ｔ］が生成される。なお、かぶり音の出力源としては、あるトラックに録音する演奏音を収音する収音装置（マイクなど）に、そのトラックの録音対象となる楽器の音（即ち、主要音）以外に収音される音の出力源がその対象となり、例えば、スピーカや、ドラムなどの楽器が例示される。
【００５９】
ここで、Ｎ箇所のかぶり音の出力源がある場合、遅延部２００において生成されるＩＮ＿Ｂｄ［ｔ］は、『ＩＮ＿Ｂｄ［ｔ］＝ＩＮ＿Ｂ［ｔ］×Ｃ１×Ｚ−ｍ１＋ＩＮ＿Ｂ［ｔ］×Ｃ２×Ｚ−ｍ２＋・・・＋ＩＮ＿Ｂ［ｔ］×ＣＮ×Ｚ−ｍＮ』と表すことができる。なお、Ｚは、Ｚ変換の伝達関数であり、その伝達関数Ｚの指数（−ｍ１，−ｍ２，・・・，−ｍＮ）は、遅延時間Ｔ１〜ＴＮに応じて決定される。具体的に、例えば、ボーカル以外の楽器音による伴奏を事前にマルチトラック（遅延時間がゼロ）で収録し、収録した伴奏をマルチトラック再生して、その再生音をステレオスピーカから出力しながらボーカルトラックの収録を行う場合には、かぶり音の出力源は、左右のスピーカの２箇所（即ち、Ｎ＝２）となり、遅延時間は、それぞれのスピーカからボーカルマイクまでの距離に基づいて決まる。
【００６０】
図４（ｂ）は、図４（ａ）に示した遅延部２００において、入力信号（即ち、ＩＮ＿Ｂ［ｔ］）に対して畳み込まれるインパルス応答を示す模式図である。なお、図４（ｂ）において、横軸は時刻に対応し、縦軸はレベルに対応する。第１のインパルス応答Ｉｒ１は、遅延時間Ｔ１におけるレベルＣ１のインパルス応答であり、第２のインパルス応答Ｉｒ２は、遅延時間Ｔ２におけるレベルＣ２のインパルス応答である。そして、第Ｎのインパルス応答ＩｒＮは、遅延時間ＴＮにおけるレベルＣＮのインパルス応答である。
【００６１】
各インパルス応答Ｉｒ１，Ｉｒ２，…ＩｒＮには、Ｎ個のかぶり音の出力源と主要音を収音する収音装置とのそれぞれの距離や、その各かぶり音の出力源から出力された音の混入具合（例えば、混入された音の音量）などが反映されている。つまり、各インパルス応答Ｉｒ１，Ｉｒ２，…ＩｒＮは、音場空間の特性を表すＧａ［ｔ］を反映する。上述した通り、これらのインパルス応答Ｉｒ１〜ＩｒＮは、遅延素子の数Ｎ、遅延時間Ｔ１〜ＴＮ、レベル係数Ｃ１〜ＣＮを、ＵＩ画面３０を用いて設定することにより得ることができるので、これらのインパルス応答Ｉｒ１〜ＩｒＮを適切に設定し、入力信号であるＩＮ＿Ｂ［ｔ］を畳み込むことにより、ＩＮ＿Ｂ［ｔ］から、ＩＮ＿Ｐ［ｔ］に含まれるかぶり音成分（Ｇａ［Ｂ［ｔ］］）を適切に模倣したＩＮ＿Ｂｄ［ｔ］を生成し、出力することができる。
【００６２】
次に、図５を参照して、上述した第１処理部３００の機能について説明する。図５は、第１処理部３００を構成する各部３１０〜３６０で実行される処理を、機能ブロックを用いて模式的に示す図である。なお、図示も説明も省略するが、第２処理部４００の各部４１０〜４６０においても、図５に示す各部３１０〜３６０と同様の処理が実行される。
【００６３】
第１周波数分析部３１０では、マルチトラック再生部１００から供給されたＩＮ＿Ｐ［ｔ］に対して窓関数をかける処理を実行する（Ｓ３１１）。本実施形態では、窓関数としてハニング窓を使用する。
【００６４】
次いで、窓関数をかけたＩＮ＿Ｐ［ｔ］に対して高速フーリエ変換（ＦＦＴ）を行う（Ｓ３１２）。この高速フーリエ変換により、ＩＮ＿Ｐ［ｔ］は、ＩＮ＿Ｐ［ｆ］へ変換され、フーリエ変換された各周波数ｆを横軸とするスペクトル信号となる。ＩＮ＿Ｐ［ｆ］は、実数部（Ｒｅ［ｆ］）と虚数部（ｊＩｍ［ｆ］）とを有する複素数である（即ち、ＩＮ＿Ｐ［ｆ］＝Ｒｅ［ｆ］＋ｊＩｍ［ｆ］）。
【００６５】
Ｓ３１２の処理後、周波数ｆ毎に、ＩＮ＿Ｐ［ｆ］を極座標系に変換する（Ｓ３１３）。つまり、各周波数ｆのＲｅ［ｆ］＋ｊＩｍ［ｆ］を、ｒ［ｆ］（ｃｏｓ（ａｒｇ［ｆ］）＋ｊｒ［ｆ］（ｓｉｎ（ａｒｇ［ｆ］）に変換する。第１周波数分析部３１０から成分選別部３３０へ出力されるＰＯＬ＿１［ｆ］は、Ｓ３１３の処理により得られたｒ［ｆ］（ｃｏｓ（ａｒｇ［ｆ］）＋ｊｒ［ｆ］（ｓｉｎ（ａｒｇ［ｆ］）である。
【００６６】
なお、ｒ［ｆ］は、動径であり、ＩＮ＿Ｐ［ｆ］の実数部を２乗した値と虚数部を２乗した値との和の平方根により算出される。即ち、ｒ［ｆ］＝｛（Ｒｅ［ｆ］）２＋（Ｉｍ［ｆ］）２｝１／２である。また、ａｒｇ［ｆ］は、位相であり、ＩＮ＿Ｐ［ｆ］の虚数部を実数部で除した値のアークタンジェントをとることにより算出される。即ち、ａｒｇ［ｆ］＝ｔａｎ−１（Ｉｍ［ｆ］／Ｒｅ［ｆ］）である。
【００６７】
第２周波数分析部３２０では、遅延部２００から供給されたＩＮ＿Ｂｄ［ｔ］に対して、窓関数処理を実行し（Ｓ３２１）、ＦＦＴ処理を実行し（Ｓ３２２）、極座標系への変換を実行する（Ｓ３２３）。第２周波数分析部３２０で実行されるＳ３２１〜Ｓ３２３の処理の処理内容は、処理対象がＩＮ＿Ｐ［ｔ］からＩＮ＿Ｂｄ［ｔ］に変わること以外、上述したＳ３１１〜Ｓ３１３の処理と同様であるので、これらの処理についての詳細な説明は省略する。なお、第２周波数分析部３２０からの出力信号は、処理対象がＩＮ＿Ｂｄ［ｔ］に変わったことにより、ＰＯＬ＿２［ｆ］となる。
【００６８】
成分選別部３３０では、まず、各周波数ｆについて、ＰＯＬ＿１［ｆ］の動径とＰＯＬ＿２［ｆ］の動径とを比較し、動径の絶対値の大きい方をＬｖ［ｆ］に設定する（Ｓ３３１）。Ｓ３３１により設定されたＬｖ［ｆ］は、ＣＰＵ１１に供給され、後述するＵＩ画面３０（図６参照）の信号表示部３６の表示を制御するために使用される。
【００６９】
Ｓ３３１の処理後、各周波数ｆにおけるＰＯＬ＿３［ｆ］およびＰＯＬ＿４［ｆ］をゼロに初期化する（Ｓ３３２）。次いで、周波数ｆ毎に、相違度［ｆ］＝｜（ＰＯＬ＿１［ｆ］の動径｜／｜ＰＯＬ＿２［ｆ］の動径｜を算出する（Ｓ３３３）。このように、相違度［ｆ］とは、ＰＯＬ＿１［ｆ］のレベルとＰＯＬ＿２［ｆ］のレベルとの比に応じて規定される値である。即ち、相違度［ｆ］とは、ＰＯＬ＿１［ｆ］に対応する入力信号（ＩＮ＿Ｐ［ｔ］）と、ＰＯＬ＿２［ｆ］に対応する入力信号（ＩＮ＿Ｂ［ｔ］の遅延信号であるＩＮ＿Ｂｄ［ｔ］）との相違の度合いを示す値である。なお、Ｓ３３３において、相違度［ｆ］は、０．０〜２．０の範囲に制限する。つまり、｜（ＰＯＬ＿１［ｆ］の動径｜／｜ＰＯＬ＿２［ｆ］の動径｜が２．０を超える場合には、相違度［ｆ］＝２．０とする。また、ＰＯＬ＿２［ｆ］の動径が０．０である場合もまた、相違度［ｆ］＝２．０とする。Ｓ３３３により算出された相違度［ｆ］は、Ｓ３３４以降の処理に使用すると共に、ＣＰＵ１１に供給されて、後述するＵＩ画面３０（図６参照）の信号表示部３６の表示を制御するために使用される。
【００７０】
次に、相違度［ｆ］が、その周波数ｆにおける設定範囲内かを、周波数ｆ毎に判定する（Ｓ３３４）。なお、「その周波数ｆにおける設定範囲」は、後述するＵＩ画面３０（図６参照）を用いてユーザにより設定された、ある周波数ｆにおいて、かぶり取り音（又は、Ｐ［ｔ］として抽出すべき音）とする相違度［ｆ］の範囲である。よって、ある周波数ｆにおける設定範囲内にある相違度［ｆ］は、その周波数ｆでのＰＯＬ＿１［ｆ］がかぶり取り音の信号であることを示す。
【００７１】
Ｓ３３４の判定が肯定される場合には（Ｓ３３４：Ｙｅｓ）、ＰＯＬ＿３［ｆ］をＰＯＬ＿１［ｆ］とし（Ｓ３３５）、否定される場合には（Ｓ３３４：Ｎｏ）、ＰＯＬ＿４［ｆ］をＰＯＬ＿１［ｆ］とする（Ｓ３３６）。よって、ＰＯＬ＿３［ｆ］は、ＰＯＬ＿１［ｆ］から抽出されたかぶり取り音に相当する信号である。その一方で、ＰＯＬ＿４［ｆ］は、ＰＯＬ＿１［ｆ］から抽出されたかぶり音に相当する信号である。
【００７２】
Ｓ３３５又はＳ３３６の処理後、各周波数ｆのＰＯＬ＿３［ｆ］を、第１周波数合成部３４０へ出力すると共に、各周波数ｆのＰＯＬ＿４［ｆ］を、第２周波数合成部３５０へ出力する（Ｓ３３７）。
【００７３】
なお、Ｓ３３４の判定が肯定されてＳ３３５の処理が実行された周波数ｆでは、Ｓ３３７の処理により、ＰＯＬ＿３［ｆ］として、ＰＯＬ＿１［ｆ］が第１周波数合成部３４０へ出力されると共に、ＰＯＬ＿４［ｆ］として、０．０が第２周波数合成部３５０へ出力される。一方で、Ｓ３３４の判定が否定されてＳ３３６の処理が実行された周波数ｆでは、Ｓ３３７の処理により、ＰＯＬ＿３［ｆ］として、０．０が第１周波数合成部３４０へ出力されると共に、ＰＯＬ＿４［ｆ］として、ＰＯＬ＿１［ｆ］が第２周波数合成部３５０へ出力される。上述したＳ３３１からＳ３３７の処理を、フーリエ変換された周波数ｆの範囲で繰り返し実行する。
【００７４】
第１周波数合成部３４０では、まず、周波数ｆ毎に、成分選別部３３０から供給されたＰＯＬ＿３［ｆ］を直交座標系に変換する（Ｓ３４１）。つまり、各周波数ｆのｒ［ｆ］（ｃｏｓ（ａｒｇ［ｆ］）＋ｊｒ［ｆ］（ｓｉｎ（ａｒｇ［ｆ］）を、Ｒｅ［ｆ］＋ｊＩｍ［ｆ］に変換する。具体的には、ｒ［ｆ］（ｃｏｓ（ａｒｇ［ｆ］）をＲｅ［ｆ］とし、ｊｒ［ｆ］（ｓｉｎ（ａｒｇ［ｆ］）をｊＩｍ［ｆ］とすることによって変換する。つまり、Ｒｅ［ｆ］＝ｒ［ｆ］（ｃｏｓ（ａｒｇ［ｆ］）であり、ｊＩｍ［ｆ］＝ｊｒ［ｆ］（ｓｉｎ（ａｒｇ［ｆ］）である。
【００７５】
次いで、Ｓ３４１により得られた直交座標系の信号（即ち、複素数の信号）に対して逆高速フーリエ変換（逆ＦＦＴ）を行うことにより、時間領域の信号を得（Ｓ３４２）、得られた信号に、上述した周波数分析部３１０のＳ３１１の処理で使用した窓関数と同一の窓関数をかける処理を実行し（Ｓ３４３）、得られた信号をＰ［ｔ］として、セレクタ部３６０へ出力する。なお、本実施形態では、Ｓ３１１の処理においてハニング窓を使用したので、Ｓ３４３の処理でもハニング窓を使用する。
【００７６】
第２周波数合成部３５０は、周波数ｆ毎に、成分選別部３３０から供給されたＰＯＬ＿４［ｆ］を直交座標系に変換し（Ｓ３５１）、逆ＦＦＴ処理を実行し（Ｓ３５２）、窓関数処理（Ｓ３５３）を実行する。第２周波数合成部３５０で実行されるＳ３５１〜Ｓ３５３の処理の処理内容は、成分選別部３３０から供給される信号がＰＯＬ＿３［ｆ］からＰＯＬ＿４［ｆ］に変わること以外、上述したＳ３４１〜Ｓ３４３の処理と同様であるので、これらの処理についての詳細な説明は省略する。なお、第２周波数合成部３５０からの出力信号は、成分選別部３３０から供給される信号がＰＯＬ＿４［ｆ］に変わったことにより、Ｐ［ｔ］ではなく、Ｂ［ｔ］となる。
【００７７】
上述した通り、ＰＯＬ＿３［ｆ］は、ＰＯＬ＿１［ｆ］から抽出されたかぶり取り音に相当する信号であるので、第１周波数合成部３４０からセレクタ部３６０へ出力されるＰ［ｔ］は、かぶり取り音の時間領域の信号である。その一方で、ＰＯＬ＿４［ｆ］は、ＰＯＬ＿１［ｆ］から抽出されたかぶり音に相当する信号であるので、第２周波数合成部３５０からセレクタ部３６０へ出力されるＢ［ｔ］は、かぶり音の時間領域の信号である。
【００７８】
セレクタ部３６０は、第１周波数合成部３４０から供給されたＰ［ｔ］、又は第２周波数合成部３５０から供給されたＢ［ｔ］のいずれかを、ユーザの指定に応じて出力する。このユーザ指定は、図６を参照して後述するＵＩ画面３０において行われる。
【００７９】
第１処理部３００のセレクタ部３６０から出力された信号（Ｐ［ｔ］又はＢ［ｔ］のいずれか）は、第２処理部４００のセレクタ部４６０から出力された信号（Ｐ［ｔ］又はＢ［ｔ］のいずれかであって、セレクタ部３６０と同じ種類の信号）と合成され、その合成信号がＤ／Ａ１５Ｌ，１５Ｒへ出力される。
【００８０】
上述した通り、Ｐ［ｔ］はかぶり取り音の信号であり、Ｂ［ｔ］はかぶり音の信号であるので、本実施形態のエフェクタ１は、ユーザが所望する１つの楽器の音を主要音として録音したトラックから、かぶり音を除去した音をかぶり取り音として放音することができる。また、ユーザによる指定状況によっては、その場合のかぶり音に相当する音を放音することもできる。
【００８１】
図６は、表示装置２２の表示画面に表示されたＵＩ画面３０の一例を示す模式図である。ＵＩ画面３０は、トラック表示部３１と、選択ボタン３２と、トランスポートボタン３３と、遅延時間設定部３４と、切り替えボタン３５と、信号表示部３６とを有している。
【００８２】
トラック表示部３１は、ユーザにより選択されて処理対象となった１つのマルチトラックデータ２１ａに含まれる各シングルトラックデータに録音されているオーディオ波形を表示する画面であり、１つのシングルトラックデータ毎にオーディオ波形が表示される。図６に示す例では、５つの表示部３１ａ〜３１ｅが表示されている。表示部３１ａ，３１ｂ，３１ｅは、それぞれ、ボーカル音、ギター音、及びドラム音を主要音としてモノラル録音されたトラックのオーディオ波形を表示する画面である。表示部３１ｃ，３１ｄは、ステレオ録音されたキーボード音の左右チャンネルの音をそれぞれ表示する画面である。なお、各表示部３１ａ〜３１ｅは、いずれも、横軸が時刻に対応し、縦軸が振幅に対応する。
【００８３】
選択ボタン３２は、かぶり取り音として抽出する楽器の音を指定するためのボタンであり、マルチトラックデータ２１ａを構成する各シングルトラックデータの主要音を発する楽器単位で設けられている。図６に示す例では、４つの選択ボタン３２が設けられている。即ち、ボーカル音（ボーカリスト）に対応する選択ボタン３２ａと、ギター音（ギター）に対応する選択ボタン３２ｂと、キーボード音（キーボード）に対応する選択ボタン３２ｃと、ドラム音（ドラム）に対応する選択ボタン３２ｄとが設けられている。
【００８４】
この選択ボタン３２は、ユーザが、入力装置２３（例えば、マウス）を用いて操作することができ、１つの選択ボタンに対して所定の操作（例えば、クリック）を行うと、その選択ボタンが選択状態となり、選択状態となった選択ボタンに対応する楽器が、かぶり取り音の対象になる楽器として選択されると共に、その選択に連動して、残りの選択ボタンに対応する楽器が、かぶり音の対象になる楽器として選択される。このとき、マルチトラック再生部１００にて使用される係数Ｓ１〜Ｓｎのうち、かぶり取り音の対象として選択された楽器に対応する係数が１．０に設定され、残りの係数が０．０に設定される。図６に示す例では、選択ボタン３２ａが選択状態（「かぶり取り音」の文字表示、選択されていることを示すボタン色）であり、ボーカル音がかぶり取り音の対象として選択されていることを示す。一方で、その他の選択ボタン３２ｂ〜３２ｄは、非選択状態（「かぶり音」の文字表示、選択されていないことを示すボタン色）であり、かぶり音の対象として、ギター音、キーボード音、及びドラム音が選択されていることを示す。
【００８５】
トランスポートボタン３３は、処理対象のマルチトラックデータ２１ａを操作するためのボタン群である。トランスポートボタン３３としては、例えば、マルチトラックデータ２１ａをマルチトラック再生させるための再生ボタンや、再生を停止するための停止ボタンや、再生音又はデータを早送りするための早送りボタンや、再生音又はデータを巻き戻すための巻き戻しボタン等が含まれる。トランスポートボタン３３は、ユーザが、入力装置２３（例えば、マウス）を用いて操作することができる。即ち、トランスポートボタン３３に含まれるボタン群のうち、所望の１つのボタンに対して所定の操作（例えば、クリック）を行うことにより操作することができる。
【００８６】
遅延時間設定部３４は、遅延部２００においてＩＮ＿Ｂ［ｔ］を遅延させるためのパラメータを設定する画面であり、横軸が時刻に対応し、縦軸がレベルに対応する。この遅延時間設定部３４には、ユーザが入力装置２３を操作して設定したバー３４ａが表示される。
【００８７】
バー３４ａの数は、かぶり音の出力源の数Ｎに相当し、ユーザが、入力装置２３（例えば、マウス）を用いて所定の操作（例えば、右ボタンをクリックすることにより表示されたメニューからの選択）を行うことにより、適宜、追加又は消去することができる。図６に示す例では、３本のバー３４ａが表示されているので、かぶり音の出力源の数Ｎとして「３」が設定されている。また、１本のバー３４ａは、横軸方向における時刻０（ゼロ）からの位置により、遅延時間Ｔｘ（ｘ＝１〜Ｎのいずれか）が設定され、縦軸方向におけるレベル０（ゼロ）からの高さにより、レベル係数Ｃｘ（ｘ＝１〜Ｎのいずれか）が設定される。各バー３４ａの横軸方向への移動（即ち、遅延時間Ｔｘの変更）、及び、縦軸方向の高さの変更（即ち、レベル係数Ｃｘの変更）は、いずれも、入力装置２３による所定の操作により行うことができる。例えば、変更を所望するバー３４ａの上にカーソルを置いた状態で、マウスの左ボタンを押しながら横軸方向へ移動させたり、縦軸方向へ移動させたりすることにより、位置および高さを変更することができる。
【００８８】
切り替えボタン３５は、セレクタ部３６０，４６０から出力する信号を、かぶり取り音の信号（Ｐ［ｔ］）とするか、かぶり音の信号（Ｂ［ｔ］）とするかを指定するためのボタンである。ボタン３５ａは、かぶり取り音の信号（Ｐ［ｔ］）を指定するボタンであり、ボタン３５ｂは、かぶり音の信号（Ｂ［ｔ］）を指定するボタンである。
【００８９】
この切り替えボタン３５は、ユーザが、入力装置２３（例えば、マウス）を用いて操作することができ、ボタン３５ａ又はボタン３５ｂに対して所定の操作（例えば、クリック）を行うと、クリックされたボタンが選択状態となり、そのボタンに対応する信号がセレクタ部３６０，４６０から出力する信号として指定される。図６に示す例では、ボタン３５ａが選択状態（選択されていることを示すボタン色）であり、セレクタ部３６０，４６０から出力する信号として、かぶり取り音の信号（Ｐ［ｔ］）が指定（選択）されていることを示す。一方で、ボタン３５ｂは、非選択状態（選択されていないことを示すボタン色）である。
【００９０】
信号表示部３６は、エフェクタ１への入力信号（即ち、マルチトラックデータ２１ａからの入力信号）を、周波数ｆ−相違度［ｆ］の平面に可視化するための画面である。なお、相違度［ｆ］とは、上述した通り、ＩＮ＿［Ｐ（ｔ）］と、ＩＮ＿Ｂ［ｔ］の遅延信号であるＩＮ＿Ｂｄ［ｔ］との相違の度合いを示す値である。信号表示部３６の横軸は、周波数ｆに対応し、向かって右へ行くほど周波数が高く、向かって左へ行くほど周波数が低いことを示す。一方で、縦軸は、相違度［ｆ］に対応し、上へ行くほど相違度が大きく、下へ行くほど相違度が小さいことを示す。縦軸には、相違度［ｆ］の大きさを色で表すカラーバー３６ａが添えられている。このカラーバー３６ａは、相違度［ｆ］が大きくなるに従い、濃紫（相違度［ｆ］＝０．０のとき）→紫→藍→青→緑→黄→橙→赤→濃赤（相違度［ｆ］＝２．０のとき）の順で変化するグラデーションで着色されている。
【００９１】
信号表示部３６には、入力信号の周波数ｆと相違度［ｆ］に応じた点を中心とする円３６ｂが表示される。この座標（周波数ｆ，相違度［ｆ］）は、成分選別部３３０のＳ３３３の処理により算出された値に基づき、ＣＰＵ１１により算出される。円３６ｂの色は、その中心の座標が示す相違度［ｆ］に対するカラーバー３６ａの色が着色される。また、円３６ｂの半径は、その周波数ｆの入力信号のＬｖ［ｆ］を表し、Ｌｖ［ｆ］が大きい程、大きな半径となる。なお、Ｌｖ［ｆ］は、Ｓ３３１の処理（成分選別部３３０）により算出された値である。よって、ユーザは、信号表示部３６に表示された円３６ｂの色と大きさ（半径）とから、感覚的に、相違度［ｆ］とＬｖ［ｆ］とを認識することができる。
【００９２】
信号表示部３６に表示される複数の指定点３６ｃは、成分選別部３３０のＳ３３４の判定に使用する設定範囲を規定するための点であり、境界線３６ｄは、隣接する指定点３６ｃを結ぶ直線であり、該設定範囲の境界を規定する線である。境界線３６ｄと、信号表示部３６の上辺（即ち、相違度［ｆ］の最大値）とにより囲まれた範囲３６ｅが、成分選別部３３０のＳ３３４の判定に使用する設定範囲となる。
【００９３】
指定点３６ｃの数および各位置の初期値はＲＯＭ１２に予め格納されている。ユーザは、入力装置２３を用いて、指定点３６ｃの数を増減させたり、位置を変更することにより、最適な設定範囲を設定することができる。例えば、入力装置２３がマウスであれば、指定点３６ｃを増加させたい付近の境界線３６ｄの上にカーソルを置き、左ボタンを押すことにより、指定点３６ｃを追加することができる。このとき、指定点３６ｃは選択状態にあるので、左ボタンを押したまま、マウスを移動させることにより、適切な位置に移動させることができる。また、削除したい指定点３６ｃの上にカーソルを置き、右ボタンをクリックすることにより表示されたメニューから削除を選択することにより、指定点３６ｃを削除することができる。また、移動したい指定点３６ｃの上にカーソルを置き、左ボタンを押すと、その指定点３６ｃが選択状態になるので、左ボタンを押したままでマウスを移動させることにより、適切な位置に移動させることができる。なお、選択状態は、左ボタンを離すことによって解除される。
【００９４】
信号表示部３６に表示される円３６ｂのうち、その中心が範囲３６ｅの内部（境界を含む）に含まれる円３６ｂ１に対応する信号が、成分選別部３３０のＳ３３４の判定において、相違度［ｆ］がその周波数ｆにおける設定範囲内にある信号であると判定される。一方で、その中心が範囲３６ｅから外れる円３６ｂ２に対応する信号が、成分選別部３３０のＳ３３４の判定において、設定範囲外にある信号であると判定される。
【００９５】
以上、説明した通り、本実施形態のエフェクタ１によれば、マルチトラックデータ２１ａにおける、ユーザ指定された楽器の演奏音が録音されているトラック以外のトラックの再生信号であるＩＮ＿Ｂ［ｔ］を、遅延部２００により遅延させることにより、ユーザ指定された楽器の演奏音が録音されているトラックのデータＩＮ＿Ｐ［ｔ］に含まれるＧ［Ｂ［ｔ］］、即ち、音場空間の特性Ｇ［ｔ］により変化されたかぶり音の信号Ｂ［ｔ］を模倣した信号であるＩＮ＿Ｂｄ［ｔ］を得ることができる。このＩＮ＿Ｂｄ［ｔ］と、ＩＮ＿Ｐ［ｔ］とをそれぞれ周波数分析した信号の、周波数ｆ毎のレベル比（｜ＰＯＬ＿１［ｆ］の動径｜／｜ＰＯＬ＿２［ｆ］の動径｜）は、そのレベル比が高い程、ＩＮ＿Ｂｄ［ｔ］に含まれていない信号成分（つまり、ＩＮ＿Ｐ［ｔ］に含まれるかぶり取り音の信号Ｐ［ｔ］）が多いことを示すので、このレベル比を、ＩＮ＿Ｐ［ｔ］に含まれるかぶり取り音の信号（Ｐ［ｔ］）と、かぶり音の信号Ｂ［ｔ］とを区別する指標とすることができる。よって、このレベル比に応じて、ＩＮ＿Ｐ［ｔ］から、かぶり取り音の信号Ｐ［ｔ］を抽出することができる。
【００９６】
かかるＰ［ｔ］の抽出は、周波数特性やレベル比に注目して行っており、擬似的に生成した波形の時間軸上での差し引きを伴うものではないので、容易であるとともに、良好な音質で抽出できる。また、逆相波による、音像空間におけるＢ［ｔ］の打ち消しを伴うものでもないので、聴衆位置が限定的になることもない。
【００９７】
また、本実施形態のエフェクタ１によれば、ＩＮ＿Ｐ［ｔ］から、かぶり音（Ｂ［ｔ］）を抽出することができるので、ＩＮ＿Ｐ［ｔ］からどのような音が除去されるかをユーザに聴かせることができ、Ｐ［ｔ］を適切に抽出させるための感覚的な情報を与えることができる。
【００９８】
次に、図７から図１２を参照して本発明の第２実施形態について説明する。上述した第１実施形態では、エフェクタ１が、１つの楽器の演奏音が主要音として録音されているトラックからの収録音から、かぶり音を除去したかぶり取り音を抽出できるものであった。これに対し、第２実施形態のエフェクタ１（図７参照）は、１つの収音装置（例えば、マイク）により収音された音から、残響音を除去することができるものである。なお、この第２実施形態において、上述した第１実施形態と同一の部分には同一の符号を付して、その説明は省略する。
【００９９】
図７は、第２実施形態のエフェクタ１の構成を示すブロック図である。第２実施形態のエフェクタ１は、ＣＰＵ１１と、ＲＯＭ１２と、ＲＡＭ１３と、ＤＳＰ１４と、Ｌｃｈ用Ａ／Ｄ２０Ｌと、Ｒｃｈ用Ａ／Ｄ２０Ｒと、Ｌｃｈ用Ｄ／Ａ１５Ｌと、Ｒｃｈ用Ｄ／Ａ１５Ｒと、表示装置用Ｉ／Ｆ１６と、入力装置用Ｉ／Ｆ１７と、バスライン１９とを有している。なお、「Ａ／Ｄ」とは、アナログデジタルコンバータである。各部１１〜１４，１５Ｌ，１５Ｒ，１６，１７，２０Ｌ，２０Ｒは、バスライン１９を介して互いに電気的に接続されている。
【０１００】
第２実施形態のエフェクタ１において、ＲＯＭ１２に格納される制御プログラム１２ａには、図８〜１０を参照して後述するＤＳＰ１４により実行される各処理の制御プログラムが含まれている。Ｌｃｈ用Ａ／Ｄ２０Ｌは、ＩＮ＿Ｌ端子から入力された左チャンネル信号を、アナログ信号からデジタル信号へ変換するコンバータであり、Ｒｃｈ用Ａ／Ｄ２０Ｒは、ＩＮ＿Ｒ端子から入力された右チャンネル信号を、アナログ信号からデジタル信号へ変換するコンバータである。
【０１０１】
次に、図８を参照して、第２実施形態のエフェクタ１におけるＤＳＰ１４の機能について説明する。図８は、第２実施形態のＤＳＰ１４の機能を示す機能ブロック図である。この第２実施形態におけるＤＳＰ１４は、Ｌｃｈ用Ａ／Ｄ２０ＬおよびＲｃｈ用Ａ／Ｄ２０Ｒを介して１つの収音装置（例えば、マイク）から入力された左右２チャンネルの入力信号から、原音の信号と、音場空間での反射により生じた残響音の信号をと選別し、選別された原音又は残響音の信号のいずれかを抽出して、Ｌｃｈ用Ｄ／Ａ１５ＬおよびＲｃｈ用Ｄ／Ａ１５Ｒへ出力する処理を実行する。
【０１０２】
本実施形態のＤＳＰ１４に形成される機能ブロックは、Ｌｃｈ初期反射成分生成部５００Ｌと、Ｒｃｈ初期反射成分生成部５００Ｒと、第１処理部６００と、第２処理部７００とから構成される。
【０１０３】
Ｌｃｈ初期反射成分生成部５００Ｌは、Ｌｃｈ用Ａ／Ｄ２０Ｌからの入力信号であるＩＮ＿ＰＬ［ｔ］から、左チャンネルの音に含まれる初期反射音の擬似的な信号であるＩＮ＿ＢＬ［ｔ］を生成して、第１処理部６００の第２Ｌｃｈ周波数分析部６２０Ｌと、第２処理部７００の第２Ｌｃｈ周波数分析部７２０Ｌとにそれぞれ入力する。なお、Ｌｃｈ初期反射成分生成部５００Ｌの機能の詳細については、図９を参照して後述する。
【０１０４】
Ｒｃｈ初期反射成分生成部５００Ｒは、Ｒｃｈ用Ａ／Ｄ２０Ｒからの入力信号であるＩＮ＿ＰＲ［ｔ］から、右チャンネルの音に含まれる初期反射音の擬似的な信号であるＩＮ＿ＢＲ［ｔ］を生成して、第１処理部６００の第２Ｒｃｈ周波数分析部６２０Ｒと、第２処理部７００の第２Ｒｃｈ周波数分析部７２０Ｒとにそれぞれ入力する。このＲｃｈ初期反射成分生成部５００Ｒの機能は、上述したＬｃｈ初期反射成分生成部５００Ｌと同様であるので、その詳細な説明は、図９を参照して後述するＬｃｈ初期反射成分生成部５００Ｌの機能の説明に代えるものとする。
【０１０５】
第１処理部６００および第２処理部７００は、Ｌｃｈ用Ａ／Ｄ２０Ｌからの入力信号であるＩＮ＿ＰＬ［ｔ］と、Ｌｃｈ初期反射成分生成部５００Ｌから供給されたＩＮ＿ＢＬ［ｔ］とに対し、ならびに、Ｒｃｈ用Ａ／Ｄ２０Ｒからの入力信号であるＩＮ＿ＰＲ［ｔ］と、Ｒｃｈ初期反射成分生成部５００Ｒから供給されたＩＮ＿ＢＲ［ｔ］とに対し、同一の処理をそれぞれ所定時間毎に繰り返して実行することにより、両チャンネルの原音の信号ＯｒＬ［ｔ］，ＯｒＲ［ｔ］、又は、残響音の信号ＢＬ［ｔ］，ＢＲ［ｔ］のいずれかを出力する。第１処理部６００および第２処理部７００のそれぞれから出力されたＯｒＬ［ｔ］，ＯｒＲ［ｔ］、又は、ＢＬ［ｔ］，ＢＲ［ｔ］は、チャンネル毎にクロスフェードで合成されて、ＯＵＴ＿ＯｒＬ［ｔ］，ＯＵＴ＿ＯｒＲ［ｔ］、又は、ＯＵＴ＿ＢＬ［ｔ］，ＯＵＴ＿ＢＲ［ｔ］として出力される。ＤＳＰ１４から、ＯＵＴ＿ＯｒＬ［ｔ］とＯＵＴ＿ＯｒＲ［ｔ］とが出力された場合には、これらの信号は、それぞれ、Ｌｃｈ用Ｄ／Ａ１５ＬとＲｃｈ用Ｄ／Ａ１５Ｒとに入力される。一方で、ＤＳＰ１４から、ＯＵＴ＿ＢＬ［ｔ］とＯＵＴ＿ＢＲ［ｔ］とが出力された場合には、これらの信号は、それぞれ、Ｌｃｈ用Ｄ／Ａ１５ＬとＲｃｈ用Ｄ／Ａ１５Ｒとに入力される。
【０１０６】
より詳細には、第１処理部６００は、Ｌｃｈ用Ａ／Ｄ２０Ｌから入力された左チャンネルの入力信号（ＩＮ＿ＰＬ［ｔ］）を処理するための機能として、第１Ｌｃｈ周波数分析部６１０Ｌと、第２Ｌｃｈ周波数分析部６２０Ｌと、Ｌｃｈ成分選別部６３０Ｌと、第１Ｌｃｈ周波数合成部６４０Ｌと、第２Ｌｃｈ周波数合成部６５０Ｌと、Ｌｃｈセレクタ部６６０Ｌとを有している。
【０１０７】
第１Ｌｃｈ周波数分析部６１０Ｌは、Ｌｃｈ用Ａ／Ｄ２０Ｌから入力されたＩＮ＿ＰＬ［ｔ］に対し、窓関数としてハニング窓をかけ、高速フーリエ変換処理（ＦＦＴ処理）に供して周波数領域の信号に変換した後、極座標系に変換し、その変換により得られた極座標系で表される周波数領域の左チャンネル信号であるＰＯＬ＿１Ｌ［ｆ］を、Ｌｃｈ成分選別部６３０Ｌへ出力する。第１Ｌｃｈ周波数分析部６１０Ｌで実行される各処理内容は、入力がＩＮ＿ＰＬ［ｔ］に変わり、それに伴い、出力がＰＯＬ＿１Ｌ［ｆ］に変わること以外、上述した第１実施形態におけるＳ３１１〜Ｓ３１３の処理と同様であるので、その詳細な説明は省略する。
【０１０８】
第２Ｌｃｈ周波数分析部６２０Ｌは、Ｌｃｈ初期反射成分生成部５００Ｌから供給されたＩＮ＿ＢＬ［ｔ］に対し、窓関数としてハニング窓をかけ、ＦＦＴ処理に供して周波数領域の信号に変換した後、極座標系に変換し、その変換により得られた極座標系で表される周波数領域の左チャンネル信号であるＰＯＬ＿２Ｌ［ｆ］を、Ｌｃｈ成分選別部６３０Ｌへ出力する。第２Ｌｃｈ周波数分析部６２０Ｌで実行される各処理内容は、入力がＩＮ＿ＢＬ［ｔ］に変わり、に変わり、それに伴い、出力がＰＯＬ＿２Ｌ［ｆ］に変わること以外、上述した第１実施形態におけるＳ３２１〜Ｓ３２３の処理と同様であるので、その詳細な説明は省略する。
【０１０９】
Ｌｃｈ成分選別部６３０Ｌは、第１Ｌｃｈ周波数分析部６１０Ｌから供給されたＰＯＬ＿１Ｌ［ｆ］の動径の絶対値と、第２Ｌｃｈ周波数分析部６２０Ｌから供給されたＰＯＬ＿２Ｌ［ｆ］の動径の絶対値との比（即ち、レベル比）に基づき、極座標系で表される周波数領域の原音の左チャンネル信号を、ＰＯＬ＿３Ｌ［ｆ］として、第１Ｌｃｈ周波数合成部６４０Ｌへ出力すると共に、極座標系で表される周波数領域の残響音の左チャンネル信号を、ＰＯＬ＿４Ｌ［ｆ］として、第２Ｌｃｈ周波数合成部６５０Ｌへ出力する。なお、このＬｃｈ成分選別部６３０Ｌで実行される詳細な処理については、図１０を参照して後述する。
【０１１０】
第１Ｌｃｈ周波数合成部６４０Ｌは、Ｌｃｈ成分選別部６３０Ｌから供給されたＰＯＬ＿３Ｌ［ｆ］を、極座標系から直交座標系へ変換した後、逆高速フーリエ変換処理（逆ＦＦＴ処理）に供し、第１Ｌｃｈ周波数分析部６１０Ｌでかけたものと同じ窓関数（本実施形態では、ハニング窓）をかけ、それにより得られた直交座標系で表される時間領域の原音の左チャンネル信号であるＯｒＬ［ｔ］を、Ｌｃｈセレクタ部６６０Ｌへ出力する。第１Ｌｃｈ周波数合成部６４０Ｌで実行される各処理内容は、入力がＰＯＬ＿３Ｌ［ｆ］に変わり、それに伴い、出力がＯｒＬ［ｔ］に変わること以外、上述した第１実施形態におけるＳ３４１〜Ｓ３４３の処理と同様であるので、その詳細な説明は省略する。
【０１１１】
第２Ｌｃｈ周波数合成部６５０Ｌは、Ｌｃｈ成分選別部６３０Ｌから供給されたＰＯＬ＿４Ｌ［ｆ］を、極座標系から直交座標系へ変換した後、逆ＦＦＴ処理に供し、第２Ｌｃｈ周波数分析部６２０Ｌでかけたものと同じ窓関数（本実施形態では、ハニング窓）をかけ、それにより得られた直交座標系で表される時間領域の残響音の左チャンネル信号であるＢＬ［ｔ］を、Ｌｃｈセレクタ部６６０Ｌへ出力する。第２Ｌｃｈ周波数合成部６５０Ｌで実行される各処理内容は、入力がＰＯＬ＿４Ｌ［ｆ］に変わり、それに伴い、出力がＢＬ［ｔ］に変わること以外、上述した第１実施形態におけるＳ３５１〜Ｓ３５３の処理と同様であるので、その詳細な説明は省略する。
【０１１２】
Ｌｃｈセレクタ部６６０Ｌは、ユーザの指定に基づき、第１Ｌｃｈ周波数合成部６４０Ｌから供給されたＯｒＬ［ｔ］か、第２Ｌｃｈ周波数合成部６５０Ｌから供給されたＢＬ［ｔ］のいずれかを出力する。つまり、Ｌｃｈセレクタ部６６０Ｌからは、原音の左チャンネル信号であるＯｒＬ［ｔ］、又は、残響音の左チャンネル信号であるＢＬ［ｔ］のいずれかが、ユーザの指定に応じて出力される。
【０１１３】
また、第１処理部６００は、右チャンネルの信号を処理するための機能として、第１Ｒｃｈ周波数分析部６１０Ｒと、第２Ｒｃｈ周波数分析部６２０Ｒと、Ｒｃｈ成分選別部６３０Ｒと、第１Ｒｃｈ周波数合成部６４０Ｒと、第２Ｒｃｈ周波数合成部６５０Ｒと、Ｒｃｈセレクタ部６６０Ｒとを有している。
【０１１４】
第１Ｒｃｈ周波数分析部６１０Ｒは、Ｒｃｈ用Ａ／Ｄ２０Ｒから入力されたＩＮ＿ＰＲ［ｔ］に対し、窓関数としてハニング窓をかけ、ＦＦＴ処理に供して周波数領域の信号に変換した後、極座標系に変換し、その変換により得られた極座標系で表される周波数領域の右チャンネル信号であるＰＯＬ＿１Ｒ［ｆ］を、Ｒｃｈ成分選別部６３０Ｒへ出力する。第１Ｒｃｈ周波数分析部６１０Ｒで実行される各処理内容は、入力がＩＮ＿ＰＲ［ｔ］に変わり、それに伴い、出力がＰＯＬ＿１Ｒ［ｆ］に変わること以外、上述した第１実施形態におけるＳ３１１〜Ｓ３１３の処理と同様であるので、その詳細な説明は省略する。
【０１１５】
第２Ｒｃｈ周波数分析部６２０Ｒは、Ｒｃｈ初期反射成分生成部５００Ｒから供給されたＩＮ＿ＢＲ［ｔ］に対し、窓関数としてハニング窓をかけ、ＦＦＴ処理に供して周波数領域の信号に変換した後、極座標系に変換し、その変換により得られた極座標系で表される周波数領域の右チャンネル信号であるＰＯＬ＿２Ｒ［ｆ］を、Ｒｃｈ成分選別部６３０Ｒへ出力する。第２Ｒｃｈ周波数分析部６２０Ｒで実行される各処理内容は、入力がＩＮ＿ＢＲ［ｔ］に変わり、に変わり、それに伴い、出力がＰＯＬ＿２Ｒ［ｆ］に変わること以外、上述した第１実施形態におけるＳ３２１〜Ｓ３２３の処理と同様であるので、その詳細な説明は省略する。
【０１１６】
Ｒｃｈ成分選別部６３０Ｒは、第１Ｒｃｈ周波数分析部６１０Ｒから供給されたＰＯＬ＿１Ｒ［ｆ］の動径の絶対値と、第２Ｒｃｈ周波数分析部６２０Ｒから供給されたＰＯＬ＿２Ｒ［ｆ］の動径の絶対値との比（レベル比）に基づき、極座標系で表される周波数領域の原音の右チャンネル信号を、ＰＯＬ＿３Ｒ［ｆ］として、第１Ｒｃｈ周波数合成部６４０Ｒへ出力すると共に、極座標系で表される周波数領域の残響音の右チャンネル信号を、ＰＯＬ＿４Ｒ［ｆ］として、第２Ｒｃｈ周波数合成部６５０Ｒへ出力する。なお、このＲｃｈ成分選別部６３０Ｒで実行される各処理内容は、入力が、右チャンネルの信号であるＰＯＬ＿１Ｒ［ｆ］及びＰＯＬ＿２Ｒ［ｆ］に変わり、それに伴い、出力が、右チャンネルの信号であるＰＯＬ＿３Ｒ［ｆ］及びＰＯＬ＿３Ｒ［ｆ］に変わること以外、上述したＬｃｈ成分選別部６３０Ｌと同様である。よって、その詳細な説明は、図１０を参照して後述するＬｃｈ成分選別部６３０Ｌで実行される処理の説明に代えるものとする。
【０１１７】
第１Ｒｃｈ周波数合成部６４０Ｒは、Ｒｃｈ成分選別部６３０Ｒから供給されたＰＯＬ＿３Ｒ［ｆ］を、極座標系から直交座標系へ変換した後、逆ＦＦＴ処理に供し、第１Ｒｃｈ周波数分析部６１０Ｒでかけたものと同じ窓関数（本実施形態では、ハニング窓）をかけ、それにより得られた直交座標系で表される時間領域の原音の右チャンネル信号であるＯｒＲ［ｔ］を、Ｒｃｈセレクタ部６６０Ｒへ出力する。第１Ｒｃｈ周波数合成部６４０Ｒで実行される各処理内容は、入力がＰＯＬ＿３Ｒ［ｆ］に変わり、それに伴い、出力がＯｒＲ［ｔ］に変わること以外、上述した第１実施形態におけるＳ３４１〜Ｓ３４３の処理と同様であるので、その詳細な説明は省略する。
【０１１８】
第２Ｒｃｈ周波数合成部６５０Ｒは、Ｒｃｈ成分選別部６３０Ｒから供給されたＰＯＬ＿４Ｒ［ｆ］を、極座標系から直交座標系へ変換した後、逆ＦＦＴ処理に供し、第２Ｒｃｈ周波数分析部６２０Ｒでかけたものと同じ窓関数（本実施形態では、ハニング窓）をかけ、それにより得られた直交座標系で表される時間領域の残響音の右チャンネル信号であるＢＲ［ｔ］を、Ｒｃｈセレクタ部６６０Ｒへ出力する。第２Ｒｃｈ周波数合成部６５０Ｒで実行される各処理内容は、処理対象がＰＯＬ＿４Ｒ［ｆ］に変わり、それに伴い、出力信号がＢＲ［ｔ］に変わること以外、上述した第１実施形態におけるＳ３５１〜Ｓ３５３の処理と同様であるので、その詳細な説明は省略する。
【０１１９】
Ｒｃｈセレクタ部６６０Ｒは、ユーザの指定に基づき、第１Ｒｃｈ周波数合成部６４０Ｒから供給されたＯｒＲ［ｔ］か、第２Ｒｃｈ周波数合成部６５０Ｒから供給されたＢＲ［ｔ］のいずれかを出力する。つまり、Ｒｃｈセレクタ部６６０Ｒからは、原音の右チャンネル信号であるＯｒＲ［ｔ］、又は、残響音の右チャンネル信号であるＢＲ［ｔ］のいずれかが、ユーザの指定に応じて出力される。
【０１２０】
このように、第１処理部６００は、ＬｃｈＡ／Ｄ２０Ｌ及びＲｃｈＡ／Ｄ２０Ｒから入力された左右チャンネルの入力信号（ＩＮ＿ＰＬ［ｔ］，ＩＮ＿ＰＲ［ｔ］）から、原音の左右チャンネル信号（ＯｒＬ［ｔ］，ＯｒＲ［ｔ］）、又は、残響音の左右チャンネル信号（ＢＬ［ｔ］，ＢＲ［ｔ］）を、ユーザの所望に応じて出力することができる。
【０１２１】
第２処理部７００は、Ｌｃｈ用Ａ／Ｄ２０Ｌから入力された左チャンネルの入力信号（ＩＮ＿ＰＬ［ｔ］）を処理するための機能として、第１Ｌｃｈ周波数分析部７１０Ｌと、第２Ｌｃｈ周波数分析部７２０Ｌと、Ｌｃｈ成分選別部７３０Ｌと、第１Ｌｃｈ周波数合成部７４０Ｌと、第２Ｌｃｈ周波数合成部７５０Ｌと、Ｌｃｈセレクタ部７６０Ｌとを有している。これらの各部７１０Ｌ〜７６０Ｌは、それぞれ、第１処理部６００の各部６１０Ｌ〜６６０Ｌと同様に機能し、同じ信号を出力する。
【０１２２】
即ち、Ｌｃｈ第１周波数分析部７１０Ｌは、Ｌｃｈ第１周波数分析６１０Ｌと同様に機能してＰＯＬ＿１Ｌ［ｆ］を出力する。Ｌｃｈ第２周波数分析部７２０Ｌは、Ｌｃｈ第２周波数分析６２０Ｌと同様に機能してＰＯＬ＿２Ｌ［ｆ］を出力する。Ｌｃｈ成分選別部７３０Ｌは、Ｌｃｈ成分選別部６３０Ｌと同様に機能してＰＯＬ＿３Ｌ［ｆ］およびＰＯＬ＿４Ｌ［ｆ］を出力する。Ｌｃｈ第１周波数分析部７４０Ｌは、Ｌｃｈ第１周波数分析部６４０Ｌと同様に機能してＯｒＬ［ｔ］を出力する。Ｌｃｈ第２周波数分析部７５０Ｌは、Ｌｃｈ第２周波数分析部６５０Ｌと同様に機能してＢＬ［ｔ］を出力する。Ｌｃｈセレクタ部７６０Ｌは、Ｌｃｈセレクタ部６６０Ｌと同様に機能してＯｒＬ［ｔ］またはＢＬ［ｔ］のいずれかを出力する。
【０１２３】
また、第２処理部７００は、Ｒｃｈ用Ａ／Ｄ２０Ｒから入力された右チャンネルの入力信号（ＩＮ＿ＰＲ［ｔ］）を処理するための機能として、第１Ｒｃｈ周波数分析部７１０Ｒと、第２Ｒｃｈ周波数分析部７２０Ｒと、Ｒｃｈ成分選別部７３０Ｒと、第１Ｒｃｈ周波数合成部７４０Ｒと、第２Ｒｃｈ周波数合成部７５０Ｒと、Ｒｃｈセレクタ部７６０Ｒとを有している。これらの各部７１０Ｒ〜７６０Ｒは、それぞれ、第１処理部６００の各部６１０Ｒ〜６６０Ｒと同様に機能し、同じ信号を出力する。
【０１２４】
即ち、Ｒｃｈ第１周波数分析部７１０Ｒは、Ｒｃｈ第１周波数分析６１０Ｒと同様に機能してＰＯＬ＿１Ｒ［ｆ］を出力する。Ｒｃｈ第２周波数分析部７２０Ｒは、Ｒｃｈ第２周波数分析６２０Ｒと同様に機能してＰＯＬ＿２Ｒ［ｆ］を出力する。Ｒｃｈ成分選別部７３０Ｒは、Ｒｃｈ成分選別部６３０Ｒと同様に機能してＰＯＬ＿３Ｒ［ｆ］およびＰＯＬ＿４Ｒ［ｆ］を出力する。Ｒｃｈ第１周波数分析部７４０Ｒは、Ｒｃｈ第１周波数分析部６４０Ｒと同様に機能してＯｒＲ［ｔ］を出力する。Ｒｃｈ第２周波数分析部７５０Ｒは、Ｒｃｈ第２周波数分析部６５０Ｒと同様に機能してＢＲ［ｔ］を出力する。Ｒｃｈセレクタ部７６０Ｒは、Ｒｃｈセレクタ部６６０Ｒと同様に機能してＯｒＲ［ｔ］またはＢＲ［ｔ］のいずれかを出力する。
【０１２５】
第１処理部６００で実行される処理の実行間隔と、第２処理部７００で実行される処理の実行間隔とは同じであり、本実施形態では、この実行間隔は０．１秒である。また、第２処理部７００で実行される処理は、第１処理部６００における処理の実行開始から所定時間（本実施形態では、半周期後である０．０５秒）だけ遅れて開始される。なお、第１処理部６００及び第２処理部７００の実行間隔や、第１処理部６００における処理の実行開始から第２処理部７００における処理の実行開始までの遅延時間は、サンプリング周波数と楽音信号の数とに応じた値を適宜使用できる。
【０１２６】
次に、図９を参照して、上述したＬｃｈ初期反射成分生成部５００Ｌの機能について説明する。図９（ａ）は、Ｌｃｈ初期反射成分生成部５００Ｌの機能を示すブロック図である。Ｌｃｈ初期反射成分生成部５００Ｌは、ＦＩＲフィルタであり、第１〜第Ｎ遅延素子５０１Ｌ−１〜５０１Ｌ−Ｎと、Ｎ個の乗算器５０２Ｌ−１〜５０２Ｌ−Ｎと、加算器５０３Ｌとから構成される。なお、Ｎは、１以上の整数である。
【０１２７】
遅延素子５０１Ｌ−１〜５０１Ｌ−Ｎは、Ｌｃｈ用Ａ／Ｄ２０Ｌから入力された左チャンネルの入力信号であるＩＮ＿ＰＬ［ｔ］を、各遅延素子に対して規定された遅延時間ＴＬ１〜ＴＬＮだけ遅延する素子である。これらの遅延素子５０１Ｌ−１〜５０１Ｌ−Ｎは、それぞれ、遅延時間ＴＬ１〜ＴＬＮだけ遅延させることにより得られた信号を、対応する乗算器５０２Ｌ−１〜５０２Ｌ−Ｎへ出力する。
【０１２８】
乗算器５０２Ｌ−１〜５０２Ｌ−Ｎは、それぞれ、レベル係数ＣＬ１〜ＣＬＮ（いずれも１．０以下の正数）を、対応する遅延素子５０１Ｌ−１〜５０１Ｌ−Ｎから供給された信号に乗算し、加算器５０３Ｌへ出力する。加算器５０３Ｌは、乗算器５０２Ｌ−１〜５０２Ｌ−Ｎから出力された信号を全て加算し、それにより得られた信号であるＩＮ＿ＢＬ［ｔ］を、第１処理部６００の第２Ｌｃｈ周波数分析部６２０Ｌと、第２処理部７００の第２Ｌｃｈ周波数分析部７２０Ｌとにそれぞれ入力する。
【０１２９】
Ｌｃｈ初期反射成分生成部５００Ｌにおける遅延素子５０１Ｌ−１〜５０１Ｌ−Ｎの数（即ち、Ｎ）、遅延時間ＴＬ１〜ＴＬＮ、及びレベル係数ＣＬ１〜ＣＬＮは、後述するＵＩ画面４０（図１２参照）におけるＬｃｈ初期反射パターン設定部４１Ｌをユーザが操作することによって適宜設定される。遅延素子５０１Ｌ−１〜５０１Ｌ−Ｎの数を、音場空間における反射位置の数に設定し、各遅延素子に対して遅延時間ＴＬ１〜ＴＬＮとレベル係数ＣＬ１〜ＣＬＮを設定することにより、図９（ｂ）に示すようなインパルス応答ＩｒＬ１〜ＩｒＬＮが得られ、これらのインパルス応答ＩｒＬ１〜ＩｒＬＮを、ＩＮ＿ＰＬ［ｔ］に対して畳み込むことにより、ＩＮ＿ＢＬ［ｔ］が生成される。
【０１３０】
ここで、Ｎ箇所の反射位置がある場合、Ｌｃｈ初期反射成分生成部５００Ｌにおいて生成されるＩＮ＿ＢＬ［ｔ］は、『ＩＮ＿ＢＬ［ｔ］＝ＩＮ＿ＰＬ［ｔ］×ＣＬ１×Ｚ−ｍ１＋ＩＮ＿ＰＬ［ｔ］×ＣＬ２×Ｚ−ｍ２＋・・・＋ＩＮ＿ＰＬ［ｔ］×ＣＬＮ×Ｚ−ｍＮ』と表すことができる。なお、Ｚは、Ｚ変換の伝達関数であり、その伝達関数Ｚの指数（−ｍ１，−ｍ２，・・・，−ｍＮ）は、それぞれ、遅延時間ＴＬ１〜ＴＬＮに応じて決定される。
【０１３１】
図９（ｂ）は、図９（ａ）に示したＬｃｈ初期反射成分生成部５００Ｌにおいて、入力信号（即ち、ＩＮ＿ＰＬ［ｔ］）に対して畳み込まれるインパルス応答を示す模式図である。なお、図９（ｂ）において、横軸は時刻に対応し、縦軸はレベルに対応する。第１のインパルス応答ＩｒＬ１は、遅延時間ＴＬ１におけるレベルＣＬ１のインパルス応答であり、第２のインパルス応答ＩｒＬ２は、遅延時間ＴＬ２におけるレベルＣＬ２のインパルス応答である。そして、第Ｎのインパルス応答ＩｒＬＮは、遅延時間ＴＬＮにおけるレベルＣＬＮのインパルス応答である。
【０１３２】
各インパルス応答ＩｒＬ１，ＩｒＬ２，…ＩｒＬＮは、音場空間の残響特性Ｇｂ［ｔ］を反映する。一方で、一般的に、マイクなどの収音装置により収音された音（即ち、Ｌｃｈ用Ａ／Ｄ２０Ｌから入力された音）の左チャンネルの信号であるＩＮ＿ＰＬ［ｔ］は、原音の左チャンネル信号（ＯｒＬ［ｔ］）と、原音の左チャンネル信号ＯｒＬ［ｔ］が音場空間の残響特性Ｇｂ［ｔ］により変化された残響音の信号との混合音となる。つまり、『ＩＮ＿ＰＬ［ｔ］＝ＯｒＬ［ｔ］＋Ｇｂ［ＯｒＬ［ｔ］］』である。上述した通り、インパルス応答ＩｒＬ１〜ＩｒＬＮは、遅延素子の数Ｎ、遅延時間ＴＬ１〜ＴＬＮ、及びレベル係数ＣＬ１〜ＣＬＮを、ＵＩ画面４０を用いて設定することにより得ることができる。よって、これらのインパルス応答ＩｒＬ１〜ＩｒＬＮを適切に設定し、左チャンネルの入力信号であるＩＮ＿ＰＬ［ｔ］を畳み込むことにより、ＩＮ＿ＰＬ［ｔ］から、左チャンネルの残響音成分（Ｇｂ［ＯｒＬ［ｔ］］を適切に模倣したＩＮ＿ＢＬ［ｔ］を生成し、出力することができる。
【０１３３】
一方、図示はしないが、Ｒｃｈ初期反射成分生成部５００Ｒも、上述したＬｃｈ初期反射成分生成部５００Ｌと同様のＦＩＲフィルタとして構成される。このＲｃｈ初期反射成分生成部５００Ｒには、右チャンネルの信号であるＩＮ＿ＰＲ［ｔ］が入力され、出力信号としてＩＮ＿ＢＲ［ｔ］が第２Ｒｃｈ周波数分析部６２０Ｒ，７２０Ｒに出力される。
【０１３４】
ただし、本実施形態では、Ｒｃｈ初期反射成分生成部５００Ｒに含まれる遅延素子の数Ｎ’は、Ｌｃｈ初期反射成分生成部５００Ｌに含まれる遅延素子５０１Ｌ−１〜５０１Ｌ−Ｎの数（即ち、Ｎ）とは独立して設定できるように構成されている。また、Ｒｃｈ初期反射成分生成部５００Ｒの各遅延素子の遅延時間ＴＲ１〜ＴＲＮ’や、各遅延素子からの出力に乗算するレベル係数ＣＲ１〜ＣＲＮ’についても、Ｌｃｈ初期反射成分生成部５００Ｌの設定（ＴＬ１〜ＴＬＮ，ＣＬ１〜ＣＬＮ）とは独立して設定できるように構成されている。なお、遅延素子の数Ｎ’、遅延時間ＴＲ１〜ＴＲＮ’、及びレベル係数ＣＲ１〜ＣＲＮ’は、後述するＵＩ画面４０（図１２参照）におけるＲｃｈ初期反射パターン設定部４１Ｒをユーザが操作することによって適宜設定される。
【０１３５】
Ｒｃｈ初期反射成分生成部５００Ｒにおいて生成されるＩＮ＿ＢＲ［ｔ］は、『ＩＮ＿ＢＲ［ｔ］＝ＩＮ＿ＰＲ［ｔ］×ＣＲ１×Ｚ−ｍ’１＋ＩＮ＿ＰＲ［ｔ］×ＣＲ２×Ｚ−ｍ’２＋・・・＋ＩＮ＿ＰＲ［ｔ］×ＣＲＮ’×Ｚ−ｍ’Ｎ’』と表すことができる。Ｚは、Ｚ変換の伝達関数であり、その伝達関数Ｚの指数（−ｍ’１，−ｍ’２，・・・，−ｍ’Ｎ’）は、それぞれ、遅延時間ＴＲ１〜ＴＲＮ’に応じて決定される。そして、遅延素子の数Ｎ’、遅延時間ＴＲ１〜ＴＲＮ’、及びレベル係数ＣＲ１〜ＣＲＮ’を適切に設定することにより、右チャンネルの入力信号であるＩＮ＿ＰＲ［ｔ］から、右チャンネルの残響音成分（Ｇｂ’［ＯｒＲ［ｔ］］）を適切に模倣したＩＮ＿ＢＲ［ｔ］を生成することができる。
【０１３６】
次に、図１０を参照して、上述したＬｃｈ成分選別部６３０Ｌの機能について説明する。図１０は、Ｌｃｈ成分選別部６３０Ｌで実行される処理を、機能ブロックを用いて模式的に示す図である。なお、図示を省略するが、第２処理部７００のＬｃｈ成分選別部７３０Ｌにおいても、図１０に示す各処理と同様の処理が実行される。
【０１３７】
Ｌｃｈ成分選別部６３０Ｌでは、まず、各周波数ｆについて、ＰＯＬ＿１Ｌ［ｆ］の動径とＰＯＬ＿２Ｌ［ｆ］の動径とを比較し、動径の絶対値の大きい方をＬｖ［ｆ］に設定する（Ｓ６３１）。Ｓ６３１により設定されたＬｖ［ｆ］は、ＣＰＵ１１に供給されて、後述するＵＩ画面４０（図１２参照）の信号表示部４５の表示を制御するために使用される。Ｓ６３１の処理後、各周波数ｆにおけるＰＯＬ＿３Ｌ［ｆ］およびＰＯＬ＿４Ｌ［ｆ］をゼロに初期化する（Ｓ６３２）。
【０１３８】
Ｓ６３２の処理後、各周波数ｆに対する｜ＰＯＬ＿２Ｌ［ｆ］の動径｜の減衰を鈍らせるためにＳ６３３の処理を実行する。具体的に、Ｓ６３３の処理では、まず、周波数ｆ毎に、ｗｋ＿Ｌ［ｆ］＝ｗｋ’＿Ｌ［ｆ］×減衰量Ｅに基づき、ｗｋ＿Ｌ［ｆ］を算出する。なお、ｗｋ＿Ｌ［ｆ］は、今回の相違度［ｆ］の算出（後述するＳ６３４の処理）において｜ＰＯＬ＿１Ｌ［ｆ］の動径｜と比較するために使用する値であり、補正後の（即ち、鈍らせた後の）｜ＰＯＬ＿２Ｌ［ｆ］の動径｜である。また、ｗｋ’＿Ｌ［ｆ］は、前回の相違度［ｆ］の算出に使用したｗｋ＿Ｌ［ｆ］であり、前回の処理時にＲＡＭ１３内の所定領域に記憶された値である。また、減衰量Ｅは、ユーザがＵＩ画面４０（図１２参照）により設定する値である。
【０１３９】
つまり、前回の相違度［ｆ］の算出に使用したｗｋ’＿Ｌ［ｆ］に減衰量Ｅをかけることにより、ｗｋ＿Ｌ［ｆ］を算出する。ただし、初回のＰＯＬ＿２Ｌ［ｆ］については、ｗｋ＿Ｌ［ｔ］＝｜ＰＯＬ＿２Ｌ［ｆ］の動径｜である。
【０１４０】
次に、上記のように算出したｗｋ＿Ｌ［ｆ］を、Ｌｃｈ成分選別部６３０Ｌに供給された今回のＰＯＬ＿２Ｌ［ｆ］の動径の絶対値（即ち、補正する前の｜ＰＯＬ＿２Ｌ［ｆ］の動径｜）と比較する。
【０１４１】
この比較の結果、ｗｋ＿Ｌ［ｆ］＜｜ＰＯＬ＿２Ｌ［ｆ］の動径｜であれば、ｗｋ＿Ｌ［ｆ］＝｜ＰＯＬ＿２Ｌ［ｆ］の動径｜とする。一方で、ｗｋ＿Ｌ［ｆ］≧｜ＰＯＬ＿２Ｌ［ｆ］の動径｜であれば、ｗｋ＿Ｌ［ｆ］＝ｗｋ＿Ｌ［ｆ］、即ち、ｗｋ’＿Ｌ［ｆ］×減衰量Ｅにより得られた値をｗｋ＿Ｌ［ｆ］とする。ただし、ｗｋ＿Ｌ［ｆ］の値は０．０以上に制限される。そして、比較の結果として設定されたｗｋ＿Ｌ［ｆ］の値を、次回のＰＯＬ＿２Ｌ［ｆ］に対する処理に使用するために、ｗｋ’＿Ｌ［ｆ］としてＲＡＭ１３内の所定領域に記憶しておく。
【０１４２】
よって、Ｓ６６３の処理によれば、Ｌｃｈ成分選別部６３０Ｌに供給された今回のＰＯＬ＿２Ｌ［ｆ］の動径の絶対値が、前回の相違度［ｆ］の算出に使用した値（ｗｋ’＿Ｌ［ｆ］）から、所定量以上に減衰した場合には、前回の相違度［ｆ］の算出に使用した値に減衰量Ｅをかけた値が、ｗｋ＿Ｌ［ｆ］として採用され、前回からの減衰が所定の範囲内であれば、今回、実際に供給されたＰＯＬ＿２Ｌ［ｆ］の動径の絶対値が、ｗｋ＿Ｌ［ｆ］として採用される。その結果、初期反射成分の信号のレベル（即ち、ＰＯＬ＿２Ｌ［ｆ］の動径）の減衰が鈍らされ、その減衰を緩やかにすることができる。これにより、大音量後の反射音が到達した後に続く比較的レベルの低い残響音を捕らえることができる。その説明については、図１１を参照して後述する。
【０１４３】
Ｓ６３３の処理後、周波数ｆ毎に、その周波数ｆにおける相違度［ｆ］として、補正後のＰＯＬ＿２［ｆ］（即ち、ｗｋ＿Ｌ［ｔ］）のレベルに対するＰＯＬ＿１Ｌ［ｆ］のレベルの比（レベル比）を算出する（Ｓ６３４）。つまり、Ｓ６３４では、相違度［ｆ］＝｜（ＰＯＬ＿１［ｆ］の動径｜／ｗｋ＿Ｌ［ｆ］）を算出する。このように、相違度［ｆ］とは、ＰＯＬ＿１Ｌ［ｆ］のレベルとｗｋ＿Ｌ［ｔ］とのレベル比に応じて規定される値であり、ＰＯＬ＿１Ｌ［ｆ］に対応する入力信号（ＩＮ＿ＰＬ［ｔ］）と、ＰＯＬ＿２［ｆ］に対応する入力信号（ＩＮ＿ＰＬ［ｔ］の初期反射成分の信号であるＩＮ＿ＢＬ［ｔ］）との相違の度合いを示す値である。なお、Ｓ６３４において、相違度［ｆ］は、０．０〜２．０の範囲に制限する。また、ｗｋ＿Ｌ［ｆ］が０．０である場合もまた、相違度［ｆ］＝２．０とする。Ｓ６３４により算出された相違度［ｆ］は、Ｓ６３５以降の処理に使用すると共に、ＣＰＵ１１に供給されて、後述するＵＩ画面４０（図１２参照）の信号表示部４５の表示を制御するために使用される。
【０１４４】
次いで、Ｓ６３４の処理により得られた相違度［ｆ］を、ＰＯＬ＿１Ｌ［ｆ］の大きさ（｜ＰＯＬ＿１Ｌ［ｆ］の動径｜）に応じて操作するためにＳ６３５の処理を実行する。具体的に、Ｓ６３５の処理では、まず、周波数ｆ毎に、｜ＰＯＬ＿１Ｌ［ｆ］の動径｜を、予め決められている定数（例えば、５０．０）で除すことにより、大きさＸを算出する（Ｓ６３５）。ただし、大きさＸの値は、０．０〜１．０に制限する（即ち、０．０≦大きさＸ≦１．０）。
【０１４５】
大きさＸを算出した後、Ｓ６３４の処理により得られた相違度［ｆ］から、（１．０−大きさＸ）に操作量Ｆをかけたものを差し引くことにより、相違度［ｆ］の操作を行う。なお、操作量Ｆは、ユーザがＵＩ画面４０（図１２参照）により設定する値である。
【０１４６】
ここで、ＰＯＬ＿１Ｌ［ｆ］の大きさ（即ち、｜ＰＯＬ＿１Ｌ［ｆ］の動径｜）が小さい程、（１．０−大きさＸ）の値は大きくなる。よって、ＰＯＬ＿１Ｌ［ｆ］が小さいもの程、Ｓ６３４の処理により得られた相違度［ｆ］から差し引かれる値が大きくなるので、Ｓ６３５の処理により得られる相違度［ｆ］は小さくなる。よって、ある程度の小ささのＰＯＬ＿１Ｌ［ｆ］については、次のＳ６３６の判定で残響音であると判定させることができる。このＳ６３５の処理により、後部残響音を捕らえることができる。
【０１４７】
Ｓ６３５の処理後、相違度［ｆ］が、その周波数ｆにおける設定範囲内かを、周波数ｆ毎に判定する（Ｓ６３６）。なお、「その周波数ｆにおける設定範囲」は、後述するＵＩ画面４０（図１２参照）を用いてユーザにより設定された、ある周波数ｆにおいて、原音とする相違度［ｆ］の範囲である。よって、ある周波数ｆにおける設定範囲内にある相違度［ｆ］は、その周波数ｆでのＰＯＬ＿１Ｌ［ｆ］が原音の信号であることを示す。上述したＳ６３１からＳ６３９の処理を、フーリエ変換された周波数ｆの範囲で繰り返し実行する。
【０１４８】
Ｓ６３６の判定が肯定される場合には（Ｓ６３６：Ｙｅｓ）、ＰＯＬ＿３Ｌ［ｆ］をＰＯＬ＿１Ｌ［ｆ］とし（Ｓ６３７）、否定される場合には（Ｓ６３６：Ｎｏ）、ＰＯＬ＿４Ｌ［ｆ］をＰＯＬ＿１Ｌ［ｆ］とする（Ｓ６３７）。よって、ＰＯＬ＿３Ｌ［ｆ］は、ＰＯＬ＿１Ｌ［ｆ］から抽出された原音に相当する信号である。その一方で、ＰＯＬ＿４Ｌ［ｆ］は、ＰＯＬ＿１Ｌ［ｆ］から抽出された残響音に相当する信号である。
【０１４９】
Ｓ６３７又はＳ６３８の処理後、各周波数ｆのＰＯＬ＿３Ｌ［ｆ］を、第１Ｌｃｈ周波数合成部６４０Ｌへ出力すると共に、各周波数ｆのＰＯＬ＿４Ｌ［ｆ］を、第２周波数合成部６５０Ｌへ出力する（Ｓ６３９）。よって、Ｓ６３６の判定が肯定されてＳ６３７の処理が実行された周波数ｆでは、Ｓ６３９の処理により、ＰＯＬ＿３Ｌ［ｆ］として、ＰＯＬ＿１Ｌ［ｆ］が第１Ｌｃｈ周波数合成部６４０Ｌへ出力されると共に、ＰＯＬ＿４Ｌ［ｆ］として、０．０が第２Ｌｃｈ周波数合成部６５０Ｌへ出力される。一方で、Ｓ６３６の判定が否定されてＳ６３８の処理が実行された周波数ｆでは、Ｓ６３９の処理により、ＰＯＬ＿３Ｌ［ｆ］として、０．０が第１Ｌｃｈ周波数合成部６５０Ｌへ出力されると共に、ＰＯＬ＿４Ｌ［ｆ］として、ＰＯＬ＿１Ｌ［ｆ］が第２Ｌｃｈ周波数合成部３５０Ｌへ出力される。
【０１５０】
なお、図１０に示す処理を、第２処理部７００のＬｃｈ成分選別部７３０Ｌに適用する場合には、ＰＯＬ＿３Ｌ［ｆ］を、第１Ｌｃｈ周波数合成部７４０Ｌへ出力し、ＰＯＬ＿４Ｌ［ｆ］を、第２Ｌｃｈ周波数合成部７５０Ｌへ出力する。
【０１５１】
また、図示を省略するが、右チャンネル信号に対して行うＲｃｈ成分選別部６３０Ｒ，７３０Ｒは、入力信号が右チャンネル信号であるＰＯＬ＿１Ｒ［ｆ］及びＰＯＬ＿２Ｒ［ｆ］に変わり、出力信号が、ＰＯＬ＿１Ｒ［ｆ］から抽出された原音に相当する信号であるＰＯＬ＿３Ｒ［ｆ］と、ＰＯＬ＿１Ｒ［ｆ］から抽出された残響音に相当する信号であるＰＯＬ＿４Ｒ［ｆ］とに変わり、その出力信号が、第２Ｒｃｈ周波数合成部６５０Ｒ（Ｒｃｈ成分選別部６３０Ｒの場合）、又は、第２Ｒｃｈ周波数合成部７５０Ｒ（Ｒｃｈ成分選別部７３０Ｒの場合）に出力されること以外は、図１０に示した各処理と同様の処理が実行される。
【０１５２】
次に、図１１を参照して、上述したＳ６３３の処理による効果について説明する。図１１は、ある周波数ｆにおいて、｜ＰＯＬ＿１Ｌ［ｆ］の動径｜を一定にしたときの、｜ＰＯＬ＿２Ｌ［ｆ］の動径｜の減衰を鈍らせない場合（即ち、Ｓ６３３の処理の実行前）と、鈍らせた場合（即ち、Ｓ６３３の処理の実行後）とを比較するための説明図である。なお、図１１では、左チャンネル信号を例示して説明するが、右チャンネル信号についても同様である。
【０１５３】
図１１において、横軸は時刻に対応し、向かって右へ行くほど、時刻が進んでいることを示す。する。一方で、向かって左側の縦軸は｜ＰＯＬ＿２Ｌ［ｆ］の動径｜に対応し、向かって右側の縦軸は相違度［ｆ］に対応し、どちらの縦軸も上へ行くほど、その値が大きくなる。
【０１５４】
ソリッドのハッチングがなされたバー（以下、「ソリッドのバー」と称す）は、｜ＰＯＬ＿２Ｌ［ｆ］の動径｜の減衰を鈍らせない場合（即ち、Ｓ６３３の処理の実行前）の動径を、縦軸方向の高さにより表したものである。一方、斜線のハッチングがなされたバー（以下、「斜線のバー」と称す）は、Ｓ６３３の処理が実行されて｜ＰＯＬ＿２Ｌ［ｆ］の動径｜の減衰を鈍らせた後の動径を縦軸方向の高さにより表したものである。
【０１５５】
なお、時刻ｔ１と時刻ｔ８では、斜線のバーが表示されていないが、これらの時刻ｔ１，ｔ８では、Ｓ６３３の処理の前後で｜ＰＯＬ＿２Ｌ［ｆ］の動径｜が等しいために、ソリッドのバーと斜線のバーとは高さが等しく互いに重なっているからである。つまり、時刻ｔ１は、初回のＰＯＬ＿２Ｌ［ｆ］であり、時刻ｔ８では、前回の動径からの減衰が所定の範囲内であったことを示す。
【０１５６】
一方、時刻ｔ２〜ｔ７では、ソリッドのバーの高さより、斜線のバーの高さの方が高くなっている。つまり、これらの時刻ｔ２〜ｔ７では、前回の動径からの減衰が所定量以上であったために、ｗｋ’＿Ｌ［ｆ］に減衰量Ｅをかけた値に補正され、それにより、｜ＰＯＬ＿２Ｌ［ｆ］の動径｜の減衰が緩やかにされている。
【０１５７】
また、各時刻ｔ１〜ｔ１２に対して引かれた一点鎖線Ｄ１〜Ｄ１２は、｜ＰＯＬ＿２Ｌ［ｆ］の動径｜の減衰を鈍らせなかった場合に算出される相違度［ｆ］を示す。なお、Ｄ１，Ｄ８は、それぞれ、太線Ｄ１’，Ｄ’８に重なっている。一方で、太線Ｄ’１〜Ｄ’１２は、｜ＰＯＬ＿２Ｌ［ｆ］の動径｜の減衰を鈍らせた場合に算出される相違度［ｆ］を示す。
【０１５８】
例えば、時刻ｔ１において大音量後の反射音が到達した場合、時刻ｔ２におけるソリッドバーの高さが、時刻ｔ１におけるソリッドバーの高さに比較して急激に低くなり、それに伴い、相違度［ｆ］が、一点鎖線Ｄ１から一点鎖線Ｄ２へと急激に増加する。相違度［ｆ］が急激に大きくなったことにより、Ｓ６３６において原音の信号であると判断されてしまい、大音量後の反射音が到達した後に続く比較的レベルの低い残響音を捕らえることができない可能性がある。
【０１５９】
これに対し、本実施形態のエフェクタ１では、｜ＰＯＬ＿２Ｌ［ｆ］の動径｜の減衰を鈍らせる（即ち、減衰を緩やかにした）ことにより、上記のような相違度［ｆ］の急激な増加を抑制することができるので、大音量後の反射音が到達した後に続く比較的レベルの低い残響音を捕らえることができる。
【０１６０】
図１２は、表示装置２２の表示画面に表示されたＵＩ画面４０の一例を示す模式図である。ＵＩ画面４０は、Ｌｃｈ初期反射パターン設定部４１Ｌと、Ｒｃｈ初期反射パターン設定部４１Ｒと、減衰量設定部４２と、操作量設定部４３と、切り替えボタン４４と、信号表示部４５とを有している。
【０１６１】
Ｌｃｈ初期反射パターン設定部４１Ｌは、Ｌｃｈ初期反射成分生成部５００Ｌにおいて、入力信号（ＩＮ＿ＰＬ［ｔ］）から、擬似的な初期反射音の左チャンネル信号（ＩＮ＿ＢＬ［ｔ］）を生成するためのパラメータを設定するための画面であり、横軸が時刻に対応し、縦軸がレベルに対応する。このＬｃｈ初期反射パターン設定部４１Ｌには、ユーザが入力装置２３を操作して設定したバー４１Ｌａが表示される。
【０１６２】
バー４１Ｌａの数は、音場空間における左チャンネル信号の反射位置の数Ｎに相当する。なお、図１２に示す例では、４本のバー４１Ｌａが表示されているので、Ｎとして「４」が設定されている。また各バー４１Ｌａの横軸方向の位置、及び、縦軸方向の高さは、それぞれ、遅延時間ＴＬｘおよびレベル係数ＣＬｘ（いずれも、ｘ＝１〜Ｎのいずれか）に相当する。バー４１Ｌａの数、横軸方向の位置、及び縦軸方向の高さは、上述した第１実施形態におけるバー３４ａの場合と同様、入力装置２３による所定の操作により行うことができる。
【０１６３】
Ｒｃｈ初期反射パターン設定部４１Ｒは、Ｒｃｈ初期反射成分生成部５００Ｒにおいて、入力信号（ＩＮ＿ＰＲ［ｔ］）から、擬似的な初期反射音の右チャンネル信号（ＩＮ＿ＢＲ［ｔ］）を生成するためのパラメータを設定するための画面であり、横軸が時刻に対応し、縦軸がレベルに対応する。このＲｃｈ初期反射パターン設定部４１Ｒには、ユーザが入力装置２３を操作して設定したバー４１Ｒａが表示される。
【０１６４】
バー４１Ｒａの数は、音場空間における右チャンネル信号の反射位置の数Ｎ’に相当する。なお、図１２に示す例では、４本のバー４１Ｌａが表示されており、Ｎ’として「４」が設定されている。また各バー４１Ｒａの横軸方向の位置、及び、縦軸方向の高さは、それぞれ、遅延時間ＴＲｘおよびレベル係数ＣＲｘ（いずれも、ｘ＝１〜Ｎ’のいずれか）に相当する。バー４１Ｒａの数、横軸方向の位置、及び縦軸方向の高さは、上述した第１実施形態におけるバー３４ａの場合と同様、入力装置２３による所定の操作により行うことができる。
【０１６５】
減衰量設定部４２は、Ｌｃｈ成分選別部６３０Ｌ，７３０Ｌ及びＲｃｈ成分選別部６３０Ｒ，７３０Ｒにおいて、｜ＰＯＬ＿２Ｌ［ｆ］の動径｜の減衰、又は｜ＰＯＬ＿２Ｒ［ｆ］の動径｜の減衰を鈍らせる場合に使用する減衰量Ｅを設定するための操作子である。この減衰量設定部４２により、減衰量Ｅを０．０から１．０までの範囲で設定できる。減衰量設定部４２は、ユーザが、入力装置２３（例えば、マウス）を用いて操作することができる。例えば、入力装置２３がマウスであれば、減衰量設定部４２の上にカーソルを置き、左ボタンを押しながらマウスを上に移動させると、減衰量Ｅが増え、下へ移動させると、減衰量Ｅが減る。
【０１６６】
操作量設定部４３は、Ｌｃｈ成分選別部６３０Ｌ，７３０Ｌ及びＲｃｈ成分選別部６３０Ｒ，７３０Ｒにおいて、ＰＯＬ＿１Ｌ［ｆ］又はＰＯＬ＿１Ｒ［ｆ］の大きさに応じて相違度［ｆ］の値を操作する場合に使用する操作量Ｆを設定するための操作子である。この操作量設定部４３により、操作量Ｆを０．０から１．０までの範囲で設定できる。操作量設定部４３は、ユーザが、入力装置２３（例えば、マウス）を用いて操作することができる。例えば、入力装置２３がマウスであれば、操作量設定部４３の上にカーソルを置き、左ボタンを押しながらマウスを上に移動させると、操作量Ｆが増え、下へ移動させると、操作量Ｆが減る。
【０１６７】
切り替えボタン４４は、Ｌｃｈセレクタ部６６０Ｌ，６７０Ｌ及びＲｃｈセレクタ部６６０Ｒ，６７０ＬＲから出力する信号を、原音の信号（ＯｒＬ［ｔ］，ＯｒＲ［ｔ］）とするか、残響音の信号（ＢＬ［ｔ］，ＢＲ［ｔ］）とするかを指定するためのボタンである。ボタン４４ａは、出力する信号として、原音の信号（ＯｒＬ［ｔ］，ＯｒＲ［ｔ］）を指定するボタンであり、ボタン４４ｂは、出力する信号として、残響音の信号（ＢＬ［ｔ］，ＢＲ［ｔ］）を指定するボタンである。
【０１６８】
この切り替えボタン４４は、ユーザが、入力装置２３（例えば、マウス）を用いて操作することができ、ボタン４４ａ又はボタン４４ｂに対して所定の操作（例えば、クリック）を行うと、クリックされたボタンが選択状態となり、そのボタンに対応する信号が、Ｌｃｈセレクタ部６６０Ｌ，６７０Ｌ及びＲｃｈセレクタ部６６０Ｒ，６７０ＬＲから出力する信号として指定される。図１２に示す例では、ボタン４４ａが選択状態（選択されていることを示すボタン色）であり、Ｌｃｈセレクタ部６６０Ｌ，６７０Ｌ及びＲｃｈセレクタ部６６０Ｒ，６７０ＬＲから出力する信号として、原音の信号（ＯｒＬ［ｔ］，ＯｒＲ［ｔ］が指定（選択）されていることを示す。一方で、ボタン４４ｂは、非選択状態（選択されていないことを示すボタン色）である。
【０１６９】
信号表示部４５は、エフェクタ１への入力信号（即ち、マイクなどの収音装置から、Ｌｃｈ用Ａ／Ｄ２０Ｌ及びＲｃｈ用Ａ／Ｄ２０Ｌを介して入力された信号）を、周波数ｆ−相違度［ｆ］の平面に可視化するための画面である。信号表示部４５の横軸は、周波数ｆに対応し、向かって右へ行くほど周波数が高く、向かって左へ行くほど周波数が低いことを示す。一方で、縦軸は、相違度［ｆ］に対応し、上へ行くほど相違度が大きく、下へ行くほど相違度が小さいことを示す。縦軸には、ＵＩ画面３０（図６参照）のカラーバー３６ａと同様に、相違度［ｆ］の大きさに応じたグラデーションで着色されたカラーバー４５ａが添えられている。
【０１７０】
信号表示部４５には、入力信号の周波数ｆと相違度［ｆ］に応じた点を中心とする円４５ｂが表示される。この座標（周波数ｆ，相違度［ｆ］）は、例えば、Ｌｃｈ成分選別部６３０ＬのＳ６３４の処理により算出された値に基づき、ＣＰＵ１１により算出される。円４５ｂの色は、その中心の座標が示す相違度［ｆ］に対するカラーバー４５ａの色が着色される。また、円４５ｂの半径は、その周波数ｆの入力信号のＬｖ［ｆ］を表し、Ｌｖ［ｆ］が大きい程、大きな半径となる。なお、Ｌｖ［ｆ］は、例えば、Ｌｃｈ成分選別部６３０ＬのＳ６３４の処理により算出された値である。
【０１７１】
信号表示部４５に表示される複数の指定点４５ｃは、例えば、Ｌｃｈ成分選別部６３０ＬのＳ６３６の判定に使用する設定範囲を規定するための点であり、境界線４５ｄは、隣接する指定点４５ｃを結ぶ直線であり、該設定範囲の境界を規定する線である。境界線４５ｄと、信号表示部４５の上辺（即ち、相違度［ｆ］の最大値）とにより囲まれた範囲４５ｅが、Ｓ６３６の判定に使用する設定範囲となる。
【０１７２】
指定点４５ｃの数および各位置の初期値はＲＯＭ１２に予め格納されている。指定点４５ｃの数の増減や移動は、入力装置２３を用いて、上述した第１実施形態における指定点３６ｃの場合と同様の操作で行うことができる。
【０１７３】
信号表示部４５に表示される円４５ｂのうち、その中心が範囲４５ｅの内部（境界を含む）に含まれる円４５ｂ１に対応する信号が、例えば、成分選別部６３０ＬのＳ６３６の判定において、相違度［ｆ］がその周波数ｆにおける設定範囲内にある信号であると判定される。一方で、その中心が範囲４５ｅから外れる円４５ｂ２に対応する信号が、例えば、Ｌｃｈ成分選別部６３０ＬのＳ６３６の判定において、設定範囲外にある信号であると判定される。
【０１７４】
なお、図１２では、境界線４５ｄと、信号表示部４５の上辺とにより囲まれた範囲を範囲４５ｅとしたが、ある周波数ｆにおける大きい方の相違度［ｆ］の閾値は、信号表示部４５の上辺（即ち、相違度［ｆ］の最大値）とは限らない。ここで、図１３は、信号表示部４５に設定される範囲４５ｅの変形例を示す図である。変形例としては、例えば、図１３（ａ）に示すように、閉じた境界線４５ｅにより囲まれた範囲を範囲４５ｅとしてもよい。
【０１７５】
また、図１３（ｂ）に示すように、低域における相違度の大きな円４５ｂ、例えば、円４５ｂ３を範囲外とするように範囲４５ｅを設定してもよい。低域における相違度の大きな円４５ｂ３が、範囲４５ｅの外となるように、指定点４５ｃおよび境界線４５ｄを設定することにより、ポップノイズ（マイクに息が吹き付けられたときに出るノイズ）を除去することができる。
【０１７６】
以上、説明した通り、第２実施形態のエフェクタ１によれば、入力信号を遅延させることにより、入力信号に含まれる残響音の初期反射成分を擬似的に生成することができるので、この擬似的な初期反射成分の信号（例えば、ＩＮ＿ＢＬ［ｔ］）と入力信号（例えば、ＩＮ＿ＰＬ［ｔ］）とをそれぞれ周波数分析した信号の、周波数ｆ毎のレベル比（例えば、｜ＰＯＬ＿１Ｌ［ｆ］の動径｜／｜ＰＯＬ＿２Ｌ［ｆ］の動径｜）は、そのレベル比が高い程、ＩＮ＿ＢＬ［ｔ］に含まれていない信号成分（例えば、ＩＮ＿ＰＬ［ｔ］に含まれる原音の信号ＯｒＬ［ｔ］）が多いことを示すので、このレベル比を、入力信号に含まれる原音の信号と、残響音の信号とを区別する指標とすることができる。よって、このレベル比に応じて、入力信号から、原音の信号又は残響音の信号を区別して抽出することができる。
【０１７７】
かかる原音の信号又は残響音の信号の抽出は、周波数特性やレベル比に注目して行っており、擬似的に生成した波形の時間軸上での差し引きを伴うものではないので、容易であるとともに、良好な音質で抽出できる。また、逆相波による、音像空間における残響音の打ち消しを伴うものでもないので、聴衆位置が限定的になることもない。
【０１７８】
以上、各実施形態に基づき本発明を説明したが、本発明は上記実施形態に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内で種々の変形改良が可能であることは容易に推察できるものである。
【０１７９】
例えば、上記第１実施形態では、マルチトラック再生部１００から出力されたＩＮ＿Ｂ［ｔ］を遅延部２００により遅延させる構成としたが、マルチトラック再生部１００と第１周波数分析部３１０との間、および、マルチトラック再生部１００と第１周波数分析部４１０との間に遅延部２００と同様の遅延部を設け、この遅延部によって遅延させたＩＮ＿Ｐ［ｔ］を第１周波数分析部３１０，４１０に入力する構成としてもよい。このように、ＩＮ＿Ｐ［ｔ］をＩＮ＿Ｂ［ｔ］に対して遅延させることにより、ＩＮ＿Ｂ［ｔ］がＩＮ＿Ｐ［ｔ］に先行する場合にも、ＩＮ＿Ｐ［ｔ］からかぶり取り音を抽出すること（換言すれば、かぶり音を除去すること）ができる。なお、ＩＮ＿Ｂ［ｔ］がＩＮ＿Ｐ［ｔ］に先行する場合としては、例えば、演奏音が録音されたカセットテープが劣化し、テープの巻きによる重なり部分において、ある時刻の演奏によって録音された音（Ｐ［ｔ］）に、時系列的に前の演奏音（Ｂ［ｔ］）が移りこんだ場合などが挙げられる。
【０１８０】
上記第１実施形態では、ユーザ指定されたトラック以外のトラックの再生信号であるＩＮ＿Ｂ［ｔ］に対して、１つの遅延器２００を配置する構成としたが、トラック毎に遅延器を配置し、トラック毎（又は、楽器単位毎）に遅延させる構成としてもよい。具体的には、例えば、ライブ会場などで、ボーカルとその他の楽器を同時に演奏してマルチトラックで収録する場合には、それぞれの楽器はそれぞれの位置（ギターアンプ、ベースアンプ、キーボードアンプ、アコースティックドラムの位置、など）から発音される。各楽器の音は、各トラックに遅延時間ゼロで収録されると共に、各楽器の発音位置からボーカルマイクまでの距離に応じた遅延時間でもってボーカルマイクに到達し、ボーカルトラックにかぶり音（不要音）として収録される。その場合、各楽器（各トラック）毎に、遅延時間を設定する必要が生じる。
【０１８１】
上記第１実施形態では、ユーザ指定されたトラック以外の全てのトラックに録音されている音信号をＩＮ＿Ｂ［ｔ］としたが、ユーザ指定されたトラック以外のトラックのうち、一部のトラックに録音されている音信号をＩＮ＿Ｂ［ｔ］としてもよい。
【０１８２】
上記第１実施形態では、モノラルの入力信号（ＩＮ＿Ｐ［ｔ］，ＩＮ＿Ｂ［ｔ］）に対して処理を行う構成としたが、複数チャンネル（例えば、左右チャンネル）の入力信号に対し、第２実施形態と同様に、チャンネル毎に主要音（かぶり取り音）と不要音（かぶり音）を選別して抽出する処理を行うように構成してもよい。
【０１８３】
上記第１実施形態では、マルチトラック再生部１００では、一律に、かぶり取り音として指定した場合のレベル係数Ｓ１〜Ｓｎを１．０としたが、トラック再生部１０１−１〜１０１−ｎのそれぞれに対し、楽器の音の混入具合に応じて、かぶり取り音として指定した場合のレベル係数を異ならせるように構成してもよい。例えば、ドラムの音の音量が他の楽器の音の音量に比べてかなり大きい場合に、ドラムについて、かぶり取り音として指定した場合のレベル係数を１．０より小さくするようにしてもよい。
【０１８４】
上記第１実施形態では、楽器単位で、かぶり取り音とかぶり音とを設定する構成としたが、トラック単位で、かぶり取り音とかぶり音とを設定する構成としてもよい。また、楽器の種類に応じて、楽器単位で、かぶり取り音とかぶり音とを設定するものと、トラック単位で、かぶり取り音とかぶり音とを設定するものとを分けておく構成であってもよい。
【０１８５】
上記第１実施形態では、録音データであるマルチトラックデータ２１ａを用いて、かぶり取り音の信号を抽出する構成としたが、少なくとも２つの入力チャンネルを設け、各入力チャンネルにはそれぞれ１つの収音装置から音が入力されるように構成することにより、特定の１つの入力チャンネルから入力された信号をＩＮ＿Ｐ［ｔ］とし、他の入力チャンネルから入力された信号の合成信号をＩＮ＿Ｂ［ｔ］として、ＩＮ＿Ｐ［ｔ］からかぶり取り音の信号を抽出する構成としてもよい。
【０１８６】
上記第１実施形態では、境界線３６ｄと、信号表示部３６の上辺とにより囲まれた範囲を範囲３６ｅとしたが、ある周波数ｆにおける大きい方の相違度［ｆ］の閾値は、信号表示部３６の上辺（即ち、相違度［ｆ］の最大値）とは限らず、図１３（ａ）に示した例と同様に、閉じた境界線により囲まれた範囲を範囲３６ｅとしてもよい。
【０１８７】
上記第１実施形態では、外付けのＨＤＤ２１に記憶したマルチトラックデータ２１ａを用いる構成としたが、マルチトラックデータ２１ａは、各種メディアに記憶されていてもよい。また、マルチトラックデータ２１ａを、エフェクタ１に内蔵されるフラッシュメモリなどのメモリに記憶させて使用してもよい。
【０１８８】
上記第２実施形態では、Ｌｃｈ用Ａ／Ｄ２０ＬおよびＲｃｈ用Ａ／Ｄ２０Ｒから入力された信号を処理して、原音と残響音とを選別する構成としたが、ハードディスクドライブなどに録音されていた録音データを処理し、原音と残響音とを選別する構成としてもよい。
【０１８９】
上記第２実施形態では、Ｌｃｈ用Ａ／Ｄ２０Ｌから入力された左チャンネル信号と、Ｒｃｈ用Ａ／Ｄ２０Ｒから入力された右チャンネル信号とで、それぞれ、別々に処理する構成としたが、Ｌｃｈ用Ａ／Ｄ２０Ｌから入力された左チャンネル信号とＲｃｈ用Ａ／Ｄ２０Ｒから入力された右チャンネル信号とをモノラル信号に合成し、モノラル信号で処理する構成としてもよい。なお、この場合には、チャンネル毎のＤ／Ａ（即ち、Ｌｃｈ用Ｄ／Ａ１５Ｌ，Ｒｃｈ用Ｄ／Ａ１５Ｒ）は設けずに、１つのＤ／Ａとしてもよい。
【０１９０】
上記第２実施形態では、左右２チャンネルの信号をそれぞれ処理し、原音と残響音とを選別する構成としたが、２チャンネル以上の信号について、各チャンネルをそれぞれ処理して原音と残響音とを選別するように構成してもよい。もちろん、モノラル信号を処理して原音と残響音とを選別するように構成してもよい。
【０１９１】
上記第２実施形態では、Ｌｃｈ初期反射成分生成部５００Ｌにおいて生成されるＩＮ＿ＢＬ［ｔ］は、左チャンネルの入力信号（ＩＮ＿ＰＬ［ｔ］）と、左チャンネルの信号に対して設定されたパラメータ（Ｎ，ＴＬ１〜ＴＬＮ，ＣＬ１〜ＣＬＮ）に基づいてのみ決定されるものとしたが、右チャンネルの入力信号（ＩＮ＿ＰＲ［ｔ］）と、右チャンネル信号に対するパラメータ（Ｎ’，ＴＲ１〜ＴＲＮ’，ＣＲ１〜ＣＲＮ’）とを考慮するようにしてもよい。
【０１９２】
即ち、上記第２実施形態では、『ＩＮ＿ＢＬ［ｔ］＝ＩＮ＿ＰＬ［ｔ］×ＣＬ１×Ｚ−ｍ１＋ＩＮ＿ＰＬ［ｔ］×ＣＬ２×Ｚ−ｍ２＋・・・＋ＩＮ＿ＰＬ［ｔ］×ＣＬＮ×Ｚ−ｍＮ』としたが、『ＩＮ＿ＢＬ［ｔ］＝（ＩＮ＿ＰＬ［ｔ］×ＣＬ１×Ｚ−ｍ１＋ＩＮ＿ＰＬ［ｔ］×ＣＬ２×Ｚ−ｍ２＋・・・＋ＩＮ＿ＰＬ［ｔ］×ＣＬＮ×Ｚ−ｍＮ）＋（ＩＮ＿ＰＲ［ｔ］×ＣＲ１×Ｚ−ｍ’１＋ＩＮ＿ＰＲ［ｔ］×ＣＲ２×Ｚ−ｍ’２＋・・・＋ＩＮ＿ＰＲ［ｔ］×ＣＲＮ’×Ｚ−ｍ’Ｎ’）』としてもよい。同様に、Ｒｃｈ初期反射成分生成部５００Ｒにおいて生成されるＩＮ＿ＢＲ［ｔ］についても、『ＩＮ＿ＢＲ［ｔ］＝（ＩＮ＿ＰＲ［ｔ］×ＣＲ１×Ｚ−ｍ’１＋ＩＮ＿ＰＲ［ｔ］×ＣＲ２×Ｚ−ｍ’２＋・・・＋ＩＮ＿ＰＲ［ｔ］×ＣＲＮ’×Ｚ−ｍ’Ｎ’）＋（ＩＮ＿ＰＬ［ｔ］×ＣＬ１×Ｚ−ｍ１＋ＩＮ＿ＰＬ［ｔ］×ＣＬ２×Ｚ−ｍ２＋・・・＋ＩＮ＿ＰＬ［ｔ］×ＣＬＮ×Ｚ−ｍＮ）』としてもよい。
【０１９３】
上記第２実施形態では、Ｌｃｈ初期反射成分生成部５００ＬにおいてＩＮ＿ＢＬ［ｔ］を生成する場合に用いるパラメータ（Ｎ，ＴＬ１〜ＴＬＮ，ＣＬ１〜ＣＬＮ）と、Ｒｃｈ初期反射成分生成部５００ＲにおいてＩＮ＿ＢＲ［ｔ］を生成する場合に用いるパラメータ（Ｎ’，ＴＲ１〜ＴＲＮ’，ＣＲ１〜ＣＲＮ’）とは、それぞれ独立して設定して使用する構成としたが、互いに共通のパラメータを設定して使用する構成としてもよい。かかる場合には、ＵＩ画面４０において、Ｌｃｈ初期反射パターン設定部４１Ｌと、Ｒｃｈ初期反射パターン設定部４１Ｒとを、１つの初期反射パターン設定部として構成してもよい。
【０１９４】
上記第２実施形態では、初期反射成分生成部５００Ｌ，５００Ｒを、ＦＩＲフィルタとして構成したが、遅延素子５０１Ｌ−１〜５０１Ｌ−Ｎ，５０１Ｒ−１〜５０１Ｒ−Ｎ’を、それぞれ、図１４に示すようなオールパスフィルタ５０に換えてもよい。図１４は、オールパスフィルタ５０の構成を示すブロック図である。
【０１９５】
オールパスフィルタ５０は、入力される音の周波数特性は変更せず、位相を変更するフィルタで、入力信号（ＩＮ＿ＰＬ［ｔ］又はＩＮ＿ＰＲ［ｔ］）と乗算器５２の出力とを加算して出力する加算器５５と、その加算器５５の出力に係数として減衰量−Ｅ（なお、Ｅは、減衰量設定部４２により設定される値である）を乗算する乗算器５３と、遅延素子５１と、遅延素子５１により遅延された信号に減衰量Ｅを乗算する乗算器５２と、乗算器５３の出力と遅延素子５１の出力とを加算して出力する加算器５４とから構成される。このオールパスフィルタ５０を用いた場合には、｜ＰＯＬ＿２Ｌ［ｆ］の動径｜又は｜ＰＯＬ＿２Ｒ［ｆ］の動径｜の減衰を鈍らせる処理（例えば、上述したＳ６３３の処理）を省略してもよい。
【０１９６】
上記各実施形態では、信号のレベル比（信号の動径の比）を相違度［ｆ］としたが、信号のパワーの比を用いる構成としてもよい。つまり、上記各実施形態では、ＩＮ＿Ｐ［ｆ］やＩＮ＿Ｂ［ｆ］の実数部を２乗した値と、虚数部を２乗した値との和を取り、その和の平方根を取った値（即ち、信号のレベル）を使用して相違度［ｆ］を算出したが、ＩＮ＿Ｐ［ｆ］やＩＮ＿Ｂ［ｆ］の実数部を２乗した値と、虚数部を２乗した値との和（即ち、信号のパワー）を使用して相違度［ｆ］を算出してもよい。
【０１９７】
上記第１実施形態では、相違度［ｆ］を、｜（ＰＯＬ＿１［ｆ］の動径｜／｜ＰＯＬ＿２［ｆ］の動径｜とした。つまり、ＰＯＬ＿２［ｆ］のレベルに対するＰＯＬ＿１［ｆ］のレベル比を相違度［ｆ］として算出した。これに換えて、ＰＯＬ＿１［ｆ］のレベルに対するＰＯＬ＿２［ｆ］のレベル比を、相違度［ｆ］に変わるパラメータとして使用する構成としてもよい。なお、第２実施形態についても同様である。
【０１９８】
上記各実施形態では、窓関数としてハニング窓を用いたが、ハミング窓やブラックマン窓の各種窓関数を用いてもよい。
【０１９９】
上記各実施形態では、ＵＩ画面３０，４０の信号表示部３６，４５に設定する範囲３６ｅ，４５ｅは、１つの曲の演奏時刻に関係なく１つの範囲を設定したが、１つの曲に複数の範囲３６ｅ，４５ｅを設定してもよい。即ち、１つの曲の演奏時刻に応じて異なる範囲３６ｅ，４５ｅを設定してもよい。かかる場合には、範囲３６ｅ，４５ｅが変更される毎に、演奏時刻と範囲とを対応づけてＲＡＭ１３に記憶する。１つの曲の中でも演奏時刻に応じて異なる範囲３６ｅ，４５ｅを設定することにより、目的音（かぶり取り音や原音など）をより適切に抽出することができる。
【０２００】
上記実施形態では、信号表示部３６，４５において、境界線４５ｄを、隣接する指定点４５ｃを結ぶ直線としたが、複数の指定点４５ｃにより決まるスプライン曲線を用いる構成としてもよい。
【０２０１】
上記各実施形態では、ＵＩ画面３０，４０の信号表示部３６，４５では、信号を円３６ｂ，４５ｂで表す構成としたが、その形状は円に限定されず、種々の図形を使用してもよい。
【０２０２】
また、信号表示部３６，４５に表示される各円３６ｂ，４５ｂは、その大きさ（半径の長さ）によって信号のレベルを表す構成としたが、レベルの軸を第３の軸として、三次元座標系により表示してもよい。
【０２０３】
上記各実施形態では、表示装置２１及び入力装置２２を、エフェクタ１とは別体としたが、表示画面及び入力部を有するエフェクタであってもよい。かかる場合には、表示装置２１に表示させた内容をエフェクタ内の表示画面に表示させ、入力装置２２から受け付けた入力情報をエフェクタの入力部から受け付けるようにすればよい。
【０２０４】
上記第２実施形態では、第１処理部６００に、Ｌｃｈセレクタ部６６０Ｌ及びＲｃｈセレクタ部６６０Ｒを設け、第２処理部７００に、Ｌｃｈセレクタ部７６０Ｌ及びＲｃｈセレクタ部７６０Ｒを設ける構成としたが（図８参照）、これらのセレクタ部６６０Ｌ，６６０Ｒ，７６０Ｌ，７６０Ｒを設けず、各処理部６００，７００から出力された原音と残響音とをそれぞれ左右チャンネル毎にクロスフェード合成して、それぞれをＤ／Ａ変換して出力する構成としてもよい。つまり、第１に、第１Ｌｃｈ周波数合成部６４０Ｌ，７４０Ｌからそれぞれ出力されるＯｒＬ［ｔ］をクロスフェード合成して、左チャンネルの原音出力用に設けたＤ／Ａに入力し、第２に、第１Ｒｃｈ周波数合成部６４０Ｒ，７４０Ｒからそれぞれ出力されるＯｒＲ［ｔ］をクロスフェード合成して、右チャンネルの原音出力用に設けたＤ／Ａに入力し、第３に、第２Ｌｃｈ周波数合成部６５０Ｌ，７５０Ｌからそれぞれ出力されるＢＬ［ｔ］をクロスフェード合成して、左チャンネルの残響音出力用に設けたＤ／Ａに入力し、第４に、第２Ｒｃｈ周波数合成部６５０Ｒ，７５０Ｒからそれぞれ出力されるＢＲ［ｔ］をクロスフェード合成して、右チャンネルの残響音出力用に設けたＤ／Ａに入力するように構成してもよい。この場合、例えば、左右チャンネルの原音を前部に配置したステレオスピーカから放音し、左右チャンネルの残響音を後部に配置したステレオスピーカから放音することにより、臨場感溢れる音響効果を得ることができる。
【０２０５】
上記第１実施形態では、各周波数合成部３４０，３５０，４４０，４５０により周波数合成を行った後で、かぶり取り音の時間領域の信号又はかぶり音の時間領域の信号のいずれかをセレクタ部３６０，４６０により選択して出力する構成としたが、セレクタによりＰＯＬ＿３［ｆ］又はＰＯＬ＿４［ｆ］のいずれかを選択した後、選択された信号を周波数合成して時間領域の信号に変換する構成としてもよい。上記第２実施形態についても同様に、セレクタによって、ＰＯＬ＿３Ｌ［ｆ］及びＰＯＬ＿３Ｒ［ｆ］の組、又は、ＰＯＬ＿４Ｌ［ｆ］及びＰＯＬ＿４Ｒ［ｆ］の組のいずれかを選択した後、選択された信号を周波数合成して時間領域の信号に変換する構成としてもよい。
【符号の説明】
【０２０６】
１ エフェクタ（音信号処理装置）
１５Ｌ．１５Ｒ Ｄ／Ａ（出力手段）
１８ ＨＤＤ＿Ｉ／Ｆ（第１入力手段、第２入力手段）
２０Ｌ，２０Ｒ Ａ／Ｄ（入力手段）
１００ マルチトラック再生部（再生手段）
２００ 遅延部（調整手段）
３１０，４１０ 第１周波数分析部（分割手段）
３２０，４２０ 第２周波数分析部（分割手段）
３４０，４４０ 第１周波数合成部（出力信号生成手段）
３５０，４５０ 第２周波数合成部（出力信号生成手段）
５００Ｌ，５００Ｒ 初期反射成分生成部（擬似信号生成手段）
６１０Ｌ，７１０Ｌ 第１Ｌｃｈ周波数分析部（分割手段）
６１０Ｒ，７１０Ｒ 第１Ｒｃｈ周波数分析部（分割手段）
６２０Ｌ，７２０Ｌ 第２Ｌｃｈ周波数分析部（分割手段）
６２０Ｒ，７２０Ｒ 第２Ｒｃｈ周波数分析部（分割手段）
６４０Ｌ，７４０Ｌ 第１Ｌｃｈ周波数合成部（出力信号生成手段）
６４０Ｒ，７４０Ｒ 第１Ｒｃｈ周波数合成部（出力信号生成手段）
６５０Ｌ，７５０Ｌ 第２Ｌｃｈ周波数合成部（出力信号生成手段）
６５０Ｒ，７５０Ｒ 第２Ｒｃｈ周波数合成部（出力信号生成手段）
Ｓ３３３ レベル比算出手段
Ｓ３３４ 判定手段
Ｓ３３５ 抽出手段
Ｓ３３６ 第２の抽出手段
Ｓ６３３ レベル補正手段
Ｓ６３４ レベル比算出手段
Ｓ６３５ レベル比補正手段
Ｓ６３６ 判定手段
Ｓ６３７ 抽出手段
【技術分野】
【０００１】
本発明は、音信号処理装置に関し、特に、主要音に不要音が混ざった混合音から、主要音を好適に抽出し得る音信号処理装置に関するものである。
【背景技術】
【０００２】
ライブなどで１つの楽曲を演奏する複数の楽器の演奏音を楽器毎に独立して収録した場合に、各楽器の収録音は、対象とする楽器の演奏音に、「かぶり音」と呼ばれる他の楽器の演奏音が混ざった混合音となる。各楽器の収録音を加工処理（例えば、ディレイ）する場合に、かぶり音の存在が問題になることがあり、かぶり音を収録音から除去することが望まれている。
【０００３】
また、マイクなどで収録された音には、原音と、その残響成分（残響音）が含まれていることが一般的である。従来、原音に残響音が混合した混合音から残響音を除く技術としては、残響音に相当する擬似残響音の波形を生成し、その擬似残響音の波形を、時間軸上で元の混合音から差し引く方法（例えば、特許文献１）や、混合音から残響音の逆相波を生成して補助スピーカから出力して混合音と空間合成することにより、該残響音を打ち消す方法（例えば、特許文献２）などの方法が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平０７−１５４３０６号公報
【特許文献２】特開平０６−０６２４９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、残響音の除去については、上記の先行技術があるものの、特許文献１に記載される技術の場合、擬似残響音の波形を正確に生成しなければ、残響音を除去した後の音質が悪く、特許文献２に記載される技術の場合、残響音を除去できる聴衆位置が限定的であるという問題点がある。また、かぶり音を除去するために、残響音を除去するための上記の先行技術を取り入れたとしても、上述した問題点が同様に生じると考えられる。
【０００６】
ところで、本出願人は、複数の楽音が混合してなる混合音の信号から、その周波数領域の信号のレベルに基づき、複数の定位に位置する楽音を抽出する未公知技術を提案している（例えば、特願２００９−２７７０５４（未公知））。
【０００７】
本発明は、上述した事情等を鑑みてなされたものであり、上記技術を応用することにより、主要音に不要音（例えば、かぶり音や残響音）が混ざった混合音から、主要音を好適に抽出し得る音信号処理装置を提供することを目的としている。
【課題を解決するための手段および発明の効果】
【０００８】
この目的を達成するために、請求項１記載の音信号処理装置によれば、第１の音と第２の音とを含む混合音の時間領域の信号である混合音信号と、少なくとも第２の音に相当する音を含む音の時間領域の信号である対象音信号とからなる２つの信号であって、全てまたは一部が時間的な相関関係を有する前記２つの信号をそれぞれ複数の周波数帯域に分割し、各周波数毎に、２つの信号のレベル比を算出する。このレベル比は、混合音信号と対象音信号との相違の度合いの表す指標となる。そして、この指標に基づくことにより、混合音信号には含まれ、対象音信号には含まれない第１の音の信号を、第２の音の信号に対して区別することができる。よって、第１の音を示すレベル比の範囲を周波数帯域毎に予め設定しておくことにより、レベル比算出手段により算出されたレベル比が、設定された範囲内にあると判定手段により判定された周波数帯域の信号を、前記混合音信号に対応する信号から抽出手段によって抽出することにより、混合音信号に含まれている第１の音の信号を抽出できる。従って、第１の音としての主要音に、第２の音としての不要音（例えば、かぶり音や、テープの劣化により移り込んだ音や、残響音など）が混ざった混合音から、第１の音である主要音を抽出することができる。
【０００９】
かかる第１の音の抽出は、信号の周波数特性やレベル比に注目して、混合音から第１の音を抽出する（換言すれば、第２の音を除く）ものであり、擬似的に生成した波形の時間軸上での差し引きを伴うものではないので、第１の音を容易に良好な音質で抽出できる。また、逆相波による音像空間における打ち消しを伴わないので、聴衆位置が限定的になることなく良好な音質の第１の音を抽出することができる。よって、請求項１記載の音信号処理装置によれば、主要音に、不要音が混ざった混合音から、主要音を好適に抽出し得るという効果がある。
【００１０】
請求項２記載の音処理装置によれば、請求項１が奏する効果に加え、混合音に含まれる第１の音及び第２の音のそれぞれの発音タイミングの差に基づき生じる時間差が、調整手段によって調整される。具体的には、第１入力手段から入力された信号（混合音信号）又は第２入力手段から入力された信号（対象音信号）のいずれかの信号を、時間軸上で、該時間差に応じた調整量に応じて遅延させることによって調整する。上記の時間差は、混合音信号における第２の音の信号と、対象音信号における第２の音の信号との時間差であるので、上記調整手段による調整により、混合音信号における第２の音の信号と、対象音信号における第２の音の信号とを時間軸上で相対的に合わせることができる。
【００１１】
なお、この請求項２における「前記混合音に含まれる第１の音及び第２の音のそれぞれの発音タイミングの差に基づき生じる時間差」としては、例えば、第１の音を出力する第１の出力源と収音手段との間の音場空間の特性と、第２の音を出力する第２の出力源と該収音手段との間の音場空間の特性との差に基づいて生じる時間差や、演奏音が録音されたカセットテープが劣化し、テープの巻きによる重なり部分において、ある時刻に演奏されて録音された第１の音の信号に、時系列的に異なる第２の音の信号（例えば、時系列的に前に演奏された第２の音の信号）が移りこんだことによって生じる時間差、などがある。また、請求項２における「時間差」としては、必ずしも時間差がある場合に限らず、時間差がない場合（即ち、時間差がゼロである場合）も含むことを意図している。また、請求項２における「時間差に応じた調整量」もまた、ゼロを含むことを意図している。
【００１２】
よって、請求項２記載の音信号処理装置によれば、主要音に、不要音（例えば、かぶり音や、テープの劣化により移り込んだ音など）が混ざった混合音から、主要音を好適に抽出し得るという効果がある。
【００１３】
請求項３記載の音信号処理装置によれば、請求項２が奏する効果に加え、第２の抽出手段は、調整信号又は元信号のうち、混合音信号に対応する信号から、レベル比が予め設定された範囲外であると判定手段により判定された周波数帯域の信号を抽出するので、混合音中に含まれる第２の音に相当する音の信号を抽出して出力できるという効果がある。混合音中に含まれる第２の音に相当する音の信号を抽出して出力することにより、混合音からどのような音が除去されるかをユーザに聴かせることができ、第１の音を適切に抽出させるための感覚的な情報を与えることができる。
【００１４】
請求項４記載の音信号処理装置によれば、請求項２又は３が奏する効果に加え、マルチトラックデータの中から、所定のトラックに録音されている第１の音を抽出できるという効果がある。よって、ライブなどで１つの楽曲を演奏する複数の楽器の演奏音を楽器毎に独立して収録したマルチトラックデータから、所望の楽器の音や音声が録音されたトラックに録音されている音の信号を第１入力手段に入力し、そのトラックに録音されている音に含まれる所望の楽器の音または音声以外の音が録音された他のトラックに録音されている音の信号を第２入力手段に入力することにより、かぶり音を除去した所望の楽器の音又は音声を抽出できる。
【００１５】
請求項５記載の音信号処理装置によれば、請求項２から４のいずれかが奏する効果に加え、第２の出力源の位置に応じた調整量としての遅延時間と、第２の出力源の数とに基づいて、調整信号を生成するので、混合音信号における第２の音の信号と、対象音信号における第２の音の信号とを精度良く合わせることができ、第１の音を良好な音質で抽出できるという効果がある。
【００１６】
請求項６記載の音信号処理装置によれば、所定の出力源から出力された第１の音と、その第１の音に基づいて音場空間において生じた第２の音とを１つの収音手段により収音して得られた混合音の時間領域の信号が混合音信号として入力手段から入力される場合に、所定の出力源から出力された第１の音が収音手段により収音されるタイミングと、第２の音（第１の音に基づいて生じた音）が同じ収音手段により収音されるタイミングとの時間差に応じた調整量に応じて、擬似信号生成手段によって、混合音信号が、時間軸上で遅延され、それにより、該混合音の信号から、対象音信号としての第２の音の信号が擬似的に生成される。
【００１７】
よって、請求項６記載の音信号処理装置によれば、主要音に、不要音（例えば、残響音など）が混ざった混合音から、主要音（例えば、原音）を好適に抽出し得るという効果がある。
【００１８】
請求項７記載の音信号処理装置によれば、請求項６が奏する効果に加え、入力手段から入力された、原音である第１の音と残響音（第２の音）との混合音から、原音を抽出できるという効果がある。
【００１９】
請求項８記載の音信号処理装置によれば、請求項７が奏する効果に加え、音場空間における残響特性に応じて生じる、第１の音が収音手段により収音されてから、その第１の音に基づいて生じた残響音が該収音手段により収音されるまでの遅延時間を調整量とする。そして、かかる調整量としての遅延時間と、該音場空間において第１の音を反射する反射位置として設定した数とに基づいて、擬似的な第２の音の信号としての初期反射音の信号を生成するので、初期反射音の信号を精度よく模倣することができ、原音（第１の音）を良好な音質で抽出できるという効果がある。
【００２０】
請求項９記載の音信号処理装置によれば、請求項６から８のいずれかが奏する効果に加え、擬似的な第２の音の信号における今回のレベルを、前回のレベルと比較し、今回のレベルが、前回のレベルに所定の減衰率をかけたレベルより小さい場合に、レベル補正手段により、レベル比算出手段に使用する擬似的な第２の音の信号のレベルが、前回のレベルに所定の減衰率をかけたレベルに補正されるので、擬似的な第２の音の信号のレベルの急激な減衰を鈍らせることができる。よって、レベル比算出手段により算出されるレベル比の急激な変化を抑制することができ、その結果、大音量後の反射音が到達した後に続く比較的レベルの低い反射音を捕らえることができるという効果がある。
【００２１】
請求項１０記載の音信号処理装置によれば、請求項６から９のいずれかが奏する効果に加え、混合音の信号のレベルが小さい程、擬似的な第２の音の信号のレベルに対する、混合音の信号のレベルの比が小さくなるように、レベル比算出手段により算出されたレベル比が、レベル比補正手段によって補正されるので、小さいレベルの混合音の信号を、より第２の音として判定され易いようにすることができ、それにより、後部残響音を捕らえることができるという効果がある。
【図面の簡単な説明】
【００２２】
【図１】本発明の一実施形態であるエフェクタ（音信号処理装置の一例）の構成を示すブロック図である。
【図２】ＤＳＰの機能を示す機能ブロック図である。
【図３】マルチトラック再生部の機能を示す機能ブロック図である。
【図４】（ａ）は、遅延部の機能を示す機能ブロック図であり、（ｂ）は、（ａ）に示した遅延部において、入力信号に対して畳み込まれるインパルス応答を示す模式図である。
【図５】第１処理部を構成する各部で実行される処理を、機能ブロックを用いて模式的に示す図である。
【図６】表示装置の表示画面に表示されたユーザインターフェイス画面の一例を示す模式図である。
【図７】第２実施形態のエフェクタの構成を示すブロック図である。
【図８】第２実施形態のＤＳＰの機能を示す機能ブロック図である。
【図９】（ａ）は、Ｌｃｈ初期反射成分生成部の機能を示すブロック図であり、（ｂ）は、（ａ）に示したＬｃｈ初期反射成分生成部において、入力信号に対して畳み込まれるインパルス応答を示す模式図である。
【図１０】Ｌｃｈ成分選別部で実行される処理を、機能ブロックを用いて模式的に示す図である。
【図１１】ある周波数ｆにおいて、｜ＰＯＬ＿１Ｌ［ｆ］の動径｜を一定にしたときの、｜ＰＯＬ＿２Ｌ［ｆ］の動径｜の減衰を鈍らせない場合と、鈍らせた場合とを比較するための説明図である。
【図１２】表示装置の表示画面に表示されたユーザインターフェイス画面の一例を示す模式図である。
【図１３】信号表示部に設定される範囲の変形例を示す図である。
【図１４】オールパスフィルタの構成を示すブロック図である。
【発明を実施するための形態】
【００２３】
以下、本発明の好ましい実施例について、添付図面を参照して説明する。まず、図１から図６を参照して本発明の第１実施形態について説明する。図１は、本発明における第１実施形態のエフェクタ１（音信号処理装置の一例）の構成を示すブロック図である。第１実施形態のエフェクタ１は、１つの楽曲を演奏する複数の楽器の演奏音を楽器毎にマルチトラック録音した場合に、各楽器を録音したトラックの収録音に含まれるかぶり音を除去できるものである。なお、本明細書に記載される用語「楽器」としては、ボーカルを含むことを意図している。
【００２４】
エフェクタ１は、ＣＰＵ１１と、ＲＯＭ１２と、ＲＡＭ１３と、デジタルシグナルプロセッサ（以下、「ＤＳＰ」と称す）１４と、Ｌｃｈ用Ｄ／Ａ１５Ｌと、Ｒｃｈ用Ｄ／Ａ１５Ｒと、表示装置用Ｉ／Ｆ１６と、入力装置用Ｉ／Ｆ１７と、ＨＤＤ＿Ｉ／Ｆ１８と、バスライン１９とを有している。なお、「Ｄ／Ａ」とは、デジタルアナログコンバータである。各部１１〜１４，１５Ｌ，１５Ｒ，１６〜１８は、バスライン１９を介して互いに電気的に接続されている。
【００２５】
ＣＰＵ１１は、ＲＯＭ１２等に記憶される固定値や制御プログラムに従って、バスライン１９を介して接続されている各部を制御する中央制御装置である。ＲＯＭ１２は、エフェクタ１で実行される制御プログラム１２ａなどを格納した書換不能なメモリである。制御プログラム１２ａには、図２〜図５を参照して後述するＤＳＰ１４により実行される各処理の制御プログラムが含まれている。ＲＡＭ１３は、各種のデータを一時的に記憶するためのメモリである。
【００２６】
ＤＳＰ１４は、デジタル信号を処理するための演算装置である。詳細は後述するが、本実施形態におけるＤＳＰ１４は、ＨＤＤ２１に記憶されているマルチトラックデータ２１ａをマルチトラック再生し、ユーザ指定された楽器の演奏音が録音されているトラックの収録音の信号から、そのトラックへの録音を意図した音（即ち、ユーザ指定された楽器の演奏音であり、この音を以下では「主要音」と称することがある）の信号と、その主要音に混ざって録音されたかぶり音の信号とを選別し、選別された主要音の信号を「かぶり取り音」の信号として抽出して、Ｌｃｈ用Ｄ／Ａ１５ＬおよびＲｃｈ用Ｄ／Ａ１５Ｒへ出力する処理を実行する。
【００２７】
Ｌｃｈ用Ｄ／Ａ１５Ｌは、ＤＳＰ１４にて信号処理が施された左チャンネル信号を、デジタル信号からアナログ信号へ変換するコンバータであり、変換後のアナログ信号はＯＵＴ＿Ｌ端子から出力される。Ｒｃｈ用Ｄ／Ａ１５Ｒは、ＤＳＰ１４にて信号処理が施された右チャンネル信号を、デジタル信号からアナログ信号へ変換するコンバータであり、変換後のアナログ信号はＯＵＴ＿Ｒ端子から出力される。
【００２８】
表示装置用Ｉ／Ｆ１６は、表示装置２２を接続するためのインターフェイスである。エフェクタ１には、この表示装置用Ｉ／Ｆ１６を介して表示装置２２が接続される。表示装置２２は、ＬＣＤ等によって構成される表示画面を有する装置であり、本実施形態では、この表示装置２２の表示画面に、図６を参照して後述するユーザインターフェイス画面３０が表示される。なお、以下では、ユーザインターフェイス画面を「ＵＩ画面」と称す。
【００２９】
入力装置用Ｉ／Ｆ１７は、入力装置２３を接続するためのインターフェイスである。エフェクタ１には、この入力装置用Ｉ／Ｆ１７を介して入力装置２３が接続される。入力装置２３は、エフェクタ１に供給する各種実行指示を入力するための装置であり、例えば、マウスやタブレットやキーボードなどで構成される。本実施形態では、表示装置２２の表示画面に表示されたＵＩ画面３０（図６参照）に対し、入力装置２３を適宜操作することにより、ユーザ指定された楽器の演奏音が録音されているトラックの収録音からかぶり取り音を抽出するための各種実行指示を入力する。なお、入力装置２３を、表示装置２２の表示画面上になされた操作を感知するタッチパネルとして構成してもよい。
【００３０】
ＨＤＤ＿Ｉ／Ｆ１８は、外付けのハードディスクドライブであるＨＤＤ２１を接続するためのインターフェイスである。本実施形態では、ＨＤＤ２１には、１又は複数のマルチトラックデータ２１ａが記憶されており、ユーザにより選択された１つのマルチトラックデータ２１ａが、処理のためにＨＤＤ＿Ｉ／Ｆ１８を介してＤＳＰ１４へ入力される。マルチトラックデータ２１ａは、トラック単位でマルチトラック録音されたオーディオデータである。
【００３１】
次に、図２を参照して、ＤＳＰ１４の機能について説明する。図２は、ＤＳＰ１４の機能を示す機能ブロック図である。ＤＳＰ１４に形成される機能ブロックは、マルチトラック再生部１００と、遅延部２００と、第１処理部３００と、第２処理部４００とから構成される。
【００３２】
マルチトラック再生部１００は、ＨＤＤ２１に記憶されているマルチトラックデータ２１ａをマルチトラック再生し、ユーザ指定された楽器の演奏音が録音されているトラックの収録音に基づく再生信号であるＩＮ＿Ｐ［ｔ］を、第１処理部３００の第１周波数分析部３１０と、第２処理部４００の第１周波数分析部４１０とにそれぞれ入力する。なお、本明細書中において、［ｔ］は、その信号が時間領域の信号であることを示す。また、マルチトラック再生部１００は、ユーザ指定されたトラック以外のトラックに録音されている演奏音に基づく再生信号であるＩＮ＿Ｂ［ｔ］を、遅延部２００に入力する。なお、マルチトラック再生部１００の詳細については、図３を参照して後述する。
【００３３】
遅延部２００は、マルチトラック再生部１００から供給されたＩＮ＿Ｂ［ｔ］を、ユーザ設定に応じた遅延時間だけ遅延し、所定のレベル係数（１．０以下の正数）を乗算する。そして、ユーザにより設定された遅延時間とレベル係数との組が複数組ある場合には、その全てを加算する。これにより得られた遅延信号であるＩＮ＿Ｂｄ［ｔ］を、第１処理部３００の第２周波数分析部３２０と、第２処理部４００の第２周波数分析部４２０とにそれぞれ入力する。なお、遅延部２００の機能の詳細については、図４を参照して後述する。
【００３４】
第１処理部３００および第２処理部４００は、マルチトラック再生部１００から供給されたＩＮ＿Ｐ［ｔ］と、遅延部２００から供給されたＩＮ＿Ｂｄ［ｔ］に対し、同一の処理をそれぞれ所定時間毎に繰り返して実行することにより、かぶり取り音の信号であるＰ［ｔ］又はかぶり音の信号であるＢ［ｔ］のいずれかを出力する。第１処理部３００および第２処理部４００のそれぞれから出力されたＰ［ｔ］又はＢ［ｔ］は、クロスフェードで合成されて、ＯＵＴ＿Ｐ［ｔ］又はＯＵＴ＿Ｂ［ｔ］として出力される。具体的には、第１処理部３００および第２処理部４００からＰ［ｔ］が出力された場合には、その合成信号であるＯＵＴ＿Ｐ［ｔ］がＤＳＰ１４から出力される。一方で、第１処理部３００および第２処理部４００からＢ［ｔ］が出力された場合には、その合成信号であるＯＵＴ＿Ｂ［ｔ］がＤＳＰ１４から出力される。ＤＳＰ１４から出力されたＯＵＴ＿Ｐ［ｔ］又はＯＵＴ＿Ｂ［ｔ］は分配されて、Ｌｃｈ用Ｄ／Ａ１５ＬとＲｃｈ用Ｄ／Ａ１５Ｒとにそれぞれ入力される。
【００３５】
より詳細には、第１処理部３００は、第１周波数分析部３１０と、第２周波数分析部３２０と、成分選別部３３０と、第１周波数合成部３４０と、第２周波数合成部３５０と、セレクタ部３６０とから構成される。
【００３６】
第１周波数分析部３１０は、マルチトラック再生部１００から供給されたＩＮ＿Ｐ［ｔ］を、周波数領域の信号に変換すると共に、直交座標系から極座標系に変換し、極座標系で表される周波数領域の信号であるＰＯＬ＿１［ｆ］を、成分選別部３３０へ出力する。第２周波数分析部３２０は、遅延部２００から供給されたＩＮ＿Ｂｄ［ｔ］を、周波数領域の信号への変換と極座標系への変換とを行った後、極座標系で表される周波数領域の信号であるＰＯＬ＿２［ｆ］を、成分選別部３３０へ出力する。
【００３７】
成分選別部３３０は、第１周波数分析部３１０から供給されたＰＯＬ＿１［ｆ］の動径の絶対値と、第２周波数分析部３２０から供給されたＰＯＬ＿２［ｆ］の動径の絶対値との比（以下、この比を「レベル比」と称す）を、周波数ｆ毎に、その周波数ｆに対して予め設定されているレベル比の範囲と比較し、その比較結果に応じて設定されたＰＯＬ＿３［ｆ］およびＰＯＬ＿４［ｆ］を、それぞれ、第１周波数合成部３４０および第２周波数合成部３５０へ出力する。
【００３８】
第１周波数合成部３４０は、成分選別部３３０から供給されたＰＯＬ＿３［ｆ］を、極座標系から直交座標系へ変換すると共に時間領域の信号に変換し、得られた直交座標系で表される時間領域の信号であるＰ［ｔ］を、セレクタ部３６０へ出力する。第２周波数合成部３５０は、成分選別部３３０から供給されたＰＯＬ＿４［ｆ］を、極座標系から直交座標系へ変換すると共に時間領域の信号に変換し、得られた直交座標系で表される時間領域の信号であるＢ［ｔ］を、セレクタ部３６０へ出力する。セレクタ部３６０は、ユーザの指定に基づき、第１周波数合成部３４０から供給されたＰ［ｔ］か、第２周波数合成部３５０から供給されたＢ［ｔ］のいずれかを出力する。
【００３９】
詳細は後述するが、Ｐ［ｔ］は、ユーザ指定された楽器音が録音されているトラックの収録音から不要音であるかぶり音を除いた音、即ち、かぶり取り音の信号であり、Ｂ［ｔ］は、かぶり音の信号である。つまり、第１処理部３００は、ユーザの所望に応じて、かぶり取り音の信号であるＰ［ｔ］か、かぶり音の信号であるＢ［ｔ］のいずれかを抽出して出力することができる。
【００４０】
なお、第１処理部３００を構成する各部３１０〜３６０において実行される詳細な処理については、図５を参照して後述する。
【００４１】
第２処理部４００は、第１周波数分析部４１０と、第２周波数分析部４２０と、成分選別部４３０と、第１周波数合成部４４０と、第２周波数合成部４５０と、セレクタ部４６０とから構成される。
【００４２】
第２処理部４００を構成する各部４１０〜４６０は、それぞれ、第１処理部３００を構成する各部３１０〜３６０と同様に機能し、同じ信号を出力する。即ち、第１周波数分析部４１０は、第１周波数分析３１０と同様に機能してＰＯＬ＿１［ｆ］を出力する。第２周波数分析部４２０は、第２周波数分析３２０と同様に機能してＰＯＬ＿２［ｆ］を出力する。成分選別部４３０は、成分選別部３３０と同様に機能してＰＯＬ＿３［ｆ］およびＰＯＬ＿４［ｆ］を出力する。第１周波数分析部４４０は、第１周波数分析部３４０と同様に機能してＰ［ｔ］を出力する。第２周波数分析部４５０は、第２周波数分析部３５０と同様に機能してＢ［ｔ］を出力する。セレクタ部４６０は、セレクタ部３６０と同様に機能してＰ［ｔ］またはＢ［ｔ］のいずれかを出力する。
【００４３】
この第２処理部４００で実行される処理の実行間隔は、第１処理部３００で実行される処理の実行間隔と同じであるが、第２処理部４００で実行される処理は、第１処理部３００における処理の実行開始から所定時間だけ遅れて開始される。これにより、第２処理部４００で実行される処理は、第１処理部３００における処理の実行終了から実行開始までのつなぎ目を補い、その一方で、第１処理部３００で実行される処理は、第２処理部４００における処理の実行終了から実行開始までのつなぎ目を補う。よって、第１処理部３００から出力された信号と、第２処理部４００から出力された信号とが合成された信号（即ち、ＤＳＰ１４から出力されるＯＵＴ＿Ｐ［ｔ］又はＯＵＴ＿Ｂ［ｔ］）に不連続が生じることを防止できる。
【００４４】
なお、本実施形態では、第１処理部３００及び第２処理部４００は、その処理を０．１秒毎に実行するものとし、第２処理部４００で実行される処理は、第１処理部３００における処理の実行開始から０．０５秒後（半周期後）に実行開始されるものとする。しかし、第１処理部３００及び第２処理部４００の実行間隔や、第１処理部３００における処理の実行開始から第２処理部４００における処理の実行開始までの遅延時間は、上記例示した０．１秒及び０．０５秒に限定されず、サンプリング周波数と楽音信号の数とに応じた値を適宜使用できる。
【００４５】
次に、図３を参照して、上述したマルチトラック再生部１００の機能について説明する。図３は、マルチトラック再生部１００の機能を示す機能ブロック図である。マルチトラック再生部１００は、第１〜第ｎトラック再生部１０１−１〜１０１−ｎと、ｎ個の第１の乗算器１０２ａ−１〜１０２ａ−ｎと、ｎ個の第２の乗算器１０２ｂ−１〜１０２ｂ−ｎと、第１の加算器１０３ａと、第２の加算器１０３ｂとから構成される。なお、ｎは、１以上の整数である。
【００４６】
第１〜第ｎトラック再生部１０１−１〜１０１−ｎは、マルチトラックデータ２１ａを構成するシングルトラックデータを同期して再生するマルチトラック再生を実行する。なお、「シングルトラックデータ」とは、１つのトラックに録音されたオーディオデータである。
【００４７】
各トラック再生部１０１−１〜１０１−ｎは、マルチトラックデータ２１ａを構成するシングルトラックデータのうち、１つの楽器の演奏音が録音された１又は複数のシングルトラックデータの同期した再生を行い、その楽器の演奏音のモノラル再生信号を出力する。つまり、１つのトラック再生部が、１つのシングルトラックデータを再生するとは限らず、例えば、１つの楽器の演奏音が、複数のトラックにステレオ録音されている場合には、それら複数のトラックにそれぞれ対応するシングルトラックデータの再生音を混合してモノラルの再生信号として出力する。これらの第１〜第ｎトラック再生部１０１−１〜１０１−ｎは、それぞれ、再生により生じたモノラルの再生信号を、対応する第１の乗算器１０２ａ−１〜１０２ａ−ｎと、第２の乗算器１０２ｂ−１〜１０２ｂ−ｎとに出力する。
【００４８】
第１の乗算器１０２ａ−１〜１０２ａ−ｎは、それぞれ、係数Ｓ１〜係数Ｓｎを、対応するトラック再生部１０１−１〜１０１−ｎから入力された再生信号に乗算し、第１の加算器１０３ａへ出力する。係数Ｓ１〜係数Ｓｎは、いずれも、１以下の正数である。第２の乗算器１０２ｂ−１〜１０２ｂ−ｎは、それぞれ、係数（１−Ｓ１）〜係数（１−Ｓｎ）を、対応するトラック再生部１０１−１〜１０１−ｎから入力された再生信号に乗算し、第２の加算器１０３ｂへ出力する。
【００４９】
第１の加算器１０３ａは、第１の乗算器１０２ａ−１〜１０２ａ−ｎから出力された信号を全て加算し、それにより得られた信号であるＩＮ＿Ｐ［ｔ］を、第１処理部３００の第１周波数分析部３１０と、第２処理部４００の第１周波数分析部４１０とにそれぞれ入力する。第２の加算器１０３ｂは、第２の乗算器１０２ｂ−１〜１０２ｂ−ｎから出力された信号を全て加算し、それにより得られた信号であるＩＮ＿Ｂ［ｔ］を、遅延部２００に入力する。
【００５０】
本実施形態では、第１の乗算器１０２ａ−１〜１０２ａ−ｎで使用する係数Ｓ１〜係数Ｓｎの値は、対応するトラック再生部１０１−１〜１０１−ｎにより再生される楽器の音が、後述するＵＩ画面３０（図６参照）において、ユーザがかぶり取り音として抽出したい１つの楽器の音として指定した楽器の音であるか否かに応じて規定されるように構成されている。具体的に、かぶり取り音として指定された楽器の音を主要音として含むトラック再生部１０１−１〜１０１−ｎに対応する係数Ｓ１〜係数Ｓｎの値は１．０に設定され、それ以外のトラック再生部に対応する係数Ｓ１〜係数Ｓｎの値は０．０に設定される。
【００５１】
一方、第２の乗算器１０２ａ−１〜１０２ａ−ｎでそれぞれ使用する係数は、対応する係数Ｓ１〜係数Ｓｎの値に応じて決まり、第１の乗算器１０２ａ−１〜１０２ａ−ｎで使用する係数Ｓ１〜係数Ｓｎが１．０であれば、対応する第２の乗算器１０２ｂ−１〜１０２ｂ−ｎで使用する係数（１−Ｓ１）〜係数（１−Ｓｎ）は０．０に設定される。また、係数Ｓ１〜係数Ｓｎが０．０であれば、対応する係数（１−Ｓ１）〜係数（１−Ｓｎ）は１．０に設定される。
【００５２】
つまり、マルチトラック再生部１００は、かぶり取り音として指定された楽器の音を主要音として含むトラック再生部１０１−１〜１０１−ｎから出力された再生信号を、ＩＮ＿Ｐ［ｔ］として、第１周波数分析部３１０，４１０へ出力する。他のトラック再生部から出力された再生信号は、ＩＮ＿Ｐ［ｔ］には含まれない。その一方で、マルチトラック再生部１００は、かぶり取り音として指定された楽器の音以外の楽器の音を主要音として含むトラック再生部から出力された再生信号を、ＩＮ＿Ｂ［ｔ］として、遅延部２００へ出力する。かぶり取り音として指定されたトラック再生部１０１−１〜１０１−ｎから出力された再生信号は、ＩＮ＿Ｂ［ｔ］には含まれない。
【００５３】
ここで、例えば、ボーカル音（ボーカリストの声）がかぶり取り音としてユーザにより指定された場合、マルチトラック再生部１００から第１周波数分析部３１０，４１０へ出力されるＩＮ＿Ｐ［ｔ］は、主要音としてのボーカル音の信号（Ｖｏ［ｔ］）と、不要音（主要音にかぶるかぶり音）となる他の楽器の音の合成音の信号であるＢ［ｔ］が音場空間の特性Ｇａ［ｔ］により変化された信号との混合音となる。つまり、『ＩＮ＿Ｐ［ｔ］＝Ｖｏ［ｔ］＋Ｇａ［Ｂ［ｔ］］』である。
【００５４】
一方、マルチトラック再生部１００から遅延部２００へ出力されるＩＮ＿Ｂ［ｔ］は、不要音の信号（Ｂ［ｔ］）である。例えば、Ｂ［ｔ］が、ギターの演奏音の信号（Ｇｔｒ［ｔ］）と、キーボードの演奏音の信号（Ｋｂｄ［ｔ］）と、ドラムの演奏音の信号（Ｄｒｕｍ［ｔ］）などを含む混合音であるとすると、ＩＮ＿Ｂ［ｔ］は、各楽器の音の信号の和となる。つまり、『ＩＮ＿Ｂ［ｔ］＝Ｇｔｒ［ｔ］＋Ｋｂｄ［ｔ］＋Ｄｒｕｍ［ｔ］＋・・・』である。
【００５５】
次に、図４を参照して、上述した遅延部２００の機能について説明する。図４（ａ）は、遅延部２００の機能を示す機能ブロック図である。遅延部２００は、ＦＩＲフィルタであり、第１〜第Ｎ遅延素子２０１−１〜２０１−Ｎと、Ｎ個の乗算器２０２−１〜２０２−Ｎと、加算器２０３とから構成される。なお、Ｎは、１以上の整数である。
【００５６】
遅延素子２０１−１〜２０１−Ｎは、入力信号であるＩＮ＿Ｂ［ｔ］を、各遅延素子に対して規定された遅延時間Ｔ１〜ＴＮだけ遅延する素子である。これらの遅延素子２０１−１〜２０１−Ｎは、それぞれ、遅延時間Ｔ１〜ＴＮだけ遅延させることにより得られた信号を、対応する乗算器２０２−１〜２０２−Ｎへ出力する。
【００５７】
乗算器２０２−１〜２０２−Ｎは、それぞれ、レベル係数Ｃ１〜ＣＮ（いずれも１．０以下の正数）を、対応する遅延素子２０１−１〜２０１−Ｎから供給された信号に乗算し、加算器２０３へ出力する。加算器２０３は、乗算器２０２−１〜２０２−Ｎから出力された信号を全て加算し、それにより得られた信号であるＩＮ＿Ｂｄ［ｔ］を、第１処理部３００の第２周波数分析部３２０と、第２処理部４００の第２周波数分析部４２０とにそれぞれ入力する。
【００５８】
遅延部２００における遅延素子２０１−１〜２０１−Ｎの数（即ち、Ｎ）、遅延時間Ｔ１〜ＴＮ、及びレベル係数Ｃ１〜ＣＮは、後述するＵＩ画面３０（図６参照）における遅延時間設定部３４をユーザが操作することによって適宜設定される。なお、遅延時間Ｔ１〜ＴＮのうち、少なくとも１つの遅延時間がゼロ（即ち、遅延しない）であってもよい。遅延素子２０１−１〜２０１−Ｎの数を、かぶり音の出力源の数に設定し、各遅延素子に対して遅延時間Ｔ１〜ＴＮとレベル係数Ｃ１〜ＣＮを設定することにより、図４（ｂ）に示すようなインパルス応答Ｉｒ１〜ＩｒＮが得られ、これらのインパルス応答Ｉｒ１〜ＩｒＮを、ＩＮ＿Ｂ［ｔ］に対して畳み込むことにより、ＩＮ＿Ｂｄ［ｔ］が生成される。なお、かぶり音の出力源としては、あるトラックに録音する演奏音を収音する収音装置（マイクなど）に、そのトラックの録音対象となる楽器の音（即ち、主要音）以外に収音される音の出力源がその対象となり、例えば、スピーカや、ドラムなどの楽器が例示される。
【００５９】
ここで、Ｎ箇所のかぶり音の出力源がある場合、遅延部２００において生成されるＩＮ＿Ｂｄ［ｔ］は、『ＩＮ＿Ｂｄ［ｔ］＝ＩＮ＿Ｂ［ｔ］×Ｃ１×Ｚ−ｍ１＋ＩＮ＿Ｂ［ｔ］×Ｃ２×Ｚ−ｍ２＋・・・＋ＩＮ＿Ｂ［ｔ］×ＣＮ×Ｚ−ｍＮ』と表すことができる。なお、Ｚは、Ｚ変換の伝達関数であり、その伝達関数Ｚの指数（−ｍ１，−ｍ２，・・・，−ｍＮ）は、遅延時間Ｔ１〜ＴＮに応じて決定される。具体的に、例えば、ボーカル以外の楽器音による伴奏を事前にマルチトラック（遅延時間がゼロ）で収録し、収録した伴奏をマルチトラック再生して、その再生音をステレオスピーカから出力しながらボーカルトラックの収録を行う場合には、かぶり音の出力源は、左右のスピーカの２箇所（即ち、Ｎ＝２）となり、遅延時間は、それぞれのスピーカからボーカルマイクまでの距離に基づいて決まる。
【００６０】
図４（ｂ）は、図４（ａ）に示した遅延部２００において、入力信号（即ち、ＩＮ＿Ｂ［ｔ］）に対して畳み込まれるインパルス応答を示す模式図である。なお、図４（ｂ）において、横軸は時刻に対応し、縦軸はレベルに対応する。第１のインパルス応答Ｉｒ１は、遅延時間Ｔ１におけるレベルＣ１のインパルス応答であり、第２のインパルス応答Ｉｒ２は、遅延時間Ｔ２におけるレベルＣ２のインパルス応答である。そして、第Ｎのインパルス応答ＩｒＮは、遅延時間ＴＮにおけるレベルＣＮのインパルス応答である。
【００６１】
各インパルス応答Ｉｒ１，Ｉｒ２，…ＩｒＮには、Ｎ個のかぶり音の出力源と主要音を収音する収音装置とのそれぞれの距離や、その各かぶり音の出力源から出力された音の混入具合（例えば、混入された音の音量）などが反映されている。つまり、各インパルス応答Ｉｒ１，Ｉｒ２，…ＩｒＮは、音場空間の特性を表すＧａ［ｔ］を反映する。上述した通り、これらのインパルス応答Ｉｒ１〜ＩｒＮは、遅延素子の数Ｎ、遅延時間Ｔ１〜ＴＮ、レベル係数Ｃ１〜ＣＮを、ＵＩ画面３０を用いて設定することにより得ることができるので、これらのインパルス応答Ｉｒ１〜ＩｒＮを適切に設定し、入力信号であるＩＮ＿Ｂ［ｔ］を畳み込むことにより、ＩＮ＿Ｂ［ｔ］から、ＩＮ＿Ｐ［ｔ］に含まれるかぶり音成分（Ｇａ［Ｂ［ｔ］］）を適切に模倣したＩＮ＿Ｂｄ［ｔ］を生成し、出力することができる。
【００６２】
次に、図５を参照して、上述した第１処理部３００の機能について説明する。図５は、第１処理部３００を構成する各部３１０〜３６０で実行される処理を、機能ブロックを用いて模式的に示す図である。なお、図示も説明も省略するが、第２処理部４００の各部４１０〜４６０においても、図５に示す各部３１０〜３６０と同様の処理が実行される。
【００６３】
第１周波数分析部３１０では、マルチトラック再生部１００から供給されたＩＮ＿Ｐ［ｔ］に対して窓関数をかける処理を実行する（Ｓ３１１）。本実施形態では、窓関数としてハニング窓を使用する。
【００６４】
次いで、窓関数をかけたＩＮ＿Ｐ［ｔ］に対して高速フーリエ変換（ＦＦＴ）を行う（Ｓ３１２）。この高速フーリエ変換により、ＩＮ＿Ｐ［ｔ］は、ＩＮ＿Ｐ［ｆ］へ変換され、フーリエ変換された各周波数ｆを横軸とするスペクトル信号となる。ＩＮ＿Ｐ［ｆ］は、実数部（Ｒｅ［ｆ］）と虚数部（ｊＩｍ［ｆ］）とを有する複素数である（即ち、ＩＮ＿Ｐ［ｆ］＝Ｒｅ［ｆ］＋ｊＩｍ［ｆ］）。
【００６５】
Ｓ３１２の処理後、周波数ｆ毎に、ＩＮ＿Ｐ［ｆ］を極座標系に変換する（Ｓ３１３）。つまり、各周波数ｆのＲｅ［ｆ］＋ｊＩｍ［ｆ］を、ｒ［ｆ］（ｃｏｓ（ａｒｇ［ｆ］）＋ｊｒ［ｆ］（ｓｉｎ（ａｒｇ［ｆ］）に変換する。第１周波数分析部３１０から成分選別部３３０へ出力されるＰＯＬ＿１［ｆ］は、Ｓ３１３の処理により得られたｒ［ｆ］（ｃｏｓ（ａｒｇ［ｆ］）＋ｊｒ［ｆ］（ｓｉｎ（ａｒｇ［ｆ］）である。
【００６６】
なお、ｒ［ｆ］は、動径であり、ＩＮ＿Ｐ［ｆ］の実数部を２乗した値と虚数部を２乗した値との和の平方根により算出される。即ち、ｒ［ｆ］＝｛（Ｒｅ［ｆ］）２＋（Ｉｍ［ｆ］）２｝１／２である。また、ａｒｇ［ｆ］は、位相であり、ＩＮ＿Ｐ［ｆ］の虚数部を実数部で除した値のアークタンジェントをとることにより算出される。即ち、ａｒｇ［ｆ］＝ｔａｎ−１（Ｉｍ［ｆ］／Ｒｅ［ｆ］）である。
【００６７】
第２周波数分析部３２０では、遅延部２００から供給されたＩＮ＿Ｂｄ［ｔ］に対して、窓関数処理を実行し（Ｓ３２１）、ＦＦＴ処理を実行し（Ｓ３２２）、極座標系への変換を実行する（Ｓ３２３）。第２周波数分析部３２０で実行されるＳ３２１〜Ｓ３２３の処理の処理内容は、処理対象がＩＮ＿Ｐ［ｔ］からＩＮ＿Ｂｄ［ｔ］に変わること以外、上述したＳ３１１〜Ｓ３１３の処理と同様であるので、これらの処理についての詳細な説明は省略する。なお、第２周波数分析部３２０からの出力信号は、処理対象がＩＮ＿Ｂｄ［ｔ］に変わったことにより、ＰＯＬ＿２［ｆ］となる。
【００６８】
成分選別部３３０では、まず、各周波数ｆについて、ＰＯＬ＿１［ｆ］の動径とＰＯＬ＿２［ｆ］の動径とを比較し、動径の絶対値の大きい方をＬｖ［ｆ］に設定する（Ｓ３３１）。Ｓ３３１により設定されたＬｖ［ｆ］は、ＣＰＵ１１に供給され、後述するＵＩ画面３０（図６参照）の信号表示部３６の表示を制御するために使用される。
【００６９】
Ｓ３３１の処理後、各周波数ｆにおけるＰＯＬ＿３［ｆ］およびＰＯＬ＿４［ｆ］をゼロに初期化する（Ｓ３３２）。次いで、周波数ｆ毎に、相違度［ｆ］＝｜（ＰＯＬ＿１［ｆ］の動径｜／｜ＰＯＬ＿２［ｆ］の動径｜を算出する（Ｓ３３３）。このように、相違度［ｆ］とは、ＰＯＬ＿１［ｆ］のレベルとＰＯＬ＿２［ｆ］のレベルとの比に応じて規定される値である。即ち、相違度［ｆ］とは、ＰＯＬ＿１［ｆ］に対応する入力信号（ＩＮ＿Ｐ［ｔ］）と、ＰＯＬ＿２［ｆ］に対応する入力信号（ＩＮ＿Ｂ［ｔ］の遅延信号であるＩＮ＿Ｂｄ［ｔ］）との相違の度合いを示す値である。なお、Ｓ３３３において、相違度［ｆ］は、０．０〜２．０の範囲に制限する。つまり、｜（ＰＯＬ＿１［ｆ］の動径｜／｜ＰＯＬ＿２［ｆ］の動径｜が２．０を超える場合には、相違度［ｆ］＝２．０とする。また、ＰＯＬ＿２［ｆ］の動径が０．０である場合もまた、相違度［ｆ］＝２．０とする。Ｓ３３３により算出された相違度［ｆ］は、Ｓ３３４以降の処理に使用すると共に、ＣＰＵ１１に供給されて、後述するＵＩ画面３０（図６参照）の信号表示部３６の表示を制御するために使用される。
【００７０】
次に、相違度［ｆ］が、その周波数ｆにおける設定範囲内かを、周波数ｆ毎に判定する（Ｓ３３４）。なお、「その周波数ｆにおける設定範囲」は、後述するＵＩ画面３０（図６参照）を用いてユーザにより設定された、ある周波数ｆにおいて、かぶり取り音（又は、Ｐ［ｔ］として抽出すべき音）とする相違度［ｆ］の範囲である。よって、ある周波数ｆにおける設定範囲内にある相違度［ｆ］は、その周波数ｆでのＰＯＬ＿１［ｆ］がかぶり取り音の信号であることを示す。
【００７１】
Ｓ３３４の判定が肯定される場合には（Ｓ３３４：Ｙｅｓ）、ＰＯＬ＿３［ｆ］をＰＯＬ＿１［ｆ］とし（Ｓ３３５）、否定される場合には（Ｓ３３４：Ｎｏ）、ＰＯＬ＿４［ｆ］をＰＯＬ＿１［ｆ］とする（Ｓ３３６）。よって、ＰＯＬ＿３［ｆ］は、ＰＯＬ＿１［ｆ］から抽出されたかぶり取り音に相当する信号である。その一方で、ＰＯＬ＿４［ｆ］は、ＰＯＬ＿１［ｆ］から抽出されたかぶり音に相当する信号である。
【００７２】
Ｓ３３５又はＳ３３６の処理後、各周波数ｆのＰＯＬ＿３［ｆ］を、第１周波数合成部３４０へ出力すると共に、各周波数ｆのＰＯＬ＿４［ｆ］を、第２周波数合成部３５０へ出力する（Ｓ３３７）。
【００７３】
なお、Ｓ３３４の判定が肯定されてＳ３３５の処理が実行された周波数ｆでは、Ｓ３３７の処理により、ＰＯＬ＿３［ｆ］として、ＰＯＬ＿１［ｆ］が第１周波数合成部３４０へ出力されると共に、ＰＯＬ＿４［ｆ］として、０．０が第２周波数合成部３５０へ出力される。一方で、Ｓ３３４の判定が否定されてＳ３３６の処理が実行された周波数ｆでは、Ｓ３３７の処理により、ＰＯＬ＿３［ｆ］として、０．０が第１周波数合成部３４０へ出力されると共に、ＰＯＬ＿４［ｆ］として、ＰＯＬ＿１［ｆ］が第２周波数合成部３５０へ出力される。上述したＳ３３１からＳ３３７の処理を、フーリエ変換された周波数ｆの範囲で繰り返し実行する。
【００７４】
第１周波数合成部３４０では、まず、周波数ｆ毎に、成分選別部３３０から供給されたＰＯＬ＿３［ｆ］を直交座標系に変換する（Ｓ３４１）。つまり、各周波数ｆのｒ［ｆ］（ｃｏｓ（ａｒｇ［ｆ］）＋ｊｒ［ｆ］（ｓｉｎ（ａｒｇ［ｆ］）を、Ｒｅ［ｆ］＋ｊＩｍ［ｆ］に変換する。具体的には、ｒ［ｆ］（ｃｏｓ（ａｒｇ［ｆ］）をＲｅ［ｆ］とし、ｊｒ［ｆ］（ｓｉｎ（ａｒｇ［ｆ］）をｊＩｍ［ｆ］とすることによって変換する。つまり、Ｒｅ［ｆ］＝ｒ［ｆ］（ｃｏｓ（ａｒｇ［ｆ］）であり、ｊＩｍ［ｆ］＝ｊｒ［ｆ］（ｓｉｎ（ａｒｇ［ｆ］）である。
【００７５】
次いで、Ｓ３４１により得られた直交座標系の信号（即ち、複素数の信号）に対して逆高速フーリエ変換（逆ＦＦＴ）を行うことにより、時間領域の信号を得（Ｓ３４２）、得られた信号に、上述した周波数分析部３１０のＳ３１１の処理で使用した窓関数と同一の窓関数をかける処理を実行し（Ｓ３４３）、得られた信号をＰ［ｔ］として、セレクタ部３６０へ出力する。なお、本実施形態では、Ｓ３１１の処理においてハニング窓を使用したので、Ｓ３４３の処理でもハニング窓を使用する。
【００７６】
第２周波数合成部３５０は、周波数ｆ毎に、成分選別部３３０から供給されたＰＯＬ＿４［ｆ］を直交座標系に変換し（Ｓ３５１）、逆ＦＦＴ処理を実行し（Ｓ３５２）、窓関数処理（Ｓ３５３）を実行する。第２周波数合成部３５０で実行されるＳ３５１〜Ｓ３５３の処理の処理内容は、成分選別部３３０から供給される信号がＰＯＬ＿３［ｆ］からＰＯＬ＿４［ｆ］に変わること以外、上述したＳ３４１〜Ｓ３４３の処理と同様であるので、これらの処理についての詳細な説明は省略する。なお、第２周波数合成部３５０からの出力信号は、成分選別部３３０から供給される信号がＰＯＬ＿４［ｆ］に変わったことにより、Ｐ［ｔ］ではなく、Ｂ［ｔ］となる。
【００７７】
上述した通り、ＰＯＬ＿３［ｆ］は、ＰＯＬ＿１［ｆ］から抽出されたかぶり取り音に相当する信号であるので、第１周波数合成部３４０からセレクタ部３６０へ出力されるＰ［ｔ］は、かぶり取り音の時間領域の信号である。その一方で、ＰＯＬ＿４［ｆ］は、ＰＯＬ＿１［ｆ］から抽出されたかぶり音に相当する信号であるので、第２周波数合成部３５０からセレクタ部３６０へ出力されるＢ［ｔ］は、かぶり音の時間領域の信号である。
【００７８】
セレクタ部３６０は、第１周波数合成部３４０から供給されたＰ［ｔ］、又は第２周波数合成部３５０から供給されたＢ［ｔ］のいずれかを、ユーザの指定に応じて出力する。このユーザ指定は、図６を参照して後述するＵＩ画面３０において行われる。
【００７９】
第１処理部３００のセレクタ部３６０から出力された信号（Ｐ［ｔ］又はＢ［ｔ］のいずれか）は、第２処理部４００のセレクタ部４６０から出力された信号（Ｐ［ｔ］又はＢ［ｔ］のいずれかであって、セレクタ部３６０と同じ種類の信号）と合成され、その合成信号がＤ／Ａ１５Ｌ，１５Ｒへ出力される。
【００８０】
上述した通り、Ｐ［ｔ］はかぶり取り音の信号であり、Ｂ［ｔ］はかぶり音の信号であるので、本実施形態のエフェクタ１は、ユーザが所望する１つの楽器の音を主要音として録音したトラックから、かぶり音を除去した音をかぶり取り音として放音することができる。また、ユーザによる指定状況によっては、その場合のかぶり音に相当する音を放音することもできる。
【００８１】
図６は、表示装置２２の表示画面に表示されたＵＩ画面３０の一例を示す模式図である。ＵＩ画面３０は、トラック表示部３１と、選択ボタン３２と、トランスポートボタン３３と、遅延時間設定部３４と、切り替えボタン３５と、信号表示部３６とを有している。
【００８２】
トラック表示部３１は、ユーザにより選択されて処理対象となった１つのマルチトラックデータ２１ａに含まれる各シングルトラックデータに録音されているオーディオ波形を表示する画面であり、１つのシングルトラックデータ毎にオーディオ波形が表示される。図６に示す例では、５つの表示部３１ａ〜３１ｅが表示されている。表示部３１ａ，３１ｂ，３１ｅは、それぞれ、ボーカル音、ギター音、及びドラム音を主要音としてモノラル録音されたトラックのオーディオ波形を表示する画面である。表示部３１ｃ，３１ｄは、ステレオ録音されたキーボード音の左右チャンネルの音をそれぞれ表示する画面である。なお、各表示部３１ａ〜３１ｅは、いずれも、横軸が時刻に対応し、縦軸が振幅に対応する。
【００８３】
選択ボタン３２は、かぶり取り音として抽出する楽器の音を指定するためのボタンであり、マルチトラックデータ２１ａを構成する各シングルトラックデータの主要音を発する楽器単位で設けられている。図６に示す例では、４つの選択ボタン３２が設けられている。即ち、ボーカル音（ボーカリスト）に対応する選択ボタン３２ａと、ギター音（ギター）に対応する選択ボタン３２ｂと、キーボード音（キーボード）に対応する選択ボタン３２ｃと、ドラム音（ドラム）に対応する選択ボタン３２ｄとが設けられている。
【００８４】
この選択ボタン３２は、ユーザが、入力装置２３（例えば、マウス）を用いて操作することができ、１つの選択ボタンに対して所定の操作（例えば、クリック）を行うと、その選択ボタンが選択状態となり、選択状態となった選択ボタンに対応する楽器が、かぶり取り音の対象になる楽器として選択されると共に、その選択に連動して、残りの選択ボタンに対応する楽器が、かぶり音の対象になる楽器として選択される。このとき、マルチトラック再生部１００にて使用される係数Ｓ１〜Ｓｎのうち、かぶり取り音の対象として選択された楽器に対応する係数が１．０に設定され、残りの係数が０．０に設定される。図６に示す例では、選択ボタン３２ａが選択状態（「かぶり取り音」の文字表示、選択されていることを示すボタン色）であり、ボーカル音がかぶり取り音の対象として選択されていることを示す。一方で、その他の選択ボタン３２ｂ〜３２ｄは、非選択状態（「かぶり音」の文字表示、選択されていないことを示すボタン色）であり、かぶり音の対象として、ギター音、キーボード音、及びドラム音が選択されていることを示す。
【００８５】
トランスポートボタン３３は、処理対象のマルチトラックデータ２１ａを操作するためのボタン群である。トランスポートボタン３３としては、例えば、マルチトラックデータ２１ａをマルチトラック再生させるための再生ボタンや、再生を停止するための停止ボタンや、再生音又はデータを早送りするための早送りボタンや、再生音又はデータを巻き戻すための巻き戻しボタン等が含まれる。トランスポートボタン３３は、ユーザが、入力装置２３（例えば、マウス）を用いて操作することができる。即ち、トランスポートボタン３３に含まれるボタン群のうち、所望の１つのボタンに対して所定の操作（例えば、クリック）を行うことにより操作することができる。
【００８６】
遅延時間設定部３４は、遅延部２００においてＩＮ＿Ｂ［ｔ］を遅延させるためのパラメータを設定する画面であり、横軸が時刻に対応し、縦軸がレベルに対応する。この遅延時間設定部３４には、ユーザが入力装置２３を操作して設定したバー３４ａが表示される。
【００８７】
バー３４ａの数は、かぶり音の出力源の数Ｎに相当し、ユーザが、入力装置２３（例えば、マウス）を用いて所定の操作（例えば、右ボタンをクリックすることにより表示されたメニューからの選択）を行うことにより、適宜、追加又は消去することができる。図６に示す例では、３本のバー３４ａが表示されているので、かぶり音の出力源の数Ｎとして「３」が設定されている。また、１本のバー３４ａは、横軸方向における時刻０（ゼロ）からの位置により、遅延時間Ｔｘ（ｘ＝１〜Ｎのいずれか）が設定され、縦軸方向におけるレベル０（ゼロ）からの高さにより、レベル係数Ｃｘ（ｘ＝１〜Ｎのいずれか）が設定される。各バー３４ａの横軸方向への移動（即ち、遅延時間Ｔｘの変更）、及び、縦軸方向の高さの変更（即ち、レベル係数Ｃｘの変更）は、いずれも、入力装置２３による所定の操作により行うことができる。例えば、変更を所望するバー３４ａの上にカーソルを置いた状態で、マウスの左ボタンを押しながら横軸方向へ移動させたり、縦軸方向へ移動させたりすることにより、位置および高さを変更することができる。
【００８８】
切り替えボタン３５は、セレクタ部３６０，４６０から出力する信号を、かぶり取り音の信号（Ｐ［ｔ］）とするか、かぶり音の信号（Ｂ［ｔ］）とするかを指定するためのボタンである。ボタン３５ａは、かぶり取り音の信号（Ｐ［ｔ］）を指定するボタンであり、ボタン３５ｂは、かぶり音の信号（Ｂ［ｔ］）を指定するボタンである。
【００８９】
この切り替えボタン３５は、ユーザが、入力装置２３（例えば、マウス）を用いて操作することができ、ボタン３５ａ又はボタン３５ｂに対して所定の操作（例えば、クリック）を行うと、クリックされたボタンが選択状態となり、そのボタンに対応する信号がセレクタ部３６０，４６０から出力する信号として指定される。図６に示す例では、ボタン３５ａが選択状態（選択されていることを示すボタン色）であり、セレクタ部３６０，４６０から出力する信号として、かぶり取り音の信号（Ｐ［ｔ］）が指定（選択）されていることを示す。一方で、ボタン３５ｂは、非選択状態（選択されていないことを示すボタン色）である。
【００９０】
信号表示部３６は、エフェクタ１への入力信号（即ち、マルチトラックデータ２１ａからの入力信号）を、周波数ｆ−相違度［ｆ］の平面に可視化するための画面である。なお、相違度［ｆ］とは、上述した通り、ＩＮ＿［Ｐ（ｔ）］と、ＩＮ＿Ｂ［ｔ］の遅延信号であるＩＮ＿Ｂｄ［ｔ］との相違の度合いを示す値である。信号表示部３６の横軸は、周波数ｆに対応し、向かって右へ行くほど周波数が高く、向かって左へ行くほど周波数が低いことを示す。一方で、縦軸は、相違度［ｆ］に対応し、上へ行くほど相違度が大きく、下へ行くほど相違度が小さいことを示す。縦軸には、相違度［ｆ］の大きさを色で表すカラーバー３６ａが添えられている。このカラーバー３６ａは、相違度［ｆ］が大きくなるに従い、濃紫（相違度［ｆ］＝０．０のとき）→紫→藍→青→緑→黄→橙→赤→濃赤（相違度［ｆ］＝２．０のとき）の順で変化するグラデーションで着色されている。
【００９１】
信号表示部３６には、入力信号の周波数ｆと相違度［ｆ］に応じた点を中心とする円３６ｂが表示される。この座標（周波数ｆ，相違度［ｆ］）は、成分選別部３３０のＳ３３３の処理により算出された値に基づき、ＣＰＵ１１により算出される。円３６ｂの色は、その中心の座標が示す相違度［ｆ］に対するカラーバー３６ａの色が着色される。また、円３６ｂの半径は、その周波数ｆの入力信号のＬｖ［ｆ］を表し、Ｌｖ［ｆ］が大きい程、大きな半径となる。なお、Ｌｖ［ｆ］は、Ｓ３３１の処理（成分選別部３３０）により算出された値である。よって、ユーザは、信号表示部３６に表示された円３６ｂの色と大きさ（半径）とから、感覚的に、相違度［ｆ］とＬｖ［ｆ］とを認識することができる。
【００９２】
信号表示部３６に表示される複数の指定点３６ｃは、成分選別部３３０のＳ３３４の判定に使用する設定範囲を規定するための点であり、境界線３６ｄは、隣接する指定点３６ｃを結ぶ直線であり、該設定範囲の境界を規定する線である。境界線３６ｄと、信号表示部３６の上辺（即ち、相違度［ｆ］の最大値）とにより囲まれた範囲３６ｅが、成分選別部３３０のＳ３３４の判定に使用する設定範囲となる。
【００９３】
指定点３６ｃの数および各位置の初期値はＲＯＭ１２に予め格納されている。ユーザは、入力装置２３を用いて、指定点３６ｃの数を増減させたり、位置を変更することにより、最適な設定範囲を設定することができる。例えば、入力装置２３がマウスであれば、指定点３６ｃを増加させたい付近の境界線３６ｄの上にカーソルを置き、左ボタンを押すことにより、指定点３６ｃを追加することができる。このとき、指定点３６ｃは選択状態にあるので、左ボタンを押したまま、マウスを移動させることにより、適切な位置に移動させることができる。また、削除したい指定点３６ｃの上にカーソルを置き、右ボタンをクリックすることにより表示されたメニューから削除を選択することにより、指定点３６ｃを削除することができる。また、移動したい指定点３６ｃの上にカーソルを置き、左ボタンを押すと、その指定点３６ｃが選択状態になるので、左ボタンを押したままでマウスを移動させることにより、適切な位置に移動させることができる。なお、選択状態は、左ボタンを離すことによって解除される。
【００９４】
信号表示部３６に表示される円３６ｂのうち、その中心が範囲３６ｅの内部（境界を含む）に含まれる円３６ｂ１に対応する信号が、成分選別部３３０のＳ３３４の判定において、相違度［ｆ］がその周波数ｆにおける設定範囲内にある信号であると判定される。一方で、その中心が範囲３６ｅから外れる円３６ｂ２に対応する信号が、成分選別部３３０のＳ３３４の判定において、設定範囲外にある信号であると判定される。
【００９５】
以上、説明した通り、本実施形態のエフェクタ１によれば、マルチトラックデータ２１ａにおける、ユーザ指定された楽器の演奏音が録音されているトラック以外のトラックの再生信号であるＩＮ＿Ｂ［ｔ］を、遅延部２００により遅延させることにより、ユーザ指定された楽器の演奏音が録音されているトラックのデータＩＮ＿Ｐ［ｔ］に含まれるＧ［Ｂ［ｔ］］、即ち、音場空間の特性Ｇ［ｔ］により変化されたかぶり音の信号Ｂ［ｔ］を模倣した信号であるＩＮ＿Ｂｄ［ｔ］を得ることができる。このＩＮ＿Ｂｄ［ｔ］と、ＩＮ＿Ｐ［ｔ］とをそれぞれ周波数分析した信号の、周波数ｆ毎のレベル比（｜ＰＯＬ＿１［ｆ］の動径｜／｜ＰＯＬ＿２［ｆ］の動径｜）は、そのレベル比が高い程、ＩＮ＿Ｂｄ［ｔ］に含まれていない信号成分（つまり、ＩＮ＿Ｐ［ｔ］に含まれるかぶり取り音の信号Ｐ［ｔ］）が多いことを示すので、このレベル比を、ＩＮ＿Ｐ［ｔ］に含まれるかぶり取り音の信号（Ｐ［ｔ］）と、かぶり音の信号Ｂ［ｔ］とを区別する指標とすることができる。よって、このレベル比に応じて、ＩＮ＿Ｐ［ｔ］から、かぶり取り音の信号Ｐ［ｔ］を抽出することができる。
【００９６】
かかるＰ［ｔ］の抽出は、周波数特性やレベル比に注目して行っており、擬似的に生成した波形の時間軸上での差し引きを伴うものではないので、容易であるとともに、良好な音質で抽出できる。また、逆相波による、音像空間におけるＢ［ｔ］の打ち消しを伴うものでもないので、聴衆位置が限定的になることもない。
【００９７】
また、本実施形態のエフェクタ１によれば、ＩＮ＿Ｐ［ｔ］から、かぶり音（Ｂ［ｔ］）を抽出することができるので、ＩＮ＿Ｐ［ｔ］からどのような音が除去されるかをユーザに聴かせることができ、Ｐ［ｔ］を適切に抽出させるための感覚的な情報を与えることができる。
【００９８】
次に、図７から図１２を参照して本発明の第２実施形態について説明する。上述した第１実施形態では、エフェクタ１が、１つの楽器の演奏音が主要音として録音されているトラックからの収録音から、かぶり音を除去したかぶり取り音を抽出できるものであった。これに対し、第２実施形態のエフェクタ１（図７参照）は、１つの収音装置（例えば、マイク）により収音された音から、残響音を除去することができるものである。なお、この第２実施形態において、上述した第１実施形態と同一の部分には同一の符号を付して、その説明は省略する。
【００９９】
図７は、第２実施形態のエフェクタ１の構成を示すブロック図である。第２実施形態のエフェクタ１は、ＣＰＵ１１と、ＲＯＭ１２と、ＲＡＭ１３と、ＤＳＰ１４と、Ｌｃｈ用Ａ／Ｄ２０Ｌと、Ｒｃｈ用Ａ／Ｄ２０Ｒと、Ｌｃｈ用Ｄ／Ａ１５Ｌと、Ｒｃｈ用Ｄ／Ａ１５Ｒと、表示装置用Ｉ／Ｆ１６と、入力装置用Ｉ／Ｆ１７と、バスライン１９とを有している。なお、「Ａ／Ｄ」とは、アナログデジタルコンバータである。各部１１〜１４，１５Ｌ，１５Ｒ，１６，１７，２０Ｌ，２０Ｒは、バスライン１９を介して互いに電気的に接続されている。
【０１００】
第２実施形態のエフェクタ１において、ＲＯＭ１２に格納される制御プログラム１２ａには、図８〜１０を参照して後述するＤＳＰ１４により実行される各処理の制御プログラムが含まれている。Ｌｃｈ用Ａ／Ｄ２０Ｌは、ＩＮ＿Ｌ端子から入力された左チャンネル信号を、アナログ信号からデジタル信号へ変換するコンバータであり、Ｒｃｈ用Ａ／Ｄ２０Ｒは、ＩＮ＿Ｒ端子から入力された右チャンネル信号を、アナログ信号からデジタル信号へ変換するコンバータである。
【０１０１】
次に、図８を参照して、第２実施形態のエフェクタ１におけるＤＳＰ１４の機能について説明する。図８は、第２実施形態のＤＳＰ１４の機能を示す機能ブロック図である。この第２実施形態におけるＤＳＰ１４は、Ｌｃｈ用Ａ／Ｄ２０ＬおよびＲｃｈ用Ａ／Ｄ２０Ｒを介して１つの収音装置（例えば、マイク）から入力された左右２チャンネルの入力信号から、原音の信号と、音場空間での反射により生じた残響音の信号をと選別し、選別された原音又は残響音の信号のいずれかを抽出して、Ｌｃｈ用Ｄ／Ａ１５ＬおよびＲｃｈ用Ｄ／Ａ１５Ｒへ出力する処理を実行する。
【０１０２】
本実施形態のＤＳＰ１４に形成される機能ブロックは、Ｌｃｈ初期反射成分生成部５００Ｌと、Ｒｃｈ初期反射成分生成部５００Ｒと、第１処理部６００と、第２処理部７００とから構成される。
【０１０３】
Ｌｃｈ初期反射成分生成部５００Ｌは、Ｌｃｈ用Ａ／Ｄ２０Ｌからの入力信号であるＩＮ＿ＰＬ［ｔ］から、左チャンネルの音に含まれる初期反射音の擬似的な信号であるＩＮ＿ＢＬ［ｔ］を生成して、第１処理部６００の第２Ｌｃｈ周波数分析部６２０Ｌと、第２処理部７００の第２Ｌｃｈ周波数分析部７２０Ｌとにそれぞれ入力する。なお、Ｌｃｈ初期反射成分生成部５００Ｌの機能の詳細については、図９を参照して後述する。
【０１０４】
Ｒｃｈ初期反射成分生成部５００Ｒは、Ｒｃｈ用Ａ／Ｄ２０Ｒからの入力信号であるＩＮ＿ＰＲ［ｔ］から、右チャンネルの音に含まれる初期反射音の擬似的な信号であるＩＮ＿ＢＲ［ｔ］を生成して、第１処理部６００の第２Ｒｃｈ周波数分析部６２０Ｒと、第２処理部７００の第２Ｒｃｈ周波数分析部７２０Ｒとにそれぞれ入力する。このＲｃｈ初期反射成分生成部５００Ｒの機能は、上述したＬｃｈ初期反射成分生成部５００Ｌと同様であるので、その詳細な説明は、図９を参照して後述するＬｃｈ初期反射成分生成部５００Ｌの機能の説明に代えるものとする。
【０１０５】
第１処理部６００および第２処理部７００は、Ｌｃｈ用Ａ／Ｄ２０Ｌからの入力信号であるＩＮ＿ＰＬ［ｔ］と、Ｌｃｈ初期反射成分生成部５００Ｌから供給されたＩＮ＿ＢＬ［ｔ］とに対し、ならびに、Ｒｃｈ用Ａ／Ｄ２０Ｒからの入力信号であるＩＮ＿ＰＲ［ｔ］と、Ｒｃｈ初期反射成分生成部５００Ｒから供給されたＩＮ＿ＢＲ［ｔ］とに対し、同一の処理をそれぞれ所定時間毎に繰り返して実行することにより、両チャンネルの原音の信号ＯｒＬ［ｔ］，ＯｒＲ［ｔ］、又は、残響音の信号ＢＬ［ｔ］，ＢＲ［ｔ］のいずれかを出力する。第１処理部６００および第２処理部７００のそれぞれから出力されたＯｒＬ［ｔ］，ＯｒＲ［ｔ］、又は、ＢＬ［ｔ］，ＢＲ［ｔ］は、チャンネル毎にクロスフェードで合成されて、ＯＵＴ＿ＯｒＬ［ｔ］，ＯＵＴ＿ＯｒＲ［ｔ］、又は、ＯＵＴ＿ＢＬ［ｔ］，ＯＵＴ＿ＢＲ［ｔ］として出力される。ＤＳＰ１４から、ＯＵＴ＿ＯｒＬ［ｔ］とＯＵＴ＿ＯｒＲ［ｔ］とが出力された場合には、これらの信号は、それぞれ、Ｌｃｈ用Ｄ／Ａ１５ＬとＲｃｈ用Ｄ／Ａ１５Ｒとに入力される。一方で、ＤＳＰ１４から、ＯＵＴ＿ＢＬ［ｔ］とＯＵＴ＿ＢＲ［ｔ］とが出力された場合には、これらの信号は、それぞれ、Ｌｃｈ用Ｄ／Ａ１５ＬとＲｃｈ用Ｄ／Ａ１５Ｒとに入力される。
【０１０６】
より詳細には、第１処理部６００は、Ｌｃｈ用Ａ／Ｄ２０Ｌから入力された左チャンネルの入力信号（ＩＮ＿ＰＬ［ｔ］）を処理するための機能として、第１Ｌｃｈ周波数分析部６１０Ｌと、第２Ｌｃｈ周波数分析部６２０Ｌと、Ｌｃｈ成分選別部６３０Ｌと、第１Ｌｃｈ周波数合成部６４０Ｌと、第２Ｌｃｈ周波数合成部６５０Ｌと、Ｌｃｈセレクタ部６６０Ｌとを有している。
【０１０７】
第１Ｌｃｈ周波数分析部６１０Ｌは、Ｌｃｈ用Ａ／Ｄ２０Ｌから入力されたＩＮ＿ＰＬ［ｔ］に対し、窓関数としてハニング窓をかけ、高速フーリエ変換処理（ＦＦＴ処理）に供して周波数領域の信号に変換した後、極座標系に変換し、その変換により得られた極座標系で表される周波数領域の左チャンネル信号であるＰＯＬ＿１Ｌ［ｆ］を、Ｌｃｈ成分選別部６３０Ｌへ出力する。第１Ｌｃｈ周波数分析部６１０Ｌで実行される各処理内容は、入力がＩＮ＿ＰＬ［ｔ］に変わり、それに伴い、出力がＰＯＬ＿１Ｌ［ｆ］に変わること以外、上述した第１実施形態におけるＳ３１１〜Ｓ３１３の処理と同様であるので、その詳細な説明は省略する。
【０１０８】
第２Ｌｃｈ周波数分析部６２０Ｌは、Ｌｃｈ初期反射成分生成部５００Ｌから供給されたＩＮ＿ＢＬ［ｔ］に対し、窓関数としてハニング窓をかけ、ＦＦＴ処理に供して周波数領域の信号に変換した後、極座標系に変換し、その変換により得られた極座標系で表される周波数領域の左チャンネル信号であるＰＯＬ＿２Ｌ［ｆ］を、Ｌｃｈ成分選別部６３０Ｌへ出力する。第２Ｌｃｈ周波数分析部６２０Ｌで実行される各処理内容は、入力がＩＮ＿ＢＬ［ｔ］に変わり、に変わり、それに伴い、出力がＰＯＬ＿２Ｌ［ｆ］に変わること以外、上述した第１実施形態におけるＳ３２１〜Ｓ３２３の処理と同様であるので、その詳細な説明は省略する。
【０１０９】
Ｌｃｈ成分選別部６３０Ｌは、第１Ｌｃｈ周波数分析部６１０Ｌから供給されたＰＯＬ＿１Ｌ［ｆ］の動径の絶対値と、第２Ｌｃｈ周波数分析部６２０Ｌから供給されたＰＯＬ＿２Ｌ［ｆ］の動径の絶対値との比（即ち、レベル比）に基づき、極座標系で表される周波数領域の原音の左チャンネル信号を、ＰＯＬ＿３Ｌ［ｆ］として、第１Ｌｃｈ周波数合成部６４０Ｌへ出力すると共に、極座標系で表される周波数領域の残響音の左チャンネル信号を、ＰＯＬ＿４Ｌ［ｆ］として、第２Ｌｃｈ周波数合成部６５０Ｌへ出力する。なお、このＬｃｈ成分選別部６３０Ｌで実行される詳細な処理については、図１０を参照して後述する。
【０１１０】
第１Ｌｃｈ周波数合成部６４０Ｌは、Ｌｃｈ成分選別部６３０Ｌから供給されたＰＯＬ＿３Ｌ［ｆ］を、極座標系から直交座標系へ変換した後、逆高速フーリエ変換処理（逆ＦＦＴ処理）に供し、第１Ｌｃｈ周波数分析部６１０Ｌでかけたものと同じ窓関数（本実施形態では、ハニング窓）をかけ、それにより得られた直交座標系で表される時間領域の原音の左チャンネル信号であるＯｒＬ［ｔ］を、Ｌｃｈセレクタ部６６０Ｌへ出力する。第１Ｌｃｈ周波数合成部６４０Ｌで実行される各処理内容は、入力がＰＯＬ＿３Ｌ［ｆ］に変わり、それに伴い、出力がＯｒＬ［ｔ］に変わること以外、上述した第１実施形態におけるＳ３４１〜Ｓ３４３の処理と同様であるので、その詳細な説明は省略する。
【０１１１】
第２Ｌｃｈ周波数合成部６５０Ｌは、Ｌｃｈ成分選別部６３０Ｌから供給されたＰＯＬ＿４Ｌ［ｆ］を、極座標系から直交座標系へ変換した後、逆ＦＦＴ処理に供し、第２Ｌｃｈ周波数分析部６２０Ｌでかけたものと同じ窓関数（本実施形態では、ハニング窓）をかけ、それにより得られた直交座標系で表される時間領域の残響音の左チャンネル信号であるＢＬ［ｔ］を、Ｌｃｈセレクタ部６６０Ｌへ出力する。第２Ｌｃｈ周波数合成部６５０Ｌで実行される各処理内容は、入力がＰＯＬ＿４Ｌ［ｆ］に変わり、それに伴い、出力がＢＬ［ｔ］に変わること以外、上述した第１実施形態におけるＳ３５１〜Ｓ３５３の処理と同様であるので、その詳細な説明は省略する。
【０１１２】
Ｌｃｈセレクタ部６６０Ｌは、ユーザの指定に基づき、第１Ｌｃｈ周波数合成部６４０Ｌから供給されたＯｒＬ［ｔ］か、第２Ｌｃｈ周波数合成部６５０Ｌから供給されたＢＬ［ｔ］のいずれかを出力する。つまり、Ｌｃｈセレクタ部６６０Ｌからは、原音の左チャンネル信号であるＯｒＬ［ｔ］、又は、残響音の左チャンネル信号であるＢＬ［ｔ］のいずれかが、ユーザの指定に応じて出力される。
【０１１３】
また、第１処理部６００は、右チャンネルの信号を処理するための機能として、第１Ｒｃｈ周波数分析部６１０Ｒと、第２Ｒｃｈ周波数分析部６２０Ｒと、Ｒｃｈ成分選別部６３０Ｒと、第１Ｒｃｈ周波数合成部６４０Ｒと、第２Ｒｃｈ周波数合成部６５０Ｒと、Ｒｃｈセレクタ部６６０Ｒとを有している。
【０１１４】
第１Ｒｃｈ周波数分析部６１０Ｒは、Ｒｃｈ用Ａ／Ｄ２０Ｒから入力されたＩＮ＿ＰＲ［ｔ］に対し、窓関数としてハニング窓をかけ、ＦＦＴ処理に供して周波数領域の信号に変換した後、極座標系に変換し、その変換により得られた極座標系で表される周波数領域の右チャンネル信号であるＰＯＬ＿１Ｒ［ｆ］を、Ｒｃｈ成分選別部６３０Ｒへ出力する。第１Ｒｃｈ周波数分析部６１０Ｒで実行される各処理内容は、入力がＩＮ＿ＰＲ［ｔ］に変わり、それに伴い、出力がＰＯＬ＿１Ｒ［ｆ］に変わること以外、上述した第１実施形態におけるＳ３１１〜Ｓ３１３の処理と同様であるので、その詳細な説明は省略する。
【０１１５】
第２Ｒｃｈ周波数分析部６２０Ｒは、Ｒｃｈ初期反射成分生成部５００Ｒから供給されたＩＮ＿ＢＲ［ｔ］に対し、窓関数としてハニング窓をかけ、ＦＦＴ処理に供して周波数領域の信号に変換した後、極座標系に変換し、その変換により得られた極座標系で表される周波数領域の右チャンネル信号であるＰＯＬ＿２Ｒ［ｆ］を、Ｒｃｈ成分選別部６３０Ｒへ出力する。第２Ｒｃｈ周波数分析部６２０Ｒで実行される各処理内容は、入力がＩＮ＿ＢＲ［ｔ］に変わり、に変わり、それに伴い、出力がＰＯＬ＿２Ｒ［ｆ］に変わること以外、上述した第１実施形態におけるＳ３２１〜Ｓ３２３の処理と同様であるので、その詳細な説明は省略する。
【０１１６】
Ｒｃｈ成分選別部６３０Ｒは、第１Ｒｃｈ周波数分析部６１０Ｒから供給されたＰＯＬ＿１Ｒ［ｆ］の動径の絶対値と、第２Ｒｃｈ周波数分析部６２０Ｒから供給されたＰＯＬ＿２Ｒ［ｆ］の動径の絶対値との比（レベル比）に基づき、極座標系で表される周波数領域の原音の右チャンネル信号を、ＰＯＬ＿３Ｒ［ｆ］として、第１Ｒｃｈ周波数合成部６４０Ｒへ出力すると共に、極座標系で表される周波数領域の残響音の右チャンネル信号を、ＰＯＬ＿４Ｒ［ｆ］として、第２Ｒｃｈ周波数合成部６５０Ｒへ出力する。なお、このＲｃｈ成分選別部６３０Ｒで実行される各処理内容は、入力が、右チャンネルの信号であるＰＯＬ＿１Ｒ［ｆ］及びＰＯＬ＿２Ｒ［ｆ］に変わり、それに伴い、出力が、右チャンネルの信号であるＰＯＬ＿３Ｒ［ｆ］及びＰＯＬ＿３Ｒ［ｆ］に変わること以外、上述したＬｃｈ成分選別部６３０Ｌと同様である。よって、その詳細な説明は、図１０を参照して後述するＬｃｈ成分選別部６３０Ｌで実行される処理の説明に代えるものとする。
【０１１７】
第１Ｒｃｈ周波数合成部６４０Ｒは、Ｒｃｈ成分選別部６３０Ｒから供給されたＰＯＬ＿３Ｒ［ｆ］を、極座標系から直交座標系へ変換した後、逆ＦＦＴ処理に供し、第１Ｒｃｈ周波数分析部６１０Ｒでかけたものと同じ窓関数（本実施形態では、ハニング窓）をかけ、それにより得られた直交座標系で表される時間領域の原音の右チャンネル信号であるＯｒＲ［ｔ］を、Ｒｃｈセレクタ部６６０Ｒへ出力する。第１Ｒｃｈ周波数合成部６４０Ｒで実行される各処理内容は、入力がＰＯＬ＿３Ｒ［ｆ］に変わり、それに伴い、出力がＯｒＲ［ｔ］に変わること以外、上述した第１実施形態におけるＳ３４１〜Ｓ３４３の処理と同様であるので、その詳細な説明は省略する。
【０１１８】
第２Ｒｃｈ周波数合成部６５０Ｒは、Ｒｃｈ成分選別部６３０Ｒから供給されたＰＯＬ＿４Ｒ［ｆ］を、極座標系から直交座標系へ変換した後、逆ＦＦＴ処理に供し、第２Ｒｃｈ周波数分析部６２０Ｒでかけたものと同じ窓関数（本実施形態では、ハニング窓）をかけ、それにより得られた直交座標系で表される時間領域の残響音の右チャンネル信号であるＢＲ［ｔ］を、Ｒｃｈセレクタ部６６０Ｒへ出力する。第２Ｒｃｈ周波数合成部６５０Ｒで実行される各処理内容は、処理対象がＰＯＬ＿４Ｒ［ｆ］に変わり、それに伴い、出力信号がＢＲ［ｔ］に変わること以外、上述した第１実施形態におけるＳ３５１〜Ｓ３５３の処理と同様であるので、その詳細な説明は省略する。
【０１１９】
Ｒｃｈセレクタ部６６０Ｒは、ユーザの指定に基づき、第１Ｒｃｈ周波数合成部６４０Ｒから供給されたＯｒＲ［ｔ］か、第２Ｒｃｈ周波数合成部６５０Ｒから供給されたＢＲ［ｔ］のいずれかを出力する。つまり、Ｒｃｈセレクタ部６６０Ｒからは、原音の右チャンネル信号であるＯｒＲ［ｔ］、又は、残響音の右チャンネル信号であるＢＲ［ｔ］のいずれかが、ユーザの指定に応じて出力される。
【０１２０】
このように、第１処理部６００は、ＬｃｈＡ／Ｄ２０Ｌ及びＲｃｈＡ／Ｄ２０Ｒから入力された左右チャンネルの入力信号（ＩＮ＿ＰＬ［ｔ］，ＩＮ＿ＰＲ［ｔ］）から、原音の左右チャンネル信号（ＯｒＬ［ｔ］，ＯｒＲ［ｔ］）、又は、残響音の左右チャンネル信号（ＢＬ［ｔ］，ＢＲ［ｔ］）を、ユーザの所望に応じて出力することができる。
【０１２１】
第２処理部７００は、Ｌｃｈ用Ａ／Ｄ２０Ｌから入力された左チャンネルの入力信号（ＩＮ＿ＰＬ［ｔ］）を処理するための機能として、第１Ｌｃｈ周波数分析部７１０Ｌと、第２Ｌｃｈ周波数分析部７２０Ｌと、Ｌｃｈ成分選別部７３０Ｌと、第１Ｌｃｈ周波数合成部７４０Ｌと、第２Ｌｃｈ周波数合成部７５０Ｌと、Ｌｃｈセレクタ部７６０Ｌとを有している。これらの各部７１０Ｌ〜７６０Ｌは、それぞれ、第１処理部６００の各部６１０Ｌ〜６６０Ｌと同様に機能し、同じ信号を出力する。
【０１２２】
即ち、Ｌｃｈ第１周波数分析部７１０Ｌは、Ｌｃｈ第１周波数分析６１０Ｌと同様に機能してＰＯＬ＿１Ｌ［ｆ］を出力する。Ｌｃｈ第２周波数分析部７２０Ｌは、Ｌｃｈ第２周波数分析６２０Ｌと同様に機能してＰＯＬ＿２Ｌ［ｆ］を出力する。Ｌｃｈ成分選別部７３０Ｌは、Ｌｃｈ成分選別部６３０Ｌと同様に機能してＰＯＬ＿３Ｌ［ｆ］およびＰＯＬ＿４Ｌ［ｆ］を出力する。Ｌｃｈ第１周波数分析部７４０Ｌは、Ｌｃｈ第１周波数分析部６４０Ｌと同様に機能してＯｒＬ［ｔ］を出力する。Ｌｃｈ第２周波数分析部７５０Ｌは、Ｌｃｈ第２周波数分析部６５０Ｌと同様に機能してＢＬ［ｔ］を出力する。Ｌｃｈセレクタ部７６０Ｌは、Ｌｃｈセレクタ部６６０Ｌと同様に機能してＯｒＬ［ｔ］またはＢＬ［ｔ］のいずれかを出力する。
【０１２３】
また、第２処理部７００は、Ｒｃｈ用Ａ／Ｄ２０Ｒから入力された右チャンネルの入力信号（ＩＮ＿ＰＲ［ｔ］）を処理するための機能として、第１Ｒｃｈ周波数分析部７１０Ｒと、第２Ｒｃｈ周波数分析部７２０Ｒと、Ｒｃｈ成分選別部７３０Ｒと、第１Ｒｃｈ周波数合成部７４０Ｒと、第２Ｒｃｈ周波数合成部７５０Ｒと、Ｒｃｈセレクタ部７６０Ｒとを有している。これらの各部７１０Ｒ〜７６０Ｒは、それぞれ、第１処理部６００の各部６１０Ｒ〜６６０Ｒと同様に機能し、同じ信号を出力する。
【０１２４】
即ち、Ｒｃｈ第１周波数分析部７１０Ｒは、Ｒｃｈ第１周波数分析６１０Ｒと同様に機能してＰＯＬ＿１Ｒ［ｆ］を出力する。Ｒｃｈ第２周波数分析部７２０Ｒは、Ｒｃｈ第２周波数分析６２０Ｒと同様に機能してＰＯＬ＿２Ｒ［ｆ］を出力する。Ｒｃｈ成分選別部７３０Ｒは、Ｒｃｈ成分選別部６３０Ｒと同様に機能してＰＯＬ＿３Ｒ［ｆ］およびＰＯＬ＿４Ｒ［ｆ］を出力する。Ｒｃｈ第１周波数分析部７４０Ｒは、Ｒｃｈ第１周波数分析部６４０Ｒと同様に機能してＯｒＲ［ｔ］を出力する。Ｒｃｈ第２周波数分析部７５０Ｒは、Ｒｃｈ第２周波数分析部６５０Ｒと同様に機能してＢＲ［ｔ］を出力する。Ｒｃｈセレクタ部７６０Ｒは、Ｒｃｈセレクタ部６６０Ｒと同様に機能してＯｒＲ［ｔ］またはＢＲ［ｔ］のいずれかを出力する。
【０１２５】
第１処理部６００で実行される処理の実行間隔と、第２処理部７００で実行される処理の実行間隔とは同じであり、本実施形態では、この実行間隔は０．１秒である。また、第２処理部７００で実行される処理は、第１処理部６００における処理の実行開始から所定時間（本実施形態では、半周期後である０．０５秒）だけ遅れて開始される。なお、第１処理部６００及び第２処理部７００の実行間隔や、第１処理部６００における処理の実行開始から第２処理部７００における処理の実行開始までの遅延時間は、サンプリング周波数と楽音信号の数とに応じた値を適宜使用できる。
【０１２６】
次に、図９を参照して、上述したＬｃｈ初期反射成分生成部５００Ｌの機能について説明する。図９（ａ）は、Ｌｃｈ初期反射成分生成部５００Ｌの機能を示すブロック図である。Ｌｃｈ初期反射成分生成部５００Ｌは、ＦＩＲフィルタであり、第１〜第Ｎ遅延素子５０１Ｌ−１〜５０１Ｌ−Ｎと、Ｎ個の乗算器５０２Ｌ−１〜５０２Ｌ−Ｎと、加算器５０３Ｌとから構成される。なお、Ｎは、１以上の整数である。
【０１２７】
遅延素子５０１Ｌ−１〜５０１Ｌ−Ｎは、Ｌｃｈ用Ａ／Ｄ２０Ｌから入力された左チャンネルの入力信号であるＩＮ＿ＰＬ［ｔ］を、各遅延素子に対して規定された遅延時間ＴＬ１〜ＴＬＮだけ遅延する素子である。これらの遅延素子５０１Ｌ−１〜５０１Ｌ−Ｎは、それぞれ、遅延時間ＴＬ１〜ＴＬＮだけ遅延させることにより得られた信号を、対応する乗算器５０２Ｌ−１〜５０２Ｌ−Ｎへ出力する。
【０１２８】
乗算器５０２Ｌ−１〜５０２Ｌ−Ｎは、それぞれ、レベル係数ＣＬ１〜ＣＬＮ（いずれも１．０以下の正数）を、対応する遅延素子５０１Ｌ−１〜５０１Ｌ−Ｎから供給された信号に乗算し、加算器５０３Ｌへ出力する。加算器５０３Ｌは、乗算器５０２Ｌ−１〜５０２Ｌ−Ｎから出力された信号を全て加算し、それにより得られた信号であるＩＮ＿ＢＬ［ｔ］を、第１処理部６００の第２Ｌｃｈ周波数分析部６２０Ｌと、第２処理部７００の第２Ｌｃｈ周波数分析部７２０Ｌとにそれぞれ入力する。
【０１２９】
Ｌｃｈ初期反射成分生成部５００Ｌにおける遅延素子５０１Ｌ−１〜５０１Ｌ−Ｎの数（即ち、Ｎ）、遅延時間ＴＬ１〜ＴＬＮ、及びレベル係数ＣＬ１〜ＣＬＮは、後述するＵＩ画面４０（図１２参照）におけるＬｃｈ初期反射パターン設定部４１Ｌをユーザが操作することによって適宜設定される。遅延素子５０１Ｌ−１〜５０１Ｌ−Ｎの数を、音場空間における反射位置の数に設定し、各遅延素子に対して遅延時間ＴＬ１〜ＴＬＮとレベル係数ＣＬ１〜ＣＬＮを設定することにより、図９（ｂ）に示すようなインパルス応答ＩｒＬ１〜ＩｒＬＮが得られ、これらのインパルス応答ＩｒＬ１〜ＩｒＬＮを、ＩＮ＿ＰＬ［ｔ］に対して畳み込むことにより、ＩＮ＿ＢＬ［ｔ］が生成される。
【０１３０】
ここで、Ｎ箇所の反射位置がある場合、Ｌｃｈ初期反射成分生成部５００Ｌにおいて生成されるＩＮ＿ＢＬ［ｔ］は、『ＩＮ＿ＢＬ［ｔ］＝ＩＮ＿ＰＬ［ｔ］×ＣＬ１×Ｚ−ｍ１＋ＩＮ＿ＰＬ［ｔ］×ＣＬ２×Ｚ−ｍ２＋・・・＋ＩＮ＿ＰＬ［ｔ］×ＣＬＮ×Ｚ−ｍＮ』と表すことができる。なお、Ｚは、Ｚ変換の伝達関数であり、その伝達関数Ｚの指数（−ｍ１，−ｍ２，・・・，−ｍＮ）は、それぞれ、遅延時間ＴＬ１〜ＴＬＮに応じて決定される。
【０１３１】
図９（ｂ）は、図９（ａ）に示したＬｃｈ初期反射成分生成部５００Ｌにおいて、入力信号（即ち、ＩＮ＿ＰＬ［ｔ］）に対して畳み込まれるインパルス応答を示す模式図である。なお、図９（ｂ）において、横軸は時刻に対応し、縦軸はレベルに対応する。第１のインパルス応答ＩｒＬ１は、遅延時間ＴＬ１におけるレベルＣＬ１のインパルス応答であり、第２のインパルス応答ＩｒＬ２は、遅延時間ＴＬ２におけるレベルＣＬ２のインパルス応答である。そして、第Ｎのインパルス応答ＩｒＬＮは、遅延時間ＴＬＮにおけるレベルＣＬＮのインパルス応答である。
【０１３２】
各インパルス応答ＩｒＬ１，ＩｒＬ２，…ＩｒＬＮは、音場空間の残響特性Ｇｂ［ｔ］を反映する。一方で、一般的に、マイクなどの収音装置により収音された音（即ち、Ｌｃｈ用Ａ／Ｄ２０Ｌから入力された音）の左チャンネルの信号であるＩＮ＿ＰＬ［ｔ］は、原音の左チャンネル信号（ＯｒＬ［ｔ］）と、原音の左チャンネル信号ＯｒＬ［ｔ］が音場空間の残響特性Ｇｂ［ｔ］により変化された残響音の信号との混合音となる。つまり、『ＩＮ＿ＰＬ［ｔ］＝ＯｒＬ［ｔ］＋Ｇｂ［ＯｒＬ［ｔ］］』である。上述した通り、インパルス応答ＩｒＬ１〜ＩｒＬＮは、遅延素子の数Ｎ、遅延時間ＴＬ１〜ＴＬＮ、及びレベル係数ＣＬ１〜ＣＬＮを、ＵＩ画面４０を用いて設定することにより得ることができる。よって、これらのインパルス応答ＩｒＬ１〜ＩｒＬＮを適切に設定し、左チャンネルの入力信号であるＩＮ＿ＰＬ［ｔ］を畳み込むことにより、ＩＮ＿ＰＬ［ｔ］から、左チャンネルの残響音成分（Ｇｂ［ＯｒＬ［ｔ］］を適切に模倣したＩＮ＿ＢＬ［ｔ］を生成し、出力することができる。
【０１３３】
一方、図示はしないが、Ｒｃｈ初期反射成分生成部５００Ｒも、上述したＬｃｈ初期反射成分生成部５００Ｌと同様のＦＩＲフィルタとして構成される。このＲｃｈ初期反射成分生成部５００Ｒには、右チャンネルの信号であるＩＮ＿ＰＲ［ｔ］が入力され、出力信号としてＩＮ＿ＢＲ［ｔ］が第２Ｒｃｈ周波数分析部６２０Ｒ，７２０Ｒに出力される。
【０１３４】
ただし、本実施形態では、Ｒｃｈ初期反射成分生成部５００Ｒに含まれる遅延素子の数Ｎ’は、Ｌｃｈ初期反射成分生成部５００Ｌに含まれる遅延素子５０１Ｌ−１〜５０１Ｌ−Ｎの数（即ち、Ｎ）とは独立して設定できるように構成されている。また、Ｒｃｈ初期反射成分生成部５００Ｒの各遅延素子の遅延時間ＴＲ１〜ＴＲＮ’や、各遅延素子からの出力に乗算するレベル係数ＣＲ１〜ＣＲＮ’についても、Ｌｃｈ初期反射成分生成部５００Ｌの設定（ＴＬ１〜ＴＬＮ，ＣＬ１〜ＣＬＮ）とは独立して設定できるように構成されている。なお、遅延素子の数Ｎ’、遅延時間ＴＲ１〜ＴＲＮ’、及びレベル係数ＣＲ１〜ＣＲＮ’は、後述するＵＩ画面４０（図１２参照）におけるＲｃｈ初期反射パターン設定部４１Ｒをユーザが操作することによって適宜設定される。
【０１３５】
Ｒｃｈ初期反射成分生成部５００Ｒにおいて生成されるＩＮ＿ＢＲ［ｔ］は、『ＩＮ＿ＢＲ［ｔ］＝ＩＮ＿ＰＲ［ｔ］×ＣＲ１×Ｚ−ｍ’１＋ＩＮ＿ＰＲ［ｔ］×ＣＲ２×Ｚ−ｍ’２＋・・・＋ＩＮ＿ＰＲ［ｔ］×ＣＲＮ’×Ｚ−ｍ’Ｎ’』と表すことができる。Ｚは、Ｚ変換の伝達関数であり、その伝達関数Ｚの指数（−ｍ’１，−ｍ’２，・・・，−ｍ’Ｎ’）は、それぞれ、遅延時間ＴＲ１〜ＴＲＮ’に応じて決定される。そして、遅延素子の数Ｎ’、遅延時間ＴＲ１〜ＴＲＮ’、及びレベル係数ＣＲ１〜ＣＲＮ’を適切に設定することにより、右チャンネルの入力信号であるＩＮ＿ＰＲ［ｔ］から、右チャンネルの残響音成分（Ｇｂ’［ＯｒＲ［ｔ］］）を適切に模倣したＩＮ＿ＢＲ［ｔ］を生成することができる。
【０１３６】
次に、図１０を参照して、上述したＬｃｈ成分選別部６３０Ｌの機能について説明する。図１０は、Ｌｃｈ成分選別部６３０Ｌで実行される処理を、機能ブロックを用いて模式的に示す図である。なお、図示を省略するが、第２処理部７００のＬｃｈ成分選別部７３０Ｌにおいても、図１０に示す各処理と同様の処理が実行される。
【０１３７】
Ｌｃｈ成分選別部６３０Ｌでは、まず、各周波数ｆについて、ＰＯＬ＿１Ｌ［ｆ］の動径とＰＯＬ＿２Ｌ［ｆ］の動径とを比較し、動径の絶対値の大きい方をＬｖ［ｆ］に設定する（Ｓ６３１）。Ｓ６３１により設定されたＬｖ［ｆ］は、ＣＰＵ１１に供給されて、後述するＵＩ画面４０（図１２参照）の信号表示部４５の表示を制御するために使用される。Ｓ６３１の処理後、各周波数ｆにおけるＰＯＬ＿３Ｌ［ｆ］およびＰＯＬ＿４Ｌ［ｆ］をゼロに初期化する（Ｓ６３２）。
【０１３８】
Ｓ６３２の処理後、各周波数ｆに対する｜ＰＯＬ＿２Ｌ［ｆ］の動径｜の減衰を鈍らせるためにＳ６３３の処理を実行する。具体的に、Ｓ６３３の処理では、まず、周波数ｆ毎に、ｗｋ＿Ｌ［ｆ］＝ｗｋ’＿Ｌ［ｆ］×減衰量Ｅに基づき、ｗｋ＿Ｌ［ｆ］を算出する。なお、ｗｋ＿Ｌ［ｆ］は、今回の相違度［ｆ］の算出（後述するＳ６３４の処理）において｜ＰＯＬ＿１Ｌ［ｆ］の動径｜と比較するために使用する値であり、補正後の（即ち、鈍らせた後の）｜ＰＯＬ＿２Ｌ［ｆ］の動径｜である。また、ｗｋ’＿Ｌ［ｆ］は、前回の相違度［ｆ］の算出に使用したｗｋ＿Ｌ［ｆ］であり、前回の処理時にＲＡＭ１３内の所定領域に記憶された値である。また、減衰量Ｅは、ユーザがＵＩ画面４０（図１２参照）により設定する値である。
【０１３９】
つまり、前回の相違度［ｆ］の算出に使用したｗｋ’＿Ｌ［ｆ］に減衰量Ｅをかけることにより、ｗｋ＿Ｌ［ｆ］を算出する。ただし、初回のＰＯＬ＿２Ｌ［ｆ］については、ｗｋ＿Ｌ［ｔ］＝｜ＰＯＬ＿２Ｌ［ｆ］の動径｜である。
【０１４０】
次に、上記のように算出したｗｋ＿Ｌ［ｆ］を、Ｌｃｈ成分選別部６３０Ｌに供給された今回のＰＯＬ＿２Ｌ［ｆ］の動径の絶対値（即ち、補正する前の｜ＰＯＬ＿２Ｌ［ｆ］の動径｜）と比較する。
【０１４１】
この比較の結果、ｗｋ＿Ｌ［ｆ］＜｜ＰＯＬ＿２Ｌ［ｆ］の動径｜であれば、ｗｋ＿Ｌ［ｆ］＝｜ＰＯＬ＿２Ｌ［ｆ］の動径｜とする。一方で、ｗｋ＿Ｌ［ｆ］≧｜ＰＯＬ＿２Ｌ［ｆ］の動径｜であれば、ｗｋ＿Ｌ［ｆ］＝ｗｋ＿Ｌ［ｆ］、即ち、ｗｋ’＿Ｌ［ｆ］×減衰量Ｅにより得られた値をｗｋ＿Ｌ［ｆ］とする。ただし、ｗｋ＿Ｌ［ｆ］の値は０．０以上に制限される。そして、比較の結果として設定されたｗｋ＿Ｌ［ｆ］の値を、次回のＰＯＬ＿２Ｌ［ｆ］に対する処理に使用するために、ｗｋ’＿Ｌ［ｆ］としてＲＡＭ１３内の所定領域に記憶しておく。
【０１４２】
よって、Ｓ６６３の処理によれば、Ｌｃｈ成分選別部６３０Ｌに供給された今回のＰＯＬ＿２Ｌ［ｆ］の動径の絶対値が、前回の相違度［ｆ］の算出に使用した値（ｗｋ’＿Ｌ［ｆ］）から、所定量以上に減衰した場合には、前回の相違度［ｆ］の算出に使用した値に減衰量Ｅをかけた値が、ｗｋ＿Ｌ［ｆ］として採用され、前回からの減衰が所定の範囲内であれば、今回、実際に供給されたＰＯＬ＿２Ｌ［ｆ］の動径の絶対値が、ｗｋ＿Ｌ［ｆ］として採用される。その結果、初期反射成分の信号のレベル（即ち、ＰＯＬ＿２Ｌ［ｆ］の動径）の減衰が鈍らされ、その減衰を緩やかにすることができる。これにより、大音量後の反射音が到達した後に続く比較的レベルの低い残響音を捕らえることができる。その説明については、図１１を参照して後述する。
【０１４３】
Ｓ６３３の処理後、周波数ｆ毎に、その周波数ｆにおける相違度［ｆ］として、補正後のＰＯＬ＿２［ｆ］（即ち、ｗｋ＿Ｌ［ｔ］）のレベルに対するＰＯＬ＿１Ｌ［ｆ］のレベルの比（レベル比）を算出する（Ｓ６３４）。つまり、Ｓ６３４では、相違度［ｆ］＝｜（ＰＯＬ＿１［ｆ］の動径｜／ｗｋ＿Ｌ［ｆ］）を算出する。このように、相違度［ｆ］とは、ＰＯＬ＿１Ｌ［ｆ］のレベルとｗｋ＿Ｌ［ｔ］とのレベル比に応じて規定される値であり、ＰＯＬ＿１Ｌ［ｆ］に対応する入力信号（ＩＮ＿ＰＬ［ｔ］）と、ＰＯＬ＿２［ｆ］に対応する入力信号（ＩＮ＿ＰＬ［ｔ］の初期反射成分の信号であるＩＮ＿ＢＬ［ｔ］）との相違の度合いを示す値である。なお、Ｓ６３４において、相違度［ｆ］は、０．０〜２．０の範囲に制限する。また、ｗｋ＿Ｌ［ｆ］が０．０である場合もまた、相違度［ｆ］＝２．０とする。Ｓ６３４により算出された相違度［ｆ］は、Ｓ６３５以降の処理に使用すると共に、ＣＰＵ１１に供給されて、後述するＵＩ画面４０（図１２参照）の信号表示部４５の表示を制御するために使用される。
【０１４４】
次いで、Ｓ６３４の処理により得られた相違度［ｆ］を、ＰＯＬ＿１Ｌ［ｆ］の大きさ（｜ＰＯＬ＿１Ｌ［ｆ］の動径｜）に応じて操作するためにＳ６３５の処理を実行する。具体的に、Ｓ６３５の処理では、まず、周波数ｆ毎に、｜ＰＯＬ＿１Ｌ［ｆ］の動径｜を、予め決められている定数（例えば、５０．０）で除すことにより、大きさＸを算出する（Ｓ６３５）。ただし、大きさＸの値は、０．０〜１．０に制限する（即ち、０．０≦大きさＸ≦１．０）。
【０１４５】
大きさＸを算出した後、Ｓ６３４の処理により得られた相違度［ｆ］から、（１．０−大きさＸ）に操作量Ｆをかけたものを差し引くことにより、相違度［ｆ］の操作を行う。なお、操作量Ｆは、ユーザがＵＩ画面４０（図１２参照）により設定する値である。
【０１４６】
ここで、ＰＯＬ＿１Ｌ［ｆ］の大きさ（即ち、｜ＰＯＬ＿１Ｌ［ｆ］の動径｜）が小さい程、（１．０−大きさＸ）の値は大きくなる。よって、ＰＯＬ＿１Ｌ［ｆ］が小さいもの程、Ｓ６３４の処理により得られた相違度［ｆ］から差し引かれる値が大きくなるので、Ｓ６３５の処理により得られる相違度［ｆ］は小さくなる。よって、ある程度の小ささのＰＯＬ＿１Ｌ［ｆ］については、次のＳ６３６の判定で残響音であると判定させることができる。このＳ６３５の処理により、後部残響音を捕らえることができる。
【０１４７】
Ｓ６３５の処理後、相違度［ｆ］が、その周波数ｆにおける設定範囲内かを、周波数ｆ毎に判定する（Ｓ６３６）。なお、「その周波数ｆにおける設定範囲」は、後述するＵＩ画面４０（図１２参照）を用いてユーザにより設定された、ある周波数ｆにおいて、原音とする相違度［ｆ］の範囲である。よって、ある周波数ｆにおける設定範囲内にある相違度［ｆ］は、その周波数ｆでのＰＯＬ＿１Ｌ［ｆ］が原音の信号であることを示す。上述したＳ６３１からＳ６３９の処理を、フーリエ変換された周波数ｆの範囲で繰り返し実行する。
【０１４８】
Ｓ６３６の判定が肯定される場合には（Ｓ６３６：Ｙｅｓ）、ＰＯＬ＿３Ｌ［ｆ］をＰＯＬ＿１Ｌ［ｆ］とし（Ｓ６３７）、否定される場合には（Ｓ６３６：Ｎｏ）、ＰＯＬ＿４Ｌ［ｆ］をＰＯＬ＿１Ｌ［ｆ］とする（Ｓ６３７）。よって、ＰＯＬ＿３Ｌ［ｆ］は、ＰＯＬ＿１Ｌ［ｆ］から抽出された原音に相当する信号である。その一方で、ＰＯＬ＿４Ｌ［ｆ］は、ＰＯＬ＿１Ｌ［ｆ］から抽出された残響音に相当する信号である。
【０１４９】
Ｓ６３７又はＳ６３８の処理後、各周波数ｆのＰＯＬ＿３Ｌ［ｆ］を、第１Ｌｃｈ周波数合成部６４０Ｌへ出力すると共に、各周波数ｆのＰＯＬ＿４Ｌ［ｆ］を、第２周波数合成部６５０Ｌへ出力する（Ｓ６３９）。よって、Ｓ６３６の判定が肯定されてＳ６３７の処理が実行された周波数ｆでは、Ｓ６３９の処理により、ＰＯＬ＿３Ｌ［ｆ］として、ＰＯＬ＿１Ｌ［ｆ］が第１Ｌｃｈ周波数合成部６４０Ｌへ出力されると共に、ＰＯＬ＿４Ｌ［ｆ］として、０．０が第２Ｌｃｈ周波数合成部６５０Ｌへ出力される。一方で、Ｓ６３６の判定が否定されてＳ６３８の処理が実行された周波数ｆでは、Ｓ６３９の処理により、ＰＯＬ＿３Ｌ［ｆ］として、０．０が第１Ｌｃｈ周波数合成部６５０Ｌへ出力されると共に、ＰＯＬ＿４Ｌ［ｆ］として、ＰＯＬ＿１Ｌ［ｆ］が第２Ｌｃｈ周波数合成部３５０Ｌへ出力される。
【０１５０】
なお、図１０に示す処理を、第２処理部７００のＬｃｈ成分選別部７３０Ｌに適用する場合には、ＰＯＬ＿３Ｌ［ｆ］を、第１Ｌｃｈ周波数合成部７４０Ｌへ出力し、ＰＯＬ＿４Ｌ［ｆ］を、第２Ｌｃｈ周波数合成部７５０Ｌへ出力する。
【０１５１】
また、図示を省略するが、右チャンネル信号に対して行うＲｃｈ成分選別部６３０Ｒ，７３０Ｒは、入力信号が右チャンネル信号であるＰＯＬ＿１Ｒ［ｆ］及びＰＯＬ＿２Ｒ［ｆ］に変わり、出力信号が、ＰＯＬ＿１Ｒ［ｆ］から抽出された原音に相当する信号であるＰＯＬ＿３Ｒ［ｆ］と、ＰＯＬ＿１Ｒ［ｆ］から抽出された残響音に相当する信号であるＰＯＬ＿４Ｒ［ｆ］とに変わり、その出力信号が、第２Ｒｃｈ周波数合成部６５０Ｒ（Ｒｃｈ成分選別部６３０Ｒの場合）、又は、第２Ｒｃｈ周波数合成部７５０Ｒ（Ｒｃｈ成分選別部７３０Ｒの場合）に出力されること以外は、図１０に示した各処理と同様の処理が実行される。
【０１５２】
次に、図１１を参照して、上述したＳ６３３の処理による効果について説明する。図１１は、ある周波数ｆにおいて、｜ＰＯＬ＿１Ｌ［ｆ］の動径｜を一定にしたときの、｜ＰＯＬ＿２Ｌ［ｆ］の動径｜の減衰を鈍らせない場合（即ち、Ｓ６３３の処理の実行前）と、鈍らせた場合（即ち、Ｓ６３３の処理の実行後）とを比較するための説明図である。なお、図１１では、左チャンネル信号を例示して説明するが、右チャンネル信号についても同様である。
【０１５３】
図１１において、横軸は時刻に対応し、向かって右へ行くほど、時刻が進んでいることを示す。する。一方で、向かって左側の縦軸は｜ＰＯＬ＿２Ｌ［ｆ］の動径｜に対応し、向かって右側の縦軸は相違度［ｆ］に対応し、どちらの縦軸も上へ行くほど、その値が大きくなる。
【０１５４】
ソリッドのハッチングがなされたバー（以下、「ソリッドのバー」と称す）は、｜ＰＯＬ＿２Ｌ［ｆ］の動径｜の減衰を鈍らせない場合（即ち、Ｓ６３３の処理の実行前）の動径を、縦軸方向の高さにより表したものである。一方、斜線のハッチングがなされたバー（以下、「斜線のバー」と称す）は、Ｓ６３３の処理が実行されて｜ＰＯＬ＿２Ｌ［ｆ］の動径｜の減衰を鈍らせた後の動径を縦軸方向の高さにより表したものである。
【０１５５】
なお、時刻ｔ１と時刻ｔ８では、斜線のバーが表示されていないが、これらの時刻ｔ１，ｔ８では、Ｓ６３３の処理の前後で｜ＰＯＬ＿２Ｌ［ｆ］の動径｜が等しいために、ソリッドのバーと斜線のバーとは高さが等しく互いに重なっているからである。つまり、時刻ｔ１は、初回のＰＯＬ＿２Ｌ［ｆ］であり、時刻ｔ８では、前回の動径からの減衰が所定の範囲内であったことを示す。
【０１５６】
一方、時刻ｔ２〜ｔ７では、ソリッドのバーの高さより、斜線のバーの高さの方が高くなっている。つまり、これらの時刻ｔ２〜ｔ７では、前回の動径からの減衰が所定量以上であったために、ｗｋ’＿Ｌ［ｆ］に減衰量Ｅをかけた値に補正され、それにより、｜ＰＯＬ＿２Ｌ［ｆ］の動径｜の減衰が緩やかにされている。
【０１５７】
また、各時刻ｔ１〜ｔ１２に対して引かれた一点鎖線Ｄ１〜Ｄ１２は、｜ＰＯＬ＿２Ｌ［ｆ］の動径｜の減衰を鈍らせなかった場合に算出される相違度［ｆ］を示す。なお、Ｄ１，Ｄ８は、それぞれ、太線Ｄ１’，Ｄ’８に重なっている。一方で、太線Ｄ’１〜Ｄ’１２は、｜ＰＯＬ＿２Ｌ［ｆ］の動径｜の減衰を鈍らせた場合に算出される相違度［ｆ］を示す。
【０１５８】
例えば、時刻ｔ１において大音量後の反射音が到達した場合、時刻ｔ２におけるソリッドバーの高さが、時刻ｔ１におけるソリッドバーの高さに比較して急激に低くなり、それに伴い、相違度［ｆ］が、一点鎖線Ｄ１から一点鎖線Ｄ２へと急激に増加する。相違度［ｆ］が急激に大きくなったことにより、Ｓ６３６において原音の信号であると判断されてしまい、大音量後の反射音が到達した後に続く比較的レベルの低い残響音を捕らえることができない可能性がある。
【０１５９】
これに対し、本実施形態のエフェクタ１では、｜ＰＯＬ＿２Ｌ［ｆ］の動径｜の減衰を鈍らせる（即ち、減衰を緩やかにした）ことにより、上記のような相違度［ｆ］の急激な増加を抑制することができるので、大音量後の反射音が到達した後に続く比較的レベルの低い残響音を捕らえることができる。
【０１６０】
図１２は、表示装置２２の表示画面に表示されたＵＩ画面４０の一例を示す模式図である。ＵＩ画面４０は、Ｌｃｈ初期反射パターン設定部４１Ｌと、Ｒｃｈ初期反射パターン設定部４１Ｒと、減衰量設定部４２と、操作量設定部４３と、切り替えボタン４４と、信号表示部４５とを有している。
【０１６１】
Ｌｃｈ初期反射パターン設定部４１Ｌは、Ｌｃｈ初期反射成分生成部５００Ｌにおいて、入力信号（ＩＮ＿ＰＬ［ｔ］）から、擬似的な初期反射音の左チャンネル信号（ＩＮ＿ＢＬ［ｔ］）を生成するためのパラメータを設定するための画面であり、横軸が時刻に対応し、縦軸がレベルに対応する。このＬｃｈ初期反射パターン設定部４１Ｌには、ユーザが入力装置２３を操作して設定したバー４１Ｌａが表示される。
【０１６２】
バー４１Ｌａの数は、音場空間における左チャンネル信号の反射位置の数Ｎに相当する。なお、図１２に示す例では、４本のバー４１Ｌａが表示されているので、Ｎとして「４」が設定されている。また各バー４１Ｌａの横軸方向の位置、及び、縦軸方向の高さは、それぞれ、遅延時間ＴＬｘおよびレベル係数ＣＬｘ（いずれも、ｘ＝１〜Ｎのいずれか）に相当する。バー４１Ｌａの数、横軸方向の位置、及び縦軸方向の高さは、上述した第１実施形態におけるバー３４ａの場合と同様、入力装置２３による所定の操作により行うことができる。
【０１６３】
Ｒｃｈ初期反射パターン設定部４１Ｒは、Ｒｃｈ初期反射成分生成部５００Ｒにおいて、入力信号（ＩＮ＿ＰＲ［ｔ］）から、擬似的な初期反射音の右チャンネル信号（ＩＮ＿ＢＲ［ｔ］）を生成するためのパラメータを設定するための画面であり、横軸が時刻に対応し、縦軸がレベルに対応する。このＲｃｈ初期反射パターン設定部４１Ｒには、ユーザが入力装置２３を操作して設定したバー４１Ｒａが表示される。
【０１６４】
バー４１Ｒａの数は、音場空間における右チャンネル信号の反射位置の数Ｎ’に相当する。なお、図１２に示す例では、４本のバー４１Ｌａが表示されており、Ｎ’として「４」が設定されている。また各バー４１Ｒａの横軸方向の位置、及び、縦軸方向の高さは、それぞれ、遅延時間ＴＲｘおよびレベル係数ＣＲｘ（いずれも、ｘ＝１〜Ｎ’のいずれか）に相当する。バー４１Ｒａの数、横軸方向の位置、及び縦軸方向の高さは、上述した第１実施形態におけるバー３４ａの場合と同様、入力装置２３による所定の操作により行うことができる。
【０１６５】
減衰量設定部４２は、Ｌｃｈ成分選別部６３０Ｌ，７３０Ｌ及びＲｃｈ成分選別部６３０Ｒ，７３０Ｒにおいて、｜ＰＯＬ＿２Ｌ［ｆ］の動径｜の減衰、又は｜ＰＯＬ＿２Ｒ［ｆ］の動径｜の減衰を鈍らせる場合に使用する減衰量Ｅを設定するための操作子である。この減衰量設定部４２により、減衰量Ｅを０．０から１．０までの範囲で設定できる。減衰量設定部４２は、ユーザが、入力装置２３（例えば、マウス）を用いて操作することができる。例えば、入力装置２３がマウスであれば、減衰量設定部４２の上にカーソルを置き、左ボタンを押しながらマウスを上に移動させると、減衰量Ｅが増え、下へ移動させると、減衰量Ｅが減る。
【０１６６】
操作量設定部４３は、Ｌｃｈ成分選別部６３０Ｌ，７３０Ｌ及びＲｃｈ成分選別部６３０Ｒ，７３０Ｒにおいて、ＰＯＬ＿１Ｌ［ｆ］又はＰＯＬ＿１Ｒ［ｆ］の大きさに応じて相違度［ｆ］の値を操作する場合に使用する操作量Ｆを設定するための操作子である。この操作量設定部４３により、操作量Ｆを０．０から１．０までの範囲で設定できる。操作量設定部４３は、ユーザが、入力装置２３（例えば、マウス）を用いて操作することができる。例えば、入力装置２３がマウスであれば、操作量設定部４３の上にカーソルを置き、左ボタンを押しながらマウスを上に移動させると、操作量Ｆが増え、下へ移動させると、操作量Ｆが減る。
【０１６７】
切り替えボタン４４は、Ｌｃｈセレクタ部６６０Ｌ，６７０Ｌ及びＲｃｈセレクタ部６６０Ｒ，６７０ＬＲから出力する信号を、原音の信号（ＯｒＬ［ｔ］，ＯｒＲ［ｔ］）とするか、残響音の信号（ＢＬ［ｔ］，ＢＲ［ｔ］）とするかを指定するためのボタンである。ボタン４４ａは、出力する信号として、原音の信号（ＯｒＬ［ｔ］，ＯｒＲ［ｔ］）を指定するボタンであり、ボタン４４ｂは、出力する信号として、残響音の信号（ＢＬ［ｔ］，ＢＲ［ｔ］）を指定するボタンである。
【０１６８】
この切り替えボタン４４は、ユーザが、入力装置２３（例えば、マウス）を用いて操作することができ、ボタン４４ａ又はボタン４４ｂに対して所定の操作（例えば、クリック）を行うと、クリックされたボタンが選択状態となり、そのボタンに対応する信号が、Ｌｃｈセレクタ部６６０Ｌ，６７０Ｌ及びＲｃｈセレクタ部６６０Ｒ，６７０ＬＲから出力する信号として指定される。図１２に示す例では、ボタン４４ａが選択状態（選択されていることを示すボタン色）であり、Ｌｃｈセレクタ部６６０Ｌ，６７０Ｌ及びＲｃｈセレクタ部６６０Ｒ，６７０ＬＲから出力する信号として、原音の信号（ＯｒＬ［ｔ］，ＯｒＲ［ｔ］が指定（選択）されていることを示す。一方で、ボタン４４ｂは、非選択状態（選択されていないことを示すボタン色）である。
【０１６９】
信号表示部４５は、エフェクタ１への入力信号（即ち、マイクなどの収音装置から、Ｌｃｈ用Ａ／Ｄ２０Ｌ及びＲｃｈ用Ａ／Ｄ２０Ｌを介して入力された信号）を、周波数ｆ−相違度［ｆ］の平面に可視化するための画面である。信号表示部４５の横軸は、周波数ｆに対応し、向かって右へ行くほど周波数が高く、向かって左へ行くほど周波数が低いことを示す。一方で、縦軸は、相違度［ｆ］に対応し、上へ行くほど相違度が大きく、下へ行くほど相違度が小さいことを示す。縦軸には、ＵＩ画面３０（図６参照）のカラーバー３６ａと同様に、相違度［ｆ］の大きさに応じたグラデーションで着色されたカラーバー４５ａが添えられている。
【０１７０】
信号表示部４５には、入力信号の周波数ｆと相違度［ｆ］に応じた点を中心とする円４５ｂが表示される。この座標（周波数ｆ，相違度［ｆ］）は、例えば、Ｌｃｈ成分選別部６３０ＬのＳ６３４の処理により算出された値に基づき、ＣＰＵ１１により算出される。円４５ｂの色は、その中心の座標が示す相違度［ｆ］に対するカラーバー４５ａの色が着色される。また、円４５ｂの半径は、その周波数ｆの入力信号のＬｖ［ｆ］を表し、Ｌｖ［ｆ］が大きい程、大きな半径となる。なお、Ｌｖ［ｆ］は、例えば、Ｌｃｈ成分選別部６３０ＬのＳ６３４の処理により算出された値である。
【０１７１】
信号表示部４５に表示される複数の指定点４５ｃは、例えば、Ｌｃｈ成分選別部６３０ＬのＳ６３６の判定に使用する設定範囲を規定するための点であり、境界線４５ｄは、隣接する指定点４５ｃを結ぶ直線であり、該設定範囲の境界を規定する線である。境界線４５ｄと、信号表示部４５の上辺（即ち、相違度［ｆ］の最大値）とにより囲まれた範囲４５ｅが、Ｓ６３６の判定に使用する設定範囲となる。
【０１７２】
指定点４５ｃの数および各位置の初期値はＲＯＭ１２に予め格納されている。指定点４５ｃの数の増減や移動は、入力装置２３を用いて、上述した第１実施形態における指定点３６ｃの場合と同様の操作で行うことができる。
【０１７３】
信号表示部４５に表示される円４５ｂのうち、その中心が範囲４５ｅの内部（境界を含む）に含まれる円４５ｂ１に対応する信号が、例えば、成分選別部６３０ＬのＳ６３６の判定において、相違度［ｆ］がその周波数ｆにおける設定範囲内にある信号であると判定される。一方で、その中心が範囲４５ｅから外れる円４５ｂ２に対応する信号が、例えば、Ｌｃｈ成分選別部６３０ＬのＳ６３６の判定において、設定範囲外にある信号であると判定される。
【０１７４】
なお、図１２では、境界線４５ｄと、信号表示部４５の上辺とにより囲まれた範囲を範囲４５ｅとしたが、ある周波数ｆにおける大きい方の相違度［ｆ］の閾値は、信号表示部４５の上辺（即ち、相違度［ｆ］の最大値）とは限らない。ここで、図１３は、信号表示部４５に設定される範囲４５ｅの変形例を示す図である。変形例としては、例えば、図１３（ａ）に示すように、閉じた境界線４５ｅにより囲まれた範囲を範囲４５ｅとしてもよい。
【０１７５】
また、図１３（ｂ）に示すように、低域における相違度の大きな円４５ｂ、例えば、円４５ｂ３を範囲外とするように範囲４５ｅを設定してもよい。低域における相違度の大きな円４５ｂ３が、範囲４５ｅの外となるように、指定点４５ｃおよび境界線４５ｄを設定することにより、ポップノイズ（マイクに息が吹き付けられたときに出るノイズ）を除去することができる。
【０１７６】
以上、説明した通り、第２実施形態のエフェクタ１によれば、入力信号を遅延させることにより、入力信号に含まれる残響音の初期反射成分を擬似的に生成することができるので、この擬似的な初期反射成分の信号（例えば、ＩＮ＿ＢＬ［ｔ］）と入力信号（例えば、ＩＮ＿ＰＬ［ｔ］）とをそれぞれ周波数分析した信号の、周波数ｆ毎のレベル比（例えば、｜ＰＯＬ＿１Ｌ［ｆ］の動径｜／｜ＰＯＬ＿２Ｌ［ｆ］の動径｜）は、そのレベル比が高い程、ＩＮ＿ＢＬ［ｔ］に含まれていない信号成分（例えば、ＩＮ＿ＰＬ［ｔ］に含まれる原音の信号ＯｒＬ［ｔ］）が多いことを示すので、このレベル比を、入力信号に含まれる原音の信号と、残響音の信号とを区別する指標とすることができる。よって、このレベル比に応じて、入力信号から、原音の信号又は残響音の信号を区別して抽出することができる。
【０１７７】
かかる原音の信号又は残響音の信号の抽出は、周波数特性やレベル比に注目して行っており、擬似的に生成した波形の時間軸上での差し引きを伴うものではないので、容易であるとともに、良好な音質で抽出できる。また、逆相波による、音像空間における残響音の打ち消しを伴うものでもないので、聴衆位置が限定的になることもない。
【０１７８】
以上、各実施形態に基づき本発明を説明したが、本発明は上記実施形態に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内で種々の変形改良が可能であることは容易に推察できるものである。
【０１７９】
例えば、上記第１実施形態では、マルチトラック再生部１００から出力されたＩＮ＿Ｂ［ｔ］を遅延部２００により遅延させる構成としたが、マルチトラック再生部１００と第１周波数分析部３１０との間、および、マルチトラック再生部１００と第１周波数分析部４１０との間に遅延部２００と同様の遅延部を設け、この遅延部によって遅延させたＩＮ＿Ｐ［ｔ］を第１周波数分析部３１０，４１０に入力する構成としてもよい。このように、ＩＮ＿Ｐ［ｔ］をＩＮ＿Ｂ［ｔ］に対して遅延させることにより、ＩＮ＿Ｂ［ｔ］がＩＮ＿Ｐ［ｔ］に先行する場合にも、ＩＮ＿Ｐ［ｔ］からかぶり取り音を抽出すること（換言すれば、かぶり音を除去すること）ができる。なお、ＩＮ＿Ｂ［ｔ］がＩＮ＿Ｐ［ｔ］に先行する場合としては、例えば、演奏音が録音されたカセットテープが劣化し、テープの巻きによる重なり部分において、ある時刻の演奏によって録音された音（Ｐ［ｔ］）に、時系列的に前の演奏音（Ｂ［ｔ］）が移りこんだ場合などが挙げられる。
【０１８０】
上記第１実施形態では、ユーザ指定されたトラック以外のトラックの再生信号であるＩＮ＿Ｂ［ｔ］に対して、１つの遅延器２００を配置する構成としたが、トラック毎に遅延器を配置し、トラック毎（又は、楽器単位毎）に遅延させる構成としてもよい。具体的には、例えば、ライブ会場などで、ボーカルとその他の楽器を同時に演奏してマルチトラックで収録する場合には、それぞれの楽器はそれぞれの位置（ギターアンプ、ベースアンプ、キーボードアンプ、アコースティックドラムの位置、など）から発音される。各楽器の音は、各トラックに遅延時間ゼロで収録されると共に、各楽器の発音位置からボーカルマイクまでの距離に応じた遅延時間でもってボーカルマイクに到達し、ボーカルトラックにかぶり音（不要音）として収録される。その場合、各楽器（各トラック）毎に、遅延時間を設定する必要が生じる。
【０１８１】
上記第１実施形態では、ユーザ指定されたトラック以外の全てのトラックに録音されている音信号をＩＮ＿Ｂ［ｔ］としたが、ユーザ指定されたトラック以外のトラックのうち、一部のトラックに録音されている音信号をＩＮ＿Ｂ［ｔ］としてもよい。
【０１８２】
上記第１実施形態では、モノラルの入力信号（ＩＮ＿Ｐ［ｔ］，ＩＮ＿Ｂ［ｔ］）に対して処理を行う構成としたが、複数チャンネル（例えば、左右チャンネル）の入力信号に対し、第２実施形態と同様に、チャンネル毎に主要音（かぶり取り音）と不要音（かぶり音）を選別して抽出する処理を行うように構成してもよい。
【０１８３】
上記第１実施形態では、マルチトラック再生部１００では、一律に、かぶり取り音として指定した場合のレベル係数Ｓ１〜Ｓｎを１．０としたが、トラック再生部１０１−１〜１０１−ｎのそれぞれに対し、楽器の音の混入具合に応じて、かぶり取り音として指定した場合のレベル係数を異ならせるように構成してもよい。例えば、ドラムの音の音量が他の楽器の音の音量に比べてかなり大きい場合に、ドラムについて、かぶり取り音として指定した場合のレベル係数を１．０より小さくするようにしてもよい。
【０１８４】
上記第１実施形態では、楽器単位で、かぶり取り音とかぶり音とを設定する構成としたが、トラック単位で、かぶり取り音とかぶり音とを設定する構成としてもよい。また、楽器の種類に応じて、楽器単位で、かぶり取り音とかぶり音とを設定するものと、トラック単位で、かぶり取り音とかぶり音とを設定するものとを分けておく構成であってもよい。
【０１８５】
上記第１実施形態では、録音データであるマルチトラックデータ２１ａを用いて、かぶり取り音の信号を抽出する構成としたが、少なくとも２つの入力チャンネルを設け、各入力チャンネルにはそれぞれ１つの収音装置から音が入力されるように構成することにより、特定の１つの入力チャンネルから入力された信号をＩＮ＿Ｐ［ｔ］とし、他の入力チャンネルから入力された信号の合成信号をＩＮ＿Ｂ［ｔ］として、ＩＮ＿Ｐ［ｔ］からかぶり取り音の信号を抽出する構成としてもよい。
【０１８６】
上記第１実施形態では、境界線３６ｄと、信号表示部３６の上辺とにより囲まれた範囲を範囲３６ｅとしたが、ある周波数ｆにおける大きい方の相違度［ｆ］の閾値は、信号表示部３６の上辺（即ち、相違度［ｆ］の最大値）とは限らず、図１３（ａ）に示した例と同様に、閉じた境界線により囲まれた範囲を範囲３６ｅとしてもよい。
【０１８７】
上記第１実施形態では、外付けのＨＤＤ２１に記憶したマルチトラックデータ２１ａを用いる構成としたが、マルチトラックデータ２１ａは、各種メディアに記憶されていてもよい。また、マルチトラックデータ２１ａを、エフェクタ１に内蔵されるフラッシュメモリなどのメモリに記憶させて使用してもよい。
【０１８８】
上記第２実施形態では、Ｌｃｈ用Ａ／Ｄ２０ＬおよびＲｃｈ用Ａ／Ｄ２０Ｒから入力された信号を処理して、原音と残響音とを選別する構成としたが、ハードディスクドライブなどに録音されていた録音データを処理し、原音と残響音とを選別する構成としてもよい。
【０１８９】
上記第２実施形態では、Ｌｃｈ用Ａ／Ｄ２０Ｌから入力された左チャンネル信号と、Ｒｃｈ用Ａ／Ｄ２０Ｒから入力された右チャンネル信号とで、それぞれ、別々に処理する構成としたが、Ｌｃｈ用Ａ／Ｄ２０Ｌから入力された左チャンネル信号とＲｃｈ用Ａ／Ｄ２０Ｒから入力された右チャンネル信号とをモノラル信号に合成し、モノラル信号で処理する構成としてもよい。なお、この場合には、チャンネル毎のＤ／Ａ（即ち、Ｌｃｈ用Ｄ／Ａ１５Ｌ，Ｒｃｈ用Ｄ／Ａ１５Ｒ）は設けずに、１つのＤ／Ａとしてもよい。
【０１９０】
上記第２実施形態では、左右２チャンネルの信号をそれぞれ処理し、原音と残響音とを選別する構成としたが、２チャンネル以上の信号について、各チャンネルをそれぞれ処理して原音と残響音とを選別するように構成してもよい。もちろん、モノラル信号を処理して原音と残響音とを選別するように構成してもよい。
【０１９１】
上記第２実施形態では、Ｌｃｈ初期反射成分生成部５００Ｌにおいて生成されるＩＮ＿ＢＬ［ｔ］は、左チャンネルの入力信号（ＩＮ＿ＰＬ［ｔ］）と、左チャンネルの信号に対して設定されたパラメータ（Ｎ，ＴＬ１〜ＴＬＮ，ＣＬ１〜ＣＬＮ）に基づいてのみ決定されるものとしたが、右チャンネルの入力信号（ＩＮ＿ＰＲ［ｔ］）と、右チャンネル信号に対するパラメータ（Ｎ’，ＴＲ１〜ＴＲＮ’，ＣＲ１〜ＣＲＮ’）とを考慮するようにしてもよい。
【０１９２】
即ち、上記第２実施形態では、『ＩＮ＿ＢＬ［ｔ］＝ＩＮ＿ＰＬ［ｔ］×ＣＬ１×Ｚ−ｍ１＋ＩＮ＿ＰＬ［ｔ］×ＣＬ２×Ｚ−ｍ２＋・・・＋ＩＮ＿ＰＬ［ｔ］×ＣＬＮ×Ｚ−ｍＮ』としたが、『ＩＮ＿ＢＬ［ｔ］＝（ＩＮ＿ＰＬ［ｔ］×ＣＬ１×Ｚ−ｍ１＋ＩＮ＿ＰＬ［ｔ］×ＣＬ２×Ｚ−ｍ２＋・・・＋ＩＮ＿ＰＬ［ｔ］×ＣＬＮ×Ｚ−ｍＮ）＋（ＩＮ＿ＰＲ［ｔ］×ＣＲ１×Ｚ−ｍ’１＋ＩＮ＿ＰＲ［ｔ］×ＣＲ２×Ｚ−ｍ’２＋・・・＋ＩＮ＿ＰＲ［ｔ］×ＣＲＮ’×Ｚ−ｍ’Ｎ’）』としてもよい。同様に、Ｒｃｈ初期反射成分生成部５００Ｒにおいて生成されるＩＮ＿ＢＲ［ｔ］についても、『ＩＮ＿ＢＲ［ｔ］＝（ＩＮ＿ＰＲ［ｔ］×ＣＲ１×Ｚ−ｍ’１＋ＩＮ＿ＰＲ［ｔ］×ＣＲ２×Ｚ−ｍ’２＋・・・＋ＩＮ＿ＰＲ［ｔ］×ＣＲＮ’×Ｚ−ｍ’Ｎ’）＋（ＩＮ＿ＰＬ［ｔ］×ＣＬ１×Ｚ−ｍ１＋ＩＮ＿ＰＬ［ｔ］×ＣＬ２×Ｚ−ｍ２＋・・・＋ＩＮ＿ＰＬ［ｔ］×ＣＬＮ×Ｚ−ｍＮ）』としてもよい。
【０１９３】
上記第２実施形態では、Ｌｃｈ初期反射成分生成部５００ＬにおいてＩＮ＿ＢＬ［ｔ］を生成する場合に用いるパラメータ（Ｎ，ＴＬ１〜ＴＬＮ，ＣＬ１〜ＣＬＮ）と、Ｒｃｈ初期反射成分生成部５００ＲにおいてＩＮ＿ＢＲ［ｔ］を生成する場合に用いるパラメータ（Ｎ’，ＴＲ１〜ＴＲＮ’，ＣＲ１〜ＣＲＮ’）とは、それぞれ独立して設定して使用する構成としたが、互いに共通のパラメータを設定して使用する構成としてもよい。かかる場合には、ＵＩ画面４０において、Ｌｃｈ初期反射パターン設定部４１Ｌと、Ｒｃｈ初期反射パターン設定部４１Ｒとを、１つの初期反射パターン設定部として構成してもよい。
【０１９４】
上記第２実施形態では、初期反射成分生成部５００Ｌ，５００Ｒを、ＦＩＲフィルタとして構成したが、遅延素子５０１Ｌ−１〜５０１Ｌ−Ｎ，５０１Ｒ−１〜５０１Ｒ−Ｎ’を、それぞれ、図１４に示すようなオールパスフィルタ５０に換えてもよい。図１４は、オールパスフィルタ５０の構成を示すブロック図である。
【０１９５】
オールパスフィルタ５０は、入力される音の周波数特性は変更せず、位相を変更するフィルタで、入力信号（ＩＮ＿ＰＬ［ｔ］又はＩＮ＿ＰＲ［ｔ］）と乗算器５２の出力とを加算して出力する加算器５５と、その加算器５５の出力に係数として減衰量−Ｅ（なお、Ｅは、減衰量設定部４２により設定される値である）を乗算する乗算器５３と、遅延素子５１と、遅延素子５１により遅延された信号に減衰量Ｅを乗算する乗算器５２と、乗算器５３の出力と遅延素子５１の出力とを加算して出力する加算器５４とから構成される。このオールパスフィルタ５０を用いた場合には、｜ＰＯＬ＿２Ｌ［ｆ］の動径｜又は｜ＰＯＬ＿２Ｒ［ｆ］の動径｜の減衰を鈍らせる処理（例えば、上述したＳ６３３の処理）を省略してもよい。
【０１９６】
上記各実施形態では、信号のレベル比（信号の動径の比）を相違度［ｆ］としたが、信号のパワーの比を用いる構成としてもよい。つまり、上記各実施形態では、ＩＮ＿Ｐ［ｆ］やＩＮ＿Ｂ［ｆ］の実数部を２乗した値と、虚数部を２乗した値との和を取り、その和の平方根を取った値（即ち、信号のレベル）を使用して相違度［ｆ］を算出したが、ＩＮ＿Ｐ［ｆ］やＩＮ＿Ｂ［ｆ］の実数部を２乗した値と、虚数部を２乗した値との和（即ち、信号のパワー）を使用して相違度［ｆ］を算出してもよい。
【０１９７】
上記第１実施形態では、相違度［ｆ］を、｜（ＰＯＬ＿１［ｆ］の動径｜／｜ＰＯＬ＿２［ｆ］の動径｜とした。つまり、ＰＯＬ＿２［ｆ］のレベルに対するＰＯＬ＿１［ｆ］のレベル比を相違度［ｆ］として算出した。これに換えて、ＰＯＬ＿１［ｆ］のレベルに対するＰＯＬ＿２［ｆ］のレベル比を、相違度［ｆ］に変わるパラメータとして使用する構成としてもよい。なお、第２実施形態についても同様である。
【０１９８】
上記各実施形態では、窓関数としてハニング窓を用いたが、ハミング窓やブラックマン窓の各種窓関数を用いてもよい。
【０１９９】
上記各実施形態では、ＵＩ画面３０，４０の信号表示部３６，４５に設定する範囲３６ｅ，４５ｅは、１つの曲の演奏時刻に関係なく１つの範囲を設定したが、１つの曲に複数の範囲３６ｅ，４５ｅを設定してもよい。即ち、１つの曲の演奏時刻に応じて異なる範囲３６ｅ，４５ｅを設定してもよい。かかる場合には、範囲３６ｅ，４５ｅが変更される毎に、演奏時刻と範囲とを対応づけてＲＡＭ１３に記憶する。１つの曲の中でも演奏時刻に応じて異なる範囲３６ｅ，４５ｅを設定することにより、目的音（かぶり取り音や原音など）をより適切に抽出することができる。
【０２００】
上記実施形態では、信号表示部３６，４５において、境界線４５ｄを、隣接する指定点４５ｃを結ぶ直線としたが、複数の指定点４５ｃにより決まるスプライン曲線を用いる構成としてもよい。
【０２０１】
上記各実施形態では、ＵＩ画面３０，４０の信号表示部３６，４５では、信号を円３６ｂ，４５ｂで表す構成としたが、その形状は円に限定されず、種々の図形を使用してもよい。
【０２０２】
また、信号表示部３６，４５に表示される各円３６ｂ，４５ｂは、その大きさ（半径の長さ）によって信号のレベルを表す構成としたが、レベルの軸を第３の軸として、三次元座標系により表示してもよい。
【０２０３】
上記各実施形態では、表示装置２１及び入力装置２２を、エフェクタ１とは別体としたが、表示画面及び入力部を有するエフェクタであってもよい。かかる場合には、表示装置２１に表示させた内容をエフェクタ内の表示画面に表示させ、入力装置２２から受け付けた入力情報をエフェクタの入力部から受け付けるようにすればよい。
【０２０４】
上記第２実施形態では、第１処理部６００に、Ｌｃｈセレクタ部６６０Ｌ及びＲｃｈセレクタ部６６０Ｒを設け、第２処理部７００に、Ｌｃｈセレクタ部７６０Ｌ及びＲｃｈセレクタ部７６０Ｒを設ける構成としたが（図８参照）、これらのセレクタ部６６０Ｌ，６６０Ｒ，７６０Ｌ，７６０Ｒを設けず、各処理部６００，７００から出力された原音と残響音とをそれぞれ左右チャンネル毎にクロスフェード合成して、それぞれをＤ／Ａ変換して出力する構成としてもよい。つまり、第１に、第１Ｌｃｈ周波数合成部６４０Ｌ，７４０Ｌからそれぞれ出力されるＯｒＬ［ｔ］をクロスフェード合成して、左チャンネルの原音出力用に設けたＤ／Ａに入力し、第２に、第１Ｒｃｈ周波数合成部６４０Ｒ，７４０Ｒからそれぞれ出力されるＯｒＲ［ｔ］をクロスフェード合成して、右チャンネルの原音出力用に設けたＤ／Ａに入力し、第３に、第２Ｌｃｈ周波数合成部６５０Ｌ，７５０Ｌからそれぞれ出力されるＢＬ［ｔ］をクロスフェード合成して、左チャンネルの残響音出力用に設けたＤ／Ａに入力し、第４に、第２Ｒｃｈ周波数合成部６５０Ｒ，７５０Ｒからそれぞれ出力されるＢＲ［ｔ］をクロスフェード合成して、右チャンネルの残響音出力用に設けたＤ／Ａに入力するように構成してもよい。この場合、例えば、左右チャンネルの原音を前部に配置したステレオスピーカから放音し、左右チャンネルの残響音を後部に配置したステレオスピーカから放音することにより、臨場感溢れる音響効果を得ることができる。
【０２０５】
上記第１実施形態では、各周波数合成部３４０，３５０，４４０，４５０により周波数合成を行った後で、かぶり取り音の時間領域の信号又はかぶり音の時間領域の信号のいずれかをセレクタ部３６０，４６０により選択して出力する構成としたが、セレクタによりＰＯＬ＿３［ｆ］又はＰＯＬ＿４［ｆ］のいずれかを選択した後、選択された信号を周波数合成して時間領域の信号に変換する構成としてもよい。上記第２実施形態についても同様に、セレクタによって、ＰＯＬ＿３Ｌ［ｆ］及びＰＯＬ＿３Ｒ［ｆ］の組、又は、ＰＯＬ＿４Ｌ［ｆ］及びＰＯＬ＿４Ｒ［ｆ］の組のいずれかを選択した後、選択された信号を周波数合成して時間領域の信号に変換する構成としてもよい。
【符号の説明】
【０２０６】
１ エフェクタ（音信号処理装置）
１５Ｌ．１５Ｒ Ｄ／Ａ（出力手段）
１８ ＨＤＤ＿Ｉ／Ｆ（第１入力手段、第２入力手段）
２０Ｌ，２０Ｒ Ａ／Ｄ（入力手段）
１００ マルチトラック再生部（再生手段）
２００ 遅延部（調整手段）
３１０，４１０ 第１周波数分析部（分割手段）
３２０，４２０ 第２周波数分析部（分割手段）
３４０，４４０ 第１周波数合成部（出力信号生成手段）
３５０，４５０ 第２周波数合成部（出力信号生成手段）
５００Ｌ，５００Ｒ 初期反射成分生成部（擬似信号生成手段）
６１０Ｌ，７１０Ｌ 第１Ｌｃｈ周波数分析部（分割手段）
６１０Ｒ，７１０Ｒ 第１Ｒｃｈ周波数分析部（分割手段）
６２０Ｌ，７２０Ｌ 第２Ｌｃｈ周波数分析部（分割手段）
６２０Ｒ，７２０Ｒ 第２Ｒｃｈ周波数分析部（分割手段）
６４０Ｌ，７４０Ｌ 第１Ｌｃｈ周波数合成部（出力信号生成手段）
６４０Ｒ，７４０Ｒ 第１Ｒｃｈ周波数合成部（出力信号生成手段）
６５０Ｌ，７５０Ｌ 第２Ｌｃｈ周波数合成部（出力信号生成手段）
６５０Ｒ，７５０Ｒ 第２Ｒｃｈ周波数合成部（出力信号生成手段）
Ｓ３３３ レベル比算出手段
Ｓ３３４ 判定手段
Ｓ３３５ 抽出手段
Ｓ３３６ 第２の抽出手段
Ｓ６３３ レベル補正手段
Ｓ６３４ レベル比算出手段
Ｓ６３５ レベル比補正手段
Ｓ６３６ 判定手段
Ｓ６３７ 抽出手段
【特許請求の範囲】
【請求項１】
第１の音と第２の音とを含む混合音の時間領域の信号である混合音信号と、少なくとも第２の音に相当する音を含む音の時間領域の信号である対象音信号とからなる２つの信号であって、全てまたは一部が時間的な相関関係を有する前記２つの信号を、それぞれ、複数の周波数帯域に分割する分割手段と、
その分割手段により分割された周波数帯域毎に、前記２つの信号のレベル比を算出するレベル比算出手段と、
周波数帯域毎に、前記レベル比算出手段により算出されたレベル比が、その周波数帯域に対して、前記第１の音を示すレベル比の範囲として予め設定された範囲内にあるか否かを判定する判定手段と、
前記混合音信号から、前記レベル比が前記予め設定された範囲内であると前記判定手段により判定された周波数帯域の信号を抽出する抽出手段と、
その抽出手段により抽出された信号を時間領域の信号に変換して出力信号を生成する出力信号生成手段と、
その出力信号生成手段により生成された時間領域の信号を出力する出力手段と、を備えていることを特徴とする音信号処理装置。
【請求項２】
第１の出力源から出力された第１の音と、１つ又は複数の第２の出力源から出力された第２の音とを含む混合音の時間領域の信号を前記混合音信号として入力する第１入力手段と、
前記１つ又は複数の第２の出力源から出力された第２の音の時間領域の信号を前記対象音信号として入力する第２入力手段と、
前記混合音信号又は前記対象音信号のいずれかを、時間軸上で、前記混合音に含まれる第１の音及び第２の音のそれぞれの発音タイミングの差に基づき生じる時間差であって、前記混合音信号における第２の音の信号と、前記対象音信号における第２の音の信号との前記時間差に応じた調整量に応じて遅延し、調整信号を得る調整手段とを備え、
前記分割手段は、前記調整手段により得られた調整信号と、前記混合音信号又は前記対象音信号のうち、前記調整手段による調整がされない信号である元信号とを、それぞれ、複数の周波数帯域に分割するものであることを特徴とする請求項１記載の音信号処理装置。
【請求項３】
前記調整信号又は前記元信号のうち、前記混合音信号に対応する信号から、前記レベル比が前記予め設定された範囲外であると前記判定手段により判定された周波数帯域の信号を抽出する第２の抽出手段と、
その第２の抽出手段により抽出された信号を時間領域の信号に変換して出力信号を生成する第２の出力信号生成手段と、
その第２の出力信号生成手段により生成された時間領域の信号を出力する第２の出力手段と、を備えていることを特徴とする請求項２記載の音信号処理装置。
【請求項４】
複数のトラックに録音されている音の信号をマルチトラック再生する再生手段を備え、
前記第１入力手段からは、前記再生手段により再生された前記複数のトラックの信号のうち、前記第１の音の信号が主に録音されているトラックの信号が入力され、
前記第２入力手段からは、前記再生手段により再生された前記複数のトラックの信号のうち、前記第２の音の信号が録音されている、前記第１の音の信号が主に録音されているトラック以外の少なくとも１つのトラックの信号が入力されることを特徴とする請求項２又は３に記載の音信号処理装置。
【請求項５】
前記調整量手段は、前記第２の出力源から前記混合音を収音した収音手段までの音場空間の特性に応じて生じる前記時間差を調整するための遅延時間を、前記調整量として、前記第２の出力源の数だけ用い、その調整量毎に、前記混合音信号又は対象音信号の時間上での調整と各調整量に対して設定されている係数の乗算とを施して得られた信号を全て加算して、前記調整信号を得るものである請求項２から４のいずれかに記載の音信号処理装置。
【請求項６】
所定の出力源から出力された第１の音と、音場空間において前記第１の音に基づいて生じた第２の音とを１つの収音手段により収音して得られた混合音の時間領域の信号を前記混合音信号として入力する入力手段と、
前記入力手段から入力された混合音の信号を、時間軸上で、前記所定の出力源から出力された第１の音が前記収音手段により収音されるタイミングと前記第１の音に基づいて生じた第２の音が前記収音手段により収音されるタイミングとの時間差に応じた調整量に応じて遅延させることにより、該混合音の信号から、前記対象音信号としての前記第２の音の信号を擬似的に生成する擬似信号生成手段とを備え、
前記分割手段は、前記混合音信号と、前記擬似信号生成手段により前記対象音信号として生成された擬似的な第２の音の信号とを、それぞれ、複数の周波数帯域に分割するものであることを特徴とする請求項１記載の音信号処理装置。
【請求項７】
前記混合音は、前記所定の出力源から出力された第１の音と、音場空間において前記第１の音に基づいて生じた前記第２の音としての残響音とを１つの収音手段により収音して得られたものであり、
前記擬似信号生成手段は、前記混合音信号を、時間軸上で、前記調整量に応じて遅延させることにより、前記残響音における初期反射音の信号を前記擬似的な第２の音の信号として生成するものであり、
前記判定手段は、周波数帯域毎に、前記レベル比算出手段により算出されたレベル比が、その周波数帯域に対して、前記第１の音を示すレベル比の範囲として予め設定された範囲内にあるか否かを判定するものであることを特徴とする請求項６記載の音信号処理装置。
【請求項８】
前記調整手段は、音場空間における残響特性に応じて生じる、前記第１の音が前記収音手段により収音されてから、その第１の音に基づいて生じた残響音が該収音手段により収音されるまでの遅延時間を、前記調整量として、該音場空間において前記第１の音を反射する反射位置に応じて設定される数だけ用い、その調整量毎に、前記混合音信号の時間上での調整と各調整量に対して設定されている係数の乗算とを施して得られた信号を全て加算して、前記第２の音の信号を擬似的に生成するものであることを特徴とする請求項７記載の音信号処理装置。
【請求項９】
周波数帯域毎に、前記擬似的な第２の音の信号における今回のレベルを、前回のレベルとを比較し、前記今回のレベルが、前記前回のレベルに所定の減衰率をかけたレベルより小さい場合に、前記レベル比算出手段に使用する前記擬似的な第２の音の信号のレベルを、前記前回のレベルに所定の減衰率をかけたレベルに補正するレベル補正手段を備えていることを特徴とする請求項６から８のいずれかに記載の音信号処理装置。
【請求項１０】
周波数帯域毎に、前記混合音信号のレベルが小さい程、前記擬似的な第２の音の信号のレベルに対する前記混合音信号のレベルの比が小さくなるように、前記レベル比算出手段により算出されたレベル比を補正するレベル比補正手段を備え、
前記判定手段は、前記レベル比補正手段により補正されたレベル比を用いて、予め設定された範囲内であるか否かの判定を行うものであることを特徴とする請求項６から９のいずれかに記載の音信号処理装置。
【請求項１】
第１の音と第２の音とを含む混合音の時間領域の信号である混合音信号と、少なくとも第２の音に相当する音を含む音の時間領域の信号である対象音信号とからなる２つの信号であって、全てまたは一部が時間的な相関関係を有する前記２つの信号を、それぞれ、複数の周波数帯域に分割する分割手段と、
その分割手段により分割された周波数帯域毎に、前記２つの信号のレベル比を算出するレベル比算出手段と、
周波数帯域毎に、前記レベル比算出手段により算出されたレベル比が、その周波数帯域に対して、前記第１の音を示すレベル比の範囲として予め設定された範囲内にあるか否かを判定する判定手段と、
前記混合音信号から、前記レベル比が前記予め設定された範囲内であると前記判定手段により判定された周波数帯域の信号を抽出する抽出手段と、
その抽出手段により抽出された信号を時間領域の信号に変換して出力信号を生成する出力信号生成手段と、
その出力信号生成手段により生成された時間領域の信号を出力する出力手段と、を備えていることを特徴とする音信号処理装置。
【請求項２】
第１の出力源から出力された第１の音と、１つ又は複数の第２の出力源から出力された第２の音とを含む混合音の時間領域の信号を前記混合音信号として入力する第１入力手段と、
前記１つ又は複数の第２の出力源から出力された第２の音の時間領域の信号を前記対象音信号として入力する第２入力手段と、
前記混合音信号又は前記対象音信号のいずれかを、時間軸上で、前記混合音に含まれる第１の音及び第２の音のそれぞれの発音タイミングの差に基づき生じる時間差であって、前記混合音信号における第２の音の信号と、前記対象音信号における第２の音の信号との前記時間差に応じた調整量に応じて遅延し、調整信号を得る調整手段とを備え、
前記分割手段は、前記調整手段により得られた調整信号と、前記混合音信号又は前記対象音信号のうち、前記調整手段による調整がされない信号である元信号とを、それぞれ、複数の周波数帯域に分割するものであることを特徴とする請求項１記載の音信号処理装置。
【請求項３】
前記調整信号又は前記元信号のうち、前記混合音信号に対応する信号から、前記レベル比が前記予め設定された範囲外であると前記判定手段により判定された周波数帯域の信号を抽出する第２の抽出手段と、
その第２の抽出手段により抽出された信号を時間領域の信号に変換して出力信号を生成する第２の出力信号生成手段と、
その第２の出力信号生成手段により生成された時間領域の信号を出力する第２の出力手段と、を備えていることを特徴とする請求項２記載の音信号処理装置。
【請求項４】
複数のトラックに録音されている音の信号をマルチトラック再生する再生手段を備え、
前記第１入力手段からは、前記再生手段により再生された前記複数のトラックの信号のうち、前記第１の音の信号が主に録音されているトラックの信号が入力され、
前記第２入力手段からは、前記再生手段により再生された前記複数のトラックの信号のうち、前記第２の音の信号が録音されている、前記第１の音の信号が主に録音されているトラック以外の少なくとも１つのトラックの信号が入力されることを特徴とする請求項２又は３に記載の音信号処理装置。
【請求項５】
前記調整量手段は、前記第２の出力源から前記混合音を収音した収音手段までの音場空間の特性に応じて生じる前記時間差を調整するための遅延時間を、前記調整量として、前記第２の出力源の数だけ用い、その調整量毎に、前記混合音信号又は対象音信号の時間上での調整と各調整量に対して設定されている係数の乗算とを施して得られた信号を全て加算して、前記調整信号を得るものである請求項２から４のいずれかに記載の音信号処理装置。
【請求項６】
所定の出力源から出力された第１の音と、音場空間において前記第１の音に基づいて生じた第２の音とを１つの収音手段により収音して得られた混合音の時間領域の信号を前記混合音信号として入力する入力手段と、
前記入力手段から入力された混合音の信号を、時間軸上で、前記所定の出力源から出力された第１の音が前記収音手段により収音されるタイミングと前記第１の音に基づいて生じた第２の音が前記収音手段により収音されるタイミングとの時間差に応じた調整量に応じて遅延させることにより、該混合音の信号から、前記対象音信号としての前記第２の音の信号を擬似的に生成する擬似信号生成手段とを備え、
前記分割手段は、前記混合音信号と、前記擬似信号生成手段により前記対象音信号として生成された擬似的な第２の音の信号とを、それぞれ、複数の周波数帯域に分割するものであることを特徴とする請求項１記載の音信号処理装置。
【請求項７】
前記混合音は、前記所定の出力源から出力された第１の音と、音場空間において前記第１の音に基づいて生じた前記第２の音としての残響音とを１つの収音手段により収音して得られたものであり、
前記擬似信号生成手段は、前記混合音信号を、時間軸上で、前記調整量に応じて遅延させることにより、前記残響音における初期反射音の信号を前記擬似的な第２の音の信号として生成するものであり、
前記判定手段は、周波数帯域毎に、前記レベル比算出手段により算出されたレベル比が、その周波数帯域に対して、前記第１の音を示すレベル比の範囲として予め設定された範囲内にあるか否かを判定するものであることを特徴とする請求項６記載の音信号処理装置。
【請求項８】
前記調整手段は、音場空間における残響特性に応じて生じる、前記第１の音が前記収音手段により収音されてから、その第１の音に基づいて生じた残響音が該収音手段により収音されるまでの遅延時間を、前記調整量として、該音場空間において前記第１の音を反射する反射位置に応じて設定される数だけ用い、その調整量毎に、前記混合音信号の時間上での調整と各調整量に対して設定されている係数の乗算とを施して得られた信号を全て加算して、前記第２の音の信号を擬似的に生成するものであることを特徴とする請求項７記載の音信号処理装置。
【請求項９】
周波数帯域毎に、前記擬似的な第２の音の信号における今回のレベルを、前回のレベルとを比較し、前記今回のレベルが、前記前回のレベルに所定の減衰率をかけたレベルより小さい場合に、前記レベル比算出手段に使用する前記擬似的な第２の音の信号のレベルを、前記前回のレベルに所定の減衰率をかけたレベルに補正するレベル補正手段を備えていることを特徴とする請求項６から８のいずれかに記載の音信号処理装置。
【請求項１０】
周波数帯域毎に、前記混合音信号のレベルが小さい程、前記擬似的な第２の音の信号のレベルに対する前記混合音信号のレベルの比が小さくなるように、前記レベル比算出手段により算出されたレベル比を補正するレベル比補正手段を備え、
前記判定手段は、前記レベル比補正手段により補正されたレベル比を用いて、予め設定された範囲内であるか否かの判定を行うものであることを特徴とする請求項６から９のいずれかに記載の音信号処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１２−７８４２２（Ｐ２０１２−７８４２２Ａ）
【公開日】平成２４年４月１９日（２０１２．４．１９）
【国際特許分類】
【出願番号】特願２０１０−２２１２１６（Ｐ２０１０−２２１２１６）
【出願日】平成２２年９月３０日（２０１０．９．３０）
【出願人】（０００１１６０６８）ローランド株式会社 (175)
【公開日】平成２４年４月１９日（２０１２．４．１９）
【国際特許分類】
【出願日】平成２２年９月３０日（２０１０．９．３０）
【出願人】（０００１１６０６８）ローランド株式会社 (175)
[ Back to top ]