かぶり音除去装置
【課題】 複数の音源からの音をそれぞれマイクで入力する場合に、１の音源音を入力するマイクに他の音源音が入力するかぶり音を除去する技術を提供することを目的とする。
【解決手段】 ｎ個のマイクで収音されたｎ個の音源音を入力し、それらの各音源音を、それぞれ、所定のスレショルドと比較することにより、それらの各音源音が鳴っているか否かを判定し、何れか１の音源音が鳴っており、他の音源が鳴っていないと判定されたとき、その１の音源に関する測定指示を発生し、前記１の音源音に関する測定指示が発生したとき、その時点の各マイクからの入力に基づいて、該１の音源音により他の音源音に対して生じるかぶり音を生成する伝達特性パラメータを生成し、前記伝達特性パラメータに基づき、前記１の音源音から他の音源音によるかぶり音を除去して、かぶり音の除去された音源音を生成する。
【解決手段】 ｎ個のマイクで収音されたｎ個の音源音を入力し、それらの各音源音を、それぞれ、所定のスレショルドと比較することにより、それらの各音源音が鳴っているか否かを判定し、何れか１の音源音が鳴っており、他の音源が鳴っていないと判定されたとき、その１の音源に関する測定指示を発生し、前記１の音源音に関する測定指示が発生したとき、その時点の各マイクからの入力に基づいて、該１の音源音により他の音源音に対して生じるかぶり音を生成する伝達特性パラメータを生成し、前記伝達特性パラメータに基づき、前記１の音源音から他の音源音によるかぶり音を除去して、かぶり音の除去された音源音を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、複数の音源から発生した音をそれぞれマイクで入力する場合に、それぞれの音源のために立てたマイクに別の音源の音がかぶった（回り込んでくる）とき、そのかぶり音を除去する技術に関する。
【背景技術】
【０００２】
従来より、複数トラック同時録音可能なマルチトラックレコーダが知られている。マルチトラックレコーダを利用した録音方法として、一括レコーディングとパート別レコーディングがある。
【０００３】
一括レコーディングは、例えば、演奏者が演奏する各パートの楽器毎にマイクを立てて、同時に演奏した演奏音をそれら複数のマイクから入力し、入力した複数パートの音響信号を同時にマルチトラックレコーディングする方法である。一括レコーディングは、ライブ会場で録音する場合もあるし、スタジオで録音する場合もある。パート別レコーディングは、複数のパートについて、パート毎に、演奏者が別々に演奏したものを録音していく方法である。
【０００４】
また、下記特許文献１には、複数種類の楽器等により合奏された演奏を録音した音楽信号から特定の楽器の楽音を分離、除去する音楽装置が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−１８８９７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、例えば、舞台上に、ギター、ベース、ドラム、およびボーカルなどの複数の音源があり、それらの音源音をそれぞれの音源のために立てたマイクで入力して一括レコーディングを行う場合、それぞれの音源のために立てたマイクに別の音源からの音がかぶってくる（回り込んでくる）ことがある。特に、ボーカル音に関しては、他の音のかぶりが少なくきれいなボーカル音を録音したいという要求があるが、ボーカルのマイクに他の楽器からの音（特にドラムの音は大きい）がかぶってしまい、きれいなボーカル音が録音できないことがある。
【０００７】
さらに、ボーカル音にエフェクトをかける際に、他の音のかぶりがあると、そのかぶっている音にまで同じエフェクトがかかってしまうという不都合や、エフェクト処理を行う際に、ボーカルからのピッチ抽出がうまくいかず、ピッチ補正等の処理に影響するという不都合がある。
【０００８】
上記特許文献１に記載の技術によれば、左信号と右信号からなるステレオ２チャンネルの音楽信号を複数の周波数帯域に分割し、それぞれ左信号と右信号のパワー比に基づいて、その周波数帯域における音源の存在方向に関する情報である定位情報を算出し、該定位情報と重み付け関数に基づいて各周波数帯域の左信号および右信号に乗じる重み係数を決定し、各周波数帯域のそれぞれにおいて重み係数を乗ずることで特定音源からの信号を除去、分離することができるが、上述したようなボーカル音から他の楽器のかぶり音を除去したい場合には適用できない。特に、特許文献１に記載の技術は、ステレオ２チャンネルの音楽信号から分離する技術であるので、音源毎のマイクで入力して録音するような場合には適用できないし、処理が複雑であるという問題点がある。
【０００９】
本発明は、複数の音源からの音をそれぞれマイクで入力する場合に、比較的簡単な処理で、１の音源音を入力するマイクに他の音源音が入力するかぶり音を除去する技術を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するため、請求項１に係る発明は、ｎ個のマイクで収音されたｎ個の音源音を入力し、それらの各音源音を、それぞれ、所定のスレショルドと比較することにより、それらの各音源音が鳴っているか否かを判定し、何れか１の音源音が鳴っており、他の音源が鳴っていないと判定されたとき、その１の音源に関する測定指示を発生し、前記１の音源音に関する測定指示が発生したとき、その時点の各マイクからの入力に基づいて、該１の音源音により他の音源音に対して生じるかぶり音を生成する伝達特性パラメータを生成し、前記伝達特性パラメータに基づき、前記１の音源音から他の音源音によるかぶり音を除去して、かぶり音の除去された音源音を生成することを特徴とする。
【００１１】
前記伝達特性パラメータは、例えば、前記１の音源音を収音するための１のマイクで入力した第１の音響信号とその１のマイク以外のマイクで入力した第２の音響信号とを比較することにより、前記第１の音響信号を基準として求めた前記第２の音響信号の遅延特性とレベル減衰特性と周波数特性を表すパラメータである。前記スレショルドは、ユーザによる手動設定で、または自動設定で、音源音毎に独立して設定されるようにするとよい。
【発明の効果】
【００１２】
本発明によれば、複数の音源からの音をそれぞれマイクで入力する場合に、比較的簡単な構成で、１の音源音を入力するマイクに他の音源音が入力するかぶり音を除去することができる。これにより、例えば一括レコーディングの際にかぶり音を除去した音で録音でき、エフェクトを付与する場合もかぶり音を除去した音に対してエフェクトを付与することができる。
【図面の簡単な説明】
【００１３】
【図１】実施形態のかぶり音除去装置を適用したミキサを用いて音響処理を行う全体図
【図２】分析部の詳細な構成図
【図３】分離部の詳細な構成図
【発明を実施するための形態】
【００１４】
以下、図面を用いて本発明の実施の形態を説明する。
【００１５】
図１は、本発明の一実施形態であるかぶり音除去装置を適用したミキサを用いて音響処理を行う全体図を示す。１０１はベースギターの音源、１０２はドラムの音源、１０３はギターの音源、１０４はボーカルの音源を、それぞれ示す。なお、ここでは模式的な絵で図示したが、実際は、音源１０１は演奏者とベースギターとギターアンプとスピーカに相当し、音源１０２は演奏者とドラムに相当し、音源１０３は演奏者とエレキギターとギターアンプとスピーカに相当し、音源１０４は歌を歌うボーカルに相当するものである。マイクＡ〜Ｄは、音源１０１〜１０４からのそれぞれの音を入力するためのマイクである。ただし、マイクＡには音源１０２〜１０４の音が入力してかぶり音となり、マイクＢには音源１０１，１０３，１０４の音が入力してかぶり音となり、マイクＣには音源１０１，１０２，１０４の音が入力してかぶり音となり、マイクＤには音源１０１〜１０３の音が入力してかぶり音となる。モニタＡ〜Ｄは、音源１０１〜１０４のそれぞれの演奏者のためのモニタ音出力装置であり、ここでは各演奏者が耳に装着するヘッドフォンとする。なお、図１はレコーディングスタジオで一括レコーディングを行っている様子を示すものであり、そのためにヘッドフォンを用いている。レコーディングスタジオ以外でライブ録音する場合は、インイヤーモニタやモニタ用スピーカを用いるが、その場合でも本発明は適用可能である。
【００１６】
マイクＡ〜Ｄで入力したベース、ドラム、ギター、およびボーカルの各アナログ音響信号（かぶり音を含んでいる信号）は、それぞれ、ミキサ１１０内のアナログデジタル（Ａ／Ｄ）変換器１１１〜１１４においてデジタル音響信号に変換される。それらのデジタル音響信号は、分析部１１５と分離部１１６に入力する。
【００１７】
分析部１１５は、各Ａ／Ｄ変換器１１１〜１１４からのデジタル音響信号を分析し、かぶり音を除去するためのパラメータであるデータセット１３１〜１３４（ＤＳａ〜ＤＳｄ）を生成して分離部１１６に出力する。分離部１１６は、このデータセット１３１〜１３４（ＤＳａ〜ＤＳｄ）を利用して、各Ａ／Ｄ変換器１１１〜１１４から入力した音からそれぞれかぶり音を除去し、各音源のピュアな楽音信号を出力する。分析部１１５と分離部１１６で実行する処理の原理については、後に詳述する。
【００１８】
分離部１１６から出力された各音源のピュアな楽音信号は、利用機器１１８や混合部１１９に入力する。利用機器１１８は、例えばデジタルレコーダやエフェクタなどである。利用機器１１８がデジタルレコーダであれば、入力した各音源１０１〜１０４のピュアな楽音信号を一括レコーディングすることができる。
【００１９】
利用機器１１８がエフェクタであれば、入力した各音源１０１〜１０４のピュアな楽音信号に、各種の効果を付与することができる。例えば、カラオケなどで使うボーカルハーモニーではボーカル音のピッチを採ってその音高を基準にピッチチェンジするが、そのためにはボーカル音のピッチが正確に検出されることが必要である。本実施形態のシステムによれば、かぶり音を除去したボーカル音のピッチを検出でき、該ピッチに基づいたピッチチェンジを行える。効果付与後の楽音信号は、点線１２０の経路で、混合部１１９に入力する。
【００２０】
混合部１１９は、分離部１１６や利用機器（エフェクタ）１１８から入力した楽音信号に対するミキシング処理を行う。また，混合部１１９は、各音源１０１〜１０４の演奏者へのモニタ音をそれぞれ生成する。それらのモニタ音は、デジタルアナログ（Ｄ／Ａ）変換器１２１〜１２４でアナログ音響信号に変換され、モニタＡ〜Ｄ（ヘッドフォン）に出力される。
【００２１】
次に、かぶり音除去の原理について説明する。図１のケースで特に問題となるかぶり音は、ボーカル音を収音するマイクＤで収音されるボーカル以外の音（ベース、ドラム、ギター）である。いま、ベース音源１０１から出てマイクＤで収音されるパスを Bass->D と表現する。同様に、ドラム音源１０２から出てマイクＤで収音されるバスを Drum->D、ギター音源１０３から出てマイクＤで収音されるパスを Guitar->D と、それぞれ表現する。また、ベース音源１０１から放音される音を b(t) とする。ベース音源１０１から出てマイクＤで収音される音は Fbd(b(t)) と表すことができる。Fbdは、Bass->D空間の伝達特性を表す。
【００２２】
同様に、ドラムおよびギターについても、それぞれの音源１０２，１０３から放音される音を d(t), g(t) と表現する。ドラム音源１０２から出てマイクＤで収音される音は Fdd(d(t))、ギター音源１０３から出てマイクＤで収音される音は Fgd(g(t))と、それぞれ表すことができる。FddはDrum->D空間の伝達特性を、FgdはGuitar->D空間の伝達特性を、それぞれ表す。
【００２３】
マイクＤで収音される音を micD(t) とする。ボーカルの発声する音を v(t) とすると、micD(t) は、下記式(1)のようにボーカルの発声する音 v(t) と前記かぶり音との和で表すことができる。
【００２４】
micD(t) = Fbd(b(t)) + Fdd(d(t)) + Fgd(g(t)) + v(t) … (1)
【００２５】
同様にして、b(t), d(t), g(t) はそれぞれマイクＡ，Ｂ，Ｃで収音されるが、それらのマイクＡ，Ｂ，Ｃにもそれぞれ他の音源からの音がかぶってくる。従って、マイクＡ，Ｂ，Ｃでそれぞれ収音される音 micA(t), micB(t), micC(t)は、下記の式(2)〜(4)で表すことができる。
【００２６】
micA(t) = b(t) + Fda(d(t)) + Fga(g(t)) + Fva(v(t)) … (2)
micB(t) = Fbb(b(t)) + d(t) + Fgb(g(t)) + Fvb(v(t)) … (3)
micC(t) = Fbc(b(t)) + Fdc(d(t)) + g(t) + Fvc(v(t)) … (4)
【００２７】
上記式(1),(2),(3),(4)をＺ変換し、マトリックス型に書き直すと下記式(5)となる。
【００２８】
【数１】
【００２９】
B(z), D(z), G(z), V(z) はそれぞれベース、ドラム、ギター、ボーカルの音のＺ変換であり、micA(z), micB(z), micC(z), micD(z)も同様に各マイクの収音した音のＺ変換である。簡単のために、式(5)内の行列をＭと書き、状態行列と呼ぶことにする。式(5)は下記式(6)のように書き替えられる。
【００３０】
【数２】
【００３１】
何らかの方法で状態行列Ｍの各項目を決定することができれば、その逆行列と、各マイクの音のＺ変換とから、各楽器それぞれのピュアな音のＺ変換、すなわちかぶり音を除去したピュアな音を下記式(7)の計算で求めることができる。
【００３２】
【数３】
【００３３】
ただし、全部の楽器が鳴っている状態では、状態行列Ｍの各要素を求めることはできない。そこで、分析部１１５内部に、それぞれのマイクの出力レベルと所定のスレショルドとを比較する判定部を設ける。この判定部により、あるマイクの出力レベルがそのスレショルド（しきい値）以下であれば、そのマイクに一番近い楽器は鳴っていないものと判定できる。もし、ボーカルのみが歌っていて他の楽器が音を出していなければ、micD(z) = V(z) で、B(z) = D(z) = G(z) = ０であるから、
micA(z) = Fva(z) V(z)---> Fva(z) = micA(z)/micD(z) … (8)
micB(z) = Fvb(z) V(z)---> Fvb(z) = micB(z)/micD(z) … (9)
micC(z) = Fvc(z) V(z)---> Fvc(z) = micC(z)/micD(z) … (10)
により各項を計算できる。
【００３４】
同様にして、ベースのみが演奏されている状態においてFbb(z)，Fbc(z)，Fbd(z)が計算でき、ドラムのみが演奏されている状態においてFda(z)，Fdc(z)，Fdd(z)が計算でき、ギターのみが演奏されている状態においてFga(z)，Fgb(z)，Fgd(z)が計算できる。以上により、状態行列Ｍの全ての要素を計算することができ、その状態行列Ｍから逆行列Ｍ−１を求めることができる。
【００３５】
図１の分析部１１５は、上述したように、判定部により各マイクＡ〜Ｄからの入力レベルを所定のスレショルドと比較し、何れか１つの音源のみが鳴っていると判定されるときに分析を行って、上記状態行列Ｍの全ての要素を求める。さらに、該状態行列Ｍの逆行列Ｍ−１を求め、該逆行列に基づくパラメータ１３１〜１３４（データセットＤＳａ〜ＤＳｄ）を分離部１１６に出力する。分離部１１６は、該逆行列に基づくパラメータを用いて、上記数３の式（７）に示す演算を行うことにより、各音源音から、かぶり音を除去したピュアな楽音信号を生成して出力する。
【００３６】
なお、状態行列Ｍの各要素は、例えば、会場の温度や湿度、演奏者の位置、あるいはマイクの位置などで常に変動する。従って、分析部１１５と分離部１１６の演算は、常に最新の状態となるように逐次的に計算されなければならない。逆に言えば、状態行列Ｍができるだけ変動しないようにするためには、上記の変動要因ができるだけ変化しないようにすることが必要になる。例えば、会場の温度や湿度は一定とし、各楽器の音の発生位置とマイクの位置との位置関係は一定とするのが良い。
【００３７】
なお、ここでは１つの音源音を入力するマイクに他の音源音が直接入力したかぶり音を除去する場合を説明したが、原理的には、伝達特性を表現する上記状態行列Ｍを正確に求めることができれば間接音（例えば、会場の壁面で反射した残響音など）を除去することもできる。
【００３８】
上記原理の説明では、状態行列Ｍを求め、その逆行列Ｍ−１を求め、上記式（７）の演算でかぶり音を除去したピュアな楽音信号を取得すると説明したが、実際には逐次的に精密に伝達特性を求める計算を行うのは難しい。一方、伝達特性は、具体的には、音源とマイクとの距離による音の遅延（時間差）と音量レベルの減衰および周波数特性の変化に関する特性と言えるから、これらの特性に注目してかぶり音除去を行うことができる。以下では、そのようなかぶり音除去を行うための分析部１１５と分離部１１６の詳細な構成と動作について説明する。
【００３９】
図２は、分析部１１５の詳細な構成を示す。Ａ入力、Ｂ入力、Ｃ入力、およびＤ入力は、それぞれマイクＡ，Ｂ，Ｃ，ＤからＡ／Ｄ変換器１１１〜１１４を介して入力した音響信号micA(t), micB(t), micC(t), micD(t)を示す。これらの音響信号は、それぞれＬ（レベル）検出部２０１〜２０４に入力する。Ｌ（レベル）検出部２０１は、Ａ入力のレベルを所定のスレショルドと比較し、該レベルがスレショルド以上のとき「１」、そうでないとき「０」を出力する判定部である。Ｌ（レベル）検出部２０１の出力が「１」のとき、ベース音が鳴っていることを示す。Ｌ（レベル）検出部２０２〜２０４も同様の判定部であり、各検出部２０２〜２０４の出力が「１」のとき、ドラム音、ギター音、ボーカル音がそれぞれ鳴っていることを示す。
【００４０】
２１１は、Ｌ検出部２０１の出力を正論理で入力し、Ｌ検出部２０２〜２０４の出力をそれぞれ負論理で入力して、ＡＮＤ演算するＡＮＤ回路である。結果として、ＡＮＤ回路２１１の出力は、ベース音のみが鳴っており他の楽器が鳴っていないときに「１」となる。ＡＮＤ回路２１１の出力は、トリガ信号Ａとしてパラメータ算出部２２０に入力する。同様に、ＡＮＤ回路２１２の出力はドラム音のみが鳴っており他の楽器が鳴っていないときに「１」となるトリガ信号Ｂとして、ＡＮＤ回路２１３の出力はギター音のみが鳴っており他の楽器が鳴っていないときに「１」となるトリガ信号Ｃとして、ＡＮＤ回路２１４の出力はボーカル音のみが鳴っており他の楽器が鳴っていないときに「１」となるトリガ信号Ｄとして、それぞれ、パラメータ算出部２２０に入力する。
【００４１】
パラメータ算出部２２０は、Ａ入力、Ｂ入力、Ｃ入力、およびＤ入力をそのまま入力するとともに、トリガ信号Ａ〜Ｄを入力する。
【００４２】
トリガ信号Ａが「１」のときは、ベース音のみが鳴っており、他の楽器は鳴っていない状態である。このとき、マイクＡにはベース音が入力しているが、マイクＢ，Ｃ，Ｄにはそれぞれそのベース音が直接これらのマイクＢ，Ｃ，Ｄに回り込んだかぶり音が入力している。そこで、パラメータ算出部２２０は、Ａ入力の音響信号（ベース音源の原音）とＢ入力の音響信号（ベース音源からマイクＢへのかぶり音）とを比較し、Ａ入力のベース音源の原音を基準としてＢ入力へのかぶり音が、どれだけ遅延し、どれだけレベルが減衰し、周波数特性がどのように変化したかを、分析結果として求める。パラメータ算出部２２０は、上記求めた分析結果に基づいて、ベース音（Ａ入力の音響信号）からマイクＢへのかぶり音（Ｂ入力の音響信号）を生成するパラメータを求める。どれだけ遅延したかを示す分析結果からは遅延のパラメータを求め、どれだけレベルが減衰したかを示す分析結果からは減衰レベルのパラメータを求め、周波数特性がどのように変化したかを示す分析結果からは周波数特性のパラメータを求める。これらのパラメータは、Base->B空間の伝達特性を表すパラメータであり、まとめてBase->B空間伝達特性パラメータと呼ぶ（以下では、同様にして求めた楽器ＸからマイクＹへの伝達特性を表すパラメータをＸ->Ｙ空間伝達特性パラメータと呼ぶ）。同様にして、パラメータ算出部２２０は、Ａ入力の音響信号（ベース音源の原音）とＣ入力の音響信号（ベース音源からマイクＣへのかぶり音）とを比較分析することによりBase->C空間伝達特性パラメータを求め、Ａ入力の音響信号（ベース音源の原音）とＤ入力の音響信号（ベース音源からマイクＤへのかぶり音）とを比較分析することによりBase->D空間伝達特性パラメータを求める。上記Base->B空間伝達特性パラメータ、Base->C空間伝達特性パラメータ、およびBase->D空間伝達特性パラメータは、データセットＤＳａ１３１として、分離部１１６に向けて出力される。
【００４３】
同様にして、トリガ信号Ｂが「１」のとき（ドラム音のみが鳴っており、他の楽器は鳴っていない状態）、パラメータ算出部２２０は、Ｂ入力の音響信号（ドラム音源の原音）とＡ，Ｃ，Ｄ入力の各音響信号（ドラム音源からマイクＡ，Ｃ，Ｄへのかぶり音）とをそれぞれ比較分析することにより、Drum->A空間伝達特性パラメータ、Drum->C空間伝達特性パラメータ、およびDrum->D空間伝達特性パラメータを求める。これらのパラメータは、データセットＤＳｂ１３２として、分離部１１６に向けて出力される。
【００４４】
トリガ信号Ｃが「１」のとき（ギター音のみが鳴っており、他の楽器は鳴っていない状態）、パラメータ算出部２２０は、Ｃ入力の音響信号（ギター音源の原音）とＡ，Ｂ，Ｄ入力の各音響信号（ギター音源からマイクＡ，Ｂ，Ｄへのかぶり音）とをそれぞれ比較分析することにより、Guitar->A空間伝達特性パラメータ、Guitar->B空間伝達特性パラメータ、およびGuitar->D空間伝達特性パラメータを求める。これらのパラメータは、データセットＤＳｃ１３３として、分離部１１６に向けて出力される。
【００４５】
トリガ信号Ｄが「１」のとき（ボーカル音のみが鳴っており、他の楽器は鳴っていない状態）、パラメータ算出部２２０は、Ｄ入力の音響信号（ボーカル音源の原音）とＡ，Ｂ，Ｃ入力の各音響信号（ボーカル音源からマイクＡ，Ｂ，Ｃへのかぶり音）とをそれぞれ比較分析することにより、Vocal->A空間伝達特性パラメータ、Vocal->B空間伝達特性パラメータ、およびVocal->C空間伝達特性パラメータを求める。これらのパラメータは、データセットＤＳｄ１３４として、分離部１１６に向けて出力される。
【００４６】
図３は、分離部１１６の詳細な構成を示す。Ａ入力〜Ｄ入力は、図２と同じマイクＡ〜ＤからＡ／Ｄ変換器１１２〜１１４を介して入力したそれぞれの音響信号を示す。Ａ入力〜Ｄ入力は、それぞれ混合器３０１〜３０４に入力する。
【００４７】
点線で囲んだ３１１は、Ａ入力の音響信号を入力し、分析部１１５から渡されたデータセットＤＳａ１３１に基づいて、Ｂ入力向けかぶり音信号、Ｃ入力向けかぶり音信号、およびＤ入力向けかぶり音信号を生成するかぶり音信号生成部を示す。該かぶり音信号生成部３１１の上段のイコライザ（ＥＱ）３２１Ｂ、レベル制御部３２２Ｂ、および遅延制御部３２３Ｂは、データセットＤＳａ１３１のうちのBase->B空間伝達特性パラメータに基づいて、Ａ入力の音響信号に対して周波数特性制御とレベル制御と遅延制御を施してＢ入力向けかぶり音信号を生成する。具体的には、上述したとおりBase->B空間伝達特性パラメータは遅延のパラメータと減衰レベルのパラメータと周波数特性のパラメータからなるが、イコライザ（ＥＱ）３２１Ｂは当該周波数特性のパラメータに基づいて周波数特性制御を施し、レベル制御部３２２Ｂは当該減衰レベルのパラメータに基づいてレベル制御を施し、遅延制御部３２３Ｂは当該遅延のパラメータに基づいて遅延制御を施す。該Ｂ入力向けかぶり音信号は、ライン３６１Ｂを介してＢ出力を生成する混合器３０２に入力する。
【００４８】
同様に、かぶり音信号生成部３１１の中段のＥＱ３２１Ｃ、レベル制御部３２２Ｃ、および遅延制御部３２３Ｃは、データセットＤＳａ１３１のうちのBase->C空間伝達特性パラメータに基づいて、Ａ入力の音響信号に対して周波数特性制御とレベル制御と遅延制御を施してＣ入力向けかぶり音信号を生成する。該Ｃ入力向けかぶり音信号は、ライン３６１Ｃを介してＣ出力を生成する混合器３０３に入力する。かぶり音信号生成部３１１の下段のＥＱ３２１Ｄ、レベル制御部３２２Ｄ、および遅延制御部３２３Ｄは、データセットＤＳａ１３１のうちのBase->D空間伝達特性パラメータに基づいて、Ａ入力の音響信号に対して周波数特性制御とレベル制御と遅延制御を施しＤ入力向けかぶり音信号を生成する。該Ｄ入力向けかぶり音信号は、ライン３６１Ｄを介してＤ出力を生成する混合器３０４に入力する。
【００４９】
上記Ｂ入力向けかぶり音信号は、要するに、ベース音源の音がマイクＢに入力したかぶり音に相当するから、混合器３０２でＢ入力の音響信号から該Ｂ入力向けかぶり音信号を減算することにより、マイクＢに入力した音響信号からベース音のかぶり音を除去することができる。同様に、混合器３０３でＣ入力の音響信号からＣ入力向けかぶり音信号を減算することにより、マイクＣに入力した音響信号から当該ベース音のかぶり音を除去することができ、混合器３０４でＤ入力の音響信号からＤ入力向けかぶり音信号を減算することにより、マイクＤに入力した音響信号から当該ベース音のかぶり音を除去することができる。
【００５０】
Ｂ入力、Ｃ入力、およびＤ入力のかぶり音信号生成部３１２，３１３，３１４についても同様である。
【００５１】
かぶり音信号生成部３１２は、Ｂ入力の音響信号を入力し、分析部１１５から渡されたデータセットＤＳｂ１３２に基づいて、Ａ入力向けかぶり音信号、Ｃ入力向けかぶり音信号、およびＤ入力向けかぶり音信号を生成する。混合器３０１で、Ａ入力の音響信号から、かぶり音信号生成部３１２から出力されたＡ入力向けかぶり音信号を減算することにより、マイクＡに入力した音響信号からドラム音のかぶり音を除去する。混合器３０３で、Ｃ入力の音響信号から、かぶり音信号生成部３１２から出力されたＣ入力向けかぶり音信号を減算することにより、マイクＣに入力した音響信号からドラム音のかぶり音を除去する。混合器３０４で、Ｄ入力の音響信号から、かぶり音信号生成部３１２から出力されたＤ入力向けかぶり音信号を減算することにより、マイクＤに入力した音響信号からドラム音のかぶり音を除去する。
【００５２】
かぶり音信号生成部３１３は、Ｃ入力の音響信号を入力し、分析部１１５から渡されたデータセットＤＳｃ１３３に基づいて、Ａ入力向けかぶり音信号、Ｂ入力向けかぶり音信号、およびＤ入力向けかぶり音信号を生成する。混合器３０１で、Ａ入力の音響信号から、かぶり音信号生成部３１３から出力されたＡ入力向けかぶり音信号を減算することにより、マイクＡに入力した音響信号からギター音のかぶり音を除去する。混合器３０２で、Ｂ入力の音響信号から、かぶり音信号生成部３１３から出力されたＣ入力向けかぶり音信号を減算することにより、マイクＣに入力した音響信号からギター音のかぶり音を除去する。混合器３０４で、Ｄ入力の音響信号から、かぶり音信号生成部３１３から出力されたＤ入力向けかぶり音信号を減算することにより、マイクＤに入力した音響信号からギター音のかぶり音を除去する。
【００５３】
かぶり音信号生成部３１４は、Ｄ入力の音響信号を入力し、分析部１１５から渡されたデータセットＤＳｄ１３４に基づいて、Ａ入力向けかぶり音信号、Ｂ入力向けかぶり音信号、およびＣ入力向けかぶり音信号を生成する。混合器３０１で、Ａ入力の音響信号から、かぶり音信号生成部３１４から出力されたＡ入力向けかぶり音信号を減算することにより、マイクＡに入力した音響信号からボーカル音のかぶり音を除去する。混合器３０２で、Ｂ入力の音響信号から、かぶり音信号生成部３１４から出力されたＣ入力向けかぶり音信号を減算することにより、マイクＣに入力した音響信号からボーカル音のかぶり音を除去する。混合器３０３で、Ｃ入力の音響信号から、かぶり音信号生成部３１４から出力されたＣ入力向けかぶり音信号を減算することにより、マイクＣに入力した音響信号からボーカル音のかぶり音を除去する。
【００５４】
なお、上記実施形態では、４つの音源からの音が４つの全てのマイクで収音されるケースを考慮したが、所望の音源、例えばボーカルだけに対してかぶり音除去を行う場合は、図３の分離部１１６は、太線で示したかぶり音信号生成部３１１，３１２，３１３のそれぞれの下段のＥＱとレベル制御部と遅延制御部、および混合器３０４があればよい。また図２の分析部１１５も、上記図３の太線部が動作するためのパラメータであるBase->D空間伝達特性パラメータ、Drum->D空間伝達特性パラメータ、およびGuitar->D空間伝達特性パラメータを生成するための構成があればよい。同様にして、例えばボーカルとギターだけに対してかぶり音除去を行うような構成を採ることもできる。
【００５５】
上記実施形態においては、音源１０１〜１０４における演奏者の演奏で入力した音響信号を分析することでデータセットＤＳａ１３１〜ＤＳｄ１３４を生成する場合を例として説明したが、予めパラメータを求めるための測定を行うことができるのであれば、各音源の音の出所の部分でインパルス的な音を発生させ、各マイクにかぶって入力した音と比較分析することにより上記のパラメータを求めることもできる。インパルス的な音の代わりにホワイトノイズなどを利用しても良い。
【００５６】
上記実施形態において、各音源の音が鳴っているか否かを判定するためのスレショルドの値は、各音源毎に異ならせても良い。例えば、ボーカルとドラムでは、鳴っているか否かを判定する基準値は異なるものとする方が妥当である。スレショルドの値は、ユーザに設定させても良いし自動設定でも良い。
【符号の説明】
【００５７】
１０１…ベース音源、１０２…ドラム音源、１０３…ギター音源、１０４…ボーカル音源、１１０…ミキサ、１１１〜１１４…Ａ／Ｄ変換器、１１５…分析部、１１６…分離部、１１８…利用機器、１１９…混合部、１２１〜１２４…Ｄ／Ａ変換器。
【技術分野】
【０００１】
この発明は、複数の音源から発生した音をそれぞれマイクで入力する場合に、それぞれの音源のために立てたマイクに別の音源の音がかぶった（回り込んでくる）とき、そのかぶり音を除去する技術に関する。
【背景技術】
【０００２】
従来より、複数トラック同時録音可能なマルチトラックレコーダが知られている。マルチトラックレコーダを利用した録音方法として、一括レコーディングとパート別レコーディングがある。
【０００３】
一括レコーディングは、例えば、演奏者が演奏する各パートの楽器毎にマイクを立てて、同時に演奏した演奏音をそれら複数のマイクから入力し、入力した複数パートの音響信号を同時にマルチトラックレコーディングする方法である。一括レコーディングは、ライブ会場で録音する場合もあるし、スタジオで録音する場合もある。パート別レコーディングは、複数のパートについて、パート毎に、演奏者が別々に演奏したものを録音していく方法である。
【０００４】
また、下記特許文献１には、複数種類の楽器等により合奏された演奏を録音した音楽信号から特定の楽器の楽音を分離、除去する音楽装置が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−１８８９７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、例えば、舞台上に、ギター、ベース、ドラム、およびボーカルなどの複数の音源があり、それらの音源音をそれぞれの音源のために立てたマイクで入力して一括レコーディングを行う場合、それぞれの音源のために立てたマイクに別の音源からの音がかぶってくる（回り込んでくる）ことがある。特に、ボーカル音に関しては、他の音のかぶりが少なくきれいなボーカル音を録音したいという要求があるが、ボーカルのマイクに他の楽器からの音（特にドラムの音は大きい）がかぶってしまい、きれいなボーカル音が録音できないことがある。
【０００７】
さらに、ボーカル音にエフェクトをかける際に、他の音のかぶりがあると、そのかぶっている音にまで同じエフェクトがかかってしまうという不都合や、エフェクト処理を行う際に、ボーカルからのピッチ抽出がうまくいかず、ピッチ補正等の処理に影響するという不都合がある。
【０００８】
上記特許文献１に記載の技術によれば、左信号と右信号からなるステレオ２チャンネルの音楽信号を複数の周波数帯域に分割し、それぞれ左信号と右信号のパワー比に基づいて、その周波数帯域における音源の存在方向に関する情報である定位情報を算出し、該定位情報と重み付け関数に基づいて各周波数帯域の左信号および右信号に乗じる重み係数を決定し、各周波数帯域のそれぞれにおいて重み係数を乗ずることで特定音源からの信号を除去、分離することができるが、上述したようなボーカル音から他の楽器のかぶり音を除去したい場合には適用できない。特に、特許文献１に記載の技術は、ステレオ２チャンネルの音楽信号から分離する技術であるので、音源毎のマイクで入力して録音するような場合には適用できないし、処理が複雑であるという問題点がある。
【０００９】
本発明は、複数の音源からの音をそれぞれマイクで入力する場合に、比較的簡単な処理で、１の音源音を入力するマイクに他の音源音が入力するかぶり音を除去する技術を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するため、請求項１に係る発明は、ｎ個のマイクで収音されたｎ個の音源音を入力し、それらの各音源音を、それぞれ、所定のスレショルドと比較することにより、それらの各音源音が鳴っているか否かを判定し、何れか１の音源音が鳴っており、他の音源が鳴っていないと判定されたとき、その１の音源に関する測定指示を発生し、前記１の音源音に関する測定指示が発生したとき、その時点の各マイクからの入力に基づいて、該１の音源音により他の音源音に対して生じるかぶり音を生成する伝達特性パラメータを生成し、前記伝達特性パラメータに基づき、前記１の音源音から他の音源音によるかぶり音を除去して、かぶり音の除去された音源音を生成することを特徴とする。
【００１１】
前記伝達特性パラメータは、例えば、前記１の音源音を収音するための１のマイクで入力した第１の音響信号とその１のマイク以外のマイクで入力した第２の音響信号とを比較することにより、前記第１の音響信号を基準として求めた前記第２の音響信号の遅延特性とレベル減衰特性と周波数特性を表すパラメータである。前記スレショルドは、ユーザによる手動設定で、または自動設定で、音源音毎に独立して設定されるようにするとよい。
【発明の効果】
【００１２】
本発明によれば、複数の音源からの音をそれぞれマイクで入力する場合に、比較的簡単な構成で、１の音源音を入力するマイクに他の音源音が入力するかぶり音を除去することができる。これにより、例えば一括レコーディングの際にかぶり音を除去した音で録音でき、エフェクトを付与する場合もかぶり音を除去した音に対してエフェクトを付与することができる。
【図面の簡単な説明】
【００１３】
【図１】実施形態のかぶり音除去装置を適用したミキサを用いて音響処理を行う全体図
【図２】分析部の詳細な構成図
【図３】分離部の詳細な構成図
【発明を実施するための形態】
【００１４】
以下、図面を用いて本発明の実施の形態を説明する。
【００１５】
図１は、本発明の一実施形態であるかぶり音除去装置を適用したミキサを用いて音響処理を行う全体図を示す。１０１はベースギターの音源、１０２はドラムの音源、１０３はギターの音源、１０４はボーカルの音源を、それぞれ示す。なお、ここでは模式的な絵で図示したが、実際は、音源１０１は演奏者とベースギターとギターアンプとスピーカに相当し、音源１０２は演奏者とドラムに相当し、音源１０３は演奏者とエレキギターとギターアンプとスピーカに相当し、音源１０４は歌を歌うボーカルに相当するものである。マイクＡ〜Ｄは、音源１０１〜１０４からのそれぞれの音を入力するためのマイクである。ただし、マイクＡには音源１０２〜１０４の音が入力してかぶり音となり、マイクＢには音源１０１，１０３，１０４の音が入力してかぶり音となり、マイクＣには音源１０１，１０２，１０４の音が入力してかぶり音となり、マイクＤには音源１０１〜１０３の音が入力してかぶり音となる。モニタＡ〜Ｄは、音源１０１〜１０４のそれぞれの演奏者のためのモニタ音出力装置であり、ここでは各演奏者が耳に装着するヘッドフォンとする。なお、図１はレコーディングスタジオで一括レコーディングを行っている様子を示すものであり、そのためにヘッドフォンを用いている。レコーディングスタジオ以外でライブ録音する場合は、インイヤーモニタやモニタ用スピーカを用いるが、その場合でも本発明は適用可能である。
【００１６】
マイクＡ〜Ｄで入力したベース、ドラム、ギター、およびボーカルの各アナログ音響信号（かぶり音を含んでいる信号）は、それぞれ、ミキサ１１０内のアナログデジタル（Ａ／Ｄ）変換器１１１〜１１４においてデジタル音響信号に変換される。それらのデジタル音響信号は、分析部１１５と分離部１１６に入力する。
【００１７】
分析部１１５は、各Ａ／Ｄ変換器１１１〜１１４からのデジタル音響信号を分析し、かぶり音を除去するためのパラメータであるデータセット１３１〜１３４（ＤＳａ〜ＤＳｄ）を生成して分離部１１６に出力する。分離部１１６は、このデータセット１３１〜１３４（ＤＳａ〜ＤＳｄ）を利用して、各Ａ／Ｄ変換器１１１〜１１４から入力した音からそれぞれかぶり音を除去し、各音源のピュアな楽音信号を出力する。分析部１１５と分離部１１６で実行する処理の原理については、後に詳述する。
【００１８】
分離部１１６から出力された各音源のピュアな楽音信号は、利用機器１１８や混合部１１９に入力する。利用機器１１８は、例えばデジタルレコーダやエフェクタなどである。利用機器１１８がデジタルレコーダであれば、入力した各音源１０１〜１０４のピュアな楽音信号を一括レコーディングすることができる。
【００１９】
利用機器１１８がエフェクタであれば、入力した各音源１０１〜１０４のピュアな楽音信号に、各種の効果を付与することができる。例えば、カラオケなどで使うボーカルハーモニーではボーカル音のピッチを採ってその音高を基準にピッチチェンジするが、そのためにはボーカル音のピッチが正確に検出されることが必要である。本実施形態のシステムによれば、かぶり音を除去したボーカル音のピッチを検出でき、該ピッチに基づいたピッチチェンジを行える。効果付与後の楽音信号は、点線１２０の経路で、混合部１１９に入力する。
【００２０】
混合部１１９は、分離部１１６や利用機器（エフェクタ）１１８から入力した楽音信号に対するミキシング処理を行う。また，混合部１１９は、各音源１０１〜１０４の演奏者へのモニタ音をそれぞれ生成する。それらのモニタ音は、デジタルアナログ（Ｄ／Ａ）変換器１２１〜１２４でアナログ音響信号に変換され、モニタＡ〜Ｄ（ヘッドフォン）に出力される。
【００２１】
次に、かぶり音除去の原理について説明する。図１のケースで特に問題となるかぶり音は、ボーカル音を収音するマイクＤで収音されるボーカル以外の音（ベース、ドラム、ギター）である。いま、ベース音源１０１から出てマイクＤで収音されるパスを Bass->D と表現する。同様に、ドラム音源１０２から出てマイクＤで収音されるバスを Drum->D、ギター音源１０３から出てマイクＤで収音されるパスを Guitar->D と、それぞれ表現する。また、ベース音源１０１から放音される音を b(t) とする。ベース音源１０１から出てマイクＤで収音される音は Fbd(b(t)) と表すことができる。Fbdは、Bass->D空間の伝達特性を表す。
【００２２】
同様に、ドラムおよびギターについても、それぞれの音源１０２，１０３から放音される音を d(t), g(t) と表現する。ドラム音源１０２から出てマイクＤで収音される音は Fdd(d(t))、ギター音源１０３から出てマイクＤで収音される音は Fgd(g(t))と、それぞれ表すことができる。FddはDrum->D空間の伝達特性を、FgdはGuitar->D空間の伝達特性を、それぞれ表す。
【００２３】
マイクＤで収音される音を micD(t) とする。ボーカルの発声する音を v(t) とすると、micD(t) は、下記式(1)のようにボーカルの発声する音 v(t) と前記かぶり音との和で表すことができる。
【００２４】
micD(t) = Fbd(b(t)) + Fdd(d(t)) + Fgd(g(t)) + v(t) … (1)
【００２５】
同様にして、b(t), d(t), g(t) はそれぞれマイクＡ，Ｂ，Ｃで収音されるが、それらのマイクＡ，Ｂ，Ｃにもそれぞれ他の音源からの音がかぶってくる。従って、マイクＡ，Ｂ，Ｃでそれぞれ収音される音 micA(t), micB(t), micC(t)は、下記の式(2)〜(4)で表すことができる。
【００２６】
micA(t) = b(t) + Fda(d(t)) + Fga(g(t)) + Fva(v(t)) … (2)
micB(t) = Fbb(b(t)) + d(t) + Fgb(g(t)) + Fvb(v(t)) … (3)
micC(t) = Fbc(b(t)) + Fdc(d(t)) + g(t) + Fvc(v(t)) … (4)
【００２７】
上記式(1),(2),(3),(4)をＺ変換し、マトリックス型に書き直すと下記式(5)となる。
【００２８】
【数１】
【００２９】
B(z), D(z), G(z), V(z) はそれぞれベース、ドラム、ギター、ボーカルの音のＺ変換であり、micA(z), micB(z), micC(z), micD(z)も同様に各マイクの収音した音のＺ変換である。簡単のために、式(5)内の行列をＭと書き、状態行列と呼ぶことにする。式(5)は下記式(6)のように書き替えられる。
【００３０】
【数２】
【００３１】
何らかの方法で状態行列Ｍの各項目を決定することができれば、その逆行列と、各マイクの音のＺ変換とから、各楽器それぞれのピュアな音のＺ変換、すなわちかぶり音を除去したピュアな音を下記式(7)の計算で求めることができる。
【００３２】
【数３】
【００３３】
ただし、全部の楽器が鳴っている状態では、状態行列Ｍの各要素を求めることはできない。そこで、分析部１１５内部に、それぞれのマイクの出力レベルと所定のスレショルドとを比較する判定部を設ける。この判定部により、あるマイクの出力レベルがそのスレショルド（しきい値）以下であれば、そのマイクに一番近い楽器は鳴っていないものと判定できる。もし、ボーカルのみが歌っていて他の楽器が音を出していなければ、micD(z) = V(z) で、B(z) = D(z) = G(z) = ０であるから、
micA(z) = Fva(z) V(z)---> Fva(z) = micA(z)/micD(z) … (8)
micB(z) = Fvb(z) V(z)---> Fvb(z) = micB(z)/micD(z) … (9)
micC(z) = Fvc(z) V(z)---> Fvc(z) = micC(z)/micD(z) … (10)
により各項を計算できる。
【００３４】
同様にして、ベースのみが演奏されている状態においてFbb(z)，Fbc(z)，Fbd(z)が計算でき、ドラムのみが演奏されている状態においてFda(z)，Fdc(z)，Fdd(z)が計算でき、ギターのみが演奏されている状態においてFga(z)，Fgb(z)，Fgd(z)が計算できる。以上により、状態行列Ｍの全ての要素を計算することができ、その状態行列Ｍから逆行列Ｍ−１を求めることができる。
【００３５】
図１の分析部１１５は、上述したように、判定部により各マイクＡ〜Ｄからの入力レベルを所定のスレショルドと比較し、何れか１つの音源のみが鳴っていると判定されるときに分析を行って、上記状態行列Ｍの全ての要素を求める。さらに、該状態行列Ｍの逆行列Ｍ−１を求め、該逆行列に基づくパラメータ１３１〜１３４（データセットＤＳａ〜ＤＳｄ）を分離部１１６に出力する。分離部１１６は、該逆行列に基づくパラメータを用いて、上記数３の式（７）に示す演算を行うことにより、各音源音から、かぶり音を除去したピュアな楽音信号を生成して出力する。
【００３６】
なお、状態行列Ｍの各要素は、例えば、会場の温度や湿度、演奏者の位置、あるいはマイクの位置などで常に変動する。従って、分析部１１５と分離部１１６の演算は、常に最新の状態となるように逐次的に計算されなければならない。逆に言えば、状態行列Ｍができるだけ変動しないようにするためには、上記の変動要因ができるだけ変化しないようにすることが必要になる。例えば、会場の温度や湿度は一定とし、各楽器の音の発生位置とマイクの位置との位置関係は一定とするのが良い。
【００３７】
なお、ここでは１つの音源音を入力するマイクに他の音源音が直接入力したかぶり音を除去する場合を説明したが、原理的には、伝達特性を表現する上記状態行列Ｍを正確に求めることができれば間接音（例えば、会場の壁面で反射した残響音など）を除去することもできる。
【００３８】
上記原理の説明では、状態行列Ｍを求め、その逆行列Ｍ−１を求め、上記式（７）の演算でかぶり音を除去したピュアな楽音信号を取得すると説明したが、実際には逐次的に精密に伝達特性を求める計算を行うのは難しい。一方、伝達特性は、具体的には、音源とマイクとの距離による音の遅延（時間差）と音量レベルの減衰および周波数特性の変化に関する特性と言えるから、これらの特性に注目してかぶり音除去を行うことができる。以下では、そのようなかぶり音除去を行うための分析部１１５と分離部１１６の詳細な構成と動作について説明する。
【００３９】
図２は、分析部１１５の詳細な構成を示す。Ａ入力、Ｂ入力、Ｃ入力、およびＤ入力は、それぞれマイクＡ，Ｂ，Ｃ，ＤからＡ／Ｄ変換器１１１〜１１４を介して入力した音響信号micA(t), micB(t), micC(t), micD(t)を示す。これらの音響信号は、それぞれＬ（レベル）検出部２０１〜２０４に入力する。Ｌ（レベル）検出部２０１は、Ａ入力のレベルを所定のスレショルドと比較し、該レベルがスレショルド以上のとき「１」、そうでないとき「０」を出力する判定部である。Ｌ（レベル）検出部２０１の出力が「１」のとき、ベース音が鳴っていることを示す。Ｌ（レベル）検出部２０２〜２０４も同様の判定部であり、各検出部２０２〜２０４の出力が「１」のとき、ドラム音、ギター音、ボーカル音がそれぞれ鳴っていることを示す。
【００４０】
２１１は、Ｌ検出部２０１の出力を正論理で入力し、Ｌ検出部２０２〜２０４の出力をそれぞれ負論理で入力して、ＡＮＤ演算するＡＮＤ回路である。結果として、ＡＮＤ回路２１１の出力は、ベース音のみが鳴っており他の楽器が鳴っていないときに「１」となる。ＡＮＤ回路２１１の出力は、トリガ信号Ａとしてパラメータ算出部２２０に入力する。同様に、ＡＮＤ回路２１２の出力はドラム音のみが鳴っており他の楽器が鳴っていないときに「１」となるトリガ信号Ｂとして、ＡＮＤ回路２１３の出力はギター音のみが鳴っており他の楽器が鳴っていないときに「１」となるトリガ信号Ｃとして、ＡＮＤ回路２１４の出力はボーカル音のみが鳴っており他の楽器が鳴っていないときに「１」となるトリガ信号Ｄとして、それぞれ、パラメータ算出部２２０に入力する。
【００４１】
パラメータ算出部２２０は、Ａ入力、Ｂ入力、Ｃ入力、およびＤ入力をそのまま入力するとともに、トリガ信号Ａ〜Ｄを入力する。
【００４２】
トリガ信号Ａが「１」のときは、ベース音のみが鳴っており、他の楽器は鳴っていない状態である。このとき、マイクＡにはベース音が入力しているが、マイクＢ，Ｃ，Ｄにはそれぞれそのベース音が直接これらのマイクＢ，Ｃ，Ｄに回り込んだかぶり音が入力している。そこで、パラメータ算出部２２０は、Ａ入力の音響信号（ベース音源の原音）とＢ入力の音響信号（ベース音源からマイクＢへのかぶり音）とを比較し、Ａ入力のベース音源の原音を基準としてＢ入力へのかぶり音が、どれだけ遅延し、どれだけレベルが減衰し、周波数特性がどのように変化したかを、分析結果として求める。パラメータ算出部２２０は、上記求めた分析結果に基づいて、ベース音（Ａ入力の音響信号）からマイクＢへのかぶり音（Ｂ入力の音響信号）を生成するパラメータを求める。どれだけ遅延したかを示す分析結果からは遅延のパラメータを求め、どれだけレベルが減衰したかを示す分析結果からは減衰レベルのパラメータを求め、周波数特性がどのように変化したかを示す分析結果からは周波数特性のパラメータを求める。これらのパラメータは、Base->B空間の伝達特性を表すパラメータであり、まとめてBase->B空間伝達特性パラメータと呼ぶ（以下では、同様にして求めた楽器ＸからマイクＹへの伝達特性を表すパラメータをＸ->Ｙ空間伝達特性パラメータと呼ぶ）。同様にして、パラメータ算出部２２０は、Ａ入力の音響信号（ベース音源の原音）とＣ入力の音響信号（ベース音源からマイクＣへのかぶり音）とを比較分析することによりBase->C空間伝達特性パラメータを求め、Ａ入力の音響信号（ベース音源の原音）とＤ入力の音響信号（ベース音源からマイクＤへのかぶり音）とを比較分析することによりBase->D空間伝達特性パラメータを求める。上記Base->B空間伝達特性パラメータ、Base->C空間伝達特性パラメータ、およびBase->D空間伝達特性パラメータは、データセットＤＳａ１３１として、分離部１１６に向けて出力される。
【００４３】
同様にして、トリガ信号Ｂが「１」のとき（ドラム音のみが鳴っており、他の楽器は鳴っていない状態）、パラメータ算出部２２０は、Ｂ入力の音響信号（ドラム音源の原音）とＡ，Ｃ，Ｄ入力の各音響信号（ドラム音源からマイクＡ，Ｃ，Ｄへのかぶり音）とをそれぞれ比較分析することにより、Drum->A空間伝達特性パラメータ、Drum->C空間伝達特性パラメータ、およびDrum->D空間伝達特性パラメータを求める。これらのパラメータは、データセットＤＳｂ１３２として、分離部１１６に向けて出力される。
【００４４】
トリガ信号Ｃが「１」のとき（ギター音のみが鳴っており、他の楽器は鳴っていない状態）、パラメータ算出部２２０は、Ｃ入力の音響信号（ギター音源の原音）とＡ，Ｂ，Ｄ入力の各音響信号（ギター音源からマイクＡ，Ｂ，Ｄへのかぶり音）とをそれぞれ比較分析することにより、Guitar->A空間伝達特性パラメータ、Guitar->B空間伝達特性パラメータ、およびGuitar->D空間伝達特性パラメータを求める。これらのパラメータは、データセットＤＳｃ１３３として、分離部１１６に向けて出力される。
【００４５】
トリガ信号Ｄが「１」のとき（ボーカル音のみが鳴っており、他の楽器は鳴っていない状態）、パラメータ算出部２２０は、Ｄ入力の音響信号（ボーカル音源の原音）とＡ，Ｂ，Ｃ入力の各音響信号（ボーカル音源からマイクＡ，Ｂ，Ｃへのかぶり音）とをそれぞれ比較分析することにより、Vocal->A空間伝達特性パラメータ、Vocal->B空間伝達特性パラメータ、およびVocal->C空間伝達特性パラメータを求める。これらのパラメータは、データセットＤＳｄ１３４として、分離部１１６に向けて出力される。
【００４６】
図３は、分離部１１６の詳細な構成を示す。Ａ入力〜Ｄ入力は、図２と同じマイクＡ〜ＤからＡ／Ｄ変換器１１２〜１１４を介して入力したそれぞれの音響信号を示す。Ａ入力〜Ｄ入力は、それぞれ混合器３０１〜３０４に入力する。
【００４７】
点線で囲んだ３１１は、Ａ入力の音響信号を入力し、分析部１１５から渡されたデータセットＤＳａ１３１に基づいて、Ｂ入力向けかぶり音信号、Ｃ入力向けかぶり音信号、およびＤ入力向けかぶり音信号を生成するかぶり音信号生成部を示す。該かぶり音信号生成部３１１の上段のイコライザ（ＥＱ）３２１Ｂ、レベル制御部３２２Ｂ、および遅延制御部３２３Ｂは、データセットＤＳａ１３１のうちのBase->B空間伝達特性パラメータに基づいて、Ａ入力の音響信号に対して周波数特性制御とレベル制御と遅延制御を施してＢ入力向けかぶり音信号を生成する。具体的には、上述したとおりBase->B空間伝達特性パラメータは遅延のパラメータと減衰レベルのパラメータと周波数特性のパラメータからなるが、イコライザ（ＥＱ）３２１Ｂは当該周波数特性のパラメータに基づいて周波数特性制御を施し、レベル制御部３２２Ｂは当該減衰レベルのパラメータに基づいてレベル制御を施し、遅延制御部３２３Ｂは当該遅延のパラメータに基づいて遅延制御を施す。該Ｂ入力向けかぶり音信号は、ライン３６１Ｂを介してＢ出力を生成する混合器３０２に入力する。
【００４８】
同様に、かぶり音信号生成部３１１の中段のＥＱ３２１Ｃ、レベル制御部３２２Ｃ、および遅延制御部３２３Ｃは、データセットＤＳａ１３１のうちのBase->C空間伝達特性パラメータに基づいて、Ａ入力の音響信号に対して周波数特性制御とレベル制御と遅延制御を施してＣ入力向けかぶり音信号を生成する。該Ｃ入力向けかぶり音信号は、ライン３６１Ｃを介してＣ出力を生成する混合器３０３に入力する。かぶり音信号生成部３１１の下段のＥＱ３２１Ｄ、レベル制御部３２２Ｄ、および遅延制御部３２３Ｄは、データセットＤＳａ１３１のうちのBase->D空間伝達特性パラメータに基づいて、Ａ入力の音響信号に対して周波数特性制御とレベル制御と遅延制御を施しＤ入力向けかぶり音信号を生成する。該Ｄ入力向けかぶり音信号は、ライン３６１Ｄを介してＤ出力を生成する混合器３０４に入力する。
【００４９】
上記Ｂ入力向けかぶり音信号は、要するに、ベース音源の音がマイクＢに入力したかぶり音に相当するから、混合器３０２でＢ入力の音響信号から該Ｂ入力向けかぶり音信号を減算することにより、マイクＢに入力した音響信号からベース音のかぶり音を除去することができる。同様に、混合器３０３でＣ入力の音響信号からＣ入力向けかぶり音信号を減算することにより、マイクＣに入力した音響信号から当該ベース音のかぶり音を除去することができ、混合器３０４でＤ入力の音響信号からＤ入力向けかぶり音信号を減算することにより、マイクＤに入力した音響信号から当該ベース音のかぶり音を除去することができる。
【００５０】
Ｂ入力、Ｃ入力、およびＤ入力のかぶり音信号生成部３１２，３１３，３１４についても同様である。
【００５１】
かぶり音信号生成部３１２は、Ｂ入力の音響信号を入力し、分析部１１５から渡されたデータセットＤＳｂ１３２に基づいて、Ａ入力向けかぶり音信号、Ｃ入力向けかぶり音信号、およびＤ入力向けかぶり音信号を生成する。混合器３０１で、Ａ入力の音響信号から、かぶり音信号生成部３１２から出力されたＡ入力向けかぶり音信号を減算することにより、マイクＡに入力した音響信号からドラム音のかぶり音を除去する。混合器３０３で、Ｃ入力の音響信号から、かぶり音信号生成部３１２から出力されたＣ入力向けかぶり音信号を減算することにより、マイクＣに入力した音響信号からドラム音のかぶり音を除去する。混合器３０４で、Ｄ入力の音響信号から、かぶり音信号生成部３１２から出力されたＤ入力向けかぶり音信号を減算することにより、マイクＤに入力した音響信号からドラム音のかぶり音を除去する。
【００５２】
かぶり音信号生成部３１３は、Ｃ入力の音響信号を入力し、分析部１１５から渡されたデータセットＤＳｃ１３３に基づいて、Ａ入力向けかぶり音信号、Ｂ入力向けかぶり音信号、およびＤ入力向けかぶり音信号を生成する。混合器３０１で、Ａ入力の音響信号から、かぶり音信号生成部３１３から出力されたＡ入力向けかぶり音信号を減算することにより、マイクＡに入力した音響信号からギター音のかぶり音を除去する。混合器３０２で、Ｂ入力の音響信号から、かぶり音信号生成部３１３から出力されたＣ入力向けかぶり音信号を減算することにより、マイクＣに入力した音響信号からギター音のかぶり音を除去する。混合器３０４で、Ｄ入力の音響信号から、かぶり音信号生成部３１３から出力されたＤ入力向けかぶり音信号を減算することにより、マイクＤに入力した音響信号からギター音のかぶり音を除去する。
【００５３】
かぶり音信号生成部３１４は、Ｄ入力の音響信号を入力し、分析部１１５から渡されたデータセットＤＳｄ１３４に基づいて、Ａ入力向けかぶり音信号、Ｂ入力向けかぶり音信号、およびＣ入力向けかぶり音信号を生成する。混合器３０１で、Ａ入力の音響信号から、かぶり音信号生成部３１４から出力されたＡ入力向けかぶり音信号を減算することにより、マイクＡに入力した音響信号からボーカル音のかぶり音を除去する。混合器３０２で、Ｂ入力の音響信号から、かぶり音信号生成部３１４から出力されたＣ入力向けかぶり音信号を減算することにより、マイクＣに入力した音響信号からボーカル音のかぶり音を除去する。混合器３０３で、Ｃ入力の音響信号から、かぶり音信号生成部３１４から出力されたＣ入力向けかぶり音信号を減算することにより、マイクＣに入力した音響信号からボーカル音のかぶり音を除去する。
【００５４】
なお、上記実施形態では、４つの音源からの音が４つの全てのマイクで収音されるケースを考慮したが、所望の音源、例えばボーカルだけに対してかぶり音除去を行う場合は、図３の分離部１１６は、太線で示したかぶり音信号生成部３１１，３１２，３１３のそれぞれの下段のＥＱとレベル制御部と遅延制御部、および混合器３０４があればよい。また図２の分析部１１５も、上記図３の太線部が動作するためのパラメータであるBase->D空間伝達特性パラメータ、Drum->D空間伝達特性パラメータ、およびGuitar->D空間伝達特性パラメータを生成するための構成があればよい。同様にして、例えばボーカルとギターだけに対してかぶり音除去を行うような構成を採ることもできる。
【００５５】
上記実施形態においては、音源１０１〜１０４における演奏者の演奏で入力した音響信号を分析することでデータセットＤＳａ１３１〜ＤＳｄ１３４を生成する場合を例として説明したが、予めパラメータを求めるための測定を行うことができるのであれば、各音源の音の出所の部分でインパルス的な音を発生させ、各マイクにかぶって入力した音と比較分析することにより上記のパラメータを求めることもできる。インパルス的な音の代わりにホワイトノイズなどを利用しても良い。
【００５６】
上記実施形態において、各音源の音が鳴っているか否かを判定するためのスレショルドの値は、各音源毎に異ならせても良い。例えば、ボーカルとドラムでは、鳴っているか否かを判定する基準値は異なるものとする方が妥当である。スレショルドの値は、ユーザに設定させても良いし自動設定でも良い。
【符号の説明】
【００５７】
１０１…ベース音源、１０２…ドラム音源、１０３…ギター音源、１０４…ボーカル音源、１１０…ミキサ、１１１〜１１４…Ａ／Ｄ変換器、１１５…分析部、１１６…分離部、１１８…利用機器、１１９…混合部、１２１〜１２４…Ｄ／Ａ変換器。
【特許請求の範囲】
【請求項１】
ｎ個のマイクで収音されたｎ個の音源音を入力する入力部と、
前記入力部により入力した各音源音を、それぞれ、所定のスレショルドと比較することにより、それらの各音源音が鳴っているか否かを判定するレベル判定部と、
何れか１の音源音が鳴っており、他の音源が鳴っていないと判定されたとき、その１の音源に関する測定指示を発生する測定指示発生部と、
前記１の音源音に関する測定指示が発生したとき、その時点の各マイクからの入力に基づいて、該１の音源音により他の音源音に対して生じるかぶり音を生成する伝達特性パラメータを生成するパラメータ生成部と、
前記伝達特性パラメータに基づき、前記１の音源音から他の音源音によるかぶり音を除去して、かぶり音の除去された音源音を生成するかぶり除去部と
を備えることを特徴とするかぶり音除去装置。
【請求項２】
請求項１に記載のかぶり音除去装置において、
前記伝達特性パラメータは、前記１の音源音を収音するための１のマイクで入力した第１の音響信号とその１のマイク以外のマイクで入力した第２の音響信号とを比較することにより、前記第１の音響信号を基準として求めた前記第２の音響信号の遅延特性とレベル減衰特性と周波数特性を表すパラメータであることを特徴とするかぶり音除去装置。
【請求項３】
請求項１に記載のかぶり音除去装置において、
前記スレショルドは、ユーザによる手動設定で、または自動設定で、音源音毎に独立して設定されることを特徴とするかぶり音除去装置。
【請求項１】
ｎ個のマイクで収音されたｎ個の音源音を入力する入力部と、
前記入力部により入力した各音源音を、それぞれ、所定のスレショルドと比較することにより、それらの各音源音が鳴っているか否かを判定するレベル判定部と、
何れか１の音源音が鳴っており、他の音源が鳴っていないと判定されたとき、その１の音源に関する測定指示を発生する測定指示発生部と、
前記１の音源音に関する測定指示が発生したとき、その時点の各マイクからの入力に基づいて、該１の音源音により他の音源音に対して生じるかぶり音を生成する伝達特性パラメータを生成するパラメータ生成部と、
前記伝達特性パラメータに基づき、前記１の音源音から他の音源音によるかぶり音を除去して、かぶり音の除去された音源音を生成するかぶり除去部と
を備えることを特徴とするかぶり音除去装置。
【請求項２】
請求項１に記載のかぶり音除去装置において、
前記伝達特性パラメータは、前記１の音源音を収音するための１のマイクで入力した第１の音響信号とその１のマイク以外のマイクで入力した第２の音響信号とを比較することにより、前記第１の音響信号を基準として求めた前記第２の音響信号の遅延特性とレベル減衰特性と周波数特性を表すパラメータであることを特徴とするかぶり音除去装置。
【請求項３】
請求項１に記載のかぶり音除去装置において、
前記スレショルドは、ユーザによる手動設定で、または自動設定で、音源音毎に独立して設定されることを特徴とするかぶり音除去装置。
【図１】
【図２】
【図３】
【図２】
【図３】
【公開番号】特開２０１３−６６０７９（Ｐ２０１３−６６０７９Ａ）
【公開日】平成２５年４月１１日（２０１３．４．１１）
【国際特許分類】
【出願番号】特願２０１１−２０３９０１（Ｐ２０１１−２０３９０１）
【出願日】平成２３年９月１７日（２０１１．９．１７）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
【公開日】平成２５年４月１１日（２０１３．４．１１）
【国際特許分類】
【出願日】平成２３年９月１７日（２０１１．９．１７）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
[ Back to top ]