信号処理装置
【課題】 複数の原信号が混合された混合信号から、対象となる原信号を良好に復元することができる信号処理装置を提供する。
【解決手段】 分離信号生成部20は、周波数領域に変換された1フレーム分の混合信号から、互いに独立した複数の分離信号を生成する。マスク処理部30は、第1および第2分離信号に基づいて、周波数ビン毎に第1分離信号の雑音状況を判断する。またマスク処理部30は、雑音状況の判断結果に基づいて求められた第1雑音成分を第1分離信号から除去する。雑音量計測部40は、第1分離信号の雑音量を計測する。雑音信号選択部50は、雑音量計測部40によって計測された雑音量に基づいて、周波数便毎に雑音信号を選択する。雑音除去処理部60は、周波数ビン毎に、マスク処理部30より入力された雑音除去信号から第2雑音成分を除去する。また雑音除去処理部60は、第2雑音成分が除去された雑音除去信号を目的信号として出力する。
【解決手段】 分離信号生成部20は、周波数領域に変換された1フレーム分の混合信号から、互いに独立した複数の分離信号を生成する。マスク処理部30は、第1および第2分離信号に基づいて、周波数ビン毎に第1分離信号の雑音状況を判断する。またマスク処理部30は、雑音状況の判断結果に基づいて求められた第1雑音成分を第1分離信号から除去する。雑音量計測部40は、第1分離信号の雑音量を計測する。雑音信号選択部50は、雑音量計測部40によって計測された雑音量に基づいて、周波数便毎に雑音信号を選択する。雑音除去処理部60は、周波数ビン毎に、マスク処理部30より入力された雑音除去信号から第2雑音成分を除去する。また雑音除去処理部60は、第2雑音成分が除去された雑音除去信号を目的信号として出力する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複数の波動源のうち対象となる波動源から出力された原信号を目的信号として復元する信号処理装置に関する。
【背景技術】
【0002】
従来より、複数の音源から出力された音源信号について、周波数領域における独立成分分析法に基づいたブラインド音源分離方式の音源分離処理を用いることにより、各音源信号が重畳された複数の混合音源信号から、音源信号に対応した分離信号を生成する技術が知られている(例えば、特許文献1ないし特許文献3)。
【0003】
特許文献1の技術では、周波数領域における独立成分分析法に基づいたブラインド音源分離方式の音源分離処理により、複数の分離信号としてSIMO(single-input multiple-output)信号が、周波数ビン毎に生成される。次に、複数の分離信号のうち、分離対象となる音源に対応した第1分離信号と、この音源に対応した分離信号以外の第2分離信号と、が周波数ビン毎に比較される。そして、分離信号の比較結果に基づいたマスク処理により、周波数ビン毎に第1分離信号から雑音成分が除去されて、目的信号が生成される。
【0004】
また、特許文献2の技術では、分離対象となる音源から出力される音源信号の到来方向と、雑音信号の到来方向と、が相違していることを利用して、音源分離処理が実行される。すなわち、周波数領域の独立成分分析法に基づいた音源分離処理後において、目的信号に対応するストレート成分の分離信号と、妨害音に対応するクロス成分の分離信号との、相互相関が演算され、この相互相関が最大となる時の遅延量から雑音推定のための係数が求められる。そして、この求められた係数に基づいて、目的信号に対応する分離信号から雑音成分が除去される。
【0005】
さらに、特許文献3の技術では、目的の音源から出力される音源信号と、雑音信号との振幅スペクトルが、同時刻および同周波数において、同時に大きな値とならないという仮定に基づいた雑音推定および雑音除去が実行される。
【0006】
【特許文献1】特開2006−154314号公報
【特許文献2】特許3831220号公報
【特許文献3】特開2005−308771号公報
【発明の開示】
【発明が解決しようとする課題】
【0007】
しかし、屋外において特許文献1ないし特許文献3の技術が使用されて音源分離処理が実行される場合、以下のような問題が生ずる。すなわち、屋外には、虫の音、雨音、風、および波の音等の環境音や反響音のように分離対象となる音源から出力された音の周囲を覆う雑音が多く含まれている。そのため、このような雑音状況下にあっては、特許文献1の技術によっても、雑音信号から分離対象となる音源信号を良好に分離して抽出できない場合が生じている。
【0008】
また、特許文献2の技術では、上述のように、分離対象となる目的の音源からの音源信号と、雑音信号とが、それぞれ異なる方向から出力されることを利用している。そのため、環境音や反響音のように、雑音信号が目的の音源から出力された音源信号を覆い、目的の音源信号と雑音信号とが重なり合う場合には、分離対象となる音源信号を良好に分離できないという問題が生じている。
【0009】
さらに、特許文献3の技術では、分離対象となる音源信号と、雑音信号とは、スパース性が大きいこと、すなわち、この音源信号と雑音信号とが混合していても、周波数領域におけるこれら信号の重なりは少ないこと、を前提としている。そのため、特許文献3の技術についても、特許文献1および2の技術と同様に、屋外環境では、分離対象となる音源信号を良好に分離できないという問題が生じている。
【0010】
そして、この問題は、音波に限定されず、電磁波や脳波のように複数の波動源のうち対象となる波動源から出力される原信号を目的信号として復元する場合にも同様に生ずる。
【0011】
そこで、本発明では、複数の原信号が混合された混合信号から、対象となる原信号を良好に復元することができる信号処理装置を提供することを目的とする。
【課題を解決するための手段】
【0012】
上記の課題を解決するため、請求項1の発明は、複数の波動源のうち対象となる波動源から出力された原信号を目的信号として復元する信号処理装置であって、各々が、前記複数の波動源から出力された複数の原信号につき、該複数の原信号を混合信号として観測可能な複数の観測部と、各観測部で観測されて周波数領域に変換された1フレーム分の前記混合信号から、互いに独立した複数の分離信号を前記フレーム内の周波数ビン毎に生成する分離信号生成部と、前記複数の分離信号のうち前記目的信号に対応する第1分離信号と、前記複数の分離信号のうち前記第1分離信号以外の第2分離信号と、に基づいて、前記第1分離信号の雑音状況を判断する処理と、雑音状況の判断結果に基づいて求められた第1雑音成分を前記第1分離信号から除去することにより雑音除去信号を生成する処理と、前記雑音状況の判断結果に基づいて雑音状況信号を生成する処理とを、前記フレーム内の周波数ビン毎に行うマスク処理部と、前記マスク処理部側から入力された前記周波数ビン毎の雑音状況信号に基づいて、前記フレーム毎に、前記第1分離信号に含まれる雑音量を計測する雑音量計測部と、前記雑音量計測部によって計測された前記雑音量に基づいて、前記周波数ビン毎に、前記第2分離信号のうちの1つの信号を雑音信号として選択する雑音信号選択部と、前記雑音信号に基づいて生成された第2雑音成分を、前記雑音除去信号から前記周波数ビン毎に除去するとともに、前記第2雑音成分が除去された前記雑音除去信号を目的信号として出力する雑音除去処理部とを備えることを特徴とする。
【0013】
また、請求項2の発明は、請求項1に記載の信号処理装置において、前記マスク処理部は、前記周波数ビン毎に、前記目的信号に対応する前記第1分離信号の振幅スペクトルと、前記第2分離信号の振幅スペクトルと、の大小比較に基づいて、前記雑音状況の判断と、前記雑音状況信号の生成とを行い、前記雑音量計測部は、前記雑音状況信号を計数することによって、前記雑音量を計測することを特徴とする。
【0014】
また、請求項3の発明は、複数の波動源のうち対象となる波動源から出力された原信号を目的信号として復元する信号処理装置であって、各々が、前記複数の波動源から出力された複数の原信号につき、該複数の原信号を混合信号として観測可能な複数の観測部と、各観測部で観測されて周波数領域に変換された1フレーム分の前記混合信号から、互いに独立した複数の分離信号を前記フレーム内の周波数ビン毎に生成する分離信号生成部と、前記複数の分離信号のうち前記目的信号に対応する第1分離信号と、前記複数の分離信号のうち前記第1分離信号以外の第2分離信号と、に基づいて、前記第1分離信号の雑音状況を判断する処理と、雑音状況の判断結果に基づいて求められた第1雑音成分を前記第1分離信号から除去することにより雑音除去信号を生成する処理とを前記フレーム内の周波数ビン毎に行うマスク処理部と、前記分離信号生成部から入力された前記複数の分離信号に基づいて、前記フレーム毎に、前記第1分離信号に含まれる雑音量を計測する雑音量計測部と、前記雑音量計測部によって計測された前記雑音量に基づいて、前記周波数ビン毎に、前記第2分離信号のうちの1つの信号を雑音信号として選択する雑音信号選択部と、前記雑音信号に基づいて生成された第2雑音成分を前記雑音除去信号から前記周波数ビン毎に除去するとともに、前記第2雑音成分が除去された前記雑音除去信号を目的信号として出力する雑音除去処理部とを備えることを特徴とする。
【0015】
また、請求項4の発明は、請求項3に記載の信号処理装置において、前記雑音量計測部は、前記分離信号生成部から入力された周波数領域の第1分離信号を時間領域に変換するとともに、変換後の前記第1分離信号を用いて演算された尖度に基づいて、前記第1分離信号に含まれる前記雑音量を計測することを特徴とする。
【0016】
また、請求項5の発明は、請求項3に記載の信号処理装置において、前記雑音量計測部は、前記分離信号生成部から入力された第2分離信号の広がり状況に基づいて、前記フレーム毎に、前記第1分離信号に含まれる雑音量を計測することを特徴とする。
【0017】
また、請求項6の発明は、請求項5に記載の信号処理装置において、前記広がり状況は、第2分離信号の方向のばらつき状況であることを特徴とする。
【0018】
また、請求項7の発明は、請求項1ないし請求項5のいずれかに記載の信号処理装置において、前記雑音除去処理部は、前記雑音量計測部側から入力された前記雑音量と、前記雑音信号選択部によって選択された雑音信号と、に基づいて、前記第2雑音成分を生成することを特徴とする。
【0019】
また、請求項8の発明は、請求項1ないし請求項7のいずれかに記載の信号処理装置において、前記雑音除去処理部は、前記雑音除去信号の振幅スペクトルから前記第2雑音成分の振幅スペクトルを減算することによって、前記周波数ビン毎に前記目的信号の振幅スペクトルを演算することを特徴とする。
【0020】
また、請求項9の発明は、請求項1ないし請求項8のいずれかに記載の信号処理装置において、M個の波動源から出力されたM個の原信号は、それぞれN個の観測部によって観測され(M、Nは、それぞれ2以上の自然数)、前記マスク処理部は、1個の第1分離信号と、(M−1)×N個の第2分離信号と、に基づいて雑音状況を判断し、前記雑音信号選択部は、(M−1)×N個の第2分離信号のうちの1つを、雑音信号として選択することを特徴とする。
【発明の効果】
【0021】
請求項1ないし請求項9に記載の発明によれば、第1分離信号の雑音状況に応じ、マスク処理部および雑音除去処理部によって雑音除去が実行される。すなわち、マスク処理部により雑音除去された雑音除去信号からは、第1分離信号の雑音状況に応じた第2雑音成分が、さらに除去される。そのため、環境音や反響音のように波動源から出力された原信号の周囲を覆う雑音信号が多く含まれている場合であっても、、さらに良好に雑音成分を除去することができる。
【0022】
また、請求項1、請求項2、および請求項7ないし請求項9に記載の発明によれば、雑音量計測部は、マスク処理部によって得られた雑音状況の判断結果を利用して、雑音量を計測することができる。そのため、雑音量計測部のハードウェア構成を簡略化することができ、装置全体の製造コストを低減させることができる。
【0023】
また、請求項3ないし請求項9に記載の発明によれば、雑音量計測部は、分離信号生成部から出力された分離信号を使用して雑音量を計測することができる。すなわち、雑音量の計測にマスク処理部の介在は必要とされない。そのため、雑音量計測部とマスク処理部との間で実行される処理(例えば、同期処理)が不要となり、雑音量計測部およびマスク処理部の回路構成を簡略化することができる。
【0024】
特に、請求項2に記載の発明によれば、雑音量計測部は、目的信号に対応する第1分離信号の振幅スペクトルと、第2分離信号の振幅スペクトルと、の大小比較によって生成された雑音状況信号について、該雑音状況信号を計数することによって雑音量を計測することができる。そのため、容易な演算処理で雑音量を求めることができ、雑音量計測部の計算コストを低減させることができる。
【0025】
特に、請求項4に記載の発明によれば、雑音量計測部は、目的信号に対応する第1分離信号の統計量(尖度)に基づいて、第1分離信号に含まれる雑音量を計測することができる。そのため、第1分離信号の雑音状況を正確に把握することができ、雑音除去処理部による雑音除去を良好に実行することができる。
【0026】
特に、請求項5および請求項6に記載の発明によれば、雑音量計測部は、第1分離信号と比較して雑音成分を多く含む第2分離信号につき、該第2分離信号の広がり状況(第2分離信号の方向のばらつき状況)に基づいて、波動源が配置された空間の雑音状況を定量化することができる。そのため、第1分離信号の雑音状況を正確に把握することができ、雑音除去処理部による雑音除去を良好に実行することができる。
【0027】
特に、請求項7に記載の発明によれば、雑音信号から第2雑音成分を生成する場合において、雑音除去処理部は、雑音量計測部で生成された雑音量をも考慮に入れて第2雑音成分を生成することができる。そのため、目的信号に対応する雑音除去信号から雑音成分をさらに良好に除去することができる。
【0028】
特に、請求項8に記載の発明によれば、雑音除去処理部は、減算処理によって目的信号の振幅スペクトルを演算することができる。そのため、雑音除去処理部の計算コストを低減させることができる。
【発明を実施するための最良の形態】
【0029】
以下、図面を参照しつつ本発明の実施の形態について詳細に説明する。
【0030】
<1.第1の実施の形態>
<1.1.信号処理装置の構成>
図1は、第1の実施の形態における信号処理装置1の構成の一例を示すブロック図である。ここで、信号処理装置1は、複数の音源(波動源)10(10a、10b)のうち対象となる音源10から出力された原信号を目的信号として復元する信号処理装置である。信号処理装置1において分離手法としては、いわゆる独立成分分析法に基づくブラインド音源分離方式が採用されている。
【0031】
図1に示すように、信号処理装置1は、主として、観測部15と、分離信号生成部20と、マスク処理部30と、雑音量計測部40と、雑音信号選択部50と、雑音除去処理部60と、を備えている。
【0032】
複数のマイク15(15a、15b)のそれぞれは、音源10(10a、10b)から出力された各音源信号(原信号)s1(t)、s2(t)につき、これら音源信号の混合信号を観測する観測部である。すなわち、各マイク15では、複数(本実施の形態の場合、2つ)の音源10のそれぞれから出力された音源信号が重畳されている。
【0033】
また、マイク15a、15bは、それぞれ音源10a、10b側に配置されている。したがって、マイク15aによって受音された時間領域の混合信号x1(t)からは、独立成分分析法に基づいて、目的信号y1(t)に対応する周波数領域の分離信号y11(f,t)(図2参照)が分離される。また同様に、マイク15bによって受音された混合信号x2(t)からは、目的信号y2(t)に対応する分離信号y21(f,t)(図2参照)が分離される。
【0034】
フーリエ変換部17(17a、17b)は、マイク15(15a、15b)から入力された時間領域の混合信号x1(t)、x2(t)を、周波数領域の混合信号x1(f,t)、x2(f,t)に変換する。なお、本実施の形態では、所定時間内の混合信号x1(t)、x2(t)をフレームとして、フレーム毎に離散的フーリエ変換が施される。また、離散的フーリエ変換の計算アルゴリズムとしては、高速フーリエ変換(FFT:Fast Fourier Transform)が使用される。
【0035】
図2は、分離信号生成部20の構成の一例を示すブロック図である。分離信号生成部20は、各マイク15で観測され、対応するフーリエ変換部17によって周波数領域に変換された1フレーム分の混合信号x1(f,t)、x2(f,t)から、互いに独立した複数(本実施の形態では、4つ)の分離信号を生成する。図2に示すように、分離信号生成部20は、主として、独立成分分析部21と、逆射影演算部22と、分離信号演算部25と、を有している。
【0036】
ここで、この分離信号は、フレーム内の周波数ビン(特定幅の周波数帯域)毎に生成される。また、本実施の形態において、各フレームは、1024個の周波数ビンに分割されているが、フレーム内の周波数ビンの個数はこれに限定されるものでなく、必要に応じて増減させてもよい。
【0037】
独立成分分析部21は、周波数領域の独立成分分析法で使用される分離行列(w11、w22)を求める。この係数w11、w22は、数1および数2に示すように、2つのマイク15a、15bに基づいた混合信号x1(f,t)、x2(f,t)から、各音源10a、10bに対応する分離信号y11(f,t)、y21(f,t)を演算するために使用される。
【0038】
【数1】
【0039】
【数2】
【0040】
なお、独立成分分析部21において、係数w11、w22を求めるための学習アルゴリズムとしては、例えば、Amariによって考案された高速アルゴリズム(Kullback-Leibler divergenceの最小化に基づた教師なし適応アルゴリズム)が使用される。
【0041】
逆射影演算部22は、独立成分分析部21で学習した分離行列(w11、w22)の逆射影を演算することによって、分離行列(w12、w21)を求める。この係数w12、w21は、数3および数4に示すように、混合信号x1(f,t)、x2(f,t)から、2つのマイク15a、15bの対角線上の信号成分(分離信号y22(f,t)、y12(f,t))を演算するために使用される。
【0042】
【数3】
【0043】
【数4】
【0044】
ここで、対角線上の信号成分とは、音源10bから出力されてマイク15aによって観測された音源信号(分離信号y22(f,t)が対応)を、音源10aから出力されてマイク15bによって観測された音源信号(分離信号y12(f,t)が対応)を、それぞれいう。
【0045】
分離信号演算部25は、独立成分分析部21および逆射影演算部22によって求められた分離行列(w11、w22、w12、w22)と、各マイク15a、15bから入力された混合信号x1(f,t)、x2(f,t)と、を数1ないし数4に代入することによって、分離信号y11(f,t)、y12(f,t)、y21(f,t)、y22(f,t)を演算する。
【0046】
このように、本実施の形態の分離信号生成部20では、SIMO(Single-Input Multiple-Output )モデルに基づく独立成分分析によって、各分離信号y11(f,t)、y12(f,t)、y21(f,t)、y22(f,t)が求められる。
【0047】
図3は、マスク処理部30の構成の一例を示すブロック図である。図4ないし図6は、マスク処理部30による雑音成分(第1雑音成分)の除去手法を説明するための図である。マスク処理部30は、分離信号生成部20から入力された複数の分離信号y11(f,t)、y12(f,t)、y21(f,t)、y22(f,t)のうち、目的信号に対応する分離信号(以下、「第1分離信号」とも呼ぶ)と、この複数の分離信号のうち、第1分離信号以外の分離信号(以下、「第2分離信号」とも呼ぶ)に基づいて、第1分離信号の雑音状況を判断する(雑音状況判断部31が対応)。
【0048】
また、マスク処理部30は、雑音状況の判断結果に基づいて求められた雑音成分(第1雑音成分)を第1分離信号から除去することにより雑音除去信号を生成する(除去部35が対応)。
【0049】
図3に示すように、マスク処理部30は、主として、雑音状況判断部31と、除去部35と、を有している。
【0050】
雑音状況判断部31(31a、31b)は、分離信号生成部20からの分離信号に基づいて、目的信号に含まれる雑音の状況を判断する。ここで、目的信号y1(t)に対応する第1分離信号y11(f,t)の雑音状況を判断する雑音状況判断部31aには、分離信号y21(f,t)、y12(f,t)、y22(f,t)が第2分離信号として入力される。一方、目的信号y2(t)に対応する第1分離信号y21(f,t)の雑音状況を判断する雑音状況判断部31bには、分離信号y11(f,t)、y22(f,t)、y12(f,t)が第2分離信号として入力される。
【0051】
各雑音状況判断部31の選択部32(32a、32b)は、入力された各第2分離信号の振幅スペクトルの絶対値を比較し、その絶対値が最大となる第2分離信号を選択する。
【0052】
比較部33(33a、33b)は、目的信号に対応する第1分離信号、および選択部32によって選択された第2分離信号について、振幅スペクトルの絶対値の大小比較を周波数ビン毎に行う。
【0053】
第1分離信号の振幅スペクトルの絶対値の方が第2分離信号の振幅スペクトルの絶対値より大きい場合には(図4および図5の周波数ビンFB5を参照)、比較部33(33a、33b)は、第1分離信号の信号成分が雑音成分(第1雑音成分)に該当しないものとして判断する。そして、比較部33a、33bは、雑音状況信号m1(f,t)、m2(f,t)として「1」を生成する。
【0054】
一方、第1分離信号の振幅スペクトルの絶対値が第2分離信号の振幅スペクトルの絶対値以下となる場合には(図4および図5の周波数ビンFB1〜FB4を参照)、比較部33(33a、33b)は、第1分離信号の信号成分が雑音成分に該当するものとして判断する。そして、比較部33a、33bは、雑音状況信号m1(f,t)、m2(f,t)として「0」を生成する。
【0055】
除去部35(35a、35b)は、対応する雑音状況信号m1(f,t)、m2(f,t)に基づいた雑音除去処理を実行する。すなわち、雑音状況信号m1(f,t)が「0」の場合、除去部35aは、雑音状況信号m1(f,t)に対応する周波数ビンの信号成分(第1雑音成分)を第1分離信号から除去する(図6の周波数ビンFB1〜FB4を参照)。そして、除去部35は、第1雑音成分が除去された雑音除去信号y11’(f,t)を出力する。
【0056】
一方、雑音状況信号m1(f,t)が「1」の場合、除去部35aは、雑音状況信号m1(f,t)に対応する周波数ビンの信号成分を除去しない(図6の周波数ビンFB5を参照)。そして、除去部35は、分離信号y11(f,t)を雑音除去信号y11’(f,t)として出力する。
【0057】
除去部35bについても、除去部35aと同様な処理が実行されることによって、雑音状況信号m2(f,t)に基づいた雑音成分の除去が行われ、雑音除去信号y21’(f,t)が出力される。
【0058】
図7は、本実施の形態の雑音量計測部40の構成の一例を示すブロック図である。雑音量計測部40は、 マスク処理部30側から入力された周波数ビン毎の雑音状況信号m1(f,t)、m2(f,t)に基づいて、フレーム毎に、前記第1分離信号に含まれる雑音量を計測する。図7に示すように、雑音量計測部40は、主として、計数部41(41a、41b)を有している。
【0059】
計数部41(41a、41b)は、対応する比較部33(33a、33b)から出力された前記雑音状況信号を計数し、その計数結果を雑音量nc1(t)、nc2(t)として出力する。このように、雑音量計測部40は、容易な演算処理で雑音量nc1(t)、nc2(t)を求めることができる。そのため、雑音量計測部40の計算コストを低減させることができる。
【0060】
図8は、雑音信号選択部50の構成の一例を示すブロック図である。雑音信号選択部50は、雑音量計測部40によって計測された雑音量nc1(t)、nc2(t)に基づいて、雑音信号を選択する処理を周波数ビン毎に実行する。図8に示すように、雑音信号選択部50は、主として、選択信号生成部51(51a、51b)と、選択部53(53a、53b)と、を有している。
【0061】
選択信号生成部51aは、音源10aからの音源信号(目的信号)に対応する雑音除去信号y11’(f,t)につき、この信号から除去される雑音信号の選択に使用される選択信号を周波数ビン毎に生成する。
【0062】
すなわち、選択信号生成部51aに入力された雑音量nc1(t)につき、雑音量nc1(t)<閾値Th10となる場合には、選択信号生成部51aは、雑音除去信号y11’(f,t)には、目的の音源10aから出力された音源信号と雑音信号との重なり合いが小さいものと判断する。そして、選択信号生成部51aは、雑音信号yn1(f,t)として、マイク15bの対角線上の信号成分(すなわち、マイク15bにて受音された音源10aに対応する分離信号y12(f,t))を選択するよう、選択信号を生成する。 ここで、この選択信号によって選択される分離信号y12(f,t)は、目的信号に対応する雑音除去信号y11’(f,t)と同様な信号が含まれている。したがって、目的信号に対応する信号が分離信号y11(f,t)(雑音除去信号y11’(f,t))である場合、分離信号y12(f,t)の雑音含有量は、他の第2分離信号(分離信号y22(f,t)、y21(f,t)と比較して少ない。
【0063】
また、閾値Th10≦雑音量nc1(t)<閾値Th11となる場合には、選択信号生成部51aは、目的音源10aの音源信号と雑音信号との重なり合いが中程度であると判断する。そして、選択信号生成部51aは、雑音信号yn1(f,t)として、マイク15aの対角線上の信号成分(すなわち、マイク15aにて受音された音源10bに対応する分離信号y22(f,t))を選択するよう、選択信号を生成する。
【0064】
ここで、この選択信号によって選択される分離信号y22(f,t)は、音源10bからの目的信号に対応し、分離信号y21(f,t)に対応する信号である。また、分離信号y22(f,t)は、マイク15aの対角線上の信号成分であり、分離信号y21(f,t)と比較して、振幅スペクトルの絶対値が小さい。したがって、目的信号に対応する信号が分離信号y11(f,t)である場合、分離信号y22(f,t)の雑音含有量は、他の第2分離信号(分離信号y12(f,t)、y21(f,t))と比較し中程度である。
【0065】
さらに、閾値Th11≦雑音量nc1(t)となる場合には、選択信号生成部51aは、目的音源10aの音源信号と雑音信号との重なり合いが大きいと判断する。そして、選択信号生成部51aは、雑音信号yn1(f,t)として、マイク15bからの目的信号に対応する分離信号y21(f,t)を選択する。
【0066】
ここで、この選択信号によって選択される分離信号y21(f,t)は、音源10bからの目的信号に対応する。したがって、目的信号に対応する信号が分離信号y11(f,t)である場合、分離信号y22(f,t)の雑音含有量は、他の第2分離信号(分離信号y12(f,t)、y22(f,t))と比較し大きい。
【0067】
このように、選択部53aは、選択信号生成部51a側から入力される選択信号に基づいて、周波数ビン毎に、分離信号生成部20側から第2分離信号として入力される分離信号y21(f,t)、y12(f,t)、y22(f,t)のうち1の分離信号を雑音信号yn1(f,t)を選択する。そして、選択された雑音信号yn1(f,t)は、雑音除去処理部60側に出力される。
【0068】
すなわち、選択部53aは、雑音量nc1(t)に基づいて、第2分離信号から1の分離信号を雑音信号yn1(f,t)として選択できる。例えば、雑音量nc1(t)が少ない場合には、目的信号に対して雑音含有量の小さな雑音信号が選択される。そのため、雑音除去処理部60の除去処理によって目的信号が劣化することを抑制できる。
【0069】
選択信号生成部51bは、音源10bからの音源信号(目的信号)に対応する雑音除去信号y21’(f,t)につき、この信号から除去される雑音信号の選択に使用される選択信号を周波数ビン毎に生成する。
【0070】
すなわち、選択信号生成部51bに入力された雑音量nc2(t)につき、雑音量nc2(t)<閾値Th20となる場合には、選択信号生成部51bは、雑音除去信号y21’(f,t)には、目的の音源10bから出力された音源信号と雑音信号との重なり合いが小さいものと判断する。そして、選択信号生成部51bは、雑音信号yn2(f,t)として、マイク15aの対角線上の信号成分(すなわち、マイク15aにて受音された音源10bに対応する分離信号y22(f,t))を選択するよう、選択信号を生成する。 ここで、この選択信号によって選択される分離信号y22(f,t)は、目的信号に対応する雑音除去信号y21’(f,t)と同様な信号が含まれている。したがって、目的信号に対応する信号が雑音除去信号y11’(f,t)(分離信号y11(f,t))である場合、分離信号y22(f,t)の雑音含有量は、他の第2分離信号(分離信号y22(f,t)、y11(f,t)と比較して少ない。
【0071】
また、閾値Th20≦雑音量nc2(t)<閾値Th21となる場合には、選択信号生成部51bは、目的音源10bの音源信号と雑音信号との重なり合いが中程度であると判断する。そして、選択信号生成部51bは、雑音信号yn2(f,t)として、マイク15bの対角線上の信号成分(すなわち、マイク15bにて受音された音源10aに対応する分離信号y12(f,t))を選択するよう、選択信号を生成する。
【0072】
ここで、この選択信号によって選択される分離信号y12(f,t)は、音源10aからの目的信号に対応し、分離信号y11(f,t)に対応する信号である。また、分離信号y12(f,t)は、マイク15bの対角線上の信号成分であり、分離信号y11(f,t)と比較して、振幅スペクトルの絶対値が小さい。したがって、目的信号に対応する信号が分離信号y21(f,t)である場合、分離信号y12(f,t)の雑音含有量は、他の第2分離信号(分離信号y11(f,t)、y22(f,t))と比較し中程度である。
【0073】
さらに、閾値Th21≦雑音量nc2(t)となる場合には、選択信号生成部51bは、目的音源10bの音源信号と雑音信号との重なり合いが大きいと判断する。そして、選択信号生成部51bは、雑音信号yn2(f,t)として、マイク15aからの目的信号に対応する分離信号y11(f,t)を選択する。
【0074】
ここで、この選択信号によって選択される分離信号y11(f,t)は、音源10aからの目的信号に対応する。したがって、目的信号に対応する信号が分離信号y21(f,t)である場合、分離信号y11(f,t)の雑音含有量は、他の第2分離信号(分離信号y12(f,t)、y22(f,t))と比較し大きい。
【0075】
このように、選択部53bは、選択信号生成部51b側から入力される選択信号に基づいて、周波数ビン毎に、分離信号生成部20側から第2分離信号として入力される分離信号y11(f,t)、y12(f,t)、y22(f,t)のうち1の分離信号を雑音信号yn2(f,t)として選択する。そして、選択された雑音信号yn2(f,t)は、雑音除去処理部60側に出力される。
【0076】
すなわち、選択部53bは、雑音量nc2(t)に基づいて、第2分離信号から1の分離信号を雑音信号yn2(f,t)として選択できる。例えば、雑音量nc2(t)が少ない場合には、目的信号に対して雑音含有量の小さな雑音信号が選択される。そのため、雑音除去処理部60の除去処理によって目的信号が劣化することを抑制できる。
【0077】
図9は、雑音除去処理部60の構成の一例を示すブロック図である。雑音除去処理部60は、周波数ビン毎に、マスク処理部30から入力された雑音除去信号y11’(f,t)、y21’(f,t)から雑音成分(第2雑音成分)を除去する。また、雑音除去処理部60は、第2雑音成分が除去された雑音除去信号y11”(f,t)、y21”(f,t)を目的信号として逆フーリエ変換部18(18a、18b)側に出力する。
【0078】
図9に示すように、雑音除去処理部60は、主として、雑音成分生成部61(61a)と、除去部65(65a、65b)と、を有している。
【0079】
なお、雑音成分生成部61a、61bでは同様な処理が行われるため、以下では雑音成分生成部61aで実行される処理についてのみ説明する。また、除去部65a、65bにおいても同様な処理が行われるため、以下では除去部65aで実行される処理についてのみ説明する。
【0080】
雑音成分生成部61aは、雑音信号選択部50側によって選択された雑音信号yn1(f,t)と、雑音量計測部40側から入力された雑音量nc1(t)と、に基づいて第2雑音成分を、周波数ビン毎に生成する。
【0081】
ここで、本実施の形態において第2雑音成分は、雑音量nc1(t)を線形変換(例えば、ルックアップテーブルに基づいて雑音量nc1(t)を変換する、または、雑音量nc1(t)を対数変換する等)し、変換後の雑音量nc1(t)と、雑音信号yn1(f,t)とを乗算することによって求められる。なお、線形変換手法については、予め実験等により必要なパラメータ等が定められる。
【0082】
このように、雑音除去処理部60の雑音成分生成部61aでは、雑音量計測部40で生成された雑音量nc1(t)をも考慮に入れて第2雑音成分を生成することができる。そのため、目的信号に対応する雑音信号yn1(f,t)から雑音成分をさらに良好に除去することができる。
【0083】
除去部65aは、雑音除去信号y11’(f,t)の振幅スペクトルの絶対値から第2雑音成分の振幅スペクトルの絶対値を減算することにより、目的信号に対応する信号の振幅スペクトルを求める。また、除去部65aは、雑音除去信号y11’(f,t)の位相角を検出する。そして、除去部65aは、求められた振幅スペクトルと位相角とに基づいて、雑音除去信号y11”(f,t)を生成する。
【0084】
このようにの雑音除去処理部60の除去部65aでは、減算処理によって目的信号の振幅スペクトルを演算することができる。そのため、除去部65aの計算コストを低減させることができる。
【0085】
なお、雑音成分生成部61bでは、第2雑音成分が、雑音成分生成部61aと同様な処理により、雑音量nc2(t)と雑音信号yn2(f,t)とに基づいて演算される。また、除去部65bでは、雑音除去信号y21’(f,t)の振幅スペクトルの絶対値から、第2雑音成分の振幅スペクトルの絶対値が減算されることによって、雑音除去信号y21”(f,t)の振幅スペクトルが演算される。
【0086】
逆フーリエ変換部18(18a、18b)は、雑音除去処理部60の除去部65a、65bから出力された周波数領域の雑音除去信号y11”(f,t)、y21”(f,t)を時間領域の目的信号y1(t)、y2(t)に変換する。
【0087】
<1.2.第1の実施の形態の信号処理装置の利点>
以上のように、第1の実施の形態の信号処理装置1では、第1分離信号の雑音状況に応じ、マスク処理部30および雑音除去処理部60によって雑音除去が実行される。すなわち、マスク処理部30により雑音除去された雑音除去信号y11’(f,t)、y21’(f,t)からは、第1分離信号の雑音状況に応じた第2雑音成分が、さらに除去される。そのため、環境音や反響音のように波動源から出力された原信号の周囲を覆う雑音信号が多く含まれている場合であっても、マスク処理部30による除去処理がなされた第1分離信号から、さらに良好に雑音成分を除去することができる。
【0088】
また、第1の実施の形態の雑音量計測部40は、雑音量計測部は、マスク処理部30によって得られた雑音状況の判断結果を利用して、雑音量nc1(t)、nc2(t)を計測することができる。そのため、雑音量計測部40のハードウェア構成を簡略化することができ、装置全体の製造コストを低減させることができる。
【0089】
<2.第2の実施の形態>
次に、本発明の第2の実施の形態について説明する。この第2の実施の形態における信号処理装置100は、第1の実施の形態と比較して、雑音量計測部140の構成が異なる点を除いては、第1の実施の形態と同様である。そこで、以下ではこの相違点を中心に説明する。なお、以下の説明において、第1の信号処理装置1における構成要素と同様な構成要素については同一符号を付している。これら同一符号の構成要素は、第1の実施の形態において説明済みであるため、本実施の形態では説明を省略する。
【0090】
<2.1.信号処理装置の構成>
図10は、第2および第3の実施の形態における信号処理装置100、200の全体構成の一例を示すブロック図である。図11は、第2の実施の形態の雑音量計測部140の構成の一例を示すブロック図である。雑音量計測部140は、分離信号生成部20から入力された周波数領域の第1分離信号y11(f,t)、y21(f,t)を時間領域に変換するとともに、変換後の第1分離信号を用いて演算された尖度β2に基づいて、第1分離信号y11(f,t)、y21(f,t)に含まれる雑音量nc1(t)、nc2(t)を計測する。図11に示すように、雑音量計測部140は、主として、逆フーリエ変換部142(142a、142b)と、尖度演算部143(143a、143b)と、を有している。
【0091】
逆フーリエ変換部142(142a、142b)は、逆フーリエ変換部18と同様なハードウェア構成を有する演算部である。逆フーリエ変換部142aは、入力された周波数領域の第1分離信号y11(f,t)を時間領域の信号に変換する。また、逆フーリエ変換部142bは、入力された周波数領域のy21(f,t)を時間領域の信号に変換する。
【0092】
尖度演算部143(143a、143b)は、逆フーリエ変換された後の時間領域の第1分離信号に基づいて、尖度β2を演算する。本実施の形態では、この尖度β2が雑音量nc1(t)、nc2(t)として使用されている。
【0093】
なお、周波数領域の分離信号y11(f,t)、y21(f,t)に対応する時間領域の第1分離信号を分離信号y11(t)、y21(t)とし、第1分離信号y11(t)、y21(t)の標準偏差をσ、平均値をyave、4次の積率をμ4とした場合、尖度β2は、数5および数6のように表される。
【0094】
【数5】
【0095】
【数6】
【0096】
ここで、尖度β2は時間領域の第1分離信号の分布形を評価可能な統計量である。β2=「0」のとき、時間領域の第1分離信号は、正規分布となる。この場合は、環境音や反響音のようにもう的信号の周囲を覆う雑音が、第1分離信号に多く含まれていると考えられる。一方、尖度β2の値が大きい程、時間領域における第1分離信号のばらつきが小さくなる。すなわち、第1分離信号には、容易に分離可能な雑音成分が含まれているものと考えられる。
【0097】
<2.2.第2の実施の形態の信号処理装置の利点>
以上のように、第2の実施の形態の信号処理装置100は、目的信号に対応する第1分離信号の尖度を使用することにより、第1分離信号に含まれる雑音量nc1(t)、nc2(t)を計測することができる。そのため、第1分離信号の雑音状況を正確に把握することができる。
【0098】
また、第2の実施の形態の信号処理装置100による雑音量nc1(t)、nc2(t)の計測において、マスク処理部30の介在は必要とされない。そのため、雑音量計測部140とマスク処理部30との間で実行される処理(例えば、同期処理)が不要となり、雑音量計測部140およびマスク処理部30の回路構成を簡略化することができる。
【0099】
<3.第3の実施の形態>
次に、本発明の第3の実施の形態について説明する。この第3の実施の形態における信号処理装置200は、第1の実施の形態と比較して、雑音量計測部240の構成が異なる点を除いては、第1の実施の形態と同様である。そこで、以下ではこの相違点を中心に説明する。なお、以下の説明において、第1の信号処理装置1における構成要素と同様な構成要素については同一符号を付している。これら同一符号の構成要素は、第1の実施の形態において説明済みであるため、本実施の形態では説明を省略する。
【0100】
<3.1.信号処理装置の構成>
図12は、第3の実施の形態の雑音量計測部240の構成の一例を示すブロック図である。図13および図14は、第2分離信号の広がり状況を説明するための図である。雑音量計測部240は、分離信号生成部20から入力された周波数領域の複数の分離信号のうち第2分離信号について、該第2分離信号の広がり状況を求める。そして、雑音量計測部240は、第2分離信号の広がり状況に基づいて、フレーム毎に、対応する第1分離信号に含まれる雑音量を計測する。図12に示すように、雑音量計測部240は、主として、方向推定処理部245(245a、245b)と、広がり判定処理部246(264a、246b)と、を有している。
【0101】
方向推定処理部245(245a、245b)は、いわゆるビームフォーミングと呼ばれる演算手法(DOA:Direction of Arraival)を実行する。ここで、ビームフォーミングでは、到来する音源信号s1(t)、s2(t)について、マイク15の位置によって変わる混合信号x1(t)、x2(t)の遅延時間と、マイク15の特性とを利用して、音源方向を特定する。
【0102】
図12に示すように、方向推定処理部245aには分離行列のうち係数w11(f)、w12(f)が、方向推定処理部245bには分離行列のうち係数w21(f)、w22(f)が、それぞれ入力される。
【0103】
広がり判定処理部246(246a、246b)は、方向推定処理部245(245a、245b)によって演算された音源方向角を階級とし、階級について度数をプロットしたヒストグラムを求める。そして、広がり判定処理部246は、各第2分離信号の方向のばらつき状況を、例えば、(1)第2分離信号の標準偏差、(2)最大音源方向角から最小音源方向角を減算した角度幅R1(図13参照)、R2(図14参照)、および、(3)所定角度範囲に属する度数(すなわち、所定範囲におけるヒストグラムの面積)等に基づいて、演算する。本実施の形態では、この広がり状況(ばらつき状況)が雑音量nc1(t)、nc2(t)として使用されている。
【0104】
ここで、第2分離信号の広がり状況(例えば、標準偏差)が予め実験等によって求められた所定範囲の外側となる場合、第1分離信号には、環境音や反響音のように目的信号の周囲を覆う雑音が第1分離信号に多く含まれていると考えられる。一方、第2分離信号の広がり状況がこの所定範囲内となる場合、第1分離信号には、容易に分離可能な雑音成分が含まれているものと考えられる。
【0105】
<3.2.第3の実施の形態の信号処理装置の利点>
以上のように、第3の実施の形態の信号処理装置200は、目的信号に対する第2分離信号の広がり状況を使用することにより、第1分離信号に含まれる雑音量nc1(t)、nc2(t)を計測することができる。そのため、第1分離信号の雑音状況を正確に把握することができる。
【0106】
また、第3の実施の形態の信号処理装置200による雑音量nc1(t)、nc2(t)の計測において、マスク処理部30の介在は必要とされない。そのため、雑音量計測部240とマスク処理部30との間で実行される処理(例えば、同期処理)が不要となり、雑音量計測部240およびマスク処理部30の回路構成を簡略化することができる。
【0107】
<4.変形例>
以上、本発明の実施の形態について説明してきたが、本発明は上記実施の形態に限定されるものではなく様々な変形が可能である。
【0108】
(1)第1ないし第3の実施の形態において、音源(波動源)10は、2つであるものとして説明したが、これに限定されるものでなく、音源10の個数は、M(≧3)の複数であってもよい。また、マイク(観測部)15は、2つであるものとして説明したが、これに限定されるものでなく、観測部15の個数は、N(≧3)の複数であってもよい。
【0109】
この場合において、マスク処理部30は、1個の第1分離信号と、(M−1)×N個の第2分離信号と、に基づいて雑音状況を判断し、雑音信号選択部50は、(M−1)×N個の第2分離信号のうちの1つを、雑音信号として選択する。
【0110】
(2)また、(1)第1ないし第3の実施の形態において、雑音除去処理部60の雑音成分生成部61(61a、61b)は、線形変換後の雑音量nc1(t)、nc2(t)と、雑音信号yn1(f,t)、yn2(f,t)と、を乗算することによって、第2雑音成分を演算するものとして説明したがこれに限定されるものでない。例えば、雑音量nc1(t)、nc2(t)が、線形変換することなく、雑音信号yn1(f,t)、yn2(f,t)と乗算されることによって第2雑音成分が求められてもよい。これにより、雑音成分生成部61における計算コストを低減させることができる。
【図面の簡単な説明】
【0111】
【図1】本発明の第1の実施の形態における信号処理装置の全体構成を一例を示すブロック図である。
【図2】第1ないし第3の実施の形態における分離信号生成部の構成の一例を示すブロック図である。
【図3】第1ないし第3の実施の形態におけるマスク処理部の構成の一例を示すブロック図である。
【図4】マスク処理部による第1雑音成分の除去手法を説明するための図である。
【図5】マスク処理部による第1雑音成分の除去手法を説明するための図である。
【図6】マスク処理部による第1雑音成分の除去手法を説明するための図である。
【図7】第1の実施の実施の形態における雑音量計測部の構成の一例を示すブロック図である。
【図8】第1ないし第3の実施の形態における雑音信号選択部の構成の一例を示すブロック図である。
【図9】第1ないし第3の実施の形態における雑音除去処理部の構成の一例を示すブロック図である。
【図10】第2および第3の実施の形態における信号処理装置の構成の一例を示すブロック図である。
【図11】第2の実施の形態における雑音量計測部の構成の一例を示すブロック図である。
【図12】第3の実施の形態における雑音量計測部の構成の一例を示すブロック図である。
【図13】第2分離信号の広がり状況を説明するための図である。
【図14】第2分離信号の広がり状況を説明するための図である。
【符号の説明】
【0112】
1、100、200 信号処理装置
10(10a、10b) 音源(波動源)
15(15a、15b) マイク(観測部)
20 分離信号生成部
30 マスク処理部
40、140、240 雑音量計測部
41(41a、41b) 計数部
50 雑音信号選択部
60 雑音除去処理部
143(143a、143b) 尖度演算部
245(245a、245b) 方向推定処理部
246(246a、246b) 広がり判定処理部
【技術分野】
【0001】
本発明は、複数の波動源のうち対象となる波動源から出力された原信号を目的信号として復元する信号処理装置に関する。
【背景技術】
【0002】
従来より、複数の音源から出力された音源信号について、周波数領域における独立成分分析法に基づいたブラインド音源分離方式の音源分離処理を用いることにより、各音源信号が重畳された複数の混合音源信号から、音源信号に対応した分離信号を生成する技術が知られている(例えば、特許文献1ないし特許文献3)。
【0003】
特許文献1の技術では、周波数領域における独立成分分析法に基づいたブラインド音源分離方式の音源分離処理により、複数の分離信号としてSIMO(single-input multiple-output)信号が、周波数ビン毎に生成される。次に、複数の分離信号のうち、分離対象となる音源に対応した第1分離信号と、この音源に対応した分離信号以外の第2分離信号と、が周波数ビン毎に比較される。そして、分離信号の比較結果に基づいたマスク処理により、周波数ビン毎に第1分離信号から雑音成分が除去されて、目的信号が生成される。
【0004】
また、特許文献2の技術では、分離対象となる音源から出力される音源信号の到来方向と、雑音信号の到来方向と、が相違していることを利用して、音源分離処理が実行される。すなわち、周波数領域の独立成分分析法に基づいた音源分離処理後において、目的信号に対応するストレート成分の分離信号と、妨害音に対応するクロス成分の分離信号との、相互相関が演算され、この相互相関が最大となる時の遅延量から雑音推定のための係数が求められる。そして、この求められた係数に基づいて、目的信号に対応する分離信号から雑音成分が除去される。
【0005】
さらに、特許文献3の技術では、目的の音源から出力される音源信号と、雑音信号との振幅スペクトルが、同時刻および同周波数において、同時に大きな値とならないという仮定に基づいた雑音推定および雑音除去が実行される。
【0006】
【特許文献1】特開2006−154314号公報
【特許文献2】特許3831220号公報
【特許文献3】特開2005−308771号公報
【発明の開示】
【発明が解決しようとする課題】
【0007】
しかし、屋外において特許文献1ないし特許文献3の技術が使用されて音源分離処理が実行される場合、以下のような問題が生ずる。すなわち、屋外には、虫の音、雨音、風、および波の音等の環境音や反響音のように分離対象となる音源から出力された音の周囲を覆う雑音が多く含まれている。そのため、このような雑音状況下にあっては、特許文献1の技術によっても、雑音信号から分離対象となる音源信号を良好に分離して抽出できない場合が生じている。
【0008】
また、特許文献2の技術では、上述のように、分離対象となる目的の音源からの音源信号と、雑音信号とが、それぞれ異なる方向から出力されることを利用している。そのため、環境音や反響音のように、雑音信号が目的の音源から出力された音源信号を覆い、目的の音源信号と雑音信号とが重なり合う場合には、分離対象となる音源信号を良好に分離できないという問題が生じている。
【0009】
さらに、特許文献3の技術では、分離対象となる音源信号と、雑音信号とは、スパース性が大きいこと、すなわち、この音源信号と雑音信号とが混合していても、周波数領域におけるこれら信号の重なりは少ないこと、を前提としている。そのため、特許文献3の技術についても、特許文献1および2の技術と同様に、屋外環境では、分離対象となる音源信号を良好に分離できないという問題が生じている。
【0010】
そして、この問題は、音波に限定されず、電磁波や脳波のように複数の波動源のうち対象となる波動源から出力される原信号を目的信号として復元する場合にも同様に生ずる。
【0011】
そこで、本発明では、複数の原信号が混合された混合信号から、対象となる原信号を良好に復元することができる信号処理装置を提供することを目的とする。
【課題を解決するための手段】
【0012】
上記の課題を解決するため、請求項1の発明は、複数の波動源のうち対象となる波動源から出力された原信号を目的信号として復元する信号処理装置であって、各々が、前記複数の波動源から出力された複数の原信号につき、該複数の原信号を混合信号として観測可能な複数の観測部と、各観測部で観測されて周波数領域に変換された1フレーム分の前記混合信号から、互いに独立した複数の分離信号を前記フレーム内の周波数ビン毎に生成する分離信号生成部と、前記複数の分離信号のうち前記目的信号に対応する第1分離信号と、前記複数の分離信号のうち前記第1分離信号以外の第2分離信号と、に基づいて、前記第1分離信号の雑音状況を判断する処理と、雑音状況の判断結果に基づいて求められた第1雑音成分を前記第1分離信号から除去することにより雑音除去信号を生成する処理と、前記雑音状況の判断結果に基づいて雑音状況信号を生成する処理とを、前記フレーム内の周波数ビン毎に行うマスク処理部と、前記マスク処理部側から入力された前記周波数ビン毎の雑音状況信号に基づいて、前記フレーム毎に、前記第1分離信号に含まれる雑音量を計測する雑音量計測部と、前記雑音量計測部によって計測された前記雑音量に基づいて、前記周波数ビン毎に、前記第2分離信号のうちの1つの信号を雑音信号として選択する雑音信号選択部と、前記雑音信号に基づいて生成された第2雑音成分を、前記雑音除去信号から前記周波数ビン毎に除去するとともに、前記第2雑音成分が除去された前記雑音除去信号を目的信号として出力する雑音除去処理部とを備えることを特徴とする。
【0013】
また、請求項2の発明は、請求項1に記載の信号処理装置において、前記マスク処理部は、前記周波数ビン毎に、前記目的信号に対応する前記第1分離信号の振幅スペクトルと、前記第2分離信号の振幅スペクトルと、の大小比較に基づいて、前記雑音状況の判断と、前記雑音状況信号の生成とを行い、前記雑音量計測部は、前記雑音状況信号を計数することによって、前記雑音量を計測することを特徴とする。
【0014】
また、請求項3の発明は、複数の波動源のうち対象となる波動源から出力された原信号を目的信号として復元する信号処理装置であって、各々が、前記複数の波動源から出力された複数の原信号につき、該複数の原信号を混合信号として観測可能な複数の観測部と、各観測部で観測されて周波数領域に変換された1フレーム分の前記混合信号から、互いに独立した複数の分離信号を前記フレーム内の周波数ビン毎に生成する分離信号生成部と、前記複数の分離信号のうち前記目的信号に対応する第1分離信号と、前記複数の分離信号のうち前記第1分離信号以外の第2分離信号と、に基づいて、前記第1分離信号の雑音状況を判断する処理と、雑音状況の判断結果に基づいて求められた第1雑音成分を前記第1分離信号から除去することにより雑音除去信号を生成する処理とを前記フレーム内の周波数ビン毎に行うマスク処理部と、前記分離信号生成部から入力された前記複数の分離信号に基づいて、前記フレーム毎に、前記第1分離信号に含まれる雑音量を計測する雑音量計測部と、前記雑音量計測部によって計測された前記雑音量に基づいて、前記周波数ビン毎に、前記第2分離信号のうちの1つの信号を雑音信号として選択する雑音信号選択部と、前記雑音信号に基づいて生成された第2雑音成分を前記雑音除去信号から前記周波数ビン毎に除去するとともに、前記第2雑音成分が除去された前記雑音除去信号を目的信号として出力する雑音除去処理部とを備えることを特徴とする。
【0015】
また、請求項4の発明は、請求項3に記載の信号処理装置において、前記雑音量計測部は、前記分離信号生成部から入力された周波数領域の第1分離信号を時間領域に変換するとともに、変換後の前記第1分離信号を用いて演算された尖度に基づいて、前記第1分離信号に含まれる前記雑音量を計測することを特徴とする。
【0016】
また、請求項5の発明は、請求項3に記載の信号処理装置において、前記雑音量計測部は、前記分離信号生成部から入力された第2分離信号の広がり状況に基づいて、前記フレーム毎に、前記第1分離信号に含まれる雑音量を計測することを特徴とする。
【0017】
また、請求項6の発明は、請求項5に記載の信号処理装置において、前記広がり状況は、第2分離信号の方向のばらつき状況であることを特徴とする。
【0018】
また、請求項7の発明は、請求項1ないし請求項5のいずれかに記載の信号処理装置において、前記雑音除去処理部は、前記雑音量計測部側から入力された前記雑音量と、前記雑音信号選択部によって選択された雑音信号と、に基づいて、前記第2雑音成分を生成することを特徴とする。
【0019】
また、請求項8の発明は、請求項1ないし請求項7のいずれかに記載の信号処理装置において、前記雑音除去処理部は、前記雑音除去信号の振幅スペクトルから前記第2雑音成分の振幅スペクトルを減算することによって、前記周波数ビン毎に前記目的信号の振幅スペクトルを演算することを特徴とする。
【0020】
また、請求項9の発明は、請求項1ないし請求項8のいずれかに記載の信号処理装置において、M個の波動源から出力されたM個の原信号は、それぞれN個の観測部によって観測され(M、Nは、それぞれ2以上の自然数)、前記マスク処理部は、1個の第1分離信号と、(M−1)×N個の第2分離信号と、に基づいて雑音状況を判断し、前記雑音信号選択部は、(M−1)×N個の第2分離信号のうちの1つを、雑音信号として選択することを特徴とする。
【発明の効果】
【0021】
請求項1ないし請求項9に記載の発明によれば、第1分離信号の雑音状況に応じ、マスク処理部および雑音除去処理部によって雑音除去が実行される。すなわち、マスク処理部により雑音除去された雑音除去信号からは、第1分離信号の雑音状況に応じた第2雑音成分が、さらに除去される。そのため、環境音や反響音のように波動源から出力された原信号の周囲を覆う雑音信号が多く含まれている場合であっても、、さらに良好に雑音成分を除去することができる。
【0022】
また、請求項1、請求項2、および請求項7ないし請求項9に記載の発明によれば、雑音量計測部は、マスク処理部によって得られた雑音状況の判断結果を利用して、雑音量を計測することができる。そのため、雑音量計測部のハードウェア構成を簡略化することができ、装置全体の製造コストを低減させることができる。
【0023】
また、請求項3ないし請求項9に記載の発明によれば、雑音量計測部は、分離信号生成部から出力された分離信号を使用して雑音量を計測することができる。すなわち、雑音量の計測にマスク処理部の介在は必要とされない。そのため、雑音量計測部とマスク処理部との間で実行される処理(例えば、同期処理)が不要となり、雑音量計測部およびマスク処理部の回路構成を簡略化することができる。
【0024】
特に、請求項2に記載の発明によれば、雑音量計測部は、目的信号に対応する第1分離信号の振幅スペクトルと、第2分離信号の振幅スペクトルと、の大小比較によって生成された雑音状況信号について、該雑音状況信号を計数することによって雑音量を計測することができる。そのため、容易な演算処理で雑音量を求めることができ、雑音量計測部の計算コストを低減させることができる。
【0025】
特に、請求項4に記載の発明によれば、雑音量計測部は、目的信号に対応する第1分離信号の統計量(尖度)に基づいて、第1分離信号に含まれる雑音量を計測することができる。そのため、第1分離信号の雑音状況を正確に把握することができ、雑音除去処理部による雑音除去を良好に実行することができる。
【0026】
特に、請求項5および請求項6に記載の発明によれば、雑音量計測部は、第1分離信号と比較して雑音成分を多く含む第2分離信号につき、該第2分離信号の広がり状況(第2分離信号の方向のばらつき状況)に基づいて、波動源が配置された空間の雑音状況を定量化することができる。そのため、第1分離信号の雑音状況を正確に把握することができ、雑音除去処理部による雑音除去を良好に実行することができる。
【0027】
特に、請求項7に記載の発明によれば、雑音信号から第2雑音成分を生成する場合において、雑音除去処理部は、雑音量計測部で生成された雑音量をも考慮に入れて第2雑音成分を生成することができる。そのため、目的信号に対応する雑音除去信号から雑音成分をさらに良好に除去することができる。
【0028】
特に、請求項8に記載の発明によれば、雑音除去処理部は、減算処理によって目的信号の振幅スペクトルを演算することができる。そのため、雑音除去処理部の計算コストを低減させることができる。
【発明を実施するための最良の形態】
【0029】
以下、図面を参照しつつ本発明の実施の形態について詳細に説明する。
【0030】
<1.第1の実施の形態>
<1.1.信号処理装置の構成>
図1は、第1の実施の形態における信号処理装置1の構成の一例を示すブロック図である。ここで、信号処理装置1は、複数の音源(波動源)10(10a、10b)のうち対象となる音源10から出力された原信号を目的信号として復元する信号処理装置である。信号処理装置1において分離手法としては、いわゆる独立成分分析法に基づくブラインド音源分離方式が採用されている。
【0031】
図1に示すように、信号処理装置1は、主として、観測部15と、分離信号生成部20と、マスク処理部30と、雑音量計測部40と、雑音信号選択部50と、雑音除去処理部60と、を備えている。
【0032】
複数のマイク15(15a、15b)のそれぞれは、音源10(10a、10b)から出力された各音源信号(原信号)s1(t)、s2(t)につき、これら音源信号の混合信号を観測する観測部である。すなわち、各マイク15では、複数(本実施の形態の場合、2つ)の音源10のそれぞれから出力された音源信号が重畳されている。
【0033】
また、マイク15a、15bは、それぞれ音源10a、10b側に配置されている。したがって、マイク15aによって受音された時間領域の混合信号x1(t)からは、独立成分分析法に基づいて、目的信号y1(t)に対応する周波数領域の分離信号y11(f,t)(図2参照)が分離される。また同様に、マイク15bによって受音された混合信号x2(t)からは、目的信号y2(t)に対応する分離信号y21(f,t)(図2参照)が分離される。
【0034】
フーリエ変換部17(17a、17b)は、マイク15(15a、15b)から入力された時間領域の混合信号x1(t)、x2(t)を、周波数領域の混合信号x1(f,t)、x2(f,t)に変換する。なお、本実施の形態では、所定時間内の混合信号x1(t)、x2(t)をフレームとして、フレーム毎に離散的フーリエ変換が施される。また、離散的フーリエ変換の計算アルゴリズムとしては、高速フーリエ変換(FFT:Fast Fourier Transform)が使用される。
【0035】
図2は、分離信号生成部20の構成の一例を示すブロック図である。分離信号生成部20は、各マイク15で観測され、対応するフーリエ変換部17によって周波数領域に変換された1フレーム分の混合信号x1(f,t)、x2(f,t)から、互いに独立した複数(本実施の形態では、4つ)の分離信号を生成する。図2に示すように、分離信号生成部20は、主として、独立成分分析部21と、逆射影演算部22と、分離信号演算部25と、を有している。
【0036】
ここで、この分離信号は、フレーム内の周波数ビン(特定幅の周波数帯域)毎に生成される。また、本実施の形態において、各フレームは、1024個の周波数ビンに分割されているが、フレーム内の周波数ビンの個数はこれに限定されるものでなく、必要に応じて増減させてもよい。
【0037】
独立成分分析部21は、周波数領域の独立成分分析法で使用される分離行列(w11、w22)を求める。この係数w11、w22は、数1および数2に示すように、2つのマイク15a、15bに基づいた混合信号x1(f,t)、x2(f,t)から、各音源10a、10bに対応する分離信号y11(f,t)、y21(f,t)を演算するために使用される。
【0038】
【数1】
【0039】
【数2】
【0040】
なお、独立成分分析部21において、係数w11、w22を求めるための学習アルゴリズムとしては、例えば、Amariによって考案された高速アルゴリズム(Kullback-Leibler divergenceの最小化に基づた教師なし適応アルゴリズム)が使用される。
【0041】
逆射影演算部22は、独立成分分析部21で学習した分離行列(w11、w22)の逆射影を演算することによって、分離行列(w12、w21)を求める。この係数w12、w21は、数3および数4に示すように、混合信号x1(f,t)、x2(f,t)から、2つのマイク15a、15bの対角線上の信号成分(分離信号y22(f,t)、y12(f,t))を演算するために使用される。
【0042】
【数3】
【0043】
【数4】
【0044】
ここで、対角線上の信号成分とは、音源10bから出力されてマイク15aによって観測された音源信号(分離信号y22(f,t)が対応)を、音源10aから出力されてマイク15bによって観測された音源信号(分離信号y12(f,t)が対応)を、それぞれいう。
【0045】
分離信号演算部25は、独立成分分析部21および逆射影演算部22によって求められた分離行列(w11、w22、w12、w22)と、各マイク15a、15bから入力された混合信号x1(f,t)、x2(f,t)と、を数1ないし数4に代入することによって、分離信号y11(f,t)、y12(f,t)、y21(f,t)、y22(f,t)を演算する。
【0046】
このように、本実施の形態の分離信号生成部20では、SIMO(Single-Input Multiple-Output )モデルに基づく独立成分分析によって、各分離信号y11(f,t)、y12(f,t)、y21(f,t)、y22(f,t)が求められる。
【0047】
図3は、マスク処理部30の構成の一例を示すブロック図である。図4ないし図6は、マスク処理部30による雑音成分(第1雑音成分)の除去手法を説明するための図である。マスク処理部30は、分離信号生成部20から入力された複数の分離信号y11(f,t)、y12(f,t)、y21(f,t)、y22(f,t)のうち、目的信号に対応する分離信号(以下、「第1分離信号」とも呼ぶ)と、この複数の分離信号のうち、第1分離信号以外の分離信号(以下、「第2分離信号」とも呼ぶ)に基づいて、第1分離信号の雑音状況を判断する(雑音状況判断部31が対応)。
【0048】
また、マスク処理部30は、雑音状況の判断結果に基づいて求められた雑音成分(第1雑音成分)を第1分離信号から除去することにより雑音除去信号を生成する(除去部35が対応)。
【0049】
図3に示すように、マスク処理部30は、主として、雑音状況判断部31と、除去部35と、を有している。
【0050】
雑音状況判断部31(31a、31b)は、分離信号生成部20からの分離信号に基づいて、目的信号に含まれる雑音の状況を判断する。ここで、目的信号y1(t)に対応する第1分離信号y11(f,t)の雑音状況を判断する雑音状況判断部31aには、分離信号y21(f,t)、y12(f,t)、y22(f,t)が第2分離信号として入力される。一方、目的信号y2(t)に対応する第1分離信号y21(f,t)の雑音状況を判断する雑音状況判断部31bには、分離信号y11(f,t)、y22(f,t)、y12(f,t)が第2分離信号として入力される。
【0051】
各雑音状況判断部31の選択部32(32a、32b)は、入力された各第2分離信号の振幅スペクトルの絶対値を比較し、その絶対値が最大となる第2分離信号を選択する。
【0052】
比較部33(33a、33b)は、目的信号に対応する第1分離信号、および選択部32によって選択された第2分離信号について、振幅スペクトルの絶対値の大小比較を周波数ビン毎に行う。
【0053】
第1分離信号の振幅スペクトルの絶対値の方が第2分離信号の振幅スペクトルの絶対値より大きい場合には(図4および図5の周波数ビンFB5を参照)、比較部33(33a、33b)は、第1分離信号の信号成分が雑音成分(第1雑音成分)に該当しないものとして判断する。そして、比較部33a、33bは、雑音状況信号m1(f,t)、m2(f,t)として「1」を生成する。
【0054】
一方、第1分離信号の振幅スペクトルの絶対値が第2分離信号の振幅スペクトルの絶対値以下となる場合には(図4および図5の周波数ビンFB1〜FB4を参照)、比較部33(33a、33b)は、第1分離信号の信号成分が雑音成分に該当するものとして判断する。そして、比較部33a、33bは、雑音状況信号m1(f,t)、m2(f,t)として「0」を生成する。
【0055】
除去部35(35a、35b)は、対応する雑音状況信号m1(f,t)、m2(f,t)に基づいた雑音除去処理を実行する。すなわち、雑音状況信号m1(f,t)が「0」の場合、除去部35aは、雑音状況信号m1(f,t)に対応する周波数ビンの信号成分(第1雑音成分)を第1分離信号から除去する(図6の周波数ビンFB1〜FB4を参照)。そして、除去部35は、第1雑音成分が除去された雑音除去信号y11’(f,t)を出力する。
【0056】
一方、雑音状況信号m1(f,t)が「1」の場合、除去部35aは、雑音状況信号m1(f,t)に対応する周波数ビンの信号成分を除去しない(図6の周波数ビンFB5を参照)。そして、除去部35は、分離信号y11(f,t)を雑音除去信号y11’(f,t)として出力する。
【0057】
除去部35bについても、除去部35aと同様な処理が実行されることによって、雑音状況信号m2(f,t)に基づいた雑音成分の除去が行われ、雑音除去信号y21’(f,t)が出力される。
【0058】
図7は、本実施の形態の雑音量計測部40の構成の一例を示すブロック図である。雑音量計測部40は、 マスク処理部30側から入力された周波数ビン毎の雑音状況信号m1(f,t)、m2(f,t)に基づいて、フレーム毎に、前記第1分離信号に含まれる雑音量を計測する。図7に示すように、雑音量計測部40は、主として、計数部41(41a、41b)を有している。
【0059】
計数部41(41a、41b)は、対応する比較部33(33a、33b)から出力された前記雑音状況信号を計数し、その計数結果を雑音量nc1(t)、nc2(t)として出力する。このように、雑音量計測部40は、容易な演算処理で雑音量nc1(t)、nc2(t)を求めることができる。そのため、雑音量計測部40の計算コストを低減させることができる。
【0060】
図8は、雑音信号選択部50の構成の一例を示すブロック図である。雑音信号選択部50は、雑音量計測部40によって計測された雑音量nc1(t)、nc2(t)に基づいて、雑音信号を選択する処理を周波数ビン毎に実行する。図8に示すように、雑音信号選択部50は、主として、選択信号生成部51(51a、51b)と、選択部53(53a、53b)と、を有している。
【0061】
選択信号生成部51aは、音源10aからの音源信号(目的信号)に対応する雑音除去信号y11’(f,t)につき、この信号から除去される雑音信号の選択に使用される選択信号を周波数ビン毎に生成する。
【0062】
すなわち、選択信号生成部51aに入力された雑音量nc1(t)につき、雑音量nc1(t)<閾値Th10となる場合には、選択信号生成部51aは、雑音除去信号y11’(f,t)には、目的の音源10aから出力された音源信号と雑音信号との重なり合いが小さいものと判断する。そして、選択信号生成部51aは、雑音信号yn1(f,t)として、マイク15bの対角線上の信号成分(すなわち、マイク15bにて受音された音源10aに対応する分離信号y12(f,t))を選択するよう、選択信号を生成する。 ここで、この選択信号によって選択される分離信号y12(f,t)は、目的信号に対応する雑音除去信号y11’(f,t)と同様な信号が含まれている。したがって、目的信号に対応する信号が分離信号y11(f,t)(雑音除去信号y11’(f,t))である場合、分離信号y12(f,t)の雑音含有量は、他の第2分離信号(分離信号y22(f,t)、y21(f,t)と比較して少ない。
【0063】
また、閾値Th10≦雑音量nc1(t)<閾値Th11となる場合には、選択信号生成部51aは、目的音源10aの音源信号と雑音信号との重なり合いが中程度であると判断する。そして、選択信号生成部51aは、雑音信号yn1(f,t)として、マイク15aの対角線上の信号成分(すなわち、マイク15aにて受音された音源10bに対応する分離信号y22(f,t))を選択するよう、選択信号を生成する。
【0064】
ここで、この選択信号によって選択される分離信号y22(f,t)は、音源10bからの目的信号に対応し、分離信号y21(f,t)に対応する信号である。また、分離信号y22(f,t)は、マイク15aの対角線上の信号成分であり、分離信号y21(f,t)と比較して、振幅スペクトルの絶対値が小さい。したがって、目的信号に対応する信号が分離信号y11(f,t)である場合、分離信号y22(f,t)の雑音含有量は、他の第2分離信号(分離信号y12(f,t)、y21(f,t))と比較し中程度である。
【0065】
さらに、閾値Th11≦雑音量nc1(t)となる場合には、選択信号生成部51aは、目的音源10aの音源信号と雑音信号との重なり合いが大きいと判断する。そして、選択信号生成部51aは、雑音信号yn1(f,t)として、マイク15bからの目的信号に対応する分離信号y21(f,t)を選択する。
【0066】
ここで、この選択信号によって選択される分離信号y21(f,t)は、音源10bからの目的信号に対応する。したがって、目的信号に対応する信号が分離信号y11(f,t)である場合、分離信号y22(f,t)の雑音含有量は、他の第2分離信号(分離信号y12(f,t)、y22(f,t))と比較し大きい。
【0067】
このように、選択部53aは、選択信号生成部51a側から入力される選択信号に基づいて、周波数ビン毎に、分離信号生成部20側から第2分離信号として入力される分離信号y21(f,t)、y12(f,t)、y22(f,t)のうち1の分離信号を雑音信号yn1(f,t)を選択する。そして、選択された雑音信号yn1(f,t)は、雑音除去処理部60側に出力される。
【0068】
すなわち、選択部53aは、雑音量nc1(t)に基づいて、第2分離信号から1の分離信号を雑音信号yn1(f,t)として選択できる。例えば、雑音量nc1(t)が少ない場合には、目的信号に対して雑音含有量の小さな雑音信号が選択される。そのため、雑音除去処理部60の除去処理によって目的信号が劣化することを抑制できる。
【0069】
選択信号生成部51bは、音源10bからの音源信号(目的信号)に対応する雑音除去信号y21’(f,t)につき、この信号から除去される雑音信号の選択に使用される選択信号を周波数ビン毎に生成する。
【0070】
すなわち、選択信号生成部51bに入力された雑音量nc2(t)につき、雑音量nc2(t)<閾値Th20となる場合には、選択信号生成部51bは、雑音除去信号y21’(f,t)には、目的の音源10bから出力された音源信号と雑音信号との重なり合いが小さいものと判断する。そして、選択信号生成部51bは、雑音信号yn2(f,t)として、マイク15aの対角線上の信号成分(すなわち、マイク15aにて受音された音源10bに対応する分離信号y22(f,t))を選択するよう、選択信号を生成する。 ここで、この選択信号によって選択される分離信号y22(f,t)は、目的信号に対応する雑音除去信号y21’(f,t)と同様な信号が含まれている。したがって、目的信号に対応する信号が雑音除去信号y11’(f,t)(分離信号y11(f,t))である場合、分離信号y22(f,t)の雑音含有量は、他の第2分離信号(分離信号y22(f,t)、y11(f,t)と比較して少ない。
【0071】
また、閾値Th20≦雑音量nc2(t)<閾値Th21となる場合には、選択信号生成部51bは、目的音源10bの音源信号と雑音信号との重なり合いが中程度であると判断する。そして、選択信号生成部51bは、雑音信号yn2(f,t)として、マイク15bの対角線上の信号成分(すなわち、マイク15bにて受音された音源10aに対応する分離信号y12(f,t))を選択するよう、選択信号を生成する。
【0072】
ここで、この選択信号によって選択される分離信号y12(f,t)は、音源10aからの目的信号に対応し、分離信号y11(f,t)に対応する信号である。また、分離信号y12(f,t)は、マイク15bの対角線上の信号成分であり、分離信号y11(f,t)と比較して、振幅スペクトルの絶対値が小さい。したがって、目的信号に対応する信号が分離信号y21(f,t)である場合、分離信号y12(f,t)の雑音含有量は、他の第2分離信号(分離信号y11(f,t)、y22(f,t))と比較し中程度である。
【0073】
さらに、閾値Th21≦雑音量nc2(t)となる場合には、選択信号生成部51bは、目的音源10bの音源信号と雑音信号との重なり合いが大きいと判断する。そして、選択信号生成部51bは、雑音信号yn2(f,t)として、マイク15aからの目的信号に対応する分離信号y11(f,t)を選択する。
【0074】
ここで、この選択信号によって選択される分離信号y11(f,t)は、音源10aからの目的信号に対応する。したがって、目的信号に対応する信号が分離信号y21(f,t)である場合、分離信号y11(f,t)の雑音含有量は、他の第2分離信号(分離信号y12(f,t)、y22(f,t))と比較し大きい。
【0075】
このように、選択部53bは、選択信号生成部51b側から入力される選択信号に基づいて、周波数ビン毎に、分離信号生成部20側から第2分離信号として入力される分離信号y11(f,t)、y12(f,t)、y22(f,t)のうち1の分離信号を雑音信号yn2(f,t)として選択する。そして、選択された雑音信号yn2(f,t)は、雑音除去処理部60側に出力される。
【0076】
すなわち、選択部53bは、雑音量nc2(t)に基づいて、第2分離信号から1の分離信号を雑音信号yn2(f,t)として選択できる。例えば、雑音量nc2(t)が少ない場合には、目的信号に対して雑音含有量の小さな雑音信号が選択される。そのため、雑音除去処理部60の除去処理によって目的信号が劣化することを抑制できる。
【0077】
図9は、雑音除去処理部60の構成の一例を示すブロック図である。雑音除去処理部60は、周波数ビン毎に、マスク処理部30から入力された雑音除去信号y11’(f,t)、y21’(f,t)から雑音成分(第2雑音成分)を除去する。また、雑音除去処理部60は、第2雑音成分が除去された雑音除去信号y11”(f,t)、y21”(f,t)を目的信号として逆フーリエ変換部18(18a、18b)側に出力する。
【0078】
図9に示すように、雑音除去処理部60は、主として、雑音成分生成部61(61a)と、除去部65(65a、65b)と、を有している。
【0079】
なお、雑音成分生成部61a、61bでは同様な処理が行われるため、以下では雑音成分生成部61aで実行される処理についてのみ説明する。また、除去部65a、65bにおいても同様な処理が行われるため、以下では除去部65aで実行される処理についてのみ説明する。
【0080】
雑音成分生成部61aは、雑音信号選択部50側によって選択された雑音信号yn1(f,t)と、雑音量計測部40側から入力された雑音量nc1(t)と、に基づいて第2雑音成分を、周波数ビン毎に生成する。
【0081】
ここで、本実施の形態において第2雑音成分は、雑音量nc1(t)を線形変換(例えば、ルックアップテーブルに基づいて雑音量nc1(t)を変換する、または、雑音量nc1(t)を対数変換する等)し、変換後の雑音量nc1(t)と、雑音信号yn1(f,t)とを乗算することによって求められる。なお、線形変換手法については、予め実験等により必要なパラメータ等が定められる。
【0082】
このように、雑音除去処理部60の雑音成分生成部61aでは、雑音量計測部40で生成された雑音量nc1(t)をも考慮に入れて第2雑音成分を生成することができる。そのため、目的信号に対応する雑音信号yn1(f,t)から雑音成分をさらに良好に除去することができる。
【0083】
除去部65aは、雑音除去信号y11’(f,t)の振幅スペクトルの絶対値から第2雑音成分の振幅スペクトルの絶対値を減算することにより、目的信号に対応する信号の振幅スペクトルを求める。また、除去部65aは、雑音除去信号y11’(f,t)の位相角を検出する。そして、除去部65aは、求められた振幅スペクトルと位相角とに基づいて、雑音除去信号y11”(f,t)を生成する。
【0084】
このようにの雑音除去処理部60の除去部65aでは、減算処理によって目的信号の振幅スペクトルを演算することができる。そのため、除去部65aの計算コストを低減させることができる。
【0085】
なお、雑音成分生成部61bでは、第2雑音成分が、雑音成分生成部61aと同様な処理により、雑音量nc2(t)と雑音信号yn2(f,t)とに基づいて演算される。また、除去部65bでは、雑音除去信号y21’(f,t)の振幅スペクトルの絶対値から、第2雑音成分の振幅スペクトルの絶対値が減算されることによって、雑音除去信号y21”(f,t)の振幅スペクトルが演算される。
【0086】
逆フーリエ変換部18(18a、18b)は、雑音除去処理部60の除去部65a、65bから出力された周波数領域の雑音除去信号y11”(f,t)、y21”(f,t)を時間領域の目的信号y1(t)、y2(t)に変換する。
【0087】
<1.2.第1の実施の形態の信号処理装置の利点>
以上のように、第1の実施の形態の信号処理装置1では、第1分離信号の雑音状況に応じ、マスク処理部30および雑音除去処理部60によって雑音除去が実行される。すなわち、マスク処理部30により雑音除去された雑音除去信号y11’(f,t)、y21’(f,t)からは、第1分離信号の雑音状況に応じた第2雑音成分が、さらに除去される。そのため、環境音や反響音のように波動源から出力された原信号の周囲を覆う雑音信号が多く含まれている場合であっても、マスク処理部30による除去処理がなされた第1分離信号から、さらに良好に雑音成分を除去することができる。
【0088】
また、第1の実施の形態の雑音量計測部40は、雑音量計測部は、マスク処理部30によって得られた雑音状況の判断結果を利用して、雑音量nc1(t)、nc2(t)を計測することができる。そのため、雑音量計測部40のハードウェア構成を簡略化することができ、装置全体の製造コストを低減させることができる。
【0089】
<2.第2の実施の形態>
次に、本発明の第2の実施の形態について説明する。この第2の実施の形態における信号処理装置100は、第1の実施の形態と比較して、雑音量計測部140の構成が異なる点を除いては、第1の実施の形態と同様である。そこで、以下ではこの相違点を中心に説明する。なお、以下の説明において、第1の信号処理装置1における構成要素と同様な構成要素については同一符号を付している。これら同一符号の構成要素は、第1の実施の形態において説明済みであるため、本実施の形態では説明を省略する。
【0090】
<2.1.信号処理装置の構成>
図10は、第2および第3の実施の形態における信号処理装置100、200の全体構成の一例を示すブロック図である。図11は、第2の実施の形態の雑音量計測部140の構成の一例を示すブロック図である。雑音量計測部140は、分離信号生成部20から入力された周波数領域の第1分離信号y11(f,t)、y21(f,t)を時間領域に変換するとともに、変換後の第1分離信号を用いて演算された尖度β2に基づいて、第1分離信号y11(f,t)、y21(f,t)に含まれる雑音量nc1(t)、nc2(t)を計測する。図11に示すように、雑音量計測部140は、主として、逆フーリエ変換部142(142a、142b)と、尖度演算部143(143a、143b)と、を有している。
【0091】
逆フーリエ変換部142(142a、142b)は、逆フーリエ変換部18と同様なハードウェア構成を有する演算部である。逆フーリエ変換部142aは、入力された周波数領域の第1分離信号y11(f,t)を時間領域の信号に変換する。また、逆フーリエ変換部142bは、入力された周波数領域のy21(f,t)を時間領域の信号に変換する。
【0092】
尖度演算部143(143a、143b)は、逆フーリエ変換された後の時間領域の第1分離信号に基づいて、尖度β2を演算する。本実施の形態では、この尖度β2が雑音量nc1(t)、nc2(t)として使用されている。
【0093】
なお、周波数領域の分離信号y11(f,t)、y21(f,t)に対応する時間領域の第1分離信号を分離信号y11(t)、y21(t)とし、第1分離信号y11(t)、y21(t)の標準偏差をσ、平均値をyave、4次の積率をμ4とした場合、尖度β2は、数5および数6のように表される。
【0094】
【数5】
【0095】
【数6】
【0096】
ここで、尖度β2は時間領域の第1分離信号の分布形を評価可能な統計量である。β2=「0」のとき、時間領域の第1分離信号は、正規分布となる。この場合は、環境音や反響音のようにもう的信号の周囲を覆う雑音が、第1分離信号に多く含まれていると考えられる。一方、尖度β2の値が大きい程、時間領域における第1分離信号のばらつきが小さくなる。すなわち、第1分離信号には、容易に分離可能な雑音成分が含まれているものと考えられる。
【0097】
<2.2.第2の実施の形態の信号処理装置の利点>
以上のように、第2の実施の形態の信号処理装置100は、目的信号に対応する第1分離信号の尖度を使用することにより、第1分離信号に含まれる雑音量nc1(t)、nc2(t)を計測することができる。そのため、第1分離信号の雑音状況を正確に把握することができる。
【0098】
また、第2の実施の形態の信号処理装置100による雑音量nc1(t)、nc2(t)の計測において、マスク処理部30の介在は必要とされない。そのため、雑音量計測部140とマスク処理部30との間で実行される処理(例えば、同期処理)が不要となり、雑音量計測部140およびマスク処理部30の回路構成を簡略化することができる。
【0099】
<3.第3の実施の形態>
次に、本発明の第3の実施の形態について説明する。この第3の実施の形態における信号処理装置200は、第1の実施の形態と比較して、雑音量計測部240の構成が異なる点を除いては、第1の実施の形態と同様である。そこで、以下ではこの相違点を中心に説明する。なお、以下の説明において、第1の信号処理装置1における構成要素と同様な構成要素については同一符号を付している。これら同一符号の構成要素は、第1の実施の形態において説明済みであるため、本実施の形態では説明を省略する。
【0100】
<3.1.信号処理装置の構成>
図12は、第3の実施の形態の雑音量計測部240の構成の一例を示すブロック図である。図13および図14は、第2分離信号の広がり状況を説明するための図である。雑音量計測部240は、分離信号生成部20から入力された周波数領域の複数の分離信号のうち第2分離信号について、該第2分離信号の広がり状況を求める。そして、雑音量計測部240は、第2分離信号の広がり状況に基づいて、フレーム毎に、対応する第1分離信号に含まれる雑音量を計測する。図12に示すように、雑音量計測部240は、主として、方向推定処理部245(245a、245b)と、広がり判定処理部246(264a、246b)と、を有している。
【0101】
方向推定処理部245(245a、245b)は、いわゆるビームフォーミングと呼ばれる演算手法(DOA:Direction of Arraival)を実行する。ここで、ビームフォーミングでは、到来する音源信号s1(t)、s2(t)について、マイク15の位置によって変わる混合信号x1(t)、x2(t)の遅延時間と、マイク15の特性とを利用して、音源方向を特定する。
【0102】
図12に示すように、方向推定処理部245aには分離行列のうち係数w11(f)、w12(f)が、方向推定処理部245bには分離行列のうち係数w21(f)、w22(f)が、それぞれ入力される。
【0103】
広がり判定処理部246(246a、246b)は、方向推定処理部245(245a、245b)によって演算された音源方向角を階級とし、階級について度数をプロットしたヒストグラムを求める。そして、広がり判定処理部246は、各第2分離信号の方向のばらつき状況を、例えば、(1)第2分離信号の標準偏差、(2)最大音源方向角から最小音源方向角を減算した角度幅R1(図13参照)、R2(図14参照)、および、(3)所定角度範囲に属する度数(すなわち、所定範囲におけるヒストグラムの面積)等に基づいて、演算する。本実施の形態では、この広がり状況(ばらつき状況)が雑音量nc1(t)、nc2(t)として使用されている。
【0104】
ここで、第2分離信号の広がり状況(例えば、標準偏差)が予め実験等によって求められた所定範囲の外側となる場合、第1分離信号には、環境音や反響音のように目的信号の周囲を覆う雑音が第1分離信号に多く含まれていると考えられる。一方、第2分離信号の広がり状況がこの所定範囲内となる場合、第1分離信号には、容易に分離可能な雑音成分が含まれているものと考えられる。
【0105】
<3.2.第3の実施の形態の信号処理装置の利点>
以上のように、第3の実施の形態の信号処理装置200は、目的信号に対する第2分離信号の広がり状況を使用することにより、第1分離信号に含まれる雑音量nc1(t)、nc2(t)を計測することができる。そのため、第1分離信号の雑音状況を正確に把握することができる。
【0106】
また、第3の実施の形態の信号処理装置200による雑音量nc1(t)、nc2(t)の計測において、マスク処理部30の介在は必要とされない。そのため、雑音量計測部240とマスク処理部30との間で実行される処理(例えば、同期処理)が不要となり、雑音量計測部240およびマスク処理部30の回路構成を簡略化することができる。
【0107】
<4.変形例>
以上、本発明の実施の形態について説明してきたが、本発明は上記実施の形態に限定されるものではなく様々な変形が可能である。
【0108】
(1)第1ないし第3の実施の形態において、音源(波動源)10は、2つであるものとして説明したが、これに限定されるものでなく、音源10の個数は、M(≧3)の複数であってもよい。また、マイク(観測部)15は、2つであるものとして説明したが、これに限定されるものでなく、観測部15の個数は、N(≧3)の複数であってもよい。
【0109】
この場合において、マスク処理部30は、1個の第1分離信号と、(M−1)×N個の第2分離信号と、に基づいて雑音状況を判断し、雑音信号選択部50は、(M−1)×N個の第2分離信号のうちの1つを、雑音信号として選択する。
【0110】
(2)また、(1)第1ないし第3の実施の形態において、雑音除去処理部60の雑音成分生成部61(61a、61b)は、線形変換後の雑音量nc1(t)、nc2(t)と、雑音信号yn1(f,t)、yn2(f,t)と、を乗算することによって、第2雑音成分を演算するものとして説明したがこれに限定されるものでない。例えば、雑音量nc1(t)、nc2(t)が、線形変換することなく、雑音信号yn1(f,t)、yn2(f,t)と乗算されることによって第2雑音成分が求められてもよい。これにより、雑音成分生成部61における計算コストを低減させることができる。
【図面の簡単な説明】
【0111】
【図1】本発明の第1の実施の形態における信号処理装置の全体構成を一例を示すブロック図である。
【図2】第1ないし第3の実施の形態における分離信号生成部の構成の一例を示すブロック図である。
【図3】第1ないし第3の実施の形態におけるマスク処理部の構成の一例を示すブロック図である。
【図4】マスク処理部による第1雑音成分の除去手法を説明するための図である。
【図5】マスク処理部による第1雑音成分の除去手法を説明するための図である。
【図6】マスク処理部による第1雑音成分の除去手法を説明するための図である。
【図7】第1の実施の実施の形態における雑音量計測部の構成の一例を示すブロック図である。
【図8】第1ないし第3の実施の形態における雑音信号選択部の構成の一例を示すブロック図である。
【図9】第1ないし第3の実施の形態における雑音除去処理部の構成の一例を示すブロック図である。
【図10】第2および第3の実施の形態における信号処理装置の構成の一例を示すブロック図である。
【図11】第2の実施の形態における雑音量計測部の構成の一例を示すブロック図である。
【図12】第3の実施の形態における雑音量計測部の構成の一例を示すブロック図である。
【図13】第2分離信号の広がり状況を説明するための図である。
【図14】第2分離信号の広がり状況を説明するための図である。
【符号の説明】
【0112】
1、100、200 信号処理装置
10(10a、10b) 音源(波動源)
15(15a、15b) マイク(観測部)
20 分離信号生成部
30 マスク処理部
40、140、240 雑音量計測部
41(41a、41b) 計数部
50 雑音信号選択部
60 雑音除去処理部
143(143a、143b) 尖度演算部
245(245a、245b) 方向推定処理部
246(246a、246b) 広がり判定処理部
【特許請求の範囲】
【請求項1】
複数の波動源のうち対象となる波動源から出力された原信号を目的信号として復元する信号処理装置であって、
(a) 各々が、前記複数の波動源から出力された複数の原信号につき、該複数の原信号の混合信号として観測可能な複数の観測部と、
(b) 各観測部で観測されて周波数領域に変換された1フレーム分の前記混合信号から、互いに独立した複数の分離信号を前記フレーム内の周波数ビン毎に生成する分離信号生成部と、
(c) 前記複数の分離信号のうち前記目的信号に対応する第1分離信号と、前記複数の分離信号のうち前記第1分離信号以外の第2分離信号と、に基づいて、前記第1分離信号の雑音状況を判断する処理と、
雑音状況の判断結果に基づいて求められた第1雑音成分を前記第1分離信号から除去することにより雑音除去信号を生成する処理と、
前記雑音状況の判断結果に基づいて雑音状況信号を生成する処理と、
を、前記フレーム内の周波数ビン毎に行うマスク処理部と、
(d) 前記マスク処理部側から入力された前記周波数ビン毎の雑音状況信号に基づいて、前記フレーム毎に、前記第1分離信号に含まれる雑音量を計測する雑音量計測部と、
(e) 前記雑音量計測部によって計測された前記雑音量に基づいて、前記周波数ビン毎に、前記第2分離信号のうちの1つの信号を雑音信号として選択する雑音信号選択部と、
(f) 前記雑音信号に基づいて生成された第2雑音成分を、前記雑音除去信号から前記周波数ビン毎に除去するとともに、前記第2雑音成分が除去された前記雑音除去信号を目的信号として出力する雑音除去処理部と、
を備えることを特徴とする信号処理装置。
【請求項2】
請求項1に記載の信号処理装置において、
前記マスク処理部は、前記周波数ビン毎に、前記目的信号に対応する前記第1分離信号の振幅スペクトルと、前記第2分離信号の振幅スペクトルと、の大小比較に基づいて、前記雑音状況の判断と、前記雑音状況信号の生成と、を行い、
前記雑音量計測部は、前記雑音状況信号を計数することによって、前記雑音量を計測することを特徴とする信号処理装置。
【請求項3】
複数の波動源のうち対象となる波動源から出力された原信号を目的信号として復元する信号処理装置であって、
(a) 各々が、前記複数の波動源から出力された複数の原信号につき、該複数の原信号を混合信号として観測可能な複数の観測部と、
(b) 各観測部で観測されて周波数領域に変換された1フレーム分の前記混合信号から、互いに独立した複数の分離信号を前記フレーム内の周波数ビン毎に生成する分離信号生成部と、
(c) 前記複数の分離信号のうち前記目的信号に対応する第1分離信号と、前記複数の分離信号のうち前記第1分離信号以外の第2分離信号と、に基づいて、前記第1分離信号の雑音状況を判断する処理と、
雑音状況の判断結果に基づいて求められた第1雑音成分を前記第1分離信号から除去することにより雑音除去信号を生成する処理と、
を前記フレーム内の周波数ビン毎に行うマスク処理部と、
(d) 前記分離信号生成部から入力された前記複数の分離信号に基づいて、前記フレーム毎に、前記第1分離信号に含まれる雑音量を計測する雑音量計測部と、
(e) 前記雑音量計測部によって計測された前記雑音量に基づいて、前記周波数ビン毎に、前記第2分離信号のうちの1つの信号を雑音信号として選択する雑音信号選択部と、
(f) 前記雑音信号に基づいて生成された第2雑音成分を前記雑音除去信号から前記周波数ビン毎に除去するとともに、前記第2雑音成分が除去された前記雑音除去信号を目的信号として出力する雑音除去処理部と、
を備えることを特徴とする信号処理装置。
【請求項4】
請求項3に記載の信号処理装置において、
前記雑音量計測部は、前記分離信号生成部から入力された周波数領域の第1分離信号を時間領域に変換するとともに、変換後の前記第1分離信号を用いて演算された尖度に基づいて、前記第1分離信号に含まれる前記雑音量を計測することを特徴とする信号処理装置。
【請求項5】
請求項3に記載の信号処理装置において、
前記雑音量計測部は、前記分離信号生成部から入力された第2分離信号の広がり状況に基づいて、前記フレーム毎に、前記第1分離信号に含まれる雑音量を計測することを特徴とする信号処理装置。
【請求項6】
請求項5に記載の信号処理装置において、
前記広がり状況は、第2分離信号の方向のばらつき状況であることを特徴とする信号処理装置。
【請求項7】
請求項1ないし請求項5のいずれかに記載の信号処理装置において、
前記雑音除去処理部は、前記雑音量計測部側から入力された前記雑音量と、前記雑音信号選択部によって選択された雑音信号と、に基づいて、前記第2雑音成分を生成することを特徴とする信号処理装置。
【請求項8】
請求項1ないし請求項7のいずれかに記載の信号処理装置において、
前記雑音除去処理部は、前記雑音除去信号の振幅スペクトルから前記第2雑音成分の振幅スペクトルを減算することによって、前記周波数ビン毎に前記目的信号の振幅スペクトルを演算することを特徴とする信号処理装置。
【請求項9】
請求項1ないし請求項8のいずれかに記載の信号処理装置において、
M個の波動源から出力されたM個の原信号は、それぞれN個の観測部によって観測され(M、Nは、それぞれ2以上の自然数)、
前記マスク処理部は、1個の第1分離信号と、(M−1)×N個の第2分離信号と、に基づいて雑音状況を判断し、
前記雑音信号選択部は、(M−1)×N個の第2分離信号のうちの1つを、雑音信号として選択することを特徴とする信号処理装置。
【請求項1】
複数の波動源のうち対象となる波動源から出力された原信号を目的信号として復元する信号処理装置であって、
(a) 各々が、前記複数の波動源から出力された複数の原信号につき、該複数の原信号の混合信号として観測可能な複数の観測部と、
(b) 各観測部で観測されて周波数領域に変換された1フレーム分の前記混合信号から、互いに独立した複数の分離信号を前記フレーム内の周波数ビン毎に生成する分離信号生成部と、
(c) 前記複数の分離信号のうち前記目的信号に対応する第1分離信号と、前記複数の分離信号のうち前記第1分離信号以外の第2分離信号と、に基づいて、前記第1分離信号の雑音状況を判断する処理と、
雑音状況の判断結果に基づいて求められた第1雑音成分を前記第1分離信号から除去することにより雑音除去信号を生成する処理と、
前記雑音状況の判断結果に基づいて雑音状況信号を生成する処理と、
を、前記フレーム内の周波数ビン毎に行うマスク処理部と、
(d) 前記マスク処理部側から入力された前記周波数ビン毎の雑音状況信号に基づいて、前記フレーム毎に、前記第1分離信号に含まれる雑音量を計測する雑音量計測部と、
(e) 前記雑音量計測部によって計測された前記雑音量に基づいて、前記周波数ビン毎に、前記第2分離信号のうちの1つの信号を雑音信号として選択する雑音信号選択部と、
(f) 前記雑音信号に基づいて生成された第2雑音成分を、前記雑音除去信号から前記周波数ビン毎に除去するとともに、前記第2雑音成分が除去された前記雑音除去信号を目的信号として出力する雑音除去処理部と、
を備えることを特徴とする信号処理装置。
【請求項2】
請求項1に記載の信号処理装置において、
前記マスク処理部は、前記周波数ビン毎に、前記目的信号に対応する前記第1分離信号の振幅スペクトルと、前記第2分離信号の振幅スペクトルと、の大小比較に基づいて、前記雑音状況の判断と、前記雑音状況信号の生成と、を行い、
前記雑音量計測部は、前記雑音状況信号を計数することによって、前記雑音量を計測することを特徴とする信号処理装置。
【請求項3】
複数の波動源のうち対象となる波動源から出力された原信号を目的信号として復元する信号処理装置であって、
(a) 各々が、前記複数の波動源から出力された複数の原信号につき、該複数の原信号を混合信号として観測可能な複数の観測部と、
(b) 各観測部で観測されて周波数領域に変換された1フレーム分の前記混合信号から、互いに独立した複数の分離信号を前記フレーム内の周波数ビン毎に生成する分離信号生成部と、
(c) 前記複数の分離信号のうち前記目的信号に対応する第1分離信号と、前記複数の分離信号のうち前記第1分離信号以外の第2分離信号と、に基づいて、前記第1分離信号の雑音状況を判断する処理と、
雑音状況の判断結果に基づいて求められた第1雑音成分を前記第1分離信号から除去することにより雑音除去信号を生成する処理と、
を前記フレーム内の周波数ビン毎に行うマスク処理部と、
(d) 前記分離信号生成部から入力された前記複数の分離信号に基づいて、前記フレーム毎に、前記第1分離信号に含まれる雑音量を計測する雑音量計測部と、
(e) 前記雑音量計測部によって計測された前記雑音量に基づいて、前記周波数ビン毎に、前記第2分離信号のうちの1つの信号を雑音信号として選択する雑音信号選択部と、
(f) 前記雑音信号に基づいて生成された第2雑音成分を前記雑音除去信号から前記周波数ビン毎に除去するとともに、前記第2雑音成分が除去された前記雑音除去信号を目的信号として出力する雑音除去処理部と、
を備えることを特徴とする信号処理装置。
【請求項4】
請求項3に記載の信号処理装置において、
前記雑音量計測部は、前記分離信号生成部から入力された周波数領域の第1分離信号を時間領域に変換するとともに、変換後の前記第1分離信号を用いて演算された尖度に基づいて、前記第1分離信号に含まれる前記雑音量を計測することを特徴とする信号処理装置。
【請求項5】
請求項3に記載の信号処理装置において、
前記雑音量計測部は、前記分離信号生成部から入力された第2分離信号の広がり状況に基づいて、前記フレーム毎に、前記第1分離信号に含まれる雑音量を計測することを特徴とする信号処理装置。
【請求項6】
請求項5に記載の信号処理装置において、
前記広がり状況は、第2分離信号の方向のばらつき状況であることを特徴とする信号処理装置。
【請求項7】
請求項1ないし請求項5のいずれかに記載の信号処理装置において、
前記雑音除去処理部は、前記雑音量計測部側から入力された前記雑音量と、前記雑音信号選択部によって選択された雑音信号と、に基づいて、前記第2雑音成分を生成することを特徴とする信号処理装置。
【請求項8】
請求項1ないし請求項7のいずれかに記載の信号処理装置において、
前記雑音除去処理部は、前記雑音除去信号の振幅スペクトルから前記第2雑音成分の振幅スペクトルを減算することによって、前記周波数ビン毎に前記目的信号の振幅スペクトルを演算することを特徴とする信号処理装置。
【請求項9】
請求項1ないし請求項8のいずれかに記載の信号処理装置において、
M個の波動源から出力されたM個の原信号は、それぞれN個の観測部によって観測され(M、Nは、それぞれ2以上の自然数)、
前記マスク処理部は、1個の第1分離信号と、(M−1)×N個の第2分離信号と、に基づいて雑音状況を判断し、
前記雑音信号選択部は、(M−1)×N個の第2分離信号のうちの1つを、雑音信号として選択することを特徴とする信号処理装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【公開番号】特開2008−252587(P2008−252587A)
【公開日】平成20年10月16日(2008.10.16)
【国際特許分類】
【出願番号】特願2007−92067(P2007−92067)
【出願日】平成19年3月30日(2007.3.30)
【出願人】(591128453)株式会社メガチップス (322)
【出願人】(504143441)国立大学法人 奈良先端科学技術大学院大学 (226)
【Fターム(参考)】
【公開日】平成20年10月16日(2008.10.16)
【国際特許分類】
【出願日】平成19年3月30日(2007.3.30)
【出願人】(591128453)株式会社メガチップス (322)
【出願人】(504143441)国立大学法人 奈良先端科学技術大学院大学 (226)
【Fターム(参考)】
[ Back to top ]