マイクロホンアレイにおけるマイクロホンの感度を補正する装置、この装置を含んだマイクロホンアレイシステム、およびプログラム
【課題】マイクロホンアレイを構成する各マイクロホンの感度のばらつきを適切に補正するための条件が揃っているか否かについて特段の注意を払うことなく、感度補正を適切に行うことを可能にする。
【解決手段】 各々異なる音源から放射される２つの音の混合音を２つのマイクロホンの各々で収音して得られる２つの観測信号に対する音源分離を行うための分離行列をその１行目についてはアレイ面の法線方向に死角を有し、その２行目についてはマイクロホンの配列方向に死角を有するように生成する。そして、この分離行列の１行目の行列要素により抑圧される音の到来方向を推定し、その到来方向がアレイ面の法線方向から大きく外れていない場合に、当該１行目の行列要素の絶対値の比に応じて何れか一方のマイクロホンの出力信号の信号レベルを補正する。
【解決手段】 各々異なる音源から放射される２つの音の混合音を２つのマイクロホンの各々で収音して得られる２つの観測信号に対する音源分離を行うための分離行列をその１行目についてはアレイ面の法線方向に死角を有し、その２行目についてはマイクロホンの配列方向に死角を有するように生成する。そして、この分離行列の１行目の行列要素により抑圧される音の到来方向を推定し、その到来方向がアレイ面の法線方向から大きく外れていない場合に、当該１行目の行列要素の絶対値の比に応じて何れか一方のマイクロホンの出力信号の信号レベルを補正する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マイクロホンアレイを構成する各マイクロホンの感度のばらつきを補正する技術に関する。
【背景技術】
【０００２】
特定の方向から到来する音のみを収音することができるように指向性パターンの設定が可能な収音システムの一例として、マイクロホンアレイシステムが挙げられる。マイクロホンアレイシステムは、複数のマイクロホンを１次元或いは２次元的に配列したマイクロホンアレイを含んでおり、マイクロホンアレイを構成する各マイクロホンから出力されるオーディオ信号にＦＩＲ（Finite Impulse Response）フィルタ処理などのフィルタ処理を施し、フィルタ処理済みのオーディオ信号をミキシングして出力する構成となっている。そして、上記フィルタ処理のフィルタ係数を調整することで指向性パターンの調整が行われる。
【０００３】
この種の収音システムでは、各マイクロホンの感度が揃っている必要がある。何故ならば、各マイクロホンの感度にばらつきがあると、指向性パターンの調整に支障が生じ得るからである。しかし、マイクロホンは機械部品であるため製造ばらつきを避けることはできず、製造段階では±４デシベル若しくはそれ以上の感度のばらつきが生じる可能性がある。マイクロホンアレイを構成する各マイクロホンの感度に±４デシベル程度のばらつきがあると、指向性能の劣化は避けられない。そこで、マイクロホンアレイを構成する各マイクロホンの感度のばらつきを補正する技術が種々提案されている（特許文献１や特許文献２など）。特許文献１には、マイクロホンアレイを構成する複数のマイクロホンの何れか一つを基準マイクロホンとし、他のマイクロホンの出力信号の信号レベルが基準マイクロホンの出力信号のレベルと等しくなるようにゲインを調整することで、感度のばらつきを補正する技術が開示されている。一方、特許文献２には、マイクロホンアレイを構成する複数のマイクロホンのうち、一定周波数かつ一定音圧の音響信号が所定時間以上入力されているマイクロホンを基準マイクロホンとして他のマイクロホンの感度を補正する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平７−１３１８８６号公報
【特許文献２】特開２００７−２４６１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、マイクロホンアレイを構成する複数のマイクロホンの何れか１つを基準として他のマイクロホンの出力信号のレベル調整を行うことで感度のばらつきを補正する技術には、マイクロホンアレイに対して音源が正対していない場合（アレイ面の中心を通り、かつアレイ面に垂直な方向（以下、アレイ面の法線方向）に音源が位置していない場合）に適切な感度補正をすることができないといった問題がある。これは、遠隔音源からの音波は平面波となって空間を伝搬するため、マイクロホンアレイに対して音源が正対していない場合には各マイクロホンと音源との距離の差により、各マイクロホンの位置で観測される音波の音圧が各々異なったものになるからである。したがって、特許文献１等に開示された技術によりマイクロホンの感度を補正する場合は、感度補正を適切に行い得る条件（音源がマイクロホンアレイに正対している等）が揃っているか否かについて十分に注意を払う必要があり、煩わしいといった問題があった。なお、このような問題を解決するには、各マイクロホンの出力信号に基づいて音の到来方向を推定し、その到来方向を加味して感度補正を行うようにすることが考えられる。しかし、ステアリングベクトルを用いた方法（ＭＶＤＲやＭＵＳＩＣを含む）など音の到来方向を推定するための従来技術では、マイクロホンアレイを構成する各マイクロホンの感度が揃っていることを前提としている。このため、この種の到来方向推定技術を、マイクロホンアレイを構成する各マイクロホンの感度のばらつきの補正の前提として用いることはできない。
【０００６】
本発明は上記課題に鑑みて為されたものであり、マイクロホンアレイを構成する各マイクロホンの感度のばらつきを適切に補正するための条件が揃っているか否かについて特段の注意を払うことなく、感度補正を適切に行うことを可能にする技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、本発明は、各々異なる音源から放射されるＭ（Ｍは２以上の自然数）種類の音の混合音をマイクロホンアレイを構成するＭ個のマイクロホンの各々で収音して得られるＭ個の観測信号の各々に周波数分析を施し、複数の周波数の各々における信号強度を示す時系列の観測データをマイクロホン毎に算出する周波数分析部と、前記複数の周波数のうちの少なくとも１つを選択し、当該周波数成分についての音源分離を行うためのＭ行Ｍ列の複素数値行列である分離行列を当該周波数成分の観測データに対する独立成分分析により生成する分離行列生成部と、前記分離行列生成部により生成される分離行列の各行について、各行の行列要素の偏角の差から、当該行の行列要素により抑圧される音の到来方向を推定する方向推定部と、前記方向推定部により推定される音の到来方向が前記マイクロホンアレイの法線方向から大きくはずれてはいない前記分離行列の行がある場合に、当該行の行列要素の絶対値の比に応じて前記各マイクロホンの出力信号の信号レベルのばらつきを補正する感度補正部とを有することを特徴とするマイクロホンアレイを構成するマイクロホンの感度補正装置、およびコンピュータを上記各部として機能させることを特徴とするプログラム、を提供する。
【０００８】
このような感度補正装置およびプログラムによれば、まず、マイクロホンアレイを構成するＭ個のマイクロホンの各々から出力されるＭ個の観測信号を用いた独立成分分析により、Ｍ種類の音の音源分離を行うためのＭ行Ｍ列の分離行列が算出され、この分離行列の行毎に、行列要素の偏角の差に基づいてその行により抑圧される音の到来方向が推定される。そして、上記のようにして推定される音の到来方向が前記マイクロホンアレイの法線方向から大きくはずれてはいない行が分離行列に含まれている場合に、当該行の行列要素の絶対値の比に応じて各マイクロホンの出力信号の信号レベルのばらつきが補正される。詳細については後述するが、Ｍ＝２である場合、アレイ面の法線方向に死角を形成する（すなわち、アレイ面の法線方向から到来する音を抑圧する）行の行列要素の絶対値の比は、２つのマイクロホンの出力信号の信号レベルの比（すなわち、２つのマイクロホンの感度の比）に等しくなる。このため、本発明によれば、マイクロホンアレイを構成する各マイクロホンの感度のばらつきを適切に補正するための条件（独立成分分析により生成される分離行列のＭ個の行に、前記マイクロホンアレイの法線方向から到来する音を抑圧するものが含まれているという条件、換言すれば、アレイ面の法線方向に何れかの音源が位置しているという条件）を満たしているか否かについて特段の注意を払わなくとも、その条件が満たされたときに、マイクロホンアレイを構成する各マイクロホンの感度のばらつきが自動的に補正される。
【０００９】
Ｍ＝２である場合、前記感度補正装置の分離行列生成部は、前記独立成分分析の出発点となる初期分離行列を、一方の行の行列要素に関しては前記マイクロホンアレイのアレイ面の法線方向から到来する音を抑圧するように値を設定し、かつ他方の行の行列要素についてはアレイ面におけるマイクロホンの配列方向から到来する音を抑圧するように値を設定することを特徴とする。Ｍ＝２の場合に独立成分分析の出発点となる初期分離行列を上記のように設定するのは、このような初期分離行列を用いて逐次学習を行えば、アレイ面の法線方向およびアレイ面におけるマイクロホンの配列方向に死角を有する分離行列を得やすくなることが一般に知られているからである。
【００１０】
また、上記課題を解決するために本発明は、Ｎ（Ｎは２以上の自然数）のマイクロホンで構成されるマイクロホンアレイと、Ｍ＝２である場合の上記感度補正装置をＮ−１個備え、前記Ｎ個のマイクロホンのうちの何れか１つを基準マイクロホンとするとともに、他のＮ−１個のマイクロホンの各々を感度補正対象のマイクロホンとし、前記Ｎ−１個の感度補正装置の各々を前記Ｎ−１個の感度補正対象のマイクロホンの各々に一つずつ接続するとともに、当該Ｎ−１個の感度補正装置の各々を前記基準マイクロホンに接続し、当該Ｎ−１個の感度補正装置の各々により前記Ｎ−１個の補正対象マイクロホンの各々の出力信号の信号レベルを補正することを特徴とするマイクロホンアレイシステムを提供する。このような態様によれば、上記基準マイクロホンの出力信号の信号レベルを基準として、他のＮ−１個のマイクロホンの感度を補正する処理が上記Ｎ−１個の感度補正装置の各々によって実行される。これにより、マイクロホンアレイを構成するＮ個のマイクロホンの感度のばらつきが補正される。
【図面の簡単な説明】
【００１１】
【図１】この発明の第１実施形態であるマイクロホンアレイシステム１００Ａの構成例を示す図である。
【図２】同システムに含まれる感度補正装置２０の周波数分析部２２が実行する処理を説明するための図である。
【図３】同感度補正装置２０の分離行列生成部４０Ａの構成例を示す図である。
【図４】同感度補正装置２０の感度補正制御部２８の構成例を示す図である。
【図５】同感度補正制御部２８の補正量算定部７６が実行する処理の流れを示すフローチャートである。
【図６】同実施形態における音の混合系および分離系を説明するための図である。
【図７】本発明の第２実施形態であるマイクロホンアレイシステム１００Ｂの構成例を示す図である。
【図８】本発明の第３実施形態であるマイクロホンアレイシステム１００の構成例を示す図である。
【図９】同マイクロホンアレイシステム１００に含まれる演算装置１２の信号処理部２４の構成例を示すブロック図である。
【図１０】同演算装置１２の分離行列生成部４０の構成例を示すブロック図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照しつつ本発明の実施形態について説明する。
＜Ａ：第１実施形態＞
図１は、本発明の第１実施形態であるマイクロホンアレイシステム１００Ａの構成例を示すブロック図である。マイクロホンアレイシステム１００Ａは、ｎ個（ｎは２以上の自然数）のマイクロホンにより構成されるマイクロホンアレイ１０Ａを含んでいる。本実施形態では、図１に示すように、マイクロホンＭ１およびマイクロホンＭ２の２個でマイクロホンアレイ１０Ａが構成されている場合（ｎ＝２）を想定する。マイクロホンＭ１およびマイクロホンＭ２の各々は、収音軸が平行になるように相互に間隔をあけて平面ＰＬに沿って配置されている。このため、マイクロホンアレイ１０Ａのアレイ面は平面ＰＬと平行になる。マイクロホンＭ１およびマイクロホンＭ２の周囲の相異なる位置には、上記各マイクロホンの収音軸およびマイクロホンアレイ１０Ａのアレイ面の法線を含む平面内にｎ個の音源Ｓ（Ｓ１，Ｓ２）が存在する。音源Ｓ１は、マイクロホンアレイ１０Ａのアレイ面の法線Ｌｎに対して角度θ１の方向に位置し、音源Ｓ２は、法線Ｌｎに対して角度θ２（θ２≠θ１）の方向に位置する。
【００１３】
音源Ｓ１から放射された音ＳＶ１と音源Ｓ２から放射された音ＳＶ２はマイクロホンＭ１およびマイクロホンＭ２の両方に到達する。マイクロホンＭ１は、音源Ｓ１からの音ＳＶ１と音源Ｓ２からの音ＳＶ２との混合音の波形を表す観測信号Ｖ１を生成する。同様に、マイクロホンＭ２は、音源Ｓ１からの音ＳＶ１と音源Ｓ２からの音ＳＶ２との混合音の波形を表す観測信号Ｖ２を生成する。図１に示すようにマイクロホンＭ２から出力される観測信号Ｖ２はアンプＧ２による信号レベルの増幅を経て信号処理部３０に与えられる一方、マイクロホンＭ１から出力される観測信号Ｖ１はそのまま（アンプによる増幅を経ることなく）信号処理部３０に与えられる。
【００１４】
信号処理部３０は、指向性収話のためのフィルタ処理を観測信号Ｖ１および観測信号Ｖ２に施すフィルタ部と、各々フィルタ処理を経た観測信号Ｖ１および観測信号Ｖ２をミキシングして出力する加算器を含んでいる（何れも図示省略）。マイクロホンアレイシステム１００Ａでは、上記フィルタ処理にて使用するフィルタ係数を調整することで指向パターンの設定が行われる。そして、信号処理部３０から出力される信号は、放音機器（例えばスピーカやヘッドホン）に供給されることで音響として再生される。なお、観測信号Ｖ１および観測信号Ｖ２をデジタル信号に変換するＡ／Ｄ変換器や、信号処理部３０の出力信号をアナログ信号に変換するＤ／Ａ変換器の図示は省略されている。
【００１５】
感度補正装置２０は、観測信号ＳＶ１の信号レベルを基準として観測信号ＳＶ２の信号レベルを調整することでマイクロホンＭ１およびマイクロホンＭ２の感度のばらつきを補正する。詳細については後述するが、感度補正装置２０は、観測信号Ｖ１および観測信号Ｖ２から本実施形態の特徴を顕著に示す手法で感度補正量Ｒを算出し、この感度補正量Ｒに応じたゲインをアンプＧ２に設定する。これにより、観測信号Ｖ１と観測信号Ｖ２の信号レベルが略揃い、マイクロホンＭ１とマイクロホンＭ２の感度のばらつきが補正されるのである。
【００１６】
感度補正装置２０は、例えばパーソナルコンピュータなどのコンピュータ装置である。この感度補正装置２０のＣＰＵ（Central Processing Unit：図示略）は、記憶装置１４に格納されているプログラムを実行することにより、本実施形態の特徴を顕著に示す感度補正処理を実行する。記憶装置１４には、上記プログラム（以下、感度補正支援プログラム）や各種のデータが格納されている。この記憶装置１４としては、半導体記録媒体や磁気記録媒体などの公知の記録媒体が採用される。
【００１７】
感度補正装置２０のＣＰＵは感度補正支援プログラムを実行し、図１に示す周波数分析部２２、分離行列生成部４０Ａ、および感度補正制御部２８として機能する。なお、本実施形態では、周波数分析部２２、分離行列生成部４０Ａおよび感度補正制御部２８の各々をソフトウェアで実現したが、ＤＳＰなどの信号処理専用の電子回路で周波数分析部２２、分離行列生成部４０Ａおよび感度補正制御部２８を実現しても良く、これら各部を複数の集積回路に分散的に搭載した構成でも良い。
【００１８】
周波数分析部２２は、観測信号Ｖ（Ｖ１，Ｖ２）を時間軸上で区分した複数のフレームの各々について周波数スペクトルＱ（観測信号Ｖ１の周波数スペクトルＱ１および観測信号Ｖ２の周波数スペクトルＱ２）を算定する。周波数スペクトルＱの算定には、例えば短時間フーリエ変換が利用される。図２に示すように、番号（時刻）ｔで識別される１個のフレームの周波数スペクトルＱ１は、周波数軸上に設定されたＫ個の周波数ｆ１〜ｆＫの各々における強度ｘ１（ｔ，ｆ１）〜ｘ１（ｔ，ｆＫ）として算定される。同様に、周波数スペクトルＱ２は、Ｋ個の周波数ｆ１〜ｆＫの各々における強度ｘ２（ｔ，ｆ１）〜ｘ２（ｔ，ｆＫ）として算定される。
【００１９】
周波数分析部２２は、Ｋ個の周波数ｆ１〜ｆＫについてフレーム毎に観測ベクトルＸ（ｔ，ｆ１）〜Ｘ（ｔ，ｆＫ）を生成する。第ｋ番目（ｋ＝１〜Ｋ）の周波数ｆｋの観測ベクトルＸ（ｔ，ｆＫ）は、図２に示すように、周波数スペクトルＱ１のうち周波数ｆｋでの強度ｘ１（ｔ，ｆｋ）と、共通のフレームの周波数スペクトルＱ２のうち周波数ｆｋでの強度ｘ２（ｔ，ｆｋ）とを要素とするベクトル（Ｘ（ｔ，ｆｋ）＝［ｘ１（ｔ，ｆｋ）＊ｘ２（ｔ，ｆｋ）＊］Ｈである。記号＊は複素共役を意味し、記号Ｈは行列の転置（エルミート転置）を意味する。周波数分析部２２がフレーム毎に生成した観測ベクトルＸ（ｔ，ｆ１）〜Ｘ（ｔ，ｆＫ）は記憶装置１４に格納される。記憶装置１４に格納された観測ベクトルＸ（ｔ，ｆ１）〜Ｘ（ｔ，ｆＫ）は、図２に示すように、所定個（例えば５０個）のフレームで構成される単位区間ＴＵ毎に観測データＤ（ｆ１）〜Ｄ（ｆＫ）に区分される。周波数ｆｋの観測データＤ（ｆｋ）は、単位区間ＴＵ内の各フレームについて算定された周波数ｆｋの観測ベクトルＸ（ｔ，ｆｋ）の時系列である。
【００２０】
分離行列生成部４０Ａは、観測データＤ（ｆｋ）から所謂独立成分分析により分離行列Ｗ（ｆ１）〜Ｗ（ｆＫ）を生成する。ここで、分離行列とは、本来的には、観測信号Ｖ１および観測信号Ｖ２から音ＳＶ１または音ＳＶ２（或いは両者）を分離するための信号処理演算に用いられる２行２列（ｎ行ｎ列）の複素数値行列である。しかし、本実施形態では、この分離行列を用いてマイクロホンＭ１とマイクロホンＭ２の感度のばらつきを補正することに特徴がある。
【００２１】
図３は、分離行列生成部４０Ａのブロック図である。
図３に示すように、分離行列生成部４０Ａは、初期値生成部４２、周波数選択部５４、および学習処理部４４を含んでいる。初期値生成部４２は、Ｋ個の周波数ｆ１〜ｆＫの各々について初期的な分離行列（以下「初期分離行列」という）Ｗ０（ｆ１）〜Ｗ０（ｆＫ）を生成する。周波数ｆｋに対応する初期分離行列Ｗ０（ｆｋ）は、記憶装置１４に格納された観測データＤ（ｆｋ）を利用して単位区間ＴＵ毎に生成される。初期分離行列Ｗ０（ｆ１）〜Ｗ０（ｆＫ）の生成手法としては公知の手法を適宜採用すれば良い。ここで、初期分離行列Ｗ０（ｆ１）〜Ｗ０（ｆＫ）としてどのようなものを生成するのかについては、種々の態様が考えられるが、本実施形態では、所謂死角型ビームフォーマを採用する。より詳細に説明すると、周波数ｆ１〜ｆＫの各々について初期分離行列を観測信号Ｖ１およびＶ２に乗算したとした場合に、これら２つの観測信号と当該分離行列の１行目の行列要素（すなわち、（１，１）成分および（１，２）成分）との乗算により得られる信号においてはマイクロホンアレイ１０Ａのアレイ面の法線方向から到来する音が抑圧され（すなわち、同法線方向が死角となり）、これら２つの観測信号と当該初期分離行列の２行目の行列要素（すなわち、（２，１）成分および（２，２）成分）との乗算により得られる信号においてはマイクロホンアレイ１０Ａにおける各マイクロホンの配列方向から到来する音が抑圧される（すなわち、同配列方向が死角となる）ように初期分離行列を設定する。本実施形態では上記のように初期分離行列を設定するため、死角型ビームフォーマの分離行列、すなわち、分離行列の行毎にその死角方向から到来する音を抑圧する（換言すれば、死角以外の方向から到来する音を強調する）ことで音源分離を行う分離行列が生成されることになる。
【００２２】
周波数選択部５４は、Ｋ種類の周波数ｆ１〜ｆＫのうちから、独立成分分析による分離行列の学習対象とする１または複数の周波数をマイクロホンアレイ１０ＡにおけるマイクロホンＭ１およびマイクロホンＭ２の配置間隔の大きさに応じて選択する。より詳細に説明すると、周波数選択部５４は、マイクロホンＭ１およびマイクロホンＭ２の配置間隔との関係でアレイゲインが高く、かつ折り返し雑音の少ない１または複数の周波数をＫ種類の周波数ｆ１〜ｆＫのうちから選択する。以下、周波数選択部５４により選択される周波数のことを「選択周波数」と呼ぶ。つまり、本実施形態では、Ｋ種類の周波数ｆ１〜ｆＫのうち周波数選択部５４により選択された周波数に関してのみ、独立成分分析を用いた分離行列の学習が行われる。その理由は以下の通りである。
【００２３】
音源分離を目的として分離行列の学習を行う場合には、Ｋ種類の周波数ｆ１〜ｆＫの全てについて分離行列を算出することが理想的である。しかし、本実施形態では、音源分離を目的としている訳ではなく、音の到来方向の推定と各マイクロホンの感度補正を目的としているため、その目的が達せられる範囲で分離行列を算定することができれば十分である。そこで、第１実施形態においては、Ｋ個の周波数ｆ１〜ｆＫのうち、アレイゲインが高くかつ折り返し雑音のない１または複数の周波数をマイクロホンアレイ１０ＡにおけるマイクロホンＭ１およびマイクロホンＭ２の配置間隔に基づいて選択し、それら周波数についてのみ観測データＤ（ｆｋ）を使用した分離行列Ｗ（ｆｋ）の逐次学習を実行することとして、感度補正に要する演算量を削減しているのである。
【００２４】
学習処理部４４は、周波数選択部５４により選択された選択周波数ｆｋの各々について、初期分離行列Ｗ０（ｆｋ）を初期値とした逐次的な学習で分離行列Ｗ（ｆｋ）を生成する。分離行列Ｗ（ｆｋ）の学習には、記憶装置１４に格納された周波数ｆｋの観測データＤ（ｆｋ）が使用される。例えば、観測データＤ（ｆｋ）に分離行列Ｗ（ｆｋ）を乗算して得られる分離信号Ｕ１（数１で定義される強度ｕ１（ｔ，ｆｋ）の時系列）と分離信号Ｕ２（数２で定義される強度ｕ２（ｔ，ｆｋ）の時系列）とが統計的に相互に独立となるように分離行列Ｗ（ｆｋ）の更新を反復する独立成分分析（例えば高次ＩＣＡ）が、分離行列Ｗ（ｆｋ）の生成に好適に採用される。なお、以下の数１および数２において、ｗｉｊ（ｆｋ）は分離行列Ｗ（ｆｋ）のｉ行ｊ列成分である。
【数１】
【数２】
以上が分離行列生成部４０Ａの構成である。
【００２５】
次いで、感度補正制御部２８の構成について説明する。
図４は感度補正制御部２８の構成を示すブロック図である。図４に示すように感度補正制御部２８は、方向推定部７２と補正量算定部７６を含んでいる。
【００２６】
方向推定部７２には、選択周波数ｆｋを示すデータと、学習処理部４４による学習後の分離行列Ｗ（ｆｋ）とが供給される。方向推定部７２は、選択周波数ｆｋに関し学習後の各分離行列Ｗ（ｆｋ）から、この分離行列Ｗ（ｆｋ）の各行により抑圧される音の到来方向（具体的には、アレイ面の法線Ｌｎと音の到来方向とがなす角度）を推定する。より詳細に説明すると、方向推定部７２は、学習処理部４４による学習後の分離行列Ｗ（ｆｋ）の１行目の行列要素の偏角の差（すなわち、ｗ１１（ｆｋ）の偏角とｗ１２（ｆｋ）の偏角の差）から当該１行目の行列要素により抑圧される音の到来方向θ１（ｆｋ）を推定し、同２行目の行列要素の偏角の差（すなわち、ｗ２１（ｆｋ）の偏角とｗ２２（ｆｋ）の偏角の差）から当該２行目の行列要素により抑圧される音の到来方向θ２（ｆｋ）を推定する。分離行列Ｗ（ｆｋ）の行列要素を利用した到来方向θ１（ｆｋ）および到来方向θ２（ｆｋ）の推定には、H. Saruwatari, et. al., "Blind Source Separation Combining
Independent Component Analysis and Beamforming", EURASIP Journal on
Applied Signal Processing Vol.2003, No.11, pp.1135-1146, 2003に開示された方法などを用いることができる。例えば、ｗ１１（ｆｋ）の偏角とｗ１２（ｆｋ）の偏角の差がゼロであれば、分離行列の１行目の行列要素により抑圧される音の到来方向θ１（ｆｋ）はマイクロホンアレイ１０Ａのアレイ面の法線方向であると推定される。
【００２７】
補正量算定部７６は、学習処理部４４による学習後の分離行列Ｗ（ｆｋ）からマイクロホンＭ２についての感度の補正量Ｒを算出し、その補正量Ｒに応じたゲインをアンプＧ２に設定する処理を実行する。図５は、補正量算定部７６が実行する処理の流れを示すフローチャートである。図５に示すように補正量算定部７６は、選択周波数ｆｋの各々に関して方向推定部７２により推定される音の到来方向θ１（ｆｋ）（すなわち、分離行列Ｗ（ｆｋ）の１行目により抑圧される音の到来方向）がアレイ面の法線方向から大幅にはずれているか否かを判定し、大幅にはずれていると判定される周波数ｆｋを選択周波数から除外する（ステップＳＡ１００）。例えば、補正量算定部７６は、到来方向を示す角度（すなわち、θ１（ｆｋ）やθ２（ｆｋ））の絶対値が所定の閾値を超えている場合に、その到来方向はアレイ面の法線方向から大幅に外れていると判定する。ここで、到来方向θ１（ｆｋ）がアレイ面の法線方向から大幅にはずれている周波数を除外するのは、そのような周波数に対応する分離行列に対してステップＳＡ１２０以降の演算を行っても、感度補正の精度向上を望めないからである。
【００２８】
次いで、補正量算定部７６は、ステップＳＡ１００にて選択周波数の全てが除外されたか否かを判定し（ステップＳＡ１１０）、その判定結果が“Ｎｏ”である場合（すなわち、選択周波数ｆｋのうち除外されなかったものがあった場合）にのみ、ステップＳＡ１２０以降の処理を実行する。このステップＳＡ１２０では、補正量算定部７６は、ステップＳＡ１００にて除外されなかった周波数（すなわち、到来方向θ１（ｆｋ）がアレイ面の法線方向から大幅にはずれてはいないと判定された周波数）ｆｋの各々についての分離行列ｗ（ｆｋ）の１行目の行列要素（すなわち、ｗ１１（ｆｋ）およびｗ１２（ｆｋ））から以下の数３にしたがってマイクロホンＭ２についての感度の補正量Ｒ（ｆｋ）を算定する。この数３において｜｜は絶対値を意味する。
【数３】
【００２９】
ここで、マイクロホンＭ２についての感度の補正量Ｒ（ｆｋ）を前掲数３にしたがって算出することができる理由は以下の通りである。音源Ｓ１から放射される音ＳＶ１と音源Ｓ２から放射される音ＳＶ２の混合系が図６に示すように表され、マイクロホンＭ１とマイクロホンＭ２の感度が揃っておらず、あたかもマイクロホンＭ１側にのみゲインｐが入っているかのように観測信号Ｖ１の信号レベルと観測信号Ｖ２の信号レベルに差がある場合（図６参照）、音ＳＶ１および音ＳＶ２から観測信号Ｖ１および観測信号Ｖ２を以下の数４にしたがって生成する混合行列Ａは、以下の数５で表される。なお、以下の数５においてａｉｊは音源ＳｊからマイクロホンＭｉへ至る音の伝搬経路の伝達関数である。
【数４】
【数５】
【００３０】
この場合、観測信号Ｖ１および観測信号Ｖ２から音ＳＶ１および音ＳＶ２を分離するための分離行列Ｗの候補の一つとしては混合行列Ａの逆行列Ａ−１が挙げられる。この場合の分離行列Ｗは以下の数６で与えられる。この分離行列Ｗは、その１行目の行列要素によって音源Ｓ２から放射された音を抑圧し、同２行目の行列要素によって音源Ｓ１から放射された音を抑圧する。
【数６】
【００３１】
分離行列Ｗの１行目の行列要素がアレイ面の法線方向に死角を形成している場合（分離行列Ｗ（ｆｋ）の１行目により抑圧される音がマイクロホンアレイ１０Ａのアレイ面の法線方向から到来している場合、すなわち、音源Ｓ２がアレイ面に正対している場合）、音源Ｓ２からマイクロホンＭ１へ至る距離と音源Ｓ２からマイクロホンＭ２へ至る距離は等しくなり、ａ１２＝ａ２２となる。したがって、分離行列Ｗの１行目の行列要素がアレイ面の法線方向に死角を形成している場合、分離行列Ｗの１行目の行列要素Ｗ１１およびＷ１２の比Ｒは以下の数７で算定され、この数７にしたがって算定される値Ｒの大きさは、マイクロホンＭ１とマイクロホンＭ２の感度比ｐに等しくなる。
【数７】
【００３２】
したがって、分離行列Ｗ（ｆｋ）の１行目がアレイ面の法線方向に死角を形成している場合には、前掲数３にしたがって算出されるＲ（ｆｋ）に応じたゲインをアンプＧ２に設定することで、マイクロホンＭ１とマイクロホンＭ２の感度のばらつきを補正することができるのである。
【００３３】
そして、補正量算定部７６は、ステップＳＡ１００にて除外されなかった周波数ｆｋの各々に関して数３にしたがって算出される補正量Ｒ（ｆｋ）を代表する値Ｒ（選択周波数ｆｋが複数の残っている場合には、それら選択周波数ｆｋの各々について算出されるＲ（ｆｋ）の相加平均や中央値など、選択周波数ｆｋが１つしか残っていない場合には、その選択周波数ｆｋについて算出されるＲ（ｆｋ））を求める（ステップＳＡ１３０）。そして、補正量算定部７６は、ステップＳＡ１３０で算出したＲに応じたゲインをアンプＧ２に設定し（ステップＳＡ１４０）、感度補正を完了する。
以上が補正量算定部７６が実行する処理の流れである。
【００３４】
以上説明しように、マイクロホンアレイシステム１００Ａにおいては、マイクロホンアレイ１０Ａを構成する各マイクロホンの感度の補正を適切に行うための条件が揃ったこと（アレイ面の法線方向に音源が位置していること）を自動的に検出し、マイクロホンＭ１およびマイクロホンＭ２の感度のばらつきを補正する処理が感度補正装置２０によって実行される。これにより、上記条件に特段の注意を払わなくとも、各マイクロホンの感度のばらつきが自動的に補正されるのである。
【００３５】
なお、マイクロホンアレイ１０Ａを構成する各マイクロホンの感度の補正は、工場出荷時或いは運用開始直後に一回だけ行えば良いから、感度補正を実行済みであるか否かを示すフラグ（値が０ならば感度補正を未実行、値が１ならば感度補正済み）に初期値“０”をセットして記憶装置１４に書き込んでおき、このフラグの値が０である間は定期的に感度補正支援プログラムを感度補正装置２０のＣＰＵに実行させ、上記ステップＳＡ１４０の処理の実行を契機として上記フラグを１に更新する処理を上記ＣＰＵに実行させるようにしても良い。また、本実施形態では、分離行列Ｗ（ｆｋ）の１行目の行列要素の絶対値の比（数３にしたがって算出される値Ｒ（ｆｋ）または、複数の選択周波数ｆｋについてのＲ（ｆｋ）を代表する値）に応じて、マイクロホンＭ２の出力信号の信号レベルを調整することでマイクロホンＭ１およびマイクロホンＭ２の感度のばらつきを補正したが、マイクロホンＭ１の出力信号の信号レベルを上記Ｒ（ｆｋ）の逆数（或いはＲ（ｆｋ）を代表する値の逆数）に応じて調整することで、両マイクロホンの感度のばらつきを補正しても勿論良い。
【００３６】
＜Ｂ：第２実施形態＞
次いで本発明の第２実施形態について説明する。第１実施形態においては２個のマイクロホンＭ（Ｍ１、Ｍ２）からなるマイクロホンアレイ１０Ａを用いてマイクロホンアレイシステム１００Ａを構成した。これに対して、第２実施形態では、３個以上のマイクロホンＭ（Ｍ１、Ｍ２…ＭＮ：Ｎは３以上の自然数）からなるマイクロホンアレイ１０Ｂを用いてマイクロホンアレイシステム１００Ｂが構成されている。図７は、マイクロホンアレイシステム１００Ｂの構成例を示すブロック図である。図７に示すように、マイクロホンアレイシステム１００Ｂにおいて、マイクロホンＭ１以外の（Ｎ−１）個のマイクロホンＭｋ（ｋ＝２〜Ｎ）は、各々アンプＧｋ（ｋ＝２〜Ｎ）を介して信号処理部３０に接続されている。そして、マイクロホンＭ１とマイクロホンＭｋ（ｋ＝２〜Ｎ）とは、感度補正装置２０−ｋ（ｋ＝２〜Ｎ）に接続されており、この感度補正装置２０−ｋによってアンプＧｋのゲインの調整が行われる。これら感度補正装置２０−ｋ（ｋ＝２〜Ｎ）の各々は、図１の感度補正装置２０と同一の構成を有している。
【００３７】
つまり、マイクロホンアレイシステム１００Ｂにおいては、マイクロホンＭ１を基準マイクロホンとし、他の（Ｎ−１）個のマイクロホンＭｋ（ｋ＝２〜Ｎ）の感度補正が感度補正装置２０−ｋ（ｋ＝２〜Ｎ）の各々によって行われる。これによりマイクロホンアレイ１０Ｂを構成する各マイクロホンＭｋの感度を補正するための条件が揃ったときに、各マイクロホンＭｋの感度の補正が順次実行される。このように本実施形態によれば、マイクロホンアレイが３個以上のマイクロホンで構成されている場合であっても、マイクロホンアレイシステム１００Ｂの利用者に特段の注意を払わせることなく自動的に、マイクロホンアレイ１０Ｂを構成する各マイクロホンの感度のばらつきを補正することができる。
【００３８】
ここで、図７に示すようにマイクロホンアレイがＮ個のマイクロホンで構成されている場合には、Ｎチャネルの独立成分分析を行って各マイクロホンの感度のばらつきを補正することも考えられる。具体的には、
各々異なる音源から放射されるＮ種類の音の混合音をマイクロホンアレイを構成するＮ個のマイクロホンの各々で収音して得られるＮ個の観測信号の各々に周波数分析を施し、複数の周波数の各々における信号強度を示す時系列の観測データをマイクロホン毎に算出する周波数分析部と、
前記複数の周波数のうちの少なくとも１つを選択し、当該周波数成分についての音源分離を行うためのＮ行Ｎ列の複素数値行列である分離行列を当該周波数成分の観測データに対する独立成分分析により生成する分離行列生成部と、
前記分離行列生成部により生成される分離行列の各行について、各行の行列要素の偏角の差から、当該行の行列要素により抑圧される音の到来方向を推定する方向推定部と、
前記方向推定部により推定される音の到来方向が前記マイクロホンアレイの法線方向から大きくはずれてはいない前記分離行列の行がある場合に、当該行の行列要素の絶対値の比に応じて前記各マイクロホンの出力信号の信号レベルのばらつきを補正する感度補正部と、を組み合わせて感度補正装置を構成し、この感度補正装置に上記Ｎ個のマイクロホンとＮ−１個のアンプを接続してマイクロホンアレイシステムを構成しても勿論良い。
【００３９】
Ｎチャネルの独立成分分析を行う態様と、本実施形態のように２チャンネルの独立成分分析を行う感度補正装置をＮ−１個組み合わせる態様の何れを採用してマイクロホンアレイシステムを構成するのかについては、マイクロホンアレイシステムの構成が簡潔になることが好ましいのか、それとも、分離行列の演算に要する演算量が少なくなることが好ましいのかに応じて定めるようにすれば良い。Ｎチャネルの独立成分分析を行う態様では、感度補正装置が１つで済むため、マイクロホンアレイシステムの構成は簡潔になる。これに対して、本実施形態のように２チャンネルの独立成分分析を行う感度補正装置をＮ−１個組み合わせてマイクロホンアレイシステムを構成する態様では、Ｎチャネルの独立成分分析を行う態様に比較して演算量が少なくなるといった特徴がある。Ｎチャネルの独立成分分析では、分離行列の逐次学習に要する演算量がＮ２に比例するのに対し、２チャンネルの独立成分分析を行う感度補正装置をＮ−１個組み合わせる態様では、同演算量は２２×（Ｎ−１）に比例するからである。
【００４０】
＜Ｃ：第３実施形態＞
上述した第１および第２実施形態では、分離行列生成部４０Ａにより生成された分離行列Ｗ（ｆｋ）を用いて、マイクロホンアレイを構成する各マイクロホンの感度のばらつきを補正した。しかし、分離行列Ｗ（ｆｋ）を用いて音源分離を行っても良いことは勿論である。図８は、観測信号Ｖ１および観測信号Ｖ２にフィルタ処理（音源分離）を施して分離信号Ｕ１およびＵ２を生成するマイクロホンアレイシステム１００の構成例を示すブロック図である。図８に示すマイクロホンアレイシステム１００は、マイクロホンＭ１およびマイクロホンＭ２からなるマイクロホンアレイと、観測信号Ｖ１および観測信号Ｖ２から分離信号Ｕ１および分離信号Ｕ２を生成する演算を実行する演算装置１２と、記憶装置１４とを含んでいる。図８においては、図１と同一の構成要素には同一の符号が付されている。以下、図１に示すシステムとの相違点を中心に説明する。
【００４１】
図８に示すように演算装置１２は、周波数分析部２２、信号処理部２４、信号合成部２６および分離行列生成部４０を含んでいる。この演算装置１２は、前述した第１実施形態における感度補正装置２０と同様にコンピュータ装置であり、記憶装置１４に格納されているプログラムをＣＰＵに実行させることで周波数分析部２２、信号処理部２４、信号合成部２６および分離行列生成部４０として機能する。
【００４２】
図８の信号処理部２４は、周波数分析部２２が算定した強度ｘ１(ｔ，ｆｋ)と強度ｘ２（ｔ，ｆｋ）とにフィルタ処理（音源分離）を実行することでフレーム毎に順次に強度ｕ１（ｔ，ｆｋ）および強度ｕ２（ｔ，ｆｋ）を生成する。信号合成部２６は、信号処理部２４が生成した強度ｕ１（ｔ，ｆ１）〜ｕ１（ｔ，ｆＫ）を時間領域の信号に変換するとともに前後のフレームで連結して分離信号Ｕ１を生成する。同様に、信号合成部２６は、強度ｕ２（ｔ，ｆ１）〜ｕ２（ｔ，ｆＫ）を時間領域の信号に変換するとともに前後のフレームで連結して分離信号Ｕ２を生成する。
【００４３】
図９は、信号処理部２４のブロック図である。図９に示すように、信号処理部２４は、Ｋ個の周波数ｆ１〜ｆＫの各々に対応するＫ個の処理部Ｐ１〜ＰＫで構成される。周波数ｆｋに対応する処理部Ｐｋは、強度ｘ１（ｔ，ｆｋ）および強度ｘ２(ｔ，ｆｋ)から強度ｕ１(ｔ，ｆｋ)を生成するフィルタ３２と、強度ｘ１（ｔ，ｆｋ）および強度ｘ２（ｔ，ｆｋ）から強度ｕ２(ｔ，ｆｋ)を生成するフィルタ３４とを含んでいる。
【００４４】
フィルタ３２およびフィルタ３４には遅延加算型（ＤＳ(delay-sum)型）のビームフォーマが利用される。すなわち、処理部Ｐｋのフィルタ３２は、前掲数１で定義されるように、係数ｗ１１(ｆｋ)に応じた遅延を強度ｘ１（ｔ，ｆｋ）に付加する遅延素子３２１と、係数ｗ１２(ｆｋ)に応じた遅延を強度ｘ２（ｔ，ｆｋ）に付加する遅延素子３２３と、遅延素子３２１の出力と遅延素子３２３の出力とを加算して分離信号Ｕ1の強度ｕ１（ｔ，ｆｋ）を生成する加算部３２５とを含んでいる。同様に、フィルタ３４は、前掲数２で定義されるように、係数ｗ２１（ｆｋ）に応じた遅延を強度ｘ１（ｔ，ｆｋ）に付加する遅延素子３４１と、係数ｗ２２（ｆｋ）に応じた遅延を強度ｘ２（ｔ，ｆｋ）に付加する遅延素子３４３と、遅延素子３４１の出力と遅延素子３４３の出力とを加算して分離信号Ｕ２の強度ｕ２（ｔ，ｆｋ）を生成する加算部３４５とを含む。
【００４５】
図１０は、分離行列生成部４０の構成例を示すブロック図である。この分離行列生成部４０は、前述した第１実施形態における分離行列生成部４０Ａと同様に観測データＤ（ｆｋ）を用いて独立成分分析を行うことにより分離行列を生成する。図１０に示すように分離行列生成部４０は、初期値生成部４２、学習処理部４４および周波数選択部５４を含んでいる。そして、分離行列生成部４０は、選択周波数ｆｋに関して学習処理部４４による学習処理で生成される分離行列Ｗ（ｆｋ）の各行列要素を信号処理部２４の処理部Ｐｋのフィルタ３２およびフィルタ３４に各々設定する。
【００４６】
加えて、分離行列生成部４０は、図１０に示すように方向推定部７２と行列補充部７４とを有している。方向推定部７２は、選択周波数ｆｋの各々に関して学習処理部４４により生成された分離行列Ｗ（ｆｋ）の各行により分離される音の到来方向θ１（ｆｋ）およびθ２（ｆｋ）を推定し、それらθ１（ｆｋ）を代表する値θ１（θ１（ｆｋ）の相加平均や中央値）およびθ２（ｆｋ）を代表する値θ２を算出し、θ１およびθ２を示すデータを行列補充部７４に与える。図１０の行列補充部７４は、周波数ｆ１〜ｆＫのＫ種類の周波数のうち、周波数選択部５４により選択されなかった周波数（以下、非選択周波数）についての分離行列を以下の要領で生成し、信号処理部２４に与える。すなわち、行列補充部７４は、前述した初期値生成部４２における初期分離行列の生成と同様のアルゴリズムにしたがって、非選択周波数についての分離行列をその１行目についてはθ１方向が死角となり、２行目についてはθ２方向が死角となるように生成する。
【００４７】
分離行列を用いた従来の音源分離では、分離行列の生成に要する演算量を削減するため、周波数ｆ１〜ｆＫのＫ種類の周波数のうちの特定の周波数（本実施形態では、選択周波数ｆｋ）についてのみ分離行列の学習を行い、その他の周波数については初期値生成部４２により生成した初期分離行列をそのまま用いることが一般的であった。学習処理により得られた分離行列を用いる周波数帯域では、その分離行列を介してマイクロホンアレイを構成する各マイクロホンの感度のばらつきが補正されるが、初期分離行列を用いる周波数帯域では各マイクロホンの感度のばらつきが補正されておらず、各マイクロホンの感度のばらつきに起因して死角が適切に形成されず、音源の分離精度が劣化するという問題があった。これに対して本実施形態では、非選択周波数について、学習処理により得られた分離行列から推定される方向に死角を形成するように生成された分離行列を用いることで、精度良く音源分離を行うことが可能になる。
【００４８】
＜Ｄ：変形＞
以上、本発明の各実施形態について説明したが、これら実施形態に以下の変形を加えても勿論良い。
（１）上述した各実施形態では、マイクロホンアレイのアレイ面におけるマイクロホンの配置間隔に応じて、分離行列を学習する周波数を選択したが、他の尺度を基準に周波数の選択を行っても良い。このような尺度の一例としては学習の有意性（分離行列を学習することにより音源分離の精度が初期分離行列を用いた音源分離に比較して向上する場合に、その向上の度合い）を用いることが考えられる。ここで、学習の有意性を示す指標としては、例えば、Ｋ個の周波数ｆ１〜ｆＫの各々についての観測データＤ（ｆｋ）の共分散行列Ｒｘｘ（ｆｋ）の行列式ｚ１（ｆｋ）が好適であることが知られている。具体的には、行列式ｚ１（ｆｋ）が所定の閾値を上回っている周波数ｆｋを学習対象として選択するといった具合である。なお、共分散行列Ｒｘｘ（ｆｋ）は以下の数８で定義される。以下の数８や数９における記号Ｅは期待値（加算値）を意味し、記号Σ_{t}は、単位区間ＴＵ内の複数（例えば５０個）のフレームにわたる加算（平均）を意味する。すなわち、共分散行列Ｒｘｘ（ｆｋ）は、観測ベクトルＸ（ｔ，ｆｋ）と観測ベクトルＸ（ｔ，ｆｋ）の転置との乗算を単位区間ＴＵ内（観測データＤ（ｆｋ）内）の複数の観測ベクトルＸ（ｔ，ｆｋ）について加算したｎ行ｎ列の行列である。ただし、以下の数９では、単位区間ＴＵ内の総てのフレームにわたる観測ベクトルＸ（ｔ，ｆｋ）の加算を零行列と仮定した（ゼロ平均）。
【数８】
【数９】
【００４９】
（２）上述した各実施形態では、初期分離行列Ｗ０（ｆｋ）として、１行目の行列要素によりマイクロホンアレイのアレイ面の法線方向に死角を形成し、かつ、２行目の行列要素によりマイクロホンアレイにおける各マイクロホンの配列方向に死角を形成する死角型ビームフォーマのものを用いたが、１行目の行列要素の役割と２行目の行列要素の役割とを入れ替えたものを用いても良い。このように、１行目の行列要素によりマイクロホンアレイにおけるマイクロホンの配列方向に死角を形成し、かつ、２行目の行列要素によりマイクロホンアレイのアレイ面の法線方向に死角を形成する死角型ビームフォーマのものを用いる場合には、逐次学習により生成される分離行列Ｗ（ｆｋ）の２行目の行列要素により抑圧される音の到来方向がアレイ面の法線方向から大幅にはずれているか否かを判定し、はずれてはいない場合に、当該２行目の行列要素の絶対値の比（すなわち、｜ｗ２２｜／｜ｗ２１｜）に応じて補正対象マイクロホン（第１実施形態においては、マイクロホンＭ２、第２実施形態においてはマイクロホンＭ２〜ＭＮ）の出力信号のゲインを調整することで感度補正を行えば良い。
【００５０】
（３）上述した各実施形態では、本発明の特徴を顕著に示す感度補正装置がマイクロホンアレイシステムに予め組み込まれていたが、感度補正装置単体で提供し、感度補正装置の各部をマイクロホンアレイの各部に接続してマイクロホンアレイシステム１００Ａやマイクロホンアレイシステム１００Ｂと同様な構成となるようにしても良い。
【００５１】
（４）上述した実施形態では、本発明に特徴的なマイクロホンの感度補正をＣＰＵに実行させるプログラムが記憶装置１４に予め格納されていた。しかしながら、ＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）などのコンピュータ読み取り可能な記録媒体に上記プログラムを書き込んで配布しても良く、また、インターネットなどの電気通信回線経由のダウンロードにより上記プログラムを配布しても良い。
【符号の説明】
【００５２】
１００Ａ，１００Ｂ，１００…マイクロホンアレイシステム、１０Ａ，１０Ｂ…マイクロホンアレイ、Ｍ１，Ｍ２，ＭＮ…マイクロホン、２０，２０−２，２０−３…２０−Ｎ…感度補正装置、１２…演算装置、２２…周波数分析部、１４…記憶装置、４０Ａ，４０…分離行列生成部、４２…初期値生成部、４４…学習処理部、５４…周波数選択部、２８…感度補正制御部、７２…方向推定部、７４…行列補充部、７６…補正量算定部。
【技術分野】
【０００１】
本発明は、マイクロホンアレイを構成する各マイクロホンの感度のばらつきを補正する技術に関する。
【背景技術】
【０００２】
特定の方向から到来する音のみを収音することができるように指向性パターンの設定が可能な収音システムの一例として、マイクロホンアレイシステムが挙げられる。マイクロホンアレイシステムは、複数のマイクロホンを１次元或いは２次元的に配列したマイクロホンアレイを含んでおり、マイクロホンアレイを構成する各マイクロホンから出力されるオーディオ信号にＦＩＲ（Finite Impulse Response）フィルタ処理などのフィルタ処理を施し、フィルタ処理済みのオーディオ信号をミキシングして出力する構成となっている。そして、上記フィルタ処理のフィルタ係数を調整することで指向性パターンの調整が行われる。
【０００３】
この種の収音システムでは、各マイクロホンの感度が揃っている必要がある。何故ならば、各マイクロホンの感度にばらつきがあると、指向性パターンの調整に支障が生じ得るからである。しかし、マイクロホンは機械部品であるため製造ばらつきを避けることはできず、製造段階では±４デシベル若しくはそれ以上の感度のばらつきが生じる可能性がある。マイクロホンアレイを構成する各マイクロホンの感度に±４デシベル程度のばらつきがあると、指向性能の劣化は避けられない。そこで、マイクロホンアレイを構成する各マイクロホンの感度のばらつきを補正する技術が種々提案されている（特許文献１や特許文献２など）。特許文献１には、マイクロホンアレイを構成する複数のマイクロホンの何れか一つを基準マイクロホンとし、他のマイクロホンの出力信号の信号レベルが基準マイクロホンの出力信号のレベルと等しくなるようにゲインを調整することで、感度のばらつきを補正する技術が開示されている。一方、特許文献２には、マイクロホンアレイを構成する複数のマイクロホンのうち、一定周波数かつ一定音圧の音響信号が所定時間以上入力されているマイクロホンを基準マイクロホンとして他のマイクロホンの感度を補正する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平７−１３１８８６号公報
【特許文献２】特開２００７−２４６１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、マイクロホンアレイを構成する複数のマイクロホンの何れか１つを基準として他のマイクロホンの出力信号のレベル調整を行うことで感度のばらつきを補正する技術には、マイクロホンアレイに対して音源が正対していない場合（アレイ面の中心を通り、かつアレイ面に垂直な方向（以下、アレイ面の法線方向）に音源が位置していない場合）に適切な感度補正をすることができないといった問題がある。これは、遠隔音源からの音波は平面波となって空間を伝搬するため、マイクロホンアレイに対して音源が正対していない場合には各マイクロホンと音源との距離の差により、各マイクロホンの位置で観測される音波の音圧が各々異なったものになるからである。したがって、特許文献１等に開示された技術によりマイクロホンの感度を補正する場合は、感度補正を適切に行い得る条件（音源がマイクロホンアレイに正対している等）が揃っているか否かについて十分に注意を払う必要があり、煩わしいといった問題があった。なお、このような問題を解決するには、各マイクロホンの出力信号に基づいて音の到来方向を推定し、その到来方向を加味して感度補正を行うようにすることが考えられる。しかし、ステアリングベクトルを用いた方法（ＭＶＤＲやＭＵＳＩＣを含む）など音の到来方向を推定するための従来技術では、マイクロホンアレイを構成する各マイクロホンの感度が揃っていることを前提としている。このため、この種の到来方向推定技術を、マイクロホンアレイを構成する各マイクロホンの感度のばらつきの補正の前提として用いることはできない。
【０００６】
本発明は上記課題に鑑みて為されたものであり、マイクロホンアレイを構成する各マイクロホンの感度のばらつきを適切に補正するための条件が揃っているか否かについて特段の注意を払うことなく、感度補正を適切に行うことを可能にする技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、本発明は、各々異なる音源から放射されるＭ（Ｍは２以上の自然数）種類の音の混合音をマイクロホンアレイを構成するＭ個のマイクロホンの各々で収音して得られるＭ個の観測信号の各々に周波数分析を施し、複数の周波数の各々における信号強度を示す時系列の観測データをマイクロホン毎に算出する周波数分析部と、前記複数の周波数のうちの少なくとも１つを選択し、当該周波数成分についての音源分離を行うためのＭ行Ｍ列の複素数値行列である分離行列を当該周波数成分の観測データに対する独立成分分析により生成する分離行列生成部と、前記分離行列生成部により生成される分離行列の各行について、各行の行列要素の偏角の差から、当該行の行列要素により抑圧される音の到来方向を推定する方向推定部と、前記方向推定部により推定される音の到来方向が前記マイクロホンアレイの法線方向から大きくはずれてはいない前記分離行列の行がある場合に、当該行の行列要素の絶対値の比に応じて前記各マイクロホンの出力信号の信号レベルのばらつきを補正する感度補正部とを有することを特徴とするマイクロホンアレイを構成するマイクロホンの感度補正装置、およびコンピュータを上記各部として機能させることを特徴とするプログラム、を提供する。
【０００８】
このような感度補正装置およびプログラムによれば、まず、マイクロホンアレイを構成するＭ個のマイクロホンの各々から出力されるＭ個の観測信号を用いた独立成分分析により、Ｍ種類の音の音源分離を行うためのＭ行Ｍ列の分離行列が算出され、この分離行列の行毎に、行列要素の偏角の差に基づいてその行により抑圧される音の到来方向が推定される。そして、上記のようにして推定される音の到来方向が前記マイクロホンアレイの法線方向から大きくはずれてはいない行が分離行列に含まれている場合に、当該行の行列要素の絶対値の比に応じて各マイクロホンの出力信号の信号レベルのばらつきが補正される。詳細については後述するが、Ｍ＝２である場合、アレイ面の法線方向に死角を形成する（すなわち、アレイ面の法線方向から到来する音を抑圧する）行の行列要素の絶対値の比は、２つのマイクロホンの出力信号の信号レベルの比（すなわち、２つのマイクロホンの感度の比）に等しくなる。このため、本発明によれば、マイクロホンアレイを構成する各マイクロホンの感度のばらつきを適切に補正するための条件（独立成分分析により生成される分離行列のＭ個の行に、前記マイクロホンアレイの法線方向から到来する音を抑圧するものが含まれているという条件、換言すれば、アレイ面の法線方向に何れかの音源が位置しているという条件）を満たしているか否かについて特段の注意を払わなくとも、その条件が満たされたときに、マイクロホンアレイを構成する各マイクロホンの感度のばらつきが自動的に補正される。
【０００９】
Ｍ＝２である場合、前記感度補正装置の分離行列生成部は、前記独立成分分析の出発点となる初期分離行列を、一方の行の行列要素に関しては前記マイクロホンアレイのアレイ面の法線方向から到来する音を抑圧するように値を設定し、かつ他方の行の行列要素についてはアレイ面におけるマイクロホンの配列方向から到来する音を抑圧するように値を設定することを特徴とする。Ｍ＝２の場合に独立成分分析の出発点となる初期分離行列を上記のように設定するのは、このような初期分離行列を用いて逐次学習を行えば、アレイ面の法線方向およびアレイ面におけるマイクロホンの配列方向に死角を有する分離行列を得やすくなることが一般に知られているからである。
【００１０】
また、上記課題を解決するために本発明は、Ｎ（Ｎは２以上の自然数）のマイクロホンで構成されるマイクロホンアレイと、Ｍ＝２である場合の上記感度補正装置をＮ−１個備え、前記Ｎ個のマイクロホンのうちの何れか１つを基準マイクロホンとするとともに、他のＮ−１個のマイクロホンの各々を感度補正対象のマイクロホンとし、前記Ｎ−１個の感度補正装置の各々を前記Ｎ−１個の感度補正対象のマイクロホンの各々に一つずつ接続するとともに、当該Ｎ−１個の感度補正装置の各々を前記基準マイクロホンに接続し、当該Ｎ−１個の感度補正装置の各々により前記Ｎ−１個の補正対象マイクロホンの各々の出力信号の信号レベルを補正することを特徴とするマイクロホンアレイシステムを提供する。このような態様によれば、上記基準マイクロホンの出力信号の信号レベルを基準として、他のＮ−１個のマイクロホンの感度を補正する処理が上記Ｎ−１個の感度補正装置の各々によって実行される。これにより、マイクロホンアレイを構成するＮ個のマイクロホンの感度のばらつきが補正される。
【図面の簡単な説明】
【００１１】
【図１】この発明の第１実施形態であるマイクロホンアレイシステム１００Ａの構成例を示す図である。
【図２】同システムに含まれる感度補正装置２０の周波数分析部２２が実行する処理を説明するための図である。
【図３】同感度補正装置２０の分離行列生成部４０Ａの構成例を示す図である。
【図４】同感度補正装置２０の感度補正制御部２８の構成例を示す図である。
【図５】同感度補正制御部２８の補正量算定部７６が実行する処理の流れを示すフローチャートである。
【図６】同実施形態における音の混合系および分離系を説明するための図である。
【図７】本発明の第２実施形態であるマイクロホンアレイシステム１００Ｂの構成例を示す図である。
【図８】本発明の第３実施形態であるマイクロホンアレイシステム１００の構成例を示す図である。
【図９】同マイクロホンアレイシステム１００に含まれる演算装置１２の信号処理部２４の構成例を示すブロック図である。
【図１０】同演算装置１２の分離行列生成部４０の構成例を示すブロック図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照しつつ本発明の実施形態について説明する。
＜Ａ：第１実施形態＞
図１は、本発明の第１実施形態であるマイクロホンアレイシステム１００Ａの構成例を示すブロック図である。マイクロホンアレイシステム１００Ａは、ｎ個（ｎは２以上の自然数）のマイクロホンにより構成されるマイクロホンアレイ１０Ａを含んでいる。本実施形態では、図１に示すように、マイクロホンＭ１およびマイクロホンＭ２の２個でマイクロホンアレイ１０Ａが構成されている場合（ｎ＝２）を想定する。マイクロホンＭ１およびマイクロホンＭ２の各々は、収音軸が平行になるように相互に間隔をあけて平面ＰＬに沿って配置されている。このため、マイクロホンアレイ１０Ａのアレイ面は平面ＰＬと平行になる。マイクロホンＭ１およびマイクロホンＭ２の周囲の相異なる位置には、上記各マイクロホンの収音軸およびマイクロホンアレイ１０Ａのアレイ面の法線を含む平面内にｎ個の音源Ｓ（Ｓ１，Ｓ２）が存在する。音源Ｓ１は、マイクロホンアレイ１０Ａのアレイ面の法線Ｌｎに対して角度θ１の方向に位置し、音源Ｓ２は、法線Ｌｎに対して角度θ２（θ２≠θ１）の方向に位置する。
【００１３】
音源Ｓ１から放射された音ＳＶ１と音源Ｓ２から放射された音ＳＶ２はマイクロホンＭ１およびマイクロホンＭ２の両方に到達する。マイクロホンＭ１は、音源Ｓ１からの音ＳＶ１と音源Ｓ２からの音ＳＶ２との混合音の波形を表す観測信号Ｖ１を生成する。同様に、マイクロホンＭ２は、音源Ｓ１からの音ＳＶ１と音源Ｓ２からの音ＳＶ２との混合音の波形を表す観測信号Ｖ２を生成する。図１に示すようにマイクロホンＭ２から出力される観測信号Ｖ２はアンプＧ２による信号レベルの増幅を経て信号処理部３０に与えられる一方、マイクロホンＭ１から出力される観測信号Ｖ１はそのまま（アンプによる増幅を経ることなく）信号処理部３０に与えられる。
【００１４】
信号処理部３０は、指向性収話のためのフィルタ処理を観測信号Ｖ１および観測信号Ｖ２に施すフィルタ部と、各々フィルタ処理を経た観測信号Ｖ１および観測信号Ｖ２をミキシングして出力する加算器を含んでいる（何れも図示省略）。マイクロホンアレイシステム１００Ａでは、上記フィルタ処理にて使用するフィルタ係数を調整することで指向パターンの設定が行われる。そして、信号処理部３０から出力される信号は、放音機器（例えばスピーカやヘッドホン）に供給されることで音響として再生される。なお、観測信号Ｖ１および観測信号Ｖ２をデジタル信号に変換するＡ／Ｄ変換器や、信号処理部３０の出力信号をアナログ信号に変換するＤ／Ａ変換器の図示は省略されている。
【００１５】
感度補正装置２０は、観測信号ＳＶ１の信号レベルを基準として観測信号ＳＶ２の信号レベルを調整することでマイクロホンＭ１およびマイクロホンＭ２の感度のばらつきを補正する。詳細については後述するが、感度補正装置２０は、観測信号Ｖ１および観測信号Ｖ２から本実施形態の特徴を顕著に示す手法で感度補正量Ｒを算出し、この感度補正量Ｒに応じたゲインをアンプＧ２に設定する。これにより、観測信号Ｖ１と観測信号Ｖ２の信号レベルが略揃い、マイクロホンＭ１とマイクロホンＭ２の感度のばらつきが補正されるのである。
【００１６】
感度補正装置２０は、例えばパーソナルコンピュータなどのコンピュータ装置である。この感度補正装置２０のＣＰＵ（Central Processing Unit：図示略）は、記憶装置１４に格納されているプログラムを実行することにより、本実施形態の特徴を顕著に示す感度補正処理を実行する。記憶装置１４には、上記プログラム（以下、感度補正支援プログラム）や各種のデータが格納されている。この記憶装置１４としては、半導体記録媒体や磁気記録媒体などの公知の記録媒体が採用される。
【００１７】
感度補正装置２０のＣＰＵは感度補正支援プログラムを実行し、図１に示す周波数分析部２２、分離行列生成部４０Ａ、および感度補正制御部２８として機能する。なお、本実施形態では、周波数分析部２２、分離行列生成部４０Ａおよび感度補正制御部２８の各々をソフトウェアで実現したが、ＤＳＰなどの信号処理専用の電子回路で周波数分析部２２、分離行列生成部４０Ａおよび感度補正制御部２８を実現しても良く、これら各部を複数の集積回路に分散的に搭載した構成でも良い。
【００１８】
周波数分析部２２は、観測信号Ｖ（Ｖ１，Ｖ２）を時間軸上で区分した複数のフレームの各々について周波数スペクトルＱ（観測信号Ｖ１の周波数スペクトルＱ１および観測信号Ｖ２の周波数スペクトルＱ２）を算定する。周波数スペクトルＱの算定には、例えば短時間フーリエ変換が利用される。図２に示すように、番号（時刻）ｔで識別される１個のフレームの周波数スペクトルＱ１は、周波数軸上に設定されたＫ個の周波数ｆ１〜ｆＫの各々における強度ｘ１（ｔ，ｆ１）〜ｘ１（ｔ，ｆＫ）として算定される。同様に、周波数スペクトルＱ２は、Ｋ個の周波数ｆ１〜ｆＫの各々における強度ｘ２（ｔ，ｆ１）〜ｘ２（ｔ，ｆＫ）として算定される。
【００１９】
周波数分析部２２は、Ｋ個の周波数ｆ１〜ｆＫについてフレーム毎に観測ベクトルＸ（ｔ，ｆ１）〜Ｘ（ｔ，ｆＫ）を生成する。第ｋ番目（ｋ＝１〜Ｋ）の周波数ｆｋの観測ベクトルＸ（ｔ，ｆＫ）は、図２に示すように、周波数スペクトルＱ１のうち周波数ｆｋでの強度ｘ１（ｔ，ｆｋ）と、共通のフレームの周波数スペクトルＱ２のうち周波数ｆｋでの強度ｘ２（ｔ，ｆｋ）とを要素とするベクトル（Ｘ（ｔ，ｆｋ）＝［ｘ１（ｔ，ｆｋ）＊ｘ２（ｔ，ｆｋ）＊］Ｈである。記号＊は複素共役を意味し、記号Ｈは行列の転置（エルミート転置）を意味する。周波数分析部２２がフレーム毎に生成した観測ベクトルＸ（ｔ，ｆ１）〜Ｘ（ｔ，ｆＫ）は記憶装置１４に格納される。記憶装置１４に格納された観測ベクトルＸ（ｔ，ｆ１）〜Ｘ（ｔ，ｆＫ）は、図２に示すように、所定個（例えば５０個）のフレームで構成される単位区間ＴＵ毎に観測データＤ（ｆ１）〜Ｄ（ｆＫ）に区分される。周波数ｆｋの観測データＤ（ｆｋ）は、単位区間ＴＵ内の各フレームについて算定された周波数ｆｋの観測ベクトルＸ（ｔ，ｆｋ）の時系列である。
【００２０】
分離行列生成部４０Ａは、観測データＤ（ｆｋ）から所謂独立成分分析により分離行列Ｗ（ｆ１）〜Ｗ（ｆＫ）を生成する。ここで、分離行列とは、本来的には、観測信号Ｖ１および観測信号Ｖ２から音ＳＶ１または音ＳＶ２（或いは両者）を分離するための信号処理演算に用いられる２行２列（ｎ行ｎ列）の複素数値行列である。しかし、本実施形態では、この分離行列を用いてマイクロホンＭ１とマイクロホンＭ２の感度のばらつきを補正することに特徴がある。
【００２１】
図３は、分離行列生成部４０Ａのブロック図である。
図３に示すように、分離行列生成部４０Ａは、初期値生成部４２、周波数選択部５４、および学習処理部４４を含んでいる。初期値生成部４２は、Ｋ個の周波数ｆ１〜ｆＫの各々について初期的な分離行列（以下「初期分離行列」という）Ｗ０（ｆ１）〜Ｗ０（ｆＫ）を生成する。周波数ｆｋに対応する初期分離行列Ｗ０（ｆｋ）は、記憶装置１４に格納された観測データＤ（ｆｋ）を利用して単位区間ＴＵ毎に生成される。初期分離行列Ｗ０（ｆ１）〜Ｗ０（ｆＫ）の生成手法としては公知の手法を適宜採用すれば良い。ここで、初期分離行列Ｗ０（ｆ１）〜Ｗ０（ｆＫ）としてどのようなものを生成するのかについては、種々の態様が考えられるが、本実施形態では、所謂死角型ビームフォーマを採用する。より詳細に説明すると、周波数ｆ１〜ｆＫの各々について初期分離行列を観測信号Ｖ１およびＶ２に乗算したとした場合に、これら２つの観測信号と当該分離行列の１行目の行列要素（すなわち、（１，１）成分および（１，２）成分）との乗算により得られる信号においてはマイクロホンアレイ１０Ａのアレイ面の法線方向から到来する音が抑圧され（すなわち、同法線方向が死角となり）、これら２つの観測信号と当該初期分離行列の２行目の行列要素（すなわち、（２，１）成分および（２，２）成分）との乗算により得られる信号においてはマイクロホンアレイ１０Ａにおける各マイクロホンの配列方向から到来する音が抑圧される（すなわち、同配列方向が死角となる）ように初期分離行列を設定する。本実施形態では上記のように初期分離行列を設定するため、死角型ビームフォーマの分離行列、すなわち、分離行列の行毎にその死角方向から到来する音を抑圧する（換言すれば、死角以外の方向から到来する音を強調する）ことで音源分離を行う分離行列が生成されることになる。
【００２２】
周波数選択部５４は、Ｋ種類の周波数ｆ１〜ｆＫのうちから、独立成分分析による分離行列の学習対象とする１または複数の周波数をマイクロホンアレイ１０ＡにおけるマイクロホンＭ１およびマイクロホンＭ２の配置間隔の大きさに応じて選択する。より詳細に説明すると、周波数選択部５４は、マイクロホンＭ１およびマイクロホンＭ２の配置間隔との関係でアレイゲインが高く、かつ折り返し雑音の少ない１または複数の周波数をＫ種類の周波数ｆ１〜ｆＫのうちから選択する。以下、周波数選択部５４により選択される周波数のことを「選択周波数」と呼ぶ。つまり、本実施形態では、Ｋ種類の周波数ｆ１〜ｆＫのうち周波数選択部５４により選択された周波数に関してのみ、独立成分分析を用いた分離行列の学習が行われる。その理由は以下の通りである。
【００２３】
音源分離を目的として分離行列の学習を行う場合には、Ｋ種類の周波数ｆ１〜ｆＫの全てについて分離行列を算出することが理想的である。しかし、本実施形態では、音源分離を目的としている訳ではなく、音の到来方向の推定と各マイクロホンの感度補正を目的としているため、その目的が達せられる範囲で分離行列を算定することができれば十分である。そこで、第１実施形態においては、Ｋ個の周波数ｆ１〜ｆＫのうち、アレイゲインが高くかつ折り返し雑音のない１または複数の周波数をマイクロホンアレイ１０ＡにおけるマイクロホンＭ１およびマイクロホンＭ２の配置間隔に基づいて選択し、それら周波数についてのみ観測データＤ（ｆｋ）を使用した分離行列Ｗ（ｆｋ）の逐次学習を実行することとして、感度補正に要する演算量を削減しているのである。
【００２４】
学習処理部４４は、周波数選択部５４により選択された選択周波数ｆｋの各々について、初期分離行列Ｗ０（ｆｋ）を初期値とした逐次的な学習で分離行列Ｗ（ｆｋ）を生成する。分離行列Ｗ（ｆｋ）の学習には、記憶装置１４に格納された周波数ｆｋの観測データＤ（ｆｋ）が使用される。例えば、観測データＤ（ｆｋ）に分離行列Ｗ（ｆｋ）を乗算して得られる分離信号Ｕ１（数１で定義される強度ｕ１（ｔ，ｆｋ）の時系列）と分離信号Ｕ２（数２で定義される強度ｕ２（ｔ，ｆｋ）の時系列）とが統計的に相互に独立となるように分離行列Ｗ（ｆｋ）の更新を反復する独立成分分析（例えば高次ＩＣＡ）が、分離行列Ｗ（ｆｋ）の生成に好適に採用される。なお、以下の数１および数２において、ｗｉｊ（ｆｋ）は分離行列Ｗ（ｆｋ）のｉ行ｊ列成分である。
【数１】
【数２】
以上が分離行列生成部４０Ａの構成である。
【００２５】
次いで、感度補正制御部２８の構成について説明する。
図４は感度補正制御部２８の構成を示すブロック図である。図４に示すように感度補正制御部２８は、方向推定部７２と補正量算定部７６を含んでいる。
【００２６】
方向推定部７２には、選択周波数ｆｋを示すデータと、学習処理部４４による学習後の分離行列Ｗ（ｆｋ）とが供給される。方向推定部７２は、選択周波数ｆｋに関し学習後の各分離行列Ｗ（ｆｋ）から、この分離行列Ｗ（ｆｋ）の各行により抑圧される音の到来方向（具体的には、アレイ面の法線Ｌｎと音の到来方向とがなす角度）を推定する。より詳細に説明すると、方向推定部７２は、学習処理部４４による学習後の分離行列Ｗ（ｆｋ）の１行目の行列要素の偏角の差（すなわち、ｗ１１（ｆｋ）の偏角とｗ１２（ｆｋ）の偏角の差）から当該１行目の行列要素により抑圧される音の到来方向θ１（ｆｋ）を推定し、同２行目の行列要素の偏角の差（すなわち、ｗ２１（ｆｋ）の偏角とｗ２２（ｆｋ）の偏角の差）から当該２行目の行列要素により抑圧される音の到来方向θ２（ｆｋ）を推定する。分離行列Ｗ（ｆｋ）の行列要素を利用した到来方向θ１（ｆｋ）および到来方向θ２（ｆｋ）の推定には、H. Saruwatari, et. al., "Blind Source Separation Combining
Independent Component Analysis and Beamforming", EURASIP Journal on
Applied Signal Processing Vol.2003, No.11, pp.1135-1146, 2003に開示された方法などを用いることができる。例えば、ｗ１１（ｆｋ）の偏角とｗ１２（ｆｋ）の偏角の差がゼロであれば、分離行列の１行目の行列要素により抑圧される音の到来方向θ１（ｆｋ）はマイクロホンアレイ１０Ａのアレイ面の法線方向であると推定される。
【００２７】
補正量算定部７６は、学習処理部４４による学習後の分離行列Ｗ（ｆｋ）からマイクロホンＭ２についての感度の補正量Ｒを算出し、その補正量Ｒに応じたゲインをアンプＧ２に設定する処理を実行する。図５は、補正量算定部７６が実行する処理の流れを示すフローチャートである。図５に示すように補正量算定部７６は、選択周波数ｆｋの各々に関して方向推定部７２により推定される音の到来方向θ１（ｆｋ）（すなわち、分離行列Ｗ（ｆｋ）の１行目により抑圧される音の到来方向）がアレイ面の法線方向から大幅にはずれているか否かを判定し、大幅にはずれていると判定される周波数ｆｋを選択周波数から除外する（ステップＳＡ１００）。例えば、補正量算定部７６は、到来方向を示す角度（すなわち、θ１（ｆｋ）やθ２（ｆｋ））の絶対値が所定の閾値を超えている場合に、その到来方向はアレイ面の法線方向から大幅に外れていると判定する。ここで、到来方向θ１（ｆｋ）がアレイ面の法線方向から大幅にはずれている周波数を除外するのは、そのような周波数に対応する分離行列に対してステップＳＡ１２０以降の演算を行っても、感度補正の精度向上を望めないからである。
【００２８】
次いで、補正量算定部７６は、ステップＳＡ１００にて選択周波数の全てが除外されたか否かを判定し（ステップＳＡ１１０）、その判定結果が“Ｎｏ”である場合（すなわち、選択周波数ｆｋのうち除外されなかったものがあった場合）にのみ、ステップＳＡ１２０以降の処理を実行する。このステップＳＡ１２０では、補正量算定部７６は、ステップＳＡ１００にて除外されなかった周波数（すなわち、到来方向θ１（ｆｋ）がアレイ面の法線方向から大幅にはずれてはいないと判定された周波数）ｆｋの各々についての分離行列ｗ（ｆｋ）の１行目の行列要素（すなわち、ｗ１１（ｆｋ）およびｗ１２（ｆｋ））から以下の数３にしたがってマイクロホンＭ２についての感度の補正量Ｒ（ｆｋ）を算定する。この数３において｜｜は絶対値を意味する。
【数３】
【００２９】
ここで、マイクロホンＭ２についての感度の補正量Ｒ（ｆｋ）を前掲数３にしたがって算出することができる理由は以下の通りである。音源Ｓ１から放射される音ＳＶ１と音源Ｓ２から放射される音ＳＶ２の混合系が図６に示すように表され、マイクロホンＭ１とマイクロホンＭ２の感度が揃っておらず、あたかもマイクロホンＭ１側にのみゲインｐが入っているかのように観測信号Ｖ１の信号レベルと観測信号Ｖ２の信号レベルに差がある場合（図６参照）、音ＳＶ１および音ＳＶ２から観測信号Ｖ１および観測信号Ｖ２を以下の数４にしたがって生成する混合行列Ａは、以下の数５で表される。なお、以下の数５においてａｉｊは音源ＳｊからマイクロホンＭｉへ至る音の伝搬経路の伝達関数である。
【数４】
【数５】
【００３０】
この場合、観測信号Ｖ１および観測信号Ｖ２から音ＳＶ１および音ＳＶ２を分離するための分離行列Ｗの候補の一つとしては混合行列Ａの逆行列Ａ−１が挙げられる。この場合の分離行列Ｗは以下の数６で与えられる。この分離行列Ｗは、その１行目の行列要素によって音源Ｓ２から放射された音を抑圧し、同２行目の行列要素によって音源Ｓ１から放射された音を抑圧する。
【数６】
【００３１】
分離行列Ｗの１行目の行列要素がアレイ面の法線方向に死角を形成している場合（分離行列Ｗ（ｆｋ）の１行目により抑圧される音がマイクロホンアレイ１０Ａのアレイ面の法線方向から到来している場合、すなわち、音源Ｓ２がアレイ面に正対している場合）、音源Ｓ２からマイクロホンＭ１へ至る距離と音源Ｓ２からマイクロホンＭ２へ至る距離は等しくなり、ａ１２＝ａ２２となる。したがって、分離行列Ｗの１行目の行列要素がアレイ面の法線方向に死角を形成している場合、分離行列Ｗの１行目の行列要素Ｗ１１およびＷ１２の比Ｒは以下の数７で算定され、この数７にしたがって算定される値Ｒの大きさは、マイクロホンＭ１とマイクロホンＭ２の感度比ｐに等しくなる。
【数７】
【００３２】
したがって、分離行列Ｗ（ｆｋ）の１行目がアレイ面の法線方向に死角を形成している場合には、前掲数３にしたがって算出されるＲ（ｆｋ）に応じたゲインをアンプＧ２に設定することで、マイクロホンＭ１とマイクロホンＭ２の感度のばらつきを補正することができるのである。
【００３３】
そして、補正量算定部７６は、ステップＳＡ１００にて除外されなかった周波数ｆｋの各々に関して数３にしたがって算出される補正量Ｒ（ｆｋ）を代表する値Ｒ（選択周波数ｆｋが複数の残っている場合には、それら選択周波数ｆｋの各々について算出されるＲ（ｆｋ）の相加平均や中央値など、選択周波数ｆｋが１つしか残っていない場合には、その選択周波数ｆｋについて算出されるＲ（ｆｋ））を求める（ステップＳＡ１３０）。そして、補正量算定部７６は、ステップＳＡ１３０で算出したＲに応じたゲインをアンプＧ２に設定し（ステップＳＡ１４０）、感度補正を完了する。
以上が補正量算定部７６が実行する処理の流れである。
【００３４】
以上説明しように、マイクロホンアレイシステム１００Ａにおいては、マイクロホンアレイ１０Ａを構成する各マイクロホンの感度の補正を適切に行うための条件が揃ったこと（アレイ面の法線方向に音源が位置していること）を自動的に検出し、マイクロホンＭ１およびマイクロホンＭ２の感度のばらつきを補正する処理が感度補正装置２０によって実行される。これにより、上記条件に特段の注意を払わなくとも、各マイクロホンの感度のばらつきが自動的に補正されるのである。
【００３５】
なお、マイクロホンアレイ１０Ａを構成する各マイクロホンの感度の補正は、工場出荷時或いは運用開始直後に一回だけ行えば良いから、感度補正を実行済みであるか否かを示すフラグ（値が０ならば感度補正を未実行、値が１ならば感度補正済み）に初期値“０”をセットして記憶装置１４に書き込んでおき、このフラグの値が０である間は定期的に感度補正支援プログラムを感度補正装置２０のＣＰＵに実行させ、上記ステップＳＡ１４０の処理の実行を契機として上記フラグを１に更新する処理を上記ＣＰＵに実行させるようにしても良い。また、本実施形態では、分離行列Ｗ（ｆｋ）の１行目の行列要素の絶対値の比（数３にしたがって算出される値Ｒ（ｆｋ）または、複数の選択周波数ｆｋについてのＲ（ｆｋ）を代表する値）に応じて、マイクロホンＭ２の出力信号の信号レベルを調整することでマイクロホンＭ１およびマイクロホンＭ２の感度のばらつきを補正したが、マイクロホンＭ１の出力信号の信号レベルを上記Ｒ（ｆｋ）の逆数（或いはＲ（ｆｋ）を代表する値の逆数）に応じて調整することで、両マイクロホンの感度のばらつきを補正しても勿論良い。
【００３６】
＜Ｂ：第２実施形態＞
次いで本発明の第２実施形態について説明する。第１実施形態においては２個のマイクロホンＭ（Ｍ１、Ｍ２）からなるマイクロホンアレイ１０Ａを用いてマイクロホンアレイシステム１００Ａを構成した。これに対して、第２実施形態では、３個以上のマイクロホンＭ（Ｍ１、Ｍ２…ＭＮ：Ｎは３以上の自然数）からなるマイクロホンアレイ１０Ｂを用いてマイクロホンアレイシステム１００Ｂが構成されている。図７は、マイクロホンアレイシステム１００Ｂの構成例を示すブロック図である。図７に示すように、マイクロホンアレイシステム１００Ｂにおいて、マイクロホンＭ１以外の（Ｎ−１）個のマイクロホンＭｋ（ｋ＝２〜Ｎ）は、各々アンプＧｋ（ｋ＝２〜Ｎ）を介して信号処理部３０に接続されている。そして、マイクロホンＭ１とマイクロホンＭｋ（ｋ＝２〜Ｎ）とは、感度補正装置２０−ｋ（ｋ＝２〜Ｎ）に接続されており、この感度補正装置２０−ｋによってアンプＧｋのゲインの調整が行われる。これら感度補正装置２０−ｋ（ｋ＝２〜Ｎ）の各々は、図１の感度補正装置２０と同一の構成を有している。
【００３７】
つまり、マイクロホンアレイシステム１００Ｂにおいては、マイクロホンＭ１を基準マイクロホンとし、他の（Ｎ−１）個のマイクロホンＭｋ（ｋ＝２〜Ｎ）の感度補正が感度補正装置２０−ｋ（ｋ＝２〜Ｎ）の各々によって行われる。これによりマイクロホンアレイ１０Ｂを構成する各マイクロホンＭｋの感度を補正するための条件が揃ったときに、各マイクロホンＭｋの感度の補正が順次実行される。このように本実施形態によれば、マイクロホンアレイが３個以上のマイクロホンで構成されている場合であっても、マイクロホンアレイシステム１００Ｂの利用者に特段の注意を払わせることなく自動的に、マイクロホンアレイ１０Ｂを構成する各マイクロホンの感度のばらつきを補正することができる。
【００３８】
ここで、図７に示すようにマイクロホンアレイがＮ個のマイクロホンで構成されている場合には、Ｎチャネルの独立成分分析を行って各マイクロホンの感度のばらつきを補正することも考えられる。具体的には、
各々異なる音源から放射されるＮ種類の音の混合音をマイクロホンアレイを構成するＮ個のマイクロホンの各々で収音して得られるＮ個の観測信号の各々に周波数分析を施し、複数の周波数の各々における信号強度を示す時系列の観測データをマイクロホン毎に算出する周波数分析部と、
前記複数の周波数のうちの少なくとも１つを選択し、当該周波数成分についての音源分離を行うためのＮ行Ｎ列の複素数値行列である分離行列を当該周波数成分の観測データに対する独立成分分析により生成する分離行列生成部と、
前記分離行列生成部により生成される分離行列の各行について、各行の行列要素の偏角の差から、当該行の行列要素により抑圧される音の到来方向を推定する方向推定部と、
前記方向推定部により推定される音の到来方向が前記マイクロホンアレイの法線方向から大きくはずれてはいない前記分離行列の行がある場合に、当該行の行列要素の絶対値の比に応じて前記各マイクロホンの出力信号の信号レベルのばらつきを補正する感度補正部と、を組み合わせて感度補正装置を構成し、この感度補正装置に上記Ｎ個のマイクロホンとＮ−１個のアンプを接続してマイクロホンアレイシステムを構成しても勿論良い。
【００３９】
Ｎチャネルの独立成分分析を行う態様と、本実施形態のように２チャンネルの独立成分分析を行う感度補正装置をＮ−１個組み合わせる態様の何れを採用してマイクロホンアレイシステムを構成するのかについては、マイクロホンアレイシステムの構成が簡潔になることが好ましいのか、それとも、分離行列の演算に要する演算量が少なくなることが好ましいのかに応じて定めるようにすれば良い。Ｎチャネルの独立成分分析を行う態様では、感度補正装置が１つで済むため、マイクロホンアレイシステムの構成は簡潔になる。これに対して、本実施形態のように２チャンネルの独立成分分析を行う感度補正装置をＮ−１個組み合わせてマイクロホンアレイシステムを構成する態様では、Ｎチャネルの独立成分分析を行う態様に比較して演算量が少なくなるといった特徴がある。Ｎチャネルの独立成分分析では、分離行列の逐次学習に要する演算量がＮ２に比例するのに対し、２チャンネルの独立成分分析を行う感度補正装置をＮ−１個組み合わせる態様では、同演算量は２２×（Ｎ−１）に比例するからである。
【００４０】
＜Ｃ：第３実施形態＞
上述した第１および第２実施形態では、分離行列生成部４０Ａにより生成された分離行列Ｗ（ｆｋ）を用いて、マイクロホンアレイを構成する各マイクロホンの感度のばらつきを補正した。しかし、分離行列Ｗ（ｆｋ）を用いて音源分離を行っても良いことは勿論である。図８は、観測信号Ｖ１および観測信号Ｖ２にフィルタ処理（音源分離）を施して分離信号Ｕ１およびＵ２を生成するマイクロホンアレイシステム１００の構成例を示すブロック図である。図８に示すマイクロホンアレイシステム１００は、マイクロホンＭ１およびマイクロホンＭ２からなるマイクロホンアレイと、観測信号Ｖ１および観測信号Ｖ２から分離信号Ｕ１および分離信号Ｕ２を生成する演算を実行する演算装置１２と、記憶装置１４とを含んでいる。図８においては、図１と同一の構成要素には同一の符号が付されている。以下、図１に示すシステムとの相違点を中心に説明する。
【００４１】
図８に示すように演算装置１２は、周波数分析部２２、信号処理部２４、信号合成部２６および分離行列生成部４０を含んでいる。この演算装置１２は、前述した第１実施形態における感度補正装置２０と同様にコンピュータ装置であり、記憶装置１４に格納されているプログラムをＣＰＵに実行させることで周波数分析部２２、信号処理部２４、信号合成部２６および分離行列生成部４０として機能する。
【００４２】
図８の信号処理部２４は、周波数分析部２２が算定した強度ｘ１(ｔ，ｆｋ)と強度ｘ２（ｔ，ｆｋ）とにフィルタ処理（音源分離）を実行することでフレーム毎に順次に強度ｕ１（ｔ，ｆｋ）および強度ｕ２（ｔ，ｆｋ）を生成する。信号合成部２６は、信号処理部２４が生成した強度ｕ１（ｔ，ｆ１）〜ｕ１（ｔ，ｆＫ）を時間領域の信号に変換するとともに前後のフレームで連結して分離信号Ｕ１を生成する。同様に、信号合成部２６は、強度ｕ２（ｔ，ｆ１）〜ｕ２（ｔ，ｆＫ）を時間領域の信号に変換するとともに前後のフレームで連結して分離信号Ｕ２を生成する。
【００４３】
図９は、信号処理部２４のブロック図である。図９に示すように、信号処理部２４は、Ｋ個の周波数ｆ１〜ｆＫの各々に対応するＫ個の処理部Ｐ１〜ＰＫで構成される。周波数ｆｋに対応する処理部Ｐｋは、強度ｘ１（ｔ，ｆｋ）および強度ｘ２(ｔ，ｆｋ)から強度ｕ１(ｔ，ｆｋ)を生成するフィルタ３２と、強度ｘ１（ｔ，ｆｋ）および強度ｘ２（ｔ，ｆｋ）から強度ｕ２(ｔ，ｆｋ)を生成するフィルタ３４とを含んでいる。
【００４４】
フィルタ３２およびフィルタ３４には遅延加算型（ＤＳ(delay-sum)型）のビームフォーマが利用される。すなわち、処理部Ｐｋのフィルタ３２は、前掲数１で定義されるように、係数ｗ１１(ｆｋ)に応じた遅延を強度ｘ１（ｔ，ｆｋ）に付加する遅延素子３２１と、係数ｗ１２(ｆｋ)に応じた遅延を強度ｘ２（ｔ，ｆｋ）に付加する遅延素子３２３と、遅延素子３２１の出力と遅延素子３２３の出力とを加算して分離信号Ｕ1の強度ｕ１（ｔ，ｆｋ）を生成する加算部３２５とを含んでいる。同様に、フィルタ３４は、前掲数２で定義されるように、係数ｗ２１（ｆｋ）に応じた遅延を強度ｘ１（ｔ，ｆｋ）に付加する遅延素子３４１と、係数ｗ２２（ｆｋ）に応じた遅延を強度ｘ２（ｔ，ｆｋ）に付加する遅延素子３４３と、遅延素子３４１の出力と遅延素子３４３の出力とを加算して分離信号Ｕ２の強度ｕ２（ｔ，ｆｋ）を生成する加算部３４５とを含む。
【００４５】
図１０は、分離行列生成部４０の構成例を示すブロック図である。この分離行列生成部４０は、前述した第１実施形態における分離行列生成部４０Ａと同様に観測データＤ（ｆｋ）を用いて独立成分分析を行うことにより分離行列を生成する。図１０に示すように分離行列生成部４０は、初期値生成部４２、学習処理部４４および周波数選択部５４を含んでいる。そして、分離行列生成部４０は、選択周波数ｆｋに関して学習処理部４４による学習処理で生成される分離行列Ｗ（ｆｋ）の各行列要素を信号処理部２４の処理部Ｐｋのフィルタ３２およびフィルタ３４に各々設定する。
【００４６】
加えて、分離行列生成部４０は、図１０に示すように方向推定部７２と行列補充部７４とを有している。方向推定部７２は、選択周波数ｆｋの各々に関して学習処理部４４により生成された分離行列Ｗ（ｆｋ）の各行により分離される音の到来方向θ１（ｆｋ）およびθ２（ｆｋ）を推定し、それらθ１（ｆｋ）を代表する値θ１（θ１（ｆｋ）の相加平均や中央値）およびθ２（ｆｋ）を代表する値θ２を算出し、θ１およびθ２を示すデータを行列補充部７４に与える。図１０の行列補充部７４は、周波数ｆ１〜ｆＫのＫ種類の周波数のうち、周波数選択部５４により選択されなかった周波数（以下、非選択周波数）についての分離行列を以下の要領で生成し、信号処理部２４に与える。すなわち、行列補充部７４は、前述した初期値生成部４２における初期分離行列の生成と同様のアルゴリズムにしたがって、非選択周波数についての分離行列をその１行目についてはθ１方向が死角となり、２行目についてはθ２方向が死角となるように生成する。
【００４７】
分離行列を用いた従来の音源分離では、分離行列の生成に要する演算量を削減するため、周波数ｆ１〜ｆＫのＫ種類の周波数のうちの特定の周波数（本実施形態では、選択周波数ｆｋ）についてのみ分離行列の学習を行い、その他の周波数については初期値生成部４２により生成した初期分離行列をそのまま用いることが一般的であった。学習処理により得られた分離行列を用いる周波数帯域では、その分離行列を介してマイクロホンアレイを構成する各マイクロホンの感度のばらつきが補正されるが、初期分離行列を用いる周波数帯域では各マイクロホンの感度のばらつきが補正されておらず、各マイクロホンの感度のばらつきに起因して死角が適切に形成されず、音源の分離精度が劣化するという問題があった。これに対して本実施形態では、非選択周波数について、学習処理により得られた分離行列から推定される方向に死角を形成するように生成された分離行列を用いることで、精度良く音源分離を行うことが可能になる。
【００４８】
＜Ｄ：変形＞
以上、本発明の各実施形態について説明したが、これら実施形態に以下の変形を加えても勿論良い。
（１）上述した各実施形態では、マイクロホンアレイのアレイ面におけるマイクロホンの配置間隔に応じて、分離行列を学習する周波数を選択したが、他の尺度を基準に周波数の選択を行っても良い。このような尺度の一例としては学習の有意性（分離行列を学習することにより音源分離の精度が初期分離行列を用いた音源分離に比較して向上する場合に、その向上の度合い）を用いることが考えられる。ここで、学習の有意性を示す指標としては、例えば、Ｋ個の周波数ｆ１〜ｆＫの各々についての観測データＤ（ｆｋ）の共分散行列Ｒｘｘ（ｆｋ）の行列式ｚ１（ｆｋ）が好適であることが知られている。具体的には、行列式ｚ１（ｆｋ）が所定の閾値を上回っている周波数ｆｋを学習対象として選択するといった具合である。なお、共分散行列Ｒｘｘ（ｆｋ）は以下の数８で定義される。以下の数８や数９における記号Ｅは期待値（加算値）を意味し、記号Σ_{t}は、単位区間ＴＵ内の複数（例えば５０個）のフレームにわたる加算（平均）を意味する。すなわち、共分散行列Ｒｘｘ（ｆｋ）は、観測ベクトルＸ（ｔ，ｆｋ）と観測ベクトルＸ（ｔ，ｆｋ）の転置との乗算を単位区間ＴＵ内（観測データＤ（ｆｋ）内）の複数の観測ベクトルＸ（ｔ，ｆｋ）について加算したｎ行ｎ列の行列である。ただし、以下の数９では、単位区間ＴＵ内の総てのフレームにわたる観測ベクトルＸ（ｔ，ｆｋ）の加算を零行列と仮定した（ゼロ平均）。
【数８】
【数９】
【００４９】
（２）上述した各実施形態では、初期分離行列Ｗ０（ｆｋ）として、１行目の行列要素によりマイクロホンアレイのアレイ面の法線方向に死角を形成し、かつ、２行目の行列要素によりマイクロホンアレイにおける各マイクロホンの配列方向に死角を形成する死角型ビームフォーマのものを用いたが、１行目の行列要素の役割と２行目の行列要素の役割とを入れ替えたものを用いても良い。このように、１行目の行列要素によりマイクロホンアレイにおけるマイクロホンの配列方向に死角を形成し、かつ、２行目の行列要素によりマイクロホンアレイのアレイ面の法線方向に死角を形成する死角型ビームフォーマのものを用いる場合には、逐次学習により生成される分離行列Ｗ（ｆｋ）の２行目の行列要素により抑圧される音の到来方向がアレイ面の法線方向から大幅にはずれているか否かを判定し、はずれてはいない場合に、当該２行目の行列要素の絶対値の比（すなわち、｜ｗ２２｜／｜ｗ２１｜）に応じて補正対象マイクロホン（第１実施形態においては、マイクロホンＭ２、第２実施形態においてはマイクロホンＭ２〜ＭＮ）の出力信号のゲインを調整することで感度補正を行えば良い。
【００５０】
（３）上述した各実施形態では、本発明の特徴を顕著に示す感度補正装置がマイクロホンアレイシステムに予め組み込まれていたが、感度補正装置単体で提供し、感度補正装置の各部をマイクロホンアレイの各部に接続してマイクロホンアレイシステム１００Ａやマイクロホンアレイシステム１００Ｂと同様な構成となるようにしても良い。
【００５１】
（４）上述した実施形態では、本発明に特徴的なマイクロホンの感度補正をＣＰＵに実行させるプログラムが記憶装置１４に予め格納されていた。しかしながら、ＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）などのコンピュータ読み取り可能な記録媒体に上記プログラムを書き込んで配布しても良く、また、インターネットなどの電気通信回線経由のダウンロードにより上記プログラムを配布しても良い。
【符号の説明】
【００５２】
１００Ａ，１００Ｂ，１００…マイクロホンアレイシステム、１０Ａ，１０Ｂ…マイクロホンアレイ、Ｍ１，Ｍ２，ＭＮ…マイクロホン、２０，２０−２，２０−３…２０−Ｎ…感度補正装置、１２…演算装置、２２…周波数分析部、１４…記憶装置、４０Ａ，４０…分離行列生成部、４２…初期値生成部、４４…学習処理部、５４…周波数選択部、２８…感度補正制御部、７２…方向推定部、７４…行列補充部、７６…補正量算定部。
【特許請求の範囲】
【請求項１】
各々異なる音源から放射されるＭ（Ｍは２以上の自然数）種類の音の混合音をマイクロホンアレイを構成するＭ個のマイクロホンの各々で収音して得られるＭ個の観測信号の各々に周波数分析を施し、複数の周波数の各々における信号強度を示す時系列の観測データをマイクロホン毎に算出する周波数分析部と、
前記複数の周波数のうちの少なくとも１つを選択し、当該周波数成分についての音源分離を行うためのＭ行Ｍ列の複素数値行列である分離行列を当該周波数成分の観測データに対する独立成分分析により生成する分離行列生成部と、
前記分離行列生成部により生成される分離行列の各行について、各行の行列要素の偏角の差から、当該行の行列要素により抑圧される音の到来方向を推定する方向推定部と、
前記方向推定部により推定される音の到来方向が前記マイクロホンアレイの法線方向から大きくはずれてはいない前記分離行列の行がある場合に、当該行の行列要素の絶対値の比に応じて前記各マイクロホンの出力信号の信号レベルのばらつきを補正する感度補正部と
を有することを特徴とするマイクロホンアレイを構成するマイクロホンの感度補正装置。
【請求項２】
Ｍ＝２である場合、前記分離行列生成部は、
前記独立成分分析の出発点となる初期分離行列を、一方の行の行列要素に関しては前記マイクロホンアレイのアレイ面の法線方向から到来する音を抑圧するように値を設定し、かつ他方の行の行列要素についてはアレイ面におけるマイクロホンの配列方向から到来する音を抑圧するように値を設定する
ことを特徴とする請求項１に記載の感度補正装置。
【請求項３】
Ｎ（Ｎは２以上の自然数）のマイクロホンで構成されるマイクロホンアレイと、
Ｍ＝２である請求項１に記載の感度補正装置をＮ−１個備え、
前記Ｎ個のマイクロホンのうちの何れか１つを基準マイクロホンとするとともに、他のＮ−１個のマイクロホンの各々を感度補正対象のマイクロホンとし、前記Ｎ−１個の感度補正装置の各々を前記Ｎ−１個の感度補正対象のマイクロホンの各々に一つずつ接続するとともに、当該Ｎ−１個の感度補正装置の各々を前記基準マイクロホンに接続し、当該Ｎ−１個の感度補正装置の各々により前記Ｎ−１個の補正対象マイクロホンの各々の出力信号の信号レベルを補正する
ことを特徴とするマイクロホンアレイシステム。
【請求項４】
コンピュータを、
各々異なる音源から放射されるＭ（Ｍは２以上の自然数）種類の音の混合音をマイクロホンアレイを構成するＭ個のマイクロホンの各々で収音して得られるＭ個の観測信号の各々に周波数分析を施し、複数の周波数の各々における信号強度を示す時系列の観測データをマイクロホン毎に算出する周波数分析部と、
前記複数の周波数のうちの少なくとも１つを選択し、当該周波数成分についての音源分離を行うためのＭ行Ｍ列の複素数値行列である分離行列を当該周波数成分の観測データに対する独立成分分析により生成する分離行列生成部と、
前記分離行列生成部により生成される分離行列の各行について、各行の行列要素の偏角の差から、当該行の行列要素により抑圧される音の到来方向を推定する方向推定部と、
前記方向推定部により推定される音の到来方向が前記マイクロホンアレイの法線方向から大きくはずれてはいない前記分離行列の行がある場合に、当該行の行列要素の絶対値の比に応じて前記各マイクロホンの出力信号の信号レベルのばらつきを補正する感度補正部
として機能させることを特徴とするプログラム。
【請求項１】
各々異なる音源から放射されるＭ（Ｍは２以上の自然数）種類の音の混合音をマイクロホンアレイを構成するＭ個のマイクロホンの各々で収音して得られるＭ個の観測信号の各々に周波数分析を施し、複数の周波数の各々における信号強度を示す時系列の観測データをマイクロホン毎に算出する周波数分析部と、
前記複数の周波数のうちの少なくとも１つを選択し、当該周波数成分についての音源分離を行うためのＭ行Ｍ列の複素数値行列である分離行列を当該周波数成分の観測データに対する独立成分分析により生成する分離行列生成部と、
前記分離行列生成部により生成される分離行列の各行について、各行の行列要素の偏角の差から、当該行の行列要素により抑圧される音の到来方向を推定する方向推定部と、
前記方向推定部により推定される音の到来方向が前記マイクロホンアレイの法線方向から大きくはずれてはいない前記分離行列の行がある場合に、当該行の行列要素の絶対値の比に応じて前記各マイクロホンの出力信号の信号レベルのばらつきを補正する感度補正部と
を有することを特徴とするマイクロホンアレイを構成するマイクロホンの感度補正装置。
【請求項２】
Ｍ＝２である場合、前記分離行列生成部は、
前記独立成分分析の出発点となる初期分離行列を、一方の行の行列要素に関しては前記マイクロホンアレイのアレイ面の法線方向から到来する音を抑圧するように値を設定し、かつ他方の行の行列要素についてはアレイ面におけるマイクロホンの配列方向から到来する音を抑圧するように値を設定する
ことを特徴とする請求項１に記載の感度補正装置。
【請求項３】
Ｎ（Ｎは２以上の自然数）のマイクロホンで構成されるマイクロホンアレイと、
Ｍ＝２である請求項１に記載の感度補正装置をＮ−１個備え、
前記Ｎ個のマイクロホンのうちの何れか１つを基準マイクロホンとするとともに、他のＮ−１個のマイクロホンの各々を感度補正対象のマイクロホンとし、前記Ｎ−１個の感度補正装置の各々を前記Ｎ−１個の感度補正対象のマイクロホンの各々に一つずつ接続するとともに、当該Ｎ−１個の感度補正装置の各々を前記基準マイクロホンに接続し、当該Ｎ−１個の感度補正装置の各々により前記Ｎ−１個の補正対象マイクロホンの各々の出力信号の信号レベルを補正する
ことを特徴とするマイクロホンアレイシステム。
【請求項４】
コンピュータを、
各々異なる音源から放射されるＭ（Ｍは２以上の自然数）種類の音の混合音をマイクロホンアレイを構成するＭ個のマイクロホンの各々で収音して得られるＭ個の観測信号の各々に周波数分析を施し、複数の周波数の各々における信号強度を示す時系列の観測データをマイクロホン毎に算出する周波数分析部と、
前記複数の周波数のうちの少なくとも１つを選択し、当該周波数成分についての音源分離を行うためのＭ行Ｍ列の複素数値行列である分離行列を当該周波数成分の観測データに対する独立成分分析により生成する分離行列生成部と、
前記分離行列生成部により生成される分離行列の各行について、各行の行列要素の偏角の差から、当該行の行列要素により抑圧される音の到来方向を推定する方向推定部と、
前記方向推定部により推定される音の到来方向が前記マイクロホンアレイの法線方向から大きくはずれてはいない前記分離行列の行がある場合に、当該行の行列要素の絶対値の比に応じて前記各マイクロホンの出力信号の信号レベルのばらつきを補正する感度補正部
として機能させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１０−２４５９８４（Ｐ２０１０−２４５９８４Ａ）
【公開日】平成２２年１０月２８日（２０１０．１０．２８）
【国際特許分類】
【出願番号】特願２００９−９４５７７（Ｐ２００９−９４５７７）
【出願日】平成２１年４月９日（２００９．４．９）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
【公開日】平成２２年１０月２８日（２０１０．１０．２８）
【国際特許分類】
【出願日】平成２１年４月９日（２００９．４．９）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
[ Back to top ]