音源分離装置及び音源分離方法
【課題】ＩＣＡ法に基づくＢＳＳ方式による音源分離処理を行うに当たり、音響空間に存在する音源の数に増減があった場合でも、高い音源分離性能を維持できること。
【解決手段】ｎ個の指向性マイク１１１〜１１ｎが、０個〜ｎ個の音源が存在し得る音響空間において各々異なる指向方向で配置され、パワー検出・信号選択部２５が入力音声信号ｘi各々のパワーＰiを検出するとともに、そのパワーＰiに基づいて、入力音声信号ｘiの中から、指向性マイク１１１〜１１ｎが配置される音響空間に存在する１又は複数の音源に対応する１又は複数の採用入力音声信号ｘj（チャンネル）を選択し、これにより複数の採用入力信号ｘjが選択された場合、ＩＣＡ部２０が、その複数の採用入力音声信号ｘjに対し、独立成分分析法に基づくブラインド音源分離方式の音源分離処理を施すことによって採用入力音声信号ｘjの数と同数の分離信号ｙjを生成する。
【解決手段】ｎ個の指向性マイク１１１〜１１ｎが、０個〜ｎ個の音源が存在し得る音響空間において各々異なる指向方向で配置され、パワー検出・信号選択部２５が入力音声信号ｘi各々のパワーＰiを検出するとともに、そのパワーＰiに基づいて、入力音声信号ｘiの中から、指向性マイク１１１〜１１ｎが配置される音響空間に存在する１又は複数の音源に対応する１又は複数の採用入力音声信号ｘj（チャンネル）を選択し、これにより複数の採用入力信号ｘjが選択された場合、ＩＣＡ部２０が、その複数の採用入力音声信号ｘjに対し、独立成分分析法に基づくブラインド音源分離方式の音源分離処理を施すことによって採用入力音声信号ｘjの数と同数の分離信号ｙjを生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、所定の音響空間に複数のマイクロホンが存在する状態で、そのマイクロホン各々を通じて入力される複数の入力音声信号（音源各々からの音源信号が重畳された信号）に対し、独立成分分析法に基づくブラインド音源分離方式の音源分離処理を施すことにより複数の分離信号を生成する機能を備えた音源分離装置及び音源分離方法に関するものである。
【背景技術】
【０００２】
所定の音響空間に複数の音源と複数のマイクロホンとが存在する場合、その複数のマイクロホンごとに、複数の音源各々からの音声信号（以下、音源信号という）が重畳された音声信号（以下、入力音声信号という）が取得される。このようにして取得（入力）された複数の入力音声信号のみに基づいて、前記音源信号各々を同定（分離）する音源分離処理の方式は、ブラインド音源分離方式（Blind Source Separation方式、以下、ＢＳＳ方式という）と呼ばれる。
さらに、ＢＳＳ方式の音源分離処理の１つに、独立成分分析法（Independent Component Analysis、以下、ＩＣＡ法という）に基づくＢＳＳ方式の音源分離処理がある。このＩＣＡ法に基づくＢＳＳ方式は、複数のマイクを通じて入力される複数の入力音声信号（時系列の音声信号）において、前記音源信号どうしが統計的に独立であることを利用して所定の分離行列（逆混合行列）を最適化し、入力された複数の入力音声信号に対して最適化された分離行列によるフィルタ処理（行列演算）を施すことによって前記音源信号の同定（音源分離）を行う処理方式である。
なお、本明細書において、「演算」、「計算」及び「算出」の用語は同義を表すものとする。
【０００３】
ここで、学習計算開始時には、所定の初期値が設定された分離行列（以下、初期行列という）が与えられ、その初期行列が学習計算により更新されて音源分離（前記分離用フィルタ処理）に用いる分離行列として設定される。通常、最初の学習計算開始時には、予め定められた所定の行列が初期行列として設定され、以後、学習計算が行われるごとに、学習後の分離行列が次の学習計算開始時の初期行列として設定される。このようなＩＣＡ法に基づくＢＳＳ方式の音源分離処理（以下、ＩＣＡ−ＢＳＳ音源分離処理という）は、例えば、非特許文献１や非特許文献２等に詳説されている。
ここで、ＩＣＡ−ＢＳＳ音源分離処理における分離行列の学習計算は、演算負荷が高く、現状の実用的なプロセッサではそれをリアルタイムで行うことはできない。このため、ＩＣＡ−ＢＳＳ音源分離処理をリアルタイムで行う場合、逐次入力される入力音声信号に対し、分離行列を用いた行列演算（前記分離用フィルタ処理）を逐次施してリアルタイムで出力信号としての分離信号を得る一方、これと並行して学習計算を行い、その学習計算によって新たな分離行列が得られる都度、リアルタイムの分離処理に用いる分離行列を新たな分離行列に更新するという処理を行えばよい。
また、特許文献１には、話者が音源である場合に、話者が発話中であるか否かを判別し、その判別結果に応じて分離行列の学習及び分離処理をＯＮ／ＯＦＦ制御する技術が示されている。
【特許文献１】特開２００５−２２７５１２号公報
【非特許文献１】猿渡洋、「アレー信号処理を用いたブラインド音源分離の基礎」電子情報通信学会技術報告、vol.EA2001-7、pp.49-56、April 2001.
【非特許文献２】高谷智哉他、「SIMOモデルに基づくICAを用いた高忠実度なブラインド音源分離」電子情報通信学会技術報告、vol.US2002-87、EA2002-108、January 2003.
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、ＩＣＡ−ＢＳＳ音源分離処理では、処理対象とする入力音声信号の数に応じて分離行列のサイズが定まり、処理対象とする入力音声信号の数と同数の分離信号が生成される。また、従来のＩＣＡ−ＢＳＳ音源分離処理は、処理対象とする入力音声信号の数は、音響空間に配置されるマイクロホンの数に等しい。
しかしながら、ＩＣＡ−ＢＳＳ音源分離処理において、音響空間に存在する音源の数に対し、処理対象となる入力音声信号の数（一般には、マイクロホンの数）に過不足が生じると、音源分離性能が悪化するという問題点があった。
即ち、音源の数よりも処理対象となる入力音声信号の数（マイクロホンの数）が多い場合、１つの音源信号を複数の分離信号に分離する処理がなされてしまうことから、音源分離性能が悪化する。また、音源の数よりも処理対象となる入力音声信号の数が少ない場合、音源の数よりも少ない分離信号しか生成されないことから、音源分離性能が悪化する。
このため、音響空間に存在する音源の数が予め定まっていない場合、従来のＩＣＡ−ＢＳＳ音源分離処理を行う音源分離装置は、音響空間に存在する音源の数に対し、処理対象となる入力音声信号の数（マイクロホンの数）に過不足が生じ、音源分離性能が悪化するという問題点があった。
従って、本発明は上記事情に鑑みてなされたものであり、その目的とするところは、ＩＣＡ法に基づくＢＳＳ方式による音源分離処理を行うに当たり、音響空間に存在する音源の数に増減があった場合でも、高い音源分離性能を維持できる音源分離装置及び音源分離方法を提供することにある。
【課題を解決するための手段】
【０００５】
上記目的を達成するために本発明は、所定の音響空間に複数の指向性マイクロホンが各々異なる指向方向で配置された状況下で、それら指向性マイクロホンを通じて入力される複数の入力音声信号に基づいて音源分離処理を行う音源分離装置又は音源分離方法として構成されるものであり、以下の（１）〜（３）に示す各構成要素（手段又は手順）を有するものである。
（１）前記複数の指向性マイクロホンを通じて入力される複数の入力音声信号各々の信号強度を検出する信号強度検出手段、又はその信号検出手段により信号強度を検出する信号強度検出手順。
（２）前記信号強度検出手段（又は手順）の検出結果に基づいて前記複数の入力音声信号の中から前記音響空間に存在する１又は複数の音源に対応する１又は複数の採用入力音声信号を選択する信号選択手段、又は信号選択手段による選択を実行する信号選択手順。
（３）前記信号選択手段により複数の前記採用入力信号が選択された場合に、該複数の採用入力音声信号に対し独立成分分析法に基づくブラインド音源分離方式の音源分離処理を施すことにより前記採用入力音声信号の数と同数の分離信号を生成するＩＣＡ−ＢＳＳ音源分離手段、又はその分離信号の生成処理を所定のプロセッサにより実行するＩＣＡ−ＢＳＳ音源分離手順。
ここで、前記信号選択手段又は信号選択手順としては、例えば、前記信号強度検出手段（又は同手順）により検出された信号強度が第１の設定強度を超えた前記入力音声信号を前記採用入力音声信号として選択するものが考えられる。
【０００６】
以上に示す構成要素を有する音源分離装置又は音源分離方法を採用した場合、以下のような作用及び効果が得られる。
即ち、ある指向性マイクロホンの指向方向（主な集音範囲）に音源が存在すれば、その指向性マイクロホンを通じて得られる入力音声信号の強度（パワー）が特に強くなる。もちろん、他の指向性マイクロホンを通じて得られる入力音声信号の強度にも多少は影響するものの、その影響の度合いは比較的小さい。
このため、前記信号選択手段（又は同手順）により、全ての入力音声信号の中から、信号強度が一定レベル以上であるもののみを音源分離処理の対象（前記採用入力音声信号）として選択すれば、音源の数に対し、過不足のない数の前記採用入力音声信号が選択される。
従って、前記入力音声信号を得るための前記指向性マイクロホンを、変動する音源の数に対して十分な数だけ設けておけば、音響空間に存在する音源の数に増減があった場合でも、高い音源分離性能を維持できる。
【０００７】
また、前記信号選択手段（又は手順）としては、例えば、前記信号強度検出手段（又は手順）により検出された信号強度が強いものから最大２つまでの前記入力音声信号を前記採用入力音声信号として選択するものが考えられる。
これにより、音源分離処理の演算負荷を低減できる。このような構成を有する音源分離装置や音源分離方法は、例えば、ある特定の指向性マイクロホンの指向方向（主な集音範囲）に存在する音源（目的音源）の音源信号と、その他の音源（ノイズ音源）の音源信号とを分離したい場合（複数のノイズ音源の音源信号を分離する必要がない場合）などに有効である。
また、前記信号選択手段（又は手順）としては、例えば、前記採用入力信号として選択している前記入力音声信号のうち、前記信号強度検出手段（又は手順）により検出された信号強度が第２の設定強度以下である状態が所定時間継続したものを前記採用入力音声信号から除外するものが考えられる。
これにより、ＩＣＡ−ＢＳＳ音源分離手段（又は手順）の入力数（採用入力音声信号の数）の増減が、音源の一時的な音量増減に応じて無用に頻発することを防止できる。
【０００８】
ところで、音源が、隣り合う指向性マイクロホンの一方の集音範囲から他方の集音範囲へ移動した場合、指向方向（集音範囲）が隣り合う２つの指向性マイクロホンにおいて、その一方の入力音声信号の強度が強い状態から弱い状態に変化するとともに、他方の入力音声信号の強度が弱い状態から強い状態に変化する。
そこで、前記信号選択手段（又は手順）としては、指向方向が隣り合う２つの前記指向性マイクロホン各々を通じて入力された入力音声信号（これらを、第１の入力音声信号及び第２の入力音声信号と称する）のうち、その第２の入力音声信号が前記採用入力音声信号として選択しているときに、前記第１の入力音声信号の信号強度が前記第１の設定強度を超えた際に前記第２の入力音声信号の信号強度が第２の設定強度以下となった場合に、その第２の入力音声信号を前記採用入力音声信号から除外するものも考えられる。
なお、以上に示した第１の設定強度及び第２の設定強度は、それぞれ同じ強度に設定されることや、第１の設定強度よりも第２の設定強度の方が弱い強度に設定されること等が考えられる。
【発明の効果】
【０００９】
本発明によれば、前記入力音声信号を得るための前記指向性マイクロホンを、変動する音源の数に対して十分な数だけ設けておけば、音響空間に存在する音源の数に増減があった場合でも、音源の数に対し、過不足のない数の入力音声信号（前記採用入力音声信号）が選択されるので、高い音源分離性能を維持できる。
【発明を実施するための最良の形態】
【００１０】
以下添付図面を参照しながら、本発明の実施の形態について説明し、本発明の理解に供する。尚、以下の実施の形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定する性格のものではない。
ここに、図１は本発明の実施形態に係る音源分離装置Ｘの概略構成を表すブロック図、図２は音源分離装置Ｘが備える指向性マイクロホンの配置状態の一例を表す平面図、図３は音源分離装置Ｘにおける音源分離処理の手順を表すフローチャート、図４は音源分離装置Ｘの適用対象の一例である携帯電話機Ｖ１の概略斜視図、図５は音源分離装置Ｘの適用対象の一例であるロボットＶ２の概略斜視図、図６はＴＤＩＣＡ法に基づくＢＳＳ方式の音源分離処理を行う音源分離ユニットＺ１の概略構成を表すブロック図、図７はＦＤＩＣＡ法に基づくＢＳＳ方式の音源分離処理を行う音源分離ユニットＺ２の概略構成を表すブロック図である。
【００１１】
まず、本発明の実施形態について説明する前に、図６及び図７に示すブロック図を用いて、本発明の構成要素として適用可能な各種のＩＣＡ−ＢＳＳ方式の音源分離ユニットの例について説明する。
図６は、ＩＣＡ−ＢＳＳ方式の一種である時間領域独立成分分析方式（time-domain independent component analysis方式、以下、ＴＤＩＣＡ方式という）に基づくＢＳＳ方式の音源分離処理を行う従来の音源分離ユニットＺ１の概略構成を表すブロック図である。なお、本処理の詳細は、非特許文献１や非特許文献２等に示されている。
音源分離ユニットＺ１は、分離フィルタ処理部１１ｔにより、２つの音源１、２からの音源信号Ｓ1(ｔ)、Ｓ2(ｔ)（音源ごとの音声信号）を２つのマイクロホン（音声入力手段）１１１、１１２で入力した２チャンネル（マイクロホンの数）の混合音声信号ｘ１(ｔ)、ｘ２(ｔ)について、分離行列Ｗ(ｚ)によりフィルタ処理を施すことによって音源分離を行う。なお、混合音声信号ｘ１(ｔ)、ｘ２(ｔ)は、所定のサンプリング周期でデジタル化された信号であるが、図６、図７においては、Ａ／Ｄ変換手段の記載を省略している。
図６には、２つの音源１、２からの音源信号Ｓ1(ｔ)、Ｓ2(ｔ)（個別音声信号）を２つのマイクロホン（音声入力手段）１１１、１１２で入力した２チャンネル（マイクロホンの数）の混合音声信号ｘ１(ｔ)、ｘ２(ｔ)に基づいて音源分離を行う例について示しているが、２チャンネル以上であっても同様である。ＩＣＡ−ＢＳＳ方式による音源分離の場合、（入力される混合音声信号のチャンネル数ｎ（即ち、マイクロホンの数））≧（音源の数ｍ）であればよい。但し、前述したように、高い音源分離性能を確保するためには、音源分離処理の対象とするチャンネル数と音源の数とを一致させることが望ましい。
複数のマイクロホン１１１、１１２各々で集音された各混合音声信号ｘ１(ｔ)、ｘ２(ｔ)には、複数音源からの音源信号が重畳されている。以下、各混合音声信号ｘ１(ｔ)、ｘ２(ｔ)を総称してｘ(ｔ)と表す。この混合音声信号ｘ(ｔ)は音源信号Ｓ(ｔ)の時間的空間的な畳み込み信号として表現され、次の（１）式のように表される。
【数１】
ＴＤＩＣＡによる音源分離の理論は、この音源信号Ｓ(ｔ)のそれぞれの音源同士が統計的に独立であることを利用すると、ｘ(ｔ)がわかればＳ(ｔ)を推測することができ、従って、音源を分離することができるという発想に基づく理論である。
ここで、当該音源分離処理に用いる分離行列をＷ(ｚ)とすれば、分離信号（即ち、同定信号）ｙ(ｔ)は、次の（２）式で表される。
【数２】
ここで、Ｗ(ｚ)は、出力ｙ(ｔ)から逐次計算（学習計算）により求められる。また、分離信号は、チャンネルの数だけ得られる。
なお、音源合成処理はこのＷ(ｚ)に関する情報により、逆演算処理に相当する配列を形成し、これを用いて逆演算を行えばよい。また、分離行列Ｗ(ｚ)の逐次計算を行う際の分離行列の初期値（初期行列）は、予め定められたものが設定される。
このようなＩＣＡ−ＢＳＳ方式による音源分離を行うことにより、例えば、人の歌声とギター等の楽器の音とが混合した複数チャンネル分の混合音声信号から、歌声の音源信号と楽器の音源信号とが分離（同定）される。
ここで、（２）式は、次の（３）式のように書き換えて表現できる。
【数３】
そして、（３）式における分離フィルタ（分離行列）Ｗ(ｎ)は、次の（４）式により表される処理（以下、第１の単位処理という）を繰り返し実行する逐次計算により求められる。即ち、前回（ｊ）の出力ｙ(ｔ)を（４）式に適用することよって今回（ｊ＋１）のＷ(ｎ)を求め、今回求めたＷ(ｎ)を用いて所定時間長分の混合音声信号に対してフィルタ処理（行列演算）を施すことによって今回（ｊ＋１）の出力ｙ(ｔ)を求める、という前記第１の単位処理を複数回繰り返す。これにより、分離フィルタ（分離行列）Ｗ(ｎ)が、徐々に上記逐次計算で用いられる混合音声信号に対応した内容となる。
【数４】
【００１２】
次に、図７に示すブロック図を用いて、ＩＣＡ−ＢＳＳ方式の一種であるＦＤＩＣＡ方式（Frequency-Domain ICA）に基づく音源分離処理を行う従来の音源分離ユニットＺ２について説明する。
ＦＤＩＣＡ方式では、まず、入力された混合音声信号ｘ(ｔ)について、ＳＴ−ＤＦＴ処理部１３によって所定の周期ごとに区分された信号であるフレーム毎に短時間離散フーリエ変換（Short Time Discrete Fourier Transform、以下、ＳＴ−ＤＦＴ処理という）を行うことにより、観測信号の短時間分析（時間領域から周波数領域への変換）を行う。離散フーリエ変換後の信号は、周波数ビンと呼ばれる所定範囲の周波数帯域ごとに区分された信号となる。そして、そのＳＴ−ＤＦＴ処理後の各チャンネルの信号（各周波数成分の信号）について、分離フィルタ処理部１１ｆにより分離行列Ｗ(ｆ)に基づく分離フィルタ処理を施すことによって音源分離（音源信号の同定）を行う。ここでｆを周波数ビン、ｍを分析フレーム番号とすると、分離信号（同定信号）ｙ(ｆ、ｍ)は、次の（５）式のように表すことができる。
【数５】
そして、（５）式における分離フィルタ（分離行列）Ｗ(ｆ)は、次の（６）式により表される処理（以下、第２の単位処理という）を繰り返し実行する逐次計算により求められる。即ち、前回（ｉ）の出力ｙ(ｆ)を（６）式に適用することよって今回（ｉ＋１）のＷ(ｆ)を求め、今回求めたＷ(ｆ)を用いて所定時間長分の混合音声信号（周波数領域に変換されたもの）に対してフィルタ処理（行列演算）を施すことによって今回（ｉ＋１）の出力ｙ(ｆ)を求める、という前記第２の単位処理を複数回繰り返す。これにより、分離フィルタ（分離行列）Ｗ(ｆ)が、徐々に上記逐次計算で用いられる混合音声信号に対応した内容となる。
【数６】
このＦＤＩＣＡ方式によれば、音源分離処理が各狭帯域における瞬時混合問題として取り扱われ、比較的簡単かつ安定に分離フィルタ（分離行列）Ｗ(ｆ)を更新することができる。
【００１３】
以下、図１に示すブロック図を用いて、本発明の実施形態に係る音源分離装置Ｘについて説明する。
音源分離装置Ｘは、１又は複数の音源が存在し得る音響空間に配置される複数の指向性マイクロホン１１１〜１１ｎ（以下、指向性マイクという）を備え、その指向性マイク１１１〜１１ｎ各々を通じて逐次入力される複数の音声信号（以下、入力音声信号ｘiという（但し、i＝１〜ｎ））から、複数の音源信号を分離（同定）した分離信号（即ち、音源信号に対応した同定信号）ｙjを逐次生成し、スピーカ等に対してリアルタイム出力するものである。ここで、音響空間に音源が複数存在する場合、各入力音声信号ｘiは、その複数の音源各々からの音源信号が重畳された混合音声信号である。なお、図１には、音響空間に２つの音源１、２が存在する例を示しているが、指向性マイク１１１〜１１ｎが配置される音響空間には、０個〜ｎ個の音源が存在し得るものとし、いくつの音源が存在するかは予め定まっていないものとする。
【００１４】
図１に示すように、音源分離装置Ｘは、ｎ個の指向性マイク１１１〜１１ｎ、Ａ／Ｄコンバータ２１（図中、ＡＤＣと表記）、Ｄ／Ａコンバータ２２（図中、ＤＡＣと表記）、入力バッファ２３、出力バッファ２４、ＩＣＡ部２０、パワー検出・信号選択部２５及び外部入力インターフェース２６等を備えて構成されている。
さらに、ＩＣＡ部２０は、ＳＴ−ＤＦＴ処理部２０ａ、学習演算部２０ｂ、分離フィルタ処理部２０ｃ、分離制御部２０ｅ等を具備して構成されている。
ここで、ＩＣＡ部２０及びパワー検出・信号選択部２５は、それぞれＤＳＰ（Digital Signal Processor）等の演算用のプロセッサ及びそのプロセッサにより実行されるプログラムが記憶されたＲＯＭ等の記憶手段、並びにＲＡＭ等のその他の周辺装置により構成されたものが考えられる。或いは、１つのＣＰＵ及びその周辺装置を有するコンピュータにより、上記各構成要素が行う処理に対応するプログラムモジュールを実行するよう構成されたもの等も考えられる。また、所定のコンピュータ（音源分離装置が備えるプロセッサを含む）に各構成要素の処理を実行させる音源分離装置用のプログラムとして提供することも考えられる。
【００１５】
ＡＤＣ２１は、複数のマイクロホン１１１〜１１ｎ各々から入力されるアナログの入力音声信号各々を所定のサンプリング周期でサンプリングすることにより、デジタルの入力音声信号Ｘi(ｔ)に変換（Ａ／Ｄ変換）するすものである。例えば、各音源が人の声である場合、８ｋＨｚ程度のサンプリング周期でデジタル化すればよい。
入力バッファ２３は、ＡＤＣ２１により逐次Ａ／Ｄ変換されて得られるデジタルの入力音声信号ｘi(ｔ)を入力し、常に最新の所定時間長分の入力音声信号ｘiを保持するデータバッファである。
パワー検出・信号選択部２５は、複数の指向性マイク１１１〜１１ｎを通じて入力される複数の入力音声信号ｘi各々のパワーＰi（信号強度）を検出するとともに、そのパワーＰiに基づいて、複数の入力音声信号ｘiの中から、音響空間に存在する１又は複数の音源に対応する１又は複数の入力音声信号（以下、採用入力音声信号ｘjという）を選択する処理を行うものである（信号強度検出手段及び信号選択手段の一例）。その詳細については後述する。
外部入力インターフェース２６は、パワー検出・信号選択部２５が計算機等の外部装置から後述する信号パワー設定値Ｐｓ１、Ｐｓ２を取得するための信号伝送用のインターフェースである。
ＩＣＡ部２０は、パワー検出・信号選択部２５によって複数の前記採用入力信号ｘjが選択された場合に、その複数の採用入力音声信号ｘjに対し、独立成分分析法に基づくブラインド音源分離方式の音源分離処理（前述したＩＣＡ−ＢＳＳ音源分離処理）を施すことにより、採用入力音声信号ｘjの数と同数の分離信号ｙjを生成する処理を実行するものである（ＩＣＡ−ＢＳＳ音源分離手段の一例）。
【００１６】
具体的には、ＳＴ−ＤＦＴ処理部２０ａにより、入力バッファに蓄積された入力音声信号のうち、パワー検出・信号選択部２５によって選択された所定時間長分（１フレーム分）の採用入力音声信号ｘjに対して短時間離散フーリエ変換処理を行い、所定の時間長分の時間領域の採用入力音声信号ｘj（図６におけるｘi(ｔ)に相当）を、同時間長分の周波数領域の入力音声信号ｘj(ｆ)（周波数ビンと呼ばれる所定範囲の周波数帯域ごとに区分された信号）に変換する。なお、採用入力音声信号ｘjは、所定周期でサンプリングされてデジタル化されているので、採用入力音声信号ｘjの時間長を規定することは、採用入力音声信号ｘjのサンプル数を規定することと同義である。
さらに、分離フィルタ処理部２０ｃにより、ＳＴ−ＤＦＴ処理部２０ａを通じて逐次入力される複数の周波数領域の採用入力音声信号ｘj(ｆ)に対し、分離行列Ｗ(ｆ)を用いた行列演算を施すことにより、複数の音源各々に対応する周波数領域の複数の分離信号ｙj(ｆ)を逐次生成する。なお、周波数ビンをｆ、フレーム番号をｍとすると、分離フィルタ処理部２０ｃの処理によって得られる分離信号ｙ(ｆ、ｍ)（上記ｙj(ｆ)と同義）は、前述した（５）式で表される。
ここで、分離信号ｙj(ｆ)各々は、採用入力音声信号ｘjの数と同じ数だけ出力される。図１に示す例は、２つの入力音声信号ｘ1及びｘ3が、採用入力音声信号ｘjとして選択されている状態を表しているが、採用入力音声信号ｘjの数及び組合せは、パワー検出・信号選択部２５による選択結果に応じて変動し得る。
【００１７】
さらに、ＩＤＦＴ処理部２０ｄにより、分離フィルタ処理部２０ｃによって生成された周波数領域の分離信号ｙj(ｆ)に対して逆離散フーリエ変換（Inverse Discrete Fourier Transform）処理が施される。これにより、周波数領域の分離信号ｙj(ｆ)が、時間領域の分離信号ｙjに変換され、出力バッファ２４に格納される。
そして、出力バッファ２４に保持された時間領域の分離信号ｙj（デジタル信号）は、Ｄ／Ａコンバータ２２によってアナログの音声信号に変換されて出力される。このアナログの音声信号は、例えば、不図示のスピーカを通じて音声出力される。
【００１８】
一方、学習演算部２０ｂにより、予め定められた時間長分の複数の周波数領域の採用入力音声信号ｘj(ｆ)を用いて、ＦＤＩＣＡ方式のＢＳＳ音源分離処理における分離行列Ｗ(ｆ)の学習演算が行われ、この学習演算により得られる分離行列Ｗ(ｆ)が、分離フィルタ処理部２０ｂで用いられる分離行列Ｗ(ｆ)として設定される。学習演算部２０ｂは、入力バッファ２３に保持されている採用入力音声信号ｘjを用いて学習演算を行う。この学習演算は、分離フィルタ処理部２０ｃによる分離処理が実行される場合、その分離処理と並行して実行される。
ここで、学習演算部２０ｂによる分離行列Ｗ(ｆ)の算出（学習演算）は、図７に示した音源分離ユニットＺ２（ＦＤＩＣＡ方式に基づく分離行列（分離フィルタ）の学習演算）が採用される。即ち、ＳＴ−ＤＦＴ処理部２０ａ及び学習演算部２０ｂが、前述した音源分離ユニットＺ２に相当する。
また、分離制御部２０ｅは、パワー検出・信号選択部２５から、採用入力音声信号がいずれであるかの情報を取得し、その取得情報に基づいて、入力バッファ２３に保持された入力音声信号ｘiの伝送と、当該ＩＣＡ部２０による音源分離処理を実行するか否かとを制御するものである。その詳細については後述する。
【００１９】
図２は、ｎ個（ｎチャンネル分）の指向性マイク１１１〜１１ｎの配置状態の一例を表す平面図である。
図２に示すように、音源分離装置Ｘが備えるｎ個（図２に示す例では６個）の指向性マイク１１１〜１１ｎは、０個〜ｎ個の音源が存在し得る音響空間において、各々異なる指向方向で配置される。これにより、各指向性マイク１１１〜１１ｎの主な集音範囲（図２において破線で示す範囲）は、ほとんど重ならない状態となっている。
このように、複数の指向性マイク１１１〜１１ｎを図２に示すように配置することにより、ある指向性マイクの指向方向（主な集音範囲）に音源が存在すれば、その指向性マイクを通じて得られる入力音声信号のパワーが特に強くなる。もちろん、他の指向性マイクを通じて得られる入力音声信号のパワーにも多少は影響するものの、その影響の度合いは比較的小さい。
【００２０】
次に、図３に示すフローチャートを参照しつつ、音源分離装置Ｘにおける音源分離処理の手順について説明する。以下、Ｓ１、Ｓ２、…は、処理手順（ステップ）の識別符号を表す。また、図３に示す処理は、音源分離装置Ｘが備える不図示の電源スイッチがＯＮされた場合に実行が開始される。
［ステップＳ１、Ｓ２］
まず、音源分離装置Ｘが処理を開始すると、各構成要素において、各種の初期処理が実行される（Ｓ１）。
例えば、パワー検出・信号選択部２５は、外部入力インターフェース２６を通じて外部装置から入力される信号パワー設定値Ｐｓ１、Ｐｓ２を取得し、パワー検出・信号選択部２５が備える記憶部に記憶する。
また、パワー検出・信号選択部２５は、採用入力音声信号の選択状態を、１つも選択されていない状態（初期状態）に設定する。
また、学習演算部２０ｂは、学習計算に用いる分離行列Ｗ(ｆ)に所定の初期値を設定する。
さらに、ＡＤＣ２１によるＡ／Ｄ変換処理、即ち、入力音声信号ｘiの入力処理が開始される（Ｓ２）。これにより、以後、所定時間分（例えば、２フレーム分）の最新の入力音声信号ｘi（デジタル音声信号）が入力バッファ２３に順次蓄積される。
【００２１】
［ステップＳ３〜Ｓ５］
次に、パワー検出・信号選択部２５により、入力バッファ２３に蓄積された１フレーム分の各チャンネルの入力音声信号ｘiについて、信号のパワーＰi（信号強度）が検出される（Ｓ３、信号強度検出手順の一例）。なお、このステップＳ３の処理が実行される前に、既に各入力音声信号ｘiについて検出（算出）されたパワーＰiが存在する場合、前回の各入力音声信号ｘiのパワーとしてパワー検出・信号選択部２５の記憶部に記憶される。
例えば、パワー検出・信号選択部２５は、入力バッファ２３に蓄積されたαサンプル分（αは例えば１フレーム分のサンプル数）の入力音声信号ｘiの絶対値の平均値や２乗平均値等を信号のパワーＰiとして算出（検出）する。
さらに、パワー検出・信号選択部２５により、ステップＳ３で検出された信号のパワーＰiに基づいて、全ての（複数の）入力音声信号ｘiの中から、指向性マイク１１１〜１１ｎが配置される音響空間に存在する１又は複数の音源に対応する１又は複数の採用入力音声信号ｘj（チャンネル）を選択する処理（Ｓ４、Ｓ５）が実行される（信号選択手順の一例）。なお、このステップＳ４及びＳ５の処理が実行される前に、その時点で既に選択されている採用入力音声信号のチャンネルが、前回の採用入力信号ｘjのチャンネルとしてパワー検出・信号選択部２５の記憶部に記憶される。
具体的には、パワー検出・信号選択部２５は、ステップＳ３で検出した信号のパワーＰiが、予め外部入力インターフェース２６を取得している信号パワー設定値Ｐｓ１（第１の設定強度の一例）を超えた入力音声信号ｘiを、採用入力音声信号ｘjとして追加的に選択する（Ｓ４）。
また、パワー検出・信号選択部２５は、既に採用入力信号ｘjとして選択している入力音声信号ｘiのうち、ステップＳ３で検出した信号のパワーＰiが、予め外部入力インターフェース２６を取得している信号パワー設定値Ｐｓ２（第２の設定強度の一例）以下である状態が所定の設定時間ｔ０［秒］以上継続したものを、採用入力音声信号ｘjから除外する（Ｓ５）。例えば、ｔ０は、数秒〜１０秒程度に設定することが考えられる。
このように、設定時間ｔ０以上の継続を、採用入力信号ｘjから除外する条件とすることにより、ＩＣＡ部２０への信号入力数（採用入力音声信号ｘjの数）の増減が、音源の一時的な音量増減に応じて無用に頻発することを防止できる。
ここで、信号パワー設定値Ｐｓ１、Ｐｓ２は、Ｐｓ１＝Ｐｓ２とすること、或いはＰｓ１＞Ｐｓ２とすることが考えられる。
【００２２】
［ステップＳ６〜Ｓ８］
次に、パワー検出・信号選択部２５により、ステップＳ４及びＳ５の処理によって選択した採用入力音声信号ｘjの数が、１個以上であるか否か（選択されたか否か）の判別（Ｓ６）、及び１個であるか２個以上であるかの判別（Ｓ７）が行われる。
ここで、採用入力音声信号ｘjの数が１個以上ではない（０個である）場合、その旨の情報がパワー検出・信号選択部２５からＩＣＡ部２０の分離制御部２０ｅに伝送される。このように、採用入力音声信号ｘjの数が０個（選択されていない）場合、分離制御部２０ｅは、音源の分離処理（分離フィルタ処理部２０ｃ及び学習演算部２０ｂの処理）を実行させない。その結果、出力バッファ２４への分離信号ｙjの出力及びＤＡＣ２２を通じた分離音声信号の出力も実行されない。
また、採用入力音声信号ｘjの数が１個である場合、その旨の情報がパワー検出・信号選択部２５からＩＣＡ部２０の分離制御部２０ｅに伝送される。これにより、分離制御部２０ｅは、音源の分離処理（分離フィルタ処理部２０ｃ及び学習演算部２０ｂの処理）を停止させるとともに、その１つの採用入力音声信号ｘjをそのまま（分離処理を施さずに）分離信号ｙjとして出力バッファ２４に出力する（Ｓ８）。
そして、採用入力音声信号ｘjの数が０個である場合、又はステップＳ９の処理が実行された場合、パワー検出・信号選択部２５は、処理を前述したステップＳ３に戻す。
【００２３】
［ステップＳ９〜Ｓ１１］
一方、採用入力音声信号ｘjの数が２個以上である場合、パワー検出・信号選択部２５により、今回選択された採用入力音声信号ｘjのチャンネルと、前回の採用入力音声信号ｘjのチャンネルとが同じであるか否かが判別される（Ｓ９）。
ここで、今回と前回の採用入力音声信号ｘjのチャンネルが同じである場合、パワー検出・信号選択部２５は、処理を後述するステップＳ１２へ移行させ、そうでない場合は、処理を次のステップＳ１０へ移行させる。
ステップＳ１０では、パワー検出・信号選択部２５により、音源の移動があったか否かの判別処理が行われる（Ｓ１０）。
具体的には、パワー検出・信号選択部２５は、指向方向（集音範囲）が隣り合う２つの指向性マイク（これらを、第１マイク及び第２マイクと称する）各々を通じて入力された入力音声信号ｘi（これらを、第１入力音声信号及ｘ１iび第２入力音声信号ｘ２iと称する）のうち、その第２入力音声信号ｘ２iが採用入力音声信号ｘjとして選択されており、かつ、今回、第１入力音声信号ｘ１iのパワーが信号パワー設定値Ｐｓ１（第１の設定強度の一例）を超える（前回から変化した）とともに、第２入力音声信号ｘ２iのパワーが信号パワー設定値Ｐｓ２（第２の設定強度の一例）以下となった（前回から変化した）場合に、第１入力音声信号ｘ１iは、第２マイクの指向方向（集音範囲）から第１マイクの指向方向（集音範囲）に移動した音源からの音声信号であると判別する。
そして、パワー検出・信号選択部２５は、このような判別処理によって音源の移動があったと判別した場合、その第２入力音声信号ｘ２iを採用入力音声信号から除外し（Ｓ１１）、処理を次のステップＳ１２へ移行させる。
即ち、指向方向（集音範囲）が隣り合う２つの指向性マイクにおいて、その一方（第２マイク）の入力音声信号のパワーが強い状態から弱い状態に変化するとともに、他方（第１マイク）の入力音声信号のパワーが弱い状態から強い状態に変化した場合、音源が、隣り合う指向性マイクの一方の集音範囲から他方の集音範囲へ移動したと判別する。
一方、パワー検出・信号選択部２５は、音源の移動があったと判別しなかった場合、処理を後述するステップＳ１４へ移行させる。
【００２４】
［ステップＳ１２、Ｓ１３］
次に、ステップＳ１２において、その時点で選択されている採用入力音声信号ｘjのチャンネル情報がパワー検出・信号選択部２５からＩＣＡ部２０の分離制御部２０ｅに伝送され、分離制御部２０ｅがＩＣＡ部２０を構成する他の構成要素を制御することにより、ＩＣＡ部２０は、採用入力音声信号ｘjを入力信号として、ＩＣＡ−ＢＳＳ音源分離処理を実行する（Ｓ１２）。これにより、採用入力音声信号ｘjの数と同数（複数）の分離信号ｙjが生成され、これが出力バッファ２４に格納される（ＩＣＡ−ＢＳＳ音源分離手順の一例）。
ここで、ステップＳ１２の処理では、ＩＣＡ部２０の学習演算部２０ｂは、それまでに学習済みの分離行列Ｗ(ｆ)を、新たな学習計算に用いる分離行列Ｗ(ｆ)の初期値として引き継ぐ。即ち、分離行列Ｗ(ｆ)の初期化を行わない。このステップＳ１２に至る状況は、音響環境における音源の増減がない状況（新たな音源が増えた、或いはそれまで存在していた音源が無くなった状況）であるからである。これにより、高い音源分離性能が維持される。
さらに、ＤＡＣ２２により、出力バッファ２４に蓄積された分離信号ｙjのＡ／Ｄ変換処理がなされ、分離信号（アナログ信号）が不図示のスピーカを通じて音声出力される（Ｓ１３）。そして、処理が前述したステップＳ３へ戻される。
【００２５】
［ステップＳ１４〜Ｓ１６］
一方、ステップＳ１４（採用入力音声信号ｘjが複数かつそのチャンネルに変化がある場合）では、その時点で選択されている採用入力音声信号ｘjのチャンネル情報がパワー検出・信号選択部２５からＩＣＡ部２０の分離制御部２０ｅに伝送され、分離制御部２０ｅが学習演算部２０ｂを制御することにより、学習演算部２０ｂが、分離行列Ｗ(ｆ)を初期化する（Ｓ１４）。
さらに、分離制御部２０ｅがＩＣＡ部２０を構成する他の構成要素を制御することにより、ＩＣＡ部２０は、採用入力音声信号ｘjを入力信号として、ＩＣＡ−ＢＳＳ音源分離処理を実行する（Ｓ１５）。これにより、採用入力音声信号ｘjの数と同数の分離信号ｙjが生成され、これが出力バッファ２４に格納される（ＩＣＡ−ＢＳＳ音源分離手順の一例）。
さらに、ＤＡＣ２２により、出力バッファ２４に蓄積された分離信号ｙjのＡ／Ｄ変換処理がなされ、分離信号（アナログ信号）が不図示のスピーカを通じて音声出力される（Ｓ１６）。そして、処理が前述したステップＳ３へ戻される。
【００２６】
以上に示したように、音源分離装置Ｘでは、ある指向性マイクの指向方向（主な集音範囲）に音源が存在すれば、その指向性マイクを通じて得られる入力音声信号ｘiのパワーＰiが特に強くなる。もちろん、他の指向性マイクを通じて得られる入力音声信号ｘiのパワーＰiにも多少は影響するものの、その影響の度合いは比較的小さい。
そして、パワー検出・信号選択部２５により、全ての入力音声信号ｘiの中から、パワーが一定レベル以上なったもののみが、採用入力音声信号ｘj（音源分離処理の対象とする信号）として選択される（Ｓ４）ので、予め想定できない音源の数に対し、過不足のない数の採用入力音声信号ｘjが選択される。
従って、入力音声信号ｘiを得るための指向性マイク１１１〜１１ｎを、変動する音源の数に対して十分な数だけ設けておけば、音響空間に存在する音源の数に増減があった場合でも、音源の数に対し、過不足のない数の入力音声信号（採用入力音声信号ｘj）が選択されるので、高い音源分離性能を維持できる。
【００２７】
ところで、以上に示した実施形態では、パワー検出・信号選択部２５は、ステップＳ４及びＳ５の処理において、採用入力音声信号ｘjとして選択する信号数（チャンネル数）を特に制限するものではなかったが、これに制限を加えることも考えられる。
例えば、パワー検出・信号選択部２５が、ステップＳ４及びＳ５の処理において、採用入力音声信号ｘjとして選択した信号数（チャンネル数）が３つ以上となった場合、ステップＳ３の処理によって検出した信号のパワーＰiが強いものから最大２つまでの入力音声信号ｘiを、採用入力音声信号ｘjとして選択することが考えられる。
これにより、ＩＣＡ部２０の演算負荷を低減できる。また、比較的パワーの弱い信号の成分が分離信号ｙiに混在しても、実用上大きな問題は生じない。このような構成を有する音源分離装置は、例えば、ある特定の指向性マイクロホンの指向方向（主な集音範囲）に存在する音源（目的音源）の音源信号と、その他の音源（ノイズ音源）の音源信号とを分離したい場合（複数のノイズ音源の音源信号を分離する必要がない場合）などに有効である。
また、前述した音源分離装置Ｘは、独立成分分析法に基づくブラインド音源分離方式の音源分離処理を実行するＩＣＡ部２０は、演算負荷低減のため、ＦＤＩＣＡ方式に基づく音源分離処理を行う音源分離ユニットＺ２（図７参照）が採用された例を示した。しかしながら、これに限るものではなく、例えば、ＩＣＡ部２０に、ＴＤＩＣＡ方式に基づく音源分離処理を行う音源分離ユニットＺ１（図６参照）を採用することも考えられる。
【００２８】
次に、図４及び図５を参照しつつ、音源分離装置Ｘの適用例について説明する。
図４は、音源分離装置Ｘの適用対象の一例である携帯電話機Ｖ１の概略斜視図である。
図４に示すように、音源分離装置Ｘは、話者の音声とそれ以外のノイズ音声とを分離するために携帯電話機Ｖ１に搭載することが考えられる。
この場合、図４に示すように、携帯電話機Ｖ１に対して、音源分離装置Ｘが備える複数（図４に示す例では６個）の指向性マイク１１１〜１１６が、各々異なる指向方向で配置される。図４に示す例では、当該携帯電話機Ｖ１に対する話者の音源方向である正面方向に向けられた指向性マイク１１１と、その反対方向（背面方向）に向けられた指向性マイク１１２と、正面方向に対して左右及び上下方向の各々に向けられた指向性マイク１１３〜１１６とが、携帯電話機Ｖ１に設けられている。
このような携帯電話機Ｖ１において、音源分離装置Ｘによって生成された指向性マイク１１１に対応する分離信号ｙiを、通話の相手先の携帯電話機に送信する音声信号として出力すれば、ノイズの少ない高音質の通話を実現する携帯電話機を提供できる。
【００２９】
また、図５は音源分離装置Ｘの適用対象の一例であるロボットＶ２の概略斜視図である。
図５に示すように、音源分離装置Ｘは、周囲に存在する音源からの音声を音声認識することによって動作制御を行うロボットＶ２に搭載し、周囲に複数の音源が存在する場合に、各音源からの音声信号について個別に音声認識を行うことができるよう、音声認識処理の実行部に各音源に対応する分離信号ｙjを個別に入力させるよう構成されたものが考えられる。
この場合、図５に示すように、ロボットＶ２に対して、音源分離装置Ｘが備える複数（図５に示す例では４個）の指向性マイク１１１〜１１４が、各々異なる指向方向で配置される。図５に示す例では、当該ロボットＶ２の正面方向に向けられた指向性マイク１１１と、その反対方向（背面方向）に向けられた指向性マイク１１２と、正面方向に対して左右方向の各々に向けられた指向性マイク１１３、１１４とが、ロボットＶ２に設けられている。
このようなロボットＶ２において、音源分離装置Ｘによって生成された各指向性マイク１１１〜１１４に対応する分離信号ｙiを、音声認識処理の実行部に個別に入力させれば、ノイズの少ない音声信号について高精度の音声認識処理及びその処理結果に基づく高精度の動作制御を行うことができるロボットを提供できる。
【産業上の利用可能性】
【００３０】
本発明は、音源分離装置への利用が可能である。
【図面の簡単な説明】
【００３１】
【図１】本発明の実施形態に係る音源分離装置Ｘの概略構成を表すブロック図。
【図２】音源分離装置Ｘが備える指向性マイクロホンの配置状態の一例を表す平面図。
【図３】音源分離装置Ｘにおける音源分離処理の手順を表すフローチャート。
【図４】音源分離装置Ｘの適用対象の一例である携帯電話機Ｖ１の概略斜視図。
【図５】音源分離装置Ｘの適用対象の一例であるロボットＶ２の概略斜視図。
【図６】ＴＤＩＣＡ法に基づくＢＳＳ方式の音源分離処理を行う音源分離ユニットＺ１の概略構成を表すブロック図。
【図７】ＦＤＩＣＡ法に基づくＢＳＳ方式の音源分離処理を行う音源分離ユニットＺ２の概略構成を表すブロック図。
【符号の説明】
【００３２】
Ｘ…本発明の実施形態に係る音源分離装置
Ｖ１…本発明の実施形態に係る音源分離装置を適用した携帯電話機
Ｖ２…本発明の実施形態に係る音源分離装置を適用したロボット
Ｚ１…ＴＤＩＣＡ法に基づくＢＳＳ方式の音源分離処理を行う音源分離ユニット
Ｚ２…ＦＤＩＣＡ法に基づくＢＳＳ方式の音源分離処理を行う音源分離ユニット
１、２…音源
１１ｔ、１１ｆ…分離フィルタ処理部
２０…ＩＣＡ部
２０ａ…ＳＴ−ＤＦＴ処理部
２０ｂ…学習演算部
２０ｃ…分離フィルタ処理部
２０ｄ…ＩＤＦＴ処理部
２０ｅ…分離制御部
２１…Ａ／Ｄコンバータ
２２…Ｄ／Ａコンバータ
２３…入力バッファ
２４…出力バッファ
２５…パワー検出・信号選択部
２６…外部入力インターフェース
１１１〜１１ｎ…指向性マイクロホン
Ｓ１、Ｓ２、〜…処理手順（ステップ）
【技術分野】
【０００１】
本発明は、所定の音響空間に複数のマイクロホンが存在する状態で、そのマイクロホン各々を通じて入力される複数の入力音声信号（音源各々からの音源信号が重畳された信号）に対し、独立成分分析法に基づくブラインド音源分離方式の音源分離処理を施すことにより複数の分離信号を生成する機能を備えた音源分離装置及び音源分離方法に関するものである。
【背景技術】
【０００２】
所定の音響空間に複数の音源と複数のマイクロホンとが存在する場合、その複数のマイクロホンごとに、複数の音源各々からの音声信号（以下、音源信号という）が重畳された音声信号（以下、入力音声信号という）が取得される。このようにして取得（入力）された複数の入力音声信号のみに基づいて、前記音源信号各々を同定（分離）する音源分離処理の方式は、ブラインド音源分離方式（Blind Source Separation方式、以下、ＢＳＳ方式という）と呼ばれる。
さらに、ＢＳＳ方式の音源分離処理の１つに、独立成分分析法（Independent Component Analysis、以下、ＩＣＡ法という）に基づくＢＳＳ方式の音源分離処理がある。このＩＣＡ法に基づくＢＳＳ方式は、複数のマイクを通じて入力される複数の入力音声信号（時系列の音声信号）において、前記音源信号どうしが統計的に独立であることを利用して所定の分離行列（逆混合行列）を最適化し、入力された複数の入力音声信号に対して最適化された分離行列によるフィルタ処理（行列演算）を施すことによって前記音源信号の同定（音源分離）を行う処理方式である。
なお、本明細書において、「演算」、「計算」及び「算出」の用語は同義を表すものとする。
【０００３】
ここで、学習計算開始時には、所定の初期値が設定された分離行列（以下、初期行列という）が与えられ、その初期行列が学習計算により更新されて音源分離（前記分離用フィルタ処理）に用いる分離行列として設定される。通常、最初の学習計算開始時には、予め定められた所定の行列が初期行列として設定され、以後、学習計算が行われるごとに、学習後の分離行列が次の学習計算開始時の初期行列として設定される。このようなＩＣＡ法に基づくＢＳＳ方式の音源分離処理（以下、ＩＣＡ−ＢＳＳ音源分離処理という）は、例えば、非特許文献１や非特許文献２等に詳説されている。
ここで、ＩＣＡ−ＢＳＳ音源分離処理における分離行列の学習計算は、演算負荷が高く、現状の実用的なプロセッサではそれをリアルタイムで行うことはできない。このため、ＩＣＡ−ＢＳＳ音源分離処理をリアルタイムで行う場合、逐次入力される入力音声信号に対し、分離行列を用いた行列演算（前記分離用フィルタ処理）を逐次施してリアルタイムで出力信号としての分離信号を得る一方、これと並行して学習計算を行い、その学習計算によって新たな分離行列が得られる都度、リアルタイムの分離処理に用いる分離行列を新たな分離行列に更新するという処理を行えばよい。
また、特許文献１には、話者が音源である場合に、話者が発話中であるか否かを判別し、その判別結果に応じて分離行列の学習及び分離処理をＯＮ／ＯＦＦ制御する技術が示されている。
【特許文献１】特開２００５−２２７５１２号公報
【非特許文献１】猿渡洋、「アレー信号処理を用いたブラインド音源分離の基礎」電子情報通信学会技術報告、vol.EA2001-7、pp.49-56、April 2001.
【非特許文献２】高谷智哉他、「SIMOモデルに基づくICAを用いた高忠実度なブラインド音源分離」電子情報通信学会技術報告、vol.US2002-87、EA2002-108、January 2003.
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、ＩＣＡ−ＢＳＳ音源分離処理では、処理対象とする入力音声信号の数に応じて分離行列のサイズが定まり、処理対象とする入力音声信号の数と同数の分離信号が生成される。また、従来のＩＣＡ−ＢＳＳ音源分離処理は、処理対象とする入力音声信号の数は、音響空間に配置されるマイクロホンの数に等しい。
しかしながら、ＩＣＡ−ＢＳＳ音源分離処理において、音響空間に存在する音源の数に対し、処理対象となる入力音声信号の数（一般には、マイクロホンの数）に過不足が生じると、音源分離性能が悪化するという問題点があった。
即ち、音源の数よりも処理対象となる入力音声信号の数（マイクロホンの数）が多い場合、１つの音源信号を複数の分離信号に分離する処理がなされてしまうことから、音源分離性能が悪化する。また、音源の数よりも処理対象となる入力音声信号の数が少ない場合、音源の数よりも少ない分離信号しか生成されないことから、音源分離性能が悪化する。
このため、音響空間に存在する音源の数が予め定まっていない場合、従来のＩＣＡ−ＢＳＳ音源分離処理を行う音源分離装置は、音響空間に存在する音源の数に対し、処理対象となる入力音声信号の数（マイクロホンの数）に過不足が生じ、音源分離性能が悪化するという問題点があった。
従って、本発明は上記事情に鑑みてなされたものであり、その目的とするところは、ＩＣＡ法に基づくＢＳＳ方式による音源分離処理を行うに当たり、音響空間に存在する音源の数に増減があった場合でも、高い音源分離性能を維持できる音源分離装置及び音源分離方法を提供することにある。
【課題を解決するための手段】
【０００５】
上記目的を達成するために本発明は、所定の音響空間に複数の指向性マイクロホンが各々異なる指向方向で配置された状況下で、それら指向性マイクロホンを通じて入力される複数の入力音声信号に基づいて音源分離処理を行う音源分離装置又は音源分離方法として構成されるものであり、以下の（１）〜（３）に示す各構成要素（手段又は手順）を有するものである。
（１）前記複数の指向性マイクロホンを通じて入力される複数の入力音声信号各々の信号強度を検出する信号強度検出手段、又はその信号検出手段により信号強度を検出する信号強度検出手順。
（２）前記信号強度検出手段（又は手順）の検出結果に基づいて前記複数の入力音声信号の中から前記音響空間に存在する１又は複数の音源に対応する１又は複数の採用入力音声信号を選択する信号選択手段、又は信号選択手段による選択を実行する信号選択手順。
（３）前記信号選択手段により複数の前記採用入力信号が選択された場合に、該複数の採用入力音声信号に対し独立成分分析法に基づくブラインド音源分離方式の音源分離処理を施すことにより前記採用入力音声信号の数と同数の分離信号を生成するＩＣＡ−ＢＳＳ音源分離手段、又はその分離信号の生成処理を所定のプロセッサにより実行するＩＣＡ−ＢＳＳ音源分離手順。
ここで、前記信号選択手段又は信号選択手順としては、例えば、前記信号強度検出手段（又は同手順）により検出された信号強度が第１の設定強度を超えた前記入力音声信号を前記採用入力音声信号として選択するものが考えられる。
【０００６】
以上に示す構成要素を有する音源分離装置又は音源分離方法を採用した場合、以下のような作用及び効果が得られる。
即ち、ある指向性マイクロホンの指向方向（主な集音範囲）に音源が存在すれば、その指向性マイクロホンを通じて得られる入力音声信号の強度（パワー）が特に強くなる。もちろん、他の指向性マイクロホンを通じて得られる入力音声信号の強度にも多少は影響するものの、その影響の度合いは比較的小さい。
このため、前記信号選択手段（又は同手順）により、全ての入力音声信号の中から、信号強度が一定レベル以上であるもののみを音源分離処理の対象（前記採用入力音声信号）として選択すれば、音源の数に対し、過不足のない数の前記採用入力音声信号が選択される。
従って、前記入力音声信号を得るための前記指向性マイクロホンを、変動する音源の数に対して十分な数だけ設けておけば、音響空間に存在する音源の数に増減があった場合でも、高い音源分離性能を維持できる。
【０００７】
また、前記信号選択手段（又は手順）としては、例えば、前記信号強度検出手段（又は手順）により検出された信号強度が強いものから最大２つまでの前記入力音声信号を前記採用入力音声信号として選択するものが考えられる。
これにより、音源分離処理の演算負荷を低減できる。このような構成を有する音源分離装置や音源分離方法は、例えば、ある特定の指向性マイクロホンの指向方向（主な集音範囲）に存在する音源（目的音源）の音源信号と、その他の音源（ノイズ音源）の音源信号とを分離したい場合（複数のノイズ音源の音源信号を分離する必要がない場合）などに有効である。
また、前記信号選択手段（又は手順）としては、例えば、前記採用入力信号として選択している前記入力音声信号のうち、前記信号強度検出手段（又は手順）により検出された信号強度が第２の設定強度以下である状態が所定時間継続したものを前記採用入力音声信号から除外するものが考えられる。
これにより、ＩＣＡ−ＢＳＳ音源分離手段（又は手順）の入力数（採用入力音声信号の数）の増減が、音源の一時的な音量増減に応じて無用に頻発することを防止できる。
【０００８】
ところで、音源が、隣り合う指向性マイクロホンの一方の集音範囲から他方の集音範囲へ移動した場合、指向方向（集音範囲）が隣り合う２つの指向性マイクロホンにおいて、その一方の入力音声信号の強度が強い状態から弱い状態に変化するとともに、他方の入力音声信号の強度が弱い状態から強い状態に変化する。
そこで、前記信号選択手段（又は手順）としては、指向方向が隣り合う２つの前記指向性マイクロホン各々を通じて入力された入力音声信号（これらを、第１の入力音声信号及び第２の入力音声信号と称する）のうち、その第２の入力音声信号が前記採用入力音声信号として選択しているときに、前記第１の入力音声信号の信号強度が前記第１の設定強度を超えた際に前記第２の入力音声信号の信号強度が第２の設定強度以下となった場合に、その第２の入力音声信号を前記採用入力音声信号から除外するものも考えられる。
なお、以上に示した第１の設定強度及び第２の設定強度は、それぞれ同じ強度に設定されることや、第１の設定強度よりも第２の設定強度の方が弱い強度に設定されること等が考えられる。
【発明の効果】
【０００９】
本発明によれば、前記入力音声信号を得るための前記指向性マイクロホンを、変動する音源の数に対して十分な数だけ設けておけば、音響空間に存在する音源の数に増減があった場合でも、音源の数に対し、過不足のない数の入力音声信号（前記採用入力音声信号）が選択されるので、高い音源分離性能を維持できる。
【発明を実施するための最良の形態】
【００１０】
以下添付図面を参照しながら、本発明の実施の形態について説明し、本発明の理解に供する。尚、以下の実施の形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定する性格のものではない。
ここに、図１は本発明の実施形態に係る音源分離装置Ｘの概略構成を表すブロック図、図２は音源分離装置Ｘが備える指向性マイクロホンの配置状態の一例を表す平面図、図３は音源分離装置Ｘにおける音源分離処理の手順を表すフローチャート、図４は音源分離装置Ｘの適用対象の一例である携帯電話機Ｖ１の概略斜視図、図５は音源分離装置Ｘの適用対象の一例であるロボットＶ２の概略斜視図、図６はＴＤＩＣＡ法に基づくＢＳＳ方式の音源分離処理を行う音源分離ユニットＺ１の概略構成を表すブロック図、図７はＦＤＩＣＡ法に基づくＢＳＳ方式の音源分離処理を行う音源分離ユニットＺ２の概略構成を表すブロック図である。
【００１１】
まず、本発明の実施形態について説明する前に、図６及び図７に示すブロック図を用いて、本発明の構成要素として適用可能な各種のＩＣＡ−ＢＳＳ方式の音源分離ユニットの例について説明する。
図６は、ＩＣＡ−ＢＳＳ方式の一種である時間領域独立成分分析方式（time-domain independent component analysis方式、以下、ＴＤＩＣＡ方式という）に基づくＢＳＳ方式の音源分離処理を行う従来の音源分離ユニットＺ１の概略構成を表すブロック図である。なお、本処理の詳細は、非特許文献１や非特許文献２等に示されている。
音源分離ユニットＺ１は、分離フィルタ処理部１１ｔにより、２つの音源１、２からの音源信号Ｓ1(ｔ)、Ｓ2(ｔ)（音源ごとの音声信号）を２つのマイクロホン（音声入力手段）１１１、１１２で入力した２チャンネル（マイクロホンの数）の混合音声信号ｘ１(ｔ)、ｘ２(ｔ)について、分離行列Ｗ(ｚ)によりフィルタ処理を施すことによって音源分離を行う。なお、混合音声信号ｘ１(ｔ)、ｘ２(ｔ)は、所定のサンプリング周期でデジタル化された信号であるが、図６、図７においては、Ａ／Ｄ変換手段の記載を省略している。
図６には、２つの音源１、２からの音源信号Ｓ1(ｔ)、Ｓ2(ｔ)（個別音声信号）を２つのマイクロホン（音声入力手段）１１１、１１２で入力した２チャンネル（マイクロホンの数）の混合音声信号ｘ１(ｔ)、ｘ２(ｔ)に基づいて音源分離を行う例について示しているが、２チャンネル以上であっても同様である。ＩＣＡ−ＢＳＳ方式による音源分離の場合、（入力される混合音声信号のチャンネル数ｎ（即ち、マイクロホンの数））≧（音源の数ｍ）であればよい。但し、前述したように、高い音源分離性能を確保するためには、音源分離処理の対象とするチャンネル数と音源の数とを一致させることが望ましい。
複数のマイクロホン１１１、１１２各々で集音された各混合音声信号ｘ１(ｔ)、ｘ２(ｔ)には、複数音源からの音源信号が重畳されている。以下、各混合音声信号ｘ１(ｔ)、ｘ２(ｔ)を総称してｘ(ｔ)と表す。この混合音声信号ｘ(ｔ)は音源信号Ｓ(ｔ)の時間的空間的な畳み込み信号として表現され、次の（１）式のように表される。
【数１】
ＴＤＩＣＡによる音源分離の理論は、この音源信号Ｓ(ｔ)のそれぞれの音源同士が統計的に独立であることを利用すると、ｘ(ｔ)がわかればＳ(ｔ)を推測することができ、従って、音源を分離することができるという発想に基づく理論である。
ここで、当該音源分離処理に用いる分離行列をＷ(ｚ)とすれば、分離信号（即ち、同定信号）ｙ(ｔ)は、次の（２）式で表される。
【数２】
ここで、Ｗ(ｚ)は、出力ｙ(ｔ)から逐次計算（学習計算）により求められる。また、分離信号は、チャンネルの数だけ得られる。
なお、音源合成処理はこのＷ(ｚ)に関する情報により、逆演算処理に相当する配列を形成し、これを用いて逆演算を行えばよい。また、分離行列Ｗ(ｚ)の逐次計算を行う際の分離行列の初期値（初期行列）は、予め定められたものが設定される。
このようなＩＣＡ−ＢＳＳ方式による音源分離を行うことにより、例えば、人の歌声とギター等の楽器の音とが混合した複数チャンネル分の混合音声信号から、歌声の音源信号と楽器の音源信号とが分離（同定）される。
ここで、（２）式は、次の（３）式のように書き換えて表現できる。
【数３】
そして、（３）式における分離フィルタ（分離行列）Ｗ(ｎ)は、次の（４）式により表される処理（以下、第１の単位処理という）を繰り返し実行する逐次計算により求められる。即ち、前回（ｊ）の出力ｙ(ｔ)を（４）式に適用することよって今回（ｊ＋１）のＷ(ｎ)を求め、今回求めたＷ(ｎ)を用いて所定時間長分の混合音声信号に対してフィルタ処理（行列演算）を施すことによって今回（ｊ＋１）の出力ｙ(ｔ)を求める、という前記第１の単位処理を複数回繰り返す。これにより、分離フィルタ（分離行列）Ｗ(ｎ)が、徐々に上記逐次計算で用いられる混合音声信号に対応した内容となる。
【数４】
【００１２】
次に、図７に示すブロック図を用いて、ＩＣＡ−ＢＳＳ方式の一種であるＦＤＩＣＡ方式（Frequency-Domain ICA）に基づく音源分離処理を行う従来の音源分離ユニットＺ２について説明する。
ＦＤＩＣＡ方式では、まず、入力された混合音声信号ｘ(ｔ)について、ＳＴ−ＤＦＴ処理部１３によって所定の周期ごとに区分された信号であるフレーム毎に短時間離散フーリエ変換（Short Time Discrete Fourier Transform、以下、ＳＴ−ＤＦＴ処理という）を行うことにより、観測信号の短時間分析（時間領域から周波数領域への変換）を行う。離散フーリエ変換後の信号は、周波数ビンと呼ばれる所定範囲の周波数帯域ごとに区分された信号となる。そして、そのＳＴ−ＤＦＴ処理後の各チャンネルの信号（各周波数成分の信号）について、分離フィルタ処理部１１ｆにより分離行列Ｗ(ｆ)に基づく分離フィルタ処理を施すことによって音源分離（音源信号の同定）を行う。ここでｆを周波数ビン、ｍを分析フレーム番号とすると、分離信号（同定信号）ｙ(ｆ、ｍ)は、次の（５）式のように表すことができる。
【数５】
そして、（５）式における分離フィルタ（分離行列）Ｗ(ｆ)は、次の（６）式により表される処理（以下、第２の単位処理という）を繰り返し実行する逐次計算により求められる。即ち、前回（ｉ）の出力ｙ(ｆ)を（６）式に適用することよって今回（ｉ＋１）のＷ(ｆ)を求め、今回求めたＷ(ｆ)を用いて所定時間長分の混合音声信号（周波数領域に変換されたもの）に対してフィルタ処理（行列演算）を施すことによって今回（ｉ＋１）の出力ｙ(ｆ)を求める、という前記第２の単位処理を複数回繰り返す。これにより、分離フィルタ（分離行列）Ｗ(ｆ)が、徐々に上記逐次計算で用いられる混合音声信号に対応した内容となる。
【数６】
このＦＤＩＣＡ方式によれば、音源分離処理が各狭帯域における瞬時混合問題として取り扱われ、比較的簡単かつ安定に分離フィルタ（分離行列）Ｗ(ｆ)を更新することができる。
【００１３】
以下、図１に示すブロック図を用いて、本発明の実施形態に係る音源分離装置Ｘについて説明する。
音源分離装置Ｘは、１又は複数の音源が存在し得る音響空間に配置される複数の指向性マイクロホン１１１〜１１ｎ（以下、指向性マイクという）を備え、その指向性マイク１１１〜１１ｎ各々を通じて逐次入力される複数の音声信号（以下、入力音声信号ｘiという（但し、i＝１〜ｎ））から、複数の音源信号を分離（同定）した分離信号（即ち、音源信号に対応した同定信号）ｙjを逐次生成し、スピーカ等に対してリアルタイム出力するものである。ここで、音響空間に音源が複数存在する場合、各入力音声信号ｘiは、その複数の音源各々からの音源信号が重畳された混合音声信号である。なお、図１には、音響空間に２つの音源１、２が存在する例を示しているが、指向性マイク１１１〜１１ｎが配置される音響空間には、０個〜ｎ個の音源が存在し得るものとし、いくつの音源が存在するかは予め定まっていないものとする。
【００１４】
図１に示すように、音源分離装置Ｘは、ｎ個の指向性マイク１１１〜１１ｎ、Ａ／Ｄコンバータ２１（図中、ＡＤＣと表記）、Ｄ／Ａコンバータ２２（図中、ＤＡＣと表記）、入力バッファ２３、出力バッファ２４、ＩＣＡ部２０、パワー検出・信号選択部２５及び外部入力インターフェース２６等を備えて構成されている。
さらに、ＩＣＡ部２０は、ＳＴ−ＤＦＴ処理部２０ａ、学習演算部２０ｂ、分離フィルタ処理部２０ｃ、分離制御部２０ｅ等を具備して構成されている。
ここで、ＩＣＡ部２０及びパワー検出・信号選択部２５は、それぞれＤＳＰ（Digital Signal Processor）等の演算用のプロセッサ及びそのプロセッサにより実行されるプログラムが記憶されたＲＯＭ等の記憶手段、並びにＲＡＭ等のその他の周辺装置により構成されたものが考えられる。或いは、１つのＣＰＵ及びその周辺装置を有するコンピュータにより、上記各構成要素が行う処理に対応するプログラムモジュールを実行するよう構成されたもの等も考えられる。また、所定のコンピュータ（音源分離装置が備えるプロセッサを含む）に各構成要素の処理を実行させる音源分離装置用のプログラムとして提供することも考えられる。
【００１５】
ＡＤＣ２１は、複数のマイクロホン１１１〜１１ｎ各々から入力されるアナログの入力音声信号各々を所定のサンプリング周期でサンプリングすることにより、デジタルの入力音声信号Ｘi(ｔ)に変換（Ａ／Ｄ変換）するすものである。例えば、各音源が人の声である場合、８ｋＨｚ程度のサンプリング周期でデジタル化すればよい。
入力バッファ２３は、ＡＤＣ２１により逐次Ａ／Ｄ変換されて得られるデジタルの入力音声信号ｘi(ｔ)を入力し、常に最新の所定時間長分の入力音声信号ｘiを保持するデータバッファである。
パワー検出・信号選択部２５は、複数の指向性マイク１１１〜１１ｎを通じて入力される複数の入力音声信号ｘi各々のパワーＰi（信号強度）を検出するとともに、そのパワーＰiに基づいて、複数の入力音声信号ｘiの中から、音響空間に存在する１又は複数の音源に対応する１又は複数の入力音声信号（以下、採用入力音声信号ｘjという）を選択する処理を行うものである（信号強度検出手段及び信号選択手段の一例）。その詳細については後述する。
外部入力インターフェース２６は、パワー検出・信号選択部２５が計算機等の外部装置から後述する信号パワー設定値Ｐｓ１、Ｐｓ２を取得するための信号伝送用のインターフェースである。
ＩＣＡ部２０は、パワー検出・信号選択部２５によって複数の前記採用入力信号ｘjが選択された場合に、その複数の採用入力音声信号ｘjに対し、独立成分分析法に基づくブラインド音源分離方式の音源分離処理（前述したＩＣＡ−ＢＳＳ音源分離処理）を施すことにより、採用入力音声信号ｘjの数と同数の分離信号ｙjを生成する処理を実行するものである（ＩＣＡ−ＢＳＳ音源分離手段の一例）。
【００１６】
具体的には、ＳＴ−ＤＦＴ処理部２０ａにより、入力バッファに蓄積された入力音声信号のうち、パワー検出・信号選択部２５によって選択された所定時間長分（１フレーム分）の採用入力音声信号ｘjに対して短時間離散フーリエ変換処理を行い、所定の時間長分の時間領域の採用入力音声信号ｘj（図６におけるｘi(ｔ)に相当）を、同時間長分の周波数領域の入力音声信号ｘj(ｆ)（周波数ビンと呼ばれる所定範囲の周波数帯域ごとに区分された信号）に変換する。なお、採用入力音声信号ｘjは、所定周期でサンプリングされてデジタル化されているので、採用入力音声信号ｘjの時間長を規定することは、採用入力音声信号ｘjのサンプル数を規定することと同義である。
さらに、分離フィルタ処理部２０ｃにより、ＳＴ−ＤＦＴ処理部２０ａを通じて逐次入力される複数の周波数領域の採用入力音声信号ｘj(ｆ)に対し、分離行列Ｗ(ｆ)を用いた行列演算を施すことにより、複数の音源各々に対応する周波数領域の複数の分離信号ｙj(ｆ)を逐次生成する。なお、周波数ビンをｆ、フレーム番号をｍとすると、分離フィルタ処理部２０ｃの処理によって得られる分離信号ｙ(ｆ、ｍ)（上記ｙj(ｆ)と同義）は、前述した（５）式で表される。
ここで、分離信号ｙj(ｆ)各々は、採用入力音声信号ｘjの数と同じ数だけ出力される。図１に示す例は、２つの入力音声信号ｘ1及びｘ3が、採用入力音声信号ｘjとして選択されている状態を表しているが、採用入力音声信号ｘjの数及び組合せは、パワー検出・信号選択部２５による選択結果に応じて変動し得る。
【００１７】
さらに、ＩＤＦＴ処理部２０ｄにより、分離フィルタ処理部２０ｃによって生成された周波数領域の分離信号ｙj(ｆ)に対して逆離散フーリエ変換（Inverse Discrete Fourier Transform）処理が施される。これにより、周波数領域の分離信号ｙj(ｆ)が、時間領域の分離信号ｙjに変換され、出力バッファ２４に格納される。
そして、出力バッファ２４に保持された時間領域の分離信号ｙj（デジタル信号）は、Ｄ／Ａコンバータ２２によってアナログの音声信号に変換されて出力される。このアナログの音声信号は、例えば、不図示のスピーカを通じて音声出力される。
【００１８】
一方、学習演算部２０ｂにより、予め定められた時間長分の複数の周波数領域の採用入力音声信号ｘj(ｆ)を用いて、ＦＤＩＣＡ方式のＢＳＳ音源分離処理における分離行列Ｗ(ｆ)の学習演算が行われ、この学習演算により得られる分離行列Ｗ(ｆ)が、分離フィルタ処理部２０ｂで用いられる分離行列Ｗ(ｆ)として設定される。学習演算部２０ｂは、入力バッファ２３に保持されている採用入力音声信号ｘjを用いて学習演算を行う。この学習演算は、分離フィルタ処理部２０ｃによる分離処理が実行される場合、その分離処理と並行して実行される。
ここで、学習演算部２０ｂによる分離行列Ｗ(ｆ)の算出（学習演算）は、図７に示した音源分離ユニットＺ２（ＦＤＩＣＡ方式に基づく分離行列（分離フィルタ）の学習演算）が採用される。即ち、ＳＴ−ＤＦＴ処理部２０ａ及び学習演算部２０ｂが、前述した音源分離ユニットＺ２に相当する。
また、分離制御部２０ｅは、パワー検出・信号選択部２５から、採用入力音声信号がいずれであるかの情報を取得し、その取得情報に基づいて、入力バッファ２３に保持された入力音声信号ｘiの伝送と、当該ＩＣＡ部２０による音源分離処理を実行するか否かとを制御するものである。その詳細については後述する。
【００１９】
図２は、ｎ個（ｎチャンネル分）の指向性マイク１１１〜１１ｎの配置状態の一例を表す平面図である。
図２に示すように、音源分離装置Ｘが備えるｎ個（図２に示す例では６個）の指向性マイク１１１〜１１ｎは、０個〜ｎ個の音源が存在し得る音響空間において、各々異なる指向方向で配置される。これにより、各指向性マイク１１１〜１１ｎの主な集音範囲（図２において破線で示す範囲）は、ほとんど重ならない状態となっている。
このように、複数の指向性マイク１１１〜１１ｎを図２に示すように配置することにより、ある指向性マイクの指向方向（主な集音範囲）に音源が存在すれば、その指向性マイクを通じて得られる入力音声信号のパワーが特に強くなる。もちろん、他の指向性マイクを通じて得られる入力音声信号のパワーにも多少は影響するものの、その影響の度合いは比較的小さい。
【００２０】
次に、図３に示すフローチャートを参照しつつ、音源分離装置Ｘにおける音源分離処理の手順について説明する。以下、Ｓ１、Ｓ２、…は、処理手順（ステップ）の識別符号を表す。また、図３に示す処理は、音源分離装置Ｘが備える不図示の電源スイッチがＯＮされた場合に実行が開始される。
［ステップＳ１、Ｓ２］
まず、音源分離装置Ｘが処理を開始すると、各構成要素において、各種の初期処理が実行される（Ｓ１）。
例えば、パワー検出・信号選択部２５は、外部入力インターフェース２６を通じて外部装置から入力される信号パワー設定値Ｐｓ１、Ｐｓ２を取得し、パワー検出・信号選択部２５が備える記憶部に記憶する。
また、パワー検出・信号選択部２５は、採用入力音声信号の選択状態を、１つも選択されていない状態（初期状態）に設定する。
また、学習演算部２０ｂは、学習計算に用いる分離行列Ｗ(ｆ)に所定の初期値を設定する。
さらに、ＡＤＣ２１によるＡ／Ｄ変換処理、即ち、入力音声信号ｘiの入力処理が開始される（Ｓ２）。これにより、以後、所定時間分（例えば、２フレーム分）の最新の入力音声信号ｘi（デジタル音声信号）が入力バッファ２３に順次蓄積される。
【００２１】
［ステップＳ３〜Ｓ５］
次に、パワー検出・信号選択部２５により、入力バッファ２３に蓄積された１フレーム分の各チャンネルの入力音声信号ｘiについて、信号のパワーＰi（信号強度）が検出される（Ｓ３、信号強度検出手順の一例）。なお、このステップＳ３の処理が実行される前に、既に各入力音声信号ｘiについて検出（算出）されたパワーＰiが存在する場合、前回の各入力音声信号ｘiのパワーとしてパワー検出・信号選択部２５の記憶部に記憶される。
例えば、パワー検出・信号選択部２５は、入力バッファ２３に蓄積されたαサンプル分（αは例えば１フレーム分のサンプル数）の入力音声信号ｘiの絶対値の平均値や２乗平均値等を信号のパワーＰiとして算出（検出）する。
さらに、パワー検出・信号選択部２５により、ステップＳ３で検出された信号のパワーＰiに基づいて、全ての（複数の）入力音声信号ｘiの中から、指向性マイク１１１〜１１ｎが配置される音響空間に存在する１又は複数の音源に対応する１又は複数の採用入力音声信号ｘj（チャンネル）を選択する処理（Ｓ４、Ｓ５）が実行される（信号選択手順の一例）。なお、このステップＳ４及びＳ５の処理が実行される前に、その時点で既に選択されている採用入力音声信号のチャンネルが、前回の採用入力信号ｘjのチャンネルとしてパワー検出・信号選択部２５の記憶部に記憶される。
具体的には、パワー検出・信号選択部２５は、ステップＳ３で検出した信号のパワーＰiが、予め外部入力インターフェース２６を取得している信号パワー設定値Ｐｓ１（第１の設定強度の一例）を超えた入力音声信号ｘiを、採用入力音声信号ｘjとして追加的に選択する（Ｓ４）。
また、パワー検出・信号選択部２５は、既に採用入力信号ｘjとして選択している入力音声信号ｘiのうち、ステップＳ３で検出した信号のパワーＰiが、予め外部入力インターフェース２６を取得している信号パワー設定値Ｐｓ２（第２の設定強度の一例）以下である状態が所定の設定時間ｔ０［秒］以上継続したものを、採用入力音声信号ｘjから除外する（Ｓ５）。例えば、ｔ０は、数秒〜１０秒程度に設定することが考えられる。
このように、設定時間ｔ０以上の継続を、採用入力信号ｘjから除外する条件とすることにより、ＩＣＡ部２０への信号入力数（採用入力音声信号ｘjの数）の増減が、音源の一時的な音量増減に応じて無用に頻発することを防止できる。
ここで、信号パワー設定値Ｐｓ１、Ｐｓ２は、Ｐｓ１＝Ｐｓ２とすること、或いはＰｓ１＞Ｐｓ２とすることが考えられる。
【００２２】
［ステップＳ６〜Ｓ８］
次に、パワー検出・信号選択部２５により、ステップＳ４及びＳ５の処理によって選択した採用入力音声信号ｘjの数が、１個以上であるか否か（選択されたか否か）の判別（Ｓ６）、及び１個であるか２個以上であるかの判別（Ｓ７）が行われる。
ここで、採用入力音声信号ｘjの数が１個以上ではない（０個である）場合、その旨の情報がパワー検出・信号選択部２５からＩＣＡ部２０の分離制御部２０ｅに伝送される。このように、採用入力音声信号ｘjの数が０個（選択されていない）場合、分離制御部２０ｅは、音源の分離処理（分離フィルタ処理部２０ｃ及び学習演算部２０ｂの処理）を実行させない。その結果、出力バッファ２４への分離信号ｙjの出力及びＤＡＣ２２を通じた分離音声信号の出力も実行されない。
また、採用入力音声信号ｘjの数が１個である場合、その旨の情報がパワー検出・信号選択部２５からＩＣＡ部２０の分離制御部２０ｅに伝送される。これにより、分離制御部２０ｅは、音源の分離処理（分離フィルタ処理部２０ｃ及び学習演算部２０ｂの処理）を停止させるとともに、その１つの採用入力音声信号ｘjをそのまま（分離処理を施さずに）分離信号ｙjとして出力バッファ２４に出力する（Ｓ８）。
そして、採用入力音声信号ｘjの数が０個である場合、又はステップＳ９の処理が実行された場合、パワー検出・信号選択部２５は、処理を前述したステップＳ３に戻す。
【００２３】
［ステップＳ９〜Ｓ１１］
一方、採用入力音声信号ｘjの数が２個以上である場合、パワー検出・信号選択部２５により、今回選択された採用入力音声信号ｘjのチャンネルと、前回の採用入力音声信号ｘjのチャンネルとが同じであるか否かが判別される（Ｓ９）。
ここで、今回と前回の採用入力音声信号ｘjのチャンネルが同じである場合、パワー検出・信号選択部２５は、処理を後述するステップＳ１２へ移行させ、そうでない場合は、処理を次のステップＳ１０へ移行させる。
ステップＳ１０では、パワー検出・信号選択部２５により、音源の移動があったか否かの判別処理が行われる（Ｓ１０）。
具体的には、パワー検出・信号選択部２５は、指向方向（集音範囲）が隣り合う２つの指向性マイク（これらを、第１マイク及び第２マイクと称する）各々を通じて入力された入力音声信号ｘi（これらを、第１入力音声信号及ｘ１iび第２入力音声信号ｘ２iと称する）のうち、その第２入力音声信号ｘ２iが採用入力音声信号ｘjとして選択されており、かつ、今回、第１入力音声信号ｘ１iのパワーが信号パワー設定値Ｐｓ１（第１の設定強度の一例）を超える（前回から変化した）とともに、第２入力音声信号ｘ２iのパワーが信号パワー設定値Ｐｓ２（第２の設定強度の一例）以下となった（前回から変化した）場合に、第１入力音声信号ｘ１iは、第２マイクの指向方向（集音範囲）から第１マイクの指向方向（集音範囲）に移動した音源からの音声信号であると判別する。
そして、パワー検出・信号選択部２５は、このような判別処理によって音源の移動があったと判別した場合、その第２入力音声信号ｘ２iを採用入力音声信号から除外し（Ｓ１１）、処理を次のステップＳ１２へ移行させる。
即ち、指向方向（集音範囲）が隣り合う２つの指向性マイクにおいて、その一方（第２マイク）の入力音声信号のパワーが強い状態から弱い状態に変化するとともに、他方（第１マイク）の入力音声信号のパワーが弱い状態から強い状態に変化した場合、音源が、隣り合う指向性マイクの一方の集音範囲から他方の集音範囲へ移動したと判別する。
一方、パワー検出・信号選択部２５は、音源の移動があったと判別しなかった場合、処理を後述するステップＳ１４へ移行させる。
【００２４】
［ステップＳ１２、Ｓ１３］
次に、ステップＳ１２において、その時点で選択されている採用入力音声信号ｘjのチャンネル情報がパワー検出・信号選択部２５からＩＣＡ部２０の分離制御部２０ｅに伝送され、分離制御部２０ｅがＩＣＡ部２０を構成する他の構成要素を制御することにより、ＩＣＡ部２０は、採用入力音声信号ｘjを入力信号として、ＩＣＡ−ＢＳＳ音源分離処理を実行する（Ｓ１２）。これにより、採用入力音声信号ｘjの数と同数（複数）の分離信号ｙjが生成され、これが出力バッファ２４に格納される（ＩＣＡ−ＢＳＳ音源分離手順の一例）。
ここで、ステップＳ１２の処理では、ＩＣＡ部２０の学習演算部２０ｂは、それまでに学習済みの分離行列Ｗ(ｆ)を、新たな学習計算に用いる分離行列Ｗ(ｆ)の初期値として引き継ぐ。即ち、分離行列Ｗ(ｆ)の初期化を行わない。このステップＳ１２に至る状況は、音響環境における音源の増減がない状況（新たな音源が増えた、或いはそれまで存在していた音源が無くなった状況）であるからである。これにより、高い音源分離性能が維持される。
さらに、ＤＡＣ２２により、出力バッファ２４に蓄積された分離信号ｙjのＡ／Ｄ変換処理がなされ、分離信号（アナログ信号）が不図示のスピーカを通じて音声出力される（Ｓ１３）。そして、処理が前述したステップＳ３へ戻される。
【００２５】
［ステップＳ１４〜Ｓ１６］
一方、ステップＳ１４（採用入力音声信号ｘjが複数かつそのチャンネルに変化がある場合）では、その時点で選択されている採用入力音声信号ｘjのチャンネル情報がパワー検出・信号選択部２５からＩＣＡ部２０の分離制御部２０ｅに伝送され、分離制御部２０ｅが学習演算部２０ｂを制御することにより、学習演算部２０ｂが、分離行列Ｗ(ｆ)を初期化する（Ｓ１４）。
さらに、分離制御部２０ｅがＩＣＡ部２０を構成する他の構成要素を制御することにより、ＩＣＡ部２０は、採用入力音声信号ｘjを入力信号として、ＩＣＡ−ＢＳＳ音源分離処理を実行する（Ｓ１５）。これにより、採用入力音声信号ｘjの数と同数の分離信号ｙjが生成され、これが出力バッファ２４に格納される（ＩＣＡ−ＢＳＳ音源分離手順の一例）。
さらに、ＤＡＣ２２により、出力バッファ２４に蓄積された分離信号ｙjのＡ／Ｄ変換処理がなされ、分離信号（アナログ信号）が不図示のスピーカを通じて音声出力される（Ｓ１６）。そして、処理が前述したステップＳ３へ戻される。
【００２６】
以上に示したように、音源分離装置Ｘでは、ある指向性マイクの指向方向（主な集音範囲）に音源が存在すれば、その指向性マイクを通じて得られる入力音声信号ｘiのパワーＰiが特に強くなる。もちろん、他の指向性マイクを通じて得られる入力音声信号ｘiのパワーＰiにも多少は影響するものの、その影響の度合いは比較的小さい。
そして、パワー検出・信号選択部２５により、全ての入力音声信号ｘiの中から、パワーが一定レベル以上なったもののみが、採用入力音声信号ｘj（音源分離処理の対象とする信号）として選択される（Ｓ４）ので、予め想定できない音源の数に対し、過不足のない数の採用入力音声信号ｘjが選択される。
従って、入力音声信号ｘiを得るための指向性マイク１１１〜１１ｎを、変動する音源の数に対して十分な数だけ設けておけば、音響空間に存在する音源の数に増減があった場合でも、音源の数に対し、過不足のない数の入力音声信号（採用入力音声信号ｘj）が選択されるので、高い音源分離性能を維持できる。
【００２７】
ところで、以上に示した実施形態では、パワー検出・信号選択部２５は、ステップＳ４及びＳ５の処理において、採用入力音声信号ｘjとして選択する信号数（チャンネル数）を特に制限するものではなかったが、これに制限を加えることも考えられる。
例えば、パワー検出・信号選択部２５が、ステップＳ４及びＳ５の処理において、採用入力音声信号ｘjとして選択した信号数（チャンネル数）が３つ以上となった場合、ステップＳ３の処理によって検出した信号のパワーＰiが強いものから最大２つまでの入力音声信号ｘiを、採用入力音声信号ｘjとして選択することが考えられる。
これにより、ＩＣＡ部２０の演算負荷を低減できる。また、比較的パワーの弱い信号の成分が分離信号ｙiに混在しても、実用上大きな問題は生じない。このような構成を有する音源分離装置は、例えば、ある特定の指向性マイクロホンの指向方向（主な集音範囲）に存在する音源（目的音源）の音源信号と、その他の音源（ノイズ音源）の音源信号とを分離したい場合（複数のノイズ音源の音源信号を分離する必要がない場合）などに有効である。
また、前述した音源分離装置Ｘは、独立成分分析法に基づくブラインド音源分離方式の音源分離処理を実行するＩＣＡ部２０は、演算負荷低減のため、ＦＤＩＣＡ方式に基づく音源分離処理を行う音源分離ユニットＺ２（図７参照）が採用された例を示した。しかしながら、これに限るものではなく、例えば、ＩＣＡ部２０に、ＴＤＩＣＡ方式に基づく音源分離処理を行う音源分離ユニットＺ１（図６参照）を採用することも考えられる。
【００２８】
次に、図４及び図５を参照しつつ、音源分離装置Ｘの適用例について説明する。
図４は、音源分離装置Ｘの適用対象の一例である携帯電話機Ｖ１の概略斜視図である。
図４に示すように、音源分離装置Ｘは、話者の音声とそれ以外のノイズ音声とを分離するために携帯電話機Ｖ１に搭載することが考えられる。
この場合、図４に示すように、携帯電話機Ｖ１に対して、音源分離装置Ｘが備える複数（図４に示す例では６個）の指向性マイク１１１〜１１６が、各々異なる指向方向で配置される。図４に示す例では、当該携帯電話機Ｖ１に対する話者の音源方向である正面方向に向けられた指向性マイク１１１と、その反対方向（背面方向）に向けられた指向性マイク１１２と、正面方向に対して左右及び上下方向の各々に向けられた指向性マイク１１３〜１１６とが、携帯電話機Ｖ１に設けられている。
このような携帯電話機Ｖ１において、音源分離装置Ｘによって生成された指向性マイク１１１に対応する分離信号ｙiを、通話の相手先の携帯電話機に送信する音声信号として出力すれば、ノイズの少ない高音質の通話を実現する携帯電話機を提供できる。
【００２９】
また、図５は音源分離装置Ｘの適用対象の一例であるロボットＶ２の概略斜視図である。
図５に示すように、音源分離装置Ｘは、周囲に存在する音源からの音声を音声認識することによって動作制御を行うロボットＶ２に搭載し、周囲に複数の音源が存在する場合に、各音源からの音声信号について個別に音声認識を行うことができるよう、音声認識処理の実行部に各音源に対応する分離信号ｙjを個別に入力させるよう構成されたものが考えられる。
この場合、図５に示すように、ロボットＶ２に対して、音源分離装置Ｘが備える複数（図５に示す例では４個）の指向性マイク１１１〜１１４が、各々異なる指向方向で配置される。図５に示す例では、当該ロボットＶ２の正面方向に向けられた指向性マイク１１１と、その反対方向（背面方向）に向けられた指向性マイク１１２と、正面方向に対して左右方向の各々に向けられた指向性マイク１１３、１１４とが、ロボットＶ２に設けられている。
このようなロボットＶ２において、音源分離装置Ｘによって生成された各指向性マイク１１１〜１１４に対応する分離信号ｙiを、音声認識処理の実行部に個別に入力させれば、ノイズの少ない音声信号について高精度の音声認識処理及びその処理結果に基づく高精度の動作制御を行うことができるロボットを提供できる。
【産業上の利用可能性】
【００３０】
本発明は、音源分離装置への利用が可能である。
【図面の簡単な説明】
【００３１】
【図１】本発明の実施形態に係る音源分離装置Ｘの概略構成を表すブロック図。
【図２】音源分離装置Ｘが備える指向性マイクロホンの配置状態の一例を表す平面図。
【図３】音源分離装置Ｘにおける音源分離処理の手順を表すフローチャート。
【図４】音源分離装置Ｘの適用対象の一例である携帯電話機Ｖ１の概略斜視図。
【図５】音源分離装置Ｘの適用対象の一例であるロボットＶ２の概略斜視図。
【図６】ＴＤＩＣＡ法に基づくＢＳＳ方式の音源分離処理を行う音源分離ユニットＺ１の概略構成を表すブロック図。
【図７】ＦＤＩＣＡ法に基づくＢＳＳ方式の音源分離処理を行う音源分離ユニットＺ２の概略構成を表すブロック図。
【符号の説明】
【００３２】
Ｘ…本発明の実施形態に係る音源分離装置
Ｖ１…本発明の実施形態に係る音源分離装置を適用した携帯電話機
Ｖ２…本発明の実施形態に係る音源分離装置を適用したロボット
Ｚ１…ＴＤＩＣＡ法に基づくＢＳＳ方式の音源分離処理を行う音源分離ユニット
Ｚ２…ＦＤＩＣＡ法に基づくＢＳＳ方式の音源分離処理を行う音源分離ユニット
１、２…音源
１１ｔ、１１ｆ…分離フィルタ処理部
２０…ＩＣＡ部
２０ａ…ＳＴ−ＤＦＴ処理部
２０ｂ…学習演算部
２０ｃ…分離フィルタ処理部
２０ｄ…ＩＤＦＴ処理部
２０ｅ…分離制御部
２１…Ａ／Ｄコンバータ
２２…Ｄ／Ａコンバータ
２３…入力バッファ
２４…出力バッファ
２５…パワー検出・信号選択部
２６…外部入力インターフェース
１１１〜１１ｎ…指向性マイクロホン
Ｓ１、Ｓ２、〜…処理手順（ステップ）
【特許請求の範囲】
【請求項１】
所定の音響空間に複数の指向性マイクロホンが各々異なる指向方向で配置された状況下で、該複数の指向性マイクロホンを通じて入力される複数の入力音声信号各々の信号強度を検出する信号強度検出手段と、
前記信号強度検出手段の検出結果に基づいて前記複数の入力音声信号の中から前記音響空間に存在する１又は複数の音源に対応する１又は複数の採用入力音声信号を選択する信号選択手段と、
前記信号選択手段により複数の前記採用入力信号が選択された場合に、該複数の採用入力音声信号に対し独立成分分析法に基づくブラインド音源分離方式の音源分離処理を施すことにより前記採用入力音声信号の数と同数の分離信号を生成するＩＣＡ−ＢＳＳ音源分離手段と、
を具備してなることを特徴とする音源分離装置。
【請求項２】
前記信号選択手段が、前記信号強度検出手段により検出された信号強度が第１の設定強度を超えた前記入力音声信号を前記採用入力音声信号として選択してなる請求項１に記載の音源分離装置。
【請求項３】
前記信号選択手段が、前記信号強度検出手段により検出された信号強度が強いものから最大２つまでの前記入力音声信号を前記採用入力音声信号として選択してなる請求項２に記載の音源分離装置。
【請求項４】
前記信号選択手段が、前記採用入力信号として選択している前記入力音声信号のうち、前記信号強度検出手段により検出された信号強度が第２の設定強度以下である状態が所定時間継続したものを前記採用入力音声信号から除外してなる請求項２又は３のいずれかに記載の音源分離装置。
【請求項５】
前記信号選択手段が、指向方向が隣り合う２つの前記指向性マイクロホン各々を通じて入力された第１の入力音声信号及び第２の入力音声信号のうち該第２の入力音声信号が前記採用入力音声信号として選択しているときに、前記第１の入力音声信号の信号強度が前記第１の設定強度を超えた際に前記第２の入力音声信号の信号強度が第２の設定強度以下となった場合に、該第２の入力音声信号を前記採用入力音声信号から除外してなる請求項２〜４のいずれかに記載の音源分離装置。
【請求項６】
所定の音響空間に複数の指向性マイクロホンが各々異なる指向方向で配置された状況下で、該複数の指向性マイクロホンを通じて入力される複数の入力音声信号各々の信号強度を所定の信号強度検出手段により検出する信号強度検出手順と、
前記信号強度検出手順の検出結果に基づいて前記複数の入力音声信号の中から前記音響空間に存在する１又は複数の音源に対応する１又は複数の採用入力音声信号を所定の信号選択手段により選択する信号選択手順と、
前記信号選択手順により複数の前記採用入力信号が選択された場合に、該複数の採用入力音声信号に対し独立成分分析法に基づくブラインド音源分離方式の音源分離処理を施すことにより前記採用入力音声信号の数と同数の分離信号を生成する処理を所定のプロセッサにより実行するＩＣＡ−ＢＳＳ音源分離手順と、
を有してなることを特徴とする音源分離方法。
【請求項１】
所定の音響空間に複数の指向性マイクロホンが各々異なる指向方向で配置された状況下で、該複数の指向性マイクロホンを通じて入力される複数の入力音声信号各々の信号強度を検出する信号強度検出手段と、
前記信号強度検出手段の検出結果に基づいて前記複数の入力音声信号の中から前記音響空間に存在する１又は複数の音源に対応する１又は複数の採用入力音声信号を選択する信号選択手段と、
前記信号選択手段により複数の前記採用入力信号が選択された場合に、該複数の採用入力音声信号に対し独立成分分析法に基づくブラインド音源分離方式の音源分離処理を施すことにより前記採用入力音声信号の数と同数の分離信号を生成するＩＣＡ−ＢＳＳ音源分離手段と、
を具備してなることを特徴とする音源分離装置。
【請求項２】
前記信号選択手段が、前記信号強度検出手段により検出された信号強度が第１の設定強度を超えた前記入力音声信号を前記採用入力音声信号として選択してなる請求項１に記載の音源分離装置。
【請求項３】
前記信号選択手段が、前記信号強度検出手段により検出された信号強度が強いものから最大２つまでの前記入力音声信号を前記採用入力音声信号として選択してなる請求項２に記載の音源分離装置。
【請求項４】
前記信号選択手段が、前記採用入力信号として選択している前記入力音声信号のうち、前記信号強度検出手段により検出された信号強度が第２の設定強度以下である状態が所定時間継続したものを前記採用入力音声信号から除外してなる請求項２又は３のいずれかに記載の音源分離装置。
【請求項５】
前記信号選択手段が、指向方向が隣り合う２つの前記指向性マイクロホン各々を通じて入力された第１の入力音声信号及び第２の入力音声信号のうち該第２の入力音声信号が前記採用入力音声信号として選択しているときに、前記第１の入力音声信号の信号強度が前記第１の設定強度を超えた際に前記第２の入力音声信号の信号強度が第２の設定強度以下となった場合に、該第２の入力音声信号を前記採用入力音声信号から除外してなる請求項２〜４のいずれかに記載の音源分離装置。
【請求項６】
所定の音響空間に複数の指向性マイクロホンが各々異なる指向方向で配置された状況下で、該複数の指向性マイクロホンを通じて入力される複数の入力音声信号各々の信号強度を所定の信号強度検出手段により検出する信号強度検出手順と、
前記信号強度検出手順の検出結果に基づいて前記複数の入力音声信号の中から前記音響空間に存在する１又は複数の音源に対応する１又は複数の採用入力音声信号を所定の信号選択手段により選択する信号選択手順と、
前記信号選択手順により複数の前記採用入力信号が選択された場合に、該複数の採用入力音声信号に対し独立成分分析法に基づくブラインド音源分離方式の音源分離処理を施すことにより前記採用入力音声信号の数と同数の分離信号を生成する処理を所定のプロセッサにより実行するＩＣＡ−ＢＳＳ音源分離手順と、
を有してなることを特徴とする音源分離方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００７−２９５０８５（Ｐ２００７−２９５０８５Ａ）
【公開日】平成１９年１１月８日（２００７．１１．８）
【国際特許分類】
【出願番号】特願２００６−１１７９９４（Ｐ２００６−１１７９９４）
【出願日】平成１８年４月２１日（２００６．４．２１）
【出願人】（０００００１１９９）株式会社神戸製鋼所 (5,860)
【Ｆターム（参考）】
【公開日】平成１９年１１月８日（２００７．１１．８）
【国際特許分類】
【出願日】平成１８年４月２１日（２００６．４．２１）
【出願人】（０００００１１９９）株式会社神戸製鋼所 (5,860)
【Ｆターム（参考）】
[ Back to top ]