音響処理装置
【課題】複数の音響の混合音を音源毎に高精度に分離する。
【解決手段】記憶装置２４は、第１音源の音響の各成分の振幅スペクトルを示すＫ個の基底ベクトルを含む非負の基底行列Ｆを記憶し、行列分解部３４は、基底行列Ｆを利用した非負値行列因子分解で第１音源の音響と第２音源の音響との混合音を示す音響信号ＳA(t)の振幅スペクトログラムを示す観測行列Ｙから、基底行列Ｆの各基底ベクトルに対する加重値の時間変化を示すＫ個の係数ベクトルを含む係数行列Ｇと、第２音源の音響の各成分の振幅スペクトルを示すＤ個の基底ベクトルを含む基底行列Ｈと、基底行列Ｈの各基底ベクトルに対する加重値の時間変化を示すＤ個の係数ベクトルを含む係数行列Ｕを生成し、音響生成部３６は、基底行列Ｆと係数行列Ｇとに応じた音響信号ＳB(t)および基底行列Ｈと係数行列Ｕとに応じた音響信号ＳB(t)の少なくとも一方を生成する。
【解決手段】記憶装置２４は、第１音源の音響の各成分の振幅スペクトルを示すＫ個の基底ベクトルを含む非負の基底行列Ｆを記憶し、行列分解部３４は、基底行列Ｆを利用した非負値行列因子分解で第１音源の音響と第２音源の音響との混合音を示す音響信号ＳA(t)の振幅スペクトログラムを示す観測行列Ｙから、基底行列Ｆの各基底ベクトルに対する加重値の時間変化を示すＫ個の係数ベクトルを含む係数行列Ｇと、第２音源の音響の各成分の振幅スペクトルを示すＤ個の基底ベクトルを含む基底行列Ｈと、基底行列Ｈの各基底ベクトルに対する加重値の時間変化を示すＤ個の係数ベクトルを含む係数行列Ｕを生成し、音響生成部３６は、基底行列Ｆと係数行列Ｇとに応じた音響信号ＳB(t)および基底行列Ｈと係数行列Ｕとに応じた音響信号ＳB(t)の少なくとも一方を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音響信号を音源毎に分離する技術に関する。
【背景技術】
【０００２】
相異なる音源が発生した複数の音響の混合音を音源毎の音響に分離する音源分離技術が従来から提案されている。例えば非特許文献１や非特許文献２には、非負値行列因子分解（NMF：Non-negative Matrix Factorization）を利用した教師無音源分離が開示されている。
【０００３】
非特許文献１や非特許文献２の技術では、図６に示すように、複数音の音響が混合された観測音の振幅スペクトログラムを示す観測行列Ｙが基底行列Ｈと係数行列（アクティベーション行列）Ｕとに分解される（Ｙ≒ＨＵ）。基底行列Ｈは、観測音に含まれる各成分のスペクトルを示す複数の基底ベクトルｈで構成され、係数行列Ｕは、各基底ベクトルの大きさ（加重値）の時間変化を示す複数の係数ベクトルｕで構成される。基底行列Ｈの複数の基底ベクトルｈと係数行列Ｕの複数の係数ベクトルｕとを音源毎に区分し、所望の音源の基底ベクトルｈと係数ベクトルｕとを抽出および乗算することでその音源の音響の振幅スペクトログラムが生成される。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】A. CICHOCKI, et. al., "NEW ALGORITHMS FOR NON-NEGATIVE MATRIX FACTORIZATION IN APPLICATIONS TO BLIND SOURCE SEPARATION," ICASSP 2006
【非特許文献２】Tuomas Virtanen, "Monaural Sound Source Separation by Nonnegative Matrix Factorization With Temporal Continuity and Sparseness Criteria", IEEE Trans. Aurio, Speech and Language Processing, volume 15, pp.1066-1074, 2007
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、非特許文献１および非特許文献２の技術では、基底行列Ｈの複数の基底ベクトルｈや係数行列Ｕの複数の係数ベクトルｕを音源毎に正確に区分（クラスタリング）することが困難であるという問題や、基底行列Ｈの１個の基底ベクトルｈのなかに複数の音源の音響が混在し得るという問題がある。したがって、複数の音響の混合音を音源毎に高精度に分離することは困難である。以上の事情を考慮して、本発明は、複数の音響の混合音を音源毎に高精度に分離することを目的とする。
【課題を解決するための手段】
【０００６】
以上の課題を解決するために本発明が採用する手段を説明する。なお、本発明の理解を容易にするために、以下の説明では、本発明の各要素と後述の各実施形態の要素との対応を括弧書で付記するが、本発明の範囲を実施形態の例示に限定する趣旨ではない。
【０００７】
本発明の音響処理装置は、第１音源の音響の各成分のスペクトル（例えば振幅スペクトルやパワースペクトル）を示す複数の基底ベクトルを含む非負の第１基底行列（例えば基底行列Ｆ）を記憶する記憶手段（例えば記憶装置２４）と、第１基底行列を利用した非負値行列因子分解により、第１音源の音響と第１音源とは相違する第２音源の音響との混合音を示す音響信号（例えば音響信号ＳA(t)）のスペクトルの時系列を示す観測行列（例えば観測行列Ｙ）から、第１基底行列の各基底ベクトルに対する加重値の時間変化を示す複数の係数ベクトルを含む第１係数行列（例えば係数行列Ｇ）と、第２音源の音響の各成分のスペクトルを示す複数の基底ベクトルを含む第２基底行列（例えば基底行列Ｈ）と、第２基底行列の各基底ベクトルに対する加重値の時間変化を示す複数の係数ベクトルを含む第２係数行列（例えば係数行列Ｕ）とを生成する行列分解手段（例えば行列分解部３４）と、第１基底行列と第１係数行列とに応じた音響信号および第２基底行列と第２係数行列とに応じた音響信号の少なくとも一方を生成する音響生成手段（例えば音響生成部３６）とを具備する。以上の構成では、既知の第１基底行列を利用した観測行列の非負値行列因子分解により第１音源の第１係数行列と第２音源の第２基底行列および第２係数行列が生成される。すなわち、第１音源に対応する非負値行列（第１基底行列および第１係数行列）と第２音源に対応する非負値行列（第２基底行列および第２係数行列）とが個別に特定される。したがって、非特許文献１や非特許文献２の構成と比較して音響信号を音源毎に高精度に分離することが可能である。
【０００８】
なお、第１音源は、第１基底行列が事前に用意された既知の音源を意味し、第２音源は第１音源とは相違する未知の音源を意味する。第１音源の第１基底行列のみを非負値行列因子分解に利用する場合、音響信号を構成する音響のうち第１音源以外の音響に対応する音源が第２音源に相当し、第１音源の第１基底行列を含む複数の既知の音源の基底行列を非負値行列因子分解に利用する場合、音響信号を構成する音響のうち第１音源を含む複数の既知の音源以外の音響に対応する音源が第２音源に相当する。第２音源は、単一の音源のほか、２種類以上の音源を含む音源群を包含する概念である。
【０００９】
本発明の好適な態様において、行列分解手段は、第１基底行列と第２基底行列との類似性が低下する（理想的には無相関または距離最大となる）という拘束条件のもとで第１係数行列と第２基底行列と第２係数行列とを生成する。以上の態様では、第１基底行列と第２基底行列との類似性（相関や距離）が低下するように第１係数行列と第２基底行列と第２係数行列とが生成されるから、既知の第１基底行列の基底ベクトルと同等の基底ベクトルが第２基底行列に出現することで第１係数行列および第２係数行列の一方の係数ベクトルが零ベクトルとなる可能性が低減される。したがって、分離後の音響信号における音響の欠落を防止できるという利点がある。なお、以上の態様の具体例は、例えば第２実施形態として後述される。
【００１０】
別の観点において、記憶手段に記憶された第１基底行列と行列分解手段が生成した第２基底行列とは相互に非類似である。非類似とは、第１基底行列と第２基底行列とが略無相関である場合、または、第１基底行列と第２基底行列との距離が略最大である場合を含意する。第１基底行列と第２基底行列とが略無相関である場合とは、第１基底行列と第２基底行列との相関が最小である場合のほか、第１基底行列と第２基底行列との相関が実質的に最小である場合を包含する。第１基底行列と第２基底行列との相関が実質的に最小である場合とは、音響処理装置の用途や仕様等の種々の事情に応じた合理的な精度（目標精度）の音源分離（第１音源および第２音源の少なくとも一方の音響の音響信号の生成）を実現することが可能な一定の範囲を意味する。同様に、第１基底行列と第２基底行列との距離が略最大である場合とは、第１基底行列と第２基底行列との距離が最大となる場合のほか、第１基底行列と第２基底行列との距離が実質的に最大となる場合を包含する。第１基底行列と第２基底行列との距離が実質的に最大となる場合とは、音響処理装置の用途や仕様等の種々の事情に応じた合理的な精度（目標精度）の音源分離を実現することが可能な一定の範囲を意味する。
【００１１】
本発明の好適な態様において、行列分解手段は、第１基底行列および第１係数行列の積と第２基底行列および第２係数行列の積との和が観測行列と相違する度合を示す誤差項（例えば数式(3A)の第１項‖Ｙ−ＦＧ−ＨＵ‖Fr2）と、第１基底行列および第２基底行列の類似性（例えば相関や距離）を示す相関項（例えば数式(3A)の第２項‖ＦTＨ‖Fr2や数式(3C)の第２項δ(Ｆ|Ｈ)）とを含む評価関数が収束するように選定された更新式（例えば数式(12A)）の反復演算により、第１係数行列と第２基底行列と第２係数行列とを生成する。以上の態様によれば、分離前の音響信号に含まれる各音源の音響を部分的な欠落を抑制しながら高精度に分離できるという利点がある。
【００１２】
別の観点において、記憶手段に記憶された第１基底行列および行列分解手段が生成した第１係数行列の積と、行列分解手段が生成した第２基底行列および前記第２係数行列の積との和が観測行列と相違する度合を示す誤差項と、記憶手段に記憶された第１基底行列と行列分解手段が生成した第２基底行列との類似性を示す相関項とを含む評価関数が、所定値を下回る。評価関数の閾値となる所定値は、評価関数が収束したと評価できる数値に実験的または統計的に選定される。例えば、評価関数の演算の反復回数と評価関数の数値との関係を解析し、評価関数が所定値を下回れば評価関数が収束したと合理的に評価できるように前述の所定値が解析結果に応じて選定される。
【００１３】
本発明の好適な態様において、行列分解手段は、誤差項および相関項の少なくとも一方が調整係数（例えば調整係数λ）により調整された評価関数（例えば数式(3B)の評価関数Ｊ）が収束するように選定された更新式（例えば数式(12B)）の反復演算により、第１係数行列と第２基底行列と第２係数行列とを生成する。すなわち、評価関数の誤差項および相関項の少なくとも一方に調整係数が付加される。以上の態様では、評価関数の誤差項および相関項の少なくとも一方が、例えば両者の数値が近付くように調整係数により調整されるから、誤差項および相関項の双方の条件が高い水準で両立され、高精度な音源分離を実現することが可能である。なお、以上の態様の具体例は、例えば第３実施形態として後述される。
【００１４】
以上の各態様に係る音響処理装置は、音響信号の処理に専用されるＤＳＰ（Digital Signal Processor）などのハードウェア（電子回路）によって実現されるほか、ＣＰＵ（Central Processing Unit）などの汎用の演算処理装置とプログラムとの協働によっても実現される。本発明に係るプログラムは、第１音源の音響の各成分のスペクトルを示す複数の基底ベクトルを含む非負の第１基底行列を記憶する記憶手段を具備するコンピュータに、第１基底行列を利用した非負値行列因子分解により、第１音源の音響と第１音源とは相違する第２音源の音響との混合音を示す音響信号のスペクトルの時系列を示す観測行列から、第１基底行列の各基底ベクトルに対する加重値の時間変化を示す複数の係数ベクトルを含む第１係数行列と、第２音源の音響の各成分のスペクトルを示す複数の基底ベクトルを含む第２基底行列と、第２基底行列の各基底ベクトルに対する加重値の時間変化を示す複数の係数ベクトルを含む第２係数行列とを生成する行列分解処理と、第１基底行列と第１係数行列とに応じた音響信号および第２基底行列と第２係数行列とに応じた音響信号の少なくとも一方を生成する音響生成処理とを実行させる。以上のプログラムによれば、本発明に係る音響処理装置と同様の作用および効果が実現される。なお、本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で利用者に提供されてコンピュータにインストールされるほか、通信網を介した配信の形態でサーバ装置から提供されてコンピュータにインストールされる。
【図面の簡単な説明】
【００１５】
【図１】本発明の第１実施形態に係る音響処理装置のブロック図である。
【図２】基底行列Ｆの生成の説明図である。
【図３】行列分解部の動作の説明図である。
【図４】第２実施形態の効果の説明図である。
【図５】第２実施形態の効果の説明図である。
【図６】背景技術における非負値行列因子分解の説明図である。
【発明を実施するための形態】
【００１６】
＜第１実施形態＞
図１は、本発明の第１実施形態に係る音響処理装置１００のブロック図である。図１に示すように、音響処理装置１００には信号供給装置１２と放音装置１４とが接続される。信号供給装置１２は、音響信号ＳA(t)を音響処理装置１００に供給する。音響信号ＳA(t)は、相異なる種類種の音源の各々が発生した音響（楽音や音声）の混合音の時間波形を示す信号である。音響信号ＳA(t)を構成する音響を発生する複数種の音源のうち既知の音源を以下では第１音源と表記し、第１音源以外の音源を以下では第２音源と表記する。音響信号ＳA(t)が２種類の音源の音響で構成される場合、第２音源は第１音源以外の１種類の音源を意味し、音響信号ＳA(t)が３種類以上の音源の音響で構成される場合、第２音源は第１音源以外の２種類以上の音源（音源群）を意味する。周囲の音響を収音して音響信号ＳA(t)を生成する収音機器や、可搬型または内蔵型の記録媒体から音響信号ＳA(t)を取得して音響処理装置１００に供給する再生装置や、通信網から音響信号ＳA(t)を受信して音響処理装置１００に供給する通信装置が信号供給装置１２として採用され得る。
【００１７】
第１実施形態の音響処理装置１００は、信号供給装置１２から供給される音響信号ＳA(t)を音源分離することで音響信号ＳB(t)を生成する信号処理装置（音源分離装置）である。音響信号ＳB(t)は、音響信号ＳA(t)のうち第１音源の音響成分および第２音源の音響成分の一方の時間波形を示す信号である。具体的には、第１音源および第２音源のうち例えば利用者が選択した音源の音響成分を示す音響信号ＳB(t)が放音装置１４に供給される。すなわち、音響信号ＳA(t)が音源毎に分離される。放音装置１４（例えばスピーカやヘッドホン）は、音響処理装置１００から供給される音響信号ＳB(t)に応じた音波を放射する。なお、音響信号ＳA(t)をアナログからデジタルに変換するＡ/Ｄ変換器や、音響信号ＳB(t)をデジタルからアナログに変換するＤ/Ａ変換器の図示は便宜的に省略した。
【００１８】
図１に示すように、音響処理装置１００は、演算処理装置２２と記憶装置２４とを具備するコンピュータシステムで実現される。記憶装置２４は、演算処理装置２２が実行するプログラムＰGMや演算処理装置２２が使用する各種の情報（例えば基底行列Ｆ）を記憶する。半導体記録媒体や磁気記録媒体等の公知の記録媒体や複数種の記録媒体の組合せが記憶装置２４として任意に採用され得る。音響信号ＳA(t)を記憶装置２４に記憶した構成（したがって信号供給装置１２は省略され得る）も好適である。
【００１９】
第１実施形態の記憶装置２４は、既知の第１音源の音響の特徴を示す基底行列Ｆを記憶する。第１音源は、基底行列Ｆが事前に用意（学習）された音源とも表現され得る。音響処理装置１００は、記憶装置２４に記憶された基底行列Ｆを事前情報（教師情報）として利用する教師有音源分離で音響信号ＳB(t)を生成する。基底行列Ｆは、既知の第１音源が単独で発生した音響（以下「学習音」という）から事前に生成されて記憶装置２４に格納される。学習音は第２音源の音響を含まない。
【００２０】
図２は、第１音源が発生した学習音から基底行列Ｆを生成する処理の説明図である。図２の観測行列Ｘは、第１音源の学習音を時間軸上で区分したＮ個のフレームの各々の振幅スペクトルの時系列（振幅スペクトログラム）を表現するＭ行Ｎ列の非負値行列である（ＭおよびＮは自然数）。すなわち、観測行列Ｘの第ｎ列（ｎ＝１〜Ｎ）は、学習音のうち第ｎ番目のフレームの振幅スペクトルｘ[n]に相当する。振幅スペクトルｘ[n]の第ｍ行（ｍ＝１〜Ｍ）の要素は、周波数軸上に設定されたＭ個の周波数のうち第ｍ番目の周波数での振幅値を意味する。
【００２１】
図２の観測行列Ｘは、以下の数式(1)で表現されるように、非負値行列因子分解（NMF）により基底行列Ｆと係数行列（アクティベーション行列）Ｑとに分解される。
【数１】
【００２２】
数式(1)の基底行列Ｆは、図２に示すように、第１音源の学習音を構成する各成分に対応するＫ個の基底ベクトルｆ[1]〜ｆ[K]を横方向に配列したＭ行Ｋ列の非負値行列である。基底行列Ｆのうち第ｋ列（ｋ＝１〜Ｋ）の基底ベクトルｆ[k]は、学習音を構成するＫ個の成分（基底）のうち第ｋ番目の成分の振幅スペクトルに相当する。すなわち、基底ベクトルｆ[k]の第ｍ行（基底行列Ｆの第ｍ行第ｋ列）の要素は、学習音の第ｋ番目の成分の振幅スペクトルのうち周波数軸上の第ｍ番目の周波数での振幅値を意味する。
【００２３】
数式(1)の係数行列Ｑは、図２に示すように、基底行列Ｆの各基底ベクトルｆ[k]に対応するＫ個の係数ベクトルｑ[1]〜ｑ[K]を縦方向に配列したＫ行Ｎ列の非負値行列である。係数行列Ｑの第ｋ行の係数ベクトルｑ[k]は、基底行列Ｆの基底ベクトルｆ[k]に対する加重値（活性度）の時系列に相当する。
【００２４】
基底行列Ｆと係数行列Ｑとを乗算した行列ＦＱが観測行列Ｘに近似する（すなわち行列ＦＱと観測行列Ｘとの差異が最小化する）ように基底行列Ｆおよび係数行列Ｑが算定されて基底行列Ｆが記憶装置２４に格納される。基底行列ＦのＫ個の基底ベクトルｆ[1]〜ｆ[K]の各々は、概略的には第１音源の学習音の相異なる音高に対応する。したがって、基底行列Ｆの生成に使用される学習音は、分離対象の音響信号ＳA(t)にて第１音源の音響に想定され得る全部の音高を含むように生成され、基底行列Ｆの基底ベクトルｆ[k]の総数（基底数）Ｋは、音響信号ＳA(t)にて第１音源の音響に想定され得る音高の総数以上の数値に設定される。以上が基底行列Ｆの生成の手順である。
【００２５】
図１の演算処理装置２２は、記憶装置２４に記憶されたプログラムＰGMを実行することで、音響信号ＳA(t)から音響信号ＳB(t)を生成する複数の機能（周波数分析部３２，行列分解部３４，音響生成部３６）を実現する。演算処理装置２２の各要素による処理は、音響信号ＳA(t)を時間軸上で区分したＮ個のフレームを単位として順次に反復される。なお、演算処理装置２２の各機能を複数の集積回路に分散した構成や、専用の電子回路（ＤＳＰ）が一部の機能を実現する構成も採用され得る。
【００２６】
図３は、周波数分析部３２および行列分解部３４による処理の説明図である。周波数分析部３２は、音響信号ＳA(t)のＮ個のフレームを単位として図３の観測行列Ｙを順次に生成する。観測行列Ｙは、図３に示すように、音響信号ＳA(t)を時間軸上で区分したＮ個のフレームの各々の振幅スペクトルの時系列（振幅スペクトログラム）を表現するＭ行Ｎ列の非負値行列である。すなわち、観測行列Ｙの第ｎ列は、音響信号ＳA(t)のうち第ｎ番目のフレームの振幅スペクトルｙ[n]（Ｍ個の周波数の各々での振幅値の系列）に相当する。観測行列Ｙの生成には例えば短時間フーリエ変換等の公知の周波数分析が利用される。
【００２７】
図１の行列分解部３４は、記憶装置２４に格納された既知の基底行列Ｆを事前情報として利用した非負値行列因子分解（NMF）を観測行列Ｙに対して実行する。第１実施形態では、以下の数式(2)で表現されるように、周波数分析部３２が生成した観測行列Ｙを、基底行列Ｆと係数行列Ｇと基底行列Ｈと係数行列Ｕとに分解する。
【数２】
前述のように基底行列Ｆには第１音源の音響（学習音）の特性が反映されるから、基底行列Ｆおよび係数行列Ｇは音響信号ＳA(t)のうち第１音源の音響成分に対応する。他方、基底行列Ｈおよび係数行列Ｕは、音響信号ＳA(t)のうち第１音源以外の音源（すなわち第２音源）の音響成分に対応する。
【００２８】
記憶装置２４に格納された既知の基底行列Ｆは、前述の通り、第１音源の音響の各成分に対応するＫ個の基底ベクトルｆ[1]〜ｆ[K]を横方向に配列したＭ行Ｋ列の非負値行列である。他方、数式(2)の係数行列（アクティベーション行列）Ｇは、図３に示すように、基底行列Ｆの各基底ベクトルｆ[k]に対応するＫ個の係数ベクトルｇ[1]〜ｇ[K]を縦方向に配列したＫ行Ｎ列の非負値行列である。係数行列Ｇの第ｋ行の係数ベクトルｇ[k]は、基底行列Ｆの基底ベクトルｆ[k]に対する加重値（活性度）の時系列に相当する。すなわち、係数ベクトルｇ[k]の第ｎ列の要素は、音響信号ＳA(t)の第ｎ番目のフレームにおける第１音源の基底ベクトルｆ[k]の大きさ（加重値）を意味する。以上の説明から理解されるように、数式(2)の右辺の第１項の行列ＦＧは、音響信号ＳA(t)のうち第１音源の音響成分の振幅スペクトログラムを表現するＭ行Ｎ列の非負値行列である。
【００２９】
数式(2)の基底行列Ｈは、図３に示すように、音響信号ＳA(t)のうち第２音源の音響の各成分に対応するＤ個の基底ベクトルｈ[1]〜ｈ[D]を横方向に配列したＭ行Ｄ列の非負値行列である。基底行列Ｆの列数Ｋと基底行列Ｈの列数Ｄとの異同は不問である。基底行列Ｆと同様に、基底行列Ｈの第ｄ列（ｄ＝１〜Ｄ）の基底ベクトルｈ[d]は、音響信号ＳA(t)に含まれる第２音源の音響成分を構成するＤ個の成分（基底）のうち第ｄ番目の成分の振幅スペクトルに相当する。すなわち、基底ベクトルｈ[d]の第ｍ行の要素は、音響信号ＳA(t)の第２音源の音響成分を構成する第ｄ番目の成分の振幅スペクトルのうち周波数軸上の第ｍ番目の周波数での振幅値を意味する。
【００３０】
数式(2)の係数行列Ｕは、図３に示すように、第２音源の基底行列Ｈの各基底ベクトルｈ[d]に対応するＤ個の係数ベクトルｕ[1]〜ｕ[D]を縦方向に配列したＤ行Ｎ列の非負値行列である。係数行列Ｇと同様に、係数行列Ｕの第ｄ行の係数ベクトルｕ[d]は、基底行列Ｈの基底ベクトルｈ[d]に対する加重値の時系列を意味する。したがって、数式(2)の右辺の第２項の行列ＨＵは、音響信号ＳA(t)のうち第２音源の音響成分の振幅スペクトログラムを表現するＭ行Ｎ列の非負値行列である。
【００３１】
図１の行列分解部３４は、第１音源の行列ＦＧと第２音源の行列ＨＵとを加算した行列（ＦＧ＋ＨＵ）が観測行列Ｙに近似する（すなわち両者間の相違が最小化する）という数式(2)の条件が成立するように第１音源の係数行列Ｇと第２音源の基底行列Ｈおよび係数行列Ｕとを生成する。第１実施形態では、数式(2)の条件を評価するために以下の数式(3)の評価関数Ｊを導入する。なお、以下の説明では、任意の行列Ａのうち第ｉ行第ｊ列の要素を記号Ａijと表記する。例えば、記号Ｇknは、係数行列Ｇの第ｋ行第ｎ列の要素を意味する。
【数３】
【００３２】
数式(3)の記号‖ ‖Frはフロベニウスノルム（ユークリッド距離）を意味する。条件(4)は、係数行列Ｇと基底行列Ｈと係数行列Ｇとが非負値行列であるという条件である。数式(3)から理解されるように、第１音源の行列ＦＧと第２音源の行列ＨＵとの加算が観測行列Ｙに近似する（近似誤差が減少する）ほど評価関数Ｊは減少する。以上の傾向を考慮して、評価関数Ｊが最小となるように係数行列Ｇと基底行列Ｈと係数行列Ｕとを生成することを検討する。
【００３３】
数式(3)のフロベニウスノルムを行列のトレースに置換して変形すると、以下の数式(5)が導出される。なお、数式(5)の記号Ｔは行列の転置を意味し、記号tr{ }は行列のトレースを意味する。
【数４】
【００３４】
評価関数Ｊを検討するために以下の数式(6)のラグランジアンＬを導入する。
【数５】
【００３５】
また、前述の条件(4)を考慮すると、ＫＫＴ（Karuch Kuhn Tucker）の相補条件は以下の数式(7a)から数式(7c)で表現される。
【数６】
【００３６】
係数行列Ｇを目的変数としたラグランジアンＬの偏微分を０とおくと以下の数式(8)が導出される。
【数７】
【００３７】
数式(8)において行列の第ｋ行第ｎ列の成分のみに着目し、係数行列Ｇの第ｋ行第ｎ列の要素Ｇknを数式(8)の両辺に乗算すると、以下の数式(9)が導出される。
【数８】
【００３８】
前述の数式(7c)を数式(9)に適用することで以下の数式(10)が導出される。
【数９】
【００３９】
数式(10)を変形することで、係数行列Ｇの要素Ｇknを逐次的に更新する以下の更新式(11)が導出される。
【数１０】
【００４０】
同様に、基底行列Ｈを目的変数とした数式(6)のラグランジアンＬの偏微分を０として数式(7a)を適用することで、基底行列Ｈの要素Ｈmdを逐次的に更新する以下の更新式(12)が導出される。
【数１１】
【００４１】
また、係数行列Ｕを目的変数としたラグランジアンＬの偏微分を０として数式(7b)を適用することで、係数行列Ｕの要素Ｕdnを逐次的に更新する以下の更新式(13)が導出される。
【数１２】
【００４２】
図１の行列分解部３４は、数式(11)から数式(13)の演算を反復し、反復回数が所定の回数Ｒに到達した時点での演算結果（Ｇkn,Ｈmd,Ｕdn）を係数行列Ｇ，基底行列Ｈおよび係数行列Ｕとして確定する。数式(11)から数式(13)の演算の回数Ｒは、回数Ｒにわたる反復の時点で評価関数Ｊがゼロに到達するかまたは一定値に収束するように実験的または統計的に選定される。また、係数行列Ｇ（要素Ｇkn），基底行列Ｈ（要素Ｈmd）および係数行列Ｕ（要素Ｕdn）の初期値は例えば乱数に設定される。以上の説明から理解される通り、行列分解部３４は、音響信号ＳA(t)の観測行列Ｙと既知の基底行列Ｆとに対して数式(2)の関係を満たすように係数行列Ｇと基底行列Ｈと係数行列Ｕとを生成する。
【００４３】
図１の音響生成部３６は、行列分解部３４が生成した行列（Ｇ,Ｈ,Ｕ）を利用して音響信号ＳB(t)を生成する。具体的には、第１音源が指定された場合、音響生成部３６は、記憶装置２４に格納された基底行列Ｆと行列分解部３４が生成した係数行列Ｇとを乗算することで音響信号ＳA(t)のうち第１音源の音響の振幅スペクトログラムを算定し、各フレームの振幅スペクトルと音響信号ＳA(t)のそのフレームでの位相スペクトルとを適用した逆フーリエ変換で時間領域の音響信号ＳB(t)を生成する。他方、第２音源が指定された場合、音響生成部３６は、行列分解部３４が生成した基底行列Ｈと係数行列Ｕとを乗算することで音響信号ＳA(t)のうち第２音源の音響の振幅スペクトログラムを算定し、各フレームの振幅スペクトルと音響信号ＳA(t)のそのフレームでの位相スペクトルとから時間領域の音響信号ＳB(t)を生成する。すなわち、音響信号ＳA(t)を音源毎に分離した音響信号ＳB(t)が生成される。音響生成部３６が生成した音響信号ＳB(t)が放音装置１４に供給されて音波として再生される。なお、第１音源の音響信号ＳB(t)と第２音源の音響信号ＳB(t)の双方を生成して例えば各音響信号ＳB(t)に別個の音響処理を実行することも可能である。
【００４４】
以上に説明した第１実施形態では、第１音源の既知の基底行列Ｆを利用した観測行列Ｙの非負値行列因子分解により、第１音源の係数行列Ｇと第２音源の基底行列Ｈおよび係数行列Ｕとが生成されるから、音響信号ＳA(t)のうち第１音源の音響成分は行列ＦＧに反映され、音響信号ＳA(t)のうち第２音源の音響成分は行列ＨＵに反映される。すなわち、第１音源に対応する行列ＦＧと第２音源に対応する行列ＨＵとが個別に特定される。したがって、非特許文献１や非特許文献２の構成と比較して、音響信号ＳA(t)を音源毎に高精度に分離できるという利点がある。
【００４５】
＜第２実施形態＞
本発明の第２実施形態を以下に説明する。なお、以下に例示する各形態において作用や機能が第１実施形態と同等である要素については、以上の説明で参照した符号を流用して各々の詳細な説明を適宜に省略する。
【００４６】
第１実施形態では、第１音源の基底行列Ｆと第２音源の基底行列Ｈとの関係は拘束されないから、行列分解部３４が算定する基底行列Ｈの基底ベクトルｈ[d]が既知の基底行列Ｆの基底ベクトルｆ[k]と同等となる可能性がある。基底ベクトルｈ[d]と基底ベクトルｆ[k]とが共通する場合、数式(2)を成立させるために、係数行列Ｇの係数ベクトルｇ[k]と係数行列Ｕの係数ベクトルｕ[d]との一方が零ベクトルに収束する。しかし、係数ベクトルｇ[k]が零ベクトルである場合には第１音源の音響のうち基底ベクトルｆ[k]に対応する成分が音響信号ＳB(t)から欠落し、係数ベクトルｕ[d]が零ベクトルである場合には第２音源のうち基底ベクトルｈ[d]に対応する成分が音響信号ＳB(t)から欠落する結果となる。以上の事情を考慮して、本発明の第２実施形態では、第１音源の基底行列Ｆと第２音源の基底行列Ｈとの相関が低下する（理想的には無相関となる）ように、行列分解部３４が第１音源の係数行列Ｇと第２音源の基底行列Ｈおよび係数行列Ｕとを生成する。
【００４７】
基底行列Ｆと基底行列Ｈとの相関（類似性）を評価するために、基底行列Ｆと基底行列Ｈとの相関行列ＦTＨを導入する。基底行列Ｆの各基底ベクトルｆ[k]と基底行列Ｈの各基底ベクトルｈ[d]との相関が低い（例えば各基底ベクトルｆ[k]と各基底ベクトルｈ[d]とが直交する）ほど相関行列ＦTＨは零行列に近付く。そこで、第２実施形態の行列分解部３４は、相関行列ＦTＨが零行列に近付く（理想的には零行列に合致する）という拘束条件のもとで係数行列Ｇと基底行列Ｈと係数行列Ｕとを生成する。
【００４８】
相関行列ＦTＨが零行列に近付くという条件を前述の数式(2)の条件と併せて評価するために、相関行列ＦTＨのフロベニウスノルムの自乗‖ＦTＨ‖Fr2を罰則項として数式(3)に追加した数式(3A)の評価関数Ｊを導入する。すなわち、第２実施形態の評価関数Ｊは、第１音源の行列ＦＧおよび第２音源の行列ＨＵを加算した行列（ＦＧ＋ＨＵ）と観測行列Ｙとの相違（近似誤差）の度合を示す第１項（以下「誤差項」という）‖Ｙ−ＦＧ−ＨＵ‖Fr2と、基底行列Ｆおよび基底行列Ｈの相関を示す第２項（以下「相関項」という）‖ＦTＨ‖Fr2とを含んで構成される。
【数１３】
基底行列Ｆと基底行列Ｈとの相関が低下するほど数式(3A)の相関項は減少する。以上の傾向を考慮して、数式(3A)の評価関数Ｊが最小となるように第１音源の係数行列Ｇと第２音源の基底行列Ｈおよび係数行列Ｕとを生成することを検討する。なお、前述の条件(4)は第２実施形態でも同様に適用される。
【００４９】
数式(3A)のフロベニウスノルムを行列のトレースに置換して変形すると、以下の数式(5A)が導出される。
【数１４】
【００５０】
第１実施形態と同様に、評価関数Ｊとして数式(5A)を適用した数式(6)のラグランジアンＬを基底行列Ｈで偏微分して０と置き、前述の数式(7a)を適用すると、基底行列Ｈの要素Ｈmdを逐次的に更新する以下の更新式(12A)が導出される。なお、係数行列Ｇの要素Ｇknの更新式は数式(11)と同様であり、係数行列Ｕの要素Ｕdnの更新式は数式(13)と同様である。
【数１５】
【００５１】
第２実施形態の行列分解部３４は、数式(11)，数式(12A)および数式(13)の演算を反復し、反復回数がＲ回に到達した段階での演算結果を係数行列Ｇ，基底行列Ｈおよび係数行列Ｕとして確定する。反復回数Ｒや各行列の初期値については第１実施形態と同様である。以上の説明から理解されるように、行列ＦＧと行列ＨＵとの加算行列（ＦＧ＋ＨＵ）が観測行列Ｙに近付き、かつ、基底行列Ｆと基底行列Ｈとの相関が低下する（理想的には無相関となる）ように、第１音源の係数行列Ｇと第２音源の基底行列Ｈおよび係数行列Ｕとが生成される。
【００５２】
第２実施形態においても第１実施形態と同様の効果が実現される。また、第２実施形態では、基底行列Ｆと基底行列Ｈとの相関が低下するように係数行列Ｇと基底行列Ｈと係数行列Ｕとが生成される。すなわち、既知の基底行列Ｆの基底ベクトルｆ[k]と同等の基底ベクトルｈ[d]は第２音源の基底行列Ｈに出現しない。したがって、係数行列Ｇの係数ベクトルｇ[k]と係数行列Ｕの係数ベクトルｕ[d]との一方が零ベクトルに収束する可能性は低減され、結果的に音響信号ＳB(t)における音響の欠落を防止することが可能である。
【００５３】
図４は、第１実施形態と比較した第２実施形態の効果の説明図である。以下の説明では、第１音源をフルートとして第２音源をクラリネットとし、音響信号ＳA(t)のうちフルートの音響を音響信号ＳB(t)として分離する場合を想定する。図４の部分(A)は、音階が共通する旋律の楽音をフルートとクラリネットとについて音源回路に並列に生成させた場合（ユニゾン）の音響信号ＳA(t)の振幅スペクトログラムであり、図４の部分(B)は、同様の旋律の楽音をフルートのみについて生成させた場合の振幅スペクトログラム（すなわち音響信号ＳB(t)の振幅スペクトログラムの規範）である。
【００５４】
図４の部分(C)は、第１実施形態で生成された音響信号ＳB(t)の振幅スペクトログラムである。図４の部分(C)を部分(B)と比較すると、第１実施形態の構成では、音響信号ＳA(t)に含まれる第１音源の音響の一部（図面内の破線部分）が分離後の音響信号ＳB(t)にて欠落していることが確認できる。
【００５５】
他方、図４の部分(D)は、第２実施形態で生成された音響信号ＳB(t)の振幅スペクトログラムである。図４の部分(D)に示すように、第２実施形態によれば、音響信号ＳB(t)における第１音源の音響の欠落が第１実施形態と比較して抑制され、図４の部分(B)と同等のフルートの音響が高精度に抽出されていることが確認できる。以上に説明したように、第２実施形態によれば、分離後の各音源の音響の欠落を防止しながら音響信号ＳA(t)を音源毎に高精度に分離できるという利点がある。
【００５６】
図５は、第１実施形態および第２実施形態における分離後の音響信号ＳB(t)の信号対歪比（SDR：Signal to Distortion Ratio）の測定値である。目的の音源の音響が高精度に分離され、かつ、音源分離の前後にわたる波形の歪みが小さいほど、信号対歪比は大きい数値となる。図５では、第１音源をフルートとして第２音源をクラリネットとした場合が想定されている。
【００５７】
図５の部分(A)は、フルートの音響を音響信号ＳB(t)として抽出した場合の測定値であり、図５の部分(B)は、クラリネットの音響を音響信号ＳB(t)として抽出した場合の測定値である。フルートおよびクラリネットの何れの音響を抽出する場合でも、第２実施形態の信号対歪比が第１実施形態を上回ることが図５から定量的に確認できる。すなわち、第２実施形態によれば、第１実施形態と比較して、音源分離後の各音源の音響の欠落を防止しながら音響信号ＳA(t)を音源毎に高精度に分離することが可能である。
【００５８】
＜第３実施形態＞
第２実施形態で例示した数式(3A)の評価関数Ｊにおいては、誤差項‖Ｙ−ＦＧ−ＨＵ‖Fr2および相関項‖ＦTＨ‖Fr2の各数値が顕著に相違する可能性がある。すなわち、評価関数Ｊの増減に対する寄与の度合が誤差項と相関項とで顕著に相違し得る。そして、例えば誤差項が相関項と比較して充分に大きい場合には誤差項が減少しさえすれば評価関数Ｊは充分に減少するため、相関項が充分に減少しない可能性がある。同様に、相関項が誤差項と比較して充分に大きい場合には誤差項が充分に減少しない可能性がある。
【００５９】
そこで、第３実施形態では、評価関数Ｊの誤差項と相関項とを近付けることを検討する。具体的には、基底行列Ｆと基底行列Ｈとの相関に関する相関項‖ＦTＨ‖Fr2に所定の定数（以下「調整係数」という）λを付与した数式(3B)の評価関数Ｊを導入する。
【数１６】
数式(3B)の調整係数λは、誤差項および相関項の数値が近付く（バランスする）ように実験的または統計的に選定される。また、誤差項と相関項とを試行的に算定し、誤差項と相関項との相違が低減されるように調整係数λを可変に設定することも可能である。数式(3B)の評価関数Ｊを使用した場合、基底行列Ｈの要素Ｈmdの更新式は、調整係数λを含む以下の数式(12B)で定義される。
【数１７】
【００６０】
第３実施形態においても第１実施形態や第２実施形態と同様の効果が実現される。また、第３実施形態では、評価関数Ｊの誤差項‖Ｙ−ＦＧ−ＨＵ‖Fr2と相関項‖ＦTＨ‖Fr2とが調整係数λにより調整されるから、誤差項が減少するという条件と相関項が減少するという条件とが高い水準で両立される。したがって、音響の部分的な欠落を防止しながら音響信号ＳA(t)を音源毎に高精度に分離できるという第２実施形態の効果は格別に顕著となる。なお、以上の説明では、評価関数Ｊの相関項に調整係数λを付加したが、誤差項に調整係数λを付加する構成や誤差項および相関項の双方に別個の調整係数λを付加する構成も採用され得る。
【００６１】
＜第４実施形態＞
第２実施形態では、第１音源の基底行列Ｆと第２音源の基底行列Ｈとの相関が低下するという拘束条件を設定した。第４実施形態では、第１音源の基底行列Ｆと第２音源の基底行列Ｈとの距離が増加する（理想的には最大となる）という拘束条件のもとで第１音源の係数行列Ｇと第２音源の基底行列Ｈおよび係数行列Ｕとを生成する。
【００６２】
第４実施形態では、前掲の数式(3A)の評価関数Ｊに代えて、以下の数式(3C)で表現される評価関数Ｊを導入する。なお、条件(4)として前述した通り、係数行列Ｇと基底行列Ｈと係数行列Ｇとは非負値行列である。
【数１８】
【００６３】
数式(3C)の記号δ(x|y)は、行列ｘと行列ｙとの距離（距離規範）を意味する。すなわち、数式(3C)の評価関数Ｊは、第１音源の行列ＦＧおよび第２音源の行列ＨＵを加算した行列（ＦＧ＋ＨＵ）と観測行列Ｙとの距離（誤差の度合）を示す誤差項δ(Ｙ|ＦＧ＋ＨＵ)と、基底行列Ｆおよび基底行列Ｈの距離を示す相関項δ(Ｆ|Ｈ)とを含んで構成される。
【００６４】
距離δ(x|y)の種類は任意であり、例えばフロベニウスノルムやＩＳ（Itakura-Saito）ダイバージェンスやβダイバージェンスを採用することも可能であるが、以下の例示では、数式(13)で定義されるＩダイバージェンス（一般化ＫＬダイバージェンス）を距離δ(x|y)として例示する。
【数１９】
【００６５】
数式(3C)から理解される通り、基底行列Ｆと基底行列Ｈとの距離δ(Ｆ|Ｈ)が増加する（類似性が低下する）ほど評価関数Ｊは減少する。以上の傾向を考慮して、第４実施形態では、数式(3C)の評価関数Ｊが最小になる（距離δ(Ｆ|Ｈ)が最大となる）という拘束条件のもとで第１音源の係数行列Ｇと第２音源の基底行列Ｈおよび係数行列Ｕとを生成する。
【００６６】
具体的には、数式(3C)の評価関数Ｊを最小化するという条件から、各行列（Ｇ,Ｈ,Ｕ）を逐次的に更新するための以下の数式(14)から数式(16)が導出される。
【数２０】
【００６７】
数式(14)から数式(16)の記号.Ａ/Ｂは、行列Ａと行列Ｂとの要素毎の除算を意味し、記号Ａ.×Ｂは、行列Ａと行列Ｂとの要素毎の乗算を意味する。また、行列Ｉxyは、全部の要素が１に設定されたｘ行ｙ列の行列を意味する。第４実施形態の行列分解部３４は、数式(14)の反復で未知の基底行列Ｈを算定し、数式(15)の反復で係数行列Ｕを算定し、数式(16)の反復で係数行列Ｇを算定する。演算の反復回数Ｒや各行列の初期値については第１実施形態と同様である。
【００６８】
第４実施形態においても第２実施形態と同様の効果が実現される。第２実施形態の拘束条件と第４実施形態の拘束条件とは、既知の基底行列Ｆと未知の基底行列Ｈとの類似性（Similarity）を低下させる条件として包括される。すなわち、基底行列Ｆと基底行列Ｈとの類似性が低下するという条件は、基底行列Ｆと基底行列Ｈとの相関が低下するという条件（第２実施形態）と、基底行列Ｆと基底行列Ｈとの距離が増加するという条件（第４実施形態）との双方を包含する。
【００６９】
なお、第３実施形態で例示した調整係数λを第４実施形態の評価関数Ｊに適用することも可能である。調整係数λを適用した評価関数Ｊは例えば以下の数式(3D)で表現され、未知の基底行列Ｈの算定に利用される前掲の更新式(14)は以下の数式(14A)に置換される。
【数２１】
【００７０】
なお、数式(3D)では相関項δ(Ｆ|Ｈ)に調整係数λを付加したが、誤差項δ(Ｙ|ＦＧ＋ＨＵ)に調整係数λを付加した構成や、誤差項δ(Ｙ|ＦＧ＋ＨＵ)および相関項δ(Ｆ|Ｈ)の双方に別個の調整係数λを付加した構成も採用され得る。
【００７１】
＜変形例＞
以上の各形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様は適宜に併合され得る。
【００７２】
（１）前述の各形態では、観測行列Ｘに対する非負値行列因子分解で基底行列Ｆを生成したが、基底行列Ｆを生成する方法は任意である。基底行列Ｆは、第１音源の音響に想定されるＫ個の振幅スペクトルで構成されるから、例えば、Ｋ個の音高の各々について第１音源の音響の平均的な振幅スペクトルを算定し、各音高に対応するＫ個の振幅スペクトルを配列することで基底行列Ｆを生成することも可能である。すなわち、音響の振幅スペクトルを特定する任意の技術が基底行列Ｆの生成に適用される。
【００７３】
（２）前述の各形態では、フロベニウスノルムを適用した非負値行列因子分解を例示したが、非負値行列因子分解に適用される距離規準はフロベニウスノルムに限定されない。具体的には、Kullback-Leibler擬距離やダイバージェンス等の公知の距離規準が任意に採用される。また、スパースネスの拘束条件を適用した非負値行列因子分解も採用される。
【００７４】
（３）前述の各形態では、既知の１種類の第１音源の基底行列Ｆを利用して音響信号ＳA(t)を第１音源とそれ以外の第２音源とに分離する場合を例示したが、既知の２種類以上の音源の基底行列を利用して音源信号ＳA(t)を既知の音源とそれ以外の音源とに分離する場合にも本発明が同様に適用される。例えば第１音源から第３音源までの３種類の音源が存在する場合、第１音源の基底行列Ｆと第３音源の基底行列Ｅとが事前に記憶装置２４に格納されたうえで、以下の数式(2A)で示すように、第１音源に対応する行列ＦＧと第２音源（第１音源および第３音源以外の１種類以上の音源）に対応する行列ＨＵと第３音源に対応する行列ＥＶとを加算した行列が観測行列Ｙに近似するように、第１音源の係数行列Ｇと第２音源の基底行列Ｈおよび係数行列Ｕと第３音源の係数行列Ｖとが算定される。
【数２２】
【００７５】
第２実施形態において３種類の音源を想定した場合、前述の例示と同様に既知の基底行列Ｆと未知の基底行列Ｈとの相関行列ＦTＨが零行列になるという拘束条件（ＦTＨ＝０）に加えて、既知の基底行列Ｅと未知の基底行列Ｈとの相関行列ＥTＨが零行列になるという拘束条件（ＥTＨ＝０）を充足するように行列分解部３４は未知の各行列（Ｇ,Ｈ,Ｕ,Ｖ）を生成する。同様に、第４実施形態にて３種類の音源を想定した場合、基底行列Ｈと基底行列Ｈとの距離δ(Ｆ|Ｈ)が減少する（零行列になる）という拘束条件に加えて、基底行列Ｅと基底行列Ｈとの距離δ(Ｅ|Ｈ)が減少するという拘束条件を充足するように、行列分解部３４は未知の各行列（Ｇ,Ｈ,Ｕ,Ｖ）を生成する。
【００７６】
任意の個数の基底行列Ｚi（ｉ＝１,２,……）が既知である場合を想定すると、行列分解部３４による処理は、前掲の数式(2)や数式(2A)を一般化した以下の数式(17)で表現される。
【数２３】
【００７７】
数式(17)の基底行列Ｗは、複数の既知の基底行列Ｚiを配列した大行列（Ｗ＝［Ｚ1,Ｚ2,……］）を意味し、行列Ａは、行列Ｗの各基底行列Ｚiに対応する複数の係数行列を配列した行列を意味する。第２実施形態の拘束条件は、既知の基底行列Ｗと未知の基底行列Ｈとの相関行列ＷTＨが零行列に近付く（あるいは相関行列ＷTＨのフロベニウスノルム‖ＷTＨ‖2が最小化する）という条件に一般化され、第４実施形態の拘束条件は、既知の基底行列Ｗと未知の基底行列Ｈとの距離δ(Ｗ|Ｈ)が最大化するという条件に一般化される。
【００７８】
以上の例示から理解されるように、以上の各形態における行列分解部３４は、既知の第１音源について事前に用意（学習）された基底行列Ｆを利用した非負値行列因子分解を観測行列Ｙに対して実行することで、基底行列Ｆに対応する係数行列Ｇと第１音源とは相違する第２音源の基底行列Ｈおよび係数行列Ｕとを生成する要素として包括される。すなわち、既知の第１音源の基底行列Ｆを利用して第１音源の係数行列Ｇと未知の第２音源（１種類以上の音源）の基底行列Ｈおよび係数行列Ｕを生成する要素であれば、第１実施形態の例示のように第１音源の基底行列Ｆのみを利用する場合のほか、第１音源の基底行列Ｆに加えて既知の他の音源の基底行列（数式(2A)における第３音源の基底行列Ｅ）を利用する場合も本発明の範囲に包含される。
【００７９】
（４）前述の各形態では、行列分解部３４が生成した基底行列Ｈと係数行列Ｕとの乗算で第２音源の音響の音響信号ＳB(t)を生成したが、観測行列Ｙと第１音源に対応する行列ＦＧとの差分（Ｙ−ＦＧ）を時間領域または周波数領域で第２音源の行列ＨＵ（すなわち第２音源の音響の振幅スペクトログラム）として算定することも可能である。数式(2A)のように３種類の音源が存在する場合も同様に、第１音源の行列ＦＧと第２音源の行列ＨＵとを観測行列Ｙから減算することで、第３音源の音響の振幅スペクトログラムを示す行列ＥＶ（ＥＶ＝Ｙ−ＦＧ−ＨＵ）を周波数領域または時間領域にて算定することが可能である。
【００８０】
（５）前述の各形態では音響信号ＳA(t)の全帯域を処理対象としたが、音響信号ＳA(t)のうち特定の帯域を処理対象とすることも可能である。音響信号ＳA(t)のうち所望の音源に想定される帯域成分のみを処理対象とすれば、その音源の分離精度を向上することが可能である。
【００８１】
（６）前述の各形態では、数式(11)，数式(12)（数式(12A)，数式(12B)）および数式(13)の演算を所定の回数Ｒにわたり反復することを条件に反復演算を停止したが、反復演算の停止条件は適宜に変更される。具体的には、数式(3)（数式(3A)，数式(3B)）で算定される評価関数Ｊに応じて行列分解部３４が反復停止の可否を判定することも可能である。例えば、行列分解部３４は、各回の演算による更新後の行列（Ｇ,Ｈ,Ｕ）を利用して評価関数Ｊを算定し、評価関数Ｊが一定値に収束したと判定できる場合（例えば前回の評価関数Ｊと今回の更新後の評価関数Ｊとの差異が所定値を下回る場合）に反復演算を停止する。また、評価関数Ｊがゼロとなった場合に反復演算を停止することも可能である。
【００８２】
（７）係数行列Ｇ，基底行列Ｈおよび係数行列Ｕの初期値を設定する方法は任意である。例えば、既知の基底行列Ｆと観測行列Ｙとの相関行列ＦTＹを係数行列Ｇの初期値に適用すれば、係数行列Ｇを迅速に収束させることが可能である。
【符号の説明】
【００８３】
１００……音響処理装置、１２……信号供給装置、１４……放音装置、２２……演算処理装置、２４……記憶装置、３２……周波数分析部、３４……行列分解部、３６……音響生成部、Ｆ，Ｈ……基底行列、Ｇ，Ｕ……係数行列、Ｘ，Ｙ……観測行列。
【技術分野】
【０００１】
本発明は、音響信号を音源毎に分離する技術に関する。
【背景技術】
【０００２】
相異なる音源が発生した複数の音響の混合音を音源毎の音響に分離する音源分離技術が従来から提案されている。例えば非特許文献１や非特許文献２には、非負値行列因子分解（NMF：Non-negative Matrix Factorization）を利用した教師無音源分離が開示されている。
【０００３】
非特許文献１や非特許文献２の技術では、図６に示すように、複数音の音響が混合された観測音の振幅スペクトログラムを示す観測行列Ｙが基底行列Ｈと係数行列（アクティベーション行列）Ｕとに分解される（Ｙ≒ＨＵ）。基底行列Ｈは、観測音に含まれる各成分のスペクトルを示す複数の基底ベクトルｈで構成され、係数行列Ｕは、各基底ベクトルの大きさ（加重値）の時間変化を示す複数の係数ベクトルｕで構成される。基底行列Ｈの複数の基底ベクトルｈと係数行列Ｕの複数の係数ベクトルｕとを音源毎に区分し、所望の音源の基底ベクトルｈと係数ベクトルｕとを抽出および乗算することでその音源の音響の振幅スペクトログラムが生成される。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】A. CICHOCKI, et. al., "NEW ALGORITHMS FOR NON-NEGATIVE MATRIX FACTORIZATION IN APPLICATIONS TO BLIND SOURCE SEPARATION," ICASSP 2006
【非特許文献２】Tuomas Virtanen, "Monaural Sound Source Separation by Nonnegative Matrix Factorization With Temporal Continuity and Sparseness Criteria", IEEE Trans. Aurio, Speech and Language Processing, volume 15, pp.1066-1074, 2007
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、非特許文献１および非特許文献２の技術では、基底行列Ｈの複数の基底ベクトルｈや係数行列Ｕの複数の係数ベクトルｕを音源毎に正確に区分（クラスタリング）することが困難であるという問題や、基底行列Ｈの１個の基底ベクトルｈのなかに複数の音源の音響が混在し得るという問題がある。したがって、複数の音響の混合音を音源毎に高精度に分離することは困難である。以上の事情を考慮して、本発明は、複数の音響の混合音を音源毎に高精度に分離することを目的とする。
【課題を解決するための手段】
【０００６】
以上の課題を解決するために本発明が採用する手段を説明する。なお、本発明の理解を容易にするために、以下の説明では、本発明の各要素と後述の各実施形態の要素との対応を括弧書で付記するが、本発明の範囲を実施形態の例示に限定する趣旨ではない。
【０００７】
本発明の音響処理装置は、第１音源の音響の各成分のスペクトル（例えば振幅スペクトルやパワースペクトル）を示す複数の基底ベクトルを含む非負の第１基底行列（例えば基底行列Ｆ）を記憶する記憶手段（例えば記憶装置２４）と、第１基底行列を利用した非負値行列因子分解により、第１音源の音響と第１音源とは相違する第２音源の音響との混合音を示す音響信号（例えば音響信号ＳA(t)）のスペクトルの時系列を示す観測行列（例えば観測行列Ｙ）から、第１基底行列の各基底ベクトルに対する加重値の時間変化を示す複数の係数ベクトルを含む第１係数行列（例えば係数行列Ｇ）と、第２音源の音響の各成分のスペクトルを示す複数の基底ベクトルを含む第２基底行列（例えば基底行列Ｈ）と、第２基底行列の各基底ベクトルに対する加重値の時間変化を示す複数の係数ベクトルを含む第２係数行列（例えば係数行列Ｕ）とを生成する行列分解手段（例えば行列分解部３４）と、第１基底行列と第１係数行列とに応じた音響信号および第２基底行列と第２係数行列とに応じた音響信号の少なくとも一方を生成する音響生成手段（例えば音響生成部３６）とを具備する。以上の構成では、既知の第１基底行列を利用した観測行列の非負値行列因子分解により第１音源の第１係数行列と第２音源の第２基底行列および第２係数行列が生成される。すなわち、第１音源に対応する非負値行列（第１基底行列および第１係数行列）と第２音源に対応する非負値行列（第２基底行列および第２係数行列）とが個別に特定される。したがって、非特許文献１や非特許文献２の構成と比較して音響信号を音源毎に高精度に分離することが可能である。
【０００８】
なお、第１音源は、第１基底行列が事前に用意された既知の音源を意味し、第２音源は第１音源とは相違する未知の音源を意味する。第１音源の第１基底行列のみを非負値行列因子分解に利用する場合、音響信号を構成する音響のうち第１音源以外の音響に対応する音源が第２音源に相当し、第１音源の第１基底行列を含む複数の既知の音源の基底行列を非負値行列因子分解に利用する場合、音響信号を構成する音響のうち第１音源を含む複数の既知の音源以外の音響に対応する音源が第２音源に相当する。第２音源は、単一の音源のほか、２種類以上の音源を含む音源群を包含する概念である。
【０００９】
本発明の好適な態様において、行列分解手段は、第１基底行列と第２基底行列との類似性が低下する（理想的には無相関または距離最大となる）という拘束条件のもとで第１係数行列と第２基底行列と第２係数行列とを生成する。以上の態様では、第１基底行列と第２基底行列との類似性（相関や距離）が低下するように第１係数行列と第２基底行列と第２係数行列とが生成されるから、既知の第１基底行列の基底ベクトルと同等の基底ベクトルが第２基底行列に出現することで第１係数行列および第２係数行列の一方の係数ベクトルが零ベクトルとなる可能性が低減される。したがって、分離後の音響信号における音響の欠落を防止できるという利点がある。なお、以上の態様の具体例は、例えば第２実施形態として後述される。
【００１０】
別の観点において、記憶手段に記憶された第１基底行列と行列分解手段が生成した第２基底行列とは相互に非類似である。非類似とは、第１基底行列と第２基底行列とが略無相関である場合、または、第１基底行列と第２基底行列との距離が略最大である場合を含意する。第１基底行列と第２基底行列とが略無相関である場合とは、第１基底行列と第２基底行列との相関が最小である場合のほか、第１基底行列と第２基底行列との相関が実質的に最小である場合を包含する。第１基底行列と第２基底行列との相関が実質的に最小である場合とは、音響処理装置の用途や仕様等の種々の事情に応じた合理的な精度（目標精度）の音源分離（第１音源および第２音源の少なくとも一方の音響の音響信号の生成）を実現することが可能な一定の範囲を意味する。同様に、第１基底行列と第２基底行列との距離が略最大である場合とは、第１基底行列と第２基底行列との距離が最大となる場合のほか、第１基底行列と第２基底行列との距離が実質的に最大となる場合を包含する。第１基底行列と第２基底行列との距離が実質的に最大となる場合とは、音響処理装置の用途や仕様等の種々の事情に応じた合理的な精度（目標精度）の音源分離を実現することが可能な一定の範囲を意味する。
【００１１】
本発明の好適な態様において、行列分解手段は、第１基底行列および第１係数行列の積と第２基底行列および第２係数行列の積との和が観測行列と相違する度合を示す誤差項（例えば数式(3A)の第１項‖Ｙ−ＦＧ−ＨＵ‖Fr2）と、第１基底行列および第２基底行列の類似性（例えば相関や距離）を示す相関項（例えば数式(3A)の第２項‖ＦTＨ‖Fr2や数式(3C)の第２項δ(Ｆ|Ｈ)）とを含む評価関数が収束するように選定された更新式（例えば数式(12A)）の反復演算により、第１係数行列と第２基底行列と第２係数行列とを生成する。以上の態様によれば、分離前の音響信号に含まれる各音源の音響を部分的な欠落を抑制しながら高精度に分離できるという利点がある。
【００１２】
別の観点において、記憶手段に記憶された第１基底行列および行列分解手段が生成した第１係数行列の積と、行列分解手段が生成した第２基底行列および前記第２係数行列の積との和が観測行列と相違する度合を示す誤差項と、記憶手段に記憶された第１基底行列と行列分解手段が生成した第２基底行列との類似性を示す相関項とを含む評価関数が、所定値を下回る。評価関数の閾値となる所定値は、評価関数が収束したと評価できる数値に実験的または統計的に選定される。例えば、評価関数の演算の反復回数と評価関数の数値との関係を解析し、評価関数が所定値を下回れば評価関数が収束したと合理的に評価できるように前述の所定値が解析結果に応じて選定される。
【００１３】
本発明の好適な態様において、行列分解手段は、誤差項および相関項の少なくとも一方が調整係数（例えば調整係数λ）により調整された評価関数（例えば数式(3B)の評価関数Ｊ）が収束するように選定された更新式（例えば数式(12B)）の反復演算により、第１係数行列と第２基底行列と第２係数行列とを生成する。すなわち、評価関数の誤差項および相関項の少なくとも一方に調整係数が付加される。以上の態様では、評価関数の誤差項および相関項の少なくとも一方が、例えば両者の数値が近付くように調整係数により調整されるから、誤差項および相関項の双方の条件が高い水準で両立され、高精度な音源分離を実現することが可能である。なお、以上の態様の具体例は、例えば第３実施形態として後述される。
【００１４】
以上の各態様に係る音響処理装置は、音響信号の処理に専用されるＤＳＰ（Digital Signal Processor）などのハードウェア（電子回路）によって実現されるほか、ＣＰＵ（Central Processing Unit）などの汎用の演算処理装置とプログラムとの協働によっても実現される。本発明に係るプログラムは、第１音源の音響の各成分のスペクトルを示す複数の基底ベクトルを含む非負の第１基底行列を記憶する記憶手段を具備するコンピュータに、第１基底行列を利用した非負値行列因子分解により、第１音源の音響と第１音源とは相違する第２音源の音響との混合音を示す音響信号のスペクトルの時系列を示す観測行列から、第１基底行列の各基底ベクトルに対する加重値の時間変化を示す複数の係数ベクトルを含む第１係数行列と、第２音源の音響の各成分のスペクトルを示す複数の基底ベクトルを含む第２基底行列と、第２基底行列の各基底ベクトルに対する加重値の時間変化を示す複数の係数ベクトルを含む第２係数行列とを生成する行列分解処理と、第１基底行列と第１係数行列とに応じた音響信号および第２基底行列と第２係数行列とに応じた音響信号の少なくとも一方を生成する音響生成処理とを実行させる。以上のプログラムによれば、本発明に係る音響処理装置と同様の作用および効果が実現される。なお、本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で利用者に提供されてコンピュータにインストールされるほか、通信網を介した配信の形態でサーバ装置から提供されてコンピュータにインストールされる。
【図面の簡単な説明】
【００１５】
【図１】本発明の第１実施形態に係る音響処理装置のブロック図である。
【図２】基底行列Ｆの生成の説明図である。
【図３】行列分解部の動作の説明図である。
【図４】第２実施形態の効果の説明図である。
【図５】第２実施形態の効果の説明図である。
【図６】背景技術における非負値行列因子分解の説明図である。
【発明を実施するための形態】
【００１６】
＜第１実施形態＞
図１は、本発明の第１実施形態に係る音響処理装置１００のブロック図である。図１に示すように、音響処理装置１００には信号供給装置１２と放音装置１４とが接続される。信号供給装置１２は、音響信号ＳA(t)を音響処理装置１００に供給する。音響信号ＳA(t)は、相異なる種類種の音源の各々が発生した音響（楽音や音声）の混合音の時間波形を示す信号である。音響信号ＳA(t)を構成する音響を発生する複数種の音源のうち既知の音源を以下では第１音源と表記し、第１音源以外の音源を以下では第２音源と表記する。音響信号ＳA(t)が２種類の音源の音響で構成される場合、第２音源は第１音源以外の１種類の音源を意味し、音響信号ＳA(t)が３種類以上の音源の音響で構成される場合、第２音源は第１音源以外の２種類以上の音源（音源群）を意味する。周囲の音響を収音して音響信号ＳA(t)を生成する収音機器や、可搬型または内蔵型の記録媒体から音響信号ＳA(t)を取得して音響処理装置１００に供給する再生装置や、通信網から音響信号ＳA(t)を受信して音響処理装置１００に供給する通信装置が信号供給装置１２として採用され得る。
【００１７】
第１実施形態の音響処理装置１００は、信号供給装置１２から供給される音響信号ＳA(t)を音源分離することで音響信号ＳB(t)を生成する信号処理装置（音源分離装置）である。音響信号ＳB(t)は、音響信号ＳA(t)のうち第１音源の音響成分および第２音源の音響成分の一方の時間波形を示す信号である。具体的には、第１音源および第２音源のうち例えば利用者が選択した音源の音響成分を示す音響信号ＳB(t)が放音装置１４に供給される。すなわち、音響信号ＳA(t)が音源毎に分離される。放音装置１４（例えばスピーカやヘッドホン）は、音響処理装置１００から供給される音響信号ＳB(t)に応じた音波を放射する。なお、音響信号ＳA(t)をアナログからデジタルに変換するＡ/Ｄ変換器や、音響信号ＳB(t)をデジタルからアナログに変換するＤ/Ａ変換器の図示は便宜的に省略した。
【００１８】
図１に示すように、音響処理装置１００は、演算処理装置２２と記憶装置２４とを具備するコンピュータシステムで実現される。記憶装置２４は、演算処理装置２２が実行するプログラムＰGMや演算処理装置２２が使用する各種の情報（例えば基底行列Ｆ）を記憶する。半導体記録媒体や磁気記録媒体等の公知の記録媒体や複数種の記録媒体の組合せが記憶装置２４として任意に採用され得る。音響信号ＳA(t)を記憶装置２４に記憶した構成（したがって信号供給装置１２は省略され得る）も好適である。
【００１９】
第１実施形態の記憶装置２４は、既知の第１音源の音響の特徴を示す基底行列Ｆを記憶する。第１音源は、基底行列Ｆが事前に用意（学習）された音源とも表現され得る。音響処理装置１００は、記憶装置２４に記憶された基底行列Ｆを事前情報（教師情報）として利用する教師有音源分離で音響信号ＳB(t)を生成する。基底行列Ｆは、既知の第１音源が単独で発生した音響（以下「学習音」という）から事前に生成されて記憶装置２４に格納される。学習音は第２音源の音響を含まない。
【００２０】
図２は、第１音源が発生した学習音から基底行列Ｆを生成する処理の説明図である。図２の観測行列Ｘは、第１音源の学習音を時間軸上で区分したＮ個のフレームの各々の振幅スペクトルの時系列（振幅スペクトログラム）を表現するＭ行Ｎ列の非負値行列である（ＭおよびＮは自然数）。すなわち、観測行列Ｘの第ｎ列（ｎ＝１〜Ｎ）は、学習音のうち第ｎ番目のフレームの振幅スペクトルｘ[n]に相当する。振幅スペクトルｘ[n]の第ｍ行（ｍ＝１〜Ｍ）の要素は、周波数軸上に設定されたＭ個の周波数のうち第ｍ番目の周波数での振幅値を意味する。
【００２１】
図２の観測行列Ｘは、以下の数式(1)で表現されるように、非負値行列因子分解（NMF）により基底行列Ｆと係数行列（アクティベーション行列）Ｑとに分解される。
【数１】
【００２２】
数式(1)の基底行列Ｆは、図２に示すように、第１音源の学習音を構成する各成分に対応するＫ個の基底ベクトルｆ[1]〜ｆ[K]を横方向に配列したＭ行Ｋ列の非負値行列である。基底行列Ｆのうち第ｋ列（ｋ＝１〜Ｋ）の基底ベクトルｆ[k]は、学習音を構成するＫ個の成分（基底）のうち第ｋ番目の成分の振幅スペクトルに相当する。すなわち、基底ベクトルｆ[k]の第ｍ行（基底行列Ｆの第ｍ行第ｋ列）の要素は、学習音の第ｋ番目の成分の振幅スペクトルのうち周波数軸上の第ｍ番目の周波数での振幅値を意味する。
【００２３】
数式(1)の係数行列Ｑは、図２に示すように、基底行列Ｆの各基底ベクトルｆ[k]に対応するＫ個の係数ベクトルｑ[1]〜ｑ[K]を縦方向に配列したＫ行Ｎ列の非負値行列である。係数行列Ｑの第ｋ行の係数ベクトルｑ[k]は、基底行列Ｆの基底ベクトルｆ[k]に対する加重値（活性度）の時系列に相当する。
【００２４】
基底行列Ｆと係数行列Ｑとを乗算した行列ＦＱが観測行列Ｘに近似する（すなわち行列ＦＱと観測行列Ｘとの差異が最小化する）ように基底行列Ｆおよび係数行列Ｑが算定されて基底行列Ｆが記憶装置２４に格納される。基底行列ＦのＫ個の基底ベクトルｆ[1]〜ｆ[K]の各々は、概略的には第１音源の学習音の相異なる音高に対応する。したがって、基底行列Ｆの生成に使用される学習音は、分離対象の音響信号ＳA(t)にて第１音源の音響に想定され得る全部の音高を含むように生成され、基底行列Ｆの基底ベクトルｆ[k]の総数（基底数）Ｋは、音響信号ＳA(t)にて第１音源の音響に想定され得る音高の総数以上の数値に設定される。以上が基底行列Ｆの生成の手順である。
【００２５】
図１の演算処理装置２２は、記憶装置２４に記憶されたプログラムＰGMを実行することで、音響信号ＳA(t)から音響信号ＳB(t)を生成する複数の機能（周波数分析部３２，行列分解部３４，音響生成部３６）を実現する。演算処理装置２２の各要素による処理は、音響信号ＳA(t)を時間軸上で区分したＮ個のフレームを単位として順次に反復される。なお、演算処理装置２２の各機能を複数の集積回路に分散した構成や、専用の電子回路（ＤＳＰ）が一部の機能を実現する構成も採用され得る。
【００２６】
図３は、周波数分析部３２および行列分解部３４による処理の説明図である。周波数分析部３２は、音響信号ＳA(t)のＮ個のフレームを単位として図３の観測行列Ｙを順次に生成する。観測行列Ｙは、図３に示すように、音響信号ＳA(t)を時間軸上で区分したＮ個のフレームの各々の振幅スペクトルの時系列（振幅スペクトログラム）を表現するＭ行Ｎ列の非負値行列である。すなわち、観測行列Ｙの第ｎ列は、音響信号ＳA(t)のうち第ｎ番目のフレームの振幅スペクトルｙ[n]（Ｍ個の周波数の各々での振幅値の系列）に相当する。観測行列Ｙの生成には例えば短時間フーリエ変換等の公知の周波数分析が利用される。
【００２７】
図１の行列分解部３４は、記憶装置２４に格納された既知の基底行列Ｆを事前情報として利用した非負値行列因子分解（NMF）を観測行列Ｙに対して実行する。第１実施形態では、以下の数式(2)で表現されるように、周波数分析部３２が生成した観測行列Ｙを、基底行列Ｆと係数行列Ｇと基底行列Ｈと係数行列Ｕとに分解する。
【数２】
前述のように基底行列Ｆには第１音源の音響（学習音）の特性が反映されるから、基底行列Ｆおよび係数行列Ｇは音響信号ＳA(t)のうち第１音源の音響成分に対応する。他方、基底行列Ｈおよび係数行列Ｕは、音響信号ＳA(t)のうち第１音源以外の音源（すなわち第２音源）の音響成分に対応する。
【００２８】
記憶装置２４に格納された既知の基底行列Ｆは、前述の通り、第１音源の音響の各成分に対応するＫ個の基底ベクトルｆ[1]〜ｆ[K]を横方向に配列したＭ行Ｋ列の非負値行列である。他方、数式(2)の係数行列（アクティベーション行列）Ｇは、図３に示すように、基底行列Ｆの各基底ベクトルｆ[k]に対応するＫ個の係数ベクトルｇ[1]〜ｇ[K]を縦方向に配列したＫ行Ｎ列の非負値行列である。係数行列Ｇの第ｋ行の係数ベクトルｇ[k]は、基底行列Ｆの基底ベクトルｆ[k]に対する加重値（活性度）の時系列に相当する。すなわち、係数ベクトルｇ[k]の第ｎ列の要素は、音響信号ＳA(t)の第ｎ番目のフレームにおける第１音源の基底ベクトルｆ[k]の大きさ（加重値）を意味する。以上の説明から理解されるように、数式(2)の右辺の第１項の行列ＦＧは、音響信号ＳA(t)のうち第１音源の音響成分の振幅スペクトログラムを表現するＭ行Ｎ列の非負値行列である。
【００２９】
数式(2)の基底行列Ｈは、図３に示すように、音響信号ＳA(t)のうち第２音源の音響の各成分に対応するＤ個の基底ベクトルｈ[1]〜ｈ[D]を横方向に配列したＭ行Ｄ列の非負値行列である。基底行列Ｆの列数Ｋと基底行列Ｈの列数Ｄとの異同は不問である。基底行列Ｆと同様に、基底行列Ｈの第ｄ列（ｄ＝１〜Ｄ）の基底ベクトルｈ[d]は、音響信号ＳA(t)に含まれる第２音源の音響成分を構成するＤ個の成分（基底）のうち第ｄ番目の成分の振幅スペクトルに相当する。すなわち、基底ベクトルｈ[d]の第ｍ行の要素は、音響信号ＳA(t)の第２音源の音響成分を構成する第ｄ番目の成分の振幅スペクトルのうち周波数軸上の第ｍ番目の周波数での振幅値を意味する。
【００３０】
数式(2)の係数行列Ｕは、図３に示すように、第２音源の基底行列Ｈの各基底ベクトルｈ[d]に対応するＤ個の係数ベクトルｕ[1]〜ｕ[D]を縦方向に配列したＤ行Ｎ列の非負値行列である。係数行列Ｇと同様に、係数行列Ｕの第ｄ行の係数ベクトルｕ[d]は、基底行列Ｈの基底ベクトルｈ[d]に対する加重値の時系列を意味する。したがって、数式(2)の右辺の第２項の行列ＨＵは、音響信号ＳA(t)のうち第２音源の音響成分の振幅スペクトログラムを表現するＭ行Ｎ列の非負値行列である。
【００３１】
図１の行列分解部３４は、第１音源の行列ＦＧと第２音源の行列ＨＵとを加算した行列（ＦＧ＋ＨＵ）が観測行列Ｙに近似する（すなわち両者間の相違が最小化する）という数式(2)の条件が成立するように第１音源の係数行列Ｇと第２音源の基底行列Ｈおよび係数行列Ｕとを生成する。第１実施形態では、数式(2)の条件を評価するために以下の数式(3)の評価関数Ｊを導入する。なお、以下の説明では、任意の行列Ａのうち第ｉ行第ｊ列の要素を記号Ａijと表記する。例えば、記号Ｇknは、係数行列Ｇの第ｋ行第ｎ列の要素を意味する。
【数３】
【００３２】
数式(3)の記号‖ ‖Frはフロベニウスノルム（ユークリッド距離）を意味する。条件(4)は、係数行列Ｇと基底行列Ｈと係数行列Ｇとが非負値行列であるという条件である。数式(3)から理解されるように、第１音源の行列ＦＧと第２音源の行列ＨＵとの加算が観測行列Ｙに近似する（近似誤差が減少する）ほど評価関数Ｊは減少する。以上の傾向を考慮して、評価関数Ｊが最小となるように係数行列Ｇと基底行列Ｈと係数行列Ｕとを生成することを検討する。
【００３３】
数式(3)のフロベニウスノルムを行列のトレースに置換して変形すると、以下の数式(5)が導出される。なお、数式(5)の記号Ｔは行列の転置を意味し、記号tr{ }は行列のトレースを意味する。
【数４】
【００３４】
評価関数Ｊを検討するために以下の数式(6)のラグランジアンＬを導入する。
【数５】
【００３５】
また、前述の条件(4)を考慮すると、ＫＫＴ（Karuch Kuhn Tucker）の相補条件は以下の数式(7a)から数式(7c)で表現される。
【数６】
【００３６】
係数行列Ｇを目的変数としたラグランジアンＬの偏微分を０とおくと以下の数式(8)が導出される。
【数７】
【００３７】
数式(8)において行列の第ｋ行第ｎ列の成分のみに着目し、係数行列Ｇの第ｋ行第ｎ列の要素Ｇknを数式(8)の両辺に乗算すると、以下の数式(9)が導出される。
【数８】
【００３８】
前述の数式(7c)を数式(9)に適用することで以下の数式(10)が導出される。
【数９】
【００３９】
数式(10)を変形することで、係数行列Ｇの要素Ｇknを逐次的に更新する以下の更新式(11)が導出される。
【数１０】
【００４０】
同様に、基底行列Ｈを目的変数とした数式(6)のラグランジアンＬの偏微分を０として数式(7a)を適用することで、基底行列Ｈの要素Ｈmdを逐次的に更新する以下の更新式(12)が導出される。
【数１１】
【００４１】
また、係数行列Ｕを目的変数としたラグランジアンＬの偏微分を０として数式(7b)を適用することで、係数行列Ｕの要素Ｕdnを逐次的に更新する以下の更新式(13)が導出される。
【数１２】
【００４２】
図１の行列分解部３４は、数式(11)から数式(13)の演算を反復し、反復回数が所定の回数Ｒに到達した時点での演算結果（Ｇkn,Ｈmd,Ｕdn）を係数行列Ｇ，基底行列Ｈおよび係数行列Ｕとして確定する。数式(11)から数式(13)の演算の回数Ｒは、回数Ｒにわたる反復の時点で評価関数Ｊがゼロに到達するかまたは一定値に収束するように実験的または統計的に選定される。また、係数行列Ｇ（要素Ｇkn），基底行列Ｈ（要素Ｈmd）および係数行列Ｕ（要素Ｕdn）の初期値は例えば乱数に設定される。以上の説明から理解される通り、行列分解部３４は、音響信号ＳA(t)の観測行列Ｙと既知の基底行列Ｆとに対して数式(2)の関係を満たすように係数行列Ｇと基底行列Ｈと係数行列Ｕとを生成する。
【００４３】
図１の音響生成部３６は、行列分解部３４が生成した行列（Ｇ,Ｈ,Ｕ）を利用して音響信号ＳB(t)を生成する。具体的には、第１音源が指定された場合、音響生成部３６は、記憶装置２４に格納された基底行列Ｆと行列分解部３４が生成した係数行列Ｇとを乗算することで音響信号ＳA(t)のうち第１音源の音響の振幅スペクトログラムを算定し、各フレームの振幅スペクトルと音響信号ＳA(t)のそのフレームでの位相スペクトルとを適用した逆フーリエ変換で時間領域の音響信号ＳB(t)を生成する。他方、第２音源が指定された場合、音響生成部３６は、行列分解部３４が生成した基底行列Ｈと係数行列Ｕとを乗算することで音響信号ＳA(t)のうち第２音源の音響の振幅スペクトログラムを算定し、各フレームの振幅スペクトルと音響信号ＳA(t)のそのフレームでの位相スペクトルとから時間領域の音響信号ＳB(t)を生成する。すなわち、音響信号ＳA(t)を音源毎に分離した音響信号ＳB(t)が生成される。音響生成部３６が生成した音響信号ＳB(t)が放音装置１４に供給されて音波として再生される。なお、第１音源の音響信号ＳB(t)と第２音源の音響信号ＳB(t)の双方を生成して例えば各音響信号ＳB(t)に別個の音響処理を実行することも可能である。
【００４４】
以上に説明した第１実施形態では、第１音源の既知の基底行列Ｆを利用した観測行列Ｙの非負値行列因子分解により、第１音源の係数行列Ｇと第２音源の基底行列Ｈおよび係数行列Ｕとが生成されるから、音響信号ＳA(t)のうち第１音源の音響成分は行列ＦＧに反映され、音響信号ＳA(t)のうち第２音源の音響成分は行列ＨＵに反映される。すなわち、第１音源に対応する行列ＦＧと第２音源に対応する行列ＨＵとが個別に特定される。したがって、非特許文献１や非特許文献２の構成と比較して、音響信号ＳA(t)を音源毎に高精度に分離できるという利点がある。
【００４５】
＜第２実施形態＞
本発明の第２実施形態を以下に説明する。なお、以下に例示する各形態において作用や機能が第１実施形態と同等である要素については、以上の説明で参照した符号を流用して各々の詳細な説明を適宜に省略する。
【００４６】
第１実施形態では、第１音源の基底行列Ｆと第２音源の基底行列Ｈとの関係は拘束されないから、行列分解部３４が算定する基底行列Ｈの基底ベクトルｈ[d]が既知の基底行列Ｆの基底ベクトルｆ[k]と同等となる可能性がある。基底ベクトルｈ[d]と基底ベクトルｆ[k]とが共通する場合、数式(2)を成立させるために、係数行列Ｇの係数ベクトルｇ[k]と係数行列Ｕの係数ベクトルｕ[d]との一方が零ベクトルに収束する。しかし、係数ベクトルｇ[k]が零ベクトルである場合には第１音源の音響のうち基底ベクトルｆ[k]に対応する成分が音響信号ＳB(t)から欠落し、係数ベクトルｕ[d]が零ベクトルである場合には第２音源のうち基底ベクトルｈ[d]に対応する成分が音響信号ＳB(t)から欠落する結果となる。以上の事情を考慮して、本発明の第２実施形態では、第１音源の基底行列Ｆと第２音源の基底行列Ｈとの相関が低下する（理想的には無相関となる）ように、行列分解部３４が第１音源の係数行列Ｇと第２音源の基底行列Ｈおよび係数行列Ｕとを生成する。
【００４７】
基底行列Ｆと基底行列Ｈとの相関（類似性）を評価するために、基底行列Ｆと基底行列Ｈとの相関行列ＦTＨを導入する。基底行列Ｆの各基底ベクトルｆ[k]と基底行列Ｈの各基底ベクトルｈ[d]との相関が低い（例えば各基底ベクトルｆ[k]と各基底ベクトルｈ[d]とが直交する）ほど相関行列ＦTＨは零行列に近付く。そこで、第２実施形態の行列分解部３４は、相関行列ＦTＨが零行列に近付く（理想的には零行列に合致する）という拘束条件のもとで係数行列Ｇと基底行列Ｈと係数行列Ｕとを生成する。
【００４８】
相関行列ＦTＨが零行列に近付くという条件を前述の数式(2)の条件と併せて評価するために、相関行列ＦTＨのフロベニウスノルムの自乗‖ＦTＨ‖Fr2を罰則項として数式(3)に追加した数式(3A)の評価関数Ｊを導入する。すなわち、第２実施形態の評価関数Ｊは、第１音源の行列ＦＧおよび第２音源の行列ＨＵを加算した行列（ＦＧ＋ＨＵ）と観測行列Ｙとの相違（近似誤差）の度合を示す第１項（以下「誤差項」という）‖Ｙ−ＦＧ−ＨＵ‖Fr2と、基底行列Ｆおよび基底行列Ｈの相関を示す第２項（以下「相関項」という）‖ＦTＨ‖Fr2とを含んで構成される。
【数１３】
基底行列Ｆと基底行列Ｈとの相関が低下するほど数式(3A)の相関項は減少する。以上の傾向を考慮して、数式(3A)の評価関数Ｊが最小となるように第１音源の係数行列Ｇと第２音源の基底行列Ｈおよび係数行列Ｕとを生成することを検討する。なお、前述の条件(4)は第２実施形態でも同様に適用される。
【００４９】
数式(3A)のフロベニウスノルムを行列のトレースに置換して変形すると、以下の数式(5A)が導出される。
【数１４】
【００５０】
第１実施形態と同様に、評価関数Ｊとして数式(5A)を適用した数式(6)のラグランジアンＬを基底行列Ｈで偏微分して０と置き、前述の数式(7a)を適用すると、基底行列Ｈの要素Ｈmdを逐次的に更新する以下の更新式(12A)が導出される。なお、係数行列Ｇの要素Ｇknの更新式は数式(11)と同様であり、係数行列Ｕの要素Ｕdnの更新式は数式(13)と同様である。
【数１５】
【００５１】
第２実施形態の行列分解部３４は、数式(11)，数式(12A)および数式(13)の演算を反復し、反復回数がＲ回に到達した段階での演算結果を係数行列Ｇ，基底行列Ｈおよび係数行列Ｕとして確定する。反復回数Ｒや各行列の初期値については第１実施形態と同様である。以上の説明から理解されるように、行列ＦＧと行列ＨＵとの加算行列（ＦＧ＋ＨＵ）が観測行列Ｙに近付き、かつ、基底行列Ｆと基底行列Ｈとの相関が低下する（理想的には無相関となる）ように、第１音源の係数行列Ｇと第２音源の基底行列Ｈおよび係数行列Ｕとが生成される。
【００５２】
第２実施形態においても第１実施形態と同様の効果が実現される。また、第２実施形態では、基底行列Ｆと基底行列Ｈとの相関が低下するように係数行列Ｇと基底行列Ｈと係数行列Ｕとが生成される。すなわち、既知の基底行列Ｆの基底ベクトルｆ[k]と同等の基底ベクトルｈ[d]は第２音源の基底行列Ｈに出現しない。したがって、係数行列Ｇの係数ベクトルｇ[k]と係数行列Ｕの係数ベクトルｕ[d]との一方が零ベクトルに収束する可能性は低減され、結果的に音響信号ＳB(t)における音響の欠落を防止することが可能である。
【００５３】
図４は、第１実施形態と比較した第２実施形態の効果の説明図である。以下の説明では、第１音源をフルートとして第２音源をクラリネットとし、音響信号ＳA(t)のうちフルートの音響を音響信号ＳB(t)として分離する場合を想定する。図４の部分(A)は、音階が共通する旋律の楽音をフルートとクラリネットとについて音源回路に並列に生成させた場合（ユニゾン）の音響信号ＳA(t)の振幅スペクトログラムであり、図４の部分(B)は、同様の旋律の楽音をフルートのみについて生成させた場合の振幅スペクトログラム（すなわち音響信号ＳB(t)の振幅スペクトログラムの規範）である。
【００５４】
図４の部分(C)は、第１実施形態で生成された音響信号ＳB(t)の振幅スペクトログラムである。図４の部分(C)を部分(B)と比較すると、第１実施形態の構成では、音響信号ＳA(t)に含まれる第１音源の音響の一部（図面内の破線部分）が分離後の音響信号ＳB(t)にて欠落していることが確認できる。
【００５５】
他方、図４の部分(D)は、第２実施形態で生成された音響信号ＳB(t)の振幅スペクトログラムである。図４の部分(D)に示すように、第２実施形態によれば、音響信号ＳB(t)における第１音源の音響の欠落が第１実施形態と比較して抑制され、図４の部分(B)と同等のフルートの音響が高精度に抽出されていることが確認できる。以上に説明したように、第２実施形態によれば、分離後の各音源の音響の欠落を防止しながら音響信号ＳA(t)を音源毎に高精度に分離できるという利点がある。
【００５６】
図５は、第１実施形態および第２実施形態における分離後の音響信号ＳB(t)の信号対歪比（SDR：Signal to Distortion Ratio）の測定値である。目的の音源の音響が高精度に分離され、かつ、音源分離の前後にわたる波形の歪みが小さいほど、信号対歪比は大きい数値となる。図５では、第１音源をフルートとして第２音源をクラリネットとした場合が想定されている。
【００５７】
図５の部分(A)は、フルートの音響を音響信号ＳB(t)として抽出した場合の測定値であり、図５の部分(B)は、クラリネットの音響を音響信号ＳB(t)として抽出した場合の測定値である。フルートおよびクラリネットの何れの音響を抽出する場合でも、第２実施形態の信号対歪比が第１実施形態を上回ることが図５から定量的に確認できる。すなわち、第２実施形態によれば、第１実施形態と比較して、音源分離後の各音源の音響の欠落を防止しながら音響信号ＳA(t)を音源毎に高精度に分離することが可能である。
【００５８】
＜第３実施形態＞
第２実施形態で例示した数式(3A)の評価関数Ｊにおいては、誤差項‖Ｙ−ＦＧ−ＨＵ‖Fr2および相関項‖ＦTＨ‖Fr2の各数値が顕著に相違する可能性がある。すなわち、評価関数Ｊの増減に対する寄与の度合が誤差項と相関項とで顕著に相違し得る。そして、例えば誤差項が相関項と比較して充分に大きい場合には誤差項が減少しさえすれば評価関数Ｊは充分に減少するため、相関項が充分に減少しない可能性がある。同様に、相関項が誤差項と比較して充分に大きい場合には誤差項が充分に減少しない可能性がある。
【００５９】
そこで、第３実施形態では、評価関数Ｊの誤差項と相関項とを近付けることを検討する。具体的には、基底行列Ｆと基底行列Ｈとの相関に関する相関項‖ＦTＨ‖Fr2に所定の定数（以下「調整係数」という）λを付与した数式(3B)の評価関数Ｊを導入する。
【数１６】
数式(3B)の調整係数λは、誤差項および相関項の数値が近付く（バランスする）ように実験的または統計的に選定される。また、誤差項と相関項とを試行的に算定し、誤差項と相関項との相違が低減されるように調整係数λを可変に設定することも可能である。数式(3B)の評価関数Ｊを使用した場合、基底行列Ｈの要素Ｈmdの更新式は、調整係数λを含む以下の数式(12B)で定義される。
【数１７】
【００６０】
第３実施形態においても第１実施形態や第２実施形態と同様の効果が実現される。また、第３実施形態では、評価関数Ｊの誤差項‖Ｙ−ＦＧ−ＨＵ‖Fr2と相関項‖ＦTＨ‖Fr2とが調整係数λにより調整されるから、誤差項が減少するという条件と相関項が減少するという条件とが高い水準で両立される。したがって、音響の部分的な欠落を防止しながら音響信号ＳA(t)を音源毎に高精度に分離できるという第２実施形態の効果は格別に顕著となる。なお、以上の説明では、評価関数Ｊの相関項に調整係数λを付加したが、誤差項に調整係数λを付加する構成や誤差項および相関項の双方に別個の調整係数λを付加する構成も採用され得る。
【００６１】
＜第４実施形態＞
第２実施形態では、第１音源の基底行列Ｆと第２音源の基底行列Ｈとの相関が低下するという拘束条件を設定した。第４実施形態では、第１音源の基底行列Ｆと第２音源の基底行列Ｈとの距離が増加する（理想的には最大となる）という拘束条件のもとで第１音源の係数行列Ｇと第２音源の基底行列Ｈおよび係数行列Ｕとを生成する。
【００６２】
第４実施形態では、前掲の数式(3A)の評価関数Ｊに代えて、以下の数式(3C)で表現される評価関数Ｊを導入する。なお、条件(4)として前述した通り、係数行列Ｇと基底行列Ｈと係数行列Ｇとは非負値行列である。
【数１８】
【００６３】
数式(3C)の記号δ(x|y)は、行列ｘと行列ｙとの距離（距離規範）を意味する。すなわち、数式(3C)の評価関数Ｊは、第１音源の行列ＦＧおよび第２音源の行列ＨＵを加算した行列（ＦＧ＋ＨＵ）と観測行列Ｙとの距離（誤差の度合）を示す誤差項δ(Ｙ|ＦＧ＋ＨＵ)と、基底行列Ｆおよび基底行列Ｈの距離を示す相関項δ(Ｆ|Ｈ)とを含んで構成される。
【００６４】
距離δ(x|y)の種類は任意であり、例えばフロベニウスノルムやＩＳ（Itakura-Saito）ダイバージェンスやβダイバージェンスを採用することも可能であるが、以下の例示では、数式(13)で定義されるＩダイバージェンス（一般化ＫＬダイバージェンス）を距離δ(x|y)として例示する。
【数１９】
【００６５】
数式(3C)から理解される通り、基底行列Ｆと基底行列Ｈとの距離δ(Ｆ|Ｈ)が増加する（類似性が低下する）ほど評価関数Ｊは減少する。以上の傾向を考慮して、第４実施形態では、数式(3C)の評価関数Ｊが最小になる（距離δ(Ｆ|Ｈ)が最大となる）という拘束条件のもとで第１音源の係数行列Ｇと第２音源の基底行列Ｈおよび係数行列Ｕとを生成する。
【００６６】
具体的には、数式(3C)の評価関数Ｊを最小化するという条件から、各行列（Ｇ,Ｈ,Ｕ）を逐次的に更新するための以下の数式(14)から数式(16)が導出される。
【数２０】
【００６７】
数式(14)から数式(16)の記号.Ａ/Ｂは、行列Ａと行列Ｂとの要素毎の除算を意味し、記号Ａ.×Ｂは、行列Ａと行列Ｂとの要素毎の乗算を意味する。また、行列Ｉxyは、全部の要素が１に設定されたｘ行ｙ列の行列を意味する。第４実施形態の行列分解部３４は、数式(14)の反復で未知の基底行列Ｈを算定し、数式(15)の反復で係数行列Ｕを算定し、数式(16)の反復で係数行列Ｇを算定する。演算の反復回数Ｒや各行列の初期値については第１実施形態と同様である。
【００６８】
第４実施形態においても第２実施形態と同様の効果が実現される。第２実施形態の拘束条件と第４実施形態の拘束条件とは、既知の基底行列Ｆと未知の基底行列Ｈとの類似性（Similarity）を低下させる条件として包括される。すなわち、基底行列Ｆと基底行列Ｈとの類似性が低下するという条件は、基底行列Ｆと基底行列Ｈとの相関が低下するという条件（第２実施形態）と、基底行列Ｆと基底行列Ｈとの距離が増加するという条件（第４実施形態）との双方を包含する。
【００６９】
なお、第３実施形態で例示した調整係数λを第４実施形態の評価関数Ｊに適用することも可能である。調整係数λを適用した評価関数Ｊは例えば以下の数式(3D)で表現され、未知の基底行列Ｈの算定に利用される前掲の更新式(14)は以下の数式(14A)に置換される。
【数２１】
【００７０】
なお、数式(3D)では相関項δ(Ｆ|Ｈ)に調整係数λを付加したが、誤差項δ(Ｙ|ＦＧ＋ＨＵ)に調整係数λを付加した構成や、誤差項δ(Ｙ|ＦＧ＋ＨＵ)および相関項δ(Ｆ|Ｈ)の双方に別個の調整係数λを付加した構成も採用され得る。
【００７１】
＜変形例＞
以上の各形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様は適宜に併合され得る。
【００７２】
（１）前述の各形態では、観測行列Ｘに対する非負値行列因子分解で基底行列Ｆを生成したが、基底行列Ｆを生成する方法は任意である。基底行列Ｆは、第１音源の音響に想定されるＫ個の振幅スペクトルで構成されるから、例えば、Ｋ個の音高の各々について第１音源の音響の平均的な振幅スペクトルを算定し、各音高に対応するＫ個の振幅スペクトルを配列することで基底行列Ｆを生成することも可能である。すなわち、音響の振幅スペクトルを特定する任意の技術が基底行列Ｆの生成に適用される。
【００７３】
（２）前述の各形態では、フロベニウスノルムを適用した非負値行列因子分解を例示したが、非負値行列因子分解に適用される距離規準はフロベニウスノルムに限定されない。具体的には、Kullback-Leibler擬距離やダイバージェンス等の公知の距離規準が任意に採用される。また、スパースネスの拘束条件を適用した非負値行列因子分解も採用される。
【００７４】
（３）前述の各形態では、既知の１種類の第１音源の基底行列Ｆを利用して音響信号ＳA(t)を第１音源とそれ以外の第２音源とに分離する場合を例示したが、既知の２種類以上の音源の基底行列を利用して音源信号ＳA(t)を既知の音源とそれ以外の音源とに分離する場合にも本発明が同様に適用される。例えば第１音源から第３音源までの３種類の音源が存在する場合、第１音源の基底行列Ｆと第３音源の基底行列Ｅとが事前に記憶装置２４に格納されたうえで、以下の数式(2A)で示すように、第１音源に対応する行列ＦＧと第２音源（第１音源および第３音源以外の１種類以上の音源）に対応する行列ＨＵと第３音源に対応する行列ＥＶとを加算した行列が観測行列Ｙに近似するように、第１音源の係数行列Ｇと第２音源の基底行列Ｈおよび係数行列Ｕと第３音源の係数行列Ｖとが算定される。
【数２２】
【００７５】
第２実施形態において３種類の音源を想定した場合、前述の例示と同様に既知の基底行列Ｆと未知の基底行列Ｈとの相関行列ＦTＨが零行列になるという拘束条件（ＦTＨ＝０）に加えて、既知の基底行列Ｅと未知の基底行列Ｈとの相関行列ＥTＨが零行列になるという拘束条件（ＥTＨ＝０）を充足するように行列分解部３４は未知の各行列（Ｇ,Ｈ,Ｕ,Ｖ）を生成する。同様に、第４実施形態にて３種類の音源を想定した場合、基底行列Ｈと基底行列Ｈとの距離δ(Ｆ|Ｈ)が減少する（零行列になる）という拘束条件に加えて、基底行列Ｅと基底行列Ｈとの距離δ(Ｅ|Ｈ)が減少するという拘束条件を充足するように、行列分解部３４は未知の各行列（Ｇ,Ｈ,Ｕ,Ｖ）を生成する。
【００７６】
任意の個数の基底行列Ｚi（ｉ＝１,２,……）が既知である場合を想定すると、行列分解部３４による処理は、前掲の数式(2)や数式(2A)を一般化した以下の数式(17)で表現される。
【数２３】
【００７７】
数式(17)の基底行列Ｗは、複数の既知の基底行列Ｚiを配列した大行列（Ｗ＝［Ｚ1,Ｚ2,……］）を意味し、行列Ａは、行列Ｗの各基底行列Ｚiに対応する複数の係数行列を配列した行列を意味する。第２実施形態の拘束条件は、既知の基底行列Ｗと未知の基底行列Ｈとの相関行列ＷTＨが零行列に近付く（あるいは相関行列ＷTＨのフロベニウスノルム‖ＷTＨ‖2が最小化する）という条件に一般化され、第４実施形態の拘束条件は、既知の基底行列Ｗと未知の基底行列Ｈとの距離δ(Ｗ|Ｈ)が最大化するという条件に一般化される。
【００７８】
以上の例示から理解されるように、以上の各形態における行列分解部３４は、既知の第１音源について事前に用意（学習）された基底行列Ｆを利用した非負値行列因子分解を観測行列Ｙに対して実行することで、基底行列Ｆに対応する係数行列Ｇと第１音源とは相違する第２音源の基底行列Ｈおよび係数行列Ｕとを生成する要素として包括される。すなわち、既知の第１音源の基底行列Ｆを利用して第１音源の係数行列Ｇと未知の第２音源（１種類以上の音源）の基底行列Ｈおよび係数行列Ｕを生成する要素であれば、第１実施形態の例示のように第１音源の基底行列Ｆのみを利用する場合のほか、第１音源の基底行列Ｆに加えて既知の他の音源の基底行列（数式(2A)における第３音源の基底行列Ｅ）を利用する場合も本発明の範囲に包含される。
【００７９】
（４）前述の各形態では、行列分解部３４が生成した基底行列Ｈと係数行列Ｕとの乗算で第２音源の音響の音響信号ＳB(t)を生成したが、観測行列Ｙと第１音源に対応する行列ＦＧとの差分（Ｙ−ＦＧ）を時間領域または周波数領域で第２音源の行列ＨＵ（すなわち第２音源の音響の振幅スペクトログラム）として算定することも可能である。数式(2A)のように３種類の音源が存在する場合も同様に、第１音源の行列ＦＧと第２音源の行列ＨＵとを観測行列Ｙから減算することで、第３音源の音響の振幅スペクトログラムを示す行列ＥＶ（ＥＶ＝Ｙ−ＦＧ−ＨＵ）を周波数領域または時間領域にて算定することが可能である。
【００８０】
（５）前述の各形態では音響信号ＳA(t)の全帯域を処理対象としたが、音響信号ＳA(t)のうち特定の帯域を処理対象とすることも可能である。音響信号ＳA(t)のうち所望の音源に想定される帯域成分のみを処理対象とすれば、その音源の分離精度を向上することが可能である。
【００８１】
（６）前述の各形態では、数式(11)，数式(12)（数式(12A)，数式(12B)）および数式(13)の演算を所定の回数Ｒにわたり反復することを条件に反復演算を停止したが、反復演算の停止条件は適宜に変更される。具体的には、数式(3)（数式(3A)，数式(3B)）で算定される評価関数Ｊに応じて行列分解部３４が反復停止の可否を判定することも可能である。例えば、行列分解部３４は、各回の演算による更新後の行列（Ｇ,Ｈ,Ｕ）を利用して評価関数Ｊを算定し、評価関数Ｊが一定値に収束したと判定できる場合（例えば前回の評価関数Ｊと今回の更新後の評価関数Ｊとの差異が所定値を下回る場合）に反復演算を停止する。また、評価関数Ｊがゼロとなった場合に反復演算を停止することも可能である。
【００８２】
（７）係数行列Ｇ，基底行列Ｈおよび係数行列Ｕの初期値を設定する方法は任意である。例えば、既知の基底行列Ｆと観測行列Ｙとの相関行列ＦTＹを係数行列Ｇの初期値に適用すれば、係数行列Ｇを迅速に収束させることが可能である。
【符号の説明】
【００８３】
１００……音響処理装置、１２……信号供給装置、１４……放音装置、２２……演算処理装置、２４……記憶装置、３２……周波数分析部、３４……行列分解部、３６……音響生成部、Ｆ，Ｈ……基底行列、Ｇ，Ｕ……係数行列、Ｘ，Ｙ……観測行列。
【特許請求の範囲】
【請求項１】
第１音源の音響の各成分のスペクトルを示す複数の基底ベクトルを含む非負の第１基底行列を記憶する記憶手段と、
前記第１基底行列を利用した非負値行列因子分解により、前記第１音源の音響と前記第１音源とは相違する第２音源の音響との混合音を示す音響信号のスペクトルの時系列を示す観測行列から、前記第１基底行列の各基底ベクトルに対する加重値の時間変化を示す複数の係数ベクトルを含む第１係数行列と、前記第２音源の音響の各成分のスペクトルを示す複数の基底ベクトルを含む第２基底行列と、前記第２基底行列の各基底ベクトルに対する加重値の時間変化を示す複数の係数ベクトルを含む第２係数行列とを生成する行列分解手段と、
前記第１基底行列と前記第１係数行列とに応じた音響信号および前記第２基底行列と前記第２係数行列とに応じた音響信号の少なくとも一方を生成する音響生成手段と
を具備する音響処理装置。
【請求項２】
前記行列分解手段は、前記第１基底行列と前記第２基底行列との類似性が低下するように前記第１係数行列と前記第２基底行列と前記第２係数行列とを生成する
請求項１の音響処理装置。
【請求項３】
前記行列分解手段は、前記第１基底行列および前記第１係数行列の積と前記第２基底行列および前記第２係数行列の積との和が前記観測行列と相違する度合を示す誤差項と、前記第１基底行列および前記第２基底行列の類似性を示す相関項とを含む評価関数が収束するように選定された更新式の反復演算により、前記第１係数行列と前記第２基底行列と前記第２係数行列とを生成する
請求項２の音響処理装置。
【請求項４】
前記行列分解手段は、前記誤差項および前記相関項の少なくとも一方が調整係数により調整された前記評価関数が収束するように選定された更新式の反復演算により、前記第１係数行列と前記第２基底行列と前記第２係数行列とを生成する
請求項３の音響処理装置。
【請求項１】
第１音源の音響の各成分のスペクトルを示す複数の基底ベクトルを含む非負の第１基底行列を記憶する記憶手段と、
前記第１基底行列を利用した非負値行列因子分解により、前記第１音源の音響と前記第１音源とは相違する第２音源の音響との混合音を示す音響信号のスペクトルの時系列を示す観測行列から、前記第１基底行列の各基底ベクトルに対する加重値の時間変化を示す複数の係数ベクトルを含む第１係数行列と、前記第２音源の音響の各成分のスペクトルを示す複数の基底ベクトルを含む第２基底行列と、前記第２基底行列の各基底ベクトルに対する加重値の時間変化を示す複数の係数ベクトルを含む第２係数行列とを生成する行列分解手段と、
前記第１基底行列と前記第１係数行列とに応じた音響信号および前記第２基底行列と前記第２係数行列とに応じた音響信号の少なくとも一方を生成する音響生成手段と
を具備する音響処理装置。
【請求項２】
前記行列分解手段は、前記第１基底行列と前記第２基底行列との類似性が低下するように前記第１係数行列と前記第２基底行列と前記第２係数行列とを生成する
請求項１の音響処理装置。
【請求項３】
前記行列分解手段は、前記第１基底行列および前記第１係数行列の積と前記第２基底行列および前記第２係数行列の積との和が前記観測行列と相違する度合を示す誤差項と、前記第１基底行列および前記第２基底行列の類似性を示す相関項とを含む評価関数が収束するように選定された更新式の反復演算により、前記第１係数行列と前記第２基底行列と前記第２係数行列とを生成する
請求項２の音響処理装置。
【請求項４】
前記行列分解手段は、前記誤差項および前記相関項の少なくとも一方が調整係数により調整された前記評価関数が収束するように選定された更新式の反復演算により、前記第１係数行列と前記第２基底行列と前記第２係数行列とを生成する
請求項３の音響処理装置。
【図１】
【図２】
【図３】
【図５】
【図６】
【図４】
【図２】
【図３】
【図５】
【図６】
【図４】
【公開番号】特開２０１３−３３１９６（Ｐ２０１３−３３１９６Ａ）
【公開日】平成２５年２月１４日（２０１３．２．１４）
【国際特許分類】
【出願番号】特願２０１１−２８４０７５（Ｐ２０１１−２８４０７５）
【出願日】平成２３年１２月２６日（２０１１．１２．２６）
【出願人】（５０４１４３４４１）国立大学法人 奈良先端科学技術大学院大学 (226)
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【公開日】平成２５年２月１４日（２０１３．２．１４）
【国際特許分類】
【出願日】平成２３年１２月２６日（２０１１．１２．２６）
【出願人】（５０４１４３４４１）国立大学法人 奈良先端科学技術大学院大学 (226)
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
[ Back to top ]