音声信号処理装置および音声信号処理方法
【課題】複数の音源の音声信号が含まれている２系統の音声信号から、複数の音源の音声信号を良好に分離することができる音声信号処理装置を提供する。
【解決手段】２系統の音声信号のそれぞれを複数個の周波数帯域に分割する分割手段１０１，１０２と、分割された複数個の周波数帯域の各々における前記２系統の音声信号のレベル比またはレベル差を算出するレベル比較手段１０３と、レベル比較手段で算出されたレベル比またはレベル差が予め定めた値およびその近傍となる周波数帯域の成分を、前記分割手段１０１，１０２の少なくとも一方から抽出して出力する出力制御手段の３個以上とを設ける。３個以上の出力制御手段において抽出して出力する前記周波数帯域成分は、前記レベル比または前記レベル差が、それぞれ互いに異なる前記予め定めた値およびその近傍となる周波数帯域の成分である。
【解決手段】２系統の音声信号のそれぞれを複数個の周波数帯域に分割する分割手段１０１，１０２と、分割された複数個の周波数帯域の各々における前記２系統の音声信号のレベル比またはレベル差を算出するレベル比較手段１０３と、レベル比較手段で算出されたレベル比またはレベル差が予め定めた値およびその近傍となる周波数帯域の成分を、前記分割手段１０１，１０２の少なくとも一方から抽出して出力する出力制御手段の３個以上とを設ける。３個以上の出力制御手段において抽出して出力する前記周波数帯域成分は、前記レベル比または前記レベル差が、それぞれ互いに異なる前記予め定めた値およびその近傍となる周波数帯域の成分である。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、それぞれ複数の音源からの音声信号により構成される２系統（２チャンネル）の入力音声時系列信号から、入力チャンネル数よりも多いチャンネルの音源の音声信号を分離するようにする音声信号処理装置および方法に関する。
【０００２】
また、２チャンネルの入力音声時系列信号から、入力チャンネル数よりも多いチャンネルの音源の音声信号を分離した後、ヘッドホンあるいは２個のスピーカにより再生するための音声信号を生成するようにする音声信号処理装置に関する。
【背景技術】
【０００３】
レコードやコンパクトディスク等に記録された左右２チャンネルのステレオ音楽信号の各チャンネルの音声信号には、複数の音源からの音声信号により構成されるものが多数存在する。このようなステレオ音声信号では、２個のスピーカで再生した場合に、前記複数個の音源のそれぞれがスピーカ間に音像として定位するように、レベル差を付加してそれぞれのチャンネルに記録する場合が多い。
【０００４】
例えば、５個の音源ＭＳ１〜ＭＳ５の信号をＳ１〜Ｓ５とし、これを左右２チャンネルの音声信号ＳＬ，ＳＲとして記録する場合に、
ＳＬ＝Ｓ１＋０．９Ｓ２＋０．７Ｓ３＋０．４Ｓ４
ＳＲ＝Ｓ５＋０．４Ｓ２＋０．７Ｓ３＋０．９Ｓ４
のように、各音源ＭＳ１〜ＭＳ５の信号Ｓ１〜Ｓ５は、左右２チャンネルにおいてレベル差を付けて、それぞれのチャンネルの音声信号中に加算混合するようにする。
【０００５】
このようにレベル差が付けられて音源ＭＳ１〜ＭＳ５の信号が左右２チャンネルの音声信号に振り分けられて記録されたステレオ音声信号を、例えば図３２に示すように、２個のスピーカ１Ｌ、１Ｒで再生すると、リスナ２は、各音源ＭＳ１，ＭＳ２，ＭＳ３，ＭＳ４，ＭＳ５に対応した音像Ａ，Ｂ，Ｃ，Ｄ，Ｅを知覚することができる。また、この音像Ａ，Ｂ，Ｃ，Ｄ，Ｅは、スピーカ１Ｌとスピーカ１Ｒとの間に定位することが知られている。
【０００６】
また、図３３に示すように、リスナ２がヘッドホン装置３を装着して、前述した左右２チャンネルのステレオ音声信号を、当該ヘッドホン装置３の左スピーカユニット３Ｌと、右スピーカユニット３Ｒとで再生した場合には、同図に示すように、リスナ２は、各音源ＭＳ１，ＭＳ２，ＭＳ３，ＭＳ４，ＭＳ５に対応した音像Ａ，Ｂ，Ｃ，Ｄ，Ｅを、頭内あるいはその近傍に知覚することができる。
【０００７】
しかし、このような再生方式では、音像は２個のスピーカあるいはスピーカユニット間の狭いエリアでのみ定位し、さらには音像同士が重なって聞こえる場合も多かった。
【０００８】
音像の重なりを回避するために、図３２の場合には、２個のスピーカ１Ｌ，１Ｒの間隔を広げて配置することも考えられるが、その場合には、センター方向の音像（図３２では音像Ｃ）がぼけて、明確な音像定位が得られなかった。また、当然音源に対応する音像を、リスナの後方や側面方あるいは自由な位置に配置して聴くことはできなかった。
【０００９】
また、同じステレオ音声信号をヘッドホン３で再生した場合は、音像Ａ〜Ｅは、図３３に示すように、左耳近傍から右耳近傍に至る頭内に定位し、ステレオスピーカ再生よりも更に狭い範囲内に、しかも重なった音像が定位し、不自然な再生音場になるという問題があった。
【００１０】
このような問題に対し、例えば２チャンネルステレオ音声信号から、元の音源の３チャンネル以上の音声信号を疑似マルチチャンネル信号として分離合成して、それら分離合成した多チャンネル音声信号により、それら多チャンネルのそれぞれに対応するスピーカにより再生することにより、自然な再生音場を得ることができる。また、例えば、リスナの後方等にも音像が合成されるようにすることができる。
【００１１】
このような目的を達成する方法には、マトリクス回路および方向性強調回路を使う方法がある。図３４を用いて、この原理を説明する。
【００１２】
予め４種類の音源の信号Ｌ、Ｃ、Ｒ、Ｓを用意し、これらの音源信号を用いて、以下の合成式によりエンコード処理して、２個の音源の信号Ｓｉ１，Ｓｉ２を得る。
【００１３】
Ｓｉ１＝Ｌ＋０．７Ｃ＋０．７Ｓ
Ｓｉ２＝Ｒ＋０．７Ｃ−０．７Ｓ
こうして生成した２個（２チャンネル）の信号Ｓｉ１，Ｓｉ２は、ディスクなどの記録メディア等に記録し、当該記録メディアから再生し、図３４のデコード装置１０の入力端子１１，１２に入力する。そして、このデコード装置１０で、信号Ｓｉ１，Ｓｉ２から、４チャンネルの音源信号Ｌ、Ｃ、Ｒ、Ｓを分離する。
【００１４】
具体的には、入力端子１１，１２を通じた入力信号Ｓｉ１及びＳｉ２は、加算回路１３および減算回路１４に供給されて、互いに加算および減算され、それぞれ加算出力信号ＳaddおよびＳdiffなる信号を生成する。このとき、信号Ｓｉ１，Ｓｉ２および信号Ｓadd，Ｓdiffは、以下のように表される。
【００１５】
Ｓｉ１＝Ｌ＋０．７Ｃ＋０．７Ｓ
Ｓｉ２＝Ｒ＋０．７Ｃ−０．７Ｓ
Ｓadd＝１．４Ｃ＋Ｌ＋Ｒ
Ｓdiff＝１．４Ｓ＋Ｌ−Ｒ
したがって、信号Ｓｉ１においては信号Ｌ、信号Ｓｉ２においては信号Ｒが、信号Ｓaddにおいては信号Ｃが、信号Ｓdiffにおいては信号Ｓが、それぞれ他の音源信号よりも３ｄＢレベルが高く、各音源の特徴を最も保持したチャンネル音声となる。そこで、これらの信号Ｓｉ１，信号Ｓｉ２，信号Ｓaddおよび信号Ｓdiffのそれぞれを出力信号とすれば、元の４チャンネルの音源信号Ｌ、Ｃ、Ｒ、Ｓを分離して出力することができることになる。
【００１６】
しかしながら、このままでは、各チャンネル間での音像のセパレーションが不足する。そのため、図３４の例では、更に、それぞれの信号Ｓｉ１，信号Ｓｉ２，信号Ｓaddおよび信号Ｓdiffは、その入力信号レベルに応じて、出力レベルを増強する方向性強調回路１５１，１４２，１５３，１５４を通して出力端子１６１，１６２，１６３，１６４に出力するようにする。
【００１７】
これらの方向性強調回路１５１，１４２，１５３，１５４のそれぞれは、信号Ｓｉ１，信号Ｓｉ２，信号Ｓaddおよび信号Ｓdiffのいずれかのチャンネル信号が、他のチャンネル信号よりもレベルが大きいときに、この大きいチャンネルの信号を動的に増強し、見掛け上、他のチャンネルとのセパレーションを改善する動作を行なう。
【００１８】
次に、他の従来例を、図３５〜図３７を用いて説明する。この例では、図３５に示すように、デコード装置１０において、図３４の例の方向性強調処理部１５１，１４２，１５３，１５４の代わりに、無相関処理部１７１，１７２，１７３，１７４と設ける。
【００１９】
この無相関処理部１７１〜１７４のそれぞれは、例えば図３６（Ａ），（Ｂ），（Ｃ），（Ｄ）、または、図３７（Ａ），（Ｂ），（Ｃ），（Ｄ）に示すような特性を有するフィルタにより構成される。
【００２０】
図３６（Ａ），（Ｂ），（Ｃ），（Ｄ）では、斜線を施した周波数帯域での位相を、互いにずらすことにより、各チャンネルの無相関化を実現するようにしている。また、図３７（Ａ），（Ｂ），（Ｃ），（Ｄ）では、チャンネル間で異なる帯域を除去することにより、チャンネル間の無相関化を実現するようにしている。
【００２１】
図３５の例のデコード装置１０において生成し、出力端子１６１〜１６４から出力した疑似４チャンネル信号を、それぞれ異なるスピーカで再生すると、各チャンネル間の無相関性が確保されるので、広がり感のある音場再生を実現することが可能となる。
【００２２】
参考となる特許文献は、次の通りである。
【特許文献１】特表２００３−５１５７７１号公報
【発明の開示】
【発明が解決しようとする課題】
【００２３】
しかしながら、上述した図３３の方法によれば、信号Ｓｉ１、Ｓｉ２からの、エンコードした３チャンネル以上の音源の分離を、或る程度は実現可能であるが、以下のような問題がある。
【００２４】
（１）１個の音源だけが鳴っている状態では良いセパレーションが得られるが、同時に全ての音源が同程度のレベルで鳴るような場合には、各チャンネル間でレベル差は発生せず、従って方向性強調回路１５１〜１５４が動作しない状態となるので、チャンネル間セパレーションは３ｄＢしか確保することができない。
【００２５】
（２）方向性強調回路１５１〜１５４により、各音源の信号のレベルがダイナミックに変動するので、不自然な音の増減が起きやすい。
【００２６】
（３）隣接する２つの音源が鳴っているときに、一方の音源が他方の音源に引っ張られる場合がある。
【００２７】
（４）分離を想定してエンコードした音源以外での分離効果は少ない。
【００２８】
また、上述した図３４の方法の場合にも、次の様な問題がある。すなわち、図３４の例の無相関処理を用いる方法では、音源の種類に関係せず、周波数帯域の位相をずらしたり、帯域を除去したりするので、広がり感のある音場は得られるが、音源の分離はできず、従って明確な音像を構成することはできない。
【００２９】
２チャンネルのステレオ信号から音源を分離しようとした場合、方向性強調回路による方法では、音源が同時に鳴っている場合の音源間のセパレーションが不足したり、不自然な音量変化があったり、不自然な音源の移動があったり、さらに事前にエンコードした音源を用意しないと十分な効果が得られにくいという問題があった。
【００３０】
また、無相関処理を使った疑似マルチチャンネル方式では、音源の音像が明確に定位しないという問題があった。
【００３１】
この発明は、複数の音源の音声信号が含まれている２系統の音声信号から、前記複数の音源の音声信号を良好に分離することができる音声信号処理装置および方法を提供することを目的とする。
【課題を解決するための手段】
【００３２】
上記の課題を解決するために、請求項１の発明による音声信号処理装置は、
２系統の音声信号のそれぞれを複数個の周波数帯域に分割する分割手段と、
前記分割手段からの前記分割された複数個の周波数帯域の各々における前記２系統の音声信号のレベル比またはレベル差を算出するレベル比較手段と、
前記レベル比較手段で算出された前記レベル比または前記レベル差が予め定めた値およびその近傍となる周波数帯域の成分を、前記分割手段からの前記２系統の音声信号の両方または一方の複数の周波数帯域成分から抽出して出力する出力制御手段の３個以上と、
を備え、前記３個以上の出力制御手段において抽出して出力する前記周波数帯域成分は、前記レベル比または前記レベル差が、それぞれ互いに異なる前記予め定めた値およびその近傍となる周波数帯域の成分である
ことを特徴とする。
【００３３】
この請求項１の発明においては、複数の音源の音声信号は、それぞれ、所定のレベル比あるいはレベル差で、２系統の音声信号に混合されていることを利用する。請求項１の発明においては、分割手段により２系統の音声信号のそれぞれを、複数個の周波数帯域に分割する。
【００３４】
レベル比較手段においては、分割された各周波数帯域ごとに２系統の音声信号のレベル比またはレベル差が算出される。
【００３５】
３個以上の出力制御手段のそれぞれにおいては、レベル比較手段で算出されたレベル比またはレベル差が、それぞれの出力制御手段ごとに予め定めた値およびその近傍となる周波数帯域の信号成分が、２系統の音声信号の両方あるいは一方から抽出される。
【００３６】
ここで、出力制御手段のそれぞれの前記予め定めたレベル比あるいはレベル差が、特定の音源の音声信号が前記２系統の音声信号に混合されているレベル比あるいはレベル差に設定されていれば、当該特定の音源の音声信号を構成する周波数成分が、それぞれの出力制御手段から得られる。つまり、３個以上の出力制御手段のそれぞれから、それぞれ特定の音源の音声信号が抽出される。
【００３７】
請求項２の発明は、
２系統の入力音声時系列信号を、それぞれ周波数領域信号に変換する第１および第２の直交変換手段と、
前記第１の直交変換手段と前記第２の直交変換手段からの対応する周波数分割スペクトル同士のレベル比またはレベル差を比較する周波数分割スペクトル比較手段と、
前記周波数分割スペクトル比較手段における比較結果に基づいて、前記第１の直交変換手段および前記第２の直交変換手段の両方または一方から得られる周波数分割スペクトルのレベルを制御して、前記レベル比または前記レベル差が予め定めた値およびその近傍となる周波数成分を、前記２系統の音声信号の両方または一方から抽出して出力する音源分離手段の３個以上からなる周波数分割スペクトル制御手段と、
前記周波数分割スペクトル制御手段の前記３個以上の音源分離手段のそれぞれからの前記周波数領域信号を、時系列信号に戻す３個以上の逆直交変換手段と、
を備え、前記３個以上の逆直交変換手段のそれぞれから出力音声信号を得ることを特徴とする。
【００３８】
この請求項２の発明においては、２系統の入力音声時系列信号は、それぞれ第１および第２の直交変換手段により周波数領域信号に変換されて、それぞれ複数個の周波数分割スペクトルからなる成分に変換される。
【００３９】
そして、請求項２では、周波数分割スペクトル比較手段において、第１の直交変換手段と第２の直交変換手段からの対応する周波数分割スペクトル同士のレベル比またはレベル差が比較される。
【００４０】
３個以上の出力制御手段のそれぞれにおいては、周波数分割スペクトル比較手段の比較結果に基づいて、第１の直交変換手段と第２の直交変換手段の両方または一方から得られる周波数分割スペクトルのレベルを制御して、前記レベル比または前記レベル差が予め定めた値およびその近傍となる周波数成分を抽出して出力する。そして、抽出した周波数領域信号が時系列信号に戻される。
【００４１】
したがって、複数個の出力制御手段のそれぞれにおいて、予め定めたレベル比あるいはレベル差が、特定の音源の音声信号が前記２系統の音声信号に混合されているレベル比あるいはレベル差に設定されていれば、それぞれの出力制御手段からは、それぞれに設定された特定の音源の音声信号を構成する周波数領域成分が２系統の音声信号の両方または一方から抽出されて得られる。つまり、３個以上の出力制御手段のそれぞれから、２系統の入力音声時系列信号から抽出された特定の音源の音声信号が得られる。
【００４２】
また、請求項３の発明は、
２系統の入力音声時系列信号を、それぞれ周波数領域信号に変換する第１および第２の直交変換手段と、
前記第１の直交変換手段と前記第２の直交変換手段からの、対応する周波数分割スペクトル同士の位相差を算出する位相差算出手段と、
前記位相差算出手段で算出された前記位相差に基づいて、前記第１の直交変換手段と前記第２の直交変換手段の両方または一方の周波数分割スペクトルのレベルを制御して、前記位相差が予め定めた値およびその近傍となる周波数成分を、前記２系統の音声信号の両方または一方から抽出して出力する音源分離手段の３個以上からなる周波数分割スペクトル制御手段と、
前記周波数分割スペクトル制御手段の前記３個以上の音源分離手段のそれぞれからの前記周波数領域信号を、時系列信号に戻す３個以上の逆直交変換手段と、
を備え、前記３個以上の逆直交変換手段のそれぞれから出力音声信号を得ることを特徴とする。
【００４３】
請求項３の発明においては、２系統の入力音声時系列信号は、それぞれ第１および第２の直交変換手段により周波数領域信号に変換されて、それぞれ複数個の周波数分割スペクトルからなる成分に変換される。
【００４４】
そして、請求項３では、位相差算出手段で、第１の直交変換手段と第２の直交変換手段からの対応する周波数分割スペクトル同士の位相差が算出される。
【００４５】
そして、３個以上の音源分離手段のそれぞれにおいては、位相差算出手段の算出結果に基づいて、第１の直交変換手段と第２の直交変換手段の両方または一方から得られる周波数分割スペクトルのレベルを制御して、前記位相差が予め定めた値およびその近傍となる周波数成分を抽出して出力する。そして、抽出した周波数領域信号が時系列信号に戻される。
【００４６】
予め定めた位相差が、特定の音源の音声信号が前記２系統の音声信号に混合されている位相差に設定されていれば、当該特定の音源の音声信号を構成する周波数領域成分が少なくとも２系統の音声信号の少なくとも一方から抽出されて得られる。つまり、３個以上の音源分離手段のそれぞれから、特定の音源の音声信号が抽出される。
【発明の効果】
【００４７】
この発明によれば、２系統の音声信号に対して、所定のレベル比あるいはレベル差、または、所定の位相差をもって、混合された３個以上の複数の音源の音声信号のそれぞれが、前記所定のレベル比あるいはレベル差、または、所定の位相差に基づいて、前記２系統の音声信号の両方または一方から分離されて出力される。
【発明を実施するための最良の形態】
【００４８】
以下、この発明による音声信号処理装置および方法の実施形態を、図を参照しながら説明する。
【００４９】
以下の説明においては、前述もした左チャンネル音声信号ＳＬと、右チャンネル音声信号ＳＲとからなるステレオ音声信号から、音源分離する場合について説明する。
【００５０】
例えば、左チャンネル音声信号ＳＬと、右チャンネル音声信号ＳＲとに、音源ＭＳ１〜ＭＳ５の音声信号Ｓ１〜Ｓ５が、次の（式１）および（式２）に示すような割合で、レベル差が付けられて振り分けられて混合されているものとする。
【００５１】
ＳＬ＝Ｓ１＋０．９Ｓ２＋０．７Ｓ３＋０．４Ｓ４ ・・・（式１）
ＳＲ＝Ｓ５＋０．４Ｓ２＋０．７Ｓ３＋０．９Ｓ４ ・・・（式２）
【００５２】
この（式１）および（式２）を比べると、各音源ＭＳ１〜ＭＳ５の音声信号Ｓ１〜Ｓ５は、上記のようにレベル差を持って、左チャンネル音声信号ＳＬと右チャンネル音声信号ＳＲとに分配されているので、この分配比率によって、音源を再度、左チャンネル音声信号ＳＬおよび／または右チャンネル音声信号ＳＲとから振り分けることができれば、元の音源は分離できる。
【００５３】
以下の実施形態においては、各音源が、一般的には異なるスペクトラム成分を有していることを利用して、左右２チャンネルステレオ音声信号のそれぞれを十分な解像度を有するＦＦＴ処理により周波数領域に変換して、多数個の周波数分割スペクトル成分に分割する。そして、それぞれのチャンネルの音声信号についての、対応する各周波数分割スペクトル同士のレベル比またはレベル差を求める。
【００５４】
そして、求めたレベル比またはレベル差が、（式１），（式２）において、分離したい音源の音声信号のそれぞれについての分配比に対応する周波数分割スペクトルを検出する。そして、前記分離したい音源の音声信号のそれぞれについてのレベル比またはレベル差となっている周波数分割スペクトル成分を検出したときには、当該検出した周波数分割スペクトル成分を、各音源ごとに分離することにより、他の音源からの影響の少ない音源分離を可能にしている。
【００５５】
［この発明の実施形態が適用される音響再生システムの例］
図２は、この発明による音声信号処理装置の第１の実施形態が適用された音響再生システムの構成を示すブロック図である。この例の音響再生システムは、前述した（式１）、式（２）のような５個の音源信号から構成される左右２チャンネルステレオ信号ＳＬ，ＳＲから、前記５個の音源信号を分離し、分離した５個の音源信号を５個のスピーカＳＰ１〜ＳＰ５のそれぞれにより音響再生する。
【００５６】
すなわち、左チャンネル音声信号ＳＬおよび右チャンネル音声信号ＳＲは、入力端子３１および３２をそれぞれ通じて、音声信号処理装置の実施形態としての音声信号処理装置部１００に供給される。この音声信号処理装置部１００では、後述するようにして、左チャンネル音声信号ＳＬおよび右チャンネル音声信号ＳＲから、５個の音源の音声信号Ｓ１´、Ｓ２´、Ｓ３´、Ｓ４´、Ｓ５´を分離抽出する。
【００５７】
この音声信号処理装置部１００で分離抽出された５個の音源の音声信号Ｓ１´、Ｓ２´、Ｓ３´、Ｓ４´、Ｓ５´のそれぞれは、Ｄ／Ａ変換器３３１，３３２，３３３，３３４，３３５のそれぞれによりアナログ信号に変換された後、アンプ３４１，３４２，３４３，３４４，３４５および出力端子３５１，３４２，３５３，３５４，３５５のそれぞれを通じて、スピーカＳＰ１，ＳＰ２，ＳＰ３，ＳＰ４，ＳＰ５のそれぞれに供給され、音響再生される。
【００５８】
ここで、図２の例では、各スピーカＳＰ１，ＳＰ２，ＳＰ３，ＳＰ４，ＳＰ５のそれぞれは、リスナＭの正面方向をスピーカＳＰ３の方向として、リスナＭに対して、後方左、後方右、前センター、前左、前右の位置にそれぞれに置かれており、５個の音源の音声信号Ｓ１´、Ｓ２´、Ｓ３´、Ｓ４´、Ｓ５´のそれぞれは、後方左（ＬＳ；Ｌｅｆｔ−Ｓｕｒｒｏｕｎｄ）チャンネル用、後方右（ＲＳ；Ｒｉｇｈｔ−Ｓｕｒｒｏｕｎｄ）チャンネル用、センターチャンネル用、左（Ｌ）チャンネル用、右（Ｒ）チャンネル用とされている。
【００５９】
［音声信号処理装置部１００の構成（音声信号処理装置の第１の実施形態）］
図１は、音声信号処理装置部１００の第１の例を示すものである。この音声信号処理装置部１００の第１の例においては、２チャンネルステレオ信号のうちの左チャンネル音声信号ＳＬは、直交変換手段の例としてのＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ；高速フーリエ変換）部１０１に供給されて、信号ＳＬがアナログ信号の時にはデジタル信号に変換された後、ＦＦＴ処理（高速フーリエ変換）されて、時系列音声信号が周波数領域データに変換される。なお、信号ＳＬがデジタル信号であるときには、ＦＦＴ部１０１でのアナログ−デジタル変換は不要であることはいうまでもない。
【００６０】
一方、２チャンネルステレオ信号のうちの右チャンネル音声信号ＳＲは、直交変換手段の例としてのＦＦＴ部１０２に供給されて、信号ＳＲがアナログ信号のときにはデジタル信号に変換された後、ＦＦＴ処理（高速フーリエ変換）されて、時系列音声信号が周波数領域データに変換される。なお、信号ＳＲがデジタル信号であるときには、ＦＦＴ部１０２でのアナログ−デジタル変換は不要であることはいうまでもない。
【００６１】
この例のＦＦＴ部１０１および１０２は、同様の構成を備え、各時系列信号ＳＬ，ＳＲを、互いに異なる複数個の周波数の周波数分割スペクトル成分に分割する。ここで、周波数分割スペクトルとして得る周波数分割数は、音源の分離度の精度に応じた多数とされ、例えば５００以上、好ましくは４０００以上の周波数分割数とされる。この周波数分割数は、ＦＦＴ部におけるポイント数に相当する。
【００６２】
各ＦＦＴ部１０１およびＦＦＴ部１０２からの周波数分割スペクトル出力Ｆ１およびＦ２は、それぞれ周波数分割スペクトル比較処理部１０３と、周波数分割スペクトル制御処理部１０４とに供給される。
【００６３】
周波数分割スペクトル比較処理部１０３は、ＦＦＴ部１０１およびＦＦＴ部１０２からの周波数分割スペクトル成分Ｆ１，Ｆ２の、同じ周波数同士のレベル比を算出し、算出したレベル比を周波数分割スペクトル制御処理部１０４に出力する。
【００６４】
周波数分割スペクトル制御処理部１０４は、分離抽出しようとする複数個の音源の音声信号の数に対応する数、この例では、５個の音源分離処理部１０４１，１０４２，１０４３，１０４４，１０４５を備える。この例では、これら５個の音源分離処理部１０４１〜１０４５にそれぞれには、ＦＦＴ部１０１の出力Ｆ１およびＦＦＴ部１０２の出力Ｆ２と、周波数分割スペクトル比較処理部１０３で算出されたレベル比の情報とが供給される。
【００６５】
音源分離処理部１０４１，１０４２，１０４３，１０４４，１０４５のそれぞれは、周波数分割スペクトル比較処理部１０３からのレベル比の情報を受けて、当該レベル比が、分離抽出しようとする音源信号の２チャンネル信号ＳＬ，ＳＲへの分配比と等しいものとなっている周波数分割スペクトル成分のみを、ＦＦＴ部１０１およびＦＦＴ部１０２の出力の少なくとも一方から、この例では両方から抽出し、その抽出結果出力Ｆｅｘ１，Ｆｅｘ２，Ｆｅｘ３，Ｆｅｘ４，Ｆｅｘ５を、それぞれ逆ＦＦＴ部１０５１，１０４２，１０５３，１０５４，１０５５に出力する。
【００６６】
音源分離処理部１０４１，１０４２，１０４３，１０４４，１０４５のそれぞれでは、予め、使用者により、分離すべき音源に応じて、どのようなレベル比の周波数分割スペクトル成分を抽出するかが設定されている。これにより、音源分離処理部１０４１，１０４２，１０４３，１０４４，１０４５のそれぞれからは、使用者が分離したいとして設定されたレベル比で左右２チャンネルに振り分けられている音源の音声信号の周波数分割スペクトル成分のみが抽出されるように構成される。
【００６７】
逆ＦＦＴ部１０５１，１０４２，１０５３，１０５４，１０５５のそれぞれは、周波数分割スペクトル制御処理部１０４の音源分離処理部１０４１，１０４２，１０４３，１０４４，１０４５のそれぞれからの抽出結果出力Ｆｅｘ１，Ｆｅｘ２，Ｆｅｘ３，Ｆｅｘ４，Ｆｅｘ５の周波数分割スペクトル成分を元の時系列信号に変換し、その変換出力信号を、使用者が分離したいとして設定した５個の音源の音声信号Ｓ１´、Ｓ２´、Ｓ３´、Ｓ４´、Ｓ５´として出力端子１０６１，１０６２，１０６３，１０６４，１０６５を通じて出力する。
【００６８】
［周波数分割スペクトル比較処理部１０３の構成］
周波数分割スペクトル比較処理部１０３は、この例では、機能的には、図３に示すような構成を備える。すなわち、周波数分割スペクトル比較処理部１０３は、レベル検出部４１，４２と、レベル比算出部４３，４４と、セレクタ４５１，４５２，４５３，４５４，４５５とからなる。
【００６９】
レベル検出部４１は、ＦＦＴ部１０１からの周波数分割スペクトル成分Ｆ１のそれぞれの周波数成分のレベルを検出し、その検出出力Ｄ１を出力する。また、レベル検出部４２は、ＦＦＴ部１０２からの周波数分割スペクトル成分Ｆ２のそれぞれの周波数成分のレベルを検出し、その検出出力Ｄ２を出力する。この例では、各周波数分割スペクトルのレベルは、振幅スペクトルを検出する。なお、各周波数分割スペクトルのレベルとして、パワースペクトルを検出するようにしてもよい。
【００７０】
そして、レベル比算出部４３は、Ｄ１／Ｄ２を算出する。また、レベル比算出部４４は、その逆数のＤ２／Ｄ１を算出する。レベル比算出部４３およびレベル比算出部４４で算出されたレベル比は、セレクタ４５１，４５２，４５３，４５４，４５５のそれぞれに供給される。そして、セレクタ４５１，４５２，４５３，４５４，４５５のそれぞれから、その一方のレベル比が、出力レベル比ｒ１，ｒ２，ｒ３，ｒ４，ｒ５として取り出される。
【００７１】
セレクタ４５１，４５２，４５３，４５４，４５５のそれぞれには、分離すべきものとして使用者により設定された音源およびそのレベル比に応じて、レベル比算出部４３の出力と、レベル比算出部４４の出力のいずれを選択すべきかを選択制御するための選択制御信号ＳＥＬ１，ＳＥＬ２，ＳＥＬ３，ＳＥＬ４，ＳＥＬ５が供給される。このセレクタ４５１，４５２，４５３，４５４，４５５のそれぞれから得られる出力レベル比ｒは、周波数分割スペクトル制御処理部１０４の音源分離処理部１０４１，１０４２，１０４３，１０４４，１０４５のそれぞれに供給される。
【００７２】
この例においては、周波数分割スペクトル制御処理部１０４の音源分離処理部１０４１，１０４２，１０４３，１０４４，１０４５のそれぞれにおいて、分離すべき音源のレベル比として用いられる値は、常に、レベル比≦１とされている。つまり、音源分離処理部１０４１，１０４２，１０４３，１０４４，１０４５のそれぞれに入力されるレベル比ｒは、レベルの小さい方の周波数分割スペクトルのレベルを、レベルが大きい方の周波数分割スペクトルのレベルで割ったものとされている。
【００７３】
このため、音源分離処理部１０４１，１０４２，１０４３，１０４４，１０４５のそれぞれでは、左チャンネルの音声信号ＳＬの方に、より多く含まれるように分配されている音源の信号を分離する場合には、レベル比算出部４３からのレベル比算出出力が使用され、逆に、右チャンネルの音声信号ＳＲの方に、より多く含まれるように分配されている音源の信号を分離する場合には、レベル比算出部４４からのレベル比算出出力が使用されるようにされている。
【００７４】
例えば、使用者が、分離すべき音源のレベル比として、左チャンネルおよび右チャンネルの信号の分配率の値ＰＬ，ＰＲ（ＰＬ，ＰＲは１以下の値）をそれぞれ設定入力するように定められているものとしたとき、設定された分配率の値ＰＬ，ＰＲが、ＰＲ／ＰＬ≦１であるときには、選択制御信号ＳＥＬ１，ＳＥＬ２，ＳＥＬ３，ＳＥＬ４，ＳＥＬ５は、セレクタ４５１，４５２，４５３，４５４，４５５のそれぞれからレベル比算出部４３の出力（Ｄ２／Ｄ１）を、出力レベル比ｒとして選択する選択制御信号とされ、設定された分配率の値ＰＬ，ＰＲが、ＰＲ／ＰＬ＞１であるときには、選択制御信号ＳＥＬ１，ＳＥＬ２，ＳＥＬ３，ＳＥＬ４，ＳＥＬ５は、セレクタ４５１，４５２，４５３，４５４，４５５のそれぞれからレベル比算出部４４の出力（Ｄ１／Ｄ２）を、出力レベル比ｒとして選択する選択制御信号とされる。
【００７５】
なお、使用者により設定された分配率の値ＰＬ，ＰＲが互いに等しい（レベル比ｒ＝１）ときには、セレクタ４５１，４５２，４５３，４５４，４５５のそれぞれでは、レベル比算出部４３の出力とレベル比算出部４４の出力とのいずれを選択してもよい。
【００７６】
［周波数分割スペクトル制御処理部１０４の音源分離処理部の構成］
周波数分割スペクトル制御処理部１０４の音源分離処理部１０４１，１０４２，１０４３，１０４４，１０４５のそれぞれは、同一の構成を有し、この例では、機能的には、図４に示すような構成を備える。すなわち、図４の音源分離処理部１０４ｉは、音源分離処理部１０４１，１０４２，１０４３，１０４４，１０４５の１つの構成を示したもので、乗算係数発生部５１と、乗算部５２および５３と、加算部５４とからなる。
【００７７】
乗算部５２には、ＦＦＴ部１０１からの周波数分割スペクトル成分Ｆ１が供給されると共に、乗算係数発生部５１からの乗算係数ｗが供給され、両者の乗算結果が、この乗算部５２から加算部５４に供給される。また、乗算部５３には、ＦＦＴ部１０２からの周波数分割スペクトル成分Ｆ２が供給されると共に、乗算係数発生部５１からの乗算係数ｗが供給され、両者の乗算結果が、この乗算部５３から加算部５４に供給される。そして、加算部５４の出力は、音源分離処理部１０４０の出力Ｆｅｘｉ（Ｆｅｘｉは、Ｆｅｘ１，Ｆｅｘ２，Ｆｅｘ３，Ｆｅｘ４，Ｆｅｘ５のいずれかである）とされる。
【００７８】
乗算係数発生部５１は、周波数分割スペクトル比較処理部１０３のセレクタ４５ｉ（セレクタ４５ｉは、セレクタ４５１，４５２，４５３，４５４，４５５のいずれかである）からの出力レベル比ｒｉ（ｒｉは、ｒ１，ｒ２，ｒ３，ｒ４，ｒ５のいずれかである）の出力を受けて、当該レベル比ｒｉに応じた乗算係数ｗｉを発生する。乗算係数発生部５１は、例えば、レベル比ｒｉを変数とした乗算係数ｗｉに関する関数発生回路により構成される。乗算係数発生部５１に使用する関数として、どのような関数が選ばれるかは、分離すべき音源に応じて使用者により設定された分配率の値ＰＬ，ＰＲによる。
【００７９】
乗算係数発生部５１に供給されるレベル比ｒｉは、周波数分割スペクトルの各周波数成分単位で変化するものであるので、乗算係数発生部５１からの乗算係数ｗｉも、周波数分割スペクトルの各周波数成分単位で変化することになる。
【００８０】
したがって、乗算部５２では、ＦＦＴ部１０１からの各周波数分割スペクトルのレベルが、乗算係数ｗｉにより制御され、また、乗算部５３では、ＦＦＴ部１０２からの各周波数分割スペクトルのレベルが、乗算係数ｗｉにより制御される。
【００８１】
図５に、乗算係数発生部５１としての関数発生回路に用いられる関数の例を示す。例えば、前記（式１）および（式２）で示された左右２チャンネルの音声信号ＳＬおよびＳＲから、左右チャンネルの音像間の中央に定位する音源の音声信号Ｓ３を分離する場合には、乗算係数発生部５１としては、図５（ａ）に示されるような特性の関数発生回路が用いられる。
【００８２】
図５（ａ）の関数の特性は、左右チャンネルのレベル比ｒｉが１、あるいは１に近い場合、つまり、左右チャンネルが同レベルあるいは同レベルに近い周波数分割スペクトル成分では、乗算係数ｗｉは１あるいは１近傍となり、左右チャンネルのレベル比ｒが約０．６以下の領域では、乗算係数ｗｉは０となっている。
【００８３】
したがって、乗算係数発生部５１に入力されるレベル比ｒｉが１、または１近傍となっている周波数分割スペクトル成分に対する乗算係数ｗｉは１、あるいは１に近い値となるので、乗算部５２および５３からは、当該周波数分割スペクトル成分は、ほぼそのままのレベルで出力される。一方、乗算係数発生部５１に入力されるレベル比ｒｉが、約０．６以下の値となっている周波数分割スペクトル成分に対する乗算係数ｗｉは０となるので、当該周波数分割スペクトル成分の出力レベルが０とされて、乗算部５２および５３からは出力されなくなる。
【００８４】
すなわち、乗算部５２および５３からは、多数個の周波数分割スペクトル成分のうち、左右同レベルおよびその近傍となっている周波数分割スペクトル成分は、ほぼそのままのレベルで出力され、左右チャンネルのレベル差が大きい周波数分割スペクトル成分は、出力レベルが０とされて出力されなくなる。この結果、左右２チャンネルの音声信号ＳＬ，ＳＲに同レベルで分配された音源の音声信号Ｓ３の周波数分割スペクトル成分のみが加算部５４から得られることになる。
【００８５】
また、例えば、前記（式１）および（式２）で示された左右２チャンネルの音声信号ＳＬおよびＳＲから、左右チャンネルの一方側にのみ定位する音源の音声信号Ｓ１またはＳ５を分離する場合には、乗算係数発生部５１としては、図５（ｂ）に示されるような特性の関数発生回路が用いられる。
【００８６】
この場合において、この実施形態においては、音声信号Ｓ１を分離する場合には、使用者は、分離する音源に対する左右分配率ＰＬ：ＰＲ＝１：０を設定入力する。あるいは、ＰＬ＝１、ＰＲ＝０のように設定入力する。このように使用者が設定すると、セレクタ４５ｉには、レベル比算出部４３からのレベル比を選択するように制御する選択制御信号ＳＥＬｉ（ＳＥＬｉは、ＳＥＬ１，ＳＥＬ２，ＳＥＬ３，ＳＥＬ４，ＳＥＬ５のいずれかである）が与えられる。
【００８７】
一方、音声信号Ｓ５を分離する場合には、使用者は、分離する音源に対する左右分配率ＰＬ：ＰＲ＝０：１を設定入力する。あるいは、ＰＬ＝０、ＰＲ＝１のように設定入力する。このように使用者が設定すると、セレクタ４５ｉには、レベル比算出部４４からのレベル比を選択するように制御する選択制御信号ＳＥＬｉが与えられる。
【００８８】
図５（ｂ）の関数の特性は、左右チャンネルのレベル比ｒｉが０、あるいは０近傍の周波数分割スペクトル成分では、乗算係数ｗｉは１あるいは１近傍の値となり、左右チャンネルのレベル比ｒｉが約０．４以上の領域では、乗算係数ｗｉは０となっている。
【００８９】
したがって、乗算係数発生部５１に入力されるレベル比ｒｉが０、または０近傍となっている周波数分割スペクトル成分に対する乗算係数ｗｉは１、あるいは１に近い値となるので、乗算部５２および５３からは、当該周波数分割スペクトル成分は、ほぼそのままのレベルで出力される。一方、乗算係数発生部５１に入力されるレベル比ｒｉが、約０．４以上の値となっている周波数分割スペクトル成分に対する乗算係数ｗｉは０となるので、当該周波数分割スペクトル成分の出力レベルが０とされて、乗算部５２および５３からは出力されなくなる。
【００９０】
すなわち、乗算部５２および５３からは、多数個の周波数分割スペクトル成分のうち、左右チャンネルの一方が他方に比べて非常に大きいレベルとなっている周波数分割スペクトル成分は、ほぼそのままのレベルで出力され、左右チャンネルのレベル差が少ない周波数分割スペクトル成分は、出力レベルが０とされて出力されなくなる。この結果、左右２チャンネルの音声信号ＳＬ，ＳＲの一方にしか分配されていない音源の音声信号Ｓ１またはＳ５の周波数分割スペクトル成分のみが加算部５４から得られることになる。
【００９１】
また、例えば、前記（式１）および（式２）で示された左右２チャンネルの音声信号ＳＬおよびＳＲから、左右チャンネルに所定のレベル差を持って配分されている音源の音声信号Ｓ２またはＳ４を分離する場合には、乗算係数発生部３１としては、図５（ｃ）に示されるような特性の関数発生回路が用いられる。
【００９２】
すなわち、音声信号Ｓ２は、Ｄ２／Ｄ１（＝ＳＲ／ＳＬ）＝０．４／０．９＝０．４４のレベル比で、左右チャンネルに分配されている。また、音声信号Ｓ４は、Ｄ１／Ｄ２（＝ＳＬ／ＳＲ）＝０．４／０．９＝０．４４のレベル比で、左右チャンネルに分配されている。
【００９３】
この場合において、この実施形態においては、音声信号Ｓ２を分離する場合には、使用者は、分離する音源に対する左右分配率ＰＬ：ＰＲ＝０．９：０．４を設定入力する。あるいは、ＰＬ＝０．９、ＰＲ＝０．４のように設定入力する。このように使用者が設定すると、ＰＲ／ＰＬ＜１であるので、セレクタには、レベル比算出部４３からのレベル比を選択するように制御する選択制御信号が与えられる。
【００９４】
一方、音声信号Ｓ４を分離する場合には、使用者は、分離する音源に対する左右分配率ＰＬ：ＰＲ＝０．４：０．９を設定入力する。あるいは、ＰＬ＝０．４、ＰＲ＝０．９のように設定入力する。このように使用者が設定すると、ＰＲ／ＰＬ＞１であるので、セレクタ４５ｉには、レベル比算出部４４からのレベル比を選択するように制御する選択制御信号ＳＥＬｉが与えられる。
【００９５】
図５（ｃ）の関数の特性は、左右チャンネルのレベル比ｒｉが、Ｄ２／Ｄ１（＝ＰＲ／ＰＬ）＝０．４／０．９＝０．４４では１、あるいはレベル比ｒｉが０．４４に近い周波数分割スペクトル成分では、乗算係数ｗｉは１あるいは１近傍となり、左右チャンネルのレベル比ｒｉが約０．４４近傍以外の領域では、乗算係数ｗｉは０となっている。
【００９６】
したがって、セレクタ４５ｉからのレベル比ｒｉが０．４４、または０．４４近傍となっている周波数分割スペクトル成分に対する乗算係数ｗｉは１、あるいは１に近い値となるので、乗算部５２および５３からは、当該周波数分割スペクトル成分が、ほぼそのままのレベルで出力される。一方、セレクタ４５ｉからのレベル比ｒｉが、約０．４４近傍以下の値および約０．４４近傍以上の値となっている周波数分割スペクトル成分に対する乗算係数ｗｉは０となるので、乗算部５２および５３からは、当該周波数分割スペクトル成分は、出力レベルが０とされて、出力されなくなる。
【００９７】
すなわち、乗算部５２および５３からは、多数個の周波数分割スペクトル成分のうち、左右チャンネルのレベル比が０．４４またはその近傍となっている周波数分割スペクトル成分は、ほぼそのままのレベルで出力され、左右チャンネルのレベル比ｒｉが、約０．４４近傍以下の値および約０．４４近傍以上の値となっている周波数分割スペクトル成分は、出力レベルが０とされて出力されなくなる。
【００９８】
この結果、左右２チャンネルの音声信号ＳＬ，ＳＲに、レベル比が０．４４で分配された音源の音声信号Ｓ２またはＳ４の周波数分割スペクトル成分のみが加算部５４から得られることになる。
【００９９】
以上のようにして、この実施形態によれば、音声分離処理部１０４１，１０４２，１０４３，１０４４，１０４５のそれぞれにおいて、左右２チャンネルに、所定の分配比率で分配された音源の音声信号を、その分配比率に基づいて、当該２チャンネルの音声信号から分離することができる。
【０１００】
この場合に、上述の実施形態では、音声分離処理部１０４１，１０４２，１０４３，１０４４，１０４５のそれぞれにおいて分離したい音源の音声信号は、２チャンネルの音声信号の両方から抽出するようにしたが、必ずしも両チャンネルから分離抽出する必要はなく、分離したい音源の音声信号成分が含まれている一方のチャンネルのみから分離抽出するようにしてもよい。
【０１０１】
また、上述の実施形態では、音声信号処理装置部１００においては、２系統の音声信号に対して分配された音源の信号のレベル比に基づいて、当該２系統の音声信号から前記音源の信号を分離するようにしたが、前記音源の信号の、２系統の音声信号に対するレベル差に基づいて、当該音源の信号を当該２系統の音声信号の少なくとも一方から分離抽出するようにすることもできる。
【０１０２】
なお、以上の説明では、各音源が（式１）、（式２）に従って左右チャンネルに分配された左右２チャンネルステレオ信号を例にして説明したが、意図的に分配されない通常のステレオ音楽信号においても、図５に示した関数の選択特性に従って該当する音源を分離することができる。
【０１０３】
また、例えば、他の例では図５（ｄ），（ｅ）等の様に、関数を変えることにより、分離するレベル比範囲を変える、広くする、狭くするなど、異なる音源選択性を持たせることもできる。
【０１０４】
音源のスペクトラム構成に関しても、多くのステレオ音楽信号は異なるスペクトラムを持つ音源から構成されるが、それらの音源についても、上述と同様にして分離することが可能となる。
【０１０５】
また、スペクトラム重複部が多い音源同士に関しても、ＦＦＴ部１０１，１０２における周波数分解能を上げることにより、例えば４０００ポイント以上のＦＦＴ回路を用いることにより、音源分離の質を更に向上させることができる。
【０１０６】
［第２の実施形態の音声信号処理装置部１００の構成］
上述した第１の実施形態では、分離したい全ての音源の音声信号について音源分離処理部を設け、２系統の音声信号、上述の例では、左右２チャンネルステレオ信号ＳＬ，ＳＲから、分離したい全ての音源の音声信号を、当該音源の音声信号が当該２チャンネルステレオ信号に分配された所定のレベル比あるいはレベル差を用いて、前記２系統の音声信号の一方から分離抽出するようにした。
【０１０７】
しかし、全ての音源の音声信号について、そのように分離抽出する必要はなく、一部の音源の音声信号を左あるいは右チャンネルの音声信号から分離抽出したら、当該分離抽出した音源の音声信号を、左チャンネルあるいは右チャンネルから減算することにより、その残差として他の音源の音声信号を分離抽出することもできる。
【０１０８】
以下に説明する第２の実施形態は、その場合の例である。図６は、その一例を示すブロック図である。
【０１０９】
この図６の例では、左チャンネルの音声信号ＳＬから音源ＭＳ１の音声信号Ｓ１を音源分離処理部を用いて分離抽出するとともに、左チャンネルの音声信号ＳＬから、当該分離抽出した音声信号Ｓ１を減算して、音源ＭＳ２の音声信号Ｓ２と音源ＭＳ３の音声信号Ｓ３の和の信号を得るようにする。
【０１１０】
また、右チャンネルの音声信号ＳＲから音源ＭＳ５の音声信号Ｓ５を音源分離処理部を用いて分離抽出するとともに、右チャンネルの音声信号ＳＲから、当該分離抽出した音声信号Ｓ５を減算して、音源ＭＳ４の音声信号Ｓ４と音源ＭＳ３の音声信号Ｓ３の和の信号を得るようにする。
【０１１１】
すなわち、図６に示すように、この第２の実施形態では、周波数分割スペクトル制御処理部１０４には、音源分離処理部１０４１および１０４５を設けると共に、残差抽出処理部１０４６および１０４７を設ける。
【０１１２】
そして、この第２の実施形態では、音源分離処理部１０４１には、ＦＦＴ部１０１からの左チャンネルの音声信号の周波数領域信号Ｆ１のみが供給されると共に、この信号Ｆ１が残差抽出処理部１０４６に供給される。そして、音源分離処理部１０４１から抽出される音源１の周波数領域信号が残差抽出処理部１０４６に供給されて、周波数領域信号Ｆ１から減算される。
【０１１３】
また、音源分離処理部１０４５には、ＦＦＴ部１０２からの右チャンネルの音声信号の周波数領域信号Ｆ２のみが供給されると共に、この信号Ｆ２が残差抽出処理部１０４７に供給される。そして、音源分離処理部１０４２から抽出される音源ＭＳ５の周波数領域信号が残差抽出処理部１０４７に供給されて、周波数領域信号Ｆ２から減算される。
【０１１４】
そして、周波数分割スペクトル比較処理部１０３からのレベル比ｒ１が音源分離処理部１０４１に供給され、また、周波数分割スペクトル比較処理部１０３からのレベル比ｒ５が音源分離処理部１０４５に供給される。
【０１１５】
したがって、図６の例においては、音源分離処理部１０４１は、図４の乗算係数発生部５１と１個の乗算部５２とからなり、音源分離処理部１０４５は、図４の乗算係数発生部５１と１個の乗算部５３とからなり、加算部５４は、いずれも有しない構成でよい。
【０１１６】
また、周波数分割スペクトル比較処理部１０３は、図３の構成において、セレクタ４５１と４５５とを用いるだけでよいので、セレクタ４５２〜４５４は不要となる。
【０１１７】
この構成において、音源分離処理部１０４１では、周波数領域信号Ｆ１のみから音源ＭＳ１の周波数領域信号のみが抽出され、それが逆ＦＦＴ部１０５１に供給される。したがって、出力端子１０６１には、音源ＭＳ１の時間領域の音声信号Ｓ１´が得られる。
【０１１８】
そして、残差抽出処理部１０４６では、ＦＦＴ部１０１からの周波数領域信号Ｆ１から、音源分離処理部１０４１からの音源ＭＳ１の周波数領域信号が減算され、その残差からなる周波数領域信号が得られる。この残差抽出処理部１０４６からの残差出力としての周波数領域信号は、前記（式１）から、音源ＭＳ２の周波数領域信号と音源ＭＳ３の周波数領域信号との和の信号となる。
【０１１９】
この残差抽出処理部１０４６の出力は、逆ＦＦＴ部１０５６に供給され、この逆ＦＦＴ部１０５６からは、音源ＭＳ２の周波数領域信号と音源ＭＳ３の周波数領域信号との和の信号が時間領域の信号に戻された信号、つまり、音源ＭＳ２と音源ＭＳ３の音声信号の和の信号（Ｓ２´＋Ｓ３´）が得られ、出力端子１０６６から導出される。
【０１２０】
また、音源分離処理部１０４５では、周波数領域信号Ｆ２のみから音源ＭＳ５の周波数領域信号のみが抽出され、それが逆ＦＦＴ部１０５５に供給される。したがって、出力端子１０６５には、音源ＭＳ５の時間領域の音声信号Ｓ５´が得られる。
【０１２１】
そして、残差抽出処理部１０４７では、ＦＦＴ部１０２からの周波数領域信号Ｆ２から、音源分離処理部１０４５からの音源ＭＳ５の周波数領域信号が減算され、その残差からなる周波数領域信号が得られる。この残差抽出処理部１０４７からの残差出力としての周波数領域信号は、前記（式２）から、音源ＭＳ４の周波数領域信号と音源ＭＳ３の周波数領域信号との和の信号となる。
【０１２２】
この残差抽出処理部１０４７の出力は、逆ＦＦＴ部１０５７に供給され、この逆ＦＦＴ部１０５７からは、音源ＭＳ４の周波数領域信号と音源ＭＳ３の周波数領域信号との和の信号が時間領域の信号に戻された信号、つまり、音源ＭＳ４と音源ＭＳ３の音声信号の和の信号（Ｓ４´＋Ｓ３´）が得られ、出力端子１０６７から導出される。
【０１２３】
そして、この第２の実施形態においては、図２において、例えば、音声信号Ｓ３´に対するＤ／Ａ変換器３３３およびアンプ３４３並びにスピーカＳＰ３が除去されると共に、出力端子１０６１，１０６５，１０６６，１０６７からのデジタル音声信号がそれぞれ次のようにしてスピーカにより音響再生される。
【０１２４】
すなわち、出力端子１０６１からのデジタル音声信号Ｓ１´は、D／A変換器３３１によりアナログ音声信号に変換され、アンプ３４１を通じてスピーカＳＰ１に供給されて音響再生され、また、出力端子１０６５からのデジタル音声信号Ｓ５´は、D／A変換器３３５によりアナログ音声信号に変換され、アンプ３４５を通じてスピーカＳＰ５に供給されて音響再生される。
【０１２５】
さらに、出力端子１０６６からのデジタル音声信号（Ｓ２´＋Ｓ３´）は、D／A変換器３３２によりアナログ音声信号に変換され、アンプ３４２を通じてスピーカＳＰ２に供給されて音響再生され、また、出力端子１０６７からのデジタル音声信号（Ｓ４´＋Ｓ３´）は、D／A変換器３３４によりアナログ音声信号に変換され、アンプ３４４を通じてスピーカＳＰ４に供給されて音響再生される。この場合、スピーカＳＰ２およびスピーカＳＰ４のリスナＭに対する配置は、第１の実施形態の場合とは変更しても良い。
【０１２６】
［第３の実施形態の音声信号処理装置部１００の構成］
第３の実施形態は、第２の実施形態の変形例である。すなわち、第２の実施形態では、ＦＦＴ部１０１またはＦＦＴ部１０２からの周波数領域信号Ｆ１またはＦ２から音源分離処理部で分離抽出した特定の音源の周波数領域信号を、ＦＦＴ部１０１またはＦＦＴ部１０２からの周波数領域信号Ｆ１またはＦ２から減算することにより、前記音源分離抽出した音源の信号以外の信号を、周波数領域信号の状態で得るようにした。このため、第２の実施形態では、残差抽出処理部は、周波数分割スペクトル制御処理部１０４内に設けるようにした。
【０１２７】
これに対して、第３の実施形態では、残差抽出処理部は、時間領域において、分離抽出された音源の信号を２系統の入力音声信号の一方から減算するようにするものである。図７は、この第３の実施形態における音声信号処理装置部１００の構成例のブロック図であり、第２の実施形態と同様に、音源ＭＳ１およびＭＳ５の音声成分は、周波数分割スペクトル制御処理部１０４の音源分離処理部で分離抽出するが、他の音源の音声成分は入力音声信号との残差として抽出する場合の例である。
【０１２８】
すなわち、図７に示すように、この第３の実施形態では、周波数分割スペクトル比較処理部１０３は第２の実施形態と同様の構成であるが、周波数分割スペクトル制御処理部１０４は、第２の実施形態とは異なり、音源分離処理部１０４１と音源分離処理部１０４５とからなり、残差抽出処理部は、この周波数分割スペクトル制御処理部１０４には設けられない。
【０１２９】
そして、第３の実施形態では、入力端子３１からに左チャンネルの音声信号ＳＬは、遅延器１０７１を通じて時間領域での信号の残差を抽出する残差抽出処理部１０７２に供給される。そして、逆ＦＦＴ部１０５１からの音源Ｓ１の時間領域の音声信号Ｓ１´が、この残差抽出処理部１０７２に供給されて、遅延器１０７１からの左チャンネルの音声信号ＳＬから減算される。
【０１３０】
したがって、この残差抽出処理部１０７２からの残差出力は、前記（式１）の信号ＳＬから音源ＭＳ１の時間領域の信号Ｓ１´が減算された結果の、音源ＭＳ２の時間領域信号と音源ＭＳ３の時間領域信号との和のデジタル音声信号（Ｓ２´＋Ｓ３´）となる。そして、この和のデジタル音声信号（Ｓ２´＋Ｓ３´）が出力端子１０６８を通じて出力される。
【０１３１】
同様にして、入力端子３２からに右チャンネルの音声信号ＳＲは、遅延器１０７３を通じて時間領域での信号の残差を抽出する残差抽出処理部１０７４に供給される。そして、逆ＦＦＴ部１０５５からの音源Ｓ５の時間領域の音声信号Ｓ５´が、この残差抽出処理部１０７４に供給されて、遅延器１０７３からの右チャンネルの音声信号ＳＲから減算される。
【０１３２】
したがって、この残差抽出処理部１０７４からの残差出力は、前記（式２）の信号ＳＲから音源ＭＳ５の時間領域の信号Ｓ５´が減算された結果の、音源ＭＳ４の時間領域信号と音源ＭＳ３の時間領域信号との和のデジタル音声信号（Ｓ４´＋Ｓ３´）となる。そして、この和のデジタル音声信号（Ｓ４´＋Ｓ３´）が出力端子１０６９を通じて出力される。
【０１３３】
なお、遅延器１０７１および１０７３は、周波数分割スペクトル比較処理部１０３および周波数分割スペクトル制御処理部１０４での処理遅延を考慮して、残差抽出処理部１０７２および１０７４において、減算演算を行なう２信号のタイミングを合致させるようにするために設けられている。
【０１３４】
この第３の実施形態では、図２の音響再生システムにおいて、出力端子１０６１および出力端子１０６５からのデジタル音声信号Ｓ１´およびＳ５´は、第２の実施形態と同様に、D／A変換器３３１および３３５によりアナログ音声信号に変換され、アンプ３４１および３４５を通じてスピーカＳＰ１およびＳＰ５に供給されて音響再生され、また、出力端子１０６８からのデジタル音声信号（Ｓ２´＋Ｓ３´）は、D／A変換器３３２によりアナログ音声信号に変換され、アンプ３４２を通じてスピーカＳＰ２に供給されて音響再生され、さらに、出力端子１０６９からのデジタル音声信号（Ｓ４´＋Ｓ３´）は、D／A変換器３３４によりアナログ音声信号に変換され、アンプ３４４を通じてスピーカＳＰ４に供給されて音響再生される。
【０１３５】
この第３の実施形態によれば、残差抽出処理部１０７２および１０７４は、時間領域で残差を抽出するものであるため、第２の実施形態における逆ＦＦＴ部１０５６および１０５７が不要であり、構成が簡単になるという効果がある。
【０１３６】
［第４の実施形態の音声信号処理装置部１００の構成］
以上の実施形態においては、２チャンネルの音声信号に、各音源の音声信号が分配されるときの位相は、２チャンネルで同相としたが、逆相で音源の音声信号が分配される場合もある。一例として、次の（式３）および（式４）のように、６個の音源ＭＳ１〜ＭＳ６からの音声信号Ｓ１〜Ｓ６が左右２チャンネルに分配されたステレオ音声信号ＳＬ，ＳＲを考える。
【０１３７】
ＳＬ＝Ｓ１＋０．９Ｓ２＋０．７Ｓ３＋０．４Ｓ４＋０．７Ｓ６ ・・・（式３）
ＳＲ＝Ｓ５＋０．４Ｓ２＋０．７Ｓ３＋０．９Ｓ４−０．７Ｓ６ ・・・（式４）
【０１３８】
すなわち、音源ＭＳ３の音声信号Ｓ３と、音源ＭＳ６の音声信号Ｓ６とは、左右チャンネルに、それぞれ同レベルで分配されているが、音源ＭＳ３の音声信号Ｓ３は、左右チャンネルに同相で分配されているのに対して、ＭＳ６の音声信号Ｓ６は、左右チャンネルに逆相で分配されている。
【０１３９】
このため、上述の実施形態と同様にして、位相を考慮せず、レベル比あるいはレベル差のみを用いて音源ＭＳ３の音声信号Ｓ３または音源ＭＳ６の音声信号Ｓ６のいずれかを、周波数分割スペクトル制御処理部１０４の各音源分離処理部で分離抽出しようとしても、音声信号Ｓ３とＳ６とは、同レベルで左右チャンネルに分配されているので、いずれか一方を分離抽出することはできない。
【０１４０】
そこで、この第４の実施形態では、周波数分割スペクトル制御処理部１０４の各音源分離処理部では、レベル比あるいはレベル差を用いて音声成分を上述の実施形態と同様にして分離した後、位相差を用いて更なる分離をすることにより、（式３）、（式４）のような場合における音源ＭＳ３の音声信号Ｓ３と音源ＭＳ６の音声信号Ｓ６をも分離して出力することができるようにする。
【０１４１】
図８は、この第４の実施形態の音声信号処理装置部１００の要部の構成例を示すブロック図である。この図８は、周波数分割スペクトル制御処理部１０４の１つの音源分離処理部についての構成を示したものに相当している。
【０１４２】
この第４の実施形態の音声信号処理装置部１００における周波数分割スペクトル比較処理部１０３は、レベル比較処理部１０３１と、位相比較処理部１０３２とを備える。
【０１４３】
また、この第４の実施形態における周波数分割スペクトル制御処理部１０４は、第１周波数分割スペクトル制御処理部１０４Ａと、位相差に基づいた音源分離処理を実行するための第２の周波数分割スペクトル制御処理部１０４Ｐとを備える。この場合、周波数分割スペクトル制御処理部１０４の各音源分離処理部１０４ｉが、第１周波数分割スペクトル制御処理部１０４Ａの部分と、位相差に基づいた音源分離処理を実行するための第２の周波数分割スペクトル制御処理部１０４Ｐの部分とを備えるものである。
【０１４４】
図９は、この第４の実施形態における周波数分割スペクトル比較処理部１０３と、周波数分割スペクトル制御処理部１０４の、１つの音源分離処理部についての詳細構成例を示すブロック図である。
【０１４５】
すなわち、周波数分割スペクトル比較処理部１０３のレベル比較処理部１０３１は、前述した第１の実施形態の周波数分割スペクトル比較処理部１０３と同様の構成の備え、レベル検出部４１，４２と、レベル比算出部４３，４４と、セレクタ４５とからなる。図３に示したように、セレクタ４５は、周波数分割スペクトル制御処理部１０４が複数個の音源分離処理部を備える場合には、その音源分離処理部の数だけ設けられるのは、前述した通りである。
【０１４６】
そして、周波数分割スペクトル制御処理部１０４の第１周波数分割スペクトル制御処理部１０４Ａも、図４に示した前述の第１の実施形態の周波数分割スペクトル制御処理部１０４における各音源分離処理部１０４ｉとほぼ同様の構成を備え（ただし、加算部５４は有しない）、乗算係数発生部５１と、乗算部５２および５３とからなる音源分離部の構成とされている。
【０１４７】
そして、図８および図９に示すように、レベル比較処理部１０３１からのレベル比出力ｒｉは、第１の実施形態と全く同様にして、第１周波数分割スペクトル制御処理部１０４Ａの乗算係数発生部５１に供給され、この乗算係数発生部５１から当該乗算係数発生部５１に設定された関数に応じた乗算係数ｗｒが発生し、乗算部５２，５３に供給される。
【０１４８】
乗算部５２には、ＦＦＴ部１０１からの周波数分割スペクトル成分Ｆ１が供給されており、当該周波数分割スペクトル成分Ｆ１と乗算係数ｗｒとの乗算結果が、この乗算部５２から得られる。また、乗算部５３には、ＦＦＴ部１０２からの周波数分割スペクトル成分Ｆ２が供給されており、当該周波数分割スペクトル成分Ｆ２と乗算係数ｗｒとの乗算結果が、この乗算部５３から得られる。
【０１４９】
すなわち、乗算部５２，５３からは、ＦＦＴ部１０１，１０２からの周波数分割スペクトル成分Ｆ１，Ｆ２のそれぞれが、乗算係数発生部５１からの乗算係数ｗｒに応じてレベル制御された状態の出力が得られる。
【０１５０】
前述したように、乗算係数発生部５１は、レベル比ｒｉを変数とした乗算係数ｗｒに関する関数発生回路により構成される。乗算係数発生部５１に使用する関数として、どのような関数が選ばれるかは、分離すべき音源の左右２チャンネルの音声信号への分配率による。
【０１５１】
例えば、乗算係数発生部５１には、図５に示したような特性の、乗算係数ｗｒのレベル比ｒｉに関する関数が設定される。例えば、左右２チャンネルに同レベルで分配される音源の音声信号を分離抽出する場合には、前述したように、図５（ａ）に示した特定の関数が、乗算係数発生部５１に設定される。
【０１５２】
そして、この第４の実施形態では、乗算部５２，５３の出力は、それぞれ周波数分割スペクトル比較処理部１０３の位相比較処理部１０３２に供給されると共に、第２周波数分割スペクトル制御処理部１０４Ｐに供給される。
【０１５３】
位相比較処理部１０３２は、図９に示すように、乗算部５２，５３の出力の位相差φを検出する位相差検出部２６からなり、その位相差φの情報を第２周波数分割スペクトル制御処理部１０４２に供給する。この位相差検出部２６は、各音源分離処理部にそれぞれ設けられるものである。
【０１５４】
第２周波数分割スペクトル制御処理部１０４Ｐは、２個の乗算係数発生部６１および６５と、乗算部６２，６３および乗算部６６，６７と、加算部６４および６８とからなる。
【０１５５】
そして、乗算部６２には、第１周波数分割スペクトル制御処理部１０４１の乗算部５２の出力が供給されると共に、乗算係数発生部６１からの乗算係数ｗｐ１が供給され、両者の乗算結果が、この乗算部６２から加算部６４に供給される。また、乗算部６３には、第１周波数分割スペクトル制御処理部１０４Ａの乗算部５３の出力が供給されると共に、乗算係数発生部６１からの乗算係数ｗｐ１が供給され、両者の乗算結果が、この乗算部６３から加算部６４に供給される。そして、加算部６４の出力は、第１の出力Ｆｅｘ１とされる。
【０１５６】
また、乗算部６６には、第１周波数分割スペクトル制御処理部１０４Ａの乗算部５２の出力が供給されると共に、乗算係数発生部６５からの乗算係数ｗｐ２が供給され、両者の乗算結果が、この乗算部６６から加算部６８に供給される。また、乗算部６７には、第１周波数分割スペクトル制御処理部１０４Ａの乗算部５４の出力が供給されると共に、乗算係数発生部６５からの乗算係数ｗｐ２が供給され、両者の乗算結果が、この乗算部６７から加算部６８に供給される。そして、加算部６８の出力は、第２の出力Ｆｅｘ２とされる。
【０１５７】
乗算係数発生部６１および６５は、位相差検出部２６からの位相差φの情報を受けて、当該受けた位相差φに応じた乗算係数ｗｐ１およびｗｐ２を発生する。乗算係数発生部６１および６５は、位相差φを変数とした乗算係数ｗｐに関する関数発生回路により構成される。乗算係数発生部６１および６５に使用する関数として、どのような関数が選ばれるかは、分離すべき音源の前記２チャンネルに対する位相差に応じて、使用者により設定される。
【０１５８】
乗算係数発生部６１および６５に供給される位相差φは、周波数分割スペクトルの各周波数成分単位で変化するものであるので、乗算係数発生部６１および６５からの乗算係数ｗｐ１およびｗｐ２も、周波数分割スペクトルの各周波数成分単位で変化することになる。
【０１５９】
したがって、乗算部６２および乗算部６６では、乗算部５２からの各周波数分割スペクトルのレベルが、乗算係数ｗｐ１およびｗｐ２により制御され、また、乗算部６３および乗算部６７では、乗算部５３からの各周波数分割スペクトルのレベルが、乗算係数ｗｐ１およびｗｐ２により制御される。
【０１６０】
図１０に、乗算係数発生部３０１および３０５としての関数発生回路に用いられる関数の例を示す。
【０１６１】
図１０（ａ）の関数の特性は、左右チャンネルの位相差φが０、あるいは０に近い場合、つまり、左右チャンネルが同相あるいは同相に近い周波数分割スペクトル成分では、乗算係数ｗｐ（ｗｐ１またはｗｐ２に相当）は１あるいは１近傍となり、左右チャンネルの位相差φが約π／４以上の領域では、乗算係数ｗｐは０となっている。
【０１６２】
例えば乗算係数発生部６１に、この図１０（ａ）の特性の関数が設定されている場合において、位相差検出部２６からの位相差φが０、または０近傍となっている周波数分割スペクトル成分に対する乗算係数ｗｐは１、あるいは１に近い値となるので、乗算部６２、６３からは、当該周波数分割スペクトル成分は、ほぼそのままのレベルで出力される。一方、位相差検出部２６からの位相差φが、約π／４以上の値となっている周波数分割スペクトル成分に対する乗算係数ｗｐは０となるので、乗算部６２，６３からは、当該周波数分割スペクトル成分は、出力レベルが０とされて、出力されなくなる。
【０１６３】
すなわち、乗算部６２，６３からは、多数個の周波数分割スペクトル成分のうち、左右同相およびその近傍の位相差となっている周波数分割スペクトル成分は、ほぼそのままのレベルで出力され、左右チャンネルの位相差が大きい周波数分割スペクトル成分は、出力レベルが０とされて出力されなくなる。この結果、左右２チャンネルの音声信号ＳＬ，ＳＲに同相で分配された音源の音声信号の周波数分割スペクトル成分のみが加算部６４から得られることになる。
【０１６４】
つまり、この図１０（ａ）の特性の関数は、左右２チャンネルに同相で分配されている音源の信号を抽出する際に用いられる。
【０１６５】
また、図１０（ｂ）の関数の特性は、左右チャンネルの位相差φがπ、あるいはπに近い場合、つまり、左右チャンネルが逆相あるいは逆相に近い周波数分割スペクトル成分では、乗算係数ｗｐは１あるいは１近傍となり、左右チャンネルの位相差φが約３π／４以下の領域では、乗算係数ｗｐは０となっている。
【０１６６】
例えば乗算係数発生部６１に、この図１０（ｂ）の特性の関数が設定されている場合において、位相差検出部２６からの位相差φがπ、またはπ近傍となっている周波数分割スペクトル成分に対する乗算係数ｗｐは１、あるいは１に近い値となるので、乗算部６２、６３からは、当該周波数分割スペクトル成分は、ほぼそのままのレベルで出力される。一方、位相差検出部２６からの位相差φが、約３π／４以下の値となっている周波数分割スペクトル成分に対する乗算係数ｗｐは０となるので、乗算部６２，６３からは、当該周波数分割スペクトル成分は、出力レベルが０とされて、出力されなくなる。
【０１６７】
すなわち、乗算部６２，６３からは、多数個の周波数分割スペクトル成分のうち、左右逆相およびその近傍の位相差となっている周波数分割スペクトル成分は、ほぼそのままのレベルで出力され、左右チャンネルの位相差が小さい周波数分割スペクトル成分は、出力レベルが０とされて出力されなくなる。この結果、左右２チャンネルの音声信号ＳＬ，ＳＲに逆相で分配された音源の音声信号の周波数分割スペクトル成分のみが加算部６４から得られることになる。
【０１６８】
つまり、この図１０（ｂ）の特性の関数は、左右２チャンネルに逆相で分配されている音源の信号を抽出する際に用いられる。
【０１６９】
同様にして、図１０（ｃ）の特性の関数は、左右チャンネルの位相差φが約π／２、あるいは約π／２に近い場合の周波数分割スペクトル成分では、乗算係数ｗｐは１あるいは１近傍となり、その他の位相差φの領域では、乗算係数ｗｐは０となっている。したがって、この図１０（ｃ）の特性の関数は、左右２チャンネルに、互いに約π／２だけ異なる位相で分配されている音源の信号を抽出する際に用いられる。
【０１７０】
その他、乗算係数発生部６１および６５には、分離する音源の音声信号の２チャンネルへ分配する際の位相差に応じて、図１０（ｄ）や（ｅ）に示すような特性の関数を設定することもできる。
【０１７１】
以上のようにして、周波数分割スペクトル制御処理部１０４の１つの音源分離処理部から得られる第１の出力Ｆｅｘ１および第２の出力Ｆｅｘ２は、逆ＦＦＴ部１５０ａおよび１５０ｂにそれぞれ供給されて、元の時系列の音声信号に戻され、第１および第２の出力信号ＳＯａおよびＳＯｂとして導出される。これら第１および第２の出力信号ＳＯａおよびＳＯｂをアナログ信号として導出する場合には、逆ＦＦＴ部１５０ａおよび１５０ｂの出力段にＤ／Ａ変換器が設けられる。
【０１７２】
この第４の実施形態において、例えば、前記（式３）および（式４）で示された左右２チャンネルの音声信号ＳＬおよびＳＲから、同レベルであるが、同相で左右チャンネルに分配された音源ＭＳ３の音声信号Ｓ３と、逆相で左右チャンネルに分配された音源ＭＳ６の音声信号Ｓ６とを、出力Ｆｅｘ１およびＦｅｘ２として分離する場合には、乗算係数発生部５１には、図５（ａ）に示したような特定の関数が設定され、また、乗算係数発生部６１には、図１０（ａ）に示すような特性となる関数が設定され、さらに乗算係数発生部６５には、図１０（ｂ）に示すような特性となる関数が設定される。
【０１７３】
すると、図８および図９に示すように、周波数分割スペクトル制御処理部１０４の第１周波数分割スペクトル制御処理部１０４Ａの乗算部５２からは、左チャンネルの音声信号ＳＬをＦＦＴした信号（周波数分割スペクトル）のうちの、（Ｓ３＋Ｓ６）なる周波数分割スペクトル成分が得られ、また、乗算部５３からは、右チャンネルの音声信号ＳＲをＦＦＴした信号（周波数分割スペクトル）のうちの、（Ｓ３−Ｓ６）なる周波数分割スペクトル成分が得られる。つまり、信号Ｓ３とＳ６とは、左右チャンネルに同レベルで分配されているので、第１周波数分割スペクトル制御処理部１０４Ａでは、分離できずに出力されることになる。
【０１７４】
しかし、この第４の実施形態では、信号Ｓ３と信号Ｓ６とが逆相で左右チャンネルに分配されていることを利用して、次のようにして、当該信号Ｓ３と、信号Ｓ６とが分離される。
【０１７５】
すなわち、乗算部５２および５３の出力は、周波数分割スペクトル比較処理部１０３の位相比較処理部１０３２を構成する位相差検出部２６に供給されて、両出力の位相差φが検出される。そして、この位相差検出部２６で検出された位相差φの情報は、乗算係数発生部６１に供給されるとともに、乗算係数発生部６５に供給される。
【０１７６】
乗算係数発生部６１では、図１０（ａ）に示すような特性の関数が設定されていることから、乗算部６２，６３では、左右チャンネルに同相で分配されている音源の音声信号を抽出する。すなわち、周波数分割スペクトル成分（Ｓ３＋Ｓ６）と、周波数分割スペクトル成分（Ｓ３−Ｓ６）のうちの、同相関係にある音源ＭＳ３の音声信号Ｓ３の周波数分割スペクトル成分のみが乗算部６２および６３のそれぞれから得られ、加算部６４に供給される。
【０１７７】
したがって、加算部６４からは、音源ＭＳ３の音声信号Ｓ３の周波数分割スペクトル成分が、出力信号Ｆｅｘ１として導出され、逆ＦＦＴ部１５０ａに供給される。そして、分離された音声信号Ｓ３は、逆ＦＦＴ部１５０ａで時系列信号に戻され、出力信号ＳＯａとして出力される。
【０１７８】
一方、乗算係数発生部６５では、図１０（ｂ）に示すような特性の関数が設定されていることから、乗算部６６，６７では、左右チャンネルに逆相で分配されている音源の音声信号を抽出する。すなわち、周波数分割スペクトル成分（Ｓ３＋Ｓ６）と、周波数分割スペクトル成分（Ｓ３−Ｓ６）のうちの、逆相関係にある音源ＭＳ６の音声信号Ｓ６の周波数分割スペクトル成分のみが乗算部６６および６７のそれぞれから得られ、加算部６８に供給される。
【０１７９】
したがって、加算部６８からは、音源ＭＳ６の音声信号Ｓ６の周波数分割スペクトル成分が、出力信号Ｆｅｘ２として導出され、逆ＦＦＴ部１５０ｂに供給される。そして、分離された音声信号Ｓ６は、逆ＦＦＴ部１５０ｂで時系列信号に戻され、出力信号ＳＯｂとして出力される。
【０１８０】
なお、図８および図９に示した実施形態では、第２周波数分割スペクトル制御処理部１０４Ｐでは、第１周波数分割スペクトル制御処理部１０４Ａにおいてレベル比を用いては分離できない２つの信号、上述の例では、同相の信号Ｓ３と、逆相の信号Ｓ６とを、それぞれ乗算係数および乗算部を用いて、それぞれ分離するようにしたが、それらレベル比を用いては分離できない２つの信号の一方を、位相差φと乗算係数を用いて分離したら、当該分離した信号を、第１周波数分割スペクトル制御処理部１０４Ａからの信号の和（乗算部５２の出力と乗算部５３の出力を加算した信号）から減算することにより、前記２つの信号の他方の信号を、分離するようにすることもできる。
【０１８１】
なお、図８、図９の実施形態では、２個の分離音源信号を得るようにしたが、出力する分離音源信号は、１個でもよい。また、位相差φと乗算係数を用いて、より多数個の音源の音声信号を同時に分離する場合にも、この第４の実施形態を適用することができるのは言うまでもない。
【０１８２】
また、図８、図９の実施形態は、２系統の周波数分割スペクトルのレベル比に基づいて、２系統の音声信号に同レベルで分配されている音源成分を抽出した後、その抽出結果の２系統の周波数分割スペクトルについての位相差に基づいて、所望の音源分離を行なうようにしたが、例えば入力音声信号が、（Ｓ３＋Ｓ６）および（Ｓ３−Ｓ６）のような、２系統の音声信号の場合には、位相差のみに基づいて、音源分離を行なうことができることは言うまでもない。
【０１８３】
［第５の実施形態］
以上の実施の形態は、２チャンネルステレオ信号が５個の音源の音声信号からなる場合であって、それら５個の音源の音声信号をそれぞれ分離したり、一部、他の音源信号との和として分離したりする場合であった。
【０１８４】
この第５の実施形態は、上述の実施形態の音源分離の方法は、そのまま用いると共に、低域信号のみのチャンネルの音声信号をも２チャンネルステレオ信号から生成して、いわゆる５．１チャンネルの音声信号を生成し、生成した６個の音声信号により６個のスピーカをドライブするようにするマルチチャンネル音響再生システムの場合である。
【０１８５】
図１１は、この第５の実施形態の場合における音響再生システムの構成例を示すブロック図である。また、図１２は、この図１１の音響再生システムにおける音声信号処理装置部１００の構成例のブロック図である。
【０１８６】
この第５の実施形態では、前述の実施形態の場合における図２に示した５個のスピーカＳＰ１〜ＳＰ５のほかに、低域再生用のスピーカＳＰ６を設ける。そして、この第５の実施形態における音声信号処理装置部１００においては、スピーカＳＰ１〜スピーカＳＰ５に供給する音声信号Ｓ１´〜Ｓ５´は、２チャンネルステレオ信号ＳＬおよびＳＲの高域成分から、前述した第１の実施形態の方法を用いて分離抽出すると共に、低域再生用のスピーカＳＰ６に供給する音声信号Ｓ６´は、２チャンネルステレオ信号ＳＬおよびＳＲの低域成分から生成するようにする。
【０１８７】
すなわち、図１２に示すように、この第５の実施形態においては、ＦＦＴ部１０１からの周波数領域信号Ｆ１は、ハイパスフィルタ１０８１を通じて高域成分のみとされた後、周波数分割スペクトル比較処理部１０３に供給されると共に、周波数分割スペクトル制御処理部１０４に供給される。また、ＦＦＴ部１０２からの周波数領域信号Ｆ２は、ハイパスフィルタ１０８２を通じて高域成分のみとされた後、周波数分割スペクトル比較処理部１０３に供給されると共に、周波数分割スペクトル制御処理部１０４に供給される。
【０１８８】
そして、周波数分割スペクトル比較処理部１０３および周波数分割スペクトル制御処理部１０４において、第１の実施形態で説明したようにして、５個の音源ＭＳ１〜ＭＳ５の周波数領域の音声信号成分が分離抽出され、それらが逆ＦＦＴ部１０５１〜１０５５により時間領域の信号Ｓ１´〜Ｓ５´に戻されて、出力端子１０６１〜１０６５に導出される。
【０１８９】
そして、この第５の実施形態においては、ＦＦＴ部１０１からの周波数領域信号Ｆ１は、ローパスフィルタ１０８３を通じて低域成分のみとされた後、加算部１０８５に供給されると共に、ＦＦＴ部１０２からの周波数領域信号Ｆ２は、ローパスフィルタ１０８４を通じて低域成分のみとされた後、加算部１０８５に供給されて、ローパスフィルタ１０８３からの低域成分と加算される。つまり、信号Ｆ１およびＦ２の低域成分の和が、加算部１０８５から得られる。
【０１９０】
この加算部１０８５からの信号Ｆ１およびＦ２の低域成分の和は、逆ＦＦＴ部１０８８６により時間領域の信号Ｓ６´とされ、出力端子１０８７に導出される。つまり、左右２チャンネルの音声信号ＳＬ，ＳＲの低域成分の和Ｓ６´が、この出力端子１０８７に導出される。そして、この低域成分の和Ｓ６´が、信号ＬＥＦ（Ｌｏｗ Ｅｆｆｅｃｔ Ｆｒｅｑｕｅｎｃｙ）として出力され、Ｄ／Ａ変換器３３６およびアンプ３４６を通じてスピーカＳＰ６に供給される。
【０１９１】
以上のようにして、２チャンネルステレオ音声信号ＳＬ，ＳＲから、５．１チャンネル信号を取り出すマルチチャンネルシステムを実現することができる。
【０１９２】
［第６の実施形態］
この第６の実施形態は、第５の実施形態の音声信号処理装置部１００で生成した５．１チャンネル信号を、さらに信号処理をすることにより、新たに、ＳＢ（Ｓｏｕｎｄ Ｂａｃｋ）チャンネルを分離し、６．１チャンネル信号として出力する例を示している。
【０１９３】
図１３は、音響再生システムにおいて、音声信号処理装置部１００の後段の構成のブロック図である。この第６の実施形態では、前述の第５の実施形態のスピーカＳＰ１〜ＳＰ６に加えて、ＳＢチャンネル再生用のスピーカＳＰ７を設ける。
【０１９４】
そして、音声信号処理装置部１００の後段に、後段信号処理部２００を設け、この後段信号処理部２００において、音声信号処理装置部１００からの５．１チャンネルの音声信号から、ＳＢチャンネルの音声信号を加えた６．１チャンネルの音声信号を生成する。そして、後段信号処理部２００からの５．１チャンネルの音声信号に対して、Ｄ／Ａ変換器３３１〜３３６と、アンプ３４１〜３４６とを設けると共に、加えたＳＢチャンネルのデジタル音声信号をアナログ音声信号に変換するＤ／Ａ変換器３３７と、アンプ３４７とを設ける。
【０１９５】
図１４は、後段信号処理部２００の内部構成例で、デジタル信号Ｓ１´，Ｓ５´は、第２の音声信号処理装置部４００に供給され、この第２の音声信号処理装置部４００において、信号ＬＳ´と、信号ＲＳ´と、信号ＳＢ´が分離されて、出力される。また、後段信号処理部２００では、デジタル音声信号Ｓ２´，Ｓ３´，Ｓ４´およびＳ６´に対しては、遅延器２０１，２０２，２０３，２０４が設けられ、デジタル音声信号Ｓ２´，Ｓ３´，Ｓ４´およびＳ６´は、これらの遅延器２０１，２０２，２０３，２０４により第２の音声信号処理装置部４００での処理遅延時間に対応する時間だけ遅延されて、出力される。
【０１９６】
第２の音声信号処理装置部４００は、音声信号処理装置部１００と基本的な構成は、同一である。この第2の音声信号処理装置部４００では、デジタル信号Ｓ１´，Ｓ５´に同相、同レベルで分配されている信号、つまり，レベル比が１：１となっている信号としてデジタル信号Ｓ１´，Ｓ５´からＳＢ信号を分離抽出する。また、デジタル信号Ｓ１´，Ｓ５´のそれぞれから、デジタル信号Ｓ１´，Ｓ５´の一方に主として含まれている信号として、つまり、レベル比が１：０となっている信号としてデジタル信号ＬＳおよびＲＳを分離抽出する。
【０１９７】
この第２の音声信号処理装置部４００の構成例のブロック図を、図１５に示す。この図１５に示すように、第２の音声信号処理装置部４００においては、デジタル音声信号Ｓ１´は、ＦＦＴ部４０１に供給されて、ＦＦＴ処理されて、時系列音声信号が周波数領域データに再変換される。また、デジタル音声信号Ｓ５´は、ＦＦＴ部４０２に供給されて、ＦＦＴ処理されて、時系列音声信号が周波数領域データに再変換される。
【０１９８】
ＦＦＴ部４０１および４０２は、前述の実施形態のＦＦＴ部１０１および１０２と同様の構成を備える。各ＦＦＴ部４０１およびＦＦＴ部４０２からの周波数分割スペクトル出力Ｆ３およびＦ４は、それぞれ周波数分割スペクトル比較処理部４０３と、周波数分割スペクトル制御処理部４０４とに供給される。
【０１９９】
周波数分割スペクトル比較処理部４０３は、ＦＦＴ部４０１およびＦＦＴ部４０２からの周波数分割スペクトル成分Ｆ３，Ｆ４の、同じ周波数同士のレベル比を算出し、算出したレベル比を周波数分割スペクトル制御処理部４０４に出力する。
【０２００】
周波数分割スペクトル比較処理部４０３は、前述の実施形態の周波数分割スペクトル比較処理部１０３と同様の構成を備えるもので、この例では、レベル検出部４０３１，４０３２と、レベル比算出部４０３３，４０３４と、セレクタ４０３５，４０３６，４０３７とからなる。
【０２０１】
レベル検出部４０３１は、ＦＦＴ部４０１からの周波数分割スペクトル成分Ｆ３のそれぞれの周波数成分のレベルを検出し、その検出出力Ｄ３を出力する。また、レベル検出部４０３２は、ＦＦＴ部４０２からの周波数分割スペクトル成分Ｆ４のそれぞれの周波数成分のレベルを検出し、その検出出力Ｄ４を出力する。この例では、各周波数分割スペクトルのレベルは、振幅スペクトルを検出する。なお、各周波数分割スペクトルのレベルとして、パワースペクトルを検出するようにしてもよい。
【０２０２】
そして、レベル比算出部４０３３は、Ｄ３／Ｄ４を算出する。また、レベル比算出部４０３４は、その逆数のＤ４／Ｄ３を算出する。レベル比算出部４０３３およびレベル比算出部４０３４で算出されたレベル比は、セレクタ４０３５，４０３６，４０３７のそれぞれに供給される。そして、セレクタ４０３５，４０３６，４０３７のそれぞれから、その一方のレベル比が、出力レベル比ｒ６，ｒ７，ｒ８として取り出される。
【０２０３】
セレクタ４０３５，４０３６，４０３７のそれぞれには、分離すべきものとして使用者により設定された音源およびそのレベル比に応じて、レベル比算出部４０３３の出力と、レベル比算出部４０３４の出力のいずれを選択すべきかを選択制御するための選択制御信号ＳＥＬ６，ＳＥＬ７，ＳＥＬ８が供給される。このセレクタ４０３５，４０３６，４０３７のそれぞれから得られる出力レベル比ｒ６、ｒ７、ｒ８は、周波数分割スペクトル制御処理部４０４に供給される。
【０２０４】
周波数分割スペクトル制御処理部４０４は、前述したように、分離抽出しようとする複数個の音源の音声信号の数に対応する数、この例では、３個の音源分離処理部４０４１，４０４２，４０４３を備える。
【０２０５】
この例では、音源分離処理部４０４１にはＦＦＴ部４０１の出力Ｆ３が供給されると共に、周波数分割スペクトル比較処理部４０３のセレクタ４０３５から得られる出力レベル比ｒ６が供給される。また、音源分離処理部４０４２にはＦＦＴ部４０２の出力Ｆ４が供給されると共に、周波数分割スペクトル比較処理部４０３のセレクタ４０３６から得られる出力レベル比ｒ７が供給される。また、音源分離処理部４０４３には、ＦＦＴ部４０１の出力Ｆ３およびＦＦＴ部４０２の出力Ｆ４が供給されると共に、周波数分割スペクトル比較処理部４０３のセレクタ４０３６から得られる出力レベル比ｒ８が供給される。
【０２０６】
この例では、音源分離処理部４０４１は、乗算係数発生部４１１と乗算部４１２とからなり、また、音源分離処理部４０４２は、乗算係数発生部４２１と乗算部４２２とからなる。また、音源分離処理部４０４３は、乗算係数発生部４３１と、乗算部４３２，４３３と、加算部４３４とからなる。
【０２０７】
そして、音源分離処理部４０４１においては、ＦＦＴ部４０１の出力Ｆ３が乗算部４１２に供給されると共に、周波数分割スペクトル比較処理部４０３のセレクタ４０３５から得られる出力レベル比ｒ６が乗算係数発生部４１１に供給される。乗算係数発生部４１１からは、上述と同様にして、入力レベル比ｒ６に応じた乗算係数ｗｉが得られ、乗算部４１２に供給される。
【０２０８】
また、音源分離処理部４０４２においては、ＦＦＴ部４０２の出力Ｆ４が乗算部４２２供給されると共に、周波数分割スペクトル比較処理部４０３のセレクタ４０３６から得られる出力レベル比ｒ７が乗算係数発生部４２１に供給される。乗算係数発生部４１１からは、上述と同様にして、入力レベル比ｒ７に応じた乗算係数ｗｉが得られ、乗算部４２２に供給される。
【０２０９】
また、音源分離処理部４０４３においては、ＦＦＴ部４０１の出力Ｆ３が乗算部４３２に供給され、ＦＦＴ部４０２の出力Ｆ４が乗算部４３３に供給されると共に、周波数分割スペクトル比較処理部４０３のセレクタ４０３６から得られる出力レベル比ｒ８が乗算係数発生部４３１に供給される。乗算係数発生部４１１からは、上述と同様にして、入力レベル比ｒ８に応じた乗算係数ｗｉが得られ、乗算部４３２および４３３に供給される。そして、乗算部４３２および４３３の出力は、加算部４３４で加算された後出、力される。
【０２１０】
音源分離処理部４０４１，４０４２，４０４３のそれぞれは、周波数分割スペクトル比較処理部４０３からのレベル比ｒ６、ｒ７、ｒ８の情報を受けて、当該レベル比が、分離抽出しようとする音源信号の２チャンネル信号Ｓ１´，Ｓ５´への分配比と等しいものとなっている周波数分割スペクトル成分のみを、ＦＦＴ部４０１およびＦＦＴ部４０２の出力の一方または両方から抽出し、その抽出結果出力Ｆｅｘ１１，Ｆｅｘ１２，Ｆｅｘ１３を、それぞれ逆ＦＦＴ部１１０１，１１０２，１１０３に出力する。
【０２１１】
音源分離処理部４０４１の乗算係数発生部４１１には、セレクタ４０３５からのＤ４／Ｄ３なるレベル比ｒ６が供給される。この乗算係数発生部４１１には、図５（ｂ）に示すような関数発生回路が設定され、乗算部４１２からは、主として、信号Ｓ１´のみに含まれる周波数成分が得られ、これが音源分離処理部４０４２の出力信号Ｆｅｘ１１として出力される。
【０２１２】
音源分離処理部４０４２の乗算係数発生部４２１には、セレクタ４０３６からのＤ３／Ｄ４なるレベル比ｒ７が供給される。この乗算係数発生部４２１には、図５（ｂ）に示すような関数発生回路が設定され、乗算部４２２からは、主として、信号Ｓ５´のみに含まれる周波数成分が得られ、これが音源分離処理部４０４２の出力信号Ｆｅｘ１２として出力される。
【０２１３】
音源分離処理部４０４３の乗算係数発生部４３１には、セレクタ４０３７からのＤ４／Ｄ３またはＤ３／Ｄ４のいずれかからなるレベル比ｒ８が供給される。この乗算係数発生部４３１には、図５（ａ）に示すような関数発生回路が設定される。したがって、乗算部４３２および４３３からは、主として、信号Ｓ１´と信号Ｓ５´とに同相、同レベルで含まれる周波数成分が出力され、加算部４３４からは、これら乗算部４３２および４３３からの出力信号の加算出力が得られ、これが音源分離処理部４０４３の出力信号Ｆｅｘ１３として出力される。
【０２１４】
逆ＦＦＴ部１１０１，１１０２，１１０３のそれぞれは、周波数分割スペクトル制御処理部４０４の音源分離処理部４０４１，４０４２，４０４３のそれぞれからの抽出結果出力Ｆｅｘ１１，Ｆｅｘ１２，Ｆｅｘ１３の周波数分割スペクトル成分を元の時系列信号に変換し、その変換出力信号を、使用者が分離したいとして設定した３個の音源の音声信号ＬＳ´、ＲＳ´、ＳＢとして出力端子１２０１，１２０２，１２０３を通じて出力する。
【０２１５】
以上のようにして、この第６の実施形態によれば、５．１チャンネルの音声信号から、６．１チャンネルの音声信号が生成され、７個のスピーカＳＰ１〜ＳＰ７により再生されるシステムが実現される。
【０２１６】
なお、上述の第6の実施形態の説明では、信号ＬＳ´、ＲＳ´は、レベル比を用いて音源分離処理部を用いて音源分離するようにしたが、第３または第４の実施形態と同様に、信号ＳＢを分離した残差として取り出すこともできる。このような構成によれば、ＳＢチャンネルに限らず、マルチチャンネルで入力された音声信号から、更に多くの音源を分離し、再配置することにより、より分離のよい音像定位を持つマルチチャンネルシステムを構成することが可能となる。
【０２１７】
［第７の実施形態］
第７の実施形態の構成例を図１６に示す。この第７の実施形態は、２チャンネルステレオ音声信号ＳＬ，ＳＲを、音声信号処理装置部５００で信号処理して、その信号処理結果の音声信号をヘッドホンにて聞くシステムである。
【０２１８】
図１６に示すように、この第７の実施形態では、２チャンネルステレオ音声信号ＳＬ，ＳＲは、入力端子５１１および５１２をそれぞれ通じて音声信号処理装置部５００に入力される。音声信号処理装置部５００は、第１の信号処理部５０１と、第２の信号処理部５０２からなる。
【０２１９】
第１の信号処理部５０１は、前述した実施形態の音声信号処理装置部１００と同様に構成される。すなわち、第１の信号処理部５０１においては、入力された２チャンネルステレオ信号ＳＬ，ＳＲが、例えば第１の実施形態と同様にして、３チャンネル以上の多チャンネル、例えば５チャンネルのマルチチャンネル信号に変換される。
【０２２０】
次に、第２の信号処理部５０２では、この第１の信号処理部５０１からのマルチチャンネル音声信号を入力として受け、マルチチャンネルの各チャンネルの音声信号に対して、任意の位置に置かれたスピーカからリスナの両耳に至る伝達関数と同等の特性を付加され、再度、２チャンネルの信号ＳＬｏおよびＳＲｏに纏められる。
【０２２１】
そして、第２の信号処理部５０２からの出力信号ＳＬｏおよびＳＲｏが、音声信号処理装置部５００の出力とされて、Ｄ／Ａ変換器５１３および５１４に供給されて、アナログ音声信号に変換され、アンプ５１５および５１６を通じて出力端子５１７および５１８に出力される。そして、出力端子５１７および５１８に接続されるヘッドホン５２０により、音声信号ＳＬｏおよびＳＲｏが音響再生される。
【０２２２】
この、ヘッドホン５２０で、スピーカ再生と同等の特性を実現する原理は以下のようになる。
【０２２３】
図１７は、そのようなヘッドホン装置の一例のブロック図を示すもので、アナログ音声信号ＳＡが、入力端子５２１を通じてＡ／Ｄ変換器５２２に供給されてデジタル音声信号ＳＤに変換される。そして、このデジタル音声信号ＳＤが、デジタルフィルタ５２３および５２４に供給される。
【０２２４】
このデジタルフィルタ５２３および５２４のそれぞれは、図１８に示すように、複数個のサンプル遅延器５３１，５３２・・・５３（ｎ−１）と、フィルタ係数乗算器５４１，５４２、・・・５４ｎと、加算器５５１，５５２、・・・５５（ｎ−１）（ｎは２以上の整数）、からなるＦＩＲ（Ｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタにより構成され、このデジタルフィルタ５２３，５２４のそれぞれにおいて音像の頭外定位のための処理が行われる。
【０２２５】
すなわち、例えば図１９に示すように、リスナＭの前方に音源ＳＰが配置されているとき、この音源ＳＰから出力される音は、伝達関数ＨＬ、ＨＲを持つ経路を通じてリスナＭの左耳および右耳に伝達される。
【０２２６】
そこで、デジタルフィルタ５２３および５２４には、信号ＳＤに対して、伝達関数ＨＬ、ＨＲを時間軸に変換したインパルス応答が畳み込まれる。つまり、伝達関数ＨＬ，ＨＲに対応するフィルタ係数Ｗ１，Ｗ２，・・・，Ｗｎが求められ、音源ＳＰの音声がリスナＭの左耳、右耳に伝達されたときの音声となるような処理がデジタルフィルタ５２３および５２４において行なわれる。なお、デジタルフィルタ５２３，５２４に畳み込まれるインパルス応答は、あらかじめ測定することにより、あるいは計算することにより、算出され、フィルタ係数Ｗ１，Ｗ２，・・・，Ｗｎに変換されて、デジタルフィルタ５２３，５２４に与えられる。
【０２２７】
そして、この処理結果の信号ＳＤ１，ＳＤ２が、Ｄ／Ａコンバータ回路５２５，５２６に供給されてアナログ音声信号ＳＡ１、ＳＡ２に変換され、この信号ＳＡ１、ＳＡ２が、ヘッドホンアンプ５２７および５２８を通じてヘッドホン５２０の左および右の音響ユニット（電気・音響変換素子）に供給されて音響再生される。
【０２２８】
したがって、ヘッドホンの左および右の音響ユニットによる再生音は、伝達関数ＨＬ、ＨＲを持つ経路を通じた音となるので、リスナＭが、ヘッドホン５２０を装着してその再生音を聴くとき、図１９に示すように、その音像ＳＰが頭外に定位する状態が再現される。
【０２２９】
なお、図１７〜図１９を用いて説明した以上の説明は、第１の信号処理部５０１からの１チャンネルの音声信号に対する処理の説明に対応するもので、第２の信号処理部５０２では、第１の信号処理部５０１からのマルチチャンネルの各チャンネルの音声信号に対して、上述の処理を施すものである。そして、左チャンネルあるいは右チャンネルの信号とすべき信号は、それぞれ多チャンネルの信号同士で加算して、それぞれ生成するものである。
【０２３０】
なお、図１７では、Ａ／Ｄ変換器を設けたが、第１の信号処理部５０１の出力は、デジタル音声信号であるので、第２の信号処理部５０２においては、Ａ／Ｄ変換器は不要であることは言うまでもない。
【０２３１】
以上のようにして、第１の信号処理部５０１で分離された複数チャンネルの各音源に対して、第２の信号処理部５０２で上述のようなデジタルフィルタ処理を行なうことにより、複数チャンネルの各音源が任意の位置に音像定位するように、ヘッドホン５２０にて受聴することが可能となる。
【０２３２】
［第８の実施形態］
第８の実施形態の構成例を図２０に示す。この第８の実施形態は、２チャンネルステレオ音声信号ＳＬ，ＳＲを、音声信号処理装置部６００で信号処理して、その信号処理結果の音声信号を、２個のスピーカＳＰＬ，ＳＰＲにて聞くシステムである。
【０２３３】
図２０に示すように、この第８の実施形態では、第７の実施形態と同様に、２チャンネルステレオ音声信号ＳＬ，ＳＲは、入力端子６１１および６１２をそれぞれ通じて音声信号処理装置部６００に入力される。音声信号処理装置部６００は、第１の信号処理部６５０１と、第２の信号処理部６０２からなる。
【０２３４】
第１の信号処理部６０１は、第７の実施形態の第１の信号処理部５０１と全く同様であり、入力された２チャンネルステレオ信号ＳＬ，ＳＲを、例えば第１の実施形態と同様にして、３チャンネル以上の多チャンネル、例えば５チャンネルのマルチチャンネル信号に変換する。
【０２３５】
そして、第２の信号処理部６０２では、第１の信号処理部６０１からのマルチチャンネル音声信号を入力として受け、マルチチャンネルの各チャンネルの音声信号に対して、任意の位置に置かれたスピーカからリスナの両耳に至る伝達関数と同等の特性を、２個のスピーカＳＰＬ，ＳＰＲで再現する特性が付加される。そして、再度、２チャンネルの信号ＳＬｏｐおよびＳＲｏｐに纏められる。
【０２３６】
そして、第２の信号処理部６０２からの出力信号ＳＬｓｐおよびＳＲｓｐが、音声信号処理装置部６００の出力とされて、Ｄ／Ａ変換器６１３および６１４に供給されて、アナログ音声信号に変換され、アンプ６１５および６１６を通じて出力端子６１７および６１８に出力される。そして、出力端子６１７および６１８に接続されるスピーカＳＰＬおよびＳＰＲにより、音声信号ＳＬｓｐおよびＳＲｓｐが音響再生される。
【０２３７】
この、２個のスピーカＳＰＬ，ＳＰＲで、任意の位置のスピーカ再生と同等の特性を実現する原理は以下のようになる。
【０２３８】
図２１は、２個のスピーカにより、任意の位置に音像を定位させるようにする信号処理装置の構成例のブロック図である。
【０２３９】
すなわち、アナログ音声信号ＳＡが、入力端子６２１を通じてＡ／Ｄ変換器６２２に供給されてデジタル音声信号ＳＤに変換される。そして、このデジタル音声信号ＳＤが、例えば前述の図１８に示したデジタルフィルタにより構成されるデジタル処理回路６２３および６２４に供給される。そして、このデジタル処理回路６２３および６２４においては、信号ＳＤに対して、後述する伝達関数を時間軸に変換したインパルス応答が畳み込まれる。
【０２４０】
そして、この処理結果の信号ＳＤＬ、ＳＤＲが、Ｄ／Ａコンバータ回路６２５、６２６に供給されて、アナログ音声信号ＳＡＬ、ＳＡＲに変換され、この信号ＳＡＬ、ＳＡＲが、スピーカアンプ６２７、６２８を通じて、リスナＭの左前方および右前方に配置された左および右チャンネルのスピーカＳＰＬ、ＳＰＲに供給される。
【０２４１】
ここで、デジタル処理回路６２３、６２４における処理は、次のような内容とされる。すなわち、今、図２２に示すように、リスナＭの左前方および右前方に音源ＳＰＬ、ＳＰＲを配置し、これら音源ＳＰＬ、ＳＰＲにより、任意の位置に音源ＳＰＸを等価的に再現する場合を考える。
【０２４２】
そして、
ＨLL：音源ＳＰＬからリスナＭの左耳に至る伝達関数
ＨLR：音源ＳＰＬからリスナＭの右耳に至る伝達関数
ＨRL：音源ＳＰＲからリスナＭの左耳に至る伝達関数
ＨRR：音源ＳＰＲからリスナＭの右耳に至る伝達関数
ＨXL：音源ＳＰＸからリスナＭの左耳に至る伝達関数
ＨXR：音源ＳＰＸからリスナＭの右耳に至る伝達関数
とすると、音源ＳＰＬ、ＳＰＲは、
ＳＰＬ＝（ＨXL×ＨRR−ＨXR×ＨRL）／（ＨLL×ＨRR−ＨLR×ＨRL）×ＳＰＸ
・・・（式５）
ＳＰＲ＝（ＨXR×ＨLL−ＨXL×ＨLR）／（ＨLL×ＨRR−ＨLR×ＨRL）×ＳＰＸ
・・・（式６）
のように表すことができる。
【０２４３】
したがって、音源ＳＰＸに対応する入力音声信号ＳXAを、（式５）の伝達関数部分を実現するフィルタを通じて音源ＳＰＬの位置に配置したスピーカに供給するとともに、信号ＳXAを、（式６）の伝達関数部分を実現するフィルタを通じて音源ＳＰＲの位置に配置したスピーカに供給すれば、音源ＳＰＸの位置に、音声信号ＳＸによる音像を定位させることができる。
【０２４４】
そこで、デジタル処理回路６２３，６２４には、これに供給されたデジタル音声信号ＳＤに対して、（式５）、（式６）の伝達関数部分と同様の伝達関数を時間軸に変換したインパルス応答が畳み込まれる。なお、デジタル処理回路６２３，６２４を構成するデジタルフィルタに畳み込まれるインパルス応答は、あらかじめ測定することにより、あるいは計算することにより、算出され、フィルタ係数Ｗ１，Ｗ２，・・・，Ｗｎに変換されて、デジタル処理回路６２３，６２４に与えられる。
【０２４５】
そして、このデジタル処理回路６２３，６２４の処理結果の信号ＳＤＬ，ＳＤＲが、Ｄ／Ａコンバータ回路６２５，６２６に供給されてアナログ音声信号ＳＡＬ、ＳＡＲに変換され、この信号ＳＡＬ、ＳＡＲが、アンプ６２７および６２８を通じてスピーカＳＰＬ、ＳＰＲに供給されて音響再生される。
【０２４６】
したがって、２個のスピーカＳＰＬ，ＳＰＲの再生音により、アナログ音声信号ＳＡによる音像を、図２２に示すような音源ＳＰＸの位置に定位させることができる。
【０２４７】
なお、図２０〜図２２を用いて説明した以上の説明は、第１の信号処理部６０１からの１チャンネルの音声信号に対する処理の説明に対応するもので、第２の信号処理部６０２では、第１の信号処理部６０１からのマルチチャンネルの各チャンネルの音声信号に対して、上述の処理を施すものである。そして、左チャンネルあるいは右チャンネルの信号とすべき信号は、それぞれ多チャンネルの信号同士で加算して、それぞれ生成するものである。
【０２４８】
なお、図２１では、Ａ／Ｄ変換器を設けたが、第１の信号処理部６０１の出力は、デジタル音声信号であるので、第２の信号処理部６０２においては、Ａ／Ｄ変換器は不要であることは言うまでもない。
【０２４９】
以上のようにして、第１の信号処理部６０１で分離された複数チャンネルの各音源に対して、第２の信号処理部６０２で上述のようなデジタルフィルタ処理を行なうことにより、複数チャンネルの各音源が任意の位置に音像定位するように、２個のスピーカＳＰＬ，ＳＰＲで再現することが可能となる。
【０２５０】
［第９の実施形態］
第９の実施形態の構成例を図２３に示す。この第９の実施形態は、この図２３に示すように、エンコード装置部７１０と、伝送手段７２０と、デコード装置部７３０とからなるエンコード／デコード装置の例である。
【０２５１】
すなわち、この第９の実施形態においては、エンコード装置部７１０で、多チャンネル音声信号を２チャンネルの信号ＳＬ，ＳＲにエンコードし、当該エンコードした２チャンネルの信号の信号ＳＬ，ＳＲを、伝送手段７２０において記録再生、あるいは信号伝送等をした後、デコード装置部７３０により、元の多チャンネル信号を再合成するものである。
【０２５２】
ここで、エンコード装置部７１０は、例えば、図２４に示すような構成とされる。図２４では、入力された多チャンネルの音声信号Ｓ１，Ｓ２，・・・，Ｓｎは、それぞれ減衰器７１１Ｌ、７１２Ｌ、７１３Ｌ、・・・、７１ｎＬによりレベル調整されて、加算器７５１に供給されると共に、それぞれ減衰器７１１Ｒ、７１２Ｒ、７１３Ｒ、・・・、７１ｎＲによりレベル調整されて、加算器７５２に供給される。そして、加算器７５１および７５２から、２チャンネルの信号ＳＬおよびＳＲとして出力される。
【０２５３】
すなわち、多チャンネルの音声信号Ｓ１，Ｓ２，・・・，Ｓｎのそれぞれは、減衰器７１１Ｌ、７１２Ｌ、７１３Ｌ、・・・、７１ｎＬと、減衰器７１１Ｒ、７１２Ｒ、７１３Ｒ、・・・、７１ｎＲとで、異なる比でレベル差が付加され、２チャンネル信号ＳＬ，ＳＲに合成されて、出力される。すなわち、減衰器７１１Ｌ、７１２Ｌ、７１３Ｌ、・・・、７１ｎＬでは、各チャンネルの入力信号を、ｋＬ１、ｋＬ２、ｋＬ３、・・・、ｋＬｎ（ｋＬ１、ｋＬ２、ｋＬ３、・・・、ｋＬｎ≦１）倍のレベルとして出力する。また、減衰器７１１Ｒ、７１２Ｒ、７１３Ｒ、・・・、７１ｎＲでは、各チャンネルの入力信号を、ｋＲ１、ｋＲ２、ｋＲ３、・・・、ｋＲｎ（ｋＲ１、ｋＲ２、ｋＲ３、・・・、ｋＲｎ≦１）倍のレベルとして出力する。
【０２５４】
合成された２チャンネル信号ＳＬ，ＳＲは、例えば光ディスクなどの記録媒体に記録される。そして、当該記録媒体から再生されて伝送される、あるいは、通信回線を通じて伝送される。伝送手段７２０は、そのための記録再生装置や、通信回線を通じて送受する手段からなる。
【０２５５】
伝送手段７２０を通じて伝送された２チャンネルの音声信号ＳＬ，ＳＲは、デコード装置部７３０に与えられ、ここで元の音源が再合成された出力される。このデコード装置部７３０は、上述した第１〜第３の実施形態の音声信号処理装置部１００を含むもので、２チャンネルの音声信号から、エンコード装置部７１０でエンコードされたときの各音源の２チャンネルの音声信号ＳＬ，ＳＲへの混合の際のレベル比を基準にして、もとの多チャンネルの信号を分離復元し、多数個のスピーカにより再生する。
【０２５６】
上述の例では、エンコード装置部７１０では、信号の位相については考慮しなかったが、２チャンネルの信号ＳＬ，ＳＲを生成する際に、位相を考慮することもできる。図２５は、その場合のエンコード装置部７１０の構成例である。
【０２５７】
図２５に示すように、この場合のエンコード装置部７１０においては、減衰器７１１Ｌ、７１２Ｌ、７１３Ｌ、・・・、７１ｎＬと加算器７５１との間には移相器７６１Ｌ、７６２Ｌ、７６３Ｌ、・・・、７６ｎＬが設けられ、減衰器７１１Ｒ、７１２Ｒ、７１３Ｒ、・・・、７１ｎＲと加算器７５２との間には、移相器７６１Ｒ、７６２Ｒ、７６３Ｒ、・・・、７６ｎＲが設けられる。そして、これら移相器７６１Ｌ、７６２Ｌ、７６３Ｌ、・・・、７６ｎＬと、移相器７６１Ｒ、７６２Ｒ、７６３Ｒ、・・・、７６ｎＲとにより、各チャンネルの信号を２チャンネル信号ＳＬ，ＳＲに合成する際において、当該２チャンネル信号ＳＬ，ＳＲ間に位相差を付けることができるようにされている。
【０２５８】
この例の場合には、デコード装置部７３０は、例えば第４の実施形態の音声信号処理装置部１００が用いられる。
【０２５９】
以上のような音響再生システムによれば、音源間のセパレーションに優れたエンコード・デコードシステムを構成することが可能となる。
【０２６０】
［第１０の実施形態］
第１０の実施形態の構成例を図２６に示す。この第１０の実施形態は、２チャンネルステレオ音声入力信号ＳＬ，ＳＲを、音声信号処理装置部８００で信号処理して、その信号処理結果の音声信号を、ヘッドホンあるいは２個のスピーカにて聞くシステムである。
【０２６１】
第７の実施形態および第８の実施形態では、音声信号処理装置部では、第１の信号処理部と、第２の信号処理部とを設けて、第１の信号処理部により、入力ステレオ信号をマルチチャンネル信号に変換し、また、第２の信号処理部では、このマルチチャンネル音声信号を入力として、当該マルチチャンネルの音声信号に対して、任意の位置に置かれたスピーカからリスナの両耳に至る伝達関数と同等の特性や２個のスピーカで任意の位置で定位する音源が得られるような特性を付加するようにした。
【０２６２】
この第１０の実施形態では、これらの第１の信号処理部での処理と、第２の信号処理部での処理を独立に行なうのでなく、一回の時間領域から周波数領域の変換過程で全て行なうものである。
【０２６３】
図２６において、２チャンネルの音声信号ＳＬ，ＳＲを周波数領域の信号に変換し、例えば５チャンネルの周波数領域の音声信号成分に分離するまでの構成は、図１に示したものと同様である。すなわち、この図２６の実施形態においては、ＦＦＴ部１０１および１０２、周波数分割スペクトル比較処理部１０３、周波数分割スペクトル制御処理部１０４までの構成部分を備える。
【０２６４】
そして、周波数分割スペクトル制御処理部１０４からの出力信号を時間領域に変換する前に、この第１０の実施形態では、前述した第７の実施形態の第２の信号処理あるいは第８の実施形態の第２の信号処理に対応する処理を行なう信号処理部９００を設ける。
【０２６５】
この信号処理部９００は、周波数分割スペクトル制御処理部１０４からの５チャンネルの音声信号のそれぞれに対して、左チャンネル信号生成用の係数乗算部９１Ｌ、９２Ｌ，９３Ｌ，９４Ｌ、９５Ｌと、右チャンネル信号生成用の係数乗算部９１Ｒ、９２Ｒ，９３Ｒ，９４Ｒ、９５Ｒとを備える。そして、信号処理部９００は、さらに、左チャンネル信号生成用の係数乗算部９１Ｌ、９２Ｌ，９３Ｌ，９４Ｌ、９５Ｌの出力信号を合成するための加算器９６Ｌと、右チャンネル信号生成用の係数乗算部９１Ｒ、９２Ｒ，９３Ｒ，９４Ｒ、９５Ｒの出力信号を合成するための加算器９６Ｒとを備える。
【０２６６】
係数乗算部９１Ｌ、９２Ｌ，９３Ｌ，９４Ｌ、９５Ｌおよび係数乗算部９１Ｒ、９２Ｒ，９３Ｒ，９４Ｒ、９５Ｒの乗算係数としては、前述した第７の実施形態の第２の信号処理部のデジタルフィルタのフィルタ係数、あるいは、前述した第８の実施形態の第２の信号処理部のデジタル処理回路のフィルタ係数に対応した乗算係数が設定される。
【０２６７】
時間領域での畳み込み積分は、周波数領域では乗算により実現できるので、この第１０の実施形態では、図２６では係数乗算部９１Ｌ、９２Ｌ，９３Ｌ，９４Ｌ、９５Ｌおよび係数乗算部９１Ｒ、９２Ｒ，９３Ｒ，９４Ｒ、９５Ｒにより、分離された各信号に対し、一対の伝達特性を再現する係数が乗算される。
【０２６８】
また、乗算された結果は、加算部９６Ｌおよび９６Ｒでヘッドホンあるいはスピーカに出力するチャンネル同士が加算された後、逆ＦＦＴ部１２０１および１２０２に供給され、時系列データに戻され、２チャンネルの音声信号ＳＬ´およびＳＲ´として出力される。
【０２６９】
そして、逆ＦＦＴ部１２０１および１２０２からの時系列データＳＬ´およびＳＲ´は、図示は省略するが、さらに、Ｄ／Ａ変換器によりそれぞれアナログ信号に戻されて、ヘッドホンあるいは２個のスピーカに供給され、音響再生される。
【０２７０】
このような構成によれば、逆ＦＦＴ処理の回数を減らせると同時に、周波数領域で伝達特性の付加が行なえるので、ロングタップの特性を少ない処理時間で付加することができ、効率的なマルチチャンネル再生システムを構築することが可能となる。
【０２７１】
［第１１の実施形態の音声信号処理装置］
図２７は、第１１の実施形態の音声信号処理装置部の構成例の一部を示すブロック図である。この図２７は、左右２チャンネルの音声信号ＳＬ、ＳＲの一方、左チャンネルの音声信号ＳＬから、デジタルフィルタを用いて、左右チャンネルに所定のレベル比あるいはレベル差で分配された１つの音源の音声信号を分離する構成を示すものである。
【０２７２】
すなわち、左チャンネルの音声信号（この例ではデジタル信号）ＳＬは、タイミング調整用の遅延部１３０１を通じてデジタルフィルタ１３０２に供給される。このデジタルフィルタ１３０２には、後述するようにして、分離したい音源の音声信号の、左右チャンネルに対するレベル比に基づいて形成されるフィルタ係数が供給されて、前記分離したい音源の音声信号が、このデジタルフィルタ１３０２から抽出されるようにされる。
【０２７３】
前記フィルタ係数は、次のようにして形成される。先ず、左右チャンネルの音声信号ＳＬおよびＳＲ（デジタル信号）は、ＦＦＴ部１３０３およびＦＦＴ部１３０４にそれぞれに供給されて、ＦＦＴ処理されて時系列音声信号が周波数領域データに変換され、ＦＦＴ部１３０３およびＦＦＴ部１３０４のそれぞれから、周波数が互いに異なる多数個の周波数分割スペクトル成分が出力される。
【０２７４】
ＦＦＴ部１３０３および１３０４のそれぞれからの周波数分割スペクトル成分のそれぞれは、レベル検出部１３０５，１３０６に供給されて、その振幅スペクトルあるいはパワースペクトルが検出されることにより、そのレベルが検出される。そして、レベル検出部１３０５，１３０６の各々で検出されたレベル値Ｄ１，Ｄ２は、レベル比算出部１３０７に供給され、そのレベル比Ｄ１／Ｄ２またはＤ２／Ｄ１の一方が算出される。
【０２７５】
このレベル比算出部１３０７で算出されたレベル比の値は、重み付け係数発生部１３０８に供給される。この重み付け係数発生部１３０８は、前述の実施形態の乗算係数発生部に対応するものであり、分離したい音源の音声信号の、左右２チャンネルの音声信号に対する混合レベル比およびその近傍のレベル比では大きな値の重み付け係数を出力し、その他のレベル比では小さな重み付け係数を出力する。この重み付け係数は、ＦＦＴ部１３０３，１３０４の出力である周波数分割スペクトル成分の各周波数ごとに得られる。
【０２７６】
この重み付け係数発生部１３０８からの周波数領域の重み付け係数は、フィルタ係数生成部１３０９に供給され、時間軸領域のフィルタ係数に変換される。このフィルタ係数生成部１３０９は、周波数領域の重み付け係数を、逆ＦＦＴを行なうことにより、デジタルフィルタ４２に供給するフィルタ係数を得る。
【０２７７】
そして、このフィルタ係数生成部１３０９からのフィルタ係数が、デジタルフィルタ１３０２に供給されて、デジタルフィルタ１３０２から、重み付け係数発生部１３０８に設定された関数に応じた音源の音声信号成分が分離抽出されて、出力ＳＯとされる。なお、遅延部１３０１は、デジタルフィルタ１３０２に供給されるフィルタ係数が生成されるまでの処理遅延時間を調整するためのものである。
【０２７８】
図２７の例は、レベル比のみを考慮したものであるが、位相差のみ、またレベル比と位相差を合わせて考慮する構成とすることもできる。すなわち、例えばレベル比と位相差とを合わせて考慮する場合には、図示は省略するが、ＦＦＴ部１３０３および１３０４の出力を位相差検出部にも供給すると共に、検出した位相差をも、重み付け係数発生部に供給する。この例の場合の重み付け係数発生部は、分離する音源の左右２チャンネルの音声信号に対するレベル差のみではなく、位相差をも変数として重み付け係数を発生する関数発生回路の構成とされる。
【０２７９】
つまり、この場合の重み付け係数発生部は、分離しようとする音源の音声信号の、左右２チャンネルにおけるレベル比およびその近傍のレベル比のときであって、前記、分離しようとする音源の音声信号の、左右２チャンネルにおける位相差およびその近傍の位相差のときには、大きい重み付け係数を発生し、その他では小さい係数を発生するような関数に設定される。
【０２８０】
そして、その重み付け係数発生部からの重み付け係数が逆ＦＦＴされることにより、デジタルフィルタ１３０２のフィルタ係数とされるものである。
【０２８１】
なお、図２７では、左チャンネルのみから希望する音源の音声信号を分離するようにしたが、右チャンネルの音声信号についても、フィルタ係数を発生する系を、別個に同様に設けることにより、同様に所定の音源の音声信号を分離することができる。
【０２８２】
なお、２チャンネルステレオ信号ＳＬ，ＳＲから３チャンネル以上の多チャンネルの音源信号を分離抽出するためには、図２７の構成部分を、対応するチャンネル数分だけ設ければよい。その場合において、ＦＦＴ部１３０３，１３０４、レベル検出部１３０５，１３０６およびレベル比算出部１３０７は、各チャンネルにおいて共通とすることができる。
【０２８３】
［その他の実施形態の音声信号処理装置］
上述の実施形態において、入力音声信号をＦＦＴする場合、楽音のように長い時系列信号をそのままＦＦＴ処理することは困難なので、所定分析区間に区分けして、当該分析区間ごとの区分データを得ることによりＦＦＴ処理を行なう。
【０２８４】
しかしながら、時系列データを単純に一定の長さだけ取り出し、音源分離処理を行った後、逆ＦＦＴ変換して結合した場合、その結合点において波形の不連続点を発生し、音として聞いた場合、ノイズを発生すると言う問題がある。
【０２８５】
そこで、第１２の実施形態では、区分データを取り出すのに、図２８に示すように、区間１、区間２、区間３、区間４、・・・の長さを、それぞれ同じ長さの単位区間とするが、隣り合う区間では、前記単位区間の長さの例えば１／２の区間分を、互いに重複するように各区間を設定して、各区間の区分データを取り出すようにする。なお、図２８において、ｘ１、ｘ２、ｘ３、・・・、ｘｎは、デジタル音声信号のサンプルデータを示している。
【０２８６】
このようにして処理すると、上述の実施形態のようにして音源分離処理され、逆ＦＦＴ 変換された時系列データも、図２９に示す出力区分データ１，２のように、重複区間を持つことになる。
【０２８７】
そして、この第８の実施形態では、図２９に示すように、重複区間を持って隣り合う出力区分データ、例えば出力区分データ１，２の重複区間に対して、図２９に示すような三角窓の特性となる窓関数１、２の処理を行ない、各出力区分データ１，２の重複区間における同時刻データ同士を加算することにより、図２９に示すような出力合成データを得るようにする。これにより、波形の不連続点の無い、すなわちノイズの無い、分離された出力音声信号が得られる。
【０２８８】
さらに、第１３の実施形態では、区分データを取り出すのに、図３０に示すように、隣り合う区分データの一定区間として、区間１、区間２、区間３、区間４のように、互いに重複して取り出すようにすると同時に、これらの各区間の区分データを、ＦＦＴ処理する前に、図３０に示すような三角窓の窓関数１，２，３，４の、窓関数処理を行なう。
【０２８９】
そして、この図３０に示すような窓関数処理を行なった後、ＦＦＴ変換処理を行なうようにする。そして、しかるべき音源分離処理された信号を、逆ＦＦＴ変換すると、図３１に示すような出力区分データ１、２が得られる。この出力区分データは、既に重複部において窓関数処理されたデータになっているので、出力部では、各重複区分データ部を加算するだけで、波形の不連続点のないノイズの無い、分離された音声信号を得ることが可能となる。
【０２９０】
なお、上述の窓関数としては、三角窓の他、ハニング窓またはハミング窓、あるいはブラックマン窓、などを用いることができる。
【０２９１】
また、上述の実施形態では、時間離散信号を直交変換することにより、周波数領域の信号に変換し、ステレオチャンネル間の周波数分割スペクトルを比較するようにしたが、原理的には時間領域で信号を多数のバンドバスフィルタにより細分化し、各周波数バンドについて同様の処理を行なうように構成するようにしてもよい。ただし、上述の実施形態のように、ＦＦＴ処理をする方が、周波数分解能を上げることが容易であり、分離する音源の分離度を向上させることができるので、実用性が大きい。
【０２９２】
なお、上述の実施形態では、この発明が適用される２系統の音声信号として、２チャンネルステレオ信号について説明したが、この発明は、音源の音声信号が所定のレベル比あるいはレベル差で分配される２つの音声信号であれば、どのような２系統の音声信号であっても適用可能である。位相差についても同様である。
【０２９３】
また、上述の実施形態では、２系統の音声信号についての周波数分割スペクトルのレベル比を求め、乗算係数発生部は、レベル比対乗算係数の関数を用いるようにしたが、２系統の音声信号についての周波数分割スペクトルのレベル差を求め、乗算係数発生部は、当該レベル差対乗算係数の関数を用いるようにしてもよい。
【０２９４】
また、時系列信号を周波数領域の信号に変換する直交変換手段としては、ＦＦＴ処理手段に限られるものではなく、周波数分割スペクトルのレベルや位相を比較することができるものであれば、どのようなものであってもよい。
【図面の簡単な説明】
【０２９５】
【図１】この発明による音声信号処理装置の第１の実施形態の構成例を示すブロック図である。
【図２】第１の実施形態が適用された音響再生システムの構成例を示すブロック図である。
【図３】図１の一部である周波数分割スペクトル比較処理部の構成例を示すブロック図である。
【図４】図１の一部である周波数分割スペクトル制御処理部の構成例を示すブロック図である。
【図５】周波数分割スペクトル制御処理部の乗算係数発生部５１に設定される関数の幾つかの例を示す図である。
【図６】この発明による音声信号処理装置の第２の実施形態の構成例を示すブロック図である。
【図７】この発明による音声信号処理装置の第３の実施形態の構成例を示すブロック図である。
【図８】この発明による音声信号処理装置の第４の実施形態の構成例を示すブロック図である。
【図９】図８の一部の周波数分割スペクトル比較処理部および周波数分割スペクトル制御処理部の構成例を示すブロック図である。
【図１０】図９の乗算係数発生部６１，６５に設定される関数の幾つかの例を示す図である。
【図１１】この発明の第５の実施形態が適用される音響再生システムの構成例を示すブロック図である。
【図１２】この発明による音声信号処理装置の第５の実施形態の構成例を説明するための図である。
【図１３】この発明の第６の実施形態が適用される音響再生システムの構成例を示すブロック図である。
【図１４】この発明による音声信号処理装置の第６の実施形態の構成例を説明するための図である。
【図１５】この発明による音声信号処理装置の第６の実施形態の一部の構成例を説明するための図である。
【図１６】この発明による音声信号処理装置の第７の実施形態の構成例を説明するための図である。
【図１７】第７の実施形態を説明するための図である。
【図１８】第７の実施形態を説明するための図である。
【図１９】第７の実施形態を説明するための図である。
【図２０】この発明による音声信号処理装置の第８の実施形態の構成例を説明するための図である。
【図２１】第８の実施形態を説明するための図である。
【図２２】第８の実施形態を説明するための図である。
【図２３】この発明による音声信号処理装置の第９の実施形態の構成例を説明するための図である。
【図２４】図２３の一部の構成例を示すブロック図である。
【図２５】図２３の一部の他の構成例を示すブロック図である。
【図２６】この発明による音声信号処理装置の第１０の実施形態の構成例を説明するための図である。
【図２７】この発明による音声信号処理装置の第１１の実施形態の構成例を説明するための図である。
【図２８】この発明による音声信号処理装置の第１２の実施形態の構成例を説明するための図である。
【図２９】この発明による音声信号処理装置の第１２の実施形態の構成例を説明するための図である。
【図３０】この発明による音声信号処理装置の第１３の実施形態の構成例を説明するための図である。
【図３１】この発明による音声信号処理装置の第１３の実施形態の構成例を説明するための図である。
【図３２】複数の音源からなる２チャンネルの信号による音像定位を説明するための図である。
【図３３】複数の音源からなる２チャンネルの信号による音像定位を説明するための図である。
【図３４】従来の、特定音源の音声信号の分離装置を説明するためのブロック図である。
【図３５】従来の、特定音源の音声信号の分離装置を説明するためのブロック図である。
【図３６】従来の、特定音源の音声信号の分離装置を説明するためのブロック図である。
【図３７】従来の、特定音源の音声信号の分離装置を説明するためのブロック図である。
【符号の説明】
【０２９６】
１００…音声信号処理装置、１０１，１０２…ＦＦＴ部、１０３…周波数分割スペクトル比較処理部、１０４…周波数分割スペクトル制御処理部、１０４１、１０４２，１０４３，１０４４，１０４５…音源分離処理部、１０５１，１０５２，１０５３，１０５４，１０５５…逆ＦＦＴ部、４１，４２…レベル検出部、４３，４４…レベル比算出部、４５１，４５２，４５３，４５４，４５５…セレクタ、５１…乗算係数発生部、５２，５３…乗算部、５４…加算部、１０３２…位相比較処理部
【技術分野】
【０００１】
この発明は、それぞれ複数の音源からの音声信号により構成される２系統（２チャンネル）の入力音声時系列信号から、入力チャンネル数よりも多いチャンネルの音源の音声信号を分離するようにする音声信号処理装置および方法に関する。
【０００２】
また、２チャンネルの入力音声時系列信号から、入力チャンネル数よりも多いチャンネルの音源の音声信号を分離した後、ヘッドホンあるいは２個のスピーカにより再生するための音声信号を生成するようにする音声信号処理装置に関する。
【背景技術】
【０００３】
レコードやコンパクトディスク等に記録された左右２チャンネルのステレオ音楽信号の各チャンネルの音声信号には、複数の音源からの音声信号により構成されるものが多数存在する。このようなステレオ音声信号では、２個のスピーカで再生した場合に、前記複数個の音源のそれぞれがスピーカ間に音像として定位するように、レベル差を付加してそれぞれのチャンネルに記録する場合が多い。
【０００４】
例えば、５個の音源ＭＳ１〜ＭＳ５の信号をＳ１〜Ｓ５とし、これを左右２チャンネルの音声信号ＳＬ，ＳＲとして記録する場合に、
ＳＬ＝Ｓ１＋０．９Ｓ２＋０．７Ｓ３＋０．４Ｓ４
ＳＲ＝Ｓ５＋０．４Ｓ２＋０．７Ｓ３＋０．９Ｓ４
のように、各音源ＭＳ１〜ＭＳ５の信号Ｓ１〜Ｓ５は、左右２チャンネルにおいてレベル差を付けて、それぞれのチャンネルの音声信号中に加算混合するようにする。
【０００５】
このようにレベル差が付けられて音源ＭＳ１〜ＭＳ５の信号が左右２チャンネルの音声信号に振り分けられて記録されたステレオ音声信号を、例えば図３２に示すように、２個のスピーカ１Ｌ、１Ｒで再生すると、リスナ２は、各音源ＭＳ１，ＭＳ２，ＭＳ３，ＭＳ４，ＭＳ５に対応した音像Ａ，Ｂ，Ｃ，Ｄ，Ｅを知覚することができる。また、この音像Ａ，Ｂ，Ｃ，Ｄ，Ｅは、スピーカ１Ｌとスピーカ１Ｒとの間に定位することが知られている。
【０００６】
また、図３３に示すように、リスナ２がヘッドホン装置３を装着して、前述した左右２チャンネルのステレオ音声信号を、当該ヘッドホン装置３の左スピーカユニット３Ｌと、右スピーカユニット３Ｒとで再生した場合には、同図に示すように、リスナ２は、各音源ＭＳ１，ＭＳ２，ＭＳ３，ＭＳ４，ＭＳ５に対応した音像Ａ，Ｂ，Ｃ，Ｄ，Ｅを、頭内あるいはその近傍に知覚することができる。
【０００７】
しかし、このような再生方式では、音像は２個のスピーカあるいはスピーカユニット間の狭いエリアでのみ定位し、さらには音像同士が重なって聞こえる場合も多かった。
【０００８】
音像の重なりを回避するために、図３２の場合には、２個のスピーカ１Ｌ，１Ｒの間隔を広げて配置することも考えられるが、その場合には、センター方向の音像（図３２では音像Ｃ）がぼけて、明確な音像定位が得られなかった。また、当然音源に対応する音像を、リスナの後方や側面方あるいは自由な位置に配置して聴くことはできなかった。
【０００９】
また、同じステレオ音声信号をヘッドホン３で再生した場合は、音像Ａ〜Ｅは、図３３に示すように、左耳近傍から右耳近傍に至る頭内に定位し、ステレオスピーカ再生よりも更に狭い範囲内に、しかも重なった音像が定位し、不自然な再生音場になるという問題があった。
【００１０】
このような問題に対し、例えば２チャンネルステレオ音声信号から、元の音源の３チャンネル以上の音声信号を疑似マルチチャンネル信号として分離合成して、それら分離合成した多チャンネル音声信号により、それら多チャンネルのそれぞれに対応するスピーカにより再生することにより、自然な再生音場を得ることができる。また、例えば、リスナの後方等にも音像が合成されるようにすることができる。
【００１１】
このような目的を達成する方法には、マトリクス回路および方向性強調回路を使う方法がある。図３４を用いて、この原理を説明する。
【００１２】
予め４種類の音源の信号Ｌ、Ｃ、Ｒ、Ｓを用意し、これらの音源信号を用いて、以下の合成式によりエンコード処理して、２個の音源の信号Ｓｉ１，Ｓｉ２を得る。
【００１３】
Ｓｉ１＝Ｌ＋０．７Ｃ＋０．７Ｓ
Ｓｉ２＝Ｒ＋０．７Ｃ−０．７Ｓ
こうして生成した２個（２チャンネル）の信号Ｓｉ１，Ｓｉ２は、ディスクなどの記録メディア等に記録し、当該記録メディアから再生し、図３４のデコード装置１０の入力端子１１，１２に入力する。そして、このデコード装置１０で、信号Ｓｉ１，Ｓｉ２から、４チャンネルの音源信号Ｌ、Ｃ、Ｒ、Ｓを分離する。
【００１４】
具体的には、入力端子１１，１２を通じた入力信号Ｓｉ１及びＳｉ２は、加算回路１３および減算回路１４に供給されて、互いに加算および減算され、それぞれ加算出力信号ＳaddおよびＳdiffなる信号を生成する。このとき、信号Ｓｉ１，Ｓｉ２および信号Ｓadd，Ｓdiffは、以下のように表される。
【００１５】
Ｓｉ１＝Ｌ＋０．７Ｃ＋０．７Ｓ
Ｓｉ２＝Ｒ＋０．７Ｃ−０．７Ｓ
Ｓadd＝１．４Ｃ＋Ｌ＋Ｒ
Ｓdiff＝１．４Ｓ＋Ｌ−Ｒ
したがって、信号Ｓｉ１においては信号Ｌ、信号Ｓｉ２においては信号Ｒが、信号Ｓaddにおいては信号Ｃが、信号Ｓdiffにおいては信号Ｓが、それぞれ他の音源信号よりも３ｄＢレベルが高く、各音源の特徴を最も保持したチャンネル音声となる。そこで、これらの信号Ｓｉ１，信号Ｓｉ２，信号Ｓaddおよび信号Ｓdiffのそれぞれを出力信号とすれば、元の４チャンネルの音源信号Ｌ、Ｃ、Ｒ、Ｓを分離して出力することができることになる。
【００１６】
しかしながら、このままでは、各チャンネル間での音像のセパレーションが不足する。そのため、図３４の例では、更に、それぞれの信号Ｓｉ１，信号Ｓｉ２，信号Ｓaddおよび信号Ｓdiffは、その入力信号レベルに応じて、出力レベルを増強する方向性強調回路１５１，１４２，１５３，１５４を通して出力端子１６１，１６２，１６３，１６４に出力するようにする。
【００１７】
これらの方向性強調回路１５１，１４２，１５３，１５４のそれぞれは、信号Ｓｉ１，信号Ｓｉ２，信号Ｓaddおよび信号Ｓdiffのいずれかのチャンネル信号が、他のチャンネル信号よりもレベルが大きいときに、この大きいチャンネルの信号を動的に増強し、見掛け上、他のチャンネルとのセパレーションを改善する動作を行なう。
【００１８】
次に、他の従来例を、図３５〜図３７を用いて説明する。この例では、図３５に示すように、デコード装置１０において、図３４の例の方向性強調処理部１５１，１４２，１５３，１５４の代わりに、無相関処理部１７１，１７２，１７３，１７４と設ける。
【００１９】
この無相関処理部１７１〜１７４のそれぞれは、例えば図３６（Ａ），（Ｂ），（Ｃ），（Ｄ）、または、図３７（Ａ），（Ｂ），（Ｃ），（Ｄ）に示すような特性を有するフィルタにより構成される。
【００２０】
図３６（Ａ），（Ｂ），（Ｃ），（Ｄ）では、斜線を施した周波数帯域での位相を、互いにずらすことにより、各チャンネルの無相関化を実現するようにしている。また、図３７（Ａ），（Ｂ），（Ｃ），（Ｄ）では、チャンネル間で異なる帯域を除去することにより、チャンネル間の無相関化を実現するようにしている。
【００２１】
図３５の例のデコード装置１０において生成し、出力端子１６１〜１６４から出力した疑似４チャンネル信号を、それぞれ異なるスピーカで再生すると、各チャンネル間の無相関性が確保されるので、広がり感のある音場再生を実現することが可能となる。
【００２２】
参考となる特許文献は、次の通りである。
【特許文献１】特表２００３−５１５７７１号公報
【発明の開示】
【発明が解決しようとする課題】
【００２３】
しかしながら、上述した図３３の方法によれば、信号Ｓｉ１、Ｓｉ２からの、エンコードした３チャンネル以上の音源の分離を、或る程度は実現可能であるが、以下のような問題がある。
【００２４】
（１）１個の音源だけが鳴っている状態では良いセパレーションが得られるが、同時に全ての音源が同程度のレベルで鳴るような場合には、各チャンネル間でレベル差は発生せず、従って方向性強調回路１５１〜１５４が動作しない状態となるので、チャンネル間セパレーションは３ｄＢしか確保することができない。
【００２５】
（２）方向性強調回路１５１〜１５４により、各音源の信号のレベルがダイナミックに変動するので、不自然な音の増減が起きやすい。
【００２６】
（３）隣接する２つの音源が鳴っているときに、一方の音源が他方の音源に引っ張られる場合がある。
【００２７】
（４）分離を想定してエンコードした音源以外での分離効果は少ない。
【００２８】
また、上述した図３４の方法の場合にも、次の様な問題がある。すなわち、図３４の例の無相関処理を用いる方法では、音源の種類に関係せず、周波数帯域の位相をずらしたり、帯域を除去したりするので、広がり感のある音場は得られるが、音源の分離はできず、従って明確な音像を構成することはできない。
【００２９】
２チャンネルのステレオ信号から音源を分離しようとした場合、方向性強調回路による方法では、音源が同時に鳴っている場合の音源間のセパレーションが不足したり、不自然な音量変化があったり、不自然な音源の移動があったり、さらに事前にエンコードした音源を用意しないと十分な効果が得られにくいという問題があった。
【００３０】
また、無相関処理を使った疑似マルチチャンネル方式では、音源の音像が明確に定位しないという問題があった。
【００３１】
この発明は、複数の音源の音声信号が含まれている２系統の音声信号から、前記複数の音源の音声信号を良好に分離することができる音声信号処理装置および方法を提供することを目的とする。
【課題を解決するための手段】
【００３２】
上記の課題を解決するために、請求項１の発明による音声信号処理装置は、
２系統の音声信号のそれぞれを複数個の周波数帯域に分割する分割手段と、
前記分割手段からの前記分割された複数個の周波数帯域の各々における前記２系統の音声信号のレベル比またはレベル差を算出するレベル比較手段と、
前記レベル比較手段で算出された前記レベル比または前記レベル差が予め定めた値およびその近傍となる周波数帯域の成分を、前記分割手段からの前記２系統の音声信号の両方または一方の複数の周波数帯域成分から抽出して出力する出力制御手段の３個以上と、
を備え、前記３個以上の出力制御手段において抽出して出力する前記周波数帯域成分は、前記レベル比または前記レベル差が、それぞれ互いに異なる前記予め定めた値およびその近傍となる周波数帯域の成分である
ことを特徴とする。
【００３３】
この請求項１の発明においては、複数の音源の音声信号は、それぞれ、所定のレベル比あるいはレベル差で、２系統の音声信号に混合されていることを利用する。請求項１の発明においては、分割手段により２系統の音声信号のそれぞれを、複数個の周波数帯域に分割する。
【００３４】
レベル比較手段においては、分割された各周波数帯域ごとに２系統の音声信号のレベル比またはレベル差が算出される。
【００３５】
３個以上の出力制御手段のそれぞれにおいては、レベル比較手段で算出されたレベル比またはレベル差が、それぞれの出力制御手段ごとに予め定めた値およびその近傍となる周波数帯域の信号成分が、２系統の音声信号の両方あるいは一方から抽出される。
【００３６】
ここで、出力制御手段のそれぞれの前記予め定めたレベル比あるいはレベル差が、特定の音源の音声信号が前記２系統の音声信号に混合されているレベル比あるいはレベル差に設定されていれば、当該特定の音源の音声信号を構成する周波数成分が、それぞれの出力制御手段から得られる。つまり、３個以上の出力制御手段のそれぞれから、それぞれ特定の音源の音声信号が抽出される。
【００３７】
請求項２の発明は、
２系統の入力音声時系列信号を、それぞれ周波数領域信号に変換する第１および第２の直交変換手段と、
前記第１の直交変換手段と前記第２の直交変換手段からの対応する周波数分割スペクトル同士のレベル比またはレベル差を比較する周波数分割スペクトル比較手段と、
前記周波数分割スペクトル比較手段における比較結果に基づいて、前記第１の直交変換手段および前記第２の直交変換手段の両方または一方から得られる周波数分割スペクトルのレベルを制御して、前記レベル比または前記レベル差が予め定めた値およびその近傍となる周波数成分を、前記２系統の音声信号の両方または一方から抽出して出力する音源分離手段の３個以上からなる周波数分割スペクトル制御手段と、
前記周波数分割スペクトル制御手段の前記３個以上の音源分離手段のそれぞれからの前記周波数領域信号を、時系列信号に戻す３個以上の逆直交変換手段と、
を備え、前記３個以上の逆直交変換手段のそれぞれから出力音声信号を得ることを特徴とする。
【００３８】
この請求項２の発明においては、２系統の入力音声時系列信号は、それぞれ第１および第２の直交変換手段により周波数領域信号に変換されて、それぞれ複数個の周波数分割スペクトルからなる成分に変換される。
【００３９】
そして、請求項２では、周波数分割スペクトル比較手段において、第１の直交変換手段と第２の直交変換手段からの対応する周波数分割スペクトル同士のレベル比またはレベル差が比較される。
【００４０】
３個以上の出力制御手段のそれぞれにおいては、周波数分割スペクトル比較手段の比較結果に基づいて、第１の直交変換手段と第２の直交変換手段の両方または一方から得られる周波数分割スペクトルのレベルを制御して、前記レベル比または前記レベル差が予め定めた値およびその近傍となる周波数成分を抽出して出力する。そして、抽出した周波数領域信号が時系列信号に戻される。
【００４１】
したがって、複数個の出力制御手段のそれぞれにおいて、予め定めたレベル比あるいはレベル差が、特定の音源の音声信号が前記２系統の音声信号に混合されているレベル比あるいはレベル差に設定されていれば、それぞれの出力制御手段からは、それぞれに設定された特定の音源の音声信号を構成する周波数領域成分が２系統の音声信号の両方または一方から抽出されて得られる。つまり、３個以上の出力制御手段のそれぞれから、２系統の入力音声時系列信号から抽出された特定の音源の音声信号が得られる。
【００４２】
また、請求項３の発明は、
２系統の入力音声時系列信号を、それぞれ周波数領域信号に変換する第１および第２の直交変換手段と、
前記第１の直交変換手段と前記第２の直交変換手段からの、対応する周波数分割スペクトル同士の位相差を算出する位相差算出手段と、
前記位相差算出手段で算出された前記位相差に基づいて、前記第１の直交変換手段と前記第２の直交変換手段の両方または一方の周波数分割スペクトルのレベルを制御して、前記位相差が予め定めた値およびその近傍となる周波数成分を、前記２系統の音声信号の両方または一方から抽出して出力する音源分離手段の３個以上からなる周波数分割スペクトル制御手段と、
前記周波数分割スペクトル制御手段の前記３個以上の音源分離手段のそれぞれからの前記周波数領域信号を、時系列信号に戻す３個以上の逆直交変換手段と、
を備え、前記３個以上の逆直交変換手段のそれぞれから出力音声信号を得ることを特徴とする。
【００４３】
請求項３の発明においては、２系統の入力音声時系列信号は、それぞれ第１および第２の直交変換手段により周波数領域信号に変換されて、それぞれ複数個の周波数分割スペクトルからなる成分に変換される。
【００４４】
そして、請求項３では、位相差算出手段で、第１の直交変換手段と第２の直交変換手段からの対応する周波数分割スペクトル同士の位相差が算出される。
【００４５】
そして、３個以上の音源分離手段のそれぞれにおいては、位相差算出手段の算出結果に基づいて、第１の直交変換手段と第２の直交変換手段の両方または一方から得られる周波数分割スペクトルのレベルを制御して、前記位相差が予め定めた値およびその近傍となる周波数成分を抽出して出力する。そして、抽出した周波数領域信号が時系列信号に戻される。
【００４６】
予め定めた位相差が、特定の音源の音声信号が前記２系統の音声信号に混合されている位相差に設定されていれば、当該特定の音源の音声信号を構成する周波数領域成分が少なくとも２系統の音声信号の少なくとも一方から抽出されて得られる。つまり、３個以上の音源分離手段のそれぞれから、特定の音源の音声信号が抽出される。
【発明の効果】
【００４７】
この発明によれば、２系統の音声信号に対して、所定のレベル比あるいはレベル差、または、所定の位相差をもって、混合された３個以上の複数の音源の音声信号のそれぞれが、前記所定のレベル比あるいはレベル差、または、所定の位相差に基づいて、前記２系統の音声信号の両方または一方から分離されて出力される。
【発明を実施するための最良の形態】
【００４８】
以下、この発明による音声信号処理装置および方法の実施形態を、図を参照しながら説明する。
【００４９】
以下の説明においては、前述もした左チャンネル音声信号ＳＬと、右チャンネル音声信号ＳＲとからなるステレオ音声信号から、音源分離する場合について説明する。
【００５０】
例えば、左チャンネル音声信号ＳＬと、右チャンネル音声信号ＳＲとに、音源ＭＳ１〜ＭＳ５の音声信号Ｓ１〜Ｓ５が、次の（式１）および（式２）に示すような割合で、レベル差が付けられて振り分けられて混合されているものとする。
【００５１】
ＳＬ＝Ｓ１＋０．９Ｓ２＋０．７Ｓ３＋０．４Ｓ４ ・・・（式１）
ＳＲ＝Ｓ５＋０．４Ｓ２＋０．７Ｓ３＋０．９Ｓ４ ・・・（式２）
【００５２】
この（式１）および（式２）を比べると、各音源ＭＳ１〜ＭＳ５の音声信号Ｓ１〜Ｓ５は、上記のようにレベル差を持って、左チャンネル音声信号ＳＬと右チャンネル音声信号ＳＲとに分配されているので、この分配比率によって、音源を再度、左チャンネル音声信号ＳＬおよび／または右チャンネル音声信号ＳＲとから振り分けることができれば、元の音源は分離できる。
【００５３】
以下の実施形態においては、各音源が、一般的には異なるスペクトラム成分を有していることを利用して、左右２チャンネルステレオ音声信号のそれぞれを十分な解像度を有するＦＦＴ処理により周波数領域に変換して、多数個の周波数分割スペクトル成分に分割する。そして、それぞれのチャンネルの音声信号についての、対応する各周波数分割スペクトル同士のレベル比またはレベル差を求める。
【００５４】
そして、求めたレベル比またはレベル差が、（式１），（式２）において、分離したい音源の音声信号のそれぞれについての分配比に対応する周波数分割スペクトルを検出する。そして、前記分離したい音源の音声信号のそれぞれについてのレベル比またはレベル差となっている周波数分割スペクトル成分を検出したときには、当該検出した周波数分割スペクトル成分を、各音源ごとに分離することにより、他の音源からの影響の少ない音源分離を可能にしている。
【００５５】
［この発明の実施形態が適用される音響再生システムの例］
図２は、この発明による音声信号処理装置の第１の実施形態が適用された音響再生システムの構成を示すブロック図である。この例の音響再生システムは、前述した（式１）、式（２）のような５個の音源信号から構成される左右２チャンネルステレオ信号ＳＬ，ＳＲから、前記５個の音源信号を分離し、分離した５個の音源信号を５個のスピーカＳＰ１〜ＳＰ５のそれぞれにより音響再生する。
【００５６】
すなわち、左チャンネル音声信号ＳＬおよび右チャンネル音声信号ＳＲは、入力端子３１および３２をそれぞれ通じて、音声信号処理装置の実施形態としての音声信号処理装置部１００に供給される。この音声信号処理装置部１００では、後述するようにして、左チャンネル音声信号ＳＬおよび右チャンネル音声信号ＳＲから、５個の音源の音声信号Ｓ１´、Ｓ２´、Ｓ３´、Ｓ４´、Ｓ５´を分離抽出する。
【００５７】
この音声信号処理装置部１００で分離抽出された５個の音源の音声信号Ｓ１´、Ｓ２´、Ｓ３´、Ｓ４´、Ｓ５´のそれぞれは、Ｄ／Ａ変換器３３１，３３２，３３３，３３４，３３５のそれぞれによりアナログ信号に変換された後、アンプ３４１，３４２，３４３，３４４，３４５および出力端子３５１，３４２，３５３，３５４，３５５のそれぞれを通じて、スピーカＳＰ１，ＳＰ２，ＳＰ３，ＳＰ４，ＳＰ５のそれぞれに供給され、音響再生される。
【００５８】
ここで、図２の例では、各スピーカＳＰ１，ＳＰ２，ＳＰ３，ＳＰ４，ＳＰ５のそれぞれは、リスナＭの正面方向をスピーカＳＰ３の方向として、リスナＭに対して、後方左、後方右、前センター、前左、前右の位置にそれぞれに置かれており、５個の音源の音声信号Ｓ１´、Ｓ２´、Ｓ３´、Ｓ４´、Ｓ５´のそれぞれは、後方左（ＬＳ；Ｌｅｆｔ−Ｓｕｒｒｏｕｎｄ）チャンネル用、後方右（ＲＳ；Ｒｉｇｈｔ−Ｓｕｒｒｏｕｎｄ）チャンネル用、センターチャンネル用、左（Ｌ）チャンネル用、右（Ｒ）チャンネル用とされている。
【００５９】
［音声信号処理装置部１００の構成（音声信号処理装置の第１の実施形態）］
図１は、音声信号処理装置部１００の第１の例を示すものである。この音声信号処理装置部１００の第１の例においては、２チャンネルステレオ信号のうちの左チャンネル音声信号ＳＬは、直交変換手段の例としてのＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ；高速フーリエ変換）部１０１に供給されて、信号ＳＬがアナログ信号の時にはデジタル信号に変換された後、ＦＦＴ処理（高速フーリエ変換）されて、時系列音声信号が周波数領域データに変換される。なお、信号ＳＬがデジタル信号であるときには、ＦＦＴ部１０１でのアナログ−デジタル変換は不要であることはいうまでもない。
【００６０】
一方、２チャンネルステレオ信号のうちの右チャンネル音声信号ＳＲは、直交変換手段の例としてのＦＦＴ部１０２に供給されて、信号ＳＲがアナログ信号のときにはデジタル信号に変換された後、ＦＦＴ処理（高速フーリエ変換）されて、時系列音声信号が周波数領域データに変換される。なお、信号ＳＲがデジタル信号であるときには、ＦＦＴ部１０２でのアナログ−デジタル変換は不要であることはいうまでもない。
【００６１】
この例のＦＦＴ部１０１および１０２は、同様の構成を備え、各時系列信号ＳＬ，ＳＲを、互いに異なる複数個の周波数の周波数分割スペクトル成分に分割する。ここで、周波数分割スペクトルとして得る周波数分割数は、音源の分離度の精度に応じた多数とされ、例えば５００以上、好ましくは４０００以上の周波数分割数とされる。この周波数分割数は、ＦＦＴ部におけるポイント数に相当する。
【００６２】
各ＦＦＴ部１０１およびＦＦＴ部１０２からの周波数分割スペクトル出力Ｆ１およびＦ２は、それぞれ周波数分割スペクトル比較処理部１０３と、周波数分割スペクトル制御処理部１０４とに供給される。
【００６３】
周波数分割スペクトル比較処理部１０３は、ＦＦＴ部１０１およびＦＦＴ部１０２からの周波数分割スペクトル成分Ｆ１，Ｆ２の、同じ周波数同士のレベル比を算出し、算出したレベル比を周波数分割スペクトル制御処理部１０４に出力する。
【００６４】
周波数分割スペクトル制御処理部１０４は、分離抽出しようとする複数個の音源の音声信号の数に対応する数、この例では、５個の音源分離処理部１０４１，１０４２，１０４３，１０４４，１０４５を備える。この例では、これら５個の音源分離処理部１０４１〜１０４５にそれぞれには、ＦＦＴ部１０１の出力Ｆ１およびＦＦＴ部１０２の出力Ｆ２と、周波数分割スペクトル比較処理部１０３で算出されたレベル比の情報とが供給される。
【００６５】
音源分離処理部１０４１，１０４２，１０４３，１０４４，１０４５のそれぞれは、周波数分割スペクトル比較処理部１０３からのレベル比の情報を受けて、当該レベル比が、分離抽出しようとする音源信号の２チャンネル信号ＳＬ，ＳＲへの分配比と等しいものとなっている周波数分割スペクトル成分のみを、ＦＦＴ部１０１およびＦＦＴ部１０２の出力の少なくとも一方から、この例では両方から抽出し、その抽出結果出力Ｆｅｘ１，Ｆｅｘ２，Ｆｅｘ３，Ｆｅｘ４，Ｆｅｘ５を、それぞれ逆ＦＦＴ部１０５１，１０４２，１０５３，１０５４，１０５５に出力する。
【００６６】
音源分離処理部１０４１，１０４２，１０４３，１０４４，１０４５のそれぞれでは、予め、使用者により、分離すべき音源に応じて、どのようなレベル比の周波数分割スペクトル成分を抽出するかが設定されている。これにより、音源分離処理部１０４１，１０４２，１０４３，１０４４，１０４５のそれぞれからは、使用者が分離したいとして設定されたレベル比で左右２チャンネルに振り分けられている音源の音声信号の周波数分割スペクトル成分のみが抽出されるように構成される。
【００６７】
逆ＦＦＴ部１０５１，１０４２，１０５３，１０５４，１０５５のそれぞれは、周波数分割スペクトル制御処理部１０４の音源分離処理部１０４１，１０４２，１０４３，１０４４，１０４５のそれぞれからの抽出結果出力Ｆｅｘ１，Ｆｅｘ２，Ｆｅｘ３，Ｆｅｘ４，Ｆｅｘ５の周波数分割スペクトル成分を元の時系列信号に変換し、その変換出力信号を、使用者が分離したいとして設定した５個の音源の音声信号Ｓ１´、Ｓ２´、Ｓ３´、Ｓ４´、Ｓ５´として出力端子１０６１，１０６２，１０６３，１０６４，１０６５を通じて出力する。
【００６８】
［周波数分割スペクトル比較処理部１０３の構成］
周波数分割スペクトル比較処理部１０３は、この例では、機能的には、図３に示すような構成を備える。すなわち、周波数分割スペクトル比較処理部１０３は、レベル検出部４１，４２と、レベル比算出部４３，４４と、セレクタ４５１，４５２，４５３，４５４，４５５とからなる。
【００６９】
レベル検出部４１は、ＦＦＴ部１０１からの周波数分割スペクトル成分Ｆ１のそれぞれの周波数成分のレベルを検出し、その検出出力Ｄ１を出力する。また、レベル検出部４２は、ＦＦＴ部１０２からの周波数分割スペクトル成分Ｆ２のそれぞれの周波数成分のレベルを検出し、その検出出力Ｄ２を出力する。この例では、各周波数分割スペクトルのレベルは、振幅スペクトルを検出する。なお、各周波数分割スペクトルのレベルとして、パワースペクトルを検出するようにしてもよい。
【００７０】
そして、レベル比算出部４３は、Ｄ１／Ｄ２を算出する。また、レベル比算出部４４は、その逆数のＤ２／Ｄ１を算出する。レベル比算出部４３およびレベル比算出部４４で算出されたレベル比は、セレクタ４５１，４５２，４５３，４５４，４５５のそれぞれに供給される。そして、セレクタ４５１，４５２，４５３，４５４，４５５のそれぞれから、その一方のレベル比が、出力レベル比ｒ１，ｒ２，ｒ３，ｒ４，ｒ５として取り出される。
【００７１】
セレクタ４５１，４５２，４５３，４５４，４５５のそれぞれには、分離すべきものとして使用者により設定された音源およびそのレベル比に応じて、レベル比算出部４３の出力と、レベル比算出部４４の出力のいずれを選択すべきかを選択制御するための選択制御信号ＳＥＬ１，ＳＥＬ２，ＳＥＬ３，ＳＥＬ４，ＳＥＬ５が供給される。このセレクタ４５１，４５２，４５３，４５４，４５５のそれぞれから得られる出力レベル比ｒは、周波数分割スペクトル制御処理部１０４の音源分離処理部１０４１，１０４２，１０４３，１０４４，１０４５のそれぞれに供給される。
【００７２】
この例においては、周波数分割スペクトル制御処理部１０４の音源分離処理部１０４１，１０４２，１０４３，１０４４，１０４５のそれぞれにおいて、分離すべき音源のレベル比として用いられる値は、常に、レベル比≦１とされている。つまり、音源分離処理部１０４１，１０４２，１０４３，１０４４，１０４５のそれぞれに入力されるレベル比ｒは、レベルの小さい方の周波数分割スペクトルのレベルを、レベルが大きい方の周波数分割スペクトルのレベルで割ったものとされている。
【００７３】
このため、音源分離処理部１０４１，１０４２，１０４３，１０４４，１０４５のそれぞれでは、左チャンネルの音声信号ＳＬの方に、より多く含まれるように分配されている音源の信号を分離する場合には、レベル比算出部４３からのレベル比算出出力が使用され、逆に、右チャンネルの音声信号ＳＲの方に、より多く含まれるように分配されている音源の信号を分離する場合には、レベル比算出部４４からのレベル比算出出力が使用されるようにされている。
【００７４】
例えば、使用者が、分離すべき音源のレベル比として、左チャンネルおよび右チャンネルの信号の分配率の値ＰＬ，ＰＲ（ＰＬ，ＰＲは１以下の値）をそれぞれ設定入力するように定められているものとしたとき、設定された分配率の値ＰＬ，ＰＲが、ＰＲ／ＰＬ≦１であるときには、選択制御信号ＳＥＬ１，ＳＥＬ２，ＳＥＬ３，ＳＥＬ４，ＳＥＬ５は、セレクタ４５１，４５２，４５３，４５４，４５５のそれぞれからレベル比算出部４３の出力（Ｄ２／Ｄ１）を、出力レベル比ｒとして選択する選択制御信号とされ、設定された分配率の値ＰＬ，ＰＲが、ＰＲ／ＰＬ＞１であるときには、選択制御信号ＳＥＬ１，ＳＥＬ２，ＳＥＬ３，ＳＥＬ４，ＳＥＬ５は、セレクタ４５１，４５２，４５３，４５４，４５５のそれぞれからレベル比算出部４４の出力（Ｄ１／Ｄ２）を、出力レベル比ｒとして選択する選択制御信号とされる。
【００７５】
なお、使用者により設定された分配率の値ＰＬ，ＰＲが互いに等しい（レベル比ｒ＝１）ときには、セレクタ４５１，４５２，４５３，４５４，４５５のそれぞれでは、レベル比算出部４３の出力とレベル比算出部４４の出力とのいずれを選択してもよい。
【００７６】
［周波数分割スペクトル制御処理部１０４の音源分離処理部の構成］
周波数分割スペクトル制御処理部１０４の音源分離処理部１０４１，１０４２，１０４３，１０４４，１０４５のそれぞれは、同一の構成を有し、この例では、機能的には、図４に示すような構成を備える。すなわち、図４の音源分離処理部１０４ｉは、音源分離処理部１０４１，１０４２，１０４３，１０４４，１０４５の１つの構成を示したもので、乗算係数発生部５１と、乗算部５２および５３と、加算部５４とからなる。
【００７７】
乗算部５２には、ＦＦＴ部１０１からの周波数分割スペクトル成分Ｆ１が供給されると共に、乗算係数発生部５１からの乗算係数ｗが供給され、両者の乗算結果が、この乗算部５２から加算部５４に供給される。また、乗算部５３には、ＦＦＴ部１０２からの周波数分割スペクトル成分Ｆ２が供給されると共に、乗算係数発生部５１からの乗算係数ｗが供給され、両者の乗算結果が、この乗算部５３から加算部５４に供給される。そして、加算部５４の出力は、音源分離処理部１０４０の出力Ｆｅｘｉ（Ｆｅｘｉは、Ｆｅｘ１，Ｆｅｘ２，Ｆｅｘ３，Ｆｅｘ４，Ｆｅｘ５のいずれかである）とされる。
【００７８】
乗算係数発生部５１は、周波数分割スペクトル比較処理部１０３のセレクタ４５ｉ（セレクタ４５ｉは、セレクタ４５１，４５２，４５３，４５４，４５５のいずれかである）からの出力レベル比ｒｉ（ｒｉは、ｒ１，ｒ２，ｒ３，ｒ４，ｒ５のいずれかである）の出力を受けて、当該レベル比ｒｉに応じた乗算係数ｗｉを発生する。乗算係数発生部５１は、例えば、レベル比ｒｉを変数とした乗算係数ｗｉに関する関数発生回路により構成される。乗算係数発生部５１に使用する関数として、どのような関数が選ばれるかは、分離すべき音源に応じて使用者により設定された分配率の値ＰＬ，ＰＲによる。
【００７９】
乗算係数発生部５１に供給されるレベル比ｒｉは、周波数分割スペクトルの各周波数成分単位で変化するものであるので、乗算係数発生部５１からの乗算係数ｗｉも、周波数分割スペクトルの各周波数成分単位で変化することになる。
【００８０】
したがって、乗算部５２では、ＦＦＴ部１０１からの各周波数分割スペクトルのレベルが、乗算係数ｗｉにより制御され、また、乗算部５３では、ＦＦＴ部１０２からの各周波数分割スペクトルのレベルが、乗算係数ｗｉにより制御される。
【００８１】
図５に、乗算係数発生部５１としての関数発生回路に用いられる関数の例を示す。例えば、前記（式１）および（式２）で示された左右２チャンネルの音声信号ＳＬおよびＳＲから、左右チャンネルの音像間の中央に定位する音源の音声信号Ｓ３を分離する場合には、乗算係数発生部５１としては、図５（ａ）に示されるような特性の関数発生回路が用いられる。
【００８２】
図５（ａ）の関数の特性は、左右チャンネルのレベル比ｒｉが１、あるいは１に近い場合、つまり、左右チャンネルが同レベルあるいは同レベルに近い周波数分割スペクトル成分では、乗算係数ｗｉは１あるいは１近傍となり、左右チャンネルのレベル比ｒが約０．６以下の領域では、乗算係数ｗｉは０となっている。
【００８３】
したがって、乗算係数発生部５１に入力されるレベル比ｒｉが１、または１近傍となっている周波数分割スペクトル成分に対する乗算係数ｗｉは１、あるいは１に近い値となるので、乗算部５２および５３からは、当該周波数分割スペクトル成分は、ほぼそのままのレベルで出力される。一方、乗算係数発生部５１に入力されるレベル比ｒｉが、約０．６以下の値となっている周波数分割スペクトル成分に対する乗算係数ｗｉは０となるので、当該周波数分割スペクトル成分の出力レベルが０とされて、乗算部５２および５３からは出力されなくなる。
【００８４】
すなわち、乗算部５２および５３からは、多数個の周波数分割スペクトル成分のうち、左右同レベルおよびその近傍となっている周波数分割スペクトル成分は、ほぼそのままのレベルで出力され、左右チャンネルのレベル差が大きい周波数分割スペクトル成分は、出力レベルが０とされて出力されなくなる。この結果、左右２チャンネルの音声信号ＳＬ，ＳＲに同レベルで分配された音源の音声信号Ｓ３の周波数分割スペクトル成分のみが加算部５４から得られることになる。
【００８５】
また、例えば、前記（式１）および（式２）で示された左右２チャンネルの音声信号ＳＬおよびＳＲから、左右チャンネルの一方側にのみ定位する音源の音声信号Ｓ１またはＳ５を分離する場合には、乗算係数発生部５１としては、図５（ｂ）に示されるような特性の関数発生回路が用いられる。
【００８６】
この場合において、この実施形態においては、音声信号Ｓ１を分離する場合には、使用者は、分離する音源に対する左右分配率ＰＬ：ＰＲ＝１：０を設定入力する。あるいは、ＰＬ＝１、ＰＲ＝０のように設定入力する。このように使用者が設定すると、セレクタ４５ｉには、レベル比算出部４３からのレベル比を選択するように制御する選択制御信号ＳＥＬｉ（ＳＥＬｉは、ＳＥＬ１，ＳＥＬ２，ＳＥＬ３，ＳＥＬ４，ＳＥＬ５のいずれかである）が与えられる。
【００８７】
一方、音声信号Ｓ５を分離する場合には、使用者は、分離する音源に対する左右分配率ＰＬ：ＰＲ＝０：１を設定入力する。あるいは、ＰＬ＝０、ＰＲ＝１のように設定入力する。このように使用者が設定すると、セレクタ４５ｉには、レベル比算出部４４からのレベル比を選択するように制御する選択制御信号ＳＥＬｉが与えられる。
【００８８】
図５（ｂ）の関数の特性は、左右チャンネルのレベル比ｒｉが０、あるいは０近傍の周波数分割スペクトル成分では、乗算係数ｗｉは１あるいは１近傍の値となり、左右チャンネルのレベル比ｒｉが約０．４以上の領域では、乗算係数ｗｉは０となっている。
【００８９】
したがって、乗算係数発生部５１に入力されるレベル比ｒｉが０、または０近傍となっている周波数分割スペクトル成分に対する乗算係数ｗｉは１、あるいは１に近い値となるので、乗算部５２および５３からは、当該周波数分割スペクトル成分は、ほぼそのままのレベルで出力される。一方、乗算係数発生部５１に入力されるレベル比ｒｉが、約０．４以上の値となっている周波数分割スペクトル成分に対する乗算係数ｗｉは０となるので、当該周波数分割スペクトル成分の出力レベルが０とされて、乗算部５２および５３からは出力されなくなる。
【００９０】
すなわち、乗算部５２および５３からは、多数個の周波数分割スペクトル成分のうち、左右チャンネルの一方が他方に比べて非常に大きいレベルとなっている周波数分割スペクトル成分は、ほぼそのままのレベルで出力され、左右チャンネルのレベル差が少ない周波数分割スペクトル成分は、出力レベルが０とされて出力されなくなる。この結果、左右２チャンネルの音声信号ＳＬ，ＳＲの一方にしか分配されていない音源の音声信号Ｓ１またはＳ５の周波数分割スペクトル成分のみが加算部５４から得られることになる。
【００９１】
また、例えば、前記（式１）および（式２）で示された左右２チャンネルの音声信号ＳＬおよびＳＲから、左右チャンネルに所定のレベル差を持って配分されている音源の音声信号Ｓ２またはＳ４を分離する場合には、乗算係数発生部３１としては、図５（ｃ）に示されるような特性の関数発生回路が用いられる。
【００９２】
すなわち、音声信号Ｓ２は、Ｄ２／Ｄ１（＝ＳＲ／ＳＬ）＝０．４／０．９＝０．４４のレベル比で、左右チャンネルに分配されている。また、音声信号Ｓ４は、Ｄ１／Ｄ２（＝ＳＬ／ＳＲ）＝０．４／０．９＝０．４４のレベル比で、左右チャンネルに分配されている。
【００９３】
この場合において、この実施形態においては、音声信号Ｓ２を分離する場合には、使用者は、分離する音源に対する左右分配率ＰＬ：ＰＲ＝０．９：０．４を設定入力する。あるいは、ＰＬ＝０．９、ＰＲ＝０．４のように設定入力する。このように使用者が設定すると、ＰＲ／ＰＬ＜１であるので、セレクタには、レベル比算出部４３からのレベル比を選択するように制御する選択制御信号が与えられる。
【００９４】
一方、音声信号Ｓ４を分離する場合には、使用者は、分離する音源に対する左右分配率ＰＬ：ＰＲ＝０．４：０．９を設定入力する。あるいは、ＰＬ＝０．４、ＰＲ＝０．９のように設定入力する。このように使用者が設定すると、ＰＲ／ＰＬ＞１であるので、セレクタ４５ｉには、レベル比算出部４４からのレベル比を選択するように制御する選択制御信号ＳＥＬｉが与えられる。
【００９５】
図５（ｃ）の関数の特性は、左右チャンネルのレベル比ｒｉが、Ｄ２／Ｄ１（＝ＰＲ／ＰＬ）＝０．４／０．９＝０．４４では１、あるいはレベル比ｒｉが０．４４に近い周波数分割スペクトル成分では、乗算係数ｗｉは１あるいは１近傍となり、左右チャンネルのレベル比ｒｉが約０．４４近傍以外の領域では、乗算係数ｗｉは０となっている。
【００９６】
したがって、セレクタ４５ｉからのレベル比ｒｉが０．４４、または０．４４近傍となっている周波数分割スペクトル成分に対する乗算係数ｗｉは１、あるいは１に近い値となるので、乗算部５２および５３からは、当該周波数分割スペクトル成分が、ほぼそのままのレベルで出力される。一方、セレクタ４５ｉからのレベル比ｒｉが、約０．４４近傍以下の値および約０．４４近傍以上の値となっている周波数分割スペクトル成分に対する乗算係数ｗｉは０となるので、乗算部５２および５３からは、当該周波数分割スペクトル成分は、出力レベルが０とされて、出力されなくなる。
【００９７】
すなわち、乗算部５２および５３からは、多数個の周波数分割スペクトル成分のうち、左右チャンネルのレベル比が０．４４またはその近傍となっている周波数分割スペクトル成分は、ほぼそのままのレベルで出力され、左右チャンネルのレベル比ｒｉが、約０．４４近傍以下の値および約０．４４近傍以上の値となっている周波数分割スペクトル成分は、出力レベルが０とされて出力されなくなる。
【００９８】
この結果、左右２チャンネルの音声信号ＳＬ，ＳＲに、レベル比が０．４４で分配された音源の音声信号Ｓ２またはＳ４の周波数分割スペクトル成分のみが加算部５４から得られることになる。
【００９９】
以上のようにして、この実施形態によれば、音声分離処理部１０４１，１０４２，１０４３，１０４４，１０４５のそれぞれにおいて、左右２チャンネルに、所定の分配比率で分配された音源の音声信号を、その分配比率に基づいて、当該２チャンネルの音声信号から分離することができる。
【０１００】
この場合に、上述の実施形態では、音声分離処理部１０４１，１０４２，１０４３，１０４４，１０４５のそれぞれにおいて分離したい音源の音声信号は、２チャンネルの音声信号の両方から抽出するようにしたが、必ずしも両チャンネルから分離抽出する必要はなく、分離したい音源の音声信号成分が含まれている一方のチャンネルのみから分離抽出するようにしてもよい。
【０１０１】
また、上述の実施形態では、音声信号処理装置部１００においては、２系統の音声信号に対して分配された音源の信号のレベル比に基づいて、当該２系統の音声信号から前記音源の信号を分離するようにしたが、前記音源の信号の、２系統の音声信号に対するレベル差に基づいて、当該音源の信号を当該２系統の音声信号の少なくとも一方から分離抽出するようにすることもできる。
【０１０２】
なお、以上の説明では、各音源が（式１）、（式２）に従って左右チャンネルに分配された左右２チャンネルステレオ信号を例にして説明したが、意図的に分配されない通常のステレオ音楽信号においても、図５に示した関数の選択特性に従って該当する音源を分離することができる。
【０１０３】
また、例えば、他の例では図５（ｄ），（ｅ）等の様に、関数を変えることにより、分離するレベル比範囲を変える、広くする、狭くするなど、異なる音源選択性を持たせることもできる。
【０１０４】
音源のスペクトラム構成に関しても、多くのステレオ音楽信号は異なるスペクトラムを持つ音源から構成されるが、それらの音源についても、上述と同様にして分離することが可能となる。
【０１０５】
また、スペクトラム重複部が多い音源同士に関しても、ＦＦＴ部１０１，１０２における周波数分解能を上げることにより、例えば４０００ポイント以上のＦＦＴ回路を用いることにより、音源分離の質を更に向上させることができる。
【０１０６】
［第２の実施形態の音声信号処理装置部１００の構成］
上述した第１の実施形態では、分離したい全ての音源の音声信号について音源分離処理部を設け、２系統の音声信号、上述の例では、左右２チャンネルステレオ信号ＳＬ，ＳＲから、分離したい全ての音源の音声信号を、当該音源の音声信号が当該２チャンネルステレオ信号に分配された所定のレベル比あるいはレベル差を用いて、前記２系統の音声信号の一方から分離抽出するようにした。
【０１０７】
しかし、全ての音源の音声信号について、そのように分離抽出する必要はなく、一部の音源の音声信号を左あるいは右チャンネルの音声信号から分離抽出したら、当該分離抽出した音源の音声信号を、左チャンネルあるいは右チャンネルから減算することにより、その残差として他の音源の音声信号を分離抽出することもできる。
【０１０８】
以下に説明する第２の実施形態は、その場合の例である。図６は、その一例を示すブロック図である。
【０１０９】
この図６の例では、左チャンネルの音声信号ＳＬから音源ＭＳ１の音声信号Ｓ１を音源分離処理部を用いて分離抽出するとともに、左チャンネルの音声信号ＳＬから、当該分離抽出した音声信号Ｓ１を減算して、音源ＭＳ２の音声信号Ｓ２と音源ＭＳ３の音声信号Ｓ３の和の信号を得るようにする。
【０１１０】
また、右チャンネルの音声信号ＳＲから音源ＭＳ５の音声信号Ｓ５を音源分離処理部を用いて分離抽出するとともに、右チャンネルの音声信号ＳＲから、当該分離抽出した音声信号Ｓ５を減算して、音源ＭＳ４の音声信号Ｓ４と音源ＭＳ３の音声信号Ｓ３の和の信号を得るようにする。
【０１１１】
すなわち、図６に示すように、この第２の実施形態では、周波数分割スペクトル制御処理部１０４には、音源分離処理部１０４１および１０４５を設けると共に、残差抽出処理部１０４６および１０４７を設ける。
【０１１２】
そして、この第２の実施形態では、音源分離処理部１０４１には、ＦＦＴ部１０１からの左チャンネルの音声信号の周波数領域信号Ｆ１のみが供給されると共に、この信号Ｆ１が残差抽出処理部１０４６に供給される。そして、音源分離処理部１０４１から抽出される音源１の周波数領域信号が残差抽出処理部１０４６に供給されて、周波数領域信号Ｆ１から減算される。
【０１１３】
また、音源分離処理部１０４５には、ＦＦＴ部１０２からの右チャンネルの音声信号の周波数領域信号Ｆ２のみが供給されると共に、この信号Ｆ２が残差抽出処理部１０４７に供給される。そして、音源分離処理部１０４２から抽出される音源ＭＳ５の周波数領域信号が残差抽出処理部１０４７に供給されて、周波数領域信号Ｆ２から減算される。
【０１１４】
そして、周波数分割スペクトル比較処理部１０３からのレベル比ｒ１が音源分離処理部１０４１に供給され、また、周波数分割スペクトル比較処理部１０３からのレベル比ｒ５が音源分離処理部１０４５に供給される。
【０１１５】
したがって、図６の例においては、音源分離処理部１０４１は、図４の乗算係数発生部５１と１個の乗算部５２とからなり、音源分離処理部１０４５は、図４の乗算係数発生部５１と１個の乗算部５３とからなり、加算部５４は、いずれも有しない構成でよい。
【０１１６】
また、周波数分割スペクトル比較処理部１０３は、図３の構成において、セレクタ４５１と４５５とを用いるだけでよいので、セレクタ４５２〜４５４は不要となる。
【０１１７】
この構成において、音源分離処理部１０４１では、周波数領域信号Ｆ１のみから音源ＭＳ１の周波数領域信号のみが抽出され、それが逆ＦＦＴ部１０５１に供給される。したがって、出力端子１０６１には、音源ＭＳ１の時間領域の音声信号Ｓ１´が得られる。
【０１１８】
そして、残差抽出処理部１０４６では、ＦＦＴ部１０１からの周波数領域信号Ｆ１から、音源分離処理部１０４１からの音源ＭＳ１の周波数領域信号が減算され、その残差からなる周波数領域信号が得られる。この残差抽出処理部１０４６からの残差出力としての周波数領域信号は、前記（式１）から、音源ＭＳ２の周波数領域信号と音源ＭＳ３の周波数領域信号との和の信号となる。
【０１１９】
この残差抽出処理部１０４６の出力は、逆ＦＦＴ部１０５６に供給され、この逆ＦＦＴ部１０５６からは、音源ＭＳ２の周波数領域信号と音源ＭＳ３の周波数領域信号との和の信号が時間領域の信号に戻された信号、つまり、音源ＭＳ２と音源ＭＳ３の音声信号の和の信号（Ｓ２´＋Ｓ３´）が得られ、出力端子１０６６から導出される。
【０１２０】
また、音源分離処理部１０４５では、周波数領域信号Ｆ２のみから音源ＭＳ５の周波数領域信号のみが抽出され、それが逆ＦＦＴ部１０５５に供給される。したがって、出力端子１０６５には、音源ＭＳ５の時間領域の音声信号Ｓ５´が得られる。
【０１２１】
そして、残差抽出処理部１０４７では、ＦＦＴ部１０２からの周波数領域信号Ｆ２から、音源分離処理部１０４５からの音源ＭＳ５の周波数領域信号が減算され、その残差からなる周波数領域信号が得られる。この残差抽出処理部１０４７からの残差出力としての周波数領域信号は、前記（式２）から、音源ＭＳ４の周波数領域信号と音源ＭＳ３の周波数領域信号との和の信号となる。
【０１２２】
この残差抽出処理部１０４７の出力は、逆ＦＦＴ部１０５７に供給され、この逆ＦＦＴ部１０５７からは、音源ＭＳ４の周波数領域信号と音源ＭＳ３の周波数領域信号との和の信号が時間領域の信号に戻された信号、つまり、音源ＭＳ４と音源ＭＳ３の音声信号の和の信号（Ｓ４´＋Ｓ３´）が得られ、出力端子１０６７から導出される。
【０１２３】
そして、この第２の実施形態においては、図２において、例えば、音声信号Ｓ３´に対するＤ／Ａ変換器３３３およびアンプ３４３並びにスピーカＳＰ３が除去されると共に、出力端子１０６１，１０６５，１０６６，１０６７からのデジタル音声信号がそれぞれ次のようにしてスピーカにより音響再生される。
【０１２４】
すなわち、出力端子１０６１からのデジタル音声信号Ｓ１´は、D／A変換器３３１によりアナログ音声信号に変換され、アンプ３４１を通じてスピーカＳＰ１に供給されて音響再生され、また、出力端子１０６５からのデジタル音声信号Ｓ５´は、D／A変換器３３５によりアナログ音声信号に変換され、アンプ３４５を通じてスピーカＳＰ５に供給されて音響再生される。
【０１２５】
さらに、出力端子１０６６からのデジタル音声信号（Ｓ２´＋Ｓ３´）は、D／A変換器３３２によりアナログ音声信号に変換され、アンプ３４２を通じてスピーカＳＰ２に供給されて音響再生され、また、出力端子１０６７からのデジタル音声信号（Ｓ４´＋Ｓ３´）は、D／A変換器３３４によりアナログ音声信号に変換され、アンプ３４４を通じてスピーカＳＰ４に供給されて音響再生される。この場合、スピーカＳＰ２およびスピーカＳＰ４のリスナＭに対する配置は、第１の実施形態の場合とは変更しても良い。
【０１２６】
［第３の実施形態の音声信号処理装置部１００の構成］
第３の実施形態は、第２の実施形態の変形例である。すなわち、第２の実施形態では、ＦＦＴ部１０１またはＦＦＴ部１０２からの周波数領域信号Ｆ１またはＦ２から音源分離処理部で分離抽出した特定の音源の周波数領域信号を、ＦＦＴ部１０１またはＦＦＴ部１０２からの周波数領域信号Ｆ１またはＦ２から減算することにより、前記音源分離抽出した音源の信号以外の信号を、周波数領域信号の状態で得るようにした。このため、第２の実施形態では、残差抽出処理部は、周波数分割スペクトル制御処理部１０４内に設けるようにした。
【０１２７】
これに対して、第３の実施形態では、残差抽出処理部は、時間領域において、分離抽出された音源の信号を２系統の入力音声信号の一方から減算するようにするものである。図７は、この第３の実施形態における音声信号処理装置部１００の構成例のブロック図であり、第２の実施形態と同様に、音源ＭＳ１およびＭＳ５の音声成分は、周波数分割スペクトル制御処理部１０４の音源分離処理部で分離抽出するが、他の音源の音声成分は入力音声信号との残差として抽出する場合の例である。
【０１２８】
すなわち、図７に示すように、この第３の実施形態では、周波数分割スペクトル比較処理部１０３は第２の実施形態と同様の構成であるが、周波数分割スペクトル制御処理部１０４は、第２の実施形態とは異なり、音源分離処理部１０４１と音源分離処理部１０４５とからなり、残差抽出処理部は、この周波数分割スペクトル制御処理部１０４には設けられない。
【０１２９】
そして、第３の実施形態では、入力端子３１からに左チャンネルの音声信号ＳＬは、遅延器１０７１を通じて時間領域での信号の残差を抽出する残差抽出処理部１０７２に供給される。そして、逆ＦＦＴ部１０５１からの音源Ｓ１の時間領域の音声信号Ｓ１´が、この残差抽出処理部１０７２に供給されて、遅延器１０７１からの左チャンネルの音声信号ＳＬから減算される。
【０１３０】
したがって、この残差抽出処理部１０７２からの残差出力は、前記（式１）の信号ＳＬから音源ＭＳ１の時間領域の信号Ｓ１´が減算された結果の、音源ＭＳ２の時間領域信号と音源ＭＳ３の時間領域信号との和のデジタル音声信号（Ｓ２´＋Ｓ３´）となる。そして、この和のデジタル音声信号（Ｓ２´＋Ｓ３´）が出力端子１０６８を通じて出力される。
【０１３１】
同様にして、入力端子３２からに右チャンネルの音声信号ＳＲは、遅延器１０７３を通じて時間領域での信号の残差を抽出する残差抽出処理部１０７４に供給される。そして、逆ＦＦＴ部１０５５からの音源Ｓ５の時間領域の音声信号Ｓ５´が、この残差抽出処理部１０７４に供給されて、遅延器１０７３からの右チャンネルの音声信号ＳＲから減算される。
【０１３２】
したがって、この残差抽出処理部１０７４からの残差出力は、前記（式２）の信号ＳＲから音源ＭＳ５の時間領域の信号Ｓ５´が減算された結果の、音源ＭＳ４の時間領域信号と音源ＭＳ３の時間領域信号との和のデジタル音声信号（Ｓ４´＋Ｓ３´）となる。そして、この和のデジタル音声信号（Ｓ４´＋Ｓ３´）が出力端子１０６９を通じて出力される。
【０１３３】
なお、遅延器１０７１および１０７３は、周波数分割スペクトル比較処理部１０３および周波数分割スペクトル制御処理部１０４での処理遅延を考慮して、残差抽出処理部１０７２および１０７４において、減算演算を行なう２信号のタイミングを合致させるようにするために設けられている。
【０１３４】
この第３の実施形態では、図２の音響再生システムにおいて、出力端子１０６１および出力端子１０６５からのデジタル音声信号Ｓ１´およびＳ５´は、第２の実施形態と同様に、D／A変換器３３１および３３５によりアナログ音声信号に変換され、アンプ３４１および３４５を通じてスピーカＳＰ１およびＳＰ５に供給されて音響再生され、また、出力端子１０６８からのデジタル音声信号（Ｓ２´＋Ｓ３´）は、D／A変換器３３２によりアナログ音声信号に変換され、アンプ３４２を通じてスピーカＳＰ２に供給されて音響再生され、さらに、出力端子１０６９からのデジタル音声信号（Ｓ４´＋Ｓ３´）は、D／A変換器３３４によりアナログ音声信号に変換され、アンプ３４４を通じてスピーカＳＰ４に供給されて音響再生される。
【０１３５】
この第３の実施形態によれば、残差抽出処理部１０７２および１０７４は、時間領域で残差を抽出するものであるため、第２の実施形態における逆ＦＦＴ部１０５６および１０５７が不要であり、構成が簡単になるという効果がある。
【０１３６】
［第４の実施形態の音声信号処理装置部１００の構成］
以上の実施形態においては、２チャンネルの音声信号に、各音源の音声信号が分配されるときの位相は、２チャンネルで同相としたが、逆相で音源の音声信号が分配される場合もある。一例として、次の（式３）および（式４）のように、６個の音源ＭＳ１〜ＭＳ６からの音声信号Ｓ１〜Ｓ６が左右２チャンネルに分配されたステレオ音声信号ＳＬ，ＳＲを考える。
【０１３７】
ＳＬ＝Ｓ１＋０．９Ｓ２＋０．７Ｓ３＋０．４Ｓ４＋０．７Ｓ６ ・・・（式３）
ＳＲ＝Ｓ５＋０．４Ｓ２＋０．７Ｓ３＋０．９Ｓ４−０．７Ｓ６ ・・・（式４）
【０１３８】
すなわち、音源ＭＳ３の音声信号Ｓ３と、音源ＭＳ６の音声信号Ｓ６とは、左右チャンネルに、それぞれ同レベルで分配されているが、音源ＭＳ３の音声信号Ｓ３は、左右チャンネルに同相で分配されているのに対して、ＭＳ６の音声信号Ｓ６は、左右チャンネルに逆相で分配されている。
【０１３９】
このため、上述の実施形態と同様にして、位相を考慮せず、レベル比あるいはレベル差のみを用いて音源ＭＳ３の音声信号Ｓ３または音源ＭＳ６の音声信号Ｓ６のいずれかを、周波数分割スペクトル制御処理部１０４の各音源分離処理部で分離抽出しようとしても、音声信号Ｓ３とＳ６とは、同レベルで左右チャンネルに分配されているので、いずれか一方を分離抽出することはできない。
【０１４０】
そこで、この第４の実施形態では、周波数分割スペクトル制御処理部１０４の各音源分離処理部では、レベル比あるいはレベル差を用いて音声成分を上述の実施形態と同様にして分離した後、位相差を用いて更なる分離をすることにより、（式３）、（式４）のような場合における音源ＭＳ３の音声信号Ｓ３と音源ＭＳ６の音声信号Ｓ６をも分離して出力することができるようにする。
【０１４１】
図８は、この第４の実施形態の音声信号処理装置部１００の要部の構成例を示すブロック図である。この図８は、周波数分割スペクトル制御処理部１０４の１つの音源分離処理部についての構成を示したものに相当している。
【０１４２】
この第４の実施形態の音声信号処理装置部１００における周波数分割スペクトル比較処理部１０３は、レベル比較処理部１０３１と、位相比較処理部１０３２とを備える。
【０１４３】
また、この第４の実施形態における周波数分割スペクトル制御処理部１０４は、第１周波数分割スペクトル制御処理部１０４Ａと、位相差に基づいた音源分離処理を実行するための第２の周波数分割スペクトル制御処理部１０４Ｐとを備える。この場合、周波数分割スペクトル制御処理部１０４の各音源分離処理部１０４ｉが、第１周波数分割スペクトル制御処理部１０４Ａの部分と、位相差に基づいた音源分離処理を実行するための第２の周波数分割スペクトル制御処理部１０４Ｐの部分とを備えるものである。
【０１４４】
図９は、この第４の実施形態における周波数分割スペクトル比較処理部１０３と、周波数分割スペクトル制御処理部１０４の、１つの音源分離処理部についての詳細構成例を示すブロック図である。
【０１４５】
すなわち、周波数分割スペクトル比較処理部１０３のレベル比較処理部１０３１は、前述した第１の実施形態の周波数分割スペクトル比較処理部１０３と同様の構成の備え、レベル検出部４１，４２と、レベル比算出部４３，４４と、セレクタ４５とからなる。図３に示したように、セレクタ４５は、周波数分割スペクトル制御処理部１０４が複数個の音源分離処理部を備える場合には、その音源分離処理部の数だけ設けられるのは、前述した通りである。
【０１４６】
そして、周波数分割スペクトル制御処理部１０４の第１周波数分割スペクトル制御処理部１０４Ａも、図４に示した前述の第１の実施形態の周波数分割スペクトル制御処理部１０４における各音源分離処理部１０４ｉとほぼ同様の構成を備え（ただし、加算部５４は有しない）、乗算係数発生部５１と、乗算部５２および５３とからなる音源分離部の構成とされている。
【０１４７】
そして、図８および図９に示すように、レベル比較処理部１０３１からのレベル比出力ｒｉは、第１の実施形態と全く同様にして、第１周波数分割スペクトル制御処理部１０４Ａの乗算係数発生部５１に供給され、この乗算係数発生部５１から当該乗算係数発生部５１に設定された関数に応じた乗算係数ｗｒが発生し、乗算部５２，５３に供給される。
【０１４８】
乗算部５２には、ＦＦＴ部１０１からの周波数分割スペクトル成分Ｆ１が供給されており、当該周波数分割スペクトル成分Ｆ１と乗算係数ｗｒとの乗算結果が、この乗算部５２から得られる。また、乗算部５３には、ＦＦＴ部１０２からの周波数分割スペクトル成分Ｆ２が供給されており、当該周波数分割スペクトル成分Ｆ２と乗算係数ｗｒとの乗算結果が、この乗算部５３から得られる。
【０１４９】
すなわち、乗算部５２，５３からは、ＦＦＴ部１０１，１０２からの周波数分割スペクトル成分Ｆ１，Ｆ２のそれぞれが、乗算係数発生部５１からの乗算係数ｗｒに応じてレベル制御された状態の出力が得られる。
【０１５０】
前述したように、乗算係数発生部５１は、レベル比ｒｉを変数とした乗算係数ｗｒに関する関数発生回路により構成される。乗算係数発生部５１に使用する関数として、どのような関数が選ばれるかは、分離すべき音源の左右２チャンネルの音声信号への分配率による。
【０１５１】
例えば、乗算係数発生部５１には、図５に示したような特性の、乗算係数ｗｒのレベル比ｒｉに関する関数が設定される。例えば、左右２チャンネルに同レベルで分配される音源の音声信号を分離抽出する場合には、前述したように、図５（ａ）に示した特定の関数が、乗算係数発生部５１に設定される。
【０１５２】
そして、この第４の実施形態では、乗算部５２，５３の出力は、それぞれ周波数分割スペクトル比較処理部１０３の位相比較処理部１０３２に供給されると共に、第２周波数分割スペクトル制御処理部１０４Ｐに供給される。
【０１５３】
位相比較処理部１０３２は、図９に示すように、乗算部５２，５３の出力の位相差φを検出する位相差検出部２６からなり、その位相差φの情報を第２周波数分割スペクトル制御処理部１０４２に供給する。この位相差検出部２６は、各音源分離処理部にそれぞれ設けられるものである。
【０１５４】
第２周波数分割スペクトル制御処理部１０４Ｐは、２個の乗算係数発生部６１および６５と、乗算部６２，６３および乗算部６６，６７と、加算部６４および６８とからなる。
【０１５５】
そして、乗算部６２には、第１周波数分割スペクトル制御処理部１０４１の乗算部５２の出力が供給されると共に、乗算係数発生部６１からの乗算係数ｗｐ１が供給され、両者の乗算結果が、この乗算部６２から加算部６４に供給される。また、乗算部６３には、第１周波数分割スペクトル制御処理部１０４Ａの乗算部５３の出力が供給されると共に、乗算係数発生部６１からの乗算係数ｗｐ１が供給され、両者の乗算結果が、この乗算部６３から加算部６４に供給される。そして、加算部６４の出力は、第１の出力Ｆｅｘ１とされる。
【０１５６】
また、乗算部６６には、第１周波数分割スペクトル制御処理部１０４Ａの乗算部５２の出力が供給されると共に、乗算係数発生部６５からの乗算係数ｗｐ２が供給され、両者の乗算結果が、この乗算部６６から加算部６８に供給される。また、乗算部６７には、第１周波数分割スペクトル制御処理部１０４Ａの乗算部５４の出力が供給されると共に、乗算係数発生部６５からの乗算係数ｗｐ２が供給され、両者の乗算結果が、この乗算部６７から加算部６８に供給される。そして、加算部６８の出力は、第２の出力Ｆｅｘ２とされる。
【０１５７】
乗算係数発生部６１および６５は、位相差検出部２６からの位相差φの情報を受けて、当該受けた位相差φに応じた乗算係数ｗｐ１およびｗｐ２を発生する。乗算係数発生部６１および６５は、位相差φを変数とした乗算係数ｗｐに関する関数発生回路により構成される。乗算係数発生部６１および６５に使用する関数として、どのような関数が選ばれるかは、分離すべき音源の前記２チャンネルに対する位相差に応じて、使用者により設定される。
【０１５８】
乗算係数発生部６１および６５に供給される位相差φは、周波数分割スペクトルの各周波数成分単位で変化するものであるので、乗算係数発生部６１および６５からの乗算係数ｗｐ１およびｗｐ２も、周波数分割スペクトルの各周波数成分単位で変化することになる。
【０１５９】
したがって、乗算部６２および乗算部６６では、乗算部５２からの各周波数分割スペクトルのレベルが、乗算係数ｗｐ１およびｗｐ２により制御され、また、乗算部６３および乗算部６７では、乗算部５３からの各周波数分割スペクトルのレベルが、乗算係数ｗｐ１およびｗｐ２により制御される。
【０１６０】
図１０に、乗算係数発生部３０１および３０５としての関数発生回路に用いられる関数の例を示す。
【０１６１】
図１０（ａ）の関数の特性は、左右チャンネルの位相差φが０、あるいは０に近い場合、つまり、左右チャンネルが同相あるいは同相に近い周波数分割スペクトル成分では、乗算係数ｗｐ（ｗｐ１またはｗｐ２に相当）は１あるいは１近傍となり、左右チャンネルの位相差φが約π／４以上の領域では、乗算係数ｗｐは０となっている。
【０１６２】
例えば乗算係数発生部６１に、この図１０（ａ）の特性の関数が設定されている場合において、位相差検出部２６からの位相差φが０、または０近傍となっている周波数分割スペクトル成分に対する乗算係数ｗｐは１、あるいは１に近い値となるので、乗算部６２、６３からは、当該周波数分割スペクトル成分は、ほぼそのままのレベルで出力される。一方、位相差検出部２６からの位相差φが、約π／４以上の値となっている周波数分割スペクトル成分に対する乗算係数ｗｐは０となるので、乗算部６２，６３からは、当該周波数分割スペクトル成分は、出力レベルが０とされて、出力されなくなる。
【０１６３】
すなわち、乗算部６２，６３からは、多数個の周波数分割スペクトル成分のうち、左右同相およびその近傍の位相差となっている周波数分割スペクトル成分は、ほぼそのままのレベルで出力され、左右チャンネルの位相差が大きい周波数分割スペクトル成分は、出力レベルが０とされて出力されなくなる。この結果、左右２チャンネルの音声信号ＳＬ，ＳＲに同相で分配された音源の音声信号の周波数分割スペクトル成分のみが加算部６４から得られることになる。
【０１６４】
つまり、この図１０（ａ）の特性の関数は、左右２チャンネルに同相で分配されている音源の信号を抽出する際に用いられる。
【０１６５】
また、図１０（ｂ）の関数の特性は、左右チャンネルの位相差φがπ、あるいはπに近い場合、つまり、左右チャンネルが逆相あるいは逆相に近い周波数分割スペクトル成分では、乗算係数ｗｐは１あるいは１近傍となり、左右チャンネルの位相差φが約３π／４以下の領域では、乗算係数ｗｐは０となっている。
【０１６６】
例えば乗算係数発生部６１に、この図１０（ｂ）の特性の関数が設定されている場合において、位相差検出部２６からの位相差φがπ、またはπ近傍となっている周波数分割スペクトル成分に対する乗算係数ｗｐは１、あるいは１に近い値となるので、乗算部６２、６３からは、当該周波数分割スペクトル成分は、ほぼそのままのレベルで出力される。一方、位相差検出部２６からの位相差φが、約３π／４以下の値となっている周波数分割スペクトル成分に対する乗算係数ｗｐは０となるので、乗算部６２，６３からは、当該周波数分割スペクトル成分は、出力レベルが０とされて、出力されなくなる。
【０１６７】
すなわち、乗算部６２，６３からは、多数個の周波数分割スペクトル成分のうち、左右逆相およびその近傍の位相差となっている周波数分割スペクトル成分は、ほぼそのままのレベルで出力され、左右チャンネルの位相差が小さい周波数分割スペクトル成分は、出力レベルが０とされて出力されなくなる。この結果、左右２チャンネルの音声信号ＳＬ，ＳＲに逆相で分配された音源の音声信号の周波数分割スペクトル成分のみが加算部６４から得られることになる。
【０１６８】
つまり、この図１０（ｂ）の特性の関数は、左右２チャンネルに逆相で分配されている音源の信号を抽出する際に用いられる。
【０１６９】
同様にして、図１０（ｃ）の特性の関数は、左右チャンネルの位相差φが約π／２、あるいは約π／２に近い場合の周波数分割スペクトル成分では、乗算係数ｗｐは１あるいは１近傍となり、その他の位相差φの領域では、乗算係数ｗｐは０となっている。したがって、この図１０（ｃ）の特性の関数は、左右２チャンネルに、互いに約π／２だけ異なる位相で分配されている音源の信号を抽出する際に用いられる。
【０１７０】
その他、乗算係数発生部６１および６５には、分離する音源の音声信号の２チャンネルへ分配する際の位相差に応じて、図１０（ｄ）や（ｅ）に示すような特性の関数を設定することもできる。
【０１７１】
以上のようにして、周波数分割スペクトル制御処理部１０４の１つの音源分離処理部から得られる第１の出力Ｆｅｘ１および第２の出力Ｆｅｘ２は、逆ＦＦＴ部１５０ａおよび１５０ｂにそれぞれ供給されて、元の時系列の音声信号に戻され、第１および第２の出力信号ＳＯａおよびＳＯｂとして導出される。これら第１および第２の出力信号ＳＯａおよびＳＯｂをアナログ信号として導出する場合には、逆ＦＦＴ部１５０ａおよび１５０ｂの出力段にＤ／Ａ変換器が設けられる。
【０１７２】
この第４の実施形態において、例えば、前記（式３）および（式４）で示された左右２チャンネルの音声信号ＳＬおよびＳＲから、同レベルであるが、同相で左右チャンネルに分配された音源ＭＳ３の音声信号Ｓ３と、逆相で左右チャンネルに分配された音源ＭＳ６の音声信号Ｓ６とを、出力Ｆｅｘ１およびＦｅｘ２として分離する場合には、乗算係数発生部５１には、図５（ａ）に示したような特定の関数が設定され、また、乗算係数発生部６１には、図１０（ａ）に示すような特性となる関数が設定され、さらに乗算係数発生部６５には、図１０（ｂ）に示すような特性となる関数が設定される。
【０１７３】
すると、図８および図９に示すように、周波数分割スペクトル制御処理部１０４の第１周波数分割スペクトル制御処理部１０４Ａの乗算部５２からは、左チャンネルの音声信号ＳＬをＦＦＴした信号（周波数分割スペクトル）のうちの、（Ｓ３＋Ｓ６）なる周波数分割スペクトル成分が得られ、また、乗算部５３からは、右チャンネルの音声信号ＳＲをＦＦＴした信号（周波数分割スペクトル）のうちの、（Ｓ３−Ｓ６）なる周波数分割スペクトル成分が得られる。つまり、信号Ｓ３とＳ６とは、左右チャンネルに同レベルで分配されているので、第１周波数分割スペクトル制御処理部１０４Ａでは、分離できずに出力されることになる。
【０１７４】
しかし、この第４の実施形態では、信号Ｓ３と信号Ｓ６とが逆相で左右チャンネルに分配されていることを利用して、次のようにして、当該信号Ｓ３と、信号Ｓ６とが分離される。
【０１７５】
すなわち、乗算部５２および５３の出力は、周波数分割スペクトル比較処理部１０３の位相比較処理部１０３２を構成する位相差検出部２６に供給されて、両出力の位相差φが検出される。そして、この位相差検出部２６で検出された位相差φの情報は、乗算係数発生部６１に供給されるとともに、乗算係数発生部６５に供給される。
【０１７６】
乗算係数発生部６１では、図１０（ａ）に示すような特性の関数が設定されていることから、乗算部６２，６３では、左右チャンネルに同相で分配されている音源の音声信号を抽出する。すなわち、周波数分割スペクトル成分（Ｓ３＋Ｓ６）と、周波数分割スペクトル成分（Ｓ３−Ｓ６）のうちの、同相関係にある音源ＭＳ３の音声信号Ｓ３の周波数分割スペクトル成分のみが乗算部６２および６３のそれぞれから得られ、加算部６４に供給される。
【０１７７】
したがって、加算部６４からは、音源ＭＳ３の音声信号Ｓ３の周波数分割スペクトル成分が、出力信号Ｆｅｘ１として導出され、逆ＦＦＴ部１５０ａに供給される。そして、分離された音声信号Ｓ３は、逆ＦＦＴ部１５０ａで時系列信号に戻され、出力信号ＳＯａとして出力される。
【０１７８】
一方、乗算係数発生部６５では、図１０（ｂ）に示すような特性の関数が設定されていることから、乗算部６６，６７では、左右チャンネルに逆相で分配されている音源の音声信号を抽出する。すなわち、周波数分割スペクトル成分（Ｓ３＋Ｓ６）と、周波数分割スペクトル成分（Ｓ３−Ｓ６）のうちの、逆相関係にある音源ＭＳ６の音声信号Ｓ６の周波数分割スペクトル成分のみが乗算部６６および６７のそれぞれから得られ、加算部６８に供給される。
【０１７９】
したがって、加算部６８からは、音源ＭＳ６の音声信号Ｓ６の周波数分割スペクトル成分が、出力信号Ｆｅｘ２として導出され、逆ＦＦＴ部１５０ｂに供給される。そして、分離された音声信号Ｓ６は、逆ＦＦＴ部１５０ｂで時系列信号に戻され、出力信号ＳＯｂとして出力される。
【０１８０】
なお、図８および図９に示した実施形態では、第２周波数分割スペクトル制御処理部１０４Ｐでは、第１周波数分割スペクトル制御処理部１０４Ａにおいてレベル比を用いては分離できない２つの信号、上述の例では、同相の信号Ｓ３と、逆相の信号Ｓ６とを、それぞれ乗算係数および乗算部を用いて、それぞれ分離するようにしたが、それらレベル比を用いては分離できない２つの信号の一方を、位相差φと乗算係数を用いて分離したら、当該分離した信号を、第１周波数分割スペクトル制御処理部１０４Ａからの信号の和（乗算部５２の出力と乗算部５３の出力を加算した信号）から減算することにより、前記２つの信号の他方の信号を、分離するようにすることもできる。
【０１８１】
なお、図８、図９の実施形態では、２個の分離音源信号を得るようにしたが、出力する分離音源信号は、１個でもよい。また、位相差φと乗算係数を用いて、より多数個の音源の音声信号を同時に分離する場合にも、この第４の実施形態を適用することができるのは言うまでもない。
【０１８２】
また、図８、図９の実施形態は、２系統の周波数分割スペクトルのレベル比に基づいて、２系統の音声信号に同レベルで分配されている音源成分を抽出した後、その抽出結果の２系統の周波数分割スペクトルについての位相差に基づいて、所望の音源分離を行なうようにしたが、例えば入力音声信号が、（Ｓ３＋Ｓ６）および（Ｓ３−Ｓ６）のような、２系統の音声信号の場合には、位相差のみに基づいて、音源分離を行なうことができることは言うまでもない。
【０１８３】
［第５の実施形態］
以上の実施の形態は、２チャンネルステレオ信号が５個の音源の音声信号からなる場合であって、それら５個の音源の音声信号をそれぞれ分離したり、一部、他の音源信号との和として分離したりする場合であった。
【０１８４】
この第５の実施形態は、上述の実施形態の音源分離の方法は、そのまま用いると共に、低域信号のみのチャンネルの音声信号をも２チャンネルステレオ信号から生成して、いわゆる５．１チャンネルの音声信号を生成し、生成した６個の音声信号により６個のスピーカをドライブするようにするマルチチャンネル音響再生システムの場合である。
【０１８５】
図１１は、この第５の実施形態の場合における音響再生システムの構成例を示すブロック図である。また、図１２は、この図１１の音響再生システムにおける音声信号処理装置部１００の構成例のブロック図である。
【０１８６】
この第５の実施形態では、前述の実施形態の場合における図２に示した５個のスピーカＳＰ１〜ＳＰ５のほかに、低域再生用のスピーカＳＰ６を設ける。そして、この第５の実施形態における音声信号処理装置部１００においては、スピーカＳＰ１〜スピーカＳＰ５に供給する音声信号Ｓ１´〜Ｓ５´は、２チャンネルステレオ信号ＳＬおよびＳＲの高域成分から、前述した第１の実施形態の方法を用いて分離抽出すると共に、低域再生用のスピーカＳＰ６に供給する音声信号Ｓ６´は、２チャンネルステレオ信号ＳＬおよびＳＲの低域成分から生成するようにする。
【０１８７】
すなわち、図１２に示すように、この第５の実施形態においては、ＦＦＴ部１０１からの周波数領域信号Ｆ１は、ハイパスフィルタ１０８１を通じて高域成分のみとされた後、周波数分割スペクトル比較処理部１０３に供給されると共に、周波数分割スペクトル制御処理部１０４に供給される。また、ＦＦＴ部１０２からの周波数領域信号Ｆ２は、ハイパスフィルタ１０８２を通じて高域成分のみとされた後、周波数分割スペクトル比較処理部１０３に供給されると共に、周波数分割スペクトル制御処理部１０４に供給される。
【０１８８】
そして、周波数分割スペクトル比較処理部１０３および周波数分割スペクトル制御処理部１０４において、第１の実施形態で説明したようにして、５個の音源ＭＳ１〜ＭＳ５の周波数領域の音声信号成分が分離抽出され、それらが逆ＦＦＴ部１０５１〜１０５５により時間領域の信号Ｓ１´〜Ｓ５´に戻されて、出力端子１０６１〜１０６５に導出される。
【０１８９】
そして、この第５の実施形態においては、ＦＦＴ部１０１からの周波数領域信号Ｆ１は、ローパスフィルタ１０８３を通じて低域成分のみとされた後、加算部１０８５に供給されると共に、ＦＦＴ部１０２からの周波数領域信号Ｆ２は、ローパスフィルタ１０８４を通じて低域成分のみとされた後、加算部１０８５に供給されて、ローパスフィルタ１０８３からの低域成分と加算される。つまり、信号Ｆ１およびＦ２の低域成分の和が、加算部１０８５から得られる。
【０１９０】
この加算部１０８５からの信号Ｆ１およびＦ２の低域成分の和は、逆ＦＦＴ部１０８８６により時間領域の信号Ｓ６´とされ、出力端子１０８７に導出される。つまり、左右２チャンネルの音声信号ＳＬ，ＳＲの低域成分の和Ｓ６´が、この出力端子１０８７に導出される。そして、この低域成分の和Ｓ６´が、信号ＬＥＦ（Ｌｏｗ Ｅｆｆｅｃｔ Ｆｒｅｑｕｅｎｃｙ）として出力され、Ｄ／Ａ変換器３３６およびアンプ３４６を通じてスピーカＳＰ６に供給される。
【０１９１】
以上のようにして、２チャンネルステレオ音声信号ＳＬ，ＳＲから、５．１チャンネル信号を取り出すマルチチャンネルシステムを実現することができる。
【０１９２】
［第６の実施形態］
この第６の実施形態は、第５の実施形態の音声信号処理装置部１００で生成した５．１チャンネル信号を、さらに信号処理をすることにより、新たに、ＳＢ（Ｓｏｕｎｄ Ｂａｃｋ）チャンネルを分離し、６．１チャンネル信号として出力する例を示している。
【０１９３】
図１３は、音響再生システムにおいて、音声信号処理装置部１００の後段の構成のブロック図である。この第６の実施形態では、前述の第５の実施形態のスピーカＳＰ１〜ＳＰ６に加えて、ＳＢチャンネル再生用のスピーカＳＰ７を設ける。
【０１９４】
そして、音声信号処理装置部１００の後段に、後段信号処理部２００を設け、この後段信号処理部２００において、音声信号処理装置部１００からの５．１チャンネルの音声信号から、ＳＢチャンネルの音声信号を加えた６．１チャンネルの音声信号を生成する。そして、後段信号処理部２００からの５．１チャンネルの音声信号に対して、Ｄ／Ａ変換器３３１〜３３６と、アンプ３４１〜３４６とを設けると共に、加えたＳＢチャンネルのデジタル音声信号をアナログ音声信号に変換するＤ／Ａ変換器３３７と、アンプ３４７とを設ける。
【０１９５】
図１４は、後段信号処理部２００の内部構成例で、デジタル信号Ｓ１´，Ｓ５´は、第２の音声信号処理装置部４００に供給され、この第２の音声信号処理装置部４００において、信号ＬＳ´と、信号ＲＳ´と、信号ＳＢ´が分離されて、出力される。また、後段信号処理部２００では、デジタル音声信号Ｓ２´，Ｓ３´，Ｓ４´およびＳ６´に対しては、遅延器２０１，２０２，２０３，２０４が設けられ、デジタル音声信号Ｓ２´，Ｓ３´，Ｓ４´およびＳ６´は、これらの遅延器２０１，２０２，２０３，２０４により第２の音声信号処理装置部４００での処理遅延時間に対応する時間だけ遅延されて、出力される。
【０１９６】
第２の音声信号処理装置部４００は、音声信号処理装置部１００と基本的な構成は、同一である。この第2の音声信号処理装置部４００では、デジタル信号Ｓ１´，Ｓ５´に同相、同レベルで分配されている信号、つまり，レベル比が１：１となっている信号としてデジタル信号Ｓ１´，Ｓ５´からＳＢ信号を分離抽出する。また、デジタル信号Ｓ１´，Ｓ５´のそれぞれから、デジタル信号Ｓ１´，Ｓ５´の一方に主として含まれている信号として、つまり、レベル比が１：０となっている信号としてデジタル信号ＬＳおよびＲＳを分離抽出する。
【０１９７】
この第２の音声信号処理装置部４００の構成例のブロック図を、図１５に示す。この図１５に示すように、第２の音声信号処理装置部４００においては、デジタル音声信号Ｓ１´は、ＦＦＴ部４０１に供給されて、ＦＦＴ処理されて、時系列音声信号が周波数領域データに再変換される。また、デジタル音声信号Ｓ５´は、ＦＦＴ部４０２に供給されて、ＦＦＴ処理されて、時系列音声信号が周波数領域データに再変換される。
【０１９８】
ＦＦＴ部４０１および４０２は、前述の実施形態のＦＦＴ部１０１および１０２と同様の構成を備える。各ＦＦＴ部４０１およびＦＦＴ部４０２からの周波数分割スペクトル出力Ｆ３およびＦ４は、それぞれ周波数分割スペクトル比較処理部４０３と、周波数分割スペクトル制御処理部４０４とに供給される。
【０１９９】
周波数分割スペクトル比較処理部４０３は、ＦＦＴ部４０１およびＦＦＴ部４０２からの周波数分割スペクトル成分Ｆ３，Ｆ４の、同じ周波数同士のレベル比を算出し、算出したレベル比を周波数分割スペクトル制御処理部４０４に出力する。
【０２００】
周波数分割スペクトル比較処理部４０３は、前述の実施形態の周波数分割スペクトル比較処理部１０３と同様の構成を備えるもので、この例では、レベル検出部４０３１，４０３２と、レベル比算出部４０３３，４０３４と、セレクタ４０３５，４０３６，４０３７とからなる。
【０２０１】
レベル検出部４０３１は、ＦＦＴ部４０１からの周波数分割スペクトル成分Ｆ３のそれぞれの周波数成分のレベルを検出し、その検出出力Ｄ３を出力する。また、レベル検出部４０３２は、ＦＦＴ部４０２からの周波数分割スペクトル成分Ｆ４のそれぞれの周波数成分のレベルを検出し、その検出出力Ｄ４を出力する。この例では、各周波数分割スペクトルのレベルは、振幅スペクトルを検出する。なお、各周波数分割スペクトルのレベルとして、パワースペクトルを検出するようにしてもよい。
【０２０２】
そして、レベル比算出部４０３３は、Ｄ３／Ｄ４を算出する。また、レベル比算出部４０３４は、その逆数のＤ４／Ｄ３を算出する。レベル比算出部４０３３およびレベル比算出部４０３４で算出されたレベル比は、セレクタ４０３５，４０３６，４０３７のそれぞれに供給される。そして、セレクタ４０３５，４０３６，４０３７のそれぞれから、その一方のレベル比が、出力レベル比ｒ６，ｒ７，ｒ８として取り出される。
【０２０３】
セレクタ４０３５，４０３６，４０３７のそれぞれには、分離すべきものとして使用者により設定された音源およびそのレベル比に応じて、レベル比算出部４０３３の出力と、レベル比算出部４０３４の出力のいずれを選択すべきかを選択制御するための選択制御信号ＳＥＬ６，ＳＥＬ７，ＳＥＬ８が供給される。このセレクタ４０３５，４０３６，４０３７のそれぞれから得られる出力レベル比ｒ６、ｒ７、ｒ８は、周波数分割スペクトル制御処理部４０４に供給される。
【０２０４】
周波数分割スペクトル制御処理部４０４は、前述したように、分離抽出しようとする複数個の音源の音声信号の数に対応する数、この例では、３個の音源分離処理部４０４１，４０４２，４０４３を備える。
【０２０５】
この例では、音源分離処理部４０４１にはＦＦＴ部４０１の出力Ｆ３が供給されると共に、周波数分割スペクトル比較処理部４０３のセレクタ４０３５から得られる出力レベル比ｒ６が供給される。また、音源分離処理部４０４２にはＦＦＴ部４０２の出力Ｆ４が供給されると共に、周波数分割スペクトル比較処理部４０３のセレクタ４０３６から得られる出力レベル比ｒ７が供給される。また、音源分離処理部４０４３には、ＦＦＴ部４０１の出力Ｆ３およびＦＦＴ部４０２の出力Ｆ４が供給されると共に、周波数分割スペクトル比較処理部４０３のセレクタ４０３６から得られる出力レベル比ｒ８が供給される。
【０２０６】
この例では、音源分離処理部４０４１は、乗算係数発生部４１１と乗算部４１２とからなり、また、音源分離処理部４０４２は、乗算係数発生部４２１と乗算部４２２とからなる。また、音源分離処理部４０４３は、乗算係数発生部４３１と、乗算部４３２，４３３と、加算部４３４とからなる。
【０２０７】
そして、音源分離処理部４０４１においては、ＦＦＴ部４０１の出力Ｆ３が乗算部４１２に供給されると共に、周波数分割スペクトル比較処理部４０３のセレクタ４０３５から得られる出力レベル比ｒ６が乗算係数発生部４１１に供給される。乗算係数発生部４１１からは、上述と同様にして、入力レベル比ｒ６に応じた乗算係数ｗｉが得られ、乗算部４１２に供給される。
【０２０８】
また、音源分離処理部４０４２においては、ＦＦＴ部４０２の出力Ｆ４が乗算部４２２供給されると共に、周波数分割スペクトル比較処理部４０３のセレクタ４０３６から得られる出力レベル比ｒ７が乗算係数発生部４２１に供給される。乗算係数発生部４１１からは、上述と同様にして、入力レベル比ｒ７に応じた乗算係数ｗｉが得られ、乗算部４２２に供給される。
【０２０９】
また、音源分離処理部４０４３においては、ＦＦＴ部４０１の出力Ｆ３が乗算部４３２に供給され、ＦＦＴ部４０２の出力Ｆ４が乗算部４３３に供給されると共に、周波数分割スペクトル比較処理部４０３のセレクタ４０３６から得られる出力レベル比ｒ８が乗算係数発生部４３１に供給される。乗算係数発生部４１１からは、上述と同様にして、入力レベル比ｒ８に応じた乗算係数ｗｉが得られ、乗算部４３２および４３３に供給される。そして、乗算部４３２および４３３の出力は、加算部４３４で加算された後出、力される。
【０２１０】
音源分離処理部４０４１，４０４２，４０４３のそれぞれは、周波数分割スペクトル比較処理部４０３からのレベル比ｒ６、ｒ７、ｒ８の情報を受けて、当該レベル比が、分離抽出しようとする音源信号の２チャンネル信号Ｓ１´，Ｓ５´への分配比と等しいものとなっている周波数分割スペクトル成分のみを、ＦＦＴ部４０１およびＦＦＴ部４０２の出力の一方または両方から抽出し、その抽出結果出力Ｆｅｘ１１，Ｆｅｘ１２，Ｆｅｘ１３を、それぞれ逆ＦＦＴ部１１０１，１１０２，１１０３に出力する。
【０２１１】
音源分離処理部４０４１の乗算係数発生部４１１には、セレクタ４０３５からのＤ４／Ｄ３なるレベル比ｒ６が供給される。この乗算係数発生部４１１には、図５（ｂ）に示すような関数発生回路が設定され、乗算部４１２からは、主として、信号Ｓ１´のみに含まれる周波数成分が得られ、これが音源分離処理部４０４２の出力信号Ｆｅｘ１１として出力される。
【０２１２】
音源分離処理部４０４２の乗算係数発生部４２１には、セレクタ４０３６からのＤ３／Ｄ４なるレベル比ｒ７が供給される。この乗算係数発生部４２１には、図５（ｂ）に示すような関数発生回路が設定され、乗算部４２２からは、主として、信号Ｓ５´のみに含まれる周波数成分が得られ、これが音源分離処理部４０４２の出力信号Ｆｅｘ１２として出力される。
【０２１３】
音源分離処理部４０４３の乗算係数発生部４３１には、セレクタ４０３７からのＤ４／Ｄ３またはＤ３／Ｄ４のいずれかからなるレベル比ｒ８が供給される。この乗算係数発生部４３１には、図５（ａ）に示すような関数発生回路が設定される。したがって、乗算部４３２および４３３からは、主として、信号Ｓ１´と信号Ｓ５´とに同相、同レベルで含まれる周波数成分が出力され、加算部４３４からは、これら乗算部４３２および４３３からの出力信号の加算出力が得られ、これが音源分離処理部４０４３の出力信号Ｆｅｘ１３として出力される。
【０２１４】
逆ＦＦＴ部１１０１，１１０２，１１０３のそれぞれは、周波数分割スペクトル制御処理部４０４の音源分離処理部４０４１，４０４２，４０４３のそれぞれからの抽出結果出力Ｆｅｘ１１，Ｆｅｘ１２，Ｆｅｘ１３の周波数分割スペクトル成分を元の時系列信号に変換し、その変換出力信号を、使用者が分離したいとして設定した３個の音源の音声信号ＬＳ´、ＲＳ´、ＳＢとして出力端子１２０１，１２０２，１２０３を通じて出力する。
【０２１５】
以上のようにして、この第６の実施形態によれば、５．１チャンネルの音声信号から、６．１チャンネルの音声信号が生成され、７個のスピーカＳＰ１〜ＳＰ７により再生されるシステムが実現される。
【０２１６】
なお、上述の第6の実施形態の説明では、信号ＬＳ´、ＲＳ´は、レベル比を用いて音源分離処理部を用いて音源分離するようにしたが、第３または第４の実施形態と同様に、信号ＳＢを分離した残差として取り出すこともできる。このような構成によれば、ＳＢチャンネルに限らず、マルチチャンネルで入力された音声信号から、更に多くの音源を分離し、再配置することにより、より分離のよい音像定位を持つマルチチャンネルシステムを構成することが可能となる。
【０２１７】
［第７の実施形態］
第７の実施形態の構成例を図１６に示す。この第７の実施形態は、２チャンネルステレオ音声信号ＳＬ，ＳＲを、音声信号処理装置部５００で信号処理して、その信号処理結果の音声信号をヘッドホンにて聞くシステムである。
【０２１８】
図１６に示すように、この第７の実施形態では、２チャンネルステレオ音声信号ＳＬ，ＳＲは、入力端子５１１および５１２をそれぞれ通じて音声信号処理装置部５００に入力される。音声信号処理装置部５００は、第１の信号処理部５０１と、第２の信号処理部５０２からなる。
【０２１９】
第１の信号処理部５０１は、前述した実施形態の音声信号処理装置部１００と同様に構成される。すなわち、第１の信号処理部５０１においては、入力された２チャンネルステレオ信号ＳＬ，ＳＲが、例えば第１の実施形態と同様にして、３チャンネル以上の多チャンネル、例えば５チャンネルのマルチチャンネル信号に変換される。
【０２２０】
次に、第２の信号処理部５０２では、この第１の信号処理部５０１からのマルチチャンネル音声信号を入力として受け、マルチチャンネルの各チャンネルの音声信号に対して、任意の位置に置かれたスピーカからリスナの両耳に至る伝達関数と同等の特性を付加され、再度、２チャンネルの信号ＳＬｏおよびＳＲｏに纏められる。
【０２２１】
そして、第２の信号処理部５０２からの出力信号ＳＬｏおよびＳＲｏが、音声信号処理装置部５００の出力とされて、Ｄ／Ａ変換器５１３および５１４に供給されて、アナログ音声信号に変換され、アンプ５１５および５１６を通じて出力端子５１７および５１８に出力される。そして、出力端子５１７および５１８に接続されるヘッドホン５２０により、音声信号ＳＬｏおよびＳＲｏが音響再生される。
【０２２２】
この、ヘッドホン５２０で、スピーカ再生と同等の特性を実現する原理は以下のようになる。
【０２２３】
図１７は、そのようなヘッドホン装置の一例のブロック図を示すもので、アナログ音声信号ＳＡが、入力端子５２１を通じてＡ／Ｄ変換器５２２に供給されてデジタル音声信号ＳＤに変換される。そして、このデジタル音声信号ＳＤが、デジタルフィルタ５２３および５２４に供給される。
【０２２４】
このデジタルフィルタ５２３および５２４のそれぞれは、図１８に示すように、複数個のサンプル遅延器５３１，５３２・・・５３（ｎ−１）と、フィルタ係数乗算器５４１，５４２、・・・５４ｎと、加算器５５１，５５２、・・・５５（ｎ−１）（ｎは２以上の整数）、からなるＦＩＲ（Ｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタにより構成され、このデジタルフィルタ５２３，５２４のそれぞれにおいて音像の頭外定位のための処理が行われる。
【０２２５】
すなわち、例えば図１９に示すように、リスナＭの前方に音源ＳＰが配置されているとき、この音源ＳＰから出力される音は、伝達関数ＨＬ、ＨＲを持つ経路を通じてリスナＭの左耳および右耳に伝達される。
【０２２６】
そこで、デジタルフィルタ５２３および５２４には、信号ＳＤに対して、伝達関数ＨＬ、ＨＲを時間軸に変換したインパルス応答が畳み込まれる。つまり、伝達関数ＨＬ，ＨＲに対応するフィルタ係数Ｗ１，Ｗ２，・・・，Ｗｎが求められ、音源ＳＰの音声がリスナＭの左耳、右耳に伝達されたときの音声となるような処理がデジタルフィルタ５２３および５２４において行なわれる。なお、デジタルフィルタ５２３，５２４に畳み込まれるインパルス応答は、あらかじめ測定することにより、あるいは計算することにより、算出され、フィルタ係数Ｗ１，Ｗ２，・・・，Ｗｎに変換されて、デジタルフィルタ５２３，５２４に与えられる。
【０２２７】
そして、この処理結果の信号ＳＤ１，ＳＤ２が、Ｄ／Ａコンバータ回路５２５，５２６に供給されてアナログ音声信号ＳＡ１、ＳＡ２に変換され、この信号ＳＡ１、ＳＡ２が、ヘッドホンアンプ５２７および５２８を通じてヘッドホン５２０の左および右の音響ユニット（電気・音響変換素子）に供給されて音響再生される。
【０２２８】
したがって、ヘッドホンの左および右の音響ユニットによる再生音は、伝達関数ＨＬ、ＨＲを持つ経路を通じた音となるので、リスナＭが、ヘッドホン５２０を装着してその再生音を聴くとき、図１９に示すように、その音像ＳＰが頭外に定位する状態が再現される。
【０２２９】
なお、図１７〜図１９を用いて説明した以上の説明は、第１の信号処理部５０１からの１チャンネルの音声信号に対する処理の説明に対応するもので、第２の信号処理部５０２では、第１の信号処理部５０１からのマルチチャンネルの各チャンネルの音声信号に対して、上述の処理を施すものである。そして、左チャンネルあるいは右チャンネルの信号とすべき信号は、それぞれ多チャンネルの信号同士で加算して、それぞれ生成するものである。
【０２３０】
なお、図１７では、Ａ／Ｄ変換器を設けたが、第１の信号処理部５０１の出力は、デジタル音声信号であるので、第２の信号処理部５０２においては、Ａ／Ｄ変換器は不要であることは言うまでもない。
【０２３１】
以上のようにして、第１の信号処理部５０１で分離された複数チャンネルの各音源に対して、第２の信号処理部５０２で上述のようなデジタルフィルタ処理を行なうことにより、複数チャンネルの各音源が任意の位置に音像定位するように、ヘッドホン５２０にて受聴することが可能となる。
【０２３２】
［第８の実施形態］
第８の実施形態の構成例を図２０に示す。この第８の実施形態は、２チャンネルステレオ音声信号ＳＬ，ＳＲを、音声信号処理装置部６００で信号処理して、その信号処理結果の音声信号を、２個のスピーカＳＰＬ，ＳＰＲにて聞くシステムである。
【０２３３】
図２０に示すように、この第８の実施形態では、第７の実施形態と同様に、２チャンネルステレオ音声信号ＳＬ，ＳＲは、入力端子６１１および６１２をそれぞれ通じて音声信号処理装置部６００に入力される。音声信号処理装置部６００は、第１の信号処理部６５０１と、第２の信号処理部６０２からなる。
【０２３４】
第１の信号処理部６０１は、第７の実施形態の第１の信号処理部５０１と全く同様であり、入力された２チャンネルステレオ信号ＳＬ，ＳＲを、例えば第１の実施形態と同様にして、３チャンネル以上の多チャンネル、例えば５チャンネルのマルチチャンネル信号に変換する。
【０２３５】
そして、第２の信号処理部６０２では、第１の信号処理部６０１からのマルチチャンネル音声信号を入力として受け、マルチチャンネルの各チャンネルの音声信号に対して、任意の位置に置かれたスピーカからリスナの両耳に至る伝達関数と同等の特性を、２個のスピーカＳＰＬ，ＳＰＲで再現する特性が付加される。そして、再度、２チャンネルの信号ＳＬｏｐおよびＳＲｏｐに纏められる。
【０２３６】
そして、第２の信号処理部６０２からの出力信号ＳＬｓｐおよびＳＲｓｐが、音声信号処理装置部６００の出力とされて、Ｄ／Ａ変換器６１３および６１４に供給されて、アナログ音声信号に変換され、アンプ６１５および６１６を通じて出力端子６１７および６１８に出力される。そして、出力端子６１７および６１８に接続されるスピーカＳＰＬおよびＳＰＲにより、音声信号ＳＬｓｐおよびＳＲｓｐが音響再生される。
【０２３７】
この、２個のスピーカＳＰＬ，ＳＰＲで、任意の位置のスピーカ再生と同等の特性を実現する原理は以下のようになる。
【０２３８】
図２１は、２個のスピーカにより、任意の位置に音像を定位させるようにする信号処理装置の構成例のブロック図である。
【０２３９】
すなわち、アナログ音声信号ＳＡが、入力端子６２１を通じてＡ／Ｄ変換器６２２に供給されてデジタル音声信号ＳＤに変換される。そして、このデジタル音声信号ＳＤが、例えば前述の図１８に示したデジタルフィルタにより構成されるデジタル処理回路６２３および６２４に供給される。そして、このデジタル処理回路６２３および６２４においては、信号ＳＤに対して、後述する伝達関数を時間軸に変換したインパルス応答が畳み込まれる。
【０２４０】
そして、この処理結果の信号ＳＤＬ、ＳＤＲが、Ｄ／Ａコンバータ回路６２５、６２６に供給されて、アナログ音声信号ＳＡＬ、ＳＡＲに変換され、この信号ＳＡＬ、ＳＡＲが、スピーカアンプ６２７、６２８を通じて、リスナＭの左前方および右前方に配置された左および右チャンネルのスピーカＳＰＬ、ＳＰＲに供給される。
【０２４１】
ここで、デジタル処理回路６２３、６２４における処理は、次のような内容とされる。すなわち、今、図２２に示すように、リスナＭの左前方および右前方に音源ＳＰＬ、ＳＰＲを配置し、これら音源ＳＰＬ、ＳＰＲにより、任意の位置に音源ＳＰＸを等価的に再現する場合を考える。
【０２４２】
そして、
ＨLL：音源ＳＰＬからリスナＭの左耳に至る伝達関数
ＨLR：音源ＳＰＬからリスナＭの右耳に至る伝達関数
ＨRL：音源ＳＰＲからリスナＭの左耳に至る伝達関数
ＨRR：音源ＳＰＲからリスナＭの右耳に至る伝達関数
ＨXL：音源ＳＰＸからリスナＭの左耳に至る伝達関数
ＨXR：音源ＳＰＸからリスナＭの右耳に至る伝達関数
とすると、音源ＳＰＬ、ＳＰＲは、
ＳＰＬ＝（ＨXL×ＨRR−ＨXR×ＨRL）／（ＨLL×ＨRR−ＨLR×ＨRL）×ＳＰＸ
・・・（式５）
ＳＰＲ＝（ＨXR×ＨLL−ＨXL×ＨLR）／（ＨLL×ＨRR−ＨLR×ＨRL）×ＳＰＸ
・・・（式６）
のように表すことができる。
【０２４３】
したがって、音源ＳＰＸに対応する入力音声信号ＳXAを、（式５）の伝達関数部分を実現するフィルタを通じて音源ＳＰＬの位置に配置したスピーカに供給するとともに、信号ＳXAを、（式６）の伝達関数部分を実現するフィルタを通じて音源ＳＰＲの位置に配置したスピーカに供給すれば、音源ＳＰＸの位置に、音声信号ＳＸによる音像を定位させることができる。
【０２４４】
そこで、デジタル処理回路６２３，６２４には、これに供給されたデジタル音声信号ＳＤに対して、（式５）、（式６）の伝達関数部分と同様の伝達関数を時間軸に変換したインパルス応答が畳み込まれる。なお、デジタル処理回路６２３，６２４を構成するデジタルフィルタに畳み込まれるインパルス応答は、あらかじめ測定することにより、あるいは計算することにより、算出され、フィルタ係数Ｗ１，Ｗ２，・・・，Ｗｎに変換されて、デジタル処理回路６２３，６２４に与えられる。
【０２４５】
そして、このデジタル処理回路６２３，６２４の処理結果の信号ＳＤＬ，ＳＤＲが、Ｄ／Ａコンバータ回路６２５，６２６に供給されてアナログ音声信号ＳＡＬ、ＳＡＲに変換され、この信号ＳＡＬ、ＳＡＲが、アンプ６２７および６２８を通じてスピーカＳＰＬ、ＳＰＲに供給されて音響再生される。
【０２４６】
したがって、２個のスピーカＳＰＬ，ＳＰＲの再生音により、アナログ音声信号ＳＡによる音像を、図２２に示すような音源ＳＰＸの位置に定位させることができる。
【０２４７】
なお、図２０〜図２２を用いて説明した以上の説明は、第１の信号処理部６０１からの１チャンネルの音声信号に対する処理の説明に対応するもので、第２の信号処理部６０２では、第１の信号処理部６０１からのマルチチャンネルの各チャンネルの音声信号に対して、上述の処理を施すものである。そして、左チャンネルあるいは右チャンネルの信号とすべき信号は、それぞれ多チャンネルの信号同士で加算して、それぞれ生成するものである。
【０２４８】
なお、図２１では、Ａ／Ｄ変換器を設けたが、第１の信号処理部６０１の出力は、デジタル音声信号であるので、第２の信号処理部６０２においては、Ａ／Ｄ変換器は不要であることは言うまでもない。
【０２４９】
以上のようにして、第１の信号処理部６０１で分離された複数チャンネルの各音源に対して、第２の信号処理部６０２で上述のようなデジタルフィルタ処理を行なうことにより、複数チャンネルの各音源が任意の位置に音像定位するように、２個のスピーカＳＰＬ，ＳＰＲで再現することが可能となる。
【０２５０】
［第９の実施形態］
第９の実施形態の構成例を図２３に示す。この第９の実施形態は、この図２３に示すように、エンコード装置部７１０と、伝送手段７２０と、デコード装置部７３０とからなるエンコード／デコード装置の例である。
【０２５１】
すなわち、この第９の実施形態においては、エンコード装置部７１０で、多チャンネル音声信号を２チャンネルの信号ＳＬ，ＳＲにエンコードし、当該エンコードした２チャンネルの信号の信号ＳＬ，ＳＲを、伝送手段７２０において記録再生、あるいは信号伝送等をした後、デコード装置部７３０により、元の多チャンネル信号を再合成するものである。
【０２５２】
ここで、エンコード装置部７１０は、例えば、図２４に示すような構成とされる。図２４では、入力された多チャンネルの音声信号Ｓ１，Ｓ２，・・・，Ｓｎは、それぞれ減衰器７１１Ｌ、７１２Ｌ、７１３Ｌ、・・・、７１ｎＬによりレベル調整されて、加算器７５１に供給されると共に、それぞれ減衰器７１１Ｒ、７１２Ｒ、７１３Ｒ、・・・、７１ｎＲによりレベル調整されて、加算器７５２に供給される。そして、加算器７５１および７５２から、２チャンネルの信号ＳＬおよびＳＲとして出力される。
【０２５３】
すなわち、多チャンネルの音声信号Ｓ１，Ｓ２，・・・，Ｓｎのそれぞれは、減衰器７１１Ｌ、７１２Ｌ、７１３Ｌ、・・・、７１ｎＬと、減衰器７１１Ｒ、７１２Ｒ、７１３Ｒ、・・・、７１ｎＲとで、異なる比でレベル差が付加され、２チャンネル信号ＳＬ，ＳＲに合成されて、出力される。すなわち、減衰器７１１Ｌ、７１２Ｌ、７１３Ｌ、・・・、７１ｎＬでは、各チャンネルの入力信号を、ｋＬ１、ｋＬ２、ｋＬ３、・・・、ｋＬｎ（ｋＬ１、ｋＬ２、ｋＬ３、・・・、ｋＬｎ≦１）倍のレベルとして出力する。また、減衰器７１１Ｒ、７１２Ｒ、７１３Ｒ、・・・、７１ｎＲでは、各チャンネルの入力信号を、ｋＲ１、ｋＲ２、ｋＲ３、・・・、ｋＲｎ（ｋＲ１、ｋＲ２、ｋＲ３、・・・、ｋＲｎ≦１）倍のレベルとして出力する。
【０２５４】
合成された２チャンネル信号ＳＬ，ＳＲは、例えば光ディスクなどの記録媒体に記録される。そして、当該記録媒体から再生されて伝送される、あるいは、通信回線を通じて伝送される。伝送手段７２０は、そのための記録再生装置や、通信回線を通じて送受する手段からなる。
【０２５５】
伝送手段７２０を通じて伝送された２チャンネルの音声信号ＳＬ，ＳＲは、デコード装置部７３０に与えられ、ここで元の音源が再合成された出力される。このデコード装置部７３０は、上述した第１〜第３の実施形態の音声信号処理装置部１００を含むもので、２チャンネルの音声信号から、エンコード装置部７１０でエンコードされたときの各音源の２チャンネルの音声信号ＳＬ，ＳＲへの混合の際のレベル比を基準にして、もとの多チャンネルの信号を分離復元し、多数個のスピーカにより再生する。
【０２５６】
上述の例では、エンコード装置部７１０では、信号の位相については考慮しなかったが、２チャンネルの信号ＳＬ，ＳＲを生成する際に、位相を考慮することもできる。図２５は、その場合のエンコード装置部７１０の構成例である。
【０２５７】
図２５に示すように、この場合のエンコード装置部７１０においては、減衰器７１１Ｌ、７１２Ｌ、７１３Ｌ、・・・、７１ｎＬと加算器７５１との間には移相器７６１Ｌ、７６２Ｌ、７６３Ｌ、・・・、７６ｎＬが設けられ、減衰器７１１Ｒ、７１２Ｒ、７１３Ｒ、・・・、７１ｎＲと加算器７５２との間には、移相器７６１Ｒ、７６２Ｒ、７６３Ｒ、・・・、７６ｎＲが設けられる。そして、これら移相器７６１Ｌ、７６２Ｌ、７６３Ｌ、・・・、７６ｎＬと、移相器７６１Ｒ、７６２Ｒ、７６３Ｒ、・・・、７６ｎＲとにより、各チャンネルの信号を２チャンネル信号ＳＬ，ＳＲに合成する際において、当該２チャンネル信号ＳＬ，ＳＲ間に位相差を付けることができるようにされている。
【０２５８】
この例の場合には、デコード装置部７３０は、例えば第４の実施形態の音声信号処理装置部１００が用いられる。
【０２５９】
以上のような音響再生システムによれば、音源間のセパレーションに優れたエンコード・デコードシステムを構成することが可能となる。
【０２６０】
［第１０の実施形態］
第１０の実施形態の構成例を図２６に示す。この第１０の実施形態は、２チャンネルステレオ音声入力信号ＳＬ，ＳＲを、音声信号処理装置部８００で信号処理して、その信号処理結果の音声信号を、ヘッドホンあるいは２個のスピーカにて聞くシステムである。
【０２６１】
第７の実施形態および第８の実施形態では、音声信号処理装置部では、第１の信号処理部と、第２の信号処理部とを設けて、第１の信号処理部により、入力ステレオ信号をマルチチャンネル信号に変換し、また、第２の信号処理部では、このマルチチャンネル音声信号を入力として、当該マルチチャンネルの音声信号に対して、任意の位置に置かれたスピーカからリスナの両耳に至る伝達関数と同等の特性や２個のスピーカで任意の位置で定位する音源が得られるような特性を付加するようにした。
【０２６２】
この第１０の実施形態では、これらの第１の信号処理部での処理と、第２の信号処理部での処理を独立に行なうのでなく、一回の時間領域から周波数領域の変換過程で全て行なうものである。
【０２６３】
図２６において、２チャンネルの音声信号ＳＬ，ＳＲを周波数領域の信号に変換し、例えば５チャンネルの周波数領域の音声信号成分に分離するまでの構成は、図１に示したものと同様である。すなわち、この図２６の実施形態においては、ＦＦＴ部１０１および１０２、周波数分割スペクトル比較処理部１０３、周波数分割スペクトル制御処理部１０４までの構成部分を備える。
【０２６４】
そして、周波数分割スペクトル制御処理部１０４からの出力信号を時間領域に変換する前に、この第１０の実施形態では、前述した第７の実施形態の第２の信号処理あるいは第８の実施形態の第２の信号処理に対応する処理を行なう信号処理部９００を設ける。
【０２６５】
この信号処理部９００は、周波数分割スペクトル制御処理部１０４からの５チャンネルの音声信号のそれぞれに対して、左チャンネル信号生成用の係数乗算部９１Ｌ、９２Ｌ，９３Ｌ，９４Ｌ、９５Ｌと、右チャンネル信号生成用の係数乗算部９１Ｒ、９２Ｒ，９３Ｒ，９４Ｒ、９５Ｒとを備える。そして、信号処理部９００は、さらに、左チャンネル信号生成用の係数乗算部９１Ｌ、９２Ｌ，９３Ｌ，９４Ｌ、９５Ｌの出力信号を合成するための加算器９６Ｌと、右チャンネル信号生成用の係数乗算部９１Ｒ、９２Ｒ，９３Ｒ，９４Ｒ、９５Ｒの出力信号を合成するための加算器９６Ｒとを備える。
【０２６６】
係数乗算部９１Ｌ、９２Ｌ，９３Ｌ，９４Ｌ、９５Ｌおよび係数乗算部９１Ｒ、９２Ｒ，９３Ｒ，９４Ｒ、９５Ｒの乗算係数としては、前述した第７の実施形態の第２の信号処理部のデジタルフィルタのフィルタ係数、あるいは、前述した第８の実施形態の第２の信号処理部のデジタル処理回路のフィルタ係数に対応した乗算係数が設定される。
【０２６７】
時間領域での畳み込み積分は、周波数領域では乗算により実現できるので、この第１０の実施形態では、図２６では係数乗算部９１Ｌ、９２Ｌ，９３Ｌ，９４Ｌ、９５Ｌおよび係数乗算部９１Ｒ、９２Ｒ，９３Ｒ，９４Ｒ、９５Ｒにより、分離された各信号に対し、一対の伝達特性を再現する係数が乗算される。
【０２６８】
また、乗算された結果は、加算部９６Ｌおよび９６Ｒでヘッドホンあるいはスピーカに出力するチャンネル同士が加算された後、逆ＦＦＴ部１２０１および１２０２に供給され、時系列データに戻され、２チャンネルの音声信号ＳＬ´およびＳＲ´として出力される。
【０２６９】
そして、逆ＦＦＴ部１２０１および１２０２からの時系列データＳＬ´およびＳＲ´は、図示は省略するが、さらに、Ｄ／Ａ変換器によりそれぞれアナログ信号に戻されて、ヘッドホンあるいは２個のスピーカに供給され、音響再生される。
【０２７０】
このような構成によれば、逆ＦＦＴ処理の回数を減らせると同時に、周波数領域で伝達特性の付加が行なえるので、ロングタップの特性を少ない処理時間で付加することができ、効率的なマルチチャンネル再生システムを構築することが可能となる。
【０２７１】
［第１１の実施形態の音声信号処理装置］
図２７は、第１１の実施形態の音声信号処理装置部の構成例の一部を示すブロック図である。この図２７は、左右２チャンネルの音声信号ＳＬ、ＳＲの一方、左チャンネルの音声信号ＳＬから、デジタルフィルタを用いて、左右チャンネルに所定のレベル比あるいはレベル差で分配された１つの音源の音声信号を分離する構成を示すものである。
【０２７２】
すなわち、左チャンネルの音声信号（この例ではデジタル信号）ＳＬは、タイミング調整用の遅延部１３０１を通じてデジタルフィルタ１３０２に供給される。このデジタルフィルタ１３０２には、後述するようにして、分離したい音源の音声信号の、左右チャンネルに対するレベル比に基づいて形成されるフィルタ係数が供給されて、前記分離したい音源の音声信号が、このデジタルフィルタ１３０２から抽出されるようにされる。
【０２７３】
前記フィルタ係数は、次のようにして形成される。先ず、左右チャンネルの音声信号ＳＬおよびＳＲ（デジタル信号）は、ＦＦＴ部１３０３およびＦＦＴ部１３０４にそれぞれに供給されて、ＦＦＴ処理されて時系列音声信号が周波数領域データに変換され、ＦＦＴ部１３０３およびＦＦＴ部１３０４のそれぞれから、周波数が互いに異なる多数個の周波数分割スペクトル成分が出力される。
【０２７４】
ＦＦＴ部１３０３および１３０４のそれぞれからの周波数分割スペクトル成分のそれぞれは、レベル検出部１３０５，１３０６に供給されて、その振幅スペクトルあるいはパワースペクトルが検出されることにより、そのレベルが検出される。そして、レベル検出部１３０５，１３０６の各々で検出されたレベル値Ｄ１，Ｄ２は、レベル比算出部１３０７に供給され、そのレベル比Ｄ１／Ｄ２またはＤ２／Ｄ１の一方が算出される。
【０２７５】
このレベル比算出部１３０７で算出されたレベル比の値は、重み付け係数発生部１３０８に供給される。この重み付け係数発生部１３０８は、前述の実施形態の乗算係数発生部に対応するものであり、分離したい音源の音声信号の、左右２チャンネルの音声信号に対する混合レベル比およびその近傍のレベル比では大きな値の重み付け係数を出力し、その他のレベル比では小さな重み付け係数を出力する。この重み付け係数は、ＦＦＴ部１３０３，１３０４の出力である周波数分割スペクトル成分の各周波数ごとに得られる。
【０２７６】
この重み付け係数発生部１３０８からの周波数領域の重み付け係数は、フィルタ係数生成部１３０９に供給され、時間軸領域のフィルタ係数に変換される。このフィルタ係数生成部１３０９は、周波数領域の重み付け係数を、逆ＦＦＴを行なうことにより、デジタルフィルタ４２に供給するフィルタ係数を得る。
【０２７７】
そして、このフィルタ係数生成部１３０９からのフィルタ係数が、デジタルフィルタ１３０２に供給されて、デジタルフィルタ１３０２から、重み付け係数発生部１３０８に設定された関数に応じた音源の音声信号成分が分離抽出されて、出力ＳＯとされる。なお、遅延部１３０１は、デジタルフィルタ１３０２に供給されるフィルタ係数が生成されるまでの処理遅延時間を調整するためのものである。
【０２７８】
図２７の例は、レベル比のみを考慮したものであるが、位相差のみ、またレベル比と位相差を合わせて考慮する構成とすることもできる。すなわち、例えばレベル比と位相差とを合わせて考慮する場合には、図示は省略するが、ＦＦＴ部１３０３および１３０４の出力を位相差検出部にも供給すると共に、検出した位相差をも、重み付け係数発生部に供給する。この例の場合の重み付け係数発生部は、分離する音源の左右２チャンネルの音声信号に対するレベル差のみではなく、位相差をも変数として重み付け係数を発生する関数発生回路の構成とされる。
【０２７９】
つまり、この場合の重み付け係数発生部は、分離しようとする音源の音声信号の、左右２チャンネルにおけるレベル比およびその近傍のレベル比のときであって、前記、分離しようとする音源の音声信号の、左右２チャンネルにおける位相差およびその近傍の位相差のときには、大きい重み付け係数を発生し、その他では小さい係数を発生するような関数に設定される。
【０２８０】
そして、その重み付け係数発生部からの重み付け係数が逆ＦＦＴされることにより、デジタルフィルタ１３０２のフィルタ係数とされるものである。
【０２８１】
なお、図２７では、左チャンネルのみから希望する音源の音声信号を分離するようにしたが、右チャンネルの音声信号についても、フィルタ係数を発生する系を、別個に同様に設けることにより、同様に所定の音源の音声信号を分離することができる。
【０２８２】
なお、２チャンネルステレオ信号ＳＬ，ＳＲから３チャンネル以上の多チャンネルの音源信号を分離抽出するためには、図２７の構成部分を、対応するチャンネル数分だけ設ければよい。その場合において、ＦＦＴ部１３０３，１３０４、レベル検出部１３０５，１３０６およびレベル比算出部１３０７は、各チャンネルにおいて共通とすることができる。
【０２８３】
［その他の実施形態の音声信号処理装置］
上述の実施形態において、入力音声信号をＦＦＴする場合、楽音のように長い時系列信号をそのままＦＦＴ処理することは困難なので、所定分析区間に区分けして、当該分析区間ごとの区分データを得ることによりＦＦＴ処理を行なう。
【０２８４】
しかしながら、時系列データを単純に一定の長さだけ取り出し、音源分離処理を行った後、逆ＦＦＴ変換して結合した場合、その結合点において波形の不連続点を発生し、音として聞いた場合、ノイズを発生すると言う問題がある。
【０２８５】
そこで、第１２の実施形態では、区分データを取り出すのに、図２８に示すように、区間１、区間２、区間３、区間４、・・・の長さを、それぞれ同じ長さの単位区間とするが、隣り合う区間では、前記単位区間の長さの例えば１／２の区間分を、互いに重複するように各区間を設定して、各区間の区分データを取り出すようにする。なお、図２８において、ｘ１、ｘ２、ｘ３、・・・、ｘｎは、デジタル音声信号のサンプルデータを示している。
【０２８６】
このようにして処理すると、上述の実施形態のようにして音源分離処理され、逆ＦＦＴ 変換された時系列データも、図２９に示す出力区分データ１，２のように、重複区間を持つことになる。
【０２８７】
そして、この第８の実施形態では、図２９に示すように、重複区間を持って隣り合う出力区分データ、例えば出力区分データ１，２の重複区間に対して、図２９に示すような三角窓の特性となる窓関数１、２の処理を行ない、各出力区分データ１，２の重複区間における同時刻データ同士を加算することにより、図２９に示すような出力合成データを得るようにする。これにより、波形の不連続点の無い、すなわちノイズの無い、分離された出力音声信号が得られる。
【０２８８】
さらに、第１３の実施形態では、区分データを取り出すのに、図３０に示すように、隣り合う区分データの一定区間として、区間１、区間２、区間３、区間４のように、互いに重複して取り出すようにすると同時に、これらの各区間の区分データを、ＦＦＴ処理する前に、図３０に示すような三角窓の窓関数１，２，３，４の、窓関数処理を行なう。
【０２８９】
そして、この図３０に示すような窓関数処理を行なった後、ＦＦＴ変換処理を行なうようにする。そして、しかるべき音源分離処理された信号を、逆ＦＦＴ変換すると、図３１に示すような出力区分データ１、２が得られる。この出力区分データは、既に重複部において窓関数処理されたデータになっているので、出力部では、各重複区分データ部を加算するだけで、波形の不連続点のないノイズの無い、分離された音声信号を得ることが可能となる。
【０２９０】
なお、上述の窓関数としては、三角窓の他、ハニング窓またはハミング窓、あるいはブラックマン窓、などを用いることができる。
【０２９１】
また、上述の実施形態では、時間離散信号を直交変換することにより、周波数領域の信号に変換し、ステレオチャンネル間の周波数分割スペクトルを比較するようにしたが、原理的には時間領域で信号を多数のバンドバスフィルタにより細分化し、各周波数バンドについて同様の処理を行なうように構成するようにしてもよい。ただし、上述の実施形態のように、ＦＦＴ処理をする方が、周波数分解能を上げることが容易であり、分離する音源の分離度を向上させることができるので、実用性が大きい。
【０２９２】
なお、上述の実施形態では、この発明が適用される２系統の音声信号として、２チャンネルステレオ信号について説明したが、この発明は、音源の音声信号が所定のレベル比あるいはレベル差で分配される２つの音声信号であれば、どのような２系統の音声信号であっても適用可能である。位相差についても同様である。
【０２９３】
また、上述の実施形態では、２系統の音声信号についての周波数分割スペクトルのレベル比を求め、乗算係数発生部は、レベル比対乗算係数の関数を用いるようにしたが、２系統の音声信号についての周波数分割スペクトルのレベル差を求め、乗算係数発生部は、当該レベル差対乗算係数の関数を用いるようにしてもよい。
【０２９４】
また、時系列信号を周波数領域の信号に変換する直交変換手段としては、ＦＦＴ処理手段に限られるものではなく、周波数分割スペクトルのレベルや位相を比較することができるものであれば、どのようなものであってもよい。
【図面の簡単な説明】
【０２９５】
【図１】この発明による音声信号処理装置の第１の実施形態の構成例を示すブロック図である。
【図２】第１の実施形態が適用された音響再生システムの構成例を示すブロック図である。
【図３】図１の一部である周波数分割スペクトル比較処理部の構成例を示すブロック図である。
【図４】図１の一部である周波数分割スペクトル制御処理部の構成例を示すブロック図である。
【図５】周波数分割スペクトル制御処理部の乗算係数発生部５１に設定される関数の幾つかの例を示す図である。
【図６】この発明による音声信号処理装置の第２の実施形態の構成例を示すブロック図である。
【図７】この発明による音声信号処理装置の第３の実施形態の構成例を示すブロック図である。
【図８】この発明による音声信号処理装置の第４の実施形態の構成例を示すブロック図である。
【図９】図８の一部の周波数分割スペクトル比較処理部および周波数分割スペクトル制御処理部の構成例を示すブロック図である。
【図１０】図９の乗算係数発生部６１，６５に設定される関数の幾つかの例を示す図である。
【図１１】この発明の第５の実施形態が適用される音響再生システムの構成例を示すブロック図である。
【図１２】この発明による音声信号処理装置の第５の実施形態の構成例を説明するための図である。
【図１３】この発明の第６の実施形態が適用される音響再生システムの構成例を示すブロック図である。
【図１４】この発明による音声信号処理装置の第６の実施形態の構成例を説明するための図である。
【図１５】この発明による音声信号処理装置の第６の実施形態の一部の構成例を説明するための図である。
【図１６】この発明による音声信号処理装置の第７の実施形態の構成例を説明するための図である。
【図１７】第７の実施形態を説明するための図である。
【図１８】第７の実施形態を説明するための図である。
【図１９】第７の実施形態を説明するための図である。
【図２０】この発明による音声信号処理装置の第８の実施形態の構成例を説明するための図である。
【図２１】第８の実施形態を説明するための図である。
【図２２】第８の実施形態を説明するための図である。
【図２３】この発明による音声信号処理装置の第９の実施形態の構成例を説明するための図である。
【図２４】図２３の一部の構成例を示すブロック図である。
【図２５】図２３の一部の他の構成例を示すブロック図である。
【図２６】この発明による音声信号処理装置の第１０の実施形態の構成例を説明するための図である。
【図２７】この発明による音声信号処理装置の第１１の実施形態の構成例を説明するための図である。
【図２８】この発明による音声信号処理装置の第１２の実施形態の構成例を説明するための図である。
【図２９】この発明による音声信号処理装置の第１２の実施形態の構成例を説明するための図である。
【図３０】この発明による音声信号処理装置の第１３の実施形態の構成例を説明するための図である。
【図３１】この発明による音声信号処理装置の第１３の実施形態の構成例を説明するための図である。
【図３２】複数の音源からなる２チャンネルの信号による音像定位を説明するための図である。
【図３３】複数の音源からなる２チャンネルの信号による音像定位を説明するための図である。
【図３４】従来の、特定音源の音声信号の分離装置を説明するためのブロック図である。
【図３５】従来の、特定音源の音声信号の分離装置を説明するためのブロック図である。
【図３６】従来の、特定音源の音声信号の分離装置を説明するためのブロック図である。
【図３７】従来の、特定音源の音声信号の分離装置を説明するためのブロック図である。
【符号の説明】
【０２９６】
１００…音声信号処理装置、１０１，１０２…ＦＦＴ部、１０３…周波数分割スペクトル比較処理部、１０４…周波数分割スペクトル制御処理部、１０４１、１０４２，１０４３，１０４４，１０４５…音源分離処理部、１０５１，１０５２，１０５３，１０５４，１０５５…逆ＦＦＴ部、４１，４２…レベル検出部、４３，４４…レベル比算出部、４５１，４５２，４５３，４５４，４５５…セレクタ、５１…乗算係数発生部、５２，５３…乗算部、５４…加算部、１０３２…位相比較処理部
【特許請求の範囲】
【請求項１】
２系統の音声信号のそれぞれを複数個の周波数帯域に分割する分割手段と、
前記分割手段からの前記分割された複数個の周波数帯域の各々における前記２系統の音声信号のレベル比またはレベル差を算出するレベル比較手段と、
前記レベル比較手段で算出された前記レベル比または前記レベル差が予め定めた値およびその近傍となる周波数帯域の成分を、前記分割手段からの前記２系統の音声信号の両方または一方の複数の周波数帯域成分から抽出して出力する出力制御手段の３個以上と、
を備え、前記３個以上の出力制御手段において抽出して出力する前記周波数帯域成分は、前記レベル比または前記レベル差が、それぞれ互いに異なる前記予め定めた値およびその近傍となる周波数帯域の成分である
ことを特徴とする音声信号処理装置。
【請求項２】
２系統の入力音声時系列信号を、それぞれ周波数領域信号に変換する第１および第２の直交変換手段と、
前記第１の直交変換手段と前記第２の直交変換手段からの対応する周波数分割スペクトル同士のレベル比またはレベル差を比較する周波数分割スペクトル比較手段と、
前記周波数分割スペクトル比較手段における比較結果に基づいて、前記第１の直交変換手段および前記第２の直交変換手段の両方または一方から得られる周波数分割スペクトルのレベルを制御して、前記レベル比または前記レベル差が予め定めた値およびその近傍となる周波数成分を、前記２系統の音声信号の両方または一方から抽出して出力する音源分離手段の３個以上からなる周波数分割スペクトル制御手段と、
前記周波数分割スペクトル制御手段の前記３個以上の音源分離手段のそれぞれからの前記周波数領域信号を、時系列信号に戻す３個以上の逆直交変換手段と、
を備え、前記３個以上の逆直交変換手段のそれぞれから出力音声信号を得ることを特徴とする音声信号処理装置。
【請求項３】
２系統の入力音声時系列信号を、それぞれ周波数領域信号に変換する第１および第２の直交変換手段と、
前記第１の直交変換手段と前記第２の直交変換手段からの、対応する周波数分割スペクトル同士の位相差を算出する位相差算出手段と、
前記位相差算出手段で算出された前記位相差に基づいて、前記第１の直交変換手段と前記第２の直交変換手段の両方または一方の周波数分割スペクトルのレベルを制御して、前記位相差が予め定めた値およびその近傍となる周波数成分を、前記２系統の音声信号の両方または一方から抽出して出力する音源分離手段の３個以上からなる周波数分割スペクトル制御手段と、
前記周波数分割スペクトル制御手段の前記３個以上の音源分離手段のそれぞれからの前記周波数領域信号を、時系列信号に戻す３個以上の逆直交変換手段と、
を備え、前記３個以上の逆直交変換手段のそれぞれから出力音声信号を得ることを特徴とする音声信号処理装置。
【請求項４】
請求項２に記載の音声信号処理装置において、
前記周波数分割スペクトル比較手段は、
前記第１の直交変換手段と前記第２の直交変換手段からの対応する周波数分割スペクトル同士のレベル比、またはレベル差を算出し、
前記周波数分割スペクトル制御手段の前記３個以上の音源分離手段のそれぞれは、
前記算出されたレベル比またはレベル差の関数として設定された乗算係数の発生手段を備えると共に、前記乗算係数の発生手段からの前記乗算係数を、前記第１の直交変換手段と前記第２の直交変換手段の両方または一方から得られる周波数分割スペクトルに乗算してその出力レベルを決定するものである
ことを特徴とする音声信号処理装置。
【請求項５】
請求項３に記載の音声信号処理装置において、
前記周波数分割スペクトル制御手段の前記３個以上の音源分離手段のそれぞれは、
前記算出された位相差の関数として設定された乗算係数の発生手段を備えると共に、前記乗算係数の発生手段からの前記乗算係数を、前記第１の直交変換手段と前記第２の直交変換手段の両方または一方の周波数分割スペクトルに乗算してその出力レベルを決定するものである
ことを特徴とする音声信号処理装置。
【請求項６】
請求項２に記載の音声信号処理装置において、
前記周波数分割スペクトル比較手段は、
前記第１の直交変換手段と前記第２の直交変換手段からの対応する周波数分割スペクトル同士のレベル比またはレベル差を算出すると共に位相差を算出し、
前記周波数分割スペクトル制御手段の前記３個以上の音源分離手段のそれぞれは、
前記算出されたレベル比またはレベル差の関数として設定された第１の乗算係数の発生手段と、前記算出された位相差の関数として設定された第２の乗算係数の発生手段とを備えると共に、
前記第１の乗算係数の発生手段からの前記第１の乗算係数を、前記第１の直交変換手段と前記第２の直交変換手段の両方または一方の周波数分割スペクトルに乗算してその出力レベルを決定する第１の手段と、
前記第１の手段の出力に対して、前記第２の乗算係数の発生手段からの前記第２の乗算係数を乗算してその出力レベルを決定する第２の手段とを備え、
前記第２の手段の出力を前記逆直交変換手段に入力する
ことを特徴とする音声信号処理装置。
【請求項７】
２系統の入力音声時系列信号を、それぞれ周波数領域信号に変換する第１および第２の直交変換手段と、
前記第１の直交変換手段と前記第２の直交変換手段からの対応する周波数分割スペクトル同士のレベル比またはレベル差を比較する周波数分割スペクトル比較手段と、
前記周波数分割スペクトル比較手段における比較結果に基づいて、前記第１の直交変換手段から得られる周波数分割スペクトルのレベルを制御して、前記レベル比または前記レベル差が予め定めた第１の値およびその近傍となる周波数成分を抽出する第１の音源分離手段と、
前記周波数分割スペクトル比較手段における比較結果に基づいて、前記第２の直交変換手段から得られる周波数分割スペクトルのレベルを制御して、前記レベル比または前記レベル差が予め定めた第２の値およびその近傍となる周波数成分を抽出する第２の音源分離手段と、
前記第１および第２の音源分離手段からの前記周波数領域信号を、時系列信号に戻す第１および第２の逆直交変換手段と、
前記第１の直交変換手段からの周波数領域信号から、前記第１の音源分離手段からの周波数領域信号を減算する第１の残差抽出手段と、
前記第２の直交変換手段からの周波数領域信号から、前記第２の音源分離手段からの周波数領域信号を減算する第２の残差抽出手段と、
前記第１および第２の残差抽出手段からの前記周波数領域信号を、時系列信号に戻す第３および第４の逆直交変換手段と、
を備え、前記第１、第２、第３および第４の逆直交変換手段から出力音声信号を得ることを特徴とする音声信号処理装置。
【請求項８】
第１の系統の入力音声時系列信号を、周波数領域信号に変換する第１の直交変換手段と、
第２の系統の入力音声時系列信号を、周波数領域信号に変換する第２の直交変換手段と、
前記第１の直交変換手段と前記第２の直交変換手段からの対応する周波数分割スペクトル同士のレベル比またはレベル差を比較する周波数分割スペクトル比較手段と、
前記周波数分割スペクトル比較手段における比較結果に基づいて、前記第１の直交変換手段から得られる周波数分割スペクトルのレベルを制御して、前記レベル比または前記レベル差が予め定めた第１の値およびその近傍となる周波数成分を抽出する第１の音源分離手段と、
前記周波数分割スペクトル比較手段における比較結果に基づいて、前記第２の直交変換手段から得られる周波数分割スペクトルのレベルを制御して、前記レベル比または前記レベル差が予め定めた第２の値およびその近傍となる周波数成分を抽出する第２の音源分離手段と、
前記第１および第２の音源分離手段からの前記周波数領域信号を、時系列信号に戻す第１および第２の逆直交変換手段と、
前記第１の逆直交変換手段からの時系列信号を、前記第１の系統の入力音声時系列信号から減算する第１の残差抽出手段と、
前記第２の逆直交変換手段からの時系列信号を、前記第２の系統の入力音声時系列信号から減算する第２の残差抽出手段と、
を備え、前記第１および第２の逆直交変換手段と、前記第１および第２の残差抽出手段から出力音声信号を得ることを特徴とする音声信号処理装置。
【請求項９】
請求項４に記載の音声信号処理装置において、
前記算出されたレベル比またはレベル差が、所定の範囲の周波数分割スペクトル以外の周波数分割スペクトルに対する前記乗算係数を０とする
ことを特徴とする音声信号処理装置。
【請求項１０】
請求項２または請求項３に記載の音声信号処理装置において、
２系統の入力音声時系列信号は、所定分析区間に区分けして区分データを得ると同時に、所定区分区間はオーバラップして取り出し、出力時系列信号は窓関数処理し、同時刻の時系列データ同士を加算して出力する
ことを特徴とする音声信号処理装置。
【請求項１１】
請求項２または請求項３に記載の音声信号処理装置において、
２系統の入力音声時系列信号は、所定分析区間に区分けして区分データを得ると同時に、所定区分区間はオーバラップして取り出し、窓関数処理した後、直交変換し、出力時系列信号は、逆直交変換して時系列データに変換後、連続する分析区間の同時刻の時系列データ同士を加算して出力する
ことを特徴とする音声信号処理装置。
【請求項１２】
分割された複数個の周波数帯域の各々における２系統の音声信号のレベル比またはレベル差を算出するレベル比較工程と、
前記レベル比較工程で算出された前記レベル比または前記レベル差が予め定めた値およびその近傍となる周波数帯域の成分を、前記２系統の音声信号の両方または一方から抽出するものであって、前記予め定めた値として３個以上の値を設定し、それぞれの値ごとに前記周波数帯域の成分を抽出して、３個の周波数領域信号を出力する出力制御工程と、
を備える音声信号処理方法。
【請求項１３】
２系統の入力音声時系列信号のそれぞれを周波数領域信号に変換して、２系統の周波数分割スペクトルを得る直交変換工程と、
前記直交変換工程で得られる前記２系統の周波数分割スペクトルの、対応する周波数分割スペクトル同士のレベル比またはレベル差を比較する周波数分割スペクトル比較工程と、
前記周波数分割スペクトル比較工程における比較結果に基づいて、前記直交変換工程で得られた前記２系統の周波数分割スペクトルの両方または一方の周波数分割スペクトルのレベルを制御することにより、前記レベル比または前記レベル差が予め定めた値およびその近傍となる周波数分割スペクトル成分を前記２系統の周波数分割スペクトルの両方または一方から抽出して出力するものであって、前記予め定めた値として３個以上の値を設定し、それぞれの値ごとに前記周波数帯域の成分を抽出して、３個以上の前記周波数領域信号を出力する周波数分割スペクトル制御工程と、
前記周波数分割スペクトル制御工程で得られる前記３個以上の周波数領域信号のそれぞれを、時系列信号に戻す逆直交変換工程と、
を備えることを特徴とする音声信号処理方法。
【請求項１４】
２系統の入力音声時系列信号を、周波数領域信号に変換する直交変換工程と、
前記直交変換工程で得られる前記２系統の入力音声時系列信号についての周波数分割スペクトルの、対応する周波数分割スペクトル同士の位相差を算出する位相差算出工程と、
前記位相差算出工程で算出された前記位相差に基づいて、前記直交変換工程で得られた２系統の周波数分割スペクトルの両方または一方の周波数分割スペクトルのレベルを制御することにより、前記位相差が予め定めた値およびその近傍となる周波数分割スペクトル成分を、前記２系統の周波数分割スペクトルの両方または一方から抽出して出力するものであって、前記予め定めた値として３個以上の値を設定し、それぞれの値ごとに前記周波数帯域の成分を抽出して、３個以上の前記周波数領域信号を出力する周波数分割スペクトル制御工程と、
前記周波数分割スペクトル制御工程で得られる前記３個以上の周波数領域信号のそれぞれを、時系列信号に戻す逆直交変換工程と、
を備えることを特徴とする音声信号処理方法。
【請求項１５】
２系統の入力音声時系列信号を第１の信号処理部に供給して、この第１の信号処理部により、前記２系統の入力音声時系列信号から３個以上の異なる音源信号に分離し、この３個以上の異なる音源信号を第２の信号処理部に供給して、この第２の信号処理部により、前記３個以上の音源信号による音像をリスナの頭外の所定位置に定位させるようにするヘッドホン用の２チャンネル信号を生成するようにする音声信号処理装置であって、
前記第１の信号処理部は、
請求項１〜１２のいずれかの音声信号処理装置からなると共に、
前記第２の信号処理部は、
前記第１の信号処理部からの前記３個以上の異なる音源信号のそれぞれに対して、前記ヘッドホン用の２チャンネル信号の各チャンネル用として予め求めた所定の伝達係数をそれぞれ乗算する、各チャンネルについて３個以上の係数乗算手段と、
前記各チャンネル用の３個以上の係数乗算手段のそれぞれの出力信号を加算することにより、前記各チャンネル用の音声信号を生成する手段と
を備えることを特徴とする音声信号処理装置。
【請求項１６】
２系統の入力音声時系列信号を第１の信号処理部に供給して、この第１の信号処理部により、前記２系統の入力音声時系列信号から３個以上の異なる音源信号に分離し、この３個以上の異なる音源信号を第２の信号処理部に供給して、この第２の信号処理部により、前記３個以上の音源信号による音像を２個のスピーカにより所定位置に定位させるようにする２チャンネル信号を生成するようにする音声信号処理装置であって、
前記第１の信号処理部は、
請求項１〜１２のいずれかの音声信号処理装置からなると共に、
前記第２の信号処理部は、
前記第１の信号処理部からの前記３個以上の異なる音源信号のそれぞれに対して、前記２個のスピーカのそれぞれに供給する各チャンネル信号用として予め求めた所定の伝達係数をそれぞれ乗算する、各チャンネルについて３個以上の係数乗算手段と、
前記各チャンネル用の３個以上の係数乗算手段のそれぞれの出力信号を加算することにより、前記各チャンネル用の音声信号を生成する加算手段と
を備えることを特徴とする音声信号処理装置。
【請求項１７】
２系統の入力音声時系列信号を、それぞれ周波数領域信号に変換する第１および第２の直交変換手段と、
前記第１の直交変換手段と前記第２の直交変換手段からの対応する周波数分割スペクトル同士のレベル比またはレベル差を比較する周波数分割スペクトル比較手段と、
前記周波数分割スペクトル比較手段における比較結果に基づいて、前記第１の直交変換手段および前記第２の直交変換手段の両方または一方から得られる周波数分割スペクトルのレベルを制御して、前記レベル比または前記レベル差が予め定めた値およびその近傍となる周波数成分を、前記２系統の音声信号の両方または一方から抽出して出力する音源分離手段の３個以上からなる周波数分割スペクトル制御手段と、
前記周波数分割スペクトル制御手段の前記３個以上の音源分離手段からの各周波数領域信号のそれぞれに対して、ヘッドホン用の２チャンネル信号の各チャンネル用として予め求めた所定の伝達係数をそれぞれ乗算する、各チャンネルについて３個以上の係数乗算手段と、
前記各チャンネル用の３個以上の係数乗算手段のそれぞれの出力信号を加算することにより、前記各チャンネル用の周波数領域信号を生成するチャンネル周波数領域信号生成手段と、
前記チャンネル周波数領域信号生成手段からの前記各チャンネル用の周波数領域信号を、時系列信号に変換して出力する逆直交変換手段と、
を備え、
前記レベル比または前記レベル差の前記予め定めた値として、所定の位置に音源定位する３個以上の音源に対応した値を設定して、前記音源分離手段のそれぞれから前記３個以上の音源についての周波数領域信号を得る
ことを特徴とする音声信号処理装置。
【特許請求の範囲】
【請求項１】
２系統の音声信号のそれぞれを複数個の周波数帯域に分割する分割手段と、
前記分割手段からの前記分割された複数個の周波数帯域の各々における前記２系統の音声信号のレベル比またはレベル差を算出するレベル比較手段と、
前記レベル比較手段で算出された前記レベル比または前記レベル差が予め定めた値およびその近傍となる周波数帯域の成分を、前記分割手段からの前記２系統の音声信号の少なくとも一方の複数の周波数帯域成分から抽出して出力する出力制御手段の３個以上と、
を備え、前記３個以上の出力制御手段において抽出して出力する前記周波数帯域成分は、前記レベル比または前記レベル差が、それぞれ互いに異なる前記予め定めた値およびその近傍となる周波数帯域の成分である
ことを特徴とする音声信号処理装置。
【請求項２】
２系統の入力音声時系列信号を、それぞれ周波数領域信号に変換する第１および第２の直交変換手段と、
前記第１の直交変換手段と前記第２の直交変換手段からの対応する周波数分割スペクトル同士のレベル比またはレベル差を算出するレベル算出手段と、
前記レベル算出手段における算出結果に基づいて、前記第１の直交変換手段および前記第２の直交変換手段の少なくとも一方から得られる周波数分割スペクトルのレベルを制御して、前記レベル比または前記レベル差が予め定めた値およびその近傍となる周波数成分を、前記２系統の前記周波数分割スペクトルの少なくとも一方から抽出して出力する音源分離手段の３個以上からなる周波数分割スペクトル制御手段と、
前記周波数分割スペクトル制御手段の前記３個以上の音源分離手段のそれぞれからの前記周波数領域信号を、時系列信号に変換する３個以上の逆直交変換手段と、
を備え、前記３個以上の逆直交変換手段のそれぞれから出力音声信号を得ることを特徴とする音声信号処理装置。
【請求項３】
２系統の入力音声時系列信号を、それぞれ周波数領域信号に変換する第１および第２の直交変換手段と、
前記第１の直交変換手段と前記第２の直交変換手段からの、対応する周波数分割スペクトル同士の位相差を算出する位相差算出手段と、
前記位相差算出手段で算出された前記位相差に基づいて、前記第１の直交変換手段と前記第２の直交変換手段の少なくとも一方から得られる周波数分割スペクトルのレベルを制御して、前記位相差が予め定めた値およびその近傍となる周波数成分を、前記２系統の前記周波数分割スペクトルの少なくとも一方から抽出して出力する音源分離手段の３個以上からなる周波数分割スペクトル制御手段と、
前記周波数分割スペクトル制御手段の前記３個以上の音源分離手段のそれぞれからの前記周波数領域信号を、時系列信号に変換する３個以上の逆直交変換手段と、
を備え、前記３個以上の逆直交変換手段のそれぞれから出力音声信号を得ることを特徴とする音声信号処理装置。
【請求項４】
請求項２に記載の音声信号処理装置において、
前記周波数分割スペクトル制御手段の前記３個以上の音源分離手段のそれぞれは、
前記レベル算出手段で算出されたレベル比またはレベル差の関数として設定された乗算係数の発生手段を備えると共に、前記乗算係数の発生手段からの前記乗算係数を、前記第１の直交変換手段と前記第２の直交変換手段の少なくとも一方から得られる周波数分割スペクトルに乗算してその出力レベルを決定するものである
ことを特徴とする音声信号処理装置。
【請求項５】
請求項３に記載の音声信号処理装置において、
前記周波数分割スペクトル制御手段の前記３個以上の音源分離手段のそれぞれは、
前記位相差算出手段で算出された位相差の関数として設定された乗算係数の発生手段を備えると共に、前記乗算係数の発生手段からの前記乗算係数を、前記第１の直交変換手段と前記第２の直交変換手段の少なくとも一方の周波数分割スペクトルに乗算してその出力レベルを決定するものである
ことを特徴とする音声信号処理装置。
【請求項６】
請求項２に記載の音声信号処理装置において、
前記レベル算出手段は、
前記第１の直交変換手段と前記第２の直交変換手段からの対応する周波数分割スペクトル同士のレベル比またはレベル差を算出すると共に位相差を算出し、
前記周波数分割スペクトル制御手段の前記３個以上の音源分離手段のそれぞれは、
前記算出されたレベル比またはレベル差の関数として設定された第１の乗算係数の発生手段と、前記算出された位相差の関数として設定された第２の乗算係数の発生手段とを備えると共に、
前記第１の乗算係数の発生手段からの前記第１の乗算係数を、前記第１の直交変換手段と前記第２の直交変換手段の少なくとも一方の周波数分割スペクトルに乗算してその出力レベルを決定する第１の手段と、
前記第１の手段の出力に対して、前記第２の乗算係数の発生手段からの前記第２の乗算係数を乗算してその出力レベルを決定する第２の手段とを備え、
前記第２の手段の出力を前記逆直交変換手段に入力する
ことを特徴とする音声信号処理装置。
【請求項７】
２系統の入力音声時系列信号を、それぞれ周波数領域信号に変換する第１および第２の直交変換手段と、
前記第１の直交変換手段と前記第２の直交変換手段からの対応する周波数分割スペクトル同士のレベル比またはレベル差を算出するレベル算出手段と、
前記レベル算出手段における算出結果に基づいて、前記第１の直交変換手段から得られる周波数分割スペクトルのレベルを制御して、前記レベル比または前記レベル差が予め定めた第１の値およびその近傍となる周波数成分を抽出する第１の音源分離手段と、
前記レベル算出手段における算出結果に基づいて、前記第２の直交変換手段から得られる周波数分割スペクトルのレベルを制御して、前記レベル比または前記レベル差が予め定めた第２の値およびその近傍となる周波数成分を抽出する第２の音源分離手段と、
前記第１および第２の音源分離手段からの前記周波数領域信号を、時系列信号に変換する第１および第２の逆直交変換手段と、
前記第１の直交変換手段からの周波数領域信号から、前記第１の音源分離手段からの周波数領域信号を減算する第１の残差抽出手段と、
前記第２の直交変換手段からの周波数領域信号から、前記第２の音源分離手段からの周波数領域信号を減算する第２の残差抽出手段と、
前記第１および第２の残差抽出手段からの前記周波数領域信号を、時系列信号に変換する第３および第４の逆直交変換手段と、
を備え、前記第１、第２、第３および第４の逆直交変換手段から出力音声信号を得ることを特徴とする音声信号処理装置。
【請求項８】
第１の系統の入力音声時系列信号を、周波数領域信号に変換する第１の直交変換手段と、
第２の系統の入力音声時系列信号を、周波数領域信号に変換する第２の直交変換手段と、
前記第１の直交変換手段と前記第２の直交変換手段からの対応する周波数分割スペクトル同士のレベル比またはレベル差を算出するレベル算出手段と、
前記レベル算出手段における算出結果に基づいて、前記第１の直交変換手段から得られる周波数分割スペクトルのレベルを制御して、前記レベル比または前記レベル差が予め定めた第１の値およびその近傍となる周波数成分を抽出する第１の音源分離手段と、
前記レベル算出手段における算出結果に基づいて、前記第２の直交変換手段から得られる周波数分割スペクトルのレベルを制御して、前記レベル比または前記レベル差が予め定めた第２の値およびその近傍となる周波数成分を抽出する第２の音源分離手段と、
前記第１および第２の音源分離手段からの前記周波数領域信号を、時系列信号に変換する第１および第２の逆直交変換手段と、
前記第１の逆直交変換手段からの時系列信号を、前記第１の系統の入力音声時系列信号から減算する第１の残差抽出手段と、
前記第２の逆直交変換手段からの時系列信号を、前記第２の系統の入力音声時系列信号から減算する第２の残差抽出手段と、
を備え、前記第１および第２の逆直交変換手段と、前記第１および第２の残差抽出手段から出力音声信号を得ることを特徴とする音声信号処理装置。
【請求項９】
請求項４に記載の音声信号処理装置において、
前記算出されたレベル比またはレベル差が、所定の範囲の周波数分割スペクトル以外の周波数分割スペクトルに対する前記乗算係数を０とする
ことを特徴とする音声信号処理装置。
【請求項１０】
請求項２または請求項３に記載の音声信号処理装置において、
２系統の入力音声時系列信号は、所定分析区間に区分けして区分データを得ると同時に、所定区分区間はオーバラップして取り出し、出力時系列信号は窓関数処理し、同時刻の時系列データ同士を加算して出力する
ことを特徴とする音声信号処理装置。
【請求項１１】
請求項２または請求項３に記載の音声信号処理装置において、
２系統の入力音声時系列信号を、所定区間に区分けして区分データとすると共に、隣り合う区分データは一部の区間はオーバラップさせて、前記区分データを前記第１および第２の直交変換手段に供給する区分化手段と、
前記逆直交変換手段からの、各区分データに対応する出力時系列信号を窓関数処理した後、直交変換し、出力時系列信号は、逆直交変換して時系列信号に変換後、連続する分析区間の同時刻の時系列信号同士を加算して出力する出力手段と
を備えることを特徴とする音声信号処理装置。
【請求項１２】
分割された複数個の周波数帯域の各々における２系統の音声信号のレベル比またはレベル差を算出するレベル比較工程と、
前記レベル比較工程で算出された前記レベル比または前記レベル差が予め定めた値およびその近傍となる周波数帯域の成分を、前記２系統の音声信号の少なくとも一方から抽出するものであって、前記予め定めた値として３個以上の値を設定し、それぞれの値ごとに前記周波数帯域の成分を抽出して、３個の周波数領域信号を出力する出力制御工程と、
を備える音声信号処理方法。
【請求項１３】
２系統の入力音声時系列信号のそれぞれを周波数領域信号に変換して、２系統の周波数分割スペクトルを得る直交変換工程と、
前記直交変換工程で得られる前記２系統の周波数分割スペクトルの、対応する周波数分割スペクトル同士のレベル比またはレベル差を算出するレベル算出工程と、
前記レベル算出工程における算出結果に基づいて、前記直交変換工程で得られた前記２系統の周波数分割スペクトルの少なくとも一方の周波数分割スペクトルのレベルを制御することにより、前記レベル比または前記レベル差が予め定めた値およびその近傍となる周波数分割スペクトル成分を前記２系統の周波数分割スペクトルの少なくとも一方から抽出して出力するものであって、前記予め定めた値として３個以上の値を設定し、それぞれの値ごとに前記周波数帯域の成分を抽出して、３個以上の前記周波数領域信号を出力する周波数分割スペクトル制御工程と、
前記周波数分割スペクトル制御工程で得られる前記３個以上の周波数領域信号のそれぞれを、時系列信号に変換する逆直交変換工程と、
を備えることを特徴とする音声信号処理方法。
【請求項１４】
２系統の入力音声時系列信号を、周波数領域信号に変換する直交変換工程と、
前記直交変換工程で得られる前記２系統の入力音声時系列信号についての周波数分割スペクトルの、対応する周波数分割スペクトル同士の位相差を算出する位相差算出工程と、
前記位相差算出工程で算出された前記位相差に基づいて、前記直交変換工程で得られた２系統の周波数分割スペクトルの少なくとも一方の周波数分割スペクトルのレベルを制御することにより、前記位相差が予め定めた値およびその近傍となる周波数分割スペクトル成分を、前記２系統の周波数分割スペクトルの少なくとも一方から抽出して出力するものであって、前記予め定めた値として３個以上の値を設定し、それぞれの値ごとに前記周波数帯域の成分を抽出して、３個以上の前記周波数領域信号を出力する周波数分割スペクトル制御工程と、
前記周波数分割スペクトル制御工程で得られる前記３個以上の周波数領域信号のそれぞれを、時系列信号に変換する逆直交変換工程と、
を備えることを特徴とする音声信号処理方法。
【請求項１５】
２系統の入力音声時系列信号を第１の信号処理部に供給して、この第１の信号処理部により、前記２系統の入力音声時系列信号から３個以上の異なる音源信号に分離し、この３個以上の異なる音源信号を第２の信号処理部に供給して、この第２の信号処理部により、前記３個以上の音源信号による音像をリスナの頭外の所定位置に定位させるようにするヘッドホン用の２チャンネル信号を生成するようにする音声信号処理装置であって、
前記第１の信号処理部は、
請求項１〜１２のいずれかの音声信号処理装置からなると共に、
前記第２の信号処理部は、
前記第１の信号処理部からの前記３個以上の異なる音源信号のそれぞれに対して、前記ヘッドホン用の２チャンネル信号の各チャンネル用として予め求めた所定の伝達係数をそれぞれ乗算する、各チャンネルについて３個以上の係数乗算手段と、
前記各チャンネル用の３個以上の係数乗算手段のそれぞれの出力信号を加算することにより、前記各チャンネル用の音声信号を生成する手段と
を備えることを特徴とする音声信号処理装置。
【請求項１６】
２系統の入力音声時系列信号を第１の信号処理部に供給して、この第１の信号処理部により、前記２系統の入力音声時系列信号から３個以上の異なる音源信号に分離し、この３個以上の異なる音源信号を第２の信号処理部に供給して、この第２の信号処理部により、前記３個以上の音源信号による音像を２個のスピーカにより所定位置に定位させるようにする２チャンネル信号を生成するようにする音声信号処理装置であって、
前記第１の信号処理部は、
請求項１〜１２のいずれかの音声信号処理装置からなると共に、
前記第２の信号処理部は、
前記第１の信号処理部からの前記３個以上の異なる音源信号のそれぞれに対して、前記２個のスピーカのそれぞれに供給する各チャンネル信号用として予め求めた所定の伝達係数をそれぞれ乗算する、各チャンネルについて３個以上の係数乗算手段と、
前記各チャンネル用の３個以上の係数乗算手段のそれぞれの出力信号を加算することにより、前記各チャンネル用の音声信号を生成する加算手段と
を備えることを特徴とする音声信号処理装置。
【請求項１７】
２系統の入力音声時系列信号を、それぞれ周波数領域信号に変換する第１および第２の直交変換手段と、
前記第１の直交変換手段と前記第２の直交変換手段からの対応する周波数分割スペクトル同士のレベル比またはレベル差を算出するレベル算出手段と、
前記レベル算出手段における算出結果に基づいて、前記第１の直交変換手段および前記第２の直交変換手段の両方または一方から得られる周波数分割スペクトルのレベルを制御して、前記レベル比または前記レベル差が予め定めた値およびその近傍となる周波数成分を、前記２系統の音声信号の少なくとも一方から抽出して出力する音源分離手段の３個以上からなる周波数分割スペクトル制御手段と、
前記周波数分割スペクトル制御手段の前記３個以上の音源分離手段からの各周波数領域信号のそれぞれに対して、ヘッドホン用の２チャンネル信号の各チャンネル用として予め求めた所定の伝達係数をそれぞれ乗算する、各チャンネルについて３個以上の係数乗算手段と、
前記各チャンネル用の３個以上の係数乗算手段のそれぞれの出力信号を加算することにより、前記各チャンネル用の周波数領域信号を生成するチャンネル周波数領域信号生成手段と、
前記チャンネル周波数領域信号生成手段からの前記各チャンネル用の周波数領域信号を、時系列信号に変換して出力する逆直交変換手段と、
を備え、
前記レベル比または前記レベル差の前記予め定めた値として、所定の位置に音源定位する３個以上の音源に対応した値を設定して、前記音源分離手段のそれぞれから前記３個以上の音源についての周波数領域信号を得る
ことを特徴とする音声信号処理装置。
【請求項１】
２系統の音声信号のそれぞれを複数個の周波数帯域に分割する分割手段と、
前記分割手段からの前記分割された複数個の周波数帯域の各々における前記２系統の音声信号のレベル比またはレベル差を算出するレベル比較手段と、
前記レベル比較手段で算出された前記レベル比または前記レベル差が予め定めた値およびその近傍となる周波数帯域の成分を、前記分割手段からの前記２系統の音声信号の両方または一方の複数の周波数帯域成分から抽出して出力する出力制御手段の３個以上と、
を備え、前記３個以上の出力制御手段において抽出して出力する前記周波数帯域成分は、前記レベル比または前記レベル差が、それぞれ互いに異なる前記予め定めた値およびその近傍となる周波数帯域の成分である
ことを特徴とする音声信号処理装置。
【請求項２】
２系統の入力音声時系列信号を、それぞれ周波数領域信号に変換する第１および第２の直交変換手段と、
前記第１の直交変換手段と前記第２の直交変換手段からの対応する周波数分割スペクトル同士のレベル比またはレベル差を比較する周波数分割スペクトル比較手段と、
前記周波数分割スペクトル比較手段における比較結果に基づいて、前記第１の直交変換手段および前記第２の直交変換手段の両方または一方から得られる周波数分割スペクトルのレベルを制御して、前記レベル比または前記レベル差が予め定めた値およびその近傍となる周波数成分を、前記２系統の音声信号の両方または一方から抽出して出力する音源分離手段の３個以上からなる周波数分割スペクトル制御手段と、
前記周波数分割スペクトル制御手段の前記３個以上の音源分離手段のそれぞれからの前記周波数領域信号を、時系列信号に戻す３個以上の逆直交変換手段と、
を備え、前記３個以上の逆直交変換手段のそれぞれから出力音声信号を得ることを特徴とする音声信号処理装置。
【請求項３】
２系統の入力音声時系列信号を、それぞれ周波数領域信号に変換する第１および第２の直交変換手段と、
前記第１の直交変換手段と前記第２の直交変換手段からの、対応する周波数分割スペクトル同士の位相差を算出する位相差算出手段と、
前記位相差算出手段で算出された前記位相差に基づいて、前記第１の直交変換手段と前記第２の直交変換手段の両方または一方の周波数分割スペクトルのレベルを制御して、前記位相差が予め定めた値およびその近傍となる周波数成分を、前記２系統の音声信号の両方または一方から抽出して出力する音源分離手段の３個以上からなる周波数分割スペクトル制御手段と、
前記周波数分割スペクトル制御手段の前記３個以上の音源分離手段のそれぞれからの前記周波数領域信号を、時系列信号に戻す３個以上の逆直交変換手段と、
を備え、前記３個以上の逆直交変換手段のそれぞれから出力音声信号を得ることを特徴とする音声信号処理装置。
【請求項４】
請求項２に記載の音声信号処理装置において、
前記周波数分割スペクトル比較手段は、
前記第１の直交変換手段と前記第２の直交変換手段からの対応する周波数分割スペクトル同士のレベル比、またはレベル差を算出し、
前記周波数分割スペクトル制御手段の前記３個以上の音源分離手段のそれぞれは、
前記算出されたレベル比またはレベル差の関数として設定された乗算係数の発生手段を備えると共に、前記乗算係数の発生手段からの前記乗算係数を、前記第１の直交変換手段と前記第２の直交変換手段の両方または一方から得られる周波数分割スペクトルに乗算してその出力レベルを決定するものである
ことを特徴とする音声信号処理装置。
【請求項５】
請求項３に記載の音声信号処理装置において、
前記周波数分割スペクトル制御手段の前記３個以上の音源分離手段のそれぞれは、
前記算出された位相差の関数として設定された乗算係数の発生手段を備えると共に、前記乗算係数の発生手段からの前記乗算係数を、前記第１の直交変換手段と前記第２の直交変換手段の両方または一方の周波数分割スペクトルに乗算してその出力レベルを決定するものである
ことを特徴とする音声信号処理装置。
【請求項６】
請求項２に記載の音声信号処理装置において、
前記周波数分割スペクトル比較手段は、
前記第１の直交変換手段と前記第２の直交変換手段からの対応する周波数分割スペクトル同士のレベル比またはレベル差を算出すると共に位相差を算出し、
前記周波数分割スペクトル制御手段の前記３個以上の音源分離手段のそれぞれは、
前記算出されたレベル比またはレベル差の関数として設定された第１の乗算係数の発生手段と、前記算出された位相差の関数として設定された第２の乗算係数の発生手段とを備えると共に、
前記第１の乗算係数の発生手段からの前記第１の乗算係数を、前記第１の直交変換手段と前記第２の直交変換手段の両方または一方の周波数分割スペクトルに乗算してその出力レベルを決定する第１の手段と、
前記第１の手段の出力に対して、前記第２の乗算係数の発生手段からの前記第２の乗算係数を乗算してその出力レベルを決定する第２の手段とを備え、
前記第２の手段の出力を前記逆直交変換手段に入力する
ことを特徴とする音声信号処理装置。
【請求項７】
２系統の入力音声時系列信号を、それぞれ周波数領域信号に変換する第１および第２の直交変換手段と、
前記第１の直交変換手段と前記第２の直交変換手段からの対応する周波数分割スペクトル同士のレベル比またはレベル差を比較する周波数分割スペクトル比較手段と、
前記周波数分割スペクトル比較手段における比較結果に基づいて、前記第１の直交変換手段から得られる周波数分割スペクトルのレベルを制御して、前記レベル比または前記レベル差が予め定めた第１の値およびその近傍となる周波数成分を抽出する第１の音源分離手段と、
前記周波数分割スペクトル比較手段における比較結果に基づいて、前記第２の直交変換手段から得られる周波数分割スペクトルのレベルを制御して、前記レベル比または前記レベル差が予め定めた第２の値およびその近傍となる周波数成分を抽出する第２の音源分離手段と、
前記第１および第２の音源分離手段からの前記周波数領域信号を、時系列信号に戻す第１および第２の逆直交変換手段と、
前記第１の直交変換手段からの周波数領域信号から、前記第１の音源分離手段からの周波数領域信号を減算する第１の残差抽出手段と、
前記第２の直交変換手段からの周波数領域信号から、前記第２の音源分離手段からの周波数領域信号を減算する第２の残差抽出手段と、
前記第１および第２の残差抽出手段からの前記周波数領域信号を、時系列信号に戻す第３および第４の逆直交変換手段と、
を備え、前記第１、第２、第３および第４の逆直交変換手段から出力音声信号を得ることを特徴とする音声信号処理装置。
【請求項８】
第１の系統の入力音声時系列信号を、周波数領域信号に変換する第１の直交変換手段と、
第２の系統の入力音声時系列信号を、周波数領域信号に変換する第２の直交変換手段と、
前記第１の直交変換手段と前記第２の直交変換手段からの対応する周波数分割スペクトル同士のレベル比またはレベル差を比較する周波数分割スペクトル比較手段と、
前記周波数分割スペクトル比較手段における比較結果に基づいて、前記第１の直交変換手段から得られる周波数分割スペクトルのレベルを制御して、前記レベル比または前記レベル差が予め定めた第１の値およびその近傍となる周波数成分を抽出する第１の音源分離手段と、
前記周波数分割スペクトル比較手段における比較結果に基づいて、前記第２の直交変換手段から得られる周波数分割スペクトルのレベルを制御して、前記レベル比または前記レベル差が予め定めた第２の値およびその近傍となる周波数成分を抽出する第２の音源分離手段と、
前記第１および第２の音源分離手段からの前記周波数領域信号を、時系列信号に戻す第１および第２の逆直交変換手段と、
前記第１の逆直交変換手段からの時系列信号を、前記第１の系統の入力音声時系列信号から減算する第１の残差抽出手段と、
前記第２の逆直交変換手段からの時系列信号を、前記第２の系統の入力音声時系列信号から減算する第２の残差抽出手段と、
を備え、前記第１および第２の逆直交変換手段と、前記第１および第２の残差抽出手段から出力音声信号を得ることを特徴とする音声信号処理装置。
【請求項９】
請求項４に記載の音声信号処理装置において、
前記算出されたレベル比またはレベル差が、所定の範囲の周波数分割スペクトル以外の周波数分割スペクトルに対する前記乗算係数を０とする
ことを特徴とする音声信号処理装置。
【請求項１０】
請求項２または請求項３に記載の音声信号処理装置において、
２系統の入力音声時系列信号は、所定分析区間に区分けして区分データを得ると同時に、所定区分区間はオーバラップして取り出し、出力時系列信号は窓関数処理し、同時刻の時系列データ同士を加算して出力する
ことを特徴とする音声信号処理装置。
【請求項１１】
請求項２または請求項３に記載の音声信号処理装置において、
２系統の入力音声時系列信号は、所定分析区間に区分けして区分データを得ると同時に、所定区分区間はオーバラップして取り出し、窓関数処理した後、直交変換し、出力時系列信号は、逆直交変換して時系列データに変換後、連続する分析区間の同時刻の時系列データ同士を加算して出力する
ことを特徴とする音声信号処理装置。
【請求項１２】
分割された複数個の周波数帯域の各々における２系統の音声信号のレベル比またはレベル差を算出するレベル比較工程と、
前記レベル比較工程で算出された前記レベル比または前記レベル差が予め定めた値およびその近傍となる周波数帯域の成分を、前記２系統の音声信号の両方または一方から抽出するものであって、前記予め定めた値として３個以上の値を設定し、それぞれの値ごとに前記周波数帯域の成分を抽出して、３個の周波数領域信号を出力する出力制御工程と、
を備える音声信号処理方法。
【請求項１３】
２系統の入力音声時系列信号のそれぞれを周波数領域信号に変換して、２系統の周波数分割スペクトルを得る直交変換工程と、
前記直交変換工程で得られる前記２系統の周波数分割スペクトルの、対応する周波数分割スペクトル同士のレベル比またはレベル差を比較する周波数分割スペクトル比較工程と、
前記周波数分割スペクトル比較工程における比較結果に基づいて、前記直交変換工程で得られた前記２系統の周波数分割スペクトルの両方または一方の周波数分割スペクトルのレベルを制御することにより、前記レベル比または前記レベル差が予め定めた値およびその近傍となる周波数分割スペクトル成分を前記２系統の周波数分割スペクトルの両方または一方から抽出して出力するものであって、前記予め定めた値として３個以上の値を設定し、それぞれの値ごとに前記周波数帯域の成分を抽出して、３個以上の前記周波数領域信号を出力する周波数分割スペクトル制御工程と、
前記周波数分割スペクトル制御工程で得られる前記３個以上の周波数領域信号のそれぞれを、時系列信号に戻す逆直交変換工程と、
を備えることを特徴とする音声信号処理方法。
【請求項１４】
２系統の入力音声時系列信号を、周波数領域信号に変換する直交変換工程と、
前記直交変換工程で得られる前記２系統の入力音声時系列信号についての周波数分割スペクトルの、対応する周波数分割スペクトル同士の位相差を算出する位相差算出工程と、
前記位相差算出工程で算出された前記位相差に基づいて、前記直交変換工程で得られた２系統の周波数分割スペクトルの両方または一方の周波数分割スペクトルのレベルを制御することにより、前記位相差が予め定めた値およびその近傍となる周波数分割スペクトル成分を、前記２系統の周波数分割スペクトルの両方または一方から抽出して出力するものであって、前記予め定めた値として３個以上の値を設定し、それぞれの値ごとに前記周波数帯域の成分を抽出して、３個以上の前記周波数領域信号を出力する周波数分割スペクトル制御工程と、
前記周波数分割スペクトル制御工程で得られる前記３個以上の周波数領域信号のそれぞれを、時系列信号に戻す逆直交変換工程と、
を備えることを特徴とする音声信号処理方法。
【請求項１５】
２系統の入力音声時系列信号を第１の信号処理部に供給して、この第１の信号処理部により、前記２系統の入力音声時系列信号から３個以上の異なる音源信号に分離し、この３個以上の異なる音源信号を第２の信号処理部に供給して、この第２の信号処理部により、前記３個以上の音源信号による音像をリスナの頭外の所定位置に定位させるようにするヘッドホン用の２チャンネル信号を生成するようにする音声信号処理装置であって、
前記第１の信号処理部は、
請求項１〜１２のいずれかの音声信号処理装置からなると共に、
前記第２の信号処理部は、
前記第１の信号処理部からの前記３個以上の異なる音源信号のそれぞれに対して、前記ヘッドホン用の２チャンネル信号の各チャンネル用として予め求めた所定の伝達係数をそれぞれ乗算する、各チャンネルについて３個以上の係数乗算手段と、
前記各チャンネル用の３個以上の係数乗算手段のそれぞれの出力信号を加算することにより、前記各チャンネル用の音声信号を生成する手段と
を備えることを特徴とする音声信号処理装置。
【請求項１６】
２系統の入力音声時系列信号を第１の信号処理部に供給して、この第１の信号処理部により、前記２系統の入力音声時系列信号から３個以上の異なる音源信号に分離し、この３個以上の異なる音源信号を第２の信号処理部に供給して、この第２の信号処理部により、前記３個以上の音源信号による音像を２個のスピーカにより所定位置に定位させるようにする２チャンネル信号を生成するようにする音声信号処理装置であって、
前記第１の信号処理部は、
請求項１〜１２のいずれかの音声信号処理装置からなると共に、
前記第２の信号処理部は、
前記第１の信号処理部からの前記３個以上の異なる音源信号のそれぞれに対して、前記２個のスピーカのそれぞれに供給する各チャンネル信号用として予め求めた所定の伝達係数をそれぞれ乗算する、各チャンネルについて３個以上の係数乗算手段と、
前記各チャンネル用の３個以上の係数乗算手段のそれぞれの出力信号を加算することにより、前記各チャンネル用の音声信号を生成する加算手段と
を備えることを特徴とする音声信号処理装置。
【請求項１７】
２系統の入力音声時系列信号を、それぞれ周波数領域信号に変換する第１および第２の直交変換手段と、
前記第１の直交変換手段と前記第２の直交変換手段からの対応する周波数分割スペクトル同士のレベル比またはレベル差を比較する周波数分割スペクトル比較手段と、
前記周波数分割スペクトル比較手段における比較結果に基づいて、前記第１の直交変換手段および前記第２の直交変換手段の両方または一方から得られる周波数分割スペクトルのレベルを制御して、前記レベル比または前記レベル差が予め定めた値およびその近傍となる周波数成分を、前記２系統の音声信号の両方または一方から抽出して出力する音源分離手段の３個以上からなる周波数分割スペクトル制御手段と、
前記周波数分割スペクトル制御手段の前記３個以上の音源分離手段からの各周波数領域信号のそれぞれに対して、ヘッドホン用の２チャンネル信号の各チャンネル用として予め求めた所定の伝達係数をそれぞれ乗算する、各チャンネルについて３個以上の係数乗算手段と、
前記各チャンネル用の３個以上の係数乗算手段のそれぞれの出力信号を加算することにより、前記各チャンネル用の周波数領域信号を生成するチャンネル周波数領域信号生成手段と、
前記チャンネル周波数領域信号生成手段からの前記各チャンネル用の周波数領域信号を、時系列信号に変換して出力する逆直交変換手段と、
を備え、
前記レベル比または前記レベル差の前記予め定めた値として、所定の位置に音源定位する３個以上の音源に対応した値を設定して、前記音源分離手段のそれぞれから前記３個以上の音源についての周波数領域信号を得る
ことを特徴とする音声信号処理装置。
【特許請求の範囲】
【請求項１】
２系統の音声信号のそれぞれを複数個の周波数帯域に分割する分割手段と、
前記分割手段からの前記分割された複数個の周波数帯域の各々における前記２系統の音声信号のレベル比またはレベル差を算出するレベル比較手段と、
前記レベル比較手段で算出された前記レベル比または前記レベル差が予め定めた値およびその近傍となる周波数帯域の成分を、前記分割手段からの前記２系統の音声信号の少なくとも一方の複数の周波数帯域成分から抽出して出力する出力制御手段の３個以上と、
を備え、前記３個以上の出力制御手段において抽出して出力する前記周波数帯域成分は、前記レベル比または前記レベル差が、それぞれ互いに異なる前記予め定めた値およびその近傍となる周波数帯域の成分である
ことを特徴とする音声信号処理装置。
【請求項２】
２系統の入力音声時系列信号を、それぞれ周波数領域信号に変換する第１および第２の直交変換手段と、
前記第１の直交変換手段と前記第２の直交変換手段からの対応する周波数分割スペクトル同士のレベル比またはレベル差を算出するレベル算出手段と、
前記レベル算出手段における算出結果に基づいて、前記第１の直交変換手段および前記第２の直交変換手段の少なくとも一方から得られる周波数分割スペクトルのレベルを制御して、前記レベル比または前記レベル差が予め定めた値およびその近傍となる周波数成分を、前記２系統の前記周波数分割スペクトルの少なくとも一方から抽出して出力する音源分離手段の３個以上からなる周波数分割スペクトル制御手段と、
前記周波数分割スペクトル制御手段の前記３個以上の音源分離手段のそれぞれからの前記周波数領域信号を、時系列信号に変換する３個以上の逆直交変換手段と、
を備え、前記３個以上の逆直交変換手段のそれぞれから出力音声信号を得ることを特徴とする音声信号処理装置。
【請求項３】
２系統の入力音声時系列信号を、それぞれ周波数領域信号に変換する第１および第２の直交変換手段と、
前記第１の直交変換手段と前記第２の直交変換手段からの、対応する周波数分割スペクトル同士の位相差を算出する位相差算出手段と、
前記位相差算出手段で算出された前記位相差に基づいて、前記第１の直交変換手段と前記第２の直交変換手段の少なくとも一方から得られる周波数分割スペクトルのレベルを制御して、前記位相差が予め定めた値およびその近傍となる周波数成分を、前記２系統の前記周波数分割スペクトルの少なくとも一方から抽出して出力する音源分離手段の３個以上からなる周波数分割スペクトル制御手段と、
前記周波数分割スペクトル制御手段の前記３個以上の音源分離手段のそれぞれからの前記周波数領域信号を、時系列信号に変換する３個以上の逆直交変換手段と、
を備え、前記３個以上の逆直交変換手段のそれぞれから出力音声信号を得ることを特徴とする音声信号処理装置。
【請求項４】
請求項２に記載の音声信号処理装置において、
前記周波数分割スペクトル制御手段の前記３個以上の音源分離手段のそれぞれは、
前記レベル算出手段で算出されたレベル比またはレベル差の関数として設定された乗算係数の発生手段を備えると共に、前記乗算係数の発生手段からの前記乗算係数を、前記第１の直交変換手段と前記第２の直交変換手段の少なくとも一方から得られる周波数分割スペクトルに乗算してその出力レベルを決定するものである
ことを特徴とする音声信号処理装置。
【請求項５】
請求項３に記載の音声信号処理装置において、
前記周波数分割スペクトル制御手段の前記３個以上の音源分離手段のそれぞれは、
前記位相差算出手段で算出された位相差の関数として設定された乗算係数の発生手段を備えると共に、前記乗算係数の発生手段からの前記乗算係数を、前記第１の直交変換手段と前記第２の直交変換手段の少なくとも一方の周波数分割スペクトルに乗算してその出力レベルを決定するものである
ことを特徴とする音声信号処理装置。
【請求項６】
請求項２に記載の音声信号処理装置において、
前記レベル算出手段は、
前記第１の直交変換手段と前記第２の直交変換手段からの対応する周波数分割スペクトル同士のレベル比またはレベル差を算出すると共に位相差を算出し、
前記周波数分割スペクトル制御手段の前記３個以上の音源分離手段のそれぞれは、
前記算出されたレベル比またはレベル差の関数として設定された第１の乗算係数の発生手段と、前記算出された位相差の関数として設定された第２の乗算係数の発生手段とを備えると共に、
前記第１の乗算係数の発生手段からの前記第１の乗算係数を、前記第１の直交変換手段と前記第２の直交変換手段の少なくとも一方の周波数分割スペクトルに乗算してその出力レベルを決定する第１の手段と、
前記第１の手段の出力に対して、前記第２の乗算係数の発生手段からの前記第２の乗算係数を乗算してその出力レベルを決定する第２の手段とを備え、
前記第２の手段の出力を前記逆直交変換手段に入力する
ことを特徴とする音声信号処理装置。
【請求項７】
２系統の入力音声時系列信号を、それぞれ周波数領域信号に変換する第１および第２の直交変換手段と、
前記第１の直交変換手段と前記第２の直交変換手段からの対応する周波数分割スペクトル同士のレベル比またはレベル差を算出するレベル算出手段と、
前記レベル算出手段における算出結果に基づいて、前記第１の直交変換手段から得られる周波数分割スペクトルのレベルを制御して、前記レベル比または前記レベル差が予め定めた第１の値およびその近傍となる周波数成分を抽出する第１の音源分離手段と、
前記レベル算出手段における算出結果に基づいて、前記第２の直交変換手段から得られる周波数分割スペクトルのレベルを制御して、前記レベル比または前記レベル差が予め定めた第２の値およびその近傍となる周波数成分を抽出する第２の音源分離手段と、
前記第１および第２の音源分離手段からの前記周波数領域信号を、時系列信号に変換する第１および第２の逆直交変換手段と、
前記第１の直交変換手段からの周波数領域信号から、前記第１の音源分離手段からの周波数領域信号を減算する第１の残差抽出手段と、
前記第２の直交変換手段からの周波数領域信号から、前記第２の音源分離手段からの周波数領域信号を減算する第２の残差抽出手段と、
前記第１および第２の残差抽出手段からの前記周波数領域信号を、時系列信号に変換する第３および第４の逆直交変換手段と、
を備え、前記第１、第２、第３および第４の逆直交変換手段から出力音声信号を得ることを特徴とする音声信号処理装置。
【請求項８】
第１の系統の入力音声時系列信号を、周波数領域信号に変換する第１の直交変換手段と、
第２の系統の入力音声時系列信号を、周波数領域信号に変換する第２の直交変換手段と、
前記第１の直交変換手段と前記第２の直交変換手段からの対応する周波数分割スペクトル同士のレベル比またはレベル差を算出するレベル算出手段と、
前記レベル算出手段における算出結果に基づいて、前記第１の直交変換手段から得られる周波数分割スペクトルのレベルを制御して、前記レベル比または前記レベル差が予め定めた第１の値およびその近傍となる周波数成分を抽出する第１の音源分離手段と、
前記レベル算出手段における算出結果に基づいて、前記第２の直交変換手段から得られる周波数分割スペクトルのレベルを制御して、前記レベル比または前記レベル差が予め定めた第２の値およびその近傍となる周波数成分を抽出する第２の音源分離手段と、
前記第１および第２の音源分離手段からの前記周波数領域信号を、時系列信号に変換する第１および第２の逆直交変換手段と、
前記第１の逆直交変換手段からの時系列信号を、前記第１の系統の入力音声時系列信号から減算する第１の残差抽出手段と、
前記第２の逆直交変換手段からの時系列信号を、前記第２の系統の入力音声時系列信号から減算する第２の残差抽出手段と、
を備え、前記第１および第２の逆直交変換手段と、前記第１および第２の残差抽出手段から出力音声信号を得ることを特徴とする音声信号処理装置。
【請求項９】
請求項４に記載の音声信号処理装置において、
前記算出されたレベル比またはレベル差が、所定の範囲の周波数分割スペクトル以外の周波数分割スペクトルに対する前記乗算係数を０とする
ことを特徴とする音声信号処理装置。
【請求項１０】
請求項２または請求項３に記載の音声信号処理装置において、
２系統の入力音声時系列信号は、所定分析区間に区分けして区分データを得ると同時に、所定区分区間はオーバラップして取り出し、出力時系列信号は窓関数処理し、同時刻の時系列データ同士を加算して出力する
ことを特徴とする音声信号処理装置。
【請求項１１】
請求項２または請求項３に記載の音声信号処理装置において、
２系統の入力音声時系列信号を、所定区間に区分けして区分データとすると共に、隣り合う区分データは一部の区間はオーバラップさせて、前記区分データを前記第１および第２の直交変換手段に供給する区分化手段と、
前記逆直交変換手段からの、各区分データに対応する出力時系列信号を窓関数処理した後、直交変換し、出力時系列信号は、逆直交変換して時系列信号に変換後、連続する分析区間の同時刻の時系列信号同士を加算して出力する出力手段と
を備えることを特徴とする音声信号処理装置。
【請求項１２】
分割された複数個の周波数帯域の各々における２系統の音声信号のレベル比またはレベル差を算出するレベル比較工程と、
前記レベル比較工程で算出された前記レベル比または前記レベル差が予め定めた値およびその近傍となる周波数帯域の成分を、前記２系統の音声信号の少なくとも一方から抽出するものであって、前記予め定めた値として３個以上の値を設定し、それぞれの値ごとに前記周波数帯域の成分を抽出して、３個の周波数領域信号を出力する出力制御工程と、
を備える音声信号処理方法。
【請求項１３】
２系統の入力音声時系列信号のそれぞれを周波数領域信号に変換して、２系統の周波数分割スペクトルを得る直交変換工程と、
前記直交変換工程で得られる前記２系統の周波数分割スペクトルの、対応する周波数分割スペクトル同士のレベル比またはレベル差を算出するレベル算出工程と、
前記レベル算出工程における算出結果に基づいて、前記直交変換工程で得られた前記２系統の周波数分割スペクトルの少なくとも一方の周波数分割スペクトルのレベルを制御することにより、前記レベル比または前記レベル差が予め定めた値およびその近傍となる周波数分割スペクトル成分を前記２系統の周波数分割スペクトルの少なくとも一方から抽出して出力するものであって、前記予め定めた値として３個以上の値を設定し、それぞれの値ごとに前記周波数帯域の成分を抽出して、３個以上の前記周波数領域信号を出力する周波数分割スペクトル制御工程と、
前記周波数分割スペクトル制御工程で得られる前記３個以上の周波数領域信号のそれぞれを、時系列信号に変換する逆直交変換工程と、
を備えることを特徴とする音声信号処理方法。
【請求項１４】
２系統の入力音声時系列信号を、周波数領域信号に変換する直交変換工程と、
前記直交変換工程で得られる前記２系統の入力音声時系列信号についての周波数分割スペクトルの、対応する周波数分割スペクトル同士の位相差を算出する位相差算出工程と、
前記位相差算出工程で算出された前記位相差に基づいて、前記直交変換工程で得られた２系統の周波数分割スペクトルの少なくとも一方の周波数分割スペクトルのレベルを制御することにより、前記位相差が予め定めた値およびその近傍となる周波数分割スペクトル成分を、前記２系統の周波数分割スペクトルの少なくとも一方から抽出して出力するものであって、前記予め定めた値として３個以上の値を設定し、それぞれの値ごとに前記周波数帯域の成分を抽出して、３個以上の前記周波数領域信号を出力する周波数分割スペクトル制御工程と、
前記周波数分割スペクトル制御工程で得られる前記３個以上の周波数領域信号のそれぞれを、時系列信号に変換する逆直交変換工程と、
を備えることを特徴とする音声信号処理方法。
【請求項１５】
２系統の入力音声時系列信号を第１の信号処理部に供給して、この第１の信号処理部により、前記２系統の入力音声時系列信号から３個以上の異なる音源信号に分離し、この３個以上の異なる音源信号を第２の信号処理部に供給して、この第２の信号処理部により、前記３個以上の音源信号による音像をリスナの頭外の所定位置に定位させるようにするヘッドホン用の２チャンネル信号を生成するようにする音声信号処理装置であって、
前記第１の信号処理部は、
請求項１〜１２のいずれかの音声信号処理装置からなると共に、
前記第２の信号処理部は、
前記第１の信号処理部からの前記３個以上の異なる音源信号のそれぞれに対して、前記ヘッドホン用の２チャンネル信号の各チャンネル用として予め求めた所定の伝達係数をそれぞれ乗算する、各チャンネルについて３個以上の係数乗算手段と、
前記各チャンネル用の３個以上の係数乗算手段のそれぞれの出力信号を加算することにより、前記各チャンネル用の音声信号を生成する手段と
を備えることを特徴とする音声信号処理装置。
【請求項１６】
２系統の入力音声時系列信号を第１の信号処理部に供給して、この第１の信号処理部により、前記２系統の入力音声時系列信号から３個以上の異なる音源信号に分離し、この３個以上の異なる音源信号を第２の信号処理部に供給して、この第２の信号処理部により、前記３個以上の音源信号による音像を２個のスピーカにより所定位置に定位させるようにする２チャンネル信号を生成するようにする音声信号処理装置であって、
前記第１の信号処理部は、
請求項１〜１２のいずれかの音声信号処理装置からなると共に、
前記第２の信号処理部は、
前記第１の信号処理部からの前記３個以上の異なる音源信号のそれぞれに対して、前記２個のスピーカのそれぞれに供給する各チャンネル信号用として予め求めた所定の伝達係数をそれぞれ乗算する、各チャンネルについて３個以上の係数乗算手段と、
前記各チャンネル用の３個以上の係数乗算手段のそれぞれの出力信号を加算することにより、前記各チャンネル用の音声信号を生成する加算手段と
を備えることを特徴とする音声信号処理装置。
【請求項１７】
２系統の入力音声時系列信号を、それぞれ周波数領域信号に変換する第１および第２の直交変換手段と、
前記第１の直交変換手段と前記第２の直交変換手段からの対応する周波数分割スペクトル同士のレベル比またはレベル差を算出するレベル算出手段と、
前記レベル算出手段における算出結果に基づいて、前記第１の直交変換手段および前記第２の直交変換手段の両方または一方から得られる周波数分割スペクトルのレベルを制御して、前記レベル比または前記レベル差が予め定めた値およびその近傍となる周波数成分を、前記２系統の音声信号の少なくとも一方から抽出して出力する音源分離手段の３個以上からなる周波数分割スペクトル制御手段と、
前記周波数分割スペクトル制御手段の前記３個以上の音源分離手段からの各周波数領域信号のそれぞれに対して、ヘッドホン用の２チャンネル信号の各チャンネル用として予め求めた所定の伝達係数をそれぞれ乗算する、各チャンネルについて３個以上の係数乗算手段と、
前記各チャンネル用の３個以上の係数乗算手段のそれぞれの出力信号を加算することにより、前記各チャンネル用の周波数領域信号を生成するチャンネル周波数領域信号生成手段と、
前記チャンネル周波数領域信号生成手段からの前記各チャンネル用の周波数領域信号を、時系列信号に変換して出力する逆直交変換手段と、
を備え、
前記レベル比または前記レベル差の前記予め定めた値として、所定の位置に音源定位する３個以上の音源に対応した値を設定して、前記音源分離手段のそれぞれから前記３個以上の音源についての周波数領域信号を得る
ことを特徴とする音声信号処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【公開番号】特開２００６−１２１１５２（Ｐ２００６−１２１１５２Ａ）
【公開日】平成１８年５月１１日（２００６．５．１１）
【国際特許分類】
【出願番号】特願２００４−３０３９３５（Ｐ２００４−３０３９３５）
【出願日】平成１６年１０月１９日（２００４．１０．１９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成１８年５月１１日（２００６．５．１１）
【国際特許分類】
【出願日】平成１６年１０月１９日（２００４．１０．１９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]