音声信号処理装置および音声信号処理方法
【課題】複数の音源の音声信号が含まれている２系統の音声信号から、特定の音源の音声信号を良好に除去することができる音声信号処理装置を提供する。
【解決手段】２系統の音声信号のそれぞれを複数個の周波数帯域に分割する分割手段１１，１２と、分割された複数個の周波数帯域の各々における前記２系統の音声信号のレベル比またはレベル差を算出するレベル比較手段１３と、レベル比較手段で算出されたレベル比またはレベル差が予め定めた値およびその近傍となる周波数帯域の成分を、前記分割手段１１，１２の少なくとも一方から除去する出力制御手段とを設ける。
【解決手段】２系統の音声信号のそれぞれを複数個の周波数帯域に分割する分割手段１１，１２と、分割された複数個の周波数帯域の各々における前記２系統の音声信号のレベル比またはレベル差を算出するレベル比較手段１３と、レベル比較手段で算出されたレベル比またはレベル差が予め定めた値およびその近傍となる周波数帯域の成分を、前記分割手段１１，１２の少なくとも一方から除去する出力制御手段とを設ける。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、それぞれ複数の音源からの音声信号により構成される２系統の入力音声時系列信号から、特定の音源の音声信号を除去するようにする音声信号処理装置および方法に関する。
【背景技術】
【０００２】
レコードやコンパクトディスク等に記録された左右２チャンネルのステレオ音楽信号の各チャンネルの音声信号には、複数の音源からの音声信号により構成されるものが多数存在する。このようなステレオ音声信号では、２個のスピーカで再生した場合に、前記複数個の音源のそれぞれがスピーカ間に音像として定位するように、レベル差を付加してそれぞれのチャンネルに記録する場合が多い。
【０００３】
例えば、５個の音源１〜５の信号をＳ１〜Ｓ５とし、これを左右２チャンネルの音声信号ＳＬ，ＳＲとして記録する場合に、
ＳＬ＝Ｓ１＋０．９Ｓ２＋０．７Ｓ３＋０．４Ｓ４
ＳＲ＝Ｓ５＋０．４Ｓ２＋０．７Ｓ３＋０．９Ｓ４
のように、各音源１〜５の信号Ｓ１〜Ｓ５は、左右２チャンネルにおいてレベル差を付けて、それぞれのチャンネルの音声信号中に加算混合するようにする。
【０００４】
以上のような一般的な２チャンネルステレオ音声信号が歌手のボーカル音声とオーケストラの音楽とからなる場合に、ボーカルの音声のみを除去することができれば、いわゆるカラオケ装置に適用することができる。
【０００５】
図１８は、このボーカル除去処理装置の構成例を示すブロック図である。この図１８の例のボーカル除去処理装置は、通常は、ステレオ音声において、ボーカル音声が左右チャンネルの音声の中央に定位するようにされていることから、左右チャンネルの音声信号を互いに減算することによりボーカル音声を、ステレオ音声出力から除去することができることを利用している。
【０００６】
図１８の例においては、ボーカル音声帯域のみに上記の原理を適用するように構成されており、左右チャンネルの音声信号ＳＬ，ＳＲのそれぞれは、減算回路１に供給されると共に、ボーカル音声帯域（例えば３００Ｈｚ〜５ｋＨｚ）の周波数成分を除去する帯域除去フィルタ２および３に供給される。そして、減算回路１からの左右チャンネルの音声信号の減算出力は、ボーカル音声帯域の周波数成分を抽出する帯域通過フィルタ（バンドパスフィルタ）４に供給される。
【０００７】
そして、帯域除去フィルタ２の出力信号と、バンドパスフィルタ４の出力信号とを加算回路５で加算して、この加算回路５からボーカル音声成分を除去した出力左チャンネル音声信号ＳＯＬを得る。また、帯域除去フィルタ３の出力信号と、バンドパスフィルタ４の出力信号とを加算回路６で加算して、この加算回路６からボーカル音声成分を除去した出力右チャンネル音声信号ＳＯＲを得る。
【０００８】
参考となる特許文献は、次の通りである。
【特許文献１】特開２０００−３５４２９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、上述のようなボーカル音源除去方法の場合には、ボーカル音声帯域では、モノーラル信号となり、ステレオ感が低減してしまうという欠点がある。また、ボーカル除去が十分には行われないという欠点があった。
【００１０】
この発明は、以上の点にかんがみ、複数の音源の音声信号が含まれている２系統の音声信号から、例えば上述のボーカルの音源などのような特定の音源の音声信号を良好に除去することができる音声信号処理装置および方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記の課題を解決するために、この発明による音声信号処理装置は、
２系統の音声信号のそれぞれを複数個の周波数帯域に分割する分割手段と、
前記分割手段からの前記分割された複数個の周波数帯域の各々における前記２系統の音声信号のレベル比またはレベル差を算出するレベル比較手段と、
前記レベル比較手段で算出された前記レベル比または前記レベル差が予め定めた値およびその近傍となる周波数帯域の成分を、前記分割手段からの前記２系統の音声信号の少なくとも一方から除去する出力制御手段と、
を備えることを特徴とする。
【００１２】
この発明においては、各音源の音声信号は、所定のレベル比あるいはレベル差で、２系統の音声信号に混合されていることを利用する。請求項１の発明においては、２系統の音声信号のそれぞれを、複数個の周波数帯域に分割する。そして、各周波数帯域ごとに２系統の音声信号のレベル比またはレベル差が算出され、そのレベル比またはレベル差が、予め定めた値およびその近傍となる周波数帯域の信号成分が、２系統の音声信号の少なくとも一方から除去される。
【００１３】
前記予め定めたレベル比あるいはレベル差が、特定の音源の音声信号が前記２系統の音声信号に混合されているレベル比あるいはレベル差に設定されていれば、当該特定の音源の音声信号を構成する周波数成分が少なくとも２系統の音声信号の少なくとも一方から除去される。つまり、特定の音源の音声信号が除去される。
【００１４】
請求項２の発明は、
２系統の入力音声時系列信号を、それぞれ周波数領域信号に変換する第１および第２の直交変換手段と、
前記第１の直交変換手段と前記第２の直交変換手段からの対応する周波数分割スペクトル同士のレベル比またはレベル差を比較する周波数分割スペクトル比較手段と、
前記周波数分割スペクトル比較手段における比較結果に基づいて、前記第１の直交変換手段と前記第２の直交変換手段の少なくとも一方から得られる周波数分割スペクトルのレベルを制御して、前記レベル比または前記レベル差が予め定めた値およびその近傍となる周波数成分を、前記２系統の音声信号の少なくとも一方から除去する周波数分割スペクトル制御手段と、
前記周波数分割スペクトル制御手段からの前記周波数領域信号を、時系列信号に戻す逆直交変換手段と、
を備えることを特徴とする。
【００１５】
この請求項２の発明においては、２系統の入力音声時系列信号は、それぞれ第１および第２の直交変換手段により周波数領域信号に変換されて、それぞれ複数個の周波数分割スペクトルからなる成分に変換される。
【００１６】
そして、請求項２では、第１の直交変換手段と第２の直交変換手段からの対応する周波数分割スペクトル同士のレベル比またはレベル差が比較され、その比較結果に基づいて、第１の直交変換手段と第２の直交変換手段の少なくとも一方から得られる周波数分割スペクトルのレベルを制御して、前記レベル比または前記レベル差が予め定めた値およびその近傍となる周波数成分を除去する。そして、除去後の周波数領域信号が時系列信号に戻される。
【００１７】
予め定めたレベル比あるいはレベル差が、特定の音源の音声信号が前記２系統の音声信号に混合されているレベル比あるいはレベル差に設定されていれば、当該特定の音源の音声信号を構成する周波数領域成分が少なくとも２系統の音声信号の少なくとも一方から除去される。つまり、特定の音源の音声信号が除去される。
【００１８】
請求項３の発明は、
２系統の入力音声時系列信号を、それぞれ周波数領域信号に変換する第１および第２の直交変換手段と、
前記第１の直交変換手段と前記第２の直交変換手段からの、対応する周波数分割スペクトル同士の位相差を算出する位相差算出手段と、
前記位相差算出手段で算出された前記位相差に基づいて、前記第１の直交変換手段と前記第２の直交変換手段の少なくとも一方の周波数分割スペクトルのレベルを制御して、前記位相差が予め定めた値およびその近傍となる周波数成分を、前記２系統の音声信号の少なくとも一方から除去する周波数分割スペクトル制御手段と、
前記周波数分割スペクトル制御手段からの前記周波数領域信号を、時系列信号に戻す逆直交変換手段と、
を備えることを特徴とする。
【００１９】
請求項３の発明においては、２系統の入力音声時系列信号は、それぞれ第１および第２の直交変換手段により周波数領域信号に変換されて、それぞれ複数個の周波数分割スペクトルからなる成分に変換される。
【００２０】
そして、請求項３では、第１の直交変換手段と第２の直交変換手段からの対応する周波数分割スペクトル同士の位相差が算出され、その算出結果に基づいて、第１の直交変換手段と第２の直交変換手段の少なくとも一方から得られる周波数分割スペクトルのレベルを制御して、前記位相差が予め定めた値およびその近傍となる周波数成分を除去する。そして、除去後の周波数領域信号が時系列信号に戻される。
【００２１】
予め定めた位相差が、特定の音源の音声信号が前記２系統の音声信号に混合されている位相差に設定されていれば、当該特定の音源の音声信号を構成する周波数領域成分が少なくとも２系統の音声信号の少なくとも一方から除去される。つまり、特定の音源の音声信号が除去される。
【発明の効果】
【００２２】
この発明によれば、２系統の音声信号に対して、所定のレベル比あるいはレベル差、または、所定の位相差をもって、混合された音源の音声信号は、前記２系統の音声信号の少なくとも一方から良好に除去される。
【発明を実施するための最良の形態】
【００２３】
以下、この発明による音声信号処理装置および方法の実施形態を、図を参照しながら説明する。
【００２４】
以下の説明においては、前述もした左チャンネル音声信号ＳＬと、右チャンネル音声信号ＳＲとからなるステレオ音声信号から、音源除去する場合について説明する。
【００２５】
例えば、左チャンネル音声信号ＳＬと、右チャンネル音声信号ＳＲとに、音源１〜５の音声信号Ｓ１〜Ｓ５が、次の（式１）および（式２）に示すような割合で、レベル差が付けられて振り分けられて混合されているものとする。
【００２６】
ＳＬ＝Ｓ１＋０．９Ｓ２＋０．７Ｓ３＋０．４Ｓ４ ・・・（式１）
ＳＲ＝Ｓ５＋０．４Ｓ２＋０．７Ｓ３＋０．９Ｓ４ ・・・（式２）
【００２７】
この（式１）および（式２）を比べると、各音源１〜５の音声信号Ｓ１〜Ｓ５は、上記のようにレベル差を持って、左チャンネル音声信号ＳＬと右チャンネル音声信号ＳＲとに分配されているので、この分配比率によって、音源を再度、左チャンネル音声信号ＳＬおよび／または右チャンネル音声信号ＳＲとから振り分けることができれば、元の音源は分離できるので、除去できる。
【００２８】
以下の実施形態においては、各音源が一般的には異なるスペクトラム成分を有していることを利用して、左右２チャンネルステレオ音声信号のそれぞれを十分な解像度を有するＦＦＴ処理により周波数領域に変換して、多数個の周波数分割スペクトル成分に分割する。そして、それぞれのチャンネルの音声信号についての、対応する各周波数分割スペクトル同士のレベル比またはレベル差を求め、（式１），（式２）において、分離したい音源の音声信号についての分配比に対応するレベル比またはレベル差となっている周波数分割スペクトルを検出して、当該検出した周波数分割スペクトル成分を分離することにより、他の音源からの影響の少ない音源分離を可能にしている。
【００２９】
図２は、この発明の第１の実施形態の音声信号処理装置を含むカラオケ装置の構成例を示す図である。この例のカラオケ装置においては、先ず、オーケストラをバックにして歌う歌手のボーカル音声信号が、左右２チャンネルに同レベルで混合されているステレオ音声信号から、第１の実施形態の音声信号処理装置において、前記歌手のボーカル音声信号を除去するようにする。そして、第１の実施形態の音声信号処理装置からのボーカル音声信号の除去されたバックのオーケストラの音楽信号のみからなる音声信号に、ユーザの歌声信号を混合してスピーカから出力するようにする。
【００３０】
すなわち、図２に示すように、左右２チャンネルの音声信号ＳＬおよびＳＲは、後で詳述する第１の実施形態の音声信号処理装置１０に供給されて、歌手のボーカル音声信号が除去される。この音声信号処理装置１０からのボーカル音声信号が除去された左右チャンネルの音声信号ＳＯＬ，ＳＯＲは、それぞれＤ／Ａ変換器１１Ｌ，１１Ｒに供給されて、アナログ音声信号に戻された後、ミキシング回路１２を構成する加算回路１２１，１２２にそれぞれ供給される。
【００３１】
一方、マイクロホン１３によりユーザの歌声音声が収音され、このマイクロホン１３からの歌声音声信号がアンプ１４を通じて加算回路１２１，１２２のそれぞれに供給され、この混合回路１２１，１２２において、Ｄ／Ａ変換器１１Ｌ，１１Ｒからのオーケストラの音楽信号と混合される。
【００３２】
そして、混合回路１２１，１２２からの混合出力音声信号は、それぞれアンプ１５Ｌ，１５Ｒを通じて、それぞれ左チャンネル用スピーカ１６Ｌ，右チャンネル用スピーカ１６Ｒに供給されて、音響出力される。なお、１７は、リスナである。
【００３３】
［第１の実施形態の音声信号処理装置の構成］
図１は、第１の実施形態の音声信号処理装置を示すブロック図である。２チャンネルステレオ信号のうちの右チャンネル音声信号ＳＲは、直交変換手段の例としてのＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ；高速フーリエ変換）部１０１に供給されて、信号ＳＲがアナログ信号の時にはデジタル信号に変換された後、ＦＦＴ処理（高速フーリエ変換）されて、時系列音声信号が周波数領域データに変換される。なお、信号ＳＲがデジタル信号であるときには、ＦＦＴ部１０１でのアナログ−デジタル変換は不要であることはいうまでもない。
【００３４】
一方、２チャンネルステレオ信号のうちの左チャンネル音声信号ＳＬは、直交変換手段の例としてのＦＦＴ部１０２に供給されて、信号ＳＬがアナログ信号のときにはデジタル信号に変換された後、ＦＦＴ処理（高速フーリエ変換）されて、時系列音声信号が周波数領域データに変換される。なお、信号ＳＬがデジタル信号であるときには、ＦＦＴ部１０２でのアナログ−デジタル変換は不要であることはいうまでもない。
【００３５】
この例のＦＦＴ部１０１および１０２は、同様の構成を備え、各時系列信号ＳＲ，ＳＬを、互いに異なる複数個の周波数の周波数分割スペクトル成分に分割する。ここで、周波数分割スペクトルとして得る周波数分割数は、音源の分離度の精度に応じた多数とされ、例えば５００以上、好ましくは４０００以上の周波数分割数とされる。この周波数分割数は、ＦＦＴ部におけるタップ数に相当する。
【００３６】
各ＦＦＴ部１０１およびＦＦＴ部１０２からの周波数分割スペクトル出力Ｆ１およびＦ２は、それぞれ周波数分割スペクトル比較処理部１０３と、周波数分割スペクトル制御処理部１０４とに供給される。
【００３７】
周波数分割スペクトル比較処理部１０３は、ＦＦＴ部１０１およびＦＦＴ部１０２からの周波数分割スペクトル成分Ｆ１，Ｆ２の、同じ周波数同士のレベル比を算出し、算出したレベル比を周波数分割スペクトル制御処理部１０４に出力する。
【００３８】
周波数分割スペクトル制御処理部１０４は、周波数分割スペクトル比較処理部１０３からのレベル比の情報を受けて、当該レベル比が所定のものとなっている周波数分割スペクトル成分のみを、ＦＦＴ部１０１およびＦＦＴ部１０２の出力から除去し、その除去結果出力ＦｅｘＲおよびＦｅｘＬを、それぞれ逆ＦＦＴ部１０５および１０６に出力する。
【００３９】
周波数分割スペクトル制御処理部１０４では、予め、使用者により、除去すべき音源に応じて、どのようなレベル比の周波数分割スペクトル成分を抽出するかが設定されている。したがって、周波数分割スペクトル制御処理部１０４からは、使用者が除去したいとして設定されたレベル比で左右２チャンネルに振り分けられている音源の音声信号の周波数分割スペクトル成分のみが抽出されることになる。
【００４０】
逆ＦＦＴ部１０５，１０６は、周波数分割スペクトル制御処理部１０４からの除去結果出力ＦｅｘＲ，ＦｅｘＬの周波数分割スペクトル成分を元の時系列信号に変換し、その変換出力信号を、使用者が除去したいとして設定した音源の音声信号が除去された出力ＳＯＲ，ＳＯＬとして出力する。
【００４１】
［第１の実施形態における周波数分割スペクトル比較処理部１０３の構成］
周波数分割スペクトル比較処理部１０３は、この例では、機能的には、図１において、破線で囲まれた範囲に示すような構成を備える。すなわち、周波数分割スペクトル比較処理部１０３は、レベル検出部２１，２２と、レベル比算出部２３，２４と、セレクタ２５とからなる。
【００４２】
レベル検出部２１は、ＦＦＴ部１０１からの周波数分割スペクトル成分Ｆ１のそれぞれの周波数成分のレベルを検出し、その検出出力Ｄ１を出力する。また、レベル検出部２２は、ＦＦＴ部１０２からの周波数分割スペクトル成分Ｆ２のそれぞれの周波数成分のレベルを検出し、その検出出力Ｄ２を出力する。この例では、各周波数分割スペクトルのレベルは、振幅スペクトルを検出する。なお、各周波数分割スペクトルのレベルとして、パワースペクトルを検出するようにしてもよい。
【００４３】
そして、レベル比算出部２３は、レベル比Ｄ１／Ｄ２を算出する。また、レベル比算出部２４は、その逆数のレベル比Ｄ２／Ｄ１を算出する。レベル比算出部２３およびレベル比算出部２４で算出されたレベル比は、セレクタ２５に供給され、このセレクタ２５からは、レベル比Ｄ１／Ｄ２とレベル比Ｄ２／Ｄ１の一方のレベル比が、出力レベル比ｒとして取り出される。
【００４４】
セレクタ２５には、除去すべきものとして使用者により設定された音源およびそのレベル比に応じて、レベル比算出部２３の出力と、レベル比算出部２４の出力のいずれを選択すべきかを選択制御するための選択制御信号ＳＥＬが供給される。このセレクタ２５から得られる出力レベル比ｒは、周波数分割スペクトル制御処理部１０４に供給される。
【００４５】
この例においては、周波数分割スペクトル制御処理部１０４において、除去すべき音源のレベル比として用いられる値は、常に、レベル比≦１とされている。つまり、周波数分割スペクトル制御処理部１０４に入力されるレベル比ｒは、レベルの小さい方の周波数分割スペクトルのレベルを、レベルが大きい方の周波数分割スペクトルのレベルで割ったものとされている。
【００４６】
このため、周波数分割スペクトル制御処理部１０４では、右チャンネルの音声信号ＳＲの方に、より多く含まれるように分配されている音源の信号を除去する場合には、レベル比算出部２３からのレベル比算出出力が使用され、逆に、左チャンネルの音声信号ＳＬの方に、より多く含まれるように分配されている音源の信号を除去する場合には、レベル比算出部２４からのレベル比算出出力が使用される。
【００４７】
例えば、使用者が、除去すべき音源のレベル比として、左チャンネルおよび右チャンネルの信号の分配率の値ＰＬ，ＰＲ（ＰＬ，ＰＲは１以下の値）をそれぞれ設定入力するように定められているものとしたとき、設定された分配率の値ＰＬ，ＰＲが、ＰＬ／ＰＲ≦１であるときには、選択制御信号ＳＥＬは、セレクタ２５からレベル比算出部２３の出力（Ｄ２／Ｄ１）を、出力レベル比ｒとして選択する選択制御信号とされ、設定された分配率の値ＰＬ，ＰＲが、ＰＬ／ＰＲ＞１であるときには、選択制御信号ＳＥＬは、セレクタ２５からレベル比算出部２４の出力（Ｄ１／Ｄ２）を、出力レベル比ｒとして選択する選択制御信号とされる。
【００４８】
なお、使用者により設定された分配率の値ＰＲ，ＰＬが互いに等しい（レベル比ｒ＝１）ときには、セレクタ２５では、レベル比算出部２３の出力とレベル比算出部２４の出力とのいずれを選択してもよい。
【００４９】
［第１の実施形態における周波数分割スペクトル制御処理部１０４の構成］
周波数分割スペクトル制御処理部１０４は、この例では、機能的には、図１において、破線で囲んで示すような構成を備える。すなわち、周波数分割スペクトル制御処理部１０４は、乗算係数発生部としての除去係数発生部３１と、右チャンネル用の乗算部３２Ｒおよび左チャンネル用の乗算部３２Ｌとからなる。
【００５０】
乗算部３２Ｒには、ＦＦＴ部１０１からの周波数分割スペクトル成分Ｆ１が供給されると共に、除去係数発生部３１からの除去係数（乗算係数）ｗが供給され、両者の乗算結果が、周波数分割スペクトル制御処理部１０４の右チャンネル用スペクトル出力ＦｅｘＲとされる。
【００５１】
また、乗算部３２には、ＦＦＴ部１０２からの周波数分割スペクトル成分Ｆ２が供給されると共に、除去係数発生部３１Ｌからの除去係数ｗが供給され、両者の乗算結果が、周波数分割スペクトル制御処理部１０４の左チャンネル用スペクトル出力ＦｅｘＲとされる。
【００５２】
乗算係数発生部３１は、周波数分割スペクトル比較処理部１０３のセレクタ２５からの出力レベル比ｒを受けて、当該レベル比ｒに応じた除去係数ｗを発生する。この除去係数発生部３１は、例えば、レベル比ｒを変数とした乗算係数ｗに関する関数発生回路により構成される。除去係数発生部３１に使用する関数として、どのような関数が選ばれるかは、除去すべき音源に応じて使用者により設定された分配率の値ＰＬ，ＰＲによる。
【００５３】
除去係数発生部３１に供給されるレベル比ｒは、周波数分割スペクトルの各周波数成分単位で変化するものであるので、除去係数発生部３１からの除去係数ｗも、周波数分割スペクトルの各周波数成分単位で変化することになる。
【００５４】
したがって、乗算部３２Ｒでは、ＦＦＴ部１０１からの各周波数分割スペクトルのレベルが、除去係数ｗにより制御され、また、乗算部３２Ｌでは、ＦＦＴ部１０２からの各周波数分割スペクトルのレベルが、乗算係数ｗにより制御される。
【００５５】
図３に、乗算係数発生部３１Ｒおよび３１Ｌとしての関数発生回路に用いられる関数の例を示す。この例においては、前記（式１）および（式２）で示された左右２チャンネルの音声信号ＳＬおよびＳＲから、左右チャンネルの音像間の中央に定位するボーカル音声の音源の音声信号Ｓ３を除去するようにするので、除去係数発生部３１としては、図３（ａ）または図３（ｂ）に示されるような特性の関数発生回路が用いられる。
【００５６】
図３（ａ）および図３（ｂ）の関数の特性は、左右チャンネルのレベル比ｒが１、あるいは１に近い場合、つまり、左右チャンネルが同レベルあるいは同レベルに近い周波数分割スペクトル成分では、除去係数ｗは０あるいは０近傍となり、その他のレベル比ｒの領域では、乗算係数ｗは１となっている。
【００５７】
ただし、図３（ａ）の関数の特性の場合には、左右チャンネルのレベル比ｒが約０．６以下の領域（ｒ＜０．６）では、除去係数ｗは１となり、約０．６以上、約０．８以下の領域（０．６＜ｒ＜０．８）では、除去係数は、０と１との間で線形に変化するものとなる。また、図３（ｂ）の関数の特性の場合には、左右チャンネルのレベル比ｒが、約０．８を境にして、約０．８以下の領域（ｒ＜０．８）では、除去係数ｗは１となり、約０．８以上の領域（０．８≦ｒ）では、除去係数ｗは、０となっている。
【００５８】
したがって、セレクタ２５からのレベル比ｒが１、または１近傍となっている周波数分割スペクトル成分に対する乗算係数ｗは０、あるいは０に近い値となるので、乗算部３２Ｒおよび３２Ｌからは、当該周波数分割スペクトル成分は、出力されなくなる。
【００５９】
一方、セレクタ２５からのレベル比ｒが、約０．６以下の値となっている周波数分割スペクトル成分に対する乗算係数ｗは１となるので、乗算部３２Ｒおよび３２Ｌからは、当該周波数分割スペクトル成分は、そのままのレベルで出力される。
【００６０】
すなわち、乗算部３２Ｒおよび３２Ｌからは、多数個の周波数分割スペクトル成分のうち、左右同レベルおよびその近傍となっている周波数分割スペクトル成分（ボーカルの周波数分割スペクトル成分）は、除去されて出力されなくなり、左右チャンネルでレベル差がある周波数分割スペクトル成分は、ほぼそのままのレベルで出力される。
【００６１】
この結果、左右２チャンネルの音声信号ＳＬ，ＳＲに同レベルで分配された音源の音声信号Ｓ３の周波数分割スペクトル成分が除去された周波数分割スペクトル成分が、周波数分割スペクトル制御処理部１０４の出力ＦｅｘＲ、ＦｅｘＬとして、乗算部３２Ｒおよび３２Ｌから逆ＦＦＴ部１０５，１０６に出力される。
【００６２】
そして、この逆ＦＦＴ部１０５，１０６で、周波数領域の周波数分割スペクトル成分が時間領域のデジタルオーディオ信号に変換され、出力信号ＳＯＲ，ＳＯＬとして出力される。
【００６３】
以上のようにして、この実施形態の音声信号処理装置１０においては、左右２チャンネルに同レベルで分配された歌手のボーカル音声が除去された左右２チャンネルステレオ信号ＳＯＲ，ＳＯＬが得られる。
【００６４】
この場合に、この実施形態の音声信号処理装置１０によれば、左右２チャンネルの信号ＳＬ，ＳＲのそれぞれから、ボーカル音声の成分を除去するようにするので、従来のようにステレオ感を損なうことはない。また、除去目的の音源としてのボーカルの除去を十分に行なうことができる。
【００６５】
上述の第１の実施形態の説明は、カラオケ装置にこの発明の音声信号処理装置を適用した場合であるので、除去係数発生部３１は、左右チャンネルに同レベルで分配された音源の音声成分を除去する除去係数を発生するようにしたが、この除去係数発生部３１に設定する関数発生回路を、変更することにより、左右２チャンネルに任意のレベル比あるいはレベル差で分配した音源の音声成分を除去するようにすることができる。
【００６６】
例えば、前記（式１）および（式２）で示された左右２チャンネルの音声信号ＳＬおよびＳＲから、左右チャンネルに所定のレベル差を持って配分されている音源の音声信号Ｓ２またはＳ４を分離する場合には、除去係数発生部３１としては、図３（ｃ）に示されるような特性の関数発生回路が用いられる。
【００６７】
すなわち、音声信号Ｓ２は、Ｄ１／Ｄ２（＝ＳＲ／ＳＬ）＝０．４／０．９＝０．４４のレベル比で、左右チャンネルに分配されている。また、音声信号Ｓ４は、Ｄ２／Ｄ１（＝ＳＬ／ＳＲ）＝０．４／０．９＝０．４４のレベル比で、左右チャンネルに分配されている。
【００６８】
この場合において、この実施形態においては、音声信号Ｓ２を分離する場合には、使用者は、除去する音源に対する左右分配率ＰＬ：ＰＲ＝０．９：０．４を設定入力する。あるいは、ＰＬ＝０．９、ＰＲ＝０．４のように設定入力する。このように使用者が設定すると、ＰＲ／ＰＬ＜１であるので、セレクタ２５には、レベル比算出部２４からのレベル比を選択するように制御する選択制御信号ＳＥＬが与えられる。
【００６９】
一方、音声信号Ｓ４を分離する場合には、使用者は、分離する音源に対する左右分配率ＰＬ：ＰＲ＝０．４：０．９を設定入力する。あるいは、ＰＬ＝０．４、ＰＲ＝０．９のように設定入力する。このように使用者が設定すると、ＰＲ／ＰＬ＞１であるので、セレクタ２５には、レベル比算出部２３からのレベル比を選択するように制御する選択制御信号ＳＥＬが与えられる。
【００７０】
図３（ｃ）の関数の特性は、左右チャンネルのレベル比ｒが、Ｄ１／Ｄ２（＝ＰＲ／ＰＬ）＝０．４／０．９＝０．４４、あるいはレベル比ｒが０．４４に近い周波数分割スペクトル成分では、除去係数ｗは０あるいは０近傍となり、左右チャンネルのレベル比ｒが約０．４４近傍以外の領域では、除去係数ｗは１となっている。
【００７１】
したがって、セレクタ２５からのレベル比ｒが０．４４、または０．４４近傍となっている周波数分割スペクトル成分に対する乗算係数ｗは０、あるいは０に近い値となるので、乗算部３２Ｒおよび３２Ｌからは、当該周波数分割スペクトル成分が、出力レベルが０とされて、出力されなくなる。一方、セレクタ２５からのレベル比ｒが、約０．４４近傍以下の値および約０．４４近傍以上の値となっている周波数分割スペクトル成分に対する除去係数ｗは１となるので、乗算部３２Ｒおよび３２Ｌからは、当該周波数分割スペクトル成分は、出力レベルが１とされて、ほぼそのままのレベルで出力される。
【００７２】
すなわち、乗算部３２Ｒおよび３２Ｌからは、多数個の周波数分割スペクトル成分のうち、左右チャンネルのレベル比が０．４４またはその近傍となっている周波数分割スペクトル成分は、出力レベルが０とされて出力されなくなり、左右チャンネルのレベル比ｒが、約０．４４近傍以下の値および約０．４４近傍以上の値となっている周波数分割スペクトル成分は、ほぼそのままのレベルで出力される。
【００７３】
この結果、左右２チャンネルの音声信号ＳＬ，ＳＲに、レベル比が０．４４で分配された音源の音声信号Ｓ２またはＳ４の周波数分割スペクトル成分が、除去された出力信号が得られることになる。
【００７４】
以上のようにして、この実施形態によれば、左右２チャンネルに、所定の分配比率で分配された音源の音声信号を、その分配比率に基づいて、当該２チャンネルの音声信号から除去することができる。
【００７５】
なお、上述の実施形態では、除去したい音源の音声信号は、２チャンネルの音声信号の両方から抽出するようにしたが、必ずしも両チャンネルから除去する必要はなく、一方のチャンネルのみから除去するようにしてもよい。
【００７６】
また、上述の実施形態では、２系統の音声信号に対して分配された音源の信号のレベル比に基づいて、当該２系統の音声信号から前記音源の信号を除去するようにしたが、前記音源の信号の、２系統の音声信号に対するレベル差に基づいて、当該音源の信号を当該２系統の音声信号の少なくとも一方から除去するようにすることもできる。
【００７７】
なお、以上の説明では、各音源が（式１）、（式２）に従って左右チャンネルに分配された左右２チャンネルステレオ信号を例にして説明したが、意図的に分配されない通常のステレオ音楽信号においても、図３に示したものと同様に、除去したい音源のレベル比やレベル差に応じた除去関数を用いることにより、対応する音源を除去することができる。
【００７８】
なお、除去対象の音源が同じであっても、例えば、除去関数の特性を変更することにより、除去するレベル比範囲を変える、広くする、狭くするなど、異なる音源選択性を持たせることもできる。例えば、図３（ｄ）の除去関数は、図３（ｃ）に示した前述例の除去関数において、除去するレベル比範囲を変える場合の例を示したものである。
【００７９】
また、音源のスペクトラム構成に関しても、多くのステレオ音楽信号は異なるスペクトラムを持つ音源から構成されるが、それらの音源についても、上述と同様にして除去することが可能となる。
【００８０】
また、スペクトラム重複部が多い音源同士に関しても、ＦＦＴ部１０１，１２における周波数分解能を上げることにより、例えば４０００タップ以上のＦＦＴ回路を用いることにより、音源除去品質を更に向上させることができる。
【００８１】
［音声信号処理装置の第２の実施形態］
この第２の実施形態では、ＦＦＴ部１０１および１０２からの周波数分割スペクトル成分Ｆ１およびＦ２から除去したい音源の音声成分を抽出し、当該抽出した音源の音声成分を、前記ＦＦＴ部１０１および１０２からの周波数分割スペクトル成分Ｆ１およびＦ２から減算することにより、目的とする音源の音声成分を除去するようにする。
【００８２】
図４は、この第２の実施形態の音声信号処理装置の構成例を示すブロック図である。この第２の実施形態においては、除去係数発生部３１に代えて乗算係数発生部３３を用いると共に、乗算部３２Ｒおよび３２Ｌと、逆ＦＦＴ部１０５および１０６との間に、減算部１０７および１０８を設ける。
【００８３】
そして、乗算部３２Ｒおよび３２Ｌの出力ＦｅｘＲが減算部１０７および１０８に供給されると共に、減算部１０７および１０８にはＦＦＴ部１０１の出力Ｆ１およびＦＦＴ部１０２の出力Ｆ２が供給される。減算部１０７では、出力Ｆ１から乗算部３２Ｒの出力ＦｅｘＲが減算され、その減算出力が逆ＦＦＴ部１０５に供給される。また、減算部１０８では、出力Ｆ２から乗算部３２Ｌの出力ＦｅｘＬが減算され、その減算出力が逆ＦＦＴ部１０６に供給される。
【００８４】
セレクタ２５からのレベル比ｒは、乗算係数発生部３３に供給され、乗算係数発生部３３からの乗算係数ｗが乗算部３２Ｒおよび３２Ｌに供給される。乗算係数発生部３３は、除去係数ではなく、除去したい音源の成分を抽出するための乗算係数ｗを発生する。
【００８５】
図５は、この乗算係数発生部３３に設定する関数発生回路の関数の特性を示すもので、例えば、除去対象が、前述した音源ＭＳ３の音声信号Ｓ３である場合には、乗算係数発生部３３には、図５（ａ）あるいは図５（ｂ）のような特性の関数発生回路が設定される。
【００８６】
図５（ａ）あるいは図５（ｂ）の関数の特性は、左右チャンネルのレベル比ｒが１、あるいは１に近い場合、つまり、左右チャンネルが同レベルあるいは同レベルに近い周波数分割スペクトル成分では、乗算係数ｗは１あるいは１近傍となり、左右チャンネルのレベル比ｒが１あるいはその近傍以外の領域では、乗算係数ｗは０となっている。
【００８７】
したがって、セレクタ２５からのレベル比ｒが１、または１近傍となっている周波数分割スペクトル成分に対する乗算係数ｗは１、あるいは１に近い値となるので、乗算部３３および３４からは、当該周波数分割スペクトル成分は、ほぼそのままのレベルで出力される。一方、セレクタ２５からのレベル比ｒが、１あるいはその近傍以外の値となっている周波数分割スペクトル成分に対する乗算係数ｗは０となるので、乗算部３２Ｒおよび３２Ｌからは、当該周波数分割スペクトル成分は、出力レベルが０とされて、出力されなくなる。
【００８８】
すなわち、乗算部３２Ｒおよび３２Ｌからは、多数個の周波数分割スペクトル成分のうち、左右同レベルおよびその近傍となっている周波数分割スペクトル成分は、ほぼそのままのレベルで出力され、左右チャンネルのレベル差が大きい周波数分割スペクトル成分は、出力レベルが０とされて出力されなくなる。この結果、左右２チャンネルの音声信号ＳＬ，ＳＲに同レベルで分配された音源ＭＳ３の音声信号Ｓ３の周波数分割スペクトル成分のみが乗算部３２Ｒ、３２Ｌから得られることになる。
【００８９】
したがって、減算部１０７では、音源ＭＳ３の音声信号Ｓ３の成分が、出力Ｆ１から減算されて除去された出力が得られ、逆ＦＴＴ部１０５に供給される。また、減算部１０８では、音源ＭＳ３の音声信号Ｓ３の成分が、出力Ｆ２から減算されて除去された出力が得られ、逆ＦＴＴ部１０６に供給される。
【００９０】
以上のようにして、この第２の実施形態においても、使用者が希望する音源の成分が、２チャンネルの音声信号ＳＲ、ＳＬのそれぞれから独立に除去されて得られる。
【００９１】
［音声信号処理装置の第３の実施形態］
上述の第１の実施形態の音声信号処理装置は、左右２チャンネルの音声信号ＳＬ，ＳＲから、同一の音源の音声成分を除去するようにした場合であるが、２チャンネルの音声信号ＳＬおよびＳＲにおいて、それぞれ各チャンネル独立に、別々の音源の音声成分を除去するようにすることもできる。第２の実施形態の音声信号処理装置は、その場合の例である。
【００９２】
図６は、この第２の実施形態の音声信号処理装置の構成例を示すブロック図である。この図６の例において、前述した図１の第１の実施形態の各部と対応する部分には、同一符号を付してある。
【００９３】
［第３の実施形態における周波数分割スペクトル制御処理部１０４の構成］
この第３の実施形態における周波数分割スペクトル比較処理部１０３は、レベル検出部２１，２２、レベル比算出部２３，２４、セレクタ２５に加えて、セレクタ２６が設けられる。そして、この第３の実施形態の場合には、セレクタ２５は、右チャンネルにおいて、除去する音源に対応するレベル比ｒＲを出力するものとされ、また、セレクタ２６は、右チャンネルにおいて、除去する音源に対応するレベル比ｒＲを出力するものとされる。
【００９４】
すなわち、レベル比算出部２３およびレベル比算出部２４で算出されたレベル比は、セレクタ２５，２６に供給され、このセレクタ２５，２６からは、レベル比Ｄ１／Ｄ２とレベル比Ｄ２／Ｄ１の一方のレベル比が、出力レベル比ｒＲ，ｒＬとして取り出される。
【００９５】
この例の音声信号処理装置１０は、左チャンネルの音声信号から除去する音源と、右チャンネルの音声信号から除去する音源とを別々に設定できるようにするために、２個のセレクタ２５，２６を設けて、右チャンネル用と、左チャンネル用の出力レベル比ｒＲ，ｒＬを得るようにしている。
【００９６】
セレクタ２５，２６には、除去すべきものとして使用者により、左、右の各チャンネル毎に設定された音源およびそのレベル比に応じて、レベル比算出部２３の出力と、レベル比算出部２４の出力のいずれを選択すべきかを選択制御するための選択制御信号ＳＥＬＲ，ＳＥＬＬが供給される。このセレクタ２５，２６から得られる出力レベル比ｒＲ，ｒＬは、周波数分割スペクトル制御処理部１０４に供給される。
【００９７】
例えば、使用者が、除去すべき音源のレベル比として、左チャンネルおよび右チャンネルの信号の分配率の値ＰＬ，ＰＲ（ＰＬ，ＰＲは１以下の値）をそれぞれ設定入力するように定められているものとしたとき、設定された分配率の値ＰＬ，ＰＲが、ＰＬ／ＰＲ≦１であるときには、選択制御信号ＳＥＬＲ，ＳＥＬＬは、セレクタ２５，２６からレベル比算出部２３の出力（Ｄ２／Ｄ１）を、出力レベル比ｒＲ，ｒＬとして選択する選択制御信号とされ、設定された分配率の値ＰＬ，ＰＲが、ＰＬ／ＰＲ＞１であるときには、選択制御信号ＳＥＬＲ，ＳＥＬＬは、セレクタ２５，２６からレベル比算出部２４の出力（Ｄ１／Ｄ２）を、出力レベル比ｒＲ，ｒＬとして選択する選択制御信号とされる。
【００９８】
なお、使用者により設定された分配率の値ＰＲ，ＰＬが互いに等しい（レベル比ｒＲ，ｒＬ＝１）ときには、セレクタ２５，２６では、レベル比算出部２３の出力とレベル比算出部２４の出力とのいずれを選択してもよい。
【００９９】
［第３の実施形態における周波数分割スペクトル制御処理部１０４の構成］
周波数分割スペクトル制御処理部１０４は、この例では、右チャンネル用の除去係数発生部３１Ｒおよび乗算部３２Ｒと、左チャンネル用の除去係数発生部３１Ｌおよび乗算部３２Ｌとからなる。
【０１００】
乗算部３２Ｒには、ＦＦＴ部１０１からの周波数分割スペクトル成分Ｆ１が供給されると共に、除去係数発生部３１Ｒからの除去係数ｗＲが供給され、両者の乗算結果が、周波数分割スペクトル制御処理部１０４の右チャンネル用スペクトル出力ＦｅｘＲとされる。
【０１０１】
また、乗算部３２Ｌには、ＦＦＴ部１０２からの周波数分割スペクトル成分Ｆ２が供給されると共に、除去係数発生部３１Ｌからの除去係数ｗＬが供給され、両者の乗算結果が、周波数分割スペクトル制御処理部１０４の左チャンネル用スペクトル出力ＦｅｘＲとされる。
【０１０２】
除去係数発生部３１Ｒは、周波数分割スペクトル比較処理部１０３のセレクタ２５からの出力レベル比ｒＲを受けて、当該レベル比ｒＲに応じた除去係数ｗＲを発生する。また、除去係数発生部３１Ｌは、周波数分割スペクトル比較処理部１０３のセレクタ２６からの出力レベル比ｒＬを受けて、当該レベル比ｒＬに応じた除去係数ｗＬを発生する。
【０１０３】
除去係数発生部３１Ｒおよび３１Ｌは、例えば、レベル比ｒＲまたはｒＬを変数とした除去係数ｗＲまたはｗＬに関する関数発生回路により構成される。除去係数発生部３１Ｒおよび３１Ｌに使用する関数として、どのような関数が選ばれるかは、分離すべき音源に応じて使用者により設定された分配率の値ＰＬ，ＰＲによる。
【０１０４】
除去係数発生部３１Ｒおよび３１Ｌに供給されるレベル比ｒＲおよびｒＬは、周波数分割スペクトルの各周波数成分単位で変化するものであるので、除去係数発生部３１Ｒおよび３１Ｌからの除去係数ｗＲおよびｗＬも、周波数分割スペクトルの各周波数成分単位で変化することになる。
【０１０５】
したがって、乗算部３２Ｒでは、ＦＦＴ部１０１からの各周波数分割スペクトルのレベルが、除去係数ｗＲにより制御され、また、乗算部３２Ｌでは、ＦＦＴ部１０２からの各周波数分割スペクトルのレベルが、除去係数ｗＬにより制御される。
【０１０６】
例えば、セレクタ２５からはレベル比算出部２３からのレベル比をレベル比出力ｒＲとして選択し、除去係数発生部３１Ｒに図３（ａ）に示したような特性の関数発生回路を設定したときには、乗算部３２Ｒからは、ボーカル成分である音声信号Ｓ３が除去された右チャンネル音声信号成分が得られる。
【０１０７】
そして、このとき、例えば、セレクタ２６からはレベル比算出部２４からのレベル比をレベル比出力ｒＬとして選択し、除去係数発生部３１Ｌに図３（ｃ）に示したような特性の関数発生回路を設定したときには、乗算部３２Ｒからは、音声信号Ｓ４が除去された左チャンネル音声信号成分が得られる。
【０１０８】
もちろん、セレクタ２５，２６から同じレベル比算出部からのレベル比をレベル比出力ｒＲ，ｒＬとして得ると共に、除去係数発生部３１Ｒ、３１Ｌに同じ特性の関数発生回路を設定するようにすることもでき、その場合には、図１の場合と全く同様の作用効果を奏するものとなる。
【０１０９】
以上のようにして、この第２の実施形態の音声信号処理装置１０においては、左右２チャンネルの、それぞれのチャンネルの音声信号ＳＲ、ＳＬから、独立に設定した音源の音声信号を除去することができる。
【０１１０】
この第３の実施形態においても、第１の実施形態に対する第２の実施形態の関係のように、除去係数発生部３１Ｒ、３１Ｌに代えて、除去目的の音源の音声成分を抽出するための乗算係数を発生する乗算係数発生部を用いると共に、乗算部３２Ｒおよび３２Ｌと、逆ＦＦＴ部１０５および１０６との間に、減算部を設け、周波数分割スペクトル制御処理部１０４で抽出した音源の音声成分を、各チャンネル毎に、出力Ｆ１，Ｆ２から減算するようにすることにより、上述した第３の実施形態と同様にして、目的とする音源の音声成分を各チャンネルの音声信号ＳＲ、ＳＬから除去することができる。
【０１１１】
［音声信号処理装置の第４の実施形態］
この第４の実施形態は、２チャンネルの音声信号から使用者が除去したい音源を動的に変更することができるようにした場合である。
【０１１２】
すなわち、この第４の実施形態は、第３の実施形態に適用した場合で、２チャンネルの音声信号ＳＬ，ＳＲのそれぞれから別々の音源（同じ音源でもよい）の音声信号を除去するようにする場合において、それぞれ除去する音源を使用者が動的に選択変更できるようにした場合である。
【０１１３】
図７は、この第４の実施形態の構成例を示すブロック図である。この第４の実施形態においては、周波数分割スペクトル制御処理部１０４は、右チャンネル用の除去係数発生部として、複数個の除去係数発生部３１Ｒ１，３１Ｒ２，・・・，３１Ｒｎを設けると共に、それら複数個の除去係数発生部３１Ｒ１，３１Ｒ２，・・・，３１Ｒｎのいずれか一つからの除去係数を選択して、当該選択した除去係数を、除去係数ｗＲとして乗算部３２Ｒに供給するスイッチ回路３４Ｒを備える。
【０１１４】
また、同様にして、周波数分割スペクトル制御処理部１０４は、左チャンネル用の除去係数発生部として、複数個の除去係数発生部３１Ｌ１，３１Ｌ２，・・・，３１Ｌｎを設けると共に、それら複数個の除去係数発生部３１Ｌ１，３１Ｌ２，・・・，３１Ｌｎのいずれか一つからの除去係数を選択して、当該選択した除去係数を、除去係数ｗＬとして乗算部３２Ｌに供給するスイッチ回路３４Ｌを備える。
【０１１５】
複数個の除去係数発生部３１Ｌ１，３１Ｌ２，・・・，３１Ｌｎおよび３１Ｒ１，３１Ｒ２，・・・，３１Ｒｎのそれぞれには、例えば、左右チャンネルのレベル比が種々の値となる音源を分離するために用いるレベル比対除去係数の関数が、設定される。
【０１１６】
また、周波数分割スペクトル比較処理部１３には、レベル比算出部２３，２４のレベル比算出出力を受けて、いずれか一方のレベル比算出出力を、除去係数発生部３１Ｌ１，３１Ｌ２，・・・，３１Ｌｎ，３１Ｒ１，３１Ｒ２，・・・，３１Ｒｎのそれぞれに供給する選択分配回路２７が設けられる。
【０１１７】
そして、この第３の実施形態においては、除去音源選択信号発生部１０９が設けられる。この除去音源選択信号発生部１０９は、後述するように、選択操作手段を通じた、使用者による、除去する音源の選択操作に応じた信号Ｍａを受けて、選択分配回路２７に供給する選択信号ＳＥＬＴを発生すると共に、スイッチ回路３４Ｌをスイッチ制御する信号ＳＷＬおよびスイッチ回路３４Ｒをスイッチ制御する信号ＳＷＲを発生する。
【０１１８】
図示は省略するが、この例の音声信号処理装置は、例えば選択操作つまみやボタン、タッチパネル付きＬＣＤなどの表示部を通じたグラフィカル・ユーザ・インターフェースを通じて、使用者からの除去する音源の選択操作を受け付けるようにする。このとき、選択操作対象となるのは、除去係数発生部３１Ｌ１，３１Ｌ２，・・・，３１Ｌｎ，３１Ｒ１，３１Ｒ２，・・・，３１Ｒｎに設定された関数により分離可能な複数個の音源である。
【０１１９】
例えば、除去可能な複数の音源としては、左チャンネルの音像定位位置から右チャンネルの音像定位位置の間において、音像定位位置を徐々に変更するようなものとすることができる。
【０１２０】
この場合において、使用者は、左チャンネルおよび右チャンネルのそれぞれについて、独立に除去する音源を指定することができるようにされている。
【０１２１】
例えば、左チャンネルの除去係数発生部３１Ｌ１からの除去係数によって左チャンネルの音声信号ＳＬから分離可能な音源が、使用者によって、前記選択操作つまみやボタン、あるいはグラフィカル・ユーザ・インターフェースを通じて選択されたときには、その選択操作に応じた信号Ｍａを受けた除去音源選択信号発生部１０９は、当該信号Ｍａに対応したスイッチ制御信号ＳＷＬおよび選択信号ＳＥＬＴを発生する。
【０１２２】
そして、このとき、スイッチ回路３４Ｌは、除去音源選択信号発生部１０９からのスイッチ制御信号ＳＷＬにより、除去係数発生部３１Ｌ１を選択する状態に切り換えられ、また、選択分配回路２７は、選択信号ＳＥＬＴにより、レベル比算出部２３，２４の一方（レベル比が１以下になる方）が選択されて、除去係数発生部３１Ｌ１に供給される。
【０１２３】
これにより、乗算部３２Ｌからは、選択指定された通りの音源の周波数分割スペクトル成分が除去された出力ＦｅｘＬが得られ、これが逆ＦＦＴ部１０６により、元の時系列の音声信号に戻されて出力ＳＯＬとして出力される。
【０１２４】
右チャンネルにおいても、同様にして、使用者により選択設定された、除去したい音源の音声信号が除去される。
【０１２５】
なお、図７の第３の実施形態は、２チャンネルの音声信号のそれぞれから、所定の音源の音声信号をそれぞれ分離抽出する場合（第２の実施形態に適用した場合）であるが、第３の実施形態は、第１の実施形態や後述する実施形態にも適用可能であることは言うまでもない。
【０１２６】
すなわち、例えば第１の実施形態に適用する場合には、図１において、除去係数発生部３１の代わりに複数個の除去係数発生部を設けると共に、それらの複数個の除去係数発生部と、音源分離部３２との間に、複数個の除去係数発生部の１つからの除去係数を音源分離部３２に供給するようにするスイッチ回路を設ける。さらに、使用者の選択操作信号Ｍａを受け付け、スイッチ回路をスイッチ制御すると共に、除去係数発生部にレベル比算出部２３，２４の出力のうちの適切な方のレベルを供給するように制御する信号を発生する分離音源選択信号発生部を設けるようにする。
【０１２７】
この第４の実施形態においても、第１の実施形態に対する第２の実施形態の関係のように、除去係数発生部３１Ｒ、３１Ｌに代えて、除去目的の音源の音声成分を抽出するための乗算係数を発生する乗算係数発生部を用いると共に、乗算部３２Ｒおよび３２Ｌと、逆ＦＦＴ部１０５および１０６との間に、減算部を設け、周波数分割スペクトル制御処理部１０４で抽出した音源の音声成分を、各チャンネル毎に、出力Ｆ１，Ｆ２から減算するようにすることにより、上述した第４の実施形態と同様にして、目的とする音源の音声成分を各チャンネルの音声信号ＳＲ、ＳＬから除去することができる。
【０１２８】
［音声信号処理装置の第５の実施形態］
上述の実施形態の場合、左右２チャンネルの音声信号に対して、同じレベル比あるいはレベル差で、分配されて混合されている音源の音声信号が複数個存在している場合、それらは共に除去されてしまう。第５の実施形態は、このようにレベル比あるいはレベル差だけでは除去できない複数個の音源が存在する場合に、できるだけ、特定の音源の音声成分のみを除去できるように改善する第１の例である。
【０１２９】
この第５の実施形態は、レベル比あるいはレベル差だけでは除去できない複数個の音源のそれぞれの主たる周波数帯域が異なる場合、当該周波数帯域の違いを考慮して、上記の目的を達成したものである。
【０１３０】
図８は、この第５の実施形態の構成例を示すブロック図で、前述の実施形態の各部と対応する部分には同一符号を付してある。この第５の実施形態においては、ＦＦＴ部１０１およびＦＦＴ部１０２の出力側に、除去したい音源の音声成分が主として含まれる周波数帯域の信号成分を抽出する帯域通過フィルタ１１０および１１１を設けると共に、除去したい音源の音声成分が主として含まれる周波数以外の帯域の信号成分を抽出する低域高域通過フィルタ１１２および１１３を設ける。
【０１３１】
また、周波数分割スペクトル制御処理部１０４の乗算部３２Ｒおよび３２Ｌと逆ＦＦＴ部１０５および１０６との間に、それぞれ、加算部１１４および１１５を設ける。
【０１３２】
そして、ＦＦＴ部１０１の出力である周波数分割スペクトル出力Ｆ１は、帯域通過フィルタ１１０および低域高域通過フィルタ１１２に供給される。そして、帯域通過フィルタ１１０から得られる、除去したい音源の音声成分が主として含まれる周波数帯域の信号成分は周波数分割スペクトル比較処理部１０３のレベル検出部２１に供給されると共に、周波数分割スペクトル制御処理部１０４の乗算部３２Ｒに供給される。
【０１３３】
また、低域高域通過フィルタ１１２から得られる、除去したい音源の音声成分が主として含まれる周波数以外の帯域の信号成分は、加算部１１４に供給される。加算部１１４には、また、周波数分割スペクトル制御処理部１０４の出力ＦｅｘＲが供給される。そして、加算部１１４からの加算出力が逆ＦＦＴ部１０５に供給される。
【０１３４】
また、ＦＦＴ部１０２の出力である周波数分割スペクトル出力Ｆ２は、帯域通過フィルタ１１１および低域高域通過フィルタ１１３に供給される。そして、帯域通過フィルタ１１１から得られる、除去したい音源の音声成分が主として含まれる周波数帯域の信号成分は周波数分割スペクトル比較処理部１０３のレベル検出部２２に供給されると共に、周波数分割スペクトル制御処理部１０４の乗算部３２Ｌに供給される。
【０１３５】
また、低域高域通過フィルタ１１３から得られる、除去したい音源の音声成分が主として含まれる周波数以外の帯域の信号成分は、加算部１１５に供給される。加算部１１５には、また、周波数分割スペクトル制御処理部１０４の出力ＦｅｘＬが供給される。そして、加算部１１５からの加算出力が逆ＦＦＴ部１０６に供給される。
【０１３６】
以上のような構成の実施形態においては、第４の周波数分割スペクトル比較処理部１０３および周波数分割スペクトル制御処理部１０４では、除去したい音源の音声成分が主として含まれる周波数以外の帯域の信号成分についてのみ、上述の実施形態で説明したような音源成分除去動作がなされる。そして、当該音源成分除去がなされた結果としての出力ＦｅｘＲおよびＦｅｘＬに、音源除去処理対象とならなかった周波数帯域の成分が加算部１１４および１１５でそれぞれ加算されて、逆ＦＦＴ部１０５および１０６に供給される。
【０１３７】
したがって、同じレベル比あるいはレベル差を持って、２チャンネル音声信号に分配された複数個の音源成分が存在している場合であっても、それらの音源の音声成分が占める主たる周波数帯域が異なる場合には、この第４の実施形態を用いることにより、目的とする音源の音声成分のみを、２チャンネル音声信号のそれぞれのチャンネルの信号から除去することができる。
【０１３８】
この第５の実施形態においても、第１の実施形態に対する第２の実施形態の関係のように、除去係数発生部３１Ｒ、３１Ｌに代えて、除去目的の音源の音声成分を抽出するための乗算係数を発生する乗算係数発生部を用いると共に、乗算部３２Ｒおよび３２Ｌと、加算部１１４，１１５との間に、減算部を設け、周波数分割スペクトル制御処理部１０４で抽出した音源の音声成分を、各チャンネル毎に、帯域通過フィルタ１１０，１１１の出力から減算するようにすることにより、上述した第５の実施形態と同様にして、目的とする音源の音声成分を各チャンネルの音声信号ＳＲ、ＳＬから除去することができる。
【０１３９】
［音声信号処理装置の第６の実施形態］
この第６の実施形態は、左右２チャンネルの音声信号に対して、同じレベル比あるいはレベル差で、分配されて混合されている音源の音声信号が複数個存在している場合の問題点を改善する第２の例である。
【０１４０】
以上の実施形態においては、２チャンネルの音声信号に、各音源の音声信号が分配されるときの位相は、２チャンネルで同相としたが、逆相で音源の音声信号が分配される場合もある。一例として、次の（式３）および（式４）のように、６個の音源ＭＳ１〜ＭＳ６からの音声信号Ｓ１〜Ｓ６が左右２チャンネルに分配されたステレオ音声信号ＳＬ，ＳＲを考える。
【０１４１】
ＳＬ＝Ｓ１＋０．９Ｓ２＋０．７Ｓ３＋０．４Ｓ４＋０．７Ｓ６ ・・・（式３）
ＳＲ＝Ｓ５＋０．４Ｓ２＋０．７Ｓ３＋０．９Ｓ４−０．７Ｓ６ ・・・（式４）
【０１４２】
すなわち、音源ＭＳ３の音声信号Ｓ３と、音源ＭＳ６の音声信号Ｓ６とは、左右チャンネルに、それぞれ同レベルで分配されているが、音源ＭＳ３の音声信号Ｓ３は、左右チャンネルに同相で分配されているのに対して、ＭＳ６の音声信号Ｓ６は、左右チャンネルに逆相で分配されている。
【０１４３】
上述の実施の形態と同様にして、位相を考慮せず、レベル比あるいはレベル差のみを用いて音源ＭＳ３の音声信号Ｓ３または音源ＭＳ６の音声信号Ｓ６のいずれかを除去しようとしても、音声信号Ｓ３とＳ６とは、同レベルで左右チャンネルに分配されているので、いずれか一方を除去することはできない。
【０１４４】
そこで、この第６の実施形態では、２チャンネル間におけるレベル比あるいはレベル差を用いて音源成分を分離した後、位相差を用いて更なる分離することにより、除去対象の音源の音声成分を分離し、当該分離した音源の音声成分を、ＦＦＴ部１０１，１０２からの出力Ｆ１、Ｆ２から減算することにより、目的とする音源の音声成分の除去を行なうようにする。
【０１４５】
図９は、この第６の実施形態の音声信号処理装置の構成例を示すブロック図である。この第６の実施形態の音声信号処理装置における周波数分割スペクトル比較処理部１０３は、レベル比較処理部１０３１と、位相比較処理部１０３２とを備える。
【０１４６】
また、この第６の実施形態における周波数分割スペクトル制御処理部１０４は、第１周波数分割スペクトル制御処理部１０４１と、位相差に基づいた音源分離処理を実行するための第２の周波数分割スペクトル制御処理部１０４２とを備える。
【０１４７】
図１０は、この第６の実施形態における周波数分割スペクトル比較処理部１０３と、周波数分割スペクトル制御処理部１０４の部分の詳細構成例を示すブロック図である。すなわち、周波数分割スペクトル比較処理部１０３のレベル比較処理部１０３１は、前述した第１の実施形態の周波数分割スペクトル比較処理部１３と同様の構成の備え、レベル検出部２１，２２と、レベル比算出部２３，２４と、セレクタ２５とからなる。
【０１４８】
そして、周波数分割スペクトル制御処理部１０４の第１周波数分割スペクトル制御処理部１０４１は、前述の第２の実施形態の周波数分割スペクトル制御処理部とほぼ同様の構成を備え、乗算係数発生部３０１と、乗算部３０２および３０３とからなる音源分離部の構成とされている。
【０１４９】
そして、図９および図１０に示すように、レベル比較処理部１０３１からのレベル比出力ｒは、第１の実施形態と全く同様にして、第１周波数分割スペクトル制御処理部１０４１の乗算係数発生部３０１に供給され、この乗算係数発生部３０１から当該乗算係数発生部３０１に設定された関数に応じた乗算係数ｗｒが発生し、乗算部３０２，３０３に供給される。
【０１５０】
乗算部３０２には、ＦＦＴ部１０１からの周波数分割スペクトル成分Ｆ１が供給されており、当該周波数分割スペクトル成分と乗算係数ｗｒとの乗算結果が、この乗算部３０２から得られる。また、乗算部３０３には、ＦＦＴ部１０２からの周波数分割スペクトル成分Ｆ２が供給されており、当該周波数分割スペクトル成分と乗算係数ｗｒとの乗算結果が、この乗算部３０３から得られる。
【０１５１】
すなわち、乗算部３０２，３０３からは、ＦＦＴ部１０１，１０２からの周波数分割スペクトル成分Ｆ１，Ｆ２のそれぞれが、乗算係数発生部３１からの乗算係数ｗｒに応じてレベル制御された状態の出力が得られる。
【０１５２】
前述の第２の実施形態と同様に、乗算係数発生部３０１は、レベル比ｒを変数とした乗算係数ｗｒに関する関数発生回路により構成される。乗算係数発生部３０１に使用する関数として、どのような関数が選ばれるかは、分離抽出すべき音源の左右２チャンネルの音声信号への分配率による。
【０１５３】
前述したように、乗算係数発生部３０１には、図５に示したような特性の、乗算係数ｗｒのレベル比に関する関数が設定される。例えば、左右２チャンネルに同レベルで分配される音源の音声信号を分離抽出する場合には、前述したように、図５（ａ）に示した特定の関数が、乗算係数発生部３０１に設定される。
【０１５４】
この第６の実施形態では、乗算部３０２，３０３の出力は、それぞれ周波数分割スペクトル比較処理部１０３の位相比較処理部１０３２に供給されると共に、周波数分割スペクトル制御処理部１０４の第２周波数分割スペクトル制御処理部１０４２に供給される。
【０１５５】
位相比較処理部１０３２は、図１０に示すように、乗算部３０２，３０３の出力の位相差φを検出する位相差検出部２８からなり、その位相差φの情報を第２周波数分割スペクトル制御処理部１０４２に供給する。
【０１５６】
第２周波数分割スペクトル制御処理部１０４２は、乗算係数発生部３０４と、乗算部３０５および乗算部３０６と、減算部３０７および３０８とからなる。
【０１５７】
そして、乗算部３０５には、第１周波数分割スペクトル制御処理部１０４１の乗算部３０２の出力が供給されると共に、乗算係数発生部３０４からの乗算係数ｗｐが供給され、両者の乗算結果が、この乗算部３０５から減算部３０７に供給される。この減算部３０７には、ＦＦＴ部１０１の出力Ｆ１が供給されており、乗算部３０５の出力が出力Ｆ１から減算され、その減算結果が、周波数分割スペクトル制御処理部１０４の第１の出力（右チャンネル用出力）ＦｅｘＲとされる。
【０１５８】
また、乗算部３０６には、第１周波数分割スペクトル制御処理部１０４１の乗算部３０３の出力が供給されると共に、乗算係数発生部３０４からの乗算係数ｗｐが供給され、両者の乗算結果が、この乗算部３０６から減算部３０８に供給される。この減算部３０８には、ＦＦＴ部１０２の出力Ｆ２が供給されており、乗算部３０６の出力が出力Ｆ２から減算され、その減算結果が、周波数分割スペクトル制御処理部１０４の第２の出力（左チャンネル用出力）ＦｅｘＬとされる。
【０１５９】
乗算係数発生部３０４は、位相差検出部２８からの位相差φの情報を受けて、当該位相差φに応じた乗算係数ｗｐを発生する。乗算係数発生部３０４は、位相差φを変数とした乗算係数ｗｐに関する関数発生回路により構成される。乗算係数発生部３０４に使用する関数として、どのような関数が選ばれるかは、分離すべき音源の前記２チャンネルに対する位相差に応じて、使用者により設定される。
【０１６０】
乗算係数発生部３０４に供給される位相差φは、周波数分割スペクトルの各周波数成分単位で変化するものであるので、乗算係数発生部３０４からの乗算係数ｗｐも、周波数分割スペクトルの各周波数成分単位で変化することになる。したがって、乗算部３０５および乗算部３０６では、乗算部３０２および乗算部３０３からの各周波数分割スペクトルのレベルが、乗算係数ｗｐにより制御される。
【０１６１】
図１１に、乗算係数発生部３０４としての関数発生回路に用いられる関数の例を示す。
【０１６２】
図１１（ａ）の関数の特性は、左右チャンネルの位相差φが０、あるいは０に近い場合、つまり、左右チャンネルが同相あるいは同相に近い周波数分割スペクトル成分では、乗算係数ｗｐは１あるいは１近傍となり、左右チャンネルの位相差φが約π／４以上の領域では、乗算係数ｗｐは０となっている。
【０１６３】
例えば乗算係数発生部３０４に、この図１１（ａ）の特性の関数が設定されている場合において、位相差検出部２８からの位相差φが０、または０近傍となっている周波数分割スペクトル成分に対する乗算係数ｗｐは１、あるいは１に近い値となるので、乗算部３０５、３０６からは、当該周波数分割スペクトル成分は、ほぼそのままのレベルで出力される。一方、位相差検出部２８からの位相差φが、約π／４以上の値となっている周波数分割スペクトル成分に対する乗算係数ｗｐは０となるので、乗算部３０５，３０６からは、当該周波数分割スペクトル成分は、出力レベルが０とされて、出力されなくなる。
【０１６４】
すなわち、乗算部３０５，３０６からは、多数個の周波数分割スペクトル成分のうち、左右同相およびその近傍の位相差となっている周波数分割スペクトル成分は、ほぼそのままのレベルで出力され、左右チャンネルの位相差が大きい周波数分割スペクトル成分は、出力レベルが０とされて出力されなくなる。この結果、左右２チャンネルの音声信号ＳＬ，ＳＲに同相で分配された音源の音声信号の周波数分割スペクトル成分のみが乗算部３０５，３０６から得られることになる。
【０１６５】
つまり、この図１１（ａ）の特性の関数は、左右２チャンネルに同相で分配されている音源の信号を抽出する際に用いられる。
【０１６６】
また、図１１（ｂ）の関数の特性は、左右チャンネルの位相差φがπ、あるいはπに近い場合、つまり、左右チャンネルが逆相あるいは逆相に近い周波数分割スペクトル成分では、乗算係数ｗｐは１あるいは１近傍となり、左右チャンネルの位相差φが約３π／４以下の領域では、乗算係数ｗｐは０となっている。
【０１６７】
例えば乗算係数発生部３０１に、この図１１（ｂ）の特性の関数が設定されている場合において、位相差検出部２８からの位相差φがπ、またはπ近傍となっている周波数分割スペクトル成分に対する乗算係数ｗｐは１、あるいは１に近い値となるので、乗算部３０５、３０６からは、当該周波数分割スペクトル成分は、ほぼそのままのレベルで出力される。一方、位相差検出部２８からの位相差φが、約３π／４以下の値となっている周波数分割スペクトル成分に対する乗算係数ｗｐは０となるので、乗算部３０５，３０６からは、当該周波数分割スペクトル成分は、出力レベルが０とされて、出力されなくなる。
【０１６８】
すなわち、乗算部３０５，３０６からは、多数個の周波数分割スペクトル成分のうち、左右逆相およびその近傍の位相差となっている周波数分割スペクトル成分は、ほぼそのままのレベルで出力され、左右チャンネルの位相差が小さい周波数分割スペクトル成分は、出力レベルが０とされて出力されなくなる。この結果、左右２チャンネルの音声信号ＳＬ，ＳＲに逆相で分配された音源の音声信号の周波数分割スペクトル成分のみが乗算部３０５，３０６から得られることになる。
【０１６９】
つまり、この図１１（ｂ）の特性の関数は、左右２チャンネルに逆相で分配されている音源の信号を抽出する際に用いられる。
【０１７０】
同様にして、図１１（ｃ）の特性の関数は、左右チャンネルの位相差φが約π／２、あるいは約π／２に近い場合の周波数分割スペクトル成分では、乗算係数ｗｐは１あるいは１近傍となり、その他の位相差φの領域では、乗算係数ｗｐは０となっている。したがって、この図１１（ｃ）の特性の関数は、左右２チャンネルに、互いに約π／２だけ異なる位相で分配されている音源の信号を抽出する際に用いられる。
【０１７１】
その他、乗算係数発生部３０５および３０６には、分離する音源の音声信号の２チャンネルへ分配する際の位相差に応じて、図１１（ｄ）や（ｅ）に示すような特性の関数を設定することもできる。
【０１７２】
この第６の実施形態において、例えば、前記（式３）および（式４）で示された左右２チャンネルの音声信号ＳＬおよびＳＲから、同レベルであるが、同相で左右チャンネルに分配された音源ＭＳ３の音声信号Ｓ３と、逆相で左右チャンネルに分配された音源ＭＳ６の音声信号Ｓ６との内、例えば音源ＭＳ３の音声信号Ｓ３を、左右チャンネルから除去する場合には、第１周波数分割スペクトル制御処理部１０４１の乗算係数発生部３０１には、図５（ａ）に示したような特性の関数が設定される。また、第２周波数分割スペクトル制御処理部１０４２の乗算係数発生部３０４には、図１１（ｂ）に示すような特性となる関数が設定される。
【０１７３】
すると、図９および図１０に示すように、周波数分割スペクトル制御処理部１０４の第１周波数分割スペクトル制御処理部１０４１の乗算部３０２からは、右チャンネルの音声信号ＳＲをＦＦＴした信号（周波数分割スペクトル）Ｆ１のうちの、（Ｓ３−Ｓ６）なる周波数分割スペクトル成分が得られ、また、乗算部３０３からは、左チャンネルの音声信号ＳＬをＦＦＴした信号（周波数分割スペクトル）Ｆ２のうちの、（Ｓ３＋Ｓ６）なる周波数分割スペクトル成分が得られる。つまり、信号Ｓ３とＳ６とは、左右チャンネルに同レベルで分配されているので、第１周波数分割スペクトル制御処理部１０４１では、分離できずに出力されることになる。
【０１７４】
しかし、この第６の実施形態では、信号Ｓ３とＳ６とが逆相で左右チャンネルに分配されていることを利用して、次のようにして、当該信号Ｓ３と、Ｓ６とが分離される。
【０１７５】
すなわち、乗算部３０２および３０３の出力は、周波数分割スペクトル比較処理部１０３の位相比較処理部１０３２を構成する位相差検出部２８に供給されて、両出力の位相差φが検出される。そして、この位相差検出部２８で検出された位相差φの情報は、乗算係数発生部３０４に供給される。
【０１７６】
乗算係数発生部３０４では、図１１（ａ）に示すような特性の関数が設定されていることから、乗算部３０５，３０６では、左右チャンネルに同相で分配されている音源の音声信号Ｓ３を抽出する。すなわち、周波数分割スペクトル成分（Ｓ３＋Ｓ６）と、周波数分割スペクトル成分（Ｓ３−Ｓ６）のうちの、同相関係にある音源ＭＳ３の音声信号Ｓ３の周波数分割スペクトル成分のみが乗算部３０５および３０６のそれぞれから得られ、減算部３０７および３０８に供給される。
【０１７７】
したがって、減算部３０７からは、出力Ｆ１から音源ＭＳ３の音声信号Ｓ３の周波数分割スペクトル成分が除去された出力信号ＦｅｘＲが導出され、逆ＦＦＴ部１０５に供給される。また、減算部３０８からは、出力Ｆ２から音源ＭＳ３の音声信号Ｓ３の周波数分割スペクトル成分が除去された出力信号ＦｅｘＬが導出され、逆ＦＦＴ部１０６に供給される。そして、逆ＦＦＴ部１０５および１０６で時系列信号に戻され、出力信号ＳＯＲおよびＳＯＬとして出力される。
【０１７８】
なお、図９および図１０に示した実施形態では、第２周波数分割スペクトル制御処理部１０４２では、第１周波数分割スペクトル制御処理部１０４１においてレベル比を用いては分離できない２つの信号、上述の例では、同相の信号Ｓ３と、逆相の信号Ｓ６とを、それぞれ乗算係数および乗算部を用いて、それぞれ分離するようにしたが、それらレベル比を用いては分離できない２つの信号の一方を、位相差φと乗算係数を用いて、分離したら、当該分離した信号を、第１周波数分割スペクトル制御処理部１０４１からの信号の和（乗算部３０２の出力と乗算部３０３の出力を加算した信号）から減算することにより、前記２つの信号の他方の信号を、分離するようにすることもできる。
【０１７９】
［音声信号処理装置の第７の実施形態］
第７の実施形態は、２系統の周波数分割スペクトルについての位相差に基づいて、所望の音源分離を行なうようにする場合である。図１２に、この第７の実施形態の音声信号処理装置の構成例のブロック図を示す。
【０１８０】
この第７の実施形態においては、周波数分割スペクトル比較処理部１０３は、位相差検出部２９で構成され、ＦＦＴ部１０１の出力Ｆ１およびＦＦＴ部１０２の出力Ｆ２が、この位相差検出部２９に供給されると共に、周波数分割スペクトル制御処理部１０４に供給される。周波数分割スペクトル制御処理部１０４は、図１の場合と同様に、除去係数発生部３５と、乗算部３２Ｒ，３２Ｌとからなるが、除去係数発生部３５が、位相差を入力として除去係数ｗｐを出力する点が図１とは異なる。
【０１８１】
この第７の実施形態は、第６の実施形態における位相比較処理部１０３２と第２周波数分割スペクトル制御処理部１０４２とにおいて、乗算係数発生部に代えて除去係数発生部を設けたときの動作と全く同様の動作となる。
【０１８２】
すなわち、除去係数発生部３５には、除去目的の音源の音声成分が左右２チャンネルに対して分配されるときの位相差φのときに、除去係数ｗｐが０、その他の位相差の時に除去係数ｗｐが１となるような特性の関数発生回路が設定される。例えば、前記（式３）および（式４）に示したような信号ＳＬ，ＳＲの場合に、除去係数発生部３５に、図１１（ｂ）に示すような特性の関数発生回路を設定したときには、周波数分割スペクトル制御処理部１０４からは、逆相で２チャンネルに分配された音源ＭＳ６の音声信号Ｓ６が、それぞれのチャンネルの信号から除去されたものが得られる。
【０１８３】
なお、この第７の実施形態においても、第２の実施形態と同様に、除去係数発生部３５を、出力Ｆ１，Ｆ２から特定の音源の音声成分を分離抽出するための乗算係数発生部に置き換え、周波数分割スペクトル制御処理部１０４と逆ＦＦＴ部１０５および１０６との間に、出力Ｆ１，Ｆ２から周波数分割スペクトル制御処理部１０４の乗算部３２Ｒ，３２Ｌの出力を減算する減算部を設ける構成を変形例とすることができる。
【０１８４】
［音声信号処理装置の第８の実施形態］
図１３は、第８の実施形態の音声信号処理装置の構成例を示すブロック図である。この図１３の例においては、左右２チャンネルの音声信号ＳＬ、ＳＲの一方、図の例では、左チャンネルの音声信号ＳＬから、デジタルフィルタを用いて、左右チャンネルに所定のレベル比あるいはレベル差で分配された音源の音声信号を、左チャンネル信号から除去するようにする。
【０１８５】
すなわち、左チャンネルの音声信号（この例ではデジタル信号）ＳＬは、タイミング調整用の遅延部４１を通じてデジタルフィルタ４２に供給される。このデジタルフィルタ４２には、後述するようにして、除去したい音源の音声信号の、左右チャンネルに対するレベル比に基づいて形成されるフィルタ係数（除去係数に対応）が供給されて、信号ＳＬから前記除去したい音源の音声信号が除去された信号ＳＯＬ、このデジタルフィルタ４２から出力されるようにされる。
【０１８６】
前記フィルタ係数は、次のようにして形成される。先ず、左右チャンネルの音声信号ＳＬおよびＳＲ（デジタル信号）は、ＦＦＴ部４３およびＦＦＴ部４４にそれぞれに供給されて、ＦＦＴ処理されて時系列音声信号が周波数領域データに変換され、ＦＦＴ部４３およびＦＦＴ部４４のそれぞれから、周波数が互いに異なる多数個の周波数分割スペクトル成分Ｆ１，Ｆ２が出力される。
【０１８７】
ＦＦＴ部４３および４４のそれぞれからの周波数分割スペクトル成分のそれぞれは、レベル検出部４５，４６に供給されて、その振幅スペクトルあるいはパワースペクトルが検出されることにより、そのレベルが検出される。そして、レベル検出部４５，４６の各々で検出されたレベル値Ｄ１，Ｄ２は、レベル比算出部４７に供給され、そのレベル比Ｄ１／Ｄ２またはＤ２／Ｄ１の一方が算出される。
【０１８８】
このレベル比算出部４７で算出されたレベル比の値は、重み付け係数発生部４８に供給される。この重み付け係数発生部４８は、前述の実施形態の除去係数発生部に対応するものであり、除去したい音源の音声信号の、左右２チャンネルの音声信号に対する混合レベル比およびその近傍のレベル比では０あるいは非常に小さい値の重み付け係数を出力し、その他のレベル比では１あるいは大きな値の重み付け係数を出力する。この重み付け係数は、ＦＦＴ部４３，４４の出力である周波数分割スペクトル成分の各周波数ごとに得られる。
【０１８９】
この重み付け係数発生部４８からの周波数領域の重み付け係数は、フィルタ係数生成部４９に供給され、時間軸領域のフィルタ係数に変換される。このフィルタ係数生成部４９は、周波数領域の重み付け係数を、逆ＦＦＴを行なうことにより、デジタルフィルタ４２に供給するフィルタ係数を得る。
【０１９０】
そして、このフィルタ係数生成部４９からのフィルタ係数が、デジタルフィルタ４２に供給されて、デジタルフィルタ４２から、重み付け係数発生部４８に設定された関数に応じた音源の音声信号成分が除去されて、出力ＳＯＬとされる。なお、遅延部４１は、音声信号ＳＬに対して、デジタルフィルタ４２に供給されるフィルタ係数が生成されるまでの処理遅延時間を調整するためのものである。
【０１９１】
図１３は、左チャンネル信号ＳＬについてのみ説明したが、右チャンネル信号ＳＲについても、遅延部を介して当該右チャンネルの信号が供給されるデジタルフィルタの系を設け、フィルタ係数発生部４９からのフィルタ係数を当該右チャンネル用のデジタルフィルタにも供給することにより、全く同様にして、右チャンネルについても特定の音源の音声成分の除去をすることができる。
【０１９２】
図１３の例は、レベル比のみを考慮したものであるが、位相差のみ、またレベル比と位相差を合わせて考慮する構成とすることもできる。すなわち、例えばレベル比と位相差とを合わせて考慮する場合には、図示は省略するが、ＦＦＴ部４３および４４の出力を位相差検出部にも供給すると共に、検出した位相差をも、重み付け係数発生部に供給する。この例の場合の重み付け係数発生部は、除去する音源の左右２チャンネルの音声信号に対するレベル差のみではなく、位相差をも変数として重み付け係数を発生する関数発生回路の構成とされる。
【０１９３】
つまり、この場合の重み付け係数発生部は、除去しようとする音源の音声信号の、左右２チャンネルにおけるレベル比およびその近傍のレベル比のときであって、前記、除去しようとする音源の音声信号の、左右２チャンネルにおける位相差およびその近傍の位相差のときには、大きい重み付け係数を発生し、その他では小さい係数を発生するような関数に設定される。
【０１９４】
そして、その重み付け係数発生部からの重み付け係数が逆ＦＦＴされることにより、デジタルフィルタ４２のフィルタ係数とされるものである。
【０１９５】
［その他の実施形態の音声信号処理装置］
上述の実施形態において、入力音声信号をＦＦＴする場合、楽音のように長い時系列信号をそのままＦＦＴ処理することは困難なので、所定分析区間に区分けして、当該分析区間ごとの区分データを得ることによりＦＦＴ処理を行なう。
【０１９６】
しかしながら、時系列データを単純に一定の長さだけ取り出し、音源分離処理を行った後、逆ＦＦＴ変換して結合した場合、その結合点において波形の不連続点を発生し、音として聞いた場合、ノイズを発生すると言う問題がある。
【０１９７】
そこで、第９の実施形態では、区分データを取り出すのに、図１４に示すように、区間１、区間２、区間３、区間４、・・・の長さを、それぞれ同じ長さの単位区間とするが、隣り合う区間では、前記単位区間の長さの例えば１／２の区間分を、互いに重複するように各区間を設定して、各区間の区分データを取り出すようにする。なお、図１４において、ｘ１、ｘ２、ｘ３、・・・、ｘｎは、デジタル音声信号のサンプルデータを示している。
【０１９８】
このようにして処理すると、上述の実施形態のようにして音源分離処理され、逆ＦＦＴ 変換された時系列データも、図１５に示す出力区分データ１，２のように、重複区間を持つことになる。
【０１９９】
そして、この第９の実施形態では、図１５に示すように、重複区間を持って隣り合う出力区分データ、例えば出力区分データ１，２の重複区間に対して、図１５に示すような三角窓の特性となる窓関数１、２の処理を行ない、各出力区分データ１，２の重複区間における同時刻データ同士を加算することにより、図１５に示すような出力合成データを得るようにする。これにより、波形の不連続点の無い、すなわちノイズの無い、分離された出力音声信号が得られる。
【０２００】
さらに、第１０の実施形態では、区分データを取り出すのに、図１６に示すように、隣り合う区分データの一定区間として、区間１、区間２、区間３、区間４のように、互いに重複して取り出すようにすると同時に、これらの各区間の区分データを、ＦＦＴ処理する前に、図１６に示すような三角窓の窓関数１，２，３，４の、窓関数処理を行なう。
【０２０１】
そして、この図１６に示すような窓関数処理を行なった後、ＦＦＴ変換処理を行なうようにする。そして、しかるべき音源分離処理された信号を、逆ＦＦＴ変換すると、図１７に示すような出力区分データ１、２が得られる。この出力区分データは、既に重複部において窓関数処理されたデータになっているので、出力部では、各重複区分データ部を加算するだけで、波形の不連続点のないノイズの無い、分離された音声信号を得ることが可能となる。
【０２０２】
なお、上述の窓関数としては、三角窓の他、ハニング窓またはハミング窓、あるいはブラックマン窓、などを用いることができる。
【０２０３】
また、上述の実施形態では、時間離散信号を直交変換することにより、周波数領域の信号に変換し、ステレオチャンネル間の周波数分割スペクトルを比較するようにしたが、原理的には時間領域で信号を多数のバンドバスフィルタにより細分化し、各周波数バンドについて同様の処理を行なうように構成するようにしてもよい。ただし、上述の実施形態のように、ＦＦＴ処理をする方が、周波数分解能を上げることが容易であり、分離する音源の分離度を向上させることができるので、実用性が大きい。
【０２０４】
なお、上述の実施形態では、この発明が適用される２系統の音声信号として、２チャンネルステレオ信号について説明したが、この発明は、音源の音声信号が所定のレベル比あるいはレベル差で分配される２つの音声信号であれば、どのような２系統の音声信号であっても適用可能である。位相差についても同様である。
【０２０５】
また、上述の実施形態では、２系統の音声信号についての周波数分割スペクトルのレベル比を求め、除去係数発生部あるいは乗算係数発生部は、レベル比対乗算係数の関数を用いるようにしたが、２系統の音声信号についての周波数分割スペクトルのレベル差を求め、除去係数発生部あるいは乗算係数発生部は、当該レベル差対乗算係数の関数を用いるようにしてもよい。
【０２０６】
また、時系列信号を周波数領域の信号に変換する直交変換手段としては、ＦＦＴ処理手段に限られるものではなく、周波数分割スペクトルのレベルや位相を比較することができるものであれば、どのようなものであってもよい。
【図面の簡単な説明】
【０２０７】
【図１】この発明による音声信号処理装置の第１の実施形態の構成例を示すブロック図である。
【図２】第１の実施形態の音声信号処理装置が適用されたカラオケ装置の構成例を示すブロック図である。
【図３】図１において、周波数分割スペクトル制御処理部の除去係数発生部３１に設定される関数の幾つかの例を示す図である。
【図４】この発明による音声信号処理装置の第２の実施形態の構成例を示すブロック図である。
【図５】図４において、周波数分割スペクトル制御処理部の乗算係数発生部３３に設定される関数の幾つかの例を示す図である。
【図６】この発明による音声信号処理装置の第３の実施形態の構成例を示すブロック図である。
【図７】この発明による音声信号処理装置の第４の実施形態の構成例を示すブロック図である。
【図８】この発明による音声信号処理装置の第５の実施形態の構成例を示すブロック図である。
【図９】この発明による音声信号処理装置の第６の実施形態の構成例を示すブロック図である。
【図１０】図９の第６の実施形態の要部の構成例を示すブロック図である。
【図１１】図１０の乗算係数発生部３０４に設定される関数の幾つかの例を示す図である。
【図１２】この発明による音声信号処理装置の第７の実施形態の構成例を示すブロック図である。
【図１３】この発明による音声信号処理装置の第８の実施形態の構成例を示すブロック図である。
【図１４】この発明による音声信号処理装置の第９の実施形態の構成例を説明するための図である。
【図１５】この発明による音声信号処理装置の第９の実施形態の構成例を説明するための図である。
【図１６】この発明による音声信号処理装置の第１０の実施形態の構成例を説明するための図である。
【図１７】この発明による音声信号処理装置の第１０の実施形態の構成例を説明するための図である。
【図１８】従来のボーカル除去方法を説明するためのブロック図である。
【符号の説明】
【０２０８】
１０…音声信号処理装置、１０１，１０２…ＦＦＴ部、１０３…周波数分割スペクトル比較処理部、１０４…周波数分割スペクトル制御処理部、１０５，１０６…逆ＦＦＴ部、２１，２２…レベル検出部、２３，２４…レベル比算出部、２５，２６…セレクタ、３１…除去係数発生部、３２Ｒ，３２Ｌ…乗算部、３３…乗算係数発生部、２８，２９…位相差検出部
【技術分野】
【０００１】
この発明は、それぞれ複数の音源からの音声信号により構成される２系統の入力音声時系列信号から、特定の音源の音声信号を除去するようにする音声信号処理装置および方法に関する。
【背景技術】
【０００２】
レコードやコンパクトディスク等に記録された左右２チャンネルのステレオ音楽信号の各チャンネルの音声信号には、複数の音源からの音声信号により構成されるものが多数存在する。このようなステレオ音声信号では、２個のスピーカで再生した場合に、前記複数個の音源のそれぞれがスピーカ間に音像として定位するように、レベル差を付加してそれぞれのチャンネルに記録する場合が多い。
【０００３】
例えば、５個の音源１〜５の信号をＳ１〜Ｓ５とし、これを左右２チャンネルの音声信号ＳＬ，ＳＲとして記録する場合に、
ＳＬ＝Ｓ１＋０．９Ｓ２＋０．７Ｓ３＋０．４Ｓ４
ＳＲ＝Ｓ５＋０．４Ｓ２＋０．７Ｓ３＋０．９Ｓ４
のように、各音源１〜５の信号Ｓ１〜Ｓ５は、左右２チャンネルにおいてレベル差を付けて、それぞれのチャンネルの音声信号中に加算混合するようにする。
【０００４】
以上のような一般的な２チャンネルステレオ音声信号が歌手のボーカル音声とオーケストラの音楽とからなる場合に、ボーカルの音声のみを除去することができれば、いわゆるカラオケ装置に適用することができる。
【０００５】
図１８は、このボーカル除去処理装置の構成例を示すブロック図である。この図１８の例のボーカル除去処理装置は、通常は、ステレオ音声において、ボーカル音声が左右チャンネルの音声の中央に定位するようにされていることから、左右チャンネルの音声信号を互いに減算することによりボーカル音声を、ステレオ音声出力から除去することができることを利用している。
【０００６】
図１８の例においては、ボーカル音声帯域のみに上記の原理を適用するように構成されており、左右チャンネルの音声信号ＳＬ，ＳＲのそれぞれは、減算回路１に供給されると共に、ボーカル音声帯域（例えば３００Ｈｚ〜５ｋＨｚ）の周波数成分を除去する帯域除去フィルタ２および３に供給される。そして、減算回路１からの左右チャンネルの音声信号の減算出力は、ボーカル音声帯域の周波数成分を抽出する帯域通過フィルタ（バンドパスフィルタ）４に供給される。
【０００７】
そして、帯域除去フィルタ２の出力信号と、バンドパスフィルタ４の出力信号とを加算回路５で加算して、この加算回路５からボーカル音声成分を除去した出力左チャンネル音声信号ＳＯＬを得る。また、帯域除去フィルタ３の出力信号と、バンドパスフィルタ４の出力信号とを加算回路６で加算して、この加算回路６からボーカル音声成分を除去した出力右チャンネル音声信号ＳＯＲを得る。
【０００８】
参考となる特許文献は、次の通りである。
【特許文献１】特開２０００−３５４２９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、上述のようなボーカル音源除去方法の場合には、ボーカル音声帯域では、モノーラル信号となり、ステレオ感が低減してしまうという欠点がある。また、ボーカル除去が十分には行われないという欠点があった。
【００１０】
この発明は、以上の点にかんがみ、複数の音源の音声信号が含まれている２系統の音声信号から、例えば上述のボーカルの音源などのような特定の音源の音声信号を良好に除去することができる音声信号処理装置および方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記の課題を解決するために、この発明による音声信号処理装置は、
２系統の音声信号のそれぞれを複数個の周波数帯域に分割する分割手段と、
前記分割手段からの前記分割された複数個の周波数帯域の各々における前記２系統の音声信号のレベル比またはレベル差を算出するレベル比較手段と、
前記レベル比較手段で算出された前記レベル比または前記レベル差が予め定めた値およびその近傍となる周波数帯域の成分を、前記分割手段からの前記２系統の音声信号の少なくとも一方から除去する出力制御手段と、
を備えることを特徴とする。
【００１２】
この発明においては、各音源の音声信号は、所定のレベル比あるいはレベル差で、２系統の音声信号に混合されていることを利用する。請求項１の発明においては、２系統の音声信号のそれぞれを、複数個の周波数帯域に分割する。そして、各周波数帯域ごとに２系統の音声信号のレベル比またはレベル差が算出され、そのレベル比またはレベル差が、予め定めた値およびその近傍となる周波数帯域の信号成分が、２系統の音声信号の少なくとも一方から除去される。
【００１３】
前記予め定めたレベル比あるいはレベル差が、特定の音源の音声信号が前記２系統の音声信号に混合されているレベル比あるいはレベル差に設定されていれば、当該特定の音源の音声信号を構成する周波数成分が少なくとも２系統の音声信号の少なくとも一方から除去される。つまり、特定の音源の音声信号が除去される。
【００１４】
請求項２の発明は、
２系統の入力音声時系列信号を、それぞれ周波数領域信号に変換する第１および第２の直交変換手段と、
前記第１の直交変換手段と前記第２の直交変換手段からの対応する周波数分割スペクトル同士のレベル比またはレベル差を比較する周波数分割スペクトル比較手段と、
前記周波数分割スペクトル比較手段における比較結果に基づいて、前記第１の直交変換手段と前記第２の直交変換手段の少なくとも一方から得られる周波数分割スペクトルのレベルを制御して、前記レベル比または前記レベル差が予め定めた値およびその近傍となる周波数成分を、前記２系統の音声信号の少なくとも一方から除去する周波数分割スペクトル制御手段と、
前記周波数分割スペクトル制御手段からの前記周波数領域信号を、時系列信号に戻す逆直交変換手段と、
を備えることを特徴とする。
【００１５】
この請求項２の発明においては、２系統の入力音声時系列信号は、それぞれ第１および第２の直交変換手段により周波数領域信号に変換されて、それぞれ複数個の周波数分割スペクトルからなる成分に変換される。
【００１６】
そして、請求項２では、第１の直交変換手段と第２の直交変換手段からの対応する周波数分割スペクトル同士のレベル比またはレベル差が比較され、その比較結果に基づいて、第１の直交変換手段と第２の直交変換手段の少なくとも一方から得られる周波数分割スペクトルのレベルを制御して、前記レベル比または前記レベル差が予め定めた値およびその近傍となる周波数成分を除去する。そして、除去後の周波数領域信号が時系列信号に戻される。
【００１７】
予め定めたレベル比あるいはレベル差が、特定の音源の音声信号が前記２系統の音声信号に混合されているレベル比あるいはレベル差に設定されていれば、当該特定の音源の音声信号を構成する周波数領域成分が少なくとも２系統の音声信号の少なくとも一方から除去される。つまり、特定の音源の音声信号が除去される。
【００１８】
請求項３の発明は、
２系統の入力音声時系列信号を、それぞれ周波数領域信号に変換する第１および第２の直交変換手段と、
前記第１の直交変換手段と前記第２の直交変換手段からの、対応する周波数分割スペクトル同士の位相差を算出する位相差算出手段と、
前記位相差算出手段で算出された前記位相差に基づいて、前記第１の直交変換手段と前記第２の直交変換手段の少なくとも一方の周波数分割スペクトルのレベルを制御して、前記位相差が予め定めた値およびその近傍となる周波数成分を、前記２系統の音声信号の少なくとも一方から除去する周波数分割スペクトル制御手段と、
前記周波数分割スペクトル制御手段からの前記周波数領域信号を、時系列信号に戻す逆直交変換手段と、
を備えることを特徴とする。
【００１９】
請求項３の発明においては、２系統の入力音声時系列信号は、それぞれ第１および第２の直交変換手段により周波数領域信号に変換されて、それぞれ複数個の周波数分割スペクトルからなる成分に変換される。
【００２０】
そして、請求項３では、第１の直交変換手段と第２の直交変換手段からの対応する周波数分割スペクトル同士の位相差が算出され、その算出結果に基づいて、第１の直交変換手段と第２の直交変換手段の少なくとも一方から得られる周波数分割スペクトルのレベルを制御して、前記位相差が予め定めた値およびその近傍となる周波数成分を除去する。そして、除去後の周波数領域信号が時系列信号に戻される。
【００２１】
予め定めた位相差が、特定の音源の音声信号が前記２系統の音声信号に混合されている位相差に設定されていれば、当該特定の音源の音声信号を構成する周波数領域成分が少なくとも２系統の音声信号の少なくとも一方から除去される。つまり、特定の音源の音声信号が除去される。
【発明の効果】
【００２２】
この発明によれば、２系統の音声信号に対して、所定のレベル比あるいはレベル差、または、所定の位相差をもって、混合された音源の音声信号は、前記２系統の音声信号の少なくとも一方から良好に除去される。
【発明を実施するための最良の形態】
【００２３】
以下、この発明による音声信号処理装置および方法の実施形態を、図を参照しながら説明する。
【００２４】
以下の説明においては、前述もした左チャンネル音声信号ＳＬと、右チャンネル音声信号ＳＲとからなるステレオ音声信号から、音源除去する場合について説明する。
【００２５】
例えば、左チャンネル音声信号ＳＬと、右チャンネル音声信号ＳＲとに、音源１〜５の音声信号Ｓ１〜Ｓ５が、次の（式１）および（式２）に示すような割合で、レベル差が付けられて振り分けられて混合されているものとする。
【００２６】
ＳＬ＝Ｓ１＋０．９Ｓ２＋０．７Ｓ３＋０．４Ｓ４ ・・・（式１）
ＳＲ＝Ｓ５＋０．４Ｓ２＋０．７Ｓ３＋０．９Ｓ４ ・・・（式２）
【００２７】
この（式１）および（式２）を比べると、各音源１〜５の音声信号Ｓ１〜Ｓ５は、上記のようにレベル差を持って、左チャンネル音声信号ＳＬと右チャンネル音声信号ＳＲとに分配されているので、この分配比率によって、音源を再度、左チャンネル音声信号ＳＬおよび／または右チャンネル音声信号ＳＲとから振り分けることができれば、元の音源は分離できるので、除去できる。
【００２８】
以下の実施形態においては、各音源が一般的には異なるスペクトラム成分を有していることを利用して、左右２チャンネルステレオ音声信号のそれぞれを十分な解像度を有するＦＦＴ処理により周波数領域に変換して、多数個の周波数分割スペクトル成分に分割する。そして、それぞれのチャンネルの音声信号についての、対応する各周波数分割スペクトル同士のレベル比またはレベル差を求め、（式１），（式２）において、分離したい音源の音声信号についての分配比に対応するレベル比またはレベル差となっている周波数分割スペクトルを検出して、当該検出した周波数分割スペクトル成分を分離することにより、他の音源からの影響の少ない音源分離を可能にしている。
【００２９】
図２は、この発明の第１の実施形態の音声信号処理装置を含むカラオケ装置の構成例を示す図である。この例のカラオケ装置においては、先ず、オーケストラをバックにして歌う歌手のボーカル音声信号が、左右２チャンネルに同レベルで混合されているステレオ音声信号から、第１の実施形態の音声信号処理装置において、前記歌手のボーカル音声信号を除去するようにする。そして、第１の実施形態の音声信号処理装置からのボーカル音声信号の除去されたバックのオーケストラの音楽信号のみからなる音声信号に、ユーザの歌声信号を混合してスピーカから出力するようにする。
【００３０】
すなわち、図２に示すように、左右２チャンネルの音声信号ＳＬおよびＳＲは、後で詳述する第１の実施形態の音声信号処理装置１０に供給されて、歌手のボーカル音声信号が除去される。この音声信号処理装置１０からのボーカル音声信号が除去された左右チャンネルの音声信号ＳＯＬ，ＳＯＲは、それぞれＤ／Ａ変換器１１Ｌ，１１Ｒに供給されて、アナログ音声信号に戻された後、ミキシング回路１２を構成する加算回路１２１，１２２にそれぞれ供給される。
【００３１】
一方、マイクロホン１３によりユーザの歌声音声が収音され、このマイクロホン１３からの歌声音声信号がアンプ１４を通じて加算回路１２１，１２２のそれぞれに供給され、この混合回路１２１，１２２において、Ｄ／Ａ変換器１１Ｌ，１１Ｒからのオーケストラの音楽信号と混合される。
【００３２】
そして、混合回路１２１，１２２からの混合出力音声信号は、それぞれアンプ１５Ｌ，１５Ｒを通じて、それぞれ左チャンネル用スピーカ１６Ｌ，右チャンネル用スピーカ１６Ｒに供給されて、音響出力される。なお、１７は、リスナである。
【００３３】
［第１の実施形態の音声信号処理装置の構成］
図１は、第１の実施形態の音声信号処理装置を示すブロック図である。２チャンネルステレオ信号のうちの右チャンネル音声信号ＳＲは、直交変換手段の例としてのＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ；高速フーリエ変換）部１０１に供給されて、信号ＳＲがアナログ信号の時にはデジタル信号に変換された後、ＦＦＴ処理（高速フーリエ変換）されて、時系列音声信号が周波数領域データに変換される。なお、信号ＳＲがデジタル信号であるときには、ＦＦＴ部１０１でのアナログ−デジタル変換は不要であることはいうまでもない。
【００３４】
一方、２チャンネルステレオ信号のうちの左チャンネル音声信号ＳＬは、直交変換手段の例としてのＦＦＴ部１０２に供給されて、信号ＳＬがアナログ信号のときにはデジタル信号に変換された後、ＦＦＴ処理（高速フーリエ変換）されて、時系列音声信号が周波数領域データに変換される。なお、信号ＳＬがデジタル信号であるときには、ＦＦＴ部１０２でのアナログ−デジタル変換は不要であることはいうまでもない。
【００３５】
この例のＦＦＴ部１０１および１０２は、同様の構成を備え、各時系列信号ＳＲ，ＳＬを、互いに異なる複数個の周波数の周波数分割スペクトル成分に分割する。ここで、周波数分割スペクトルとして得る周波数分割数は、音源の分離度の精度に応じた多数とされ、例えば５００以上、好ましくは４０００以上の周波数分割数とされる。この周波数分割数は、ＦＦＴ部におけるタップ数に相当する。
【００３６】
各ＦＦＴ部１０１およびＦＦＴ部１０２からの周波数分割スペクトル出力Ｆ１およびＦ２は、それぞれ周波数分割スペクトル比較処理部１０３と、周波数分割スペクトル制御処理部１０４とに供給される。
【００３７】
周波数分割スペクトル比較処理部１０３は、ＦＦＴ部１０１およびＦＦＴ部１０２からの周波数分割スペクトル成分Ｆ１，Ｆ２の、同じ周波数同士のレベル比を算出し、算出したレベル比を周波数分割スペクトル制御処理部１０４に出力する。
【００３８】
周波数分割スペクトル制御処理部１０４は、周波数分割スペクトル比較処理部１０３からのレベル比の情報を受けて、当該レベル比が所定のものとなっている周波数分割スペクトル成分のみを、ＦＦＴ部１０１およびＦＦＴ部１０２の出力から除去し、その除去結果出力ＦｅｘＲおよびＦｅｘＬを、それぞれ逆ＦＦＴ部１０５および１０６に出力する。
【００３９】
周波数分割スペクトル制御処理部１０４では、予め、使用者により、除去すべき音源に応じて、どのようなレベル比の周波数分割スペクトル成分を抽出するかが設定されている。したがって、周波数分割スペクトル制御処理部１０４からは、使用者が除去したいとして設定されたレベル比で左右２チャンネルに振り分けられている音源の音声信号の周波数分割スペクトル成分のみが抽出されることになる。
【００４０】
逆ＦＦＴ部１０５，１０６は、周波数分割スペクトル制御処理部１０４からの除去結果出力ＦｅｘＲ，ＦｅｘＬの周波数分割スペクトル成分を元の時系列信号に変換し、その変換出力信号を、使用者が除去したいとして設定した音源の音声信号が除去された出力ＳＯＲ，ＳＯＬとして出力する。
【００４１】
［第１の実施形態における周波数分割スペクトル比較処理部１０３の構成］
周波数分割スペクトル比較処理部１０３は、この例では、機能的には、図１において、破線で囲まれた範囲に示すような構成を備える。すなわち、周波数分割スペクトル比較処理部１０３は、レベル検出部２１，２２と、レベル比算出部２３，２４と、セレクタ２５とからなる。
【００４２】
レベル検出部２１は、ＦＦＴ部１０１からの周波数分割スペクトル成分Ｆ１のそれぞれの周波数成分のレベルを検出し、その検出出力Ｄ１を出力する。また、レベル検出部２２は、ＦＦＴ部１０２からの周波数分割スペクトル成分Ｆ２のそれぞれの周波数成分のレベルを検出し、その検出出力Ｄ２を出力する。この例では、各周波数分割スペクトルのレベルは、振幅スペクトルを検出する。なお、各周波数分割スペクトルのレベルとして、パワースペクトルを検出するようにしてもよい。
【００４３】
そして、レベル比算出部２３は、レベル比Ｄ１／Ｄ２を算出する。また、レベル比算出部２４は、その逆数のレベル比Ｄ２／Ｄ１を算出する。レベル比算出部２３およびレベル比算出部２４で算出されたレベル比は、セレクタ２５に供給され、このセレクタ２５からは、レベル比Ｄ１／Ｄ２とレベル比Ｄ２／Ｄ１の一方のレベル比が、出力レベル比ｒとして取り出される。
【００４４】
セレクタ２５には、除去すべきものとして使用者により設定された音源およびそのレベル比に応じて、レベル比算出部２３の出力と、レベル比算出部２４の出力のいずれを選択すべきかを選択制御するための選択制御信号ＳＥＬが供給される。このセレクタ２５から得られる出力レベル比ｒは、周波数分割スペクトル制御処理部１０４に供給される。
【００４５】
この例においては、周波数分割スペクトル制御処理部１０４において、除去すべき音源のレベル比として用いられる値は、常に、レベル比≦１とされている。つまり、周波数分割スペクトル制御処理部１０４に入力されるレベル比ｒは、レベルの小さい方の周波数分割スペクトルのレベルを、レベルが大きい方の周波数分割スペクトルのレベルで割ったものとされている。
【００４６】
このため、周波数分割スペクトル制御処理部１０４では、右チャンネルの音声信号ＳＲの方に、より多く含まれるように分配されている音源の信号を除去する場合には、レベル比算出部２３からのレベル比算出出力が使用され、逆に、左チャンネルの音声信号ＳＬの方に、より多く含まれるように分配されている音源の信号を除去する場合には、レベル比算出部２４からのレベル比算出出力が使用される。
【００４７】
例えば、使用者が、除去すべき音源のレベル比として、左チャンネルおよび右チャンネルの信号の分配率の値ＰＬ，ＰＲ（ＰＬ，ＰＲは１以下の値）をそれぞれ設定入力するように定められているものとしたとき、設定された分配率の値ＰＬ，ＰＲが、ＰＬ／ＰＲ≦１であるときには、選択制御信号ＳＥＬは、セレクタ２５からレベル比算出部２３の出力（Ｄ２／Ｄ１）を、出力レベル比ｒとして選択する選択制御信号とされ、設定された分配率の値ＰＬ，ＰＲが、ＰＬ／ＰＲ＞１であるときには、選択制御信号ＳＥＬは、セレクタ２５からレベル比算出部２４の出力（Ｄ１／Ｄ２）を、出力レベル比ｒとして選択する選択制御信号とされる。
【００４８】
なお、使用者により設定された分配率の値ＰＲ，ＰＬが互いに等しい（レベル比ｒ＝１）ときには、セレクタ２５では、レベル比算出部２３の出力とレベル比算出部２４の出力とのいずれを選択してもよい。
【００４９】
［第１の実施形態における周波数分割スペクトル制御処理部１０４の構成］
周波数分割スペクトル制御処理部１０４は、この例では、機能的には、図１において、破線で囲んで示すような構成を備える。すなわち、周波数分割スペクトル制御処理部１０４は、乗算係数発生部としての除去係数発生部３１と、右チャンネル用の乗算部３２Ｒおよび左チャンネル用の乗算部３２Ｌとからなる。
【００５０】
乗算部３２Ｒには、ＦＦＴ部１０１からの周波数分割スペクトル成分Ｆ１が供給されると共に、除去係数発生部３１からの除去係数（乗算係数）ｗが供給され、両者の乗算結果が、周波数分割スペクトル制御処理部１０４の右チャンネル用スペクトル出力ＦｅｘＲとされる。
【００５１】
また、乗算部３２には、ＦＦＴ部１０２からの周波数分割スペクトル成分Ｆ２が供給されると共に、除去係数発生部３１Ｌからの除去係数ｗが供給され、両者の乗算結果が、周波数分割スペクトル制御処理部１０４の左チャンネル用スペクトル出力ＦｅｘＲとされる。
【００５２】
乗算係数発生部３１は、周波数分割スペクトル比較処理部１０３のセレクタ２５からの出力レベル比ｒを受けて、当該レベル比ｒに応じた除去係数ｗを発生する。この除去係数発生部３１は、例えば、レベル比ｒを変数とした乗算係数ｗに関する関数発生回路により構成される。除去係数発生部３１に使用する関数として、どのような関数が選ばれるかは、除去すべき音源に応じて使用者により設定された分配率の値ＰＬ，ＰＲによる。
【００５３】
除去係数発生部３１に供給されるレベル比ｒは、周波数分割スペクトルの各周波数成分単位で変化するものであるので、除去係数発生部３１からの除去係数ｗも、周波数分割スペクトルの各周波数成分単位で変化することになる。
【００５４】
したがって、乗算部３２Ｒでは、ＦＦＴ部１０１からの各周波数分割スペクトルのレベルが、除去係数ｗにより制御され、また、乗算部３２Ｌでは、ＦＦＴ部１０２からの各周波数分割スペクトルのレベルが、乗算係数ｗにより制御される。
【００５５】
図３に、乗算係数発生部３１Ｒおよび３１Ｌとしての関数発生回路に用いられる関数の例を示す。この例においては、前記（式１）および（式２）で示された左右２チャンネルの音声信号ＳＬおよびＳＲから、左右チャンネルの音像間の中央に定位するボーカル音声の音源の音声信号Ｓ３を除去するようにするので、除去係数発生部３１としては、図３（ａ）または図３（ｂ）に示されるような特性の関数発生回路が用いられる。
【００５６】
図３（ａ）および図３（ｂ）の関数の特性は、左右チャンネルのレベル比ｒが１、あるいは１に近い場合、つまり、左右チャンネルが同レベルあるいは同レベルに近い周波数分割スペクトル成分では、除去係数ｗは０あるいは０近傍となり、その他のレベル比ｒの領域では、乗算係数ｗは１となっている。
【００５７】
ただし、図３（ａ）の関数の特性の場合には、左右チャンネルのレベル比ｒが約０．６以下の領域（ｒ＜０．６）では、除去係数ｗは１となり、約０．６以上、約０．８以下の領域（０．６＜ｒ＜０．８）では、除去係数は、０と１との間で線形に変化するものとなる。また、図３（ｂ）の関数の特性の場合には、左右チャンネルのレベル比ｒが、約０．８を境にして、約０．８以下の領域（ｒ＜０．８）では、除去係数ｗは１となり、約０．８以上の領域（０．８≦ｒ）では、除去係数ｗは、０となっている。
【００５８】
したがって、セレクタ２５からのレベル比ｒが１、または１近傍となっている周波数分割スペクトル成分に対する乗算係数ｗは０、あるいは０に近い値となるので、乗算部３２Ｒおよび３２Ｌからは、当該周波数分割スペクトル成分は、出力されなくなる。
【００５９】
一方、セレクタ２５からのレベル比ｒが、約０．６以下の値となっている周波数分割スペクトル成分に対する乗算係数ｗは１となるので、乗算部３２Ｒおよび３２Ｌからは、当該周波数分割スペクトル成分は、そのままのレベルで出力される。
【００６０】
すなわち、乗算部３２Ｒおよび３２Ｌからは、多数個の周波数分割スペクトル成分のうち、左右同レベルおよびその近傍となっている周波数分割スペクトル成分（ボーカルの周波数分割スペクトル成分）は、除去されて出力されなくなり、左右チャンネルでレベル差がある周波数分割スペクトル成分は、ほぼそのままのレベルで出力される。
【００６１】
この結果、左右２チャンネルの音声信号ＳＬ，ＳＲに同レベルで分配された音源の音声信号Ｓ３の周波数分割スペクトル成分が除去された周波数分割スペクトル成分が、周波数分割スペクトル制御処理部１０４の出力ＦｅｘＲ、ＦｅｘＬとして、乗算部３２Ｒおよび３２Ｌから逆ＦＦＴ部１０５，１０６に出力される。
【００６２】
そして、この逆ＦＦＴ部１０５，１０６で、周波数領域の周波数分割スペクトル成分が時間領域のデジタルオーディオ信号に変換され、出力信号ＳＯＲ，ＳＯＬとして出力される。
【００６３】
以上のようにして、この実施形態の音声信号処理装置１０においては、左右２チャンネルに同レベルで分配された歌手のボーカル音声が除去された左右２チャンネルステレオ信号ＳＯＲ，ＳＯＬが得られる。
【００６４】
この場合に、この実施形態の音声信号処理装置１０によれば、左右２チャンネルの信号ＳＬ，ＳＲのそれぞれから、ボーカル音声の成分を除去するようにするので、従来のようにステレオ感を損なうことはない。また、除去目的の音源としてのボーカルの除去を十分に行なうことができる。
【００６５】
上述の第１の実施形態の説明は、カラオケ装置にこの発明の音声信号処理装置を適用した場合であるので、除去係数発生部３１は、左右チャンネルに同レベルで分配された音源の音声成分を除去する除去係数を発生するようにしたが、この除去係数発生部３１に設定する関数発生回路を、変更することにより、左右２チャンネルに任意のレベル比あるいはレベル差で分配した音源の音声成分を除去するようにすることができる。
【００６６】
例えば、前記（式１）および（式２）で示された左右２チャンネルの音声信号ＳＬおよびＳＲから、左右チャンネルに所定のレベル差を持って配分されている音源の音声信号Ｓ２またはＳ４を分離する場合には、除去係数発生部３１としては、図３（ｃ）に示されるような特性の関数発生回路が用いられる。
【００６７】
すなわち、音声信号Ｓ２は、Ｄ１／Ｄ２（＝ＳＲ／ＳＬ）＝０．４／０．９＝０．４４のレベル比で、左右チャンネルに分配されている。また、音声信号Ｓ４は、Ｄ２／Ｄ１（＝ＳＬ／ＳＲ）＝０．４／０．９＝０．４４のレベル比で、左右チャンネルに分配されている。
【００６８】
この場合において、この実施形態においては、音声信号Ｓ２を分離する場合には、使用者は、除去する音源に対する左右分配率ＰＬ：ＰＲ＝０．９：０．４を設定入力する。あるいは、ＰＬ＝０．９、ＰＲ＝０．４のように設定入力する。このように使用者が設定すると、ＰＲ／ＰＬ＜１であるので、セレクタ２５には、レベル比算出部２４からのレベル比を選択するように制御する選択制御信号ＳＥＬが与えられる。
【００６９】
一方、音声信号Ｓ４を分離する場合には、使用者は、分離する音源に対する左右分配率ＰＬ：ＰＲ＝０．４：０．９を設定入力する。あるいは、ＰＬ＝０．４、ＰＲ＝０．９のように設定入力する。このように使用者が設定すると、ＰＲ／ＰＬ＞１であるので、セレクタ２５には、レベル比算出部２３からのレベル比を選択するように制御する選択制御信号ＳＥＬが与えられる。
【００７０】
図３（ｃ）の関数の特性は、左右チャンネルのレベル比ｒが、Ｄ１／Ｄ２（＝ＰＲ／ＰＬ）＝０．４／０．９＝０．４４、あるいはレベル比ｒが０．４４に近い周波数分割スペクトル成分では、除去係数ｗは０あるいは０近傍となり、左右チャンネルのレベル比ｒが約０．４４近傍以外の領域では、除去係数ｗは１となっている。
【００７１】
したがって、セレクタ２５からのレベル比ｒが０．４４、または０．４４近傍となっている周波数分割スペクトル成分に対する乗算係数ｗは０、あるいは０に近い値となるので、乗算部３２Ｒおよび３２Ｌからは、当該周波数分割スペクトル成分が、出力レベルが０とされて、出力されなくなる。一方、セレクタ２５からのレベル比ｒが、約０．４４近傍以下の値および約０．４４近傍以上の値となっている周波数分割スペクトル成分に対する除去係数ｗは１となるので、乗算部３２Ｒおよび３２Ｌからは、当該周波数分割スペクトル成分は、出力レベルが１とされて、ほぼそのままのレベルで出力される。
【００７２】
すなわち、乗算部３２Ｒおよび３２Ｌからは、多数個の周波数分割スペクトル成分のうち、左右チャンネルのレベル比が０．４４またはその近傍となっている周波数分割スペクトル成分は、出力レベルが０とされて出力されなくなり、左右チャンネルのレベル比ｒが、約０．４４近傍以下の値および約０．４４近傍以上の値となっている周波数分割スペクトル成分は、ほぼそのままのレベルで出力される。
【００７３】
この結果、左右２チャンネルの音声信号ＳＬ，ＳＲに、レベル比が０．４４で分配された音源の音声信号Ｓ２またはＳ４の周波数分割スペクトル成分が、除去された出力信号が得られることになる。
【００７４】
以上のようにして、この実施形態によれば、左右２チャンネルに、所定の分配比率で分配された音源の音声信号を、その分配比率に基づいて、当該２チャンネルの音声信号から除去することができる。
【００７５】
なお、上述の実施形態では、除去したい音源の音声信号は、２チャンネルの音声信号の両方から抽出するようにしたが、必ずしも両チャンネルから除去する必要はなく、一方のチャンネルのみから除去するようにしてもよい。
【００７６】
また、上述の実施形態では、２系統の音声信号に対して分配された音源の信号のレベル比に基づいて、当該２系統の音声信号から前記音源の信号を除去するようにしたが、前記音源の信号の、２系統の音声信号に対するレベル差に基づいて、当該音源の信号を当該２系統の音声信号の少なくとも一方から除去するようにすることもできる。
【００７７】
なお、以上の説明では、各音源が（式１）、（式２）に従って左右チャンネルに分配された左右２チャンネルステレオ信号を例にして説明したが、意図的に分配されない通常のステレオ音楽信号においても、図３に示したものと同様に、除去したい音源のレベル比やレベル差に応じた除去関数を用いることにより、対応する音源を除去することができる。
【００７８】
なお、除去対象の音源が同じであっても、例えば、除去関数の特性を変更することにより、除去するレベル比範囲を変える、広くする、狭くするなど、異なる音源選択性を持たせることもできる。例えば、図３（ｄ）の除去関数は、図３（ｃ）に示した前述例の除去関数において、除去するレベル比範囲を変える場合の例を示したものである。
【００７９】
また、音源のスペクトラム構成に関しても、多くのステレオ音楽信号は異なるスペクトラムを持つ音源から構成されるが、それらの音源についても、上述と同様にして除去することが可能となる。
【００８０】
また、スペクトラム重複部が多い音源同士に関しても、ＦＦＴ部１０１，１２における周波数分解能を上げることにより、例えば４０００タップ以上のＦＦＴ回路を用いることにより、音源除去品質を更に向上させることができる。
【００８１】
［音声信号処理装置の第２の実施形態］
この第２の実施形態では、ＦＦＴ部１０１および１０２からの周波数分割スペクトル成分Ｆ１およびＦ２から除去したい音源の音声成分を抽出し、当該抽出した音源の音声成分を、前記ＦＦＴ部１０１および１０２からの周波数分割スペクトル成分Ｆ１およびＦ２から減算することにより、目的とする音源の音声成分を除去するようにする。
【００８２】
図４は、この第２の実施形態の音声信号処理装置の構成例を示すブロック図である。この第２の実施形態においては、除去係数発生部３１に代えて乗算係数発生部３３を用いると共に、乗算部３２Ｒおよび３２Ｌと、逆ＦＦＴ部１０５および１０６との間に、減算部１０７および１０８を設ける。
【００８３】
そして、乗算部３２Ｒおよび３２Ｌの出力ＦｅｘＲが減算部１０７および１０８に供給されると共に、減算部１０７および１０８にはＦＦＴ部１０１の出力Ｆ１およびＦＦＴ部１０２の出力Ｆ２が供給される。減算部１０７では、出力Ｆ１から乗算部３２Ｒの出力ＦｅｘＲが減算され、その減算出力が逆ＦＦＴ部１０５に供給される。また、減算部１０８では、出力Ｆ２から乗算部３２Ｌの出力ＦｅｘＬが減算され、その減算出力が逆ＦＦＴ部１０６に供給される。
【００８４】
セレクタ２５からのレベル比ｒは、乗算係数発生部３３に供給され、乗算係数発生部３３からの乗算係数ｗが乗算部３２Ｒおよび３２Ｌに供給される。乗算係数発生部３３は、除去係数ではなく、除去したい音源の成分を抽出するための乗算係数ｗを発生する。
【００８５】
図５は、この乗算係数発生部３３に設定する関数発生回路の関数の特性を示すもので、例えば、除去対象が、前述した音源ＭＳ３の音声信号Ｓ３である場合には、乗算係数発生部３３には、図５（ａ）あるいは図５（ｂ）のような特性の関数発生回路が設定される。
【００８６】
図５（ａ）あるいは図５（ｂ）の関数の特性は、左右チャンネルのレベル比ｒが１、あるいは１に近い場合、つまり、左右チャンネルが同レベルあるいは同レベルに近い周波数分割スペクトル成分では、乗算係数ｗは１あるいは１近傍となり、左右チャンネルのレベル比ｒが１あるいはその近傍以外の領域では、乗算係数ｗは０となっている。
【００８７】
したがって、セレクタ２５からのレベル比ｒが１、または１近傍となっている周波数分割スペクトル成分に対する乗算係数ｗは１、あるいは１に近い値となるので、乗算部３３および３４からは、当該周波数分割スペクトル成分は、ほぼそのままのレベルで出力される。一方、セレクタ２５からのレベル比ｒが、１あるいはその近傍以外の値となっている周波数分割スペクトル成分に対する乗算係数ｗは０となるので、乗算部３２Ｒおよび３２Ｌからは、当該周波数分割スペクトル成分は、出力レベルが０とされて、出力されなくなる。
【００８８】
すなわち、乗算部３２Ｒおよび３２Ｌからは、多数個の周波数分割スペクトル成分のうち、左右同レベルおよびその近傍となっている周波数分割スペクトル成分は、ほぼそのままのレベルで出力され、左右チャンネルのレベル差が大きい周波数分割スペクトル成分は、出力レベルが０とされて出力されなくなる。この結果、左右２チャンネルの音声信号ＳＬ，ＳＲに同レベルで分配された音源ＭＳ３の音声信号Ｓ３の周波数分割スペクトル成分のみが乗算部３２Ｒ、３２Ｌから得られることになる。
【００８９】
したがって、減算部１０７では、音源ＭＳ３の音声信号Ｓ３の成分が、出力Ｆ１から減算されて除去された出力が得られ、逆ＦＴＴ部１０５に供給される。また、減算部１０８では、音源ＭＳ３の音声信号Ｓ３の成分が、出力Ｆ２から減算されて除去された出力が得られ、逆ＦＴＴ部１０６に供給される。
【００９０】
以上のようにして、この第２の実施形態においても、使用者が希望する音源の成分が、２チャンネルの音声信号ＳＲ、ＳＬのそれぞれから独立に除去されて得られる。
【００９１】
［音声信号処理装置の第３の実施形態］
上述の第１の実施形態の音声信号処理装置は、左右２チャンネルの音声信号ＳＬ，ＳＲから、同一の音源の音声成分を除去するようにした場合であるが、２チャンネルの音声信号ＳＬおよびＳＲにおいて、それぞれ各チャンネル独立に、別々の音源の音声成分を除去するようにすることもできる。第２の実施形態の音声信号処理装置は、その場合の例である。
【００９２】
図６は、この第２の実施形態の音声信号処理装置の構成例を示すブロック図である。この図６の例において、前述した図１の第１の実施形態の各部と対応する部分には、同一符号を付してある。
【００９３】
［第３の実施形態における周波数分割スペクトル制御処理部１０４の構成］
この第３の実施形態における周波数分割スペクトル比較処理部１０３は、レベル検出部２１，２２、レベル比算出部２３，２４、セレクタ２５に加えて、セレクタ２６が設けられる。そして、この第３の実施形態の場合には、セレクタ２５は、右チャンネルにおいて、除去する音源に対応するレベル比ｒＲを出力するものとされ、また、セレクタ２６は、右チャンネルにおいて、除去する音源に対応するレベル比ｒＲを出力するものとされる。
【００９４】
すなわち、レベル比算出部２３およびレベル比算出部２４で算出されたレベル比は、セレクタ２５，２６に供給され、このセレクタ２５，２６からは、レベル比Ｄ１／Ｄ２とレベル比Ｄ２／Ｄ１の一方のレベル比が、出力レベル比ｒＲ，ｒＬとして取り出される。
【００９５】
この例の音声信号処理装置１０は、左チャンネルの音声信号から除去する音源と、右チャンネルの音声信号から除去する音源とを別々に設定できるようにするために、２個のセレクタ２５，２６を設けて、右チャンネル用と、左チャンネル用の出力レベル比ｒＲ，ｒＬを得るようにしている。
【００９６】
セレクタ２５，２６には、除去すべきものとして使用者により、左、右の各チャンネル毎に設定された音源およびそのレベル比に応じて、レベル比算出部２３の出力と、レベル比算出部２４の出力のいずれを選択すべきかを選択制御するための選択制御信号ＳＥＬＲ，ＳＥＬＬが供給される。このセレクタ２５，２６から得られる出力レベル比ｒＲ，ｒＬは、周波数分割スペクトル制御処理部１０４に供給される。
【００９７】
例えば、使用者が、除去すべき音源のレベル比として、左チャンネルおよび右チャンネルの信号の分配率の値ＰＬ，ＰＲ（ＰＬ，ＰＲは１以下の値）をそれぞれ設定入力するように定められているものとしたとき、設定された分配率の値ＰＬ，ＰＲが、ＰＬ／ＰＲ≦１であるときには、選択制御信号ＳＥＬＲ，ＳＥＬＬは、セレクタ２５，２６からレベル比算出部２３の出力（Ｄ２／Ｄ１）を、出力レベル比ｒＲ，ｒＬとして選択する選択制御信号とされ、設定された分配率の値ＰＬ，ＰＲが、ＰＬ／ＰＲ＞１であるときには、選択制御信号ＳＥＬＲ，ＳＥＬＬは、セレクタ２５，２６からレベル比算出部２４の出力（Ｄ１／Ｄ２）を、出力レベル比ｒＲ，ｒＬとして選択する選択制御信号とされる。
【００９８】
なお、使用者により設定された分配率の値ＰＲ，ＰＬが互いに等しい（レベル比ｒＲ，ｒＬ＝１）ときには、セレクタ２５，２６では、レベル比算出部２３の出力とレベル比算出部２４の出力とのいずれを選択してもよい。
【００９９】
［第３の実施形態における周波数分割スペクトル制御処理部１０４の構成］
周波数分割スペクトル制御処理部１０４は、この例では、右チャンネル用の除去係数発生部３１Ｒおよび乗算部３２Ｒと、左チャンネル用の除去係数発生部３１Ｌおよび乗算部３２Ｌとからなる。
【０１００】
乗算部３２Ｒには、ＦＦＴ部１０１からの周波数分割スペクトル成分Ｆ１が供給されると共に、除去係数発生部３１Ｒからの除去係数ｗＲが供給され、両者の乗算結果が、周波数分割スペクトル制御処理部１０４の右チャンネル用スペクトル出力ＦｅｘＲとされる。
【０１０１】
また、乗算部３２Ｌには、ＦＦＴ部１０２からの周波数分割スペクトル成分Ｆ２が供給されると共に、除去係数発生部３１Ｌからの除去係数ｗＬが供給され、両者の乗算結果が、周波数分割スペクトル制御処理部１０４の左チャンネル用スペクトル出力ＦｅｘＲとされる。
【０１０２】
除去係数発生部３１Ｒは、周波数分割スペクトル比較処理部１０３のセレクタ２５からの出力レベル比ｒＲを受けて、当該レベル比ｒＲに応じた除去係数ｗＲを発生する。また、除去係数発生部３１Ｌは、周波数分割スペクトル比較処理部１０３のセレクタ２６からの出力レベル比ｒＬを受けて、当該レベル比ｒＬに応じた除去係数ｗＬを発生する。
【０１０３】
除去係数発生部３１Ｒおよび３１Ｌは、例えば、レベル比ｒＲまたはｒＬを変数とした除去係数ｗＲまたはｗＬに関する関数発生回路により構成される。除去係数発生部３１Ｒおよび３１Ｌに使用する関数として、どのような関数が選ばれるかは、分離すべき音源に応じて使用者により設定された分配率の値ＰＬ，ＰＲによる。
【０１０４】
除去係数発生部３１Ｒおよび３１Ｌに供給されるレベル比ｒＲおよびｒＬは、周波数分割スペクトルの各周波数成分単位で変化するものであるので、除去係数発生部３１Ｒおよび３１Ｌからの除去係数ｗＲおよびｗＬも、周波数分割スペクトルの各周波数成分単位で変化することになる。
【０１０５】
したがって、乗算部３２Ｒでは、ＦＦＴ部１０１からの各周波数分割スペクトルのレベルが、除去係数ｗＲにより制御され、また、乗算部３２Ｌでは、ＦＦＴ部１０２からの各周波数分割スペクトルのレベルが、除去係数ｗＬにより制御される。
【０１０６】
例えば、セレクタ２５からはレベル比算出部２３からのレベル比をレベル比出力ｒＲとして選択し、除去係数発生部３１Ｒに図３（ａ）に示したような特性の関数発生回路を設定したときには、乗算部３２Ｒからは、ボーカル成分である音声信号Ｓ３が除去された右チャンネル音声信号成分が得られる。
【０１０７】
そして、このとき、例えば、セレクタ２６からはレベル比算出部２４からのレベル比をレベル比出力ｒＬとして選択し、除去係数発生部３１Ｌに図３（ｃ）に示したような特性の関数発生回路を設定したときには、乗算部３２Ｒからは、音声信号Ｓ４が除去された左チャンネル音声信号成分が得られる。
【０１０８】
もちろん、セレクタ２５，２６から同じレベル比算出部からのレベル比をレベル比出力ｒＲ，ｒＬとして得ると共に、除去係数発生部３１Ｒ、３１Ｌに同じ特性の関数発生回路を設定するようにすることもでき、その場合には、図１の場合と全く同様の作用効果を奏するものとなる。
【０１０９】
以上のようにして、この第２の実施形態の音声信号処理装置１０においては、左右２チャンネルの、それぞれのチャンネルの音声信号ＳＲ、ＳＬから、独立に設定した音源の音声信号を除去することができる。
【０１１０】
この第３の実施形態においても、第１の実施形態に対する第２の実施形態の関係のように、除去係数発生部３１Ｒ、３１Ｌに代えて、除去目的の音源の音声成分を抽出するための乗算係数を発生する乗算係数発生部を用いると共に、乗算部３２Ｒおよび３２Ｌと、逆ＦＦＴ部１０５および１０６との間に、減算部を設け、周波数分割スペクトル制御処理部１０４で抽出した音源の音声成分を、各チャンネル毎に、出力Ｆ１，Ｆ２から減算するようにすることにより、上述した第３の実施形態と同様にして、目的とする音源の音声成分を各チャンネルの音声信号ＳＲ、ＳＬから除去することができる。
【０１１１】
［音声信号処理装置の第４の実施形態］
この第４の実施形態は、２チャンネルの音声信号から使用者が除去したい音源を動的に変更することができるようにした場合である。
【０１１２】
すなわち、この第４の実施形態は、第３の実施形態に適用した場合で、２チャンネルの音声信号ＳＬ，ＳＲのそれぞれから別々の音源（同じ音源でもよい）の音声信号を除去するようにする場合において、それぞれ除去する音源を使用者が動的に選択変更できるようにした場合である。
【０１１３】
図７は、この第４の実施形態の構成例を示すブロック図である。この第４の実施形態においては、周波数分割スペクトル制御処理部１０４は、右チャンネル用の除去係数発生部として、複数個の除去係数発生部３１Ｒ１，３１Ｒ２，・・・，３１Ｒｎを設けると共に、それら複数個の除去係数発生部３１Ｒ１，３１Ｒ２，・・・，３１Ｒｎのいずれか一つからの除去係数を選択して、当該選択した除去係数を、除去係数ｗＲとして乗算部３２Ｒに供給するスイッチ回路３４Ｒを備える。
【０１１４】
また、同様にして、周波数分割スペクトル制御処理部１０４は、左チャンネル用の除去係数発生部として、複数個の除去係数発生部３１Ｌ１，３１Ｌ２，・・・，３１Ｌｎを設けると共に、それら複数個の除去係数発生部３１Ｌ１，３１Ｌ２，・・・，３１Ｌｎのいずれか一つからの除去係数を選択して、当該選択した除去係数を、除去係数ｗＬとして乗算部３２Ｌに供給するスイッチ回路３４Ｌを備える。
【０１１５】
複数個の除去係数発生部３１Ｌ１，３１Ｌ２，・・・，３１Ｌｎおよび３１Ｒ１，３１Ｒ２，・・・，３１Ｒｎのそれぞれには、例えば、左右チャンネルのレベル比が種々の値となる音源を分離するために用いるレベル比対除去係数の関数が、設定される。
【０１１６】
また、周波数分割スペクトル比較処理部１３には、レベル比算出部２３，２４のレベル比算出出力を受けて、いずれか一方のレベル比算出出力を、除去係数発生部３１Ｌ１，３１Ｌ２，・・・，３１Ｌｎ，３１Ｒ１，３１Ｒ２，・・・，３１Ｒｎのそれぞれに供給する選択分配回路２７が設けられる。
【０１１７】
そして、この第３の実施形態においては、除去音源選択信号発生部１０９が設けられる。この除去音源選択信号発生部１０９は、後述するように、選択操作手段を通じた、使用者による、除去する音源の選択操作に応じた信号Ｍａを受けて、選択分配回路２７に供給する選択信号ＳＥＬＴを発生すると共に、スイッチ回路３４Ｌをスイッチ制御する信号ＳＷＬおよびスイッチ回路３４Ｒをスイッチ制御する信号ＳＷＲを発生する。
【０１１８】
図示は省略するが、この例の音声信号処理装置は、例えば選択操作つまみやボタン、タッチパネル付きＬＣＤなどの表示部を通じたグラフィカル・ユーザ・インターフェースを通じて、使用者からの除去する音源の選択操作を受け付けるようにする。このとき、選択操作対象となるのは、除去係数発生部３１Ｌ１，３１Ｌ２，・・・，３１Ｌｎ，３１Ｒ１，３１Ｒ２，・・・，３１Ｒｎに設定された関数により分離可能な複数個の音源である。
【０１１９】
例えば、除去可能な複数の音源としては、左チャンネルの音像定位位置から右チャンネルの音像定位位置の間において、音像定位位置を徐々に変更するようなものとすることができる。
【０１２０】
この場合において、使用者は、左チャンネルおよび右チャンネルのそれぞれについて、独立に除去する音源を指定することができるようにされている。
【０１２１】
例えば、左チャンネルの除去係数発生部３１Ｌ１からの除去係数によって左チャンネルの音声信号ＳＬから分離可能な音源が、使用者によって、前記選択操作つまみやボタン、あるいはグラフィカル・ユーザ・インターフェースを通じて選択されたときには、その選択操作に応じた信号Ｍａを受けた除去音源選択信号発生部１０９は、当該信号Ｍａに対応したスイッチ制御信号ＳＷＬおよび選択信号ＳＥＬＴを発生する。
【０１２２】
そして、このとき、スイッチ回路３４Ｌは、除去音源選択信号発生部１０９からのスイッチ制御信号ＳＷＬにより、除去係数発生部３１Ｌ１を選択する状態に切り換えられ、また、選択分配回路２７は、選択信号ＳＥＬＴにより、レベル比算出部２３，２４の一方（レベル比が１以下になる方）が選択されて、除去係数発生部３１Ｌ１に供給される。
【０１２３】
これにより、乗算部３２Ｌからは、選択指定された通りの音源の周波数分割スペクトル成分が除去された出力ＦｅｘＬが得られ、これが逆ＦＦＴ部１０６により、元の時系列の音声信号に戻されて出力ＳＯＬとして出力される。
【０１２４】
右チャンネルにおいても、同様にして、使用者により選択設定された、除去したい音源の音声信号が除去される。
【０１２５】
なお、図７の第３の実施形態は、２チャンネルの音声信号のそれぞれから、所定の音源の音声信号をそれぞれ分離抽出する場合（第２の実施形態に適用した場合）であるが、第３の実施形態は、第１の実施形態や後述する実施形態にも適用可能であることは言うまでもない。
【０１２６】
すなわち、例えば第１の実施形態に適用する場合には、図１において、除去係数発生部３１の代わりに複数個の除去係数発生部を設けると共に、それらの複数個の除去係数発生部と、音源分離部３２との間に、複数個の除去係数発生部の１つからの除去係数を音源分離部３２に供給するようにするスイッチ回路を設ける。さらに、使用者の選択操作信号Ｍａを受け付け、スイッチ回路をスイッチ制御すると共に、除去係数発生部にレベル比算出部２３，２４の出力のうちの適切な方のレベルを供給するように制御する信号を発生する分離音源選択信号発生部を設けるようにする。
【０１２７】
この第４の実施形態においても、第１の実施形態に対する第２の実施形態の関係のように、除去係数発生部３１Ｒ、３１Ｌに代えて、除去目的の音源の音声成分を抽出するための乗算係数を発生する乗算係数発生部を用いると共に、乗算部３２Ｒおよび３２Ｌと、逆ＦＦＴ部１０５および１０６との間に、減算部を設け、周波数分割スペクトル制御処理部１０４で抽出した音源の音声成分を、各チャンネル毎に、出力Ｆ１，Ｆ２から減算するようにすることにより、上述した第４の実施形態と同様にして、目的とする音源の音声成分を各チャンネルの音声信号ＳＲ、ＳＬから除去することができる。
【０１２８】
［音声信号処理装置の第５の実施形態］
上述の実施形態の場合、左右２チャンネルの音声信号に対して、同じレベル比あるいはレベル差で、分配されて混合されている音源の音声信号が複数個存在している場合、それらは共に除去されてしまう。第５の実施形態は、このようにレベル比あるいはレベル差だけでは除去できない複数個の音源が存在する場合に、できるだけ、特定の音源の音声成分のみを除去できるように改善する第１の例である。
【０１２９】
この第５の実施形態は、レベル比あるいはレベル差だけでは除去できない複数個の音源のそれぞれの主たる周波数帯域が異なる場合、当該周波数帯域の違いを考慮して、上記の目的を達成したものである。
【０１３０】
図８は、この第５の実施形態の構成例を示すブロック図で、前述の実施形態の各部と対応する部分には同一符号を付してある。この第５の実施形態においては、ＦＦＴ部１０１およびＦＦＴ部１０２の出力側に、除去したい音源の音声成分が主として含まれる周波数帯域の信号成分を抽出する帯域通過フィルタ１１０および１１１を設けると共に、除去したい音源の音声成分が主として含まれる周波数以外の帯域の信号成分を抽出する低域高域通過フィルタ１１２および１１３を設ける。
【０１３１】
また、周波数分割スペクトル制御処理部１０４の乗算部３２Ｒおよび３２Ｌと逆ＦＦＴ部１０５および１０６との間に、それぞれ、加算部１１４および１１５を設ける。
【０１３２】
そして、ＦＦＴ部１０１の出力である周波数分割スペクトル出力Ｆ１は、帯域通過フィルタ１１０および低域高域通過フィルタ１１２に供給される。そして、帯域通過フィルタ１１０から得られる、除去したい音源の音声成分が主として含まれる周波数帯域の信号成分は周波数分割スペクトル比較処理部１０３のレベル検出部２１に供給されると共に、周波数分割スペクトル制御処理部１０４の乗算部３２Ｒに供給される。
【０１３３】
また、低域高域通過フィルタ１１２から得られる、除去したい音源の音声成分が主として含まれる周波数以外の帯域の信号成分は、加算部１１４に供給される。加算部１１４には、また、周波数分割スペクトル制御処理部１０４の出力ＦｅｘＲが供給される。そして、加算部１１４からの加算出力が逆ＦＦＴ部１０５に供給される。
【０１３４】
また、ＦＦＴ部１０２の出力である周波数分割スペクトル出力Ｆ２は、帯域通過フィルタ１１１および低域高域通過フィルタ１１３に供給される。そして、帯域通過フィルタ１１１から得られる、除去したい音源の音声成分が主として含まれる周波数帯域の信号成分は周波数分割スペクトル比較処理部１０３のレベル検出部２２に供給されると共に、周波数分割スペクトル制御処理部１０４の乗算部３２Ｌに供給される。
【０１３５】
また、低域高域通過フィルタ１１３から得られる、除去したい音源の音声成分が主として含まれる周波数以外の帯域の信号成分は、加算部１１５に供給される。加算部１１５には、また、周波数分割スペクトル制御処理部１０４の出力ＦｅｘＬが供給される。そして、加算部１１５からの加算出力が逆ＦＦＴ部１０６に供給される。
【０１３６】
以上のような構成の実施形態においては、第４の周波数分割スペクトル比較処理部１０３および周波数分割スペクトル制御処理部１０４では、除去したい音源の音声成分が主として含まれる周波数以外の帯域の信号成分についてのみ、上述の実施形態で説明したような音源成分除去動作がなされる。そして、当該音源成分除去がなされた結果としての出力ＦｅｘＲおよびＦｅｘＬに、音源除去処理対象とならなかった周波数帯域の成分が加算部１１４および１１５でそれぞれ加算されて、逆ＦＦＴ部１０５および１０６に供給される。
【０１３７】
したがって、同じレベル比あるいはレベル差を持って、２チャンネル音声信号に分配された複数個の音源成分が存在している場合であっても、それらの音源の音声成分が占める主たる周波数帯域が異なる場合には、この第４の実施形態を用いることにより、目的とする音源の音声成分のみを、２チャンネル音声信号のそれぞれのチャンネルの信号から除去することができる。
【０１３８】
この第５の実施形態においても、第１の実施形態に対する第２の実施形態の関係のように、除去係数発生部３１Ｒ、３１Ｌに代えて、除去目的の音源の音声成分を抽出するための乗算係数を発生する乗算係数発生部を用いると共に、乗算部３２Ｒおよび３２Ｌと、加算部１１４，１１５との間に、減算部を設け、周波数分割スペクトル制御処理部１０４で抽出した音源の音声成分を、各チャンネル毎に、帯域通過フィルタ１１０，１１１の出力から減算するようにすることにより、上述した第５の実施形態と同様にして、目的とする音源の音声成分を各チャンネルの音声信号ＳＲ、ＳＬから除去することができる。
【０１３９】
［音声信号処理装置の第６の実施形態］
この第６の実施形態は、左右２チャンネルの音声信号に対して、同じレベル比あるいはレベル差で、分配されて混合されている音源の音声信号が複数個存在している場合の問題点を改善する第２の例である。
【０１４０】
以上の実施形態においては、２チャンネルの音声信号に、各音源の音声信号が分配されるときの位相は、２チャンネルで同相としたが、逆相で音源の音声信号が分配される場合もある。一例として、次の（式３）および（式４）のように、６個の音源ＭＳ１〜ＭＳ６からの音声信号Ｓ１〜Ｓ６が左右２チャンネルに分配されたステレオ音声信号ＳＬ，ＳＲを考える。
【０１４１】
ＳＬ＝Ｓ１＋０．９Ｓ２＋０．７Ｓ３＋０．４Ｓ４＋０．７Ｓ６ ・・・（式３）
ＳＲ＝Ｓ５＋０．４Ｓ２＋０．７Ｓ３＋０．９Ｓ４−０．７Ｓ６ ・・・（式４）
【０１４２】
すなわち、音源ＭＳ３の音声信号Ｓ３と、音源ＭＳ６の音声信号Ｓ６とは、左右チャンネルに、それぞれ同レベルで分配されているが、音源ＭＳ３の音声信号Ｓ３は、左右チャンネルに同相で分配されているのに対して、ＭＳ６の音声信号Ｓ６は、左右チャンネルに逆相で分配されている。
【０１４３】
上述の実施の形態と同様にして、位相を考慮せず、レベル比あるいはレベル差のみを用いて音源ＭＳ３の音声信号Ｓ３または音源ＭＳ６の音声信号Ｓ６のいずれかを除去しようとしても、音声信号Ｓ３とＳ６とは、同レベルで左右チャンネルに分配されているので、いずれか一方を除去することはできない。
【０１４４】
そこで、この第６の実施形態では、２チャンネル間におけるレベル比あるいはレベル差を用いて音源成分を分離した後、位相差を用いて更なる分離することにより、除去対象の音源の音声成分を分離し、当該分離した音源の音声成分を、ＦＦＴ部１０１，１０２からの出力Ｆ１、Ｆ２から減算することにより、目的とする音源の音声成分の除去を行なうようにする。
【０１４５】
図９は、この第６の実施形態の音声信号処理装置の構成例を示すブロック図である。この第６の実施形態の音声信号処理装置における周波数分割スペクトル比較処理部１０３は、レベル比較処理部１０３１と、位相比較処理部１０３２とを備える。
【０１４６】
また、この第６の実施形態における周波数分割スペクトル制御処理部１０４は、第１周波数分割スペクトル制御処理部１０４１と、位相差に基づいた音源分離処理を実行するための第２の周波数分割スペクトル制御処理部１０４２とを備える。
【０１４７】
図１０は、この第６の実施形態における周波数分割スペクトル比較処理部１０３と、周波数分割スペクトル制御処理部１０４の部分の詳細構成例を示すブロック図である。すなわち、周波数分割スペクトル比較処理部１０３のレベル比較処理部１０３１は、前述した第１の実施形態の周波数分割スペクトル比較処理部１３と同様の構成の備え、レベル検出部２１，２２と、レベル比算出部２３，２４と、セレクタ２５とからなる。
【０１４８】
そして、周波数分割スペクトル制御処理部１０４の第１周波数分割スペクトル制御処理部１０４１は、前述の第２の実施形態の周波数分割スペクトル制御処理部とほぼ同様の構成を備え、乗算係数発生部３０１と、乗算部３０２および３０３とからなる音源分離部の構成とされている。
【０１４９】
そして、図９および図１０に示すように、レベル比較処理部１０３１からのレベル比出力ｒは、第１の実施形態と全く同様にして、第１周波数分割スペクトル制御処理部１０４１の乗算係数発生部３０１に供給され、この乗算係数発生部３０１から当該乗算係数発生部３０１に設定された関数に応じた乗算係数ｗｒが発生し、乗算部３０２，３０３に供給される。
【０１５０】
乗算部３０２には、ＦＦＴ部１０１からの周波数分割スペクトル成分Ｆ１が供給されており、当該周波数分割スペクトル成分と乗算係数ｗｒとの乗算結果が、この乗算部３０２から得られる。また、乗算部３０３には、ＦＦＴ部１０２からの周波数分割スペクトル成分Ｆ２が供給されており、当該周波数分割スペクトル成分と乗算係数ｗｒとの乗算結果が、この乗算部３０３から得られる。
【０１５１】
すなわち、乗算部３０２，３０３からは、ＦＦＴ部１０１，１０２からの周波数分割スペクトル成分Ｆ１，Ｆ２のそれぞれが、乗算係数発生部３１からの乗算係数ｗｒに応じてレベル制御された状態の出力が得られる。
【０１５２】
前述の第２の実施形態と同様に、乗算係数発生部３０１は、レベル比ｒを変数とした乗算係数ｗｒに関する関数発生回路により構成される。乗算係数発生部３０１に使用する関数として、どのような関数が選ばれるかは、分離抽出すべき音源の左右２チャンネルの音声信号への分配率による。
【０１５３】
前述したように、乗算係数発生部３０１には、図５に示したような特性の、乗算係数ｗｒのレベル比に関する関数が設定される。例えば、左右２チャンネルに同レベルで分配される音源の音声信号を分離抽出する場合には、前述したように、図５（ａ）に示した特定の関数が、乗算係数発生部３０１に設定される。
【０１５４】
この第６の実施形態では、乗算部３０２，３０３の出力は、それぞれ周波数分割スペクトル比較処理部１０３の位相比較処理部１０３２に供給されると共に、周波数分割スペクトル制御処理部１０４の第２周波数分割スペクトル制御処理部１０４２に供給される。
【０１５５】
位相比較処理部１０３２は、図１０に示すように、乗算部３０２，３０３の出力の位相差φを検出する位相差検出部２８からなり、その位相差φの情報を第２周波数分割スペクトル制御処理部１０４２に供給する。
【０１５６】
第２周波数分割スペクトル制御処理部１０４２は、乗算係数発生部３０４と、乗算部３０５および乗算部３０６と、減算部３０７および３０８とからなる。
【０１５７】
そして、乗算部３０５には、第１周波数分割スペクトル制御処理部１０４１の乗算部３０２の出力が供給されると共に、乗算係数発生部３０４からの乗算係数ｗｐが供給され、両者の乗算結果が、この乗算部３０５から減算部３０７に供給される。この減算部３０７には、ＦＦＴ部１０１の出力Ｆ１が供給されており、乗算部３０５の出力が出力Ｆ１から減算され、その減算結果が、周波数分割スペクトル制御処理部１０４の第１の出力（右チャンネル用出力）ＦｅｘＲとされる。
【０１５８】
また、乗算部３０６には、第１周波数分割スペクトル制御処理部１０４１の乗算部３０３の出力が供給されると共に、乗算係数発生部３０４からの乗算係数ｗｐが供給され、両者の乗算結果が、この乗算部３０６から減算部３０８に供給される。この減算部３０８には、ＦＦＴ部１０２の出力Ｆ２が供給されており、乗算部３０６の出力が出力Ｆ２から減算され、その減算結果が、周波数分割スペクトル制御処理部１０４の第２の出力（左チャンネル用出力）ＦｅｘＬとされる。
【０１５９】
乗算係数発生部３０４は、位相差検出部２８からの位相差φの情報を受けて、当該位相差φに応じた乗算係数ｗｐを発生する。乗算係数発生部３０４は、位相差φを変数とした乗算係数ｗｐに関する関数発生回路により構成される。乗算係数発生部３０４に使用する関数として、どのような関数が選ばれるかは、分離すべき音源の前記２チャンネルに対する位相差に応じて、使用者により設定される。
【０１６０】
乗算係数発生部３０４に供給される位相差φは、周波数分割スペクトルの各周波数成分単位で変化するものであるので、乗算係数発生部３０４からの乗算係数ｗｐも、周波数分割スペクトルの各周波数成分単位で変化することになる。したがって、乗算部３０５および乗算部３０６では、乗算部３０２および乗算部３０３からの各周波数分割スペクトルのレベルが、乗算係数ｗｐにより制御される。
【０１６１】
図１１に、乗算係数発生部３０４としての関数発生回路に用いられる関数の例を示す。
【０１６２】
図１１（ａ）の関数の特性は、左右チャンネルの位相差φが０、あるいは０に近い場合、つまり、左右チャンネルが同相あるいは同相に近い周波数分割スペクトル成分では、乗算係数ｗｐは１あるいは１近傍となり、左右チャンネルの位相差φが約π／４以上の領域では、乗算係数ｗｐは０となっている。
【０１６３】
例えば乗算係数発生部３０４に、この図１１（ａ）の特性の関数が設定されている場合において、位相差検出部２８からの位相差φが０、または０近傍となっている周波数分割スペクトル成分に対する乗算係数ｗｐは１、あるいは１に近い値となるので、乗算部３０５、３０６からは、当該周波数分割スペクトル成分は、ほぼそのままのレベルで出力される。一方、位相差検出部２８からの位相差φが、約π／４以上の値となっている周波数分割スペクトル成分に対する乗算係数ｗｐは０となるので、乗算部３０５，３０６からは、当該周波数分割スペクトル成分は、出力レベルが０とされて、出力されなくなる。
【０１６４】
すなわち、乗算部３０５，３０６からは、多数個の周波数分割スペクトル成分のうち、左右同相およびその近傍の位相差となっている周波数分割スペクトル成分は、ほぼそのままのレベルで出力され、左右チャンネルの位相差が大きい周波数分割スペクトル成分は、出力レベルが０とされて出力されなくなる。この結果、左右２チャンネルの音声信号ＳＬ，ＳＲに同相で分配された音源の音声信号の周波数分割スペクトル成分のみが乗算部３０５，３０６から得られることになる。
【０１６５】
つまり、この図１１（ａ）の特性の関数は、左右２チャンネルに同相で分配されている音源の信号を抽出する際に用いられる。
【０１６６】
また、図１１（ｂ）の関数の特性は、左右チャンネルの位相差φがπ、あるいはπに近い場合、つまり、左右チャンネルが逆相あるいは逆相に近い周波数分割スペクトル成分では、乗算係数ｗｐは１あるいは１近傍となり、左右チャンネルの位相差φが約３π／４以下の領域では、乗算係数ｗｐは０となっている。
【０１６７】
例えば乗算係数発生部３０１に、この図１１（ｂ）の特性の関数が設定されている場合において、位相差検出部２８からの位相差φがπ、またはπ近傍となっている周波数分割スペクトル成分に対する乗算係数ｗｐは１、あるいは１に近い値となるので、乗算部３０５、３０６からは、当該周波数分割スペクトル成分は、ほぼそのままのレベルで出力される。一方、位相差検出部２８からの位相差φが、約３π／４以下の値となっている周波数分割スペクトル成分に対する乗算係数ｗｐは０となるので、乗算部３０５，３０６からは、当該周波数分割スペクトル成分は、出力レベルが０とされて、出力されなくなる。
【０１６８】
すなわち、乗算部３０５，３０６からは、多数個の周波数分割スペクトル成分のうち、左右逆相およびその近傍の位相差となっている周波数分割スペクトル成分は、ほぼそのままのレベルで出力され、左右チャンネルの位相差が小さい周波数分割スペクトル成分は、出力レベルが０とされて出力されなくなる。この結果、左右２チャンネルの音声信号ＳＬ，ＳＲに逆相で分配された音源の音声信号の周波数分割スペクトル成分のみが乗算部３０５，３０６から得られることになる。
【０１６９】
つまり、この図１１（ｂ）の特性の関数は、左右２チャンネルに逆相で分配されている音源の信号を抽出する際に用いられる。
【０１７０】
同様にして、図１１（ｃ）の特性の関数は、左右チャンネルの位相差φが約π／２、あるいは約π／２に近い場合の周波数分割スペクトル成分では、乗算係数ｗｐは１あるいは１近傍となり、その他の位相差φの領域では、乗算係数ｗｐは０となっている。したがって、この図１１（ｃ）の特性の関数は、左右２チャンネルに、互いに約π／２だけ異なる位相で分配されている音源の信号を抽出する際に用いられる。
【０１７１】
その他、乗算係数発生部３０５および３０６には、分離する音源の音声信号の２チャンネルへ分配する際の位相差に応じて、図１１（ｄ）や（ｅ）に示すような特性の関数を設定することもできる。
【０１７２】
この第６の実施形態において、例えば、前記（式３）および（式４）で示された左右２チャンネルの音声信号ＳＬおよびＳＲから、同レベルであるが、同相で左右チャンネルに分配された音源ＭＳ３の音声信号Ｓ３と、逆相で左右チャンネルに分配された音源ＭＳ６の音声信号Ｓ６との内、例えば音源ＭＳ３の音声信号Ｓ３を、左右チャンネルから除去する場合には、第１周波数分割スペクトル制御処理部１０４１の乗算係数発生部３０１には、図５（ａ）に示したような特性の関数が設定される。また、第２周波数分割スペクトル制御処理部１０４２の乗算係数発生部３０４には、図１１（ｂ）に示すような特性となる関数が設定される。
【０１７３】
すると、図９および図１０に示すように、周波数分割スペクトル制御処理部１０４の第１周波数分割スペクトル制御処理部１０４１の乗算部３０２からは、右チャンネルの音声信号ＳＲをＦＦＴした信号（周波数分割スペクトル）Ｆ１のうちの、（Ｓ３−Ｓ６）なる周波数分割スペクトル成分が得られ、また、乗算部３０３からは、左チャンネルの音声信号ＳＬをＦＦＴした信号（周波数分割スペクトル）Ｆ２のうちの、（Ｓ３＋Ｓ６）なる周波数分割スペクトル成分が得られる。つまり、信号Ｓ３とＳ６とは、左右チャンネルに同レベルで分配されているので、第１周波数分割スペクトル制御処理部１０４１では、分離できずに出力されることになる。
【０１７４】
しかし、この第６の実施形態では、信号Ｓ３とＳ６とが逆相で左右チャンネルに分配されていることを利用して、次のようにして、当該信号Ｓ３と、Ｓ６とが分離される。
【０１７５】
すなわち、乗算部３０２および３０３の出力は、周波数分割スペクトル比較処理部１０３の位相比較処理部１０３２を構成する位相差検出部２８に供給されて、両出力の位相差φが検出される。そして、この位相差検出部２８で検出された位相差φの情報は、乗算係数発生部３０４に供給される。
【０１７６】
乗算係数発生部３０４では、図１１（ａ）に示すような特性の関数が設定されていることから、乗算部３０５，３０６では、左右チャンネルに同相で分配されている音源の音声信号Ｓ３を抽出する。すなわち、周波数分割スペクトル成分（Ｓ３＋Ｓ６）と、周波数分割スペクトル成分（Ｓ３−Ｓ６）のうちの、同相関係にある音源ＭＳ３の音声信号Ｓ３の周波数分割スペクトル成分のみが乗算部３０５および３０６のそれぞれから得られ、減算部３０７および３０８に供給される。
【０１７７】
したがって、減算部３０７からは、出力Ｆ１から音源ＭＳ３の音声信号Ｓ３の周波数分割スペクトル成分が除去された出力信号ＦｅｘＲが導出され、逆ＦＦＴ部１０５に供給される。また、減算部３０８からは、出力Ｆ２から音源ＭＳ３の音声信号Ｓ３の周波数分割スペクトル成分が除去された出力信号ＦｅｘＬが導出され、逆ＦＦＴ部１０６に供給される。そして、逆ＦＦＴ部１０５および１０６で時系列信号に戻され、出力信号ＳＯＲおよびＳＯＬとして出力される。
【０１７８】
なお、図９および図１０に示した実施形態では、第２周波数分割スペクトル制御処理部１０４２では、第１周波数分割スペクトル制御処理部１０４１においてレベル比を用いては分離できない２つの信号、上述の例では、同相の信号Ｓ３と、逆相の信号Ｓ６とを、それぞれ乗算係数および乗算部を用いて、それぞれ分離するようにしたが、それらレベル比を用いては分離できない２つの信号の一方を、位相差φと乗算係数を用いて、分離したら、当該分離した信号を、第１周波数分割スペクトル制御処理部１０４１からの信号の和（乗算部３０２の出力と乗算部３０３の出力を加算した信号）から減算することにより、前記２つの信号の他方の信号を、分離するようにすることもできる。
【０１７９】
［音声信号処理装置の第７の実施形態］
第７の実施形態は、２系統の周波数分割スペクトルについての位相差に基づいて、所望の音源分離を行なうようにする場合である。図１２に、この第７の実施形態の音声信号処理装置の構成例のブロック図を示す。
【０１８０】
この第７の実施形態においては、周波数分割スペクトル比較処理部１０３は、位相差検出部２９で構成され、ＦＦＴ部１０１の出力Ｆ１およびＦＦＴ部１０２の出力Ｆ２が、この位相差検出部２９に供給されると共に、周波数分割スペクトル制御処理部１０４に供給される。周波数分割スペクトル制御処理部１０４は、図１の場合と同様に、除去係数発生部３５と、乗算部３２Ｒ，３２Ｌとからなるが、除去係数発生部３５が、位相差を入力として除去係数ｗｐを出力する点が図１とは異なる。
【０１８１】
この第７の実施形態は、第６の実施形態における位相比較処理部１０３２と第２周波数分割スペクトル制御処理部１０４２とにおいて、乗算係数発生部に代えて除去係数発生部を設けたときの動作と全く同様の動作となる。
【０１８２】
すなわち、除去係数発生部３５には、除去目的の音源の音声成分が左右２チャンネルに対して分配されるときの位相差φのときに、除去係数ｗｐが０、その他の位相差の時に除去係数ｗｐが１となるような特性の関数発生回路が設定される。例えば、前記（式３）および（式４）に示したような信号ＳＬ，ＳＲの場合に、除去係数発生部３５に、図１１（ｂ）に示すような特性の関数発生回路を設定したときには、周波数分割スペクトル制御処理部１０４からは、逆相で２チャンネルに分配された音源ＭＳ６の音声信号Ｓ６が、それぞれのチャンネルの信号から除去されたものが得られる。
【０１８３】
なお、この第７の実施形態においても、第２の実施形態と同様に、除去係数発生部３５を、出力Ｆ１，Ｆ２から特定の音源の音声成分を分離抽出するための乗算係数発生部に置き換え、周波数分割スペクトル制御処理部１０４と逆ＦＦＴ部１０５および１０６との間に、出力Ｆ１，Ｆ２から周波数分割スペクトル制御処理部１０４の乗算部３２Ｒ，３２Ｌの出力を減算する減算部を設ける構成を変形例とすることができる。
【０１８４】
［音声信号処理装置の第８の実施形態］
図１３は、第８の実施形態の音声信号処理装置の構成例を示すブロック図である。この図１３の例においては、左右２チャンネルの音声信号ＳＬ、ＳＲの一方、図の例では、左チャンネルの音声信号ＳＬから、デジタルフィルタを用いて、左右チャンネルに所定のレベル比あるいはレベル差で分配された音源の音声信号を、左チャンネル信号から除去するようにする。
【０１８５】
すなわち、左チャンネルの音声信号（この例ではデジタル信号）ＳＬは、タイミング調整用の遅延部４１を通じてデジタルフィルタ４２に供給される。このデジタルフィルタ４２には、後述するようにして、除去したい音源の音声信号の、左右チャンネルに対するレベル比に基づいて形成されるフィルタ係数（除去係数に対応）が供給されて、信号ＳＬから前記除去したい音源の音声信号が除去された信号ＳＯＬ、このデジタルフィルタ４２から出力されるようにされる。
【０１８６】
前記フィルタ係数は、次のようにして形成される。先ず、左右チャンネルの音声信号ＳＬおよびＳＲ（デジタル信号）は、ＦＦＴ部４３およびＦＦＴ部４４にそれぞれに供給されて、ＦＦＴ処理されて時系列音声信号が周波数領域データに変換され、ＦＦＴ部４３およびＦＦＴ部４４のそれぞれから、周波数が互いに異なる多数個の周波数分割スペクトル成分Ｆ１，Ｆ２が出力される。
【０１８７】
ＦＦＴ部４３および４４のそれぞれからの周波数分割スペクトル成分のそれぞれは、レベル検出部４５，４６に供給されて、その振幅スペクトルあるいはパワースペクトルが検出されることにより、そのレベルが検出される。そして、レベル検出部４５，４６の各々で検出されたレベル値Ｄ１，Ｄ２は、レベル比算出部４７に供給され、そのレベル比Ｄ１／Ｄ２またはＤ２／Ｄ１の一方が算出される。
【０１８８】
このレベル比算出部４７で算出されたレベル比の値は、重み付け係数発生部４８に供給される。この重み付け係数発生部４８は、前述の実施形態の除去係数発生部に対応するものであり、除去したい音源の音声信号の、左右２チャンネルの音声信号に対する混合レベル比およびその近傍のレベル比では０あるいは非常に小さい値の重み付け係数を出力し、その他のレベル比では１あるいは大きな値の重み付け係数を出力する。この重み付け係数は、ＦＦＴ部４３，４４の出力である周波数分割スペクトル成分の各周波数ごとに得られる。
【０１８９】
この重み付け係数発生部４８からの周波数領域の重み付け係数は、フィルタ係数生成部４９に供給され、時間軸領域のフィルタ係数に変換される。このフィルタ係数生成部４９は、周波数領域の重み付け係数を、逆ＦＦＴを行なうことにより、デジタルフィルタ４２に供給するフィルタ係数を得る。
【０１９０】
そして、このフィルタ係数生成部４９からのフィルタ係数が、デジタルフィルタ４２に供給されて、デジタルフィルタ４２から、重み付け係数発生部４８に設定された関数に応じた音源の音声信号成分が除去されて、出力ＳＯＬとされる。なお、遅延部４１は、音声信号ＳＬに対して、デジタルフィルタ４２に供給されるフィルタ係数が生成されるまでの処理遅延時間を調整するためのものである。
【０１９１】
図１３は、左チャンネル信号ＳＬについてのみ説明したが、右チャンネル信号ＳＲについても、遅延部を介して当該右チャンネルの信号が供給されるデジタルフィルタの系を設け、フィルタ係数発生部４９からのフィルタ係数を当該右チャンネル用のデジタルフィルタにも供給することにより、全く同様にして、右チャンネルについても特定の音源の音声成分の除去をすることができる。
【０１９２】
図１３の例は、レベル比のみを考慮したものであるが、位相差のみ、またレベル比と位相差を合わせて考慮する構成とすることもできる。すなわち、例えばレベル比と位相差とを合わせて考慮する場合には、図示は省略するが、ＦＦＴ部４３および４４の出力を位相差検出部にも供給すると共に、検出した位相差をも、重み付け係数発生部に供給する。この例の場合の重み付け係数発生部は、除去する音源の左右２チャンネルの音声信号に対するレベル差のみではなく、位相差をも変数として重み付け係数を発生する関数発生回路の構成とされる。
【０１９３】
つまり、この場合の重み付け係数発生部は、除去しようとする音源の音声信号の、左右２チャンネルにおけるレベル比およびその近傍のレベル比のときであって、前記、除去しようとする音源の音声信号の、左右２チャンネルにおける位相差およびその近傍の位相差のときには、大きい重み付け係数を発生し、その他では小さい係数を発生するような関数に設定される。
【０１９４】
そして、その重み付け係数発生部からの重み付け係数が逆ＦＦＴされることにより、デジタルフィルタ４２のフィルタ係数とされるものである。
【０１９５】
［その他の実施形態の音声信号処理装置］
上述の実施形態において、入力音声信号をＦＦＴする場合、楽音のように長い時系列信号をそのままＦＦＴ処理することは困難なので、所定分析区間に区分けして、当該分析区間ごとの区分データを得ることによりＦＦＴ処理を行なう。
【０１９６】
しかしながら、時系列データを単純に一定の長さだけ取り出し、音源分離処理を行った後、逆ＦＦＴ変換して結合した場合、その結合点において波形の不連続点を発生し、音として聞いた場合、ノイズを発生すると言う問題がある。
【０１９７】
そこで、第９の実施形態では、区分データを取り出すのに、図１４に示すように、区間１、区間２、区間３、区間４、・・・の長さを、それぞれ同じ長さの単位区間とするが、隣り合う区間では、前記単位区間の長さの例えば１／２の区間分を、互いに重複するように各区間を設定して、各区間の区分データを取り出すようにする。なお、図１４において、ｘ１、ｘ２、ｘ３、・・・、ｘｎは、デジタル音声信号のサンプルデータを示している。
【０１９８】
このようにして処理すると、上述の実施形態のようにして音源分離処理され、逆ＦＦＴ 変換された時系列データも、図１５に示す出力区分データ１，２のように、重複区間を持つことになる。
【０１９９】
そして、この第９の実施形態では、図１５に示すように、重複区間を持って隣り合う出力区分データ、例えば出力区分データ１，２の重複区間に対して、図１５に示すような三角窓の特性となる窓関数１、２の処理を行ない、各出力区分データ１，２の重複区間における同時刻データ同士を加算することにより、図１５に示すような出力合成データを得るようにする。これにより、波形の不連続点の無い、すなわちノイズの無い、分離された出力音声信号が得られる。
【０２００】
さらに、第１０の実施形態では、区分データを取り出すのに、図１６に示すように、隣り合う区分データの一定区間として、区間１、区間２、区間３、区間４のように、互いに重複して取り出すようにすると同時に、これらの各区間の区分データを、ＦＦＴ処理する前に、図１６に示すような三角窓の窓関数１，２，３，４の、窓関数処理を行なう。
【０２０１】
そして、この図１６に示すような窓関数処理を行なった後、ＦＦＴ変換処理を行なうようにする。そして、しかるべき音源分離処理された信号を、逆ＦＦＴ変換すると、図１７に示すような出力区分データ１、２が得られる。この出力区分データは、既に重複部において窓関数処理されたデータになっているので、出力部では、各重複区分データ部を加算するだけで、波形の不連続点のないノイズの無い、分離された音声信号を得ることが可能となる。
【０２０２】
なお、上述の窓関数としては、三角窓の他、ハニング窓またはハミング窓、あるいはブラックマン窓、などを用いることができる。
【０２０３】
また、上述の実施形態では、時間離散信号を直交変換することにより、周波数領域の信号に変換し、ステレオチャンネル間の周波数分割スペクトルを比較するようにしたが、原理的には時間領域で信号を多数のバンドバスフィルタにより細分化し、各周波数バンドについて同様の処理を行なうように構成するようにしてもよい。ただし、上述の実施形態のように、ＦＦＴ処理をする方が、周波数分解能を上げることが容易であり、分離する音源の分離度を向上させることができるので、実用性が大きい。
【０２０４】
なお、上述の実施形態では、この発明が適用される２系統の音声信号として、２チャンネルステレオ信号について説明したが、この発明は、音源の音声信号が所定のレベル比あるいはレベル差で分配される２つの音声信号であれば、どのような２系統の音声信号であっても適用可能である。位相差についても同様である。
【０２０５】
また、上述の実施形態では、２系統の音声信号についての周波数分割スペクトルのレベル比を求め、除去係数発生部あるいは乗算係数発生部は、レベル比対乗算係数の関数を用いるようにしたが、２系統の音声信号についての周波数分割スペクトルのレベル差を求め、除去係数発生部あるいは乗算係数発生部は、当該レベル差対乗算係数の関数を用いるようにしてもよい。
【０２０６】
また、時系列信号を周波数領域の信号に変換する直交変換手段としては、ＦＦＴ処理手段に限られるものではなく、周波数分割スペクトルのレベルや位相を比較することができるものであれば、どのようなものであってもよい。
【図面の簡単な説明】
【０２０７】
【図１】この発明による音声信号処理装置の第１の実施形態の構成例を示すブロック図である。
【図２】第１の実施形態の音声信号処理装置が適用されたカラオケ装置の構成例を示すブロック図である。
【図３】図１において、周波数分割スペクトル制御処理部の除去係数発生部３１に設定される関数の幾つかの例を示す図である。
【図４】この発明による音声信号処理装置の第２の実施形態の構成例を示すブロック図である。
【図５】図４において、周波数分割スペクトル制御処理部の乗算係数発生部３３に設定される関数の幾つかの例を示す図である。
【図６】この発明による音声信号処理装置の第３の実施形態の構成例を示すブロック図である。
【図７】この発明による音声信号処理装置の第４の実施形態の構成例を示すブロック図である。
【図８】この発明による音声信号処理装置の第５の実施形態の構成例を示すブロック図である。
【図９】この発明による音声信号処理装置の第６の実施形態の構成例を示すブロック図である。
【図１０】図９の第６の実施形態の要部の構成例を示すブロック図である。
【図１１】図１０の乗算係数発生部３０４に設定される関数の幾つかの例を示す図である。
【図１２】この発明による音声信号処理装置の第７の実施形態の構成例を示すブロック図である。
【図１３】この発明による音声信号処理装置の第８の実施形態の構成例を示すブロック図である。
【図１４】この発明による音声信号処理装置の第９の実施形態の構成例を説明するための図である。
【図１５】この発明による音声信号処理装置の第９の実施形態の構成例を説明するための図である。
【図１６】この発明による音声信号処理装置の第１０の実施形態の構成例を説明するための図である。
【図１７】この発明による音声信号処理装置の第１０の実施形態の構成例を説明するための図である。
【図１８】従来のボーカル除去方法を説明するためのブロック図である。
【符号の説明】
【０２０８】
１０…音声信号処理装置、１０１，１０２…ＦＦＴ部、１０３…周波数分割スペクトル比較処理部、１０４…周波数分割スペクトル制御処理部、１０５，１０６…逆ＦＦＴ部、２１，２２…レベル検出部、２３，２４…レベル比算出部、２５，２６…セレクタ、３１…除去係数発生部、３２Ｒ，３２Ｌ…乗算部、３３…乗算係数発生部、２８，２９…位相差検出部
【特許請求の範囲】
【請求項１】
２系統の音声信号のそれぞれを複数個の周波数帯域に分割する分割手段と、
前記分割手段からの前記分割された複数個の周波数帯域の各々における前記２系統の音声信号のレベル比またはレベル差を算出するレベル比較手段と、
前記レベル比較手段で算出された前記レベル比または前記レベル差が予め定めた値およびその近傍となる周波数帯域の成分を、前記分割手段からの前記２系統の音声信号の少なくとも一方から除去する出力制御手段と、
を備える音声信号処理装置。
【請求項２】
２系統の入力音声時系列信号を、それぞれ周波数領域信号に変換する第１および第２の直交変換手段と、
前記第１の直交変換手段と前記第２の直交変換手段からの対応する周波数分割スペクトル同士のレベル比またはレベル差を比較する周波数分割スペクトル比較手段と、
前記周波数分割スペクトル比較手段における比較結果に基づいて、前記第１の直交変換手段と前記第２の直交変換手段の少なくとも一方から得られる周波数分割スペクトルのレベルを制御して、前記レベル比または前記レベル差が予め定めた値およびその近傍となる周波数成分を、前記２系統の音声信号の少なくとも一方から除去する周波数分割スペクトル制御手段と、
前記周波数分割スペクトル制御手段からの前記周波数領域信号を、時系列信号に戻す逆直交変換手段と、
を備えることを特徴とする音声信号処理装置。
【請求項３】
２系統の入力音声時系列信号を、それぞれ周波数領域信号に変換する第１および第２の直交変換手段と、
前記第１の直交変換手段と前記第２の直交変換手段からの、対応する周波数分割スペクトル同士の位相差を算出する位相差算出手段と、
前記位相差算出手段で算出された前記位相差に基づいて、前記第１の直交変換手段と前記第２の直交変換手段の少なくとも一方の周波数分割スペクトルのレベルを制御して、前記位相差が予め定めた値およびその近傍となる周波数成分を、前記２系統の音声信号の少なくとも一方から除去する周波数分割スペクトル制御手段と、
前記周波数分割スペクトル制御手段からの前記周波数領域信号を、時系列信号に戻す逆直交変換手段と、
を備えることを特徴とする音声信号処理装置。
【請求項４】
請求項２に記載の音声信号処理装置において、
前記周波数分割スペクトル比較手段は、
前記第１の直交変換手段と前記第２の直交変換手段からの対応する周波数分割スペクトル同士のレベル比、またはレベル差を算出し、
前記周波数分割スペクトル制御手段は、
前記算出されたレベル比またはレベル差の関数として設定された乗算係数の発生手段を備えると共に、前記乗算係数の発生手段からの前記乗算係数を、前記第１の直交変換手段と前記第２の直交変換手段の少なくとも一方から得られる周波数分割スペクトルに乗算してその出力レベルを決定するものである
ことを特徴とする音声信号処理装置。
【請求項５】
請求項３に記載の音声信号処理装置において、
前記周波数分割スペクトル制御手段は、
前記算出された位相差の関数として設定された乗算係数の発生手段を備えると共に、前記乗算係数の発生手段からの前記乗算係数を、前記第１の直交変換手段と前記第２の直交変換手段の少なくとも一方の周波数分割スペクトルに乗算してその出力レベルを決定するものである
ことを特徴とする音声信号処理装置。
【請求項６】
請求項２に記載の音声信号処理装置において、
前記周波数分割スペクトル比較手段は、
前記第１の直交変換手段と前記第２の直交変換手段からの対応する周波数分割スペクトル同士のレベル比またはレベル差を算出すると共に位相差を算出し、
前記周波数分割スペクトル制御手段は、
前記算出されたレベル比またはレベル差の関数として設定された第１の乗算係数の発生手段と、前記算出された位相差の関数として設定された第２の乗算係数の発生手段とを備えると共に、
前記第１の乗算係数の発生手段からの前記第１の乗算係数を、前記第１の直交変換手段と前記第２の直交変換手段の少なくとも一方の周波数分割スペクトルに乗算してその出力レベルを決定する第１の手段と、
前記第１の手段の出力に対して、前記第２の乗算係数の発生手段からの前記第２の乗算係数を乗算してその出力レベルを決定する第２の手段とを備え、
前記第２の手段の出力を前記逆直交変換手段に入力する
ことを特徴とする音声信号処理装置。
【請求項７】
請求項２に記載の音声信号処理装置において、
前記周波数分割スペクトル比較手段は、
前記第１の直交変換手段と前記第２の直交変換手段からの対応する周波数分割スペクトル同士のレベル比、またはレベル差を算出し、
前記周波数分割スペクトル制御手段は、
前記算出されたレベル比またはレベル差の関数として設定された乗算係数の発生手段を複数個備えると共に、前記複数個の乗算係数の発生手段からの前記乗算係数のそれぞれを、前記第１の直交変換手段と前記第２の直交変換手段の少なくとも一方の周波数分割スペクトルに乗算してその出力レベルを決定する音源分離手段の複数個とを備え、
前記逆直交変換手段は、
前記音源分離部の複数個からのそれぞれの出力を、それぞれ逆直交変換する複数個の逆直交変換部を備える
ことを特徴とする音声信号処理装置。
【請求項８】
請求項２に記載の音声信号処理装置において、
前記周波数分割スペクトル比較手段は、
前記第１の直交変換手段と前記第２の直交変換手段からの対応する周波数分割スペクトル同士のレベル比、またはレベル差を算出し、
前記周波数分割スペクトル制御手段は、
前記算出されたレベル比またはレベル差の関数として設定された乗算係数の発生手段を複数個備えると共に、前記複数個の乗算係数の発生手段からの前記乗算係数のうちの一つを選択する選択手段と、
前記選択手段からの前記乗算係数を、前記第１の直交変換手段と前記第２の直交変換手段の少なくとも一方の周波数分割スペクトルに乗算してその出力レベルを決定する音源分離手段とを備える
ことを特徴とする音声信号処理装置。
【請求項９】
請求項２または請求項３に記載の音声信号処理装置において、
２系統の入力音声時系列信号は、所定分析区間に区分けして区分データを得ると同時に、所定区分区間はオーバラップして取り出し、出力時系列信号は窓関数処理し、同時刻の時系列データ同士を加算して出力する
ことを特徴とする音声信号処理装置。
【請求項１０】
請求項２または請求項３に記載の音声信号処理装置において、
２系統の入力音声時系列信号は、所定分析区間に区分けして区分データを得ると同時に、所定区分区間はオーバラップして取り出し、窓関数処理した後、直交変換し、出力時系列信号は、逆直交変換して時系列データに変換後、連続する分析区間の同時刻の時系列データ同士を加算して出力する
ことを特徴とする音声信号処理装置。
【請求項１１】
分割された複数個の周波数帯域の各々における２系統の音声信号のレベル比またはレベル差を算出するレベル比較工程と、
前記レベル比較工程で算出された前記レベル比または前記レベル差が予め定めた値およびその近傍となる周波数帯域の成分を、前記２系統の音声信号の少なくとも一方から除去して出力する出力制御工程と、
を備える音声信号処理方法。
【請求項１２】
２系統の入力音声時系列信号のそれぞれを周波数領域信号に変換して、２系統の周波数分割スペクトルを得る直交変換工程と、
前記直交変換工程で得られる前記２系統の周波数分割スペクトルの、対応する周波数分割スペクトル同士のレベル比またはレベル差を比較する周波数分割スペクトル比較工程と、
前記周波数分割スペクトル比較工程における比較結果に基づいて、前記直交変換工程で得られた前記２系統の周波数分割スペクトルの少なくとも一方の周波数分割スペクトルのレベルを制御することにより、前記レベル比または前記レベル差が予め定めた値およびその近傍となる周波数分割スペクトル成分を前記２系統の周波数分割スペクトルの少なくとも一方から除去する周波数分割スペクトル制御工程と、
前記周波数分割スペクトル制御工程で得られる前記周波数領域信号を、時系列信号に戻す逆直交変換工程と、
を備えることを特徴とする音声信号処理方法。
【請求項１３】
２系統の入力音声時系列信号を、周波数領域信号に変換する直交変換工程と、
前記直交変換工程で得られる前記２系統の入力音声時系列信号についての周波数分割スペクトルの、対応する周波数分割スペクトル同士の位相差を算出する位相差算出工程と、
前記位相差算出工程で算出された前記位相差に基づいて、前記直交変換工程で得られた２系統の周波数分割スペクトルの少なくとも一方の周波数分割スペクトルのレベルを制御することにより、前記位相差が予め定めた値およびその近傍となる周波数分割スペクトル成分を、前記２系統の周波数分割スペクトルの少なくとも一方から除去する周波数分割スペクトル制御工程と、
前記周波数分割スペクトル制御工程で得られる前記周波数領域信号を、時系列信号に戻す逆直交変換工程と、
を備えることを特徴とする音声信号処理方法。
【特許請求の範囲】
【請求項１】
２系統の音声信号のそれぞれを複数個の周波数帯域に分割する分割手段と、
前記分割手段からの前記分割された複数個の周波数帯域の各々における前記２系統の音声信号のレベル比またはレベル差を算出するレベル比較手段と、
前記レベル比較手段で算出された前記レベル比または前記レベル差が予め定めた値およびその近傍となる周波数帯域の成分を、前記分割手段からの前記２系統の音声信号の少なくとも一方から除去する出力制御手段と、
を備える音声信号処理装置。
【請求項２】
２系統の時系列音声信号を、それぞれ周波数領域信号に変換する第１および第２の直交変換手段と、
前記第１の直交変換手段と前記第２の直交変換手段からの対応する周波数分割スペクトル同士のレベル比またはレベル差を算出するレベル算出手段と、
前記レベル算出手段における算出結果に基づいて、前記第１の直交変換手段と前記第２の直交変換手段の少なくとも一方から得られる周波数分割スペクトルのレベルを制御して、前記レベル比または前記レベル差が予め定めた値およびその近傍となる周波数成分を、前記２系統の周波数領域信号の少なくとも一方から除去する出力制御手段と、
前記出力制御手段からの前記周波数領域信号を、時系列信号に変換する逆直交変換手段と、
を備えることを特徴とする音声信号処理装置。
【請求項３】
２系統の時系列音声信号を、それぞれ周波数領域信号に変換する第１および第２の直交変換手段と、
前記第１の直交変換手段と前記第２の直交変換手段からの、対応する周波数分割スペクトル同士の位相差を算出する位相差算出手段と、
前記位相差算出手段で算出された前記位相差に基づいて、前記第１の直交変換手段と前記第２の直交変換手段の少なくとも一方の周波数分割スペクトルのレベルを制御して、前記位相差が予め定めた値およびその近傍となる周波数成分を、前記２系統の周波数領域信号の少なくとも一方から除去する出力制御手段と、
前記出力制御手段からの前記周波数領域信号を、時系列信号に変換する逆直交変換手段と、
を備えることを特徴とする音声信号処理装置。
【請求項４】
請求項２に記載の音声信号処理装置において、
前記出力制御手段は、
前記レベル算出手段で算出されたレベル比またはレベル差の関数として設定された乗算係数の発生部と、前記乗算係数の発生部からの前記乗算係数を、前記第１の直交変換手段と前記第２の直交変換手段の少なくとも一方から得られる周波数分割スペクトルに乗算してその出力レベルを決定する乗算部とを備える
ことを特徴とする音声信号処理装置。
【請求項５】
請求項３に記載の音声信号処理装置において、
前記出力制御手段は、
前記位相差算出手段で算出された位相差の関数として設定された乗算係数の発生部と、前記乗算係数の発生部からの前記乗算係数を、前記第１の直交変換手段と前記第２の直交変換手段の少なくとも一方から得られる周波数分割スペクトルに乗算してその出力レベルを決定する乗算部とを備える
ことを特徴とする音声信号処理装置。
【請求項６】
請求項２に記載の音声信号処理装置において、
前記レベル算出手段は、
前記第１の直交変換手段と前記第２の直交変換手段からの対応する周波数分割スペクトル同士のレベル比またはレベル差を算出すると共に位相差を算出し、
前記出力制御手段は、
前記算出されたレベル比またはレベル差の関数として設定された第１の乗算係数の発生手段と、前記算出された位相差の関数として設定された第２の乗算係数の発生手段とを備えると共に、
前記第１の乗算係数の発生手段からの前記第１の乗算係数を、前記第１の直交変換手段と前記第２の直交変換手段の少なくとも一方の周波数分割スペクトルに乗算してその出力レベルを決定する第１の手段と、
前記第１の手段の出力に対して、前記第２の乗算係数の発生手段からの前記第２の乗算係数を乗算してその出力レベルを決定する第２の手段とを備え、
前記第２の手段の出力を前記逆直交変換手段に入力する
ことを特徴とする音声信号処理装置。
【請求項７】
請求項２に記載の音声信号処理装置において、
前記出力制御手段は、
前記レベル算出手段で算出されたレベル比またはレベル差の関数として設定された乗算係数の発生部を複数個備えると共に、前記複数個の乗算係数の発生部からの前記乗算係数のそれぞれを、前記第１の直交変換手段と前記第２の直交変換手段の少なくとも一方から得られる周波数分割スペクトルに乗算してその出力レベルを決定する乗算部の複数個とを備え、
前記逆直交変換手段は、
前記複数の乗算部からのそれぞれの出力を、それぞれ時系列信号に変換する複数個の逆直交変換部を備える
ことを特徴とする音声信号処理装置。
【請求項８】
請求項２に記載の音声信号処理装置において、
前記出力制御手段は、
前記レベル算出手段で算出されたレベル比またはレベル差の関数として設定された乗算係数の発生部を複数個備えると共に、前記複数個の乗算係数の発生部からの前記乗算係数のうちの一つを選択する選択部と、
前記選択部からの前記乗算係数を、前記第１の直交変換手段と前記第２の直交変換手段の少なくとも一方から得られる周波数分割スペクトルに乗算してその出力レベルを決定する乗算部とを備える
ことを特徴とする音声信号処理装置。
【請求項９】
請求項２または請求項３に記載の音声信号処理装置において、
２系統の時系列音声信号を、所定区間に区分けして区分データとすると共に、隣り合う区分データは一部の区間はオーバラップさせて、前記区分データを前記第１および第２の直交変換手段に供給する区分化手段と、
前記逆直交変換手段からの、各区分データに対応する出力時系列信号を窓関数処理し、同時刻の時系列信号同士を加算して出力する出力手段と
を備えることを特徴とする音声信号処理装置。
【請求項１０】
請求項２または請求項３に記載の音声信号処理装置において、
２系統の時系列音声信号を、所定区間に区分けして区分データとすると共に、隣り合う区分データは一部の区間はオーバラップさせて、窓関数処理して、前記区分データを前記第１および第２の直交変換手段に供給する区分化手段と、
前記直交逆変換手段からの出力時系列信号を、同時刻の時系列信号同士を加算して出力する出力手段と
を備えることを特徴とする音声信号処理装置。
【請求項１１】
２系統の音声信号のそれぞれを複数個の周波数帯域に分割する分割工程と、
前記分割された複数個の周波数帯域の各々における２系統の音声信号のレベル比またはレベル差を算出するレベル比較工程と、
前記レベル比較工程で算出された前記レベル比または前記レベル差が予め定めた値およびその近傍となる周波数帯域の成分を、前記２系統の音声信号の少なくとも一方から除去して出力する出力制御工程と、
を備える音声信号処理方法。
【請求項１２】
２系統の時系列音声信号のそれぞれを周波数領域信号に変換して、２系統の周波数分割スペクトルを得る直交変換工程と、
前記直交変換工程で得られる前記２系統の周波数分割スペクトルの、対応する周波数分割スペクトル同士のレベル比またはレベル差を算出するレベル算出工程と、
前記レベル算出工程における算出結果に基づいて、前記直交変換工程で得られた前記２系統の周波数分割スペクトルの少なくとも一方の周波数分割スペクトルのレベルを制御することにより、前記レベル比または前記レベル差が予め定めた値およびその近傍となる周波数分割スペクトル成分を前記２系統の周波数分割スペクトルの少なくとも一方から除去する出力制御工程と、
前記出力制御工程で得られる前記周波数領域信号を、時系列信号に変換する逆直交変換工程と、
を備えることを特徴とする音声信号処理方法。
【請求項１３】
２系統の時系列音声信号を、周波数領域信号に変換する直交変換工程と、
前記直交変換工程で得られる前記２系統の時系列音声信号についての周波数分割スペクトルの、対応する周波数分割スペクトル同士の位相差を算出する位相差算出工程と、
前記位相差算出工程で算出された前記位相差に基づいて、前記直交変換工程で得られた２系統の周波数分割スペクトルの少なくとも一方の周波数分割スペクトルのレベルを制御することにより、前記位相差が予め定めた値およびその近傍となる周波数分割スペクトル成分を、前記２系統の周波数分割スペクトルの少なくとも一方から除去する出力制御工程と、
前記出力制御工程で得られる前記周波数領域信号を、時系列信号に変換する逆直交変換工程と、
を備えることを特徴とする音声信号処理方法。
【請求項１】
２系統の音声信号のそれぞれを複数個の周波数帯域に分割する分割手段と、
前記分割手段からの前記分割された複数個の周波数帯域の各々における前記２系統の音声信号のレベル比またはレベル差を算出するレベル比較手段と、
前記レベル比較手段で算出された前記レベル比または前記レベル差が予め定めた値およびその近傍となる周波数帯域の成分を、前記分割手段からの前記２系統の音声信号の少なくとも一方から除去する出力制御手段と、
を備える音声信号処理装置。
【請求項２】
２系統の入力音声時系列信号を、それぞれ周波数領域信号に変換する第１および第２の直交変換手段と、
前記第１の直交変換手段と前記第２の直交変換手段からの対応する周波数分割スペクトル同士のレベル比またはレベル差を比較する周波数分割スペクトル比較手段と、
前記周波数分割スペクトル比較手段における比較結果に基づいて、前記第１の直交変換手段と前記第２の直交変換手段の少なくとも一方から得られる周波数分割スペクトルのレベルを制御して、前記レベル比または前記レベル差が予め定めた値およびその近傍となる周波数成分を、前記２系統の音声信号の少なくとも一方から除去する周波数分割スペクトル制御手段と、
前記周波数分割スペクトル制御手段からの前記周波数領域信号を、時系列信号に戻す逆直交変換手段と、
を備えることを特徴とする音声信号処理装置。
【請求項３】
２系統の入力音声時系列信号を、それぞれ周波数領域信号に変換する第１および第２の直交変換手段と、
前記第１の直交変換手段と前記第２の直交変換手段からの、対応する周波数分割スペクトル同士の位相差を算出する位相差算出手段と、
前記位相差算出手段で算出された前記位相差に基づいて、前記第１の直交変換手段と前記第２の直交変換手段の少なくとも一方の周波数分割スペクトルのレベルを制御して、前記位相差が予め定めた値およびその近傍となる周波数成分を、前記２系統の音声信号の少なくとも一方から除去する周波数分割スペクトル制御手段と、
前記周波数分割スペクトル制御手段からの前記周波数領域信号を、時系列信号に戻す逆直交変換手段と、
を備えることを特徴とする音声信号処理装置。
【請求項４】
請求項２に記載の音声信号処理装置において、
前記周波数分割スペクトル比較手段は、
前記第１の直交変換手段と前記第２の直交変換手段からの対応する周波数分割スペクトル同士のレベル比、またはレベル差を算出し、
前記周波数分割スペクトル制御手段は、
前記算出されたレベル比またはレベル差の関数として設定された乗算係数の発生手段を備えると共に、前記乗算係数の発生手段からの前記乗算係数を、前記第１の直交変換手段と前記第２の直交変換手段の少なくとも一方から得られる周波数分割スペクトルに乗算してその出力レベルを決定するものである
ことを特徴とする音声信号処理装置。
【請求項５】
請求項３に記載の音声信号処理装置において、
前記周波数分割スペクトル制御手段は、
前記算出された位相差の関数として設定された乗算係数の発生手段を備えると共に、前記乗算係数の発生手段からの前記乗算係数を、前記第１の直交変換手段と前記第２の直交変換手段の少なくとも一方の周波数分割スペクトルに乗算してその出力レベルを決定するものである
ことを特徴とする音声信号処理装置。
【請求項６】
請求項２に記載の音声信号処理装置において、
前記周波数分割スペクトル比較手段は、
前記第１の直交変換手段と前記第２の直交変換手段からの対応する周波数分割スペクトル同士のレベル比またはレベル差を算出すると共に位相差を算出し、
前記周波数分割スペクトル制御手段は、
前記算出されたレベル比またはレベル差の関数として設定された第１の乗算係数の発生手段と、前記算出された位相差の関数として設定された第２の乗算係数の発生手段とを備えると共に、
前記第１の乗算係数の発生手段からの前記第１の乗算係数を、前記第１の直交変換手段と前記第２の直交変換手段の少なくとも一方の周波数分割スペクトルに乗算してその出力レベルを決定する第１の手段と、
前記第１の手段の出力に対して、前記第２の乗算係数の発生手段からの前記第２の乗算係数を乗算してその出力レベルを決定する第２の手段とを備え、
前記第２の手段の出力を前記逆直交変換手段に入力する
ことを特徴とする音声信号処理装置。
【請求項７】
請求項２に記載の音声信号処理装置において、
前記周波数分割スペクトル比較手段は、
前記第１の直交変換手段と前記第２の直交変換手段からの対応する周波数分割スペクトル同士のレベル比、またはレベル差を算出し、
前記周波数分割スペクトル制御手段は、
前記算出されたレベル比またはレベル差の関数として設定された乗算係数の発生手段を複数個備えると共に、前記複数個の乗算係数の発生手段からの前記乗算係数のそれぞれを、前記第１の直交変換手段と前記第２の直交変換手段の少なくとも一方の周波数分割スペクトルに乗算してその出力レベルを決定する音源分離手段の複数個とを備え、
前記逆直交変換手段は、
前記音源分離部の複数個からのそれぞれの出力を、それぞれ逆直交変換する複数個の逆直交変換部を備える
ことを特徴とする音声信号処理装置。
【請求項８】
請求項２に記載の音声信号処理装置において、
前記周波数分割スペクトル比較手段は、
前記第１の直交変換手段と前記第２の直交変換手段からの対応する周波数分割スペクトル同士のレベル比、またはレベル差を算出し、
前記周波数分割スペクトル制御手段は、
前記算出されたレベル比またはレベル差の関数として設定された乗算係数の発生手段を複数個備えると共に、前記複数個の乗算係数の発生手段からの前記乗算係数のうちの一つを選択する選択手段と、
前記選択手段からの前記乗算係数を、前記第１の直交変換手段と前記第２の直交変換手段の少なくとも一方の周波数分割スペクトルに乗算してその出力レベルを決定する音源分離手段とを備える
ことを特徴とする音声信号処理装置。
【請求項９】
請求項２または請求項３に記載の音声信号処理装置において、
２系統の入力音声時系列信号は、所定分析区間に区分けして区分データを得ると同時に、所定区分区間はオーバラップして取り出し、出力時系列信号は窓関数処理し、同時刻の時系列データ同士を加算して出力する
ことを特徴とする音声信号処理装置。
【請求項１０】
請求項２または請求項３に記載の音声信号処理装置において、
２系統の入力音声時系列信号は、所定分析区間に区分けして区分データを得ると同時に、所定区分区間はオーバラップして取り出し、窓関数処理した後、直交変換し、出力時系列信号は、逆直交変換して時系列データに変換後、連続する分析区間の同時刻の時系列データ同士を加算して出力する
ことを特徴とする音声信号処理装置。
【請求項１１】
分割された複数個の周波数帯域の各々における２系統の音声信号のレベル比またはレベル差を算出するレベル比較工程と、
前記レベル比較工程で算出された前記レベル比または前記レベル差が予め定めた値およびその近傍となる周波数帯域の成分を、前記２系統の音声信号の少なくとも一方から除去して出力する出力制御工程と、
を備える音声信号処理方法。
【請求項１２】
２系統の入力音声時系列信号のそれぞれを周波数領域信号に変換して、２系統の周波数分割スペクトルを得る直交変換工程と、
前記直交変換工程で得られる前記２系統の周波数分割スペクトルの、対応する周波数分割スペクトル同士のレベル比またはレベル差を比較する周波数分割スペクトル比較工程と、
前記周波数分割スペクトル比較工程における比較結果に基づいて、前記直交変換工程で得られた前記２系統の周波数分割スペクトルの少なくとも一方の周波数分割スペクトルのレベルを制御することにより、前記レベル比または前記レベル差が予め定めた値およびその近傍となる周波数分割スペクトル成分を前記２系統の周波数分割スペクトルの少なくとも一方から除去する周波数分割スペクトル制御工程と、
前記周波数分割スペクトル制御工程で得られる前記周波数領域信号を、時系列信号に戻す逆直交変換工程と、
を備えることを特徴とする音声信号処理方法。
【請求項１３】
２系統の入力音声時系列信号を、周波数領域信号に変換する直交変換工程と、
前記直交変換工程で得られる前記２系統の入力音声時系列信号についての周波数分割スペクトルの、対応する周波数分割スペクトル同士の位相差を算出する位相差算出工程と、
前記位相差算出工程で算出された前記位相差に基づいて、前記直交変換工程で得られた２系統の周波数分割スペクトルの少なくとも一方の周波数分割スペクトルのレベルを制御することにより、前記位相差が予め定めた値およびその近傍となる周波数分割スペクトル成分を、前記２系統の周波数分割スペクトルの少なくとも一方から除去する周波数分割スペクトル制御工程と、
前記周波数分割スペクトル制御工程で得られる前記周波数領域信号を、時系列信号に戻す逆直交変換工程と、
を備えることを特徴とする音声信号処理方法。
【特許請求の範囲】
【請求項１】
２系統の音声信号のそれぞれを複数個の周波数帯域に分割する分割手段と、
前記分割手段からの前記分割された複数個の周波数帯域の各々における前記２系統の音声信号のレベル比またはレベル差を算出するレベル比較手段と、
前記レベル比較手段で算出された前記レベル比または前記レベル差が予め定めた値およびその近傍となる周波数帯域の成分を、前記分割手段からの前記２系統の音声信号の少なくとも一方から除去する出力制御手段と、
を備える音声信号処理装置。
【請求項２】
２系統の時系列音声信号を、それぞれ周波数領域信号に変換する第１および第２の直交変換手段と、
前記第１の直交変換手段と前記第２の直交変換手段からの対応する周波数分割スペクトル同士のレベル比またはレベル差を算出するレベル算出手段と、
前記レベル算出手段における算出結果に基づいて、前記第１の直交変換手段と前記第２の直交変換手段の少なくとも一方から得られる周波数分割スペクトルのレベルを制御して、前記レベル比または前記レベル差が予め定めた値およびその近傍となる周波数成分を、前記２系統の周波数領域信号の少なくとも一方から除去する出力制御手段と、
前記出力制御手段からの前記周波数領域信号を、時系列信号に変換する逆直交変換手段と、
を備えることを特徴とする音声信号処理装置。
【請求項３】
２系統の時系列音声信号を、それぞれ周波数領域信号に変換する第１および第２の直交変換手段と、
前記第１の直交変換手段と前記第２の直交変換手段からの、対応する周波数分割スペクトル同士の位相差を算出する位相差算出手段と、
前記位相差算出手段で算出された前記位相差に基づいて、前記第１の直交変換手段と前記第２の直交変換手段の少なくとも一方の周波数分割スペクトルのレベルを制御して、前記位相差が予め定めた値およびその近傍となる周波数成分を、前記２系統の周波数領域信号の少なくとも一方から除去する出力制御手段と、
前記出力制御手段からの前記周波数領域信号を、時系列信号に変換する逆直交変換手段と、
を備えることを特徴とする音声信号処理装置。
【請求項４】
請求項２に記載の音声信号処理装置において、
前記出力制御手段は、
前記レベル算出手段で算出されたレベル比またはレベル差の関数として設定された乗算係数の発生部と、前記乗算係数の発生部からの前記乗算係数を、前記第１の直交変換手段と前記第２の直交変換手段の少なくとも一方から得られる周波数分割スペクトルに乗算してその出力レベルを決定する乗算部とを備える
ことを特徴とする音声信号処理装置。
【請求項５】
請求項３に記載の音声信号処理装置において、
前記出力制御手段は、
前記位相差算出手段で算出された位相差の関数として設定された乗算係数の発生部と、前記乗算係数の発生部からの前記乗算係数を、前記第１の直交変換手段と前記第２の直交変換手段の少なくとも一方から得られる周波数分割スペクトルに乗算してその出力レベルを決定する乗算部とを備える
ことを特徴とする音声信号処理装置。
【請求項６】
請求項２に記載の音声信号処理装置において、
前記レベル算出手段は、
前記第１の直交変換手段と前記第２の直交変換手段からの対応する周波数分割スペクトル同士のレベル比またはレベル差を算出すると共に位相差を算出し、
前記出力制御手段は、
前記算出されたレベル比またはレベル差の関数として設定された第１の乗算係数の発生手段と、前記算出された位相差の関数として設定された第２の乗算係数の発生手段とを備えると共に、
前記第１の乗算係数の発生手段からの前記第１の乗算係数を、前記第１の直交変換手段と前記第２の直交変換手段の少なくとも一方の周波数分割スペクトルに乗算してその出力レベルを決定する第１の手段と、
前記第１の手段の出力に対して、前記第２の乗算係数の発生手段からの前記第２の乗算係数を乗算してその出力レベルを決定する第２の手段とを備え、
前記第２の手段の出力を前記逆直交変換手段に入力する
ことを特徴とする音声信号処理装置。
【請求項７】
請求項２に記載の音声信号処理装置において、
前記出力制御手段は、
前記レベル算出手段で算出されたレベル比またはレベル差の関数として設定された乗算係数の発生部を複数個備えると共に、前記複数個の乗算係数の発生部からの前記乗算係数のそれぞれを、前記第１の直交変換手段と前記第２の直交変換手段の少なくとも一方から得られる周波数分割スペクトルに乗算してその出力レベルを決定する乗算部の複数個とを備え、
前記逆直交変換手段は、
前記複数の乗算部からのそれぞれの出力を、それぞれ時系列信号に変換する複数個の逆直交変換部を備える
ことを特徴とする音声信号処理装置。
【請求項８】
請求項２に記載の音声信号処理装置において、
前記出力制御手段は、
前記レベル算出手段で算出されたレベル比またはレベル差の関数として設定された乗算係数の発生部を複数個備えると共に、前記複数個の乗算係数の発生部からの前記乗算係数のうちの一つを選択する選択部と、
前記選択部からの前記乗算係数を、前記第１の直交変換手段と前記第２の直交変換手段の少なくとも一方から得られる周波数分割スペクトルに乗算してその出力レベルを決定する乗算部とを備える
ことを特徴とする音声信号処理装置。
【請求項９】
請求項２または請求項３に記載の音声信号処理装置において、
２系統の時系列音声信号を、所定区間に区分けして区分データとすると共に、隣り合う区分データは一部の区間はオーバラップさせて、前記区分データを前記第１および第２の直交変換手段に供給する区分化手段と、
前記逆直交変換手段からの、各区分データに対応する出力時系列信号を窓関数処理し、同時刻の時系列信号同士を加算して出力する出力手段と
を備えることを特徴とする音声信号処理装置。
【請求項１０】
請求項２または請求項３に記載の音声信号処理装置において、
２系統の時系列音声信号を、所定区間に区分けして区分データとすると共に、隣り合う区分データは一部の区間はオーバラップさせて、窓関数処理して、前記区分データを前記第１および第２の直交変換手段に供給する区分化手段と、
前記直交逆変換手段からの出力時系列信号を、同時刻の時系列信号同士を加算して出力する出力手段と
を備えることを特徴とする音声信号処理装置。
【請求項１１】
２系統の音声信号のそれぞれを複数個の周波数帯域に分割する分割工程と、
前記分割された複数個の周波数帯域の各々における２系統の音声信号のレベル比またはレベル差を算出するレベル比較工程と、
前記レベル比較工程で算出された前記レベル比または前記レベル差が予め定めた値およびその近傍となる周波数帯域の成分を、前記２系統の音声信号の少なくとも一方から除去して出力する出力制御工程と、
を備える音声信号処理方法。
【請求項１２】
２系統の時系列音声信号のそれぞれを周波数領域信号に変換して、２系統の周波数分割スペクトルを得る直交変換工程と、
前記直交変換工程で得られる前記２系統の周波数分割スペクトルの、対応する周波数分割スペクトル同士のレベル比またはレベル差を算出するレベル算出工程と、
前記レベル算出工程における算出結果に基づいて、前記直交変換工程で得られた前記２系統の周波数分割スペクトルの少なくとも一方の周波数分割スペクトルのレベルを制御することにより、前記レベル比または前記レベル差が予め定めた値およびその近傍となる周波数分割スペクトル成分を前記２系統の周波数分割スペクトルの少なくとも一方から除去する出力制御工程と、
前記出力制御工程で得られる前記周波数領域信号を、時系列信号に変換する逆直交変換工程と、
を備えることを特徴とする音声信号処理方法。
【請求項１３】
２系統の時系列音声信号を、周波数領域信号に変換する直交変換工程と、
前記直交変換工程で得られる前記２系統の時系列音声信号についての周波数分割スペクトルの、対応する周波数分割スペクトル同士の位相差を算出する位相差算出工程と、
前記位相差算出工程で算出された前記位相差に基づいて、前記直交変換工程で得られた２系統の周波数分割スペクトルの少なくとも一方の周波数分割スペクトルのレベルを制御することにより、前記位相差が予め定めた値およびその近傍となる周波数分割スペクトル成分を、前記２系統の周波数分割スペクトルの少なくとも一方から除去する出力制御工程と、
前記出力制御工程で得られる前記周波数領域信号を、時系列信号に変換する逆直交変換工程と、
を備えることを特徴とする音声信号処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２００６−１００８６９（Ｐ２００６−１００８６９Ａ）
【公開日】平成１８年４月１３日（２００６．４．１３）
【国際特許分類】
【出願番号】特願２００４−２８０８２０（Ｐ２００４−２８０８２０）
【出願日】平成１６年９月２８日（２００４．９．２８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成１８年４月１３日（２００６．４．１３）
【国際特許分類】
【出願日】平成１６年９月２８日（２００４．９．２８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]