音響信号処理装置、その処理方法およびプログラム
【課題】複数チャンネルの音響信号により生成される差分信号に生じる聴覚ノイズを抑制する。
【解決手段】差分スペクトル算出部３２０は、周波数スペクトル生成部３１１および３１２からの左および右チャンネルの周波数スペクトルの差分絶対値を差分スペクトルとして算出する。低レベル帯域判定部３３０は、全周波数帯域における差分スペクトルのうち、低レベル帯域に対応する差分スペクトルを判定する。置換スペクトル生成部３５０は、差分スペクトルを置き換えるための置換スペクトルを左チャンネルの周波数スペクトルに基づいて生成する。スペクトル置換部３６０は、低レベル帯域に対応する差分スペクトルを、その差分スペクトルに対応する置換スペクトルに置き換える。伴奏信号生成部３７０は、スペクトル置換部３６０から出力された周波数スペクトルを時間領域の信号に変換することによって伴奏信号を生成する。
【解決手段】差分スペクトル算出部３２０は、周波数スペクトル生成部３１１および３１２からの左および右チャンネルの周波数スペクトルの差分絶対値を差分スペクトルとして算出する。低レベル帯域判定部３３０は、全周波数帯域における差分スペクトルのうち、低レベル帯域に対応する差分スペクトルを判定する。置換スペクトル生成部３５０は、差分スペクトルを置き換えるための置換スペクトルを左チャンネルの周波数スペクトルに基づいて生成する。スペクトル置換部３６０は、低レベル帯域に対応する差分スペクトルを、その差分スペクトルに対応する置換スペクトルに置き換える。伴奏信号生成部３７０は、スペクトル置換部３６０から出力された周波数スペクトルを時間領域の信号に変換することによって伴奏信号を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音響信号処理装置に関し、特に音響信号に含まれる音声成分を抑制する音響信号処理装置、および、これらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
従来、ボーカルが中央に定位するステレオ信号に基づいて、そのステレオ信号に含まれるボーカルの音声成分を抑制するステレオ信号処理装置が数多く考案されている。例えば、左チャンネル信号から右チャンネル信号を減算することによって、両チャンネルにそれぞれ含まれる同位相、同レベルのボーカル信号を除去するボーカル信号除去装置が提案されている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開昭６３−５０１９８号公報（図１）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述の従来技術では、左チャンネル信号から右チャンネル信号を減算することによって、ステレオ信号に含まれるボーカル信号である音声成分が除去された音楽信号を得ることができる。しかしながら、符号化によって圧縮されたステレオ信号を復号した圧縮信号に基づいて、その左および右チャンネルの圧縮信号の差分信号である音楽信号を生成すると、聴覚上のノイズが生じる場合がある。これは、ステレオ信号に対する符号化処理によって、左および右チャンネルの圧縮信号における同一周波数帯域のスペクトルレベルが互いに等しくなることに起因する。
【０００５】
本発明はこのような状況に鑑みてなされたものであり、複数チャンネルの音響信号により生成される差分信号に生じる聴覚ノイズを抑制することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、上記課題を解決するためになされたものであり、その第１の側面は、複数チャンネルの音響信号のうち略等しい周波数分布の音声成分が含まれる２チャンネルの音響信号における周波数スペクトルの差分を差分スペクトルとして算出する差分スペクトル算出部と、上記差分スペクトル算出部により算出された差分スペクトルの包絡線におけるレベル低下が急峻である周波数帯域を低レベル帯域と判定する低レベル帯域判定部と、上記差分スペクトルを置き換えるための置換スペクトルを上記２チャンネルの音響信号における周波数スペクトルの少なくとも一方に基づいて生成する置換スペクトル生成部と、上記差分スペクトル算出部により算出された差分スペクトルのうち上記低レベル帯域に対応する上記差分スペクトルを上記置換スペクトルに置き換えるスペクトル置換部と、上記スペクトル置換部から出力された周波数スペクトルを時間領域の信号に変換することによって伴奏信号を生成する伴奏信号生成部とを具備する音響信号処理装置およびその処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、２チャンネルの音響信号における周波数スペクトルに基づいて置換スペクトルを生成し、差分スペクトルの包絡線におけるレベル低下が急峻である低レベル帯域に対応する差分スペクトルを置換スペクトルに置き換えさせるという作用をもたらす。
【０００７】
また、この第１の側面において、上記置換スペクトル生成部は、上記２チャンネルの音響信号における少なくとも一方の周波数スペクトルと上記置換スペクトルのレベルを調整するための所定のレベル調整係数とに基づいて上記置換スペクトルを生成するようにしてもよい。これにより、２チャンネルの音響信号における少なくとも一方の周波数スペクトルのレベルにレベル調整係数を乗算したレベルを置換スペクトルのレベルとして生成させるという作用をもたらす。この場合において、上記置換スペクトル生成部は、音声帯域以外の帯域に対応する上記レベル調整係数に比べて小さい上記音声帯域の上記レベル調整係数と上記少なくとも一方の周波数スペクトルのレベルとに基づいて上記置換スペクトルを生成するようにしてもよい。これにより、音声帯域以外の帯域に比べて、音声帯域の置換スペクトルのレベルの低下度合いを大きくさせるという作用をもたらす。
【０００８】
また、この第１の側面において、上記２チャンネルの音響信号における少なくとも一方の周波数スペクトルにおける音声帯域以外の帯域および上記音声帯域に対応する上記周波数スペクトルのレベル比に基づいて上記音声帯域に対応する音声係数を設定する音声係数設定部をさらに具備し、置換スペクトル生成部は、上記少なくとも一方の周波数スペクトルと上記音声係数設定部により設定された音声係数とに基づいて上記置換スペクトルを生成するようにしてもよい。これにより、音声帯域以外の帯域に対応する周波数スペクトルの平均レベルと、音声帯域に対応する周波数スペクトルの平均レベルとのレベル比に基づいて設定された音声帯域に対応する音声係数を用いて置換スペクトルを生成させるという作用をもたらす。この場合において、上記音声係数設定部は、上記音声帯域以外の帯域に対応する上記周波数スペクトルのレベルが大きくなるほど上記音声係数を大きく設定し、上記音声帯域に対応する上記周波数スペクトルのレベルが大きくなるほど上記音声係数を小さく設定するようにしてもよい。これにより、音声係数設定部により、音声帯域以外の帯域に対応する周波数スペクトルのレベルが大きくなるほど音声係数を大きく設定し、音声帯域に対応する周波数スペクトルのレベルが大きくなるほど音声係数を小さく設定させるという作用をもたらす。
【０００９】
また、この第１の側面において、上記低レベル帯域判定部は、上記包絡線におけるレベル低下が急峻である周波数帯域を特定するための低レベル閾値と上記差分スペクトルの各々のレベルとに基づいて上記低レベル帯域を判定するようにしてもよい。これにより、低レベル判定部により、差分スペクトルの各々のレベルが低レベル閾値未満である場合には、低レベル閾値未満の差分スペクトルに対応する周波数帯域を低レベル帯域と判定させるという作用をもたらす。この場合において、上記低レベル帯域判定部は、上記２チャンネルの音響信号における少なくとも一方の周波数スペクトルのレベルに基づいて設定した上記低レベル閾値と上記差分スペクトルのレベルとを用いて上記低レベル帯域を判定するようにしてもよい。これにより、低レベル帯域判定部により、２チャンネルの音響信号における少なくとも一方の周波数スペクトルのレベルに基づいて低レベル閾値を設定させるという作用をもたらす。
【発明の効果】
【００１０】
本発明によれば、複数チャンネルの音響信号により生成される差分信号に生じる聴覚ノイズを抑制することができるという優れた効果を奏し得る。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１の実施の形態における音楽再生装置の一構成例を示すブロック図である。
【図２】従来の音響信号符号化装置の一構成を示すブロック図である。
【図３】正規化部７２１および７２２により分割される周波数スペクトルに関する一例を示す概念図である。
【図４】本発明の第１の実施の形態における音響信号復号処理部２００の一構成例を示すブロック図である。
【図５】本発明の第１の実施の形態における音声成分除去部３００の一構成例を示すブロック図である。
【図６】左および右チャンネルにおける音響信号の差分に基づいて生成される差分信号における音声成分および伴奏成分の周波数分布の一例を示す概念図である。
【図７】音響信号符号化装置７００における量子化部７３１および７３２による量子化に起因して生じる低レベル帯域に関する図である。
【図８】音響信号符号化装置７００における共有帯域符号化部８００による共有帯域符号化処理に起因して発生する低レベル帯域に関する図である。
【図９】本発明の第１の実施の形態における差分スペクトル算出部３２０により算出された差分スペクトルに基づく分割帯域Ｂ［ｉ］の一例を示す概念図である。
【図１０】本発明の第１の実施の形態における音声成分除去部３００により低レベル帯域に対応する差分スペクトルを置換スペクトルに置き換える例を示す観念図である。
【図１１】本発明の第１の実施の形態におけるレベル調整係数保持部３４０に保持されたレベル調整係数の周波数特性３４１の一例を示す図である。
【図１２】本発明の第１の実施の形態における低レベル帯域判定部３３０による低レベル帯域に対応する差分スペクトルの判定手法例に関する図である。
【図１３】本発明の第１の実施の形態における音声成分除去部３００による伴奏信号生成手法の処理手順例を示すフローチャートである。
【図１４】本発明の第１の実施の形態における低レベル帯域判定部３３０による低レベル帯域判定処理（ステップＳ９３０）の処理手順例を示すフローチャートである。
【図１５】本発明の第１の実施の形態におけるスペクトル置換部３６０によるスペクトル置換処理（ステップＳ９４０）の処理手順例を示すフローチャートである。
【図１６】本発明の第２の実施の形態における音声成分除去部３００の一構成例を示す図である。
【図１７】本発明の第２の実施の形態における音声係数設定部６５１による音声係数の設定手法に関する一例を示す図である。
【図１８】本発明の第２の実施の形態における音声成分除去部３００におけるスペクトル置換処理（ステップＳ９５０）の処理手順例を示すフローチャートである。
【図１９】本発明の第３の実施の形態における音声成分除去部３００の一構成例を示すブロック図である。
【発明を実施するための形態】
【００１２】
以下、本発明を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（伴奏信号生成手法：左チャンネルの周波数成分に基づいて置換スペクトルを生成する例）
２．第２の実施の形態（伴奏信号生成手法：置換スペクトルのレベル調整の音声係数を左チャンネルの周波数成分に基づいて設定する例）
３．第３の実施の形態（伴奏信号生成手法：右および左チャンネルの周波数成分に基づいて置換スペクトルを生成する例）
【００１３】
＜１．第１の実施の形態＞
［音楽再生装置の構成例］
図１は、本発明の第１の実施の形態における音楽再生装置の一構成例を示すブロック図である。音楽再生装置１００は、操作受付部１１０と、制御部１２０と、表示部１３０と、音響データ記憶部１４０と、音響データ入力部１５０と、アナログ変換部１６０と、アンプ１７０と、スピーカ１８０とを備える。なお、音楽再生装置１００は、特許請求の範囲に記載の音響信号処理装置の一例である。
【００１４】
操作受付部１１０は、音楽再生装置１００を使用するユーザの操作に基づく各種設定を受け付けるものである。この操作受付部１１０は、例えば、音響データ記憶部１４０に記憶された複数の音響データのうちいずれか１つの音響データを再生するための設定を受け付ける。また、この操作受付部１１０は、音響データ記憶部１４０に記憶された音響データを再生する際に、その音響データに含まれる音声成分を低減して、伴奏信号としてスピーカ１８０から出力するカラオケ機能の設定を受け付ける。また、操作受付部１１０は、その受け付けた設定に基づいて設定信号を生成して制御部１２０に供給する。
【００１５】
制御部１２０は、操作受付部１１０から供給された設定信号に基づいて、表示部１３０、音響データ記憶部１４０、アナログ変換部１６０、音響信号復号処理部２００および音声成分除去部３００を制御するものである。この制御部１２０は、操作受付部１１０からの転送に関する設定信号に基づいて、音響データ入力部１５０から入力された音響データを、音響データ記憶部１４０に記憶させる。
【００１６】
この制御部１２０は、例えば、ＰＣＭ（Pulse Code Modulation：パスル符号変調）符号により生成されたデジタル信号である音響信号を、音響データとして音響データ記憶部１４０に記憶する。また、この制御部１２０は、例えば、音響信号が符号化された音響符号化データを、音響データとして音響データ記憶部１４０に記憶する。
【００１７】
また、制御部１２０は、操作受付部１１０からの再生に関する設定信号に基づいて、音響データ記憶部１４０に記憶された音響データのうちいずれか１つの音響符号化データを、音響信号復号処理部２００に供給する。また、制御部１２０は、操作受付部１１０からの再生に関する設定信号に基づいて、音響データ入力部１５０からの音響符号化データを音響信号復号処理部２００に供給する。
【００１８】
また、制御部１２０は、音響信号復号処理部２００により復号された音響信号または音響データ記憶部１４０からの音響信号を、デジタル信号としてアナログ変換部１６０に供給する。また、制御部１２０は、操作受付部１１０からのカラオケ機能に関する設定信号に基づいて、音響データ記憶部１４０からの音響信号を音声成分除去部３００に供給する。また、制御部１２０は、操作受付部１１０からのカラオケ機能に関する設定信号に基づいて、音声成分除去部３００によって音響信号に含まれる音声成分が除去された伴奏信号をアナログ変換部１６０に供給する。
【００１９】
また、制御部１２０は、操作受付部１１０からの設定信号に基づいて、音楽再生装置１００に関する各種情報を表示部１３０に表示させる。この制御部１２０は、例えば、音響データ記憶部１４０に記憶された音響データに関する情報を表示部１３０に表示させる。この制御部１２０は、例えば、音響データの再生状況やカラオケ機能などの設定状況などを表示部１３０に表示させる。
【００２０】
表示部１３０は、制御部１２０からの音楽再生装置１００に関する各種情報を表示するものである。この表示部１３０は、例えば、ＬＣＤ（Liquid Crystal Display）により実現することができる。
【００２１】
音響データ記憶部１４０は、制御部１２０から供給される音響データを記憶するものである。この音響データ記憶部１４０は、音響データ入力部１５０からの音響符号化データおよび音響信号を音響データとして記憶する。さらに、この音響データ記憶部１４０は、音響信号復号処理部２００からの音響信号を記憶する。また、音響データ記憶部１４０は、その記憶された音響データを制御部１２０に出力する。
【００２２】
音響データ入力部１５０は、外部装置から入力された音響データを制御部１２０に供給するものである。この音響データ入力部１５０は、例えば、外部装置からの音響符号化データまたは音響信号を制御部１２０に供給する。
【００２３】
アナログ変換部１６０は、制御部１２０から供給される音響信号であるデジタル信号をアナログ信号に変換するものである。このアナログ変換部１６０は、音響信号であるデジタル信号に基づいてアナログ信号である電気信号を生成する。また、アナログ変換部１６０は、その生成された電気信号をアンプ１７０に供給する。
【００２４】
アンプ１７０は、アナログ変換部１６０から供給されたアナログ信号の振幅を増幅するものである。このアンプ１７０は、その増幅したアナログ信号をスピーカ１８０に供給する。スピーカ１８０は、アンプ１７０から供給されたアナログ信号を音波に変換して出力するものである。
【００２５】
音響信号復号処理部２００は、制御部１２０からの音響符号化データを復号するものである。この音響信号復号処理部２００は、その復号された音響符号化データを音響信号として制御部１２０または信号線２９０を介して音声成分除去部３００に供給する。
【００２６】
音声成分除去部３００は、音響信号復号処理部２００または音響データ記憶部１４０からの音響信号に含まれる音声成分および伴奏成分のうち、音声成分を除去することによって、伴奏成分からなる伴奏信号を生成するものである。この音声成分除去部３００は、その生成された伴奏信号を、制御部１２０を介してアナログ変換部１６０に供給する。
【００２７】
このように、音楽再生装置１００は、音声成分除去部３００を設けることによって、音響データ記憶部１４０または音響データ入力部１５０からの音響信号に基づいて、その音響信号に含まれる音声成分が抑制された伴奏信号を生成することができる。ここで、音響データ記憶部１４０または音響データ入力部１５０から供給される音響データを生成する音響信号符号化装置の一例について以下に図面を参照して説明する。
【００２８】
［音響信号符号化装置の構成例］
図２は、従来の音響信号符号化装置の一構成を示すブロック図である。ここでは一例として、インテンシティ法による符号化処理を行う音響信号符号化装置７００について説明する。この音響信号符号化装置７００は、入力線７０１および７０２を介して入力された２チャンネルの音響信号を符号化して、その符号化された音響信号を音響符号化データとして出力線７５９を介して出力するものである。
【００２９】
この音響信号符号化装置７００は、周波数スペクトル生成部７１１および７１２と、正規化部７２１および７２２と、量子化部７３１および７３２と、符号化部７４１および７４２と、多重化部７５０と、共有帯域符号化部８００とを備える。また、共有帯域符号化部８００は、共有帯域選択部８１０と、量子化部８３０と、符号化部８４０とを備える。
【００３０】
周波数スペクトル生成部７１１および７１２は、右および左チャンネルの入力線７０１および７０２から入力された各チャンネルの音響信号を周波数領域に変換することによって、周波数スペクトルを生成するものである。すなわち、周波数スペクトル生成部７１１および７１２は、各チャンネルの音響信号である時間領域信号を周波数成分に変換する。
【００３１】
具体的には、この周波数スペクトル生成部７１１および７１２は、一定の時間間隔によりサンプリングされた離散時間信号である音響信号を一定のサンプリング数単位により抽出して、その抽出された時間領域信号をフレームとして生成する。そして、周波数スペクトル生成部７１１および７１２は、その生成されたフレームを周波数領域に変換することによって周波数スペクトルを生成する。
【００３２】
この周波数スペクトル生成部７１１および７１２は、例えば、各チャンネルの音響信号に対して、高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）を行うことによって算出されたフーリエ係数を、周波数スペクトルとして生成する。あるいは、この周波数スペクトル生成部７１１および７１２は、修正離散余弦変換（ＭＤＣＴ：Modified Discrete Cosine Transform）により算出されたＭＤＣＴ係数を、周波数スペクトルとして生成する。また、周波数スペクトル生成部７１１および７１２は、その生成された各周波数成分を示す周波数スペクトルを正規化部７２１および７２２に供給する。
【００３３】
正規化部７２１および７２２は、周波数スペクトル生成部７１１および７１２から供給された各周波数スペクトルのレベルに基づいて正規化を行うものである。この正規化部７２１および７２２は、周波数スペクトル生成部７１１および７１２からの周波数スペクトルを所定の周波数帯域ごとに分割する。
【００３４】
また、正規化部７２１および７２２は、その分割された分割帯域（スケールファクタバンド）ごとに、その分割帯域における各周波数スペクトルの最大レベルに基づいて正規化基準値（スケールファクタ）を生成する。そして、この正規化部７２１および７２２は、分割帯域に対応する各周波数スペクトルの振幅レベルに基づくパワー値を、その分割帯域の正規化基準値に基づいて正規化する。すなわち、正規化部７２１および７２２は、分割帯域ごとに各周波数スペクトルのレベルであるパワー値を正規化することによって、分割帯域ごとの正規化成分を生成する。
【００３５】
また、正規化部７２１および７２２は、信号線７２６および７２８を介して、その正規化されたパワー値である正規化値を、量子化部７３１、量子化部７３２および共有帯域選択部８１０に供給する。これとともに、正規化部７２１および７２２は、信号線７２７および７２９を介して、符号化された音響信号を復号する際に必要となるため、各分割帯域の正規化基準値を多重化部７５０に供給する。
【００３６】
量子化部７３１および７３２は、正規化部７２１および７２２から供給された正規化値を分割帯域ごとに量子化するものである。この量子化部７３１および７３２は、分割帯域ごとに設定される量子化ステップ数により、正規化されたパワー値を量子化する。この量子化部７３１および７３２は、例えば、正規化されたパワー値（０乃至１）を一定の量子化ステップ幅により離散値に変換する。すなわち、量子化部７３１および７３２は、分割帯域ごとに正規化値を量子化することによって、分割帯域ごとの量子化成分を生成する。
【００３７】
また、量子化部７３１および７３２は、信号線７３６および７３８を介して、その量子化されたパワー値である量子化値を符号化部７４１および７４２に供給する。これとともに、量子化部７３１および７３２は、信号線７３７および７３９を介して、符号化された音響信号を復号する際に必要となるため、各分割帯域の量子化ステップ数を多重化部７５０に供給する。
【００３８】
符号化部７４１および７４２は、符号化テーブルを参照して、量子化部７３１および７３２からの量子化値を分割帯域ごとに符号化するものである。この符号化部７４１および７４２は、例えば、符号化テーブルとして固定長または可変長のコードブックを参照して、量子化値に基づいて所定のビット長を有する符号に変換する。このように、参照される符号化テーブルに基づいて量子化値を符号化することによって、量子化値の情報量を圧縮することができる。
【００３９】
また、符号化部７４１および７４２は、信号線７４６および７４８を介して、符号化された量子化値を符号化データとして多重化部７５０に供給する。これとともに、符号化部７４１および７４２は、信号線７４７および７４９を介して、符号化された音響信号を復号する際に必要となるため、参照した符号化テーブルのテーブル識別情報を分割帯域ごとに供給する。
【００４０】
共有帯域符号化部８００は、同一分割帯域における２チャンネルの正規化値の相関性が高い場合に、その分割帯域における一方のチャンネルの正規化値のみを符号化する共有帯域符号化処理を行うものである。この共有帯域選択部８１０は、正規化部７２１からの左チャンネルの正規化値と、正規化部７２２からの右チャンネルの正規化値との相関性が高い分割帯域を共有帯域として選択する。
【００４１】
この共有帯域選択部８１０は、分割帯域ごとに右チャンネルおよび左チャンネルの正規化値に基づいて相関度を算出して、その算出された相関度が一定の相関度閾値を超えた場合には、この分割帯域における一方のチャンネルの正規化値を共有帯域として選択する。また、共有帯域選択部８１０は、その選択された共有帯域を示す共有帯域情報を、信号線８１９を介して多重化部７５０に供給する。
【００４２】
また、共有帯域選択部８１０は、その選択された共有帯域における一方のチャンネルの正規化値を、信号線８１８を介して量子化部８３０に供給する。この共有帯域選択部８１０は、例えば、選択された共有帯域における左チャンネルの正規化値を量子化部８３０に供給する。
【００４３】
量子化部８３０は、共有帯域選択部８１０から供給された正規化値を量子化するものである。この量子化部８３０の機能については、量子化部７３１および７３２と同様のものであるため、ここでの詳細な説明を省略する。この量子化部８３０は、信号線８３９を介して量子化ステップ数を多重化部７５０に供給するとともに、信号線８３８を介して量子化値を符号化部８４０に供給する。
【００４４】
符号化部８４０は、量子化部８３０から供給された量子化値を符号化するものである。この符号化部８４０の機能については、符号化部７４１および７４２と同様のものであるため、ここでの詳細な説明を省略する。この符号化部８４０は、信号線８４９を介してテーブル識別情報を多重化部７５０に供給するとともに、信号線８４８を介して符号化データを多重化部７５０に供給する。
【００４５】
多重化部７５０は、正規化部７２１および７２２と、共有帯域選択部８１０と、量子化部７３１、７３２および８３０と、符号化部７４１、７４２および８４０とからそれぞれ供給されるデータを１つの符号列に多重化するものである。この多重化部７５０は、２チャンネルの正規化基準値、量子化ステップ数、テーブル識別情報および符号化データと、共有帯域符号化部８００からの共有帯域情報、正規化基準値、量子化ステップ数、テーブル識別情報および符号化データとを多重化する。すなわち、多重化部７５０は、これらのデータを時間分割により多重化することによって、１つの符号列（ビットストリーム）を生成する。
【００４６】
また、多重化部７５０は、例えば、共有帯域選択部８１０から供給された共有帯域情報に基づいて、その共有帯域情報に対応する分割帯域における量子化部７３１および７３２と符号化部７４１および７４２とからのデータを多重化する対象から除外する。これにより、２チャンネルの周波数スペクトルのうち、相関性が高い分割帯域における一方のチャンネルの周波数スペクトルのみが符号化された符号化データを多重化することができる。
【００４７】
また、多重化部７５０は、生成された１つの符号列を音響符号化データとして出力線７５９に出力する。この多重化部７５０は、例えば、出力線７５９を介して図１に示した音響データ入力部１５０に音響符号化データを供給する。また、この多重化部７５０は、例えば、出力線７５９を介して音響符号化データを外部記憶装置などに供給する。
【００４８】
このように、音響信号符号化装置７００は、共有帯域符号化部８００を設けて、相関性の高い分割帯域における２チャンネルの符号化データのうち一方のチャンネルの符号化データのみを多重化することによって、音響符号化データ量を削減する。ここで、正規化部７２１および７２２により分割される分割帯域における周波数スペクトルについて以下に図面を参照して簡単に説明する。
【００４９】
［音響信号の周波数成分に対する周波数帯域の分割例］
図３は、正規化部７２１および７２２において分割される周波数スペクトルに関する一例を示す概念図である。図３（ａ）は、左チャンネルの正規化部７２１により音響信号の周波数成分である周波数スペクトルが所定帯域ごとに分割された分割帯域を示す概念図である。図３（ｂ）は、図３（ａ）に示した分割帯域における周波数スペクトルを示す概念図である。
【００５０】
図３（ａ）には、左チャンネル音響信号成分７２０として、周波数スペクトル生成部７１１により生成された左チャンネルの周波数スペクトルの包絡線７２５と、９つの分割帯域Ｂ［０］乃至Ｂ［９］とが示されている。ここでは、縦軸を左チャンネルにおける周波数成分のパワーＰｌとし、横軸を周波数に相当する周波数スペクトル番号（インデックス）ｆとする。
【００５１】
分割帯域Ｂ［０］乃至Ｂ［９］は、正規化部７２１により、周波数スペクトル生成部７１１により生成された周波数スペクトルが、９つに分割された周波数帯域を示す。この分割帯域Ｂ［０］乃至Ｂ［９］のレベル（高さ）は、分割帯域における周波数スペクトルの最大レベルに基づいて算出された正規化基準値（スケールファクタ）を示す。なお、ここでは、低域側の周波数成分に対する人間の聴覚の感度が高いことを考慮して、低域側の分割帯域を狭く、高域になるほど分割帯域を広くするように設定する例を示している。
【００５２】
図３（ｂ）には、分割帯域Ｂ［０］およびＢ［１］に含まれる第０乃至第４の周波数スペクトルのレベルＰｌ（ｆ）が示されている。これらの周波数スペクトルのレベルＰｌ（ｆ）は、第ｆ番の周波数スペクトルの振幅レベルに基づいて算出されたパワー値を示す。例えば、第ｆ番のフーリエ係数の２乗に基づいて算出された値である。なお、ここでは、分割帯域Ｂのインデックスを［ｉ］として表わす。
【００５３】
このように、音響信号符号化装置７００において音響信号を符号化する際には、複数の周波数スペクトルｆを分割帯域Ｂ［ｉ]ごとに関連付けて符号化を行う。次に音響信号符号化装置７００により生成された音響符号化データを復号する音響信号復号処理部２００の構成例について以下に図面を参照して説明する。
【００５４】
［音響信号復号処理部２００の構成例］
図４は、本発明の第１の実施の形態における音響信号復号処理部２００の一構成例を示すブロック図である。音響信号復号処理部２００は、復号部２１０と、左チャンネル逆量子化部２２１と、右チャンネル逆量子化部２２２と、共有帯域逆量子化部２２３と、選択部２３１および２３２と、逆正規化部２４１および２４２と、音響信号生成部２５１および２５２とを備える。
【００５５】
復号部２１０は、信号線１２９から供給される符号列である音響符号化データを復号するものである。この復号部２１０は、音響符号化データを、各チャンネルの正規化基準値、量子化ステップ数、テーブル識別情報および符号化データに分離する。また、復号部２１０は、その分離された音響符号化データのうち符号化データおよびテーブル識別情報を抽出して、その抽出されたテーブル識別情報により特定される復号テーブルを参照することによって、符号化データを量子化値に復号する。
【００５６】
また、復号部２１０は、分離された音響符号化データのうち、左および右チャンネルの量子化ステップ数を、信号線２１４および２１５を介して左チャンネル逆量子化部２２１および右チャンネル逆量子化部２２２にそれぞれ供給する。これとともに、復号部２１０は、右チャンネルおよび左チャンネルの分割帯域ごとの量子化値を、信号線２１１および２１２を介して左チャンネル逆量子化部２２１および右チャンネル逆量子化部２２２にそれぞれ供給する。
【００５７】
また、復号部２１０は、信号線２１３を介して、分離された音響符号化データのうち共有帯域情報により特定される共有帯域の量子化値およびこれに対応する量子化ステップ数を共有帯域逆量子化部２２３に供給する。また、復号部２１０は、信号線２１６および２１７を介して、分離された音響符号化データのうち共有帯域情報に基づいて、共有帯域逆量子化部２２３からの出力を選択するための選択信号を選択部２３１および２３２に供給する。すなわち、復号部２１０は、共有帯域逆量子化部２２３からの共有帯域に対応する出力を、両方のチャンネルの逆正規化部２４１および２４２に同時に供給する。
【００５８】
また、復号部２１０は、信号線２１８および２１９を介して、分離された音響符号化データのうち、および右チャンネルの正規化基準値を、逆正規化部２４１および２４２に分割帯域ごとにそれぞれ供給する。
【００５９】
左および右チャンネル逆量子化部２２１および２２２は、分割帯域ごとに、量子化ステップ数に基づいて量子化値を逆量子化するものである。この左および右チャンネル逆量子化部２２１および２２２は、信号線２１１および２１２からの分割帯域ごとの量子化値を、信号線２１４および２１５からの量子化ステップ数に基づいて各チャンネルの正規化値を生成する。
【００６０】
すなわち、左チャンネル逆量子化部２２１は、信号線２１１からの左チャンネルの量子化値を、信号線２１４からの量子化ステップ数に基づいて左チャンネルの正規化値を生成する。右チャンネル逆量子化部２２２は、信号線２１２からの右チャンネルの量子化値を、信号線２１５からの量子化ステップ数に基づいて右チャンネルの正規化値を生成する。
【００６１】
また、左および右チャンネル逆量子化部２２１および２２２は、その生成された各チャンネルの正規化値を選択部２３１および２３２を介して逆正規化部２４１および２４２にそれぞれ供給する。
【００６２】
共有帯域逆量子化部２２３は、共有帯域情報により特定される共有帯域における量子化値を、これに対応する量子化ステップ数に基づいて逆量子化するものである。この共有帯域逆量子化部２２３は、信号線２１３から供給される量子化値および量子化ステップ数に基づいて、共有帯域における正規化値を生成する。この共有帯域逆量子化部２２３は、その生成された正規化値を選択部２３１および２３２を介して逆正規化部２４１および２４２にそれぞれ供給する。
【００６３】
選択部２３１および２３２は、復号部２１０からの選択信号に基づいて、共有帯域における正規化値と、共有帯域以外の分割帯域における正規化値とを選択して、その選択した正規化値を逆正規化部２４１および２４２に出力するものである。この選択部２３１および２３２は、例えば、共有帯域逆量子化部２２３から共有帯域に対応する正規化値が供給された場合には、復号部２１０からの選択信号に基づいて、逆正規化部２４１および２４２の両者に対して同一の共有帯域に対応する正規化値を出力する。
【００６４】
一方、選択部２３１および２３２は、左および右チャンネル逆量子化部２２１および２２２から正規化値が供給された場合には、復号部２１０からの選択信号に基づいて、逆正規化部２４１および２４２に対して各チャンネルの正規化値を出力する。
【００６５】
逆正規化部２４１および２４２は、分割帯域ごとに、正規化基準値に基づいて正規化値を逆正規化するものである。この逆正規化部２４１および２４２は、選択部２３１および２３２からの分割帯域ごとの正規化値を、信号線２１８および２１９からの正規化基準値により各チャンネルの周波数スペクトルを生成する。
【００６６】
すなわち、左チャンネル逆量子化部２２１は、選択部２３１からの正規化値と、信号線２１８からの正規化基準値とに基づいて、左チャンネルの周波数スペクトルのパワー値を生成する。また、右チャンネル逆量子化部２２２は、選択部２３２からの正規化値と、信号線２１９からの正規化基準値とに基づいて、右チャンネルの周波数スペクトルのパワー値を生成する。また、逆正規化部２４１および２４２は、その生成された各チャンネルの周波数スペクトルを音響信号生成部２５１および２５２にそれぞれ供給する。
【００６７】
音響信号生成部２５１および２５２は、逆正規化部２４１および２４２から供給された各チャンネルの周波数スペクトルに基づいて、各チャンネルの音響信号を生成するものである。すなわち、この音響信号生成部２５１および２５２は、周波数領域のデータである周波数スペクトルを時間領域の信号である音響信号に変換する。この音響信号生成部２５１および２５２は、例えば、各チャンネルの周波数スペクトルに対して高速フーリエ逆変換（ＩＦＦＴ：Inverse FFT）を行うことによって、フレーム単位により時間領域信号を復元する。あるいは、この音響信号生成部２５１および２５２は、逆修正離散余弦変換（ＩＭＤＣＴ：Inverse MDCT）によりフレーム単位により時間領域信号を復元する。
【００６８】
また、音響信号生成部２５１および２５２は、その生成された各チャンネルの音響信号を、左および右チャンネル信号線２９１および２９２にそれぞれ供給する。すなわち、音響信号生成部２５１および２５２は、音声成分除去部３００に対して、右チャンネルおよび左チャンネルの音響信号を供給する。なお、本発明の実施の形態では、音響信号生成部２５１および２５２などにより、符号化された音響信号を復号することによって生成された音響信号を圧縮信号という。
【００６９】
このように、音響信号復号処理部２００では、共有帯域逆量子化部２２３および選択部２３１および２３２を設けることによって、音響信号符号化部７００により符号化された音響符号化データを復号することができる。なお、音響信号復号処理部２００により復号された両チャンネルの音響信号における共有帯域のうち、両チャンネルの正規化基準値が等しい共有帯域においては、その共有帯域における周波数分布が略等しくなる。
【００７０】
なお、ここでは、２チャンネルの音響信号を復号する音響信号復号処理部２００の構成例について説明したが、これに限定されるものではなく、３チャンネル以上の音響信号を復号するようにしてもよい。次に音響信号復号処理部２００または制御部１２０から供給される音響信号に含まれる音声成分を低減する音声成分除去部３００の構成例について以下に図面を参照して説明する。
【００７１】
［音声成分除去部３００の構成例］
図５は、本発明の第１の実施の形態における音声成分除去部３００の一構成例を示すブロック図である。この音声成分除去部３００は、信号線２９０に含まれる左および右チャンネル信号線２９１および２９２を介して音響信号復号処理部２００から供給される各チャンネルの音響信号における音声成分を低減して伴奏信号として出力する。
【００７２】
また、ここでは、２チャンネル以上の複数の音響信号のうち、略等しい周波数分布の音声成分が含まれる２チャンネルの音響信号が、左および右チャンネル信号線２９１および２９２から供給されることを想定する。
【００７３】
音声成分除去部３００は、周波数スペクトル生成部３１１および３１２と、差分スペクトル算出部３２０と、低レベル帯域判定部３３０と、レベル調整係数保持部３４０と、置換スペクトル生成部３５０とを備える。さらに、音声成分除去部３００は、スペクトル置換部３６０および伴奏信号生成部３７０を備える。
【００７４】
周波数スペクトル生成部３１１および３１２は、左および右チャンネル信号線２９１および２９２からの各チャンネルの音響信号を周波数成分に変換することによって、周波数スペクトルを生成するものである。この周波数スペクトル生成部３１１および３１２の機能は、図２に示した周波数スペクトル生成部７１１および７１２と同様のものであるため、ここでの詳細な説明を省略する。
【００７５】
周波数スペクトル生成部３１１は、その生成した左チャンネルの周波数成分を示す各周波数スペクトルを、差分スペクトル算出部３２０、低レベル帯域判定部３３０および置換スペクトル生成部３５０に供給する。また、周波数スペクトル生成部３１２は、その生成した右チャンネルの各周波数スペクトルを差分スペクトル算出部３２０に供給する。
【００７６】
差分スペクトル算出部３２０は、周波数スペクトル生成部３１１および３１２からの同一周波数に対応する周波数スペクトルのレベルの差分絶対値を、差分スペクトルとして算出する算出部である。すなわち、この差分スペクトル算出部３２０は、複数チャンネルの音響信号のうち、略等しい周波数分布の音声成分が含まれる２チャンネルの音響信号における周波数スペクトルの差分を差分スペクトルとして算出する。このように、右チャンネルの周波数スペクトルと、左チャンネルの周波数スペクトルとの差分を算出することによって、音響信号における音声成分を低減することができる。
【００７７】
この差分スペクトル算出部３２０は、左チャンネルの周波数スペクトルのレベルであるパワー値から右チャンネルの周波数スペクトルのパワー値を減算した減算値の絶対値を、差分スペクトルのパワー値として算出する。この差分スペクトル算出部３２０は、例えば、左チャンネルにおける第０番の周波数スペクトルのパワー値から、右チャンネルにおける第０番の周波数スペクトルのパワー値を減算することによって、その差分絶対値を第０番の差分スペクトルとして算出する。
【００７８】
また、差分スペクトル算出部３２０は、その算出された差分スペクトルを、低レベル帯域判定部３３０およびスペクトル置換部３６０に供給する。なお、差分スペクトル算出部３２０は、特許請求の範囲に記載の差分スペクトル算出部の一例である。
【００７９】
低レベル帯域判定部３３０は、差分スペクトル算出部３２０により算出される差分スペクトルの包絡線におけるレベル低下が急峻である周波数帯域を低レベル帯域と判定するものである。この低レベル帯域判定部３３０は、周波数スペクトルの包絡線におけるレベル低下が急峻である周波数帯域を特定するための低レベル閾値と、差分スペクトルの各々のレベルとを比較する。
【００８０】
この低レベル帯域判定部３３０は、例えば、事前に設定された低レベル閾値と、全ての差分スペクトルの振幅レベルに基づくパワー値とを比較する。その他の例として、この低レベル帯域判定部３３０は、比較対象の差分スペクトルに対応する左チャンネルの周波数スペクトルのレベルに基づいて低レベル閾値を設定して、その設定された低レベル閾値と差分スペクトルとを比較する。この例において、低レベル帯域判定部３３０は、左チャンネルの周波数スペクトルにおける平均値や大局的なエンベロープなどを用いるようにしてもよい。
【００８１】
また、低レベル帯域判定部３３０は、その比較結果に基づいて、差分スペクトルのレベルが低レベル閾値未満であるか否かを差分スペクトルごとに判断する。そして、低レベル帯域判定部３３０は、低レベル閾値未満である差分スペクトルを低レベル帯域と判定する。すなわち、低レベル帯域判定部３３０は、例えば、低レベル閾値と、差分スペクトルのレベルとの差分が一定の条件を超えた場合には、その差分スペクトルを低レベル帯域と判定する。
【００８２】
また、低レベル帯域判定部３３０は、その低レベル帯域と判定された差分スペクトルを別のスペクトルに置き換えるために、置換情報を差分スペクトルごとに生成する。この低レベル帯域判定部３３０は、例えば、低レベル帯域と判定した場合には、真（ＴＲＵＥ）を示す置換情報を生成し、低レベル帯域でないと判定した場合には、偽（Ｆａｌｓｅ）を示す置換情報を生成する。
【００８３】
また、低レベル帯域判定部３３０は、その生成された置換情報をスペクトル置換部３６０に供給する。なお、低レベル帯域判定部３３０は、特許請求の範囲に記載の低レベル帯域判定部の一例である。
【００８４】
置換スペクトル生成部３５０は、差分スペクトルが低レベル帯域と判定された場合に差分スペクトルの成分を別の成分に置き換えるための置換スペクトルを、その差分スペクトルに対応する左チャンネルの周波数スペクトルに基づいて生成するものである。すなわち、この置換スペクトル生成部３５０は、差分スペクトルを置き換えるための置換スペクトルを２チャンネルの周波数スペクトルのうち少なくとも一方に基づいて生成する。
【００８５】
この置換スペクトル生成部３５０は、例えば、左チャンネルの周波数スペクトルと、レベル調整係数保持部３４０に保持された所定のレベル調整係数とに基づいて、置換スペクトルを生成する。この置換スペクトル生成部３５０は、左チャンネルの周波数スペクトルと、当該周波数スペクトルに対応するレベル調整係数との乗算値を、置換スペクトルのレベルとして生成する。
【００８６】
また、置換スペクトル生成部３５０は、その生成された置換スペクトルをスペクトル置換部３６０に供給する。なお、置換スペクトル生成部３５０は、特許請求の範囲に記載の置換スペクトル生成部の一例である。
【００８７】
レベル調整係数保持部３４０は、置換スペクトルのレベルを調整するためのレベル調整係数を保持するものである。このレベル調整係数保持部３４０は、例えば、予め定められたレベル調整係数を保持する。この場合において、レベル調整係数保持部３４０は、例えば、音声帯域に対応するレベル調整係数が、音声帯域以外の帯域に対応するレベル調整係数に比べて小さい数値であるレベル調整係数を保持する。すなわち、置換スペクトル生成部３５０により、音声帯域以外の帯域に対応するレベル調整係数に比べて小さい音声帯域のレベル調整係数と、左チャンネルの周波数スペクトルとに基づいて置換スペクトルが生成される。また、レベル調整係数保持部３４０は、その保持されたレベル調整係数を置換スペクトル生成部３５０に出力する。
【００８８】
スペクトル置換部３６０は、差分スペクトル算出部３２０により算出された各差分スペクトルのうち低レベル帯域に対応する差分スペクトルを、置換スペクトルに置き換えるものである。このスペクトル置換部３６０は、低レベル帯域判定部３３０からの置換情報に基づいて、差分スペクトル算出部３２０からの差分スペクトルを、置換スペクトル生成部３５０からの置換スペクトルに置き換える。
【００８９】
このスペクトル置換部３６０は、具体的には、低レベル帯域であると判定された差分スペクトルのレベルを、この差分スペクトルに対応する置換スペクトルのレベルに変換する。このスペクトル置換部３６０は、例えば、第１番の差分スペクトルに対応する置換情報が真（ＴＲＵＥ）を示す場合には、左チャンネルにおける第１番の周波数スペクトルに基づいて生成された置換スペクトルを、新たな第１番の差分スペクトルとして置き換える。
【００９０】
また、スペクトル置換部３６０は、低レベル帯域であると判定された差分スペクトルのレベルを、この差分スペクトルに対応する置換スペクトルのレベルに置き換えて、伴奏信号生成部３７０に出力する。一方、スペクトル置換部３６０は、低レベル帯域でないと判定された差分スペクトルのレベルをそのまま伴奏信号生成部３７０に出力する。なお、スペクトル置換部３６０は、特許請求の範囲に記載のスペクトル置換部の一例である。
【００９１】
伴奏信号生成部３７０は、スペクトル置換部３６０から出力された全周波数帯域における周波数スペクトルを時間領域の信号に変換することによって、伴奏信号を生成するものである。この伴奏信号生成部３７０は、スペクトル置換部３６０から出力された周波数成分を示す周波数スペクトルである周波数領域のデータを、時間領域の信号である伴奏信号に変換する。
【００９２】
この伴奏信号生成部３７０は、例えば、周波数スペクトルに対して高速フーリエ逆変換を行うことによって、フレーム単位により時間領域信号を復元する。その他の例として、この伴奏信号生成部３７０は、逆修正離散余弦変換により時間領域信号をフレーム単位ごとに復元する。
【００９３】
また、伴奏信号生成部３７０は、その生成された伴奏信号を信号線１２８に出力する。すなわち、伴奏信号生成部３７０は、その伴奏信号を制御部１２０に供給して、スピーカ１８０から伴奏音として出力する。なお、伴奏信号生成部３７０は、特許請求の範囲に記載の伴奏信号生成部の一例である。
【００９４】
このように、低レベル帯域判定部３３０を設けることによって、差分スペクトル算出部３２０により算出された差分スペクトルのうち、低レベル帯域に対応する差分スペクトルを判定することができる。また、置換スペクトル生成部３５０を設けることによって、差分スペクトルの近似する周波数特性を有する左チャンネルの周波数スペクトルに基づいて置換スペクトルを生成することができる。これにより、本来の差分スペクトルの周波数特性に近似する置換スペクトルを生成することができるため、より自然な差分スペクトルに補正することができる。
【００９５】
また、スペクトル置換部３６０を設けることによって、低レベル帯域の周波数スペクトルのレベルを、置換スペクトル生成部３５０により生成された置換スペクトルのレベルに置き換えることができる。ここで、差分スペクトル算出部３２０により算出される差分スペクトルについて以下に図面を参照して説明する。
【００９６】
［差分スペクトル算出部３２０による音響信号の周波数分布例］
図６は、左および右チャンネルにおける音響信号の差分に基づいて生成される差分信号における音声成分および伴奏成分の周波数分布の一例を示す概念図である。ここでは、ボーカルの音声が中央に定位し、伴奏における各楽器の定位が散在する右および左チャンネルの音響信号であるステレオ信号を減算部３２１において減算することによって差分信号を生成することを想定する。
【００９７】
図６（ａ）および（ｂ）は、左チャンネル信号成分として、左チャンネルの音響信号に含まれる音声成分および伴奏成分の周波数分布を示す図である。図６（ｃ）および（ｄ）は、右チャンネル信号成分として、右チャンネルの音響信号に含まれる音声成分および伴奏成分の周波数分布を示す図である。また、図６（ａ）乃至（ｄ）における縦軸をパワーとし、横軸を周波数とする。
【００９８】
図６（ａ）には、左チャンネルの音響信号に含まれる伴奏成分Ｐｌｉが示されている。この左チャンネルの伴奏成分Ｐｌｉは、主に、２００Ｈｚ以下の周波数帯域に大きなパワーが分布する。図６（ｂ）には、左チャンネルの音響信号に含まれる音声成分Ｐｌｖが示されている。この左チャンネルの音声成分Ｐｌｖは、主に、２００Ｈｚ乃至２ＫＨｚの周波数帯域に大きなパワーが分布する。
【００９９】
図６（ｃ）には、右チャンネルの音響信号に含まれる伴奏成分Ｐｒｉが示されている。この右チャンネルの伴奏成分Ｐｒｉは、左チャンネルの伴奏成分Ｐｌｉの周波数分布とは異なるが、主に、２００Ｈｚ以下の周波数帯域に大きなパワーが分布する。図６（ｄ）には、右チャンネルの音響信号に含まれる音声成分Ｐｒｖが示されている。この右チャンネルの音声成分Ｐｒｖは、左チャンネルの音声成分Ｐｌｖと等しい周波数分布であり、２００Ｈｚ乃至２ＫＨｚの周波数帯域に大きなパワーが分布する。
【０１００】
このように、ボーカル音声が中央に定位するステレオ信号においては、左チャンネルの音声成分と、右チャンネルの音声成分とが互いに略等しい周波数分布を示す。これに対し、伴奏成分については、各楽器の定位が空間的に散らばっているため、左チャンネルおよび右チャンネルの周波数分布が互いに異なる傾向がある。
【０１０１】
図６（ｅ)および（ｆ）は、図６（ａ）乃至（ｄ）に示される右および左チャンネルの音響信号の差分絶対値により生成される差分信号に含まれる音声成分および伴奏成分の周波数分布を示す図である。ここでは、縦軸をパワーとし、横軸を周波数とする。
【０１０２】
図６（ｅ）には、差分信号に含まれる伴奏成分Ｐｄｉが示されている。この差分信号の伴奏成分Ｐｄｉは、右および左チャンネルの伴奏成分ＰｌｉおよびＰｒｉの周波数分布が異なるため、両チャンネルの周波数成分により相殺される度合いが小さい。
【０１０３】
図６（ｆ）には、差分信号に含まれる音声成分Ｐｄｖが示されている。また、ここでは、右または左チャンネルの音声成分ＰｌｖまたはＰｒｖの周波数分布が破線により示されている。差分信号における音声成分Ｐｄｖは、右および左チャンネルの音声成分ＰｌｖおよびＰｒｖの周波数分布が互いに等しいため、両チャンネルの周波数成分により音声成分が相殺される。
【０１０４】
このように、ボーカル音声が中央に定位する２チャンネルの音響信号においては、一方のチャンネルの音響信号から、他方のチャンネルの音響信号を減算することによって、音声成分が抑制された伴奏信号を生成することができる。なお、ここでは、時間領域において生成される差分信号について説明したが、２チャンネルの音響信号を周波数スペクトルに変換した後、これらの差分絶対値により算出された差分スペクトルに基づいて差分信号を生成する場合においても同様に音声成分が抑制される。すなわち、互いに略等しい周波数分布を示す音声成分が含まれる２チャンネルの音響信号において、これらの周波数スペクトルの差分により算出された差分スペクトルを時間領域の信号に変換することによって、音声成分が抑制された差分信号を生成することができる。
【０１０５】
しかしながら、図２に示した音響信号符号化装置７００などによって圧縮された音響信号が復号された圧縮後の音響信号に基づいて差分信号を生成すると、その差分信号の周波数成分においてその振幅レベルが極端に低い低レベル帯域が生じる場合がある。このような差分信号における低レベル帯域の発生は、人間の聴覚上、耳障りな雑音として現われてしまう。ここで、復号された圧縮後の音響信号である圧縮信号に基づいて生成された差分信号に生じる低レベル帯域の発生原因に関して以下に図面を参照して説明する。
【０１０６】
［量子化誤差による低レベル帯域の発生例］
図７は、音響信号符号化装置７００における量子化部７３１および７３２による量子化に起因して生じる低レベル帯域に関する図である。図７（ａ）および（ｂ）は、音響信号符号化装置７００における正規化部７２１および７２２によりそれぞれ生成された左正規化成分７７１および右正規化成分７７２の一例を示す図である。図７（ｃ）は、左正規化成分７７１および右正規化成分７７２の差分絶対値である正規化差分絶対値７７３を示す図である。
【０１０７】
図７（ｄ）および（ｅ）は、音響信号符号化装置７００における量子化部７３１および７３２により、左正規化成分７７１および右正規化成分７７２がそれぞれ量子化された左量子化成分７８１および右量子化成分７８２の一例を示す図である。図７（ｆ）は、左量子化成分７８１および右量子化成分７８２の差分絶対値である量子化差分絶対値７８３を示す図である。
【０１０８】
図７（ａ）には、左チャンネルにおける第ｉ番の分割帯域Ｂ［ｉ］に含まれる４つの周波数スペクトル（ｆ１乃至ｆ４）の正規化値Ｐｌが示されている。図７（ｂ）には、右チャンネルにおける第ｉ番の分割帯域Ｂ［ｉ］に含まれる４つの周波数スペクトル（ｆ１乃至ｆ４）の正規化値Ｐｒが示されている。
【０１０９】
図７（ｃ）には、右および左チャンネルにおける周波数スペクトル（ｆ１乃至ｆ４）の正規化値の差分絶対値Ｐｄが示されている。この周波数スペクトル（ｆ１乃至ｆ４）の差分絶対値Ｐｄは、互いに異なったレベルを示す。
【０１１０】
図７（ｄ）には、左チャンネルにおける第ｉ番の分割帯域Ｂ［ｉ］に含まれる４つの周波数スペクトル（ｆ１乃至ｆ４）の量子化値Ｑが示されている。例えば、第ｆ１番の周波数スペクトルについては、その正規化値が量子化されることによって、量子化値Ｑが「２」に設定される。
【０１１１】
図７（ｅ）には、右チャンネルにおける第ｉ番の分割帯域Ｂ［ｉ］に含まれる４つの周波数スペクトル（ｆ１乃至ｆ４）の量子化値Ｑが示されている。例えば、第ｆ１番の周波数スペクトルについては、その正規化値が量子化されることによって、量子化値Ｑが左チャンネルと同じ「２」に設定される。
【０１１２】
図７（ｆ）には、右および左チャンネルにおける同一の周波数スペクトル（ｆ１乃至ｆ４）の量子化値の差分絶対値Ｑが示されている。これらの周波数スペクトル（ｆ１乃至ｆ４）の差分絶対値Ｑは、図７（ｃ）に示した差分絶対値７７３とは異なり、全て「０」となる。これは、各チャンネルの正規化値が量子化されることによって、周波数スペクトル（ｆ１乃至ｆ４）の正規化値が５つの量子化値Ｑ（０乃至４）に限定されることに起因する。すなわち、量子化により生じる量子化誤差によって、第ｉ番の分割帯域Ｂ［ｉ］における各周波数スペクトル（ｆ１乃至ｆ４）の量子化差分絶対値Ｑが全て「０」になる。
【０１１３】
このように、正規化部７２１および７２２により生成された正規化成分７７１および７７７２が互いに異なっていても、量子化部７３１および７３２において量子化されることにより、右および左チャンネルの量子化値が同一となってしまう場合がある。この場合において、両チャンネルの量子化値が同一となった第ｉ番の分割帯域Ｂ［ｉ］に対応する正規化基準値が互いに一致するときは、この第ｉ番の分割帯域Ｂ［ｉ］に対応する周波数帯域が差分信号における低レベル帯域となる。
【０１１４】
［共有帯域符号化による低レベル帯域の発生例］
図８は、音響信号符号化装置７００における共有帯域符号化部８００による共有帯域符号化処理に起因して発生する低レベル帯域に関する図である。ここでは、共有帯域符号化部８００により、左および右チャンネルの正規化成分の相関度が高い第ｉ番の分割帯域Ｂ［ｉ］が共有帯域と判定され、その共有帯域における左チャンネルの正規化成分が量子化させることを想定している。
【０１１５】
図８（ａ）および（ｂ）は、音響信号符号化装置７００における正規化部７２１および７２２によりそれぞれ生成された左正規化成分７７１および右正規化成分７７４の一例を示す図である。図８（ｃ）は、左正規化成分７７１および右正規化成分７７４の差分絶対値である正規化差分絶対値７７５を示す図である。
【０１１６】
図８（ｄ）および（ｅ）は、共有帯域符号化部８００により、左正規化成分７７１によって生成された量子化成分が、右および左チャンネルの量子化成分７８１および右量子化成分７８４として共有される例を示す図である。図７（ｆ）は、左量子化成分７８１および右量子化成分７８４の差分絶対値である量子化差分絶対値７８５を示す図である。
【０１１７】
図８（ａ）には、左チャンネルにおける第ｉ番の分割帯域Ｂ［ｉ］に含まれる４つの周波数スペクトル（ｆ１乃至ｆ４）の正規化値Ｐｌが示されている。図８（ｂ）には、右チャンネルにおける第ｉ番の分割帯域Ｂ［ｉ］に含まれる４つの周波数スペクトル（ｆ１乃至ｆ４）の正規化値Ｐｒが示されている。
【０１１８】
図８（ｃ）には、右および左チャンネルにおける周波数スペクトル（ｆ１乃至ｆ４）の正規化値の差分絶対値Ｐｄが示されている。この周波数スペクトル（ｆ１乃至ｆ４）の差分絶対値Ｐｄは、互いに異なったレベルを示す。
【０１１９】
図８（ｄ）には、左チャンネルにおける第ｉ番の分割帯域Ｂ［ｉ］に含まれる４つの周波数スペクトル（ｆ１乃至ｆ４）の量子化値Ｑが示されている。この４つの周波数スペクトル（ｆ１乃至ｆ４）の量子化値は、図７（ｄ）と同様のものである。
【０１２０】
図８（ｅ）には、右チャンネルにおける第ｉ番の分割帯域Ｂ［ｉ］に含まれる４つの周波数スペクトル（ｆ１乃至ｆ４）の量子化値Ｑが示されている。この右チャンネルの４つの周波数スペクトル（ｆ１乃至ｆ４）の量子化値Ｑは、左チャンネルの量子化値Ｑと同じ値を示す。すなわち、この周波数スペクトル（ｆ１乃至ｆ４）の量子化値Ｑは、共有帯域符号化部８００により第ｉ番の分割帯域Ｂ［ｉ］が共有帯域と判定されたことによって、左チャンネルの量子化値Ｑが、右チャンネルの量子化値Ｑにも用いられることを示している。
【０１２１】
図８（ｆ）には、右および左チャンネルにおける周波数スペクトル（ｆ１乃至ｆ４）の量子化値の差分絶対値Ｑが示されている。この周波数スペクトル（ｆ１乃至ｆ４）の差分絶対値Ｑは、図８（ｃ）に示した差分絶対値７７３とは異なり、全て「０」となる。これは、共有帯域符号化部８００により、左チャンネルの分割帯域Ｂ［ｉ］における周波数スペクトルの正規化値が、両チャンネルの正規化値として共有されることに起因する。
【０１２２】
このように、正規化部７２１および７２２により生成された正規化成分７７１および７７４が異なっていても、共有帯域符号化部８００により生成された量子化値成分が両チャンネルの量子化値として共有されるため、復号時において量子化値が互いに等しくなる。このため、共有帯域符号化部８００により第ｉ番の分割帯域［ｉ］の正規化値が共有された符号化データを復号して、その復号された圧縮信号に基づいて差分スペクトルを算出すると、第ｉ番の分割帯域［ｉ］に対応する差分スペクトルが低レベル帯域となる。
【０１２３】
［圧縮信号における低レベル帯域の発生例］
図９は、本発明の第１の実施の形態における差分スペクトル算出部３２０により算出された差分スペクトルに基づく分割帯域Ｂ［ｉ］の一例を示す概念図である。ここでは、便宜上、図３（ａ）に示した周波数スペクトル包絡線７２５のようなスペクトル包絡線を省略している。
【０１２４】
図９（ａ）および（ｂ）は、周波数スペクトル生成部３１１および３１２により生成された、左および右チャンネルの音響信号における圧縮信号成分３１３および３１４を例示する図である。図９（ｃ）は、差分スペクトル算出部３２０により算出された差分スペクトルに基づく差分絶対値成分３２１を例示する図である。ここでは、縦軸を分割帯域Ｂ［ｉ］に対応する正規化基準値（スケールファクタ）の大きさとし、横軸を周波数とする。
【０１２５】
左および右チャンネル圧縮信号成分３１３および３１４は、符号化された音響信号を復号して復元された圧縮信号における左および右チャンネルの周波数分布を、１０個の分割帯域Ｂ［０］乃至［９］により観念的に示している。なお、この分割帯域Ｂ［ｉ］には、図３（ｂ）に示したとおり、複数の周波数スペクトルが含まれている。
【０１２６】
差分絶対値成分３２１は、左および右チャンネル圧縮信号成分３１３および３１４における周波数スペクトルの差分絶対値の周波数分布を、１０個の分割帯域Ｂ［０］乃至［９］により観念的に示している。ここで、第１番の分割帯域Ｂ［１］は、図７で述べたように、量子化により両チャンネルの量子化値が互いに等しくなり、各差分スペクトルのレベルが著しく低下する低レベル帯域である。また、第５、第７および第８の分割帯域Ｂ［５］、Ｂ［７］およびＢ［８］は、図８で述べたとおり、共有帯域符号化により両チャンネルの量子化値が互いに等しくなり、各差分スペクトルのレベルが大きく低下する低レベル帯域である。
【０１２７】
このように、量子化または共有帯域符号化などの処理によって、差分スペクトル算出部３２０により算出された差分スペクトルのレベルが極端に低くなる低レベル帯域が生じる場合がある。このような低レベル帯域を有する伴奏信号がスピーカ１８０から出力されると、受聴者は、その出力された伴奏信号を耳障りな音として感じる場合がある。そこで、本発明の第１の実施の形態では、低レベル帯域判定部３３０により、低レベル帯域を判定して、その判定された低レベル帯域に対応する差分スペクトルを置換スペクトルに置き換える。ここで、低レベル帯域における差分スペクトルを置換スペクトルに置き換える例について以下に図面を参照して説明する。
【０１２８】
［音声成分除去部３００による差分スペクトルの置換え例］
図１０は、本発明の第１の実施の形態における音声成分除去部３００により低レベル帯域に対応する差分スペクトルを置換スペクトルに置き換える例を示す観念図である。
【０１２９】
図１０（ａ）は、置換スペクトル生成部３５０に供給される左チャンネル圧縮信号成分３１３を示す図である。図１０（ｂ）は、図９（ｃ）に示した差分絶対値成分３２１における低レベル帯域の差分スペクトルを、スペクトル置換部３６０により置換スペクトルに置き換えた後の差分絶対値成分３６１を示す図である。ここでは、縦軸を分割帯域Ｂ［ｉ］に対応する正規化基準値（スケールファクタ）の大きさとし、横軸を周波数とする。また、左チャンネル圧縮信号成分３１３は、図９（ａ）に示したものと同様であるため、ここでの説明を省略する。
【０１３０】
置換後における差分絶対値成分３６１は、低レベル帯域判定部３３０により低レベル帯域と判定された、差分絶対値成分３２１における分割帯域Ｂ［１］、Ｂ［５］、Ｂ［７］およびＢ［８］の差分スペクトルが置換スペクトルに置き換えられた周波数分布を示す。ここでは、便宜上、周波数分布として、周波数スペクトルではなく、分割帯域Ｂ［０］乃至Ｂ［９］により示している。
【０１３１】
これらの分割帯域Ｂ［１］、Ｂ［５］、Ｂ［７］およびＢ［８］の置換スペクトルは、置換スペクトル生成部３５０により、低レベル帯域と判定された差分スペクトルに対応する左チャンネルの周波数スペクトルに基づいて生成される。これらの置換スペクトルのレベルは、置換スペクトル生成部３５０により、低レベル帯域に対応する周波数スペクトルのレベルと、レベル調整係数保持部３４０におけるレベル調整係数とを乗算することによって算出される。
【０１３２】
この例では、第１番の分割帯域Ｂ［１］に含まれる置換スペクトルのレベルは、第１番の分割帯域Ｂ［１］に対応するレベル調整係数ｇ１と、左チャンネルの分割帯域Ｂ［１］に含まれる各周波数スペクトルＰｌとの乗算値により生成される。また、第５番の分割帯域Ｂ［５］に含まれる置換スペクトルのレベルは、第５番の分割帯域Ｂ［５］に対応するレベル調整係数ｇ２と、左チャンネルの分割帯域Ｂ［５］に含まれる各周波数スペクトルＰｌとの乗算値により生成される。
【０１３３】
また、第７番の分割帯域Ｂ［７］に含まれる置換スペクトルのレベルは、第７番の分割帯域Ｂ［７］に対応するレベル調整係数ｇ３と、左チャンネルの分割帯域Ｂ［７］に含まれる各周波数スペクトルＰｌとの乗算値により生成される。また、第５番の分割帯域Ｂ［８］に含まれる置換スペクトルのレベルは、第８番の分割帯域Ｂ［８］に対応するレベル調整係数ｇ４と、左チャンネルの分割帯域Ｂ［８］に含まれる各周波数スペクトルＰｌとの乗算値により生成される。
【０１３４】
このように、低レベル帯域に対応する差分スペクトルを、左チャンネルの周波数スペクトルにレベル調整係数が乗算された置換スペクトルに置き換えることによって、伴奏信号における低レベル帯域を解消することができる。次に、低レベル帯域を解消するための置換スペクトルのレベルを調整するレベル調整係数の周波数特性について以下に図面を参照して簡単に説明する。
【０１３５】
［レベル調整係数の周波数特性例］
図１１は、本発明の第１の実施の形態におけるレベル調整係数保持部３４０に保持されたレベル調整係数の周波数特性３４１の一例を示す図である。ここでは、横軸を周波数とし、縦軸をレベル調整係数の大きさとする。
【０１３６】
レベル調整係数周波数特性３４１は、置換スペクトル生成部３５０により生成される置換スペクトルのレベルを調整するためのレベル調整係数ｇ（ｆ）の周波数特性を示す。このレベル調整係数周波数特性３４１は、音声成分に対応する中音域の音声帯域（ｆｖｌ乃至ｆｖｈ）におけるレベル調整係数と、音声帯域以外の帯域に対応するレベル調整係数との大きさが異なる。
【０１３７】
このレベル調整係数周波数特性３４１における音声帯域以外の帯域に対応するレベル調整係数ｇ（ｆ）は「１．０」である。これにより、置換スペクトル生成部３５０により生成される置換スペクトルのレベルは、左チャンネルの周波数スペクトルのレベルがそのまま適用されることになる。
【０１３８】
一方、レベル調整係数周波数特性３４１における音声帯域（ｆｖｌ乃至ｆｖｈ）に対応するレベル調整係数ｇ（ｆ）はｇｖである。このレベル調整係数ｇｖは「１．０」より小さい値である。受聴者によって差分信号における音声成分が十分に小さくなったと感じるのは０．１程度であるため、このレベル調整係数ｇｖは、０．１程度に設定するのが望ましい。しかしながら、差分信号における周波数特性によっては、０．１程度に設定しても不自然に感じる場合があるため、このような場合には、レベル調整係数ｇｖを０．２乃至０．３程度に設定するようにしてもよい。
【０１３９】
このように、音声帯域（ｆｖｌ乃至ｆｖｈ）以外の帯域に対応するレベル調整係数に比べて、音声成分を含む音声帯域に対応するレベル調整係数ｇｖを小さく設定することによって、音声成分が十分に抑制された、違和感のない伴奏信号を生成することができる。次に、低レベル帯域判定部３３０により、低レベル帯域に対応する差分スペクトルを判定するための判定手法について以下に図面を参照して説明する。
【０１４０】
［低レベル帯域に対応する差分スペクトルの判定手法］
図１２は、本発明の第１の実施の形態における低レベル帯域判定部３３０による低レベル帯域に対応する差分スペクトルの判定手法例に関する図である。ここでは、左チャンネルスペクトル包絡線３１５と、左チャンネルスペクトル平滑線３３１と、差分スペクトル包絡線３２２と、低レベル閾値線３３２とが示されている。また、ここでは、縦軸をパワーとし、横軸を周波数とする。
【０１４１】
左チャンネルスペクトル包絡線３１５は、周波数スペクトル生成部３１１により生成された左チャンネルの周波数スペクトルＰｌ（ｆ）の包絡線を示す。この周波数スペクトルのレベルＰｌ（ｆ）は、大局的には、周波数ｆが大きくなるほど小さくなる。
【０１４２】
左チャンネルスペクトル平滑線３３１は、左チャンネルスペクトル包絡線３１５を平滑化することにより生成される平滑線ＳＭＴ（ｆ）である。この例では、平滑線ＳＭＴ（ｆ）は、左チャンネルの周波数スペクトルのレベルに基づいて直線の傾きを算出することによって生成される。
【０１４３】
なお、左チャンネルスペクトル平滑線３３１は、例えば、移動平均により生成するようにしてもよい。また、ここでは、左チャンネルの周波数スペクトルに基づいて平滑線３３１を算出する例について示したが、差分スペクトル包絡線３２２に基づいて平滑線ＳＭＴ（ｆ）を生成するようにしてもよい。
【０１４４】
差分スペクトル包絡線３２２は、差分スペクトル算出部３２０により算出された差分スペクトルＤ（ｆ）の包絡線である。この差分スペクトル包絡線３２２は、レベル低下が急峻である第１および第２の低レベル帯域Δｆａ（ｆｌａ乃至ｆｈａ）およびΔｆｂ（ｆｌｂ乃至ｆｈｂ）を示す。また、この差分スペクトルのレベルＤ（ｆ）は、大局的には、左チャンネルスペクトル包絡線３１５と同じように、周波数ｆが大きくなるに連れて小さくなる。このように、差分スペクトルＤ（ｆ）および左チャンネルの周波数スペクトルＰｌ（ｆ）は、大局的に近似する特性を有する傾向がある。
【０１４５】
なお、ここでは、差分スペクトル包絡線３２２における第１および第２の低レベル帯域（ΔｆａおよびΔｆｂ）に対応する差分スペクトルのレベルは互いに異なっている。これは、量子化または共有帯域符号化により左および右チャンネルの量子化値が互いに一致する帯域を有する符号化データが復号される際に、各チャンネルの周波数スペクトルが周波数領域から時間領域に変換されることに起因する。この変換処理により、左および右チャンネルの共有帯域における周波数スペクトルのレベルに僅かな差が生じるため、差分スペクトル包絡線３２２における第１および第２の低レベル帯域（ΔｆａおよびΔｆｂ）におけるスペクトルレベルに差が生じている。
【０１４６】
低レベル閾値線３３２は、左チャンネルスペクトル平滑線３３１と、一定の閾値係数とに基づいて設定される低レベル閾値ＴＨ（ｆ）の線である。この閾値係数は、想定される低レベル帯域のレベルに応じて設定されるものである。なお、閾値係数が大きすぎると、低レベル帯域判定部３３０により低レベル帯域でない帯域を低レベル帯域と誤判定する場合があるため、閾値係数は極力小さい値に設定するのが望ましい。
【０１４７】
このように、低レベル帯域判定部３３０は、左チャンネルの周波数スペクトルのレベルＰｌ（ｆ）と閾値係数とを用いることによって、差分スペクトルの大局的な周波数特性に近似し易い低レベル閾値線３３２を設定することができる。これにより、低レベル帯域判定部３３０は、全周波数帯域に対して一定の閾値を設けた場合に比べて、より正確な低レベル帯域に対応する差分スペクトルを判定することができる。なお、ここでは、左チャンネルの周波数スペクトルに基づいて低レベル閾値線３３２を生成する例について説明したが、右チャンネルの周波数スペクトルまたは２チャンネルの周波数スペクトルを加算したものを用いるようにしてもよい。
【０１４８】
［音声成分除去部３００の動作例］
次に本発明の第１の実施の形態における音声成分除去部３００の動作について図面を参照して説明する。
【０１４９】
図１３は、本発明の第１の実施の形態における音声成分除去部３００による伴奏信号生成方法の処理手順例を示すフローチャートである。
【０１５０】
まず、周波数スペクトル生成部３１１および３１２により、左および右チャンネル信号線２９１および２９２から供給されたステレオ信号に基づいて、チャンネルごとにＮ個の周波数スペクトルが生成される（ステップＳ９１１）。
【０１５１】
そして、低レベル帯域判定部３３０により、左チャンネルにおけるＮ個の周波数スペクトルのレベルＰｌ（０乃至Ｎ−１）に基づいて、左チャンネルのスペクトル平滑線ＳＭＴ（ｆ）が算出される（ステップＳ９１２）。続いて、差分スペクトルの算出対象となる各チャンネルの周波数スペクトルＰｌ（ｆ）およびＰｒ（ｆ）のスペクトル番号ｆが「０」に設定される（ステップＳ９１３）。
【０１５２】
この後、周波数スペクトル生成部３１１および３１２から、左および右チャンネルにおける第０番の周波数スペクトルのレベルＰｌ（０）およびＰｒ（０）がそれぞれ出力される（ステップＳ９１４）。そして、差分スペクトル算出部３２０により、右および左チャンネルにおける第０番の周波数スペクトルの差分（Ｐｌ（０）−Ｐｒ（０））の絶対値である第０番の差分スペクトルＤ（０）が算出される（ステップＳ９１５）。なお、ステップＳ９１５は、特許請求の範囲に記載の差分スペクトル算出手順の一例である。
【０１５３】
そして、低レベル帯域判定部３３０により、その算出された第０番の差分スペクトルＤ（０）が低レベル帯域に対応する差分スペクトルであるか否かを判定する低レベル帯域判定処理が実行される（ステップＳ９３０）。そして、スペクトル置換部３６０により、第０番の差分スペクトルＤ（０）に対応する置換情報Ｉｎｆｏ（０）が真（ＴＲＵＥ）であるか否かが判断される（ステップＳ９１６）。
【０１５４】
そして、置換情報Ｉｎｆｏ（０）が真（ＴＲＵＥ）である場合には、スペクトル置換処理が実行される（ステップＳ９４０）。一方、置換情報Ｉｎｆｏ（０）が真（ＴＲＵＥ）でない場合には、置換スペクトル生成部３５０によって第０番の差分スペクトル（０）が置換スペクトルに置き換えられることなく、ステップＳ９１７に進む。
【０１５５】
次に、スペクトル番号ｆに「１」が加算される（ステップＳ９１７）。そして、その加算されたスペクトル番号ｆがスペクトル数Ｎ未満であるか否かが判断される（ステップＳ９１８）。そして、スペクトル番号ｆがスペクトル数Ｎ未満である場合には、ステップＳ９１４に戻り、スペクトル番号ｆがスペクトル数Ｎと一致するまで、ステップＳ９１４乃至Ｓ９１８およびＳ９３０の一連の処理が繰り返される。
【０１５６】
一方、スペクトル番号ｆがスペクトル数Ｎと一致した場合には、伴奏信号生成部３７０により、スペクトル置換部３６０から出力されたＮ個の差分スペクトルＤ（０乃至Ｎ−１）が時間領域信号に変換されることによって伴奏信号が生成される（ステップＳ９１９）。これにより、左および右チャンネル信号線２９１および２９１から供給されたステレオ信号に含まれる音声成分が抑制された伴奏信号生成処理が終了する。なお、ステップＳ９１９は、特許請求の範囲に記載の伴奏信号生成手順の一例である。
【０１５７】
［低レベル帯域判定部３３０の動作例］
図１４は、本発明の第１の実施の形態における低レベル帯域判定部３３０による低レベル帯域判定処理（ステップＳ９３０）の処理手順例を示すフローチャートである。
【０１５８】
まず、ステップＳ９１２の処理において生成されたスペクトル平滑線ＳＭＴ（ｆ）に一定の閾値係数αが乗算された低レベル閾値ＴＨ（ｆ）が算出される（ステップＳ９３１）。なお、この例では、ステップＳ９１２において、全ての周波数スペクトルに基づいてスペクトル平滑線ＳＭＴ（ｆ）を生成する例について説明したが、過去の一定数の周波数スペクトルＰｌ（ｆ）の平均値をスペクトル平滑線ＳＭＴ（ｆ）とするようにしてもよい。
【０１５９】
そして、差分スペクトル算出部３２０から出力された差分スペクトルのレベルＤ（ｆ）が、低レベル閾値ＴＨ（ｆ）未満であるか否が判断される（ステップＳ９３２）。すなわち、差分スペクトル算出部３２０から出力された差分スペクトルＤ（ｆ）が低レベル帯域に対応する差分スペクトルであるか否かが判定される。
【０１６０】
そして、差分スペクトルＤ（ｆ）が、低レベル閾値ＴＨ（ｆ）未満である場合には、その差分スペクトルのレベルを置換スペクトルのレベルに置き換えるために、置換情報Ｉｎｆｏ（ｆ）が真（ＴＲＵＥ）に設定される（ステップＳ９３３）。すなわち、差分スペクトルの包絡線におけるレベル低下が急峻である周波数帯域を低レベル帯域と判定する。なお、ステップＳ９３２およびＳ９３３は、特許請求の範囲に記載の低レベル帯域判定手順の一例である。
【０１６１】
一方、差分スペクトルＤ（ｆ）が、低レベル閾値ＴＨ（ｆ）以上である場合には、その差分スペクトルＤ（ｆ）を置換スペクトルに置き換える必要が無いため、置換情報Ｉｎｆｏ（ｆ）が偽（ＦＡＬＳＥ）に設定される（ステップＳ９３４）。これらのステップＳ９３３またはＳ９３４の処理が実行されて、低レベル帯域判定処理が終了する。
【０１６２】
［置換スペクトル生成部３５０およびスペクトル置換部３６０の動作例］
図１５は、本発明の第１の実施の形態におけるスペクトル置換部３６０によるスペクトル置換処理（ステップＳ９４０）の処理手順例を示すフローチャートである。
【０１６３】
まず、置換スペクトル生成部３５０により、レベル調整係数保持部３４０からレベル調整係数ｇ（ｆ）が取得される（ステップＳ９４１）。続いて、置換スペクトル生成部３５０により、左チャンネルの周波数スペクトル生成部３１１から周波数スペクトルＰｌ（ｆ）が取得される（ステップＳ９４２）。
【０１６４】
そして、置換スペクトル生成部３５０により、その取得されたレベル調整係数ｇ（ｆ）と、左チャンネルの周波数スペクトルＰｌ（ｆ）とを乗算することによって、置換スペクトルＲ（ｆ）が算出される（ステップＳ９４３）。すなわち、置換スペクトル生成部３５０により、差分スペクトルを置き換えるための置換スペクトルを左チャンネルの音響信号における周波数スペクトルに基づいて生成される。なお、ステップＳ９４３は、特許請求の範囲に記載の置換スペクトル生成手順の一例である。
【０１６５】
続いて、スペクトル置換部３６０により、その算出された置換スペクトルＲ（ｆ）に、低レベル帯域に対応する差分スペクトルＤ（ｆ）を置き換えることによって、新たな差分スペクトルＤ（ｆ）が生成されて（ステップＳ９４４）、スペクトル置換処理が終了する。なお、ステップＳ９４４は、特許請求の範囲に記載のスペクトル置換手順の一例である。
【０１６６】
このように、本発明の第１の実施の形態では、左チャンネルの周波数スペクトルＰｌ（ｆ）に基づいて生成される置換スペクトルに、低レベル帯域に対応する差分スペクトルＤ（ｆ）を置き換えることによって、違和感のない伴奏信号を生成することができる。
【０１６７】
また、図１１に示したように、音声帯域に対応するレベル調整係数ｇ（ｆ）を他の帯域に比べて小さく設定することによって、伴奏信号の音声成分を十分に抑制することができる。しかしながら、この場合において、伴奏信号における伴奏成分が大きいときは、音声帯域に対応する置換スペクトルのレベルが他の差分スペクトルのレベルに比べて相対的に小さくなり過ぎてしまい、聴覚上、違和感の残る伴奏信号となってしまうことがある。
【０１６８】
これに対して、伴奏成分の大きさに応じて音声帯域に対応する置換スペクトルのレベルを調整することにより、置換スペクトルおよび他の差分スペクトルのレベル差が大きくなり過ぎることを抑制するために改良したものが、次に説明する第２の実施の形態である。
【０１６９】
＜２．第２の実施の形態＞
［音声成分除去部３００の構成例］
図１６は、本発明の第２の実施の形態における音声成分除去部３００の一構成例を示す図である。この音声成分除去部３００は、図５に示した置換スペクトル生成部３５０に代えて、音声係数設定部６５１および置換スペクトル生成部６５２を備えている。ここでは、音声係数設定部６５１および置換スペクトル生成部６５２以外の構成は、図５と同様のものであるため、図５と同一符号を付してここでの説明を省略する。
【０１７０】
音声係数設定部６５１は、周波数スペクトル生成部３１１からの左チャンネルの周波数スペクトルと、レベル調整係数保持部３４０における音声帯域に対応するレベル調整係数とに基づいて、音声係数を設定するものである。この音声係数設定部６５１は、左チャンネルの全体の周波数スペクトルにおける音声帯域以外の帯域および音声帯域に対応する周波数スペクトルの両者のレベル比に基づいて、音声帯域に対応する音声係数を設定する。
【０１７１】
この音声係数設定部６５１は、例えば、左チャンネルの周波数スペクトルのうち、音声帯域以外に対応する周波数スペクトルの平均レベルと、音声帯域に対応する周波数スペクトルの平均レベルとのレベル比に基づいて音声係数を設定する。すなわち、音声係数設定部６５１は、音声帯域以外の帯域に対応する周波数スペクトルのレベルが大きくなるほど音声係数を大きく設定し、音声帯域に対応する周波数スペクトルのレベルが大きくなるほど音声係数を小さく設定する。
【０１７２】
また、音声係数設定部６５１は、その設定された音声係数と、レベル調整係数保持部３４０における音声帯域以外に対応するレベル調整係数とを置換スペクトル生成部６５２に供給する。なお、音声係数設定部６５１は、特許請求の範囲に記載の音声係数設定部の一例である。
【０１７３】
置換スペクトル生成部６５２は、左チャンネルの周波数スペクトルと、その周波数スペクトルに対応する音声係数設定部６５１からの音声係数またはレベル調整係数とに基づいて置換スペクトルを生成する。この置換スペクトル生成部６５２は、周波数スペクトル生成部３１１からの左チャンネルの周波数スペクトルと、音声係数設定部６５１により設定された音声係数とに基づいて置換スペクトルを生成する。
【０１７４】
この置換スペクトル生成部６５２は、例えば、左チャンネルの周波数スペクトルのレベルと、音声係数設定部６５１からの音声係数またはレベル調整係数とを乗算することによって、置換スペクトルのレベルを算出する。また、置換スペクトル生成部６５２は、その算出された置換スペクトルをスペクトル置換部３６０に供給する。なお、置換スペクトル生成部６５２は、図５に示した置換スペクトル生成部３５０に対応する。また、置換スペクトル生成部６５２は、特許請求の範囲に記載の置換スペクトル生成部の一例である。
【０１７５】
このように、音声係数設定部６５１を設けることによって、左チャンネルの周波数スペクトルのレベルに応じて、音声帯域に対応する置換スペクトルのレベルを調整することができる。ここで、音声係数設定部６５１による音声係数の設定手法に関する例について図面を参照して以下に説明する。
【０１７６】
［音声係数の設定手法の一例］
図１７は、本発明の第２の実施の形態における音声係数設定部６５１による音声係数の設定手法に関する一例を示す図である。ここでは、左チャンネルスペクトル包絡線Ｐｌ（ｆ）３１６と、伴奏帯域平均値Ｐｉａと、音声帯域平均値Ｐｖａとが示されている。また、縦軸をパワー値とし、横軸を周波数とする。
【０１７７】
左チャンネルのスペクトル包絡線Ｐｌ（ｆ）は、周波数スペクトル生成部３１１により生成された左チャンネルの周波数スペクトルＰｌ（ｆ）の包絡線を示す。伴奏帯域平均値Ｐｉａは、伴奏帯域（０乃至ｆｖｌ）における周波数スペクトルＰｌ（ｆ）の平均値を示す。この伴奏帯域平均値Ｐｉａは、音声係数設定部６５１により算出される。音声帯域平均値Ｐｖａは、音声帯域（ｆｖｌ乃至ｆｖｈ）における周波数スペクトルＰｌ（ｆ）の平均値を示す。この音声帯域平均値Ｐｖａは、音声係数設定部６５１により算出される。
【０１７８】
この場合において、音声係数設定部６５１は、例えば、下式に基づいて音声係数Ｖを算出する。ここで、ｇｖは、音声帯域に対応するレベル調整係数保持部３４０におけるレベル調整係数である。
Ｖ ＝ ｇｖ×（Ｐｉａ／Ｐｖａ）
【０１７９】
上式より、伴奏帯域平均値Ｐｉａが大きくなるほど、レベル調整係数ｇｖに基づく音声係数Ｖは大きくなり、音声帯域平均値Ｐｖａが大きくなるほど、レベル調整係数ｇｖに基づく音声係数Ｖは小さくなる。
【０１８０】
このように、音声帯域平均値Ｐｖａに対して伴奏帯域平均値Ｐｉａが大きい場合には、音声係数Ｖはレベル調整係数ｇｖより大きな値を採る。このため、音声帯域に対応する置換スペクトルのレベルが大きくなり、音声帯域以外の帯域に対応する差分スペクトルとのレベル差が小さくなって、伴奏信号における聴覚上の雑音を抑制することができる。
【０１８１】
一方、音声帯域平均値Ｐｖａに対して伴奏帯域平均値Ｐｉａが小さい場合には、音声係数Ｖはレベル調整係数ｇｖより小さな値を採る。このため、音声帯域に対応する置換スペクトルのレベルが小さくなり、音声帯域以外の帯域に対応する差分スペクトルとのレベル差が小さくなって、伴奏信号における聴覚上の雑音を抑制することができる。また、この場合には、音声成分に対応する置換スペクトルのレベルを低減するため、一定のレベル調整係数ｇｖに比べて、伴奏信号における音声成分をさらに抑制することができる。
【０１８２】
このように、本発明の第２の実施の形態では、音声係数設定部６５１を設けることによって、音声帯域に対応する置換スペクトルのレベルを、左チャンネルの周波数スペクトルの特性に応じて調整することができる。すなわち、差分スペクトルの周波数特性に近似する左チャンネルの周波数スペクトルの周波数特性に基づいて、音声帯域に対応する置換スペクトルのレベルを調整することができる。
【０１８３】
これにより、第１の実施の形態に比べて、伴奏信号における差分スペクトルと置換スペクトルとのレベル差により生じる聴覚ノイズを抑制することができる。次に、音声係数設定部６５１の動作についてスペクトル置換処理のフローチャートを参照して以下に説明する。
【０１８４】
［スペクトル置換処理の処理手順例］
図１８は、本発明の第２の実施の形態における音声成分除去部３００におけるスペクトル置換処理（ステップＳ９５０）の処理手順例を示すフローチャートである。このステップＳ９５０処理は、図１３に示したステップＳ９４０の処理に対応する。また、ここでは、音声係数設定部６５１により、周波数スペクトル生成部３１１からの周波数スペクトルのレベルに基づいて伴奏帯域平均値Ｐｉａおよび音声帯域平均値Ｐｖａが算出されていることを想定する。また、レベル調整係数保持部３４０には、図１１に示した音声帯域に対応するレベル調整係数ｇｖが保持されていることとする。
【０１８５】
まず、音声係数設定部６５１により、レベル調整係数保持部３４０からレベル調整係数ｇ（ｆ）が取得される（ステップＳ９５１）。続いて、置換スペクトル生成部６５２により、周波数スペクトル生成部３１１から左チャンネルの周波数スペクトルＰｌ（ｆ）が取得される（ステップＳ９５２）。
【０１８６】
この後、音声係数設定部６５１により、スペクトル番号ｆが音声帯域に対応する番号か否かが判断される（ステップＳ９５３）。そして、スペクトル番号ｆが音声帯域に対応する番号でない場合には、置換スペクトル生成部６５２において、レベル調整係数ｇ（ｆ）と、左チャンネルの周波数スペクトルＰｌ（ｆ）との乗算により、置換スペクトルＲ（ｆ）が算出される（ステップＳ９５８）。
【０１８７】
一方、スペクトル番号ｆが音声帯域に対応する番号である場合には、伴奏帯域平均値Ｐｉａおよび音声帯域平均値Ｐｖａが取得される（ステップＳ９５４）。続いて、音声係数設定部６５１により、音声帯域平均値Ｐｖａに対する伴奏帯域平均値Ｐｉａの割合に、音声帯域に対応するレベル調整係数ｇｖを乗じた音声係数Ｖが算出される（ステップＳ９５５）。
【０１８８】
続いて、置換スペクトル生成部６５２により、その算出された音声係数Ｖと、左チャンネルの周波数スペクトルＰｌ（ｆ）とを乗算することによって、置換スペクトルＲ（ｆ）が算出される（ステップＳ９５６）。なお、ステップＳ９５３乃至Ｓ９５６およびＳ９５８は、特許請求の範囲に記載の置換スペクトル生成手順の一例である。
【０１８９】
そして、スペクトル置換部３６０により、その算出された置換スペクトルＲ（ｆ）が差分スペクトルＤ（ｆ）として置き換えられて（ステップＳ９５７）、スペクトル置換処理が終了する。なお、ステップＳ９５７は、特許請求の範囲に記載のスペクトル置換手順の一例である。
【０１９０】
このように、本発明の第２の実施の形態では、差分スペクトルの周波数特性に近似する左チャンネルの周波数スペクトルにおける伴奏成分の大きさに応じて、音声帯域に対応する置換スペクトルのレベルを適切に調整することができる。
【０１９１】
このように、本発明の実施の形態によれば、圧縮信号における周波数スペクトルに基づいて伴奏信号を生成する場合において、低レベル帯域に対応する差分スペクトルを置換スペクトルに置き換えることによって、違和感のない伴奏信号を生成することができる。すなわち、差分信号の周波数特性に近似する左チャンネルの周波数スペクトルに基づいて差分信号の周波数成分を補正することによって、より自然な伴奏信号を生成することができる。
【０１９２】
なお、本発明の実施の形態では、左チャンネルの周波数スペクトルに基づいて置換スペクトルを生成する例について説明したが、周波数スペクトル生成部３１２からの右チャンネルの周波数スペクトルに基づいて置換スペクトルを生成するようにしてもよい。その他の例として、右および左チャンネルの周波数スペクトルのレベルに基づいて置換スペクトルを生成するようにしてもよい。この場合における音声成分除去部３００の構成例を第３の実施の形態として以下に図面を参照して説明する。
【０１９３】
＜３．第３の実施の形態＞
図１９は、本発明の第３の実施の形態における音声成分除去部３００の一構成例を示すブロック図である。音声成分除去部３００は、図５に示した音声成分除去部３００に加えて周波数スペクトル加算部３８０を備えている。ここでは、周波数スペクトル加算部３８０以外の構成は、図５に示したものと同様であるため、同一符号を付してここでの説明を省略する。
【０１９４】
周波数スペクトル加算部３８０は、周波数スペクトル生成部３１１および３１２からそれぞれ供給される右および左チャンネルの周波数スペクトルを加算して、その加算値を２により除算するものである。すなわち、周波数スペクトル加算部３８０は、左および右チャンネルの周波数スペクトルの平均値を算出する。また、周波数スペクトル加算部３８０は、その算出された周波数スペクトルの平均値を置換スペクトル生成部３５０および低レベル帯域判定部３３０に供給する。
【０１９５】
このように、本発明の第３の実施の形態では、周波数スペクトル加算部３８０を設けることによって、右および左チャンネルの両者の周波数特性の平均値に基づいて置換スペクトルにより差分信号の周波数成分を補正することができる。これにより、右および左チャンネルの音響信号に含まれる成分の偏りが取り除かれるため、より自然なスペクトル補正を行うことができる。すなわち、２チャンネルの音響信号における周波数スペクトルの少なくとも一方に基づいて置換スペクトルを生成することによって、伴奏信号に対する聴覚ノイズを抑制することができる。
【０１９６】
なお、本発明の実施の形態では、伴奏信号生成部３７０の後段に、伴奏成分を増強するために、低域の周波数成分を増幅する増強フィルタや、音声成分を減衰するために、中域の周波数成分を減衰させる減衰フィルタなどを設けるようにしてもよい。
【０１９７】
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、本発明の実施の形態において明示したように、本発明の実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本発明の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本発明は実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【０１９８】
また、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。
【符号の説明】
【０１９９】
１００ 音楽再生装置
１１０ 操作受付部
１２０ 制御部
１３０ 表示部
１４０ 音響データ記憶部
１５０ 音響データ入力部
１６０ アナログ変換部
１７０ アンプ
１８０ スピーカ
２００ 音響信号復号処理部
２１０ 復号部
２２１ 左チャンネル逆量子化部
２２２ 右チャンネル逆量子化部
２２３ 共有帯域逆量子化部
２３１、２３２ 選択部
２４１ 逆正規化部
２５１ 音響信号生成部
３００ 音声成分除去部
３１１、３１２ 周波数スペクトル生成部
３２０ 差分スペクトル算出部
３３０ 低レベル帯域判定部
３４０ レベル調整係数保持部
３５０ 置換スペクトル生成部
３６０ スペクトル置換部
３７０ 伴奏信号生成部
３８０ 周波数スペクトル加算部
６５１ 音声係数設定部
６５２ 置換スペクトル生成部
【技術分野】
【０００１】
本発明は、音響信号処理装置に関し、特に音響信号に含まれる音声成分を抑制する音響信号処理装置、および、これらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
従来、ボーカルが中央に定位するステレオ信号に基づいて、そのステレオ信号に含まれるボーカルの音声成分を抑制するステレオ信号処理装置が数多く考案されている。例えば、左チャンネル信号から右チャンネル信号を減算することによって、両チャンネルにそれぞれ含まれる同位相、同レベルのボーカル信号を除去するボーカル信号除去装置が提案されている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開昭６３−５０１９８号公報（図１）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述の従来技術では、左チャンネル信号から右チャンネル信号を減算することによって、ステレオ信号に含まれるボーカル信号である音声成分が除去された音楽信号を得ることができる。しかしながら、符号化によって圧縮されたステレオ信号を復号した圧縮信号に基づいて、その左および右チャンネルの圧縮信号の差分信号である音楽信号を生成すると、聴覚上のノイズが生じる場合がある。これは、ステレオ信号に対する符号化処理によって、左および右チャンネルの圧縮信号における同一周波数帯域のスペクトルレベルが互いに等しくなることに起因する。
【０００５】
本発明はこのような状況に鑑みてなされたものであり、複数チャンネルの音響信号により生成される差分信号に生じる聴覚ノイズを抑制することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、上記課題を解決するためになされたものであり、その第１の側面は、複数チャンネルの音響信号のうち略等しい周波数分布の音声成分が含まれる２チャンネルの音響信号における周波数スペクトルの差分を差分スペクトルとして算出する差分スペクトル算出部と、上記差分スペクトル算出部により算出された差分スペクトルの包絡線におけるレベル低下が急峻である周波数帯域を低レベル帯域と判定する低レベル帯域判定部と、上記差分スペクトルを置き換えるための置換スペクトルを上記２チャンネルの音響信号における周波数スペクトルの少なくとも一方に基づいて生成する置換スペクトル生成部と、上記差分スペクトル算出部により算出された差分スペクトルのうち上記低レベル帯域に対応する上記差分スペクトルを上記置換スペクトルに置き換えるスペクトル置換部と、上記スペクトル置換部から出力された周波数スペクトルを時間領域の信号に変換することによって伴奏信号を生成する伴奏信号生成部とを具備する音響信号処理装置およびその処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、２チャンネルの音響信号における周波数スペクトルに基づいて置換スペクトルを生成し、差分スペクトルの包絡線におけるレベル低下が急峻である低レベル帯域に対応する差分スペクトルを置換スペクトルに置き換えさせるという作用をもたらす。
【０００７】
また、この第１の側面において、上記置換スペクトル生成部は、上記２チャンネルの音響信号における少なくとも一方の周波数スペクトルと上記置換スペクトルのレベルを調整するための所定のレベル調整係数とに基づいて上記置換スペクトルを生成するようにしてもよい。これにより、２チャンネルの音響信号における少なくとも一方の周波数スペクトルのレベルにレベル調整係数を乗算したレベルを置換スペクトルのレベルとして生成させるという作用をもたらす。この場合において、上記置換スペクトル生成部は、音声帯域以外の帯域に対応する上記レベル調整係数に比べて小さい上記音声帯域の上記レベル調整係数と上記少なくとも一方の周波数スペクトルのレベルとに基づいて上記置換スペクトルを生成するようにしてもよい。これにより、音声帯域以外の帯域に比べて、音声帯域の置換スペクトルのレベルの低下度合いを大きくさせるという作用をもたらす。
【０００８】
また、この第１の側面において、上記２チャンネルの音響信号における少なくとも一方の周波数スペクトルにおける音声帯域以外の帯域および上記音声帯域に対応する上記周波数スペクトルのレベル比に基づいて上記音声帯域に対応する音声係数を設定する音声係数設定部をさらに具備し、置換スペクトル生成部は、上記少なくとも一方の周波数スペクトルと上記音声係数設定部により設定された音声係数とに基づいて上記置換スペクトルを生成するようにしてもよい。これにより、音声帯域以外の帯域に対応する周波数スペクトルの平均レベルと、音声帯域に対応する周波数スペクトルの平均レベルとのレベル比に基づいて設定された音声帯域に対応する音声係数を用いて置換スペクトルを生成させるという作用をもたらす。この場合において、上記音声係数設定部は、上記音声帯域以外の帯域に対応する上記周波数スペクトルのレベルが大きくなるほど上記音声係数を大きく設定し、上記音声帯域に対応する上記周波数スペクトルのレベルが大きくなるほど上記音声係数を小さく設定するようにしてもよい。これにより、音声係数設定部により、音声帯域以外の帯域に対応する周波数スペクトルのレベルが大きくなるほど音声係数を大きく設定し、音声帯域に対応する周波数スペクトルのレベルが大きくなるほど音声係数を小さく設定させるという作用をもたらす。
【０００９】
また、この第１の側面において、上記低レベル帯域判定部は、上記包絡線におけるレベル低下が急峻である周波数帯域を特定するための低レベル閾値と上記差分スペクトルの各々のレベルとに基づいて上記低レベル帯域を判定するようにしてもよい。これにより、低レベル判定部により、差分スペクトルの各々のレベルが低レベル閾値未満である場合には、低レベル閾値未満の差分スペクトルに対応する周波数帯域を低レベル帯域と判定させるという作用をもたらす。この場合において、上記低レベル帯域判定部は、上記２チャンネルの音響信号における少なくとも一方の周波数スペクトルのレベルに基づいて設定した上記低レベル閾値と上記差分スペクトルのレベルとを用いて上記低レベル帯域を判定するようにしてもよい。これにより、低レベル帯域判定部により、２チャンネルの音響信号における少なくとも一方の周波数スペクトルのレベルに基づいて低レベル閾値を設定させるという作用をもたらす。
【発明の効果】
【００１０】
本発明によれば、複数チャンネルの音響信号により生成される差分信号に生じる聴覚ノイズを抑制することができるという優れた効果を奏し得る。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１の実施の形態における音楽再生装置の一構成例を示すブロック図である。
【図２】従来の音響信号符号化装置の一構成を示すブロック図である。
【図３】正規化部７２１および７２２により分割される周波数スペクトルに関する一例を示す概念図である。
【図４】本発明の第１の実施の形態における音響信号復号処理部２００の一構成例を示すブロック図である。
【図５】本発明の第１の実施の形態における音声成分除去部３００の一構成例を示すブロック図である。
【図６】左および右チャンネルにおける音響信号の差分に基づいて生成される差分信号における音声成分および伴奏成分の周波数分布の一例を示す概念図である。
【図７】音響信号符号化装置７００における量子化部７３１および７３２による量子化に起因して生じる低レベル帯域に関する図である。
【図８】音響信号符号化装置７００における共有帯域符号化部８００による共有帯域符号化処理に起因して発生する低レベル帯域に関する図である。
【図９】本発明の第１の実施の形態における差分スペクトル算出部３２０により算出された差分スペクトルに基づく分割帯域Ｂ［ｉ］の一例を示す概念図である。
【図１０】本発明の第１の実施の形態における音声成分除去部３００により低レベル帯域に対応する差分スペクトルを置換スペクトルに置き換える例を示す観念図である。
【図１１】本発明の第１の実施の形態におけるレベル調整係数保持部３４０に保持されたレベル調整係数の周波数特性３４１の一例を示す図である。
【図１２】本発明の第１の実施の形態における低レベル帯域判定部３３０による低レベル帯域に対応する差分スペクトルの判定手法例に関する図である。
【図１３】本発明の第１の実施の形態における音声成分除去部３００による伴奏信号生成手法の処理手順例を示すフローチャートである。
【図１４】本発明の第１の実施の形態における低レベル帯域判定部３３０による低レベル帯域判定処理（ステップＳ９３０）の処理手順例を示すフローチャートである。
【図１５】本発明の第１の実施の形態におけるスペクトル置換部３６０によるスペクトル置換処理（ステップＳ９４０）の処理手順例を示すフローチャートである。
【図１６】本発明の第２の実施の形態における音声成分除去部３００の一構成例を示す図である。
【図１７】本発明の第２の実施の形態における音声係数設定部６５１による音声係数の設定手法に関する一例を示す図である。
【図１８】本発明の第２の実施の形態における音声成分除去部３００におけるスペクトル置換処理（ステップＳ９５０）の処理手順例を示すフローチャートである。
【図１９】本発明の第３の実施の形態における音声成分除去部３００の一構成例を示すブロック図である。
【発明を実施するための形態】
【００１２】
以下、本発明を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（伴奏信号生成手法：左チャンネルの周波数成分に基づいて置換スペクトルを生成する例）
２．第２の実施の形態（伴奏信号生成手法：置換スペクトルのレベル調整の音声係数を左チャンネルの周波数成分に基づいて設定する例）
３．第３の実施の形態（伴奏信号生成手法：右および左チャンネルの周波数成分に基づいて置換スペクトルを生成する例）
【００１３】
＜１．第１の実施の形態＞
［音楽再生装置の構成例］
図１は、本発明の第１の実施の形態における音楽再生装置の一構成例を示すブロック図である。音楽再生装置１００は、操作受付部１１０と、制御部１２０と、表示部１３０と、音響データ記憶部１４０と、音響データ入力部１５０と、アナログ変換部１６０と、アンプ１７０と、スピーカ１８０とを備える。なお、音楽再生装置１００は、特許請求の範囲に記載の音響信号処理装置の一例である。
【００１４】
操作受付部１１０は、音楽再生装置１００を使用するユーザの操作に基づく各種設定を受け付けるものである。この操作受付部１１０は、例えば、音響データ記憶部１４０に記憶された複数の音響データのうちいずれか１つの音響データを再生するための設定を受け付ける。また、この操作受付部１１０は、音響データ記憶部１４０に記憶された音響データを再生する際に、その音響データに含まれる音声成分を低減して、伴奏信号としてスピーカ１８０から出力するカラオケ機能の設定を受け付ける。また、操作受付部１１０は、その受け付けた設定に基づいて設定信号を生成して制御部１２０に供給する。
【００１５】
制御部１２０は、操作受付部１１０から供給された設定信号に基づいて、表示部１３０、音響データ記憶部１４０、アナログ変換部１６０、音響信号復号処理部２００および音声成分除去部３００を制御するものである。この制御部１２０は、操作受付部１１０からの転送に関する設定信号に基づいて、音響データ入力部１５０から入力された音響データを、音響データ記憶部１４０に記憶させる。
【００１６】
この制御部１２０は、例えば、ＰＣＭ（Pulse Code Modulation：パスル符号変調）符号により生成されたデジタル信号である音響信号を、音響データとして音響データ記憶部１４０に記憶する。また、この制御部１２０は、例えば、音響信号が符号化された音響符号化データを、音響データとして音響データ記憶部１４０に記憶する。
【００１７】
また、制御部１２０は、操作受付部１１０からの再生に関する設定信号に基づいて、音響データ記憶部１４０に記憶された音響データのうちいずれか１つの音響符号化データを、音響信号復号処理部２００に供給する。また、制御部１２０は、操作受付部１１０からの再生に関する設定信号に基づいて、音響データ入力部１５０からの音響符号化データを音響信号復号処理部２００に供給する。
【００１８】
また、制御部１２０は、音響信号復号処理部２００により復号された音響信号または音響データ記憶部１４０からの音響信号を、デジタル信号としてアナログ変換部１６０に供給する。また、制御部１２０は、操作受付部１１０からのカラオケ機能に関する設定信号に基づいて、音響データ記憶部１４０からの音響信号を音声成分除去部３００に供給する。また、制御部１２０は、操作受付部１１０からのカラオケ機能に関する設定信号に基づいて、音声成分除去部３００によって音響信号に含まれる音声成分が除去された伴奏信号をアナログ変換部１６０に供給する。
【００１９】
また、制御部１２０は、操作受付部１１０からの設定信号に基づいて、音楽再生装置１００に関する各種情報を表示部１３０に表示させる。この制御部１２０は、例えば、音響データ記憶部１４０に記憶された音響データに関する情報を表示部１３０に表示させる。この制御部１２０は、例えば、音響データの再生状況やカラオケ機能などの設定状況などを表示部１３０に表示させる。
【００２０】
表示部１３０は、制御部１２０からの音楽再生装置１００に関する各種情報を表示するものである。この表示部１３０は、例えば、ＬＣＤ（Liquid Crystal Display）により実現することができる。
【００２１】
音響データ記憶部１４０は、制御部１２０から供給される音響データを記憶するものである。この音響データ記憶部１４０は、音響データ入力部１５０からの音響符号化データおよび音響信号を音響データとして記憶する。さらに、この音響データ記憶部１４０は、音響信号復号処理部２００からの音響信号を記憶する。また、音響データ記憶部１４０は、その記憶された音響データを制御部１２０に出力する。
【００２２】
音響データ入力部１５０は、外部装置から入力された音響データを制御部１２０に供給するものである。この音響データ入力部１５０は、例えば、外部装置からの音響符号化データまたは音響信号を制御部１２０に供給する。
【００２３】
アナログ変換部１６０は、制御部１２０から供給される音響信号であるデジタル信号をアナログ信号に変換するものである。このアナログ変換部１６０は、音響信号であるデジタル信号に基づいてアナログ信号である電気信号を生成する。また、アナログ変換部１６０は、その生成された電気信号をアンプ１７０に供給する。
【００２４】
アンプ１７０は、アナログ変換部１６０から供給されたアナログ信号の振幅を増幅するものである。このアンプ１７０は、その増幅したアナログ信号をスピーカ１８０に供給する。スピーカ１８０は、アンプ１７０から供給されたアナログ信号を音波に変換して出力するものである。
【００２５】
音響信号復号処理部２００は、制御部１２０からの音響符号化データを復号するものである。この音響信号復号処理部２００は、その復号された音響符号化データを音響信号として制御部１２０または信号線２９０を介して音声成分除去部３００に供給する。
【００２６】
音声成分除去部３００は、音響信号復号処理部２００または音響データ記憶部１４０からの音響信号に含まれる音声成分および伴奏成分のうち、音声成分を除去することによって、伴奏成分からなる伴奏信号を生成するものである。この音声成分除去部３００は、その生成された伴奏信号を、制御部１２０を介してアナログ変換部１６０に供給する。
【００２７】
このように、音楽再生装置１００は、音声成分除去部３００を設けることによって、音響データ記憶部１４０または音響データ入力部１５０からの音響信号に基づいて、その音響信号に含まれる音声成分が抑制された伴奏信号を生成することができる。ここで、音響データ記憶部１４０または音響データ入力部１５０から供給される音響データを生成する音響信号符号化装置の一例について以下に図面を参照して説明する。
【００２８】
［音響信号符号化装置の構成例］
図２は、従来の音響信号符号化装置の一構成を示すブロック図である。ここでは一例として、インテンシティ法による符号化処理を行う音響信号符号化装置７００について説明する。この音響信号符号化装置７００は、入力線７０１および７０２を介して入力された２チャンネルの音響信号を符号化して、その符号化された音響信号を音響符号化データとして出力線７５９を介して出力するものである。
【００２９】
この音響信号符号化装置７００は、周波数スペクトル生成部７１１および７１２と、正規化部７２１および７２２と、量子化部７３１および７３２と、符号化部７４１および７４２と、多重化部７５０と、共有帯域符号化部８００とを備える。また、共有帯域符号化部８００は、共有帯域選択部８１０と、量子化部８３０と、符号化部８４０とを備える。
【００３０】
周波数スペクトル生成部７１１および７１２は、右および左チャンネルの入力線７０１および７０２から入力された各チャンネルの音響信号を周波数領域に変換することによって、周波数スペクトルを生成するものである。すなわち、周波数スペクトル生成部７１１および７１２は、各チャンネルの音響信号である時間領域信号を周波数成分に変換する。
【００３１】
具体的には、この周波数スペクトル生成部７１１および７１２は、一定の時間間隔によりサンプリングされた離散時間信号である音響信号を一定のサンプリング数単位により抽出して、その抽出された時間領域信号をフレームとして生成する。そして、周波数スペクトル生成部７１１および７１２は、その生成されたフレームを周波数領域に変換することによって周波数スペクトルを生成する。
【００３２】
この周波数スペクトル生成部７１１および７１２は、例えば、各チャンネルの音響信号に対して、高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）を行うことによって算出されたフーリエ係数を、周波数スペクトルとして生成する。あるいは、この周波数スペクトル生成部７１１および７１２は、修正離散余弦変換（ＭＤＣＴ：Modified Discrete Cosine Transform）により算出されたＭＤＣＴ係数を、周波数スペクトルとして生成する。また、周波数スペクトル生成部７１１および７１２は、その生成された各周波数成分を示す周波数スペクトルを正規化部７２１および７２２に供給する。
【００３３】
正規化部７２１および７２２は、周波数スペクトル生成部７１１および７１２から供給された各周波数スペクトルのレベルに基づいて正規化を行うものである。この正規化部７２１および７２２は、周波数スペクトル生成部７１１および７１２からの周波数スペクトルを所定の周波数帯域ごとに分割する。
【００３４】
また、正規化部７２１および７２２は、その分割された分割帯域（スケールファクタバンド）ごとに、その分割帯域における各周波数スペクトルの最大レベルに基づいて正規化基準値（スケールファクタ）を生成する。そして、この正規化部７２１および７２２は、分割帯域に対応する各周波数スペクトルの振幅レベルに基づくパワー値を、その分割帯域の正規化基準値に基づいて正規化する。すなわち、正規化部７２１および７２２は、分割帯域ごとに各周波数スペクトルのレベルであるパワー値を正規化することによって、分割帯域ごとの正規化成分を生成する。
【００３５】
また、正規化部７２１および７２２は、信号線７２６および７２８を介して、その正規化されたパワー値である正規化値を、量子化部７３１、量子化部７３２および共有帯域選択部８１０に供給する。これとともに、正規化部７２１および７２２は、信号線７２７および７２９を介して、符号化された音響信号を復号する際に必要となるため、各分割帯域の正規化基準値を多重化部７５０に供給する。
【００３６】
量子化部７３１および７３２は、正規化部７２１および７２２から供給された正規化値を分割帯域ごとに量子化するものである。この量子化部７３１および７３２は、分割帯域ごとに設定される量子化ステップ数により、正規化されたパワー値を量子化する。この量子化部７３１および７３２は、例えば、正規化されたパワー値（０乃至１）を一定の量子化ステップ幅により離散値に変換する。すなわち、量子化部７３１および７３２は、分割帯域ごとに正規化値を量子化することによって、分割帯域ごとの量子化成分を生成する。
【００３７】
また、量子化部７３１および７３２は、信号線７３６および７３８を介して、その量子化されたパワー値である量子化値を符号化部７４１および７４２に供給する。これとともに、量子化部７３１および７３２は、信号線７３７および７３９を介して、符号化された音響信号を復号する際に必要となるため、各分割帯域の量子化ステップ数を多重化部７５０に供給する。
【００３８】
符号化部７４１および７４２は、符号化テーブルを参照して、量子化部７３１および７３２からの量子化値を分割帯域ごとに符号化するものである。この符号化部７４１および７４２は、例えば、符号化テーブルとして固定長または可変長のコードブックを参照して、量子化値に基づいて所定のビット長を有する符号に変換する。このように、参照される符号化テーブルに基づいて量子化値を符号化することによって、量子化値の情報量を圧縮することができる。
【００３９】
また、符号化部７４１および７４２は、信号線７４６および７４８を介して、符号化された量子化値を符号化データとして多重化部７５０に供給する。これとともに、符号化部７４１および７４２は、信号線７４７および７４９を介して、符号化された音響信号を復号する際に必要となるため、参照した符号化テーブルのテーブル識別情報を分割帯域ごとに供給する。
【００４０】
共有帯域符号化部８００は、同一分割帯域における２チャンネルの正規化値の相関性が高い場合に、その分割帯域における一方のチャンネルの正規化値のみを符号化する共有帯域符号化処理を行うものである。この共有帯域選択部８１０は、正規化部７２１からの左チャンネルの正規化値と、正規化部７２２からの右チャンネルの正規化値との相関性が高い分割帯域を共有帯域として選択する。
【００４１】
この共有帯域選択部８１０は、分割帯域ごとに右チャンネルおよび左チャンネルの正規化値に基づいて相関度を算出して、その算出された相関度が一定の相関度閾値を超えた場合には、この分割帯域における一方のチャンネルの正規化値を共有帯域として選択する。また、共有帯域選択部８１０は、その選択された共有帯域を示す共有帯域情報を、信号線８１９を介して多重化部７５０に供給する。
【００４２】
また、共有帯域選択部８１０は、その選択された共有帯域における一方のチャンネルの正規化値を、信号線８１８を介して量子化部８３０に供給する。この共有帯域選択部８１０は、例えば、選択された共有帯域における左チャンネルの正規化値を量子化部８３０に供給する。
【００４３】
量子化部８３０は、共有帯域選択部８１０から供給された正規化値を量子化するものである。この量子化部８３０の機能については、量子化部７３１および７３２と同様のものであるため、ここでの詳細な説明を省略する。この量子化部８３０は、信号線８３９を介して量子化ステップ数を多重化部７５０に供給するとともに、信号線８３８を介して量子化値を符号化部８４０に供給する。
【００４４】
符号化部８４０は、量子化部８３０から供給された量子化値を符号化するものである。この符号化部８４０の機能については、符号化部７４１および７４２と同様のものであるため、ここでの詳細な説明を省略する。この符号化部８４０は、信号線８４９を介してテーブル識別情報を多重化部７５０に供給するとともに、信号線８４８を介して符号化データを多重化部７５０に供給する。
【００４５】
多重化部７５０は、正規化部７２１および７２２と、共有帯域選択部８１０と、量子化部７３１、７３２および８３０と、符号化部７４１、７４２および８４０とからそれぞれ供給されるデータを１つの符号列に多重化するものである。この多重化部７５０は、２チャンネルの正規化基準値、量子化ステップ数、テーブル識別情報および符号化データと、共有帯域符号化部８００からの共有帯域情報、正規化基準値、量子化ステップ数、テーブル識別情報および符号化データとを多重化する。すなわち、多重化部７５０は、これらのデータを時間分割により多重化することによって、１つの符号列（ビットストリーム）を生成する。
【００４６】
また、多重化部７５０は、例えば、共有帯域選択部８１０から供給された共有帯域情報に基づいて、その共有帯域情報に対応する分割帯域における量子化部７３１および７３２と符号化部７４１および７４２とからのデータを多重化する対象から除外する。これにより、２チャンネルの周波数スペクトルのうち、相関性が高い分割帯域における一方のチャンネルの周波数スペクトルのみが符号化された符号化データを多重化することができる。
【００４７】
また、多重化部７５０は、生成された１つの符号列を音響符号化データとして出力線７５９に出力する。この多重化部７５０は、例えば、出力線７５９を介して図１に示した音響データ入力部１５０に音響符号化データを供給する。また、この多重化部７５０は、例えば、出力線７５９を介して音響符号化データを外部記憶装置などに供給する。
【００４８】
このように、音響信号符号化装置７００は、共有帯域符号化部８００を設けて、相関性の高い分割帯域における２チャンネルの符号化データのうち一方のチャンネルの符号化データのみを多重化することによって、音響符号化データ量を削減する。ここで、正規化部７２１および７２２により分割される分割帯域における周波数スペクトルについて以下に図面を参照して簡単に説明する。
【００４９】
［音響信号の周波数成分に対する周波数帯域の分割例］
図３は、正規化部７２１および７２２において分割される周波数スペクトルに関する一例を示す概念図である。図３（ａ）は、左チャンネルの正規化部７２１により音響信号の周波数成分である周波数スペクトルが所定帯域ごとに分割された分割帯域を示す概念図である。図３（ｂ）は、図３（ａ）に示した分割帯域における周波数スペクトルを示す概念図である。
【００５０】
図３（ａ）には、左チャンネル音響信号成分７２０として、周波数スペクトル生成部７１１により生成された左チャンネルの周波数スペクトルの包絡線７２５と、９つの分割帯域Ｂ［０］乃至Ｂ［９］とが示されている。ここでは、縦軸を左チャンネルにおける周波数成分のパワーＰｌとし、横軸を周波数に相当する周波数スペクトル番号（インデックス）ｆとする。
【００５１】
分割帯域Ｂ［０］乃至Ｂ［９］は、正規化部７２１により、周波数スペクトル生成部７１１により生成された周波数スペクトルが、９つに分割された周波数帯域を示す。この分割帯域Ｂ［０］乃至Ｂ［９］のレベル（高さ）は、分割帯域における周波数スペクトルの最大レベルに基づいて算出された正規化基準値（スケールファクタ）を示す。なお、ここでは、低域側の周波数成分に対する人間の聴覚の感度が高いことを考慮して、低域側の分割帯域を狭く、高域になるほど分割帯域を広くするように設定する例を示している。
【００５２】
図３（ｂ）には、分割帯域Ｂ［０］およびＢ［１］に含まれる第０乃至第４の周波数スペクトルのレベルＰｌ（ｆ）が示されている。これらの周波数スペクトルのレベルＰｌ（ｆ）は、第ｆ番の周波数スペクトルの振幅レベルに基づいて算出されたパワー値を示す。例えば、第ｆ番のフーリエ係数の２乗に基づいて算出された値である。なお、ここでは、分割帯域Ｂのインデックスを［ｉ］として表わす。
【００５３】
このように、音響信号符号化装置７００において音響信号を符号化する際には、複数の周波数スペクトルｆを分割帯域Ｂ［ｉ]ごとに関連付けて符号化を行う。次に音響信号符号化装置７００により生成された音響符号化データを復号する音響信号復号処理部２００の構成例について以下に図面を参照して説明する。
【００５４】
［音響信号復号処理部２００の構成例］
図４は、本発明の第１の実施の形態における音響信号復号処理部２００の一構成例を示すブロック図である。音響信号復号処理部２００は、復号部２１０と、左チャンネル逆量子化部２２１と、右チャンネル逆量子化部２２２と、共有帯域逆量子化部２２３と、選択部２３１および２３２と、逆正規化部２４１および２４２と、音響信号生成部２５１および２５２とを備える。
【００５５】
復号部２１０は、信号線１２９から供給される符号列である音響符号化データを復号するものである。この復号部２１０は、音響符号化データを、各チャンネルの正規化基準値、量子化ステップ数、テーブル識別情報および符号化データに分離する。また、復号部２１０は、その分離された音響符号化データのうち符号化データおよびテーブル識別情報を抽出して、その抽出されたテーブル識別情報により特定される復号テーブルを参照することによって、符号化データを量子化値に復号する。
【００５６】
また、復号部２１０は、分離された音響符号化データのうち、左および右チャンネルの量子化ステップ数を、信号線２１４および２１５を介して左チャンネル逆量子化部２２１および右チャンネル逆量子化部２２２にそれぞれ供給する。これとともに、復号部２１０は、右チャンネルおよび左チャンネルの分割帯域ごとの量子化値を、信号線２１１および２１２を介して左チャンネル逆量子化部２２１および右チャンネル逆量子化部２２２にそれぞれ供給する。
【００５７】
また、復号部２１０は、信号線２１３を介して、分離された音響符号化データのうち共有帯域情報により特定される共有帯域の量子化値およびこれに対応する量子化ステップ数を共有帯域逆量子化部２２３に供給する。また、復号部２１０は、信号線２１６および２１７を介して、分離された音響符号化データのうち共有帯域情報に基づいて、共有帯域逆量子化部２２３からの出力を選択するための選択信号を選択部２３１および２３２に供給する。すなわち、復号部２１０は、共有帯域逆量子化部２２３からの共有帯域に対応する出力を、両方のチャンネルの逆正規化部２４１および２４２に同時に供給する。
【００５８】
また、復号部２１０は、信号線２１８および２１９を介して、分離された音響符号化データのうち、および右チャンネルの正規化基準値を、逆正規化部２４１および２４２に分割帯域ごとにそれぞれ供給する。
【００５９】
左および右チャンネル逆量子化部２２１および２２２は、分割帯域ごとに、量子化ステップ数に基づいて量子化値を逆量子化するものである。この左および右チャンネル逆量子化部２２１および２２２は、信号線２１１および２１２からの分割帯域ごとの量子化値を、信号線２１４および２１５からの量子化ステップ数に基づいて各チャンネルの正規化値を生成する。
【００６０】
すなわち、左チャンネル逆量子化部２２１は、信号線２１１からの左チャンネルの量子化値を、信号線２１４からの量子化ステップ数に基づいて左チャンネルの正規化値を生成する。右チャンネル逆量子化部２２２は、信号線２１２からの右チャンネルの量子化値を、信号線２１５からの量子化ステップ数に基づいて右チャンネルの正規化値を生成する。
【００６１】
また、左および右チャンネル逆量子化部２２１および２２２は、その生成された各チャンネルの正規化値を選択部２３１および２３２を介して逆正規化部２４１および２４２にそれぞれ供給する。
【００６２】
共有帯域逆量子化部２２３は、共有帯域情報により特定される共有帯域における量子化値を、これに対応する量子化ステップ数に基づいて逆量子化するものである。この共有帯域逆量子化部２２３は、信号線２１３から供給される量子化値および量子化ステップ数に基づいて、共有帯域における正規化値を生成する。この共有帯域逆量子化部２２３は、その生成された正規化値を選択部２３１および２３２を介して逆正規化部２４１および２４２にそれぞれ供給する。
【００６３】
選択部２３１および２３２は、復号部２１０からの選択信号に基づいて、共有帯域における正規化値と、共有帯域以外の分割帯域における正規化値とを選択して、その選択した正規化値を逆正規化部２４１および２４２に出力するものである。この選択部２３１および２３２は、例えば、共有帯域逆量子化部２２３から共有帯域に対応する正規化値が供給された場合には、復号部２１０からの選択信号に基づいて、逆正規化部２４１および２４２の両者に対して同一の共有帯域に対応する正規化値を出力する。
【００６４】
一方、選択部２３１および２３２は、左および右チャンネル逆量子化部２２１および２２２から正規化値が供給された場合には、復号部２１０からの選択信号に基づいて、逆正規化部２４１および２４２に対して各チャンネルの正規化値を出力する。
【００６５】
逆正規化部２４１および２４２は、分割帯域ごとに、正規化基準値に基づいて正規化値を逆正規化するものである。この逆正規化部２４１および２４２は、選択部２３１および２３２からの分割帯域ごとの正規化値を、信号線２１８および２１９からの正規化基準値により各チャンネルの周波数スペクトルを生成する。
【００６６】
すなわち、左チャンネル逆量子化部２２１は、選択部２３１からの正規化値と、信号線２１８からの正規化基準値とに基づいて、左チャンネルの周波数スペクトルのパワー値を生成する。また、右チャンネル逆量子化部２２２は、選択部２３２からの正規化値と、信号線２１９からの正規化基準値とに基づいて、右チャンネルの周波数スペクトルのパワー値を生成する。また、逆正規化部２４１および２４２は、その生成された各チャンネルの周波数スペクトルを音響信号生成部２５１および２５２にそれぞれ供給する。
【００６７】
音響信号生成部２５１および２５２は、逆正規化部２４１および２４２から供給された各チャンネルの周波数スペクトルに基づいて、各チャンネルの音響信号を生成するものである。すなわち、この音響信号生成部２５１および２５２は、周波数領域のデータである周波数スペクトルを時間領域の信号である音響信号に変換する。この音響信号生成部２５１および２５２は、例えば、各チャンネルの周波数スペクトルに対して高速フーリエ逆変換（ＩＦＦＴ：Inverse FFT）を行うことによって、フレーム単位により時間領域信号を復元する。あるいは、この音響信号生成部２５１および２５２は、逆修正離散余弦変換（ＩＭＤＣＴ：Inverse MDCT）によりフレーム単位により時間領域信号を復元する。
【００６８】
また、音響信号生成部２５１および２５２は、その生成された各チャンネルの音響信号を、左および右チャンネル信号線２９１および２９２にそれぞれ供給する。すなわち、音響信号生成部２５１および２５２は、音声成分除去部３００に対して、右チャンネルおよび左チャンネルの音響信号を供給する。なお、本発明の実施の形態では、音響信号生成部２５１および２５２などにより、符号化された音響信号を復号することによって生成された音響信号を圧縮信号という。
【００６９】
このように、音響信号復号処理部２００では、共有帯域逆量子化部２２３および選択部２３１および２３２を設けることによって、音響信号符号化部７００により符号化された音響符号化データを復号することができる。なお、音響信号復号処理部２００により復号された両チャンネルの音響信号における共有帯域のうち、両チャンネルの正規化基準値が等しい共有帯域においては、その共有帯域における周波数分布が略等しくなる。
【００７０】
なお、ここでは、２チャンネルの音響信号を復号する音響信号復号処理部２００の構成例について説明したが、これに限定されるものではなく、３チャンネル以上の音響信号を復号するようにしてもよい。次に音響信号復号処理部２００または制御部１２０から供給される音響信号に含まれる音声成分を低減する音声成分除去部３００の構成例について以下に図面を参照して説明する。
【００７１】
［音声成分除去部３００の構成例］
図５は、本発明の第１の実施の形態における音声成分除去部３００の一構成例を示すブロック図である。この音声成分除去部３００は、信号線２９０に含まれる左および右チャンネル信号線２９１および２９２を介して音響信号復号処理部２００から供給される各チャンネルの音響信号における音声成分を低減して伴奏信号として出力する。
【００７２】
また、ここでは、２チャンネル以上の複数の音響信号のうち、略等しい周波数分布の音声成分が含まれる２チャンネルの音響信号が、左および右チャンネル信号線２９１および２９２から供給されることを想定する。
【００７３】
音声成分除去部３００は、周波数スペクトル生成部３１１および３１２と、差分スペクトル算出部３２０と、低レベル帯域判定部３３０と、レベル調整係数保持部３４０と、置換スペクトル生成部３５０とを備える。さらに、音声成分除去部３００は、スペクトル置換部３６０および伴奏信号生成部３７０を備える。
【００７４】
周波数スペクトル生成部３１１および３１２は、左および右チャンネル信号線２９１および２９２からの各チャンネルの音響信号を周波数成分に変換することによって、周波数スペクトルを生成するものである。この周波数スペクトル生成部３１１および３１２の機能は、図２に示した周波数スペクトル生成部７１１および７１２と同様のものであるため、ここでの詳細な説明を省略する。
【００７５】
周波数スペクトル生成部３１１は、その生成した左チャンネルの周波数成分を示す各周波数スペクトルを、差分スペクトル算出部３２０、低レベル帯域判定部３３０および置換スペクトル生成部３５０に供給する。また、周波数スペクトル生成部３１２は、その生成した右チャンネルの各周波数スペクトルを差分スペクトル算出部３２０に供給する。
【００７６】
差分スペクトル算出部３２０は、周波数スペクトル生成部３１１および３１２からの同一周波数に対応する周波数スペクトルのレベルの差分絶対値を、差分スペクトルとして算出する算出部である。すなわち、この差分スペクトル算出部３２０は、複数チャンネルの音響信号のうち、略等しい周波数分布の音声成分が含まれる２チャンネルの音響信号における周波数スペクトルの差分を差分スペクトルとして算出する。このように、右チャンネルの周波数スペクトルと、左チャンネルの周波数スペクトルとの差分を算出することによって、音響信号における音声成分を低減することができる。
【００７７】
この差分スペクトル算出部３２０は、左チャンネルの周波数スペクトルのレベルであるパワー値から右チャンネルの周波数スペクトルのパワー値を減算した減算値の絶対値を、差分スペクトルのパワー値として算出する。この差分スペクトル算出部３２０は、例えば、左チャンネルにおける第０番の周波数スペクトルのパワー値から、右チャンネルにおける第０番の周波数スペクトルのパワー値を減算することによって、その差分絶対値を第０番の差分スペクトルとして算出する。
【００７８】
また、差分スペクトル算出部３２０は、その算出された差分スペクトルを、低レベル帯域判定部３３０およびスペクトル置換部３６０に供給する。なお、差分スペクトル算出部３２０は、特許請求の範囲に記載の差分スペクトル算出部の一例である。
【００７９】
低レベル帯域判定部３３０は、差分スペクトル算出部３２０により算出される差分スペクトルの包絡線におけるレベル低下が急峻である周波数帯域を低レベル帯域と判定するものである。この低レベル帯域判定部３３０は、周波数スペクトルの包絡線におけるレベル低下が急峻である周波数帯域を特定するための低レベル閾値と、差分スペクトルの各々のレベルとを比較する。
【００８０】
この低レベル帯域判定部３３０は、例えば、事前に設定された低レベル閾値と、全ての差分スペクトルの振幅レベルに基づくパワー値とを比較する。その他の例として、この低レベル帯域判定部３３０は、比較対象の差分スペクトルに対応する左チャンネルの周波数スペクトルのレベルに基づいて低レベル閾値を設定して、その設定された低レベル閾値と差分スペクトルとを比較する。この例において、低レベル帯域判定部３３０は、左チャンネルの周波数スペクトルにおける平均値や大局的なエンベロープなどを用いるようにしてもよい。
【００８１】
また、低レベル帯域判定部３３０は、その比較結果に基づいて、差分スペクトルのレベルが低レベル閾値未満であるか否かを差分スペクトルごとに判断する。そして、低レベル帯域判定部３３０は、低レベル閾値未満である差分スペクトルを低レベル帯域と判定する。すなわち、低レベル帯域判定部３３０は、例えば、低レベル閾値と、差分スペクトルのレベルとの差分が一定の条件を超えた場合には、その差分スペクトルを低レベル帯域と判定する。
【００８２】
また、低レベル帯域判定部３３０は、その低レベル帯域と判定された差分スペクトルを別のスペクトルに置き換えるために、置換情報を差分スペクトルごとに生成する。この低レベル帯域判定部３３０は、例えば、低レベル帯域と判定した場合には、真（ＴＲＵＥ）を示す置換情報を生成し、低レベル帯域でないと判定した場合には、偽（Ｆａｌｓｅ）を示す置換情報を生成する。
【００８３】
また、低レベル帯域判定部３３０は、その生成された置換情報をスペクトル置換部３６０に供給する。なお、低レベル帯域判定部３３０は、特許請求の範囲に記載の低レベル帯域判定部の一例である。
【００８４】
置換スペクトル生成部３５０は、差分スペクトルが低レベル帯域と判定された場合に差分スペクトルの成分を別の成分に置き換えるための置換スペクトルを、その差分スペクトルに対応する左チャンネルの周波数スペクトルに基づいて生成するものである。すなわち、この置換スペクトル生成部３５０は、差分スペクトルを置き換えるための置換スペクトルを２チャンネルの周波数スペクトルのうち少なくとも一方に基づいて生成する。
【００８５】
この置換スペクトル生成部３５０は、例えば、左チャンネルの周波数スペクトルと、レベル調整係数保持部３４０に保持された所定のレベル調整係数とに基づいて、置換スペクトルを生成する。この置換スペクトル生成部３５０は、左チャンネルの周波数スペクトルと、当該周波数スペクトルに対応するレベル調整係数との乗算値を、置換スペクトルのレベルとして生成する。
【００８６】
また、置換スペクトル生成部３５０は、その生成された置換スペクトルをスペクトル置換部３６０に供給する。なお、置換スペクトル生成部３５０は、特許請求の範囲に記載の置換スペクトル生成部の一例である。
【００８７】
レベル調整係数保持部３４０は、置換スペクトルのレベルを調整するためのレベル調整係数を保持するものである。このレベル調整係数保持部３４０は、例えば、予め定められたレベル調整係数を保持する。この場合において、レベル調整係数保持部３４０は、例えば、音声帯域に対応するレベル調整係数が、音声帯域以外の帯域に対応するレベル調整係数に比べて小さい数値であるレベル調整係数を保持する。すなわち、置換スペクトル生成部３５０により、音声帯域以外の帯域に対応するレベル調整係数に比べて小さい音声帯域のレベル調整係数と、左チャンネルの周波数スペクトルとに基づいて置換スペクトルが生成される。また、レベル調整係数保持部３４０は、その保持されたレベル調整係数を置換スペクトル生成部３５０に出力する。
【００８８】
スペクトル置換部３６０は、差分スペクトル算出部３２０により算出された各差分スペクトルのうち低レベル帯域に対応する差分スペクトルを、置換スペクトルに置き換えるものである。このスペクトル置換部３６０は、低レベル帯域判定部３３０からの置換情報に基づいて、差分スペクトル算出部３２０からの差分スペクトルを、置換スペクトル生成部３５０からの置換スペクトルに置き換える。
【００８９】
このスペクトル置換部３６０は、具体的には、低レベル帯域であると判定された差分スペクトルのレベルを、この差分スペクトルに対応する置換スペクトルのレベルに変換する。このスペクトル置換部３６０は、例えば、第１番の差分スペクトルに対応する置換情報が真（ＴＲＵＥ）を示す場合には、左チャンネルにおける第１番の周波数スペクトルに基づいて生成された置換スペクトルを、新たな第１番の差分スペクトルとして置き換える。
【００９０】
また、スペクトル置換部３６０は、低レベル帯域であると判定された差分スペクトルのレベルを、この差分スペクトルに対応する置換スペクトルのレベルに置き換えて、伴奏信号生成部３７０に出力する。一方、スペクトル置換部３６０は、低レベル帯域でないと判定された差分スペクトルのレベルをそのまま伴奏信号生成部３７０に出力する。なお、スペクトル置換部３６０は、特許請求の範囲に記載のスペクトル置換部の一例である。
【００９１】
伴奏信号生成部３７０は、スペクトル置換部３６０から出力された全周波数帯域における周波数スペクトルを時間領域の信号に変換することによって、伴奏信号を生成するものである。この伴奏信号生成部３７０は、スペクトル置換部３６０から出力された周波数成分を示す周波数スペクトルである周波数領域のデータを、時間領域の信号である伴奏信号に変換する。
【００９２】
この伴奏信号生成部３７０は、例えば、周波数スペクトルに対して高速フーリエ逆変換を行うことによって、フレーム単位により時間領域信号を復元する。その他の例として、この伴奏信号生成部３７０は、逆修正離散余弦変換により時間領域信号をフレーム単位ごとに復元する。
【００９３】
また、伴奏信号生成部３７０は、その生成された伴奏信号を信号線１２８に出力する。すなわち、伴奏信号生成部３７０は、その伴奏信号を制御部１２０に供給して、スピーカ１８０から伴奏音として出力する。なお、伴奏信号生成部３７０は、特許請求の範囲に記載の伴奏信号生成部の一例である。
【００９４】
このように、低レベル帯域判定部３３０を設けることによって、差分スペクトル算出部３２０により算出された差分スペクトルのうち、低レベル帯域に対応する差分スペクトルを判定することができる。また、置換スペクトル生成部３５０を設けることによって、差分スペクトルの近似する周波数特性を有する左チャンネルの周波数スペクトルに基づいて置換スペクトルを生成することができる。これにより、本来の差分スペクトルの周波数特性に近似する置換スペクトルを生成することができるため、より自然な差分スペクトルに補正することができる。
【００９５】
また、スペクトル置換部３６０を設けることによって、低レベル帯域の周波数スペクトルのレベルを、置換スペクトル生成部３５０により生成された置換スペクトルのレベルに置き換えることができる。ここで、差分スペクトル算出部３２０により算出される差分スペクトルについて以下に図面を参照して説明する。
【００９６】
［差分スペクトル算出部３２０による音響信号の周波数分布例］
図６は、左および右チャンネルにおける音響信号の差分に基づいて生成される差分信号における音声成分および伴奏成分の周波数分布の一例を示す概念図である。ここでは、ボーカルの音声が中央に定位し、伴奏における各楽器の定位が散在する右および左チャンネルの音響信号であるステレオ信号を減算部３２１において減算することによって差分信号を生成することを想定する。
【００９７】
図６（ａ）および（ｂ）は、左チャンネル信号成分として、左チャンネルの音響信号に含まれる音声成分および伴奏成分の周波数分布を示す図である。図６（ｃ）および（ｄ）は、右チャンネル信号成分として、右チャンネルの音響信号に含まれる音声成分および伴奏成分の周波数分布を示す図である。また、図６（ａ）乃至（ｄ）における縦軸をパワーとし、横軸を周波数とする。
【００９８】
図６（ａ）には、左チャンネルの音響信号に含まれる伴奏成分Ｐｌｉが示されている。この左チャンネルの伴奏成分Ｐｌｉは、主に、２００Ｈｚ以下の周波数帯域に大きなパワーが分布する。図６（ｂ）には、左チャンネルの音響信号に含まれる音声成分Ｐｌｖが示されている。この左チャンネルの音声成分Ｐｌｖは、主に、２００Ｈｚ乃至２ＫＨｚの周波数帯域に大きなパワーが分布する。
【００９９】
図６（ｃ）には、右チャンネルの音響信号に含まれる伴奏成分Ｐｒｉが示されている。この右チャンネルの伴奏成分Ｐｒｉは、左チャンネルの伴奏成分Ｐｌｉの周波数分布とは異なるが、主に、２００Ｈｚ以下の周波数帯域に大きなパワーが分布する。図６（ｄ）には、右チャンネルの音響信号に含まれる音声成分Ｐｒｖが示されている。この右チャンネルの音声成分Ｐｒｖは、左チャンネルの音声成分Ｐｌｖと等しい周波数分布であり、２００Ｈｚ乃至２ＫＨｚの周波数帯域に大きなパワーが分布する。
【０１００】
このように、ボーカル音声が中央に定位するステレオ信号においては、左チャンネルの音声成分と、右チャンネルの音声成分とが互いに略等しい周波数分布を示す。これに対し、伴奏成分については、各楽器の定位が空間的に散らばっているため、左チャンネルおよび右チャンネルの周波数分布が互いに異なる傾向がある。
【０１０１】
図６（ｅ)および（ｆ）は、図６（ａ）乃至（ｄ）に示される右および左チャンネルの音響信号の差分絶対値により生成される差分信号に含まれる音声成分および伴奏成分の周波数分布を示す図である。ここでは、縦軸をパワーとし、横軸を周波数とする。
【０１０２】
図６（ｅ）には、差分信号に含まれる伴奏成分Ｐｄｉが示されている。この差分信号の伴奏成分Ｐｄｉは、右および左チャンネルの伴奏成分ＰｌｉおよびＰｒｉの周波数分布が異なるため、両チャンネルの周波数成分により相殺される度合いが小さい。
【０１０３】
図６（ｆ）には、差分信号に含まれる音声成分Ｐｄｖが示されている。また、ここでは、右または左チャンネルの音声成分ＰｌｖまたはＰｒｖの周波数分布が破線により示されている。差分信号における音声成分Ｐｄｖは、右および左チャンネルの音声成分ＰｌｖおよびＰｒｖの周波数分布が互いに等しいため、両チャンネルの周波数成分により音声成分が相殺される。
【０１０４】
このように、ボーカル音声が中央に定位する２チャンネルの音響信号においては、一方のチャンネルの音響信号から、他方のチャンネルの音響信号を減算することによって、音声成分が抑制された伴奏信号を生成することができる。なお、ここでは、時間領域において生成される差分信号について説明したが、２チャンネルの音響信号を周波数スペクトルに変換した後、これらの差分絶対値により算出された差分スペクトルに基づいて差分信号を生成する場合においても同様に音声成分が抑制される。すなわち、互いに略等しい周波数分布を示す音声成分が含まれる２チャンネルの音響信号において、これらの周波数スペクトルの差分により算出された差分スペクトルを時間領域の信号に変換することによって、音声成分が抑制された差分信号を生成することができる。
【０１０５】
しかしながら、図２に示した音響信号符号化装置７００などによって圧縮された音響信号が復号された圧縮後の音響信号に基づいて差分信号を生成すると、その差分信号の周波数成分においてその振幅レベルが極端に低い低レベル帯域が生じる場合がある。このような差分信号における低レベル帯域の発生は、人間の聴覚上、耳障りな雑音として現われてしまう。ここで、復号された圧縮後の音響信号である圧縮信号に基づいて生成された差分信号に生じる低レベル帯域の発生原因に関して以下に図面を参照して説明する。
【０１０６】
［量子化誤差による低レベル帯域の発生例］
図７は、音響信号符号化装置７００における量子化部７３１および７３２による量子化に起因して生じる低レベル帯域に関する図である。図７（ａ）および（ｂ）は、音響信号符号化装置７００における正規化部７２１および７２２によりそれぞれ生成された左正規化成分７７１および右正規化成分７７２の一例を示す図である。図７（ｃ）は、左正規化成分７７１および右正規化成分７７２の差分絶対値である正規化差分絶対値７７３を示す図である。
【０１０７】
図７（ｄ）および（ｅ）は、音響信号符号化装置７００における量子化部７３１および７３２により、左正規化成分７７１および右正規化成分７７２がそれぞれ量子化された左量子化成分７８１および右量子化成分７８２の一例を示す図である。図７（ｆ）は、左量子化成分７８１および右量子化成分７８２の差分絶対値である量子化差分絶対値７８３を示す図である。
【０１０８】
図７（ａ）には、左チャンネルにおける第ｉ番の分割帯域Ｂ［ｉ］に含まれる４つの周波数スペクトル（ｆ１乃至ｆ４）の正規化値Ｐｌが示されている。図７（ｂ）には、右チャンネルにおける第ｉ番の分割帯域Ｂ［ｉ］に含まれる４つの周波数スペクトル（ｆ１乃至ｆ４）の正規化値Ｐｒが示されている。
【０１０９】
図７（ｃ）には、右および左チャンネルにおける周波数スペクトル（ｆ１乃至ｆ４）の正規化値の差分絶対値Ｐｄが示されている。この周波数スペクトル（ｆ１乃至ｆ４）の差分絶対値Ｐｄは、互いに異なったレベルを示す。
【０１１０】
図７（ｄ）には、左チャンネルにおける第ｉ番の分割帯域Ｂ［ｉ］に含まれる４つの周波数スペクトル（ｆ１乃至ｆ４）の量子化値Ｑが示されている。例えば、第ｆ１番の周波数スペクトルについては、その正規化値が量子化されることによって、量子化値Ｑが「２」に設定される。
【０１１１】
図７（ｅ）には、右チャンネルにおける第ｉ番の分割帯域Ｂ［ｉ］に含まれる４つの周波数スペクトル（ｆ１乃至ｆ４）の量子化値Ｑが示されている。例えば、第ｆ１番の周波数スペクトルについては、その正規化値が量子化されることによって、量子化値Ｑが左チャンネルと同じ「２」に設定される。
【０１１２】
図７（ｆ）には、右および左チャンネルにおける同一の周波数スペクトル（ｆ１乃至ｆ４）の量子化値の差分絶対値Ｑが示されている。これらの周波数スペクトル（ｆ１乃至ｆ４）の差分絶対値Ｑは、図７（ｃ）に示した差分絶対値７７３とは異なり、全て「０」となる。これは、各チャンネルの正規化値が量子化されることによって、周波数スペクトル（ｆ１乃至ｆ４）の正規化値が５つの量子化値Ｑ（０乃至４）に限定されることに起因する。すなわち、量子化により生じる量子化誤差によって、第ｉ番の分割帯域Ｂ［ｉ］における各周波数スペクトル（ｆ１乃至ｆ４）の量子化差分絶対値Ｑが全て「０」になる。
【０１１３】
このように、正規化部７２１および７２２により生成された正規化成分７７１および７７７２が互いに異なっていても、量子化部７３１および７３２において量子化されることにより、右および左チャンネルの量子化値が同一となってしまう場合がある。この場合において、両チャンネルの量子化値が同一となった第ｉ番の分割帯域Ｂ［ｉ］に対応する正規化基準値が互いに一致するときは、この第ｉ番の分割帯域Ｂ［ｉ］に対応する周波数帯域が差分信号における低レベル帯域となる。
【０１１４】
［共有帯域符号化による低レベル帯域の発生例］
図８は、音響信号符号化装置７００における共有帯域符号化部８００による共有帯域符号化処理に起因して発生する低レベル帯域に関する図である。ここでは、共有帯域符号化部８００により、左および右チャンネルの正規化成分の相関度が高い第ｉ番の分割帯域Ｂ［ｉ］が共有帯域と判定され、その共有帯域における左チャンネルの正規化成分が量子化させることを想定している。
【０１１５】
図８（ａ）および（ｂ）は、音響信号符号化装置７００における正規化部７２１および７２２によりそれぞれ生成された左正規化成分７７１および右正規化成分７７４の一例を示す図である。図８（ｃ）は、左正規化成分７７１および右正規化成分７７４の差分絶対値である正規化差分絶対値７７５を示す図である。
【０１１６】
図８（ｄ）および（ｅ）は、共有帯域符号化部８００により、左正規化成分７７１によって生成された量子化成分が、右および左チャンネルの量子化成分７８１および右量子化成分７８４として共有される例を示す図である。図７（ｆ）は、左量子化成分７８１および右量子化成分７８４の差分絶対値である量子化差分絶対値７８５を示す図である。
【０１１７】
図８（ａ）には、左チャンネルにおける第ｉ番の分割帯域Ｂ［ｉ］に含まれる４つの周波数スペクトル（ｆ１乃至ｆ４）の正規化値Ｐｌが示されている。図８（ｂ）には、右チャンネルにおける第ｉ番の分割帯域Ｂ［ｉ］に含まれる４つの周波数スペクトル（ｆ１乃至ｆ４）の正規化値Ｐｒが示されている。
【０１１８】
図８（ｃ）には、右および左チャンネルにおける周波数スペクトル（ｆ１乃至ｆ４）の正規化値の差分絶対値Ｐｄが示されている。この周波数スペクトル（ｆ１乃至ｆ４）の差分絶対値Ｐｄは、互いに異なったレベルを示す。
【０１１９】
図８（ｄ）には、左チャンネルにおける第ｉ番の分割帯域Ｂ［ｉ］に含まれる４つの周波数スペクトル（ｆ１乃至ｆ４）の量子化値Ｑが示されている。この４つの周波数スペクトル（ｆ１乃至ｆ４）の量子化値は、図７（ｄ）と同様のものである。
【０１２０】
図８（ｅ）には、右チャンネルにおける第ｉ番の分割帯域Ｂ［ｉ］に含まれる４つの周波数スペクトル（ｆ１乃至ｆ４）の量子化値Ｑが示されている。この右チャンネルの４つの周波数スペクトル（ｆ１乃至ｆ４）の量子化値Ｑは、左チャンネルの量子化値Ｑと同じ値を示す。すなわち、この周波数スペクトル（ｆ１乃至ｆ４）の量子化値Ｑは、共有帯域符号化部８００により第ｉ番の分割帯域Ｂ［ｉ］が共有帯域と判定されたことによって、左チャンネルの量子化値Ｑが、右チャンネルの量子化値Ｑにも用いられることを示している。
【０１２１】
図８（ｆ）には、右および左チャンネルにおける周波数スペクトル（ｆ１乃至ｆ４）の量子化値の差分絶対値Ｑが示されている。この周波数スペクトル（ｆ１乃至ｆ４）の差分絶対値Ｑは、図８（ｃ）に示した差分絶対値７７３とは異なり、全て「０」となる。これは、共有帯域符号化部８００により、左チャンネルの分割帯域Ｂ［ｉ］における周波数スペクトルの正規化値が、両チャンネルの正規化値として共有されることに起因する。
【０１２２】
このように、正規化部７２１および７２２により生成された正規化成分７７１および７７４が異なっていても、共有帯域符号化部８００により生成された量子化値成分が両チャンネルの量子化値として共有されるため、復号時において量子化値が互いに等しくなる。このため、共有帯域符号化部８００により第ｉ番の分割帯域［ｉ］の正規化値が共有された符号化データを復号して、その復号された圧縮信号に基づいて差分スペクトルを算出すると、第ｉ番の分割帯域［ｉ］に対応する差分スペクトルが低レベル帯域となる。
【０１２３】
［圧縮信号における低レベル帯域の発生例］
図９は、本発明の第１の実施の形態における差分スペクトル算出部３２０により算出された差分スペクトルに基づく分割帯域Ｂ［ｉ］の一例を示す概念図である。ここでは、便宜上、図３（ａ）に示した周波数スペクトル包絡線７２５のようなスペクトル包絡線を省略している。
【０１２４】
図９（ａ）および（ｂ）は、周波数スペクトル生成部３１１および３１２により生成された、左および右チャンネルの音響信号における圧縮信号成分３１３および３１４を例示する図である。図９（ｃ）は、差分スペクトル算出部３２０により算出された差分スペクトルに基づく差分絶対値成分３２１を例示する図である。ここでは、縦軸を分割帯域Ｂ［ｉ］に対応する正規化基準値（スケールファクタ）の大きさとし、横軸を周波数とする。
【０１２５】
左および右チャンネル圧縮信号成分３１３および３１４は、符号化された音響信号を復号して復元された圧縮信号における左および右チャンネルの周波数分布を、１０個の分割帯域Ｂ［０］乃至［９］により観念的に示している。なお、この分割帯域Ｂ［ｉ］には、図３（ｂ）に示したとおり、複数の周波数スペクトルが含まれている。
【０１２６】
差分絶対値成分３２１は、左および右チャンネル圧縮信号成分３１３および３１４における周波数スペクトルの差分絶対値の周波数分布を、１０個の分割帯域Ｂ［０］乃至［９］により観念的に示している。ここで、第１番の分割帯域Ｂ［１］は、図７で述べたように、量子化により両チャンネルの量子化値が互いに等しくなり、各差分スペクトルのレベルが著しく低下する低レベル帯域である。また、第５、第７および第８の分割帯域Ｂ［５］、Ｂ［７］およびＢ［８］は、図８で述べたとおり、共有帯域符号化により両チャンネルの量子化値が互いに等しくなり、各差分スペクトルのレベルが大きく低下する低レベル帯域である。
【０１２７】
このように、量子化または共有帯域符号化などの処理によって、差分スペクトル算出部３２０により算出された差分スペクトルのレベルが極端に低くなる低レベル帯域が生じる場合がある。このような低レベル帯域を有する伴奏信号がスピーカ１８０から出力されると、受聴者は、その出力された伴奏信号を耳障りな音として感じる場合がある。そこで、本発明の第１の実施の形態では、低レベル帯域判定部３３０により、低レベル帯域を判定して、その判定された低レベル帯域に対応する差分スペクトルを置換スペクトルに置き換える。ここで、低レベル帯域における差分スペクトルを置換スペクトルに置き換える例について以下に図面を参照して説明する。
【０１２８】
［音声成分除去部３００による差分スペクトルの置換え例］
図１０は、本発明の第１の実施の形態における音声成分除去部３００により低レベル帯域に対応する差分スペクトルを置換スペクトルに置き換える例を示す観念図である。
【０１２９】
図１０（ａ）は、置換スペクトル生成部３５０に供給される左チャンネル圧縮信号成分３１３を示す図である。図１０（ｂ）は、図９（ｃ）に示した差分絶対値成分３２１における低レベル帯域の差分スペクトルを、スペクトル置換部３６０により置換スペクトルに置き換えた後の差分絶対値成分３６１を示す図である。ここでは、縦軸を分割帯域Ｂ［ｉ］に対応する正規化基準値（スケールファクタ）の大きさとし、横軸を周波数とする。また、左チャンネル圧縮信号成分３１３は、図９（ａ）に示したものと同様であるため、ここでの説明を省略する。
【０１３０】
置換後における差分絶対値成分３６１は、低レベル帯域判定部３３０により低レベル帯域と判定された、差分絶対値成分３２１における分割帯域Ｂ［１］、Ｂ［５］、Ｂ［７］およびＢ［８］の差分スペクトルが置換スペクトルに置き換えられた周波数分布を示す。ここでは、便宜上、周波数分布として、周波数スペクトルではなく、分割帯域Ｂ［０］乃至Ｂ［９］により示している。
【０１３１】
これらの分割帯域Ｂ［１］、Ｂ［５］、Ｂ［７］およびＢ［８］の置換スペクトルは、置換スペクトル生成部３５０により、低レベル帯域と判定された差分スペクトルに対応する左チャンネルの周波数スペクトルに基づいて生成される。これらの置換スペクトルのレベルは、置換スペクトル生成部３５０により、低レベル帯域に対応する周波数スペクトルのレベルと、レベル調整係数保持部３４０におけるレベル調整係数とを乗算することによって算出される。
【０１３２】
この例では、第１番の分割帯域Ｂ［１］に含まれる置換スペクトルのレベルは、第１番の分割帯域Ｂ［１］に対応するレベル調整係数ｇ１と、左チャンネルの分割帯域Ｂ［１］に含まれる各周波数スペクトルＰｌとの乗算値により生成される。また、第５番の分割帯域Ｂ［５］に含まれる置換スペクトルのレベルは、第５番の分割帯域Ｂ［５］に対応するレベル調整係数ｇ２と、左チャンネルの分割帯域Ｂ［５］に含まれる各周波数スペクトルＰｌとの乗算値により生成される。
【０１３３】
また、第７番の分割帯域Ｂ［７］に含まれる置換スペクトルのレベルは、第７番の分割帯域Ｂ［７］に対応するレベル調整係数ｇ３と、左チャンネルの分割帯域Ｂ［７］に含まれる各周波数スペクトルＰｌとの乗算値により生成される。また、第５番の分割帯域Ｂ［８］に含まれる置換スペクトルのレベルは、第８番の分割帯域Ｂ［８］に対応するレベル調整係数ｇ４と、左チャンネルの分割帯域Ｂ［８］に含まれる各周波数スペクトルＰｌとの乗算値により生成される。
【０１３４】
このように、低レベル帯域に対応する差分スペクトルを、左チャンネルの周波数スペクトルにレベル調整係数が乗算された置換スペクトルに置き換えることによって、伴奏信号における低レベル帯域を解消することができる。次に、低レベル帯域を解消するための置換スペクトルのレベルを調整するレベル調整係数の周波数特性について以下に図面を参照して簡単に説明する。
【０１３５】
［レベル調整係数の周波数特性例］
図１１は、本発明の第１の実施の形態におけるレベル調整係数保持部３４０に保持されたレベル調整係数の周波数特性３４１の一例を示す図である。ここでは、横軸を周波数とし、縦軸をレベル調整係数の大きさとする。
【０１３６】
レベル調整係数周波数特性３４１は、置換スペクトル生成部３５０により生成される置換スペクトルのレベルを調整するためのレベル調整係数ｇ（ｆ）の周波数特性を示す。このレベル調整係数周波数特性３４１は、音声成分に対応する中音域の音声帯域（ｆｖｌ乃至ｆｖｈ）におけるレベル調整係数と、音声帯域以外の帯域に対応するレベル調整係数との大きさが異なる。
【０１３７】
このレベル調整係数周波数特性３４１における音声帯域以外の帯域に対応するレベル調整係数ｇ（ｆ）は「１．０」である。これにより、置換スペクトル生成部３５０により生成される置換スペクトルのレベルは、左チャンネルの周波数スペクトルのレベルがそのまま適用されることになる。
【０１３８】
一方、レベル調整係数周波数特性３４１における音声帯域（ｆｖｌ乃至ｆｖｈ）に対応するレベル調整係数ｇ（ｆ）はｇｖである。このレベル調整係数ｇｖは「１．０」より小さい値である。受聴者によって差分信号における音声成分が十分に小さくなったと感じるのは０．１程度であるため、このレベル調整係数ｇｖは、０．１程度に設定するのが望ましい。しかしながら、差分信号における周波数特性によっては、０．１程度に設定しても不自然に感じる場合があるため、このような場合には、レベル調整係数ｇｖを０．２乃至０．３程度に設定するようにしてもよい。
【０１３９】
このように、音声帯域（ｆｖｌ乃至ｆｖｈ）以外の帯域に対応するレベル調整係数に比べて、音声成分を含む音声帯域に対応するレベル調整係数ｇｖを小さく設定することによって、音声成分が十分に抑制された、違和感のない伴奏信号を生成することができる。次に、低レベル帯域判定部３３０により、低レベル帯域に対応する差分スペクトルを判定するための判定手法について以下に図面を参照して説明する。
【０１４０】
［低レベル帯域に対応する差分スペクトルの判定手法］
図１２は、本発明の第１の実施の形態における低レベル帯域判定部３３０による低レベル帯域に対応する差分スペクトルの判定手法例に関する図である。ここでは、左チャンネルスペクトル包絡線３１５と、左チャンネルスペクトル平滑線３３１と、差分スペクトル包絡線３２２と、低レベル閾値線３３２とが示されている。また、ここでは、縦軸をパワーとし、横軸を周波数とする。
【０１４１】
左チャンネルスペクトル包絡線３１５は、周波数スペクトル生成部３１１により生成された左チャンネルの周波数スペクトルＰｌ（ｆ）の包絡線を示す。この周波数スペクトルのレベルＰｌ（ｆ）は、大局的には、周波数ｆが大きくなるほど小さくなる。
【０１４２】
左チャンネルスペクトル平滑線３３１は、左チャンネルスペクトル包絡線３１５を平滑化することにより生成される平滑線ＳＭＴ（ｆ）である。この例では、平滑線ＳＭＴ（ｆ）は、左チャンネルの周波数スペクトルのレベルに基づいて直線の傾きを算出することによって生成される。
【０１４３】
なお、左チャンネルスペクトル平滑線３３１は、例えば、移動平均により生成するようにしてもよい。また、ここでは、左チャンネルの周波数スペクトルに基づいて平滑線３３１を算出する例について示したが、差分スペクトル包絡線３２２に基づいて平滑線ＳＭＴ（ｆ）を生成するようにしてもよい。
【０１４４】
差分スペクトル包絡線３２２は、差分スペクトル算出部３２０により算出された差分スペクトルＤ（ｆ）の包絡線である。この差分スペクトル包絡線３２２は、レベル低下が急峻である第１および第２の低レベル帯域Δｆａ（ｆｌａ乃至ｆｈａ）およびΔｆｂ（ｆｌｂ乃至ｆｈｂ）を示す。また、この差分スペクトルのレベルＤ（ｆ）は、大局的には、左チャンネルスペクトル包絡線３１５と同じように、周波数ｆが大きくなるに連れて小さくなる。このように、差分スペクトルＤ（ｆ）および左チャンネルの周波数スペクトルＰｌ（ｆ）は、大局的に近似する特性を有する傾向がある。
【０１４５】
なお、ここでは、差分スペクトル包絡線３２２における第１および第２の低レベル帯域（ΔｆａおよびΔｆｂ）に対応する差分スペクトルのレベルは互いに異なっている。これは、量子化または共有帯域符号化により左および右チャンネルの量子化値が互いに一致する帯域を有する符号化データが復号される際に、各チャンネルの周波数スペクトルが周波数領域から時間領域に変換されることに起因する。この変換処理により、左および右チャンネルの共有帯域における周波数スペクトルのレベルに僅かな差が生じるため、差分スペクトル包絡線３２２における第１および第２の低レベル帯域（ΔｆａおよびΔｆｂ）におけるスペクトルレベルに差が生じている。
【０１４６】
低レベル閾値線３３２は、左チャンネルスペクトル平滑線３３１と、一定の閾値係数とに基づいて設定される低レベル閾値ＴＨ（ｆ）の線である。この閾値係数は、想定される低レベル帯域のレベルに応じて設定されるものである。なお、閾値係数が大きすぎると、低レベル帯域判定部３３０により低レベル帯域でない帯域を低レベル帯域と誤判定する場合があるため、閾値係数は極力小さい値に設定するのが望ましい。
【０１４７】
このように、低レベル帯域判定部３３０は、左チャンネルの周波数スペクトルのレベルＰｌ（ｆ）と閾値係数とを用いることによって、差分スペクトルの大局的な周波数特性に近似し易い低レベル閾値線３３２を設定することができる。これにより、低レベル帯域判定部３３０は、全周波数帯域に対して一定の閾値を設けた場合に比べて、より正確な低レベル帯域に対応する差分スペクトルを判定することができる。なお、ここでは、左チャンネルの周波数スペクトルに基づいて低レベル閾値線３３２を生成する例について説明したが、右チャンネルの周波数スペクトルまたは２チャンネルの周波数スペクトルを加算したものを用いるようにしてもよい。
【０１４８】
［音声成分除去部３００の動作例］
次に本発明の第１の実施の形態における音声成分除去部３００の動作について図面を参照して説明する。
【０１４９】
図１３は、本発明の第１の実施の形態における音声成分除去部３００による伴奏信号生成方法の処理手順例を示すフローチャートである。
【０１５０】
まず、周波数スペクトル生成部３１１および３１２により、左および右チャンネル信号線２９１および２９２から供給されたステレオ信号に基づいて、チャンネルごとにＮ個の周波数スペクトルが生成される（ステップＳ９１１）。
【０１５１】
そして、低レベル帯域判定部３３０により、左チャンネルにおけるＮ個の周波数スペクトルのレベルＰｌ（０乃至Ｎ−１）に基づいて、左チャンネルのスペクトル平滑線ＳＭＴ（ｆ）が算出される（ステップＳ９１２）。続いて、差分スペクトルの算出対象となる各チャンネルの周波数スペクトルＰｌ（ｆ）およびＰｒ（ｆ）のスペクトル番号ｆが「０」に設定される（ステップＳ９１３）。
【０１５２】
この後、周波数スペクトル生成部３１１および３１２から、左および右チャンネルにおける第０番の周波数スペクトルのレベルＰｌ（０）およびＰｒ（０）がそれぞれ出力される（ステップＳ９１４）。そして、差分スペクトル算出部３２０により、右および左チャンネルにおける第０番の周波数スペクトルの差分（Ｐｌ（０）−Ｐｒ（０））の絶対値である第０番の差分スペクトルＤ（０）が算出される（ステップＳ９１５）。なお、ステップＳ９１５は、特許請求の範囲に記載の差分スペクトル算出手順の一例である。
【０１５３】
そして、低レベル帯域判定部３３０により、その算出された第０番の差分スペクトルＤ（０）が低レベル帯域に対応する差分スペクトルであるか否かを判定する低レベル帯域判定処理が実行される（ステップＳ９３０）。そして、スペクトル置換部３６０により、第０番の差分スペクトルＤ（０）に対応する置換情報Ｉｎｆｏ（０）が真（ＴＲＵＥ）であるか否かが判断される（ステップＳ９１６）。
【０１５４】
そして、置換情報Ｉｎｆｏ（０）が真（ＴＲＵＥ）である場合には、スペクトル置換処理が実行される（ステップＳ９４０）。一方、置換情報Ｉｎｆｏ（０）が真（ＴＲＵＥ）でない場合には、置換スペクトル生成部３５０によって第０番の差分スペクトル（０）が置換スペクトルに置き換えられることなく、ステップＳ９１７に進む。
【０１５５】
次に、スペクトル番号ｆに「１」が加算される（ステップＳ９１７）。そして、その加算されたスペクトル番号ｆがスペクトル数Ｎ未満であるか否かが判断される（ステップＳ９１８）。そして、スペクトル番号ｆがスペクトル数Ｎ未満である場合には、ステップＳ９１４に戻り、スペクトル番号ｆがスペクトル数Ｎと一致するまで、ステップＳ９１４乃至Ｓ９１８およびＳ９３０の一連の処理が繰り返される。
【０１５６】
一方、スペクトル番号ｆがスペクトル数Ｎと一致した場合には、伴奏信号生成部３７０により、スペクトル置換部３６０から出力されたＮ個の差分スペクトルＤ（０乃至Ｎ−１）が時間領域信号に変換されることによって伴奏信号が生成される（ステップＳ９１９）。これにより、左および右チャンネル信号線２９１および２９１から供給されたステレオ信号に含まれる音声成分が抑制された伴奏信号生成処理が終了する。なお、ステップＳ９１９は、特許請求の範囲に記載の伴奏信号生成手順の一例である。
【０１５７】
［低レベル帯域判定部３３０の動作例］
図１４は、本発明の第１の実施の形態における低レベル帯域判定部３３０による低レベル帯域判定処理（ステップＳ９３０）の処理手順例を示すフローチャートである。
【０１５８】
まず、ステップＳ９１２の処理において生成されたスペクトル平滑線ＳＭＴ（ｆ）に一定の閾値係数αが乗算された低レベル閾値ＴＨ（ｆ）が算出される（ステップＳ９３１）。なお、この例では、ステップＳ９１２において、全ての周波数スペクトルに基づいてスペクトル平滑線ＳＭＴ（ｆ）を生成する例について説明したが、過去の一定数の周波数スペクトルＰｌ（ｆ）の平均値をスペクトル平滑線ＳＭＴ（ｆ）とするようにしてもよい。
【０１５９】
そして、差分スペクトル算出部３２０から出力された差分スペクトルのレベルＤ（ｆ）が、低レベル閾値ＴＨ（ｆ）未満であるか否が判断される（ステップＳ９３２）。すなわち、差分スペクトル算出部３２０から出力された差分スペクトルＤ（ｆ）が低レベル帯域に対応する差分スペクトルであるか否かが判定される。
【０１６０】
そして、差分スペクトルＤ（ｆ）が、低レベル閾値ＴＨ（ｆ）未満である場合には、その差分スペクトルのレベルを置換スペクトルのレベルに置き換えるために、置換情報Ｉｎｆｏ（ｆ）が真（ＴＲＵＥ）に設定される（ステップＳ９３３）。すなわち、差分スペクトルの包絡線におけるレベル低下が急峻である周波数帯域を低レベル帯域と判定する。なお、ステップＳ９３２およびＳ９３３は、特許請求の範囲に記載の低レベル帯域判定手順の一例である。
【０１６１】
一方、差分スペクトルＤ（ｆ）が、低レベル閾値ＴＨ（ｆ）以上である場合には、その差分スペクトルＤ（ｆ）を置換スペクトルに置き換える必要が無いため、置換情報Ｉｎｆｏ（ｆ）が偽（ＦＡＬＳＥ）に設定される（ステップＳ９３４）。これらのステップＳ９３３またはＳ９３４の処理が実行されて、低レベル帯域判定処理が終了する。
【０１６２】
［置換スペクトル生成部３５０およびスペクトル置換部３６０の動作例］
図１５は、本発明の第１の実施の形態におけるスペクトル置換部３６０によるスペクトル置換処理（ステップＳ９４０）の処理手順例を示すフローチャートである。
【０１６３】
まず、置換スペクトル生成部３５０により、レベル調整係数保持部３４０からレベル調整係数ｇ（ｆ）が取得される（ステップＳ９４１）。続いて、置換スペクトル生成部３５０により、左チャンネルの周波数スペクトル生成部３１１から周波数スペクトルＰｌ（ｆ）が取得される（ステップＳ９４２）。
【０１６４】
そして、置換スペクトル生成部３５０により、その取得されたレベル調整係数ｇ（ｆ）と、左チャンネルの周波数スペクトルＰｌ（ｆ）とを乗算することによって、置換スペクトルＲ（ｆ）が算出される（ステップＳ９４３）。すなわち、置換スペクトル生成部３５０により、差分スペクトルを置き換えるための置換スペクトルを左チャンネルの音響信号における周波数スペクトルに基づいて生成される。なお、ステップＳ９４３は、特許請求の範囲に記載の置換スペクトル生成手順の一例である。
【０１６５】
続いて、スペクトル置換部３６０により、その算出された置換スペクトルＲ（ｆ）に、低レベル帯域に対応する差分スペクトルＤ（ｆ）を置き換えることによって、新たな差分スペクトルＤ（ｆ）が生成されて（ステップＳ９４４）、スペクトル置換処理が終了する。なお、ステップＳ９４４は、特許請求の範囲に記載のスペクトル置換手順の一例である。
【０１６６】
このように、本発明の第１の実施の形態では、左チャンネルの周波数スペクトルＰｌ（ｆ）に基づいて生成される置換スペクトルに、低レベル帯域に対応する差分スペクトルＤ（ｆ）を置き換えることによって、違和感のない伴奏信号を生成することができる。
【０１６７】
また、図１１に示したように、音声帯域に対応するレベル調整係数ｇ（ｆ）を他の帯域に比べて小さく設定することによって、伴奏信号の音声成分を十分に抑制することができる。しかしながら、この場合において、伴奏信号における伴奏成分が大きいときは、音声帯域に対応する置換スペクトルのレベルが他の差分スペクトルのレベルに比べて相対的に小さくなり過ぎてしまい、聴覚上、違和感の残る伴奏信号となってしまうことがある。
【０１６８】
これに対して、伴奏成分の大きさに応じて音声帯域に対応する置換スペクトルのレベルを調整することにより、置換スペクトルおよび他の差分スペクトルのレベル差が大きくなり過ぎることを抑制するために改良したものが、次に説明する第２の実施の形態である。
【０１６９】
＜２．第２の実施の形態＞
［音声成分除去部３００の構成例］
図１６は、本発明の第２の実施の形態における音声成分除去部３００の一構成例を示す図である。この音声成分除去部３００は、図５に示した置換スペクトル生成部３５０に代えて、音声係数設定部６５１および置換スペクトル生成部６５２を備えている。ここでは、音声係数設定部６５１および置換スペクトル生成部６５２以外の構成は、図５と同様のものであるため、図５と同一符号を付してここでの説明を省略する。
【０１７０】
音声係数設定部６５１は、周波数スペクトル生成部３１１からの左チャンネルの周波数スペクトルと、レベル調整係数保持部３４０における音声帯域に対応するレベル調整係数とに基づいて、音声係数を設定するものである。この音声係数設定部６５１は、左チャンネルの全体の周波数スペクトルにおける音声帯域以外の帯域および音声帯域に対応する周波数スペクトルの両者のレベル比に基づいて、音声帯域に対応する音声係数を設定する。
【０１７１】
この音声係数設定部６５１は、例えば、左チャンネルの周波数スペクトルのうち、音声帯域以外に対応する周波数スペクトルの平均レベルと、音声帯域に対応する周波数スペクトルの平均レベルとのレベル比に基づいて音声係数を設定する。すなわち、音声係数設定部６５１は、音声帯域以外の帯域に対応する周波数スペクトルのレベルが大きくなるほど音声係数を大きく設定し、音声帯域に対応する周波数スペクトルのレベルが大きくなるほど音声係数を小さく設定する。
【０１７２】
また、音声係数設定部６５１は、その設定された音声係数と、レベル調整係数保持部３４０における音声帯域以外に対応するレベル調整係数とを置換スペクトル生成部６５２に供給する。なお、音声係数設定部６５１は、特許請求の範囲に記載の音声係数設定部の一例である。
【０１７３】
置換スペクトル生成部６５２は、左チャンネルの周波数スペクトルと、その周波数スペクトルに対応する音声係数設定部６５１からの音声係数またはレベル調整係数とに基づいて置換スペクトルを生成する。この置換スペクトル生成部６５２は、周波数スペクトル生成部３１１からの左チャンネルの周波数スペクトルと、音声係数設定部６５１により設定された音声係数とに基づいて置換スペクトルを生成する。
【０１７４】
この置換スペクトル生成部６５２は、例えば、左チャンネルの周波数スペクトルのレベルと、音声係数設定部６５１からの音声係数またはレベル調整係数とを乗算することによって、置換スペクトルのレベルを算出する。また、置換スペクトル生成部６５２は、その算出された置換スペクトルをスペクトル置換部３６０に供給する。なお、置換スペクトル生成部６５２は、図５に示した置換スペクトル生成部３５０に対応する。また、置換スペクトル生成部６５２は、特許請求の範囲に記載の置換スペクトル生成部の一例である。
【０１７５】
このように、音声係数設定部６５１を設けることによって、左チャンネルの周波数スペクトルのレベルに応じて、音声帯域に対応する置換スペクトルのレベルを調整することができる。ここで、音声係数設定部６５１による音声係数の設定手法に関する例について図面を参照して以下に説明する。
【０１７６】
［音声係数の設定手法の一例］
図１７は、本発明の第２の実施の形態における音声係数設定部６５１による音声係数の設定手法に関する一例を示す図である。ここでは、左チャンネルスペクトル包絡線Ｐｌ（ｆ）３１６と、伴奏帯域平均値Ｐｉａと、音声帯域平均値Ｐｖａとが示されている。また、縦軸をパワー値とし、横軸を周波数とする。
【０１７７】
左チャンネルのスペクトル包絡線Ｐｌ（ｆ）は、周波数スペクトル生成部３１１により生成された左チャンネルの周波数スペクトルＰｌ（ｆ）の包絡線を示す。伴奏帯域平均値Ｐｉａは、伴奏帯域（０乃至ｆｖｌ）における周波数スペクトルＰｌ（ｆ）の平均値を示す。この伴奏帯域平均値Ｐｉａは、音声係数設定部６５１により算出される。音声帯域平均値Ｐｖａは、音声帯域（ｆｖｌ乃至ｆｖｈ）における周波数スペクトルＰｌ（ｆ）の平均値を示す。この音声帯域平均値Ｐｖａは、音声係数設定部６５１により算出される。
【０１７８】
この場合において、音声係数設定部６５１は、例えば、下式に基づいて音声係数Ｖを算出する。ここで、ｇｖは、音声帯域に対応するレベル調整係数保持部３４０におけるレベル調整係数である。
Ｖ ＝ ｇｖ×（Ｐｉａ／Ｐｖａ）
【０１７９】
上式より、伴奏帯域平均値Ｐｉａが大きくなるほど、レベル調整係数ｇｖに基づく音声係数Ｖは大きくなり、音声帯域平均値Ｐｖａが大きくなるほど、レベル調整係数ｇｖに基づく音声係数Ｖは小さくなる。
【０１８０】
このように、音声帯域平均値Ｐｖａに対して伴奏帯域平均値Ｐｉａが大きい場合には、音声係数Ｖはレベル調整係数ｇｖより大きな値を採る。このため、音声帯域に対応する置換スペクトルのレベルが大きくなり、音声帯域以外の帯域に対応する差分スペクトルとのレベル差が小さくなって、伴奏信号における聴覚上の雑音を抑制することができる。
【０１８１】
一方、音声帯域平均値Ｐｖａに対して伴奏帯域平均値Ｐｉａが小さい場合には、音声係数Ｖはレベル調整係数ｇｖより小さな値を採る。このため、音声帯域に対応する置換スペクトルのレベルが小さくなり、音声帯域以外の帯域に対応する差分スペクトルとのレベル差が小さくなって、伴奏信号における聴覚上の雑音を抑制することができる。また、この場合には、音声成分に対応する置換スペクトルのレベルを低減するため、一定のレベル調整係数ｇｖに比べて、伴奏信号における音声成分をさらに抑制することができる。
【０１８２】
このように、本発明の第２の実施の形態では、音声係数設定部６５１を設けることによって、音声帯域に対応する置換スペクトルのレベルを、左チャンネルの周波数スペクトルの特性に応じて調整することができる。すなわち、差分スペクトルの周波数特性に近似する左チャンネルの周波数スペクトルの周波数特性に基づいて、音声帯域に対応する置換スペクトルのレベルを調整することができる。
【０１８３】
これにより、第１の実施の形態に比べて、伴奏信号における差分スペクトルと置換スペクトルとのレベル差により生じる聴覚ノイズを抑制することができる。次に、音声係数設定部６５１の動作についてスペクトル置換処理のフローチャートを参照して以下に説明する。
【０１８４】
［スペクトル置換処理の処理手順例］
図１８は、本発明の第２の実施の形態における音声成分除去部３００におけるスペクトル置換処理（ステップＳ９５０）の処理手順例を示すフローチャートである。このステップＳ９５０処理は、図１３に示したステップＳ９４０の処理に対応する。また、ここでは、音声係数設定部６５１により、周波数スペクトル生成部３１１からの周波数スペクトルのレベルに基づいて伴奏帯域平均値Ｐｉａおよび音声帯域平均値Ｐｖａが算出されていることを想定する。また、レベル調整係数保持部３４０には、図１１に示した音声帯域に対応するレベル調整係数ｇｖが保持されていることとする。
【０１８５】
まず、音声係数設定部６５１により、レベル調整係数保持部３４０からレベル調整係数ｇ（ｆ）が取得される（ステップＳ９５１）。続いて、置換スペクトル生成部６５２により、周波数スペクトル生成部３１１から左チャンネルの周波数スペクトルＰｌ（ｆ）が取得される（ステップＳ９５２）。
【０１８６】
この後、音声係数設定部６５１により、スペクトル番号ｆが音声帯域に対応する番号か否かが判断される（ステップＳ９５３）。そして、スペクトル番号ｆが音声帯域に対応する番号でない場合には、置換スペクトル生成部６５２において、レベル調整係数ｇ（ｆ）と、左チャンネルの周波数スペクトルＰｌ（ｆ）との乗算により、置換スペクトルＲ（ｆ）が算出される（ステップＳ９５８）。
【０１８７】
一方、スペクトル番号ｆが音声帯域に対応する番号である場合には、伴奏帯域平均値Ｐｉａおよび音声帯域平均値Ｐｖａが取得される（ステップＳ９５４）。続いて、音声係数設定部６５１により、音声帯域平均値Ｐｖａに対する伴奏帯域平均値Ｐｉａの割合に、音声帯域に対応するレベル調整係数ｇｖを乗じた音声係数Ｖが算出される（ステップＳ９５５）。
【０１８８】
続いて、置換スペクトル生成部６５２により、その算出された音声係数Ｖと、左チャンネルの周波数スペクトルＰｌ（ｆ）とを乗算することによって、置換スペクトルＲ（ｆ）が算出される（ステップＳ９５６）。なお、ステップＳ９５３乃至Ｓ９５６およびＳ９５８は、特許請求の範囲に記載の置換スペクトル生成手順の一例である。
【０１８９】
そして、スペクトル置換部３６０により、その算出された置換スペクトルＲ（ｆ）が差分スペクトルＤ（ｆ）として置き換えられて（ステップＳ９５７）、スペクトル置換処理が終了する。なお、ステップＳ９５７は、特許請求の範囲に記載のスペクトル置換手順の一例である。
【０１９０】
このように、本発明の第２の実施の形態では、差分スペクトルの周波数特性に近似する左チャンネルの周波数スペクトルにおける伴奏成分の大きさに応じて、音声帯域に対応する置換スペクトルのレベルを適切に調整することができる。
【０１９１】
このように、本発明の実施の形態によれば、圧縮信号における周波数スペクトルに基づいて伴奏信号を生成する場合において、低レベル帯域に対応する差分スペクトルを置換スペクトルに置き換えることによって、違和感のない伴奏信号を生成することができる。すなわち、差分信号の周波数特性に近似する左チャンネルの周波数スペクトルに基づいて差分信号の周波数成分を補正することによって、より自然な伴奏信号を生成することができる。
【０１９２】
なお、本発明の実施の形態では、左チャンネルの周波数スペクトルに基づいて置換スペクトルを生成する例について説明したが、周波数スペクトル生成部３１２からの右チャンネルの周波数スペクトルに基づいて置換スペクトルを生成するようにしてもよい。その他の例として、右および左チャンネルの周波数スペクトルのレベルに基づいて置換スペクトルを生成するようにしてもよい。この場合における音声成分除去部３００の構成例を第３の実施の形態として以下に図面を参照して説明する。
【０１９３】
＜３．第３の実施の形態＞
図１９は、本発明の第３の実施の形態における音声成分除去部３００の一構成例を示すブロック図である。音声成分除去部３００は、図５に示した音声成分除去部３００に加えて周波数スペクトル加算部３８０を備えている。ここでは、周波数スペクトル加算部３８０以外の構成は、図５に示したものと同様であるため、同一符号を付してここでの説明を省略する。
【０１９４】
周波数スペクトル加算部３８０は、周波数スペクトル生成部３１１および３１２からそれぞれ供給される右および左チャンネルの周波数スペクトルを加算して、その加算値を２により除算するものである。すなわち、周波数スペクトル加算部３８０は、左および右チャンネルの周波数スペクトルの平均値を算出する。また、周波数スペクトル加算部３８０は、その算出された周波数スペクトルの平均値を置換スペクトル生成部３５０および低レベル帯域判定部３３０に供給する。
【０１９５】
このように、本発明の第３の実施の形態では、周波数スペクトル加算部３８０を設けることによって、右および左チャンネルの両者の周波数特性の平均値に基づいて置換スペクトルにより差分信号の周波数成分を補正することができる。これにより、右および左チャンネルの音響信号に含まれる成分の偏りが取り除かれるため、より自然なスペクトル補正を行うことができる。すなわち、２チャンネルの音響信号における周波数スペクトルの少なくとも一方に基づいて置換スペクトルを生成することによって、伴奏信号に対する聴覚ノイズを抑制することができる。
【０１９６】
なお、本発明の実施の形態では、伴奏信号生成部３７０の後段に、伴奏成分を増強するために、低域の周波数成分を増幅する増強フィルタや、音声成分を減衰するために、中域の周波数成分を減衰させる減衰フィルタなどを設けるようにしてもよい。
【０１９７】
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、本発明の実施の形態において明示したように、本発明の実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本発明の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本発明は実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【０１９８】
また、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。
【符号の説明】
【０１９９】
１００ 音楽再生装置
１１０ 操作受付部
１２０ 制御部
１３０ 表示部
１４０ 音響データ記憶部
１５０ 音響データ入力部
１６０ アナログ変換部
１７０ アンプ
１８０ スピーカ
２００ 音響信号復号処理部
２１０ 復号部
２２１ 左チャンネル逆量子化部
２２２ 右チャンネル逆量子化部
２２３ 共有帯域逆量子化部
２３１、２３２ 選択部
２４１ 逆正規化部
２５１ 音響信号生成部
３００ 音声成分除去部
３１１、３１２ 周波数スペクトル生成部
３２０ 差分スペクトル算出部
３３０ 低レベル帯域判定部
３４０ レベル調整係数保持部
３５０ 置換スペクトル生成部
３６０ スペクトル置換部
３７０ 伴奏信号生成部
３８０ 周波数スペクトル加算部
６５１ 音声係数設定部
６５２ 置換スペクトル生成部
【特許請求の範囲】
【請求項１】
複数チャンネルの音響信号のうち略等しい周波数分布の音声成分が含まれる２チャンネルの音響信号における周波数スペクトルの差分を差分スペクトルとして算出する差分スペクトル算出部と、
前記差分スペクトル算出部により算出された差分スペクトルの包絡線におけるレベル低下が急峻である周波数帯域を低レベル帯域と判定する低レベル帯域判定部と、
前記差分スペクトルを置き換えるための置換スペクトルを前記２チャンネルの音響信号における周波数スペクトルの少なくとも一方に基づいて生成する置換スペクトル生成部と、
前記差分スペクトル算出部により算出された差分スペクトルのうち前記低レベル帯域に対応する前記差分スペクトルを前記置換スペクトルに置き換えるスペクトル置換部と、
前記スペクトル置換部から出力された周波数スペクトルを時間領域の信号に変換することによって伴奏信号を生成する伴奏信号生成部と
を具備する音響信号処理装置。
【請求項２】
前記置換スペクトル生成部は、前記２チャンネルの音響信号における少なくとも一方の周波数スペクトルと前記置換スペクトルのレベルを調整するための所定のレベル調整係数とに基づいて前記置換スペクトルを生成する請求項１記載の音響信号処理装置。
【請求項３】
前記置換スペクトル生成部は、音声帯域以外の帯域に対応する前記レベル調整係数に比べて小さい前記音声帯域の前記レベル調整係数と前記少なくとも一方の周波数スペクトルのレベルとに基づいて前記置換スペクトルを生成する請求項２記載の音響信号処理装置。
【請求項４】
前記２チャンネルの音響信号における少なくとも一方の周波数スペクトルにおける音声帯域以外の帯域および前記音声帯域に対応する前記周波数スペクトルのレベル比に基づいて前記音声帯域に対応する音声係数を設定する音声係数設定部をさらに具備し、
置換スペクトル生成部は、前記少なくとも一方の周波数スペクトルと前記音声係数設定部により設定された音声係数とに基づいて前記置換スペクトルを生成する
請求項１記載の音響信号処理装置。
【請求項５】
前記音声係数設定部は、前記音声帯域以外の帯域に対応する前記周波数スペクトルのレベルが大きくなるほど前記音声係数を大きく設定し、前記音声帯域に対応する前記周波数スペクトルのレベルが大きくなるほど前記音声係数を小さく設定する請求項４記載の音響信号処理装置。
【請求項６】
前記低レベル帯域判定部は、前記包絡線におけるレベル低下が急峻である周波数帯域を特定するための低レベル閾値と前記差分スペクトルの各々のレベルとに基づいて前記低レベル帯域を判定する請求項１記載の音響信号処理装置。
【請求項７】
前記低レベル帯域判定部は、前記２チャンネルの音響信号における少なくとも一方の周波数スペクトルのレベルに基づいて設定した前記低レベル閾値と前記差分スペクトルのレベルとを用いて前記低レベル帯域を判定する請求項６記載の音響信号処理装置。
【請求項８】
複数チャンネルの音響信号のうち略等しい周波数分布の音声成分が含まれる２チャンネルの音響信号における周波数スペクトルの差分を差分スペクトルとして算出する差分スペクトル算出手順と、
前記差分スペクトル算出手順により算出された差分スペクトルの包絡線におけるレベル低下が急峻である周波数帯域を低レベル帯域と判定する低レベル帯域判定手順と、
前記差分スペクトルを置き換えるための置換スペクトルを前記２チャンネルの音響信号における周波数スペクトルの少なくとも一方に基づいて生成する置換スペクトル生成手順と、
前記差分スペクトル算出手順により算出された差分スペクトルのうち前記低レベル帯域に対応する前記差分スペクトルを前記置換スペクトルに置き換えるスペクトル置換手順と、
前記スペクトル置換手順により出力された周波数スペクトルを時間領域の信号に変換することによって伴奏信号を生成する伴奏信号生成手順と
を具備する伴奏信号生成方法。
【請求項９】
複数チャンネルの音響信号のうち略等しい周波数分布の音声成分が含まれる２チャンネルの音響信号における周波数スペクトルの差分を差分スペクトルとして算出する差分スペクトル算出手順と、
前記差分スペクトル算出手順により算出された差分スペクトルの包絡線におけるレベル低下が急峻である周波数帯域を低レベル帯域と判定する低レベル帯域判定手順と、
前記差分スペクトルを置き換えるための置換スペクトルを前記２チャンネルの音響信号における周波数スペクトルの少なくとも一方に基づいて生成する置換スペクトル生成手順と、
前記差分スペクトル算出手順により算出された差分スペクトルのうち前記低レベル帯域に対応する前記差分スペクトルを前記置換スペクトルに置き換えるスペクトル置換手順と、
前記スペクトル置換手順により出力された周波数スペクトルを時間領域の信号に変換することによって伴奏信号を生成する伴奏信号生成手順と
をコンピュータに実行させるプログラム。
【請求項１】
複数チャンネルの音響信号のうち略等しい周波数分布の音声成分が含まれる２チャンネルの音響信号における周波数スペクトルの差分を差分スペクトルとして算出する差分スペクトル算出部と、
前記差分スペクトル算出部により算出された差分スペクトルの包絡線におけるレベル低下が急峻である周波数帯域を低レベル帯域と判定する低レベル帯域判定部と、
前記差分スペクトルを置き換えるための置換スペクトルを前記２チャンネルの音響信号における周波数スペクトルの少なくとも一方に基づいて生成する置換スペクトル生成部と、
前記差分スペクトル算出部により算出された差分スペクトルのうち前記低レベル帯域に対応する前記差分スペクトルを前記置換スペクトルに置き換えるスペクトル置換部と、
前記スペクトル置換部から出力された周波数スペクトルを時間領域の信号に変換することによって伴奏信号を生成する伴奏信号生成部と
を具備する音響信号処理装置。
【請求項２】
前記置換スペクトル生成部は、前記２チャンネルの音響信号における少なくとも一方の周波数スペクトルと前記置換スペクトルのレベルを調整するための所定のレベル調整係数とに基づいて前記置換スペクトルを生成する請求項１記載の音響信号処理装置。
【請求項３】
前記置換スペクトル生成部は、音声帯域以外の帯域に対応する前記レベル調整係数に比べて小さい前記音声帯域の前記レベル調整係数と前記少なくとも一方の周波数スペクトルのレベルとに基づいて前記置換スペクトルを生成する請求項２記載の音響信号処理装置。
【請求項４】
前記２チャンネルの音響信号における少なくとも一方の周波数スペクトルにおける音声帯域以外の帯域および前記音声帯域に対応する前記周波数スペクトルのレベル比に基づいて前記音声帯域に対応する音声係数を設定する音声係数設定部をさらに具備し、
置換スペクトル生成部は、前記少なくとも一方の周波数スペクトルと前記音声係数設定部により設定された音声係数とに基づいて前記置換スペクトルを生成する
請求項１記載の音響信号処理装置。
【請求項５】
前記音声係数設定部は、前記音声帯域以外の帯域に対応する前記周波数スペクトルのレベルが大きくなるほど前記音声係数を大きく設定し、前記音声帯域に対応する前記周波数スペクトルのレベルが大きくなるほど前記音声係数を小さく設定する請求項４記載の音響信号処理装置。
【請求項６】
前記低レベル帯域判定部は、前記包絡線におけるレベル低下が急峻である周波数帯域を特定するための低レベル閾値と前記差分スペクトルの各々のレベルとに基づいて前記低レベル帯域を判定する請求項１記載の音響信号処理装置。
【請求項７】
前記低レベル帯域判定部は、前記２チャンネルの音響信号における少なくとも一方の周波数スペクトルのレベルに基づいて設定した前記低レベル閾値と前記差分スペクトルのレベルとを用いて前記低レベル帯域を判定する請求項６記載の音響信号処理装置。
【請求項８】
複数チャンネルの音響信号のうち略等しい周波数分布の音声成分が含まれる２チャンネルの音響信号における周波数スペクトルの差分を差分スペクトルとして算出する差分スペクトル算出手順と、
前記差分スペクトル算出手順により算出された差分スペクトルの包絡線におけるレベル低下が急峻である周波数帯域を低レベル帯域と判定する低レベル帯域判定手順と、
前記差分スペクトルを置き換えるための置換スペクトルを前記２チャンネルの音響信号における周波数スペクトルの少なくとも一方に基づいて生成する置換スペクトル生成手順と、
前記差分スペクトル算出手順により算出された差分スペクトルのうち前記低レベル帯域に対応する前記差分スペクトルを前記置換スペクトルに置き換えるスペクトル置換手順と、
前記スペクトル置換手順により出力された周波数スペクトルを時間領域の信号に変換することによって伴奏信号を生成する伴奏信号生成手順と
を具備する伴奏信号生成方法。
【請求項９】
複数チャンネルの音響信号のうち略等しい周波数分布の音声成分が含まれる２チャンネルの音響信号における周波数スペクトルの差分を差分スペクトルとして算出する差分スペクトル算出手順と、
前記差分スペクトル算出手順により算出された差分スペクトルの包絡線におけるレベル低下が急峻である周波数帯域を低レベル帯域と判定する低レベル帯域判定手順と、
前記差分スペクトルを置き換えるための置換スペクトルを前記２チャンネルの音響信号における周波数スペクトルの少なくとも一方に基づいて生成する置換スペクトル生成手順と、
前記差分スペクトル算出手順により算出された差分スペクトルのうち前記低レベル帯域に対応する前記差分スペクトルを前記置換スペクトルに置き換えるスペクトル置換手順と、
前記スペクトル置換手順により出力された周波数スペクトルを時間領域の信号に変換することによって伴奏信号を生成する伴奏信号生成手順と
をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１１−１８９６２（Ｐ２０１１−１８９６２Ａ）
【公開日】平成２３年１月２７日（２０１１．１．２７）
【国際特許分類】
【出願番号】特願２００９−１６０５６１（Ｐ２００９−１６０５６１）
【出願日】平成２１年７月７日（２００９．７．７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年１月２７日（２０１１．１．２７）
【国際特許分類】
【出願日】平成２１年７月７日（２００９．７．７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]