オーディオ符号化／復号化方法、システム及びノイズレベルの推定方法
【課題】良好的に符号化されていない周波数領域係数を再建するように、オーディオ符号化/復号化方法、システム及びノイズレベル推定方法を提供する。
【解決手段】ノイズレベル推定方法は、符号化待ちのオーディオ信号の周波数領域係数により符号化待ちのオーディオ信号のパワースペクトルを推定する。計算して得られるパワースペクトルにより、ゼロビットの符号化サブバンドのオーディオ信号のノイズレベルを推定する。該ノイズレベルは、復号化する場合に、ノイズ充填と周波数帯コピーとのエネルギーの比例を制御することに用いられ、そのなか、ゼロビットの符号化サブバンドとは、分配されたビット数がゼロとする符号化サブバンドである。
【解決手段】ノイズレベル推定方法は、符号化待ちのオーディオ信号の周波数領域係数により符号化待ちのオーディオ信号のパワースペクトルを推定する。計算して得られるパワースペクトルにより、ゼロビットの符号化サブバンドのオーディオ信号のノイズレベルを推定する。該ノイズレベルは、復号化する場合に、ノイズ充填と周波数帯コピーとのエネルギーの比例を制御することに用いられ、そのなか、ゼロビットの符号化サブバンドとは、分配されたビット数がゼロとする符号化サブバンドである。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオ符号化/復号化技術に関し、特に、符号化待ちのの符号サブバンドに対して周波数スペクトル再建を行うオーディオ符号化/復号化方法、システム及びノイズレベルの推定方法に関する。
【背景技術】
【０００２】
オーディオ符号化技術は、例えば、デジタルオーディオラジオ、インタネットにおける音楽配信及びオーディオ通信などのマルチメディア応用技術の核心であり、これらの応用が極にオーディオエンコーダの圧縮性能の向上により有利を得ていることになっている。自覚オーディオエンコーダがロッシー変換領域符号化の一種類として、現在の主流のオーディオエンコーダになっている。一般には、符号化ビットレートの制限により、オーディオ符号化の際、部分の周波数領域係数或いは周波数成分が符号化できなくなって、符号化待ちのサブバンドの周波数スペクトル成分をより良好的に回復するために、従来のオーディオコーデックは、常にノイズ充填或いは周波数帯コピーの方法を利用して符号化待ちのサブバンドの周波数スペクトル成分を再建する。G.722.1Cはノイズ充填の方法、HE-AAC-V1は周波数帯コピー技術、G.719ノイズ充填及び簡単な周波数帯コピーの結合の方法を採用する。ノイズ充填を採用する方法は、良好的に符号化待ちのサブバンドの周波数スペクトルエンベロープ及びサブバンドの内の音調、ノイズ成分を回復できない。HE-AAC-V1の周波数帯コピー方法は、符号化前のオーディオ信号に周波数スペクトル分析を行う必要があり、高周波成分の信号に対して音調及びノイズ推定を行い、パラメータを取り出し、さらにオーディオ信号にダウンサンプリングした後、AACエンコーダにより符号化し、その運算の複雑度が高く、且つ比較的に多いパラメータ情報を復号化端に送信し、多数の符号化ビットを占めると共に、さらに符号化遅延を増加する場合もある。G.719のコピー方案が簡単すぎので、良好的に符号化待ちのサブバンドの周波数スペクトルエンベロープ及びサブバンドの内の音調及びノイズ成分を回復できない。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明が解決しようとする技術問題は良好的に符号化されていない周波数領域係数を再建するように、オーディオ符号化/復号化方法、システム及びノイズレベル推定方法を提供することである。
【課題を解決するための手段】
【０００４】
前記の技術問題を解決するために、本発明はノイズレベル推定方法を提供し、該方法は、
ノイズレベル推定方法であって、
符号化待ちのオーディオ信号の周波数領域係数により符号化待ちのオーディオ信号のパワースペクトルを推定すること、
計算して得られるパワースペクトルにより、ゼロビットの符号化サブバンドオーディオ信号のノイズレベルを推定し、該ノイズレベルは、復号化する場合に、ノイズ充填と周波数帯コピーとのエネルギーの比例を制御することに用いられ、その中、ゼロビットの符号化サブバンドとは、分配されたビット数がゼロである符号化サブバンドを指すことを含む。
さらに、
前記ゼロビットの符号化サブバンドオーディオ信号のノイズレベルとは、ゼロビットの符号化サブバンドにおいて推定して得られるノイズ成分パワーとゼロビットの符号化サブバンドにおいて推定して得られる音調成分パワーとの比の値である。
さらに、
符号化待ちのオーディオ信号のMDCT周波数領域係数により符号化待ちのオーディオ信号のパワースペクトルを推定し、第iフレームの周波数ポイントkのパワー計算式が
【０００５】
【数１】
【０００６】
であり、そのなか、i＝0の場合、
【０００７】
【数２】
【０００８】
が第iフレームの第k個の周波数ポイントに推定して得られるパワー値を表し、
【０００９】
【数３】
【００１０】
が第iフレームの第kの周波数ポイントのMDCT係数を表し、λが単極平滑化フィルタのフィルタ係数である。
さらに、
符号化待ちのオーディオ信号の周波数領域係数を1つまたは複数のノイズ充填サブバンドに分割し、推定される符号化待ちのオーディオ信号のパワースペクトルによってある有効ノイズ充填サブバンドのノイズレベルを計算する過程は、具体的に、
該有効ノイズ充填サブバンドにおけるすべてまたは部分のゼロビット符号化サブバンドのすべての周波数領域係数のパワーの平均値を計算して、平均パワー
【００１１】
【数４】
【００１２】
を得るステップと、
該有効ノイズ充填サブバンドのすべてまたは部分のゼロビット符号化サブバンドにおけるパワーPi(k)が平均パワー
【００１３】
【数５】
【００１４】
より大きいのすべての周波数領域係数のパワーの平均値を計算し、該有効ノイズ充填サブバンドにおけるゼロビット符号化サブバンドの音調成分平均パワー
【００１５】
【数６】
【００１６】
を得るステップと、
該有効ノイズ充填サブバンドのすべてまたは部分のゼロビット符号化サブバンドにおけるパワーPi(k)が平均パワー
【００１７】
【数７】
【００１８】
より小さいまたは等しいのすべての周波数領域係数のパワーPi(k)の平均値を計算し、該有効ノイズ充填サブバンドにおけるゼロビット符号化サブバンドのノイズ成分平均パワー
【００１９】
【数８】
【００２０】
を得るステップと、
ノイズ成分平均パワー
【００２１】
【数９】
【００２２】
と音調成分平均パワー
【００２３】
【数１０】
【００２４】
との比の値
【００２５】
【数１１】
【００２６】
を計算し、該有効ノイズ充填サブバンドのノイズレベルを得るステップとを含み、
そのなか、有効ノイズ充填サブバンドとは、ゼロビット符号化サブバンドを含むノイズ充填サブバンドである。
【００２７】
上記技術問題を解決するため、本発明はまたオーディオ符号化方法を提供し、該方法は、
A、符号化待ちのオーディオ信号のMDCT周波数領域係数を複数の符号化サブバンドに分割し、各符号化サブバンドの振幅エンベロープ値を量子化符号化し、振幅エンベロープ符号化ビットを得るステップと、
B、各符号化サブバンドにたいしてビットを分配し、且つ非ゼロビットの符号化サブバンドを量子化符号化し、MDCT周波数領域係数符号化ビットを得るステップと、
C、符号化待ちのオーディオ信号のMDCT周波数領域係数により符号化待ちのオーディオ信号のパワースペクトルを推定し、さらにゼロビット符号化サブバンドオーディオ信号のノイズレベルを推定し、且つ量子化符号化し、ノイズレベル符号化ビットを得るステップと、そのなか、該ノイズレベルは、復号化する場合、ノイズ充填と周波数帯コピーとのエネルギーの比例を制御することに用いられ、ゼロビット符号化サブバンドとは、分配されたビット数がゼロとする符号化サブバンドであり、
D、各符号化サブバンドの振幅エンベロープの符号化ビット、周波数領域係数符号化ビット及びノイズレベル符号化ビットをマルチプレックスとパッケージしてから、復号化端に送信するステップとを含む。
さらに、
ステップCの中において、前記ゼロビット符号化サブバンドオーディオ信号のノイズレベルとは、ゼロビット符号化サブバンドの内に推定して得られたノイズ成分パワーとゼロビット符号化サブバンドの内に推定して得られた音調成分パワーとの比の値である。
さらに、
符号化待ちのオーディオ信号のMDCT周波数領域係数により符号化待ちのオーディオ信号のパワースペクトルを推定し、第iフレームの周波数ポイントkのパワー推定の計算方法が
【００２８】
【数１２】
【００２９】
そのなか、i＝0の場合、
【００３０】
【数１３】
【００３１】
が第iフレームの第k個の周波数ポイントに推定して得られたパワー値を表し、
【００３２】
【数１４】
【００３３】
が第iフレームの第k個の周波数ポイントのMDCT係数を表し、λが単極平滑化フィルタのフィルタ係数である。
さらに、
ステップBの中に、符号化待ちのオーディオ信号の周波数領域係数を1つ或いは複数のノイズ充填サブバンドに分割して、各符号化サブバンドにビットを分配した後、有効ノイズ充填サブバンドにビットを分配し、ステップCの中に、推定された符号化待ちのオーディオ信号のパワースペクトルによりある有効ノイズ充填サブバンドのノイズレベルを計算する過程は、具体的に、
該有効ノイズ充填サブバンドにおけるすべて或いは部分のゼロビット符号化サブバンドのすべての周波数領域係数の平均値を計算し、平均パワー
【００３４】
【数１５】
【００３５】
を得るステップと、
該有効ノイズ充填サブバンドのすべて或いは部分のゼロビット符号化サブバンドの中に、パワーPi(k)が平均パワー
【００３６】
【数１６】
【００３７】
より大きいすべての周波数領域係数のパワーの平均値を計算し、該有効ノイズ充填サブバンドにおけるゼロビット符号化サブバンドの音調成分平均パワー
【００３８】
【数１７】
【００３９】
を得るステップと、
該有効ノイズ充填サブバンドのすべて或いは部分のゼロビット符号化サブバンドの中に、パワーPi(k)が平均パワー
【００４０】
【数１８】
【００４１】
より小さいまたは等しいすべての周波数領域係数のパワーPi(k)の平均値を計算し、該有効ノイズ充填サブバンドにおけるゼロビット符号化サブバンドのノイズ成分平均パワー
【００４２】
【数１９】
【００４３】
を得るステップと、
ノイズ成分平均パワー
【００４４】
【数２０】
【００４５】
と音調成分平均パワー
【００４６】
【数２１】
【００４７】
との比の値
【００４８】
【数２２】
【００４９】
を計算し、該有効ノイズ充填サブバンドのノイズレベルを得るステップとを含み、
その中、有効ノイズ充填サブバンドとは、ゼロビット符号化サブバンドを含むノイズ充填サブバンドである。
さらに、
ノイズ充填サブバンドを分割する時、均一に分割、或いは人の耳の聴覚特性によって非均一に分割し、1つのノイズ充填サブバンドが1つ或いは複数の符号化サブバンドを含む。
さらに、
ステップBの中に、すべての有効ノイズ充填サブバンドにビットを分配し、或いは、1つ或いは複数の低周波数の有効ノイズ充填サブバンドをスキップし、後続の高周波数の有効ノイズ充填サブバンドにビットを分配し、ステップCの中に、ビットを分配した有効ノイズ充填サブバンドのノイズレベルを計算し、ステップDの中に、該分配されたビットによってノイズレベル符号化ビットをマルチプレックスとパッケージする。
さらに、
各有効ノイズ充填サブバンドが同じビット数を分配し、或いは聴覚特性によって違うビット数を分配する請求項8に記載の方法。
【００５０】
以上の技術問題を解決するため、本発明はまたオーディオ復号化方法を提供し、該方法は、
A2、復号化待ちのビットストリームにおける各振幅エンベロープ符号化ビットを復号化逆量子化し、各符号化サブバンドの振幅エンベロープを得るステップと、
B2、各符号化サブバンドにビットを分配し、ノイズレベル符号化ビットを復号化逆量子化してゼロビット符号化サブバンドのノイズレベルを得て、周波数領域係数符号化ビットを復号化逆量子化して非ゼロビットの符号化サブバンドの周波数領域係数を得るステップと、
C2、ゼロビット符号化サブバンドを周波数帯コピーし、且つ各ゼロビットの符号化サブバンドの振幅エンベロープによって該符号化サブバンドの全体のエネルギー充填レベルを制御し、該ゼロビットの符号化サブバンドのノイズレベルによってノイズ充填と周波数帯コピーとのエネルギーの比例を制御し、再建されたゼロビットの符号化サブバンドの周波数領域係数を得るステップと、
D2、非ゼロビットの符号化サブバンドの周波数領域係数と再建されたゼロビットの符号化サブバンドの周波数領域係数に対して逆修正離散コサイン変換（IMDCT）を行い、最終のオーディオ信号を得るステップとを含む。
さらに、
ステップC2の中に、周波数帯コピーの時、MDCT周波数領域係数の中にオーディオ信号のある音調の所在の位置を捜索し、0周波数ポイントから音調位置までの周波数ポイントの帯域幅を周波数帯コピー周期として、且つ0周波数ポイントの後へcopyband_offset個の周波数ポイントを偏移する処から音調位置の周波数ポイントが後へ前記copyband_offset個の周波数ポイントを偏移する処までの周波数段域をソース周波数段域として、ゼロビットの符号化サブバンドを周波数帯コピーし、ゼロビットの符号化サブバンドの内部の最高周波数が捜索された音調の周波数よりも小さい場合、該ゼロビットの符号化サブバンドがノイズ充填のみを採用して周波数スペクトルを再建する。
さらに、
ステップC2の中に、
第1周波数段域の周波数領域係数に対して絶対値或いは平方値を取得して、平滑化フィルタを行い、
平滑化フィルタの結果によって、第1周波数段域フィルタ出力値の最大極値の所在の位置を捜索し、該最大極値の所在の位置をある音調の所在の位置とする。
さらに、
該第1周波数段域の周波数領域係数に対して絶対値を取得し、平滑化フィルタを行う計算式が以下のようであり、
【００５１】
【数２３】
【００５２】
或いは、該第1周波数段域の周波数領域係数平方値に対して平滑化フィルタを行う計算式が
【００５３】
【数２４】
【００５４】
であって、そのなか、μが平滑化フィルタ係数であり、
【００５５】
【数２５】
【００５６】
が第iフレームの第k個周波数ポイントのフィルタ出力値を表し、
【００５７】
【数２６】
【００５８】
が第iフレームの第k個周波数ポイントの復号化された後のMDCT係数であり、且つi=0の場合、
【００５９】
【数２７】
【００６０】
である。
さらに、
前記第1周波数段域は周波数スペクトルの統計特性によって確定されたエネルギーが比較的に集中する低周波数の周波数段域であり、その中、低周波数とは、半分の信号総帯域幅より小さい周波数スペクトル成分である。
さらに、
直接に第1周波数段域の対応する周波数領域係数のフィルタ出力値中から最初の最大値を捜索し、該最大値を第1周波数段域フィルタ出力値の最大極値とする方法によってフィルタ出力値の最大極値を確定する。
さらに、
以下の方法を採用してフィルタ出力値の最大極値を確定し、
該第1周波数段域の中の一段域を第2周波数段域とし、第2周波数段域が対応する周波数領域係数のフィルタ出力値において最初の最大値を捜索し、該最初の最大値が対応する周波数領域係数の位置によって異なる処理を行い、
a．該最初の最大値が第2周波数段域最低周波数の周波数領域係数のフィルタ出力値である場合、該第2周波数段域最低周波数の周波数領域係数のフィルタ出力値を第1周波数段域における一つ前のより低い周波数の周波数領域係数のフィルタ出力値と比較して、次第に前へ比較し続け、現在の周波数領域係数のフィルタ出力値が一つ前の周波数領域係数のフィルタ出力値より大きい場合、該現在の周波数領域係数のフィルタ出力値が最終に確定された最大極値であり、或いは、比較を続け、第1周波数段域の最低周波数の周波数領域係数のフィルタ出力値が次の周波数領域係数のフィルタ出力値より大きいことを得た場合、第1周波数段域の最低周波数の周波数領域係数のフィルタ出力値が最終に確定された最大極値であり、
b．該最初の最大値が第2周波数段域最高周波数の周波数領域係数のフィルタ出力値であると、該第2周波数段域最高周波数の周波数領域係数のフィルタ出力値を第1周波数段域における次のより大きい周波数の周波数領域係数のフィルタ出力値と比較して、次第に後へ比較し続け、現在の周波数領域係数のフィルタ出力値が次の周波数領域係数のフィルタ出力値よりも大きい場合、該現在の周波数領域係数のフィルタ出力値が最終に確定された最大極値であり、或いは、比較を続け、第1周波数段域の最高周波数の周波数領域係数のフィルタ出力値が一つ前の周波数領域係数のフィルタ出力値よりも大きいことを得る場合、第1周波数段域の最高周波数の周波数領域係数のフィルタ出力値が最終に確定された最大極値であり、
c．該最初の最大値が第2周波数段域最低周波数と最高周波数の間の周波数領域係数のフィルタ出力値であると、該最初の最大値が対応する周波数領域係数が音調の所在の位置であり、即ち、該最初の最大値が最終に確定された最大極値である。
さらに、
ステップC2の中に、ゼロビット符号化サブバンドに対して周波数帯コピーする場合、先ず、ソース周波数段域及び周波数帯コピーを行う必要があるゼロビット符号化サブバンドの開始シリアルナンバにより該ゼロビットの符号化サブバンドのソース周波数段域コピー開始シリアルナンバを計算し、周波数帯コピー周期を周期とし、ソース周波数段域コピー開始シリアルナンバから始めにソース周波数段域の周波数領域係数を周期的にゼロビット符号化サブバンドにコピーする。
さらに、
ステップC2の中に、ゼロビット符号化サブバンドに対して周波数帯コピーする場合、先ず、ソース周波数段域及び周波数帯コピーを行う必要があるゼロビット符号化サブバンドの開始シリアルナンバにより該ゼロビットの符号化サブバンドのソース周波数段域コピー開始シリアルナンバを計算し、周波数帯コピー周期を周期とし、ソース周波数段域コピー開始シリアルナンバから始めにソース周波数段域の周波数領域係数を周期的にゼロビット符号化サブバンドにコピーする。
さらに、
ステップC2の中に該ゼロビット符号化サブバンドのソース周波数段域コピー開始シリアルナンバを計算する方法は、
周波数領域係数を再建することが必要があるゼロビット符号化サブバンドの開始MDCT周波数領域係数の周波数ポイントのシリアルナンバーを得て、且つfillband_start_freqとし、音調が対応する周波数ポイントのシリアルナンバをTonal_posとし、Tonal_posに1を加えてコピー周期copy_periodを得て、周波数帯コピー偏移をcopyband_offsetとし、fillband_start_freqの値に循環にcopy_periodを差し引いて、該値がソース周波数段域のシリアルナンバの値区間に位置するまでにして、該値がソース周波数段域コピー開始シリアルナンバであり、copy_pos_modとする。
さらに、
ステップC2の中に、周波数帯コピー周期を周期として、ソース周波数段域コピー開始シリアルナンバからソース周波数段域の周波数領域係数を周期的にゼロビットの符号化サブバンドにコピーする方法は、
ソース周波数段域コピー開始シリアルナンバを開始とする周波数領域係数を順次に後へfillband_start_freqを開始位置とするゼロビットの符号化サブバンドにコピーし、ソース周波数段域コピーの周波数ポイントがTonal_pos+copyband_offset周波数ポイントに達するまでにして、再び第copyband_offset個の周波数ポイントから開始する周波数領域係数を続けて後へ該ゼロビットの符号化サブバンドにコピーし、そのように続け、現在のゼロビットの符号化サブバンドのすべての周波数領域係数の周波数帯コピーを完成するまで行うことである。
されに、
ステップC2の中に、以下の方法を採用してゼロビットの符号化サブバンドコピーされた後得られた周波数領域係数に対して、エネルギー調整を行う、
ゼロビットの符号化サブバンドの周波数帯コピーされた後得られた周波数領域係数の振幅エンベロープを計算し、
【００６１】
【数２８】
【００６２】
とし、
コピー後得られた周波数領域係数に対してエネルギー調整を行う一般式が
【００６３】
【数２９】
【００６４】
であり、
その中、
【００６５】
【数３０】
【００６６】
はゼロビットの符号化サブバンドrのエネルギー調整された後の周波数領域係数を表し、
【００６７】
【数３１】
【００６８】
はゼロビットの符号化サブバンドrがコピーされた後得られた周波数領域係数を表し、
【００６９】
【数３２】
【００７０】
はゼロビットの符号化サブバンドrがコピーされた後得られた周波数領域係数
【００７１】
【数３３】
【００７２】
の振幅エンベロープであり、rms(r)はゼロビットの符号化サブバンドrの符号化された前の周波数領域係数の振幅エンベロープであり、振幅エンベロープの量子化指数の逆量子化から得られ、
【００７３】
【数３４】
【００７４】
は、ゼロビットの符号化サブバンドrの周波数帯コピーのエネルギー制御スケール因子であり、その値がゼロビットの符号化サブバンドrの所在のノイズ充填サブバンドのノイズレベルにより決定され、具体的な計算式が以下のようであり、
【００７５】
【数３５】
【００７６】
【数３６】
【００７７】
が充填エネルギースケール因子であり、全体の充填エネルギーのゲインを調整することに用いられ、その値の範囲が（0、1）であり、
【００７８】
【数３７】
【００７９】
が復号化逆量子化により得られたノイズ充填サブバンドjのノイズレベルであり、その中、jがゼロビットの符号化サブバンドrの所在のノイズ充填サブバンドのシリアルナンバである。
さらに、
ステップC2の中に、以下の一般式によりエネルギー調整された後の周波数領域係数に対してノイズ充填を行い、
【００８０】
【数３８】
【００８１】
その中、
【００８２】
【数３９】
【００８３】
はゼロビットの符号化サブバンドrの再建周波数領域係数を表し、
【００８４】
【数４０】
【００８５】
は、ゼロビットの符号化サブバンドrのエネルギー調整された後の周波数領域係数を表し、rms(r) はゼロビットの符号化サブバンドrの符号化前の周波数領域係数の振幅エンベロープであり、振幅エンベロープの量子化指数の逆量子化により得られ、
【００８６】
【数４１】
【００８７】
がランダム位相生成器であり、ランダム位相値を生成し、その戻り値が+1または-1であり、
【００８８】
【数４２】
【００８９】
がゼロビットの符号化サブバンドrのノイズレベル制御スケール因子であり、その値がゼロビットの符号化サブバンドrの所在のノイズ充填サブバンドのノイズレベルにより決定され、具体的な計算式が以下のようであり、
【００９０】
【数４３】
【００９１】
その中、
【００９２】
【数４４】
【００９３】
が充填エネルギースケール因子であり、全体の充填エネルギーのゲインを調整することに用いられ、その値の範囲が（0、1）であり、
【００９４】
【数４５】
【００９５】
は復号化逆量子化により得られたノイズ充填サブバンドjのノイズレベルであり、その中、jがゼロビットの符号化サブバンドrの所在のノイズ充填サブバンドのシリアルナンバである。
さらに、
ステップB2の中に、各符号化サブバンドに対してビット分配をした後、符号化サブバンドを複数のノイズ充填サブバンドに分割し、有効ノイズ充填サブバンドに対してビット分配を行い、ステップC2の中に、ビットを分配された有効ノイズ充填サブバンドにおけるゼロビットの符号化サブバンドに対し周波数帯コピーを行い、コピーされた周波数領域係数のエネルギーレベル及びノイズ充填のエネルギーレベルを制御し、ビットが分配されていない有効ノイズ充填サブバンドにおけるゼロビットの符号化サブバンドに対してノイズ充填を行い、その中、有効ノイズ充填サブバンドとは、ゼロビットの符号化サブバンドを含むノイズ充填サブバンドである。
【００９６】
以上の技術問題を解決するため、本発明はまたオーディオ符号化システムを提供し、該システムは修正離散コサイン変換（MDCT）ユニット、振幅エンベロープ計算ユニット、振幅エンベロープ量子化及び符号化ユニット、ビット分配ユニット、周波数領域係数符号化ユニット及びビットストリームマルチプレクサ（MUX）を含み、該システムは、さらにノイズレベル推定ユニットを含み、その中には、
MDCTユニットは、オーディオ信号に対して逆修正離散コサイン変換を行い、周波数領域係数を変換することに用いられるものであり、
振幅エンベロープ計算ユニットは、前記MDCTユニットに接続し、前記MDCTにより生成した周波数領域係数を複数の符号化サブバンドに分割し、且つ各符号化サブバンドの振幅エンベロープ値を計算することに用いられるものであり、
振幅エンベロープ量子化及び符号化ユニットは、前記振幅エンベロープ計算ユニットに接続し、各符号化サブバンドの振幅エンベロープ値を量子化及び符号化を行い、各符号化サブバンドの振幅エンベロープの符号化ビットを生成することに用いられるものであり、
ビット分配ユニットは、前記振幅エンベロープ量子化及び符号化ユニットに接続し、各符号化サブバンドにビットを分配することに用いられるものであり、
周波数領域係数量子化符号化ユニットは、MDCTユニット、ビット分配ユニット及び振幅エンベロープ量子化及び符号化ユニットに接続し、各符号化サブバンドにおけるすべての周波数領域係数に対し正規化、量子化及び符号化処理を行い、周波数領域係数符号化ビットを生成することに用いられるものであり、
ノイズレベル推定ユニットは、MDCTユニット及ビット分配ユニットに接続し、符号化待ちのオーディオ信号のMDCT周波数領域係数により符号化待ちのオーディオ信号のパワースペクトルを推定し、さらに、ゼロビットの符号化サブバンドのオーディオ信号のノイズレベルを推定し、量子化符号化してノイズレベル符号化ビットを得ることに用いられ、その中、該ノイズレベルが復号化している場合にノイズ充填と周波数帯コピーとのエネルギーの比例を制御することに用いられるものであり、
ビットストリームマルチプレクサ（MUX）は、前記振幅エンベロープ量子化及び符号化ユニット、周波数領域係数符号化ユニット及びノイズレベル推定ユニットに接続し、各符号化サブバンドの符号化ビット及び周波数領域係数の符号化ビットをマルチプレックスし復号化端に送信することに用いられるものである。
さらに、
前記ゼロビットの符号化サブバンドのオーディオ信号のノイズレベルとは、ゼロビットの符号化サブバンド内推定して得られたノイズ成分パワーとゼロビットの符号化サブバンド推定して得られた音調成分パワーとの比の値である。
さらに、
前記ノイズレベル推定ユニットは、具体的に、
符号化待ちのオーディオ信号のMDCT周波数領域係数により符号化待ちのオーディオ信号のパワースペクトルを推定することに用いられるパワースペクトル推定モジュールと、
前記パワースペクトル推定モジュールに接続し、前記パワースペクトル推定モジュールが推定したパワースペクトルによりゼロビットの符号化サブバンドオーディオ信号のノイズレベルを推定することに用いられるノイズレベル計算モジュールと、
前記ノイズレベル計算モジュールに接続し、前記ノイズレベル計算モジュールが計算したノイズレベルに対して量子化符号化し、ノイズレベル符号化ビットを得ることに用いられるノイズレベル符号化モジュールとを含む。
さらに、
前記パワースペクトル推定モジュールが以下の一般式を採用して第iフレームの周波数ポイントkのパワーを推定し、一般式が
【００９７】
【数４６】
【００９８】
であり、そのなか、i＝0の場合、
【００９９】
【数４７】
【０１００】
は、第iフレームの第k個の周波数ポイントの推定して得られたパワー値を表し、
【０１０１】
【数４８】
【０１０２】
は、第iフレームの第k個の周波数ポイントのMDCT係数を表し、λは、単極ポール平滑化フィルタのフィルタ係数である。
さらに、
符号化待ちのオーディオ信号の周波数領域係数を1つまたは複数のノイズ充填サブバンドに分割し、前記ノイズレベル計算モジュールの機能は、具体的に、該有効ノイズ充填サブバンドにおけるすべてまたは部分のゼロビットの符号化サブバンドのすべての周波数領域係数パワーの平均値を計算し、平均パワー
【０１０３】
【数４９】
【０１０４】
を得ることに用いられることと、該有効ノイズ充填サブバンドのすべてまたは部分のゼロビットの符号化サブバンドにおけるパワーPi(k)が平均パワー
【０１０５】
【数５０】
【０１０６】
よりも大きいすべての周波数領域係数のパワーの平均値を計算し、該有効ノイズ充填サブバンドにおけるゼロビットの符号化サブバンドの音調成分平均パワー
【０１０７】
【数５１】
【０１０８】
を得ることに用いられることと、該有効ノイズ充填サブバンドのすべてまたは部分のゼロビットの符号化サブバンドにおけるパワーPi(k)が平均パワー
【０１０９】
【数５２】
【０１１０】
より小さいまたは等しいすべての周波数領域係数のパワーPi(k)の平均値を計算し、該有効ノイズ充填サブバンドにおけるゼロビットの符号化サブバンドのノイズ成分平均パワー
【０１１１】
【数５３】
【０１１２】
を得ることに用いられることと、ノイズ成分平均パワー
【０１１３】
【数５４】
【０１１４】
と音調成分平均パワー
【０１１５】
【数５５】
【０１１６】
との比の値を計算し、該有効ノイズ充填サブバンドのノイズレベルを得ることに用いられることとを含み、
その中、有効ノイズ充填サブバンドとは、ゼロビットの符号化サブバンドを含むノイズ充填サブバンドである。
さらに、
前記ノイズレベル推定ユニットは、さらにノイズレベル計算モジュール及びノイズレベル符号化モジュールに接続し、すべての有効ノイズ充填サブバンドにビットを分配し、または1つまたは複数の低周波数の有効ノイズ充填サブバンドをスキップ、後続の比較的に高周波数の有効ノイズ充填サブバンドにビットを分配し、及びノイズレベル計算モジュール及びノイズレベル符号化モジュールに通知することに用いられるビット分配モジュールを含み、
前記ノイズレベル計算モジュールはビットを分配されたノイズ充填サブバンドのみに対してノイズレベルを計算し、
前記ノイズレベル符号化モジュールは、ビット分配モジュールが分配したビットを利用して前記ノイズレベルに対して量子化符号化を行う。
【０１１７】
以上の技術問題を解決するため、本発明はまたオーディオ復号化システムを提供し、該システムは、ビットストリームデマルチプレクサ（DeMUX）、符号化サブバンド振幅エンベロープ復号化ユニット、ビット分配ユニット、周波数領域係数復号化ユニット、周波数スペクトル再建ユニット、逆修正離散コサイン変換（IMDCT）ユニットを含み、その中には、
前記DeMUXは、復号化待ちのビットストリームの中から振幅エンベロープ符号化ビット、周波数領域係数符号化ビット及びノイズレベル符号化ビットを分離することに用いられるものであり、
前記振幅エンベロープ復号化ユニットは、前記DeMUXに接続し、前記ビットストリームデマルチプレクサが出力した振幅エンベロープ符号化ビットに対して復号化を行い、各符号化サブバンドの振幅エンベロープ量子化指数を得ることに用いられるものであり、
前記ビット分配ユニットは、前記振幅エンベロープ復号化ユニットに接続し、ビットの分配を行い、各符号化サブバンドにおける各の周波数領域係数に分配された符号化ビット数を得ることに用いられるものであり、
周波数領域係数復号化ユニットは、振幅エンベロープ復号化ユニット及びビット分配ユニットに接続し、符号化サブバンドに対して復号化、逆量子化及び逆正規化を行い、周波数領域係数を得ることに用いられるものであり、
ノイズレベル復号化ユニットは、前記ビットストリームデマルチプレクサ及びビット分配ユニットに接続し、ノイズレベル符号化ビットに対して復号化逆量子化を行い、ノイズレベルを得ることに用いられるものであり、
前記周波数スペクトル再建ユニットは、前記ノイズレベル復号化ユニット、周波数領域係数復号化ユニット、振幅エンベロープ復号化ユニット及びビット分配ユニットに接続し、ゼロビットの符号化サブバンドに対して周波数帯コピーを行い、振幅エンベロープ復号化ユニットが出力した振幅エンベロープにより該符号化サブバンドの全体のエネルギー充填レベルを制御し、ノイズレベル復号化ユニットが出力したノイズレベルによりノイズ充填と周波数帯コピーとのエネルギーの比例を制御し、再建のゼロビットの符号化サブバンドの周波数領域係数を得ることに用いられるものであり、
IMDCTユニットは、前記周波数スペクトル再建ユニットに接続し、ゼロビットの符号化サブバンドの周波数スペクトル再建を完成した後の周波数領域係数に対してIMDCTを行い、オーディオ信号を得ることに用いられるものである。
さらに、
前記周波数スペクトル再建ユニットは、次第に接続する周波数帯コピーサブユニット、エネルギー調整サブユニット及びノイズ充填サブユニットを含み、その中には、
周波数帯コピーサブユニットは、ゼロビットの符号化サブバンドに対して周波数帯コピーを行うことに用いられるものであり、
エネルギー調整サブユニットは、ゼロビットの符号化サブバンドが周波数帯コピーされた後得られた周波数領域係数の振幅エンベロープ（sbr_rms(r)とする）を計算し、及び、ノイズレベル復号化ユニットが出力したノイズレベルによりコピーされた後得られた周波数領域係数に対してエネルギー調整を行い、エネルギー調整の一般式が
【０１１８】
【数５６】
【０１１９】
であることに用いられるものであり、
その中、
【０１２０】
【数５７】
【０１２１】
はゼロビットの符号化サブバンドrのエネルギー調整された後の周波数領域係数を表し、
【０１２２】
【数５８】
【０１２３】
はゼロビットの符号化サブバンドrがコピーされた後得られた周波数領域係数を表し、
【０１２４】
【数５９】
【０１２５】
はゼロビットの符号化サブバンドrがコピーされた後得られた周波数領域係数
【０１２６】
【数６０】
【０１２７】
の振幅エンベロープであり、rms(r)はゼロビットの符号化サブバンドrの符号化された前の周波数領域係数の振幅エンベロープであり、振幅エンベロープの量子化指数の逆量子化から得られ、
【０１２８】
【数６１】
【０１２９】
は、ゼロビットの符号化サブバンドrの周波数帯コピーのエネルギー制御スケール因子であり、その値がゼロビットの符号化サブバンドrの所在のノイズ充填サブバンドのノイズレベルにより決定され、具体的な計算式が以下のようであり、
【０１３０】
【数６２】
【０１３１】
【数６３】
【０１３２】
が充填エネルギースケール因子であり、全体の充填エネルギーのゲインを調整することに用いられ、その値の範囲が（0、1）であり、
【０１３３】
【数６４】
【０１３４】
は復号化逆量子化により得られたノイズ充填サブバンドjのノイズレベルであり、その中、jがゼロビットの符号化サブバンドrの所在のノイズ充填サブバンドのシリアルナンバであり、
ノイズ充填サブユニットは、ノイズレベル復号化ユニットが出力したノイズレベルによりエネルギー調整された後の周波数領域係数に対してノイズ充填を行い、ノイズ充填の一般式が
【０１３５】
【数６５】
【０１３６】
であることに用いられるものであり、
その中、
【０１３７】
【数６６】
【０１３８】
はゼロビットの符号化サブバンドrの再建周波数領域係数を表し、
【０１３９】
【数６７】
【０１４０】
は、ゼロビットの符号化サブバンドrのエネルギー調整された後のコピー周波数領域係数を表し、rms(r) はゼロビットの符号化サブバンドrの符号化前の周波数領域係数の振幅エンベロープであり、振幅エンベロープの量子化指数の逆量子化により得られ、
【０１４１】
【数６８】
【０１４２】
がランダム位相生成器であり、ランダム位相値を生成し、その戻り値が+1または-1であり、
【０１４３】
【数６９】
【０１４４】
がゼロビットの符号化サブバンドrのノイズレベル制御スケール因子であり、その値がゼロビットの符号化サブバンドrの所在のノイズ充填サブバンドのノイズレベルにより決定され、具体的な計算式が以下のようであり、
【０１４５】
【数７０】
【０１４６】
その中、
【０１４７】
【数７１】
【０１４８】
が充填エネルギースケール因子であり、全体の充填エネルギーのゲインを調整することに用いられ、その値の範囲が（0、1）であり、
【０１４９】
【数７２】
【０１５０】
は復号化逆量子化により得られたノイズ充填サブバンドjのノイズレベルであり、その中、jがゼロビットの符号化サブバンドrの所在のノイズ充填サブバンドのシリアルナンバである。
さらに、
前記周波数帯コピーサブユニットは、次第に接続する音調位置捜索モジュール、周期及びソース周波数段域計算モジュール、ソース周波数段域コピー開始シリアルナンバ計算モジュール及び周波数帯コピーモジュールを含み、その中には、
音調位置捜索モジュールは、MDCT周波数領域係数においてオーディオ信号のある音調の所在位置を捜索することに用いられるものであり、
周期及びソース周波数段域計算モジュールは、音調の所在位置によりコピーに用いる周波数帯コピー周期及びソース周波数段域を確定することに用いられ、該周波数帯コピー周期が0周波数ポイントから音調位置までの周波数ポイントの帯域幅であり、前記ソース周波数段域 は、0周波数ポイントが後へ周波数帯コピー偏移copyband_offsetを偏移する周波数ポイントから音調位置の周波数ポイントが後へ前記copyband_offsetを偏移する周波数ポイントまでの周波数段域であり、
ソース周波数段域コピー開始シリアルナンバ計算モジュールは、ソース周波数段域及び周波数帯コピーを行う必要があるゼロビットの符号化サブバンドの開始シリアルナンバにより該ゼロビットの符号化サブバンドのソース周波数段域コピー開始シリアルナンバを計算することに用いられるものであり、
前記周波数帯コピーモジュールは、周波数帯コピー周期を周期とし、ソース周波数段域コピー開始シリアルナンバからソース周波数段域の周波数領域係数周期性をゼロビットの符号化サブバンドにコピーし、ゼロビットの符号化サブバンドの内の最高周波数が捜索して得られた音調の周波数より小さい場合、該周波数ポイントがただノイズ充填を採用して周波数スペクトル再建を行うことに用いられるものである。
【０１５１】
さらに、
前記音調位置捜索モジュールは、以下の方法を採用して音調の所在位置を捜索する。第1周波数段域のMDCT周波数領域係数に対して絶対値または平方値を取って、平滑化フィルタを行い、平滑化フィルタの結果により、第1周波数段域フィルタ出力値の最大極値の所在の位置を捜索し、該最大極値が所在している位置が、即ち、音調の所在位置である。
【０１５２】
さらに、
前記音調位置捜索モジュールが該第1周波数段域のMDCT周波数領域係数に対して絶対値を取って、平滑化フィルタを行う計算式が
【０１５３】
【数７３】
【０１５４】
であり、
或いは、該第1周波数段域の周波数領域係数平方値に対して平滑化フィルタの計算が
【０１５５】
【数７４】
【０１５６】
であり
そのなか、μが平滑化フィルタ係数であり、
【０１５７】
【数７５】
【０１５８】
が第iフレームの第k個の周波数ポイントのフィルタ出力値であり、
【０１５９】
【数７６】
【０１６０】
が第iフレームの第k個の周波数ポイントの復号化後のMDCT係数であり、且つi=0の場合、
【０１６１】
【数７７】
【０１６２】
とする。
【０１６３】
さらに、
前記第1周波数段域は、周波数スペクトルの統計特性により確定されたエネルギーが比較的に集中している低周波数の周波数段域であり、その中、低周波数とは、1/2の信号総帯域幅より小さい周波数スペクトル成分である。
【０１６４】
さらに、
前記音調位置捜索モジュール計算モジュールは、直接に第1周波数段域が対応する周波数領域係数のフィルタ出力値の中から最初の最大値を捜索し、該最大値を第1周波数段域フィルタ出力値の最大極値とする。
【０１６５】
さらに、
前記音調位置捜索モジュールは、フィルタ出力値の最大極値を確定する時、該第1周波数段域の中の一段域を第2周波数段域として、先ず、第2周波数段域が対応する周波数領域係数のフィルタ出力値の中から最初の最大値を捜索し、そして該最初の最大値が対応する周波数領域係数の位置により異なる処理を行い、
a．該最初の最大値が第2周波数段域最低周波数の周波数領域係数のフィルタ出力値であると、該第2周波数段域最低周波数の周波数領域係数のフィルタ出力値を第1周波数段域における一つ前のより低い周波数の周波数領域係数のフィルタ出力値と比較して、次第に前へ比較し続け、現在の周波数領域係数のフィルタ出力値が一つ前の周波数領域係数のフィルタ出力値より大きい場合、該現在の周波数領域係数のフィルタ出力値が最終に確定された最大極値であり、或いは、比較し続けて、第1周波数段域の最低周波数の周波数領域係数のフィルタ出力値が次の周波数領域係数のフィルタ出力値より大きい場合、第1周波数段域の最低周波数の周波数領域係数のフィルタ出力値が最終に確定された最大極値であり、
b．該最初の最大値が第2周波数段域最高周波数の周波数領域係数のフィルタ出力値である場合、該第2周波数段域最高周波数の周波数領域係数のフィルタ出力値を第1周波数段域における次のより高い周波数の周波数領域係数のフィルタ出力値と比較して、次第に後へ比較し続け、現在の周波数領域係数のフィルタ出力値が次の周波数領域係数のフィルタ出力値より大きい場合、該現在の周波数領域係数のフィルタ出力値が最終に確定された最大極値であり、或いは、比較して第1周波数段域の最高周波数の周波数領域係数のフィルタ出力値が一つ前の周波数領域係数のフィルタ出力値より大きい場合、第1周波数段域の最高周波数の周波数領域係数のフィルタ出力値が最終に確定された最大極値であり、
c．該最初の最大値が第2周波数段域最低周波数と最高周波数の間の周波数領域係数のフィルタ出力値であると、該最初の最大値が対応する周波数領域係数が音調の所在の位置であり、即ち、該最初の最大値が最終に確定された最大極値である請求項33に記載のシステム。
【０１６６】
さらに、
前記ソース周波数段域コピー開始シリアルナンバ計算モジュールは、周波数帯コピーを行う必要があるゼロビットの符号化サブバンドのソース周波数段域コピー開始シリアルナンバの計算過程は、現在に周波数領域係数を再建することが必要があるゼロビットの符号化サブバンドの開始周波数ポイントのシリアルナンバを得て、fillband_start_freqとし、音調が対応する周波数ポイントのシリアルナンバをTonal_posとし、Tonal_posに1を加えてコピー周期copy_periodを得て、ソース周波数段域開始シリアルナンバをcopyband_offsetとし、fillband_start_freqの値に循環にcopy_periodを減って、該値がソース周波数段域のシリアルナンバの値区間に位置するまでして、該値がソース周波数段域コピー開始シリアルナンバであり、copy_pos_modとする。
【０１６７】
さらに、
周波数帯コピーモジュールが周波数帯コピーを行う場合、ソース周波数段域コピー開始シリアルナンバを開始とする周波数領域係数を順次に後へfillband_start_freqを開始位置とするゼロビットの符号化サブバンドにコピーしつづけ、ソース周波数段域コピーの周波数ポイントがTonal_pos+copyband_offset周波数ポイントに達した後、再び第copyband_offset個の周波数ポイントから開始する周波数領域係数を続けて後へ該ゼロビットの符号化サブバンドにコピーし、そのように続け、現在のゼロビットの符号化サブバンドのすべての周波数領域係数コピーを完成するまで行う。
【０１６８】
さらに、
前記ビット分配ユニットは、
すべての有効ノイズ充填サブバンドにビットを分配し、または1つまたは複数の低周波数の有効ノイズ充填サブバンドをスキップし、後続の比較的に高周波数の有効ノイズ充填サブバンドにビットを分配することにさらに用いられ、
前記エネルギー調整サブユニットは、周波数帯コピーされた後得られた周波数領域係数にエネルギー調整を行い、
前記ノイズ充填サブユニットは、エネルギー調整された後の周波数領域係数、及びビットを分配しないノイズ充填サブバンドにおけるゼロビットの符号化サブバンドにノイズ充填を行う。
【発明の効果】
【０１６９】
本発明は、符号化端でMDCT周波数領域係数により符号化待ちのオーディオ信号のパワースペクトルを推定し、推定して得られるパワースペクトルによりゼロビットの符号化サブバンドオーディオ信号のノイズレベルを推定し、ノイズレベル情報を符号化した後、復号化端に送信し、復号化端のノイズ充填と周波数帯コピーとのエネルギーの比例を制御することに用いられ、復号化端が復号化して符号化MDCT周波数領域係数が得られた後、周波数帯コピー及びノイズ充填の方法を採用して未符号化の符号化サブバンドに対して周波数領域係数の再建を行い、その中に、ノイズ充填と周波数帯コピーとのエネルギーの比例が符号化端から送信したノイズレベル符号化ビットにより制御する。該方法は、良好的に未符号化の符号化サブバンドの周波数スペクトルエンベロープ及び内部の音調ノイズ成分を回復でき、良好的な主観的な聞く効果を得ることになる。
【図面の簡単な説明】
【０１７０】
【図１】本発明のオーディオ符号化方法の模式図である。
【図２】本発明によるノイズ充填サブバンドの内におけるゼロビットの符号化サブバンドのノイズレベル符号化ビット獲得のプロセス模式図である。
【図３】本発明によりノイズレベル計算のプロセス模式図である。
【図４】本発明のオーディオ復号化方法の模式図である。
【図５】本発明による周波数スペクトル再建のプロセス模式図である。
【図６】本発明によるオーディオ符号化システムの構造模式図である。
【図７】本発明によるノイズレベル推定ユニットのモジュール構造模式図である。
【図８】本発明によるオーディオ復号化システムの構造模式図である。
【図９】本発明による周波数スペクトル再建ユニットのモジュール構造模式図である。
【図１０】本発明の実施例のビットストリームの構成模式図である。
【発明を実施するための形態】
【０１７１】
本発明の主旨は、符号化端においてMDCT周波数領域係数により符号化待ちのオーディオ信号のパワースペクトルを推定して、得られるパワースペクトル推定することでゼロビットの符号化サブバンドオーディオ信号のノイズレベルを推定し、ノイズレベル情報を符号化した後、復号化端に送信し、復号化端のノイズ充填と周波数帯コピーとのエネルギーの比例を制御することに用いられ、復号化端において復号化してコードMDCT周波数領域係数が得られた後、周波数帯コピー及びノイズ充填の方法を採用して未符号化の符号化サブバンドに対して周波数領域係数の再建を行い、その中に、ノイズ充填と周波数帯コピーとのエネルギーの比例が符号化端から送信してきたノイズレベル符号化ビットにより制御される。該方法は、良好的に未符号化の符号化サブバンドの周波数スペクトルエンベロープ及び内部の音調ノイズ成分を回復でき、良好的な主観的な聞く効果を得られる。
【０１７２】
本発明における周波数領域係数とは、MDCT周波数領域係数である。
【０１７３】
以下、符号化方法、復号化方法、符号化システム及び復号化システムに分け、本発明に対して詳細的に説明する。
【０１７４】
一、符号化方法
本発明のオーディオ符号化方法は以下のステップを含む。
【０１７５】
A、符号化待ちのオーディオ信号のMDCT周波数領域係数を複数の符号化サブバンドに分割し、各符号化サブバンドの振幅エンベロープ値を量子化符号化し、振幅エンベロープの符号化ビットを得る。
【０１７６】
符号化サブバンドを分割している場合、前記MDCTの変換した後の周波数領域係数を複数の等間隔の符号化サブバンドに分け、或いは、聴覚認知特性に従って複数の非均一符号化サブバンドに分割する。
【０１７７】
B、各符号化サブバンドに対してビットを分配し、且つ非ゼロビットの符号化サブバンドを量子化符号化し、MDCT周波数領域係数の符号化ビットを得る。
【０１７８】
各符号化サブバンドに対してビットを分配した後、ある符号化サブバンドに分配されたビット数がゼロであると、該符号化サブバンドに対して量子化符号化しなく、本発明には、該符号化サブバンドをゼロビットの符号化サブバンドまたは未符号化の符号化サブバンドをお呼び、他の符号化サブバンドを非ゼロビットの符号化サブバンドと呼ぶ。
【０１７９】
如何な方法を採用して各符号化サブバンドに対して正規化、量子化及び符号化をすることは、本発明が注目している重点ではない。
【０１８０】
C、符号化待ちのオーディオ信号のMDCT周波数領域係数により符号化待ちのオーディオ信号のパワースペクトルを推定し、さらにはゼロビットの符号化オーディオ信号のノイズレベルを推定し、且つ量子化符号化し、ノイズレベル符号化ビットを得て、そのなか、該ノイズレベル符号化ビットは、復号化する場合、ノイズ充填と周波数帯コピーとのエネルギーの比例を制御することに用いられる。
【０１８１】
前記ゼロビットの符号化サブバンドオーディオ信号のノイズレベルとは、ゼロビットの符号化サブバンドの内において推定して得られたノイズ成分パワーとゼロビットの符号化サブバンドにおいて推定して得られた音調成分パワーとの比の値である。
【０１８２】
D、各符号化サブバンドの前記振幅エンベロープの符号化ビット、前記周波数領域係数の符号化ビット及びノイズレベル符号化ビットをマルチプレックスとパッケージしてから、復号化端に送信する。
【０１８３】
以下、図面を参考して、本発明のオーディオ符号化方法に詳細的な説明を行う。
【０１８４】
実施例1-符号化方法
図1は、本発明の実施例におけるオーディオ符号化方法の構造模式図である。本実施例おいて、フレーム長さが20ms、サンプリングレートが32kHzであるオーディオストリームを例として具体的に本発明のオーディオ符号化方法を説明する。他のフレーム長さ及びサンプリングレートの場合にも、本発明の方法が同様に適用する。図1のように、該方法が以下のステップを含む。
【０１８５】
101：符号化待ちのオーディオストリームにMDCT（Modified Discrete Cosine Transform、修正離散コサイン変換）を実施し、N個の周波数領域サンプリングポイントにおける周波数領域係数を得る。
【０１８６】
本ステップの具体的な実現方式は以下のようにしてもよい。
【０１８７】
現在のフレームのN点時間領域サンプリング信号x(n)と前の1つのフレームのN点時間領域サンプリング信号xold(n)とを2N点時間領域サンプリング信号ｘ（ｎ）（ｘはバー付き）に組成し、2N点の時間領域サンプリング信号が次の式で表す。
【０１８８】
【数７８】
【０１８９】
【数７９】
【０１９０】
に対してMDCT変換を実施し、以下の周波数領域係数を得る。
【０１９１】
【数８０】
【０１９２】
その中、w(n)は、正弦窓関数であり、表現式が以下のようである。
【０１９３】
【数８１】
【０１９４】
フレーム長さが20msで、サンプリングレートが32kHzである場合、640個の周波数領域係数を得る。他のフレーム長さ及びサンプリングレートも同様に相応の周波数領域係数の個数Nを計算できる。
【０１９５】
102： N個の周波数領域係数を複数の符号化サブバンドに分け、各の符号化サブバンドの振幅エンベロープを計算する。
【０１９６】
本実施例において非均一サブバンド分割を採用し、各のサブバンドの周波数領域振幅エンベロープを計算する（振幅エンベロープと略称する）。
【０１９７】
本ステップが以下のサブステップを採用して実現できる。
【０１９８】
102a：処理する必要がある周波数帯範囲における周波数領域係数をL個のサブバンドに分ける（符号化サブバンドとも言う）。
【０１９９】
本実施例において、処理する必要がある周波数帯範囲は、0〜13.6kHzで、人の耳の自覚特性に応じて非均一サブバンド分割をしてもよく、表1には、1つの具体的な分割方式を挙げている。
【０２００】
表1には、0〜13.6kHz周波数帯範囲における周波数領域係数を28個の符号化サブバンドに分割し、即ち、L=28、それに、13.6kHz以上の周波数領域係数を0とする。
【０２０１】
102b：以下の一般式により各符号化サブバンドの振幅エンベロープを計算する。
【０２０２】
【数８２】
【０２０３】
その中、LIndex(j)とHIndex(j)がそれぞれ第j個の符号化サブバンドの開始周波数ポイントと終了周波数ポイントを表し、その具体的な数値が表1のようである。
【０２０４】
表1 周波数領域非均一サブバンド分割方式の実例
【０２０５】
【表１】
【０２０６】
103：各符号化サブバンドの振幅エンベロープに対して量子化及び符号化を行い、振幅エンベロープの量子化指数及び振幅エンベロープの量子化指数符号化ビット（即ち振幅エンベロープの符号化ビット）を得る。
【０２０７】
以下の一般式（5）を採用して一般式（4）により計算して得られた各符号化サブバンド振幅エンベロープに対して量子化を行い、各符号化サブバンド振幅エンベロープの量子化指数を得る。
【０２０８】
【数８３】
【０２０９】
その中、
【０２１０】
【数８４】
【０２１１】
は切り捨てる（round down）ことを表し、Thq(0)が第1の符号化サブバンドの振幅エンベロープ量子化指数であり、その範囲を [−5, 34]の内に制限し、即ち
【０２１２】
【数８５】
【０２１３】
の時、
【０２１４】
【数８６】
【０２１５】
とし、
【０２１６】
【数８７】
【０２１７】
の時、
【０２１８】
【数８８】
【０２１９】
とする。
【０２２０】
量子化指数により重建された量子化振幅エンベロープが
【０２２１】
【数８９】
【０２２２】
である。
【０２２３】
6ビットにより第1の符号化サブバンドの振幅エンベロープ量子化指数に対して符号化し、即ち、6ビットを消耗する。
【０２２４】
各符号化サブバンドの振幅エンベロープ量子化指数の間の差分計算値が以下の一般式を採用して計算する。
【０２２５】
【数９０】
【０２２６】
振幅エンベロープに対して以下の修正を行い、ΔＴｈｑ（ｊ）の範囲が[−15, 16]の内に保証するためである。
【０２２７】
【数９１】
【０２２８】
場合、
【０２２９】
【数９２】
【０２３０】
とし、
【０２３１】
【数９３】
【０２３２】
場合、
【０２３３】
【数９４】
【０２３４】
とする。
【０２３５】
【数９５】
【０２３６】
に対してハフマン（Huffman）符号化をし、それに、この時消耗されたビット数（ハフマン符号化ビット・Huffman coded bitsと言う）を計算する。この時のハフマン符号化ビットが一定に分配されたビット数（在本実施例中(L−1)×5より大きい）よりも大きくまたは等しくとする場合、自然符号化方式を採用して
【０２３７】
【数９６】
【０２３８】
に対して符号化し、それに、振幅エンベロープハフマン符号フラグFlag_huff_rms = 0とし、さもないと、ハフマン符号を利用して
【０２３９】
【数９７】
【０２４０】
に対して符号化し、それに、振幅エンベロープハフマン符号フラグFlag_huff _rms = 1とする。振幅エンベロープ量子化指数の符号化ビット（即振幅エンベロープ差分値の符号化ビット）及び振幅エンベロープハフマン符号フラグがMUXの中に送信される必要がある。
【０２４１】
104：各符号化サブバンドの重要性により各符号化サブバンドに対してビットを分配する。
【０２４２】
先にコードレート歪み理論及び符号化サブバンド振幅エンベロープ情報により各符号化サブバンドの重要性の最初値を計算し、そして、各サブバンドの重要性により各サブバンドに対してビット分配を行い、本ステップが以下のサブステップにより実現できる。
【０２４３】
104a：単一の周波数領域係数のビット消耗平均値を計算する。
【０２４４】
20msフレーム長さから提供できる総体のビット数bits_availableにおいて、サイド情報が消耗したビット数bit_sides、ノイズ充填サブバンドのノイズレベル情報予約ビットbits_noiseband及び符号化サブバンド振幅エンベロープが消耗したビット数bits_Thを除去して、残した周波数領域係数符号化に使用できるビット数bits_leftを得て、即ち、
bits_left = bits_available−bit_sides −bits_Th−bits_noiseband （7）である。
【０２４５】
ノイズ充填サブバンドのノイズレベル情報予約ビットbits_noisebandがノイズ充填サブバンドのノイズレベル符号化ビットために予約したビットであり、ノイズ充填サブバンドのビット分配を完成した後、また残りビットがあると、残したノイズ充填サブバンドノイズレベル情報予約ビットbits_noisebandをビット分配修正に用いられる。
【０２４６】
サイド情報は、振幅エンベロープハフマン符号フラグFlag_huff_rms、周波数領域係数ハフマン符号フラグFlag_huff_plvq、及び反復回数countのビットを含む。Flag_huff_rmsは、サブバンド振幅エンベロープにハフマン符号を使用したかを標記するために使用され、Flag_huff_plvqは、周波数領域係数に対してベクトル量子化及び符号化しているときハフマン符号を使用したかどうかを標記するために使用され、反復回数countは、ビット分配修正している時の反復回数を標記するために使用される（後続のステップ中の記載を参考）。
【０２４７】
104b：各符号化サブバンドがビット分配においての重要性最初値を計算する。
【０２４８】
rk(j)で第j個の符号化サブバンドがビット分配に用いられる時の重要性を表す。
【０２４９】
104c：各符号化サブバンドの重要性により各符号化サブバンドにビット分配を行う。
【０２５０】
具体的な説明は以下のようである。
【０２５１】
先ず、各rk(j)において最大値の所在の符号化サブバンドを探して、該符号化サブバンドの番号がjkであるとし、そして、該符号化サブバンドにおける各周波数領域係数の符号化ビット数を増加し、該符号化サブバンドの重要性を下げて、同時に該サブバンド符号化に用いる消耗したビット総数
【０２５２】
【数９８】
【０２５３】
を計算し、最後にすべての符号化サブバンドが消耗したビット数の総和sum(bit_band_used (j)), j=0,…,L-1を計算し、消耗されたビット数の総和がビット制限条件下の最大値を提供できることを満足するまで、前記の過程を繰り返す。
【０２５４】
ビット分配数とは、1つの符号化サブバンドにおいて単一の周波数領域係数が分配されたビット数である。1つの符号化サブバンドが消耗されたビット数とは、該符号化サブバンドにおける単一の周波数領域係数の分配ビット数に該符号化サブバンドに含まれた周波数領域係数の数を掛ける個数である。
【０２５５】
本実施例において、ビット分配数が0である符号化サブバンドに対して分配されたビットの歩幅が1個のビットであり、ビットが分配された後、重要性が低下した歩幅は1であり、ビット分配数が0以上且つ閾値5以下の符号化サブバンドに対してビット分配を追加している時のビット分配の歩幅が0.5個のビットであり、ビット追加分配した後、重要性が低下した歩幅も0.5であり、ビット分配数が閾値5より大きくまたは等しくとする符号化サブバンドに対してビット追加分配する時のビット分配歩幅が1であり、ビット追加分配した後、重要性が低下した歩幅も1である。
【０２５６】
本ステップにおけるビット分配方法が以下の擬似コードで表す。
【０２５７】
region_bit(j)=0、
【０２５８】
【数９９】
【０２５９】
とし、
符号化サブバンド0,1,…,L−1に対して、
{
【０２６０】
【数１００】
【０２６１】
を探し、
region_bit(jk)<5と、
{
region_bit(jk)=0と、
region_bit(jk) = region_bit(jk) + 1とし、
bit_band_used(jk) = region_bit(jk) * BandWidth(jk)を計算し、
rk(jk) = rk(jk) − 1とし、
さもないと、region_bit(jk)>=1と、
region_bit(jk) = region_bit(jk) + 0.5とし、
bit_band_used(jk) = region_bit(jk) * BandWidth(jk)*0.5を計算し、
rk(jk) = rk(jk) −0.5とし、
}
さもないと、region_bit(jk)>=5と、
{
region_bit(jk) = region_bit(jk) + 1とし、
【０２６２】
【数１０１】
【０２６３】
とし、
bit_band_used(jk) = region_bit(jk)×BandWidth(jk)を計算し、
}
bit_used_all = sum(bit_band_used(j)) j=0,1,…,L−1を計算し、
bit_used_all < bits_left − 24と、戻し、各符号化サブバンドにおいて再びjkを探し、循環にビット分配値を計算し、その中、24が符号化サブバンド幅の最大値である。
【０２６４】
さもないと、循環を終了させ、ビット分配値を計算し、この時のビット分配値を出力する。
【０２６５】
}
最後に、符号化サブバンドの重要性により、残りの24個未満のビットを以下の原則により要求を満足する符号化サブバンドに分配し、優先にビットが１と分配された符号化サブバンドにおいて、各の周波数領域係数に0.5個のビットを分配し、同時に該符号化サブバンドの重要性0.5を下げ、さもないと、ビット分配が0であるサブバンドにおける各周波数領域係数に1個のビットを分配し、同時に、該符号化サブバンドの重要性1を下げ、bit_left−bit_used_all < 4までにして、ビット分配を終了。
【０２６６】
その中、MaxBitが符号化サブバンドにおいて単一の周波数領域係数に分配できる最大の符号化ビット数である。本実施例おいてMaxBit=9を採用する。この値がコーデックのコーディングレートにより適当に調整できる。region_bit(j)が第j個の符号化サブバンドにおいて単一の周波数領域係数に分配されたビット数である。
【０２６７】
105：ステップ104のビット分配の結果に基づいて、内部にゼロビットの符号化サブバンドを含有する有効ノイズ充填サブバンドにビットを分配し、MDCT周波数領域係数によりオーディオ信号のパワースペクトルを推算し、推定して得られたパワースペクトルに基づいて有効ノイズ充填サブバンドのノイズレベルを推定し、該ノイズレベル情報に対して量子化符号化を行い、ノイズ充填サブバンドのノイズレベル符号化ビットを得る。
【０２６８】
N個のMDCT周波数領域係数を1つのノイズ充填サブバンドと見なしてもよく、均一に分割してもよく、或いは人の耳の聴覚特性により複数のノイズ充填サブバンドに分割する。1つのノイズ充填サブバンドは、1つ或いは複数の符号化サブバンドを含む。
【０２６９】
本発明には、内部にゼロビットの符号化サブバンドを含むノイズ充填サブバンドを有効ノイズ充填サブバンドと言う。
【０２７０】
ノイズ充填サブバンドのビット分配を行う時、すべての有効ノイズ充填サブバンドにビットを分配してもよく、1つまたは複数の低周波数の有効ノイズ充填サブバンドをスキップし、後続の比較的に高周波の有効ノイズ充填サブバンドにビットを分配してもよく、それに対応して、復号化している時に、該ビットを分配していない低周波数の有効ノイズ充填サブバンドにおけるゼロビットの符号化サブバンドに対してホワイトノイズ充填の方式を採用して、周波数スペクトル再建を行う。
【０２７１】
それぞれの有効ノイズ充填サブバンドに同じビット数を分配し、或いは人の耳が各のサブバンドに対する聴覚特性により異なるビット数を分配する。後に、有効ノイズ充填サブバンドのノイズレベル符号化ビットを得た後、該ビットをマルチプレックスとパッケージする。
【０２７２】
106：非ゼロビットの符号化サブバンドのベクトルに対して量子化及び符号化を行い、周波数領域係数の符号化ビットを得る。
【０２７３】
107：符号化ストリームを構造する。
【０２７４】
図10は、本発明の実施例の符号化ストリーム構成模式図である。先ず、サイド情報をFlag_huff_rms、Flag_huff_plvq及びcountの順序でビットストリームマルチプレクサMUXに書き込み、そして、符号化サブバンド振幅エンベロープ符号化ビットをMUXに書き込み、そして、ノイズレベル符号化ビットをMUXに書き込み、そして、周波数領域係数の符号化ビットをMUXに書き込み、最後に前記の順序で書き上げた符号化ストリームを復号化端に送信する。
【０２７５】
以下、図面を参考してN個のMDCT周波数領域係数を複数のノイズ充填サブバンドに分割し、且つ第2の有効ノイズ充填サブバンドのビット分配から例としてステップ105に詳細的な説明を行う。
【０２７６】
図2のように、ノイズ充填サブバンドの内におけるゼロビットの符号化サブバンドのノイズレベル符号化ビットを得る過程は、具体的に、以下のステップを含む。
【０２７７】
201：符号化サブバンドを複数のノイズ充填サブバンドに分割し、符号化サブバンドのビットの分配結果により、有効ノイズ充填サブバンドにビットを分配する。
【０２７８】
処理する必要がある周波数帯範囲における周波数領域係数を人の耳の聴覚特性により非均一に複数のサブバンドに分割し、ノイズ充填サブバンドと言って、1つのノイズ充填サブバンドには、1つまたは複数の符号化サブバンドを含む。
【０２７９】
ひとつの実例の具体的な分割方式実例が表2を参考する。
【０２８０】
表2 ノイズ充填サブバンドの非均一サブバンド分割方式実例
【０２８１】
【表２】
【０２８２】
以上の表2には、ノイズ充填サブバンドは、符号化サブバンド周波数に基づいて低から高までの順序で配列されるものである。
【０２８３】
ノイズ充填サブバンドノイズレベル情報予約ビットは、シリアルナンバ0以外の各ノイズ充填サブバンドに2つのビットを予約したら、総予約ビット数がノイズ充填サブバンドの個数に1を減って2を掛けるものである。
【０２８４】
ビット分配している時、シリアルナンバが0であるノイズ充填サブバンドにビットを分配しなく、即ち、符号化ビットを占めなく、相応的に、復号化している時、シリアルナンバが0であるノイズ充填サブバンドに対して、内部にゼロビットの符号化サブバンドを有すると、ホワイトノイズ充填方法を採用してゼロビットの符号化サブバンドの周波数領域係数に対して周波数スペクトル再建を行い、詳しいことは、ステップ504を参考し、シリアルナンバが1であるノイズ充填サブバンドから該ノイズ充填サブバンドの内部にはゼロビットの符号化サブバンドを有するかを判断し、該ノイズ充填サブバンドにゼロビットの符号化サブバンドを有すると、該ノイズ充填サブバンドに2つのビットを分配し、該ノイズ充填サブバンドの内におけるゼロビットの符号化サブバンドのノイズレベル情報を表すことに用いられ、ノイズ充填サブバンドのノイズレベル情報予約ビットbits_noisebandに2を減る。すべてのノイズ充填サブバンドのビット分配を完成した後、残りのノイズレベル情報予約ビットbits_noisebandをビット分配修正に用いる。
【０２８５】
本ステップにおいて、ノイズ充填サブバンドビット分配方法が以下の擬似コードで表してもよい。
【０２８６】
Nregion_bitflag (j-1)がノイズ充填サブバンドjのビット分配フラグであり、1がビットを分配したことを表し、0がビットを分配していないことを表す。
【０２８７】
Nregion_bitflag (j-1)=0、ｊ＝1,2,L,L_noise-1とし、
ノイズ充填サブバンドのビット分配の残りビットnoiseband_remain_bits = 0とし、
ノイズ充填サブバンド j = 1, 2, ……L_noise-1に対して、
{ region = NLIndex(j), NLIndex(j)+1,……NHIndex(j)とし、
すべてのregionに対して、
{
region_bit(region)＝0と、
{
Nregion_bit(Nregion) = 1とし、
bits_noiseband = bits_noiseband − 2;
現在の循環から飛び出し、
}
}
}
noiseband_remain_bits = bits_noiseband、
ノイズ充填サブバンドに分配された各ビットを順序に配列すると、後に記載されるノイズレベル符号化ビットである。
【０２８８】
以上はノイズ充填サブバンドに対してビット分配を行う過程であり、勿論、直接に各ノイズ充填サブバンドに特定の数量（例えば2ビット）のビットを予約もできる。
【０２８９】
202：表2のノイズ充填サブバンドの分割方式に基づいて、MDCT係数によりシリアルナンバが１、２、３、４である4つのノイズ充填サブバンドの信号のパワースペクトルを推算する。
【０２９０】
第iフレームの周波数ポイントkのパワーを推定する計算方法は、式（13）のようである。
【０２９１】
【数１０２】
【０２９２】
その中、i＝0の場合、
【０２９３】
【数１０３】
【０２９４】
は、第iフレームの第k個の周波数ポイントが推定して得られたパワー値を表す。
【０２９５】
【数１０４】
【０２９６】
は、第iフレームの第k個の周波数ポイントのMDCT係数であり、λは、単極平滑化フィルタのフィルタ係数であり、その中の1つの実例には
【０２９７】
【数１０５】
【０２９８】
である。
【０２９９】
MDCTによりパワースペクトルの推定を行う原理が以下のように導出する。
【０３００】
下式は、長度が2Mである信号xの角周波数ω所の離散時間フーリエ変換(DTFT)を表す。
【０３０１】
【数１０６】
【０３０２】
0と2πの間の2M個の均一に区切る周波数においてDTFTサンプリングを行う。該サンプリングを経てる変換を離散フーリエ変換（DFT）と言って、下式に周波数ポイントk所のDFTを提供する。
【０３０３】
【数１０７】
【０３０４】
半周波数ポイントの偏移を利用してDTFTに対してサンプリングを行い、変位離散フーリエ変換(SDFT)を生成するためである。
【０３０５】
【数１０８】
【０３０６】
実際信号x(n)にウィンドウを加えた後のSDFTが以下のようである。
【０３０７】
【数１０９】
【０３０８】
式（2）によりMDCT周波数領域係数
【０３０９】
【数１１０】
【０３１０】
が
【０３１１】
【数１１１】
【０３１２】
であり、M=Nとし、式(2)を再び書いていると、以下のようである。
【０３１３】
【数１１２】
【０３１４】
SDFTとMDCTが同じウィンドウ様式を採用し、ｘ（ｎ）＝ｘ（バー付き）（ｎ）とし、
実際信号x(n)のMDCTとSDFTの間の関係が以下の一般式のように表す。
【０３１５】
【数１１３】
【０３１６】
即ち、MDCTが余弦により調整するSDFTの幅さで表示してもよく、該余弦がSDFTの角度関数である。
【０３１７】
オーディオ信号の連続反復のウィンドウブロックを加えたSDFTにより信号のパワースペクトルを推定し、信号xの変換長さが2Mであると、下式には、周波数ポイントk且つブロックt所の短時間変位離散フーリエ変換STSDFTを提供する。
【０３１８】
【数１１４】
【０３１９】
Hはブロックのジャンプ長である。また、H=Mと、STSDFTとMDCTが同じジャンプ長を有する。
【０３２０】
STSDFTを利用して多数のブロックtにおいて
【０３２１】
【数１１５】
【０３２２】
の平方幅さを平均することにより信号のパワースペクトルを推定し、下式により、長さがTであるブロックの移動平均値を計算し、パワースペクトルに対する時間変化の推定を生成する。
【０３２３】
【数１１６】
【０３２４】
MDCTとSDFTの計算関係により、ある仮設条件において、
【０３２５】
【数１１７】
【０３２６】
により近似に
【０３２７】
【数１１８】
【０３２８】
を得る。定義は以下のようである。
【０３２９】
【数１１９】
【０３３０】
式(18)により下式が得られる。
【０３３１】
【数１２０】
【０３３２】
ブロックにおいて
【０３３３】
【数１２１】
【０３３４】
と
【０３３５】
【数１２２】
【０３３６】
が相対的に独立に共同変化すると（該仮設が多数のオーディオ信号に対して真である。）、以下の式が得られる。
【０３３７】
【数１２３】
【０３３８】
さらに、総体的に
【０３３９】
【数１２４】
【０３４０】
がT個のブロックにおいて均一に0と2πの間に分布し、且つTが相対的に大きくと仮設すると、均一分布の位相角度を有する余弦平方の希望値が1/2であるので、以下の式が得られる。
【０３４１】
【数１２５】
【０３４２】
よって、MDCTにより推定するパワースペクトルがSTSDFTにより推定されたパワースペクトルの約半分であることを発見できる。
【０３４３】
符号化計算の低遅延の要求で、単極平滑化フィルタを選択してパワースペクトル推定を行い、
【０３４４】
【数１２６】
【０３４５】
において、ブロックtがiで表し、下付き文字とし、
【０３４６】
【数１２７】
【０３４７】
がPi（k）としてもよく、ブロックの長さを1つのフレームオーディオ信号の長さと定めた場合、iがフレームの番号を表し、最終の推定した計算方法が式(13)のようであり、式(13)は、本発明におけるパワースペクトル推定に用いる計算方法である。
【０３４８】
203：式(13)で推定したパワースペクトルにより、各のビットが分配されたノイズ充填サブバンドにおけるゼロビットの符号化サブバンドノイズレベルを計算する。
【０３４９】
図3のように、ノイズレベルを計算する具体的な過程は、以下のステップである。
【０３５０】
ステップ301：該ノイズ充填サブバンドにおけるすべてまたは部分のゼロビットの符号化サブバンドのすべての周波数領域係数のパワーの平均値を計算し、平均パワー
【０３５１】
【数１２８】
【０３５２】
を得る。
【０３５３】
ステップ302：該ノイズ充填サブバンドにおけるすべてまたは部分のゼロビットの符号化サブバンドにおけるパワーが平均パワーより大きい周波数領域係数を該ノイズ充填サブバンドにおける音調成分と認識し、該有効ノイズ充填サブバンドのすべてまたは部分のゼロビットの符号化サブバンドにおけるパワーが平均パワー
【０３５４】
【数１２９】
【０３５５】
より大きいのすべての周波数領域係数のパワーの平均値を計算し、該有効ノイズ充填サブバンドにおけるゼロビットの符号化サブバンドの音調成分平均パワー
【０３５６】
【数１３０】
【０３５７】
を得る。
【０３５８】
ステップ303：該ノイズ充填サブバンドにおけるすべてまたは部分のゼロビットの符号化サブバンド中のパワーが平均パワーより小さくまたは等しくとする周波数領域係数を該ノイズ充填サブバンドにおけるノイズ成分と認識し、該有効ノイズ充填サブバンドにおけるすべてまたは部分のゼロビットの符号化サブバンドの中のパワーが平均パワー
【０３５９】
【数１３１】
【０３６０】
より小さくまたは等しくとするすべての周波数領域係数のパワーの平均値を計算し、該有効ノイズ充填サブバンドにおけるゼロビットの符号化サブバンドのノイズ成分平均パワー
【０３６１】
【数１３２】
【０３６２】
を得る。
【０３６３】
ステップ304：ノイズ成分平均パワー
【０３６４】
【数１３３】
【０３６５】
と音調成分平均パワー
【０３６６】
【数１３４】
【０３６７】
との比の値
【０３６８】
【数１３５】
【０３６９】
を計算し、その値が該有効ノイズ充填サブバンドのノイズレベルである。
【０３７０】
ノイズレベルに対して量子化符号化した後、ノイズレベル符号化ビットを得る。
【０３７１】
【数１３６】
【０３７２】
が量子化符号化された後、
【０３７３】
【数１３７】
【０３７４】
を得る。ノイズレベルを量子化符号化完成した後、各のビットが分配されたノイズ充填サブバンドのノイズレベル符号化ビットをサブバンドのシリアルナンバにより低から高まで配列し、全体の有効ノイズ充填サブバンドのノイズレベル符号化ビットを得る。
【０３７５】
その中の1つの非均一量子化を採用する実例が表3のように表す。
【０３７６】
表3 ノイズ信号比率非均一量子化実例
【０３７７】
【表３】
【０３７８】
該有効ノイズ充填サブバンドのノイズレベルも該ノイズ充填サブバンドにおけるゼロビットの符号化サブバンドのノイズレベルであり、該ノイズレベルが
【０３７９】
【数１３８】
【０３８０】
で表示できるほか、音調成分平均パワー
【０３８１】
【数１３９】
【０３８２】
とノイズ成分平均パワー
【０３８３】
【数１４０】
【０３８４】
との比の値で表示できる。
【０３８５】
二、復号化方法
本発明のオーディオ復号化方法は、符号化方法の逆の過程であって、
A、復号化待ちのビットストリームにおける各振幅エンベロープ符号化ビットを復号化し、各符号化サブバンドの振幅エンベロープ量子化指数を得ること、
B、各符号化サブバンドにビットを分配し、ノイズレベル符号化ビットを復号化逆量子化し、ゼロビットの符号化サブバンドのノイズレベルを得て、周波数領域係数符号化ビットを復号化逆量子化し、非ゼロビットの符号化サブバンドの周波数領域係数を得ること、
C、ゼロビットの符号化サブバンドを周波数帯コピーし、復号化待ちのビットストリームにおける各ゼロビットの符号化サブバンドの振幅エンベロープによって該符号化サブバンドの全体のエネルギー充填レベルを制御し、該ゼロビットの符号化サブバンドのノイズレベルによってノイズ充填と周波数帯コピーとのエネルギーの比例を制御し、再建したゼロビットの符号化サブバンドの周波数領域係数を得ること、
D、非ゼロビットの符号化サブバンドの周波数領域係数と再建したゼロビットの符号化サブバンドの周波数領域係数を逆修正離散コサイン変換（IMDCT）し、最終のオーディオ信号を得ること、を含む。
【０３８６】
図4は本発明の実施例におけるオーディオ復号化方法の構造模式図である。図4に示すように、該方法は、以下のステップを含み、
401：各振幅エンベロープ符号化ビットを復号化し、各符号化サブバンドの振幅エンベロープ量子化指数を得て、
符号化端から送信してきた符号化ビットストリームの中から（即ちビットストリームデマルチプレクサDeMUXから）1フレームの符号化ビットを取り出し、符号化ビットを取り出した後、先ず、サイド情報を復号化し、次に、振幅エンベロープハフマン符号フラグFlag_huff_rmsの値によって該フレームの中の各振幅エンベロープ符号化ビットをハフマン復号化或は直接に復号化し、各符号化サブバンドの振幅エンベロープ量子化指数Thq(j)、j=0,…,L−1を得る。
【０３８７】
402：各符号化サブバンドにビットを分配し、有効ノイズ充填サブバンドにビットを分配し、
各符号化サブバンドの振幅エンベロープ量子化指数によって各符号化サブバンドの重要性最初値を算出し、符号化サブバンド重要性を利用して各符号化サブバンドにビットを分配し、符号化サブバンドのビット分配数を得て、復号化端のビット分配方法と符号化端のビット分配方法は完全に同様である。ビットを分配する過程に、ビット分配歩幅及びビットを分配後の符号化サブバンド重要性が低下した歩幅は変化している。
【０３８８】
前記ビット分配の過程を完成した後、符号化端のビット分配修正反復回数count値と各符号化サブバンドの重要性によって、符号化サブバンドを再びcount回のビット分配修正を行い、次に、ビット分配の全過程が終了する。
【０３８９】
ビット分配と修正を行なう過程中に、ビット分配数が0である符号化サブバンドにビットを分配する際のビット分配歩幅とビット分配修正の歩幅は1つのビットであり、ビット分配及びビット分配修正した後の重要性が低下した歩幅が1であり、ビット分配数が0より大きい且つある閾値より小さい符号化サブバンドにビットを追加分配する際のビット分配歩幅とビット分配修正の歩幅は0.5のビットであり、ビット分配及びビット分配修正した後の重要性が低下の歩幅も0.5であり、ビット分配数が該閾値より大きいまたは等しい符号化サブバンドにビットを追加分配する際のビット分配歩幅とビット分配修正しの歩幅は1であり、ビット分配及びビット分配修正した後の重要性が低下した歩幅も1であり、
符号化サブバンドを複数のノイズ充填サブバンドに分割し、符号化サブバンドのビット分配結果によって、有効ノイズ充填サブバンドにビットを分配し、ノイズ充填サブバンドの分割方法及びノイズ充填サブバンドのビット分配方法は符号化方法と同様で、ここで省略する。
【０３９０】
403：ノイズレベル符号化ビットを復号化逆量子化し、ゼロビットの符号化サブバンドのノイズレベルを得て、及び周波数領域係数符号化ビットを復号化逆量子化し、MDCT周波数領域係数を得て、
404：ゼロビットの符号化サブバンドを周波数帯コピーし、ゼロビットの符号化サブバンドの振幅エンベロープによって該符号化サブバンドの全体充填エネルギーレベルを制御し、該符号化サブバンドの所在のノイズ充填サブバンドのノイズレベルによって、各ゼロビットの符号化サブバンド周波数帯コピー及びノイズ充填エネルギーの比例を制御し、再建したゼロビットの符号化サブバンドの周波数領域係数を得て、
該ステップの詳しい過程は以下の図5に説明する。
【０３９１】
ビットを分配した有効ノイズ充填サブバンドにおけるゼロビットの符号化サブバンドを周波数帯コピーし、コピーした後得られる周波数領域係数のエネルギーレベルとノイズ充填のエネルギーレベルを制御し、ビットを分配していない有効ノイズ充填サブバンドにおけるゼロビットの符号化サブバンドをノイズ充填する。
【０３９２】
405：周波数スペクトル再建した後の周波数領域係数をIMDCT（Inverse Modified Discrete Cosine Transform、逆修正離散コサイン変換）し、最終のオーディオ出力信号を得る。
【０３９３】
以下、図5を参照しながら、ステップ404を詳細に説明する。
【０３９４】
図5に示すように、ステップ404は具体的に、
ステップ501：有効ノイズ充填サブバンドのゼロビットの符号化サブバンドを周波数帯コピーし、
MDCT周波数領域係数中で、オーディオ信号のある音調の所在位置を捜索し、0周波数ポイントから音調位置の周波数ポイントまでの帯域幅を周波数帯コピー周期とし、0周波数ポイントが後へcopyband_offset個周波数ポイント偏移から音調位置が後へ前記copyband_offset個の周波数ポイント偏移までの周波数段域を周波数帯コピーソース周波数段域とし、ゼロビットの符号化サブバンドを周波数帯コピーする。周波数帯コピーを行なう必要があるゼロビットの符号化サブバンド内部の最高周波数が捜索した音調の周波数より小さいと、該周波数ポイントはノイズ充填だけで周波数スペクトルの再建を行なう。
【０３９５】
周波数領域係数は周波数が低から高まで配列することに従って、後へ偏移し、即ち、周波数が高い場所へ偏移する。
【０３９６】
以下で該周波数帯コピー方法について詳細に説明する。
【０３９７】
a、MDCT周波数領域係数中でオーディオ信号のある音調の所在位置を捜索し、
本発明が好ましい音調の所在位置を捜索する方法は、MDCT周波数領域係数を平滑化フィルタすることである。低周波数のある特定周波数段域のMDCT周波数領域係数を絶対値或は平方値を取り、平滑化フィルタを行い、平滑化フィルタの結果によって、フィルタ出力値の最大極値の所在位置を捜索し、該最大極値の所在位置を音調の所在位置とする。
【０３９８】
本発明におけるオーディオ信号の音調とは、オーディオ信号の基音或は基音のある倍音を意味している。
【０３９９】
ここでいう特定の周波数段域は周波数スペクトル特性によって確定されたエネルギーが比較的に集中する周波数段域でもよく、第1周波数段域と言われる。ここの低周波数とは、1/2の信号総帯域幅より小さい周波数スペクトル成分である。
【０４００】
ここの周波数領域係数はステップ403で復号化後のMDCT周波数領域係数であり、周波数が低から高まで配列する。
【０４０１】
該第1周波数段域の周波数領域係数に対し絶対値を取り得て、平滑化フィルタを行なう計算式が以下のようであり、
【０４０２】
【数１４１】
【０４０３】
或いは、該第1周波数段域の周波数領域係数平方値に対し平滑化フィルタを行う計算式が以下のようであり、
【０４０４】
【数１４２】
【０４０５】
その中、μは平滑化フィルタ係数であり、その値の範囲が（0、1）であり、その値が0.125を取ってもよい。
【０４０６】
【数１４３】
【０４０７】
は第iフレームの第k個の周波数ポイントのフィルタ出力値を表し、
【０４０８】
【数１４４】
【０４０９】
は第iフレームの第k個の周波数ポイント復号化後のMDCT係数であり、且つ、i=0であると、
【０４１０】
【数１４５】
【０４１１】
とする。
【０４１２】
第1周波数段域フィルタ出力値の最大極値の所在位置を捜索する方法は、以下のような2種類があって、
（1）直接に第1周波数段域が対応する周波数領域係数のフィルタ出力値から最初の最大値を捜索し、該最大値を第1周波数段域フィルタ出力値の最大極値として、対応の周波数ポイントのシリアルナンバを最大極値（即ち音調）の位置とし、
（2）最大極値を捜索する際に、該第1周波数段域のある一部を第2周波数段域として、第2周波数段域が対応する周波数領域係数のフィルタ出力値から最初の最大値を捜索し、該最初の最大値を第1周波数段域フィルタ出力値の最大極値として、対応の周波数ポイントのシリアルナンバを最大極値（即ち音調）の位置とする。
【０４１３】
第2周波数段域の起点位置は第1周波数段域の起点より大きい必要があり、第2周波数段域の終点位置は第1周波数段域の終点より小さい必要があり、好ましくは、第1周波数段域と第2周波数段域の中の周波数係数の個数は8より小さくない。
【０４１４】
捜索した最初の最大値が対応する周波数領域係数がオーディオ信号の音調の所在位置ではないことを防止するために、音調位置捜索を行なう際に、先ず、該第2周波数段域のフィルタ出力値の中から最初の最大値を捜索し、該最初の最大値が対応する周波数領域係数の位置により異なる処理を行なう。
【０４１５】
（a）該最初の最大値が第2周波数段域最低周波数の周波数領域係数のフィルタ出力値であると、該第2周波数段域最低周波数の周波数領域係数のフィルタ出力値を第1周波数段域におけるひとつ前のより低い周波数の周波数領域係数のフィルタ出力値と比較して、次第に前へ比較し続け、現在の周波数領域係数のフィルタ出力値がひとつ前の周波数領域係数のフィルタ出力値より大きい場合、該現在の周波数領域係数が音調の所在位置であることと考えられ、即ち、該現在の周波数領域係数のフィルタ出力値が最終に確定された最大極値であり、或いは、比較しつづけて、第1周波数段域の最低周波数の周波数領域係数のフィルタ出力値が次のひとつの周波数領域係数のフィルタ出力値より大きい場合、第1周波数段域の最低周波数の周波数領域係数が音調の所在位置であることと考えられ、即ち、第1周波数段域の最低周波数の周波数領域係数のフィルタ出力値が最終に確定された最大極値である。
【０４１６】
（b）該最初の最大値が第2周波数段域最高周波数の周波数領域係数のフィルタ出力値であると、該第2周波数段域最高周波数の周波数領域係数のフィルタ出力値を第1周波数段域における次のひとつのより大きい周波数の周波数領域係数のフィルタ出力値と比較して、次第に後へ比較し続け、現在の周波数領域係数のフィルタ出力値が次のひとつの周波数領域係数のフィルタ出力値より大きい場合、現在の周波数領域係数が音調の所在位置であることと考えられ、即ち、該現在の周波数領域係数のフィルタ出力値が最終に確定された最大極値であり、或いは、比較しつづけて第1周波数段域の最高周波数の周波数領域係数のフィルタ出力値がひとつ前の周波数領域係数のフィルタ出力値よりも大きい場合、第1周波数段域の最高周波数の周波数領域係数が音調の所在の位置であることと考えられ、即ち、第1周波数段域の最高周波数の周波数領域係数のフィルタ出力値が最終に確定された最大極値である。
【０４１７】
（c）該最初の最大値が第2周波数段域最低周波数と最高周波数の間の周波数領域係数のフィルタ出力値であると、該最初の最大値が対応する周波数領域係数が音調の所在の位置であり、即ち、該最初の最大値が最終に確定された最大極値である。
【０４１８】
以下、第1周波数段域の周波数領域係数が第24個から第64個までのMDCT周波数領域係数であり、第2周波数段域の周波数領域係数が第33個から第56個までのMDCT周波数領域係数であることを例をとして、オーディオ信号位置を確定する方法を説明する。
【０４１９】
第33から第56個までのMDCT周波数領域係数のフィルタ出力値の中から、その最大値を捜索し、最大値が第33個の周波数領域係数に対応すると、第3 2個の周波数領域係数の検波出力結果が第33個の周波数領域係数のより大きいか否かを判断し、YESと、前へ比較し続け、第31個の周波数領域係数の検波出力結果が第32の周波数領域係数のより大きいか否かを判断し、このような方法に従って、次第に前へ比較し続け、現在の周波数領域係数のフィルタ出力値がひとつ前のものより大きくなるまで、或は、第24個の周波数領域係数のフィルタ出力値が第25個周波数領域係数のフィルタ出力値より大き場合、現在の周波数領域係数或は第24個の周波数領域係数が音調の位置である。
【０４２０】
最大値が56であると、類似の方法によって、次第に後へ捜索しつづけ、現在の周波数領域係数のフィルタ出力値が次のひとつものより大きい場合、該現在の周波数領域係数が音調の位置であり、或は捜索しつづけて、第64個の周波数領域係数のフィルタ出力値を捜索し、且つその値は第63個の周波数領域係数のフィルタ出力値より大きい場合、該第64個の周波数領域係数が音調の位置であり、
最大値が33〜56の間にあると、該最大値が対応する周波数領域係数が音調の位置である。
【０４２１】
該位置の値をTonal_posとし、即ち、最大極値が対応する周波数ポイントのシリアルナンバである。
【０４２２】
b、0周波数ポイントから音調位置の周波数ポイントまでの帯域幅を周期とし、0周波数ポイントが後へcopyband_offset個周波数ポイント偏移から音調位置の周波数ポイントが後へ前記copyband_offset個周波数ポイント偏移するまでの周波数段域をソース周波数段とし、ゼロビットの符号化サブバンドに対し周波数帯コピーを行なう。
【０４２３】
即、ソース周波数段域の周波数ポイントの開始シリアルナンバがcopyband_offsetで、終了シリアルナンバがcopyband_offset+Tonal_posである。
【０４２４】
本発明において、周波数帯コピー偏移(copyband_offsetとし)の値が予め設定され、copyband_offset≧0とし、予め設定されたcopyband_offset=0の場合、ソース周波数段域が、即ち、0周波数ポイントから音調位置の周波数ポイントまでの周波数段域であり、コピー周波数帯の周波数スペクトルホッピングを低下するために、copyband_offsetをゼロより大きく設定すると、ソース周波数段域は、0周波数ポイントの後へ1つの小範囲(copyband_offsetとし) を偏移する周波数ポイントから最大極値の所在位置の周波数ポイントが後へ1つの同様な小範囲(copyband_offsetとし) を偏移する周波数ポイントまでの周波数段域のMDCT周波数領域係数であり、ある周波数ポイントの以上の有効ノイズ充填サブバンド（例えば、シリアルナンバが1、2、3、4である）内部のゼロビットの符号化サブバンドへの周波数スペクトル充填はいずれもソース周波数段域からコピーする。
【０４２５】
図2のプロセスに対応して、第1個のノイズ充填サブバンドのゼロビットの符号化サブバンドに対してランダムノイズ充填方法で周波数スペクトル再建を行い、シリアルナンバが1、2、3、4であるノイズ充填サブバンドのゼロビットの符号化サブバンドに対して、周波数領域係数コピーとノイズ充填を合せる方法で周波数スペクトル再建を行なう。
【０４２６】
周波数帯コピーを行なう際に、先ず、ソース周波数段域と周波数帯コピーを行なう必要があるゼロビットの符号化サブバンドの開始シリアルナンバにより該ゼロビットの符号化サブバンドのソース周波数段域コピー開始シリアルナンバを計算し、次に、周波数帯コピー周期を周期とし、ソース周波数段域コピー開始シリアルナンバからソース周波数段域の周波数領域係数周期性をゼロビットの符号化サブバンドにコピーする。
【０４２７】
ソース周波数段域コピー開始シリアルナンバを確定する方法は、
まず、コピーする必要がある第1個のゼロビットの符号化サブバンドから初め、周波数領域係数再建する必要があるゼロビットの符号化サブバンドの開始MDCT周波数領域係数の周波数ポイントのシリアルナンバを取得し、fillband_start_freqとし、 音調が対応する周波数ポイントのシリアルナンバをTonal_posとし、周波数帯のコピー周期をcopy_periodとする。copy_period はTonal_posに1を加えるものである。周波数帯コピーする必要があるゼロビットの符号化サブバンド内部の最高周波数は捜索した音調の周波数より小さいと、該周波数ポイントはノイズ充填だけで周波数スペクトル再建を行い、周波数帯コピーを行なわない。周波数帯コピー偏移をcopyband_offsetとし、fillband_start_freqの値を循環にcopy_periodを減り、その値がソース周波数段域のシリアルナンバの値区間になるまでつづけ、該値がソース周波数段域コピー開始シリアルナンバであり、copy_pos_modとする。
【０４２８】
ソース周波数段域コピー開始シリアルナンバのcopy_pos_modは以下の擬似コード計算方法によって得られ、
copy_pos_mod = fillband_start_freqとし、
copy_pos_modが（Tonal_pos+copyband_offset）よりも大きいと
{
copy_pos_mod = copy_pos_mod - copy_period;
}
計算を完成した後 、copy_pos_modがソース周波数段域コピー開始シリアルナンバである。
【０４２９】
コピーする際に、ソース周波数段域コピー開始シリアルナンバを開始とする周波数領域係を次第に後へfillband_start_freqを開始とする位置のゼロビットの符号化サブバンドにコピーし、ソース周波数段域コピーした周波数ポイントがTonal_pos+copyband_offset周波数ポイントに到達してから、再び第copyband_offset個の周波数ポイントから始める周波数領域係数を次第に後へ該ゼロビットの符号化サブバンドにコピーし、そのように続け、現在のゼロビットの符号化サブバンドのすべての周波数領域係数の周波数帯コピーを完成するまで行う。
【０４３０】
周波数帯コピー偏移copyband_ offsetを10とする際に、copy_pos_modから始める周波数帯を周波数低から高まで配列してfillband_start_freqを開始位置とするゼロビットの符号化サブバンドにコピーしつづけ、Tonal_pos+10周波数ポイントに到達後、再び第10個の周波数領域係数からコピーし始め、そのように続け、該ゼロビットの符号化サブバンドのすべての信号はいずれも10からTonal_pos+10までの周波数領域係数中からコピーし、周波数ポイント10からTonal_pos+10までの周波数領域係数は周波数帯コピーのソース周波数段域である。
【０４３１】
以上の方法によって、シリアルナンバが1、2、3、4であるノイズ充填サブバンドのすべてのゼロビットの符号化サブバンドために周波数スペクトルをコピーする。
【０４３２】
以上の周波数帯コピー方法の以外に、他の周波数帯コピー方法は同様に本発明に適用され、本発明の実現への影響がない。
【０４３３】
ステップ502：復号化した得られるノイズレベルによって各のノイズ充填サブバンド内部のゼロビットの符号化サブバンドコピー後得られる周波数領域係数に対しエネルギー調整し、
ゼロビットの符号化サブバンドがコピー後得られる周波数領域係数の振幅エンベロープを計算して、ｓｂｒ＿ｒｍｓ（ｒ）とする。
【０４３４】
エネルギー調整した後の周波数領域係数の計算式が
【０４３５】
【数１４６】
【０４３６】
であり、
その中、
【０４３７】
【数１４７】
【０４３８】
はゼロビットの符号化サブバンドrのエネルギー調整した後の周波数領域係数を表し、
【０４３９】
【数１４８】
【０４４０】
はゼロビットの符号化サブバンドrコピー後得られる周波数領域係数であり、
【０４４１】
【数１４９】
【０４４２】
は、ゼロビットの符号化サブバンドrコピー後得られる周波数領域係数
【０４４３】
【数１５０】
【０４４４】
の振幅エンベロープ（つまり、その二乗平均平方根である）を表し、rms(r) はゼロビットの符号化サブバンドrの符号化前の周波数領域係数の振幅エンベロープであり、振幅エンベロープ量子化指数により逆量子化して得られ、
【０４４５】
【数１５１】
【０４４６】
はゼロビットの符号化サブバンドrの周波数帯コピーのエネルギー制御比例因子であり、その値はゼロビットの符号化サブバンドrの所在のノイズ充填サブバンドのノイズレベルにより決められ、具体的な計算式は以下のように、
【０４４７】
【数１５２】
【０４４８】
であり、
【０４４９】
【数１５３】
【０４５０】
は充填エネルギースケール因子であり、全体の充填エネルギーのゲインを調整することに用いられ、その値の範囲が（0、1）にあり、本実例の中に、その値が0.2を取る。
【０４５１】
【数１５４】
【０４５２】
は復号化逆量子化した得られたノイズ充填サブバンドjのノイズレベルであり、それはノイズレベル符号化ビットによって表3の量子化範囲から逆量子化値を取れ、本実例におけるひとつの実例を表10に示す。
【０４５３】
表10 ノイズレベル逆量子化値
【０４５４】
【表４】
【０４５５】
その中、jはゼロビットの符号化サブバンドrの所在のノイズ充填サブバンドのシリアルナンバである。
【０４５６】
ステップ503：エネルギー調整した後の周波数領域係数にホワイトノイズを重ね合せ、最後の再建周波数領域係数を形成する。
【０４５７】
周波数領域係数をコピーするエネルギー調整を完成してから、エネルギー調整した後の周波数領域係数にホワイトノイズを重ね合せ、最後の再建周波数領域係数Ｘ（バー付き）形成し、
【０４５８】
【数１５５】
【０４５９】
であり、
その中、
【０４６０】
【数１５６】
【０４６１】
はゼロビットの符号化サブバンドrが再建した周波数領域係数を表し、
【０４６２】
【数１５７】
【０４６３】
はゼロビットの符号化サブバンドrのエネルギー調整した後の周波数領域係数を表し、rms(r) はゼロビットの符号化サブバンドrの符号化前の周波数領域係数の振幅エンベロープであり、振幅エンベロープ量子化指数により逆量子化して得られ、
【０４６４】
【数１５８】
【０４６５】
はランダム位相生成器であり、ランダム位相値を生成し、その戻り値は+1または-1であり、
【０４６６】
【数１５９】
【０４６７】
はゼロビットの符号化サブバンドrのノイズレベル制御スケール因子であり、その値はゼロビットの符号化サブバンドrの所在のノイズ充填サブバンドのノイズレベルにより決められる。具体的な計算式は以下のように、
【０４６８】
【数１６０】
【０４６９】
であり、
その中、
【０４７０】
【数１６１】
【０４７１】
は充填エネルギースケール因子であり、全体の充填エネルギーのゲインを調整することに用いられ、その値の範囲が（0、1）にあり、本実例の中に、その値が0.2を取る。
【０４７２】
【数１６２】
【０４７３】
は復号化逆量子化して得られたノイズ充填サブバンドjのノイズレベルであり、その中に、jはゼロビットの符号化サブバンドrの所在のノイズ充填サブバンドのシリアルナンバである。
【０４７４】
ビットを分配していない有効ノイズ充填サブバンド（例えば、シリアルナンバが0であるノイズ充填サブバンドである）におけるゼロビットの符号化サブバンドにホワイトノイズ充填を行い、周波数領域係数の再建を実現できることは言うまでもなく、ここで省略する。
【０４７５】
本発明はさらにノイズレベルの推定方法を提供し、
符号化待ちのオーディオ信号の周波数領域係数によって符号化待ちのオーディオ信号のパワースペクトルを推定することと、
推定して得られたパワースペクトルによってゼロビットの符号化サブバンドオーディオ信号のノイズレベルを推定し、該ノイズレベルは復号化する際にノイズ充填と周波数帯コピーとのエネルギーの比例を制御することに用いられることとを含み、その中、ゼロビットの符号化サブバンドとは、分配したビット数がゼロである符号化サブバンドを意味している。各のゼロビットの符号化サブバンドために1つのノイズレベルを計算してもよく、複数のノイズサブバンドに1つの通用のノイズレベルを計算してもよい。
【０４７６】
さらに、前記ゼロビットの符号化サブバンドオーディオ信号のノイズレベルとは、ゼロビットの符号化サブバンド推定して得られたノイズ成分パワーとゼロビットの符号化サブバンド内推定して得られた音調成分パワーの比の値を意味している。
【０４７７】
さらに、符号化待ちのオーディオ信号のMDCT周波数領域係数によって符号化待ちのオーディオ信号のパワースペクトルを推定し、第iフレームの周波数ポイントkのパワー推定の一般式は以下のように、
【０４７８】
【数１６３】
【０４７９】
であり、その中、i＝0であると、
【０４８０】
【数１６４】
【０４８１】
であり、
【０４８２】
【数１６５】
【０４８３】
は第iフレームの第k個の周波数ポイントに推定して得られたパワー値を表し、
【０４８４】
【数１６６】
【０４８５】
は第iフレームの第k個の周波数ポイントのMDCT係数を表し、λは単極平滑化フィルタのフィルタ係数である。
【０４８６】
さらに、符号化待ちのオーディオ信号の周波数領域係数を1つまたは複数のノイズ充填サブバンドに分割し、推定した符号化待ちのオーディオ信号のパワースペクトルによってある有効ノイズ充填サブバンドのノイズレベルを計算する過程は具体的に、
該有効ノイズ充填サブバンドにおいてすべてまたは部分のゼロビットの符号化サブバンドのすべての周波数領域係数のパワーの平均値を計算し、平均パワー
【０４８７】
【数１６７】
【０４８８】
が得られることと、
該有効ノイズ充填サブバンドのすべてまたは部分のゼロビットの符号化サブバンドにおけるパワーPi(k)が平均パワー
【０４８９】
【数１６８】
【０４９０】
より大きいすべての周波数領域係数のパワーの平均値を計算し、該有効ノイズ充填サブバンドにおけるゼロビットの符号化サブバンドの音調成分平均パワー
【０４９１】
【数１６９】
【０４９２】
が得られることと、
該有効ノイズ充填サブバンドのすべてまたは部分のゼロビットの符号化サブバンドにおけるパワーPi(k)が平均パワー
【０４９３】
【数１７０】
【０４９４】
より小さいまたは等しいすべての周波数領域係数のパワーPi(k)の平均値を計算し、該有効ノイズ充填サブバンドにおけるゼロビットの符号化サブバンドのノイズ成分平均パワー
【０４９５】
【数１７１】
【０４９６】
が得られることと、
ノイズ成分平均パワー
【０４９７】
【数１７２】
【０４９８】
と音調成分平均パワー
【０４９９】
【数１７３】
【０５００】
との比の値
【０５０１】
【数１７４】
【０５０２】
を計算し、該有効ノイズ充填サブバンドのノイズレベルが得られることと、含む。
【０５０３】
その中、有効ノイズ充填サブバンドとは、ゼロビットの符号化サブバンドを含むノイズ充填サブバンドを意味している。
【０５０４】
三、符号化システム
以上の符号化方法を実現するために、本発明はオーディオ符号化システムをさらに提供し、図6に示すように、該システムは修正離散コサイン変換（MDCT）ユニット、振幅エンベロープ計算ユニット、振幅エンベロープ量子化及び符号化ユニット、ビット分配ユニット、周波数領域係数符号化ユニット、ノイズレベル推定ユニット及びビットストリームマルチプレクサ（MUX）を含み、 そのなか、
MDCTユニットは、オーディオ信号を逆修正離散コサイン変換し、周波数領域係数を変換して生成することに用いられるものである。
【０５０５】
振幅エンベロープ計算ユニットは、前記MDCTユニットに接続し、前記MDCTにより生成した周波数領域係数を複数の符号化サブバンドに分割し、各符号化サブバンドの振幅エンベロープを計算することに用いられるものであり、
振幅エンベロープ計算ユニットは符号化サブバンドを分割する際に、前記MDCTにより変換した後の周波数領域係数を複数の等間隔の符号化サブバンドに分割し、または聴覚感知特性に従って複数の非均一符号化サブバンドに分割する。
【０５０６】
振幅エンベロープ量子化及び符号化ユニットは、前記振幅エンベロープ計算ユニットに接続し、各符号化サブバンドの振幅エンベロープ値を量子化と符号化し、各符号化サブバンド振幅エンベロープの符号化ビットを生成することに用いられるものである。
【０５０７】
ビット分配ユニットは、前記振幅エンベロープ量子化及び符号化ユニットに接続し、ビット分配を行ない、各符号化サブバンドにおける各の周波数領域係数に分配される符号化ビット数をえることに用いられ、
具体的に、ビット分配ユニットは互いに接続する重要性計算モジュール及びビット分配モジュールを含み、そのなか、
重要性計算モジュールは、符号化サブバンド振幅エンベロープ値によって各符号化サブバンド重要性の最初値を計算することに用いられ、
前記ビット分配モジュールは、各符号化サブバンドの重要性によって符号化サブバンドにおけるて各周波数領域係数に対しビット分配することに用いられ、且つ、ビット分配する過程に、ビット分配歩幅及びビット分配した後重要性が低下の歩幅はともに変化している。
【０５０８】
前記重要性の最初値は最大量子化の信号対雑音比のゲイン条件での最適ビット値と人の耳の自覚特性を符合するスケール因子によって計算され、または各符号化サブバンド振幅エンベロープの量子化指数
【０５０９】
【数１７５】
【０５１０】
或は
【０５１１】
【数１７６】
【０５１２】
であり、その中、μ>0, μとνがともに実数である。
【０５１３】
前記重要性計算モジュールは前記重要性の最初値を計算する際に、まず、単一の周波数領域係数のビット消耗平均値を計算し、次に、レート歪み理論に従って最大量子化信号の対雑音比のゲイン条件での最適ビット値を計算し、その後、前記ビット消耗平均値及び最適ビット値によって各符号化サブバンドがビット分配における重要性の最初値を計算し、
前記ビット分配モジュールは各符号化サブバンドの重要性によって各符号化サブバンドに対しビット分配し、全ての符号化サブバンドに消耗されたビット数の合計はビット制限条件での最大値を提供できることを満足するまでに、重要性が最大である符号化サブバンドにおける各の周波数領域係数の符号化ビット数を増加し、該符号化サブバンドの重要性を低下する。
【０５１４】
前記ビット分配モジュールはビット分配する際に、低いビット符号化サブバンドのビット分配歩幅及びビット分配した後の重要性低下歩幅はゼロビットの符号化サブバンドと高いビット符号化サブバンドのビット分配歩幅及びビット分配した後の重要性が低下歩幅より小さい。例えば、前記ビット分配モジュールはビット分配する際に、低いビット符号化サブバンドのビット分配歩幅及びビット分配後の重要性が低下歩幅はともに0.5であり、ゼロビットの符号化サブバンドと高いビット符号化サブバンドのビット分配歩幅及びビット分配後の重要性低下歩幅はともに1である。
【０５１５】
周波数領域係数量子化符号化ユニットは、MDCTユニット、ビット分配ユニット及び振幅エンベロープ量子化、及び符号化ユニットに接続し、各符号化サブバンドにおける全ての周波数領域係数を正規化し、量子化し、及び符号化処理し、周波数領域係数符号化ビットを生成することに用いられるものである。
【０５１６】
ノイズレベル推定ユニットは、MDCTユニット及ビット分配ユニットに接続し、符号化待ちのオーディオ信号のMDCT周波数領域係数により符号化待ちのオーディオ信号のパワースペクトルを推定し、さらに、ゼロビットの符号化サブバンドのオーディオ信号のノイズレベルを推定し、量子化符号化してノイズレベル符号化ビットを得ることに用いられ、その中、該ノイズレベルは、復号化している場合にノイズ充填及び周波数帯コピーのエネルギーの比例を制御することに用いられるものであり、詳しいことは図7に示すようであり、
前記ゼロビットの符号化サブバンドオーディオ信号のノイズレベルとは、ゼロビットの符号化サブバンド内推定して得られるノイズ成分パワーとゼロビットの符号化サブバンド推定して得られる音調成分パワーとの比の値である。
【０５１７】
ビットストリームマルチプレクサ（MUX）は、前記振幅エンベロープ量子化及び符号化ユニット、周波数領域係数符号化ユニット及びノイズレベル推定ユニットに接続し、各符号化サブバンドの符号化ビット及び周波数領域係数の符号化ビット及びノイズレベル符号化ユニットをマルチプレックスし復号化端に送信することに用いられるものである。
【０５１８】
ビットストリームマルチプレクサは符号化後のビットをマルチプレックスとパッケージする順番は順次に振幅エンベロープハフマン符号フラグ、周波数領域係数ハフマン符号フラグ、ビット分配修正反復回数、振幅エンベロープの符号化ビット、周波数領域係数の符号化ビット、及びノイズレベル符号化ビットである。
【０５１９】
図7に示すように、ノイズレベル推定ユニットは、具体的に、以下のモジュールを含み、
パワースペクトル推定モジュールは、符号化待ちのオーディオ信号のMDCT周波数領域係数により符号化待ちのオーディオ信号のパワースペクトルを推定することに用いられるものであり、
前記パワースペクトル推定モジュールが以下の一般式を採用して第iフレームの周波数ポイントkのパワーを推定し、一般式が以下のようである。
【０５２０】
【数１７７】
【０５２１】
そのなか、
【０５２２】
【数１７８】
【０５２３】
の場合、
【０５２４】
【数１７９】
【０５２５】
は、第iフレームの第k個の周波数ポイント推定して得られたパワー値を表し、
【０５２６】
【数１８０】
【０５２７】
は、第iフレームの第k個の周波数ポイントのMDCT係数を表し、λは、単極平滑化フィルタのフィルタ係数である。
【０５２８】
ノイズレベル計算モジュールは、前記パワースペクトル推定モジュールに接続し、前記パワースペクトル推定モジュールが推定したパワースペクトルによりビットが分配されたノイズ充填サブバンドのオーディオ信号のノイズレベルを推定することに用いられるものである。
【０５２９】
ノイズレベル符号化モジュールは、前記ノイズレベル計算モジュールに接続し、前記ノイズレベル計算モジュールが計算したノイズレベルに対して量子化符号化し、ノイズレベル符号化ビットを得ることに用いられるものである。
【０５３０】
さらに、
符号化待ちのオーディオ信号の周波数領域係数を1つまたは複数のノイズ充填サブバンドに分割し、前記ノイズレベル計算モジュールの機能は、具体的に、該有効ノイズ充填サブバンドにおけるすべてまたは部分のゼロビットの符号化サブバンドのすべての周波数領域係数パワーの平均値を計算し、平均パワー
【０５３１】
【数１８１】
【０５３２】
を得ることに用いられることと、該有効ノイズ充填サブバンドのすべてまたは部分のゼロビットの符号化サブバンドにおけるパワーPi(k)が平均パワー
【０５３３】
【数１８２】
【０５３４】
より大きいすべての周波数領域係数のパワーの平均値を計算し、該有効ノイズ充填サブバンドにおけるゼロビットの符号化サブバンドの音調成分平均パワー
【０５３５】
【数１８３】
【０５３６】
を得ることに用いられることと、該有効ノイズ充填サブバンドのすべてまたは部分のゼロビットの符号化サブバンドにおけるパワーPi(k)が平均パワー
【０５３７】
【数１８４】
【０５３８】
より小さいまたは等しいすべての周波数領域係数のパワーPi(k)の平均値を計算し、該有効ノイズ充填サブバンドにおけるゼロビットの符号化サブバンドのノイズ成分の平均パワー
【０５３９】
【数１８５】
【０５４０】
を得ることに用いられることと、ノイズ成分平均パワー
【０５４１】
【数１８６】
【０５４２】
と音調成分平均パワー
【０５４３】
【数１８７】
【０５４４】
との比の値を計算し、該有効ノイズ充填サブバンドのノイズレベルを得ることに用いられることとを含む。
【０５４５】
その中、有効ノイズ充填サブバンドとは、ゼロビットの符号化サブバンドを含むノイズ充填サブバンドである。
【０５４６】
前記ノイズレベル推定ユニットは、さらにノイズレベル計算モジュール及びノイズレベル符号化モジュールに接続し、すべての有効ノイズ充填サブバンドにビットを分配し、または1つまたは複数の低周波数の有効ノイズ充填サブバンドをスキップし、後続の比較的に高周波数の有効ノイズ充填サブバンドにビットを分配し、及びノイズレベル計算モジュール及びノイズレベル符号化モジュールに通知することに用いられるビット分配モジュールを含み、前記ノイズレベル計算モジュールはただビットを分配したノイズ充填サブバンドに対してノイズレベルを計算し、前記ノイズレベル符号化モジュールは、ビット分配モジュールが分配したビットを利用して前記ノイズレベルに対して量子化符号化を行う。
【０５４７】
四、復号化システム
以上の復号化方法を実現するために、本発明は更にオーディオ復号化システムを提供し、図8に示すように、該システムは、ビットストリームデマルチプレクサ（DeMUX）、符号化サブバンド振幅エンベロープ復号化ユニット、ビット分配ユニット、周波数領域係数復号化ユニット、周波数スペクトル再建ユニット及び逆修正離散コサイン変換（IMDCT）ユニットを含み、その中で、
ビットストリームデマルチプレクサ（DeMUX）は、復号化待ちのビットストリームの中から振幅エンベロープ符号化ビット、周波数領域係数符号化ビット及びノイズレベル符号化ビットを分離することに用いられるものである。
【０５４８】
振幅エンベロープ復号化ユニットは、前記ビットストリームデマルチプレクサと接続し、前記ビットストリームデマルチプレクサが出力した振幅エンベロープの符号化ビットに対して復号化を行い、各符号化サブバンドの振幅エンベロープ量子化指数を得ることに用いられるものである。
【０５４９】
ビット分配ユニットは、前記振幅エンベロープ復号化ユニットに接続し、各符号化サブバンドにビット分配及びゼロビットの符号化サブバンドを含むノイズ充填サブバンドにビットを分配することに用いられるものである。
【０５５０】
ビット分配ユニットは、重要性計算モジュール、ビット分配モジュール、及びビット分配修正モジュールを含み、その中で、
重要性計算モジュールは符号化サブバンド振幅エンベロープ値によって各符号化サブバンド重要性の最初値を計算することに用いられるものである。
【０５５１】
前記ビット分配モジュールは各符号化サブバンドの重要性最初値によって、符号化サブバンドにおいて各周波数領域係数をビット分配することに用いられ、且つビット分配する過程に、ビット分配歩幅及びビット分配後の重要性低下の歩幅はともに変化している。
【０５５２】
ビット分配修正モジュールは、ビット分配を行なった後、符号化端のビット分配修正反復回数count値と各符号化サブバンドの重要性によって符号化サブバンドを再びcount回ビット分配修正することに用いられる。
【０５５３】
前記ビット分配モジュールはビット分配する際に、低いビット符号化サブバンドのビット分配歩幅及びビット分配し後の重要性が低下歩幅はゼロビットの符号化サブバンドと高いビット符号化サブバンドのビット分配歩幅及びビット分配後の重要性が低下歩幅より小さい。
【０５５４】
前記ビット分配修正モジュールはビット修正する際に、低いビット符号化サブバンドのビット修正歩幅及びビット修正した後の重要性が低下歩幅はゼロビットの符号化サブバンドと高いビット符号化サブバンドのビット修正歩幅及びビット修正後の重要性低下歩幅より小さい。
【０５５５】
前記ビット分配ユニットはノイズ充填サブバンドにビットを分配する際に、エンコーダの分配方法によってすべての有効ノイズ充填サブバンドにビットを分配し、または1つまたは複数の低周波数の有効ノイズ充填サブバンドをスキップし、後続の比較的に高周波数の有効ノイズ充填サブバンドにビットを分配する。
【０５５６】
周波数領域係数復号化ユニットは、振幅エンベロープ復号化ユニットとビット分配ユニットに接続し、符号化サブバンドに対し復号化、逆量子化、及び逆正規化を行い、周波数領域係数が得られることに用いられものである。
【０５５７】
ノイズレベル復号化ユニットは、前記ビットストリームデマルチプレクサ及びビット分配ユニットに接続し、ノイズレベル符号化ビットに対し復号化逆量子化を行い、ノイズレベルが得られることに用いられものである。
【０５５８】
周波数スペクトル再建ユニットは、ノイズレベル復号化ユニット、周波数領域係数復号化ユニット、振幅エンベロープ復号化ユニット及びビット分配ユニットに接続し、ゼロビットの符号化サブバンドに対し周波数帯コピーを行い、振幅エンベロープ復号化ユニットが出力した振幅エンベロープにより該符号化サブバンドの全体のエネルギー充填レベルを制御し、ノイズレベル復号化ユニットが出力したノイズレベルによりノイズ充填及び周波数帯コピーのエネルギーの比例を制御し、再建のゼロビットの符号化サブバンドの周波数領域係数を得ることに用いられるものである。
【０５５９】
逆修正離散コサイン変換（IMDCT）ユニットは、前記周波数スペクトル再建ユニットに接続し、ゼロビットの符号化サブバンドの周波数スペクトル再建を完成した後の周波数領域係数に対してIMDCTを行い、オーディオ信号を得ることに用いられるものである。
【０５６０】
如図9に示すように、前記周波数スペクトル再建ユニットは、具体的に、次第に接続する周波数帯コピーサブユニット、エネルギー調整サブユニット及ノイズ充填サブユニットを含み、その中で、
周波数帯コピーサブユニットは、ゼロビットの符号化サブバンドに対して周波数帯コピーを行うことに用いられるものである。
【０５６１】
エネルギー調整サブユニットは、ゼロビットの符号化サブバンド周波数帯コピーされた後得られた周波数領域係数の振幅エンベロープ（sbr_rms(r)とする）を計算し、及び、ノイズレベル復号化ユニットが出力したノイズレベルによりコピーされた後得られた周波数領域係数に対してエネルギー調整を行い、エネルギー調整した後の一般式が
【０５６２】
【数１８８】
【０５６３】
であることに用いられるものである。
【０５６４】
その中、
【０５６５】
【数１８９】
【０５６６】
はゼロビットの符号化サブバンドrのエネルギー調整された後の周波数領域係数を表し、
【０５６７】
【数１９０】
【０５６８】
はゼロビットの符号化サブバンドrがコピーされた後得られた周波数領域係数を表し、
【０５６９】
【数１９１】
【０５７０】
はゼロビットの符号化サブバンドrがコピーされた後得られた周波数領域係数
【０５７１】
【数１９２】
【０５７２】
の振幅エンベロープであり、rms(r)はゼロビットの符号化サブバンドrの符号化された前の周波数領域係数の振幅エンベロープであり、振幅エンベロープの量子化指数逆量子化から得られ、
【０５７３】
【数１９３】
【０５７４】
は、ゼロビットの符号化サブバンドrの周波数帯コピーのエネルギー制御スケール因子であり、その値がゼロビットの符号化サブバンドrの所在のノイズ充填サブバンドのノイズレベルにより決定され、具体的な計算式が以下のようである。
【０５７５】
【数１９４】
【０５７６】
【数１９５】
【０５７７】
が充填エネルギースケール因子であり、全体の充填エネルギーのゲインを調整することに用いられ、その値の範囲が（0、1）であり、
【０５７８】
【数１９６】
【０５７９】
は復号化逆量子化により得られたノイズ充填サブバンドjのノイズレベルであり、その中、jがゼロビットの符号化サブバンドrの所在のノイズ充填サブバンドのシリアルナンバである。
【０５８０】
ノイズ充填サブユニットは、ノイズレベル復号化ユニットが出力したノイズレベルによりエネルギー調整された後の周波数領域係数に対してノイズ充填を行い、ノイズ充填の一般式が
【０５８１】
【数１９７】
【０５８２】
であり、
その中、
【０５８３】
【数１９８】
【０５８４】
はゼロビットの符号化サブバンドrの再建周波数領域係数を表し、
【０５８５】
【数１９９】
【０５８６】
は、ゼロビットの符号化サブバンドrのエネルギー調整された後の周波数領域係数を表し、rms(r) はゼロビットの符号化サブバンドrの符号化前の周波数領域係数の振幅エンベロープであり、振幅エンベロープの量子化指数逆量子化により得られ、
【０５８７】
【数２００】
【０５８８】
がランダム位相生成器であり、ランダム位相値を生成し、その戻り値が+1または-1であり、
【０５８９】
【数２０１】
【０５９０】
がゼロビットの符号化サブバンドrのノイズレベル制御スケール因子であり、その値がゼロビットの符号化サブバンドrの所在のノイズ充填サブバンドのノイズレベルにより決定し、具体的な計算式が以下のようである。
【０５９１】
【数２０２】
【０５９２】
その中、
【０５９３】
【数２０３】
【０５９４】
が充填エネルギースケール因子であり、全体の充填エネルギーのゲインを調整することに用いられ、その値の範囲が（0、1）であり、本実施例では値を0.2を取る。
【０５９５】
【数２０４】
【０５９６】
は復号化逆量子化により得られたノイズ充填サブバンドjのノイズレベルであり、その中、jがゼロビットの符号化サブバンドrの所在のノイズ充填サブバンドのシリアルナンバである。
【０５９７】
前記周波数帯コピーサブユニットはビット分配ユニットのビット分配結果によってビットを分配したノイズ充填サブバンドにおけるゼロビットの符号化サブバンドに対し周波数帯コピーし、前記エネルギー調整サブユニットは周波数帯コピー後得られた周波数領域係数に対しエネルギー調整し、前記ノイズ充填サブユニットはエネルギー調整後の周波数領域係数及びビットを分配していないノイズ充填サブバンドにおけるゼロビットの符号化サブバンドに対しノイズ充填する。
【０５９８】
さらに、図9に示すように、前記周波数帯コピーサブユニットは、次第に接続する音調位置捜索モジュール、周期及びソース周波数段域計算モジュール、ソース周波数段域コピー開始シリアルナンバ計算モジュール、及び周波数帯コピーモジュールを含み、その中、
音調位置捜索モジュールは、MDCT周波数領域係数においてオーディオ信号のある音調の所在位置を捜索することに用いられるものであり、具体的に、第1周波数段域のMDCT周波数領域係数に対し絶対値または平方値を取り得て、平滑化フィルタを行い、平滑化フィルタの結果によって、第1周波数段域フィルタ出力値の最大極値の所在位置を捜索し、該最大極値の所在位置は、即ち音調所在位置である。
【０５９９】
周期及ソース周波数段域計算モジュールは、音調の所在位置によりコピーに用いる周波数帯コピー周期及びソース周波数段域を確定することに用いられ、該周波数帯コピー周期が0周波数ポイントから音調位置周波数ポイントのまでの帯域幅であり、前記ソース周波数段域は、0周波数ポイントが後へ周波数帯コピー偏移copyband_offsetを偏移する周波数ポイントから音調位置の周波数ポイントが後へ前記copyband_offsetを偏移する周波数ポイントまでの周波数段域である。
【０６００】
音調位置の周波数ポイントのシリアルナンバをTonal_posとすると、周波数帯コピー偏移を予め設定し、copyband_offsetの場合、ソース周波数段域の周波数領域係数の開始シリアルナンバがcopyband_offset、終了シリアルナンバがcopyband_offset+Tonal_posである。
【０６０１】
ソース周波数段域コピー開始シリアルナンバ計算モジュールは、ソース周波数段域及び周波数帯コピーを行う必要があるゼロビットの符号化サブバンドの開始シリアルナンバにより該ゼロビットの符号化サブバンドのソース周波数段域コピー開始シリアルナンバを計算することに用いられるものであり、
前記周波数帯コピーモジュールは、周波数帯コピー周期を周期とし、ソース周波数段域コピー開始シリアルナンバからソース周波数段域の周波数領域係数周期性をゼロビットの符号化サブバンドにコピーすることに用いられ、
周波数帯コピーを行なう必要があるゼロビットの符号化サブバンド内部の最高周波数は捜索した音調の周波数より小さいと、該周波数ポイントはノイズ充填だけを採用して周波数スペクトル再建を行い、周波数帯コピーを行なわない。
【０６０２】
前記音調位置捜索モジュールは、以下の方法を採用して音調の所在位置を捜索する。第1周波数段域のMDCT周波数領域係数に対して絶対値または平方値を取り得て、平滑化フィルタを行い、平滑化フィルタの結果により、第1周波数段域フィルタ出力値の最大極値の所在の位置を捜索し、該最大極値が所在している位置が、即ち、音調の所在位置である。
【０６０３】
さらに、
前記音調位置捜索モジュールが該第1周波数段域のMDCT周波数領域係数に対して絶対値を取り得て、平滑化フィルタを行う計算式が以下のようであり
【０６０４】
【数２０５】
【０６０５】
或いは、該第1周波数段域の周波数領域係数平方値に対して平滑化フィルタの計算式が以下のようであり、
【０６０６】
【数２０６】
【０６０７】
その中、μは平滑化フィルタ係数であり、実施例においてその値を0.125とし、
【０６０８】
【数２０７】
【０６０９】
は第iフレームの第k個の周波数ポイントのフィルタ出力値を表し、
【０６１０】
【数２０８】
【０６１１】
は第iフレームの第k個の周波数ポイント復号化した後のMDCT係数であり、且つi=0の場合、
【０６１２】
【数２０９】
【０６１３】
とする。
【０６１４】
さらに、前記第1周波数段域は、周波数スペクトルの統計特性により確定されたエネルギーが比較的に集中している低周波数の周波数段域であり、その中、低周波数とは、1/2の信号総帯域幅より小さい周波数スペクトル成分である。
【０６１５】
さらに、前記音調位置捜索モジュール計算モジュールは、直接に第1周波数段域が対応する周波数領域係数のフィルタ出力値において最初の最大値を捜索し、該最大値を第1周波数段域フィルタ出力値の最大極値とする。
【０６１６】
さらに、前記音調位置捜索モジュールは、フィルタ出力値の最大極値を確定すると、該第1周波数段域の中の一段域を第2周波数段域として、先ず、第2周波数段域が対応する周波数領域係数のフィルタ出力値の中中から最初の最大値を捜索し、さらに該最初の最大値が対応する周波数領域係数の位置により異なる処理を行う。
【０６１７】
a．該最初の最大値が第2周波数段域最低周波数の周波数領域係数のフィルタ出力値であると、該第2周波数段域最低周波数の周波数領域係数のフィルタ出力値を第1周波数段域における一つ前のより低い周波数の周波数領域係数のフィルタ出力値と比較して、次第に前へ比較し続け、現在の周波数領域係数のフィルタ出力値が一つ前の周波数領域係数のフィルタ出力値よりも大きいばあい、該現在の周波数領域係数のフィルタ出力値が最終に確定された最大極値であり、或いは、比較しつづけて、第1周波数段域の最低周波数の周波数領域係数のフィルタ出力値が次の周波数領域係数のフィルタ出力値より大きい場合、第1周波数段域の最低周波数の周波数領域係数のフィルタ出力値が最終に確定された最大極値である。
【０６１８】
b．該最初の最大値が第2周波数段域最高周波数の周波数領域係数のフィルタ出力値であると、該第2周波数段域における最高周波数の周波数領域係数のフィルタ出力値を第1周波数段域における次のより大きい周波数の周波数領域係数のフィルタ出力値と比較して、次第に後へ比較し続け、現在の周波数領域係数のフィルタ出力値が次の周波数領域係数のフィルタ出力値よりも大きい場合、該現在の周波数領域係数のフィルタ出力値が最終に確定された最大極値であり、或いは、比較しつづけて、第1周波数段域の最高周波数の周波数領域係数のフィルタ出力値が一つ前の周波数領域係数のフィルタ出力値よりも大きい場合、第1周波数段域の最高周波数の周波数領域係数のフィルタ出力値が最終に確定された最大極値である。
【０６１９】
c．該最初の最大値が第2周波数段域最低周波数と最高周波数の間の周波数領域係数のフィルタ出力値であると、該最初の最大値が対応する周波数領域係数が音調の所在の位置であり、即ち、該最初の最大値が最終に確定された最大極値である。
【０６２０】
さらに、前記ソース周波数段域コピー開始シリアルナンバ計算モジュールは、周波数帯コピーを行う必要があるゼロビットの符号化サブバンドのソース周波数段域コピー開始シリアルナンバを計算の過程は、現在に周波数領域係数を再建する必要があるゼロビットの符号化サブバンドの開始周波数ポイントのシリアルナンバを得て、fillband_start_freqとし、音調が対応する周波数ポイントのシリアルナンバをTonal_posとし、Tonal_posに1を加えてコピー周期copy_periodをとし、ソース周波数段域開始シリアルナンバをcopyband_offsetとし、fillband_start_freqの値に循環にcopy_periodを減りつづけ、該値がソース周波数段域のシリアルナンバの値区間に位置するまでにして、該値がソース周波数段域コピー開始シリアルナンバであり、copy_pos_modとすることを含む。
【０６２１】
さらに、前記周波数帯コピーモジュールは周波数帯コピーを行なう場合に、具体的に、
ソース周波数段域コピー開始シリアルナンバを開始とする周波数領域係数を順次に後へfillband_start_freqを開始位置とするゼロビットの符号化サブバンドにコピーしつづけ、ソース周波数段域コピーの周波数ポイントがTonal_pos+copyband_offset周波数ポイントに達したあと、再び第copyband_offset個の周波数ポイントから開始とする周波数領域係数を続けて後へ該ゼロビットの符号化サブバンドにコピーし、そのように続け、現在のゼロビットの符号化サブバンドのすべての周波数領域係数コピーを完成するまで行うことを含む。
【技術分野】
【０００１】
本発明は、オーディオ符号化/復号化技術に関し、特に、符号化待ちのの符号サブバンドに対して周波数スペクトル再建を行うオーディオ符号化/復号化方法、システム及びノイズレベルの推定方法に関する。
【背景技術】
【０００２】
オーディオ符号化技術は、例えば、デジタルオーディオラジオ、インタネットにおける音楽配信及びオーディオ通信などのマルチメディア応用技術の核心であり、これらの応用が極にオーディオエンコーダの圧縮性能の向上により有利を得ていることになっている。自覚オーディオエンコーダがロッシー変換領域符号化の一種類として、現在の主流のオーディオエンコーダになっている。一般には、符号化ビットレートの制限により、オーディオ符号化の際、部分の周波数領域係数或いは周波数成分が符号化できなくなって、符号化待ちのサブバンドの周波数スペクトル成分をより良好的に回復するために、従来のオーディオコーデックは、常にノイズ充填或いは周波数帯コピーの方法を利用して符号化待ちのサブバンドの周波数スペクトル成分を再建する。G.722.1Cはノイズ充填の方法、HE-AAC-V1は周波数帯コピー技術、G.719ノイズ充填及び簡単な周波数帯コピーの結合の方法を採用する。ノイズ充填を採用する方法は、良好的に符号化待ちのサブバンドの周波数スペクトルエンベロープ及びサブバンドの内の音調、ノイズ成分を回復できない。HE-AAC-V1の周波数帯コピー方法は、符号化前のオーディオ信号に周波数スペクトル分析を行う必要があり、高周波成分の信号に対して音調及びノイズ推定を行い、パラメータを取り出し、さらにオーディオ信号にダウンサンプリングした後、AACエンコーダにより符号化し、その運算の複雑度が高く、且つ比較的に多いパラメータ情報を復号化端に送信し、多数の符号化ビットを占めると共に、さらに符号化遅延を増加する場合もある。G.719のコピー方案が簡単すぎので、良好的に符号化待ちのサブバンドの周波数スペクトルエンベロープ及びサブバンドの内の音調及びノイズ成分を回復できない。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明が解決しようとする技術問題は良好的に符号化されていない周波数領域係数を再建するように、オーディオ符号化/復号化方法、システム及びノイズレベル推定方法を提供することである。
【課題を解決するための手段】
【０００４】
前記の技術問題を解決するために、本発明はノイズレベル推定方法を提供し、該方法は、
ノイズレベル推定方法であって、
符号化待ちのオーディオ信号の周波数領域係数により符号化待ちのオーディオ信号のパワースペクトルを推定すること、
計算して得られるパワースペクトルにより、ゼロビットの符号化サブバンドオーディオ信号のノイズレベルを推定し、該ノイズレベルは、復号化する場合に、ノイズ充填と周波数帯コピーとのエネルギーの比例を制御することに用いられ、その中、ゼロビットの符号化サブバンドとは、分配されたビット数がゼロである符号化サブバンドを指すことを含む。
さらに、
前記ゼロビットの符号化サブバンドオーディオ信号のノイズレベルとは、ゼロビットの符号化サブバンドにおいて推定して得られるノイズ成分パワーとゼロビットの符号化サブバンドにおいて推定して得られる音調成分パワーとの比の値である。
さらに、
符号化待ちのオーディオ信号のMDCT周波数領域係数により符号化待ちのオーディオ信号のパワースペクトルを推定し、第iフレームの周波数ポイントkのパワー計算式が
【０００５】
【数１】
【０００６】
であり、そのなか、i＝0の場合、
【０００７】
【数２】
【０００８】
が第iフレームの第k個の周波数ポイントに推定して得られるパワー値を表し、
【０００９】
【数３】
【００１０】
が第iフレームの第kの周波数ポイントのMDCT係数を表し、λが単極平滑化フィルタのフィルタ係数である。
さらに、
符号化待ちのオーディオ信号の周波数領域係数を1つまたは複数のノイズ充填サブバンドに分割し、推定される符号化待ちのオーディオ信号のパワースペクトルによってある有効ノイズ充填サブバンドのノイズレベルを計算する過程は、具体的に、
該有効ノイズ充填サブバンドにおけるすべてまたは部分のゼロビット符号化サブバンドのすべての周波数領域係数のパワーの平均値を計算して、平均パワー
【００１１】
【数４】
【００１２】
を得るステップと、
該有効ノイズ充填サブバンドのすべてまたは部分のゼロビット符号化サブバンドにおけるパワーPi(k)が平均パワー
【００１３】
【数５】
【００１４】
より大きいのすべての周波数領域係数のパワーの平均値を計算し、該有効ノイズ充填サブバンドにおけるゼロビット符号化サブバンドの音調成分平均パワー
【００１５】
【数６】
【００１６】
を得るステップと、
該有効ノイズ充填サブバンドのすべてまたは部分のゼロビット符号化サブバンドにおけるパワーPi(k)が平均パワー
【００１７】
【数７】
【００１８】
より小さいまたは等しいのすべての周波数領域係数のパワーPi(k)の平均値を計算し、該有効ノイズ充填サブバンドにおけるゼロビット符号化サブバンドのノイズ成分平均パワー
【００１９】
【数８】
【００２０】
を得るステップと、
ノイズ成分平均パワー
【００２１】
【数９】
【００２２】
と音調成分平均パワー
【００２３】
【数１０】
【００２４】
との比の値
【００２５】
【数１１】
【００２６】
を計算し、該有効ノイズ充填サブバンドのノイズレベルを得るステップとを含み、
そのなか、有効ノイズ充填サブバンドとは、ゼロビット符号化サブバンドを含むノイズ充填サブバンドである。
【００２７】
上記技術問題を解決するため、本発明はまたオーディオ符号化方法を提供し、該方法は、
A、符号化待ちのオーディオ信号のMDCT周波数領域係数を複数の符号化サブバンドに分割し、各符号化サブバンドの振幅エンベロープ値を量子化符号化し、振幅エンベロープ符号化ビットを得るステップと、
B、各符号化サブバンドにたいしてビットを分配し、且つ非ゼロビットの符号化サブバンドを量子化符号化し、MDCT周波数領域係数符号化ビットを得るステップと、
C、符号化待ちのオーディオ信号のMDCT周波数領域係数により符号化待ちのオーディオ信号のパワースペクトルを推定し、さらにゼロビット符号化サブバンドオーディオ信号のノイズレベルを推定し、且つ量子化符号化し、ノイズレベル符号化ビットを得るステップと、そのなか、該ノイズレベルは、復号化する場合、ノイズ充填と周波数帯コピーとのエネルギーの比例を制御することに用いられ、ゼロビット符号化サブバンドとは、分配されたビット数がゼロとする符号化サブバンドであり、
D、各符号化サブバンドの振幅エンベロープの符号化ビット、周波数領域係数符号化ビット及びノイズレベル符号化ビットをマルチプレックスとパッケージしてから、復号化端に送信するステップとを含む。
さらに、
ステップCの中において、前記ゼロビット符号化サブバンドオーディオ信号のノイズレベルとは、ゼロビット符号化サブバンドの内に推定して得られたノイズ成分パワーとゼロビット符号化サブバンドの内に推定して得られた音調成分パワーとの比の値である。
さらに、
符号化待ちのオーディオ信号のMDCT周波数領域係数により符号化待ちのオーディオ信号のパワースペクトルを推定し、第iフレームの周波数ポイントkのパワー推定の計算方法が
【００２８】
【数１２】
【００２９】
そのなか、i＝0の場合、
【００３０】
【数１３】
【００３１】
が第iフレームの第k個の周波数ポイントに推定して得られたパワー値を表し、
【００３２】
【数１４】
【００３３】
が第iフレームの第k個の周波数ポイントのMDCT係数を表し、λが単極平滑化フィルタのフィルタ係数である。
さらに、
ステップBの中に、符号化待ちのオーディオ信号の周波数領域係数を1つ或いは複数のノイズ充填サブバンドに分割して、各符号化サブバンドにビットを分配した後、有効ノイズ充填サブバンドにビットを分配し、ステップCの中に、推定された符号化待ちのオーディオ信号のパワースペクトルによりある有効ノイズ充填サブバンドのノイズレベルを計算する過程は、具体的に、
該有効ノイズ充填サブバンドにおけるすべて或いは部分のゼロビット符号化サブバンドのすべての周波数領域係数の平均値を計算し、平均パワー
【００３４】
【数１５】
【００３５】
を得るステップと、
該有効ノイズ充填サブバンドのすべて或いは部分のゼロビット符号化サブバンドの中に、パワーPi(k)が平均パワー
【００３６】
【数１６】
【００３７】
より大きいすべての周波数領域係数のパワーの平均値を計算し、該有効ノイズ充填サブバンドにおけるゼロビット符号化サブバンドの音調成分平均パワー
【００３８】
【数１７】
【００３９】
を得るステップと、
該有効ノイズ充填サブバンドのすべて或いは部分のゼロビット符号化サブバンドの中に、パワーPi(k)が平均パワー
【００４０】
【数１８】
【００４１】
より小さいまたは等しいすべての周波数領域係数のパワーPi(k)の平均値を計算し、該有効ノイズ充填サブバンドにおけるゼロビット符号化サブバンドのノイズ成分平均パワー
【００４２】
【数１９】
【００４３】
を得るステップと、
ノイズ成分平均パワー
【００４４】
【数２０】
【００４５】
と音調成分平均パワー
【００４６】
【数２１】
【００４７】
との比の値
【００４８】
【数２２】
【００４９】
を計算し、該有効ノイズ充填サブバンドのノイズレベルを得るステップとを含み、
その中、有効ノイズ充填サブバンドとは、ゼロビット符号化サブバンドを含むノイズ充填サブバンドである。
さらに、
ノイズ充填サブバンドを分割する時、均一に分割、或いは人の耳の聴覚特性によって非均一に分割し、1つのノイズ充填サブバンドが1つ或いは複数の符号化サブバンドを含む。
さらに、
ステップBの中に、すべての有効ノイズ充填サブバンドにビットを分配し、或いは、1つ或いは複数の低周波数の有効ノイズ充填サブバンドをスキップし、後続の高周波数の有効ノイズ充填サブバンドにビットを分配し、ステップCの中に、ビットを分配した有効ノイズ充填サブバンドのノイズレベルを計算し、ステップDの中に、該分配されたビットによってノイズレベル符号化ビットをマルチプレックスとパッケージする。
さらに、
各有効ノイズ充填サブバンドが同じビット数を分配し、或いは聴覚特性によって違うビット数を分配する請求項8に記載の方法。
【００５０】
以上の技術問題を解決するため、本発明はまたオーディオ復号化方法を提供し、該方法は、
A2、復号化待ちのビットストリームにおける各振幅エンベロープ符号化ビットを復号化逆量子化し、各符号化サブバンドの振幅エンベロープを得るステップと、
B2、各符号化サブバンドにビットを分配し、ノイズレベル符号化ビットを復号化逆量子化してゼロビット符号化サブバンドのノイズレベルを得て、周波数領域係数符号化ビットを復号化逆量子化して非ゼロビットの符号化サブバンドの周波数領域係数を得るステップと、
C2、ゼロビット符号化サブバンドを周波数帯コピーし、且つ各ゼロビットの符号化サブバンドの振幅エンベロープによって該符号化サブバンドの全体のエネルギー充填レベルを制御し、該ゼロビットの符号化サブバンドのノイズレベルによってノイズ充填と周波数帯コピーとのエネルギーの比例を制御し、再建されたゼロビットの符号化サブバンドの周波数領域係数を得るステップと、
D2、非ゼロビットの符号化サブバンドの周波数領域係数と再建されたゼロビットの符号化サブバンドの周波数領域係数に対して逆修正離散コサイン変換（IMDCT）を行い、最終のオーディオ信号を得るステップとを含む。
さらに、
ステップC2の中に、周波数帯コピーの時、MDCT周波数領域係数の中にオーディオ信号のある音調の所在の位置を捜索し、0周波数ポイントから音調位置までの周波数ポイントの帯域幅を周波数帯コピー周期として、且つ0周波数ポイントの後へcopyband_offset個の周波数ポイントを偏移する処から音調位置の周波数ポイントが後へ前記copyband_offset個の周波数ポイントを偏移する処までの周波数段域をソース周波数段域として、ゼロビットの符号化サブバンドを周波数帯コピーし、ゼロビットの符号化サブバンドの内部の最高周波数が捜索された音調の周波数よりも小さい場合、該ゼロビットの符号化サブバンドがノイズ充填のみを採用して周波数スペクトルを再建する。
さらに、
ステップC2の中に、
第1周波数段域の周波数領域係数に対して絶対値或いは平方値を取得して、平滑化フィルタを行い、
平滑化フィルタの結果によって、第1周波数段域フィルタ出力値の最大極値の所在の位置を捜索し、該最大極値の所在の位置をある音調の所在の位置とする。
さらに、
該第1周波数段域の周波数領域係数に対して絶対値を取得し、平滑化フィルタを行う計算式が以下のようであり、
【００５１】
【数２３】
【００５２】
或いは、該第1周波数段域の周波数領域係数平方値に対して平滑化フィルタを行う計算式が
【００５３】
【数２４】
【００５４】
であって、そのなか、μが平滑化フィルタ係数であり、
【００５５】
【数２５】
【００５６】
が第iフレームの第k個周波数ポイントのフィルタ出力値を表し、
【００５７】
【数２６】
【００５８】
が第iフレームの第k個周波数ポイントの復号化された後のMDCT係数であり、且つi=0の場合、
【００５９】
【数２７】
【００６０】
である。
さらに、
前記第1周波数段域は周波数スペクトルの統計特性によって確定されたエネルギーが比較的に集中する低周波数の周波数段域であり、その中、低周波数とは、半分の信号総帯域幅より小さい周波数スペクトル成分である。
さらに、
直接に第1周波数段域の対応する周波数領域係数のフィルタ出力値中から最初の最大値を捜索し、該最大値を第1周波数段域フィルタ出力値の最大極値とする方法によってフィルタ出力値の最大極値を確定する。
さらに、
以下の方法を採用してフィルタ出力値の最大極値を確定し、
該第1周波数段域の中の一段域を第2周波数段域とし、第2周波数段域が対応する周波数領域係数のフィルタ出力値において最初の最大値を捜索し、該最初の最大値が対応する周波数領域係数の位置によって異なる処理を行い、
a．該最初の最大値が第2周波数段域最低周波数の周波数領域係数のフィルタ出力値である場合、該第2周波数段域最低周波数の周波数領域係数のフィルタ出力値を第1周波数段域における一つ前のより低い周波数の周波数領域係数のフィルタ出力値と比較して、次第に前へ比較し続け、現在の周波数領域係数のフィルタ出力値が一つ前の周波数領域係数のフィルタ出力値より大きい場合、該現在の周波数領域係数のフィルタ出力値が最終に確定された最大極値であり、或いは、比較を続け、第1周波数段域の最低周波数の周波数領域係数のフィルタ出力値が次の周波数領域係数のフィルタ出力値より大きいことを得た場合、第1周波数段域の最低周波数の周波数領域係数のフィルタ出力値が最終に確定された最大極値であり、
b．該最初の最大値が第2周波数段域最高周波数の周波数領域係数のフィルタ出力値であると、該第2周波数段域最高周波数の周波数領域係数のフィルタ出力値を第1周波数段域における次のより大きい周波数の周波数領域係数のフィルタ出力値と比較して、次第に後へ比較し続け、現在の周波数領域係数のフィルタ出力値が次の周波数領域係数のフィルタ出力値よりも大きい場合、該現在の周波数領域係数のフィルタ出力値が最終に確定された最大極値であり、或いは、比較を続け、第1周波数段域の最高周波数の周波数領域係数のフィルタ出力値が一つ前の周波数領域係数のフィルタ出力値よりも大きいことを得る場合、第1周波数段域の最高周波数の周波数領域係数のフィルタ出力値が最終に確定された最大極値であり、
c．該最初の最大値が第2周波数段域最低周波数と最高周波数の間の周波数領域係数のフィルタ出力値であると、該最初の最大値が対応する周波数領域係数が音調の所在の位置であり、即ち、該最初の最大値が最終に確定された最大極値である。
さらに、
ステップC2の中に、ゼロビット符号化サブバンドに対して周波数帯コピーする場合、先ず、ソース周波数段域及び周波数帯コピーを行う必要があるゼロビット符号化サブバンドの開始シリアルナンバにより該ゼロビットの符号化サブバンドのソース周波数段域コピー開始シリアルナンバを計算し、周波数帯コピー周期を周期とし、ソース周波数段域コピー開始シリアルナンバから始めにソース周波数段域の周波数領域係数を周期的にゼロビット符号化サブバンドにコピーする。
さらに、
ステップC2の中に、ゼロビット符号化サブバンドに対して周波数帯コピーする場合、先ず、ソース周波数段域及び周波数帯コピーを行う必要があるゼロビット符号化サブバンドの開始シリアルナンバにより該ゼロビットの符号化サブバンドのソース周波数段域コピー開始シリアルナンバを計算し、周波数帯コピー周期を周期とし、ソース周波数段域コピー開始シリアルナンバから始めにソース周波数段域の周波数領域係数を周期的にゼロビット符号化サブバンドにコピーする。
さらに、
ステップC2の中に該ゼロビット符号化サブバンドのソース周波数段域コピー開始シリアルナンバを計算する方法は、
周波数領域係数を再建することが必要があるゼロビット符号化サブバンドの開始MDCT周波数領域係数の周波数ポイントのシリアルナンバーを得て、且つfillband_start_freqとし、音調が対応する周波数ポイントのシリアルナンバをTonal_posとし、Tonal_posに1を加えてコピー周期copy_periodを得て、周波数帯コピー偏移をcopyband_offsetとし、fillband_start_freqの値に循環にcopy_periodを差し引いて、該値がソース周波数段域のシリアルナンバの値区間に位置するまでにして、該値がソース周波数段域コピー開始シリアルナンバであり、copy_pos_modとする。
さらに、
ステップC2の中に、周波数帯コピー周期を周期として、ソース周波数段域コピー開始シリアルナンバからソース周波数段域の周波数領域係数を周期的にゼロビットの符号化サブバンドにコピーする方法は、
ソース周波数段域コピー開始シリアルナンバを開始とする周波数領域係数を順次に後へfillband_start_freqを開始位置とするゼロビットの符号化サブバンドにコピーし、ソース周波数段域コピーの周波数ポイントがTonal_pos+copyband_offset周波数ポイントに達するまでにして、再び第copyband_offset個の周波数ポイントから開始する周波数領域係数を続けて後へ該ゼロビットの符号化サブバンドにコピーし、そのように続け、現在のゼロビットの符号化サブバンドのすべての周波数領域係数の周波数帯コピーを完成するまで行うことである。
されに、
ステップC2の中に、以下の方法を採用してゼロビットの符号化サブバンドコピーされた後得られた周波数領域係数に対して、エネルギー調整を行う、
ゼロビットの符号化サブバンドの周波数帯コピーされた後得られた周波数領域係数の振幅エンベロープを計算し、
【００６１】
【数２８】
【００６２】
とし、
コピー後得られた周波数領域係数に対してエネルギー調整を行う一般式が
【００６３】
【数２９】
【００６４】
であり、
その中、
【００６５】
【数３０】
【００６６】
はゼロビットの符号化サブバンドrのエネルギー調整された後の周波数領域係数を表し、
【００６７】
【数３１】
【００６８】
はゼロビットの符号化サブバンドrがコピーされた後得られた周波数領域係数を表し、
【００６９】
【数３２】
【００７０】
はゼロビットの符号化サブバンドrがコピーされた後得られた周波数領域係数
【００７１】
【数３３】
【００７２】
の振幅エンベロープであり、rms(r)はゼロビットの符号化サブバンドrの符号化された前の周波数領域係数の振幅エンベロープであり、振幅エンベロープの量子化指数の逆量子化から得られ、
【００７３】
【数３４】
【００７４】
は、ゼロビットの符号化サブバンドrの周波数帯コピーのエネルギー制御スケール因子であり、その値がゼロビットの符号化サブバンドrの所在のノイズ充填サブバンドのノイズレベルにより決定され、具体的な計算式が以下のようであり、
【００７５】
【数３５】
【００７６】
【数３６】
【００７７】
が充填エネルギースケール因子であり、全体の充填エネルギーのゲインを調整することに用いられ、その値の範囲が（0、1）であり、
【００７８】
【数３７】
【００７９】
が復号化逆量子化により得られたノイズ充填サブバンドjのノイズレベルであり、その中、jがゼロビットの符号化サブバンドrの所在のノイズ充填サブバンドのシリアルナンバである。
さらに、
ステップC2の中に、以下の一般式によりエネルギー調整された後の周波数領域係数に対してノイズ充填を行い、
【００８０】
【数３８】
【００８１】
その中、
【００８２】
【数３９】
【００８３】
はゼロビットの符号化サブバンドrの再建周波数領域係数を表し、
【００８４】
【数４０】
【００８５】
は、ゼロビットの符号化サブバンドrのエネルギー調整された後の周波数領域係数を表し、rms(r) はゼロビットの符号化サブバンドrの符号化前の周波数領域係数の振幅エンベロープであり、振幅エンベロープの量子化指数の逆量子化により得られ、
【００８６】
【数４１】
【００８７】
がランダム位相生成器であり、ランダム位相値を生成し、その戻り値が+1または-1であり、
【００８８】
【数４２】
【００８９】
がゼロビットの符号化サブバンドrのノイズレベル制御スケール因子であり、その値がゼロビットの符号化サブバンドrの所在のノイズ充填サブバンドのノイズレベルにより決定され、具体的な計算式が以下のようであり、
【００９０】
【数４３】
【００９１】
その中、
【００９２】
【数４４】
【００９３】
が充填エネルギースケール因子であり、全体の充填エネルギーのゲインを調整することに用いられ、その値の範囲が（0、1）であり、
【００９４】
【数４５】
【００９５】
は復号化逆量子化により得られたノイズ充填サブバンドjのノイズレベルであり、その中、jがゼロビットの符号化サブバンドrの所在のノイズ充填サブバンドのシリアルナンバである。
さらに、
ステップB2の中に、各符号化サブバンドに対してビット分配をした後、符号化サブバンドを複数のノイズ充填サブバンドに分割し、有効ノイズ充填サブバンドに対してビット分配を行い、ステップC2の中に、ビットを分配された有効ノイズ充填サブバンドにおけるゼロビットの符号化サブバンドに対し周波数帯コピーを行い、コピーされた周波数領域係数のエネルギーレベル及びノイズ充填のエネルギーレベルを制御し、ビットが分配されていない有効ノイズ充填サブバンドにおけるゼロビットの符号化サブバンドに対してノイズ充填を行い、その中、有効ノイズ充填サブバンドとは、ゼロビットの符号化サブバンドを含むノイズ充填サブバンドである。
【００９６】
以上の技術問題を解決するため、本発明はまたオーディオ符号化システムを提供し、該システムは修正離散コサイン変換（MDCT）ユニット、振幅エンベロープ計算ユニット、振幅エンベロープ量子化及び符号化ユニット、ビット分配ユニット、周波数領域係数符号化ユニット及びビットストリームマルチプレクサ（MUX）を含み、該システムは、さらにノイズレベル推定ユニットを含み、その中には、
MDCTユニットは、オーディオ信号に対して逆修正離散コサイン変換を行い、周波数領域係数を変換することに用いられるものであり、
振幅エンベロープ計算ユニットは、前記MDCTユニットに接続し、前記MDCTにより生成した周波数領域係数を複数の符号化サブバンドに分割し、且つ各符号化サブバンドの振幅エンベロープ値を計算することに用いられるものであり、
振幅エンベロープ量子化及び符号化ユニットは、前記振幅エンベロープ計算ユニットに接続し、各符号化サブバンドの振幅エンベロープ値を量子化及び符号化を行い、各符号化サブバンドの振幅エンベロープの符号化ビットを生成することに用いられるものであり、
ビット分配ユニットは、前記振幅エンベロープ量子化及び符号化ユニットに接続し、各符号化サブバンドにビットを分配することに用いられるものであり、
周波数領域係数量子化符号化ユニットは、MDCTユニット、ビット分配ユニット及び振幅エンベロープ量子化及び符号化ユニットに接続し、各符号化サブバンドにおけるすべての周波数領域係数に対し正規化、量子化及び符号化処理を行い、周波数領域係数符号化ビットを生成することに用いられるものであり、
ノイズレベル推定ユニットは、MDCTユニット及ビット分配ユニットに接続し、符号化待ちのオーディオ信号のMDCT周波数領域係数により符号化待ちのオーディオ信号のパワースペクトルを推定し、さらに、ゼロビットの符号化サブバンドのオーディオ信号のノイズレベルを推定し、量子化符号化してノイズレベル符号化ビットを得ることに用いられ、その中、該ノイズレベルが復号化している場合にノイズ充填と周波数帯コピーとのエネルギーの比例を制御することに用いられるものであり、
ビットストリームマルチプレクサ（MUX）は、前記振幅エンベロープ量子化及び符号化ユニット、周波数領域係数符号化ユニット及びノイズレベル推定ユニットに接続し、各符号化サブバンドの符号化ビット及び周波数領域係数の符号化ビットをマルチプレックスし復号化端に送信することに用いられるものである。
さらに、
前記ゼロビットの符号化サブバンドのオーディオ信号のノイズレベルとは、ゼロビットの符号化サブバンド内推定して得られたノイズ成分パワーとゼロビットの符号化サブバンド推定して得られた音調成分パワーとの比の値である。
さらに、
前記ノイズレベル推定ユニットは、具体的に、
符号化待ちのオーディオ信号のMDCT周波数領域係数により符号化待ちのオーディオ信号のパワースペクトルを推定することに用いられるパワースペクトル推定モジュールと、
前記パワースペクトル推定モジュールに接続し、前記パワースペクトル推定モジュールが推定したパワースペクトルによりゼロビットの符号化サブバンドオーディオ信号のノイズレベルを推定することに用いられるノイズレベル計算モジュールと、
前記ノイズレベル計算モジュールに接続し、前記ノイズレベル計算モジュールが計算したノイズレベルに対して量子化符号化し、ノイズレベル符号化ビットを得ることに用いられるノイズレベル符号化モジュールとを含む。
さらに、
前記パワースペクトル推定モジュールが以下の一般式を採用して第iフレームの周波数ポイントkのパワーを推定し、一般式が
【００９７】
【数４６】
【００９８】
であり、そのなか、i＝0の場合、
【００９９】
【数４７】
【０１００】
は、第iフレームの第k個の周波数ポイントの推定して得られたパワー値を表し、
【０１０１】
【数４８】
【０１０２】
は、第iフレームの第k個の周波数ポイントのMDCT係数を表し、λは、単極ポール平滑化フィルタのフィルタ係数である。
さらに、
符号化待ちのオーディオ信号の周波数領域係数を1つまたは複数のノイズ充填サブバンドに分割し、前記ノイズレベル計算モジュールの機能は、具体的に、該有効ノイズ充填サブバンドにおけるすべてまたは部分のゼロビットの符号化サブバンドのすべての周波数領域係数パワーの平均値を計算し、平均パワー
【０１０３】
【数４９】
【０１０４】
を得ることに用いられることと、該有効ノイズ充填サブバンドのすべてまたは部分のゼロビットの符号化サブバンドにおけるパワーPi(k)が平均パワー
【０１０５】
【数５０】
【０１０６】
よりも大きいすべての周波数領域係数のパワーの平均値を計算し、該有効ノイズ充填サブバンドにおけるゼロビットの符号化サブバンドの音調成分平均パワー
【０１０７】
【数５１】
【０１０８】
を得ることに用いられることと、該有効ノイズ充填サブバンドのすべてまたは部分のゼロビットの符号化サブバンドにおけるパワーPi(k)が平均パワー
【０１０９】
【数５２】
【０１１０】
より小さいまたは等しいすべての周波数領域係数のパワーPi(k)の平均値を計算し、該有効ノイズ充填サブバンドにおけるゼロビットの符号化サブバンドのノイズ成分平均パワー
【０１１１】
【数５３】
【０１１２】
を得ることに用いられることと、ノイズ成分平均パワー
【０１１３】
【数５４】
【０１１４】
と音調成分平均パワー
【０１１５】
【数５５】
【０１１６】
との比の値を計算し、該有効ノイズ充填サブバンドのノイズレベルを得ることに用いられることとを含み、
その中、有効ノイズ充填サブバンドとは、ゼロビットの符号化サブバンドを含むノイズ充填サブバンドである。
さらに、
前記ノイズレベル推定ユニットは、さらにノイズレベル計算モジュール及びノイズレベル符号化モジュールに接続し、すべての有効ノイズ充填サブバンドにビットを分配し、または1つまたは複数の低周波数の有効ノイズ充填サブバンドをスキップ、後続の比較的に高周波数の有効ノイズ充填サブバンドにビットを分配し、及びノイズレベル計算モジュール及びノイズレベル符号化モジュールに通知することに用いられるビット分配モジュールを含み、
前記ノイズレベル計算モジュールはビットを分配されたノイズ充填サブバンドのみに対してノイズレベルを計算し、
前記ノイズレベル符号化モジュールは、ビット分配モジュールが分配したビットを利用して前記ノイズレベルに対して量子化符号化を行う。
【０１１７】
以上の技術問題を解決するため、本発明はまたオーディオ復号化システムを提供し、該システムは、ビットストリームデマルチプレクサ（DeMUX）、符号化サブバンド振幅エンベロープ復号化ユニット、ビット分配ユニット、周波数領域係数復号化ユニット、周波数スペクトル再建ユニット、逆修正離散コサイン変換（IMDCT）ユニットを含み、その中には、
前記DeMUXは、復号化待ちのビットストリームの中から振幅エンベロープ符号化ビット、周波数領域係数符号化ビット及びノイズレベル符号化ビットを分離することに用いられるものであり、
前記振幅エンベロープ復号化ユニットは、前記DeMUXに接続し、前記ビットストリームデマルチプレクサが出力した振幅エンベロープ符号化ビットに対して復号化を行い、各符号化サブバンドの振幅エンベロープ量子化指数を得ることに用いられるものであり、
前記ビット分配ユニットは、前記振幅エンベロープ復号化ユニットに接続し、ビットの分配を行い、各符号化サブバンドにおける各の周波数領域係数に分配された符号化ビット数を得ることに用いられるものであり、
周波数領域係数復号化ユニットは、振幅エンベロープ復号化ユニット及びビット分配ユニットに接続し、符号化サブバンドに対して復号化、逆量子化及び逆正規化を行い、周波数領域係数を得ることに用いられるものであり、
ノイズレベル復号化ユニットは、前記ビットストリームデマルチプレクサ及びビット分配ユニットに接続し、ノイズレベル符号化ビットに対して復号化逆量子化を行い、ノイズレベルを得ることに用いられるものであり、
前記周波数スペクトル再建ユニットは、前記ノイズレベル復号化ユニット、周波数領域係数復号化ユニット、振幅エンベロープ復号化ユニット及びビット分配ユニットに接続し、ゼロビットの符号化サブバンドに対して周波数帯コピーを行い、振幅エンベロープ復号化ユニットが出力した振幅エンベロープにより該符号化サブバンドの全体のエネルギー充填レベルを制御し、ノイズレベル復号化ユニットが出力したノイズレベルによりノイズ充填と周波数帯コピーとのエネルギーの比例を制御し、再建のゼロビットの符号化サブバンドの周波数領域係数を得ることに用いられるものであり、
IMDCTユニットは、前記周波数スペクトル再建ユニットに接続し、ゼロビットの符号化サブバンドの周波数スペクトル再建を完成した後の周波数領域係数に対してIMDCTを行い、オーディオ信号を得ることに用いられるものである。
さらに、
前記周波数スペクトル再建ユニットは、次第に接続する周波数帯コピーサブユニット、エネルギー調整サブユニット及びノイズ充填サブユニットを含み、その中には、
周波数帯コピーサブユニットは、ゼロビットの符号化サブバンドに対して周波数帯コピーを行うことに用いられるものであり、
エネルギー調整サブユニットは、ゼロビットの符号化サブバンドが周波数帯コピーされた後得られた周波数領域係数の振幅エンベロープ（sbr_rms(r)とする）を計算し、及び、ノイズレベル復号化ユニットが出力したノイズレベルによりコピーされた後得られた周波数領域係数に対してエネルギー調整を行い、エネルギー調整の一般式が
【０１１８】
【数５６】
【０１１９】
であることに用いられるものであり、
その中、
【０１２０】
【数５７】
【０１２１】
はゼロビットの符号化サブバンドrのエネルギー調整された後の周波数領域係数を表し、
【０１２２】
【数５８】
【０１２３】
はゼロビットの符号化サブバンドrがコピーされた後得られた周波数領域係数を表し、
【０１２４】
【数５９】
【０１２５】
はゼロビットの符号化サブバンドrがコピーされた後得られた周波数領域係数
【０１２６】
【数６０】
【０１２７】
の振幅エンベロープであり、rms(r)はゼロビットの符号化サブバンドrの符号化された前の周波数領域係数の振幅エンベロープであり、振幅エンベロープの量子化指数の逆量子化から得られ、
【０１２８】
【数６１】
【０１２９】
は、ゼロビットの符号化サブバンドrの周波数帯コピーのエネルギー制御スケール因子であり、その値がゼロビットの符号化サブバンドrの所在のノイズ充填サブバンドのノイズレベルにより決定され、具体的な計算式が以下のようであり、
【０１３０】
【数６２】
【０１３１】
【数６３】
【０１３２】
が充填エネルギースケール因子であり、全体の充填エネルギーのゲインを調整することに用いられ、その値の範囲が（0、1）であり、
【０１３３】
【数６４】
【０１３４】
は復号化逆量子化により得られたノイズ充填サブバンドjのノイズレベルであり、その中、jがゼロビットの符号化サブバンドrの所在のノイズ充填サブバンドのシリアルナンバであり、
ノイズ充填サブユニットは、ノイズレベル復号化ユニットが出力したノイズレベルによりエネルギー調整された後の周波数領域係数に対してノイズ充填を行い、ノイズ充填の一般式が
【０１３５】
【数６５】
【０１３６】
であることに用いられるものであり、
その中、
【０１３７】
【数６６】
【０１３８】
はゼロビットの符号化サブバンドrの再建周波数領域係数を表し、
【０１３９】
【数６７】
【０１４０】
は、ゼロビットの符号化サブバンドrのエネルギー調整された後のコピー周波数領域係数を表し、rms(r) はゼロビットの符号化サブバンドrの符号化前の周波数領域係数の振幅エンベロープであり、振幅エンベロープの量子化指数の逆量子化により得られ、
【０１４１】
【数６８】
【０１４２】
がランダム位相生成器であり、ランダム位相値を生成し、その戻り値が+1または-1であり、
【０１４３】
【数６９】
【０１４４】
がゼロビットの符号化サブバンドrのノイズレベル制御スケール因子であり、その値がゼロビットの符号化サブバンドrの所在のノイズ充填サブバンドのノイズレベルにより決定され、具体的な計算式が以下のようであり、
【０１４５】
【数７０】
【０１４６】
その中、
【０１４７】
【数７１】
【０１４８】
が充填エネルギースケール因子であり、全体の充填エネルギーのゲインを調整することに用いられ、その値の範囲が（0、1）であり、
【０１４９】
【数７２】
【０１５０】
は復号化逆量子化により得られたノイズ充填サブバンドjのノイズレベルであり、その中、jがゼロビットの符号化サブバンドrの所在のノイズ充填サブバンドのシリアルナンバである。
さらに、
前記周波数帯コピーサブユニットは、次第に接続する音調位置捜索モジュール、周期及びソース周波数段域計算モジュール、ソース周波数段域コピー開始シリアルナンバ計算モジュール及び周波数帯コピーモジュールを含み、その中には、
音調位置捜索モジュールは、MDCT周波数領域係数においてオーディオ信号のある音調の所在位置を捜索することに用いられるものであり、
周期及びソース周波数段域計算モジュールは、音調の所在位置によりコピーに用いる周波数帯コピー周期及びソース周波数段域を確定することに用いられ、該周波数帯コピー周期が0周波数ポイントから音調位置までの周波数ポイントの帯域幅であり、前記ソース周波数段域 は、0周波数ポイントが後へ周波数帯コピー偏移copyband_offsetを偏移する周波数ポイントから音調位置の周波数ポイントが後へ前記copyband_offsetを偏移する周波数ポイントまでの周波数段域であり、
ソース周波数段域コピー開始シリアルナンバ計算モジュールは、ソース周波数段域及び周波数帯コピーを行う必要があるゼロビットの符号化サブバンドの開始シリアルナンバにより該ゼロビットの符号化サブバンドのソース周波数段域コピー開始シリアルナンバを計算することに用いられるものであり、
前記周波数帯コピーモジュールは、周波数帯コピー周期を周期とし、ソース周波数段域コピー開始シリアルナンバからソース周波数段域の周波数領域係数周期性をゼロビットの符号化サブバンドにコピーし、ゼロビットの符号化サブバンドの内の最高周波数が捜索して得られた音調の周波数より小さい場合、該周波数ポイントがただノイズ充填を採用して周波数スペクトル再建を行うことに用いられるものである。
【０１５１】
さらに、
前記音調位置捜索モジュールは、以下の方法を採用して音調の所在位置を捜索する。第1周波数段域のMDCT周波数領域係数に対して絶対値または平方値を取って、平滑化フィルタを行い、平滑化フィルタの結果により、第1周波数段域フィルタ出力値の最大極値の所在の位置を捜索し、該最大極値が所在している位置が、即ち、音調の所在位置である。
【０１５２】
さらに、
前記音調位置捜索モジュールが該第1周波数段域のMDCT周波数領域係数に対して絶対値を取って、平滑化フィルタを行う計算式が
【０１５３】
【数７３】
【０１５４】
であり、
或いは、該第1周波数段域の周波数領域係数平方値に対して平滑化フィルタの計算が
【０１５５】
【数７４】
【０１５６】
であり
そのなか、μが平滑化フィルタ係数であり、
【０１５７】
【数７５】
【０１５８】
が第iフレームの第k個の周波数ポイントのフィルタ出力値であり、
【０１５９】
【数７６】
【０１６０】
が第iフレームの第k個の周波数ポイントの復号化後のMDCT係数であり、且つi=0の場合、
【０１６１】
【数７７】
【０１６２】
とする。
【０１６３】
さらに、
前記第1周波数段域は、周波数スペクトルの統計特性により確定されたエネルギーが比較的に集中している低周波数の周波数段域であり、その中、低周波数とは、1/2の信号総帯域幅より小さい周波数スペクトル成分である。
【０１６４】
さらに、
前記音調位置捜索モジュール計算モジュールは、直接に第1周波数段域が対応する周波数領域係数のフィルタ出力値の中から最初の最大値を捜索し、該最大値を第1周波数段域フィルタ出力値の最大極値とする。
【０１６５】
さらに、
前記音調位置捜索モジュールは、フィルタ出力値の最大極値を確定する時、該第1周波数段域の中の一段域を第2周波数段域として、先ず、第2周波数段域が対応する周波数領域係数のフィルタ出力値の中から最初の最大値を捜索し、そして該最初の最大値が対応する周波数領域係数の位置により異なる処理を行い、
a．該最初の最大値が第2周波数段域最低周波数の周波数領域係数のフィルタ出力値であると、該第2周波数段域最低周波数の周波数領域係数のフィルタ出力値を第1周波数段域における一つ前のより低い周波数の周波数領域係数のフィルタ出力値と比較して、次第に前へ比較し続け、現在の周波数領域係数のフィルタ出力値が一つ前の周波数領域係数のフィルタ出力値より大きい場合、該現在の周波数領域係数のフィルタ出力値が最終に確定された最大極値であり、或いは、比較し続けて、第1周波数段域の最低周波数の周波数領域係数のフィルタ出力値が次の周波数領域係数のフィルタ出力値より大きい場合、第1周波数段域の最低周波数の周波数領域係数のフィルタ出力値が最終に確定された最大極値であり、
b．該最初の最大値が第2周波数段域最高周波数の周波数領域係数のフィルタ出力値である場合、該第2周波数段域最高周波数の周波数領域係数のフィルタ出力値を第1周波数段域における次のより高い周波数の周波数領域係数のフィルタ出力値と比較して、次第に後へ比較し続け、現在の周波数領域係数のフィルタ出力値が次の周波数領域係数のフィルタ出力値より大きい場合、該現在の周波数領域係数のフィルタ出力値が最終に確定された最大極値であり、或いは、比較して第1周波数段域の最高周波数の周波数領域係数のフィルタ出力値が一つ前の周波数領域係数のフィルタ出力値より大きい場合、第1周波数段域の最高周波数の周波数領域係数のフィルタ出力値が最終に確定された最大極値であり、
c．該最初の最大値が第2周波数段域最低周波数と最高周波数の間の周波数領域係数のフィルタ出力値であると、該最初の最大値が対応する周波数領域係数が音調の所在の位置であり、即ち、該最初の最大値が最終に確定された最大極値である請求項33に記載のシステム。
【０１６６】
さらに、
前記ソース周波数段域コピー開始シリアルナンバ計算モジュールは、周波数帯コピーを行う必要があるゼロビットの符号化サブバンドのソース周波数段域コピー開始シリアルナンバの計算過程は、現在に周波数領域係数を再建することが必要があるゼロビットの符号化サブバンドの開始周波数ポイントのシリアルナンバを得て、fillband_start_freqとし、音調が対応する周波数ポイントのシリアルナンバをTonal_posとし、Tonal_posに1を加えてコピー周期copy_periodを得て、ソース周波数段域開始シリアルナンバをcopyband_offsetとし、fillband_start_freqの値に循環にcopy_periodを減って、該値がソース周波数段域のシリアルナンバの値区間に位置するまでして、該値がソース周波数段域コピー開始シリアルナンバであり、copy_pos_modとする。
【０１６７】
さらに、
周波数帯コピーモジュールが周波数帯コピーを行う場合、ソース周波数段域コピー開始シリアルナンバを開始とする周波数領域係数を順次に後へfillband_start_freqを開始位置とするゼロビットの符号化サブバンドにコピーしつづけ、ソース周波数段域コピーの周波数ポイントがTonal_pos+copyband_offset周波数ポイントに達した後、再び第copyband_offset個の周波数ポイントから開始する周波数領域係数を続けて後へ該ゼロビットの符号化サブバンドにコピーし、そのように続け、現在のゼロビットの符号化サブバンドのすべての周波数領域係数コピーを完成するまで行う。
【０１６８】
さらに、
前記ビット分配ユニットは、
すべての有効ノイズ充填サブバンドにビットを分配し、または1つまたは複数の低周波数の有効ノイズ充填サブバンドをスキップし、後続の比較的に高周波数の有効ノイズ充填サブバンドにビットを分配することにさらに用いられ、
前記エネルギー調整サブユニットは、周波数帯コピーされた後得られた周波数領域係数にエネルギー調整を行い、
前記ノイズ充填サブユニットは、エネルギー調整された後の周波数領域係数、及びビットを分配しないノイズ充填サブバンドにおけるゼロビットの符号化サブバンドにノイズ充填を行う。
【発明の効果】
【０１６９】
本発明は、符号化端でMDCT周波数領域係数により符号化待ちのオーディオ信号のパワースペクトルを推定し、推定して得られるパワースペクトルによりゼロビットの符号化サブバンドオーディオ信号のノイズレベルを推定し、ノイズレベル情報を符号化した後、復号化端に送信し、復号化端のノイズ充填と周波数帯コピーとのエネルギーの比例を制御することに用いられ、復号化端が復号化して符号化MDCT周波数領域係数が得られた後、周波数帯コピー及びノイズ充填の方法を採用して未符号化の符号化サブバンドに対して周波数領域係数の再建を行い、その中に、ノイズ充填と周波数帯コピーとのエネルギーの比例が符号化端から送信したノイズレベル符号化ビットにより制御する。該方法は、良好的に未符号化の符号化サブバンドの周波数スペクトルエンベロープ及び内部の音調ノイズ成分を回復でき、良好的な主観的な聞く効果を得ることになる。
【図面の簡単な説明】
【０１７０】
【図１】本発明のオーディオ符号化方法の模式図である。
【図２】本発明によるノイズ充填サブバンドの内におけるゼロビットの符号化サブバンドのノイズレベル符号化ビット獲得のプロセス模式図である。
【図３】本発明によりノイズレベル計算のプロセス模式図である。
【図４】本発明のオーディオ復号化方法の模式図である。
【図５】本発明による周波数スペクトル再建のプロセス模式図である。
【図６】本発明によるオーディオ符号化システムの構造模式図である。
【図７】本発明によるノイズレベル推定ユニットのモジュール構造模式図である。
【図８】本発明によるオーディオ復号化システムの構造模式図である。
【図９】本発明による周波数スペクトル再建ユニットのモジュール構造模式図である。
【図１０】本発明の実施例のビットストリームの構成模式図である。
【発明を実施するための形態】
【０１７１】
本発明の主旨は、符号化端においてMDCT周波数領域係数により符号化待ちのオーディオ信号のパワースペクトルを推定して、得られるパワースペクトル推定することでゼロビットの符号化サブバンドオーディオ信号のノイズレベルを推定し、ノイズレベル情報を符号化した後、復号化端に送信し、復号化端のノイズ充填と周波数帯コピーとのエネルギーの比例を制御することに用いられ、復号化端において復号化してコードMDCT周波数領域係数が得られた後、周波数帯コピー及びノイズ充填の方法を採用して未符号化の符号化サブバンドに対して周波数領域係数の再建を行い、その中に、ノイズ充填と周波数帯コピーとのエネルギーの比例が符号化端から送信してきたノイズレベル符号化ビットにより制御される。該方法は、良好的に未符号化の符号化サブバンドの周波数スペクトルエンベロープ及び内部の音調ノイズ成分を回復でき、良好的な主観的な聞く効果を得られる。
【０１７２】
本発明における周波数領域係数とは、MDCT周波数領域係数である。
【０１７３】
以下、符号化方法、復号化方法、符号化システム及び復号化システムに分け、本発明に対して詳細的に説明する。
【０１７４】
一、符号化方法
本発明のオーディオ符号化方法は以下のステップを含む。
【０１７５】
A、符号化待ちのオーディオ信号のMDCT周波数領域係数を複数の符号化サブバンドに分割し、各符号化サブバンドの振幅エンベロープ値を量子化符号化し、振幅エンベロープの符号化ビットを得る。
【０１７６】
符号化サブバンドを分割している場合、前記MDCTの変換した後の周波数領域係数を複数の等間隔の符号化サブバンドに分け、或いは、聴覚認知特性に従って複数の非均一符号化サブバンドに分割する。
【０１７７】
B、各符号化サブバンドに対してビットを分配し、且つ非ゼロビットの符号化サブバンドを量子化符号化し、MDCT周波数領域係数の符号化ビットを得る。
【０１７８】
各符号化サブバンドに対してビットを分配した後、ある符号化サブバンドに分配されたビット数がゼロであると、該符号化サブバンドに対して量子化符号化しなく、本発明には、該符号化サブバンドをゼロビットの符号化サブバンドまたは未符号化の符号化サブバンドをお呼び、他の符号化サブバンドを非ゼロビットの符号化サブバンドと呼ぶ。
【０１７９】
如何な方法を採用して各符号化サブバンドに対して正規化、量子化及び符号化をすることは、本発明が注目している重点ではない。
【０１８０】
C、符号化待ちのオーディオ信号のMDCT周波数領域係数により符号化待ちのオーディオ信号のパワースペクトルを推定し、さらにはゼロビットの符号化オーディオ信号のノイズレベルを推定し、且つ量子化符号化し、ノイズレベル符号化ビットを得て、そのなか、該ノイズレベル符号化ビットは、復号化する場合、ノイズ充填と周波数帯コピーとのエネルギーの比例を制御することに用いられる。
【０１８１】
前記ゼロビットの符号化サブバンドオーディオ信号のノイズレベルとは、ゼロビットの符号化サブバンドの内において推定して得られたノイズ成分パワーとゼロビットの符号化サブバンドにおいて推定して得られた音調成分パワーとの比の値である。
【０１８２】
D、各符号化サブバンドの前記振幅エンベロープの符号化ビット、前記周波数領域係数の符号化ビット及びノイズレベル符号化ビットをマルチプレックスとパッケージしてから、復号化端に送信する。
【０１８３】
以下、図面を参考して、本発明のオーディオ符号化方法に詳細的な説明を行う。
【０１８４】
実施例1-符号化方法
図1は、本発明の実施例におけるオーディオ符号化方法の構造模式図である。本実施例おいて、フレーム長さが20ms、サンプリングレートが32kHzであるオーディオストリームを例として具体的に本発明のオーディオ符号化方法を説明する。他のフレーム長さ及びサンプリングレートの場合にも、本発明の方法が同様に適用する。図1のように、該方法が以下のステップを含む。
【０１８５】
101：符号化待ちのオーディオストリームにMDCT（Modified Discrete Cosine Transform、修正離散コサイン変換）を実施し、N個の周波数領域サンプリングポイントにおける周波数領域係数を得る。
【０１８６】
本ステップの具体的な実現方式は以下のようにしてもよい。
【０１８７】
現在のフレームのN点時間領域サンプリング信号x(n)と前の1つのフレームのN点時間領域サンプリング信号xold(n)とを2N点時間領域サンプリング信号ｘ（ｎ）（ｘはバー付き）に組成し、2N点の時間領域サンプリング信号が次の式で表す。
【０１８８】
【数７８】
【０１８９】
【数７９】
【０１９０】
に対してMDCT変換を実施し、以下の周波数領域係数を得る。
【０１９１】
【数８０】
【０１９２】
その中、w(n)は、正弦窓関数であり、表現式が以下のようである。
【０１９３】
【数８１】
【０１９４】
フレーム長さが20msで、サンプリングレートが32kHzである場合、640個の周波数領域係数を得る。他のフレーム長さ及びサンプリングレートも同様に相応の周波数領域係数の個数Nを計算できる。
【０１９５】
102： N個の周波数領域係数を複数の符号化サブバンドに分け、各の符号化サブバンドの振幅エンベロープを計算する。
【０１９６】
本実施例において非均一サブバンド分割を採用し、各のサブバンドの周波数領域振幅エンベロープを計算する（振幅エンベロープと略称する）。
【０１９７】
本ステップが以下のサブステップを採用して実現できる。
【０１９８】
102a：処理する必要がある周波数帯範囲における周波数領域係数をL個のサブバンドに分ける（符号化サブバンドとも言う）。
【０１９９】
本実施例において、処理する必要がある周波数帯範囲は、0〜13.6kHzで、人の耳の自覚特性に応じて非均一サブバンド分割をしてもよく、表1には、1つの具体的な分割方式を挙げている。
【０２００】
表1には、0〜13.6kHz周波数帯範囲における周波数領域係数を28個の符号化サブバンドに分割し、即ち、L=28、それに、13.6kHz以上の周波数領域係数を0とする。
【０２０１】
102b：以下の一般式により各符号化サブバンドの振幅エンベロープを計算する。
【０２０２】
【数８２】
【０２０３】
その中、LIndex(j)とHIndex(j)がそれぞれ第j個の符号化サブバンドの開始周波数ポイントと終了周波数ポイントを表し、その具体的な数値が表1のようである。
【０２０４】
表1 周波数領域非均一サブバンド分割方式の実例
【０２０５】
【表１】
【０２０６】
103：各符号化サブバンドの振幅エンベロープに対して量子化及び符号化を行い、振幅エンベロープの量子化指数及び振幅エンベロープの量子化指数符号化ビット（即ち振幅エンベロープの符号化ビット）を得る。
【０２０７】
以下の一般式（5）を採用して一般式（4）により計算して得られた各符号化サブバンド振幅エンベロープに対して量子化を行い、各符号化サブバンド振幅エンベロープの量子化指数を得る。
【０２０８】
【数８３】
【０２０９】
その中、
【０２１０】
【数８４】
【０２１１】
は切り捨てる（round down）ことを表し、Thq(0)が第1の符号化サブバンドの振幅エンベロープ量子化指数であり、その範囲を [−5, 34]の内に制限し、即ち
【０２１２】
【数８５】
【０２１３】
の時、
【０２１４】
【数８６】
【０２１５】
とし、
【０２１６】
【数８７】
【０２１７】
の時、
【０２１８】
【数８８】
【０２１９】
とする。
【０２２０】
量子化指数により重建された量子化振幅エンベロープが
【０２２１】
【数８９】
【０２２２】
である。
【０２２３】
6ビットにより第1の符号化サブバンドの振幅エンベロープ量子化指数に対して符号化し、即ち、6ビットを消耗する。
【０２２４】
各符号化サブバンドの振幅エンベロープ量子化指数の間の差分計算値が以下の一般式を採用して計算する。
【０２２５】
【数９０】
【０２２６】
振幅エンベロープに対して以下の修正を行い、ΔＴｈｑ（ｊ）の範囲が[−15, 16]の内に保証するためである。
【０２２７】
【数９１】
【０２２８】
場合、
【０２２９】
【数９２】
【０２３０】
とし、
【０２３１】
【数９３】
【０２３２】
場合、
【０２３３】
【数９４】
【０２３４】
とする。
【０２３５】
【数９５】
【０２３６】
に対してハフマン（Huffman）符号化をし、それに、この時消耗されたビット数（ハフマン符号化ビット・Huffman coded bitsと言う）を計算する。この時のハフマン符号化ビットが一定に分配されたビット数（在本実施例中(L−1)×5より大きい）よりも大きくまたは等しくとする場合、自然符号化方式を採用して
【０２３７】
【数９６】
【０２３８】
に対して符号化し、それに、振幅エンベロープハフマン符号フラグFlag_huff_rms = 0とし、さもないと、ハフマン符号を利用して
【０２３９】
【数９７】
【０２４０】
に対して符号化し、それに、振幅エンベロープハフマン符号フラグFlag_huff _rms = 1とする。振幅エンベロープ量子化指数の符号化ビット（即振幅エンベロープ差分値の符号化ビット）及び振幅エンベロープハフマン符号フラグがMUXの中に送信される必要がある。
【０２４１】
104：各符号化サブバンドの重要性により各符号化サブバンドに対してビットを分配する。
【０２４２】
先にコードレート歪み理論及び符号化サブバンド振幅エンベロープ情報により各符号化サブバンドの重要性の最初値を計算し、そして、各サブバンドの重要性により各サブバンドに対してビット分配を行い、本ステップが以下のサブステップにより実現できる。
【０２４３】
104a：単一の周波数領域係数のビット消耗平均値を計算する。
【０２４４】
20msフレーム長さから提供できる総体のビット数bits_availableにおいて、サイド情報が消耗したビット数bit_sides、ノイズ充填サブバンドのノイズレベル情報予約ビットbits_noiseband及び符号化サブバンド振幅エンベロープが消耗したビット数bits_Thを除去して、残した周波数領域係数符号化に使用できるビット数bits_leftを得て、即ち、
bits_left = bits_available−bit_sides −bits_Th−bits_noiseband （7）である。
【０２４５】
ノイズ充填サブバンドのノイズレベル情報予約ビットbits_noisebandがノイズ充填サブバンドのノイズレベル符号化ビットために予約したビットであり、ノイズ充填サブバンドのビット分配を完成した後、また残りビットがあると、残したノイズ充填サブバンドノイズレベル情報予約ビットbits_noisebandをビット分配修正に用いられる。
【０２４６】
サイド情報は、振幅エンベロープハフマン符号フラグFlag_huff_rms、周波数領域係数ハフマン符号フラグFlag_huff_plvq、及び反復回数countのビットを含む。Flag_huff_rmsは、サブバンド振幅エンベロープにハフマン符号を使用したかを標記するために使用され、Flag_huff_plvqは、周波数領域係数に対してベクトル量子化及び符号化しているときハフマン符号を使用したかどうかを標記するために使用され、反復回数countは、ビット分配修正している時の反復回数を標記するために使用される（後続のステップ中の記載を参考）。
【０２４７】
104b：各符号化サブバンドがビット分配においての重要性最初値を計算する。
【０２４８】
rk(j)で第j個の符号化サブバンドがビット分配に用いられる時の重要性を表す。
【０２４９】
104c：各符号化サブバンドの重要性により各符号化サブバンドにビット分配を行う。
【０２５０】
具体的な説明は以下のようである。
【０２５１】
先ず、各rk(j)において最大値の所在の符号化サブバンドを探して、該符号化サブバンドの番号がjkであるとし、そして、該符号化サブバンドにおける各周波数領域係数の符号化ビット数を増加し、該符号化サブバンドの重要性を下げて、同時に該サブバンド符号化に用いる消耗したビット総数
【０２５２】
【数９８】
【０２５３】
を計算し、最後にすべての符号化サブバンドが消耗したビット数の総和sum(bit_band_used (j)), j=0,…,L-1を計算し、消耗されたビット数の総和がビット制限条件下の最大値を提供できることを満足するまで、前記の過程を繰り返す。
【０２５４】
ビット分配数とは、1つの符号化サブバンドにおいて単一の周波数領域係数が分配されたビット数である。1つの符号化サブバンドが消耗されたビット数とは、該符号化サブバンドにおける単一の周波数領域係数の分配ビット数に該符号化サブバンドに含まれた周波数領域係数の数を掛ける個数である。
【０２５５】
本実施例において、ビット分配数が0である符号化サブバンドに対して分配されたビットの歩幅が1個のビットであり、ビットが分配された後、重要性が低下した歩幅は1であり、ビット分配数が0以上且つ閾値5以下の符号化サブバンドに対してビット分配を追加している時のビット分配の歩幅が0.5個のビットであり、ビット追加分配した後、重要性が低下した歩幅も0.5であり、ビット分配数が閾値5より大きくまたは等しくとする符号化サブバンドに対してビット追加分配する時のビット分配歩幅が1であり、ビット追加分配した後、重要性が低下した歩幅も1である。
【０２５６】
本ステップにおけるビット分配方法が以下の擬似コードで表す。
【０２５７】
region_bit(j)=0、
【０２５８】
【数９９】
【０２５９】
とし、
符号化サブバンド0,1,…,L−1に対して、
{
【０２６０】
【数１００】
【０２６１】
を探し、
region_bit(jk)<5と、
{
region_bit(jk)=0と、
region_bit(jk) = region_bit(jk) + 1とし、
bit_band_used(jk) = region_bit(jk) * BandWidth(jk)を計算し、
rk(jk) = rk(jk) − 1とし、
さもないと、region_bit(jk)>=1と、
region_bit(jk) = region_bit(jk) + 0.5とし、
bit_band_used(jk) = region_bit(jk) * BandWidth(jk)*0.5を計算し、
rk(jk) = rk(jk) −0.5とし、
}
さもないと、region_bit(jk)>=5と、
{
region_bit(jk) = region_bit(jk) + 1とし、
【０２６２】
【数１０１】
【０２６３】
とし、
bit_band_used(jk) = region_bit(jk)×BandWidth(jk)を計算し、
}
bit_used_all = sum(bit_band_used(j)) j=0,1,…,L−1を計算し、
bit_used_all < bits_left − 24と、戻し、各符号化サブバンドにおいて再びjkを探し、循環にビット分配値を計算し、その中、24が符号化サブバンド幅の最大値である。
【０２６４】
さもないと、循環を終了させ、ビット分配値を計算し、この時のビット分配値を出力する。
【０２６５】
}
最後に、符号化サブバンドの重要性により、残りの24個未満のビットを以下の原則により要求を満足する符号化サブバンドに分配し、優先にビットが１と分配された符号化サブバンドにおいて、各の周波数領域係数に0.5個のビットを分配し、同時に該符号化サブバンドの重要性0.5を下げ、さもないと、ビット分配が0であるサブバンドにおける各周波数領域係数に1個のビットを分配し、同時に、該符号化サブバンドの重要性1を下げ、bit_left−bit_used_all < 4までにして、ビット分配を終了。
【０２６６】
その中、MaxBitが符号化サブバンドにおいて単一の周波数領域係数に分配できる最大の符号化ビット数である。本実施例おいてMaxBit=9を採用する。この値がコーデックのコーディングレートにより適当に調整できる。region_bit(j)が第j個の符号化サブバンドにおいて単一の周波数領域係数に分配されたビット数である。
【０２６７】
105：ステップ104のビット分配の結果に基づいて、内部にゼロビットの符号化サブバンドを含有する有効ノイズ充填サブバンドにビットを分配し、MDCT周波数領域係数によりオーディオ信号のパワースペクトルを推算し、推定して得られたパワースペクトルに基づいて有効ノイズ充填サブバンドのノイズレベルを推定し、該ノイズレベル情報に対して量子化符号化を行い、ノイズ充填サブバンドのノイズレベル符号化ビットを得る。
【０２６８】
N個のMDCT周波数領域係数を1つのノイズ充填サブバンドと見なしてもよく、均一に分割してもよく、或いは人の耳の聴覚特性により複数のノイズ充填サブバンドに分割する。1つのノイズ充填サブバンドは、1つ或いは複数の符号化サブバンドを含む。
【０２６９】
本発明には、内部にゼロビットの符号化サブバンドを含むノイズ充填サブバンドを有効ノイズ充填サブバンドと言う。
【０２７０】
ノイズ充填サブバンドのビット分配を行う時、すべての有効ノイズ充填サブバンドにビットを分配してもよく、1つまたは複数の低周波数の有効ノイズ充填サブバンドをスキップし、後続の比較的に高周波の有効ノイズ充填サブバンドにビットを分配してもよく、それに対応して、復号化している時に、該ビットを分配していない低周波数の有効ノイズ充填サブバンドにおけるゼロビットの符号化サブバンドに対してホワイトノイズ充填の方式を採用して、周波数スペクトル再建を行う。
【０２７１】
それぞれの有効ノイズ充填サブバンドに同じビット数を分配し、或いは人の耳が各のサブバンドに対する聴覚特性により異なるビット数を分配する。後に、有効ノイズ充填サブバンドのノイズレベル符号化ビットを得た後、該ビットをマルチプレックスとパッケージする。
【０２７２】
106：非ゼロビットの符号化サブバンドのベクトルに対して量子化及び符号化を行い、周波数領域係数の符号化ビットを得る。
【０２７３】
107：符号化ストリームを構造する。
【０２７４】
図10は、本発明の実施例の符号化ストリーム構成模式図である。先ず、サイド情報をFlag_huff_rms、Flag_huff_plvq及びcountの順序でビットストリームマルチプレクサMUXに書き込み、そして、符号化サブバンド振幅エンベロープ符号化ビットをMUXに書き込み、そして、ノイズレベル符号化ビットをMUXに書き込み、そして、周波数領域係数の符号化ビットをMUXに書き込み、最後に前記の順序で書き上げた符号化ストリームを復号化端に送信する。
【０２７５】
以下、図面を参考してN個のMDCT周波数領域係数を複数のノイズ充填サブバンドに分割し、且つ第2の有効ノイズ充填サブバンドのビット分配から例としてステップ105に詳細的な説明を行う。
【０２７６】
図2のように、ノイズ充填サブバンドの内におけるゼロビットの符号化サブバンドのノイズレベル符号化ビットを得る過程は、具体的に、以下のステップを含む。
【０２７７】
201：符号化サブバンドを複数のノイズ充填サブバンドに分割し、符号化サブバンドのビットの分配結果により、有効ノイズ充填サブバンドにビットを分配する。
【０２７８】
処理する必要がある周波数帯範囲における周波数領域係数を人の耳の聴覚特性により非均一に複数のサブバンドに分割し、ノイズ充填サブバンドと言って、1つのノイズ充填サブバンドには、1つまたは複数の符号化サブバンドを含む。
【０２７９】
ひとつの実例の具体的な分割方式実例が表2を参考する。
【０２８０】
表2 ノイズ充填サブバンドの非均一サブバンド分割方式実例
【０２８１】
【表２】
【０２８２】
以上の表2には、ノイズ充填サブバンドは、符号化サブバンド周波数に基づいて低から高までの順序で配列されるものである。
【０２８３】
ノイズ充填サブバンドノイズレベル情報予約ビットは、シリアルナンバ0以外の各ノイズ充填サブバンドに2つのビットを予約したら、総予約ビット数がノイズ充填サブバンドの個数に1を減って2を掛けるものである。
【０２８４】
ビット分配している時、シリアルナンバが0であるノイズ充填サブバンドにビットを分配しなく、即ち、符号化ビットを占めなく、相応的に、復号化している時、シリアルナンバが0であるノイズ充填サブバンドに対して、内部にゼロビットの符号化サブバンドを有すると、ホワイトノイズ充填方法を採用してゼロビットの符号化サブバンドの周波数領域係数に対して周波数スペクトル再建を行い、詳しいことは、ステップ504を参考し、シリアルナンバが1であるノイズ充填サブバンドから該ノイズ充填サブバンドの内部にはゼロビットの符号化サブバンドを有するかを判断し、該ノイズ充填サブバンドにゼロビットの符号化サブバンドを有すると、該ノイズ充填サブバンドに2つのビットを分配し、該ノイズ充填サブバンドの内におけるゼロビットの符号化サブバンドのノイズレベル情報を表すことに用いられ、ノイズ充填サブバンドのノイズレベル情報予約ビットbits_noisebandに2を減る。すべてのノイズ充填サブバンドのビット分配を完成した後、残りのノイズレベル情報予約ビットbits_noisebandをビット分配修正に用いる。
【０２８５】
本ステップにおいて、ノイズ充填サブバンドビット分配方法が以下の擬似コードで表してもよい。
【０２８６】
Nregion_bitflag (j-1)がノイズ充填サブバンドjのビット分配フラグであり、1がビットを分配したことを表し、0がビットを分配していないことを表す。
【０２８７】
Nregion_bitflag (j-1)=0、ｊ＝1,2,L,L_noise-1とし、
ノイズ充填サブバンドのビット分配の残りビットnoiseband_remain_bits = 0とし、
ノイズ充填サブバンド j = 1, 2, ……L_noise-1に対して、
{ region = NLIndex(j), NLIndex(j)+1,……NHIndex(j)とし、
すべてのregionに対して、
{
region_bit(region)＝0と、
{
Nregion_bit(Nregion) = 1とし、
bits_noiseband = bits_noiseband − 2;
現在の循環から飛び出し、
}
}
}
noiseband_remain_bits = bits_noiseband、
ノイズ充填サブバンドに分配された各ビットを順序に配列すると、後に記載されるノイズレベル符号化ビットである。
【０２８８】
以上はノイズ充填サブバンドに対してビット分配を行う過程であり、勿論、直接に各ノイズ充填サブバンドに特定の数量（例えば2ビット）のビットを予約もできる。
【０２８９】
202：表2のノイズ充填サブバンドの分割方式に基づいて、MDCT係数によりシリアルナンバが１、２、３、４である4つのノイズ充填サブバンドの信号のパワースペクトルを推算する。
【０２９０】
第iフレームの周波数ポイントkのパワーを推定する計算方法は、式（13）のようである。
【０２９１】
【数１０２】
【０２９２】
その中、i＝0の場合、
【０２９３】
【数１０３】
【０２９４】
は、第iフレームの第k個の周波数ポイントが推定して得られたパワー値を表す。
【０２９５】
【数１０４】
【０２９６】
は、第iフレームの第k個の周波数ポイントのMDCT係数であり、λは、単極平滑化フィルタのフィルタ係数であり、その中の1つの実例には
【０２９７】
【数１０５】
【０２９８】
である。
【０２９９】
MDCTによりパワースペクトルの推定を行う原理が以下のように導出する。
【０３００】
下式は、長度が2Mである信号xの角周波数ω所の離散時間フーリエ変換(DTFT)を表す。
【０３０１】
【数１０６】
【０３０２】
0と2πの間の2M個の均一に区切る周波数においてDTFTサンプリングを行う。該サンプリングを経てる変換を離散フーリエ変換（DFT）と言って、下式に周波数ポイントk所のDFTを提供する。
【０３０３】
【数１０７】
【０３０４】
半周波数ポイントの偏移を利用してDTFTに対してサンプリングを行い、変位離散フーリエ変換(SDFT)を生成するためである。
【０３０５】
【数１０８】
【０３０６】
実際信号x(n)にウィンドウを加えた後のSDFTが以下のようである。
【０３０７】
【数１０９】
【０３０８】
式（2）によりMDCT周波数領域係数
【０３０９】
【数１１０】
【０３１０】
が
【０３１１】
【数１１１】
【０３１２】
であり、M=Nとし、式(2)を再び書いていると、以下のようである。
【０３１３】
【数１１２】
【０３１４】
SDFTとMDCTが同じウィンドウ様式を採用し、ｘ（ｎ）＝ｘ（バー付き）（ｎ）とし、
実際信号x(n)のMDCTとSDFTの間の関係が以下の一般式のように表す。
【０３１５】
【数１１３】
【０３１６】
即ち、MDCTが余弦により調整するSDFTの幅さで表示してもよく、該余弦がSDFTの角度関数である。
【０３１７】
オーディオ信号の連続反復のウィンドウブロックを加えたSDFTにより信号のパワースペクトルを推定し、信号xの変換長さが2Mであると、下式には、周波数ポイントk且つブロックt所の短時間変位離散フーリエ変換STSDFTを提供する。
【０３１８】
【数１１４】
【０３１９】
Hはブロックのジャンプ長である。また、H=Mと、STSDFTとMDCTが同じジャンプ長を有する。
【０３２０】
STSDFTを利用して多数のブロックtにおいて
【０３２１】
【数１１５】
【０３２２】
の平方幅さを平均することにより信号のパワースペクトルを推定し、下式により、長さがTであるブロックの移動平均値を計算し、パワースペクトルに対する時間変化の推定を生成する。
【０３２３】
【数１１６】
【０３２４】
MDCTとSDFTの計算関係により、ある仮設条件において、
【０３２５】
【数１１７】
【０３２６】
により近似に
【０３２７】
【数１１８】
【０３２８】
を得る。定義は以下のようである。
【０３２９】
【数１１９】
【０３３０】
式(18)により下式が得られる。
【０３３１】
【数１２０】
【０３３２】
ブロックにおいて
【０３３３】
【数１２１】
【０３３４】
と
【０３３５】
【数１２２】
【０３３６】
が相対的に独立に共同変化すると（該仮設が多数のオーディオ信号に対して真である。）、以下の式が得られる。
【０３３７】
【数１２３】
【０３３８】
さらに、総体的に
【０３３９】
【数１２４】
【０３４０】
がT個のブロックにおいて均一に0と2πの間に分布し、且つTが相対的に大きくと仮設すると、均一分布の位相角度を有する余弦平方の希望値が1/2であるので、以下の式が得られる。
【０３４１】
【数１２５】
【０３４２】
よって、MDCTにより推定するパワースペクトルがSTSDFTにより推定されたパワースペクトルの約半分であることを発見できる。
【０３４３】
符号化計算の低遅延の要求で、単極平滑化フィルタを選択してパワースペクトル推定を行い、
【０３４４】
【数１２６】
【０３４５】
において、ブロックtがiで表し、下付き文字とし、
【０３４６】
【数１２７】
【０３４７】
がPi（k）としてもよく、ブロックの長さを1つのフレームオーディオ信号の長さと定めた場合、iがフレームの番号を表し、最終の推定した計算方法が式(13)のようであり、式(13)は、本発明におけるパワースペクトル推定に用いる計算方法である。
【０３４８】
203：式(13)で推定したパワースペクトルにより、各のビットが分配されたノイズ充填サブバンドにおけるゼロビットの符号化サブバンドノイズレベルを計算する。
【０３４９】
図3のように、ノイズレベルを計算する具体的な過程は、以下のステップである。
【０３５０】
ステップ301：該ノイズ充填サブバンドにおけるすべてまたは部分のゼロビットの符号化サブバンドのすべての周波数領域係数のパワーの平均値を計算し、平均パワー
【０３５１】
【数１２８】
【０３５２】
を得る。
【０３５３】
ステップ302：該ノイズ充填サブバンドにおけるすべてまたは部分のゼロビットの符号化サブバンドにおけるパワーが平均パワーより大きい周波数領域係数を該ノイズ充填サブバンドにおける音調成分と認識し、該有効ノイズ充填サブバンドのすべてまたは部分のゼロビットの符号化サブバンドにおけるパワーが平均パワー
【０３５４】
【数１２９】
【０３５５】
より大きいのすべての周波数領域係数のパワーの平均値を計算し、該有効ノイズ充填サブバンドにおけるゼロビットの符号化サブバンドの音調成分平均パワー
【０３５６】
【数１３０】
【０３５７】
を得る。
【０３５８】
ステップ303：該ノイズ充填サブバンドにおけるすべてまたは部分のゼロビットの符号化サブバンド中のパワーが平均パワーより小さくまたは等しくとする周波数領域係数を該ノイズ充填サブバンドにおけるノイズ成分と認識し、該有効ノイズ充填サブバンドにおけるすべてまたは部分のゼロビットの符号化サブバンドの中のパワーが平均パワー
【０３５９】
【数１３１】
【０３６０】
より小さくまたは等しくとするすべての周波数領域係数のパワーの平均値を計算し、該有効ノイズ充填サブバンドにおけるゼロビットの符号化サブバンドのノイズ成分平均パワー
【０３６１】
【数１３２】
【０３６２】
を得る。
【０３６３】
ステップ304：ノイズ成分平均パワー
【０３６４】
【数１３３】
【０３６５】
と音調成分平均パワー
【０３６６】
【数１３４】
【０３６７】
との比の値
【０３６８】
【数１３５】
【０３６９】
を計算し、その値が該有効ノイズ充填サブバンドのノイズレベルである。
【０３７０】
ノイズレベルに対して量子化符号化した後、ノイズレベル符号化ビットを得る。
【０３７１】
【数１３６】
【０３７２】
が量子化符号化された後、
【０３７３】
【数１３７】
【０３７４】
を得る。ノイズレベルを量子化符号化完成した後、各のビットが分配されたノイズ充填サブバンドのノイズレベル符号化ビットをサブバンドのシリアルナンバにより低から高まで配列し、全体の有効ノイズ充填サブバンドのノイズレベル符号化ビットを得る。
【０３７５】
その中の1つの非均一量子化を採用する実例が表3のように表す。
【０３７６】
表3 ノイズ信号比率非均一量子化実例
【０３７７】
【表３】
【０３７８】
該有効ノイズ充填サブバンドのノイズレベルも該ノイズ充填サブバンドにおけるゼロビットの符号化サブバンドのノイズレベルであり、該ノイズレベルが
【０３７９】
【数１３８】
【０３８０】
で表示できるほか、音調成分平均パワー
【０３８１】
【数１３９】
【０３８２】
とノイズ成分平均パワー
【０３８３】
【数１４０】
【０３８４】
との比の値で表示できる。
【０３８５】
二、復号化方法
本発明のオーディオ復号化方法は、符号化方法の逆の過程であって、
A、復号化待ちのビットストリームにおける各振幅エンベロープ符号化ビットを復号化し、各符号化サブバンドの振幅エンベロープ量子化指数を得ること、
B、各符号化サブバンドにビットを分配し、ノイズレベル符号化ビットを復号化逆量子化し、ゼロビットの符号化サブバンドのノイズレベルを得て、周波数領域係数符号化ビットを復号化逆量子化し、非ゼロビットの符号化サブバンドの周波数領域係数を得ること、
C、ゼロビットの符号化サブバンドを周波数帯コピーし、復号化待ちのビットストリームにおける各ゼロビットの符号化サブバンドの振幅エンベロープによって該符号化サブバンドの全体のエネルギー充填レベルを制御し、該ゼロビットの符号化サブバンドのノイズレベルによってノイズ充填と周波数帯コピーとのエネルギーの比例を制御し、再建したゼロビットの符号化サブバンドの周波数領域係数を得ること、
D、非ゼロビットの符号化サブバンドの周波数領域係数と再建したゼロビットの符号化サブバンドの周波数領域係数を逆修正離散コサイン変換（IMDCT）し、最終のオーディオ信号を得ること、を含む。
【０３８６】
図4は本発明の実施例におけるオーディオ復号化方法の構造模式図である。図4に示すように、該方法は、以下のステップを含み、
401：各振幅エンベロープ符号化ビットを復号化し、各符号化サブバンドの振幅エンベロープ量子化指数を得て、
符号化端から送信してきた符号化ビットストリームの中から（即ちビットストリームデマルチプレクサDeMUXから）1フレームの符号化ビットを取り出し、符号化ビットを取り出した後、先ず、サイド情報を復号化し、次に、振幅エンベロープハフマン符号フラグFlag_huff_rmsの値によって該フレームの中の各振幅エンベロープ符号化ビットをハフマン復号化或は直接に復号化し、各符号化サブバンドの振幅エンベロープ量子化指数Thq(j)、j=0,…,L−1を得る。
【０３８７】
402：各符号化サブバンドにビットを分配し、有効ノイズ充填サブバンドにビットを分配し、
各符号化サブバンドの振幅エンベロープ量子化指数によって各符号化サブバンドの重要性最初値を算出し、符号化サブバンド重要性を利用して各符号化サブバンドにビットを分配し、符号化サブバンドのビット分配数を得て、復号化端のビット分配方法と符号化端のビット分配方法は完全に同様である。ビットを分配する過程に、ビット分配歩幅及びビットを分配後の符号化サブバンド重要性が低下した歩幅は変化している。
【０３８８】
前記ビット分配の過程を完成した後、符号化端のビット分配修正反復回数count値と各符号化サブバンドの重要性によって、符号化サブバンドを再びcount回のビット分配修正を行い、次に、ビット分配の全過程が終了する。
【０３８９】
ビット分配と修正を行なう過程中に、ビット分配数が0である符号化サブバンドにビットを分配する際のビット分配歩幅とビット分配修正の歩幅は1つのビットであり、ビット分配及びビット分配修正した後の重要性が低下した歩幅が1であり、ビット分配数が0より大きい且つある閾値より小さい符号化サブバンドにビットを追加分配する際のビット分配歩幅とビット分配修正の歩幅は0.5のビットであり、ビット分配及びビット分配修正した後の重要性が低下の歩幅も0.5であり、ビット分配数が該閾値より大きいまたは等しい符号化サブバンドにビットを追加分配する際のビット分配歩幅とビット分配修正しの歩幅は1であり、ビット分配及びビット分配修正した後の重要性が低下した歩幅も1であり、
符号化サブバンドを複数のノイズ充填サブバンドに分割し、符号化サブバンドのビット分配結果によって、有効ノイズ充填サブバンドにビットを分配し、ノイズ充填サブバンドの分割方法及びノイズ充填サブバンドのビット分配方法は符号化方法と同様で、ここで省略する。
【０３９０】
403：ノイズレベル符号化ビットを復号化逆量子化し、ゼロビットの符号化サブバンドのノイズレベルを得て、及び周波数領域係数符号化ビットを復号化逆量子化し、MDCT周波数領域係数を得て、
404：ゼロビットの符号化サブバンドを周波数帯コピーし、ゼロビットの符号化サブバンドの振幅エンベロープによって該符号化サブバンドの全体充填エネルギーレベルを制御し、該符号化サブバンドの所在のノイズ充填サブバンドのノイズレベルによって、各ゼロビットの符号化サブバンド周波数帯コピー及びノイズ充填エネルギーの比例を制御し、再建したゼロビットの符号化サブバンドの周波数領域係数を得て、
該ステップの詳しい過程は以下の図5に説明する。
【０３９１】
ビットを分配した有効ノイズ充填サブバンドにおけるゼロビットの符号化サブバンドを周波数帯コピーし、コピーした後得られる周波数領域係数のエネルギーレベルとノイズ充填のエネルギーレベルを制御し、ビットを分配していない有効ノイズ充填サブバンドにおけるゼロビットの符号化サブバンドをノイズ充填する。
【０３９２】
405：周波数スペクトル再建した後の周波数領域係数をIMDCT（Inverse Modified Discrete Cosine Transform、逆修正離散コサイン変換）し、最終のオーディオ出力信号を得る。
【０３９３】
以下、図5を参照しながら、ステップ404を詳細に説明する。
【０３９４】
図5に示すように、ステップ404は具体的に、
ステップ501：有効ノイズ充填サブバンドのゼロビットの符号化サブバンドを周波数帯コピーし、
MDCT周波数領域係数中で、オーディオ信号のある音調の所在位置を捜索し、0周波数ポイントから音調位置の周波数ポイントまでの帯域幅を周波数帯コピー周期とし、0周波数ポイントが後へcopyband_offset個周波数ポイント偏移から音調位置が後へ前記copyband_offset個の周波数ポイント偏移までの周波数段域を周波数帯コピーソース周波数段域とし、ゼロビットの符号化サブバンドを周波数帯コピーする。周波数帯コピーを行なう必要があるゼロビットの符号化サブバンド内部の最高周波数が捜索した音調の周波数より小さいと、該周波数ポイントはノイズ充填だけで周波数スペクトルの再建を行なう。
【０３９５】
周波数領域係数は周波数が低から高まで配列することに従って、後へ偏移し、即ち、周波数が高い場所へ偏移する。
【０３９６】
以下で該周波数帯コピー方法について詳細に説明する。
【０３９７】
a、MDCT周波数領域係数中でオーディオ信号のある音調の所在位置を捜索し、
本発明が好ましい音調の所在位置を捜索する方法は、MDCT周波数領域係数を平滑化フィルタすることである。低周波数のある特定周波数段域のMDCT周波数領域係数を絶対値或は平方値を取り、平滑化フィルタを行い、平滑化フィルタの結果によって、フィルタ出力値の最大極値の所在位置を捜索し、該最大極値の所在位置を音調の所在位置とする。
【０３９８】
本発明におけるオーディオ信号の音調とは、オーディオ信号の基音或は基音のある倍音を意味している。
【０３９９】
ここでいう特定の周波数段域は周波数スペクトル特性によって確定されたエネルギーが比較的に集中する周波数段域でもよく、第1周波数段域と言われる。ここの低周波数とは、1/2の信号総帯域幅より小さい周波数スペクトル成分である。
【０４００】
ここの周波数領域係数はステップ403で復号化後のMDCT周波数領域係数であり、周波数が低から高まで配列する。
【０４０１】
該第1周波数段域の周波数領域係数に対し絶対値を取り得て、平滑化フィルタを行なう計算式が以下のようであり、
【０４０２】
【数１４１】
【０４０３】
或いは、該第1周波数段域の周波数領域係数平方値に対し平滑化フィルタを行う計算式が以下のようであり、
【０４０４】
【数１４２】
【０４０５】
その中、μは平滑化フィルタ係数であり、その値の範囲が（0、1）であり、その値が0.125を取ってもよい。
【０４０６】
【数１４３】
【０４０７】
は第iフレームの第k個の周波数ポイントのフィルタ出力値を表し、
【０４０８】
【数１４４】
【０４０９】
は第iフレームの第k個の周波数ポイント復号化後のMDCT係数であり、且つ、i=0であると、
【０４１０】
【数１４５】
【０４１１】
とする。
【０４１２】
第1周波数段域フィルタ出力値の最大極値の所在位置を捜索する方法は、以下のような2種類があって、
（1）直接に第1周波数段域が対応する周波数領域係数のフィルタ出力値から最初の最大値を捜索し、該最大値を第1周波数段域フィルタ出力値の最大極値として、対応の周波数ポイントのシリアルナンバを最大極値（即ち音調）の位置とし、
（2）最大極値を捜索する際に、該第1周波数段域のある一部を第2周波数段域として、第2周波数段域が対応する周波数領域係数のフィルタ出力値から最初の最大値を捜索し、該最初の最大値を第1周波数段域フィルタ出力値の最大極値として、対応の周波数ポイントのシリアルナンバを最大極値（即ち音調）の位置とする。
【０４１３】
第2周波数段域の起点位置は第1周波数段域の起点より大きい必要があり、第2周波数段域の終点位置は第1周波数段域の終点より小さい必要があり、好ましくは、第1周波数段域と第2周波数段域の中の周波数係数の個数は8より小さくない。
【０４１４】
捜索した最初の最大値が対応する周波数領域係数がオーディオ信号の音調の所在位置ではないことを防止するために、音調位置捜索を行なう際に、先ず、該第2周波数段域のフィルタ出力値の中から最初の最大値を捜索し、該最初の最大値が対応する周波数領域係数の位置により異なる処理を行なう。
【０４１５】
（a）該最初の最大値が第2周波数段域最低周波数の周波数領域係数のフィルタ出力値であると、該第2周波数段域最低周波数の周波数領域係数のフィルタ出力値を第1周波数段域におけるひとつ前のより低い周波数の周波数領域係数のフィルタ出力値と比較して、次第に前へ比較し続け、現在の周波数領域係数のフィルタ出力値がひとつ前の周波数領域係数のフィルタ出力値より大きい場合、該現在の周波数領域係数が音調の所在位置であることと考えられ、即ち、該現在の周波数領域係数のフィルタ出力値が最終に確定された最大極値であり、或いは、比較しつづけて、第1周波数段域の最低周波数の周波数領域係数のフィルタ出力値が次のひとつの周波数領域係数のフィルタ出力値より大きい場合、第1周波数段域の最低周波数の周波数領域係数が音調の所在位置であることと考えられ、即ち、第1周波数段域の最低周波数の周波数領域係数のフィルタ出力値が最終に確定された最大極値である。
【０４１６】
（b）該最初の最大値が第2周波数段域最高周波数の周波数領域係数のフィルタ出力値であると、該第2周波数段域最高周波数の周波数領域係数のフィルタ出力値を第1周波数段域における次のひとつのより大きい周波数の周波数領域係数のフィルタ出力値と比較して、次第に後へ比較し続け、現在の周波数領域係数のフィルタ出力値が次のひとつの周波数領域係数のフィルタ出力値より大きい場合、現在の周波数領域係数が音調の所在位置であることと考えられ、即ち、該現在の周波数領域係数のフィルタ出力値が最終に確定された最大極値であり、或いは、比較しつづけて第1周波数段域の最高周波数の周波数領域係数のフィルタ出力値がひとつ前の周波数領域係数のフィルタ出力値よりも大きい場合、第1周波数段域の最高周波数の周波数領域係数が音調の所在の位置であることと考えられ、即ち、第1周波数段域の最高周波数の周波数領域係数のフィルタ出力値が最終に確定された最大極値である。
【０４１７】
（c）該最初の最大値が第2周波数段域最低周波数と最高周波数の間の周波数領域係数のフィルタ出力値であると、該最初の最大値が対応する周波数領域係数が音調の所在の位置であり、即ち、該最初の最大値が最終に確定された最大極値である。
【０４１８】
以下、第1周波数段域の周波数領域係数が第24個から第64個までのMDCT周波数領域係数であり、第2周波数段域の周波数領域係数が第33個から第56個までのMDCT周波数領域係数であることを例をとして、オーディオ信号位置を確定する方法を説明する。
【０４１９】
第33から第56個までのMDCT周波数領域係数のフィルタ出力値の中から、その最大値を捜索し、最大値が第33個の周波数領域係数に対応すると、第3 2個の周波数領域係数の検波出力結果が第33個の周波数領域係数のより大きいか否かを判断し、YESと、前へ比較し続け、第31個の周波数領域係数の検波出力結果が第32の周波数領域係数のより大きいか否かを判断し、このような方法に従って、次第に前へ比較し続け、現在の周波数領域係数のフィルタ出力値がひとつ前のものより大きくなるまで、或は、第24個の周波数領域係数のフィルタ出力値が第25個周波数領域係数のフィルタ出力値より大き場合、現在の周波数領域係数或は第24個の周波数領域係数が音調の位置である。
【０４２０】
最大値が56であると、類似の方法によって、次第に後へ捜索しつづけ、現在の周波数領域係数のフィルタ出力値が次のひとつものより大きい場合、該現在の周波数領域係数が音調の位置であり、或は捜索しつづけて、第64個の周波数領域係数のフィルタ出力値を捜索し、且つその値は第63個の周波数領域係数のフィルタ出力値より大きい場合、該第64個の周波数領域係数が音調の位置であり、
最大値が33〜56の間にあると、該最大値が対応する周波数領域係数が音調の位置である。
【０４２１】
該位置の値をTonal_posとし、即ち、最大極値が対応する周波数ポイントのシリアルナンバである。
【０４２２】
b、0周波数ポイントから音調位置の周波数ポイントまでの帯域幅を周期とし、0周波数ポイントが後へcopyband_offset個周波数ポイント偏移から音調位置の周波数ポイントが後へ前記copyband_offset個周波数ポイント偏移するまでの周波数段域をソース周波数段とし、ゼロビットの符号化サブバンドに対し周波数帯コピーを行なう。
【０４２３】
即、ソース周波数段域の周波数ポイントの開始シリアルナンバがcopyband_offsetで、終了シリアルナンバがcopyband_offset+Tonal_posである。
【０４２４】
本発明において、周波数帯コピー偏移(copyband_offsetとし)の値が予め設定され、copyband_offset≧0とし、予め設定されたcopyband_offset=0の場合、ソース周波数段域が、即ち、0周波数ポイントから音調位置の周波数ポイントまでの周波数段域であり、コピー周波数帯の周波数スペクトルホッピングを低下するために、copyband_offsetをゼロより大きく設定すると、ソース周波数段域は、0周波数ポイントの後へ1つの小範囲(copyband_offsetとし) を偏移する周波数ポイントから最大極値の所在位置の周波数ポイントが後へ1つの同様な小範囲(copyband_offsetとし) を偏移する周波数ポイントまでの周波数段域のMDCT周波数領域係数であり、ある周波数ポイントの以上の有効ノイズ充填サブバンド（例えば、シリアルナンバが1、2、3、4である）内部のゼロビットの符号化サブバンドへの周波数スペクトル充填はいずれもソース周波数段域からコピーする。
【０４２５】
図2のプロセスに対応して、第1個のノイズ充填サブバンドのゼロビットの符号化サブバンドに対してランダムノイズ充填方法で周波数スペクトル再建を行い、シリアルナンバが1、2、3、4であるノイズ充填サブバンドのゼロビットの符号化サブバンドに対して、周波数領域係数コピーとノイズ充填を合せる方法で周波数スペクトル再建を行なう。
【０４２６】
周波数帯コピーを行なう際に、先ず、ソース周波数段域と周波数帯コピーを行なう必要があるゼロビットの符号化サブバンドの開始シリアルナンバにより該ゼロビットの符号化サブバンドのソース周波数段域コピー開始シリアルナンバを計算し、次に、周波数帯コピー周期を周期とし、ソース周波数段域コピー開始シリアルナンバからソース周波数段域の周波数領域係数周期性をゼロビットの符号化サブバンドにコピーする。
【０４２７】
ソース周波数段域コピー開始シリアルナンバを確定する方法は、
まず、コピーする必要がある第1個のゼロビットの符号化サブバンドから初め、周波数領域係数再建する必要があるゼロビットの符号化サブバンドの開始MDCT周波数領域係数の周波数ポイントのシリアルナンバを取得し、fillband_start_freqとし、 音調が対応する周波数ポイントのシリアルナンバをTonal_posとし、周波数帯のコピー周期をcopy_periodとする。copy_period はTonal_posに1を加えるものである。周波数帯コピーする必要があるゼロビットの符号化サブバンド内部の最高周波数は捜索した音調の周波数より小さいと、該周波数ポイントはノイズ充填だけで周波数スペクトル再建を行い、周波数帯コピーを行なわない。周波数帯コピー偏移をcopyband_offsetとし、fillband_start_freqの値を循環にcopy_periodを減り、その値がソース周波数段域のシリアルナンバの値区間になるまでつづけ、該値がソース周波数段域コピー開始シリアルナンバであり、copy_pos_modとする。
【０４２８】
ソース周波数段域コピー開始シリアルナンバのcopy_pos_modは以下の擬似コード計算方法によって得られ、
copy_pos_mod = fillband_start_freqとし、
copy_pos_modが（Tonal_pos+copyband_offset）よりも大きいと
{
copy_pos_mod = copy_pos_mod - copy_period;
}
計算を完成した後 、copy_pos_modがソース周波数段域コピー開始シリアルナンバである。
【０４２９】
コピーする際に、ソース周波数段域コピー開始シリアルナンバを開始とする周波数領域係を次第に後へfillband_start_freqを開始とする位置のゼロビットの符号化サブバンドにコピーし、ソース周波数段域コピーした周波数ポイントがTonal_pos+copyband_offset周波数ポイントに到達してから、再び第copyband_offset個の周波数ポイントから始める周波数領域係数を次第に後へ該ゼロビットの符号化サブバンドにコピーし、そのように続け、現在のゼロビットの符号化サブバンドのすべての周波数領域係数の周波数帯コピーを完成するまで行う。
【０４３０】
周波数帯コピー偏移copyband_ offsetを10とする際に、copy_pos_modから始める周波数帯を周波数低から高まで配列してfillband_start_freqを開始位置とするゼロビットの符号化サブバンドにコピーしつづけ、Tonal_pos+10周波数ポイントに到達後、再び第10個の周波数領域係数からコピーし始め、そのように続け、該ゼロビットの符号化サブバンドのすべての信号はいずれも10からTonal_pos+10までの周波数領域係数中からコピーし、周波数ポイント10からTonal_pos+10までの周波数領域係数は周波数帯コピーのソース周波数段域である。
【０４３１】
以上の方法によって、シリアルナンバが1、2、3、4であるノイズ充填サブバンドのすべてのゼロビットの符号化サブバンドために周波数スペクトルをコピーする。
【０４３２】
以上の周波数帯コピー方法の以外に、他の周波数帯コピー方法は同様に本発明に適用され、本発明の実現への影響がない。
【０４３３】
ステップ502：復号化した得られるノイズレベルによって各のノイズ充填サブバンド内部のゼロビットの符号化サブバンドコピー後得られる周波数領域係数に対しエネルギー調整し、
ゼロビットの符号化サブバンドがコピー後得られる周波数領域係数の振幅エンベロープを計算して、ｓｂｒ＿ｒｍｓ（ｒ）とする。
【０４３４】
エネルギー調整した後の周波数領域係数の計算式が
【０４３５】
【数１４６】
【０４３６】
であり、
その中、
【０４３７】
【数１４７】
【０４３８】
はゼロビットの符号化サブバンドrのエネルギー調整した後の周波数領域係数を表し、
【０４３９】
【数１４８】
【０４４０】
はゼロビットの符号化サブバンドrコピー後得られる周波数領域係数であり、
【０４４１】
【数１４９】
【０４４２】
は、ゼロビットの符号化サブバンドrコピー後得られる周波数領域係数
【０４４３】
【数１５０】
【０４４４】
の振幅エンベロープ（つまり、その二乗平均平方根である）を表し、rms(r) はゼロビットの符号化サブバンドrの符号化前の周波数領域係数の振幅エンベロープであり、振幅エンベロープ量子化指数により逆量子化して得られ、
【０４４５】
【数１５１】
【０４４６】
はゼロビットの符号化サブバンドrの周波数帯コピーのエネルギー制御比例因子であり、その値はゼロビットの符号化サブバンドrの所在のノイズ充填サブバンドのノイズレベルにより決められ、具体的な計算式は以下のように、
【０４４７】
【数１５２】
【０４４８】
であり、
【０４４９】
【数１５３】
【０４５０】
は充填エネルギースケール因子であり、全体の充填エネルギーのゲインを調整することに用いられ、その値の範囲が（0、1）にあり、本実例の中に、その値が0.2を取る。
【０４５１】
【数１５４】
【０４５２】
は復号化逆量子化した得られたノイズ充填サブバンドjのノイズレベルであり、それはノイズレベル符号化ビットによって表3の量子化範囲から逆量子化値を取れ、本実例におけるひとつの実例を表10に示す。
【０４５３】
表10 ノイズレベル逆量子化値
【０４５４】
【表４】
【０４５５】
その中、jはゼロビットの符号化サブバンドrの所在のノイズ充填サブバンドのシリアルナンバである。
【０４５６】
ステップ503：エネルギー調整した後の周波数領域係数にホワイトノイズを重ね合せ、最後の再建周波数領域係数を形成する。
【０４５７】
周波数領域係数をコピーするエネルギー調整を完成してから、エネルギー調整した後の周波数領域係数にホワイトノイズを重ね合せ、最後の再建周波数領域係数Ｘ（バー付き）形成し、
【０４５８】
【数１５５】
【０４５９】
であり、
その中、
【０４６０】
【数１５６】
【０４６１】
はゼロビットの符号化サブバンドrが再建した周波数領域係数を表し、
【０４６２】
【数１５７】
【０４６３】
はゼロビットの符号化サブバンドrのエネルギー調整した後の周波数領域係数を表し、rms(r) はゼロビットの符号化サブバンドrの符号化前の周波数領域係数の振幅エンベロープであり、振幅エンベロープ量子化指数により逆量子化して得られ、
【０４６４】
【数１５８】
【０４６５】
はランダム位相生成器であり、ランダム位相値を生成し、その戻り値は+1または-1であり、
【０４６６】
【数１５９】
【０４６７】
はゼロビットの符号化サブバンドrのノイズレベル制御スケール因子であり、その値はゼロビットの符号化サブバンドrの所在のノイズ充填サブバンドのノイズレベルにより決められる。具体的な計算式は以下のように、
【０４６８】
【数１６０】
【０４６９】
であり、
その中、
【０４７０】
【数１６１】
【０４７１】
は充填エネルギースケール因子であり、全体の充填エネルギーのゲインを調整することに用いられ、その値の範囲が（0、1）にあり、本実例の中に、その値が0.2を取る。
【０４７２】
【数１６２】
【０４７３】
は復号化逆量子化して得られたノイズ充填サブバンドjのノイズレベルであり、その中に、jはゼロビットの符号化サブバンドrの所在のノイズ充填サブバンドのシリアルナンバである。
【０４７４】
ビットを分配していない有効ノイズ充填サブバンド（例えば、シリアルナンバが0であるノイズ充填サブバンドである）におけるゼロビットの符号化サブバンドにホワイトノイズ充填を行い、周波数領域係数の再建を実現できることは言うまでもなく、ここで省略する。
【０４７５】
本発明はさらにノイズレベルの推定方法を提供し、
符号化待ちのオーディオ信号の周波数領域係数によって符号化待ちのオーディオ信号のパワースペクトルを推定することと、
推定して得られたパワースペクトルによってゼロビットの符号化サブバンドオーディオ信号のノイズレベルを推定し、該ノイズレベルは復号化する際にノイズ充填と周波数帯コピーとのエネルギーの比例を制御することに用いられることとを含み、その中、ゼロビットの符号化サブバンドとは、分配したビット数がゼロである符号化サブバンドを意味している。各のゼロビットの符号化サブバンドために1つのノイズレベルを計算してもよく、複数のノイズサブバンドに1つの通用のノイズレベルを計算してもよい。
【０４７６】
さらに、前記ゼロビットの符号化サブバンドオーディオ信号のノイズレベルとは、ゼロビットの符号化サブバンド推定して得られたノイズ成分パワーとゼロビットの符号化サブバンド内推定して得られた音調成分パワーの比の値を意味している。
【０４７７】
さらに、符号化待ちのオーディオ信号のMDCT周波数領域係数によって符号化待ちのオーディオ信号のパワースペクトルを推定し、第iフレームの周波数ポイントkのパワー推定の一般式は以下のように、
【０４７８】
【数１６３】
【０４７９】
であり、その中、i＝0であると、
【０４８０】
【数１６４】
【０４８１】
であり、
【０４８２】
【数１６５】
【０４８３】
は第iフレームの第k個の周波数ポイントに推定して得られたパワー値を表し、
【０４８４】
【数１６６】
【０４８５】
は第iフレームの第k個の周波数ポイントのMDCT係数を表し、λは単極平滑化フィルタのフィルタ係数である。
【０４８６】
さらに、符号化待ちのオーディオ信号の周波数領域係数を1つまたは複数のノイズ充填サブバンドに分割し、推定した符号化待ちのオーディオ信号のパワースペクトルによってある有効ノイズ充填サブバンドのノイズレベルを計算する過程は具体的に、
該有効ノイズ充填サブバンドにおいてすべてまたは部分のゼロビットの符号化サブバンドのすべての周波数領域係数のパワーの平均値を計算し、平均パワー
【０４８７】
【数１６７】
【０４８８】
が得られることと、
該有効ノイズ充填サブバンドのすべてまたは部分のゼロビットの符号化サブバンドにおけるパワーPi(k)が平均パワー
【０４８９】
【数１６８】
【０４９０】
より大きいすべての周波数領域係数のパワーの平均値を計算し、該有効ノイズ充填サブバンドにおけるゼロビットの符号化サブバンドの音調成分平均パワー
【０４９１】
【数１６９】
【０４９２】
が得られることと、
該有効ノイズ充填サブバンドのすべてまたは部分のゼロビットの符号化サブバンドにおけるパワーPi(k)が平均パワー
【０４９３】
【数１７０】
【０４９４】
より小さいまたは等しいすべての周波数領域係数のパワーPi(k)の平均値を計算し、該有効ノイズ充填サブバンドにおけるゼロビットの符号化サブバンドのノイズ成分平均パワー
【０４９５】
【数１７１】
【０４９６】
が得られることと、
ノイズ成分平均パワー
【０４９７】
【数１７２】
【０４９８】
と音調成分平均パワー
【０４９９】
【数１７３】
【０５００】
との比の値
【０５０１】
【数１７４】
【０５０２】
を計算し、該有効ノイズ充填サブバンドのノイズレベルが得られることと、含む。
【０５０３】
その中、有効ノイズ充填サブバンドとは、ゼロビットの符号化サブバンドを含むノイズ充填サブバンドを意味している。
【０５０４】
三、符号化システム
以上の符号化方法を実現するために、本発明はオーディオ符号化システムをさらに提供し、図6に示すように、該システムは修正離散コサイン変換（MDCT）ユニット、振幅エンベロープ計算ユニット、振幅エンベロープ量子化及び符号化ユニット、ビット分配ユニット、周波数領域係数符号化ユニット、ノイズレベル推定ユニット及びビットストリームマルチプレクサ（MUX）を含み、 そのなか、
MDCTユニットは、オーディオ信号を逆修正離散コサイン変換し、周波数領域係数を変換して生成することに用いられるものである。
【０５０５】
振幅エンベロープ計算ユニットは、前記MDCTユニットに接続し、前記MDCTにより生成した周波数領域係数を複数の符号化サブバンドに分割し、各符号化サブバンドの振幅エンベロープを計算することに用いられるものであり、
振幅エンベロープ計算ユニットは符号化サブバンドを分割する際に、前記MDCTにより変換した後の周波数領域係数を複数の等間隔の符号化サブバンドに分割し、または聴覚感知特性に従って複数の非均一符号化サブバンドに分割する。
【０５０６】
振幅エンベロープ量子化及び符号化ユニットは、前記振幅エンベロープ計算ユニットに接続し、各符号化サブバンドの振幅エンベロープ値を量子化と符号化し、各符号化サブバンド振幅エンベロープの符号化ビットを生成することに用いられるものである。
【０５０７】
ビット分配ユニットは、前記振幅エンベロープ量子化及び符号化ユニットに接続し、ビット分配を行ない、各符号化サブバンドにおける各の周波数領域係数に分配される符号化ビット数をえることに用いられ、
具体的に、ビット分配ユニットは互いに接続する重要性計算モジュール及びビット分配モジュールを含み、そのなか、
重要性計算モジュールは、符号化サブバンド振幅エンベロープ値によって各符号化サブバンド重要性の最初値を計算することに用いられ、
前記ビット分配モジュールは、各符号化サブバンドの重要性によって符号化サブバンドにおけるて各周波数領域係数に対しビット分配することに用いられ、且つ、ビット分配する過程に、ビット分配歩幅及びビット分配した後重要性が低下の歩幅はともに変化している。
【０５０８】
前記重要性の最初値は最大量子化の信号対雑音比のゲイン条件での最適ビット値と人の耳の自覚特性を符合するスケール因子によって計算され、または各符号化サブバンド振幅エンベロープの量子化指数
【０５０９】
【数１７５】
【０５１０】
或は
【０５１１】
【数１７６】
【０５１２】
であり、その中、μ>0, μとνがともに実数である。
【０５１３】
前記重要性計算モジュールは前記重要性の最初値を計算する際に、まず、単一の周波数領域係数のビット消耗平均値を計算し、次に、レート歪み理論に従って最大量子化信号の対雑音比のゲイン条件での最適ビット値を計算し、その後、前記ビット消耗平均値及び最適ビット値によって各符号化サブバンドがビット分配における重要性の最初値を計算し、
前記ビット分配モジュールは各符号化サブバンドの重要性によって各符号化サブバンドに対しビット分配し、全ての符号化サブバンドに消耗されたビット数の合計はビット制限条件での最大値を提供できることを満足するまでに、重要性が最大である符号化サブバンドにおける各の周波数領域係数の符号化ビット数を増加し、該符号化サブバンドの重要性を低下する。
【０５１４】
前記ビット分配モジュールはビット分配する際に、低いビット符号化サブバンドのビット分配歩幅及びビット分配した後の重要性低下歩幅はゼロビットの符号化サブバンドと高いビット符号化サブバンドのビット分配歩幅及びビット分配した後の重要性が低下歩幅より小さい。例えば、前記ビット分配モジュールはビット分配する際に、低いビット符号化サブバンドのビット分配歩幅及びビット分配後の重要性が低下歩幅はともに0.5であり、ゼロビットの符号化サブバンドと高いビット符号化サブバンドのビット分配歩幅及びビット分配後の重要性低下歩幅はともに1である。
【０５１５】
周波数領域係数量子化符号化ユニットは、MDCTユニット、ビット分配ユニット及び振幅エンベロープ量子化、及び符号化ユニットに接続し、各符号化サブバンドにおける全ての周波数領域係数を正規化し、量子化し、及び符号化処理し、周波数領域係数符号化ビットを生成することに用いられるものである。
【０５１６】
ノイズレベル推定ユニットは、MDCTユニット及ビット分配ユニットに接続し、符号化待ちのオーディオ信号のMDCT周波数領域係数により符号化待ちのオーディオ信号のパワースペクトルを推定し、さらに、ゼロビットの符号化サブバンドのオーディオ信号のノイズレベルを推定し、量子化符号化してノイズレベル符号化ビットを得ることに用いられ、その中、該ノイズレベルは、復号化している場合にノイズ充填及び周波数帯コピーのエネルギーの比例を制御することに用いられるものであり、詳しいことは図7に示すようであり、
前記ゼロビットの符号化サブバンドオーディオ信号のノイズレベルとは、ゼロビットの符号化サブバンド内推定して得られるノイズ成分パワーとゼロビットの符号化サブバンド推定して得られる音調成分パワーとの比の値である。
【０５１７】
ビットストリームマルチプレクサ（MUX）は、前記振幅エンベロープ量子化及び符号化ユニット、周波数領域係数符号化ユニット及びノイズレベル推定ユニットに接続し、各符号化サブバンドの符号化ビット及び周波数領域係数の符号化ビット及びノイズレベル符号化ユニットをマルチプレックスし復号化端に送信することに用いられるものである。
【０５１８】
ビットストリームマルチプレクサは符号化後のビットをマルチプレックスとパッケージする順番は順次に振幅エンベロープハフマン符号フラグ、周波数領域係数ハフマン符号フラグ、ビット分配修正反復回数、振幅エンベロープの符号化ビット、周波数領域係数の符号化ビット、及びノイズレベル符号化ビットである。
【０５１９】
図7に示すように、ノイズレベル推定ユニットは、具体的に、以下のモジュールを含み、
パワースペクトル推定モジュールは、符号化待ちのオーディオ信号のMDCT周波数領域係数により符号化待ちのオーディオ信号のパワースペクトルを推定することに用いられるものであり、
前記パワースペクトル推定モジュールが以下の一般式を採用して第iフレームの周波数ポイントkのパワーを推定し、一般式が以下のようである。
【０５２０】
【数１７７】
【０５２１】
そのなか、
【０５２２】
【数１７８】
【０５２３】
の場合、
【０５２４】
【数１７９】
【０５２５】
は、第iフレームの第k個の周波数ポイント推定して得られたパワー値を表し、
【０５２６】
【数１８０】
【０５２７】
は、第iフレームの第k個の周波数ポイントのMDCT係数を表し、λは、単極平滑化フィルタのフィルタ係数である。
【０５２８】
ノイズレベル計算モジュールは、前記パワースペクトル推定モジュールに接続し、前記パワースペクトル推定モジュールが推定したパワースペクトルによりビットが分配されたノイズ充填サブバンドのオーディオ信号のノイズレベルを推定することに用いられるものである。
【０５２９】
ノイズレベル符号化モジュールは、前記ノイズレベル計算モジュールに接続し、前記ノイズレベル計算モジュールが計算したノイズレベルに対して量子化符号化し、ノイズレベル符号化ビットを得ることに用いられるものである。
【０５３０】
さらに、
符号化待ちのオーディオ信号の周波数領域係数を1つまたは複数のノイズ充填サブバンドに分割し、前記ノイズレベル計算モジュールの機能は、具体的に、該有効ノイズ充填サブバンドにおけるすべてまたは部分のゼロビットの符号化サブバンドのすべての周波数領域係数パワーの平均値を計算し、平均パワー
【０５３１】
【数１８１】
【０５３２】
を得ることに用いられることと、該有効ノイズ充填サブバンドのすべてまたは部分のゼロビットの符号化サブバンドにおけるパワーPi(k)が平均パワー
【０５３３】
【数１８２】
【０５３４】
より大きいすべての周波数領域係数のパワーの平均値を計算し、該有効ノイズ充填サブバンドにおけるゼロビットの符号化サブバンドの音調成分平均パワー
【０５３５】
【数１８３】
【０５３６】
を得ることに用いられることと、該有効ノイズ充填サブバンドのすべてまたは部分のゼロビットの符号化サブバンドにおけるパワーPi(k)が平均パワー
【０５３７】
【数１８４】
【０５３８】
より小さいまたは等しいすべての周波数領域係数のパワーPi(k)の平均値を計算し、該有効ノイズ充填サブバンドにおけるゼロビットの符号化サブバンドのノイズ成分の平均パワー
【０５３９】
【数１８５】
【０５４０】
を得ることに用いられることと、ノイズ成分平均パワー
【０５４１】
【数１８６】
【０５４２】
と音調成分平均パワー
【０５４３】
【数１８７】
【０５４４】
との比の値を計算し、該有効ノイズ充填サブバンドのノイズレベルを得ることに用いられることとを含む。
【０５４５】
その中、有効ノイズ充填サブバンドとは、ゼロビットの符号化サブバンドを含むノイズ充填サブバンドである。
【０５４６】
前記ノイズレベル推定ユニットは、さらにノイズレベル計算モジュール及びノイズレベル符号化モジュールに接続し、すべての有効ノイズ充填サブバンドにビットを分配し、または1つまたは複数の低周波数の有効ノイズ充填サブバンドをスキップし、後続の比較的に高周波数の有効ノイズ充填サブバンドにビットを分配し、及びノイズレベル計算モジュール及びノイズレベル符号化モジュールに通知することに用いられるビット分配モジュールを含み、前記ノイズレベル計算モジュールはただビットを分配したノイズ充填サブバンドに対してノイズレベルを計算し、前記ノイズレベル符号化モジュールは、ビット分配モジュールが分配したビットを利用して前記ノイズレベルに対して量子化符号化を行う。
【０５４７】
四、復号化システム
以上の復号化方法を実現するために、本発明は更にオーディオ復号化システムを提供し、図8に示すように、該システムは、ビットストリームデマルチプレクサ（DeMUX）、符号化サブバンド振幅エンベロープ復号化ユニット、ビット分配ユニット、周波数領域係数復号化ユニット、周波数スペクトル再建ユニット及び逆修正離散コサイン変換（IMDCT）ユニットを含み、その中で、
ビットストリームデマルチプレクサ（DeMUX）は、復号化待ちのビットストリームの中から振幅エンベロープ符号化ビット、周波数領域係数符号化ビット及びノイズレベル符号化ビットを分離することに用いられるものである。
【０５４８】
振幅エンベロープ復号化ユニットは、前記ビットストリームデマルチプレクサと接続し、前記ビットストリームデマルチプレクサが出力した振幅エンベロープの符号化ビットに対して復号化を行い、各符号化サブバンドの振幅エンベロープ量子化指数を得ることに用いられるものである。
【０５４９】
ビット分配ユニットは、前記振幅エンベロープ復号化ユニットに接続し、各符号化サブバンドにビット分配及びゼロビットの符号化サブバンドを含むノイズ充填サブバンドにビットを分配することに用いられるものである。
【０５５０】
ビット分配ユニットは、重要性計算モジュール、ビット分配モジュール、及びビット分配修正モジュールを含み、その中で、
重要性計算モジュールは符号化サブバンド振幅エンベロープ値によって各符号化サブバンド重要性の最初値を計算することに用いられるものである。
【０５５１】
前記ビット分配モジュールは各符号化サブバンドの重要性最初値によって、符号化サブバンドにおいて各周波数領域係数をビット分配することに用いられ、且つビット分配する過程に、ビット分配歩幅及びビット分配後の重要性低下の歩幅はともに変化している。
【０５５２】
ビット分配修正モジュールは、ビット分配を行なった後、符号化端のビット分配修正反復回数count値と各符号化サブバンドの重要性によって符号化サブバンドを再びcount回ビット分配修正することに用いられる。
【０５５３】
前記ビット分配モジュールはビット分配する際に、低いビット符号化サブバンドのビット分配歩幅及びビット分配し後の重要性が低下歩幅はゼロビットの符号化サブバンドと高いビット符号化サブバンドのビット分配歩幅及びビット分配後の重要性が低下歩幅より小さい。
【０５５４】
前記ビット分配修正モジュールはビット修正する際に、低いビット符号化サブバンドのビット修正歩幅及びビット修正した後の重要性が低下歩幅はゼロビットの符号化サブバンドと高いビット符号化サブバンドのビット修正歩幅及びビット修正後の重要性低下歩幅より小さい。
【０５５５】
前記ビット分配ユニットはノイズ充填サブバンドにビットを分配する際に、エンコーダの分配方法によってすべての有効ノイズ充填サブバンドにビットを分配し、または1つまたは複数の低周波数の有効ノイズ充填サブバンドをスキップし、後続の比較的に高周波数の有効ノイズ充填サブバンドにビットを分配する。
【０５５６】
周波数領域係数復号化ユニットは、振幅エンベロープ復号化ユニットとビット分配ユニットに接続し、符号化サブバンドに対し復号化、逆量子化、及び逆正規化を行い、周波数領域係数が得られることに用いられものである。
【０５５７】
ノイズレベル復号化ユニットは、前記ビットストリームデマルチプレクサ及びビット分配ユニットに接続し、ノイズレベル符号化ビットに対し復号化逆量子化を行い、ノイズレベルが得られることに用いられものである。
【０５５８】
周波数スペクトル再建ユニットは、ノイズレベル復号化ユニット、周波数領域係数復号化ユニット、振幅エンベロープ復号化ユニット及びビット分配ユニットに接続し、ゼロビットの符号化サブバンドに対し周波数帯コピーを行い、振幅エンベロープ復号化ユニットが出力した振幅エンベロープにより該符号化サブバンドの全体のエネルギー充填レベルを制御し、ノイズレベル復号化ユニットが出力したノイズレベルによりノイズ充填及び周波数帯コピーのエネルギーの比例を制御し、再建のゼロビットの符号化サブバンドの周波数領域係数を得ることに用いられるものである。
【０５５９】
逆修正離散コサイン変換（IMDCT）ユニットは、前記周波数スペクトル再建ユニットに接続し、ゼロビットの符号化サブバンドの周波数スペクトル再建を完成した後の周波数領域係数に対してIMDCTを行い、オーディオ信号を得ることに用いられるものである。
【０５６０】
如図9に示すように、前記周波数スペクトル再建ユニットは、具体的に、次第に接続する周波数帯コピーサブユニット、エネルギー調整サブユニット及ノイズ充填サブユニットを含み、その中で、
周波数帯コピーサブユニットは、ゼロビットの符号化サブバンドに対して周波数帯コピーを行うことに用いられるものである。
【０５６１】
エネルギー調整サブユニットは、ゼロビットの符号化サブバンド周波数帯コピーされた後得られた周波数領域係数の振幅エンベロープ（sbr_rms(r)とする）を計算し、及び、ノイズレベル復号化ユニットが出力したノイズレベルによりコピーされた後得られた周波数領域係数に対してエネルギー調整を行い、エネルギー調整した後の一般式が
【０５６２】
【数１８８】
【０５６３】
であることに用いられるものである。
【０５６４】
その中、
【０５６５】
【数１８９】
【０５６６】
はゼロビットの符号化サブバンドrのエネルギー調整された後の周波数領域係数を表し、
【０５６７】
【数１９０】
【０５６８】
はゼロビットの符号化サブバンドrがコピーされた後得られた周波数領域係数を表し、
【０５６９】
【数１９１】
【０５７０】
はゼロビットの符号化サブバンドrがコピーされた後得られた周波数領域係数
【０５７１】
【数１９２】
【０５７２】
の振幅エンベロープであり、rms(r)はゼロビットの符号化サブバンドrの符号化された前の周波数領域係数の振幅エンベロープであり、振幅エンベロープの量子化指数逆量子化から得られ、
【０５７３】
【数１９３】
【０５７４】
は、ゼロビットの符号化サブバンドrの周波数帯コピーのエネルギー制御スケール因子であり、その値がゼロビットの符号化サブバンドrの所在のノイズ充填サブバンドのノイズレベルにより決定され、具体的な計算式が以下のようである。
【０５７５】
【数１９４】
【０５７６】
【数１９５】
【０５７７】
が充填エネルギースケール因子であり、全体の充填エネルギーのゲインを調整することに用いられ、その値の範囲が（0、1）であり、
【０５７８】
【数１９６】
【０５７９】
は復号化逆量子化により得られたノイズ充填サブバンドjのノイズレベルであり、その中、jがゼロビットの符号化サブバンドrの所在のノイズ充填サブバンドのシリアルナンバである。
【０５８０】
ノイズ充填サブユニットは、ノイズレベル復号化ユニットが出力したノイズレベルによりエネルギー調整された後の周波数領域係数に対してノイズ充填を行い、ノイズ充填の一般式が
【０５８１】
【数１９７】
【０５８２】
であり、
その中、
【０５８３】
【数１９８】
【０５８４】
はゼロビットの符号化サブバンドrの再建周波数領域係数を表し、
【０５８５】
【数１９９】
【０５８６】
は、ゼロビットの符号化サブバンドrのエネルギー調整された後の周波数領域係数を表し、rms(r) はゼロビットの符号化サブバンドrの符号化前の周波数領域係数の振幅エンベロープであり、振幅エンベロープの量子化指数逆量子化により得られ、
【０５８７】
【数２００】
【０５８８】
がランダム位相生成器であり、ランダム位相値を生成し、その戻り値が+1または-1であり、
【０５８９】
【数２０１】
【０５９０】
がゼロビットの符号化サブバンドrのノイズレベル制御スケール因子であり、その値がゼロビットの符号化サブバンドrの所在のノイズ充填サブバンドのノイズレベルにより決定し、具体的な計算式が以下のようである。
【０５９１】
【数２０２】
【０５９２】
その中、
【０５９３】
【数２０３】
【０５９４】
が充填エネルギースケール因子であり、全体の充填エネルギーのゲインを調整することに用いられ、その値の範囲が（0、1）であり、本実施例では値を0.2を取る。
【０５９５】
【数２０４】
【０５９６】
は復号化逆量子化により得られたノイズ充填サブバンドjのノイズレベルであり、その中、jがゼロビットの符号化サブバンドrの所在のノイズ充填サブバンドのシリアルナンバである。
【０５９７】
前記周波数帯コピーサブユニットはビット分配ユニットのビット分配結果によってビットを分配したノイズ充填サブバンドにおけるゼロビットの符号化サブバンドに対し周波数帯コピーし、前記エネルギー調整サブユニットは周波数帯コピー後得られた周波数領域係数に対しエネルギー調整し、前記ノイズ充填サブユニットはエネルギー調整後の周波数領域係数及びビットを分配していないノイズ充填サブバンドにおけるゼロビットの符号化サブバンドに対しノイズ充填する。
【０５９８】
さらに、図9に示すように、前記周波数帯コピーサブユニットは、次第に接続する音調位置捜索モジュール、周期及びソース周波数段域計算モジュール、ソース周波数段域コピー開始シリアルナンバ計算モジュール、及び周波数帯コピーモジュールを含み、その中、
音調位置捜索モジュールは、MDCT周波数領域係数においてオーディオ信号のある音調の所在位置を捜索することに用いられるものであり、具体的に、第1周波数段域のMDCT周波数領域係数に対し絶対値または平方値を取り得て、平滑化フィルタを行い、平滑化フィルタの結果によって、第1周波数段域フィルタ出力値の最大極値の所在位置を捜索し、該最大極値の所在位置は、即ち音調所在位置である。
【０５９９】
周期及ソース周波数段域計算モジュールは、音調の所在位置によりコピーに用いる周波数帯コピー周期及びソース周波数段域を確定することに用いられ、該周波数帯コピー周期が0周波数ポイントから音調位置周波数ポイントのまでの帯域幅であり、前記ソース周波数段域は、0周波数ポイントが後へ周波数帯コピー偏移copyband_offsetを偏移する周波数ポイントから音調位置の周波数ポイントが後へ前記copyband_offsetを偏移する周波数ポイントまでの周波数段域である。
【０６００】
音調位置の周波数ポイントのシリアルナンバをTonal_posとすると、周波数帯コピー偏移を予め設定し、copyband_offsetの場合、ソース周波数段域の周波数領域係数の開始シリアルナンバがcopyband_offset、終了シリアルナンバがcopyband_offset+Tonal_posである。
【０６０１】
ソース周波数段域コピー開始シリアルナンバ計算モジュールは、ソース周波数段域及び周波数帯コピーを行う必要があるゼロビットの符号化サブバンドの開始シリアルナンバにより該ゼロビットの符号化サブバンドのソース周波数段域コピー開始シリアルナンバを計算することに用いられるものであり、
前記周波数帯コピーモジュールは、周波数帯コピー周期を周期とし、ソース周波数段域コピー開始シリアルナンバからソース周波数段域の周波数領域係数周期性をゼロビットの符号化サブバンドにコピーすることに用いられ、
周波数帯コピーを行なう必要があるゼロビットの符号化サブバンド内部の最高周波数は捜索した音調の周波数より小さいと、該周波数ポイントはノイズ充填だけを採用して周波数スペクトル再建を行い、周波数帯コピーを行なわない。
【０６０２】
前記音調位置捜索モジュールは、以下の方法を採用して音調の所在位置を捜索する。第1周波数段域のMDCT周波数領域係数に対して絶対値または平方値を取り得て、平滑化フィルタを行い、平滑化フィルタの結果により、第1周波数段域フィルタ出力値の最大極値の所在の位置を捜索し、該最大極値が所在している位置が、即ち、音調の所在位置である。
【０６０３】
さらに、
前記音調位置捜索モジュールが該第1周波数段域のMDCT周波数領域係数に対して絶対値を取り得て、平滑化フィルタを行う計算式が以下のようであり
【０６０４】
【数２０５】
【０６０５】
或いは、該第1周波数段域の周波数領域係数平方値に対して平滑化フィルタの計算式が以下のようであり、
【０６０６】
【数２０６】
【０６０７】
その中、μは平滑化フィルタ係数であり、実施例においてその値を0.125とし、
【０６０８】
【数２０７】
【０６０９】
は第iフレームの第k個の周波数ポイントのフィルタ出力値を表し、
【０６１０】
【数２０８】
【０６１１】
は第iフレームの第k個の周波数ポイント復号化した後のMDCT係数であり、且つi=0の場合、
【０６１２】
【数２０９】
【０６１３】
とする。
【０６１４】
さらに、前記第1周波数段域は、周波数スペクトルの統計特性により確定されたエネルギーが比較的に集中している低周波数の周波数段域であり、その中、低周波数とは、1/2の信号総帯域幅より小さい周波数スペクトル成分である。
【０６１５】
さらに、前記音調位置捜索モジュール計算モジュールは、直接に第1周波数段域が対応する周波数領域係数のフィルタ出力値において最初の最大値を捜索し、該最大値を第1周波数段域フィルタ出力値の最大極値とする。
【０６１６】
さらに、前記音調位置捜索モジュールは、フィルタ出力値の最大極値を確定すると、該第1周波数段域の中の一段域を第2周波数段域として、先ず、第2周波数段域が対応する周波数領域係数のフィルタ出力値の中中から最初の最大値を捜索し、さらに該最初の最大値が対応する周波数領域係数の位置により異なる処理を行う。
【０６１７】
a．該最初の最大値が第2周波数段域最低周波数の周波数領域係数のフィルタ出力値であると、該第2周波数段域最低周波数の周波数領域係数のフィルタ出力値を第1周波数段域における一つ前のより低い周波数の周波数領域係数のフィルタ出力値と比較して、次第に前へ比較し続け、現在の周波数領域係数のフィルタ出力値が一つ前の周波数領域係数のフィルタ出力値よりも大きいばあい、該現在の周波数領域係数のフィルタ出力値が最終に確定された最大極値であり、或いは、比較しつづけて、第1周波数段域の最低周波数の周波数領域係数のフィルタ出力値が次の周波数領域係数のフィルタ出力値より大きい場合、第1周波数段域の最低周波数の周波数領域係数のフィルタ出力値が最終に確定された最大極値である。
【０６１８】
b．該最初の最大値が第2周波数段域最高周波数の周波数領域係数のフィルタ出力値であると、該第2周波数段域における最高周波数の周波数領域係数のフィルタ出力値を第1周波数段域における次のより大きい周波数の周波数領域係数のフィルタ出力値と比較して、次第に後へ比較し続け、現在の周波数領域係数のフィルタ出力値が次の周波数領域係数のフィルタ出力値よりも大きい場合、該現在の周波数領域係数のフィルタ出力値が最終に確定された最大極値であり、或いは、比較しつづけて、第1周波数段域の最高周波数の周波数領域係数のフィルタ出力値が一つ前の周波数領域係数のフィルタ出力値よりも大きい場合、第1周波数段域の最高周波数の周波数領域係数のフィルタ出力値が最終に確定された最大極値である。
【０６１９】
c．該最初の最大値が第2周波数段域最低周波数と最高周波数の間の周波数領域係数のフィルタ出力値であると、該最初の最大値が対応する周波数領域係数が音調の所在の位置であり、即ち、該最初の最大値が最終に確定された最大極値である。
【０６２０】
さらに、前記ソース周波数段域コピー開始シリアルナンバ計算モジュールは、周波数帯コピーを行う必要があるゼロビットの符号化サブバンドのソース周波数段域コピー開始シリアルナンバを計算の過程は、現在に周波数領域係数を再建する必要があるゼロビットの符号化サブバンドの開始周波数ポイントのシリアルナンバを得て、fillband_start_freqとし、音調が対応する周波数ポイントのシリアルナンバをTonal_posとし、Tonal_posに1を加えてコピー周期copy_periodをとし、ソース周波数段域開始シリアルナンバをcopyband_offsetとし、fillband_start_freqの値に循環にcopy_periodを減りつづけ、該値がソース周波数段域のシリアルナンバの値区間に位置するまでにして、該値がソース周波数段域コピー開始シリアルナンバであり、copy_pos_modとすることを含む。
【０６２１】
さらに、前記周波数帯コピーモジュールは周波数帯コピーを行なう場合に、具体的に、
ソース周波数段域コピー開始シリアルナンバを開始とする周波数領域係数を順次に後へfillband_start_freqを開始位置とするゼロビットの符号化サブバンドにコピーしつづけ、ソース周波数段域コピーの周波数ポイントがTonal_pos+copyband_offset周波数ポイントに達したあと、再び第copyband_offset個の周波数ポイントから開始とする周波数領域係数を続けて後へ該ゼロビットの符号化サブバンドにコピーし、そのように続け、現在のゼロビットの符号化サブバンドのすべての周波数領域係数コピーを完成するまで行うことを含む。
【特許請求の範囲】
【請求項１】
ノイズレベル推定方法であって、
符号化待ちのオーディオ信号の周波数領域係数により符号化待ちのオーディオ信号のパワースペクトルを推定すること、
計算して得られるパワースペクトルにより、ゼロビットの符号化サブバンドオーディオ信号のノイズレベルを推定し、該ノイズレベルは、復号化する場合に、ノイズ充填と周波数帯コピーとのエネルギーの比例を制御することに用いられ、その中、ゼロビットの符号化サブバンドとは、分配されたビット数がゼロである符号化サブバンドを指すこと、を含むノイズレベル推定方法。
【請求項２】
前記ゼロビットの符号化サブバンドオーディオ信号のノイズレベルとは、ゼロビットの符号化サブバンドにおいて推定して得られるノイズ成分パワーとゼロビットの符号化サブバンドにおいて推定して得られる音調成分パワーとの比の値である請求項1に記載の方法。
【請求項３】
符号化待ちのオーディオ信号のMDCT周波数領域係数により符号化待ちのオーディオ信号のパワースペクトルを推定し、第iフレームの周波数ポイントkのパワー計算式が
【数１】
であり、そのなか、i＝0の場合、
【数２】
【数３】
が第iフレームの第k個の周波数ポイントに推定して得られるパワー値を表し、
【数４】
が第iフレームの第kの周波数ポイントのMDCT係数を表し、
【数５】
が単極平滑化フィルタのフィルタ係数である請求項1に記載の方法。
【請求項４】
符号化待ちのオーディオ信号の周波数領域係数を1つまたは複数のノイズ充填サブバンドに分割し、推定される符号化待ちのオーディオ信号のパワースペクトルによってある有効ノイズ充填サブバンドのノイズレベルを計算する過程は、具体的に、
該有効ノイズ充填サブバンドにおけるすべてまたは部分のゼロビット符号化サブバンドのすべての周波数領域係数のパワーの平均値を計算して、平均パワー
【数６】
を得るステップと、
該有効ノイズ充填サブバンドのすべてまたは部分のゼロビット符号化サブバンドにおけるパワーPi(k)が平均パワー
【数７】
より大きいのすべての周波数領域係数のパワーの平均値を計算し、該有効ノイズ充填サブバンドにおけるゼロビット符号化サブバンドの音調成分平均パワー
【数８】
を得るステップと、
該有効ノイズ充填サブバンドのすべてまたは部分のゼロビット符号化サブバンドにおけるパワーPi(k)が平均パワー
【数９】
より小さいまたは等しいのすべての周波数領域係数のパワーPi(k)の平均値を計算し、該有効ノイズ充填サブバンドにおけるゼロビット符号化サブバンドのノイズ成分平均パワー
【数１０】
を得るステップと、
ノイズ成分平均パワー
【数１１】
と音調成分平均パワー
【数１２】
との比の値
【数１３】
を計算し、該有効ノイズ充填サブバンドのノイズレベルを得るステップとを含み、
そのなか、有効ノイズ充填サブバンドとは、ゼロビット符号化サブバンドを含むノイズ充填サブバンドである請求項1に記載の方法。
【請求項５】
オーディオ符号化方法であって、
A、符号化待ちのオーディオ信号のMDCT周波数領域係数を複数の符号化サブバンドに分割し、各符号化サブバンドの振幅エンベロープ値を量子化符号化し、振幅エンベロープ符号化ビットを得るステップと、
B、各符号化サブバンドにたいしてビットを分配し、且つ非ゼロビットの符号化サブバンドを量子化符号化し、MDCT周波数領域係数符号化ビットを得るステップと、
C、符号化待ちのオーディオ信号のMDCT周波数領域係数により符号化待ちのオーディオ信号のパワースペクトルを推定し、さらにゼロビット符号化サブバンドオーディオ信号のノイズレベルを推定し、且つ量子化符号化し、ノイズレベル符号化ビットを得るステップと、そのなか、該ノイズレベルは、復号化する場合、ノイズ充填と周波数帯コピーとのエネルギーの比例を制御することに用いられ、ゼロビット符号化サブバンドとは、分配されたビット数がゼロとする符号化サブバンドであり、
D、各符号化サブバンドの振幅エンベロープの符号化ビット、周波数領域係数符号化ビット及びノイズレベル符号化ビットをマルチプレックスとパッケージしてから、復号化端に送信するステップとを含む
オーディオ符号化方法。
【請求項６】
ステップCの中において、前記ゼロビット符号化サブバンドオーディオ信号のノイズレベルとは、ゼロビット符号化サブバンドの内に推定して得られたノイズ成分パワーとゼロビット符号化サブバンドの内に推定して得られた音調成分パワーとの比の値である請求項5に記載の方法。
【請求項７】
符号化待ちのオーディオ信号のMDCT周波数領域係数により符号化待ちのオーディオ信号のパワースペクトルを推定し、第iフレームの周波数ポイントkのパワー推定の計算方法が
【数１４】
そのなか、i＝0の場合、
【数１５】
【数１６】
が第iフレームの第k個の周波数ポイントに推定して得られたパワー値を表し、
【数１７】
が第iフレームの第k個の周波数ポイントのMDCT係数を表し、
【数１８】
が単極平滑化フィルタのフィルタ係数である請求項5に記載の方法。
【請求項８】
ステップBの中に、符号化待ちのオーディオ信号の周波数領域係数を1つ或いは複数のノイズ充填サブバンドに分割して、各符号化サブバンドにビットを分配した後、有効ノイズ充填サブバンドにビットを分配し、ステップCの中に、推定された符号化待ちのオーディオ信号のパワースペクトルによりある有効ノイズ充填サブバンドのノイズレベルを計算する過程は、具体的に、
該有効ノイズ充填サブバンドにおけるすべて或いは部分のゼロビット符号化サブバンドのすべての周波数領域係数の平均値を計算し、平均パワー
【数１９】
を得るステップと、
該有効ノイズ充填サブバンドのすべて或いは部分のゼロビット符号化サブバンドの中に、パワーPi(k)が平均パワー
【数２０】
より大きいすべての周波数領域係数のパワーの平均値を計算し、該有効ノイズ充填サブバンドにおけるゼロビット符号化サブバンドの音調成分平均パワー
【数２１】
を得るステップと、
該有効ノイズ充填サブバンドのすべて或いは部分のゼロビット符号化サブバンドの中に、パワーPi(k)が平均パワー
【数２２】
より小さいまたは等しいすべての周波数領域係数のパワーPi(k)の平均値を計算し、該有効ノイズ充填サブバンドにおけるゼロビット符号化サブバンドのノイズ成分平均パワー
【数２３】
を得るステップと、
ノイズ成分平均パワー
【数２４】
と音調成分平均パワー
【数２５】
との比の値
【数２６】
を計算し、該有効ノイズ充填サブバンドのノイズレベルを得るステップとを含み、
その中、有効ノイズ充填サブバンドとは、ゼロビット符号化サブバンドを含むノイズ充填サブバンドである請求項5に記載の方法。
【請求項９】
ノイズ充填サブバンドを分割する時、均一に分割、或いは人の耳の聴覚特性によって非均一に分割し、1つのノイズ充填サブバンドが1つ或いは複数の符号化サブバンドを含む請求項8に記載の方法。
【請求項１０】
ステップBの中に、すべての有効ノイズ充填サブバンドにビットを分配し、或いは、1つ或いは複数の低周波数の有効ノイズ充填サブバンドをスキップし、後続の高周波数の有効ノイズ充填サブバンドにビットを分配し、ステップCの中に、ビットを分配した有効ノイズ充填サブバンドのノイズレベルを計算し、ステップDの中に、該分配されたビットによってノイズレベル符号化ビットをマルチプレックスとパッケージする請求項8に記載の方法。
【請求項１１】
各有効ノイズ充填サブバンドが同じビット数を分配し、或いは聴覚特性によって違うビット数を分配する請求項8に記載の方法。
【請求項１２】
オーディオ復号化方法であって、
A2、復号化待ちのビットストリームにおける各振幅エンベロープ符号化ビットを復号化逆量子化し、各符号化サブバンドの振幅エンベロープを得るステップと、
B2、各符号化サブバンドにビットを分配し、ノイズレベル符号化ビットを復号化逆量子化してゼロビット符号化サブバンドのノイズレベルを得て、周波数領域係数符号化ビットを復号化逆量子化して非ゼロビットの符号化サブバンドの周波数領域係数を得るステップと、
C2、ゼロビット符号化サブバンドを周波数帯コピーし、且つ各ゼロビットの符号化サブバンドの振幅エンベロープによって該符号化サブバンドの全体のエネルギー充填レベルを制御し、該ゼロビットの符号化サブバンドのノイズレベルによってノイズ充填と周波数帯コピーとのエネルギーの比例を制御し、再建されたゼロビットの符号化サブバンドの周波数領域係数を得るステップと、
D2、非ゼロビットの符号化サブバンドの周波数領域係数と再建されたゼロビットの符号化サブバンドの周波数領域係数に対して逆修正離散コサイン変換（IMDCT）を行い、最終のオーディオ信号を得るステップとを含むオーディオ復号化方法。
【請求項１３】
ステップC2の中に、周波数帯コピーの時、MDCT周波数領域係数の中にオーディオ信号のある音調の所在の位置を捜索し、0周波数ポイントから音調位置までの周波数ポイントの帯域幅を周波数帯コピー周期として、且つ0周波数ポイントの後へcopyband_offset個の周波数ポイントを偏移する処から音調位置の周波数ポイントが後へ前記copyband_offset個の周波数ポイントを偏移する処までの周波数段域をソース周波数段域として、ゼロビットの符号化サブバンドを周波数帯コピーし、ゼロビットの符号化サブバンドの内部の最高周波数が捜索された音調の周波数よりも小さい場合、該ゼロビットの符号化サブバンドがノイズ充填のみを採用して周波数スペクトルを再建する請求項12に記載の方法。
【請求項１４】
ステップC2の中に、
第1周波数段域の周波数領域係数に対して絶対値或いは平方値を取得して、平滑化フィルタを行い、
平滑化フィルタの結果によって、第1周波数段域フィルタ出力値の最大極値の所在の位置を捜索し、該最大極値の所在の位置をある音調の所在の位置とする請求項12に記載の方法。
【請求項１５】
該第1周波数段域の周波数領域係数に対して絶対値を取得し、平滑化フィルタを行う計算式が以下のようであり、
【数２７】
或いは、該第1周波数段域の周波数領域係数平方値に対して平滑化フィルタを行う計算式が
【数２８】
であって、そのなか、
【数２９】
が平滑化フィルタ係数であり、
【数３０】
が第iフレームの第k個周波数ポイントのフィルタ出力値を表し、
【数３１】
が第iフレームの第k個周波数ポイントの復号化された後のMDCT係数であり、且つi=0の場合、
【数３２】
= 0である請求項14に記載の方法。
【請求項１６】
前記第1周波数段域は周波数スペクトルの統計特性によって確定されたエネルギーが比較的に集中する低周波数の周波数段域であり、その中、低周波数とは、半分の信号総帯域幅より小さい周波数スペクトル成分である請求項14に記載の方法。
【請求項１７】
直接に第1周波数段域の対応する周波数領域係数のフィルタ出力値中から最初の最大値を捜索し、該最大値を第1周波数段域フィルタ出力値の最大極値とする方法によってフィルタ出力値の最大極値を確定する請求項14に記載の方法。
【請求項１８】
以下の方法を採用してフィルタ出力値の最大極値を確定し、
該第1周波数段域の中の一段域を第2周波数段域とし、第2周波数段域が対応する周波数領域係数のフィルタ出力値において最初の最大値を捜索し、該最初の最大値が対応する周波数領域係数の位置によって異なる処理を行い、
a．該最初の最大値が第2周波数段域最低周波数の周波数領域係数のフィルタ出力値である場合、該第2周波数段域最低周波数の周波数領域係数のフィルタ出力値を第1周波数段域における一つ前のより低い周波数の周波数領域係数のフィルタ出力値と比較して、次第に前へ比較し続け、現在の周波数領域係数のフィルタ出力値が一つ前の周波数領域係数のフィルタ出力値より大きい場合、該現在の周波数領域係数のフィルタ出力値が最終に確定された最大極値であり、或いは、比較を続け、第1周波数段域の最低周波数の周波数領域係数のフィルタ出力値が次の周波数領域係数のフィルタ出力値より大きいことを得た場合、第1周波数段域の最低周波数の周波数領域係数のフィルタ出力値が最終に確定された最大極値であり、
b．該最初の最大値が第2周波数段域最高周波数の周波数領域係数のフィルタ出力値であると、該第2周波数段域最高周波数の周波数領域係数のフィルタ出力値を第1周波数段域における次のより大きい周波数の周波数領域係数のフィルタ出力値と比較して、次第に後へ比較し続け、現在の周波数領域係数のフィルタ出力値が次の周波数領域係数のフィルタ出力値よりも大きい場合、該現在の周波数領域係数のフィルタ出力値が最終に確定された最大極値であり、或いは、比較を続け、第1周波数段域の最高周波数の周波数領域係数のフィルタ出力値が一つ前の周波数領域係数のフィルタ出力値よりも大きいことを得る場合、第1周波数段域の最高周波数の周波数領域係数のフィルタ出力値が最終に確定された最大極値であり、
c．該最初の最大値が第2周波数段域最低周波数と最高周波数の間の周波数領域係数のフィルタ出力値であると、該最初の最大値が対応する周波数領域係数が音調の所在の位置であり、即ち、該最初の最大値が最終に確定された最大極値である請求項14に記載の方法。
【請求項１９】
ステップC2の中に、ゼロビット符号化サブバンドに対して周波数帯コピーする場合、先ず、ソース周波数段域及び周波数帯コピーを行う必要があるゼロビット符号化サブバンドの開始シリアルナンバにより該ゼロビットの符号化サブバンドのソース周波数段域コピー開始シリアルナンバを計算し、周波数帯コピー周期を周期とし、ソース周波数段域コピー開始シリアルナンバから始めにソース周波数段域の周波数領域係数を周期的にゼロビット符号化サブバンドにコピーする請求項13に記載の方法。
【請求項２０】
ステップC2の中に該ゼロビット符号化サブバンドのソース周波数段域コピー開始シリアルナンバを計算する方法は、
周波数領域係数を再建することが必要があるゼロビット符号化サブバンドの開始MDCT周波数領域係数の周波数ポイントのシリアルナンバーを得て、且つfillband_start_freqとし、音調が対応する周波数ポイントのシリアルナンバをTonal_posとし、Tonal_posに1を加えてコピー周期copy_periodを得て、周波数帯コピー偏移をcopyband_offsetとし、fillband_start_freqの値に循環にcopy_periodを差し引いて、該値がソース周波数段域のシリアルナンバの値区間に位置するまでにして、該値がソース周波数段域コピー開始シリアルナンバであり、copy_pos_modとすることである請求項19に記載の方法。
【請求項２１】
ステップC2の中に、周波数帯コピー周期を周期として、ソース周波数段域コピー開始シリアルナンバからソース周波数段域の周波数領域係数を周期的にゼロビットの符号化サブバンドにコピーする方法は、
ソース周波数段域コピー開始シリアルナンバを開始とする周波数領域係数を順次に後へfillband_start_freqを開始位置とするゼロビットの符号化サブバンドにコピーし、ソース周波数段域コピーの周波数ポイントがTonal_pos+copyband_offset周波数ポイントに達するまでにして、再び第copyband_offset個の周波数ポイントから開始する周波数領域係数を続けて後へ該ゼロビットの符号化サブバンドにコピーし、そのように続け、現在のゼロビットの符号化サブバンドのすべての周波数領域係数の周波数帯コピーを完成するまで行うことである請求項19に記載の方法。
【請求項２２】
ステップC2の中に、以下の方法を採用してゼロビットの符号化サブバンドコピーされた後得られた周波数領域係数に対して、エネルギー調整を行う、
ゼロビットの符号化サブバンドの周波数帯コピーされた後得られた周波数領域係数の振幅エンベロープを計算し、
【数３３】
とし、
コピー後得られた周波数領域係数に対してエネルギー調整を行う一般式が
【数３４】
であり、
その中、
【数３５】
はゼロビットの符号化サブバンドrのエネルギー調整された後の周波数領域係数を表し、
【数３６】
はゼロビットの符号化サブバンドrがコピーされた後得られた周波数領域係数を表し、
【数３７】
はゼロビットの符号化サブバンドrがコピーされた後得られた周波数領域係数
【数３８】
の振幅エンベロープであり、rms(r)はゼロビットの符号化サブバンドrの符号化された前の周波数領域係数の振幅エンベロープであり、振幅エンベロープの量子化指数の逆量子化から得られ、
【数３９】
は、ゼロビットの符号化サブバンドrの周波数帯コピーのエネルギー制御スケール因子であり、その値がゼロビットの符号化サブバンドrの所在のノイズ充填サブバンドのノイズレベルにより決定され、具体的な計算式が以下のようであり、
【数４０】
【数４１】
が充填エネルギースケール因子であり、全体の充填エネルギーのゲインを調整することに用いられ、その値の範囲が（0、1）であり、
【数４２】
が復号化逆量子化により得られたノイズ充填サブバンドjのノイズレベルであり、その中、jがゼロビットの符号化サブバンドrの所在のノイズ充填サブバンドのシリアルナンバであること請求項12に記載の方法。
【請求項２３】
ステップC2の中に、以下の一般式によりエネルギー調整された後の周波数領域係数に対してノイズ充填を行い、
【数４３】
その中、
【数４４】
はゼロビットの符号化サブバンドrの再建周波数領域係数を表し、
【数４５】
は、ゼロビットの符号化サブバンドrのエネルギー調整された後の周波数領域係数を表し、rms(r) はゼロビットの符号化サブバンドrの符号化前の周波数領域係数の振幅エンベロープであり、振幅エンベロープの量子化指数の逆量子化により得られ、
【数４６】
がランダム位相生成器であり、ランダム位相値を生成し、その戻り値が+1または-1であり、
【数４７】
がゼロビットの符号化サブバンドrのノイズレベル制御スケール因子であり、その値がゼロビットの符号化サブバンドrの所在のノイズ充填サブバンドのノイズレベルにより決定され、具体的な計算式が以下のようであり、
【数４８】
その中、
【数４９】
が充填エネルギースケール因子であり、全体の充填エネルギーのゲインを調整することに用いられ、その値の範囲が（0、1）であり、
【数５０】
は復号化逆量子化により得られたノイズ充填サブバンドjのノイズレベルであり、その中、jがゼロビットの符号化サブバンドrの所在のノイズ充填サブバンドのシリアルナンバである請求項12に記載の方法。
【請求項２４】
ステップB2の中に、各符号化サブバンドに対してビット分配をした後、符号化サブバンドを複数のノイズ充填サブバンドに分割し、有効ノイズ充填サブバンドに対してビット分配を行い、ステップC2の中に、ビットを分配された有効ノイズ充填サブバンドにおけるゼロビットの符号化サブバンドに対し周波数帯コピーを行い、コピーされた周波数領域係数のエネルギーレベル及びノイズ充填のエネルギーレベルを制御し、ビットが分配されていない有効ノイズ充填サブバンドにおけるゼロビットの符号化サブバンドに対してノイズ充填を行い、その中、有効ノイズ充填サブバンドとは、ゼロビットの符号化サブバンドを含むノイズ充填サブバンドである請求項13に記載の方法。
【請求項２５】
修正離散コサイン変換（MDCT）ユニット、振幅エンベロープ計算ユニット、振幅エンベロープ量子化及び符号化ユニット、ビット分配ユニット、周波数領域係数符号化ユニット及びビットストリームマルチプレクサ（MUX）を含むオーディオ符号化システムであって、
該システムは、さらにノイズレベル推定ユニットを含み、その中には、
MDCTユニットは、オーディオ信号に対して逆修正離散コサイン変換を行い、周波数領域係数を変換することに用いられるものであり、
振幅エンベロープ計算ユニットは、前記MDCTユニットに接続し、前記MDCTにより生成した周波数領域係数を複数の符号化サブバンドに分割し、且つ各符号化サブバンドの振幅エンベロープ値を計算することに用いられるものであり、
振幅エンベロープ量子化及び符号化ユニットは、前記振幅エンベロープ計算ユニットに接続し、各符号化サブバンドの振幅エンベロープ値を量子化及び符号化を行い、各符号化サブバンドの振幅エンベロープの符号化ビットを生成することに用いられるものであり、
ビット分配ユニットは、前記振幅エンベロープ量子化及び符号化ユニットに接続し、各符号化サブバンドにビットを分配することに用いられるものであり、
周波数領域係数量子化符号化ユニットは、MDCTユニット、ビット分配ユニット及び振幅エンベロープ量子化及び符号化ユニットに接続し、各符号化サブバンドにおけるすべての周波数領域係数に対し正規化、量子化及び符号化処理を行い、周波数領域係数符号化ビットを生成することに用いられるものであり、
ノイズレベル推定ユニットは、MDCTユニット及ビット分配ユニットに接続し、符号化待ちのオーディオ信号のMDCT周波数領域係数により符号化待ちのオーディオ信号のパワースペクトルを推定し、さらに、ゼロビットの符号化サブバンドのオーディオ信号のノイズレベルを推定し、量子化符号化してノイズレベル符号化ビットを得ることに用いられ、その中、該ノイズレベルが復号化している場合にノイズ充填と周波数帯コピーとのエネルギーの比例を制御することに用いられるものであり、
ビットストリームマルチプレクサ（MUX）は、前記振幅エンベロープ量子化及び符号化ユニット、周波数領域係数符号化ユニット及びノイズレベル推定ユニットに接続し、各符号化サブバンドの符号化ビット及び周波数領域係数の符号化ビットをマルチプレックスし復号化端に送信することに用いられるものであるオーディオ符号化システム。
【請求項２６】
前記ゼロビットの符号化サブバンドのオーディオ信号のノイズレベルとは、ゼロビットの符号化サブバンド内推定して得られたノイズ成分パワーとゼロビットの符号化サブバンド推定して得られた音調成分パワーとの比の値である請求項25に記載のシステム。
【請求項２７】
前記ノイズレベル推定ユニットは、具体的に、
符号化待ちのオーディオ信号のMDCT周波数領域係数により符号化待ちのオーディオ信号のパワースペクトルを推定することに用いられるパワースペクトル推定モジュールと、
前記パワースペクトル推定モジュールに接続し、前記パワースペクトル推定モジュールが推定したパワースペクトルによりゼロビットの符号化サブバンドオーディオ信号のノイズレベルを推定することに用いられるノイズレベル計算モジュールと、
前記ノイズレベル計算モジュールに接続し、前記ノイズレベル計算モジュールが計算したノイズレベルに対して量子化符号化し、ノイズレベル符号化ビットを得ることに用いられるノイズレベル符号化モジュールとを含む請求項25に記載のシステム。
【請求項２８】
前記パワースペクトル推定モジュールが以下の一般式を採用して第iフレームの周波数ポイントkのパワーを推定し、一般式が
【数５１】
であり、そのなか、i＝0の場合、
【数５２】
【数５３】
は、第iフレームの第k個の周波数ポイントの推定して得られたパワー値を表し、
【数５４】
は、第iフレームの第k個の周波数ポイントのMDCT係数を表し、
【数５５】
は、単極ポール平滑化フィルタのフィルタ係数である請求項27に記載のシステム。
【請求項２９】
符号化待ちのオーディオ信号の周波数領域係数を1つまたは複数のノイズ充填サブバンドに分割し、前記ノイズレベル計算モジュールの機能は、具体的に、該有効ノイズ充填サブバンドにおけるすべてまたは部分のゼロビットの符号化サブバンドのすべての周波数領域係数パワーの平均値を計算し、平均パワー
【数５６】
を得ることに用いられることと、該有効ノイズ充填サブバンドのすべてまたは部分のゼロビットの符号化サブバンドにおけるパワーPi(k)が平均パワー
【数５７】
よりも大きいすべての周波数領域係数のパワーの平均値を計算し、該有効ノイズ充填サブバンドにおけるゼロビットの符号化サブバンドの音調成分平均パワー
【数５８】
を得ることに用いられることと、該有効ノイズ充填サブバンドのすべてまたは部分のゼロビットの符号化サブバンドにおけるパワーPi(k)が平均パワー
【数５９】
より小さいまたは等しいすべての周波数領域係数のパワーPi(k)の平均値を計算し、該有効ノイズ充填サブバンドにおけるゼロビットの符号化サブバンドのノイズ成分平均パワー
【数６０】
を得ることに用いられることと、ノイズ成分平均パワー
【数６１】
と音調成分平均パワー
【数６２】
との比の値を計算し、該有効ノイズ充填サブバンドのノイズレベルを得ることに用いられることとを含み、
その中、有効ノイズ充填サブバンドとは、ゼロビットの符号化サブバンドを含むノイズ充填サブバンドである請求項27に記載のシステム。
【請求項３０】
前記ノイズレベル推定ユニットは、さらにノイズレベル計算モジュール及びノイズレベル符号化モジュールに接続し、すべての有効ノイズ充填サブバンドにビットを分配し、または1つまたは複数の低周波数の有効ノイズ充填サブバンドをスキップ、後続の比較的に高周波数の有効ノイズ充填サブバンドにビットを分配し、及びノイズレベル計算モジュール及びノイズレベル符号化モジュールに通知することに用いられるビット分配モジュールを含み、
前記ノイズレベル計算モジュールはビットを分配されたノイズ充填サブバンドのみに対してノイズレベルを計算し、
前記ノイズレベル符号化モジュールは、ビット分配モジュールが分配したビットを利用して前記ノイズレベルに対して量子化符号化を行う請求項27に記載のシステム。
【請求項３１】
ビットストリームデマルチプレクサ（DeMUX）、符号化サブバンド振幅エンベロープ復号化ユニット、ビット分配ユニット、周波数領域係数復号化ユニット、周波数スペクトル再建ユニット、逆修正離散コサイン変換（IMDCT）ユニットを含むオーディオ復号化システムであって、その中には、
前記DeMUXは、復号化待ちのビットストリームの中から振幅エンベロープ符号化ビット、周波数領域係数符号化ビット及びノイズレベル符号化ビットを分離することに用いられるものであり、
前記振幅エンベロープ復号化ユニットは、前記DeMUXに接続し、前記ビットストリームデマルチプレクサが出力した振幅エンベロープ符号化ビットに対して復号化を行い、各符号化サブバンドの振幅エンベロープ量子化指数を得ることに用いられるものであり、
前記ビット分配ユニットは、前記振幅エンベロープ復号化ユニットに接続し、ビットの分配を行い、各符号化サブバンドにおける各の周波数領域係数に分配された符号化ビット数を得ることに用いられるものであり、
周波数領域係数復号化ユニットは、振幅エンベロープ復号化ユニット及びビット分配ユニットに接続し、符号化サブバンドに対して復号化、逆量子化及び逆正規化を行い、周波数領域係数を得ることに用いられるものであり、
ノイズレベル復号化ユニットは、前記ビットストリームデマルチプレクサ及びビット分配ユニットに接続し、ノイズレベル符号化ビットに対して復号化逆量子化を行い、ノイズレベルを得ることに用いられるものであり、
前記周波数スペクトル再建ユニットは、前記ノイズレベル復号化ユニット、周波数領域係数復号化ユニット、振幅エンベロープ復号化ユニット及びビット分配ユニットに接続し、ゼロビットの符号化サブバンドに対して周波数帯コピーを行い、振幅エンベロープ復号化ユニットが出力した振幅エンベロープにより該符号化サブバンドの全体のエネルギー充填レベルを制御し、ノイズレベル復号化ユニットが出力したノイズレベルによりノイズ充填と周波数帯コピーとのエネルギーの比例を制御し、再建のゼロビットの符号化サブバンドの周波数領域係数を得ることに用いられるものであり、
IMDCTユニットは、前記周波数スペクトル再建ユニットに接続し、ゼロビットの符号化サブバンドの周波数スペクトル再建を完成した後の周波数領域係数に対してIMDCTを行い、オーディオ信号を得ることに用いられるものであるオーディオ復号化システム。
【請求項３２】
前記周波数スペクトル再建ユニットは、次第に接続する周波数帯コピーサブユニット、エネルギー調整サブユニット及びノイズ充填サブユニットを含み、その中には、
周波数帯コピーサブユニットは、ゼロビットの符号化サブバンドに対して周波数帯コピーを行うことに用いられるものであり、
エネルギー調整サブユニットは、ゼロビットの符号化サブバンドが周波数帯コピーされた後得られた周波数領域係数の振幅エンベロープ（
【数６３】
とする）を計算し、及び、ノイズレベル復号化ユニットが出力したノイズレベルによりコピーされた後得られた周波数領域係数に対してエネルギー調整を行い、エネルギー調整の一般式が
【数６４】
であることに用いられるものであり、
その中、
【数６５】
はゼロビットの符号化サブバンドrのエネルギー調整された後の周波数領域係数を表し、
【数６６】
はゼロビットの符号化サブバンドrがコピーされた後得られた周波数領域係数を表し、
【数６７】
はゼロビットの符号化サブバンドrがコピーされた後得られた周波数領域係数
【数６８】
の振幅エンベロープであり、rms(r)はゼロビットの符号化サブバンドrの符号化された前の周波数領域係数の振幅エンベロープであり、振幅エンベロープの量子化指数の逆量子化から得られ、
【数６９】
は、ゼロビットの符号化サブバンドrの周波数帯コピーのエネルギー制御スケール因子であり、その値がゼロビットの符号化サブバンドrの所在のノイズ充填サブバンドのノイズレベルにより決定され、具体的な計算式が以下のようであり、
【数７０】
【数７１】
が充填エネルギースケール因子であり、全体の充填エネルギーのゲインを調
整することに用いられ、その値の範囲が（0、1）であり、
【数７２】
は復号化逆量子化により得られたノイズ充填サブバンドjのノイズレベルであり、その中、jがゼロビットの符号化サブバンドrの所在のノイズ充填サブバンドのシリアルナンバであり、
ノイズ充填サブユニットは、ノイズレベル復号化ユニットが出力したノイズレベルによりエネルギー調整された後の周波数領域係数に対してノイズ充填を行い、ノイズ充填の一般式が
【数７３】
であることに用いられるものであり、
その中、
【数７４】
はゼロビットの符号化サブバンドrの再建周波数領域係数を表し、
【数７５】
は、ゼロビットの符号化サブバンドrのエネルギー調整された後のコピー周波数領域係数を表し、rms(r) はゼロビットの符号化サブバンドrの符号化前の周波数領域係数の振幅エンベロープであり、振幅エンベロープの量子化指数の逆量子化により得られ、
【数７６】
がランダム位相生成器であり、ランダム位相値を生成し、その戻り値が+1または-1であり、
【数７７】
がゼロビットの符号化サブバンドrのノイズレベル制御スケール因子であり、その値がゼロビットの符号化サブバンドrの所在のノイズ充填サブバンドのノイズレベルにより決定され、具体的な計算式が以下のようであり、
【数７８】
その中、
【数７９】
が充填エネルギースケール因子であり、全体の充填エネルギーのゲインを調整することに用いられ、その値の範囲が（0、1）であり、
【数８０】
は復号化逆量子化により得られたノイズ充填サブバンドjのノイズレベルであり、その中、jがゼロビットの符号化サブバンドrの所在のノイズ充填サブバンドのシリアルナンバである請求項31に記載のシステム。
【請求項３３】
前記周波数帯コピーサブユニットは、次第に接続する音調位置捜索モジュール、周期及びソース周波数段域計算モジュール、ソース周波数段域コピー開始シリアルナンバ計算モジュール及び周波数帯コピーモジュールを含み、その中には、
音調位置捜索モジュールは、MDCT周波数領域係数においてオーディオ信号のある音調の所在位置を捜索することに用いられるものであり、
周期及びソース周波数段域計算モジュールは、音調の所在位置によりコピーに用いる周波数帯コピー周期及びソース周波数段域を確定することに用いられ、該周波数帯コピー周期が0周波数ポイントから音調位置までの周波数ポイントの帯域幅であり、前記ソース周波数段域は、0周波数ポイントが後へ周波数帯コピー偏移copyband_offsetを偏移する周波数ポイントから音調位置の周波数ポイントが後へ前記copyband_offsetを偏移する周波数ポイントまでの周波数段域であり、
ソース周波数段域コピー開始シリアルナンバ計算モジュールは、ソース周波数段域及び周波数帯コピーを行う必要があるゼロビットの符号化サブバンドの開始シリアルナンバにより該ゼロビットの符号化サブバンドのソース周波数段域コピー開始シリアルナンバを計算することに用いられるものであり、
前記周波数帯コピーモジュールは、周波数帯コピー周期を周期とし、ソース周波数段域コピー開始シリアルナンバからソース周波数段域の周波数領域係数周期性をゼロビットの符号化サブバンドにコピーし、ゼロビットの符号化サブバンドの内の最高周波数が捜索して得られた音調の周波数より小さい場合、該周波数ポイントがただノイズ充填を採用して周波数スペクトル再建を行うことに用いられるものである請求項31に記載のシステム。
【請求項３４】
前記音調位置捜索モジュールは、以下の方法を採用して音調の所在位置を捜索する。第1周波数段域のMDCT周波数領域係数に対して絶対値または平方値を取って、平滑化フィルタを行い、平滑化フィルタの結果により、第1周波数段域フィルタ出力値の最大極値の所在の位置を捜索し、該最大極値が所在している位置が、即ち、音調の所在位置である請求項33に記載のシステム。
【請求項３５】
前記音調位置捜索モジュールが該第1周波数段域のMDCT周波数領域係数に対して絶対値を取って、平滑化フィルタを行う計算式が
【数８１】
であり、
或いは、該第1周波数段域の周波数領域係数平方値に対して平滑化フィルタの計算が
【数８２】
であり
そのなか、
【数８３】
が平滑化フィルタ係数であり、
【数８４】
が第iフレームの第k個の周波数ポイントのフィルタ出力値であり、
【数８５】
が第iフレームの第k個の周波数ポイントの復号化後のMDCT係数であり、且つi=0の場合、
【数８６】
= 0とする請求項33に記載のシステム。
【請求項３６】
前記第1周波数段域は、周波数スペクトルの統計特性により確定されたエネルギーが比較的に集中している低周波数の周波数段域であり、その中、低周波数とは、1/2の信号総帯域幅より小さい周波数スペクトル成分である請求項33に記載のシステム。
【請求項３７】
前記音調位置捜索モジュール計算モジュールは、直接に第1周波数段域が対応する周波数領域係数のフィルタ出力値の中から最初の最大値を捜索し、該最大値を第1周波数段域フィルタ出力値の最大極値とする請求項33に記載のシステム。
【請求項３８】
前記音調位置捜索モジュールは、フィルタ出力値の最大極値を確定する時、該第1周波数段域の中の一段域を第2周波数段域として、先ず、第2周波数段域が対応する周波数領域係数のフィルタ出力値の中から最初の最大値を捜索し、そして該最初の最大値が対応する周波数領域係数の位置により異なる処理を行い、
a．該最初の最大値が第2周波数段域最低周波数の周波数領域係数のフィルタ出力値であると、該第2周波数段域最低周波数の周波数領域係数のフィルタ出力値を第1周波数段域における一つ前のより低い周波数の周波数領域係数のフィルタ出力値と比較して、次第に前へ比較し続け、現在の周波数領域係数のフィルタ出力値が一つ前の周波数領域係数のフィルタ出力値より大きい場合、該現在の周波数領域係数のフィルタ出力値が最終に確定された最大極値であり、或いは、比較し続けて、第1周波数段域の最低周波数の周波数領域係数のフィルタ出力値が次の周波数領域係数のフィルタ出力値より大きい場合、第1周波数段域の最低周波数の周波数領域係数のフィルタ出力値が最終に確定された最大極値であり、
b．該最初の最大値が第2周波数段域最高周波数の周波数領域係数のフィルタ出力値である場合、該第2周波数段域最高周波数の周波数領域係数のフィルタ出力値を第1周波数段域における次のより高い周波数の周波数領域係数のフィルタ出力値と比較して、次第に後へ比較し続け、現在の周波数領域係数のフィルタ出力値が次の周波数領域係数のフィルタ出力値より大きい場合、該現在の周波数領域係数のフィルタ出力値が最終に確定された最大極値であり、或いは、比較して第1周波数段域の最高周波数の周波数領域係数のフィルタ出力値が一つ前の周波数領域係数のフィルタ出力値より大きい場合、第1周波数段域の最高周波数の周波数領域係数のフィルタ出力値が最終に確定された最大極値であり、
c．該最初の最大値が第2周波数段域最低周波数と最高周波数の間の周波数領域係数のフィルタ出力値であると、該最初の最大値が対応する周波数領域係数が音調の所在の位置であり、即ち、該最初の最大値が最終に確定された最大極値である請求項33に記載のシステム。
【請求項３９】
前記ソース周波数段域コピー開始シリアルナンバ計算モジュールは、周波数帯コピーを行う必要があるゼロビットの符号化サブバンドのソース周波数段域コピー開始シリアルナンバの計算過程は、現在に周波数領域係数を再建することが必要があるゼロビットの符号化サブバンドの開始周波数ポイントのシリアルナンバを得て、fillband_start_freqとし、音調が対応する周波数ポイントのシリアルナンバをTonal_posとし、Tonal_posに1を加えてコピー周期copy_periodを得て、ソース周波数段域開始シリアルナンバをcopyband_offsetとし、fillband_start_freqの値に循環にcopy_periodを減って、該値がソース周波数段域のシリアルナンバの値区間に位置するまでして、該値がソース周波数段域コピー開始シリアルナンバであり、copy_pos_modとすることを含む請求項33に記載のシステム。
【請求項４０】
周波数帯コピーモジュールが周波数帯コピーを行う場合、ソース周波数段域コピー開始シリアルナンバを開始とする周波数領域係数を順次に後へfillband_start_freqを開始位置とするゼロビットの符号化サブバンドにコピーしつづけ、ソース周波数段域コピーの周波数ポイントがTonal_pos+copyband_offset周波数ポイントに達した後、再び第copyband_offset個の周波数ポイントから開始する周波数領域係数を続けて後へ該ゼロビットの符号化サブバンドにコピーし、そのように続け、現在のゼロビットの符号化サブバンドのすべての周波数領域係数コピーを完成するまで行う請求項33に記載のシステム。
【請求項４１】
前記ビット分配ユニットは、
すべての有効ノイズ充填サブバンドにビットを分配し、または1つまたは複数の低周波数の有効ノイズ充填サブバンドをスキップし、後続の比較的に高周波数の有効ノイズ充填サブバンドにビットを分配することにさらに用いられ、
前記エネルギー調整サブユニットは、周波数帯コピーされた後得られた周波数領域係数にエネルギー調整を行い、
前記ノイズ充填サブユニットは、エネルギー調整された後の周波数領域係数、及びビットを分配しないノイズ充填サブバンドにおけるゼロビットの符号化サブバンドにノイズ充填を行う請求項31に記載のシステム。
【請求項１】
ノイズレベル推定方法であって、
符号化待ちのオーディオ信号の周波数領域係数により符号化待ちのオーディオ信号のパワースペクトルを推定すること、
計算して得られるパワースペクトルにより、ゼロビットの符号化サブバンドオーディオ信号のノイズレベルを推定し、該ノイズレベルは、復号化する場合に、ノイズ充填と周波数帯コピーとのエネルギーの比例を制御することに用いられ、その中、ゼロビットの符号化サブバンドとは、分配されたビット数がゼロである符号化サブバンドを指すこと、を含むノイズレベル推定方法。
【請求項２】
前記ゼロビットの符号化サブバンドオーディオ信号のノイズレベルとは、ゼロビットの符号化サブバンドにおいて推定して得られるノイズ成分パワーとゼロビットの符号化サブバンドにおいて推定して得られる音調成分パワーとの比の値である請求項1に記載の方法。
【請求項３】
符号化待ちのオーディオ信号のMDCT周波数領域係数により符号化待ちのオーディオ信号のパワースペクトルを推定し、第iフレームの周波数ポイントkのパワー計算式が
【数１】
であり、そのなか、i＝0の場合、
【数２】
【数３】
が第iフレームの第k個の周波数ポイントに推定して得られるパワー値を表し、
【数４】
が第iフレームの第kの周波数ポイントのMDCT係数を表し、
【数５】
が単極平滑化フィルタのフィルタ係数である請求項1に記載の方法。
【請求項４】
符号化待ちのオーディオ信号の周波数領域係数を1つまたは複数のノイズ充填サブバンドに分割し、推定される符号化待ちのオーディオ信号のパワースペクトルによってある有効ノイズ充填サブバンドのノイズレベルを計算する過程は、具体的に、
該有効ノイズ充填サブバンドにおけるすべてまたは部分のゼロビット符号化サブバンドのすべての周波数領域係数のパワーの平均値を計算して、平均パワー
【数６】
を得るステップと、
該有効ノイズ充填サブバンドのすべてまたは部分のゼロビット符号化サブバンドにおけるパワーPi(k)が平均パワー
【数７】
より大きいのすべての周波数領域係数のパワーの平均値を計算し、該有効ノイズ充填サブバンドにおけるゼロビット符号化サブバンドの音調成分平均パワー
【数８】
を得るステップと、
該有効ノイズ充填サブバンドのすべてまたは部分のゼロビット符号化サブバンドにおけるパワーPi(k)が平均パワー
【数９】
より小さいまたは等しいのすべての周波数領域係数のパワーPi(k)の平均値を計算し、該有効ノイズ充填サブバンドにおけるゼロビット符号化サブバンドのノイズ成分平均パワー
【数１０】
を得るステップと、
ノイズ成分平均パワー
【数１１】
と音調成分平均パワー
【数１２】
との比の値
【数１３】
を計算し、該有効ノイズ充填サブバンドのノイズレベルを得るステップとを含み、
そのなか、有効ノイズ充填サブバンドとは、ゼロビット符号化サブバンドを含むノイズ充填サブバンドである請求項1に記載の方法。
【請求項５】
オーディオ符号化方法であって、
A、符号化待ちのオーディオ信号のMDCT周波数領域係数を複数の符号化サブバンドに分割し、各符号化サブバンドの振幅エンベロープ値を量子化符号化し、振幅エンベロープ符号化ビットを得るステップと、
B、各符号化サブバンドにたいしてビットを分配し、且つ非ゼロビットの符号化サブバンドを量子化符号化し、MDCT周波数領域係数符号化ビットを得るステップと、
C、符号化待ちのオーディオ信号のMDCT周波数領域係数により符号化待ちのオーディオ信号のパワースペクトルを推定し、さらにゼロビット符号化サブバンドオーディオ信号のノイズレベルを推定し、且つ量子化符号化し、ノイズレベル符号化ビットを得るステップと、そのなか、該ノイズレベルは、復号化する場合、ノイズ充填と周波数帯コピーとのエネルギーの比例を制御することに用いられ、ゼロビット符号化サブバンドとは、分配されたビット数がゼロとする符号化サブバンドであり、
D、各符号化サブバンドの振幅エンベロープの符号化ビット、周波数領域係数符号化ビット及びノイズレベル符号化ビットをマルチプレックスとパッケージしてから、復号化端に送信するステップとを含む
オーディオ符号化方法。
【請求項６】
ステップCの中において、前記ゼロビット符号化サブバンドオーディオ信号のノイズレベルとは、ゼロビット符号化サブバンドの内に推定して得られたノイズ成分パワーとゼロビット符号化サブバンドの内に推定して得られた音調成分パワーとの比の値である請求項5に記載の方法。
【請求項７】
符号化待ちのオーディオ信号のMDCT周波数領域係数により符号化待ちのオーディオ信号のパワースペクトルを推定し、第iフレームの周波数ポイントkのパワー推定の計算方法が
【数１４】
そのなか、i＝0の場合、
【数１５】
【数１６】
が第iフレームの第k個の周波数ポイントに推定して得られたパワー値を表し、
【数１７】
が第iフレームの第k個の周波数ポイントのMDCT係数を表し、
【数１８】
が単極平滑化フィルタのフィルタ係数である請求項5に記載の方法。
【請求項８】
ステップBの中に、符号化待ちのオーディオ信号の周波数領域係数を1つ或いは複数のノイズ充填サブバンドに分割して、各符号化サブバンドにビットを分配した後、有効ノイズ充填サブバンドにビットを分配し、ステップCの中に、推定された符号化待ちのオーディオ信号のパワースペクトルによりある有効ノイズ充填サブバンドのノイズレベルを計算する過程は、具体的に、
該有効ノイズ充填サブバンドにおけるすべて或いは部分のゼロビット符号化サブバンドのすべての周波数領域係数の平均値を計算し、平均パワー
【数１９】
を得るステップと、
該有効ノイズ充填サブバンドのすべて或いは部分のゼロビット符号化サブバンドの中に、パワーPi(k)が平均パワー
【数２０】
より大きいすべての周波数領域係数のパワーの平均値を計算し、該有効ノイズ充填サブバンドにおけるゼロビット符号化サブバンドの音調成分平均パワー
【数２１】
を得るステップと、
該有効ノイズ充填サブバンドのすべて或いは部分のゼロビット符号化サブバンドの中に、パワーPi(k)が平均パワー
【数２２】
より小さいまたは等しいすべての周波数領域係数のパワーPi(k)の平均値を計算し、該有効ノイズ充填サブバンドにおけるゼロビット符号化サブバンドのノイズ成分平均パワー
【数２３】
を得るステップと、
ノイズ成分平均パワー
【数２４】
と音調成分平均パワー
【数２５】
との比の値
【数２６】
を計算し、該有効ノイズ充填サブバンドのノイズレベルを得るステップとを含み、
その中、有効ノイズ充填サブバンドとは、ゼロビット符号化サブバンドを含むノイズ充填サブバンドである請求項5に記載の方法。
【請求項９】
ノイズ充填サブバンドを分割する時、均一に分割、或いは人の耳の聴覚特性によって非均一に分割し、1つのノイズ充填サブバンドが1つ或いは複数の符号化サブバンドを含む請求項8に記載の方法。
【請求項１０】
ステップBの中に、すべての有効ノイズ充填サブバンドにビットを分配し、或いは、1つ或いは複数の低周波数の有効ノイズ充填サブバンドをスキップし、後続の高周波数の有効ノイズ充填サブバンドにビットを分配し、ステップCの中に、ビットを分配した有効ノイズ充填サブバンドのノイズレベルを計算し、ステップDの中に、該分配されたビットによってノイズレベル符号化ビットをマルチプレックスとパッケージする請求項8に記載の方法。
【請求項１１】
各有効ノイズ充填サブバンドが同じビット数を分配し、或いは聴覚特性によって違うビット数を分配する請求項8に記載の方法。
【請求項１２】
オーディオ復号化方法であって、
A2、復号化待ちのビットストリームにおける各振幅エンベロープ符号化ビットを復号化逆量子化し、各符号化サブバンドの振幅エンベロープを得るステップと、
B2、各符号化サブバンドにビットを分配し、ノイズレベル符号化ビットを復号化逆量子化してゼロビット符号化サブバンドのノイズレベルを得て、周波数領域係数符号化ビットを復号化逆量子化して非ゼロビットの符号化サブバンドの周波数領域係数を得るステップと、
C2、ゼロビット符号化サブバンドを周波数帯コピーし、且つ各ゼロビットの符号化サブバンドの振幅エンベロープによって該符号化サブバンドの全体のエネルギー充填レベルを制御し、該ゼロビットの符号化サブバンドのノイズレベルによってノイズ充填と周波数帯コピーとのエネルギーの比例を制御し、再建されたゼロビットの符号化サブバンドの周波数領域係数を得るステップと、
D2、非ゼロビットの符号化サブバンドの周波数領域係数と再建されたゼロビットの符号化サブバンドの周波数領域係数に対して逆修正離散コサイン変換（IMDCT）を行い、最終のオーディオ信号を得るステップとを含むオーディオ復号化方法。
【請求項１３】
ステップC2の中に、周波数帯コピーの時、MDCT周波数領域係数の中にオーディオ信号のある音調の所在の位置を捜索し、0周波数ポイントから音調位置までの周波数ポイントの帯域幅を周波数帯コピー周期として、且つ0周波数ポイントの後へcopyband_offset個の周波数ポイントを偏移する処から音調位置の周波数ポイントが後へ前記copyband_offset個の周波数ポイントを偏移する処までの周波数段域をソース周波数段域として、ゼロビットの符号化サブバンドを周波数帯コピーし、ゼロビットの符号化サブバンドの内部の最高周波数が捜索された音調の周波数よりも小さい場合、該ゼロビットの符号化サブバンドがノイズ充填のみを採用して周波数スペクトルを再建する請求項12に記載の方法。
【請求項１４】
ステップC2の中に、
第1周波数段域の周波数領域係数に対して絶対値或いは平方値を取得して、平滑化フィルタを行い、
平滑化フィルタの結果によって、第1周波数段域フィルタ出力値の最大極値の所在の位置を捜索し、該最大極値の所在の位置をある音調の所在の位置とする請求項12に記載の方法。
【請求項１５】
該第1周波数段域の周波数領域係数に対して絶対値を取得し、平滑化フィルタを行う計算式が以下のようであり、
【数２７】
或いは、該第1周波数段域の周波数領域係数平方値に対して平滑化フィルタを行う計算式が
【数２８】
であって、そのなか、
【数２９】
が平滑化フィルタ係数であり、
【数３０】
が第iフレームの第k個周波数ポイントのフィルタ出力値を表し、
【数３１】
が第iフレームの第k個周波数ポイントの復号化された後のMDCT係数であり、且つi=0の場合、
【数３２】
= 0である請求項14に記載の方法。
【請求項１６】
前記第1周波数段域は周波数スペクトルの統計特性によって確定されたエネルギーが比較的に集中する低周波数の周波数段域であり、その中、低周波数とは、半分の信号総帯域幅より小さい周波数スペクトル成分である請求項14に記載の方法。
【請求項１７】
直接に第1周波数段域の対応する周波数領域係数のフィルタ出力値中から最初の最大値を捜索し、該最大値を第1周波数段域フィルタ出力値の最大極値とする方法によってフィルタ出力値の最大極値を確定する請求項14に記載の方法。
【請求項１８】
以下の方法を採用してフィルタ出力値の最大極値を確定し、
該第1周波数段域の中の一段域を第2周波数段域とし、第2周波数段域が対応する周波数領域係数のフィルタ出力値において最初の最大値を捜索し、該最初の最大値が対応する周波数領域係数の位置によって異なる処理を行い、
a．該最初の最大値が第2周波数段域最低周波数の周波数領域係数のフィルタ出力値である場合、該第2周波数段域最低周波数の周波数領域係数のフィルタ出力値を第1周波数段域における一つ前のより低い周波数の周波数領域係数のフィルタ出力値と比較して、次第に前へ比較し続け、現在の周波数領域係数のフィルタ出力値が一つ前の周波数領域係数のフィルタ出力値より大きい場合、該現在の周波数領域係数のフィルタ出力値が最終に確定された最大極値であり、或いは、比較を続け、第1周波数段域の最低周波数の周波数領域係数のフィルタ出力値が次の周波数領域係数のフィルタ出力値より大きいことを得た場合、第1周波数段域の最低周波数の周波数領域係数のフィルタ出力値が最終に確定された最大極値であり、
b．該最初の最大値が第2周波数段域最高周波数の周波数領域係数のフィルタ出力値であると、該第2周波数段域最高周波数の周波数領域係数のフィルタ出力値を第1周波数段域における次のより大きい周波数の周波数領域係数のフィルタ出力値と比較して、次第に後へ比較し続け、現在の周波数領域係数のフィルタ出力値が次の周波数領域係数のフィルタ出力値よりも大きい場合、該現在の周波数領域係数のフィルタ出力値が最終に確定された最大極値であり、或いは、比較を続け、第1周波数段域の最高周波数の周波数領域係数のフィルタ出力値が一つ前の周波数領域係数のフィルタ出力値よりも大きいことを得る場合、第1周波数段域の最高周波数の周波数領域係数のフィルタ出力値が最終に確定された最大極値であり、
c．該最初の最大値が第2周波数段域最低周波数と最高周波数の間の周波数領域係数のフィルタ出力値であると、該最初の最大値が対応する周波数領域係数が音調の所在の位置であり、即ち、該最初の最大値が最終に確定された最大極値である請求項14に記載の方法。
【請求項１９】
ステップC2の中に、ゼロビット符号化サブバンドに対して周波数帯コピーする場合、先ず、ソース周波数段域及び周波数帯コピーを行う必要があるゼロビット符号化サブバンドの開始シリアルナンバにより該ゼロビットの符号化サブバンドのソース周波数段域コピー開始シリアルナンバを計算し、周波数帯コピー周期を周期とし、ソース周波数段域コピー開始シリアルナンバから始めにソース周波数段域の周波数領域係数を周期的にゼロビット符号化サブバンドにコピーする請求項13に記載の方法。
【請求項２０】
ステップC2の中に該ゼロビット符号化サブバンドのソース周波数段域コピー開始シリアルナンバを計算する方法は、
周波数領域係数を再建することが必要があるゼロビット符号化サブバンドの開始MDCT周波数領域係数の周波数ポイントのシリアルナンバーを得て、且つfillband_start_freqとし、音調が対応する周波数ポイントのシリアルナンバをTonal_posとし、Tonal_posに1を加えてコピー周期copy_periodを得て、周波数帯コピー偏移をcopyband_offsetとし、fillband_start_freqの値に循環にcopy_periodを差し引いて、該値がソース周波数段域のシリアルナンバの値区間に位置するまでにして、該値がソース周波数段域コピー開始シリアルナンバであり、copy_pos_modとすることである請求項19に記載の方法。
【請求項２１】
ステップC2の中に、周波数帯コピー周期を周期として、ソース周波数段域コピー開始シリアルナンバからソース周波数段域の周波数領域係数を周期的にゼロビットの符号化サブバンドにコピーする方法は、
ソース周波数段域コピー開始シリアルナンバを開始とする周波数領域係数を順次に後へfillband_start_freqを開始位置とするゼロビットの符号化サブバンドにコピーし、ソース周波数段域コピーの周波数ポイントがTonal_pos+copyband_offset周波数ポイントに達するまでにして、再び第copyband_offset個の周波数ポイントから開始する周波数領域係数を続けて後へ該ゼロビットの符号化サブバンドにコピーし、そのように続け、現在のゼロビットの符号化サブバンドのすべての周波数領域係数の周波数帯コピーを完成するまで行うことである請求項19に記載の方法。
【請求項２２】
ステップC2の中に、以下の方法を採用してゼロビットの符号化サブバンドコピーされた後得られた周波数領域係数に対して、エネルギー調整を行う、
ゼロビットの符号化サブバンドの周波数帯コピーされた後得られた周波数領域係数の振幅エンベロープを計算し、
【数３３】
とし、
コピー後得られた周波数領域係数に対してエネルギー調整を行う一般式が
【数３４】
であり、
その中、
【数３５】
はゼロビットの符号化サブバンドrのエネルギー調整された後の周波数領域係数を表し、
【数３６】
はゼロビットの符号化サブバンドrがコピーされた後得られた周波数領域係数を表し、
【数３７】
はゼロビットの符号化サブバンドrがコピーされた後得られた周波数領域係数
【数３８】
の振幅エンベロープであり、rms(r)はゼロビットの符号化サブバンドrの符号化された前の周波数領域係数の振幅エンベロープであり、振幅エンベロープの量子化指数の逆量子化から得られ、
【数３９】
は、ゼロビットの符号化サブバンドrの周波数帯コピーのエネルギー制御スケール因子であり、その値がゼロビットの符号化サブバンドrの所在のノイズ充填サブバンドのノイズレベルにより決定され、具体的な計算式が以下のようであり、
【数４０】
【数４１】
が充填エネルギースケール因子であり、全体の充填エネルギーのゲインを調整することに用いられ、その値の範囲が（0、1）であり、
【数４２】
が復号化逆量子化により得られたノイズ充填サブバンドjのノイズレベルであり、その中、jがゼロビットの符号化サブバンドrの所在のノイズ充填サブバンドのシリアルナンバであること請求項12に記載の方法。
【請求項２３】
ステップC2の中に、以下の一般式によりエネルギー調整された後の周波数領域係数に対してノイズ充填を行い、
【数４３】
その中、
【数４４】
はゼロビットの符号化サブバンドrの再建周波数領域係数を表し、
【数４５】
は、ゼロビットの符号化サブバンドrのエネルギー調整された後の周波数領域係数を表し、rms(r) はゼロビットの符号化サブバンドrの符号化前の周波数領域係数の振幅エンベロープであり、振幅エンベロープの量子化指数の逆量子化により得られ、
【数４６】
がランダム位相生成器であり、ランダム位相値を生成し、その戻り値が+1または-1であり、
【数４７】
がゼロビットの符号化サブバンドrのノイズレベル制御スケール因子であり、その値がゼロビットの符号化サブバンドrの所在のノイズ充填サブバンドのノイズレベルにより決定され、具体的な計算式が以下のようであり、
【数４８】
その中、
【数４９】
が充填エネルギースケール因子であり、全体の充填エネルギーのゲインを調整することに用いられ、その値の範囲が（0、1）であり、
【数５０】
は復号化逆量子化により得られたノイズ充填サブバンドjのノイズレベルであり、その中、jがゼロビットの符号化サブバンドrの所在のノイズ充填サブバンドのシリアルナンバである請求項12に記載の方法。
【請求項２４】
ステップB2の中に、各符号化サブバンドに対してビット分配をした後、符号化サブバンドを複数のノイズ充填サブバンドに分割し、有効ノイズ充填サブバンドに対してビット分配を行い、ステップC2の中に、ビットを分配された有効ノイズ充填サブバンドにおけるゼロビットの符号化サブバンドに対し周波数帯コピーを行い、コピーされた周波数領域係数のエネルギーレベル及びノイズ充填のエネルギーレベルを制御し、ビットが分配されていない有効ノイズ充填サブバンドにおけるゼロビットの符号化サブバンドに対してノイズ充填を行い、その中、有効ノイズ充填サブバンドとは、ゼロビットの符号化サブバンドを含むノイズ充填サブバンドである請求項13に記載の方法。
【請求項２５】
修正離散コサイン変換（MDCT）ユニット、振幅エンベロープ計算ユニット、振幅エンベロープ量子化及び符号化ユニット、ビット分配ユニット、周波数領域係数符号化ユニット及びビットストリームマルチプレクサ（MUX）を含むオーディオ符号化システムであって、
該システムは、さらにノイズレベル推定ユニットを含み、その中には、
MDCTユニットは、オーディオ信号に対して逆修正離散コサイン変換を行い、周波数領域係数を変換することに用いられるものであり、
振幅エンベロープ計算ユニットは、前記MDCTユニットに接続し、前記MDCTにより生成した周波数領域係数を複数の符号化サブバンドに分割し、且つ各符号化サブバンドの振幅エンベロープ値を計算することに用いられるものであり、
振幅エンベロープ量子化及び符号化ユニットは、前記振幅エンベロープ計算ユニットに接続し、各符号化サブバンドの振幅エンベロープ値を量子化及び符号化を行い、各符号化サブバンドの振幅エンベロープの符号化ビットを生成することに用いられるものであり、
ビット分配ユニットは、前記振幅エンベロープ量子化及び符号化ユニットに接続し、各符号化サブバンドにビットを分配することに用いられるものであり、
周波数領域係数量子化符号化ユニットは、MDCTユニット、ビット分配ユニット及び振幅エンベロープ量子化及び符号化ユニットに接続し、各符号化サブバンドにおけるすべての周波数領域係数に対し正規化、量子化及び符号化処理を行い、周波数領域係数符号化ビットを生成することに用いられるものであり、
ノイズレベル推定ユニットは、MDCTユニット及ビット分配ユニットに接続し、符号化待ちのオーディオ信号のMDCT周波数領域係数により符号化待ちのオーディオ信号のパワースペクトルを推定し、さらに、ゼロビットの符号化サブバンドのオーディオ信号のノイズレベルを推定し、量子化符号化してノイズレベル符号化ビットを得ることに用いられ、その中、該ノイズレベルが復号化している場合にノイズ充填と周波数帯コピーとのエネルギーの比例を制御することに用いられるものであり、
ビットストリームマルチプレクサ（MUX）は、前記振幅エンベロープ量子化及び符号化ユニット、周波数領域係数符号化ユニット及びノイズレベル推定ユニットに接続し、各符号化サブバンドの符号化ビット及び周波数領域係数の符号化ビットをマルチプレックスし復号化端に送信することに用いられるものであるオーディオ符号化システム。
【請求項２６】
前記ゼロビットの符号化サブバンドのオーディオ信号のノイズレベルとは、ゼロビットの符号化サブバンド内推定して得られたノイズ成分パワーとゼロビットの符号化サブバンド推定して得られた音調成分パワーとの比の値である請求項25に記載のシステム。
【請求項２７】
前記ノイズレベル推定ユニットは、具体的に、
符号化待ちのオーディオ信号のMDCT周波数領域係数により符号化待ちのオーディオ信号のパワースペクトルを推定することに用いられるパワースペクトル推定モジュールと、
前記パワースペクトル推定モジュールに接続し、前記パワースペクトル推定モジュールが推定したパワースペクトルによりゼロビットの符号化サブバンドオーディオ信号のノイズレベルを推定することに用いられるノイズレベル計算モジュールと、
前記ノイズレベル計算モジュールに接続し、前記ノイズレベル計算モジュールが計算したノイズレベルに対して量子化符号化し、ノイズレベル符号化ビットを得ることに用いられるノイズレベル符号化モジュールとを含む請求項25に記載のシステム。
【請求項２８】
前記パワースペクトル推定モジュールが以下の一般式を採用して第iフレームの周波数ポイントkのパワーを推定し、一般式が
【数５１】
であり、そのなか、i＝0の場合、
【数５２】
【数５３】
は、第iフレームの第k個の周波数ポイントの推定して得られたパワー値を表し、
【数５４】
は、第iフレームの第k個の周波数ポイントのMDCT係数を表し、
【数５５】
は、単極ポール平滑化フィルタのフィルタ係数である請求項27に記載のシステム。
【請求項２９】
符号化待ちのオーディオ信号の周波数領域係数を1つまたは複数のノイズ充填サブバンドに分割し、前記ノイズレベル計算モジュールの機能は、具体的に、該有効ノイズ充填サブバンドにおけるすべてまたは部分のゼロビットの符号化サブバンドのすべての周波数領域係数パワーの平均値を計算し、平均パワー
【数５６】
を得ることに用いられることと、該有効ノイズ充填サブバンドのすべてまたは部分のゼロビットの符号化サブバンドにおけるパワーPi(k)が平均パワー
【数５７】
よりも大きいすべての周波数領域係数のパワーの平均値を計算し、該有効ノイズ充填サブバンドにおけるゼロビットの符号化サブバンドの音調成分平均パワー
【数５８】
を得ることに用いられることと、該有効ノイズ充填サブバンドのすべてまたは部分のゼロビットの符号化サブバンドにおけるパワーPi(k)が平均パワー
【数５９】
より小さいまたは等しいすべての周波数領域係数のパワーPi(k)の平均値を計算し、該有効ノイズ充填サブバンドにおけるゼロビットの符号化サブバンドのノイズ成分平均パワー
【数６０】
を得ることに用いられることと、ノイズ成分平均パワー
【数６１】
と音調成分平均パワー
【数６２】
との比の値を計算し、該有効ノイズ充填サブバンドのノイズレベルを得ることに用いられることとを含み、
その中、有効ノイズ充填サブバンドとは、ゼロビットの符号化サブバンドを含むノイズ充填サブバンドである請求項27に記載のシステム。
【請求項３０】
前記ノイズレベル推定ユニットは、さらにノイズレベル計算モジュール及びノイズレベル符号化モジュールに接続し、すべての有効ノイズ充填サブバンドにビットを分配し、または1つまたは複数の低周波数の有効ノイズ充填サブバンドをスキップ、後続の比較的に高周波数の有効ノイズ充填サブバンドにビットを分配し、及びノイズレベル計算モジュール及びノイズレベル符号化モジュールに通知することに用いられるビット分配モジュールを含み、
前記ノイズレベル計算モジュールはビットを分配されたノイズ充填サブバンドのみに対してノイズレベルを計算し、
前記ノイズレベル符号化モジュールは、ビット分配モジュールが分配したビットを利用して前記ノイズレベルに対して量子化符号化を行う請求項27に記載のシステム。
【請求項３１】
ビットストリームデマルチプレクサ（DeMUX）、符号化サブバンド振幅エンベロープ復号化ユニット、ビット分配ユニット、周波数領域係数復号化ユニット、周波数スペクトル再建ユニット、逆修正離散コサイン変換（IMDCT）ユニットを含むオーディオ復号化システムであって、その中には、
前記DeMUXは、復号化待ちのビットストリームの中から振幅エンベロープ符号化ビット、周波数領域係数符号化ビット及びノイズレベル符号化ビットを分離することに用いられるものであり、
前記振幅エンベロープ復号化ユニットは、前記DeMUXに接続し、前記ビットストリームデマルチプレクサが出力した振幅エンベロープ符号化ビットに対して復号化を行い、各符号化サブバンドの振幅エンベロープ量子化指数を得ることに用いられるものであり、
前記ビット分配ユニットは、前記振幅エンベロープ復号化ユニットに接続し、ビットの分配を行い、各符号化サブバンドにおける各の周波数領域係数に分配された符号化ビット数を得ることに用いられるものであり、
周波数領域係数復号化ユニットは、振幅エンベロープ復号化ユニット及びビット分配ユニットに接続し、符号化サブバンドに対して復号化、逆量子化及び逆正規化を行い、周波数領域係数を得ることに用いられるものであり、
ノイズレベル復号化ユニットは、前記ビットストリームデマルチプレクサ及びビット分配ユニットに接続し、ノイズレベル符号化ビットに対して復号化逆量子化を行い、ノイズレベルを得ることに用いられるものであり、
前記周波数スペクトル再建ユニットは、前記ノイズレベル復号化ユニット、周波数領域係数復号化ユニット、振幅エンベロープ復号化ユニット及びビット分配ユニットに接続し、ゼロビットの符号化サブバンドに対して周波数帯コピーを行い、振幅エンベロープ復号化ユニットが出力した振幅エンベロープにより該符号化サブバンドの全体のエネルギー充填レベルを制御し、ノイズレベル復号化ユニットが出力したノイズレベルによりノイズ充填と周波数帯コピーとのエネルギーの比例を制御し、再建のゼロビットの符号化サブバンドの周波数領域係数を得ることに用いられるものであり、
IMDCTユニットは、前記周波数スペクトル再建ユニットに接続し、ゼロビットの符号化サブバンドの周波数スペクトル再建を完成した後の周波数領域係数に対してIMDCTを行い、オーディオ信号を得ることに用いられるものであるオーディオ復号化システム。
【請求項３２】
前記周波数スペクトル再建ユニットは、次第に接続する周波数帯コピーサブユニット、エネルギー調整サブユニット及びノイズ充填サブユニットを含み、その中には、
周波数帯コピーサブユニットは、ゼロビットの符号化サブバンドに対して周波数帯コピーを行うことに用いられるものであり、
エネルギー調整サブユニットは、ゼロビットの符号化サブバンドが周波数帯コピーされた後得られた周波数領域係数の振幅エンベロープ（
【数６３】
とする）を計算し、及び、ノイズレベル復号化ユニットが出力したノイズレベルによりコピーされた後得られた周波数領域係数に対してエネルギー調整を行い、エネルギー調整の一般式が
【数６４】
であることに用いられるものであり、
その中、
【数６５】
はゼロビットの符号化サブバンドrのエネルギー調整された後の周波数領域係数を表し、
【数６６】
はゼロビットの符号化サブバンドrがコピーされた後得られた周波数領域係数を表し、
【数６７】
はゼロビットの符号化サブバンドrがコピーされた後得られた周波数領域係数
【数６８】
の振幅エンベロープであり、rms(r)はゼロビットの符号化サブバンドrの符号化された前の周波数領域係数の振幅エンベロープであり、振幅エンベロープの量子化指数の逆量子化から得られ、
【数６９】
は、ゼロビットの符号化サブバンドrの周波数帯コピーのエネルギー制御スケール因子であり、その値がゼロビットの符号化サブバンドrの所在のノイズ充填サブバンドのノイズレベルにより決定され、具体的な計算式が以下のようであり、
【数７０】
【数７１】
が充填エネルギースケール因子であり、全体の充填エネルギーのゲインを調
整することに用いられ、その値の範囲が（0、1）であり、
【数７２】
は復号化逆量子化により得られたノイズ充填サブバンドjのノイズレベルであり、その中、jがゼロビットの符号化サブバンドrの所在のノイズ充填サブバンドのシリアルナンバであり、
ノイズ充填サブユニットは、ノイズレベル復号化ユニットが出力したノイズレベルによりエネルギー調整された後の周波数領域係数に対してノイズ充填を行い、ノイズ充填の一般式が
【数７３】
であることに用いられるものであり、
その中、
【数７４】
はゼロビットの符号化サブバンドrの再建周波数領域係数を表し、
【数７５】
は、ゼロビットの符号化サブバンドrのエネルギー調整された後のコピー周波数領域係数を表し、rms(r) はゼロビットの符号化サブバンドrの符号化前の周波数領域係数の振幅エンベロープであり、振幅エンベロープの量子化指数の逆量子化により得られ、
【数７６】
がランダム位相生成器であり、ランダム位相値を生成し、その戻り値が+1または-1であり、
【数７７】
がゼロビットの符号化サブバンドrのノイズレベル制御スケール因子であり、その値がゼロビットの符号化サブバンドrの所在のノイズ充填サブバンドのノイズレベルにより決定され、具体的な計算式が以下のようであり、
【数７８】
その中、
【数７９】
が充填エネルギースケール因子であり、全体の充填エネルギーのゲインを調整することに用いられ、その値の範囲が（0、1）であり、
【数８０】
は復号化逆量子化により得られたノイズ充填サブバンドjのノイズレベルであり、その中、jがゼロビットの符号化サブバンドrの所在のノイズ充填サブバンドのシリアルナンバである請求項31に記載のシステム。
【請求項３３】
前記周波数帯コピーサブユニットは、次第に接続する音調位置捜索モジュール、周期及びソース周波数段域計算モジュール、ソース周波数段域コピー開始シリアルナンバ計算モジュール及び周波数帯コピーモジュールを含み、その中には、
音調位置捜索モジュールは、MDCT周波数領域係数においてオーディオ信号のある音調の所在位置を捜索することに用いられるものであり、
周期及びソース周波数段域計算モジュールは、音調の所在位置によりコピーに用いる周波数帯コピー周期及びソース周波数段域を確定することに用いられ、該周波数帯コピー周期が0周波数ポイントから音調位置までの周波数ポイントの帯域幅であり、前記ソース周波数段域は、0周波数ポイントが後へ周波数帯コピー偏移copyband_offsetを偏移する周波数ポイントから音調位置の周波数ポイントが後へ前記copyband_offsetを偏移する周波数ポイントまでの周波数段域であり、
ソース周波数段域コピー開始シリアルナンバ計算モジュールは、ソース周波数段域及び周波数帯コピーを行う必要があるゼロビットの符号化サブバンドの開始シリアルナンバにより該ゼロビットの符号化サブバンドのソース周波数段域コピー開始シリアルナンバを計算することに用いられるものであり、
前記周波数帯コピーモジュールは、周波数帯コピー周期を周期とし、ソース周波数段域コピー開始シリアルナンバからソース周波数段域の周波数領域係数周期性をゼロビットの符号化サブバンドにコピーし、ゼロビットの符号化サブバンドの内の最高周波数が捜索して得られた音調の周波数より小さい場合、該周波数ポイントがただノイズ充填を採用して周波数スペクトル再建を行うことに用いられるものである請求項31に記載のシステム。
【請求項３４】
前記音調位置捜索モジュールは、以下の方法を採用して音調の所在位置を捜索する。第1周波数段域のMDCT周波数領域係数に対して絶対値または平方値を取って、平滑化フィルタを行い、平滑化フィルタの結果により、第1周波数段域フィルタ出力値の最大極値の所在の位置を捜索し、該最大極値が所在している位置が、即ち、音調の所在位置である請求項33に記載のシステム。
【請求項３５】
前記音調位置捜索モジュールが該第1周波数段域のMDCT周波数領域係数に対して絶対値を取って、平滑化フィルタを行う計算式が
【数８１】
であり、
或いは、該第1周波数段域の周波数領域係数平方値に対して平滑化フィルタの計算が
【数８２】
であり
そのなか、
【数８３】
が平滑化フィルタ係数であり、
【数８４】
が第iフレームの第k個の周波数ポイントのフィルタ出力値であり、
【数８５】
が第iフレームの第k個の周波数ポイントの復号化後のMDCT係数であり、且つi=0の場合、
【数８６】
= 0とする請求項33に記載のシステム。
【請求項３６】
前記第1周波数段域は、周波数スペクトルの統計特性により確定されたエネルギーが比較的に集中している低周波数の周波数段域であり、その中、低周波数とは、1/2の信号総帯域幅より小さい周波数スペクトル成分である請求項33に記載のシステム。
【請求項３７】
前記音調位置捜索モジュール計算モジュールは、直接に第1周波数段域が対応する周波数領域係数のフィルタ出力値の中から最初の最大値を捜索し、該最大値を第1周波数段域フィルタ出力値の最大極値とする請求項33に記載のシステム。
【請求項３８】
前記音調位置捜索モジュールは、フィルタ出力値の最大極値を確定する時、該第1周波数段域の中の一段域を第2周波数段域として、先ず、第2周波数段域が対応する周波数領域係数のフィルタ出力値の中から最初の最大値を捜索し、そして該最初の最大値が対応する周波数領域係数の位置により異なる処理を行い、
a．該最初の最大値が第2周波数段域最低周波数の周波数領域係数のフィルタ出力値であると、該第2周波数段域最低周波数の周波数領域係数のフィルタ出力値を第1周波数段域における一つ前のより低い周波数の周波数領域係数のフィルタ出力値と比較して、次第に前へ比較し続け、現在の周波数領域係数のフィルタ出力値が一つ前の周波数領域係数のフィルタ出力値より大きい場合、該現在の周波数領域係数のフィルタ出力値が最終に確定された最大極値であり、或いは、比較し続けて、第1周波数段域の最低周波数の周波数領域係数のフィルタ出力値が次の周波数領域係数のフィルタ出力値より大きい場合、第1周波数段域の最低周波数の周波数領域係数のフィルタ出力値が最終に確定された最大極値であり、
b．該最初の最大値が第2周波数段域最高周波数の周波数領域係数のフィルタ出力値である場合、該第2周波数段域最高周波数の周波数領域係数のフィルタ出力値を第1周波数段域における次のより高い周波数の周波数領域係数のフィルタ出力値と比較して、次第に後へ比較し続け、現在の周波数領域係数のフィルタ出力値が次の周波数領域係数のフィルタ出力値より大きい場合、該現在の周波数領域係数のフィルタ出力値が最終に確定された最大極値であり、或いは、比較して第1周波数段域の最高周波数の周波数領域係数のフィルタ出力値が一つ前の周波数領域係数のフィルタ出力値より大きい場合、第1周波数段域の最高周波数の周波数領域係数のフィルタ出力値が最終に確定された最大極値であり、
c．該最初の最大値が第2周波数段域最低周波数と最高周波数の間の周波数領域係数のフィルタ出力値であると、該最初の最大値が対応する周波数領域係数が音調の所在の位置であり、即ち、該最初の最大値が最終に確定された最大極値である請求項33に記載のシステム。
【請求項３９】
前記ソース周波数段域コピー開始シリアルナンバ計算モジュールは、周波数帯コピーを行う必要があるゼロビットの符号化サブバンドのソース周波数段域コピー開始シリアルナンバの計算過程は、現在に周波数領域係数を再建することが必要があるゼロビットの符号化サブバンドの開始周波数ポイントのシリアルナンバを得て、fillband_start_freqとし、音調が対応する周波数ポイントのシリアルナンバをTonal_posとし、Tonal_posに1を加えてコピー周期copy_periodを得て、ソース周波数段域開始シリアルナンバをcopyband_offsetとし、fillband_start_freqの値に循環にcopy_periodを減って、該値がソース周波数段域のシリアルナンバの値区間に位置するまでして、該値がソース周波数段域コピー開始シリアルナンバであり、copy_pos_modとすることを含む請求項33に記載のシステム。
【請求項４０】
周波数帯コピーモジュールが周波数帯コピーを行う場合、ソース周波数段域コピー開始シリアルナンバを開始とする周波数領域係数を順次に後へfillband_start_freqを開始位置とするゼロビットの符号化サブバンドにコピーしつづけ、ソース周波数段域コピーの周波数ポイントがTonal_pos+copyband_offset周波数ポイントに達した後、再び第copyband_offset個の周波数ポイントから開始する周波数領域係数を続けて後へ該ゼロビットの符号化サブバンドにコピーし、そのように続け、現在のゼロビットの符号化サブバンドのすべての周波数領域係数コピーを完成するまで行う請求項33に記載のシステム。
【請求項４１】
前記ビット分配ユニットは、
すべての有効ノイズ充填サブバンドにビットを分配し、または1つまたは複数の低周波数の有効ノイズ充填サブバンドをスキップし、後続の比較的に高周波数の有効ノイズ充填サブバンドにビットを分配することにさらに用いられ、
前記エネルギー調整サブユニットは、周波数帯コピーされた後得られた周波数領域係数にエネルギー調整を行い、
前記ノイズ充填サブユニットは、エネルギー調整された後の周波数領域係数、及びビットを分配しないノイズ充填サブバンドにおけるゼロビットの符号化サブバンドにノイズ充填を行う請求項31に記載のシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１３−１５５９８（Ｐ２０１３−１５５９８Ａ）
【公開日】平成２５年１月２４日（２０１３．１．２４）
【国際特許分類】
【出願番号】特願２０１１−１４６９０２（Ｐ２０１１−１４６９０２）
【出願日】平成２３年６月３０日（２０１１．６．３０）
【出願人】（５０６０７３９１５）中興通訊股▲ふん▼有限公司 (105)
【公開日】平成２５年１月２４日（２０１３．１．２４）
【国際特許分類】
【出願日】平成２３年６月３０日（２０１１．６．３０）
【出願人】（５０６０７３９１５）中興通訊股▲ふん▼有限公司 (105)
[ Back to top ]