信号ノイズ除去のための方法およびデバイス、ならびに音声周波数復号のためのシステム
音声周波数符号化/復号技術分野における信号ノイズ除去方法は、調整されることになるスペクトルを含むフレームのフレーム間相関関係の程度に基づいて、前記調整されることになるスペクトルの係数と高い相関関係を有する少なくとも2つのスペクトル係数を選択するステップと、前記調整されることになるスペクトルの係数に前記選択された少なくとも2つのスペクトル係数の重み付けを加えて、前記調整されることになるスペクトルの前記係数に関する予測値を取得するステップと、復号信号のスペクトルを調整するために、この予測値を使用し、次いで、調整された復号信号を出力するステップとを含む。信号ノイズ除去方法に対応する信号ノイズ除去デバイスおよび信号ノイズ除去デバイスを使用した音声周波数復号のためのシステムも提供される。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、その全体が参照により本明細書に組み込まれている、2009年3月31日に中国特許庁に出願した、「SIGNAL DE-NOISING METHOD, SIGNAL DE-NOISING APPARATUS, AND AUDIO DECODING SYSTEM」という表題の中国特許出願第200910133808.6号の優先権を主張するものである。
【０００２】
本発明は、音声符号化/復号技術の分野に関し、詳細には、信号ノイズ除去方法、信号ノイズ除去装置、および音声復号システムに関する。
【背景技術】
【０００３】
多くの広帯域オーディオコーデックまたは超広帯域オーディオコーデックでは、コードレートが低いとき、広帯域部分内または超広帯域部分内のスペクトルに関して帯域幅拡張(BWE)パラメータ符号化が使用され、この場合、BWEパラメータ符号化は、少数のビットが使用され、帯域幅が確保され、品質が容認可能であることを特徴とし、コードレートが高いとき、広帯域部分内または超広帯域部分内のスペクトルに量子化符号化が実行され、この場合、量子化符号化は、多くのビットが使用され、精度が高く、品質が良好であることを特徴とする。
【０００４】
先行技術において広帯域または超広帯域をサポートする音声符号化/復号システムの構造図に関して、図1および図2を参照することが可能である。図1は、先行技術において、広帯域または超広帯域をサポートする音声符号化の構造図である。図1に示されるように、この符号化システムは、層状構造を採用する。コア符号器は、第1層コードストリームを出力するために、低周波数情報を符号化する。BWE符号器は、第2層コードストリームを出力するために、少数のビットを使用することによって、高周波数帯域スペクトルを符号化する。量子化符号器は、第3層コードストリームを出力するために、残りのビットを使用することによって、高周波数帯域スペクトルを量子化および符号化する。
【０００５】
図2は、先行技術において、広帯域または著広帯域をサポートする音声復号システムの構造図である。図2に示されるように、この復号システムも層状構造を採用する。コア復号器は、第1層コードストリームの低周波数情報を復号するように構成される。BWE復号器は、第2層コードストリームのBWE情報を復号するように構成される。逆量子化復号器は、残りのビットの第3層コードストリームの高周波数帯域情報を復号および逆量子化するように構成される。最終的に、この復号システムは、帯域合成音声信号を出力するために、3つの層のコードストリームの周波数帯域を合成する。一般に、コア復号器によって出力された信号は時間領域信号であり、BWE復号器と逆量子化復号器とによって出力された信号は周波数領域信号であり、したがって、第2層および第3層のコードストリームの周波数領域信号は、周波数帯域が合成されるとき、帯域合成された時間領域音声信号を出力するために、時間領域信号に変換される。
【０００６】
復号の過程で、高周波数帯域スペクトル信号の場合、コードレートが低いとき、復号システムは、BWE符号化情報を取得し、それによって、基本的な高周波数帯域品質を確保するために、第2層コードストリームだけを復号することが可能であり、コードレートが高いとき、復号システムは、より良好な高周波数帯域品質を取得するために、第3層コードストリームをさらに復号することが可能である。
【０００７】
この層状構造では、多くの場合、スペクトル量子化符号化のために予約された第3層コードストリームのビットが不十分であるため、量子化器はビット割当てを実行する。この量子化器は、高い精度の量子化を実行するために、一部の重要な周波数帯域に多くのビットを割り当て、一方、低い精度の量子化を実行するために、一部の重要性の低い周波数帯域により少ないビットを割り当て、さらに、一部の重要性が最も低い周波数帯域にはビットを割り当てない。すなわち、この量子化器は、重要性が最も低い周波数帯域を量子化しない。
【０００８】
先行技術では、量子化されていない周波数帯域のスペクトルにいくつかの処理方法が実行される。すなわち、1.BWEスペクトルを保持すること、2.逆量子化を介して取得されたスペクトルの部分を複製して、そのスペクトル部分のエネルギーを調整し、次いで、量子化されていない周波数帯域内のそのスペクトルの部分を充填すること、および3.量子化されていないスペクトルを0に設定するか、または量子化されていないスペクトルをノイズで直接的に充填することである。
【０００９】
本発明の実施中、本発明者らは、先行技術は、以下の理由のうちの1つまたは複数により、明らかなノイズと悪い音響効果とを引き起こすことを見出している。
【００１０】
1.量子化されていない周波数帯域のスペクトルに関してBWEスペクトルが保持されている場合、量子化されたスペクトル、および量子化されていない周波数帯域のスペクトルに関して保持されたBWEスペクトルは、位置情報および/またはエネルギー情報に関して不整合であり、それによって、ノイズが発生する。2.多くのスペクトルが量子化されておらず、0に設定されているか、またはノイズで満たされている場合、量子化されていない周波数帯域のスペクトルに対してノイズが直接的に発生する。ノイズは、不整合またはゼロ設定およびノイズ充填により、復号の後で、周波数帯域合成の間に発生し、それによって、音声信号の音響効果を悪化させる。
【発明の概要】
【課題を解決するための手段】
【００１１】
本発明の実施形態は、復号の後で、周波数帯域合成によって生成されたノイズを削減して、音響効果を改善できる信号ノイズ除去方法、信号ノイズ除去装置、および音声復号システムを提供する。
【００１２】
詳細には、本発明の一実施形態は、
調整されることになるスペクトル係数が存在するフレームのフレーム間相関関係の程度に従って、その調整されることになるスペクトル係数と高い相関関係を有する少なくとも2つのスペクトル係数を選択するステップと、
その調整されることになるスペクトル係数の予測値を獲得するために、それらの少なくとも2つの選択されたスペクトル係数と、その調整されることになるスペクトル係数とに重み付けを実行するステップと、
その獲得された予測値を使用することによって、復号信号のスペクトルを調整して、調整された復号信号を出力するステップとを含む信号ノイズ除去方法を提供する。
【００１３】
本発明の一実施形態は、
調整されることになるスペクトル係数が存在するフレームのフレーム間相関関係の程度に従って、その調整されることになるスペクトル係数と高い相関関係を有する少なくとも2つのスペクトル係数を選択するように構成された選択ユニットと、
その調整されることになるスペクトル係数の予測値を獲得するために、選択ユニットによって選択された少なくとも2つのスペクトル係数と、その調整されることになるスペクトル係数とに重み付けを実行するように構成された重み付けユニットと、
重み付けユニットによって獲得された予測値を使用することによって、復号信号のスペクトルを調整して、調整された復号信号を出力するように構成された調整および出力ユニットとを含む信号ノイズ除去装置を提供する。
【００１４】
本発明の一実施形態は、コア復号器と、BWE復号器と、逆量子化復号器と、信号ノイズ除去装置とを含む音声復号システムであって、
コア復号器が、第1層コードストリームの低周波数情報を復号するように構成され、
BWE復号器が、第2層コードストリームのBWE情報を復号するように構成され、
逆量子化復号器が、残りのビットの第3層コードストリームの高周波数帯域情報を復号および逆量子化するように構成され、
信号ノイズ除去装置が、BWE復号器と逆量子化復号器とによって出力された復号された情報を受信して、その復号された情報内の調整されることになるスペクトル係数を決定し、その調整されることになるスペクトル係数の獲得された予測値に従って、その復号された情報内のスペクトル係数を調整するように構成された音声復号システムを提供する。
【００１５】
本発明の実施形態による技術的解決策から、調整されることになるスペクトル係数は、その調整されることになるスペクトル係数の予測値を獲得するために、少なくとも2つの関連するスペクトル係数を用いて重み付けされ、復号信号のスペクトルは、その調整されることになるスペクトル係数に従って調整され、その結果、予測されるスペクトル係数(すなわち、調整されることになるスペクトル係数の予測値)およびその他の関連するスペクトル係数が互いに適合可能であり、したがって、異なる量子化精度に従って取得されたスペクトル係数が互いに適合可能であり、それによって、復号信号のスペクトルの平滑さを増大させ、復号の後で、周波数帯域合成によって生成されたノイズを削減して、より良好な音響効果を達成するために、帯域合成された音声信号を可能にすることを理解されよう。
【００１６】
本発明または先行技術の実施形態による技術的解決策をより明瞭に例示するために、それらの実施形態または先行技術を説明するために必要とされる添付の図面が下で簡単に紹介される。以下の明細書において添付の図面は、単に本発明の実施形態のいくつかを示し、当業者が、創造的な努力なしに、添付の図面に従って、その他の図面を取得できる点は明らかである。
【図面の簡単な説明】
【００１７】
【図１】既存の音声符号化システムの構造図である。
【図２】既存の音声復号システムの構造図である。
【図３】本発明の実施形態1による信号ノイズ除去方法の概略的流れ図である。
【図４】本発明の実施形態2による信号ノイズ除去方法の概略的流れ図である。
【図５】本発明の実施形態4による信号ノイズ除去方法の概略的流れ図である。
【図６】本発明の実施形態5による音声復号システムの構造図である。
【発明を実施するための形態】
【００１８】
本発明の実施形態の技術的解決策は、添付の図面を参照して以下で明瞭に説明される。説明される実施形態は、本発明の実施形態のすべてではなく、単なる一部であることは明らかである。創造的な努力なしに、本発明の実施形態に基づいて当業者によって取得されるすべてのその他の実施形態は、本発明の保護範囲に包含されるべきである。
【００１９】
実施形態1
図3を参照すると、本発明の一実施形態は、信号ノイズ除去方法を提供する。この方法は、以下のステップを含む。
【００２０】
ステップ31。調整されることになるスペクトル係数が存在するフレームのフレーム間相関関係の程度に従って、その調整されることになるスペクトル係数と高い相関関係を有する少なくとも2つのスペクトル係数を選択する。
【００２１】
ステップ32。その調整されることになるスペクトル係数の予測値を獲得するために、それらの少なくとも2つの選択されたスペクトル係数とその調整されることになるスペクトル係数とに重み付けを実行する。
【００２２】
ステップ33。その獲得された予測値を使用することによって、復号信号のスペクトルを調整して、調整された復号信号を出力する。
【００２３】
本発明の実施形態による信号ノイズ除去方法では、調整されることになるスペクトル係数は、その調整されることになるスペクトル係数の予測値を獲得するために、少なくとも2つの関連するスペクトル係数を用いて重み付けされ、復号信号のスペクトルは、その調整されることになるスペクトル係数の予測値に従って調整され、その結果、予測されるスペクトル係数(すなわち、調整されることになるスペクトル係数の予測値)およびその他の関連するスペクトル係数は互いに適合可能であり、したがって、異なる量子化精度に従って取得されたスペクトル係数は互いに適合可能であり、それによって、復号信号のスペクトルの平滑さを増大させ、復号の後で、周波数帯域合成によって生成されたノイズを削減して、より良好な音響効果を達成するために、帯域合成された音声信号を可能にする。
【００２４】
実施形態2
図4を参照すると、本発明の一実施形態は、信号ノイズ除去方法を提供する。この方法は、以下のステップを含む。
【００２５】
ステップ41。スペクトル係数の量子化精度に従って、復号信号内で調整されることになるスペクトル係数を決定する。
【００２６】
復号の終了時に、コア復号器、BWE復号器、および逆量子化復号器はそれぞれ、受信された符号化信号を復号し、次いで、復号信号を出力する。この復号信号は、コア復号器によって出力された低周波数信号、BWE復号器によって出力されたBWE高周波数信号、および逆量子化復号器によって出力されたその他の高周波数信号から形成される。BWE復号器によって出力されたBWE高周波数信号および逆量子化復号器によって出力されたその他の高周波数信号は、周波数領域信号である。この決定された調整されることになるスペクトル係数は、量子化されていないスペクトル係数および/または量子化精度しきい値よりも低い量子化精度を有するスペクトル係数を含みうる。本明細書において、量子化精度しきい値は、要件に従って設定可能である。
【００２７】
例えば、スカラー量子化では、復号信号の最小ビットレートが周波数サンプル当たり1ビットである場合、1つの周波数サンプルは、1ビットだけのスペクトル係数に対応し(すなわち、周波数サンプルのビットレートは、周波数サンプル当たり1ビットであり)、この場合、1ビットは、周波数サンプルの符号情報だけを示すことが可能であり、ビット位置は、周波数サンプルの振幅情報を示さず(すなわち、ゼロビットであり)、したがって、周波数サンプル当たり1ビットのビットレートを有する周波数サンプルは、振幅情報を有さず(周波数サンプルの量子化精度は0であると見なすことができ)、周波数サンプルは量子化されておらず、したがって、周波数サンプル当たり1ビットのビットレートを有する周波数サンプルは、調整されることになる周波数サンプルであることが決定されうる。ベクトル量子化では、周波数サンプルを有するベクトルの平均量子化精度をまず決定することが可能である。量子化精度が下限しきい値、例えば、周波数サンプル当たり0.5ビットよりも低い場合、そのベクトル内のすべての周波数サンプルは調整される必要があることが決定される。平均量子化精度が上限しきい値、例えば、周波数サンプル当たり2ビットよりも大きい場合、そのベクトル内の周波数サンプルは調整される必要がないことが決定される。平均量子化精度が下限しきい値と上限しきい値、例えば、周波数サンプル当たり0.5ビットと周波数サンプル当たり2ビットの間である場合、そのベクトル内にベクトル量子化されていない周波数サンプルが存在するかどうかがさらに決定され、そのベクトル内にかかる周波数サンプルが存在する場合、ベクトル量子化されていない周波数サンプルは調整される必要があることが決定され、ベクトル内にかかる周波数サンプルが存在しない場合、周波数サンプルは調整される必要がない。
【００２８】
ステップ42。調整されることになるスペクトル係数が存在するフレームのフレーム間相関関係の程度に従って、3つの重み付けモード、すなわち、高いフレーム間相関関係重み付けモード、低いフレーム間相関関係重み付けモード、および中間のフレーム間相関関係重み付けモードから1つの重み付けモードを選択する。
【００２９】
フレーム間相関関係の程度は、相関関係に関するパラメータ、例えば、BWEアルゴリズムに従って判定されうる。このアルゴリズムは、フレーム間相関関係の程度を示すためにフレームタイプを使用する。過渡的なタイプのフレームは、フレーム間相関関係が低いことを表示し、調和タイプのフレームは、フレーム間相関関係が高いことを表示し、通常のタイプのフレームは、フレーム間相関関係が中間であることを表示する。BWEアルゴリズムでは、フレームタイプは相互関係に関するパラメータである。フレーム間相関関係の程度は、フレームタイプに従って決定可能であり、したがって、重み付けモードが決定される。
【００３０】
当然、計算を通じてフレーム間相関関係の程度を決定することも可能である。例えば、調整されることになるスペクトル係数が存在するフレームと隣接するフレームとの間の相関関係が、相関関係計算方法を使用することによってまず計算される。相関関係が上限しきい値よりも大きい場合、調整されることになるスペクトル係数が存在するフレームのフレーム間相関関係は高い。相関関係が下限しきい値よりも低い場合、調整されることになるスペクトル係数が存在するフレームのフレーム間相関関係は低い。その他の状況では、例えば、相関関係が上限しきい値と下限しきい値の間である場合、調整されることになるスペクトル係数が存在するフレームのフレーム間相関関係は中間である。
【００３１】
ステップ42において、フレーム間相関関係の程度に従って、異なる重み付けモードが選択される。フレーム間相関関係が高い場合、高いフレーム間相関関係重み付けモードが選択される。フレーム間相関関係が低い場合、低いフレーム間相関関係重み付けモードが選択される。フレーム間相関関係が中間である場合、中間のフレーム間相関関係重み付けモードが選択される。様々な重み付けモードが様々な重みに対応し、フレーム間スペクトル係数およびフレーム内スペクトル係数を重み付けするために使用される。一般に、フレーム間相関関係が高ければ高いほど、フレーム間スペクトル係数の重みは高くなり、フレーム内スペクトル係数の重みは低くなり、フレーム間相関関係が低ければ低くいほど、フレーム間スペクトル係数の重みは低くなり、フレーム内スペクトル係数の重みは高くなる。
【００３２】
すなわち、フレーム間スペクトル係数の重みは、フレーム間相関関係に正比例し、フレーム内スペクトル情報の重みは、フレーム間相関関係に反比例する。高いフレーム間相関関係を有するフレームの場合、フレーム間スペクトル係数の重みは大きく、フレーム内スペクトル係数の重みは小さいか、またはゼロに設定される。低いフレーム間相関関係を有するフレームの場合、フレーム内スペクトル係数の重みは大きく、フレーム間スペクトル係数の重みは小さいか、またはゼロに設定される。中間のフレーム間相関関係を有するフレームの場合、フレーム内スペクトル係数およびフレーム間スペクトル係数の重みの大きさは、フレーム間相関関係およびフレーム内相関関係の程度を比較することによって決定されうる。
【００３３】
ステップ43。選択された重み付けモードに従って、調整されることになるスペクトル係数と高い相関関係を有する少なくとも2つのスペクトル係数を決定する。
【００３４】
ステップ42において重み付けモードが選択されたとき、その重み付けモードに従って、調整されることになるスペクトル係数と高い相関関係を有する少なくとも2つのスペクトル係数を決定するステップは、以下の通りである。フレーム間相関関係が高いことを表示する高いフレーム間相関関係重み付けモードが選択されたとき、調整されることになるスペクトル係数が存在するフレームに隣接するフレーム内の少なくとも2つのスペクトル係数を決定することが可能である。フレーム間相関関係が低いことを表示する低いフレーム間相関関係重み付けモードが選択されたとき、調整されることになるスペクトル係数が存在するフレーム内の少なくとも2つのスペクトル係数を決定することが可能である。フレーム間相関関係が中間であることを表示する中間のフレーム間相関関係重み付けモードが選択されたとき、調整されることになるスペクトル係数が存在するフレーム内および調整されることになるスペクトル係数が存在するフレームに隣接するフレーム内の両方の少なくとも2つのスペクトル係数を決定することが可能である。
【００３５】
ステップ44。調整されることになるスペクトル係数の予測値を獲得するために、それらの少なくとも2つの決定されたスペクトル係数とその調整されることになるスペクトル係数とに重み付けを実行する。
【００３６】
それらの少なくとも2つの決定されたスペクトル係数とその調整されることになるスペクトル係数とに重み付けを実行するための方法は、以下の情報、すなわち、1. 逆量子化復号器によって出力された量子化されたスペクトル係数、2.BWE復号器によって出力されたBWEスペクトル係数、および3.予測を通じて取得されたスペクトル係数の既存の予測値のうちの少なくとも1つのタイプの重み付け値を使用することによって予測を実行することが可能であるというものでありうる。スペクトル係数およびそのスペクトル係数に対応する重みの積は、スペクトル係数の重み付け値である。調整されることになるスペクトル係数は、量子化されていない周波数サンプルに対応するスペクトル係数であってよく、したがって、ステップ44において、それらの少なくとも2つのスペクトル係数とその調整されることになるスペクトル係数とに重み付けが実行されるとき、調整されることになるスペクトル係数の重み付け値は0であってよく、すなわち、調整されることになるスペクトル係数の予測値を獲得するために、少なくとも2つの決定されたスペクトル係数の重み付け値だけが採用される。
【００３７】
詳細には、高いフレーム間相関関係重み付けモードの場合、スペクトル係数は、以下の情報、すなわち、(1)先のフレームの予測値、(2)先のフレームの量子化されたスペクトル係数、および(3)先のフレームのBWEスペクトル係数のうちの少なくとも1つのタイプの重み付け値に従って予測される。
【００３８】
低いフレーム間相関関係重み付けモードの場合、スペクトル係数は、以下の情報、すなわち、(1)現在のフレームの量子化されたスペクトル係数、(2)現在のフレームのBWEスペクトル係数、および(3)現在のフレームの既存の予測値のうちの少なくとも1つのタイプの重み付け値に従って予測される。
【００３９】
中間のフレーム間相関関係重み付けモードの場合、スペクトル係数は、以下の情報、すなわち、(1)先のフレームまたは現在のフレームの既存の予測値、(2)先のフレームまたは現在のフレームの量子化されたスペクトル係数、および(3)先のフレームまたは現在のフレームのBWEスペクトル係数のうちの少なくとも1つのタイプの重み付け値に従って予測される。
【００４０】
それぞれのタイプのスペクトル情報の重みは、それに応じて、調整されることになる周波数サンプルの量子化精度に従って調整されることも可能である点に留意されたい。重み付け予測の間、調整されることになるスペクトル係数が量子化結果を有する場合、その量子化結果に関して、重み付け予測を依然として実行することが可能であり、その重みは、スペクトル係数の量子化精度に正比例する。
【００４１】
ステップ45。獲得された予測値のエネルギーを制御して、復号信号のスペクトルを調整する。
【００４２】
このステップでは、調整されることになるスペクトル係数のエネルギーの上限しきい値がまず決定され、次いで、調整されたスペクトル係数のエネルギーがその上限しきい値以下の範囲になるように制御される。この上限しきい値は、量子化エラーまたは調整されることになるスペクトル係数の範囲内の最小非ゼロ量子化値(minimum nonzero quantization value)に従って決定可能であり、この場合、量子化エラーまたは最小非ゼロ量子化値は先行技術を介して取得可能であり、詳細は本明細書において再度説明されない。
【００４３】
獲得された予測値のエネルギーを制御して、復号信号のスペクトルを調整するステップは、調整されることになるスペクトル係数の修正値を獲得するために、上限しきい値に従って、調整されることになるスペクトル係数の予測値を修正するステップであって、その修正値のエネルギーが上限しきい値以下の範囲である、修正するステップ、およびその修正値を使用することによって、復号信号のスペクトルを調整するステップであって、その予測値が上限しきい値以下であるとき、その修正値が予測値に等しく、その予測値が上限しきい値よりも大きいとき、その修正値が上限しきい値に等しい、調整するステップであってよい。
【００４４】
詳細には、予測後の周波数サンプルのスペクトル係数のエネルギーが調整されることになるスペクトル係数のエネルギーの上限しきい値よりも大きい場合、周波数サンプルの量子化誤差の大きさmin_Dまたは最小量子化値min_Q(ゼロポイントを除いた、量子化されたスペクトル係数内の最小振幅値)は、上限しきい値thrとして抽出(または、推定)され、実際の状況に従って、しきい値係数(a<=1)が決定される。調整されることになるスペクトル係数の予測値のエネルギーがa×thrよりも大きい場合、予測値のエネルギーは、a×thr以下に調整される。本明細書において、しきい値係数aは、実験統計に従って取得された経験値を使用することによって決定可能であるか、またはaの大きさは、量子化精度に従って制御されることも可能である。
【００４５】
量子化精度が低ければ低いほど、しきい値係数aの値は大きくなる。量子化精度が周波数サンプルよりも高い場合、しきい値係数aの値は、1から1よりも低い数値までの値になるように制御される。例えば、量子化精度が周波数サンプル当たり1.5ビットよりも高いとき、thr=min_Dおよびa=0.7が設定され、量子化精度が周波数サンプル当たり0.5ビットよりも低いとき、thr=min_Qおよびa=1が設定され、量子化精度が周波数サンプル当たり0.よりも高く、周波数サンプル当たり1.5ビットよりも低いとき、thr=min_Dおよびa=1が設定される。
【００４６】
本発明の実施形態による信号ノイズ除去方法では、調整されることになるスペクトル係数は、スペクトル係数の量子化精度に従って決定され、調整されることになるスペクトル係数が存在するフレームのフレーム間相関関係の程度に従って、異なる重み付けモードが選択され、その選択された重み付けモードに従って、調整されることになるスペクトル係数と高い相関関係を有する少なくとも2つのスペクトル係数が決定され、その調整されることになるスペクトル係数は、その調整されることになるスペクトル係数の予測値を獲得するために重み付けされ、その獲得された予測値のエネルギーは制御されて、復号信号のスペクトルは調整され、その結果、予測されるスペクトル係数(すなわち、調整されることになるスペクトル係数の予測値)およびその他の関連するスペクトル係数は互いに適合可能であり、したがって、異なる量子化精度に従って取得されたスペクトル係数は互いに適合可能であり、それによって、復号信号のスペクトルの平滑さを増大させ、復号の後で、周波数帯域合成によって生成されたノイズを削減して、より良好な音響効果を達成するために、帯域合成された音声信号を可能にする。
【００４７】
実施形態3
この実施形態は、調整されることになるスペクトル係数に関する重み付け予測を実行するための方法を提供し、異なる重み付けモードで適用可能なスペクトル情報を説明する。このスペクトル情報は、以下の情報を含む。
【００４８】
フレーム内スペクトル情報はf_inner[n]であり、フレーム内重みはw_inner[n]であり、フレーム間スペクトル情報はf_inter[n]であり、フレーム間重みはw_inter[n]でり、式中、0<n<Nであり、Nは、フレーム内に含まれた周波数サンプルの最大数であると仮定する。周波数サンプルnのスペクトル係数が調整されることになるスペクトル係数である場合、周波数サンプルnのスペクトル係数の予測値f[n]は、公式1のように表現される。
f[n]=w_inner[0]×f_inner[0]+w_inner[l]×f_inner[1]+…+w_inner[N]×f_inner[N]+w_inter[0]×f_inter[0]+w_inter[1]×f_inter[l]+…+w_inter[N]×f_inter[N] 公式1
【００４９】
フレーム内重みw_inner[n]は、フレーム内相関関係に正比例する。フレーム間重みw_inter[n]は、フレーム間相関関係に正比例する。すべての重みの和は1である。
【００５０】
以下の特定の例を介して、調整されることになるスペクトル係数に関する重み付け予測をどのように実行するかが説明される。
【００５１】
現在のフレーム内の周波数サンプルnの量子化されたスペクトル係数fQ[n]は、調整されることになるスペクトル係数として決定され、現在のフレーム内の周波数サンプルnのBWEスペクトル係数はfB[n]であり、現在のフレームに先行するフレーム内の周波数サンプルnの量子化されたスペクトル係数はfS[1][n]として示され、先のフレームに先行するフレーム内の周波数サンプルnの量子化されたスペクトル係数はfS[0][n]として示され、現在のフレーム内の周波数サンプルnの量子化されたスペクトル係数の予測はf[n]であると仮定する。スペクトル係数と予測値は両方とも、ゼロであってよく、または非ゼロであってもよい。fQ[n]がゼロであるとき、それは周波数サンプルnが量子化されていないことを表示する。
【００５２】
実施形態2のステップ41に従って、周波数サンプル17が調整される必要があり、ステップ42に従って、周波数サンプルを有するフレームに関して異なる重み付けモードが選択されることが決定された場合、異なる重み付けモードに関して、以下の処理が実行可能であり、この場合、周波数サンプル16および周波数サンプル18は、周波数サンプル17の隣接する周波数サンプルである。
【００５３】
A.低いフレーム間相関関係重み付けモードの場合
【００５４】
fQ[17]が量子化されていない場合、f[17]=(fB[17]+fQ[16]+fQ[18])/3である。この場合、fB[17]、fQ[16]、およびfQ[18]は、調整されることになるスペクトル係数と高い相関関係を有するスペクトル係数であり、B[17]、fQ[16]、およびfQ[18]の重みは、それぞれ、1/3、1/3、および1/3である。以下の他の重み付け予測公式の意味は、それに類似し、本明細書において詳細は再度説明されない。
【００５５】
fQ[17]の量子化精度が非常に低い場合、f[17]=(0.4×fB[17]+fQ[17]+0.8×fQ[16]+0.8×fQ[18])/3である。
【００５６】
B.高いフレーム間相関関係重み付けモードの場合
【００５７】
fQ[17]が量子化されていない場合、f[17]=(fS[0][17]+fS[1][17])/2である。
【００５８】
fQ[17]の量子化精度が非常に低い場合、f[17]=(0.3×fS[0][17]+0.7×fS[1][17]+fQ[17])/2である。
【００５９】
C.中間のフレーム間相関関係重み付けモードの場合
【００６０】
fQ[17]が量子化されていない場合、f[17]=(fB[17]+fQ[16]+fQ[18]+fS[1][16]+fS[1][17]+fS[1][18])/6である。
【００６１】
fQ[17]の量子化精度が非常に低い場合、f[17]=(2.5×fB[17]+fQ[16]+fQ[18]+0.5×fS[1][16]+0.5×fS[1][17]+0.5×fS[1][18])/6である。
【００６２】
前述の例において、重みと、評価された周波数サンプルの範囲とは両方とも、実験結果、すなわち、経験値から生じる。異なるシナリオにおける実際の応用例では、重みおよび評価された周波数サンプルは、異なるシナリオにより異なって選択される。例えば、異なるコア符号器は、異なるBWE範囲を有する。したがって、フレーム間スペクトル情報およびフレーム内スペクトル情報の値範囲、ならびに重みの特定の数値は、異なるシナリオにおける経験に従って決定されうる。
【００６３】
実施形態3に従って、調整されることになるスペクトル係数に関する重み付け予測を実行するための方法では、説明のために、特定の重み、スペクトル係数、および算定式が採用される。これらの特定の重み、スペクトル係数、および算定式は、経験値に従って取得される単なるより良好な実装形態であり、本発明の保護範囲を限定しない。実際には、これらの特定の重み、スペクトル係数、および算定式は、特定の状況に従って柔軟に調整可能であり、これらは本発明から逸脱しない拡張および変形であり、本発明の保護範囲に該当する。実施形態3に従って、調整されることになるスペクトル係数に関する重み付け予測を実行するための方法は、調整されることになるスペクトル係数に関する重み付け予測を実行して、調整されることになるスペクトル係数の予測値を獲得するために、本発明の実施形態に適用可能でありうる。
【００６４】
本発明のもう1つの実施形態では、信号ノイズ除去方法が提供される。本明細書では、説明のために、8次元グリッド形ベクトル量子化に対するBWEアルゴリズムの適用を例にとるが、本発明はそれに限定されず、本発明の実施形態による方法は、4次元量子化など、他のベクトル量子化にも適用可能でありうる。
【００６５】
まず、8次元ベクトルの形で調整されることになるスペクトル係数の振幅の上限しきい値thr[i]が計算され、式中、iは、第i番目の8次元ベクトルを示す。第i番目の8次元ベクトルが全ゼロベクトルである場合、thr[i]は、重みを周波数帯域の周波数領域エンベロープ値(frequency-domain envelope value)で乗算することによって取得される値に等しい。この周波数領域エンベロープ値は、2つ以上の連続する周波数領域係数の振幅値の加重和または加重平均値でありうる。重み付け係数は、窓関数またはその他の算式に従って計算可能である。第i番目の8次元ベクトルが全ゼロベクトルでない場合、thr[i]は、重みをベクトル内の最小非ゼロ量子化値で乗算することによって取得される値に等しい。本明細書では、2つの重みは、実験を介して取得された経験値でありうる。
【００６６】
説明の便宜上、調整されることになるスペクトル係数が存在するフレームは、現在のフレームと呼ばれる。
【００６７】
現在のフレームとそのフレームの先のフレームの両方が調和フレームである場合、現在のフレームは高いフレーム間相関関係を有する。先のフレームのベクトルのスペクトル係数が復号され、現在のフレームの対応する周波数帯域のベクトルのスペクトル係数が符号化されないとき、調整されることになるスペクトル係数を回復するための方法は、以下の通りでありうる。先のフレームに先立つフレームの量子化されたスペクトル係数の振幅が先のフレームに対応する量子化されたスペクトル係数の振幅よりも所与の倍数(例えば、2倍)大きい場合、調整されることになるスペクトル係数の振幅は、現在のフレームのBWEスペクトル係数の振幅、および先のフレームに対応する量子化されたスペクトル係数の振幅の加重和であり、調整されることになるスペクトル係数の符号は、現在のフレームのBWEスペクトル係数の符号である。そうでない場合、すなわち、先のフレームに先立つフレームに対応する量子化されたスペクトル係数の振幅が先のフレームに対応する量子化されたスペクトル係数の振幅よりも所与の倍数大きくない場合、調整されることになるスペクトル係数の振幅は、先のフレームに先立つフレームに対応する量子化されたスペクトル係数の振幅、先のフレームに対応する量子化されたスペクトル係数の振幅、および現在のフレームのBWEスペクトル係数の振幅の加重和であり、調整されることになるスペクトル係数の符号は、現在のフレームのBWEスペクトル係数の符号である。
【００６８】
現在のフレームまたは先のフレームが過渡的なフレームである場合、現在のフレームは低いフレーム間相関関係を有する。周波数サンプルのスペクトル係数が復号されない場合、周波数サンプルの調整されることになるスペクトル係数を回復するための方法は、以下の通りでありうる。現在の周波数サンプルのBWEスペクトル係数の振幅、および隣接する周波数サンプルの量子化されたスペクトル係数の振幅の加重平均値Enは、調整されることになるスペクトル係数の振幅として計算される。本明細書では、現在の周波数サンプルは、調整されることになるスペクトル係数を有する周波数サンプルであり、調整されることになる周波数サンプルと呼ばれる場合がある。隣接する周波数サンプルは、調整されることになる周波数サンプルの周波数よりもより高い周波数またはより低い周波数を有する、同じフレーム内の周波数サンプルでありうる。1つまたは複数の隣接する周波数サンプルが存在しうる。Enがしきい値thr[i]より高い場合、Enはthr[i]に設定され、すなわち、調整されることになるスペクトル係数の振幅はthr[i]に設定される。調整されることになるスペクトル係数の符号は、周波数サンプルのBWEスペクトル係数の符号である。調整されることになるスペクトル係数の振幅を調整されることになるスペクトル係数の符号で乗算することによって取得された値は、周波数サンプルの調整結果として使用される。
【００６９】
現在のフレームのタイプが前述の2つのタイプに属さない場合、現在のフレームは中間のフレーム間相関関係を有する。周波数サンプルのスペクトル係数が復号されない場合、周波数サンプルの調整されることになるスペクトル係数を回復するための方法は、以下の通りでありうる。現在の周波数サンプルのBWEスペクトル係数の振幅、現在のフレーム内の現在の周波数サンプルに隣接する周波数サンプルのBWEスペクトル係数の振幅、現在のフレームに先立つフレームに対応する周波数サンプルの量子化されたスペクトル係数の振幅、および先のフレームに対応する周波数サンプルの隣接する周波数サンプルの量子化されたスペクトル係数の振幅の加重平均Enは、調整されることになるスペクトル係数の振幅として計算される。本明細書では、現在の周波数サンプルは、調整されることになるスペクトル係数を有する周波数サンプルであり、調整されることになる周波数サンプルと呼ばれる場合がある。隣接する周波数サンプルは、調整されることになる周波数サンプルの周波数よりもより高い周波数またはより低い周波数を有する、同じフレーム内の周波数サンプルでありうる。1つまたは複数の隣接する周波数サンプルが存在しうる。Enがしきい値thr[i]よりも高い場合、Enはthr[i]に設定され、すなわち、調整されることになるスペクトル係数の振幅はthr[i]に設定される。調整されることになるスペクトル係数の符号は、周波数サンプルのBWEスペクトル係数の符号である。調整されることになるスペクトル係数の振幅を調整されることになるスペクトル係数の符号で乗算することによって取得された値は、周波数サンプルの調整結果として使用される。
【００７０】
全ゼロベクトル内および非全ゼロベクトル内のゼロポイントの場合、重み付け動作の間に使用される重み付け係数は、スペクトル係数を調整する程度を制御できるように異なってよく、その結果、量子化されたスペクトル係数の音響分解能(acoustic resolution)は影響を受けず、追加のノイズも発生しない。
【００７１】
実施形態4
この方法実施形態に基づいて、本発明は、信号ノイズ除去装置の一実施形態をさらに提供する。図5を参照すると、この装置は、
調整されることになるスペクトル係数が存在するフレームのフレーム間相関関係の程度に従って、調整されることになるスペクトル係数と高い相関関係を有する少なくとも2つのスペクトル係数を選択するように構成された選択ユニット51と、
調整されることになるスペクトル係数の予測値を獲得するために、選択ユニット51によって選択された少なくとも2つのスペクトル係数とその調整されることになるスペクトル係数とに重み付けを実行するように構成された重み付けユニット52と、
重み付けユニット52によって獲得された予測値を使用することによって、復号信号のスペクトルを調整して、その調整された復号信号を出力するように構成された調整および出力ユニット53とを含む。
【００７２】
選択ユニット51が、調整されることになるスペクトル係数が存在するフレームのフレーム間相関関係の程度に従って、その調整されることになるスペクトル係数と高い相関関係を有する少なくとも2つのスペクトル係数を選択する前に、その調整されることになるスペクトル係数は、スペクトル係数の量子化符号化精度に従って決定される必要がさらにある。したがって、この装置は、
スペクトル係数の量子化符号化精度に従って、調整されることになるスペクトル係数を決定するように構成された予測ポイント決定ユニット50であって、この決定された調整されることになるスペクトル係数が、量子化されていないスペクトル係数および/または量子化精度しきい値よりもより低い量子化精度を有するスペクトル係数を含む予測ポイント決定ユニット50をさらに含む。
【００７３】
一実装形態モードでは、選択ユニット51は、
調整されることになるスペクトル係数が存在するフレームのフレーム間相関関係の程度に従って、3つの重み付けモード、すなわち、高いフレーム間相関関係重み付けモード、低いフレーム間相関関係重み付けモード、および中間のフレーム間相関関係重み付けモードから1つの重み付けモードを選択するように構成された重み付けモード選択モジュール511と、
重み付けモード選択モジュール511によって選択された重み付けモードに従って、調整されることになるスペクトル係数と高い相関関係を有する少なくとも2つのスペクトル係数を決定するように構成された関連スペクトル選択モジュール512とを含む。
【００７４】
重み付けユニット52は、以下のモジュール、すなわち
高いフレーム間相関関係重み付けモードの場合、以下の情報、すなわち、(1)先のフレームの予測値、(2)先のフレームの量子化されたスペクトル係数、および(3)先のフレームのBWEスペクトル係数のうちの少なくとも1つのタイプの重み付け値に従って、調整されることになるスペクトル係数の予測値を獲得するように構成された高い相関関係重み付けモジュール521、
低いフレーム間相関関係重み付けモードの場合、以下の情報、すなわち(1)現在のフレームの量子化されたスペクトル係数、(2)現在のフレームのBWEスペクトル係数、および(3)現在のフレームの既存の予測値のうちの少なくとも1つのタイプの重み付け値に従って、調整されることになるスペクトル係数の予測値を獲得するように構成された低い相関関係重み付けモジュール522、ならびに
中間のフレーム間相関関係重み付けモードの場合、以下の情報、すなわち、(1)先のフレームまたは現在のフレームの予測値、(2)先のフレームまたは現在のフレームの量子化されたスペクトル係数、および(3)先のフレームまたは現在のフレームのBWEスペクトル係数のうちの少なくとも1つのタイプの重み付け値に従って、調整されることになるスペクトル係数の予測値を獲得するように構成された中間の相関関係重み付けモジュール523のうちのいずれか1つを含む。
【００７５】
関連する重み付けモードにおいて使用されるスペクトル情報の重みは、調整されることになるスペクトル係数の量子化精度に従って制御される点に留意されたい。スペクトル情報の量子化精度が高ければ高いほど、スペクトル情報の対応する重みは大きくなる。加えて、重みは、スペクトル係数の量子化精度に正比例する。スペクトル係数およびそのスペクトル係数に対応する重みの積は、そのスペクトル係数の重み付け値である。
【００７６】
したがって、重み付けユニット52は、
調整されることになるスペクトル係数の量子化精度に従って、スペクトル情報の重みを制御するように構成された重み制御ジュール520であって、スペクトル情報の量子化精度が高ければ高いほど、スペクトル情報の対応する重みが大きくなる重み制御ジュール520をさらに含む。
【００７７】
予測後の周波数サンプルのスペクトル係数のエネルギーが調整されることになるスペクトル係数のエネルギーの上限しきい値よりも大きい場合、調整されたスペクトル係数のエネルギーは、上限しきい値以下の範囲になるように制御される必要がある。したがって、調整および出力ユニット53は、
調整されることになるスペクトル係数のエネルギーの上限しきい値と獲得された予測値とに従って、調整されることになるスペクトル係数の修正値を生成して、その修正値を使用することによって、復号信号のスペクトルを調整するように構成された修正モジュール530であって、調整されることになるスペクトル係数の修正値のエネルギーが、調整されることになるスペクトル係数のエネルギーの上限しきい以下である修正モジュール530をさらに含む。
【００７８】
本発明の実施形態による信号ノイズ除去装置では、重み付けユニットは、調整されることになるスペクトル係数の予測値を獲得するために、選択ユニットによって選択された少なくとも2つの関連するスペクトル係数を用いて、調整されることになるスペクトル係数に重み付けし、調整および出力ユニットは、調整されることになるスペクトル係数の予測値に従って、復号信号のスペクトルを調整し、次いで、調整された復号信号を出力し、その結果、予測されるスペクトル係数(すなわち、調整されることになるスペクトル係数の予測値)およびその他の関連するスペクトル係数は互いに適合可能であり、したがって、異なる量子化精度に従って取得されたスペクトル係数は互いに適合可能であり、それによって、復号信号のスペクトルの平滑さを増大させ、復号の後で、周波数帯域合成によって生成されるノイズを削減して、より良好な音響効果を達成するために、帯域合成された音声信号を可能にする。
【００７９】
実施形態5
装置実施形態に基づいて、本発明の一実施形態は、音声復号システムを提供する。図6を参照すると、音声復号システムは、コア復号器61と、BWE復号器62と、逆量子化復号器63と、信号ノイズ除去装置60とを含む。コア復号器61は、第1層コードストリームの低周波数情報を復号するように構成される。BWE復号器62は、第2層コードストリームのBWE情報を復号するように構成される。逆量子化復号器63は、残りのビットの第3層コードストリームの高周波数帯域情報を復号および逆量子化するように構成される。
【００８０】
信号ノイズ除去装置60は、本発明の前述の実施形態による信号ノイズ除去装置であってよく、BWE復号器と逆量子化復号器とによって出力された復号された情報を受信して、第2層コードストリームおよび第3層コードストリームの復号された情報に従って、調整されることになるスペクトル係数を決定して、調整されることになるスペクトル係数の獲得された予測値に従って、第3層コードストリームの復号された情報内のスペクトル係数を調整するように構成される。より詳細には、前述の装置実施形態を参照することが可能であり、本明細書においてそれらの詳細は再度説明されない。
【００８１】
本発明のこれらの実施形態の方法は、ソフトウェア機能モジュールを介して実装されることも可能であり、そのソフトウェア機能モジュールが個別の製品として販売または使用されるとき、そのソフトウェア機能モジュールは、コンピュータ可読記憶媒体内に格納されることも可能であることに留意されたい。記述された記憶媒体は、読出し専用メモリ(ROM)、磁気ディスク、または光ディスクであってよい。
【００８２】
本発明のそれぞれの実施形態による様々な機能ユニットは、1つの処理モジュール内に統合されてよく、もしくは様々な個別の物理ユニットとして存在してもよく、または2つ以上のユニットは1つのモジュール内に統合される。統合ユニットは、ハードウェアを介して実装可能であり、またはソフトウェア機能モジュールを介して実装されることも可能である。統合モジュールがソフトウェア機能モジュールを介して実装され、個別の製品として販売または使用されるとき、その統合モジュールは、コンピュータ記憶媒体内に格納されうる。記述された記憶媒体は、ROM、磁気ディスク、または光ディスクであってよい。
【００８３】
前述の実施形態は、本発明を限定することが意図されない。当業者にとって、本発明の原理から逸脱せずに行われた任意の修正、同等の置換、および改善は、本発明の保護範囲内に包含されるべきである。
【符号の説明】
【００８４】
16 周波数サンプル
17 周波数サンプル
18 周波数サンプル
50 予測ポイント決定ユニット
51 選択ユニット
52 重み付けユニット
53 調整および出力ユニット
60 信号ノイズ除去装置
61 コア復号器
62 BWE復号器
63 逆量子化復号器
511 重み付けモード選択モジュール
512 関連スペクトル選択モジュール
520 重み制御モジュール
521 高い相関関係重み付けモジュール
522 低い相関関係重み付けモジュール
523 中間の相関関係重み付けモジュール
530 修正モジュール
【技術分野】
【０００１】
本出願は、その全体が参照により本明細書に組み込まれている、2009年3月31日に中国特許庁に出願した、「SIGNAL DE-NOISING METHOD, SIGNAL DE-NOISING APPARATUS, AND AUDIO DECODING SYSTEM」という表題の中国特許出願第200910133808.6号の優先権を主張するものである。
【０００２】
本発明は、音声符号化/復号技術の分野に関し、詳細には、信号ノイズ除去方法、信号ノイズ除去装置、および音声復号システムに関する。
【背景技術】
【０００３】
多くの広帯域オーディオコーデックまたは超広帯域オーディオコーデックでは、コードレートが低いとき、広帯域部分内または超広帯域部分内のスペクトルに関して帯域幅拡張(BWE)パラメータ符号化が使用され、この場合、BWEパラメータ符号化は、少数のビットが使用され、帯域幅が確保され、品質が容認可能であることを特徴とし、コードレートが高いとき、広帯域部分内または超広帯域部分内のスペクトルに量子化符号化が実行され、この場合、量子化符号化は、多くのビットが使用され、精度が高く、品質が良好であることを特徴とする。
【０００４】
先行技術において広帯域または超広帯域をサポートする音声符号化/復号システムの構造図に関して、図1および図2を参照することが可能である。図1は、先行技術において、広帯域または超広帯域をサポートする音声符号化の構造図である。図1に示されるように、この符号化システムは、層状構造を採用する。コア符号器は、第1層コードストリームを出力するために、低周波数情報を符号化する。BWE符号器は、第2層コードストリームを出力するために、少数のビットを使用することによって、高周波数帯域スペクトルを符号化する。量子化符号器は、第3層コードストリームを出力するために、残りのビットを使用することによって、高周波数帯域スペクトルを量子化および符号化する。
【０００５】
図2は、先行技術において、広帯域または著広帯域をサポートする音声復号システムの構造図である。図2に示されるように、この復号システムも層状構造を採用する。コア復号器は、第1層コードストリームの低周波数情報を復号するように構成される。BWE復号器は、第2層コードストリームのBWE情報を復号するように構成される。逆量子化復号器は、残りのビットの第3層コードストリームの高周波数帯域情報を復号および逆量子化するように構成される。最終的に、この復号システムは、帯域合成音声信号を出力するために、3つの層のコードストリームの周波数帯域を合成する。一般に、コア復号器によって出力された信号は時間領域信号であり、BWE復号器と逆量子化復号器とによって出力された信号は周波数領域信号であり、したがって、第2層および第3層のコードストリームの周波数領域信号は、周波数帯域が合成されるとき、帯域合成された時間領域音声信号を出力するために、時間領域信号に変換される。
【０００６】
復号の過程で、高周波数帯域スペクトル信号の場合、コードレートが低いとき、復号システムは、BWE符号化情報を取得し、それによって、基本的な高周波数帯域品質を確保するために、第2層コードストリームだけを復号することが可能であり、コードレートが高いとき、復号システムは、より良好な高周波数帯域品質を取得するために、第3層コードストリームをさらに復号することが可能である。
【０００７】
この層状構造では、多くの場合、スペクトル量子化符号化のために予約された第3層コードストリームのビットが不十分であるため、量子化器はビット割当てを実行する。この量子化器は、高い精度の量子化を実行するために、一部の重要な周波数帯域に多くのビットを割り当て、一方、低い精度の量子化を実行するために、一部の重要性の低い周波数帯域により少ないビットを割り当て、さらに、一部の重要性が最も低い周波数帯域にはビットを割り当てない。すなわち、この量子化器は、重要性が最も低い周波数帯域を量子化しない。
【０００８】
先行技術では、量子化されていない周波数帯域のスペクトルにいくつかの処理方法が実行される。すなわち、1.BWEスペクトルを保持すること、2.逆量子化を介して取得されたスペクトルの部分を複製して、そのスペクトル部分のエネルギーを調整し、次いで、量子化されていない周波数帯域内のそのスペクトルの部分を充填すること、および3.量子化されていないスペクトルを0に設定するか、または量子化されていないスペクトルをノイズで直接的に充填することである。
【０００９】
本発明の実施中、本発明者らは、先行技術は、以下の理由のうちの1つまたは複数により、明らかなノイズと悪い音響効果とを引き起こすことを見出している。
【００１０】
1.量子化されていない周波数帯域のスペクトルに関してBWEスペクトルが保持されている場合、量子化されたスペクトル、および量子化されていない周波数帯域のスペクトルに関して保持されたBWEスペクトルは、位置情報および/またはエネルギー情報に関して不整合であり、それによって、ノイズが発生する。2.多くのスペクトルが量子化されておらず、0に設定されているか、またはノイズで満たされている場合、量子化されていない周波数帯域のスペクトルに対してノイズが直接的に発生する。ノイズは、不整合またはゼロ設定およびノイズ充填により、復号の後で、周波数帯域合成の間に発生し、それによって、音声信号の音響効果を悪化させる。
【発明の概要】
【課題を解決するための手段】
【００１１】
本発明の実施形態は、復号の後で、周波数帯域合成によって生成されたノイズを削減して、音響効果を改善できる信号ノイズ除去方法、信号ノイズ除去装置、および音声復号システムを提供する。
【００１２】
詳細には、本発明の一実施形態は、
調整されることになるスペクトル係数が存在するフレームのフレーム間相関関係の程度に従って、その調整されることになるスペクトル係数と高い相関関係を有する少なくとも2つのスペクトル係数を選択するステップと、
その調整されることになるスペクトル係数の予測値を獲得するために、それらの少なくとも2つの選択されたスペクトル係数と、その調整されることになるスペクトル係数とに重み付けを実行するステップと、
その獲得された予測値を使用することによって、復号信号のスペクトルを調整して、調整された復号信号を出力するステップとを含む信号ノイズ除去方法を提供する。
【００１３】
本発明の一実施形態は、
調整されることになるスペクトル係数が存在するフレームのフレーム間相関関係の程度に従って、その調整されることになるスペクトル係数と高い相関関係を有する少なくとも2つのスペクトル係数を選択するように構成された選択ユニットと、
その調整されることになるスペクトル係数の予測値を獲得するために、選択ユニットによって選択された少なくとも2つのスペクトル係数と、その調整されることになるスペクトル係数とに重み付けを実行するように構成された重み付けユニットと、
重み付けユニットによって獲得された予測値を使用することによって、復号信号のスペクトルを調整して、調整された復号信号を出力するように構成された調整および出力ユニットとを含む信号ノイズ除去装置を提供する。
【００１４】
本発明の一実施形態は、コア復号器と、BWE復号器と、逆量子化復号器と、信号ノイズ除去装置とを含む音声復号システムであって、
コア復号器が、第1層コードストリームの低周波数情報を復号するように構成され、
BWE復号器が、第2層コードストリームのBWE情報を復号するように構成され、
逆量子化復号器が、残りのビットの第3層コードストリームの高周波数帯域情報を復号および逆量子化するように構成され、
信号ノイズ除去装置が、BWE復号器と逆量子化復号器とによって出力された復号された情報を受信して、その復号された情報内の調整されることになるスペクトル係数を決定し、その調整されることになるスペクトル係数の獲得された予測値に従って、その復号された情報内のスペクトル係数を調整するように構成された音声復号システムを提供する。
【００１５】
本発明の実施形態による技術的解決策から、調整されることになるスペクトル係数は、その調整されることになるスペクトル係数の予測値を獲得するために、少なくとも2つの関連するスペクトル係数を用いて重み付けされ、復号信号のスペクトルは、その調整されることになるスペクトル係数に従って調整され、その結果、予測されるスペクトル係数(すなわち、調整されることになるスペクトル係数の予測値)およびその他の関連するスペクトル係数が互いに適合可能であり、したがって、異なる量子化精度に従って取得されたスペクトル係数が互いに適合可能であり、それによって、復号信号のスペクトルの平滑さを増大させ、復号の後で、周波数帯域合成によって生成されたノイズを削減して、より良好な音響効果を達成するために、帯域合成された音声信号を可能にすることを理解されよう。
【００１６】
本発明または先行技術の実施形態による技術的解決策をより明瞭に例示するために、それらの実施形態または先行技術を説明するために必要とされる添付の図面が下で簡単に紹介される。以下の明細書において添付の図面は、単に本発明の実施形態のいくつかを示し、当業者が、創造的な努力なしに、添付の図面に従って、その他の図面を取得できる点は明らかである。
【図面の簡単な説明】
【００１７】
【図１】既存の音声符号化システムの構造図である。
【図２】既存の音声復号システムの構造図である。
【図３】本発明の実施形態1による信号ノイズ除去方法の概略的流れ図である。
【図４】本発明の実施形態2による信号ノイズ除去方法の概略的流れ図である。
【図５】本発明の実施形態4による信号ノイズ除去方法の概略的流れ図である。
【図６】本発明の実施形態5による音声復号システムの構造図である。
【発明を実施するための形態】
【００１８】
本発明の実施形態の技術的解決策は、添付の図面を参照して以下で明瞭に説明される。説明される実施形態は、本発明の実施形態のすべてではなく、単なる一部であることは明らかである。創造的な努力なしに、本発明の実施形態に基づいて当業者によって取得されるすべてのその他の実施形態は、本発明の保護範囲に包含されるべきである。
【００１９】
実施形態1
図3を参照すると、本発明の一実施形態は、信号ノイズ除去方法を提供する。この方法は、以下のステップを含む。
【００２０】
ステップ31。調整されることになるスペクトル係数が存在するフレームのフレーム間相関関係の程度に従って、その調整されることになるスペクトル係数と高い相関関係を有する少なくとも2つのスペクトル係数を選択する。
【００２１】
ステップ32。その調整されることになるスペクトル係数の予測値を獲得するために、それらの少なくとも2つの選択されたスペクトル係数とその調整されることになるスペクトル係数とに重み付けを実行する。
【００２２】
ステップ33。その獲得された予測値を使用することによって、復号信号のスペクトルを調整して、調整された復号信号を出力する。
【００２３】
本発明の実施形態による信号ノイズ除去方法では、調整されることになるスペクトル係数は、その調整されることになるスペクトル係数の予測値を獲得するために、少なくとも2つの関連するスペクトル係数を用いて重み付けされ、復号信号のスペクトルは、その調整されることになるスペクトル係数の予測値に従って調整され、その結果、予測されるスペクトル係数(すなわち、調整されることになるスペクトル係数の予測値)およびその他の関連するスペクトル係数は互いに適合可能であり、したがって、異なる量子化精度に従って取得されたスペクトル係数は互いに適合可能であり、それによって、復号信号のスペクトルの平滑さを増大させ、復号の後で、周波数帯域合成によって生成されたノイズを削減して、より良好な音響効果を達成するために、帯域合成された音声信号を可能にする。
【００２４】
実施形態2
図4を参照すると、本発明の一実施形態は、信号ノイズ除去方法を提供する。この方法は、以下のステップを含む。
【００２５】
ステップ41。スペクトル係数の量子化精度に従って、復号信号内で調整されることになるスペクトル係数を決定する。
【００２６】
復号の終了時に、コア復号器、BWE復号器、および逆量子化復号器はそれぞれ、受信された符号化信号を復号し、次いで、復号信号を出力する。この復号信号は、コア復号器によって出力された低周波数信号、BWE復号器によって出力されたBWE高周波数信号、および逆量子化復号器によって出力されたその他の高周波数信号から形成される。BWE復号器によって出力されたBWE高周波数信号および逆量子化復号器によって出力されたその他の高周波数信号は、周波数領域信号である。この決定された調整されることになるスペクトル係数は、量子化されていないスペクトル係数および/または量子化精度しきい値よりも低い量子化精度を有するスペクトル係数を含みうる。本明細書において、量子化精度しきい値は、要件に従って設定可能である。
【００２７】
例えば、スカラー量子化では、復号信号の最小ビットレートが周波数サンプル当たり1ビットである場合、1つの周波数サンプルは、1ビットだけのスペクトル係数に対応し(すなわち、周波数サンプルのビットレートは、周波数サンプル当たり1ビットであり)、この場合、1ビットは、周波数サンプルの符号情報だけを示すことが可能であり、ビット位置は、周波数サンプルの振幅情報を示さず(すなわち、ゼロビットであり)、したがって、周波数サンプル当たり1ビットのビットレートを有する周波数サンプルは、振幅情報を有さず(周波数サンプルの量子化精度は0であると見なすことができ)、周波数サンプルは量子化されておらず、したがって、周波数サンプル当たり1ビットのビットレートを有する周波数サンプルは、調整されることになる周波数サンプルであることが決定されうる。ベクトル量子化では、周波数サンプルを有するベクトルの平均量子化精度をまず決定することが可能である。量子化精度が下限しきい値、例えば、周波数サンプル当たり0.5ビットよりも低い場合、そのベクトル内のすべての周波数サンプルは調整される必要があることが決定される。平均量子化精度が上限しきい値、例えば、周波数サンプル当たり2ビットよりも大きい場合、そのベクトル内の周波数サンプルは調整される必要がないことが決定される。平均量子化精度が下限しきい値と上限しきい値、例えば、周波数サンプル当たり0.5ビットと周波数サンプル当たり2ビットの間である場合、そのベクトル内にベクトル量子化されていない周波数サンプルが存在するかどうかがさらに決定され、そのベクトル内にかかる周波数サンプルが存在する場合、ベクトル量子化されていない周波数サンプルは調整される必要があることが決定され、ベクトル内にかかる周波数サンプルが存在しない場合、周波数サンプルは調整される必要がない。
【００２８】
ステップ42。調整されることになるスペクトル係数が存在するフレームのフレーム間相関関係の程度に従って、3つの重み付けモード、すなわち、高いフレーム間相関関係重み付けモード、低いフレーム間相関関係重み付けモード、および中間のフレーム間相関関係重み付けモードから1つの重み付けモードを選択する。
【００２９】
フレーム間相関関係の程度は、相関関係に関するパラメータ、例えば、BWEアルゴリズムに従って判定されうる。このアルゴリズムは、フレーム間相関関係の程度を示すためにフレームタイプを使用する。過渡的なタイプのフレームは、フレーム間相関関係が低いことを表示し、調和タイプのフレームは、フレーム間相関関係が高いことを表示し、通常のタイプのフレームは、フレーム間相関関係が中間であることを表示する。BWEアルゴリズムでは、フレームタイプは相互関係に関するパラメータである。フレーム間相関関係の程度は、フレームタイプに従って決定可能であり、したがって、重み付けモードが決定される。
【００３０】
当然、計算を通じてフレーム間相関関係の程度を決定することも可能である。例えば、調整されることになるスペクトル係数が存在するフレームと隣接するフレームとの間の相関関係が、相関関係計算方法を使用することによってまず計算される。相関関係が上限しきい値よりも大きい場合、調整されることになるスペクトル係数が存在するフレームのフレーム間相関関係は高い。相関関係が下限しきい値よりも低い場合、調整されることになるスペクトル係数が存在するフレームのフレーム間相関関係は低い。その他の状況では、例えば、相関関係が上限しきい値と下限しきい値の間である場合、調整されることになるスペクトル係数が存在するフレームのフレーム間相関関係は中間である。
【００３１】
ステップ42において、フレーム間相関関係の程度に従って、異なる重み付けモードが選択される。フレーム間相関関係が高い場合、高いフレーム間相関関係重み付けモードが選択される。フレーム間相関関係が低い場合、低いフレーム間相関関係重み付けモードが選択される。フレーム間相関関係が中間である場合、中間のフレーム間相関関係重み付けモードが選択される。様々な重み付けモードが様々な重みに対応し、フレーム間スペクトル係数およびフレーム内スペクトル係数を重み付けするために使用される。一般に、フレーム間相関関係が高ければ高いほど、フレーム間スペクトル係数の重みは高くなり、フレーム内スペクトル係数の重みは低くなり、フレーム間相関関係が低ければ低くいほど、フレーム間スペクトル係数の重みは低くなり、フレーム内スペクトル係数の重みは高くなる。
【００３２】
すなわち、フレーム間スペクトル係数の重みは、フレーム間相関関係に正比例し、フレーム内スペクトル情報の重みは、フレーム間相関関係に反比例する。高いフレーム間相関関係を有するフレームの場合、フレーム間スペクトル係数の重みは大きく、フレーム内スペクトル係数の重みは小さいか、またはゼロに設定される。低いフレーム間相関関係を有するフレームの場合、フレーム内スペクトル係数の重みは大きく、フレーム間スペクトル係数の重みは小さいか、またはゼロに設定される。中間のフレーム間相関関係を有するフレームの場合、フレーム内スペクトル係数およびフレーム間スペクトル係数の重みの大きさは、フレーム間相関関係およびフレーム内相関関係の程度を比較することによって決定されうる。
【００３３】
ステップ43。選択された重み付けモードに従って、調整されることになるスペクトル係数と高い相関関係を有する少なくとも2つのスペクトル係数を決定する。
【００３４】
ステップ42において重み付けモードが選択されたとき、その重み付けモードに従って、調整されることになるスペクトル係数と高い相関関係を有する少なくとも2つのスペクトル係数を決定するステップは、以下の通りである。フレーム間相関関係が高いことを表示する高いフレーム間相関関係重み付けモードが選択されたとき、調整されることになるスペクトル係数が存在するフレームに隣接するフレーム内の少なくとも2つのスペクトル係数を決定することが可能である。フレーム間相関関係が低いことを表示する低いフレーム間相関関係重み付けモードが選択されたとき、調整されることになるスペクトル係数が存在するフレーム内の少なくとも2つのスペクトル係数を決定することが可能である。フレーム間相関関係が中間であることを表示する中間のフレーム間相関関係重み付けモードが選択されたとき、調整されることになるスペクトル係数が存在するフレーム内および調整されることになるスペクトル係数が存在するフレームに隣接するフレーム内の両方の少なくとも2つのスペクトル係数を決定することが可能である。
【００３５】
ステップ44。調整されることになるスペクトル係数の予測値を獲得するために、それらの少なくとも2つの決定されたスペクトル係数とその調整されることになるスペクトル係数とに重み付けを実行する。
【００３６】
それらの少なくとも2つの決定されたスペクトル係数とその調整されることになるスペクトル係数とに重み付けを実行するための方法は、以下の情報、すなわち、1. 逆量子化復号器によって出力された量子化されたスペクトル係数、2.BWE復号器によって出力されたBWEスペクトル係数、および3.予測を通じて取得されたスペクトル係数の既存の予測値のうちの少なくとも1つのタイプの重み付け値を使用することによって予測を実行することが可能であるというものでありうる。スペクトル係数およびそのスペクトル係数に対応する重みの積は、スペクトル係数の重み付け値である。調整されることになるスペクトル係数は、量子化されていない周波数サンプルに対応するスペクトル係数であってよく、したがって、ステップ44において、それらの少なくとも2つのスペクトル係数とその調整されることになるスペクトル係数とに重み付けが実行されるとき、調整されることになるスペクトル係数の重み付け値は0であってよく、すなわち、調整されることになるスペクトル係数の予測値を獲得するために、少なくとも2つの決定されたスペクトル係数の重み付け値だけが採用される。
【００３７】
詳細には、高いフレーム間相関関係重み付けモードの場合、スペクトル係数は、以下の情報、すなわち、(1)先のフレームの予測値、(2)先のフレームの量子化されたスペクトル係数、および(3)先のフレームのBWEスペクトル係数のうちの少なくとも1つのタイプの重み付け値に従って予測される。
【００３８】
低いフレーム間相関関係重み付けモードの場合、スペクトル係数は、以下の情報、すなわち、(1)現在のフレームの量子化されたスペクトル係数、(2)現在のフレームのBWEスペクトル係数、および(3)現在のフレームの既存の予測値のうちの少なくとも1つのタイプの重み付け値に従って予測される。
【００３９】
中間のフレーム間相関関係重み付けモードの場合、スペクトル係数は、以下の情報、すなわち、(1)先のフレームまたは現在のフレームの既存の予測値、(2)先のフレームまたは現在のフレームの量子化されたスペクトル係数、および(3)先のフレームまたは現在のフレームのBWEスペクトル係数のうちの少なくとも1つのタイプの重み付け値に従って予測される。
【００４０】
それぞれのタイプのスペクトル情報の重みは、それに応じて、調整されることになる周波数サンプルの量子化精度に従って調整されることも可能である点に留意されたい。重み付け予測の間、調整されることになるスペクトル係数が量子化結果を有する場合、その量子化結果に関して、重み付け予測を依然として実行することが可能であり、その重みは、スペクトル係数の量子化精度に正比例する。
【００４１】
ステップ45。獲得された予測値のエネルギーを制御して、復号信号のスペクトルを調整する。
【００４２】
このステップでは、調整されることになるスペクトル係数のエネルギーの上限しきい値がまず決定され、次いで、調整されたスペクトル係数のエネルギーがその上限しきい値以下の範囲になるように制御される。この上限しきい値は、量子化エラーまたは調整されることになるスペクトル係数の範囲内の最小非ゼロ量子化値(minimum nonzero quantization value)に従って決定可能であり、この場合、量子化エラーまたは最小非ゼロ量子化値は先行技術を介して取得可能であり、詳細は本明細書において再度説明されない。
【００４３】
獲得された予測値のエネルギーを制御して、復号信号のスペクトルを調整するステップは、調整されることになるスペクトル係数の修正値を獲得するために、上限しきい値に従って、調整されることになるスペクトル係数の予測値を修正するステップであって、その修正値のエネルギーが上限しきい値以下の範囲である、修正するステップ、およびその修正値を使用することによって、復号信号のスペクトルを調整するステップであって、その予測値が上限しきい値以下であるとき、その修正値が予測値に等しく、その予測値が上限しきい値よりも大きいとき、その修正値が上限しきい値に等しい、調整するステップであってよい。
【００４４】
詳細には、予測後の周波数サンプルのスペクトル係数のエネルギーが調整されることになるスペクトル係数のエネルギーの上限しきい値よりも大きい場合、周波数サンプルの量子化誤差の大きさmin_Dまたは最小量子化値min_Q(ゼロポイントを除いた、量子化されたスペクトル係数内の最小振幅値)は、上限しきい値thrとして抽出(または、推定)され、実際の状況に従って、しきい値係数(a<=1)が決定される。調整されることになるスペクトル係数の予測値のエネルギーがa×thrよりも大きい場合、予測値のエネルギーは、a×thr以下に調整される。本明細書において、しきい値係数aは、実験統計に従って取得された経験値を使用することによって決定可能であるか、またはaの大きさは、量子化精度に従って制御されることも可能である。
【００４５】
量子化精度が低ければ低いほど、しきい値係数aの値は大きくなる。量子化精度が周波数サンプルよりも高い場合、しきい値係数aの値は、1から1よりも低い数値までの値になるように制御される。例えば、量子化精度が周波数サンプル当たり1.5ビットよりも高いとき、thr=min_Dおよびa=0.7が設定され、量子化精度が周波数サンプル当たり0.5ビットよりも低いとき、thr=min_Qおよびa=1が設定され、量子化精度が周波数サンプル当たり0.よりも高く、周波数サンプル当たり1.5ビットよりも低いとき、thr=min_Dおよびa=1が設定される。
【００４６】
本発明の実施形態による信号ノイズ除去方法では、調整されることになるスペクトル係数は、スペクトル係数の量子化精度に従って決定され、調整されることになるスペクトル係数が存在するフレームのフレーム間相関関係の程度に従って、異なる重み付けモードが選択され、その選択された重み付けモードに従って、調整されることになるスペクトル係数と高い相関関係を有する少なくとも2つのスペクトル係数が決定され、その調整されることになるスペクトル係数は、その調整されることになるスペクトル係数の予測値を獲得するために重み付けされ、その獲得された予測値のエネルギーは制御されて、復号信号のスペクトルは調整され、その結果、予測されるスペクトル係数(すなわち、調整されることになるスペクトル係数の予測値)およびその他の関連するスペクトル係数は互いに適合可能であり、したがって、異なる量子化精度に従って取得されたスペクトル係数は互いに適合可能であり、それによって、復号信号のスペクトルの平滑さを増大させ、復号の後で、周波数帯域合成によって生成されたノイズを削減して、より良好な音響効果を達成するために、帯域合成された音声信号を可能にする。
【００４７】
実施形態3
この実施形態は、調整されることになるスペクトル係数に関する重み付け予測を実行するための方法を提供し、異なる重み付けモードで適用可能なスペクトル情報を説明する。このスペクトル情報は、以下の情報を含む。
【００４８】
フレーム内スペクトル情報はf_inner[n]であり、フレーム内重みはw_inner[n]であり、フレーム間スペクトル情報はf_inter[n]であり、フレーム間重みはw_inter[n]でり、式中、0<n<Nであり、Nは、フレーム内に含まれた周波数サンプルの最大数であると仮定する。周波数サンプルnのスペクトル係数が調整されることになるスペクトル係数である場合、周波数サンプルnのスペクトル係数の予測値f[n]は、公式1のように表現される。
f[n]=w_inner[0]×f_inner[0]+w_inner[l]×f_inner[1]+…+w_inner[N]×f_inner[N]+w_inter[0]×f_inter[0]+w_inter[1]×f_inter[l]+…+w_inter[N]×f_inter[N] 公式1
【００４９】
フレーム内重みw_inner[n]は、フレーム内相関関係に正比例する。フレーム間重みw_inter[n]は、フレーム間相関関係に正比例する。すべての重みの和は1である。
【００５０】
以下の特定の例を介して、調整されることになるスペクトル係数に関する重み付け予測をどのように実行するかが説明される。
【００５１】
現在のフレーム内の周波数サンプルnの量子化されたスペクトル係数fQ[n]は、調整されることになるスペクトル係数として決定され、現在のフレーム内の周波数サンプルnのBWEスペクトル係数はfB[n]であり、現在のフレームに先行するフレーム内の周波数サンプルnの量子化されたスペクトル係数はfS[1][n]として示され、先のフレームに先行するフレーム内の周波数サンプルnの量子化されたスペクトル係数はfS[0][n]として示され、現在のフレーム内の周波数サンプルnの量子化されたスペクトル係数の予測はf[n]であると仮定する。スペクトル係数と予測値は両方とも、ゼロであってよく、または非ゼロであってもよい。fQ[n]がゼロであるとき、それは周波数サンプルnが量子化されていないことを表示する。
【００５２】
実施形態2のステップ41に従って、周波数サンプル17が調整される必要があり、ステップ42に従って、周波数サンプルを有するフレームに関して異なる重み付けモードが選択されることが決定された場合、異なる重み付けモードに関して、以下の処理が実行可能であり、この場合、周波数サンプル16および周波数サンプル18は、周波数サンプル17の隣接する周波数サンプルである。
【００５３】
A.低いフレーム間相関関係重み付けモードの場合
【００５４】
fQ[17]が量子化されていない場合、f[17]=(fB[17]+fQ[16]+fQ[18])/3である。この場合、fB[17]、fQ[16]、およびfQ[18]は、調整されることになるスペクトル係数と高い相関関係を有するスペクトル係数であり、B[17]、fQ[16]、およびfQ[18]の重みは、それぞれ、1/3、1/3、および1/3である。以下の他の重み付け予測公式の意味は、それに類似し、本明細書において詳細は再度説明されない。
【００５５】
fQ[17]の量子化精度が非常に低い場合、f[17]=(0.4×fB[17]+fQ[17]+0.8×fQ[16]+0.8×fQ[18])/3である。
【００５６】
B.高いフレーム間相関関係重み付けモードの場合
【００５７】
fQ[17]が量子化されていない場合、f[17]=(fS[0][17]+fS[1][17])/2である。
【００５８】
fQ[17]の量子化精度が非常に低い場合、f[17]=(0.3×fS[0][17]+0.7×fS[1][17]+fQ[17])/2である。
【００５９】
C.中間のフレーム間相関関係重み付けモードの場合
【００６０】
fQ[17]が量子化されていない場合、f[17]=(fB[17]+fQ[16]+fQ[18]+fS[1][16]+fS[1][17]+fS[1][18])/6である。
【００６１】
fQ[17]の量子化精度が非常に低い場合、f[17]=(2.5×fB[17]+fQ[16]+fQ[18]+0.5×fS[1][16]+0.5×fS[1][17]+0.5×fS[1][18])/6である。
【００６２】
前述の例において、重みと、評価された周波数サンプルの範囲とは両方とも、実験結果、すなわち、経験値から生じる。異なるシナリオにおける実際の応用例では、重みおよび評価された周波数サンプルは、異なるシナリオにより異なって選択される。例えば、異なるコア符号器は、異なるBWE範囲を有する。したがって、フレーム間スペクトル情報およびフレーム内スペクトル情報の値範囲、ならびに重みの特定の数値は、異なるシナリオにおける経験に従って決定されうる。
【００６３】
実施形態3に従って、調整されることになるスペクトル係数に関する重み付け予測を実行するための方法では、説明のために、特定の重み、スペクトル係数、および算定式が採用される。これらの特定の重み、スペクトル係数、および算定式は、経験値に従って取得される単なるより良好な実装形態であり、本発明の保護範囲を限定しない。実際には、これらの特定の重み、スペクトル係数、および算定式は、特定の状況に従って柔軟に調整可能であり、これらは本発明から逸脱しない拡張および変形であり、本発明の保護範囲に該当する。実施形態3に従って、調整されることになるスペクトル係数に関する重み付け予測を実行するための方法は、調整されることになるスペクトル係数に関する重み付け予測を実行して、調整されることになるスペクトル係数の予測値を獲得するために、本発明の実施形態に適用可能でありうる。
【００６４】
本発明のもう1つの実施形態では、信号ノイズ除去方法が提供される。本明細書では、説明のために、8次元グリッド形ベクトル量子化に対するBWEアルゴリズムの適用を例にとるが、本発明はそれに限定されず、本発明の実施形態による方法は、4次元量子化など、他のベクトル量子化にも適用可能でありうる。
【００６５】
まず、8次元ベクトルの形で調整されることになるスペクトル係数の振幅の上限しきい値thr[i]が計算され、式中、iは、第i番目の8次元ベクトルを示す。第i番目の8次元ベクトルが全ゼロベクトルである場合、thr[i]は、重みを周波数帯域の周波数領域エンベロープ値(frequency-domain envelope value)で乗算することによって取得される値に等しい。この周波数領域エンベロープ値は、2つ以上の連続する周波数領域係数の振幅値の加重和または加重平均値でありうる。重み付け係数は、窓関数またはその他の算式に従って計算可能である。第i番目の8次元ベクトルが全ゼロベクトルでない場合、thr[i]は、重みをベクトル内の最小非ゼロ量子化値で乗算することによって取得される値に等しい。本明細書では、2つの重みは、実験を介して取得された経験値でありうる。
【００６６】
説明の便宜上、調整されることになるスペクトル係数が存在するフレームは、現在のフレームと呼ばれる。
【００６７】
現在のフレームとそのフレームの先のフレームの両方が調和フレームである場合、現在のフレームは高いフレーム間相関関係を有する。先のフレームのベクトルのスペクトル係数が復号され、現在のフレームの対応する周波数帯域のベクトルのスペクトル係数が符号化されないとき、調整されることになるスペクトル係数を回復するための方法は、以下の通りでありうる。先のフレームに先立つフレームの量子化されたスペクトル係数の振幅が先のフレームに対応する量子化されたスペクトル係数の振幅よりも所与の倍数(例えば、2倍)大きい場合、調整されることになるスペクトル係数の振幅は、現在のフレームのBWEスペクトル係数の振幅、および先のフレームに対応する量子化されたスペクトル係数の振幅の加重和であり、調整されることになるスペクトル係数の符号は、現在のフレームのBWEスペクトル係数の符号である。そうでない場合、すなわち、先のフレームに先立つフレームに対応する量子化されたスペクトル係数の振幅が先のフレームに対応する量子化されたスペクトル係数の振幅よりも所与の倍数大きくない場合、調整されることになるスペクトル係数の振幅は、先のフレームに先立つフレームに対応する量子化されたスペクトル係数の振幅、先のフレームに対応する量子化されたスペクトル係数の振幅、および現在のフレームのBWEスペクトル係数の振幅の加重和であり、調整されることになるスペクトル係数の符号は、現在のフレームのBWEスペクトル係数の符号である。
【００６８】
現在のフレームまたは先のフレームが過渡的なフレームである場合、現在のフレームは低いフレーム間相関関係を有する。周波数サンプルのスペクトル係数が復号されない場合、周波数サンプルの調整されることになるスペクトル係数を回復するための方法は、以下の通りでありうる。現在の周波数サンプルのBWEスペクトル係数の振幅、および隣接する周波数サンプルの量子化されたスペクトル係数の振幅の加重平均値Enは、調整されることになるスペクトル係数の振幅として計算される。本明細書では、現在の周波数サンプルは、調整されることになるスペクトル係数を有する周波数サンプルであり、調整されることになる周波数サンプルと呼ばれる場合がある。隣接する周波数サンプルは、調整されることになる周波数サンプルの周波数よりもより高い周波数またはより低い周波数を有する、同じフレーム内の周波数サンプルでありうる。1つまたは複数の隣接する周波数サンプルが存在しうる。Enがしきい値thr[i]より高い場合、Enはthr[i]に設定され、すなわち、調整されることになるスペクトル係数の振幅はthr[i]に設定される。調整されることになるスペクトル係数の符号は、周波数サンプルのBWEスペクトル係数の符号である。調整されることになるスペクトル係数の振幅を調整されることになるスペクトル係数の符号で乗算することによって取得された値は、周波数サンプルの調整結果として使用される。
【００６９】
現在のフレームのタイプが前述の2つのタイプに属さない場合、現在のフレームは中間のフレーム間相関関係を有する。周波数サンプルのスペクトル係数が復号されない場合、周波数サンプルの調整されることになるスペクトル係数を回復するための方法は、以下の通りでありうる。現在の周波数サンプルのBWEスペクトル係数の振幅、現在のフレーム内の現在の周波数サンプルに隣接する周波数サンプルのBWEスペクトル係数の振幅、現在のフレームに先立つフレームに対応する周波数サンプルの量子化されたスペクトル係数の振幅、および先のフレームに対応する周波数サンプルの隣接する周波数サンプルの量子化されたスペクトル係数の振幅の加重平均Enは、調整されることになるスペクトル係数の振幅として計算される。本明細書では、現在の周波数サンプルは、調整されることになるスペクトル係数を有する周波数サンプルであり、調整されることになる周波数サンプルと呼ばれる場合がある。隣接する周波数サンプルは、調整されることになる周波数サンプルの周波数よりもより高い周波数またはより低い周波数を有する、同じフレーム内の周波数サンプルでありうる。1つまたは複数の隣接する周波数サンプルが存在しうる。Enがしきい値thr[i]よりも高い場合、Enはthr[i]に設定され、すなわち、調整されることになるスペクトル係数の振幅はthr[i]に設定される。調整されることになるスペクトル係数の符号は、周波数サンプルのBWEスペクトル係数の符号である。調整されることになるスペクトル係数の振幅を調整されることになるスペクトル係数の符号で乗算することによって取得された値は、周波数サンプルの調整結果として使用される。
【００７０】
全ゼロベクトル内および非全ゼロベクトル内のゼロポイントの場合、重み付け動作の間に使用される重み付け係数は、スペクトル係数を調整する程度を制御できるように異なってよく、その結果、量子化されたスペクトル係数の音響分解能(acoustic resolution)は影響を受けず、追加のノイズも発生しない。
【００７１】
実施形態4
この方法実施形態に基づいて、本発明は、信号ノイズ除去装置の一実施形態をさらに提供する。図5を参照すると、この装置は、
調整されることになるスペクトル係数が存在するフレームのフレーム間相関関係の程度に従って、調整されることになるスペクトル係数と高い相関関係を有する少なくとも2つのスペクトル係数を選択するように構成された選択ユニット51と、
調整されることになるスペクトル係数の予測値を獲得するために、選択ユニット51によって選択された少なくとも2つのスペクトル係数とその調整されることになるスペクトル係数とに重み付けを実行するように構成された重み付けユニット52と、
重み付けユニット52によって獲得された予測値を使用することによって、復号信号のスペクトルを調整して、その調整された復号信号を出力するように構成された調整および出力ユニット53とを含む。
【００７２】
選択ユニット51が、調整されることになるスペクトル係数が存在するフレームのフレーム間相関関係の程度に従って、その調整されることになるスペクトル係数と高い相関関係を有する少なくとも2つのスペクトル係数を選択する前に、その調整されることになるスペクトル係数は、スペクトル係数の量子化符号化精度に従って決定される必要がさらにある。したがって、この装置は、
スペクトル係数の量子化符号化精度に従って、調整されることになるスペクトル係数を決定するように構成された予測ポイント決定ユニット50であって、この決定された調整されることになるスペクトル係数が、量子化されていないスペクトル係数および/または量子化精度しきい値よりもより低い量子化精度を有するスペクトル係数を含む予測ポイント決定ユニット50をさらに含む。
【００７３】
一実装形態モードでは、選択ユニット51は、
調整されることになるスペクトル係数が存在するフレームのフレーム間相関関係の程度に従って、3つの重み付けモード、すなわち、高いフレーム間相関関係重み付けモード、低いフレーム間相関関係重み付けモード、および中間のフレーム間相関関係重み付けモードから1つの重み付けモードを選択するように構成された重み付けモード選択モジュール511と、
重み付けモード選択モジュール511によって選択された重み付けモードに従って、調整されることになるスペクトル係数と高い相関関係を有する少なくとも2つのスペクトル係数を決定するように構成された関連スペクトル選択モジュール512とを含む。
【００７４】
重み付けユニット52は、以下のモジュール、すなわち
高いフレーム間相関関係重み付けモードの場合、以下の情報、すなわち、(1)先のフレームの予測値、(2)先のフレームの量子化されたスペクトル係数、および(3)先のフレームのBWEスペクトル係数のうちの少なくとも1つのタイプの重み付け値に従って、調整されることになるスペクトル係数の予測値を獲得するように構成された高い相関関係重み付けモジュール521、
低いフレーム間相関関係重み付けモードの場合、以下の情報、すなわち(1)現在のフレームの量子化されたスペクトル係数、(2)現在のフレームのBWEスペクトル係数、および(3)現在のフレームの既存の予測値のうちの少なくとも1つのタイプの重み付け値に従って、調整されることになるスペクトル係数の予測値を獲得するように構成された低い相関関係重み付けモジュール522、ならびに
中間のフレーム間相関関係重み付けモードの場合、以下の情報、すなわち、(1)先のフレームまたは現在のフレームの予測値、(2)先のフレームまたは現在のフレームの量子化されたスペクトル係数、および(3)先のフレームまたは現在のフレームのBWEスペクトル係数のうちの少なくとも1つのタイプの重み付け値に従って、調整されることになるスペクトル係数の予測値を獲得するように構成された中間の相関関係重み付けモジュール523のうちのいずれか1つを含む。
【００７５】
関連する重み付けモードにおいて使用されるスペクトル情報の重みは、調整されることになるスペクトル係数の量子化精度に従って制御される点に留意されたい。スペクトル情報の量子化精度が高ければ高いほど、スペクトル情報の対応する重みは大きくなる。加えて、重みは、スペクトル係数の量子化精度に正比例する。スペクトル係数およびそのスペクトル係数に対応する重みの積は、そのスペクトル係数の重み付け値である。
【００７６】
したがって、重み付けユニット52は、
調整されることになるスペクトル係数の量子化精度に従って、スペクトル情報の重みを制御するように構成された重み制御ジュール520であって、スペクトル情報の量子化精度が高ければ高いほど、スペクトル情報の対応する重みが大きくなる重み制御ジュール520をさらに含む。
【００７７】
予測後の周波数サンプルのスペクトル係数のエネルギーが調整されることになるスペクトル係数のエネルギーの上限しきい値よりも大きい場合、調整されたスペクトル係数のエネルギーは、上限しきい値以下の範囲になるように制御される必要がある。したがって、調整および出力ユニット53は、
調整されることになるスペクトル係数のエネルギーの上限しきい値と獲得された予測値とに従って、調整されることになるスペクトル係数の修正値を生成して、その修正値を使用することによって、復号信号のスペクトルを調整するように構成された修正モジュール530であって、調整されることになるスペクトル係数の修正値のエネルギーが、調整されることになるスペクトル係数のエネルギーの上限しきい以下である修正モジュール530をさらに含む。
【００７８】
本発明の実施形態による信号ノイズ除去装置では、重み付けユニットは、調整されることになるスペクトル係数の予測値を獲得するために、選択ユニットによって選択された少なくとも2つの関連するスペクトル係数を用いて、調整されることになるスペクトル係数に重み付けし、調整および出力ユニットは、調整されることになるスペクトル係数の予測値に従って、復号信号のスペクトルを調整し、次いで、調整された復号信号を出力し、その結果、予測されるスペクトル係数(すなわち、調整されることになるスペクトル係数の予測値)およびその他の関連するスペクトル係数は互いに適合可能であり、したがって、異なる量子化精度に従って取得されたスペクトル係数は互いに適合可能であり、それによって、復号信号のスペクトルの平滑さを増大させ、復号の後で、周波数帯域合成によって生成されるノイズを削減して、より良好な音響効果を達成するために、帯域合成された音声信号を可能にする。
【００７９】
実施形態5
装置実施形態に基づいて、本発明の一実施形態は、音声復号システムを提供する。図6を参照すると、音声復号システムは、コア復号器61と、BWE復号器62と、逆量子化復号器63と、信号ノイズ除去装置60とを含む。コア復号器61は、第1層コードストリームの低周波数情報を復号するように構成される。BWE復号器62は、第2層コードストリームのBWE情報を復号するように構成される。逆量子化復号器63は、残りのビットの第3層コードストリームの高周波数帯域情報を復号および逆量子化するように構成される。
【００８０】
信号ノイズ除去装置60は、本発明の前述の実施形態による信号ノイズ除去装置であってよく、BWE復号器と逆量子化復号器とによって出力された復号された情報を受信して、第2層コードストリームおよび第3層コードストリームの復号された情報に従って、調整されることになるスペクトル係数を決定して、調整されることになるスペクトル係数の獲得された予測値に従って、第3層コードストリームの復号された情報内のスペクトル係数を調整するように構成される。より詳細には、前述の装置実施形態を参照することが可能であり、本明細書においてそれらの詳細は再度説明されない。
【００８１】
本発明のこれらの実施形態の方法は、ソフトウェア機能モジュールを介して実装されることも可能であり、そのソフトウェア機能モジュールが個別の製品として販売または使用されるとき、そのソフトウェア機能モジュールは、コンピュータ可読記憶媒体内に格納されることも可能であることに留意されたい。記述された記憶媒体は、読出し専用メモリ(ROM)、磁気ディスク、または光ディスクであってよい。
【００８２】
本発明のそれぞれの実施形態による様々な機能ユニットは、1つの処理モジュール内に統合されてよく、もしくは様々な個別の物理ユニットとして存在してもよく、または2つ以上のユニットは1つのモジュール内に統合される。統合ユニットは、ハードウェアを介して実装可能であり、またはソフトウェア機能モジュールを介して実装されることも可能である。統合モジュールがソフトウェア機能モジュールを介して実装され、個別の製品として販売または使用されるとき、その統合モジュールは、コンピュータ記憶媒体内に格納されうる。記述された記憶媒体は、ROM、磁気ディスク、または光ディスクであってよい。
【００８３】
前述の実施形態は、本発明を限定することが意図されない。当業者にとって、本発明の原理から逸脱せずに行われた任意の修正、同等の置換、および改善は、本発明の保護範囲内に包含されるべきである。
【符号の説明】
【００８４】
16 周波数サンプル
17 周波数サンプル
18 周波数サンプル
50 予測ポイント決定ユニット
51 選択ユニット
52 重み付けユニット
53 調整および出力ユニット
60 信号ノイズ除去装置
61 コア復号器
62 BWE復号器
63 逆量子化復号器
511 重み付けモード選択モジュール
512 関連スペクトル選択モジュール
520 重み制御モジュール
521 高い相関関係重み付けモジュール
522 低い相関関係重み付けモジュール
523 中間の相関関係重み付けモジュール
530 修正モジュール
【特許請求の範囲】
【請求項１】
調整されることになるスペクトル係数が存在するフレームのフレーム間相関関係の程度に従って、前記調整されることになるスペクトル係数と高い相関関係を有する少なくとも2つのスペクトル係数を選択するステップと、
前記調整されることになるスペクトル係数の予測値を獲得するために、前記少なくとも2つの選択されたスペクトル係数と、前記調整されることになるスペクトル係数とに重み付けを実行するステップと、
前記獲得された予測値を使用することによって、復号信号のスペクトルを調整して、調整された復号信号を出力するステップと
を含む信号ノイズ除去方法。
【請求項２】
前記調整されることになるスペクトル係数が存在する前記フレームの前記フレーム間相関関係の前記程度に従って、前記調整されることになるスペクトル係数と高い相関関係を有する少なくとも2つのスペクトル係数を前記選択するステップの前に、前記方法が、
スペクトル係数の量子化符号化精度に従って、前記調整されることになるスペクトル係数を決定するステップであって、前記決定された調整されることになるスペクトル係数が、量子化されていないスペクトル係数および/または量子化精度しきい値よりも低い量子化精度を有するスペクトル係数を含む、決定するステップを含む、請求項1に記載の方法。
【請求項３】
前記調整されることになるスペクトル係数が存在する前記フレームの前記フレーム間相関関係の前記程度に従って、前記調整されることになるスペクトル係数と高い相関関係を有する少なくとも2つのスペクトル係数を前記選択するステップが、
前記調整されることになるスペクトル係数が存在する前記フレームの前記フレーム間相関関係の前記程度に従って、3つの重み付けモード、すなわち、高いフレーム間相関関係重み付けモード、低いフレーム間相関関係重み付けモード、および中間のフレーム間相関関係重み付けモードから1つの重み付けモードを選択するステップと、
前記選択された重み付けモードに従って、前記調整されることになるスペクトル係数と高い相関関係を有する前記少なくとも2つのスペクトル係数を決定するステップとを含む、請求項1に記載の方法。
【請求項４】
前記調整されることになるスペクトル係数の予測値を獲得するために、前記少なくとも2つの選択されたスペクトル係数と前記調整されることになるスペクトル係数とに前記重み付けを実行するステップが、
前記高いフレーム間相関関係重み付けモードの場合、以下の情報、すなわち、先のフレームの予測値、前記先のフレームの量子化されたスペクトル係数、および前記先のフレームの帯域幅拡張(BWE)スペクトル係数のうちの少なくとも1つのタイプの重み付け値に従って、前記調整されることになるスペクトル係数の前記予測値を獲得するステップと、
前記低いフレーム間相関関係重み付けモードの場合、以下の情報、すなわち、現在のフレームの量子化されたスペクトル係数、前記現在のフレームのBWEスペクトル係数、および前記現在のフレームの既存の予測値のうちの少なくとも1つのタイプの重み付け値に従って、前記調整されることになるスペクトル係数の前記予測値を獲得するステップと、
前記中間のフレーム間相関関係重み付けモードの場合、以下の情報、すなわち、前記先のフレームまたは前記現在のフレームの前記予測値、前記先のフレームまたは前記現在のフレームの前記量子化されたスペクトル係数、および前記先のフレームまたは前記現在のフレームの前記BWEスペクトル係数のうちの少なくとも1つのタイプの重み付け値に従って、前記調整されることになるスペクトル係数の前記予測値を獲得するステップとを含む、請求項3に記載の方法。
【請求項５】
前記調整されることになるスペクトル係数の予測値を獲得するために、前記少なくとも2つの選択されたスペクトル係数と前記調整されることになるスペクトル係数とに前記重み付けを実行するステップが、
前記調整されることになるスペクトル係数の量子化精度に従って、スペクトル情報の重みを制御するステップであって、前記スペクトル情報の前記量子化精度が高ければ高いほど、前記スペクトル情報の対応する重みが大きくなる、制御するステップをさらに含む、請求項4に記載の方法。
【請求項６】
前記調整されることになるスペクトル係数が存在する前記フレームと前記フレームの先のフレームの両方が調和フレームである場合、前記調整されることになるスペクトル係数が存在する前記フレームが高いフレーム間相関関係を有し、
前記先のフレームに先立つフレームに対応する量子化されたスペクトル係数の振幅が前記先のフレームに対応する量子化されたスペクトル係数の振幅よりも所与の倍数大きい場合、前記調整されることになるスペクトル係数の振幅が、前記調整されることになるスペクトル係数が存在する前記フレームのBWEスペクトル係数の振幅、および前記先のフレームに対応する前記量子化されたスペクトル係数の前記振幅の加重和であり、前記調整されることになるスペクトル係数の符号が、前記調整されることになるスペクトル係数が存在する前記フレームの前記BWEスペクトル係数の符号であり、
前記先のフレームに先立つ前記フレームに対応する前記量子化されたスペクトル係数の前記振幅が前記先のフレームに対応する前記量子化されたスペクトル係数の前記振幅よりも所与の倍数大きくない場合、前記調整されることになるスペクトル係数の前記振幅が、前記先のフレームに先立つ前記フレームに対応する前記量子化されたスペクトル係数の前記振幅、前記先のフレームに対応する前記量子化されたスペクトル係数の前記振幅、および前記調整されることになるスペクトル係数が存在する前記フレームの前記BWEスペクトル係数の前記振幅の加重和であり、前記調整されることになるスペクトル係数の前記符号が、前記調整されることになるスペクトル係数が存在する前記フレームの前記BWEスペクトル係数の前記符号である、請求項1または4に記載の方法。
【請求項７】
前記調整されることになるスペクトル係数が存在する前記フレームまたは前記フレームの先のフレームが過渡的なフレームである場合、前記調整されることになるスペクトル係数が存在する前記フレームが低いフレーム間相関関係を有し、
前記調整されることになるスペクトル係数の振幅が、調整されることになる周波数サンプルのBWEスペクトル係数の振幅、および隣接する周波数サンプルの量子化されたスペクトル係数の振幅の加重平均値であり、前記加重平均値が前記調整されることになるスペクトル係数の前記振幅の上限しきい値よりも大きい場合、前記調整されることになるスペクトル係数の前記振幅が前記上限しきい値に設定されるように調整され、
前記調整されることになるスペクトル係数の符号が、前記調整されることになる周波数サンプルの前記BWEスペクトル係数の符号である、請求項1または4に記載の方法。
【請求項８】
前記調整されることになるスペクトル係数が存在する前記フレームと前記フレームの先のフレームの両方が調和フレームである事例、および前記調整されることになるスペクトル係数が存在する前記フレームまたは前記先のフレームが過渡的フレームである事例に属さない事例の場合、前記調整されることになるスペクトル係数が存在する前記フレームが、中間のフレーム間相関関係を有し、
前記調整されることになるスペクトル係数の振幅が、調整されることになる周波数サンプルのBWEスペクトル係数の振幅、前記調整されることになる周波数サンプルの隣接する周波数サンプルのBWEスペクトル係数の振幅、前記調整されることになる周波数サンプルを有する前記フレームの先のフレームに対応する周波数サンプルの量子化されたスペクトル係数の振幅、および前記先のフレームに対応する前記周波数サンプルの隣接する周波数サンプルの量子化されたスペクトル係数の振幅の加重平均値であり、前記加重平均値が前記調整されることになるスペクトル係数の前記振幅の上限しきい値よりも大きい場合、前記調整されることになるスペクトル係数の前記振幅が前記上限しきい値に設定され、
前記調整されることになるスペクトル係数の符号が、前記調整されることになる周波数サンプルの前記BWEスペクトル係数の符号である、請求項1または4に記載の方法。
【請求項９】
前記獲得された予測値を使用することによって前記復号信号の前記スペクトルを前記調整するステップが、
前記調整されることになるスペクトル係数のエネルギーの上限しきい値と前記獲得された予測値とに従って、前記調整されることになるスペクトル係数の修正値を生成して、前記修正値を使用することによって、前記復号信号の前記スペクトルを調整するステップを含み、前記調整されることになるスペクトル係数の前記修正値のエネルギーが、前記調整されることになるスペクトル係数の前記エネルギーの前記上限しきい値以下である、請求項1に記載の方法。
【請求項１０】
調整されることになるスペクトル係数が存在するフレームのフレーム間相関関係の程度に従って、前記調整されることになるスペクトル係数と高い相関関係を有する少なくとも2つのスペクトル係数を選択するように構成された選択ユニットと、
前記調整されることになるスペクトル係数の予測値を獲得するために、前記選択ユニットによって選択された前記少なくとも2つのスペクトル係数と前記調整されることになるスペクトル係数とに重み付けを実行するように構成された重み付けユニットと、
前記重み付けユニットによって獲得された前記予測値を使用することによって、復号信号のスペクトルを調整して、調整された復号信号を出力するように構成された調整および出力ユニットと
を含む信号ノイズ除去装置。
【請求項１１】
前記スペクトル係数の量子化符号化精度に従って、前記調整されることになるスペクトル係数を決定するように構成された予測ポイント決定ユニットであって、前記決定された調整されることになるスペクトル係数が、量子化されていないスペクトル係数および/または量子化精度しきい値よりも低い量子化精度を有するスペクトル係数を含む、予測ポイント決定ユニット
をさらに含む、請求項10に記載の装置。
【請求項１２】
前記選択ユニットが、
前記調整されることになるスペクトル係数が存在する前記フレームの前記フレーム間相関関係の前記程度に従って、3つの重み付けモード、すなわち、高いフレーム間相関関係重み付けモード、低いフレーム間相関関係重み付けモード、および中間のフレーム間相関関係重み付けモードから1つの重み付けモードを選択するように構成された重み付けモード選択モジュールと、
前記重み付けモード選択モジュールによって選択された前記重み付けモードに従って、前記調整されることになるスペクトル係数と前記高い相関関係を有する前記少なくとも2つのスペクトル係数を決定するように構成された関連スペクトル選択モジュールとを含む、請求項10に記載の装置。
【請求項１３】
前記重み付けユニットが、以下のモジュール、すなわち、
前記高いフレーム間相関関係重み付けモードの場合、以下の情報、すなわち、(1)先のフレームの予測値、(2)前記先のフレームの量子化されたスペクトル係数、および(3)前記先のフレームの帯域幅拡張(BWE)スペクトル係数のうちの少なくとも1つのタイプの重み付け値に従って、前記調整されることになるスペクトル係数の前記予測値を獲得するように構成された高い相関関係重み付けモジュール、
前記低いフレーム間相関関係重み付けモードの場合、以下の情報、すなわち、(1)現在のフレームの量子化されたスペクトル係数、(2)前記現在のフレームのBWEスペクトル係数、および(3)前記現在のフレームの既存の予測値のうちの少なくとも1つのタイプの重み付け値に従って、前記調整されることになるスペクトル係数の前記予測値を獲得するように構成された低相関関係重み付けモジュール、または
前記中間のフレーム間相関関係重み付けモードの場合、以下の情報、すなわち(1)前記先のフレームまたは前記現在のフレームの前記予測値、(2)前記先のフレームまたは前記現在のフレームの前記量子化されたスペクトル係数、および(3)前記先のフレームまたは前記現在のフレームの前記BWEスペクトル係数のうちの少なくとも1つのタイプの重み付け値に従って、前記調整されることになるスペクトル係数の前記予測値を獲得するように構成された中間の相関関係重み付けモジュールのうちのいずれか1つを含む、請求項12に記載の装置。
【請求項１４】
前記重み付けユニットが、
前記調整されることになるスペクトル係数の量子化精度に従って、スペクトル情報の重みを制御するように構成された重み制御モジュールであって、前記スペクトル情報の前記量子化精度が高ければ高いほど、前記スペクトル情報の対応する重みが大きくなる、重み制御モジュールをさらに含む、請求項13に記載の装置。
【請求項１５】
前記調整および出力ユニットが、
前記調整されることになるスペクトル係数のエネルギーの上限しきい値と前記獲得された予測値とに従って、前記調整されることになるスペクトル係数の修正値を生成して、前記修正値を使用することによって、前記復号信号の前記スペクトルを調整するように構成された修正モジュールであって、前記調整されることになるスペクトル係数の前記修正値のエネルギーが、前記調整されることになるスペクトル係数の前記エネルギーの前記上限しきい値以下である修正モジュールを含む、請求項10に記載の装置。
【請求項１６】
コア復号器と、帯域幅拡張(BWE)復号器と、逆量子化復号器と、請求項10から15のいずれか一項に記載の信号ノイズ除去装置とを含む音声復号システムであって、
前記コア復号器が、第1層コードストリームの低周波数情報を復号するように構成され、
前記BWE復号器が、第2層コードストリームのBWE情報を復号するように構成され、
前記逆量子化復号器が、残りのビットの第3層コードストリームの高周波数帯域情報を復号および逆量子化するように構成され、
前記信号ノイズ除去装置が、前記BWE復号器と前記逆量子化復号器とによって出力された前記復号された情報を受信し、前記復号された情報内の調整されることになるスペクトル係数を決定し、前記調整されることになるスペクトル係数の獲得された予測値に従って、前記復号された情報内のスペクトル係数を調整するように構成される音声復号システム。
【請求項１】
調整されることになるスペクトル係数が存在するフレームのフレーム間相関関係の程度に従って、前記調整されることになるスペクトル係数と高い相関関係を有する少なくとも2つのスペクトル係数を選択するステップと、
前記調整されることになるスペクトル係数の予測値を獲得するために、前記少なくとも2つの選択されたスペクトル係数と、前記調整されることになるスペクトル係数とに重み付けを実行するステップと、
前記獲得された予測値を使用することによって、復号信号のスペクトルを調整して、調整された復号信号を出力するステップと
を含む信号ノイズ除去方法。
【請求項２】
前記調整されることになるスペクトル係数が存在する前記フレームの前記フレーム間相関関係の前記程度に従って、前記調整されることになるスペクトル係数と高い相関関係を有する少なくとも2つのスペクトル係数を前記選択するステップの前に、前記方法が、
スペクトル係数の量子化符号化精度に従って、前記調整されることになるスペクトル係数を決定するステップであって、前記決定された調整されることになるスペクトル係数が、量子化されていないスペクトル係数および/または量子化精度しきい値よりも低い量子化精度を有するスペクトル係数を含む、決定するステップを含む、請求項1に記載の方法。
【請求項３】
前記調整されることになるスペクトル係数が存在する前記フレームの前記フレーム間相関関係の前記程度に従って、前記調整されることになるスペクトル係数と高い相関関係を有する少なくとも2つのスペクトル係数を前記選択するステップが、
前記調整されることになるスペクトル係数が存在する前記フレームの前記フレーム間相関関係の前記程度に従って、3つの重み付けモード、すなわち、高いフレーム間相関関係重み付けモード、低いフレーム間相関関係重み付けモード、および中間のフレーム間相関関係重み付けモードから1つの重み付けモードを選択するステップと、
前記選択された重み付けモードに従って、前記調整されることになるスペクトル係数と高い相関関係を有する前記少なくとも2つのスペクトル係数を決定するステップとを含む、請求項1に記載の方法。
【請求項４】
前記調整されることになるスペクトル係数の予測値を獲得するために、前記少なくとも2つの選択されたスペクトル係数と前記調整されることになるスペクトル係数とに前記重み付けを実行するステップが、
前記高いフレーム間相関関係重み付けモードの場合、以下の情報、すなわち、先のフレームの予測値、前記先のフレームの量子化されたスペクトル係数、および前記先のフレームの帯域幅拡張(BWE)スペクトル係数のうちの少なくとも1つのタイプの重み付け値に従って、前記調整されることになるスペクトル係数の前記予測値を獲得するステップと、
前記低いフレーム間相関関係重み付けモードの場合、以下の情報、すなわち、現在のフレームの量子化されたスペクトル係数、前記現在のフレームのBWEスペクトル係数、および前記現在のフレームの既存の予測値のうちの少なくとも1つのタイプの重み付け値に従って、前記調整されることになるスペクトル係数の前記予測値を獲得するステップと、
前記中間のフレーム間相関関係重み付けモードの場合、以下の情報、すなわち、前記先のフレームまたは前記現在のフレームの前記予測値、前記先のフレームまたは前記現在のフレームの前記量子化されたスペクトル係数、および前記先のフレームまたは前記現在のフレームの前記BWEスペクトル係数のうちの少なくとも1つのタイプの重み付け値に従って、前記調整されることになるスペクトル係数の前記予測値を獲得するステップとを含む、請求項3に記載の方法。
【請求項５】
前記調整されることになるスペクトル係数の予測値を獲得するために、前記少なくとも2つの選択されたスペクトル係数と前記調整されることになるスペクトル係数とに前記重み付けを実行するステップが、
前記調整されることになるスペクトル係数の量子化精度に従って、スペクトル情報の重みを制御するステップであって、前記スペクトル情報の前記量子化精度が高ければ高いほど、前記スペクトル情報の対応する重みが大きくなる、制御するステップをさらに含む、請求項4に記載の方法。
【請求項６】
前記調整されることになるスペクトル係数が存在する前記フレームと前記フレームの先のフレームの両方が調和フレームである場合、前記調整されることになるスペクトル係数が存在する前記フレームが高いフレーム間相関関係を有し、
前記先のフレームに先立つフレームに対応する量子化されたスペクトル係数の振幅が前記先のフレームに対応する量子化されたスペクトル係数の振幅よりも所与の倍数大きい場合、前記調整されることになるスペクトル係数の振幅が、前記調整されることになるスペクトル係数が存在する前記フレームのBWEスペクトル係数の振幅、および前記先のフレームに対応する前記量子化されたスペクトル係数の前記振幅の加重和であり、前記調整されることになるスペクトル係数の符号が、前記調整されることになるスペクトル係数が存在する前記フレームの前記BWEスペクトル係数の符号であり、
前記先のフレームに先立つ前記フレームに対応する前記量子化されたスペクトル係数の前記振幅が前記先のフレームに対応する前記量子化されたスペクトル係数の前記振幅よりも所与の倍数大きくない場合、前記調整されることになるスペクトル係数の前記振幅が、前記先のフレームに先立つ前記フレームに対応する前記量子化されたスペクトル係数の前記振幅、前記先のフレームに対応する前記量子化されたスペクトル係数の前記振幅、および前記調整されることになるスペクトル係数が存在する前記フレームの前記BWEスペクトル係数の前記振幅の加重和であり、前記調整されることになるスペクトル係数の前記符号が、前記調整されることになるスペクトル係数が存在する前記フレームの前記BWEスペクトル係数の前記符号である、請求項1または4に記載の方法。
【請求項７】
前記調整されることになるスペクトル係数が存在する前記フレームまたは前記フレームの先のフレームが過渡的なフレームである場合、前記調整されることになるスペクトル係数が存在する前記フレームが低いフレーム間相関関係を有し、
前記調整されることになるスペクトル係数の振幅が、調整されることになる周波数サンプルのBWEスペクトル係数の振幅、および隣接する周波数サンプルの量子化されたスペクトル係数の振幅の加重平均値であり、前記加重平均値が前記調整されることになるスペクトル係数の前記振幅の上限しきい値よりも大きい場合、前記調整されることになるスペクトル係数の前記振幅が前記上限しきい値に設定されるように調整され、
前記調整されることになるスペクトル係数の符号が、前記調整されることになる周波数サンプルの前記BWEスペクトル係数の符号である、請求項1または4に記載の方法。
【請求項８】
前記調整されることになるスペクトル係数が存在する前記フレームと前記フレームの先のフレームの両方が調和フレームである事例、および前記調整されることになるスペクトル係数が存在する前記フレームまたは前記先のフレームが過渡的フレームである事例に属さない事例の場合、前記調整されることになるスペクトル係数が存在する前記フレームが、中間のフレーム間相関関係を有し、
前記調整されることになるスペクトル係数の振幅が、調整されることになる周波数サンプルのBWEスペクトル係数の振幅、前記調整されることになる周波数サンプルの隣接する周波数サンプルのBWEスペクトル係数の振幅、前記調整されることになる周波数サンプルを有する前記フレームの先のフレームに対応する周波数サンプルの量子化されたスペクトル係数の振幅、および前記先のフレームに対応する前記周波数サンプルの隣接する周波数サンプルの量子化されたスペクトル係数の振幅の加重平均値であり、前記加重平均値が前記調整されることになるスペクトル係数の前記振幅の上限しきい値よりも大きい場合、前記調整されることになるスペクトル係数の前記振幅が前記上限しきい値に設定され、
前記調整されることになるスペクトル係数の符号が、前記調整されることになる周波数サンプルの前記BWEスペクトル係数の符号である、請求項1または4に記載の方法。
【請求項９】
前記獲得された予測値を使用することによって前記復号信号の前記スペクトルを前記調整するステップが、
前記調整されることになるスペクトル係数のエネルギーの上限しきい値と前記獲得された予測値とに従って、前記調整されることになるスペクトル係数の修正値を生成して、前記修正値を使用することによって、前記復号信号の前記スペクトルを調整するステップを含み、前記調整されることになるスペクトル係数の前記修正値のエネルギーが、前記調整されることになるスペクトル係数の前記エネルギーの前記上限しきい値以下である、請求項1に記載の方法。
【請求項１０】
調整されることになるスペクトル係数が存在するフレームのフレーム間相関関係の程度に従って、前記調整されることになるスペクトル係数と高い相関関係を有する少なくとも2つのスペクトル係数を選択するように構成された選択ユニットと、
前記調整されることになるスペクトル係数の予測値を獲得するために、前記選択ユニットによって選択された前記少なくとも2つのスペクトル係数と前記調整されることになるスペクトル係数とに重み付けを実行するように構成された重み付けユニットと、
前記重み付けユニットによって獲得された前記予測値を使用することによって、復号信号のスペクトルを調整して、調整された復号信号を出力するように構成された調整および出力ユニットと
を含む信号ノイズ除去装置。
【請求項１１】
前記スペクトル係数の量子化符号化精度に従って、前記調整されることになるスペクトル係数を決定するように構成された予測ポイント決定ユニットであって、前記決定された調整されることになるスペクトル係数が、量子化されていないスペクトル係数および/または量子化精度しきい値よりも低い量子化精度を有するスペクトル係数を含む、予測ポイント決定ユニット
をさらに含む、請求項10に記載の装置。
【請求項１２】
前記選択ユニットが、
前記調整されることになるスペクトル係数が存在する前記フレームの前記フレーム間相関関係の前記程度に従って、3つの重み付けモード、すなわち、高いフレーム間相関関係重み付けモード、低いフレーム間相関関係重み付けモード、および中間のフレーム間相関関係重み付けモードから1つの重み付けモードを選択するように構成された重み付けモード選択モジュールと、
前記重み付けモード選択モジュールによって選択された前記重み付けモードに従って、前記調整されることになるスペクトル係数と前記高い相関関係を有する前記少なくとも2つのスペクトル係数を決定するように構成された関連スペクトル選択モジュールとを含む、請求項10に記載の装置。
【請求項１３】
前記重み付けユニットが、以下のモジュール、すなわち、
前記高いフレーム間相関関係重み付けモードの場合、以下の情報、すなわち、(1)先のフレームの予測値、(2)前記先のフレームの量子化されたスペクトル係数、および(3)前記先のフレームの帯域幅拡張(BWE)スペクトル係数のうちの少なくとも1つのタイプの重み付け値に従って、前記調整されることになるスペクトル係数の前記予測値を獲得するように構成された高い相関関係重み付けモジュール、
前記低いフレーム間相関関係重み付けモードの場合、以下の情報、すなわち、(1)現在のフレームの量子化されたスペクトル係数、(2)前記現在のフレームのBWEスペクトル係数、および(3)前記現在のフレームの既存の予測値のうちの少なくとも1つのタイプの重み付け値に従って、前記調整されることになるスペクトル係数の前記予測値を獲得するように構成された低相関関係重み付けモジュール、または
前記中間のフレーム間相関関係重み付けモードの場合、以下の情報、すなわち(1)前記先のフレームまたは前記現在のフレームの前記予測値、(2)前記先のフレームまたは前記現在のフレームの前記量子化されたスペクトル係数、および(3)前記先のフレームまたは前記現在のフレームの前記BWEスペクトル係数のうちの少なくとも1つのタイプの重み付け値に従って、前記調整されることになるスペクトル係数の前記予測値を獲得するように構成された中間の相関関係重み付けモジュールのうちのいずれか1つを含む、請求項12に記載の装置。
【請求項１４】
前記重み付けユニットが、
前記調整されることになるスペクトル係数の量子化精度に従って、スペクトル情報の重みを制御するように構成された重み制御モジュールであって、前記スペクトル情報の前記量子化精度が高ければ高いほど、前記スペクトル情報の対応する重みが大きくなる、重み制御モジュールをさらに含む、請求項13に記載の装置。
【請求項１５】
前記調整および出力ユニットが、
前記調整されることになるスペクトル係数のエネルギーの上限しきい値と前記獲得された予測値とに従って、前記調整されることになるスペクトル係数の修正値を生成して、前記修正値を使用することによって、前記復号信号の前記スペクトルを調整するように構成された修正モジュールであって、前記調整されることになるスペクトル係数の前記修正値のエネルギーが、前記調整されることになるスペクトル係数の前記エネルギーの前記上限しきい値以下である修正モジュールを含む、請求項10に記載の装置。
【請求項１６】
コア復号器と、帯域幅拡張(BWE)復号器と、逆量子化復号器と、請求項10から15のいずれか一項に記載の信号ノイズ除去装置とを含む音声復号システムであって、
前記コア復号器が、第1層コードストリームの低周波数情報を復号するように構成され、
前記BWE復号器が、第2層コードストリームのBWE情報を復号するように構成され、
前記逆量子化復号器が、残りのビットの第3層コードストリームの高周波数帯域情報を復号および逆量子化するように構成され、
前記信号ノイズ除去装置が、前記BWE復号器と前記逆量子化復号器とによって出力された前記復号された情報を受信し、前記復号された情報内の調整されることになるスペクトル係数を決定し、前記調整されることになるスペクトル係数の獲得された予測値に従って、前記復号された情報内のスペクトル係数を調整するように構成される音声復号システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公表番号】特表２０１２−５２２２７２（Ｐ２０１２−５２２２７２Ａ）
【公表日】平成２４年９月２０日（２０１２．９．２０）
【国際特許分類】
【出願番号】特願２０１２−５０２４２５（Ｐ２０１２−５０２４２５）
【出願日】平成２１年１２月２８日（２００９．１２．２８）
【国際出願番号】ＰＣＴ／ＣＮ２００９／０７６１５５
【国際公開番号】ＷＯ２０１０／１１１８７６
【国際公開日】平成２２年１０月７日（２０１０．１０．７）
【出願人】（５０４２７７３８８）▲ホア▼▲ウェイ▼技術有限公司 (220)
【Ｆターム（参考）】
【公表日】平成２４年９月２０日（２０１２．９．２０）
【国際特許分類】
【出願日】平成２１年１２月２８日（２００９．１２．２８）
【国際出願番号】ＰＣＴ／ＣＮ２００９／０７６１５５
【国際公開番号】ＷＯ２０１０／１１１８７６
【国際公開日】平成２２年１０月７日（２０１０．１０．７）
【出願人】（５０４２７７３８８）▲ホア▼▲ウェイ▼技術有限公司 (220)
【Ｆターム（参考）】
[ Back to top ]