帯域拡張方法、帯域拡張装置、プログラム、集積回路およびオーディオ復号装置
【課題】帯域拡張の演算量を低減するとともに、拡張される帯域の品質低下を抑えることができる帯域拡張方法を提供する。
【解決手段】この帯域拡張方法では、低周波数帯域信号をＱＭＦ領域に変換することによって、第１の低周波ＱＭＦスペクトラムを生成し（Ｓ１１）、低周波数帯域信号に互いに異なるシフト係数を適用することにより、ピッチシフトさせた複数個の信号を生成し（Ｓ１２）、ＱＭＦ領域で時間伸張することにより、高周波ＱＭＦスペクトラムを生成し（Ｓ１３）、その高周波ＱＭＦスペクトラムを修正し（Ｓ１４）、修正された高周波ＱＭＦスペクトラムと、第１の低周波ＱＭＦスペクトラムとを組み合わせる（Ｓ１５）。
【解決手段】この帯域拡張方法では、低周波数帯域信号をＱＭＦ領域に変換することによって、第１の低周波ＱＭＦスペクトラムを生成し（Ｓ１１）、低周波数帯域信号に互いに異なるシフト係数を適用することにより、ピッチシフトさせた複数個の信号を生成し（Ｓ１２）、ＱＭＦ領域で時間伸張することにより、高周波ＱＭＦスペクトラムを生成し（Ｓ１３）、その高周波ＱＭＦスペクトラムを修正し（Ｓ１４）、修正された高周波ＱＭＦスペクトラムと、第１の低周波ＱＭＦスペクトラムとを組み合わせる（Ｓ１５）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオ信号の周波数帯域を拡張する帯域拡張方法等に関する。
【背景技術】
【０００２】
オーディオ帯域拡張（ＢＷＥ）技術は、広帯域のオーディオ信号を低ビットレートで効率的に符号化するために、近年のオーディオコーデックにおいて一般的に用いられている技術である。その原理は、元の高周波（ＨＦ）内容のパラメトリック表現を用いて、低周波（ＬＦ）データから高周波（ＨＦ）の近似を合成することである。
【０００３】
図１は、このようなＢＷＥ技術ベースのオーディオコーデックを示す図である。このオーディオコーデックのエンコーダにおいて、広帯域オーディオ信号は、まずＬＦ部分とＨＦ部分とに分離され（１０１および１０３）、このＬＦ部分は波形を保持するように符号化される（１０４）。その一方で、ＬＦ部分とＨＦ部分との関係が（一般的には、周波数領域で）分析され（１０２）、１組のＨＦパラメータによって示される。ＨＦ部分をパラメータで示すことにより、多重化された（１０５）波形データおよびＨＦパラメータを低ビットレートでデコーダに送信することができる。
【０００４】
デコーダにおいては、まずＬＦ部分が復号される（１０７）。元のＨＦ部分を近似するために、復号されたＬＦ部分が周波数領域に変換され（１０８）、得られたＬＦスペクトラムは、復号された一部のＨＦパラメータに従って修正され（１０９）、ＨＦスペクトラムが生成される。ＨＦスペクトラムもまた、復号された一部のＨＦパラメータに従って、さらに後処理によって精細化される（１１０）。精細化されたＨＦスペクトラムが時間領域に変換されて（１１１）、遅延された（１１２）ＬＦ部分に組み合わされる。その結果、再構築された最終の広帯域オーディオ信号が出力される。
【０００５】
なお、ＢＷＥ技術において、重要なステップの一つは、ＬＦスペクトラムからＨＦスペクトラムを生成することである（１０９）。これを実現するための方法はいくつかあり、たとえば、ＬＦ部分をＨＦ位置に複写する方法、非線形処理、またはアップサンプリングなどがある。
【０００６】
このようなＢＷＥ技術を用いる最も周知なオーディオコーデックは、ＭＰＥＧ−４ ＨＥ−ＡＡＣであり、そこでＢＷＥ技術は、ＳＢＲ（スペクトル帯域複製）またはＳＢＲ技術として規定されている。ＳＢＲにおいて、ＨＦ部分は単純にＱＭＦ（直交ミラーフィルタ）表示内のＬＦ部分をＨＦスペクトル位置に複写することにより生成される。
【０００７】
このようなスペクトル複写処理はパッチングとも呼ばれており、この処理は単純であり、かつ多くの場合において効率的であると証明されている。しかしながら、わずかなＬＦ部分帯域のみが実行可能である、非常に低いビットレート（たとえば、＜２０ｋｂｉｔｓ／ｓ ｍｏｎｏ）においてのＳＢＲ技術は、荒さや不快な音質などのような、望ましくない聴感的アーチファクトをもたらす可能性がある（例えば、非特許文献１参照）。
【０００８】
したがって、低ビットレートで符号化する場合において挙げた、ミラーリングまたは複写処理に起因するアーチファクトを回避するため、標準的なＳＢＲ技術は改良され、以下の主な変更により拡張されている（例えば、非特許文献２参照）。
【０００９】
（１）パッチングアルゴリズムを複写パターンからフェーズボコーダ駆動のパッチングパターンに変更する。
（２）適応的時間分解能を後処理パラメータ用に上げる。
【００１０】
第１の変更（上記（１））を行った結果、複数の整数係数でＬＦスペクトラムを拡散させることにより、ＨＦにおけるハーモニクスの連続性が本質的に確保される。特に、うなりの影響によって引き起こされる、所望されていない粗度感は、低周波と高周波との境界、および異なる高周波部分間の境界では発生しない（例えば、非特許文献１参照）。
【００１１】
また、第２の変更（上記（２））により、精細化されたＨＦスペクトラムを、再現された周波数帯域における信号の揺らぎに対してさらに適応できるようにすることが容易になる。
【００１２】
新たなパッチングがハーモニクス関係を保持するため、これはハーモニクス帯域拡張（ＨＢＥ）と呼ばれる。標準的なＳＢＲを超える先行技術のＨＢＥの効果は、低ビットレートでのオーディオ符号化について実験によっても確認されている（例えば、非特許文献１参照）。
【００１３】
なお、上記２つの変更は、ＨＦスペクトルジェネレータのみに影響するものであり（１０９）、ＨＢＥにおけるその他の方法は、ＳＢＲと全く同一である。
【００１４】
図２は、先行技術のＨＢＥにおけるＨＦスペクトルジェネレータを示す図である。なお、ＨＦスペクトルジェネレータは、図１のＴ−Ｆ変換１０８およびＨＦ再構築１０９から構成される。ある信号のＬＦ部分が入力され、そのＨＦスペクトラムが、第２次（最低周波数を有するＨＦパッチ）から第Ｔ次（最高周波数を有するＨＦパッチ）までの（Ｔ−１）個のＨＦハーモニクスパッチ（各パッチング工程において１つのＨＦパッチが作成される）からなると仮定する。先行技術のＨＢＥにおいて、これらのＨＦパッチはすべてフェーズボコーダから、並行して別々に生成される。
【００１５】
図２に示すように、異なる伸張係数（２からｋ）を有する、（Ｔ−１）個のフェーズボコーダ（２０１〜２０３）が、入力されたＬＦ部分を伸張するために用いられる。伸張された出力は異なる長さを有しており、これらの出力に対して、帯域フィルタを通過させ（２０４〜２０６）、かつ再サンプリングを行い（２０７〜２０９）、時間拡張を周波数拡張に変換することでＨＦパッチが生成される。伸張係数を再サンプリング係数の２倍に設定することで、ＨＦパッチは信号のハーモニクス構造を維持し、ＬＦ部分の２倍の長さを有するようになる。そして、ＨＦパッチがすべて遅延調整されて（２１０〜２１２）、再サンプリング処理が一因となる、様々な潜在的遅延を補償する。最後のステップにおいて、遅延調整されたすべてのＨＦパッチが合算され、かつＱＭＦ領域に変換されて（２１３）、ＨＦスペクトラムが作成される。
【００１６】
上記ＨＦスペクトルジェネレータを見ると、非常に多い演算量を有している。演算量に寄与するものは、主に時間拡張処理によるものであり、この時間拡張処理は、フェーズボコーダにおいて採用された一連の短時間フーリエ変換（ＳＴＦＴ）および逆短時間フーリエ変換（ＩＳＴＦＴ）、ならびに時間伸張されたＨＦ部分に適用される、後続のＱＭＦ処理によって実現される。
【００１７】
フェーズボコーダおよびＱＭＦ変換の概略を、以下に紹介する。
【００１８】
フェーズボコーダは、周波数領域変換を用いることで時間伸張効果を実現する、周知の技術である。つまり、局部的なスペクトル特徴を変更せずに維持しつつ、信号の経時変化を修正する技術である。その基本的な原理は、以下の通りである。
【００１９】
図３Ａおよび図３Ｂは、フェーズボコーダによる時間伸張の原理を示す図である。
【００２０】
図３Ａに示すように、オーディオを重なり合うブロックに分割し、ホップサイズ（連続するブロック間の時間間隔）が入力時および出力時において同一ではないブロック間の間隔を調整する。ここでは、入力ホップサイズＲａが出力ホップサイズＲｓより小さいため、その結果、元の信号は、以下の（式１）に示す比ｒで拡張される。
【００２１】
【数１】
【００２２】
図３Ｂに示すように、間隔を調整したブロックを、周波数領域変換を要するコヒーレントパターンで重ね合わせる。一般的に、入力ブロックを周波数に変換し、位相を適切に修正した後、新たなブロックを元の出力ブロックに変換する。
【００２３】
上記の原理に従って、ほとんどの典型的なフェーズボコーダは、短時間フーリエ変換（ＳＴＦＴ）を周波数領域変換として採用しており、分析の明示的な順序、ならびに時間伸張のための修正および再合成が必要である。
【００２４】
ＱＭＦバンクは、時間領域表示を時間−周波数領域結合表示（逆も同様）に変換し、これはスペクトル帯域複製（ＳＢＲ）、パラメトリックステレオ符号化（ＰＳ）、および空間オーディオ符号化（ＳＡＣ）などのパラメトリックベースの符号化方式において一般的に用いられている。これらのフィルタバンクの特徴は、複素周波数（サブバンド）領域信号が係数２によって効率的にオーバーサンプリングされるということである。これにより、サブバンド領域信号の後処理を、エイリアシングによる歪みを発生させることなく行うことができる。
【００２５】
さらに詳細には、実数値の離散時間信号をｘ（ｎ）とすると、ＱＭＦバンクの分析により、複素サブバンド領域信号ｓｋ（ｎ）が以下の（式２）によって求められる。
【００２６】
【数２】
【００２７】
（式２）中、ｐ（ｎ）は、第Ｌ−１次の低域通過プロトタイプフィルタのインパルス応答を示し、αは位相パラメータ、Ｍは帯域の数を示し、ｋはサブバンドインデックスを示し、ｋ＝０、１、・・・、Ｍ−１である。
【００２８】
なお、ＳＴＦＴと同様に、ＱＭＦ変換も時間−周波数結合変換である。すなわち、これにより信号の周波数内容および周波数内容における時間経過による変化のどちらも求めることができ、ここで周波数内容は、周波数サブバンドによって示され、時間軸はタイムスロットによって示される。
【００２９】
図４は、ＱＭＦ分析および合成方式を示す図である。
【００３０】
具体的には、図４に示されるように、ある実際の音声入力は、長さがＬ、かつホップサイズがＭである、連続し重なり合うブロックに分割され（図４の（ａ））、ＱＭＦ分析処理により、各ブロックは、１つのタイムスロットに変換され、タイムスロットはそれぞれ、Ｍ個の複素サブバンド信号で構成される。この方法により、Ｌ時間領域入力サンプルは、Ｌ個の複素ＱＭＦ係数に変換され、Ｌ／ＭタイムスロットおよびＭ個のサブバンドで構成される（図４の（ｂ））。各タイムスロットは、先行する（Ｌ／Ｍ−１）タイムスロットと組み合わされ、ＱＭＦ合成処理により合成されて、Ｍ個のリアルタイム領域サンプル（図４の（ｃ））がほぼ完璧に再構築される。
【先行技術文献】
【非特許文献】
【００３１】
【非特許文献１】Ｆｒｅｄｅｒｉｋ Ｎａｇｅｌ ａｎｄ Ｓａｓｃｈａ Ｄｉｓｃｈ、「Ａ ｈａｒｍｏｎｉｃ ｂａｎｄｗｉｄｔｈ ｅｘｔｅｎｓｉｏｎ ｍｅｔｈｏｄ ｆｏｒ ａｕｄｉｏ ｃｏｄｅｃｓ」、ＩＥＥＥ Ｉｎｔ．Ｃｏｎｆ．ｏｎ Ａｃｏｕｓｔｉｃｓ、 Ｓｐｅｅｃｈ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃ．、 ２００９年
【非特許文献２】Ｍａｘ Ｎｅｕｅｎｄｏｒｆ、ｅｔ ａｌ、「Ａ ｎｏｖｅｌ ｓｃｈｅｍｅ ｆｏｒ ｌｏｗ ｂｉｔｒａｔｅ ｕｎｉｆｉｅｄ ｓｐｅｅｃｈ ａｎｄ ａｕｄｉｏ ｃｏｄｉｎｇ−ＭＰＥＧ ＲＭ０」、１２６ｔｈ ＡＥＳ Ｃｏｎｖｅｎｔｉｏｎ、Ｍｕｎｉｃｈ、Ｇｅｒｍａｎｙ、２００９年５月
【発明の概要】
【発明が解決しようとする課題】
【００３２】
先行技術であるＨＢＥ技術に付随する課題は、演算量が多いということである。信号を伸張するために、ＨＢＥによって採用された従来のフェーズボコーダは、連続するＳＴＦＴおよびＩＳＴＦＴ、つまり連続するＦＦＴ（高速フーリエ変換）およびＩＦＦＴ（逆高速フーリエ変換）を適用するため演算量が多く、後続のＱＭＦ変換は、時間伸張信号に適用されるため、演算量が増す。また、一般的には、演算量を低減しようとすると、品質低下を招く可能性がある。
【００３３】
そこで、本発明は、かかる問題に鑑みてなされたものであって、帯域拡張の演算量を低減するとともに、拡張される帯域の品質低下を抑えることができる帯域拡張方法を提供することを目的とする。
【課題を解決するための手段】
【００３４】
上記目的を達成するために、本発明の一態様に係る帯域拡張方法は、低周波数帯域信号から全帯域信号を生成する帯域拡張方法であって、前記低周波数帯域信号を直交ミラーフィルタバンク（ＱＭＦ）領域に変換することによって、第１の低周波ＱＭＦスペクトラムを生成する第１の変換ステップと、前記低周波数帯域信号に互いに異なるシフト係数を適用することにより、ピッチシフトさせた複数個の信号を生成するピッチシフトステップと、ピッチシフトさせた前記複数個の信号をＱＭＦ領域で時間伸張することにより、高周波ＱＭＦスペクトラムを生成する高周波生成ステップと、高周波エネルギーおよび音調の条件を満たすように、前記高周波ＱＭＦスペクトラムを修正するスペクトラム修正ステップと、修正された前記高周波ＱＭＦスペクトラムと、前記第１の低周波ＱＭＦスペクトラムとを組み合わせることによって前記全帯域信号を生成する全帯域生成ステップとを含む。
【００３５】
これにより、ピッチシフトさせた複数個の信号がＱＭＦ領域で時間伸張されることによって、高周波ＱＭＦスペクトラムが生成される。したがって、高周波ＱＭＦスペクトラムを生成するために、従来のような複雑な処理（連続して繰り返されるＦＦＴおよびＩＦＦＴと、後続のＱＭＦ変換）を避けることができ、帯域拡張の演算量を低減することができる。なお、ＳＴＦＴと同様に、ＱＭＦ変換そのものは、時間−周波数結合分解能を提供するため、ＱＭＦ変換は、一連のＳＴＦＴおよびＩＳＴＦＴの代わりになる。さらに、本発明の一態様に係る帯域拡張方法では、１つのシフト係数だけでなく、互いに異なるシフト係数を適用することによって、ピッチシフトさせた複数個の信号が生成されて、これらに対して時間伸張が行われるため、高周波ＱＭＦスペクトラムの品質の低下を抑えることができる。
【００３６】
また、前記高周波生成ステップは、ピッチシフトさせた前記複数個の信号をＱＭＦ領域に変換することによって複数個のＱＭＦスペクトルを生成する第２の変換ステップと、前記複数個のＱＭＦスペクトルを互いに異なる複数の伸張係数で時間次元方向に伸張することによって複数個のハーモニクスパッチを生成するハーモニクスパッチ生成ステップと、前記複数個のハーモニクスパッチを時間調整する調整ステップと、時間調整された前記ハーモニクスパッチを合算する合算ステップとを含む。
【００３７】
また、前記ハーモニクスパッチ生成ステップは、前記ＱＭＦスペクトラムの振幅および位相を算出する算出ステップと、前記位相を操作することによって新たな位相を生成する位相操作ステップと、前記振幅と前記新たな位相とを組み合わせることによって、新たなＱＭＦ係数の組を生成するＱＭＦ係数生成ステップとを含む。
【００３８】
また、前記位相操作ステップでは、ＱＭＦ係数の組全体の元の位相に基づいて前記新たな位相を生成する。
【００３９】
また、前記位相操作ステップでは、ＱＭＦ係数の組に対して操作を繰り返し行い、前記ＱＭＦ係数生成ステップでは、複数の前記新たなＱＭＦ係数の組を生成する。
【００４０】
また、前記位相操作ステップでは、ＱＭＦサブバンド指標に依存して異なる操作を行う。
【００４１】
また、前記ＱＭＦ係数生成ステップでは、複数の前記新たなＱＭＦ係数の組をオーバーラップ加算することで、時間伸張したオーディオ信号に対応するＱＭＦ係数を生成する。
【００４２】
つまり、本発明の一態様に係る帯域拡張方法における時間伸張では、入力されたＱＭＦブロックの位相を修正し、修正されたＱＭＦブロックを異なるホップサイズでオーバーラップ加算することにより、ＳＴＦＴベースの伸張方法を模倣している。演算量の観点から、このような時間伸張と、ＳＴＦＴベースの方法における、連続するＦＦＴおよびＩＦＦＴとを比較すると、この時間伸張では、ＱＭＦ分析変換を１度だけ行うため演算量が少ない。したがって、帯域拡張の演算量をより低減することができる。
【００４３】
また、上記目的を達成するために、本発明の他の態様に係る帯域拡張方法は、低周波数帯域信号から全帯域信号を生成する帯域拡張方法であって、前記低周波数帯域信号を直交ミラーフィルタバンク（ＱＭＦ）領域に変換することによって、第１の低周波ＱＭＦスペクトラムを生成する第１の変換ステップと、前記ＱＭＦ領域で前記低周波数帯域信号を時間伸張することにより、低次ハーモニクスパッチを生成する低次ハーモニクスパッチ生成ステップと、前記低次ハーモニクスパッチに互いに異なるシフト係数を適用することにより、ピッチシフトさせた複数個の信号を生成し、前記複数個の信号から高周波ＱＭＦスペクトラムを生成する高周波生成ステップと、前記高周波エネルギーおよび音調の条件を満たすように、前記高周波ＱＭＦスペクトラムを修正するスペクトラム修正ステップと、修正された前記高周波ＱＭＦスペクトラムと、前記第１の低周波ＱＭＦスペクトラムとを組み合わせることによって前記全帯域信号を生成する全帯域生成ステップとを含む。
【００４４】
これにより、低周波数帯域信号がＱＭＦ領域で時間伸張されてピッチシフトされることによって、高周波ＱＭＦスペクトラムが生成される。したがって、高周波ＱＭＦスペクトラムを生成するために、従来のような複雑な処理（連続して繰り返されるＦＦＴおよびＩＦＦＴと、後続のＱＭＦ変換）を避けることができ、演算量を低減することができる。さらに、１つのシフト係数だけでなく、互いに異なるシフト係数を適用することによって、ピッチシフトさせた複数個の信号が生成されて、これらの信号から高周波ＱＭＦスペクトラムが生成されるため、高周波ＱＭＦスペクトラムの品質の低下を抑えることができる。また、低次ハーモニクスパッチから高周波ＱＭＦスペクトラムが生成されるため、その品質の低下をさらに抑えることができる。
【００４５】
なお、本発明の他の態様に係る帯域拡張方法では、ピッチシフトもＱＭＦ領域で行われる。これは、低次のパッチのＬＦ ＱＭＦサブバンドを、高い周波数分解能のために複数のサブ・サブバンドに分解するためであり、その後、これらのサブ・サブバンドを高次のＱＭＦサブバンドにマッピングして、高次のパッチスペクトラムを生成する。
【００４６】
また、前記低次ハーモニクスパッチ生成ステップは、前記低周波数帯域信号を第２の低周波ＱＭＦスペクトラムに変換する第２の変換ステップと、前記第２の低周波ＱＭＦスペクトラムを帯域通過させる帯域通過ステップと、帯域通過させた前記第２の低周波ＱＭＦスペクトラムを時間次元方向に伸張する伸張ステップとを含む。
【００４７】
また、前記第２の低周波ＱＭＦスペクトラムは、前記第１の低周波ＱＭＦスペクトラムよりも高い周波数分解能を有する。
【００４８】
また、前記高周波生成ステップは、前記低次ハーモニクスパッチを帯域通過させることで複数個の帯域通過させたパッチを生成するパッチ生成ステップと、帯域通過させた前記複数個のパッチをそれぞれ高周波にマッピングして複数個の高次ハーモニクスパッチを生成する高次生成ステップと、前記複数個の高次ハーモニクスパッチを前記低次ハーモニクスパッチと合算する合算ステップとを含む。
【００４９】
また、前記高次生成ステップは、帯域通過させたパッチにおける各ＱＭＦサブバンドを複数のサブ・サブバンドに分ける分解ステップと、前記複数のサブ・サブバンドを複数の高周波ＱＭＦサブバンドにマッピングするマッピングステップと、前記複数のサブ・サブバンドのマッピング結果を組み合わせる組み合わせステップとを含む。
【００５０】
また、前記マッピングステップは、ＱＭＦサブバンドの前記複数のサブ・サブバンドを阻止帯域部分と通過帯域部分とに分割する分割ステップと、前記通過帯域部分上の複数のサブ・サブバンドの転位された中心周波数を、パッチの次数に依存する係数で算出する周波数算出ステップと、前記通過帯域部分上の複数のサブ・サブバンドを、前記中心周波数に応じて複数の高周波ＱＭＦサブバンドにマッピングする第１のマッピングステップと、前記阻止帯域部分上の複数のサブ・サブバンドを、前記通過帯域部分上の複数のサブ・サブバンドに応じて高周波ＱＭＦサブバンドにマッピングする第２のマッピングステップとを含む。
【００５１】
なお、本発明に係る帯域拡張方法では、上述の処理動作（ステップ）をどのように組み合せてもよい。
【００５２】
このような本発明に係る帯域拡張方法は、演算量を低減したＨＦスペクトルジェネレータを用いる低演算量のＨＢＥ技術である。ＨＦスペクトルジェネレータは、ＨＢＥ技術の演算量に寄与する一番の要因となっている。この演算量を低減するため、本発明の一態様に係る帯域拡張方法では、低演算量でＱＭＦ領域での時間伸張を行う、新たなＱＭＦベースのフェーズボコーダを用いる。また、本発明の他の態様に係る帯域拡張方法では、この解決策に付随する可能性のある品質の問題を回避するため、ＱＭＦ領域で低次のパッチから高次のハーモニクスパッチを生成する、新たなピッチシフトアルゴリズムを用いる。
【００５３】
本発明の目的は、時間伸張、または時間伸張および周波数拡張のどちらもＱＭＦ領域で実行可能である、ＱＭＦベースのパッチを設計することであり、さらに、それにより、ＱＭＦベースのフェーズボコーダによって駆動される低演算量ＨＢＥ技術を開発することである。
【００５４】
なお、本発明は、このような帯域拡張方法として実現することができるだけでなく、その帯域拡張方法によってオーディオ信号の周波数帯域を拡張する帯域拡張装置、集積回路、その帯域拡張方法によってコンピュータに周波数帯域を拡張させるためのプログラム、そのプログラムを格納する記憶媒体としても実現することができる。
【発明の効果】
【００５５】
本発明の帯域拡張方法は、新たなハーモニクス帯域拡張（ＨＢＥ）技術を設計するものである。本技術の核心は、時間伸張、または、時間伸張およびピッチシフティングの両方を、従来のＦＦＴ領域や時間領域ではなく、ＱＭＦ領域で行うことである。先行技術のＨＢＥ技術と比較すると、この発明の帯域拡張方法によって、良好な音質が得られ、かつ演算量を大幅に低減させることができる。
【図面の簡単な説明】
【００５６】
【図１】図１は、通常のＢＷＥ技術を用いるオーディオコーデック方式を示す図である。
【図２】図２は、ハーモニクス構造を保持するＨＦスペクトルジェネレータを示す図である。
【図３Ａ】図３Ａは、オーディオブロックの間隔を調整することによる時間伸張の原理を示す図である。
【図３Ｂ】図３Ｂは、オーディオブロックの間隔を調整することによる時間伸張の原理を示す図である。
【図４】図４は、ＱＭＦ分析および合成方式を示す図である。
【図５】図５は、本発明の実施の形態１における帯域拡張方法を示すフローチャートである。
【図６】図６は、本発明の実施の形態１におけるＨＦスペクトルジェネレータを示す図である。
【図７】図７は、本発明の実施の形態１におけるオーディオデコーダを示す図である。
【図８】図８は、本発明の実施の形態１におけるＱＭＦ変換に基づく信号のタイムスケール変更方式を示す図である。
【図９】図９は、本発明の実施の形態１におけるＱＭＦ領域における時間伸張方法を示す図である。
【図１０】図１０は、異なる伸張係数を用いた正弦波音調信号の伸張効果の比較を示す図である。
【図１１】図１１は、ＨＢＥ方式における配置ずれとエネルギー拡散効果を示す図である。
【図１２】図１２は、本発明の実施の形態２における帯域拡張方法を示すフローチャートである。
【図１３】図１３は、本発明の実施の形態２におけるＨＦスペクトルジェネレータを示す図である。
【図１４】図１４は、本発明の実施の形態２におけるオーディオデコーダを示す図である。
【図１５】図１５は、本発明の実施の形態２におけるＱＭＦ領域における周波数拡張方法を示す図である。
【図１６】図１６は、本発明の実施の形態２におけるサブ・サブバンドスペクトル分布を示す図である。
【図１７】図１７は、本発明の実施の形態２における複素ＱＭＦ領域における、正弦波のための通過帯域成分と阻止帯域成分との間の関係を示す図である。
【発明を実施するための形態】
【００５７】
以下の形態は、単に、様々な発明ステップの原理を説明するものである。ここに説明する具体例の様々な変形例は、当業者には明らかであろう。
【００５８】
（実施の形態１）
以下、本願発明のＨＢＥ方式（ハーモニクス帯域拡張方法）およびそれを用いたデコーダ（オーディオデコーダまたはオーディオ復号装置）に関して説明する。
【００５９】
図５は、本実施の形態における帯域拡張方法を示すフローチャートである。
【００６０】
この帯域拡張方法は、低周波数帯域信号から全帯域信号を生成する帯域拡張方法であって、前記低周波数帯域信号を直交ミラーフィルタバンク（ＱＭＦ）領域に変換することによって、第１の低周波ＱＭＦスペクトラムを生成する第１の変換ステップ（Ｓ１１）と、前記低周波数帯域信号に互いに異なるシフト係数を適用することにより、ピッチシフトさせた複数個の信号を生成するピッチシフトステップ（Ｓ１２）と、ピッチシフトさせた前記複数個の信号をＱＭＦ領域で時間伸張することにより、高周波ＱＭＦスペクトラムを生成する高周波生成ステップ（Ｓ１３）と、高周波エネルギーおよび音調の条件を満たすように、前記高周波ＱＭＦスペクトラムを修正するスペクトラム修正ステップ（Ｓ１４）と、修正された前記高周波ＱＭＦスペクトラムと、前記第１の低周波ＱＭＦスペクトラムとを組み合わせることによって前記全帯域信号を生成する全帯域生成ステップ（Ｓ１５）とを含む。
【００６１】
なお、第１の変換ステップ（Ｓ１１）は、後述のＴ−Ｆ変換部１４０６によって行われ、ピッチシフトステップ（Ｓ１２）は、後述のサンプリング部５０４〜５０６および時間再サンプリング部１４０３によって行われる。また、高周波生成ステップ（Ｓ１３）は、後述のＱＭＦ変換部５０７〜５０９、フェーズボコーダ５１０〜５１２、ＱＭＦ変換部１４０４および時間伸張部１４０５によって行われる。また、スペクトラム修正ステップ（Ｓ１４）は、後述のＨＦ処理部１４０８によって行われ、全帯域生成ステップ（Ｓ１５）は、後述の加算部１４１０によって行われる。
【００６２】
また、前記高周波生成ステップは、ピッチシフトさせた前記複数個の信号をＱＭＦ領域に変換することによって複数個のＱＭＦスペクトルを生成する第２の変換ステップと、前記複数個のＱＭＦスペクトルを互いに異なる複数の伸張係数で時間次元方向に伸張することによって複数個のハーモニクスパッチを生成するハーモニクスパッチ生成ステップと、前記複数個のハーモニクスパッチを時間調整する調整ステップと、時間調整された前記ハーモニクスパッチを合算する合算ステップとを含む。
【００６３】
なお、第２の変換ステップは、ＱＭＦ変換部５０７〜５０９およびＱＭＦ変換部１４０４によって行われ、ハーモニクスパッチ生成ステップは、フェーズボコーダ５１０〜５１２および時間伸張部１４０５によって行われる。また、調整ステップは、後述する遅延調整部５１３〜５１５によって行われ、合算ステップは、後述する加算部５１６によって行われる。
【００６４】
本実施の形態のＨＢＥ方式では、ＨＢＥ技術におけるＨＦスペクトルジェネレータが、時間領域におけるピッチシフト処理、および後続のＱＭＦ領域におけるボコーダ駆動の時間伸張処理を用いて設計されている。
【００６５】
図６は、本実施の形態のＨＢＥ方式で用いるＨＦスペクトルジェネレータを示す図である。ＨＦスペクトルジェネレータは、帯域通過部５０１、５０２、・・・、５０３と、サンプリング部５０４、５０５、・・・、５０６と、ＱＭＦ変換部５０７、５０８、・・・、５０９と、フェーズボコーダ５１０、５１１、・・・、５１２と、遅延調整部５１３、５１４、・・・、５１５と、加算部５１６とを備える。
【００６６】
与えられたＬＦ帯域の入力が、まず帯域通過され（５０１〜５０３）、再サンプリングされることにより（５０４〜５０６）、このＨＦ帯域部分が生成される。これらのＨＦ帯域部分は、ＱＭＦ領域に変換され（５０７〜５０９）、得られたＱＭＦ出力はそれに応じた再サンプリング係数の２倍の伸張係数を用いて時間伸張される（５１０〜５１２）。伸張されたＨＦスペクトラムは遅延調整され（５１３〜５１５）、スペクトル変換処理から寄与する様々な潜在的遅延を補償して、これらを合算（５１６）して最終のＨＦスペクトラムが生成される。なお、上記括弧内の数字５０１−５１６はそれぞれＨＦスペクトルジェネレータの構成要素を示す。
【００６７】
本実施の形態の方式と先行技術の方式（図２）とを比較すると、主な差異は以下の通りである。１）より多くのＱＭＦ変換が適用され、２）時間伸張処理は、ＦＦＴ領域ではなくＱＭＦ領域で行われる。ＱＭＦ領域での時間伸張処理のさらなる詳細は後述する。
【００６８】
図７は、本実施の形態におけるＨＦスペクトルジェネレータを採用したデコーダを示す図である。このデコーダ（オーディオ復号装置）は、逆多重化部１４０１と、復号部１４０２と、時間再サンプリング部１４０３と、ＱＭＦ変換部１４０４と、時間伸張部１４０５と、Ｔ−Ｆ変換部１４０６と、遅延調整部１４０７と、ＨＦ後処理部１４０８と、加算部１４１０と、逆Ｔ−Ｆ変換部１４０９とを備える。ＨＦスペクトルジェネレータは、時間再サンプリング部１４０３、ＱＭＦ変換部１４０４、および時間伸張部１４０５から構成される。なお、本実施の形態では、逆多重化部１４０１は、符号化情報（ビットストリーム）から、符号化された低周波数帯域信号を分離する分離部に相当する。また、逆Ｔ−Ｆ変換部１４０９は、全帯域信号を直交ミラーフィルターバンク（ＱＭＦ）領域の信号から時間領域の信号に変換する逆変換部に相当する。
【００６９】
このデコーダでは、まずビットストリームが逆多重化され（１４０１）、次に信号のＬＦ部分が復号される（１４０２）。元のＨＦ部分を近似するために、復号されたＬＦ部分（低周波数帯域信号）が時間領域で再サンプリングされることで（１４０３）ＨＦ部分が生成され、得られたＨＦ部分はＱＭＦ領域に変換される（１４０４）。得られたＨＦ ＱＭＦスペクトラムは時間方向に伸張され（１４０５）、伸張されたＨＦスペクトラムは、復号された一部のＨＦパラメータに従って、後処理によりさらに精細化される（１４０８）。一方、復号されたＬＦ部分もＱＭＦ領域に変換される（１４０６）。最後に、精細化されたＨＦスペクトラムと、遅延された（１４０７）ＬＦスペクトラムとが組み合わされて（１４１０）、全帯域のＱＭＦスペクトラムが作成される。得られた全帯域のＱＭＦスペクトラムは、元の時間領域に変換されて（１４０９）復号された広帯域オーディオ信号が出力される。なお、上記括弧内の数字１４０１−１４１０はそれぞれデコーダの構成要素を示す。
【００７０】
時間伸張方法
本実施の形態のＨＢＥ方式の時間伸張処理は、オーディオ信号を対象としており、その時間伸張信号は、ＱＭＦ変換、位相操作、および逆ＱＭＦ変換により生成することができる。つまり、前記ハーモニクスパッチ生成ステップは、前記ＱＭＦスペクトラムの振幅および位相を算出する算出ステップと、前記位相を操作することによって新たな位相を生成する位相操作ステップと、前記振幅と前記新たな位相とを組み合わせることによって、新たなＱＭＦ係数の組を生成するＱＭＦ係数生成ステップとを含む。なお、算出ステップ、位相操作ステップおよびＱＭＦ係数生成ステップは、それぞれ後述のモジュール７０２によって行われる。
【００７１】
図８は、ＱＭＦ変換部１４０４および時間伸張部１４０５によるＱＭＦベースの時間伸張処理を示す図である。まず、オーディオ信号が、ＱＭＦ分析変換（７０１）によって、１組のＱＭＦ係数、たとえばＸ（ｍ，ｎ）に変換される。これらのＱＭＦ係数は、モジュール７０２において修正される。ここでは、各ＱＭＦ係数の振幅ｒおよび位相ａが算出される。たとえば、Ｘ（ｍ，ｎ）＝ｒ（ｍ，ｎ）・ｅｘｐ（ｊ・ａ（ｍ，ｎ））とする。この位相ａ（ｍ，ｎ）は、a~（ｍ，ｎ）に修正（操作）される。修正された位相a~と元の振幅ｒとが、新たな１組のＱＭＦ係数を構築する。たとえば、新たな１組のＱＭＦ係数は以下の（式３）によって示される。
【００７２】
【数３】
【００７３】
最後に、その新たな１組のＱＭＦ係数が、タイムスケールが修正された元のオーディオ信号に対応する、新たなオーディオ信号に変換される（７０３）。
【００７４】
本実施の形態のＨＢＥ方式におけるＱＭＦベースの時間伸張アルゴリズムは、ＳＴＦＴベースの伸張アルゴリズムを模倣している。すなわち、１）この修正段階において、瞬時周波数概念を用いて位相の修正が行われており、かつ２）演算量を低減させるために、ＱＭＦ変換の加法性特性を用いてＱＭＦ領域においてオーバーラップ加算が行われる。
【００７５】
本実施の形態のＨＢＥ方式における時間伸張アルゴリズムの詳細を以下に記載する。
【００７６】
伸張係数ｓで伸張される、２Ｌ個の実数値時間領域信号ｘ（ｎ）があると仮定すると、ＱＭＦ分析段階の後では、２Ｌ／ＭのタイムスロットおよびＭ個のサブバンドによって構成される、２Ｌ個のＱＭＦ複素係数が存在する。
【００７７】
なお、ＳＴＦＴベースの伸張方法と同様に、変換されたＱＭＦ係数は、必要に応じて位相操作の前に解析窓処理の対象としてもよい。本発明において、上記は、時間領域またはＱＭＦ領域のいずれにおいても実現可能である。
【００７８】
時間領域において、時間領域信号は、通常は以下の（式４）のように窓処理される。
【００７９】
【数４】
【００８０】
（式４）中のｍｏｄ（．）は、モジュレーション処理を示す。
【００８１】
ＱＭＦ領域において、同等の動作を以下のように実現することが可能である。
【００８２】
１）解析窓ｈ(ｎ）（長さＬを有する）をＱＭＦ領域に変換し、Ｌ／Ｍ時間スロットおよびＭ個のサブバンドを有するＨ（ｖ、ｋ）を得る。
【００８３】
２）窓のＱＭＦ表示を以下の（式５）に示すように簡略化する。
【００８４】
【数５】
【００８５】
ここで、ｖ＝０、・・・、Ｌ／Ｍ−１とする。
【００８６】
３）解析窓処理を、ＱＭＦ領域でＸ（ｍ，ｋ）＝Ｘ（ｍ，ｋ）・Ｈ０（ｗ）によって行い、その式中、ｗ＝ｍｏｄ（ｍ，Ｌ／Ｍ）である（なお、ｍｏｄ（．）は、モジュレーション処理を示す）。
【００８７】
また、本実施の形態のＨＢＥ方式において、前記位相操作ステップでは、ＱＭＦ係数の組全体の元の位相に基づいて前記新たな位相を生成する。つまり、本実施の形態では、時間伸張の実現に関する詳細として、ＱＭＦブロックに基づいて位相操作を行う。
【００８８】
図９は、ＱＭＦ領域における時間伸張方法を示す図である。
【００８９】
図９の（ａ）に示すように、元のＱＭＦ係数は、Ｌ＋１個の重ね合わせたＱＭＦブロックとして扱うことが可能であり、そのホップサイズは１タイムスロット、ブロックの長さは、Ｌ／Ｍタイムスロットである。
【００９０】
位相ジャンプによる影響を確実になくすために、元の各ＱＭＦブロックは修正され、修正された位相を有する新たなＱＭＦブロックが生成される。その新たなＱＭＦブロックの位相は、重なり合う（μ）番目および（μ＋１）番目の新たなＱＭＦブロックに対して、μ・ｓの点において連続するはずであり、これは時間領域におけるμ・Ｍ・ｓ（μ∈Ｎ）の接合点において連続することと同等である。
【００９１】
また、本実施の形態のＨＢＥ方式において、前記位相操作ステップでは、ＱＭＦ係数の組に対して操作を繰り返し行い、前記ＱＭＦ係数生成ステップでは、複数の前記新たなＱＭＦ係数の組を生成してもよい。この場合、位相は、以下の基準に従ってブロック単位で修正される。
【００９２】
与えられたＱＭＦ係数Ｘ（ｕ、ｋ）の元の位相がφｕ（ｋ）であると仮定し、ｕ＝０、・・・、２Ｌ／Ｍ−１およびｋ＝０、１、・・・、Ｍ−１とする。元のＱＭＦブロックはそれぞれ、図９の（ｂ）に示すように、順次新たなＱＭＦブロックに修正され、同図において、新たなＱＭＦブロックは異なるフィルパターンで示している。
【００９３】
以下において、ψｕ（ｎ)（ｋ）は、新たなＱＭＦブロックのｎ番目の位相情報を示しており、ｎ＝１、・・・、Ｌ／Ｍ、ｕ＝０、・・・Ｌ／Ｍ−１およびｋ＝０、１、・・・、Ｍ−１である。これらの新たな位相は、新たなブロックの間隔が調整されたか否かに依存して以下のように設計される。
【００９４】
第１の新たなＱＭＦブロックである、Ｘ（１）（ｕ，ｋ）（ｕ＝０、・・・Ｌ／Ｍ−１）の間隔が調整されていないと仮定する。そうすると、新たな位相情報ψｕ（１）（ｋ）は、φｕ（ｋ）と同一である。すなわち、ψｕ（１）（ｋ）＝φｕ（ｋ）であり、ｕ＝０、・・・Ｌ／Ｍ−１およびｋ＝０、１、・・・、Ｍ−１である。
【００９５】
第２の新たなＱＭＦブロック、Ｘ（２）（ｕ，ｋ）（ｕ＝０、・・・Ｌ／Ｍ−１）は、ｓタイムスロット（たとえば、図９に示すように、２タイムスロット）のホップサイズで間隔が調整される。この場合、ブロックの始まりの瞬時周波数は、第１の新たなＱＭＦブロックＸ（１）（ｕ，ｋ）のｓ番目のタイムスロットの瞬時周波数と一致するはずである。よって、Ｘ（２）（ｕ，ｋ）の１番目のタイムスロットの瞬時周波数は、元のＱＭＦブロックにおける２番目のタイムスロットの瞬時周波数と同一であるはずである。すなわち、ψ０（２）（ｋ）＝ψ０（１）（ｋ）＋ｓ・Δφ１（ｋ）である。
【００９６】
また、１番目のタイムスロットの位相が変更されるため、残りの位相は元の瞬時周波数を保持するように適宜調整される。すなわち、ψｕ（２）（ｋ）＝ψｕ−１（２）（ｋ）＋Δφｕ＋１（ｋ）であり、ｕ＝１、・・・Ｌ／Ｍ−１である。式中、Δφｕ（ｋ）＝φｕ（ｋ）−φｕ−１（ｋ）は、元のＱＭＦブロックの元の瞬時周波数を示す。
【００９７】
後続の合成ブロックに対して、同じ位相修正規則が適用される。すなわち、ｍ番目の新たなＱＭＦブロック（ｍ＝３、・・・Ｌ／Ｍ）に対して、その位相ψｕ（ｍ）（ｋ）が以下の式により決定される。
【００９８】
ψ０（ｍ）（ｋ）＝ψ０（ｍ−１）（ｋ）＋ｓ・Δφｍ−１（ｋ）
ψｕ（ｍ）（ｋ）＝ψｕ−１（ｍ）（ｋ）＋Δφｍ＋ｕ−１（ｋ）であり、ｕ＝１、・・・、Ｌ／Ｍ−１である。
【００９９】
元のブロック振幅情報と組み合わせて、上記の新たな位相は、新たなＬ／Ｍブロックとなる。
【０１００】
ここで、本実施の形態のＨＢＥ方式において、前記位相操作ステップでは、ＱＭＦサブバンド指標に依存して異なる操作を行ってもよい。つまり、上記位相修正方法を、ＱＭＦの奇数のサブバンドと、偶数のサブバンドとでそれぞれ異なるように設計してもよい。
【０１０１】
これは、音調信号のＱＭＦ領域における瞬時周波数が、位相差Δφ（ｎ，ｋ）＝φ（ｎ，ｋ）−φ（ｎ−１，ｋ）に、異なる方法で関連付けられていることに基づいている。
【０１０２】
さらに詳細には、瞬時周波数ω（ｎ，ｋ）は、以下の（式６）により求められる。
【０１０３】
【数６】
【０１０４】
（式６）中、ｐｒｉｎｃａｒｇ（α）は、主角αを意味し、以下の（式７）によって定義される。
【０１０５】
【数７】
【０１０６】
式中ｍｏｄ（ａ，ｂ）は、ｂに対するａのモジュレーションを示す。
【０１０７】
その結果、たとえば上記の位相修正方法において、位相差は、以下の（式８）で詳細に示される。
【０１０８】
【数８】
【０１０９】
また、本実施の形態のＨＢＥ方式では、前記ＱＭＦ係数生成ステップでは、複数の前記新たなＱＭＦ係数の組をオーバーラップ加算することで、時間伸張したオーディオ信号に対応するＱＭＦ係数を生成する。つまり、演算量を低減させるためにＱＭＦ合成処理は、各個別の新たなＱＭＦブロックに直接適用されず、これらの新たなＱＭＦブロックのオーバーラップ加算された結果に適用される。
【０１１０】
なお、ＳＴＦＴベースの拡張方法と同様に、新たなＱＭＦ係数は、必要に応じて、オーバーラップ加算を行う前に合成窓処理の対象となる。本実施の形態において、合成窓処理は、解析窓処理のように以下によって実現できる。
【０１１１】
Ｘ（ｎ＋１）（ｕ，ｋ）＝Ｘ（ｎ＋１）（ｕ，ｋ）・Ｈ０（ｗ）であり、式中、ｗ＝ｍｏｄ（ｕ，Ｌ／Ｍ）である。
【０１１２】
そして、ＱＭＦ変換が加法性であるため、新たなＬ／Ｍブロックを、ＱＭＦ合成の前にｓタイムスロットのホップサイズですべてオーバーラップ加算することができる。オーバーラップ加算の結果である、Ｙ（ｕ，ｋ）は、以下の式によって求められる。
【０１１３】
【数９】
【０１１４】
ｎ＝０、・・・、Ｌ／Ｍ−１、ｕ＝１、・・・Ｌ／Ｍ、およびｋ＝０、１、・・・、Ｍ−１である。
【０１１５】
最終的な音声信号は、修正されたタイムスケールに対応する、Ｙ（ｕ，ｋ）にＱＭＦ合成を適用することによって生成することができる。
【０１１６】
本実施の形態のＨＢＥ方式におけるＱＭＦベースの伸張方法と、先行技術のＳＴＦＴベースの伸張方法とを比較すると、ＱＭＦ変換に本質的な時間分解能は、演算量の大幅な低減に役立つことに注目すべきである。これは、先行技術のＳＴＦＴベースの伸張方法において、一連のＳＴＦＴ変換を行うことによってのみ得られる。
【０１１７】
以下の演算量の分析は、演算量の大まかな比較結果を示し、ここでは変換による演算量のみを考慮した。
【０１１８】
サイズＬのＳＴＦＴの演算量がｌｏｇ２（Ｌ）・Ｌであり、かつＱＭＦ分析変換の演算量がＦＦＴ変換の約２倍であると仮定すると、先行技術のＨＦスペクトルジェネレータに伴う変換演算量は、以下のように近似される。
【０１１９】
【数１０】
【０１２０】
比較すると、本実施の形態のＨＦスペクトルジェネレータに伴う変換演算量は、以下の（式１１）に示すように近似される。
【０１２１】
【数１１】
【０１２２】
たとえば、Ｌ＝１０２４、かつＲａ＝１２８であると仮定すると、上記の演算量の比較は、表１に具体的に示される。
【０１２３】
【表１】
【０１２４】
（実施の形態２）
以下、ＨＢＥ方式（ハーモニクス帯域拡張方法）の第２の実施の形態およびそれを用いたデコーダ（オーディオデコーダまたはオーディオ復号装置）に関して詳細に説明する。
【０１２５】
ＱＭＦベースの時間伸張方法を採用すると、ＱＭＦベースの時間伸張方法におけるＨＢＥ技術の演算量は大幅に低くなる。しかしながら、一方では、ＱＭＦベースの時間伸張方法を採用することによっても、音質を低下させるおそれのある、２つの問題が起こる可能性がある。
【０１２６】
第１に、高次のパッチには、音質低下の問題がある。ＨＦスペクトラムが（Ｔ−１）個のパッチから構成され、対応する伸張係数は、２、３、・・・、Ｔであると仮定する。ＱＭＦベースの時間伸張はブロックベースであるため、高次のパッチにおいて、オーバーラップ加算処理の回数が少なくなると、伸張効果が低下する。
【０１２７】
図１０は、正弦波音調信号の伸張効果を示す図である。上枠（ａ）は、純粋な正弦波音調信号の第２次パッチの伸張効果を示す。伸張された出力は、基本的にクリーンであり、小さい振幅においてわずかに他の周波数成分があるだけである。一方、下枠（ｂ）は、同じ正弦波音調信号の第４次パッチの伸張効果を示す。
【０１２８】
（ａ）と比較すると、（ｂ）では、中心周波数が正しくシフトされているが、得られた出力は、無視することができない振幅を有する他の周波数成分もいくつか含む。これにより、伸張された出力において所望していないノイズが発生する可能性がある。
【０１２９】
第２に、過渡信号に品質低下の問題が起こる可能性がある。このような品質低下の問題には、３つの潜在的な寄与原因が考えられる。
【０１３０】
第１の寄与原因は、過渡成分が再サンプリングの過程で失われている可能性がある。偶数のサンプルに位置するディラックインパルスを有する過渡信号を仮定すると、係数２のデシメーションを行った第４次パッチにおいては、ディラックインパルスは再サンプリングされた信号において消失する。その結果、得られるＨＦスペクトラムは、不完全な過渡成分を有する。
【０１３１】
第２の寄与原因は、異なるパッチにおいて、調整されていない過渡成分である。これらのパッチは、異なる再サンプリング係数を有するため、特定の位置に位置するディラックインパルスは、ＱＭＦ領域において、異なるタイムスロットに位置するいくつかの成分を有することがある。
【０１３２】
図１１は、品質低下の問題として配置ずれとエネルギー拡散効果を示す図である。ディラックインパルスを有する入力（たとえば、図１１では、灰色の第３のサンプルとして図示されている）に対して異なる係数で再サンプリングを行った後、その位置は、異なる位置に変更される。その結果、伸張された出力は、過渡効果が知覚的に減衰される。
【０１３３】
第３の寄与原因は、過渡成分のエネルギーが異なるパッチにおいて不均一に拡散されることにある。図１１に示すように、第２次パッチでは、関連付けられた過渡成分が第５および第６のサンプルまで拡散されている。第３次パッチでは、第４〜第６サンプルまで拡散されており、第４次パッチでは、第５〜第８サンプルまで拡散されている。その結果、伸張された出力の過渡効果は、高い周波数において弱くなる。一部の臨界の過渡信号については、伸張された出力において、不快なプレエコーアーチファクトおよびポストエコーアーチファクトさえも現れる。
【０１３４】
上述の品質低下問題を克服するためには、高度なＨＢＥ技術が望ましい。しかしながら、複雑すぎる解決策も、演算量を増加させる。本実施の形態では、予想される品質低下の問題を回避し、かつ低演算量の効果を維持するために、ＱＭＦベースのピッチシフト方法を用いる。
【０１３５】
本実施の形態のＨＢＥ方式（ハーモニクス帯域拡張方法）は、以下に詳細に説明するように、本実施の形態のＨＢＥ技術におけるＨＦスペクトルジェネレータが、ＱＭＦ領域での時間伸張およびピッチシフト処理のどちらも用いて設計されている。また、本実施の形態のＨＢＥ方式を用いたデコーダ（オーディオデコーダまたはオーディオ復号装置）に関しても以下に説明する。
【０１３６】
図１２は、本実施の形態における低演算帯域拡張方法を示すフローチャートである。
【０１３７】
この帯域拡張方法は、低周波数帯域信号から全帯域信号を生成する帯域拡張方法であって、前記低周波数帯域信号を直交ミラーフィルタバンク（ＱＭＦ）領域に変換することによって、第１の低周波ＱＭＦスペクトラムを生成する第１の変換ステップ（Ｓ２１）と、前記ＱＭＦ領域で前記低周波数帯域信号を時間伸張することにより、低次ハーモニクスパッチを生成する低次ハーモニクスパッチ生成ステップ（Ｓ２２）と、前記低次ハーモニクスパッチに互いに異なるシフト係数を適用することにより、ピッチシフトさせた複数個の信号を生成し、前記複数個の信号から高周波ＱＭＦスペクトラムを生成する高周波生成ステップ（Ｓ２３）と、前記高周波エネルギーおよび音調の条件を満たすように、前記高周波ＱＭＦスペクトラムを修正するスペクトラム修正ステップ（Ｓ２４）と、修正された前記高周波ＱＭＦスペクトラムと、前記第１の低周波ＱＭＦスペクトラムとを組み合わせることによって前記全帯域信号を生成する全帯域生成ステップ（Ｓ２５）とを含む。
【０１３８】
なお、第１の変換ステップは、後述するＴ−Ｆ変換部１５０８によって行われ、低次ハーモニクスパッチ生成ステップは、後述するＱＭＦ変換部１５０３、時間伸張部１５０４、ＱＭＦ変換部６０１およびフェーズボコーダ６０３によって行われる。また、高周波生成ステップは、後述するピッチシフト部１５０６、帯域通過部６０４，６０５、周波数拡張部６０６，６０７、および遅延調整部６０８〜６１０によって行われる。また、スペクトラム修正ステップは、後述するＨＦ後処理部１５０７によって行われ、全帯域生成ステップは、後述する加算部１５１２によって行われる。
【０１３９】
また、前記低次ハーモニクスパッチ生成ステップは、前記低周波数帯域信号を第２の低周波ＱＭＦスペクトラムに変換する第２の変換ステップと、前記第２の低周波ＱＭＦスペクトラムを帯域通過させる帯域通過ステップと、帯域通過させた前記第２の低周波ＱＭＦスペクトラムを時間次元方向に伸張する伸張ステップとを含む。
【０１４０】
なお、第２の変換ステップは、ＱＭＦ変換部６０１およびＱＭＦ変換部１５０３によって行われ、帯域通過ステップは、後述する帯域通過部６０２によって行われ、伸張ステップは、フェーズボコーダ６０３および時間伸張部１５０４によって行われる。
【０１４１】
また、前記第２の低周波ＱＭＦスペクトラムは、前記第１の低周波ＱＭＦスペクトラムよりも高い周波数分解能を有する。
【０１４２】
また、前記高周波生成ステップは、前記低次ハーモニクスパッチを帯域通過させることで複数個の帯域通過させたパッチを生成するパッチ生成ステップと、帯域通過させた前記複数個のパッチをそれぞれ高周波にマッピングして複数個の高次ハーモニクスパッチを生成する高次生成ステップと、前記複数個の高次ハーモニクスパッチを前記低次ハーモニクスパッチと合算する合算ステップとを含む。
【０１４３】
なお、パッチ生成ステップは、帯域通過部６０４，６０５によって行われ、高次生成ステップは、周波数拡張部６０６，６０７によって行われ、合算ステップは、後述する加算部６１１によって行われる。
【０１４４】
図１３は、本実施の形態のＨＢＥ方式で用いているＨＦスペクトルジェネレータを示す図である。ＨＦスペクトルジェネレータは、ＱＭＦ変換部６０１と、帯域通過部６０２、６０４、・・・、６０５と、フェーズボコーダ６０３と、周波数拡張部６０６、・・・、６０７と、遅延調整部６０８、６０９、・・・、６１０と、加算部６１１とを備える。
【０１４５】
与えられたＬＦ帯域の入力が、まずＱＭＦ領域に変換され（６０１）、その帯域通過された（６０２）ＱＭＦスペクトルは、２倍の長さに時間伸張される（６０３）。伸張されたＱＭＦスペクトラムが帯域通過されて（６０４〜６０５）、帯域が制限された（Ｔ−２）個のスペクトルが作成される。その結果得られた、複数の帯域制限スペクトルは、より高い周波数帯域のスペクトルに変換される（６０６〜６０７）。これらのＨＦスペクトルは遅延調整され（６０８〜６１０）、スペクトル変換処理から寄与する様々な潜在的遅延を補償して、これらを合算して（６１１）最終のＨＦスペクトラムが生成される。なお、上記括弧内の数字６０１−６１１はそれぞれＨＦスペクトルジェネレータの構成要素を示す。
【０１４６】
なお、ＱＭＦ変換（図１における１０８）と比較すると、本実施の形態のＨＢＥ方式におけるＱＭＦ変換（ＱＭＦ変換部６０１）は、より高い周波数分解能を有しており、低下する時間分解能については、後続の伸張処理によって補償される。
【０１４７】
本実施の形態のＨＢＥ方式と先行技術の方式（図２）とを比較すると、主な差異は、以下の点である。１）実施の形態１のように、時間伸張処理が、ＦＦＴ領域ではなく、ＱＭＦ領域において行われる。２）高次のパッチが第２次パッチに基づき生成される。３）ピッチシフト処理も時間領域ではなく、ＱＭＦ領域において行われる。
【０１４８】
図１４は、本実施の形態のＨＢＥ方式におけるＨＦスペクトルジェネレータを採用したデコーダを示す図である。このデコーダ（オーディオ復号装置）は、逆多重化部１５０１と、復号部１５０２と、ＱＭＦ変換部１５０３と、時間伸張部１５０４と、遅延調整部１５０５と、ピッチシフト部１５０６と、ＨＦ後処理部１５０７と、Ｔ−Ｆ変換部１５０８と、遅延調整部１５０９と、逆Ｔ−Ｆ変換部１５１０と、加算部１５１１および１５１２とを備える。ＨＦスペクトルジェネレータは、ＱＭＦ変換部１５０３、時間伸張部１５０４、遅延調整部１５０５、ピッチシフト部１５０６、および加算部１５１１から構成される。なお、本実施の形態では、逆多重化部１５０１は、符号化情報（ビットストリーム）から、符号化された低周波数帯域信号を分離する分離部に相当する。また、逆Ｔ−Ｆ変換部１５１０は、全帯域信号を直交ミラーフィルターバンク（ＱＭＦ）領域の信号から時間領域の信号に変換する逆変換部に相当する。
【０１４９】
このデコーダでは、まず、ビットストリームが逆多重化され（１５０１）、次に信号のＬＦ部分が復号される（１５０２）。元のＨＦ部分を近似するために、復号されたＬＦ部分（低周波数帯域信号）がＱＭＦ領域において変換されて（１５０３）ＬＦ ＱＭＦスペクトラムが生成される。これによって得られたＬＦ ＱＭＦスペクトラムは時間方向に沿って伸張されて（１５０４）低次のＨＦパッチが生成される。その低次のＨＦパッチはピッチシフトされて（１５０６）高次のパッチが生成される。これによって得られた高次のパッチと、遅延された（１５０５）低次のＨＦパッチとが組み合わされてＨＦスペクトラムが生成される。このＨＦスペクトラムは、復号された一部のＨＦパラメータに従って、後処理によってさらに精細化される（１５０７）。一方、復号されたＬＦ部分もＱＭＦ領域に変換される（１５０８）。最後に、精細化されたＨＦスペクトラムと、遅延された（１５０９）ＬＦスペクトラムとが組み合わされて全帯域のＱＭＦスペクトラムが作成される（１５１２）。得られた全帯域のＱＭＦスペクトラムは、元の時間領域に変換されて（１５１０）、復号された広帯域オーディオ信号が出力される。なお、上記括弧内の数字１５０１−１５１２はそれぞれデコーダの構成要素を示す。
【０１５０】
ピッチシフト方法
本実施の形態のＨＢＥ方式のピッチシフト部１５０６におけるＱＭＦベースのピッチシフトアルゴリズム（ＱＭＦ領域における周波数拡張方法）は、ＬＦ ＱＭＦサブバンドを複数のサブ・サブバンドに分解し、これらのサブ・サブバンドをＨＦサブバンドに転位し、得られたＨＦサブバンドを組み合わせてＨＦスペクトラムを生成する。つまり、前記高次生成ステップは、帯域通過させたパッチにおける各ＱＭＦサブバンドを複数のサブ・サブバンドに分ける分解ステップと、前記複数のサブ・サブバンドを複数の高周波ＱＭＦサブバンドにマッピングするマッピングステップと、前記複数のサブ・サブバンドのマッピング結果を組み合わせる組み合わせステップとを含む。
【０１５１】
なお、分解ステップは、後述するステップ１（９０１〜９０３）に対応し、マッピングステップは後述するステップ２および３（９０４〜９０９）に対応し、組み合わせステップは後述するステップ４（９１０）に対応する。
【０１５２】
図１５は、このようなＱＭＦベースのピッチシフトアルゴリズムを示す図である。第２次パッチの帯域通過させたスペクトラムが与えられると、第ｔ次（ｔ＞２）パッチのＨＦスペクトラムは、以下の手順で再構築することができる。１）当該ＬＦスペクトラム、つまりＬＦスペクトラム内の各ＱＭＦサブバンドを複数のＱＭＦサブ・サブバンドに分解し（ステップ１：９０１〜９０３）、２）これらのサブ・サブバンドの中心周波数を係数ｔ／２でスケーリングし（ステップ２：９０４〜９０６）、３）これらのサブ・サブバンドをＨＦサブバンドにマッピングし（ステップ３：９０７〜９０９）、４）すべてのマッピングされたサブ・サブバンドを合算して、ＨＦサブバンドを形成する（ステップ４：９１０）。
【０１５３】
ステップ１について、よりよい周波数分解能を得るためにＱＭＦサブバンドを複数のサブ・サブバンドに分解するために利用できる方法はいくつかある。たとえば、ＭＰＥＧサラウンドのコーデックにおいて採用されている、いわゆるＭｔｈバンドフィルタなどがある。本発明の好ましい実施形態において、サブバンドの分解は、以下の（式１２）によって定義される、追加の１組の指数変調フィルタバンクを適用することにより実現される。
【０１５４】
【数１２】
【０１５５】
ここで、ｑ＝−Ｑ、−Ｑ＋１、・・・、０、１、・・・、Ｑ−１であり、ｎ＝０、１、・・・Ｎである。（式中、ｎ０は整数定数であり、Ｎはフィルタバンクの次数である。）
【０１５６】
上記のフィルタバンクを採用することにより、あるサブバンド信号、たとえばｋ番目のサブバンド信号ｘ（ｎ、ｋ）が、以下の（式１３）に示すように２Ｑ個のサブ・サブバンド信号に分解される。
【０１５７】
【数１３】
【０１５８】
ここで、ｑ＝−Ｑ、−Ｑ＋１、・・・、０、１、・・・、Ｑ−１である。（式１３）中、「ｃｏｎｖ（．）」は、畳み込み関数を示す。
【０１５９】
このような追加の複素変換を行うと、１つのサブバンドの周波数スペクトラムは、さらに２Ｑ個のサブ周波数スペクトラムに分けられる。周波数分解能の観点から、ＱＭＦ変換にＭ個の帯域が存在する場合、これに関連付けられたサブバンド周波数分解能は、π／Ｍであり、このサブ・サブバンド周波数分解能は、π／（２Ｑ・Ｍ）に精細化される。また、以下の（式１４）に示す全体の系は、時不変であり、つまり、ダウンサンプリングおよびアップサンプリングを用いても、エイリアシングが起こることはない。
【０１６０】
【数１４】
【０１６１】
なお、上記の追加のフィルタバンクが奇数でスタックされており（係数ｑ＋０．５）、これは、直流値を中心とするサブ・サブバンドがないということを意味する。より正確に言うと、Ｑが偶数の場合、サブ・サブバンドの中心周波数は、ゼロを中心に対称に分布する。
【０１６２】
図１６は、サブ・サブバンドスペクトル分布を示す図である。具体的には、この図１６は、Ｑ＝６の場合における、上記フィルタバンクのスペクトル分布を示す。奇数でスタックする目的は、後のサブ・サブバンドの組み合わせを容易にすることである。
【０１６３】
ステップ２について、中心周波数のスケーリングは、複素ＱＭＦ変換のオーバーサンプリングする特徴を考慮することにより、簡略化することができる。
【０１６４】
なお、複素ＱＭＦ領域において、隣接するサブバンドの通過帯域が互いに重なり合うため、重なり合う範囲における周波数成分は、両方のサブバンドに現れる（特許文献：ＷＯ２００６０４８８１４参照）。
【０１６５】
その結果、周波数スケーリングは、これらの通過帯域に存在するサブ・サブバンドに対してのみ周波数を算出することによって、演算量を半減させることが可能である。つまり、偶数のサブバンドに対しては正の周波数部分のみ、または奇数のサブバンドに対しては、負の周波数部分のみを算出する。
【０１６６】
さらに詳細には、ｋＬＦ番目のサブバンドが２Ｑ個のサブ・サブバンドに分けられる。つまり、ｘ（ｎ，ｋＬＦ）が以下の（式１５）に分けられる。
【０１６７】
【数１５】
【０１６８】
その後、第ｔ次のパッチを生成するために、これらのサブ・サブバンドの中心周波数が以下の（式１６）によりスケーリングされる。
【０１６９】
【数１６】
【０１７０】
ｋＬＦが奇数の場合ｑ＝−Ｑ、−Ｑ＋１、・・・、−１であり、ｋＬＦが偶数の場合、ｑ＝０、１、・・・、Ｑ−１である。
【０１７１】
ステップ３について、サブ・サブバンドをＨＦサブバンドにマッピングするために、複素ＱＭＦ変換の特徴を考慮する必要もある。本実施の形態では、このようなマッピング処理が２つのステップで行われる。第１のステップは、通過帯域上のすべてのサブ・サブバンドをＨＦサブバンドに単純にマッピングし、第２のステップは、上記マッピング結果に基づき、阻止帯域上のすべてのサブ・サブバンドをＨＦサブバンドにマッピングする。つまり、前記マッピングステップは、ＱＭＦサブバンドの前記複数のサブ・サブバンドを阻止帯域部分と通過帯域部分とに分割する分割ステップと、前記通過帯域部分上の複数のサブ・サブバンドの転位された中心周波数を、パッチの次数に依存する係数で算出する周波数算出ステップと、前記通過帯域部分上の複数のサブ・サブバンドを、前記中心周波数に応じて複数の高周波ＱＭＦサブバンドにマッピングする第１のマッピングステップと、前記阻止帯域部分上の複数のサブ・サブバンドを、前記通過帯域部分上の複数のサブ・サブバンドに応じて高周波ＱＭＦサブバンドにマッピングする第２のマッピングステップとを含む。
【０１７２】
上記の点を理解するために、同じ信号成分の一対の正周波数と負周波数との間にどのような関係が存在するのか、およびこれらに関連付けられたサブバンド指数を検討することが有益である。
【０１７３】
上述したように、複素ＱＭＦ領域において、正弦波スペクトラムは、正周波数および負周波数をどちらも有している。つまり、正弦波スペクトラムは、それらのうちの一方の周波数を１つのＱＭＦサブバンドの通過帯域に有し、他方の周波数を隣接するサブバンドの阻止帯域に有する。ＱＭＦ変換が奇数スタック変換であることを考慮すると、そのような信号成分対を図１７に示すことができる。
【０１７４】
図１７は、複素ＱＭＦ領域における、正弦波のための通過帯域成分と阻止帯域成分との間の関係を示す図である。
【０１７５】
ここにおいて、灰色の領域はサブバンドの阻止帯域を示す。サブバンドの通過帯域上の任意の正弦波信号（実線で示す）について、このエイリアシング部分（破線で示す）が隣接するサブバンドの阻止帯域に位置する（対になった２つの周波数成分が双頭矢印によって関連付けられている）。
【０１７６】
正弦波信号は、以下の（式１７）に示す周波数ｆ０を有する。
【０１７７】
【数１７】
【０１７８】
上記周波数ｆ０を有する正弦波信号について、この通過帯域成分は、以下の（式１８）を満たす場合、ｋ番目のサブバンドに存在する。
【０１７９】
【数１８】
【０１８０】
さらに、その阻止帯域成分は、以下の（式１９）を満たすｋ~番目のサブバンドに存在する。
【０１８１】
【数１９】
【０１８２】
サブバンドが２Ｑ個のサブ・サブバンドに分解される場合、上記の関係は、より高い周波数分解能を用いて、以下の（式２０）に示すように詳細に示される。
【０１８３】
【数２０】
【０１８４】
したがって、本実施形態において、阻止帯域上のサブ・サブバンドをＨＦサブバンドにマッピングするためには、通過帯域上のサブ・サブバンドのマッピング結果に関連付ける必要がある。このような処理に対する動機は、ＨＦ成分に上方向にシフトされた場合でも、ＬＦ成分の周波数対を対のまま維持することである。
【０１８５】
このため、まず、通過帯域上のサブ・サブバンドをＨＦサブバンドにマッピングすることは、明らかなことである。スケーリングされたサブ・サブバンドの周波数の中心周波数と、ＱＭＦ変換の周波数分解能とを考慮すると、マッピング関数はｍ（ｋ，ｑ）によって以下の（式２１）のように示される。
【０１８６】
【数２１】
【０１８７】
ｋＬＦが奇数である場合、ｑ＝−Ｑ、−Ｑ＋１、・・・、−１であり、ｋＬＦが偶数である場合、ｑ＝０、１、・・・、Ｑ−１である。ここで、以下の（式２２）に示す関数は、負の無限大に最も近いｘの整数を求めるための丸め処理を示す。
【０１８８】
【数２２】
【０１８９】
また、上方向スケーリングにより（ｔ／２＞１）、１つのＨＦサブバンドが複数のサブ・サブバンドマッピングソースを有することが可能である。すなわち、ｍ（ｋ，ｑ１）＝ｍ（ｋ，ｑ２）、または、ｍ（ｋ１，ｑ１）＝ｍ（ｋ２，ｑ２）とすることが可能である。したがって、ＨＦサブバンドは、以下の（式２３）に示すように、ＬＦサブバンドのサブ・サブバンドを複数組み合わせたものとすることができる。
【０１９０】
【数２３】
【０１９１】
ｋＬＦが奇数である場合、ｑ＝−Ｑ、−Ｑ＋１、・・・、−１であり、ｋＬＦが偶数である場合、ｑ＝０、１、・・・、Ｑ−１である。
【０１９２】
次に、周波数対およびサブバンド指数との上記関係を受け、阻止帯域上のサブ・サブバンドのマッピング関数は、以下のように確立することができる。
【０１９３】
ＬＦサブバンドｋＬＦを考慮すると、サブ・サブバンドの通過帯域上のマッピング関数は、以下のように、第１のステップによりすでに決定されている。ｋＬＦが奇数の場合、ｍ（ｋＬＦ，−Ｑ）、ｍ（ｋＬＦ，−Ｑ＋１）、・・・、ｍ（ｋＬＦ，−１）であり、かつｋＬＦが偶数の場合、ｍ（ｋＬＦ，０）、ｍ（ｋＬＦ，１）、・・・、ｍ（ｋＬＦ，Ｑ−１）であり、阻止帯域部分に関連付けられた通過帯域は、以下の（式２４）によりマッピングすることができる。
【０１９４】
【数２４】
【０１９５】
「条件ａ」は、ｋＬＦが偶数で、かつ以下の（式２５）が偶数である場合、またはｋＬＦが奇数で、かつ以下の（式２６）が偶数である場合のいずれかを示す。
【０１９６】
【数２５】
【０１９７】
【数２６】
【０１９８】
また、上述のように、以下の（式２７）は、負の無限大に最も近いｘの整数を求めるための丸め処理を示す。
【０１９９】
【数２７】
【０２００】
得られたＨＦサブバンドは、以下の（式２８）に示すように、関連付けられたすべてのＬＦサブ・サブバンドの組み合わせである。
【０２０１】
【数２８】
【０２０２】
ｋＬＦが偶数である場合、ｑ＝−Ｑ、−Ｑ＋１、・・・、−１であり、ｋＬＦが奇数の場合、ｑ＝０、１、・・・、Ｑ−１である。
【０２０３】
最後に、通過帯域および阻止帯域のすべてのマッピング結果を組み合わせることで、以下の（式２９）に示すように、ＨＦサブバンドを形成する。
【０２０４】
【数２９】
【０２０５】
なお、ＱＭＦ領域における上記のピッチシフト方法は、高周波の品質低下および処理過程で生じうる問題のどちらに対しても有益である。
【０２０６】
まず、すべてのパッチが同じ最小の伸張係数を有するようになり、これにより（時間伸張の際に生成される誤信号成分によって起こる）高周波のノイズが低減される。次に、一過性の劣化の寄与原因がすべて回避される。つまり、時間領域の再サンプリング処理が行われないということである。すなわち、同じ伸張係数がすべてのパッチに対して用いられ、これにより位置合わせのずれが起こる可能性が本質的に排除される。
【０２０７】
さらに、本実施の形態には、周波数分解能においていくつか欠点があることにも留意すべきである。サブ・サブバンドのフィルタリングを採用することにより、周波数分解能がπ／Ｍからπ／（２Ｑ・Ｍ）に上げられたが、時間領域再サンプリングの高い周波数分解能（π／Ｌ）よりも依然として低い。しかしながら、人間の耳は、高周波信号成分に対して敏感ではないことを考慮すると、本実施の形態によって得られたピッチシフト結果は、再サンプリング方法によって得られたものと、知覚的に何ら変わりのないものであると証明される。
【０２０８】
上記とは別に、実施の形態１のＨＢＥ方式と比較して、本実施の形態のＨＢＥ方式は、１つの低次パッチのみ時間伸張処理が必要であるため、演算量が低減されるという追加の利点も得られる。
【０２０９】
この場合もまた、演算量の低減は、変換から寄与する演算量を考慮することのみにより、大まかに分析することが可能である。
【０２１０】
上記の演算量の分析における仮定を受けて、本実施の形態のＨＦスペクトルジェネレータに伴う変換演算量は、以下のように概算される。
【０２１１】
【数３０】
【０２１２】
したがって、表１は以下のように更新される。
【０２１３】
【表２】
【０２１４】
本発明は、低ビットレートのオーディオ符号化のための新たなＨＢＥ技術である。この技術を用いると、ＱＭＦ領域でＬＦ部分の時間伸張および周波数拡張を行うことで広帯域信号のＨＦ部分を生成することにより、広帯域信号を低周波数帯域信号に基づき再構築することが可能である。先行技術のＨＢＥ技術と比較すると、本発明によって、同等の音質が得られ、かつ演算量が大幅に低減される。このような技術は、携帯電話やテレビ会議などの、オーディオコーデックが低演算量かつ低ビットレートで動作するアプリケーション等に導入することができる。
【０２１５】
なお、ブロック図（図６、７、１３、１４など）の各機能ブロックは典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。
【０２１６】
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０２１７】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
【０２１８】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。
【０２１９】
また、各機能ブロックのうち、符号化または復号化の対象となるデータを格納する手段だけ１チップ化せずに別構成としても良い。
【産業上の利用可能性】
【０２２０】
本発明は、低ビットレートオーディオ符号化のための新たなハーモニクス帯域拡張（ＨＢＥ）技術に関する。この技術を用いると、ＱＭＦ領域で低周波（ＬＦ）部分の時間伸張および周波数拡張を行うことで広帯域信号の高周波（ＨＦ）部分を生成することにより、広帯域信号を低周波帯域信号に基づき再構築することが可能である。先行技術のＨＢＥ技術と比較すると、本発明によって同等の音質が得られ、かつ演算量が大幅に低減される。このような技術は、携帯電話やテレビ会議などの、オーディオコーデックが低演算量かつ低ビットレートで動作するアプリケーション等に導入することができる。
【符号の説明】
【０２２１】
５０１〜５０３，６０２，６０４，６０５ 帯域通過部
５０４〜５０６ サンプリング部
５０７〜５０９，６０１，１４０４，１５０３ ＱＭＦ変換部
５１０〜５１２，６０３ フェーズボコーダ
５１３〜５１５，６０８〜６１０，１４０７，１５０５，１５０９ 遅延調整部
５１６，６１１，１４１０，１５１１，１５１２ 加算部
６０６，６０７ 周波数拡張部
１４０１，１５０１ 逆多重化部
１４０２，１５０２ 復号部
１４０３ 時間再サンプリング部
１４０５，１５０４ 時間伸張部
１４０６，１５０８ Ｔ−Ｆ変換部
１４０８，１５０７ ＨＦ後処理部
１４０９，１５１０ 逆Ｔ−Ｆ変換部
１５０６ ピッチシフト部
【技術分野】
【０００１】
本発明は、オーディオ信号の周波数帯域を拡張する帯域拡張方法等に関する。
【背景技術】
【０００２】
オーディオ帯域拡張（ＢＷＥ）技術は、広帯域のオーディオ信号を低ビットレートで効率的に符号化するために、近年のオーディオコーデックにおいて一般的に用いられている技術である。その原理は、元の高周波（ＨＦ）内容のパラメトリック表現を用いて、低周波（ＬＦ）データから高周波（ＨＦ）の近似を合成することである。
【０００３】
図１は、このようなＢＷＥ技術ベースのオーディオコーデックを示す図である。このオーディオコーデックのエンコーダにおいて、広帯域オーディオ信号は、まずＬＦ部分とＨＦ部分とに分離され（１０１および１０３）、このＬＦ部分は波形を保持するように符号化される（１０４）。その一方で、ＬＦ部分とＨＦ部分との関係が（一般的には、周波数領域で）分析され（１０２）、１組のＨＦパラメータによって示される。ＨＦ部分をパラメータで示すことにより、多重化された（１０５）波形データおよびＨＦパラメータを低ビットレートでデコーダに送信することができる。
【０００４】
デコーダにおいては、まずＬＦ部分が復号される（１０７）。元のＨＦ部分を近似するために、復号されたＬＦ部分が周波数領域に変換され（１０８）、得られたＬＦスペクトラムは、復号された一部のＨＦパラメータに従って修正され（１０９）、ＨＦスペクトラムが生成される。ＨＦスペクトラムもまた、復号された一部のＨＦパラメータに従って、さらに後処理によって精細化される（１１０）。精細化されたＨＦスペクトラムが時間領域に変換されて（１１１）、遅延された（１１２）ＬＦ部分に組み合わされる。その結果、再構築された最終の広帯域オーディオ信号が出力される。
【０００５】
なお、ＢＷＥ技術において、重要なステップの一つは、ＬＦスペクトラムからＨＦスペクトラムを生成することである（１０９）。これを実現するための方法はいくつかあり、たとえば、ＬＦ部分をＨＦ位置に複写する方法、非線形処理、またはアップサンプリングなどがある。
【０００６】
このようなＢＷＥ技術を用いる最も周知なオーディオコーデックは、ＭＰＥＧ−４ ＨＥ−ＡＡＣであり、そこでＢＷＥ技術は、ＳＢＲ（スペクトル帯域複製）またはＳＢＲ技術として規定されている。ＳＢＲにおいて、ＨＦ部分は単純にＱＭＦ（直交ミラーフィルタ）表示内のＬＦ部分をＨＦスペクトル位置に複写することにより生成される。
【０００７】
このようなスペクトル複写処理はパッチングとも呼ばれており、この処理は単純であり、かつ多くの場合において効率的であると証明されている。しかしながら、わずかなＬＦ部分帯域のみが実行可能である、非常に低いビットレート（たとえば、＜２０ｋｂｉｔｓ／ｓ ｍｏｎｏ）においてのＳＢＲ技術は、荒さや不快な音質などのような、望ましくない聴感的アーチファクトをもたらす可能性がある（例えば、非特許文献１参照）。
【０００８】
したがって、低ビットレートで符号化する場合において挙げた、ミラーリングまたは複写処理に起因するアーチファクトを回避するため、標準的なＳＢＲ技術は改良され、以下の主な変更により拡張されている（例えば、非特許文献２参照）。
【０００９】
（１）パッチングアルゴリズムを複写パターンからフェーズボコーダ駆動のパッチングパターンに変更する。
（２）適応的時間分解能を後処理パラメータ用に上げる。
【００１０】
第１の変更（上記（１））を行った結果、複数の整数係数でＬＦスペクトラムを拡散させることにより、ＨＦにおけるハーモニクスの連続性が本質的に確保される。特に、うなりの影響によって引き起こされる、所望されていない粗度感は、低周波と高周波との境界、および異なる高周波部分間の境界では発生しない（例えば、非特許文献１参照）。
【００１１】
また、第２の変更（上記（２））により、精細化されたＨＦスペクトラムを、再現された周波数帯域における信号の揺らぎに対してさらに適応できるようにすることが容易になる。
【００１２】
新たなパッチングがハーモニクス関係を保持するため、これはハーモニクス帯域拡張（ＨＢＥ）と呼ばれる。標準的なＳＢＲを超える先行技術のＨＢＥの効果は、低ビットレートでのオーディオ符号化について実験によっても確認されている（例えば、非特許文献１参照）。
【００１３】
なお、上記２つの変更は、ＨＦスペクトルジェネレータのみに影響するものであり（１０９）、ＨＢＥにおけるその他の方法は、ＳＢＲと全く同一である。
【００１４】
図２は、先行技術のＨＢＥにおけるＨＦスペクトルジェネレータを示す図である。なお、ＨＦスペクトルジェネレータは、図１のＴ−Ｆ変換１０８およびＨＦ再構築１０９から構成される。ある信号のＬＦ部分が入力され、そのＨＦスペクトラムが、第２次（最低周波数を有するＨＦパッチ）から第Ｔ次（最高周波数を有するＨＦパッチ）までの（Ｔ−１）個のＨＦハーモニクスパッチ（各パッチング工程において１つのＨＦパッチが作成される）からなると仮定する。先行技術のＨＢＥにおいて、これらのＨＦパッチはすべてフェーズボコーダから、並行して別々に生成される。
【００１５】
図２に示すように、異なる伸張係数（２からｋ）を有する、（Ｔ−１）個のフェーズボコーダ（２０１〜２０３）が、入力されたＬＦ部分を伸張するために用いられる。伸張された出力は異なる長さを有しており、これらの出力に対して、帯域フィルタを通過させ（２０４〜２０６）、かつ再サンプリングを行い（２０７〜２０９）、時間拡張を周波数拡張に変換することでＨＦパッチが生成される。伸張係数を再サンプリング係数の２倍に設定することで、ＨＦパッチは信号のハーモニクス構造を維持し、ＬＦ部分の２倍の長さを有するようになる。そして、ＨＦパッチがすべて遅延調整されて（２１０〜２１２）、再サンプリング処理が一因となる、様々な潜在的遅延を補償する。最後のステップにおいて、遅延調整されたすべてのＨＦパッチが合算され、かつＱＭＦ領域に変換されて（２１３）、ＨＦスペクトラムが作成される。
【００１６】
上記ＨＦスペクトルジェネレータを見ると、非常に多い演算量を有している。演算量に寄与するものは、主に時間拡張処理によるものであり、この時間拡張処理は、フェーズボコーダにおいて採用された一連の短時間フーリエ変換（ＳＴＦＴ）および逆短時間フーリエ変換（ＩＳＴＦＴ）、ならびに時間伸張されたＨＦ部分に適用される、後続のＱＭＦ処理によって実現される。
【００１７】
フェーズボコーダおよびＱＭＦ変換の概略を、以下に紹介する。
【００１８】
フェーズボコーダは、周波数領域変換を用いることで時間伸張効果を実現する、周知の技術である。つまり、局部的なスペクトル特徴を変更せずに維持しつつ、信号の経時変化を修正する技術である。その基本的な原理は、以下の通りである。
【００１９】
図３Ａおよび図３Ｂは、フェーズボコーダによる時間伸張の原理を示す図である。
【００２０】
図３Ａに示すように、オーディオを重なり合うブロックに分割し、ホップサイズ（連続するブロック間の時間間隔）が入力時および出力時において同一ではないブロック間の間隔を調整する。ここでは、入力ホップサイズＲａが出力ホップサイズＲｓより小さいため、その結果、元の信号は、以下の（式１）に示す比ｒで拡張される。
【００２１】
【数１】
【００２２】
図３Ｂに示すように、間隔を調整したブロックを、周波数領域変換を要するコヒーレントパターンで重ね合わせる。一般的に、入力ブロックを周波数に変換し、位相を適切に修正した後、新たなブロックを元の出力ブロックに変換する。
【００２３】
上記の原理に従って、ほとんどの典型的なフェーズボコーダは、短時間フーリエ変換（ＳＴＦＴ）を周波数領域変換として採用しており、分析の明示的な順序、ならびに時間伸張のための修正および再合成が必要である。
【００２４】
ＱＭＦバンクは、時間領域表示を時間−周波数領域結合表示（逆も同様）に変換し、これはスペクトル帯域複製（ＳＢＲ）、パラメトリックステレオ符号化（ＰＳ）、および空間オーディオ符号化（ＳＡＣ）などのパラメトリックベースの符号化方式において一般的に用いられている。これらのフィルタバンクの特徴は、複素周波数（サブバンド）領域信号が係数２によって効率的にオーバーサンプリングされるということである。これにより、サブバンド領域信号の後処理を、エイリアシングによる歪みを発生させることなく行うことができる。
【００２５】
さらに詳細には、実数値の離散時間信号をｘ（ｎ）とすると、ＱＭＦバンクの分析により、複素サブバンド領域信号ｓｋ（ｎ）が以下の（式２）によって求められる。
【００２６】
【数２】
【００２７】
（式２）中、ｐ（ｎ）は、第Ｌ−１次の低域通過プロトタイプフィルタのインパルス応答を示し、αは位相パラメータ、Ｍは帯域の数を示し、ｋはサブバンドインデックスを示し、ｋ＝０、１、・・・、Ｍ−１である。
【００２８】
なお、ＳＴＦＴと同様に、ＱＭＦ変換も時間−周波数結合変換である。すなわち、これにより信号の周波数内容および周波数内容における時間経過による変化のどちらも求めることができ、ここで周波数内容は、周波数サブバンドによって示され、時間軸はタイムスロットによって示される。
【００２９】
図４は、ＱＭＦ分析および合成方式を示す図である。
【００３０】
具体的には、図４に示されるように、ある実際の音声入力は、長さがＬ、かつホップサイズがＭである、連続し重なり合うブロックに分割され（図４の（ａ））、ＱＭＦ分析処理により、各ブロックは、１つのタイムスロットに変換され、タイムスロットはそれぞれ、Ｍ個の複素サブバンド信号で構成される。この方法により、Ｌ時間領域入力サンプルは、Ｌ個の複素ＱＭＦ係数に変換され、Ｌ／ＭタイムスロットおよびＭ個のサブバンドで構成される（図４の（ｂ））。各タイムスロットは、先行する（Ｌ／Ｍ−１）タイムスロットと組み合わされ、ＱＭＦ合成処理により合成されて、Ｍ個のリアルタイム領域サンプル（図４の（ｃ））がほぼ完璧に再構築される。
【先行技術文献】
【非特許文献】
【００３１】
【非特許文献１】Ｆｒｅｄｅｒｉｋ Ｎａｇｅｌ ａｎｄ Ｓａｓｃｈａ Ｄｉｓｃｈ、「Ａ ｈａｒｍｏｎｉｃ ｂａｎｄｗｉｄｔｈ ｅｘｔｅｎｓｉｏｎ ｍｅｔｈｏｄ ｆｏｒ ａｕｄｉｏ ｃｏｄｅｃｓ」、ＩＥＥＥ Ｉｎｔ．Ｃｏｎｆ．ｏｎ Ａｃｏｕｓｔｉｃｓ、 Ｓｐｅｅｃｈ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃ．、 ２００９年
【非特許文献２】Ｍａｘ Ｎｅｕｅｎｄｏｒｆ、ｅｔ ａｌ、「Ａ ｎｏｖｅｌ ｓｃｈｅｍｅ ｆｏｒ ｌｏｗ ｂｉｔｒａｔｅ ｕｎｉｆｉｅｄ ｓｐｅｅｃｈ ａｎｄ ａｕｄｉｏ ｃｏｄｉｎｇ−ＭＰＥＧ ＲＭ０」、１２６ｔｈ ＡＥＳ Ｃｏｎｖｅｎｔｉｏｎ、Ｍｕｎｉｃｈ、Ｇｅｒｍａｎｙ、２００９年５月
【発明の概要】
【発明が解決しようとする課題】
【００３２】
先行技術であるＨＢＥ技術に付随する課題は、演算量が多いということである。信号を伸張するために、ＨＢＥによって採用された従来のフェーズボコーダは、連続するＳＴＦＴおよびＩＳＴＦＴ、つまり連続するＦＦＴ（高速フーリエ変換）およびＩＦＦＴ（逆高速フーリエ変換）を適用するため演算量が多く、後続のＱＭＦ変換は、時間伸張信号に適用されるため、演算量が増す。また、一般的には、演算量を低減しようとすると、品質低下を招く可能性がある。
【００３３】
そこで、本発明は、かかる問題に鑑みてなされたものであって、帯域拡張の演算量を低減するとともに、拡張される帯域の品質低下を抑えることができる帯域拡張方法を提供することを目的とする。
【課題を解決するための手段】
【００３４】
上記目的を達成するために、本発明の一態様に係る帯域拡張方法は、低周波数帯域信号から全帯域信号を生成する帯域拡張方法であって、前記低周波数帯域信号を直交ミラーフィルタバンク（ＱＭＦ）領域に変換することによって、第１の低周波ＱＭＦスペクトラムを生成する第１の変換ステップと、前記低周波数帯域信号に互いに異なるシフト係数を適用することにより、ピッチシフトさせた複数個の信号を生成するピッチシフトステップと、ピッチシフトさせた前記複数個の信号をＱＭＦ領域で時間伸張することにより、高周波ＱＭＦスペクトラムを生成する高周波生成ステップと、高周波エネルギーおよび音調の条件を満たすように、前記高周波ＱＭＦスペクトラムを修正するスペクトラム修正ステップと、修正された前記高周波ＱＭＦスペクトラムと、前記第１の低周波ＱＭＦスペクトラムとを組み合わせることによって前記全帯域信号を生成する全帯域生成ステップとを含む。
【００３５】
これにより、ピッチシフトさせた複数個の信号がＱＭＦ領域で時間伸張されることによって、高周波ＱＭＦスペクトラムが生成される。したがって、高周波ＱＭＦスペクトラムを生成するために、従来のような複雑な処理（連続して繰り返されるＦＦＴおよびＩＦＦＴと、後続のＱＭＦ変換）を避けることができ、帯域拡張の演算量を低減することができる。なお、ＳＴＦＴと同様に、ＱＭＦ変換そのものは、時間−周波数結合分解能を提供するため、ＱＭＦ変換は、一連のＳＴＦＴおよびＩＳＴＦＴの代わりになる。さらに、本発明の一態様に係る帯域拡張方法では、１つのシフト係数だけでなく、互いに異なるシフト係数を適用することによって、ピッチシフトさせた複数個の信号が生成されて、これらに対して時間伸張が行われるため、高周波ＱＭＦスペクトラムの品質の低下を抑えることができる。
【００３６】
また、前記高周波生成ステップは、ピッチシフトさせた前記複数個の信号をＱＭＦ領域に変換することによって複数個のＱＭＦスペクトルを生成する第２の変換ステップと、前記複数個のＱＭＦスペクトルを互いに異なる複数の伸張係数で時間次元方向に伸張することによって複数個のハーモニクスパッチを生成するハーモニクスパッチ生成ステップと、前記複数個のハーモニクスパッチを時間調整する調整ステップと、時間調整された前記ハーモニクスパッチを合算する合算ステップとを含む。
【００３７】
また、前記ハーモニクスパッチ生成ステップは、前記ＱＭＦスペクトラムの振幅および位相を算出する算出ステップと、前記位相を操作することによって新たな位相を生成する位相操作ステップと、前記振幅と前記新たな位相とを組み合わせることによって、新たなＱＭＦ係数の組を生成するＱＭＦ係数生成ステップとを含む。
【００３８】
また、前記位相操作ステップでは、ＱＭＦ係数の組全体の元の位相に基づいて前記新たな位相を生成する。
【００３９】
また、前記位相操作ステップでは、ＱＭＦ係数の組に対して操作を繰り返し行い、前記ＱＭＦ係数生成ステップでは、複数の前記新たなＱＭＦ係数の組を生成する。
【００４０】
また、前記位相操作ステップでは、ＱＭＦサブバンド指標に依存して異なる操作を行う。
【００４１】
また、前記ＱＭＦ係数生成ステップでは、複数の前記新たなＱＭＦ係数の組をオーバーラップ加算することで、時間伸張したオーディオ信号に対応するＱＭＦ係数を生成する。
【００４２】
つまり、本発明の一態様に係る帯域拡張方法における時間伸張では、入力されたＱＭＦブロックの位相を修正し、修正されたＱＭＦブロックを異なるホップサイズでオーバーラップ加算することにより、ＳＴＦＴベースの伸張方法を模倣している。演算量の観点から、このような時間伸張と、ＳＴＦＴベースの方法における、連続するＦＦＴおよびＩＦＦＴとを比較すると、この時間伸張では、ＱＭＦ分析変換を１度だけ行うため演算量が少ない。したがって、帯域拡張の演算量をより低減することができる。
【００４３】
また、上記目的を達成するために、本発明の他の態様に係る帯域拡張方法は、低周波数帯域信号から全帯域信号を生成する帯域拡張方法であって、前記低周波数帯域信号を直交ミラーフィルタバンク（ＱＭＦ）領域に変換することによって、第１の低周波ＱＭＦスペクトラムを生成する第１の変換ステップと、前記ＱＭＦ領域で前記低周波数帯域信号を時間伸張することにより、低次ハーモニクスパッチを生成する低次ハーモニクスパッチ生成ステップと、前記低次ハーモニクスパッチに互いに異なるシフト係数を適用することにより、ピッチシフトさせた複数個の信号を生成し、前記複数個の信号から高周波ＱＭＦスペクトラムを生成する高周波生成ステップと、前記高周波エネルギーおよび音調の条件を満たすように、前記高周波ＱＭＦスペクトラムを修正するスペクトラム修正ステップと、修正された前記高周波ＱＭＦスペクトラムと、前記第１の低周波ＱＭＦスペクトラムとを組み合わせることによって前記全帯域信号を生成する全帯域生成ステップとを含む。
【００４４】
これにより、低周波数帯域信号がＱＭＦ領域で時間伸張されてピッチシフトされることによって、高周波ＱＭＦスペクトラムが生成される。したがって、高周波ＱＭＦスペクトラムを生成するために、従来のような複雑な処理（連続して繰り返されるＦＦＴおよびＩＦＦＴと、後続のＱＭＦ変換）を避けることができ、演算量を低減することができる。さらに、１つのシフト係数だけでなく、互いに異なるシフト係数を適用することによって、ピッチシフトさせた複数個の信号が生成されて、これらの信号から高周波ＱＭＦスペクトラムが生成されるため、高周波ＱＭＦスペクトラムの品質の低下を抑えることができる。また、低次ハーモニクスパッチから高周波ＱＭＦスペクトラムが生成されるため、その品質の低下をさらに抑えることができる。
【００４５】
なお、本発明の他の態様に係る帯域拡張方法では、ピッチシフトもＱＭＦ領域で行われる。これは、低次のパッチのＬＦ ＱＭＦサブバンドを、高い周波数分解能のために複数のサブ・サブバンドに分解するためであり、その後、これらのサブ・サブバンドを高次のＱＭＦサブバンドにマッピングして、高次のパッチスペクトラムを生成する。
【００４６】
また、前記低次ハーモニクスパッチ生成ステップは、前記低周波数帯域信号を第２の低周波ＱＭＦスペクトラムに変換する第２の変換ステップと、前記第２の低周波ＱＭＦスペクトラムを帯域通過させる帯域通過ステップと、帯域通過させた前記第２の低周波ＱＭＦスペクトラムを時間次元方向に伸張する伸張ステップとを含む。
【００４７】
また、前記第２の低周波ＱＭＦスペクトラムは、前記第１の低周波ＱＭＦスペクトラムよりも高い周波数分解能を有する。
【００４８】
また、前記高周波生成ステップは、前記低次ハーモニクスパッチを帯域通過させることで複数個の帯域通過させたパッチを生成するパッチ生成ステップと、帯域通過させた前記複数個のパッチをそれぞれ高周波にマッピングして複数個の高次ハーモニクスパッチを生成する高次生成ステップと、前記複数個の高次ハーモニクスパッチを前記低次ハーモニクスパッチと合算する合算ステップとを含む。
【００４９】
また、前記高次生成ステップは、帯域通過させたパッチにおける各ＱＭＦサブバンドを複数のサブ・サブバンドに分ける分解ステップと、前記複数のサブ・サブバンドを複数の高周波ＱＭＦサブバンドにマッピングするマッピングステップと、前記複数のサブ・サブバンドのマッピング結果を組み合わせる組み合わせステップとを含む。
【００５０】
また、前記マッピングステップは、ＱＭＦサブバンドの前記複数のサブ・サブバンドを阻止帯域部分と通過帯域部分とに分割する分割ステップと、前記通過帯域部分上の複数のサブ・サブバンドの転位された中心周波数を、パッチの次数に依存する係数で算出する周波数算出ステップと、前記通過帯域部分上の複数のサブ・サブバンドを、前記中心周波数に応じて複数の高周波ＱＭＦサブバンドにマッピングする第１のマッピングステップと、前記阻止帯域部分上の複数のサブ・サブバンドを、前記通過帯域部分上の複数のサブ・サブバンドに応じて高周波ＱＭＦサブバンドにマッピングする第２のマッピングステップとを含む。
【００５１】
なお、本発明に係る帯域拡張方法では、上述の処理動作（ステップ）をどのように組み合せてもよい。
【００５２】
このような本発明に係る帯域拡張方法は、演算量を低減したＨＦスペクトルジェネレータを用いる低演算量のＨＢＥ技術である。ＨＦスペクトルジェネレータは、ＨＢＥ技術の演算量に寄与する一番の要因となっている。この演算量を低減するため、本発明の一態様に係る帯域拡張方法では、低演算量でＱＭＦ領域での時間伸張を行う、新たなＱＭＦベースのフェーズボコーダを用いる。また、本発明の他の態様に係る帯域拡張方法では、この解決策に付随する可能性のある品質の問題を回避するため、ＱＭＦ領域で低次のパッチから高次のハーモニクスパッチを生成する、新たなピッチシフトアルゴリズムを用いる。
【００５３】
本発明の目的は、時間伸張、または時間伸張および周波数拡張のどちらもＱＭＦ領域で実行可能である、ＱＭＦベースのパッチを設計することであり、さらに、それにより、ＱＭＦベースのフェーズボコーダによって駆動される低演算量ＨＢＥ技術を開発することである。
【００５４】
なお、本発明は、このような帯域拡張方法として実現することができるだけでなく、その帯域拡張方法によってオーディオ信号の周波数帯域を拡張する帯域拡張装置、集積回路、その帯域拡張方法によってコンピュータに周波数帯域を拡張させるためのプログラム、そのプログラムを格納する記憶媒体としても実現することができる。
【発明の効果】
【００５５】
本発明の帯域拡張方法は、新たなハーモニクス帯域拡張（ＨＢＥ）技術を設計するものである。本技術の核心は、時間伸張、または、時間伸張およびピッチシフティングの両方を、従来のＦＦＴ領域や時間領域ではなく、ＱＭＦ領域で行うことである。先行技術のＨＢＥ技術と比較すると、この発明の帯域拡張方法によって、良好な音質が得られ、かつ演算量を大幅に低減させることができる。
【図面の簡単な説明】
【００５６】
【図１】図１は、通常のＢＷＥ技術を用いるオーディオコーデック方式を示す図である。
【図２】図２は、ハーモニクス構造を保持するＨＦスペクトルジェネレータを示す図である。
【図３Ａ】図３Ａは、オーディオブロックの間隔を調整することによる時間伸張の原理を示す図である。
【図３Ｂ】図３Ｂは、オーディオブロックの間隔を調整することによる時間伸張の原理を示す図である。
【図４】図４は、ＱＭＦ分析および合成方式を示す図である。
【図５】図５は、本発明の実施の形態１における帯域拡張方法を示すフローチャートである。
【図６】図６は、本発明の実施の形態１におけるＨＦスペクトルジェネレータを示す図である。
【図７】図７は、本発明の実施の形態１におけるオーディオデコーダを示す図である。
【図８】図８は、本発明の実施の形態１におけるＱＭＦ変換に基づく信号のタイムスケール変更方式を示す図である。
【図９】図９は、本発明の実施の形態１におけるＱＭＦ領域における時間伸張方法を示す図である。
【図１０】図１０は、異なる伸張係数を用いた正弦波音調信号の伸張効果の比較を示す図である。
【図１１】図１１は、ＨＢＥ方式における配置ずれとエネルギー拡散効果を示す図である。
【図１２】図１２は、本発明の実施の形態２における帯域拡張方法を示すフローチャートである。
【図１３】図１３は、本発明の実施の形態２におけるＨＦスペクトルジェネレータを示す図である。
【図１４】図１４は、本発明の実施の形態２におけるオーディオデコーダを示す図である。
【図１５】図１５は、本発明の実施の形態２におけるＱＭＦ領域における周波数拡張方法を示す図である。
【図１６】図１６は、本発明の実施の形態２におけるサブ・サブバンドスペクトル分布を示す図である。
【図１７】図１７は、本発明の実施の形態２における複素ＱＭＦ領域における、正弦波のための通過帯域成分と阻止帯域成分との間の関係を示す図である。
【発明を実施するための形態】
【００５７】
以下の形態は、単に、様々な発明ステップの原理を説明するものである。ここに説明する具体例の様々な変形例は、当業者には明らかであろう。
【００５８】
（実施の形態１）
以下、本願発明のＨＢＥ方式（ハーモニクス帯域拡張方法）およびそれを用いたデコーダ（オーディオデコーダまたはオーディオ復号装置）に関して説明する。
【００５９】
図５は、本実施の形態における帯域拡張方法を示すフローチャートである。
【００６０】
この帯域拡張方法は、低周波数帯域信号から全帯域信号を生成する帯域拡張方法であって、前記低周波数帯域信号を直交ミラーフィルタバンク（ＱＭＦ）領域に変換することによって、第１の低周波ＱＭＦスペクトラムを生成する第１の変換ステップ（Ｓ１１）と、前記低周波数帯域信号に互いに異なるシフト係数を適用することにより、ピッチシフトさせた複数個の信号を生成するピッチシフトステップ（Ｓ１２）と、ピッチシフトさせた前記複数個の信号をＱＭＦ領域で時間伸張することにより、高周波ＱＭＦスペクトラムを生成する高周波生成ステップ（Ｓ１３）と、高周波エネルギーおよび音調の条件を満たすように、前記高周波ＱＭＦスペクトラムを修正するスペクトラム修正ステップ（Ｓ１４）と、修正された前記高周波ＱＭＦスペクトラムと、前記第１の低周波ＱＭＦスペクトラムとを組み合わせることによって前記全帯域信号を生成する全帯域生成ステップ（Ｓ１５）とを含む。
【００６１】
なお、第１の変換ステップ（Ｓ１１）は、後述のＴ−Ｆ変換部１４０６によって行われ、ピッチシフトステップ（Ｓ１２）は、後述のサンプリング部５０４〜５０６および時間再サンプリング部１４０３によって行われる。また、高周波生成ステップ（Ｓ１３）は、後述のＱＭＦ変換部５０７〜５０９、フェーズボコーダ５１０〜５１２、ＱＭＦ変換部１４０４および時間伸張部１４０５によって行われる。また、スペクトラム修正ステップ（Ｓ１４）は、後述のＨＦ処理部１４０８によって行われ、全帯域生成ステップ（Ｓ１５）は、後述の加算部１４１０によって行われる。
【００６２】
また、前記高周波生成ステップは、ピッチシフトさせた前記複数個の信号をＱＭＦ領域に変換することによって複数個のＱＭＦスペクトルを生成する第２の変換ステップと、前記複数個のＱＭＦスペクトルを互いに異なる複数の伸張係数で時間次元方向に伸張することによって複数個のハーモニクスパッチを生成するハーモニクスパッチ生成ステップと、前記複数個のハーモニクスパッチを時間調整する調整ステップと、時間調整された前記ハーモニクスパッチを合算する合算ステップとを含む。
【００６３】
なお、第２の変換ステップは、ＱＭＦ変換部５０７〜５０９およびＱＭＦ変換部１４０４によって行われ、ハーモニクスパッチ生成ステップは、フェーズボコーダ５１０〜５１２および時間伸張部１４０５によって行われる。また、調整ステップは、後述する遅延調整部５１３〜５１５によって行われ、合算ステップは、後述する加算部５１６によって行われる。
【００６４】
本実施の形態のＨＢＥ方式では、ＨＢＥ技術におけるＨＦスペクトルジェネレータが、時間領域におけるピッチシフト処理、および後続のＱＭＦ領域におけるボコーダ駆動の時間伸張処理を用いて設計されている。
【００６５】
図６は、本実施の形態のＨＢＥ方式で用いるＨＦスペクトルジェネレータを示す図である。ＨＦスペクトルジェネレータは、帯域通過部５０１、５０２、・・・、５０３と、サンプリング部５０４、５０５、・・・、５０６と、ＱＭＦ変換部５０７、５０８、・・・、５０９と、フェーズボコーダ５１０、５１１、・・・、５１２と、遅延調整部５１３、５１４、・・・、５１５と、加算部５１６とを備える。
【００６６】
与えられたＬＦ帯域の入力が、まず帯域通過され（５０１〜５０３）、再サンプリングされることにより（５０４〜５０６）、このＨＦ帯域部分が生成される。これらのＨＦ帯域部分は、ＱＭＦ領域に変換され（５０７〜５０９）、得られたＱＭＦ出力はそれに応じた再サンプリング係数の２倍の伸張係数を用いて時間伸張される（５１０〜５１２）。伸張されたＨＦスペクトラムは遅延調整され（５１３〜５１５）、スペクトル変換処理から寄与する様々な潜在的遅延を補償して、これらを合算（５１６）して最終のＨＦスペクトラムが生成される。なお、上記括弧内の数字５０１−５１６はそれぞれＨＦスペクトルジェネレータの構成要素を示す。
【００６７】
本実施の形態の方式と先行技術の方式（図２）とを比較すると、主な差異は以下の通りである。１）より多くのＱＭＦ変換が適用され、２）時間伸張処理は、ＦＦＴ領域ではなくＱＭＦ領域で行われる。ＱＭＦ領域での時間伸張処理のさらなる詳細は後述する。
【００６８】
図７は、本実施の形態におけるＨＦスペクトルジェネレータを採用したデコーダを示す図である。このデコーダ（オーディオ復号装置）は、逆多重化部１４０１と、復号部１４０２と、時間再サンプリング部１４０３と、ＱＭＦ変換部１４０４と、時間伸張部１４０５と、Ｔ−Ｆ変換部１４０６と、遅延調整部１４０７と、ＨＦ後処理部１４０８と、加算部１４１０と、逆Ｔ−Ｆ変換部１４０９とを備える。ＨＦスペクトルジェネレータは、時間再サンプリング部１４０３、ＱＭＦ変換部１４０４、および時間伸張部１４０５から構成される。なお、本実施の形態では、逆多重化部１４０１は、符号化情報（ビットストリーム）から、符号化された低周波数帯域信号を分離する分離部に相当する。また、逆Ｔ−Ｆ変換部１４０９は、全帯域信号を直交ミラーフィルターバンク（ＱＭＦ）領域の信号から時間領域の信号に変換する逆変換部に相当する。
【００６９】
このデコーダでは、まずビットストリームが逆多重化され（１４０１）、次に信号のＬＦ部分が復号される（１４０２）。元のＨＦ部分を近似するために、復号されたＬＦ部分（低周波数帯域信号）が時間領域で再サンプリングされることで（１４０３）ＨＦ部分が生成され、得られたＨＦ部分はＱＭＦ領域に変換される（１４０４）。得られたＨＦ ＱＭＦスペクトラムは時間方向に伸張され（１４０５）、伸張されたＨＦスペクトラムは、復号された一部のＨＦパラメータに従って、後処理によりさらに精細化される（１４０８）。一方、復号されたＬＦ部分もＱＭＦ領域に変換される（１４０６）。最後に、精細化されたＨＦスペクトラムと、遅延された（１４０７）ＬＦスペクトラムとが組み合わされて（１４１０）、全帯域のＱＭＦスペクトラムが作成される。得られた全帯域のＱＭＦスペクトラムは、元の時間領域に変換されて（１４０９）復号された広帯域オーディオ信号が出力される。なお、上記括弧内の数字１４０１−１４１０はそれぞれデコーダの構成要素を示す。
【００７０】
時間伸張方法
本実施の形態のＨＢＥ方式の時間伸張処理は、オーディオ信号を対象としており、その時間伸張信号は、ＱＭＦ変換、位相操作、および逆ＱＭＦ変換により生成することができる。つまり、前記ハーモニクスパッチ生成ステップは、前記ＱＭＦスペクトラムの振幅および位相を算出する算出ステップと、前記位相を操作することによって新たな位相を生成する位相操作ステップと、前記振幅と前記新たな位相とを組み合わせることによって、新たなＱＭＦ係数の組を生成するＱＭＦ係数生成ステップとを含む。なお、算出ステップ、位相操作ステップおよびＱＭＦ係数生成ステップは、それぞれ後述のモジュール７０２によって行われる。
【００７１】
図８は、ＱＭＦ変換部１４０４および時間伸張部１４０５によるＱＭＦベースの時間伸張処理を示す図である。まず、オーディオ信号が、ＱＭＦ分析変換（７０１）によって、１組のＱＭＦ係数、たとえばＸ（ｍ，ｎ）に変換される。これらのＱＭＦ係数は、モジュール７０２において修正される。ここでは、各ＱＭＦ係数の振幅ｒおよび位相ａが算出される。たとえば、Ｘ（ｍ，ｎ）＝ｒ（ｍ，ｎ）・ｅｘｐ（ｊ・ａ（ｍ，ｎ））とする。この位相ａ（ｍ，ｎ）は、a~（ｍ，ｎ）に修正（操作）される。修正された位相a~と元の振幅ｒとが、新たな１組のＱＭＦ係数を構築する。たとえば、新たな１組のＱＭＦ係数は以下の（式３）によって示される。
【００７２】
【数３】
【００７３】
最後に、その新たな１組のＱＭＦ係数が、タイムスケールが修正された元のオーディオ信号に対応する、新たなオーディオ信号に変換される（７０３）。
【００７４】
本実施の形態のＨＢＥ方式におけるＱＭＦベースの時間伸張アルゴリズムは、ＳＴＦＴベースの伸張アルゴリズムを模倣している。すなわち、１）この修正段階において、瞬時周波数概念を用いて位相の修正が行われており、かつ２）演算量を低減させるために、ＱＭＦ変換の加法性特性を用いてＱＭＦ領域においてオーバーラップ加算が行われる。
【００７５】
本実施の形態のＨＢＥ方式における時間伸張アルゴリズムの詳細を以下に記載する。
【００７６】
伸張係数ｓで伸張される、２Ｌ個の実数値時間領域信号ｘ（ｎ）があると仮定すると、ＱＭＦ分析段階の後では、２Ｌ／ＭのタイムスロットおよびＭ個のサブバンドによって構成される、２Ｌ個のＱＭＦ複素係数が存在する。
【００７７】
なお、ＳＴＦＴベースの伸張方法と同様に、変換されたＱＭＦ係数は、必要に応じて位相操作の前に解析窓処理の対象としてもよい。本発明において、上記は、時間領域またはＱＭＦ領域のいずれにおいても実現可能である。
【００７８】
時間領域において、時間領域信号は、通常は以下の（式４）のように窓処理される。
【００７９】
【数４】
【００８０】
（式４）中のｍｏｄ（．）は、モジュレーション処理を示す。
【００８１】
ＱＭＦ領域において、同等の動作を以下のように実現することが可能である。
【００８２】
１）解析窓ｈ(ｎ）（長さＬを有する）をＱＭＦ領域に変換し、Ｌ／Ｍ時間スロットおよびＭ個のサブバンドを有するＨ（ｖ、ｋ）を得る。
【００８３】
２）窓のＱＭＦ表示を以下の（式５）に示すように簡略化する。
【００８４】
【数５】
【００８５】
ここで、ｖ＝０、・・・、Ｌ／Ｍ−１とする。
【００８６】
３）解析窓処理を、ＱＭＦ領域でＸ（ｍ，ｋ）＝Ｘ（ｍ，ｋ）・Ｈ０（ｗ）によって行い、その式中、ｗ＝ｍｏｄ（ｍ，Ｌ／Ｍ）である（なお、ｍｏｄ（．）は、モジュレーション処理を示す）。
【００８７】
また、本実施の形態のＨＢＥ方式において、前記位相操作ステップでは、ＱＭＦ係数の組全体の元の位相に基づいて前記新たな位相を生成する。つまり、本実施の形態では、時間伸張の実現に関する詳細として、ＱＭＦブロックに基づいて位相操作を行う。
【００８８】
図９は、ＱＭＦ領域における時間伸張方法を示す図である。
【００８９】
図９の（ａ）に示すように、元のＱＭＦ係数は、Ｌ＋１個の重ね合わせたＱＭＦブロックとして扱うことが可能であり、そのホップサイズは１タイムスロット、ブロックの長さは、Ｌ／Ｍタイムスロットである。
【００９０】
位相ジャンプによる影響を確実になくすために、元の各ＱＭＦブロックは修正され、修正された位相を有する新たなＱＭＦブロックが生成される。その新たなＱＭＦブロックの位相は、重なり合う（μ）番目および（μ＋１）番目の新たなＱＭＦブロックに対して、μ・ｓの点において連続するはずであり、これは時間領域におけるμ・Ｍ・ｓ（μ∈Ｎ）の接合点において連続することと同等である。
【００９１】
また、本実施の形態のＨＢＥ方式において、前記位相操作ステップでは、ＱＭＦ係数の組に対して操作を繰り返し行い、前記ＱＭＦ係数生成ステップでは、複数の前記新たなＱＭＦ係数の組を生成してもよい。この場合、位相は、以下の基準に従ってブロック単位で修正される。
【００９２】
与えられたＱＭＦ係数Ｘ（ｕ、ｋ）の元の位相がφｕ（ｋ）であると仮定し、ｕ＝０、・・・、２Ｌ／Ｍ−１およびｋ＝０、１、・・・、Ｍ−１とする。元のＱＭＦブロックはそれぞれ、図９の（ｂ）に示すように、順次新たなＱＭＦブロックに修正され、同図において、新たなＱＭＦブロックは異なるフィルパターンで示している。
【００９３】
以下において、ψｕ（ｎ)（ｋ）は、新たなＱＭＦブロックのｎ番目の位相情報を示しており、ｎ＝１、・・・、Ｌ／Ｍ、ｕ＝０、・・・Ｌ／Ｍ−１およびｋ＝０、１、・・・、Ｍ−１である。これらの新たな位相は、新たなブロックの間隔が調整されたか否かに依存して以下のように設計される。
【００９４】
第１の新たなＱＭＦブロックである、Ｘ（１）（ｕ，ｋ）（ｕ＝０、・・・Ｌ／Ｍ−１）の間隔が調整されていないと仮定する。そうすると、新たな位相情報ψｕ（１）（ｋ）は、φｕ（ｋ）と同一である。すなわち、ψｕ（１）（ｋ）＝φｕ（ｋ）であり、ｕ＝０、・・・Ｌ／Ｍ−１およびｋ＝０、１、・・・、Ｍ−１である。
【００９５】
第２の新たなＱＭＦブロック、Ｘ（２）（ｕ，ｋ）（ｕ＝０、・・・Ｌ／Ｍ−１）は、ｓタイムスロット（たとえば、図９に示すように、２タイムスロット）のホップサイズで間隔が調整される。この場合、ブロックの始まりの瞬時周波数は、第１の新たなＱＭＦブロックＸ（１）（ｕ，ｋ）のｓ番目のタイムスロットの瞬時周波数と一致するはずである。よって、Ｘ（２）（ｕ，ｋ）の１番目のタイムスロットの瞬時周波数は、元のＱＭＦブロックにおける２番目のタイムスロットの瞬時周波数と同一であるはずである。すなわち、ψ０（２）（ｋ）＝ψ０（１）（ｋ）＋ｓ・Δφ１（ｋ）である。
【００９６】
また、１番目のタイムスロットの位相が変更されるため、残りの位相は元の瞬時周波数を保持するように適宜調整される。すなわち、ψｕ（２）（ｋ）＝ψｕ−１（２）（ｋ）＋Δφｕ＋１（ｋ）であり、ｕ＝１、・・・Ｌ／Ｍ−１である。式中、Δφｕ（ｋ）＝φｕ（ｋ）−φｕ−１（ｋ）は、元のＱＭＦブロックの元の瞬時周波数を示す。
【００９７】
後続の合成ブロックに対して、同じ位相修正規則が適用される。すなわち、ｍ番目の新たなＱＭＦブロック（ｍ＝３、・・・Ｌ／Ｍ）に対して、その位相ψｕ（ｍ）（ｋ）が以下の式により決定される。
【００９８】
ψ０（ｍ）（ｋ）＝ψ０（ｍ−１）（ｋ）＋ｓ・Δφｍ−１（ｋ）
ψｕ（ｍ）（ｋ）＝ψｕ−１（ｍ）（ｋ）＋Δφｍ＋ｕ−１（ｋ）であり、ｕ＝１、・・・、Ｌ／Ｍ−１である。
【００９９】
元のブロック振幅情報と組み合わせて、上記の新たな位相は、新たなＬ／Ｍブロックとなる。
【０１００】
ここで、本実施の形態のＨＢＥ方式において、前記位相操作ステップでは、ＱＭＦサブバンド指標に依存して異なる操作を行ってもよい。つまり、上記位相修正方法を、ＱＭＦの奇数のサブバンドと、偶数のサブバンドとでそれぞれ異なるように設計してもよい。
【０１０１】
これは、音調信号のＱＭＦ領域における瞬時周波数が、位相差Δφ（ｎ，ｋ）＝φ（ｎ，ｋ）−φ（ｎ−１，ｋ）に、異なる方法で関連付けられていることに基づいている。
【０１０２】
さらに詳細には、瞬時周波数ω（ｎ，ｋ）は、以下の（式６）により求められる。
【０１０３】
【数６】
【０１０４】
（式６）中、ｐｒｉｎｃａｒｇ（α）は、主角αを意味し、以下の（式７）によって定義される。
【０１０５】
【数７】
【０１０６】
式中ｍｏｄ（ａ，ｂ）は、ｂに対するａのモジュレーションを示す。
【０１０７】
その結果、たとえば上記の位相修正方法において、位相差は、以下の（式８）で詳細に示される。
【０１０８】
【数８】
【０１０９】
また、本実施の形態のＨＢＥ方式では、前記ＱＭＦ係数生成ステップでは、複数の前記新たなＱＭＦ係数の組をオーバーラップ加算することで、時間伸張したオーディオ信号に対応するＱＭＦ係数を生成する。つまり、演算量を低減させるためにＱＭＦ合成処理は、各個別の新たなＱＭＦブロックに直接適用されず、これらの新たなＱＭＦブロックのオーバーラップ加算された結果に適用される。
【０１１０】
なお、ＳＴＦＴベースの拡張方法と同様に、新たなＱＭＦ係数は、必要に応じて、オーバーラップ加算を行う前に合成窓処理の対象となる。本実施の形態において、合成窓処理は、解析窓処理のように以下によって実現できる。
【０１１１】
Ｘ（ｎ＋１）（ｕ，ｋ）＝Ｘ（ｎ＋１）（ｕ，ｋ）・Ｈ０（ｗ）であり、式中、ｗ＝ｍｏｄ（ｕ，Ｌ／Ｍ）である。
【０１１２】
そして、ＱＭＦ変換が加法性であるため、新たなＬ／Ｍブロックを、ＱＭＦ合成の前にｓタイムスロットのホップサイズですべてオーバーラップ加算することができる。オーバーラップ加算の結果である、Ｙ（ｕ，ｋ）は、以下の式によって求められる。
【０１１３】
【数９】
【０１１４】
ｎ＝０、・・・、Ｌ／Ｍ−１、ｕ＝１、・・・Ｌ／Ｍ、およびｋ＝０、１、・・・、Ｍ−１である。
【０１１５】
最終的な音声信号は、修正されたタイムスケールに対応する、Ｙ（ｕ，ｋ）にＱＭＦ合成を適用することによって生成することができる。
【０１１６】
本実施の形態のＨＢＥ方式におけるＱＭＦベースの伸張方法と、先行技術のＳＴＦＴベースの伸張方法とを比較すると、ＱＭＦ変換に本質的な時間分解能は、演算量の大幅な低減に役立つことに注目すべきである。これは、先行技術のＳＴＦＴベースの伸張方法において、一連のＳＴＦＴ変換を行うことによってのみ得られる。
【０１１７】
以下の演算量の分析は、演算量の大まかな比較結果を示し、ここでは変換による演算量のみを考慮した。
【０１１８】
サイズＬのＳＴＦＴの演算量がｌｏｇ２（Ｌ）・Ｌであり、かつＱＭＦ分析変換の演算量がＦＦＴ変換の約２倍であると仮定すると、先行技術のＨＦスペクトルジェネレータに伴う変換演算量は、以下のように近似される。
【０１１９】
【数１０】
【０１２０】
比較すると、本実施の形態のＨＦスペクトルジェネレータに伴う変換演算量は、以下の（式１１）に示すように近似される。
【０１２１】
【数１１】
【０１２２】
たとえば、Ｌ＝１０２４、かつＲａ＝１２８であると仮定すると、上記の演算量の比較は、表１に具体的に示される。
【０１２３】
【表１】
【０１２４】
（実施の形態２）
以下、ＨＢＥ方式（ハーモニクス帯域拡張方法）の第２の実施の形態およびそれを用いたデコーダ（オーディオデコーダまたはオーディオ復号装置）に関して詳細に説明する。
【０１２５】
ＱＭＦベースの時間伸張方法を採用すると、ＱＭＦベースの時間伸張方法におけるＨＢＥ技術の演算量は大幅に低くなる。しかしながら、一方では、ＱＭＦベースの時間伸張方法を採用することによっても、音質を低下させるおそれのある、２つの問題が起こる可能性がある。
【０１２６】
第１に、高次のパッチには、音質低下の問題がある。ＨＦスペクトラムが（Ｔ−１）個のパッチから構成され、対応する伸張係数は、２、３、・・・、Ｔであると仮定する。ＱＭＦベースの時間伸張はブロックベースであるため、高次のパッチにおいて、オーバーラップ加算処理の回数が少なくなると、伸張効果が低下する。
【０１２７】
図１０は、正弦波音調信号の伸張効果を示す図である。上枠（ａ）は、純粋な正弦波音調信号の第２次パッチの伸張効果を示す。伸張された出力は、基本的にクリーンであり、小さい振幅においてわずかに他の周波数成分があるだけである。一方、下枠（ｂ）は、同じ正弦波音調信号の第４次パッチの伸張効果を示す。
【０１２８】
（ａ）と比較すると、（ｂ）では、中心周波数が正しくシフトされているが、得られた出力は、無視することができない振幅を有する他の周波数成分もいくつか含む。これにより、伸張された出力において所望していないノイズが発生する可能性がある。
【０１２９】
第２に、過渡信号に品質低下の問題が起こる可能性がある。このような品質低下の問題には、３つの潜在的な寄与原因が考えられる。
【０１３０】
第１の寄与原因は、過渡成分が再サンプリングの過程で失われている可能性がある。偶数のサンプルに位置するディラックインパルスを有する過渡信号を仮定すると、係数２のデシメーションを行った第４次パッチにおいては、ディラックインパルスは再サンプリングされた信号において消失する。その結果、得られるＨＦスペクトラムは、不完全な過渡成分を有する。
【０１３１】
第２の寄与原因は、異なるパッチにおいて、調整されていない過渡成分である。これらのパッチは、異なる再サンプリング係数を有するため、特定の位置に位置するディラックインパルスは、ＱＭＦ領域において、異なるタイムスロットに位置するいくつかの成分を有することがある。
【０１３２】
図１１は、品質低下の問題として配置ずれとエネルギー拡散効果を示す図である。ディラックインパルスを有する入力（たとえば、図１１では、灰色の第３のサンプルとして図示されている）に対して異なる係数で再サンプリングを行った後、その位置は、異なる位置に変更される。その結果、伸張された出力は、過渡効果が知覚的に減衰される。
【０１３３】
第３の寄与原因は、過渡成分のエネルギーが異なるパッチにおいて不均一に拡散されることにある。図１１に示すように、第２次パッチでは、関連付けられた過渡成分が第５および第６のサンプルまで拡散されている。第３次パッチでは、第４〜第６サンプルまで拡散されており、第４次パッチでは、第５〜第８サンプルまで拡散されている。その結果、伸張された出力の過渡効果は、高い周波数において弱くなる。一部の臨界の過渡信号については、伸張された出力において、不快なプレエコーアーチファクトおよびポストエコーアーチファクトさえも現れる。
【０１３４】
上述の品質低下問題を克服するためには、高度なＨＢＥ技術が望ましい。しかしながら、複雑すぎる解決策も、演算量を増加させる。本実施の形態では、予想される品質低下の問題を回避し、かつ低演算量の効果を維持するために、ＱＭＦベースのピッチシフト方法を用いる。
【０１３５】
本実施の形態のＨＢＥ方式（ハーモニクス帯域拡張方法）は、以下に詳細に説明するように、本実施の形態のＨＢＥ技術におけるＨＦスペクトルジェネレータが、ＱＭＦ領域での時間伸張およびピッチシフト処理のどちらも用いて設計されている。また、本実施の形態のＨＢＥ方式を用いたデコーダ（オーディオデコーダまたはオーディオ復号装置）に関しても以下に説明する。
【０１３６】
図１２は、本実施の形態における低演算帯域拡張方法を示すフローチャートである。
【０１３７】
この帯域拡張方法は、低周波数帯域信号から全帯域信号を生成する帯域拡張方法であって、前記低周波数帯域信号を直交ミラーフィルタバンク（ＱＭＦ）領域に変換することによって、第１の低周波ＱＭＦスペクトラムを生成する第１の変換ステップ（Ｓ２１）と、前記ＱＭＦ領域で前記低周波数帯域信号を時間伸張することにより、低次ハーモニクスパッチを生成する低次ハーモニクスパッチ生成ステップ（Ｓ２２）と、前記低次ハーモニクスパッチに互いに異なるシフト係数を適用することにより、ピッチシフトさせた複数個の信号を生成し、前記複数個の信号から高周波ＱＭＦスペクトラムを生成する高周波生成ステップ（Ｓ２３）と、前記高周波エネルギーおよび音調の条件を満たすように、前記高周波ＱＭＦスペクトラムを修正するスペクトラム修正ステップ（Ｓ２４）と、修正された前記高周波ＱＭＦスペクトラムと、前記第１の低周波ＱＭＦスペクトラムとを組み合わせることによって前記全帯域信号を生成する全帯域生成ステップ（Ｓ２５）とを含む。
【０１３８】
なお、第１の変換ステップは、後述するＴ−Ｆ変換部１５０８によって行われ、低次ハーモニクスパッチ生成ステップは、後述するＱＭＦ変換部１５０３、時間伸張部１５０４、ＱＭＦ変換部６０１およびフェーズボコーダ６０３によって行われる。また、高周波生成ステップは、後述するピッチシフト部１５０６、帯域通過部６０４，６０５、周波数拡張部６０６，６０７、および遅延調整部６０８〜６１０によって行われる。また、スペクトラム修正ステップは、後述するＨＦ後処理部１５０７によって行われ、全帯域生成ステップは、後述する加算部１５１２によって行われる。
【０１３９】
また、前記低次ハーモニクスパッチ生成ステップは、前記低周波数帯域信号を第２の低周波ＱＭＦスペクトラムに変換する第２の変換ステップと、前記第２の低周波ＱＭＦスペクトラムを帯域通過させる帯域通過ステップと、帯域通過させた前記第２の低周波ＱＭＦスペクトラムを時間次元方向に伸張する伸張ステップとを含む。
【０１４０】
なお、第２の変換ステップは、ＱＭＦ変換部６０１およびＱＭＦ変換部１５０３によって行われ、帯域通過ステップは、後述する帯域通過部６０２によって行われ、伸張ステップは、フェーズボコーダ６０３および時間伸張部１５０４によって行われる。
【０１４１】
また、前記第２の低周波ＱＭＦスペクトラムは、前記第１の低周波ＱＭＦスペクトラムよりも高い周波数分解能を有する。
【０１４２】
また、前記高周波生成ステップは、前記低次ハーモニクスパッチを帯域通過させることで複数個の帯域通過させたパッチを生成するパッチ生成ステップと、帯域通過させた前記複数個のパッチをそれぞれ高周波にマッピングして複数個の高次ハーモニクスパッチを生成する高次生成ステップと、前記複数個の高次ハーモニクスパッチを前記低次ハーモニクスパッチと合算する合算ステップとを含む。
【０１４３】
なお、パッチ生成ステップは、帯域通過部６０４，６０５によって行われ、高次生成ステップは、周波数拡張部６０６，６０７によって行われ、合算ステップは、後述する加算部６１１によって行われる。
【０１４４】
図１３は、本実施の形態のＨＢＥ方式で用いているＨＦスペクトルジェネレータを示す図である。ＨＦスペクトルジェネレータは、ＱＭＦ変換部６０１と、帯域通過部６０２、６０４、・・・、６０５と、フェーズボコーダ６０３と、周波数拡張部６０６、・・・、６０７と、遅延調整部６０８、６０９、・・・、６１０と、加算部６１１とを備える。
【０１４５】
与えられたＬＦ帯域の入力が、まずＱＭＦ領域に変換され（６０１）、その帯域通過された（６０２）ＱＭＦスペクトルは、２倍の長さに時間伸張される（６０３）。伸張されたＱＭＦスペクトラムが帯域通過されて（６０４〜６０５）、帯域が制限された（Ｔ−２）個のスペクトルが作成される。その結果得られた、複数の帯域制限スペクトルは、より高い周波数帯域のスペクトルに変換される（６０６〜６０７）。これらのＨＦスペクトルは遅延調整され（６０８〜６１０）、スペクトル変換処理から寄与する様々な潜在的遅延を補償して、これらを合算して（６１１）最終のＨＦスペクトラムが生成される。なお、上記括弧内の数字６０１−６１１はそれぞれＨＦスペクトルジェネレータの構成要素を示す。
【０１４６】
なお、ＱＭＦ変換（図１における１０８）と比較すると、本実施の形態のＨＢＥ方式におけるＱＭＦ変換（ＱＭＦ変換部６０１）は、より高い周波数分解能を有しており、低下する時間分解能については、後続の伸張処理によって補償される。
【０１４７】
本実施の形態のＨＢＥ方式と先行技術の方式（図２）とを比較すると、主な差異は、以下の点である。１）実施の形態１のように、時間伸張処理が、ＦＦＴ領域ではなく、ＱＭＦ領域において行われる。２）高次のパッチが第２次パッチに基づき生成される。３）ピッチシフト処理も時間領域ではなく、ＱＭＦ領域において行われる。
【０１４８】
図１４は、本実施の形態のＨＢＥ方式におけるＨＦスペクトルジェネレータを採用したデコーダを示す図である。このデコーダ（オーディオ復号装置）は、逆多重化部１５０１と、復号部１５０２と、ＱＭＦ変換部１５０３と、時間伸張部１５０４と、遅延調整部１５０５と、ピッチシフト部１５０６と、ＨＦ後処理部１５０７と、Ｔ−Ｆ変換部１５０８と、遅延調整部１５０９と、逆Ｔ−Ｆ変換部１５１０と、加算部１５１１および１５１２とを備える。ＨＦスペクトルジェネレータは、ＱＭＦ変換部１５０３、時間伸張部１５０４、遅延調整部１５０５、ピッチシフト部１５０６、および加算部１５１１から構成される。なお、本実施の形態では、逆多重化部１５０１は、符号化情報（ビットストリーム）から、符号化された低周波数帯域信号を分離する分離部に相当する。また、逆Ｔ−Ｆ変換部１５１０は、全帯域信号を直交ミラーフィルターバンク（ＱＭＦ）領域の信号から時間領域の信号に変換する逆変換部に相当する。
【０１４９】
このデコーダでは、まず、ビットストリームが逆多重化され（１５０１）、次に信号のＬＦ部分が復号される（１５０２）。元のＨＦ部分を近似するために、復号されたＬＦ部分（低周波数帯域信号）がＱＭＦ領域において変換されて（１５０３）ＬＦ ＱＭＦスペクトラムが生成される。これによって得られたＬＦ ＱＭＦスペクトラムは時間方向に沿って伸張されて（１５０４）低次のＨＦパッチが生成される。その低次のＨＦパッチはピッチシフトされて（１５０６）高次のパッチが生成される。これによって得られた高次のパッチと、遅延された（１５０５）低次のＨＦパッチとが組み合わされてＨＦスペクトラムが生成される。このＨＦスペクトラムは、復号された一部のＨＦパラメータに従って、後処理によってさらに精細化される（１５０７）。一方、復号されたＬＦ部分もＱＭＦ領域に変換される（１５０８）。最後に、精細化されたＨＦスペクトラムと、遅延された（１５０９）ＬＦスペクトラムとが組み合わされて全帯域のＱＭＦスペクトラムが作成される（１５１２）。得られた全帯域のＱＭＦスペクトラムは、元の時間領域に変換されて（１５１０）、復号された広帯域オーディオ信号が出力される。なお、上記括弧内の数字１５０１−１５１２はそれぞれデコーダの構成要素を示す。
【０１５０】
ピッチシフト方法
本実施の形態のＨＢＥ方式のピッチシフト部１５０６におけるＱＭＦベースのピッチシフトアルゴリズム（ＱＭＦ領域における周波数拡張方法）は、ＬＦ ＱＭＦサブバンドを複数のサブ・サブバンドに分解し、これらのサブ・サブバンドをＨＦサブバンドに転位し、得られたＨＦサブバンドを組み合わせてＨＦスペクトラムを生成する。つまり、前記高次生成ステップは、帯域通過させたパッチにおける各ＱＭＦサブバンドを複数のサブ・サブバンドに分ける分解ステップと、前記複数のサブ・サブバンドを複数の高周波ＱＭＦサブバンドにマッピングするマッピングステップと、前記複数のサブ・サブバンドのマッピング結果を組み合わせる組み合わせステップとを含む。
【０１５１】
なお、分解ステップは、後述するステップ１（９０１〜９０３）に対応し、マッピングステップは後述するステップ２および３（９０４〜９０９）に対応し、組み合わせステップは後述するステップ４（９１０）に対応する。
【０１５２】
図１５は、このようなＱＭＦベースのピッチシフトアルゴリズムを示す図である。第２次パッチの帯域通過させたスペクトラムが与えられると、第ｔ次（ｔ＞２）パッチのＨＦスペクトラムは、以下の手順で再構築することができる。１）当該ＬＦスペクトラム、つまりＬＦスペクトラム内の各ＱＭＦサブバンドを複数のＱＭＦサブ・サブバンドに分解し（ステップ１：９０１〜９０３）、２）これらのサブ・サブバンドの中心周波数を係数ｔ／２でスケーリングし（ステップ２：９０４〜９０６）、３）これらのサブ・サブバンドをＨＦサブバンドにマッピングし（ステップ３：９０７〜９０９）、４）すべてのマッピングされたサブ・サブバンドを合算して、ＨＦサブバンドを形成する（ステップ４：９１０）。
【０１５３】
ステップ１について、よりよい周波数分解能を得るためにＱＭＦサブバンドを複数のサブ・サブバンドに分解するために利用できる方法はいくつかある。たとえば、ＭＰＥＧサラウンドのコーデックにおいて採用されている、いわゆるＭｔｈバンドフィルタなどがある。本発明の好ましい実施形態において、サブバンドの分解は、以下の（式１２）によって定義される、追加の１組の指数変調フィルタバンクを適用することにより実現される。
【０１５４】
【数１２】
【０１５５】
ここで、ｑ＝−Ｑ、−Ｑ＋１、・・・、０、１、・・・、Ｑ−１であり、ｎ＝０、１、・・・Ｎである。（式中、ｎ０は整数定数であり、Ｎはフィルタバンクの次数である。）
【０１５６】
上記のフィルタバンクを採用することにより、あるサブバンド信号、たとえばｋ番目のサブバンド信号ｘ（ｎ、ｋ）が、以下の（式１３）に示すように２Ｑ個のサブ・サブバンド信号に分解される。
【０１５７】
【数１３】
【０１５８】
ここで、ｑ＝−Ｑ、−Ｑ＋１、・・・、０、１、・・・、Ｑ−１である。（式１３）中、「ｃｏｎｖ（．）」は、畳み込み関数を示す。
【０１５９】
このような追加の複素変換を行うと、１つのサブバンドの周波数スペクトラムは、さらに２Ｑ個のサブ周波数スペクトラムに分けられる。周波数分解能の観点から、ＱＭＦ変換にＭ個の帯域が存在する場合、これに関連付けられたサブバンド周波数分解能は、π／Ｍであり、このサブ・サブバンド周波数分解能は、π／（２Ｑ・Ｍ）に精細化される。また、以下の（式１４）に示す全体の系は、時不変であり、つまり、ダウンサンプリングおよびアップサンプリングを用いても、エイリアシングが起こることはない。
【０１６０】
【数１４】
【０１６１】
なお、上記の追加のフィルタバンクが奇数でスタックされており（係数ｑ＋０．５）、これは、直流値を中心とするサブ・サブバンドがないということを意味する。より正確に言うと、Ｑが偶数の場合、サブ・サブバンドの中心周波数は、ゼロを中心に対称に分布する。
【０１６２】
図１６は、サブ・サブバンドスペクトル分布を示す図である。具体的には、この図１６は、Ｑ＝６の場合における、上記フィルタバンクのスペクトル分布を示す。奇数でスタックする目的は、後のサブ・サブバンドの組み合わせを容易にすることである。
【０１６３】
ステップ２について、中心周波数のスケーリングは、複素ＱＭＦ変換のオーバーサンプリングする特徴を考慮することにより、簡略化することができる。
【０１６４】
なお、複素ＱＭＦ領域において、隣接するサブバンドの通過帯域が互いに重なり合うため、重なり合う範囲における周波数成分は、両方のサブバンドに現れる（特許文献：ＷＯ２００６０４８８１４参照）。
【０１６５】
その結果、周波数スケーリングは、これらの通過帯域に存在するサブ・サブバンドに対してのみ周波数を算出することによって、演算量を半減させることが可能である。つまり、偶数のサブバンドに対しては正の周波数部分のみ、または奇数のサブバンドに対しては、負の周波数部分のみを算出する。
【０１６６】
さらに詳細には、ｋＬＦ番目のサブバンドが２Ｑ個のサブ・サブバンドに分けられる。つまり、ｘ（ｎ，ｋＬＦ）が以下の（式１５）に分けられる。
【０１６７】
【数１５】
【０１６８】
その後、第ｔ次のパッチを生成するために、これらのサブ・サブバンドの中心周波数が以下の（式１６）によりスケーリングされる。
【０１６９】
【数１６】
【０１７０】
ｋＬＦが奇数の場合ｑ＝−Ｑ、−Ｑ＋１、・・・、−１であり、ｋＬＦが偶数の場合、ｑ＝０、１、・・・、Ｑ−１である。
【０１７１】
ステップ３について、サブ・サブバンドをＨＦサブバンドにマッピングするために、複素ＱＭＦ変換の特徴を考慮する必要もある。本実施の形態では、このようなマッピング処理が２つのステップで行われる。第１のステップは、通過帯域上のすべてのサブ・サブバンドをＨＦサブバンドに単純にマッピングし、第２のステップは、上記マッピング結果に基づき、阻止帯域上のすべてのサブ・サブバンドをＨＦサブバンドにマッピングする。つまり、前記マッピングステップは、ＱＭＦサブバンドの前記複数のサブ・サブバンドを阻止帯域部分と通過帯域部分とに分割する分割ステップと、前記通過帯域部分上の複数のサブ・サブバンドの転位された中心周波数を、パッチの次数に依存する係数で算出する周波数算出ステップと、前記通過帯域部分上の複数のサブ・サブバンドを、前記中心周波数に応じて複数の高周波ＱＭＦサブバンドにマッピングする第１のマッピングステップと、前記阻止帯域部分上の複数のサブ・サブバンドを、前記通過帯域部分上の複数のサブ・サブバンドに応じて高周波ＱＭＦサブバンドにマッピングする第２のマッピングステップとを含む。
【０１７２】
上記の点を理解するために、同じ信号成分の一対の正周波数と負周波数との間にどのような関係が存在するのか、およびこれらに関連付けられたサブバンド指数を検討することが有益である。
【０１７３】
上述したように、複素ＱＭＦ領域において、正弦波スペクトラムは、正周波数および負周波数をどちらも有している。つまり、正弦波スペクトラムは、それらのうちの一方の周波数を１つのＱＭＦサブバンドの通過帯域に有し、他方の周波数を隣接するサブバンドの阻止帯域に有する。ＱＭＦ変換が奇数スタック変換であることを考慮すると、そのような信号成分対を図１７に示すことができる。
【０１７４】
図１７は、複素ＱＭＦ領域における、正弦波のための通過帯域成分と阻止帯域成分との間の関係を示す図である。
【０１７５】
ここにおいて、灰色の領域はサブバンドの阻止帯域を示す。サブバンドの通過帯域上の任意の正弦波信号（実線で示す）について、このエイリアシング部分（破線で示す）が隣接するサブバンドの阻止帯域に位置する（対になった２つの周波数成分が双頭矢印によって関連付けられている）。
【０１７６】
正弦波信号は、以下の（式１７）に示す周波数ｆ０を有する。
【０１７７】
【数１７】
【０１７８】
上記周波数ｆ０を有する正弦波信号について、この通過帯域成分は、以下の（式１８）を満たす場合、ｋ番目のサブバンドに存在する。
【０１７９】
【数１８】
【０１８０】
さらに、その阻止帯域成分は、以下の（式１９）を満たすｋ~番目のサブバンドに存在する。
【０１８１】
【数１９】
【０１８２】
サブバンドが２Ｑ個のサブ・サブバンドに分解される場合、上記の関係は、より高い周波数分解能を用いて、以下の（式２０）に示すように詳細に示される。
【０１８３】
【数２０】
【０１８４】
したがって、本実施形態において、阻止帯域上のサブ・サブバンドをＨＦサブバンドにマッピングするためには、通過帯域上のサブ・サブバンドのマッピング結果に関連付ける必要がある。このような処理に対する動機は、ＨＦ成分に上方向にシフトされた場合でも、ＬＦ成分の周波数対を対のまま維持することである。
【０１８５】
このため、まず、通過帯域上のサブ・サブバンドをＨＦサブバンドにマッピングすることは、明らかなことである。スケーリングされたサブ・サブバンドの周波数の中心周波数と、ＱＭＦ変換の周波数分解能とを考慮すると、マッピング関数はｍ（ｋ，ｑ）によって以下の（式２１）のように示される。
【０１８６】
【数２１】
【０１８７】
ｋＬＦが奇数である場合、ｑ＝−Ｑ、−Ｑ＋１、・・・、−１であり、ｋＬＦが偶数である場合、ｑ＝０、１、・・・、Ｑ−１である。ここで、以下の（式２２）に示す関数は、負の無限大に最も近いｘの整数を求めるための丸め処理を示す。
【０１８８】
【数２２】
【０１８９】
また、上方向スケーリングにより（ｔ／２＞１）、１つのＨＦサブバンドが複数のサブ・サブバンドマッピングソースを有することが可能である。すなわち、ｍ（ｋ，ｑ１）＝ｍ（ｋ，ｑ２）、または、ｍ（ｋ１，ｑ１）＝ｍ（ｋ２，ｑ２）とすることが可能である。したがって、ＨＦサブバンドは、以下の（式２３）に示すように、ＬＦサブバンドのサブ・サブバンドを複数組み合わせたものとすることができる。
【０１９０】
【数２３】
【０１９１】
ｋＬＦが奇数である場合、ｑ＝−Ｑ、−Ｑ＋１、・・・、−１であり、ｋＬＦが偶数である場合、ｑ＝０、１、・・・、Ｑ−１である。
【０１９２】
次に、周波数対およびサブバンド指数との上記関係を受け、阻止帯域上のサブ・サブバンドのマッピング関数は、以下のように確立することができる。
【０１９３】
ＬＦサブバンドｋＬＦを考慮すると、サブ・サブバンドの通過帯域上のマッピング関数は、以下のように、第１のステップによりすでに決定されている。ｋＬＦが奇数の場合、ｍ（ｋＬＦ，−Ｑ）、ｍ（ｋＬＦ，−Ｑ＋１）、・・・、ｍ（ｋＬＦ，−１）であり、かつｋＬＦが偶数の場合、ｍ（ｋＬＦ，０）、ｍ（ｋＬＦ，１）、・・・、ｍ（ｋＬＦ，Ｑ−１）であり、阻止帯域部分に関連付けられた通過帯域は、以下の（式２４）によりマッピングすることができる。
【０１９４】
【数２４】
【０１９５】
「条件ａ」は、ｋＬＦが偶数で、かつ以下の（式２５）が偶数である場合、またはｋＬＦが奇数で、かつ以下の（式２６）が偶数である場合のいずれかを示す。
【０１９６】
【数２５】
【０１９７】
【数２６】
【０１９８】
また、上述のように、以下の（式２７）は、負の無限大に最も近いｘの整数を求めるための丸め処理を示す。
【０１９９】
【数２７】
【０２００】
得られたＨＦサブバンドは、以下の（式２８）に示すように、関連付けられたすべてのＬＦサブ・サブバンドの組み合わせである。
【０２０１】
【数２８】
【０２０２】
ｋＬＦが偶数である場合、ｑ＝−Ｑ、−Ｑ＋１、・・・、−１であり、ｋＬＦが奇数の場合、ｑ＝０、１、・・・、Ｑ−１である。
【０２０３】
最後に、通過帯域および阻止帯域のすべてのマッピング結果を組み合わせることで、以下の（式２９）に示すように、ＨＦサブバンドを形成する。
【０２０４】
【数２９】
【０２０５】
なお、ＱＭＦ領域における上記のピッチシフト方法は、高周波の品質低下および処理過程で生じうる問題のどちらに対しても有益である。
【０２０６】
まず、すべてのパッチが同じ最小の伸張係数を有するようになり、これにより（時間伸張の際に生成される誤信号成分によって起こる）高周波のノイズが低減される。次に、一過性の劣化の寄与原因がすべて回避される。つまり、時間領域の再サンプリング処理が行われないということである。すなわち、同じ伸張係数がすべてのパッチに対して用いられ、これにより位置合わせのずれが起こる可能性が本質的に排除される。
【０２０７】
さらに、本実施の形態には、周波数分解能においていくつか欠点があることにも留意すべきである。サブ・サブバンドのフィルタリングを採用することにより、周波数分解能がπ／Ｍからπ／（２Ｑ・Ｍ）に上げられたが、時間領域再サンプリングの高い周波数分解能（π／Ｌ）よりも依然として低い。しかしながら、人間の耳は、高周波信号成分に対して敏感ではないことを考慮すると、本実施の形態によって得られたピッチシフト結果は、再サンプリング方法によって得られたものと、知覚的に何ら変わりのないものであると証明される。
【０２０８】
上記とは別に、実施の形態１のＨＢＥ方式と比較して、本実施の形態のＨＢＥ方式は、１つの低次パッチのみ時間伸張処理が必要であるため、演算量が低減されるという追加の利点も得られる。
【０２０９】
この場合もまた、演算量の低減は、変換から寄与する演算量を考慮することのみにより、大まかに分析することが可能である。
【０２１０】
上記の演算量の分析における仮定を受けて、本実施の形態のＨＦスペクトルジェネレータに伴う変換演算量は、以下のように概算される。
【０２１１】
【数３０】
【０２１２】
したがって、表１は以下のように更新される。
【０２１３】
【表２】
【０２１４】
本発明は、低ビットレートのオーディオ符号化のための新たなＨＢＥ技術である。この技術を用いると、ＱＭＦ領域でＬＦ部分の時間伸張および周波数拡張を行うことで広帯域信号のＨＦ部分を生成することにより、広帯域信号を低周波数帯域信号に基づき再構築することが可能である。先行技術のＨＢＥ技術と比較すると、本発明によって、同等の音質が得られ、かつ演算量が大幅に低減される。このような技術は、携帯電話やテレビ会議などの、オーディオコーデックが低演算量かつ低ビットレートで動作するアプリケーション等に導入することができる。
【０２１５】
なお、ブロック図（図６、７、１３、１４など）の各機能ブロックは典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。
【０２１６】
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０２１７】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
【０２１８】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。
【０２１９】
また、各機能ブロックのうち、符号化または復号化の対象となるデータを格納する手段だけ１チップ化せずに別構成としても良い。
【産業上の利用可能性】
【０２２０】
本発明は、低ビットレートオーディオ符号化のための新たなハーモニクス帯域拡張（ＨＢＥ）技術に関する。この技術を用いると、ＱＭＦ領域で低周波（ＬＦ）部分の時間伸張および周波数拡張を行うことで広帯域信号の高周波（ＨＦ）部分を生成することにより、広帯域信号を低周波帯域信号に基づき再構築することが可能である。先行技術のＨＢＥ技術と比較すると、本発明によって同等の音質が得られ、かつ演算量が大幅に低減される。このような技術は、携帯電話やテレビ会議などの、オーディオコーデックが低演算量かつ低ビットレートで動作するアプリケーション等に導入することができる。
【符号の説明】
【０２２１】
５０１〜５０３，６０２，６０４，６０５ 帯域通過部
５０４〜５０６ サンプリング部
５０７〜５０９，６０１，１４０４，１５０３ ＱＭＦ変換部
５１０〜５１２，６０３ フェーズボコーダ
５１３〜５１５，６０８〜６１０，１４０７，１５０５，１５０９ 遅延調整部
５１６，６１１，１４１０，１５１１，１５１２ 加算部
６０６，６０７ 周波数拡張部
１４０１，１５０１ 逆多重化部
１４０２，１５０２ 復号部
１４０３ 時間再サンプリング部
１４０５，１５０４ 時間伸張部
１４０６，１５０８ Ｔ−Ｆ変換部
１４０８，１５０７ ＨＦ後処理部
１４０９，１５１０ 逆Ｔ−Ｆ変換部
１５０６ ピッチシフト部
【特許請求の範囲】
【請求項１】
低周波数帯域信号から全帯域信号を生成する帯域拡張方法であって、
前記低周波数帯域信号を直交ミラーフィルタバンク（ＱＭＦ）領域に変換することによって、第１の低周波ＱＭＦスペクトラムを生成する第１の変換ステップと、
前記低周波数帯域信号に互いに異なるシフト係数を適用することにより、ピッチシフトさせた複数個の信号を生成するピッチシフトステップと、
ピッチシフトさせた前記複数個の信号をＱＭＦ領域で時間伸張することにより、高周波ＱＭＦスペクトラムを生成する高周波生成ステップと、
高周波エネルギーおよび音調の条件を満たすように、前記高周波ＱＭＦスペクトラムを修正するスペクトラム修正ステップと、
修正された前記高周波ＱＭＦスペクトラムと、前記第１の低周波ＱＭＦスペクトラムとを組み合わせることによって前記全帯域信号を生成する全帯域生成ステップと
を含む帯域拡張方法。
【請求項２】
前記高周波生成ステップは、
ピッチシフトさせた前記複数個の信号をＱＭＦ領域に変換することによって複数個のＱＭＦスペクトルを生成する第２の変換ステップと、
前記複数個のＱＭＦスペクトルを互いに異なる複数の伸張係数で時間次元方向に伸張することによって複数個のハーモニクスパッチを生成するハーモニクスパッチ生成ステップと、
前記複数個のハーモニクスパッチを時間調整する調整ステップと、
時間調整された前記ハーモニクスパッチを合算する合算ステップとを含む
請求項１に記載の帯域拡張方法。
【請求項３】
前記ハーモニクスパッチ生成ステップは、
前記ＱＭＦスペクトラムの振幅および位相を算出する算出ステップと、
前記位相を操作することによって新たな位相を生成する位相操作ステップと、
前記振幅と前記新たな位相とを組み合わせることによって、新たなＱＭＦ係数の組を生成するＱＭＦ係数生成ステップとを含む
請求項２に記載の帯域拡張方法。
【請求項４】
前記位相操作ステップでは、ＱＭＦ係数の組全体の元の位相に基づいて前記新たな位相を生成する
請求項３に記載の帯域拡張方法。
【請求項５】
前記位相操作ステップでは、ＱＭＦ係数の組に対して操作を繰り返し行い、
前記ＱＭＦ係数生成ステップでは、複数の前記新たなＱＭＦ係数の組を生成する
請求項３または４に記載の帯域拡張方法。
【請求項６】
前記位相操作ステップでは、ＱＭＦサブバンド指標に依存して異なる操作を行う
請求項３、４、または５に記載の帯域拡張方法。
【請求項７】
前記ＱＭＦ係数生成ステップでは、複数の前記新たなＱＭＦ係数の組をオーバーラップ加算することで、時間伸張したオーディオ信号に対応するＱＭＦ係数を生成する
請求項５に記載の帯域拡張方法。
【請求項８】
低周波数帯域信号から全帯域信号を生成する帯域拡張装置であって、
前記低周波数帯域信号を直交ミラーフィルタバンク（ＱＭＦ）領域に変換することによって、第１の低周波ＱＭＦスペクトラムを生成する第１の変換部と、
前記低周波数帯域信号に互いに異なるシフト係数を適用することにより、ピッチシフトさせた複数個の信号を生成するピッチシフト部と、
ピッチシフトさせた前記複数個の信号をＱＭＦ領域で時間伸張することにより、高周波ＱＭＦスペクトラムを生成する高周波生成部と、
高周波エネルギーおよび音調の条件を満たすように、前記高周波ＱＭＦスペクトラムを修正するスペクトラム修正部と、
修正された前記高周波ＱＭＦスペクトラムと、前記第１の低周波ＱＭＦスペクトラムとを組み合わせることによって前記全帯域信号を生成する全帯域生成部と
を備える帯域拡張装置。
【請求項９】
低周波数帯域信号から全帯域信号を生成するためのプログラムであって、
前記低周波数帯域信号を直交ミラーフィルタバンク（ＱＭＦ）領域に変換することによって、第１の低周波ＱＭＦスペクトラムを生成する第１の変換ステップと、
前記低周波数帯域信号に互いに異なるシフト係数を適用することにより、ピッチシフトさせた複数個の信号を生成するピッチシフトステップと、
ピッチシフトさせた前記複数個の信号をＱＭＦ領域で時間伸張することにより、高周波ＱＭＦスペクトラムを生成する高周波生成ステップと、
高周波エネルギーおよび音調の条件を満たすように、前記高周波ＱＭＦスペクトラムを修正するスペクトラム修正ステップと、
修正された前記高周波ＱＭＦスペクトラムと、前記第１の低周波ＱＭＦスペクトラムとを組み合わせることによって前記全帯域信号を生成する全帯域生成ステップと
をコンピュータに実行させるプログラム。
【請求項１０】
低周波数帯域信号から全帯域信号を生成する集積回路であって、
前記低周波数帯域信号を直交ミラーフィルタバンク（ＱＭＦ）領域に変換することによって、第１の低周波ＱＭＦスペクトラムを生成する第１の変換部と、
前記低周波数帯域信号に互いに異なるシフト係数を適用することにより、ピッチシフトさせた複数個の信号を生成するピッチシフト部と、
ピッチシフトさせた前記複数個の信号をＱＭＦ領域で時間伸張することにより、高周波ＱＭＦスペクトラムを生成する高周波生成部と、
高周波エネルギーおよび音調の条件を満たすように、前記高周波ＱＭＦスペクトラムを修正するスペクトラム修正部と、
修正された前記高周波ＱＭＦスペクトラムと、前記第１の低周波ＱＭＦスペクトラムとを組み合わせることによって前記全帯域信号を生成する全帯域生成部と
を備える集積回路。
【請求項１１】
符号化情報から、符号化された低周波数帯域信号を分離する分離部と、
前記符号化された低周波数帯域信号を復号化する復号部と、
前記復号部による復号化によって生成された低周波数帯域信号を直交ミラーフィルタバンク（ＱＭＦ）領域に変換することによって、低周波ＱＭＦスペクトラムを生成する変換部と、
生成された前記低周波数帯域信号に互いに異なるシフト係数を適用することにより、ピッチシフトさせた複数個の信号を生成するピッチシフト部と、
ピッチシフトさせた前記複数個の信号をＱＭＦ領域で時間伸張することにより、高周波ＱＭＦスペクトラムを生成する高周波生成部と、
高周波エネルギーおよび音調の条件を満たすように、前記高周波ＱＭＦスペクトラムを修正するスペクトラム修正部と、
修正された前記高周波ＱＭＦスペクトラムと、前記低周波ＱＭＦスペクトラムとを組み合わせることによって全帯域信号を生成する全帯域生成部と、
前記全帯域信号を直交ミラーフィルターバンク（ＱＭＦ）領域の信号から時間領域の信号に変換する逆変換部と
を備えるオーディオ復号装置。
【請求項１】
低周波数帯域信号から全帯域信号を生成する帯域拡張方法であって、
前記低周波数帯域信号を直交ミラーフィルタバンク（ＱＭＦ）領域に変換することによって、第１の低周波ＱＭＦスペクトラムを生成する第１の変換ステップと、
前記低周波数帯域信号に互いに異なるシフト係数を適用することにより、ピッチシフトさせた複数個の信号を生成するピッチシフトステップと、
ピッチシフトさせた前記複数個の信号をＱＭＦ領域で時間伸張することにより、高周波ＱＭＦスペクトラムを生成する高周波生成ステップと、
高周波エネルギーおよび音調の条件を満たすように、前記高周波ＱＭＦスペクトラムを修正するスペクトラム修正ステップと、
修正された前記高周波ＱＭＦスペクトラムと、前記第１の低周波ＱＭＦスペクトラムとを組み合わせることによって前記全帯域信号を生成する全帯域生成ステップと
を含む帯域拡張方法。
【請求項２】
前記高周波生成ステップは、
ピッチシフトさせた前記複数個の信号をＱＭＦ領域に変換することによって複数個のＱＭＦスペクトルを生成する第２の変換ステップと、
前記複数個のＱＭＦスペクトルを互いに異なる複数の伸張係数で時間次元方向に伸張することによって複数個のハーモニクスパッチを生成するハーモニクスパッチ生成ステップと、
前記複数個のハーモニクスパッチを時間調整する調整ステップと、
時間調整された前記ハーモニクスパッチを合算する合算ステップとを含む
請求項１に記載の帯域拡張方法。
【請求項３】
前記ハーモニクスパッチ生成ステップは、
前記ＱＭＦスペクトラムの振幅および位相を算出する算出ステップと、
前記位相を操作することによって新たな位相を生成する位相操作ステップと、
前記振幅と前記新たな位相とを組み合わせることによって、新たなＱＭＦ係数の組を生成するＱＭＦ係数生成ステップとを含む
請求項２に記載の帯域拡張方法。
【請求項４】
前記位相操作ステップでは、ＱＭＦ係数の組全体の元の位相に基づいて前記新たな位相を生成する
請求項３に記載の帯域拡張方法。
【請求項５】
前記位相操作ステップでは、ＱＭＦ係数の組に対して操作を繰り返し行い、
前記ＱＭＦ係数生成ステップでは、複数の前記新たなＱＭＦ係数の組を生成する
請求項３または４に記載の帯域拡張方法。
【請求項６】
前記位相操作ステップでは、ＱＭＦサブバンド指標に依存して異なる操作を行う
請求項３、４、または５に記載の帯域拡張方法。
【請求項７】
前記ＱＭＦ係数生成ステップでは、複数の前記新たなＱＭＦ係数の組をオーバーラップ加算することで、時間伸張したオーディオ信号に対応するＱＭＦ係数を生成する
請求項５に記載の帯域拡張方法。
【請求項８】
低周波数帯域信号から全帯域信号を生成する帯域拡張装置であって、
前記低周波数帯域信号を直交ミラーフィルタバンク（ＱＭＦ）領域に変換することによって、第１の低周波ＱＭＦスペクトラムを生成する第１の変換部と、
前記低周波数帯域信号に互いに異なるシフト係数を適用することにより、ピッチシフトさせた複数個の信号を生成するピッチシフト部と、
ピッチシフトさせた前記複数個の信号をＱＭＦ領域で時間伸張することにより、高周波ＱＭＦスペクトラムを生成する高周波生成部と、
高周波エネルギーおよび音調の条件を満たすように、前記高周波ＱＭＦスペクトラムを修正するスペクトラム修正部と、
修正された前記高周波ＱＭＦスペクトラムと、前記第１の低周波ＱＭＦスペクトラムとを組み合わせることによって前記全帯域信号を生成する全帯域生成部と
を備える帯域拡張装置。
【請求項９】
低周波数帯域信号から全帯域信号を生成するためのプログラムであって、
前記低周波数帯域信号を直交ミラーフィルタバンク（ＱＭＦ）領域に変換することによって、第１の低周波ＱＭＦスペクトラムを生成する第１の変換ステップと、
前記低周波数帯域信号に互いに異なるシフト係数を適用することにより、ピッチシフトさせた複数個の信号を生成するピッチシフトステップと、
ピッチシフトさせた前記複数個の信号をＱＭＦ領域で時間伸張することにより、高周波ＱＭＦスペクトラムを生成する高周波生成ステップと、
高周波エネルギーおよび音調の条件を満たすように、前記高周波ＱＭＦスペクトラムを修正するスペクトラム修正ステップと、
修正された前記高周波ＱＭＦスペクトラムと、前記第１の低周波ＱＭＦスペクトラムとを組み合わせることによって前記全帯域信号を生成する全帯域生成ステップと
をコンピュータに実行させるプログラム。
【請求項１０】
低周波数帯域信号から全帯域信号を生成する集積回路であって、
前記低周波数帯域信号を直交ミラーフィルタバンク（ＱＭＦ）領域に変換することによって、第１の低周波ＱＭＦスペクトラムを生成する第１の変換部と、
前記低周波数帯域信号に互いに異なるシフト係数を適用することにより、ピッチシフトさせた複数個の信号を生成するピッチシフト部と、
ピッチシフトさせた前記複数個の信号をＱＭＦ領域で時間伸張することにより、高周波ＱＭＦスペクトラムを生成する高周波生成部と、
高周波エネルギーおよび音調の条件を満たすように、前記高周波ＱＭＦスペクトラムを修正するスペクトラム修正部と、
修正された前記高周波ＱＭＦスペクトラムと、前記第１の低周波ＱＭＦスペクトラムとを組み合わせることによって前記全帯域信号を生成する全帯域生成部と
を備える集積回路。
【請求項１１】
符号化情報から、符号化された低周波数帯域信号を分離する分離部と、
前記符号化された低周波数帯域信号を復号化する復号部と、
前記復号部による復号化によって生成された低周波数帯域信号を直交ミラーフィルタバンク（ＱＭＦ）領域に変換することによって、低周波ＱＭＦスペクトラムを生成する変換部と、
生成された前記低周波数帯域信号に互いに異なるシフト係数を適用することにより、ピッチシフトさせた複数個の信号を生成するピッチシフト部と、
ピッチシフトさせた前記複数個の信号をＱＭＦ領域で時間伸張することにより、高周波ＱＭＦスペクトラムを生成する高周波生成部と、
高周波エネルギーおよび音調の条件を満たすように、前記高周波ＱＭＦスペクトラムを修正するスペクトラム修正部と、
修正された前記高周波ＱＭＦスペクトラムと、前記低周波ＱＭＦスペクトラムとを組み合わせることによって全帯域信号を生成する全帯域生成部と、
前記全帯域信号を直交ミラーフィルターバンク（ＱＭＦ）領域の信号から時間領域の信号に変換する逆変換部と
を備えるオーディオ復号装置。
【図１】
【図２】
【図３Ａ】
【図３Ｂ】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３Ａ】
【図３Ｂ】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１３−８４０１８（Ｐ２０１３−８４０１８Ａ）
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願番号】特願２０１３−２８２７２（Ｐ２０１３−２８２７２）
【出願日】平成２５年２月１５日（２０１３．２．１５）
【分割の表示】特願２０１１−５４４７２８（Ｐ２０１１−５４４７２８）の分割
【原出願日】平成２３年６月６日（２０１１．６．６）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願日】平成２５年２月１５日（２０１３．２．１５）
【分割の表示】特願２０１１−５４４７２８（Ｐ２０１１−５４４７２８）の分割
【原出願日】平成２３年６月６日（２０１１．６．６）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
[ Back to top ]