説明

主成分分析に基づくマルチチャネルオーディオ信号の段階的な符号化のための装置および方法

本発明は、オーディオ信号の少なくとも2つのチャネル(L、R)の、主成分、および変換パラメータ(θ)による回転によって定義される少なくとも1つの残留副成分(r)への、主成分分析(PCA)による変換を含む、マルチチャネルオーディオ信号の段階的な符号化のためのシステムおよび方法に関し、前記少なくとも1つの残留副成分(r)から、周波数サブバンド毎に残留構造(Sfr)を形成するステップと、前記主成分(CP)、周波数サブバンドのうちの少なくとも1つの残留構造(Sfr)、および前記変換パラメータ(θ)を含む、符号化されたオーディオ信号(SC)を定義するステップとを含む。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、様々な伝送網における様々なビットレートでのデジタルオーディオ伝送のための、マルチチャネルオーディオ信号の主成分分析による符号化の分野に関する。より詳細には、本発明は、ビットレートベースの段階的な(スケーラブルとしても知られている)符号化が、伝送網の制約条件に適合し、または可変型品質のオーディオ演奏を可能にすることを目的としている。
【背景技術】
【0002】
マルチチャネルオーディオ信号の符号化の枠組みの中で、2つの手法が特に知られており、また使用されている。
【0003】
第1のより古い手法は、伝送すべき信号の数を低減させるために、元のマルチチャネル信号の各チャネルをマトリクス化することにある。一例として、Dolby(登録商標)Pro Logic(登録商標)IIマルチチャネルオーディオ符号化法は、5.1信号の6つのチャネルを、伝送すべき2つの信号にマトリクス化する。元の6つのチャネルをもっともよく再現するために、いくつかのタイプの復号化を実行することができる。
【0004】
パラメトリックオーディオ符号化と呼ばれる第2の手法は、聴取者の空間認知を再構成するために空間パラメータを抽出することに基づく。この手法は、主として「バイノーラルキューコーディング」(BCC)と呼ばれる方法に基づいており、この方法は、一方では音の定位のインデックスを抽出し符号化することを目的とし、他方では元のマルチチャネル信号のマトリクス化から生じるモノラルまたはステレオ信号を符号化することを目的とする。
【0005】
さらに、「主成分分析」(PCA)と呼ばれる手順に基づく、上記2つの手法を混成した手法が存在する。具体的には、PCAは、符号化すべきマルチチャネル信号の各チャネルを、動的にマトリクス化することと考えることができる。より正確には、PCAは、少なくともステレオの場合において、その角度が支配的な音源の空間位置に対応するデータの回転によって得られる。この変換はさらに、多成分信号の各成分のエネルギーを圧縮することを可能にする最適な非相関性手順であるとみなされる。文書、国際公開第03/085643号および第03/085645号パンフレットには、例示的なPCAベースのステレオオーディオ符号化が開示されている。
【0006】
具体的には、図11は、上記の従来技術によるPCAベースのステレオ符号化のためのエンコーダ109を説明する概略図である。
【0007】
このエンコーダ109は、チャネルLおよびRを含む元のステレオ信号のPCAから生じる各成分の適応フィルタリングを実行する。
【0008】
エンコーダは、回転手段102、PCA手段104、予測フィルタリング手段106、減算手段108、乗算手段110、加算手段112、第1および第2のオーディオ符号化手段129aおよび129bを備える。
【0009】
回転手段102は、角度aに従ってチャネルLおよびRの回転を実行し、したがって、主成分yおよび残留成分rを定義する。角度aは、主成分yが残留成分rのエネルギーよりも高いエネルギーを示すように、PCA手段104によって決定される。
【0010】
乗算手段110は、残留成分rにスカラYを乗算する。乗算の結果rYは、加算手段112により、主成分yに加えられる。加算の結果rY+yは、予測フィルタリング手段106に入力される。
【0011】
予測フィルタリング手段106を定義するフィルタリングパラメータFpは、第2の符号化手段129bによって符号化されて、符号化されたフィルタリングパラメータFpeを生成する。
【0012】
さらに、加算の結果rY+yはまた、第1の符号化手段129aによって符号化されて、符号化された主成分yeを生成する。
【0013】
したがって、この手順は、これらのフィルタリング手段が、エネルギーがもっとも大きい主成分yに基づいてPCAから生じる残留成分rの推定値を生成することができるように、予測フィルタリング手段のパラメータを決定することにある。
【0014】
図12は、図11のエンコーダによって符号化されたステレオ信号を復号化するためのデコーダ115を説明する概略図である。
【0015】
デコーダ115は、第1および第2の復号化手段141aおよび141b、フィルタリング手段120、逆回転手段118、ならびに、加算および乗算手段122aおよび122bを備える。
【0016】
次いで、デコーダ115は、第1の復号化手段141aによって主成分y'eを復号化して、復号化された主成分y'を形成し、次いで、フィルタリングパラメータFpに基づいて、フィルタリング手段120によってy'のフィルタリングを実行することによって、フィルタリングされた残留成分r'を得ることにより、逆演算を実行する。
【0017】
乗算手段122bは、フィルタリングされた残留成分r'にスカラYを乗算して、積r'Yを形成する。加算手段122aは、復号化された主成分y'からr'Yを減算することを可能にする。
【0018】
逆回転手段118は、回転の角度aの関数として、逆回転行列を信号y'およびr'に加えて、復号化されたステレオ信号のチャネルL'およびR'を生成する。
【0019】
しかし、従来技術に従って実行されるPCAは、伝送網の制約条件に適合せず、符号化すべき信号を詳細に特性づけることが不可能である。
【特許文献1】国際公開第03/085643号パンフレット
【特許文献2】国際公開第03/085645号パンフレット
【発明の開示】
【課題を解決するための手段】
【0020】
本発明は、変換パラメータによって定義される回転により、前記オーディオ信号の少なくとも2つのチャネルを、主成分および少なくとも1つの残留副成分に主成分分析変換するステップを含む、マルチチャネルオーディオ信号のスケーラブルな符号化法に関し、
- 前記少なくとも1つの残留副成分に基づいて、周波数サブバンドベースの残留構造を形成するステップと、
- 前記主成分、周波数サブバンドの少なくとも1つの残留構造、および前記変換パラメータを含む符号化オーディオ信号を定義するステップとを含むことを特徴とする。
【0021】
したがって、オーディオ符号化は、ビットレートで段階的に分けられる。これにより、元の信号のほぼ完全な再現に近づけることが可能になる。具体的には、高ビットレートを使用すると、再現された信号は、元の信号に知覚的により近くなることがある。
【0022】
有利には、この方法は、前記少なくとも1つの残留副成分の関数として、少なくとも1つのエネルギーパラメータを形成するステップを含む。
【0023】
前記少なくとも1つのエネルギーパラメータは、前記主成分を分解したものと前記少なくとも1つの残留副成分との間のエネルギー差を、周波数サブバンドベースで抽出することによって形成することができる。
【0024】
一変形形態として、前記少なくとも1つのエネルギーパラメータは、前記少なくとも1つの残留副成分のサブバンドベースのエネルギーに対応する。
【0025】
この方法は、周波数サブバンドの残留構造を形成するために、前記少なくとも1つのエネルギーパラメータの関数として、前記少なくとも1つの残留副成分に加えられる周波数分析を含む。
【0026】
有利には、この方法は、残留構造の伝送における決められた順序を含む。伝送における前記決められた順序は、サブバンドの知覚的順序またはエネルギー判定基準に従って実行することができる。
【0027】
有利には、前記少なくとも1つの残留副成分は、周波数領域での主成分分析に従って実行される周波数残留副成分(A(b))である。
【0028】
したがって、周波数領域での周波数サブバンド毎の主成分分析により、符号化すべき信号をより詳細に特性づけることが可能になる。
【0029】
周波数領域での主成分分析変換は、
- 前記オーディオ信号の前記少なくとも2つのチャネルを、複数の周波数サブバンドに分解するステップと、
- 前記複数の周波数サブバンドの少なくとも一部分の関数として、前記少なくとも1つの変換パラメータを計算するステップと、
- 前記少なくとも1つの変換パラメータの関数として、前記複数の周波数サブバンドの少なくとも一部分を、前記少なくとも1つの周波数残留副成分および少なくとも1つの周波数主要副成分に変換するステップと、
- 前記少なくとも1つの周波数主要副成分に基づいて、前記主成分を形成するステップとを含む。
【0030】
したがって、周波数サブバンド毎に実行されるPCA主成分分析から生じる各信号のエネルギーは、時間領域で実行されるPCAから生じる各信号のエネルギーと比較して、主成分内でより圧縮される。
【0031】
有利には、前記複数の周波数サブバンドは、知覚的な尺度に従って定義される。したがって、この符号化法は、人間聴覚システムの周波数分解能を考慮する。
【0032】
他の実施形態によれば、この方法は、前記少なくとも1つの残留副成分の周波数サブバンドベースの分析を含む。
【0033】
この他の実施形態によれば、前記周波数サブバンドベースの分析は、
- 前記少なくとも1つの残留副成分に短時間フーリエ変換を加えて、少なくとも1つの周波数残留副成分を形成するステップと、
- 周波数ウィンドウモジュールにより、前記少なくとも1つの周波数残留副成分をフィルタリングして、周波数サブバンドの残留構造を得るステップとを含む。
【0034】
有利には、前記符号化されたオーディオ信号は相関値をさらに含むので、この方法は、前記少なくとも2つのチャネル間の相関を分析して、対応する前記相関値を決定するステップを含む。したがって、相関値は、元の信号におけるいかなる残響の存在をも示すことができ、符号化された信号の復号化の質を改善することが可能になる。
【0035】
本発明はまた、上記特性のうちのいずれか1つに従って構成された、符号化されたオーディオ信号を含む受信信号を復号化する方法を目的としており、前記復号化法は、逆主成分分析によって変換して、前記元のマルチチャネルオーディオ信号から生じる前記少なくとも2つのチャネルに対応する少なくとも2つの復号化されたチャネルを形成するステップを含み、この方法は、周波数サブバンドの少なくとも1つの残留構造を復号化して、少なくとも1つの復号化された残留副成分を合成するステップを含むことを特徴とする。
【0036】
第1の実施形態によれば、この復号化法は、
- 符号化されたオーディオ信号を受け取るステップと、
- 復号化された主成分および少なくとも1つの復号化された変換パラメータを抽出するステップと、
- 前記復号化された主成分を、少なくとも1つの復号化された周波数主要副成分に分解するステップと、
- 前記少なくとも1つの復号化された主要副成分および前記少なくとも1つの復号化された残留副成分を、復号化された周波数サブバンドに変換するステップと、
- 前記復号化された周波数サブバンドを組み合わせて、前記少なくとも2つの復号化されたチャネルを形成するステップとを含む。
【0037】
第2の実施形態によれば、この復号化法は、
- 符号化されたオーディオ信号を受け取るステップと、
- 復号化された主成分および少なくとも1つの復号化された変換パラメータを抽出するステップと、
- 前記復号化された主成分および前記少なくとも1つの復号化された残留副成分の、前記少なくとも1つの復号化された変換パラメータの関数として、逆主成分分析によって復号化された前記少なくとも2つのチャネルを形成するステップとを含む。
【0038】
本発明はまた、マルチチャネルオーディオ信号のスケーラブルなエンコーダを目的としており、
- 変換パラメータによって定義される回転により、前記オーディオ信号の少なくとも2つのチャネルを、主成分および少なくとも1つの残留副成分に変換する、主成分分析変換に基づく変換手段と、
- 前記少なくとも1つの残留副成分に基づいて、周波数サブバンドベースの残留構造を形成するための構造形成手段と、
- 前記主成分、周波数サブバンドの少なくとも1つの残留構造、および前記変換パラメータを含む符号化されたオーディオ信号を定義するための定義手段とを含む。
【0039】
本発明はまた、上記特性のうちのいずれか1つに従って構成された、符号化されたオーディオ信号を含む受信信号のスケーラブルなデコーダを目的としており、このデコーダは、
- 前記元のマルチチャネルオーディオ信号から生じる前記少なくとも2つのチャネルに対応する、少なくとも2つの復号化されたチャネルを形成するための、逆主成分分析に基づく変換手段と、
- 周波数サブバンドのうちの少なくとも1つの残留構造Sfr(b)を復号化して、少なくとも1つの復号化された残留副成分(r';A'(b))を合成するための周波数合成手段45とを含む。
【0040】
本発明はまた、上記特性によるエンコーダおよびデコーダを備えるシステムを目的としている。
【0041】
本発明はまた、通信ネットワークからダウンロード可能な、かつ/またはコンピュータが読取り可能な媒体に記憶された、かつ/またはマイクロプロセッサが実行可能なコンピュータプログラムを目的としており、コンピュータプログラムが、コンピュータまたはマイクロプロセッサ上で実行されるとき、上記特性のうちの少なくとも1つに従って、符号化法の各ステップを実行するためのプログラムコード命令を含むことを特徴とする。
【0042】
本発明はまた、通信ネットワークからダウンロード可能な、かつ/またはコンピュータが読取り可能な媒体に記憶された、かつ/またはマイクロプロセッサが実行可能なコンピュータプログラムを目的としており、コンピュータプログラムが、コンピュータまたはマイクロプロセッサ上で実行されるとき、上記特性のうちの少なくとも1つに従って、復号化法の各ステップを実行するためのプログラムコード命令を含むことを特徴とする。
【0043】
本発明の他の特徴および利点は、添付の図面を参照しながら、限定されない目安として、以下に示される説明を読むことによって明らかになろう。
【発明を実施するための最良の形態】
【0044】
本発明によれば、図1は、符号化装置3および復号化装置5を備える通信システム1の概略図である。符号化装置3および復号化装置5は、通信ネットワークすなわち回線7により、互いにリンクすることができる。
【0045】
符号化装置3は、マルチチャネルオーディオ信号C1、...、CMを受け取ると、元のマルチチャネルオーディオ信号C1、...、CMを表す符号化されたオーディオ信号SCを生成するエンコーダ9を備える。
【0046】
エンコーダ9は、符号化された信号SCを、通信ネットワーク7を介して復号化装置5に送信するための送信手段11に接続することができる。
【0047】
復号化装置5は、符号化装置3によって送信される符号化された信号SCを受け取るための受信機13を備える。さらに、復号化装置5は、符号化された信号SCを受け取ると、元のマルチチャネルオーディオ信号C1、...、CMに対応する復号化されたオーディオ信号C'1、...、C'Mを生成するデコーダ15を備える。
【0048】
図2は、本発明による、マルチチャネルオーディオ信号のスケーラブルな符号化のためのスケーラブルなエンコーダ9の概略図である。図2はまた、本発明による符号化法の主なステップを示す図であることに留意されよう。
【0049】
エンコーダ9は、主成分分析(PCA)変換手段28、定義手段29、および構造形成手段30を備える。
【0050】
主成分分析(PCA)変換手段28は、変換パラメータまたは回転の角度θによって定義される回転により、マルチチャネルオーディオ信号のうちの少なくとも2つのチャネルLおよびRを、主成分CPおよび少なくとも1つの残留副成分rに変換するものである。
【0051】
構造形成手段30は、前記少なくとも1つの残留副成分rに基づいて、周波数サブバンドベースの残留構造Sfrを形成するものである。
【0052】
さらに、定義手段29は、主成分CP、残留構造Sfrの少なくとも一部分、および前記少なくとも1つの変換パラメータθを含む、符号化されたオーディオ信号SCを定義するものである。
【0053】
したがって、このスケーラブルな符号化は、伝送網7の制約条件への適合を可能にする。この符号化はまた、元の信号に知覚的に近い信号を再現することを可能にする。
【0054】
構造形成手段30は、前記少なくとも1つの残留副成分rの関数として、少なくとも1つのエネルギーパラメータEの形成を可能にする周波数分析手段31を備える。
【0055】
一変形形態として、周波数分析手段31は、主成分CPの分解と1つまたは複数の残留副成分rとの間のエネルギー差の周波数サブバンドベースの抽出により、少なくとも1つのエネルギーパラメータEの形成を可能にする。具体的には、点線矢印は、エネルギーパラメータEが、主成分、より具体的には主成分CPの周波数分解に依存することを示す。
【0056】
さらに、エネルギーパラメータすなわちパラメータEは、1つまたは複数の残留副成分rのサブバンドベースのエネルギーに対応することができる。
【0057】
したがって、周波数分析手段31は、少なくとも1つのエネルギーパラメータEの関数として、少なくとも1つの残留副成分rに周波数分析を加えて、周波数サブバンドベースの残留構造Sfrを形成することを可能にする。
【0058】
したがって、オーディオ信号の詳細残留構造は、周波数帯全体にわたって、このように形成される周波数サブバンドの残留構造からなる。周波数サブバンドの残留構造を示すために、(広範囲の)詳細な残留構造の周波数帯の周波数サブバンドベースの残留構造または他のものに言及することが可能である。
【0059】
有利には、この符号化法は、残留成分または環境に対する符号化ビットレートに関して、スケーラビリティを導入することにより、伝送網7および/または所望のオーディオ再生品質の能力に適合する。
【0060】
したがって、従来のモノラルオーディオ符合器(たとえば、MPEG-1レイアIIIまたはアドバンストオーディオコーディング)を使用して、環境信号の柔軟性のあるオーディオ符号化を実行しながら主成分を送信することが可能である。
【0061】
考慮されている符号化法によれば、復号化時に環境成分rを生成するために使用されるエネルギーパラメータE、変換パラメータθ、またはフィルタリングパラメータは、この環境信号rの詳細な残留構造Sfrを伴う。
【0062】
さらに、この残留構造Sfrの送信は、決められた様々な送信順序に従って実行することができる。
【0063】
一例として、残留構造Sfrの送信は、サブバンドの知覚的な順序に従って、またはエネルギー判定基準に従って、またはサブバンドにおいてPCAから生じる各成分の相関に従って、実行することができる。この順序付けは、これらの判定基準のうちのいくつかの組合せとすることもできる。
【0064】
具体的には、環境成分の(または、複数の環境成分の)詳細な残留構造Sfrの送信順序は、送信すべき情報を優先順位付けするように設定することができる。詳細な残留構造Sfrのうちのある周波数帯は、優先的に送信することができる。したがって、順序付けは、量子化されたスペクトル包絡線の周波数バンドに従って実行することができる。この順序付けは、たとえば、増加する順序に従って、または他の任意の順序に従って、事前に定義することができる。
【0065】
さらに、この符号化法は、2つのチャネルLとRの間の相関を分析して、対応する相関値cを決定するステップを含むことができる。したがって、符号化されたオーディオ信号SCもまた、この相関値cを含むことができる。
【0066】
図3は、図2の符号化法に従って構成された、符号化されたオーディオ信号SCを含む受信信号を復号化するためのデコーダ15の概略図である。
【0067】
図3はまた、本発明による復号化法の主なステップを示す図であることに留意されよう。
【0068】
デコーダ15は、逆主成分分析(PCA-1)に基づく変換手段44、および周波数合成手段45を備える。
【0069】
したがって、主成分CP、残留構造Sfrの少なくとも一部分、および少なくとも1つの変換パラメータθを含む符号化された信号SCを受け取ると、デコーダ15は、元のマルチチャネルオーディオ信号から生じる2つのチャネルLおよびRに対応する、少なくとも2つの復号化されたチャネルL'およびR'を形成する。
【0070】
具体的には、周波数合成手段45により、周波数サブバンドベースの残留構造Sfrを復号化して、少なくとも1つの復号化された残留副成分r'を合成することが可能になる。
【0071】
次いで、逆主成分分析(PCA-1)に基づく変換手段44は、主成分CPおよび変換パラメータθとともに、復号化された残留副成分r'の関数として、2つの復号化されたチャネルL'およびR'を形成する。
【0072】
図4は、マルチチャネルオーディオ信号のスケーラブルな符号化のための、エンコーダの第1の実施形態を示す概略図である。
【0073】
エンコーダ9は、主成分分析変換手段28、定義手段29、および構造形成手段30を備える。
【0074】
主成分分析変換手段28は、回転手段2およびPCA手段4を備える。
【0075】
定義手段29は、第1および第2のオーディオ符号化手段29aおよび29b、ならびに量子化手段29cを備える。
【0076】
さらに、エンコーダ9は、予測フィルタリング手段6、減算手段8、乗算手段10、および加算手段12を備える。
【0077】
回転手段2は、PCA手段4から抽出される角度aに従って、チャネルLおよびRの回転により、主成分yおよび残留副成分rを生成する。
【0078】
乗算手段10は、残留副成分rにスカラYを乗算する。スカラYは、回転から生じる各信号を混合して、信号yに基づいて、信号rの予測をうまく進めることを可能にする。
【0079】
乗算の結果rYは、加算手段12により、主成分yに加えられる。加算の結果rY+yは、第1の符号化手段29aに加えられて、符号化された主成分y'eを生成する。
【0080】
さらに、加算の結果rY+yは、直列結合された適応フィルタと残響フィルタとからなる予測フィルタリング手段6に入力される。
【0081】
予測フィルタリング手段6によって出力されるフィルタリングパラメータFpは、第2の符号化手段29bに加えられて、符号化されたフィルタリングパラメータFpeを生成する。
【0082】
構造形成手段30は、主成分分析変換手段28から生じる残留副成分rまたは環境の詳細な残留構造Sfrを、この情報に加えることを可能にする。具体的には、予測するのに有用な信号とは非相関でなければならない信号Fpを生成するために、予測フィルタリング手段6を使用することは、あまり適当ではない。したがって、高ビットレートにおいて明らかなように、デコーダが追加情報の恩恵を受ける場合、生成される環境成分により、よりよく調整された逆PCAを実行することが可能になる。
【0083】
構造形成手段30は、残留副成分rの周波数サブバンドベースの分析を実行する。
【0084】
具体的には、これらの構造形成手段30は、周波数分析手段31に加えて周波数変換手段16を備える。
【0085】
周波数変換手段16は、(たとえば、残留副成分rに短時間フーリエ変換STFTを加えることにより)少なくとも1つの周波数残留副成分r(b)を形成することを可能にする。
【0086】
その後、周波数分析手段31は、たとえば、周波数フィルタバンクによって周波数残留副成分をフィルタリングすることにより、周波数サブバンドベースの残留構造Sfrを得ることを可能にする。
【0087】
したがって、各周波数サブバンドbおよび分析された各信号部分nについての詳細構造Sfr(n,b)は、量子化手段29cによって量子化され、伝送手段11により符号化装置3から復号化装置5に伝送することができる。
【0088】
図5は、図4の符号化法に従って構成された、符号化されたオーディオ信号SCを含む受信信号を復号化するためのデコーダ15の第1の実施形態を示す概略図である。
【0089】
デコーダ15は、周波数合成手段45、および逆主成分分析(PCA-1)に基づき逆回転手段18を備える変換手段44を備える。
【0090】
さらに、デコーダは、抽出手段21、フィルタリング手段20、ならびに加算および乗算手段22aおよび22bを備える。抽出手段21は、第1および第2の復号化手段41aおよび41bを備える。
【0091】
したがって、適応フィルタの係数Fpe、回転の角度a、スカラYおよび信号y'eを受け取ることにより、次いでデコーダ15は、復号化された主成分y'を形成する第1の復号化手段41aによって主成分y'eを復号化することにより、次いで、フィルタリング手段20によってそのフィルタリングを実行して、第2の復号化手段41bから生じるフィルタリングパラメータFpに基づいて、フィルタリングされた残留成分r'を得ることにより、逆演算を実行する。
【0092】
乗算手段22bは、フィルタリングされた残留成分r'にスカラYを乗算して、積r'Yを形成する。加算手段22aは、復号化された主成分y'からr'Yを減算することを可能にする。
【0093】
逆回転手段18は、回転の角度aの関数として、逆回転行列を信号y'およびr'に加えて、復号化されたステレオ信号のチャネルL'およびR'を生成する。
【0094】
成分rの周波数サブバンドの残留構造Sfr(n,b)がエンコーダ9によって伝送された場合、逆回転手段18によって逆回転を実行する前に、周波数合成手段45によって信号r''を生成することができる。
【0095】
したがって、復号化された2つのチャネルL'およびR'は、復号化された主成分y'および復号化された残留副成分r'の復号化された変換パラメータ(または回転の角度)の関数として、逆主成分分析によって形成することができる。
【0096】
さらに、デコーダ15は、フィルタリングされた残留成分r'に基づいてサブバンドを形成することを可能にする、復号化周波数変換手段54および復号化周波数分析手段56を備えることができる。
【0097】
具体的には、残留構造Sfr(n,b)を部分的に受信する(いくつかの周波数サブバンドを受信する)場合、周波数合成手段45は、合成r'から生じるサブバンドを使用して、その詳細構造が受信されていない各サブバンドを補う。
【0098】
図6は、周波数領域での主成分分析(PCA)変換による、マルチチャネルオーディオ信号のスケーラブルな符号化のためのエンコーダの他の実施形態の概略図である。
【0099】
この例によれば、エンコーダ9は、一連のフレームn、n+1などによって定義することができ、2つのチャネルLeft LおよびRight Rを含むステレオ信号を符号化するものである。
【0100】
エンコーダ9は、主成分分析(PCA)変換手段28、定義手段29、および構造形成手段30を備える。
【0101】
主成分分析(PCA)変換手段28は、分解手段21、計算手段23、PCA手段25、および結合手段27を備える。
【0102】
したがって、決定したフレームnについて、分解手段21は、ステレオ信号の2つのチャネルLおよびRを、複数の周波数サブバンドl(n,b1)、...、l(n,bN)、r(n,b1)、...、r(n,bN)に分解する。
【0103】
具体的には、分解手段21は、短時間フーリエ変換手段(STFT)61aおよび61b、ならびに、短時間フーリエ変換の各係数をともにサブバンドにグループ化することを可能にする、周波数ウィンドウ手段63aおよび63bを備える。
【0104】
したがって、短時間フーリエ変換は、入力チャネルLおよびRのそれぞれに加えられる。次いで、周波数領域で表されるこれらのチャネルは、臨界帯域に等しい知覚的尺度に従って定義されるN個のバンドにより、周波数ウィンドウ手段63aおよび63bによってウィンドウ処理することができる。
【0105】
計算手段23は、複数の周波数サブバンドの少なくとも一部分の関数として、複数の変換パラメータθ(n,b1)、...、θ(n,bN)の間から、少なくとも1つの変換パラメータθ(n,bi)を計算するものである。
【0106】
一例として、変換パラメータの計算は、共分散行列を計算することによって実行することができる。次いで、共分散行列は、分析された各信号フレームnおよび各周波数サブバンドbiについて、計算手段23によって計算することができる。
【0107】
したがって、ステレオ信号の固有値λ1(n,bi)およびλ2(n,bi)は、次いで、各フレームnおよび各サブバンドbiについて推定され、変換パラメータまたは回転の角度θ(n,bi)の計算を可能にする。
【0108】
2つの元のチャネルLおよびRの共分散に基づいて、変換パラメータを単独で計算することも可能であることに留意されよう。
【0109】
この回転の角度θ(n,bi)は、サブバンドbiについてのフレームnにおける主要源の位置に対応し、回転または変換手段25が、データの周波数サブバンドベースの回転を実行して、周波数主成分CP(n,bi)および周波数残留(または環境)成分A(n,bi)を決定することができるようにする。各成分CP(n,bi)およびA(n,bi)のエネルギーは、固有値λ1およびλ2に比例し、λ12である。したがって、信号A(b)のエネルギーは、信号CP(b)のエネルギーよりもはるかに低い。
【0110】
結合手段27は、周波数主要副成分CP(n,b1)、...、CP(n,bN)を結合して、単一の主成分CP(n)を形成する。
【0111】
具体的には、これらの結合手段27は、逆STFT手段65aおよび加算手段67aを備える。次いで、これら限られた帯域の周波数成分CP(n,bi)を加算手段67aによって合計することにより、周波数領域での全帯域の主成分CP(n)を得ることが可能になる。成分CP(n)の逆STFTの結果として、全帯域の時間成分が得られる。
【0112】
周波数分析手段31を備える構造形成手段30は、周波数残留副成分A(n,b1)、...、A(n,bN)および/または周波数主要副成分CP(n,b1)、...、CP(n,bN)の関数として、1組のエネルギーパラメータE(n,b1)、...、E(n,bN)の間から、少なくとも1つのエネルギーパラメータE(n,bi)を形成することを可能にする。
【0113】
第1の実施形態によれば、エネルギーパラメータE(n,b1)、...、E(n,bN)は、周波数主要副成分CP(n,b1)、...、CP(n,bN)と周波数残留副成分A(n,b1)、...、A(n,bN)との間の周波数サブバンドベースのエネルギー差を抽出することによって形成される。
【0114】
他の実施形態によれば、エネルギーパラメータE(n,b1)、...、E(n,bN)は、周波数残留副成分A(n,b1)、...、A(n,bN)の周波数サブバンドベースのエネルギーに直接対応する。
【0115】
したがって、音響環境をよりよく合成するために、有利には、符号化されたオーディオ信号SCは、1組のエネルギーパラメータE(n,b1)、...、E(n,bN)の間から、少なくとも1つのエネルギーパラメータを含むことができる。
【0116】
さらに、構造形成手段30は、少なくとも1つのエネルギーパラメータE(n,bi)の関数として、少なくとも1つの残留副成分A(n,bi)に周波数分析を加えて、周波数サブバンドベースの残留構造Sfr(n,bi)を形成することを可能にする。
【0117】
したがって、伝送網7の能力が許す場合、またはより高いオーディオ品質が期待される場合、1つまたは複数のエネルギーパラメータE(n,bi)、...、E(n,bN)は、信号Sfr(n,bi)の残留成分A(n,bi)のサブバンドベースの詳細構造のうちの少なくとも一部分を付随することができる。
【0118】
残留成分A(n,bi)の符号化に対するこの段階的な手法は、追加情報を伝送する能力を提供して、元のステレオ信号のほぼ完全な再現に近づく。具体的には、高ビットレートを使用すると、再現されたステレオ信号は、元のステレオ信号に知覚的により近づくことになる。
【0119】
さらに、エンコーダ9は、2つのチャネルLとRの間の時間的相関の分析を実行して、対応する相関指標または相関値c(n)を決定するための相関分析手段33を備えることができる。したがって、符号化されたオーディオ信号SCは、有利には、元の信号における残響の存在を示すための、この相関値c(n)を含むことができる。
【0120】
定義手段29は、主成分CPを符号化するためのオーディオ符号化手段29a、ならびに残留構造Sfr(n,bi)の少なくとも一部分、1つまたは複数の変換パラメータθ(n,bi)、残留構造Sfr(n,bi)の少なくとも一部分、1つまたは複数のエネルギーパラメータE(n,bi)、および相関値c(n)をそれぞれ量子化するための、量子化手段29c、29d、29eおよび29fを備えることができる。
【0121】
図7は、オーディオストリームを含む符号化されたオーディオ信号SC(n)を復号化し、周波数サブバンドベースの逆PCAに基づいてステレオ信号用のパラメータを復号化するためのデコーダ15の概略図である。
【0122】
デコーダ15は、逆主成分分析(PCA-1)に基づく変換手段44、および周波数合成手段45を備える。
【0123】
逆主成分分析(PCA-1)に基づく変換手段44は、抽出手段41、復号化分解手段43、逆変換手段47、および復号化結合手段49を備える。
【0124】
したがって、符号化されたオーディオ信号SC(n)を受信する際、抽出手段41は、復号化された主成分CP'を抽出するためのモノラル復号化手段41a、ならびに、残留構造SfrQ(n,bi)、変換パラメータまたは回転の角度θQ(n,bi)、エネルギーパラメータEQ(n,bi)、および相関値cQ(n)を抽出するための逆量子化手段41c、41d、41eおよび41fを備える。
【0125】
たとえばSTFT 62aおよびフィルタバンク62bを備える復号化分解手段43は、N個のバンドで周波数ウィンドウ化することにより、復号化された主成分CP'を復号化された周波数主要副成分に分解する。
【0126】
さらに、残留成分A'(n,bi)は、逆量子化されたエネルギーパラメータEQ(n,bi)および場合によっては残留構造SfrQ(n,bi)によってスペクトル的に形成された、復号化されたオーディオストリームCP'(n,bi)に基づいて、周波数合成手段45によって合成することができる。
【0127】
具体的には、エンコーダ9によって伝送される追加情報は、デコーダ15によって使用されてもされなくてもよい。このように、周波数サブバンドベースの残留成分A(n,bi)の残留詳細構造Sfr(n,bi)は、したがって、復号化および場合によってはフィルタリングされた信号CP'に基づいて、信号A'(n,bi)を周波数合成するときに使用することができる。
【0128】
信号A'(n,bi)の周波数合成は、このように、エネルギーパラメータEQ(n,bi)、および場合によっては逆量子化された残留成分の詳細構造SfrQ(n,bi)を利用する。
【0129】
PCAは線形変換なので、デコーダ15は、次いで、符合器とは逆の演算を実行する。符号化用に使用される回転行列の行列転置によって信号CPH'(n,bi)およびA'(n,bi)を乗算することにより、逆変換手段によって逆PCAが実行される。このことは、周波数サブバンドに基づく回転の角度を逆量子化することによって可能になる。
【0130】
信号CP'H(n,bi)は、残響または非相関性フィルタリング手段49によって非相関化される主成分CP'(n,bi)に対応することに留意されよう。
【0131】
具体的には、PCAの非相関特性により、信号CP'(n,bi)の非相関化された成分CP'H(n,bi)、および信号A'(n,bi)の結果を合成するために、非相関性フィルタまたは残響フィルタを使用することが望ましい。
【0132】
フィルタリング手段49は、そのインパルス応答h(n)が元の信号の特性に依存するフィルタを備える。具体的には、フレームnにおいて元の信号の相関を時間分析することで、復号化のために使用されるフィルタの選択に対応する相関値c(n)が決定される。デフォルトでは、c(n)は、信号CP'(n,bi)およびCP'H(n,bi)の相互相関を大幅に低減させるランダム位相を有する、全通過フィルタのインパルス応答を与える。ステレオ信号の時間分析により残響の存在が明らかになる場合、c(n)は、たとえば、エネルギーが減衰するガウス性白色雑音の使用を課して、信号CP'(n,bi)のコンテンツを反響させる。
【0133】
逆STFT手段71aおよび71b、ならびに加算手段73aおよび73bを備える結合手段49は、復号化された周波数サブバンドを結合して、2つの復号化された成分L'およびR'を形成する。
【0134】
残留成分A(n,bi)の符号化に対するこの段階的な手法は、追加情報を伝送する能力を提供して、元のステレオ信号に非常に近い再現に近づく。
【0135】
図8は、3つのチャネルにPCAを加える、マルチチャネル信号のエンコーダ109を示す。具体的には、このエンコーダは、各サブバンドbについて推定されたオイラー角(α、β、γ)bによってパラメータ化された3つのチャネルを有する信号の、3次元のPCAを使用する。
【0136】
エンコーダ109は、3つの短時間フーリエ変換手段(STFT)61a、61bおよび61c、ならびに3つの周波数ウィンドウ化モジュール63a、63bおよび63cを備えるという事実により、図7のエンコーダとは区別される。
【0137】
さらに、エンコーダ109は、3つの逆STFT手段65a、65bおよび65c、ならびに3つの加算手段73a、73bおよび73cを備える。
【0138】
次いで、PCAは、3つの信号L、CおよびRに加えられる。次いで、3Dの3次元PCAは、オイラー角(α、β、γ)によってパラメータ化されたデータの3D回転によって実行される。ちょうどステレオの場合においては、これらの回転の角度は、元のマルチチャネル信号の共分散および固有値に基づいて、各周波数サブバンドに対して推定される。
【0139】
信号CPは、支配的な音源と、元の信号中に存在するこれらの音源と空間的に一致する環境成分の一部分との合計を含む。
【0140】
λ123なので、支配的な音源にスペクトル的に重なる2次的な音源と、その他の環境成分との合計は、信号CPよりも著しくエネルギーの少ない信号A1およびA2中の固有値λ2およびλ3に比例して分配される。
【0141】
したがって、ステレオ信号に適用される符号化法は、以下のチャネル、すなわちLeft L、Centre C、Right R、Back Left (Leftサラウンド) Ls、Back Right (Rightサラウンド) Rs、およびLow Frequency (Low Frequency Effect) LFE、を含む5.1形式のマルチチャネル信号C1、...、C6の場合に拡張することができる。
【0142】
具体的には、図9は、5.1形式のマルチチャネル信号のエンコーダ209を示す概略図である。この例によれば、5.1信号のパラメトリックオーディオ符号化は、ミッドプレーンに沿って分割される各信号の2つの3次元PCAに基づく。
【0143】
したがって、このエンコーダ209は、図12のエンコーダ109による、各信号(L、C、LS)の3つの80aの第1のPCA1、および同様に、エンコーダ109による、各信号(R、C、RS)の3つの80bの第2のPCA2を実行することを可能にする。
【0144】
したがって、主成分(CP1、CP2)の対は、元のマルチチャネル信号と空間的にコヒーレントなステレオ信号(L、R)とみなすことができる。
【0145】
このチャネルの分離性を有する低周波のコンテンツは、チャネル間の冗長性を低減させることにほとんど影響を受けないので、LFE信号を、その他の信号から独立して符号化できることを明記することが適切である。
【0146】
各フレームnおよび各周波数サブバンドbiに対して定められた量子化手段81a〜81dならびに量子化手段91a〜91dによって量子化されるパラメータを伴う、ステレオオーディオ符合器81aによって符号化されるステレオ信号を伝送することにより、符号化は伝送網のビットレート制約条件に適合する。
【0147】
したがって、ステレオオーディオ符合器81aは、主成分(CP1、CP2)の対を符号化することを可能にする。量子化手段81bは、各3つの信号のPCAにとって有用であるオイラー角(α、β、γ)を量子化することを可能にする。
【0148】
量子化手段81dは、各3つの信号用に使用されるフィルタの選択を決定する値c1(n)およびc2(n)を量子化することを可能にする。
【0149】
さらに、フィルタリングおよび周波数分析手段83aおよび83bを備える周波数合成手段45は、周波数サブバンドベースのパラメータ、あるいはそれぞれ信号CP1およびA11、A12と信号CP2およびA21、A22との間のエネルギー差Eij(n,b)(1≦i、j≦2)を決定することを可能にする。
【0150】
一変形形態として、エネルギーパラメータは、各信号A11、A12およびA21、A22のサブバンドベースのエネルギーに対応することができる。
【0151】
次いで、エネルギーパラメータEij(n,b)は、量子化手段81cによって量子化することができる。
【0152】
さらに、3D PCAから生じる4つの残留または環境信号A11、A12およびA21、A22の詳細残留構造SfAij(n,b) (ここで1≦i、j≦2)は、量子化手段91a〜91dによって量子化することができる。
【0153】
ちょうどステレオ信号の符号化の場合、残留信号A11、A12およびA21、A22の詳細構造SfAij(n,b)の少なくとも一部分は、より高いビットレートおよびしたがって上位のオーディオ再現品質を使用して、追加情報として伝送することができる。
【0154】
図10は、図1〜19によるエンコーダまたはデコーダを実装するコンピュータ化されたシステムを、非常に概略的に示す。このコンピュータ化されたシステムは、信号432、メモリ434、入力ユニット436および出力ユニット438を制御する中央処理装置430を、従来の方式で備える。すべての要素は、データバス440によってともにリンクされる。
【0155】
さらに、このコンピュータ化されたシステムは、本発明による符号化法または復号化法を実施するためのプログラムコード命令を含むコンピュータプログラムを実行するために使用することができる。
【0156】
具体的には、本発明はまた、コンピュータ上で実行されるときに、通信ネットワークからダウンロード可能で、本発明による符号化法または復号化法の各ステップを実行するためのプログラムコード命令を含むコンピュータプログラム製品を目的としている。このコンピュータプログラムは、コンピュータが読取り可能な媒体に記憶することができ、またマイクロプロセッサによって実行可能とすることができる。
【0157】
このプログラムは、どんなプログラミング言語を使用することもでき、ソースコード、オブジェクトコード、あるいは、部分的にコンパイルされた形式、または他の任意の望ましい形式などでの、ソースコードとオブジェクトコードの中間のコードの形式とすることができる。
【0158】
本発明はまた、コンピュータが読取り可能で、上記のようなコンピュータプログラムの命令を含む情報媒体を目的としている。
【0159】
情報媒体は、プログラムを記憶することのできる、いかなる構成要素または装置とすることもできる。たとえば、媒体は、ROM、たとえばCD ROMまたは超小形電子回路ROM、あるいは磁気記録手段、たとえばディスケット(フロッピー(登録商標)ディスク)またはハードディスクなどの記憶手段を備えることができる。
【0160】
さらに、情報媒体は、電気または光ケーブルを介して、無線または他の手段によってトランキングすることができる、電気信号または光信号などの伝送可能な媒体とすることができる。本発明によるプログラムは、具体的にはインターネット型のネットワークからダウンロードすることができる。
【0161】
あるいは、情報媒体は、プログラムがそこに組み込まれ、本方法を実行するまたは実行する際に使用されるように適合された集積回路とすることができる。
【0162】
したがって、本発明は、ビットレートがスケーラブルなオーディオ符号化を可能にする。これにより、元の信号のほぼ完全な再現に近づくことが可能になる。具体的には、高ビットレートを使用すると、再現された信号は、元の信号に知覚的により近づくことになる。
【0163】
さらに、本発明による方法は、復号化されるチャネルの数に対して段階的に分けられる。たとえば、5.1形式での信号の符号化は、ステレオ信号として復号化して、様々な再生システムとの互換性を確実にすることも可能にする。
【0164】
提案された手順により、ネットワークまたは所望の質の関数として、符号化ビットレートを適合させることが可能になるので、本発明の用途の分野は、様々な伝送網における様々なビットレートでのデジタルオーディオ伝送である。
【0165】
さらに、この方法は、より多数の信号でのマルチチャネルオーディオ符号化に一般化することができる。具体的には、提案された手順は本来、数多くの2Dおよび3Dオーディオ形式(6.1、7.1形式、アンビソニックス、波面合成など)に対して、一般化可能および適用可能である。
【0166】
具体的な例示的用途は、サイバノート(聴取者)が注文/購入した後の、インターネット上のマルチチャネルオーディオ信号の圧縮、伝送、そして再生である。このサービスは、さらに一般には「オーディオオンデマンド」と呼ばれる。次いで、提案された手順は、聴取者をサーバにリンクするインターネットのネットワークによってサポートされるビットレートで、(ステレオまたは5.1タイプの)マルチチャネル信号を符号化することを可能にする。したがって、聴取者は、自分のマルチチャネルブロードキャスティングシステムで求められる形式で復号化された音のシーンを聞くことができる。伝送すべき信号は5.1タイプであるが、ユーザがマルチチャネル再生システムを所有していない場合、伝送は、開始マルチチャネル信号の主成分に限定することができ、続いてデコーダは、たとえばステレオ信号など、より少ないチャネルを有する信号を送達する。
【図面の簡単な説明】
【0167】
【図1】本発明による符号化装置および復号化装置を備える通信システムの概略図である。
【図2】本発明によるエンコーダの概略図である。
【図3】本発明によるデコーダの概略図である。
【図4】本発明の特定の実施形態によるエンコーダおよびデコーダの概略図である。
【図5】本発明の特定の実施形態によるエンコーダおよびデコーダの概略図である。
【図6】本発明の特定の実施形態によるエンコーダおよびデコーダの概略図である。
【図7】本発明の特定の実施形態によるエンコーダおよびデコーダの概略図である。
【図8】本発明の特定の実施形態によるエンコーダおよびデコーダの概略図である。
【図9】本発明の特定の実施形態によるエンコーダおよびデコーダの概略図である。
【図10】図1〜9によるエンコーダおよびデコーダを実装する、コンピュータ化されたシステムの概略図である。
【図11】従来技術によるエンコーダおよびデコーダの概略図である。
【図12】従来技術によるエンコーダおよびデコーダの概略図である。
【符号の説明】
【0168】
1 通信システム
2 回転手段
3 符号化装置
4 PCA手段
5 復号化装置
6 予測フィルタリング手段
7 通信ネットワーク
8 減算手段
9 エンコーダ
10 乗算手段
11 送信手段
12 加算手段
13 受信機
15 デコーダ
16 周波数変換手段
18 逆回転手段
20 フィルタリング手段
21 抽出手段、分解手段
22a 加算手段
22b 乗算手段
23 計算手段
25 PCA手段
27 結合手段
28 主成分分析変換手段
29 定義手段
29a 第1のオーディオ符号化手段
29b 第2のオーディオ符号化手段
29c 量子化手段
29d 量子化手段
29e 量子化手段
29f 量子化手段
30 構造形成手段
31 周波数分析手段
33 相関分析手段
41 抽出手段
41a 第1の復号化手段
41b 第2の復号化手段
41c 逆量子化手段
41d 逆量子化手段
41e 逆量子化手段
41f 逆量子化手段
43 復号化分解手段
44 変換手段
45 周波数合成手段
47 逆変換手段
49 復号化結合手段、非相関性フィルタリング手段
61a 短時間フーリエ変換手段
61b 短時間フーリエ変換手段
61c 短時間フーリエ変換手段
62a 短時間フーリエ変換手段
62b フィルタバンク
63a 周波数ウィンドウ手段
63b 周波数ウィンドウ手段
63c 周波数ウィンドウ手段
65a 逆STFT手段
65b 逆STFT手段
65c 逆STFT手段
67a 加算手段
71a 逆STFT手段
71b 逆STFT手段
73a 加算手段
73b 加算手段
73c 加算手段
81a 量子化手段、ステレオオーディオ符合器
81b 量子化手段
81c 量子化手段
81d 量子化手段
83a フィルタリング手段
83b 周波数分析手段
91a 量子化手段
91b 量子化手段
91c 量子化手段
91d 量子化手段
102 回転手段
104 PCA手段
106 予測フィルタリング手段
108 減算手段
110 乗算手段
112 加算手段
109 エンコーダ
141a 第1の復号化手段
141b 第2の復号化手段
115 デコーダ
118 逆回転手段
120 フィルタリング手段
122a 加算手段
122b 乗算手段
129a 第1のオーディオ符号化手段
129b 第2のオーディオ符号化手段
209 エンコーダ
430 中央処理装置
432 信号
434 メモリ
436 入力ユニット
438 出力ユニット
440 データバス

【特許請求の範囲】
【請求項1】
マルチチャネルオーディオ信号(C1,...,CM)のスケーラブルな符号化法であって、変換パラメータ(θ)によって定義される回転により、前記オーディオ信号の少なくとも2つのチャネル(L、R)を、主成分(CP)および少なくとも1つの残留副成分(r)に主成分分析(PCA)変換するステップを含み、
- 前記少なくとも1つの残留副成分(r)に基づいて、周波数サブバンドベースの残留構造(Sfr)を形成するステップと、
- 前記主成分(CP)、周波数サブバンドの少なくとも1つの残留構造(Sfr)、および前記変換パラメータ(θ)を含む、符号化されたオーディオ信号(SC)を定義するステップとを含むことを特徴とする方法。
【請求項2】
前記少なくとも1つの残留副成分(r)の関数として、少なくとも1つのエネルギーパラメータ(E)を形成するステップを含むことを特徴とする、請求項1に記載の方法。
【請求項3】
前記少なくとも1つのエネルギーパラメータ(E)は、前記主成分(CP)を分解したものと前記少なくとも1つの残留副成分(r)との間のエネルギー差を、周波数サブバンドベースで抽出することによって形成されることを特徴とする、請求項2に記載の方法。
【請求項4】
前記少なくとも1つのエネルギーパラメータ(E)は、前記少なくとも1つの残留副成分(r)のサブバンドベースのエネルギーに対応することを特徴とする、請求項2に記載の方法。
【請求項5】
前記周波数サブバンドの前記残留構造(Sfr)を形成するために、前記少なくとも1つのエネルギーパラメータ(E)の関数として、前記少なくとも1つの残留副成分(r)に加えられる周波数分析を含むことを特徴とする、請求項2から4のいずれか一項に記載の方法。
【請求項6】
前記周波数サブバンドの前記残留構造の伝送における決められた順序を含むことを特徴とする、請求項1から5のいずれか一項に記載の方法。
【請求項7】
伝送における前記決められた順序は、前記サブバンドの知覚的順序またはエネルギー判定基準に従って実行されることを特徴とする、請求項6に記載の方法。
【請求項8】
前記少なくとも1つの残留副成分は、周波数領域での主成分分析に従って実行される周波数残留副成分(A(b))であることを特徴とする、請求項1から7のいずれか一項に記載の方法。
【請求項9】
前記周波数領域における前記主成分分析(PCA)変換は、
- 前記オーディオ信号の前記少なくとも2つのチャネル(L、R)を、複数の周波数サブバンド(l(n,b1)、...、l(n,bN)、r(n,b1)、...、r(n,bN))に分解するステップと、
- 前記複数の周波数サブバンドの少なくとも一部分の関数として、前記少なくとも1つの変換パラメータ(θ(n,bi))を計算するステップと、
- 前記少なくとも1つの変換パラメータ(θ(n,b1),..., θ(n,bN))の関数として、前記複数の周波数サブバンドの少なくとも一部分を、前記少なくとも1つの周波数残留副成分(A(n,b1)、...、A(n,bN))および少なくとも1つの周波数主要副成分(CP(n,b1),...,CP(n,bN))に変換するステップと、
- 前記少なくとも1つの周波数主要副成分(CP(n,b1)、...、CP(n,bN))に基づいて、前記主成分(CP(n))を形成するステップとを含むことを特徴とする、請求項8に記載の方法。
【請求項10】
前記複数の周波数サブバンド(l(n,b1)、...、l(n,bN)、r(n,b1)、...、r(n,bN))は、知覚的な尺度に従って定義されることを特徴とする、請求項9に記載の方法。
【請求項11】
前記少なくとも1つの残留副成分(r)の周波数サブバンドベースの分析を含むことを特徴とする、請求項1から10に記載の方法。
【請求項12】
前記周波数サブバンドベースの分析は、
- 前記少なくとも1つの残留副成分(r)に短時間フーリエ変換(STFT)を加えて、少なくとも1つの周波数残留副成分(r(b))を形成するステップと、
- 周波数フィルタバンクにより、前記少なくとも1つの周波数残留副成分をフィルタリングして、前記周波数サブバンドの前記残留構造Sfr(b)を得るステップとを含むことを特徴とする、請求項11に記載の方法。
【請求項13】
前記少なくとも2つのチャネル(L、R)間の相関を分析して、対応する相関値(c)を決定するステップを含み、前記符号化されたオーディオ信号は、前記相関値(c)をさらに含むことを特徴とする、請求項1から12のいずれか一項に記載の方法。
【請求項14】
請求項1から11のいずれか一項に従って構成された、符号化されたオーディオ信号を含む受信信号を復号化する方法であって、逆主成分分析(PCA-1)によって変換して、前記元のマルチチャネルオーディオ信号から生じる前記少なくとも2つのチャネル(L、R)に対応する少なくとも2つの復号化されたチャネル(L'、R')を形成するステップを含み、周波数サブバンドの少なくとも1つの残留構造(Sfr)を復号化して、少なくとも1つの復号化された残留副成分(r';A'(n,b))を合成するステップを含むことを特徴とする復号化する方法。
【請求項15】
- 前記符号化されたオーディオ信号(SC)を受け取るステップと、
- 復号化された主成分(CP')および少なくとも1つの復号化された変換パラメータを抽出するステップと、
- 前記復号化された主成分(CP')を、少なくとも1つの復号化された周波数主要副成分に分解するステップと、
- 前記少なくとも1つの復号化された主要副成分および前記少なくとも1つの復号化された残留副成分(A'(n,b))を、復号化された周波数サブバンドに変換するステップと、
- 前記復号化された周波数サブバンドを組み合わせて、前記少なくとも2つの復号化されたチャネル(L'、R')を形成するステップとを含むことを特徴とする、請求項14に記載の復号化する方法。
【請求項16】
- 前記符号化されたオーディオ信号(SC)を受け取るステップと、
- 復号化された主成分(y')および少なくとも1つの復号化された変換パラメータを抽出するステップと、
- 前記復号化された主成分(y')および前記少なくとも1つの復号化された残留副成分(r')の、前記少なくとも1つの復号化された変換パラメータの関数として、逆主成分分析によって復号化された前記少なくとも2つのチャネル(L'、R')を形成するステップとを含むことを特徴とする、請求項14に記載の復号化する方法。
【請求項17】
マルチチャネルオーディオ信号(C1,...,CM)のスケーラブルなエンコーダであって、変換パラメータ(θ,θ(bi))によって定義される回転により、前記オーディオ信号の少なくとも2つのチャネル(L、R)を、主成分(CP)および少なくとも1つの残留副成分(r)に変換する主成分分析(PCA)に基づく変換手段(28)を備え、
- 前記少なくとも1つの残留副成分(r)に基づいて、周波数サブバンドベースの残留構造(Sfr)を形成するための構造形成手段(30)と、
- 前記主成分(CP)、周波数サブバンドの少なくとも1つの残留構造(Sfr)、および前記変換パラメータ(θ)を含む符号化されたオーディオ信号(SC)を定義するための定義手段(29)とを備えることを特徴とするスケーラブルなエンコーダ。
【請求項18】
請求項1から13のいずれか一項に従って構成された、符号化されたオーディオ信号を含む受信信号のスケーラブルなデコーダであって、前記元のマルチチャネルオーディオ信号から生じる前記少なくとも2つのチャネル(L、R)に対応する少なくとも2つの復号化されたチャネル(L'、R')を形成するための逆主成分分析(PCA-1)に基づく変換手段(44)を備え、周波数サブバンドの少なくとも1つの残留構造(Sfr)を復号化して、少なくとも1つの復号化された残留副成分(r';A'(n,b))を合成する周波数合成手段(45)を備えることを特徴とするスケーラブルなデコーダ。
【請求項19】
請求項17に記載の前記エンコーダ、および請求項18に記載の前記デコーダを備えるシステム。
【請求項20】
通信ネットワークからダウンロード可能な、かつ/またはコンピュータが読取り可能な媒体に記憶された、かつ/またはマイクロプロセッサが実行可能なコンピュータプログラムであって、コンピュータプログラムが、コンピュータまたはマイクロプロセッサ上で実行されるとき、請求項1から13のうちの少なくとも一項による、前記符号化する方法の各ステップを実行するためのプログラムコード命令を含むことを特徴とするコンピュータプログラム。
【請求項21】
通信ネットワークからダウンロード可能な、かつ/またはコンピュータが読取り可能な媒体に記憶された、かつ/またはマイクロプロセッサが実行可能なコンピュータプログラムであって、コンピュータプログラムが、コンピュータまたはマイクロプロセッサ上で実行されるとき、請求項14から16のうちの少なくとも一項による、前記復号化する方法の各ステップを実行するためのプログラムコード命令を含むことを特徴とするコンピュータプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate


【公表番号】特表2009−530652(P2009−530652A)
【公表日】平成21年8月27日(2009.8.27)
【国際特許分類】
【出願番号】特願2008−558860(P2008−558860)
【出願日】平成19年3月8日(2007.3.8)
【国際出願番号】PCT/FR2007/050897
【国際公開番号】WO2007/104883
【国際公開日】平成19年9月20日(2007.9.20)
【出願人】(591034154)フランス テレコム (290)