オーディオ符号化及び復号
オーディオエンコーダが、Ｍチャンネルのオーディオ信号を入力する多チャンネルレシーバ４０１を有し、ここで、Ｍ＞２である。ダウンミックスプロセッサ４０３は、上記Ｍチャンネルオーディオ信号を第１ステレオ信号及び関連パラメトリックデータにダウン混合する。空間プロセッサ４０７は、上記関連パラメトリックデータ及び頭部伝達関数（ＨＲＴＦ）等の両耳知覚伝達関数のための空間パラメータデータに応答して、上記第１ステレオ信号を修正し、第２ステレオ信号を発生する。該第２ステレオ信号は、両耳信号であり、特には（３Ｄ）仮想空間信号とすることができる。符号化されたデータ及び上記関連パラメトリックデータを有する出力データストリームが、エンコードプロセッサ４１１及び出力プロセッサ４１３により発生される。上記ＨＲＴＦ処理は、従来のステレオデコーダによる（３Ｄ）仮想空間信号の発生を可能にすることができる。多チャンネルデコーダは、上記空間プロセッサ４０７の処理を逆に処理して、改善された品質の多チャンネル信号を発生することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオ符号化及び／又は復号に係り、専らではないが、特には両耳仮想空間信号を含むようなオーディオ符号化及び／又は復号に関する。
【背景技術】
【０００２】
種々のソースの信号のデジタル符号化は、デジタル信号表現及び通信がアナログ表現及び通信を置換するにつれて、最近の十年にわたり益々重要になってきている。例えば、ビデオ及び音楽等のメディアコンテンツの配信は、益々、デジタルコンテンツの符号化に基づくものとなっている。
【０００３】
更に、最近の十年においては、多チャンネルオーディオに向かう、特には従来のステレオ信号を超えて広がるような空間オーディオに向かう傾向がある。例えば、伝統的なステレオ記録が２つのチャンネルのみを有するのに対し、近年の進んだオーディオシステムは、典型的には、ポピュラーな５.１サラウンドサウンドシステムにおけるように５つ又は６つのチャンネルを使用する。これは、ユーザが音源により取り囲まれ得るような一層引き込まれる聴取体験を提供する。
【０００４】
このような多チャンネル信号の通信のために、種々の技術及び規格が開発されている。例えば、５.１サラウンドシステムを表す６つの個別チャンネルは、アドバンスド・オーディオ・コーディング（ＡＡＣ）又はドルビー・デジタル規格等の規格に従って送信することができる。
【０００５】
しかしながら、後方互換性を提供するために、大きな数のチャンネルを小さな数にダウン混合（down-mix）することが知られており、これが、特に、５.１サラウンドサウンド信号をステレオ信号にダウン混合して、ステレオ信号が旧来の（ステレオ）デコーダにより再生され、５.１信号がサラウンドサウンドデコーダにより再生されるのを可能にするためにしばしば用いられる。
【０００６】
一例が、ＭＰＥＧ２後方互換性符号化方法である。多チャンネル信号が、ステレオ信号にダウン混合される。追加の信号が補助データ部分に符号化され、ＭＰＥＧ２多チャンネルデコーダが多チャンネル信号の表現を発生するのを可能にする。ＭＰＥＧ１デコーダは上記補助データを無視し、かくして、ステレオダウンミックスのみを復号する。ＭＰＥＧ２に適用される該符号化方法の主たる問題点は、上記追加の信号に要する追加のデータレートが、当該ステレオ信号を符号化するのに要するデータレートと同程度の大きさである点である。従って、ステレオを多チャンネルオーディオに拡張するための該追加のビットレートは、大きなものとなる。
【０００７】
追加の多チャンネル情報を用いない後方互換性多チャンネル送信のための他の既存の方法は、典型的には、マトリクス型サラウンド方法として特徴付けられることができる。マトリクスサラウンドサウンド符号化の例は、ドルビプロロジックII及びロジック７等の方法を含む。これら方法の共通原理は、これらが、入力信号の複数チャンネルを適切な非二次（non-quadratic）マトリクスにより行列乗算し、これにより、より小数のチャンネルの出力信号を発生するということである。特に、マトリクスエンコーダは、典型的には、サラウンドチャンネルに対して、これらを前（フロント）及び中央（センタ）チャンネルと混合する前に位相シフトを付与する。
【０００８】
チャンネル変換の他の理由は、符号化効率である。例えば、サラウンドサウンドオーディオ信号が、当該オーディオ信号の空間特性を記述するパラメータビットストリームと組み合わされたステレオチャンネルオーディオ信号として符号化することができることが分かっている。デコーダは該ステレオ信号を非常に満足のゆく精度で再生することができる。この様にして、かなりのビットレート節約を獲得することができる。
【０００９】
オーディオ信号の空間特性を記述するために使用することができる幾つかのパラメータが存在する。１つの斯様なパラメータは、ステレオ信号に関する左チャンネルと右チャンネルとの間の相互相関（cross-correlation）のような、チャンネル間相互相関である。他のパラメータは、チャンネルの出力比（power ratio）である。所謂（パラメトリック）空間オーディオ（エン）コーダにおいては、これら及び他のパラメータが元のオーディオ信号から抽出されて、例えば単一のチャンネルと元のオーディオ信号の空間特性を記述した一群のパラメータとを加えたもの等の、低減されたチャンネル数を持つオーディオ信号を生成する。所謂（パラメトリック）空間オーディオデコーダにおいては、送信された空間パラメータにより記述された空間特性が回復される。
【００１０】
このような空間オーディオ符号化は、好ましくは、エンコーダ及びデコーダに標準のユニットを有する縦続接続された又はツリー型の階層構造を採用する。エンコーダにおいて、これらの標準のユニットは、２／１、３／１、３／２他のダウンミキサ等のチャンネルを一層少ない数のチャンネルに組み合わせるダウンミキサとすることができる一方、デコーダにおいて、対応する標準のユニットは１／２、２／３他のアップミキサ等のチャンネルを一層多い数のチャンネルに分割するアップミキサであり得る。
【００１１】
３Ｄ音源配置法は、現在、特に移動体分野において関心を得ている。移動体ゲームにおける音楽再生及び音響効果は、３Ｄに配置された場合に消費者の体験に大きな価値を追加することができ、効果的に"頭部外"３Ｄ効果を生成する。特に、人の耳が敏感な固有の指向性情報を含んだ両耳オーディオ信号を記録及び再生することが知られている。両耳記録は、典型的には、ダミーの人の頭部に装着された２つのマイクロフォンを用いてなされ、かくして、記録された音は人の耳により捕捉された音に対応し、頭部及び耳の形状による如何なる影響をも含む。両耳記録はステレオ（即ち、立体音響：ステレオフォニック）記録とは、両耳記録の再生が一般的にヘッドセット又はヘッドフォンのためのものであるのに対し、ステレオ記録が一般的にスピーカによる再生のためになされる点で相違する。両耳記録が２つのチャンネルのみを用いて全空間情報の再生を可能にするのに対し、ステレオ記録は同様の空間的知覚を提供することはない。通常の双チャンネル（ステレオフォニック）又は多チャンネル（例えば、５.１）記録は、各々の通常の信号を一群の知覚伝達関数で畳み込むことにより、両耳記録に変換することができる。このような知覚伝達関数は、当該信号に対する人の頭部の、及び恐らくは他の物体の影響をモデル化する。良く知られたタイプの空間知覚伝達関数は、所謂、頭部伝達関数（Head-Related Transfer Function: ＨＲＴＦ）である。部屋の壁、天井及び床により生じる反射も考慮した代替タイプの空間知覚伝達関数は、両耳室内インパルス応答（ＢＲＩＲ）である。
【００１２】
典型的に、３Ｄ配置アルゴリズムは、或る音源位置から鼓膜へのインパルス応答による伝達を記述するようなＨＲＴＦを使用する。３Ｄ音源配置法は、ＨＲＴＦにより多チャンネル信号に適用することができ、これにより、両耳信号が例えば一対のヘッドフォンを用いてユーザに空間音響情報を提供することを可能にする。
【００１３】
高さ（又は仰角：elevation）の知覚は、両耳に到達するスペクトル中の固有のピーク及びノッチ（Ｖ字状切り込み）により主に可能にされることが知られている。一方、音源の（知覚される）方位（azimuth）は、鼓膜における信号の間のレベル差及び到達時間差等の"両耳的"合図（cue）で捕捉される。距離の知覚は、全体の信号レベルにより主に可能にされ、反響する環境の場合は、直接及び反響エネルギの比により可能にされる。殆どの場合において、特に遅い反響音末尾においては、信頼のおける音源突き止め合図は存在しないと仮定される。
【００１４】
高さ、方位及び距離に関する知覚合図は、インパルス応答（の対）により捕捉することができ、ここで、一方のインパルス応答は特定の音源位置から左耳への伝達を示し、もう一方は右耳に対するものである。従って、高さ、方位及び距離に関する知覚合図は、ＨＲＴＦインパルス応答の対応する特性により決定される。殆どの場合において、ＨＲＴＦ対は、大きな群の音源位置に関し、典型的には高さ及び方位の両方において約５°の空間的分解能で測定される。
【００１５】
従来の両耳３Ｄ合成は、所望の音源位置に対するＨＲＴＦ対による入力信号のフィルタ処理（畳み込み）を含む。しかしながら、ＨＲＴＦは典型的には無響条件で測定されるので、"距離"又は"頭部外"位置特定の知覚が、しばしば、欠ける。無響ＨＲＴＦによる信号の畳み込みは３Ｄサウンド合成にとり十分ではないが、無響ＨＲＴＦの使用は、複雑さ及び柔軟性の観点から時には好ましい。反響性環境の効果（距離の知覚の生成に必要とされる）は後の段階で追加することができ、エンドユーザが部屋の音響特性を変更するための幾らかの柔軟性を残すようにする。更に、遅い反響は、しばしば、全方向的である（指向的合図がない）と仮定されるので、この処理方法は、全ての音源を反響性ＨＲＴＦ対により畳み込むより時には効率的である。更に、室内音響学に関する複雑さ及び柔軟性の反対論とは別に、無響ＨＲＴＦの使用は、"ドライな"（指向的合図の）信号に対しても利点を有している。
【００１６】
３Ｄ配置法の分野における最近の研究は、無響ＨＲＴＦインパルス応答により表される周波数分解能が、多くの場合、必要以上であることを示している。特に、位相及び振幅スペクトルの両方にとり、ＥＲＢスケールにより提案された非線形周波数分解能は、３Ｄ音源を、完全な無響ＨＲＴＦで処理するのと知覚的に異ならないような精度で合成するのに十分であるように思われる。言い換えると、無響ＨＲＴＦスペクトルは、人の聴覚系の周波数分解能より高いスペクトル分解能を必要としない。
【００１７】
従来の両耳合成アルゴリズムが、図１に概略図示されている。一群の入力チャンネルが、一群のＨＲＴＦによりフィルタ処理される。各入力信号は２つの信号（左"Ｌ"及び右"Ｒ"成分）に分割され、次いで、これら信号の各々が所望の音源位置に対応するＨＲＴＦによりフィルタ処理される。次いで、全ての左耳信号は加算されて左の両耳出力信号を発生し、右耳信号は加算されて、右の両耳出力信号を発生する。
【００１８】
ＨＲＴＦ畳み込みは、時間ドメインでも実行することができるが、積としての該フィルタ処理を周波数ドメインで実行することが、しばしば、好まれる。その場合、上記加算も周波数ドメインで実行することができる。
【００１９】
サラウンドサウンド符号化信号を入力し、両耳信号からサラウンドサウンドの体験を生じさせることが可能なデコーダシステムが知られている。例えば、サラウンドサウンド信号がサラウンドサウンド両耳信号に変換されるのを可能にして、ユーザにサラウンドサウンド体験を提供するようなヘッドフォンシステムが知られている。
【００２０】
図２は、ＭＰＥＧサラウンドデコーダが空間パラメトリックデータを伴うステレオ信号を入力するようなシステムを図示している。入力ビットストリームはデマルチプレクス処理されて、空間パラメータ及びダウンミックスビットストリームが得られる。後者のビットストリームは、従来のモノラル又はステレオデコーダを用いて復号される。復号されたダウンミックスは空間デコーダにより復号されるが、該空間デコーダは伝送された空間パラメータに基づいて多チャンネル出力信号を発生する。最後に、上記多チャンネル出力信号は両耳合成段（図１のものと同様のもの）により処理されて、ユーザにサラウンドサウンド体験を提供するような両耳出力信号となる。
【発明の開示】
【発明が解決しようとする課題】
【００２１】
しかしながら、このような方法は、多数の問題点を有している。
【００２２】
例えば、サラウンドサウンドデコーダと両耳合成の縦続接続は、中間ステップとしての多チャンネル信号表現の計算に、両耳合成ステップにおけるＨＲＴＦ畳み込み及びダウンミックス処理が後続する処理を含む。これは、結果として、複雑さの増加及び性能の低減となり得る。
【００２３】
また、該システムは非常に複雑である。例えば、空間デコーダは典型的にはサブバンド（ＱＭＦ）ドメインで動作する。一方、ＨＲＴＦ畳み込みは、典型的には、ＦＦＴドメインにおいて最も効率的に実施化することができる。従って、多チャンネルＱＭＦ合成フィルタバンク、多チャンネルＦＦＴ変換及びステレオ逆ＦＦＴ変換の縦続接続が必要となり、結果的に高い計算要求度のシステムとなってしまう。
【００２４】
提供されるユーザ体験の品質も、低下され得る。例えば、多チャンネル再生を行う上記空間デコーダにより生成される符号化アーチファクトが、（ステレオ）両耳出力においても依然として聴こえるようになる。
【００２５】
更に、該方法は、専用のデコーダを必要とすると共に、複雑な信号処理が個々のユーザ装置により実行されることを必要とする。これは、多くの状況における応用を妨げ得る。例えば、ステレオダウンミックスしか復号することができない旧来の装置は、サラウンドサウンドのユーザ体験を適用することはできないであろう。
【００２６】
従って、改善されたオーディオ符号化／復号が有利であろう。
【００２７】
従って、本発明は上述した問題点の１以上を単独又は何らかの組み合わせで好ましくも緩和、軽減又は除去することを目指すものである。
【課題を解決するための手段】
【００２８】
本発明の第１態様によれば、Ｍチャンネルオーディオ信号を入力する手段と（但し、Ｍ＞２）、該Ｍチャンネルオーディオ信号を第１ステレオ信号及び関連パラメトリックデータにダウン混合するダウン混合手段と、上記関連パラメトリックデータ及び両耳知覚伝達関数のための空間パラメータデータに応答して上記第１ステレオ信号を修正し、両耳信号である第２ステレオ信号を発生する発生手段と、該第２ステレオ信号を符号化して符号化データを発生する手段と、該符号化データ及び前記関連パラメトリックデータを有する出力データストリームを発生する出力手段とを有するようなオーディオエンコーダが提供される。
【００２９】
本発明は、改善されたオーディオ符号化を可能にする。特に、本発明は多チャンネル信号の効果的ステレオ符号化を可能にする一方、旧来の（レガシ）ステレオデコーダが空間体験を向上させるのを可能にすることができる。更に、本発明はデコーダにおいて両耳仮想空間合成処理が逆処理されるのを可能にし、これにより、高品質多チャンネル復号を可能にする。本発明は、複雑さの少ないエンコーダを可能にすると共に、特に両耳信号の少ない複雑さでの発生を可能にすることができる。本発明は、実施の容易化及び機能の再利用を可能にすることができる。
【００３０】
特に、本発明は、多チャンネル信号からの両耳仮想空間信号のパラメータに基づく決定を行う。
【００３１】
上記両耳信号は、特定的には、仮想３Ｄ両耳ステレオ信号等の両耳仮想空間信号とすることができる。前記Ｍチャンネルオーディオ信号は、５.１又は７.１サラウンド信号等のサラウンド信号とすることができる。上記両耳仮想空間信号は、上記Ｍチャンネルオーディオ信号の各チャンネルに対して１つの音源位置をエミュレーションすることができる。前記空間パラメータデータは、意図する音源位置から意図するユーザの鼓膜までの伝達関数を示すデータを有することができる。
【００３２】
前記両耳知覚伝達関数は、例えば、頭部伝達関数（ＨＲＴＦ）又は両耳室内インパルス応答（ＢＰＩＲ）とすることができる。
【００３３】
本発明のオプション的フィーチャによれば、前記発生手段は前記第２ステレオ信号を、前記関連パラメトリックデータ、前記空間パラメータデータ及び前記第１ステレオ信号用のサブバンドデータ値に応答して該第２ステレオ信号用のサブバンドデータ値を計算することにより発生するよう構成される。
【００３４】
これは、符号化が改善され、及び／又は実施化が容易にされるのを可能にすることができる。即ち、該フィーチャは、複雑さの低減及び／又は計算的負荷の軽減を提供することができる。第１ステレオ信号、第２ステレオ信号、前記関連パラメトリックデータ及び前記空間パラメータデータの周波数サブバンド間隔は異なることができるか、又はこれらの幾つか若しくは全てに関して幾つか若しくは全てのサブバンドは実質的に同一とすることもできる。
【００３５】
本発明のオプション的フィーチャによれば、前記発生手段は前記第２ステレオ信号の第１サブバンドのためのサブバンド値を、前記第１ステレオ信号用の対応するステレオサブバンド値の第１サブバンドマトリクスによる乗算に応答して発生するよう構成され、該発生手段は、第１サブバンド用の関連パラメトリックデータ及び空間パラメータデータに応答して上記第１サブバンドマトリクスのデータ値を決定するパラメータ手段を更に有する。
【００３６】
これは、符号化の改善及び／又は実施化の容易化を可能にし得る。即ち、該フィーチャは複雑さを低減し及び／又は計算的負荷を軽減し得る。特に、本発明は、個々のサブバンドに対してマトリクス演算を実行することにより、多チャンネル信号から両耳仮想空間信号をパラメータに基づいて決定するのを可能にする。第１サブバンドマトリクス値は、多チャンネル復号及び結果としての多チャンネルのＨＲＴＦ／ＢＲＩＲフィルタ処理の縦続接続の組み合わせ効果を反映し得る。サブバンドマトリクス乗算は、第１ステレオ信号の全サブバンドに対して実行することができる。
【００３７】
本発明のオプション的フィーチャによれば、前記発生手段は、更に、第１サブバンド間隔とは異なる周波数間隔を持つサブバンドに関連する第１ステレオ信号、関連パラメトリックデータ及び空間パラメータデータのうちの少なくとも１つのデータ値を、第１サブバンドのための対応するデータ値に変換する手段を有する。
【００３８】
これは、符号化の改善及び／又は実施化の容易化を可能にし得る。即ち、該フィーチャは複雑さを低減し及び／又は計算的負荷を軽減し得る。特に、本発明は、異なる処理及びアルゴリズムが、個々の処理に最適なサブバンド分割に基づくものとなるのを可能にし得る。
【００３９】
本発明のオプション的フィーチャによれば、前記発生手段は、前記第２ステレオ信号の第１サブバンドのためのステレオサブバンド値ＬＢ，ＲＢを、実質的に、
【数１】
として決定するように構成され、ここで、Ｌ０，Ｒ０は第１ステレオ信号の対応するサブバンド値である。そして、前記パラメータ手段は乗算マトリクスのデータ値を、実質的に、
【数２】
として決定するように構成され、ここで、ｍk,lは前記ダウン混合手段によるチャンネルＬ、Ｒ及びＣの前記第１ステレオ信号へのダウンミックスに関する関連パラメトリックデータに応答して決定されるパラメータであり、ＨＪ(Ｘ)は第２ステレオ信号のステレオ出力チャンネルＪに対するチャンネルＸに関する空間パラメータデータに応答して決定される。
【００４０】
これは、改善された符号化及び／又は容易化された実施構成を可能にする。即ち、該フィーチャは複雑さの低減及び／又は計算的負荷の低減を提供することができる。
【００４１】
本発明のオプション的フィーチャによれば、チャンネルＬ及びＲの少なくとも一方は、少なくとも２つのダウン混合されたチャンネルのダウンミックスに対応し、前記パラメータ手段は、ＨＪ(Ｘ)を、上記少なくとも２つのダウン混合されたチャンネルに関する空間パラメータデータの加重組み合わせに応答して決定するように構成される。
【００４２】
これは、改善された符号化及び／又は容易化された実施構成を可能にする。即ち、該フィーチャは複雑さの低減及び／又は計算的負荷の低減を提供することができる。
【００４３】
本発明のオプション的フィーチャによれば、前記パラメータ手段は、上記少なくとも２つのダウン混合されたチャンネルに関する空間パラメータデータの重み付けを、該少なくとも２つのダウン混合されたチャンネルに関する相対エネルギ尺度に応答して決定するように構成される。
【００４４】
これは、改善された符号化及び／又は容易化された実施構成を可能にする。即ち、該フィーチャは複雑さの低減及び／又は計算的負荷の低減を提供することができる。
【００４５】
本発明のオプション的フィーチャによれば、前記空間パラメータデータは、サブバンド当たりの平均レベルパラメータ、平均到達時間パラメータ、少なくとも１つのステレオチャンネルの位相、タイミングパラメータ、群遅延パラメータ、ステレオチャンネル間の位相、及びチャンネル相互間相関パラメータからなるグループから選択される少なくとも１つのパラメータを含む。
【００４６】
これらのパラメータは、特別に有利な符号化を提供することができると共に、特にサブバンド処理に特別に適している。
【００４７】
本発明のオプション的フィーチャによれば、前記出力手段は出力ストリームに音源位置データを含めるように構成される。
【００４８】
これは、デコーダが適切な空間パラメータデータを決定するのを可能にし、及び／又は少ないオーバーヘッドで空間パラメータデータを示す効率的な方法を提供することができる。また、これは、デコーダにおける両耳仮想空間合成処理を逆処理する効率的方法を提供することができ、これにより、高品質な多チャンネル復号を可能にする。該フィーチャは、更に、改善されたユーザ体験を可能にすると共に、移動する音源での両耳仮想空間信号の実施化を可能又は容易化し得る。該フィーチャは、代わりに又は追加的に、例えば先ずエンコーダで実行された合成を逆処理し、次いで個別化された又は個性化された両耳知覚伝達関数を用いて合成する等により、デコーダにおける空間合成の個別化を可能にする。
【００４９】
本発明のオプション的フィーチャによれば、前記出力手段は、出力ストリームに前記空間パラメータデータの少なくとも幾らかを含ませるように構成される。
【００５０】
これは、デコーダにおける両耳仮想空間合成処理を逆処理する効率的方法を提供することができ、これにより、高品質な多チャンネル復号を可能にする。該フィーチャは、更に、改善されたユーザ体験を可能にすると共に、移動する音源での両耳仮想空間信号の実施化を可能又は容易化し得る。上記空間パラメータデータは、例えばデコーダが該空間パラメータデータを決定するのを可能にするような情報を含めることにより、出力ストリームに直接的に又は間接的に含めることができる。該フィーチャは、代わりに又は追加的に、例えば先ずエンコーダで実行された合成を逆処理し、次いで個別化された又は個性化された両耳知覚伝達関数を用いて合成する等により、デコーダにおける空間合成の個別化を可能にする。
【００５１】
本発明のオプション的フィーチャによれば、前記エンコーダは、前記空間パラメータデータを所望のサウンド信号位置に応答して決定する手段を更に有する。
【００５２】
これは、改善された符号化及び／又は容易化された実施構成を可能にする。上記所望のサウンド信号位置は、前記Ｍチャンネル信号の個々のチャンネルに関する音源の位置に対応することができる。
【００５３】
本発明の他の態様によれば、Ｍチャンネルオーディオ信号（但し、Ｍ＞２）に対応した両耳信号である第１ステレオ信号と該Ｍチャンネルオーディオ信号のダウン混合されたステレオ信号に関連するパラメトリックデータとを有する入力データを入力する手段と、前記パラメトリックデータと前記第１ステレオ信号に関連する両耳知覚伝達関数のための第１空間パラメータデータとに応答して、前記第１ステレオ信号を修正することにより前記ダウン混合されたステレオ信号を発生する発生手段とを有するようなオーディオデコーダが提供される。
【００５４】
本発明は、改善されたオーディオ復号を可能にし得る。特に、本発明は、高品質のステレオ復号を可能にすると共に、特にエンコーダの両耳仮想空間合成処理がデコーダにおいて逆処理されるのを可能にする。本発明は、低複雑度のデコーダを可能にする。本発明は、容易化された実施構成及び機能の再利用を可能にする。
【００５５】
上記両耳信号は、特には、仮想３Ｄ両耳ステレオ信号等の両耳仮想空間信号とすることができる。上記空間パラメータデータは、意図する音源位置から意図するユーザの耳までの伝達関数を示すデータを有することができる。上記両耳知覚伝達関数は、例えば、頭部伝達関数（ＨＲＴＦ）又は両耳室内インパルス応答（ＢＲＩＲ）とすることができる。
【００５６】
本発明のオプション的フィーチャによれば、当該オーディオデコーダは、前記ダウン混合されたステレオ信号及び前記パラメトリックデータに応答して、前記Ｍチャンネルオーディオ信号を発生する手段を更に有する。
【００５７】
本発明は、改善されたオーディオ復号を可能にし得る。特に、本発明は、高品質の多チャンネル復号を可能にすると共に、特にエンコーダの両耳仮想空間合成処理がデコーダにおいて逆処理されるのを可能にする。本発明は、低複雑度のデコーダを可能にする。本発明は、容易化された実施構成及び機能の再利用を可能にする。
【００５８】
上記Ｍチャンネルオーディオ信号は、５.１又は７.１サラウンド信号等のサラウンド信号とすることができる。上記両耳信号は、Ｍチャンネルオーディオ信号の各チャンネルに対して１つの音源位置をエミュレーションするような仮想空間信号とすることができる。
【００５９】
本発明のオプション的フィーチャによれば、前記発生手段は、前記第１ステレオ信号に関するサブバンドデータ値、前記空間パラメータデータ及び前記関連するパラメトリックデータに応答して、前記ダウン混合されたステレオ信号に関するサブバンドデータ値を計算することにより前記ダウン混合されたステレオ信号を発生するよう構成される。
【００６０】
これは、改善された復号及び／又は容易化された実施構成を可能にする。特に、該フィーチャは、複雑さを低減させ、及び／又は計算的負荷を低減させる。前記第１ステレオ信号、ダウン混合されたステレオ信号、関連するパラメトリックデータ及び空間パラメータデータの周波数サブバンド間隔は異なってもよく、又は幾つかの若しくは全てのサブバンドは、これらの幾つか又は全てに対して実質的に同一であってもよい。
【００６１】
本発明のオプション的フィーチャによれば、前記発生手段は、前記ダウン混合されたステレオ信号の第１サブバンドに関するサブバンド値を、前記第１ステレオ信号に関する対応するステレオサブバンド値の第１サブバンドマトリクスによる乗算に応答して発生するよう構成され、該発生手段は、前記第１サブバンドに関する空間パラメータデータ及びパラメトリックデータに応答して前記第１サブバンドマトリクスのデータ値を決定するパラメータ手段を更に有している。
【００６２】
これは、改善された復号及び／又は容易化された実施構成を可能にする。特に、該フィーチャは、複雑さを低減させ、及び／又は計算的負荷を低減させる。上記第１サブバンドマトリクス値は、多チャンネル復号及び結果としての多チャンネルのＨＲＴＦ／ＢＲＩＲフィルタ処理の縦続接続の組み合わせ効果を反映し得る。サブバンドマトリクス乗算は、ダウン混合されたステレオ信号の全てのサブバンドに対して実行することができる。
【００６３】
本発明のオプション的フィーチャによれば、前記入力データは少なくとも幾らかの空間パラメータデータを有する。
【００６４】
これは、エンコーダにおいて実行された両耳仮想空間合成処理を逆処理する効率的な方法を提供し、これにより、高品質の多チャンネル復号を可能にする。該フィーチャは、更に、改善されたユーザ体験を可能にすると共に、移動する音源の両耳仮想空間信号の実施化を可能に又は容易化し得る。上記空間パラメータデータは前記入力データに直接的に又は間接的に含めることができ、例えば、該データはデコーダが当該空間パラメータデータを決定するのを可能にするような如何なる情報とすることもできる。
【００６５】
本発明のオプション的フィーチャによれば、前記入力データは音源位置データを有し、当該デコーダは該音源位置データに応答して空間パラメータデータを決定する手段を有する。
【００６６】
これは、改善された符号化及び／又は容易化された実施構成を可能にする。所望のサウンド信号位置は、Ｍチャンネル信号の個々のチャンネルに関する音源の位置に対応し得る。
【００６７】
当該デコーダは、例えば、異なる音源位置に関連したＨＲＴＦ空間パラメータデータを有するようなデータ記憶部を有することができ、使用すべき空間パラメータデータを、示された位置に対するパラメータデータを取り出すことにより決定することができる。
【００６８】
本発明のオプション的フィーチャによれば、当該オーディオデコーダは、前記関連するパラメトリックデータと、前記第１空間パラメータデータとは異なる第２両耳感知伝達関数に関する第２空間パラメータデータとに応答して、前記第１ステレオ信号を修正することにより１対の両耳出力チャンネルを生成する空間デコーダユニットを更に有する。
【００６９】
該フィーチャは、改善された空間合成を可能にすると共に、特に、特定のユーザに特に適した個人的又は個別化された空間合成両耳信号を可能にする。これは、旧来のステレオデコーダが該デコーダにおける空間合成を必要とすることなく空間両耳信号を発生するのを可能にしながら、達成することができる。従って、改善されたオーディオシステムを達成することができる。上記第２両耳知覚伝達関数は、特には第１空間パラメータデータの両耳知覚伝達関数とは異なるものとすることができる。該第２両耳知覚伝達関数及び第２空間データは、特に、当該デコーダの個々のユーザに対して個別化することができる。
【００７０】
本発明のオプション的フィーチャによれば、上記空間デコーダユニットは、前記パラメトリックデータを、前記第２空間パラメータデータを用いて両耳合成パラメータに変換するパラメータ変換ユニットと、前記１対の両耳チャンネルを、前記両耳合成パラメータ及び前記第１ステレオ信号を用いて合成する空間合成ユニットとを有する。
【００７１】
これは、改善された性能及び／又は容易化された実施構成及び／又は複雑さの低減を可能にする。上記両耳パラメータは、両耳チャンネルのサブバンドサンプルを発生するために第１ステレオ信号及び／又はダウン混合されたステレオ信号のサブバンドサンプルで乗算することができるようなパラメータとすることができる。該乗算は、例えば、マトリクス乗算であり得る。
【００７２】
本発明のオプション的フィーチャによれば、上記両耳合成パラメータは、前記ダウン混合されたステレオ信号のステレオサンプルを前記１対の両耳出力チャンネルのステレオサンプルに関係付ける２ｘ２マトリクスのマトリクス係数を有する。
【００７３】
これは、改善された性能及び／又は容易化された実施構成及び／又は複雑さの低減を可能にする。上記ステレオサンプルは、例えばＱＭＦ又はフーリエ変換周波数サブバンドのステレオサブバンドサンプルであり得る。
【００７４】
本発明のオプション的フィーチャによれば、上記両耳合成パラメータは、前記第１ステレオ信号のステレオサブバンドサンプルを前記１対の両耳出力チャンネルのステレオサンプルに関係付ける２ｘ２マトリクスのマトリクス係数を有する。
【００７５】
これは、改善された性能及び／又は容易化された実施構成及び／又は複雑さの低減を可能にする。上記ステレオサンプルは、例えばＱＭＦ又はフーリエ変換周波数サブバンドのステレオサブバンドサンプルであり得る。
【００７６】
本発明の他の態様によれば、Ｍチャンネルオーディオ信号を入力するステップと（但し、Ｍ＞２）、前記Ｍチャンネルオーディオ信号を第１ステレオ信号及び関連するパラメトリックデータにダウン混合するステップと、前記関連するパラメトリックデータ及び両耳知覚伝達関数のための空間パラメータデータに応答して前記第１ステレオ信号を修正し、両耳信号である第２ステレオ信号を発生するステップと、前記第２ステレオ信号を符号化して符号化データを発生するステップと、前記符号化データ及び前記関連するパラメトリックデータを有する出力データストリームを発生するステップとを有するようなオーディオ符号化方法が提供される。
【００７７】
本発明の他の態様によれば、
− Ｍチャンネルオーディオ信号（但し、Ｍ＞２）に対応した両耳信号である第１ステレオ信号と該Ｍチャンネルオーディオ信号のダウン混合されたステレオ信号に関連するパラメトリックデータとを有するような入力データを入力するステップと、
− 前記パラメトリックデータと前記第１ステレオ信号に関連する両耳知覚伝達関数のための空間パラメータデータとに応答して、前記第１ステレオ信号を修正することにより前記ダウン混合されたステレオ信号を発生するステップと、
を有するオーディオ復号方法が提供される。
【００７８】
本発明の他の態様によれば、Ｍチャンネルオーディオ信号（但し、Ｍ＞２）に対応した両耳信号である第１ステレオ信号と該Ｍチャンネルオーディオ信号のダウン混合されたステレオ信号に関連するパラメトリックデータとを有する入力データを入力する手段と、前記パラメトリックデータと前記第１ステレオ信号に関連する両耳知覚伝達関数のための空間パラメータデータとに応答して、前記第１ステレオ信号を修正することにより前記ダウン混合されたステレオ信号を発生する発生手段とを有するオーディオ信号を受信する受信機が提供される。
【００７９】
本発明の他の態様によれば、Ｍチャンネルオーディオ信号を入力する手段と（但し、Ｍ＞２）、前記Ｍチャンネルオーディオ信号を第１ステレオ信号及び関連するパラメトリックデータにダウン混合するダウン混合手段と、前記関連するパラメトリックデータ及び両耳知覚伝達関数のための空間パラメータデータに応答して前記第１ステレオ信号を修正し、両耳信号である第２ステレオ信号を発生する発生手段と、前記第２ステレオ信号を符号化して符号化データを発生する手段と、前記符号化データ及び前記関連するパラメトリックデータを有するような出力データストリームを発生する出力手段と、前記出力データストリームを送信する手段とを有するような出力データストリームを送信する送信機が提供される。
【００８０】
本発明の他の態様によれば、
Ｍチャンネルオーディオ信号を入力する手段と（但し、Ｍ＞２）、前記Ｍチャンネルオーディオ信号を第１ステレオ信号及び関連するパラメトリックデータにダウン混合するダウン混合手段と、前記関連するパラメトリックデータ及び両耳知覚伝達関数のための空間パラメータデータに応答して前記第１ステレオ信号を修正し、両耳信号である第２ステレオ信号を発生する発生手段と、前記第２ステレオ信号を符号化して符号化データを発生する手段と、前記符号化データ及び前記関連するパラメトリックデータを有するようなオーディオ出力データストリームを発生する出力手段と、前記オーディオ出力データストリームを送信する手段とを有する送信機と、
前記オーディオ出力データストリームを受信する手段と、前記パラメトリックデータと前記空間パラメータデータとに応答して、前記第２ステレオ信号を修正することにより前記第１ステレオ信号を発生する手段とを有する受信機と、
を有するようなオーディオ信号を伝送する伝送システムが提供される。
【００８１】
本発明の他の態様によれば、Ｍチャンネルオーディオ信号（但し、Ｍ＞２）に対応した両耳信号である第１ステレオ信号と該Ｍチャンネルオーディオ信号のダウン混合されたステレオ信号に関連するパラメトリックデータとを有する入力データを受信するステップと、前記パラメトリックデータと前記第１ステレオ信号に関連する両耳知覚伝達関数のための空間パラメータデータとに応答して、前記第１ステレオ信号を修正することにより前記ダウン混合されたステレオ信号を発生するステップとを有するようなオーディオ信号を受信する方法が提供される。
【００８２】
本発明の他の態様によれば、Ｍチャンネルオーディオ信号を入力するステップと（但し、Ｍ＞２）、前記Ｍチャンネルオーディオ信号を第１ステレオ信号及び関連するパラメトリックデータにダウン混合するステップと、前記関連するパラメトリックデータ及び両耳知覚伝達関数のための空間パラメータデータに応答して前記第１ステレオ信号を修正し、両耳信号である第２ステレオ信号を発生するステップと、前記第２ステレオ信号を符号化して符号化データを発生するステップと、前記符号化データ及び前記関連するパラメトリックデータを有するようなオーディオ出力データストリームを発生するステップと、前記オーディオ出力データストリームを送信するステップとを有するようなオーディオ出力データストリームを送信する方法が提供される。
【００８３】
本発明の他の態様によれば、Ｍチャンネルオーディオ信号を入力するステップと（但し、Ｍ＞２）、前記Ｍチャンネルオーディオ信号を第１ステレオ信号及び関連するパラメトリックデータにダウン混合するステップと、前記関連するパラメトリックデータ及び両耳知覚伝達関数のための空間パラメータデータに応答して前記第１ステレオ信号を修正し、両耳信号である第２ステレオ信号を発生するステップと、前記第２ステレオ信号を符号化して符号化データを発生するステップと、前記符号化データ及び前記関連するパラメトリックデータを有するようなオーディオ出力データストリームを発生するステップと、前記オーディオ出力データストリームを送信するステップと、前記オーディオ出力データストリームを受信するステップと、前記パラメトリックデータと前記空間パラメータデータとに応答して、前記第２ステレオ信号を修正することにより前記第１ステレオ信号を発生するステップとを有するようなオーディオ信号を送信及び受信する方法が提供される。
【００８４】
本発明の他の態様によれば、上述した方法の何れかを実行するためのコンピュータプログラムが提供される。
【００８５】
本発明の他の態様によれば、前述したエンコーダに従うエンコーダを有するようなオーディオ記録装置が提供される。
【００８６】
本発明の他の態様によれば、前述したデコーダに従うデコーダを有するようなオーディオ再生装置が提供される。
【００８７】
本発明の他の態様によれば、第１ステレオ信号と、Ｍチャンネルオーディオ信号（但し、Ｍ＞２）のダウン混合されたステレオ信号に関連するパラメトリックデータとを有し、前記第１ステレオ信号が前記Ｍチャンネルオーディオ信号に対応する両耳信号であるようなオーディオ信号のためのオーディオデータストリームが提供される。
【００８８】
本発明の他の態様によれば、上述したような信号が記憶された記憶媒体が提供される。
【００８９】
本発明の、これら及び他の態様、フィーチャ並びに利点は、以下に説明する実施例から明らかとなり、斯かる実施例を参照して解説されるであろう。
【発明を実施するための最良の形態】
【００９０】
以下、本発明の実施例を、図面を参照して例示としてのみ説明する。
【００９１】
図３は、本発明の幾つかの実施例によるオーディオ信号の通信のための伝送システム３００を示す。該伝送システム３００は、ネットワーク３０５を開始して受信機３０３に結合された送信機３０１を示し、上記ネットワークはインターネットとすることができる。
【００９２】
該特定の例において、送信機３０１は信号記録装置であり、受信機は信号再生装置３０３であるが、他の実施例では送信機及び受信機は他の用途において他の目的に使用することができると理解される。例えば、送信機３０１及び／又は受信機３０３は、トランスコーディング機能の一部とすることができ、例えば他の信号源又は宛先に対するインターフェース機能を提供することができる。
【００９３】
信号記録機能がサポートされる該特定の例では、送信機３０１はデジタイザ３０７を有し、該デジタイザはアナログ信号を受信し、該アナログ信号はサンプリング及びアナログ／デジタル変換によりデジタルＰＣＭ信号に変換される。デジタイザ３０７は、複数の信号をサンプリングし、これにより多チャンネル信号を発生する。
【００９４】
送信機３０１は図１のエンコーダ３０９に結合され、該エンコーダは上記多チャンネル信号を符号化アルゴリズムに従って符号化する。エンコーダ３０９はネットワーク送信機３１１に結合され、該ネットワーク送信機は上記符号化された信号を入力すると共にインターネット３０５にインターフェースする。上記ネットワーク送信機は、上記符号化された信号を、インターネット３０５を介して受信機３０３に送信することができる。
【００９５】
受信機３０３はネットワークレシーバ３１３を有し、該ネットワークレシーバはインターネット３０５とインターフェースすると共に、送信機３０１から前記符号化された信号を受信するように構成されている。
【００９６】
ネットワークレシーバ３１３はデコーダ３１５に結合されている。デコーダ３１５は、上記の符号化された信号を入力し、該信号を復号アルゴリズムに従って復号する。
【００９７】
信号再生機能がサポートされる該特定の例では、受信機３０３は更に信号再生器３１７を有し、該再生器はデコーダ３１５から復号されたオーディオ信号を入力すると共に、該信号をユーザに提供する。即ち、信号再生器３１３は、復号されたオーディオ信号を出力する必要に応じて、デジタル／アナログ変換器、増幅器及びスピーカを有することができる。
【００９８】
当該特定の例において、エンコーダ３０９は５チャンネルサラウンドサウンド信号を入力し、該信号をステレオ信号にダウン混合する。次いで、該ステレオ信号は両耳信号を発生するように後処理されるが、該両耳信号は、特には、３Ｄ両耳ダウンミックスの形態の両耳仮想空間信号である。空間符号化の後のダウンミックスに作用する３Ｄ後処理段を使用することにより、３Ｄ処理はデコーダ３１５において逆処理することができる。結果として、スピーカ再生用の多チャンネルデコーダは、修正されたステレオダウンミックスによる品質の大きな劣化は示すことがなく、同時に、従来のステレオデコーダも３Ｄ適合信号を生成するであろう。このように、エンコーダ３０９は、高品質多チャンネル復号を可能にすると同時に、１対のヘッドフォンに信号を供給する伝統的なデコーダからのような、伝統的ステレオ出力からの疑似空間体験を可能にするような信号を発生することができる。
【００９９】
図４は、エンコーダ３０９を、より詳細に示す。
【０１００】
エンコーダ３０９は、多チャンネルオーディオ信号を入力する多チャンネルレシーバを有している。説明される原理は、２より大きな如何なる数のチャンネルをも有する多チャンネル信号に適用されるが、該特定の例は、標準のサラウンドサウンド信号に対応する５チャンネル信号に焦点を絞る（明瞭化及び簡略化のために、サウンド信号にしばしば使用される低い周波数の信号は無視される。しかしながら、当業者にとっては、当該多チャンネル信号が追加の低周波数チャンネルを有することができることは明らかであろう。このチャンネルは、例えば、ダウン混合プロセッサによりセンタチャンネルと組み合わせることができる）。
【０１０１】
多チャンネルレシーバ４０１はダウンミックスプロセッサ４０３に結合され、該プロセッサは上記５チャンネルオーディオ信号を第１ステレオ信号にダウン混合するように構成されている。更に、該ダウンミックスプロセッサ４０３は、第１ステレオ信号に関連されると共に該第１ステレオ信号を当該多チャンネル信号の元のチャンネルに関係付けるオーディオキュー及び情報を含むようなパラメトリックデータ４０５を発生する。
【０１０２】
ダウンミックスプロセッサ４０３は、例えば、ＭＰＥＧサラウンド多チャンネルエンコーダとして実施化することができる。このようなエンコーダの一例が、図５に図示されている。該例において、多チャンネル入力信号はＬｆ（左フロント）、Ｌｓ（左サラウンドサウンド）、Ｃ（センタ）、ＲＦ（右フロント）及びＲｓ（右サラウンド）チャンネルからなっている。Ｌｆ及びＬｓチャンネルは第１のＴＴＯ（２／１）ダウンミキサ５０１に供給され、該ダウンミキサは左（Ｌ）チャンネル用のモノダウンミックス、並びに２つの入力チャンネルＬｆ及びＬｓを出力Ｌチャンネルに関係付けるパラメータを発生する。同様にして、Ｒｆ及びＲｓチャンネルは第２のＴＴＯダウンミキサ５０３に供給され、該ダウンミキサは右（Ｒ）チャンネル用のモノダウンミックス、並びに２つの入力チャンネルＲｆ及びＲｓを出力Ｒチャンネルに関係付けるパラメータを発生する。次いで、Ｒ、Ｌ及びＣチャンネルはＴＴＴ（３／２）ダウンミキサ５０５に供給され、該ダウンミキサは、これら３つの信号を組み合わせてステレオダウンミックス及び付加的空間パラメータを発生する。
【０１０３】
ＴＴＴダウンミキサ５０５から得られる上記パラメータは、典型的には、各パラメータ帯域に関する１対の予測係数、又は上記３つの信号のエネルギ比を記述する１対のレベル差からなる。ＴＴＯダウンミキサ５０１、５０３のパラメータは、典型的には、各周波数帯域に関する入力信号間のレベル差及びコヒーレンス又は相互相関値からなる。
【０１０４】
このように、発生された第１ステレオ信号は、複数のダウン混合されたチャンネルを有する従来の標準のステレオ信号である。多チャンネルデコーダは、アップ混合すると共に関連パラメトリックデータを適用することにより元の多チャンネル信号を生成することができる。しかしながら、標準のステレオデコーダはステレオ信号を単に提供するのみであるので、空間情報を放出してしまい、ユーザ体験を低下させる。
【０１０５】
しかしながら、エンコーダ３０９においては、ダウン混合された信号は直接符号化及び送信されるのではない。むしろ、第１ステレオ信号は空間プロセッサ４０７に供給され、該プロセッサにはダウンミックスプロセッサ４０３から関連パラメータデータ４０５も供給される。該空間プロセッサ４０７は、更に、ＨＲＴＦプロセッサ４０９にも結合されている。
【０１０６】
ＨＲＴＦプロセッサ４０９は、３Ｄ両耳信号を発生するために空間プロセッサ４０７により使用される頭部伝達関数（ＨＲＴＦ）を発生する。即ち、ＨＲＴＦは所与の音源位置から鼓膜までのインパルス応答による伝達関数を記述する。ＨＲＴＦプロセッサ４０９は、特に、或る周波数副帯域（サブバンド）における所望のＨＲＴＦ関数の値に対応するようなＨＲＴＦパラメータデータを発生する。ＨＲＴＦプロセッサ４０９は、例えば、当該多チャンネル信号のチャンネルのうちの１つの音源位置に対してＨＲＴＦを計算することができる。この伝達関数は、適切な周波数サブバンドドメイン（ＱＭＦ又はＦＦＴサブバンドドメイン等の）に変換することができ、各サブバンドにおける対応するＨＲＴＦパラメータ値を決定することができる。
【０１０７】
本説明は頭部伝達関数の適用に焦点を絞っているが、説明される方法及び原理は、両耳室内インパルス応答（ＢＲＩＲ）関数等の他の（空間）両耳知覚伝達関数にも同様に等しく適用することができることが理解されよう。両耳知覚伝達関数の他の例は、１つの入力チャンネルから両耳ステレオ出力チャンネルの各々への信号レベルの相対量を記述する簡単な振幅パンニング規則（panning rule）である。
【０１０８】
幾つかの実施例では、上記ＨＲＴＦパラメータは動的に計算することができる一方、他の実施例では、斯かるパラメータは予め決定され、適切なデータ記憶部に記憶することができる。例えば、ＨＲＴＦパラメータはデータベースに方位（azimuth）、仰角（elevation）、距離及び周波数帯域の関数として記憶することができる。この場合、所与の周波数サブバンドに対する適切なＨＲＴＦパラメータは、所望の空間音源位置に対する値を選択することにより簡単に取り出すことができる。
【０１０９】
空間プロセッサ４０７は、関連パラメトリックデータ及び空間ＨＲＴＦパラメータデータに応答して、第１ステレオ信号を修正し、第２ステレオ信号を発生する。第１ステレオ信号とは対照的に、第２ステレオ信号は、両耳仮想空間信号であり、特には、通常のステレオシステムを介して（例えば、１対のヘッドフォンにより）提供された場合に、異なる音源位置にある３以上の音源の存在をエミュレーションするような向上された空間体験を提供することができるような３Ｄ両耳信号である。
【０１１０】
第２ステレオ信号はエンコードプロセッサ４１１に供給され、該エンコードプロセッサは上記空間プロセッサ４０７に結合されると共に、第２ステレオ信号を送信に適したデータストリームに符号化する（例えば、適切な量子化レベルを適用する等）。該エンコードプロセッサ４１１は出力プロセッサ４１３に結合され、該出力プロセッサは少なくとも符号化された第２ステレオ信号データ及びダウンミックスプロセッサ４０３により発生された関連パラメータデータ４０５を組み合わせることにより出力ストリームを発生する。
【０１１１】
典型的には、ＨＲＴＦ合成は個々の音源の全てに関する波形（例えば、サラウンドサウンド信号の状況でのスピーカ信号）を必要とする。しかしながら、エンコーダ３０７においてはＨＲＴＦ対が周波数サブバンドに対してパラメータ化されており、これにより、例えば仮想５.１スピーカ設定が、符号化（及びダウン混合）の間に抽出された空間パラメータの助けにより、前記多チャンネル入力信号のダウンミックスの低複雑度の後処理により発生されるのを可能にする。
【０１１２】
前記空間プロセッサは、特に、ＱＭＦ又はＦＦＴサブバンドドメイン等のサブバンドドメインで動作することができる。ダウン混合された第１ステレオ信号を復号して元の多チャンネル信号を発生し、これにＨＲＴＦフィルタ処理を用いたＨＲＴＦ合成が後続されるようにする代わりに、空間プロセッサ４０７は、各サブバンドに対して、ダウン混合された第１ステレオ信号の多チャンネル信号への復号と、これに後続する該多チャンネル信号の３Ｄ両耳信号としての再符号化との組み合わせ効果に対応するようなパラメータ値を発生する。
【０１１３】
即ち、発明者は、３Ｄ両耳信号は上記第１信号のサブバンド信号値に２ｘ２マトリクス乗算を適用することにより発生することができることを理解した。該第２信号の結果的信号値は、縦続接続されたチャンネル復号及びＨＲＴＦ合成により発生されるであろう信号値に密接に対応する。このように、多チャンネル復号とＨＲＴＦ合成との組み合わせ信号処理は、第２信号の所望のサブバンド値を発生するために第１信号のサブバンド信号値に簡単に適用することができるような４つのパラメータ値（マトリクス係数）へと組み合わせることができる。該マトリクスパラメータ値は、多チャンネル信号の復号とＨＲＴＦ合成との組み合わせ処理を反映するので、斯かるパラメータ値は、ダウンミックスプロセッサ４０３からの関連パラメータデータ及びＨＲＴＦパラメータの両方に応答して決定される。
【０１１４】
エンコーダ３０９において、ＨＲＴＦ関数は個々の周波数帯域に対してパラメータ化される。ＨＲＴＦパラメータ化の目的は、各ＨＲＴＦ対から音源配置に関する最も重要なキュー（合図）を捕捉することである。これらのパラメータは、
− 左耳インパルス応答に関する周波数サブバンド毎の（平均）レベル、
− 右耳インパルス応答に関する周波数サブバンド毎の（平均）レベル、
− 左耳インパルス応答と右耳インパルス応答との間の（平均）到達時間又は位相差、
− 左耳インパルス応答及び右耳インパルス応答の両方に関する周波数サブバンド毎の（平均）絶対位相又は時間（若しくは群遅延）（この場合、上記時間又は位相差は、殆どの場合、不要となる）、
− 対応するインパルス応答の間の周波数サブバンド毎のチャンネル相互間相関又はコヒーレンス、
を含むことができる。
【０１１５】
周波数サブバンド当たりの上記レベルパラメータは、仰角合成（スペクトルにおける特定のピーク及び谷による）及び方位に対するレベル差（各サブバンドに関するレベルパラメータの比により決定される）を容易にすることができる。
【０１１６】
前記絶対位相値又は位相差値は両耳の間の到達時間差を捕捉することができ、これらは音源方位に対する重要なキューでもある。前記コヒーレンス値は、（パラメータ）帯域毎に平均されるレベル及び／又は位相差に貢献し得ない両耳の間の微細な構造差をシミュレーションするために追加することができる。
【０１１７】
以下、空間プロセッサ４０７による処理の特定の例を説明する。該例において、音源の位置は、聴取者に対して図６に示されるように方位角α及び距離Ｄにより定められる。当該聴取者の左に配置された音源は、正の方位角に対応する。該音源位置から左耳までの伝達関数はＨＬにより示され、該音源位置から右耳までの伝達関数はＨＲにより示される。
【０１１８】
伝達関数ＨＬ及びＨＲは、方位角α、距離Ｄ及び仰角ε（図６には示されていない）に依存する。パラメトリック表現では、上記伝達関数は、ＨＲＴＦ周波数サブバンドｂｈ当たり３つのパラメータの組として記述することができる。このパラメータの組は、左伝達関数に関する周波数帯域当たりの平均レベルＰl(α,ε,D,bh)、右伝達関数に関する周波数帯域当たりの平均レベルＰr(α,ε,D,bh)及び周波数帯域当たりの平均位相差φ(α,ε,D,bh)を含む。この組の可能性のある拡張は、ＨＲＴＦ周波数帯域当たりの左及び右伝達関数のコヒーレンス尺度ρ(α,ε,D,bh)を含めることである。これらのパラメータはデータベースに方位、仰角、距離及び周波数帯域の関数として記憶することができ、及び／又は何らかの解析関数を用いて計算することができる。例えば、Ｐｌ及びＰｒパラメータは方位及び仰角の関数として記憶することができる一方、距離の効果は、これらの値を距離自体で除算することにより得られる（信号レベルと距離との間の１／Ｄなる関係を仮定する）。以下において、Ｐl(Lf)なる表記は、Ｌｆチャンネルの音源位置に対応する空間パラメータＰlを示す。
【０１１９】
ＨＲＴＦパラメータ化のための周波数サブバンド（ｂｈ）の数及び各サブバンドの帯域幅は、空間プロセッサ４０７により使用される（ＱＭＦ）フィルタバンクの周波数分解能（ｋ）又はダウンミックスプロセッサ４０３及び関連パラメータバンド（ｂｐ）の空間パラメータ分解能と必ずしも等しい必要はないことに注意すべきである。例えば、ＱＭＦハイブリッドフィルタバンクは７１チャンネルを持つことができ、ＨＲＴＦは２８の周波数帯域でパラメータ化することができ、空間符号化は１０個のパラメータバンドを用いて実行することができる。そのような場合、空間及びＨＲＴＦパラメータからＱＭＦハイブリッドインデックスへのマッピングは、例えば、ルックアップテーブル又は補間若しくは平均化関数を用いて適用することができる。当該説明では、下記のパラメータインデックスが用いられる。
【表１】
【０１２０】
該特定の例において、空間プロセッサ４０７は前記第１ステレオ信号をＱＭＦフィルタ処理により適切な周波数サブバンドに分割する。各サブバンドに関し、サブバンド値ＬＢ及びＲＢは、
【数３】
として決定され、ここでＬ０及びＲ０は第１ステレオ信号の対応するサブバンド値であり、マトリクス値ｈi,jはＨＲＴＦパラメータ及びダウンミックス関連パラメトリックデータから決定される。
【０１２１】
上記マトリクス係数は、ダウンミックスの特性を全ての個々のチャンネルが所望の音源位置に対応するＨＲＴＦにより処理されたかのように再生することを目的とするもので、これらは前記多チャンネル信号の復号と、これに対するＨＲＴＦ合成の実行との組み合わせ効果を有するものである。
【０１２２】
即ち、図５及び該図の説明を参照すると、上記マトリクス値は、
【数４】
として決定することができ、ここで、ｍk,lはＴＴＴダウンミキサ５０５により発生されたパラメトリックデータに応答して決定されるパラメータである。
【０１２３】
詳細に述べると、Ｌ、Ｒ及びＣ信号はステレオダウンミックス信号Ｌ０及びＲ０から、
【数５】
により発生され、ここで、ｍk,lは２つの予測係数ｃ１及びｃ２に依存し、これらは送信される空間パラメータの一部である。
【数６】
【０１２４】
ＨＪ(Ｘ)は、第２ステレオ信号のステレオ出力チャンネルＪに対するチャンネルＸ用のＨＲＴＦパラメータデータ及び適切なダウンミックスパラメータに応答して決定される。
【０１２５】
詳細には、ＨＪ(Ｘ)パラメータは２つのＴＴＯダウンミキサ５０１及び５０３により発生された左（Ｌ）及び右（Ｒ）ダウンミックス信号に関係するもので、２つのダウン混合されたチャンネルに対するＨＲＴＦパラメータデータに応答して決定することができる。即ち、２つの個々の左（Ｌｆ及びＬｓ）又は右（Ｒｆ及びＲｓ）チャンネルに関するＨＲＴＦパラメータの加重組み合わせを使用することができる。個々のパラメータは、個々の信号の相対エネルギにより重みを付けることができる。特定の例として、左（Ｌ）信号に対して下記の値を決定することができ、
【数７】
ここで、重みＷｘは、
【数８】
により与えられ、ＣＬＤｌはデシベルで規定される左フロント（Ｌｆ）と左サラウンド（Ｌｓ）との間の"チャンネルレベル差"であり（これは空間パラメータビットストリームの一部である）、
【数９】
ここで、ρ2lfはＬｆチャンネルのパラメータサブバンドにおけるパワーであり、ρ2lsはＬｓチャンネルの対応するサブバンドにおけるパワーである。
【０１２６】
同様にして、右（Ｒ）信号に対して下記の値を決定することができ、
【数１０】
センタ（Ｃ）信号に対して、
【数１１】
を決定することができる。
【０１２７】
このように、上述した方法を使用すれば、低複雑度の空間処理が、ダウン混合された多チャンネル信号に基づいて両耳仮想空間信号が発生されるのを可能にすることができる。
【０１２８】
以上のように、上述した方法の利点は、前記関連ダウンミックスパラメータの周波数サブバンド、空間プロセッサ４０７による空間処理及びＨＲＴＦパラメータが同一である必要がないということである。例えば、或るサブバンドのパラメータと空間処理のサブバンドとの間のマッピングを実行することができる。例えば、空間処理サブバンドが２つのＨＲＴＦパラメータサブバンドに対応する周波数区間をカバーする場合、空間プロセッサ４０７は、全てのＨＲＴＦパラメータサブバンドに対して当該空間パラメータに対応するのと同一の空間パラメータを使用して、ＨＲＴＦパラメータサブバンドに対し（個々の）処理を単に適用することができる。
【０１２９】
幾つかの実施例では、エンコーダ３０９は、デコーダが出力ストリームにおける音源の1以上の所望の位置データを識別するのを可能にするような音源位置データを含むように構成することができる。これは、デコーダがエンコーダ３０９により適用されたＨＲＴＦパラメータを決定するのを可能にし、これにより、デコーダが空間プロセッサ４０７の処理を逆処理するのを可能にする。付加的に又は代替的に、上記エンコーダは出力ストリームにＨＲＴＦパラメータの少なくとも幾つかを含むように構成することができる。
【０１３０】
このように、オプションとして、ＨＲＴＦパラメータ及び／又はスピーカ位置データを出力ストリームに含めることができる。これは、例えば、スピーカ位置データの時間の関数としての動的更新（スピーカ位置の送信の場合）又は個性化されたＨＲＴＦデータの使用（ＨＲＴＦパラメータの送信の場合）を可能にする。
【０１３１】
ＨＲＴＦパラメータがビットストリームの一部として送信される場合、各周波数帯域及び各音源位置に対して少なくともＰｌ、Ｐｒ及びφパラメータを送信することができる。大きさのパラメータＰｌ、Ｐｒは、線形量子化器を用いて量子化することができるか、又は対数ドメインで量子化することができる。位相角φは線形に量子化することができる。この場合、量子化器のインデックスをビットストリームに含めることができる。
【０１３２】
更に、位相角φは、典型的には２.５ｋＨｚより高い周波数に対してはゼロであると仮定することができる。何故なら、両耳間位相情報は高い周波数に対しては知覚的に無関係であるからである。
【０１３３】
量子化の後、ＨＲＴＦパラメータ量子化器インデックスに対して種々の無損失圧縮方式を適用することができる。例えば、恐らくは周波数帯域に跨る異なる符号化との組み合わせで、エントロピ符号化を適用することができる。他の例として、ＨＲＴＦパラメータは、共通の又は平均のＨＲＴＦパラメータ組に対する差分として表すこともできる。これは、特に、大きさのパラメータに対して当てはまる。それ以外では、位相パラメータは、単に仰角及び方位を符号化することにより極めて正確に近似することができる。両耳に対する経路差がある場合、到達時間差を計算することにより（典型的に、到達時間差は特に周波数依存性であり、殆どの方位及び仰角に依存する）、対応する位相パラメータを導出することができる。更に、測定された差は、方位及び仰角値に基づいて予測値に対して差分的に符号化することができる。
【０１３４】
また、主成分の分解に、幾つかの最も重要なＰＣＡ重みの送信が後続するような損失性圧縮方式も適用することができる。
【０１３５】
図７は、本発明の実施例による多チャンネルデコーダの一例を示す。該デコーダは、特には、図３のデコーダ３１５であり得る。
【０１３６】
該デコーダ３１５は、エンコーダ３０９からの出力ストリームを入力する入力レシーバ７０１を有している。該入力レシーバ７０１は、入力されたデータストリームをデマルチプレクスし、関連するデータを適切な機能エレメントに供給する。
【０１３７】
入力レシーバ７０１はデコードプロセッサ７０３に結合され、該プロセッサには前記第2ステレオ信号の符号化データが供給される。デコードプロセッサ７０３は、このデータを復号して、前記空間プロセッサ４０７により作成された両耳仮想空間信号を発生する。
【０１３８】
デコードプロセッサ７０３は逆処理プロセッサ７０５に結合され、該プロセッサは、空間プロセッサ４０７により実行された処理を逆処理するように構成されている。このようにして、逆処理プロセッサ７０５は、ダウンミックスプロセッサ４０３により作成されたダウン混合されたステレオ信号を発生する。
【０１３９】
詳細には、上記逆処理プロセッサ７０５は、入力された両耳仮想空間信号のサブバンド値にマトリクス乗算を適用することにより、ダウン混合されたステレオ信号を発生する。該マトリクス乗算は、空間プロセッサ４０７により使用されたものの逆行列に対応するマトリクスによるもので、これにより、この処理を逆処理する、
【数１２】
【０１４０】
このマトリクス乗算は、
【数１３】
と書くこともできる。
【０１４１】
上記マトリクス係数ｑk,lは、ダウンミックス信号に関連する（及びエンコーダ３０９からのデータストリームで受信された）パラメトリックデータ及びＨＲＴＦパラメータデータから決定される。即ち、前記エンコーダ３０９に関して説明した方法を、マトリクス係数ｈxyを発生するためにデコーダ４０９により使用することもできる。この場合、マトリクス係数ｑxyは、標準の行列反転により見つけることができる。
【０１４２】
上記逆処理プロセッサ７０５はパラメータプロセッサ７０７に結合され、該パラメータプロセッサは使用されるべきＨＲＴＦパラメータを決定する。幾つかの実施例では、該ＨＲＴＦパラメータは受信されたデータストリームに含まれており、該データストリームから簡単に抽出することができる。他の実施例では、例えばデータベースに異なる音源位置に関して異なるＨＲＴＦパラメータを記憶することができ、パラメータプロセッサ７０７がＨＲＴＦパラメータを所望の信号源位置に対応する値を取り出すことにより決定することができる。幾つかの実施例では、所望の信号源位置（又は複数の位置）を、エンコーダ３０９からのデータストリームに含めることができる。パラメータプロセッサ７０７は、この情報を抽出し、該情報を使用してＨＲＴＦパラメータを決定することができる。例えば、該プロセッサは、音源位置（又は複数の位置）を示すために記憶されたＨＲＴＦパラメータを取り出すことができる。
【０１４３】
幾つかの実施例では、前記逆処理プロセッサにより発生されたステレオ信号を直接出力することができる。しかしながら、他の実施例では、該ステレオ信号は多チャンネルデコーダ７０９に供給され、該デコーダは、ダウン混合されたステレオ信号及び入力されたパラメトリックデータからＭチャンネル信号を発生することができる。
【０１４４】
当該例において、３Ｄ両耳合成の逆処理は、ＱＭＦ又はフーリエ周波数サブバンドにおけるように、サブバンドドメインにおいて実行される。このように、デコードプロセッサ７０３は、逆処理プロセッサ７０５に供給されるサブバンドサンプルを発生するためにＱＭＦフィルタバンク又は高速フーリエ変換（ＦＦＴ）を有することができる。同様にして、逆処理プロセッサ７０５又は多チャンネルデコーダ７０９は、当該信号を時間ドメインに戻すように変換するために逆ＦＦＴ又はＱＭＦフィルタバンクを有することができる。
【０１４５】
エンコーダ側における３Ｄ両耳信号の発生は、従来のステレオデコーダによりヘッドセットのユーザに空間聴取体験が提供されるのを可能にする。このように、上述した方法は、旧来のステレオ装置が３Ｄ両耳信号を再生することができるという利点を有している。そのようであるので、３Ｄ両耳信号を再生するために、追加の後処理を適用する必要がなく、結果的に低複雑度の解決策となる。
【０１４６】
しかしながら、このような方法では、典型的には一般化されたＨＲＴＦが使用され、斯かるＨＲＴＦは、幾つかのケースにおいては、特定のユーザに対して最適化された専用のＨＲＴＦデータを使用するデコーダにおける３Ｄ両耳信号の発生と比較して、準最適な空間発生にしかならない。
【０１４７】
即ち、距離の限られた知覚及び可能性のある音源配置エラーが、時には、個性化されていないＨＲＴＦ（ダミー頭部又は他人に対して測定されたインパルス応答等）の使用から生じ得る。基本的に、ＨＲＴＦは、人体の解剖学的幾何学構造の差により、人毎に相違する。従って、正しい音源配置の点での最適な結果は、個性化されたＨＲＴＦデータにより最良に達成され得るものである。
【０１４８】
幾つかの実施例においては、デコーダ３１５は、先ずエンコーダ３０９の空間処理を逆処理し、次にローカルなＨＲＴＦデータを用いて、特には特定のユーザに対して最適化された個人的ＨＲＴＦデータを用いて３Ｄ両耳信号を発生するような機能を更に有することができる。このように、この実施例においては、デコーダ３１５は、ダウン混合されたステレオ信号を前記関連パラメトリックデータ及びエンコーダ３０９において使用された（ＨＲＴＦ）データとは異なるＨＲＴＦパラメータデータを使用して修正することにより１対の両耳出力チャンネルを発生する。従って、この方法は、エンコーダ側の３Ｄ合成、デコーダ側の逆処理、及びこれらに後続する他のステージのデコーダ側３Ｄ合成の組み合わせを提供する。
【０１４９】
斯様な方法の利点は、旧来のステレオ装置が基本的３Ｄ品質を提供するような出力としての３Ｄ両耳信号を有する一方、拡張されたデコーダは個性化されたＨＲＴＦを使用して改善された３Ｄ品質を可能にするようなオプションを有することになることである。この様に、旧来の互換性のある３Ｄ合成及び高品質の専用３Ｄ合成の両方が、同一のオーディオシステムで可能となる。
【０１５０】
このようなシステムの一例が図８に示されており、該図は個別化された３Ｄ両耳信号を提供するために、図７のデコーダに追加の空間プロセッサ８０１をどの様に追加することができるかを示している。幾つかの実施例では、空間プロセッサ８０１は、オーディオチャンネルの各々に対し個人的ＨＲＴＦを用いて単に直截な３Ｄ両耳合成を行うことができる。このように、当該デコーダは元の多チャンネル信号を生成し、これを個別化されたＨＲＴＦフィルタ処理を用いて３Ｄ両耳信号に変換することができる。
【０１５１】
他の実施例では、エンコーダ合成の逆処理及びデコーダ合成を組み合わせて、低複雑度の処理を提供することができる。即ち、デコーダ合成に使用される個別化されたＨＲＴＦを、パラメータ化し、エンコーダ３Ｄ合成に使用されたパラメータ（の逆）と組み合わせることができる。
【０１５２】
更に詳細には、前述したように、エンコーダ合成は、ダウン混合された信号のステレオサブバンドサンプルを２ｘ２マトリクスにより乗算する処理、
【数１４】
を含み、ここで、Ｌ０、Ｒ０は上記ダウン混合されたステレオ信号の対応するサブバンド値であり、マトリクス値ｈj,kは前述したようにＨＲＴＦパラメータ及びダウンミックス関連パラメトリックデータから決定されるパラメータである。
【０１５３】
逆処理プロセッサ７０５により実行される反転は、
【数１５】
により与えられ、ここで、ＬＢ、ＲＢはデコーダのダウン混合されたステレオ信号の対応するサブバンド値である。
【０１５４】
デコーダ側の適切な逆処理を保証するためには、３Ｄ両耳信号を発生するためにエンコーダにおいて使用されたＨＲＴＦパラメータ及び該３Ｄ両耳信号を逆処理するために使用されるＨＲＴＦパラメータは同一とするか又は十分に類似したものとする。１つのビットストリームは、通常、幾つかのデコーダに作用するので、３Ｄ両耳ダウンミックスの個性化はエンコーダ合成により得るのは困難である。
【０１５５】
しかしながら、３Ｄ両耳合成処理は可逆的であるので、逆処理プロセッサ７０５はダウン混合されたステレオ信号を再生し、次いで該ステレオ信号が、個性化されたＨＲＴＦに基づいて３Ｄ両耳信号を発生するために使用される。
【０１５６】
即ち、エンコーダ３０９における処理と同様に、デコーダ３１５における３Ｄ両耳合成は、３Ｄ両耳信号ＬＢ、ＲＢを発生するためのダウンミックス信号Ｌ０，Ｒ０に対する簡単なサブバンド毎の２ｘ２マトリクス演算により下記のように発生することができ、
【数１６】
ここで、パラメータｐx,yは、ｈx,yが汎用ＨＲＴＦに基づきエンコーダ３０９により発生されたのと同様の方法で、個性化されたＨＲＴＦに基づいて決定される。更に詳細には、エンコーダ３０９においては、パラメータｈx,yは多チャンネルパラメトリックデータ及び汎用ＨＲＴＦから決定される。上記多チャンネルパラメトリックデータはデコーダ３１５に送信されるので、該デコーダにより上記と同じ方法を個人的ＨＲＴＦに基づいてｐx,yを計算するために使用することができる。
【０１５７】
これを、逆処理プロセッサ７０５の処理と組み合わせると、
【数１７】
となる。
【０１５８】
この式において、マトリクスエントリｈx,yはエンコーダで使用された汎用の個性化されていないＨＲＴＦを用いて得られる一方、マトリクスエントリｐx,yは別の好ましくは個性化されたＨＲＴＦ組を用いて求められる。従って、非個性化ＨＲＴＦデータを用いて発生された３Ｄ両耳入力信号ＬＢ，ＲＢは、別の個性化されたＨＲＴＦデータを用いて他の３Ｄ両耳出力信号ＬB'，ＲB'に変換される。
【０１５９】
更に、示されたように、エンコーダ合成の逆処理及びデコーダ合成の組み合わせ方法は、簡単な２ｘ２マトリクス演算により達成することができる。従って、この組み合わせ処理の計算的複雑さは、実質的に、簡単な３Ｄ両耳逆処理に関するものと同じである。
【０１６０】
図９は、上述した原理に従って動作するデコーダ３１５の一例を示す。詳細には、エンコーダ３０９からの３Ｄ両耳ステレオダウンミックスのステレオサブバンドサンプルは逆処理プロセッサ７０５に供給され、該プロセッサは２ｘ２マトリクス演算により元のステレオダウンミックスサンプルを再生する。
【数１８】
【０１６１】
結果としてのサブバンドサンプルは空間合成ユニット９０１に供給され、該ユニットは、これらサンプルを２ｘ２マトリクスにより乗算することにより個性化された３Ｄ両耳信号を発生する。
【数１９】
【０１６２】
上記マトリクス係数は、エンコーダ３０９から受信された多チャンネル拡張データと個性化されたＨＲＴＦとに基づいてパラメータを発生するパラメータ変換ユニット９０３により発生される。
【０１６３】
合成サブバンドサンプルＬＢ，ＲＢはサブバンド／時間ドメイン変換器９０５に供給され、該変換器はユーザに提供することが可能な３Ｄ時間ドメイン信号を発生する。
【０１６４】
図９は、非個性化ＨＲＴＦに基づく３Ｄ逆処理のステップ及び個性化されたＨＲＴＦに基づく３Ｄ合成のステップを異なる機能ユニットによる順次処理として示しているが、多くの実施例においては、これら処理は単一のマトリクスの適用により同時に適用することができることが分かるであろう。即ち、２ｘ２マトリクス、
【数２０】
が計算され、出力サンプルが、
【数２１】
と計算される。
【０１６５】
上述したシステムは下記のものを含む多数の利点を提供することが分かるであろう。
− 多チャンネルデコーダにおいて、空間ステレオ処理としての多チャンネル再生を（知覚的に）僅かな品質劣化又は品質劣化なしで逆処理することができる。
− （３Ｄ）空間両耳ステレオ体験を従来のステレオデコーダによっても提供することができる。
− 既存の空間配置方法と比較して複雑さが低減される。複雑さは次のような多数の態様で低減される。
ＨＲＴＦの効率的な記憶。ＨＲＴＦインパルス応答を記憶する代わりに、ＨＲＴＦを特徴付けるべく限られた数のパラメータが使用される。
効率的な３Ｄ処理。ＨＲＴＦは限られた周波数分解能においてパラメータとして特徴付けられ、ＨＲＴＦパラメータの適用は（高度にダウンサンプリングされた）パラメータドメインで実行されるので、空間合成段は完全なＨＲＴＦ畳み込みに基づく従来の合成方法よりも一層効率的である。
必要とされる処理は例えばＱＭＦドメインで実行することができるので、結果的に、ＦＦＴに基づく方法よりも計算的負荷及びメモリの負荷が小さくなる。
− 既存のサラウンドサウンド構築ブロック（標準のＭＰＥＧサラウンドサウンド符号化／復号機能等の）の効率的な再利用が、最小の複雑さの実施化を可能にする。
− エンコーダにより送信された（パラメータ化された）ＨＲＴＦデータの修正による個人化の可能性。
− 送信される位置情報により、音源位置がオンザフライで変化し得る。
【０１６６】
図１０は、本発明の実施例によるオーディオ符号化の方法を示す。
【０１６７】
該方法はステップ１００１で開始し、該ステップにおいてＭチャンネルオーディオ信号が入力される（Ｍ＞２）。
【０１６８】
ステップ１００１にはステップ１００３が後続し、該ステップにおいて上記Ｍチャンネルオーディオ信号は第１ステレオ信号及び関連するパラメトリックデータにダウン混合される。
【０１６９】
ステップ１００３にはステップ１００５が後続し、該ステップにおいて上記第１ステレオ信号は、上記関連パラメトリックデータ及び空間頭部伝達関数（ＨＲＴＦ）パラメータデータに応答して、第２ステレオ信号を発生すべく修正される。該第２ステレオ信号は両耳仮想空間信号である。
【０１７０】
ステップ１００５にはステップ１００７が後続し、該ステップにおいては、上記第２ステレオ信号が符号化されて、符号化データを発生する。
【０１７１】
ステップ１００７にはステップ１００９が後続し、該ステップにおいて上記符号化データ及び前記関連パラメトリックデータを有する出力データストリームが発生される。
【０１７２】
図１１は、本発明の実施例によるオーディオ復号の方法を示す。
【０１７３】
該方法はステップ１１０１で開始し、該ステップにおいて、デコーダは、第１ステレオ信号及びＭチャンネルオーディオ信号（ここで、Ｍ＞２である）のダウン混合されたステレオ信号に関連するパラメトリックデータを有するような入力データを受信する。上記第１ステレオ信号は両耳仮想空間信号である。
【０１７４】
ステップ１１０１にはステップ１１０３が後続し、該ステップにおいて上記第１ステレオ信号は、上記パラメトリックデータ及び該第１ステレオ信号に関連する空間頭部伝達関数（ＨＲＴＦ）パラメータデータに応答して、前記ダウン混合されたステレオ信号を発生すべく修正される。
【０１７５】
ステップ１１０３にはステップ１１０５が後続し、該ステップにおいては、上記ダウン混合されたステレオ信号及びパラメトリックデータに応答して、前記Ｍチャンネルオーディオ信号が発生される。
【０１７６】
上記記載は、明瞭化のために、本発明の実施例を異なる機能ユニット及びプロセッサを参照して説明したことが分かるであろう。しかしながら、異なる機能ユニット又はプロセッサの間の如何なる適切な機能の分散も、本発明から逸脱することなしに利用することができることは明であろう。例えば、別個のプロセッサ又はコントローラにより実行されるように説明された機能は、同一のプロセッサ又はコントローラにより実行することができる。従って、特定の機能ユニットに対する言及は、厳密な論理的又は物理的構造又は編成を示すというより、説明された機能を提供する適切な手段を示すものとだけ理解されるべきである。
【０１７７】
本発明は、ハードウェア、ソフトウェア、ファームウエア又はこれらの何れかの組み合わせを含む如何なる好適な形態でも実施化することができる。本発明は、オプションとして、少なくとも部分的に、１以上のデータプロセッサ及び／又はデジタル信号プロセッサ上で動作するコンピュータソフトウェアとして実施化することができる。本発明の実施例のエレメント及びコンポーネントは物理的に、機能的に及び論理的に如何なる好適な態様でも実施化することができる。機能は、単一のユニットにおいて、複数のユニットにおいて、又は他の機能ユニットの一部として実施化することができる。そのようであるので、本発明は、単一のユニット内で実施化することができるか、又は異なるユニット及びプロセッサの間で物理的に及び機能的に分散させることもできる。
【０１７８】
以上、本発明を幾つかの実施例に関連して説明したが、本発明をここで述べた特定の形態に限定しようとするものではない。むしろ、本発明の範囲は添付請求項によってのみ限定されるものである。更に、或るフィーチャは特定の実施例に関連して説明されているように見えるかもしれないが、当業者であれば、説明された実施例の種々のフィーチャは本発明により組み合わせることができると理解するであろう。請求項において、"有する"なる用語は、他のエレメント又はステップの存在を排除するものではない。
【０１７９】
更に、個別に掲載されていても、複数の手段、エレメント又は方法のステップは、例えば単一のユニット又はプロセッサにより実施化することができる。更に、個々のフィーチャが異なる請求項に含まれていても、これらは有利に組み合わせることができ、異なる請求項に含めることは、フィーチャの組み合わせが可能及び／又は有利ではないことを意味するものではない。また、１つのカテゴリの請求項にフィーチャを含めることは、このカテゴリへの限定を意味するものではなく、該フィーチャが、適宜、他のカテゴリの請求項へも等しく適用可能であることを示すものである。更に、請求項におけるフィーチャの順序は、斯かるフィーチャが実行されるべき如何なる特定の順序を意味するものではなく、特に、方法の請求項における個々のステップの順序は、この順序で斯かるステップが実行されねばならないことを意味するものではない。むしろ、斯かるステップは如何なる好適な順序で実行することもできる。更に、単一的参照は複数を排除するものではない。かくして、単一表現、"第１の"及び"第２の"等は複数を排除するものではない。請求項における括弧内の符号は、単に明瞭化のための例として付されたもので、請求項の範囲を如何なる形でも限定するものとして見なしてはならない。
【図面の簡単な説明】
【０１８０】
【図１】図１は、従来技術による両耳合成の説明図である。
【図２】図２は、多チャンネルデコーダ及び両耳合成の縦続接続の説明図である。
【図３】図３は、本発明の実施例によるオーディオ信号の通信のための伝送システムを示す。
【図４】図４は、本発明の実施例によるエンコーダを示す。
【図５】図５は、サラウンドサウンド・パラメトリック・ダウンミックス・エンコーダを示す。
【図６】図６は、ユーザに対する音源位置の一例を示す。
【図７】図７は、本発明の実施例による多チャンネルデコーダを示す。
【図８】図８は、本発明の実施例によるデコーダを示す。
【図９】図９は、本発明の実施例によるデコーダを示す。
【図１０】図１０は、本発明の実施例によるオーディオ符号化の方法を示す。
【図１１】図１１は、本発明の実施例によるオーディオ復号の方法を示す。
【技術分野】
【０００１】
本発明は、オーディオ符号化及び／又は復号に係り、専らではないが、特には両耳仮想空間信号を含むようなオーディオ符号化及び／又は復号に関する。
【背景技術】
【０００２】
種々のソースの信号のデジタル符号化は、デジタル信号表現及び通信がアナログ表現及び通信を置換するにつれて、最近の十年にわたり益々重要になってきている。例えば、ビデオ及び音楽等のメディアコンテンツの配信は、益々、デジタルコンテンツの符号化に基づくものとなっている。
【０００３】
更に、最近の十年においては、多チャンネルオーディオに向かう、特には従来のステレオ信号を超えて広がるような空間オーディオに向かう傾向がある。例えば、伝統的なステレオ記録が２つのチャンネルのみを有するのに対し、近年の進んだオーディオシステムは、典型的には、ポピュラーな５.１サラウンドサウンドシステムにおけるように５つ又は６つのチャンネルを使用する。これは、ユーザが音源により取り囲まれ得るような一層引き込まれる聴取体験を提供する。
【０００４】
このような多チャンネル信号の通信のために、種々の技術及び規格が開発されている。例えば、５.１サラウンドシステムを表す６つの個別チャンネルは、アドバンスド・オーディオ・コーディング（ＡＡＣ）又はドルビー・デジタル規格等の規格に従って送信することができる。
【０００５】
しかしながら、後方互換性を提供するために、大きな数のチャンネルを小さな数にダウン混合（down-mix）することが知られており、これが、特に、５.１サラウンドサウンド信号をステレオ信号にダウン混合して、ステレオ信号が旧来の（ステレオ）デコーダにより再生され、５.１信号がサラウンドサウンドデコーダにより再生されるのを可能にするためにしばしば用いられる。
【０００６】
一例が、ＭＰＥＧ２後方互換性符号化方法である。多チャンネル信号が、ステレオ信号にダウン混合される。追加の信号が補助データ部分に符号化され、ＭＰＥＧ２多チャンネルデコーダが多チャンネル信号の表現を発生するのを可能にする。ＭＰＥＧ１デコーダは上記補助データを無視し、かくして、ステレオダウンミックスのみを復号する。ＭＰＥＧ２に適用される該符号化方法の主たる問題点は、上記追加の信号に要する追加のデータレートが、当該ステレオ信号を符号化するのに要するデータレートと同程度の大きさである点である。従って、ステレオを多チャンネルオーディオに拡張するための該追加のビットレートは、大きなものとなる。
【０００７】
追加の多チャンネル情報を用いない後方互換性多チャンネル送信のための他の既存の方法は、典型的には、マトリクス型サラウンド方法として特徴付けられることができる。マトリクスサラウンドサウンド符号化の例は、ドルビプロロジックII及びロジック７等の方法を含む。これら方法の共通原理は、これらが、入力信号の複数チャンネルを適切な非二次（non-quadratic）マトリクスにより行列乗算し、これにより、より小数のチャンネルの出力信号を発生するということである。特に、マトリクスエンコーダは、典型的には、サラウンドチャンネルに対して、これらを前（フロント）及び中央（センタ）チャンネルと混合する前に位相シフトを付与する。
【０００８】
チャンネル変換の他の理由は、符号化効率である。例えば、サラウンドサウンドオーディオ信号が、当該オーディオ信号の空間特性を記述するパラメータビットストリームと組み合わされたステレオチャンネルオーディオ信号として符号化することができることが分かっている。デコーダは該ステレオ信号を非常に満足のゆく精度で再生することができる。この様にして、かなりのビットレート節約を獲得することができる。
【０００９】
オーディオ信号の空間特性を記述するために使用することができる幾つかのパラメータが存在する。１つの斯様なパラメータは、ステレオ信号に関する左チャンネルと右チャンネルとの間の相互相関（cross-correlation）のような、チャンネル間相互相関である。他のパラメータは、チャンネルの出力比（power ratio）である。所謂（パラメトリック）空間オーディオ（エン）コーダにおいては、これら及び他のパラメータが元のオーディオ信号から抽出されて、例えば単一のチャンネルと元のオーディオ信号の空間特性を記述した一群のパラメータとを加えたもの等の、低減されたチャンネル数を持つオーディオ信号を生成する。所謂（パラメトリック）空間オーディオデコーダにおいては、送信された空間パラメータにより記述された空間特性が回復される。
【００１０】
このような空間オーディオ符号化は、好ましくは、エンコーダ及びデコーダに標準のユニットを有する縦続接続された又はツリー型の階層構造を採用する。エンコーダにおいて、これらの標準のユニットは、２／１、３／１、３／２他のダウンミキサ等のチャンネルを一層少ない数のチャンネルに組み合わせるダウンミキサとすることができる一方、デコーダにおいて、対応する標準のユニットは１／２、２／３他のアップミキサ等のチャンネルを一層多い数のチャンネルに分割するアップミキサであり得る。
【００１１】
３Ｄ音源配置法は、現在、特に移動体分野において関心を得ている。移動体ゲームにおける音楽再生及び音響効果は、３Ｄに配置された場合に消費者の体験に大きな価値を追加することができ、効果的に"頭部外"３Ｄ効果を生成する。特に、人の耳が敏感な固有の指向性情報を含んだ両耳オーディオ信号を記録及び再生することが知られている。両耳記録は、典型的には、ダミーの人の頭部に装着された２つのマイクロフォンを用いてなされ、かくして、記録された音は人の耳により捕捉された音に対応し、頭部及び耳の形状による如何なる影響をも含む。両耳記録はステレオ（即ち、立体音響：ステレオフォニック）記録とは、両耳記録の再生が一般的にヘッドセット又はヘッドフォンのためのものであるのに対し、ステレオ記録が一般的にスピーカによる再生のためになされる点で相違する。両耳記録が２つのチャンネルのみを用いて全空間情報の再生を可能にするのに対し、ステレオ記録は同様の空間的知覚を提供することはない。通常の双チャンネル（ステレオフォニック）又は多チャンネル（例えば、５.１）記録は、各々の通常の信号を一群の知覚伝達関数で畳み込むことにより、両耳記録に変換することができる。このような知覚伝達関数は、当該信号に対する人の頭部の、及び恐らくは他の物体の影響をモデル化する。良く知られたタイプの空間知覚伝達関数は、所謂、頭部伝達関数（Head-Related Transfer Function: ＨＲＴＦ）である。部屋の壁、天井及び床により生じる反射も考慮した代替タイプの空間知覚伝達関数は、両耳室内インパルス応答（ＢＲＩＲ）である。
【００１２】
典型的に、３Ｄ配置アルゴリズムは、或る音源位置から鼓膜へのインパルス応答による伝達を記述するようなＨＲＴＦを使用する。３Ｄ音源配置法は、ＨＲＴＦにより多チャンネル信号に適用することができ、これにより、両耳信号が例えば一対のヘッドフォンを用いてユーザに空間音響情報を提供することを可能にする。
【００１３】
高さ（又は仰角：elevation）の知覚は、両耳に到達するスペクトル中の固有のピーク及びノッチ（Ｖ字状切り込み）により主に可能にされることが知られている。一方、音源の（知覚される）方位（azimuth）は、鼓膜における信号の間のレベル差及び到達時間差等の"両耳的"合図（cue）で捕捉される。距離の知覚は、全体の信号レベルにより主に可能にされ、反響する環境の場合は、直接及び反響エネルギの比により可能にされる。殆どの場合において、特に遅い反響音末尾においては、信頼のおける音源突き止め合図は存在しないと仮定される。
【００１４】
高さ、方位及び距離に関する知覚合図は、インパルス応答（の対）により捕捉することができ、ここで、一方のインパルス応答は特定の音源位置から左耳への伝達を示し、もう一方は右耳に対するものである。従って、高さ、方位及び距離に関する知覚合図は、ＨＲＴＦインパルス応答の対応する特性により決定される。殆どの場合において、ＨＲＴＦ対は、大きな群の音源位置に関し、典型的には高さ及び方位の両方において約５°の空間的分解能で測定される。
【００１５】
従来の両耳３Ｄ合成は、所望の音源位置に対するＨＲＴＦ対による入力信号のフィルタ処理（畳み込み）を含む。しかしながら、ＨＲＴＦは典型的には無響条件で測定されるので、"距離"又は"頭部外"位置特定の知覚が、しばしば、欠ける。無響ＨＲＴＦによる信号の畳み込みは３Ｄサウンド合成にとり十分ではないが、無響ＨＲＴＦの使用は、複雑さ及び柔軟性の観点から時には好ましい。反響性環境の効果（距離の知覚の生成に必要とされる）は後の段階で追加することができ、エンドユーザが部屋の音響特性を変更するための幾らかの柔軟性を残すようにする。更に、遅い反響は、しばしば、全方向的である（指向的合図がない）と仮定されるので、この処理方法は、全ての音源を反響性ＨＲＴＦ対により畳み込むより時には効率的である。更に、室内音響学に関する複雑さ及び柔軟性の反対論とは別に、無響ＨＲＴＦの使用は、"ドライな"（指向的合図の）信号に対しても利点を有している。
【００１６】
３Ｄ配置法の分野における最近の研究は、無響ＨＲＴＦインパルス応答により表される周波数分解能が、多くの場合、必要以上であることを示している。特に、位相及び振幅スペクトルの両方にとり、ＥＲＢスケールにより提案された非線形周波数分解能は、３Ｄ音源を、完全な無響ＨＲＴＦで処理するのと知覚的に異ならないような精度で合成するのに十分であるように思われる。言い換えると、無響ＨＲＴＦスペクトルは、人の聴覚系の周波数分解能より高いスペクトル分解能を必要としない。
【００１７】
従来の両耳合成アルゴリズムが、図１に概略図示されている。一群の入力チャンネルが、一群のＨＲＴＦによりフィルタ処理される。各入力信号は２つの信号（左"Ｌ"及び右"Ｒ"成分）に分割され、次いで、これら信号の各々が所望の音源位置に対応するＨＲＴＦによりフィルタ処理される。次いで、全ての左耳信号は加算されて左の両耳出力信号を発生し、右耳信号は加算されて、右の両耳出力信号を発生する。
【００１８】
ＨＲＴＦ畳み込みは、時間ドメインでも実行することができるが、積としての該フィルタ処理を周波数ドメインで実行することが、しばしば、好まれる。その場合、上記加算も周波数ドメインで実行することができる。
【００１９】
サラウンドサウンド符号化信号を入力し、両耳信号からサラウンドサウンドの体験を生じさせることが可能なデコーダシステムが知られている。例えば、サラウンドサウンド信号がサラウンドサウンド両耳信号に変換されるのを可能にして、ユーザにサラウンドサウンド体験を提供するようなヘッドフォンシステムが知られている。
【００２０】
図２は、ＭＰＥＧサラウンドデコーダが空間パラメトリックデータを伴うステレオ信号を入力するようなシステムを図示している。入力ビットストリームはデマルチプレクス処理されて、空間パラメータ及びダウンミックスビットストリームが得られる。後者のビットストリームは、従来のモノラル又はステレオデコーダを用いて復号される。復号されたダウンミックスは空間デコーダにより復号されるが、該空間デコーダは伝送された空間パラメータに基づいて多チャンネル出力信号を発生する。最後に、上記多チャンネル出力信号は両耳合成段（図１のものと同様のもの）により処理されて、ユーザにサラウンドサウンド体験を提供するような両耳出力信号となる。
【発明の開示】
【発明が解決しようとする課題】
【００２１】
しかしながら、このような方法は、多数の問題点を有している。
【００２２】
例えば、サラウンドサウンドデコーダと両耳合成の縦続接続は、中間ステップとしての多チャンネル信号表現の計算に、両耳合成ステップにおけるＨＲＴＦ畳み込み及びダウンミックス処理が後続する処理を含む。これは、結果として、複雑さの増加及び性能の低減となり得る。
【００２３】
また、該システムは非常に複雑である。例えば、空間デコーダは典型的にはサブバンド（ＱＭＦ）ドメインで動作する。一方、ＨＲＴＦ畳み込みは、典型的には、ＦＦＴドメインにおいて最も効率的に実施化することができる。従って、多チャンネルＱＭＦ合成フィルタバンク、多チャンネルＦＦＴ変換及びステレオ逆ＦＦＴ変換の縦続接続が必要となり、結果的に高い計算要求度のシステムとなってしまう。
【００２４】
提供されるユーザ体験の品質も、低下され得る。例えば、多チャンネル再生を行う上記空間デコーダにより生成される符号化アーチファクトが、（ステレオ）両耳出力においても依然として聴こえるようになる。
【００２５】
更に、該方法は、専用のデコーダを必要とすると共に、複雑な信号処理が個々のユーザ装置により実行されることを必要とする。これは、多くの状況における応用を妨げ得る。例えば、ステレオダウンミックスしか復号することができない旧来の装置は、サラウンドサウンドのユーザ体験を適用することはできないであろう。
【００２６】
従って、改善されたオーディオ符号化／復号が有利であろう。
【００２７】
従って、本発明は上述した問題点の１以上を単独又は何らかの組み合わせで好ましくも緩和、軽減又は除去することを目指すものである。
【課題を解決するための手段】
【００２８】
本発明の第１態様によれば、Ｍチャンネルオーディオ信号を入力する手段と（但し、Ｍ＞２）、該Ｍチャンネルオーディオ信号を第１ステレオ信号及び関連パラメトリックデータにダウン混合するダウン混合手段と、上記関連パラメトリックデータ及び両耳知覚伝達関数のための空間パラメータデータに応答して上記第１ステレオ信号を修正し、両耳信号である第２ステレオ信号を発生する発生手段と、該第２ステレオ信号を符号化して符号化データを発生する手段と、該符号化データ及び前記関連パラメトリックデータを有する出力データストリームを発生する出力手段とを有するようなオーディオエンコーダが提供される。
【００２９】
本発明は、改善されたオーディオ符号化を可能にする。特に、本発明は多チャンネル信号の効果的ステレオ符号化を可能にする一方、旧来の（レガシ）ステレオデコーダが空間体験を向上させるのを可能にすることができる。更に、本発明はデコーダにおいて両耳仮想空間合成処理が逆処理されるのを可能にし、これにより、高品質多チャンネル復号を可能にする。本発明は、複雑さの少ないエンコーダを可能にすると共に、特に両耳信号の少ない複雑さでの発生を可能にすることができる。本発明は、実施の容易化及び機能の再利用を可能にすることができる。
【００３０】
特に、本発明は、多チャンネル信号からの両耳仮想空間信号のパラメータに基づく決定を行う。
【００３１】
上記両耳信号は、特定的には、仮想３Ｄ両耳ステレオ信号等の両耳仮想空間信号とすることができる。前記Ｍチャンネルオーディオ信号は、５.１又は７.１サラウンド信号等のサラウンド信号とすることができる。上記両耳仮想空間信号は、上記Ｍチャンネルオーディオ信号の各チャンネルに対して１つの音源位置をエミュレーションすることができる。前記空間パラメータデータは、意図する音源位置から意図するユーザの鼓膜までの伝達関数を示すデータを有することができる。
【００３２】
前記両耳知覚伝達関数は、例えば、頭部伝達関数（ＨＲＴＦ）又は両耳室内インパルス応答（ＢＰＩＲ）とすることができる。
【００３３】
本発明のオプション的フィーチャによれば、前記発生手段は前記第２ステレオ信号を、前記関連パラメトリックデータ、前記空間パラメータデータ及び前記第１ステレオ信号用のサブバンドデータ値に応答して該第２ステレオ信号用のサブバンドデータ値を計算することにより発生するよう構成される。
【００３４】
これは、符号化が改善され、及び／又は実施化が容易にされるのを可能にすることができる。即ち、該フィーチャは、複雑さの低減及び／又は計算的負荷の軽減を提供することができる。第１ステレオ信号、第２ステレオ信号、前記関連パラメトリックデータ及び前記空間パラメータデータの周波数サブバンド間隔は異なることができるか、又はこれらの幾つか若しくは全てに関して幾つか若しくは全てのサブバンドは実質的に同一とすることもできる。
【００３５】
本発明のオプション的フィーチャによれば、前記発生手段は前記第２ステレオ信号の第１サブバンドのためのサブバンド値を、前記第１ステレオ信号用の対応するステレオサブバンド値の第１サブバンドマトリクスによる乗算に応答して発生するよう構成され、該発生手段は、第１サブバンド用の関連パラメトリックデータ及び空間パラメータデータに応答して上記第１サブバンドマトリクスのデータ値を決定するパラメータ手段を更に有する。
【００３６】
これは、符号化の改善及び／又は実施化の容易化を可能にし得る。即ち、該フィーチャは複雑さを低減し及び／又は計算的負荷を軽減し得る。特に、本発明は、個々のサブバンドに対してマトリクス演算を実行することにより、多チャンネル信号から両耳仮想空間信号をパラメータに基づいて決定するのを可能にする。第１サブバンドマトリクス値は、多チャンネル復号及び結果としての多チャンネルのＨＲＴＦ／ＢＲＩＲフィルタ処理の縦続接続の組み合わせ効果を反映し得る。サブバンドマトリクス乗算は、第１ステレオ信号の全サブバンドに対して実行することができる。
【００３７】
本発明のオプション的フィーチャによれば、前記発生手段は、更に、第１サブバンド間隔とは異なる周波数間隔を持つサブバンドに関連する第１ステレオ信号、関連パラメトリックデータ及び空間パラメータデータのうちの少なくとも１つのデータ値を、第１サブバンドのための対応するデータ値に変換する手段を有する。
【００３８】
これは、符号化の改善及び／又は実施化の容易化を可能にし得る。即ち、該フィーチャは複雑さを低減し及び／又は計算的負荷を軽減し得る。特に、本発明は、異なる処理及びアルゴリズムが、個々の処理に最適なサブバンド分割に基づくものとなるのを可能にし得る。
【００３９】
本発明のオプション的フィーチャによれば、前記発生手段は、前記第２ステレオ信号の第１サブバンドのためのステレオサブバンド値ＬＢ，ＲＢを、実質的に、
【数１】
として決定するように構成され、ここで、Ｌ０，Ｒ０は第１ステレオ信号の対応するサブバンド値である。そして、前記パラメータ手段は乗算マトリクスのデータ値を、実質的に、
【数２】
として決定するように構成され、ここで、ｍk,lは前記ダウン混合手段によるチャンネルＬ、Ｒ及びＣの前記第１ステレオ信号へのダウンミックスに関する関連パラメトリックデータに応答して決定されるパラメータであり、ＨＪ(Ｘ)は第２ステレオ信号のステレオ出力チャンネルＪに対するチャンネルＸに関する空間パラメータデータに応答して決定される。
【００４０】
これは、改善された符号化及び／又は容易化された実施構成を可能にする。即ち、該フィーチャは複雑さの低減及び／又は計算的負荷の低減を提供することができる。
【００４１】
本発明のオプション的フィーチャによれば、チャンネルＬ及びＲの少なくとも一方は、少なくとも２つのダウン混合されたチャンネルのダウンミックスに対応し、前記パラメータ手段は、ＨＪ(Ｘ)を、上記少なくとも２つのダウン混合されたチャンネルに関する空間パラメータデータの加重組み合わせに応答して決定するように構成される。
【００４２】
これは、改善された符号化及び／又は容易化された実施構成を可能にする。即ち、該フィーチャは複雑さの低減及び／又は計算的負荷の低減を提供することができる。
【００４３】
本発明のオプション的フィーチャによれば、前記パラメータ手段は、上記少なくとも２つのダウン混合されたチャンネルに関する空間パラメータデータの重み付けを、該少なくとも２つのダウン混合されたチャンネルに関する相対エネルギ尺度に応答して決定するように構成される。
【００４４】
これは、改善された符号化及び／又は容易化された実施構成を可能にする。即ち、該フィーチャは複雑さの低減及び／又は計算的負荷の低減を提供することができる。
【００４５】
本発明のオプション的フィーチャによれば、前記空間パラメータデータは、サブバンド当たりの平均レベルパラメータ、平均到達時間パラメータ、少なくとも１つのステレオチャンネルの位相、タイミングパラメータ、群遅延パラメータ、ステレオチャンネル間の位相、及びチャンネル相互間相関パラメータからなるグループから選択される少なくとも１つのパラメータを含む。
【００４６】
これらのパラメータは、特別に有利な符号化を提供することができると共に、特にサブバンド処理に特別に適している。
【００４７】
本発明のオプション的フィーチャによれば、前記出力手段は出力ストリームに音源位置データを含めるように構成される。
【００４８】
これは、デコーダが適切な空間パラメータデータを決定するのを可能にし、及び／又は少ないオーバーヘッドで空間パラメータデータを示す効率的な方法を提供することができる。また、これは、デコーダにおける両耳仮想空間合成処理を逆処理する効率的方法を提供することができ、これにより、高品質な多チャンネル復号を可能にする。該フィーチャは、更に、改善されたユーザ体験を可能にすると共に、移動する音源での両耳仮想空間信号の実施化を可能又は容易化し得る。該フィーチャは、代わりに又は追加的に、例えば先ずエンコーダで実行された合成を逆処理し、次いで個別化された又は個性化された両耳知覚伝達関数を用いて合成する等により、デコーダにおける空間合成の個別化を可能にする。
【００４９】
本発明のオプション的フィーチャによれば、前記出力手段は、出力ストリームに前記空間パラメータデータの少なくとも幾らかを含ませるように構成される。
【００５０】
これは、デコーダにおける両耳仮想空間合成処理を逆処理する効率的方法を提供することができ、これにより、高品質な多チャンネル復号を可能にする。該フィーチャは、更に、改善されたユーザ体験を可能にすると共に、移動する音源での両耳仮想空間信号の実施化を可能又は容易化し得る。上記空間パラメータデータは、例えばデコーダが該空間パラメータデータを決定するのを可能にするような情報を含めることにより、出力ストリームに直接的に又は間接的に含めることができる。該フィーチャは、代わりに又は追加的に、例えば先ずエンコーダで実行された合成を逆処理し、次いで個別化された又は個性化された両耳知覚伝達関数を用いて合成する等により、デコーダにおける空間合成の個別化を可能にする。
【００５１】
本発明のオプション的フィーチャによれば、前記エンコーダは、前記空間パラメータデータを所望のサウンド信号位置に応答して決定する手段を更に有する。
【００５２】
これは、改善された符号化及び／又は容易化された実施構成を可能にする。上記所望のサウンド信号位置は、前記Ｍチャンネル信号の個々のチャンネルに関する音源の位置に対応することができる。
【００５３】
本発明の他の態様によれば、Ｍチャンネルオーディオ信号（但し、Ｍ＞２）に対応した両耳信号である第１ステレオ信号と該Ｍチャンネルオーディオ信号のダウン混合されたステレオ信号に関連するパラメトリックデータとを有する入力データを入力する手段と、前記パラメトリックデータと前記第１ステレオ信号に関連する両耳知覚伝達関数のための第１空間パラメータデータとに応答して、前記第１ステレオ信号を修正することにより前記ダウン混合されたステレオ信号を発生する発生手段とを有するようなオーディオデコーダが提供される。
【００５４】
本発明は、改善されたオーディオ復号を可能にし得る。特に、本発明は、高品質のステレオ復号を可能にすると共に、特にエンコーダの両耳仮想空間合成処理がデコーダにおいて逆処理されるのを可能にする。本発明は、低複雑度のデコーダを可能にする。本発明は、容易化された実施構成及び機能の再利用を可能にする。
【００５５】
上記両耳信号は、特には、仮想３Ｄ両耳ステレオ信号等の両耳仮想空間信号とすることができる。上記空間パラメータデータは、意図する音源位置から意図するユーザの耳までの伝達関数を示すデータを有することができる。上記両耳知覚伝達関数は、例えば、頭部伝達関数（ＨＲＴＦ）又は両耳室内インパルス応答（ＢＲＩＲ）とすることができる。
【００５６】
本発明のオプション的フィーチャによれば、当該オーディオデコーダは、前記ダウン混合されたステレオ信号及び前記パラメトリックデータに応答して、前記Ｍチャンネルオーディオ信号を発生する手段を更に有する。
【００５７】
本発明は、改善されたオーディオ復号を可能にし得る。特に、本発明は、高品質の多チャンネル復号を可能にすると共に、特にエンコーダの両耳仮想空間合成処理がデコーダにおいて逆処理されるのを可能にする。本発明は、低複雑度のデコーダを可能にする。本発明は、容易化された実施構成及び機能の再利用を可能にする。
【００５８】
上記Ｍチャンネルオーディオ信号は、５.１又は７.１サラウンド信号等のサラウンド信号とすることができる。上記両耳信号は、Ｍチャンネルオーディオ信号の各チャンネルに対して１つの音源位置をエミュレーションするような仮想空間信号とすることができる。
【００５９】
本発明のオプション的フィーチャによれば、前記発生手段は、前記第１ステレオ信号に関するサブバンドデータ値、前記空間パラメータデータ及び前記関連するパラメトリックデータに応答して、前記ダウン混合されたステレオ信号に関するサブバンドデータ値を計算することにより前記ダウン混合されたステレオ信号を発生するよう構成される。
【００６０】
これは、改善された復号及び／又は容易化された実施構成を可能にする。特に、該フィーチャは、複雑さを低減させ、及び／又は計算的負荷を低減させる。前記第１ステレオ信号、ダウン混合されたステレオ信号、関連するパラメトリックデータ及び空間パラメータデータの周波数サブバンド間隔は異なってもよく、又は幾つかの若しくは全てのサブバンドは、これらの幾つか又は全てに対して実質的に同一であってもよい。
【００６１】
本発明のオプション的フィーチャによれば、前記発生手段は、前記ダウン混合されたステレオ信号の第１サブバンドに関するサブバンド値を、前記第１ステレオ信号に関する対応するステレオサブバンド値の第１サブバンドマトリクスによる乗算に応答して発生するよう構成され、該発生手段は、前記第１サブバンドに関する空間パラメータデータ及びパラメトリックデータに応答して前記第１サブバンドマトリクスのデータ値を決定するパラメータ手段を更に有している。
【００６２】
これは、改善された復号及び／又は容易化された実施構成を可能にする。特に、該フィーチャは、複雑さを低減させ、及び／又は計算的負荷を低減させる。上記第１サブバンドマトリクス値は、多チャンネル復号及び結果としての多チャンネルのＨＲＴＦ／ＢＲＩＲフィルタ処理の縦続接続の組み合わせ効果を反映し得る。サブバンドマトリクス乗算は、ダウン混合されたステレオ信号の全てのサブバンドに対して実行することができる。
【００６３】
本発明のオプション的フィーチャによれば、前記入力データは少なくとも幾らかの空間パラメータデータを有する。
【００６４】
これは、エンコーダにおいて実行された両耳仮想空間合成処理を逆処理する効率的な方法を提供し、これにより、高品質の多チャンネル復号を可能にする。該フィーチャは、更に、改善されたユーザ体験を可能にすると共に、移動する音源の両耳仮想空間信号の実施化を可能に又は容易化し得る。上記空間パラメータデータは前記入力データに直接的に又は間接的に含めることができ、例えば、該データはデコーダが当該空間パラメータデータを決定するのを可能にするような如何なる情報とすることもできる。
【００６５】
本発明のオプション的フィーチャによれば、前記入力データは音源位置データを有し、当該デコーダは該音源位置データに応答して空間パラメータデータを決定する手段を有する。
【００６６】
これは、改善された符号化及び／又は容易化された実施構成を可能にする。所望のサウンド信号位置は、Ｍチャンネル信号の個々のチャンネルに関する音源の位置に対応し得る。
【００６７】
当該デコーダは、例えば、異なる音源位置に関連したＨＲＴＦ空間パラメータデータを有するようなデータ記憶部を有することができ、使用すべき空間パラメータデータを、示された位置に対するパラメータデータを取り出すことにより決定することができる。
【００６８】
本発明のオプション的フィーチャによれば、当該オーディオデコーダは、前記関連するパラメトリックデータと、前記第１空間パラメータデータとは異なる第２両耳感知伝達関数に関する第２空間パラメータデータとに応答して、前記第１ステレオ信号を修正することにより１対の両耳出力チャンネルを生成する空間デコーダユニットを更に有する。
【００６９】
該フィーチャは、改善された空間合成を可能にすると共に、特に、特定のユーザに特に適した個人的又は個別化された空間合成両耳信号を可能にする。これは、旧来のステレオデコーダが該デコーダにおける空間合成を必要とすることなく空間両耳信号を発生するのを可能にしながら、達成することができる。従って、改善されたオーディオシステムを達成することができる。上記第２両耳知覚伝達関数は、特には第１空間パラメータデータの両耳知覚伝達関数とは異なるものとすることができる。該第２両耳知覚伝達関数及び第２空間データは、特に、当該デコーダの個々のユーザに対して個別化することができる。
【００７０】
本発明のオプション的フィーチャによれば、上記空間デコーダユニットは、前記パラメトリックデータを、前記第２空間パラメータデータを用いて両耳合成パラメータに変換するパラメータ変換ユニットと、前記１対の両耳チャンネルを、前記両耳合成パラメータ及び前記第１ステレオ信号を用いて合成する空間合成ユニットとを有する。
【００７１】
これは、改善された性能及び／又は容易化された実施構成及び／又は複雑さの低減を可能にする。上記両耳パラメータは、両耳チャンネルのサブバンドサンプルを発生するために第１ステレオ信号及び／又はダウン混合されたステレオ信号のサブバンドサンプルで乗算することができるようなパラメータとすることができる。該乗算は、例えば、マトリクス乗算であり得る。
【００７２】
本発明のオプション的フィーチャによれば、上記両耳合成パラメータは、前記ダウン混合されたステレオ信号のステレオサンプルを前記１対の両耳出力チャンネルのステレオサンプルに関係付ける２ｘ２マトリクスのマトリクス係数を有する。
【００７３】
これは、改善された性能及び／又は容易化された実施構成及び／又は複雑さの低減を可能にする。上記ステレオサンプルは、例えばＱＭＦ又はフーリエ変換周波数サブバンドのステレオサブバンドサンプルであり得る。
【００７４】
本発明のオプション的フィーチャによれば、上記両耳合成パラメータは、前記第１ステレオ信号のステレオサブバンドサンプルを前記１対の両耳出力チャンネルのステレオサンプルに関係付ける２ｘ２マトリクスのマトリクス係数を有する。
【００７５】
これは、改善された性能及び／又は容易化された実施構成及び／又は複雑さの低減を可能にする。上記ステレオサンプルは、例えばＱＭＦ又はフーリエ変換周波数サブバンドのステレオサブバンドサンプルであり得る。
【００７６】
本発明の他の態様によれば、Ｍチャンネルオーディオ信号を入力するステップと（但し、Ｍ＞２）、前記Ｍチャンネルオーディオ信号を第１ステレオ信号及び関連するパラメトリックデータにダウン混合するステップと、前記関連するパラメトリックデータ及び両耳知覚伝達関数のための空間パラメータデータに応答して前記第１ステレオ信号を修正し、両耳信号である第２ステレオ信号を発生するステップと、前記第２ステレオ信号を符号化して符号化データを発生するステップと、前記符号化データ及び前記関連するパラメトリックデータを有する出力データストリームを発生するステップとを有するようなオーディオ符号化方法が提供される。
【００７７】
本発明の他の態様によれば、
− Ｍチャンネルオーディオ信号（但し、Ｍ＞２）に対応した両耳信号である第１ステレオ信号と該Ｍチャンネルオーディオ信号のダウン混合されたステレオ信号に関連するパラメトリックデータとを有するような入力データを入力するステップと、
− 前記パラメトリックデータと前記第１ステレオ信号に関連する両耳知覚伝達関数のための空間パラメータデータとに応答して、前記第１ステレオ信号を修正することにより前記ダウン混合されたステレオ信号を発生するステップと、
を有するオーディオ復号方法が提供される。
【００７８】
本発明の他の態様によれば、Ｍチャンネルオーディオ信号（但し、Ｍ＞２）に対応した両耳信号である第１ステレオ信号と該Ｍチャンネルオーディオ信号のダウン混合されたステレオ信号に関連するパラメトリックデータとを有する入力データを入力する手段と、前記パラメトリックデータと前記第１ステレオ信号に関連する両耳知覚伝達関数のための空間パラメータデータとに応答して、前記第１ステレオ信号を修正することにより前記ダウン混合されたステレオ信号を発生する発生手段とを有するオーディオ信号を受信する受信機が提供される。
【００７９】
本発明の他の態様によれば、Ｍチャンネルオーディオ信号を入力する手段と（但し、Ｍ＞２）、前記Ｍチャンネルオーディオ信号を第１ステレオ信号及び関連するパラメトリックデータにダウン混合するダウン混合手段と、前記関連するパラメトリックデータ及び両耳知覚伝達関数のための空間パラメータデータに応答して前記第１ステレオ信号を修正し、両耳信号である第２ステレオ信号を発生する発生手段と、前記第２ステレオ信号を符号化して符号化データを発生する手段と、前記符号化データ及び前記関連するパラメトリックデータを有するような出力データストリームを発生する出力手段と、前記出力データストリームを送信する手段とを有するような出力データストリームを送信する送信機が提供される。
【００８０】
本発明の他の態様によれば、
Ｍチャンネルオーディオ信号を入力する手段と（但し、Ｍ＞２）、前記Ｍチャンネルオーディオ信号を第１ステレオ信号及び関連するパラメトリックデータにダウン混合するダウン混合手段と、前記関連するパラメトリックデータ及び両耳知覚伝達関数のための空間パラメータデータに応答して前記第１ステレオ信号を修正し、両耳信号である第２ステレオ信号を発生する発生手段と、前記第２ステレオ信号を符号化して符号化データを発生する手段と、前記符号化データ及び前記関連するパラメトリックデータを有するようなオーディオ出力データストリームを発生する出力手段と、前記オーディオ出力データストリームを送信する手段とを有する送信機と、
前記オーディオ出力データストリームを受信する手段と、前記パラメトリックデータと前記空間パラメータデータとに応答して、前記第２ステレオ信号を修正することにより前記第１ステレオ信号を発生する手段とを有する受信機と、
を有するようなオーディオ信号を伝送する伝送システムが提供される。
【００８１】
本発明の他の態様によれば、Ｍチャンネルオーディオ信号（但し、Ｍ＞２）に対応した両耳信号である第１ステレオ信号と該Ｍチャンネルオーディオ信号のダウン混合されたステレオ信号に関連するパラメトリックデータとを有する入力データを受信するステップと、前記パラメトリックデータと前記第１ステレオ信号に関連する両耳知覚伝達関数のための空間パラメータデータとに応答して、前記第１ステレオ信号を修正することにより前記ダウン混合されたステレオ信号を発生するステップとを有するようなオーディオ信号を受信する方法が提供される。
【００８２】
本発明の他の態様によれば、Ｍチャンネルオーディオ信号を入力するステップと（但し、Ｍ＞２）、前記Ｍチャンネルオーディオ信号を第１ステレオ信号及び関連するパラメトリックデータにダウン混合するステップと、前記関連するパラメトリックデータ及び両耳知覚伝達関数のための空間パラメータデータに応答して前記第１ステレオ信号を修正し、両耳信号である第２ステレオ信号を発生するステップと、前記第２ステレオ信号を符号化して符号化データを発生するステップと、前記符号化データ及び前記関連するパラメトリックデータを有するようなオーディオ出力データストリームを発生するステップと、前記オーディオ出力データストリームを送信するステップとを有するようなオーディオ出力データストリームを送信する方法が提供される。
【００８３】
本発明の他の態様によれば、Ｍチャンネルオーディオ信号を入力するステップと（但し、Ｍ＞２）、前記Ｍチャンネルオーディオ信号を第１ステレオ信号及び関連するパラメトリックデータにダウン混合するステップと、前記関連するパラメトリックデータ及び両耳知覚伝達関数のための空間パラメータデータに応答して前記第１ステレオ信号を修正し、両耳信号である第２ステレオ信号を発生するステップと、前記第２ステレオ信号を符号化して符号化データを発生するステップと、前記符号化データ及び前記関連するパラメトリックデータを有するようなオーディオ出力データストリームを発生するステップと、前記オーディオ出力データストリームを送信するステップと、前記オーディオ出力データストリームを受信するステップと、前記パラメトリックデータと前記空間パラメータデータとに応答して、前記第２ステレオ信号を修正することにより前記第１ステレオ信号を発生するステップとを有するようなオーディオ信号を送信及び受信する方法が提供される。
【００８４】
本発明の他の態様によれば、上述した方法の何れかを実行するためのコンピュータプログラムが提供される。
【００８５】
本発明の他の態様によれば、前述したエンコーダに従うエンコーダを有するようなオーディオ記録装置が提供される。
【００８６】
本発明の他の態様によれば、前述したデコーダに従うデコーダを有するようなオーディオ再生装置が提供される。
【００８７】
本発明の他の態様によれば、第１ステレオ信号と、Ｍチャンネルオーディオ信号（但し、Ｍ＞２）のダウン混合されたステレオ信号に関連するパラメトリックデータとを有し、前記第１ステレオ信号が前記Ｍチャンネルオーディオ信号に対応する両耳信号であるようなオーディオ信号のためのオーディオデータストリームが提供される。
【００８８】
本発明の他の態様によれば、上述したような信号が記憶された記憶媒体が提供される。
【００８９】
本発明の、これら及び他の態様、フィーチャ並びに利点は、以下に説明する実施例から明らかとなり、斯かる実施例を参照して解説されるであろう。
【発明を実施するための最良の形態】
【００９０】
以下、本発明の実施例を、図面を参照して例示としてのみ説明する。
【００９１】
図３は、本発明の幾つかの実施例によるオーディオ信号の通信のための伝送システム３００を示す。該伝送システム３００は、ネットワーク３０５を開始して受信機３０３に結合された送信機３０１を示し、上記ネットワークはインターネットとすることができる。
【００９２】
該特定の例において、送信機３０１は信号記録装置であり、受信機は信号再生装置３０３であるが、他の実施例では送信機及び受信機は他の用途において他の目的に使用することができると理解される。例えば、送信機３０１及び／又は受信機３０３は、トランスコーディング機能の一部とすることができ、例えば他の信号源又は宛先に対するインターフェース機能を提供することができる。
【００９３】
信号記録機能がサポートされる該特定の例では、送信機３０１はデジタイザ３０７を有し、該デジタイザはアナログ信号を受信し、該アナログ信号はサンプリング及びアナログ／デジタル変換によりデジタルＰＣＭ信号に変換される。デジタイザ３０７は、複数の信号をサンプリングし、これにより多チャンネル信号を発生する。
【００９４】
送信機３０１は図１のエンコーダ３０９に結合され、該エンコーダは上記多チャンネル信号を符号化アルゴリズムに従って符号化する。エンコーダ３０９はネットワーク送信機３１１に結合され、該ネットワーク送信機は上記符号化された信号を入力すると共にインターネット３０５にインターフェースする。上記ネットワーク送信機は、上記符号化された信号を、インターネット３０５を介して受信機３０３に送信することができる。
【００９５】
受信機３０３はネットワークレシーバ３１３を有し、該ネットワークレシーバはインターネット３０５とインターフェースすると共に、送信機３０１から前記符号化された信号を受信するように構成されている。
【００９６】
ネットワークレシーバ３１３はデコーダ３１５に結合されている。デコーダ３１５は、上記の符号化された信号を入力し、該信号を復号アルゴリズムに従って復号する。
【００９７】
信号再生機能がサポートされる該特定の例では、受信機３０３は更に信号再生器３１７を有し、該再生器はデコーダ３１５から復号されたオーディオ信号を入力すると共に、該信号をユーザに提供する。即ち、信号再生器３１３は、復号されたオーディオ信号を出力する必要に応じて、デジタル／アナログ変換器、増幅器及びスピーカを有することができる。
【００９８】
当該特定の例において、エンコーダ３０９は５チャンネルサラウンドサウンド信号を入力し、該信号をステレオ信号にダウン混合する。次いで、該ステレオ信号は両耳信号を発生するように後処理されるが、該両耳信号は、特には、３Ｄ両耳ダウンミックスの形態の両耳仮想空間信号である。空間符号化の後のダウンミックスに作用する３Ｄ後処理段を使用することにより、３Ｄ処理はデコーダ３１５において逆処理することができる。結果として、スピーカ再生用の多チャンネルデコーダは、修正されたステレオダウンミックスによる品質の大きな劣化は示すことがなく、同時に、従来のステレオデコーダも３Ｄ適合信号を生成するであろう。このように、エンコーダ３０９は、高品質多チャンネル復号を可能にすると同時に、１対のヘッドフォンに信号を供給する伝統的なデコーダからのような、伝統的ステレオ出力からの疑似空間体験を可能にするような信号を発生することができる。
【００９９】
図４は、エンコーダ３０９を、より詳細に示す。
【０１００】
エンコーダ３０９は、多チャンネルオーディオ信号を入力する多チャンネルレシーバを有している。説明される原理は、２より大きな如何なる数のチャンネルをも有する多チャンネル信号に適用されるが、該特定の例は、標準のサラウンドサウンド信号に対応する５チャンネル信号に焦点を絞る（明瞭化及び簡略化のために、サウンド信号にしばしば使用される低い周波数の信号は無視される。しかしながら、当業者にとっては、当該多チャンネル信号が追加の低周波数チャンネルを有することができることは明らかであろう。このチャンネルは、例えば、ダウン混合プロセッサによりセンタチャンネルと組み合わせることができる）。
【０１０１】
多チャンネルレシーバ４０１はダウンミックスプロセッサ４０３に結合され、該プロセッサは上記５チャンネルオーディオ信号を第１ステレオ信号にダウン混合するように構成されている。更に、該ダウンミックスプロセッサ４０３は、第１ステレオ信号に関連されると共に該第１ステレオ信号を当該多チャンネル信号の元のチャンネルに関係付けるオーディオキュー及び情報を含むようなパラメトリックデータ４０５を発生する。
【０１０２】
ダウンミックスプロセッサ４０３は、例えば、ＭＰＥＧサラウンド多チャンネルエンコーダとして実施化することができる。このようなエンコーダの一例が、図５に図示されている。該例において、多チャンネル入力信号はＬｆ（左フロント）、Ｌｓ（左サラウンドサウンド）、Ｃ（センタ）、ＲＦ（右フロント）及びＲｓ（右サラウンド）チャンネルからなっている。Ｌｆ及びＬｓチャンネルは第１のＴＴＯ（２／１）ダウンミキサ５０１に供給され、該ダウンミキサは左（Ｌ）チャンネル用のモノダウンミックス、並びに２つの入力チャンネルＬｆ及びＬｓを出力Ｌチャンネルに関係付けるパラメータを発生する。同様にして、Ｒｆ及びＲｓチャンネルは第２のＴＴＯダウンミキサ５０３に供給され、該ダウンミキサは右（Ｒ）チャンネル用のモノダウンミックス、並びに２つの入力チャンネルＲｆ及びＲｓを出力Ｒチャンネルに関係付けるパラメータを発生する。次いで、Ｒ、Ｌ及びＣチャンネルはＴＴＴ（３／２）ダウンミキサ５０５に供給され、該ダウンミキサは、これら３つの信号を組み合わせてステレオダウンミックス及び付加的空間パラメータを発生する。
【０１０３】
ＴＴＴダウンミキサ５０５から得られる上記パラメータは、典型的には、各パラメータ帯域に関する１対の予測係数、又は上記３つの信号のエネルギ比を記述する１対のレベル差からなる。ＴＴＯダウンミキサ５０１、５０３のパラメータは、典型的には、各周波数帯域に関する入力信号間のレベル差及びコヒーレンス又は相互相関値からなる。
【０１０４】
このように、発生された第１ステレオ信号は、複数のダウン混合されたチャンネルを有する従来の標準のステレオ信号である。多チャンネルデコーダは、アップ混合すると共に関連パラメトリックデータを適用することにより元の多チャンネル信号を生成することができる。しかしながら、標準のステレオデコーダはステレオ信号を単に提供するのみであるので、空間情報を放出してしまい、ユーザ体験を低下させる。
【０１０５】
しかしながら、エンコーダ３０９においては、ダウン混合された信号は直接符号化及び送信されるのではない。むしろ、第１ステレオ信号は空間プロセッサ４０７に供給され、該プロセッサにはダウンミックスプロセッサ４０３から関連パラメータデータ４０５も供給される。該空間プロセッサ４０７は、更に、ＨＲＴＦプロセッサ４０９にも結合されている。
【０１０６】
ＨＲＴＦプロセッサ４０９は、３Ｄ両耳信号を発生するために空間プロセッサ４０７により使用される頭部伝達関数（ＨＲＴＦ）を発生する。即ち、ＨＲＴＦは所与の音源位置から鼓膜までのインパルス応答による伝達関数を記述する。ＨＲＴＦプロセッサ４０９は、特に、或る周波数副帯域（サブバンド）における所望のＨＲＴＦ関数の値に対応するようなＨＲＴＦパラメータデータを発生する。ＨＲＴＦプロセッサ４０９は、例えば、当該多チャンネル信号のチャンネルのうちの１つの音源位置に対してＨＲＴＦを計算することができる。この伝達関数は、適切な周波数サブバンドドメイン（ＱＭＦ又はＦＦＴサブバンドドメイン等の）に変換することができ、各サブバンドにおける対応するＨＲＴＦパラメータ値を決定することができる。
【０１０７】
本説明は頭部伝達関数の適用に焦点を絞っているが、説明される方法及び原理は、両耳室内インパルス応答（ＢＲＩＲ）関数等の他の（空間）両耳知覚伝達関数にも同様に等しく適用することができることが理解されよう。両耳知覚伝達関数の他の例は、１つの入力チャンネルから両耳ステレオ出力チャンネルの各々への信号レベルの相対量を記述する簡単な振幅パンニング規則（panning rule）である。
【０１０８】
幾つかの実施例では、上記ＨＲＴＦパラメータは動的に計算することができる一方、他の実施例では、斯かるパラメータは予め決定され、適切なデータ記憶部に記憶することができる。例えば、ＨＲＴＦパラメータはデータベースに方位（azimuth）、仰角（elevation）、距離及び周波数帯域の関数として記憶することができる。この場合、所与の周波数サブバンドに対する適切なＨＲＴＦパラメータは、所望の空間音源位置に対する値を選択することにより簡単に取り出すことができる。
【０１０９】
空間プロセッサ４０７は、関連パラメトリックデータ及び空間ＨＲＴＦパラメータデータに応答して、第１ステレオ信号を修正し、第２ステレオ信号を発生する。第１ステレオ信号とは対照的に、第２ステレオ信号は、両耳仮想空間信号であり、特には、通常のステレオシステムを介して（例えば、１対のヘッドフォンにより）提供された場合に、異なる音源位置にある３以上の音源の存在をエミュレーションするような向上された空間体験を提供することができるような３Ｄ両耳信号である。
【０１１０】
第２ステレオ信号はエンコードプロセッサ４１１に供給され、該エンコードプロセッサは上記空間プロセッサ４０７に結合されると共に、第２ステレオ信号を送信に適したデータストリームに符号化する（例えば、適切な量子化レベルを適用する等）。該エンコードプロセッサ４１１は出力プロセッサ４１３に結合され、該出力プロセッサは少なくとも符号化された第２ステレオ信号データ及びダウンミックスプロセッサ４０３により発生された関連パラメータデータ４０５を組み合わせることにより出力ストリームを発生する。
【０１１１】
典型的には、ＨＲＴＦ合成は個々の音源の全てに関する波形（例えば、サラウンドサウンド信号の状況でのスピーカ信号）を必要とする。しかしながら、エンコーダ３０７においてはＨＲＴＦ対が周波数サブバンドに対してパラメータ化されており、これにより、例えば仮想５.１スピーカ設定が、符号化（及びダウン混合）の間に抽出された空間パラメータの助けにより、前記多チャンネル入力信号のダウンミックスの低複雑度の後処理により発生されるのを可能にする。
【０１１２】
前記空間プロセッサは、特に、ＱＭＦ又はＦＦＴサブバンドドメイン等のサブバンドドメインで動作することができる。ダウン混合された第１ステレオ信号を復号して元の多チャンネル信号を発生し、これにＨＲＴＦフィルタ処理を用いたＨＲＴＦ合成が後続されるようにする代わりに、空間プロセッサ４０７は、各サブバンドに対して、ダウン混合された第１ステレオ信号の多チャンネル信号への復号と、これに後続する該多チャンネル信号の３Ｄ両耳信号としての再符号化との組み合わせ効果に対応するようなパラメータ値を発生する。
【０１１３】
即ち、発明者は、３Ｄ両耳信号は上記第１信号のサブバンド信号値に２ｘ２マトリクス乗算を適用することにより発生することができることを理解した。該第２信号の結果的信号値は、縦続接続されたチャンネル復号及びＨＲＴＦ合成により発生されるであろう信号値に密接に対応する。このように、多チャンネル復号とＨＲＴＦ合成との組み合わせ信号処理は、第２信号の所望のサブバンド値を発生するために第１信号のサブバンド信号値に簡単に適用することができるような４つのパラメータ値（マトリクス係数）へと組み合わせることができる。該マトリクスパラメータ値は、多チャンネル信号の復号とＨＲＴＦ合成との組み合わせ処理を反映するので、斯かるパラメータ値は、ダウンミックスプロセッサ４０３からの関連パラメータデータ及びＨＲＴＦパラメータの両方に応答して決定される。
【０１１４】
エンコーダ３０９において、ＨＲＴＦ関数は個々の周波数帯域に対してパラメータ化される。ＨＲＴＦパラメータ化の目的は、各ＨＲＴＦ対から音源配置に関する最も重要なキュー（合図）を捕捉することである。これらのパラメータは、
− 左耳インパルス応答に関する周波数サブバンド毎の（平均）レベル、
− 右耳インパルス応答に関する周波数サブバンド毎の（平均）レベル、
− 左耳インパルス応答と右耳インパルス応答との間の（平均）到達時間又は位相差、
− 左耳インパルス応答及び右耳インパルス応答の両方に関する周波数サブバンド毎の（平均）絶対位相又は時間（若しくは群遅延）（この場合、上記時間又は位相差は、殆どの場合、不要となる）、
− 対応するインパルス応答の間の周波数サブバンド毎のチャンネル相互間相関又はコヒーレンス、
を含むことができる。
【０１１５】
周波数サブバンド当たりの上記レベルパラメータは、仰角合成（スペクトルにおける特定のピーク及び谷による）及び方位に対するレベル差（各サブバンドに関するレベルパラメータの比により決定される）を容易にすることができる。
【０１１６】
前記絶対位相値又は位相差値は両耳の間の到達時間差を捕捉することができ、これらは音源方位に対する重要なキューでもある。前記コヒーレンス値は、（パラメータ）帯域毎に平均されるレベル及び／又は位相差に貢献し得ない両耳の間の微細な構造差をシミュレーションするために追加することができる。
【０１１７】
以下、空間プロセッサ４０７による処理の特定の例を説明する。該例において、音源の位置は、聴取者に対して図６に示されるように方位角α及び距離Ｄにより定められる。当該聴取者の左に配置された音源は、正の方位角に対応する。該音源位置から左耳までの伝達関数はＨＬにより示され、該音源位置から右耳までの伝達関数はＨＲにより示される。
【０１１８】
伝達関数ＨＬ及びＨＲは、方位角α、距離Ｄ及び仰角ε（図６には示されていない）に依存する。パラメトリック表現では、上記伝達関数は、ＨＲＴＦ周波数サブバンドｂｈ当たり３つのパラメータの組として記述することができる。このパラメータの組は、左伝達関数に関する周波数帯域当たりの平均レベルＰl(α,ε,D,bh)、右伝達関数に関する周波数帯域当たりの平均レベルＰr(α,ε,D,bh)及び周波数帯域当たりの平均位相差φ(α,ε,D,bh)を含む。この組の可能性のある拡張は、ＨＲＴＦ周波数帯域当たりの左及び右伝達関数のコヒーレンス尺度ρ(α,ε,D,bh)を含めることである。これらのパラメータはデータベースに方位、仰角、距離及び周波数帯域の関数として記憶することができ、及び／又は何らかの解析関数を用いて計算することができる。例えば、Ｐｌ及びＰｒパラメータは方位及び仰角の関数として記憶することができる一方、距離の効果は、これらの値を距離自体で除算することにより得られる（信号レベルと距離との間の１／Ｄなる関係を仮定する）。以下において、Ｐl(Lf)なる表記は、Ｌｆチャンネルの音源位置に対応する空間パラメータＰlを示す。
【０１１９】
ＨＲＴＦパラメータ化のための周波数サブバンド（ｂｈ）の数及び各サブバンドの帯域幅は、空間プロセッサ４０７により使用される（ＱＭＦ）フィルタバンクの周波数分解能（ｋ）又はダウンミックスプロセッサ４０３及び関連パラメータバンド（ｂｐ）の空間パラメータ分解能と必ずしも等しい必要はないことに注意すべきである。例えば、ＱＭＦハイブリッドフィルタバンクは７１チャンネルを持つことができ、ＨＲＴＦは２８の周波数帯域でパラメータ化することができ、空間符号化は１０個のパラメータバンドを用いて実行することができる。そのような場合、空間及びＨＲＴＦパラメータからＱＭＦハイブリッドインデックスへのマッピングは、例えば、ルックアップテーブル又は補間若しくは平均化関数を用いて適用することができる。当該説明では、下記のパラメータインデックスが用いられる。
【表１】
【０１２０】
該特定の例において、空間プロセッサ４０７は前記第１ステレオ信号をＱＭＦフィルタ処理により適切な周波数サブバンドに分割する。各サブバンドに関し、サブバンド値ＬＢ及びＲＢは、
【数３】
として決定され、ここでＬ０及びＲ０は第１ステレオ信号の対応するサブバンド値であり、マトリクス値ｈi,jはＨＲＴＦパラメータ及びダウンミックス関連パラメトリックデータから決定される。
【０１２１】
上記マトリクス係数は、ダウンミックスの特性を全ての個々のチャンネルが所望の音源位置に対応するＨＲＴＦにより処理されたかのように再生することを目的とするもので、これらは前記多チャンネル信号の復号と、これに対するＨＲＴＦ合成の実行との組み合わせ効果を有するものである。
【０１２２】
即ち、図５及び該図の説明を参照すると、上記マトリクス値は、
【数４】
として決定することができ、ここで、ｍk,lはＴＴＴダウンミキサ５０５により発生されたパラメトリックデータに応答して決定されるパラメータである。
【０１２３】
詳細に述べると、Ｌ、Ｒ及びＣ信号はステレオダウンミックス信号Ｌ０及びＲ０から、
【数５】
により発生され、ここで、ｍk,lは２つの予測係数ｃ１及びｃ２に依存し、これらは送信される空間パラメータの一部である。
【数６】
【０１２４】
ＨＪ(Ｘ)は、第２ステレオ信号のステレオ出力チャンネルＪに対するチャンネルＸ用のＨＲＴＦパラメータデータ及び適切なダウンミックスパラメータに応答して決定される。
【０１２５】
詳細には、ＨＪ(Ｘ)パラメータは２つのＴＴＯダウンミキサ５０１及び５０３により発生された左（Ｌ）及び右（Ｒ）ダウンミックス信号に関係するもので、２つのダウン混合されたチャンネルに対するＨＲＴＦパラメータデータに応答して決定することができる。即ち、２つの個々の左（Ｌｆ及びＬｓ）又は右（Ｒｆ及びＲｓ）チャンネルに関するＨＲＴＦパラメータの加重組み合わせを使用することができる。個々のパラメータは、個々の信号の相対エネルギにより重みを付けることができる。特定の例として、左（Ｌ）信号に対して下記の値を決定することができ、
【数７】
ここで、重みＷｘは、
【数８】
により与えられ、ＣＬＤｌはデシベルで規定される左フロント（Ｌｆ）と左サラウンド（Ｌｓ）との間の"チャンネルレベル差"であり（これは空間パラメータビットストリームの一部である）、
【数９】
ここで、ρ2lfはＬｆチャンネルのパラメータサブバンドにおけるパワーであり、ρ2lsはＬｓチャンネルの対応するサブバンドにおけるパワーである。
【０１２６】
同様にして、右（Ｒ）信号に対して下記の値を決定することができ、
【数１０】
センタ（Ｃ）信号に対して、
【数１１】
を決定することができる。
【０１２７】
このように、上述した方法を使用すれば、低複雑度の空間処理が、ダウン混合された多チャンネル信号に基づいて両耳仮想空間信号が発生されるのを可能にすることができる。
【０１２８】
以上のように、上述した方法の利点は、前記関連ダウンミックスパラメータの周波数サブバンド、空間プロセッサ４０７による空間処理及びＨＲＴＦパラメータが同一である必要がないということである。例えば、或るサブバンドのパラメータと空間処理のサブバンドとの間のマッピングを実行することができる。例えば、空間処理サブバンドが２つのＨＲＴＦパラメータサブバンドに対応する周波数区間をカバーする場合、空間プロセッサ４０７は、全てのＨＲＴＦパラメータサブバンドに対して当該空間パラメータに対応するのと同一の空間パラメータを使用して、ＨＲＴＦパラメータサブバンドに対し（個々の）処理を単に適用することができる。
【０１２９】
幾つかの実施例では、エンコーダ３０９は、デコーダが出力ストリームにおける音源の1以上の所望の位置データを識別するのを可能にするような音源位置データを含むように構成することができる。これは、デコーダがエンコーダ３０９により適用されたＨＲＴＦパラメータを決定するのを可能にし、これにより、デコーダが空間プロセッサ４０７の処理を逆処理するのを可能にする。付加的に又は代替的に、上記エンコーダは出力ストリームにＨＲＴＦパラメータの少なくとも幾つかを含むように構成することができる。
【０１３０】
このように、オプションとして、ＨＲＴＦパラメータ及び／又はスピーカ位置データを出力ストリームに含めることができる。これは、例えば、スピーカ位置データの時間の関数としての動的更新（スピーカ位置の送信の場合）又は個性化されたＨＲＴＦデータの使用（ＨＲＴＦパラメータの送信の場合）を可能にする。
【０１３１】
ＨＲＴＦパラメータがビットストリームの一部として送信される場合、各周波数帯域及び各音源位置に対して少なくともＰｌ、Ｐｒ及びφパラメータを送信することができる。大きさのパラメータＰｌ、Ｐｒは、線形量子化器を用いて量子化することができるか、又は対数ドメインで量子化することができる。位相角φは線形に量子化することができる。この場合、量子化器のインデックスをビットストリームに含めることができる。
【０１３２】
更に、位相角φは、典型的には２.５ｋＨｚより高い周波数に対してはゼロであると仮定することができる。何故なら、両耳間位相情報は高い周波数に対しては知覚的に無関係であるからである。
【０１３３】
量子化の後、ＨＲＴＦパラメータ量子化器インデックスに対して種々の無損失圧縮方式を適用することができる。例えば、恐らくは周波数帯域に跨る異なる符号化との組み合わせで、エントロピ符号化を適用することができる。他の例として、ＨＲＴＦパラメータは、共通の又は平均のＨＲＴＦパラメータ組に対する差分として表すこともできる。これは、特に、大きさのパラメータに対して当てはまる。それ以外では、位相パラメータは、単に仰角及び方位を符号化することにより極めて正確に近似することができる。両耳に対する経路差がある場合、到達時間差を計算することにより（典型的に、到達時間差は特に周波数依存性であり、殆どの方位及び仰角に依存する）、対応する位相パラメータを導出することができる。更に、測定された差は、方位及び仰角値に基づいて予測値に対して差分的に符号化することができる。
【０１３４】
また、主成分の分解に、幾つかの最も重要なＰＣＡ重みの送信が後続するような損失性圧縮方式も適用することができる。
【０１３５】
図７は、本発明の実施例による多チャンネルデコーダの一例を示す。該デコーダは、特には、図３のデコーダ３１５であり得る。
【０１３６】
該デコーダ３１５は、エンコーダ３０９からの出力ストリームを入力する入力レシーバ７０１を有している。該入力レシーバ７０１は、入力されたデータストリームをデマルチプレクスし、関連するデータを適切な機能エレメントに供給する。
【０１３７】
入力レシーバ７０１はデコードプロセッサ７０３に結合され、該プロセッサには前記第2ステレオ信号の符号化データが供給される。デコードプロセッサ７０３は、このデータを復号して、前記空間プロセッサ４０７により作成された両耳仮想空間信号を発生する。
【０１３８】
デコードプロセッサ７０３は逆処理プロセッサ７０５に結合され、該プロセッサは、空間プロセッサ４０７により実行された処理を逆処理するように構成されている。このようにして、逆処理プロセッサ７０５は、ダウンミックスプロセッサ４０３により作成されたダウン混合されたステレオ信号を発生する。
【０１３９】
詳細には、上記逆処理プロセッサ７０５は、入力された両耳仮想空間信号のサブバンド値にマトリクス乗算を適用することにより、ダウン混合されたステレオ信号を発生する。該マトリクス乗算は、空間プロセッサ４０７により使用されたものの逆行列に対応するマトリクスによるもので、これにより、この処理を逆処理する、
【数１２】
【０１４０】
このマトリクス乗算は、
【数１３】
と書くこともできる。
【０１４１】
上記マトリクス係数ｑk,lは、ダウンミックス信号に関連する（及びエンコーダ３０９からのデータストリームで受信された）パラメトリックデータ及びＨＲＴＦパラメータデータから決定される。即ち、前記エンコーダ３０９に関して説明した方法を、マトリクス係数ｈxyを発生するためにデコーダ４０９により使用することもできる。この場合、マトリクス係数ｑxyは、標準の行列反転により見つけることができる。
【０１４２】
上記逆処理プロセッサ７０５はパラメータプロセッサ７０７に結合され、該パラメータプロセッサは使用されるべきＨＲＴＦパラメータを決定する。幾つかの実施例では、該ＨＲＴＦパラメータは受信されたデータストリームに含まれており、該データストリームから簡単に抽出することができる。他の実施例では、例えばデータベースに異なる音源位置に関して異なるＨＲＴＦパラメータを記憶することができ、パラメータプロセッサ７０７がＨＲＴＦパラメータを所望の信号源位置に対応する値を取り出すことにより決定することができる。幾つかの実施例では、所望の信号源位置（又は複数の位置）を、エンコーダ３０９からのデータストリームに含めることができる。パラメータプロセッサ７０７は、この情報を抽出し、該情報を使用してＨＲＴＦパラメータを決定することができる。例えば、該プロセッサは、音源位置（又は複数の位置）を示すために記憶されたＨＲＴＦパラメータを取り出すことができる。
【０１４３】
幾つかの実施例では、前記逆処理プロセッサにより発生されたステレオ信号を直接出力することができる。しかしながら、他の実施例では、該ステレオ信号は多チャンネルデコーダ７０９に供給され、該デコーダは、ダウン混合されたステレオ信号及び入力されたパラメトリックデータからＭチャンネル信号を発生することができる。
【０１４４】
当該例において、３Ｄ両耳合成の逆処理は、ＱＭＦ又はフーリエ周波数サブバンドにおけるように、サブバンドドメインにおいて実行される。このように、デコードプロセッサ７０３は、逆処理プロセッサ７０５に供給されるサブバンドサンプルを発生するためにＱＭＦフィルタバンク又は高速フーリエ変換（ＦＦＴ）を有することができる。同様にして、逆処理プロセッサ７０５又は多チャンネルデコーダ７０９は、当該信号を時間ドメインに戻すように変換するために逆ＦＦＴ又はＱＭＦフィルタバンクを有することができる。
【０１４５】
エンコーダ側における３Ｄ両耳信号の発生は、従来のステレオデコーダによりヘッドセットのユーザに空間聴取体験が提供されるのを可能にする。このように、上述した方法は、旧来のステレオ装置が３Ｄ両耳信号を再生することができるという利点を有している。そのようであるので、３Ｄ両耳信号を再生するために、追加の後処理を適用する必要がなく、結果的に低複雑度の解決策となる。
【０１４６】
しかしながら、このような方法では、典型的には一般化されたＨＲＴＦが使用され、斯かるＨＲＴＦは、幾つかのケースにおいては、特定のユーザに対して最適化された専用のＨＲＴＦデータを使用するデコーダにおける３Ｄ両耳信号の発生と比較して、準最適な空間発生にしかならない。
【０１４７】
即ち、距離の限られた知覚及び可能性のある音源配置エラーが、時には、個性化されていないＨＲＴＦ（ダミー頭部又は他人に対して測定されたインパルス応答等）の使用から生じ得る。基本的に、ＨＲＴＦは、人体の解剖学的幾何学構造の差により、人毎に相違する。従って、正しい音源配置の点での最適な結果は、個性化されたＨＲＴＦデータにより最良に達成され得るものである。
【０１４８】
幾つかの実施例においては、デコーダ３１５は、先ずエンコーダ３０９の空間処理を逆処理し、次にローカルなＨＲＴＦデータを用いて、特には特定のユーザに対して最適化された個人的ＨＲＴＦデータを用いて３Ｄ両耳信号を発生するような機能を更に有することができる。このように、この実施例においては、デコーダ３１５は、ダウン混合されたステレオ信号を前記関連パラメトリックデータ及びエンコーダ３０９において使用された（ＨＲＴＦ）データとは異なるＨＲＴＦパラメータデータを使用して修正することにより１対の両耳出力チャンネルを発生する。従って、この方法は、エンコーダ側の３Ｄ合成、デコーダ側の逆処理、及びこれらに後続する他のステージのデコーダ側３Ｄ合成の組み合わせを提供する。
【０１４９】
斯様な方法の利点は、旧来のステレオ装置が基本的３Ｄ品質を提供するような出力としての３Ｄ両耳信号を有する一方、拡張されたデコーダは個性化されたＨＲＴＦを使用して改善された３Ｄ品質を可能にするようなオプションを有することになることである。この様に、旧来の互換性のある３Ｄ合成及び高品質の専用３Ｄ合成の両方が、同一のオーディオシステムで可能となる。
【０１５０】
このようなシステムの一例が図８に示されており、該図は個別化された３Ｄ両耳信号を提供するために、図７のデコーダに追加の空間プロセッサ８０１をどの様に追加することができるかを示している。幾つかの実施例では、空間プロセッサ８０１は、オーディオチャンネルの各々に対し個人的ＨＲＴＦを用いて単に直截な３Ｄ両耳合成を行うことができる。このように、当該デコーダは元の多チャンネル信号を生成し、これを個別化されたＨＲＴＦフィルタ処理を用いて３Ｄ両耳信号に変換することができる。
【０１５１】
他の実施例では、エンコーダ合成の逆処理及びデコーダ合成を組み合わせて、低複雑度の処理を提供することができる。即ち、デコーダ合成に使用される個別化されたＨＲＴＦを、パラメータ化し、エンコーダ３Ｄ合成に使用されたパラメータ（の逆）と組み合わせることができる。
【０１５２】
更に詳細には、前述したように、エンコーダ合成は、ダウン混合された信号のステレオサブバンドサンプルを２ｘ２マトリクスにより乗算する処理、
【数１４】
を含み、ここで、Ｌ０、Ｒ０は上記ダウン混合されたステレオ信号の対応するサブバンド値であり、マトリクス値ｈj,kは前述したようにＨＲＴＦパラメータ及びダウンミックス関連パラメトリックデータから決定されるパラメータである。
【０１５３】
逆処理プロセッサ７０５により実行される反転は、
【数１５】
により与えられ、ここで、ＬＢ、ＲＢはデコーダのダウン混合されたステレオ信号の対応するサブバンド値である。
【０１５４】
デコーダ側の適切な逆処理を保証するためには、３Ｄ両耳信号を発生するためにエンコーダにおいて使用されたＨＲＴＦパラメータ及び該３Ｄ両耳信号を逆処理するために使用されるＨＲＴＦパラメータは同一とするか又は十分に類似したものとする。１つのビットストリームは、通常、幾つかのデコーダに作用するので、３Ｄ両耳ダウンミックスの個性化はエンコーダ合成により得るのは困難である。
【０１５５】
しかしながら、３Ｄ両耳合成処理は可逆的であるので、逆処理プロセッサ７０５はダウン混合されたステレオ信号を再生し、次いで該ステレオ信号が、個性化されたＨＲＴＦに基づいて３Ｄ両耳信号を発生するために使用される。
【０１５６】
即ち、エンコーダ３０９における処理と同様に、デコーダ３１５における３Ｄ両耳合成は、３Ｄ両耳信号ＬＢ、ＲＢを発生するためのダウンミックス信号Ｌ０，Ｒ０に対する簡単なサブバンド毎の２ｘ２マトリクス演算により下記のように発生することができ、
【数１６】
ここで、パラメータｐx,yは、ｈx,yが汎用ＨＲＴＦに基づきエンコーダ３０９により発生されたのと同様の方法で、個性化されたＨＲＴＦに基づいて決定される。更に詳細には、エンコーダ３０９においては、パラメータｈx,yは多チャンネルパラメトリックデータ及び汎用ＨＲＴＦから決定される。上記多チャンネルパラメトリックデータはデコーダ３１５に送信されるので、該デコーダにより上記と同じ方法を個人的ＨＲＴＦに基づいてｐx,yを計算するために使用することができる。
【０１５７】
これを、逆処理プロセッサ７０５の処理と組み合わせると、
【数１７】
となる。
【０１５８】
この式において、マトリクスエントリｈx,yはエンコーダで使用された汎用の個性化されていないＨＲＴＦを用いて得られる一方、マトリクスエントリｐx,yは別の好ましくは個性化されたＨＲＴＦ組を用いて求められる。従って、非個性化ＨＲＴＦデータを用いて発生された３Ｄ両耳入力信号ＬＢ，ＲＢは、別の個性化されたＨＲＴＦデータを用いて他の３Ｄ両耳出力信号ＬB'，ＲB'に変換される。
【０１５９】
更に、示されたように、エンコーダ合成の逆処理及びデコーダ合成の組み合わせ方法は、簡単な２ｘ２マトリクス演算により達成することができる。従って、この組み合わせ処理の計算的複雑さは、実質的に、簡単な３Ｄ両耳逆処理に関するものと同じである。
【０１６０】
図９は、上述した原理に従って動作するデコーダ３１５の一例を示す。詳細には、エンコーダ３０９からの３Ｄ両耳ステレオダウンミックスのステレオサブバンドサンプルは逆処理プロセッサ７０５に供給され、該プロセッサは２ｘ２マトリクス演算により元のステレオダウンミックスサンプルを再生する。
【数１８】
【０１６１】
結果としてのサブバンドサンプルは空間合成ユニット９０１に供給され、該ユニットは、これらサンプルを２ｘ２マトリクスにより乗算することにより個性化された３Ｄ両耳信号を発生する。
【数１９】
【０１６２】
上記マトリクス係数は、エンコーダ３０９から受信された多チャンネル拡張データと個性化されたＨＲＴＦとに基づいてパラメータを発生するパラメータ変換ユニット９０３により発生される。
【０１６３】
合成サブバンドサンプルＬＢ，ＲＢはサブバンド／時間ドメイン変換器９０５に供給され、該変換器はユーザに提供することが可能な３Ｄ時間ドメイン信号を発生する。
【０１６４】
図９は、非個性化ＨＲＴＦに基づく３Ｄ逆処理のステップ及び個性化されたＨＲＴＦに基づく３Ｄ合成のステップを異なる機能ユニットによる順次処理として示しているが、多くの実施例においては、これら処理は単一のマトリクスの適用により同時に適用することができることが分かるであろう。即ち、２ｘ２マトリクス、
【数２０】
が計算され、出力サンプルが、
【数２１】
と計算される。
【０１６５】
上述したシステムは下記のものを含む多数の利点を提供することが分かるであろう。
− 多チャンネルデコーダにおいて、空間ステレオ処理としての多チャンネル再生を（知覚的に）僅かな品質劣化又は品質劣化なしで逆処理することができる。
− （３Ｄ）空間両耳ステレオ体験を従来のステレオデコーダによっても提供することができる。
− 既存の空間配置方法と比較して複雑さが低減される。複雑さは次のような多数の態様で低減される。
ＨＲＴＦの効率的な記憶。ＨＲＴＦインパルス応答を記憶する代わりに、ＨＲＴＦを特徴付けるべく限られた数のパラメータが使用される。
効率的な３Ｄ処理。ＨＲＴＦは限られた周波数分解能においてパラメータとして特徴付けられ、ＨＲＴＦパラメータの適用は（高度にダウンサンプリングされた）パラメータドメインで実行されるので、空間合成段は完全なＨＲＴＦ畳み込みに基づく従来の合成方法よりも一層効率的である。
必要とされる処理は例えばＱＭＦドメインで実行することができるので、結果的に、ＦＦＴに基づく方法よりも計算的負荷及びメモリの負荷が小さくなる。
− 既存のサラウンドサウンド構築ブロック（標準のＭＰＥＧサラウンドサウンド符号化／復号機能等の）の効率的な再利用が、最小の複雑さの実施化を可能にする。
− エンコーダにより送信された（パラメータ化された）ＨＲＴＦデータの修正による個人化の可能性。
− 送信される位置情報により、音源位置がオンザフライで変化し得る。
【０１６６】
図１０は、本発明の実施例によるオーディオ符号化の方法を示す。
【０１６７】
該方法はステップ１００１で開始し、該ステップにおいてＭチャンネルオーディオ信号が入力される（Ｍ＞２）。
【０１６８】
ステップ１００１にはステップ１００３が後続し、該ステップにおいて上記Ｍチャンネルオーディオ信号は第１ステレオ信号及び関連するパラメトリックデータにダウン混合される。
【０１６９】
ステップ１００３にはステップ１００５が後続し、該ステップにおいて上記第１ステレオ信号は、上記関連パラメトリックデータ及び空間頭部伝達関数（ＨＲＴＦ）パラメータデータに応答して、第２ステレオ信号を発生すべく修正される。該第２ステレオ信号は両耳仮想空間信号である。
【０１７０】
ステップ１００５にはステップ１００７が後続し、該ステップにおいては、上記第２ステレオ信号が符号化されて、符号化データを発生する。
【０１７１】
ステップ１００７にはステップ１００９が後続し、該ステップにおいて上記符号化データ及び前記関連パラメトリックデータを有する出力データストリームが発生される。
【０１７２】
図１１は、本発明の実施例によるオーディオ復号の方法を示す。
【０１７３】
該方法はステップ１１０１で開始し、該ステップにおいて、デコーダは、第１ステレオ信号及びＭチャンネルオーディオ信号（ここで、Ｍ＞２である）のダウン混合されたステレオ信号に関連するパラメトリックデータを有するような入力データを受信する。上記第１ステレオ信号は両耳仮想空間信号である。
【０１７４】
ステップ１１０１にはステップ１１０３が後続し、該ステップにおいて上記第１ステレオ信号は、上記パラメトリックデータ及び該第１ステレオ信号に関連する空間頭部伝達関数（ＨＲＴＦ）パラメータデータに応答して、前記ダウン混合されたステレオ信号を発生すべく修正される。
【０１７５】
ステップ１１０３にはステップ１１０５が後続し、該ステップにおいては、上記ダウン混合されたステレオ信号及びパラメトリックデータに応答して、前記Ｍチャンネルオーディオ信号が発生される。
【０１７６】
上記記載は、明瞭化のために、本発明の実施例を異なる機能ユニット及びプロセッサを参照して説明したことが分かるであろう。しかしながら、異なる機能ユニット又はプロセッサの間の如何なる適切な機能の分散も、本発明から逸脱することなしに利用することができることは明であろう。例えば、別個のプロセッサ又はコントローラにより実行されるように説明された機能は、同一のプロセッサ又はコントローラにより実行することができる。従って、特定の機能ユニットに対する言及は、厳密な論理的又は物理的構造又は編成を示すというより、説明された機能を提供する適切な手段を示すものとだけ理解されるべきである。
【０１７７】
本発明は、ハードウェア、ソフトウェア、ファームウエア又はこれらの何れかの組み合わせを含む如何なる好適な形態でも実施化することができる。本発明は、オプションとして、少なくとも部分的に、１以上のデータプロセッサ及び／又はデジタル信号プロセッサ上で動作するコンピュータソフトウェアとして実施化することができる。本発明の実施例のエレメント及びコンポーネントは物理的に、機能的に及び論理的に如何なる好適な態様でも実施化することができる。機能は、単一のユニットにおいて、複数のユニットにおいて、又は他の機能ユニットの一部として実施化することができる。そのようであるので、本発明は、単一のユニット内で実施化することができるか、又は異なるユニット及びプロセッサの間で物理的に及び機能的に分散させることもできる。
【０１７８】
以上、本発明を幾つかの実施例に関連して説明したが、本発明をここで述べた特定の形態に限定しようとするものではない。むしろ、本発明の範囲は添付請求項によってのみ限定されるものである。更に、或るフィーチャは特定の実施例に関連して説明されているように見えるかもしれないが、当業者であれば、説明された実施例の種々のフィーチャは本発明により組み合わせることができると理解するであろう。請求項において、"有する"なる用語は、他のエレメント又はステップの存在を排除するものではない。
【０１７９】
更に、個別に掲載されていても、複数の手段、エレメント又は方法のステップは、例えば単一のユニット又はプロセッサにより実施化することができる。更に、個々のフィーチャが異なる請求項に含まれていても、これらは有利に組み合わせることができ、異なる請求項に含めることは、フィーチャの組み合わせが可能及び／又は有利ではないことを意味するものではない。また、１つのカテゴリの請求項にフィーチャを含めることは、このカテゴリへの限定を意味するものではなく、該フィーチャが、適宜、他のカテゴリの請求項へも等しく適用可能であることを示すものである。更に、請求項におけるフィーチャの順序は、斯かるフィーチャが実行されるべき如何なる特定の順序を意味するものではなく、特に、方法の請求項における個々のステップの順序は、この順序で斯かるステップが実行されねばならないことを意味するものではない。むしろ、斯かるステップは如何なる好適な順序で実行することもできる。更に、単一的参照は複数を排除するものではない。かくして、単一表現、"第１の"及び"第２の"等は複数を排除するものではない。請求項における括弧内の符号は、単に明瞭化のための例として付されたもので、請求項の範囲を如何なる形でも限定するものとして見なしてはならない。
【図面の簡単な説明】
【０１８０】
【図１】図１は、従来技術による両耳合成の説明図である。
【図２】図２は、多チャンネルデコーダ及び両耳合成の縦続接続の説明図である。
【図３】図３は、本発明の実施例によるオーディオ信号の通信のための伝送システムを示す。
【図４】図４は、本発明の実施例によるエンコーダを示す。
【図５】図５は、サラウンドサウンド・パラメトリック・ダウンミックス・エンコーダを示す。
【図６】図６は、ユーザに対する音源位置の一例を示す。
【図７】図７は、本発明の実施例による多チャンネルデコーダを示す。
【図８】図８は、本発明の実施例によるデコーダを示す。
【図９】図９は、本発明の実施例によるデコーダを示す。
【図１０】図１０は、本発明の実施例によるオーディオ符号化の方法を示す。
【図１１】図１１は、本発明の実施例によるオーディオ復号の方法を示す。
【特許請求の範囲】
【請求項１】
Ｍチャンネルオーディオ信号を入力する手段と（但し、Ｍ＞２）、
前記Ｍチャンネルオーディオ信号を第１ステレオ信号及び関連するパラメトリックデータにダウン混合するダウン混合手段と、
前記関連するパラメトリックデータ及び両耳知覚伝達関数のための空間パラメータデータに応答して前記第１ステレオ信号を修正し、両耳信号である第２ステレオ信号を発生する発生手段と、
前記第２ステレオ信号を符号化して符号化データを発生する手段と、
前記符号化データ及び前記関連するパラメトリックデータを有する出力データストリームを発生する出力手段と、
を有するオーディオエンコーダ。
【請求項２】
前記発生手段が、前記関連するパラメトリックデータ、前記空間パラメータデータ及び前記第１ステレオ信号に関するサブバンドデータ値に応答して、前記第２ステレオ信号に関するサブバンドデータ値を計算することにより前記第２ステレオ信号を発生するよう構成されている請求項１に記載のエンコーダ。
【請求項３】
前記発生手段が、前記第２ステレオ信号の第１サブバンドに関するサブバンド値を、前記第１ステレオ信号に関する対応するステレオサブバンド値の第１サブバンドマトリクスによる乗算に応答して発生するよう構成され、該発生手段が、前記第１サブバンドに関する空間パラメータデータ及び関連するパラメトリックデータに応答して前記第１サブバンドマトリクスのデータ値を決定するパラメータ手段を更に有しているような請求項２に記載のエンコーダ。
【請求項４】
前記発生手段が、前記第１サブバンド区間とは異なる周波数区間を有するサブバンドに関連する空間パラメータデータ、前記関連するパラメトリックデータ及び前記第１ステレオ信号のうちの少なくとも１つのデータ値を、前記第１サブバンドに関する対応するデータ値に変換する手段を更に有しているような請求項３に記載のエンコーダ。
【請求項５】
前記発生手段が、前記第２ステレオ信号の前記第１サブバンドに関するステレオサブバンド値ＬＢ，ＲＢを、実質的に、
【数１】
として決定するように構成され、ここで、Ｌ０，Ｒ０は前記第１ステレオ信号の対応するサブバンド値であり、前記パラメータ手段が、前記乗算マトリクスのデータ値を、実質的に、
【数２】
として決定するように構成され、ここで、ｍk,lは前記ダウン混合手段によるチャンネルＬ、Ｒ及びＣの前記第１ステレオ信号へのダウンミックスに対する関連するパラメトリックデータに応答して決定されるパラメータであり、ＨJ(Ｘ)は前記第２ステレオ信号の出力チャンネルＪに対するチャンネルＸに関する空間パラメータデータに応答して決定されるような請求項３に記載のエンコーダ。
【請求項６】
チャンネルＬ及びＲの少なくとも一方が、少なくとも２つのダウン混合されたチャンネルのダウンミックスに対応し、前記パラメータ手段がＨJ(Ｘ)を前記少なくとも２つのダウン混合されたチャンネルに関する空間パラメータデータの加重組み合わせに応答して決定するように構成されている請求項５に記載のエンコーダ。
【請求項７】
前記パラメータ手段が、前記少なくとも２つのダウン混合されたチャンネルに関する前記空間パラメータデータの重み付けを前記少なくとも２つのダウン混合されたチャンネルに関する相対エネルギ尺度に応答して決定するように構成された請求項６に記載のエンコーダ。
【請求項８】
前記空間パラメータデータが、
− サブバンド当たりの平均レベルパラメータ、
− 平均到達時間パラメータ、
− 少なくとも１つのステレオチャンネルの位相、
− タイミングパラメータ、
− 群遅延パラメータ、
− ステレオチャンネル間の位相、及び
− チャンネル相互相関パラメータ、
からなるグループから選択された少なくとも１つのパラメータを含むような請求項１に記載のエンコーダ。
【請求項９】
前記出力手段が、前記出力データストリームに音源位置データを含めるように構成された請求項１に記載のエンコーダ。
【請求項１０】
前記出力手段が、前記出力データストリームに前記空間パラメータデータの少なくとも幾らかを含めるように構成された請求項１に記載のエンコーダ。
【請求項１１】
前記空間パラメータデータを所望のサウンド信号位置に応答して決定する手段を更に有するような請求項１に記載のエンコーダ。
【請求項１２】
Ｍチャンネルオーディオ信号（但し、Ｍ＞２）に対応した両耳信号である第１ステレオ信号と該Ｍチャンネルオーディオ信号のダウン混合されたステレオ信号に関連するパラメトリックデータとを有する入力データを入力する手段と、
前記パラメトリックデータと前記第１ステレオ信号に関連する両耳知覚伝達関数のための第１空間パラメータデータとに応答して、前記第１ステレオ信号を修正することにより前記ダウン混合されたステレオ信号を発生する発生手段と、
を有するオーディオデコーダ。
【請求項１３】
前記ダウン混合されたステレオ信号及び前記パラメトリックデータに応答して、前記Ｍチャンネルオーディオ信号を発生する手段を更に有するような請求項１２に記載のデコーダ。
【請求項１４】
前記発生手段が、前記第１ステレオ信号に関するサブバンドデータ値、前記第１空間パラメータデータ及び前記関連するパラメトリックデータに応答して、前記ダウン混合されたステレオ信号に関するサブバンドデータ値を計算することにより前記ダウン混合されたステレオ信号を発生するよう構成された請求項１２に記載のデコーダ。
【請求項１５】
前記発生手段が、前記ダウン混合されたステレオ信号の第１サブバンドに関するサブバンド値を、前記第１ステレオ信号に関する対応するステレオサブバンド値の第１サブバンドマトリクスによる乗算に応答して発生するよう構成され、該発生手段が、前記第１サブバンドに関する両耳知覚伝達関数及びパラメトリックデータに応答して前記第１サブバンドマトリクスのデータ値を決定するパラメータ手段を更に有しているような請求項１４に記載のデコーダ。
【請求項１６】
前記入力データが前記第１空間パラメータデータの少なくとも幾らかを有するような請求項１２に記載のデコーダ。
【請求項１７】
前記入力データが音源位置データを有し、当該デコーダが該音源位置データに応答して前記第１空間パラメータデータを決定する手段を有しているような請求項１２に記載のデコーダ。
【請求項１８】
前記関連するパラメトリックデータと、前記第１空間パラメータデータとは異なる第２両耳感知伝達関数に関する第２空間パラメータデータとに応答して、前記第１ステレオ信号を修正することにより１対の両耳出力チャンネルを生成する空間デコーダユニット、
を更に有するような請求項１２に記載のデコーダ。
【請求項１９】
前記空間デコーダユニットが、
− 前記パラメトリックデータを、前記第２空間パラメータデータを用いて両耳合成パラメータに変換するパラメータ変換ユニットと、
− 前記１対の両耳出力チャンネルを、前記両耳合成パラメータ及び前記第１ステレオ信号を用いて合成する空間合成ユニットと、
を有するような請求項１８に記載のデコーダ。
【請求項２０】
前記両耳合成パラメータが、前記ダウン混合されたステレオ信号のステレオサンプルを前記１対の両耳出力チャンネルのステレオサンプルに関係付ける２ｘ２マトリクスのマトリクス係数を有しているような請求項１９に記載のデコーダ。
【請求項２１】
前記両耳合成パラメータが、前記第１ステレオ信号のステレオサブバンドサンプルを前記１対の両耳出力チャンネルのステレオサンプルに関係付ける２ｘ２マトリクスのマトリクス係数を有しているような請求項１９に記載のデコーダ。
【請求項２２】
Ｍチャンネルオーディオ信号を入力するステップと（但し、Ｍ＞２）、
前記Ｍチャンネルオーディオ信号を第１ステレオ信号及び関連するパラメトリックデータにダウン混合するステップと、
前記関連するパラメトリックデータ及び両耳知覚伝達関数のための空間パラメータデータに応答して前記第１ステレオ信号を修正し、両耳信号である第２ステレオ信号を発生するステップと、
前記第２ステレオ信号を符号化して符号化データを発生するステップと、
前記符号化データ及び前記関連するパラメトリックデータを有する出力データストリームを発生するステップと、
を有するオーディオ符号化方法。
【請求項２３】
Ｍチャンネルオーディオ信号（但し、Ｍ＞２）に対応した両耳信号である第１ステレオ信号と該Ｍチャンネルオーディオ信号のダウン混合されたステレオ信号に関連するパラメトリックデータとを有するような入力データを入力するステップと、
前記パラメトリックデータと前記第１ステレオ信号に関連する両耳知覚伝達関数のための空間パラメータデータとに応答して、前記第１ステレオ信号を修正することにより前記ダウン混合されたステレオ信号を発生するステップと、
を有するオーディオ復号方法。
【請求項２４】
Ｍチャンネルオーディオ信号（但し、Ｍ＞２）に対応した両耳信号である第１ステレオ信号と該Ｍチャンネルオーディオ信号のダウン混合されたステレオ信号に関連するパラメトリックデータとを有する入力データを入力する手段と、
前記パラメトリックデータと前記第１ステレオ信号に関連する両耳知覚伝達関数のための空間パラメータデータとに応答して、前記第１ステレオ信号を修正することにより前記ダウン混合されたステレオ信号を発生する発生手段と、
を有するオーディオ信号を受信する受信機。
【請求項２５】
Ｍチャンネルオーディオ信号を入力する手段と（但し、Ｍ＞２）、
前記Ｍチャンネルオーディオ信号を第１ステレオ信号及び関連するパラメトリックデータにダウン混合するダウン混合手段と、
前記関連するパラメトリックデータ及び両耳知覚伝達関数のための空間パラメータデータに応答して前記第１ステレオ信号を修正し、両耳信号である第２ステレオ信号を発生する発生手段と、
前記第２ステレオ信号を符号化して符号化データを発生する手段と、
前記符号化データ及び前記関連するパラメトリックデータを有するような出力データストリームを発生する出力手段と、
前記出力データストリームを送信する手段と、
を有する出力データストリームを送信する送信機。
【請求項２６】
Ｍチャンネルオーディオ信号を入力する手段と（但し、Ｍ＞２）、
前記Ｍチャンネルオーディオ信号を第１ステレオ信号及び関連するパラメトリックデータにダウン混合するダウン混合手段と、
前記関連するパラメトリックデータ及び両耳知覚伝達関数のための空間パラメータデータに応答して前記第１ステレオ信号を修正し、両耳信号である第２ステレオ信号を発生する発生手段と、
前記第２ステレオ信号を符号化して符号化データを発生する手段と、
前記符号化データ及び前記関連するパラメトリックデータを有するようなオーディオ出力データストリームを発生する出力手段と、
前記オーディオ出力データストリームを送信する手段と、
を有する送信機と、
前記オーディオ出力データストリームを受信する手段と、
前記パラメトリックデータと前記空間パラメータデータとに応答して、前記第２ステレオ信号を修正することにより前記第１ステレオ信号を発生する手段と、
を有する受信機と、
を有するオーディオ信号を伝送する伝送システム。
【請求項２７】
Ｍチャンネルオーディオ信号（但し、Ｍ＞２）に対応した両耳信号である第１ステレオ信号と該Ｍチャンネルオーディオ信号のダウン混合されたステレオ信号に関連するパラメトリックデータとを有する入力データを受信するステップと、
前記パラメトリックデータと前記第１ステレオ信号に関連する両耳知覚伝達関数のための空間パラメータデータとに応答して、前記第１ステレオ信号を修正することにより前記ダウン混合されたステレオ信号を発生するステップと、
を有するオーディオ信号を受信する方法。
【請求項２８】
Ｍチャンネルオーディオ信号を入力するステップと（但し、Ｍ＞２）、
前記Ｍチャンネルオーディオ信号を第１ステレオ信号及び関連するパラメトリックデータにダウン混合するステップと、
前記関連するパラメトリックデータ及び両耳知覚伝達関数のための空間パラメータデータに応答して前記第１ステレオ信号を修正し、両耳信号である第２ステレオ信号を発生するステップと、
前記第２ステレオ信号を符号化して符号化データを発生するステップと、
前記符号化データ及び前記関連するパラメトリックデータを有するようなオーディオ出力データストリームを発生するステップと、
前記オーディオ出力データストリームを送信するステップと、
を有するオーディオ出力データストリームを送信する方法。
【請求項２９】
Ｍチャンネルオーディオ信号を入力するステップと（但し、Ｍ＞２）、
前記Ｍチャンネルオーディオ信号を第１ステレオ信号及び関連するパラメトリックデータにダウン混合するステップと、
前記関連するパラメトリックデータ及び両耳知覚伝達関数のための空間パラメータデータに応答して前記第１ステレオ信号を修正し、両耳信号である第２ステレオ信号を発生するステップと、
前記第２ステレオ信号を符号化して符号化データを発生するステップと、
前記符号化データ及び前記関連するパラメトリックデータを有するようなオーディオ出力データストリームを発生するステップと、
前記オーディオ出力データストリームを送信するステップと、
前記オーディオ出力データストリームを受信するステップと、
前記パラメトリックデータと前記空間パラメータデータとに応答して、前記第２ステレオ信号を修正することにより前記第１ステレオ信号を発生するステップと、
を有するオーディオ信号を送信及び受信する方法。
【請求項３０】
請求項２２、２３、２７、２８及び２９の何れか一項に記載の方法を実行するためのコンピュータプログラム。
【請求項３１】
請求項１に記載のエンコーダを有するオーディオ記録装置。
【請求項３２】
請求項１２に記載のデコーダを有するオーディオ再生装置。
【請求項３３】
第１ステレオ信号と、
Ｍチャンネルオーディオ信号（但し、Ｍ＞２）のダウン混合されたステレオ信号に関連するパラメトリックデータと、
を有し、前記第１ステレオ信号が前記Ｍチャンネルオーディオ信号に対応する両耳信号であるようなオーディオ信号のためのオーディオデータストリーム。
【請求項３４】
請求項３３に記載のオーディオデータストリームを記憶した記憶媒体。
【請求項１】
Ｍチャンネルオーディオ信号を入力する手段と（但し、Ｍ＞２）、
前記Ｍチャンネルオーディオ信号を第１ステレオ信号及び関連するパラメトリックデータにダウン混合するダウン混合手段と、
前記関連するパラメトリックデータ及び両耳知覚伝達関数のための空間パラメータデータに応答して前記第１ステレオ信号を修正し、両耳信号である第２ステレオ信号を発生する発生手段と、
前記第２ステレオ信号を符号化して符号化データを発生する手段と、
前記符号化データ及び前記関連するパラメトリックデータを有する出力データストリームを発生する出力手段と、
を有するオーディオエンコーダ。
【請求項２】
前記発生手段が、前記関連するパラメトリックデータ、前記空間パラメータデータ及び前記第１ステレオ信号に関するサブバンドデータ値に応答して、前記第２ステレオ信号に関するサブバンドデータ値を計算することにより前記第２ステレオ信号を発生するよう構成されている請求項１に記載のエンコーダ。
【請求項３】
前記発生手段が、前記第２ステレオ信号の第１サブバンドに関するサブバンド値を、前記第１ステレオ信号に関する対応するステレオサブバンド値の第１サブバンドマトリクスによる乗算に応答して発生するよう構成され、該発生手段が、前記第１サブバンドに関する空間パラメータデータ及び関連するパラメトリックデータに応答して前記第１サブバンドマトリクスのデータ値を決定するパラメータ手段を更に有しているような請求項２に記載のエンコーダ。
【請求項４】
前記発生手段が、前記第１サブバンド区間とは異なる周波数区間を有するサブバンドに関連する空間パラメータデータ、前記関連するパラメトリックデータ及び前記第１ステレオ信号のうちの少なくとも１つのデータ値を、前記第１サブバンドに関する対応するデータ値に変換する手段を更に有しているような請求項３に記載のエンコーダ。
【請求項５】
前記発生手段が、前記第２ステレオ信号の前記第１サブバンドに関するステレオサブバンド値ＬＢ，ＲＢを、実質的に、
【数１】
として決定するように構成され、ここで、Ｌ０，Ｒ０は前記第１ステレオ信号の対応するサブバンド値であり、前記パラメータ手段が、前記乗算マトリクスのデータ値を、実質的に、
【数２】
として決定するように構成され、ここで、ｍk,lは前記ダウン混合手段によるチャンネルＬ、Ｒ及びＣの前記第１ステレオ信号へのダウンミックスに対する関連するパラメトリックデータに応答して決定されるパラメータであり、ＨJ(Ｘ)は前記第２ステレオ信号の出力チャンネルＪに対するチャンネルＸに関する空間パラメータデータに応答して決定されるような請求項３に記載のエンコーダ。
【請求項６】
チャンネルＬ及びＲの少なくとも一方が、少なくとも２つのダウン混合されたチャンネルのダウンミックスに対応し、前記パラメータ手段がＨJ(Ｘ)を前記少なくとも２つのダウン混合されたチャンネルに関する空間パラメータデータの加重組み合わせに応答して決定するように構成されている請求項５に記載のエンコーダ。
【請求項７】
前記パラメータ手段が、前記少なくとも２つのダウン混合されたチャンネルに関する前記空間パラメータデータの重み付けを前記少なくとも２つのダウン混合されたチャンネルに関する相対エネルギ尺度に応答して決定するように構成された請求項６に記載のエンコーダ。
【請求項８】
前記空間パラメータデータが、
− サブバンド当たりの平均レベルパラメータ、
− 平均到達時間パラメータ、
− 少なくとも１つのステレオチャンネルの位相、
− タイミングパラメータ、
− 群遅延パラメータ、
− ステレオチャンネル間の位相、及び
− チャンネル相互相関パラメータ、
からなるグループから選択された少なくとも１つのパラメータを含むような請求項１に記載のエンコーダ。
【請求項９】
前記出力手段が、前記出力データストリームに音源位置データを含めるように構成された請求項１に記載のエンコーダ。
【請求項１０】
前記出力手段が、前記出力データストリームに前記空間パラメータデータの少なくとも幾らかを含めるように構成された請求項１に記載のエンコーダ。
【請求項１１】
前記空間パラメータデータを所望のサウンド信号位置に応答して決定する手段を更に有するような請求項１に記載のエンコーダ。
【請求項１２】
Ｍチャンネルオーディオ信号（但し、Ｍ＞２）に対応した両耳信号である第１ステレオ信号と該Ｍチャンネルオーディオ信号のダウン混合されたステレオ信号に関連するパラメトリックデータとを有する入力データを入力する手段と、
前記パラメトリックデータと前記第１ステレオ信号に関連する両耳知覚伝達関数のための第１空間パラメータデータとに応答して、前記第１ステレオ信号を修正することにより前記ダウン混合されたステレオ信号を発生する発生手段と、
を有するオーディオデコーダ。
【請求項１３】
前記ダウン混合されたステレオ信号及び前記パラメトリックデータに応答して、前記Ｍチャンネルオーディオ信号を発生する手段を更に有するような請求項１２に記載のデコーダ。
【請求項１４】
前記発生手段が、前記第１ステレオ信号に関するサブバンドデータ値、前記第１空間パラメータデータ及び前記関連するパラメトリックデータに応答して、前記ダウン混合されたステレオ信号に関するサブバンドデータ値を計算することにより前記ダウン混合されたステレオ信号を発生するよう構成された請求項１２に記載のデコーダ。
【請求項１５】
前記発生手段が、前記ダウン混合されたステレオ信号の第１サブバンドに関するサブバンド値を、前記第１ステレオ信号に関する対応するステレオサブバンド値の第１サブバンドマトリクスによる乗算に応答して発生するよう構成され、該発生手段が、前記第１サブバンドに関する両耳知覚伝達関数及びパラメトリックデータに応答して前記第１サブバンドマトリクスのデータ値を決定するパラメータ手段を更に有しているような請求項１４に記載のデコーダ。
【請求項１６】
前記入力データが前記第１空間パラメータデータの少なくとも幾らかを有するような請求項１２に記載のデコーダ。
【請求項１７】
前記入力データが音源位置データを有し、当該デコーダが該音源位置データに応答して前記第１空間パラメータデータを決定する手段を有しているような請求項１２に記載のデコーダ。
【請求項１８】
前記関連するパラメトリックデータと、前記第１空間パラメータデータとは異なる第２両耳感知伝達関数に関する第２空間パラメータデータとに応答して、前記第１ステレオ信号を修正することにより１対の両耳出力チャンネルを生成する空間デコーダユニット、
を更に有するような請求項１２に記載のデコーダ。
【請求項１９】
前記空間デコーダユニットが、
− 前記パラメトリックデータを、前記第２空間パラメータデータを用いて両耳合成パラメータに変換するパラメータ変換ユニットと、
− 前記１対の両耳出力チャンネルを、前記両耳合成パラメータ及び前記第１ステレオ信号を用いて合成する空間合成ユニットと、
を有するような請求項１８に記載のデコーダ。
【請求項２０】
前記両耳合成パラメータが、前記ダウン混合されたステレオ信号のステレオサンプルを前記１対の両耳出力チャンネルのステレオサンプルに関係付ける２ｘ２マトリクスのマトリクス係数を有しているような請求項１９に記載のデコーダ。
【請求項２１】
前記両耳合成パラメータが、前記第１ステレオ信号のステレオサブバンドサンプルを前記１対の両耳出力チャンネルのステレオサンプルに関係付ける２ｘ２マトリクスのマトリクス係数を有しているような請求項１９に記載のデコーダ。
【請求項２２】
Ｍチャンネルオーディオ信号を入力するステップと（但し、Ｍ＞２）、
前記Ｍチャンネルオーディオ信号を第１ステレオ信号及び関連するパラメトリックデータにダウン混合するステップと、
前記関連するパラメトリックデータ及び両耳知覚伝達関数のための空間パラメータデータに応答して前記第１ステレオ信号を修正し、両耳信号である第２ステレオ信号を発生するステップと、
前記第２ステレオ信号を符号化して符号化データを発生するステップと、
前記符号化データ及び前記関連するパラメトリックデータを有する出力データストリームを発生するステップと、
を有するオーディオ符号化方法。
【請求項２３】
Ｍチャンネルオーディオ信号（但し、Ｍ＞２）に対応した両耳信号である第１ステレオ信号と該Ｍチャンネルオーディオ信号のダウン混合されたステレオ信号に関連するパラメトリックデータとを有するような入力データを入力するステップと、
前記パラメトリックデータと前記第１ステレオ信号に関連する両耳知覚伝達関数のための空間パラメータデータとに応答して、前記第１ステレオ信号を修正することにより前記ダウン混合されたステレオ信号を発生するステップと、
を有するオーディオ復号方法。
【請求項２４】
Ｍチャンネルオーディオ信号（但し、Ｍ＞２）に対応した両耳信号である第１ステレオ信号と該Ｍチャンネルオーディオ信号のダウン混合されたステレオ信号に関連するパラメトリックデータとを有する入力データを入力する手段と、
前記パラメトリックデータと前記第１ステレオ信号に関連する両耳知覚伝達関数のための空間パラメータデータとに応答して、前記第１ステレオ信号を修正することにより前記ダウン混合されたステレオ信号を発生する発生手段と、
を有するオーディオ信号を受信する受信機。
【請求項２５】
Ｍチャンネルオーディオ信号を入力する手段と（但し、Ｍ＞２）、
前記Ｍチャンネルオーディオ信号を第１ステレオ信号及び関連するパラメトリックデータにダウン混合するダウン混合手段と、
前記関連するパラメトリックデータ及び両耳知覚伝達関数のための空間パラメータデータに応答して前記第１ステレオ信号を修正し、両耳信号である第２ステレオ信号を発生する発生手段と、
前記第２ステレオ信号を符号化して符号化データを発生する手段と、
前記符号化データ及び前記関連するパラメトリックデータを有するような出力データストリームを発生する出力手段と、
前記出力データストリームを送信する手段と、
を有する出力データストリームを送信する送信機。
【請求項２６】
Ｍチャンネルオーディオ信号を入力する手段と（但し、Ｍ＞２）、
前記Ｍチャンネルオーディオ信号を第１ステレオ信号及び関連するパラメトリックデータにダウン混合するダウン混合手段と、
前記関連するパラメトリックデータ及び両耳知覚伝達関数のための空間パラメータデータに応答して前記第１ステレオ信号を修正し、両耳信号である第２ステレオ信号を発生する発生手段と、
前記第２ステレオ信号を符号化して符号化データを発生する手段と、
前記符号化データ及び前記関連するパラメトリックデータを有するようなオーディオ出力データストリームを発生する出力手段と、
前記オーディオ出力データストリームを送信する手段と、
を有する送信機と、
前記オーディオ出力データストリームを受信する手段と、
前記パラメトリックデータと前記空間パラメータデータとに応答して、前記第２ステレオ信号を修正することにより前記第１ステレオ信号を発生する手段と、
を有する受信機と、
を有するオーディオ信号を伝送する伝送システム。
【請求項２７】
Ｍチャンネルオーディオ信号（但し、Ｍ＞２）に対応した両耳信号である第１ステレオ信号と該Ｍチャンネルオーディオ信号のダウン混合されたステレオ信号に関連するパラメトリックデータとを有する入力データを受信するステップと、
前記パラメトリックデータと前記第１ステレオ信号に関連する両耳知覚伝達関数のための空間パラメータデータとに応答して、前記第１ステレオ信号を修正することにより前記ダウン混合されたステレオ信号を発生するステップと、
を有するオーディオ信号を受信する方法。
【請求項２８】
Ｍチャンネルオーディオ信号を入力するステップと（但し、Ｍ＞２）、
前記Ｍチャンネルオーディオ信号を第１ステレオ信号及び関連するパラメトリックデータにダウン混合するステップと、
前記関連するパラメトリックデータ及び両耳知覚伝達関数のための空間パラメータデータに応答して前記第１ステレオ信号を修正し、両耳信号である第２ステレオ信号を発生するステップと、
前記第２ステレオ信号を符号化して符号化データを発生するステップと、
前記符号化データ及び前記関連するパラメトリックデータを有するようなオーディオ出力データストリームを発生するステップと、
前記オーディオ出力データストリームを送信するステップと、
を有するオーディオ出力データストリームを送信する方法。
【請求項２９】
Ｍチャンネルオーディオ信号を入力するステップと（但し、Ｍ＞２）、
前記Ｍチャンネルオーディオ信号を第１ステレオ信号及び関連するパラメトリックデータにダウン混合するステップと、
前記関連するパラメトリックデータ及び両耳知覚伝達関数のための空間パラメータデータに応答して前記第１ステレオ信号を修正し、両耳信号である第２ステレオ信号を発生するステップと、
前記第２ステレオ信号を符号化して符号化データを発生するステップと、
前記符号化データ及び前記関連するパラメトリックデータを有するようなオーディオ出力データストリームを発生するステップと、
前記オーディオ出力データストリームを送信するステップと、
前記オーディオ出力データストリームを受信するステップと、
前記パラメトリックデータと前記空間パラメータデータとに応答して、前記第２ステレオ信号を修正することにより前記第１ステレオ信号を発生するステップと、
を有するオーディオ信号を送信及び受信する方法。
【請求項３０】
請求項２２、２３、２７、２８及び２９の何れか一項に記載の方法を実行するためのコンピュータプログラム。
【請求項３１】
請求項１に記載のエンコーダを有するオーディオ記録装置。
【請求項３２】
請求項１２に記載のデコーダを有するオーディオ再生装置。
【請求項３３】
第１ステレオ信号と、
Ｍチャンネルオーディオ信号（但し、Ｍ＞２）のダウン混合されたステレオ信号に関連するパラメトリックデータと、
を有し、前記第１ステレオ信号が前記Ｍチャンネルオーディオ信号に対応する両耳信号であるようなオーディオ信号のためのオーディオデータストリーム。
【請求項３４】
請求項３３に記載のオーディオデータストリームを記憶した記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公表番号】特表２００９−５２７９７０（Ｐ２００９−５２７９７０Ａ）
【公表日】平成２１年７月３０日（２００９．７．３０）
【国際特許分類】
【出願番号】特願２００８−５５５９１５（Ｐ２００８−５５５９１５）
【出願日】平成１９年２月１３日（２００７．２．１３）
【国際出願番号】ＰＣＴ／ＩＢ２００７／０５０４７３
【国際公開番号】ＷＯ２００７／０９６８０８
【国際公開日】平成１９年８月３０日（２００７．８．３０）
【出願人】（５９００００２４８）コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ (12,071)
【公表日】平成２１年７月３０日（２００９．７．３０）
【国際特許分類】
【出願日】平成１９年２月１３日（２００７．２．１３）
【国際出願番号】ＰＣＴ／ＩＢ２００７／０５０４７３
【国際公開番号】ＷＯ２００７／０９６８０８
【国際公開日】平成１９年８月３０日（２００７．８．３０）
【出願人】（５９００００２４８）コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ (12,071)
[ Back to top ]