オーディオデータ処理方法及びこの方法を実現する集音装置
本発明は、オーディオデータの処理に関する。本発明は、(a)三次元空間で伝わり基準点から第1距離(P)に配置された音源から生じる音を表す信号を符号化して、前記基準点に対応する原点の球面調和関数基数で表される成分による音の表現を得ること、(b)音響再生の場合、再生点(HPi)と聴き手が通常位置する聴覚点(P)との間の距離を定義する第2距離(R)に基づき、フィルタ処理による近接音場効果の補償を前記成分に適用すること、を特徴とする。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、オーディオデータの処理に関する。
【背景技術】
【0002】
特に、専用音響シミュレーション及び/又は再生等の三次元空間における音波の伝播に関係する手法は、音響及び心理的音響現象のシミュレーションに適用されるオーディオ信号処理法を実現する。このような処理方法は、音場の空間的符号化、その送信、及び一組のスピーカ又はステレオ式ヘッドセットのヘッドホンでのその空間化再生を行う。
【0003】
空間化音の手法の中で特徴的な手法には、互いに補完的であるが一般的に同一系内で双方共実現される2つの処理カテゴリである。
【0004】
一方では、第1処理カテゴリは、空間効果、即ち、より一般的には環境効果を合成するための方法に関する。1つ又は複数の音源(発信信号、位置、方位、方向性等)の記述から、また(空間幾何学的配置あるいは所望の音響知覚を含む)空間効果モデルに基づき、一組の基本的音響現象(直接波、反射波、又は回折波)あるいは巨視的音響現象(反響及び拡散音場)を計算し記述し、三次元空間において、選択した聴覚点に位置する聴き手のレベルで空間効果を伝え得る。次に、通常、反射(主受信波の再放射で活性化し空間位置属性を有する“二次”音源)に関係する一組の信号及び/又は遅延反響に関係する一組の信号(拡散音場に対する非相関信号)を計算する。
【0005】
他方では、第2カテゴリの方法は、音源の位置的又は方向的表現に関する。これらの方法は、(一次及び二次音源を含む)上述した第1カテゴリの方法によって決定される信号に適用され、それらに関係する空間的記述(音源の位置)の関数として適用される。特に、この第2カテゴリによるこのような方法では、スピーカ又はヘッドホンに分配される信号を取得して、最終的に、聴き手周辺の所定位置それぞれに配置された音源の聴覚的印象を聴き手に与え得る。この第2カテゴリによる方法は、聴き手による音源位置認識が、三次元空間に分布するため、“三次元音像の生成法”と称される。一般的に、第2カテゴリによる方法には、基本的音響現象を空間的に符号化する第1ステップが含まれ、これによって三次元空間における音場の表現が生成される。第2ステップでは、後で用いるために、この表現が送信又は記憶される。復号化の第3ステップでは、復号信号が再生装置のスピーカ又はヘッドホンに伝えられる。
【0006】
本発明は、どちらかと言えば、上記第2カテゴリに包含され、特に、音源の空間的符号化やこれら音源の三次元音響表現の仕様に関する。本発明は、また、1つ又は複数の三次元アレイのマイクによる集音時、自然音場の“音響”符号化について、“仮想的”音源の符号化(音源がシミュレートされるゲームや空間化会議等の用途)にも同様に該当する。
【0007】
考え得る音響空間化手法の中では、“アンビソニック”法が好まれる。アンビソニック符号化は、詳細に後述するが、球面調和関数の基数で1つ又は複数の音波に関係する信号を表示する(特に、仰角及び方位角を含む球座標で音又は複数の音の方向を特徴付ける)ことにある。また、これらの信号を表しこの球面調和関数の基数で表される成分は、近接音場で放射される波に関して、この音場を発する音源と球面調和関数の基数の原点に対応する点との間の距離にも依存する。特に、この距離依存性は、後で分かるように、音響周波数の関数として表される。
【0008】
このアンビソニック手法は、特に、仮想音源のシミュレーションの点では、極めて多くの機能を提供し、また、一般的には、次の利点を示す。即ち、
音響現象の実体を合理的に伝え、現実的で得心させる埋没的空間表現を提供する。
音響現象の表現は、適応性がある。即ち、様々な状況に適応し得る空間分解能を提供する。具体的には、この表現は、符号化信号送信時の処理能力制約条件及び/又は再生装置の制限条件の関数として送信及び利用し得る。
アンビソニック表現は、柔軟性があり、また、音場の回転のシミュレーションが可能であり、あるいは、再生時、多様な幾何学的配置のあらゆる再生装置にアンビソニック信号の復号化を適応し得る。
【0009】
公知のアンビソニック法では、仮想音源の符号化は、本質的に方向性を有する。符号化機能は、球面座標の仰角及び方位角に依存する球面調和関数によって表される音波の入射角に依存する利得を計算することである。特に、復号化の際、スピーカは、再生時、遠方配置されると仮定する。これにより、再生波面の形状が歪む(即ち、湾曲する)。具体的には、上述したように、球面調和関数の基数での信号音の成分は、近接音場の場合、実際、音源の距離及び音響周波数にも依存する。より厳密には、これらの成分は、上記距離及び音響周波数に反比例する変数を有する多項式の形式で数学的に表し得る。従って、アンビソニック成分は、それらの理論的表現の点で、低周波で発散し、特に、それらが、有限の距離にある音源によって放射される近接音場音を表す場合、音響周波数が減少しゼロになると、無限大になる。この数学的現象は、アンビソニック表現の分野では、次数1の場合については、用語“低音域ブースト”によって既に知られている。特に、ゲルゾン(M.A.GERZON)による“聴覚局在化の一般メタ理論”、第92回AES会議予稿3306,1992年、頁52において公知である。この現象は、高ベキの多項式を含む高球面調和関数次数の場合、特に重要になる。
【0010】
以下の文献、ゾンタッヒ(SONTACCHI)及びヘルドリッヒ(HOELDRICH)による“距離符号化を用いた3D音場の詳細調査”(2001年12月6日〜8日、アイルランド、リメリックにおけるデジタルオーディオ効果(DAFX-01)に関するCOST_G-6会議の議事録)は、アンビソニック表現に近い表現の範囲内で波面の湾曲を考慮するための手法を開示し、その原理は以下に存する。即ち、
WFS(“波音場合成”の意)型の(シミュレートされる)仮想集音から生じる信号に(高次数の)アンビソニック符号化を適用すること。
1つの領域に渡って音場を再現することであって、領域境界に渡るその値、従って、ホイヘンスーフレネルの原理に基づき再現すること。
【0011】
しかしながら、この文献に提示された手法は、高次数に対してアンビソニック表現を用いるという事実により期待が持てるが、いくつかの問題が生じる。即ち、
ホイヘンスーフレネルの原理の適用を可能にする全ての面の計算に必要なコンピュータ資源だけでなく、必要な計算時間が過剰である。
狭い間隔で配置された仮想マイク格子が選択されない場合、マイク間の距離のために“空間的エイリアシング”と称する処理アーティファクトが生じることによって、処理が更に面倒になる。
この手法は、集音時、実音源が存在すると、センサがアレイ状に配置される実例への移行が困難である。
再生時、三次元音響表現が、再生装置の固定半径に暗黙裡に束縛される。これは、ここでは、初期アレイ状マイクと同じ寸法のアレイ状スピーカ上でアンビソニック復号化を行わなければならないためであり、この文献は、他のサイズの再生装置に符号化又は復号化を適応する手段を提示してしない。
【0012】
結局、この文献は、水平アレイ状センサを提示し、これによって、対象の音響現象が、ここでは、水平方向にのみ伝播すると仮定することによって、他の方向のあらゆる伝播を除外し、また従って、通常の音場の物理的実体を表さない。
【0013】
更に一般的に、この手法は、任意の種類の音源、特に、近接音場源ではなく、むしろ遠方音源(平面波)の充分な処理が可能であり、このことは、数多くの用途において制限的及び人為的状況に対応する。
【発明の開示】
【発明が解決しようとする課題】
【0014】
本発明の目的は、任意の種類の音場、特に近接音場における音源の効果を符号化、送信、及び再生によって処理するための方法を提供することである。
【0015】
本発明の他の目的は、方向だけでなく距離に関しても、仮想音源の符号化を可能にする方法を提供し、任意の再生装置に適応可能な復号方式を定義することである。
【0016】
本発明の他の目的は、特に、三次元アレイ状のマイクを用いて自然音場の集音を行うために、(低周波を含む)任意の音響周波数の音を処理する強力な方法を提供することである。
【課題を解決するための手段】
【0017】
この目的のために、本発明は、音響データを処理する方法を提案する。本方法においては、
a)三次元空間で伝播し基準点から第1距離に位置する音源から生じる少なくとも1つの音を表す信号が、前記基準点に対応する原点の球面調和関数の基数で表される成分による音の表現を得るように符号化され、
b)近接音場効果の補償が、再生装置による音の再生の場合、再生点と聴覚点との間の距離を実質的に定義する第2距離に依存するフィルタ処理によって前記成分に適用される。
【0018】
第1実施形態では、前記音源は、基準点から遠方に設置され、
連続次数mの成分が、球面調和関数の前記基数での音の表現用に取得され、
フィルタが適用され、その係数は、各々次数mの成分に適用されるが、ベキmの多項式の逆数形式で解析的に表され、その変数は、再生装置のレベルに近接音場効果を補償するように、音響周波数及び前記第2距離に反比例する。
【0019】
第2実施形態では、前記音源は、前記第1距離に想定される仮想音源であり、
連続次数mの成分は、球面調和関数の前記基数で音を表現するために取得され、
広域フィルタが適用され、その係数は、各々次数mの成分に適用されるが、分数の形式で解析的に表され、
分子は、ベキmの多項式であり、その変数は、仮想音源の近接音場効果をシミュレートするように、音響周波数及び前記第1距離に反比例し、
分母は、ベキmの多項式であり、その変数は、低音響周波数の仮想音源の近接音場効果を補償するように、音響周波数及び前記第2距離に反比例する。
【0020】
好適には、ステップa)及びb)において符号化及びフィルタ処理されたデータを前記第2距離を表すパラメータと共に再生装置に送信する。
【0021】
補足又は変形例として、再生装置は、記憶媒体を読み取るための手段を含み、再生装置が読み取る記憶媒体に、前記第2距離を表すパラメータと共に、ステップa)及びb)において符号化及びフィルタ処理されたデータを記憶する。
【0022】
利点として、前記聴覚点から第3距離に配置された複数のスピーカを含む再生装置による音再生の前に、前記第2及び第3距離に依存する係数を有する適応フィルタが、符号化及びフィルタ処理されるデータに適用される。
【0023】
ある実施形態では、前記適応フィルタの係数は、各々次数mの成分に適用されるが、分数の形式で解析的に表され、
分子は、ベキmの多項式であり、その変数は音響周波数及び前記第2距離に反比例し、
分母は、ベキmの多項式であり、その変数は音響周波数及び前記第3距離に反比例する。
【0024】
利点として、ステップb)を実行するために、
偶数次数mの成分に関しては、次数2のカスケード状セル形式の音響デジタルフィルタと、
奇数次数mの成分に関しては、次数2のカスケード状セルと次数1の追加セルとの形式の音響デジタルフィルタと、が提供される。
【0025】
本実施形態では、次数mの成分の場合、音響デジタルフィルタの係数は、前記ベキmの多項式のベキ根の数値により定義される。
【0026】
ある実施形態では、前記多項式は、ベッセル多項式である。
【0027】
信号音の集音時、三次元空間で伝播する少なくとも1つの音を表す前記信号を得るように、実質的に前記基準点に対応する中心を有する球の表面上に実質的に配置されるアレイ状の音響変換器を含むマイクが利点として提供される。
【0028】
本実施形態では、広域フィルタが、一方では、前記第2距離の関数として近接音場効果を補償するように、他方では、変換器から生じる信号を等化して前記変換器の方向性の重み付けを補償するように、ステップb)において適用される。
【0029】
好適には、球面調和関数の前記基数で音を表すために選択された成分の総数に依存する複数の変換器を提供する。
【0030】
有利な特徴によれば、ステップa)では、成分の総数は、再生時、音の再生が忠実であり成分の総数と共に増加する寸法を有する知覚点周辺の空間領域を得るように、球面調和関数の基数から選択される。
【0031】
好適には、更に、成分の前記総数に少なくとも等しい数のスピーカを含む再生装置が提供される。
【0032】
バイノーラル又はトランスオーラル合成による再生装置の枠内における変形例として、
聴き手からの選択した距離に配置された少なくとも第1及び第2スピーカを含む再生装置が提供され、
聴き手からの所定の基準距離に位置する音源の空間位置の予想認識キューが、この聴き手に対して取得され、いわゆる“トランスオーラル”又は“バイノーラル合成”手法を適用し、
ステップb)の補償は、前記基準距離が実質的に第2距離として、適用される。
【0033】
2つのヘッドホンを有するように適合される再生装置の変形例では、
聴き手からの選択した距離に配置された少なくとも第1及び第2スピーカを含む再生装置が提供され、
聴き手からの所定の基準距離に位置する音源の空間位置の認識キューが、この聴き手に対して取得され、
再生装置による音再生の前に、第2距離及び実質的に基準距離に依存する係数を有する適応フィルタが、ステップa)及びb)において符号化及びフィルタ処理されるデータに適用される。
【0034】
特に、バイノーラル合成による再生装置の枠内では、
再生装置は、聴き手のそれぞれの耳用に2つのヘッドホンを備えたヘッドセットを含み、
好適には、各ヘッドホンに対して別々に、ステップa)及びb)の符号化及びフィルタ処理は、第1距離として、再生空間で再生される音源の位置と各耳とをそれぞれ離間する距離で、各ヘッドホンに供給すべきそれぞれの信号に関して適用される。
【0035】
好適には、ステップa)及びb)において行列系が形成され、前記系には、少なくとも、
球面調和関数の基数での前記成分を含む行列と、
ステップb)のフィルタ処理係数に対応する係数を有する対角行列と、
が含まれ、前記行列は乗算され補償成分の結果行列が得られる。
【0036】
好適には、再生時、
再生装置は、聴覚点から同一の距離に実質的に配置される複数のスピーカを含み、
ステップa)及びb)で符号化及びフィルタ処理された前記データを復号化するために、また、前記スピーカへの供給に適する信号を形成するために、
行列系が、再生装置に特有な、前記補償成分の結果行列及び所定の復号行列を含んで形成され、
行列が、結果行列と前記復号行列の乗算によりスピーカ供給信号を表す係数を含んで得られる。
【0037】
また本発明は、実質的に球の表面に配置されたアレイ状音響変換器が備えられたマイクを含む集音装置を目的とする。本発明によれば、本装置は、更に、処理ユニットが含まれ、この処理ユニットは、
変換器が発する各信号を受信し、
前記球の中心に対応する原点の、球面調和関数の基数で表された成分による音の表現を得るように前記信号に符号化を適用し、
また、一方では、球の半径に対応する距離に依存し、他方では、基準距離に依存するフィルタ処理を前記成分に適用するように、構成される。
【0038】
好適には、処理装置によって行われるフィルタ処理は、一方では、前記変換器の方向性の重み付けを補償するように、変換器から生じる信号を球の半径の関数として等化すること、また、他方では、前記基準距離の関数として近接音場効果を補償することにある。
【発明を実施するための最良の形態】
【0039】
本発明の他の利点及び特徴は、本明細書の以下の詳細な説明を解釈し添付図面を検討すると明らかになる。
【0040】
最初に、音響空間化用広域システムを例示する図1を参照する。仮想場面をシミュレートするためのモジュール1aは、信号の仮想音源として、例えば、モノラル音響等の音響オブジェクトを三次元空間の選択位置で定義し、また、音の方向を定義する。更に、仮想空間の幾何学的仕様を提供して、音の反響をシミュレートし得る。処理モジュール11は、聴き手に関して、これら音源の内の1つ又は複数の管理(この聴き手に関する音源の仮想位置の定義)を適用する。それは、遅延及び/又は標準のフィルタ処理を適用することによって、反響等をシミュレートするための空間効果プロセッサを実現する。このように再現された信号は、音源の基本的寄与の空間的符号化用モジュール2aに送信される。
【0041】
これと並行して、自然集音は、実音源(モジュール1b)に関して選択的に配置された1つ又は複数のマイクによって録音の枠組み内で行い得る。マイクによって集音された信号は、モジュール2bによって符号化される。集音及び符号化された信号は、中間表現フォーマット(モジュール3b)に基づき変換された後、モジュール1aによって生成されモジュール2aによって符号化される(仮想音源から生じる)信号と、モジュール3によって混合し得る。その後、混合信号は、後で再生するために、送信(矢印TR)されるか又は媒体に記憶される。その後、スピーカを含む再生装置6で再生するために復号モジュール5に供給される。場合によっては、復号化ステップ5は、復号モジュール5の上流に処理モジュール4が提供されることで、音場を処理するステップ、例えば、回転が、先行することもある。
【0042】
再生装置は、再生時、特に、三次元空間における音の方向を確実に認識するように、例えば、三次元(多重チャネル)構成において、球面上に配置された多数のスピーカの形態を取り得る。この目的のために、聴き手は、一般的に、アレイ状のスピーカによって形成され上述した聴覚点に対応する球の中心に自分自身を置く。変形例として、再生装置のスピーカは、平面(二次元パノラマ構成)に配置され、スピーカは、特に、円上に配置され、聴き手は、この円の中心に通常配置し得る。他の変形例では、再生装置は、“サラウンド”型(5.1)装置の形態を取り得る。最後に、有利な変形例では、再生装置は、再生される音をバイノーラル合成するための2つのヘッドホンを備えたヘッドセットの形態を取ることができ、これによって聴き手は、更に詳細に分かるように、三次元空間での音源の方向を認識し得る。また、三次元空間で認識するために2つのスピーカを備えたこのような再生装置は、聴き手からの選択した距離に2つのスピーカを配置したトランスオーラル再生装置の形態も取り得る。
【0043】
次に図2を参照して、基本音源の三次元音響再生用の空間的符号化及び復号化について説明する。音源1乃至Nから生じる信号並びにその位置(実位置又は仮想位置)が、空間的符号化モジュール2に送信される。その位置は、入射角(聴き手から見た音源の方向)又はこの音源と聴き手との間の距離によって、同様に適切に定義し得る。このように符号化された複数の信号により、広域音場の多重チャンネル表現を得ることができる。符号化された信号は、図1で述べたように、音響再生装置6に送信され(矢印TR)三次元空間において音が再生される。
【0044】
次に図3を参照して、音場の三次元空間の球面調和関数によるアンビソニック表現について以下説明する。如何なる音源もない原点Oを中心とする領域(半径Rの球)について考える。原点Oから球の点への各ベクトル
【数1】
が、方位θr、高さδr、及び(原点Oからの距離に対応する)半径rで記述される球座標系を採用する。
【0045】
この球内部の圧力音場
【数2】
(Rが球の半径である場合、r<R)は、周波数領域において級数として表現し得るが、級数項は、角度関数
【数3】
と、動径関数jm(kr)との重み付け積であり、従って、fが音響周波数、cが伝播媒体中の音速である場合、k=2πf/cである伝播項に依存する。
【0046】
圧力音場は、
【数4】
と表し得る。
【0047】
重み付け係数の集合
【数5】
は、暗黙裡に周波数に依存し、従って、対象領域の圧力音場を記述する。このため、これらの係数は、“球面調和関数成分”と呼ばれ、また、球面調和関数
【数6】
の基数での音(又は圧力音場)に対する周波数表現を表す。
【0048】
角度関数は、“球面調和関数”と呼ばれ、
【数7】
によって定義される。ここで、Pmn(sinδ)は、度数m、次数nのルジャンドル関数であり、δp,qは、クロネッカの記号である(p=qの時、1、そうでない場合、0に等しい)。
【0049】
球面調和関数は、直交基数を形成し、高調波成分間において、一般的には、2つの関数FとGとの間のスカラ積が、それぞれ
【数8】
及び
【数9】
によって定義される。
【0050】
球面調和関数は、図4に示すように、次数m並びに指数n及びσの関数として拘束される実関数である。明部及び暗部は、球面調和関数の正及び負の値にそれぞれ対応する。次数mが高くなればなるほど、角度関数が(また、従って、関数間の相違が)大きくなる。動径関数jm(kr)は、球面ベッセル関数であり、その係数は、図5に次数mの幾つかの値に対して示す。
【0051】
球面調和関数の基数によるアンビソニック表現の解釈は、以下のように与え得る。同様な次数mのアンビソニック成分は、最終的に、原点O(図3に表す球の中心)付近における圧力音場の次数mの“導関数”又は“モーメント”を表す。
【0052】
特に、
【数10】
は、圧力のスカラ量を示し、他方、
【数11】
は、原点Oでの圧力勾配(又は、特定の速度)に関係する。これらの最初の4つの成分W,X,Y,及びZは、(次数0の成分Wの場合)全方位性のマイクを用いて、また(後続の他の3成分の場合)双方向性のマイクを用いて、自然集音中に得られる。極めて多くの音響変換器を用いることによって、適切な処理、特に等化によって、更に(1より大きくより高次数mの)アンビソニック成分を取得し得る。
【0053】
(1より大きい)より高次数の追加成分を考慮し、従って、アンビソニック記述の角度分解能を大きくすることによって、原点Oを中心として、音波の波長について、より広い近隣領域に渡って圧力音場の近似値へのアクセスが得られる。従って、角度分解能(球面調和関数の次数)と、表現し得る半径方向の範囲(半径r)との間には密接な関係が存在することを理解されたい。つまり、図3の原点Oから空間的に離れると、アンビソニック成分の数が多くなり(次数Mが高い)、また、これらアンビソニック成分の集合による音の表現が良くなる。しかしながら、音のアンビソニック表現は、原点Oから離れると、不充分になることも理解されたい。この影響は、特に(短波長の)高音響周波数に対して重要になる。従って、最大限の数のアンビソニック成分を得ることによって、音の再生が忠実でありその大きさが成分の総数と共に大きくなる知覚点周辺の空間領域を生成できるようにすることが関心の対象である。
【0054】
以下、空間化音響符号化/送信/再生システムへの適用例について説明する。
【0055】
実際には、アンビソニックシステムは、上述したように、球面調和関数の成分の部分集合を考慮する。後者が指数m<Mのアンビソニック成分を考慮する時、次数Mの系について語ることになる。スピーカを備えた再生装置によって再生を処理する時、これらのスピーカが水平面に配置される場合、指標m=nの調和関数だけが利用されることを理解されたい。他方、再生装置が、球の表面に渡り配置される(“多重チャネルの”)スピーカを含む場合、存在するスピーカと同じ数の調和関数を利用することが原則として可能である。
【0056】
基準Sは、平面波によって搬送される圧力信号を示し、図3の球の中心に対応する点O(球座標の基数の原点)で集音される。波の入射角は、方位角θ及び仰角δによって記述される。この平面波に関連する音場成分の式は、関係式
【数12】
によって与えられる。
【0057】
原点Oから距離ρにある近接音場源を符号化(シミュレート)する場合、近接音場が、第1近似値に合わせて球面波を放射することを考慮して、フィルタ
【数13】
が、波面形状を“湾曲する”ように適用される。音場の符号化成分は、
【数14】
となる。また、上記フィルタ
【数15】
に対する表現は、関係式
【数16】
によって与えられる。ここで、ω=2πfは、波の角周波数であり、fは、音響周波数である。
【0058】
最終的に、これら後者の2つの関係式〔A4〕及び〔A5〕は、(シミュレートされる)仮想音源、及び近接音場における実音源の双方に対して、アンビソニック表現の音成分が、ここでは、ベッセル多項式であるベキmの多項式の形態で数学的に(特に解析的に)表され、その変数(c/2jωρ)が、音響周波数に反比例することを示す。
【0059】
従って、以下のことを理解されたい。即ち、
平面波の場合、符号化は、実数の有限の利得によってのみ原信号と異なる信号を生成し、このことは、純粋に方向的符号化(関係式〔A3〕)に対応する。また、
球面波(近接音場源)の場合、関係式〔A5〕で表されるように、追加フィルタ
【数17】
が、アンビソニック成分に関する表現に、周波数に依存する複素振幅比を導入することによって距離キューを符号化する。
【0060】
この追加フィルタは、“積分器”型であり、音響周波数がゼロに向かって減少するにつれて、増幅効果が大きくなり発散する(無限である)ことに留意されたい。図6は、各次数mに対して、低周波での利得の増加を示す(ここで、第1距離ρ=1mである)。従って、任意の信号音にそれらを適用しようとする時、不安定で発散性のフィルタを取り扱っている。この発散は、高い次数値mの場合、更に決定的である。
【0061】
特に、関係式〔A3〕、〔A4〕、及び〔A5〕から、図6に示すように、近接音場で仮想音源をモデル化すると、高い次数mの場合特に決定的なように、低周波で発散性のアンビソニック成分を呈することが理解されるであろう。この発散は、低周波において、上述した“低音域ブースト”現象に対応する。また、それは、実音源に対する集音においても出現する。
【0062】
特にこの理由によって、アンビソニック手法は、特に高次数mの場合、最先端技術では、音響処理において(理論的なもの以外の)具体的用途の経験がない。
【0063】
再生時、アンビソニック表現で符号化される波面形状に適応するように、近接音場の補償が必要になることを特に理解されたい。図7において、再生装置は、上述した例では、聴覚点Pから、同一の距離Rに配置された複数のスピーカHPiを含む。この図7では、
スピーカHPiが位置する各点は、上述した再生点に対応し、
点Pは、上述した聴覚点であり、
これらの点は、上述した第2距離Rだけ離間されており、
一方、上述した図3では、
点Oは、上述した基準点に対応し、球面調和関数の基数の原点を形成し、
点Mは、基準点Oから、上述した第1距離ρに位置する(実又は仮想)音源の位置に対応する。
【0064】
本発明によれば、近接音場の事前補償は、実際の符号化段階で導入され、この補償は、解析的形態のフィルタ
【数18】
を含み、上記アンビソニック成分
【数19】
に適用される。
【0065】
本発明により提供される利点の1つによれば、図6で効果が現れる増幅
【数20】
は、符号化に引き続き適用されるフィルタ
【数21】
の減衰を通して補償される。特に、この補償フィルタ
【数22】
の係数は、音響周波数と共に増加し、特に、低周波の場合、ゼロに近づく。利点として、この事前補償は、符号化から直ぐに行われ、送信されるデータが、低周波に対して発散しないことを保証する。
【0066】
補償フィルタに関わる距離Rの物理的意味を示すために、例示により、信号音の集音時の初期実平面波を考慮する。この遠方音源の近接音場効果をシミュレートするために、関係式〔A4〕に示したように、関係式〔A5〕の第1フィルタを適用する。この時、距離ρは、近接仮想音源Mと、図3の球基数の原点を表す点Oとの間の距離を表す。このように、近接音場シミュレーション用の第1フィルタは、上述した距離ρにある仮想音源の存在をシミュレートするために適用される。しかしながら、一方では、上述したように、このフィルタの係数の項は、低周波で発散し(図6)、他方では、上記距離ρは、再生装置のスピーカと聴覚点Pとの間の距離を必ずしも表さない(図7)。本発明によれば、符号化時、事前補償が、上述したように
【数23】
型のフィルタを含んで適用され、これによって、一方では、拘束信号の送信が可能になり、他方では、図7に示すように、スピーカHPiを用いて音響再生のために、符号化から直ちに距離Rを選択し得る。特に、認識されたいことは、集音時、原点Oから距離ρに置かれた仮想音源をシミュレートした場合、再生時(図7)(スピーカHPiから距離Rの)聴覚点Pに位置する聴き手は、聞き取る際、聴覚点Pから距離ρに配置され集音時シミュレートされる仮想音源に対応する音源Sの存在を認識する。
【0067】
従って、符号化段階で(距離Rに配置された)スピーカの近接音場の事前補償は、距離ρに配置された仮想音源のシミュレートされる近接音場効果と組み合わせ得る。符号化時、一方では、近接音場のシミュレーションによる、他方では、近接音場の補償による総フィルタは、最終的に利用されるが、このフィルタの係数は、関係式
【数24】
によって解析的に表し得る。
【0068】
関係式〔A11〕によって与えられる総フィルタは、安定しており、また、図8に示すように、本発明に基づく空間的アンビソニック符号化における“距離符号化”部分を構成する。これらフィルタの係数は、周波数に対する単調な伝達関数に対応し、高周波で値1に、低周波で、値(R/ρ)mに近づく。図9において、フィルタのエネルギースペクトル
【数25】
は、(距離ρ=1mでここに配置された)仮想音源の音場効果による符号化成分の増幅を伝達し、(距離R=1.5mに配置された)スピーカの音場が事前補償される。従って、デシベル単位の増幅は、ρ<Rの時(図9の場合)正であり、ρ>Rの時(ρ=3m及びR=1.5mの図10の場合)負である。空間化再生装置では、聴覚点とスピーカHPiとの間の距離Rは、実際には、1又は数メートルのオーダである。
【0069】
また図8では、通常の方向パラメータθ及びδとは別に、符号化に含まれる距離に関するキューが、送信されることを理解されるであろう。このように、球面調和関数
【数26】
に対応する角度関数は、方向的符号化に対して保持される。
【0070】
しかしながら、本発明の骨子の範囲内において、アンビソニック成分に、それらの次数mの関数として適用される総フィルタ(近接音場補償、及び場合によっては、近接音場のシミュレーション)
【数27】
を更に提供して、図8に示すように、距離符号化を実現する。音響デジタル領域におけるこれらのフィルタの実施形態は、後で詳述する。
【0071】
これらのフィルタは、まさしく距離符号化(r)から直ちに、また、方向符号化(θ,δ)の前でさえ、適用し得ることを特に留意されたい。このように、上述したステップa)及びb)は、共に同一の広域ステップに持ち込むことができたり、入れ替えたり(方向符号化及び補償フィルタ処理の後、距離符号化)できることを理解されたい。従って、本発明に基づく方法は、ステップa)及びb)の連続した時間的具体化に限定されない。
【0072】
図11Aは、総次数M=15の系及び32個のスピーカ上での再生に対して、(距離パラメータは、図9と同じ状態の)水平面において球面波を補償して、近接音場の再現の(上方から見た)視覚化を表す。図11Bには、再生空間では、図7の聴覚点Pに対応する集音空間の点から距離ρに位置する近接音場源からの初期音波の伝播を表す。図11Aにおいて留意されたいことは、(図式化した頭部で表される)聴き手は、図11Bの聴覚点Pから距離ρに位置する同一の地理的位置に仮想音源を厳密に特定し得ることである。
【0073】
このように、符号化された波面の形状は、復号化及び再生後の状態に適合することが実際に検証される。しかしながら、図11Aに示したような点Pの右側での干渉は、顕著であり、この干渉は、スピーカ(従って、考慮されるアンビソニック成分)の数が、スピーカによって範囲が定められる面全体に渡って含まれる波面の完璧な再現には不充分であるという事実によるものである。
【0074】
以下、例として、本発明の骨子の範囲内で本方法を実現するための音響デジタルフィルタの取得について説明する。
【0075】
上述したように、符号化から直ちに補償される近接音場効果をシミュレーションしようとする場合、形態
【数28】
のフィルタが、音のアンビソニック成分に適用される。
【0076】
関係式〔A5〕によって与えられる近接音場のシミュレーションの表現から、遠方音源(ρ=∞)に対して、関係式〔A11〕は、単に
【数29】
になることが明白である。
【0077】
従って、この後者の関係式〔A12〕から明白なことは、シミュレートされる音源が遠方音場(遠方音源)で放射する事例は、関係式〔A11〕で公式化されるように、フィルタに対する一般表現の特定の事例に過ぎないことである。
【0078】
音響デジタル処理の分野では、連続時間アナログ領域におけるこのフィルタの解析的表現からデジタルフィルタを定義する有利な方法は、“双一次変換”から成る。
【0079】
関係式〔A5〕は、ラプラス変換の形態でまず表され、これは、
【数30】
に対応する。ここで、τ=ρ/c(cは、媒体中の音速であり、通常、空気中で340m/s)である。
【0080】
双一次変換は、サンプリング周波数fsに対して、関係式〔A11〕を、mが奇数の場合、
【数31】
の形態で、また、mが偶数の場合、
【数32】
の形態で、提示することにある。ここで、zは、上記関係式〔A13〕に関して、
【数33】
によって定義され、
【数34】
である。ここで、x=aの場合、α=4fsR/cであり、x=bの場合、α=4fsρ/cである。
【0081】
Xm,qは、ベッセル多項式のq個の連続根
【数35】
であり、mが奇数の時、それらの実部、(コンマで区切られた)それらの係数、及びそれらの(実数)値のそれぞれの形態で、様々な次数mについて、以下の表1に示す。
表1:MATLAB(C)計算ソフトウェアを用いて計算されるベッセル多項式の値Re〔Xm,q〕,|Xm,q|,(及びmが奇数の時、Re〔Xm,m〕)
【表1】
【0082】
このように、デジタルフィルタは、上記により与えられた関係式〔A14〕を用いて、カスケード状の次数2(mが偶数)のセル及び追加セル(mが奇数)を提供することによって、表1の値を用いて配置される。
【0083】
従って、デジタルフィルタは、後述するように容易にパラメータ化し得る無限大のインパルス応答形態で具体化される。留意されたいことは、有限のインパルス応答形態の実例は、予見でき、解析的公式から伝達関数の複素スペクトルを計算し、そして、そこから逆フーリエ変換によって有限のインパルス応答を演繹することにある。その後、畳み込み演算がフィルタ処理に対して適用される。
【0084】
このように、符号化時、この近接音場の事前補償を導入することによって、修正アンビソニック表現(図8)は、
【数36】
の形態で定義され、周波数領域において表される信号を、送信可能な表現として採用する。
【0085】
上述したように、Rは、補償近接音場効果に関連する基準距離であり、cは、音速(通常、空気中で340m/s)である。この修正アンビソニック表現は、(図1の矢印TRに近接して“囲まれた”データを送信することによって概略的に表される)同じ拡張特性を持ち、また、通常のアンビソニック表現と同じ音場回転変換(図1のモジュール4)に従う。
【0086】
以下、アンビソニック受信信号の復号化の場合に実行される動作を示す。
【0087】
最初に、復号化動作は、上述した基準距離Rとは異なる半径R2の任意の再生装置に適応し得ることを示す。この目的のために、前述したような
【数37】
型のフィルタが適用されるが、ρ及びRの代わりに、距離パラメータはR及びR2である。特に、パラメータR/cのみが、符号化と復号化との間に記憶(及び/又は送信)される必要があることを留意されたい。
【0088】
図12において、そこに示すフィルタ処理モジュールは、例えば、再生装置の処理ユニットに備えられる。受信アンビソニック成分は、符号化時、第2の距離としての基準距離R1が事前補償されている。しかしながら、再生装置は、聴覚点Pから第3の距離R2に配置された複数のスピーカを含み、この第3の距離R2は、上記第2の距離R1とは異なる。そして、図12のフィルタ処理モジュールは、
【数38】
の形態で、データ受信時、距離R2での再生の事前補償を距離R1に適合する。勿論、上述したように、再生装置は、パラメータR1/cも受信する。
【0089】
更に本発明は、音場(実及び/又は仮想音源)の幾つかのアンビソニック表現を混合することを可能にし、その基準距離Rは、異なる(場合によっては、無限基準距離が遠方音源に対応する)ことを認識されたい。好適には、最短の基準距離でのこれら全ての音源の事前補償は、アンビソニック信号を混合する前に、フィルタ処理され、これによって、再生時、音響解放の正確な定義を取得し得る。
【0090】
再生時、(光プロジェクタが光学系の選択方向を照明するように)空間的に選択された方向に対する音響強化効果での所謂“音響集束”処理の枠組み内で、(アンビソニック成分の重み付けによる)音響集束の行列処理を含み、近接音場事前補償を集束処理と組み合わせるようにして、距離符号化を有利に適用する。
【0091】
以下、再生時、スピーカの近接音場を補償するアンビソニック復号化方法について説明する。
【0092】
成分
【数39】
から、アンビソニック形式に基づき、及び、図7の再生点Pに対応する聴き手の“理想的”配置を提供する再生装置のスピーカを用いることによって符号化される音場を再現するために、各スピーカによって放射される波は、以下のように、再生装置の中心でアンビソニック音場の事前の“再符号化”処理によって定義される。
【0093】
この“再符号化”に対して、簡単のために、音源が遠方音場で放射するとまず考える。
【0094】
また図7では、指数i及び入射角(θi及びδi)のスピーカによって放射される波は、信号Siで供給される。このスピーカは、その寄与
【数40】
を通して成分B’mnの再現に加わる。
【0095】
指数iのスピーカに関連する符号化係数のベクトルciは、関係式
【数41】
によって表される。
【0096】
N個のスピーカの集合から発する信号のベクトルSは、式
【数42】
によって与えられる。
【0097】
(最終的に“再符号化”行列に対応する)これらN個のスピーカに対する符号化行列は、関係式
【数43】
によって表される。ここで、各項ciは、上記関係式〔B1〕に基づくベクトルを表す。
【0098】
従って、アンビソニック音場B’の再現は、関係式
【数44】
によって定義される。
【0099】
このように、関係式〔B4〕は、再生前、再符号化動作を定義する。最終的に、復号化は、このように、一般的関係式、
B’=B・・・〔B6〕
を定義するように、
【数45】
の形態で、再生装置によって受信される原アンビソニック信号を再符号化信号
【数46】
と比較することにある。
【0100】
これには、特に、関係式
S=D.B・・・〔B7〕
を満たす復号化行列Dの係数を決定することが含まれる。
【0101】
好適には、スピーカの数は、復号化されるアンビソニック成分の数以上であり、また、復号化行列Dは、再符号化行列Cの関数として、
D=CT(CCT)−1・・・〔B8〕
の形態で表し得る。ここで、記号CTは、行列Cの転置行列に対応する。
【0102】
留意されたいことは、各周波数領域に対して異なる基準を満たす復号化の定義が可能であり、これによって、聞き取り条件の関数として、特に、再生時、図3の球の中心Oでの位置決めの制約に関して、最適な再生を提供し得ることである。この目的のために、各アンビソニック成分での段階的周波数等化によって、簡単なフィルタ処理が有利に提供される。
【0103】
しかしながら、元々符号化された波の再現を得るために、スピーカに対する遠方音場の仮定の修正が必要である。つまり、上述した再符号化行列Cでそれらの近接音場効果を表す必要があり、また、この新しいシステムを反転して復号器を定義する必要がある。この目的のために、(図7の点Pから同一の距離Rに配置された)スピーカの同心性を仮定すると、全てのスピーカは、
【数47】
型の各アンビソニック成分では、同じ近接音場効果
【数48】
を有する。対角行列の形態で近接音場項を導入することによって、上述した関係式〔B4〕は、
【数49】
となる。
【0104】
上述した関係式〔B7〕は、
【数50】
となる。
【0105】
従って、行列化動作には、各成分
【数51】
の近接音場を補償するフィルタ処理動作が先行し、これは、上述したように、関係式〔A14〕を基準にして、デジタル形態で実現し得る。
【0106】
実際には、“再符号化”行列Cは、再生装置に特有であることを思い起こされたい。その係数は、初期的には、パラメータ化によって、また、再生装置が所定の励起に反応する音響特性によって決定し得る。同様に、復号化行列Dは、再生装置に特有である。その係数は、関係式〔B8〕によって決定し得る。前の表記法を続けると、
【数52】
が、事前補償アンビソニック成分の行列である場合、これら後者は、
【数53】
として、
【数54】
の行列形態で、再生装置に送信し得る。
【0107】
その後、再生装置は、
【数55】
で、スピーカHPiに供給するための信号Siを形成するように、事前補償されたアンビソニック成分に復号化行列Dを適用することによって、行列形態
【数56】
(送信成分の列ベクトル)で受信されるデータを復号化する。
【0108】
また図12では、復号化動作が、基準距離R1と異なる半径R2の再生装置に適応しなければならない場合、本来の上述した復号化に先立つ適合用のモジュールは、半径R2の再生装置にそれを適合させるように、各アンビソニック成分
【数57】
をフィルタ処理し得る。その後、本来の復号化動作が、上述したように、関係式〔B11〕について行われる。
【0109】
バイノーラル合成への本発明の適用について、以下に述べる。
【0110】
バイノーラル合成装置の2つのヘッドホンを備えたヘッドセットを有する聴き手を表す図13Aを参照する。聴き手の2つの耳は、空間のそれぞれの点OL(左耳)及びOR(右耳)に置かれる。聴き手の頭の中心は、点Oに置かれ、また、聴き手の頭の半径は、値aである。音源は、聴き手の頭の中心から距離r(また、それぞれ右耳から距離rR及び左耳からrL)に位置する空間の点Mにおいて、聴覚的に知覚されなければならない。更に、点Mに配置された音源の方向は、ベクトル
【数58】
によって定義される。
【0111】
一般的に、バイノーラル合成は、以下のように定義される。
【0112】
聴き手は、各々特有な耳の形状を有する。この聴き手による空間音の知覚は、この聴き手に特有な耳の形状(特に、耳介の形状及び頭の寸法)の関数として出生時から学習によって行われる。空間音の知覚は、音が一方の耳に他方の耳より先に到達するという事実によってとりわけ顕在化し、これにより、バイノーラル合成を適用する再生装置の各ヘッドホンによって放射される信号間に遅延τが生じる。
【0113】
再生装置は、同一の聴き手に対して、自分の頭の中心から同じ距離Rにおいて、自分の頭周辺の音源を掃引することによって、初期的にパラメータ化される。従って、この距離Rは、上述した”再生点“と聴覚点(ここでは聴き手の頭の中心O)との間の距離であり得ることを理解されたい。
【0114】
以下において、指標Lは、左耳に接するヘッドホンによって再生される信号と関連し、指標Rは、右耳と接するヘッドホンによって再生される信号と関連する。図13Bにおいて、遅延は、別個のヘッドホン用に信号を生成する各経路に対する初期信号Sに適用し得る。これらの遅延τL及びτRは、最大遅延τmaxに依存する。前述したように、aが聴き手の頭の半径に対応し、cが音速に対応する場合、最大遅延τmaxは、ここでは、比率a/cに対応する。特に、これらの遅延は、点O(頭の中心)から点M(図13Aでは、音が再生される音源の位置)までの距離と各耳からこの点Mまでの距離との差の関数として定義される。利点として、それぞれの利得gL及びgRは、更に、各経路に適用され、点Oから点Mまでの距離と各耳から点Mまでの距離との比に依存する。各経路2L及び2Rに適用されるそれぞれのモジュールは、本発明の骨子の範囲内での近接音場事前補償NFC(“近接音場補償”の意)によるアンビソニック表現で、各経路の信号を符号化する。従って、本発明の骨子の範囲内の方法の実行によって、音源Mから生じる信号は、それらの方向(方位角θL及びθR並びに仰角δL及びδR)によってだけでなく、音源Mから各耳rL及びrRを離間する距離の関数としても、定義し得ることを理解されたい。このように符号化された信号は、各経路5L及び5R用のアンビソニック復号モジュールを含む再生装置に送信される。従って、アンビソニック符号化/復号化は、複製形態で、(ここでは“Bフォーマット”型の)バイノーラル合成による再生において、各経路(左ヘッドホン、右ヘッドホン)に対して、近接音場補償と共に適用される。近接音場補償は、各耳と再生される音源の位置Mとの間の距離rL及びrRを第1距離ρとして、各経路に対して行われる。
【0115】
以下、アンビソニック表現での集音の文脈内において、本発明の骨子の範囲内の補償の適用について説明する。
【0116】
図14において、マイク141は、音響圧力を集音可能であり電気信号S1,・・・,SNを再現可能な複数の変換器カプセルを含む。カプセルCAPiは、所定の半径rの球(ここでは、例えば、ピンポン玉等の剛体球)上に配置される。カプセルは、球の全面において一定の間隔で離間される。実際には、カプセルの数Nは、アンビソニック表現の所望の次数Mの関数として選択される。
【0117】
以下、剛体球上に配置されるカプセルを含むマイクの文脈内で、アンビソニックの文脈において符号化から直ちに近接音場効果を補償する方法について述べる。従って、分かることは、近接音場の事前補償が、上述したように、仮想音源シミュレーションに対してだけでなく、集音時にも適用され、また、より一般的に、アンビソニック表現を含む全種類の処理と近接音場事前補償を組み合わせることによって適用し得ることである。
【0118】
(受信音波の回折を生じ易い)剛体球が存在する場合、上述の関係式〔A1〕は、
【数59】
となる。
【0119】
球ハンケル関数の導関数h−mは、繰り返し則、即ち、
【数60】
に従う。
【0120】
関係式
【数61】
によって与えられる投射及び等化演算を実行することによって、球の表面における圧力音場から初期音場のアンビソニック成分
【数62】
を演繹する。
【0121】
この式では、EQmは、重み付けWmを補償する等化器フィルタであり、重み付けWmは、カプセルの方向性に関係し、また更に、剛体球による回折を含む。
【0122】
このフィルタEQmの式は、以下の関係式
【数63】
によって与えられる。
【0123】
この等化フィルタの係数は、安定でなく、無限利得が、超低周波で得られる。更に、球面調和関数成分は、それら自体、音場が平面波、つまり、前述したように、遠方音源から生じる波の伝播に限定されない場合、有限の振幅ではないことに留意することが適当である。
【0124】
更に、固体球に埋め込むカプセルを提供するよりもむしろ、カージオイド型カプセルを提供する場合、遠方音場の方向性は、式
G(θ)=α+(1−α)cosθ・・・[C5]
によって与えられる。
【0125】
“音響的に透過な”支持体上に搭載されるこれらのカプセルを考えることによって、補償される重み付け項は、
【数64】
となる。
【0126】
関係式〔C6〕によって与えられるこの重み付けの解析的な逆数に対応する等化フィルタの係数は、超低周波に対して発散性があることが再度明白になる。
【0127】
一般的に、任意の種類の方向センサの場合、センサの方向性に関する重み付けWmを補償するフィルタEQmの利得は、低い音響周波数に対して無限であることが示される。図14では、近接音場事前補償は、関係式
【数65】
によって与えられる等化フィルタEQmに対する実際の式に有利に適用される。
【0128】
従って、信号S1乃至SNは、マイク141から回収される。適宜、これらの信号の前置等化は、処理モジュール142によって適用される。モジュール143は、行列形態で、アンビソニック文脈でこれらの信号を表し得る。モジュール144は、マイク141の球半径rの関数として表されるアンビソニック成分に関係式〔C7〕のフィルタを適用する。近接音場補償は、第2距離として基準距離Rに対して行われる。従って、モジュール144によってフィルタ処理される符号化信号は、場合によって、基準距離を表すパラメータR/cと共に送信し得る。
【0129】
従って、それぞれ、近接音場仮想音源の生成、実音源から生じる信号音の集音、又は(スピーカの近接音場効果を補償するための)再生、に関連する様々な実施形態では、本発明の骨子の範囲内の近接音場補償が、アンビソニック表現を含む全種類の処理に適用し得ることが明白である。この近接音場補償は、音源の方向及びその距離が有利に考慮されなければならない多数の音の文脈にアンビソニック表現を適用し得る。更に、アンビソニック文脈内で全種類の音響現象(近接又は遠方音場)を表現する可能性が、アンビソニック成分の有限の実数値に対する制限のために、この事前補償によって保証される。
【0130】
勿論、本発明は、一例として上述した実施形態に限定されず、他の変形例に適用される。
【0131】
従って、近接音場事前補償は、符号化時、近接音源に対しても遠方音源と同様取り込み得ることを理解されたい。後者の場合(遠方音源、及び平面波の受信)では、上述の距離ρは、前述のフィルタHmに対する式を実質的に修正することなく、無限であると見なされる。従って、一般的に、遅延拡散音場(遅延反響)のモデル化に使用可能な非相関信号を提供する空間効果プロセッサを用いた処理は、近接音場事前補償と組み合わせ得る。これらの信号は、同様なエネルギーであると見なされ、また、全方位性の成分
【数66】
に対応する拡散音場(図4)の割当てに対応すると見なし得る。次に、(選択された次数Mの)様々な球面調和関数成分は、各アンビソニック成分に対する利得修正を適用することによって構成でき、また、スピーカの近接音場補償が、(図7に示すように、基準距離Rが聴覚点からスピーカを離間する状態で)適用される。
【0132】
勿論、本発明の骨子の範囲内の符号化の原理は、単極音源(実又は仮想)及び/又はスピーカ以外の放射モデルに一般化できる。具体的には、任意の放射形状(特に空間に広がった音源)は、基本的点音源の連続的分布の統合によって表現し得る。
【0133】
更に、再生の文脈では、任意の再生の文脈に近接音場補償を適応し得る。この目的のために、伝達関数(音響が再生される空間での実際の伝播を考慮した各スピーカに対する近接音場球面調和関数成分の再符号化)を計算するだけでなく、この再符号化を反転して復号化の再定義も行い得る。
【0134】
以上、アンビソニック成分を含む行列系を適用した復号化方法について述べた。変形例では、高速フーリエ変換(円又は球)による一般的処理を行い、計算時間、及び復号化処理に必要な(メモリに関する)計算処理資源を制限する。
【0135】
図9及び10で述べたように、近接音場源の距離ρに対する基準距離Rの選択は、音響周波数の様々な値に対する利得の相違をもたらすことが分かる。事前補償による符号化の方法は、音響デジタル圧縮と組み合わせて、各周波数サブバンドに対する利得の量子化と調整が可能になることが分かる。
【0136】
利点として、本発明は、全種類の音響空間化システムに適用し、特に、“仮想現実”型の用途(三次元空間の仮想場面を介したナビゲーション、三次元音響空間化によるゲーム、インターネット網上で発する“チャット”型の会話)に、インターフェイスの音響装備に、音楽を記録、混合、及び再生するための音響編集ソフトウェアに、適用する。また、更に、ミュージカル又は映画撮影の集音や、あるいは、例えば、音響装備された“ウェブカメラ”用などのインターネットにおける音響雰囲気を送信するための三次元マイクを用いた集音にも適用する。
【図面の簡単な説明】
【0137】
【図1】空間化再生装置による符号化、送信、復号化、及び再生により、仮想音源のシミュレーションによって、信号音を集音し生成するためのシステムを示す概略図。
【図2】強度的に、また、信号が生じる音源の位置的に双方で定義される信号の符号化をより厳密に表す図。
【図3】球座標でのアンビソニック表現に含まれるパラメータを示す図。
【図4】様々な次数の球面調和関数
【数67】
の球座標の基準枠における三次元計量による表現を示す図。
【図5】次数mの連続値の球面ベッセル関数であって、圧力音場のアンビソニック表現に用いられる動径関数jm(kr)の係数における変化を示すグラフ。
【図6】特に低周波での様々な連続次数mに対する近接音場効果による増幅を表す図。
【図7】上記聴覚点(参照P)、上記第1距離(参照ρ)、及び上記第2距離(参照R)に複数のスピーカHPiを含む再生装置を表す概略図。
【図8】本発明に基づく、方向符号化及び距離符号化によるアンビソニック符号化に含まれるパラメータを表す概略図。
【図9】仮想音源の第1距離ρ=1m、及び第2距離R=1.5mに位置するスピーカの事前補償に対してシミュレートされる補償及び近接音場フィルタのエネルギースペクトルを表す図。
【図10】仮想音源の第1距離ρ=3m、及び距離R=1.5mに位置するスピーカの事前補償に対してシミュレートされる補償及び近接音場フィルタのエネルギースペクトルを表す図。
【図11A】本発明に基づく水平面における球面波の補償による近接音場の再現を表す図。
【図11B】図11Aと比較して、音源Sから生じる初期波面を表す図。
【図12】聴覚点から第3距離R2に配置された複数のスピーカを含む再生装置に合わせて、受信され事前補償されたアンビソニック成分を、第2距離として基準距離Rに対する符号化に適応するためのフィルタ処理モジュールを表す概略図。
【図13A】再生時、音源が近接音場で放射する状態で、バイノーラル合成を適用する再生装置を用いて、聴き手に対する音源Mの配置を表す概略図。
【図13B】アンビソニック符号化/復号化が組み合わせられる図13Aのバイノーラル合成の枠組みにおいて近接音場効果による符号化及び復号化のステップを表す概略図。
【図14】本発明に基づき、アンビソニック符号化、等化、及び近接音場補償によって、例示により、球上に配置された複数の圧力センサを含むマイクから生じる信号の処理を表す概略図。
【符号の説明】
【0138】
10・・・仮想場面の記述、11・・・音源の管理、2a・・・基本的寄与の空間的符号化、4・・・音場の操作(回転)、5・・・復号化、1b・・・自然集音、2b・・・音響符号化、3b・・・中間表現フォーマット、6・・・バイノーラル/トランスオーラル。
【技術分野】
【0001】
本発明は、オーディオデータの処理に関する。
【背景技術】
【0002】
特に、専用音響シミュレーション及び/又は再生等の三次元空間における音波の伝播に関係する手法は、音響及び心理的音響現象のシミュレーションに適用されるオーディオ信号処理法を実現する。このような処理方法は、音場の空間的符号化、その送信、及び一組のスピーカ又はステレオ式ヘッドセットのヘッドホンでのその空間化再生を行う。
【0003】
空間化音の手法の中で特徴的な手法には、互いに補完的であるが一般的に同一系内で双方共実現される2つの処理カテゴリである。
【0004】
一方では、第1処理カテゴリは、空間効果、即ち、より一般的には環境効果を合成するための方法に関する。1つ又は複数の音源(発信信号、位置、方位、方向性等)の記述から、また(空間幾何学的配置あるいは所望の音響知覚を含む)空間効果モデルに基づき、一組の基本的音響現象(直接波、反射波、又は回折波)あるいは巨視的音響現象(反響及び拡散音場)を計算し記述し、三次元空間において、選択した聴覚点に位置する聴き手のレベルで空間効果を伝え得る。次に、通常、反射(主受信波の再放射で活性化し空間位置属性を有する“二次”音源)に関係する一組の信号及び/又は遅延反響に関係する一組の信号(拡散音場に対する非相関信号)を計算する。
【0005】
他方では、第2カテゴリの方法は、音源の位置的又は方向的表現に関する。これらの方法は、(一次及び二次音源を含む)上述した第1カテゴリの方法によって決定される信号に適用され、それらに関係する空間的記述(音源の位置)の関数として適用される。特に、この第2カテゴリによるこのような方法では、スピーカ又はヘッドホンに分配される信号を取得して、最終的に、聴き手周辺の所定位置それぞれに配置された音源の聴覚的印象を聴き手に与え得る。この第2カテゴリによる方法は、聴き手による音源位置認識が、三次元空間に分布するため、“三次元音像の生成法”と称される。一般的に、第2カテゴリによる方法には、基本的音響現象を空間的に符号化する第1ステップが含まれ、これによって三次元空間における音場の表現が生成される。第2ステップでは、後で用いるために、この表現が送信又は記憶される。復号化の第3ステップでは、復号信号が再生装置のスピーカ又はヘッドホンに伝えられる。
【0006】
本発明は、どちらかと言えば、上記第2カテゴリに包含され、特に、音源の空間的符号化やこれら音源の三次元音響表現の仕様に関する。本発明は、また、1つ又は複数の三次元アレイのマイクによる集音時、自然音場の“音響”符号化について、“仮想的”音源の符号化(音源がシミュレートされるゲームや空間化会議等の用途)にも同様に該当する。
【0007】
考え得る音響空間化手法の中では、“アンビソニック”法が好まれる。アンビソニック符号化は、詳細に後述するが、球面調和関数の基数で1つ又は複数の音波に関係する信号を表示する(特に、仰角及び方位角を含む球座標で音又は複数の音の方向を特徴付ける)ことにある。また、これらの信号を表しこの球面調和関数の基数で表される成分は、近接音場で放射される波に関して、この音場を発する音源と球面調和関数の基数の原点に対応する点との間の距離にも依存する。特に、この距離依存性は、後で分かるように、音響周波数の関数として表される。
【0008】
このアンビソニック手法は、特に、仮想音源のシミュレーションの点では、極めて多くの機能を提供し、また、一般的には、次の利点を示す。即ち、
音響現象の実体を合理的に伝え、現実的で得心させる埋没的空間表現を提供する。
音響現象の表現は、適応性がある。即ち、様々な状況に適応し得る空間分解能を提供する。具体的には、この表現は、符号化信号送信時の処理能力制約条件及び/又は再生装置の制限条件の関数として送信及び利用し得る。
アンビソニック表現は、柔軟性があり、また、音場の回転のシミュレーションが可能であり、あるいは、再生時、多様な幾何学的配置のあらゆる再生装置にアンビソニック信号の復号化を適応し得る。
【0009】
公知のアンビソニック法では、仮想音源の符号化は、本質的に方向性を有する。符号化機能は、球面座標の仰角及び方位角に依存する球面調和関数によって表される音波の入射角に依存する利得を計算することである。特に、復号化の際、スピーカは、再生時、遠方配置されると仮定する。これにより、再生波面の形状が歪む(即ち、湾曲する)。具体的には、上述したように、球面調和関数の基数での信号音の成分は、近接音場の場合、実際、音源の距離及び音響周波数にも依存する。より厳密には、これらの成分は、上記距離及び音響周波数に反比例する変数を有する多項式の形式で数学的に表し得る。従って、アンビソニック成分は、それらの理論的表現の点で、低周波で発散し、特に、それらが、有限の距離にある音源によって放射される近接音場音を表す場合、音響周波数が減少しゼロになると、無限大になる。この数学的現象は、アンビソニック表現の分野では、次数1の場合については、用語“低音域ブースト”によって既に知られている。特に、ゲルゾン(M.A.GERZON)による“聴覚局在化の一般メタ理論”、第92回AES会議予稿3306,1992年、頁52において公知である。この現象は、高ベキの多項式を含む高球面調和関数次数の場合、特に重要になる。
【0010】
以下の文献、ゾンタッヒ(SONTACCHI)及びヘルドリッヒ(HOELDRICH)による“距離符号化を用いた3D音場の詳細調査”(2001年12月6日〜8日、アイルランド、リメリックにおけるデジタルオーディオ効果(DAFX-01)に関するCOST_G-6会議の議事録)は、アンビソニック表現に近い表現の範囲内で波面の湾曲を考慮するための手法を開示し、その原理は以下に存する。即ち、
WFS(“波音場合成”の意)型の(シミュレートされる)仮想集音から生じる信号に(高次数の)アンビソニック符号化を適用すること。
1つの領域に渡って音場を再現することであって、領域境界に渡るその値、従って、ホイヘンスーフレネルの原理に基づき再現すること。
【0011】
しかしながら、この文献に提示された手法は、高次数に対してアンビソニック表現を用いるという事実により期待が持てるが、いくつかの問題が生じる。即ち、
ホイヘンスーフレネルの原理の適用を可能にする全ての面の計算に必要なコンピュータ資源だけでなく、必要な計算時間が過剰である。
狭い間隔で配置された仮想マイク格子が選択されない場合、マイク間の距離のために“空間的エイリアシング”と称する処理アーティファクトが生じることによって、処理が更に面倒になる。
この手法は、集音時、実音源が存在すると、センサがアレイ状に配置される実例への移行が困難である。
再生時、三次元音響表現が、再生装置の固定半径に暗黙裡に束縛される。これは、ここでは、初期アレイ状マイクと同じ寸法のアレイ状スピーカ上でアンビソニック復号化を行わなければならないためであり、この文献は、他のサイズの再生装置に符号化又は復号化を適応する手段を提示してしない。
【0012】
結局、この文献は、水平アレイ状センサを提示し、これによって、対象の音響現象が、ここでは、水平方向にのみ伝播すると仮定することによって、他の方向のあらゆる伝播を除外し、また従って、通常の音場の物理的実体を表さない。
【0013】
更に一般的に、この手法は、任意の種類の音源、特に、近接音場源ではなく、むしろ遠方音源(平面波)の充分な処理が可能であり、このことは、数多くの用途において制限的及び人為的状況に対応する。
【発明の開示】
【発明が解決しようとする課題】
【0014】
本発明の目的は、任意の種類の音場、特に近接音場における音源の効果を符号化、送信、及び再生によって処理するための方法を提供することである。
【0015】
本発明の他の目的は、方向だけでなく距離に関しても、仮想音源の符号化を可能にする方法を提供し、任意の再生装置に適応可能な復号方式を定義することである。
【0016】
本発明の他の目的は、特に、三次元アレイ状のマイクを用いて自然音場の集音を行うために、(低周波を含む)任意の音響周波数の音を処理する強力な方法を提供することである。
【課題を解決するための手段】
【0017】
この目的のために、本発明は、音響データを処理する方法を提案する。本方法においては、
a)三次元空間で伝播し基準点から第1距離に位置する音源から生じる少なくとも1つの音を表す信号が、前記基準点に対応する原点の球面調和関数の基数で表される成分による音の表現を得るように符号化され、
b)近接音場効果の補償が、再生装置による音の再生の場合、再生点と聴覚点との間の距離を実質的に定義する第2距離に依存するフィルタ処理によって前記成分に適用される。
【0018】
第1実施形態では、前記音源は、基準点から遠方に設置され、
連続次数mの成分が、球面調和関数の前記基数での音の表現用に取得され、
フィルタが適用され、その係数は、各々次数mの成分に適用されるが、ベキmの多項式の逆数形式で解析的に表され、その変数は、再生装置のレベルに近接音場効果を補償するように、音響周波数及び前記第2距離に反比例する。
【0019】
第2実施形態では、前記音源は、前記第1距離に想定される仮想音源であり、
連続次数mの成分は、球面調和関数の前記基数で音を表現するために取得され、
広域フィルタが適用され、その係数は、各々次数mの成分に適用されるが、分数の形式で解析的に表され、
分子は、ベキmの多項式であり、その変数は、仮想音源の近接音場効果をシミュレートするように、音響周波数及び前記第1距離に反比例し、
分母は、ベキmの多項式であり、その変数は、低音響周波数の仮想音源の近接音場効果を補償するように、音響周波数及び前記第2距離に反比例する。
【0020】
好適には、ステップa)及びb)において符号化及びフィルタ処理されたデータを前記第2距離を表すパラメータと共に再生装置に送信する。
【0021】
補足又は変形例として、再生装置は、記憶媒体を読み取るための手段を含み、再生装置が読み取る記憶媒体に、前記第2距離を表すパラメータと共に、ステップa)及びb)において符号化及びフィルタ処理されたデータを記憶する。
【0022】
利点として、前記聴覚点から第3距離に配置された複数のスピーカを含む再生装置による音再生の前に、前記第2及び第3距離に依存する係数を有する適応フィルタが、符号化及びフィルタ処理されるデータに適用される。
【0023】
ある実施形態では、前記適応フィルタの係数は、各々次数mの成分に適用されるが、分数の形式で解析的に表され、
分子は、ベキmの多項式であり、その変数は音響周波数及び前記第2距離に反比例し、
分母は、ベキmの多項式であり、その変数は音響周波数及び前記第3距離に反比例する。
【0024】
利点として、ステップb)を実行するために、
偶数次数mの成分に関しては、次数2のカスケード状セル形式の音響デジタルフィルタと、
奇数次数mの成分に関しては、次数2のカスケード状セルと次数1の追加セルとの形式の音響デジタルフィルタと、が提供される。
【0025】
本実施形態では、次数mの成分の場合、音響デジタルフィルタの係数は、前記ベキmの多項式のベキ根の数値により定義される。
【0026】
ある実施形態では、前記多項式は、ベッセル多項式である。
【0027】
信号音の集音時、三次元空間で伝播する少なくとも1つの音を表す前記信号を得るように、実質的に前記基準点に対応する中心を有する球の表面上に実質的に配置されるアレイ状の音響変換器を含むマイクが利点として提供される。
【0028】
本実施形態では、広域フィルタが、一方では、前記第2距離の関数として近接音場効果を補償するように、他方では、変換器から生じる信号を等化して前記変換器の方向性の重み付けを補償するように、ステップb)において適用される。
【0029】
好適には、球面調和関数の前記基数で音を表すために選択された成分の総数に依存する複数の変換器を提供する。
【0030】
有利な特徴によれば、ステップa)では、成分の総数は、再生時、音の再生が忠実であり成分の総数と共に増加する寸法を有する知覚点周辺の空間領域を得るように、球面調和関数の基数から選択される。
【0031】
好適には、更に、成分の前記総数に少なくとも等しい数のスピーカを含む再生装置が提供される。
【0032】
バイノーラル又はトランスオーラル合成による再生装置の枠内における変形例として、
聴き手からの選択した距離に配置された少なくとも第1及び第2スピーカを含む再生装置が提供され、
聴き手からの所定の基準距離に位置する音源の空間位置の予想認識キューが、この聴き手に対して取得され、いわゆる“トランスオーラル”又は“バイノーラル合成”手法を適用し、
ステップb)の補償は、前記基準距離が実質的に第2距離として、適用される。
【0033】
2つのヘッドホンを有するように適合される再生装置の変形例では、
聴き手からの選択した距離に配置された少なくとも第1及び第2スピーカを含む再生装置が提供され、
聴き手からの所定の基準距離に位置する音源の空間位置の認識キューが、この聴き手に対して取得され、
再生装置による音再生の前に、第2距離及び実質的に基準距離に依存する係数を有する適応フィルタが、ステップa)及びb)において符号化及びフィルタ処理されるデータに適用される。
【0034】
特に、バイノーラル合成による再生装置の枠内では、
再生装置は、聴き手のそれぞれの耳用に2つのヘッドホンを備えたヘッドセットを含み、
好適には、各ヘッドホンに対して別々に、ステップa)及びb)の符号化及びフィルタ処理は、第1距離として、再生空間で再生される音源の位置と各耳とをそれぞれ離間する距離で、各ヘッドホンに供給すべきそれぞれの信号に関して適用される。
【0035】
好適には、ステップa)及びb)において行列系が形成され、前記系には、少なくとも、
球面調和関数の基数での前記成分を含む行列と、
ステップb)のフィルタ処理係数に対応する係数を有する対角行列と、
が含まれ、前記行列は乗算され補償成分の結果行列が得られる。
【0036】
好適には、再生時、
再生装置は、聴覚点から同一の距離に実質的に配置される複数のスピーカを含み、
ステップa)及びb)で符号化及びフィルタ処理された前記データを復号化するために、また、前記スピーカへの供給に適する信号を形成するために、
行列系が、再生装置に特有な、前記補償成分の結果行列及び所定の復号行列を含んで形成され、
行列が、結果行列と前記復号行列の乗算によりスピーカ供給信号を表す係数を含んで得られる。
【0037】
また本発明は、実質的に球の表面に配置されたアレイ状音響変換器が備えられたマイクを含む集音装置を目的とする。本発明によれば、本装置は、更に、処理ユニットが含まれ、この処理ユニットは、
変換器が発する各信号を受信し、
前記球の中心に対応する原点の、球面調和関数の基数で表された成分による音の表現を得るように前記信号に符号化を適用し、
また、一方では、球の半径に対応する距離に依存し、他方では、基準距離に依存するフィルタ処理を前記成分に適用するように、構成される。
【0038】
好適には、処理装置によって行われるフィルタ処理は、一方では、前記変換器の方向性の重み付けを補償するように、変換器から生じる信号を球の半径の関数として等化すること、また、他方では、前記基準距離の関数として近接音場効果を補償することにある。
【発明を実施するための最良の形態】
【0039】
本発明の他の利点及び特徴は、本明細書の以下の詳細な説明を解釈し添付図面を検討すると明らかになる。
【0040】
最初に、音響空間化用広域システムを例示する図1を参照する。仮想場面をシミュレートするためのモジュール1aは、信号の仮想音源として、例えば、モノラル音響等の音響オブジェクトを三次元空間の選択位置で定義し、また、音の方向を定義する。更に、仮想空間の幾何学的仕様を提供して、音の反響をシミュレートし得る。処理モジュール11は、聴き手に関して、これら音源の内の1つ又は複数の管理(この聴き手に関する音源の仮想位置の定義)を適用する。それは、遅延及び/又は標準のフィルタ処理を適用することによって、反響等をシミュレートするための空間効果プロセッサを実現する。このように再現された信号は、音源の基本的寄与の空間的符号化用モジュール2aに送信される。
【0041】
これと並行して、自然集音は、実音源(モジュール1b)に関して選択的に配置された1つ又は複数のマイクによって録音の枠組み内で行い得る。マイクによって集音された信号は、モジュール2bによって符号化される。集音及び符号化された信号は、中間表現フォーマット(モジュール3b)に基づき変換された後、モジュール1aによって生成されモジュール2aによって符号化される(仮想音源から生じる)信号と、モジュール3によって混合し得る。その後、混合信号は、後で再生するために、送信(矢印TR)されるか又は媒体に記憶される。その後、スピーカを含む再生装置6で再生するために復号モジュール5に供給される。場合によっては、復号化ステップ5は、復号モジュール5の上流に処理モジュール4が提供されることで、音場を処理するステップ、例えば、回転が、先行することもある。
【0042】
再生装置は、再生時、特に、三次元空間における音の方向を確実に認識するように、例えば、三次元(多重チャネル)構成において、球面上に配置された多数のスピーカの形態を取り得る。この目的のために、聴き手は、一般的に、アレイ状のスピーカによって形成され上述した聴覚点に対応する球の中心に自分自身を置く。変形例として、再生装置のスピーカは、平面(二次元パノラマ構成)に配置され、スピーカは、特に、円上に配置され、聴き手は、この円の中心に通常配置し得る。他の変形例では、再生装置は、“サラウンド”型(5.1)装置の形態を取り得る。最後に、有利な変形例では、再生装置は、再生される音をバイノーラル合成するための2つのヘッドホンを備えたヘッドセットの形態を取ることができ、これによって聴き手は、更に詳細に分かるように、三次元空間での音源の方向を認識し得る。また、三次元空間で認識するために2つのスピーカを備えたこのような再生装置は、聴き手からの選択した距離に2つのスピーカを配置したトランスオーラル再生装置の形態も取り得る。
【0043】
次に図2を参照して、基本音源の三次元音響再生用の空間的符号化及び復号化について説明する。音源1乃至Nから生じる信号並びにその位置(実位置又は仮想位置)が、空間的符号化モジュール2に送信される。その位置は、入射角(聴き手から見た音源の方向)又はこの音源と聴き手との間の距離によって、同様に適切に定義し得る。このように符号化された複数の信号により、広域音場の多重チャンネル表現を得ることができる。符号化された信号は、図1で述べたように、音響再生装置6に送信され(矢印TR)三次元空間において音が再生される。
【0044】
次に図3を参照して、音場の三次元空間の球面調和関数によるアンビソニック表現について以下説明する。如何なる音源もない原点Oを中心とする領域(半径Rの球)について考える。原点Oから球の点への各ベクトル
【数1】
が、方位θr、高さδr、及び(原点Oからの距離に対応する)半径rで記述される球座標系を採用する。
【0045】
この球内部の圧力音場
【数2】
(Rが球の半径である場合、r<R)は、周波数領域において級数として表現し得るが、級数項は、角度関数
【数3】
と、動径関数jm(kr)との重み付け積であり、従って、fが音響周波数、cが伝播媒体中の音速である場合、k=2πf/cである伝播項に依存する。
【0046】
圧力音場は、
【数4】
と表し得る。
【0047】
重み付け係数の集合
【数5】
は、暗黙裡に周波数に依存し、従って、対象領域の圧力音場を記述する。このため、これらの係数は、“球面調和関数成分”と呼ばれ、また、球面調和関数
【数6】
の基数での音(又は圧力音場)に対する周波数表現を表す。
【0048】
角度関数は、“球面調和関数”と呼ばれ、
【数7】
によって定義される。ここで、Pmn(sinδ)は、度数m、次数nのルジャンドル関数であり、δp,qは、クロネッカの記号である(p=qの時、1、そうでない場合、0に等しい)。
【0049】
球面調和関数は、直交基数を形成し、高調波成分間において、一般的には、2つの関数FとGとの間のスカラ積が、それぞれ
【数8】
及び
【数9】
によって定義される。
【0050】
球面調和関数は、図4に示すように、次数m並びに指数n及びσの関数として拘束される実関数である。明部及び暗部は、球面調和関数の正及び負の値にそれぞれ対応する。次数mが高くなればなるほど、角度関数が(また、従って、関数間の相違が)大きくなる。動径関数jm(kr)は、球面ベッセル関数であり、その係数は、図5に次数mの幾つかの値に対して示す。
【0051】
球面調和関数の基数によるアンビソニック表現の解釈は、以下のように与え得る。同様な次数mのアンビソニック成分は、最終的に、原点O(図3に表す球の中心)付近における圧力音場の次数mの“導関数”又は“モーメント”を表す。
【0052】
特に、
【数10】
は、圧力のスカラ量を示し、他方、
【数11】
は、原点Oでの圧力勾配(又は、特定の速度)に関係する。これらの最初の4つの成分W,X,Y,及びZは、(次数0の成分Wの場合)全方位性のマイクを用いて、また(後続の他の3成分の場合)双方向性のマイクを用いて、自然集音中に得られる。極めて多くの音響変換器を用いることによって、適切な処理、特に等化によって、更に(1より大きくより高次数mの)アンビソニック成分を取得し得る。
【0053】
(1より大きい)より高次数の追加成分を考慮し、従って、アンビソニック記述の角度分解能を大きくすることによって、原点Oを中心として、音波の波長について、より広い近隣領域に渡って圧力音場の近似値へのアクセスが得られる。従って、角度分解能(球面調和関数の次数)と、表現し得る半径方向の範囲(半径r)との間には密接な関係が存在することを理解されたい。つまり、図3の原点Oから空間的に離れると、アンビソニック成分の数が多くなり(次数Mが高い)、また、これらアンビソニック成分の集合による音の表現が良くなる。しかしながら、音のアンビソニック表現は、原点Oから離れると、不充分になることも理解されたい。この影響は、特に(短波長の)高音響周波数に対して重要になる。従って、最大限の数のアンビソニック成分を得ることによって、音の再生が忠実でありその大きさが成分の総数と共に大きくなる知覚点周辺の空間領域を生成できるようにすることが関心の対象である。
【0054】
以下、空間化音響符号化/送信/再生システムへの適用例について説明する。
【0055】
実際には、アンビソニックシステムは、上述したように、球面調和関数の成分の部分集合を考慮する。後者が指数m<Mのアンビソニック成分を考慮する時、次数Mの系について語ることになる。スピーカを備えた再生装置によって再生を処理する時、これらのスピーカが水平面に配置される場合、指標m=nの調和関数だけが利用されることを理解されたい。他方、再生装置が、球の表面に渡り配置される(“多重チャネルの”)スピーカを含む場合、存在するスピーカと同じ数の調和関数を利用することが原則として可能である。
【0056】
基準Sは、平面波によって搬送される圧力信号を示し、図3の球の中心に対応する点O(球座標の基数の原点)で集音される。波の入射角は、方位角θ及び仰角δによって記述される。この平面波に関連する音場成分の式は、関係式
【数12】
によって与えられる。
【0057】
原点Oから距離ρにある近接音場源を符号化(シミュレート)する場合、近接音場が、第1近似値に合わせて球面波を放射することを考慮して、フィルタ
【数13】
が、波面形状を“湾曲する”ように適用される。音場の符号化成分は、
【数14】
となる。また、上記フィルタ
【数15】
に対する表現は、関係式
【数16】
によって与えられる。ここで、ω=2πfは、波の角周波数であり、fは、音響周波数である。
【0058】
最終的に、これら後者の2つの関係式〔A4〕及び〔A5〕は、(シミュレートされる)仮想音源、及び近接音場における実音源の双方に対して、アンビソニック表現の音成分が、ここでは、ベッセル多項式であるベキmの多項式の形態で数学的に(特に解析的に)表され、その変数(c/2jωρ)が、音響周波数に反比例することを示す。
【0059】
従って、以下のことを理解されたい。即ち、
平面波の場合、符号化は、実数の有限の利得によってのみ原信号と異なる信号を生成し、このことは、純粋に方向的符号化(関係式〔A3〕)に対応する。また、
球面波(近接音場源)の場合、関係式〔A5〕で表されるように、追加フィルタ
【数17】
が、アンビソニック成分に関する表現に、周波数に依存する複素振幅比を導入することによって距離キューを符号化する。
【0060】
この追加フィルタは、“積分器”型であり、音響周波数がゼロに向かって減少するにつれて、増幅効果が大きくなり発散する(無限である)ことに留意されたい。図6は、各次数mに対して、低周波での利得の増加を示す(ここで、第1距離ρ=1mである)。従って、任意の信号音にそれらを適用しようとする時、不安定で発散性のフィルタを取り扱っている。この発散は、高い次数値mの場合、更に決定的である。
【0061】
特に、関係式〔A3〕、〔A4〕、及び〔A5〕から、図6に示すように、近接音場で仮想音源をモデル化すると、高い次数mの場合特に決定的なように、低周波で発散性のアンビソニック成分を呈することが理解されるであろう。この発散は、低周波において、上述した“低音域ブースト”現象に対応する。また、それは、実音源に対する集音においても出現する。
【0062】
特にこの理由によって、アンビソニック手法は、特に高次数mの場合、最先端技術では、音響処理において(理論的なもの以外の)具体的用途の経験がない。
【0063】
再生時、アンビソニック表現で符号化される波面形状に適応するように、近接音場の補償が必要になることを特に理解されたい。図7において、再生装置は、上述した例では、聴覚点Pから、同一の距離Rに配置された複数のスピーカHPiを含む。この図7では、
スピーカHPiが位置する各点は、上述した再生点に対応し、
点Pは、上述した聴覚点であり、
これらの点は、上述した第2距離Rだけ離間されており、
一方、上述した図3では、
点Oは、上述した基準点に対応し、球面調和関数の基数の原点を形成し、
点Mは、基準点Oから、上述した第1距離ρに位置する(実又は仮想)音源の位置に対応する。
【0064】
本発明によれば、近接音場の事前補償は、実際の符号化段階で導入され、この補償は、解析的形態のフィルタ
【数18】
を含み、上記アンビソニック成分
【数19】
に適用される。
【0065】
本発明により提供される利点の1つによれば、図6で効果が現れる増幅
【数20】
は、符号化に引き続き適用されるフィルタ
【数21】
の減衰を通して補償される。特に、この補償フィルタ
【数22】
の係数は、音響周波数と共に増加し、特に、低周波の場合、ゼロに近づく。利点として、この事前補償は、符号化から直ぐに行われ、送信されるデータが、低周波に対して発散しないことを保証する。
【0066】
補償フィルタに関わる距離Rの物理的意味を示すために、例示により、信号音の集音時の初期実平面波を考慮する。この遠方音源の近接音場効果をシミュレートするために、関係式〔A4〕に示したように、関係式〔A5〕の第1フィルタを適用する。この時、距離ρは、近接仮想音源Mと、図3の球基数の原点を表す点Oとの間の距離を表す。このように、近接音場シミュレーション用の第1フィルタは、上述した距離ρにある仮想音源の存在をシミュレートするために適用される。しかしながら、一方では、上述したように、このフィルタの係数の項は、低周波で発散し(図6)、他方では、上記距離ρは、再生装置のスピーカと聴覚点Pとの間の距離を必ずしも表さない(図7)。本発明によれば、符号化時、事前補償が、上述したように
【数23】
型のフィルタを含んで適用され、これによって、一方では、拘束信号の送信が可能になり、他方では、図7に示すように、スピーカHPiを用いて音響再生のために、符号化から直ちに距離Rを選択し得る。特に、認識されたいことは、集音時、原点Oから距離ρに置かれた仮想音源をシミュレートした場合、再生時(図7)(スピーカHPiから距離Rの)聴覚点Pに位置する聴き手は、聞き取る際、聴覚点Pから距離ρに配置され集音時シミュレートされる仮想音源に対応する音源Sの存在を認識する。
【0067】
従って、符号化段階で(距離Rに配置された)スピーカの近接音場の事前補償は、距離ρに配置された仮想音源のシミュレートされる近接音場効果と組み合わせ得る。符号化時、一方では、近接音場のシミュレーションによる、他方では、近接音場の補償による総フィルタは、最終的に利用されるが、このフィルタの係数は、関係式
【数24】
によって解析的に表し得る。
【0068】
関係式〔A11〕によって与えられる総フィルタは、安定しており、また、図8に示すように、本発明に基づく空間的アンビソニック符号化における“距離符号化”部分を構成する。これらフィルタの係数は、周波数に対する単調な伝達関数に対応し、高周波で値1に、低周波で、値(R/ρ)mに近づく。図9において、フィルタのエネルギースペクトル
【数25】
は、(距離ρ=1mでここに配置された)仮想音源の音場効果による符号化成分の増幅を伝達し、(距離R=1.5mに配置された)スピーカの音場が事前補償される。従って、デシベル単位の増幅は、ρ<Rの時(図9の場合)正であり、ρ>Rの時(ρ=3m及びR=1.5mの図10の場合)負である。空間化再生装置では、聴覚点とスピーカHPiとの間の距離Rは、実際には、1又は数メートルのオーダである。
【0069】
また図8では、通常の方向パラメータθ及びδとは別に、符号化に含まれる距離に関するキューが、送信されることを理解されるであろう。このように、球面調和関数
【数26】
に対応する角度関数は、方向的符号化に対して保持される。
【0070】
しかしながら、本発明の骨子の範囲内において、アンビソニック成分に、それらの次数mの関数として適用される総フィルタ(近接音場補償、及び場合によっては、近接音場のシミュレーション)
【数27】
を更に提供して、図8に示すように、距離符号化を実現する。音響デジタル領域におけるこれらのフィルタの実施形態は、後で詳述する。
【0071】
これらのフィルタは、まさしく距離符号化(r)から直ちに、また、方向符号化(θ,δ)の前でさえ、適用し得ることを特に留意されたい。このように、上述したステップa)及びb)は、共に同一の広域ステップに持ち込むことができたり、入れ替えたり(方向符号化及び補償フィルタ処理の後、距離符号化)できることを理解されたい。従って、本発明に基づく方法は、ステップa)及びb)の連続した時間的具体化に限定されない。
【0072】
図11Aは、総次数M=15の系及び32個のスピーカ上での再生に対して、(距離パラメータは、図9と同じ状態の)水平面において球面波を補償して、近接音場の再現の(上方から見た)視覚化を表す。図11Bには、再生空間では、図7の聴覚点Pに対応する集音空間の点から距離ρに位置する近接音場源からの初期音波の伝播を表す。図11Aにおいて留意されたいことは、(図式化した頭部で表される)聴き手は、図11Bの聴覚点Pから距離ρに位置する同一の地理的位置に仮想音源を厳密に特定し得ることである。
【0073】
このように、符号化された波面の形状は、復号化及び再生後の状態に適合することが実際に検証される。しかしながら、図11Aに示したような点Pの右側での干渉は、顕著であり、この干渉は、スピーカ(従って、考慮されるアンビソニック成分)の数が、スピーカによって範囲が定められる面全体に渡って含まれる波面の完璧な再現には不充分であるという事実によるものである。
【0074】
以下、例として、本発明の骨子の範囲内で本方法を実現するための音響デジタルフィルタの取得について説明する。
【0075】
上述したように、符号化から直ちに補償される近接音場効果をシミュレーションしようとする場合、形態
【数28】
のフィルタが、音のアンビソニック成分に適用される。
【0076】
関係式〔A5〕によって与えられる近接音場のシミュレーションの表現から、遠方音源(ρ=∞)に対して、関係式〔A11〕は、単に
【数29】
になることが明白である。
【0077】
従って、この後者の関係式〔A12〕から明白なことは、シミュレートされる音源が遠方音場(遠方音源)で放射する事例は、関係式〔A11〕で公式化されるように、フィルタに対する一般表現の特定の事例に過ぎないことである。
【0078】
音響デジタル処理の分野では、連続時間アナログ領域におけるこのフィルタの解析的表現からデジタルフィルタを定義する有利な方法は、“双一次変換”から成る。
【0079】
関係式〔A5〕は、ラプラス変換の形態でまず表され、これは、
【数30】
に対応する。ここで、τ=ρ/c(cは、媒体中の音速であり、通常、空気中で340m/s)である。
【0080】
双一次変換は、サンプリング周波数fsに対して、関係式〔A11〕を、mが奇数の場合、
【数31】
の形態で、また、mが偶数の場合、
【数32】
の形態で、提示することにある。ここで、zは、上記関係式〔A13〕に関して、
【数33】
によって定義され、
【数34】
である。ここで、x=aの場合、α=4fsR/cであり、x=bの場合、α=4fsρ/cである。
【0081】
Xm,qは、ベッセル多項式のq個の連続根
【数35】
であり、mが奇数の時、それらの実部、(コンマで区切られた)それらの係数、及びそれらの(実数)値のそれぞれの形態で、様々な次数mについて、以下の表1に示す。
表1:MATLAB(C)計算ソフトウェアを用いて計算されるベッセル多項式の値Re〔Xm,q〕,|Xm,q|,(及びmが奇数の時、Re〔Xm,m〕)
【表1】
【0082】
このように、デジタルフィルタは、上記により与えられた関係式〔A14〕を用いて、カスケード状の次数2(mが偶数)のセル及び追加セル(mが奇数)を提供することによって、表1の値を用いて配置される。
【0083】
従って、デジタルフィルタは、後述するように容易にパラメータ化し得る無限大のインパルス応答形態で具体化される。留意されたいことは、有限のインパルス応答形態の実例は、予見でき、解析的公式から伝達関数の複素スペクトルを計算し、そして、そこから逆フーリエ変換によって有限のインパルス応答を演繹することにある。その後、畳み込み演算がフィルタ処理に対して適用される。
【0084】
このように、符号化時、この近接音場の事前補償を導入することによって、修正アンビソニック表現(図8)は、
【数36】
の形態で定義され、周波数領域において表される信号を、送信可能な表現として採用する。
【0085】
上述したように、Rは、補償近接音場効果に関連する基準距離であり、cは、音速(通常、空気中で340m/s)である。この修正アンビソニック表現は、(図1の矢印TRに近接して“囲まれた”データを送信することによって概略的に表される)同じ拡張特性を持ち、また、通常のアンビソニック表現と同じ音場回転変換(図1のモジュール4)に従う。
【0086】
以下、アンビソニック受信信号の復号化の場合に実行される動作を示す。
【0087】
最初に、復号化動作は、上述した基準距離Rとは異なる半径R2の任意の再生装置に適応し得ることを示す。この目的のために、前述したような
【数37】
型のフィルタが適用されるが、ρ及びRの代わりに、距離パラメータはR及びR2である。特に、パラメータR/cのみが、符号化と復号化との間に記憶(及び/又は送信)される必要があることを留意されたい。
【0088】
図12において、そこに示すフィルタ処理モジュールは、例えば、再生装置の処理ユニットに備えられる。受信アンビソニック成分は、符号化時、第2の距離としての基準距離R1が事前補償されている。しかしながら、再生装置は、聴覚点Pから第3の距離R2に配置された複数のスピーカを含み、この第3の距離R2は、上記第2の距離R1とは異なる。そして、図12のフィルタ処理モジュールは、
【数38】
の形態で、データ受信時、距離R2での再生の事前補償を距離R1に適合する。勿論、上述したように、再生装置は、パラメータR1/cも受信する。
【0089】
更に本発明は、音場(実及び/又は仮想音源)の幾つかのアンビソニック表現を混合することを可能にし、その基準距離Rは、異なる(場合によっては、無限基準距離が遠方音源に対応する)ことを認識されたい。好適には、最短の基準距離でのこれら全ての音源の事前補償は、アンビソニック信号を混合する前に、フィルタ処理され、これによって、再生時、音響解放の正確な定義を取得し得る。
【0090】
再生時、(光プロジェクタが光学系の選択方向を照明するように)空間的に選択された方向に対する音響強化効果での所謂“音響集束”処理の枠組み内で、(アンビソニック成分の重み付けによる)音響集束の行列処理を含み、近接音場事前補償を集束処理と組み合わせるようにして、距離符号化を有利に適用する。
【0091】
以下、再生時、スピーカの近接音場を補償するアンビソニック復号化方法について説明する。
【0092】
成分
【数39】
から、アンビソニック形式に基づき、及び、図7の再生点Pに対応する聴き手の“理想的”配置を提供する再生装置のスピーカを用いることによって符号化される音場を再現するために、各スピーカによって放射される波は、以下のように、再生装置の中心でアンビソニック音場の事前の“再符号化”処理によって定義される。
【0093】
この“再符号化”に対して、簡単のために、音源が遠方音場で放射するとまず考える。
【0094】
また図7では、指数i及び入射角(θi及びδi)のスピーカによって放射される波は、信号Siで供給される。このスピーカは、その寄与
【数40】
を通して成分B’mnの再現に加わる。
【0095】
指数iのスピーカに関連する符号化係数のベクトルciは、関係式
【数41】
によって表される。
【0096】
N個のスピーカの集合から発する信号のベクトルSは、式
【数42】
によって与えられる。
【0097】
(最終的に“再符号化”行列に対応する)これらN個のスピーカに対する符号化行列は、関係式
【数43】
によって表される。ここで、各項ciは、上記関係式〔B1〕に基づくベクトルを表す。
【0098】
従って、アンビソニック音場B’の再現は、関係式
【数44】
によって定義される。
【0099】
このように、関係式〔B4〕は、再生前、再符号化動作を定義する。最終的に、復号化は、このように、一般的関係式、
B’=B・・・〔B6〕
を定義するように、
【数45】
の形態で、再生装置によって受信される原アンビソニック信号を再符号化信号
【数46】
と比較することにある。
【0100】
これには、特に、関係式
S=D.B・・・〔B7〕
を満たす復号化行列Dの係数を決定することが含まれる。
【0101】
好適には、スピーカの数は、復号化されるアンビソニック成分の数以上であり、また、復号化行列Dは、再符号化行列Cの関数として、
D=CT(CCT)−1・・・〔B8〕
の形態で表し得る。ここで、記号CTは、行列Cの転置行列に対応する。
【0102】
留意されたいことは、各周波数領域に対して異なる基準を満たす復号化の定義が可能であり、これによって、聞き取り条件の関数として、特に、再生時、図3の球の中心Oでの位置決めの制約に関して、最適な再生を提供し得ることである。この目的のために、各アンビソニック成分での段階的周波数等化によって、簡単なフィルタ処理が有利に提供される。
【0103】
しかしながら、元々符号化された波の再現を得るために、スピーカに対する遠方音場の仮定の修正が必要である。つまり、上述した再符号化行列Cでそれらの近接音場効果を表す必要があり、また、この新しいシステムを反転して復号器を定義する必要がある。この目的のために、(図7の点Pから同一の距離Rに配置された)スピーカの同心性を仮定すると、全てのスピーカは、
【数47】
型の各アンビソニック成分では、同じ近接音場効果
【数48】
を有する。対角行列の形態で近接音場項を導入することによって、上述した関係式〔B4〕は、
【数49】
となる。
【0104】
上述した関係式〔B7〕は、
【数50】
となる。
【0105】
従って、行列化動作には、各成分
【数51】
の近接音場を補償するフィルタ処理動作が先行し、これは、上述したように、関係式〔A14〕を基準にして、デジタル形態で実現し得る。
【0106】
実際には、“再符号化”行列Cは、再生装置に特有であることを思い起こされたい。その係数は、初期的には、パラメータ化によって、また、再生装置が所定の励起に反応する音響特性によって決定し得る。同様に、復号化行列Dは、再生装置に特有である。その係数は、関係式〔B8〕によって決定し得る。前の表記法を続けると、
【数52】
が、事前補償アンビソニック成分の行列である場合、これら後者は、
【数53】
として、
【数54】
の行列形態で、再生装置に送信し得る。
【0107】
その後、再生装置は、
【数55】
で、スピーカHPiに供給するための信号Siを形成するように、事前補償されたアンビソニック成分に復号化行列Dを適用することによって、行列形態
【数56】
(送信成分の列ベクトル)で受信されるデータを復号化する。
【0108】
また図12では、復号化動作が、基準距離R1と異なる半径R2の再生装置に適応しなければならない場合、本来の上述した復号化に先立つ適合用のモジュールは、半径R2の再生装置にそれを適合させるように、各アンビソニック成分
【数57】
をフィルタ処理し得る。その後、本来の復号化動作が、上述したように、関係式〔B11〕について行われる。
【0109】
バイノーラル合成への本発明の適用について、以下に述べる。
【0110】
バイノーラル合成装置の2つのヘッドホンを備えたヘッドセットを有する聴き手を表す図13Aを参照する。聴き手の2つの耳は、空間のそれぞれの点OL(左耳)及びOR(右耳)に置かれる。聴き手の頭の中心は、点Oに置かれ、また、聴き手の頭の半径は、値aである。音源は、聴き手の頭の中心から距離r(また、それぞれ右耳から距離rR及び左耳からrL)に位置する空間の点Mにおいて、聴覚的に知覚されなければならない。更に、点Mに配置された音源の方向は、ベクトル
【数58】
によって定義される。
【0111】
一般的に、バイノーラル合成は、以下のように定義される。
【0112】
聴き手は、各々特有な耳の形状を有する。この聴き手による空間音の知覚は、この聴き手に特有な耳の形状(特に、耳介の形状及び頭の寸法)の関数として出生時から学習によって行われる。空間音の知覚は、音が一方の耳に他方の耳より先に到達するという事実によってとりわけ顕在化し、これにより、バイノーラル合成を適用する再生装置の各ヘッドホンによって放射される信号間に遅延τが生じる。
【0113】
再生装置は、同一の聴き手に対して、自分の頭の中心から同じ距離Rにおいて、自分の頭周辺の音源を掃引することによって、初期的にパラメータ化される。従って、この距離Rは、上述した”再生点“と聴覚点(ここでは聴き手の頭の中心O)との間の距離であり得ることを理解されたい。
【0114】
以下において、指標Lは、左耳に接するヘッドホンによって再生される信号と関連し、指標Rは、右耳と接するヘッドホンによって再生される信号と関連する。図13Bにおいて、遅延は、別個のヘッドホン用に信号を生成する各経路に対する初期信号Sに適用し得る。これらの遅延τL及びτRは、最大遅延τmaxに依存する。前述したように、aが聴き手の頭の半径に対応し、cが音速に対応する場合、最大遅延τmaxは、ここでは、比率a/cに対応する。特に、これらの遅延は、点O(頭の中心)から点M(図13Aでは、音が再生される音源の位置)までの距離と各耳からこの点Mまでの距離との差の関数として定義される。利点として、それぞれの利得gL及びgRは、更に、各経路に適用され、点Oから点Mまでの距離と各耳から点Mまでの距離との比に依存する。各経路2L及び2Rに適用されるそれぞれのモジュールは、本発明の骨子の範囲内での近接音場事前補償NFC(“近接音場補償”の意)によるアンビソニック表現で、各経路の信号を符号化する。従って、本発明の骨子の範囲内の方法の実行によって、音源Mから生じる信号は、それらの方向(方位角θL及びθR並びに仰角δL及びδR)によってだけでなく、音源Mから各耳rL及びrRを離間する距離の関数としても、定義し得ることを理解されたい。このように符号化された信号は、各経路5L及び5R用のアンビソニック復号モジュールを含む再生装置に送信される。従って、アンビソニック符号化/復号化は、複製形態で、(ここでは“Bフォーマット”型の)バイノーラル合成による再生において、各経路(左ヘッドホン、右ヘッドホン)に対して、近接音場補償と共に適用される。近接音場補償は、各耳と再生される音源の位置Mとの間の距離rL及びrRを第1距離ρとして、各経路に対して行われる。
【0115】
以下、アンビソニック表現での集音の文脈内において、本発明の骨子の範囲内の補償の適用について説明する。
【0116】
図14において、マイク141は、音響圧力を集音可能であり電気信号S1,・・・,SNを再現可能な複数の変換器カプセルを含む。カプセルCAPiは、所定の半径rの球(ここでは、例えば、ピンポン玉等の剛体球)上に配置される。カプセルは、球の全面において一定の間隔で離間される。実際には、カプセルの数Nは、アンビソニック表現の所望の次数Mの関数として選択される。
【0117】
以下、剛体球上に配置されるカプセルを含むマイクの文脈内で、アンビソニックの文脈において符号化から直ちに近接音場効果を補償する方法について述べる。従って、分かることは、近接音場の事前補償が、上述したように、仮想音源シミュレーションに対してだけでなく、集音時にも適用され、また、より一般的に、アンビソニック表現を含む全種類の処理と近接音場事前補償を組み合わせることによって適用し得ることである。
【0118】
(受信音波の回折を生じ易い)剛体球が存在する場合、上述の関係式〔A1〕は、
【数59】
となる。
【0119】
球ハンケル関数の導関数h−mは、繰り返し則、即ち、
【数60】
に従う。
【0120】
関係式
【数61】
によって与えられる投射及び等化演算を実行することによって、球の表面における圧力音場から初期音場のアンビソニック成分
【数62】
を演繹する。
【0121】
この式では、EQmは、重み付けWmを補償する等化器フィルタであり、重み付けWmは、カプセルの方向性に関係し、また更に、剛体球による回折を含む。
【0122】
このフィルタEQmの式は、以下の関係式
【数63】
によって与えられる。
【0123】
この等化フィルタの係数は、安定でなく、無限利得が、超低周波で得られる。更に、球面調和関数成分は、それら自体、音場が平面波、つまり、前述したように、遠方音源から生じる波の伝播に限定されない場合、有限の振幅ではないことに留意することが適当である。
【0124】
更に、固体球に埋め込むカプセルを提供するよりもむしろ、カージオイド型カプセルを提供する場合、遠方音場の方向性は、式
G(θ)=α+(1−α)cosθ・・・[C5]
によって与えられる。
【0125】
“音響的に透過な”支持体上に搭載されるこれらのカプセルを考えることによって、補償される重み付け項は、
【数64】
となる。
【0126】
関係式〔C6〕によって与えられるこの重み付けの解析的な逆数に対応する等化フィルタの係数は、超低周波に対して発散性があることが再度明白になる。
【0127】
一般的に、任意の種類の方向センサの場合、センサの方向性に関する重み付けWmを補償するフィルタEQmの利得は、低い音響周波数に対して無限であることが示される。図14では、近接音場事前補償は、関係式
【数65】
によって与えられる等化フィルタEQmに対する実際の式に有利に適用される。
【0128】
従って、信号S1乃至SNは、マイク141から回収される。適宜、これらの信号の前置等化は、処理モジュール142によって適用される。モジュール143は、行列形態で、アンビソニック文脈でこれらの信号を表し得る。モジュール144は、マイク141の球半径rの関数として表されるアンビソニック成分に関係式〔C7〕のフィルタを適用する。近接音場補償は、第2距離として基準距離Rに対して行われる。従って、モジュール144によってフィルタ処理される符号化信号は、場合によって、基準距離を表すパラメータR/cと共に送信し得る。
【0129】
従って、それぞれ、近接音場仮想音源の生成、実音源から生じる信号音の集音、又は(スピーカの近接音場効果を補償するための)再生、に関連する様々な実施形態では、本発明の骨子の範囲内の近接音場補償が、アンビソニック表現を含む全種類の処理に適用し得ることが明白である。この近接音場補償は、音源の方向及びその距離が有利に考慮されなければならない多数の音の文脈にアンビソニック表現を適用し得る。更に、アンビソニック文脈内で全種類の音響現象(近接又は遠方音場)を表現する可能性が、アンビソニック成分の有限の実数値に対する制限のために、この事前補償によって保証される。
【0130】
勿論、本発明は、一例として上述した実施形態に限定されず、他の変形例に適用される。
【0131】
従って、近接音場事前補償は、符号化時、近接音源に対しても遠方音源と同様取り込み得ることを理解されたい。後者の場合(遠方音源、及び平面波の受信)では、上述の距離ρは、前述のフィルタHmに対する式を実質的に修正することなく、無限であると見なされる。従って、一般的に、遅延拡散音場(遅延反響)のモデル化に使用可能な非相関信号を提供する空間効果プロセッサを用いた処理は、近接音場事前補償と組み合わせ得る。これらの信号は、同様なエネルギーであると見なされ、また、全方位性の成分
【数66】
に対応する拡散音場(図4)の割当てに対応すると見なし得る。次に、(選択された次数Mの)様々な球面調和関数成分は、各アンビソニック成分に対する利得修正を適用することによって構成でき、また、スピーカの近接音場補償が、(図7に示すように、基準距離Rが聴覚点からスピーカを離間する状態で)適用される。
【0132】
勿論、本発明の骨子の範囲内の符号化の原理は、単極音源(実又は仮想)及び/又はスピーカ以外の放射モデルに一般化できる。具体的には、任意の放射形状(特に空間に広がった音源)は、基本的点音源の連続的分布の統合によって表現し得る。
【0133】
更に、再生の文脈では、任意の再生の文脈に近接音場補償を適応し得る。この目的のために、伝達関数(音響が再生される空間での実際の伝播を考慮した各スピーカに対する近接音場球面調和関数成分の再符号化)を計算するだけでなく、この再符号化を反転して復号化の再定義も行い得る。
【0134】
以上、アンビソニック成分を含む行列系を適用した復号化方法について述べた。変形例では、高速フーリエ変換(円又は球)による一般的処理を行い、計算時間、及び復号化処理に必要な(メモリに関する)計算処理資源を制限する。
【0135】
図9及び10で述べたように、近接音場源の距離ρに対する基準距離Rの選択は、音響周波数の様々な値に対する利得の相違をもたらすことが分かる。事前補償による符号化の方法は、音響デジタル圧縮と組み合わせて、各周波数サブバンドに対する利得の量子化と調整が可能になることが分かる。
【0136】
利点として、本発明は、全種類の音響空間化システムに適用し、特に、“仮想現実”型の用途(三次元空間の仮想場面を介したナビゲーション、三次元音響空間化によるゲーム、インターネット網上で発する“チャット”型の会話)に、インターフェイスの音響装備に、音楽を記録、混合、及び再生するための音響編集ソフトウェアに、適用する。また、更に、ミュージカル又は映画撮影の集音や、あるいは、例えば、音響装備された“ウェブカメラ”用などのインターネットにおける音響雰囲気を送信するための三次元マイクを用いた集音にも適用する。
【図面の簡単な説明】
【0137】
【図1】空間化再生装置による符号化、送信、復号化、及び再生により、仮想音源のシミュレーションによって、信号音を集音し生成するためのシステムを示す概略図。
【図2】強度的に、また、信号が生じる音源の位置的に双方で定義される信号の符号化をより厳密に表す図。
【図3】球座標でのアンビソニック表現に含まれるパラメータを示す図。
【図4】様々な次数の球面調和関数
【数67】
の球座標の基準枠における三次元計量による表現を示す図。
【図5】次数mの連続値の球面ベッセル関数であって、圧力音場のアンビソニック表現に用いられる動径関数jm(kr)の係数における変化を示すグラフ。
【図6】特に低周波での様々な連続次数mに対する近接音場効果による増幅を表す図。
【図7】上記聴覚点(参照P)、上記第1距離(参照ρ)、及び上記第2距離(参照R)に複数のスピーカHPiを含む再生装置を表す概略図。
【図8】本発明に基づく、方向符号化及び距離符号化によるアンビソニック符号化に含まれるパラメータを表す概略図。
【図9】仮想音源の第1距離ρ=1m、及び第2距離R=1.5mに位置するスピーカの事前補償に対してシミュレートされる補償及び近接音場フィルタのエネルギースペクトルを表す図。
【図10】仮想音源の第1距離ρ=3m、及び距離R=1.5mに位置するスピーカの事前補償に対してシミュレートされる補償及び近接音場フィルタのエネルギースペクトルを表す図。
【図11A】本発明に基づく水平面における球面波の補償による近接音場の再現を表す図。
【図11B】図11Aと比較して、音源Sから生じる初期波面を表す図。
【図12】聴覚点から第3距離R2に配置された複数のスピーカを含む再生装置に合わせて、受信され事前補償されたアンビソニック成分を、第2距離として基準距離Rに対する符号化に適応するためのフィルタ処理モジュールを表す概略図。
【図13A】再生時、音源が近接音場で放射する状態で、バイノーラル合成を適用する再生装置を用いて、聴き手に対する音源Mの配置を表す概略図。
【図13B】アンビソニック符号化/復号化が組み合わせられる図13Aのバイノーラル合成の枠組みにおいて近接音場効果による符号化及び復号化のステップを表す概略図。
【図14】本発明に基づき、アンビソニック符号化、等化、及び近接音場補償によって、例示により、球上に配置された複数の圧力センサを含むマイクから生じる信号の処理を表す概略図。
【符号の説明】
【0138】
10・・・仮想場面の記述、11・・・音源の管理、2a・・・基本的寄与の空間的符号化、4・・・音場の操作(回転)、5・・・復号化、1b・・・自然集音、2b・・・音響符号化、3b・・・中間表現フォーマット、6・・・バイノーラル/トランスオーラル。
【特許請求の範囲】
【請求項1】
音響データを処理する方法であって、
a)三次元空間で伝播し基準点(O)から第1距離(ρ)に位置する音源から生じる少なくとも1つの音を表す信号が、前記基準点(O)に対応する原点の球面調和関数の基数で表される成分(Bmnσ)による音の表現を得るように符号化され、
b)近接音場効果の補償が、再生装置による音の再生の場合、再生点(HPi)と聴覚点(P)との間の距離を実質的に定義する第2距離(R)に依存するフィルタ処理によって前記成分(Bmnσ)に適用される方法。
【請求項2】
請求項1に記載の方法であって、前記音源は、基準点(O)から遠方に設置され、
連続次数mの成分が、球面調和関数の前記基数での音の表現用に取得され、
フィルタ(1/Fm)が適用され、その係数は、各々次数mの成分に適用されるが、ベキmの多項式の逆数形式で解析的に表され、その変数は、再生装置のレベルに近接音場効果を補償するように、音響周波数及び前記第2距離(R)に反比例する方法。
【請求項3】
請求項1に記載の方法であって、前記音源は、前記第1距離(ρ)に想定される仮想音源であり、
連続次数mの成分は、球面調和関数の前記基数で音を表現するために取得され、
広域フィルタ(Hm)が適用され、その係数は、各々次数mの成分に適用されるが、分数の形式で解析的に表され、
分子は、ベキmの多項式であり、その変数は、仮想音源の近接音場効果をシミュレートするように、音響周波数及び前記第1距離(ρ)に反比例し、
分母は、ベキmの多項式であり、その変数は、低音響周波数の仮想音源の近接音場効果を補償するように、音響周波数及び前記第2距離(R)に反比例する方法。
【請求項4】
上記請求項の1つに記載の方法であって、
ステップa)及びb)において符号化及びフィルタ処理されたデータは、前記第2距離を表すパラメータ(R/c)と共に再生装置に送信される方法。
【請求項5】
請求項1乃至3の1つに記載の方法であって、再生装置は、記憶媒体を読み取るための手段を含み、
ステップa)及びb)において符号化及びフィルタ処理されたデータは、前記第2距離を表すパラメータ(R/c)と共に、再生装置が読み取る記憶媒体に記憶される方法。
【請求項6】
請求項4及び5の1つに記載の方法であって、
前記聴覚点(P)から第3距離(R2)に配置された複数のスピーカを含む再生装置による音再生の前に、前記第2(R1)及び第3距離(R2)に依存する係数を有する適応フィルタ(Hm(R1/c,R2/c))が、符号化及びフィルタ処理されるデータに適用される方法。
【請求項7】
請求項6に記載の方法であって、
前記適応フィルタ(Hm(R1/c,R2/c))の係数は、各々次数mの成分に適用されるが、分数の形式で解析的に表され、
分子は、ベキmの多項式であり、その変数は音響周波数及び前記第2距離(R)に反比例し、
分母は、ベキmの多項式であり、その変数は音響周波数及び前記第3距離(R2)に反比例する方法。
【請求項8】
請求項2、3及び7の1つに記載の方法であって、ステップb)を実行するために、
偶数次数mの成分に関しては、次数2のカスケード状セル形式の音響デジタルフィルタと、
奇数次数mの成分に関しては、次数2のカスケード状セルと次数1の追加セルとの形式の音響デジタルフィルタと、が提供される方法。
【請求項9】
請求項8に記載の方法であって、次数mの成分の場合、音響デジタルフィルタの係数は、前記ベキmの多項式のベキ根の数値により定義される方法。
【請求項10】
請求項2、3、7、8及び9の1つに記載の方法であって、前記多項式は、ベッセル多項式である方法。
【請求項11】
請求項1、2、及び4乃至10の1つに記載の方法であって、
三次元空間で伝播する少なくとも1つの音を表す前記信号を得るように、実質的に前記基準点(O)に対応する中心を有する球の表面上に実質的に配置されるアレイ状の音響変換器を含むマイクが提供される方法。
【請求項12】
請求項11に記載の方法であって、
広域フィルタが、一方では、前記第2距離(R)の関数として近接音場効果を補償するように、他方では、変換器から生じる信号を等化して前記変換器の方向性の重み付けを補償するように、ステップb)において適用される方法。
【請求項13】
請求項11及び12の1つに記載の方法であって、
球面調和関数の前記基数で音を表すために選択された成分の総数に依存する複数の変換器が提供される方法。
【請求項14】
上記請求項の1つに記載の方法であって、
ステップa)では、成分の総数は、再生時、音の再生が忠実であり成分の総数と共に増加する寸法を有する知覚点(P)周辺の空間領域を得るように、球面調和関数の基数から選択される方法。
【請求項15】
請求項14に記載の方法であって、
成分の前記総数に少なくとも等しい数のスピーカを含む再生装置が提供される方法。
【請求項16】
請求項1乃至5及び8乃至13の1つに記載の方法であって、
聴き手からの選択した距離に配置された少なくとも第1及び第2スピーカを含む再生装置が提供され、
聴き手からの所定の基準距離(R)に位置する音源の空間位置の認識キューが、この聴き手に対して取得され、
ステップb)の補償は、前記基準距離が実質的に第2距離として適用される方法。
【請求項17】
請求項4及び5の1つと組み合わせて選択される請求項1乃至3及び8乃至13の1つに記載の方法であって、
聴き手からの選択した距離に配置された少なくとも第1及び第2スピーカを含む再生装置が提供され、
聴き手からの所定の基準距離(R2)に位置する音源の空間位置の認識キューが、この聴き手に対して取得され、
再生装置による音再生の前に、第2距離(R)及び実質的に基準距離(R2)に依存する係数を有する適応フィルタ(Hm(R/c,R2/c))が、ステップa)及びb)において符号化及びフィルタ処理されるデータに適用される方法。
【請求項18】
請求項16及び17の1つに記載の方法であって、
再生装置は、聴き手のそれぞれの耳用に2つのヘッドホンを備えたヘッドセットを含み、
各ヘッドホンに対して別々に、ステップa)及びb)の符号化及びフィルタ処理は、第1距離(ρ)として、再生される音源の位置(M)から各耳をそれぞれ離間する距離(rR,rL)で、各ヘッドホンに供給すべきそれぞれの信号に関して適用される方法。
【請求項19】
上記請求項の1つに記載の方法であって、ステップa)及びb)において行列系が形成され、前記系には、少なくとも、
球面調和関数の基数での前記成分を含む行列(B)と、
ステップb)のフィルタ処理係数に対応する係数を有する対角行列(対角(1/Fm)と、が含まれ、前記行列は乗算され補償成分
【数1】
の結果行列が得られる方法。
【請求項20】
請求項19に記載の方法であって、
再生装置は、聴覚点(P)から同一の距離(R)に実質的に配置される複数のスピーカを含み、
ステップa)及びb)で符号化及びフィルタ処理された前記データを復号化するために、また、前記スピーカへの供給に適する信号を形成するために、
行列系が、再生装置に特有な、前記結果行列
【数2】
及び所定の復号行列(D)を含んで形成され、
行列(S)が、補償成分
【数3】
と前記復号行列(D)の乗算によりスピーカ供給信号を表す係数を含んで得られる方法。
【請求項21】
実質的に球の表面に配置されたアレイ状音響変換器が備えられたマイクを含む集音装置であって、前記装置には、更に、処理ユニットが含まれ、前記処理ユニットは、
変換器が発する各信号を受信し、
前記球(O)の中心に対応する原点の、球面調和関数の基数で表された成分(Bmnσ)による音の表現を得るように前記信号に符号化を適用し、
一方では、球の半径(r)に対応する距離に依存し、他方では、基準距離(R)に依存するフィルタ処理を前記成分(Bmnσ)に適用するように、構成されることを特徴とする装置。
【請求項22】
請求項21に記載の装置であって、
前記フィルタ処理は、一方では、前記変換器の方向性の重み付けを補償するように、変換器から生じる信号を球の半径の関数として等化すること、また、他方では、音の再生の場合、再生点(HPi)と聴覚点(P)との間の距離を実質的に定義する選択された基準距離(R)の関数として近接音場効果を補償すること、に存することを特徴とする装置。
【請求項1】
音響データを処理する方法であって、
a)三次元空間で伝播し基準点(O)から第1距離(ρ)に位置する音源から生じる少なくとも1つの音を表す信号が、前記基準点(O)に対応する原点の球面調和関数の基数で表される成分(Bmnσ)による音の表現を得るように符号化され、
b)近接音場効果の補償が、再生装置による音の再生の場合、再生点(HPi)と聴覚点(P)との間の距離を実質的に定義する第2距離(R)に依存するフィルタ処理によって前記成分(Bmnσ)に適用される方法。
【請求項2】
請求項1に記載の方法であって、前記音源は、基準点(O)から遠方に設置され、
連続次数mの成分が、球面調和関数の前記基数での音の表現用に取得され、
フィルタ(1/Fm)が適用され、その係数は、各々次数mの成分に適用されるが、ベキmの多項式の逆数形式で解析的に表され、その変数は、再生装置のレベルに近接音場効果を補償するように、音響周波数及び前記第2距離(R)に反比例する方法。
【請求項3】
請求項1に記載の方法であって、前記音源は、前記第1距離(ρ)に想定される仮想音源であり、
連続次数mの成分は、球面調和関数の前記基数で音を表現するために取得され、
広域フィルタ(Hm)が適用され、その係数は、各々次数mの成分に適用されるが、分数の形式で解析的に表され、
分子は、ベキmの多項式であり、その変数は、仮想音源の近接音場効果をシミュレートするように、音響周波数及び前記第1距離(ρ)に反比例し、
分母は、ベキmの多項式であり、その変数は、低音響周波数の仮想音源の近接音場効果を補償するように、音響周波数及び前記第2距離(R)に反比例する方法。
【請求項4】
上記請求項の1つに記載の方法であって、
ステップa)及びb)において符号化及びフィルタ処理されたデータは、前記第2距離を表すパラメータ(R/c)と共に再生装置に送信される方法。
【請求項5】
請求項1乃至3の1つに記載の方法であって、再生装置は、記憶媒体を読み取るための手段を含み、
ステップa)及びb)において符号化及びフィルタ処理されたデータは、前記第2距離を表すパラメータ(R/c)と共に、再生装置が読み取る記憶媒体に記憶される方法。
【請求項6】
請求項4及び5の1つに記載の方法であって、
前記聴覚点(P)から第3距離(R2)に配置された複数のスピーカを含む再生装置による音再生の前に、前記第2(R1)及び第3距離(R2)に依存する係数を有する適応フィルタ(Hm(R1/c,R2/c))が、符号化及びフィルタ処理されるデータに適用される方法。
【請求項7】
請求項6に記載の方法であって、
前記適応フィルタ(Hm(R1/c,R2/c))の係数は、各々次数mの成分に適用されるが、分数の形式で解析的に表され、
分子は、ベキmの多項式であり、その変数は音響周波数及び前記第2距離(R)に反比例し、
分母は、ベキmの多項式であり、その変数は音響周波数及び前記第3距離(R2)に反比例する方法。
【請求項8】
請求項2、3及び7の1つに記載の方法であって、ステップb)を実行するために、
偶数次数mの成分に関しては、次数2のカスケード状セル形式の音響デジタルフィルタと、
奇数次数mの成分に関しては、次数2のカスケード状セルと次数1の追加セルとの形式の音響デジタルフィルタと、が提供される方法。
【請求項9】
請求項8に記載の方法であって、次数mの成分の場合、音響デジタルフィルタの係数は、前記ベキmの多項式のベキ根の数値により定義される方法。
【請求項10】
請求項2、3、7、8及び9の1つに記載の方法であって、前記多項式は、ベッセル多項式である方法。
【請求項11】
請求項1、2、及び4乃至10の1つに記載の方法であって、
三次元空間で伝播する少なくとも1つの音を表す前記信号を得るように、実質的に前記基準点(O)に対応する中心を有する球の表面上に実質的に配置されるアレイ状の音響変換器を含むマイクが提供される方法。
【請求項12】
請求項11に記載の方法であって、
広域フィルタが、一方では、前記第2距離(R)の関数として近接音場効果を補償するように、他方では、変換器から生じる信号を等化して前記変換器の方向性の重み付けを補償するように、ステップb)において適用される方法。
【請求項13】
請求項11及び12の1つに記載の方法であって、
球面調和関数の前記基数で音を表すために選択された成分の総数に依存する複数の変換器が提供される方法。
【請求項14】
上記請求項の1つに記載の方法であって、
ステップa)では、成分の総数は、再生時、音の再生が忠実であり成分の総数と共に増加する寸法を有する知覚点(P)周辺の空間領域を得るように、球面調和関数の基数から選択される方法。
【請求項15】
請求項14に記載の方法であって、
成分の前記総数に少なくとも等しい数のスピーカを含む再生装置が提供される方法。
【請求項16】
請求項1乃至5及び8乃至13の1つに記載の方法であって、
聴き手からの選択した距離に配置された少なくとも第1及び第2スピーカを含む再生装置が提供され、
聴き手からの所定の基準距離(R)に位置する音源の空間位置の認識キューが、この聴き手に対して取得され、
ステップb)の補償は、前記基準距離が実質的に第2距離として適用される方法。
【請求項17】
請求項4及び5の1つと組み合わせて選択される請求項1乃至3及び8乃至13の1つに記載の方法であって、
聴き手からの選択した距離に配置された少なくとも第1及び第2スピーカを含む再生装置が提供され、
聴き手からの所定の基準距離(R2)に位置する音源の空間位置の認識キューが、この聴き手に対して取得され、
再生装置による音再生の前に、第2距離(R)及び実質的に基準距離(R2)に依存する係数を有する適応フィルタ(Hm(R/c,R2/c))が、ステップa)及びb)において符号化及びフィルタ処理されるデータに適用される方法。
【請求項18】
請求項16及び17の1つに記載の方法であって、
再生装置は、聴き手のそれぞれの耳用に2つのヘッドホンを備えたヘッドセットを含み、
各ヘッドホンに対して別々に、ステップa)及びb)の符号化及びフィルタ処理は、第1距離(ρ)として、再生される音源の位置(M)から各耳をそれぞれ離間する距離(rR,rL)で、各ヘッドホンに供給すべきそれぞれの信号に関して適用される方法。
【請求項19】
上記請求項の1つに記載の方法であって、ステップa)及びb)において行列系が形成され、前記系には、少なくとも、
球面調和関数の基数での前記成分を含む行列(B)と、
ステップb)のフィルタ処理係数に対応する係数を有する対角行列(対角(1/Fm)と、が含まれ、前記行列は乗算され補償成分
【数1】
の結果行列が得られる方法。
【請求項20】
請求項19に記載の方法であって、
再生装置は、聴覚点(P)から同一の距離(R)に実質的に配置される複数のスピーカを含み、
ステップa)及びb)で符号化及びフィルタ処理された前記データを復号化するために、また、前記スピーカへの供給に適する信号を形成するために、
行列系が、再生装置に特有な、前記結果行列
【数2】
及び所定の復号行列(D)を含んで形成され、
行列(S)が、補償成分
【数3】
と前記復号行列(D)の乗算によりスピーカ供給信号を表す係数を含んで得られる方法。
【請求項21】
実質的に球の表面に配置されたアレイ状音響変換器が備えられたマイクを含む集音装置であって、前記装置には、更に、処理ユニットが含まれ、前記処理ユニットは、
変換器が発する各信号を受信し、
前記球(O)の中心に対応する原点の、球面調和関数の基数で表された成分(Bmnσ)による音の表現を得るように前記信号に符号化を適用し、
一方では、球の半径(r)に対応する距離に依存し、他方では、基準距離(R)に依存するフィルタ処理を前記成分(Bmnσ)に適用するように、構成されることを特徴とする装置。
【請求項22】
請求項21に記載の装置であって、
前記フィルタ処理は、一方では、前記変換器の方向性の重み付けを補償するように、変換器から生じる信号を球の半径の関数として等化すること、また、他方では、音の再生の場合、再生点(HPi)と聴覚点(P)との間の距離を実質的に定義する選択された基準距離(R)の関数として近接音場効果を補償すること、に存することを特徴とする装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図12】
【図13B】
【図14】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図12】
【図13B】
【図14】
【公表番号】特表2006−506918(P2006−506918A)
【公表日】平成18年2月23日(2006.2.23)
【国際特許分類】
【出願番号】特願2004−554598(P2004−554598)
【出願日】平成15年11月13日(2003.11.13)
【国際出願番号】PCT/FR2003/003367
【国際公開番号】WO2004/049299
【国際公開日】平成16年6月10日(2004.6.10)
【出願人】(591034154)フランス テレコム ソシエテ アノニム (290)
【Fターム(参考)】
【公表日】平成18年2月23日(2006.2.23)
【国際特許分類】
【出願日】平成15年11月13日(2003.11.13)
【国際出願番号】PCT/FR2003/003367
【国際公開番号】WO2004/049299
【国際公開日】平成16年6月10日(2004.6.10)
【出願人】(591034154)フランス テレコム ソシエテ アノニム (290)
【Fターム(参考)】
[ Back to top ]