説明

オーディオ信号処理方法および装置

【課題】畳み込みプロセスの全体的品質は実質的に維持しながら、畳み込みシステム全体の処理要求量を削減する。
【解決手段】リスナ周辺の所定の位置に置かれた一連の仮想オーディオ音源を表す一連の入力オーディオ信号を処理し縮小したオーディオ出力信号集合を生成し、リスナ周辺のスピーカ装置上で再生される方法であって、入力オーディオ信号を対応するインパルス応答のはじめの先頭部分と畳み込み、対応する仮想オーディオ源のインパルス応答に対する初期音および早期反射を対応するスピーカ装置に、マッピングし一連の初期応答を形成する、オーディオ出力信号から結合混合を形成する、対応するインパルス応答の末尾から結合した畳み込み末尾を形成する、結合合成を結合畳み込み末尾と畳み込み、結合末尾応答を形成する、オーディオ出力信号ごとに対応する一連の初期応答と対応する結合末尾応答を結合し、オーディオ出力信号を形成する。

【発明の詳細な説明】
【技術分野】
【0001】
本出願人によって出願された「高精度且つ高効率のディジタルフィルタ」と題する国際PCT出願第PCT/AU93/00330号には、詳細なインパルス応答関数の効果的で長い畳み込みを可能にすることに加え極めて低いレイテンシを有する畳み込みのプロセスが開示されている。
【0002】
インパルス応答関数の畳み込みを用いてオーディオ信号に「色」を加え、例えば、ヘッドホン上で再生する際、信号によって「頭の外から」のリスニング体験が得られることは公知である。遺憾ながら、高速フーリエ返還(FFT)のような高度なアルゴリズム技術を使用しながらも畳み込みプロセスは、計算時間を過度に必要とすることがしばしばある。サラウンド音の全容量が必要となるときにはよくあることであるが、多チャネルを独立して畳み込ませる必要がある場合、計算要求量が増大することがある。畳み込みのレイテンシ(latency)に対してリアルタイム制限を課している場合は特にそうであるが、最新DSPプロセッサは信号の完全な畳み込みのための資源を提供できないことがある。
【発明の開示】
【発明が解決しようとする課題】
【0003】
従って、畳み込みプロセスの全体的品質は実質的に維持しながら、畳み込みシステム全体の処理要求量を削減しようという一般的な必要性がある。
【課題を解決するための手段】
【0004】
本発明の第一態様に基づき、リスナ周辺の所定の位置に配置した一連の仮想音源を表す一連の入力オーディオ信号を処理して削減したオーディオ出力信号集合を生成し、リスナ周辺に配置したスピーカで再生する方法が提供されている。この方法は、(a)各入力オーディオ信号および各オーディオ出力信号について(i)入力オーディオ信号を対応する仮想オーディオ源のインパルス応答のはじめの音および早期反射を実質的に対応するスピーカ装置にマッピングする対応するインパルス応答の初期ヘッド部と畳み込みするステップと、(b)入力オーディオ信号のそれぞれおよびオーディオ出力信号のそれぞれについて(i)オーディオ入力信号から結合ミックスを形成するステップと、(ii)単一畳み込みテールを決定するステップと、(iii)結合ミックスを単一畳み込みテールと畳み込んで結合テール応答を形成するするステップと、(c)オーディオ出力信号のそれぞれについて(i)対応する一連の初期応答と対応する結合テール応答とを結合しオーディオ出力信号を形成するするステップとで構成する。単一の畳み込みテールは、対応するインパルス応答のテールを結合することによって形成することができる。または、単一の畳み込みテールは仮想スピーカテールインパルス応答の選択した一つとすることができる。理想的には、この方法はさらに(a)対応するインパルス応答関数集合を構築すること(b)インパルス応答関数を多数のセグメントに分割すること(c)所定数のセグメントに対しては、セグメントの端部においてインパルス応答値を低減することによってインパルス応答関数を前処理するステップを含む。
【0005】
入力オーディオ信号は周波数領域に変換し、畳み込みは周波数領域において実行することが望ましい。ゼロにしたより高い周波数係数を使用することが好ましい場合には、より高い周波数係数をゼロにし、乗算ステップを除去することによって、周波数領域においてインパルス応答関数簡略化が可能である。
【0006】
畳み込みは、低レイテンシの畳み込みプロセスを用いて実行することが好ましい。低レイテンシの畳み込みプロセスは、入力オーディオ信号の所定の第一ブロックサイズ部分を対応する周波数領域入力関数ブロックに変換するステップと、インパルス応答信号所定の第二ブロックサイズ部を対応する周波数領域インパルス係数ブロックに変換するステップと、周波数領域入力係数ブロックのそれぞれを対応する周波数領域インパルス係数ブロックの所定のもので所定の方法で結合し、結合した出力ブロックを生成するステップと、結合した出力ブロックの所定のものを纏めて付加し、オーディオ出力信号のそれぞれに対し周波数領域出力応答を生成するステップと、周波数領域出力応答を対応する時間領域オーディオ出力信号に変換するステップと、および時間領域オーディオ出力信号を出力するステップとを含むことができることが好ましい。
【0007】
本発明の別態様に基づき、リスナ周辺の所定の位置に配置した一連の仮想音源を表す一連の入力オーディオ信号を処理して削減したオーディオ出力信号集合を生成し、リスナ周辺に配置したスピーカで再生する方法が提供されている。この方法は、(a)対応するスピーカ装置に対応する仮想オーディオ源を実質的にマッピングする一連のインパルス応答関数を生成するステップと、(b)インパルス応答関数をたくさんのセグメントに分割するステップと、(c)所定の数のセグメントがセグメントの端部においてインパルス応答値を低減させ、変更したインパルス応答を生成するステップスと、(d)入力オーディオ信号のそれぞれおよびオーディオ出力信号のそれぞれが(i)対応する仮想オーディオ音源を対応するスピーカ装置にマッピングする対応する修正インパルスの応答部分に入力オーディオ信号を畳み込みするステップとからなる。
【0008】
本発明の別の態様に基づき、種々の第一音源からオーディオ信号を表す多数のオーディオ信号を同時に畳み込み、オーディオ環境を第二の一連の出力音源から擬似化し投影することを可能とする方法が提示してある。第二の一連の出力音源は、(a)オーディオ環境におかれたとき、第一音源を実質的にマッピングするインパルス応答関数の第一のはじめの部分で多重オーディオ信号の夫々を独立してフィルタ処理するステップ、および(b)インパルス応答関数の後の部分から形成される残響テールフィルタで多重オーディオ信号の残響テールフィルタ処理を可能とするステップからなる。
【0009】
フィルタ処理は周波数領域における畳み込みを介して行うことが可能であり、オーディオ信号は周波数領域にはじめに変換されることが好ましい。一連の入力オーディオ信号は左前チャネル信号、右前チャネル信号、前中央チャネル信号、左後チャネル信号および右後チャネル信号を含むことが可能である。オーディオ出力信号は左右の出力信号を含むことができる。
【0010】
本発明は多数の異なる方法で実施することが可能である。例えば、CD−ROMプレーヤ・ユニット内に配置するスキップ防止プロセッサ・ユニットを利用すること、修正形態のディジタル/アナログコンバータからなる専用集積回路を利用すること、専用またはプログラム可能なディジタル信号プロセッサを利用すること、または、アナログ/ディジタルコンバータとディジタル/アナログコンバータとの間を相互接続したDSPプロセッサを利用することである。あるいは、本発明は音出力信号生成器の中央に接続する別々に分離可能外部装置および一対のヘッドホンを用いて実行することが可能であり、この音出力信号はディジタル形態に出力され外部装置によって処理される。
【0011】
別の修正は、可変制御を用いてインパルス応答関数を所定の方法で変更することを含むことができる。
本発明の範囲内に該当する形態は他にもあるが、これより、添付図面を参照しながら本発明の好適な形態を見本としてのみ説明することとする。
【0012】
好適および他の実施例の説明
好適実施例においては、一連の入力信号の最大長の畳み込みを各耳用のインパルス応答関数に近似させ、出力が左右の耳に合計されヘッドホン上で再生されることが望ましい。
【発明を実施するための最良の形態】
【0013】
図1を参照すると、それぞれをまとめて2で表記してあるが、左前、中央前、右前、左サラウンド、右サラウンドおよび低周波数効果チャネルからなる信号の6個の入力ドルビーサラウンド音集合の全畳み込みプロセスが示されている。各チャネルに対して、左および右インパルス応答関数が用いられている。したがって、左前チャネル3に対しては、対応する左前インパルス応答関数4が左の信号と畳み込まれる6。左前インパルス応答関数4は、理想的な位置に置かれた左前チャネルスピーカから出力される理想的なスパイクに対する左耳が受け取るインパルス応答である。出力7はヘッドホンの左チャネル信号に合計される10。
【0014】
同様に、左チャネルスピーカの右耳用の対応するインパルス応答5は、左前信号と畳み込みされて(8)出力9を生成し、右チャネルに合計される11。他の信号のそれぞれにも同様なプロセスを行う。
したがって、図1の構成は6個の入力信号に対しほぼ12の畳み込みステップを必要とする。このように大きな数の畳み込みは、所望の長い畳み込みが使用される場合に特にそうであるが、DSPチップにとって極めて厄介になる可能性がある。
【0015】
ここで図2を参照すると、標準的な「オーバーラップおよびセーブ」畳み込みプロセスが示されている。これは、ジョンプロアキスおよびディミティスマノラキス、マクミラン出版社(John Proakis and Dimitis Manolakis、McMilan Publishing Company)による、1992年の「ディジタル信号処理」のような標準的なテキストに十全に掲載されている。
【0016】
図2に示されている伝統的なオーバーラップおよびセーブ方法においては、入力信号21はディジタル化され、Nサンプルブロック22に分けられる。Nは通常、2の累乗である。同様に、長さNのインパルス応答23は、通常は所望の環境測定値を取ることによって決定され、長さ2Nになるようゼロ挿入される。第一マッピング24をインパルス応答23の2Nブロックに行い、実係数および虚係数を有するN個の複素数を形成する。次にFFTを用いてN個の周波数係数を生成する。ステップ24は処理開始前に一度実行し、対応する周波数領域係数25を格納しておいて、後で使用することが可能である。
【0017】
次に、入力オーディオの長さ2Nのブロックを受け、再び高速フーリエ変換を用いて2N個の実入力値に対応する対応周波数領域データ28を決定する。次に、データの二つの集合をエレメントごとに乗算30し、周波数領域データ31を生成する。次に、逆フーリエ変換を行い2N個の実数値を生成し、第一のN個34が廃棄され、第二のN個35が出力オーディオの出力値36となる。図2に例示されたプロセスは、標準の周波数領域畳み込みプロセスとして公知である。しかしながら、遺憾なことには、入力データをブロックに集める必要があるために、さらにFFTプロセスが有限の時間がかかるために、Nの値によっては(処理時間は、O(NlogN)である)、はじめの2N個の入力値が最初のFFT27に入力されるときから、逆FFT32からのその後の出力までの間に一定のレイテンシすなわち遅延が出る。この遅延すなわちレイテンシは時には、リアルタイム要求を満たす必要がある場合は特にそうであるが、極めて望ましくない。
【0018】
前述のPCT出願第PCT/AU93/00330において、リアルタイム使用に好適なきわめて低いレイテンシの畳み込みプロセスを可能とする方法が開示されていた。前述のPCT明細書を参照し、FFT周波数領域オーバーラッププロセス41によってオーディオ入力がまず周波数領域に変換される低レイテンシプロセスの基本ステップ40を例示する図3を参照しながら、これより、低レイテンシプロセスについて短く論じることにする。周波数領域データは格納され42、次に、各畳み込み「サイクル」の後、次の格納ブロック、例えば43、44に渡される。周波数領域データ、例えば42は、まず、インパルス応答関数の最初の部分に対応する対応周波数領域係数51と要素ごとに乗算50する。
【0019】
同時に、以前に遅延された周波数領域データ43をインパルス応答関数の後の部分に対応する周波数領域係数53と乗算する(54)。このステップは、残りのインパルス応答関数にも繰り返して行う。出力はエレメントごとに合計56して、全ての周波数領域データを生成し、逆高速フーリエ変換し、データの半分を廃棄57してオーディオ出力58を生成する。図3の構成によって、きわめて長い畳み込みを低レイテンシで行うことが可能となる。
【0020】
図3の全般的なプロセスを用いて図1と同等の全般的なプロセスを行うことが可能である。これは図4に示されている。そこでは、6個の入力チャネル、例えば60の夫々がFFTオーバーラッププロセス61を用いて最初に周波数領域に変換される。次に、各チャネルは、周波数領域において、インパルス応答関数に対応する周波数領域係数と結合62される。また、周波数領域プロセス62は、周波数成分を足し合わせ、左および右出力64、65を形成することを含むこともできる。最後に、逆周波数領域廃棄プロセス66、67を用いて、左および右チャネル出力を生成する。
【0021】
必要な畳み込み数を簡略化することによって、計算要求量をかなり削減することができる。
ここで図5を参照すると、好適実施例において実行された簡略化の一形態が示されている。そこでは、中央チャネル70は利得因数71を乗算され、左および右チャネルに夫々加算72、73される。同様に、低周波数効果チャネル71の部分が他のチャネルの夫々に加算される。
【0022】
次に、これらの信号をフーリエ変換オーバーラッププロセッサ75、78にかける。計算集約的なフーリエ変換プロセスを行うチャネルの数は6から4に削減される。次に、フーリエ領域プロセス84を用いて出力79、89を生成し、そこから逆フーリエ変換および廃棄プロセス82、83を用いて左右のチャネルを残す。
ここで図6を参照すると、左耳について図5のプロセスの理想的な最終結果の全体が概略的に示されている。そこでは、4つの入力信号90が夫々対応する最大長の有限インパルス応答フィルタ91ないし94にかけられ、その後、合計95されて対応する出力信号96を形成する。遺憾なことに、高レベルのリアルさを得るためには、きわめて長いインパルス応答関数をしばしば利用しなければならない。例えば、およそ7,000タップのタップ長のインパルス応答関数は、標準的な48KHzオーディオ信号にはまれではない。図6の構成では、ここでもまた、過度の計算要求はフィルタの長さを延ばす結果となる。
【0023】
インパルス応答係数の詳細の分析およびある実験は、音源の正確な位置確認に必要な手がかりの全ては直接および最初の数次の反射の時間内に含まれており、インパルス応答の残りは、音響環境の「サイズ」および「活気」を強調するのに必要なだけであるということを示している。この観察を用いると応答(例えば最初の1024個のタップ)のそれぞれの直接的または「ヘッド(先頭)」部分を反饗または「テール」部分から分けることが可能である。「テール」(tail,末尾)部分は全て合計することが可能であり、得られたフィルタは個々の入力信号の合計で励起することが可能である。この簡略実施を図7に概略的に示す100。ヘッドフィルタ101ないし104は、短い1024タップフィルタであることが可能であり、信号は合計105され、およそ6000タップを有することができる拡大テールフィルタに供給され、結果は合計109されて出力される。右耳に対しこのプロセスを繰り返す。結合したテールを使用することにより、二つの方法で計算要求量が削減される。第一に、リアルタイムに計算する必要のある畳み込み合計の項数の明らかな削減がある。この削減は入力チャネルの数の倍数による。第二に、テールフィルタ計算の計算レイテンシは、テールフィルタの最初のタップを各ヘッドフィルタの最後のタップと揃えるのに十分な短さであればよい。オーバーラップ/加算、オーバーラップ/セーブまたは、前述のPCT出願の低レイテンシ畳み込みアルゴリズムのようなブロックフィルタ実施技法を用いた場合、このことは、任意的に、より大きなブロックを用いれば、テールをヘッドよりも低いフレームレートで実施することが可能であることを意味している。
【0024】
ここで図8を参照すると、図7の結合テールシステムを実施する際の周波数領域処理の全体のフローチャートが詳細に示されている。図8の構成110は、図5における84のような周波数領域プロセスとして動作することを意図している。全体システムは、総和111および112を含み、夫々左チャネルおよび右チャネルに出力する。4個の入力は前左、前右、後左および後右であり、左右対称に処理され、最初の入力は遅延格納ブロック113に格納され、インパルス応答の最初の部分から導出される周波数領域係数115を乗算され114、出力は加算機111に向かう。右チャネルも対称的に処理し、右チャネル出力を生成するが、ここではこれ以上は論じない。
【0025】
「サイクル」後、遅延したブロック113を遅延ブロック120に送る。これはデータブロックポインタの単なる再マッピングでもよいことはDSPプログラミング技術の当業者には明らかであろう。次のサイクルの間、係数121がブロック120内のデータと乗算122され、出力は左チャネル加算器111に送られる。係数115および121の二つの集合はインパルス応答関数のヘッド部分に対応する。各チャネルは左および右の出力チャネル毎に個別化されたヘッド関数を有する。
【0026】
遅延ブロック120,125,126および127からの出力を加算器130に送り、合計を遅延ブロック131に格納する。遅延ブロック131およびその後の遅延ブロック、例えば132,133は、結合テールフィルタを実装し、遅延ブロック131に格納された第一セグメントは係数137を乗算136されて、左チャネル合計111に送られる。次のサイクルにおいては、遅延サイクル131はブロック132に送られ、残りの遅延ブロック、例えば133について実行したのと同様のプロセスが実行される。ここでもまた、右チャネルは対称的に処理される。
【0027】
好適実施例の構築において用いられるたくさんのインパルス応答関数またはその部分があることは、前述の論述から明らかであろう。これより、最初は図9を参照しながら、周波数領域係数ブロックの生成のプロセスの最適化についてさらに論じる。要求される周波数領域係数を決定するために、インパルス応答140を長さNの多数のセグメント141に分割する。各セグメントに追加的なN個の値ゼロのデータ値を挿入142してから、N個の複素データに対するFFTマッピングを適用143して値をN個の周波数領域係数144に変換する。このプロセスを繰り返してその後の周波数領域係数145,146,147を得ることができる。
【0028】
図9のセグメント分割プロセスを用いることにより、不自然に高い周波数成分が生じる可能性がある。これは、セグメント分割プロセスおよびその高速フーリエ変換との相互作用の直接の結果である。高速フーリエ変換は、端のデータ値における不連続を近似する周波数成分を生じねばならないのである(FFTはデータサイズで割った余りについては周期的である)。結果として得られるFFTは、実質的にこの不連続の結果として存在する極めて高い周波数成分を有することがよくある。好適実施例においては、本プロセスは、ゼロである周波数領域成分の集合のためにかなりの量の計算が廃棄できるところまで高周波数成分を削減するように行うことが望ましい。帯域の限られた周波数領域係数ブロックを作成するこのプロセスを、図10を参照しながら論じる。
【0029】
最初のインパルス応答150をここでも長さNのセグメント151に分割する。次に、各セグメントを長さ2Nになるよう挿入152する。次に、データ152に漸進的端部156,167を含む「ウインドウイング(windowing)」関数153を乗算する。前記の二つの端部は、データシーケンス151の端をゼロの値にマッピングする一方、その間では情報を保持するように設計する。得られた出力159は点160,161ではゼロの値を含む。次に、出力159は実FFTプロセスにかけられ、廃棄可能ないくつかのごく小さい成分166に加えてフーリエ変換のより低い周波数領域においていくつかのより大きな係数167を有する周波数領域係数165を生成する。したがって、インパルス応答データの対応部分を表す周波数領域成分として、周波数領域成分の最終的な部分集合169が用いられる。
【0030】
成分166を廃棄することは、畳み込みプロセス中は、限られた形態の畳み込み処理を実行するだけでよく、N個の複素係数の全集合の乗算することは不必要であるということを意味している。N個の複素係数のかなりの部分は0だからである。これはまた、畳み込みプロセスの計算必要量が限定されることにおいて効率性利得を高めることになる。さらに、係数廃棄の結果、データおよび係数格納のいずれも削減することができるという事実を利用することによって、アルゴリズムのメモリ要求量の大幅削減が可能になる。
【0031】
好適実施例では、Nは512に等しく、ヘッドフィルタは長さが1024タップであり、テールフィルタは長さが6144タップである。したがって、ヘッドフィルタはそれぞれ二つのブロックの係数から構成され(図8に示すように)、テールフィルタはそれぞれ12ブロックの係数から構成される。本好適実施例では、全てのヘッドフィルタおよび各テールフィルタの最初の4ブロックは、係数フーリエ変換の完全な集合を用いて実装され、各テールフィルタの次の4ブロックは、周波数成分の低い方の半分だけが存在する係数ブロックを用いて実装され、さらに、各テールフィルタの最後の4ブロックは、周波数成分の低い方の1/4だけが存在する係数ブロックを用いて実装される。
【0032】
好適実施例は、より高い周波数のオーディオ入力を用いるが、低い周波数の計算要求を維持することが望ましい状況にも広げることができる。例えば、ディジタルサンプル用に96KHzのサンプルレートを採用することは現在、当業界では通常のことであり、従って、やはりこのレートでサンプリングされたインパルス応答の畳み込みを可能とすることが望ましい。図11を参照すると、より低いインパルス応答サンプルレートを用いた拡大の一形態が示してある。本構成においては、96KHzのレートの入力信号170は遅延したバッファ171に送られる。入力信号はまた、低域通過(ローパス)フィルタ処理され172、次に、2対1で48KHzのレートにまで間引かれ173、それが次に、先に概略を記したシステムに基づいてFIRフィルタ処理される。その上で、サンプルレートが2倍にされ175、これに低域通過フィルタ176が続く。低域通過フィルタ176を出た信号は、遅延バッファ171から送られたもとから遅延した入力信号に予め利得因子Aを乗算したものに加算される177。加算器177の出力が、畳み込みされたディジタル出力を形成する。
【0033】
通常は、所望の96KHzインパルス応答をh96(t)と表すとすると、h48(t)と表される48KHzFIR係数は、LowPass[h96(t)]から導出可能である。この表記は、元のインパルス応答h96(t)が低域通過(ローパス)フィルタ処理されることを意味することを意図している。しかしながら、図11の改良された方法においては、所望の応答をh96(t)と表記し、遅延インパルス応答をΑ・δ(t−τ)と表記すると、h48(t)と表記される48KHzFIR係数は、LowPass[h96(t)‐ A・δ(t−τ)]から導出可能である。利得エレメント178から得られる信号が正しい到達時間および大きさを有し、96KHz音響インパルス応答の直接到達部において求められる高周波数成分を生成するように、遅延因子τおよび利得因子Aの選択を行う。また、遅延および利得という構成を使用する代わりに、疎なFIRを用いて、多数の広帯域および周波数形状のエコーを生成することができる。
【0034】
したがって、本好適実施例は、全畳み込みシステムの多数の特性を保ちながら、計算量は低減した畳み込みシステムを提供することが理解される。
本好適実施例は、ドルビープロロジック、ディジタル(AC−3)およびDTSのような多チャネルディジタル入力信号またはサララウンド音入力信号を取り込み、一組以上のヘッドホンを用いて出力する。前述の技術を用いて入力信号を両耳処理し、ヘッドホンを通じて広範囲なソース材料に関するリスニング体験を向上させ、それにより「頭の外から」聞こえるようにし、サラウンド音をますます聞くようにすることが可能である。
【0035】
このような頭の外からの効果が得られる処理技術があれば、多数の異なる実施例を用いて処理を受け継ぐシステムを提供することができる。例えば、できるだけたくさんの物理的な実施例が可能であり、最終結果は、アナログまたはディジタル信号処理技術あるいは、両方の組み合わせを利用して実行することができる。
純ディジタル実施においては、入力データはディジタル的に時間サンプルされた形式で得られると想定される。コンパクトディスク(CD)、ミニディスク、ディジタルビデオディスク(DVD)またはディジタルオーディオテープ(DAT)のようなディジタルオーディオ装置の部分として実施例を実施する場合、入力データは既にこの形態において利用可能である。ユニットがそれ自体で物理的装置として実施される場合、そのユニットは、ディジタルレシーバを含むことができる(SPDIFまたは光学または電気的な同様のもの)。アナログ入力信号だけが利用可能なように本発明を実施する場合、アナログ信号はアナログ/ディジタルコンバータ(ADC)を用いてディジタル化する必要がある。
【0036】
次に、ディジタル入力信号を何らかの形態のディジタル信号プロセッサ(DSP)によって処理する。使用可能なDSPの例は以下の通り。
【0037】
1.当該タスク専用のDSPとして設計されたセミカスタムまたはフルカスタムの集積回路。
2.プログラム可能なDSPチップ、例えばモトローラDSP56002。3.一つ以上のプログラム可能な論理装置。
【0038】
特定のヘッドホンセットで実施例を使用する場合、インパルス応答関数のフィルタ処理を用いてそれらのヘッドホンの望まれない周波数応答特性を補償することが可能である。
処理後、ディジタル/アナログコンバータ(DAC)を使用してステレオディジタル出力信号をアナログ信号に変換し、必要に応じ増幅し、さらに、おそらくは他の回路を介して、ステレオヘッドホン出力に導く。この最終段階は、実施例が内蔵されている場合はオーディオ装置の内部で、また、実施例が別個の装置として実施される場合は、別個の装置の一部として行われる。
【0039】
ADCおよび/またはDACもまたプロセッサとして同じ集積回路に組み込むことも可能である。処理の一部または全部をアナログ領域で行うように実施例を実装することもまた可能である。実施例は「バイノーラライザ(binauraliser)」効果のスイッチを入れたり切ったりする何らかの方法を有することが望ましく、種々のヘッドホンセット用のイコライザ設定間でのスイッチング方法またはおそらく出力ボリュームを含む、実行される処理の他のバリエーションの制御方法を組み込むことが可能である。
【0040】
図12に示された第一の実施例において、処理ステップが、スキップ防止ICに替わるものとしてポータブルCDまたはDVDプレーヤに組み込まれている。現在入手可能なCDプレーヤの多くは、CDから読み取ったデータをランダムアクセスメモリにバッファリングする「スキップ防止」機能を有している。「スキップ」が検出されると、すなわちユニットがトラックから外れる機構によってオーディオの流れが中断すると、ユニットはRAMからのデータを再生している間にCDからのデータを読み取り直すことが可能である。このスキップ防止は、オンチップRAMを有する専用DSPまたはRAMが外付けの専用DSPとして時々実施される。
【0041】
本実施例は、現行デザインの最低限の変更でスキップ防止プロセッサに替わるものとして使用できるように実装される。この実装はフルカスタム集積回路としておそらくは実現可能であり、現行のスキップ防止プロセッサおよび「頭の外から」処理の実行の両方の機能を果たすことができよう。スキップ防止用に既に含まれているRAMの一部を用いて「頭の外から」アルゴリズムを走らせ、HRTF型の処理をすることができる。スキップ防止プロセッサの構築要素の多くは、本発明に記載されている処理にも使用される。かかる構成の例は、図12に示されている。
【0042】
この実施例においては、カスタムDSP200は、CDまたはDVDプレーヤ202内のスキップ防止DSPに替わるものとして備えられている。カスタムDSP200はディスクからの入力データを受け、ステレオ信号をディジタル/アナログコンバータ201に出力し、該ディジタル/アナログコンバータ201はアナログ出力を与え、そのアナログ出力が増幅されて204,205左および右のスピーカ出力を与える。カスタムDSPは必要に応じて基板上のRAM206または外部RAM207を備えることができる。バイノーラライザ(binauralizer)効果を入れたり切ったりするためのバイノーラライザスイッチ28を備えることができる。
【0043】
図13に示された第二の実施例においては、本処理は、DACに替わるものとして(CD、ミニディスク、DVD,またはDATプレーヤのような)ディジタルオーディオ装置210に組み込まれている。この実装においては、DACを組み込んだ専用集積回路211によって信号処理が行われる。これは、集積回路は現行のDACと実質上ピン互換性がありうるので、現行デザインには小さな変更を加えるだけで、ディジタルオーディオ装置に容易に組み入れることができる。
【0044】
カスタムIC211は基板上のDSPコア212および通常のディジタルアナログ変換装置213を含む。カスタムICは通常のディジタルデータ出力を受け、DSP212およびディジタルからアナログ変換213を介して処理を行いステレオ出力を可能とする。ここでもまた、バイノーラライザスイッチ214を備え、要求されるバイノーラリゼーション効果を制御することができる。
【0045】
図14に示された第三の実施例においては、本処理は、ディジタル信号チェーンにおける追加的な段階221として(CD、ミニディスク、DVDまたはDATプレーヤのような)ディジタルオーディオ装置220に組み込まれている。この実装においては、ディジタルオーディオ装置の内部に実装し、DAC222の手前でステレオディジタル信号チェーンに挿入された専用のまたはプログラム可能なDSP221によって信号処理を行う。
【0046】
図15に示された第四の実施例においては、本処理は、アナログ信号チェーンにおける追加的な段階として(パーソナルカセットプレーヤまたはステレオラジオ受信機230のような)オーディオ装置の中に組み込まれている。この実施例はADC232を用い、アナログ入力信号を利用する。この実施例はADC232、DSP233およびDAC234を組み込んだ単一の集積回路231上でおそらくは製造可能である。それは何らかのアナログ処理を組み込むこともできる。これはカセットプレーヤおよび類似の装置の現行デザインの中のアナログ信号チェーンの中に付加して入れることは簡単にできる。
【0047】
図16に示された第五の実施例においては、本処理は、ディジタル形態のステレオ入力とともに利用される外部装置として実装される。前述したように、この実施例は、それ自体を物理的ユニットとすることも、または、ヘッドホンセットに一体化したものとすることも可能である。それは、外部のDCプラグパック電源から電力を取り入れる選択もできる電池式であることもできる。この装置は、いくつかのCDおよびDVDプレーヤまたは類似装置において利用可能な光学または電気形態のディジタルステレオ入力を受ける。入力様式は、SPDIFまたは類似したものであり、ユニットはドルビディジタルAC−3またはDTSのようなサラウンドサウンド様式を支援することができる。また、それは以下に記載するようなアナログ入力を有することもできる。処理は、カスタムIC242内部のDSPコア241によって行われる。これにDAC243が続く。DACがヘッドホンを直接駆動できない場合、追加的なアンプ246,247をDACの後に付加する。本発明のこの実施例は、DSP、DACおよび可能性としては、ヘッドホンアンプを組み込んだカスタム集積回路242上で実行可能である。
【0048】
または、本実施例はそれ自体を物理的ユニットとして実施しすることも、またはヘッドホンセットに一体化したものとすることも可能である。それは、外部のDCプラグパック電源から電力を取り入れる選択もできる電池式であることもできる。その装置はアナログステレオ入力を受けADCを介してディジタルデータに変換する。次に、このデータをDSPを用いて処理し、DACを介してアナログに再変換する。この処理の一部または全部を、代わりに、アナログ領域において行ってもよい。この実施例はADC、DSP、DACおよび必要なアナログ処理回路や可能性としてはヘッドホンアンプを組み込んだカスタム集積回路上で製造可能である。
【0049】
本実施例には、リスナが音源の知覚される距離または環境を変えることができるようにする距離または「ズーム」制御を組み込んでいてもよい。好適実施例ではこの制御はスライダ制御として実装する。この制御が最小のところにある場合、耳のすぐ近くから来るかのように感じられ、実際、両耳効果を施していないプレーンなステレオ音響となることが可能である。この制御を最大に設定すると、音は遠くから来るように知覚される。最低と最大の間で制御変更可能であり、音の「頭の外から」らしさの知覚を制御できる。制御を最小の位置から出発し、最大の方向にスライドすることによって、ユーザは簡単な両耳オン/オフスイッチ(binaural on/off switch)で調整するよりも素早く両耳効果体験を調整することが可能である。かかる制御の実装は、異なる距離に対しては異なったフィルタ応答集合を利用することを含めることができる。
【0050】
スライダ機構を有する実装例は図17に示す。また、オーディオ環境を切り替えるための追加的な制御を備えることも可能である。
さらにまた、前述のものを含めた多様な用途に適合する一般的な集積回路による解決策として実施例を実現することは可能である。この同じ集積回路はヘッドホン出力を持つ殆どいずれのオーディオ装置にも、組み入れることができる。それは、本発明の実装として特定して作った全ての物理的ユニットの基本的な構築要素である。かかる集積回路はADC,DSP,DAC,メモリI2Sステレオディジタルオーディオ入力、S/PDIFディジタルオーディオ入力、ヘッドホンアンプおよび制御ピンのいくつかまたは全てを含み、種々のモード(例えば、アナログまたはディジタル入力)で装置を動作させることが可能とする。
【0051】
具体的な実施例に示したように、概括的に記載した本発明の精神または範囲から逸脱することなく多数のバリエーションおよび/または修正を行うことが可能であることを、当業者は認めよう。したがって、本実施例はあらゆる点で、限定ではなく例示とみなすべきである。
【図面の簡単な説明】
【0052】
【図1】全体畳み込み処理を行い、一連の信号を二つのヘッドホン出力チャネルにマッピングするプロセスを概略的に示す図である。
【図2】伝統的なオーバーラップおよびセーブFFTプロセスを示す図である。
【図3】好適実施例において用いられる低レイテンシプロセスを示す図である。
【図4】一般的な周波数領域畳み込みプロセスを概略的に示す図である。
【図5】図4のプロセスの第一の簡略化を示す図である。
【図6】ヘッドホンの左耳への一連の入力信号の理想的な処理を示す図である。
【図7】図6の処理要求量の第一の簡略化を示す図である。
【図8】低レイテンシ畳み込みを利用する図7の構成の周波数領域実装をさらに詳細に示す図である。
【図9】周波数領域係数を導出する標準的合成プロセスを示す図である。
【図10】周波数領域係数生成の修正形態を示す図である。
【図11】好適実施例のより高い周波数のオーディオデータへの拡大を示す図である。
【図12】本オーディオ処理回路を現行CDプレーヤのスキップ防止機能の代替として使用する実施例を示す図である。
【図13】本オーディオ処理回路をディジタル/アナログコンバータと同じICパッケージ内で用いる実施例を示す図である。
【図14】本オーディオ処理回路を信号チェーンにおいてディジタル/アナログコンバータの手前で用いる実施例を示す図である。
【図15】本オーディオ処理回路をアナログ/ディジタルおよびディジタル/アナログコンバータをもつ構成において使用する実施例を示す図である。
【図16】任意的なディジタル入力を含む図17の回路への拡張を示す図である。
【図17】本発明のいくつかの可能な物理的実施例を示す図である。

【特許請求の範囲】
【請求項1】
二つより多い入力オーディオ信号群のセットを処理する方法であって、該入力オーディオ信号群のセットは、リスナ周辺の対応する所定の位置群に置かれた仮想オーディオ音源群の対応するセットを表しており、該処理は、リスナ周辺に置かれたスピーカ装置群の対応する縮小セットでの再生のためのオーディオ出力信号群の縮小セットを生成するためのものであり、オーディオ出力信号の数は入力オーディオ信号の数より少なく、前記方法が:
個別のオーディオ出力信号のそれぞれについて:
(a)前記入力オーディオ信号のそれぞれを、該入力オーディオ信号と前記個別のオーディオ出力信号との間で、対応するフルレングス・インパルス応答の初期先頭部分と畳み込むステップであって、該初期先頭部分は、前記対応オーディオ出力信号のスピーカ装置における応答の初期音および一つまたは複数の早期反射を、前記入力オーディオ信号に対応する所定の位置に置かれたインパルス音源に実質的にマッピングするものであり、
それにより前記入力オーディオ信号群のそれぞれの初期応答のセットを形成するステップと、
前記オーディオ出力信号のそれぞれについて、
(b)前記オーディオ入力信号群の結合された混合を形成するステップと、
(c)前記形成された結合された混合を、インパルス音源への反響応答を表す単一の畳み込み末尾と畳み込んで、結合された末尾応答を形成するステップと、
(d)該オーディオ出力信号に対応する初期応答のセットのそれぞれと該オーディオ出力信号に対応する前記単一の結合された末尾応答とを結合し、前記個別のオーディオ出力信号を形成するステップと、
を具備しており、前記処理は、前記入力オーディオ信号群のそれぞれと前記入力オーディオ信号群のそれぞれとの間のフルレングス・インパルス応答からなる対応フルレングス・インパルス応答のセットの処理を近似するものである方法。
【請求項2】
請求項1記載の方法であって、前記単一の畳み込み末尾が、前記対応フルレングス・インパルス応答群の末尾群を結合することによって形成される方法。
【請求項3】
請求項1記載の方法であって、
対応フルレングス・インパルス応答群のそれぞれを、
(a)対応フルレングス・インパルス応答を受け入れること、
(b)前記対応フルレングス・インパルス応答をいくつかのセグメントに分割すること、
(c)前記対応フルレングス・インパルス応答の末尾における所定数の前記セグメントに対し、前記セグメントの周波数内容の少なくともいくつかのより高い周波数成分をゼロに設定すること、
によって前処理するステップをさらに具備する方法。
【請求項4】
請求項1ないし請求項3のうちいずれか一項記載の方法であって、前記入力オーディオ信号群が周波数領域に変換され、前記畳み込みが、所定のブロックサイズを有するオーバーラップおよびセーブ畳み込みプロセスを使用して周波数領域において実行される方法。
【請求項5】
請求項4記載の方法であって、いくつかのより高い周波数係数をゼロに設定し、該ゼロに設定されたより高い周波数係数による乗算を伴う乗算ステップをなくすことによって、前記インパルス応答関数群が、少なくともいくつかのブロックに対し、周波数領域において簡略化される方法。
【請求項6】
請求項1ないし5のうちいずれか一項記載の方法であって、前記畳み込みが低レイテンシ畳み込みプロセスを用いて実行され、該レイテンシが、前記入力オーディオ信号群の実時間処理が実時間で前記オーディオ出力信号群を生成することを可能とするほどに十分に低いものである方法。
【請求項7】
請求項6記載の方法であって、前記低レイテンシ畳み込みプロセスが、
前記入力オーディオ信号群の第一の所定の重複ブロックサイズ部分群を対応する周波数領域入力係数ブロック群に変換するステップと、
前記インパルス応答信号群の第二の所定のブロックサイズ部分群を対応する周波数領域インパルス係数ブロック群に変換するステップと、
前記周波数領域入力係数ブロック群のそれぞれを、所定の方法で、前記対応する周波数領域インパルス係数ブロック群のうちの所定のブロック群と結合し、結合出力ブロック群を生成するステップと、
前記結合出力ブロック群のうちの所定のブロック群を合計し、前記オーディオ出力信号群のそれぞれについて、周波数領域出力応答群を生成するステップと、
前記周波数領域出力応答群を対応する時間領域オーディオ出力信号群に変換するステップと、
前記時間領域オーディオ出力信号群の一部を廃棄するステップと、
前記時間領域オーディオ出力信号群の残りの部分を出力するステップと、
を含む方法。
【請求項8】
リスナ周辺の所定位置群に置かれた仮想オーディオ音源のセットを表す入力オーディオ信号のセットを処理し、リスナ周辺に置かれたスピーカ装置群での再生のためのオーディオ出力信号群の縮小セットを生成する方法であって、前記方法が
(a)対応仮想オーディオ源を対応スピーカ装置に実質的にマッピングするインパルス応答関数のセットを形成するステップと、
(b)前記インパルス応答関数を、該インパルス応答関数の先頭部分のための少なくとも一つのセグメントと、該インパルス応答関数の末尾部分のための少なくとも一つの部分とを含む、いくつかのセグメントに分割するステップと、
(c)前記オーディオ出力信号群のそれぞれについて、前記末尾部分群のセグメント群を結合し、該オーディオ出力信号のための末尾応答セグメントの結合されたセットを生成するステップと、
(d)前記結合された末尾応答セグメント群の所定数のセグメントについて、該セグメントの周波数内容の少なくともいくつかのより高い周波数成分をゼロに設定して、修正結合末尾応答セグメント群を形成するステップと、
(e)前記入力オーディオ信号群のそれぞれについて、且つ前記オーディオ出力信号群のそれぞれについて、
(i)前記入力オーディオ信号群のそれぞれを、対応するインパルス関数の先頭部分のセグメントまたはセグメント群と畳み込むステップと、
(ii)前記入力オーディオ信号群のそれぞれを、前記修正結合末尾応答セグメント群と畳み込むステップと、
(iii)(i)および(ii)の結果を結合して、対応仮想オーディオ源を対応スピーカ装置に実質的にマッピングするステップと、
を具備する方法。
【請求項9】
少なくとも二つのオーディオ入力信号を含む複数の信号を同時に畳み込むことを含む方法であって、前記オーディオ入力信号は二つより多い入力音源の対応するセットからの音を表しており、前記入力音源は対応する数の異なる入力音源位置にあり、前記畳み込みは音出力装置の対応するセットに加えるべき出力信号のセットを生成するものであり、音出力装置の数は入力音源の数より少なく、ある個別のオーディオ入力信号の畳み込みによる個別の出力信号の生成はフルレングス・インパルス応答関数によって特徴付けられ、各フルレングス・インパルス応答は最初の初期部分と後続の末尾部分とを有しており、
前記同時畳み込みが、
(a)前記入力信号群の各個別のオーディオ入力信号について、且つ各個別の出力信号について、前記個別オーディオ入力信号を、該個別入力信号についての対応フルレングス・インパルス応答関数の最初の部分に対応するインパルス応答関数と畳み込みするステップと、
(b)各個別の出力信号について、個別の出力信号群に対応するフルレングス・インパルス応答関数群の末尾部分群から形成された反響末尾フィルタによって、前記オーディオ入力信号群の結合によって形成された信号をフィルタ処理することにより、該出力信号のそれぞれについて、前記オーディオ信号群の結合が同一の反響末尾フィルタによってフィルタ処理されるようにするステップと、
を具備しており、
前記最初の初期部分による畳み込みと、前記反響末尾フィルタによるフィルタ処理との組み合わせが、リスナに対して、前記対応する数の入力音源位置にある前記入力音源を聴いているとの感覚を与える、方法。
【請求項10】
出力信号の数が2である請求項9記載の方法。
【請求項11】
請求項10記載の方法であって、前記(a)における畳み込みおよび前記(b)におけるフィルタ処理に先行して、前記入力信号群を周波数領域に変換するステップを有しており、前記(a)におけるフィルタ処理および前記(b)におけるフィルタ処理がそれぞれ周波数領域で行われるようにする方法。
【請求項12】
前記第一の部分が、前記出力装置における応答の初期音および一つまたは複数の早期反射を、前記入力オーディオ信号の対応する入力音位置に置かれたインパルス音源にマッピングする、請求項9ないし11のうちいずれか一項記載の方法。
【請求項13】
請求項1ないし8のうちいずれか一項記載の方法であって、前記入力オーディオ信号のセットが、左前チャネル信号、右前チャネル信号、前中央チャネル信号、左後チャネル信号および右後チャネル信号を含む方法。
【請求項14】
請求項1ないし8または請求項13のうちいずれか一項記載の方法であって、前記オーディオ出力信号群が左および右ヘッドホン出力信号である方法。
【請求項15】
請求項1ないし14のうちいずれか一項記載の方法であって、前記方法がCD−ROMプレーヤ・ユニットの内部に位置するスキップ防止プロセッサ・ユニットを利用して行われる方法。
【請求項16】
請求項1ないし14のうちいずれか一項記載の方法であって、前記方法がディジタル/アナログコンバータの修正形態からなる専用集積回路を利用して行われる方法。
【請求項17】
請求項1ないし14のうちいずれか一項記載の方法であって、前記方法が専用のまたはプログラム可能なディジタル信号プロセッサを利用して行われる方法。
【請求項18】
請求項1ないし13のうちいずれか一項記載の方法であって、前記方法が、アナログ/ディジタルコンバータとディジタル/アナログコンバータとの間に相互接続されたDSPプロセッサによってアナログ入力に対して行われる方法。
【請求項19】
請求項1ないし13のうちいずれか一項記載の方法であって、前記方法が、音出力信号生成器と一対のヘッドホンの中間に接続された、別個に分離可能な外部装置上でステレオ出力信号に対して行われ、前記音出力信号はディジタル形態で出力されて前記外部装置によって処理される方法。
【請求項20】
請求項1ないし19のうちいずれか一項記載の方法であって、所定の方法で該インパルス応答関数群を変えるための可変制御を使用するステップをさらに具備する方法。
【請求項21】
請求項1ないし20のうちいずれか一項記載の方法を実施する際に用いられる装置。
【請求項22】
請求項1記載の方法であって、前記単一の畳み込み末尾が、前記対応インパルス応答群の末尾群のセットから一つのインパルス応答を選択することによって形成される方法。
【請求項23】
リスナ周辺の所定位置に置かれた仮想オーディオ音源を表す入力オーディオ信号を処理し、リスナ周辺に置かれたスピーカ装置群上での再生のためのオーディオ出力信号群の縮小セットを生成する方法であって、前記方法が、前記スピーカ装置のそれぞれについて、
(a)ローパスフィルタ処理および間引きプロセスによって、入力オーディオ信号をより低いサンプルレートに変換し、間引きされた入力信号を生成するステップと、
(b)フィルタ処理プロセスを前記間引き入力信号に適用し、間引きされフィルタ処理された信号を生成するステップと、
(c)補間およびローパスフィルタ処理プロセスによって、前記間引きされフィルタ処理された信号をもとのより高いサンプルレートに変換し、高サンプルレートフィルタ処理信号を生成するステップと、
(d)疎フィルタ処理プロセスを前記入力オーディオ信号に適用し、疎フィルタ処理されたオーディオ信号を生成するステップと、
(e)前記高サンプルレートフィルタ処理信号および前記疎フィルタ処理されたオーディオ信号を合計し、オーディオ出力信号を生成するステップと、
(f)前記オーディオ出力信号を前記スピーカ装置に出力するステップと、
を具備し、該(b)のフィルタ処理プロセスは、フルレングス・インパルス応答群のセットの先頭部分群のインパルス応答群に従うものであり、該(d)の疎フィルタ処理プロセスは、フルレングス・インパルス応答群の該セットの末尾部分群から決定される単一の代表末尾部分インパルス応答に従うものである方法。
【請求項24】
請求項23記載の方法であって、前記疎フィルタ処理プロセスが単一の遅延素子および利得関数よりなる方法。
【請求項25】
請求項24記載の方法であって、前記疎フィルタ処理プロセスが遅延ラインからなり、複数の抜き取りオーディオ信号が該遅延ラインから抜き取られ、前記抜き取りオーディオ信号が利得関数を介して拡縮され、前記利得関数の出力が合計されて前記疎フィルタ処理されたオーディオ信号を生成する方法。
【請求項26】
リスナに対する対応位置の第一セットにおける複数のオーディオ音源を表す入力オーディオ信号群を処理する方法であって、該処理は、リスナに対する対応位置の第二セットに置かれたトランスデューサのセットへの提示のための出力信号群を生成することにより、対応位置群の前記第一セットの空間的印象をリスナに伝えるものであり、各出力信号に対し、該方法は、
それぞれの第一フィルタの周波数領域表現をそれぞれの入力オーディオ信号の周波数領域表現に適用することによって、複数の第一フィルタ処理された信号を生成するステップと、
第二フィルタの周波数領域表現を入力オーディオ信号群の周波数領域表現群に適用することによって、第二フィルタ処理信号を生成するステップであって、第二フィルタの周波数領域表現および入力オーディオ信号群の周波数領域表現群の一つ以上の高周波数係数を前記適用から除外するステップと、
該第一フィルタ処理された信号および該第二フィルタ処理された信号を結合することによってそれぞれの出力信号を生成するステップと、
を具備し、前記第一フィルタ群は、対応位置群の空間的印象群をリスナに伝える各フルレングス・インパルス応答の先頭部分群に対応し、該第二フィルタは、各フルレングス・インパルス応答群の末尾部分群の組合せに対応する方法。
【請求項27】
請求項26記載の方法であって、それぞれの第一フィルタ群の周波数領域表現群およびそれぞれの入力オーディオ信号群の周波数領域表現群の一つ以上の高周波数係数が前記適用から除外される方法。
【請求項28】
請求項26または27記載の方法であって、前記第一フィルタ群が前記対応位置群の空間的印象をリスナに伝える個別のインパルス応答群の先頭部分群に対応し、前記第二フィルタが前記個別のインパルス応答群の末尾部分群の結合に対応する方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate


【公開番号】特開2008−58984(P2008−58984A)
【公開日】平成20年3月13日(2008.3.13)
【国際特許分類】
【出願番号】特願2007−264869(P2007−264869)
【出願日】平成19年10月10日(2007.10.10)
【分割の表示】特願2000−538433(P2000−538433)の分割
【原出願日】平成11年1月6日(1999.1.6)
【出願人】(507236292)ドルビー ラボラトリーズ ライセンシング コーポレイション (82)
【Fターム(参考)】