説明

マルチチャンネルオーディオ信号を生成するための装置

入力オーディオ信号(102)に基づいてマルチチャンネルオーディオ信号(142)を生成するための装置(100)は、メイン信号アップミックス手段(110)と、部分選択器(120)と、部分信号アップミックス手段(110)と、結合器(140)とを含む。メイン信号アップミックス手段(110)は、入力オーディオ信号(102)に基づいてメインマルチチャンネルオーディオ信号(112)を供給するように構成される。部分選択器(120)は、入力オーディオ信号(102)の解析に基づいて入力オーディオ信号(102)の部分を選択するように、あるいは、選択しないように構成される。入力オーディオ信号(102)の選択された部分、入力オーディオ信号(102)の処理された選択された部分、または、入力オーディオ信号(102)の処理された選択された部分と関連した参照信号は、部分信号(122)として供給される。部分信号アップミックス手段(130)は、部分信号(122)に基づいた部分アップミックス信号(132)を供給するように構成され、そして、結合器(140)は、マルチチャンネルオーディオ信号を得るために、メインマルチチャンネルオーディオ信号(112)および部分アップミックス信号をオーバーレイするように構成される。

【発明の詳細な説明】
【技術分野】
【0001】
本発明による実施形態は、入力オーディオ信号に基づいてマルチチャンネルオーディオ信号を生成するための装置および方法に関する。
【0002】
本発明によるいくつかの実施形態は、特にマルチチャンネル信号を生成するためのコンセプトに関連したオーディオ信号処理に関する。ここで、自身の信号は、各スピーカに対して送信されるわけではない。
【背景技術】
【0003】
N個のオーディオチャンネルを有する信号がM個の再生チャンネル(M>N)を有するオーディオシステムによって再生されるときに、例えば、以下の可能性が存在する:
(1)利用可能なスピーカの一部だけが、使用される
(2)全部の利用可能な再生システムを利用する信号が、生成される。
【0004】
第2の可能性は、好ましい解決策であって、以下の本文では、アップミックス(upmix)とも呼ばれている。
【0005】
アップミックスすることに関連して、マルチチャンネル信号を生成する2種類の異なる方法がある。例えば、現存のマルチチャンネル信号が、追加データに基づいてレシーバで元の信号を再生させるために、少数のチャンネルにまとめられる。この方法は、ガイドされたアップミックス(guided upmix)とも呼ばれている。
【0006】
もう一方の可能性は、いわゆるブラインドアップミックス方法である。これは、前の情報なしでのマルチチャンネル拡張に関係する。その処理を制御する追加データはない。また、ブラインドアップミックスによって再生されなければならない、または、到達されなければならない元の音の印象、または、参照の音の印象もない。
【0007】
従って、ブラインドアップミックスを実現するための異なるアプローチが、存在する。
【0008】
1つの考えられるアプローチは、直接アンビエンスコンセプト(direct ambience concept)として知られる。この場合、直接音源(direct sound source)は、(例えば、入力信号がステレオ信号であるときに、)直接音源が元の2チャンネルのバージョンと同じ位置で聴取者によって聞こえるように、(例えば、いわゆる5.1ホームシネマシステムのための)3つのフロントチャンネルによって、好ましくは再生される。
【0009】
図2は、2チャンネルシステムのためのオーディオ信号再生200の略図を示す。元の2チャンネルのバージョンは、例えば、3つの直接音源S1、S2、S3 240によって示される。オーディオ信号は、左のスピーカ220および右のスピーカ230によって聴取者210のために再生され、3つの直接の音源の信号部分および囲まれた領域によって示されたアンビエンス部分250を含む。これが、例えば、標準の2チャンネルステレオ再生(3つのソースおよびアンビエンス)である。
【0010】
図3は、直接アンビエンスコンセプトによるブラインドアップミックスのオーディオ信号再生300の略図を示す。5つのスピーカ(センター310、左フロント320、右フロント330、左リア340および右リア350)は、マルチチャンネルオーディオ信号を再生するために示される。
【0011】
直接音源240は、前方の3つのスピーカ310、320、330によって再生される。
【0012】
オーディオトラックに含まれたアンビエンス部分250は、聴取者210を包むように、フロントチャンネルおよびサラウンドチャンネルによって、再生される。アンビエンス部分は、単一音源に割り当てられることができない信号部分であるが、可聴環境の印象を生成するすべての音の構成要素の組み合わせに割り当てられる。アンビエンス部分は、例えば、室内反射および室内残響を含みうるが、それはまた、観衆の音(例えば拍手)、自然の音(例えば雨)または人工的な音(例えばビニールのパチパチという音)も含みうる。
【0013】
更なる可能なコンセプトは、イン・ザ・バンド・コンセプト(in−the−band concept)としてしばしば言及される。図4は、イン・ザ・バンド・コンセプトによるオーディオ信号再生400の略図を示す。スピーカの配置は、図3のスピーカの配置に対応する。しかし、各サウンドタイプ、例えば、直接音源およびアンビエンスのような音は、聴取者のまわりの位置である。
【0014】
すべての出力信号が同じ入力信号から生成されるので、出力信号は更に非相関にされなければならない。このため、例えば時間的遅延または全通過フィルタの使用のような多くの周知の方法が使用されうる。前述のシンプルな方法は、しばしば、非相関効果に追加的に気がかりな欠点を示す。
【0015】
例えば、1つの欠点は、ほとんど全ての非相関方法が入力信号の時間的構造を歪めるということである。その結果、過渡的構造は、それらの過渡特性を失う。これにより、例えば、拍手のようなアンビエンス信号が包み込み効果(enveloping effect)に達しうるだけであるが、しかし、没入(immersion)には達しないという効果がもたらされる。
【0016】
拍手や雨などのような特別な信号の種類は、アンビエンス信号の中で例外的な位置をとる。それらは、室内印象を必ずしも与えるというわけではないアンビエンス信号である。それらは、むしろ、例えば単一の拍手または単一の雨滴のようなそれら自体で直接音特性を含む単一部分の膨大な数の時間的および空間的なオーバーレイによって包み込み感覚(enveloping feeling)を生み出す。
【0017】
オーバーレイによって、結果として生じる全体の信号は、室内残響として知られるものと同じ統計学的性質を主に得る。
【0018】
特に、これらの信号の種類は、(ブラインドアップミックスによってだけでなく、ガイドされたアップミックスによる)アップミックス方法で処理されることは困難である。また、それらは、しばしば不完全なアップミックスにつながり、例えば、しばしば、くし型フィルタのような効果を聞くことができる。
【0019】
これらのアーチファクトが起こらないように、リアチャンネルのための信号部分を生成する周知のブラインドアップミックス方法は、例えば、観衆が聴取者の前で拍手し、サラウンドチャンネルが、拍手の起こっている室内の印象(包み込みアンビエンス(enveloping ambience))を生成するだけである印象に限定された音の印象を生成する。しかし、特にこれらのアンビエンスにおいて、拍手している観衆の一部であること、または、雨の中にとどまっていること(没入型アンビエンス(immersive ambience))が、望ましい。このため、(イン・ザ・バンド・コンセプトと同様)すべての部分は、聴取者の周りに分配されなければならないが、何の計測もなしでは、このことは、アーチファクトを有する音の印象に再度つながる。
【0020】
「A.ワグナー、A.ワルター、F.メルキオル、M.シュトラウス「波面合成再生のための高度に没入できる雰囲気の生成」、第116回AES学会にて発表、ベルリン、2004」において、どのように没入型アンビエンス(immersive ambience)が波面合成法のために生成されうるかの方法が説明される。そのために、聴取者は、表された音響環境の印象を与える360度非相関な包み込み音場(enveloping sound field)によって囲まれる。
【0021】
没入効果(immersion effect)に達するために、いわゆる集束音源(focused source)が追加される。集束音源は、単一音源として知覚可能であり、包み込み音場の特徴的な単一の音を示す点音源である。
【0022】
刊行物によると、単一音源(音響粒子)は、数多く、アンビエンスに対して利用可能でなければならなくて、別々に記録された音、または、シンセサイザによって生成された人工音でありうる。
【0023】
このオブジェクト指向のアプローチには、各アンビエンスの種類に対する異なるオーディオ信号が、すでに利用可能でなければならないという欠点がある。一方では、包み込みアンビエンス信号は非相関な単一トラックとしてのものであり、他方、単一音源は分離したオーディオファイルである。前述の代替手段は、(分かるのであれば)各アンビエンスの種類に対してこれらを(例えばシンセサイザ・ソフトウェアによって)人工的に生成することであり、それは、再生されたアンビエンスにフィットしないリスクを含む。加えて、この種の生成のために、例えば、粒子音響および多くの演算時間についての数学的モデルが、必要である。一般に、波面合成方式ための労力は、非常に高い。
【0024】
「ゲラルト ホート、スティーブン バン ド パル、イェルーン ブリーバルト、「拍手信号のマルチチャンネル・コーディング」、研究論文」において、特にランダムなアンビエンス(例の拍手、雨、パチパチと音をたてること)の非相関性のための方法を含む拍手信号のマルチチャンネル・コーディングのための方法が説明される。
【0025】
ここで、周波数選択性コーダが信号の品質を更に悪くし、したがって時間領域ベースのコーダだけが示されることが述べられる。
【0026】
これに関連して、非相関性だけは、なされなければならない。そして、それは基本的に、全ての信号が等しく音を出す(または入力時点である)ことを意味する。参照音響の再生がうまくいく非相関方法が導入される。
【0027】
出願番号EP08018793号を有する早期公開されていない欧州特許出願において、拍手のような信号をフォアグラウンド音響およびバックグラウンド音響に分解する方法が、導入される。「A.ワグナー、A.ワルター、F.メルキオル、M.シュトラウス「波面合成再生のための高度に没入できる雰囲気の生成」、第116回AES学会にて発表、ベルリン、2004」を参照することもできる。包み込みアンビエンスは、そのアンビエンスから構成された認知可能な単音から切り離され、これら2つの部分は、互いに分離して扱うことができる。
【0028】
前述の公開されていない特許出願において、元のアンビエンスを再生しようと試みた一実施形態(ガイドされたモード)を含んだ方法が説明される。原則として、(フォアグラウンド音響とは異なる)バックグラウンド音響は、非相関であるだけであり、フォアグラウンド音響は、異なる時に異なる位置に位置付けられるだけである。それは非相関方法に関するだけであると言えるかもしれない。
【0029】
全体の信号は、フォアグラウンドおよびバックグラウンドに分解される。分離された部分の共通の再生だけは、再度、より良く聞こえると推測できるが、それらは両方ともアーチファクトを含みうる。
【0030】
更に周知のアップミックス方法は、例えば、「ロイ イルワン、ロナルダス アーツ、「マルチチャンネル音声変換装置」、国際公開番号:国際公開第02/052896号(Roy Irwan and Ronaldus Aarts, “Multi−Channel Audio Converter”, International Publication Number: WO 02/052896 A2)」において、「カルロス アヴェンダニオ、ジャン=マルク ジョット、「ステレオ信号のためのストリーム分離」、公開番号 米国特許出願公開第2007/0041592号明細書(Carlos Avendano and Jean−Marc Jot, “Stream Segregation For Stereo Signals”, Pub. No. US 2007/0041592 A1)」において、「デイビッド グリージンガー、「最大横方向分離間隔を有したマルチチャンネル・アクティブ・マトリクス・エンコーダおよびデコーダ」、特許番号 米国特許第005870480号明細書(David Griesinger, “Multichannel Active Matrix Encoder And Decoder With Maximum Lateral Separation”, Patent Number US005870480A)」において、および、異なる入力信号を区別しない、「ヤン ペータゼン、「ステレオ信号のためのマルチチャンネル音再生システム」、国際公開番号 国際公開第01/62045号(Jan Petersen, “Multi−Channel Sound Reproduction System For Stereophonic Signals”, International Publication Number WO 01/62045 A1)」において、説明される。
【先行技術文献】
【特許文献】
【0031】
【特許文献1】欧州特許出願08018793号(EP 08018793)
【特許文献2】国際公開第02/052896号(WO 02/052896 A2)
【特許文献3】米国特許出願公開第2007/0041592号明細書(US 2007/0041592 A1)
【特許文献4】米国特許第005870480号明細書(US005870480A)
【特許文献5】国際公開第01/62045号(WO 01/62045 A1)
【非特許文献】
【0032】
【非特許文献1】A.ワグナー、A.ワルター、F.メルキオル、M.シュトラウス「波面合成再生のための高度に没入できる雰囲気の生成」、第116回AES学会にて発表、ベルリン、2004(A.Wagner, A.Walther, F.Melchior, M.Strauss; “Generation of Highly Immersive Atmospheres for Wave Field Synthesis Reproduction”; Presented at the AES 116th Convention, Berlin, 2004)
【非特許文献2】ゲラルト ホート、スティーブン バン ド パル、イェルーン ブリーバルト、「拍手信号のマルチチャンネル・コーディング」、研究論文(Gerard Hotho, Steven van de Par, Jeroen Breebart,“Multichannel Coding of Applause Signals”; Research Article)
【非特許文献3】M.グッドウィン、C.アヴェンダニオ、「トランジェント変更に基づくオーディオ信号強調のための周波数領域アルゴリズム」、オーディオ技術学会の学会誌 54巻(2006)、9号、p.827〜p.840(M. Goodwin, C. Avendano, “Frequency−domain algorithms for audio signal enhancement based on transient modification”, Journal of the Audio Engineering Society 54 (2006) No. 9, 827−840)
【発明の概要】
【発明が解決しようとする課題】
【0033】
改善された柔軟性および音質を可能にするマルチチャンネルオーディオ信号を生成するための装置を提供することが本発明の目的である。
【課題を解決するための手段】
【0034】
この目的は、請求項1に記載の装置および請求項12に記載の方法によって解決される。
【0035】
本発明の実施形態は、入力オーディオ信号に基づいてマルチチャンネルオーディオ信号を生成するための装置を供給する。その装置は、メイン信号アップミキシング手段と、部分選択器と、部分信号アップミキシング手段と、結合器とを含む。
【0036】
メイン信号アップミキシング手段は、入力オーディオ信号に基づいてメインマルチチャンネルオーディオ信号を供給するように構成される。
【0037】
部分選択器は、入力オーディオ信号の解析に基づいて入力オーディオ信号の部分を選択する、あるいは、選択しないように構成される。入力オーディオ信号の選択された部分、入力オーディオ信号の処理された選択された部分、または、入力オーディオ信号の選択された部分と関連した参照信号は、部分信号として供給される。
【0038】
部分信号アップミキシング手段は、部分信号に基づいて部分アップミックス信号を供給するように構成され、そして、結合器は、マルチチャンネルオーディオ信号を得るためにメインマルチチャンネルオーディオ信号および部分アップミックスチャンネルをオーバーレイするように構成される。
【0039】
本発明による実施形態は、メイン信号アップミキシング手段によって生成されたメインマルチチャンネルオーディオ信号が部分アップミックス信号に関する追加のオーディオ信号によってアップグレードされるという中心思想に基づく。この追加のオーディオ信号は、入力オーディオ信号の部分の選択に基づく。
【0040】
マルチチャンネルオーディオ信号は、部分選択器および部分信号アップミキシング手段による非常に柔軟な方法で影響されうる。
【0041】
改善された柔軟性のため、そして、部分信号のスマートな選択および適切な部分信号のアップミキシング・ルールを使用することにより、音質は改善されうる。
【0042】
マルチチャンネルオーディオ信号は、それがマルチチャンネルオーディオ信号より少ないチャンネルを有する入力オーディオ信号に基づいて生成されて、元の音の印象を供給しないため、いずれにしろ人工の信号であるので、マルチチャンネルオーディオ信号の音質は、部分選択器および部分信号アップミキシング手段を柔軟に使用することによって、元の音の印象にできる限り等しい音の印象を生成しうる信号を得るように改善されうる。
【0043】
メイン信号アップミキシング手段は、すでに良い音を出しているメインマルチチャンネルオーディオ信号を生成しうる。そして、その信号は、部分信号のアップミックスのオーバーレイにより改善される。
【0044】
例えば、フォアグラウンドおよびバックグラウンド信号の入力オーディオ信号を分離することにより発生したアーチファクトは防がれうる。
【0045】
本発明によるいくつかの実施形態において、選択された部分信号は、改善されたマルチチャンネルオーディオ信号を得るために、記憶されて、何回かアップミキシングおよびオーバーレイに使用される。このようにして、マルチチャンネルオーディオ信号の部分信号の数は、変えられうる。例えば、部分信号は、地面を打っている一滴の雨滴に対応する。それで、にわか雨における一滴の聞き取れる雨滴の密度は、変えられうる。
【0046】
本発明によるいくつかの更なる実施形態において、入力オーディオ信号は、入力オーディオ信号の部分を識別するために解析される。例えば、拍手または雨のような特定のアンビエンス信号は、識別されうるし、そして、これらの信号の範囲内で、単一の拍手または雨滴は、分離されうる。
【0047】
本発明による実施形態は、添付の図面を参照して以下に詳述される。
【図面の簡単な説明】
【0048】
【図1】図1は、マルチチャンネルオーディオ信号を生成するための装置のブロック図である。
【図2】図2は、2チャンネルシステムのオーディオ信号再生の略図である。
【図3】図3は、直接アンビエンスコンセプトによるブラインドアップミックスのオーディオ信号再生の略図である。
【図4】図4は、イン・ザ・バンド・コンセプトによるブラインドアップミックスのオーディオ信号再生の略図である。
【図5】図5は、複数の単一音源を含んでいる拍手のような信号のオーディオ信号再生の略図である。
【図6】図6は、オーディオ信号再生に対する位置パラメータの影響の略図である。
【図7】図7は、オーディオ信号再生に対する分布パラメータの影響の略図である。
【図8】図8は、マルチチャンネルオーディオ信号を生成するための装置のブロック図である。
【図9】図9は、マルチチャンネルオーディオ信号を生成するための装置のブロック図である。
【図10】図10は、マルチチャンネルオーディオ信号を生成するための方法のフローチャートである。
【発明を実施するための形態】
【0049】
簡単化のために、下記の大部分の実施形態は、2つのチャンネル(N=2)を有する入力オーディオ信号および5つのチャンネル(M=5)を有する生成されたマルチチャンネルオーディオ信号について言及する、あるいは、示す。これは、2チャンネルの媒体(例えばCD)が5チャンネル系(しばしば、「.1」が低減帯域幅を有する効果チャンネルを表すことを特徴とする、いわゆる5.1ホームシネマシステム)によって再生されなければならないよくある例に対応する。しかし、記載されているコンセプトは、いかなる数のチャンネル、または、当業者のためのオブジェクト指向再生に容易に振替可能である。
【0050】
図1は、本発明の一実施形態による入力オーディオ信号102に基づいてマルチチャンネルオーディオ信号142を生成するための装置100のブロック図を示す。装置100は、メイン信号アップミキシング手段110と、部分選択器120と、部分信号アップミキシング手段130と、結合器140とを含む。メイン信号アップミキシング手段110は、結合器140につながっており、部分選択器120は部分信号のアップミックス手段130につながっており、そして、部分信号アップミキシング手段130もまた結合器140とつながっている。
【0051】
メイン信号アップミキシング手段110は、入力オーディオ信号102に基づいてメインマルチチャンネルオーディオ信号112を供給するように構成される。
【0052】
部分選択器120は、入力オーディオ信号102の解析に基づいて入力オーディオ信号102の部分を選択する、あるいは、選択しないように構成される。入力オーディオ信号102の選択された部分、入力オーディオ信号102の処理された選択された部分、または、入力オーディオ信号102の選択された部分と関連した参照信号は、部分信号122として供給される。
【0053】
部分信号アップミキシング手段130は、部分信号122に基づいて部分アップミックス信号132を供給するように構成される。
【0054】
結合器140は、マルチチャンネルオーディオ信号142を得るために、メインマルチチャンネルオーディオ信号112および部分をアップミキシングしている信号132にオーバーレイするように構成される。
【0055】
例えば、拍手または雨のような特定のアンビエンスのための入力オーディオ信号を表現する部分が、入力オーディオ信号の解析に基づいて選択される。この選択された部分122は、参照信号によって処理されうる、あるいは、交換されうる。選択された部分122、処理された選択された部分、または、参照信号は、それから、改善されたマルチチャンネルオーディオ信号142を得るために、メインマルチチャンネルオーディオ信号112に関してアップミックスおよびオーバーレイされる。
【0056】
従って、例えば、メインマルチチャンネルオーディオ信号112に、部分アップミックス信号132に関する過渡信号を追加することは、可能でありうる。
【0057】
マルチチャンネルオーディオ信号142が聴取者のための没入型アンビエンスを生成し、その結果、改善されたマルチチャンネルオーディオ信号を生成するように、部分信号のアップミックスおよびオーバーレイは、なされる。
【0058】
メイン信号アップミキシング手段110は、いかなるアップミックス方法によっても原則として機能しうる。フロントスピーカとサラウンドスピーカとの間の可聴距離における一様なアンビエンスのような音の印象を得るために、すべてのスピーカの信号、特にサラウンドサウンドに対するフロントサウンドは、非相関でなければならない。ブラインドアップミックスの間、例えば、N個の入力信号だけが利用可能であり、そこから、他の特性を有する新しい出力信号が、信号の個々の部分の加重によって生成されなければならない。この方式で、例えば、直接音源は、アンビエンス部分の減弱またはその逆によって強調されうる。
【0059】
一般のアップミックス効果は、拍手のような信号のための包み込み音の印象を生成すると通常みなすことができる。
【0060】
部分選択器120はまた、粒子分離器(particle separator)とも呼ばれ、そして、入力信号の部分を選択することはまた、粒子の分離によって説明されうる。
【0061】
部分選択器120は、例えば取り除きによって、入力信号に関して典型的あるいは特徴的である入力信号の部分(粒子(particle)または音の断片(sound snippet)とも呼ばれる)を選択する。これは異なる方法でなされうる。
【0062】
例えば、入力信号の波形(時間領域表現)の短い部分は、取り除かれうる。
【0063】
代替手段は、選択、および、任意選択的に時間周波数領域から時間領域への単一ブロックあるいは一群のブロックの処理および再変換でありうる。
【0064】
更なる代替手段は、以降の処理において特に取り扱われ、再変換の直前に再度全体の信号に付加される時間領域および/または周波数領域のブロックに印を付けることである。例えば、フィルターバンクなどによって、入力オーディオ信号の時間的部分は、選択され、複数の周波数バンドに分配されうる。一つ以上の異なる周波数バンドは、処理されて、それから、必要に応じて、再変換され、例えば、入力オーディオ信号の処理されていない選択された部分にオーバーレイされうる。
【0065】
入力オーディオ信号の選択された部分を処理することによって、音響粒子(選択された部分)の品質は、改善されうる。例えば、観衆の聴取者の拍手は、選択された部分の処理によって分離されうる。分離された拍手は、例えば、より良い音の拍手、または、さまざまなわずかに異なる音の拍手を生成するために修正されうる。
【0066】
更なる代替手段は、選択された部分を参照信号と置き換えることでありうる。例えば、選択された部分は、観衆の聴取者の拍手を含み、完全な拍手を含んでいる参照信号と置き換えられる。
【0067】
結合器140は、例えば、一つ以上の部分アップミックス信号に含まれる一つ以上の分離された粒子をメインマルチチャンネルオーディオ信号(デフォルトアップミックスとも呼ばれる)に付加する。メインマルチチャンネルオーディオ信号および部分アップミックス信号は、例えば、直接付加されうる、または、適合された振幅および/または位相で付加されうる。
【0068】
図5は、複数の単一音源を含んでいる拍手のような信号のオーディオ信号再生500の略図を示す。この実施形態は、左のスピーカ220および右のスピーカ230を有する2チャンネルシステムと複数の単一音源510を示し、そして、それは、二つのスピーカの間に分離され、分配されなければならない粒子に対応する。ここで、二つのスピーカ間の位置は、左のスピーカおよび右のスピーカによって再生された信号の部分による。
【0069】
部分信号アップミキシング手段130は、例えば、一つ以上の音響粒子を含む部分アップミックス信号132を生成しうる。このアップミキシング処理は、位置パラメータに基づきうる。そこにおいて、位置パラメータは、例えば、聴取者がどの位置で特定の粒子を聞くかについて指し示す。位置パラメータは、入力オーディオ信号によって含まれる位置情報で決定されうる、あるいは、例えばランダム位置生成器によって、ランダムに生成されうる。
【0070】
マルチチャンネルオーディオ信号の異なるチャンネルの粒子の信号部分は、例えば、粒子の位置パラメータに基づいて、振幅パンニング法で決定されうる。
【0071】
図6は、オーディオ信号再生への位置パラメータの影響の略図600を示す。その図は、5チャンネルオーディオ信号に対応している5つのスピーカを示す。この例において、スピーカは、円の円周610に配置される。
【0072】
音響粒子の信号がスピーカに送られるときに、聴取者がこの特定の音響粒子を聞く仮想位置は、各スピーカに送られた信号の部分による。例えば、信号が1つのスピーカに送られるだけのときに、聴取者は、音源がこの特定のスピーカに位置すると思う。このケースは、正面の左のスピーカ320に位置する粒子630で示される。信号が2つのスピーカで分配される場合、音響粒子の仮想位置は、これらの2つのスピーカとの間に位置付けされるだろう。これは、粒子640および650により示される。5つのスピーカ間でほぼ等しく分配された信号は、参照番号660で示された、スピーカ配置のほぼ中央に現れる。このようにして、音響粒子の仮想位置は、各2つの隣接したスピーカとの間の線620に囲まれた領域内に、(例えば参照番号670および680で示された)いかなる点でも位置付けされうる。
【0073】
部分信号または粒子は、ランダムな位置および/またはランダムな時間に付加されうる。部分信号アップミキシング手段130はまた、粒子アップミキシング手段とも呼ばれうる。
【0074】
この付加は、固定位置、与えられた軌道、または、各々がおそらくランダムに設定された時間を有した完全にランダムな位置におけるアンビエンスの種類(拍手、雨または他)次第でありうる。
【0075】
本発明によるいくつかの実施形態は、部分信号メモリ(または中間メモリまたはバッファメモリ)を含む。このメモリは、単一の分離された粒子、あるいは、数回使用されうる部分信号、処理された部分信号または参照信号を記憶しうる。抽出された音響粒子の音を変化させる、または、変動させるために、例えば、「M.グッドウィン、C.アヴェンダニオ、「トランジェント変更に基づくオーディオ信号強調のための周波数領域アルゴリズム」、オーディオ技術学会の学会誌 54巻(2006)、9号、p.827〜p.840」において説明された過渡的形成方法のようなフィルタ又は高品質処理ステップが使用されうる。
【0076】
本発明によるいくつかの実施形態において、デフォルトアップミックスへの粒子の付加とも呼ばれる、メインマルチチャンネルオーディオ信号への部分アップミックス信号の付加は、密度パラメータおよび/または拡散パラメータのようなパラメータによって制御されうる。
【0077】
密度パラメータは、例えば、(時間あたり)いくつの単一の音響あるいは粒子が、メインマルチチャンネルオーディオ信号(デフォルトアップミックス)に付加されるかを指し示す。これらの粒子は、入力オーディオ信号の異なる選択された部分またはメモリに記憶され、数回使用された1つの特定の分離された粒子に対応しうる。
【0078】
拡散パラメータは、例えば、マルチチャンネルオーディオ信号(アップミックス音響)によって生じた音のどの領域において、粒子がメインマルチチャンネルオーディオ信号(デフォルトアップミックス)に付加されなければならないかを決定する。
【0079】
図7は、オーディオ信号再生への拡散パラメータの影響の略図700を示す。図7において、拡散パラメータの影響は、破線710によって示される。例えば、ある音の印象のために、粒子が聴取者210の前に追加されるのみであることが所望でありうるし、そして、他の音の印象のために、全体の領域に、または、後方だけに粒子を広げることがより良いこともある。
【0080】
拡散パラメータは、例えば、複数の粒子の各々のための位置パラメータのランダムな生成に影響しうる。図7に示される例において、聴取者の正面の粒子の位置の確率は、聴取者の後方においてよりも高い。
【0081】
アンビエンスの密度および/または拡散は、例えば、入力オーディオ信号の密度および拡散とは独立でもあるパラメータによって変動されうる。
【0082】
図7は、記載されているコンセプトを適用することによって、図5に示された信号のアップミックスに関する例を示す。
【0083】
本発明によるいくつかの実施形態において、分離された粒子は、例えば異なるスピーカ間の遅延が用いられる場合、ダブリング効果を回避するために、1つのスピーカだけによって再生される。
【0084】
本発明によるいくつかの実施形態は、選択される入力オーディオ信号の部分を識別するために入力オーディオ信号の解析を実行するように構成された、分類ブロックとしても意味する、解析器を含む。解析器は、部分選択器の一部、または、独立した分離したブロックでもよい。
【0085】
図8は、本発明の一実施形態による入力オーディオ信号102に基づいてマルチチャンネルオーディオ信号142を生成するための装置800のブロック図を示す。この場合、解析器810は、分離したブロックとして示される。
【0086】
解析器810は、入力オーディオ信号に含まれた識別パラメータ、入力オーディオ信号と参照信号との比較、入力オーディオ信号の周波数解析、または、同様の方法に基づいて選択される部分を識別するように構成されうる。例えば、このようにして、入力オーディオ信号におけるアンビエンスのような信号は、識別されうる。例としては、拍手検知器または雨検知器がありうる。
【0087】
解析器810または分類装置は、入力オーディオ信号または入力オーディオ信号の部分が、記載されている方法で処理できるかどうかを決定しうる。その解析または分類の結果に応じて、更なるブロックのパラメータ値、例えば、メイン信号アップミキシング手段、部分選択器、部分信号アップミキシング手段、または、結合器は、修正されうる。
【0088】
例えば、解析器は、(解析)パラメータによって、入力オーディオ信号のどの部分が選択されなければならないかを部分選択器に伝える、あるいは、メインマルチチャンネルオーディオ信号において選択される部分を減らすようにメイン信号アップミキシング手段に命じる。
【0089】
結合器140は、この場合において、メイン信号アップミキシング手段110の出力と部分信号アップミキシング手段130の出力との間の直接の接続を示し、それは、メインマルチチャンネルオーディオ信号と部分アップミックス信号を結合する一つの可能性でありうる。代替手段は、メインマルチチャンネルオーディオ信号および部分アップミックス信号の振幅および/または位相の調整でありうる。
【0090】
本発明によるいくつかの実施形態は、部分選択器、部分信号アップミキシング手段、または、結合器を停止させるように構成された制御器を含む。これらの3つの装置のうちの1つを起動した状態から停止した状態に切り換えることによって、メインマルチチャンネルオーディオ信号および部分アップミックス信号のオーバーレイが妨げられる。その結果、マルチチャンネルオーディオ信号は、メインマルチチャンネルオーディオ信号と(例えば、振幅および位相差を除いて、)基本的に等しい。
【0091】
代替手段は、制御器が部分選択器、部分信号アップミキシング手段、または、結合器の完全に起動された状態と停止された状態との間を連続的に切り替わるように構成されることでありうる。これは、より包み込み、または、没入型である音の印象を得るために、2つの異なる雰囲気間の連続的なフェージングの可能性を供給しうる。
【0092】
制御器は、入力オーディオ信号に含まれた制御パラメータによって制御されうる、あるいは、ユーザインターフェースによって制御されうる。これは、(入力オーディオ信号に含まれた制御パラメータによって)プロデューサーあるいは(ユーザインターフェースによって)聴取者に、好みまたは命令によって音の印象を調整する可能性を与えうる。
【0093】
制御器は、包み込み(デフォルトまたは代替システムでありうる)から没入型の音の印象への、あるいは、没入型から包み込み音の印象への連続的なフェージングの可能性を提供する。
【0094】
本発明によるいくつかの実施形態において、(サラウンド信号に現れる)選択された部分または粒子は、正面の信号において減らされうる。これは、非常に離散的に感知された没入効果を生成しうる。入力信号と比較された粒子の時間的シフトおよび粒子の再使用は不可能でありうる。位置だけは、変更されうる。
【0095】
本発明によるいくつかの更なる実施形態において、良い音を出している音の印象は、1つの特徴を示すのみであり、分離された粒子によってアップグレードされるメイン信号アップミキシング手段(デフォルトアップミックス)によって生成される。従って、同じ入力音が、没入型の直接的な部分と同様に、非相関で、包み込んでいる部分に現れることは、可能でありうる。このことは、例えば、再生されなければならない信号はないので、すなわち、新しい信号がアップミックスによっていずれにしろ生成されるので、可能でありうる。
【0096】
本発明のいくつかの実施形態において、フォアグラウンド音響の単一の要素の時間的シーケンスは変更されうる。そして、包み込みから没入型のアンビエンスへの移行は可能でありうる。また、自動の信号分類は、使用されうる。
【0097】
(ガイドされたモードにおける)アンビエンスの時間的密度、所望の音色および空間的拡散は、元の信号から独立して設定されうる。
【0098】
本発明のいくつかの実施形態は、メイン信号アップミキシング手段のアップミキシング・ルールとは異なったアップミキシング・ルールを使用している部分信号アップミキシング手段に関する。
【0099】
図9は、本発明の一実施形態による入力オーディオ信号102に基づいてマルチチャンネルオーディオ信号142を生成するための装置900のブロック図を示す。
【0100】
装置900は、図8に示された装置に対応する。しかし、解析器810(分類装置)は、この例において、部分選択器120の一部である。そして、解析パラメータ902は、メイン信号アップミキシング手段110および/または部分信号アップミキシング手段130に供給される。
【0101】
加えて、あるいは前述のように、制御器910、部分信号メモリ920およびランダム位置生成器930は示される。
【0102】
この例における部分信号メモリ920は、部分選択器120とつながっており、部分選択器120によって供給された部分信号122を記憶するように構成されており、記憶された部分信号を部分選択器120に供給するように構成される。あるいは、部分信号メモリ920は、部分信号アップミキシング手段130に、直接記憶された部分信号を供給しうる。
【0103】
ランダム位置生成器930は、例えば、部分信号アップミキシング手段130とつながっており、部分信号アップミキシング手段130にランダム位置パラメータを供給するように構成される。あるいは、ランダム位置生成器930は、部分選択器120につながっており、部分信号122が選択されるときに、ランダム位置パラメータを供給しうる。
【0104】
この例における制御器910は、制御パラメータ912によって制御されて、部分選択器120、部分信号アップミキシング手段130、および/または、結合器140とつながっている(参照番号914で示される)。制御器910は、部分選択器120、部分信号アップミキシング手段130、および/または、結合器140を停止しうる。
【0105】
一般に、記載されている発明は、アーチファクトの少ない拍手のようなアンビエンス信号または同様のアンビエンス信号のより良い、そして、より現実的な音を出しているアップミックスを供給しうる。
【0106】
図10は、本発明の一実施形態による入力オーディオ信号に基づいてマルチチャンネルオーディオ信号を生成するための方法1000のフローチャートを示す。その方法1000は、メインマルチチャンネルオーディオ信号を供給するステップ1010と、入力オーディオ信号の部分を選択する、または、選択しないステップ1020と、部分アップミックス信号を供給するステップ1030と、メインマルチチャンネルオーディオ信号および部分アップミキシングをオーバーレイするステップ1040を含む。
【0107】
供給されたメインマルチチャンネルオーディオ信号は、入力オーディオ信号に基づく。
【0108】
入力オーディオ信号の部分の選択1020は、入力オーディオ信号の解析に基づく。そこにおいて、入力オーディオ信号の選択された部分、入力オーディオ信号の処理された選択された部分、または、入力オーディオ信号の選択された部分と関連した参照信号は、部分信号として供給される。
【0109】
供給された部分アップミックス信号は、部分信号に基づく。
【0110】
メインマルチチャンネルオーディオ信号および部分アップミックス信号をオーバーレイすること1040によって、マルチチャンネルオーディオ信号は得られる。
【0111】
本発明によるいくつかの実施形態は、普通のアーチファクトのない付加情報のない(ガイドなしのアップミックス)拍手のような音源をアップミキシングすることの可能性を供給する方法に関する。加えて、記載されている方法は、包み込みまたは没入型の音の印象を得るために2つの異なるコンセプト間で連続的にフェージングする可能性を供給しうる。
【0112】
本発明によるいくつかの更なる実施形態は、制御可能なアップミックス効果に関する。
【0113】
本発明によるいくつかの実施形態は、包み込みアンビエンスおよび没入型アンビエンスと呼ばれうる、アップミックスにおいてアンビエンスおよび/または雰囲気の2つの異なって感じられた印象間でフェードする可能性を供給している方法に関する。
【0114】
本発明によるいくつかの実施形態は、周知のアップミックス方法に基づくメイン信号アップミキシング手段に関する。アップミックスが、部分アップミックス信号のオーバーレイによって拡張されない場合、このアップミックスはデフォルト動作点でありうる。これは、例えば、制御器が、部分選択器、部分信号アップミキシング手段、または、結合器を停止させる場合でありうる。
【0115】
一般に、記載されているコンセプトは、また、模範的に用いられた拍手のような信号以外の信号の種類にも適用されうる。例えば、それは、雨、鳥の群れ、海岸、駆けている馬、行進している兵士の部隊、その他から生じている音にも適用されうる。
【0116】
本出願において、同一参照番号は、同じであるか同様の機能特性を有するオブジェクトおよび演算器のために部分的に使用される。
【0117】
特に、状況に応じて、発明の方式がソフトウェアにおいても実行されうると指摘される。対応している方法が実行されるように、その実行は、プログラミング可能な計算機システムと協動することができる電子的に読み込み可能な制御信号を有するデジタル記憶媒体、特にフロッピー(登録商標)ディスクまたはCDにおいてありうる。一般に、本発明は、このようにまた、コンピュータ・プログラム製品がコンピュータで実行されるとき、発明の方法を実行するための機械で読み取り可能なキャリアに格納されたプログラムコードを有するコンピュータ・プログラム製品にもある。他の言葉で述べれば、本発明は、このようにまた、コンピュータ・プログラム製品がコンピュータで実行されるとき、方法を実行するためのプログラムコードを有するコンピュータ・プログラムとして実現されうる。

【特許請求の範囲】
【請求項1】
入力オーディオ信号(102)に基づいてマルチチャンネルオーディオ信号(142)を生成するための装置(100)であって、
前記入力オーディオ信号(102)に基づいてメインマルチチャンネルオーディオ信号(112)を供給するように構成されたメイン信号アップミキシング手段(110)と、
前記入力オーディオ信号(102)の解析に基づいて前記入力オーディオ信号(102)の部分を選択する、または、選択しないように構成された部分選択器(120)であって、前記入力オーディオ信号(102)の前記選択された部分、前記入力オーディオ信号(102)の処理された選択された部分、または、前記入力オーディオ信号(102)の前記選択された部分と関連した参照信号が、部分信号(122)として供給されることを特徴とする、前記部分選択器と、
前記部分信号(122)に基づいて部分アップミックス信号(132)を供給するように構成された部分信号アップミキシング手段(130)と、
前記マルチチャンネルオーディオ信号(142)を得るために、前記メインマルチチャンネルオーディオ信号(112)および前記部分アップミックス信号(132)をオーバーレイするように構成された結合器(140)と、を含むこと、を特徴とする、装置。
【請求項2】
選択される前記入力オーディオ信号(102)の前記部分を識別するために、前記入力オーディオ信号(102)の前記解析を実行するように構成された解析器(810)を含むこと、を特徴とする、請求項1に記載のマルチチャンネルオーディオ信号を生成するための装置。
【請求項3】
前記解析器(810)が、前記入力オーディオ信号(102)に含まれた識別パラメータ、前記入力オーディオ信号と前記参照信号との比較、または、前記入力オーディオ信号(102)の周波数解析に基づいて、前記入力オーディオ信号(102)の前記部分を識別するように構成されること、を特徴とする、請求項2に記載のマルチチャンネルオーディオ信号を生成するための装置。
【請求項4】
前記解析器(810)は解析パラメータを供給することを特徴とし、前記メイン信号アップミキシング手段(110)は前記解析パラメータに基づいて前記メインマルチチャンネルオーディオ信号を供給すること、または、前記部分信号アップミキシング手段(130)は前記解析パラメータに基づいて前記部分アップミックス信号(132)を供給すること、を特徴とする、請求項2または請求項3に記載のマルチチャンネルオーディオを生成するための装置。
【請求項5】
前記部分信号または処理された部分信号を記憶するように構成された部分信号メモリ(920)を含み、前記部分信号アップミキシング手段(130)は、前記記憶された部分信号、前記記憶された処理された部分信号、修正された記憶された部分信号、または、修正された記憶された処理された部分信号に基づいて複数の部分アップミックス信号(132)を供給するように構成されること、を特徴とする、請求項1〜請求項4のいずれか一項に記載のマルチチャンネルオーディオを生成するための装置。
【請求項6】
前記部分信号アップミキシング手段(130)は、前記記憶された部分信号または前記記憶された処理された部分信号に基づいて所定の数の部分アップミックス信号(132)を供給するように構成されることと、前記所定の数の部分アップミックス信号(132)は、密度パラメータによって決定されること、を特徴とする、請求項5に記載のマルチチャンネルオーディオを生成するための装置。
【請求項7】
前記部分信号アップミキシング手段(130)は、位置パラメータに基づいて前記部分アップミックス信号(132)を供給するように構成されることと、前記マルチチャンネルオーディオ信号の各チャンネルに対して、前記部分信号に基づいた前記マルチチャンネルオーディオ信号の一部は、前記位置パラメータに基づくこと、を特徴とする、請求項1〜請求項6のいずれか一項に記載のマルチチャンネルオーディオを生成するための装置。
【請求項8】
ランダム位置パラメータを生成するように構成されたランダム位置生成器(930)を含むこと、を特徴とする、請求項7に記載のマルチチャンネルオーディオ信号を生成するための装置。
【請求項9】
前記部分信号アップミキシング手段(130)は、拡散パラメータに基づいて前記複数の部分アップミックス信号(132)を供給するように構成されることと、前記複数の部分アップミックス信号(132)の各部分アップミックス信号(132)は、個々の位置パラメータに基づくことと、前記複数の位置パラメータは、前記拡散パラメータに基づくこと、を特徴とする、請求項7または請求項8に記載のマルチチャンネルオーディオを生成するための装置。
【請求項10】
前記メイン信号アップミキシング手段(110)は、前記入力オーディオ信号(102)の前記選択された部分と関連した前記入力オーディオ信号(102)の一部を減らすように構成されること、を特徴とする、請求項1〜請求項10のいずれか一項に記載のマルチチャンネルオーディオ信号を生成するための装置。
【請求項11】
前記マルチチャンネルオーディオ信号(142)が、前記メインマルチチャンネルオーディオ信号(112)と等しい、または、前記メインマルチチャンネルオーディオ(112)であるように、前記部分選択器(120)、前記部分信号アップミキシング手段(130)、または、前記結合器(140)を停止させるように構成された制御器を含み、前記制御器は、前記入力オーディオ信号(102)に含まれた制御パラメータによって制御される、または、ユーザインターフェースによって制御されること、を特徴とする、請求項1〜請求項10のいずれか一項に記載のマルチチャンネルオーディオ信号を生成するための装置。
【請求項12】
入力オーディオ信号に基づいてマルチチャンネルオーディオ信号を生成するための方法(1000)であって、
前記入力オーディオ信号に基づいてメインマルチチャンネルオーディオ信号を供給する(1010)ステップと、
前記入力オーディオ信号の解析に基づいて前記入力オーディオ信号の部分を選択する、または、選択しないステップ(1020)であって、前記入力オーディオ信号の前記選択された部分、前記入力オーディオ信号の処理された選択された部分、または、前記入力オーディオ信号の前記選択された部分と関連した参照信号は、部分信号として供給されることを特徴とするステップと、
前記部分信号に基づいて部分アップミックス信号を供給するステップ(1030)と、
前記マルチチャンネルオーディオ信号を得るために、前記メインマルチチャンネルオーディオ信号と前記部分アップミックス信号をオーバーレイするステップ(1040)と、を含むこと、を特徴とする、方法。
【請求項13】
コンピュータ・プログラムがコンピュータまたはマイクロコントローラ上で動作するときに、請求項12に記載の方法を実行するためのプログラムコードを有する、前記コンピュータ・プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate


【公表番号】特表2012−511845(P2012−511845A)
【公表日】平成24年5月24日(2012.5.24)
【国際特許分類】
【出願番号】特願2011−539900(P2011−539900)
【出願日】平成20年12月11日(2008.12.11)
【国際出願番号】PCT/EP2008/010553
【国際公開番号】WO2010/066271
【国際公開日】平成22年6月17日(2010.6.17)
【出願人】(591037214)フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ (259)
【Fターム(参考)】