マルチチャンネルリスニングにおける自然のまたは修正された空間印象を再生するための方法
【課題】この発明は、マルチチャンネルまたはバイノーラルリスニングにおける既存の空間の空間印象を再生するための方法に関する。
【解決手段】方法は、次のステップ／段階を含む。
ａ．多重マイクロフォンを使用して部屋の音またはインパルス応答を録音。
ｂ．インパルス応答または録音された音の時刻依存処理と周波数依存処理。
ｃ．録音室にいたときの音の空間特性を再生するために、マルチチャンネルラウドスピーカ設備への音の処理。
ｄ．（ｃの替わりに）マルチチャンネルラウドスピーカ設備へのインパルス応答の処理、任意のサウンド信号のマルチチャンネル再生へ測定室の空間特性を導入するために、伝達された応答と任意のモノラルのサウンド信号との畳み込み演算処理。
そして、この発明は、サウンドスタジオテクノロジー、オーディオ放送、オーディオ再生において適用される。
【解決手段】方法は、次のステップ／段階を含む。
ａ．多重マイクロフォンを使用して部屋の音またはインパルス応答を録音。
ｂ．インパルス応答または録音された音の時刻依存処理と周波数依存処理。
ｃ．録音室にいたときの音の空間特性を再生するために、マルチチャンネルラウドスピーカ設備への音の処理。
ｄ．（ｃの替わりに）マルチチャンネルラウドスピーカ設備へのインパルス応答の処理、任意のサウンド信号のマルチチャンネル再生へ測定室の空間特性を導入するために、伝達された応答と任意のモノラルのサウンド信号との畳み込み演算処理。
そして、この発明は、サウンドスタジオテクノロジー、オーディオ放送、オーディオ再生において適用される。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、マルチチャンネルまたはバイノーラル（両耳の）リスニングにおける既存の空間の空間印象を再生するための方法に関する。それは、次のステップ／段階を含む。
１．多重マイクロフォンを使用して部屋の音またはインパルス応答を録音。
２．インパルス応答または録音された音の時刻依存処理と周波数依存処理。
３．録音室にいたときの音の空間特性を再生するために、マルチチャンネルラウドスピーカ設備への音の処理。
４．（３の替わりに）マルチチャンネルラウドスピーカ設備へのインパルス応答の処理、任意のサウンド信号のマルチチャンネル再生へ測定部屋の空間特性を導入するために、伝達された応答と任意のモノラルのサウンド信号との畳み込み演算処理。
そして、この発明は、サウンドスタジオテクノロジー、オーディオ放送、オーディオ再生において適用される。
【背景技術】
【０００２】
音を聴くときに、人間のリスナーは、いつもある種の空間印象を受け取る。リスナーは、確かな的確さで音源の方向と距離を感知することができる。部屋において、音源の音は、部屋における壁と他の障害物からの反射と回折と同様に、音源から直接に放射される音のなす音場を想起させる。この音場に基づいて、人間のリスナーは、部屋の物理的音響学的特性についておおよその推理をする。サウンドテクノロジーの一つの目標は、録音空間にいたときと同様の空間特性を再生することにある。現在、空間印象は、質がかなり低下することなしに、録音され再生されることはない。
【０００３】
人間のヒヤリングのメカニズムは、かなりよく知られている。耳の生理機能は、ヒヤリングの周波数分解能を決定する。リスナーの耳に到達する広帯域信号は、約４０周波数バンドを使用して解析される。空間印象の認知は、主として耳間の時間差（ＩＴＤ）、耳間のレベル差（ＩＬＤ）に基づいている。そして、それらも、前に述べた４０周波数バンド内で解析される。ＩＴＤとＩＬＤは、またローカライゼーションキューとも呼ばれる。ある音響環境の固有の空間情報を再生するために、同様のローカライゼーションキューは、音を再生している間に作成される必要がある。
【０００４】
第１のラウドスピーカシステムとそれらによって作成されることができる空間印象について考える。特別なテクニックなしに、一般的な２チャンネルの立体音響の設備は、ラウドスピーカに接続されたライン上に聴覚性イベントを作成することだけができる。他の方向から放射される音は、産出されえない。リスナーのまわりのより多くのラウドスピーカを使用することによって論理的に、より多くの方向がカバーされ得るし、さらに自然な空間印象が形成され得る。最も良く知られたマルチチャンネルラウドスピーカシステムとレイアウトは、５．１スタンダード（ＩＴＵ−Ｒ ７７５−１）であり、それは、お互いに対して、０°，±３０°，±１１０°の方位角をなしている、５つのラウドスピーカからなる。異なった方向に位置するラウドスピーカの数が変化する他のシステムも、提案されている。いくつかの既存のシステムは、特に劇場や音楽設備において、異なった高さのラウドスピーカも含む。
【０００５】
リスニング環境における空間印象を録音環境において感知されるように再生するために、いくつかの異なった録音方法が、前述のラウドスピーカシステムに対して設計されている。選択されたマルチチャンネルラウドスピーカシステムに対して空間サウンドを記録するための理想的な方法は、ラウドスピーカがあるところと同数のマイクロフォンを使用することであろう。そのようなケースでは、マイクロフォンの指向性のパターンは、どのような単一方向からの音であっても、１つ、２つ、または３つのマイクロフォンでのみ録音されるであろうラウドスピーカのレイアウトに一致すべきである。より多くのラウドスピーカが用いられ、より狭い指向性パターンがこうして必要である。しかしながら、現在のマイクロフォンテクノロジーは、必要とされる指向性のマイクロフォンを製作することはできない。さらに、広すぎる指向性パターンを持ついくつかのマイクロフォンを使用することは、単一方向から放射される音は、いつも必要よりも多くのラウンドスピーカで再生されるという事実のために、影響を受けてぼけた聴覚という結果に終わる。それ故に、既存のマイクロフォンは、とりまく空間印象の目的なしになされる２チャンネル録音と再生に最も適している。
【０００６】
問題は、マルチチャンネルラウドスピーカシステムを変更して、再生される空間サウンドをどのように録音するかということである。
【０００７】
もしマイクロフォンが音源の近くに置かれた場合は、録音室の音響効果は、録音信号にほとんど影響されない。このような場合には、空間印象は、音をミキシングしながら、リバーブレーターで加えられるか作成される。もし、音が、まるで特定の音響環境において録音されたかのように、知覚を生じさせるようにされているなら、音響効果は、マルチチャンネルインパルス応答の測定と、リバーブレーターを用いた音源の信号でそれを畳み込み演算処理することによって、シミュレートされうる。この方法は、インパルス応答が測定された音響環境における音源を録音することに相当するラウドスピーカ信号を生成する。問題は、リバーブレーターのための適正なインパルス応答をどのようにして作成するかである。
【０００８】
この発明は、任意のマルチチャンネルラウドスピーカシステムを用いて任意の部屋の音響効果または音響環境を再生するための一般的な方法である。この方法は、既存の方法で達成されるよりも、よりシャープな、より自然な空間印象を作成する。この方法は、ある部屋の音響パラメータを修正することによって、取得された音響効果の改善も可能にする。
【０００９】
従来の方法
マルチチャンネルラウドスピーカシステムに関連して、空間印象は、以前は、プロのサウンドエンジニアによって作り出されたその場限りの方法で形成されていた。これらの方法は、いくつかのリバーブレーターの利用、及び録音環境において音源の近くと遠くに置かれたマイクロフォンで録音された音のミキシングを含む。そのような方法は、正確には、特定の音響環境を再生することができず、最終結果は、人工的に聴こえる。さらに、音はいつも選択されたラウドスピーカ設備に対してミックスされる必要があり、異なったラウドスピーカシステムに対して、再生するために直接的に変換することができない。
【００１０】
空間の音を録音するための２つの主な原理は、例えば非特許文献１に提案されている。
【００１１】
第１の原理は、１０ｃｍ以上離れたインターマイクロフォン距離で、再生システムにおけるそれぞれのラウドスピーカごとに一つのマイクロフォンを使用する。いくつかの関連した問題については、既に述べた。この種のテクニックは、良い全体の空間印象を作成するが、再生された音のイベントの知覚される方向は、あいまいで、それらの音は、影響を受けるかもしれない。多数のラウドスピーカを使用するときに、録音状態におけるのと同様な多数のマイクロフォンを使用するのは、ほとんど不可能である。さらに、ラウドスピーカ設備は、予め正確に知られなければならず、そして、録音されたサウンドは、異なったラウドスピーカ設備や再生システムで再生され得ない。
【００１２】
その方法の第２のグループは、指向性マイクロフォンをお互いにできるだけ近くに位置させる。サウンドフィールド（SoundField）マイクロフォンとマイクロフローン（Microflown）マイクロフォンとして知られている２つの商用的なマイクロフォンがある。それらは、空間サウンドを録音するために特別にデザインされたものである。これらのシステムは、直交座標軸に相当する方向に並んだ８の字指向性パターンで、無指向性の応答（Ｗ）と３つの指向性応答（Ｘ，Ｙ，Ｚ）を記録できる。これらの応答を用いて、どのような方向をも指す１次微分指向性パターン（８の字、カージオイド（心臓形）、ハイパーカージオイドなど）に相当する「仮想のマイクロフォン信号」を作成することが可能である。
【００１３】
アンビソニックステクノロジーは、そのような仮想マイクロフォンを使用することに基づいている。音は、サウンドフィールドマイクロフォンか同等のシステムで録音され、再生中に、仮想マイクロフォンはそれぞれのラウドスピーカに対して向けられる。これら仮想マイクロフォンの信号は、相当するラウドスピーカに与えられる。１次微分指向性パターンは、ブロードであり、異なった方位から放射される音は、いつも、ほとんど全てのラウドスピーカで再生される。こうして、ラウドスピーカチャンネル間には、多くのクロストークがある。結果として、最もよい空間印象が知覚されるリスニングエリアは、狭く、知覚される音響イベントの方向は、あいまいで、それらの音は、影響を受ける。
【００１４】
【非特許文献１】Farina, A. &Ayalon, R. Recording concert hall acoustics for posterity. AES 24thInternational Conference on Multichannel Audio.
【非特許文献２】Merimaa J.Applications of a 3-D microphone array. AES 112th Conv. Munich, Germany, May10-13,2002. Preprint 5501.
【非特許文献３】Pulkki V.Localization of amplitude-panned virtual sources 11 : Two-and three-dimensionalpanning. J. Audio Eng. Soc. Vol. 49, no 9, pp. 753-767. 2001.
【非特許文献４】Gerzon M. A.Periphony: With-height sound reproduction. J. Audio Eng. Soc. Vol 21, no 1, pp.2-10.1973
【非特許文献５】Berkhout A. J. Awavefield approach to multichannel sound. AES 104 tu Conv. Amsterdam, TheNetherlands, May 16-19, 1998. Preprint 4749.
【非特許文献６】Begault D. R. 3-Dsound for virtual reality and multimedia. Academic Press, Cambridge, MA. 1994.
【非特許文献７】Faller C. &Baumgarte, F. Efficient representation of spatial audio using perceptualparameterization. IEEE Workshop on Appl. of Sig. Proc. to Audio and Acoust.,New Paltz, USA, Oct. 21-24,2001.
【非特許文献８】Faller C. &Baumgarte, F. Binaural cue coding applied to stereo and multichannel audiocompression. AES 112th Conv. Munich, Germany, May 10-13,2002. Preprint 5574.
【非特許文献９】Pulkki, V.Microphone techniques and directional quality of sound reproduction. AES 112thConv. Munich, Germany, May 10-13,2002. Preprint 5500.
【発明の開示】
【課題を解決するための手段】
【００１５】
発明
発明の目的は、マルチチャンネルラウドスピーカシステムを使用して、できるだけ正確に既存の音響環境の空間印象を再生することにある。選択された環境内で、応答（連続音またはインパルス応答）は、無指向性マイクロフォン（Ｗ）と、音の到着の方向を測ることを可能とするマイクロフォンセットで、測定される。一般的な方法は、直交座標軸に並んだ３つの８の字マイクロフォン（Ｘ，Ｙ，Ｚ）を適用することである。これをするための最も実践的な方法は、サウンドフィールド（SoundField）またはマイクロフローン（Microflown）システムを使うことであり、それは、直接に全ての所望する応答を生成する。
【００１６】
提案された方法において、ラウドスピーカに与えられる唯一のサウンド信号は、無指向性応答Ｗである。付加的な応答が、時刻に依存するいくつかの、または全部のラウドスピーカへ、Ｗを向けるためにデータとして使用される。
【００１７】
この発明において、取得される信号は、例えば、人間のヒヤリングまたはより優れているものの分解能を使用して、周波数バンドに分割される。これは、例えば、フィルター・バンクまたは短時間フーリエ変換の使用によって実現され得る。それぞれの周波数バンド内で、音の到着の方向は、時刻の関数として決定される。決定は、例えば、音の強度の評価、または相互相関に基づく方法（非特許文献２）などの、標準的な方法に基づいてなされる。この情報に基づいて、無指向性応答は、評価された方向に位置付けられる。ここでの位置付けは、リスナーに関するある方向へモノラルの音をだす方法を表す。このような方法は、例えば、ペアワイズまたはトリプレットワイズ振幅パニング(pair- or triplet-wise amplitude panning) （非特許文献３）、アンビソニックス（Ambisonics）（非特許文献４）、波動場統合（Wave Field Synthesis）（非特許文献５）、両耳処理（binaural processing）（非特許文献６）である。
【００１８】
そのような処理で、それぞれの時刻、それぞれの周波数バンドにおいて、同様のローカライゼーションキューは、録音空間に現れるであろうリスナーへ伝達されると仮定することができる。こうして、広すぎるマイクロフォンビームの問題は、克服される。その方法は、再生システムに従って、ビームを効果的に狭める。
【００１９】
その方法は、前にも述べたように、それでもなお十分によい方法ではない。音は、いつも明確な方向から放射されていると仮定されている。これは、例えば、拡散反射残響における場合、真実ではない。この発明において、それぞれの周波数バンドにおいて、それぞれの時刻において、音の拡散性も、加えて到着方向も評価することによって、これは解決される。もし拡散性が高ければ、異なった空間化法が拡散印象を作成するために使用される。もし音の方向が音の強度を使用して評価されるなら、拡散性は、アクティブな強度の大きさとサウンドパワーとの比から得られる。計算された係数がゼロに近いとき、拡散性は高い。同様に、係数が１に近いとき、音は、到着の方向がはっきりしている。拡散空間化は、一度に、処理された音をより多くのラウドスピーカに伝達することによって、また、場合により異なったラウドスピーカにおける音の位相を変えることによって、実現され得る。
【発明を実施するための最良の形態】
【００２０】
以下に発明をリストとして記載する。この場合において、音の方向を計算するための方法は、音の強度測定に基づき、位置付けは、ペアワイズ、またはトリプレットワイズの振幅パニングで行われる。ステップ１−４は、図１、ステップ５−７は、図２に関する。
【００２１】
１ 音響環境のインパルス応答が測定されるか若しくはシミュレートされ、又は連続音が、一つの無指向性マイクロフォン（Ｗ）と、相当する直交座標軸の方向に並んだ３つの８の字マイクロフォン（Ｘ，Ｙ，Ｚ）の信号を産出するマイクロフォンシステムとを使用した音響環境において録音される。これは、例えば、サウンドフィールド（SoundField）マイクロフォンを使用して得られる。
【００２２】
２ 得られた応答又は音は、例えば、人間のヒヤリングの分解能に従って、周波数バンドに分解される。
【００２３】
３ それぞれの周波数バンドにおいて、音のアクティブ強度は時刻の関数として評価される。
【００２４】
４ それぞれの時刻における音の拡散性は、アクティブ強度の大きさとサウンドパワーの比に基づいて評価される。サウンドパワーは、信号Ｗから導き出される。
【００２５】
５ それぞれの時刻において、それぞれの周波数バンドの信号は、アクティブ強度ベクトルによって決められた方向へパン（振向け）される（is panned）。
【００２６】
６ ある周波数バンドにおける、ある時刻における拡散性が高ければ、サウンド信号Ｗの相当する部分は、同時にいくつかの方向にパンされる。
【００２７】
７ それぞれの時刻におけるそれぞれのラウドスピーカチャンネルの周波数バンドは、マルチチャンネルインパルス応答またはマルチチャンネル録音の結果として、結合される。
【００２８】
結果は、パンが実行されるマルチチャンネルラウドスピーカシステムを使って、聴くことができる。もしインパルス応答が処理されるならば、その結果応答は、録音空間において知覚されたものに相当する空間印象を生じるためのリバーブレーターに基づいた畳み込み演算処理において使用される。アンビソニックスに比べて、本発明は、いくつかの利点を備える。
【００２９】
１ はっきりと局在化しうるサウンドイベントは、多くても２つ又は３つのラウドスピーカ（それぞれペアワイズまたはトリプレットワイズ振幅パニング）でいつも再生されるから、知覚される空間印象は、よりシャープであり、再生室におけるリスニング位置に依存しない。
【００３０】
２ 同様の理由で、音は、より影響されない。
【００３１】
３ 高質のマルチチャンネルインパルス応答を得るために、高質の無指向性マイクロフォンのみが必要とされる。強度測定におけるマイクロフォンに対する要求は、高くはない。
【００３２】
同様の利点が、音の録音、再生において同様の数のマイクロフォンとラウドスピーカを使用する方法と比較して、適合する。
加えて、
４ 単一の測定からのデータから、任意のラウドスピーカシステムに対するマルチチャンネル応答を得ることが可能である。
【００３３】
インパルス応答を処理するとき、生成された残響を変えるための手段も、その方法は、提供する。ほとんどの既存の部屋の音響的なパラメータは、測定されたインパルス応答の時刻−周波数特性を表現する。これらのパラメータは、マルチチャンネルインパルス応答の復元の間、時刻−周波数依存の重み付けによって、容易に修正され得る。加えて、異なった方向から放射されるサウンドエネルギーの量は、調整され得るし、音場の方向は、変更され得る。さらに、直接の音と第１反射音（遅延前残響項において）の時間遅延は、現在のアプリケーションの必要性に従って、カスタマイズされる。
【００３４】
他の応用分野
この発明に従った方法は、マルチチャンネルサウンドのオーディオコーディングに適用され得る。いくつかのオーディオチャンネルの代わりに、唯一のチャンネルといくつかの副情報が伝達される。Christof FallerとFrank Baumgate（非特許文献７，８）は、マルチチャンネル信号からのローカライゼーションキューの解析に基づいた、より発展していないコーディング法を提案した。オーディオコーディングアプリケーションにおいて、もし、方向の精度が意図的に妥協されるのでないならば、処理方法は、残響アプリケーションに比較して、いくぶんか低下した質を形成する。にもかかわらず、特にビデオやテレビ会議のアプリケーションにおいて、その方法は、空間サウンドを録音し伝達するために使用され得る。
【００３５】
実施例
音の再生において、振幅パンは、アンビソニックス（非特許文献９）よりもより良いＩＴＤ、ＩＬＤキューを生成することが示された。振幅パンは、長い間、ラウンドスピーカ間の選択されたポイントにおける非反響音源の位置付けのための標準的な方法であった。この発明に従った方法は、すべての音響環境の再生精度を改善する。
【００３６】
提案されたシステムのパフォーマンスは、５．１設備の使用と同様に、リスナー上のラウドスピーカを含んでいる１６チャンネルラウドスピーカシステムを使用する正式のリスニングテストにおいて評価されてきた。アンビソニックスに比較して、空間印象は、より正確で、音は、より影響を受けない。空間印象は、測定された音響環境に近い。
【００３７】
提案された方法を使用したコンサートホールの音響効果のラウンドスピーカ再生は、同じホールにおいて、ダミーヘッドで作られた録音のバイノーラルヘッドフォン再生とも比較されてきた。バイノーラル収音は、既存空間の音響効果を再生するための最もよく知られた方法である。しかしながら、バイノーラル収音の高質再生は、ヘッドフォンによってのみ実現され得る。プロのリスナーのコメントに基づいて、空間印象は、いずれにしてもほとんど同じで、しかし、ラウドスピーカ再生において、音は、より具体化する。
【００３８】
発明の詳細な実現は、次の例で説明されている。
【００３９】
１．Finnish Oopperataloや他のパフォーマンス空間のインパルス応答は、音源がステージの３箇所に位置して、マイクロフォンシステムが聴衆エリア＝９応答において３箇所に位置することで測定される。機材：標準的なＰＣ、マルチチャンネルサウンドカード、例えば、ＭＯＴＵ８１８；測定ソフトウェア、例えば、CoolEdit pro またはWinMLS;マイクロフォンシステム、例えば、SoundField SPSS 422B。
【００４０】
２．再生のためのラウドスピーカシステムは、例えば、中間ラウドスピーカがない５．１スタンダードによって定義される。この例において、中間ラウドスピーカは、省かれる。なぜなら、残響は、４チャンネルリバーブレーターで再生される。
【００４１】
３．発明に一致したソフトウェアで、インパルス応答は、それぞれの音源とマイクロフォンとの組合せに対応するすべてのラウドスピーカに対して算出される。
【００４２】
４．所望の音源材料は、音源とマイクロフォンとの組合せに対応するインパルス応答で畳み込み演算され、結果としての音が、算定される。異なった音源とマイクロファンとの組合せのサウンドインプレッションは、現在のアプリケーションに最も適用したものを選択するために、比較され得る。加えて、いくつかの音源の場所を使用して、異なった音原材料は、音場において異なった場所に位置付けられ得る。機器は、標準的なＰＣ、または畳み込みリバーブレーター、例えば、YAMAHA SREV1;この場合は、加えて４つのラウドスピーカによって、構成されることができる。
【図面の簡単な説明】
【００４３】
【図１】ステップ１−４を説明する図。
【図２】ステップ５−７を説明する図。
【技術分野】
【０００１】
この発明は、マルチチャンネルまたはバイノーラル（両耳の）リスニングにおける既存の空間の空間印象を再生するための方法に関する。それは、次のステップ／段階を含む。
１．多重マイクロフォンを使用して部屋の音またはインパルス応答を録音。
２．インパルス応答または録音された音の時刻依存処理と周波数依存処理。
３．録音室にいたときの音の空間特性を再生するために、マルチチャンネルラウドスピーカ設備への音の処理。
４．（３の替わりに）マルチチャンネルラウドスピーカ設備へのインパルス応答の処理、任意のサウンド信号のマルチチャンネル再生へ測定部屋の空間特性を導入するために、伝達された応答と任意のモノラルのサウンド信号との畳み込み演算処理。
そして、この発明は、サウンドスタジオテクノロジー、オーディオ放送、オーディオ再生において適用される。
【背景技術】
【０００２】
音を聴くときに、人間のリスナーは、いつもある種の空間印象を受け取る。リスナーは、確かな的確さで音源の方向と距離を感知することができる。部屋において、音源の音は、部屋における壁と他の障害物からの反射と回折と同様に、音源から直接に放射される音のなす音場を想起させる。この音場に基づいて、人間のリスナーは、部屋の物理的音響学的特性についておおよその推理をする。サウンドテクノロジーの一つの目標は、録音空間にいたときと同様の空間特性を再生することにある。現在、空間印象は、質がかなり低下することなしに、録音され再生されることはない。
【０００３】
人間のヒヤリングのメカニズムは、かなりよく知られている。耳の生理機能は、ヒヤリングの周波数分解能を決定する。リスナーの耳に到達する広帯域信号は、約４０周波数バンドを使用して解析される。空間印象の認知は、主として耳間の時間差（ＩＴＤ）、耳間のレベル差（ＩＬＤ）に基づいている。そして、それらも、前に述べた４０周波数バンド内で解析される。ＩＴＤとＩＬＤは、またローカライゼーションキューとも呼ばれる。ある音響環境の固有の空間情報を再生するために、同様のローカライゼーションキューは、音を再生している間に作成される必要がある。
【０００４】
第１のラウドスピーカシステムとそれらによって作成されることができる空間印象について考える。特別なテクニックなしに、一般的な２チャンネルの立体音響の設備は、ラウドスピーカに接続されたライン上に聴覚性イベントを作成することだけができる。他の方向から放射される音は、産出されえない。リスナーのまわりのより多くのラウドスピーカを使用することによって論理的に、より多くの方向がカバーされ得るし、さらに自然な空間印象が形成され得る。最も良く知られたマルチチャンネルラウドスピーカシステムとレイアウトは、５．１スタンダード（ＩＴＵ−Ｒ ７７５−１）であり、それは、お互いに対して、０°，±３０°，±１１０°の方位角をなしている、５つのラウドスピーカからなる。異なった方向に位置するラウドスピーカの数が変化する他のシステムも、提案されている。いくつかの既存のシステムは、特に劇場や音楽設備において、異なった高さのラウドスピーカも含む。
【０００５】
リスニング環境における空間印象を録音環境において感知されるように再生するために、いくつかの異なった録音方法が、前述のラウドスピーカシステムに対して設計されている。選択されたマルチチャンネルラウドスピーカシステムに対して空間サウンドを記録するための理想的な方法は、ラウドスピーカがあるところと同数のマイクロフォンを使用することであろう。そのようなケースでは、マイクロフォンの指向性のパターンは、どのような単一方向からの音であっても、１つ、２つ、または３つのマイクロフォンでのみ録音されるであろうラウドスピーカのレイアウトに一致すべきである。より多くのラウドスピーカが用いられ、より狭い指向性パターンがこうして必要である。しかしながら、現在のマイクロフォンテクノロジーは、必要とされる指向性のマイクロフォンを製作することはできない。さらに、広すぎる指向性パターンを持ついくつかのマイクロフォンを使用することは、単一方向から放射される音は、いつも必要よりも多くのラウンドスピーカで再生されるという事実のために、影響を受けてぼけた聴覚という結果に終わる。それ故に、既存のマイクロフォンは、とりまく空間印象の目的なしになされる２チャンネル録音と再生に最も適している。
【０００６】
問題は、マルチチャンネルラウドスピーカシステムを変更して、再生される空間サウンドをどのように録音するかということである。
【０００７】
もしマイクロフォンが音源の近くに置かれた場合は、録音室の音響効果は、録音信号にほとんど影響されない。このような場合には、空間印象は、音をミキシングしながら、リバーブレーターで加えられるか作成される。もし、音が、まるで特定の音響環境において録音されたかのように、知覚を生じさせるようにされているなら、音響効果は、マルチチャンネルインパルス応答の測定と、リバーブレーターを用いた音源の信号でそれを畳み込み演算処理することによって、シミュレートされうる。この方法は、インパルス応答が測定された音響環境における音源を録音することに相当するラウドスピーカ信号を生成する。問題は、リバーブレーターのための適正なインパルス応答をどのようにして作成するかである。
【０００８】
この発明は、任意のマルチチャンネルラウドスピーカシステムを用いて任意の部屋の音響効果または音響環境を再生するための一般的な方法である。この方法は、既存の方法で達成されるよりも、よりシャープな、より自然な空間印象を作成する。この方法は、ある部屋の音響パラメータを修正することによって、取得された音響効果の改善も可能にする。
【０００９】
従来の方法
マルチチャンネルラウドスピーカシステムに関連して、空間印象は、以前は、プロのサウンドエンジニアによって作り出されたその場限りの方法で形成されていた。これらの方法は、いくつかのリバーブレーターの利用、及び録音環境において音源の近くと遠くに置かれたマイクロフォンで録音された音のミキシングを含む。そのような方法は、正確には、特定の音響環境を再生することができず、最終結果は、人工的に聴こえる。さらに、音はいつも選択されたラウドスピーカ設備に対してミックスされる必要があり、異なったラウドスピーカシステムに対して、再生するために直接的に変換することができない。
【００１０】
空間の音を録音するための２つの主な原理は、例えば非特許文献１に提案されている。
【００１１】
第１の原理は、１０ｃｍ以上離れたインターマイクロフォン距離で、再生システムにおけるそれぞれのラウドスピーカごとに一つのマイクロフォンを使用する。いくつかの関連した問題については、既に述べた。この種のテクニックは、良い全体の空間印象を作成するが、再生された音のイベントの知覚される方向は、あいまいで、それらの音は、影響を受けるかもしれない。多数のラウドスピーカを使用するときに、録音状態におけるのと同様な多数のマイクロフォンを使用するのは、ほとんど不可能である。さらに、ラウドスピーカ設備は、予め正確に知られなければならず、そして、録音されたサウンドは、異なったラウドスピーカ設備や再生システムで再生され得ない。
【００１２】
その方法の第２のグループは、指向性マイクロフォンをお互いにできるだけ近くに位置させる。サウンドフィールド（SoundField）マイクロフォンとマイクロフローン（Microflown）マイクロフォンとして知られている２つの商用的なマイクロフォンがある。それらは、空間サウンドを録音するために特別にデザインされたものである。これらのシステムは、直交座標軸に相当する方向に並んだ８の字指向性パターンで、無指向性の応答（Ｗ）と３つの指向性応答（Ｘ，Ｙ，Ｚ）を記録できる。これらの応答を用いて、どのような方向をも指す１次微分指向性パターン（８の字、カージオイド（心臓形）、ハイパーカージオイドなど）に相当する「仮想のマイクロフォン信号」を作成することが可能である。
【００１３】
アンビソニックステクノロジーは、そのような仮想マイクロフォンを使用することに基づいている。音は、サウンドフィールドマイクロフォンか同等のシステムで録音され、再生中に、仮想マイクロフォンはそれぞれのラウドスピーカに対して向けられる。これら仮想マイクロフォンの信号は、相当するラウドスピーカに与えられる。１次微分指向性パターンは、ブロードであり、異なった方位から放射される音は、いつも、ほとんど全てのラウドスピーカで再生される。こうして、ラウドスピーカチャンネル間には、多くのクロストークがある。結果として、最もよい空間印象が知覚されるリスニングエリアは、狭く、知覚される音響イベントの方向は、あいまいで、それらの音は、影響を受ける。
【００１４】
【非特許文献１】Farina, A. &Ayalon, R. Recording concert hall acoustics for posterity. AES 24thInternational Conference on Multichannel Audio.
【非特許文献２】Merimaa J.Applications of a 3-D microphone array. AES 112th Conv. Munich, Germany, May10-13,2002. Preprint 5501.
【非特許文献３】Pulkki V.Localization of amplitude-panned virtual sources 11 : Two-and three-dimensionalpanning. J. Audio Eng. Soc. Vol. 49, no 9, pp. 753-767. 2001.
【非特許文献４】Gerzon M. A.Periphony: With-height sound reproduction. J. Audio Eng. Soc. Vol 21, no 1, pp.2-10.1973
【非特許文献５】Berkhout A. J. Awavefield approach to multichannel sound. AES 104 tu Conv. Amsterdam, TheNetherlands, May 16-19, 1998. Preprint 4749.
【非特許文献６】Begault D. R. 3-Dsound for virtual reality and multimedia. Academic Press, Cambridge, MA. 1994.
【非特許文献７】Faller C. &Baumgarte, F. Efficient representation of spatial audio using perceptualparameterization. IEEE Workshop on Appl. of Sig. Proc. to Audio and Acoust.,New Paltz, USA, Oct. 21-24,2001.
【非特許文献８】Faller C. &Baumgarte, F. Binaural cue coding applied to stereo and multichannel audiocompression. AES 112th Conv. Munich, Germany, May 10-13,2002. Preprint 5574.
【非特許文献９】Pulkki, V.Microphone techniques and directional quality of sound reproduction. AES 112thConv. Munich, Germany, May 10-13,2002. Preprint 5500.
【発明の開示】
【課題を解決するための手段】
【００１５】
発明
発明の目的は、マルチチャンネルラウドスピーカシステムを使用して、できるだけ正確に既存の音響環境の空間印象を再生することにある。選択された環境内で、応答（連続音またはインパルス応答）は、無指向性マイクロフォン（Ｗ）と、音の到着の方向を測ることを可能とするマイクロフォンセットで、測定される。一般的な方法は、直交座標軸に並んだ３つの８の字マイクロフォン（Ｘ，Ｙ，Ｚ）を適用することである。これをするための最も実践的な方法は、サウンドフィールド（SoundField）またはマイクロフローン（Microflown）システムを使うことであり、それは、直接に全ての所望する応答を生成する。
【００１６】
提案された方法において、ラウドスピーカに与えられる唯一のサウンド信号は、無指向性応答Ｗである。付加的な応答が、時刻に依存するいくつかの、または全部のラウドスピーカへ、Ｗを向けるためにデータとして使用される。
【００１７】
この発明において、取得される信号は、例えば、人間のヒヤリングまたはより優れているものの分解能を使用して、周波数バンドに分割される。これは、例えば、フィルター・バンクまたは短時間フーリエ変換の使用によって実現され得る。それぞれの周波数バンド内で、音の到着の方向は、時刻の関数として決定される。決定は、例えば、音の強度の評価、または相互相関に基づく方法（非特許文献２）などの、標準的な方法に基づいてなされる。この情報に基づいて、無指向性応答は、評価された方向に位置付けられる。ここでの位置付けは、リスナーに関するある方向へモノラルの音をだす方法を表す。このような方法は、例えば、ペアワイズまたはトリプレットワイズ振幅パニング(pair- or triplet-wise amplitude panning) （非特許文献３）、アンビソニックス（Ambisonics）（非特許文献４）、波動場統合（Wave Field Synthesis）（非特許文献５）、両耳処理（binaural processing）（非特許文献６）である。
【００１８】
そのような処理で、それぞれの時刻、それぞれの周波数バンドにおいて、同様のローカライゼーションキューは、録音空間に現れるであろうリスナーへ伝達されると仮定することができる。こうして、広すぎるマイクロフォンビームの問題は、克服される。その方法は、再生システムに従って、ビームを効果的に狭める。
【００１９】
その方法は、前にも述べたように、それでもなお十分によい方法ではない。音は、いつも明確な方向から放射されていると仮定されている。これは、例えば、拡散反射残響における場合、真実ではない。この発明において、それぞれの周波数バンドにおいて、それぞれの時刻において、音の拡散性も、加えて到着方向も評価することによって、これは解決される。もし拡散性が高ければ、異なった空間化法が拡散印象を作成するために使用される。もし音の方向が音の強度を使用して評価されるなら、拡散性は、アクティブな強度の大きさとサウンドパワーとの比から得られる。計算された係数がゼロに近いとき、拡散性は高い。同様に、係数が１に近いとき、音は、到着の方向がはっきりしている。拡散空間化は、一度に、処理された音をより多くのラウドスピーカに伝達することによって、また、場合により異なったラウドスピーカにおける音の位相を変えることによって、実現され得る。
【発明を実施するための最良の形態】
【００２０】
以下に発明をリストとして記載する。この場合において、音の方向を計算するための方法は、音の強度測定に基づき、位置付けは、ペアワイズ、またはトリプレットワイズの振幅パニングで行われる。ステップ１−４は、図１、ステップ５−７は、図２に関する。
【００２１】
１ 音響環境のインパルス応答が測定されるか若しくはシミュレートされ、又は連続音が、一つの無指向性マイクロフォン（Ｗ）と、相当する直交座標軸の方向に並んだ３つの８の字マイクロフォン（Ｘ，Ｙ，Ｚ）の信号を産出するマイクロフォンシステムとを使用した音響環境において録音される。これは、例えば、サウンドフィールド（SoundField）マイクロフォンを使用して得られる。
【００２２】
２ 得られた応答又は音は、例えば、人間のヒヤリングの分解能に従って、周波数バンドに分解される。
【００２３】
３ それぞれの周波数バンドにおいて、音のアクティブ強度は時刻の関数として評価される。
【００２４】
４ それぞれの時刻における音の拡散性は、アクティブ強度の大きさとサウンドパワーの比に基づいて評価される。サウンドパワーは、信号Ｗから導き出される。
【００２５】
５ それぞれの時刻において、それぞれの周波数バンドの信号は、アクティブ強度ベクトルによって決められた方向へパン（振向け）される（is panned）。
【００２６】
６ ある周波数バンドにおける、ある時刻における拡散性が高ければ、サウンド信号Ｗの相当する部分は、同時にいくつかの方向にパンされる。
【００２７】
７ それぞれの時刻におけるそれぞれのラウドスピーカチャンネルの周波数バンドは、マルチチャンネルインパルス応答またはマルチチャンネル録音の結果として、結合される。
【００２８】
結果は、パンが実行されるマルチチャンネルラウドスピーカシステムを使って、聴くことができる。もしインパルス応答が処理されるならば、その結果応答は、録音空間において知覚されたものに相当する空間印象を生じるためのリバーブレーターに基づいた畳み込み演算処理において使用される。アンビソニックスに比べて、本発明は、いくつかの利点を備える。
【００２９】
１ はっきりと局在化しうるサウンドイベントは、多くても２つ又は３つのラウドスピーカ（それぞれペアワイズまたはトリプレットワイズ振幅パニング）でいつも再生されるから、知覚される空間印象は、よりシャープであり、再生室におけるリスニング位置に依存しない。
【００３０】
２ 同様の理由で、音は、より影響されない。
【００３１】
３ 高質のマルチチャンネルインパルス応答を得るために、高質の無指向性マイクロフォンのみが必要とされる。強度測定におけるマイクロフォンに対する要求は、高くはない。
【００３２】
同様の利点が、音の録音、再生において同様の数のマイクロフォンとラウドスピーカを使用する方法と比較して、適合する。
加えて、
４ 単一の測定からのデータから、任意のラウドスピーカシステムに対するマルチチャンネル応答を得ることが可能である。
【００３３】
インパルス応答を処理するとき、生成された残響を変えるための手段も、その方法は、提供する。ほとんどの既存の部屋の音響的なパラメータは、測定されたインパルス応答の時刻−周波数特性を表現する。これらのパラメータは、マルチチャンネルインパルス応答の復元の間、時刻−周波数依存の重み付けによって、容易に修正され得る。加えて、異なった方向から放射されるサウンドエネルギーの量は、調整され得るし、音場の方向は、変更され得る。さらに、直接の音と第１反射音（遅延前残響項において）の時間遅延は、現在のアプリケーションの必要性に従って、カスタマイズされる。
【００３４】
他の応用分野
この発明に従った方法は、マルチチャンネルサウンドのオーディオコーディングに適用され得る。いくつかのオーディオチャンネルの代わりに、唯一のチャンネルといくつかの副情報が伝達される。Christof FallerとFrank Baumgate（非特許文献７，８）は、マルチチャンネル信号からのローカライゼーションキューの解析に基づいた、より発展していないコーディング法を提案した。オーディオコーディングアプリケーションにおいて、もし、方向の精度が意図的に妥協されるのでないならば、処理方法は、残響アプリケーションに比較して、いくぶんか低下した質を形成する。にもかかわらず、特にビデオやテレビ会議のアプリケーションにおいて、その方法は、空間サウンドを録音し伝達するために使用され得る。
【００３５】
実施例
音の再生において、振幅パンは、アンビソニックス（非特許文献９）よりもより良いＩＴＤ、ＩＬＤキューを生成することが示された。振幅パンは、長い間、ラウンドスピーカ間の選択されたポイントにおける非反響音源の位置付けのための標準的な方法であった。この発明に従った方法は、すべての音響環境の再生精度を改善する。
【００３６】
提案されたシステムのパフォーマンスは、５．１設備の使用と同様に、リスナー上のラウドスピーカを含んでいる１６チャンネルラウドスピーカシステムを使用する正式のリスニングテストにおいて評価されてきた。アンビソニックスに比較して、空間印象は、より正確で、音は、より影響を受けない。空間印象は、測定された音響環境に近い。
【００３７】
提案された方法を使用したコンサートホールの音響効果のラウンドスピーカ再生は、同じホールにおいて、ダミーヘッドで作られた録音のバイノーラルヘッドフォン再生とも比較されてきた。バイノーラル収音は、既存空間の音響効果を再生するための最もよく知られた方法である。しかしながら、バイノーラル収音の高質再生は、ヘッドフォンによってのみ実現され得る。プロのリスナーのコメントに基づいて、空間印象は、いずれにしてもほとんど同じで、しかし、ラウドスピーカ再生において、音は、より具体化する。
【００３８】
発明の詳細な実現は、次の例で説明されている。
【００３９】
１．Finnish Oopperataloや他のパフォーマンス空間のインパルス応答は、音源がステージの３箇所に位置して、マイクロフォンシステムが聴衆エリア＝９応答において３箇所に位置することで測定される。機材：標準的なＰＣ、マルチチャンネルサウンドカード、例えば、ＭＯＴＵ８１８；測定ソフトウェア、例えば、CoolEdit pro またはWinMLS;マイクロフォンシステム、例えば、SoundField SPSS 422B。
【００４０】
２．再生のためのラウドスピーカシステムは、例えば、中間ラウドスピーカがない５．１スタンダードによって定義される。この例において、中間ラウドスピーカは、省かれる。なぜなら、残響は、４チャンネルリバーブレーターで再生される。
【００４１】
３．発明に一致したソフトウェアで、インパルス応答は、それぞれの音源とマイクロフォンとの組合せに対応するすべてのラウドスピーカに対して算出される。
【００４２】
４．所望の音源材料は、音源とマイクロフォンとの組合せに対応するインパルス応答で畳み込み演算され、結果としての音が、算定される。異なった音源とマイクロファンとの組合せのサウンドインプレッションは、現在のアプリケーションに最も適用したものを選択するために、比較され得る。加えて、いくつかの音源の場所を使用して、異なった音原材料は、音場において異なった場所に位置付けられ得る。機器は、標準的なＰＣ、または畳み込みリバーブレーター、例えば、YAMAHA SREV1;この場合は、加えて４つのラウドスピーカによって、構成されることができる。
【図面の簡単な説明】
【００４３】
【図１】ステップ１−４を説明する図。
【図２】ステップ５−７を説明する図。
【特許請求の範囲】
【請求項１】
ａ）音響環境のインパルス応答が測定され、または連続音が多重マイクロフォン（一つの無指向性マイクロフォン（Ｗ）と複数の多重方向性または無指向性マイクロフォン）を使って、録音され、
ｂ）マイクロフォン信号は、人間の聴覚の周波数分解能に従って周波数バンドに分解され、
ｃ）マイクロフォン信号に基づいて、音の到着と任意の拡散性の方向は、それぞれの時刻におけるそれぞれの周波数において定められるマルチチャンネルリスニングにおける自然のまたは修正された空間印象を形成するための方法において、
無指向性マイクロフォン信号のそれぞれの周波数チャンネルは、音の到着の見積もられた方向によって決められた方向への時刻の関数として、マルチチャンネルリスニングにおいて位置付けられることを特徴とする方法。
【請求項２】
ゼロでない拡散性に相当する無指向性信号Ｗの周波数バンド及び時刻は、実在の音響空間に類似する空間印象を形成するために、２つ以上の方向に同時に位置付けられる請求項１に記載の方法。
【請求項３】
無指向性信号Ｗの２つ以上の非相関バージョンは、高い拡散性に相当する周波数バンド及び時刻における２つ以上の方向から同時に形成され、再生される請求項２に記載の方法。
【請求項４】
それぞれのラウドスピーカチャンネルに適用される周波数バンドは、それぞれのラウドスピーカのためのインパルス応答またはサウンド信号を生成するために、結合される請求項１ないし３のいずれか１項に記載の方法。
【請求項５】
処理されたインパルス応答またはそれらの一部は、畳み込み演算処理によってまたは、デジタルフィルターでそれらをモデル化することによって、残響を生成するために使用される請求項１ないし４のいずれか１項に記載の方法。
【請求項１】
ａ）音響環境のインパルス応答が測定され、または連続音が多重マイクロフォン（一つの無指向性マイクロフォン（Ｗ）と複数の多重方向性または無指向性マイクロフォン）を使って、録音され、
ｂ）マイクロフォン信号は、人間の聴覚の周波数分解能に従って周波数バンドに分解され、
ｃ）マイクロフォン信号に基づいて、音の到着と任意の拡散性の方向は、それぞれの時刻におけるそれぞれの周波数において定められるマルチチャンネルリスニングにおける自然のまたは修正された空間印象を形成するための方法において、
無指向性マイクロフォン信号のそれぞれの周波数チャンネルは、音の到着の見積もられた方向によって決められた方向への時刻の関数として、マルチチャンネルリスニングにおいて位置付けられることを特徴とする方法。
【請求項２】
ゼロでない拡散性に相当する無指向性信号Ｗの周波数バンド及び時刻は、実在の音響空間に類似する空間印象を形成するために、２つ以上の方向に同時に位置付けられる請求項１に記載の方法。
【請求項３】
無指向性信号Ｗの２つ以上の非相関バージョンは、高い拡散性に相当する周波数バンド及び時刻における２つ以上の方向から同時に形成され、再生される請求項２に記載の方法。
【請求項４】
それぞれのラウドスピーカチャンネルに適用される周波数バンドは、それぞれのラウドスピーカのためのインパルス応答またはサウンド信号を生成するために、結合される請求項１ないし３のいずれか１項に記載の方法。
【請求項５】
処理されたインパルス応答またはそれらの一部は、畳み込み演算処理によってまたは、デジタルフィルターでそれらをモデル化することによって、残響を生成するために使用される請求項１ないし４のいずれか１項に記載の方法。
【図１】
【図２】
【図２】
【公表番号】特表２００６−５１９４０６（Ｐ２００６−５１９４０６Ａ）
【公表日】平成１８年８月２４日（２００６．８．２４）
【国際特許分類】
【出願番号】特願２００６−５０２０７２（Ｐ２００６−５０２０７２）
【出願日】平成１６年２月２５日（２００４．２．２５）
【国際出願番号】ＰＣＴ／ＦＩ２００４／００００９３
【国際公開番号】ＷＯ２００４／０７７８８４
【国際公開日】平成１６年９月１０日（２００４．９．１０）
【出願人】（５０５３２１１２３）ヘルシンキ ユニバーシティ オブ テクノロジー (1)
【氏名又は名称原語表記】ＨＥＬＳＩＮＫＩ ＵＮＩＶＥＲＳＩＴＹ ＯＦ ＴＥＣＨＮＯＬＯＧＹ
【住所又は居所原語表記】Ｐ．Ｏ．Ｂｏｘ １０００， ＦＩ−０２０１５ ＨＵＴ， Ｆｉｎｌａｎｄ
【Ｆターム（参考）】
【公表日】平成１８年８月２４日（２００６．８．２４）
【国際特許分類】
【出願日】平成１６年２月２５日（２００４．２．２５）
【国際出願番号】ＰＣＴ／ＦＩ２００４／００００９３
【国際公開番号】ＷＯ２００４／０７７８８４
【国際公開日】平成１６年９月１０日（２００４．９．１０）
【出願人】（５０５３２１１２３）ヘルシンキ ユニバーシティ オブ テクノロジー (1)
【氏名又は名称原語表記】ＨＥＬＳＩＮＫＩ ＵＮＩＶＥＲＳＩＴＹ ＯＦ ＴＥＣＨＮＯＬＯＧＹ
【住所又は居所原語表記】Ｐ．Ｏ．Ｂｏｘ １０００， ＦＩ−０２０１５ ＨＵＴ， Ｆｉｎｌａｎｄ
【Ｆターム（参考）】
[ Back to top ]