拡張ダウンミックス信号を発生するための装置、拡張ダウンミックス信号を発生するための方法及びコンピュータプログラム
マルチチャネルマイクロホン信号に基づいて拡張ダウンミックス信号を発生するための装置は、マルチチャネルマイクロホン信号に基づいて、直接音の到来方向を記述する方向情報、直接音パワー情報及び拡散音パワー情報を含む１組の空間キューパラメータを計算するように構成されている空間アナライザを備えている。また本装置は、直接音の到来方向を記述する方向情報に依存して、直接音パワー情報に依存して、かつ拡散音パワー情報に依存して拡張フィルタパラメータを計算するためのフィルタ計算器も備えている。また本装置は、拡張ダウンミックス信号を取得するために、拡張フィルタパラメータを用いてマイクロホン信号又はマイクロホン信号から導出される信号を濾波するためのフィルタも備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明による実施形態は、拡張ダウンミックス信号を発生するための装置、拡張ダウンミックス信号を発生するための方法及び拡張ダウンミックス信号を発生するためのコンピュータプログラムに関する。
【０００２】
本発明による一実施形態は、空間オーディオマイクロホンのための拡張ダウンミックス計算に関する。
【背景技術】
【０００３】
サラウンドサウンドを小型マイクロホン構造で録音することは、現在も難題である。最も広く知られているこのような構造の１つは、サウンドフィールドマイクロホン及び対応するサラウンドデコーダ（例えば、非特許文献３参照）である。これは、ほぼ同時に発生するその４つのマイクロホンカプセル信号を濾波し、かつ結合してサラウンドサウンド出力チャネルを生成する。単一チャネルの高い信号忠実度は維持されるものの、この手法の弱点は、一次マイクロホン方向性応答の指向性が限定されていることに関連してチャネル分離が限定的なことにある。
【０００４】
あるいは、観察される音場のパラメトリックな表現を基礎とする技術を適用することができる。非特許文献２には、従来的な同時発生ステレオマイクロホンペアを用いてサラウンドサウンドを録音することが提案されていて、これらの指向性マイクロホン信号からの音の空間キューパラメータ直接音対拡散音比及び到来方向を如何に推定するか、及びサラウンドサウンドを発生するために、この情報を如何に適用して空間オーディオのコーディング合成を駆動するかが示されている。非特許文献２では、ＭＰＥＧサラウンド（ＭＰＳ）コーディングスキーム（例えば、非特許文献６参照）において用いられる特有の空間パラメータを直に計算するために、音のパラメトリックな情報、すなわち到来方向（ＤＯＡ）、及び音場の拡散音比（ＤＳＲ）が如何に使用され得るか、についても論じられている。
【０００５】
ＭＰＥＧサラウンドは、マルチチャネルオーディオ信号のパラメトリック表現であり、高品質空間オーディオコーディングへの効率的なアプローチを表す。ＭＰＳは、知覚的観点から、マルチチャネルオーディオ信号は異なるスピーカチャネルに対して著しい冗長性を含む、という事実を活用する。ＭＰＳエンコーダは、入力として複数のスピーカ信号を取り込むが、この場合、スピーカの対応する空間的構造は事前に知られていなければならない。これらの入力信号に基づいて、ＭＰＳエンコーダは、２チャネル間のチャネルレベル差（ＣＬＤ）及び２チャネル間のチャネル間相関（ＩＣＣ）等の周波数サブバンドにおける空間パラメータを計算する。次に、これらの空間パラメータから実際のＭＰＳサイド情報が導出される。さらに、エンコーダはダウンミックス信号を計算する。そのダウンミックス信号は１つ又は複数のオーディオチャネルより成る可能性がある
【０００６】
ステレオマイクロホンの入力信号は、空間キューパラメータの推定によく適することが分かっている。しかしながら、未処理のステレオマイクロホン入力信号は、対応するＭＰＥＧサラウンドのダウンミックス信号としてそのまま用いることに一般的にはさほど適さないことも分かっている。多くの事例において、左右チャネル間のクロストークが高すぎて、結果的に、ＭＰＥＧサラウンドの復号信号のチャネル分離が不良になることが分かっている。
【０００７】
この状況に鑑みて、拡張ダウンミックス信号によりＭＰＥＧサラウンドの復号後に十分に優れた空間オーディオ品質及び局在化特性がもたらされるように、マルチチャネルマイクロホン信号を基礎とする拡張ダウンミックス信号を発生するための概念が必要とされている。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】[1] ISO/IEC 23003-1:2007.Information technology - MPEG Audio technologies - Part 1: MPEG Surround.International Standards Organization, Geneva, Switzerland, 2007.
【０００９】
【非特許文献２】[2] C.Faller.Microphone front-ends for spatial audio coders.In 125th AES Convention, Paper 7508, San Francisco, Oct.2008.
【００１０】
【非特許文献３】[3] M.A.Gerzon.Periphony: Width-Height Sound Reproduction.J.Aud.Eng.Soc.,21(1):2-10, 1973
【００１１】
【非特許文献４】[4] D.Griesinger.Stereo and surround panning in practice.In Preprint 112th Conv.Aud.Eng.Soc., May 2002.
【００１２】
【非特許文献５】[5] S.Haykin.Adaptive Filter Theory (third edition).Prentice Hall, 1996.
【００１３】
【非特許文献６】[6] J.Herre, K.Kjoerling, J.Breebaart, C.Faller, S.Disch, H.Purnhagen, J.Koppens, J.Hilpert, J.Roeden, W.Oomen, K.Linzmeier, and K.S.Chong.Mpeg surround - the iso/mpeg standard for efficient and compatible multi-channel audio coding.In Preprint 122th Conv.Aud.Eng.Soc., May 2007.
【００１４】
【非特許文献７】[7] V.Pulkki.Virtual sound source positioning using Vector Base Amplitude Panning.J.Audio Eng.Soc., 45:456-466, June 1997
【００１５】
【非特許文献８】[8] B.D.Van Veen and K.M.Buckley.Beamforming: A versatile approach to apatial filtering.IEEE ASSP Magazine, 5(2):4-24, April 1988
【発明の概要】
【発明が解決しようとする課題】
【００１６】
この目的は、拡張ダウンミックス信号を発生するための特許請求の範囲に記載の装置、拡張ダウンミックス信号を発生するための特許請求の範囲に記載の方法及び拡張ダウンミックス信号を発生するための特許請求の範囲に記載のコンピュータプログラムによって達成される。
【課題を解決するための手段】
【００１７】
本発明による一実施形態は、マルチチャネルマイクロホン信号に基づいて拡張ダウンミックス信号を発生するための装置を創出する。本装置は、マルチチャネルマイクロホン信号に基づいて、直接音の到来方向を記述する方向情報、直接音のパワー情報、及び拡散音のパワー情報を含む１組の空間キューパラメータを計算するように構成されている空間アナライザを備えている。また本装置は、直接音の到来方向を記述する方向情報に依存して、直接音パワー情報に依存して、かつ拡散音パワー情報に依存して拡張フィルタパラメータを計算するためのフィルタ計算器も備えている。また本装置は、拡張ダウンミックス信号を取得するために、拡張フィルタパラメータを用いてマイクロホン信号又はマイクロホン信号から導出される信号を濾波するためのフィルタも備えている。
【００１８】
本発明によるこの実施形態は、入力されるマルチチャネルマイクロホン信号より遙かに適する拡張ダウンミックス信号が入力されるマルチチャネルマイクロホン信号の濾波オペレーションによって導出され得るという発見、及び、このような信号拡張濾波オペレーションのためのフィルタパラメータは空間キューパラメータから効率的に導出され得るという発見に基づいている。
【００１９】
したがって、拡張フィルタパラメータの計算に際しては、やはりＭＰＥＧサラウンドパラメータの導出に適する同じ情報、すなわち空間キューパラメータを再使用することが可能である。したがって、上述の概念を用いれば、高度に効率的なシステムを作り出すことができる。
【００２０】
さらに、マルチチャネルマイクロホン信号のチャネル信号が低い空間分離しか含まない場合でも、ＭＰＥＧサラウンドデコーダにおける処理に際して良好なチャネル分離を可能にするダウンミックス信号を導出することができる。したがって、拡張ダウンミックス信号は、従来システムに比較して、ＭＰＥＧサラウンドの復号後に遙かに向上した空間オーディオ品質及び局在化特性をもたらすことができる。
【００２１】
要約すると、本発明による上述の実施形態は、適度の計算量で優れた空間分離特性を有する拡張ダウンミックス信号を生成できるようにする。
【００２２】
ある好適な実施形態において、フィルタ計算器は、拡張ダウンミックス信号が望ましいダウンミックス信号に近似すべく拡張フィルタパラメータを計算するように構成されている。この手法を用いれば、拡張フィルタパラメータの、濾波の望ましい結果への十分な適応を保証することができる。例えば、拡張フィルタパラメータは、拡張ダウンミックス信号の１つ又は複数の統計的特性がダウンミックス信号の望ましい統計的特性に近似するように計算することができる。したがって、拡張ダウンミックス信号の期待値への十分な適応が達成可能であり、この場合、期待値は、望ましい相関値として数値的に規定することができる。
【００２３】
ある好適な実施形態において、フィルタ計算器は、空間キューパラメータに依存して、マルチチャネルマイクロホン信号（又は、より具体的にそのチャネル信号）とダウンミックス信号の望ましいチャネル信号との間の望ましい相関値を計算するように構成されている。この場合、フィルタ計算器は、好ましくは、望ましい相互相関値に依存して拡張フィルタパラメータを計算するように構成されている。この相互相関値は、ダウンミックス信号のチャネル信号が十分に優れたチャネル分離特性を示しているかどうかの優れた尺度であることが分かっている。また、望ましい相関値は、空間キューパラメータに基づいて適度な計算量で計算できることも分かっている。
【００２４】
ある好適な実施形態において、フィルタ計算器は、望ましい相互相関値を、複数のスピーカ信号に対するマルチチャネルマイクロホン信号の直接音成分の望ましい寄与を記述する方向依存性の利得係数に依存して、かつ拡張ダウンミックス信号の１つ又は複数のチャネルに対する複数のオーディオチャネル（例えば、スピーカ信号）の望ましい寄与を記述する１つ又は複数のダウンミックスマトリクス値に依存して計算するように構成されている。方向依存性利得係数及びダウンミックスマトリクス値は共に、望ましい相互相関値の計算に極めて適切であること、及び、前記方向依存性利得係数及び前記ダウンミックスマトリクス値は容易に入手可能であることが分かっている。さらに、前記情報に基づいて、望ましい相互相関値が容易に入手可能であることも分かっている。
【００２５】
ある好適な実施形態において、フィルタ計算器は、方向情報を１組の方向依存性利得係数へマップ（map）するように構成されている。方向情報に依存して利得係数を適度な計算量で計算するためには、マルチチャネル振幅パンニング法が使用できることが分かっている。方向依存性利得係数を決定するためには、例えば、どのスピーカが直接音成分をレンダリングすべきかを記述し得る到来方向情報が適することが分かっている。直接音成分は、到来方向情報（方向情報として略示される）に依存して異なるスピーカ信号へ分散されること、及び、どのスピーカが直接音成分をレンダリングすべきかを記述する利得係数の決定が比較的単純であることは、容易に理解できる。例えば、１組の方向依存性利得係数へ方向情報をマップするために用いられるマッピング（mapping）規則は、単に、到来方向に関連づけられるスピーカは直接音成分をレンダリング（又は主としてレンダリング）する可能性があり、一方で他の方向に関連づけられる他のスピーカは単に直接音成分の僅かな部分をレンダリングするか、又は直接音成分を抑制もすることを決定できる。
【００２６】
ある好適な実施形態において、フィルタ計算器は、望ましい相互相関値を計算するために、直接音のパワー情報及び拡散音のパワー情報を考慮するように構成されている。前記音成分（直接音成分及び拡散音成分）双方のパワーを考慮することにより、直接音成分及び拡散音成分が共に（典型的には、マルチチャネル）ダウンミックス信号のチャネル信号へ適切に割り当てられることから、結果的に、特に優れた聴感が得られることが分かっている。
【００２７】
ある好適な実施形態において、フィルタ計算器は、望ましい相互相関値を計算するために、方向情報に依存して直接音のパワー情報を重みづけし、かつ方向情報とは独立して予め決められた重み付けを拡散音のパワー情報に適用するように構成されている。したがって、直接音成分と拡散音成分との間で、結果的にどちらが望ましい相互相関値の現実的な推定をもたらすかの区別が可能である。
【００２８】
ある好適な実施形態において、フィルタ計算器は、拡張フィルタパラメータを導出するためにウィーナ−ホップ（Wiener-Hopf）方程式を評価するように構成されている。この場合、ウィーナ−ホップ方程式は、マルチチャネルマイクロホン信号の異なるチャネルペア間の相関性を記述する相関値と、拡張フィルタパラメータと、マルチチャネルマイクロホン信号のチャネル信号とダウンミックス信号の望ましいチャネル信号との間の望ましい相互相関値と、の間の関係性を記述する。このようなウィーナ−ホップ方程式の評価は、ダウンミックス信号のチャネル信号の望ましい相関特性に十分適応される拡張フィルタパラメータを生じさせることが分かっている。
【００２９】
ある好適な実施形態において、フィルタ計算器は、望ましいダウンミックスチャネルのモデルに依存して拡張フィルタパラメータを計算するように構成されている。望ましいダウンミックスチャネルをモデル化することにより、拡張フィルタパラメータは、マルチチャネルデコーダにおける望ましいマルチチャネルスピーカ信号の優れた再構成を可能にするダウンミックス信号を得るように計算することができる。
【００３０】
実施形態によっては、望ましいダウンミックスチャネルのモデルは理想的なダウンミキシングのモデルを備えていることができる。理想的なダウンミキシングは、チャネル信号（例えば、スピーカ信号）が個々に利用可能であれば実行される。さらに、モデル化は、マルチチャネルマイクロホン信号が限定的な空間分離しか持たないチャネル信号を含む場合でも、個々のチャネル信号がマルチチャネルマイクロホン信号から如何にして入手され得るかのモデルを含むことができる。したがって、望ましいダウンミックスチャネルの全体的モデルは、例えば、個々のチャネル信号（例えば、スピーカ信号）を如何にして入手し、かつ前記個々のチャネル信号から如何にして望ましいダウンミックスチャネルを導出するかのモデル化を組み合わせることによって得ることができる。したがって、これは、比較的少ない計算量で入手可能な拡張フィルタパラメータの計算にとって十分によい参考になる。
【００３１】
ある好適な実施形態において、フィルタ計算器は１チャネルフィルタリング又は２チャネルフィルタリングを選択的に実行するように構成されている。１チャネルフィルタリングでは、ダウンミックス信号の第１のチャネルがマルチチャネルマイクロホン信号の第１のチャネルの濾波によって導出され、ダウンミックス信号の第２のチャネルがマルチチャネルマイクロホン信号の第２のチャネルの濾波によって導出されるとともに、マルチチャネルマイクロホン信号の第１のチャネルからダウンミックス信号の第２のチャネルへのクロストークが回避され、マルチチャネルマイクロホン信号の第２のチャネルからダウンミックス信号の第１のチャネルへのクロストークが回避される。２チャネルフィルタリングでは、ダウンミックス信号の第１のチャネルがマルチチャネルマイクロホン信号の第１及び第２のチャネルを濾波することにより導出され、ダウンミックス信号の第２のチャネルがマルチチャネルマイクロホン信号の第１及び第２のチャネルを濾波することにより導出される。１チャネルフィルタリング及び２チャネルフィルタリングの選択は、マルチチャネルマイクロホン信号の第１のチャネルとマルチチャネルマイクロホン信号の第２のチャネルとの間の相関性を記述する相関値に依存して行われる。１チャネルフィルタリング又は２チャネルフィルタリングを選択することにより、左右のチャネルが高度に相関している状況下で、もし２チャネルフィルタリングが用いられれば現出することがある数値誤差を回避することができる。したがって、マルチチャネルマイクロホン信号のチャネル信号が高度に相関しているか否かに拘わらず、良品質のダウンミックス信号を入手することができる。
【００３２】
本発明による別の実施形態は、拡張ダウンミックス信号を発生するための方法を創出する。
【００３３】
本発明による別の実施形態は、拡張ダウンミックス信号を発生する前記方法を実行するためのコンピュータプログラムを創出する。
【００３４】
本方法及びコンピュータプログラムは、前記装置と同じ発見を基礎とし、かつ前記装置に関連して論じた任意の特徴及び機能によって補うことができる。
【００３５】
続いて、添付の図面を参照して本発明による実施形態について述べる。
【図面の簡単な説明】
【００３６】
【図１】図１は、本発明の一実施形態による拡張ダウンミックス信号を発生するための装置を示す概略ブロック図である。
【図２】図２は、本発明の一実施形態による空間オーディオマイクロホンの処理を示す図解である。
【図３】図３は、本発明の一実施形態による拡張ダウンミックス計算を示す図解である。
【図４】図４は、本発明による実施形態において用いられる場合がある、望ましいダウンミックス信号Ｙ1及びＹ2を計算するためのチャネルマッピングを示す図解である。
【図５】図５は、本発明の一実施形態による予め処理されたマイクロホン信号を基礎とする拡張ダウンミックス計算を示す図解である。
【図６】図６は、本発明の一実施形態によるマルチチャネルマイクロホン信号から拡張フィルタパラメータを導出するための計算を示す概略図である。
【図７】図７は、本発明の別の実施形態によるマルチチャネルマイクロホン信号から拡張フィルタパラメータを導出するための計算を示す概略図である。
【発明を実施するための形態】
【００３７】
１． 図１による拡張ダウンミックス信号を発生するための装置
【００３８】
図１は、マルチチャネルマイクロホン信号に基づいて拡張ダウンミックス信号を発生するための装置１００を示す概略ブロック図である。装置１００は、マルチチャネルマイクロホン信号１１０を受信し、かつこれに基づいて拡張ダウンミックス信号１１２を生成するように構成されている。装置１００は、マルチチャネルマイクロホン信号１１０に基づいて１組の空間キューパラメータ１２２を計算するように構成されている空間アナライザ１２０を備えている。空間キューパラメータは、典型的には、直接音（この直接音は、マルチチャネルマイクロホン信号に含まれている。）の到来方向を記述する方向情報と、直接音パワー情報と、拡散音パワー情報とを含む。また装置１００は、空間キューパラメータ１２２に依存して、すなわち、直接音の到来方向を記述する方向情報、直接音パワー情報及び拡散音パワー情報に依存して、拡張フィルタパラメータ１３２を計算するためのフィルタ計算器１３０も備えている。また装置１００は、拡張ダウンミックス信号１１２を得るために、マイクロホン信号１１０又はマイクロホン信号１１０から導出される信号１１０’を、拡張フィルタパラメータ１３２を用いて濾波するためのフィルタ１４０も備えている。信号１１０’は、任意の事前処理１５０を用いてマルチチャネルマイクロホン信号１１０から任意に導出することができる。
【００３９】
装置１００の機能に関しては、拡張ダウンミックス信号１１２は、典型的には、拡張ダウンミックス信号１１２がＭＰＥＧサラウンドの復号後にマルチチャネルマイクロホン信号１１０よりも向上した空間オーディオ品質を可能にするように生成されるということができる。それは、拡張フィルタパラメータ１３２は、典型的には、この目的を達成するために、フィルタ計算器１３０によって生成されるからである。拡張フィルタパラメータ１３０の生成は、空間アナライザにより生成される空間キューパラメータ１２２に基づいており、拡張フィルタパラメータ１３０がマルチチャネルマイクロホン信号１１０の空間特性に従って生成されるように、かつマルチチャネルマイクロホン信号１１０の空間特性を強調するためになされる。したがって、フィルタ１４０により実行される濾波は、入力されるマルチチャネルマイクロホン信号１１０に比較すると、拡張ダウンミックス信号１１２の空間特性の信号適応処理の向上を可能にする。
【００４０】
続いて、空間アナライザ１２０により実行される空間分析に関する細部を、フィルタ計算器１３０によって実行されるフィルタパラメータ計算、及びフィルタ１４０によって実行される濾波に関連してさらに詳しく述べる。
【００４１】
２． 図２による、拡張ダウンミックス信号を発生するための装置
【００４２】
図２は、拡張ダウンミックス信号（２チャネルオーディオ信号の形式をとることができる。）及び２チャンネルより多いチャネルを有するアップミックス信号に関連づけられた１組の空間キューを発生するための装置２００を示す概略ブロック図である。装置２００は、第１のチャネル信号２１０ａ及び第２のチャネル信号２１０ｂを含む２チャネルマイクロホン信号を生成するように構成されているマイクロホン装置２０５を備えている。
【００４３】
装置２００は、さらに、２チャンネルより多いチャネルを有するアップミックス信号に関連づけられた１組の空間キューを２チャネルマイクロホン信号に基づいて生成するためのプロセッサ２１６を備えている。プロセッサ２１６は、拡張フィルタパラメータ２３２を生成するようにも構成されている。プロセッサ２１６は、その入力信号として、マイクロホン装置２０５によって生成される第１のチャネル信号２１０ａ及び第２のチャネル信号２１０ｂを受信するように構成されている。装置２１６は、拡張フィルタパラメータ２３２を生成し、かつ空間キュー情報２６２も生成するように構成されている。装置２００はさらに、２チャネルオーディオ信号プロバイダ２４０を備えており、２チャネルオーディオ信号プロバイダ２４０はマイクロホン装置２０５によって生成される第１のチャネル信号２１０ａ及び第２のチャネル信号２１０ｂを受信し、これらの第１のチャネルマイクロホン信号２１０ａ及び第２のチャネルマイクロホン信号２１０ｂの処理されたバージョンを生成して、それをチャネル信号２１２ａ、２１２ｂを含む２チャネルオーディオ信号２１２とするように構成されている。
【００４４】
マイクロホン装置２０５は、第１の指向性マイクロホン２０６と第２の指向性マイクロホン２０８とを備えている。第１の指向性マイクロホン２０６及び第２の指向性マイクロホン２０８は、好ましくは３０ｃｍより大きくない距離だけ離れている。したがって、第１の指向性マイクロホン２０６によって受信される信号と第２の指向性マイクロホン２０８によって受信される信号は強く相関しており、このことは信号アナライザ２２０による成分エネルギー情報（又は成分パワー情報）１２２ａ及び方向情報１２２ｂの計算にとって有益であることが分かっている。しかしながら、第１の指向性マイクロホン２０６及び第２の指向性マイクロホン２０８は、第２の指向性マイクロホン２０８の方向特性２０９が第１の指向性マイクロホン２０６の方向特性２０７の回転バージョンであるように方向づけられる。したがって、第１のチャネルマイクロホン信号２１０ａ及び第２のチャネルマイクロホン信号２１０ｂは（マイクロホン２０６、２０８の空間近接性により）強く相関しているが、（指向性マイクロホン２０６、２０８の異なる方向特性２０７、２０９により）なおも相違している。特に、略一定方向からマイクロホン装置２０５へ入射する指向性信号は、第１のチャネルマイクロホン信号２１０ａと第２のチャネルマイクロホン信号２１０ｂの強く相関した信号成分であって、時間的に一定した方向依存性振幅比（又は強度比）を有する信号成分を生じさせる。時間的に変わる方向からマイクロホンアレイ２０５へ入射する周囲オーディオ信号は、第１のチャネルマイクロホン信号２１０ａ及び第２のチャネルマイクロホン信号２１０ｂの信号成分であって、著しい相関性を有するが時間的に変動する振幅比（又は強度比）を有する信号成分を生じさせる。したがって、マイクロホン装置２０５は２チャネルマイクロホン信号２１０ａ、２１０ｂを生成し、それらのマイクロホン信号２１０ａ、２１０ｂはマイクロホン２０６、２０８が近接して配置されてもプロセッサ２１６の信号アナライザ２２０が直接音と拡散音とを区別することを可能にする。このように、装置２００はオーディオ信号プロバイダを構成し、そのオーディオ信号プロバイダは空間的に小型の形式で実装することができ、それにも拘わらず２チャンネルより多いチャネルを有するアップミックス信号に関連づけられる空間キューを生成できる。
【００４５】
空間キュー２６２は、生成された２チャネルオーディオ信号２１２ａ、２１２ｂと組み合わせて、空間オーディオデコーダでサラウンドサウンド出力信号を生成するために使用することができる。
【００４６】
以下、装置２００に関してさらに幾つかの説明を行う。装置２００は、場合により、第１のチャネル信号２１０ａ及び第２のチャネル信号２１０ｂを生成するマイクロホン装置２０５を備える。第１のチャネル信号２１０ａはｘ1（ｔ）としても示され、第２のチャネル信号２１０ｂはｘ2（ｔ）として示されている。留意すべきは、第１のチャネル信号２１０ａと第２のチャネル信号２１０ｂは、図１による装置１００へ入力されるマルチチャネルマイクロホン信号１１０を表す場合があることである。
【００４７】
２チャネルオーディオ信号プロバイダ２４０は、第１のチャネル信号２１０ａ及び第２のチャネル信号２１０ｂを受信し、かつ典型的には、拡張フィルタパラメータ情報２３２も受信する。２チャネルオーディオ信号プロバイダ２４０は、第１のチャネル信号２１２ａ及び第２のチャネル信号２１２ｂによって表される２チャネルオーディオ信号２１２を生成するために、例えば、任意の事前処理１５０の機能及びフィルタ１４０の機能を実行することができる。２チャネルオーディオ信号２１２は、図１の装置１００によって出力される拡張ダウンミックス信号１１２と同等であるとすることができる。
【００４８】
信号アナライザ２２０は、第１のチャネル信号２１０ａ及び第２のチャネル信号２１０ｂを受信するように構成することができる。また、信号アナライザ２２０は、２チャネルマイクロホン信号２１０に基づいて、すなわち第１のチャネル信号２１０ａ及び第２のチャネル信号２１０ｂ基づいて、成分エネルギー情報１２２ａ及び方向情報１２２ｂを得るように構成することもできる。好ましくは、信号アナライザ２２０は、成分エネルギー情報１２２ａが２チャネルマイクロホン信号の直接音成分と２チャネルマイクロホン信号の拡散音成分のエネルギー（又は、等価的にパワー）の推定値を示し、かつ方向情報１２２が２チャネルマイクロホン信号２１０ａ、２１０ｂの直接音成分が出てくる方向の推定を示すような、成分エネルギー情報１２２ａと方向情報１２２ｂを得るように構成されている。したがって、信号アナライザ２２０は空間アナライザ１２０の機能を受け持つことができ、成分エネルギー情報１２２ａと方向情報１２２ｂは空間キューパラメータ１２２と同等であるとすることができる。成分エネルギー情報１２２ａは、直接音パワー情報及び拡散音パワー情報と同等であるとすることができる。プロセッサ２１６は、信号アナライザ２２０から成分エネルギー情報１２２ａと方向情報１２２ｂを受信する空間サイド情報発生器２６０も備えている。空間サイド情報発生器２６０は、これらの情報に基づいて空間キュー情報２６２を生成するように構成されている。好ましくは、空間サイド情報発生器２６０は、２チャネルマイクロホン信号２１０ａ、２１０ｂの成分エネルギー情報１２２ａと２チャネルマイクロホン信号２１０ａ、２１０ｂの方向情報１２２ｂを空間キュー情報２６２へマップするように構成されている。したがって、空間キュー情報２６２は、空間キュー情報２６２が２チャンネルより多いチャネルを有するアップミックスオーディオ信号に関連づけられる空間キューの１組を示すように得られる。
【００４９】
プロセッサ２１６は、２チャネルマイクロホン信号２１０ａ、２１０ｂに基づいて、２チャンネルより多いチャネルを有するアップミックスオーディオ信号に関連づけられる空間キュー情報２６２の極めて計算効率の良い計算を可能にする。信号アナライザ２２０は２チャネルマイクロホン信号から大量の情報を抽出することができる。その情報とは、すなわち直接音成分のエネルギーの推定値及び拡散音成分のエネルギーの推定値の双方を示す成分エネルギー情報１２２ａと、２チャネルマイクロホン信号の直接音成分が出てくる方向の推定値を示す方向情報１２２ｂである。信号アナライザ２２０により２チャネルマイクロホン信号２１０ａ、２１０ｂに基づいて得ることのできるこの情報は、２チャンネルより多いチャネルを有するアップミックスオーディオ信号に関する空間キュー情報２６２を導出するに足るものであることが分かっている。重要な点として、成分エネルギー情報１２２ａと方向情報１２２ｂは、実際にアップミックス・オーディオ・チャネルを中間量として用いることなく空間キュー情報２６２を直に決定するに足るものであることが分かっている。
【００５０】
さらに、プロセッサ２１６は、成分エネルギー情報１２２ａ及び方向情報１２２ｂを受信しかつこれらに基づいて拡張フィルタパラメータ情報２３２を生成するように構成されているフィルタ計算器２３０を備えている。したがって、フィルタ計算器２３０は、フィルタ計算器１３０の機能を引き継ぐことができる。
【００５１】
上記を要約すると、装置２００は、拡張ダウンミックス信号２１２と空間キュー情報２６２の双方を、双方とも同じ中間情報１２２ａ、１２２ｂを用いて効率的に決定することができる。また、装置２００は、（拡張された）ダウンミックス信号２１２と空間キュー情報２６２の双方を得るために、空間的に小型のマイクロホン装置２０５を用いることができる点も留意されるべきである。ダウンミックス信号２１２は、小型マイクロホン装置２０５（小型マイクロホン装置２０５は、装置２００の一部である場合も、装置２００の外部に存在するが装置２００へ接続される場合もある。）を使用しているにも拘わらず、フィルタ計算器２３０による拡張フィルタパラメータ２３２の計算により特に優れた空間分離特性を備えている。したがって、（拡張された）ダウンミックス信号２１２は、空間キュー情報２６２と組み合わせて取り入れられる場合に（例えば、ＭＰＥＧサラウンドデコーダを用いる）空間レンダリングに適したものとすることができる。
【００５２】
要約すると、図２は、空間オーディオマイクロホン手法の概略ブロック図を示している。図から分かるように、ステレオマイクロホンの入力信号２１０ａ（ｘ1（ｔ）でも示される）及び２１０ｂ（ｘ2（ｔ）でも示される）は、ブロック２１６において、マルチチャネルアップミックス信号（例えば、２チャネルオーディオ信号２１２）に関連づけられる空間キュー情報の組２６２を計算するために用いられる。さらに、２チャネルダウンミックス信号２１２も生成される。
【００５３】
以下、ステレオマイクロホン信号の解析に基づいて空間キュー情報２６２を決定するために必要とされるステップについて要約する。ここでは、非特許文献２における提示を参照する。
【００５４】
３． ステレオ信号解析
【００５５】
以下、空間アナライザ１２０又は信号アナライザ２２０が実行することのできるステレオ信号解析について述べる。留意すべきは、使用されるマイクロホンが２個より多く存在し、かつマルチチャネルマイクロホン信号のチャネル信号が２チャンネルより多く存在するいくつかの実施形態において、拡張信号解析が使用されることがあるということである。
【００５６】
ここで述べるステレオ信号解析は空間キューパラメータ１２２を生成するために用いることができる。空間キューパラメータ１２２は成分エネルギー情報１２２ａと方向情報１２２ｂの形式をとることができる。ステレオ信号解析は時間−周波数領域において実行できることに留意すべきである。したがって、マルチチャネルマイクロホン信号１１０、２１０のチャネル信号２１０ａ、２１０ｂは、後の解析のために時間−周波数領域表現に変換することができる。
【００５７】
マイクロホン信号ｘ1（ｔ）の時間−周波数表現はＸ1（ｋ，ｉ）、マイクロホン信号ｘ2（ｔ）の時間−周波数表現はＸ2（ｋ，ｉ）である。ここでｋは時間の指数、ｉは周波数の指数である。Ｘ1（ｋ，ｉ）とＸ2（ｋ，ｉ）は、
としてモデル化できるものとする。ここで、ａ（ｋ，ｉ）は利得係数であり、Ｓ（ｋ，ｉ）は左チャネルにおける直接音であり、Ｎ1（ｋ，ｉ）とＮ2（ｋ，ｉ）は拡散音を表す。
【００５８】
空間オーディオコーディング（ＳＡＣ）のダウンミックス信号１１２、２１２及びサイド情報２６２はＥ｛ＳＳ*｝、Ｅ｛Ｎ1Ｎ1*｝及びＥ｛Ｎ2Ｎ2*｝の関数として計算される。ここで、Ｅ｛．｝は短時間平均演算であり、*は複素共役を示す。以下、これらの値を導く。
【００５９】
式（１）から、
になる。
【００６０】
ここで留意すべきは、Ｅ｛ＳＳ*｝は直接音パワー情報又は等価的に直接音エネルギー情報と考えることができ、Ｅ｛Ｎ1Ｎ1*｝とＥ｛Ｎ2Ｎ2*｝は拡散音パワー情報又は拡散音エネルギー情報と考えることができることである。Ｅ｛ＳＳ*｝とＥ｛Ｎ1Ｎ1*｝は成分エネルギー情報と考えることができ、ａは方向情報と考えることができる。
【００６１】
双方のマイクロホン信号における拡散音の量は同じであって、すなわちＥ｛Ｎ1Ｎ1*｝＝Ｅ｛Ｎ2Ｎ2*｝＝Ｅ｛ＮＮ*｝であり、かつＮ1とＮ2との間の正規化された相互相関係数はΦdiff、すなわち、
であるものとする。Φdiffは、例えば既定値をとってもよく、何らかのアルゴリズムに従って計算されてもよい。
【００６２】
これらの仮定が与えられたとすれば、式（２）は、
と書き表すことができる。
【００６３】
式（２）におけるＥ｛ＳＳ*｝及びａを除去すれば、二次方程式、
が得られる。但し、
である。
【００６４】
よって、Ｅ｛ＮＮ*｝は、式（５）の２つの解のうちの物理的に可能な一方、すなわち、
になる。
【００６５】
式（５）のもう１つの解はマイクロホン信号パワーより大きい拡散音パワーをもたらすが、それは物理的に不可能である。
【００６６】
式（７）が与えられると、ａ及びＥ｛ＳＳ*｝の計算は容易である。
【００６７】
非特許文献２で論じられているように、直接音の到来方向ａ（ｋ，ｉ）は、下記のように、振幅比推定値ａ（ｋ，ｉ）の関数として決定することができる。
【００６８】
特有のマッピングは、録音に用いられるステレオマイクロホンの方向特性に依存する。
【００６９】
４． 空間サイド情報の生成
【００７０】
以下、空間サイド情報発生器２６０によって生成することのできる空間キュー情報２６２の生成について述べる。しかしながら、留意すべきは、空間サイド情報の空間キュー情報２６２形式での生成が本発明による実施形態にとって必要な特徴ではないということである。したがって、空間サイド情報の生成は実施形態によっては省略できることに留意すべきである。また、空間キュー情報２６２又は他の任意の空間サイド情報を入手するために異なる方法を使用できることも留意されるべきである。
【００７１】
しかしながら、以下で論じる空間サイド情報の生成が空間キュー情報を生成するための好ましい概念と考えることができることにも留意すべきである。
【００７２】
ステレオ信号解析結果１２２ａ、１２２ｂ、すなわち式（９）による変数ａ又はα、Ｅ｛ＳＳ*｝及びＥ｛ＮＮ*｝が与えられたとすれば、ＳＡＣデコーダ互換性空間パラメータは、例えば空間サイド情報発生器２６０によって生成される。これを実行する１つの効率的な方法は、マルチチャネル信号モデルを考慮することであることが分かっている。以下、一例として、下記を意味する図４に示されているようなスピーカ配置について考察する。すなわち、
ここで、
である。
に対応し、すなわち、
であり、
は全てＥ｛ＮＮ*｝に等しい同一のパワーを有する。最終的には利得ｈ1からｈ5が拡散音の量を決定することから、この拡散音パワーの定義が任意であることに留意すべきである。
【００７３】
Ｌ（ｋ，ｉ）、Ｒ（ｋ，ｉ）、Ｃ（ｋ，ｉ）、Ｌs（ｋ，ｉ）及びＲs（ｋ，ｉ）は、例えば望ましいチャネル信号又は望ましいスピーカ信号であってもよいことに留意すべきである。
【００７４】
第１のステップでは、直接音の到来方向α（ｋ，ｉ）の関数として、マルチチャネル振幅パンニング法（例えば、非特許文献７及び４参照）が適用されて利得係数ｇ1からｇ5が決定される。次に、発見的手順を用いて拡散音の利得ｈ1〜ｈ5が決定される。定値ｈ1＝１．０、ｈ2＝１．０、ｈ3＝０、ｈ4＝１．０及びｈ5＝１．０は合理的な選択であり、すなわちアンビエンスは前後に等しく分散され、その間、センターチャネルはドライ信号として発生される。しかしながら、ｈ1〜ｈ5の異なる選択も可能である。
【００７５】
側方及び後方からの直接音は、前方向から到来する音に対して減衰される。マイクロホン信号に含まれる直接音は、好ましくは、マイクロホンの指向性パターンに依存する因数ｇ（α）によって利得補償される。
【００７６】
サラウンド信号モデル（１０）式が与えられると、使用される特有のＳＡＣの空間キュー解析が信号モデルに適用され、ＭＰＥＧサラウンドの空間キューが取得される。
【００７７】
式（１０）において定義される信号のパワースペクトルは、
である。但し、
である。
【００７８】
以下で用いられるクロススペクトルは、
である。
【００７９】
ＭＰＥＧサラウンドは、サラウンドチャネルへ、それらのさらなる処理に先行して
を印加する。これは、互換的なダウンミックス及び空間サイド情報を発生するために考慮することができる。
【００８０】
ＭＰＥＧサラウンドの第１の２：１（two-to-one）（ＴＴＯ）ボックスは、ＬとＬsとの間のチャネル間レベル差（ＩＣＬＤ）及びチャネル間コヒーレンス（ＩＣＣ）を用いる。（１０）式に基づき、かつサラウンドチャネルのプレスケーリングが補正されると、これらのキューは、
になる。
【００８１】
同様にして、ＲとＲsに関する第２のＴＴＯボックスのＩＣＬＤ及びＩＣＣが計算される。すなわち、
である。
【００８２】
ＭＰＥＧサラウンドの３：２（three-to-two）（ＴＴＴ）ボックスは、「エネルギーモード」で用いられる。例えば、非特許文献１を参照されたい。ＴＴＴボックスは、ダウンミックス及び空間サイド情報を計算する前に、
ことに留意すべきである。サラウンドチャネルのプレスケーリングを考慮すると、ＴＴＴボックスにより使用される２つのＩＣＬＤパラメータは、
である。
【００８３】
指数ｉとｋは、表記を簡潔にするために取り除かれていることに留意すべきである。
【００８４】
したがって、キューＩＣＬＤLLs、ＩＣＣLLs、ＩＣＬＤRRs、ＩＣＣRRs、ＩＣＬＤ1及びＩＣＬＤ2を含む空間キュー情報は、空間サイド情報発生器２６０により、空間キューパラメータ１２２、１２２ａ、１２２ｂに基づいて、すなわち成分エネルギー情報１２２ａと方向情報１２２ｂに基づいて得られる。
【００８５】
５． ＭＰＥＧサラウンドの復号
【００８６】
以下、ある可能なＭＰＥＧサラウンドの復号について述べる。これは、空間キュー情報２６２（又は他の任意の適切な空間キュー情報）を用いて、ダウンミックス信号（例えば、拡張ダウンミックス信号１１２又は拡張ダウンミックス信号２１２）から例えば複数のスピーカ信号のような複数のチャネル信号を導出するために用いることができる。
【００８７】
ＭＰＥＧサラウンドデコーダにおいて、受信されたダウンミックス信号１１２、２１２は、受信された空間サイド情報２６２を用いて２チャンネルより多いチャネルへ拡張される。このアップミックスは、各々いわゆる逆１：２（Reverse-One-To-Two）（Ｒ−ＯＴＴ）ボックス及び逆３：２（Reverse Three-To-Two）（Ｒ−ＴＴＴ）ボックスを適切にカスケードすることによって実行される（例えば、非特許文献６参照）。Ｒ−ＯＴＴボックスは、モノオーディオ入力とサイド情報に基づいて２つのオーディオチャネルを出力するが、Ｒ−ＴＴＴボックスは、２チャネルオーディオ入力と関連のサイド情報に基づいて３つのオーディオチャネルを決定する。言い替えれば、逆ボックスは、先に述べた対応するＴＴＴボックス及びＯＴＴボックスとは逆の処理を実行する。
【００８８】
エンコーダにおけるマルチチャネル信号モデルと同様に、デコーダは、元のサラウンドサウンドを正しく再生するために特有のスピーカ構成を想定する。さらに、デコーダは、正しいダウンミックス信号を計算するために、ＭＰＳエンコーダ（ＭＰＥＧサラウンドエンコーダ）が複数の入力チャネルの特有のミキシングを実行することを想定する。
【００８９】
次項では、ＭＰＥＧサラウンド・ステレオ・ダウンミックスの計算を提示する。
【００９０】
６． ＭＰＥＧサラウンド・ステレオ・ダウンミックス信号の生成
【００９１】
以下、ＭＰＥＧサラウンド・ステレオ・ダウンミックス信号がどのように発生されるかについて述べる。
【００９２】
好適な実施形態において、ダウンミックスは、左右半球体に対応するスピーカチャネル間にクロストークが存在しないように決定される。これには、左半球体から右半球体への音響エネルギーの望ましくない漏れが存在しないという優位点があり、これにより、ＭＰＥＧサラウンドストリームの復号後の左／右分離が著しく高まる。さらに、右チャネルから左チャネルへの信号漏れについても同じ論法が当て嵌まる。
【００９３】
従来の５．１サラウンドのオーディオ信号をコーディングするためにＭＰＥＧサラウンドが用いられる場合、使用されるステレオダウンミックスは、
[Ｙ1 Ｙ2]T＝Ｍ[Ｌ Ｒ Ｃ ＬS ＲS]T （１８）
である。ここで、ダウンミックス行列は、
であり、ｇsはサラウンドチャネルに与えられる先に述べたプレ利得である。
【００９４】
式（１８）、式（１９）によるダウンミックスの計算は、対応するスピーカ位置でカバーされる再生エリアの、２つのダウンミックスチャネルへのマッピングと考えることができる。図４には、このマッピングは、従来のダウンミックス計算（１８）、（１９）の特有の事例に関して示されている。
【００９５】
７． 拡張ダウンミックス計算
【００９６】
７．１ 拡張ダウンミックス計算の概要
【００９７】
以下、拡張ダウンミックス計算に関して詳述する。本概念の優位点の理解を容易にするために、ここでは幾つかの従来システムとの比較を行う。
【００９８】
第２章において述べた空間オーディオマイクロホンの場合、ダウンミックス信号は基本的に、以下で述べる拡張ダウンミックス計算が存在しないステレオマイクロホン（例えば、マイクロホン装置２０５）の録音信号に対応する。実際のステレオマイクロホンは、その特有の指向性パターンに起因して左右信号成分の望ましい分離を与えないことが分かっている。必然的に、左右チャネル（例えば、チャネル信号２１０ａ及び２１０ｂ）間のクロストークが高すぎて、結果的にＭＰＥＧサラウンドの復号信号におけるチャネル分離は不良になることも分かっている。
【００９９】
本発明による実施形態は拡張ダウンミックス信号１１２、２１２を計算する手法を生み出している。拡張ダウンミックス信号１１２、２１２は、望ましいＳＡＣダウンミックス信号（例えば、信号Ｙ1、Ｙ2）に近似するものであり、すなわち、異なるチャネル間に望ましいレベルのクロストークを呈するものである。そのクロストークのレベルは元のステレオ入力１１０、２１０に含まれるクロストークレベルとは異なる。その結果、関連の空間サイド情報２６２を用いた空間オーディオ復号後の音質は向上する。
【０１００】
図１、図２、図３及び図５に示されている概略ブロックは本提案手法を示している。図から分かるように、元のマイクロホン信号１１０、２１０、３１０は、拡張ダウンミックスチャネル１１２、２１２、３１２を得るためにダウンミックス拡張ユニット１４０、２４０、３４０によって処理される。マイクロホン信号１１０、２１０、３１０の修正は、制御ユニット１２０、１３０、２１６、３１６によって制御される。制御ユニット１２０、１３０、２１６、３１６は、スピーカ再生のマルチチャネル信号モデルと推定された空間キューパラメータ１２２、１２２ａ、１２２ｂ、３２２を考慮する。この情報から、制御ユニット１２０、１３０、２１６、３１６は、拡張のためのターゲット、すなわち望ましいダウンミックス信号（例えば、ダウンミックス信号Ｙ1、Ｙ2）のモデルを決定する。以下、本発明の詳細について論じる。
【０１０１】
７．２ 望ましいステレオダウンミックス信号のモデル
【０１０２】
本章では、望ましいステレオダウンミックス信号のモデルについて論じ、提案する拡張ダウンミックス計算のターゲットも提示する。
【０１０３】
方程式（１０）による我々が想定するサラウンド信号モデルに方程式（１８）及び（１９）を適用すれば、
に従って望ましいダウンミックス信号のモデルが得られる。
である。
【０１０４】
左右マイクロホン信号における拡散音は、Ｎ1及びＮ2である。したがって、ダウンミックスは、Ｎ1及びＮ2に関連する拡散音を基礎とするものであるべきである。先に定義したように、
のパワーは同じであることから、
と同じパワーを有するＮ1及びＮ2を基礎とする拡散信号は、
である。
【０１０５】
したがって、望ましいステレオダウンミックス信号のモデルは、望ましいステレオダウンミックス信号のチャネル信号Ｙ1、Ｙ2を利得値ｇ1、ｇ2、ｇ3、ｇ4、ｇ5、ｇs、ｈ1、ｈ2、ｈ3、ｈ4、ｈ5の関数として、かつまたステレオマイクロホン信号内の直接音の
に依存して表すことを可能にする。
【０１０６】
７．３ １チャネルのフィルタリング
【０１０７】
以下、拡張ダウンミックス信号の第１のチャネルがマルチチャネルマイクロホン信号の第１のチャネル信号から導出され、かつ拡張ダウンミックス信号の第２のチャネルがマルチチャネルマイクロホン信号の第２のチャネル信号から導出される手法について述べる。留意すべきは、以下で述べる濾波は、フィルタ１４０によって、又は２チャネルオーディオ信号プロバイダ２４０によって、又はダウンミックス拡張３４０によって実行できるということである。また、拡張フィルタパラメータＨ1、Ｈ2はフィルタ計算器１３０によって、フィルタ計算器２３０によって、又は制御装置３１６によって生成できることにも留意すべきである。
【０１０８】
式（２０）による望ましいダウンミックス信号Ｙ1（ｋ，ｉ）とＹ2（ｋ，ｉ）を決定するための可能な一手法は、元のステレオマイクロホン入力Ｘ1（ｋ，ｉ）とＸ2（ｋ，ｉ）へ拡張フィルタを適用すること、すなわち、
である。
【０１０９】
これらのフィルタは、
（すなわち、マルチチャネルマイクロホン信号のチャネル信号を濾波することによって得られる実際のダウンミックス信号）が各々望ましいダウンミックス信号Ｙ1（ｋ，ｉ）とＹ2（ｋ，ｉ）に近似するように選択される。適切な近似は、
が各々、マルチチャネルスピーカ信号モデルのエネルギーに関して、ターゲットであるダウンミックス信号Ｙ1（ｋ，ｉ）とＹ2（ｋ，ｉ）で与えられるものと同じエネルギー分散を共有するというものである。言い替えれば、フィルタは、マルチチャネルマイクロホン信号のチャネル信号を濾波することによって得られる実際のダウンミックス信号が、例えばエネルギー特性又は相互相関特性のような幾つかの統計的特性に関して望ましいダウンミックス信号に近似するように選択される。
【０１１０】
拡張フィルタがウィーナ（Wiener）フィルタ（例えば、非特許文献５参照）に一致する場合、Ｈ1（ｋ，ｉ）とＨ2（ｋ，ｉ）は、
に従って決定することができる。
【０１１１】
式（２４）に式（２０）と式（２２）を代入すると、
となる。但し、
である。
【０１１２】
これから分かるように、拡張フィルタはマルチチャネル信号モデル（１０）の異なる成分に直に依存する。これらの成分は、空間キューパラメータに基づいて推定されることから、拡張ダウンミックス計算のフィルタＨ1（ｋ，ｉ）とＨ2（ｋ，ｉ）はこれらの空間キューパラメータにも依存する、と結論することができる。言い替えれば、拡張フィルタの計算は、図３にも示されているように、推定される空間キューパラメータによって制御できる。
【０１１３】
７．４ ２チャネルのフィルタリング
【０１１４】
本項では、「１チャネルのフィルタリング」と題する章で論じた１チャネル手法の代替方法を提示する。この場合、
は各々、マイクロホン入力信号Ｘ1、Ｘ2双方の濾波されたバージョンから決定される。この手法は、双方のマイクロホンチャネルを最適に組み合わせることができるために、１チャネルのフィルタリング方法に比べて向上した性能を期待できる。
【０１１５】
実際のダウンミックス信号は、
によって得ることができる。
【０１１６】
以下、２チャネルウィーナフィルタに基づいて拡張フィルタを推定する一例を示す。表示を単純にするために、以後は指数（ｋ，ｉ）を省略する。
のウィーナ−ホップ方程式は、
である。
【０１１７】
したがって、フィルタは、
のように得られる。但し、
である。
【０１１８】
マイクロホン入力信号Ｘ1、Ｘ2と望ましいダウンミックスチャネルＹ1、Ｙ2との間の相互相関は、
によって表すことができる。但し、重みｗiは式（２６）−式（２９）において導入されている。
【０１１９】
７．５ １チャネルのフィルタリング及び２チャネルのフィルタリングの選択
【０１２０】
以下、１チャネルのフィルタリングと２チャネルのフィルタリングとの間の信号適応型選択を可能にする概念について述べる。
【０１２１】
これまでに述べたように、２チャネルのフィルタリングには、実施に際して時々（又は、頻繁にも）オーディオアーティファクトを引き起こすフィルタを作り出すという問題がある。左右のチャネルが高度に相関している場合、ウィーナ−ホップ方程式の共分散行列の条件付けは常に不良である。よって結果的に生じる数値的感度は、不合理でありかつオーディオアーティファクトを生じさせるフィルタをもたらす。これを防止するために、２チャネルが所定の相関度を超える場合は常に１チャネルのフィルタリングが使用される。これは、
Ｈ1,1 ＝ Ｈ1
Ｈ1,2 ＝ ０
Ｈ2,1 ＝ ０
Ｈ2,2 ＝ Ｈ2， （３６）
のようなフィルタを、
である場合に常に計算することによって実行することができる。但し、コヒーレンス／相関しきい値Ｔは、１チャネルのフィルタリングが使用される際の相関度を決定する。Ｔ＝０．９という値は良い結果をもたらす。
【０１２２】
言い替えれば、マルチチャネルマイクロホン信号の任意のチャネル信号間の相関度に応じて、１チャネルのフィルタリングと２チャネルのフィルタリングとを選択的に切り替えることができる。相関が予め決められた相関値より大きければ、２チャネルのフィルタリングではなく１チャネルのフィルタリングが使用できる。
【０１２３】
７．６ マルチチャネルの一般的事例
【０１２４】
以下、式（１０）によるマルチチャネル信号モデルに基づくＭＰＥＧサラウンド・ステレオ・ダウンミックス信号の拡大された計算を、より一般的なチャネル構成へ一般化する。式（１０）と同様に、Ｋ個のスピーカチャネルを想定する一般化されたマルチチャネル信号モデルは、
によって与えられ、ｌ＝１，２，…，Ｋである。利得係数ｇl（ｋ，ｉ）は、直接音のＤＯＡと再生構成内のｌ番目のスピーカの位置に依存する。利得係数ｈ1は、先に説明したように予め決めて使用できる。Ｚlは、複数のチャネルの望ましいチャネル信号を表し、ｌ＝１，２，…，Ｋである。
【０１２５】
望ましいダウンミックスチャネルｊの信号Ｙj（ｋ，ｉ）の計算は、
による適正なミキシング演算によって達成される。
【０１２６】
ミキシング加重ｍj,lは、ｌ番目のスピーカの位置に関連づけられる再生エリアの、ｊ番目のダウンミックスチャネルへの特有な空間パーティショニング（partitioning）又はマッピングを表す。
【０１２７】
一例を挙げると、スピーカチャネルｌ、すなわち所定の再生エリアがｊ番目のダウンミックス信号に寄与すべきでない場合、対応するミキシング加重ｍj,lはゼロに設定される。
【０１２８】
各式（２３）、式（３０）及び式（３０）と同様に、元のマイクロホン入力チャネルＸj（ｋ，ｉ）は、適切に選択された拡張フィルタによって、望ましいダウンミックスチャネルＹj（ｋ，ｉ）に近似するように修正される。
【０１２９】
１チャネルフィルタの場合は、
になる。
【０１３０】
式（４０）は、利用可能な入力マイクロホン信号が２チャンネルより多く存在する場合にも適用できることに留意されたい。結果として生じるフィルタも、推定される空間キューパラメータに依存する。しかしながら、２チャンネルより多いマイクロホン入力チャネルに基づく空間キューパラメータの推定は本発明の必須部分ではないことから、ここではこれについて論じない。
【０１３１】
一般的なマルチチャネルダウンミックス拡張フィルタに関して必要とされる方程式は、式（３０）、（３０）と同様に導出することができる。Ｍ個のマイクロホン入力信号を想定すると、ｊ番目の望ましいダウンミックスチャネルＹj（ｋ，ｉ）は、Ｍ個の拡張フィルタを対応するマイクロホン信号Ｘm（ｋ，ｉ）へ適用することによって近似される。
【０１３２】
対応する望ましいダウンミックスチャネルＹj（ｋ，ｉ）は、一般化された信号モデル（３８）を用いて式（３９）から得ることができる。
【０１３３】
マルチチャネル拡張行列Ｈj（ｋ，ｉ）の要素は、対応するウィーナ−ホップ方程式、
を解くことによってえることができる。但し、Hはオペランドのエルミートを示す。
【０１３４】
注意すべきことは、上述の方法は、マルチチャネル信号モデル（３８）におけるスピーカの数Ｋが多い場合は、空間キュー情報に基づく一般的なマイクロホン・クロストークの抑制器と考えることができることである。この場合、スピーカ位置は、そのまま直接音の対応するＤＯＡと考えることができる。本発明を適用すれば、１つ又は複数の抑制フィルタを用いて柔軟性のあるクロストーク抑制器を実現することができる。
【０１３５】
８． マイクロホン信号の事前処理
【０１３６】
これまでは、信号Ｘj（ｋ，ｉ）がマイクロホンの出力信号を表す事例のみを考察した。提案する新規概念又は方法は、これに代わって、事前処理されたマイクロホン信号にも適用することができる。図５は、対応する手法を示している。
【０１３７】
事前処理は、元のマイクロホン入力信号に基づいて固定時間不変ビーム形成（fixed time-invariant beamforming）（例えば、非特許文献８参照）を適用することにより実現することができる。事前処理の結果として、所定のマイクロホン信号への望ましくない信号漏れの幾分かは、拡張フィルタの適用前に既に軽減することができる。
【０１３８】
事前処理された入力チャネルを基礎とする拡張フィルタは、先に論じたフィルタと同様に、Ｘj（ｋ，ｉ）を事前処理ステージの出力信号Ｘj,mod（ｋ，ｉ）で置換することによって導出することができる。
【０１３９】
９． 図３による装置
【０１４０】
図３は、本発明の別の実施形態による、マルチチャネルマイクロホン信号に基づいて拡張ダウンミックス信号を発生するための装置３００を示す概略ブロック図である。
【０１４１】
装置３００は２つのマイクロホン３０６、３０８を備え、これらは、時間−周波数領域表現Ｘ1（ｋ，ｉ）により表される第１のチャネル信号と、第２の時間−周波数表現Ｘ2（ｋ，ｉ）により表される第２のチャネル信号とを含む２チャネルマイクロホン信号３１０を生成する。装置３００は空間分析３２０も備え、これは、２チャネルマイクロホン信号３１０を受信し、かつこれに基づいて空間キューパラメータ３２２を生成する。空間分析３２０は、空間アナライザ１２０又は信号アナライザ２２０の機能を担うこともあるので、空間キューパラメータ３２２は、空間キューパラメータ１２２、又は成分エネルギー情報１２２ａ及び方向情報１２２ｂと同等物であることもある。装置３００は制御装置３１６も備え、これは、空間キューパラメータ３２２を受信し、かつ２チャネルマイクロホン信号３１０も受信する。制御ユニット３１６はまた、マルチチャネル信号モデル３１８を
受信するか、又はこのようなマルチチャネル信号モデル３１８のパラメータを備えている。制御装置３１６は、拡張フィルタパラメータ３３２をダウンミックス拡張装置３４０へ与える。制御装置３１６は、例えばフィルタ計算器１３０又はフィルタ計算器２３０の機能を担うことがあるので、拡張フィルタパラメータ３３２は拡張フィルタパラメータ１３２又は拡張フィルタパラメータ２３２と同等物であることもある。ダウンミックス拡張装置３４０は２チャネルマイクロホン信号３１０を受信し、また拡張フィルタパラメータ３３２も受信し、かつこれらに基づいて（実際の）拡張マルチチャネルダウンミックス信号３１２を生成する。拡張マルチチャネルダウンミックス信号３１２の第１のチャネル信号は
で表され、かつ拡張マルチチャネルダウンミックス信号３１２の第２のチャネル信号は
で表される。留意すべきは、ダウンミックス拡張装置３４０はフィルタ１４０又は２チャネルオーディオ信号プロバイダ２４０の機能を担うことがあるということである。
【０１４２】
１０． 図５による装置
【０１４３】
図５は、マルチチャネルマイクロホン信号に基づいて拡張ダウンミックス信号を発生するための装置５００を示す概略ブロック図である。図５による装置５００は図３による装置３００に極似するものであり、よって同一の手段及び信号は等しい参照数字で示し、説明は省略する。しかしながら、装置３００の機能ブロックに加えて、装置５００は事前処理５８０も備えている。事前処理５８０は、２チャネルマイクロホン信号３１０を受信し、かつこれに基づいてマルチチャネルマイクロホン信号の事前処理バージョン３１０’を生成する。この場合、ダウンミックス拡張３４０は、マルチチャネルマイクロホン信号３１０自体ではなく、２チャネルマイクロホン信号２１０の処理されたバージョン３１０’を受信する。また、制御装置３１６も、マルチチャネルマイクロホン信号３１０自体ではなく、マルチチャネルマイクロホン信号の処理されたバージョン３１０’を受信する。しかしながら、ダウンミックス拡張３４０及び制御装置３１６の機能は、この変形により実質的に影響されない。
【０１４４】
１１． 図４によるダウンミックス信号へのチャネル信号の割り付け
【０１４５】
先に論じたように、望ましいダウンミックスチャネルＹ1、Ｙ2又はその幾つかの統計的特性を導出するために用いられるダウンミックスのモデル化は、
をチャネル信号（例えば、Ｌ（ｋ，ｉ）、Ｒ（ｋ，ｉ）、Ｃ（ｋ，ｉ）、Ｌs（ｋ，ｉ）、Ｒs（ｋ，ｉ）又はＺl（ｋ，ｉ））へマップすることと、スピーカチャネル信号をダウンミックスチャネル信号へマップすることを含む。
【０１４６】
直接音成分と拡散音成分をスピーカチャネル信号へマップする第１のマッピングに関しては、方向依存性のマッピングを用いることができ、それは利得係数ｇlにより記述される。しかしながら、スピーカチャネル信号をダウンミックスチャネル信号へマップするマッピングに関しては、一定の想定を用いてもよく、それはダウンミックス行列により記述されることがある。図４に示されているように、スピーカチャネル信号Ｃ、Ｌ及びＬsのみが第１のダウンミックスチャネル信号Ｙ1に寄与し、かつ、スピーカチャネル信号Ｃ、Ｒ及びＲsのみがダウンミックスチャネル信号Ｙ2に寄与すると想定してもよい。図４はこれを示している。
【０１４７】
１２． 図６による信号処理の流れ
【０１４８】
以下、図６を参照して、本発明による一実施形態における信号処理の流れについて述べる。図６は、例えば時間周波数表現Ｘ1及びＸ2により表されるマルチチャネルマイクロホン信号から拡張フィルタパラメータＨを導出するための信号処理の流れを示す概略表示である。
【０１４９】
処理の流れ６００は、空間分析６１０を、例えば第１のステップとして含む。空間分析６１０は空間キューパラメータの計算機能を担うことができる。したがって、直接音パワー情報（又は直接音エネルギー情報）Ｅ｛ＳＳ*｝、拡散音パワー情報（又は拡散音エネルギー情報）Ｅ｛ＮＮ*｝及び方向情報α，ａは、マルチチャネルマイクロホン信号に基づいて得ることができる。直接音パワー情報（又は直接音エネルギー情報）の導出、拡散音パワー情報（又は拡散音エネルギー情報）の導出、及び方向情報に関する詳細は先に述べた。
【０１５０】
また処理の流れ６００は利得係数のマッピング６２０も含み、方向情報はここで複数の利得係数（例えば、利得係数ｇ1からｇ5）へマップされる。利得係数のマッピング６２０は、例えば、先に述べたように、マルチチャネル振幅パンニング法を用いて実行できる。
【０１５１】
また処理の流れ６００はフィルタパラメータの計算６３０も含み、ここで、直接音パワー情報、拡散音パワー情報、方向情報及び利得係数から拡張フィルタパラメータＨが導出される。フィルタパラメータの計算６３０は、さらに、１つ又は複数の一定のパラメータ、例えばスピーカチャネルのダウンミックスチャネル信号への望ましいマッピングを記述するパラメータを用いてもよい。また、拡散音成分のスピーカ信号へのマッピングを記述する予め決められたパラメータを適用してもよい。
【０１５２】
フィルタパラメータの計算は、例えば、ｗ−マッピング６３２を含む。方程式２６から方程式２９に従って実行され得るｗ−マッピングでは、中間量として作用し得る値ｗ1からｗ4を得ることができる。フィルタパラメータの計算６３０はさらにＨ−マッピング６３４を含む。Ｈ−マッピング６３４は、例えば方程式２５に従って実行することができる。Ｈ−マッピング６３４では、拡張フィルタパラメータＨを決定することができる。Ｈ−マッピングのために、マイクロホン信号のチャネルとダウンミックス信号のチャネルとの間の望ましい相互相関値Ｅ｛Ｘ1，Ｙ1*｝、Ｅ｛Ｘ2，Ｙ2*｝を用いることができる。これらの望ましい相互相関値は直接音パワー情報Ｅ｛ＳＳ*｝とＥ｛ＮＮ*｝に基づいて得ることができる。Ｅ｛ＳＳ*｝とＥ｛ＮＮ*｝は方程式（２５）の分子に見ることのできるようなものであり、方程式（２４）の分子と同一である。
【０１５３】
結論を言えば、図６の処理の流れは、チャネル信号Ｘ1、Ｘ2により表されるマルチチャネルマイクロホン信号から拡張フィルタパラメータＨを導出するために適用することができる。
【０１５４】
１３． 図７による信号処理の流れ
【０１５５】
図７は、本発明の別の実施形態による信号処理の流れ７００を示す概略表示である。信号処理の流れ７００は、マルチチャネルマイクロホン信号から拡張フィルタパラメータＨを導出するために使用することができる。
【０１５６】
信号処理の流れ７００は空間分析７１０を含む。空間分析７１０は空間分析６１０と同一とすることができる。また、信号処理の流れ７００は利得係数のマッピング７２０を含む。利得係数のマッピング７２０は利得係数のマッピング６２０と同一とすることができる。
【０１５７】
信号処理の流れ７００は、フィルタパラメータの計算７３０も含む。フィルタパラメータの計算７３０はｗ−マッピング７３２を含むことができる。ｗ−マッピング７３２は、事例によってはｗ−マッピング６３２と同一とすることができる。しかしながら、適切であるようであれば、異なるｗ−マッピングを使用してもよい。
【０１５８】
フィルタパラメータの計算７３０は望ましい相互相関の計算７３４も含み、その中で、マルチチャネルマイクロホン信号のチャネルと（望ましい）ダウンミックス信号のチャネルとの間の望ましい相互相関が計算される。この計算は、例えば、方程式３５に従って実行できる。望ましい相互相関の計算７３４では、望ましいダウンミックス信号のモデルが適用できることに留意すべきである。例えば、望ましい相互相関の計算７３４において、マルチチャネルマイクロホン信号の直接音成分が方向情報に依存して複数のスピーカ信号へどのようにマップされるべきか、に関する想定が適用できる。加えて、望ましい相互相関の計算７３４において、マルチチャネルマイクロホン信号の拡散音成分がスピーカ信号においてどのように反映されるべきか、に関する想定も評価できる。さらに、望ましい相互相関の計算７３４において、複数のスピーカチャネルのダウンミックス信号への望ましいマッピングに関する想定も適用できる。したがって、マイクロホン信号のチャネルと（望ましい）ダウンミックス信号のチャネルとの間の望ましい相互相関Ｅ｛Ｘi，Ｙj*｝は、直接音パワー情報、拡散音パワー情報、方向情報及び方向依存性利得係数（後者の情報は、中間値ｗを取得するために組み合わすことができる。）に基づいて得ることができる。
【０１５９】
フィルタパラメータの計算７３０は、ウィーナ−ホップ方程式７３６を解くことも含み、これは、例えば方程式３３及び方程式３４に従って実行できる。この目的に沿って、ウィーナ−ホップ方程式は、直接音パワー情報、拡散音パワー情報、及びマルチチャネルマイクロホン信号のチャネルと（望ましい）ダウンミックス信号のチャネルとの間の望ましい相互相関に依存して設定できる。ウィーナ−ホップ方程式（例えば、方程式３２）の解としては、拡張フィルタパラメータＨが得られる。
【０１６０】
上記を要約すると、いくらかの実施形態において、拡張フィルタパラメータＨの決定は、望ましい相互相関を計算するステップ、ウィーナ−ホップ方程式を設定するステップ、及びそれを解くステップ（ステップ７３６）からなる別々のステップを含むことができる。
【０１６１】
１４． 結論
【０１６２】
これまでの説明を要約すると、本発明による実施形態は、マイクロホン入力信号に基づいてパラメトリック空間オーディオコーダの望ましいダウンミックス信号を計算するための拡張された概念と方法を生み出す。ある重要な一例は、ステレオマイクロホン信号を、計算されたＭＰＳパラメータに対応するＭＰＥＧサラウンドダウンミックスに変換することによって与えられる。拡張ダウンミックス信号は、非特許文献２において提案されている最新技術事例に比較して、ＭＰＥＧ復号後に遙かに向上した空間オーディオ品質及び局在化特性をもたらす。本発明による簡単な一実施形態は、下記のステップ１から４を含む。
１．マイクロホン入力信号を受信するステップ、
２．空間キューパラメータを計算するステップ、
３．望ましいダウンミックスチャネルのモデル、デコーダ出力のマルチチャネルスピーカ信号モデル及び空間キューパラメータに基づいてダウンミックス拡張フィルタを決定するステップ、及び、
４．空間オーディオマイクロホンに使用するための拡張ダウンミックス信号を得るために、拡張フィルタをマイクロホン入力信号へ適用するステップ。
【０１６３】
本発明による別の簡単な実施形態は、ダウンミックス信号を発生するための装置、方法及びコンピュータプログラムを生み出す。この装置、方法又はコンピュータプログラムは、マイクロホン信号に関する情報に基づいて、又は意図される再生装備に関する情報に基づいて拡張フィルタパラメータを計算するためのフィルタ計算器を備えている。また、この装置、方法又はコンピュータプログラムは、前記拡張フィルタパラメータを用いてマイクロホン信号を濾波して拡張ダウンミックス信号を得るためのフィルタ装置（又は濾波ステップ）を備えている。
【０１６４】
この装置、方法又はコンピュータプログラムは、フィルタ計算器が望ましいダウンミックスチャネルのモデル、デコーダ出力のマルチチャネルスピーカ信号モデル又は空間キューパラメータに基づいて拡張フィルタパラメータを計算するように構成されていることに関して任意に改善することができる。
【０１６５】
１５． 変形実施例
【０１６６】
以上、幾つかの態様を装置の文脈で説明したが、これらの態様は対応方法を記述するものでもあることは明らかであり、ブロック又は装置が方法ステップ又は方法ステップの特徴に対応する。同様に、方法ステップの文脈で説明された態様も、対応する装置の対応するブロック、項目（item）又は特徴の説明を表す。これらの方法ステップのうちの幾つか又は全ては、例えばマイクロプロセッサ、プログラマブルコンピュータ又は電子回路のようなハードウェア装置によって（又はこれを使用して）実行することができる。実施形態によっては、最も重要な方法ステップのうちの１つ又はそれ以上がこのような装置によって実行されることもある。
【０１６７】
本発明による符号化されたオーディオ信号は、デジタル記憶媒体に蓄積することができ、又はインターネット等の無線伝送媒体もしくは有線伝送媒体のような伝送媒体で伝送することができる。
【０１６８】
実施の要請に応じて、本発明の実施形態はハードウェア又はソフトウェアとして実施することができ、その実施は、電子的に読取り可能な制御信号を蓄積している、例えばフロッピーディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ又はフラッシュメモリであるデジタル記憶媒体を用いて実行することができる。これらのデジタル記憶媒体は個々の方法が実行されるようにプログラム可能コンピュータシステムと協働する（又は、協働することができる）。したがって、これらのデジタル記憶媒体はコンピュータ読取りできる。
【０１６９】
本発明によるいくつかの実施形態は電子的に読取り可能な制御信号を有するデータキャリアを含む。それらの制御信はプログラム可能コンピュータシステムと協働できるので、本明細書に記述されている方法のうちの１つが実行される。
【０１７０】
一般に、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実施することができる。前記プログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されると本発明の方法のうちの１つを実行するように動作可能である。プログラムコードは、例えば、機械読取り可能キャリアに蓄積することができる。
【０１７１】
他の実施形態は、機械読取り可能キャリアに蓄積され、本明細書に記述されている方法のうちの１つを実行するためのコンピュータプログラムを含む。
【０１７２】
言い替えれば、本発明方法の一実施形態は、したがって、コンピュータプログラムがコンピュータ上で実行されると本明細書に記述されている方法のうちの１つを実行するためのプログラムコードを有するコンピュータプログラムである。
【０１７３】
本発明方法のさらなる実施形態は、したがって、本明細書に記述されている方法のうちの１つを実行するためのコンピュータプログラムを記録して有するデータキャリア（又は、デジタル記憶媒体又はコンピュータ読取り可能媒体）である。データキャリア、デジタル記憶媒体又は記録媒体は、典型的には有形及び／又は非移行性(non-transitionary)である。
【０１７４】
本発明方法のさらなる実施形態は、したがって、本明細書に記述されている方法のうちの１つを実行するためのコンピュータプログラムを表すデータストリーム又は信号シーケンスである。データストリーム又は信号シーケンスは、例えば、データ通信接続を介して、例えばインターネットを介して、転送されるように構成することができる。
【０１７５】
さらなる実施形態は、本明細書に記述されている方法のうちの１つを実行するように構成又は適合化されている処理手段、例えばコンピュータ、又はプログラマブル論理装置を含む。
【０１７６】
さらなる実施形態は、本明細書に記述されている方法のうちの１つを実行するためのコンピュータプログラムをインストールしているコンピュータを含む。
【０１７７】
本発明によるさらなる実施形態は、本明細書に記述されている方法のうちの１つを実行するためのコンピュータプログラムを受信機へ（例えば、電子的又は光学的に）転送するように構成されている装置又はシステムを含む。受信機は、例えば、コンピュータ、モバイル装置、メモリ装置又はこれらに類似するものとすることができる。例えば、前記装置又はシステムはコンピュータプログラムを受信機へ転送するためのファイルサーバを含むことができる。
【０１７８】
いくつかの実施形態においては、本明細書に記述されている方法の機能のうちの幾つか、又は全てを実行するために、プログラマブル論理装置（例えば、フィールド・プログラマブル・ゲートアレイ）を使用してもよい。いくつかの実施形態においては、フィールド・プログラマブル・ゲートアレイが、本明細書に記述されている方法のうちの１つを実行するためにマイクロプロセッサと協働することができる。一般に、それらの方法は、好ましくは任意のハードウェア装置によって実行される。
【０１７９】
これまでに述べた実施形態は、単に本発明の原理を例示するものである。本明細書に記述されている装置及び詳細の修正及び変形は当業者には明らかであることが理解される。したがって、本発明は、本明細書における実施形態の記述及び説明によって提示された特定の詳細ではなく、添付の特許請求の範囲によってのみ限定されるべきものである。
【技術分野】
【０００１】
本発明による実施形態は、拡張ダウンミックス信号を発生するための装置、拡張ダウンミックス信号を発生するための方法及び拡張ダウンミックス信号を発生するためのコンピュータプログラムに関する。
【０００２】
本発明による一実施形態は、空間オーディオマイクロホンのための拡張ダウンミックス計算に関する。
【背景技術】
【０００３】
サラウンドサウンドを小型マイクロホン構造で録音することは、現在も難題である。最も広く知られているこのような構造の１つは、サウンドフィールドマイクロホン及び対応するサラウンドデコーダ（例えば、非特許文献３参照）である。これは、ほぼ同時に発生するその４つのマイクロホンカプセル信号を濾波し、かつ結合してサラウンドサウンド出力チャネルを生成する。単一チャネルの高い信号忠実度は維持されるものの、この手法の弱点は、一次マイクロホン方向性応答の指向性が限定されていることに関連してチャネル分離が限定的なことにある。
【０００４】
あるいは、観察される音場のパラメトリックな表現を基礎とする技術を適用することができる。非特許文献２には、従来的な同時発生ステレオマイクロホンペアを用いてサラウンドサウンドを録音することが提案されていて、これらの指向性マイクロホン信号からの音の空間キューパラメータ直接音対拡散音比及び到来方向を如何に推定するか、及びサラウンドサウンドを発生するために、この情報を如何に適用して空間オーディオのコーディング合成を駆動するかが示されている。非特許文献２では、ＭＰＥＧサラウンド（ＭＰＳ）コーディングスキーム（例えば、非特許文献６参照）において用いられる特有の空間パラメータを直に計算するために、音のパラメトリックな情報、すなわち到来方向（ＤＯＡ）、及び音場の拡散音比（ＤＳＲ）が如何に使用され得るか、についても論じられている。
【０００５】
ＭＰＥＧサラウンドは、マルチチャネルオーディオ信号のパラメトリック表現であり、高品質空間オーディオコーディングへの効率的なアプローチを表す。ＭＰＳは、知覚的観点から、マルチチャネルオーディオ信号は異なるスピーカチャネルに対して著しい冗長性を含む、という事実を活用する。ＭＰＳエンコーダは、入力として複数のスピーカ信号を取り込むが、この場合、スピーカの対応する空間的構造は事前に知られていなければならない。これらの入力信号に基づいて、ＭＰＳエンコーダは、２チャネル間のチャネルレベル差（ＣＬＤ）及び２チャネル間のチャネル間相関（ＩＣＣ）等の周波数サブバンドにおける空間パラメータを計算する。次に、これらの空間パラメータから実際のＭＰＳサイド情報が導出される。さらに、エンコーダはダウンミックス信号を計算する。そのダウンミックス信号は１つ又は複数のオーディオチャネルより成る可能性がある
【０００６】
ステレオマイクロホンの入力信号は、空間キューパラメータの推定によく適することが分かっている。しかしながら、未処理のステレオマイクロホン入力信号は、対応するＭＰＥＧサラウンドのダウンミックス信号としてそのまま用いることに一般的にはさほど適さないことも分かっている。多くの事例において、左右チャネル間のクロストークが高すぎて、結果的に、ＭＰＥＧサラウンドの復号信号のチャネル分離が不良になることが分かっている。
【０００７】
この状況に鑑みて、拡張ダウンミックス信号によりＭＰＥＧサラウンドの復号後に十分に優れた空間オーディオ品質及び局在化特性がもたらされるように、マルチチャネルマイクロホン信号を基礎とする拡張ダウンミックス信号を発生するための概念が必要とされている。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】[1] ISO/IEC 23003-1:2007.Information technology - MPEG Audio technologies - Part 1: MPEG Surround.International Standards Organization, Geneva, Switzerland, 2007.
【０００９】
【非特許文献２】[2] C.Faller.Microphone front-ends for spatial audio coders.In 125th AES Convention, Paper 7508, San Francisco, Oct.2008.
【００１０】
【非特許文献３】[3] M.A.Gerzon.Periphony: Width-Height Sound Reproduction.J.Aud.Eng.Soc.,21(1):2-10, 1973
【００１１】
【非特許文献４】[4] D.Griesinger.Stereo and surround panning in practice.In Preprint 112th Conv.Aud.Eng.Soc., May 2002.
【００１２】
【非特許文献５】[5] S.Haykin.Adaptive Filter Theory (third edition).Prentice Hall, 1996.
【００１３】
【非特許文献６】[6] J.Herre, K.Kjoerling, J.Breebaart, C.Faller, S.Disch, H.Purnhagen, J.Koppens, J.Hilpert, J.Roeden, W.Oomen, K.Linzmeier, and K.S.Chong.Mpeg surround - the iso/mpeg standard for efficient and compatible multi-channel audio coding.In Preprint 122th Conv.Aud.Eng.Soc., May 2007.
【００１４】
【非特許文献７】[7] V.Pulkki.Virtual sound source positioning using Vector Base Amplitude Panning.J.Audio Eng.Soc., 45:456-466, June 1997
【００１５】
【非特許文献８】[8] B.D.Van Veen and K.M.Buckley.Beamforming: A versatile approach to apatial filtering.IEEE ASSP Magazine, 5(2):4-24, April 1988
【発明の概要】
【発明が解決しようとする課題】
【００１６】
この目的は、拡張ダウンミックス信号を発生するための特許請求の範囲に記載の装置、拡張ダウンミックス信号を発生するための特許請求の範囲に記載の方法及び拡張ダウンミックス信号を発生するための特許請求の範囲に記載のコンピュータプログラムによって達成される。
【課題を解決するための手段】
【００１７】
本発明による一実施形態は、マルチチャネルマイクロホン信号に基づいて拡張ダウンミックス信号を発生するための装置を創出する。本装置は、マルチチャネルマイクロホン信号に基づいて、直接音の到来方向を記述する方向情報、直接音のパワー情報、及び拡散音のパワー情報を含む１組の空間キューパラメータを計算するように構成されている空間アナライザを備えている。また本装置は、直接音の到来方向を記述する方向情報に依存して、直接音パワー情報に依存して、かつ拡散音パワー情報に依存して拡張フィルタパラメータを計算するためのフィルタ計算器も備えている。また本装置は、拡張ダウンミックス信号を取得するために、拡張フィルタパラメータを用いてマイクロホン信号又はマイクロホン信号から導出される信号を濾波するためのフィルタも備えている。
【００１８】
本発明によるこの実施形態は、入力されるマルチチャネルマイクロホン信号より遙かに適する拡張ダウンミックス信号が入力されるマルチチャネルマイクロホン信号の濾波オペレーションによって導出され得るという発見、及び、このような信号拡張濾波オペレーションのためのフィルタパラメータは空間キューパラメータから効率的に導出され得るという発見に基づいている。
【００１９】
したがって、拡張フィルタパラメータの計算に際しては、やはりＭＰＥＧサラウンドパラメータの導出に適する同じ情報、すなわち空間キューパラメータを再使用することが可能である。したがって、上述の概念を用いれば、高度に効率的なシステムを作り出すことができる。
【００２０】
さらに、マルチチャネルマイクロホン信号のチャネル信号が低い空間分離しか含まない場合でも、ＭＰＥＧサラウンドデコーダにおける処理に際して良好なチャネル分離を可能にするダウンミックス信号を導出することができる。したがって、拡張ダウンミックス信号は、従来システムに比較して、ＭＰＥＧサラウンドの復号後に遙かに向上した空間オーディオ品質及び局在化特性をもたらすことができる。
【００２１】
要約すると、本発明による上述の実施形態は、適度の計算量で優れた空間分離特性を有する拡張ダウンミックス信号を生成できるようにする。
【００２２】
ある好適な実施形態において、フィルタ計算器は、拡張ダウンミックス信号が望ましいダウンミックス信号に近似すべく拡張フィルタパラメータを計算するように構成されている。この手法を用いれば、拡張フィルタパラメータの、濾波の望ましい結果への十分な適応を保証することができる。例えば、拡張フィルタパラメータは、拡張ダウンミックス信号の１つ又は複数の統計的特性がダウンミックス信号の望ましい統計的特性に近似するように計算することができる。したがって、拡張ダウンミックス信号の期待値への十分な適応が達成可能であり、この場合、期待値は、望ましい相関値として数値的に規定することができる。
【００２３】
ある好適な実施形態において、フィルタ計算器は、空間キューパラメータに依存して、マルチチャネルマイクロホン信号（又は、より具体的にそのチャネル信号）とダウンミックス信号の望ましいチャネル信号との間の望ましい相関値を計算するように構成されている。この場合、フィルタ計算器は、好ましくは、望ましい相互相関値に依存して拡張フィルタパラメータを計算するように構成されている。この相互相関値は、ダウンミックス信号のチャネル信号が十分に優れたチャネル分離特性を示しているかどうかの優れた尺度であることが分かっている。また、望ましい相関値は、空間キューパラメータに基づいて適度な計算量で計算できることも分かっている。
【００２４】
ある好適な実施形態において、フィルタ計算器は、望ましい相互相関値を、複数のスピーカ信号に対するマルチチャネルマイクロホン信号の直接音成分の望ましい寄与を記述する方向依存性の利得係数に依存して、かつ拡張ダウンミックス信号の１つ又は複数のチャネルに対する複数のオーディオチャネル（例えば、スピーカ信号）の望ましい寄与を記述する１つ又は複数のダウンミックスマトリクス値に依存して計算するように構成されている。方向依存性利得係数及びダウンミックスマトリクス値は共に、望ましい相互相関値の計算に極めて適切であること、及び、前記方向依存性利得係数及び前記ダウンミックスマトリクス値は容易に入手可能であることが分かっている。さらに、前記情報に基づいて、望ましい相互相関値が容易に入手可能であることも分かっている。
【００２５】
ある好適な実施形態において、フィルタ計算器は、方向情報を１組の方向依存性利得係数へマップ（map）するように構成されている。方向情報に依存して利得係数を適度な計算量で計算するためには、マルチチャネル振幅パンニング法が使用できることが分かっている。方向依存性利得係数を決定するためには、例えば、どのスピーカが直接音成分をレンダリングすべきかを記述し得る到来方向情報が適することが分かっている。直接音成分は、到来方向情報（方向情報として略示される）に依存して異なるスピーカ信号へ分散されること、及び、どのスピーカが直接音成分をレンダリングすべきかを記述する利得係数の決定が比較的単純であることは、容易に理解できる。例えば、１組の方向依存性利得係数へ方向情報をマップするために用いられるマッピング（mapping）規則は、単に、到来方向に関連づけられるスピーカは直接音成分をレンダリング（又は主としてレンダリング）する可能性があり、一方で他の方向に関連づけられる他のスピーカは単に直接音成分の僅かな部分をレンダリングするか、又は直接音成分を抑制もすることを決定できる。
【００２６】
ある好適な実施形態において、フィルタ計算器は、望ましい相互相関値を計算するために、直接音のパワー情報及び拡散音のパワー情報を考慮するように構成されている。前記音成分（直接音成分及び拡散音成分）双方のパワーを考慮することにより、直接音成分及び拡散音成分が共に（典型的には、マルチチャネル）ダウンミックス信号のチャネル信号へ適切に割り当てられることから、結果的に、特に優れた聴感が得られることが分かっている。
【００２７】
ある好適な実施形態において、フィルタ計算器は、望ましい相互相関値を計算するために、方向情報に依存して直接音のパワー情報を重みづけし、かつ方向情報とは独立して予め決められた重み付けを拡散音のパワー情報に適用するように構成されている。したがって、直接音成分と拡散音成分との間で、結果的にどちらが望ましい相互相関値の現実的な推定をもたらすかの区別が可能である。
【００２８】
ある好適な実施形態において、フィルタ計算器は、拡張フィルタパラメータを導出するためにウィーナ−ホップ（Wiener-Hopf）方程式を評価するように構成されている。この場合、ウィーナ−ホップ方程式は、マルチチャネルマイクロホン信号の異なるチャネルペア間の相関性を記述する相関値と、拡張フィルタパラメータと、マルチチャネルマイクロホン信号のチャネル信号とダウンミックス信号の望ましいチャネル信号との間の望ましい相互相関値と、の間の関係性を記述する。このようなウィーナ−ホップ方程式の評価は、ダウンミックス信号のチャネル信号の望ましい相関特性に十分適応される拡張フィルタパラメータを生じさせることが分かっている。
【００２９】
ある好適な実施形態において、フィルタ計算器は、望ましいダウンミックスチャネルのモデルに依存して拡張フィルタパラメータを計算するように構成されている。望ましいダウンミックスチャネルをモデル化することにより、拡張フィルタパラメータは、マルチチャネルデコーダにおける望ましいマルチチャネルスピーカ信号の優れた再構成を可能にするダウンミックス信号を得るように計算することができる。
【００３０】
実施形態によっては、望ましいダウンミックスチャネルのモデルは理想的なダウンミキシングのモデルを備えていることができる。理想的なダウンミキシングは、チャネル信号（例えば、スピーカ信号）が個々に利用可能であれば実行される。さらに、モデル化は、マルチチャネルマイクロホン信号が限定的な空間分離しか持たないチャネル信号を含む場合でも、個々のチャネル信号がマルチチャネルマイクロホン信号から如何にして入手され得るかのモデルを含むことができる。したがって、望ましいダウンミックスチャネルの全体的モデルは、例えば、個々のチャネル信号（例えば、スピーカ信号）を如何にして入手し、かつ前記個々のチャネル信号から如何にして望ましいダウンミックスチャネルを導出するかのモデル化を組み合わせることによって得ることができる。したがって、これは、比較的少ない計算量で入手可能な拡張フィルタパラメータの計算にとって十分によい参考になる。
【００３１】
ある好適な実施形態において、フィルタ計算器は１チャネルフィルタリング又は２チャネルフィルタリングを選択的に実行するように構成されている。１チャネルフィルタリングでは、ダウンミックス信号の第１のチャネルがマルチチャネルマイクロホン信号の第１のチャネルの濾波によって導出され、ダウンミックス信号の第２のチャネルがマルチチャネルマイクロホン信号の第２のチャネルの濾波によって導出されるとともに、マルチチャネルマイクロホン信号の第１のチャネルからダウンミックス信号の第２のチャネルへのクロストークが回避され、マルチチャネルマイクロホン信号の第２のチャネルからダウンミックス信号の第１のチャネルへのクロストークが回避される。２チャネルフィルタリングでは、ダウンミックス信号の第１のチャネルがマルチチャネルマイクロホン信号の第１及び第２のチャネルを濾波することにより導出され、ダウンミックス信号の第２のチャネルがマルチチャネルマイクロホン信号の第１及び第２のチャネルを濾波することにより導出される。１チャネルフィルタリング及び２チャネルフィルタリングの選択は、マルチチャネルマイクロホン信号の第１のチャネルとマルチチャネルマイクロホン信号の第２のチャネルとの間の相関性を記述する相関値に依存して行われる。１チャネルフィルタリング又は２チャネルフィルタリングを選択することにより、左右のチャネルが高度に相関している状況下で、もし２チャネルフィルタリングが用いられれば現出することがある数値誤差を回避することができる。したがって、マルチチャネルマイクロホン信号のチャネル信号が高度に相関しているか否かに拘わらず、良品質のダウンミックス信号を入手することができる。
【００３２】
本発明による別の実施形態は、拡張ダウンミックス信号を発生するための方法を創出する。
【００３３】
本発明による別の実施形態は、拡張ダウンミックス信号を発生する前記方法を実行するためのコンピュータプログラムを創出する。
【００３４】
本方法及びコンピュータプログラムは、前記装置と同じ発見を基礎とし、かつ前記装置に関連して論じた任意の特徴及び機能によって補うことができる。
【００３５】
続いて、添付の図面を参照して本発明による実施形態について述べる。
【図面の簡単な説明】
【００３６】
【図１】図１は、本発明の一実施形態による拡張ダウンミックス信号を発生するための装置を示す概略ブロック図である。
【図２】図２は、本発明の一実施形態による空間オーディオマイクロホンの処理を示す図解である。
【図３】図３は、本発明の一実施形態による拡張ダウンミックス計算を示す図解である。
【図４】図４は、本発明による実施形態において用いられる場合がある、望ましいダウンミックス信号Ｙ1及びＹ2を計算するためのチャネルマッピングを示す図解である。
【図５】図５は、本発明の一実施形態による予め処理されたマイクロホン信号を基礎とする拡張ダウンミックス計算を示す図解である。
【図６】図６は、本発明の一実施形態によるマルチチャネルマイクロホン信号から拡張フィルタパラメータを導出するための計算を示す概略図である。
【図７】図７は、本発明の別の実施形態によるマルチチャネルマイクロホン信号から拡張フィルタパラメータを導出するための計算を示す概略図である。
【発明を実施するための形態】
【００３７】
１． 図１による拡張ダウンミックス信号を発生するための装置
【００３８】
図１は、マルチチャネルマイクロホン信号に基づいて拡張ダウンミックス信号を発生するための装置１００を示す概略ブロック図である。装置１００は、マルチチャネルマイクロホン信号１１０を受信し、かつこれに基づいて拡張ダウンミックス信号１１２を生成するように構成されている。装置１００は、マルチチャネルマイクロホン信号１１０に基づいて１組の空間キューパラメータ１２２を計算するように構成されている空間アナライザ１２０を備えている。空間キューパラメータは、典型的には、直接音（この直接音は、マルチチャネルマイクロホン信号に含まれている。）の到来方向を記述する方向情報と、直接音パワー情報と、拡散音パワー情報とを含む。また装置１００は、空間キューパラメータ１２２に依存して、すなわち、直接音の到来方向を記述する方向情報、直接音パワー情報及び拡散音パワー情報に依存して、拡張フィルタパラメータ１３２を計算するためのフィルタ計算器１３０も備えている。また装置１００は、拡張ダウンミックス信号１１２を得るために、マイクロホン信号１１０又はマイクロホン信号１１０から導出される信号１１０’を、拡張フィルタパラメータ１３２を用いて濾波するためのフィルタ１４０も備えている。信号１１０’は、任意の事前処理１５０を用いてマルチチャネルマイクロホン信号１１０から任意に導出することができる。
【００３９】
装置１００の機能に関しては、拡張ダウンミックス信号１１２は、典型的には、拡張ダウンミックス信号１１２がＭＰＥＧサラウンドの復号後にマルチチャネルマイクロホン信号１１０よりも向上した空間オーディオ品質を可能にするように生成されるということができる。それは、拡張フィルタパラメータ１３２は、典型的には、この目的を達成するために、フィルタ計算器１３０によって生成されるからである。拡張フィルタパラメータ１３０の生成は、空間アナライザにより生成される空間キューパラメータ１２２に基づいており、拡張フィルタパラメータ１３０がマルチチャネルマイクロホン信号１１０の空間特性に従って生成されるように、かつマルチチャネルマイクロホン信号１１０の空間特性を強調するためになされる。したがって、フィルタ１４０により実行される濾波は、入力されるマルチチャネルマイクロホン信号１１０に比較すると、拡張ダウンミックス信号１１２の空間特性の信号適応処理の向上を可能にする。
【００４０】
続いて、空間アナライザ１２０により実行される空間分析に関する細部を、フィルタ計算器１３０によって実行されるフィルタパラメータ計算、及びフィルタ１４０によって実行される濾波に関連してさらに詳しく述べる。
【００４１】
２． 図２による、拡張ダウンミックス信号を発生するための装置
【００４２】
図２は、拡張ダウンミックス信号（２チャネルオーディオ信号の形式をとることができる。）及び２チャンネルより多いチャネルを有するアップミックス信号に関連づけられた１組の空間キューを発生するための装置２００を示す概略ブロック図である。装置２００は、第１のチャネル信号２１０ａ及び第２のチャネル信号２１０ｂを含む２チャネルマイクロホン信号を生成するように構成されているマイクロホン装置２０５を備えている。
【００４３】
装置２００は、さらに、２チャンネルより多いチャネルを有するアップミックス信号に関連づけられた１組の空間キューを２チャネルマイクロホン信号に基づいて生成するためのプロセッサ２１６を備えている。プロセッサ２１６は、拡張フィルタパラメータ２３２を生成するようにも構成されている。プロセッサ２１６は、その入力信号として、マイクロホン装置２０５によって生成される第１のチャネル信号２１０ａ及び第２のチャネル信号２１０ｂを受信するように構成されている。装置２１６は、拡張フィルタパラメータ２３２を生成し、かつ空間キュー情報２６２も生成するように構成されている。装置２００はさらに、２チャネルオーディオ信号プロバイダ２４０を備えており、２チャネルオーディオ信号プロバイダ２４０はマイクロホン装置２０５によって生成される第１のチャネル信号２１０ａ及び第２のチャネル信号２１０ｂを受信し、これらの第１のチャネルマイクロホン信号２１０ａ及び第２のチャネルマイクロホン信号２１０ｂの処理されたバージョンを生成して、それをチャネル信号２１２ａ、２１２ｂを含む２チャネルオーディオ信号２１２とするように構成されている。
【００４４】
マイクロホン装置２０５は、第１の指向性マイクロホン２０６と第２の指向性マイクロホン２０８とを備えている。第１の指向性マイクロホン２０６及び第２の指向性マイクロホン２０８は、好ましくは３０ｃｍより大きくない距離だけ離れている。したがって、第１の指向性マイクロホン２０６によって受信される信号と第２の指向性マイクロホン２０８によって受信される信号は強く相関しており、このことは信号アナライザ２２０による成分エネルギー情報（又は成分パワー情報）１２２ａ及び方向情報１２２ｂの計算にとって有益であることが分かっている。しかしながら、第１の指向性マイクロホン２０６及び第２の指向性マイクロホン２０８は、第２の指向性マイクロホン２０８の方向特性２０９が第１の指向性マイクロホン２０６の方向特性２０７の回転バージョンであるように方向づけられる。したがって、第１のチャネルマイクロホン信号２１０ａ及び第２のチャネルマイクロホン信号２１０ｂは（マイクロホン２０６、２０８の空間近接性により）強く相関しているが、（指向性マイクロホン２０６、２０８の異なる方向特性２０７、２０９により）なおも相違している。特に、略一定方向からマイクロホン装置２０５へ入射する指向性信号は、第１のチャネルマイクロホン信号２１０ａと第２のチャネルマイクロホン信号２１０ｂの強く相関した信号成分であって、時間的に一定した方向依存性振幅比（又は強度比）を有する信号成分を生じさせる。時間的に変わる方向からマイクロホンアレイ２０５へ入射する周囲オーディオ信号は、第１のチャネルマイクロホン信号２１０ａ及び第２のチャネルマイクロホン信号２１０ｂの信号成分であって、著しい相関性を有するが時間的に変動する振幅比（又は強度比）を有する信号成分を生じさせる。したがって、マイクロホン装置２０５は２チャネルマイクロホン信号２１０ａ、２１０ｂを生成し、それらのマイクロホン信号２１０ａ、２１０ｂはマイクロホン２０６、２０８が近接して配置されてもプロセッサ２１６の信号アナライザ２２０が直接音と拡散音とを区別することを可能にする。このように、装置２００はオーディオ信号プロバイダを構成し、そのオーディオ信号プロバイダは空間的に小型の形式で実装することができ、それにも拘わらず２チャンネルより多いチャネルを有するアップミックス信号に関連づけられる空間キューを生成できる。
【００４５】
空間キュー２６２は、生成された２チャネルオーディオ信号２１２ａ、２１２ｂと組み合わせて、空間オーディオデコーダでサラウンドサウンド出力信号を生成するために使用することができる。
【００４６】
以下、装置２００に関してさらに幾つかの説明を行う。装置２００は、場合により、第１のチャネル信号２１０ａ及び第２のチャネル信号２１０ｂを生成するマイクロホン装置２０５を備える。第１のチャネル信号２１０ａはｘ1（ｔ）としても示され、第２のチャネル信号２１０ｂはｘ2（ｔ）として示されている。留意すべきは、第１のチャネル信号２１０ａと第２のチャネル信号２１０ｂは、図１による装置１００へ入力されるマルチチャネルマイクロホン信号１１０を表す場合があることである。
【００４７】
２チャネルオーディオ信号プロバイダ２４０は、第１のチャネル信号２１０ａ及び第２のチャネル信号２１０ｂを受信し、かつ典型的には、拡張フィルタパラメータ情報２３２も受信する。２チャネルオーディオ信号プロバイダ２４０は、第１のチャネル信号２１２ａ及び第２のチャネル信号２１２ｂによって表される２チャネルオーディオ信号２１２を生成するために、例えば、任意の事前処理１５０の機能及びフィルタ１４０の機能を実行することができる。２チャネルオーディオ信号２１２は、図１の装置１００によって出力される拡張ダウンミックス信号１１２と同等であるとすることができる。
【００４８】
信号アナライザ２２０は、第１のチャネル信号２１０ａ及び第２のチャネル信号２１０ｂを受信するように構成することができる。また、信号アナライザ２２０は、２チャネルマイクロホン信号２１０に基づいて、すなわち第１のチャネル信号２１０ａ及び第２のチャネル信号２１０ｂ基づいて、成分エネルギー情報１２２ａ及び方向情報１２２ｂを得るように構成することもできる。好ましくは、信号アナライザ２２０は、成分エネルギー情報１２２ａが２チャネルマイクロホン信号の直接音成分と２チャネルマイクロホン信号の拡散音成分のエネルギー（又は、等価的にパワー）の推定値を示し、かつ方向情報１２２が２チャネルマイクロホン信号２１０ａ、２１０ｂの直接音成分が出てくる方向の推定を示すような、成分エネルギー情報１２２ａと方向情報１２２ｂを得るように構成されている。したがって、信号アナライザ２２０は空間アナライザ１２０の機能を受け持つことができ、成分エネルギー情報１２２ａと方向情報１２２ｂは空間キューパラメータ１２２と同等であるとすることができる。成分エネルギー情報１２２ａは、直接音パワー情報及び拡散音パワー情報と同等であるとすることができる。プロセッサ２１６は、信号アナライザ２２０から成分エネルギー情報１２２ａと方向情報１２２ｂを受信する空間サイド情報発生器２６０も備えている。空間サイド情報発生器２６０は、これらの情報に基づいて空間キュー情報２６２を生成するように構成されている。好ましくは、空間サイド情報発生器２６０は、２チャネルマイクロホン信号２１０ａ、２１０ｂの成分エネルギー情報１２２ａと２チャネルマイクロホン信号２１０ａ、２１０ｂの方向情報１２２ｂを空間キュー情報２６２へマップするように構成されている。したがって、空間キュー情報２６２は、空間キュー情報２６２が２チャンネルより多いチャネルを有するアップミックスオーディオ信号に関連づけられる空間キューの１組を示すように得られる。
【００４９】
プロセッサ２１６は、２チャネルマイクロホン信号２１０ａ、２１０ｂに基づいて、２チャンネルより多いチャネルを有するアップミックスオーディオ信号に関連づけられる空間キュー情報２６２の極めて計算効率の良い計算を可能にする。信号アナライザ２２０は２チャネルマイクロホン信号から大量の情報を抽出することができる。その情報とは、すなわち直接音成分のエネルギーの推定値及び拡散音成分のエネルギーの推定値の双方を示す成分エネルギー情報１２２ａと、２チャネルマイクロホン信号の直接音成分が出てくる方向の推定値を示す方向情報１２２ｂである。信号アナライザ２２０により２チャネルマイクロホン信号２１０ａ、２１０ｂに基づいて得ることのできるこの情報は、２チャンネルより多いチャネルを有するアップミックスオーディオ信号に関する空間キュー情報２６２を導出するに足るものであることが分かっている。重要な点として、成分エネルギー情報１２２ａと方向情報１２２ｂは、実際にアップミックス・オーディオ・チャネルを中間量として用いることなく空間キュー情報２６２を直に決定するに足るものであることが分かっている。
【００５０】
さらに、プロセッサ２１６は、成分エネルギー情報１２２ａ及び方向情報１２２ｂを受信しかつこれらに基づいて拡張フィルタパラメータ情報２３２を生成するように構成されているフィルタ計算器２３０を備えている。したがって、フィルタ計算器２３０は、フィルタ計算器１３０の機能を引き継ぐことができる。
【００５１】
上記を要約すると、装置２００は、拡張ダウンミックス信号２１２と空間キュー情報２６２の双方を、双方とも同じ中間情報１２２ａ、１２２ｂを用いて効率的に決定することができる。また、装置２００は、（拡張された）ダウンミックス信号２１２と空間キュー情報２６２の双方を得るために、空間的に小型のマイクロホン装置２０５を用いることができる点も留意されるべきである。ダウンミックス信号２１２は、小型マイクロホン装置２０５（小型マイクロホン装置２０５は、装置２００の一部である場合も、装置２００の外部に存在するが装置２００へ接続される場合もある。）を使用しているにも拘わらず、フィルタ計算器２３０による拡張フィルタパラメータ２３２の計算により特に優れた空間分離特性を備えている。したがって、（拡張された）ダウンミックス信号２１２は、空間キュー情報２６２と組み合わせて取り入れられる場合に（例えば、ＭＰＥＧサラウンドデコーダを用いる）空間レンダリングに適したものとすることができる。
【００５２】
要約すると、図２は、空間オーディオマイクロホン手法の概略ブロック図を示している。図から分かるように、ステレオマイクロホンの入力信号２１０ａ（ｘ1（ｔ）でも示される）及び２１０ｂ（ｘ2（ｔ）でも示される）は、ブロック２１６において、マルチチャネルアップミックス信号（例えば、２チャネルオーディオ信号２１２）に関連づけられる空間キュー情報の組２６２を計算するために用いられる。さらに、２チャネルダウンミックス信号２１２も生成される。
【００５３】
以下、ステレオマイクロホン信号の解析に基づいて空間キュー情報２６２を決定するために必要とされるステップについて要約する。ここでは、非特許文献２における提示を参照する。
【００５４】
３． ステレオ信号解析
【００５５】
以下、空間アナライザ１２０又は信号アナライザ２２０が実行することのできるステレオ信号解析について述べる。留意すべきは、使用されるマイクロホンが２個より多く存在し、かつマルチチャネルマイクロホン信号のチャネル信号が２チャンネルより多く存在するいくつかの実施形態において、拡張信号解析が使用されることがあるということである。
【００５６】
ここで述べるステレオ信号解析は空間キューパラメータ１２２を生成するために用いることができる。空間キューパラメータ１２２は成分エネルギー情報１２２ａと方向情報１２２ｂの形式をとることができる。ステレオ信号解析は時間−周波数領域において実行できることに留意すべきである。したがって、マルチチャネルマイクロホン信号１１０、２１０のチャネル信号２１０ａ、２１０ｂは、後の解析のために時間−周波数領域表現に変換することができる。
【００５７】
マイクロホン信号ｘ1（ｔ）の時間−周波数表現はＸ1（ｋ，ｉ）、マイクロホン信号ｘ2（ｔ）の時間−周波数表現はＸ2（ｋ，ｉ）である。ここでｋは時間の指数、ｉは周波数の指数である。Ｘ1（ｋ，ｉ）とＸ2（ｋ，ｉ）は、
としてモデル化できるものとする。ここで、ａ（ｋ，ｉ）は利得係数であり、Ｓ（ｋ，ｉ）は左チャネルにおける直接音であり、Ｎ1（ｋ，ｉ）とＮ2（ｋ，ｉ）は拡散音を表す。
【００５８】
空間オーディオコーディング（ＳＡＣ）のダウンミックス信号１１２、２１２及びサイド情報２６２はＥ｛ＳＳ*｝、Ｅ｛Ｎ1Ｎ1*｝及びＥ｛Ｎ2Ｎ2*｝の関数として計算される。ここで、Ｅ｛．｝は短時間平均演算であり、*は複素共役を示す。以下、これらの値を導く。
【００５９】
式（１）から、
になる。
【００６０】
ここで留意すべきは、Ｅ｛ＳＳ*｝は直接音パワー情報又は等価的に直接音エネルギー情報と考えることができ、Ｅ｛Ｎ1Ｎ1*｝とＥ｛Ｎ2Ｎ2*｝は拡散音パワー情報又は拡散音エネルギー情報と考えることができることである。Ｅ｛ＳＳ*｝とＥ｛Ｎ1Ｎ1*｝は成分エネルギー情報と考えることができ、ａは方向情報と考えることができる。
【００６１】
双方のマイクロホン信号における拡散音の量は同じであって、すなわちＥ｛Ｎ1Ｎ1*｝＝Ｅ｛Ｎ2Ｎ2*｝＝Ｅ｛ＮＮ*｝であり、かつＮ1とＮ2との間の正規化された相互相関係数はΦdiff、すなわち、
であるものとする。Φdiffは、例えば既定値をとってもよく、何らかのアルゴリズムに従って計算されてもよい。
【００６２】
これらの仮定が与えられたとすれば、式（２）は、
と書き表すことができる。
【００６３】
式（２）におけるＥ｛ＳＳ*｝及びａを除去すれば、二次方程式、
が得られる。但し、
である。
【００６４】
よって、Ｅ｛ＮＮ*｝は、式（５）の２つの解のうちの物理的に可能な一方、すなわち、
になる。
【００６５】
式（５）のもう１つの解はマイクロホン信号パワーより大きい拡散音パワーをもたらすが、それは物理的に不可能である。
【００６６】
式（７）が与えられると、ａ及びＥ｛ＳＳ*｝の計算は容易である。
【００６７】
非特許文献２で論じられているように、直接音の到来方向ａ（ｋ，ｉ）は、下記のように、振幅比推定値ａ（ｋ，ｉ）の関数として決定することができる。
【００６８】
特有のマッピングは、録音に用いられるステレオマイクロホンの方向特性に依存する。
【００６９】
４． 空間サイド情報の生成
【００７０】
以下、空間サイド情報発生器２６０によって生成することのできる空間キュー情報２６２の生成について述べる。しかしながら、留意すべきは、空間サイド情報の空間キュー情報２６２形式での生成が本発明による実施形態にとって必要な特徴ではないということである。したがって、空間サイド情報の生成は実施形態によっては省略できることに留意すべきである。また、空間キュー情報２６２又は他の任意の空間サイド情報を入手するために異なる方法を使用できることも留意されるべきである。
【００７１】
しかしながら、以下で論じる空間サイド情報の生成が空間キュー情報を生成するための好ましい概念と考えることができることにも留意すべきである。
【００７２】
ステレオ信号解析結果１２２ａ、１２２ｂ、すなわち式（９）による変数ａ又はα、Ｅ｛ＳＳ*｝及びＥ｛ＮＮ*｝が与えられたとすれば、ＳＡＣデコーダ互換性空間パラメータは、例えば空間サイド情報発生器２６０によって生成される。これを実行する１つの効率的な方法は、マルチチャネル信号モデルを考慮することであることが分かっている。以下、一例として、下記を意味する図４に示されているようなスピーカ配置について考察する。すなわち、
ここで、
である。
に対応し、すなわち、
であり、
は全てＥ｛ＮＮ*｝に等しい同一のパワーを有する。最終的には利得ｈ1からｈ5が拡散音の量を決定することから、この拡散音パワーの定義が任意であることに留意すべきである。
【００７３】
Ｌ（ｋ，ｉ）、Ｒ（ｋ，ｉ）、Ｃ（ｋ，ｉ）、Ｌs（ｋ，ｉ）及びＲs（ｋ，ｉ）は、例えば望ましいチャネル信号又は望ましいスピーカ信号であってもよいことに留意すべきである。
【００７４】
第１のステップでは、直接音の到来方向α（ｋ，ｉ）の関数として、マルチチャネル振幅パンニング法（例えば、非特許文献７及び４参照）が適用されて利得係数ｇ1からｇ5が決定される。次に、発見的手順を用いて拡散音の利得ｈ1〜ｈ5が決定される。定値ｈ1＝１．０、ｈ2＝１．０、ｈ3＝０、ｈ4＝１．０及びｈ5＝１．０は合理的な選択であり、すなわちアンビエンスは前後に等しく分散され、その間、センターチャネルはドライ信号として発生される。しかしながら、ｈ1〜ｈ5の異なる選択も可能である。
【００７５】
側方及び後方からの直接音は、前方向から到来する音に対して減衰される。マイクロホン信号に含まれる直接音は、好ましくは、マイクロホンの指向性パターンに依存する因数ｇ（α）によって利得補償される。
【００７６】
サラウンド信号モデル（１０）式が与えられると、使用される特有のＳＡＣの空間キュー解析が信号モデルに適用され、ＭＰＥＧサラウンドの空間キューが取得される。
【００７７】
式（１０）において定義される信号のパワースペクトルは、
である。但し、
である。
【００７８】
以下で用いられるクロススペクトルは、
である。
【００７９】
ＭＰＥＧサラウンドは、サラウンドチャネルへ、それらのさらなる処理に先行して
を印加する。これは、互換的なダウンミックス及び空間サイド情報を発生するために考慮することができる。
【００８０】
ＭＰＥＧサラウンドの第１の２：１（two-to-one）（ＴＴＯ）ボックスは、ＬとＬsとの間のチャネル間レベル差（ＩＣＬＤ）及びチャネル間コヒーレンス（ＩＣＣ）を用いる。（１０）式に基づき、かつサラウンドチャネルのプレスケーリングが補正されると、これらのキューは、
になる。
【００８１】
同様にして、ＲとＲsに関する第２のＴＴＯボックスのＩＣＬＤ及びＩＣＣが計算される。すなわち、
である。
【００８２】
ＭＰＥＧサラウンドの３：２（three-to-two）（ＴＴＴ）ボックスは、「エネルギーモード」で用いられる。例えば、非特許文献１を参照されたい。ＴＴＴボックスは、ダウンミックス及び空間サイド情報を計算する前に、
ことに留意すべきである。サラウンドチャネルのプレスケーリングを考慮すると、ＴＴＴボックスにより使用される２つのＩＣＬＤパラメータは、
である。
【００８３】
指数ｉとｋは、表記を簡潔にするために取り除かれていることに留意すべきである。
【００８４】
したがって、キューＩＣＬＤLLs、ＩＣＣLLs、ＩＣＬＤRRs、ＩＣＣRRs、ＩＣＬＤ1及びＩＣＬＤ2を含む空間キュー情報は、空間サイド情報発生器２６０により、空間キューパラメータ１２２、１２２ａ、１２２ｂに基づいて、すなわち成分エネルギー情報１２２ａと方向情報１２２ｂに基づいて得られる。
【００８５】
５． ＭＰＥＧサラウンドの復号
【００８６】
以下、ある可能なＭＰＥＧサラウンドの復号について述べる。これは、空間キュー情報２６２（又は他の任意の適切な空間キュー情報）を用いて、ダウンミックス信号（例えば、拡張ダウンミックス信号１１２又は拡張ダウンミックス信号２１２）から例えば複数のスピーカ信号のような複数のチャネル信号を導出するために用いることができる。
【００８７】
ＭＰＥＧサラウンドデコーダにおいて、受信されたダウンミックス信号１１２、２１２は、受信された空間サイド情報２６２を用いて２チャンネルより多いチャネルへ拡張される。このアップミックスは、各々いわゆる逆１：２（Reverse-One-To-Two）（Ｒ−ＯＴＴ）ボックス及び逆３：２（Reverse Three-To-Two）（Ｒ−ＴＴＴ）ボックスを適切にカスケードすることによって実行される（例えば、非特許文献６参照）。Ｒ−ＯＴＴボックスは、モノオーディオ入力とサイド情報に基づいて２つのオーディオチャネルを出力するが、Ｒ−ＴＴＴボックスは、２チャネルオーディオ入力と関連のサイド情報に基づいて３つのオーディオチャネルを決定する。言い替えれば、逆ボックスは、先に述べた対応するＴＴＴボックス及びＯＴＴボックスとは逆の処理を実行する。
【００８８】
エンコーダにおけるマルチチャネル信号モデルと同様に、デコーダは、元のサラウンドサウンドを正しく再生するために特有のスピーカ構成を想定する。さらに、デコーダは、正しいダウンミックス信号を計算するために、ＭＰＳエンコーダ（ＭＰＥＧサラウンドエンコーダ）が複数の入力チャネルの特有のミキシングを実行することを想定する。
【００８９】
次項では、ＭＰＥＧサラウンド・ステレオ・ダウンミックスの計算を提示する。
【００９０】
６． ＭＰＥＧサラウンド・ステレオ・ダウンミックス信号の生成
【００９１】
以下、ＭＰＥＧサラウンド・ステレオ・ダウンミックス信号がどのように発生されるかについて述べる。
【００９２】
好適な実施形態において、ダウンミックスは、左右半球体に対応するスピーカチャネル間にクロストークが存在しないように決定される。これには、左半球体から右半球体への音響エネルギーの望ましくない漏れが存在しないという優位点があり、これにより、ＭＰＥＧサラウンドストリームの復号後の左／右分離が著しく高まる。さらに、右チャネルから左チャネルへの信号漏れについても同じ論法が当て嵌まる。
【００９３】
従来の５．１サラウンドのオーディオ信号をコーディングするためにＭＰＥＧサラウンドが用いられる場合、使用されるステレオダウンミックスは、
[Ｙ1 Ｙ2]T＝Ｍ[Ｌ Ｒ Ｃ ＬS ＲS]T （１８）
である。ここで、ダウンミックス行列は、
であり、ｇsはサラウンドチャネルに与えられる先に述べたプレ利得である。
【００９４】
式（１８）、式（１９）によるダウンミックスの計算は、対応するスピーカ位置でカバーされる再生エリアの、２つのダウンミックスチャネルへのマッピングと考えることができる。図４には、このマッピングは、従来のダウンミックス計算（１８）、（１９）の特有の事例に関して示されている。
【００９５】
７． 拡張ダウンミックス計算
【００９６】
７．１ 拡張ダウンミックス計算の概要
【００９７】
以下、拡張ダウンミックス計算に関して詳述する。本概念の優位点の理解を容易にするために、ここでは幾つかの従来システムとの比較を行う。
【００９８】
第２章において述べた空間オーディオマイクロホンの場合、ダウンミックス信号は基本的に、以下で述べる拡張ダウンミックス計算が存在しないステレオマイクロホン（例えば、マイクロホン装置２０５）の録音信号に対応する。実際のステレオマイクロホンは、その特有の指向性パターンに起因して左右信号成分の望ましい分離を与えないことが分かっている。必然的に、左右チャネル（例えば、チャネル信号２１０ａ及び２１０ｂ）間のクロストークが高すぎて、結果的にＭＰＥＧサラウンドの復号信号におけるチャネル分離は不良になることも分かっている。
【００９９】
本発明による実施形態は拡張ダウンミックス信号１１２、２１２を計算する手法を生み出している。拡張ダウンミックス信号１１２、２１２は、望ましいＳＡＣダウンミックス信号（例えば、信号Ｙ1、Ｙ2）に近似するものであり、すなわち、異なるチャネル間に望ましいレベルのクロストークを呈するものである。そのクロストークのレベルは元のステレオ入力１１０、２１０に含まれるクロストークレベルとは異なる。その結果、関連の空間サイド情報２６２を用いた空間オーディオ復号後の音質は向上する。
【０１００】
図１、図２、図３及び図５に示されている概略ブロックは本提案手法を示している。図から分かるように、元のマイクロホン信号１１０、２１０、３１０は、拡張ダウンミックスチャネル１１２、２１２、３１２を得るためにダウンミックス拡張ユニット１４０、２４０、３４０によって処理される。マイクロホン信号１１０、２１０、３１０の修正は、制御ユニット１２０、１３０、２１６、３１６によって制御される。制御ユニット１２０、１３０、２１６、３１６は、スピーカ再生のマルチチャネル信号モデルと推定された空間キューパラメータ１２２、１２２ａ、１２２ｂ、３２２を考慮する。この情報から、制御ユニット１２０、１３０、２１６、３１６は、拡張のためのターゲット、すなわち望ましいダウンミックス信号（例えば、ダウンミックス信号Ｙ1、Ｙ2）のモデルを決定する。以下、本発明の詳細について論じる。
【０１０１】
７．２ 望ましいステレオダウンミックス信号のモデル
【０１０２】
本章では、望ましいステレオダウンミックス信号のモデルについて論じ、提案する拡張ダウンミックス計算のターゲットも提示する。
【０１０３】
方程式（１０）による我々が想定するサラウンド信号モデルに方程式（１８）及び（１９）を適用すれば、
に従って望ましいダウンミックス信号のモデルが得られる。
である。
【０１０４】
左右マイクロホン信号における拡散音は、Ｎ1及びＮ2である。したがって、ダウンミックスは、Ｎ1及びＮ2に関連する拡散音を基礎とするものであるべきである。先に定義したように、
のパワーは同じであることから、
と同じパワーを有するＮ1及びＮ2を基礎とする拡散信号は、
である。
【０１０５】
したがって、望ましいステレオダウンミックス信号のモデルは、望ましいステレオダウンミックス信号のチャネル信号Ｙ1、Ｙ2を利得値ｇ1、ｇ2、ｇ3、ｇ4、ｇ5、ｇs、ｈ1、ｈ2、ｈ3、ｈ4、ｈ5の関数として、かつまたステレオマイクロホン信号内の直接音の
に依存して表すことを可能にする。
【０１０６】
７．３ １チャネルのフィルタリング
【０１０７】
以下、拡張ダウンミックス信号の第１のチャネルがマルチチャネルマイクロホン信号の第１のチャネル信号から導出され、かつ拡張ダウンミックス信号の第２のチャネルがマルチチャネルマイクロホン信号の第２のチャネル信号から導出される手法について述べる。留意すべきは、以下で述べる濾波は、フィルタ１４０によって、又は２チャネルオーディオ信号プロバイダ２４０によって、又はダウンミックス拡張３４０によって実行できるということである。また、拡張フィルタパラメータＨ1、Ｈ2はフィルタ計算器１３０によって、フィルタ計算器２３０によって、又は制御装置３１６によって生成できることにも留意すべきである。
【０１０８】
式（２０）による望ましいダウンミックス信号Ｙ1（ｋ，ｉ）とＹ2（ｋ，ｉ）を決定するための可能な一手法は、元のステレオマイクロホン入力Ｘ1（ｋ，ｉ）とＸ2（ｋ，ｉ）へ拡張フィルタを適用すること、すなわち、
である。
【０１０９】
これらのフィルタは、
（すなわち、マルチチャネルマイクロホン信号のチャネル信号を濾波することによって得られる実際のダウンミックス信号）が各々望ましいダウンミックス信号Ｙ1（ｋ，ｉ）とＹ2（ｋ，ｉ）に近似するように選択される。適切な近似は、
が各々、マルチチャネルスピーカ信号モデルのエネルギーに関して、ターゲットであるダウンミックス信号Ｙ1（ｋ，ｉ）とＹ2（ｋ，ｉ）で与えられるものと同じエネルギー分散を共有するというものである。言い替えれば、フィルタは、マルチチャネルマイクロホン信号のチャネル信号を濾波することによって得られる実際のダウンミックス信号が、例えばエネルギー特性又は相互相関特性のような幾つかの統計的特性に関して望ましいダウンミックス信号に近似するように選択される。
【０１１０】
拡張フィルタがウィーナ（Wiener）フィルタ（例えば、非特許文献５参照）に一致する場合、Ｈ1（ｋ，ｉ）とＨ2（ｋ，ｉ）は、
に従って決定することができる。
【０１１１】
式（２４）に式（２０）と式（２２）を代入すると、
となる。但し、
である。
【０１１２】
これから分かるように、拡張フィルタはマルチチャネル信号モデル（１０）の異なる成分に直に依存する。これらの成分は、空間キューパラメータに基づいて推定されることから、拡張ダウンミックス計算のフィルタＨ1（ｋ，ｉ）とＨ2（ｋ，ｉ）はこれらの空間キューパラメータにも依存する、と結論することができる。言い替えれば、拡張フィルタの計算は、図３にも示されているように、推定される空間キューパラメータによって制御できる。
【０１１３】
７．４ ２チャネルのフィルタリング
【０１１４】
本項では、「１チャネルのフィルタリング」と題する章で論じた１チャネル手法の代替方法を提示する。この場合、
は各々、マイクロホン入力信号Ｘ1、Ｘ2双方の濾波されたバージョンから決定される。この手法は、双方のマイクロホンチャネルを最適に組み合わせることができるために、１チャネルのフィルタリング方法に比べて向上した性能を期待できる。
【０１１５】
実際のダウンミックス信号は、
によって得ることができる。
【０１１６】
以下、２チャネルウィーナフィルタに基づいて拡張フィルタを推定する一例を示す。表示を単純にするために、以後は指数（ｋ，ｉ）を省略する。
のウィーナ−ホップ方程式は、
である。
【０１１７】
したがって、フィルタは、
のように得られる。但し、
である。
【０１１８】
マイクロホン入力信号Ｘ1、Ｘ2と望ましいダウンミックスチャネルＹ1、Ｙ2との間の相互相関は、
によって表すことができる。但し、重みｗiは式（２６）−式（２９）において導入されている。
【０１１９】
７．５ １チャネルのフィルタリング及び２チャネルのフィルタリングの選択
【０１２０】
以下、１チャネルのフィルタリングと２チャネルのフィルタリングとの間の信号適応型選択を可能にする概念について述べる。
【０１２１】
これまでに述べたように、２チャネルのフィルタリングには、実施に際して時々（又は、頻繁にも）オーディオアーティファクトを引き起こすフィルタを作り出すという問題がある。左右のチャネルが高度に相関している場合、ウィーナ−ホップ方程式の共分散行列の条件付けは常に不良である。よって結果的に生じる数値的感度は、不合理でありかつオーディオアーティファクトを生じさせるフィルタをもたらす。これを防止するために、２チャネルが所定の相関度を超える場合は常に１チャネルのフィルタリングが使用される。これは、
Ｈ1,1 ＝ Ｈ1
Ｈ1,2 ＝ ０
Ｈ2,1 ＝ ０
Ｈ2,2 ＝ Ｈ2， （３６）
のようなフィルタを、
である場合に常に計算することによって実行することができる。但し、コヒーレンス／相関しきい値Ｔは、１チャネルのフィルタリングが使用される際の相関度を決定する。Ｔ＝０．９という値は良い結果をもたらす。
【０１２２】
言い替えれば、マルチチャネルマイクロホン信号の任意のチャネル信号間の相関度に応じて、１チャネルのフィルタリングと２チャネルのフィルタリングとを選択的に切り替えることができる。相関が予め決められた相関値より大きければ、２チャネルのフィルタリングではなく１チャネルのフィルタリングが使用できる。
【０１２３】
７．６ マルチチャネルの一般的事例
【０１２４】
以下、式（１０）によるマルチチャネル信号モデルに基づくＭＰＥＧサラウンド・ステレオ・ダウンミックス信号の拡大された計算を、より一般的なチャネル構成へ一般化する。式（１０）と同様に、Ｋ個のスピーカチャネルを想定する一般化されたマルチチャネル信号モデルは、
によって与えられ、ｌ＝１，２，…，Ｋである。利得係数ｇl（ｋ，ｉ）は、直接音のＤＯＡと再生構成内のｌ番目のスピーカの位置に依存する。利得係数ｈ1は、先に説明したように予め決めて使用できる。Ｚlは、複数のチャネルの望ましいチャネル信号を表し、ｌ＝１，２，…，Ｋである。
【０１２５】
望ましいダウンミックスチャネルｊの信号Ｙj（ｋ，ｉ）の計算は、
による適正なミキシング演算によって達成される。
【０１２６】
ミキシング加重ｍj,lは、ｌ番目のスピーカの位置に関連づけられる再生エリアの、ｊ番目のダウンミックスチャネルへの特有な空間パーティショニング（partitioning）又はマッピングを表す。
【０１２７】
一例を挙げると、スピーカチャネルｌ、すなわち所定の再生エリアがｊ番目のダウンミックス信号に寄与すべきでない場合、対応するミキシング加重ｍj,lはゼロに設定される。
【０１２８】
各式（２３）、式（３０）及び式（３０）と同様に、元のマイクロホン入力チャネルＸj（ｋ，ｉ）は、適切に選択された拡張フィルタによって、望ましいダウンミックスチャネルＹj（ｋ，ｉ）に近似するように修正される。
【０１２９】
１チャネルフィルタの場合は、
になる。
【０１３０】
式（４０）は、利用可能な入力マイクロホン信号が２チャンネルより多く存在する場合にも適用できることに留意されたい。結果として生じるフィルタも、推定される空間キューパラメータに依存する。しかしながら、２チャンネルより多いマイクロホン入力チャネルに基づく空間キューパラメータの推定は本発明の必須部分ではないことから、ここではこれについて論じない。
【０１３１】
一般的なマルチチャネルダウンミックス拡張フィルタに関して必要とされる方程式は、式（３０）、（３０）と同様に導出することができる。Ｍ個のマイクロホン入力信号を想定すると、ｊ番目の望ましいダウンミックスチャネルＹj（ｋ，ｉ）は、Ｍ個の拡張フィルタを対応するマイクロホン信号Ｘm（ｋ，ｉ）へ適用することによって近似される。
【０１３２】
対応する望ましいダウンミックスチャネルＹj（ｋ，ｉ）は、一般化された信号モデル（３８）を用いて式（３９）から得ることができる。
【０１３３】
マルチチャネル拡張行列Ｈj（ｋ，ｉ）の要素は、対応するウィーナ−ホップ方程式、
を解くことによってえることができる。但し、Hはオペランドのエルミートを示す。
【０１３４】
注意すべきことは、上述の方法は、マルチチャネル信号モデル（３８）におけるスピーカの数Ｋが多い場合は、空間キュー情報に基づく一般的なマイクロホン・クロストークの抑制器と考えることができることである。この場合、スピーカ位置は、そのまま直接音の対応するＤＯＡと考えることができる。本発明を適用すれば、１つ又は複数の抑制フィルタを用いて柔軟性のあるクロストーク抑制器を実現することができる。
【０１３５】
８． マイクロホン信号の事前処理
【０１３６】
これまでは、信号Ｘj（ｋ，ｉ）がマイクロホンの出力信号を表す事例のみを考察した。提案する新規概念又は方法は、これに代わって、事前処理されたマイクロホン信号にも適用することができる。図５は、対応する手法を示している。
【０１３７】
事前処理は、元のマイクロホン入力信号に基づいて固定時間不変ビーム形成（fixed time-invariant beamforming）（例えば、非特許文献８参照）を適用することにより実現することができる。事前処理の結果として、所定のマイクロホン信号への望ましくない信号漏れの幾分かは、拡張フィルタの適用前に既に軽減することができる。
【０１３８】
事前処理された入力チャネルを基礎とする拡張フィルタは、先に論じたフィルタと同様に、Ｘj（ｋ，ｉ）を事前処理ステージの出力信号Ｘj,mod（ｋ，ｉ）で置換することによって導出することができる。
【０１３９】
９． 図３による装置
【０１４０】
図３は、本発明の別の実施形態による、マルチチャネルマイクロホン信号に基づいて拡張ダウンミックス信号を発生するための装置３００を示す概略ブロック図である。
【０１４１】
装置３００は２つのマイクロホン３０６、３０８を備え、これらは、時間−周波数領域表現Ｘ1（ｋ，ｉ）により表される第１のチャネル信号と、第２の時間−周波数表現Ｘ2（ｋ，ｉ）により表される第２のチャネル信号とを含む２チャネルマイクロホン信号３１０を生成する。装置３００は空間分析３２０も備え、これは、２チャネルマイクロホン信号３１０を受信し、かつこれに基づいて空間キューパラメータ３２２を生成する。空間分析３２０は、空間アナライザ１２０又は信号アナライザ２２０の機能を担うこともあるので、空間キューパラメータ３２２は、空間キューパラメータ１２２、又は成分エネルギー情報１２２ａ及び方向情報１２２ｂと同等物であることもある。装置３００は制御装置３１６も備え、これは、空間キューパラメータ３２２を受信し、かつ２チャネルマイクロホン信号３１０も受信する。制御ユニット３１６はまた、マルチチャネル信号モデル３１８を
受信するか、又はこのようなマルチチャネル信号モデル３１８のパラメータを備えている。制御装置３１６は、拡張フィルタパラメータ３３２をダウンミックス拡張装置３４０へ与える。制御装置３１６は、例えばフィルタ計算器１３０又はフィルタ計算器２３０の機能を担うことがあるので、拡張フィルタパラメータ３３２は拡張フィルタパラメータ１３２又は拡張フィルタパラメータ２３２と同等物であることもある。ダウンミックス拡張装置３４０は２チャネルマイクロホン信号３１０を受信し、また拡張フィルタパラメータ３３２も受信し、かつこれらに基づいて（実際の）拡張マルチチャネルダウンミックス信号３１２を生成する。拡張マルチチャネルダウンミックス信号３１２の第１のチャネル信号は
で表され、かつ拡張マルチチャネルダウンミックス信号３１２の第２のチャネル信号は
で表される。留意すべきは、ダウンミックス拡張装置３４０はフィルタ１４０又は２チャネルオーディオ信号プロバイダ２４０の機能を担うことがあるということである。
【０１４２】
１０． 図５による装置
【０１４３】
図５は、マルチチャネルマイクロホン信号に基づいて拡張ダウンミックス信号を発生するための装置５００を示す概略ブロック図である。図５による装置５００は図３による装置３００に極似するものであり、よって同一の手段及び信号は等しい参照数字で示し、説明は省略する。しかしながら、装置３００の機能ブロックに加えて、装置５００は事前処理５８０も備えている。事前処理５８０は、２チャネルマイクロホン信号３１０を受信し、かつこれに基づいてマルチチャネルマイクロホン信号の事前処理バージョン３１０’を生成する。この場合、ダウンミックス拡張３４０は、マルチチャネルマイクロホン信号３１０自体ではなく、２チャネルマイクロホン信号２１０の処理されたバージョン３１０’を受信する。また、制御装置３１６も、マルチチャネルマイクロホン信号３１０自体ではなく、マルチチャネルマイクロホン信号の処理されたバージョン３１０’を受信する。しかしながら、ダウンミックス拡張３４０及び制御装置３１６の機能は、この変形により実質的に影響されない。
【０１４４】
１１． 図４によるダウンミックス信号へのチャネル信号の割り付け
【０１４５】
先に論じたように、望ましいダウンミックスチャネルＹ1、Ｙ2又はその幾つかの統計的特性を導出するために用いられるダウンミックスのモデル化は、
をチャネル信号（例えば、Ｌ（ｋ，ｉ）、Ｒ（ｋ，ｉ）、Ｃ（ｋ，ｉ）、Ｌs（ｋ，ｉ）、Ｒs（ｋ，ｉ）又はＺl（ｋ，ｉ））へマップすることと、スピーカチャネル信号をダウンミックスチャネル信号へマップすることを含む。
【０１４６】
直接音成分と拡散音成分をスピーカチャネル信号へマップする第１のマッピングに関しては、方向依存性のマッピングを用いることができ、それは利得係数ｇlにより記述される。しかしながら、スピーカチャネル信号をダウンミックスチャネル信号へマップするマッピングに関しては、一定の想定を用いてもよく、それはダウンミックス行列により記述されることがある。図４に示されているように、スピーカチャネル信号Ｃ、Ｌ及びＬsのみが第１のダウンミックスチャネル信号Ｙ1に寄与し、かつ、スピーカチャネル信号Ｃ、Ｒ及びＲsのみがダウンミックスチャネル信号Ｙ2に寄与すると想定してもよい。図４はこれを示している。
【０１４７】
１２． 図６による信号処理の流れ
【０１４８】
以下、図６を参照して、本発明による一実施形態における信号処理の流れについて述べる。図６は、例えば時間周波数表現Ｘ1及びＸ2により表されるマルチチャネルマイクロホン信号から拡張フィルタパラメータＨを導出するための信号処理の流れを示す概略表示である。
【０１４９】
処理の流れ６００は、空間分析６１０を、例えば第１のステップとして含む。空間分析６１０は空間キューパラメータの計算機能を担うことができる。したがって、直接音パワー情報（又は直接音エネルギー情報）Ｅ｛ＳＳ*｝、拡散音パワー情報（又は拡散音エネルギー情報）Ｅ｛ＮＮ*｝及び方向情報α，ａは、マルチチャネルマイクロホン信号に基づいて得ることができる。直接音パワー情報（又は直接音エネルギー情報）の導出、拡散音パワー情報（又は拡散音エネルギー情報）の導出、及び方向情報に関する詳細は先に述べた。
【０１５０】
また処理の流れ６００は利得係数のマッピング６２０も含み、方向情報はここで複数の利得係数（例えば、利得係数ｇ1からｇ5）へマップされる。利得係数のマッピング６２０は、例えば、先に述べたように、マルチチャネル振幅パンニング法を用いて実行できる。
【０１５１】
また処理の流れ６００はフィルタパラメータの計算６３０も含み、ここで、直接音パワー情報、拡散音パワー情報、方向情報及び利得係数から拡張フィルタパラメータＨが導出される。フィルタパラメータの計算６３０は、さらに、１つ又は複数の一定のパラメータ、例えばスピーカチャネルのダウンミックスチャネル信号への望ましいマッピングを記述するパラメータを用いてもよい。また、拡散音成分のスピーカ信号へのマッピングを記述する予め決められたパラメータを適用してもよい。
【０１５２】
フィルタパラメータの計算は、例えば、ｗ−マッピング６３２を含む。方程式２６から方程式２９に従って実行され得るｗ−マッピングでは、中間量として作用し得る値ｗ1からｗ4を得ることができる。フィルタパラメータの計算６３０はさらにＨ−マッピング６３４を含む。Ｈ−マッピング６３４は、例えば方程式２５に従って実行することができる。Ｈ−マッピング６３４では、拡張フィルタパラメータＨを決定することができる。Ｈ−マッピングのために、マイクロホン信号のチャネルとダウンミックス信号のチャネルとの間の望ましい相互相関値Ｅ｛Ｘ1，Ｙ1*｝、Ｅ｛Ｘ2，Ｙ2*｝を用いることができる。これらの望ましい相互相関値は直接音パワー情報Ｅ｛ＳＳ*｝とＥ｛ＮＮ*｝に基づいて得ることができる。Ｅ｛ＳＳ*｝とＥ｛ＮＮ*｝は方程式（２５）の分子に見ることのできるようなものであり、方程式（２４）の分子と同一である。
【０１５３】
結論を言えば、図６の処理の流れは、チャネル信号Ｘ1、Ｘ2により表されるマルチチャネルマイクロホン信号から拡張フィルタパラメータＨを導出するために適用することができる。
【０１５４】
１３． 図７による信号処理の流れ
【０１５５】
図７は、本発明の別の実施形態による信号処理の流れ７００を示す概略表示である。信号処理の流れ７００は、マルチチャネルマイクロホン信号から拡張フィルタパラメータＨを導出するために使用することができる。
【０１５６】
信号処理の流れ７００は空間分析７１０を含む。空間分析７１０は空間分析６１０と同一とすることができる。また、信号処理の流れ７００は利得係数のマッピング７２０を含む。利得係数のマッピング７２０は利得係数のマッピング６２０と同一とすることができる。
【０１５７】
信号処理の流れ７００は、フィルタパラメータの計算７３０も含む。フィルタパラメータの計算７３０はｗ−マッピング７３２を含むことができる。ｗ−マッピング７３２は、事例によってはｗ−マッピング６３２と同一とすることができる。しかしながら、適切であるようであれば、異なるｗ−マッピングを使用してもよい。
【０１５８】
フィルタパラメータの計算７３０は望ましい相互相関の計算７３４も含み、その中で、マルチチャネルマイクロホン信号のチャネルと（望ましい）ダウンミックス信号のチャネルとの間の望ましい相互相関が計算される。この計算は、例えば、方程式３５に従って実行できる。望ましい相互相関の計算７３４では、望ましいダウンミックス信号のモデルが適用できることに留意すべきである。例えば、望ましい相互相関の計算７３４において、マルチチャネルマイクロホン信号の直接音成分が方向情報に依存して複数のスピーカ信号へどのようにマップされるべきか、に関する想定が適用できる。加えて、望ましい相互相関の計算７３４において、マルチチャネルマイクロホン信号の拡散音成分がスピーカ信号においてどのように反映されるべきか、に関する想定も評価できる。さらに、望ましい相互相関の計算７３４において、複数のスピーカチャネルのダウンミックス信号への望ましいマッピングに関する想定も適用できる。したがって、マイクロホン信号のチャネルと（望ましい）ダウンミックス信号のチャネルとの間の望ましい相互相関Ｅ｛Ｘi，Ｙj*｝は、直接音パワー情報、拡散音パワー情報、方向情報及び方向依存性利得係数（後者の情報は、中間値ｗを取得するために組み合わすことができる。）に基づいて得ることができる。
【０１５９】
フィルタパラメータの計算７３０は、ウィーナ−ホップ方程式７３６を解くことも含み、これは、例えば方程式３３及び方程式３４に従って実行できる。この目的に沿って、ウィーナ−ホップ方程式は、直接音パワー情報、拡散音パワー情報、及びマルチチャネルマイクロホン信号のチャネルと（望ましい）ダウンミックス信号のチャネルとの間の望ましい相互相関に依存して設定できる。ウィーナ−ホップ方程式（例えば、方程式３２）の解としては、拡張フィルタパラメータＨが得られる。
【０１６０】
上記を要約すると、いくらかの実施形態において、拡張フィルタパラメータＨの決定は、望ましい相互相関を計算するステップ、ウィーナ−ホップ方程式を設定するステップ、及びそれを解くステップ（ステップ７３６）からなる別々のステップを含むことができる。
【０１６１】
１４． 結論
【０１６２】
これまでの説明を要約すると、本発明による実施形態は、マイクロホン入力信号に基づいてパラメトリック空間オーディオコーダの望ましいダウンミックス信号を計算するための拡張された概念と方法を生み出す。ある重要な一例は、ステレオマイクロホン信号を、計算されたＭＰＳパラメータに対応するＭＰＥＧサラウンドダウンミックスに変換することによって与えられる。拡張ダウンミックス信号は、非特許文献２において提案されている最新技術事例に比較して、ＭＰＥＧ復号後に遙かに向上した空間オーディオ品質及び局在化特性をもたらす。本発明による簡単な一実施形態は、下記のステップ１から４を含む。
１．マイクロホン入力信号を受信するステップ、
２．空間キューパラメータを計算するステップ、
３．望ましいダウンミックスチャネルのモデル、デコーダ出力のマルチチャネルスピーカ信号モデル及び空間キューパラメータに基づいてダウンミックス拡張フィルタを決定するステップ、及び、
４．空間オーディオマイクロホンに使用するための拡張ダウンミックス信号を得るために、拡張フィルタをマイクロホン入力信号へ適用するステップ。
【０１６３】
本発明による別の簡単な実施形態は、ダウンミックス信号を発生するための装置、方法及びコンピュータプログラムを生み出す。この装置、方法又はコンピュータプログラムは、マイクロホン信号に関する情報に基づいて、又は意図される再生装備に関する情報に基づいて拡張フィルタパラメータを計算するためのフィルタ計算器を備えている。また、この装置、方法又はコンピュータプログラムは、前記拡張フィルタパラメータを用いてマイクロホン信号を濾波して拡張ダウンミックス信号を得るためのフィルタ装置（又は濾波ステップ）を備えている。
【０１６４】
この装置、方法又はコンピュータプログラムは、フィルタ計算器が望ましいダウンミックスチャネルのモデル、デコーダ出力のマルチチャネルスピーカ信号モデル又は空間キューパラメータに基づいて拡張フィルタパラメータを計算するように構成されていることに関して任意に改善することができる。
【０１６５】
１５． 変形実施例
【０１６６】
以上、幾つかの態様を装置の文脈で説明したが、これらの態様は対応方法を記述するものでもあることは明らかであり、ブロック又は装置が方法ステップ又は方法ステップの特徴に対応する。同様に、方法ステップの文脈で説明された態様も、対応する装置の対応するブロック、項目（item）又は特徴の説明を表す。これらの方法ステップのうちの幾つか又は全ては、例えばマイクロプロセッサ、プログラマブルコンピュータ又は電子回路のようなハードウェア装置によって（又はこれを使用して）実行することができる。実施形態によっては、最も重要な方法ステップのうちの１つ又はそれ以上がこのような装置によって実行されることもある。
【０１６７】
本発明による符号化されたオーディオ信号は、デジタル記憶媒体に蓄積することができ、又はインターネット等の無線伝送媒体もしくは有線伝送媒体のような伝送媒体で伝送することができる。
【０１６８】
実施の要請に応じて、本発明の実施形態はハードウェア又はソフトウェアとして実施することができ、その実施は、電子的に読取り可能な制御信号を蓄積している、例えばフロッピーディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ又はフラッシュメモリであるデジタル記憶媒体を用いて実行することができる。これらのデジタル記憶媒体は個々の方法が実行されるようにプログラム可能コンピュータシステムと協働する（又は、協働することができる）。したがって、これらのデジタル記憶媒体はコンピュータ読取りできる。
【０１６９】
本発明によるいくつかの実施形態は電子的に読取り可能な制御信号を有するデータキャリアを含む。それらの制御信はプログラム可能コンピュータシステムと協働できるので、本明細書に記述されている方法のうちの１つが実行される。
【０１７０】
一般に、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実施することができる。前記プログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されると本発明の方法のうちの１つを実行するように動作可能である。プログラムコードは、例えば、機械読取り可能キャリアに蓄積することができる。
【０１７１】
他の実施形態は、機械読取り可能キャリアに蓄積され、本明細書に記述されている方法のうちの１つを実行するためのコンピュータプログラムを含む。
【０１７２】
言い替えれば、本発明方法の一実施形態は、したがって、コンピュータプログラムがコンピュータ上で実行されると本明細書に記述されている方法のうちの１つを実行するためのプログラムコードを有するコンピュータプログラムである。
【０１７３】
本発明方法のさらなる実施形態は、したがって、本明細書に記述されている方法のうちの１つを実行するためのコンピュータプログラムを記録して有するデータキャリア（又は、デジタル記憶媒体又はコンピュータ読取り可能媒体）である。データキャリア、デジタル記憶媒体又は記録媒体は、典型的には有形及び／又は非移行性(non-transitionary)である。
【０１７４】
本発明方法のさらなる実施形態は、したがって、本明細書に記述されている方法のうちの１つを実行するためのコンピュータプログラムを表すデータストリーム又は信号シーケンスである。データストリーム又は信号シーケンスは、例えば、データ通信接続を介して、例えばインターネットを介して、転送されるように構成することができる。
【０１７５】
さらなる実施形態は、本明細書に記述されている方法のうちの１つを実行するように構成又は適合化されている処理手段、例えばコンピュータ、又はプログラマブル論理装置を含む。
【０１７６】
さらなる実施形態は、本明細書に記述されている方法のうちの１つを実行するためのコンピュータプログラムをインストールしているコンピュータを含む。
【０１７７】
本発明によるさらなる実施形態は、本明細書に記述されている方法のうちの１つを実行するためのコンピュータプログラムを受信機へ（例えば、電子的又は光学的に）転送するように構成されている装置又はシステムを含む。受信機は、例えば、コンピュータ、モバイル装置、メモリ装置又はこれらに類似するものとすることができる。例えば、前記装置又はシステムはコンピュータプログラムを受信機へ転送するためのファイルサーバを含むことができる。
【０１７８】
いくつかの実施形態においては、本明細書に記述されている方法の機能のうちの幾つか、又は全てを実行するために、プログラマブル論理装置（例えば、フィールド・プログラマブル・ゲートアレイ）を使用してもよい。いくつかの実施形態においては、フィールド・プログラマブル・ゲートアレイが、本明細書に記述されている方法のうちの１つを実行するためにマイクロプロセッサと協働することができる。一般に、それらの方法は、好ましくは任意のハードウェア装置によって実行される。
【０１７９】
これまでに述べた実施形態は、単に本発明の原理を例示するものである。本明細書に記述されている装置及び詳細の修正及び変形は当業者には明らかであることが理解される。したがって、本発明は、本明細書における実施形態の記述及び説明によって提示された特定の詳細ではなく、添付の特許請求の範囲によってのみ限定されるべきものである。
【特許請求の範囲】
【請求項１】
マルチチャネルマイクロホン信号（１１０；２１０；３１０）に基づいて拡張ダウンミックス信号（１１２；２１２；３１２）を生成するための装置（１００；２００；３００；５００）であって、
前記マルチチャネルマイクロホン信号に基づいて、直接音の到来方向を記述する方向情報（ａ，α）と、直接音パワー情報（Ｅ｛ＳＳ*｝）と、拡散音パワー情報（Ｅ｛ＮＮ*｝）とを含む１組の空間キューパラメータ（Ｅ｛ＮＮ*｝，Ｅ｛ＳＳ*｝，ａ，α）を計算するように構成されている空間アナライザ（１２０；２２０；３２０）と、
前記直接音の到来方向を記述する前記方向情報（ａ，α）に依存して、前記直接音パワー情報（Ｅ｛ＳＳ*｝）に依存して、かつ前記拡散音パワー情報（Ｅ｛ＮＮ*｝）に依存して拡張フィルタパラメータ（１３２；２３２；３３２）を計算するためのフィルタ計算器（１３０；２３０；３１６）と、
前記拡張ダウンミックス信号（１１２；２１２；３１２）を得るために、前記拡張フィルタパラメータ（１３２；２３２；３３２）を用いて前記マイクロホン信号（１１０；２１０；３１０）又は前記マイクロホン信号（１１０；２１０；３１０）から導出される信号を濾波するためのフィルタ（１４０；２４０；３４０）と、を備えている装置。
【請求項２】
前記フィルタ計算器（１３０；２３０；３１６）は、前記拡張フィルタパラメータ（１３２；２３２；３３２；Ｈ1，Ｈ2，Ｈ1,1，Ｈ1,2，Ｈ2,1，Ｈ2,1）を、
が望ましいダウンミックス信号（Ｙ1，Ｙ2）に近似するように計算すべく構成されている請求項１に記載の装置。
【請求項３】
前記フィルタ計算器（１３０；２３０；３１６）は、前記空間キューパラメータに依存して、前記マルチチャネルマイクロホン信号（１１０；２１０；３１０）のチャネル信号（Ｘ1，Ｘ2）と前記ダウンミックス信号の望ましいチャネル信号（Ｙ1，Ｙ2）との間の望ましい相互相関値（Ｅ｛Ｘ1Ｙ1*｝，Ｅ｛Ｘ2Ｙ2*｝，Ｅ｛Ｘ1，Ｙ2*｝，Ｅ｛Ｘ2Ｙ2*｝）を計算するように構成され、かつ、
前記フィルタ計算器は、前記望ましい相互相関値に依存して前記拡張フィルタパラメータ（Ｈ1，Ｈ2；Ｈ1,1，Ｈ1,2，Ｈ2,1，Ｈ2,2）を計算するように構成されている請求項１又は２に記載の装置。
【請求項４】
前記フィルタ計算器は、前記望ましい相互相関値を、複数のスピーカ信号（Ｌ，Ｒ，Ｃ，Ｌs，Ｒs；Ｚl）に対する前記マルチチャネルマイクロホン信号の直接音成分（Ｓ）の望ましい寄与を記述する方向依存性の利得係数（ｇ1，ｇ2，ｇ3，ｇ4，ｇ5）に依存して、かつ前記拡張ダウンミックス信号の１つ又は複数のチャネルに対する複数のオーディオチャネル（Ｌ，Ｒ，Ｃ，Ｌs，Ｒs；Ｚl）の望ましい寄与を記述する１つ又は複数のダウンミックスマトリクス値（ｇs；ｍj,l）に依存して計算するように構成されている請求項３に記載の装置。
【請求項５】
前記フィルタ計算器（１３０；２３０；３１６）は、前記方向情報（ａ，α）を１組の方向依存性利得係数（ｇ1，ｇ2，ｇ3，ｇ4，ｇ5）へマップするように構成されている請求項４に記載の装置。
【請求項６】
前記フィルタ計算器（１３０；２３０；３１６）は、前記望ましい相互相関値（Ｅ｛Ｘ1Ｙ1*｝，Ｅ｛Ｘ2Ｙ*｝，Ｅ｛Ｘ1Ｙ2*｝，Ｅ｛Ｘ2Ｙ2*｝）を計算するために、前記直接音パワー情報（Ｅ｛ＳＳ*｝）及び前記拡散音パワー情報（Ｅ｛ＮＮ*｝）を考慮するように構成されている請求項３から５のいずれか一項に記載の装置。
【請求項７】
前記フィルタ計算器（１３０；２３０；３１６）は、前記望ましい相互相関値（Ｅ｛Ｘ1Ｙ1*｝，Ｅ｛Ｘ2Ｙ1*｝，Ｅ｛Ｘ1Ｙ2*｝，Ｅ｛Ｘ2Ｙ2*｝）を計算するために、前記方向情報（ａ，α）に依存して前記直接音パワー情報（Ｅ｛ＮＮ*｝）を重み付けし、かつ前記方向情報とは独立している予め決められた重み付けを前記拡散音パワー情報に行うように構成されている請求項６に記載の装置。
【請求項８】
前記フィルタ計算器（１３０；２３０；３１６）は、
に従ってフィルタ係数Ｈ1、Ｈ2を計算するように構成され、かつ、
前記フィルタ（１４０；２４０；３４０）は、
に従って、前記拡張ダウンミックス信号（１１２；２１２；３１２）の
を前記マルチチャネルマイクロホン信号の第１のチャネル信号Ｘ1（ｋ，ｉ）及び第２のチャネル信号Ｘ2（ｋ，ｉ）に依存して決定するように構成されている請求項１から７のいずれか一項に記載の装置。
ここで、Ｅ｛ＳＳ*｝は直接音パワー情報、Ｅ｛ＮＮ*｝は拡散音パワー情報、ｗ1及びｗ2は前記方向情報（ａ，α）に依存する係数、ｗ3及びｗ4は拡散音利得（ｈ1，ｈ2，ｈ3，ｈ4，ｈ5）によって決定される係数である。
【請求項９】
前記フィルタ計算器（１３０；２３０；３１６）は、
に従ってフィルタ係数（Ｈ1，Ｈ1,2，Ｈ2,1及びＨ2,2）を計算するように構成されている請求項１から７のいずれか一項に記載の装置。
ここで、
Ｘ1は前記マルチチャネルマイクロホン信号の第１のチャネル信号を示し、
Ｘ2は前記マルチチャネルマイクロホン信号の第２のチャネル信号を示し、
Ｅ｛・｝は短時間平均演算を示し、
*は複素共役演算を示し、
Ｅ｛Ｘ1Ｙ1*｝、Ｅ｛Ｘ2Ｙ1*｝、Ｅ｛Ｘ1Ｙ2*｝及びＥ｛Ｘ2Ｙ2*｝は、前記マルチチャネルマイクロホン信号のチャネル信号Ｘ1、Ｘ2と前記拡張ダウンミックス信号の望ましいチャネル信号Ｙ1、Ｙ2との間の相互相関値を示す。
【請求項１０】
前記フィルタ計算器（１３０；２３０；３１６）は、前記拡張フィルタパラメータＨj,l（ｋ，ｉ）からＨj,M（ｋ，ｉ）を、前記拡張フィルタパラメータに従って前記マルチチャネルマイクロホン信号の前記チャネル信号（Ｘ1，Ｘ2）を濾波することにより得られる前記拡張ダウンミックス信号（１１２；２１２；３１２）の
が、類似性の統計的尺度に関して、
として定義される望ましいチャネル信号に近似するように計算すべく構成されている請求項１から９のいずれか一項に記載の装置。
ここで、
ｇ1は、前記方向情報（ａ，α）に依存し、かつ複数のスピーカ信号（Ｚl）に対する前記マルチチャネルマイクロホン信号（１１０；２１０；３１０）の
の望ましい寄与を表す利得係数であり、
ｈ1は、複数のスピーカ信号に対する前記マルチチャネルマイクロホン信号（１１０；２１０；３１０）の
の望ましい寄与を記述する予め定められた値である。
【請求項１１】
前記フィルタ計算器（１３０；２３０；３１６）は、前記拡張フィルタパラメータ（１３２；２３２；３３２；Ｈ1，Ｈ2；Ｈ1,1，Ｈ1,2；Ｈ2,1，Ｈ2,2）を導出するためにウィーナ−ホップ方程式を評価するように構成されており、
前記ウィーナ−ホップ方程式は、前記マルチチャネルマイクロホン信号の異なるチャネルペア間の関係性を記述する相関値Ｅ｛Ｘ1Ｘ1*｝，Ｅ｛Ｘ1Ｘ2*｝，Ｅ｛Ｘ2Ｘ1*｝，Ｅ｛Ｘ2Ｘ2*｝と、拡張フィルタパラメータ（Ｈ1,1，Ｈ1,2，Ｈ2,1，Ｈ2,2）と、前記マルチチャネルマイクロホン信号（１１０；２１０；３１０）のチャネル信号（Ｘ1，Ｘ2）と前記ダウンミックス信号の望ましいチャネル信号（Ｙ1，Ｙ2）との間の望ましい相互相関値（Ｅ｛Ｘ1Ｙ1*｝，Ｅ｛Ｘ2Ｙ1*｝，Ｅ｛Ｘ1Ｙ2*｝，Ｅ｛Ｘ2Ｙ2*｝）と、の間の関係性を記述するものである請求項１から１０のいずれか一項に記載の装置。
【請求項１２】
前記フィルタ計算器（１３０；２３０；３１６）は、前記拡張フィルタパラメータ（１３２；２３２；３３２）を望ましいダウンミックスチャネルのモデルに依存して計算するように構成されている請求項１から１１のいずれか一項に記載の装置。
【請求項１３】
前記フィルタ計算器（１３０；２３０；３１６）は、前記拡張ダウンミックス信号（１１２；２１２；３１２）の
が前記マルチチャネルマイクロホン信号（１１０；２１０；３１０）の第１のチャネル（Ｘ1）の濾波によって導出され、かつ前記拡張ダウンミックス信号の
が前記マルチチャネルマイクロホン信号の第２のチャネル（Ｘ2）の濾波によって導出され、その間、前記マルチチャネルマイクロホン信号の前記第１のチャネルから前記拡張ダウンミックス信号の前記第２のチャネルへのクロストーク及び前記マルチチャネルマイクロホン信号の前記第２のチャネルから前記拡張ダウンミックス信号の前記第１のチャネルへのクロストークが回避される１チャネルのフィルタリング、又は、
拡張ダウンミックス信号の
が前記マルチチャネルマイクロホン信号の第１及び第２のチャネル（Ｘ1，Ｘ2）を濾波することにより導出され、かつ前記拡張ダウンミックス信号の
が前記マルチチャネルマイクロホン信号の第１及び第２のチャネル（Ｘ1，Ｘ2）を濾波することにより導出される２チャネルのフィルタリングを、
前記マルチチャネルマイクロホン信号の前記第１のチャネル（Ｘ1）と前記マルチチャネルマイクロホン信号の前記第２のチャネル（Ｘ2）との間の相関性を記述する相関値に依存して選択的に実行するように構成されている請求項１から１２のいずれか一項に記載の装置。
【請求項１４】
マルチチャネルマイクロホン信号に基づいて拡張ダウンミックス信号を生成するための方法であって、
前記マルチチャネルマイクロホン信号に基づいて、直接音の到来方向を記述する方向情報、直接音パワー情報及び拡散音パワー情報を含む１組の空間キューパラメータを計算することと、
前記直接音の前記到来方向を記述する前記方向情報に依存して、前記直接音パワー情報に依存して、かつ前記拡散音パワー情報に依存して拡張フィルタパラメータを計算することと、
前記拡張ダウンミックス信号を取得するために、前記拡張フィルタパラメータを用いて前記マイクロホン信号又は前記マイクロホン信号から導出される信号を濾波することを含む方法。
【請求項１５】
コンピュータ上でコンピュータプログラムが実行される際に請求項１４に記載の方法を実行するためのコンピュータプログラム。
【請求項１】
マルチチャネルマイクロホン信号（１１０；２１０；３１０）に基づいて拡張ダウンミックス信号（１１２；２１２；３１２）を生成するための装置（１００；２００；３００；５００）であって、
前記マルチチャネルマイクロホン信号に基づいて、直接音の到来方向を記述する方向情報（ａ，α）と、直接音パワー情報（Ｅ｛ＳＳ*｝）と、拡散音パワー情報（Ｅ｛ＮＮ*｝）とを含む１組の空間キューパラメータ（Ｅ｛ＮＮ*｝，Ｅ｛ＳＳ*｝，ａ，α）を計算するように構成されている空間アナライザ（１２０；２２０；３２０）と、
前記直接音の到来方向を記述する前記方向情報（ａ，α）に依存して、前記直接音パワー情報（Ｅ｛ＳＳ*｝）に依存して、かつ前記拡散音パワー情報（Ｅ｛ＮＮ*｝）に依存して拡張フィルタパラメータ（１３２；２３２；３３２）を計算するためのフィルタ計算器（１３０；２３０；３１６）と、
前記拡張ダウンミックス信号（１１２；２１２；３１２）を得るために、前記拡張フィルタパラメータ（１３２；２３２；３３２）を用いて前記マイクロホン信号（１１０；２１０；３１０）又は前記マイクロホン信号（１１０；２１０；３１０）から導出される信号を濾波するためのフィルタ（１４０；２４０；３４０）と、を備えている装置。
【請求項２】
前記フィルタ計算器（１３０；２３０；３１６）は、前記拡張フィルタパラメータ（１３２；２３２；３３２；Ｈ1，Ｈ2，Ｈ1,1，Ｈ1,2，Ｈ2,1，Ｈ2,1）を、
が望ましいダウンミックス信号（Ｙ1，Ｙ2）に近似するように計算すべく構成されている請求項１に記載の装置。
【請求項３】
前記フィルタ計算器（１３０；２３０；３１６）は、前記空間キューパラメータに依存して、前記マルチチャネルマイクロホン信号（１１０；２１０；３１０）のチャネル信号（Ｘ1，Ｘ2）と前記ダウンミックス信号の望ましいチャネル信号（Ｙ1，Ｙ2）との間の望ましい相互相関値（Ｅ｛Ｘ1Ｙ1*｝，Ｅ｛Ｘ2Ｙ2*｝，Ｅ｛Ｘ1，Ｙ2*｝，Ｅ｛Ｘ2Ｙ2*｝）を計算するように構成され、かつ、
前記フィルタ計算器は、前記望ましい相互相関値に依存して前記拡張フィルタパラメータ（Ｈ1，Ｈ2；Ｈ1,1，Ｈ1,2，Ｈ2,1，Ｈ2,2）を計算するように構成されている請求項１又は２に記載の装置。
【請求項４】
前記フィルタ計算器は、前記望ましい相互相関値を、複数のスピーカ信号（Ｌ，Ｒ，Ｃ，Ｌs，Ｒs；Ｚl）に対する前記マルチチャネルマイクロホン信号の直接音成分（Ｓ）の望ましい寄与を記述する方向依存性の利得係数（ｇ1，ｇ2，ｇ3，ｇ4，ｇ5）に依存して、かつ前記拡張ダウンミックス信号の１つ又は複数のチャネルに対する複数のオーディオチャネル（Ｌ，Ｒ，Ｃ，Ｌs，Ｒs；Ｚl）の望ましい寄与を記述する１つ又は複数のダウンミックスマトリクス値（ｇs；ｍj,l）に依存して計算するように構成されている請求項３に記載の装置。
【請求項５】
前記フィルタ計算器（１３０；２３０；３１６）は、前記方向情報（ａ，α）を１組の方向依存性利得係数（ｇ1，ｇ2，ｇ3，ｇ4，ｇ5）へマップするように構成されている請求項４に記載の装置。
【請求項６】
前記フィルタ計算器（１３０；２３０；３１６）は、前記望ましい相互相関値（Ｅ｛Ｘ1Ｙ1*｝，Ｅ｛Ｘ2Ｙ*｝，Ｅ｛Ｘ1Ｙ2*｝，Ｅ｛Ｘ2Ｙ2*｝）を計算するために、前記直接音パワー情報（Ｅ｛ＳＳ*｝）及び前記拡散音パワー情報（Ｅ｛ＮＮ*｝）を考慮するように構成されている請求項３から５のいずれか一項に記載の装置。
【請求項７】
前記フィルタ計算器（１３０；２３０；３１６）は、前記望ましい相互相関値（Ｅ｛Ｘ1Ｙ1*｝，Ｅ｛Ｘ2Ｙ1*｝，Ｅ｛Ｘ1Ｙ2*｝，Ｅ｛Ｘ2Ｙ2*｝）を計算するために、前記方向情報（ａ，α）に依存して前記直接音パワー情報（Ｅ｛ＮＮ*｝）を重み付けし、かつ前記方向情報とは独立している予め決められた重み付けを前記拡散音パワー情報に行うように構成されている請求項６に記載の装置。
【請求項８】
前記フィルタ計算器（１３０；２３０；３１６）は、
に従ってフィルタ係数Ｈ1、Ｈ2を計算するように構成され、かつ、
前記フィルタ（１４０；２４０；３４０）は、
に従って、前記拡張ダウンミックス信号（１１２；２１２；３１２）の
を前記マルチチャネルマイクロホン信号の第１のチャネル信号Ｘ1（ｋ，ｉ）及び第２のチャネル信号Ｘ2（ｋ，ｉ）に依存して決定するように構成されている請求項１から７のいずれか一項に記載の装置。
ここで、Ｅ｛ＳＳ*｝は直接音パワー情報、Ｅ｛ＮＮ*｝は拡散音パワー情報、ｗ1及びｗ2は前記方向情報（ａ，α）に依存する係数、ｗ3及びｗ4は拡散音利得（ｈ1，ｈ2，ｈ3，ｈ4，ｈ5）によって決定される係数である。
【請求項９】
前記フィルタ計算器（１３０；２３０；３１６）は、
に従ってフィルタ係数（Ｈ1，Ｈ1,2，Ｈ2,1及びＨ2,2）を計算するように構成されている請求項１から７のいずれか一項に記載の装置。
ここで、
Ｘ1は前記マルチチャネルマイクロホン信号の第１のチャネル信号を示し、
Ｘ2は前記マルチチャネルマイクロホン信号の第２のチャネル信号を示し、
Ｅ｛・｝は短時間平均演算を示し、
*は複素共役演算を示し、
Ｅ｛Ｘ1Ｙ1*｝、Ｅ｛Ｘ2Ｙ1*｝、Ｅ｛Ｘ1Ｙ2*｝及びＥ｛Ｘ2Ｙ2*｝は、前記マルチチャネルマイクロホン信号のチャネル信号Ｘ1、Ｘ2と前記拡張ダウンミックス信号の望ましいチャネル信号Ｙ1、Ｙ2との間の相互相関値を示す。
【請求項１０】
前記フィルタ計算器（１３０；２３０；３１６）は、前記拡張フィルタパラメータＨj,l（ｋ，ｉ）からＨj,M（ｋ，ｉ）を、前記拡張フィルタパラメータに従って前記マルチチャネルマイクロホン信号の前記チャネル信号（Ｘ1，Ｘ2）を濾波することにより得られる前記拡張ダウンミックス信号（１１２；２１２；３１２）の
が、類似性の統計的尺度に関して、
として定義される望ましいチャネル信号に近似するように計算すべく構成されている請求項１から９のいずれか一項に記載の装置。
ここで、
ｇ1は、前記方向情報（ａ，α）に依存し、かつ複数のスピーカ信号（Ｚl）に対する前記マルチチャネルマイクロホン信号（１１０；２１０；３１０）の
の望ましい寄与を表す利得係数であり、
ｈ1は、複数のスピーカ信号に対する前記マルチチャネルマイクロホン信号（１１０；２１０；３１０）の
の望ましい寄与を記述する予め定められた値である。
【請求項１１】
前記フィルタ計算器（１３０；２３０；３１６）は、前記拡張フィルタパラメータ（１３２；２３２；３３２；Ｈ1，Ｈ2；Ｈ1,1，Ｈ1,2；Ｈ2,1，Ｈ2,2）を導出するためにウィーナ−ホップ方程式を評価するように構成されており、
前記ウィーナ−ホップ方程式は、前記マルチチャネルマイクロホン信号の異なるチャネルペア間の関係性を記述する相関値Ｅ｛Ｘ1Ｘ1*｝，Ｅ｛Ｘ1Ｘ2*｝，Ｅ｛Ｘ2Ｘ1*｝，Ｅ｛Ｘ2Ｘ2*｝と、拡張フィルタパラメータ（Ｈ1,1，Ｈ1,2，Ｈ2,1，Ｈ2,2）と、前記マルチチャネルマイクロホン信号（１１０；２１０；３１０）のチャネル信号（Ｘ1，Ｘ2）と前記ダウンミックス信号の望ましいチャネル信号（Ｙ1，Ｙ2）との間の望ましい相互相関値（Ｅ｛Ｘ1Ｙ1*｝，Ｅ｛Ｘ2Ｙ1*｝，Ｅ｛Ｘ1Ｙ2*｝，Ｅ｛Ｘ2Ｙ2*｝）と、の間の関係性を記述するものである請求項１から１０のいずれか一項に記載の装置。
【請求項１２】
前記フィルタ計算器（１３０；２３０；３１６）は、前記拡張フィルタパラメータ（１３２；２３２；３３２）を望ましいダウンミックスチャネルのモデルに依存して計算するように構成されている請求項１から１１のいずれか一項に記載の装置。
【請求項１３】
前記フィルタ計算器（１３０；２３０；３１６）は、前記拡張ダウンミックス信号（１１２；２１２；３１２）の
が前記マルチチャネルマイクロホン信号（１１０；２１０；３１０）の第１のチャネル（Ｘ1）の濾波によって導出され、かつ前記拡張ダウンミックス信号の
が前記マルチチャネルマイクロホン信号の第２のチャネル（Ｘ2）の濾波によって導出され、その間、前記マルチチャネルマイクロホン信号の前記第１のチャネルから前記拡張ダウンミックス信号の前記第２のチャネルへのクロストーク及び前記マルチチャネルマイクロホン信号の前記第２のチャネルから前記拡張ダウンミックス信号の前記第１のチャネルへのクロストークが回避される１チャネルのフィルタリング、又は、
拡張ダウンミックス信号の
が前記マルチチャネルマイクロホン信号の第１及び第２のチャネル（Ｘ1，Ｘ2）を濾波することにより導出され、かつ前記拡張ダウンミックス信号の
が前記マルチチャネルマイクロホン信号の第１及び第２のチャネル（Ｘ1，Ｘ2）を濾波することにより導出される２チャネルのフィルタリングを、
前記マルチチャネルマイクロホン信号の前記第１のチャネル（Ｘ1）と前記マルチチャネルマイクロホン信号の前記第２のチャネル（Ｘ2）との間の相関性を記述する相関値に依存して選択的に実行するように構成されている請求項１から１２のいずれか一項に記載の装置。
【請求項１４】
マルチチャネルマイクロホン信号に基づいて拡張ダウンミックス信号を生成するための方法であって、
前記マルチチャネルマイクロホン信号に基づいて、直接音の到来方向を記述する方向情報、直接音パワー情報及び拡散音パワー情報を含む１組の空間キューパラメータを計算することと、
前記直接音の前記到来方向を記述する前記方向情報に依存して、前記直接音パワー情報に依存して、かつ前記拡散音パワー情報に依存して拡張フィルタパラメータを計算することと、
前記拡張ダウンミックス信号を取得するために、前記拡張フィルタパラメータを用いて前記マイクロホン信号又は前記マイクロホン信号から導出される信号を濾波することを含む方法。
【請求項１５】
コンピュータ上でコンピュータプログラムが実行される際に請求項１４に記載の方法を実行するためのコンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公表番号】特表２０１３−５２０６９１（Ｐ２０１３−５２０６９１Ａ）
【公表日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願番号】特願２０１２−５５４２８７（Ｐ２０１２−５５４２８７）
【出願日】平成２３年２月１５日（２０１１．２．１５）
【国際出願番号】ＰＣＴ／ＥＰ２０１１／０５２２４６
【国際公開番号】ＷＯ２０１１／１０４１４６
【国際公開日】平成２３年９月１日（２０１１．９．１）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．フロッピー
【出願人】（５００３４１７７９）フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン (75)
【Ｆターム（参考）】
【公表日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願日】平成２３年２月１５日（２０１１．２．１５）
【国際出願番号】ＰＣＴ／ＥＰ２０１１／０５２２４６
【国際公開番号】ＷＯ２０１１／１０４１４６
【国際公開日】平成２３年９月１日（２０１１．９．１）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．フロッピー
【出願人】（５００３４１７７９）フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン (75)
【Ｆターム（参考）】
[ Back to top ]