オーディオ信号変換
本発明は、複数のオーディオ入力信号にダイナミック変動変換マトリックスを適用して、第１のフォーマットから第２のフォーマットに再フォーマットする方法に関する。特に、本発明は、１以上の方向信号成分の方角と強度を抽出することが可能な情報を抽出し、第１と第２の規則に基づき変換マトリックスを計算し、そして、出力信号を生成するために前記オーディオ入力信号を前記変換マトリックスに適用する。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本出願は、２００８年８月１４日出願の米国暫定特許出願番号６１／１８９，０８７に基づく優先権を主張する。この暫定特許出願はそのすべてを参照として本明細書に組み込むものとする。
【０００２】
本発明は、オーディオ信号処理に関する。特に、本発明は、複数のオーディオ入力信号にダイナミック変動変換マトリックスを適用して、第１のフォーマットから第２のフォーマットに再フォーマットする方法に関する。また、本発明は、このような方法のための装置及びコンピュータプログラムに関する。
【発明の概要】
【０００３】
本発明の特徴は、複数の（ＮＩ個の）オーディオ入力信号（Ｉｎｐｕｔ１（ｔ））にダイナミック変動変換マトリックス（Ｍ）を適用して、第１のフォーマットから第２のフォーマットに再フォーマットする方法であって、エンコーディングマトリックス（Ｉ）への複数の概念的音源信号（Ｓｏｕｒｃｅ１（ｔ）．．．ＳｏｕｒｃｅＮＳ（ｔ））がそれぞれ自分自身についての情報と関連し、該エンコーディングマトリックスは、各概念的音源信号を関連する概念的情報に従い処理する第１の規則に従い概念的音源信号を処理し、前記変換マトリックスは、それにより生成される複数の（ＮＯ個の）出力信号（Ｏｕｔｐｕｔ１（ｔ）．．．ＯｕｔｐｕｔＮＯ（ｔ））と、理想デコーディングマトリックス（Ｏ）に前記概念的音源信号を適用することにより導き出されたと推定される複数の（ＮＯ個の）概念的理想出力信号（ＩｄｅａｌＯｕｔ１（ｔ）．．．ＩｄｅａｌＯｕｔＮＯ（ｔ））との間の差を少なくするように制御され、前記デコーディングマトリックスは、各概念的音源信号を関連する概念的情報に従い処理する第２の規則に従い概念的音源信号を処理し、
複数の周波数及び複数の時間セグメント中の各々のオーディオ入力信号に応答して、拡散した方向性のない信号成分の方角と強度に寄与する情報を取得するステップと、
前記第１の規則及び前記第２の規則に基づき前記変換マトリックスを計算するステップであって、該計算には、（ａ）（ｉ）前記複数の周波数及び前記複数の時間セグメントの少なくとも１つにおけるオーディオ入力信号の共分散マトリックス、及び（ｉｉ）前記複数の周波数及び時間セグメントの少なくとも同じ１つにあるオーディオ入力信号と概念的理想出力信号の相互共分散マトリックスの推定と、（ｉ）方角信号成分の方角と強度、及び（ｉｉ）拡散した方向性のない信号成分が含まれることを特徴とするステップと、
出力信号を生成するために前記オーディオ入力信号を前記変換マトリックスに適用するステップと、
を具備することである。
【０００４】
前記変換マトリックス特性は、前記共分散マトリックス及び前記相互共分散マトリックスの関数として計算することができる。前記ダイナミック変動変換マトリックス［Ｍ］の要素は、下記のように、共分散マトリックスの逆演算を右から相互共分散マトリックスに作用させることにより取得することができる。
【０００５】
Ｍ＝Cov([IdealOutput],[Input]){Cov([Input],[Input])-1
複数の概念的音源信号は、相互に相関関係がないとみなすことができ、Ｍの計算においては概念的音源信号の共分散マトリックスの計算を内在し、概念的音源信号の共分散マトリックスを対角化するので、計算が単純になる。このデコーダーマトリックス（Ｍ）は、最急降下法で計算することができる。最急降下法は、前の時間区間のＭの先の推定値に基づき変換マトリックスの推定を繰り返し計算する勾配降下法により得ることができる。
【０００６】
本発明の特徴は、複数の（ＮＩ個の）オーディオ入力信号（Ｉｎｐｕｔ１（ｔ）．．．ＩｎｐｕｔＮＩ（ｔ））にダイナミック変動変換マトリックス（Ｍ）を適用して、第１のフォーマットから第２のフォーマットに再フォーマットする方法であって、前記複数のオーディオ入力信号は、エンコーディングマトリックス（Ｉ）に、それぞれ相互に無関係であると推定されそしてそれぞれ自分自身についての情報と関連する複数の概念的音源信号（Ｓｏｕｒｃｅ１（ｔ）．．．ＳｏｕｒｃｅＮＳ（ｔ））を適用することにより導き出されたものであると推定され、前記エンコーディングマトリックスは、各概念的音源信号を関連する概念的情報に従い処理する第１の規則に従い概念的音源信号を処理し、前記変換マトリックスは、それにより生成される複数の（ＮＯ個の）出力信号（Ｏｕｔｐｕｔ１（ｔ）．．．ＯｕｔｐｕｔＮＯ（ｔ））と、理想デコーディングマトリックス（Ｏ）に前記概念的音源信号を適用することにより導き出されたと推定される複数の（ＮＯ個の）概念的理想出力信号（ＩｄｅａｌＯｕｔ１（ｔ）．．．ＩｄｅａｌＯｕｔＮＯ（ｔ））との間の差を少なくするように制御され、前記デコーディングマトリックスは、各概念的音源信号を関連する概念的情報に従い処理する第２の規則に従い概念的音源信号を処理し、
複数の周波数及び複数の時間セグメント中の各々のオーディオ入力信号に応答して、１以上の方角信号成分の方角と強度と、拡散した方向性のない信号成分の強度とに寄与する情報を取得するステップと、
前記変換マトリックスＭを計算するステップであって、該計算には、（ａ）複数の周波数セグメント及び複数の時間セグメントと、（ｉ）前記方角信号成分の方角と強度及び（ｉｉ）前記拡散した方向性のない信号成分の強度とを結合するステップであって、結合結果が、音源信号［Ｓ×Ｓ＊］の共分散マトリックスの推定値を構成することを特徴とする、ステップと、（ｂ）ＩＳＳＩ＝Ｉ×（Ｓ×Ｓ＊）×Ｉ＊及びＯＳＳＩ＝Ｏ×（Ｓ×Ｓ＊）×Ｉ＊を計算するステップと、（ｃ）Ｍ＝（ＯＳＳＩ）×（ＩＳＳＩ）−１を計算するステップと、が含まれことを特徴とするステップと、
出力信号を生成するために前記オーディオ入力信号を前記変換マトリックスに適用するステップと、
を具備することである。
【０００７】
概念的な情報は、インデックスを具備することができ、特定のインデックスと関連付けた第１の規則に従う処理は、同じインデックスと関連付けた第２の規則に従う処理とペアを組むことができる。前記第１の規則と前記第２の規則は、第１のルックアップテーブル及び第２のルックアップテーブルとして実施することができ、テーブル入力は共通のインデックスによりペアを構成する。
【０００８】
前記概念的な情報は、概念的方角情報とすることができる。概念的方角情報は、概念的３次元方角情報とすることができる。概念的３次元情報は、概念的なリスニング位置に関する概念的な方位角と高さとの関係を具備することができる。概念的方角情報は、概念的２次元方角情報とすることができる。概念的２次元方角情報報は、概念的なリスニング位置に関する概念的な方位角との関係を具備することができる。
【０００９】
前記第１の規則は、入力パンニング規則とすることができ、前記第２の規則は、出力パンニング規則とすることができる。
【００１０】
複数の周波数セグメントと複数の時間セグメントの各々におけるオーディオ入力信号に応答して、１以上の方角信号成分の方角及び強度に寄与し、かつ、拡散した方向性のない信号成分の強度に寄与する情報を取得するステップは、前記複数の周波数セグメントと複数の時間セグメントの各々におけるオーディオ入力信号の共分散マトリックスを計算するステップを含む。前記１以上の方角信号成分の方角及び強度と、各周波数セグメント及び各時間セグメントの拡散した方向性のない信号成分の強度は、前記共分散マトリックスの計算結果に基づいて推定する。各周波数セグメント及び時間セグメントの拡散した方向性のない信号成分の推定は、前記共分散マトリックスの計算における最小固有値の値から形成することができる。前記変換マトリックスは、可変係数を有する可変マトリックス、又は、固定係数と可変出力を有する可変マトリックスとすることができ、該変換マトリックスは、該可変係数を変化させることにより又は可変出力を変化させることにより制御することができる。
【００１１】
前記デコーダーマトリックス（Ｍ）は、周波数に依存するデコーダーマトリックス（ＭＢ）の加重和、Ｍ＝ΣＢＷＢＭＢ、とすることができ、この周波数依存性は、帯域幅Ｂに関連する。
【００１２】
本発明の特徴には、上記方法を実行するために作られた装置が含まれる。
【００１３】
本発明の特徴には、さらに、上記方法を実行するためのコンピュータプログラムが含まれる。
【図面の簡単な説明】
【００１４】
【図１】本発明に係る変換器の特徴及びこのような変換器を識別する方法の説明に役立つ機能ブロック図である。
【図２】リスナーの周囲に分配した複数のオーディオ源の実施例である。
【図３】本発明に係る変換器の入力に関する１セットの規則を定義するために用いられるような「Ｉ」マトリックスエンコーダーの実施例である。
【図４】本発明に係る変換器の理想出力に関する１セットの規則を定義するために用いられるような「Ｏ」マトリックスエンコーダーの実施例である。
【図５】Ｉマトリックスは２出力をもち、Ｏマトリックスは５出力をもち、方位角についてプロットした、Ｉマトリックス及びＯマトリックスを並べた例である。
【図６】本発明の特徴に係るＭ変換器の実施例を図示した機能図である。
【図７】本発明の特徴を理解するのに役立つ方位角の関数としての音源出力を示す概念的な図解である。
【図８】本発明の特徴を理解するのに役立つ短時間フーリエ変換（ＳＴＦＴ）空間の概念を示す。
【図９】３期間スロットの長さの時間長と２つのビンの周波数高さを有する周波数・時間セグメントのＳＴＦＴ空間の例を示す。
【図１０】人の知覚帯域に類似するように、低周波数と高周波数の間で時間／周波数分解能が異なる複数の周波数・時間セグメントを示す。
【図１１】指向性信号成分、拡散信号成分、及び音源方位角方向の推定値を周波数・時間セグメントから概念的に抽出したものを示す。
【図１２】指向性信号成分、拡散信号成分、及び音源方位角方向の推定値を複数の周波数・時間セグメントから概念的に結合したものを示す。
【図１３】拡散信号成分の推定値を、指向性信号成分及び音源方位角方向とは別に、結合した図１２の変形例を示す。
【図１４】共分散マトリックスを対角化することにより推定を簡単化することを含む概念的音源信号の共分散マトリックスを推定するステップを具備するステップにより、Ｍマトリックスを計算する図１３の変形例を示す。
【図１５】図１４の実施例におけるステップを再構成した図１４の変形例を示す。
【図１６】本発明の特徴に係る複数帯域デコーダの実施例を示す機能ブロック図である。
【図１７】各出力処理帯域に近似ミックスマトリックスＭｂを定めることにより、大きな周波数帯域のセットを小さなセットに合併させる実施例を示す概念的表現である。
【図１８】本発明の特徴に係る複数帯域デコーダの分析帯域データを計算する概念的実施例を示す。
【発明を実施するための形態】
【００１５】
本発明は、変換処理又は変換装置（変換器）が複数のオーディオ入力信号を受け取り、第１のフォーマットから 第２のフォーマットに再フォーマットすることを特徴とする。表現を明確にするために、この処理及び装置はここでしばしば「変換器」と称される。この変換器はダイナミック変動変換マトリックス又はダイナミック変動変換マトリックス処理（例えば、線形マトリックス又は線形マトリックス処理）とすることができる。このようなマトリックス又はマトリックス処理は、当業者に「アクティブマトリックス」又は「適応マトリックス」のように称される。
【００１６】
しかし、原則として、本発明はアナログ領域又はディジタル領域（又はこの２つの組み合わせ）で実行することができ、本発明の実際的な実施の形態では、オーディオ信号は、データのブロック中の時間サンプルで表現され、ディジタル領域で処理がなされる。種々のオーディオ信号の各々は、アナログオーディオ信号から導き出すことのできる時間サンプル又はアナログオーディオ信号に変換すべき時間サンプルとすることができる。この種々の時間サンプル化された信号は、適切な形式に、例えば、線形パルス符号変調（ＰＣＭ）のような形式にエンコードすることができる。
【００１７】
第１のフォーマットの実施例は、それぞれ、左（Ｌ）、中央（Ｃ）、右（Ｒ）、左サラウンド、（ＬＳ）、及び右サラウンド（ＲＳ）のように、リスナーに対する方位角方向に概念的に関連付けた５つの分離したオーディオ信号又はオーディオ「チャンネル」をマトリックスエンコーディングした結果又は結果と推定される１対の立体音響オーディオ信号（しばしば、Ｌｔ（左トータル）チャンネル及びＲｔ（右トータル）チャンネルと称される）である。オーディオ信号は、概念的に空間的方角と関連させて、しばしば「チャンネル」と称される。このようなマトリックスエンコーディングは、例えば、当業者によく知られている、ＭＰマトリックスエンコーダー又はプロロジックＩＩマトリックスエンコーダーのような定義済みのパンニング規則に従い、５つの方角チャンネルを２つの方角チャンネルにマップする受動的マトリックスエンコーダーにより達成することができる。このようなエンコーダーの詳細は、本発明にとって重要ではなく必要でもない。
【００１８】
第２のフォーマットの実施例は、それぞれ、左（Ｌ）チャンネル、中央（Ｃ）チャンネル、右（Ｒ）チャンネル、左サラウンド（ＬＳ）チャンネル、及び右サラウンド（ＲＳ）チャンネルのように、リスナーに対する方位角方向に概念的に関連付けた５つの分離したオーディオ信号又はオーディオチャンネルのセットである。一般に、各チャンネルに別個に信号付与するならば、各チャンネルが関連づけられた方角からくるような印象を適切な位置にいるリスナーに与えるような方法で、そのような信号が再生されると仮定する。
【００１９】
ここに記載の例示的な変換器は、上述のような２つの入力チャンネルと上述のような５つの出力チャンネルを有するが、本発明に係る変換器は、２つではない入力チャンネルと５つではない出力チャンネルとを有することができる。入力チャンネルの数は出力チャンネルの数より多くても少なくてもよく、同じ数でもよい。本発明に係る変換器によるフォーマッティングにおける変換は、チャンネルの数に関係するだけでなくチャンネルの概念的な方角の変更にも関係する。
【００２０】
本発明の特徴に係る変換器を説明する１つの有用な方法は、図１に記載のような環境である。図１を参照して、ベクトル「Ｓ」で表すことができる複数の概念的なオーディオ音源信号（ＮＳ）（Ｓｏｕｒｃｅ１（ｔ）．．．ＳｏｕｒｃｅＮＳ（ｔ））は、ライン２で受け取られると仮定する。Ｓは以下のように定義することができる。
【式１】
【００２１】
ここで、Ｓｏｕｒｃｅ１（ｔ）からＳｏｕｒｃｅＮＳ（ｔ）までは、ＮＳ個の概念的なオーディオ音源信号又はオーディオ音源信号成分である。この概念的なオーディオ音源信号は、概念的であり（存在しているかもしれないし存在しないかもしれない、又は存在していたのかもしれない）、変換器マトリックスの計算において知られていない。しかし、ここに説明したように、概念的音源信号への寄与の推定は、本発明に有用である。
【００２２】
一定数の概念的音源信号があることを仮定することができる。例えば、（以下の実施例のような）１２の入力音源を仮定することができ、又は、（例えば、リスナーの周囲の水平面に方位角が１度ずつ増加するように離した）３６０の音源信号を仮定することができ、つまり、どのような数（ＮＳ）の音源であってもよいと理解される。各オーディオ音源信号が概念的なリスナーに対する方位角又は方位角及び高さのようなそれ自体についての情報であることに関連する。以下に説明する図２の実施例を参照のこと。
【００２３】
表現を明確にするために、本明細書全体にわたって、複数の信号（又は複数の信号成分を有する１つのベクトル）を伝達する線は単線で表す。実際のハードウェアでの実施の形態及び同様のソフトウェアでの実施の形態において、この線は、複数の物理的な線又は信号が多重化した形態で伝送される１以上の複数物理的な線で表示する。
【００２４】
図１の記載に戻って、概念的なオーディオ音源信号は２つの経路に適用される。図１において上側の経路で示した第１の経路において、概念的なオーディオ音源信号が「Ｉ」エンコーダー又は「Ｉ」エンコーディング処理（エンコーダー）４に適用される。さらに以下に説明するようにＩエンコーダー４は、第１の規則のセットに従い動作する、固定（時不変）エンコーディングマトリックス処理又は固定（時不変）マトリックスエンコーダー（例えば、線形ミキシング処理又は線形ミキサー）Ｉとすることができる。これらの規則により、各概念的音源信号に関連づけられた概念的な情報に従い、Ｉエンコーダーマトリックスは各概念的音源信号を処理する。例えば、方角が音源信号に関連付けられている場合、この音源信号は、この方角に関連づけられたパンニング規則又はパンニング係数に従いエンコードすることができる。規則の第１のセットの実施例は、いかに記載する入力パンニング規則である。Ｉエンコーダー４は、入力されたＮＳ個の音源信号に応答して、オーディオ入力信号（Ｉｎｐｕｔ１（ｔ）．．．ＩｎｐｕｔＮＩ（ｔ））として線６に沿って変換器に入力する複数の（ＮＩ個の）オーディオ信号を出力する。このＮＳ個のオーディオ入力信号は、ベクトル「Ｉｎｐｕｔ」で表すことができ、以下のように定義することができる。
【式２】
【００２５】
ここで、Ｉｎｐｕｔ１（ｔ）からＩｎｐｕｔＮＩ（ｔ）までは、ＮＩ個の入力信号又は入力信号成分である。
【００２６】
ＮＩ個のオーディオ入力信号は、変換処理又は変換器（変換器）Ｍに適用される。さらに以下に説明するように、変換器Ｍは、ダイナミック変動変換マトリックス又はダイナミック変動変換マトリックス処理により制御可能とすることができる。変換器の制御について図１には示されていない。変換器Ｍの制御について、まず図６に関連させて、以下に説明する。変換器Ｍは、ライン１０に、以下のように定義することのできるベクトル「Ｏｕｔｐｕｔ」で表される複数の（ＮＯの）出力信号（Ｏｕｔｐｕｔ１（ｔ）．．．ＯｕｔｐｕｔＮＯ（ｔ））を出力する。
【式３】
【００２７】
ここで、Ｏｕｔｐｕｔ１（ｔ）からＯｕｔｐｕｔＮＯ（ｔ）まではＮＯ個のオーディオ出力信号又はオーディオ出力信号成分である。
【００２８】
上述したように、概念的なオーディオ音源信号（Ｓｏｕｒｃｅ１（ｔ）．．．ＳｏｕｒｃｅＮＳ（ｔ））は２つの経路に適用される。図１に示す下側の経路である２番目の経路において、概念的なオーディオ音源 信号は、エンコーダー又はエンコーディング処理（理想デコーダー、Ｏ）に適用される。さらに以下に説明するように、理想デコーダーＯは、固定（時不変）デコーディングマトリックス処理又はマトリックスデコーダー（例えば、線形ミキシング処理又は線形ミキサー）Ｏとすることができ、第２の規則に従い動作する。この規則により、デコーダーマトリックスＯは、各概念的音源信号に関連づけられた概念的な情報に従い各概念的音源信号を処理することができる。例えば方角が音源信号に関連付けられている場合、音源信号を、その方角に関連づけられたパンニング係数に従いデコードすることができる。第２の規則の実施例は、以下に説明するような出力パンニング規則である。
【００２９】
理想デコーダーは、ライン１０に、以下のように定義することのできるベクトル「Ｉｄｅａｌ Ｏｕｔ」で表される複数の（ＮＯの）理想出力信号（ＩｄｅａｌＯｕｔ１（ｔ）．．．ＩｄｅａｌＯｕｔＮＯ（ｔ））を出力する。
【式４】
【００３０】
ここで、ＩｄｅａｌＯｕｔ１（ｔ）からＩｄｅａｌＯｕｔＮＯ（ｔ）まではＮＯ個の理想出力信号又は理想出力信号成分である。
【００３１】
リスナー２０の周囲に別々に置かれた複数の仮想的なサウンド音源がある、図２に示した状況にできるだけ近似した状況をリスナーに体験させるために、本発明の特徴に係る変換器Ｍを使うことを前提とすることは有用であろう。図２の実施例において、８個のサウンド音源があるが、当然のことながら、上述のように音源の数（ＮＳ）は任意である。各サウンド音源は、概念的なリスナーに対する方位角又は方位角及び高さのようなそれ自体についての情報であることに関連する。
【００３２】
原則として、本発明の特徴に従い動作する変換器Ｍは、入力がＮＩ個の個別の音源に過ぎないときは完璧な結果（理想出力に完全に一致する出力）を出すことができる。例えば、多くの信号状態において、各信号が異なる方向角にパンする２つの音源信号から導き出された２つの入力信号（ＮＩ＝２）の場合、変換器Ｍは、２つの音源を分離し適切な方向の出力チャンネルにパンすることができる。
【００３３】
上述のとおり、入力音源信号Ｓｏｕｒｃｅ１（ｔ），Ｓｏｕｒｃｅ２（ｔ），．．．ＳｏｕｒｃｅＮＳ（ｔ）は概念的なものであり未知のものである。そのかわり、知られているのは、マトリックスエンコーダーＩによりＮＳ音源信号から混合された入力信号（ＮＩ）の最小のセットである。これらの入力信号の生成は、既知の固定のミキシングマトリックス、Ｉ（ＮＩ×ＮＳマトリックス）を用いて行われることが前提となる。マトリックスＩは、必要に応じて、ミキシング処理に位相のずれを表現するために複素数を含むことができる。
【００３４】
変換器Ｍからの出力信号は、ラウドスピーカのセットを駆動し又は駆動を意図し、ここでラウドスピーカの数は既知であり、このラウドスピーカは、必ずしも、もとの音源信号の方角に対応する方角の位置に置く必要はない。変換器Ｍの目的は、入力信号を受け取り、ラウドスピーカに適用したとき、リスナーに、図２の実施例におけるシナリオにできるだけ近似するような体験を与えるような出力信号を生成することである。
【００３５】
元の音源信号、Ｓｏｕｒｃｅ１（ｔ），Ｓｏｕｒｃｅ２（ｔ），．．．ＳｏｕｒｃｅＮＳ（ｔ）が与えられたと仮定すると、「理想」ラウドスピーカ信号を生成する最適なミキシング処理があることを前提とすることができる。理想デコーダーマトリックスＯ（ＮＯ×ＮＳマトリックス）は、音源信号を混合しこのような理想スピーカへの出力を生成する。変換器Ｍからの出力信号と理想デコーダーマトリックスＯからの出力信号の両方は、１以上のリスナーに同じように向かいあって配置した同じセットのラウドスピーカに出力し又は出力を意図する。
【００３６】
変換器ＭはＮＩ個の入力信号を受ける。変換器Ｍは、線形マトリックスミキサーＭ（Ｍは時間可変）を用いてＮＯ個の出力信号を生成する。ＭはＮＯ×ＮＩマトリックスである。変換器の目的は、理想デコーダーの出力（しかし理想出力信号は知られていない）にできるだけ近似するような出力を生成することである。しかし、変換器はＯマトリックスとＩマトリックスのミキサーの係数を識別し（例えば、以下に説明する入出力パンニングテーブルから得ることができる）、この識別結果を用いてミキシング特性の決定に導く。もちろん、「理想デコーダー」は変換器の実用的な部分ではないが、以下に説明するように理想デコーダーの出力は変換器の効率と理論的に比較するために用いられるので図１に示した。
【００３７】
変換器Ｍからの入出力数（ＮＩ及びＮＯ）は変換器により定まってしまうが、入力音源の数は未知であり、１つの非常に有効な方法が、音源の数ＮＳが大きい（ＮＳ＝３６０とか）と「推定」することである。一般に、ＮＳを非常に少なく見積ると、変換器の精度が下がり、ＮＳの理想値が精度と効率との二律背反になってしまう可能性がある。ＮＳ＝３６０にすることは、読者に（ａ）音源の数は大きい方が望ましいこと、及び（ｂ）音源はリスナーの周りに水平面に３６０度の範囲となることを思い出させるのに役立つであろう。実際のシステムでは、ＮＳは（以下の実施例におけるＮＳ＝１２のように）もっと小さく選定し、又は、実施の形態によっては、固定の角度位置に量子化するのではなく（あたかもＮＳ＝∞であるかのように）音源オーディオを角度の連続関数として扱うことができる。
【００３８】
パンニングテーブルは入力パンニング規則及び出力パンニング規則を表すために採用することができる。このようなパンニングテーブルは、例えば、テーブルの行をサウンド音源の方角の角度に対応するよう構成することができる。同様に、パンニング規則を、具体的なサウンド音源の方位角を参照することなく、対となった項目を有する入力対出力の再フォーマット規則の形で定義することもできる。
【００３９】
両方とも同じ項目数を有し、第１番目が入力パンニングテーブルで第２番目が出力パンニングテーブルとする、１対のルックアップテーブルを定義することができる。例えば、以下のテーブル１は、テーブル中の１２の行が１２の入力シナリオ（この場合、サウンド再生システムの水平サラウンドサウンドについての１２の方位角に対応する）に対応する、マトリックスエンコーダーの入力パンニングテーブルを示す。以下のテーブル２は、同じ１２の入力シナリオについて所定の出力規則を示す出力パンニングテーブルを示す。入力パンニングテーブル及び出力パンニングテーブルは、入力パンニングテーブルの各行が出力パンニングテーブルの対応する行と対をなすように、同じ行数とすることができる。
【００４０】
ここでの実施例において、パンニングテーブルを参照するが、パンニング関数として特徴付けることも可能である。主たる違いは、パンニングテーブルでは、整数であるインデックスによりテーブルの行にたどりつくように用いられる一方、パンニング関数では、（方位角のような）連続的な入力により検索する。パンニング関数は無限大のパンニングテーブルに似たような動作を行い、ある種のパンニング値の計算アルゴリズム（例えば、マトリックスエンコードされた入力の場合のｓｉｎ（ ）関数及びｃｏｓ（ ） 関数）に依存する。
【００４１】
パンニングテーブルの各行はシナリオに対応させることができる。テーブル中の行数に等しいシナリオの総数は、ＮＳである。ここでの実施例では、ＮＳ＝１２である。一般に、下記テーブル３に示すように、入力パンニングテーブルと出力パンニングテーブルとを１つの入出力パンニングテーブルに結合することができる。
【００４２】
図３は、１２入力、２出力マトリックスエンコーダー３０のＩエンコーダー４の実施例を示す。このようなマトリックスエンコーダーは、ＲＳ（右サラウンド）チャンネル、Ｒ（右）チャンネル、Ｃ（中央）チャンネル、Ｌ（左）チャンネル、及びＬＳ（左サラウンド）チャンネルを有する、通常のの５入力・２出力（Ｌｔ及びＲｔ）エンコーダーの上位概念と考えることができる。公称到達角度値は、下記テーブル１に示したように、１２の入力チャンネル（シナリオ）のそれぞれに対応付けることができる。この実施例におけるゲインは、それに続く計算を簡単にするために、単純な角度のコサインに対応するよう選ばれる。他の値を用いることが可能である。特定のゲインを用いることが本発明の本質とはならない。
【表１】
【００４３】
従って、この実施例によれば、入力パンニングマトリックス、Ｉ、は２×１２マトリックスとなり、以下のように定義される。
【式５】
【００４４】
ここで
【式６】
【００４５】
これらのゲイン値は、マトリックスエンコーディングに一般的に受け入れられる規則に従う。
【００４６】
１）信号が９０°（左へ）パンするときは、左チャンネルに対するゲインは１．０であり、右チャンネルに対するゲインは０．０である。
【００４７】
２）信号が−９０°（右へ）パンするときは、左チャンネルに対するゲインは０．０であり、右チャンネルに対するゲインは１．０である。
【００４８】
３）信号が０°（中央へ）パンするときは、左チャンネルに対するゲインは１／√２であり、右チャンネルに対するゲインは１／√２である。
【００４９】
４）信号が１８０°（後へ）パンするときは、左右のチャンネルに対するゲインは逆位相である。
【００５０】
５）角度、θ、の如何にかかわらず、２つのゲイン値の２乗の和は１．０となる。すなわち、
【式７】
【００５１】
図４は、Ｏ理想デコーダー１２、すなわち、１２入力、５出力のマトリックスデコーダー４０の実施例を示す。出力は、リスナーに対して定めた名目的な方向にそれぞれ配置した５つのラウドスピーカを対象とする。名目的な到着値は、下記のテーブル２に示すように、１２の各入力チャンネル（シナリオ）に関連付けることができる。この実施例におけるゲイン値は、それに続く計算を簡単にするために、単純な角度のコサインに対応するよう選ばれる。他の値を用いることが可能である。特定のゲインを用いることが本発明の本質とはならない。
【表２】
【００５２】
テーブル２のパンニング係数は典型的なＯマトリックスを事実上定義する。すなわち、
【式８】
【００５３】
代替的に、定パワー出力パンニングマトリックスが式（１．４）により得られる。
【式９】
【００５４】
定パワー出力パンニングマトリックスは、Ｏマトリックスの各列のパンニングゲインの２乗和が１となる性質を持っている。入力エンコーディングマトリックス、Ｉ、は一般に所定のマトリックスである一方、出力ミキシングマトリックス、Ｏ、はある程度「手作り」とすることができ、パンニング規則に修正を加えることを許容する。有用性が認められるパンニングマトリックスは以下に示す通りであり、ＬとＬｓ及びＲとＲｓ間のパンニングが定パワーとなり、他のスピーカーの対は定強度パンニングでパンする。すなわち、
【式１０】
【００５５】
図５は、ＩマトリックスとＯマトリックスを並べたものであり、方位角に対してプロットしたものである（Ｉマトリックスは２行となっており、Ｏマトリックスは５２行となっていて、あわせて７つの曲線がプロットされている）。これらのプロットは、（リスナーの周囲に、１２点ではなく７２点の方位角を量子化した角度を用いることにより）上記マトリックスより高い分解能のパンニング曲線を実質的に示している。ここに示したパンニング出力曲線は、ＬとＬｓとの間及びＲとＲｓとの間の定パワーパンニングと他のスピーカー対との間の定強度パンニングとの混合に基づくものであることに留意しなければならない。
【００５６】
実際には、マトリックスエンコーダー（又は同様のデコーダー）のパンニングテーブルは、θ＝０で、ＬｔのゲインとＲｔのゲインが「フリップ」する、不連続点を有する。これらのサラウンドチャンネルに位相シフトを導入することによりこの位相フリップを克服することが可能であり、その結果として、テーブル２の最後の２行が実数ではなく虚数のゲイン値となる。
【００５７】
上述のとおり、入力パンニングテーブルと出力パンニングテーブルとを一緒にして入出力パンニングテーブルに結合することができる。このような、対となった項目をもち行番号でインデックス化したテーブルを、テーブル３として示す。
【表３】
【００５８】
入力パンニングテーブル中に配列したミキシング規則に従い入力信号を生成したと仮定することができる。また、入力信号の創作者は、入力パンニングテーブル中のシナリオに従い多数の元の音源信号を混合することによりこれらの入力信号を生成したと仮定することもできる。例えば、元の音源信号、Ｓｏｕｒｃｅ３及びＳｏｕｒｃｅ８、は、入力パンニングテーブル中のシナリオ３及びシナリオ８に従い混合される場合、入力信号は以下のようになる。
【式１１】
【００５９】
従って、各信号（ｉ＝１...ＮＩ）は、入力パンニングテーブル中の行３及び行８で定義されるゲイン係数、Ｉｉ，３及びＩｉ，８に従い元の音源信号、Ｓｏｕｒｃｅ３及びＳｏｕｒｃｅ８、を混合することにより作られる。
【００６０】
理想的には、変換器は可能な限り理想に近い出力を生成する。すなわち、
【式１２】
【００６１】
従って、各理想出力チャンネル（ｏ＝１...ＮＯ）は、出力パンニングテーブル中の行３及び行８で定義されるゲイン係数、Ｏｏ，３及びＯｏ，８に従い元の音源信号、Ｓｏｕｒｃｅ３及びＳｏｕｒｃｅ８、を混合することにより作られる。
【００６２】
入力信号（上記実施例では２つの信号）の生成で用いられる元の音源信号の実際の数にかかわらず、パンニングテーブル中の各シナリオに１つの元の音源信号がある（従って、元の音源信号の実際の数は、これらの音源信号のいくつかがゼロであったとしても、ＮＳに等しくなる）と仮定すると、計算は単純化できる。この場合式（１．６）と式（１．７）は以下のようになる。
【式１３】
【００６３】
図１を参照して、変換器Ｍの目的は、その出力とＯ理想デコーダーの出力との間の振幅２乗誤差を最小限にすることである。すなわち、
【式１４】
【００６４】
ここで、「＊」演算子は、マトリックス又はベクトルの共役転置を示す。
【００６５】
式（１．１０）を拡張して、
【式１５】
【００６６】
目的は、上記関数の傾き（Ｇｒａｄｉｅｎｔ）をゼロにすることにより式（１．９）を最小化することである。
【式１６】
【００６７】
以下のよく知られたマトリックスの固有の性質を用いて、
【式１７】
【００６８】
式（１．１２）は単純化することができ、
【式１８】
【００６９】
式（１．１５）をゼロにすることにより、
【式１９】
【００７０】
式（１．１６）の両側を転置すると、
【式２０】
【００７１】
式（１．１７）に示すように、マトリックス、Ｍ、の最適値は、Ｓ×Ｓ＊のみならず２つのマトリックス、Ｉ及びＯ、に依存する。上述のとおり、Ｉ及びＯは既知であり、従って、Ｍ変換器の最適化は、Ｓ×Ｓ＊、すなわち音源信号の共分散、を推定することにより行うことができる。音源共分散マトリックスは以下のように表すことができる。
【式２１】
【００７２】
原則的に、変換器は、新しいマトリックス、Ｍ、を各サンプル期間に計算できるように、サンプル期間毎に共分散Ｓ×Ｓ＊の新たな推定値を生成することができる。しかしながら、これは極わずかな誤差を生成し、Ｍ変換器を採用するシステムにより生成されたオーディオ中に好ましくない歪をもたらすことがある。このような歪を減少又は削除するために、平滑化をＭの時間更新に適用することができる。これにより、ゆっくり変化し頻度の少ないＳ×Ｓ＊の更新が行われる。
【００７３】
実際には、音源共分散マトリックスを時間窓において時間平均することにより組み立てることができる。
【式２２】
【００７４】
簡潔な標記を用いることができ、
【式２３】
【００７５】
理想的には、時間平均処理は、式（１．１９）のように時間的に前方及び後方を見るべきであるが、実際のシステムでは、入力信号のサンプルの将来部分にふれることはできないであろう。従って、実際のシステムでは、十分分析が可能な過去の入力サンプルを用いることに限定されるであろう。しかし、「先読み」の効果をもたらすために、システムの他の場所に時間遅れを加えることができる（図６の「時間遅れブロック」参照のこと）。
【００７６】
［ＩＳＳＩマトリックス及びＯＳＳＩマトリックス］
式（１．１９）には、Ｉ×Ｓ×Ｓ＊×Ｉ＊項とＯ×Ｓ×Ｓ＊×Ｉ＊項とが含まれる。簡単な命名法として、これらのマトリックスに関してＩＳＳＩ及びＯＳＳＩが用いられる。２チャンネル入力から５チャンネル出力変換器として、ＩＳＳＩは２×２マトリックスとなり、ＯＳＳＩは５×２マトリックスとなる。その結果として、Ｓベクトル（非常に大きくなることがある）のサイズにかかわらず、ＩＳＳＩマトリックス及びＯＳＳＩマトリックスは比較的小さい。本発明の特徴は、ＩＳＳＩマトリックス及びＯＳＳＩマトリックスがＳのサイズとは無関係であることだけでなく、Ｓについての直接的な知識が不要であることである。
【００７７】
ＩＳＳＩマトリックス及びＯＳＳＩマトリックスの意味の解釈はいろいろある。音源共分散（Ｓ×Ｓ＊）の推定を形成することができるなら、ＩＳＳＩ及びＯＳＳＩを以下のように考えることができる。
【式２４】
【００７８】
上式は、音源共分散、Ｓ×Ｓ＊、をＩＳＳＩ及びＯＳＳＩの計算のために使うことができることを明らかにしている。Ｍの最適値を求めるために実際の音源信号Ｓを知る必要はなく、音源共分散Ｓ×Ｓ＊のみを知ればよいことが本発明の特徴である。
【００７９】
代替的に、ＩＳＳＩ及びＯＳＳＩを以下のように解釈することができる。
【式２５】
【００８０】
従って、本発明のさらなる特徴によれば、
・ ＩＳＳＩは変換器の入力信号の共分散であり、音源信号Ｓを知らなくても決定することができる。
【００８１】
・ ＯＳＳＩマトリックスは、ＩｄｅａｌＯｕｔ信号とＩｎｐｕｔ信号との間の相互共分散である。ＩＳＳＩマトリックスとは異なり、（ａ）ＯＳＳＩマトリックスを計算するために音源信号Ｓ×Ｓ＊の共分散又は（ｂ）ＩｄｅａｌＯｕｔ信号の推定値（Ｉｎｐｕｔ信号は既知）、の何れか一方を知ることが必要である。
【００８２】
本発明の特徴によれば、Ｏｕｔｐｕｔ信号とＩｄｅａｌＯｕｔｐｕｔ信号との差を最小化するためにＭ変換器を制御する（最小２乗近似のような）近似手法を以下のような方法で達成することができる。例えば、
Ｉｎｐｕｔ信号（Ｉｎｐｕｔ１，Ｉｎｐｕｔ２，．．．，ＩｎｐｕｔＮＩ）をＭ変換器にもってゆき、その共分散（ＩＳＳＩマトリックス）を計算する。共分散データを検査することにより、入力データ（元の音源信号のパワー推定）を生成するために使うべき入力パンニングテーブルの行を推定する。そして、入力パンニングテーブル及び出力パンニングテーブルを用いてＩｄｅａｌＯｕｔｐｕｔ相互共分散への入力を推定する。次いで、入力共分散及び入力理想出力相互共分散を用いて、ミックスマトリックスＭを計算し、そしてこのマトリックスを入力信号に適用してＯｕｔｐｕｔ信号を生成する。以下にさらに説明するように、元の音源信号が相互に無相関であると見なされる場合、入力と理想出力の相互共分散の推定はパンニングテーブルを参照することなしに得ることができる。
【００８３】
入力パンニングテーブル及び出力パンニングテーブルを新しいＩＳＳＩテーブル及びＯＳＳＩテーブルで置き換えることができる。例えば元の入力／出力パンニングテーブルがテーブル３で示される場合は、ＩＳＳＩ／ＯＳＳＩルックアップテーブルはテーブル４のようになる。
【表４】
【００８４】
ＩＳＳＩ／ＯＳＳＩルックアップテーブルを使って、本発明によれば、Ｏｕｔｐｕｔ信号とＩｄｅａｌＯｕｔｐｕｔ信号との差を最小化するためにＭ変換器を制御する（最小２乗近似のような）近似手法を以下のような方法で達成することができる。例えば、
Ｉｎｐｕｔ信号（Ｉｎｐｕｔ１，Ｉｎｐｕｔ２，．．．，ＩｎｐｕｔＮＩ）を取り込み、これらの共分散（ＩＳＳＩマトリックス）を計算する。計算したＩｎｐｕｔ共分散をＩＳＳＩ／ＯＳＳＩルックアップテーブル中のＬｏｏｋｕｐＩＳＳＩ値とマッチングさせることにより、入力共分散データ（元の音源信号のパワー推定）を生成するために用いることのできるＩＳＳＩ／ＯＳＳＩルックアップテーブルの行を推定する。次いで、ＬｏｏｋｕｐＯＳＳＩ値を用いてＩｄｅａｌＯｕｔｐｕｔに対するＩｎｐｕｔ相互共分散を計算する。そして、前記Ｉｎｐｕｔ共分散と前記入出力相互共分散を用いて、ミックスマトリックスＭを計算し、次いで、このマトリックスを入力信号に適用し出力信号を生成する。
【００８５】
図６の機能図は、本発明の特徴に係るＭ変換器の実施例を示す。Ｍ変換器、すなわち第１の経路６２、すなわち信号経路、中のミキサー又はミキシング機能（ミキサー（Ｍ））６０、の中心的な作用は、任意的な時間遅れ６４を経由してＮＩ個の入力信号を受け取り、ＮＯ個の出力信号を出力する。Ｍミキサー６０は、ＮＯ×ＮＩマトリックスＭからなり、式（１．３）に従いＮＩ個の入力信号をＮＯ個の出力信号にマッピングする。Ｍミキサー６０の係数は、第２の経路又は「サイドチェーン」、すなわち３つの装置又は機能を有する制御経路出の処理により時間的に変動することができる。すなわち、
・ 入力信号は、装置又は機能６６（入力の分析及び推定Ｓ×Ｓ＊）により分析され、音源信号Ｓの共分散の推定を形成する。
【００８６】
・ 該音源共分散の推定値は、装置又は機能６８（ＩＳＳＩ及びＯＳＳＩの計算）においてＩＳＳＩマトリックス及びＯＳＳＩマトリックスの計算に用いられる。
【００８７】
・ 該ＩＳＳＩマトリックス及びＯＳＳＩマトリックスは装置又は機能７０（Ｍの計算）で用いられる。
【００８８】
サイドチェーンは、Ｓ×Ｓ＊の適当な推定値を見つけ出すことを試みることで、音源信号についての推測を行うことを試みる。この処理は、適当にサイズ分けしたデータについて統計分析を行うことができるように入力オーディオの窓処理されたブロックを取り込むことにより補助することができる。加えて、Ｓ×Ｓ＊，ＩＳＳＩ，ＯＳＳＩ及び／又はＭの計算において、この時間平滑化を適用することができる。ブロック処理及び平滑化操作の結果、ミキサーＭの係数の計算がオーディオデータに遅れをとくことがあり、従って、図６の任意的時間遅れ６４で示したよう該ミキサーの入力に時間遅れを持たせることは有益である。マトリックス、Ｍ、はＮＯ個の行とＮＩ個の列を有し、ＮＩ個の入力信号とＮＯ個の出力信号との間で線形マッピングを定義する。現在観測中の入力信号に基づいて適切なマッピングを行うために時間に関して連続的に修正するので、マトリックス、Ｍ、は「アクティブマトリックスデコーダー」と称されることもある。
【００８９】
［音源共分散Ｓ×Ｓ＊の詳細］
既に定められた複数の音源位置がリスニング環境を表現するために用いられる場合、音源位置間で幻覚の（パンされた）音像を作り出すことにより任意の方角からサウンドが到着するような印象をリスナーに与えることが理論的には可能となる。音源位置の数（ＮＳ）が十分大きい場合は、幻覚の音像パンニングの必要性が回避され、音源信号、Ｓｏｕｒｃｅ１，．．．，ＳｏｕｒｃｅＮＳ、が相互に非相関となると推定することができる。一般的に正しいとは言えないが、経験から、この単純化とは無関係にこのアルゴリズムがうまく行くことが示されている。本発明の特徴に係る変換器は、音源信号が相互に非相関であることを推定することにより計算される。
【００９０】
この推定の最も顕著な副作用は音源共分散マトリックスが対角化することである。すなわち、
【式２６】
【００９１】
その結果として、ＩＳＳＩマトリックス及びＯＳＳＩマトリックスの推定が、図２の例に示したようなリスナーの周りに位置する多様な方位角位置での音源信号、Ｓｏｕｒｃｅ１，．．．，ＳｏｕｒｃｅＮＳ、の相対的パワーの推定に単純化される。音源共分散マトリックス（ＮＳ×ＮＳ）は、従って、式（１．２４）で示したような音源パワー列ベクトル（ＮＳ×１）の観点から考えることができ、方位角位置の関数としての音源パワーを概念的に描くと、例えば、図７のように示すことができる。３０１におけるような強度分布のピークは、３０２で示された角度における高められた音源パワーを示す（図７）。
【００９２】
［到着方向の推定］
図６のブロック図に示すように、入力信号の分析には音源共分散（Ｓ×Ｓ＊）の推定が含まれる。上述のとおり、（Ｓ×Ｓ＊）の推定は、入力信号の共分散を用いてパワー対方位角の分布を決定することにより得ることができる。これは、いわゆる短時間フーリエ変換、すなわち、ＳＴＦＴを用いることにより行うことができる。ＳＴＦＴの概念は図８に示されており、ここで、垂直軸は（約２０ｋＨｚまでの）ｎ個の周波数帯域又は周波数ビンに分割した周波数であり、水平軸は時間区間に分割した時間である。任意の周波数・時間セグメントＦｉ（ｍ，ｎ）が示されている。スロットｍに続く時間スロットは、ｍ＋１及びｍ＋２のように示される。
【００９３】
時間依存フーリエ変換データは、積Δｆ×Δｔが所定の値（しかし、固定する必要はない）になるように、最も単純な場合は一定の値になるように、隣接する周波数帯域Δｆに分離し、時間間隔Δｔを変化させて積分することができる。各周波数帯域に関連づけられたデータから情報を抽出することにより、パワーレベルと推定した音源方位角を推測することができる。すべての周波数帯域にわたるそのような情報の集合体により、図７の実施例に示すような音源パワー対方位角の分布の相対的に完全な推定値を得ることができる。
【００９４】
図８，９，及び１０はＳＴＦＴ法を示す。種々の周波数帯域、Δｆ、が、時間区間、Δｔ、を変化させながら積分される。一般に、低い周波数では高い周波数よりも長い時間で積分される。ＳＴＦＴにより、各時間区間及び各周波数ビンで複素フーリエ係数のセットが得られる。
【００９５】
ＳＴＦＴにより、元の時間サンプルした入力信号のベクトルをサンプルしたフーリエ係数のセットに変換される。すなわち、
【式２７】
【００９６】
次いで、このような時間／周波数区間に対する入力信号の共分散を決定する。これらを、入力信号の一部からのみで決定するので、これらは、部分ＩＳＳＩ（ｍ，ｎ，Ａｍ，Ａｎ）と称される。
【式２８】
【００９７】
ここで、ｍは開始時間インデックスであり、Δｍはその継続時間である。同様に、ｎは開始周波数ビンであり、Δｎはその範囲である。図９はΔｍ＝３及びΔｎ＝２の場合を示す。
【００９８】
時間／周波数ブロックのグループ分けは多くの方法で行うことができる。これは決して本発明にとって本質的ではないが、以下の方法は有用であるとが分かっている。
【００９９】
・ 部分ＩＳＳＩ（ｍ，ｎ，Ａｍ，Ａｎ）の計算で結合されるフーリエ変換係数の数は、Δｍ×Δｎである。共分散の偏りのない妥当な推定値を計算するためにΔｍ×Δｎは少なくとも１０とすべきである。実際には、Δｍ×Δｎ＝３２のように、もっと大きなブロックを用いるのが有効であることが分かっている。
【０１００】
・ 低い周波数領域では、高い周波数で効率的に低い周波数で選択的になり、時間的不鮮明さが増すという犠牲を払うことになるが、Δｎ＝１及びΔｍ＝３２に設定することがしばしば好都合である。
【０１０１】
・ 高い周波数領域では、低い周波数で効率的に高い周波数で選択的になるが、時間分解能を改善するという利点があり、Δｎ＝３２及びΔｍ＝１に設定することがしばしば好都合である。この概念は図１０に示されており、人の近く帯域に近似する態様で低周波数及び高周波数間で時間／周波数分解能が変化する。
【０１０２】
部分ＩＳＳＩ共分散計算は、時間サンプルしたＩｎｐｕｔｉ（ｔ）信号を用いて行うことができる。しかしながら、ＳＴＦＴ係数を使うことで、部分ＩＳＳＩ計算から位相情報を抽出する能力を付加するだけでなく、異なる周波数帯域で部分ＩＳＳＩをより簡単に計算できるようになる。
【０１０３】
［マトリックスデコーダーの到着方向の分配］
各部分ＩＳＳＩマトリックスからの音源方位角の抽出について、２入力チャンネル（ＮＩ＝２）の場合について以下に例示する。入力信号は２つの信号成分からなると推定する。
【式２９】
【０１０４】
【式３０】
【０１０５】
ここで成分信号のＲＭＳパワーは以下で得られる。
【式３１】
【０１０６】
言い換えると、方向信号又は「指向」信号は、音源の方角θに基づく入力チャンネルにパンした音源信号（Ｓｉｇ（ｔ））からなり、拡散信号は、両方の入力チャンネルに等しく広がる非相関なノイズからなる。
【０１０７】
共分散マトリックスは、
【式３２】
【０１０８】
この共分散マトリックスは２つの固有値を持つ。すなわち、
【式３３】
【０１０９】
共分散マトリックスの固有値を調べることにより、σｎｏｉｓｅ、拡散信号成分、及びσｓｉｇ、指向信号成分、の強度がわかる。さらに、以下のように、適切な三角法を角θの抽出に用いることができる。
【式３４】
【０１１０】
このようにして、各部分ＩＳＳＩマトリックスを分析し、図１１に示すように、指向信号成分、拡散信号成分、及び音源方位角方向を抽出する。次いで、部分ＩＳＳＩの完全なセットからのデータの集合体を結合し、図１２に示すような１つの合成した分布を形成する。実際には、図１３に示すように、指向データは拡散分布データとは別にしておくことが好ましい。各部分ＩＳＳＩの計算により自らの指向分布データと拡散分布データを生み出し、これらを線形加算することにより最終分布ができるので、図１４の信号フローにおいて、抽出した信号の統計量から前記分布を形成するのは、線形演算である。さらに、この最終分布を用いて、線形演算処理を行うことにより、ＩＳＳＩ及びＯＳＳＩを作り出す。これらは線形演算なので、図１５に示すように、計算を簡単化するために再構成することができる。
【０１１１】
［指向及び拡散ＩＳＳＩマトリックス及び指向及び拡散ＯＳＳＩマトリックスの計算］
最終ＩＳＳＩ（ＦｉｎａｌＩＳＳＩ）及び最終ＯＳＳＩ（ＦｉｎａｌＯＳＳＩ）は以下のように計算する。
【式３５】
【０１１２】
ここで、部分ＩＳＳＩマトリックスの分析は、各成分で変数を計算するために用いられる。ＩＳＳＩマトリックス及びＯＳＳＩマトリックスの全指向成分は、
【式３６】
【０１１３】
ここで、ｐについての総和は、すべてのそれぞれの部分ＩＳＳＩマトリックス及び部分ＯＳＳＩマトリックスのすべてにわたる総和を意味する。
【０１１４】
各部分ＩＳＳＩマトリックスを分析することにより、信号パワー強度σｓｉｇ、拡散パワー強度σｎｏｉｓｅ、及び音源方位角θが得られる。各部分ＩＳＳＩマトリックスは以下のように書き直すことができる。
【式３７】
【０１１５】
ここで、上記式の第１項は拡散成分、そして第２項は指向成分である。以下の点に留意することが重要である。
【０１１６】
・ 拡散成分、ＩＳＳＩｄｉｆｆ．ｐ、はスカラーと単位マトリックスの積である。拡散成分は方位角θと無関係である。
【０１１７】
・ 指向成分、ＩＳＳＩｓｔｅｅｒｅｄ．ｐ、はスカラーと、方位角θにのみ依存する要素を持つマトリックスとの積である。後者は、直近の近傍方位角によりインデックスが付加された、あらかじめ計算済みのルックアップテーブル中に都合よく格納される。
【０１１８】
［指向（方向）成分］
指向項は以下のように記述される。
【式３８】
【０１１９】
ここで、現実施例では、
【式３９】
【０１２０】
及び
【式４０】
【０１２１】
Ｉｋ，θの例は、
【式４１】
【０１２２】
同様にθｋ，θの例は、
【式４２】
【０１２３】
［拡散成分］
全拡散ＩＳＳＩ（ＤｉｆｆｕｓｅＩＳＳＩ）及び全拡散ＯＳＳＩ（ＤｉｆｆｕｓｅＯＳＳＩ）は以下のように記述することができる。
【式４３】
【０１２４】
ここで、ＤｉｓｉｒｅｄＤｉｆｆｕｓｅＩＳＳＩ及びＤｉｓｉｒｅｄＤｉｆｆｕｓｅＯＳＳＩは、一様に拡がる指向信号のセットと同じ方法で拡散入力信号をデコードするために設計したあらかじめ計算済みのマトリックスである。実際には、ＤｉｓｉｒｅｄＤｉｆｆｕｓｅＩＳＳＩマトリックス及びＤｉｓｉｒｅｄＤｉｆｆｕｓｅＯＳＳＩマトリックスを、例えば、指向信号の主観的音量に応じての場合のような、主観的評価に基づいて修正することが好都合であることがわかっている。
【０１２５】
実施例として、ＤｉｓｉｒｅｄＤｉｆｆｕｓｅＩＳＳＩ及びＤｉｓｉｒｅｄＤｉｆｆｕｓｅＯＳＳＩの１つの選択肢は以下のようになる。
【式４４】
【０１２６】
［ミキシングマトリックス、Ｍ、の計算］
デコーダーにおける最終ステップはミックスマトリックスＭの係数を計算することである。理論的には、Ｍは、等式の最小２乗平均解法となる。すなわち、
【式４５】
【０１２７】
実際にはＩＳＳＩマトリックスは常に正定値である。従って、このことによりＭを効率的に計算するための２つの可能な方法が生み出される。
【０１２８】
・ 正定値なので、ＩＳＳＩは可逆である。従って、式、Ｍ＝ＩＳＳＩ×ＯＳＳＩ−１によりＭを計算することができる。
【０１２９】
・ ＩＳＳＩは正定値なので、勾配降下法を用いて、Ｍを繰り返し計算することは、極めて簡単である。勾配降下法は以下のようになる。
【式４６】
【０１３０】
ここで、δは、勾配降下アルゴリズムの収束率を調整するために選択する。δの値は、Ｍの更新を遅くするために意図的に小さく選ぶことができ、従って、ミックス係数中の時間変動を平滑化し、急激に係数を変化させた場合に結果として生じるひずみアーティファクトを回避することができる。
【０１３１】
［変換器の複数帯域版］
先の方法は、出力信号を作るために入力信号を処理するのに、一般に、１つのマトリックス、Ｍ、を用いることに言及している。これは、入力信号のすべての周波数成分が同じ方法で処理されるので広帯域マトリックスのように称することができる。しかし、複数帯域版は、異なる周波数帯域に対して、前記同じマトリックス演算とは別の演算をデコーダーが適用することを可能にする。
【０１３２】
一般に、すべての複数帯域技法は以下の重要な特徴を見せることがある。
【０１３３】
・ 入力信号は、複数の帯域、Ｐ、に分割することができ、指向情報を帯域中で推定又は計算することができる。数量Ｐは、指向情報を推定又は計算する帯域の数を意味する。
【０１３４】
・ 入力から出力への処理演算は、広帯域ミックス、Ｍ、ではなく、周波数について変化させ、それぞれ異なる周波数に適用する個々のミックス演算、Ｂ、の数に概ね等しくなる。Ｂは、出力信号を処理するときに用いられる周波数帯域に数を意味する。
【０１３５】
複数帯域デコーダーは、入力信号を多くの個々の帯域に分割し、図１６に示すような方法で各帯域に広帯域マトリックスデコーダーを用いることにより実行することができる。
【０１３６】
この実施例では、入力信号は３つの周波数帯域に分割されている。「分割」処理は、ラウドスピーカクロスオーバーに用いるときに、フィルター又はフィルタリング処理（クロスオーバー）１６０及び１６２を用いることにより実行することができる。クロスオーバー１６０は第１の入力信号Ｉｎｐｕｔ１を受け取り、クロスオーバー１６２は第２の入力信号Ｉｎｐｕｔ２を受け取る。２つの入力から導き出された低周波数信号、中周波数信号、及び高周波数信号は、３つの広帯域のマトリックスデコーダー又は、それぞれ、マトリックスデコーダー機能（広帯域マトリックスデコーダー）１６４、１６６、及び１６８に送られ、この３つのデコーダーからの出力は加算結合器又は加算結合機能（それぞれ、「プラス」記号で示されている）再加算されて、最終的な５つの出力チャンネル（Ｌ，Ｃ， Ｒ１Ｌｓ， Ｒｓ）となる。
【０１３７】
３つの広帯域のマトリックスデコーダー１６４、１６６、及び１６８の各々は、異なる周波数帯域で動作し、それぞれの周波数帯域内でパンしたオーディオの支配的な方向を独自に決定することができる。結果として、複数帯域デコーダーは、異なる周波数帯域で異なる方法でデコーディングすることでより良い結果を得ることができる。例えば、複数帯域デコーダーは、チューバやピッコロのマトリックスエンコードしたレコーディングを、２つの楽器を異なる出力チャンネルに指向させることで、デコードすることができ、これにより、これらの異なる周波数範囲の利点を生かすことができる。
【０１３８】
図１６の実施例において、３つの広帯域デコーダーは３つの周波数帯域で効果的に分析を行い、続いて、同じ３つの周波数帯域で出力オーディオの処理を行う。従ってこの実施例では、Ｐ＝Ｂ＝３となる。
【０１３９】
本発明の特徴は、Ｐ＞Ｂのときに動作する変換器の能力である。すなわち、指向情報の（Ｐ）のチャンネルが導出され（部分ＩＳＳＩの統計的抽出）、出力処理をより広い周波数帯域のより少ない数（Ｂ）に適用されるとき、本発明の特徴によれば、各出力処理帯域に対して適切なミックスマトリックスを定義することにより、より大きなセットを小さいセットに併合する方法を定める。この状況を図１７の実施例に示した。各出力処理帯域（Ｈｂ：ｂ＝１．．．Ｂ）は、図中のグループ化したブレースで示したような入力分析帯域のそれぞれのセットと重複している。
【０１４０】
Ｐ個の分析帯域での動作とそれに続くＢ個の処理帯域でのオーディオの処理のために、次に説明するようにＰ個の分析データセットを計算することにより、変換器の複数帯域版が始まる。これは図１６の上半分と比べることができる。分析データは、１つの分析帯域に対するデータのセットを表す。各帯域、ｂ＝１．．．Ｂ、について、分析データは以下のように結合される（式（１．３５）、（１．３６）、（１．４３）、及び（１．４６）と比較すること）。
【式４７】
【０１４１】
ここで、
【式４８】
【０１４２】
そして、
【式４９】
【０１４３】
最後に、
【式５０】
【０１４４】
Ｍマトリックス及びＦｉｎａｌＩＳＳｌマトリックスとＦｉｎａｌＯＳＳＩマトリックスが、各処理帯域（ｂ＝１．．．Ｂ）出計算され、部分ＩＳＳＩ分析データ（ＩＳＳＩＳ．ｐ，ＯＳＳＩＳ．ｐ，及びσｐ）がＢａｎｄＷｅｉｇｈｔｂ．ｐで重み付けがなされることを除いて、上記計算は、広帯域デコーダーの場合と同じである。重み付けファクターは、各出力処理帯域が重複分析帯域からの分析データだけに影響されるように用いられる。
【０１４５】
各出力処理帯域（ｂ）は、少数の入力分析帯域と重複することができる。従って、多くのＢａｎｄＷｅｉｇｈｔｂ，ｐ重み付けはゼロにすることができる。まばらなＢａｎｄＷｅｉｇｈｔｓデータは、式（１．５０）及び（１．５１）で示した加算演算で必要な項数を減らすために用いることができる。
【０１４６】
Ｍｂマトリクスを（ｂ＝１．．．Ｂについて）一度計算すると、出力信号は種々の相異なる技法で計算することができる。すなわち、
・ 入力信号はＢ個の帯域に分割することができ、各帯域（ｂ）をそれぞれのマトリックスＭｂで処理しＮＯ個の出力チャンネルを生成することができる。この場合Ｂ×ＮＯの中間信号が生成される。ＮＯ個の出力チャンネルのＢ個のセットは、次いで、相互に加算されてＮＯ個の広帯域出力信号となることができる。この技術は図１８に示したものと非常に似ている。
【０１４７】
入力信号は周波数領域で混合される。この場合、ミキシング係数は、周波数の平滑化関数として変化させることができる。例えば、中間ＦＦＴビンのミキシング係数は、ＦＦＴビンが処理帯域ｂ及びｂ＋１の中心周波数間にある周波数に対応すると仮定して、マトリックスＭｂ及びＭｂ＋１の係数間を補間することにより計算することができる。
【０１４８】
［実施形態］
本発明は、ハードウェア又はソフトウェア又は両方を組み合わせたもの（例えば、プログラマブルロジックアレー）で実施することができる。特に記載がない限り、本発明の一部として含まれているアルゴリズムは本質的に、特定のコンピュータや他の装置と関連付けられるものではない。特に、種々の汎用機をこの記載に従って書かれたプログラムと共に用いてもよい、あるいは、要求の方法を実行するために、より特化した装置（例えば、集積回路）を構成することが便利かもしれない。このように、本発明は、それぞれ少なくとも１つのプロセッサ、少なくとも１つの記憶システム（揮発性及び非揮発性メモリー及び／又は記憶素子を含む）、少なくとも１つの入力装置又は入力ポート、及び少なくとも１つの出力装置又は出力ポートを具備する、１つ以上のプログラマブルコンピュータシステム上で実行される１つ以上のコンピュータプログラムにより実現することができる。ここに記載した機能を遂行し、出力情報を出力させるために入力データにプログラムコードを適用する。この出力情報は、公知の方法で、１以上の出力装置に適用される。
【０１４９】
このようなプログラムの各々は、コンピュータシステムとの通信のために、必要とされるどんなコンピュータ言語（機械語、アセンブリ、又は、高級な、手続言語、論理型言語、又は、オブジェクト指向言語を含む）ででも実現することができる。いずれにせよ、言語はコンパイル言語であってもインタープリタ言語であってもよい。
【０１５０】
このようなコンピュータプログラムの各々は、ここに記載の手順を実行するために、コンピュータにより記憶媒体又は記憶装置を読み込んだとき、コンピュータを設定し動作させるための、汎用プログラマブルコンピュータ又は専用プログラマブルコンピュータにより、読み込み可能な記憶媒体又は記憶装置（例えば、半導体メモリー又は半導体媒体、又は磁気媒体又は光学媒体）に保存又はダウンロードすることができる。本発明のシステムはまた、コンピュータプログラムにより構成されるコンピュータにより読み込み可能な記憶媒体として実行することを考えることもできる。ここで、この記憶媒体は、コンピュータシステムを、ここに記載した機能を実行するために、具体的にあらかじめ定めた方法で動作させる。
【０１５１】
本発明の多くの実施の形態について記載した。しかしながら、本発明の精神と技術範囲を逸脱することなく多くの修正を加えることができることは明らかであろう。例えば、ここに記載したステップのいくつかの順序は独立であり、従って、記載とは異なる順序で実行することができる。
【技術分野】
【０００１】
（関連出願の相互参照）
本出願は、２００８年８月１４日出願の米国暫定特許出願番号６１／１８９，０８７に基づく優先権を主張する。この暫定特許出願はそのすべてを参照として本明細書に組み込むものとする。
【０００２】
本発明は、オーディオ信号処理に関する。特に、本発明は、複数のオーディオ入力信号にダイナミック変動変換マトリックスを適用して、第１のフォーマットから第２のフォーマットに再フォーマットする方法に関する。また、本発明は、このような方法のための装置及びコンピュータプログラムに関する。
【発明の概要】
【０００３】
本発明の特徴は、複数の（ＮＩ個の）オーディオ入力信号（Ｉｎｐｕｔ１（ｔ））にダイナミック変動変換マトリックス（Ｍ）を適用して、第１のフォーマットから第２のフォーマットに再フォーマットする方法であって、エンコーディングマトリックス（Ｉ）への複数の概念的音源信号（Ｓｏｕｒｃｅ１（ｔ）．．．ＳｏｕｒｃｅＮＳ（ｔ））がそれぞれ自分自身についての情報と関連し、該エンコーディングマトリックスは、各概念的音源信号を関連する概念的情報に従い処理する第１の規則に従い概念的音源信号を処理し、前記変換マトリックスは、それにより生成される複数の（ＮＯ個の）出力信号（Ｏｕｔｐｕｔ１（ｔ）．．．ＯｕｔｐｕｔＮＯ（ｔ））と、理想デコーディングマトリックス（Ｏ）に前記概念的音源信号を適用することにより導き出されたと推定される複数の（ＮＯ個の）概念的理想出力信号（ＩｄｅａｌＯｕｔ１（ｔ）．．．ＩｄｅａｌＯｕｔＮＯ（ｔ））との間の差を少なくするように制御され、前記デコーディングマトリックスは、各概念的音源信号を関連する概念的情報に従い処理する第２の規則に従い概念的音源信号を処理し、
複数の周波数及び複数の時間セグメント中の各々のオーディオ入力信号に応答して、拡散した方向性のない信号成分の方角と強度に寄与する情報を取得するステップと、
前記第１の規則及び前記第２の規則に基づき前記変換マトリックスを計算するステップであって、該計算には、（ａ）（ｉ）前記複数の周波数及び前記複数の時間セグメントの少なくとも１つにおけるオーディオ入力信号の共分散マトリックス、及び（ｉｉ）前記複数の周波数及び時間セグメントの少なくとも同じ１つにあるオーディオ入力信号と概念的理想出力信号の相互共分散マトリックスの推定と、（ｉ）方角信号成分の方角と強度、及び（ｉｉ）拡散した方向性のない信号成分が含まれることを特徴とするステップと、
出力信号を生成するために前記オーディオ入力信号を前記変換マトリックスに適用するステップと、
を具備することである。
【０００４】
前記変換マトリックス特性は、前記共分散マトリックス及び前記相互共分散マトリックスの関数として計算することができる。前記ダイナミック変動変換マトリックス［Ｍ］の要素は、下記のように、共分散マトリックスの逆演算を右から相互共分散マトリックスに作用させることにより取得することができる。
【０００５】
Ｍ＝Cov([IdealOutput],[Input]){Cov([Input],[Input])-1
複数の概念的音源信号は、相互に相関関係がないとみなすことができ、Ｍの計算においては概念的音源信号の共分散マトリックスの計算を内在し、概念的音源信号の共分散マトリックスを対角化するので、計算が単純になる。このデコーダーマトリックス（Ｍ）は、最急降下法で計算することができる。最急降下法は、前の時間区間のＭの先の推定値に基づき変換マトリックスの推定を繰り返し計算する勾配降下法により得ることができる。
【０００６】
本発明の特徴は、複数の（ＮＩ個の）オーディオ入力信号（Ｉｎｐｕｔ１（ｔ）．．．ＩｎｐｕｔＮＩ（ｔ））にダイナミック変動変換マトリックス（Ｍ）を適用して、第１のフォーマットから第２のフォーマットに再フォーマットする方法であって、前記複数のオーディオ入力信号は、エンコーディングマトリックス（Ｉ）に、それぞれ相互に無関係であると推定されそしてそれぞれ自分自身についての情報と関連する複数の概念的音源信号（Ｓｏｕｒｃｅ１（ｔ）．．．ＳｏｕｒｃｅＮＳ（ｔ））を適用することにより導き出されたものであると推定され、前記エンコーディングマトリックスは、各概念的音源信号を関連する概念的情報に従い処理する第１の規則に従い概念的音源信号を処理し、前記変換マトリックスは、それにより生成される複数の（ＮＯ個の）出力信号（Ｏｕｔｐｕｔ１（ｔ）．．．ＯｕｔｐｕｔＮＯ（ｔ））と、理想デコーディングマトリックス（Ｏ）に前記概念的音源信号を適用することにより導き出されたと推定される複数の（ＮＯ個の）概念的理想出力信号（ＩｄｅａｌＯｕｔ１（ｔ）．．．ＩｄｅａｌＯｕｔＮＯ（ｔ））との間の差を少なくするように制御され、前記デコーディングマトリックスは、各概念的音源信号を関連する概念的情報に従い処理する第２の規則に従い概念的音源信号を処理し、
複数の周波数及び複数の時間セグメント中の各々のオーディオ入力信号に応答して、１以上の方角信号成分の方角と強度と、拡散した方向性のない信号成分の強度とに寄与する情報を取得するステップと、
前記変換マトリックスＭを計算するステップであって、該計算には、（ａ）複数の周波数セグメント及び複数の時間セグメントと、（ｉ）前記方角信号成分の方角と強度及び（ｉｉ）前記拡散した方向性のない信号成分の強度とを結合するステップであって、結合結果が、音源信号［Ｓ×Ｓ＊］の共分散マトリックスの推定値を構成することを特徴とする、ステップと、（ｂ）ＩＳＳＩ＝Ｉ×（Ｓ×Ｓ＊）×Ｉ＊及びＯＳＳＩ＝Ｏ×（Ｓ×Ｓ＊）×Ｉ＊を計算するステップと、（ｃ）Ｍ＝（ＯＳＳＩ）×（ＩＳＳＩ）−１を計算するステップと、が含まれことを特徴とするステップと、
出力信号を生成するために前記オーディオ入力信号を前記変換マトリックスに適用するステップと、
を具備することである。
【０００７】
概念的な情報は、インデックスを具備することができ、特定のインデックスと関連付けた第１の規則に従う処理は、同じインデックスと関連付けた第２の規則に従う処理とペアを組むことができる。前記第１の規則と前記第２の規則は、第１のルックアップテーブル及び第２のルックアップテーブルとして実施することができ、テーブル入力は共通のインデックスによりペアを構成する。
【０００８】
前記概念的な情報は、概念的方角情報とすることができる。概念的方角情報は、概念的３次元方角情報とすることができる。概念的３次元情報は、概念的なリスニング位置に関する概念的な方位角と高さとの関係を具備することができる。概念的方角情報は、概念的２次元方角情報とすることができる。概念的２次元方角情報報は、概念的なリスニング位置に関する概念的な方位角との関係を具備することができる。
【０００９】
前記第１の規則は、入力パンニング規則とすることができ、前記第２の規則は、出力パンニング規則とすることができる。
【００１０】
複数の周波数セグメントと複数の時間セグメントの各々におけるオーディオ入力信号に応答して、１以上の方角信号成分の方角及び強度に寄与し、かつ、拡散した方向性のない信号成分の強度に寄与する情報を取得するステップは、前記複数の周波数セグメントと複数の時間セグメントの各々におけるオーディオ入力信号の共分散マトリックスを計算するステップを含む。前記１以上の方角信号成分の方角及び強度と、各周波数セグメント及び各時間セグメントの拡散した方向性のない信号成分の強度は、前記共分散マトリックスの計算結果に基づいて推定する。各周波数セグメント及び時間セグメントの拡散した方向性のない信号成分の推定は、前記共分散マトリックスの計算における最小固有値の値から形成することができる。前記変換マトリックスは、可変係数を有する可変マトリックス、又は、固定係数と可変出力を有する可変マトリックスとすることができ、該変換マトリックスは、該可変係数を変化させることにより又は可変出力を変化させることにより制御することができる。
【００１１】
前記デコーダーマトリックス（Ｍ）は、周波数に依存するデコーダーマトリックス（ＭＢ）の加重和、Ｍ＝ΣＢＷＢＭＢ、とすることができ、この周波数依存性は、帯域幅Ｂに関連する。
【００１２】
本発明の特徴には、上記方法を実行するために作られた装置が含まれる。
【００１３】
本発明の特徴には、さらに、上記方法を実行するためのコンピュータプログラムが含まれる。
【図面の簡単な説明】
【００１４】
【図１】本発明に係る変換器の特徴及びこのような変換器を識別する方法の説明に役立つ機能ブロック図である。
【図２】リスナーの周囲に分配した複数のオーディオ源の実施例である。
【図３】本発明に係る変換器の入力に関する１セットの規則を定義するために用いられるような「Ｉ」マトリックスエンコーダーの実施例である。
【図４】本発明に係る変換器の理想出力に関する１セットの規則を定義するために用いられるような「Ｏ」マトリックスエンコーダーの実施例である。
【図５】Ｉマトリックスは２出力をもち、Ｏマトリックスは５出力をもち、方位角についてプロットした、Ｉマトリックス及びＯマトリックスを並べた例である。
【図６】本発明の特徴に係るＭ変換器の実施例を図示した機能図である。
【図７】本発明の特徴を理解するのに役立つ方位角の関数としての音源出力を示す概念的な図解である。
【図８】本発明の特徴を理解するのに役立つ短時間フーリエ変換（ＳＴＦＴ）空間の概念を示す。
【図９】３期間スロットの長さの時間長と２つのビンの周波数高さを有する周波数・時間セグメントのＳＴＦＴ空間の例を示す。
【図１０】人の知覚帯域に類似するように、低周波数と高周波数の間で時間／周波数分解能が異なる複数の周波数・時間セグメントを示す。
【図１１】指向性信号成分、拡散信号成分、及び音源方位角方向の推定値を周波数・時間セグメントから概念的に抽出したものを示す。
【図１２】指向性信号成分、拡散信号成分、及び音源方位角方向の推定値を複数の周波数・時間セグメントから概念的に結合したものを示す。
【図１３】拡散信号成分の推定値を、指向性信号成分及び音源方位角方向とは別に、結合した図１２の変形例を示す。
【図１４】共分散マトリックスを対角化することにより推定を簡単化することを含む概念的音源信号の共分散マトリックスを推定するステップを具備するステップにより、Ｍマトリックスを計算する図１３の変形例を示す。
【図１５】図１４の実施例におけるステップを再構成した図１４の変形例を示す。
【図１６】本発明の特徴に係る複数帯域デコーダの実施例を示す機能ブロック図である。
【図１７】各出力処理帯域に近似ミックスマトリックスＭｂを定めることにより、大きな周波数帯域のセットを小さなセットに合併させる実施例を示す概念的表現である。
【図１８】本発明の特徴に係る複数帯域デコーダの分析帯域データを計算する概念的実施例を示す。
【発明を実施するための形態】
【００１５】
本発明は、変換処理又は変換装置（変換器）が複数のオーディオ入力信号を受け取り、第１のフォーマットから 第２のフォーマットに再フォーマットすることを特徴とする。表現を明確にするために、この処理及び装置はここでしばしば「変換器」と称される。この変換器はダイナミック変動変換マトリックス又はダイナミック変動変換マトリックス処理（例えば、線形マトリックス又は線形マトリックス処理）とすることができる。このようなマトリックス又はマトリックス処理は、当業者に「アクティブマトリックス」又は「適応マトリックス」のように称される。
【００１６】
しかし、原則として、本発明はアナログ領域又はディジタル領域（又はこの２つの組み合わせ）で実行することができ、本発明の実際的な実施の形態では、オーディオ信号は、データのブロック中の時間サンプルで表現され、ディジタル領域で処理がなされる。種々のオーディオ信号の各々は、アナログオーディオ信号から導き出すことのできる時間サンプル又はアナログオーディオ信号に変換すべき時間サンプルとすることができる。この種々の時間サンプル化された信号は、適切な形式に、例えば、線形パルス符号変調（ＰＣＭ）のような形式にエンコードすることができる。
【００１７】
第１のフォーマットの実施例は、それぞれ、左（Ｌ）、中央（Ｃ）、右（Ｒ）、左サラウンド、（ＬＳ）、及び右サラウンド（ＲＳ）のように、リスナーに対する方位角方向に概念的に関連付けた５つの分離したオーディオ信号又はオーディオ「チャンネル」をマトリックスエンコーディングした結果又は結果と推定される１対の立体音響オーディオ信号（しばしば、Ｌｔ（左トータル）チャンネル及びＲｔ（右トータル）チャンネルと称される）である。オーディオ信号は、概念的に空間的方角と関連させて、しばしば「チャンネル」と称される。このようなマトリックスエンコーディングは、例えば、当業者によく知られている、ＭＰマトリックスエンコーダー又はプロロジックＩＩマトリックスエンコーダーのような定義済みのパンニング規則に従い、５つの方角チャンネルを２つの方角チャンネルにマップする受動的マトリックスエンコーダーにより達成することができる。このようなエンコーダーの詳細は、本発明にとって重要ではなく必要でもない。
【００１８】
第２のフォーマットの実施例は、それぞれ、左（Ｌ）チャンネル、中央（Ｃ）チャンネル、右（Ｒ）チャンネル、左サラウンド（ＬＳ）チャンネル、及び右サラウンド（ＲＳ）チャンネルのように、リスナーに対する方位角方向に概念的に関連付けた５つの分離したオーディオ信号又はオーディオチャンネルのセットである。一般に、各チャンネルに別個に信号付与するならば、各チャンネルが関連づけられた方角からくるような印象を適切な位置にいるリスナーに与えるような方法で、そのような信号が再生されると仮定する。
【００１９】
ここに記載の例示的な変換器は、上述のような２つの入力チャンネルと上述のような５つの出力チャンネルを有するが、本発明に係る変換器は、２つではない入力チャンネルと５つではない出力チャンネルとを有することができる。入力チャンネルの数は出力チャンネルの数より多くても少なくてもよく、同じ数でもよい。本発明に係る変換器によるフォーマッティングにおける変換は、チャンネルの数に関係するだけでなくチャンネルの概念的な方角の変更にも関係する。
【００２０】
本発明の特徴に係る変換器を説明する１つの有用な方法は、図１に記載のような環境である。図１を参照して、ベクトル「Ｓ」で表すことができる複数の概念的なオーディオ音源信号（ＮＳ）（Ｓｏｕｒｃｅ１（ｔ）．．．ＳｏｕｒｃｅＮＳ（ｔ））は、ライン２で受け取られると仮定する。Ｓは以下のように定義することができる。
【式１】
【００２１】
ここで、Ｓｏｕｒｃｅ１（ｔ）からＳｏｕｒｃｅＮＳ（ｔ）までは、ＮＳ個の概念的なオーディオ音源信号又はオーディオ音源信号成分である。この概念的なオーディオ音源信号は、概念的であり（存在しているかもしれないし存在しないかもしれない、又は存在していたのかもしれない）、変換器マトリックスの計算において知られていない。しかし、ここに説明したように、概念的音源信号への寄与の推定は、本発明に有用である。
【００２２】
一定数の概念的音源信号があることを仮定することができる。例えば、（以下の実施例のような）１２の入力音源を仮定することができ、又は、（例えば、リスナーの周囲の水平面に方位角が１度ずつ増加するように離した）３６０の音源信号を仮定することができ、つまり、どのような数（ＮＳ）の音源であってもよいと理解される。各オーディオ音源信号が概念的なリスナーに対する方位角又は方位角及び高さのようなそれ自体についての情報であることに関連する。以下に説明する図２の実施例を参照のこと。
【００２３】
表現を明確にするために、本明細書全体にわたって、複数の信号（又は複数の信号成分を有する１つのベクトル）を伝達する線は単線で表す。実際のハードウェアでの実施の形態及び同様のソフトウェアでの実施の形態において、この線は、複数の物理的な線又は信号が多重化した形態で伝送される１以上の複数物理的な線で表示する。
【００２４】
図１の記載に戻って、概念的なオーディオ音源信号は２つの経路に適用される。図１において上側の経路で示した第１の経路において、概念的なオーディオ音源信号が「Ｉ」エンコーダー又は「Ｉ」エンコーディング処理（エンコーダー）４に適用される。さらに以下に説明するようにＩエンコーダー４は、第１の規則のセットに従い動作する、固定（時不変）エンコーディングマトリックス処理又は固定（時不変）マトリックスエンコーダー（例えば、線形ミキシング処理又は線形ミキサー）Ｉとすることができる。これらの規則により、各概念的音源信号に関連づけられた概念的な情報に従い、Ｉエンコーダーマトリックスは各概念的音源信号を処理する。例えば、方角が音源信号に関連付けられている場合、この音源信号は、この方角に関連づけられたパンニング規則又はパンニング係数に従いエンコードすることができる。規則の第１のセットの実施例は、いかに記載する入力パンニング規則である。Ｉエンコーダー４は、入力されたＮＳ個の音源信号に応答して、オーディオ入力信号（Ｉｎｐｕｔ１（ｔ）．．．ＩｎｐｕｔＮＩ（ｔ））として線６に沿って変換器に入力する複数の（ＮＩ個の）オーディオ信号を出力する。このＮＳ個のオーディオ入力信号は、ベクトル「Ｉｎｐｕｔ」で表すことができ、以下のように定義することができる。
【式２】
【００２５】
ここで、Ｉｎｐｕｔ１（ｔ）からＩｎｐｕｔＮＩ（ｔ）までは、ＮＩ個の入力信号又は入力信号成分である。
【００２６】
ＮＩ個のオーディオ入力信号は、変換処理又は変換器（変換器）Ｍに適用される。さらに以下に説明するように、変換器Ｍは、ダイナミック変動変換マトリックス又はダイナミック変動変換マトリックス処理により制御可能とすることができる。変換器の制御について図１には示されていない。変換器Ｍの制御について、まず図６に関連させて、以下に説明する。変換器Ｍは、ライン１０に、以下のように定義することのできるベクトル「Ｏｕｔｐｕｔ」で表される複数の（ＮＯの）出力信号（Ｏｕｔｐｕｔ１（ｔ）．．．ＯｕｔｐｕｔＮＯ（ｔ））を出力する。
【式３】
【００２７】
ここで、Ｏｕｔｐｕｔ１（ｔ）からＯｕｔｐｕｔＮＯ（ｔ）まではＮＯ個のオーディオ出力信号又はオーディオ出力信号成分である。
【００２８】
上述したように、概念的なオーディオ音源信号（Ｓｏｕｒｃｅ１（ｔ）．．．ＳｏｕｒｃｅＮＳ（ｔ））は２つの経路に適用される。図１に示す下側の経路である２番目の経路において、概念的なオーディオ音源 信号は、エンコーダー又はエンコーディング処理（理想デコーダー、Ｏ）に適用される。さらに以下に説明するように、理想デコーダーＯは、固定（時不変）デコーディングマトリックス処理又はマトリックスデコーダー（例えば、線形ミキシング処理又は線形ミキサー）Ｏとすることができ、第２の規則に従い動作する。この規則により、デコーダーマトリックスＯは、各概念的音源信号に関連づけられた概念的な情報に従い各概念的音源信号を処理することができる。例えば方角が音源信号に関連付けられている場合、音源信号を、その方角に関連づけられたパンニング係数に従いデコードすることができる。第２の規則の実施例は、以下に説明するような出力パンニング規則である。
【００２９】
理想デコーダーは、ライン１０に、以下のように定義することのできるベクトル「Ｉｄｅａｌ Ｏｕｔ」で表される複数の（ＮＯの）理想出力信号（ＩｄｅａｌＯｕｔ１（ｔ）．．．ＩｄｅａｌＯｕｔＮＯ（ｔ））を出力する。
【式４】
【００３０】
ここで、ＩｄｅａｌＯｕｔ１（ｔ）からＩｄｅａｌＯｕｔＮＯ（ｔ）まではＮＯ個の理想出力信号又は理想出力信号成分である。
【００３１】
リスナー２０の周囲に別々に置かれた複数の仮想的なサウンド音源がある、図２に示した状況にできるだけ近似した状況をリスナーに体験させるために、本発明の特徴に係る変換器Ｍを使うことを前提とすることは有用であろう。図２の実施例において、８個のサウンド音源があるが、当然のことながら、上述のように音源の数（ＮＳ）は任意である。各サウンド音源は、概念的なリスナーに対する方位角又は方位角及び高さのようなそれ自体についての情報であることに関連する。
【００３２】
原則として、本発明の特徴に従い動作する変換器Ｍは、入力がＮＩ個の個別の音源に過ぎないときは完璧な結果（理想出力に完全に一致する出力）を出すことができる。例えば、多くの信号状態において、各信号が異なる方向角にパンする２つの音源信号から導き出された２つの入力信号（ＮＩ＝２）の場合、変換器Ｍは、２つの音源を分離し適切な方向の出力チャンネルにパンすることができる。
【００３３】
上述のとおり、入力音源信号Ｓｏｕｒｃｅ１（ｔ），Ｓｏｕｒｃｅ２（ｔ），．．．ＳｏｕｒｃｅＮＳ（ｔ）は概念的なものであり未知のものである。そのかわり、知られているのは、マトリックスエンコーダーＩによりＮＳ音源信号から混合された入力信号（ＮＩ）の最小のセットである。これらの入力信号の生成は、既知の固定のミキシングマトリックス、Ｉ（ＮＩ×ＮＳマトリックス）を用いて行われることが前提となる。マトリックスＩは、必要に応じて、ミキシング処理に位相のずれを表現するために複素数を含むことができる。
【００３４】
変換器Ｍからの出力信号は、ラウドスピーカのセットを駆動し又は駆動を意図し、ここでラウドスピーカの数は既知であり、このラウドスピーカは、必ずしも、もとの音源信号の方角に対応する方角の位置に置く必要はない。変換器Ｍの目的は、入力信号を受け取り、ラウドスピーカに適用したとき、リスナーに、図２の実施例におけるシナリオにできるだけ近似するような体験を与えるような出力信号を生成することである。
【００３５】
元の音源信号、Ｓｏｕｒｃｅ１（ｔ），Ｓｏｕｒｃｅ２（ｔ），．．．ＳｏｕｒｃｅＮＳ（ｔ）が与えられたと仮定すると、「理想」ラウドスピーカ信号を生成する最適なミキシング処理があることを前提とすることができる。理想デコーダーマトリックスＯ（ＮＯ×ＮＳマトリックス）は、音源信号を混合しこのような理想スピーカへの出力を生成する。変換器Ｍからの出力信号と理想デコーダーマトリックスＯからの出力信号の両方は、１以上のリスナーに同じように向かいあって配置した同じセットのラウドスピーカに出力し又は出力を意図する。
【００３６】
変換器ＭはＮＩ個の入力信号を受ける。変換器Ｍは、線形マトリックスミキサーＭ（Ｍは時間可変）を用いてＮＯ個の出力信号を生成する。ＭはＮＯ×ＮＩマトリックスである。変換器の目的は、理想デコーダーの出力（しかし理想出力信号は知られていない）にできるだけ近似するような出力を生成することである。しかし、変換器はＯマトリックスとＩマトリックスのミキサーの係数を識別し（例えば、以下に説明する入出力パンニングテーブルから得ることができる）、この識別結果を用いてミキシング特性の決定に導く。もちろん、「理想デコーダー」は変換器の実用的な部分ではないが、以下に説明するように理想デコーダーの出力は変換器の効率と理論的に比較するために用いられるので図１に示した。
【００３７】
変換器Ｍからの入出力数（ＮＩ及びＮＯ）は変換器により定まってしまうが、入力音源の数は未知であり、１つの非常に有効な方法が、音源の数ＮＳが大きい（ＮＳ＝３６０とか）と「推定」することである。一般に、ＮＳを非常に少なく見積ると、変換器の精度が下がり、ＮＳの理想値が精度と効率との二律背反になってしまう可能性がある。ＮＳ＝３６０にすることは、読者に（ａ）音源の数は大きい方が望ましいこと、及び（ｂ）音源はリスナーの周りに水平面に３６０度の範囲となることを思い出させるのに役立つであろう。実際のシステムでは、ＮＳは（以下の実施例におけるＮＳ＝１２のように）もっと小さく選定し、又は、実施の形態によっては、固定の角度位置に量子化するのではなく（あたかもＮＳ＝∞であるかのように）音源オーディオを角度の連続関数として扱うことができる。
【００３８】
パンニングテーブルは入力パンニング規則及び出力パンニング規則を表すために採用することができる。このようなパンニングテーブルは、例えば、テーブルの行をサウンド音源の方角の角度に対応するよう構成することができる。同様に、パンニング規則を、具体的なサウンド音源の方位角を参照することなく、対となった項目を有する入力対出力の再フォーマット規則の形で定義することもできる。
【００３９】
両方とも同じ項目数を有し、第１番目が入力パンニングテーブルで第２番目が出力パンニングテーブルとする、１対のルックアップテーブルを定義することができる。例えば、以下のテーブル１は、テーブル中の１２の行が１２の入力シナリオ（この場合、サウンド再生システムの水平サラウンドサウンドについての１２の方位角に対応する）に対応する、マトリックスエンコーダーの入力パンニングテーブルを示す。以下のテーブル２は、同じ１２の入力シナリオについて所定の出力規則を示す出力パンニングテーブルを示す。入力パンニングテーブル及び出力パンニングテーブルは、入力パンニングテーブルの各行が出力パンニングテーブルの対応する行と対をなすように、同じ行数とすることができる。
【００４０】
ここでの実施例において、パンニングテーブルを参照するが、パンニング関数として特徴付けることも可能である。主たる違いは、パンニングテーブルでは、整数であるインデックスによりテーブルの行にたどりつくように用いられる一方、パンニング関数では、（方位角のような）連続的な入力により検索する。パンニング関数は無限大のパンニングテーブルに似たような動作を行い、ある種のパンニング値の計算アルゴリズム（例えば、マトリックスエンコードされた入力の場合のｓｉｎ（ ）関数及びｃｏｓ（ ） 関数）に依存する。
【００４１】
パンニングテーブルの各行はシナリオに対応させることができる。テーブル中の行数に等しいシナリオの総数は、ＮＳである。ここでの実施例では、ＮＳ＝１２である。一般に、下記テーブル３に示すように、入力パンニングテーブルと出力パンニングテーブルとを１つの入出力パンニングテーブルに結合することができる。
【００４２】
図３は、１２入力、２出力マトリックスエンコーダー３０のＩエンコーダー４の実施例を示す。このようなマトリックスエンコーダーは、ＲＳ（右サラウンド）チャンネル、Ｒ（右）チャンネル、Ｃ（中央）チャンネル、Ｌ（左）チャンネル、及びＬＳ（左サラウンド）チャンネルを有する、通常のの５入力・２出力（Ｌｔ及びＲｔ）エンコーダーの上位概念と考えることができる。公称到達角度値は、下記テーブル１に示したように、１２の入力チャンネル（シナリオ）のそれぞれに対応付けることができる。この実施例におけるゲインは、それに続く計算を簡単にするために、単純な角度のコサインに対応するよう選ばれる。他の値を用いることが可能である。特定のゲインを用いることが本発明の本質とはならない。
【表１】
【００４３】
従って、この実施例によれば、入力パンニングマトリックス、Ｉ、は２×１２マトリックスとなり、以下のように定義される。
【式５】
【００４４】
ここで
【式６】
【００４５】
これらのゲイン値は、マトリックスエンコーディングに一般的に受け入れられる規則に従う。
【００４６】
１）信号が９０°（左へ）パンするときは、左チャンネルに対するゲインは１．０であり、右チャンネルに対するゲインは０．０である。
【００４７】
２）信号が−９０°（右へ）パンするときは、左チャンネルに対するゲインは０．０であり、右チャンネルに対するゲインは１．０である。
【００４８】
３）信号が０°（中央へ）パンするときは、左チャンネルに対するゲインは１／√２であり、右チャンネルに対するゲインは１／√２である。
【００４９】
４）信号が１８０°（後へ）パンするときは、左右のチャンネルに対するゲインは逆位相である。
【００５０】
５）角度、θ、の如何にかかわらず、２つのゲイン値の２乗の和は１．０となる。すなわち、
【式７】
【００５１】
図４は、Ｏ理想デコーダー１２、すなわち、１２入力、５出力のマトリックスデコーダー４０の実施例を示す。出力は、リスナーに対して定めた名目的な方向にそれぞれ配置した５つのラウドスピーカを対象とする。名目的な到着値は、下記のテーブル２に示すように、１２の各入力チャンネル（シナリオ）に関連付けることができる。この実施例におけるゲイン値は、それに続く計算を簡単にするために、単純な角度のコサインに対応するよう選ばれる。他の値を用いることが可能である。特定のゲインを用いることが本発明の本質とはならない。
【表２】
【００５２】
テーブル２のパンニング係数は典型的なＯマトリックスを事実上定義する。すなわち、
【式８】
【００５３】
代替的に、定パワー出力パンニングマトリックスが式（１．４）により得られる。
【式９】
【００５４】
定パワー出力パンニングマトリックスは、Ｏマトリックスの各列のパンニングゲインの２乗和が１となる性質を持っている。入力エンコーディングマトリックス、Ｉ、は一般に所定のマトリックスである一方、出力ミキシングマトリックス、Ｏ、はある程度「手作り」とすることができ、パンニング規則に修正を加えることを許容する。有用性が認められるパンニングマトリックスは以下に示す通りであり、ＬとＬｓ及びＲとＲｓ間のパンニングが定パワーとなり、他のスピーカーの対は定強度パンニングでパンする。すなわち、
【式１０】
【００５５】
図５は、ＩマトリックスとＯマトリックスを並べたものであり、方位角に対してプロットしたものである（Ｉマトリックスは２行となっており、Ｏマトリックスは５２行となっていて、あわせて７つの曲線がプロットされている）。これらのプロットは、（リスナーの周囲に、１２点ではなく７２点の方位角を量子化した角度を用いることにより）上記マトリックスより高い分解能のパンニング曲線を実質的に示している。ここに示したパンニング出力曲線は、ＬとＬｓとの間及びＲとＲｓとの間の定パワーパンニングと他のスピーカー対との間の定強度パンニングとの混合に基づくものであることに留意しなければならない。
【００５６】
実際には、マトリックスエンコーダー（又は同様のデコーダー）のパンニングテーブルは、θ＝０で、ＬｔのゲインとＲｔのゲインが「フリップ」する、不連続点を有する。これらのサラウンドチャンネルに位相シフトを導入することによりこの位相フリップを克服することが可能であり、その結果として、テーブル２の最後の２行が実数ではなく虚数のゲイン値となる。
【００５７】
上述のとおり、入力パンニングテーブルと出力パンニングテーブルとを一緒にして入出力パンニングテーブルに結合することができる。このような、対となった項目をもち行番号でインデックス化したテーブルを、テーブル３として示す。
【表３】
【００５８】
入力パンニングテーブル中に配列したミキシング規則に従い入力信号を生成したと仮定することができる。また、入力信号の創作者は、入力パンニングテーブル中のシナリオに従い多数の元の音源信号を混合することによりこれらの入力信号を生成したと仮定することもできる。例えば、元の音源信号、Ｓｏｕｒｃｅ３及びＳｏｕｒｃｅ８、は、入力パンニングテーブル中のシナリオ３及びシナリオ８に従い混合される場合、入力信号は以下のようになる。
【式１１】
【００５９】
従って、各信号（ｉ＝１...ＮＩ）は、入力パンニングテーブル中の行３及び行８で定義されるゲイン係数、Ｉｉ，３及びＩｉ，８に従い元の音源信号、Ｓｏｕｒｃｅ３及びＳｏｕｒｃｅ８、を混合することにより作られる。
【００６０】
理想的には、変換器は可能な限り理想に近い出力を生成する。すなわち、
【式１２】
【００６１】
従って、各理想出力チャンネル（ｏ＝１...ＮＯ）は、出力パンニングテーブル中の行３及び行８で定義されるゲイン係数、Ｏｏ，３及びＯｏ，８に従い元の音源信号、Ｓｏｕｒｃｅ３及びＳｏｕｒｃｅ８、を混合することにより作られる。
【００６２】
入力信号（上記実施例では２つの信号）の生成で用いられる元の音源信号の実際の数にかかわらず、パンニングテーブル中の各シナリオに１つの元の音源信号がある（従って、元の音源信号の実際の数は、これらの音源信号のいくつかがゼロであったとしても、ＮＳに等しくなる）と仮定すると、計算は単純化できる。この場合式（１．６）と式（１．７）は以下のようになる。
【式１３】
【００６３】
図１を参照して、変換器Ｍの目的は、その出力とＯ理想デコーダーの出力との間の振幅２乗誤差を最小限にすることである。すなわち、
【式１４】
【００６４】
ここで、「＊」演算子は、マトリックス又はベクトルの共役転置を示す。
【００６５】
式（１．１０）を拡張して、
【式１５】
【００６６】
目的は、上記関数の傾き（Ｇｒａｄｉｅｎｔ）をゼロにすることにより式（１．９）を最小化することである。
【式１６】
【００６７】
以下のよく知られたマトリックスの固有の性質を用いて、
【式１７】
【００６８】
式（１．１２）は単純化することができ、
【式１８】
【００６９】
式（１．１５）をゼロにすることにより、
【式１９】
【００７０】
式（１．１６）の両側を転置すると、
【式２０】
【００７１】
式（１．１７）に示すように、マトリックス、Ｍ、の最適値は、Ｓ×Ｓ＊のみならず２つのマトリックス、Ｉ及びＯ、に依存する。上述のとおり、Ｉ及びＯは既知であり、従って、Ｍ変換器の最適化は、Ｓ×Ｓ＊、すなわち音源信号の共分散、を推定することにより行うことができる。音源共分散マトリックスは以下のように表すことができる。
【式２１】
【００７２】
原則的に、変換器は、新しいマトリックス、Ｍ、を各サンプル期間に計算できるように、サンプル期間毎に共分散Ｓ×Ｓ＊の新たな推定値を生成することができる。しかしながら、これは極わずかな誤差を生成し、Ｍ変換器を採用するシステムにより生成されたオーディオ中に好ましくない歪をもたらすことがある。このような歪を減少又は削除するために、平滑化をＭの時間更新に適用することができる。これにより、ゆっくり変化し頻度の少ないＳ×Ｓ＊の更新が行われる。
【００７３】
実際には、音源共分散マトリックスを時間窓において時間平均することにより組み立てることができる。
【式２２】
【００７４】
簡潔な標記を用いることができ、
【式２３】
【００７５】
理想的には、時間平均処理は、式（１．１９）のように時間的に前方及び後方を見るべきであるが、実際のシステムでは、入力信号のサンプルの将来部分にふれることはできないであろう。従って、実際のシステムでは、十分分析が可能な過去の入力サンプルを用いることに限定されるであろう。しかし、「先読み」の効果をもたらすために、システムの他の場所に時間遅れを加えることができる（図６の「時間遅れブロック」参照のこと）。
【００７６】
［ＩＳＳＩマトリックス及びＯＳＳＩマトリックス］
式（１．１９）には、Ｉ×Ｓ×Ｓ＊×Ｉ＊項とＯ×Ｓ×Ｓ＊×Ｉ＊項とが含まれる。簡単な命名法として、これらのマトリックスに関してＩＳＳＩ及びＯＳＳＩが用いられる。２チャンネル入力から５チャンネル出力変換器として、ＩＳＳＩは２×２マトリックスとなり、ＯＳＳＩは５×２マトリックスとなる。その結果として、Ｓベクトル（非常に大きくなることがある）のサイズにかかわらず、ＩＳＳＩマトリックス及びＯＳＳＩマトリックスは比較的小さい。本発明の特徴は、ＩＳＳＩマトリックス及びＯＳＳＩマトリックスがＳのサイズとは無関係であることだけでなく、Ｓについての直接的な知識が不要であることである。
【００７７】
ＩＳＳＩマトリックス及びＯＳＳＩマトリックスの意味の解釈はいろいろある。音源共分散（Ｓ×Ｓ＊）の推定を形成することができるなら、ＩＳＳＩ及びＯＳＳＩを以下のように考えることができる。
【式２４】
【００７８】
上式は、音源共分散、Ｓ×Ｓ＊、をＩＳＳＩ及びＯＳＳＩの計算のために使うことができることを明らかにしている。Ｍの最適値を求めるために実際の音源信号Ｓを知る必要はなく、音源共分散Ｓ×Ｓ＊のみを知ればよいことが本発明の特徴である。
【００７９】
代替的に、ＩＳＳＩ及びＯＳＳＩを以下のように解釈することができる。
【式２５】
【００８０】
従って、本発明のさらなる特徴によれば、
・ ＩＳＳＩは変換器の入力信号の共分散であり、音源信号Ｓを知らなくても決定することができる。
【００８１】
・ ＯＳＳＩマトリックスは、ＩｄｅａｌＯｕｔ信号とＩｎｐｕｔ信号との間の相互共分散である。ＩＳＳＩマトリックスとは異なり、（ａ）ＯＳＳＩマトリックスを計算するために音源信号Ｓ×Ｓ＊の共分散又は（ｂ）ＩｄｅａｌＯｕｔ信号の推定値（Ｉｎｐｕｔ信号は既知）、の何れか一方を知ることが必要である。
【００８２】
本発明の特徴によれば、Ｏｕｔｐｕｔ信号とＩｄｅａｌＯｕｔｐｕｔ信号との差を最小化するためにＭ変換器を制御する（最小２乗近似のような）近似手法を以下のような方法で達成することができる。例えば、
Ｉｎｐｕｔ信号（Ｉｎｐｕｔ１，Ｉｎｐｕｔ２，．．．，ＩｎｐｕｔＮＩ）をＭ変換器にもってゆき、その共分散（ＩＳＳＩマトリックス）を計算する。共分散データを検査することにより、入力データ（元の音源信号のパワー推定）を生成するために使うべき入力パンニングテーブルの行を推定する。そして、入力パンニングテーブル及び出力パンニングテーブルを用いてＩｄｅａｌＯｕｔｐｕｔ相互共分散への入力を推定する。次いで、入力共分散及び入力理想出力相互共分散を用いて、ミックスマトリックスＭを計算し、そしてこのマトリックスを入力信号に適用してＯｕｔｐｕｔ信号を生成する。以下にさらに説明するように、元の音源信号が相互に無相関であると見なされる場合、入力と理想出力の相互共分散の推定はパンニングテーブルを参照することなしに得ることができる。
【００８３】
入力パンニングテーブル及び出力パンニングテーブルを新しいＩＳＳＩテーブル及びＯＳＳＩテーブルで置き換えることができる。例えば元の入力／出力パンニングテーブルがテーブル３で示される場合は、ＩＳＳＩ／ＯＳＳＩルックアップテーブルはテーブル４のようになる。
【表４】
【００８４】
ＩＳＳＩ／ＯＳＳＩルックアップテーブルを使って、本発明によれば、Ｏｕｔｐｕｔ信号とＩｄｅａｌＯｕｔｐｕｔ信号との差を最小化するためにＭ変換器を制御する（最小２乗近似のような）近似手法を以下のような方法で達成することができる。例えば、
Ｉｎｐｕｔ信号（Ｉｎｐｕｔ１，Ｉｎｐｕｔ２，．．．，ＩｎｐｕｔＮＩ）を取り込み、これらの共分散（ＩＳＳＩマトリックス）を計算する。計算したＩｎｐｕｔ共分散をＩＳＳＩ／ＯＳＳＩルックアップテーブル中のＬｏｏｋｕｐＩＳＳＩ値とマッチングさせることにより、入力共分散データ（元の音源信号のパワー推定）を生成するために用いることのできるＩＳＳＩ／ＯＳＳＩルックアップテーブルの行を推定する。次いで、ＬｏｏｋｕｐＯＳＳＩ値を用いてＩｄｅａｌＯｕｔｐｕｔに対するＩｎｐｕｔ相互共分散を計算する。そして、前記Ｉｎｐｕｔ共分散と前記入出力相互共分散を用いて、ミックスマトリックスＭを計算し、次いで、このマトリックスを入力信号に適用し出力信号を生成する。
【００８５】
図６の機能図は、本発明の特徴に係るＭ変換器の実施例を示す。Ｍ変換器、すなわち第１の経路６２、すなわち信号経路、中のミキサー又はミキシング機能（ミキサー（Ｍ））６０、の中心的な作用は、任意的な時間遅れ６４を経由してＮＩ個の入力信号を受け取り、ＮＯ個の出力信号を出力する。Ｍミキサー６０は、ＮＯ×ＮＩマトリックスＭからなり、式（１．３）に従いＮＩ個の入力信号をＮＯ個の出力信号にマッピングする。Ｍミキサー６０の係数は、第２の経路又は「サイドチェーン」、すなわち３つの装置又は機能を有する制御経路出の処理により時間的に変動することができる。すなわち、
・ 入力信号は、装置又は機能６６（入力の分析及び推定Ｓ×Ｓ＊）により分析され、音源信号Ｓの共分散の推定を形成する。
【００８６】
・ 該音源共分散の推定値は、装置又は機能６８（ＩＳＳＩ及びＯＳＳＩの計算）においてＩＳＳＩマトリックス及びＯＳＳＩマトリックスの計算に用いられる。
【００８７】
・ 該ＩＳＳＩマトリックス及びＯＳＳＩマトリックスは装置又は機能７０（Ｍの計算）で用いられる。
【００８８】
サイドチェーンは、Ｓ×Ｓ＊の適当な推定値を見つけ出すことを試みることで、音源信号についての推測を行うことを試みる。この処理は、適当にサイズ分けしたデータについて統計分析を行うことができるように入力オーディオの窓処理されたブロックを取り込むことにより補助することができる。加えて、Ｓ×Ｓ＊，ＩＳＳＩ，ＯＳＳＩ及び／又はＭの計算において、この時間平滑化を適用することができる。ブロック処理及び平滑化操作の結果、ミキサーＭの係数の計算がオーディオデータに遅れをとくことがあり、従って、図６の任意的時間遅れ６４で示したよう該ミキサーの入力に時間遅れを持たせることは有益である。マトリックス、Ｍ、はＮＯ個の行とＮＩ個の列を有し、ＮＩ個の入力信号とＮＯ個の出力信号との間で線形マッピングを定義する。現在観測中の入力信号に基づいて適切なマッピングを行うために時間に関して連続的に修正するので、マトリックス、Ｍ、は「アクティブマトリックスデコーダー」と称されることもある。
【００８９】
［音源共分散Ｓ×Ｓ＊の詳細］
既に定められた複数の音源位置がリスニング環境を表現するために用いられる場合、音源位置間で幻覚の（パンされた）音像を作り出すことにより任意の方角からサウンドが到着するような印象をリスナーに与えることが理論的には可能となる。音源位置の数（ＮＳ）が十分大きい場合は、幻覚の音像パンニングの必要性が回避され、音源信号、Ｓｏｕｒｃｅ１，．．．，ＳｏｕｒｃｅＮＳ、が相互に非相関となると推定することができる。一般的に正しいとは言えないが、経験から、この単純化とは無関係にこのアルゴリズムがうまく行くことが示されている。本発明の特徴に係る変換器は、音源信号が相互に非相関であることを推定することにより計算される。
【００９０】
この推定の最も顕著な副作用は音源共分散マトリックスが対角化することである。すなわち、
【式２６】
【００９１】
その結果として、ＩＳＳＩマトリックス及びＯＳＳＩマトリックスの推定が、図２の例に示したようなリスナーの周りに位置する多様な方位角位置での音源信号、Ｓｏｕｒｃｅ１，．．．，ＳｏｕｒｃｅＮＳ、の相対的パワーの推定に単純化される。音源共分散マトリックス（ＮＳ×ＮＳ）は、従って、式（１．２４）で示したような音源パワー列ベクトル（ＮＳ×１）の観点から考えることができ、方位角位置の関数としての音源パワーを概念的に描くと、例えば、図７のように示すことができる。３０１におけるような強度分布のピークは、３０２で示された角度における高められた音源パワーを示す（図７）。
【００９２】
［到着方向の推定］
図６のブロック図に示すように、入力信号の分析には音源共分散（Ｓ×Ｓ＊）の推定が含まれる。上述のとおり、（Ｓ×Ｓ＊）の推定は、入力信号の共分散を用いてパワー対方位角の分布を決定することにより得ることができる。これは、いわゆる短時間フーリエ変換、すなわち、ＳＴＦＴを用いることにより行うことができる。ＳＴＦＴの概念は図８に示されており、ここで、垂直軸は（約２０ｋＨｚまでの）ｎ個の周波数帯域又は周波数ビンに分割した周波数であり、水平軸は時間区間に分割した時間である。任意の周波数・時間セグメントＦｉ（ｍ，ｎ）が示されている。スロットｍに続く時間スロットは、ｍ＋１及びｍ＋２のように示される。
【００９３】
時間依存フーリエ変換データは、積Δｆ×Δｔが所定の値（しかし、固定する必要はない）になるように、最も単純な場合は一定の値になるように、隣接する周波数帯域Δｆに分離し、時間間隔Δｔを変化させて積分することができる。各周波数帯域に関連づけられたデータから情報を抽出することにより、パワーレベルと推定した音源方位角を推測することができる。すべての周波数帯域にわたるそのような情報の集合体により、図７の実施例に示すような音源パワー対方位角の分布の相対的に完全な推定値を得ることができる。
【００９４】
図８，９，及び１０はＳＴＦＴ法を示す。種々の周波数帯域、Δｆ、が、時間区間、Δｔ、を変化させながら積分される。一般に、低い周波数では高い周波数よりも長い時間で積分される。ＳＴＦＴにより、各時間区間及び各周波数ビンで複素フーリエ係数のセットが得られる。
【００９５】
ＳＴＦＴにより、元の時間サンプルした入力信号のベクトルをサンプルしたフーリエ係数のセットに変換される。すなわち、
【式２７】
【００９６】
次いで、このような時間／周波数区間に対する入力信号の共分散を決定する。これらを、入力信号の一部からのみで決定するので、これらは、部分ＩＳＳＩ（ｍ，ｎ，Ａｍ，Ａｎ）と称される。
【式２８】
【００９７】
ここで、ｍは開始時間インデックスであり、Δｍはその継続時間である。同様に、ｎは開始周波数ビンであり、Δｎはその範囲である。図９はΔｍ＝３及びΔｎ＝２の場合を示す。
【００９８】
時間／周波数ブロックのグループ分けは多くの方法で行うことができる。これは決して本発明にとって本質的ではないが、以下の方法は有用であるとが分かっている。
【００９９】
・ 部分ＩＳＳＩ（ｍ，ｎ，Ａｍ，Ａｎ）の計算で結合されるフーリエ変換係数の数は、Δｍ×Δｎである。共分散の偏りのない妥当な推定値を計算するためにΔｍ×Δｎは少なくとも１０とすべきである。実際には、Δｍ×Δｎ＝３２のように、もっと大きなブロックを用いるのが有効であることが分かっている。
【０１００】
・ 低い周波数領域では、高い周波数で効率的に低い周波数で選択的になり、時間的不鮮明さが増すという犠牲を払うことになるが、Δｎ＝１及びΔｍ＝３２に設定することがしばしば好都合である。
【０１０１】
・ 高い周波数領域では、低い周波数で効率的に高い周波数で選択的になるが、時間分解能を改善するという利点があり、Δｎ＝３２及びΔｍ＝１に設定することがしばしば好都合である。この概念は図１０に示されており、人の近く帯域に近似する態様で低周波数及び高周波数間で時間／周波数分解能が変化する。
【０１０２】
部分ＩＳＳＩ共分散計算は、時間サンプルしたＩｎｐｕｔｉ（ｔ）信号を用いて行うことができる。しかしながら、ＳＴＦＴ係数を使うことで、部分ＩＳＳＩ計算から位相情報を抽出する能力を付加するだけでなく、異なる周波数帯域で部分ＩＳＳＩをより簡単に計算できるようになる。
【０１０３】
［マトリックスデコーダーの到着方向の分配］
各部分ＩＳＳＩマトリックスからの音源方位角の抽出について、２入力チャンネル（ＮＩ＝２）の場合について以下に例示する。入力信号は２つの信号成分からなると推定する。
【式２９】
【０１０４】
【式３０】
【０１０５】
ここで成分信号のＲＭＳパワーは以下で得られる。
【式３１】
【０１０６】
言い換えると、方向信号又は「指向」信号は、音源の方角θに基づく入力チャンネルにパンした音源信号（Ｓｉｇ（ｔ））からなり、拡散信号は、両方の入力チャンネルに等しく広がる非相関なノイズからなる。
【０１０７】
共分散マトリックスは、
【式３２】
【０１０８】
この共分散マトリックスは２つの固有値を持つ。すなわち、
【式３３】
【０１０９】
共分散マトリックスの固有値を調べることにより、σｎｏｉｓｅ、拡散信号成分、及びσｓｉｇ、指向信号成分、の強度がわかる。さらに、以下のように、適切な三角法を角θの抽出に用いることができる。
【式３４】
【０１１０】
このようにして、各部分ＩＳＳＩマトリックスを分析し、図１１に示すように、指向信号成分、拡散信号成分、及び音源方位角方向を抽出する。次いで、部分ＩＳＳＩの完全なセットからのデータの集合体を結合し、図１２に示すような１つの合成した分布を形成する。実際には、図１３に示すように、指向データは拡散分布データとは別にしておくことが好ましい。各部分ＩＳＳＩの計算により自らの指向分布データと拡散分布データを生み出し、これらを線形加算することにより最終分布ができるので、図１４の信号フローにおいて、抽出した信号の統計量から前記分布を形成するのは、線形演算である。さらに、この最終分布を用いて、線形演算処理を行うことにより、ＩＳＳＩ及びＯＳＳＩを作り出す。これらは線形演算なので、図１５に示すように、計算を簡単化するために再構成することができる。
【０１１１】
［指向及び拡散ＩＳＳＩマトリックス及び指向及び拡散ＯＳＳＩマトリックスの計算］
最終ＩＳＳＩ（ＦｉｎａｌＩＳＳＩ）及び最終ＯＳＳＩ（ＦｉｎａｌＯＳＳＩ）は以下のように計算する。
【式３５】
【０１１２】
ここで、部分ＩＳＳＩマトリックスの分析は、各成分で変数を計算するために用いられる。ＩＳＳＩマトリックス及びＯＳＳＩマトリックスの全指向成分は、
【式３６】
【０１１３】
ここで、ｐについての総和は、すべてのそれぞれの部分ＩＳＳＩマトリックス及び部分ＯＳＳＩマトリックスのすべてにわたる総和を意味する。
【０１１４】
各部分ＩＳＳＩマトリックスを分析することにより、信号パワー強度σｓｉｇ、拡散パワー強度σｎｏｉｓｅ、及び音源方位角θが得られる。各部分ＩＳＳＩマトリックスは以下のように書き直すことができる。
【式３７】
【０１１５】
ここで、上記式の第１項は拡散成分、そして第２項は指向成分である。以下の点に留意することが重要である。
【０１１６】
・ 拡散成分、ＩＳＳＩｄｉｆｆ．ｐ、はスカラーと単位マトリックスの積である。拡散成分は方位角θと無関係である。
【０１１７】
・ 指向成分、ＩＳＳＩｓｔｅｅｒｅｄ．ｐ、はスカラーと、方位角θにのみ依存する要素を持つマトリックスとの積である。後者は、直近の近傍方位角によりインデックスが付加された、あらかじめ計算済みのルックアップテーブル中に都合よく格納される。
【０１１８】
［指向（方向）成分］
指向項は以下のように記述される。
【式３８】
【０１１９】
ここで、現実施例では、
【式３９】
【０１２０】
及び
【式４０】
【０１２１】
Ｉｋ，θの例は、
【式４１】
【０１２２】
同様にθｋ，θの例は、
【式４２】
【０１２３】
［拡散成分］
全拡散ＩＳＳＩ（ＤｉｆｆｕｓｅＩＳＳＩ）及び全拡散ＯＳＳＩ（ＤｉｆｆｕｓｅＯＳＳＩ）は以下のように記述することができる。
【式４３】
【０１２４】
ここで、ＤｉｓｉｒｅｄＤｉｆｆｕｓｅＩＳＳＩ及びＤｉｓｉｒｅｄＤｉｆｆｕｓｅＯＳＳＩは、一様に拡がる指向信号のセットと同じ方法で拡散入力信号をデコードするために設計したあらかじめ計算済みのマトリックスである。実際には、ＤｉｓｉｒｅｄＤｉｆｆｕｓｅＩＳＳＩマトリックス及びＤｉｓｉｒｅｄＤｉｆｆｕｓｅＯＳＳＩマトリックスを、例えば、指向信号の主観的音量に応じての場合のような、主観的評価に基づいて修正することが好都合であることがわかっている。
【０１２５】
実施例として、ＤｉｓｉｒｅｄＤｉｆｆｕｓｅＩＳＳＩ及びＤｉｓｉｒｅｄＤｉｆｆｕｓｅＯＳＳＩの１つの選択肢は以下のようになる。
【式４４】
【０１２６】
［ミキシングマトリックス、Ｍ、の計算］
デコーダーにおける最終ステップはミックスマトリックスＭの係数を計算することである。理論的には、Ｍは、等式の最小２乗平均解法となる。すなわち、
【式４５】
【０１２７】
実際にはＩＳＳＩマトリックスは常に正定値である。従って、このことによりＭを効率的に計算するための２つの可能な方法が生み出される。
【０１２８】
・ 正定値なので、ＩＳＳＩは可逆である。従って、式、Ｍ＝ＩＳＳＩ×ＯＳＳＩ−１によりＭを計算することができる。
【０１２９】
・ ＩＳＳＩは正定値なので、勾配降下法を用いて、Ｍを繰り返し計算することは、極めて簡単である。勾配降下法は以下のようになる。
【式４６】
【０１３０】
ここで、δは、勾配降下アルゴリズムの収束率を調整するために選択する。δの値は、Ｍの更新を遅くするために意図的に小さく選ぶことができ、従って、ミックス係数中の時間変動を平滑化し、急激に係数を変化させた場合に結果として生じるひずみアーティファクトを回避することができる。
【０１３１】
［変換器の複数帯域版］
先の方法は、出力信号を作るために入力信号を処理するのに、一般に、１つのマトリックス、Ｍ、を用いることに言及している。これは、入力信号のすべての周波数成分が同じ方法で処理されるので広帯域マトリックスのように称することができる。しかし、複数帯域版は、異なる周波数帯域に対して、前記同じマトリックス演算とは別の演算をデコーダーが適用することを可能にする。
【０１３２】
一般に、すべての複数帯域技法は以下の重要な特徴を見せることがある。
【０１３３】
・ 入力信号は、複数の帯域、Ｐ、に分割することができ、指向情報を帯域中で推定又は計算することができる。数量Ｐは、指向情報を推定又は計算する帯域の数を意味する。
【０１３４】
・ 入力から出力への処理演算は、広帯域ミックス、Ｍ、ではなく、周波数について変化させ、それぞれ異なる周波数に適用する個々のミックス演算、Ｂ、の数に概ね等しくなる。Ｂは、出力信号を処理するときに用いられる周波数帯域に数を意味する。
【０１３５】
複数帯域デコーダーは、入力信号を多くの個々の帯域に分割し、図１６に示すような方法で各帯域に広帯域マトリックスデコーダーを用いることにより実行することができる。
【０１３６】
この実施例では、入力信号は３つの周波数帯域に分割されている。「分割」処理は、ラウドスピーカクロスオーバーに用いるときに、フィルター又はフィルタリング処理（クロスオーバー）１６０及び１６２を用いることにより実行することができる。クロスオーバー１６０は第１の入力信号Ｉｎｐｕｔ１を受け取り、クロスオーバー１６２は第２の入力信号Ｉｎｐｕｔ２を受け取る。２つの入力から導き出された低周波数信号、中周波数信号、及び高周波数信号は、３つの広帯域のマトリックスデコーダー又は、それぞれ、マトリックスデコーダー機能（広帯域マトリックスデコーダー）１６４、１６６、及び１６８に送られ、この３つのデコーダーからの出力は加算結合器又は加算結合機能（それぞれ、「プラス」記号で示されている）再加算されて、最終的な５つの出力チャンネル（Ｌ，Ｃ， Ｒ１Ｌｓ， Ｒｓ）となる。
【０１３７】
３つの広帯域のマトリックスデコーダー１６４、１６６、及び１６８の各々は、異なる周波数帯域で動作し、それぞれの周波数帯域内でパンしたオーディオの支配的な方向を独自に決定することができる。結果として、複数帯域デコーダーは、異なる周波数帯域で異なる方法でデコーディングすることでより良い結果を得ることができる。例えば、複数帯域デコーダーは、チューバやピッコロのマトリックスエンコードしたレコーディングを、２つの楽器を異なる出力チャンネルに指向させることで、デコードすることができ、これにより、これらの異なる周波数範囲の利点を生かすことができる。
【０１３８】
図１６の実施例において、３つの広帯域デコーダーは３つの周波数帯域で効果的に分析を行い、続いて、同じ３つの周波数帯域で出力オーディオの処理を行う。従ってこの実施例では、Ｐ＝Ｂ＝３となる。
【０１３９】
本発明の特徴は、Ｐ＞Ｂのときに動作する変換器の能力である。すなわち、指向情報の（Ｐ）のチャンネルが導出され（部分ＩＳＳＩの統計的抽出）、出力処理をより広い周波数帯域のより少ない数（Ｂ）に適用されるとき、本発明の特徴によれば、各出力処理帯域に対して適切なミックスマトリックスを定義することにより、より大きなセットを小さいセットに併合する方法を定める。この状況を図１７の実施例に示した。各出力処理帯域（Ｈｂ：ｂ＝１．．．Ｂ）は、図中のグループ化したブレースで示したような入力分析帯域のそれぞれのセットと重複している。
【０１４０】
Ｐ個の分析帯域での動作とそれに続くＢ個の処理帯域でのオーディオの処理のために、次に説明するようにＰ個の分析データセットを計算することにより、変換器の複数帯域版が始まる。これは図１６の上半分と比べることができる。分析データは、１つの分析帯域に対するデータのセットを表す。各帯域、ｂ＝１．．．Ｂ、について、分析データは以下のように結合される（式（１．３５）、（１．３６）、（１．４３）、及び（１．４６）と比較すること）。
【式４７】
【０１４１】
ここで、
【式４８】
【０１４２】
そして、
【式４９】
【０１４３】
最後に、
【式５０】
【０１４４】
Ｍマトリックス及びＦｉｎａｌＩＳＳｌマトリックスとＦｉｎａｌＯＳＳＩマトリックスが、各処理帯域（ｂ＝１．．．Ｂ）出計算され、部分ＩＳＳＩ分析データ（ＩＳＳＩＳ．ｐ，ＯＳＳＩＳ．ｐ，及びσｐ）がＢａｎｄＷｅｉｇｈｔｂ．ｐで重み付けがなされることを除いて、上記計算は、広帯域デコーダーの場合と同じである。重み付けファクターは、各出力処理帯域が重複分析帯域からの分析データだけに影響されるように用いられる。
【０１４５】
各出力処理帯域（ｂ）は、少数の入力分析帯域と重複することができる。従って、多くのＢａｎｄＷｅｉｇｈｔｂ，ｐ重み付けはゼロにすることができる。まばらなＢａｎｄＷｅｉｇｈｔｓデータは、式（１．５０）及び（１．５１）で示した加算演算で必要な項数を減らすために用いることができる。
【０１４６】
Ｍｂマトリクスを（ｂ＝１．．．Ｂについて）一度計算すると、出力信号は種々の相異なる技法で計算することができる。すなわち、
・ 入力信号はＢ個の帯域に分割することができ、各帯域（ｂ）をそれぞれのマトリックスＭｂで処理しＮＯ個の出力チャンネルを生成することができる。この場合Ｂ×ＮＯの中間信号が生成される。ＮＯ個の出力チャンネルのＢ個のセットは、次いで、相互に加算されてＮＯ個の広帯域出力信号となることができる。この技術は図１８に示したものと非常に似ている。
【０１４７】
入力信号は周波数領域で混合される。この場合、ミキシング係数は、周波数の平滑化関数として変化させることができる。例えば、中間ＦＦＴビンのミキシング係数は、ＦＦＴビンが処理帯域ｂ及びｂ＋１の中心周波数間にある周波数に対応すると仮定して、マトリックスＭｂ及びＭｂ＋１の係数間を補間することにより計算することができる。
【０１４８】
［実施形態］
本発明は、ハードウェア又はソフトウェア又は両方を組み合わせたもの（例えば、プログラマブルロジックアレー）で実施することができる。特に記載がない限り、本発明の一部として含まれているアルゴリズムは本質的に、特定のコンピュータや他の装置と関連付けられるものではない。特に、種々の汎用機をこの記載に従って書かれたプログラムと共に用いてもよい、あるいは、要求の方法を実行するために、より特化した装置（例えば、集積回路）を構成することが便利かもしれない。このように、本発明は、それぞれ少なくとも１つのプロセッサ、少なくとも１つの記憶システム（揮発性及び非揮発性メモリー及び／又は記憶素子を含む）、少なくとも１つの入力装置又は入力ポート、及び少なくとも１つの出力装置又は出力ポートを具備する、１つ以上のプログラマブルコンピュータシステム上で実行される１つ以上のコンピュータプログラムにより実現することができる。ここに記載した機能を遂行し、出力情報を出力させるために入力データにプログラムコードを適用する。この出力情報は、公知の方法で、１以上の出力装置に適用される。
【０１４９】
このようなプログラムの各々は、コンピュータシステムとの通信のために、必要とされるどんなコンピュータ言語（機械語、アセンブリ、又は、高級な、手続言語、論理型言語、又は、オブジェクト指向言語を含む）ででも実現することができる。いずれにせよ、言語はコンパイル言語であってもインタープリタ言語であってもよい。
【０１５０】
このようなコンピュータプログラムの各々は、ここに記載の手順を実行するために、コンピュータにより記憶媒体又は記憶装置を読み込んだとき、コンピュータを設定し動作させるための、汎用プログラマブルコンピュータ又は専用プログラマブルコンピュータにより、読み込み可能な記憶媒体又は記憶装置（例えば、半導体メモリー又は半導体媒体、又は磁気媒体又は光学媒体）に保存又はダウンロードすることができる。本発明のシステムはまた、コンピュータプログラムにより構成されるコンピュータにより読み込み可能な記憶媒体として実行することを考えることもできる。ここで、この記憶媒体は、コンピュータシステムを、ここに記載した機能を実行するために、具体的にあらかじめ定めた方法で動作させる。
【０１５１】
本発明の多くの実施の形態について記載した。しかしながら、本発明の精神と技術範囲を逸脱することなく多くの修正を加えることができることは明らかであろう。例えば、ここに記載したステップのいくつかの順序は独立であり、従って、記載とは異なる順序で実行することができる。
【特許請求の範囲】
【請求項１】
複数の（ＮＩ個の）オーディオ入力信号（Ｉｎｐｕｔ１（ｔ）．．．ＩｎｐｕｔＮＩ（ｔ））にダイナミック変動変換マトリックス（Ｍ）を適用して、第１のフォーマットから第２のフォーマットに再フォーマットする方法であって、前記複数のオーディオ入力信号は、エンコーディングマトリックス（Ｉ）に、それぞれ自分自身についての情報と関連する複数の概念的音源信号（Ｓｏｕｒｃｅ１（ｔ）．．．ＳｏｕｒｃｅＮＳ（ｔ））を適用することにより導き出されたものと推定され、前記エンコーディングマトリックスは、各概念的音源信号を関連する概念的情報に従い処理する第１の規則に従い概念的音源信号を処理し、前記変換マトリックスは、それにより生成される複数の（ＮＯ個の）出力信号（Ｏｕｔｐｕｔ１（ｔ）．．．ＯｕｔｐｕｔＮＯ（ｔ））と、理想デコーディングマトリックス（Ｏ）に前記概念的音源信号を適用することにより導き出されたと推定される複数の（ＮＯ個の）概念的理想出力信号（ＩｄｅａｌＯｕｔ１（ｔ）．．．ＩｄｅａｌＯｕｔＮＯ（ｔ））との間の差を少なくするように制御され、前記デコーディングマトリックスは、各概念的音源信号を関連する概念的情報に従い処理する第２の規則に従い概念的音源信号を処理し、
複数の周波数及び複数の時間セグメント中の各々のオーディオ入力信号に応答して、１以上の方向信号成分の方角と強度、及び拡散した方向性のない信号成分の強度に寄与する情報を取得するステップと、
前記第１の規則及び前記第２の規則に基づき前記変換マトリックスを計算するステップであって、該計算には、（ａ）（ｉ）前記複数の周波数及び前記複数の時間セグメントの少なくとも１つにおけるオーディオ入力信号の共分散マトリックス、及び（ｉｉ）前記複数の周波数及び時間セグメントの少なくとも同じ１つにあるオーディオ入力信号と概念的理想出力信号との相互共分散マトリックスを推定するステップと、（ｂ）前記複数の周波数及び時間セグメント中に、（ｉ）支配的な成分の前記方角と強度、及び（ｉｉ）拡散した方向性のない信号成分の前記強度を結合するステップが含まれることを特徴とするステップと、
出力信号を生成するために前記オーディオ入力信号を前記変換マトリックスに適用するステップと、
を具備することを特徴とする方法。
【請求項２】
複数の（ＮＩ個の）オーディオ入力信号（Ｉｎｐｕｔ１（ｔ）．．．ＩｎｐｕｔＮＩ（ｔ））にダイナミック変動変換マトリックス（Ｍ）を適用して、第１のフォーマットから第２のフォーマットに再フォーマットする方法であって、前記複数のオーディオ入力信号は、エンコーディングマトリックス（Ｉ）に、それぞれ相互に無関係であると推定されそしてそれぞれ自分自身についての情報と関連する複数の概念的音源信号（Ｓｏｕｒｃｅ１（ｔ）．．．ＳｏｕｒｃｅＮＳ（ｔ））を適用することにより導き出されたものと推定され、前記エンコーディングマトリックスは、各概念的音源信号を関連する概念的情報に従い処理する第１の規則に従い概念的音源信号を処理し、前記変換マトリックスは、それにより生成される複数の（ＮＯ個の）出力信号（Ｏｕｔｐｕｔ１（ｔ）．．．ＯｕｔｐｕｔＮＯ（ｔ））と、理想デコーディングマトリックス（Ｏ）に前記概念的音源信号を適用することにより導き出されたと推定される複数の（ＮＯ個の）概念的理想出力信号（ＩｄｅａｌＯｕｔ１（ｔ）．．．ＩｄｅａｌＯｕｔＮＯ（ｔ））との間の差を少なくするように制御され、前記デコーディングマトリックスは、各概念的音源信号を関連する概念的情報に従い処理する第２の規則に従い概念的音源信号を処理し、
複数の周波数及び複数の時間セグメント中の各々のオーディオ入力信号に応答して、１以上の方向信号成分の方角と強度、及び拡散した方向性のない信号成分の強度に寄与する情報を取得するステップと、
前記変換マトリックスＭを計算するステップであって、該計算には、（ａ）前記複数の周波数及び時間セグメント中に、（ｉ）支配的な成分の前記方角と強度、及び（ｉｉ）拡散した方向性のない信号成分の前記強度を結合するステップであって、該結合するステップにより得られたものが前記音源信号の共分散マトリックスを推定することを特徴とするステップと、（ｂ）ＩＳＳＩ＝Ｉ×［ｃｏｖ（Ｓｏｕｒｃｅ）］×Ｉ＊、ＯＳＳＩ＝０×［ｃｏｖ（Ｓｏｕｒｃｅ）］及び、（ｃ）Ｍ＝ＯＳＳＩ×ＩＳＳＩを計算するステップと、が含まれることを特徴とするステップと、
出力信号を生成するために前記オーディオ入力信号を前記変換マトリックスに適用するステップと、
を具備することを特徴とする方法。
【請求項３】
前記概念的情報はインデックスを具備し、特定のインデックスと関連付けた第１の規則に従う処理は、同じ前記インデックスと関連付けた第２の規則に従う処理とペアを組むことを特徴とする、請求項１又は請求項２に記載の方法。
【請求項４】
前記概念的情報は概念的方角情報であることを特徴とする、請求項３に記載の方法。
【請求項５】
前記概念的情報は概念的３次元方角情報であることを特徴とする、請求項４に記載の方法。
【請求項６】
前記概念的３次元方角情報は、概念的なリスニング位置に関する概念的な方位角と高さとの関係を具備することを特徴とする、請求項５に記載の方法。
【請求項７】
前記概念的方角情報は、概念的２次元方角情報であることを特徴とする請求項４に記載の方法。
【請求項８】
前記概念的２次元方角情報は、概念的なリスニング位置に関する概念的な方位角との関係を具備することを特徴とする請求項７に記載の方法。
【請求項９】
前記第１の規則は、入力パンニング規則であり、前記第２の規則は、出力パンニング規則であることを特徴とする請求項１乃至請求項８の何れか１項に記載の方法。
【請求項１０】
前記取得するステップは、前記複数の周波数セグメントと複数の時間セグメントの各々におけるオーディオ入力信号の共分散マトリックスを計算するステップを具備することを特徴とする請求項１又は請求項２に記載の方法。
【請求項１１】
前記１以上の支配的な信号成分の方角及び強度と、各周波数セグメント及び各時間セグメントの拡散した方向性のない信号成分の強度は、前記共分散マトリックスの計算結果に基づいて推定することを特徴とする請求項１０に記載の方法 。
【請求項１２】
各周波数セグメント及び各時間セグメントの拡散した方向性のない信号成分の推定は、前記共分散マトリックスにおける最小固有値の値から形成することを特徴とする請求項１１に記載の方法 。
【請求項１３】
前記変換マトリックスの特性を、前記共分散マトリックス及び相互共分散マトリックスの関数として計算することを特徴とする請求項１又は請求項１に従属する請求項３乃至請求項１２の何れか１項に記載の方法 。
【請求項１４】
下式に示すように、共分散マトリックスの逆演算を右から相互共分散マトリックスに作用させることにより、前記変換マトリックス（Ｍ）の要素を取得することを特徴とする請求項１３に記載の方法、
Ｍ=Cov([IdealOutput],[Input]){Cov([Input],[Input])}-1。
【請求項１５】
前記複数の概念的音源信号は、相互に相関関係がないとみなすことができ、これにより前記概念的音源信号の共分散マトリックスの計算がＭの計算に内在し、前記概念的音源信号の共分散マトリックスを対角化、従って、計算が単純になることを特徴とする請求項１４に記載の方法。
【請求項１６】
前記デコーダーマトリックス（Ｍ）を、最急降下法で計算することをことを特徴とする請求項１４又は請求項１５に記載の方法。
【請求項１７】
最急降下法による前記方法は、前の時間区間のＭの先の推定値に基づき変換マトリックスの推定を繰り返し計算する勾配降下法により計算することを特徴とする請求項１６に記載の方法。
【請求項１８】
前記変換マトリックスは、可変係数を有する可変マトリックス、又は、固定係数と可変出力を有する可変マトリックスであり、該変換マトリックスは、該可変係数を変化させることにより又は可変出力を変化させることにより制御されることを特徴とする請求項１乃至請求項１７の何れか１項に記載の方法。
【請求項１９】
前記第１の規則と前記第２の規則は、第１のルックアップテーブル及び第２のルックアップテーブルとして実施され、テーブル入力は共通のインデックスによりペアを構成することを特徴とする請求項３乃至請求項１８の何れか１項に記載の方法。
【請求項２０】
前記デコーダーマトリックス（Ｍ）は、周波数に依存するデコーダーマトリックス（ＭＢ）の加重和、すなわちＭ＝ΣＢＷＢＭＢ、であることを特徴とする請求項１乃至請求項１９の何れか１項に記載の方法。
【請求項２１】
請求項１乃至請求項２０の何れか１項に記載の方法を実行するために作られた装置。
【請求項２２】
請求項１乃至請求項２０の何れか１項に記載の方法を実行するために作られたコンピュータプログラム。
【請求項１】
複数の（ＮＩ個の）オーディオ入力信号（Ｉｎｐｕｔ１（ｔ）．．．ＩｎｐｕｔＮＩ（ｔ））にダイナミック変動変換マトリックス（Ｍ）を適用して、第１のフォーマットから第２のフォーマットに再フォーマットする方法であって、前記複数のオーディオ入力信号は、エンコーディングマトリックス（Ｉ）に、それぞれ自分自身についての情報と関連する複数の概念的音源信号（Ｓｏｕｒｃｅ１（ｔ）．．．ＳｏｕｒｃｅＮＳ（ｔ））を適用することにより導き出されたものと推定され、前記エンコーディングマトリックスは、各概念的音源信号を関連する概念的情報に従い処理する第１の規則に従い概念的音源信号を処理し、前記変換マトリックスは、それにより生成される複数の（ＮＯ個の）出力信号（Ｏｕｔｐｕｔ１（ｔ）．．．ＯｕｔｐｕｔＮＯ（ｔ））と、理想デコーディングマトリックス（Ｏ）に前記概念的音源信号を適用することにより導き出されたと推定される複数の（ＮＯ個の）概念的理想出力信号（ＩｄｅａｌＯｕｔ１（ｔ）．．．ＩｄｅａｌＯｕｔＮＯ（ｔ））との間の差を少なくするように制御され、前記デコーディングマトリックスは、各概念的音源信号を関連する概念的情報に従い処理する第２の規則に従い概念的音源信号を処理し、
複数の周波数及び複数の時間セグメント中の各々のオーディオ入力信号に応答して、１以上の方向信号成分の方角と強度、及び拡散した方向性のない信号成分の強度に寄与する情報を取得するステップと、
前記第１の規則及び前記第２の規則に基づき前記変換マトリックスを計算するステップであって、該計算には、（ａ）（ｉ）前記複数の周波数及び前記複数の時間セグメントの少なくとも１つにおけるオーディオ入力信号の共分散マトリックス、及び（ｉｉ）前記複数の周波数及び時間セグメントの少なくとも同じ１つにあるオーディオ入力信号と概念的理想出力信号との相互共分散マトリックスを推定するステップと、（ｂ）前記複数の周波数及び時間セグメント中に、（ｉ）支配的な成分の前記方角と強度、及び（ｉｉ）拡散した方向性のない信号成分の前記強度を結合するステップが含まれることを特徴とするステップと、
出力信号を生成するために前記オーディオ入力信号を前記変換マトリックスに適用するステップと、
を具備することを特徴とする方法。
【請求項２】
複数の（ＮＩ個の）オーディオ入力信号（Ｉｎｐｕｔ１（ｔ）．．．ＩｎｐｕｔＮＩ（ｔ））にダイナミック変動変換マトリックス（Ｍ）を適用して、第１のフォーマットから第２のフォーマットに再フォーマットする方法であって、前記複数のオーディオ入力信号は、エンコーディングマトリックス（Ｉ）に、それぞれ相互に無関係であると推定されそしてそれぞれ自分自身についての情報と関連する複数の概念的音源信号（Ｓｏｕｒｃｅ１（ｔ）．．．ＳｏｕｒｃｅＮＳ（ｔ））を適用することにより導き出されたものと推定され、前記エンコーディングマトリックスは、各概念的音源信号を関連する概念的情報に従い処理する第１の規則に従い概念的音源信号を処理し、前記変換マトリックスは、それにより生成される複数の（ＮＯ個の）出力信号（Ｏｕｔｐｕｔ１（ｔ）．．．ＯｕｔｐｕｔＮＯ（ｔ））と、理想デコーディングマトリックス（Ｏ）に前記概念的音源信号を適用することにより導き出されたと推定される複数の（ＮＯ個の）概念的理想出力信号（ＩｄｅａｌＯｕｔ１（ｔ）．．．ＩｄｅａｌＯｕｔＮＯ（ｔ））との間の差を少なくするように制御され、前記デコーディングマトリックスは、各概念的音源信号を関連する概念的情報に従い処理する第２の規則に従い概念的音源信号を処理し、
複数の周波数及び複数の時間セグメント中の各々のオーディオ入力信号に応答して、１以上の方向信号成分の方角と強度、及び拡散した方向性のない信号成分の強度に寄与する情報を取得するステップと、
前記変換マトリックスＭを計算するステップであって、該計算には、（ａ）前記複数の周波数及び時間セグメント中に、（ｉ）支配的な成分の前記方角と強度、及び（ｉｉ）拡散した方向性のない信号成分の前記強度を結合するステップであって、該結合するステップにより得られたものが前記音源信号の共分散マトリックスを推定することを特徴とするステップと、（ｂ）ＩＳＳＩ＝Ｉ×［ｃｏｖ（Ｓｏｕｒｃｅ）］×Ｉ＊、ＯＳＳＩ＝０×［ｃｏｖ（Ｓｏｕｒｃｅ）］及び、（ｃ）Ｍ＝ＯＳＳＩ×ＩＳＳＩを計算するステップと、が含まれることを特徴とするステップと、
出力信号を生成するために前記オーディオ入力信号を前記変換マトリックスに適用するステップと、
を具備することを特徴とする方法。
【請求項３】
前記概念的情報はインデックスを具備し、特定のインデックスと関連付けた第１の規則に従う処理は、同じ前記インデックスと関連付けた第２の規則に従う処理とペアを組むことを特徴とする、請求項１又は請求項２に記載の方法。
【請求項４】
前記概念的情報は概念的方角情報であることを特徴とする、請求項３に記載の方法。
【請求項５】
前記概念的情報は概念的３次元方角情報であることを特徴とする、請求項４に記載の方法。
【請求項６】
前記概念的３次元方角情報は、概念的なリスニング位置に関する概念的な方位角と高さとの関係を具備することを特徴とする、請求項５に記載の方法。
【請求項７】
前記概念的方角情報は、概念的２次元方角情報であることを特徴とする請求項４に記載の方法。
【請求項８】
前記概念的２次元方角情報は、概念的なリスニング位置に関する概念的な方位角との関係を具備することを特徴とする請求項７に記載の方法。
【請求項９】
前記第１の規則は、入力パンニング規則であり、前記第２の規則は、出力パンニング規則であることを特徴とする請求項１乃至請求項８の何れか１項に記載の方法。
【請求項１０】
前記取得するステップは、前記複数の周波数セグメントと複数の時間セグメントの各々におけるオーディオ入力信号の共分散マトリックスを計算するステップを具備することを特徴とする請求項１又は請求項２に記載の方法。
【請求項１１】
前記１以上の支配的な信号成分の方角及び強度と、各周波数セグメント及び各時間セグメントの拡散した方向性のない信号成分の強度は、前記共分散マトリックスの計算結果に基づいて推定することを特徴とする請求項１０に記載の方法 。
【請求項１２】
各周波数セグメント及び各時間セグメントの拡散した方向性のない信号成分の推定は、前記共分散マトリックスにおける最小固有値の値から形成することを特徴とする請求項１１に記載の方法 。
【請求項１３】
前記変換マトリックスの特性を、前記共分散マトリックス及び相互共分散マトリックスの関数として計算することを特徴とする請求項１又は請求項１に従属する請求項３乃至請求項１２の何れか１項に記載の方法 。
【請求項１４】
下式に示すように、共分散マトリックスの逆演算を右から相互共分散マトリックスに作用させることにより、前記変換マトリックス（Ｍ）の要素を取得することを特徴とする請求項１３に記載の方法、
Ｍ=Cov([IdealOutput],[Input]){Cov([Input],[Input])}-1。
【請求項１５】
前記複数の概念的音源信号は、相互に相関関係がないとみなすことができ、これにより前記概念的音源信号の共分散マトリックスの計算がＭの計算に内在し、前記概念的音源信号の共分散マトリックスを対角化、従って、計算が単純になることを特徴とする請求項１４に記載の方法。
【請求項１６】
前記デコーダーマトリックス（Ｍ）を、最急降下法で計算することをことを特徴とする請求項１４又は請求項１５に記載の方法。
【請求項１７】
最急降下法による前記方法は、前の時間区間のＭの先の推定値に基づき変換マトリックスの推定を繰り返し計算する勾配降下法により計算することを特徴とする請求項１６に記載の方法。
【請求項１８】
前記変換マトリックスは、可変係数を有する可変マトリックス、又は、固定係数と可変出力を有する可変マトリックスであり、該変換マトリックスは、該可変係数を変化させることにより又は可変出力を変化させることにより制御されることを特徴とする請求項１乃至請求項１７の何れか１項に記載の方法。
【請求項１９】
前記第１の規則と前記第２の規則は、第１のルックアップテーブル及び第２のルックアップテーブルとして実施され、テーブル入力は共通のインデックスによりペアを構成することを特徴とする請求項３乃至請求項１８の何れか１項に記載の方法。
【請求項２０】
前記デコーダーマトリックス（Ｍ）は、周波数に依存するデコーダーマトリックス（ＭＢ）の加重和、すなわちＭ＝ΣＢＷＢＭＢ、であることを特徴とする請求項１乃至請求項１９の何れか１項に記載の方法。
【請求項２１】
請求項１乃至請求項２０の何れか１項に記載の方法を実行するために作られた装置。
【請求項２２】
請求項１乃至請求項２０の何れか１項に記載の方法を実行するために作られたコンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公表番号】特表２０１２−５００５３２（Ｐ２０１２−５００５３２Ａ）
【公表日】平成２４年１月５日（２０１２．１．５）
【国際特許分類】
【出願番号】特願２０１１−５２３１６０（Ｐ２０１１−５２３１６０）
【出願日】平成２１年８月１３日（２００９．８．１３）
【国際出願番号】ＰＣＴ／ＵＳ２００９／０５３６６４
【国際公開番号】ＷＯ２０１０／０１９７５０
【国際公開日】平成２２年２月１８日（２０１０．２．１８）
【出願人】（５９１１０２６３７）ドルビー・ラボラトリーズ・ライセンシング・コーポレーション (111)
【氏名又は名称原語表記】ＤＯＬＢＹ ＬＡＢＯＲＡＴＯＲＩＥＳ ＬＩＣＥＮＳＩＮＧ ＣＯＲＰＯＲＡＴＩＯＮ
【Ｆターム（参考）】
【公表日】平成２４年１月５日（２０１２．１．５）
【国際特許分類】
【出願日】平成２１年８月１３日（２００９．８．１３）
【国際出願番号】ＰＣＴ／ＵＳ２００９／０５３６６４
【国際公開番号】ＷＯ２０１０／０１９７５０
【国際公開日】平成２２年２月１８日（２０１０．２．１８）
【出願人】（５９１１０２６３７）ドルビー・ラボラトリーズ・ライセンシング・コーポレーション (111)
【氏名又は名称原語表記】ＤＯＬＢＹ ＬＡＢＯＲＡＴＯＲＩＥＳ ＬＩＣＥＮＳＩＮＧ ＣＯＲＰＯＲＡＴＩＯＮ
【Ｆターム（参考）】
[ Back to top ]