マルチチャンネル符号化における頭部伝達関数をサポートするための装置
【課題】「サラウンド音響」効果を有したステレオダウンミックスを生成するために必要な頭部伝達関数に基づいたダウンミキシングをサポート可能な、先行技術のマルチチャンネル符号化技術は存在しない。
【解決手段】本発明は、先行技術の符号化装置にプリプロセッシングモジュールを、先行技術の復号化装置にデコンボリューションモジュールを追加することによって、頭部伝達関数に基づいたダウンミックスをサポートする簡潔な方法を提供する。プリプロセッシングモジュールは、頭部伝達係数を伴うマルチチャンネル信号を処理し、ステレオダウンミックス信号がサラウンド効果を実現するために必要な信号要素を備えるように、先行技術の符号化装置へ中間入力信号を形成する。デコンボリューションモジュールは、所望のマルチチャンネル信号を復元するために、先行技術の復号化装置からの中間出力信号から頭部伝達関数を取り除く。
【解決手段】本発明は、先行技術の符号化装置にプリプロセッシングモジュールを、先行技術の復号化装置にデコンボリューションモジュールを追加することによって、頭部伝達関数に基づいたダウンミックスをサポートする簡潔な方法を提供する。プリプロセッシングモジュールは、頭部伝達係数を伴うマルチチャンネル信号を処理し、ステレオダウンミックス信号がサラウンド効果を実現するために必要な信号要素を備えるように、先行技術の符号化装置へ中間入力信号を形成する。デコンボリューションモジュールは、所望のマルチチャンネル信号を復元するために、先行技術の復号化装置からの中間出力信号から頭部伝達関数を取り除く。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチチャンネル符号化技術において、「サラウンド音響」効果を有するステレオダウンミックスを生成する装置を提供する。この技術は、付加された情報でステレオダウンミックスを処理するだけで、ステレオ設備しか持っていないユーザに対して優れたサラウンド音響効果を配信し、（５．１チャンネルのような）マルチチャンネル設備を持ったユーザに対して真のサラウンド音響を回復することができる。本発明は、ホームシアターシステム、車載音響システム、携帯プレーヤ、携帯コミュニケーション装置及び電子ゲームシステム等の応用に適用可能である
【背景技術】
【０００２】
図１は、ステレオ信号の組に対する空間音響符号化処理（マルチチャンネル符号化）の基本的原理を説明する図である。符号化処理において、音響信号はフレームごとに処理される。左右のチャンネルであるＬ及びＲは、Ｍ＝（Ｌ＋Ｒ）／２Ｍを生成するために、（１００）においてダウンミックスされる。Ｌ、Ｒ及びＭは、バイノーラルキューの組を生成するために、バイノーラルキュー検出モジュール（１０２）によって処理される。あるいは、Ｌ及びＲのスペクトル表現の平均をとることによって、スペクトル変換後のＬ及びＲからＭを生成することができる。バイノーラルキューは、Ｌ、Ｒ及びＭの表現を比較することによって算出される。音響符号化装置（１０４）は、Ｍ信号を符号化して、圧縮されたビットストリームを生成する。この音響符号化装置の例としては、ＭＰ３やＡＡＣがある。バイノーラルキューは、完全な符号列を形成するために、（１０６）において、量子化され、圧縮されたＭに多重化される。
【０００３】
バイノーラルキューは、チャンネル間レベル／強度差（ＩＩＤ）及びチャンネル間コヒーレンス／相関性（ＩＣＣ）である。ＩＣＣキューが二つの信号間（この場合、左右のチャンネル）の類似性を測るのに対し、ＩＩＤキューは相対的な信号強度を測る。一般に、レベル／強度キューは、音のバランス／定位を制御するが、コヒーレンス／相関性キューは音の幅／拡散性を制御する。これらは共に聴き手が聴覚的情景を頭の中で構成するのを助ける空間パラメータである。最新の先行技術方法において、音響スペクトルは、通常複数の「パラメータバンド」からなるグループに区分されており、バイノーラルキューの組はそれぞれのパラメータバンドにおいて算出される。先行技術において、「バイノーラルキュー」と「空間パラメータ」という用語はしばしば同義的に用いられる。
【０００４】
復号化処理において、逆多重化装置（１０８）は、バイノーラルキュー情報から、Ｍのビットストリームを分離する。Ｍのビットストリームは、ダウンミックス信号Ｍを復元するために、音響復号化装置（１１０）によって復号化される。ダウンミックス信号と逆量子化バイノーラルキューは、ダウンミックス信号からステレオ信号を復元するために、マルチチャンネル合成モジュール（１１２）によって処理される。これらダウンミックス信号から元の２つの信号を復元する処理は、「チャンネル分離技術」を伴う。
【０００５】
上記の例は、符号化装置においてどのように二つの信号を１つのダウンミックス信号と空間パラメータの組で表すことができ、空間パラメータとダウンミックス信号を処理することによって、復号化装置においてどのようにダウンミックス信号を２つの信号に分離することができるのかを説明するにすぎない。その技術は、２チャンネルより多いオーディオ信号（例えば、５．１チャンネル音源を構成する６つのチャンネル）を、符号化処理時に２つのダウンミックスチャンネルに圧縮し、復号化処理においてそのチャンネルを復元することができる。図２の６チャンネルの例を参照すると、ここで重要となるのは、最初に、（２０３）においてステレオの組｛Ｌ0、Ｒ0｝を３つの信号に分離するために、上記バイノーラルキューに基づいたチャンネル分離方法の変形を適用する。次に、（２００）から（２０２）において、上記チャンネル分離方法を用いて３つの信号をさらに単一信号に分離する。図２において、Ｌf、Ｒf、Ｌs、Ｒs、Ｃ、及びＬＦＥは、それぞれ左前、右前、左横、右横、中央、及び低周波数を示す。しかしながら、チャンネル分離技術の詳細は、本発明の範囲外である。このようにチャンネル分離の原理をマルチチャンネルに拡張することによって、図１に示されるコーデックは、図３に示されるようなマルチチャンネル処理に一般化することができる。
【０００６】
先行技術において、（３００）におけるステレオダウンミックスモジュールは、ＩＴＵダウンミックスのみをサポートする。つまり、ダウンミックス信号は入力信号の一定の倍数の和から導出される。例えば、
【数１】
【０００７】
現在、先行技術には「任意のダウンミキシング」の形態を可能にするものもあるが、符号化処理は、パラメータバンドごとにダウンミックス後の信号を任意に増幅もしくは減衰することしかできない。増幅又は減衰ファクタはビットストリーム情報の一部となる。頭部伝達関数に基づいたような、より高度なダウンミキシングの形態をサポート可能な先行技術は存在していない。
【０００８】
頭部伝達関数は、特定の個人の左もしくは右耳のファーフィールド周波数応答を表すものであり、自由音場における特定の１点から外耳道における特定の１点にかけて測定される。上記バイノーラルの差異に基づいたキューは、受聴者の身体、頭部及び耳からの音響散乱処理によって主に引き起こされる。身体構造上の散乱と時間及びレベルの差異の全ての効果は、頭部インパルス応答（もしくはそのフーリエ変換、頭部伝達関数）フィルタ処理によって説明される。結果として、ステレオダウンミックスから優れた「サラウンド音響」を生成するために、異なる方向からのいくつかの頭部伝達関数によって現実の音の散乱過程をシミュレートできることが期待される。具体的には、より多くの頭部伝達関数が探索されればされるほど、豊かなサラウンドコンテンツを認識することができる。
【０００９】
頭部伝達関数に基づいたダウンミキシングは、以下のように、マルチチャンネル入力信号を加算する前に伝達関数を適用する。
【数２】
【００１０】
図４は、さまざまな記号の定義を示す図である。（４００）から（４０５）はスピーカを示し、（４０６）は受聴者を示す。（４０７）及び（４０８）はそれぞれ受聴者の左耳及び右耳を示している。ＨL0/Lfは、「ＬfチャンネルからＬ0耳への頭部伝達関数」等を表す。
【００１１】
本発明の目的は、先行技術であるマルチチャンネル符号化技術に頭部伝達関数に基づいたダウンミキシング方法のサポートを追加することである。
【非特許文献１】J. Herre, et al, "The Reference Model Architecture for MPEG Spatial Audio Coding", May 28-31, 2005, Audio Engineering Society 118th Convention, Paper No. 6447.
【非特許文献２】飯田一博他、「Spectral cueと両耳間Cueに基づいたParametric‐HRTF」、2-8-2、pp.461-462、2005年9月27日~29日、日本音響学会秋季研究発表会。
【発明の開示】
【発明が解決しようとする課題】
【００１２】
復号化装置において、追加的な後処理をおこなうことなく「サラウンド音響」効果を有するステレオ音響を配信するために、マルチチャンネル符号化技術は頭部伝達関数に基づいたダウンミキシング処理をサポートする必要がある。現在、マルチチャンネル符号化技術における先行技術では、それを達成することはできない。
【課題を解決するための手段】
【００１３】
本発明のプリプロセッシングモジュールを先行技術の符号化装置に、デコンボリューションモジュールを先行技術の復号化装置に追加することによって、頭部伝達係数に基づいたダウンミキシングをサポートする簡略化方法を提案する。
【００１４】
複数の中間入力信号に定数を乗じた後に加算することによって得られるステレオダウンミックス信号が「サラウンド音響」効果を実現するために必要な信号要素を備えるように、プリプロセッシングモジュールはマルチチャンネル信号を頭部伝達関数処理し、先行技術の符号化装置への中間入力信号を形成する。
【００１５】
中間出力信号は先行技術の復号化装置において再構築される。デコンボリューションモジュールは、所望の出力信号を回復するために、出力信号から頭部伝達関数を取り除く。
【００１６】
使用された頭部伝達関数に関する情報はビットストリーム内に移送される。
本発明は、マルチチャンネル音響符号化装置においてサラウンド音響効果のあるステレオ音響を実現するための装置であって、マルチチャンネル音響信号をステレオ信号に変換するダウンミックス装置と、前記ステレオ信号をステレオビットストリームに符号化するステレオ音響符号化装置と、再構築情報を生成するためにマルチチャンネル音響信号を分析するバイノーラルキュー装置とを備え、（ａ）前記マルチチャンネル音響信号に頭部伝達関数を適用し、プリプロセッシング装置において当該マルチチャンネル音響信号をプレミキシングして、プレミックスマルチチャンネル音響信号を形成し、（ｂ）前記プレミックスマルチチャンネル音響信号を前記マルチチャンネル音響符号化装置へ入力し、（ｃ）前記頭部伝達関数を付加された再構築情報に変換することを特徴とする。
【００１７】
本発明は、マルチチャンネル音響復号化装置においてサラウンド音響効果のあるステレオ音響を実現するための装置であって、ステレオビットストリームを復号しステレオ音響信号を形成するステレオ音響復号化装置と、前記ステレオ音響信号に再構築情報を適用して中間マルチチャンネル音響信号を再構築するマルチチャンネル再構築装置を備え、（ａ）付加された再構築情報の頭部伝達関数をデコンボリューション情報に変換し、（ｂ）前記デコンボリューション情報を中間マルチチャンネル音響信号に適用し、マルチチャンネル音響信号を復元することを特徴とする。
【００１８】
本発明の実施の形態のひとつにおいて、前記ダウンミックス装置が生成するステレオ信号が所望の頭部伝達関数処理された信号を出力するように、前記プリプロセッシング装置は前記頭部伝達関数処理された信号をミキシングする。
【００１９】
本発明の実施の形態のひとつにおいて、前記付加された再構築情報は、伝達関数係数や周波数応答特性のような、前記マルチチャンネル音響復号化装置が前記頭部伝達関数を再構築するためのデータを含む。
【００２０】
本発明の別の実施の形態において、一連の逆行列演算によって中間マルチチャンネル信号から前記頭部伝達関数を同時分離および削除を行うことにより、前記デコンボリューション情報は前記プリプロセッシング装置によるプレミキシング効果を相殺する。
【００２１】
本発明の別の実施の形態において、前記逆行列演算に対して安定度チェックが実行され、不安定な場合は、逆行列演算に関わる前記伝達関数は最小位相伝達関数によって近似値がとられる。
【００２２】
本発明の別の実施の形態において、前記付加された再構築情報は、前記マルチチャンネル音響信号の特性に基づいて、符号化セッションごともしくは符号化処理を通して動的に生成可能である。
【００２３】
なお、本発明は、上記記載の装置に含まれるそれぞれの手段をステップとして備える方法、コンピュータにそれらステップを実行させるプログラム、及びそのようなプログラムが格納される記録媒体としても実現することができる。
【発明の効果】
【００２４】
本発明は、頭部伝達関数に基づいたステレオダウンミックスの先行技術であるマルチチャンネルコーデックにサポートを追加することによって、コーデックを変化させることなく「サラウンド音響」効果を達成する。これは、コーデックに掛かる開発時間及び演算量を削減する。本発明はまた先行技術であるマルチチャンネルコーデックによって対象となるマルチチャンネル信号を復元するために頭部伝達関数を取り除いている。
【発明を実施するための最良の形態】
【００２５】
以下に示す実施の形態は、単に様々な進歩性の原理を説明しているにすぎない。ここに記載される詳細の変形は、当業者にとっては明らかであると理解される。よって、本発明は、特許請求項の範囲においてのみ限定されるのであって、以下の具体的、説明的な詳細に限定されるものではないとする。
【００２６】
本発明の実施の形態１として、図５は、どのように典型的な先行技術を頭部伝達関数に基づいた処理をサポートするように拡張することができるのかを説明する図である。図５を図３と比較すると、本発明は、プリプロセッシングモジュール（５０７）及びデコンボリューションモジュール（５０８）を取り入れている。
【００２７】
プリプロセッシングブロック（５０７）において、マルチチャンネル入力信号｛Ｌf、Ｒf、Ｃ、ＬＦＥ、Ｌs、Ｒs｝は、中間入力｛Ｌ´f、Ｒ´f、Ｃ´、ＬＦＥ´、Ｌ´s、Ｒ´s｝を生成するために、頭部伝達関数でもってプリプロセッシングが施される。ここで、
【数３】
【００２８】
上記中間入力をもって、以下の頭部伝達関数間の線対称な関係が成り立たなければならない。
【数４】
【００２９】
また、それは頭部伝達関数の数を１２から１０に削減する。この処理は以下のように簡潔に示すことができる。
【数５】
【００３０】
上記処理は、「サラウンド音響」効果のあるステレオダウンミックスの組を音響符号化装置（５０１）によって処理することを可能にする。
【００３１】
本発明の実施の形態２として、ビットストリームに詰め込まなければならない頭部伝達関数情報の量をさらに削減するため、図６はどのようにより多くの頭部伝達関数間の線対称な関係を探索することができるかを説明する図である。これらの仮定に従い、頭部伝達関数の数はさらに１０から６に削減することができる。
【数６】
【００３２】
ここで、
【数７】
【００３３】
頭部伝達関数フィルタ係数は頭部伝達関数情報とすることができる。それらは多重化装置（５０３）において量子化され、ビットストリームに詰め込まれる。
【００３４】
復号化装置において、音響復号化装置（５０５）は、サラウンド効果のあるステレオダウンミックス｛Ｌ0、Ｒ0｝を時間領域に戻すように復号する。ステレオダウンミックス信号はまた、中間出力｛Ｌ´f、Ｒ´f、Ｃ´、ＬＦＥ´、Ｌ´s、Ｒ´s｝を再構築するために、マルチチャンネル再構築モジュール（５０６）に入力される。元の入力信号を復元するために、本発明は以下のような方法で元の入力信号を導出するためのデコンボリューションモジュール（５０８）を加える。
【数８】
【００３５】
（５０８）において、対応する元の入力信号を導出するために、同様のデコンボリューション工程が残存する中間入力信号にも施される。
【数９】
【００３６】
上記工程は、（ＦＦＴのような）スペクトル領域もしくは時間領域において実行することができる。また、上記工程は（ＱＭＦ分析フィルタバンクの出力等の）ハイブリッド時間／周波数領域においても実行することができる。
【００３７】
数学的見地から、物理的に実現可能なシステムに対応する頭部伝達関数（多項式ｚ：Ｈ1（ｚ）〜Ｈ6（ｚ）の多項式形式での）全ての係数は常に実数であるため、頭部伝達関数に依存するデコンボリューション関数の１／（Ｈ12（ｚ）‐Ｈ22（ｚ））、１／Ｈ3（ｚ）、１／Ｈ4（ｚ）及び１／（Ｈ52（ｚ）‐Ｈ62（ｚ））のインパルス応答が収束し、安定である場合は、上記記載のデコンボリューション工程を実行することができる。
【００３８】
これら逆関数の安定度は、デコンボリューション関数の極、例えば、（Ｈ12（ｚ）‐Ｈ22（ｚ））、Ｈ3（ｚ）、Ｈ4（ｚ）、（Ｈ52（ｚ）‐Ｈ62（ｚ））の極、を確認することによって決定することができる。全ての極がｚ面上の単位円内に位置する場合、これらの関数は逆数にすることができる。しかしながら、この方法は、特に上位頭部伝達関数において、多項式根を解くには実用的でない。計算の演算量を削減するために、先行技術として広く報告されているいくつかの周知の安定判別法を、根を解かずに、直接多項式係数に適用することができる。例えば、２次多項式において、
【数１０】
【００３９】
広く採用されている実数の係数だけをもつ多項式のための低演算量安定判別法であるＪｕｒｙの安定判別法［３］によれば、安定度の条件は以下である。
【数１１】
【００４０】
本発明の第３の実施の形態として、逆関数の安定度条件をより簡単に満たすために、頭部伝達係数はさらに簡略化される。単方向の頭部伝達関数（例えばＨ2やＨ6）とそれに付随する頭部伝達関数（例えばＨ1やＨ5）との間のスペクトルの類似性は、（αによって）振幅が変調され、（τによって）時間がシフトした単方向の頭部伝達関数に対して付随する頭部伝達係数の近似をとることによって導き出すことができる。
【数１２】
【００４１】
ここで、α0とα1は、付随する頭部伝達関数によってとられる長い経路によって引き起こされる大きな減衰のために、１より小さい値となる。
【００４２】
この簡略化に伴い、（Ｈ12（ｚ）−Ｈ22（ｚ））及び（Ｈ52（ｚ）−Ｈ62（ｚ））は、以下のように表すことができる。
【数１３】
【００４３】
（１‐α02ｚ-2τ0）及び（１‐α12ｚ-2τ1）の根は、ｚ面上の単位円内にあり、よって、その安定度条件は満たされる。Ｈ1（ｚ）、Ｈ3（ｚ）、Ｈ4（ｚ）及びＨ5（ｚ）の根も単位円内にある場合は、全体の安定度は保証される。上記簡略化はまた、多重化装置（５０３）において量子化されビットストリームに詰め込まれなければならない頭部伝達関数情報を削減するという第２の利点をもたらす。
【００４４】
本発明の第４の実施の形態として、デコンボリューション関数が安定度テストを満たさない場合は、位相情報を犠牲にして、逆関数が最小位相関数に置換される。
【００４５】
ここでは説明のために、ｚ面上の単位円外の単一根をもった不安定な頭部伝達関数を考慮する。不安定な頭部伝達関数を安定させるためには、まず単一の非最小位相系の０値が、以下のように関数から除外される。
【数１４】
【００４６】
ここで、Ｑ1（ｚ）は安定（最小位相）多項式であり、λは|λ|＞１であるＱ（ｚ）の単一の非最小位相系の０値である。
【００４７】
次に、
【数１５】
で上記数式を乗算することによって、
【数１６】
を求める。
【００４８】
Ｑ2（ｚ）は安定関数である。なぜなら、非最小位相系の０値は単位円内に反映され、最小位相（ｚ=λからｚ=１／λへ）になるためである。Ｑ2（ｚ）はＱ（ｚ）と同一の振幅応答を有するが、位相応答は異なる。
【００４９】
本発明の実施の形態５として、本発明に必要なサイド情報をさらに削減するために、頭部伝達関数は、ピークフィルタ及びノッチフィルタの組み合わせとして表すことができる。それぞれのフィルタにおいて、中央周波数、信号レベル及びQファクタ等の特性が決められる［２］。
【数１７】
【００５０】
これらの特性情報は（それらの伝達関数係数の代わりに）頭部伝達関数情報としてパラメータで表示され量子化される。復号化装置において、中央周波数、信号レベル及びQファクタは逆量子化され、対象となるピーク及びノッチフィルタを合成するために用いられる。次にデコンボリューションのために（５０８）、フィルタは上記のように組み合わされ、対象となる頭部伝達関数を形成する。
【００５１】
本発明の実施の形態６として、頭部伝達関数情報を音響フレームごとに変える必要がない場合は、符号化装置は、（５０３）においてそれらをビットストリームの開始時だけに多重化するという選択肢を提供する。頭部伝達関数情報が信号特性に依存しており、最適な効果を達成するために音響フレームごとに変える必要がある場合は、符号化装置はまた多重化装置（５０３）において全ての音響フレームに情報を埋め込むという選択肢を提供する。
【図面の簡単な説明】
【００５２】
【図１】２つのチャンネルのマルチチャンネル音響符号化の原理を示す図である。
【図２】２つ以上のダウンミックスを個々の信号に分離するマルチステージチャンネル分離を示す図である。
【図３】マルチチャンネル音響符号化のマルチチャンネルへの拡張を示す図である。
【図４】１２の頭部伝達関数の定義を示す図である。
【図５】本発明によるプリプロセッシングモジュール及びデコンボレーションモジュールの追加を示す図である。
【図６】線対称によって頭部伝達関数の数を１２から６へ削減することを示す図である。
【技術分野】
【０００１】
本発明は、マルチチャンネル符号化技術において、「サラウンド音響」効果を有するステレオダウンミックスを生成する装置を提供する。この技術は、付加された情報でステレオダウンミックスを処理するだけで、ステレオ設備しか持っていないユーザに対して優れたサラウンド音響効果を配信し、（５．１チャンネルのような）マルチチャンネル設備を持ったユーザに対して真のサラウンド音響を回復することができる。本発明は、ホームシアターシステム、車載音響システム、携帯プレーヤ、携帯コミュニケーション装置及び電子ゲームシステム等の応用に適用可能である
【背景技術】
【０００２】
図１は、ステレオ信号の組に対する空間音響符号化処理（マルチチャンネル符号化）の基本的原理を説明する図である。符号化処理において、音響信号はフレームごとに処理される。左右のチャンネルであるＬ及びＲは、Ｍ＝（Ｌ＋Ｒ）／２Ｍを生成するために、（１００）においてダウンミックスされる。Ｌ、Ｒ及びＭは、バイノーラルキューの組を生成するために、バイノーラルキュー検出モジュール（１０２）によって処理される。あるいは、Ｌ及びＲのスペクトル表現の平均をとることによって、スペクトル変換後のＬ及びＲからＭを生成することができる。バイノーラルキューは、Ｌ、Ｒ及びＭの表現を比較することによって算出される。音響符号化装置（１０４）は、Ｍ信号を符号化して、圧縮されたビットストリームを生成する。この音響符号化装置の例としては、ＭＰ３やＡＡＣがある。バイノーラルキューは、完全な符号列を形成するために、（１０６）において、量子化され、圧縮されたＭに多重化される。
【０００３】
バイノーラルキューは、チャンネル間レベル／強度差（ＩＩＤ）及びチャンネル間コヒーレンス／相関性（ＩＣＣ）である。ＩＣＣキューが二つの信号間（この場合、左右のチャンネル）の類似性を測るのに対し、ＩＩＤキューは相対的な信号強度を測る。一般に、レベル／強度キューは、音のバランス／定位を制御するが、コヒーレンス／相関性キューは音の幅／拡散性を制御する。これらは共に聴き手が聴覚的情景を頭の中で構成するのを助ける空間パラメータである。最新の先行技術方法において、音響スペクトルは、通常複数の「パラメータバンド」からなるグループに区分されており、バイノーラルキューの組はそれぞれのパラメータバンドにおいて算出される。先行技術において、「バイノーラルキュー」と「空間パラメータ」という用語はしばしば同義的に用いられる。
【０００４】
復号化処理において、逆多重化装置（１０８）は、バイノーラルキュー情報から、Ｍのビットストリームを分離する。Ｍのビットストリームは、ダウンミックス信号Ｍを復元するために、音響復号化装置（１１０）によって復号化される。ダウンミックス信号と逆量子化バイノーラルキューは、ダウンミックス信号からステレオ信号を復元するために、マルチチャンネル合成モジュール（１１２）によって処理される。これらダウンミックス信号から元の２つの信号を復元する処理は、「チャンネル分離技術」を伴う。
【０００５】
上記の例は、符号化装置においてどのように二つの信号を１つのダウンミックス信号と空間パラメータの組で表すことができ、空間パラメータとダウンミックス信号を処理することによって、復号化装置においてどのようにダウンミックス信号を２つの信号に分離することができるのかを説明するにすぎない。その技術は、２チャンネルより多いオーディオ信号（例えば、５．１チャンネル音源を構成する６つのチャンネル）を、符号化処理時に２つのダウンミックスチャンネルに圧縮し、復号化処理においてそのチャンネルを復元することができる。図２の６チャンネルの例を参照すると、ここで重要となるのは、最初に、（２０３）においてステレオの組｛Ｌ0、Ｒ0｝を３つの信号に分離するために、上記バイノーラルキューに基づいたチャンネル分離方法の変形を適用する。次に、（２００）から（２０２）において、上記チャンネル分離方法を用いて３つの信号をさらに単一信号に分離する。図２において、Ｌf、Ｒf、Ｌs、Ｒs、Ｃ、及びＬＦＥは、それぞれ左前、右前、左横、右横、中央、及び低周波数を示す。しかしながら、チャンネル分離技術の詳細は、本発明の範囲外である。このようにチャンネル分離の原理をマルチチャンネルに拡張することによって、図１に示されるコーデックは、図３に示されるようなマルチチャンネル処理に一般化することができる。
【０００６】
先行技術において、（３００）におけるステレオダウンミックスモジュールは、ＩＴＵダウンミックスのみをサポートする。つまり、ダウンミックス信号は入力信号の一定の倍数の和から導出される。例えば、
【数１】
【０００７】
現在、先行技術には「任意のダウンミキシング」の形態を可能にするものもあるが、符号化処理は、パラメータバンドごとにダウンミックス後の信号を任意に増幅もしくは減衰することしかできない。増幅又は減衰ファクタはビットストリーム情報の一部となる。頭部伝達関数に基づいたような、より高度なダウンミキシングの形態をサポート可能な先行技術は存在していない。
【０００８】
頭部伝達関数は、特定の個人の左もしくは右耳のファーフィールド周波数応答を表すものであり、自由音場における特定の１点から外耳道における特定の１点にかけて測定される。上記バイノーラルの差異に基づいたキューは、受聴者の身体、頭部及び耳からの音響散乱処理によって主に引き起こされる。身体構造上の散乱と時間及びレベルの差異の全ての効果は、頭部インパルス応答（もしくはそのフーリエ変換、頭部伝達関数）フィルタ処理によって説明される。結果として、ステレオダウンミックスから優れた「サラウンド音響」を生成するために、異なる方向からのいくつかの頭部伝達関数によって現実の音の散乱過程をシミュレートできることが期待される。具体的には、より多くの頭部伝達関数が探索されればされるほど、豊かなサラウンドコンテンツを認識することができる。
【０００９】
頭部伝達関数に基づいたダウンミキシングは、以下のように、マルチチャンネル入力信号を加算する前に伝達関数を適用する。
【数２】
【００１０】
図４は、さまざまな記号の定義を示す図である。（４００）から（４０５）はスピーカを示し、（４０６）は受聴者を示す。（４０７）及び（４０８）はそれぞれ受聴者の左耳及び右耳を示している。ＨL0/Lfは、「ＬfチャンネルからＬ0耳への頭部伝達関数」等を表す。
【００１１】
本発明の目的は、先行技術であるマルチチャンネル符号化技術に頭部伝達関数に基づいたダウンミキシング方法のサポートを追加することである。
【非特許文献１】J. Herre, et al, "The Reference Model Architecture for MPEG Spatial Audio Coding", May 28-31, 2005, Audio Engineering Society 118th Convention, Paper No. 6447.
【非特許文献２】飯田一博他、「Spectral cueと両耳間Cueに基づいたParametric‐HRTF」、2-8-2、pp.461-462、2005年9月27日~29日、日本音響学会秋季研究発表会。
【発明の開示】
【発明が解決しようとする課題】
【００１２】
復号化装置において、追加的な後処理をおこなうことなく「サラウンド音響」効果を有するステレオ音響を配信するために、マルチチャンネル符号化技術は頭部伝達関数に基づいたダウンミキシング処理をサポートする必要がある。現在、マルチチャンネル符号化技術における先行技術では、それを達成することはできない。
【課題を解決するための手段】
【００１３】
本発明のプリプロセッシングモジュールを先行技術の符号化装置に、デコンボリューションモジュールを先行技術の復号化装置に追加することによって、頭部伝達係数に基づいたダウンミキシングをサポートする簡略化方法を提案する。
【００１４】
複数の中間入力信号に定数を乗じた後に加算することによって得られるステレオダウンミックス信号が「サラウンド音響」効果を実現するために必要な信号要素を備えるように、プリプロセッシングモジュールはマルチチャンネル信号を頭部伝達関数処理し、先行技術の符号化装置への中間入力信号を形成する。
【００１５】
中間出力信号は先行技術の復号化装置において再構築される。デコンボリューションモジュールは、所望の出力信号を回復するために、出力信号から頭部伝達関数を取り除く。
【００１６】
使用された頭部伝達関数に関する情報はビットストリーム内に移送される。
本発明は、マルチチャンネル音響符号化装置においてサラウンド音響効果のあるステレオ音響を実現するための装置であって、マルチチャンネル音響信号をステレオ信号に変換するダウンミックス装置と、前記ステレオ信号をステレオビットストリームに符号化するステレオ音響符号化装置と、再構築情報を生成するためにマルチチャンネル音響信号を分析するバイノーラルキュー装置とを備え、（ａ）前記マルチチャンネル音響信号に頭部伝達関数を適用し、プリプロセッシング装置において当該マルチチャンネル音響信号をプレミキシングして、プレミックスマルチチャンネル音響信号を形成し、（ｂ）前記プレミックスマルチチャンネル音響信号を前記マルチチャンネル音響符号化装置へ入力し、（ｃ）前記頭部伝達関数を付加された再構築情報に変換することを特徴とする。
【００１７】
本発明は、マルチチャンネル音響復号化装置においてサラウンド音響効果のあるステレオ音響を実現するための装置であって、ステレオビットストリームを復号しステレオ音響信号を形成するステレオ音響復号化装置と、前記ステレオ音響信号に再構築情報を適用して中間マルチチャンネル音響信号を再構築するマルチチャンネル再構築装置を備え、（ａ）付加された再構築情報の頭部伝達関数をデコンボリューション情報に変換し、（ｂ）前記デコンボリューション情報を中間マルチチャンネル音響信号に適用し、マルチチャンネル音響信号を復元することを特徴とする。
【００１８】
本発明の実施の形態のひとつにおいて、前記ダウンミックス装置が生成するステレオ信号が所望の頭部伝達関数処理された信号を出力するように、前記プリプロセッシング装置は前記頭部伝達関数処理された信号をミキシングする。
【００１９】
本発明の実施の形態のひとつにおいて、前記付加された再構築情報は、伝達関数係数や周波数応答特性のような、前記マルチチャンネル音響復号化装置が前記頭部伝達関数を再構築するためのデータを含む。
【００２０】
本発明の別の実施の形態において、一連の逆行列演算によって中間マルチチャンネル信号から前記頭部伝達関数を同時分離および削除を行うことにより、前記デコンボリューション情報は前記プリプロセッシング装置によるプレミキシング効果を相殺する。
【００２１】
本発明の別の実施の形態において、前記逆行列演算に対して安定度チェックが実行され、不安定な場合は、逆行列演算に関わる前記伝達関数は最小位相伝達関数によって近似値がとられる。
【００２２】
本発明の別の実施の形態において、前記付加された再構築情報は、前記マルチチャンネル音響信号の特性に基づいて、符号化セッションごともしくは符号化処理を通して動的に生成可能である。
【００２３】
なお、本発明は、上記記載の装置に含まれるそれぞれの手段をステップとして備える方法、コンピュータにそれらステップを実行させるプログラム、及びそのようなプログラムが格納される記録媒体としても実現することができる。
【発明の効果】
【００２４】
本発明は、頭部伝達関数に基づいたステレオダウンミックスの先行技術であるマルチチャンネルコーデックにサポートを追加することによって、コーデックを変化させることなく「サラウンド音響」効果を達成する。これは、コーデックに掛かる開発時間及び演算量を削減する。本発明はまた先行技術であるマルチチャンネルコーデックによって対象となるマルチチャンネル信号を復元するために頭部伝達関数を取り除いている。
【発明を実施するための最良の形態】
【００２５】
以下に示す実施の形態は、単に様々な進歩性の原理を説明しているにすぎない。ここに記載される詳細の変形は、当業者にとっては明らかであると理解される。よって、本発明は、特許請求項の範囲においてのみ限定されるのであって、以下の具体的、説明的な詳細に限定されるものではないとする。
【００２６】
本発明の実施の形態１として、図５は、どのように典型的な先行技術を頭部伝達関数に基づいた処理をサポートするように拡張することができるのかを説明する図である。図５を図３と比較すると、本発明は、プリプロセッシングモジュール（５０７）及びデコンボリューションモジュール（５０８）を取り入れている。
【００２７】
プリプロセッシングブロック（５０７）において、マルチチャンネル入力信号｛Ｌf、Ｒf、Ｃ、ＬＦＥ、Ｌs、Ｒs｝は、中間入力｛Ｌ´f、Ｒ´f、Ｃ´、ＬＦＥ´、Ｌ´s、Ｒ´s｝を生成するために、頭部伝達関数でもってプリプロセッシングが施される。ここで、
【数３】
【００２８】
上記中間入力をもって、以下の頭部伝達関数間の線対称な関係が成り立たなければならない。
【数４】
【００２９】
また、それは頭部伝達関数の数を１２から１０に削減する。この処理は以下のように簡潔に示すことができる。
【数５】
【００３０】
上記処理は、「サラウンド音響」効果のあるステレオダウンミックスの組を音響符号化装置（５０１）によって処理することを可能にする。
【００３１】
本発明の実施の形態２として、ビットストリームに詰め込まなければならない頭部伝達関数情報の量をさらに削減するため、図６はどのようにより多くの頭部伝達関数間の線対称な関係を探索することができるかを説明する図である。これらの仮定に従い、頭部伝達関数の数はさらに１０から６に削減することができる。
【数６】
【００３２】
ここで、
【数７】
【００３３】
頭部伝達関数フィルタ係数は頭部伝達関数情報とすることができる。それらは多重化装置（５０３）において量子化され、ビットストリームに詰め込まれる。
【００３４】
復号化装置において、音響復号化装置（５０５）は、サラウンド効果のあるステレオダウンミックス｛Ｌ0、Ｒ0｝を時間領域に戻すように復号する。ステレオダウンミックス信号はまた、中間出力｛Ｌ´f、Ｒ´f、Ｃ´、ＬＦＥ´、Ｌ´s、Ｒ´s｝を再構築するために、マルチチャンネル再構築モジュール（５０６）に入力される。元の入力信号を復元するために、本発明は以下のような方法で元の入力信号を導出するためのデコンボリューションモジュール（５０８）を加える。
【数８】
【００３５】
（５０８）において、対応する元の入力信号を導出するために、同様のデコンボリューション工程が残存する中間入力信号にも施される。
【数９】
【００３６】
上記工程は、（ＦＦＴのような）スペクトル領域もしくは時間領域において実行することができる。また、上記工程は（ＱＭＦ分析フィルタバンクの出力等の）ハイブリッド時間／周波数領域においても実行することができる。
【００３７】
数学的見地から、物理的に実現可能なシステムに対応する頭部伝達関数（多項式ｚ：Ｈ1（ｚ）〜Ｈ6（ｚ）の多項式形式での）全ての係数は常に実数であるため、頭部伝達関数に依存するデコンボリューション関数の１／（Ｈ12（ｚ）‐Ｈ22（ｚ））、１／Ｈ3（ｚ）、１／Ｈ4（ｚ）及び１／（Ｈ52（ｚ）‐Ｈ62（ｚ））のインパルス応答が収束し、安定である場合は、上記記載のデコンボリューション工程を実行することができる。
【００３８】
これら逆関数の安定度は、デコンボリューション関数の極、例えば、（Ｈ12（ｚ）‐Ｈ22（ｚ））、Ｈ3（ｚ）、Ｈ4（ｚ）、（Ｈ52（ｚ）‐Ｈ62（ｚ））の極、を確認することによって決定することができる。全ての極がｚ面上の単位円内に位置する場合、これらの関数は逆数にすることができる。しかしながら、この方法は、特に上位頭部伝達関数において、多項式根を解くには実用的でない。計算の演算量を削減するために、先行技術として広く報告されているいくつかの周知の安定判別法を、根を解かずに、直接多項式係数に適用することができる。例えば、２次多項式において、
【数１０】
【００３９】
広く採用されている実数の係数だけをもつ多項式のための低演算量安定判別法であるＪｕｒｙの安定判別法［３］によれば、安定度の条件は以下である。
【数１１】
【００４０】
本発明の第３の実施の形態として、逆関数の安定度条件をより簡単に満たすために、頭部伝達係数はさらに簡略化される。単方向の頭部伝達関数（例えばＨ2やＨ6）とそれに付随する頭部伝達関数（例えばＨ1やＨ5）との間のスペクトルの類似性は、（αによって）振幅が変調され、（τによって）時間がシフトした単方向の頭部伝達関数に対して付随する頭部伝達係数の近似をとることによって導き出すことができる。
【数１２】
【００４１】
ここで、α0とα1は、付随する頭部伝達関数によってとられる長い経路によって引き起こされる大きな減衰のために、１より小さい値となる。
【００４２】
この簡略化に伴い、（Ｈ12（ｚ）−Ｈ22（ｚ））及び（Ｈ52（ｚ）−Ｈ62（ｚ））は、以下のように表すことができる。
【数１３】
【００４３】
（１‐α02ｚ-2τ0）及び（１‐α12ｚ-2τ1）の根は、ｚ面上の単位円内にあり、よって、その安定度条件は満たされる。Ｈ1（ｚ）、Ｈ3（ｚ）、Ｈ4（ｚ）及びＨ5（ｚ）の根も単位円内にある場合は、全体の安定度は保証される。上記簡略化はまた、多重化装置（５０３）において量子化されビットストリームに詰め込まれなければならない頭部伝達関数情報を削減するという第２の利点をもたらす。
【００４４】
本発明の第４の実施の形態として、デコンボリューション関数が安定度テストを満たさない場合は、位相情報を犠牲にして、逆関数が最小位相関数に置換される。
【００４５】
ここでは説明のために、ｚ面上の単位円外の単一根をもった不安定な頭部伝達関数を考慮する。不安定な頭部伝達関数を安定させるためには、まず単一の非最小位相系の０値が、以下のように関数から除外される。
【数１４】
【００４６】
ここで、Ｑ1（ｚ）は安定（最小位相）多項式であり、λは|λ|＞１であるＱ（ｚ）の単一の非最小位相系の０値である。
【００４７】
次に、
【数１５】
で上記数式を乗算することによって、
【数１６】
を求める。
【００４８】
Ｑ2（ｚ）は安定関数である。なぜなら、非最小位相系の０値は単位円内に反映され、最小位相（ｚ=λからｚ=１／λへ）になるためである。Ｑ2（ｚ）はＱ（ｚ）と同一の振幅応答を有するが、位相応答は異なる。
【００４９】
本発明の実施の形態５として、本発明に必要なサイド情報をさらに削減するために、頭部伝達関数は、ピークフィルタ及びノッチフィルタの組み合わせとして表すことができる。それぞれのフィルタにおいて、中央周波数、信号レベル及びQファクタ等の特性が決められる［２］。
【数１７】
【００５０】
これらの特性情報は（それらの伝達関数係数の代わりに）頭部伝達関数情報としてパラメータで表示され量子化される。復号化装置において、中央周波数、信号レベル及びQファクタは逆量子化され、対象となるピーク及びノッチフィルタを合成するために用いられる。次にデコンボリューションのために（５０８）、フィルタは上記のように組み合わされ、対象となる頭部伝達関数を形成する。
【００５１】
本発明の実施の形態６として、頭部伝達関数情報を音響フレームごとに変える必要がない場合は、符号化装置は、（５０３）においてそれらをビットストリームの開始時だけに多重化するという選択肢を提供する。頭部伝達関数情報が信号特性に依存しており、最適な効果を達成するために音響フレームごとに変える必要がある場合は、符号化装置はまた多重化装置（５０３）において全ての音響フレームに情報を埋め込むという選択肢を提供する。
【図面の簡単な説明】
【００５２】
【図１】２つのチャンネルのマルチチャンネル音響符号化の原理を示す図である。
【図２】２つ以上のダウンミックスを個々の信号に分離するマルチステージチャンネル分離を示す図である。
【図３】マルチチャンネル音響符号化のマルチチャンネルへの拡張を示す図である。
【図４】１２の頭部伝達関数の定義を示す図である。
【図５】本発明によるプリプロセッシングモジュール及びデコンボレーションモジュールの追加を示す図である。
【図６】線対称によって頭部伝達関数の数を１２から６へ削減することを示す図である。
【特許請求の範囲】
【請求項１】
マルチチャンネル音響符号化装置においてサラウンド音響効果のあるステレオ音響を実現するための装置であって、マルチチャンネル音響信号をステレオ信号に変換するダウンミックス装置と、前記ステレオ信号をステレオビットストリームに符号化するステレオ音響符号化装置と、再構築情報を生成するためにマルチチャンネル音響信号を分析するバイノーラルキュー装置とを備え、
（ａ）前記マルチチャンネル音響信号に頭部伝達関数を適用し、プリプロセッシング装置において当該マルチチャンネル音響信号をプレミキシングして、プレミックスマルチチャンネル音響信号を形成し、
（ｂ）前記プレミックスマルチチャンネル音響信号を前記マルチチャンネル音響符号化装置へ入力し、
（ｃ）前記頭部伝達関数を付加された再構築情報に変換する
ことを特徴とする。
【請求項２】
マルチチャンネル音響復号化装置においてサラウンド音響効果のあるステレオ音響を実現するための装置であって、ステレオビットストリームを復号しステレオ音響信号を形成するステレオ音響復号化装置と、前記ステレオ音響信号に再構築情報を適用して中間マルチチャンネル音響信号を再構築するマルチチャンネル再構築装置を備え、
（ａ）付加された再構築情報の頭部伝達関数をデコンボリューション情報に変換し、
（ｂ）前記デコンボリューション情報を中間マルチチャンネル音響信号に適用し、マルチチャンネル音響信号を復元する
ことを特徴とする。
【請求項３】
前記ダウンミックス装置が生成するステレオ信号が所望の頭部伝達関数処理された信号を出力するように、前記プリプロセッシング装置は前記頭部伝達関数処理された信号をミキシングする
ことを特徴とする請求項１に記載の装置。
【請求項４】
前記付加された再構築情報は、伝達関数係数や周波数応答特性のような、前記マルチチャンネル音響復号化装置が前記頭部伝達関数を再構築するためのデータを含む
ことを特徴とする請求項１または２に記載の装置。
【請求項５】
一連の逆行列演算によって中間マルチチャンネル信号から前記頭部伝達関数を同時分離および削除を行うことにより、前記デコンボリューション情報は前記プリプロセッシング装置におけるプレミキシング効果を相殺する
ことを特徴とする請求項２に記載の装置。
【請求項６】
前記逆行列演算に対して安定度チェックが実行され、不安定な場合は、逆行列演算に関わる前記伝達関数は最小位相伝達関数によって近似値がとられる
ことを特徴とする請求項２または５に記載の装置。
【請求項７】
前記付加された再構築情報は、前記マルチチャンネル音響信号の特性に基づいて、符号化セッションごともしくは符号化処理を通して動的に生成可能である
ことを特徴とする請求項１または２に記載の装置。
【請求項１】
マルチチャンネル音響符号化装置においてサラウンド音響効果のあるステレオ音響を実現するための装置であって、マルチチャンネル音響信号をステレオ信号に変換するダウンミックス装置と、前記ステレオ信号をステレオビットストリームに符号化するステレオ音響符号化装置と、再構築情報を生成するためにマルチチャンネル音響信号を分析するバイノーラルキュー装置とを備え、
（ａ）前記マルチチャンネル音響信号に頭部伝達関数を適用し、プリプロセッシング装置において当該マルチチャンネル音響信号をプレミキシングして、プレミックスマルチチャンネル音響信号を形成し、
（ｂ）前記プレミックスマルチチャンネル音響信号を前記マルチチャンネル音響符号化装置へ入力し、
（ｃ）前記頭部伝達関数を付加された再構築情報に変換する
ことを特徴とする。
【請求項２】
マルチチャンネル音響復号化装置においてサラウンド音響効果のあるステレオ音響を実現するための装置であって、ステレオビットストリームを復号しステレオ音響信号を形成するステレオ音響復号化装置と、前記ステレオ音響信号に再構築情報を適用して中間マルチチャンネル音響信号を再構築するマルチチャンネル再構築装置を備え、
（ａ）付加された再構築情報の頭部伝達関数をデコンボリューション情報に変換し、
（ｂ）前記デコンボリューション情報を中間マルチチャンネル音響信号に適用し、マルチチャンネル音響信号を復元する
ことを特徴とする。
【請求項３】
前記ダウンミックス装置が生成するステレオ信号が所望の頭部伝達関数処理された信号を出力するように、前記プリプロセッシング装置は前記頭部伝達関数処理された信号をミキシングする
ことを特徴とする請求項１に記載の装置。
【請求項４】
前記付加された再構築情報は、伝達関数係数や周波数応答特性のような、前記マルチチャンネル音響復号化装置が前記頭部伝達関数を再構築するためのデータを含む
ことを特徴とする請求項１または２に記載の装置。
【請求項５】
一連の逆行列演算によって中間マルチチャンネル信号から前記頭部伝達関数を同時分離および削除を行うことにより、前記デコンボリューション情報は前記プリプロセッシング装置におけるプレミキシング効果を相殺する
ことを特徴とする請求項２に記載の装置。
【請求項６】
前記逆行列演算に対して安定度チェックが実行され、不安定な場合は、逆行列演算に関わる前記伝達関数は最小位相伝達関数によって近似値がとられる
ことを特徴とする請求項２または５に記載の装置。
【請求項７】
前記付加された再構築情報は、前記マルチチャンネル音響信号の特性に基づいて、符号化セッションごともしくは符号化処理を通して動的に生成可能である
ことを特徴とする請求項１または２に記載の装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００７−１０４６０１（Ｐ２００７−１０４６０１Ａ）
【公開日】平成１９年４月１９日（２００７．４．１９）
【国際特許分類】
【外国語出願】
【出願番号】特願２００５−２９５５７６（Ｐ２００５−２９５５７６）
【出願日】平成１７年１０月７日（２００５．１０．７）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成１９年４月１９日（２００７．４．１９）
【国際特許分類】
【出願番号】特願２００５−２９５５７６（Ｐ２００５−２９５５７６）
【出願日】平成１７年１０月７日（２００５．１０．７）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]