ダウンミックス信号表現と、ダウンミックス信号表現に関係するパラメトリックサイド情報に基づくアップミックス信号表現の提供に対して、平均値を用いて、１つ以上の調整されたパラメータを提供する装置、方法およびコンピュータプログラム
ダウンミックス信号表現と、ダウンミックス信号表現に関係するパラメトリックサイド情報に基づくアップミックス信号表現の提供に対して１つ以上の調整されたパラメータを提供する装置は、パラメータ調整器を備える。パラメータ調整器は、１つ以上のパラメータを受信し、それに基づいて１つ以上の調整されたパラメータを提供するように構成される。パラメータ調整器は、非最適なパラメータの使用によって生じるアップミックス信号表現の歪みが、少なくとも最適なパラメータから予め定められた偏差より大きく偏移しているパラメータに対して限定されるように、複数のパラメータ値の平均値に従って１つ以上の調整されたパラメータを提供するように構成される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明に係る実施形態は、ダウンミックス信号表現と、ダウンミックス信号表現に関係するパラメトリックサイド情報に基づくアップミックス信号表現の提供に対して、１つ以上の調整されたパラメータを提供する装置に関する。
【０００２】
本発明に係る他の実施形態は、ダウンミックス信号表現とパラメトリックサイド情報に基づいてアップミックス信号表現を提供する装置に関する。
【０００３】
本発明に係る他の実施形態は、ダウンミックス信号表現と、ダウンミックス信号表現に関係するパラメトリックサイド情報に基づくアップミックス信号表現の提供に対して、１つ以上の調整されたパラメータを提供する方法に関する。
【０００４】
本発明に係る他の実施形態は、前記方法を実行するためのコンピュータプログラムに関する。
【０００５】
本発明に係るいくつかの実施形態は、ＭＰＥＧ‐ＳＡＯＣにおける歪み制御のためのパラメータ制限スキームに関する。
【背景技術】
【０００６】
オーディオ処理、オーディオ伝送およびオーディオ記憶の技術において、聴覚インプレッションを改善するために、マルチチャンネルコンテンツを取り扱うという増大する要望がある。マルチチャンネルオーディオコンテンツの使用は、ユーザに対して有意の進歩をもたらす。例えば、娯楽アプリケーションにおいて、改善されたユーザ満足度をもたらす三次元聴覚インプレッションを取得することができる。しかしながら、マルチチャンネルオーディオコンテンツは、また、マルチチャンネルオーディオ再生を用いて話者了解度を改善することができるので、専門の環境、例えば電話会議アプリケーションにおいて有用である。
【０００７】
しかしながら、また、マルチチャンネルアプリケーションによって生じる過度なリソース負荷を回避するために、オーディオ品質とビットレート要求条件との良好なトレードオフを有することが望ましい。
【０００８】
最近、ビットレートの効率的な伝送のためのパラメトリック技術および／または多重のオーディオオブジェクトを含むオーディオシーンの記憶、例えば、バイノーラルキュー符号化（Ｉ型）（例えば、非特許文献１を参照）、ジョイントソース符号化（例えば、非特許文献２を参照）、およびＭＰＥＧ空間オーディオオブジェクト符号化（ＳＡＯＣ）（例えば、非特許文献３，４，５を参照）が提案されている。
【０００９】
受信サイドでのユーザ対話性と共に、このような技術は、極端なオブジェクトレンダリングが実行される場合に、出力信号の低いオーディオ品質に結果として導く可能性がある（例えば、特許文献１を参照）。
【００１０】
これらの技術は、所望の出力オーディオシーンを、波形マッチングによるよりもむしろ知覚的に復元することを目指している。
【００１１】
図８は、このようなシステム（ここでは、ＭＰＥＧ‐ＳＡＯＣ）のシステム概要を示す。図８に示されるＭＰＥＧ−ＳＡＯＣシステム８００は、ＳＡＯＣエンコーダ８１０とＳＡＯＣデコーダ８２０を備える。ＳＡＯＣエンコーダ８１０は、例えば、時間ドメイン信号として、または時間‐周波数ドメイン信号（例えば、フーリエタイプ変換の変換係数のセットの形の、またはＱＭＦサブバンド信号の形の）として表すことができる複数のオブジェクト信号ｘ1〜ｘNを受信する。ＳＡＯＣエンコーダ８１０は、通常は、オブジェクト信号ｘ１〜ｘＮに関係するダウンミックス係数ｄ1〜ｄNも受信する。ダウンミックス係数の分離したセットは、ダウンミックス信号の各チャンネルに対して利用することができる。ＳＡＯＣエンコーダ８１０は、通常は、オブジェクト信号ｘ1〜ｘNを関係するダウンミックス係数ｄ1〜ｄNに従って結合することによって、ダウンミックス信号のチャンネルを取得するように構成される。通常、ダウンミックスチャンネルは、オブジェクト信号ｘ1〜ｘNより少ない。ＳＡＯＣデコーダ８２０の側でのオブジェクト信号の分離（または分離処理）を（少なくとも近似的に）可能とするため、ＳＡＯＣエンコーダ８１０は、１つ以上のダウンミックス信号（ダウンミックスチャンネルとして示される）８１２と、サイド情報８１４の両方を提供する。サイド情報８１４は、デコーダ側でのオブジェクト特有の処理を可能とするため、オブジェクト信号ｘ1〜ｘNの特性を記述する。
【００１２】
ＳＡＯＣデコーダ８２０は、１つ以上のダウンミックス信号８１２とサイド情報８１４の両方を受信するように構成される。また、ＳＡＯＣデコーダ８２０は、通常は、所望のレンダリングセットアップを記述するユーザ対話情報および／またはユーザ制御情報８２２を受信するように構成される。例えば、ユーザ対話情報／ユーザ制御情報８２２は、スピーカセットアップと、オブジェクト信号ｘ1〜ｘNを提供するオブジェクトの所望の空間配置を記述することができる。
【００１３】
【００１４】
【００１５】
ここで図９ａ、９ｂ、９ｃを参照して、ダウンミックス信号表現とオブジェクト関連サイド情報に基づいてアップミックス信号表現を取得する異なる装置が記載される。オブジェクト関連サイド情報は、ダウンミックス信号に関係するサイド情報の例である点に注意しなければならない。図９ａは、ＳＡＯＣデコーダ９２０を備えるＭＰＥＧ‐ＳＡＯＣシステム９００の概略ブロック図である。ＳＡＯＣデコーダ９２０は、分離した機能ブロックとして、オブジェクトデコーダ９２２と混合器／レンダー器９２６を備える。オブジェクトデコーダ９２２は、ダウンミックス信号表現（例えば、時間ドメインにおいてまたは時間‐周波数ドメインにおいて表現される１つ以上のダウンミックス信号の形の）と、オブジェクト関連のサイド情報（例えば、オブジェクトメタデータの形の）に従って、複数の復元されたオブジェクト信号９２４を提供する。混合器／レンダー器９２６は、複数のＮ個のオブジェクトに関係する復元されたたオブジェクト信号９２４を受信し、それとレンダリング情報に基づいて、１つ以上のアップミックスチャンネル信号９２８を提供する。ＳＡＯＣデコーダ９２０において、オブジェクト信号９２４の抽出は、オブジェクト復号化機能の混合／レンダリング機能からの分離を可能とする混合／レンダリングから分離して実行されるが、比較的高い計算量をもたらす。
【００１６】
ここで図９ｂを参照して、ＳＡＯＣデコーダ９５０を備える他のＭＰＥＧ‐ＳＡＯＣシステム９３０が簡単に述べられる。ＳＡＯＣデコーダ９５０は、ダウンミックス信号表現（例えば、１つ以上のダウンミックス信号の形の）と、オブジェクト関連サイド情報（例えば、オブジェクトメタデータの形の）に従って、複数のアップミックスチャンネル信号９５８を提供する。ＳＡＯＣデコーダ９５０は、オブジェクト復号化と混合／レンダリングの分離なしの合同の混合プロセスにおいてアップミックスチャンネル信号９５８を取得するように構成され、前記合同のアップミックスプロセスに対するパラメータがオブジェクト関連サイド情報とレンダリング情報の両方に依存する、複合されたオブジェクトデコーダおよび混合器／レンダー器を備える。合同のアップミックスプロセスは、オブジェクト関連サイド情報の一部であるとみなされるダウンミックス情報にも依存する。
【００１７】
上記を要約すると、アップミックスチャンネル信号９２８、９５８の提供は、１つのステッププロセスまたは２つのステッププロセスにおいて実行することができる。
【００１８】
ここで図９ｃを参照して、ＭＰＥＧ‐ＳＡＯＣシステム９６０が記載される。ＳＡＯＣシステム９６０は、ＳＡＯＣデコーダよりもむしろ、ＳＡＯＣ‐ＭＰＥＧサラウンドトランスコーダ９８０を備える。
【００１９】
ＳＡＯＣ‐ＭＰＥＧサラウンドトランスコーダは、オブジェクト関連サイド情報（例えば、オブジェクトメタデータの形の）と、オプションとして、１つ以上のダウンミックス信号とレンダリング情報に関係する情報を受信するように構成された、サイド情報トランスコーダ９８２を備える。サイド情報トランスコーダは、また、受信されたデータに基づいて、ＭＰＥＧサラウンドサイド情報（例えば、ＭＰＥＧサラウンドビットストリームの形の）を提供するように構成される。したがって、サイド情報トランスコーダ９８２は、オブジェクトエンコーダから受信されるオブジェクト関連（パラメトリック）サイド情報を、レンダリング情報とオプションとして１つ以上のダウンミックス信号のコンテンツについての情報を考慮に入れて、チャンネル関連（パラメトリック）サイド情報に変換するように構成される。
【００２０】
オプションとして、ＳＡＯＣ‐ＭＰＥＧサラウンドトランスコーダ９８０は、例えば、ダウンミックス信号表現によって記述された１つ以上のダウンミックス信号を操作し、操作されたダウンミックス信号表現９８８を取得するように構成することができる。しかしながら、ＳＡＯＣ‐ＭＰＥＧサラウンドトランスコーダ９８０の出力ダウンミックス信号表現９８８がＳＡＯＣ‐ＭＰＥＧサラウンドトランスコーダの入力ダウンミックス信号表現と同じであるように、ダウンミックス信号操作器９８６を省略することができる。ダウンミックス信号操作器９８６は、例えば、いくつかのレンダリング配列において存在する可能性がある、チャンネル関連ＭＰＥＧサラウンドサイド情報９８４がＳＡＯＣ‐ＭＰＥＧサラウンドトランスコーダ９８０の入力ダウンミックス信号表現に基づいて所望の聴覚インプレッションを提供することを可能にしない場合に、用いることができる。
【００２１】
したがって、ＳＡＯＣ‐ＭＰＥＧサラウンドトランスコーダ９８０は、ＳＡＯＣ‐ＭＰＥＧサラウンドトランスコーダ９８０へのレンダリング情報入力に従ってオーディオオブジェクトを表現する複数のアップミックスチャンネル信号を、ＭＰＥＧサラウンドビットストリーム９８４とダウンミックス信号表現９８８を受信するＭＰＥＧサラウンドデコーダを用いて生成することができるように、ダウンミックス信号表現９８８とＭＰＥＧサラウンドビットストリーム９８４を提供する。
【００２２】
上記を要約すると、ＳＡＯＣ符号化されたオーディオ信号を復号化するために異なるコンセプトを用いることができる。場合によっては、ダウンミックス信号表現とオブジェクト関連パラメトリックサイド情報に従ってアップミックスチャンネル信号（例えば、アップミックスチャンネル信号９２８、９５８）を提供する、ＳＡＯＣデコーダが用いられる。このコンセプトに対する実施例は、図９ａと９ｂに見ることができる。あるいは、ＳＡＯＣ符号化されたオーディオ情報は、所望のアップミックスチャンネル信号を提供するためにＭＰＥＧサラウンドデコーダによって用いることができる、ダウンミックス信号表現（例えばダウンミックス信号表現９８８）とチャンネル関連サイド情報（例えば、チャンネル関連ＭＰＥＧサラウンドビットストリーム９８４）を取得するために変換することができる。
【００２３】
図８においてシステム概要が与えられる、ＭＰＥＧ‐ＳＡＯＣシステム８００において、一般的な処理が周波数選択的方法で行われ、各周波数バンド内で以下のように記述することができる。
●Ｎ個の入力オーディオオブジェクト信号ｘ1〜ｘNは、ＳＡＯＣエンコーダ処理の一部としてダウンミックスされる。モノラルダウンミックスに対して、ダウンミックス係数は、ｄ1〜ｄNで示される。加えて、ＳＡＯＣエンコーダ８１０は、入力オーディオオブジェクトの特性を記述するサイド情報８１４を抽出する。ＭＰＥＧ‐ＳＡＯＣに対して、お互いに関するオブジェクトパワーの関係は、このようなサイド情報の最も基本的な形である。
●ダウンミックス信号８１２とサイド情報８１４は、送信され、および／または、記憶される。この目的に対して、ダウンミックスオーディオ信号は、ＭＰＥＧ‐１のレイヤＩＩまたはＩＩＩ（「．ｍｐ３」としても知られる）、ＭＰＥＧアドバンストオーディオコーディング（ＡＡＣ）またはその他のオーディオコーダのような周知の知覚的オーディオコーダを用いて圧縮することができる。
●事実上、オブジェクト信号の分離は、分離ステップ（オブジェクト分離器８２０ａによって示される）と混合ステップ（混合器８２０ｃによって示される）の両方がしばしば計算量において莫大な減少に結果としてなる単一の変換符号化ステップに結合されるので、ほとんど実行されない（または決して実行されない）。
【００２４】
このようなスキームは、伝送ビットレート（Ｎ個の離散オブジェクトオーディオ信号または離散システムの代わりに、少しのダウンミックスチャンネルといくつかのサイド情報を送信することが必要なだけである）と計算量（処理複雑度は、主にオーディオオブジェクトの数よりむしろ出力チャンネル数に関係する）の両方に関して、大いに効率的であることが分かっている。受信端のユーザに対する更なる利益は、ユーザ選択（モノラル、ステレオ、サラウンド、バーチャル化されたヘッドホン再生、その他）のレンダリングセットアップを選択する自由度と、ユーザ対話性の特徴を含み、レンダリングマトリクス、従って出力シーンは、ユーザによって、意志、個人的嗜好または他の基準に従って設定し、対話的に変更することができる。例えば、１つの空間エリアに固まっている１つのグループから話し手を位置決めし、他の残りの話し手からの識別を最大化することが可能である。この対話性は、デコーダ・ユーザインターフェースを提供することによって達成される。
【００２５】
各送信されたオブジェクトに対して、その相対レベルと、（非モノラルレンダリングに対して）レンダリングの空間位置を調整することができる。これは、ユーザが付随するグラフィカルユーザインターフェイス（ＧＵＩ）のスライダの位置を変える（例えば、object level = +5dB, object position = -30deg）ように、リアルタイムに発生することができる。
【００２６】
【００２７】
【先行技術文献】
【非特許文献】
【００２８】
【非特許文献１】C. Faller および F. Baumgarte、「バイノーラルキュー符号化‐第２部：スキームおよびアプリケーション」、IEEE Trans. on Speech and Audio Proc., vol.11, No. 6、２００３年１１月
【非特許文献２】C. Faller、「オーディオソースのパラメトリックジョイント符号化」、第１２０回ＡＥＳ大会、予稿集６７５２、パリ、２００６年
【非特許文献３】J. Herre, S. Disch, J. Hilpert, O. Hellmuth、「ＳＡＣからＳＡＯＣ‐ 空間オーディオのパラメトリック符号化における最近の成果」、第２２回英国ＡＥＳ会議、ケンブリッジ、英国、２００７年４月
【非特許文献４】J. Engdegaerd, B. Resch, C. Falch, O. Hellmuth, J. Hilpert, A. Hoelzer, L. Terentiev, J. Breebaart, J. Koppens, E. Schuijers and W. Oomen、「空間オーディオオブジェクト符号化（ＳＡＯＣ）‐ パラメトリックオブジェクトベースのオーディオ符号化に関するやがて公開されるＭＰＥＧ標準」、第１２４回ＡＥＳ大会、予稿集７３７７、アムステルダム、２００８年
【非特許文献５】ＩＳＯ／ＩＥＣ、「ＭＰＥＧオーディオ技術‐第２部：空間オーディオオブジェクト符号化（ＳＡＯＣ）」、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１（ＭＰＥＧ）ＦＣＤ２３００３-２
【非特許文献６】ＥＢＵ技術勧告：「中間オーディオ品質の主観的リスニングテストのためのＭＵＳＨＲＡ‐ＥＢＵ法」、文書Ｂ／ＡＩＭ０２２、１９９９年１０月
【非特許文献７】ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１（ＭＰＥＧ）、文書Ｎ１０８４３、「ＩＳＯ／ＩＥＣ２３００３-２に関する研究：２００ｘ年空間オーディオオブジェクト符号化（ＳＡＯＣ）」、第８９回ＭＰＥＧミーティング、ロンドン、英国、２００９年７月
【特許文献】
【００２９】
【特許文献１】米国特許出願６１／１７３，４５６、歪みを回避するオーディオ信号処理の方法、装置およびコンピュータプログラム
【発明の概要】
【００３０】
上記課題は、ダウンミックス信号表現と、前記ダウンミックス信号表現に関係するパラメトリックサイド情報に基づくアップミックス信号表現の提供に対して、１つ以上の適応されたパラメータを提供する装置によって解決される。装置は、１つ以上のパラメータ（それは、いくつかの実施形態において、入力パラメータとすることができる）を受信し、それに基づいて、１つ以上の調整されたパラメータを提供するように構成された、パラメータ調整器を備える。パラメータ調整器は、非最適パラメータの使用によって生じるアップミックス信号表現の歪みが、少なくとも最適パラメータから予め定められた偏差以上偏移しているパラメータ（または入力パラメータ）に対して低減されるように、複数のパラメータ値（それは、いくつかの実施形態において、入力パラメータ値とすることができる）の平均値に従って、１つ以上の調整されたパラメータを提供するように構成される。
【００３１】
本発明に係るこの実施形態は、歪みはしばしば平均値からの過剰な偏差によって生ずるので、複数の入力パラメータ値の平均値が、ダウンミックス信号表現とダウンミックス信号表現に関係するパラメトリックサイド情報に基づくアップミックス信号表現の提供に用いられるパラメータの調整を可能にする意味のある量を構成するという考えに基づいている。平均値の使用は、平均値（average value）（時には、中間値（mean value）としても示される）からのこのような過剰な偏差を回避するために、１つ以上のパラメータの調整を可能にし、従って極端に劣化したオーディオ品質を回避するという可能性をもたらす。
【００３２】
上述された実施形態は、ＳＡＯＣデコーダ／トランスコーダがパラメータの調整に必要な全情報を備えるので、全ての処理を完全にＳＡＯＣデコーダ／トランスコーダ内で行うことができるレンダーされたＳＡＯＣシーンの主観的音質を保護するコンセプトを提供する。また、パラメータ値と平均値との大きな偏差は、通常は聞き取れる歪みに結果としてなるのに対して、パラメータ値と平均値との偏差の制限は、通常は良好な聴覚インプレッションに結果としてなることが分かっているので、上述の実施形態は、レンダーされたシーンの知覚されたオーディオ品質の複雑な尺度の明示の計算を含まない。このように、上述された実施形態は、アップミックス信号表現の提供に対して考慮されるパラメータを適切に調整するために、特に効率的なメカニズム、すなわち、平均値の使用を提供する。
【００３３】
好ましい実施形態において、装置のパラメータ調整器は、複数のパラメータ値の加重平均である平均値に従って、１つ以上の調整されたパラメータを提供するように構成される。
ｔは異なるパラメータ値に対して異なる重みを割り当てることが可能であるので、加重平均を使用することは高度な自由度を提供する。しかしながら、パラメータ値に対して同じ重みを割り当てることも可能である。
【００３４】
好ましい実施形態において、装置のパラメータ調整器は、１つ以上の調整されたパラメータが、平均値から、対応する受信されたパラメータよりも小さく偏移するように、１つ以上の調整されたパラメータを提供するように構成される。調整されたパラメータを、平均値の近くに持ってくることによって、またはさらに平均値に等しくセットすることによって、歪みの有意の低減を達成することができる。
【００３５】
好ましい実施形態において、装置は、オーディオオブジェクトの、アップミックス信号表現の１つ以上のチャンネルに対する貢献度を記述する１つ以上のレンダリング係数（レンダリングパラメータとしても示される）を受信するように構成される。この場合、装置は、好ましくは、調整されたパラメータとして、１つ以上の調整されたレンダリング係数を提供するように構成される。入力パラメータ値の役割をする複数のレンダリングパラメータの平均値に従ってレンダリングパラメータを調整することは、過剰な聞き取れる歪みを回避する適切に調整されたレンダリングパラメータを取得する可能性をもたらすことが分かっている。
【００３６】
好ましい実施形態において、パラメータ調整器は、入力パラメータとして、複数のレンダリング係数を受信するように構成される。この場合、パラメータ調整器は、複数のオーディオオブジェクトに関係するレンダリング係数を通じた平均を計算するように構成される。また、パラメータ調整器は、調整されたレンダリング係数の、複数のオーディオオブジェクトに関係するレンダリング係数を通じた平均からの偏差が限定されるように、調整されたレンダリング係数を提供するように構成される。本発明に係るこの実施形態は、調整されたレンダリング係数の、複数のオーディオオブジェクトに関係するレンダリング係数を通じた平均からの偏差が限定される場合に、非最適レンダリングパラメータの使用によって生じるアップミックス信号表現の歪みは、少なくとも最適レンダリングパラメータから予め定められた偏差よりも大きく偏移しているレンダリングパラメータに対して、通常は低減されるという発見に基づいている。このように、簡単なメカニズム、すなわち、調整されたレンダリング係数の、複数のオーディオオブジェクトに関係するレンダリング係数を通じた平均からの偏差が限定されるようなレンダリング係数の調整が、過剰な聞き取れる歪みを回避することを可能とする。
【００３７】
好ましい実施形態において、パラメータ調整器は、レンダリング係数を通じた平均に従って決定される許容差の範囲内にあるレンダリング係数を不変のままにし、許容差の上側境界値よりも大きいレンダリング係数を上側境界値より小さいまたは等しい値に選択的にセットし、許容差の下側境界値よりも小さいレンダリング係数を下側境界値より大きいまたは等しい値に選択的にセットするように構成される。したがって、レンダリング係数を調整するために、平均値から大きく異なる非最適レンダリングパラメータの使用によって生じるアップミックス信号表現の過剰な歪みを回避する調整されたレンダリング係数を取得することを依然として可能とする、非常に簡単なメカニズムが確立される。
【００３８】
好ましい実施形態において、パラメータ調整器は、それぞれの反復において、レンダリング係数を通じた平均からの最大偏差を含むレンダリング係数のそれぞれの１つを反復的に選択し、レンダリング係数の選択された１つを、レンダリング係数を通じた平均の近くに持ってくるように構成される。したがって、レンダリング係数を通じた平均に従って決定される許容差の外側にあるレンダリングパラメータは、反復的に許容差内に持ってこられる。このように、レンダリングパラメータは、非最適レンダリングパラメータの使用によって生じるアップミックス信号表現の歪みが、通常は低減されるように（少なくとも、最適レンダリングパラメータから、予め定められた偏差より大きく偏移している入力レンダリングパラメータに対して）、平均値に従って調整される。
【００３９】
好ましい実施形態において、パラメータ調整器は、レンダリング係数のそれぞれの１つの反復的な選択と、選択された１つのレンダリング係数の反復的な修正を、全てのレンダリングパラメータが適用可能な許容差の範囲内にあるように調整されるまで繰り返すように構成される。したがって、アップミックス信号表現における聞き取れる歪みが十分小さく保たれることが確保される。
【００４０】
好ましい実施形態において、装置は、ダウンミックス信号表現の１つ以上のチャンネルの、アップミックス信号表現の１つ以上のチャンネルへのマッピングを記述する１つ以上の変換符号化係数を受信するように構成される。この場合、装置は、調整されたパラメータとして、１つ以上の調整された変換符号化係数を提供するように構成される。本発明に係るこの実施形態は、変換符号化係数の平均値からの大きな偏差が通常は聞き取れる歪みを生じるので、変換符号化パラメータは、平均値に従う調整に対しても適切であるという発見に基づいている。したがって、平均値に従う変換符号化パラメータの調整または制限によって、非最適変換符号化パラメータの使用によって生じるアップミックス信号表現の歪みを、（少なくとも、最適変換符号化パラメータから予め定められた偏差より大きく偏移している入力変換符号化パラメータに対して）低減することが可能である。
【００４１】
好ましい実施形態において、パラメータ調整器は、入力パラメータとして、変換符号化係数（変換符号化パラメータとしても示される）の時間シーケンスを受信するように構成される。この場合、パラメータ調整器は、複数の変換符号化係数に従って時間平均（temporal mean）（temporal averageとしても示される）を演算するように構成される。また、パラメータ調整器は、調整された変換符号化係数の時間平均からの偏差が限定されるように、調整された変換符号化係数を提供するように構成される。あらためて、非最適変換符号化係数の使用によって生じるアップミックス信号表現の過剰な聞き取れる歪みを回避する簡単なメカニズムが構築される。
【００４２】
好ましい実施形態において、パラメータ調整器は、時間平均（それは平均値を構成する）に従って決定される許容差の範囲内にある変換符号化係数を不変のままにするように構成される。また、パラメータ調整器は、許容差の上側境界値よりも大きい変換符号化係数を、許容差の上側境界値よりも小さいまたは等しい値に選択的にセットし、許容差の下側境界値よりも小さい変換符号化係数を、許容差の下側境界値よりも大きいまたは等しい値に選択的にセットするように構成される。したがって、変換符号化係数は、非最適変換符号化の使用によって生じるアップミックス信号表現の歪みを、少なくとも最適変換符号化係数から予め定められた偏差よりも大きく偏差している変換符号化係数に対して低減することを可能とする明確に定められた許容差内に持ってくることができる。許容差は、時間平均が用いられるので、適応的な方法で選択される。このコンセプトは、変換符号化係数の大きな時間変化は、通常は聞き取れる歪みをもたらし、それ故にある程度に制限しなければならないという発見に基づいている。
【００４３】
好ましい実施形態において、パラメータ調整器は、時間平均を、一連の変換符号化係数の再帰的ローパスフィルタリングを用いて算出するように構成される。このコンセプトは、変換符号化係数の長期の進化を考慮に入れた非常に明確に定められた時間平均をもたらすことを示している。また、一連の変換符号化係数のこのような再帰的ローパスフィルタリングは、少ない計算労力とメモリ要求条件を低減することを助ける記憶労力によって遂行することができることが分かっている。特に、長期の期間に対する変換符号化係数の履歴を記憶することなく、意味のある時間平均を取得することが可能である。
【００４４】
好ましい実施形態において、パラメータ調整器は、調整されたパラメータの所定の１つが、複数の入力パラメータの平均値と１つ以上の許容差パラメータに従って境界が定められる許容差の範囲内にあるように、そして、入力パラメータと、対応する調整されたパラメータとの偏差が最小化されるまたは予め定められた最大許容範囲内に保持されるように、１つ以上の調整されたパラメータの所定の１つを提供するように構成される。良好な聴覚インプレッションをもたらす調整されたパラメータは、入力パラメータと、対応する調整されたパラメータとの過度に大きな差異を回避する目的を考慮に入れながら、調整されたパラメータを許容差に限定することによって、取得することができることが分かっている。したがって、非最適パラメータの使用によって生じるアップミックス信号表現の歪みを、入力パラメータによって定められる所望の聴覚設定を不必要に妥協することなく低減することができる。
【００４５】
好ましい実施形態において、パラメータ調整器は、入力パラメータの調整されたバージョンを取得するために、複数の入力パラメータ値の平均値に従って境界が定められる許容差の外側にあることがわかった入力パラメータを、許容差の上側境界値または下側境界値に選択的にセットするように構成される。
【００４６】
他の好ましい実施形態において、パラメータ調整器は、（平均値に従って境界が定められる）許容差の外側にある入力パラメータを、許容差内に反復的に持ってくるために、それぞれの反復において、平均値からの最大偏差を含む入力パラメータのそれぞれ１つを反復的に選択し、入力パラメータの選択された１つを平均値の近くに持ってくるように構成される。
【００４７】
好ましい実施形態において、パラメータ調整器は、入力パラメータの選択された１つを平均値の近くに持ってくるために使用されるステップサイズを、入力パラメータの選択された１つと平均値の差異の予め定められた分数になるように選択するように構成される。
【００４８】
本発明に係る他の実施形態は、ダウンミックス信号表現とパラメトリックサイド情報に基づいてアップミックス信号表現を提供する装置を構築する。前記装置は、前に述べられたような、１つ以上の入力パラメータに基づいて１つ以上の調整されたパラメータを提供する装置を備える。アップミックス信号表現を提供する装置は、また、ダウンミックス信号表現とパラメトリックサイド情報に基づいてアップミックス信号表現を取得するように構成された信号処理器を備える。１つ以上の調整されたパラメータを提供する装置は、信号処理器の１つ以上の処理パラメータの、例えば、信号処理器に入力されるレンダリングパラメータの、または、アップミックス信号表現を取得するために、信号処理器において演算され、信号処理器によって適用される変換符号化パラメータの、調整されたバージョンを提供するように構成される。
【００４９】
この実施形態は、信号処理器によって適用され、信号処理器に入力されるかまたはさらに信号処理器において算出されるかのいずれかであり、平均値に基づく上述のパラメータ調整から利益を得ることができる多数のパラメータがあるという発見に基づいている。信号処理器は、通常は、パラメータのセット（例えば、異なるオーディオオブジェクトに関係するレンダリング係数のセット、または時間において異なるインスタンスに関係する変換符号化係数のセット）が良くバランスしている場合に、そのような値のセットの個々の値が平均値からの過度に大きい偏差を含まないように、小さい歪みで、良い品質のアップミックス信号表現を提供することが分かっている。このように、１つ以上の調整されたパラメータを提供する装置を、アップミックス信号表現を提供する装置と組み合わせて適用することによって、発明コンセプトの利益を実現することができる。
【００５０】
好ましい実施形態において、信号処理器は、オーディオオブジェクトの、アップミックス信号表現の１つ以上のチャンネルに対する貢献度を記述する調整されたレンダリング係数に従ってアップミックス信号表現を提供するように構成される。１つ以上の調整されたパラメータを提供する装置は、入力パラメータとして、複数のユーザ指定のレンダリングパラメータを受信し、それに基づいて、信号処理器による使用のために（好ましくは信号処理器に）、１つ以上の調整されたレンダリングパラメータを提供するように構成される。１つ以上の調整されたパラメータを提供する装置を用いて取得することができる良くバランスしたレンダリングパラメータは、通常は良い聴覚インプレッションに結果としてなることが分かっている。
【００５１】
他の実施形態において、１つ以上の調整されたパラメータを提供する装置は、１つ以上の入力パラメータとして、混合マトリクスの１つ以上の混合マトリクス要素を受信し、それに基づいて、信号処理器による使用のために、混合マトリクスの１つ以上の調整された混合マトリクス要素を提供するように構成される。この場合、信号処理器は、ダウンミックス信号表現の１つ以上のオーディオチャンネル信号（例えば、時間ドメイン表現の形でまたは時間‐周波数ドメイン表現の形で表された）の、アップミックス信号表現の１つ以上のオーディオチャンネル信号上へのマッピングを記述する混合マトリクスの調整された混合マトリクス要素に従って、アップミックス信号表現を提供するように構成される。混合マトリクス要素は、また、例えば、混合マトリクス要素の時間的変化が制限されているという点で、平均値によく適合しなければならないことが分かっている。
【００５２】
本発明に係る他の実施形態において、オーディオ処理器は、ＭＰＥＧサラウンド任意ダウンミックスゲイン値を取得するように構成される。この場合、１つ以上の調整されたパラメータを提供する装置は、入力パラメータとして、複数の任意ダウンミックスゲイン値を受信し、複数の調整された任意ダウンミックスゲインを提供するように構成される。任意ダウンミックスゲイン値に対する調整されたパラメータを提供する装置のアプリケーションは、また、良好な聴覚インプレッションに結果としてなり、聞き取れる歪みを制限することを可能にすることが分かっている。
【００５３】
本発明に係る更なる実施形態は、１つ以上の調整されたパラメータを提供する方法およびコンピュータプログラムを構築する。前記実施形態は、上述の装置と同じ知見に基づき、発明の装置に関して本願明細書において述べられた構成および機能のいずれかによって拡張することができる。
【図面の簡単な説明】
【００５４】
【図１】本発明の実施形態に係る１つ以上の調整されたパラメータを提供する装置の概略ブロック図を示す。
【図２】本発明の実施形態に係るアップミックス信号表現を提供する装置の概略ブロック図を示す。
【図３】本発明の他の実施形態に係るアップミックス信号表現を提供する装置の概略ブロック図を示す。
【図４】間接制御および直接制御を用いたパラメータ制限スキーム概略表現を示す。
【図５ａ】リスニングテスト条件を表すテーブルを示す。
【図５ｂ】リスニングテストのオーディオ項目を表すテーブルを示す。
【図６】テストされた極端なレンダリング条件を表すテーブルを示す。
【図７】異なるパラメータ制限スキーム（ＰＬＳ）に対するＭＵＳＨＲＡリスニングテスト結果のグラフィック表現を示す。
【図８】参照用ＭＰＥＧ‐ＳＡＯＣシステムの概略ブロック図を示す。
【図９ａ】分離したデコーダおよび混合器を用いた参照用ＳＡＯＣシステムの概略ブロック図を示す。
【図９ｂ】統合したデコーダおよび混合器を用いた参照用ＳＡＯＣシステムの概略ブロック図を示す。
【図９ｃ】ＳＡＯＣ‐ＭＰＥＧトランスコーダを用いた参照用ＳＡＯＣシステムの概略ブロック図を示す。
【図１０】どの変換符号化係数が提案されたパラメータ制限スキームによって修正することができるかを記述するテーブルを示す。
【発明を実施するための形態】
【００５５】
１．図１に係る１つ以上の調整されたパラメータを提供する装置
【００５６】
以下に、ダウンミックス信号表現と、ダウンミックス信号表現に関係するパラメトリックサイド情報に基づくアップミックス信号表現の提供に対して、１つ以上の調整されたパラメータを提供する装置が記載される。図１は、このような装置１００の概略ブロック図である。
【００５７】
装置１００は、１つ以上の入力パラメータ１１０を受信し、それに基づいて、１つ以上の調整されたパラメータ１２０を提供するように構成される。装置１００は、１つ以上の入力パラメータ１１０を受信し、それに基づいて、１つ以上の調整されたパラメータ１２０を提供するように構成された、パラメータ調整器１３０を備える。パラメータ調整器１３０は、非最適パラメータ（例えば、１つ以上の入力パラメータ１１０）の使用によって生じるアップミックス信号表現の歪みが、少なくとも最適パラメータから予め定められた偏差以上偏移している入力パラメータ（例えば、入力パラメータ１１０）に対して低減されるように、複数の入力パラメータ値の平均値１３２に従って、１つ以上の調整されたパラメータ１２０を提供するように構成される。例えば、パラメータ調整器１３０は、１つ以上の調整されたパラメータ１２０が、１つ以上の入力パラメータ１１０よりも、最適パラメータ（それは、歪みのないアップミックス信号表現に結果としてなる）に「近い」（より小さい歪みを生じるという意味において）という効果を有することができる。
【００５８】
この目的のため、パラメータ調整器１３０は、平均値演算を実施し、関連する入力パラメータ１１０のセット（例えば、共通の時間インターバルに関係する入力パラメータ、または異なる時間インスタンスに関係する同じパラメータタイプの入力パラメータ）の平均値１３２（例えば、時間平均またはオブジェクト間平均として）を取得する。装置１００の動作に関して、平均値１３２はパラメータを調整するために意味のある量であることが分かっているので、１つ以上の入力パラメータ１１０に基づく１つ以上の調整されたパラメータ１２０の提供が平均値１３２に従ってなされる点に注意しなければならない。特に、適度なパラメータ（平均値に関して）は、通常は適度な歪みをもたらすことが分かっている。
【００５９】
更なる詳細が引き続いて記載される。
【００６０】
２．図２に係るアップミックス信号表現を提供する装置
【００６１】
以下に、図２に係るアップミックス信号表現を提供する装置が記載される。図２は、オーディオ信号デコーダとみなすことができる装置２００の概略ブロック図を示す。例えば、装置２００は、ＳＡＯＣデコーダまたはＳＡＯＣトランスコーダの機能を備えることができる。
【００６２】
装置２００は、ダウンミックス信号表現２１０とパラメトリックサイド情報２１２を受信するように構成される。また、装置２００は、ユーザ指定のレンダリングパラメータ２１４を受信するように構成される。装置は、アップミックス信号表現２２０を提供するように構成される。
【００６３】
ダウンミックス信号表現２１０は、例えば、１チャンネルのオーディオ信号または２チャンネルのオーディオ信号の表現とすることができる。ダウンミックス信号表現２１０は、例えば、時間ドメイン表現または符号化された表現とすることができる。いくつかの実施形態では、ダウンミックス信号表現２１０は、ダウンミックス信号表現２１０の１つ以上のチャンネルがスペクトル値の引き続くセットによって表現される、時間‐周波数ドメイン表現とすることができる。
【００６４】
アップミックス信号表現２２０は、例えば、時間ドメイン表現または時間‐周波数ドメイン表現の形の、個々のオーディオチャンネルの表現とすることができる。あるいは、アップミックス信号表現２２０は、ダウンミックス信号表現と、チャンネル関連サイド情報、例えば、ＭＰＥＧサラウンドサイド情報の両方を含む符号化された表現とすることができる。
【００６５】
ユーザ指定のレンダリングパラメータ２１４は、複数のオーディオオブジェクトの、アップミックス信号表現２２０の１つ以上のチャンネルに対する所望の貢献度を記述するレンダリングマトリクスエントリーの形で提供することができる。あるいは、ユーザ指定のレンダリングパラメータ２１４は、例えば、オーディオオブジェクトの所望のレンダリング位置とレンダリング量を特定する、他のいかなる適当な形でも提供することができる。
【００６６】
装置２００は、ダウンミックス信号表現２１０とパラメトリックサイド情報２１２に基づいてアップミックス信号表現２２０を提供するように構成された、信号処理器２３０を備える。信号処理器２３０は、ダウンミックス信号表現２１０に基づいてアップミックス信号表現２２０を提供するために、再混合機能２３２を備える。例えば、再混合機能２３２は、アップミックス信号表現２２０の１つ以上のチャンネルを取得するために、ダウンミックス信号表現２１２の複数のチャンネルを線形に結合するように構成することができる。この再混合において、ダウンミックス信号表現２１０のチャンネルの、アップミックス信号表現２２０のチャンネルに対する貢献度は、混合マトリクスＧの混合マトリクス要素によって決定することができ、混合マトリクスＧの第１の次元（例えば、列の数）はアップミックス信号表現２２０のチャンネル数によって決定することができ、混合マトリクスＧの第２の次元（例えば、行の数）はダウンミックス信号表現２１０のチャンネル数で決定することができる。
【００６７】
例えば、再混合プロセス２３２は、ダウンミックス信号表現２１０の１つ以上のチャンネルのスペクトル値を含む１つ以上のベクトルを、混合マトリクスＧと掛けることによって、アップミックス信号表現２２０の１つ以上のチャンネルに関係するスペクトル値を含む１つ以上のベクトルを提供するために用いることができる。
【００６８】
信号処理器２３０は、また、混合マトリクスＧ（または同様に、その要素）を提供する、混合パラメータ演算２３６を備えることができる。混合マトリクス要素は、混合パラメータ演算２３６によって、パラメトリックサイド情報２１２と修正されたレンダリングパラメータ２５２に従って決定される。混合マトリクスＧの混合マトリクス要素は、例えば、アップミックス信号表現２２０の１つ以上のチャンネルが、ダウンミックス信号表現２１０の１つ以上のチャンネルによって表されるオーディオオブジェクトを記述するように、修正されたレンダリングパラメータ２５２によって提供される。この目的のため、例えば、オブジェクトレベル差情報ＯＬＤ、オブジェクト間相関情報ＩＯＣ、ダウンミックスゲイン情報ＤＭＧおよび（オプションとして）ダウンミックスチャンネルレベル差情報ＤＣＬＤを含むパラメトリックサイド情報２１２は、混合パラメータ演算２３６によって評価される。オブジェクトレベル差情報は、例えば、周波数バンドワイズに、複数のオーディオオブジェクト間のレベル差を記述することができる。同様に、オブジェクト間相関情報は、例えば、周波数バンドワイズに、複数のオーディオオブジェクト間の相関を記述することができる。ダウンミックスゲイン情報と（オプションの）ダウンミックスチャンネルレベル差情報は、オーディオオブジェクト信号を複数のオーディオオブジェクトからダウンミックス信号表現の１つ以上のチャンネルに結合するために実行され、ダウンミックス信号表現２１０のチャンネルよりも通常は多いオーディオオブジェクトが存在するダウンミックスを記述することができる。
【００６９】
したがって、混合パラメータ演算２３６は、パラメトリックサイド情報２１２と修正されたレンダリングパラメータ２５２に基づいて期待された統計的特性を含むアップミックス信号表現２２０を取得するために、混合マトリクス要素がどのように選択されなければならないかについて評価することができる。
【００７０】
信号処理器２３０は、パラメトリックサイド情報２１２を受信し、修正されたサイド情報と、再混合プロセスによって提供される関連する再混合されたダウンミックス信号表現が所望のオーディオシーンを記述するように、修正されたサイド情報（例えば、ＭＰＥＧサラウンドサイド情報）を提供するように構成された、サイド情報修正あるいはサイド情報変換２４０をオプションとして備えることができる。
【００７１】
【００７２】
あるいは、信号処理器２３０は、分離したデコーダおよび混合器９２０の機能を備えることができ、ダウンミックス信号表現２１０は１つ以上のダウンミックス信号の役割を持つことができ、パラメトリックサイド情報２１２はオブジェクトメタデータの役割を持つことができ、アップミックス信号表現２２０は１つ以上の出力チャンネル信号９２８の役割を持つことができる。
【００７３】
あるいは、信号処理器２３０は、統合化されたデコーダおよび混合器９５０の機能を備えることができ、ダウンミックス信号表現２１０は１つ以上のダウンミックス信号の役割を持つことができ、パラメトリックサイド情報２１２はオブジェクトメタデータの役割を持つことができ、アップミックス信号表現２２０は１つ以上の出力チャンネル信号９５８の役割を持つことができる。
【００７４】
あるいは、信号処理器２３０は、ＳＡＯＣ‐ＭＰＥＧサラウンドトランスコーダ９８０の機能を備えることができ、ダウンミックス信号表現２１０は１つ以上のダウンミックス信号の役割を持つことができ、パラメトリックサイド情報２１２はオブジェクトメタデータの役割を持つことができ、アップミックス信号表現はＭＰＥＧサラウンドビットストリーム９８４と組み合わされるときに１つ以上のダウンミックス信号９８８に相当することができる。
【００７５】
いずれにせよ、修正されたレンダリングパラメータ２５２は、ユーザ対話／制御情報８２２またはレンダリング情報の役割を持つことができる。
【００７６】
装置２００は、また、調整されたレンダリングパラメータを提供する装置２５０を備える。調整されたレンダリングパラメータを提供する装置２５０は、ユーザ指定のレンダリングパラメータ２１４を受信し、それに基づいて、修正されたレンダリングパラメータ２５２を提供する。装置２５０は、通常は、異なるオーディオオブジェクトに関係する複数のユーザ指定のレンダリングパラメータを通じた平均値を算出し、平均値を取得するように構成される。また、装置２５０は、平均値に従ってレンダリングパラメータ制限を実行し、ユーザ指定のレンダリングパラメータ２１４を制限することによって、修正されたレンダリングパラメータ２５２を取得するように構成される。修正されたレンダリングパラメータ２５２が制限される許容差は、ユーザ指定のレンダリングパラメータ２１４の１つ以上が平均値から大きな偏差を含む場合であっても、修正されたレンダリングパラメータ２５２の、平均値からの大きな偏差が回避されるように、通常は平均値に従って決定される。このように、異なるオーディオオブジェクトに関係するレンダリングパラメータ間の大きな差異は聞き取れるアーチファクトに結果としてなるが、制限されたオブジェクト間偏差を含む修正されたレンダリングパラメータ２５２は低歪のアップミックス信号表現に結果としてなるので、アップミックス信号表現２２０内の過剰な歪みは、通常は回避される。
【００７７】
ここで、調整されたレンダリング係数を提供する装置２５０は、１つ以上の調整されたパラメータを提供する装置１００と同じ全体機能を備えることができ、ユーザ指定のレンダリングパラメータ２１４は１つ以上の入力パラメータ１１０の役割を持つことができ、調整されたレンダリングパラメータ２５２は１つ以上の調整されたパラメータ１２０の役割を持つことができる点に注意しなければならない。
【００７８】
修正されたレンダリングパラメータ２５２の提供に関する詳細は、図４を参照して後述される。
【００７９】
３．図３に係るアップミックス信号表現を提供する装置
【００８０】
以下に、本発明の他の実施形態に係るアップミックス信号表現を提供する装置が、そのような装置３００の概略ブロック図を示す図３を参照して記述される。
【００８１】
本願明細書において、同一または等価である信号を記載するために同一の参照番号が用いられるように、装置３００は、通常は、装置２００と同じタイプの入力信号を受信し、同じタイプの出力信号を提供する。要約すると、装置３００は、ダウンミックス信号表現２１０、パラメトリックサイド情報２１２、およびユーザ指定のレンダリングパラメータ２１４を受信し、装置３００は、それに基づいて、アップミックス信号表現２２０を提供する。
【００８２】
装置３００は、信号処理器２３０に対して機能において実質的に等価とすることができる、信号処理器３３０を備える。信号処理器３３０は、ダウンミックス信号表現に基づいて再混合されたオーディオチャンネル信号を提供するという点で、信号処理器２３０の再混合機能２３２と同一である、再混合機能３３２を備える。しかしながら、再混合３３２は、混合パラメータ演算から直接取得される混合マトリクスよりむしろ、調整された混合マトリクスを用いる。
【００８３】
信号処理器３３０は、また、信号処理器２３０の混合パラメータ演算２３６に対して機能において同一とすることができる、混合パラメータ演算３３６を備える。したがって、混合パラメータ演算３３６は、パラメトリックサイド情報２１２とユーザ指定のレンダリングパラメータ２１４を受信し、それに基づいて、混合マトリクスＧ（または、同等に、３３７によって示される混合マトリクスＧの混合マトリクス要素）を提供する。
【００８４】
信号処理器３３０は、オプションとして、また、サイド情報修正２４０と機能が、同一であるサイド情報修正３３８を備える。
【００８５】
加えて、装置３００は、調整された混合マトリクス要素を提供する装置３５０を備える。装置３５０は、信号処理器３３０の一部であってもよく、一部でなくてもよい。装置３５０は、混合パラメータ演算３３６によって提供される混合マトリクス３３７，Ｇ（または、同等に、その混合マトリクス要素）を受信し、それに基づいて、調整された混合マトリクス３５２，Ｇ’（または、同等に、その調整された混合マトリクス要素）を提供するように構成される。例えば、周波数バンド毎に、そしてオーディオフレーム毎に、１セットの混合マトリクス要素と、１セットの調整された混合マトリクス要素を提供することができる。言い換えれば、混合マトリクスＧと修正された混合マトリクスＧ’は、フレームワイズの処理が選択された場合、ダウンミックス信号表現２１０のオーディオフレーム毎に一度更新することができる。しかしながら、更新インターバルは、場合によって異なってもよい。また、異なる周波数バンドに対して、多重の混合マトリクスと調整された混合マトリクスＧ，Ｇ’がある必要はない。
【００８６】
しかしながら、装置３５０は、混合パラメータ演算３３６によって提供される混合マトリクス３３７の混合マトリクス要素に基づいて、調整された混合マトリクス３５２の調整された混合マトリクス要素を提供するように構成される。例えば、処理は、所定の混合マトリクス位置の一連の調整された混合マトリクス要素が、同じ混合マトリクス位置での混合マトリクス３３７の一連の混合マトリクス要素に依存するが、異なる混合マトリクス位置での混合マトリクス要素から独立することができるように、混合マトリクス（または調整された混合マトリクス）の位置毎に個別に実行することができる。
【００８７】
調整された混合マトリクス要素を提供する装置３５０は、混合マトリクス３３７に基づいて演算される１つ以上の平均値（例えば、１つ以上のマトリクス位置個々の平均値）に従って、調整された混合マトリクス３５２の１つ以上の調整された混合マトリクス要素を提供するように構成される。調整された混合マトリクス３５２の調整された混合マトリクス要素を提供する装置３５０は、好ましくは、所定の混合マトリクス位置での混合マトリクス要素の時間上の平均値を算出するように構成される。このように、所定の混合マトリクス位置に対して、平均値（好ましくは、しかしながら必然的ではなく、例えば、浮動平均または準無限インパルス応答平均値または再帰的ローパスフィルタリングまたは時間平均に対してよく知られた類似する数値演算によって得られる平均値のような時間的平均値）を、所定の混合マトリクス位置の一連の混合マトリクス要素に基づいて演算することができる。有限インパルス応答平均値または（準）無限インパルス応答平均値（例えば、再帰的ローパスフィルタリングまたは時間平均に対してよく知られた類似する数値演算を用いて取得された）とすることができるそのような平均値（average value）（mean valueとしても示される）を取得するために、例えば、ダウンミックス信号表現２１０の所定のチャンネルの、混合マトリクス要素が複数のオーディオフレームに関係するアップミックス信号表現２２０の所定のチャンネルへの貢献度を記述する一連の混合マトリクス要素を用いることができる。（ダウンミックス信号表現２１０の所定のチャンネルの、アップミックス信号表現２２０の所定のチャンネルへの貢献度を記述する）所定の混合マトリクス位置の現在の調整された混合マトリクス要素は、装置３５０によって、所定の混合マトリクス位置に関係する平均値に従って定められる許容差に制限することができる。
【００８８】
したがって、調整された混合マトリクス要素は、例えば、同じ混合マトリクス位置での前の混合マトリクス要素の平均（有限インパルス応答平均または無限インパルス応答平均）で決定される許容差に限定されるので、混合マトリクス要素の過剰な時間変動は回避される。調整された混合マトリクス３５２の調整された混合マトリクス要素のこのような限定は、通常は、少なくとも非最適なユーザ指定のレンダリングパラメータが最適なユーザ指定のレンダリングパラメータから予め定められた偏差より大きく偏移している場合に、非最適パラメータ（例えば、非最適なユーザ指定のレンダリングパラメータ）の使用によって生じるアップミックス信号２２０の歪みの制限をもたらすことが分かっている。
【００８９】
ここで、調整された混合マトリクス要素を提供する装置３５０は、１つ以上の調整されたパラメータを提供する装置１００と同じ全体の機能を備えることができ、混合マトリクス３３７の混合マトリクス要素は１つ以上の入力パラメータ１１０の役割を持つことができ、調整された混合マトリクス３５２の調整された混合マトリクス要素は１つ以上の調整されたパラメータ１２０の役割を持つことができる点に注意しなければならない。
【００９０】
４．図４に係るパラメータ制限スキーム
【００９１】
以下に、本発明に係るパラメータ制限スキームが、そのようなパラメータ制限スキームの概略表現を示す図４を参照して記載される。
【００９２】
図４は、パラメータ制限スキームのアプリケーションを、ＳＡＯＣデコーダ４１０と組合せて示す。しかしながら、パラメータ制限スキームは、例えば、ＳＡＯＣトランスコーダのような、オーディオデコーダまたはオーディオトランスコーダの異なるタイプと組合せて適用することができる。
【００９３】
ＳＡＯＣデコーダ４１０は、ダウンミックス４２０とＳＡＯＣビットストリーム４２２を受信する。また、ＳＡＯＣデコーダは、１つ以上の出力チャンネル４３０ａ〜４３０Ｍを提供する
【００９４】
【００９５】
【００９６】
パラメータ制限スキーム４５０は、許容差の境界を決定することができる１つ以上のパラメータΛT-，ΛT+を受信することができる。
【００９７】
４．１ 概要
【００９８】
以下に、歪み制御のためのパラメータ制限スキームを通じて、概要が与えられる。
【００９９】
一般的なＳＡＯＣ処理は、時間／周波数選択的方法で遂行され、以下に記載される。
【０１００】
ＳＡＯＣエンコーダは、いくつかの入力オーディオオブジェクト信号の音響心理学的特性（例えば、オブジェクトのパワー関係および相関）を抽出し、次に、それらを複合されたモノラルまたはステレオチャンネルにダウンミックスする（それは、例えば、ダウンミックス信号表現として示すことができる）。このダウンミックス信号と抽出されたサイド情報は、周知の知覚オーディオコーダを用いて、圧縮されたフォーマットで送信される（または記憶される）。受信側では、ＳＡＯＣデコーダは、概念的に、送信されたサイド情報（例えば、オブジェクトレベル差情報ＯＬＤ、オブジェクト間相関情報ＩＯＣ、ダウンミックスゲイン情報ＤＭＧおよびダウンミックスチャンネルレベル差情報ＤＣＬＤ）を用いて、オリジナルのオブジェクト信号（すなわち、分離したダウンミックスオブジェクト）を復元しようと試みる。これらの近似されたオブジェクト信号は、次に、レンダリングマトリクス（通常は、異なるオーディオオブジェクトの、アップミックス信号表現の異なるチャンネルへの貢献度を記述する）を用いて、目標シーンに混合される。レンダリングマトリクスは、各送信されたオーディオオブジェクトとアップミックスセットアップスピーカに対して特定された相対レンダリング係数ＲＣ（またはオブジェクトゲイン）から構成される。これらのオブジェクトゲインは、全ての分離された／レンダーされたオブジェクトの空間位置を決定する。事実上、分離と混合は単一の複合された処理ステップにおいて実行され、それは計算量の莫大な低減に結果としてなるので、オブジェクト信号の分離はめったに実行されない（または更に決して実行されない）。単一の複合された処理ステップは、例えば、オブジェクト分離と分離されたオブジェクトの混合の組合せを記述する変換符号化係数を用いて実行することができる。
【０１０１】
このスキームは、伝送ビットレート（それは、多数の個別のオブジェクトオーディオ信号の代わりに、１つまたは２つのダウンミックスチャンネルと、加えていくつかのサイド情報を送信することを必要とするだけである）と、計算量（処理複雑度は、オーディオオブジェクト数よりもむしろ出力チャンネル数に主に関係する）の両方に関して、大いに効率的であることが分かっている。
【０１０２】
ＳＡＯＣデコーダは、オブジェクトゲインと他のサイド情報を、レンダーされた出力オーディオシーン（または、更なる復号化演算、例えば、通常は多重チャンネルＭＰＥＧサラウンドレンダリングに対して前処理されたダウンミックス信号）に対して、対応する信号をつくるためにダウンミックス信号に適応される変換符号化係数（ＴＣ）に、直接的に変換（パラメトリックレベルで）する。
【０１０３】
レンダーされた出力シーンの主観的に知覚されたオーディオ品質は、特許文献１に記述されるように、歪み制御尺度あるいはＤＣＭのアプリケーションによって改善することができることが分かっている。この改善は、目標レンダリング設定の適度な動的修正を受け入れる代価で達成することができる。レンダリング情報の修正は、特定の環境下で不自然な音響呈色と時間変動アーチファクトに結果としてなる可能性がある時間および周波数可変の性質を有する。
【０１０４】
特許文献１に記載された歪み制御尺度（ＤＣＭ）の変形例として、本発明に係る実施形態は、オーディオアーチファクト（音響呈色、時間変動、その他）の低減にフォーカスし、同時に自然な音響品質を保持する、多数のパラメータ制限スキームを使用する。
【０１０５】
本願明細書に記載された提案されたパラメータ制限スキームのコンセプトは、音響心理学的モデルに基づく複雑なアルゴリズムを用いて算出される歪み尺度に基づいてレンダリング係数（ＲＣ）を調整することはしない。その代わりに、提案されたパラメータ制限スキームのコンセプトは、低い計算量と構成上の複雑度を示し、それ故にＳＡＯＣ技術への統合化に対して魅力的である。にもかかわらず、それらは、また、お互いに補足することでより良好な全体の出力品質を達成するために、特許文献１に記載されたスキームと都合よく組合せることができる。
【０１０６】
全体のＳＡＯＣシステムの範囲内で、パラメータ制限スキームは、２つの方法でＳＡＯＣデコーダ処理チェーンに組み込むことができる。例えば、そのパラメータ制限スキームは、図４において変形例（ａ）として示されるように、レンダリング係数（ＲＣ）を制御することによってＳＡＯＣ出力の間接的な（外部の）修正のためのフロントエンドに位置付けることができる。あるいは、固有の変換符号化係数（ＴＣ）は、図４において変形例（ｂ）として示されるように、係数がダウンミックス信号に適用され、出力アップミックスチャンネル信号を生成する前に、ＳＡＯＣデコーダのバックエンドにおいて直接的に（内部的に）修正される。
【０１０７】
４．２ 間接制御
【０１０８】
以下に、間接制御のコンセプトが更に詳細に述べられる。
【０１０９】
間接制御法の基礎をなす前提は、歪みレベルと、ＲＣのオブジェクト平均化された値からの偏差との関係を考慮する。これは、ＲＣによって、他のオブジェクトに関する特定のオブジェクトに、特別な減衰／ブーストが適用されればされるほど、ＳＡＯＣデコーダ／トランスコーダによって、伝送されたダウンミックス信号の積極的な修正が実行されるという知見に基づいている。言い換えれば、「オブジェクトゲイン」値の偏差がお互いと比較して高ければ高いほど、容認できない歪みが起こる機会が高い（同一のダウンミックス係数と仮定して）。これは、ＲＣの、全てのオブジェクト全体のＲＣの平均（例えば、平均レンダリング値）からの偏差を調べることによって、テストすることができることが分かっている。
【０１１０】
引き続く記述は、一般性の喪失なしに、全てのオブジェクトに対して単一のダウンミックスゲインを有するモノラルダウンミックスを考慮する構成に基づいている。（異なるおよび／または動的なオブジェクトゲインを有する）非自明なダウンミックスの場合、アルゴリズムは適切に修正することができる。加えて、ＲＣは、表記を簡単にするため、周波数不変であると仮定される。
【０１１１】
【０１１２】
【０１１３】
【０１１４】
【０１１５】
【０１１６】
【０１１７】
【０１１８】
【０１１９】
４．２．１ ワンステップ解法
【０１２０】
【０１２１】
【０１２２】
４．２．２ 反復解法
【０１２３】
【０１２４】
【０１２５】
この処理は、全ての値が許容範囲の内側となるまで、または予め定められた反復回数によって実行することができる。
【０１２６】
【０１２７】
４．３ 直接制御
【０１２８】
直接制御法の基礎をなす前提は、歪みレベルと、ＴＣの時間平均された値からの偏差との関係を考慮する。これは、他のオブジェクトに関する特定のオブジェクトに対して、特別な減衰／ブーストが適用されればされるほど、ＴＣによって送信されたダウンミックス信号の積極的な修正が、ＳＡＯＣデコーダ／トランスコーダによって実行されるという知見に基づいている。言い換えれば、ＴＣの値が異常に大きい場合、ＳＡＯＣアルゴリズムは、小さいパワーを有するオブジェクト信号を、大きなブーストを適用することによって、大きいパワーを有する他のオブジェクト信号によって支配される出力内に修正することを試みると結論づけることができる。逆にいえば、ＴＣが異常に小さい場合、ＳＡＯＣアルゴリズムは、大きいパワーを有するオブジェクト信号を、大きな減衰を適用することによって、小さいパワーを有する他のオブジェクト信号によって支配される出力内に修正することを試みると結論づけることができる。いずれの場合においても、ＳＡＯＣ出力において、容認できないほど低い信号品質を生じる高いリスクがある。このように、中心的なアイデアは、ＴＣの、平均値からの大きな偏差を防止することである。
【０１２９】
このＰＬＳは、ＳＡＯＣ信号パラメータ（例えばＯＬＤ、ＩＯＣ）への全ての従属と変換符号化／復号化プロセスの発見的要素を含むので、時間および周波数可変とみなすことができる。
【０１３０】
引き続く記述は、一般性の喪失なしに、モノラルアップミックスを考慮する構成に基づいている。
【０１３１】
【０１３２】
【０１３３】
【０１３４】
【０１３５】
これは、特定の予め定義された値よりもむしろＴＣから動的に演算される基準値に関連して実行されるＴＣ制限演算に対応する点に注意すべきである。
【０１３６】
【０１３７】
以下に、この問題に対する可能な解法アルゴリズムが記載される。
【０１３８】
４．３．１ 解法アルゴリズム
【０１３９】
【０１４０】
４．３．２ 変換符号化係数の例
【０１４１】
上述の変換符号化係数に対するパラメータ制限スキームは、例えば、上で述べたＳＡＯＣデコーダおよびトランスコーダにおいて用いられる異なる変換符号化係数に適用することができる。
【０１４２】
【０１４３】
図１０の表は、全てのＳＡＯＣ動作モードに対して、提案されたパラメータ制限スキームによって修正、例えば、制限することができる変換符号化係数のリストを提供する。図１０の表は、第１カラム１０１０において、異なるＳＡＯＣモードを示す。図１０の表は、更に、第２カラム１０２０において、提案されたパラメータ制限スキームによって、どのパラメータを修正する（例えば、制限する）ことができるかを示す。第３カラム１０３０は、非特許文献７のＭＰＥＧ‐ＳＡＯＣのＦＣＤ文書の対応する節の参照表示を示す。要約すると、図１０の表は、全てのＳＡＯＣ動作モードに対して、提案されたパラメータ制限スキームによって修正する（例えば、制限する）ことができる変換符号化係数のリストを、ＭＰＥＧ‐ＳＡＯＣのＦＣＤ文書の対応する節を参照して示す。
【０１４４】
４．４ 制限された相対偏差に対するパラメータ制限スキームの一般化された定式化
【０１４５】
【０１４６】
【０１４７】
【０１４８】
以下に、２つの解法アルゴリズムが述べられる。
【０１４９】
一般に、このような最小化問題の正確な解を取得する解析的アプローチは、計算上大変な労力を要する。にもかかわらず、依然としてＰＬＳ目的に適するサブオプティマルな結果を提供する簡単で速い代替方法が存在する。２つのこのような簡単なアプローチがここで記載される。
【０１５０】
４．４．１ ワンステップ解法
【０１５１】
【０１５２】
許容範囲（それは、許容差とみなすことができる）の内側にある値は、例えば、不変のままとすることができる。
【０１５３】
４．４．２ 反復解法
【０１５４】
【０１５５】
【０１５６】
反復の数は、特定の値にセットするかまたはアルゴリズムから暗黙に導き出すことができる。
【０１５７】
全てのこれらの方法は、上述のように、ＲＣとＴＣを制限するために適用することができる点に注意しなければならない。
【０１５８】
４．５ 一般化された線形定式化
【０１５９】
【０１６０】
【０１６１】
以下に、この問題に対する２つの解法アルゴリズムが記載される。
【０１６２】
一般に、このような最小化問題の正確な解を取得する解析的アプローチは、計算上大変な労力を要する。にもかかわらず、依然としてＰＬＳ目的に適するサブオプティマルな結果を提供する簡単で速い代替方法が存在する。２つのこのような簡単なアプローチがここで記載される。
【０１６３】
４．５．１ ワンステップ解法
【０１６４】
【０１６５】
４．５．２ 反復解法
【０１６６】
【０１６７】
【０１６８】
【０１６９】
全てのこれらの方法は、上述のように、ＲＣとＴＣを制限するために適用することができる点に注意しなければならない。
【０１７０】
【０１７１】
このバージョンのアルゴリズムは、固定の（静的な）許容範囲Λx-，Λx+を用いる。
【０１７２】
４．６ 更なる注釈
【０１７３】
上述のように、全てのこれらの方法は、レンダリング係数と変換符号化係数を制限するために適用することができる点に注意しなければならない。
【０１７４】
５．多重チャンネルのダウンミックス／アップミックスシナリオへのパラメータ制限スキームのアプリケーション
【０１７５】
モノラルのダウンミックス／モノラルアップミックスシナリオの単一のＴＣ ＰＬＳ（例えば、直接制御）は、ダウンミックス／アップミックスチャンネルのいかなる組合せも考慮するＴＣマトリクスに拡張する。従って、直接制御は、各ＴＣに対して個々に適用することができる。ＲＣ ＰＬＳ（例えば間接制御）に対する多重チャンネルのアップミックスシナリオは、例えば、全ての個々のレンダリング係数が独立に処理される簡単な多重のモノラルアプローチにおいて実現することができる。
【０１７６】
６．リスニングテスト結果
【０１７７】
６．１ テスト計画および項目
【０１７８】
主観的リスニングテストは、提案された歪み制御尺度（ＤＣＭ）コンセプトの知覚的パフォーマンスを評価し、それを通常のＳＡＯＣ参照モデル（ＳＡＯＣ‐ＲＭ）復号化処理と比較するために行われた。
【０１７９】
テスト計画は、提案されたパラメータ制限スキームの直接および間接の制御アプローチの個々のアプリケーションのケースならびにそれらの組み合わせを含む。通常の（パラメータ制限スキームＰＬＳによって処理されていない）ＳＡＯＣデコーダの出力信号は、ＳＡＯＣのベースラインパフォーマンスを実証するために、試験に含まれる。加えて、ダウンミックス信号に対応する平凡なレンダリングのケースが、リスニングテストにおいて比較の目的で用いられる。
【０１８０】
図５ａの表は、リスニングテスト条件を記載する。
【０１８１】
現行のリスニングテストに対して、極端なレンダリング条件に対する典型的なおよび最もクリチカルなアーチファクトタイプを表現する４つの項目が、提案募集（ＣｆＰ）のリスニングテスト素材から選択された。
【０１８２】
図５ｂの表は、リスニングテストのオーディオ項目を記載する。
【０１８３】
図６の表に係るレンダリングオブジェクトゲインは、考慮されるアップミックスシナリオに対して適用された。
【０１８４】
提案されたＰＬＳは、通常のＳＡＯＣビットストリームおよびダウンミックス（ＳＡＯＣエンコーダサイドでのいかなるＰＬＳ関連アクティビティも必要ない）を用いて動作し、残余情報を中継しないので、対応するＳＡＯＣダウンミックス信号に対してコアコーダは適用されなかった。
【０１８５】
【０１８６】
６．２ テスト方法
【０１８７】
主観的リスニングテストは、高品質リスニングができるように設計された音響的に隔離されたリスニングルームで行われた。再生は、ヘッドホン（Ｌａｋｅ‐ＰｅｏｐｌｅのＤ／ＡコンバータとＳＴＡＸのＳＲＭモニタを有するＳＴＡＸ ＳＲ Ｌａｍｄａ Ｐｒｏ）を用いてなされた。
【０１８８】
テスト方法は、中間品質オーディオの主観的評価のための隠されたリファレンスとアンカーを有する多重励振（ＭＵＳＨＲＡ）法（非特許文献６）に基づいて、空間オーディオ検証試験において用いられる手順に準拠した。テスト方法は、提案されたＤＣＭコンセプトの知覚的パフォーマンスを評価するために、ぴったりあわせて修正された。採用されたテスト方法に従って、リスナーは、以下のリスニングテスト指令に従って全てのテスト条件をお互いに比較するように命じられた。
【０１８９】
各オーディオ項目に対して、
●最初に、あなたがシステムユーザとして達成することを望む所望のサウンドミックスの記述を読んで下さい。
項目「BlackCoffee」： サウンドミックス内のソフトなホーンセクションサウンド
項目「Fanta4」：サウンドミックス内の大きなドラムサウンド
項目「LovePop」：サウンドミックス内のソフトなストリングセクションサウンド
項目「Audition」：ソフトな音楽と大きなボーカルサウンド
●次に、以下の両方を記述する１つの共通の等級を用いて信号を等級分けして下さい。
―所望のサウンドミックスの目的を達成する
―全体のシーンのサウンド品質（歪み、アーチファクト、不自然さ...を考慮する）
【０１９０】
合計９人のリスナーは、実行された試験の各々に参加した。全ての被検者は、経験豊かなリスナーとみなすことができる。テスト条件は、各テスト項目と各リスナーに対して自動的にランダム化された。主観的応答は、コンピュータベースのＭＵＳＨＲＡプログラムによって、０から１００にわたるスケールで記録された。テスト下の項目間の瞬時スイッチングが可能とされた。
【０１９１】
６．３ リスニングテスト結果
【０１９２】
取得されたリスニングテスト結果を示す図面に関する簡単な概要は、解説において見ることができる。これらのプロットは、全てのリスナーを通じた項目毎の平均ＭＵＳＨＲＡ等級と、全ての評価された項目を通じた統計的平均値を、関連する９５％の信頼区間と共に示す。
【０１９３】
行われたリスニングテストの結果に基づいて、以下の知見をなすことができる。行われた全てのリスニングテストに対して、取得されたＭＵＳＨＲＡスコアは、通常のＳＡＯＣ‐ＲＭシステムと比較して、全体の統計的平均値の意味で、提案されたＰＬＳ機能が良好なパフォーマンスを提供することを証明している。通常のＳＡＯＣデコーダ（考慮された極端なレンダリング条件に対して大きなオーディオアーチファクト示す）によって生成された全ての項目の品質は、所望のレンダリングシナリオを全く満たさないダウンミックとス同一のレンダリング設定の品質と比較して、わずかに高く等級分けされる点に注意しなければならない。それ故、提案されたＰＬＳは、全ての考慮されるリスニングテストシナリオに対して、主観的信号品質のかなりの改善に導くと結論づけることができる。また、最も有望な制限システムは、ＲＣとＴＣのＰＬＳの両方の組合せから成ると結論づけることができる。
【０１９４】
リスニングテスト結果に関する詳細は、図７の図解図において見ることができる。
【０１９５】
７．実施変形例
【０１９６】
いくつかの態様が装置の局面において記載されてきたが、これらの態様は、１つのブロックまたはデバイスが１つの方法ステップまたは方法ステップの特徴に対応する、対応する方法の記述をも表していることは明らかである。同様に、方法ステップの局面において記載された態様は、対応する装置の対応するブロックまたはアイテムまたは特徴の記述をも表している。いくつかまたは全ての方法ステップは、例えば、マイクロプロセッサ、プログラム可能なコンピュータまたは電子回路のようなハードウェア装置によって（または用いて）実行することができる。いくつかの実施形態において、いくつかの１つ以上の最も重要な方法ステップは、このような装置によって実行することができる。
【０１９７】
発明の符号化されたオーディオ信号は、デジタル記憶媒体上に記憶することができる、または、無線伝送媒体のような伝送媒体またはインターネットのような有線伝送媒体上を送信することができる。
【０１９８】
特定の実施要求に従って、本発明の実施形態は、ハードウェアにおいてまたはソフトウェアにおいて実施することができる。実施は、その上に格納される電子的に読み込み可能な制御信号を有し、それぞれの方法が実行されるようにプログラム可能なコンピュータシステムと協働する（または協働することができる）デジタル記憶媒体、例えばフロッピー（登録商標）ディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭまたはフラッシュメモリを用いて実行することができる。従って、デジタル記憶媒体はコンピュータ読取可能とすることができる。
【０１９９】
本発明に係るいくつかの実施形態は、電子的に読み込み可能な制御信号を有し、本願明細書に記載された方法の１つが実行されるように、プログラム可能なコンピュータシステムと協動することができる、データキャリアを含む。
【０２００】
一般に、本発明の実施形態は、コンピュータプログラム製品がコンピュータ上で動作するとき、本発明の方法の１つを実行するために動作可能であるプログラムコードを有するコンピュータプログラム製品として実施することができる。プログラムコードは、例えば、機械読取可能なキャリア上に記憶することができる。
【０２０１】
他の実施形態は、機械読取可能なキャリア上に記憶され、本願明細書に記載された方法の１つを実行するためのコンピュータプログラムを含む。
【０２０２】
言い換えれば、本発明の方法の実施形態は、それ故に、コンピュータプログラムがコンピュータ上で動作するとき、本願明細書に記載された方法の１つを実行するためのプログラムコードを有するコンピュータプログラムである。
【０２０３】
本発明の方法の更なる実施形態は、それ故に、本願明細書に記載された方法の１つを実行するためのコンピュータプログラムがその上に記録されたデータキャリア（またはデジタル記憶媒体またはコンピュータ読取可能媒体）である。データキャリア、デジタル記憶媒体または記録された媒体は、通常は有形および／または非遷移的である。
【０２０４】
本発明の方法の更なる実施形態は、それ故に、本願明細書に記載された方法の１つを実行するためのコンピュータプログラムを表現するデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、データ通信接続、例えばインターネットを介して伝送されるように構成することができる。
【０２０５】
更なる実施形態は、本願明細書に記載された方法の１つを実行するように構成され、または適合された処理手段、例えばコンピュータ、またはプログラマブルロジックデバイスを含む。
【０２０６】
更なる実施形態は、本願明細書に記載された方法の１つを実行するためのコンピュータプログラムをインストールしたコンピュータを含む。
【０２０７】
いくつかの実施形態では、プログラマブルロジックデバイス（例えばフィールドプログラマブルゲートアレイ）を、本願明細書に記載された方法の機能の一部または全部を実行するために用いることができる。いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本願明細書に記載された方法の１つを実行するために、マイクロプロセッサと協働することができる。一般に、方法は、好ましくはいかなるハードウェア装置によっても実行される。
【０２０８】
上記した実施形態は、単に本発明の原理に対して説明したものである。本願明細書に記載された構成および詳細の修正および変更は、他の当業者にとって明らかであると理解される。本発明は、それ故に、特許クレームのスコープのみによって制限され、本願明細書の実施形態の記述および説明によって提供された特定の詳細によって制限されないことを意図する。
【０２０９】
８．結論
【０２１０】
本発明に係る実施形態は、オーディオデコーダにおける歪み制御に対して、パラメータ制限スキームを構築する。本発明に係るいくつかの実施形態は、所望の再生セットアップ（例えば、モノラル、ステレオ、５．１、他）の選択と、個人的な嗜好または他の基準に従ってレンダリングマトリクスを制御することによる所望の出力レンダリングシーンの対話式リアルタイム修正のためのユーザインターフェース手段を提供する、空間オーディオオブジェクト符号化（ＳＡＯＣ）に焦点を合わせている。しかしながら、提案された方法をパラメトリック技術に一般的に適合させることは、直接的な作業である。
【０２１１】
ダウンミックス／分離／混合ベースのパラメトリックアプローチのため、レンダーされたオーディオ出力の主観的品質はレンダリングパラメータ設定に依存する。ユーザ選択のレンダリング設定を選択する自由度は、全体の音響シーン内のオブジェクトの極端なゲイン操作のような、不適切なオブジェクトレンダリングオプションを選択するユーザのリスクを引き起こす。
【０２１２】
商用製品に対して、悪い音響品質および／またはオーディオアーチファクトを生じることは、ユーザインターフェースのいかなる設定に対しても、なんとしても容認できない。生成されたＳＡＯＣオーディオ出力の過剰な歪みを制御するために、レンダーされたシーンの知覚的な品質の尺度を演算し、この尺度（および他の情報）に基づいて、実際に適用されたレンダリング係数を修正するというアイデアに基づく、いくつかの計算上の尺度が記述されている（特許文献１参照）。
【０２１３】
本発明は、次のようなレンダーされたＳＡＯＣシーンの主観的音響品質を保護する代替のアイデアを構築する。
●全ての処理がＳＡＯＣデコーダ／トランスコーダの中で完全に行われる
●レンダーされた音響シーンの知覚されたオーディオ品質の複雑な尺度の明示の計算を含まない
【０２１４】
これらのアイデアは、このように、ＳＡＯＣデコーダ／トランスコーダのフレームワーク内で、構造的に簡単で極めて効率的な方法で実施することができる。提案された歪み制御メカニズム（ＤＣＭ）は、ＳＡＯＣデコーダ、すなわち、レンダリング係数（ＲＣ）および変換符号化係数（ＴＣ）に固有のパラメータを制限することを目的とするので、本書面の全体にわたって、パラメータ制限スキーム（ＰＬＳ）と呼ばれる。
【０２１５】
しかしながら、パラメータ制限スキームは、いかなる異なるオーディオデコーダに対しても同様に適用することができる。
【技術分野】
【０００１】
本発明に係る実施形態は、ダウンミックス信号表現と、ダウンミックス信号表現に関係するパラメトリックサイド情報に基づくアップミックス信号表現の提供に対して、１つ以上の調整されたパラメータを提供する装置に関する。
【０００２】
本発明に係る他の実施形態は、ダウンミックス信号表現とパラメトリックサイド情報に基づいてアップミックス信号表現を提供する装置に関する。
【０００３】
本発明に係る他の実施形態は、ダウンミックス信号表現と、ダウンミックス信号表現に関係するパラメトリックサイド情報に基づくアップミックス信号表現の提供に対して、１つ以上の調整されたパラメータを提供する方法に関する。
【０００４】
本発明に係る他の実施形態は、前記方法を実行するためのコンピュータプログラムに関する。
【０００５】
本発明に係るいくつかの実施形態は、ＭＰＥＧ‐ＳＡＯＣにおける歪み制御のためのパラメータ制限スキームに関する。
【背景技術】
【０００６】
オーディオ処理、オーディオ伝送およびオーディオ記憶の技術において、聴覚インプレッションを改善するために、マルチチャンネルコンテンツを取り扱うという増大する要望がある。マルチチャンネルオーディオコンテンツの使用は、ユーザに対して有意の進歩をもたらす。例えば、娯楽アプリケーションにおいて、改善されたユーザ満足度をもたらす三次元聴覚インプレッションを取得することができる。しかしながら、マルチチャンネルオーディオコンテンツは、また、マルチチャンネルオーディオ再生を用いて話者了解度を改善することができるので、専門の環境、例えば電話会議アプリケーションにおいて有用である。
【０００７】
しかしながら、また、マルチチャンネルアプリケーションによって生じる過度なリソース負荷を回避するために、オーディオ品質とビットレート要求条件との良好なトレードオフを有することが望ましい。
【０００８】
最近、ビットレートの効率的な伝送のためのパラメトリック技術および／または多重のオーディオオブジェクトを含むオーディオシーンの記憶、例えば、バイノーラルキュー符号化（Ｉ型）（例えば、非特許文献１を参照）、ジョイントソース符号化（例えば、非特許文献２を参照）、およびＭＰＥＧ空間オーディオオブジェクト符号化（ＳＡＯＣ）（例えば、非特許文献３，４，５を参照）が提案されている。
【０００９】
受信サイドでのユーザ対話性と共に、このような技術は、極端なオブジェクトレンダリングが実行される場合に、出力信号の低いオーディオ品質に結果として導く可能性がある（例えば、特許文献１を参照）。
【００１０】
これらの技術は、所望の出力オーディオシーンを、波形マッチングによるよりもむしろ知覚的に復元することを目指している。
【００１１】
図８は、このようなシステム（ここでは、ＭＰＥＧ‐ＳＡＯＣ）のシステム概要を示す。図８に示されるＭＰＥＧ−ＳＡＯＣシステム８００は、ＳＡＯＣエンコーダ８１０とＳＡＯＣデコーダ８２０を備える。ＳＡＯＣエンコーダ８１０は、例えば、時間ドメイン信号として、または時間‐周波数ドメイン信号（例えば、フーリエタイプ変換の変換係数のセットの形の、またはＱＭＦサブバンド信号の形の）として表すことができる複数のオブジェクト信号ｘ1〜ｘNを受信する。ＳＡＯＣエンコーダ８１０は、通常は、オブジェクト信号ｘ１〜ｘＮに関係するダウンミックス係数ｄ1〜ｄNも受信する。ダウンミックス係数の分離したセットは、ダウンミックス信号の各チャンネルに対して利用することができる。ＳＡＯＣエンコーダ８１０は、通常は、オブジェクト信号ｘ1〜ｘNを関係するダウンミックス係数ｄ1〜ｄNに従って結合することによって、ダウンミックス信号のチャンネルを取得するように構成される。通常、ダウンミックスチャンネルは、オブジェクト信号ｘ1〜ｘNより少ない。ＳＡＯＣデコーダ８２０の側でのオブジェクト信号の分離（または分離処理）を（少なくとも近似的に）可能とするため、ＳＡＯＣエンコーダ８１０は、１つ以上のダウンミックス信号（ダウンミックスチャンネルとして示される）８１２と、サイド情報８１４の両方を提供する。サイド情報８１４は、デコーダ側でのオブジェクト特有の処理を可能とするため、オブジェクト信号ｘ1〜ｘNの特性を記述する。
【００１２】
ＳＡＯＣデコーダ８２０は、１つ以上のダウンミックス信号８１２とサイド情報８１４の両方を受信するように構成される。また、ＳＡＯＣデコーダ８２０は、通常は、所望のレンダリングセットアップを記述するユーザ対話情報および／またはユーザ制御情報８２２を受信するように構成される。例えば、ユーザ対話情報／ユーザ制御情報８２２は、スピーカセットアップと、オブジェクト信号ｘ1〜ｘNを提供するオブジェクトの所望の空間配置を記述することができる。
【００１３】
【００１４】
【００１５】
ここで図９ａ、９ｂ、９ｃを参照して、ダウンミックス信号表現とオブジェクト関連サイド情報に基づいてアップミックス信号表現を取得する異なる装置が記載される。オブジェクト関連サイド情報は、ダウンミックス信号に関係するサイド情報の例である点に注意しなければならない。図９ａは、ＳＡＯＣデコーダ９２０を備えるＭＰＥＧ‐ＳＡＯＣシステム９００の概略ブロック図である。ＳＡＯＣデコーダ９２０は、分離した機能ブロックとして、オブジェクトデコーダ９２２と混合器／レンダー器９２６を備える。オブジェクトデコーダ９２２は、ダウンミックス信号表現（例えば、時間ドメインにおいてまたは時間‐周波数ドメインにおいて表現される１つ以上のダウンミックス信号の形の）と、オブジェクト関連のサイド情報（例えば、オブジェクトメタデータの形の）に従って、複数の復元されたオブジェクト信号９２４を提供する。混合器／レンダー器９２６は、複数のＮ個のオブジェクトに関係する復元されたたオブジェクト信号９２４を受信し、それとレンダリング情報に基づいて、１つ以上のアップミックスチャンネル信号９２８を提供する。ＳＡＯＣデコーダ９２０において、オブジェクト信号９２４の抽出は、オブジェクト復号化機能の混合／レンダリング機能からの分離を可能とする混合／レンダリングから分離して実行されるが、比較的高い計算量をもたらす。
【００１６】
ここで図９ｂを参照して、ＳＡＯＣデコーダ９５０を備える他のＭＰＥＧ‐ＳＡＯＣシステム９３０が簡単に述べられる。ＳＡＯＣデコーダ９５０は、ダウンミックス信号表現（例えば、１つ以上のダウンミックス信号の形の）と、オブジェクト関連サイド情報（例えば、オブジェクトメタデータの形の）に従って、複数のアップミックスチャンネル信号９５８を提供する。ＳＡＯＣデコーダ９５０は、オブジェクト復号化と混合／レンダリングの分離なしの合同の混合プロセスにおいてアップミックスチャンネル信号９５８を取得するように構成され、前記合同のアップミックスプロセスに対するパラメータがオブジェクト関連サイド情報とレンダリング情報の両方に依存する、複合されたオブジェクトデコーダおよび混合器／レンダー器を備える。合同のアップミックスプロセスは、オブジェクト関連サイド情報の一部であるとみなされるダウンミックス情報にも依存する。
【００１７】
上記を要約すると、アップミックスチャンネル信号９２８、９５８の提供は、１つのステッププロセスまたは２つのステッププロセスにおいて実行することができる。
【００１８】
ここで図９ｃを参照して、ＭＰＥＧ‐ＳＡＯＣシステム９６０が記載される。ＳＡＯＣシステム９６０は、ＳＡＯＣデコーダよりもむしろ、ＳＡＯＣ‐ＭＰＥＧサラウンドトランスコーダ９８０を備える。
【００１９】
ＳＡＯＣ‐ＭＰＥＧサラウンドトランスコーダは、オブジェクト関連サイド情報（例えば、オブジェクトメタデータの形の）と、オプションとして、１つ以上のダウンミックス信号とレンダリング情報に関係する情報を受信するように構成された、サイド情報トランスコーダ９８２を備える。サイド情報トランスコーダは、また、受信されたデータに基づいて、ＭＰＥＧサラウンドサイド情報（例えば、ＭＰＥＧサラウンドビットストリームの形の）を提供するように構成される。したがって、サイド情報トランスコーダ９８２は、オブジェクトエンコーダから受信されるオブジェクト関連（パラメトリック）サイド情報を、レンダリング情報とオプションとして１つ以上のダウンミックス信号のコンテンツについての情報を考慮に入れて、チャンネル関連（パラメトリック）サイド情報に変換するように構成される。
【００２０】
オプションとして、ＳＡＯＣ‐ＭＰＥＧサラウンドトランスコーダ９８０は、例えば、ダウンミックス信号表現によって記述された１つ以上のダウンミックス信号を操作し、操作されたダウンミックス信号表現９８８を取得するように構成することができる。しかしながら、ＳＡＯＣ‐ＭＰＥＧサラウンドトランスコーダ９８０の出力ダウンミックス信号表現９８８がＳＡＯＣ‐ＭＰＥＧサラウンドトランスコーダの入力ダウンミックス信号表現と同じであるように、ダウンミックス信号操作器９８６を省略することができる。ダウンミックス信号操作器９８６は、例えば、いくつかのレンダリング配列において存在する可能性がある、チャンネル関連ＭＰＥＧサラウンドサイド情報９８４がＳＡＯＣ‐ＭＰＥＧサラウンドトランスコーダ９８０の入力ダウンミックス信号表現に基づいて所望の聴覚インプレッションを提供することを可能にしない場合に、用いることができる。
【００２１】
したがって、ＳＡＯＣ‐ＭＰＥＧサラウンドトランスコーダ９８０は、ＳＡＯＣ‐ＭＰＥＧサラウンドトランスコーダ９８０へのレンダリング情報入力に従ってオーディオオブジェクトを表現する複数のアップミックスチャンネル信号を、ＭＰＥＧサラウンドビットストリーム９８４とダウンミックス信号表現９８８を受信するＭＰＥＧサラウンドデコーダを用いて生成することができるように、ダウンミックス信号表現９８８とＭＰＥＧサラウンドビットストリーム９８４を提供する。
【００２２】
上記を要約すると、ＳＡＯＣ符号化されたオーディオ信号を復号化するために異なるコンセプトを用いることができる。場合によっては、ダウンミックス信号表現とオブジェクト関連パラメトリックサイド情報に従ってアップミックスチャンネル信号（例えば、アップミックスチャンネル信号９２８、９５８）を提供する、ＳＡＯＣデコーダが用いられる。このコンセプトに対する実施例は、図９ａと９ｂに見ることができる。あるいは、ＳＡＯＣ符号化されたオーディオ情報は、所望のアップミックスチャンネル信号を提供するためにＭＰＥＧサラウンドデコーダによって用いることができる、ダウンミックス信号表現（例えばダウンミックス信号表現９８８）とチャンネル関連サイド情報（例えば、チャンネル関連ＭＰＥＧサラウンドビットストリーム９８４）を取得するために変換することができる。
【００２３】
図８においてシステム概要が与えられる、ＭＰＥＧ‐ＳＡＯＣシステム８００において、一般的な処理が周波数選択的方法で行われ、各周波数バンド内で以下のように記述することができる。
●Ｎ個の入力オーディオオブジェクト信号ｘ1〜ｘNは、ＳＡＯＣエンコーダ処理の一部としてダウンミックスされる。モノラルダウンミックスに対して、ダウンミックス係数は、ｄ1〜ｄNで示される。加えて、ＳＡＯＣエンコーダ８１０は、入力オーディオオブジェクトの特性を記述するサイド情報８１４を抽出する。ＭＰＥＧ‐ＳＡＯＣに対して、お互いに関するオブジェクトパワーの関係は、このようなサイド情報の最も基本的な形である。
●ダウンミックス信号８１２とサイド情報８１４は、送信され、および／または、記憶される。この目的に対して、ダウンミックスオーディオ信号は、ＭＰＥＧ‐１のレイヤＩＩまたはＩＩＩ（「．ｍｐ３」としても知られる）、ＭＰＥＧアドバンストオーディオコーディング（ＡＡＣ）またはその他のオーディオコーダのような周知の知覚的オーディオコーダを用いて圧縮することができる。
●事実上、オブジェクト信号の分離は、分離ステップ（オブジェクト分離器８２０ａによって示される）と混合ステップ（混合器８２０ｃによって示される）の両方がしばしば計算量において莫大な減少に結果としてなる単一の変換符号化ステップに結合されるので、ほとんど実行されない（または決して実行されない）。
【００２４】
このようなスキームは、伝送ビットレート（Ｎ個の離散オブジェクトオーディオ信号または離散システムの代わりに、少しのダウンミックスチャンネルといくつかのサイド情報を送信することが必要なだけである）と計算量（処理複雑度は、主にオーディオオブジェクトの数よりむしろ出力チャンネル数に関係する）の両方に関して、大いに効率的であることが分かっている。受信端のユーザに対する更なる利益は、ユーザ選択（モノラル、ステレオ、サラウンド、バーチャル化されたヘッドホン再生、その他）のレンダリングセットアップを選択する自由度と、ユーザ対話性の特徴を含み、レンダリングマトリクス、従って出力シーンは、ユーザによって、意志、個人的嗜好または他の基準に従って設定し、対話的に変更することができる。例えば、１つの空間エリアに固まっている１つのグループから話し手を位置決めし、他の残りの話し手からの識別を最大化することが可能である。この対話性は、デコーダ・ユーザインターフェースを提供することによって達成される。
【００２５】
各送信されたオブジェクトに対して、その相対レベルと、（非モノラルレンダリングに対して）レンダリングの空間位置を調整することができる。これは、ユーザが付随するグラフィカルユーザインターフェイス（ＧＵＩ）のスライダの位置を変える（例えば、object level = +5dB, object position = -30deg）ように、リアルタイムに発生することができる。
【００２６】
【００２７】
【先行技術文献】
【非特許文献】
【００２８】
【非特許文献１】C. Faller および F. Baumgarte、「バイノーラルキュー符号化‐第２部：スキームおよびアプリケーション」、IEEE Trans. on Speech and Audio Proc., vol.11, No. 6、２００３年１１月
【非特許文献２】C. Faller、「オーディオソースのパラメトリックジョイント符号化」、第１２０回ＡＥＳ大会、予稿集６７５２、パリ、２００６年
【非特許文献３】J. Herre, S. Disch, J. Hilpert, O. Hellmuth、「ＳＡＣからＳＡＯＣ‐ 空間オーディオのパラメトリック符号化における最近の成果」、第２２回英国ＡＥＳ会議、ケンブリッジ、英国、２００７年４月
【非特許文献４】J. Engdegaerd, B. Resch, C. Falch, O. Hellmuth, J. Hilpert, A. Hoelzer, L. Terentiev, J. Breebaart, J. Koppens, E. Schuijers and W. Oomen、「空間オーディオオブジェクト符号化（ＳＡＯＣ）‐ パラメトリックオブジェクトベースのオーディオ符号化に関するやがて公開されるＭＰＥＧ標準」、第１２４回ＡＥＳ大会、予稿集７３７７、アムステルダム、２００８年
【非特許文献５】ＩＳＯ／ＩＥＣ、「ＭＰＥＧオーディオ技術‐第２部：空間オーディオオブジェクト符号化（ＳＡＯＣ）」、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１（ＭＰＥＧ）ＦＣＤ２３００３-２
【非特許文献６】ＥＢＵ技術勧告：「中間オーディオ品質の主観的リスニングテストのためのＭＵＳＨＲＡ‐ＥＢＵ法」、文書Ｂ／ＡＩＭ０２２、１９９９年１０月
【非特許文献７】ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１（ＭＰＥＧ）、文書Ｎ１０８４３、「ＩＳＯ／ＩＥＣ２３００３-２に関する研究：２００ｘ年空間オーディオオブジェクト符号化（ＳＡＯＣ）」、第８９回ＭＰＥＧミーティング、ロンドン、英国、２００９年７月
【特許文献】
【００２９】
【特許文献１】米国特許出願６１／１７３，４５６、歪みを回避するオーディオ信号処理の方法、装置およびコンピュータプログラム
【発明の概要】
【００３０】
上記課題は、ダウンミックス信号表現と、前記ダウンミックス信号表現に関係するパラメトリックサイド情報に基づくアップミックス信号表現の提供に対して、１つ以上の適応されたパラメータを提供する装置によって解決される。装置は、１つ以上のパラメータ（それは、いくつかの実施形態において、入力パラメータとすることができる）を受信し、それに基づいて、１つ以上の調整されたパラメータを提供するように構成された、パラメータ調整器を備える。パラメータ調整器は、非最適パラメータの使用によって生じるアップミックス信号表現の歪みが、少なくとも最適パラメータから予め定められた偏差以上偏移しているパラメータ（または入力パラメータ）に対して低減されるように、複数のパラメータ値（それは、いくつかの実施形態において、入力パラメータ値とすることができる）の平均値に従って、１つ以上の調整されたパラメータを提供するように構成される。
【００３１】
本発明に係るこの実施形態は、歪みはしばしば平均値からの過剰な偏差によって生ずるので、複数の入力パラメータ値の平均値が、ダウンミックス信号表現とダウンミックス信号表現に関係するパラメトリックサイド情報に基づくアップミックス信号表現の提供に用いられるパラメータの調整を可能にする意味のある量を構成するという考えに基づいている。平均値の使用は、平均値（average value）（時には、中間値（mean value）としても示される）からのこのような過剰な偏差を回避するために、１つ以上のパラメータの調整を可能にし、従って極端に劣化したオーディオ品質を回避するという可能性をもたらす。
【００３２】
上述された実施形態は、ＳＡＯＣデコーダ／トランスコーダがパラメータの調整に必要な全情報を備えるので、全ての処理を完全にＳＡＯＣデコーダ／トランスコーダ内で行うことができるレンダーされたＳＡＯＣシーンの主観的音質を保護するコンセプトを提供する。また、パラメータ値と平均値との大きな偏差は、通常は聞き取れる歪みに結果としてなるのに対して、パラメータ値と平均値との偏差の制限は、通常は良好な聴覚インプレッションに結果としてなることが分かっているので、上述の実施形態は、レンダーされたシーンの知覚されたオーディオ品質の複雑な尺度の明示の計算を含まない。このように、上述された実施形態は、アップミックス信号表現の提供に対して考慮されるパラメータを適切に調整するために、特に効率的なメカニズム、すなわち、平均値の使用を提供する。
【００３３】
好ましい実施形態において、装置のパラメータ調整器は、複数のパラメータ値の加重平均である平均値に従って、１つ以上の調整されたパラメータを提供するように構成される。
ｔは異なるパラメータ値に対して異なる重みを割り当てることが可能であるので、加重平均を使用することは高度な自由度を提供する。しかしながら、パラメータ値に対して同じ重みを割り当てることも可能である。
【００３４】
好ましい実施形態において、装置のパラメータ調整器は、１つ以上の調整されたパラメータが、平均値から、対応する受信されたパラメータよりも小さく偏移するように、１つ以上の調整されたパラメータを提供するように構成される。調整されたパラメータを、平均値の近くに持ってくることによって、またはさらに平均値に等しくセットすることによって、歪みの有意の低減を達成することができる。
【００３５】
好ましい実施形態において、装置は、オーディオオブジェクトの、アップミックス信号表現の１つ以上のチャンネルに対する貢献度を記述する１つ以上のレンダリング係数（レンダリングパラメータとしても示される）を受信するように構成される。この場合、装置は、好ましくは、調整されたパラメータとして、１つ以上の調整されたレンダリング係数を提供するように構成される。入力パラメータ値の役割をする複数のレンダリングパラメータの平均値に従ってレンダリングパラメータを調整することは、過剰な聞き取れる歪みを回避する適切に調整されたレンダリングパラメータを取得する可能性をもたらすことが分かっている。
【００３６】
好ましい実施形態において、パラメータ調整器は、入力パラメータとして、複数のレンダリング係数を受信するように構成される。この場合、パラメータ調整器は、複数のオーディオオブジェクトに関係するレンダリング係数を通じた平均を計算するように構成される。また、パラメータ調整器は、調整されたレンダリング係数の、複数のオーディオオブジェクトに関係するレンダリング係数を通じた平均からの偏差が限定されるように、調整されたレンダリング係数を提供するように構成される。本発明に係るこの実施形態は、調整されたレンダリング係数の、複数のオーディオオブジェクトに関係するレンダリング係数を通じた平均からの偏差が限定される場合に、非最適レンダリングパラメータの使用によって生じるアップミックス信号表現の歪みは、少なくとも最適レンダリングパラメータから予め定められた偏差よりも大きく偏移しているレンダリングパラメータに対して、通常は低減されるという発見に基づいている。このように、簡単なメカニズム、すなわち、調整されたレンダリング係数の、複数のオーディオオブジェクトに関係するレンダリング係数を通じた平均からの偏差が限定されるようなレンダリング係数の調整が、過剰な聞き取れる歪みを回避することを可能とする。
【００３７】
好ましい実施形態において、パラメータ調整器は、レンダリング係数を通じた平均に従って決定される許容差の範囲内にあるレンダリング係数を不変のままにし、許容差の上側境界値よりも大きいレンダリング係数を上側境界値より小さいまたは等しい値に選択的にセットし、許容差の下側境界値よりも小さいレンダリング係数を下側境界値より大きいまたは等しい値に選択的にセットするように構成される。したがって、レンダリング係数を調整するために、平均値から大きく異なる非最適レンダリングパラメータの使用によって生じるアップミックス信号表現の過剰な歪みを回避する調整されたレンダリング係数を取得することを依然として可能とする、非常に簡単なメカニズムが確立される。
【００３８】
好ましい実施形態において、パラメータ調整器は、それぞれの反復において、レンダリング係数を通じた平均からの最大偏差を含むレンダリング係数のそれぞれの１つを反復的に選択し、レンダリング係数の選択された１つを、レンダリング係数を通じた平均の近くに持ってくるように構成される。したがって、レンダリング係数を通じた平均に従って決定される許容差の外側にあるレンダリングパラメータは、反復的に許容差内に持ってこられる。このように、レンダリングパラメータは、非最適レンダリングパラメータの使用によって生じるアップミックス信号表現の歪みが、通常は低減されるように（少なくとも、最適レンダリングパラメータから、予め定められた偏差より大きく偏移している入力レンダリングパラメータに対して）、平均値に従って調整される。
【００３９】
好ましい実施形態において、パラメータ調整器は、レンダリング係数のそれぞれの１つの反復的な選択と、選択された１つのレンダリング係数の反復的な修正を、全てのレンダリングパラメータが適用可能な許容差の範囲内にあるように調整されるまで繰り返すように構成される。したがって、アップミックス信号表現における聞き取れる歪みが十分小さく保たれることが確保される。
【００４０】
好ましい実施形態において、装置は、ダウンミックス信号表現の１つ以上のチャンネルの、アップミックス信号表現の１つ以上のチャンネルへのマッピングを記述する１つ以上の変換符号化係数を受信するように構成される。この場合、装置は、調整されたパラメータとして、１つ以上の調整された変換符号化係数を提供するように構成される。本発明に係るこの実施形態は、変換符号化係数の平均値からの大きな偏差が通常は聞き取れる歪みを生じるので、変換符号化パラメータは、平均値に従う調整に対しても適切であるという発見に基づいている。したがって、平均値に従う変換符号化パラメータの調整または制限によって、非最適変換符号化パラメータの使用によって生じるアップミックス信号表現の歪みを、（少なくとも、最適変換符号化パラメータから予め定められた偏差より大きく偏移している入力変換符号化パラメータに対して）低減することが可能である。
【００４１】
好ましい実施形態において、パラメータ調整器は、入力パラメータとして、変換符号化係数（変換符号化パラメータとしても示される）の時間シーケンスを受信するように構成される。この場合、パラメータ調整器は、複数の変換符号化係数に従って時間平均（temporal mean）（temporal averageとしても示される）を演算するように構成される。また、パラメータ調整器は、調整された変換符号化係数の時間平均からの偏差が限定されるように、調整された変換符号化係数を提供するように構成される。あらためて、非最適変換符号化係数の使用によって生じるアップミックス信号表現の過剰な聞き取れる歪みを回避する簡単なメカニズムが構築される。
【００４２】
好ましい実施形態において、パラメータ調整器は、時間平均（それは平均値を構成する）に従って決定される許容差の範囲内にある変換符号化係数を不変のままにするように構成される。また、パラメータ調整器は、許容差の上側境界値よりも大きい変換符号化係数を、許容差の上側境界値よりも小さいまたは等しい値に選択的にセットし、許容差の下側境界値よりも小さい変換符号化係数を、許容差の下側境界値よりも大きいまたは等しい値に選択的にセットするように構成される。したがって、変換符号化係数は、非最適変換符号化の使用によって生じるアップミックス信号表現の歪みを、少なくとも最適変換符号化係数から予め定められた偏差よりも大きく偏差している変換符号化係数に対して低減することを可能とする明確に定められた許容差内に持ってくることができる。許容差は、時間平均が用いられるので、適応的な方法で選択される。このコンセプトは、変換符号化係数の大きな時間変化は、通常は聞き取れる歪みをもたらし、それ故にある程度に制限しなければならないという発見に基づいている。
【００４３】
好ましい実施形態において、パラメータ調整器は、時間平均を、一連の変換符号化係数の再帰的ローパスフィルタリングを用いて算出するように構成される。このコンセプトは、変換符号化係数の長期の進化を考慮に入れた非常に明確に定められた時間平均をもたらすことを示している。また、一連の変換符号化係数のこのような再帰的ローパスフィルタリングは、少ない計算労力とメモリ要求条件を低減することを助ける記憶労力によって遂行することができることが分かっている。特に、長期の期間に対する変換符号化係数の履歴を記憶することなく、意味のある時間平均を取得することが可能である。
【００４４】
好ましい実施形態において、パラメータ調整器は、調整されたパラメータの所定の１つが、複数の入力パラメータの平均値と１つ以上の許容差パラメータに従って境界が定められる許容差の範囲内にあるように、そして、入力パラメータと、対応する調整されたパラメータとの偏差が最小化されるまたは予め定められた最大許容範囲内に保持されるように、１つ以上の調整されたパラメータの所定の１つを提供するように構成される。良好な聴覚インプレッションをもたらす調整されたパラメータは、入力パラメータと、対応する調整されたパラメータとの過度に大きな差異を回避する目的を考慮に入れながら、調整されたパラメータを許容差に限定することによって、取得することができることが分かっている。したがって、非最適パラメータの使用によって生じるアップミックス信号表現の歪みを、入力パラメータによって定められる所望の聴覚設定を不必要に妥協することなく低減することができる。
【００４５】
好ましい実施形態において、パラメータ調整器は、入力パラメータの調整されたバージョンを取得するために、複数の入力パラメータ値の平均値に従って境界が定められる許容差の外側にあることがわかった入力パラメータを、許容差の上側境界値または下側境界値に選択的にセットするように構成される。
【００４６】
他の好ましい実施形態において、パラメータ調整器は、（平均値に従って境界が定められる）許容差の外側にある入力パラメータを、許容差内に反復的に持ってくるために、それぞれの反復において、平均値からの最大偏差を含む入力パラメータのそれぞれ１つを反復的に選択し、入力パラメータの選択された１つを平均値の近くに持ってくるように構成される。
【００４７】
好ましい実施形態において、パラメータ調整器は、入力パラメータの選択された１つを平均値の近くに持ってくるために使用されるステップサイズを、入力パラメータの選択された１つと平均値の差異の予め定められた分数になるように選択するように構成される。
【００４８】
本発明に係る他の実施形態は、ダウンミックス信号表現とパラメトリックサイド情報に基づいてアップミックス信号表現を提供する装置を構築する。前記装置は、前に述べられたような、１つ以上の入力パラメータに基づいて１つ以上の調整されたパラメータを提供する装置を備える。アップミックス信号表現を提供する装置は、また、ダウンミックス信号表現とパラメトリックサイド情報に基づいてアップミックス信号表現を取得するように構成された信号処理器を備える。１つ以上の調整されたパラメータを提供する装置は、信号処理器の１つ以上の処理パラメータの、例えば、信号処理器に入力されるレンダリングパラメータの、または、アップミックス信号表現を取得するために、信号処理器において演算され、信号処理器によって適用される変換符号化パラメータの、調整されたバージョンを提供するように構成される。
【００４９】
この実施形態は、信号処理器によって適用され、信号処理器に入力されるかまたはさらに信号処理器において算出されるかのいずれかであり、平均値に基づく上述のパラメータ調整から利益を得ることができる多数のパラメータがあるという発見に基づいている。信号処理器は、通常は、パラメータのセット（例えば、異なるオーディオオブジェクトに関係するレンダリング係数のセット、または時間において異なるインスタンスに関係する変換符号化係数のセット）が良くバランスしている場合に、そのような値のセットの個々の値が平均値からの過度に大きい偏差を含まないように、小さい歪みで、良い品質のアップミックス信号表現を提供することが分かっている。このように、１つ以上の調整されたパラメータを提供する装置を、アップミックス信号表現を提供する装置と組み合わせて適用することによって、発明コンセプトの利益を実現することができる。
【００５０】
好ましい実施形態において、信号処理器は、オーディオオブジェクトの、アップミックス信号表現の１つ以上のチャンネルに対する貢献度を記述する調整されたレンダリング係数に従ってアップミックス信号表現を提供するように構成される。１つ以上の調整されたパラメータを提供する装置は、入力パラメータとして、複数のユーザ指定のレンダリングパラメータを受信し、それに基づいて、信号処理器による使用のために（好ましくは信号処理器に）、１つ以上の調整されたレンダリングパラメータを提供するように構成される。１つ以上の調整されたパラメータを提供する装置を用いて取得することができる良くバランスしたレンダリングパラメータは、通常は良い聴覚インプレッションに結果としてなることが分かっている。
【００５１】
他の実施形態において、１つ以上の調整されたパラメータを提供する装置は、１つ以上の入力パラメータとして、混合マトリクスの１つ以上の混合マトリクス要素を受信し、それに基づいて、信号処理器による使用のために、混合マトリクスの１つ以上の調整された混合マトリクス要素を提供するように構成される。この場合、信号処理器は、ダウンミックス信号表現の１つ以上のオーディオチャンネル信号（例えば、時間ドメイン表現の形でまたは時間‐周波数ドメイン表現の形で表された）の、アップミックス信号表現の１つ以上のオーディオチャンネル信号上へのマッピングを記述する混合マトリクスの調整された混合マトリクス要素に従って、アップミックス信号表現を提供するように構成される。混合マトリクス要素は、また、例えば、混合マトリクス要素の時間的変化が制限されているという点で、平均値によく適合しなければならないことが分かっている。
【００５２】
本発明に係る他の実施形態において、オーディオ処理器は、ＭＰＥＧサラウンド任意ダウンミックスゲイン値を取得するように構成される。この場合、１つ以上の調整されたパラメータを提供する装置は、入力パラメータとして、複数の任意ダウンミックスゲイン値を受信し、複数の調整された任意ダウンミックスゲインを提供するように構成される。任意ダウンミックスゲイン値に対する調整されたパラメータを提供する装置のアプリケーションは、また、良好な聴覚インプレッションに結果としてなり、聞き取れる歪みを制限することを可能にすることが分かっている。
【００５３】
本発明に係る更なる実施形態は、１つ以上の調整されたパラメータを提供する方法およびコンピュータプログラムを構築する。前記実施形態は、上述の装置と同じ知見に基づき、発明の装置に関して本願明細書において述べられた構成および機能のいずれかによって拡張することができる。
【図面の簡単な説明】
【００５４】
【図１】本発明の実施形態に係る１つ以上の調整されたパラメータを提供する装置の概略ブロック図を示す。
【図２】本発明の実施形態に係るアップミックス信号表現を提供する装置の概略ブロック図を示す。
【図３】本発明の他の実施形態に係るアップミックス信号表現を提供する装置の概略ブロック図を示す。
【図４】間接制御および直接制御を用いたパラメータ制限スキーム概略表現を示す。
【図５ａ】リスニングテスト条件を表すテーブルを示す。
【図５ｂ】リスニングテストのオーディオ項目を表すテーブルを示す。
【図６】テストされた極端なレンダリング条件を表すテーブルを示す。
【図７】異なるパラメータ制限スキーム（ＰＬＳ）に対するＭＵＳＨＲＡリスニングテスト結果のグラフィック表現を示す。
【図８】参照用ＭＰＥＧ‐ＳＡＯＣシステムの概略ブロック図を示す。
【図９ａ】分離したデコーダおよび混合器を用いた参照用ＳＡＯＣシステムの概略ブロック図を示す。
【図９ｂ】統合したデコーダおよび混合器を用いた参照用ＳＡＯＣシステムの概略ブロック図を示す。
【図９ｃ】ＳＡＯＣ‐ＭＰＥＧトランスコーダを用いた参照用ＳＡＯＣシステムの概略ブロック図を示す。
【図１０】どの変換符号化係数が提案されたパラメータ制限スキームによって修正することができるかを記述するテーブルを示す。
【発明を実施するための形態】
【００５５】
１．図１に係る１つ以上の調整されたパラメータを提供する装置
【００５６】
以下に、ダウンミックス信号表現と、ダウンミックス信号表現に関係するパラメトリックサイド情報に基づくアップミックス信号表現の提供に対して、１つ以上の調整されたパラメータを提供する装置が記載される。図１は、このような装置１００の概略ブロック図である。
【００５７】
装置１００は、１つ以上の入力パラメータ１１０を受信し、それに基づいて、１つ以上の調整されたパラメータ１２０を提供するように構成される。装置１００は、１つ以上の入力パラメータ１１０を受信し、それに基づいて、１つ以上の調整されたパラメータ１２０を提供するように構成された、パラメータ調整器１３０を備える。パラメータ調整器１３０は、非最適パラメータ（例えば、１つ以上の入力パラメータ１１０）の使用によって生じるアップミックス信号表現の歪みが、少なくとも最適パラメータから予め定められた偏差以上偏移している入力パラメータ（例えば、入力パラメータ１１０）に対して低減されるように、複数の入力パラメータ値の平均値１３２に従って、１つ以上の調整されたパラメータ１２０を提供するように構成される。例えば、パラメータ調整器１３０は、１つ以上の調整されたパラメータ１２０が、１つ以上の入力パラメータ１１０よりも、最適パラメータ（それは、歪みのないアップミックス信号表現に結果としてなる）に「近い」（より小さい歪みを生じるという意味において）という効果を有することができる。
【００５８】
この目的のため、パラメータ調整器１３０は、平均値演算を実施し、関連する入力パラメータ１１０のセット（例えば、共通の時間インターバルに関係する入力パラメータ、または異なる時間インスタンスに関係する同じパラメータタイプの入力パラメータ）の平均値１３２（例えば、時間平均またはオブジェクト間平均として）を取得する。装置１００の動作に関して、平均値１３２はパラメータを調整するために意味のある量であることが分かっているので、１つ以上の入力パラメータ１１０に基づく１つ以上の調整されたパラメータ１２０の提供が平均値１３２に従ってなされる点に注意しなければならない。特に、適度なパラメータ（平均値に関して）は、通常は適度な歪みをもたらすことが分かっている。
【００５９】
更なる詳細が引き続いて記載される。
【００６０】
２．図２に係るアップミックス信号表現を提供する装置
【００６１】
以下に、図２に係るアップミックス信号表現を提供する装置が記載される。図２は、オーディオ信号デコーダとみなすことができる装置２００の概略ブロック図を示す。例えば、装置２００は、ＳＡＯＣデコーダまたはＳＡＯＣトランスコーダの機能を備えることができる。
【００６２】
装置２００は、ダウンミックス信号表現２１０とパラメトリックサイド情報２１２を受信するように構成される。また、装置２００は、ユーザ指定のレンダリングパラメータ２１４を受信するように構成される。装置は、アップミックス信号表現２２０を提供するように構成される。
【００６３】
ダウンミックス信号表現２１０は、例えば、１チャンネルのオーディオ信号または２チャンネルのオーディオ信号の表現とすることができる。ダウンミックス信号表現２１０は、例えば、時間ドメイン表現または符号化された表現とすることができる。いくつかの実施形態では、ダウンミックス信号表現２１０は、ダウンミックス信号表現２１０の１つ以上のチャンネルがスペクトル値の引き続くセットによって表現される、時間‐周波数ドメイン表現とすることができる。
【００６４】
アップミックス信号表現２２０は、例えば、時間ドメイン表現または時間‐周波数ドメイン表現の形の、個々のオーディオチャンネルの表現とすることができる。あるいは、アップミックス信号表現２２０は、ダウンミックス信号表現と、チャンネル関連サイド情報、例えば、ＭＰＥＧサラウンドサイド情報の両方を含む符号化された表現とすることができる。
【００６５】
ユーザ指定のレンダリングパラメータ２１４は、複数のオーディオオブジェクトの、アップミックス信号表現２２０の１つ以上のチャンネルに対する所望の貢献度を記述するレンダリングマトリクスエントリーの形で提供することができる。あるいは、ユーザ指定のレンダリングパラメータ２１４は、例えば、オーディオオブジェクトの所望のレンダリング位置とレンダリング量を特定する、他のいかなる適当な形でも提供することができる。
【００６６】
装置２００は、ダウンミックス信号表現２１０とパラメトリックサイド情報２１２に基づいてアップミックス信号表現２２０を提供するように構成された、信号処理器２３０を備える。信号処理器２３０は、ダウンミックス信号表現２１０に基づいてアップミックス信号表現２２０を提供するために、再混合機能２３２を備える。例えば、再混合機能２３２は、アップミックス信号表現２２０の１つ以上のチャンネルを取得するために、ダウンミックス信号表現２１２の複数のチャンネルを線形に結合するように構成することができる。この再混合において、ダウンミックス信号表現２１０のチャンネルの、アップミックス信号表現２２０のチャンネルに対する貢献度は、混合マトリクスＧの混合マトリクス要素によって決定することができ、混合マトリクスＧの第１の次元（例えば、列の数）はアップミックス信号表現２２０のチャンネル数によって決定することができ、混合マトリクスＧの第２の次元（例えば、行の数）はダウンミックス信号表現２１０のチャンネル数で決定することができる。
【００６７】
例えば、再混合プロセス２３２は、ダウンミックス信号表現２１０の１つ以上のチャンネルのスペクトル値を含む１つ以上のベクトルを、混合マトリクスＧと掛けることによって、アップミックス信号表現２２０の１つ以上のチャンネルに関係するスペクトル値を含む１つ以上のベクトルを提供するために用いることができる。
【００６８】
信号処理器２３０は、また、混合マトリクスＧ（または同様に、その要素）を提供する、混合パラメータ演算２３６を備えることができる。混合マトリクス要素は、混合パラメータ演算２３６によって、パラメトリックサイド情報２１２と修正されたレンダリングパラメータ２５２に従って決定される。混合マトリクスＧの混合マトリクス要素は、例えば、アップミックス信号表現２２０の１つ以上のチャンネルが、ダウンミックス信号表現２１０の１つ以上のチャンネルによって表されるオーディオオブジェクトを記述するように、修正されたレンダリングパラメータ２５２によって提供される。この目的のため、例えば、オブジェクトレベル差情報ＯＬＤ、オブジェクト間相関情報ＩＯＣ、ダウンミックスゲイン情報ＤＭＧおよび（オプションとして）ダウンミックスチャンネルレベル差情報ＤＣＬＤを含むパラメトリックサイド情報２１２は、混合パラメータ演算２３６によって評価される。オブジェクトレベル差情報は、例えば、周波数バンドワイズに、複数のオーディオオブジェクト間のレベル差を記述することができる。同様に、オブジェクト間相関情報は、例えば、周波数バンドワイズに、複数のオーディオオブジェクト間の相関を記述することができる。ダウンミックスゲイン情報と（オプションの）ダウンミックスチャンネルレベル差情報は、オーディオオブジェクト信号を複数のオーディオオブジェクトからダウンミックス信号表現の１つ以上のチャンネルに結合するために実行され、ダウンミックス信号表現２１０のチャンネルよりも通常は多いオーディオオブジェクトが存在するダウンミックスを記述することができる。
【００６９】
したがって、混合パラメータ演算２３６は、パラメトリックサイド情報２１２と修正されたレンダリングパラメータ２５２に基づいて期待された統計的特性を含むアップミックス信号表現２２０を取得するために、混合マトリクス要素がどのように選択されなければならないかについて評価することができる。
【００７０】
信号処理器２３０は、パラメトリックサイド情報２１２を受信し、修正されたサイド情報と、再混合プロセスによって提供される関連する再混合されたダウンミックス信号表現が所望のオーディオシーンを記述するように、修正されたサイド情報（例えば、ＭＰＥＧサラウンドサイド情報）を提供するように構成された、サイド情報修正あるいはサイド情報変換２４０をオプションとして備えることができる。
【００７１】
【００７２】
あるいは、信号処理器２３０は、分離したデコーダおよび混合器９２０の機能を備えることができ、ダウンミックス信号表現２１０は１つ以上のダウンミックス信号の役割を持つことができ、パラメトリックサイド情報２１２はオブジェクトメタデータの役割を持つことができ、アップミックス信号表現２２０は１つ以上の出力チャンネル信号９２８の役割を持つことができる。
【００７３】
あるいは、信号処理器２３０は、統合化されたデコーダおよび混合器９５０の機能を備えることができ、ダウンミックス信号表現２１０は１つ以上のダウンミックス信号の役割を持つことができ、パラメトリックサイド情報２１２はオブジェクトメタデータの役割を持つことができ、アップミックス信号表現２２０は１つ以上の出力チャンネル信号９５８の役割を持つことができる。
【００７４】
あるいは、信号処理器２３０は、ＳＡＯＣ‐ＭＰＥＧサラウンドトランスコーダ９８０の機能を備えることができ、ダウンミックス信号表現２１０は１つ以上のダウンミックス信号の役割を持つことができ、パラメトリックサイド情報２１２はオブジェクトメタデータの役割を持つことができ、アップミックス信号表現はＭＰＥＧサラウンドビットストリーム９８４と組み合わされるときに１つ以上のダウンミックス信号９８８に相当することができる。
【００７５】
いずれにせよ、修正されたレンダリングパラメータ２５２は、ユーザ対話／制御情報８２２またはレンダリング情報の役割を持つことができる。
【００７６】
装置２００は、また、調整されたレンダリングパラメータを提供する装置２５０を備える。調整されたレンダリングパラメータを提供する装置２５０は、ユーザ指定のレンダリングパラメータ２１４を受信し、それに基づいて、修正されたレンダリングパラメータ２５２を提供する。装置２５０は、通常は、異なるオーディオオブジェクトに関係する複数のユーザ指定のレンダリングパラメータを通じた平均値を算出し、平均値を取得するように構成される。また、装置２５０は、平均値に従ってレンダリングパラメータ制限を実行し、ユーザ指定のレンダリングパラメータ２１４を制限することによって、修正されたレンダリングパラメータ２５２を取得するように構成される。修正されたレンダリングパラメータ２５２が制限される許容差は、ユーザ指定のレンダリングパラメータ２１４の１つ以上が平均値から大きな偏差を含む場合であっても、修正されたレンダリングパラメータ２５２の、平均値からの大きな偏差が回避されるように、通常は平均値に従って決定される。このように、異なるオーディオオブジェクトに関係するレンダリングパラメータ間の大きな差異は聞き取れるアーチファクトに結果としてなるが、制限されたオブジェクト間偏差を含む修正されたレンダリングパラメータ２５２は低歪のアップミックス信号表現に結果としてなるので、アップミックス信号表現２２０内の過剰な歪みは、通常は回避される。
【００７７】
ここで、調整されたレンダリング係数を提供する装置２５０は、１つ以上の調整されたパラメータを提供する装置１００と同じ全体機能を備えることができ、ユーザ指定のレンダリングパラメータ２１４は１つ以上の入力パラメータ１１０の役割を持つことができ、調整されたレンダリングパラメータ２５２は１つ以上の調整されたパラメータ１２０の役割を持つことができる点に注意しなければならない。
【００７８】
修正されたレンダリングパラメータ２５２の提供に関する詳細は、図４を参照して後述される。
【００７９】
３．図３に係るアップミックス信号表現を提供する装置
【００８０】
以下に、本発明の他の実施形態に係るアップミックス信号表現を提供する装置が、そのような装置３００の概略ブロック図を示す図３を参照して記述される。
【００８１】
本願明細書において、同一または等価である信号を記載するために同一の参照番号が用いられるように、装置３００は、通常は、装置２００と同じタイプの入力信号を受信し、同じタイプの出力信号を提供する。要約すると、装置３００は、ダウンミックス信号表現２１０、パラメトリックサイド情報２１２、およびユーザ指定のレンダリングパラメータ２１４を受信し、装置３００は、それに基づいて、アップミックス信号表現２２０を提供する。
【００８２】
装置３００は、信号処理器２３０に対して機能において実質的に等価とすることができる、信号処理器３３０を備える。信号処理器３３０は、ダウンミックス信号表現に基づいて再混合されたオーディオチャンネル信号を提供するという点で、信号処理器２３０の再混合機能２３２と同一である、再混合機能３３２を備える。しかしながら、再混合３３２は、混合パラメータ演算から直接取得される混合マトリクスよりむしろ、調整された混合マトリクスを用いる。
【００８３】
信号処理器３３０は、また、信号処理器２３０の混合パラメータ演算２３６に対して機能において同一とすることができる、混合パラメータ演算３３６を備える。したがって、混合パラメータ演算３３６は、パラメトリックサイド情報２１２とユーザ指定のレンダリングパラメータ２１４を受信し、それに基づいて、混合マトリクスＧ（または、同等に、３３７によって示される混合マトリクスＧの混合マトリクス要素）を提供する。
【００８４】
信号処理器３３０は、オプションとして、また、サイド情報修正２４０と機能が、同一であるサイド情報修正３３８を備える。
【００８５】
加えて、装置３００は、調整された混合マトリクス要素を提供する装置３５０を備える。装置３５０は、信号処理器３３０の一部であってもよく、一部でなくてもよい。装置３５０は、混合パラメータ演算３３６によって提供される混合マトリクス３３７，Ｇ（または、同等に、その混合マトリクス要素）を受信し、それに基づいて、調整された混合マトリクス３５２，Ｇ’（または、同等に、その調整された混合マトリクス要素）を提供するように構成される。例えば、周波数バンド毎に、そしてオーディオフレーム毎に、１セットの混合マトリクス要素と、１セットの調整された混合マトリクス要素を提供することができる。言い換えれば、混合マトリクスＧと修正された混合マトリクスＧ’は、フレームワイズの処理が選択された場合、ダウンミックス信号表現２１０のオーディオフレーム毎に一度更新することができる。しかしながら、更新インターバルは、場合によって異なってもよい。また、異なる周波数バンドに対して、多重の混合マトリクスと調整された混合マトリクスＧ，Ｇ’がある必要はない。
【００８６】
しかしながら、装置３５０は、混合パラメータ演算３３６によって提供される混合マトリクス３３７の混合マトリクス要素に基づいて、調整された混合マトリクス３５２の調整された混合マトリクス要素を提供するように構成される。例えば、処理は、所定の混合マトリクス位置の一連の調整された混合マトリクス要素が、同じ混合マトリクス位置での混合マトリクス３３７の一連の混合マトリクス要素に依存するが、異なる混合マトリクス位置での混合マトリクス要素から独立することができるように、混合マトリクス（または調整された混合マトリクス）の位置毎に個別に実行することができる。
【００８７】
調整された混合マトリクス要素を提供する装置３５０は、混合マトリクス３３７に基づいて演算される１つ以上の平均値（例えば、１つ以上のマトリクス位置個々の平均値）に従って、調整された混合マトリクス３５２の１つ以上の調整された混合マトリクス要素を提供するように構成される。調整された混合マトリクス３５２の調整された混合マトリクス要素を提供する装置３５０は、好ましくは、所定の混合マトリクス位置での混合マトリクス要素の時間上の平均値を算出するように構成される。このように、所定の混合マトリクス位置に対して、平均値（好ましくは、しかしながら必然的ではなく、例えば、浮動平均または準無限インパルス応答平均値または再帰的ローパスフィルタリングまたは時間平均に対してよく知られた類似する数値演算によって得られる平均値のような時間的平均値）を、所定の混合マトリクス位置の一連の混合マトリクス要素に基づいて演算することができる。有限インパルス応答平均値または（準）無限インパルス応答平均値（例えば、再帰的ローパスフィルタリングまたは時間平均に対してよく知られた類似する数値演算を用いて取得された）とすることができるそのような平均値（average value）（mean valueとしても示される）を取得するために、例えば、ダウンミックス信号表現２１０の所定のチャンネルの、混合マトリクス要素が複数のオーディオフレームに関係するアップミックス信号表現２２０の所定のチャンネルへの貢献度を記述する一連の混合マトリクス要素を用いることができる。（ダウンミックス信号表現２１０の所定のチャンネルの、アップミックス信号表現２２０の所定のチャンネルへの貢献度を記述する）所定の混合マトリクス位置の現在の調整された混合マトリクス要素は、装置３５０によって、所定の混合マトリクス位置に関係する平均値に従って定められる許容差に制限することができる。
【００８８】
したがって、調整された混合マトリクス要素は、例えば、同じ混合マトリクス位置での前の混合マトリクス要素の平均（有限インパルス応答平均または無限インパルス応答平均）で決定される許容差に限定されるので、混合マトリクス要素の過剰な時間変動は回避される。調整された混合マトリクス３５２の調整された混合マトリクス要素のこのような限定は、通常は、少なくとも非最適なユーザ指定のレンダリングパラメータが最適なユーザ指定のレンダリングパラメータから予め定められた偏差より大きく偏移している場合に、非最適パラメータ（例えば、非最適なユーザ指定のレンダリングパラメータ）の使用によって生じるアップミックス信号２２０の歪みの制限をもたらすことが分かっている。
【００８９】
ここで、調整された混合マトリクス要素を提供する装置３５０は、１つ以上の調整されたパラメータを提供する装置１００と同じ全体の機能を備えることができ、混合マトリクス３３７の混合マトリクス要素は１つ以上の入力パラメータ１１０の役割を持つことができ、調整された混合マトリクス３５２の調整された混合マトリクス要素は１つ以上の調整されたパラメータ１２０の役割を持つことができる点に注意しなければならない。
【００９０】
４．図４に係るパラメータ制限スキーム
【００９１】
以下に、本発明に係るパラメータ制限スキームが、そのようなパラメータ制限スキームの概略表現を示す図４を参照して記載される。
【００９２】
図４は、パラメータ制限スキームのアプリケーションを、ＳＡＯＣデコーダ４１０と組合せて示す。しかしながら、パラメータ制限スキームは、例えば、ＳＡＯＣトランスコーダのような、オーディオデコーダまたはオーディオトランスコーダの異なるタイプと組合せて適用することができる。
【００９３】
ＳＡＯＣデコーダ４１０は、ダウンミックス４２０とＳＡＯＣビットストリーム４２２を受信する。また、ＳＡＯＣデコーダは、１つ以上の出力チャンネル４３０ａ〜４３０Ｍを提供する
【００９４】
【００９５】
【００９６】
パラメータ制限スキーム４５０は、許容差の境界を決定することができる１つ以上のパラメータΛT-，ΛT+を受信することができる。
【００９７】
４．１ 概要
【００９８】
以下に、歪み制御のためのパラメータ制限スキームを通じて、概要が与えられる。
【００９９】
一般的なＳＡＯＣ処理は、時間／周波数選択的方法で遂行され、以下に記載される。
【０１００】
ＳＡＯＣエンコーダは、いくつかの入力オーディオオブジェクト信号の音響心理学的特性（例えば、オブジェクトのパワー関係および相関）を抽出し、次に、それらを複合されたモノラルまたはステレオチャンネルにダウンミックスする（それは、例えば、ダウンミックス信号表現として示すことができる）。このダウンミックス信号と抽出されたサイド情報は、周知の知覚オーディオコーダを用いて、圧縮されたフォーマットで送信される（または記憶される）。受信側では、ＳＡＯＣデコーダは、概念的に、送信されたサイド情報（例えば、オブジェクトレベル差情報ＯＬＤ、オブジェクト間相関情報ＩＯＣ、ダウンミックスゲイン情報ＤＭＧおよびダウンミックスチャンネルレベル差情報ＤＣＬＤ）を用いて、オリジナルのオブジェクト信号（すなわち、分離したダウンミックスオブジェクト）を復元しようと試みる。これらの近似されたオブジェクト信号は、次に、レンダリングマトリクス（通常は、異なるオーディオオブジェクトの、アップミックス信号表現の異なるチャンネルへの貢献度を記述する）を用いて、目標シーンに混合される。レンダリングマトリクスは、各送信されたオーディオオブジェクトとアップミックスセットアップスピーカに対して特定された相対レンダリング係数ＲＣ（またはオブジェクトゲイン）から構成される。これらのオブジェクトゲインは、全ての分離された／レンダーされたオブジェクトの空間位置を決定する。事実上、分離と混合は単一の複合された処理ステップにおいて実行され、それは計算量の莫大な低減に結果としてなるので、オブジェクト信号の分離はめったに実行されない（または更に決して実行されない）。単一の複合された処理ステップは、例えば、オブジェクト分離と分離されたオブジェクトの混合の組合せを記述する変換符号化係数を用いて実行することができる。
【０１０１】
このスキームは、伝送ビットレート（それは、多数の個別のオブジェクトオーディオ信号の代わりに、１つまたは２つのダウンミックスチャンネルと、加えていくつかのサイド情報を送信することを必要とするだけである）と、計算量（処理複雑度は、オーディオオブジェクト数よりもむしろ出力チャンネル数に主に関係する）の両方に関して、大いに効率的であることが分かっている。
【０１０２】
ＳＡＯＣデコーダは、オブジェクトゲインと他のサイド情報を、レンダーされた出力オーディオシーン（または、更なる復号化演算、例えば、通常は多重チャンネルＭＰＥＧサラウンドレンダリングに対して前処理されたダウンミックス信号）に対して、対応する信号をつくるためにダウンミックス信号に適応される変換符号化係数（ＴＣ）に、直接的に変換（パラメトリックレベルで）する。
【０１０３】
レンダーされた出力シーンの主観的に知覚されたオーディオ品質は、特許文献１に記述されるように、歪み制御尺度あるいはＤＣＭのアプリケーションによって改善することができることが分かっている。この改善は、目標レンダリング設定の適度な動的修正を受け入れる代価で達成することができる。レンダリング情報の修正は、特定の環境下で不自然な音響呈色と時間変動アーチファクトに結果としてなる可能性がある時間および周波数可変の性質を有する。
【０１０４】
特許文献１に記載された歪み制御尺度（ＤＣＭ）の変形例として、本発明に係る実施形態は、オーディオアーチファクト（音響呈色、時間変動、その他）の低減にフォーカスし、同時に自然な音響品質を保持する、多数のパラメータ制限スキームを使用する。
【０１０５】
本願明細書に記載された提案されたパラメータ制限スキームのコンセプトは、音響心理学的モデルに基づく複雑なアルゴリズムを用いて算出される歪み尺度に基づいてレンダリング係数（ＲＣ）を調整することはしない。その代わりに、提案されたパラメータ制限スキームのコンセプトは、低い計算量と構成上の複雑度を示し、それ故にＳＡＯＣ技術への統合化に対して魅力的である。にもかかわらず、それらは、また、お互いに補足することでより良好な全体の出力品質を達成するために、特許文献１に記載されたスキームと都合よく組合せることができる。
【０１０６】
全体のＳＡＯＣシステムの範囲内で、パラメータ制限スキームは、２つの方法でＳＡＯＣデコーダ処理チェーンに組み込むことができる。例えば、そのパラメータ制限スキームは、図４において変形例（ａ）として示されるように、レンダリング係数（ＲＣ）を制御することによってＳＡＯＣ出力の間接的な（外部の）修正のためのフロントエンドに位置付けることができる。あるいは、固有の変換符号化係数（ＴＣ）は、図４において変形例（ｂ）として示されるように、係数がダウンミックス信号に適用され、出力アップミックスチャンネル信号を生成する前に、ＳＡＯＣデコーダのバックエンドにおいて直接的に（内部的に）修正される。
【０１０７】
４．２ 間接制御
【０１０８】
以下に、間接制御のコンセプトが更に詳細に述べられる。
【０１０９】
間接制御法の基礎をなす前提は、歪みレベルと、ＲＣのオブジェクト平均化された値からの偏差との関係を考慮する。これは、ＲＣによって、他のオブジェクトに関する特定のオブジェクトに、特別な減衰／ブーストが適用されればされるほど、ＳＡＯＣデコーダ／トランスコーダによって、伝送されたダウンミックス信号の積極的な修正が実行されるという知見に基づいている。言い換えれば、「オブジェクトゲイン」値の偏差がお互いと比較して高ければ高いほど、容認できない歪みが起こる機会が高い（同一のダウンミックス係数と仮定して）。これは、ＲＣの、全てのオブジェクト全体のＲＣの平均（例えば、平均レンダリング値）からの偏差を調べることによって、テストすることができることが分かっている。
【０１１０】
引き続く記述は、一般性の喪失なしに、全てのオブジェクトに対して単一のダウンミックスゲインを有するモノラルダウンミックスを考慮する構成に基づいている。（異なるおよび／または動的なオブジェクトゲインを有する）非自明なダウンミックスの場合、アルゴリズムは適切に修正することができる。加えて、ＲＣは、表記を簡単にするため、周波数不変であると仮定される。
【０１１１】
【０１１２】
【０１１３】
【０１１４】
【０１１５】
【０１１６】
【０１１７】
【０１１８】
【０１１９】
４．２．１ ワンステップ解法
【０１２０】
【０１２１】
【０１２２】
４．２．２ 反復解法
【０１２３】
【０１２４】
【０１２５】
この処理は、全ての値が許容範囲の内側となるまで、または予め定められた反復回数によって実行することができる。
【０１２６】
【０１２７】
４．３ 直接制御
【０１２８】
直接制御法の基礎をなす前提は、歪みレベルと、ＴＣの時間平均された値からの偏差との関係を考慮する。これは、他のオブジェクトに関する特定のオブジェクトに対して、特別な減衰／ブーストが適用されればされるほど、ＴＣによって送信されたダウンミックス信号の積極的な修正が、ＳＡＯＣデコーダ／トランスコーダによって実行されるという知見に基づいている。言い換えれば、ＴＣの値が異常に大きい場合、ＳＡＯＣアルゴリズムは、小さいパワーを有するオブジェクト信号を、大きなブーストを適用することによって、大きいパワーを有する他のオブジェクト信号によって支配される出力内に修正することを試みると結論づけることができる。逆にいえば、ＴＣが異常に小さい場合、ＳＡＯＣアルゴリズムは、大きいパワーを有するオブジェクト信号を、大きな減衰を適用することによって、小さいパワーを有する他のオブジェクト信号によって支配される出力内に修正することを試みると結論づけることができる。いずれの場合においても、ＳＡＯＣ出力において、容認できないほど低い信号品質を生じる高いリスクがある。このように、中心的なアイデアは、ＴＣの、平均値からの大きな偏差を防止することである。
【０１２９】
このＰＬＳは、ＳＡＯＣ信号パラメータ（例えばＯＬＤ、ＩＯＣ）への全ての従属と変換符号化／復号化プロセスの発見的要素を含むので、時間および周波数可変とみなすことができる。
【０１３０】
引き続く記述は、一般性の喪失なしに、モノラルアップミックスを考慮する構成に基づいている。
【０１３１】
【０１３２】
【０１３３】
【０１３４】
【０１３５】
これは、特定の予め定義された値よりもむしろＴＣから動的に演算される基準値に関連して実行されるＴＣ制限演算に対応する点に注意すべきである。
【０１３６】
【０１３７】
以下に、この問題に対する可能な解法アルゴリズムが記載される。
【０１３８】
４．３．１ 解法アルゴリズム
【０１３９】
【０１４０】
４．３．２ 変換符号化係数の例
【０１４１】
上述の変換符号化係数に対するパラメータ制限スキームは、例えば、上で述べたＳＡＯＣデコーダおよびトランスコーダにおいて用いられる異なる変換符号化係数に適用することができる。
【０１４２】
【０１４３】
図１０の表は、全てのＳＡＯＣ動作モードに対して、提案されたパラメータ制限スキームによって修正、例えば、制限することができる変換符号化係数のリストを提供する。図１０の表は、第１カラム１０１０において、異なるＳＡＯＣモードを示す。図１０の表は、更に、第２カラム１０２０において、提案されたパラメータ制限スキームによって、どのパラメータを修正する（例えば、制限する）ことができるかを示す。第３カラム１０３０は、非特許文献７のＭＰＥＧ‐ＳＡＯＣのＦＣＤ文書の対応する節の参照表示を示す。要約すると、図１０の表は、全てのＳＡＯＣ動作モードに対して、提案されたパラメータ制限スキームによって修正する（例えば、制限する）ことができる変換符号化係数のリストを、ＭＰＥＧ‐ＳＡＯＣのＦＣＤ文書の対応する節を参照して示す。
【０１４４】
４．４ 制限された相対偏差に対するパラメータ制限スキームの一般化された定式化
【０１４５】
【０１４６】
【０１４７】
【０１４８】
以下に、２つの解法アルゴリズムが述べられる。
【０１４９】
一般に、このような最小化問題の正確な解を取得する解析的アプローチは、計算上大変な労力を要する。にもかかわらず、依然としてＰＬＳ目的に適するサブオプティマルな結果を提供する簡単で速い代替方法が存在する。２つのこのような簡単なアプローチがここで記載される。
【０１５０】
４．４．１ ワンステップ解法
【０１５１】
【０１５２】
許容範囲（それは、許容差とみなすことができる）の内側にある値は、例えば、不変のままとすることができる。
【０１５３】
４．４．２ 反復解法
【０１５４】
【０１５５】
【０１５６】
反復の数は、特定の値にセットするかまたはアルゴリズムから暗黙に導き出すことができる。
【０１５７】
全てのこれらの方法は、上述のように、ＲＣとＴＣを制限するために適用することができる点に注意しなければならない。
【０１５８】
４．５ 一般化された線形定式化
【０１５９】
【０１６０】
【０１６１】
以下に、この問題に対する２つの解法アルゴリズムが記載される。
【０１６２】
一般に、このような最小化問題の正確な解を取得する解析的アプローチは、計算上大変な労力を要する。にもかかわらず、依然としてＰＬＳ目的に適するサブオプティマルな結果を提供する簡単で速い代替方法が存在する。２つのこのような簡単なアプローチがここで記載される。
【０１６３】
４．５．１ ワンステップ解法
【０１６４】
【０１６５】
４．５．２ 反復解法
【０１６６】
【０１６７】
【０１６８】
【０１６９】
全てのこれらの方法は、上述のように、ＲＣとＴＣを制限するために適用することができる点に注意しなければならない。
【０１７０】
【０１７１】
このバージョンのアルゴリズムは、固定の（静的な）許容範囲Λx-，Λx+を用いる。
【０１７２】
４．６ 更なる注釈
【０１７３】
上述のように、全てのこれらの方法は、レンダリング係数と変換符号化係数を制限するために適用することができる点に注意しなければならない。
【０１７４】
５．多重チャンネルのダウンミックス／アップミックスシナリオへのパラメータ制限スキームのアプリケーション
【０１７５】
モノラルのダウンミックス／モノラルアップミックスシナリオの単一のＴＣ ＰＬＳ（例えば、直接制御）は、ダウンミックス／アップミックスチャンネルのいかなる組合せも考慮するＴＣマトリクスに拡張する。従って、直接制御は、各ＴＣに対して個々に適用することができる。ＲＣ ＰＬＳ（例えば間接制御）に対する多重チャンネルのアップミックスシナリオは、例えば、全ての個々のレンダリング係数が独立に処理される簡単な多重のモノラルアプローチにおいて実現することができる。
【０１７６】
６．リスニングテスト結果
【０１７７】
６．１ テスト計画および項目
【０１７８】
主観的リスニングテストは、提案された歪み制御尺度（ＤＣＭ）コンセプトの知覚的パフォーマンスを評価し、それを通常のＳＡＯＣ参照モデル（ＳＡＯＣ‐ＲＭ）復号化処理と比較するために行われた。
【０１７９】
テスト計画は、提案されたパラメータ制限スキームの直接および間接の制御アプローチの個々のアプリケーションのケースならびにそれらの組み合わせを含む。通常の（パラメータ制限スキームＰＬＳによって処理されていない）ＳＡＯＣデコーダの出力信号は、ＳＡＯＣのベースラインパフォーマンスを実証するために、試験に含まれる。加えて、ダウンミックス信号に対応する平凡なレンダリングのケースが、リスニングテストにおいて比較の目的で用いられる。
【０１８０】
図５ａの表は、リスニングテスト条件を記載する。
【０１８１】
現行のリスニングテストに対して、極端なレンダリング条件に対する典型的なおよび最もクリチカルなアーチファクトタイプを表現する４つの項目が、提案募集（ＣｆＰ）のリスニングテスト素材から選択された。
【０１８２】
図５ｂの表は、リスニングテストのオーディオ項目を記載する。
【０１８３】
図６の表に係るレンダリングオブジェクトゲインは、考慮されるアップミックスシナリオに対して適用された。
【０１８４】
提案されたＰＬＳは、通常のＳＡＯＣビットストリームおよびダウンミックス（ＳＡＯＣエンコーダサイドでのいかなるＰＬＳ関連アクティビティも必要ない）を用いて動作し、残余情報を中継しないので、対応するＳＡＯＣダウンミックス信号に対してコアコーダは適用されなかった。
【０１８５】
【０１８６】
６．２ テスト方法
【０１８７】
主観的リスニングテストは、高品質リスニングができるように設計された音響的に隔離されたリスニングルームで行われた。再生は、ヘッドホン（Ｌａｋｅ‐ＰｅｏｐｌｅのＤ／ＡコンバータとＳＴＡＸのＳＲＭモニタを有するＳＴＡＸ ＳＲ Ｌａｍｄａ Ｐｒｏ）を用いてなされた。
【０１８８】
テスト方法は、中間品質オーディオの主観的評価のための隠されたリファレンスとアンカーを有する多重励振（ＭＵＳＨＲＡ）法（非特許文献６）に基づいて、空間オーディオ検証試験において用いられる手順に準拠した。テスト方法は、提案されたＤＣＭコンセプトの知覚的パフォーマンスを評価するために、ぴったりあわせて修正された。採用されたテスト方法に従って、リスナーは、以下のリスニングテスト指令に従って全てのテスト条件をお互いに比較するように命じられた。
【０１８９】
各オーディオ項目に対して、
●最初に、あなたがシステムユーザとして達成することを望む所望のサウンドミックスの記述を読んで下さい。
項目「BlackCoffee」： サウンドミックス内のソフトなホーンセクションサウンド
項目「Fanta4」：サウンドミックス内の大きなドラムサウンド
項目「LovePop」：サウンドミックス内のソフトなストリングセクションサウンド
項目「Audition」：ソフトな音楽と大きなボーカルサウンド
●次に、以下の両方を記述する１つの共通の等級を用いて信号を等級分けして下さい。
―所望のサウンドミックスの目的を達成する
―全体のシーンのサウンド品質（歪み、アーチファクト、不自然さ...を考慮する）
【０１９０】
合計９人のリスナーは、実行された試験の各々に参加した。全ての被検者は、経験豊かなリスナーとみなすことができる。テスト条件は、各テスト項目と各リスナーに対して自動的にランダム化された。主観的応答は、コンピュータベースのＭＵＳＨＲＡプログラムによって、０から１００にわたるスケールで記録された。テスト下の項目間の瞬時スイッチングが可能とされた。
【０１９１】
６．３ リスニングテスト結果
【０１９２】
取得されたリスニングテスト結果を示す図面に関する簡単な概要は、解説において見ることができる。これらのプロットは、全てのリスナーを通じた項目毎の平均ＭＵＳＨＲＡ等級と、全ての評価された項目を通じた統計的平均値を、関連する９５％の信頼区間と共に示す。
【０１９３】
行われたリスニングテストの結果に基づいて、以下の知見をなすことができる。行われた全てのリスニングテストに対して、取得されたＭＵＳＨＲＡスコアは、通常のＳＡＯＣ‐ＲＭシステムと比較して、全体の統計的平均値の意味で、提案されたＰＬＳ機能が良好なパフォーマンスを提供することを証明している。通常のＳＡＯＣデコーダ（考慮された極端なレンダリング条件に対して大きなオーディオアーチファクト示す）によって生成された全ての項目の品質は、所望のレンダリングシナリオを全く満たさないダウンミックとス同一のレンダリング設定の品質と比較して、わずかに高く等級分けされる点に注意しなければならない。それ故、提案されたＰＬＳは、全ての考慮されるリスニングテストシナリオに対して、主観的信号品質のかなりの改善に導くと結論づけることができる。また、最も有望な制限システムは、ＲＣとＴＣのＰＬＳの両方の組合せから成ると結論づけることができる。
【０１９４】
リスニングテスト結果に関する詳細は、図７の図解図において見ることができる。
【０１９５】
７．実施変形例
【０１９６】
いくつかの態様が装置の局面において記載されてきたが、これらの態様は、１つのブロックまたはデバイスが１つの方法ステップまたは方法ステップの特徴に対応する、対応する方法の記述をも表していることは明らかである。同様に、方法ステップの局面において記載された態様は、対応する装置の対応するブロックまたはアイテムまたは特徴の記述をも表している。いくつかまたは全ての方法ステップは、例えば、マイクロプロセッサ、プログラム可能なコンピュータまたは電子回路のようなハードウェア装置によって（または用いて）実行することができる。いくつかの実施形態において、いくつかの１つ以上の最も重要な方法ステップは、このような装置によって実行することができる。
【０１９７】
発明の符号化されたオーディオ信号は、デジタル記憶媒体上に記憶することができる、または、無線伝送媒体のような伝送媒体またはインターネットのような有線伝送媒体上を送信することができる。
【０１９８】
特定の実施要求に従って、本発明の実施形態は、ハードウェアにおいてまたはソフトウェアにおいて実施することができる。実施は、その上に格納される電子的に読み込み可能な制御信号を有し、それぞれの方法が実行されるようにプログラム可能なコンピュータシステムと協働する（または協働することができる）デジタル記憶媒体、例えばフロッピー（登録商標）ディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭまたはフラッシュメモリを用いて実行することができる。従って、デジタル記憶媒体はコンピュータ読取可能とすることができる。
【０１９９】
本発明に係るいくつかの実施形態は、電子的に読み込み可能な制御信号を有し、本願明細書に記載された方法の１つが実行されるように、プログラム可能なコンピュータシステムと協動することができる、データキャリアを含む。
【０２００】
一般に、本発明の実施形態は、コンピュータプログラム製品がコンピュータ上で動作するとき、本発明の方法の１つを実行するために動作可能であるプログラムコードを有するコンピュータプログラム製品として実施することができる。プログラムコードは、例えば、機械読取可能なキャリア上に記憶することができる。
【０２０１】
他の実施形態は、機械読取可能なキャリア上に記憶され、本願明細書に記載された方法の１つを実行するためのコンピュータプログラムを含む。
【０２０２】
言い換えれば、本発明の方法の実施形態は、それ故に、コンピュータプログラムがコンピュータ上で動作するとき、本願明細書に記載された方法の１つを実行するためのプログラムコードを有するコンピュータプログラムである。
【０２０３】
本発明の方法の更なる実施形態は、それ故に、本願明細書に記載された方法の１つを実行するためのコンピュータプログラムがその上に記録されたデータキャリア（またはデジタル記憶媒体またはコンピュータ読取可能媒体）である。データキャリア、デジタル記憶媒体または記録された媒体は、通常は有形および／または非遷移的である。
【０２０４】
本発明の方法の更なる実施形態は、それ故に、本願明細書に記載された方法の１つを実行するためのコンピュータプログラムを表現するデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、データ通信接続、例えばインターネットを介して伝送されるように構成することができる。
【０２０５】
更なる実施形態は、本願明細書に記載された方法の１つを実行するように構成され、または適合された処理手段、例えばコンピュータ、またはプログラマブルロジックデバイスを含む。
【０２０６】
更なる実施形態は、本願明細書に記載された方法の１つを実行するためのコンピュータプログラムをインストールしたコンピュータを含む。
【０２０７】
いくつかの実施形態では、プログラマブルロジックデバイス（例えばフィールドプログラマブルゲートアレイ）を、本願明細書に記載された方法の機能の一部または全部を実行するために用いることができる。いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本願明細書に記載された方法の１つを実行するために、マイクロプロセッサと協働することができる。一般に、方法は、好ましくはいかなるハードウェア装置によっても実行される。
【０２０８】
上記した実施形態は、単に本発明の原理に対して説明したものである。本願明細書に記載された構成および詳細の修正および変更は、他の当業者にとって明らかであると理解される。本発明は、それ故に、特許クレームのスコープのみによって制限され、本願明細書の実施形態の記述および説明によって提供された特定の詳細によって制限されないことを意図する。
【０２０９】
８．結論
【０２１０】
本発明に係る実施形態は、オーディオデコーダにおける歪み制御に対して、パラメータ制限スキームを構築する。本発明に係るいくつかの実施形態は、所望の再生セットアップ（例えば、モノラル、ステレオ、５．１、他）の選択と、個人的な嗜好または他の基準に従ってレンダリングマトリクスを制御することによる所望の出力レンダリングシーンの対話式リアルタイム修正のためのユーザインターフェース手段を提供する、空間オーディオオブジェクト符号化（ＳＡＯＣ）に焦点を合わせている。しかしながら、提案された方法をパラメトリック技術に一般的に適合させることは、直接的な作業である。
【０２１１】
ダウンミックス／分離／混合ベースのパラメトリックアプローチのため、レンダーされたオーディオ出力の主観的品質はレンダリングパラメータ設定に依存する。ユーザ選択のレンダリング設定を選択する自由度は、全体の音響シーン内のオブジェクトの極端なゲイン操作のような、不適切なオブジェクトレンダリングオプションを選択するユーザのリスクを引き起こす。
【０２１２】
商用製品に対して、悪い音響品質および／またはオーディオアーチファクトを生じることは、ユーザインターフェースのいかなる設定に対しても、なんとしても容認できない。生成されたＳＡＯＣオーディオ出力の過剰な歪みを制御するために、レンダーされたシーンの知覚的な品質の尺度を演算し、この尺度（および他の情報）に基づいて、実際に適用されたレンダリング係数を修正するというアイデアに基づく、いくつかの計算上の尺度が記述されている（特許文献１参照）。
【０２１３】
本発明は、次のようなレンダーされたＳＡＯＣシーンの主観的音響品質を保護する代替のアイデアを構築する。
●全ての処理がＳＡＯＣデコーダ／トランスコーダの中で完全に行われる
●レンダーされた音響シーンの知覚されたオーディオ品質の複雑な尺度の明示の計算を含まない
【０２１４】
これらのアイデアは、このように、ＳＡＯＣデコーダ／トランスコーダのフレームワーク内で、構造的に簡単で極めて効率的な方法で実施することができる。提案された歪み制御メカニズム（ＤＣＭ）は、ＳＡＯＣデコーダ、すなわち、レンダリング係数（ＲＣ）および変換符号化係数（ＴＣ）に固有のパラメータを制限することを目的とするので、本書面の全体にわたって、パラメータ制限スキーム（ＰＬＳ）と呼ばれる。
【０２１５】
しかしながら、パラメータ制限スキームは、いかなる異なるオーディオデコーダに対しても同様に適用することができる。
【特許請求の範囲】
【請求項１】
【請求項２】
前記パラメータ調整器は、複数のパラメータ値の荷重平均である平均値に従って、前記１つ以上の調整されたパラメータを提供するように構成された、請求項１に記載の装置（１００；２５０；３５０；４４０；４５０）。
【請求項３】
前記パラメータ調整器は、前記１つ以上の調整されたパラメータが、前記平均値から、対応する受信されたパラメータよりも小さく偏移するように、前記１つ以上の調整されたパラメータを提供するように構成された、請求項１または２に記載の装置（１００；２５０；３５０；４４０；４５０）。
【請求項４】
【請求項５】
【請求項６】
【請求項７】
【請求項８】
【請求項９】
【請求項１０】
【請求項１１】
【請求項１２】
【請求項１３】
【請求項１４】
【請求項１５】
【請求項１６】
【請求項１７】
【請求項１８】
【請求項１９】
【請求項２０】
前記信号処理器は、ＭＰＥＧサラウンド任意ダウンミックスゲイン値を取得するように構成され、
前記１つ以上の調整されたパラメータを提供する装置は、入力パラメータとして、複数の任意ダウンミックスゲイン値を受信し、複数の調整された任意ダウンミックスゲイン値を提供するように構成された、
請求項１７に記載された、装置（２００；３００；４１０）。
【請求項２１】
ダウンミックス信号表現と、前記ダウンミックス信号表現に関係するパラメトリックサイド情報に基づくアップミックス信号表現の提供に対して、１つ以上の調整されたパラメータを提供する方法であって、
１つ以上のパラメータを受信するステップと、
前記受信されたパラメータに基づいて、非最適なパラメータの使用によって生じるアップミックス信号表現の歪みが、最適パラメータから予め定められた偏差より大きく偏移している少なくとも１つ以上のパラメータに対して限定されるように、複数のパラメータ値の平均値に従って、前記１つ以上の調整されたパラメータを提供するステップと、
を備えた、方法。
【請求項２２】
コンピュータプログラムがコンピュータ上で動作するときに、請求項２１に記載された方法を実行する、コンピュータプログラム。
【請求項１】
【請求項２】
前記パラメータ調整器は、複数のパラメータ値の荷重平均である平均値に従って、前記１つ以上の調整されたパラメータを提供するように構成された、請求項１に記載の装置（１００；２５０；３５０；４４０；４５０）。
【請求項３】
前記パラメータ調整器は、前記１つ以上の調整されたパラメータが、前記平均値から、対応する受信されたパラメータよりも小さく偏移するように、前記１つ以上の調整されたパラメータを提供するように構成された、請求項１または２に記載の装置（１００；２５０；３５０；４４０；４５０）。
【請求項４】
【請求項５】
【請求項６】
【請求項７】
【請求項８】
【請求項９】
【請求項１０】
【請求項１１】
【請求項１２】
【請求項１３】
【請求項１４】
【請求項１５】
【請求項１６】
【請求項１７】
【請求項１８】
【請求項１９】
【請求項２０】
前記信号処理器は、ＭＰＥＧサラウンド任意ダウンミックスゲイン値を取得するように構成され、
前記１つ以上の調整されたパラメータを提供する装置は、入力パラメータとして、複数の任意ダウンミックスゲイン値を受信し、複数の調整された任意ダウンミックスゲイン値を提供するように構成された、
請求項１７に記載された、装置（２００；３００；４１０）。
【請求項２１】
ダウンミックス信号表現と、前記ダウンミックス信号表現に関係するパラメトリックサイド情報に基づくアップミックス信号表現の提供に対して、１つ以上の調整されたパラメータを提供する方法であって、
１つ以上のパラメータを受信するステップと、
前記受信されたパラメータに基づいて、非最適なパラメータの使用によって生じるアップミックス信号表現の歪みが、最適パラメータから予め定められた偏差より大きく偏移している少なくとも１つ以上のパラメータに対して限定されるように、複数のパラメータ値の平均値に従って、前記１つ以上の調整されたパラメータを提供するステップと、
を備えた、方法。
【請求項２２】
コンピュータプログラムがコンピュータ上で動作するときに、請求項２１に記載された方法を実行する、コンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５ａ】
【図５ｂ】
【図６】
【図７】
【図８】
【図９ａ】
【図９ｂ】
【図９ｃ】
【図１０】
【図２】
【図３】
【図４】
【図５ａ】
【図５ｂ】
【図６】
【図７】
【図８】
【図９ａ】
【図９ｂ】
【図９ｃ】
【図１０】
【公表番号】特表２０１３−５０７６６４（Ｐ２０１３−５０７６６４Ａ）
【公表日】平成２５年３月４日（２０１３．３．４）
【国際特許分類】
【出願番号】特願２０１２−５３３６４３（Ｐ２０１２−５３３６４３）
【出願日】平成２２年１０月１５日（２０１０．１０．１５）
【国際出願番号】ＰＣＴ／ＥＰ２０１０／０６５５０３
【国際公開番号】ＷＯ２０１１／０４５４０９
【国際公開日】平成２３年４月２１日（２０１１．４．２１）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＥＥＰＲＯＭ
【出願人】（５９１０３７２１４）フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ (259)
【Ｆターム（参考）】
【公表日】平成２５年３月４日（２０１３．３．４）
【国際特許分類】
【出願日】平成２２年１０月１５日（２０１０．１０．１５）
【国際出願番号】ＰＣＴ／ＥＰ２０１０／０６５５０３
【国際公開番号】ＷＯ２０１１／０４５４０９
【国際公開日】平成２３年４月２１日（２０１１．４．２１）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＥＥＰＲＯＭ
【出願人】（５９１０３７２１４）フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ (259)
【Ｆターム（参考）】
[ Back to top ]