ダウンミックス信号表現に基づいてアップミックス信号表現を生成するための装置、マルチチャネルオーディオ信号を表現するビットストリームを生成するための装置、歪制御信号化を用いる方法、コンピュータプログラム及びビットストリーム
オーディオコンテンツのビットストリーム表現に含まれているダウンミックス信号表現及び同ビットストリーム表現に含まれているオブジェクト関連パラメータ情報に基づいて、かつレンダリング情報に依存してアップミックス信号表現を生成するための装置は、レンダリングパラメータの不適切な選定により生じる可聴歪を回避するか又は制限するために、歪制御スキームを用いてアップミックスパラメータを調整するように構成された歪制限器を備えている。歪制限器は、オーディオコンテンツのビットストリーム表現に含まれている歪制限制御パラメータを得るように、かつこの歪制限制御パラメータに依存して歪制御スキームを調整するように構成されている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明による実施形態は、オーディオコンテンツのビットストリーム表現に含まれているダウンミックス信号表現、同ビットストリーム表現に含まれているオブジェクト関連パラメータ情報、及びレンダリング情報に基づいてアップミックス信号表現を生成するための装置に関する。
【０００２】
本発明による他の実施形態は、マルチチャネルオーディオ信号を表現するビットストリームを生成するための装置に関する。
【０００３】
本発明による他の実施形態は、オーディオコンテンツのビットストリーム表現に含まれているダウンミックス信号表現、同ビットストリーム表現に含まれているオブジェクト関連パラメータ情報、及びレンダリング情報に基づいてアップミックス信号表現を生成するための方法に関する。
【０００４】
本発明による他の実施形態は、マルチチャネルオーディオ信号を表現するビットストリームを生成するための方法に関する。
【０００５】
本発明による他の実施形態は、これらの方法の１つを実行するコンピュータプログラムに関する。
【０００６】
本発明による他の実施形態は、マルチチャネルオーディオ信号を表現するビットストリームに関する。
【背景技術】
【０００７】
オーディオ処理、オーディオ伝送及びオーディオ蓄積の技術分野では、聴感を良くするためにマルチチャネルコンテンツを取り扱おうという要望が高まりつつある。マルチチャネル・オーディオ・コンテンツの使用は、ユーザに著しい改善をもたらすものである。例えば、３次元聴感を得ることも可能であって、娯楽に適用すればユーザの満足度が高まる。その一方で、マルチチャネル・オーディオ・コンテンツは、マルチチャネルオーディオ再生の使用によってスピーカの了解度が向上され得ることから、職場環境において、例えば電話会議への適用においても有益である。
【０００８】
しかしながら、マルチチャネルアプリケーションによって生じる資源の過剰な負荷を回避するために、オーディオ品質とビットレート要件との間に良好な得失評価を有することもまた望ましい。
【０００９】
最近では、複数のオーディオオブジェクトを含むオーディオ場面のビットレート効率のよい伝送及び／又は蓄積を行なうためのパラメトリック手法、例えばバイノーラルキュー符号化（Binaural Cue Coding：ＢＣＣ）（タイプＩ）（例えば、非特許文献１参照）、情報源符号化（Joint Source Coding：ＪＳＣ）（例えば、非特許文献２参照）及びＭＰＥＧ空間オーディオオブジェクト符号化（Spatial Audio Object Coding：ＳＡＯＣ）（例えば、非特許文献３、非特許文献４及び未公開非特許文献５参考）が提案されている。
【００１０】
これらの手法の目的は、波形一致ではなく、所望される出力オーディオ場面を知覚的に再構成することにある。
【００１１】
図８は、このようなシステム（ここでは、ＭＰＥＧ ＳＡＯＣ）のシステム概観を示す。
【００１２】
図８に示されているＭＰＥＧ ＳＡＯＣシステム８００は、ＳＡＯＣエンコーダ８１０と、ＳＡＯＣデコーダ８２０とを備えている。ＳＡＯＣエンコーダ８１０は複数のオブジェクト信号ｘ1〜ｘNを受けとる。オブジェクト信号ｘ1〜ｘNは、例えば時間領域信号として又は時間周波数領域信号として（例えば、フーリエ型変換の変換係数セットの形式又はＱＭＦサブバンド信号の形式で）表現することができる。ＳＡＯＣエンコーダ８１０は、典型的にはダウンミックス係数ｄ1〜ｄNも受けとる。ダウンミックス係数ｄ1〜ｄNはオブジェクト信号ｘ1〜ｘNに関連づけられている。ダウンミックス係数は、ダウンミックス信号のチャネル毎に別々のセットが利用できる。ＳＡＯＣエンコーダ８１０は、典型的には、関連づけられるダウンミックス係数ｄ1〜ｄNに従ってオブジェクト信号ｘ1〜ｘNを結合することにより、ダウンミックス信号のチャネルを得るように構成されている。典型的には、存在するダウンミックスチャネルの数はオブジェクト信号ｘ1〜ｘNより少ない。ＳＡＯＣデコーダ８２０側におけるオブジェクト信号の分離（又は分離処理）を（少なくとも概略的に）可能にするために、ＳＡＯＣエンコーダ８１０は、サイド情報８１４と１つ以上のダウンミックス信号（ダウンミックスチャネルとして示される）８１２の双方を生成する。サイド情報８１４は、デコーダ側のオブジェクト指定処理を可能にするために、オブジェクト信号ｘ1〜ｘNの特徴を記述する。
【００１３】
ＳＡＯＣデコーダ８２０は、サイド情報８１４と１つ以上のダウンミックス信号８１２の双方を受けとるように構成されている。また、ＳＡＯＣデコーダ８２０は、典型的には、ユーザ相互作用情報及び／又はユーザ制御情報８２２を受けとるように構成されている。ユーザ相互作用情報及び／又はユーザ制御情報８２２は、所望されるレンダリング設定を記述するものであり、例えば、スピーカの設定及びオブジェクトの所望される空間配置について記述することができ、これらはオブジェクト信号ｘ1〜ｘNを与える。
【００１４】
ＳＡＯＣデコーダ８２０は、例えば、複数の復号されたアップミックスチャネル信号
を生成するように構成されている。アップミックスチャネル信号は、例えばマルチスピーカレンダリング配置の個々のスピーカに関連づけることができる。ＳＡＯＣデコーダ８２０は、例えば、オブジェクト分離器８２０ａを備えることができ、オブジェクト分離器８２０ａは、サイド情報８１４及び１つ以上のダウンミックス信号８１２に基づきオブジェクト信号ｘ1〜ｘNを少なくとも概略的に再構成し、これにより再構成されたオブジェクト信号８２０ｂを得るように構成されている。しかしながら、再構成されたオブジェクト信号８２０ｂは元のオブジェクト信号ｘ1〜ｘNから幾分かずれていることがある。それは、例えば、ビットレート制約のために、サイド情報８１４が完全な再構成にとってまったく十分であるとはいえないからである。ＳＡＯＣデコーダ８２０はさらにミキサ８２０ｃを備えることができる。ミキサ８２０ｃは、再構成されたオブジェクト信号８２０ｂとユーザ相互作用情報／ユーザ制御情報８２２を受けとり、これらに基づいてアップミックスチャネル信号
を生成するように構成できる。ミキサ８２０は、ユーザ相互作用情報／ユーザ制御情報８２２を用いて、アップミックスチャネル信号
に対する個々の再構成されたオブジェクト信号８２０ｂの寄与を決定するように構成できる。ユーザ相互作用情報／ユーザ制御情報８２２は、例えば、レンダリングパラメータ（レンダリング係数とも明記される）を含むことができる。レンダリングパラメータはアップミックスチャネル信号
に対する個々の再構成されたオブジェクト信号８２２の寄与を決定する。
【００１５】
図８ではオブジェクト分離はオブジェクト分離器８２０ａにより示され、ミキシングはミキサ８２０ｃにより示されているが、多くの実施形態ではこれらは単一のステップで実行されることに留意されるべきである。その目的のために、１つ以上のダウンミックス信号８１２をアップミックスチャネル信号
へ直接写し変えることを記述する全体的パラメータが計算される場合がある。これらのパラメータは、サイド情報及びユーザ相互作用情報／ユーザ制御情報８２０に基づいて計算できる。
【００１６】
次に、図９Ａ、図９Ｂ及び図９Ｃを参照して、ダウンミックス信号表現及びオブジェクト関連サイド情報に基づいてアップミックス信号表現を得るための異なる装置について述べる。図９Ａは、ＳＡＯＣデコーダ９２０を備えているＭＰＥＧ ＳＡＯＣシステム９００の概略ブロック図を示す。ＳＡＯＣデコーダ９２０は、別々の機能ブロックとして、オブジェクトデコーダ９２２及びミキサ／レンダラ９２６を備えている。オブジェクトデコーダ９２２は、ダウンミックス信号表現（例えば、時間領域又は時間−周波数領域において表現される１つ以上のダウンミックス信号の形式）及びオブジェクト関連サイド情報（例えば、オブジェクト・メタ・データの形式）に依存して複数の再構成されたオブジェクト信号９２４を生成する。ミキサ／レンダラ９２６は、複数であるＮ個のオブジェクトに関連づけられた再構成されたオブジェクト信号９２４を受けとり、これらに基づいて１つ以上のアップミックスチャネル信号９２８を生成する。ＳＡＯＣデコーダ９２０において、オブジェクト信号９２４の抽出はミキシング／レンダリングとは別に実行され、これは、ミキシング／レンダリング機能からのオブジェクト復号機能の分離を可能にするが、計算の複雑さは比較的高くなる。
【００１７】
図９Ｂを参照して別のＭＰＥＧ ＳＡＯＣシステム９３０について簡単に論じる。そのＭＰＥＧ ＳＡＯＣシステム９３０はＳＡＯＣデコーダ９５０を備えている。ＳＡＯＣデコーダ９５０は、ダウンミックス信号表現（例えば、１つ以上のダウンミックス信号の形式）及びオブジェクト関連サイド情報（例えば、オブジェクトメタデータの形式）に依存して複数のアップミックスチャネル信号９５８を生成する。ＳＡＯＣデコーダ９５０は結合されたオブジェクトデコーダ及びミキサ／レンダラを備えており、結合されたオブジェクトデコーダ及びミキサ／レンダラはオブジェクト復号とミキシング／レンダリングとを分離することなく合同ミキシングプロセスにおいてアップミックスチャネル信号９５８を得るように構成されている。その合同ミキシングプロセスのパラメータは、オブジェクト関連サイド情報及びレンダリング情報の双方に依存する。合同ミキシングプロセスはダウンミックス情報にも依存し、この場合、ダウンミックス情報はオブジェクト関連サイド情報の一部と考えられる。
【００１８】
上記を要約すると、アップミックスチャネル信号９２８、９５８の生成は、１ステッププロセス又は２ステッププロセスで実行できる。
【００１９】
図９Ｃを参照して、ＭＰＥＧ ＳＡＯＣシステム９６０について述べる。ＳＡＯＣシステム９６０は、ＳＡＯＣデコーダではなくＳＡＯＣ−ＭＰＥＧサラウンドトランスコーダ９８０を備えている。
【００２０】
ＳＡＯＣ−ＭＰＥＧサラウンドトランスコーダはサイド情報トランスコーダ９８２を備えている。サイド情報トランスコーダ９８２はオブジェクト関連サイド情報（例えば、オブジェクトメタデータの形式）とレンダリング情報、さらに場合により１つ以上のダウンミックス信号に関する情報を受けとるように構成されている。サイド情報トランスコーダは、受けとったデータに基づきＭＰＥＧサラウンドサイド情報（例えば、ＭＰＥＧサラウンドビットストリームの形式）を生成するようにも構成されている。したがって、サイド情報トランスコーダ９８２は、レンダリング情報及び場合により１つ以上のダウンミックス信号のコンテンツに関する情報を考慮して、オブジェクトエンコーダから出されるオブジェクト関連の（パラメトリックな）サイド情報をチャネル関連の（パラメトリックな）サイド情報へ変換するように構成されている。
【００２１】
場合により、ＳＡＯＣ−ＭＰＥＧサラウンドトランスコーダ９８０は、例えばダウンミックス信号表現により記述された１つ以上のダウンミックス信号を操作して、操作されたダウンミックス信号表現９８８を得るように構成することができる。しかしながら、ダウンミックス信号マニピュレータ９８６は省略される場合があり、その場合はＳＡＯＣ−ＭＰＥＧサラウンドトランスコーダ９８０から出力されるダウンミックス信号表現９８８と、ＳＡＯＣ−ＭＰＥＧサラウンドトランスコーダへ入力されるダウンミックス信号表現は同一になる。ダウンミックス信号マニピュレータ９８６は、例えば、チャネル関連ＭＰＥＧサラウンドサイド情報９８４がＳＡＯＣ−ＭＰＥＧサラウンドトランスコーダ９８０への入力ダウンミックス信号表現に基づいて所望される聴感を生成できないようであれば使用されることがあり、この状況は、再現されるものの配列によっては発生し得る。
【００２２】
したがって、ＳＡＯＣ−ＭＰＥＧサラウンドトランスコーダ９８０は、ＭＰＥＧサラウンドビットストリーム９８４及びダウンミックス信号表現９８８を受けとるＭＰＥＧサラウンドデコーダを使用して、ＳＡＯＣ−ＭＰＥＧサラウンドトランスコーダ９８０へ入力されるレンダリング情報に従ってオーディオオブジェクトを表現する複数のアップミックスチャネル信号を発生し得るように、ダウンミックス信号表現９８８及びＭＰＥＧサラウンドビットストリーム９８４を生成する。
【００２３】
上記を要約すると、ＳＡＯＣで符号化されたオーディオ信号を復号するためには、異なる概念を用いることが可能である。事例によってはＳＡＯＣデコーダが使用される。ＳＡＯＣデコーダは、ダウンミックス信号表現及びオブジェクト関連のパラメトリックなサイド情報に依存してアップミックスチャネル信号（例えば、アップミックスチャネル信号９２８、９５８）を生成する。図９Ａ及び図９Ｂはこの概念の例を示している。あるいは、ＳＡＯＣで符号化されたオーディオ情報は、ダウンミックス信号表現（例えば、ダウンミックス信号表現９８８）及びチャネル関連サイド情報（例えば、チャネル関連ＭＰＥＧサラウンドビットストリーム９８４）を得るためにトランスコードされる場合もある。それらのダウンミックス信号表現とチャネル関連サイド情報は所望されるアップミックスチャネル信号を生成するためにＭＰＥＧサラウンドデコーダによって使用することができる。
【００２４】
図８にシステムの概観が示されているＭＰＥＧ ＳＡＯＣシステム８００において、一般処理は周波数選択方式で実行され、各周波数バンド内部では下記のように記述することができる。
【００２５】
入力されるＮ個のオーディオオブジェクト信号ｘ1〜ｘNは、ＳＡＯＣエンコーダの処理の一部としてダウンミックスされる。モノダウンミックスの場合、ダウンミックス係数はｄ1〜ｄNによって示される。さらに、ＳＡＯＣエンコーダ８１０は、入力されたオーディオオブジェクトの特徴を記述するサイド情報８１４を抽出する。ＭＰＥＧ ＳＡＯＣの場合、このようなサイド情報の最も基本的な形式は、オブジェクト電力の互いに対する関係性である。
【００２６】
サイド情報８１４及び（１つ以上の）ダウンミックス信号８１２は、伝送され、かつ／又は格納される。この目的に沿って、ダウンミックスオーディオ信号は、ＭＰＥＧ−１レイヤＩＩ又はＩＩＩ（「．ｍｐ３」としても知られる）、ＭＰＥＧアドバンスト・オーディオ・コーディング（ＡＡＣ）又は他の任意のオーディオコーダ等の周知の知覚オーディオコーダを用いて圧縮される場合がある。
【００２７】
受信側では、ＳＡＯＣデコーダ８２０は、概念的には、伝送されたサイド情報８１４（及び当然ながら、１つ以上のダウンミックス信号８１２）を用いて、元のオブジェクト信号を復元するように試行する（「オブジェクト分離」）。これらの近似されたオブジェクト信号（再構成されたオブジェクト信号８２０ｂとしても示される）は、次に、レンダリングマトリクスを用いて、Ｍ個のオーディオ出力チャネル（例えば、アップミックスチャネル信号
により表現される場合がある）によって表現される標的場面へミキシングされる。モノ出力の場合、レンダリングマトリクス係数はｒ1〜ｒNによって与えられる。
【００２８】
効率的には、オブジェクト信号の分離はほとんど行われない（又は、絶対に行われない）。それは、分離ステップ（オブジェクト分離器８２０ａにより示される）及びミキシングステップ（ミキサ８２０ｃにより示される）の双方が単一のトランスコーディングステップに結合され、これにより計算の複雑さが大幅に低減される結果となる場合が多いからである。
【００２９】
このようなスキームは、伝送ビットレート及び計算の複雑さの双方の面で極めて効率的であることがわかっている。すなわち、伝送ビットレートの面では、Ｎ個の（典型的には不連続の）オブジェクトオーディオ信号に場合によりレンダリング情報又は不連続システムを加えて伝送するのではなく、幾つかのダウンミックスチャネルに何らかのサイド情報を加えて伝送するだけでよいからである。また、計算の複雑さの面では、処理の複雑さはオーディオオブジェクトの数ではなく、主として出力チャネルの数に関係するからである。受信側ユーザにとってのさらなる優位点としては、ユーザ選択のレンダリング設定（モノ、ステレオ、サラウンド、仮想化ヘッドホン再生、等々）及びユーザ相互作用性の特徴を選ぶ自由が含まれる。すなわち、ユーザはレンダリングマトリクス及びひいては出力される場面を、意志、個人的嗜好又は他の基準に従って相互作用的に設定しかつ変更することができる。例えば、１つのグループからの話者を纏めて１つの空間エリアに位置決めし、他の話者との区別を最大にすることができる。この相互作用性は、デコーダのユーザインタフェースを与えることによって達成される。
【００３０】
伝送される各サウンドオブジェクトについて、その相対レベル及び（モノレンダリングでないものについては）レンダリングの空間位置を調整することができる。このことは、ユーザが関連のグラフィカル・ユーザ・インタフェース（Graphical User Interface：ＧＵＩ）スライダ（例えば、オブジェクトレベル＝＋５ｄＢ、オブジェクトの位置＝−３０度）の位置を変更するにつれてリアルタイムで発生する場合がある。
【００３１】
しかし、場合によっては、アップミックス信号表現を生成するためのパラメータをデコーダ側で選択すれば（例えば、アップミックスチャネル信号?１〜?Ｍ）、可聴性の劣化を招くことがわかっている。
【００３２】
ダウンミックス／分離／ミキシングに基づくパラメトリック手法に起因して、オーディオ出力の主観的品質はレンダリングパラメータの設定に依存することがわかっている。相対的オブジェクトレベルの変化は、空間的な再現位置の変化（「リパニング(re-panning)」）よりも最終的なオーディオ品質に多く影響することがわかった。相対レベルパラメータの極値設定（例えば、＋２０ｄＢ）は、容認し難い出力品質をもたらす可能性すらある。
【００３３】
これは単に、このスキームの根底にある知覚的想定のうちの幾つかを破った結果ではあるが、それでも、ユーザインタフェースでの設定に依存して不良な音及びアーティファクトを生成することは市販の製品としては受け入れられない。
【００３４】
「歪を回避するオーディオ信号処理のための方法、装置及びコンピュータプログラム」と題する米国特許出願第６１／１７３，４５６号（特許文献１）、及び「ダウンミックス信号表現に基づいてアップミックス信号表現を生成するための１つ以上の調整されたパラメータを生成する装置、オブジェクト関連パラメータ情報を用いるオーディオ信号デコーダ、オーディオ信号トランスコーダ、オーディオ信号エンコーダ、オーディオビットストリーム、方法及びコンピュータプログラム」と題する国際特許出願ＰＣＴ／ＥＰ２０１０／０５５７１７号（特許文献２）（以後、「歪制御の例」と称する）は、ＳＡＯＣシステムにおけるオブジェクト利得修正から歪を軽減するためのプロセスを記述している。これらの文献は、歪制御及び歪低減について本発明とは異なる概念を記述しているが、これらの概念は、本発明による実施形態において、又は本発明による実施形態と組み合わせて適用することができる。
【先行技術文献】
【特許文献】
【００３５】
【特許文献１】米国特許出願第６１／１７３，４５６号
【特許文献２】国際特許出願ＰＣＴ／ＥＰ２０１０／０５５７１７号
【非特許文献】
【００３６】
【非特許文献１】[BCC]C. Faller and F. Baumgarte, “Binaural Cue Coding - Part II: Schemes and applications”, IEEE Trans. on Speech and Audio Proc., vol. 11, no. 6, Nov. 2003.
【非特許文献２】[JSC]C. Faller, “Parametric Joint-Coding of Audio Sources”, 120th AES Convention, Paris, 2006, Preprint 6752.
【非特許文献３】[SAOC1]J. Herre, S. Disch, J. Hilpert, O. Hellmuth: “From SAC To SAOC - Recent Developments in Parametric Coding of Spatial Audio”, 22nd Regional UK AES Conference, Cambridge, UK, April 2007.
【非特許文献４】[SAOC2]J. Engdegard, B. Resch, C. Falch, O. Hellmuth, J. Hilpert, A. Holzer, L. Terentiev, J. Breebaart, J. Koppens, E. Schuijers and W. Oomen: “Spatial Audio Object Coding (SAOC) - The Upcoming MPEG Standard on Parametric Object Based Audio Coding”, 124th AES Convention, Amsterdam 2008, Preprint 7377.
【非特許文献５】[SAOC] ISO/IEC, “MPEG audio technologies - Part 2: Spatial Audio Object Coding (SAOC)”, ISO/IEC JTC1/SC29/WG11 (MPEG) FCD 23003-2.
【非特許文献６】[SBR1]ISO/IEC, “MPEG audio technologies - Part 2: Spatial Audio Object Coding (SAOC)”, ISO/IEC JTC1/SC29/WG11 (MPEG) FCD 23003-2.
【非特許文献７】[SBR2]M. Dietz, L. Liljeryd, K. Kjoerling, and O. Kunz, “Spectral band replication, a novel approach in audio coding”, in AES 112th Convention, Munich, Germany, May 2002, Preprint 5553.
【非特許文献８】[PS]“Low Complexity Parametric Stereo Coding in MPEG-4”, Heiko Purnhagen, Proc. Digital Audio Effects Workshop (DAFx), pp. 163-168, Naples, IT, Oct. 2004.
【発明の概要】
【発明が解決しようとする課題】
【００３７】
上述の論考に鑑みて、本発明の目的は、ダウンミックス信号表現に基づいてアップミックス信号表現を生成する際の改善された歪低減又は歪回避を可能にする概念を作り上げることにある。
【課題を解決するための手段】
【００３８】
本発明による一実施形態は、オーディオコンテンツのビットストリーム表現に含まれているダウンミックス信号表現及び同ビットストリーム表現に含まれているオブジェクト関連パラメータ情報に基づいて、かつレンダリング情報に依存してアップミックス信号表現を生成するための装置を創出する。本装置は、レンダリングパラメータ（例えば、ユーザ指定レンダリングマトリクスのエントリ）の不適切な選定の結果として引き起こされる可聴歪を回避するか又は制限するために、歪制御スキームを用いてアップミックスパラメータ（例えば、レンダリングマトリクスの利得係数又はエントリ）を調整するように構成された歪制限器を備えている。歪制限器は、オーディオコンテンツのビットストリーム表現に含まれている歪制限制御パラメータを得るように、かつこの歪制限制御パラメータに依存して歪制御スキームを調整するように構成されている。
【００３９】
本発明によるこの実施形態は、歪制限制御パラメータに依存して歪制御スキームを調整すれば著しい効果を達成することができるという問題解決の着想に基づいている。歪制限制御パラメータは歪制御スキームの制御を可能にするのでオーディオコンテンツのビットストリーム表現に含まれている。歪制御スキームは制御情報（例えば、歪制限制御パラメータ）を用いてオーディオデコーダ（例えば、アップミックス信号表現を生成するための装置）側で適用され、制御情報はオーディオエンコーダ（例えば、マルチチャネルオーディオ信号を表すビットストリームを生成するための装置）により与えられる。したがって、オーディオ信号エンコーダがデコーダ側の歪制御スキームを制御する機会を有し、ついで歪制御スキームにおいてそのレンダリングパラメータの調整に関する多少の自由度がエンコーダからデコーダのユーザへ移る可能性がある。したがって、典型的にはダウンミックス信号表現によって表されるオーディオ信号オブジェクトに関してより良い情報をもつオーディオ信号エンコーダは、オーディオオブジェクト信号に関するその情報を用いて歪制御スキームを適切に調整すべく寄与することができる。このことは、アップミックス信号表現を生成する際の結果の向上を可能にする。また、オーディオ信号エンコーダは、ダウンミックス信号表現によって表されるオーディオオブジェクト信号を与えるコンテンツプロバイダの要請に従って適切な歪制限制御パラメータを生成することができる、その結果、レンダリングパラメータの不適切な設定によるアップミックス信号表現の過度の劣化を、例えばコンテンツプロバイダの要請に従って、オーディオ信号エンコーダ側から防止することができる。
【００４０】
要約すると、デコーダ側で適用される歪制御スキームの例えば１つ以上のパラメータを調整するために、オーディオコンテンツのビットストリーム表現からデコーダ側で抽出される歪制限制御パラメータを評価する本発明手法により、多数の優位点を達成することができる。
【００４１】
ある好適な実施形態において、アップミックス信号表現を生成するための装置は、入力インタフェースから所望されるレンダリングマトリクスを受けとるように構成されている。この場合、歪制限器は、所望されるレンダリングマトリクス及び１つ以上の歪制限制御パラメータに依存して修正されたレンダリングマトリクスを得るように構成されている。アップミックス信号表現を生成するための本装置は、修正されたレンダリングマトリクスに依存してアップミックス信号表現を生成するように構成されている。したがって、オーディオ信号デコーダ（例えば、アップミックス信号表現を生成するための装置）によりオーディオコンテンツのビットストリーム表現から抽出される歪制限制御パラメータは、修正されたレンダリングマトリクスを生成するために使用することができ、その修正されたレンダリングマトリクスがアップミックス信号表現内の過度の可聴歪を回避する。可聴歪の低減は、（例えば、ユーザにより）入力インタフェースを介して入力される所望のレンダリングマトリクスが不適切である（しかも、アップミックス信号表現に重大な可聴歪を生じさせる）場合でも達成することができる。このように、歪制限器は、修正されたレンダリングマトリクスが入力インタフェースからの所望のレンダリングマトリクスに依存してどのように取得されているのかを決定するために、歪制限制御パラメータを評価することができ、これにより、オーディオ信号エンコーダに対するある程度の制御ができる。
【００４２】
ある好適な実施形態において、歪制限器は１つ以上のレンダリングマトリクス限界値を得るように構成されている。レンダリングマトリクス限界値はオーディオコンテンツのビットストリーム表現に含まれており、かつレンダリングマトリクス要素（エントリとしても示される）の最小値及び最大値を記述する。この場合、歪制限器はさらに、所望のレンダリングマトリクスに依存する修正されたレンダリングマトリクスの取得に際して、１つ以上のレンダリングマトリクス限界値に従って修正されたレンダリングマトリクスの１つ以上のエントリを制限するように構成されている。したがって、レンダリングマトリクス限界値を含む歪制限制御パラメータは過度なレンダリング設定を回避するために使用することができ、過度なレンダリング設定はオーディオコンテンツのビットストリーム表現を生成するオーディオ信号エンコーダにより望ましくないとして識別される。このように、レンダリングパラメータの不適切な設定の結果として引き起こされると思われる可聴歪は回避し、又は少なくとも制限することができる。
【００４３】
ある好適な実施形態において、歪制限器は、所望のレンダリングマトリクス、基準レンダリングマトリクス及び１つ以上の歪制限制御パラメータに依存して修正されたレンダリングマトリクスを得るように構成されている。基準レンダリングマトリクスの使用は特別な優位点をもたらす。というのは、基準レンダリングマトリクスは、十分に良質な又は最適でさえある品質のアップミックス信号表現を生成するレンダリング設定を指定できるからである。したがって、基準レンダリングマトリクスに対してレンダリングパラメータをどれだけ変化させることができるかは歪制限制御パラメータによって決めることができ、歪制限制御パラメータは修正されたレンダリングパラメータが存在すべき領域を効率的に指定することができる。
【００４４】
ある好適な実施形態において、歪制限器は、基準レンダリングマトリクスに対して（又は、基準レンダリングマトリクスのエントリに対して）修正されたレンダリングマトリクスの１つ以上のエントリを、歪制限制御パラメータによって記述される１つ以上のレンダリングマトリクス限界値に従って制限するように構成されている。したがって、レンダリングマトリクスの制限は、基準レンダリングマトリクスに従って効率的に行うことができる。
【００４５】
また、歪制限制御パラメータのうちの１つ以上は、基準レンダリングマトリクスが如何にして取得されるかを決定することができる。例えば、歪制限制御パラメータのうちの１つ以上は、基準レンダリングマトリクスのエントリを導出するためのフィルタ時定数を指定することができる。しかし、基準レンダリングマトリクスが如何にして取得されるかを記述する他の設定情報を歪制限制御パラメータのうちの１つ以上によって示すこともできる。
【００４６】
ある好適な実施形態において、歪制限器は、所望の（例えば、ユーザ指定の）レンダリングマトリクスに依存して修正されたレンダリングマトリクスを得るために、オブジェクト別の歪制限制御パラメータを適用するように構成されている。したがって、歪制御スキームは、オーディオコンテンツのビットストリーム表現から抽出されるオブジェクト別の歪制限制御パラメータを活用することによって、オーディオコンテンツのビットストリーム表現を生成するオーディオ信号エンコーダにはよくわかっているオーディオオブジェクト信号の差を考慮することができる。
【００４７】
ある好適な実施形態において、アップミックス信号を生成するための装置は、修正された利得係数に依存してアップミックス信号表現を生成するために、１つ以上の修正された利得係数をダウンミックス信号表現のオーディオサンプルへ、又はダウンミックス信号により記述されるオーディオオブジェクトに関連づけられるオブジェクト関連サイド情報へ適用するように構成されている。この場合、歪制限器は、前記の１つ以上の修正された利得係数を、１つ以上の所望の利得係数及び１つ以上の歪制限制御パラメータに依存して得るように構成されている。したがって、オーディオコンテンツのビットストリーム表現から抽出される歪制限制御パラメータは利得係数の適切な調整に使用され、オーディオコンテンツのビットストリーム表現を生成するオーディオ信号エンコーダ側からの利得係数の（適切な）選定の制御が可能になる。
【００４８】
ある好適な実施形態において、歪制限器は、時定数を有する平滑化フィルタを用いて、制限されるべき利得パラメータの基準レベルを導出するように構成されている。この場合、歪制限器は、その導出された基準レベルを用いて所定のパラメータを制限するように構成されている。また、歪制限器は、オーディオコンテンツのビットストリーム表現に含まれている時定数パラメータを（例えば、オーディオコンテンツのビットストリーム表現から時定数パラメータを抽出することによって）取得し、かつその取得した時定数パラメータに依存して平滑化フィルタの時定数を調整するようにも構成されている。したがって、オーディオ信号デコーダ（アップミックス信号表現を生成するための装置）よりもオーディオオブジェクト信号の時間特性を良く認識しているオーディオ信号エンコーダは、オーディオ信号デコーダによる適用のために、オーディオコンテンツのビットストリーム表現内に基準レベルの有意義な導出を可能にする適切な時定数パラメータを包含することができる。故に、オーディオ信号エンコーダに既知であるオーディオ信号の特有の特性は、歪制御スキームによって活用することができる。
【００４９】
ある好適な実施形態において、パラメータ制限器は、オーディオコンテンツのビットストリーム表現に含まれている歪制御起動パラメータを得るように、かつこの歪制御起動パラメータに依存して歪制御スキームを有効化又は無効化するように構成されている。したがって、オーディオコンテンツのビットストリーム表現を生成するオーディオ信号エンコーダは、歪制御スキームの起動を強制することも、歪制御スキームを非活性化することもできる。したがって、オーディオコンテンツのビットストリーム表現を生成するオーディオ信号エンコーダは、適切な歪制御スキームがオーディオ信号デコーダにより適用されることを、オーディオエンコーダ又はコンテンツプロバイダの判断に従って選択的に実行することができ、適切な歪制御スキームは極めて重要なオーディオコンテンツに対するユーザの不満足を回避する手助けをする。この場合、オーディオ信号エンコーダは、レンダリングパラメータの設定の適切な制限を与えることができる。一方で、レンダリングパラメータ設定の最大の柔軟性が歪制御スキームの適用よりもユーザのより高い満足を引き出すオーディオコンテンツについては、オーディオデコーダはユーザに最大の柔軟性を与えるために歪制御スキームを選択的に無効化することができる。
【００５０】
ある好適な実施形態において、パラメータ制限器は予め設定されたレンダリングマトリクス起動パラメータを得るように構成されており、その予め設定されたレンダリングマトリクス起動パラメータはオーディオコンテンツのビットストリーム表現に含まれている。この場合、パラメータ制限器は、予め設定されたレンダリングマトリクス起動パラメータの活性状態に応答して、ダウンミックス信号表現に基づいてアップミックス信号表現を生成するために、ユーザ指定のレンダリングマトリクス情報ではなく、オーディオコンテンツのビットストリーム表現に含まれている予め設定されたレンダリングマトリクス情報が使用されるように構成されている。したがって、オーディオ信号デコーダは、状況によっては、アップミックス信号表現が、ユーザによってではなくオーディオ信号エンコーダによって示されたレンダリングマトリクス情報を用いて取得されることを達成することができる。したがって、オーディオ信号エンコーダは、予め設定されたレンダリングマトリクス情報をビットストリーム内に包含し、かつ予め設定されたレンダリングマトリクス情報がオーディオ信号デコーダによって使用されるべきであることを示す予め設定されたレンダリングマトリクス起動パラメータ（又はフラグ）を起動する機会をもっている。したがって、オーディオ信号デコーダはオーディオコンテンツの芸術的価値がユーザにとって明白となることを確保することができ、その芸術的価値は予め設定されたレンダリングマトリクス情報に従ってレンダリングマトリクスを適切に設定することにより与えることができる。したがって、レンダリングパラメータの適切な設定しか良好な聴感を与えないような場合に発生する可能性のあるユーザの不満を回避することができる。
【００５１】
ある好適な実施形態において、パラメータ制限器は、オーディオコンテンツのビットストリーム表現に含まれている音響心理学的歪制限パラメータを得るように構成されている。この場合、歪制限器は、音響心理学的歪モデルに依存して１つ以上のアップミックスパラメータを調整するように構成されており、その結果、ダウンミックス信号表現からのアップミックス信号表現の導出によって生じる歪の大きさ（例えば、推定値であってもよい）が制限される。この場合、歪制限器は、１つ以上のアップミックスパラメータを調整するために使用される１つ以上のパラメータを、音響心理学的歪モデル（例えば、音響心理学的歪モデルの出力値に依存して１つ以上のアップミックスパラメータを如何に調整するかを記述するパラメータ）又は音響心理学的歪モデルの１つ以上のパラメータに依存し、音響心理学的歪制限パラメータに依存して設定するように構成されている。したがって、アップミックスパラメータ（例えば、レンダリングパラメータ）の適切な制限のための音響心理学的歪モデルの使用はオーディオエンコーダ側から制御することができ、これもやはり、オーディオエンコーダにアップミックス信号表現の重大な歪の回避に寄与する可能性を与える。
【００５２】
ある好適な実施形態において、歪制限器は、時変性の歪制御スキームを達成するために、オーディオフレーム毎に一度、更新された歪制限制御パラメータを得るように構成されている。この概念によれば、オーディオコンテンツのビットストリーム表現内に１つ以上の歪制限制御パラメータを生成するオーディオ信号エンコーダの制御下で歪制御スキームを動的に調整することができ、その結果、厳密な歪制御スキームとするか又は緩やかな歪制御スキームとするかをオーディオエンコーダによって選択することができるという優位点がもたらされる。このようにして、オーディオ信号エンコーダは、オーディオコンテンツのさほど重要でない一節に関しては、オーディオコンテンツのビットストリーム表現内に適切な歪制限制御パラメータを与えて歪制御スキームが緩められるように調整してユーザに可能な限り最大の柔軟性を与え、かつより重大なオーディオフレームに関しては、適切な歪制限制御パラメータを与えて歪制御スキームを厳密であるように調整してより少ない柔軟性を与えることができる。したがって、ユーザの柔軟性と聴感との間の優れた相対関係を適切な制御によって達成することができ、そのような制御は本明細書において論じるオーディオデコーダの使用によってオーディオエンコーダ側から実行することができる。
【００５３】
ある好適な実施形態において、歪制限器は、オーディオコンテンツのビットストリーム表現のコンフィギュレーション部分内の動的な更新フラグを評価するように構成されている。この場合、歪制限器は、動的な更新フラグが不活性であれば、歪制限制御パラメータを取得するようにオーディオコンテンツのビットストリーム表現のコンフィギュレーション部分を評価し、動的な更新フラグが活性であれば、歪制限制御パラメータの更新を繰り返し取得するようにオーディオコンテンツのビットストリーム表現のフレーム部分を評価するように構成されている。したがって、オーディオデコーダは、１つ以上の歪制限制御パラメータがオーディオフレームのシーケンス毎に一度だけ伝達される静的モード（シーケンスには、例えば単一の共通するコンフィギュレーション部分が関連づけられる）と、１つ以上の歪制限制御パラメータがより頻繁に又はオーディオフレーム毎に一度さえも伝送される動的な動作モードとの間で切り換えることができる。これは、歪制限制御パラメータの時間的変動が不必要であれば歪制限制御パラメータの低いビットレートを達成し、かつ歪制限制御パラメータの良好な時間分解能が望ましければそれを達成するという歪制限制御パラメータの伝送の適合化を、例えばオーディオオブジェクト信号の特性によって可能にする。
【００５４】
ある好適な実施形態において、歪制限器は、オーディオコンテンツのフレーム部分における歪制限制御パラメータの存在を示すフラグに依存して歪制限制御パラメータを選択的に更新するように構成されており、その結果、歪制限制御パラメータの更新間隔（例えば、オーディオフレーム数で測定されたもの）がオーディオコンテンツのビットストリーム表現により動的に決定される。したがって、複数のオーディオフレームを含む一片のオーディオ情報において、歪制限制御パラメータの更新を不規則な段階又は時間に（例えば、不規則な数のオーディオフレームを間に置いて）実行でき、オーディオオブジェクト信号の時間的に不規則な変動によく適合できる。
【００５５】
本発明による一実施形態はマルチチャネルオーディオ信号のビットストリーム表現を生成するための装置を創出する。本装置は、複数のオーディオオブジェクト信号に基づいてダウンミックス信号を生成するように構成されたダウンミキサを備えている。また、本装置は、オーディオオブジェクト信号及びダウンミックスパラメータの特性を記述するオブジェクト関連パラメトリックなサイド情報、及びアップミックス信号表現を生成する装置側で歪制御スキームの適用を制御するための１つ以上の歪制限制御パラメータを生成するように構成されたサイド情報生成器も備えている。ビットストリームを生成するための本装置は、ダウンミックス信号の表現、オブジェクト関連パラメトリックなサイド情報及び１つ以上の歪制限制御パラメータを含むビットストリームを生成するように構成されたビットストリームフォーマッタも備えている。
【００５６】
マルチチャネルオーディオ信号を表すビットストリームを生成するための前記装置はオーディオコンテンツのビットストリーム表現を生成するのに適しており、そのビットストリーム表現は上述の装置によってアップミックス信号表現を生成するのに使用できる。ビットストリームを生成するための装置は歪制限制御パラメータをビットストリームに包含することができるので、デコーダ側の歪制御スキームは、エンコーダ側で決められた要請に従って調整できる。
【００５７】
さらなる詳細及び優位点に関しては、アップミックス信号表現を生成するための装置に関する先の論考を参照されたい。
【００５８】
本発明による他の実施形態は、オーディオコンテンツのビットストリーム表現に含まれているダウンミックス信号表現、及び同ビットストリーム表現に含まれているオブジェクト関連パラメータ情報に基づいて、さらにレンダリング情報に依存してアップミックス信号表現を生成するための方法を創出する。
【００５９】
本発明による他の実施形態は、マルチチャネルオーディオ信号を表現するビットストリームを生成するための方法を創出する。
【００６０】
本発明による他の実施形態は、これらの方法のうちの１つを実行するためのコンピュータプログラムを創出する。
【００６１】
これらの方法及びコンピュータプログラムは、先に論じた装置と同じ問題着想解決を基礎としている。
【００６２】
本発明による他の実施形態は、マルチチャネルオーディオ信号を表現するビットストリームを創出する。そのビットストリームは、複数のオーディオオブジェクトのオーディオ信号を結合しているダウンミックス信号の表現と、オーディオオブジェクトの特性を記述しているオブジェクト関連パラメトリックなサイド情報とを含む。そのビットストリームは、アップミックス信号表現を生成する装置側で歪制御スキームの適用を制御するための１つ以上の歪制限制御パラメータも含む。そのビットストリームは、典型的には、マルチチャネルオーディオ信号を表すビットストリームを生成するための先に論じた装置によって生成され、かつ典型的には、アップミックス信号表現を生成するための先に論じた装置によって評価できる。そのビットストリームは、歪制御スキームの効率的な調整を可能にする。
【００６３】
続いて、添付の図面を参照して本発明による実施形態について述べる。
【図面の簡単な説明】
【００６４】
【図１】本発明の一実施形態による、アップミックス信号表現を生成するための装置を示す概略ブロック図である。
【図２】本発明の他の実施形態による、アップミックス信号表現を生成するための装置を示す概略ブロック図である。
【図３】本発明のさらに他の実施形態による、アップミックス信号表現を生成するための装置を示す概略ブロック図である。
【図４】本発明によるビットストリーム信号化を伴うＳＡＯＣ歪制御を示す概略ブロック図である。
【図５】本発明の一実施形態による、マルチチャネルオーディオ信号を表すビットストリームを生成するための装置を示す概略ブロック図である。
【図６】本発明の一実施形態による、マルチチャネルオーディオ信号を表すビットストリームを示す概略図である。
【図７】ＳＡＯＣ歪制御の一例を示す概略ブロック図である。
【図８】参考ＭＰＥＧ ＳＡＯＣシステムを示す概略ブロック図である。
【図９Ａ】分離したデコーダ及びミキサを用いる参考ＳＡＯＣシステムを示す概略ブロック図である。
【図９Ｂ】一体式のデコーダ及びミキサを用いる参考ＳＡＯＣシステムを示す概略ブロック図である。
【図９Ｃ】ＳＡＯＣ−ＭＰＥＧトランスコーダを用いる参考ＳＡＯＣシステムを示す概略ブロック図である。
【発明を実施するための形態】
【００６５】
１．図１によるアップミックス信号表現を生成するための装置
【００６６】
図１は、ダウンミックス信号表現１１０とオブジェクト関連パラメータ情報１１２（パラメトリックサイド情報と考えてもよい。）に基づいてアップミックス信号表現１２０を生成するための装置１００を示す概略ブロック図である。ダウンミックス信号表現１１０とオブジェクト関連パラメータ情報１１２は、ともに、オーディオコンテンツのビットストリーム表現に含むことができる。装置１００はレンダリング情報１１４に依存してアップミックス信号表現を生成するように構成することができる。レンダリング情報１１４は、例えばユーザインタフェースを用いて入力できる。装置１００は１つ以上の歪制限制御パラメータ１１６を受けとることができる。歪制限制御パラメータ１１６も典型的にはオーディオコンテンツのビットストリーム表現に含まれている。
【００６７】
装置１００は信号プロセッサ１３０を備えている。信号プロセッサ１３０は、ダウンミックス信号表現１１０とオブジェクト関連パラメータ情報１１２に依存し、調整されたアップミックスパラメータ１３２を考慮してアップミックス信号表現１２０を生成するように構成されている。装置１００は、レンダリング情報１１４のレンダリングパラメータの不適切な選定により生じる可聴歪を回避又は制限するために、その調整されたアップミックスパラメータ１３２を、歪制御スキーム１４２を用いて得るように構成された歪制限器１４０を備えている。歪制限器１４０は、オーディオコンテンツのビットストリーム表現に含まれている１つ以上の歪制限制御パラメータ１１６を取得し、この１つ以上の歪制限制御パラメータ１１６に依存して歪制御スキームを調整するように構成されている。
【００６８】
以下、装置１００の機能についてさらに詳しく論じる。信号プロセッサ１３０は、アップミックス信号表現１２０を生成する。この目的に沿って、ダウンミックス信号表現１１０とオブジェクト関連パラメータ情報１１２が考慮される。また、ほとんどの場合（但し、必ずしも全ての場合ではない）、レンダリング情報１１４に従ってアップミックス信号表現１２０を生成しようとする試みがなされる。レンダリング情報１１４は例えばユーザによりユーザインタフェースを介して与えられる。しかし、レンダリング情報１１４を歪制御スキームなしで使用しようとして、例えばユーザが極端なレンダリング設定を選ぶならば、これは、アップミックス信号表現１２０の可聴歪に繋がることがあろう。過度の可聴歪を回避するために、歪制限器１４０により、レンダリング情報１１４を基礎としかつ歪制御スキーム１４２を用いて、調整されたアップミックスパラメータ１３２（レンダリングパラメータ又は他のアップミックスパラメータであってもよい。）が生成される。
【００６９】
歪制御スキーム１４２は、レンダリング情報１１４から、調整可能なマッピングルールを用いて、調整されたアップミックスパラメータ１３２を導出するように使用される。その調整可能なマッピングルールは、例えば線形、区分線形又は非線形なマッピングを含むことができる。歪制御スキーム１４２は、１つ以上の歪制御スキーム調整パラメータに依存して歪制限器１４０により調整することができる。そのために、歪制限器１４０は１つ以上の歪制限制御パラメータ１１６を考慮することができる。歪制限制御パラメータ１１６はオーディオコンテンツのビットストリーム表現に含まれており、また好ましくは図１に示されていないビットストリームパーサ（但し、実施形態によっては装置１００の一部である場合もある。）を用いてオーディオコンテンツのビットストリーム表現から抽出される。歪制御スキーム１４２（又は、歪制御スキームを明示するマッピングルール）は、実施形態によっては、調整されたアップミックスパラメータ１３２をレンダリング情報１１４に依存して得るために、ダウンミックス信号表現１１０及び／又はオブジェクト関連パラメータ情報１１２の情報を考慮することができる。歪制御スキーム調整パラメータは、好ましくは歪制御スキームを調整するために用いられるものであり、例えば、調整されたアップミックスパラメータ１３２上へのレンダリング情報１１４のマッピングを示す制限パラメータ、線形結合パラメータ又は他の機能パラメータを含むことができる。
【００７０】
要約すると、歪制限器１４０は、レンダリング情報１１４が適切に選定されて歪制御スキーム１４２が適用されなければアップミックス信号表現１２０の過度の歪が招来されるような場合でも、アップミックス信号表現１２０の過度の可聴歪が回避されるように、調整されたアップミックスパラメータ１３２を生成する。このように、歪制御スキーム１４２を使用しこれを調整する歪制限器は、聴感の向上に役立つ。オーディオコンテンツのビットストリーム表現に含まれている１つ以上の歪制限制御パラメータ１１６に依存して歪制御スキーム１４２の調整を行うことにより、歪低減の制御は、オーディオコンテンツのビットストリーム表現を生成するオーディオ信号エンコーダ側から実行することができる。
【００７１】
２．図２による、アップミックス信号表現を生成するための装置
【００７２】
以下、オーディオコンテンツのビットストリーム表現に含まれているダウンミックス信号表現及び同ビットストリーム表現に含まれているオブジェクト関連パラメータ情報に基づき、かつレンダリング情報に依存してアップミックス信号表現を生成するための装置２００について図２を参照して説明する。図２はこのような装置２００の概略ブロック図を示す。
【００７３】
ここで、図２の装置２００により受けとられる情報と生成される情報は、装置１００により受けとられる情報と生成される情報に類似するものであり、よって同一の情報を識別するために同一の参照数字が使用されている点は留意されたい。また、装置２００の手段の中には装置１００の手段と同一のものがあり、よって、このような同一又は同等の手段に関しては明細書本文全体を通じて同一の参照数字が使用される。
【００７４】
装置２００は、ダウンミックス信号表現１１０、オブジェクト関連パラメータ情報１１２、レンダリング情報１１４及び１つ以上の歪制限制御パラメータ１１６を受けとるように構成されている。また、装置２００は、例えば信号プロセッサ１３０を用いてアップミックス信号表現１２０を生成するように構成されている。
【００７５】
装置２００は歪制限器２４０を備えており、歪制限器２４０は歪制御スキーム２４２を用いる。歪制御スキーム２４２は、歪計算器／推定器２４２ａと、レンダリング情報修正器２４２ｂとを備えている。歪計算器／推定器２４２ａは、例えば、ダウンミックス信号表現１１０の少なくとも一部、オブジェクト関連パラメータ情報１１２の少なくとも一部及びレンダリング情報１１４を受けとるように構成されている。歪計算器／推定器２４２ａは、レンダリング情報１１４をダウンミックス信号表現１１０へ適用し、オブジェクト関連パラメータ情報１１２を考慮することにより、アップミックス信号表現１２０へ導入されるであろう歪の大きさを計算又は推定するように構成されている。レンダリング情報修正器２４２ｂは、レンダリング情報１１４に基づき、歪計算器／推定器２４２ａによる計算又は推定された歪情報を考慮して、調整されたレンダリングパラメータ１３２を生成するように構成されており、その結果、調整されたレンダリングパラメータ１３２は、アップミックス信号表現１２０を取得すべく信号プロセッサ１３０により使用される際に、元のレンダリング情報パラメータ１１４よりも歪を低減させる。
【００７６】
しかし、レンダリング情報修正器２４２ｂは歪制御スキーム調整パラメータを考慮することができる。歪制御スキーム調整パラメータは、歪制限制御パラメータ１１６に依存して歪制限器２４０により生成され、かつ調整されたレンダリングパラメータ１３２の生成に影響を与える
【００７７】
例えば、歪制御スキーム調整パラメータ（歪制限制御パラメータ１１６に基づいて取得されるか、又は歪制限制御パラメータ１１６と同一でもある。）は、例えば、歪の大きさが歪計算器／推定器２４２ａによってどのように計算又は推定されるかを示すことができる。例えば、歪制御スキーム調整パラメータは、歪の計算値又は推定値を得るために、異なる歪が如何にして遊離的に、又は互いに対して加重されるかを示すことができる。さらに、もしくは代替として、歪制御スキーム調整パラメータは、歪計算器／推定器２４２ａにより取得される歪の大きさが、調整されたレンダリングパラメータ１３２をレンダリング情報１１４に基づいて生成するのにどのように影響するかを決めることができる。
【００７８】
実施形態によっては、歪計算器／推定器２４２ａとレンダリング情報修正器２４２ｂが結合されて、調整されたレンダリングパラメータ１３２がアップミックス信号表現１２０にある程度（限定された程度）の歪をもたらすようにその調整されたレンダリングパラメータ１３２が生成されることもあるが、アップミックス信号表現１２０のその歪の程度は、歪制御スキーム調整パラメータによって左右（又は調整）することができる。
【００７９】
３．図３による、アップミックス信号表現を生成するための装置
【００８０】
以下、オーディオコンテンツのビットストリーム表現に含まれているダウンミックス信号表現１１０及び同ビットストリーム表現に含まれているオブジェクト関連パラメータ情報１１２に基づいて、かつレンダリング情報１１４に依存してアップミックス信号表現１２０を生成するための装置３００について、図３を参照して説明する。ここで、同一の参照数字が本明細書における実施形態の説明における同一又は同等の情報、手段及び機能を指すことに留意されたい。
【００８１】
装置３００は歪制限器３４０を備えている。歪制限器３４０は、歪制御スキーム３４２を使用するように構成され、そして、レンダリング情報１１４に依存して、かつ歪制限制御パラメータ１１６にも依存して調整されたアップミックスパラメータ１３２を生成するように構成されている。
【００８２】
歪制御スキーム３４２は、調整されたレンダリングパラメータ１３２を得るためにレンダリング情報１１４の値の数値範囲を制限するように構成されたレンダリング情報制限器３４２ａを備えている。レンダリング情報１１４の値の制限は歪制御スキーム調整パラメータに依存して実行することができる。歪制御スキーム調整パラメータは、歪制限器３４０により歪制限制御パラメータ１１６に依存して取得されるか、又は歪制限制御パラメータ１１６と同一でさえある。歪制御スキーム３４２は、場合により、基準値計算器３４２ｂを備えることができる。基準値計算器３４２ｂは、オブジェクト関連パラメータ情報１１２に依存して、かつ歪制限制御パラメータ１１６から導出されるか又は歪制限制御パラメータ１１６と同一である歪制御スキーム調整パラメータにも依存して制限基準値を生成するように構成することができる。ただし、歪制御スキーム調整パラメータにも依存することは、好ましいことではあるが、必須ではない。したがって、レンダリング情報制限器３４２は、場合により、調整されたレンダリングパラメータ１３２を得るプロセスにおいてレンダリング情報の値の数値範囲を限定するに当たって、基準値計算器３４２ｂにより生成される制限基準値を考慮することができる。
【００８３】
したがって、歪制限器３４０は、ユーザ指定のレンダリング情報であり得るレンダリング情報１１４の値から調整されたレンダリングパラメータ１３２を導出するように、レンダリング情報１１４の値の数値範囲の調整可能な制限を実施することができる。調整可能な制限は１つ以上の歪制限制御パラメータ１１６に依存して調整することができる。この場合、歪制限制御パラメータ１１６は、調整可能な制限の１つ以上の異なるパラメータ（最小値、最大値、基準値からの許容偏差、基準値計算モード、等）を決定することができる。
【００８４】
４．図４による、本発明によるビットストリーム信号化を用いるＳＡＯＣ歪制御
【００８５】
４．１ アーキテクチャ概要
【００８６】
以下、図４を参照して、本発明によるビットストリーム信号化を用いるＳＡＯＣ歪制御の概念について論じる。図４はＳＡＯＣ歪制御システム４００の概略ブロック図を示す。
【００８７】
ＳＡＯＣ歪制御システム４００は、ＳＡＯＣエンコーダ４１０と、ＳＡＯＣデコーダ／トランスコーダ４２０とを備えている。
【００８８】
ＳＡＯＣエンコーダ４１０は、複数のオーディオオブジェクト信号４１２ａ〜４１２Ｎを受けとり、かつこれらに基づいてダウンミックス信号４１４を生成するように構成されている。ダウンミックス信号４１４は、例えばダウンミックス信号表現１１０と同一であってもよく、また１チャネル信号又は例えば２チャネル信号等のマルチチャネル信号であってもよい。
【００８９】
ＳＡＯＣエンコーダ４１０は、例えばＳＡＯＣパラメータを含むオブジェクト関連パラメータ情報４１６を生成するようにも構成されている。ＳＡＯＣパラメータは、例えば、オーディオオブジェクト信号４１２ａ〜４１２Ｎの特性を記述することができる。例えば、ＳＡＯＣパラメータは、オーディオオブジェクト信号４１２ａ〜４１２Ｎによって表されるオーディオオブジェクトのオブジェクトレベル差（ＯＬＤ）を記述することができる。ＳＡＯＣパラメータは、オーディオオブジェクト信号４１２ａ〜４１２Ｎによって表されるオーディオオブジェクトのオブジェクト間相関ＩＯＣを記述することもできる。ＳＡＯＣパラメータはダウンミックスを特徴づけることもできる。ダウンミックスはオーディオオブジェクト信号４１２ａ〜４１２Ｎを線形結合してダウンミックス信号４１４を導出するために実行されるものである。例えば、ＳＡＯＣパラメータは、ダウンミックス利得ＤＭＧ及びダウンミックス・チャネル・レベル差ＤＣＬＤを記述することができる。ＳＡＯＣパラメータ４１６は、例えば、オブジェクト関連パラメータ情報１１２と同一であってもよい。
【００９０】
ＳＡＯＣエンコーダ４１０は１つ以上の歪制限器パラメータ４１８を生成することもできる。歪制限器パラメータ４１８は１つ以上の歪制限制御パラメータと考えることができ、また歪制限制御パラメータ１１６と同一であってもよい。
【００９１】
ダウンミックス信号表現４１４、ＳＡＯＣパラメータ４１６及び歪制限器パラメータ４１８は、ＳＡＯＣエンコーダ４１０からＳＡＯＣデコーダ及び／又はトランスコーダ４２０へ伝送される。
【００９２】
典型的には、ダウンミックス信号表現４１４（好ましくは符号化された形式）、ＳＡＯＣパラメータ４１６（典型的には符号化された形式）及び歪制限器パラメータ４１８（典型的には符号化された形式）は全て、オーディオコンテンツのビットストリーム表現に含まれている。言い替えれば、ＳＡＯＣエンコーダ４１０は、パラメータ４１４、４１６、４１８を含むビットストリームを生成する。
【００９３】
ＳＡＯＣデコーダ、ＳＡＯＣトランスコーダ又はＳＡＯＣデコーダ／トランスコーダ４２０は、ダウンミックス信号表現４１４、ＳＡＯＣパラメータ４１６及び１つ以上の歪制限器パラメータ４１８を受けとる。ＳＡＯＣデコーダ／トランスコーダ４２０は、例えば、図８によるＳＡＯＣデコーダ８２０の機能、図９ＡによるＳＡＯＣデコーダ９２０の機能、図９Ｂによる統合されたデコーダ及びミキサ９５０の機能、又は図９ＣのＳＡＯＣ−ＭＰＥＧサラウンドトランスコーダ９８０の機能を実行することができる。
【００９４】
しかし、ＳＡＯＣデコーダ／トランスコーダ４２０は、前記ＳＡＯＣデコーダ又はトランスコーダに加えて、歪制限器４２２を備えている。歪制限器４２２は、１つ以上の歪制限器パラメータ４１８を受けとりかつ評価するように構成されている。さらに、ＳＡＯＣデコーダ／トランスコーダ４２０は相互作用／制御情報４２４も受けとるように構成することができる。相互作用／制御情報４２４は、例えば希望するレンダリングパラメータのユーザによる選定を表す。ＳＡＯＣデコーダ／トランスコーダ４２０は、結果的に、アップミックス信号表現を、例えば複数の復号されたオーディオ信号チャネル４２８ａ〜４２８Ｍの形式で生成するように構成されている。
【００９５】
ＳＡＯＣデコーダ／トランスコーダ４２０は、ダウンミックス信号４１４からアップミックス信号表現４２８ａ〜４２８Ｍを導出するために利得係数又はレンダリングパラメータを適用するように構成されている。例えば、ＳＡＯＣデコーダ／トランスコーダ４２０は、ダウンミックス信号４１４（１チャネルダウンミックス信号であっても、２チャネルダウンミックス信号であってもよい）を表す信号成分（例えば、スペクトル領域値）を複数の対応する利得値（例えば、利得値の行列）で乗算して、ダウンミックス信号表現からオーディオチャネル信号４２８ａ〜４２８Ｍを導出するように構成することができる。例えば、オーディオチャネル信号４２８ａ〜４２８Ｍのうちの１つの表現を得るために、ダウンミックス信号表現４１４の２つ以上のチャネルの線形結合を形成することができる。さらに、もしくは代替として、１つ以上のダウンミックス信号４１４の表現をオーディオチャネル信号４２８ａ〜４２８Ｍへ移すために、レンダリングパラメータ・セットを応用することができる。この場合、レンダリングパラメータは、１つ以上のダウンミックス信号４１４の表現をオーディオチャネル信号４２８ａ〜４２８Ｍへ移すためのマッピングルールを計算するように使用することができる。例えば、レンダリングパラメータは、このようなマッピングルールを決定する際に線形係数として機能することができる。しかし、実施形態によっては、レンダリングパラメータの異なる応用も可能である。
【００９６】
４．２ 歪制限手法
【００９７】
以下に、歪を制限するための幾つかの手法について説明する。それらの手法は、ＳＡＯＣデコーダ／トランスコーダ４２０に適用することができ、またＳＡＯＣデコーダ又はトランスコーダ１００、２００、３００にも適用することができる。
【００９８】
歪制限は、ＳＡＯＣデコーダ／トランスコーダシステムにおけるパラメータの幾つかの値範囲を制限することによって達成することができる。ここで、パラメータとはシステムにおける係数、利得係数又は行列要素を指し、オーディオサンプルを直接表すものではないが、ＳＡＯＣにおいて数学的スキームによる出力オーディオサンプルに影響を与える。
【００９９】
特に興味深い点として可能性のあるものは、トランスコーディングパラメータ（すなわち、トランスコーディングマトリクス内の個々の要素）に制限を適用することである。トランスコーディングマトリクスはオブジェクトの数に伴って増えないことから、これは、計算上、効率的である。トランスコーディングマトリクスは、ダウンミックス信号表現のオーディオチャネル信号からアップミックス信号表現のオーディオチャネル信号へのマッピングを記述することができる。
【０１００】
例えば図２及び図７に示されているＳＡＯＣデコーダ／トランスコーダ内の歪制限器は、１つ以上の利得制限定数に基づいてそのパラメータ範囲の制限を実行する。制限を受けるパラメータは、オーディオサンプルへ適用されるべき利得係数とすることができる。そうすると、１つ以上の利得制限定数は、デシベル単位の利得レベル範囲として表すことができる。
【０１０１】
例えば、利得制限定数ｑ＝１０ｄＢは、
（otherwiseは「その他」の意味。）
に従って、パラメータｐの範囲を限定するために使用することができる。
【０１０２】
ここで、ｐ’は、（ｐに代わる）制限された新しいパラメータとして定義される。ｐ、ｐ’及びｑは共に、ここでは対数（デシベル）値として表されている。
【０１０３】
ここで、値ｐ’は、例えば調整されたアップミックスパラメータ１３２を表すことができること、及び値ｐはレンダリング情報に依存して得ることができることに留意されたい。値ｐ’の範囲の制限は例えば歪制御スキームによって実行することができ、歪制限器１４０はパラメータｑ（歪制御スキーム調整パラメータと考えることができる。）を歪制限制御パラメータ１１６に依存して調整することができる。ｐ’を得るための上述のルールは調整可能な歪制御スキームと考えることができ、歪制御スキーム調整パラメータｑに依存して調整されるものである。
【０１０４】
より高度なアプローチは、利得制限定数ｑに、そのパラメータの別の基準レベルからの最大許容偏差を定義させることである。この基準レベルは、例えば、（パラメータシーケンスは例えばＳＡＯＣフレーム毎に一度又は数回更新されるので、）パラメータシーケンスの平滑化／フィルタリング／平均化されたバージョン（時間軸に沿って平滑化／フィルタリング／平均化されたもの）から導出できるかもしれない。そうすると、制限は、
に従って定義することができる。
【０１０５】
ここで、ｐ”は（ｐに代わる）新しい、より高度な制限されたパラメータとして定義され、ｒはｐのパラメータシーケンスの平滑化／フィルタリング／平均化されたバージョン（時間軸に沿って平滑化／フィルタリング／平均化されたもの）として定義される。ｐ、ｐ”及びｑは共に、ここでは対数（デシベル）値として表されている。
【０１０６】
例えば、値ｐ”は、１つ以上の調整されたパラメータ１３２（例えば、調整されたトランスコーディングパラメータ又は調整されたレンダリングパラメータ）を表すことができる。値ｐは、例えばレンダリング情報１１４、及び場合により例えばダウンミックス信号表現１１０からの情報又はオブジェクト関連パラメータ情報１１２からの情報等の他の情報に依存して得ることができる。
【０１０７】
ｐ”を得るためのｐの値の制限は歪制御スキームによって実行することができ、パラメータｑは歪制限器１４０により歪制限制御パラメータ１１６に依存して調整することができる。さらに、ｐの値を平滑化してｒを得るために使用される平滑化／フィルタリング／平均時定数もまた、歪制限器１４０により１つ以上の歪制限制御パラメータに依存して調整することができる。
【０１０８】
別の制限方法はレンダリングマトリクスのみに作用するものである。レンダリングマトリクスは、ＳＡＯＣデコーダ／トランスコーダへの入力インタフェース（又は入力量）である。したがって、この方法は、ＳＡＯＣデコーダ／トランスコーダシステム内部の修正を必要としない。
【０１０９】
１つの単純な制限方法は、レンダリングマトリクス要素の範囲を制限すること（最小値と最大値を設定すること）である。
【０１１０】
他の制限方法は、レンダリングマトリクス基準に対するレンダリングマトリクス要素の修正を制限することである。レンダリングマトリクス基準は、例えば、出力が不変のダウンミックスとなるレンダリングマトリクスとすることができる。例えば、制限パラメータｑ＝１０ｄＢは、レンダリングマトリクス要素が所定の基準値から（又は、個々の基準値から）±１０ｄＢ（すなわち、１０(-10/20)以上で１０(10/20)以下の範囲）を超えて偏向することを防止する。
【０１１１】
レンダリングマトリクス内のパラメータ（行列要素）の範囲は、個々のオブジェクトで容易に異ならせることができる。これは、これらのオブジェクトがレンダリングマトリクス内で十分に分離されているためである。例えば、下記の制限範囲が許容されるかもしれない。
ドラムオブジェクト：±３ｄＢ
バスオブジェクト：±１０ｄＢ
メロトロンオブジェクト：±６ｄＢ
ギター１オブジェクト：±３ｄＢ
ギター２オブジェクト：±３ｄＢ
ボーカルオブジェクト：±０ｄＢ
フルートオブジェクト：±１２ｄＢ
【０１１２】
言い替えれば、個々のレンダリングパラメータの調整範囲は個々に、すなわちオブジェクト別に調整（設定）することができる。オブジェクト別の変動範囲は複数の歪制限制御パラメータ１１６から得ることができ、歪制限制御パラメータ１１６はオーディオコンテンツのビットストリーム表現に含まれ、オーディオコンテンツのビットストリーム表現からビットストリームパーサによって抽出される。したがって、オーディオエンコーダはオーディオデコーダ（例えば、装置１００、２００、３００、４２０）へ、オブジェクト別調整範囲に関する情報を効率的に転送することができる。オブジェクト別調整範囲のエンコーダ側での提供は、エンコーダ側でオブジェクトのタイプが高精度で認識されるという事実によって特別な優位点をもたらすので、エンコーダは、許容される調整範囲に関する高信頼情報の提供に最もよく適する。
【０１１３】
以下、本発明による柔軟な制限アプローチについて、さらに詳しく論じる。
【０１１４】
従来の概念による限界を克服するために、本発明は、歪制御スキームが状況毎に最適を実行するように導くデータを用いることを提案する。このデータ（すなわち、歪制御スキームを調整するためのデータ、例えば歪制限制御パラメータ）は、ＳＡＯＣエンコーダ側で設定することができ、後にＳＡＯＣデコーダ／トランスコーダ内の歪制御スキームに利用できるようにＳＡＯＣビットストリームに含まれて搬送される。これは、図４に示されている（また、図１、図２及び図３からも分かる）。
【０１１５】
搬送されるデータ（図４において「歪制限器パラメータ」と表示され、かつ図１、図２及び図３では歪制限制御パラメータ１１６として示されている）は、下記に関する情報を含むことができる。
【０１１６】
パラメータ制限値：
例えば、上述の例で説明されている利得制限定数ｑ、
例えば、レンダリングマトリクス要素の１つ又は複数の制限範囲（例えば、最小値と最大値）、
例えば、レンダリングマトリクス基準（例えば、出力が不変のダウンミックスとなるレンダリングマトリクス）に対するレンダリングマトリクス要素の１つ又は複数の制限範囲、
例えば、平滑化／フィルタリング／平均されたバージョンのパラメータから（制限されるべき）パラメータの基準レベルを導出するために使用される平滑化フィルタの時定数、
【０１１７】
特殊制限事例：
修正は全く許されない（ＳＡＯＣのレンダリング機能を一時的に無効化する）、
（ビットストリームから読み出される）レンダリングマトリクス・プリセットのみ許容される、
制限なし（ＳＡＯＣの歪制限器を一時的に無効化する）、
何らかの歪制御において論じられた音響心理学的歪の大きさモデルからの任意の歪制御制限パラメータ。
【０１１８】
上記を要約すると、１もしくは複数の利得係数又は１もしくは複数のレンダリングマトリクス要素の数値範囲を制限するために使用される利得制限定数ｑは、ＳＡＯＣビットストリームから抽出することができる。
【０１１９】
さらに、もしくは代替として、１つのレンダリングマトリクス要素の範囲を制限するか、又は複数のレンダリングマトリクス要素の範囲を制限する（例えば、オブジェクト別に）１つ以上のパラメータは、ＳＡＯＣビットストリームから抽出することが可能である。
【０１２０】
さらに、もしくは代替として、１つのレンダリングマトリクス要素の範囲をレンダリングマトリクス基準に対して制限するか、又は複数のレンダリングマトリクス要素の範囲をレンダリングマトリクス基準に対して制限する１つ以上のパラメータは、ＳＡＯＣビットストリームから抽出することが可能である。
【０１２１】
さらに、もしくは代替として、制限されるべきパラメータの基準レベルを導出するために使用される平滑化フィルタの時定数は、ＳＡＯＣビットストリームから抽出することが可能である。
【０１２２】
事例によっては、ビットストリームは、ＳＡＯＣレンダリング機能が無効化されるべきであることを示すパラメータ又はフラグを含むことができる。
【０１２３】
さらに、もしくは代替として、ＳＡＯＣビットストリームは、アップミックス信号表現を再現するために、ユーザインタフェースを介して入力されるユーザ提供のレンダリングマトリクスではなく、ＳＡＯＣビットストリームにより記述される予め設定されたレンダリングマトリクス又はビットストリームにより記述される複数の予め設定されたレンダリングマトリクスのうちの１つが使用されるべきであることを示すパラメータ又はフラグを含むことができる。したがって、オーディオデコーダ／トランスコーダがビットストリームパラメータ又はビットストリームフラグに基づいてこの状態を識別すれば、ユーザ定義のレンダリングマトリクスを設定するユーザの自由はオーディオデコーダ／トランスコーダによって一時的に無効にすることができる。
【０１２４】
或いは、又は追加的に、ＳＡＯＣビットストリームは、ＳＡＯＣ歪制限器が一時的に無効にされるべきであり、よって歪制限は存在しないことを示すフラグ又はパラメータを含むことができる。
【０１２５】
さらに、もしくは代替として、ＳＡＯＣビットストリームは、音響心理学的歪大きさモデルに基づいて歪制限を調整するためのパラメータを含むことができる。したがって、歪制限器は、音響心理学的歪モデルを基礎とする歪制御スキームをＳＡＯＣビットストリームから抽出されるパラメータに依存して調整することができる。例えば、歪制限器は、国際出願ＥＰ２０１０／０５５７１７号明細書（特許文献２）（及び米国特許出願第６１／１７３，４５６号明細書（特許文献１）も）に記述されている任意の歪制限スキームを、ＳＡＯＣビットストリームから抽出される歪制限制御パラメータに依存して調整することができる。
【０１２６】
４．３ 柔軟性のある制限アプローチの優位点
【０１２７】
上記で詳述したＳＡＯＣ歪制御スキームデータの本発明による信号化は、潜在的に、従来の歪制御アプローチによる全ての制限を解決することができる。
【０１２８】
従来の歪制御アプローチには柔軟性がないことに起因する制限があるが、本発明による実施形態ではそれらの制限を克服できることに留意されたい。本発明の実施形態を用いて克服されることが可能なこれらの制限のうちの幾つかは、下記の（Ａ）〜（Ｃ）の通りである。
【０１２９】
（Ａ）従来の歪制御における歪制御パラメータは、あらゆる状況に対して最適となるようには適応しない。
（オーディオ音質／サービス品質の観点から）最適である歪制御パラメータの選定は、例えば下記に依存する場合が多いことがわかっている。
コンテンツタイプ：音声、音楽（ロック／クラシック）、映画オーディオトラック、他。
低レベル信号特性：トランジェント、調波対雑音構成、スペクトルスロープ、動的微細構造（高速／遅速時間パワーエンベロープ）、他。
ＳＡＯＣ特性：ダウンミックス内に存在する制御可能オブジェクトの数、時間／周波数／ダウンミックスチャネルにおけるオブジェクトの分離／オーバーラップの程度、他。
システム特性：ダウンミックスのコーデックタイプ（ｍｐ３、ＡＡＣ、ＰＣＭ、他）及びビットレート（ダウンミックスにおける全体的なオーディオ音質及び歪を示す）、ダウンミックスにおけるパラメトリック符号化部分の存在（例えば、ＨＥ−ＡＡＣに包含されるようなＳＢＲ、参考文献［ＳＢＲ１］（非特許文献６参照。）、［ＳＢＲ２］（非特許文献７参照。）、又は参考文献［ＰＳ］（非特許文献８参照。）に記述されているようなパラメトリックステレオ）、チャネル構成（モノ、ステレオ、マルチチャネル）、オーディオ帯域幅、サンプリング速度、他。
【０１３０】
（Ｂ）歪制御パラメータは、ＳＡＯＣデコーダ側では通常元のオーディオオブジェクトを利用できないことに起因して不正確である。
元の（不連続）オーディオオブジェクトはクリーンで歪がなく、かつダウンミックスからパラメトリックに分解されていないことに起因して、歪制御パラメータの抽出は、元の（不連続）オーディオオブジェクトの分析によって恩恵を受け得ることがわかっている。しかし、これらの元のオブジェクトは、通常、ＳＡＯＣデコーダ側では利用できない。
【０１３１】
（Ｃ）従来のオーディオエンコーダには、デコーダ側の再現品質を確保する可能性がない。
ＳＡＯＣアプリケーションによっては、エンコーダ側から最低品質レベルを設定することが望ましいことがわかっている。よって、この最低品質レベルは、デコーダ側でのユーザ相互作用性（レンダリングマトリクス及び再生構造の選定）とは独立して達成されるように望まれることがわかっている。歪制御の中には、一定の品質レベルがＳＡＯＣデコーダ側へ設定されることを目的とするものがあるが、例えばアーティストの完全性、サービスプロバイダの評判／プロファイル、ユーザスキルに対する期待（ユーザインタフェース機能のレベルと使いやすさとの関係）に起因して、異なるサービス（例えば、テレビ会議、高品質音楽のダウンロード、放送の各アプリケーション）には異なる品質レベルを持たせることが望ましい可能性もある。
【０１３２】
本発明によるＳＡＯＣ歪制御スキームデータの（例えば、オーディオエンコーダからビットストリームを介してオーディオデコーダへの）信号化は、潜在的に、先に論じた全ての制限を解決することができる。例えば、ＳＡＯＣデコーダは、例えばテレビ会議アプリケーション、（オーディオブック又は放送における）対話制御アプリケーション、音楽リミックス（「ミュージック２．０」）アプリケーションに対して、異なる歪制限設定（例えば歪制限制御パラメータ１１６又は歪制限器パラメータ４１８によって記述される異なる品質／機能制限設定）を使用することができる。
【０１３３】
本発明は、歪制御プロセスを導くためにビットストリーム内の信号化を利用することにより、さらに強化された性能及び機能性の双方を提供する。
【０１３４】
５． 参考例
【０１３５】
以下、図７を参照してＳＡＯＣ歪制御の参考例について説明するが、その参考例は本発明による全ての優位点をもたらすわけではない。図７によるシステム７００はＳＡＯＣエンコーダ７１０とＳＡＯＣデコーダ／トランスコーダ７２０とを備えている。ＳＡＯＣエンコーダ７１０は、複数のオーディオオブジェクト信号７１２ａ〜７１２Ｎを受けとり、これらに基づいてダウンミックス信号７１４とＳＡＯＣパラメータ７１８を生成する。ＳＡＯＣデコーダ／トランスコーダ７２０は、ＳＡＯＣエンコーダ７１０からダウンミックス信号７１４（１チャネル信号又はマルチチャネル信号となる。）と、ＳＡＯＣパラメータ７１８とを受けとる。ＳＡＯＣデコーダ／トランスコーダ７２０は、これらに基づいて、複数のオーディオ信号チャネル７２８ａ〜７２８Ｍを生成する。この目的に沿って、ＳＡＯＣデコーダ／トランスコーダ７２０は、歪制限器７２２を使用し、例えばユーザインタフェースから受けとる相互作用情報又は制御情報７２４を考慮することができる。
【０１３６】
しかし、図７によるシステム７００は、典型的には、事例によっては可聴歪を引き起こす。
【０１３７】
６． マルチチャネルオーディオ信号を表現するビットストリームを生成するための図５による装置
【０１３８】
以下、マルチチャネルオーディオ信号のビットストリーム表現を生成するための装置について図５を参照して説明する。図５はこのような装置５００の概略ブロック図を示す。
【０１３９】
装置５００は、複数のオーディオオブジェクト信号５１０ａ〜５１０Ｎを受けとるように構成されている。また、装置５００は、マルチチャネルオーディオ信号を表すビットストリーム５２０を生成するようにも構成されている。
【０１４０】
装置５００はダウンミキサ５３０を備えている。ダウンミキサ５３０は複数のオーディオオブジェクト信号５１０ａ〜５１０Ｎに基づいてダウンミックス信号５３２を生成するように構成されている。装置５００はサイド情報生成器５４０も備えている。サイド情報生成器５４０は、オーディオオブジェクト信号５１０ａ〜５１０Ｎ及びダウンミキサ５３０により使用されるダウンミックスパラメータの特性を記述するオブジェクト関連パラメトリックなサイド情報５４２を生成するように構成されている。サイド情報生成器は、アップミックス信号表現を生成する装置側で歪制御スキームの適用を制御するための１つ以上の歪制限制御パラメータ５４４も生成するように構成されている。装置５００はビットストリームフォーマッタ５５０も備えている。ビットストリームフォーマッタ５５０は、ダウンミックス信号５３２の表現、オブジェクト関連パラメトリックなサイド情報５４２及び１つ以上の歪制限制御パラメータ５４４を含むビットストリーム５２０を生成するように構成されている。
【０１４１】
したがって、装置５００は、装置１００、２００、３００における歪制御スキーム１４２、２４２、３４２及び装置４２０における歪制限器４２２を調整するために必要な情報を含むビットストリーム５２０を生成する。
【０１４２】
サイド情報生成器５４０は、オーディオオブジェクト信号５１０ａ〜５１０Ｎのオーディオオブジェクト特性に依存して歪制限制御パラメータ５４４を生成するように構成することができる。例えば、サイド情報生成器は、オーディオオブジェクト信号５１０ａ〜５１０Ｎに基づいて取得されるか、又は（例えば、ユーザインタフェースを介して入力される）サイド情報を用いて与えられるコンテンツタイプ情報に依存して歪制限制御パラメータ５４４を生成することができる。
【０１４３】
さらに、もしくは代替として、サイド情報生成器５４０は、１つ以上のオーディオオブジェクト信号５１０ａ〜５１０Ｎの低レベル特性に依存して歪制限制御パラメータを生成することができる。低レベル特性とは、例えばトランジェントに関する情報、調波対雑音構成に関する情報、スペクトルスロープに関する情報、動的微細構造に関する情報などである。
【０１４４】
さらに、もしくは代替として、サイド情報生成器５４０は歪制限制御パラメータを、ダウンミックス信号５３２内に存在する幾つかの制御可能オブジェクトのようなＳＡＯＣ特性に依存して、又はダウンミックスにおけるパラメトリック符号化部分の存在に依存して、又はチャネル構成に依存して、又はオーディオ帯域幅に依存して、又はサンプリング速度に依存して生成することができる。
【０１４５】
サイド情報生成器５４０は、歪制限制御パラメータ５４４を生成するために元の（「不連続」な）オーディオオブジェクト（又はオーディオオブジェクト信号５１０ａ〜５１０Ｎ）を分析することから恩恵を受ける場合がある。サイド情報生成器５４０は、例えば、ビットストリーム５２０によって表されるオーディオ信号の再現の最低品質レベルを可変的に設定するように歪制限制御パラメータを調整することができる。
【０１４６】
要約すると、マルチチャネルオーディオ信号のビットストリーム表現を生成するための装置５００は、ビットストリーム５２０が１つ以上の歪制限制御パラメータ５４４を含み、結果として再現の品質を調整できるように、ビットストリーム５２０を生成することができる。この目的に沿って、歪制限制御パラメータ５４４を設定するに当たって、オーディオオブジェクト信号５１０ａ〜５１０Ｎの特性を考慮することができ、かつ追加的なサイド情報又はユーザインタフェースからのユーザ入力も考慮することができる。
【０１４７】
７． ビットストリーム
【０１４８】
以下、マルチチャネルオーディオ信号を表すビットストリーム６００について説明する。
【０１４９】
ビットストリーム６００は、ダウンミックス信号の表現６１０（例えば、ダウンミックス信号５３２の表現、これは、ダウンミックス信号表現１１０、４１４と同一であってもよい）を含む。またビットストリーム６００はオブジェクト関連パラメトリックなサイド情報６２０も含む。サイド情報６２０はＳＡＯＣサイド情報であってもよい。オブジェクト関連パラメトリックなサイド情報６２０は、例えば、オブジェクトレベル差情報６２２と、オブジェクト間相関情報６２４と、ダウンミックス利得情報６２６と、ダウンミックス・チャネル・レベル差情報６２８とを含むことができる。このサイド情報６２０は空間オーディオオブジェクト符号化（ＳＡＯＣ）の分野では周知である。ビットストリーム６００は、先に述べたように、１つ以上の歪制限制御パラメータ６３０も含む。
【０１５０】
本発明による歪制御スキームデータ（すなわち、歪制限制御パラメータ６３０、１１６、４１８）は、ＳＡＯＣビットストリームのヘッダ（例えば、「ＳＡＯＣＳｐｅｃｉｆｉｃＣｏｎｆｉｇ（）」と名付けられるＳＡＯＣビットストリームのＳＡＯＣ固有の構成部分）において最小のデータレート負担で伝送できることに留意されたい。しかし、本発明による歪制御スキームデータは、時変信号化（例えば、信号適応制御）を有効にするために、ペイロードデータ（例えば、典型的には「ＳＡＯＣＦｒａｍｅ（）」と呼ばれるＳＡＯＣフレームデータ）において伝送することも可能である。
【０１５１】
典型的には、但し必須ではないが、歪制御スキームデータを配置する適切な場所は、ＳＡＯＣビットストリームにおいて拡張機構を使用していることが可能である。すなわち、実施形態によっては、歪制御スキームデータ（又は歪制御スキームデータの少なくとも一部）は、ヘッダの代わりに「ＳＡＯＣＥｘｔｅｎｓｉｏｎＣｏｎｆｉｇ（）」と呼ばれる構文セクションへ、ペイロードの代わりに「ＳＡＯＣＥｘｔｅｎｓｉｏｎＦｒａｍｅ（）」と呼ばれる構文セクションへそれぞれ置くことが可能である。
【０１５２】
言い替えれば、実施形態によっては、歪制御スキームデータはＳＡＯＣヘッダに含むことが可能であって、ＳＡＯＣヘッダは、典型的にはビットストリーム内でオーディオピース当たり一度包含される。さらに、もしくは代替として、歪制御スキームデータは、ＳＡＯＣビットストリームのフレームデータ内に含むことが可能である。したがって、歪制御スキームデータは、オーディオフレーム当たり一度伝送してもよい。ＳＡＯＣコンフィギュレーションを含むＳＡＯＣヘッダ内のフラグが、２つのソリューション（ヘッダ内に限定される歪制御スキームデータ、又はオーディオフレーム・データ内の歪制御スキームデータ）のどちらが適用されるかを示してもよい。
【０１５３】
また、実施形態によっては、歪制御スキームデータはオーディオフレームのうちの幾つかにのみ含まれてもよく、この場合、どのオーディオフレームが歪制御スキームデータを含むかをパラメータ又はフラグを用いて信号化してもよい。したがって、ＳＡＯＣ歪制御スキームデータは、（１つのＳＡＯＣコンフィギュレーション部分が関連づけられる）１つのオーディオピース内で不規則な時間間隔で転送されることが可能である。
【０１５４】
８．変形実施例
【０１５５】
以上、幾つかの態様を装置の文脈で説明したが、これらの態様は対応する方法を記述するものでもあることは明らかであり、その場合、ブロック又はデバイスが方法ステップ又は方法ステップの特徴に対応する。同様に、方法ステップの文脈で説明される態様も、対応するブロックもしくは項目、又は対応する装置の特徴の説明を表す。これらの方法ステップのうちの幾つか又は全ては、例えばマイクロプロセッサ、プログラマブルコンピュータ又は電子回路のようなハードウェア装置によって（又はこれを使用して）実行することができる。実施形態によっては、最も重要な方法ステップのうちのどれか１つ又は複数の方法ステップがこのような装置によって実行することができる。
【０１５６】
本発明による符号化されたオーディオ信号は、デジタル記憶媒体に蓄積することができ、又は無線伝送媒体等の伝送媒体もしくはインターネット等の有線伝送媒体で伝送することができる。
【０１５７】
所定の実施要請に依存して、本発明の実施形態はハードウェア又はソフトウェアで実施することができる。実施は電子的に読取り可能な制御信号を蓄積しているデジタル記憶媒体、例えばフロッピーディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ又はフラッシュメモリ、を用いて実行することができ、それらのデジタル記憶媒体は個々の方法が実行されるようにプログラム可能コンピュータシステムと協働する（又は協働することができる）。したがって、デジタル記憶媒体はコンピュータ読取り可能とすることができる。
【０１５８】
本発明による幾つかの実施形態は、電子的に読取り可能な制御信号を有するデータキャリアを含んでいる。そのデータキャリアはプログラム可能コンピュータシステムと協働できるので、本明細書に記載されている方法のうちの１つが実行される。
【０１５９】
概して、本発明の実施形態は、プログラムコードを有するコンピュータ・プログラム製品として実施することができ、前記プログラムコードは、このコンピュータ・プログラム製品がコンピュータ上で実行されると本発明の方法のうちの１つを実行するように作動する。プログラムコードは、例えば機械読取り可能キャリアに蓄積することができる。
【０１６０】
他の実施形態は、機械読取り可能キャリアに蓄積された、本明細書に記載されている本発明方法のうちの１つを実行するためのコンピュータプログラムを含む。
【０１６１】
したがって、換言すれば、本発明方法の一実施形態は、コンピュータプログラムがコンピュータ上で実行されると本明細書に記載されている本発明方法のうちの１つを実行するためのプログラムコードを有するコンピュータプログラムである。
【０１６２】
したがって、本発明方法のさらなる実施形態は、本明細書に記述されている本発明方法のうちの１つを実行するためのコンピュータプログラムを記録して備えているデータキャリア（又はデジタル記憶媒体又はコンピュータ読取り可能媒体）である。データキャリア、デジタル記憶媒体又は記録媒体は、典型的には有形及び／又は非遷移性（non-transitionary）である。
【０１６３】
したがって、本発明方法のさらなる実施形態は、本明細書に記載されている本発明方法のうちの１つを実行するためのコンピュータプログラムを表すデータストリーム又は信号シーケンスである。データストリーム又は信号シーケンスは、例えば、データ通信接続を介して、例えばインターネットを介して転送されるように構成することができる。
【０１６４】
さらなる実施形態は、本明細書に記載されている本発明方法のうちの１つを実行するように構成されているか又は適合化される、例えばコンピュータである処理手段又はプログラマブル論理デバイスを含む。
【０１６５】
さらなる実施形態は、本明細書に記載されている本発明方法のうちの１つを実行するためのコンピュータプログラムをインストールしているコンピュータを含む。
【０１６６】
実施形態によっては、本明細書に記載されている本発明方法の機能の幾つか又は全てを実行するために、プログラマブル論理デバイス（例えば、フィールド・プログラマブル・ゲートアレイ）を用いることができる。実施形態によっては、フィールド・プログラマブル・ゲートアレイは、本明細書に記載されている本発明方法のうちの１つを実行するためにマイクロプロセッサと協働することができる。概して、これらの方法は、好ましくは任意のハードウェア装置によって実行される。
【０１６７】
これまでに述べた実施形態は、単に本発明の原理を例示するものである。当業者には、本明細書に記載されている装置及び詳細の修正及び変形が明らかであることは理解される。したがって、本発明は、本明細書における実施形態の記述及び説明によって提示された特定の詳細ではなく、添付の特許請求の範囲によってのみ限定されるべきものである。
【０１６８】
９． 結論
【０１６９】
以上を要約すると、本発明による実施形態は、ＭＰＥＧ空間オーディオオブジェクト符号化ＳＡＯＣにおいて歪制御信号化を創出する。
【０１７０】
本発明による実施形態は、歪制御プロセスを導くためにビットストリーム内の信号化を利用することにより、さらに強化された性能及び機能性の双方を提供する。
【０１７１】
本発明による好適な実施形態は、これまでに論じたようなオーディオ信号を符号化又は復号するための方法、装置又はコンピュータプログラムを含む。本発明によるさらなる実施形態は、これまでに論じたように発生されるか、又はこれまでに論じたようにデコーダもしくは復号方法によって使用される符号化された信号を含む。
【技術分野】
【０００１】
本発明による実施形態は、オーディオコンテンツのビットストリーム表現に含まれているダウンミックス信号表現、同ビットストリーム表現に含まれているオブジェクト関連パラメータ情報、及びレンダリング情報に基づいてアップミックス信号表現を生成するための装置に関する。
【０００２】
本発明による他の実施形態は、マルチチャネルオーディオ信号を表現するビットストリームを生成するための装置に関する。
【０００３】
本発明による他の実施形態は、オーディオコンテンツのビットストリーム表現に含まれているダウンミックス信号表現、同ビットストリーム表現に含まれているオブジェクト関連パラメータ情報、及びレンダリング情報に基づいてアップミックス信号表現を生成するための方法に関する。
【０００４】
本発明による他の実施形態は、マルチチャネルオーディオ信号を表現するビットストリームを生成するための方法に関する。
【０００５】
本発明による他の実施形態は、これらの方法の１つを実行するコンピュータプログラムに関する。
【０００６】
本発明による他の実施形態は、マルチチャネルオーディオ信号を表現するビットストリームに関する。
【背景技術】
【０００７】
オーディオ処理、オーディオ伝送及びオーディオ蓄積の技術分野では、聴感を良くするためにマルチチャネルコンテンツを取り扱おうという要望が高まりつつある。マルチチャネル・オーディオ・コンテンツの使用は、ユーザに著しい改善をもたらすものである。例えば、３次元聴感を得ることも可能であって、娯楽に適用すればユーザの満足度が高まる。その一方で、マルチチャネル・オーディオ・コンテンツは、マルチチャネルオーディオ再生の使用によってスピーカの了解度が向上され得ることから、職場環境において、例えば電話会議への適用においても有益である。
【０００８】
しかしながら、マルチチャネルアプリケーションによって生じる資源の過剰な負荷を回避するために、オーディオ品質とビットレート要件との間に良好な得失評価を有することもまた望ましい。
【０００９】
最近では、複数のオーディオオブジェクトを含むオーディオ場面のビットレート効率のよい伝送及び／又は蓄積を行なうためのパラメトリック手法、例えばバイノーラルキュー符号化（Binaural Cue Coding：ＢＣＣ）（タイプＩ）（例えば、非特許文献１参照）、情報源符号化（Joint Source Coding：ＪＳＣ）（例えば、非特許文献２参照）及びＭＰＥＧ空間オーディオオブジェクト符号化（Spatial Audio Object Coding：ＳＡＯＣ）（例えば、非特許文献３、非特許文献４及び未公開非特許文献５参考）が提案されている。
【００１０】
これらの手法の目的は、波形一致ではなく、所望される出力オーディオ場面を知覚的に再構成することにある。
【００１１】
図８は、このようなシステム（ここでは、ＭＰＥＧ ＳＡＯＣ）のシステム概観を示す。
【００１２】
図８に示されているＭＰＥＧ ＳＡＯＣシステム８００は、ＳＡＯＣエンコーダ８１０と、ＳＡＯＣデコーダ８２０とを備えている。ＳＡＯＣエンコーダ８１０は複数のオブジェクト信号ｘ1〜ｘNを受けとる。オブジェクト信号ｘ1〜ｘNは、例えば時間領域信号として又は時間周波数領域信号として（例えば、フーリエ型変換の変換係数セットの形式又はＱＭＦサブバンド信号の形式で）表現することができる。ＳＡＯＣエンコーダ８１０は、典型的にはダウンミックス係数ｄ1〜ｄNも受けとる。ダウンミックス係数ｄ1〜ｄNはオブジェクト信号ｘ1〜ｘNに関連づけられている。ダウンミックス係数は、ダウンミックス信号のチャネル毎に別々のセットが利用できる。ＳＡＯＣエンコーダ８１０は、典型的には、関連づけられるダウンミックス係数ｄ1〜ｄNに従ってオブジェクト信号ｘ1〜ｘNを結合することにより、ダウンミックス信号のチャネルを得るように構成されている。典型的には、存在するダウンミックスチャネルの数はオブジェクト信号ｘ1〜ｘNより少ない。ＳＡＯＣデコーダ８２０側におけるオブジェクト信号の分離（又は分離処理）を（少なくとも概略的に）可能にするために、ＳＡＯＣエンコーダ８１０は、サイド情報８１４と１つ以上のダウンミックス信号（ダウンミックスチャネルとして示される）８１２の双方を生成する。サイド情報８１４は、デコーダ側のオブジェクト指定処理を可能にするために、オブジェクト信号ｘ1〜ｘNの特徴を記述する。
【００１３】
ＳＡＯＣデコーダ８２０は、サイド情報８１４と１つ以上のダウンミックス信号８１２の双方を受けとるように構成されている。また、ＳＡＯＣデコーダ８２０は、典型的には、ユーザ相互作用情報及び／又はユーザ制御情報８２２を受けとるように構成されている。ユーザ相互作用情報及び／又はユーザ制御情報８２２は、所望されるレンダリング設定を記述するものであり、例えば、スピーカの設定及びオブジェクトの所望される空間配置について記述することができ、これらはオブジェクト信号ｘ1〜ｘNを与える。
【００１４】
ＳＡＯＣデコーダ８２０は、例えば、複数の復号されたアップミックスチャネル信号
を生成するように構成されている。アップミックスチャネル信号は、例えばマルチスピーカレンダリング配置の個々のスピーカに関連づけることができる。ＳＡＯＣデコーダ８２０は、例えば、オブジェクト分離器８２０ａを備えることができ、オブジェクト分離器８２０ａは、サイド情報８１４及び１つ以上のダウンミックス信号８１２に基づきオブジェクト信号ｘ1〜ｘNを少なくとも概略的に再構成し、これにより再構成されたオブジェクト信号８２０ｂを得るように構成されている。しかしながら、再構成されたオブジェクト信号８２０ｂは元のオブジェクト信号ｘ1〜ｘNから幾分かずれていることがある。それは、例えば、ビットレート制約のために、サイド情報８１４が完全な再構成にとってまったく十分であるとはいえないからである。ＳＡＯＣデコーダ８２０はさらにミキサ８２０ｃを備えることができる。ミキサ８２０ｃは、再構成されたオブジェクト信号８２０ｂとユーザ相互作用情報／ユーザ制御情報８２２を受けとり、これらに基づいてアップミックスチャネル信号
を生成するように構成できる。ミキサ８２０は、ユーザ相互作用情報／ユーザ制御情報８２２を用いて、アップミックスチャネル信号
に対する個々の再構成されたオブジェクト信号８２０ｂの寄与を決定するように構成できる。ユーザ相互作用情報／ユーザ制御情報８２２は、例えば、レンダリングパラメータ（レンダリング係数とも明記される）を含むことができる。レンダリングパラメータはアップミックスチャネル信号
に対する個々の再構成されたオブジェクト信号８２２の寄与を決定する。
【００１５】
図８ではオブジェクト分離はオブジェクト分離器８２０ａにより示され、ミキシングはミキサ８２０ｃにより示されているが、多くの実施形態ではこれらは単一のステップで実行されることに留意されるべきである。その目的のために、１つ以上のダウンミックス信号８１２をアップミックスチャネル信号
へ直接写し変えることを記述する全体的パラメータが計算される場合がある。これらのパラメータは、サイド情報及びユーザ相互作用情報／ユーザ制御情報８２０に基づいて計算できる。
【００１６】
次に、図９Ａ、図９Ｂ及び図９Ｃを参照して、ダウンミックス信号表現及びオブジェクト関連サイド情報に基づいてアップミックス信号表現を得るための異なる装置について述べる。図９Ａは、ＳＡＯＣデコーダ９２０を備えているＭＰＥＧ ＳＡＯＣシステム９００の概略ブロック図を示す。ＳＡＯＣデコーダ９２０は、別々の機能ブロックとして、オブジェクトデコーダ９２２及びミキサ／レンダラ９２６を備えている。オブジェクトデコーダ９２２は、ダウンミックス信号表現（例えば、時間領域又は時間−周波数領域において表現される１つ以上のダウンミックス信号の形式）及びオブジェクト関連サイド情報（例えば、オブジェクト・メタ・データの形式）に依存して複数の再構成されたオブジェクト信号９２４を生成する。ミキサ／レンダラ９２６は、複数であるＮ個のオブジェクトに関連づけられた再構成されたオブジェクト信号９２４を受けとり、これらに基づいて１つ以上のアップミックスチャネル信号９２８を生成する。ＳＡＯＣデコーダ９２０において、オブジェクト信号９２４の抽出はミキシング／レンダリングとは別に実行され、これは、ミキシング／レンダリング機能からのオブジェクト復号機能の分離を可能にするが、計算の複雑さは比較的高くなる。
【００１７】
図９Ｂを参照して別のＭＰＥＧ ＳＡＯＣシステム９３０について簡単に論じる。そのＭＰＥＧ ＳＡＯＣシステム９３０はＳＡＯＣデコーダ９５０を備えている。ＳＡＯＣデコーダ９５０は、ダウンミックス信号表現（例えば、１つ以上のダウンミックス信号の形式）及びオブジェクト関連サイド情報（例えば、オブジェクトメタデータの形式）に依存して複数のアップミックスチャネル信号９５８を生成する。ＳＡＯＣデコーダ９５０は結合されたオブジェクトデコーダ及びミキサ／レンダラを備えており、結合されたオブジェクトデコーダ及びミキサ／レンダラはオブジェクト復号とミキシング／レンダリングとを分離することなく合同ミキシングプロセスにおいてアップミックスチャネル信号９５８を得るように構成されている。その合同ミキシングプロセスのパラメータは、オブジェクト関連サイド情報及びレンダリング情報の双方に依存する。合同ミキシングプロセスはダウンミックス情報にも依存し、この場合、ダウンミックス情報はオブジェクト関連サイド情報の一部と考えられる。
【００１８】
上記を要約すると、アップミックスチャネル信号９２８、９５８の生成は、１ステッププロセス又は２ステッププロセスで実行できる。
【００１９】
図９Ｃを参照して、ＭＰＥＧ ＳＡＯＣシステム９６０について述べる。ＳＡＯＣシステム９６０は、ＳＡＯＣデコーダではなくＳＡＯＣ−ＭＰＥＧサラウンドトランスコーダ９８０を備えている。
【００２０】
ＳＡＯＣ−ＭＰＥＧサラウンドトランスコーダはサイド情報トランスコーダ９８２を備えている。サイド情報トランスコーダ９８２はオブジェクト関連サイド情報（例えば、オブジェクトメタデータの形式）とレンダリング情報、さらに場合により１つ以上のダウンミックス信号に関する情報を受けとるように構成されている。サイド情報トランスコーダは、受けとったデータに基づきＭＰＥＧサラウンドサイド情報（例えば、ＭＰＥＧサラウンドビットストリームの形式）を生成するようにも構成されている。したがって、サイド情報トランスコーダ９８２は、レンダリング情報及び場合により１つ以上のダウンミックス信号のコンテンツに関する情報を考慮して、オブジェクトエンコーダから出されるオブジェクト関連の（パラメトリックな）サイド情報をチャネル関連の（パラメトリックな）サイド情報へ変換するように構成されている。
【００２１】
場合により、ＳＡＯＣ−ＭＰＥＧサラウンドトランスコーダ９８０は、例えばダウンミックス信号表現により記述された１つ以上のダウンミックス信号を操作して、操作されたダウンミックス信号表現９８８を得るように構成することができる。しかしながら、ダウンミックス信号マニピュレータ９８６は省略される場合があり、その場合はＳＡＯＣ−ＭＰＥＧサラウンドトランスコーダ９８０から出力されるダウンミックス信号表現９８８と、ＳＡＯＣ−ＭＰＥＧサラウンドトランスコーダへ入力されるダウンミックス信号表現は同一になる。ダウンミックス信号マニピュレータ９８６は、例えば、チャネル関連ＭＰＥＧサラウンドサイド情報９８４がＳＡＯＣ−ＭＰＥＧサラウンドトランスコーダ９８０への入力ダウンミックス信号表現に基づいて所望される聴感を生成できないようであれば使用されることがあり、この状況は、再現されるものの配列によっては発生し得る。
【００２２】
したがって、ＳＡＯＣ−ＭＰＥＧサラウンドトランスコーダ９８０は、ＭＰＥＧサラウンドビットストリーム９８４及びダウンミックス信号表現９８８を受けとるＭＰＥＧサラウンドデコーダを使用して、ＳＡＯＣ−ＭＰＥＧサラウンドトランスコーダ９８０へ入力されるレンダリング情報に従ってオーディオオブジェクトを表現する複数のアップミックスチャネル信号を発生し得るように、ダウンミックス信号表現９８８及びＭＰＥＧサラウンドビットストリーム９８４を生成する。
【００２３】
上記を要約すると、ＳＡＯＣで符号化されたオーディオ信号を復号するためには、異なる概念を用いることが可能である。事例によってはＳＡＯＣデコーダが使用される。ＳＡＯＣデコーダは、ダウンミックス信号表現及びオブジェクト関連のパラメトリックなサイド情報に依存してアップミックスチャネル信号（例えば、アップミックスチャネル信号９２８、９５８）を生成する。図９Ａ及び図９Ｂはこの概念の例を示している。あるいは、ＳＡＯＣで符号化されたオーディオ情報は、ダウンミックス信号表現（例えば、ダウンミックス信号表現９８８）及びチャネル関連サイド情報（例えば、チャネル関連ＭＰＥＧサラウンドビットストリーム９８４）を得るためにトランスコードされる場合もある。それらのダウンミックス信号表現とチャネル関連サイド情報は所望されるアップミックスチャネル信号を生成するためにＭＰＥＧサラウンドデコーダによって使用することができる。
【００２４】
図８にシステムの概観が示されているＭＰＥＧ ＳＡＯＣシステム８００において、一般処理は周波数選択方式で実行され、各周波数バンド内部では下記のように記述することができる。
【００２５】
入力されるＮ個のオーディオオブジェクト信号ｘ1〜ｘNは、ＳＡＯＣエンコーダの処理の一部としてダウンミックスされる。モノダウンミックスの場合、ダウンミックス係数はｄ1〜ｄNによって示される。さらに、ＳＡＯＣエンコーダ８１０は、入力されたオーディオオブジェクトの特徴を記述するサイド情報８１４を抽出する。ＭＰＥＧ ＳＡＯＣの場合、このようなサイド情報の最も基本的な形式は、オブジェクト電力の互いに対する関係性である。
【００２６】
サイド情報８１４及び（１つ以上の）ダウンミックス信号８１２は、伝送され、かつ／又は格納される。この目的に沿って、ダウンミックスオーディオ信号は、ＭＰＥＧ−１レイヤＩＩ又はＩＩＩ（「．ｍｐ３」としても知られる）、ＭＰＥＧアドバンスト・オーディオ・コーディング（ＡＡＣ）又は他の任意のオーディオコーダ等の周知の知覚オーディオコーダを用いて圧縮される場合がある。
【００２７】
受信側では、ＳＡＯＣデコーダ８２０は、概念的には、伝送されたサイド情報８１４（及び当然ながら、１つ以上のダウンミックス信号８１２）を用いて、元のオブジェクト信号を復元するように試行する（「オブジェクト分離」）。これらの近似されたオブジェクト信号（再構成されたオブジェクト信号８２０ｂとしても示される）は、次に、レンダリングマトリクスを用いて、Ｍ個のオーディオ出力チャネル（例えば、アップミックスチャネル信号
により表現される場合がある）によって表現される標的場面へミキシングされる。モノ出力の場合、レンダリングマトリクス係数はｒ1〜ｒNによって与えられる。
【００２８】
効率的には、オブジェクト信号の分離はほとんど行われない（又は、絶対に行われない）。それは、分離ステップ（オブジェクト分離器８２０ａにより示される）及びミキシングステップ（ミキサ８２０ｃにより示される）の双方が単一のトランスコーディングステップに結合され、これにより計算の複雑さが大幅に低減される結果となる場合が多いからである。
【００２９】
このようなスキームは、伝送ビットレート及び計算の複雑さの双方の面で極めて効率的であることがわかっている。すなわち、伝送ビットレートの面では、Ｎ個の（典型的には不連続の）オブジェクトオーディオ信号に場合によりレンダリング情報又は不連続システムを加えて伝送するのではなく、幾つかのダウンミックスチャネルに何らかのサイド情報を加えて伝送するだけでよいからである。また、計算の複雑さの面では、処理の複雑さはオーディオオブジェクトの数ではなく、主として出力チャネルの数に関係するからである。受信側ユーザにとってのさらなる優位点としては、ユーザ選択のレンダリング設定（モノ、ステレオ、サラウンド、仮想化ヘッドホン再生、等々）及びユーザ相互作用性の特徴を選ぶ自由が含まれる。すなわち、ユーザはレンダリングマトリクス及びひいては出力される場面を、意志、個人的嗜好又は他の基準に従って相互作用的に設定しかつ変更することができる。例えば、１つのグループからの話者を纏めて１つの空間エリアに位置決めし、他の話者との区別を最大にすることができる。この相互作用性は、デコーダのユーザインタフェースを与えることによって達成される。
【００３０】
伝送される各サウンドオブジェクトについて、その相対レベル及び（モノレンダリングでないものについては）レンダリングの空間位置を調整することができる。このことは、ユーザが関連のグラフィカル・ユーザ・インタフェース（Graphical User Interface：ＧＵＩ）スライダ（例えば、オブジェクトレベル＝＋５ｄＢ、オブジェクトの位置＝−３０度）の位置を変更するにつれてリアルタイムで発生する場合がある。
【００３１】
しかし、場合によっては、アップミックス信号表現を生成するためのパラメータをデコーダ側で選択すれば（例えば、アップミックスチャネル信号?１〜?Ｍ）、可聴性の劣化を招くことがわかっている。
【００３２】
ダウンミックス／分離／ミキシングに基づくパラメトリック手法に起因して、オーディオ出力の主観的品質はレンダリングパラメータの設定に依存することがわかっている。相対的オブジェクトレベルの変化は、空間的な再現位置の変化（「リパニング(re-panning)」）よりも最終的なオーディオ品質に多く影響することがわかった。相対レベルパラメータの極値設定（例えば、＋２０ｄＢ）は、容認し難い出力品質をもたらす可能性すらある。
【００３３】
これは単に、このスキームの根底にある知覚的想定のうちの幾つかを破った結果ではあるが、それでも、ユーザインタフェースでの設定に依存して不良な音及びアーティファクトを生成することは市販の製品としては受け入れられない。
【００３４】
「歪を回避するオーディオ信号処理のための方法、装置及びコンピュータプログラム」と題する米国特許出願第６１／１７３，４５６号（特許文献１）、及び「ダウンミックス信号表現に基づいてアップミックス信号表現を生成するための１つ以上の調整されたパラメータを生成する装置、オブジェクト関連パラメータ情報を用いるオーディオ信号デコーダ、オーディオ信号トランスコーダ、オーディオ信号エンコーダ、オーディオビットストリーム、方法及びコンピュータプログラム」と題する国際特許出願ＰＣＴ／ＥＰ２０１０／０５５７１７号（特許文献２）（以後、「歪制御の例」と称する）は、ＳＡＯＣシステムにおけるオブジェクト利得修正から歪を軽減するためのプロセスを記述している。これらの文献は、歪制御及び歪低減について本発明とは異なる概念を記述しているが、これらの概念は、本発明による実施形態において、又は本発明による実施形態と組み合わせて適用することができる。
【先行技術文献】
【特許文献】
【００３５】
【特許文献１】米国特許出願第６１／１７３，４５６号
【特許文献２】国際特許出願ＰＣＴ／ＥＰ２０１０／０５５７１７号
【非特許文献】
【００３６】
【非特許文献１】[BCC]C. Faller and F. Baumgarte, “Binaural Cue Coding - Part II: Schemes and applications”, IEEE Trans. on Speech and Audio Proc., vol. 11, no. 6, Nov. 2003.
【非特許文献２】[JSC]C. Faller, “Parametric Joint-Coding of Audio Sources”, 120th AES Convention, Paris, 2006, Preprint 6752.
【非特許文献３】[SAOC1]J. Herre, S. Disch, J. Hilpert, O. Hellmuth: “From SAC To SAOC - Recent Developments in Parametric Coding of Spatial Audio”, 22nd Regional UK AES Conference, Cambridge, UK, April 2007.
【非特許文献４】[SAOC2]J. Engdegard, B. Resch, C. Falch, O. Hellmuth, J. Hilpert, A. Holzer, L. Terentiev, J. Breebaart, J. Koppens, E. Schuijers and W. Oomen: “Spatial Audio Object Coding (SAOC) - The Upcoming MPEG Standard on Parametric Object Based Audio Coding”, 124th AES Convention, Amsterdam 2008, Preprint 7377.
【非特許文献５】[SAOC] ISO/IEC, “MPEG audio technologies - Part 2: Spatial Audio Object Coding (SAOC)”, ISO/IEC JTC1/SC29/WG11 (MPEG) FCD 23003-2.
【非特許文献６】[SBR1]ISO/IEC, “MPEG audio technologies - Part 2: Spatial Audio Object Coding (SAOC)”, ISO/IEC JTC1/SC29/WG11 (MPEG) FCD 23003-2.
【非特許文献７】[SBR2]M. Dietz, L. Liljeryd, K. Kjoerling, and O. Kunz, “Spectral band replication, a novel approach in audio coding”, in AES 112th Convention, Munich, Germany, May 2002, Preprint 5553.
【非特許文献８】[PS]“Low Complexity Parametric Stereo Coding in MPEG-4”, Heiko Purnhagen, Proc. Digital Audio Effects Workshop (DAFx), pp. 163-168, Naples, IT, Oct. 2004.
【発明の概要】
【発明が解決しようとする課題】
【００３７】
上述の論考に鑑みて、本発明の目的は、ダウンミックス信号表現に基づいてアップミックス信号表現を生成する際の改善された歪低減又は歪回避を可能にする概念を作り上げることにある。
【課題を解決するための手段】
【００３８】
本発明による一実施形態は、オーディオコンテンツのビットストリーム表現に含まれているダウンミックス信号表現及び同ビットストリーム表現に含まれているオブジェクト関連パラメータ情報に基づいて、かつレンダリング情報に依存してアップミックス信号表現を生成するための装置を創出する。本装置は、レンダリングパラメータ（例えば、ユーザ指定レンダリングマトリクスのエントリ）の不適切な選定の結果として引き起こされる可聴歪を回避するか又は制限するために、歪制御スキームを用いてアップミックスパラメータ（例えば、レンダリングマトリクスの利得係数又はエントリ）を調整するように構成された歪制限器を備えている。歪制限器は、オーディオコンテンツのビットストリーム表現に含まれている歪制限制御パラメータを得るように、かつこの歪制限制御パラメータに依存して歪制御スキームを調整するように構成されている。
【００３９】
本発明によるこの実施形態は、歪制限制御パラメータに依存して歪制御スキームを調整すれば著しい効果を達成することができるという問題解決の着想に基づいている。歪制限制御パラメータは歪制御スキームの制御を可能にするのでオーディオコンテンツのビットストリーム表現に含まれている。歪制御スキームは制御情報（例えば、歪制限制御パラメータ）を用いてオーディオデコーダ（例えば、アップミックス信号表現を生成するための装置）側で適用され、制御情報はオーディオエンコーダ（例えば、マルチチャネルオーディオ信号を表すビットストリームを生成するための装置）により与えられる。したがって、オーディオ信号エンコーダがデコーダ側の歪制御スキームを制御する機会を有し、ついで歪制御スキームにおいてそのレンダリングパラメータの調整に関する多少の自由度がエンコーダからデコーダのユーザへ移る可能性がある。したがって、典型的にはダウンミックス信号表現によって表されるオーディオ信号オブジェクトに関してより良い情報をもつオーディオ信号エンコーダは、オーディオオブジェクト信号に関するその情報を用いて歪制御スキームを適切に調整すべく寄与することができる。このことは、アップミックス信号表現を生成する際の結果の向上を可能にする。また、オーディオ信号エンコーダは、ダウンミックス信号表現によって表されるオーディオオブジェクト信号を与えるコンテンツプロバイダの要請に従って適切な歪制限制御パラメータを生成することができる、その結果、レンダリングパラメータの不適切な設定によるアップミックス信号表現の過度の劣化を、例えばコンテンツプロバイダの要請に従って、オーディオ信号エンコーダ側から防止することができる。
【００４０】
要約すると、デコーダ側で適用される歪制御スキームの例えば１つ以上のパラメータを調整するために、オーディオコンテンツのビットストリーム表現からデコーダ側で抽出される歪制限制御パラメータを評価する本発明手法により、多数の優位点を達成することができる。
【００４１】
ある好適な実施形態において、アップミックス信号表現を生成するための装置は、入力インタフェースから所望されるレンダリングマトリクスを受けとるように構成されている。この場合、歪制限器は、所望されるレンダリングマトリクス及び１つ以上の歪制限制御パラメータに依存して修正されたレンダリングマトリクスを得るように構成されている。アップミックス信号表現を生成するための本装置は、修正されたレンダリングマトリクスに依存してアップミックス信号表現を生成するように構成されている。したがって、オーディオ信号デコーダ（例えば、アップミックス信号表現を生成するための装置）によりオーディオコンテンツのビットストリーム表現から抽出される歪制限制御パラメータは、修正されたレンダリングマトリクスを生成するために使用することができ、その修正されたレンダリングマトリクスがアップミックス信号表現内の過度の可聴歪を回避する。可聴歪の低減は、（例えば、ユーザにより）入力インタフェースを介して入力される所望のレンダリングマトリクスが不適切である（しかも、アップミックス信号表現に重大な可聴歪を生じさせる）場合でも達成することができる。このように、歪制限器は、修正されたレンダリングマトリクスが入力インタフェースからの所望のレンダリングマトリクスに依存してどのように取得されているのかを決定するために、歪制限制御パラメータを評価することができ、これにより、オーディオ信号エンコーダに対するある程度の制御ができる。
【００４２】
ある好適な実施形態において、歪制限器は１つ以上のレンダリングマトリクス限界値を得るように構成されている。レンダリングマトリクス限界値はオーディオコンテンツのビットストリーム表現に含まれており、かつレンダリングマトリクス要素（エントリとしても示される）の最小値及び最大値を記述する。この場合、歪制限器はさらに、所望のレンダリングマトリクスに依存する修正されたレンダリングマトリクスの取得に際して、１つ以上のレンダリングマトリクス限界値に従って修正されたレンダリングマトリクスの１つ以上のエントリを制限するように構成されている。したがって、レンダリングマトリクス限界値を含む歪制限制御パラメータは過度なレンダリング設定を回避するために使用することができ、過度なレンダリング設定はオーディオコンテンツのビットストリーム表現を生成するオーディオ信号エンコーダにより望ましくないとして識別される。このように、レンダリングパラメータの不適切な設定の結果として引き起こされると思われる可聴歪は回避し、又は少なくとも制限することができる。
【００４３】
ある好適な実施形態において、歪制限器は、所望のレンダリングマトリクス、基準レンダリングマトリクス及び１つ以上の歪制限制御パラメータに依存して修正されたレンダリングマトリクスを得るように構成されている。基準レンダリングマトリクスの使用は特別な優位点をもたらす。というのは、基準レンダリングマトリクスは、十分に良質な又は最適でさえある品質のアップミックス信号表現を生成するレンダリング設定を指定できるからである。したがって、基準レンダリングマトリクスに対してレンダリングパラメータをどれだけ変化させることができるかは歪制限制御パラメータによって決めることができ、歪制限制御パラメータは修正されたレンダリングパラメータが存在すべき領域を効率的に指定することができる。
【００４４】
ある好適な実施形態において、歪制限器は、基準レンダリングマトリクスに対して（又は、基準レンダリングマトリクスのエントリに対して）修正されたレンダリングマトリクスの１つ以上のエントリを、歪制限制御パラメータによって記述される１つ以上のレンダリングマトリクス限界値に従って制限するように構成されている。したがって、レンダリングマトリクスの制限は、基準レンダリングマトリクスに従って効率的に行うことができる。
【００４５】
また、歪制限制御パラメータのうちの１つ以上は、基準レンダリングマトリクスが如何にして取得されるかを決定することができる。例えば、歪制限制御パラメータのうちの１つ以上は、基準レンダリングマトリクスのエントリを導出するためのフィルタ時定数を指定することができる。しかし、基準レンダリングマトリクスが如何にして取得されるかを記述する他の設定情報を歪制限制御パラメータのうちの１つ以上によって示すこともできる。
【００４６】
ある好適な実施形態において、歪制限器は、所望の（例えば、ユーザ指定の）レンダリングマトリクスに依存して修正されたレンダリングマトリクスを得るために、オブジェクト別の歪制限制御パラメータを適用するように構成されている。したがって、歪制御スキームは、オーディオコンテンツのビットストリーム表現から抽出されるオブジェクト別の歪制限制御パラメータを活用することによって、オーディオコンテンツのビットストリーム表現を生成するオーディオ信号エンコーダにはよくわかっているオーディオオブジェクト信号の差を考慮することができる。
【００４７】
ある好適な実施形態において、アップミックス信号を生成するための装置は、修正された利得係数に依存してアップミックス信号表現を生成するために、１つ以上の修正された利得係数をダウンミックス信号表現のオーディオサンプルへ、又はダウンミックス信号により記述されるオーディオオブジェクトに関連づけられるオブジェクト関連サイド情報へ適用するように構成されている。この場合、歪制限器は、前記の１つ以上の修正された利得係数を、１つ以上の所望の利得係数及び１つ以上の歪制限制御パラメータに依存して得るように構成されている。したがって、オーディオコンテンツのビットストリーム表現から抽出される歪制限制御パラメータは利得係数の適切な調整に使用され、オーディオコンテンツのビットストリーム表現を生成するオーディオ信号エンコーダ側からの利得係数の（適切な）選定の制御が可能になる。
【００４８】
ある好適な実施形態において、歪制限器は、時定数を有する平滑化フィルタを用いて、制限されるべき利得パラメータの基準レベルを導出するように構成されている。この場合、歪制限器は、その導出された基準レベルを用いて所定のパラメータを制限するように構成されている。また、歪制限器は、オーディオコンテンツのビットストリーム表現に含まれている時定数パラメータを（例えば、オーディオコンテンツのビットストリーム表現から時定数パラメータを抽出することによって）取得し、かつその取得した時定数パラメータに依存して平滑化フィルタの時定数を調整するようにも構成されている。したがって、オーディオ信号デコーダ（アップミックス信号表現を生成するための装置）よりもオーディオオブジェクト信号の時間特性を良く認識しているオーディオ信号エンコーダは、オーディオ信号デコーダによる適用のために、オーディオコンテンツのビットストリーム表現内に基準レベルの有意義な導出を可能にする適切な時定数パラメータを包含することができる。故に、オーディオ信号エンコーダに既知であるオーディオ信号の特有の特性は、歪制御スキームによって活用することができる。
【００４９】
ある好適な実施形態において、パラメータ制限器は、オーディオコンテンツのビットストリーム表現に含まれている歪制御起動パラメータを得るように、かつこの歪制御起動パラメータに依存して歪制御スキームを有効化又は無効化するように構成されている。したがって、オーディオコンテンツのビットストリーム表現を生成するオーディオ信号エンコーダは、歪制御スキームの起動を強制することも、歪制御スキームを非活性化することもできる。したがって、オーディオコンテンツのビットストリーム表現を生成するオーディオ信号エンコーダは、適切な歪制御スキームがオーディオ信号デコーダにより適用されることを、オーディオエンコーダ又はコンテンツプロバイダの判断に従って選択的に実行することができ、適切な歪制御スキームは極めて重要なオーディオコンテンツに対するユーザの不満足を回避する手助けをする。この場合、オーディオ信号エンコーダは、レンダリングパラメータの設定の適切な制限を与えることができる。一方で、レンダリングパラメータ設定の最大の柔軟性が歪制御スキームの適用よりもユーザのより高い満足を引き出すオーディオコンテンツについては、オーディオデコーダはユーザに最大の柔軟性を与えるために歪制御スキームを選択的に無効化することができる。
【００５０】
ある好適な実施形態において、パラメータ制限器は予め設定されたレンダリングマトリクス起動パラメータを得るように構成されており、その予め設定されたレンダリングマトリクス起動パラメータはオーディオコンテンツのビットストリーム表現に含まれている。この場合、パラメータ制限器は、予め設定されたレンダリングマトリクス起動パラメータの活性状態に応答して、ダウンミックス信号表現に基づいてアップミックス信号表現を生成するために、ユーザ指定のレンダリングマトリクス情報ではなく、オーディオコンテンツのビットストリーム表現に含まれている予め設定されたレンダリングマトリクス情報が使用されるように構成されている。したがって、オーディオ信号デコーダは、状況によっては、アップミックス信号表現が、ユーザによってではなくオーディオ信号エンコーダによって示されたレンダリングマトリクス情報を用いて取得されることを達成することができる。したがって、オーディオ信号エンコーダは、予め設定されたレンダリングマトリクス情報をビットストリーム内に包含し、かつ予め設定されたレンダリングマトリクス情報がオーディオ信号デコーダによって使用されるべきであることを示す予め設定されたレンダリングマトリクス起動パラメータ（又はフラグ）を起動する機会をもっている。したがって、オーディオ信号デコーダはオーディオコンテンツの芸術的価値がユーザにとって明白となることを確保することができ、その芸術的価値は予め設定されたレンダリングマトリクス情報に従ってレンダリングマトリクスを適切に設定することにより与えることができる。したがって、レンダリングパラメータの適切な設定しか良好な聴感を与えないような場合に発生する可能性のあるユーザの不満を回避することができる。
【００５１】
ある好適な実施形態において、パラメータ制限器は、オーディオコンテンツのビットストリーム表現に含まれている音響心理学的歪制限パラメータを得るように構成されている。この場合、歪制限器は、音響心理学的歪モデルに依存して１つ以上のアップミックスパラメータを調整するように構成されており、その結果、ダウンミックス信号表現からのアップミックス信号表現の導出によって生じる歪の大きさ（例えば、推定値であってもよい）が制限される。この場合、歪制限器は、１つ以上のアップミックスパラメータを調整するために使用される１つ以上のパラメータを、音響心理学的歪モデル（例えば、音響心理学的歪モデルの出力値に依存して１つ以上のアップミックスパラメータを如何に調整するかを記述するパラメータ）又は音響心理学的歪モデルの１つ以上のパラメータに依存し、音響心理学的歪制限パラメータに依存して設定するように構成されている。したがって、アップミックスパラメータ（例えば、レンダリングパラメータ）の適切な制限のための音響心理学的歪モデルの使用はオーディオエンコーダ側から制御することができ、これもやはり、オーディオエンコーダにアップミックス信号表現の重大な歪の回避に寄与する可能性を与える。
【００５２】
ある好適な実施形態において、歪制限器は、時変性の歪制御スキームを達成するために、オーディオフレーム毎に一度、更新された歪制限制御パラメータを得るように構成されている。この概念によれば、オーディオコンテンツのビットストリーム表現内に１つ以上の歪制限制御パラメータを生成するオーディオ信号エンコーダの制御下で歪制御スキームを動的に調整することができ、その結果、厳密な歪制御スキームとするか又は緩やかな歪制御スキームとするかをオーディオエンコーダによって選択することができるという優位点がもたらされる。このようにして、オーディオ信号エンコーダは、オーディオコンテンツのさほど重要でない一節に関しては、オーディオコンテンツのビットストリーム表現内に適切な歪制限制御パラメータを与えて歪制御スキームが緩められるように調整してユーザに可能な限り最大の柔軟性を与え、かつより重大なオーディオフレームに関しては、適切な歪制限制御パラメータを与えて歪制御スキームを厳密であるように調整してより少ない柔軟性を与えることができる。したがって、ユーザの柔軟性と聴感との間の優れた相対関係を適切な制御によって達成することができ、そのような制御は本明細書において論じるオーディオデコーダの使用によってオーディオエンコーダ側から実行することができる。
【００５３】
ある好適な実施形態において、歪制限器は、オーディオコンテンツのビットストリーム表現のコンフィギュレーション部分内の動的な更新フラグを評価するように構成されている。この場合、歪制限器は、動的な更新フラグが不活性であれば、歪制限制御パラメータを取得するようにオーディオコンテンツのビットストリーム表現のコンフィギュレーション部分を評価し、動的な更新フラグが活性であれば、歪制限制御パラメータの更新を繰り返し取得するようにオーディオコンテンツのビットストリーム表現のフレーム部分を評価するように構成されている。したがって、オーディオデコーダは、１つ以上の歪制限制御パラメータがオーディオフレームのシーケンス毎に一度だけ伝達される静的モード（シーケンスには、例えば単一の共通するコンフィギュレーション部分が関連づけられる）と、１つ以上の歪制限制御パラメータがより頻繁に又はオーディオフレーム毎に一度さえも伝送される動的な動作モードとの間で切り換えることができる。これは、歪制限制御パラメータの時間的変動が不必要であれば歪制限制御パラメータの低いビットレートを達成し、かつ歪制限制御パラメータの良好な時間分解能が望ましければそれを達成するという歪制限制御パラメータの伝送の適合化を、例えばオーディオオブジェクト信号の特性によって可能にする。
【００５４】
ある好適な実施形態において、歪制限器は、オーディオコンテンツのフレーム部分における歪制限制御パラメータの存在を示すフラグに依存して歪制限制御パラメータを選択的に更新するように構成されており、その結果、歪制限制御パラメータの更新間隔（例えば、オーディオフレーム数で測定されたもの）がオーディオコンテンツのビットストリーム表現により動的に決定される。したがって、複数のオーディオフレームを含む一片のオーディオ情報において、歪制限制御パラメータの更新を不規則な段階又は時間に（例えば、不規則な数のオーディオフレームを間に置いて）実行でき、オーディオオブジェクト信号の時間的に不規則な変動によく適合できる。
【００５５】
本発明による一実施形態はマルチチャネルオーディオ信号のビットストリーム表現を生成するための装置を創出する。本装置は、複数のオーディオオブジェクト信号に基づいてダウンミックス信号を生成するように構成されたダウンミキサを備えている。また、本装置は、オーディオオブジェクト信号及びダウンミックスパラメータの特性を記述するオブジェクト関連パラメトリックなサイド情報、及びアップミックス信号表現を生成する装置側で歪制御スキームの適用を制御するための１つ以上の歪制限制御パラメータを生成するように構成されたサイド情報生成器も備えている。ビットストリームを生成するための本装置は、ダウンミックス信号の表現、オブジェクト関連パラメトリックなサイド情報及び１つ以上の歪制限制御パラメータを含むビットストリームを生成するように構成されたビットストリームフォーマッタも備えている。
【００５６】
マルチチャネルオーディオ信号を表すビットストリームを生成するための前記装置はオーディオコンテンツのビットストリーム表現を生成するのに適しており、そのビットストリーム表現は上述の装置によってアップミックス信号表現を生成するのに使用できる。ビットストリームを生成するための装置は歪制限制御パラメータをビットストリームに包含することができるので、デコーダ側の歪制御スキームは、エンコーダ側で決められた要請に従って調整できる。
【００５７】
さらなる詳細及び優位点に関しては、アップミックス信号表現を生成するための装置に関する先の論考を参照されたい。
【００５８】
本発明による他の実施形態は、オーディオコンテンツのビットストリーム表現に含まれているダウンミックス信号表現、及び同ビットストリーム表現に含まれているオブジェクト関連パラメータ情報に基づいて、さらにレンダリング情報に依存してアップミックス信号表現を生成するための方法を創出する。
【００５９】
本発明による他の実施形態は、マルチチャネルオーディオ信号を表現するビットストリームを生成するための方法を創出する。
【００６０】
本発明による他の実施形態は、これらの方法のうちの１つを実行するためのコンピュータプログラムを創出する。
【００６１】
これらの方法及びコンピュータプログラムは、先に論じた装置と同じ問題着想解決を基礎としている。
【００６２】
本発明による他の実施形態は、マルチチャネルオーディオ信号を表現するビットストリームを創出する。そのビットストリームは、複数のオーディオオブジェクトのオーディオ信号を結合しているダウンミックス信号の表現と、オーディオオブジェクトの特性を記述しているオブジェクト関連パラメトリックなサイド情報とを含む。そのビットストリームは、アップミックス信号表現を生成する装置側で歪制御スキームの適用を制御するための１つ以上の歪制限制御パラメータも含む。そのビットストリームは、典型的には、マルチチャネルオーディオ信号を表すビットストリームを生成するための先に論じた装置によって生成され、かつ典型的には、アップミックス信号表現を生成するための先に論じた装置によって評価できる。そのビットストリームは、歪制御スキームの効率的な調整を可能にする。
【００６３】
続いて、添付の図面を参照して本発明による実施形態について述べる。
【図面の簡単な説明】
【００６４】
【図１】本発明の一実施形態による、アップミックス信号表現を生成するための装置を示す概略ブロック図である。
【図２】本発明の他の実施形態による、アップミックス信号表現を生成するための装置を示す概略ブロック図である。
【図３】本発明のさらに他の実施形態による、アップミックス信号表現を生成するための装置を示す概略ブロック図である。
【図４】本発明によるビットストリーム信号化を伴うＳＡＯＣ歪制御を示す概略ブロック図である。
【図５】本発明の一実施形態による、マルチチャネルオーディオ信号を表すビットストリームを生成するための装置を示す概略ブロック図である。
【図６】本発明の一実施形態による、マルチチャネルオーディオ信号を表すビットストリームを示す概略図である。
【図７】ＳＡＯＣ歪制御の一例を示す概略ブロック図である。
【図８】参考ＭＰＥＧ ＳＡＯＣシステムを示す概略ブロック図である。
【図９Ａ】分離したデコーダ及びミキサを用いる参考ＳＡＯＣシステムを示す概略ブロック図である。
【図９Ｂ】一体式のデコーダ及びミキサを用いる参考ＳＡＯＣシステムを示す概略ブロック図である。
【図９Ｃ】ＳＡＯＣ−ＭＰＥＧトランスコーダを用いる参考ＳＡＯＣシステムを示す概略ブロック図である。
【発明を実施するための形態】
【００６５】
１．図１によるアップミックス信号表現を生成するための装置
【００６６】
図１は、ダウンミックス信号表現１１０とオブジェクト関連パラメータ情報１１２（パラメトリックサイド情報と考えてもよい。）に基づいてアップミックス信号表現１２０を生成するための装置１００を示す概略ブロック図である。ダウンミックス信号表現１１０とオブジェクト関連パラメータ情報１１２は、ともに、オーディオコンテンツのビットストリーム表現に含むことができる。装置１００はレンダリング情報１１４に依存してアップミックス信号表現を生成するように構成することができる。レンダリング情報１１４は、例えばユーザインタフェースを用いて入力できる。装置１００は１つ以上の歪制限制御パラメータ１１６を受けとることができる。歪制限制御パラメータ１１６も典型的にはオーディオコンテンツのビットストリーム表現に含まれている。
【００６７】
装置１００は信号プロセッサ１３０を備えている。信号プロセッサ１３０は、ダウンミックス信号表現１１０とオブジェクト関連パラメータ情報１１２に依存し、調整されたアップミックスパラメータ１３２を考慮してアップミックス信号表現１２０を生成するように構成されている。装置１００は、レンダリング情報１１４のレンダリングパラメータの不適切な選定により生じる可聴歪を回避又は制限するために、その調整されたアップミックスパラメータ１３２を、歪制御スキーム１４２を用いて得るように構成された歪制限器１４０を備えている。歪制限器１４０は、オーディオコンテンツのビットストリーム表現に含まれている１つ以上の歪制限制御パラメータ１１６を取得し、この１つ以上の歪制限制御パラメータ１１６に依存して歪制御スキームを調整するように構成されている。
【００６８】
以下、装置１００の機能についてさらに詳しく論じる。信号プロセッサ１３０は、アップミックス信号表現１２０を生成する。この目的に沿って、ダウンミックス信号表現１１０とオブジェクト関連パラメータ情報１１２が考慮される。また、ほとんどの場合（但し、必ずしも全ての場合ではない）、レンダリング情報１１４に従ってアップミックス信号表現１２０を生成しようとする試みがなされる。レンダリング情報１１４は例えばユーザによりユーザインタフェースを介して与えられる。しかし、レンダリング情報１１４を歪制御スキームなしで使用しようとして、例えばユーザが極端なレンダリング設定を選ぶならば、これは、アップミックス信号表現１２０の可聴歪に繋がることがあろう。過度の可聴歪を回避するために、歪制限器１４０により、レンダリング情報１１４を基礎としかつ歪制御スキーム１４２を用いて、調整されたアップミックスパラメータ１３２（レンダリングパラメータ又は他のアップミックスパラメータであってもよい。）が生成される。
【００６９】
歪制御スキーム１４２は、レンダリング情報１１４から、調整可能なマッピングルールを用いて、調整されたアップミックスパラメータ１３２を導出するように使用される。その調整可能なマッピングルールは、例えば線形、区分線形又は非線形なマッピングを含むことができる。歪制御スキーム１４２は、１つ以上の歪制御スキーム調整パラメータに依存して歪制限器１４０により調整することができる。そのために、歪制限器１４０は１つ以上の歪制限制御パラメータ１１６を考慮することができる。歪制限制御パラメータ１１６はオーディオコンテンツのビットストリーム表現に含まれており、また好ましくは図１に示されていないビットストリームパーサ（但し、実施形態によっては装置１００の一部である場合もある。）を用いてオーディオコンテンツのビットストリーム表現から抽出される。歪制御スキーム１４２（又は、歪制御スキームを明示するマッピングルール）は、実施形態によっては、調整されたアップミックスパラメータ１３２をレンダリング情報１１４に依存して得るために、ダウンミックス信号表現１１０及び／又はオブジェクト関連パラメータ情報１１２の情報を考慮することができる。歪制御スキーム調整パラメータは、好ましくは歪制御スキームを調整するために用いられるものであり、例えば、調整されたアップミックスパラメータ１３２上へのレンダリング情報１１４のマッピングを示す制限パラメータ、線形結合パラメータ又は他の機能パラメータを含むことができる。
【００７０】
要約すると、歪制限器１４０は、レンダリング情報１１４が適切に選定されて歪制御スキーム１４２が適用されなければアップミックス信号表現１２０の過度の歪が招来されるような場合でも、アップミックス信号表現１２０の過度の可聴歪が回避されるように、調整されたアップミックスパラメータ１３２を生成する。このように、歪制御スキーム１４２を使用しこれを調整する歪制限器は、聴感の向上に役立つ。オーディオコンテンツのビットストリーム表現に含まれている１つ以上の歪制限制御パラメータ１１６に依存して歪制御スキーム１４２の調整を行うことにより、歪低減の制御は、オーディオコンテンツのビットストリーム表現を生成するオーディオ信号エンコーダ側から実行することができる。
【００７１】
２．図２による、アップミックス信号表現を生成するための装置
【００７２】
以下、オーディオコンテンツのビットストリーム表現に含まれているダウンミックス信号表現及び同ビットストリーム表現に含まれているオブジェクト関連パラメータ情報に基づき、かつレンダリング情報に依存してアップミックス信号表現を生成するための装置２００について図２を参照して説明する。図２はこのような装置２００の概略ブロック図を示す。
【００７３】
ここで、図２の装置２００により受けとられる情報と生成される情報は、装置１００により受けとられる情報と生成される情報に類似するものであり、よって同一の情報を識別するために同一の参照数字が使用されている点は留意されたい。また、装置２００の手段の中には装置１００の手段と同一のものがあり、よって、このような同一又は同等の手段に関しては明細書本文全体を通じて同一の参照数字が使用される。
【００７４】
装置２００は、ダウンミックス信号表現１１０、オブジェクト関連パラメータ情報１１２、レンダリング情報１１４及び１つ以上の歪制限制御パラメータ１１６を受けとるように構成されている。また、装置２００は、例えば信号プロセッサ１３０を用いてアップミックス信号表現１２０を生成するように構成されている。
【００７５】
装置２００は歪制限器２４０を備えており、歪制限器２４０は歪制御スキーム２４２を用いる。歪制御スキーム２４２は、歪計算器／推定器２４２ａと、レンダリング情報修正器２４２ｂとを備えている。歪計算器／推定器２４２ａは、例えば、ダウンミックス信号表現１１０の少なくとも一部、オブジェクト関連パラメータ情報１１２の少なくとも一部及びレンダリング情報１１４を受けとるように構成されている。歪計算器／推定器２４２ａは、レンダリング情報１１４をダウンミックス信号表現１１０へ適用し、オブジェクト関連パラメータ情報１１２を考慮することにより、アップミックス信号表現１２０へ導入されるであろう歪の大きさを計算又は推定するように構成されている。レンダリング情報修正器２４２ｂは、レンダリング情報１１４に基づき、歪計算器／推定器２４２ａによる計算又は推定された歪情報を考慮して、調整されたレンダリングパラメータ１３２を生成するように構成されており、その結果、調整されたレンダリングパラメータ１３２は、アップミックス信号表現１２０を取得すべく信号プロセッサ１３０により使用される際に、元のレンダリング情報パラメータ１１４よりも歪を低減させる。
【００７６】
しかし、レンダリング情報修正器２４２ｂは歪制御スキーム調整パラメータを考慮することができる。歪制御スキーム調整パラメータは、歪制限制御パラメータ１１６に依存して歪制限器２４０により生成され、かつ調整されたレンダリングパラメータ１３２の生成に影響を与える
【００７７】
例えば、歪制御スキーム調整パラメータ（歪制限制御パラメータ１１６に基づいて取得されるか、又は歪制限制御パラメータ１１６と同一でもある。）は、例えば、歪の大きさが歪計算器／推定器２４２ａによってどのように計算又は推定されるかを示すことができる。例えば、歪制御スキーム調整パラメータは、歪の計算値又は推定値を得るために、異なる歪が如何にして遊離的に、又は互いに対して加重されるかを示すことができる。さらに、もしくは代替として、歪制御スキーム調整パラメータは、歪計算器／推定器２４２ａにより取得される歪の大きさが、調整されたレンダリングパラメータ１３２をレンダリング情報１１４に基づいて生成するのにどのように影響するかを決めることができる。
【００７８】
実施形態によっては、歪計算器／推定器２４２ａとレンダリング情報修正器２４２ｂが結合されて、調整されたレンダリングパラメータ１３２がアップミックス信号表現１２０にある程度（限定された程度）の歪をもたらすようにその調整されたレンダリングパラメータ１３２が生成されることもあるが、アップミックス信号表現１２０のその歪の程度は、歪制御スキーム調整パラメータによって左右（又は調整）することができる。
【００７９】
３．図３による、アップミックス信号表現を生成するための装置
【００８０】
以下、オーディオコンテンツのビットストリーム表現に含まれているダウンミックス信号表現１１０及び同ビットストリーム表現に含まれているオブジェクト関連パラメータ情報１１２に基づいて、かつレンダリング情報１１４に依存してアップミックス信号表現１２０を生成するための装置３００について、図３を参照して説明する。ここで、同一の参照数字が本明細書における実施形態の説明における同一又は同等の情報、手段及び機能を指すことに留意されたい。
【００８１】
装置３００は歪制限器３４０を備えている。歪制限器３４０は、歪制御スキーム３４２を使用するように構成され、そして、レンダリング情報１１４に依存して、かつ歪制限制御パラメータ１１６にも依存して調整されたアップミックスパラメータ１３２を生成するように構成されている。
【００８２】
歪制御スキーム３４２は、調整されたレンダリングパラメータ１３２を得るためにレンダリング情報１１４の値の数値範囲を制限するように構成されたレンダリング情報制限器３４２ａを備えている。レンダリング情報１１４の値の制限は歪制御スキーム調整パラメータに依存して実行することができる。歪制御スキーム調整パラメータは、歪制限器３４０により歪制限制御パラメータ１１６に依存して取得されるか、又は歪制限制御パラメータ１１６と同一でさえある。歪制御スキーム３４２は、場合により、基準値計算器３４２ｂを備えることができる。基準値計算器３４２ｂは、オブジェクト関連パラメータ情報１１２に依存して、かつ歪制限制御パラメータ１１６から導出されるか又は歪制限制御パラメータ１１６と同一である歪制御スキーム調整パラメータにも依存して制限基準値を生成するように構成することができる。ただし、歪制御スキーム調整パラメータにも依存することは、好ましいことではあるが、必須ではない。したがって、レンダリング情報制限器３４２は、場合により、調整されたレンダリングパラメータ１３２を得るプロセスにおいてレンダリング情報の値の数値範囲を限定するに当たって、基準値計算器３４２ｂにより生成される制限基準値を考慮することができる。
【００８３】
したがって、歪制限器３４０は、ユーザ指定のレンダリング情報であり得るレンダリング情報１１４の値から調整されたレンダリングパラメータ１３２を導出するように、レンダリング情報１１４の値の数値範囲の調整可能な制限を実施することができる。調整可能な制限は１つ以上の歪制限制御パラメータ１１６に依存して調整することができる。この場合、歪制限制御パラメータ１１６は、調整可能な制限の１つ以上の異なるパラメータ（最小値、最大値、基準値からの許容偏差、基準値計算モード、等）を決定することができる。
【００８４】
４．図４による、本発明によるビットストリーム信号化を用いるＳＡＯＣ歪制御
【００８５】
４．１ アーキテクチャ概要
【００８６】
以下、図４を参照して、本発明によるビットストリーム信号化を用いるＳＡＯＣ歪制御の概念について論じる。図４はＳＡＯＣ歪制御システム４００の概略ブロック図を示す。
【００８７】
ＳＡＯＣ歪制御システム４００は、ＳＡＯＣエンコーダ４１０と、ＳＡＯＣデコーダ／トランスコーダ４２０とを備えている。
【００８８】
ＳＡＯＣエンコーダ４１０は、複数のオーディオオブジェクト信号４１２ａ〜４１２Ｎを受けとり、かつこれらに基づいてダウンミックス信号４１４を生成するように構成されている。ダウンミックス信号４１４は、例えばダウンミックス信号表現１１０と同一であってもよく、また１チャネル信号又は例えば２チャネル信号等のマルチチャネル信号であってもよい。
【００８９】
ＳＡＯＣエンコーダ４１０は、例えばＳＡＯＣパラメータを含むオブジェクト関連パラメータ情報４１６を生成するようにも構成されている。ＳＡＯＣパラメータは、例えば、オーディオオブジェクト信号４１２ａ〜４１２Ｎの特性を記述することができる。例えば、ＳＡＯＣパラメータは、オーディオオブジェクト信号４１２ａ〜４１２Ｎによって表されるオーディオオブジェクトのオブジェクトレベル差（ＯＬＤ）を記述することができる。ＳＡＯＣパラメータは、オーディオオブジェクト信号４１２ａ〜４１２Ｎによって表されるオーディオオブジェクトのオブジェクト間相関ＩＯＣを記述することもできる。ＳＡＯＣパラメータはダウンミックスを特徴づけることもできる。ダウンミックスはオーディオオブジェクト信号４１２ａ〜４１２Ｎを線形結合してダウンミックス信号４１４を導出するために実行されるものである。例えば、ＳＡＯＣパラメータは、ダウンミックス利得ＤＭＧ及びダウンミックス・チャネル・レベル差ＤＣＬＤを記述することができる。ＳＡＯＣパラメータ４１６は、例えば、オブジェクト関連パラメータ情報１１２と同一であってもよい。
【００９０】
ＳＡＯＣエンコーダ４１０は１つ以上の歪制限器パラメータ４１８を生成することもできる。歪制限器パラメータ４１８は１つ以上の歪制限制御パラメータと考えることができ、また歪制限制御パラメータ１１６と同一であってもよい。
【００９１】
ダウンミックス信号表現４１４、ＳＡＯＣパラメータ４１６及び歪制限器パラメータ４１８は、ＳＡＯＣエンコーダ４１０からＳＡＯＣデコーダ及び／又はトランスコーダ４２０へ伝送される。
【００９２】
典型的には、ダウンミックス信号表現４１４（好ましくは符号化された形式）、ＳＡＯＣパラメータ４１６（典型的には符号化された形式）及び歪制限器パラメータ４１８（典型的には符号化された形式）は全て、オーディオコンテンツのビットストリーム表現に含まれている。言い替えれば、ＳＡＯＣエンコーダ４１０は、パラメータ４１４、４１６、４１８を含むビットストリームを生成する。
【００９３】
ＳＡＯＣデコーダ、ＳＡＯＣトランスコーダ又はＳＡＯＣデコーダ／トランスコーダ４２０は、ダウンミックス信号表現４１４、ＳＡＯＣパラメータ４１６及び１つ以上の歪制限器パラメータ４１８を受けとる。ＳＡＯＣデコーダ／トランスコーダ４２０は、例えば、図８によるＳＡＯＣデコーダ８２０の機能、図９ＡによるＳＡＯＣデコーダ９２０の機能、図９Ｂによる統合されたデコーダ及びミキサ９５０の機能、又は図９ＣのＳＡＯＣ−ＭＰＥＧサラウンドトランスコーダ９８０の機能を実行することができる。
【００９４】
しかし、ＳＡＯＣデコーダ／トランスコーダ４２０は、前記ＳＡＯＣデコーダ又はトランスコーダに加えて、歪制限器４２２を備えている。歪制限器４２２は、１つ以上の歪制限器パラメータ４１８を受けとりかつ評価するように構成されている。さらに、ＳＡＯＣデコーダ／トランスコーダ４２０は相互作用／制御情報４２４も受けとるように構成することができる。相互作用／制御情報４２４は、例えば希望するレンダリングパラメータのユーザによる選定を表す。ＳＡＯＣデコーダ／トランスコーダ４２０は、結果的に、アップミックス信号表現を、例えば複数の復号されたオーディオ信号チャネル４２８ａ〜４２８Ｍの形式で生成するように構成されている。
【００９５】
ＳＡＯＣデコーダ／トランスコーダ４２０は、ダウンミックス信号４１４からアップミックス信号表現４２８ａ〜４２８Ｍを導出するために利得係数又はレンダリングパラメータを適用するように構成されている。例えば、ＳＡＯＣデコーダ／トランスコーダ４２０は、ダウンミックス信号４１４（１チャネルダウンミックス信号であっても、２チャネルダウンミックス信号であってもよい）を表す信号成分（例えば、スペクトル領域値）を複数の対応する利得値（例えば、利得値の行列）で乗算して、ダウンミックス信号表現からオーディオチャネル信号４２８ａ〜４２８Ｍを導出するように構成することができる。例えば、オーディオチャネル信号４２８ａ〜４２８Ｍのうちの１つの表現を得るために、ダウンミックス信号表現４１４の２つ以上のチャネルの線形結合を形成することができる。さらに、もしくは代替として、１つ以上のダウンミックス信号４１４の表現をオーディオチャネル信号４２８ａ〜４２８Ｍへ移すために、レンダリングパラメータ・セットを応用することができる。この場合、レンダリングパラメータは、１つ以上のダウンミックス信号４１４の表現をオーディオチャネル信号４２８ａ〜４２８Ｍへ移すためのマッピングルールを計算するように使用することができる。例えば、レンダリングパラメータは、このようなマッピングルールを決定する際に線形係数として機能することができる。しかし、実施形態によっては、レンダリングパラメータの異なる応用も可能である。
【００９６】
４．２ 歪制限手法
【００９７】
以下に、歪を制限するための幾つかの手法について説明する。それらの手法は、ＳＡＯＣデコーダ／トランスコーダ４２０に適用することができ、またＳＡＯＣデコーダ又はトランスコーダ１００、２００、３００にも適用することができる。
【００９８】
歪制限は、ＳＡＯＣデコーダ／トランスコーダシステムにおけるパラメータの幾つかの値範囲を制限することによって達成することができる。ここで、パラメータとはシステムにおける係数、利得係数又は行列要素を指し、オーディオサンプルを直接表すものではないが、ＳＡＯＣにおいて数学的スキームによる出力オーディオサンプルに影響を与える。
【００９９】
特に興味深い点として可能性のあるものは、トランスコーディングパラメータ（すなわち、トランスコーディングマトリクス内の個々の要素）に制限を適用することである。トランスコーディングマトリクスはオブジェクトの数に伴って増えないことから、これは、計算上、効率的である。トランスコーディングマトリクスは、ダウンミックス信号表現のオーディオチャネル信号からアップミックス信号表現のオーディオチャネル信号へのマッピングを記述することができる。
【０１００】
例えば図２及び図７に示されているＳＡＯＣデコーダ／トランスコーダ内の歪制限器は、１つ以上の利得制限定数に基づいてそのパラメータ範囲の制限を実行する。制限を受けるパラメータは、オーディオサンプルへ適用されるべき利得係数とすることができる。そうすると、１つ以上の利得制限定数は、デシベル単位の利得レベル範囲として表すことができる。
【０１０１】
例えば、利得制限定数ｑ＝１０ｄＢは、
（otherwiseは「その他」の意味。）
に従って、パラメータｐの範囲を限定するために使用することができる。
【０１０２】
ここで、ｐ’は、（ｐに代わる）制限された新しいパラメータとして定義される。ｐ、ｐ’及びｑは共に、ここでは対数（デシベル）値として表されている。
【０１０３】
ここで、値ｐ’は、例えば調整されたアップミックスパラメータ１３２を表すことができること、及び値ｐはレンダリング情報に依存して得ることができることに留意されたい。値ｐ’の範囲の制限は例えば歪制御スキームによって実行することができ、歪制限器１４０はパラメータｑ（歪制御スキーム調整パラメータと考えることができる。）を歪制限制御パラメータ１１６に依存して調整することができる。ｐ’を得るための上述のルールは調整可能な歪制御スキームと考えることができ、歪制御スキーム調整パラメータｑに依存して調整されるものである。
【０１０４】
より高度なアプローチは、利得制限定数ｑに、そのパラメータの別の基準レベルからの最大許容偏差を定義させることである。この基準レベルは、例えば、（パラメータシーケンスは例えばＳＡＯＣフレーム毎に一度又は数回更新されるので、）パラメータシーケンスの平滑化／フィルタリング／平均化されたバージョン（時間軸に沿って平滑化／フィルタリング／平均化されたもの）から導出できるかもしれない。そうすると、制限は、
に従って定義することができる。
【０１０５】
ここで、ｐ”は（ｐに代わる）新しい、より高度な制限されたパラメータとして定義され、ｒはｐのパラメータシーケンスの平滑化／フィルタリング／平均化されたバージョン（時間軸に沿って平滑化／フィルタリング／平均化されたもの）として定義される。ｐ、ｐ”及びｑは共に、ここでは対数（デシベル）値として表されている。
【０１０６】
例えば、値ｐ”は、１つ以上の調整されたパラメータ１３２（例えば、調整されたトランスコーディングパラメータ又は調整されたレンダリングパラメータ）を表すことができる。値ｐは、例えばレンダリング情報１１４、及び場合により例えばダウンミックス信号表現１１０からの情報又はオブジェクト関連パラメータ情報１１２からの情報等の他の情報に依存して得ることができる。
【０１０７】
ｐ”を得るためのｐの値の制限は歪制御スキームによって実行することができ、パラメータｑは歪制限器１４０により歪制限制御パラメータ１１６に依存して調整することができる。さらに、ｐの値を平滑化してｒを得るために使用される平滑化／フィルタリング／平均時定数もまた、歪制限器１４０により１つ以上の歪制限制御パラメータに依存して調整することができる。
【０１０８】
別の制限方法はレンダリングマトリクスのみに作用するものである。レンダリングマトリクスは、ＳＡＯＣデコーダ／トランスコーダへの入力インタフェース（又は入力量）である。したがって、この方法は、ＳＡＯＣデコーダ／トランスコーダシステム内部の修正を必要としない。
【０１０９】
１つの単純な制限方法は、レンダリングマトリクス要素の範囲を制限すること（最小値と最大値を設定すること）である。
【０１１０】
他の制限方法は、レンダリングマトリクス基準に対するレンダリングマトリクス要素の修正を制限することである。レンダリングマトリクス基準は、例えば、出力が不変のダウンミックスとなるレンダリングマトリクスとすることができる。例えば、制限パラメータｑ＝１０ｄＢは、レンダリングマトリクス要素が所定の基準値から（又は、個々の基準値から）±１０ｄＢ（すなわち、１０(-10/20)以上で１０(10/20)以下の範囲）を超えて偏向することを防止する。
【０１１１】
レンダリングマトリクス内のパラメータ（行列要素）の範囲は、個々のオブジェクトで容易に異ならせることができる。これは、これらのオブジェクトがレンダリングマトリクス内で十分に分離されているためである。例えば、下記の制限範囲が許容されるかもしれない。
ドラムオブジェクト：±３ｄＢ
バスオブジェクト：±１０ｄＢ
メロトロンオブジェクト：±６ｄＢ
ギター１オブジェクト：±３ｄＢ
ギター２オブジェクト：±３ｄＢ
ボーカルオブジェクト：±０ｄＢ
フルートオブジェクト：±１２ｄＢ
【０１１２】
言い替えれば、個々のレンダリングパラメータの調整範囲は個々に、すなわちオブジェクト別に調整（設定）することができる。オブジェクト別の変動範囲は複数の歪制限制御パラメータ１１６から得ることができ、歪制限制御パラメータ１１６はオーディオコンテンツのビットストリーム表現に含まれ、オーディオコンテンツのビットストリーム表現からビットストリームパーサによって抽出される。したがって、オーディオエンコーダはオーディオデコーダ（例えば、装置１００、２００、３００、４２０）へ、オブジェクト別調整範囲に関する情報を効率的に転送することができる。オブジェクト別調整範囲のエンコーダ側での提供は、エンコーダ側でオブジェクトのタイプが高精度で認識されるという事実によって特別な優位点をもたらすので、エンコーダは、許容される調整範囲に関する高信頼情報の提供に最もよく適する。
【０１１３】
以下、本発明による柔軟な制限アプローチについて、さらに詳しく論じる。
【０１１４】
従来の概念による限界を克服するために、本発明は、歪制御スキームが状況毎に最適を実行するように導くデータを用いることを提案する。このデータ（すなわち、歪制御スキームを調整するためのデータ、例えば歪制限制御パラメータ）は、ＳＡＯＣエンコーダ側で設定することができ、後にＳＡＯＣデコーダ／トランスコーダ内の歪制御スキームに利用できるようにＳＡＯＣビットストリームに含まれて搬送される。これは、図４に示されている（また、図１、図２及び図３からも分かる）。
【０１１５】
搬送されるデータ（図４において「歪制限器パラメータ」と表示され、かつ図１、図２及び図３では歪制限制御パラメータ１１６として示されている）は、下記に関する情報を含むことができる。
【０１１６】
パラメータ制限値：
例えば、上述の例で説明されている利得制限定数ｑ、
例えば、レンダリングマトリクス要素の１つ又は複数の制限範囲（例えば、最小値と最大値）、
例えば、レンダリングマトリクス基準（例えば、出力が不変のダウンミックスとなるレンダリングマトリクス）に対するレンダリングマトリクス要素の１つ又は複数の制限範囲、
例えば、平滑化／フィルタリング／平均されたバージョンのパラメータから（制限されるべき）パラメータの基準レベルを導出するために使用される平滑化フィルタの時定数、
【０１１７】
特殊制限事例：
修正は全く許されない（ＳＡＯＣのレンダリング機能を一時的に無効化する）、
（ビットストリームから読み出される）レンダリングマトリクス・プリセットのみ許容される、
制限なし（ＳＡＯＣの歪制限器を一時的に無効化する）、
何らかの歪制御において論じられた音響心理学的歪の大きさモデルからの任意の歪制御制限パラメータ。
【０１１８】
上記を要約すると、１もしくは複数の利得係数又は１もしくは複数のレンダリングマトリクス要素の数値範囲を制限するために使用される利得制限定数ｑは、ＳＡＯＣビットストリームから抽出することができる。
【０１１９】
さらに、もしくは代替として、１つのレンダリングマトリクス要素の範囲を制限するか、又は複数のレンダリングマトリクス要素の範囲を制限する（例えば、オブジェクト別に）１つ以上のパラメータは、ＳＡＯＣビットストリームから抽出することが可能である。
【０１２０】
さらに、もしくは代替として、１つのレンダリングマトリクス要素の範囲をレンダリングマトリクス基準に対して制限するか、又は複数のレンダリングマトリクス要素の範囲をレンダリングマトリクス基準に対して制限する１つ以上のパラメータは、ＳＡＯＣビットストリームから抽出することが可能である。
【０１２１】
さらに、もしくは代替として、制限されるべきパラメータの基準レベルを導出するために使用される平滑化フィルタの時定数は、ＳＡＯＣビットストリームから抽出することが可能である。
【０１２２】
事例によっては、ビットストリームは、ＳＡＯＣレンダリング機能が無効化されるべきであることを示すパラメータ又はフラグを含むことができる。
【０１２３】
さらに、もしくは代替として、ＳＡＯＣビットストリームは、アップミックス信号表現を再現するために、ユーザインタフェースを介して入力されるユーザ提供のレンダリングマトリクスではなく、ＳＡＯＣビットストリームにより記述される予め設定されたレンダリングマトリクス又はビットストリームにより記述される複数の予め設定されたレンダリングマトリクスのうちの１つが使用されるべきであることを示すパラメータ又はフラグを含むことができる。したがって、オーディオデコーダ／トランスコーダがビットストリームパラメータ又はビットストリームフラグに基づいてこの状態を識別すれば、ユーザ定義のレンダリングマトリクスを設定するユーザの自由はオーディオデコーダ／トランスコーダによって一時的に無効にすることができる。
【０１２４】
或いは、又は追加的に、ＳＡＯＣビットストリームは、ＳＡＯＣ歪制限器が一時的に無効にされるべきであり、よって歪制限は存在しないことを示すフラグ又はパラメータを含むことができる。
【０１２５】
さらに、もしくは代替として、ＳＡＯＣビットストリームは、音響心理学的歪大きさモデルに基づいて歪制限を調整するためのパラメータを含むことができる。したがって、歪制限器は、音響心理学的歪モデルを基礎とする歪制御スキームをＳＡＯＣビットストリームから抽出されるパラメータに依存して調整することができる。例えば、歪制限器は、国際出願ＥＰ２０１０／０５５７１７号明細書（特許文献２）（及び米国特許出願第６１／１７３，４５６号明細書（特許文献１）も）に記述されている任意の歪制限スキームを、ＳＡＯＣビットストリームから抽出される歪制限制御パラメータに依存して調整することができる。
【０１２６】
４．３ 柔軟性のある制限アプローチの優位点
【０１２７】
上記で詳述したＳＡＯＣ歪制御スキームデータの本発明による信号化は、潜在的に、従来の歪制御アプローチによる全ての制限を解決することができる。
【０１２８】
従来の歪制御アプローチには柔軟性がないことに起因する制限があるが、本発明による実施形態ではそれらの制限を克服できることに留意されたい。本発明の実施形態を用いて克服されることが可能なこれらの制限のうちの幾つかは、下記の（Ａ）〜（Ｃ）の通りである。
【０１２９】
（Ａ）従来の歪制御における歪制御パラメータは、あらゆる状況に対して最適となるようには適応しない。
（オーディオ音質／サービス品質の観点から）最適である歪制御パラメータの選定は、例えば下記に依存する場合が多いことがわかっている。
コンテンツタイプ：音声、音楽（ロック／クラシック）、映画オーディオトラック、他。
低レベル信号特性：トランジェント、調波対雑音構成、スペクトルスロープ、動的微細構造（高速／遅速時間パワーエンベロープ）、他。
ＳＡＯＣ特性：ダウンミックス内に存在する制御可能オブジェクトの数、時間／周波数／ダウンミックスチャネルにおけるオブジェクトの分離／オーバーラップの程度、他。
システム特性：ダウンミックスのコーデックタイプ（ｍｐ３、ＡＡＣ、ＰＣＭ、他）及びビットレート（ダウンミックスにおける全体的なオーディオ音質及び歪を示す）、ダウンミックスにおけるパラメトリック符号化部分の存在（例えば、ＨＥ−ＡＡＣに包含されるようなＳＢＲ、参考文献［ＳＢＲ１］（非特許文献６参照。）、［ＳＢＲ２］（非特許文献７参照。）、又は参考文献［ＰＳ］（非特許文献８参照。）に記述されているようなパラメトリックステレオ）、チャネル構成（モノ、ステレオ、マルチチャネル）、オーディオ帯域幅、サンプリング速度、他。
【０１３０】
（Ｂ）歪制御パラメータは、ＳＡＯＣデコーダ側では通常元のオーディオオブジェクトを利用できないことに起因して不正確である。
元の（不連続）オーディオオブジェクトはクリーンで歪がなく、かつダウンミックスからパラメトリックに分解されていないことに起因して、歪制御パラメータの抽出は、元の（不連続）オーディオオブジェクトの分析によって恩恵を受け得ることがわかっている。しかし、これらの元のオブジェクトは、通常、ＳＡＯＣデコーダ側では利用できない。
【０１３１】
（Ｃ）従来のオーディオエンコーダには、デコーダ側の再現品質を確保する可能性がない。
ＳＡＯＣアプリケーションによっては、エンコーダ側から最低品質レベルを設定することが望ましいことがわかっている。よって、この最低品質レベルは、デコーダ側でのユーザ相互作用性（レンダリングマトリクス及び再生構造の選定）とは独立して達成されるように望まれることがわかっている。歪制御の中には、一定の品質レベルがＳＡＯＣデコーダ側へ設定されることを目的とするものがあるが、例えばアーティストの完全性、サービスプロバイダの評判／プロファイル、ユーザスキルに対する期待（ユーザインタフェース機能のレベルと使いやすさとの関係）に起因して、異なるサービス（例えば、テレビ会議、高品質音楽のダウンロード、放送の各アプリケーション）には異なる品質レベルを持たせることが望ましい可能性もある。
【０１３２】
本発明によるＳＡＯＣ歪制御スキームデータの（例えば、オーディオエンコーダからビットストリームを介してオーディオデコーダへの）信号化は、潜在的に、先に論じた全ての制限を解決することができる。例えば、ＳＡＯＣデコーダは、例えばテレビ会議アプリケーション、（オーディオブック又は放送における）対話制御アプリケーション、音楽リミックス（「ミュージック２．０」）アプリケーションに対して、異なる歪制限設定（例えば歪制限制御パラメータ１１６又は歪制限器パラメータ４１８によって記述される異なる品質／機能制限設定）を使用することができる。
【０１３３】
本発明は、歪制御プロセスを導くためにビットストリーム内の信号化を利用することにより、さらに強化された性能及び機能性の双方を提供する。
【０１３４】
５． 参考例
【０１３５】
以下、図７を参照してＳＡＯＣ歪制御の参考例について説明するが、その参考例は本発明による全ての優位点をもたらすわけではない。図７によるシステム７００はＳＡＯＣエンコーダ７１０とＳＡＯＣデコーダ／トランスコーダ７２０とを備えている。ＳＡＯＣエンコーダ７１０は、複数のオーディオオブジェクト信号７１２ａ〜７１２Ｎを受けとり、これらに基づいてダウンミックス信号７１４とＳＡＯＣパラメータ７１８を生成する。ＳＡＯＣデコーダ／トランスコーダ７２０は、ＳＡＯＣエンコーダ７１０からダウンミックス信号７１４（１チャネル信号又はマルチチャネル信号となる。）と、ＳＡＯＣパラメータ７１８とを受けとる。ＳＡＯＣデコーダ／トランスコーダ７２０は、これらに基づいて、複数のオーディオ信号チャネル７２８ａ〜７２８Ｍを生成する。この目的に沿って、ＳＡＯＣデコーダ／トランスコーダ７２０は、歪制限器７２２を使用し、例えばユーザインタフェースから受けとる相互作用情報又は制御情報７２４を考慮することができる。
【０１３６】
しかし、図７によるシステム７００は、典型的には、事例によっては可聴歪を引き起こす。
【０１３７】
６． マルチチャネルオーディオ信号を表現するビットストリームを生成するための図５による装置
【０１３８】
以下、マルチチャネルオーディオ信号のビットストリーム表現を生成するための装置について図５を参照して説明する。図５はこのような装置５００の概略ブロック図を示す。
【０１３９】
装置５００は、複数のオーディオオブジェクト信号５１０ａ〜５１０Ｎを受けとるように構成されている。また、装置５００は、マルチチャネルオーディオ信号を表すビットストリーム５２０を生成するようにも構成されている。
【０１４０】
装置５００はダウンミキサ５３０を備えている。ダウンミキサ５３０は複数のオーディオオブジェクト信号５１０ａ〜５１０Ｎに基づいてダウンミックス信号５３２を生成するように構成されている。装置５００はサイド情報生成器５４０も備えている。サイド情報生成器５４０は、オーディオオブジェクト信号５１０ａ〜５１０Ｎ及びダウンミキサ５３０により使用されるダウンミックスパラメータの特性を記述するオブジェクト関連パラメトリックなサイド情報５４２を生成するように構成されている。サイド情報生成器は、アップミックス信号表現を生成する装置側で歪制御スキームの適用を制御するための１つ以上の歪制限制御パラメータ５４４も生成するように構成されている。装置５００はビットストリームフォーマッタ５５０も備えている。ビットストリームフォーマッタ５５０は、ダウンミックス信号５３２の表現、オブジェクト関連パラメトリックなサイド情報５４２及び１つ以上の歪制限制御パラメータ５４４を含むビットストリーム５２０を生成するように構成されている。
【０１４１】
したがって、装置５００は、装置１００、２００、３００における歪制御スキーム１４２、２４２、３４２及び装置４２０における歪制限器４２２を調整するために必要な情報を含むビットストリーム５２０を生成する。
【０１４２】
サイド情報生成器５４０は、オーディオオブジェクト信号５１０ａ〜５１０Ｎのオーディオオブジェクト特性に依存して歪制限制御パラメータ５４４を生成するように構成することができる。例えば、サイド情報生成器は、オーディオオブジェクト信号５１０ａ〜５１０Ｎに基づいて取得されるか、又は（例えば、ユーザインタフェースを介して入力される）サイド情報を用いて与えられるコンテンツタイプ情報に依存して歪制限制御パラメータ５４４を生成することができる。
【０１４３】
さらに、もしくは代替として、サイド情報生成器５４０は、１つ以上のオーディオオブジェクト信号５１０ａ〜５１０Ｎの低レベル特性に依存して歪制限制御パラメータを生成することができる。低レベル特性とは、例えばトランジェントに関する情報、調波対雑音構成に関する情報、スペクトルスロープに関する情報、動的微細構造に関する情報などである。
【０１４４】
さらに、もしくは代替として、サイド情報生成器５４０は歪制限制御パラメータを、ダウンミックス信号５３２内に存在する幾つかの制御可能オブジェクトのようなＳＡＯＣ特性に依存して、又はダウンミックスにおけるパラメトリック符号化部分の存在に依存して、又はチャネル構成に依存して、又はオーディオ帯域幅に依存して、又はサンプリング速度に依存して生成することができる。
【０１４５】
サイド情報生成器５４０は、歪制限制御パラメータ５４４を生成するために元の（「不連続」な）オーディオオブジェクト（又はオーディオオブジェクト信号５１０ａ〜５１０Ｎ）を分析することから恩恵を受ける場合がある。サイド情報生成器５４０は、例えば、ビットストリーム５２０によって表されるオーディオ信号の再現の最低品質レベルを可変的に設定するように歪制限制御パラメータを調整することができる。
【０１４６】
要約すると、マルチチャネルオーディオ信号のビットストリーム表現を生成するための装置５００は、ビットストリーム５２０が１つ以上の歪制限制御パラメータ５４４を含み、結果として再現の品質を調整できるように、ビットストリーム５２０を生成することができる。この目的に沿って、歪制限制御パラメータ５４４を設定するに当たって、オーディオオブジェクト信号５１０ａ〜５１０Ｎの特性を考慮することができ、かつ追加的なサイド情報又はユーザインタフェースからのユーザ入力も考慮することができる。
【０１４７】
７． ビットストリーム
【０１４８】
以下、マルチチャネルオーディオ信号を表すビットストリーム６００について説明する。
【０１４９】
ビットストリーム６００は、ダウンミックス信号の表現６１０（例えば、ダウンミックス信号５３２の表現、これは、ダウンミックス信号表現１１０、４１４と同一であってもよい）を含む。またビットストリーム６００はオブジェクト関連パラメトリックなサイド情報６２０も含む。サイド情報６２０はＳＡＯＣサイド情報であってもよい。オブジェクト関連パラメトリックなサイド情報６２０は、例えば、オブジェクトレベル差情報６２２と、オブジェクト間相関情報６２４と、ダウンミックス利得情報６２６と、ダウンミックス・チャネル・レベル差情報６２８とを含むことができる。このサイド情報６２０は空間オーディオオブジェクト符号化（ＳＡＯＣ）の分野では周知である。ビットストリーム６００は、先に述べたように、１つ以上の歪制限制御パラメータ６３０も含む。
【０１５０】
本発明による歪制御スキームデータ（すなわち、歪制限制御パラメータ６３０、１１６、４１８）は、ＳＡＯＣビットストリームのヘッダ（例えば、「ＳＡＯＣＳｐｅｃｉｆｉｃＣｏｎｆｉｇ（）」と名付けられるＳＡＯＣビットストリームのＳＡＯＣ固有の構成部分）において最小のデータレート負担で伝送できることに留意されたい。しかし、本発明による歪制御スキームデータは、時変信号化（例えば、信号適応制御）を有効にするために、ペイロードデータ（例えば、典型的には「ＳＡＯＣＦｒａｍｅ（）」と呼ばれるＳＡＯＣフレームデータ）において伝送することも可能である。
【０１５１】
典型的には、但し必須ではないが、歪制御スキームデータを配置する適切な場所は、ＳＡＯＣビットストリームにおいて拡張機構を使用していることが可能である。すなわち、実施形態によっては、歪制御スキームデータ（又は歪制御スキームデータの少なくとも一部）は、ヘッダの代わりに「ＳＡＯＣＥｘｔｅｎｓｉｏｎＣｏｎｆｉｇ（）」と呼ばれる構文セクションへ、ペイロードの代わりに「ＳＡＯＣＥｘｔｅｎｓｉｏｎＦｒａｍｅ（）」と呼ばれる構文セクションへそれぞれ置くことが可能である。
【０１５２】
言い替えれば、実施形態によっては、歪制御スキームデータはＳＡＯＣヘッダに含むことが可能であって、ＳＡＯＣヘッダは、典型的にはビットストリーム内でオーディオピース当たり一度包含される。さらに、もしくは代替として、歪制御スキームデータは、ＳＡＯＣビットストリームのフレームデータ内に含むことが可能である。したがって、歪制御スキームデータは、オーディオフレーム当たり一度伝送してもよい。ＳＡＯＣコンフィギュレーションを含むＳＡＯＣヘッダ内のフラグが、２つのソリューション（ヘッダ内に限定される歪制御スキームデータ、又はオーディオフレーム・データ内の歪制御スキームデータ）のどちらが適用されるかを示してもよい。
【０１５３】
また、実施形態によっては、歪制御スキームデータはオーディオフレームのうちの幾つかにのみ含まれてもよく、この場合、どのオーディオフレームが歪制御スキームデータを含むかをパラメータ又はフラグを用いて信号化してもよい。したがって、ＳＡＯＣ歪制御スキームデータは、（１つのＳＡＯＣコンフィギュレーション部分が関連づけられる）１つのオーディオピース内で不規則な時間間隔で転送されることが可能である。
【０１５４】
８．変形実施例
【０１５５】
以上、幾つかの態様を装置の文脈で説明したが、これらの態様は対応する方法を記述するものでもあることは明らかであり、その場合、ブロック又はデバイスが方法ステップ又は方法ステップの特徴に対応する。同様に、方法ステップの文脈で説明される態様も、対応するブロックもしくは項目、又は対応する装置の特徴の説明を表す。これらの方法ステップのうちの幾つか又は全ては、例えばマイクロプロセッサ、プログラマブルコンピュータ又は電子回路のようなハードウェア装置によって（又はこれを使用して）実行することができる。実施形態によっては、最も重要な方法ステップのうちのどれか１つ又は複数の方法ステップがこのような装置によって実行することができる。
【０１５６】
本発明による符号化されたオーディオ信号は、デジタル記憶媒体に蓄積することができ、又は無線伝送媒体等の伝送媒体もしくはインターネット等の有線伝送媒体で伝送することができる。
【０１５７】
所定の実施要請に依存して、本発明の実施形態はハードウェア又はソフトウェアで実施することができる。実施は電子的に読取り可能な制御信号を蓄積しているデジタル記憶媒体、例えばフロッピーディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ又はフラッシュメモリ、を用いて実行することができ、それらのデジタル記憶媒体は個々の方法が実行されるようにプログラム可能コンピュータシステムと協働する（又は協働することができる）。したがって、デジタル記憶媒体はコンピュータ読取り可能とすることができる。
【０１５８】
本発明による幾つかの実施形態は、電子的に読取り可能な制御信号を有するデータキャリアを含んでいる。そのデータキャリアはプログラム可能コンピュータシステムと協働できるので、本明細書に記載されている方法のうちの１つが実行される。
【０１５９】
概して、本発明の実施形態は、プログラムコードを有するコンピュータ・プログラム製品として実施することができ、前記プログラムコードは、このコンピュータ・プログラム製品がコンピュータ上で実行されると本発明の方法のうちの１つを実行するように作動する。プログラムコードは、例えば機械読取り可能キャリアに蓄積することができる。
【０１６０】
他の実施形態は、機械読取り可能キャリアに蓄積された、本明細書に記載されている本発明方法のうちの１つを実行するためのコンピュータプログラムを含む。
【０１６１】
したがって、換言すれば、本発明方法の一実施形態は、コンピュータプログラムがコンピュータ上で実行されると本明細書に記載されている本発明方法のうちの１つを実行するためのプログラムコードを有するコンピュータプログラムである。
【０１６２】
したがって、本発明方法のさらなる実施形態は、本明細書に記述されている本発明方法のうちの１つを実行するためのコンピュータプログラムを記録して備えているデータキャリア（又はデジタル記憶媒体又はコンピュータ読取り可能媒体）である。データキャリア、デジタル記憶媒体又は記録媒体は、典型的には有形及び／又は非遷移性（non-transitionary）である。
【０１６３】
したがって、本発明方法のさらなる実施形態は、本明細書に記載されている本発明方法のうちの１つを実行するためのコンピュータプログラムを表すデータストリーム又は信号シーケンスである。データストリーム又は信号シーケンスは、例えば、データ通信接続を介して、例えばインターネットを介して転送されるように構成することができる。
【０１６４】
さらなる実施形態は、本明細書に記載されている本発明方法のうちの１つを実行するように構成されているか又は適合化される、例えばコンピュータである処理手段又はプログラマブル論理デバイスを含む。
【０１６５】
さらなる実施形態は、本明細書に記載されている本発明方法のうちの１つを実行するためのコンピュータプログラムをインストールしているコンピュータを含む。
【０１６６】
実施形態によっては、本明細書に記載されている本発明方法の機能の幾つか又は全てを実行するために、プログラマブル論理デバイス（例えば、フィールド・プログラマブル・ゲートアレイ）を用いることができる。実施形態によっては、フィールド・プログラマブル・ゲートアレイは、本明細書に記載されている本発明方法のうちの１つを実行するためにマイクロプロセッサと協働することができる。概して、これらの方法は、好ましくは任意のハードウェア装置によって実行される。
【０１６７】
これまでに述べた実施形態は、単に本発明の原理を例示するものである。当業者には、本明細書に記載されている装置及び詳細の修正及び変形が明らかであることは理解される。したがって、本発明は、本明細書における実施形態の記述及び説明によって提示された特定の詳細ではなく、添付の特許請求の範囲によってのみ限定されるべきものである。
【０１６８】
９． 結論
【０１６９】
以上を要約すると、本発明による実施形態は、ＭＰＥＧ空間オーディオオブジェクト符号化ＳＡＯＣにおいて歪制御信号化を創出する。
【０１７０】
本発明による実施形態は、歪制御プロセスを導くためにビットストリーム内の信号化を利用することにより、さらに強化された性能及び機能性の双方を提供する。
【０１７１】
本発明による好適な実施形態は、これまでに論じたようなオーディオ信号を符号化又は復号するための方法、装置又はコンピュータプログラムを含む。本発明によるさらなる実施形態は、これまでに論じたように発生されるか、又はこれまでに論じたようにデコーダもしくは復号方法によって使用される符号化された信号を含む。
【特許請求の範囲】
【請求項１】
オーディオコンテンツのビットストリーム表現に含まれているダウンミックス信号表現（１１０、４１４）及び同ビットストリーム表現に含まれているオブジェクト関連パラメータ情報（１１２；４１６）に基づいて、かつレンダリング情報（１１４；４２４）に依存してアップミックス信号表現（１２０；４２８ａ〜４２８Ｍ）を生成するための装置（１００；２００；３００；４００）であって、
レンダリングパラメータ（１１４；４２４）の不適切な選定により生じる可聴歪を回避するか又は制限するために、歪制御スキーム（１４２）を用いてアップミックスパラメータを調整するように構成された歪制限器（１４０；２４０；３４０；４２２）を備え、
前記歪制限器は、前記オーディオコンテンツの前記ビットストリーム表現に含まれている歪制限制御パラメータ（１１６；４１８；ｑ）を取得し、かつ前記歪制限制御パラメータに依存して前記歪制御スキームを調整するように構成されているアップミックス信号表現生成装置（１００；２００；３００；４００）。
【請求項２】
該アップミックス信号表現生成装置は、所望されるレンダリングマトリクス情報（１１４；４２４）を入力インタフェースから受けとるように構成され、
前記歪制限器（１４０；２４０；３４０；４２２）は、前記所望されるレンダリングマトリクス情報及び前記１つ以上の歪制限制御パラメータ（１１６；４１８；ｑ）に依存して修正されたレンダリングマトリクス情報（１３２；ｐ’；ｐ”）を得るように構成され、
該アップミックス信号表現生成装置は、前記修正されたレンダリングマトリクス情報に依存して前記アップミックス信号表現（１２０；４２８ａ〜４２８Ｍ）を生成するように構成されている請求項１に記載のアップミックス信号表現生成装置（１００；２００；３００；４００）。
【請求項３】
前記歪制限器は、前記オーディオコンテンツの前記ビットストリーム表現に含まれ、かつレンダリングマトリクス要素の最小値及び最大値を記述する１つ以上のレンダリングマトリクス限界値（ｒ，ｑ）を取得するように、かつ前記所望されるレンダリングマトリクス情報に依存して前記修正されたレンダリングマトリクス情報を得るに当たって、前記修正されたレンダリングマトリクス情報（１３２；ｐ’；ｐ”）の１つ以上のエントリを前記１つ以上のレンダリングマトリクス限界値（ｒ，ｑ）に従って制限するように構成されている請求項２に記載のアップミックス信号表現生成装置（１００；２００；３００；４００）。
【請求項４】
前記歪制限器は、前記所望されるレンダリングマトリクス情報（１１４；４２４）、基準レンダリングマトリクス情報（ｒ）及び前記１つ以上の歪制限制御パラメータ（ｑ）に依存して前記修正されたレンダリングマトリクス情報（１３２；ｐ’；ｐ”）を得るように構成されている請求項２又は３に記載のアップミックス信号表現生成装置（１００；２００；３００；４００）。
【請求項５】
前記歪制限器は、前記１つ以上のレンダリングマトリクス限界値（ｑ）に従って、前記修正されたレンダリングマトリクス（１３２）の１つ以上のエントリ（ｐ’，ｐ”）を前記基準レンダリングマトリクス情報（ｒ）に対して制限するように構成されている請求項４に記載のアップミックス信号表現生成装置（１００；２００；３００；４００）。
【請求項６】
前記歪制限器は、前記所望されるレンダリングマトリクス情報に依存して前記修正されたレンダリングマトリクス情報を得るために、オブジェクト別の歪制限制御パラメータ（ｑ）を適用するように構成されている請求項２から５までのいずれか一項に記載のアップミックス信号表現生成装置（１００；２００；３００；４００）。
【請求項７】
該アップミックス信号表現生成装置は、利得係数に依存して前記アップミックス信号表現（１２０；４２８ａ〜４２８Ｍ）を生成するために、１つ以上の修正された利得係数（ｐ’，ｐ”）を前記ダウンミックス信号表現（１１０，４１４）のオーディオサンプルへ、又は前記ダウンミックス信号により記述されたオーディオオブジェクトに関連づけられたオブジェクト関連サイド情報へ適用するように構成され、
前記歪制限器は、１つ以上の所望される利得係数（ｐ）及び前記１つ以上の歪制限制御パラメータ（１１６；４１８；ｑ）に依存して前記１つ以上の修正された利得係数（ｐ’，ｐ”）を得るように構成されている請求項１から６までのいずれか一項に記載のアップミックス信号表現生成装置（１００；２００；３００；４００）。
【請求項８】
前記歪制限器は、時定数を有する平滑化フィルタを用いて制限されるべき利得係数の基準レベル（ｒ）を導出するように構成され、
前記歪制限器は、前記所定の係数を制限するために前記基準レベル（ｒ）を用いるように構成され、
前記歪制限器は、前記オーディオコンテンツの前記ビットストリーム表現に含まれている時定数パラメータを取得し、かつ前記時定数パラメータに依存して前記平滑化フィルタの時定数を調整するように構成されている請求項１から７までのいずれか一項に記載のアップミックス信号表現生成装置（１００；２００；３００；４００）。
【請求項９】
前記歪制限器は、前記オーディオコンテンツの前記ビットストリーム表現に含まれている歪制御起動パラメータを得るように、かつ前記歪制御起動パラメータに依存して前記歪制御スキームを有効化又は無効化するように構成されている請求項１から８までのいずれか一項に記載のアップミックス信号表現生成装置（１００；２００；３００；４００）。
【請求項１０】
前記歪制限器は、前記オーディオコンテンツの前記ビットストリーム表現に含まれている予め設定されたレンダリングマトリクス起動パラメータを得るように構成され、かつ、
前記歪制限器は、前記予め設定されたレンダリングマトリクス起動パラメータの活性状態に応答して、前記ダウンミックス信号表現に基づいて前記アップミックス信号表現を生成するために、ユーザ指定のレンダリングマトリクス情報ではなく、前記オーディオコンテンツの前記ビットストリーム表現に含まれている予め設定されたレンダリングマトリクス情報が使用されるように構成されている請求項１から９までのいずれか一項に記載のアップミックス信号表現生成装置（１００；２００；３００；４００）。
【請求項１１】
前記歪制限器は、前記オーディオコンテンツの前記ビットストリーム表現に含まれている音響心理学的歪制限パラメータを得るように構成され、
前記歪制限器は、音響心理学的歪モデルに依存して１つ以上のアップミックスパラメータを調整するように構成され、その結果、前記ダウンミックス信号表現から前記アップミックス信号表現を導出することによって生じる歪の大きさが制限され、
前記歪制限器は、前記１つ以上のアップミックスパラメータを調整するために使用される１つ以上のパラメータを前記音響心理学的歪モデルに依存して設定するように、又は前記音響心理学的歪モデルの１つ以上のパラメータを前記音響心理学的歪制限パラメータに依存して設定するように構成されている請求項１から１０までのいずれか一項に記載のアップミックス信号表現生成装置（１００；２００；３００；４００）。
【請求項１２】
前記歪制限器は、時変性の歪制御スキームを達成するために、オーディオフレーム毎に一度、更新された歪制限制御パラメータを得るように構成されている請求項１から１１までのいずれか一項に記載のアップミックス信号表現生成装置（１００；２００；３００；４００）。
【請求項１３】
前記歪制限器は、前記オーディオコンテンツの前記ビットストリーム表現のコンフィギュレーション部分内の動的な更新フラグを評価するように構成され、
前記歪制限器は、前記動的な更新フラグが不活性であれば、前記歪制限制御パラメータを取得するように前記オーディオコンテンツの前記ビットストリーム表現の前記コンフィギュレーション部分を評価し、前記動的な更新フラグが活性であれば、前記歪制限制御パラメータの更新を繰り返し取得するように前記オーディオコンテンツの前記ビットストリーム表現のフレーム部分を評価するように構成されている請求項１から１１までのいずれか一項に記載のアップミックス信号表現生成装置（１００；２００；３００；４００）。
【請求項１４】
前記歪制限器は、前記オーディオコンテンツの前記ビットストリーム表現のフレーム部分における歪制限制御パラメータの存在を示すフラグに依存して前記歪制限制御パラメータを選択的に更新するように構成されており、その結果、前記歪制限制御パラメータの更新間隔が前記オーディオコンテンツの前記ビットストリーム表現により動的に決定される請求項１３に記載のアップミックス信号表現生成装置（１００；２００；３００；４００）。
【請求項１５】
マルチチャネルオーディオ信号を表現するビットストリーム（５２０）を生成するための装置（５００）であって、
複数のオーディオオブジェクト信号（５１０ａ〜５１０Ｎ）に基づいてダウンミックス信号（５３２）を生成するように構成されているダウンミキサ（５３０）と、
前記オーディオオブジェクト信号（５１０ａ〜５１０Ｎ）及びダウンミックスパラメータの特性を記述するオブジェクト関連パラメトリックなサイド情報（５４２）、及びアップミックス信号表現を生成する装置（１００；２００；３００；４００）側で歪制御スキームの適用を制御するための１つ以上の歪制限制御パラメータ（５４４）を生成するように構成されているサイド情報生成器（５４０）と、
前記ダウンミックス信号（５３２）の表現、前記オブジェクト関連パラメトリックなサイド情報（５４２）及び前記１つ以上の歪制限制御パラメータ（５４４）を含むビットストリーム（５２０）を生成するように構成されているビットストリームフォーマッタ（５５０）と、
を備えているビットストリーム生成装置（５００）。
【請求項１６】
オーディオコンテンツのビットストリーム表現に含まれているダウンミックス信号表現及び同ビットストリーム表現に含まれているオブジェクト関連パラメータ情報に基づいて、及びレンダリング情報に依存してアップミックス信号表現を生成するための方法であって、
レンダリングパラメータの不適切な選定により生じる可聴歪を回避するか又は制限するために、歪制御スキームを用いてアップミックスパラメータを調整することを含み、
前記オーディオコンテンツの前記ビットストリーム表現に含まれている歪制限制御パラメータが取得され、前記歪制御スキームは前記歪制限制御パラメータに依存して調整されるアップミックス信号表現生成方法。
【請求項１７】
マルチチャネルオーディオ信号を表すビットストリームを生成するための方法であって、
複数のオーディオオブジェクト信号に基づいてダウンミックス信号を導出することと、
前記オーディオオブジェクト信号及びダウンミックスパラメータの特性を記述するオブジェクト関連パラメトリックなサイド情報を生成することと、
アップミックス信号表現を生成する装置側で歪制御スキームの適用を制御するための１つ以上の歪制限制御パラメータを生成することと、
前記ダウンミックス信号の表現、前記オブジェクト関連パラメトリックなサイド情報及び前記１つ以上の歪制限制御パラメータを含むビットストリームを生成することと、
を含むビットストリーム生成方法。
【請求項１８】
コンピュータ上でコンピュータプログラムが実行されると請求項１６又は１７に記載の方法を実行するためのコンピュータプログラム。
【請求項１９】
マルチチャネルオーディオ信号を表すビットストリームであって、
複数のオーディオオブジェクトのオーディオ信号を結合するダウンミックス信号の表現と、
前記オーディオオブジェクトの特性を記述するオブジェクト関連パラメトリックなサイド情報と、
アップミックス信号表現を生成する装置側での歪制御スキームの適用を制御するための１つ以上の歪制限制御パラメータと、
を含むビットストリーム。
【請求項１】
オーディオコンテンツのビットストリーム表現に含まれているダウンミックス信号表現（１１０、４１４）及び同ビットストリーム表現に含まれているオブジェクト関連パラメータ情報（１１２；４１６）に基づいて、かつレンダリング情報（１１４；４２４）に依存してアップミックス信号表現（１２０；４２８ａ〜４２８Ｍ）を生成するための装置（１００；２００；３００；４００）であって、
レンダリングパラメータ（１１４；４２４）の不適切な選定により生じる可聴歪を回避するか又は制限するために、歪制御スキーム（１４２）を用いてアップミックスパラメータを調整するように構成された歪制限器（１４０；２４０；３４０；４２２）を備え、
前記歪制限器は、前記オーディオコンテンツの前記ビットストリーム表現に含まれている歪制限制御パラメータ（１１６；４１８；ｑ）を取得し、かつ前記歪制限制御パラメータに依存して前記歪制御スキームを調整するように構成されているアップミックス信号表現生成装置（１００；２００；３００；４００）。
【請求項２】
該アップミックス信号表現生成装置は、所望されるレンダリングマトリクス情報（１１４；４２４）を入力インタフェースから受けとるように構成され、
前記歪制限器（１４０；２４０；３４０；４２２）は、前記所望されるレンダリングマトリクス情報及び前記１つ以上の歪制限制御パラメータ（１１６；４１８；ｑ）に依存して修正されたレンダリングマトリクス情報（１３２；ｐ’；ｐ”）を得るように構成され、
該アップミックス信号表現生成装置は、前記修正されたレンダリングマトリクス情報に依存して前記アップミックス信号表現（１２０；４２８ａ〜４２８Ｍ）を生成するように構成されている請求項１に記載のアップミックス信号表現生成装置（１００；２００；３００；４００）。
【請求項３】
前記歪制限器は、前記オーディオコンテンツの前記ビットストリーム表現に含まれ、かつレンダリングマトリクス要素の最小値及び最大値を記述する１つ以上のレンダリングマトリクス限界値（ｒ，ｑ）を取得するように、かつ前記所望されるレンダリングマトリクス情報に依存して前記修正されたレンダリングマトリクス情報を得るに当たって、前記修正されたレンダリングマトリクス情報（１３２；ｐ’；ｐ”）の１つ以上のエントリを前記１つ以上のレンダリングマトリクス限界値（ｒ，ｑ）に従って制限するように構成されている請求項２に記載のアップミックス信号表現生成装置（１００；２００；３００；４００）。
【請求項４】
前記歪制限器は、前記所望されるレンダリングマトリクス情報（１１４；４２４）、基準レンダリングマトリクス情報（ｒ）及び前記１つ以上の歪制限制御パラメータ（ｑ）に依存して前記修正されたレンダリングマトリクス情報（１３２；ｐ’；ｐ”）を得るように構成されている請求項２又は３に記載のアップミックス信号表現生成装置（１００；２００；３００；４００）。
【請求項５】
前記歪制限器は、前記１つ以上のレンダリングマトリクス限界値（ｑ）に従って、前記修正されたレンダリングマトリクス（１３２）の１つ以上のエントリ（ｐ’，ｐ”）を前記基準レンダリングマトリクス情報（ｒ）に対して制限するように構成されている請求項４に記載のアップミックス信号表現生成装置（１００；２００；３００；４００）。
【請求項６】
前記歪制限器は、前記所望されるレンダリングマトリクス情報に依存して前記修正されたレンダリングマトリクス情報を得るために、オブジェクト別の歪制限制御パラメータ（ｑ）を適用するように構成されている請求項２から５までのいずれか一項に記載のアップミックス信号表現生成装置（１００；２００；３００；４００）。
【請求項７】
該アップミックス信号表現生成装置は、利得係数に依存して前記アップミックス信号表現（１２０；４２８ａ〜４２８Ｍ）を生成するために、１つ以上の修正された利得係数（ｐ’，ｐ”）を前記ダウンミックス信号表現（１１０，４１４）のオーディオサンプルへ、又は前記ダウンミックス信号により記述されたオーディオオブジェクトに関連づけられたオブジェクト関連サイド情報へ適用するように構成され、
前記歪制限器は、１つ以上の所望される利得係数（ｐ）及び前記１つ以上の歪制限制御パラメータ（１１６；４１８；ｑ）に依存して前記１つ以上の修正された利得係数（ｐ’，ｐ”）を得るように構成されている請求項１から６までのいずれか一項に記載のアップミックス信号表現生成装置（１００；２００；３００；４００）。
【請求項８】
前記歪制限器は、時定数を有する平滑化フィルタを用いて制限されるべき利得係数の基準レベル（ｒ）を導出するように構成され、
前記歪制限器は、前記所定の係数を制限するために前記基準レベル（ｒ）を用いるように構成され、
前記歪制限器は、前記オーディオコンテンツの前記ビットストリーム表現に含まれている時定数パラメータを取得し、かつ前記時定数パラメータに依存して前記平滑化フィルタの時定数を調整するように構成されている請求項１から７までのいずれか一項に記載のアップミックス信号表現生成装置（１００；２００；３００；４００）。
【請求項９】
前記歪制限器は、前記オーディオコンテンツの前記ビットストリーム表現に含まれている歪制御起動パラメータを得るように、かつ前記歪制御起動パラメータに依存して前記歪制御スキームを有効化又は無効化するように構成されている請求項１から８までのいずれか一項に記載のアップミックス信号表現生成装置（１００；２００；３００；４００）。
【請求項１０】
前記歪制限器は、前記オーディオコンテンツの前記ビットストリーム表現に含まれている予め設定されたレンダリングマトリクス起動パラメータを得るように構成され、かつ、
前記歪制限器は、前記予め設定されたレンダリングマトリクス起動パラメータの活性状態に応答して、前記ダウンミックス信号表現に基づいて前記アップミックス信号表現を生成するために、ユーザ指定のレンダリングマトリクス情報ではなく、前記オーディオコンテンツの前記ビットストリーム表現に含まれている予め設定されたレンダリングマトリクス情報が使用されるように構成されている請求項１から９までのいずれか一項に記載のアップミックス信号表現生成装置（１００；２００；３００；４００）。
【請求項１１】
前記歪制限器は、前記オーディオコンテンツの前記ビットストリーム表現に含まれている音響心理学的歪制限パラメータを得るように構成され、
前記歪制限器は、音響心理学的歪モデルに依存して１つ以上のアップミックスパラメータを調整するように構成され、その結果、前記ダウンミックス信号表現から前記アップミックス信号表現を導出することによって生じる歪の大きさが制限され、
前記歪制限器は、前記１つ以上のアップミックスパラメータを調整するために使用される１つ以上のパラメータを前記音響心理学的歪モデルに依存して設定するように、又は前記音響心理学的歪モデルの１つ以上のパラメータを前記音響心理学的歪制限パラメータに依存して設定するように構成されている請求項１から１０までのいずれか一項に記載のアップミックス信号表現生成装置（１００；２００；３００；４００）。
【請求項１２】
前記歪制限器は、時変性の歪制御スキームを達成するために、オーディオフレーム毎に一度、更新された歪制限制御パラメータを得るように構成されている請求項１から１１までのいずれか一項に記載のアップミックス信号表現生成装置（１００；２００；３００；４００）。
【請求項１３】
前記歪制限器は、前記オーディオコンテンツの前記ビットストリーム表現のコンフィギュレーション部分内の動的な更新フラグを評価するように構成され、
前記歪制限器は、前記動的な更新フラグが不活性であれば、前記歪制限制御パラメータを取得するように前記オーディオコンテンツの前記ビットストリーム表現の前記コンフィギュレーション部分を評価し、前記動的な更新フラグが活性であれば、前記歪制限制御パラメータの更新を繰り返し取得するように前記オーディオコンテンツの前記ビットストリーム表現のフレーム部分を評価するように構成されている請求項１から１１までのいずれか一項に記載のアップミックス信号表現生成装置（１００；２００；３００；４００）。
【請求項１４】
前記歪制限器は、前記オーディオコンテンツの前記ビットストリーム表現のフレーム部分における歪制限制御パラメータの存在を示すフラグに依存して前記歪制限制御パラメータを選択的に更新するように構成されており、その結果、前記歪制限制御パラメータの更新間隔が前記オーディオコンテンツの前記ビットストリーム表現により動的に決定される請求項１３に記載のアップミックス信号表現生成装置（１００；２００；３００；４００）。
【請求項１５】
マルチチャネルオーディオ信号を表現するビットストリーム（５２０）を生成するための装置（５００）であって、
複数のオーディオオブジェクト信号（５１０ａ〜５１０Ｎ）に基づいてダウンミックス信号（５３２）を生成するように構成されているダウンミキサ（５３０）と、
前記オーディオオブジェクト信号（５１０ａ〜５１０Ｎ）及びダウンミックスパラメータの特性を記述するオブジェクト関連パラメトリックなサイド情報（５４２）、及びアップミックス信号表現を生成する装置（１００；２００；３００；４００）側で歪制御スキームの適用を制御するための１つ以上の歪制限制御パラメータ（５４４）を生成するように構成されているサイド情報生成器（５４０）と、
前記ダウンミックス信号（５３２）の表現、前記オブジェクト関連パラメトリックなサイド情報（５４２）及び前記１つ以上の歪制限制御パラメータ（５４４）を含むビットストリーム（５２０）を生成するように構成されているビットストリームフォーマッタ（５５０）と、
を備えているビットストリーム生成装置（５００）。
【請求項１６】
オーディオコンテンツのビットストリーム表現に含まれているダウンミックス信号表現及び同ビットストリーム表現に含まれているオブジェクト関連パラメータ情報に基づいて、及びレンダリング情報に依存してアップミックス信号表現を生成するための方法であって、
レンダリングパラメータの不適切な選定により生じる可聴歪を回避するか又は制限するために、歪制御スキームを用いてアップミックスパラメータを調整することを含み、
前記オーディオコンテンツの前記ビットストリーム表現に含まれている歪制限制御パラメータが取得され、前記歪制御スキームは前記歪制限制御パラメータに依存して調整されるアップミックス信号表現生成方法。
【請求項１７】
マルチチャネルオーディオ信号を表すビットストリームを生成するための方法であって、
複数のオーディオオブジェクト信号に基づいてダウンミックス信号を導出することと、
前記オーディオオブジェクト信号及びダウンミックスパラメータの特性を記述するオブジェクト関連パラメトリックなサイド情報を生成することと、
アップミックス信号表現を生成する装置側で歪制御スキームの適用を制御するための１つ以上の歪制限制御パラメータを生成することと、
前記ダウンミックス信号の表現、前記オブジェクト関連パラメトリックなサイド情報及び前記１つ以上の歪制限制御パラメータを含むビットストリームを生成することと、
を含むビットストリーム生成方法。
【請求項１８】
コンピュータ上でコンピュータプログラムが実行されると請求項１６又は１７に記載の方法を実行するためのコンピュータプログラム。
【請求項１９】
マルチチャネルオーディオ信号を表すビットストリームであって、
複数のオーディオオブジェクトのオーディオ信号を結合するダウンミックス信号の表現と、
前記オーディオオブジェクトの特性を記述するオブジェクト関連パラメトリックなサイド情報と、
アップミックス信号表現を生成する装置側での歪制御スキームの適用を制御するための１つ以上の歪制限制御パラメータと、
を含むビットストリーム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９Ａ】
【図９Ｂ】
【図９Ｃ】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９Ａ】
【図９Ｂ】
【図９Ｃ】
【公表番号】特表２０１３−５１１０５３（Ｐ２０１３−５１１０５３Ａ）
【公表日】平成２５年３月２８日（２０１３．３．２８）
【国際特許分類】
【出願番号】特願２０１２−５３４６５８（Ｐ２０１２−５３４６５８）
【出願日】平成２２年１０月１９日（２０１０．１０．１９）
【国際出願番号】ＰＣＴ／ＥＰ２０１０／０６５６７１
【国際公開番号】ＷＯ２０１１／０４８０６７
【国際公開日】平成２３年４月２８日（２０１１．４．２８）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．フロッピー
２．ＥＥＰＲＯＭ
【出願人】（５００３４１７７９）フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン (75)
【出願人】（５０６４２７９９０）ドルビー・インターナショナル・アクチボラゲット (24)
【氏名又は名称原語表記】ＤＯＬＢＹ ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＡＢ
【公表日】平成２５年３月２８日（２０１３．３．２８）
【国際特許分類】
【出願日】平成２２年１０月１９日（２０１０．１０．１９）
【国際出願番号】ＰＣＴ／ＥＰ２０１０／０６５６７１
【国際公開番号】ＷＯ２０１１／０４８０６７
【国際公開日】平成２３年４月２８日（２０１１．４．２８）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．フロッピー
２．ＥＥＰＲＯＭ
【出願人】（５００３４１７７９）フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン (75)
【出願人】（５０６４２７９９０）ドルビー・インターナショナル・アクチボラゲット (24)
【氏名又は名称原語表記】ＤＯＬＢＹ ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＡＢ
[ Back to top ]