オーディオ信号デコーダ、オーディオ信号エンコーダ、アップミックス信号表現の生成方法、ダウンミックス信号表現の生成方法、コンピュータプログラム、及び共通するオブジェクト間相関パラメータ値を用いるビットストリーム
ダウンミックス信号表現及びオブジェクト関連パラメータ情報に基づき、かつレンダリング情報に依存してアップミックス信号表現を生成するためのオーディオ信号デコーダは、オブジェクトパラメータ決定器を備えている。オブジェクトパラメータ決定器は、複数のオーディオ・オブジェクト・ペアのオブジェクト間相関値を取得するように構成されている。オブジェクトパラメータ決定器は、複数の関連オーディオ・オブジェクト・ペアのオブジェクト間相関値を取得するために個々のオブジェクト間相関ビットストリームパラメータ値を評価するか、共通のオブジェクト間相関ビットストリームパラメータ値を用いて複数の関連オーディオ・オブジェクト・ペアのオブジェクト間相関値を取得するかを決定するために、ビットストリーム・シグナリング・パラメータを評価するように構成されている。オーディオ信号デコーダは、ダウンミックス信号表現を基礎とし、かつ複数の関連オブジェクトペアのオブジェクト間相関値及びレンダリング情報を用いてアップミックス信号表現を取得するように構成されている信号プロセッサも備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明による実施形態は、ダウンミックス信号表現及びオブジェクト関連パラメータ情報に基づき、かつレンダリング情報に依存してアップミックス信号表現を生成するためのオーディオ信号デコーダに関する。
【０００２】
本発明による他の実施形態は、複数のオーディオオブジェクト信号に基づきビットストリーム表現を生成するためのオーディオ信号エンコーダに関する。
【０００３】
本発明による他の実施形態は、ダウンミックス信号表現及びオブジェクト関連パラメータ情報に基づき、かつレンダリング情報に依存してアップミックス信号表現を生成するための方法に関する。
【０００４】
本発明による他の実施形態は、複数のオーディオオブジェクト信号に基づきビットストリーム表現を生成するための方法に関する。
【０００５】
本発明による他の実施形態は、前記方法を実行するためのコンピュータプログラムに関する。
【０００６】
本発明による他の実施形態は、マルチチャネルオーディオ信号を表現するビットストリームに関する。
【背景技術】
【０００７】
オーディオ処理、オーディオ伝送及びオーディオ蓄積の技術分野では、聴感を良くするためにマルチチャネルコンテンツを取り扱おうという要望が高まりつつある。マルチチャネル・オーディオ・コンテンツの使用は、ユーザに著しい改善をもたらすものである。例えば、３次元聴感を得ることも可能であって、娯楽に適用すればユーザの満足度が高まる。その一方で、マルチチャネル・オーディオ・コンテンツは、マルチチャネルオーディオ再生の使用によってスピーカの了解度が向上され得ることから、職場環境において、例えば電話会議への適用においても有益である。
【０００８】
しかしながら、マルチチャネルアプリケーションによって生じる資源の過剰な負荷を回避するために、オーディオ品質とビットレート要件との間に良好な得失評価を有することもまた望ましい。
【０００９】
最近では、複数のオーディオオブジェクトを含むオーディオ場面のビットレート効率のよい伝送及び／又は蓄積を行なうためのパラメトリック手法、例えばバイノーラルキュー符号化（Binaural Cue Coding：ＢＣＣ）（タイプＩ）（例えば、非特許文献１参照）、情報源符号化（Joint Source Coding：ＪＳＣ）（例えば、非特許文献２参照）及びＭＰＥＧ空間オーディオオブジェクト符号化（Spatial Audio Object Coding：ＳＡＯＣ）（例えば、非特許文献３、非特許文献４及び未公開非特許文献５参考）が提案されている。
【００１０】
これらの手法の目的は、波形一致ではなく、所望される出力オーディオ場面を知覚的に再構成することにある。
【００１１】
図８は、このようなシステム（ここでは、ＭＰＥＧ ＳＡＯＣ）のシステム概観を示す。また、図９Ａも、このようなシステム（ここでは、ＭＰＥＧ ＳＡＯＣ）のシステム概観を示す。
【００１２】
図８に示されているＭＰＥＧ ＳＡＯＣシステム８００は、ＳＡＯＣエンコーダ８１０と、ＳＡＯＣデコーダ８２０とを備えている。ＳＡＯＣエンコーダ８１０は、例えば時間領域信号として、又は時間周波数領域信号として（例えば、フーリエ型変換の変換係数セットの形式又はＱＭＦサブバンド信号の形式で）表現される場合がある複数のオブジェクト信号ｘ1〜ｘNを受信する。ＳＡＯＣエンコーダ８１０は、典型的には、オブジェクト信号ｘ1〜ｘNに関連づけられるダウンミックス係数ｄ1〜ｄNも受信する。ダウンミックス係数は、ダウンミックス信号のチャネル毎に別々のセットが利用可能である場合がある。ＳＡＯＣエンコーダ８１０は、典型的には、関連づけられるダウンミックス係数ｄ1〜ｄNに従ってオブジェクト信号ｘ1〜ｘNを結合することにより、ダウンミックス信号のチャネルを取得するように構成されている。典型的には、存在するダウンミックスチャネルの数はオブジェクト信号ｘ1〜ｘNより少ない。ＳＡＯＣデコーダ８２０側におけるオブジェクト信号の分離（又は分離処理）を（少なくとも概略的に）可能にするために、ＳＡＯＣエンコーダ８１０は、サイド情報８１４と１つ以上のダウンミックス信号（ダウンミックスチャネルとして示される）８１２の双方を生成する。サイド情報８１４は、デコーダ側のオブジェクト指定処理を可能にするために、オブジェクト信号ｘ1〜ｘNの特徴を記述する。
【００１３】
ＳＡＯＣデコーダ８２０は、サイド情報８１４と１つ以上のダウンミックス信号８１２の双方を受信するように構成されている。また、ＳＡＯＣデコーダ８２０は、典型的には、ユーザ相互作用情報及び／又はユーザ制御情報８２２を受信するように構成されている。ユーザ相互作用情報及び／又はユーザ制御情報８２２は、所望されるレンダリング設定を記述するものであり、例えば、スピーカの設定及びオブジェクトの所望される空間配置について記述することができ、これらはオブジェクト信号ｘ1〜ｘNを与える。
【００１４】
ＳＡＯＣデコーダ８２０は、例えば、複数の復号されたアップミックスチャネル信号?1〜?Mを生成するように構成されている。アップミックスチャネル信号は、例えばマルチスピーカレンダリング配置の個々のスピーカに関連づけることができる。ＳＡＯＣデコーダ８２０は、例えば、オブジェクト分離器８２０ａを備えることができ、オブジェクト分離器８２０ａは、１つ以上のダウンミックス信号８１２及びサイド情報８１４に基づきオブジェクト信号ｘ1〜ｘNを少なくとも概略的に再構成し、これにより再構成されたオブジェクト信号８２０ｂを得るように構成されている。しかしながら、再構成されたオブジェクト信号８２０ｂは元のオブジェクト信号ｘ1〜ｘNから幾分かずれていることがある。それは、例えば、ビットレート制約のために、サイド情報８１４が完全な再構成にとってまったく十分であるとはいえないからである。ＳＡＯＣデコーダ８２０はさらにミキサ８２０ｃを備えることができる。ミキサ８２０ｃは、再構成されたオブジェクト信号８２０ｂとユーザ相互作用情報／ユーザ制御情報８２２を受信し、これらに基づいてアップミックスチャネル信号?1〜?Mを生成するように構成できる。ミキサ８２０は、ユーザ相互作用情報／ユーザ制御情報８２２を用いて、アップミックスチャネル信号?1〜?Mに対する個々の再構成されたオブジェクト信号８２０ｂの寄与を決定するように構成できる。ユーザ相互作用情報／ユーザ制御情報８２２は、例えば、レンダリングパラメータ（レンダリング係数とも明記される）を含むことができる。レンダリングパラメータはアップミックスチャネル信号?1〜?Mに対する個々の再構成されたオブジェクト信号８２２の寄与を決定する。
【００１５】
図８ではオブジェクト分離はオブジェクト分離器８２０ａにより示され、ミキシングはミキサ８２０ｃにより示されているが、多くの実施形態ではこれらは単一のステップで実行されることに留意されるべきである。その目的のために、１つ以上のダウンミックス信号８１２をアップミックスチャネル信号?1〜?Mへ直接写し変えることを記述する全体的パラメータが計算される場合がある。これらのパラメータは、サイド情報及びユーザ相互作用情報／ユーザ制御情報８２０に基づいて計算できる。
【００１６】
図９Ａ、図９Ｂと図９Ｃを参照して、ダウンミックス信号表現及びオブジェクト関連サイド情報に基づきアップミックス信号表現を取得するための異なる装置について述べる。図９Ａは、ＳＡＯＣデコーダ９２０を備えているＭＰＥＧ ＳＡＯＣシステム９００の概略ブロック図を示す。ＳＡＯＣデコーダ９２０は、オブジェクトデコーダ９２２とミキサ／レンダラ９２６を別々の機能ブロックとして備えている。オブジェクトデコーダ９２２は、ダウンミックス信号表現（例えば、時間領域又は時間周波数領域において表現される１つ以上のダウンミックス信号の形式）及びオブジェクト関連サイド情報（例えば、オブジェクトメタデータの形式）に依存して複数の再構成されたオブジェクト信号９２４を生成する。ミキサ／レンダラ９２４は、複数のＮ個のオブジェクトに関連づけられる再構成されたオブジェクト信号９２４を受信し、これらに基づき１つ以上のアップミックスチャネル信号９２８を生成する。ＳＡＯＣデコーダ９２０において、オブジェクト信号９２４の抽出はミキシング／レンダリングとは別に実行される。このことは、オブジェクト復号機能をミキシング／レンダリング機能から分離することを可能にするが、計算の複雑さは比較的高くなる。
【００１７】
図９Ｂを参照して別のＭＰＥＧ ＳＡＯＣシステム９３０について簡単に論じる。そのＭＰＥＧ ＳＡＯＣシステム９３０はＳＡＯＣデコーダ９５０を備えている。ＳＡＯＣデコーダ９５０は、ダウンミックス信号表現（例えば、１つ以上のダウンミックス信号の形式）及びオブジェクト関連サイド情報（例えば、オブジェクトメタデータの形式）に依存して複数のアップミックスチャネル信号９５８を生成する。ＳＡＯＣデコーダ９５０は結合されたオブジェクトデコーダ及びミキサ／レンダラを備えており、結合されたオブジェクトデコーダ及びミキサ／レンダラはオブジェクト復号とミキシング／レンダリングとを分離することなく合同ミキシングプロセスにおいてアップミックスチャネル信号９５８を取得するように構成されている。その合同ミキシングプロセスのパラメータは、オブジェクト関連サイド情報及びレンダリング情報の双方に依存する。合同ミキシングプロセスはダウンミックス情報にも依存し、この場合、ダウンミックス情報はオブジェクト関連サイド情報の一部と考えられる。
【００１８】
上記を要約すると、アップミックスチャネル信号９２８、９５８の生成は、１ステッププロセス又は２ステッププロセスで実行できる。
【００１９】
図９Ｃを参照して、ＭＰＥＧ ＳＡＯＣシステム９６０について述べる。ＳＡＯＣシステム９６０は、ＳＡＯＣデコーダではなくＳＡＯＣ−ＭＰＥＧサラウンドトランスコーダ９８０を備えている。
【００２０】
ＳＡＯＣ−ＭＰＥＧサラウンドトランスコーダはサイド情報トランスコーダ９８２を備えている。サイド情報トランスコーダ９８２はオブジェクト関連サイド情報（例えば、オブジェクトメタデータの形式）とレンダリング情報、さらに場合により１つ以上のダウンミックス信号に関する情報を受信するように構成されている。サイド情報トランスコーダは、受信されたデータに基づきＭＰＥＧサラウンドサイド情報（例えば、ＭＰＥＧサラウンドビットストリームの形式）を生成するようにも構成されている。したがって、サイド情報トランスコーダ９８２は、レンダリング情報及び場合により１つ以上のダウンミックス信号のコンテンツに関する情報を考慮して、オブジェクトエンコーダから出されるオブジェクト関連の（パラメトリックな）サイド情報をチャネル関連の（パラメトリックな）サイド情報へ変換するように構成されている。
【００２１】
場合により、ＳＡＯＣ−ＭＰＥＧサラウンドトランスコーダ９８０は、例えばダウンミックス信号表現により記述された１つ以上のダウンミックス信号を操作して、操作されたダウンミックス信号表現９８８を取得するように構成することができる。しかしながら、ダウンミックス信号マニピュレータ９８６は省略される場合があり、その場合はＳＡＯＣ−ＭＰＥＧサラウンドトランスコーダ９８０から出力されるダウンミックス信号表現９８８と、ＳＡＯＣ−ＭＰＥＧサラウンドトランスコーダへ入力されるダウンミックス信号表現は同一になる。ダウンミックス信号マニピュレータ９８６は、例えば、チャネル関連ＭＰＥＧサラウンドサイド情報９８４がＳＡＯＣ−ＭＰＥＧサラウンドトランスコーダ９８０への入力ダウンミックス信号表現に基づいて所望される聴感を生成できないようであれば使用されることがあり、この状況は、レンダリングの配列によっては発生し得る。
【００２２】
したがって、ＳＡＯＣ−ＭＰＥＧサラウンドトランスコーダ９８０は、ＭＰＥＧサラウンドビットストリーム９８４及びダウンミックス信号表現９８８を受信するＭＰＥＧサラウンドデコーダが、ＳＡＯＣ−ＭＰＥＧサラウンドトランスコーダ９８０への入力レンダリング情報に従ってオーディオオブジェクトを表現する複数のアップミックスチャネル信号を発生し得るように、ダウンミックス信号表現９８８及びＭＰＥＧサラウンドビットストリーム９８４を生成する。
【００２３】
上記を要約すると、ＳＡＯＣで符号化されたオーディオ信号を復号するためには、異なる概念を用いることが可能である。事例によっては、ダウンミックス信号表現及びオブジェクト関連のパラメトリックなサイド情報に依存してアップミックスチャネル信号（例えば、アップミックスチャネル信号９２８、９５８）を生成するＳＡＯＣデコーダが使用される。図９Ａ及び図９Ｂはこの概念の例を示している。あるいは、ＳＡＯＣで符号化されたオーディオ情報は、ダウンミックス信号表現（例えば、ダウンミックス信号表現９８８）及びチャネル関連サイド情報（例えば、チャネル関連ＭＰＥＧサラウンドビットストリーム９８４）を取得するためにトランスコードされる場合もある。それらのダウンミックス信号表現とチャネル関連サイド情報は所望されるアップミックスチャネル信号を生成するためにＭＰＥＧサラウンドデコーダによって使用することができる。
【００２４】
図８にシステムの概観が示されているＭＰＥＧ ＳＡＯＣシステム８００においても、図９にシステムの概観が示されているＭＰＥＧ ＳＡＯＣシステム９００においても、一般処理は周波数選択方式で実行され、かつ各周波数バンド内部は下記のように記述することができる。
【００２５】
入力されるＮ個のオーディオオブジェクト信号ｘ1〜ｘNは、ＳＡＯＣエンコーダ処理の一部としてダウンミックスされる。モノダウンミックスの場合、ダウンミックス係数はｄ1〜ｄNによって示される。さらに、ＳＡＯＣエンコーダ８１０、９１０は、入力されるオーディオオブジェクトの特徴を記述するサイド情報８１４を抽出する。このサイド情報の重要な部分は、オブジェクト電力の関係性及び互いに対する相関性、即ちオブジェクト間相関（Inter-Object-Correlations：ＩＯＣ）のオブジェクトレベル差（object-level differences：ＯＬＤ）から成る。
【００２６】
（１又は複数の）ダウンミックス信号８１２、９１２及びサイド情報８１４、９１４は伝送され、かつ／又は格納される。この目的のために、ダウンミックスオーディオ信号は、ＭＰＥＧ−１レイヤＩＩ又はＩＩＩ（「．ｍｐ３」としても知られる）、ＭＰＥＧアドバンスト・オーディオ・コーディング（Advanced Audio Coding：ＡＡＣ）又は他の任意のオーディオコーダ等の周知の知覚オーディオコーダを用いて圧縮される場合がある。
【００２７】
受信側では、ＳＡＯＣデコーダ８２０、９２０は、概念的には、伝送されたサイド情報８１４、９１４（及び当然ながら、１又は複数のダウンミックス信号８１２、９１２）を用いて、元のオブジェクト信号を復元するように試行する（「オブジェクト分離」）。これらの近似されたオブジェクト信号（再構成されたオブジェクト信号８２０ｂ、９２４としても示される）は、次に、レンダリングマトリクスを用いて、Ｍ個のオーディオ出力チャネル（例えば、アップミックスチャネル信号?1〜?M９２８により表現される場合がある）によって表現される標的場面へとミキシングされる。モノ出力の場合、レンダリングマトリクス係数はｒ1〜ｒNによって与えられる。
【００２８】
効果的には、オブジェクト信号の分離はほとんど行われない（又は、絶対に行われない）。それは、分離ステップ（オブジェクト分離器８２０ａ、９２２により示される）及びミキシングステップ（ミキサ８２０ｃ、９２６により示される）の双方が単一のトランスコーディングステップに結合され、これにより計算の複雑さが大幅に低減される結果となる場合が多いからである。
【００２９】
このようなスキームは、伝送ビットレートの面（Ｎ個のオブジェクトオーディオ信号ではなく幾つかのダウンミックスチャネルに何らかのサイド情報を加えて伝送するだけでよい。）及び計算の複雑さの面（処理の複雑さはオーディオオブジェクトの数ではなく、主として出力チャネルの数に関連する）の双方で極めて効率的であることが見出されている。受信側ユーザにとってのさらなる優位点としては、ユーザ選択のレンダリング設定（モノ、ステレオ、サラウンド、仮想化ヘッドホン再生、等）を選ぶ自由、及びユーザ相互作用性機能、即ちユーザは意志、個人的嗜好又は他の基準にしたがってレンダリングマトリクスひいては出力される場面を相互作用的に設定しかつ変更できること、が含まれる。例えば、１つのグループからの話者を纏めて１つの空間エリアに位置決めし、他の話者との区別化を最大化することが可能である。この相互作用性は、デコーダのユーザインタフェースを提供することによって達成される。
【００３０】
即ち、伝送されるサウンドオブジェクトについては各々、その相対レベル及び（非モノレンダリングでは）レンダリングの空間位置を調整することができる。これは、ユーザが関連のグラフィカル・ユーザ・インタフェース（Graphical User Interface：ＧＵＩ）スライダ（例えば、オブジェクトレベル＝＋５ｄＢ、オブジェクトの位置＝−３０度）の位置を変更するにつれてリアルタイムで発生する場合がある。
【００３１】
以下、チャネルベースのオーディオコーディングの分野においてこれまでに適用されている技術を簡単に参照する。
【００３２】
米国特許出願第１１／０３２，６８９号明細書（特許文献１）は、サイド情報を保存するために、幾つかのキュー値を、伝送される１つの値に結合するためのプロセスについて記述している。
【００３３】
この技術は、米国特許出願開第６０／６７１，５４４号明細書（特許文献２）において、「コンパクトなサイド情報を用いるマルチチャネル階層型オーディオコーディング」へも適用されている。
【先行技術文献】
【特許文献】
【００３４】
【特許文献１】米国特許出願第１１／０３２，６８９号明細書
【特許文献２】米国特許出願第６０／６７１，５４４号明細書
【非特許文献】
【００３５】
【非特許文献１】[BCC] C. Faller and F. Baumgarte, "Binaural Cue Coding - Part II: Schemes and application," IEEE Trans. On Speech and Audio Proc., vol. 11, no. 6, Nov. 2003
【非特許文献２】[JSC] C. Faller, "Parametric Joint-Coding of Audio Sources", 120th AES Convention, Paris, 2006, Preprint 6752
【非特許文献３】[SAOC1] J.Herres, S. Disch, J. Hilpert, O. Hellmuth: "From SAC To SAOC - Recent Developments in Parametric Coding of Spatial Audio", 22nd Regional UK AES Conference, Cambridge, UK April 2007
【非特許文献４】[SAOC2] J Engdegard, B. Resch, C. Falch, O. Hellmuth, J. Heilpert, A. Holzer, L. Terentiev, J. Breebaart, J. Koppens, E. Schuijers and W. Oomen: " Spatial Audio Object Coding (SAOC) - The Upcoming MPEG Standard on Prametric Object Based Audio Coding", 124th AES Convention, Amsterdam 2008, Preprint 7377
【非特許文献５】[SAOC] ISO/IEC, "MPEG audio technologies - Part 2: Spatial Audio Object Coding (SAOC)," ISO/IEC JTC1/SC29/WG11 (MPEG) FCD 23003-2.
【発明の概要】
【発明が解決しようとする課題】
【００３６】
しかしながら、マルチチャネル・オーディオ・コンテンツの符号化に用いられるオブジェクト関連パラメータ情報は、事例によっては比較的高いビットレートを含むことが見出されている。
【００３７】
したがって、本発明の目的は、コンパクトなサイド情報を用いるマルチチャネル・オーディオ・コンテンツの生成、蓄積又は伝送を可能にする概念を作り上げることにある。
【課題を解決するための手段】
【００３８】
この目的は、独立請求項によって規定されるオーディオ信号デコーダ、オーディオ信号エンコーダ、アップミックス信号表現を生成するための方法、ビットストリーム表現を生成するための方法、コンピュータプログラム及びビットストリームによって達成される。
【００３９】
本発明による一実施形態は、ダウンミックス信号表現及びオブジェクト関連パラメータ情報に基づき、かつレンダリング情報に依存してアップミックス信号表現を生成するためのオーディオ信号デコーダを創出する。この装置は、複数のオーディオ・オブジェクト・ペアのオブジェクト間相関値を取得するように構成されているオブジェクト−パラメータ決定器を備えている。オブジェクト−パラメータ決定器は、複数の関連オーディオ・オブジェクト・ペアのオブジェクト間相関値を取得するために個々のオブジェクト間相関ビットストリームパラメータ値を評価するか、又は共通のオブジェクト間相関ビットストリームパラメータ値を用いて複数の関連オーディオ・オブジェクト・ペアのオブジェクト間相関値を取得するかを決定するために、ビットストリーム・シグナリング・パラメータを評価するように構成されている。オーディオ信号デコーダは、ダウンミックス信号表現に基づき、かつ複数の関連オーディオ・オブジェクト・ペアのオブジェクト間相関値及びレンダリング情報を用いてアップミックス信号表現を取得するように構成されている信号プロセッサも備えている。
【００４０】
このオーディオ信号デコーダの基礎は、優れた聴感を達成するために多くのオーディオ・オブジェクト・ペア間の相関性を考慮する必要がある事例によっては、オブジェクト間相関値の符号化に必要とされるビットレートが過度に高い可能性があり、かつこのような場合、オブジェクト間相関値の符号化に必要とされるビットレートは、個々のオブジェクト間相関ビットストリームパラメータ値ではなく共通のオブジェクト間相関ビットストリームパラメータ値を用いることによって、聴感を著しく劣らせることなく、大幅に低減されることが可能である、という主たる考案にある。
【００４１】
多くのオーディオ・オブジェクト・ペア間に、優れた聴感を達成するために考慮されるべき顕著なオブジェクト間相関が存在する状況においては、オブジェクト間相関の考慮が通常はオブジェクト間相関ビットストリームパラメータ値の高いビットレート要件に繋がることが見出されている。しかし、多くのオーディオ・オブジェクト・ペア間に無視できないオブジェクト間相関が存在するこのような状況では、共通する単一のオブジェクト間相関ビットストリームパラメータ値を符号化し、かつこのような共通のオブジェクト間相関ビットストリームパラメータ値から複数の関連オーディオ・オブジェクト・ペアのオブジェクト間相関値を導出するだけで、優れた聴感を達成できることが見出されている。したがって、多くの場合、多くのオーディオオブジェクト間の相関性は、オブジェクト間相関ビットストリームパラメータ値の伝送についての努力を十分に少なく抑えながら、十分な精度で考慮することができる。
【００４２】
したがって、多くの異なるオーディオオブジェクト信号間に無視できないオブジェクト間相関が存在する音響環境によっては、上述の概念はオブジェクト関連サイド情報に対するビットレート要求を小さくし、それでも十分に優れた聴感を達成する。
【００４３】
ある好適な実施形態において、オブジェクト−パラメータ決定器は、全ての異なる関連オーディオ・オブジェクト・ペアのオブジェクト間相関値を、共通のオブジェクト間相関ビットストリームパラメータ値によって規定される共通値に設定するように構成されている。この単純な解決策は、多くの関連状況において十分に優れた聴感をもたらすことが見出されている。
【００４４】
ある好適な実施形態において、オブジェクト−パラメータ決定器は、２つのオブジェクトが互いに関連するものであるか否かを記述するオブジェクト関係性情報を評価するように構成されている。オブジェクト−パラメータ決定器は、さらに、オブジェクト関係性情報が関係性を示すオーディオ・オブジェクト・ペアに対しては共通のオブジェクト間相関ビットストリームパラメータ値を用いてオブジェクト間相関値を選択的に取得し、かつオブジェクト関係性情報が関連性のないことを示すオーディオ・オブジェクト・ペアのオブジェクト間相関値は既定値（例えば、ゼロ）に設定するように構成されている。したがって、オーディオオブジェクト間の関係性の有無は、高いビットレート効率で区別できる。故に、（ほぼ）関連のないオーディオ・オブジェクト・ペアへの非ゼロのオブジェクト間相関値の割り付けは回避される。したがって、聴感の劣化は回避され、かつこのようなほぼ関連のないオーディオオブジェクト間の分離が可能である。さらに、オーディオオブジェクトの関連性が典型的には１つのオーディオに渡って時間的に不変であることから、関連オーディオオブジェクト及び非関連オーディオオブジェクトを非常に高いビットレート効率で信号にすることができ、したがって、この信号化に必要とされるビットレートは典型的には極めて低い。このように、記述されている概念は、ビットレート効率と聴感との間の極めて良好な得失評価をもたらす。
【００４５】
ある好適な実施形態において、オブジェクト−パラメータ決定器は、異なるオーディオオブジェクトの組合せ毎に１ビットフラグを備えているオブジェクト関係性情報を評価するように構成され、この場合、異なるオーディオオブジェクトの所定の組合せに関連づけられる１ビットフラグは、所定の組合せのオーディオオブジェクト同士に関連性があるか否かを示す。このような情報は極めて効率的に伝送することができ、優れた聴感を達成するために必要とされるビットレートの著しい低減をもたらす。
【００４６】
ある好適な実施形態において、オブジェクト−パラメータ決定器は、全ての異なる関連オーディオ・オブジェクト・ペアのオブジェクト間相関値を共通のオブジェクト間相関ビットストリームパラメータ値によって規定される共通値に設定するように構成されている。
【００４７】
ある好適な実施形態において、オブジェクト−パラメータ決定器は、ビットストリーム・シグナリング・パラメータを個々のオブジェクト間相関ビットストリームパラメータ又は共通するオブジェクト間相関ビットストリームパラメータとともに取得するために、オーディオコンテンツのビットストリーム表現を構文解析するように構成されているビットストリームパーサを備えている。ビットストリームパーサを用いることにより、ビットストリーム・シグナリング・パラメータを個々のオブジェクト間相関ビットストリームパラメータ又は共通するオブジェクト間相関ビットストリームパラメータとともに優れた実装効率で取得することができる。
【００４８】
ある好適な実施形態において、オーディオ信号デコーダは、関連オーディオ・オブジェクト・ペアに関連づけられる共分散値を取得するために、関連オーディオ・オブジェクト・ペアに関連づけられるオブジェクト間相関値を、前記関連オーディオ・オブジェクト・ペアの第１のオーディオオブジェクトのオブジェクトレベルを記述するオブジェクトレベル差パラメータ値と、前記関連オーディオ・オブジェクト・ペアの第２のオーディオオブジェクトのオブジェクトレベルを記述するオブジェクトレベル差パラメータ値とに結合するように構成されている。したがって、共通するオブジェクト間相関パラメータが用いられても、関連オーディオ・オブジェクト・ペアに関連づけられる共分散値を、共分散値がオーディオ・オブジェクト・ペアに適応されるように導出することができる。したがって、異なるオーディオ・オブジェクト・ペア毎に異なる共分散値を取得することができる。特に、共通のオブジェクト間相関ビットストリームパラメータ値を用いて多数の異なる共分散値を取得することができる。
【００４９】
ある好適な実施形態において、オーディオ信号デコーダは、３つ以上のオーディオオブジェクトを処理するように構成されている。この場合、オブジェクト−パラメータ決定器は、あらゆる異なるオーディオ・オブジェクト・ペアのオブジェクト間相関値を生成するように構成されている。本発明概念を使用すれば、全てが互いに関連のあるオーディオオブジェクトが比較的多数存在するとしても、有意義な値を取得できることが見出されている。オーディオオブジェクトの多くの組合せからオブジェクト間相関値を取得することは、オブジェクト関連のパラメトリックなサイド情報を用いてオーディオオブジェクト信号を符号化しかつ復号する場合に特に有用である。
【００５０】
ある好適な実施形態において、オブジェクト−パラメータ決定器は、複数の関連オーディオ・オブジェクト・ペアのオブジェクト間相関値を取得するために個々のオブジェクト間相関ビットストリームパラメータ値を評価するか、共通のオブジェクト間相関ビットストリームパラメータ値を用いて複数の関連オーディオ・オブジェクト・ペアのオブジェクト間相関値を取得するかを決定するために、コンフィギュレーション(configuration)ビットストリーム部分に含まれるビットストリーム・シグナリング・パラメータを評価するように構成されている。この実施形態では、オブジェクト−パラメータ決定器は、そのオーディオオブジェクトが関連のあるものであるかどうかを決定するために、コンフィギュレーションビットストリーム部分に含まれるオブジェクト関係性情報を評価するように構成されている。さらに、オブジェクト−パラメータ決定器は、共通のオブジェクト間相関ビットストリームパラメータ値を用いて複数の関連オーディオ・オブジェクト・ペアのオブジェクト間相関値を取得することが決定されれば、あらゆるオーディオ・コンテンツ・フレームについて、フレーム・データ・ビットストリーム部分に含まれる共通のオブジェクト間相関ビットストリームパラメータ値を評価するように構成されている。したがって、高いビットレート効率が達成される。それは、比較的大きいオブジェクト関係性情報の評価はオーディオピース（コンフィギュレーションビットストリーム部分の存在により規定される。）毎に一度しか行われず、一方でオーディオピースのあらゆるフレームに関して評価される、即ち１つのオーディオピースにつき複数回評価される共通のオブジェクト間相関ビットストリームパラメータ値は比較的小値であるからである。これは、オーディオオブジェクト間の関係性は、典型的には１つのオーディオピース内では変わらないか、極めてまれにしか変わらない、という発見を反映している。したがって、適度に低いビットレートで優れた聴感を達成できる。
【００５１】
しかしながら、また、共通のオブジェクト間相関ビットストリームパラメータ値の使用は、フレーム・データ・ビットストリーム部分において信号として表わすこともでき、これは、例えば変化するオーディオコンテンツへの柔軟な適応を可能にする。
【００５２】
本発明による一実施形態は、複数のオーディオオブジェクト信号に基づきビットストリーム表現を生成するためのオーディオ信号エンコーダを創出する。オーディオ信号エンコーダは、オーディオオブジェクト信号に基づき、かつダウンミックス信号の１つ以上のチャネルとしてのオーディオオブジェクト信号の寄与について記述するダウンミックスパラメータに依存して、ダウンミックス信号を生成するように構成されているダウンミキサを備えている。オーディオ信号エンコーダは、複数の関連オーディオ・オブジェクト・ペア信号に関連づけられる共通のオブジェクト間相関ビットストリームパラメータ値を生成するように、かつこの共通のオブジェクト間相関ビットストリームパラメータ値が複数の個々のオブジェクト間相関ビットストリームパラメータの代わりに生成されることを示すビットストリーム・シグナリング・パラメータを生成するようにも構成されているパラメータプロバイダも備えている。オーディオ信号エンコーダは、ダウンミックス信号の表現、共通のオブジェクト間相関ビットストリームパラメータ値の表現及びビットストリーム・シグナリング・パラメータを含むビットストリームを生成するように構成されているビットストリームフォーマッタも備えている。
【００５３】
本発明によれば、この実施形態は、コンパクトなサイド情報を有するマルチチャネル・オーディオ・コンテンツを表現するビットストリームの生成を可能にする。共通のオブジェクト間相関ビットストリームパラメータ値を生成することにより、オブジェクト関連サイド情報はコンパクトに保たれ、同時になおもマルチチャネル・オーディオ・コンテンツを優れた聴感で再生するための効率的な情報が与えられる。さらに、本明細書に記述されるオーディオ信号エンコーダが、オーディオ信号デコーダに関してこれまでに述べたものと同じ優位点を与えることは留意されるべきである。
【００５４】
ある好適な実施形態において、パラメータプロバイダは、クロスパワー項の和と平均パワー項の和との割合に依存して共通のオブジェクト間相関ビットストリームパラメータ値を生成するように構成されている。このようなオブジェクト間相関ビットストリームパラメータ値は適度の計算量で計算することができ、同時になお、ほとんどの場合、精確な聴感も与えることが見出されている。
【００５５】
本発明による別の実施形態において、パラメータプロバイダは、共通のオブジェクト間相関ビットストリームパラメータ値として既定の定値を生成するように構成されている。事例によっては、定値の生成は理に適うことが見出されている。例えば、所定のタイプの会議室における所定の標準的なマイクロホン装置の場合、定値は所望される聴感の表現に極めて良く適合し得る。したがって、本発明概念による多くの標準的適用において、計算量は優れた聴感を与えつつ最小限に抑えることができる。
【００５６】
別の好適な実施形態において、パラメータプロバイダは、２つのオーディオオブジェクトが互いに関連しているかどうかを記述するオブジェクト関係性情報も生成するように構成されている。このようなオブジェクト関係性情報は、先に論じたように、オーディオデコーダによって活用することができる。したがって、共通のオブジェクト間相関ビットストリームパラメータ値は、実際に互いに関連しているオーディオオブジェクトにのみ適用され、全く関連のないオーディオオブジェクトには適用されないことを保証することができる。
【００５７】
ある好適な実施形態において、パラメータプロバイダは、共通のオブジェクト間相関ビットストリームパラメータ値の計算に関してオブジェクト関係性情報が関係性を示しているオーディオオブジェクトのオブジェクト間相関を選択的に評価するように構成されている。これは、特に有意義なオブジェクト間相関ビットストリームパラメータ値を得ることを可能にする。
【００５８】
本発明によるさらなる実施形態は、アップミックス信号表現を生成するための方法、及びビットストリーム表現を生成するための方法を生み出す。これらの方法は、先に論じたオーディオデコーダ及びオーディオエンコーダと同じ考案を基礎とする。
【００５９】
本発明による別の実施形態は、マルチチャネルオーディオ信号を表すビットストリームを創出する。ビットストリームは、複数のオーディオオブジェクトのオーディオ信号を結合するダウンミックス信号の表現を含む。ビットストリームは、オーディオオブジェクトの特徴を記述するオブジェクト関連パラメトリックなサイド情報も含む。オブジェクト関連のパラメトリックなサイド情報は、ビットストリームが個々のオブジェクト間相関ビットストリームパラメータ値を含むか、共通のオブジェクト間相関ビットストリームパラメータ値を含むかを示すビットストリーム・シグナリング・パラメータを含む。したがって、ビットストリームは、異なるタイプのオーディオチャネルコンテンツの伝送に関して柔軟な使用を可能にする。特に、ビットストリームは、個々のオブジェクト間相関ビットストリームパラメータ値又は共通のオブジェクト間相関ビットストリームパラメータ値の双方の、聴覚場面により適する何れかの伝送を可能にする。したがって、ビットストリームは、詳細な（オブジェクト個別）オブジェクト間相関情報が伝送されるべきである比較的少数の関連するオーディオオブジェクトが存在する場合と、比較的多数の関連するオーディオオブジェクトが存在して、個々のオブジェクト間相関ビットストリームパラメータ値を伝送すれば過度に高いビットレート要求に繋がる可能性があり、かつ共通のオブジェクト間相関ビットストリームパラメータ値がなおも優れた聴感の再生を可能にする場合の双方の処理によく適する。
【００６０】
続いて、添付の図面を参照して本発明による実施形態について述べる。
【図面の簡単な説明】
【００６１】
【図１】本発明の一実施形態によるオーディオ信号デコーダを示す概略ブロック図である。
【図２】本発明の一実施形態によるオーディオ信号エンコーダを示す概略ブロック図である。
【図３】本発明の一実施形態によるビットストリームを示す概略表示である。
【図４】単一のオブジェクト間相関パラメータ計算を用いるＭＰＥＧ ＳＡＯＣシステムを示す概略ブロック図である。
【図５】ビットストリームの一部であることのできるＳＡＯＣ固有コンフィギュレーション情報の構文表現を示す。
【図６】ビットストリームの一部であることのできるＳＡＯＣフレーム情報の構文表現を示す。
【図７】オブジェクト間相関パラメータのパラメータ量子化を表す表を示す。
【図８】基準ＭＰＥＧ ＳＡＯＣシステムを示す概略ブロック図である。
【図９Ａ】別々のデコーダ及びミキサを用いる基準ＳＡＯＣシステムを示す概略ブロック図である。
【図９Ｂ】統合されたデコーダ及びミキサを用いる基準ＳＡＯＣシステムを示す概略ブロック図である。
【図９Ｃ】ＳＡＯＣ−ＭＰＥＧトランスコーダを用いる基準ＳＡＯＣシステムを示す概略ブロック図である。
【発明を実施するための形態】
【００６２】
１．図１によるオーディオ信号デコーダ
以下、オーディオ信号デコーダ１００について、このようなオーディオ信号デコーダ１００の概略ブロック図を示す図１を参照して述べる。
【００６３】
まず、オーディオ信号デコーダ１００の入力信号及び出力信号について述べる。続いて、オーディオ信号デコーダ１００の構造を説明し、最後にオーディオ信号デコーダ１００の機能について論じる。
【００６４】
オーディオ信号デコーダ１００は、典型的には複数のオーディオオブジェクト信号を例えば１チャネルオーディオ信号表現又は２チャネルオーディオ信号表現の形式で表すダウンミックス信号表現１１０を受信するように構成されている。
【００６５】
オーディオ信号デコーダ１００は、典型的にはダウンミックス信号表現１１０に含まれるオーディオオブジェクトを記述するオブジェクト関連パラメータ情報１１２も受信する。
【００６６】
例えば、オブジェクト関連パラメータ情報１１２は、ダウンミックス信号表現１１０により表されるオーディオオブジェクトのオブジェクトレベルを、オブジェクトレベル差の値（ＯＬＤ）を用いて記述する。
【００６７】
さらに、オブジェクト関連パラメータ情報１１２は、典型的には、ダウンミックス信号表現１１０によって表されるオーディオオブジェクトのオブジェクト間相関特性を表す。オブジェクト関連パラメータ情報は、典型的には、オブジェクト関連パラメータ情報が個々のオーディオ・オブジェクト・ペアに関連づけられる個々のオブジェクト間相関ビットストリームパラメータ値を含むか、又は複数のオーディオ・オブジェクト・ペアに関連づけられる共通のオブジェクト間相関ビットストリームパラメータ値を含むかを信号で表わすビットストリーム・シグナリング・パラメータ（本明細書では「ｂｓＯｎｅＩＯＣ」としても明示される）を含む。したがって、オブジェクト関連パラメータ情報は、ビットストリーム・シグナリング・パラメータ「ｂｓＯｎｅＩＯＣ」に従って個々のオブジェクト間相関ビットストリームパラメータ値又は共通のオブジェクト間相関ビットストリームパラメータ値を含む。
【００６８】
オブジェクト関連パラメータ情報１１２は、ダウンミックス信号表現への個々のオーディオオブジェクトのダウンミックスを記述するダウンミックス情報も含むことができる。例えば、オブジェクト関連パラメータ情報は、ダウンミックス信号表現１１０に対するオーディオオブジェクト信号の寄与を記述するダウンミックス利得情報（Downmix Gain Information）ＤＭＧを含む。さらに、オブジェクト関連パラメータ情報は、場合により、異なるダウンミックスチャネル間のダウンミックス利得差を記述するダウンミックス・チャネル・レベル差情報（Downmix-Channel-Level-Difference Information）ＤＣＬＤを含むことができる。
【００６９】
信号デコーダ１００は、レンダリング情報１２０を、例えばそのレンダリング情報を入力するためのユーザインタフェースから受信するようにも構成されている。レンダリング情報は、オーディオオブジェクトの信号のアップミックスチャネルへの割り付けを記述する。例えば、レンダリング情報１２０はレンダリングマトリクス（又はそのエントリ）の形式をとることができる。あるいは、レンダリング情報１２０は、オーディオオブジェクトの所望される再現位置（例えば、空間座標による）及びオーディオオブジェクトの所望される強度（又は音量）についての記述を含むことができる。
【００７０】
オーディオ信号デコーダ１００はアップミックス信号表現１３０を生成する。アップミックス信号表現１３０は、ダウンミックス信号表現により記述されるオーディオオブジェクト信号のレンダリングされた表現と、オブジェクト関連パラメータ情報を構成する。例えば、アップミックス信号表現は、個々のオーディオチャネル信号の形式をとってもよく、チャネル関連パラメトリックサイド情報（例えば、ＭＰＥＧサラウンドサイド情報）と組み合わされたダウンミックス信号表現の形式をとってもよい。
【００７１】
オーディオ信号デコーダ１００は、ダウンミックス信号表現１１０及びオブジェクト関連パラメータ情報１１２に基づき、かつレンダリング情報１２０に依存してアップミックス信号表現１３０を生成するように構成されている。装置１００はオブジェクト−パラメータ決定器１４０を備えており、オブジェクト−パラメータ決定器１４０はオブジェクト関連パラメータ情報１１２に基づき（少なくとも）複数の関連オーディオ・オブジェクト・ペアのオブジェクト間相関値を取得するように構成されている。この目的のために、オブジェクト−パラメータ決定器１４０は、複数の関連オーディオ・オブジェクト・ペアのオブジェクト間相関値を取得するために個々のオブジェクト間相関ビットストリームパラメータ値を評価するか、又は共通のオブジェクト間相関ビットストリームパラメータ値を用いて複数の関連オーディオ・オブジェクト・ペアのオブジェクト間相関値を取得するかを決定するために、ビットストリーム・シグナリング・パラメータ（「ｂｓＯｎｅＩＯＣ」）を評価するように構成されている。したがって、オブジェクト−パラメータ決定器１４０は、ビットストリーム・シグナリング・パラメータが共通のオブジェクト間相関ビットストリームパラメータ値は利用できないことを示していれば、個々のオブジェクト間相関ビットストリームパラメータ値に基づき複数の関連オーディオ・オブジェクト・ペアのオブジェクト間相関値１４２を生成するように構成されている。同様に、オブジェクト−パラメータ決定器は、ビットストリーム・シグナリング・パラメータがこのような共通のオブジェクト間相関ビットストリームパラメータ値は利用できることを示していれば、共通のオブジェクト間相関ビットストリームパラメータ値に基づき複数の関連オーディオ・オブジェクト・ペアのオブジェクト間相関値１４２を決定する。
【００７２】
また、オブジェクト−パラメータ決定器は、典型的には、オブジェクト関連パラメータ情報１１２に基づき、例えばオブジェクトレベル差値ＯＬＤ、ダウンミックス利得値ＤＭＧ及び（場合により）ダウンミックス・チャネル・レベル差値ＤＣＬＤのような他のオブジェクト関連値も生成する。
【００７３】
オーディオ信号デコーダ１００は信号プロセッサ１５０も備えており、信号プロセッサ１５０は、ダウンミックス信号表現１１０に基づき、かつ複数の関連オーディオ・オブジェクト・ペアのオブジェクト間相関値１４２及びレンダリング情報１２０を用いて、アップミックス信号表現１３０を得るように構成されている。信号プロセッサ１５０は、オブジェクトレベル差値、ダウンミックス利得値及びダウンミックス・チャネル・レベル差値のような他のオブジェクト関連値も用いる。
【００７４】
信号プロセッサ１５０は、例えば、所望されるアップミックス信号表現１３０の統計的特徴を推定し、ダウンミックス信号表現から導出されるアップミックス信号表現１３０が所望される統計的特徴を備えるようにダウンミックス信号表現を処理することができる。あるいは、信号プロセッサ１５０は、ダウンミックス信号表現１１０内では結合されている複数のオーディオオブジェクトのオーディオオブジェクト信号を、オブジェクトの特徴に関する情報及びダウンミックスプロセスを用いて分離することを試行することができる。したがって、信号プロセッサは処理規則（例えば、スケーリング規則又は線形結合規則）を計算でき、その処理規則は個々のオーディオオブジェクト信号、又は少なくとも個々のオーディオオブジェクト信号に類似する統計的特徴を有するオーディオ信号の再構成を可能にするであろう。信号プロセッサ１５０は次に、アップミックス信号表現を得るために所望されるレンダリングを適用することができる。当然ながら、元の個々のオーディオオブジェクト信号に近い再構成されたオーディオオブジェクト信号の計算と再現は、計算の複雑さを減らすために単一の処理ステップに結合することができる。
【００７５】
上記を要約すると、オーディオ信号デコーダは、ダウンミックス信号表現１１０及びオブジェクト関連パラメータ情報１１２を基礎とし、レンダリング情報１２０を用いてアップミックス信号表現１３０を生成するように構成されている。オブジェクト関連パラメータ情報１１２は個々のオーディオオブジェクト信号の統計的特徴及び個々のオーディオオブジェクト信号間の関係性についての情報を得るために評価され、個々のオーディオオブジェクト信号間の関係性は信号プロセッサ１５０で必要とされる。例えば、オブジェクト関連パラメータ情報１１２は、個々のオーディオオブジェクト信号の推定された共分散値を記述する推定された分散行列を取得するために用いられる。推定された共分散行列は、その後、信号プロセッサ１５０によって、ダウンミックス信号表現１１０からアップミックス信号表現１３０を導出するための（例えば、先に論じたような）処理規則を決定するために適用される。ただし、当然ながら、他のオブジェクト関連情報も活用できる。
【００７６】
オブジェクト−パラメータ決定器１４０は、複数の関連オーディオ・オブジェクト・ペアのオブジェクト間相関値を取得するための異なるモードを含む。オブジェクト間相関値は信号プロセッサ１５０の重要な入力情報を構成する。第１のモードでは、個々のオブジェクト間相関ビットストリームパラメータ値を用いてオブジェクト間相関値が決定される。例えば、個々のオブジェクト間相関ビットストリームパラメータ値が関連オーディオ・オブジェクト・ペア毎に１つが存在することもあるので、その場合はオブジェクト−パラメータ決定器１４０は単に、このような個々のオブジェクト間相関ビットストリームパラメータ値を所定の関連オーディオ・オブジェクト・ペアに関連づけられる１つ又は２つのオブジェクト間相関値へ移すだけでよい。一方、第２の動作モードも存在する。第２の動作モードでは、オブジェクト−パラメータ決定器１４０は単にビットストリームから１つの共通のオブジェクト間相関ビットストリームパラメータ値を読み取り、かつこの１つの共通のオブジェクト間相関ビットストリームパラメータ値に基づき複数の異なる関連オーディオ・オブジェクト・ペアの複数のオブジェクト間相関値を生成する。したがって、複数の関連オーディオ・オブジェクト・ペアのオブジェクト間相関値は、例えば、１つの共通のオブジェクト間相関ビットストリームパラメータ値によって表される値と同一とするか、又はこの同一の共通のオブジェクト間相関ビットストリームパラメータ値から導出することができる。オブジェクト−パラメータ決定器１４０は、ビットストリーム・シグナリング・パラメータ（「ｂｓＯｎｅＩＯＣ」）に依存して前記第１のモードと前記第２のモードとの間で切り換えることができる。
【００７７】
したがって、オブジェクト間相関値を生成するためにオブジェクト−パラメータ決定器１４０が適用できる異なるモードが存在する。存在する関連オーディオ・オブジェクト・ペアが比較的少数であれば、前記関連オーディオ・オブジェクト・ペアのオブジェクト間相関値は、典型的には（ビットストリーム・シグナリング・パラメータに依存して）オブジェクト−パラメータ決定器によって個々に決定され、これにより、前記関連オーディオ・オブジェクト・ペアの特徴の特に正確な表現が可能にされ、かつ結果的に、信号プロセッサ１５０において個々のオーディオオブジェクト信号を高精度で再構成する可能性がもたらされる。したがって典型的には、比較的少数の関連オーディオ・オブジェクト・ペア間の相関性だけが関係している場合には、優れた聴感を与えることができる。
【００７８】
複数の関連オーディオ・オブジェクト・ペアのオブジェクト間相関値を取得するために共通のオブジェクト間相関ビットストリームパラメータ値が用いられるオブジェクト−パラメータ決定器の第２の動作モードは、典型的には、複数のオーディオ・オブジェクト・ペア間に無視できない相関性が存在する事例に用いられる。このような事例は、従来、ダウンミックス信号表現１１０及びオブジェクト関連パラメータ情報１１２の双方を表すビットストリームのビットレートを過度に上げることなしには処理され得なかった。共通のオブジェクト間相関ビットストリームパラメータ値の使用は、比較的多数のオーディオ・オブジェクト・ペア間に無視できない相関性が存在する場合に固有の優位点をもたらすが、この相関性は、音響的に重大な変動を含まない。この場合、ビットレート要件と聴感品質との間に適度な妥協をもたらす適度なビットレート量による相関性を考慮することができる。
【００７９】
したがって、オーディオ信号デコーダ１００は、異なる状況、すなわち関連オーディオ・オブジェクト・ペアが少数しか存在せず、そのオブジェクト間相関は高精度で考慮されるべきである状況、及び関連オーディオ・オブジェクト・ペアが多数存在し、そのオブジェクト間相関は完全には無視すべきではなく幾分かの類似性を有する状況、を効率的に処理することができる。オーディオ信号デコーダ１００は、双方の状況を高品質の聴感で処理することができる。
【００８０】
２．図２によるオーディオ信号エンコーダ
以下、オーディオ信号エンコーダ２００について、このようなオーディオ信号エンコーダ２００の概略ブロック図を示す図２を参照して述べる。
【００８１】
オーディオ信号エンコーダ２００は、複数のオーディオオブジェクト信号２１０ａ〜２１０Ｎを受信するように構成されている。オーディオオブジェクト信号２１０ａ〜２１０Ｎは、例えば、異なるオーディオオブジェクトを表す１チャネル信号又は２チャネル信号とすることができる。
【００８２】
オーディオ信号エンコーダ２００は、オーディオオブジェクト信号２１０ａ〜２１０Ｎによって表される聴覚場面をコンパクトかつビットレート効率的に記述するビットストリーム表現２２０を生成するようにも構成されている。
【００８３】
オーディオ信号エンコーダ２００はダウンミキサ２２０を備えており、ダウンミキサ２２０はオーディオオブジェクト信号２１０ａ〜２１０Ｎを受信し、オーディオオブジェクト信号２１０ａ〜２１０Ｎに基づきダウンミックス信号２３２を生成するように構成されている。ダウンミキサ２３０は、ダウンミックス信号の１つ以上のチャネルへのオーディオオブジェクト信号２１０ａ〜２１０Ｎの寄与を記述するダウンミックスパラメータに依存してダウンミックス信号２３２を生成するように構成されている。
【００８４】
オーディオ信号エンコーダはパラメータプロバイダ２４０も備えており、パラメータプロバイダ２４０は、関連するオーディオオブジェクト信号２１０ａ〜２１０Ｎの複数のペアに関連づけられる共通のオブジェクト間相関ビットストリームパラメータ値２４２を生成するように構成されている。パラメータプロバイダ２４０は、（異なるオーディオ・オブジェクト・ペアに個々に関連づけられる）複数の個々のオブジェクト間相関ビットストリームパラメータの代わりに共通のオブジェクト間相関ビットストリームパラメータ値２４２が生成されることを示すビットストリーム・シグナリング・パラメータ２４４を生成するようにも構成されている。
【００８５】
オーディオ信号エンコーダ２００はビットストリームフォーマッタ２５０も備えており、ビットストリームフォーマッタ２５０はダウンミックス信号２３２の表現（例えば、ダウンミックス信号２３２の符号化された表現）と、共通のオブジェクト間相関ビットストリームパラメータ値２４２の表現（例えば、その量子化されて符号化された表現）と、ビットストリーム・シグナリング・パラメータ２４４（例えば、１ビットパラメータ値の形式）とを含むビットストリーム表現２５０を生成するように構成されている。
【００８６】
オーディオ信号エンコーダ２００は、結果的に、オーディオオブジェクト信号２１０ａ〜２１０Ｎによって高精度で記述されるオーディオ場面を表すビットストリーム表現２２０を生成する。具体的には、オーディオオブジェクト信号２１０ａ〜２１０Ｎのうちの多くが互いに関連していれば、即ち無視できないオブジェクト間相関を含んでいれば、ビットストリーム表現２２０はコンパクトなサイド情報を含む。この場合、オーディオ・オブジェクト・ペアに個々に関連づけられる個々のオブジェクト間相関ビットストリームパラメータ値の代わりに、共通のオブジェクト間相関ビットストリームパラメータ値２４２が生成される。したがって、オーディオ信号エンコーダは、何れにしても、関連するオーディオオブジェクト信号２１０ａ〜２１０Ｎのペアが多く存在する場合、及び関連するオーディオオブジェクト信号２１０ａ〜２１０Ｎのペアが少ししか存在しない場合の双方で、コンパクトなビットストリーム表現２２０を生成することができる。特に、コンパクトなビットストリーム表現２２０は、オーディオ信号デコーダ１００により入力情報として必要とされる情報、即ちダウンミックス信号表現１１０及びオブジェクト関連パラメータ情報１１２を含むことができる。したがって、パラメータプロバイダ２４０は、オーディオオブジェクト信号２１０ａ〜２１０Ｎをダウンミキサ２３０により実行されるダウンミックスプロセスとともに記述する追加的なオブジェクト関連パラメータ情報を生成するように構成することができる。例えば、パラメータプロバイダ２４０は、オーディオオブジェクト信号２１０ａ〜２１０Ｎのオブジェクトレベル（又はオブジェクトレベル差）を記述するオブジェクトレベル差情報ＯＬＤを追加的に生成することができる。さらに、パラメータプロバイダ２４０は、ダウンミックス信号２３２の１つ以上のチャネルを形成する際に個々のオーディオオブジェクト信号２１０ａ〜２１０Ｎへ適用されるダウンミックス利得を記述するダウンミックス利得情報ＤＭＧを生成することができる。ダウンミックス信号２３２の異なるチャネル間のダウンミックス利得差を記述するダウンミックス・チャネル・レベル差値ＤＣＬＤもまた、ビットストリーム表現２２０へ包含するために、パラメータプロバイダ２４０が場合により生成することができる。
【００８７】
上記を要約すると、オーディオ信号エンコーダは、オーディオオブジェクト信号２１０ａ〜２１０Ｎによって記述されるオーディオ場面を優れた聴感で再構成するために必要とされるオブジェクト関連パラメータ情報を効率的に生成する。その場合、多数の関連オーディオ・オブジェクト・ペアが存在すれば、コンパクトな共通のオブジェクト間相関ビットストリームパラメータ値が用いられる。これは、ビットストリーム・シグナリング・パラメータ２４４を用いて信号として与えられる。したがって、このような場合、過度のビットストリーム負荷が回避される。
【００８８】
以下、ビットストリーム表現の生成に関する詳細についてさらに述べる。
【００８９】
３．図３によるビットストリーム
図３は、本発明の一実施形態によるビットストリーム３００を概略的な表現を示したものである。
【００９０】
ビットストリーム３００は、例えば、オーディオ信号デコーダ１００の入力ビットストリームであって、ダウンミックス信号表現１１０及びオブジェクト関連パラメータ情報１１２をもっているものとすることができる。ビットストリーム３００は、オーディオ信号エンコーダ２００により出力ビットストリーム２２０として生成することができる。
【００９１】
ビットストリーム３００はダウンミックス信号表現３１０を含み、ダウンミックス信号表現３１０は複数のオーディオオブジェクトのオーディオ信号を結合する１チャネル又は多チャネルのダウンミックス信号（例えば、ダウンミックス信号２３２）の表現である。ビットストリーム３００は、オーディオオブジェクトの特徴を記述するオブジェクト関連のパラメトリックなサイド情報３２０も含み、オーディオオブジェクトのオーディオオブジェクト信号はダウンミックス信号表現３１０によって結合された形式で表される。オブジェクト関連のパラメトリックなサイド情報３２０はビットストリーム・シグナリング・パラメータ３２２を含み、ビットストリーム・シグナリング・パラメータ３２２はビットストリームが（異なるオーディオ・オブジェクト・ペアに個々に関連づけられる）個々のオブジェクト間相関ビットストリームパラメータを含むか、（複数の異なるオーディオ・オブジェクト・ペアに関連づけられる）共通のオブジェクト間相関ビットストリームパラメータ値を含むかを示す。オブジェクト関連のパラメトリックなサイド情報は、ビットストリーム・シグナリング・パラメータ３２２の第１の状態によって示される複数の個々のオブジェクト間相関ビットストリームパラメータ値３２４ａ、又はビットストリーム・シグナリング・パラメータ３２２の第２の状態によって示される共通のオブジェクト間相関ビットストリームパラメータ値も含む。
【００９２】
したがって、ビットストリーム３００は、ビットストリーム３００のフォーマットを個々のオブジェクト間相関ビットストリームパラメータ値の表現又は共通のオブジェクト間相関ビットストリームパラメータ値の表現を包含するように適応させることにより、オーディオオブジェクト信号２１０ａ〜２１０Ｎの関係性特性に適応させることができる。
【００９３】
ビットストリーム３００は、結果的に、コンパクトなサイド情報を有する異なるタイプのオーディオ場面を効率的に符号化する機会を与えると同時に、関連性の強いオーディオオブジェクトが少数しか存在しない場合に優れた聴感を達成する機会も保持する。
【００９４】
続いて、ビットストリームに関する詳細についてさらに論じる。
【００９５】
４．図４によるＭＰＥＧ ＳＡＯＣシステム
以下、図４を参照して、単一のＩＯＣパラメータ計算を用いるＭＰＥＧ ＳＡＯＣシステムについて述べる。
【００９６】
図４によるＭＰＥＧ ＳＡＯＣシステム４００は、ＳＡＯＣエンコーダ４１０と、ＳＡＯＣデコーダ４２０とを備えている。
【００９７】
ＳＡＯＣエンコーダ４１０は、複数の、例えばＬ個のオーディオオブジェクト信号４２０ａ〜４２０Ｎを受信するように構成されている。ＳＡＯＣエンコーダ４１０はダウンミックス信号表現４３０とサイド情報４３２とを生成するように構成されており、ダウンミックス信号表現４３０とサイド情報４３２は必ずしもビットストリームに包含されなければならないということはないが、好ましくはビットストリームに包含される。
【００９８】
ＳＡＯＣエンコーダ４１０はＳＡＯＣダウンミックス処理４４０を含み、ＳＡＯＣダウンミックス処理４４０はオーディオオブジェクト信号４２０ａ〜４２０Ｎを受信し、これらに基づきダウンミックス信号表現４３０を生成する。ＳＡＯＣエンコーダ４１０はパラメータ抽出器４４４も備えており、パラメータ抽出器４４４はオブジェクト信号４２０ａ〜４２０Ｎを受信することができ、場合によりＳＡＯＣダウンミックス処理４４０に関する情報（例えば、１つ以上のダウンミックスパラメータ）も受信することができる。パラメータ抽出器４４４は単一オブジェクト間相関計算器４４８を備えており、単一オブジェクト間相関計算器４４８は複数のオーディオ・オブジェクト・ペアに関連づけられる単一（共通）のオブジェクト間相関値を計算するように構成されている。また、単一オブジェクト間相関計算器４４８は、オブジェクトペア個別的なオブジェクト間相関値の代わりに単一のオブジェクト間相関値が使用されるかどうかを指示する単一オブジェクト間相関信号４５２を生成するようにも構成されている。単一オブジェクト間相関計算器４４８は、共通する単一のオブジェクト間相関値（又はそれに代わって、オーディオオブジェクト信号のペア毎に関連づけられる複数の個々のオブジェクト間相関パラメータ値）が生成されるかどうかを、例えば、オーディオオブジェクト信号４２０ａ〜４２０Ｎの分析に基づいて決定することができる。しかしながら、単一オブジェクト間相関計算器４４８は、共通のオブジェクト間相関値（例えば、１つのビットストリームパラメータ値）が計算されるべきか、個々のオブジェクト間相関値（例えば、複数のビットストリームパラメータ値）が計算されるべきかを決定する外部制御情報も受信することができる。
【００９９】
パラメータ抽出器４４４は、例えばオブジェクトレベル差パラメータのようなオーディオオブジェクト信号４２０ａ〜４２０Ｎを記述する複数のパラメータを生成するようにも構成されている。またパラメータ抽出器４４４は、好適には、例えばダウンミックス利得パラメータＤＭＧのセット及びダウンミックス・チャネル・レベル差パラメータＤＣＬＤのセットのようにダウンミックスを記述するパラメータを生成するようにも構成されている。
【０１００】
ＳＡＯＣエンコーダ４１０は、パラメータ抽出器４４４により生成されるパラメータを量子化する量子化４５６を含む。例えば、共通するオブジェクト間相関パラメータは量子化４５６によって量子化することができる。さらに、オブジェクトレベル差パラメータ、ダウンミックス利得パラメータ及びダウンミックス・チャネル・レベル差パラメータも量子化４５６によって量子化することができる。したがって、量子化４５６により、量子化されたパラメータが得られる。
【０１０１】
ＳＡＯＣエンコーダ４１０は、量子化４５６により生成される量子化されたパラメータを符号化するように構成されている雑音のないコーディング４６０も含む。例えば、雑音のないコーディングは、量子化された共通するオブジェクト間相関パラメータ及び他の量子化されたパラメータ（例えば、ＯＬＤ、ＤＭＧ及びＤＣＬＤ）も雑音なしに符号化することができる。
【０１０２】
したがって、ＳＡＯＣエンコーダ４１０は、サイド情報４３２が単一ＩＯＣ信号４５２（これはビットストリーム・シグナリング・パラメータと考えてよい。）と、雑音のないコーディング４８０により生成される雑音なしにコーディングされたパラメータ（これはビットストリームパラメータ値と考えてもよい。）とを含むように、サイド情報を生成する。
【０１０３】
ＳＡＯＣデコーダ４２０は、ＳＡＯＣエンコーダ４１０によって生成されるサイド情報４３２と、ＳＡＯＣエンコーダ４１０によって生成されるダウンミックス信号表現４３０とを受信するように構成されている。
【０１０４】
ＳＡＯＣデコーダ４２０は雑音のない復号４６４を含み、雑音のない復号４６４はエンコーダ４１０において実行されたサイド情報４３２の雑音のないコーディング４６０を逆転するように構成されている。ＳＡＯＣデコーダ４２０は脱量子化４６８も含む。脱量子化４６８は逆量子化と考えてもよく（それでも、厳密に言えば、量子化を完璧な精度で逆転することはできない。）、脱量子化４６８は復号されたサイド情報４６６を雑音のない復号４６４から受信するように構成されている。脱量子化４６８は脱量子化されたパラメータ４７０、例えば単一オブジェクト間相関計算器４４８によって生成され、復号及び脱量子化された共通のオブジェクト間相関値を生成し、かつ復号及び脱量子化されたオブジェクトレベル差値ＯＬＤ、復号及び脱量子化されたダウンミックス利得値ＤＭＧ、並びに復号及び脱量子化されたダウンミックス・チャネル・レベル差値ＤＣＬＤも生成する。ＳＡＯＣデコーダ４２０は単一オブジェクト間相関エキスパンダ４７４も備えており、単一オブジェクト間相関エキスパンダ４７４は複数の関連オーディオ・オブジェクト・ペアに関連づけられる複数のオブジェクト間相関値を共通のオブジェクト間相関値に基づいて生成するように構成されている。しかしながら、実施形態によっては、単一オブジェクト間相関エキスパンダ４７４が雑音のない復号４６４及び脱量子化４６８より前に配置されてもよいことに留意されるべきである。例えば、単一オブジェクト間相関エキスパンダ４７４は、ダウンミックス信号表現４３０及びサイド情報４３２の双方を含むビットストリームを受信するビットストリームパーサに統合されてもよい。
【０１０５】
ＳＡＯＣデコーダ４２０はＳＡＯＣデコーダ処理及びミキシング４８０も含み、ＳＡＯＣデコーダ処理及びミキシング４８０はダウンミックス信号表現４３０と、サイド情報４３２に（符号化された形式で）含まれていて復号されたパラメータとを受信するように構成されている。したがって、ＳＡＯＣデコーダ処理及びミキシング４８０は、例えば（異なる）オーディオ・オブジェクト・ペア毎に１つ又は２つのオブジェクト間相関値を受信することができ、この場合、その１つ又は２つのオブジェクト間相関値は、関連のないオーディオオブジェクトではゼロ、関連のあるオーディオオブジェクトでは非ゼロとすることができる。さらに、ＳＡＯＣデコーダ処理及びミキシング４８０は、あらゆるオーディオオブジェクトのオブジェクトレベル差値を受信することができる。さらに、ＳＡＯＣデコーダ処理及びミキシング４８０は、ＳＡＯＣダウンミックス処理４４０において実行されたダウンミックスを記述するダウンミックス利得値及び（場合により）ダウンミックス・チャネル・レベル差値を受信することができる。したがって、ＳＡＯＣデコーダ処理及びミキシング４８０は、ダウンミックス信号表現４３０、サイド情報４３２に含まれるサイド情報パラメータ及びオーディオオブジェクトの所望されるレンダリングを記述する相互作用情報４８２に依存して、複数のチャネル信号４８４ａ〜４８４Ｎを生成することができる。しかしながら、チャネル４８４ａ〜４８４Ｎは、個々のオーディオチャネル信号の形式、又は、例えばＭＰＥＧサラウンド規格に従ったマルチチャネル表現（例えば、ＭＰＥＧサラウンドダウンミックス信号及びチャネル関連ＭＰＥＧサラウンドサイド情報を含む。）のようなパラメトリック表現の形式の何れで表現されてもよいことに留意されるべきである。換言すれば、本明細書本文においては、個々のチャネルオーディオ信号表現及びパラメトリックなマルチチャネルオーディオ信号表現の双方がアップミックス信号表現として考慮される。
【０１０６】
以下、ＳＡＯＣエンコーダ４１０及びＳＡＯＣデコーダ４２０の機能に関する幾つかの詳細について述べる。
【０１０７】
以下で論じるＳＡＯＣサイド情報は、ＳＡＯＣ符号化及びＳＡＯＣ復号化において重要な役割を果たす。ＳＡＯＣサイド情報は、入力されるオブジェクト（オーディオオブジェクト）をその時間／周波数可変共分散行列によって記述する。Ｎ個のオブジェクト信号４２０ａ〜４２０Ｎ（単に「オブジェクト」と示される場合もある。）は、行列：
における列（rows）として記すことができる。ここで、エントリｓi（ｌ）は、時間指数ｌを有する複数の時間部分に関するオーディオオブジェクト指数ｉを有するオーディオオブジェクトのスペクトル値を示す。Ｌ個のサンプルによる信号ブロックは、信号特性の記述に適用される時間−周波数平面の知覚的に動機付けされるタイリング（tiling）の一部である１つの時間及び周波数間隔内の信号を表す。
【０１０８】
ゆえに、共分散行列は、
但し、
として与えられる。
【０１０９】
この共分散行列は、典型的には、ＳＡＯＣデコーダ処理及びミキシング４８０によってチャネル信号４８４ａ〜４８４Ｎを取得するために用いられる。
【０１１０】
対角要素は、ＳＡＯＣデコーダ側においてＯＬＤデータによって直接に再構成されることができ、非対角要素は、オブジェクト間相関（ＩＯＣ）により、
として与えられる。オブジェクトレベル差値がｓm及びｓnを表していることに留意されるべきである。
【０１１１】
共分散行列全体を表わすために必要とされるオブジェクト間相関値の数は、Ｎ＊Ｎ／２−Ｎ／２である。この数は膨大になって（例えば、オブジェクト信号の数が多い場合）、高いビット要求に繋がる可能性があることから、ＳＡＯＣエンコーダ４１０（ならびにオーディオ信号エンコーダ２００）は、場合により、互いに信号で「関連あり」と表されるオブジェクトペアに関して選択されたオブジェクト間相関値のみを伝送することができる。この任意の「関連あり」情報は、例えばビットストリームのＳＡＯＣ固有のコンフィギュレーション構文要素において静的に表され、例えば「ＳＡＯＣＳｐｅｃｉｆｉｃＣｏｎｆｉｇ（）」で示すことができる。互いに関連していないオブジェクトは、例えば無相関であると想定され、即ちそのオブジェクト間相関はゼロに等しい。
【０１１２】
しかしながら、全てのオブジェクト（又は、略全てのオブジェクト）が互いに関連している適用の筋書きが存在する。このような適用の筋書きの一例は、マイクロホンの設備を用い室内音響が高度のマイクロホン間クロストークを伴う電話会議である。これらの事例では、（上述の従来的機構が使用されれば）全てのＩＯＣ値の伝送が必要になり、通常は、所望されるビット割当量を超過するであろう。別の方法として、全てのオブジェクトが無相関であると想定することは、多大なモデルエラーを誘発し、そのために、再現される場面は準最適なオーディオ品質となるであろう。
【０１１３】
提案アプローチの基礎は、所定のＳＡＯＣ適用の筋書きの場合、無相関の音源は、それらが位置決めされる音響環境に起因して、かつ適用される録音技術に起因して相関するＳＡＯＣ入力オブジェクトをもたらすという想定にある。
【０１１４】
例えば、電話会議の装備について考察すると、室内残響音及び個々のスピーカの不完全な隔離による影響は、個々の対象者の発話が無相関であっても相関されたＳＡＯＣオブジェクトに繋がる。これらの音響的状況及び結果としての相関性は、単一の周波数及び時間可変値によってほぼ記述することができる。
【０１１５】
したがって、本提案方法は、所望されるオブジェクト相関性を全て表わす高ビットレート要求をうまく回避する。これは、ＳＡＯＣエンコーダにおける専用の「単一ＩＯＣ計算器」モジュール４４８（図４）において単一の時間／周波数依存単一ＩＯＣ値を計算することによって行われる。「単一ＩＯＣ」機能の使用は、信号としてＳＡＯＣ情報（例えば、ビットストリーム・シグナリング・パラメータ「ｂｓＯｎｅＩＯＣ」を用いて）で表わされる。その後、時間／周波数タイルごとに単一のＩＯＣ値が、別々の全てのＩＯＣ値の代わりに（例えば、共通のオブジェクト間相関ビットストリームパラメータ値を用いて）伝送される。
【０１１６】
ある典型的な適用において、ビットストリームヘッダ（例えば、未公開のＳＡＯＣ規格［ＳＡＯＣ］（非特許文献５）に従った「ＳＡＯＣＳｐｅｃｉｆｉｃＣｏｎｆｉｇ（）」要素）は、「単一ＩＯＣ」信号が使用されるか、「標準的な」ＩＯＣ信号が使用されるかを示す１ビットを含む。以下、この問題に関する幾つかの詳細について論じる。
【０１１７】
ペイロード・フレーム・データ（例えば、未公開のＳＡＯＣ規格［ＳＡＯＣ］（非特許文献５）における「ＳＡＯＣＦｒａｍｅ（）」要素）は、次に、「単一ＩＯＣ」モード又は「標準」モードに依存して全てのオブジェクト又は幾つかのＩＯＣに共通するＩＯＣを含む。
【０１１８】
ゆえに、デコーダ内のペイロードデータのためのビットストリームパーサ（ＳＡＯＣデコーダの一部であってもよい）は、下記の例（擬似Ｃコードで定式化されている）に従って設計することができる。
if (iocMode == SINGLE_IOC)
{
readIocDataFromBitstream(1);
}
else
{
readIocDataFromBitstream (numberOfTransmittedIocs);
}
【０１１９】
上記の例によれば、ビットストリームパーサは、フラグ「ｉｏｃＭｏｄｅ」（以下、「ｂｓＯｎｅＩＯＣ」でも示される）が唯一のオブジェクト間相関ビットストリームパラメータ値（パラメータ値「ＳＩＮＧＬＥ＿ＩＯＣ」によって信号として表わされる）の存在を示しているかどうかをチェックする。ビットストリームパーサは、唯一のオブジェクト間相関値が存在していることを発見すると、ビットストリームから、演算「ｒｅａｄＩｏｃＤａｔａＦｒｏｍＢｉｔｓｔｒｅａｍ（１）」により示される１つのオブジェクト間相関データユニット（即ち、１つのオブジェクト間相関ビットストリームパラメータ値）を読み取る。これに対して、フラグ「ｉｏｃＭｏｄｅ」が単一（共通）のオブジェクト間相関値の使用を示していないことを発見すると、ビットストリームパーサは、ビットストリームから、関数「ｒｅａｄＩｏｃＤａｔａＦｒｏｍＢｉｔｓｔｒｅａｍ（ｎｕｍｂｅｒＯｆＴｒａｎｓｍｉｔｔｅｄＩｏｃｓ）」により示される異なる数のオブジェクト間相関データユニット（即ち、複数のオブジェクト間相関ビットストリームパラメータ値）を読み取る。この場合に読み取られるオブジェクト間相関データユニットの数（「ｎｕｍｂｅｒＯｆＴｒａｎｓｍｉｔｔｅｄＩｏｃｓ」）は、典型的には、関連オーディオ・オブジェクト・ペアの数によって決定される。
【０１２０】
あるいは、「単一ＩＯＣ」信号は、単一ＩＯＣモードと標準ＩＯＣモードとの間のフレーム毎の動的切換を有効化するために、ペイロードフレーム内（例えば、未公開のＳＡＯＣ規格における所謂「ＳＡＯＣＦｒａｍｅ（）」要素内）に存在することもできる。
【０１２１】
５．共通するオブジェクト間相関ビットストリームパラメータのエンコーダ側での計算の実施
以下、単一ＩＯＣ（ＩＯＣsingle）計算の幾つかの好適な実施について述べる。
【０１２２】
５．１ クロスパワー項を用いる計算
ＳＡＯＣエンコーダ４１０の好適な一実施形態において、共通のオブジェクト間相関ビットストリームパラメータ値ＩＯＣsingleは、次式にしたがって計算することができる。
但し、クロスパワー項は、
である。ここで、ｎ及びｋは、ＳＡＯＣパラメータが適用される時間及び周波数インスタンス（又は時間及び周波数指数）である。
【０１２３】
換言すれば、共通のオブジェクト間相関ビットストリームパラメータ値ＩＯＣsingleは、クロスパワー項ｎｒｇij（この場合、オブジェクト指数ｉは、典型的にはオブジェクト指数jとは異なる）の和と、平均エネルギー値
（この平均エネルギー値は、例えば、エネルギー値ｎｒｇiiとｎｒｇjjとの幾何学的平均を表す）の和との割合に依存して計算することができる。
【０１２４】
この加算は、例えば全ての異なるオーディオ・オブジェクト・ペアについて実行してもよく、関連オーディオ・オブジェクト・ペアのみについて実行してもよい。
【０１２５】
クロスパワー項ｎｒｇijは、例えば、複数の時間インスタンス（時間指数ｎを有する）及び／又は複数の周波数インスタンス（周波数指数ｋを有する）について考慮されるオーディオ・オブジェクト・ペアのオーディオオブジェクト信号に関連づけられるスペクトル係数ｓin,k、ｓjn,kの複素共役積（因数のうちの１つが複素共役される）の和として形成することができる。
【０１２６】
上述の方程式に示されているように、実数値の共通のオブジェクト間相関ビットストリームパラメータ値ＩＯＣsingleを有するために、前記割合の実数部を（例えば、演算Ｒｅ｛｝によって）形成することができる。
【０１２７】
５．２ 定値の使用
別の好適な実施形態において、共通のオブジェクト間相関ビットストリームパラメータ値ＩＯＣsingleを取得するために、
ＩＯＣsingle＝ｃ
に従って定値ｃを選ぶことができる。但し、ｃは定数である。
【０１２８】
この定数ｃは、例えば、電話会議が行われる固有の音響（残響量）を有する部屋の時間及び周波数非依存クロストークを記述できるかも知れない。
【０１２９】
定数ｃは、例えば、室内音響の推定に従って設定することができ、ＳＡＯＣエンコーダによって実行することができる。あるいは、定数ｃは、ユーザインタフェースを介して入力しても、又はＳＡＯＣエンコーダ４１０において予め定めてもよい。
【０１３０】
６．全てのオブジェクトペアに関するデコーダ側のオブジェクト間相関値の決定
以下、全てのオブジェクトペアについてオブジェクト間相関値を如何にして取得できるかについて述べる。
【０１３１】
デコーダ側では（例えば、ＳＡＯＣデコーダ４２０において）、単一のオブジェクト間相関（ビットストリーム）パラメータ（ＩＯＣsingle）を用いて全てのオブジェクトペアのオブジェクト間相関値が決定される。これは、例えば、「単一ＩＯＣエキスパンダ」モジュール４７４（図４参照）において行われる。
【０１３２】
ある好適な方法は、単純なコピー動作である。コピーは、例えば、ＳＡＯＣビットストリームヘッダにおいて（例えば、「ＳＡＯＣＳｐｅｃｉｆｉｃＣｏｎｆｉｇｕｒａｔｉｏｎ（）」部分において）伝達される「関連あり」情報を考慮して、又は考慮せずに適用することができる。
【０１３３】
ある好適な実施形態において、「関連あり」情報のない（即ち、「関連あり」情報を転送又は考慮しない）コピーは、下記の方式で実行することができる。
ＩＯＣｍｎ＝ＩＯＣｓｉｎｇｌｅ
（ｍ≠ｎである全てのｍ、ｎについて。）
【０１３４】
したがって、異なるオーディオ・オブジェクト・ペアに関するオブジェクト間相関値は全て、共通するオブジェクト間相関（ビットストリーム）パラメータ値に設定される。
【０１３５】
別の好適な実施形態において、「関連あり」情報を有する（即ち、「関連あり」情報を考慮する）コピーは、例えば下記の方式で実行される。
ＩＯＣmn＝ＩＯＣsingle
（ｍ≠ｎかつｒｅｌａｔｅｄＴｏ（ｍ，ｎ）＝１である全てのｍ、ｎについて。）
ＩＯＣmn＝０
（ｍ≠ｎかつｒｅｌａｔｅｄＴｏ（ｍ，ｎ）＝０である全てのｍ、ｎについて。）
【０１３６】
したがって、オブジェクト関連情報「ｒｅｌａｔｅｄＴｏ（ｍ，ｎ）」がそのオーディオオブジェクトは互いに関連していることを示していれば、（オーディオオブジェクト指数ｍ及びｎを有する）オーディオオブジェクトのペアに関連づけられる１つの、又は２つでさえあるオブジェクト間相関値は、例えば共通のオブジェクト間相関ビットストリームパラメータ値によって指定される値ＩＯＣsingleに設定される。そうでなければ、即ち、オブジェクト関連情報「ｒｅｌａｔｅｄＴｏ（ｍ，ｎ）」があるオーディオ・オブジェクト・ペアのオーディオオブジェクトは関連していないことを示していれば、そのオーディオオブジェクトのペアに関連づけられる１つの、又は２つでさえあるオブジェクト間相関値は、既定の値、例えばゼロに設定される。
【０１３７】
しかしながら、例えば、オブジェクトの電力を考慮した異なる分配方法も可能である。例えば、比較的低い電力を有するオブジェクトに関するオブジェクト間相関値は、ＳＡＯＣデコーダにおける脱相関フィルタの影響を最小限に抑えるために、１（完全相関）等の高値に設定することができる。
【０１３８】
７．図５及び図６によるビットストリーム要素を用いるデコーダ概念
以下、図５及び図６によるビットストリーム構文要素を用いるオーディオ信号デコーダのデコーダ概念について述べる。ここで、図５及び図６を参照して述べるビットストリーム構文及びビットストリーム評価概念が、例えば図１によるオーディオ信号デコーダ１００においても、図４によるオーディオ信号デコーダ４２０においても適用され得ることに留意されるべきである。さらに、図２によるオーディオ信号エンコーダ２００及び図４によるオーディオ信号デコーダ４１０は、図５及び図６に関連して論じられるようなビットストリーム構文要素を生成するように適合化され得ることにも留意されるべきである。
【０１３９】
したがって、ダウンミックス信号表現１１０及びオブジェクト関連パラメータ情報１１２を備えているビットストリーム、及び／又はビットストリーム表現２２０、及び／又はビットストリーム３００、及び／又はダウンミックス情報４３０及びサイド情報４３２を含むビットストリームは、以下の説明に従って生成することができる。
【０１４０】
上述のＳＡＯＣエンコーダにより生成することができ、かつ上述のＳＡＯＣデコーダにより評価することのできるＳＡＯＣビットストリームは、以下で図５を参照して述べるＳＡＯＣ固有のコンフィギュレーション部分を含むことができる。図５はこのようなＳＡＯＣ固有のコンフィギュレーション部分「ＳＡＯＣＳｐｅｃｉｆｉｃＣｏｎｆｉｇ（）」の構文表現を示している。
【０１４１】
ＳＡＯＣ固有のコンフィギュレーション情報は、例えば、サンプリング周波数コンフィギュレーション(sampling frequency configuration)情報を含み、サンプリング周波数コンフィギュレーション情報は、オーディオ信号エンコーダにより使用され、かつ／又はオーディオ信号デコーダにより使用されるべきサンプリング周波数を記述する。また、ＳＡＯＣ固有のコンフィギュレーション情報は低遅延モードコンフィギュレーション(low delay mode configuration)情報も含み、低遅延モードコンフィギュレーション情報は、低遅延モードがオーディオ信号エンコーダにより使用されてきているかどうか、かつ／又はオーディオ信号デコーダにより使用されるべきかどうかを記述する。またＳＡＯＣ固有のコンフィギュレーション情報は周波数分解能コンフィギュレーション(frequency resolution configuration)情報も含み、周波数分解能コンフィギュレーション情報は、オーディオ信号エンコーダにより使用され、かつ／又はオーディオ信号デコーダにより使用されるべき周波数分解能を記述する。またＳＡＯＣ固有のコンフィギュレーション情報はフレーム長さコンフィギュレーション(frame length configuration)情報も含み、フレーム長さコンフィギュレーション情報は、ＳＡＯＣエンコーダにより使用され、かつ／又はＳＡＯＣデコーダにより使用されるべきオーディオフレームのフレーム長さを記述する。またＳＡＯＣ固有のコンフィギュレーション情報は、オーディオオブジェクトの数を記述するオブジェクト数コンフィギュレーション(object number configuration)情報も含む。「ｂｓＮｕｍＯｂｊｅｃｔｓ」でも示されるこのオブジェクト数コンフィギュレーション情報は、例えば、これまでの説明で使用された値Ｎを記述する。
【０１４２】
ＳＡＯＣ固有のコンフィギュレーション情報は、オブジェクト関係性コンフィギュレーション(object relationship configuration)情報も含む。例えば、異なるオーディオ・オブジェクトのペアに悉く１ビットストリームビットを存在させることができる。しかしながら、オーディオオブジェクトの関係性は、例えば、オーディオオブジェクトの組合せ毎に１ビットのエントリを有するＮ×Ｎ正方行列によって表すことができる。前記行列でオブジェクトとそのオブジェクト自体との関係性を記述するエントリ、すなわち対角要素は１に設定することができ、それはあるオブジェクトがそれ自体に関連づけられることを示す。２つのエントリ、すなわち第１の指数ｉと第２の指数ｊとを有する第１のエントリ及び第１の指数ｊと第２の指数ｉとを有する第２のエントリは、オーディオオブジェクト指数ｉ及びｊを有する異なるオーディオ・オブジェクト・ペアの各々に関連づけることができる。したがって、単一のビットストリームビットは、オブジェクト関連性行列の２エントリの値を決定し、それらの２つのエントリの値は同一値に設定される。
【０１４３】
図５から分かるように、第１のオーディオオブジェクト指数ｉは、ｉ＝０からｉ＝ｂｓＮｕｍＯｂｊｅｃｔｓへと進む（外側のｆｏｒループ）。対角エントリ「ｂｓＲｅｌａｔｅｄＴｏ［ｉ］［ｉ］」は、全てのｉ値に対して１に設定される。第１のオーディオオブジェクト指数ｉに関して、オーディオオブジェクトｉとオーディオオブジェクトｊ（オーディオオブジェクト指数ｊを有する）との関係性を記述するビットは、ｊ＝ｉ＋１からｊ＝ｂｓＮｕｍＯｂｊｅｃｔｓまでのビットストリームに含まれる。したがって、オーディオオブジェクト指数ｉ及びｊを有するオーディオオブジェクト間の関係性を記述する関係性行列のエントリ「ｂｓＲｅｌａｔｅｄＴｏ［ｉ］［ｊ］」は、ビットストリーム内に与えられる値に設定される。さらに、オブジェクト関連性行列のエントリ「ｂｓＲｅｌａｔｅｄＴｏ［ｊ］［ｉ］」は同じ値に、即ち行列エントリ「ｂｓＲｅｌａｔｅｄＴｏ［ｉ］［ｊ］」の値に設定される。詳細については、図５の構文表現を参照されたい。
【０１４４】
ＳＡＯＣ固有のコンフィギュレーション情報は絶対エネルギー伝送コンフィギュレーション情報(absolute energy transmission configuration)も含み、絶対エネルギー伝送コンフィギュレーション情報はオーディオエンコーダが絶対エネルギー情報をビットストリーム内へ包含しているかどうか、かつ／又はオーディオデコーダがそのビットストリームに含まれる絶対エネルギー伝送コンフィギュレーション情報を評価すべきかどうかを記述する。
【０１４５】
ＳＡＯＣ固有のコンフィギュレーション情報はダウンミックスチャネル数コンフィギュレーション(downmix-channel-number configuration)情報も含み、ダウンミックスチャネル数コンフィギュレーション情報は、オーディオエンコーダにより使用され、かつ／又はオーディオデコーダにより使用されるべきダウンミックスチャネルの数を記述する。また、ＳＡＯＣ固有のコンフィギュレーション情報は追加的コンフィギュレーション(additional configuration)情報も含むことができ、追加的コンフィギュレーション情報は本出願に関連せず、したがって場合により省略することができる。
【０１４６】
ＳＡＯＣ固有のコンフィギュレーション情報は共通のオブジェクト間相関コンフィギュレーション(common inter-object-correlation configuration)情報（本明細書では、「ビットストリーム・シグナリング・パラメータ」としても示される。）も含み、共通のオブジェクト間相関コンフィギュレーション情報は、共通のオブジェクト間相関ビットストリームパラメータ値がＳＡＯＣビットストリームに含まれるかどうか、又はオブジェクトペア毎のオブジェクト間相関ビットストリームパラメータ値がＳＡＯＣビットストリームに含まれるかどうかを記述する。その共通のオブジェクト間相関コンフィギュレーション情報は、例えば「ｂｓＯｎｅＩＯＣ」で示すことができ、また１ビット値とすることができる。
【０１４７】
ＳＡＯＣ固有のコンフィギュレーション情報は、歪制御ユニットコンフィギュレーション(distortion control unit configuration)情報も含むことができる。
【０１４８】
さらに、ＳＡＯＣ固有のコンフィギュレーション情報は１つ以上の充填ビット(fill bit)を含んでもよい。充填ビットは「ＢｙｔｅＡｌｉｇｎ（）」で示され、かつＳＡＯＣ固有のコンフィギュレーション情報の長さを調整するために使用することができる。さらに、ＳＡＯＣ固有のコンフィギュレーション情報は任意の追加的なコンフィギュレーション情報「ＳＡＯＣＥｘｔｅｎｓｉｏｎＣｏｎｆｉｇ（）」を含んでもよいが、これは本出願には関連がなく、そのため本明細書では論じない。
【０１４９】
ここで、ＳＡＯＣ固有のコンフィギュレーション情報に含まれるコンフィギュレーション情報が上述のコンフィギュレーション情報より多くてもよく又は少なくてもよいことに留意されるべきである。換言すれば、実施形態によっては上述のコンフィギュレーション情報のうちの幾つかを省略することができ、また実施形態によっては更なるコンフィギュレーション情報を包含することができる。
【０１５０】
しかしながら、ＳＡＯＣ固有のコンフィギュレーション情報は、例えばＳＡＯＣビットストリームにおけるオーディオの一定量ごとに１回包含されてもよいことに留意されるべきである。しかしながら、ＳＡＯＣ固有のコンフィギュレーション情報は、場合によりビットストリームにそれより多く包含することができる。しかし、ＳＡＯＣ固有のコンフィギュレーション情報がかなりのビット負荷を与えることから、ＳＡＯＣ固有のコンフィギュレーション情報は、典型的には、複数のＳＡＯＣフレームに対して与えられる。
【０１５１】
以下、ＳＡＯＣフレームの構文について、このようなＳＡＯＣフレームの構文表現を示す図６を参照して述べる。ＳＡＯＣフレームは符号化されたオブジェクトレベル差値ＯＬＤを含み、符号化されたオブジェクトレベル差値ＯＬＤはバンド関連で、オーディオオブジェクト毎に包含することができる。
【０１５２】
ＳＡＯＣフレームは符号化された絶対エネルギー値(absolute energy value)ＮＲＧも含み、符号化された絶対エネルギー値ＮＲＧは任意であると考えてもよく、バンド関連で包含されてもよい。
【０１５３】
ＳＡＯＣフレームは符号化されたオブジェクト間相関値ＩＯＣも含み、符号化されたオブジェクト間相関値ＩＯＣは、バンド関連で、即ち複数の周波数バンドで別々に与えられてもよく、オーディオオブジェクトの複数の組合せに対して与えられてもよい。
【０１５４】
以下、ビットストリームについて、ビットストリームを構文解析するビットストリームパーサにより実行することのできる演算について述べる。
【０１５５】
ビットストリームパーサは、例えば、最初の準備段階において変数ｋ、ｉｏｃｌｄｘ１、ｉｏｃｌｄｘ２を値ゼロに初期化することができる。
【０１５６】
続いて、ビットストリームパーサは、ｉ＝０からｉ＝ｂｓＮｕｍＯｂｊｅｃｔｓまでの第１のオーディオオブジェクト指数ｉの複数の値について構文解析を実行することができる（外側のｆｏｒループ）。ビットストリームパーサは、例えば、オーディオオブジェクト指数ｉを有するオーディオオブジェクトとこのオーディオオブジェクト自体との関係性を記述するオブジェクト間相関指数値ｉｄｘＩｏｃ［ｉ］［ｉ］を、完全相関を示すゼロに設定することができる。
【０１５７】
続いて、ビットストリームパーサは、ｉ＋１からｂｓＮｕｍＯｂｊｅｃｔｓまでの第２のオーディオオブジェクト指数の値ｊについてビットストリームを評価することができる。オーディオオブジェクト指数ｉ及びｊを有するオーディオオブジェクトに関連があって、これがオブジェクト関連性行列のエントリ「ｂｓＲｅｌａｔｅｄＴｏ［ｉ］［ｊ］」の非ゼロ値によって示されておれば、ビットストリームパーサはアルゴリズム６１０を実行し、そうでなければ、ビットストリームパーサは、オーディオオブジェクト指数ｉ及びｊを有するオーディオオブジェクトに関連づけられるオブジェクト間相関指数を５（演算「ｉｄｘＩＯＣ［ｉ］［ｊ］＝５」）に設定する。オブジェクト間相関指数の５はゼロ相関を記述する。このように、オブジェクト関連性行列が関係性のないことを示しているオーディオ・オブジェクト・ペアに対しては、オブジェクト間相関値がゼロに設定される。しかしながら、オーディオ・オブジェクト・ペアに関連があれば、ＳＡＯＣ固有のコンフィギュレーションに含まれるビットストリーム・シグナリング・パラメータ「ｂｓＯｎｅＩＯＣ」が進め方を決定するために評価される。ビットストリーム・シグナリング・パラメータ「ｂｓＯｎｅＩＯＣ」が、オブジェクトペア毎のオブジェクト間相関ビットストリームパラメータ値の存在を示していれば、関数「ＥｃＤａｔａＳａｏｃ」を用いて、「ｎｕｍＢａｎｄｓ」周波数バンドのビットストリームから複数のｉｄｘＩｏｃ［ｉ］［ｊ］（オブジェクト間関係性ビットストリームパラメータ値と考えることができる。）が抽出される。この場合、その関数「ＥｃＤａｔａＳａｏｃ」はオブジェクト間関係性指数を復号するために使用することができる。
【０１５８】
しかしながら、ビットストリーム・シグナリング・パラメータ「ｂｓＯｎｅＩＯＣ」が、複数のオーディオ・オブジェクト・ペアに対して共通のオブジェクト間相関ビットストリームパラメータ値が使用されることを示し、かつビットストリームパラメータ「ｂｓＲｅｌａｔｅｄＴｏ［ｉ］［ｊ］」がオーディオオブジェクト指数ｉ及びｊを有するオーディオオブジェクトは関連していることを示していれば、複数のｎｕｍＢａｎｄｓ周波数バンドに対して、関数「ＥｃＤａｔａＳａｏｃ」を用いてビットストリームから複数のオブジェクト間相関指数「ｉｄｘＩＯＣ［ｉ］［ｊ］」からなる単一セットが読み取られる。その場合、どの周波数バンドに対しても、単一のオブジェクト間相関指数のみが読み取られる。しかしながら、アルゴリズム６１０を再実行した時点で、先に読み取られたオブジェクト間相関指数ｉｄｘＩＯＣ［ｉｏｃｌｄｘ１］［ｉｏｃｌｄｘ２］はビットストリームを評価することなくコピーされる。これは変数ｋの使用によって保証され、変数ｋはゼロに初期化されかつオブジェクト間相関指数ｉｄｘＩＯＣ［ｉ］［ｊ］の最初のセットが評価された時点で増分される。
【０１５９】
要約すると、２つのオーディオオブジェクトによる各組合せについて、このような組合せの２つのオーディオオブジェクトが互いに関連しているとして信号で表わされているかどうかが、まず評価される（例えば、値「ｂｓＲｅｌａｔｅｄＴｏ［ｉ］［ｊ］」が値ゼロをとるか否かをチェックすることによって。）。そのオーディオ・オブジェクト・ペアのオーディオオブジェクトが関連していれば、さらなる処理６１０が実行される。そうでなければ、この（実質上関連のない）オーディオ・オブジェクト・ペアに関連づけられる値「ｉｄｘＩＯＣ［ｉ］［ｊ］」は既定値に、例えばゼロオブジェクト間相関を示す既定値に設定される。
【０１６０】
処理６１０において、信号「ｂｓＯｎｅＩＯＣ」が不活性であれば、あらゆるオーディオ・オブジェクト・ペア（関連するオーディオオブジェクトを含むことが信号で表わされている。）についてビットストリームから１つのビットストリーム値が読み取られる。そうでなければ、即ち信号「ｂｓＯｎｅＩＯＣ」が活性であれば、１つのオーディオ・オブジェクト・ペアにつきビットストリーム値が１つだけ読み取られ、かつ指数値ｉｏｃｌｄｘ１及びｉｏｃｌｄｘ２をこの読取り値におけるポイントに設定することにより、前記単一のペアの参照が保持される。信号「ｂｓＯｎｅＩＯＣ」が活性であれば、読み取られたこの単一の値は他のオーディオ・オブジェクト・ペア（互いに関連ありとして信号で表わされている。）用に再使用される。
【０１６１】
最後に、所定の２つのオーディオオブジェクトのどちらが第１のオーディオオブジェクトであって、所定の２つのオーディオオブジェクトのどちらが第２のオーディオオブジェクトであるかに関わらず、２つの異なる所定のオーディオオブジェクトの双方の組合せに同一のオブジェクト間相関指数値が関連づけられることも保証される。
【０１６２】
さらに、ＳＡＯＣフレームは、典型的には、オーディオオブジェクト毎に符号化されたダウンミックス利得値（ＤＭＧ）を含むことに留意されるべきである。
【０１６３】
さらに、ＳＡＯＣフレームは、典型的には、符号化されたダウンミックス・チャネル・レベル差（ＤＣＬＤ）を含み、符号化されたダウンミックス・チャネル・レベル差は場合によりオーディオオブジェクト毎に含むことができる。
【０１６４】
ＳＡＯＣフレームはさらに、場合により、符号化された処理後ダウンミックス利得値（ＰＤＧ）を含み、符号化された処理後ダウンミックス利得値はバンド関連方式で、かつダウンミックスチャネル毎に含むことができる。
【０１６５】
さらに、ＳＡＯＣフレームは符号化された歪制御ユニットパラメータ(distortion-control-unit parameters)を含むことができ、符号化された歪制御ユニットパラメータは歪制御尺度の適用を決定する。
【０１６６】
その上、ＳＡＯＣフレームは、１つ以上の充填ビット「ＢｙｔｅＡｌｉｇｎ（）」を含むことができる。
【０１６７】
さらに、ＳＡＯＣフレームは、拡張データ「ＳＡＯＣＥｘｔｅｎｓｉｏｎＦｒａｍｅ（）」を含んでもよいが、これは本出願には関連がなく、そのため本明細書では詳述しない。
【０１６８】
次に、図７を参照して、オブジェクト間相関パラメータの効果的な量子化の一例について述べる。
【０１６９】
図７から分かるように、図７の表の最初の行７１０は量子化指数ｉｄｘを表し、量子化指数ｉｄｘはゼロから７までの範囲内にある。この量子化指数は、変数「ｉｄｘＩＯＣ［ｉ］［ｊ］」へ割り付けることができる。図７の表の第２の行７２０は、関連するオブジェクト間相関値を−０．９９から１までの範囲で示している。したがって、パラメータ「ｉｄｘＩＯＣ［ｉ］［ｊ］」の値は、図７の表のマッピングを用いて逆量子化されたオブジェクト間相関値へ移すことができる。
【０１７０】
結論を言えば、ＳＡＯＣコンフィギュレーション部分「ＳＡＯＣＳｐｅｃｉｆｉｃＣｏｎｆｉｇ（）」は好適にはビットストリームパラメータ「ｂｓＯｎｅＩＯＣ」を含み、ビットストリームパラメータ「ｂｓＯｎｅＩＯＣ」は、互いに関連性を有する全てのオブジェクトに共通する単一のＩＯＣパラメータのみが表わされているかどうかを示し、「ｂｓＲｅｌａｔｅｄＴｏ［ｉ］［ｊ］＝１」により信号で表わされる。オブジェクト間相関値は、ビットストリーム内に符号化された形式「ＥｃＤａｔａＳａｏｃ（ＩＯＣ，ｋ，ｎｕｍＢａｎｄｓ）」で含まれる。アレイ「ｉｄｘＩＯＣ［ｉ］［ｊ］」は、１つ以上の符号化されたオブジェクト間相関値に基づき埋められる。アレイ「ｉｄｘＩＯＣ［ｉ］［ｊ］」のエントリは、逆量子化されたオブジェクト間相関値を取得するために、図７のマッピング表を用いて逆量子化された値へ移される。ＩＯＣi,jで示される逆量子化されたオブジェクト間相関値は、共分散行列のエントリを取得するために用いられる。この目的に沿って、ＯＬＤiで示される逆量子化されたオブジェクトレベル差パラメータも適用される。
【０１７１】
複数の要素ｅi,jを有するサイズＮ×Ｎの共分散行列Ｅは、元の信号の共分散行列
の近似値を表し、かつ、
としてＯＬＤ及びＩＯＣパラメータから取得される。
【０１７２】
７．実施の変形例
以上、幾つかの態様を装置の文脈で説明したが、これらの態様は対応する方法を記述するものでもあることは明らかでああり、その場合、ブロック又はデバイスが方法ステップ又は方法ステップの特徴に対応する。同様に、方法ステップの文脈で説明される態様も、対応するブロックもしくは項目、又は対応する装置の特徴の説明を表す。これらの方法ステップのうちの幾つか又は全ては、例えばマイクロプロセッサ、プログラマブルコンピュータ又は電子回路のようなハードウェア装置によって（又はこれを使用して）実行することができる。実施形態によっては、最も重要な方法ステップのうちのどれか１つ又は複数の方法ステップがこのような装置によって実行することができる。
【０１７３】
本発明による符号化されたオーディオ信号は、デジタル記憶媒体に蓄積されることが可能であり、又は無線伝送媒体等の伝送媒体上又はインターネット等の有線伝送媒体上で伝送されることが可能である。
【０１７４】
所定の実施要請に依存して、本発明の実施形態はハードウェア又はソフトウェアで実施されることが可能である。実施は電子的に読取り可能な制御信号を蓄積しているデジタル記憶媒体、例えばフロッピーディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ又はフラッシュメモリ、を用いて実行されることが可能であり、それらのデジタル記憶媒体は個々の方法が実行されるようにプログラム可能コンピュータシステムと協働する（又は協働することができる）。したがって、デジタル記憶媒体はコンピュータ読取り可能とすることができる。
【０１７５】
本発明による幾つかの実施形態は、本明細書に記載されている方法のうちの１つが実行されるようにプログラム可能コンピュータシステムと協働できる電子的に読取り可能な制御信号を有するデータキャリアを含んでいる。
【０１７６】
概して、本発明の実施形態は、プログラムコードを有するコンピュータ・プログラム製品として実施されることが可能であり、前記プログラムコードは、このコンピュータ・プログラム製品がコンピュータ上で実行されると本発明の方法のうちの１つを実行するように作動する。プログラムコードは、例えば機械読取り可能キャリアに蓄積することができる。
【０１７７】
他の実施形態は、機械読取り可能キャリアに蓄積された、本明細書に記載されている本発明方法のうちの１つを実行するためのコンピュータプログラムを含む。
【０１７８】
したがって、換言すれば、本発明方法の一実施形態は、コンピュータプログラムがコンピュータ上で実行されると本明細書に記載されている本発明方法のうちの１つを実行するためのプログラムコードを有するコンピュータプログラムである。
【０１７９】
したがって、本発明方法のさらなる実施形態は、本明細書に記述されている本発明方法のうちの１つを実行するためのコンピュータプログラムを記録して備えているデータキャリア（又はデジタル記憶媒体又はコンピュータ読取り可能媒体）である。データキャリア、デジタル記憶媒体又は記録媒体は、典型的には有形及び／又は非遷移性（non-transitionary）である。
【０１８０】
したがって、本発明方法のさらなる実施形態は、本明細書に記載されている本発明方法のうちの１つを実行するためのコンピュータプログラムを表すデータストリーム又は信号シーケンスである。データストリーム又は信号シーケンスは、例えば、データ通信接続を介して、例えばインターネットを介して転送されるように構成することができる。
【０１８１】
さらなる実施形態は、本明細書に記載されている本発明方法のうちの１つを実行するように構成されているか又は適合化される、例えばコンピュータである処理手段又はプログラマブル論理デバイスを含む。
【０１８２】
さらなる実施形態は、本明細書に記載されている本発明方法のうちの１つを実行するためのコンピュータプログラムをインストールしているコンピュータを含む。
【０１８３】
実施形態によっては、本明細書に記載されている本発明方法の機能の幾つか又は全てを実行するために、プログラマブル論理デバイス（例えば、フィールド・プログラマブル・ゲートアレイ）を用いることができる。実施形態によっては、フィールド・プログラマブル・ゲートアレイは、本明細書に記載されている本発明方法のうちの１つを実行するためにマイクロプロセッサと協働することができる。概して、これらの方法は、好適には任意のハードウェア装置によって実行される。
【０１８４】
これまでに述べた実施形態は、単に本発明の原理を例示するものである。当業者には、本明細書に記載されている装置及び詳細の修正及び変形が明らかであることは理解される。したがって、本発明は、本明細書における実施形態の記述及び説明によって提示された特定の詳細ではなく、添付の特許請求の範囲によってのみ限定されるべきものである。
【技術分野】
【０００１】
本発明による実施形態は、ダウンミックス信号表現及びオブジェクト関連パラメータ情報に基づき、かつレンダリング情報に依存してアップミックス信号表現を生成するためのオーディオ信号デコーダに関する。
【０００２】
本発明による他の実施形態は、複数のオーディオオブジェクト信号に基づきビットストリーム表現を生成するためのオーディオ信号エンコーダに関する。
【０００３】
本発明による他の実施形態は、ダウンミックス信号表現及びオブジェクト関連パラメータ情報に基づき、かつレンダリング情報に依存してアップミックス信号表現を生成するための方法に関する。
【０００４】
本発明による他の実施形態は、複数のオーディオオブジェクト信号に基づきビットストリーム表現を生成するための方法に関する。
【０００５】
本発明による他の実施形態は、前記方法を実行するためのコンピュータプログラムに関する。
【０００６】
本発明による他の実施形態は、マルチチャネルオーディオ信号を表現するビットストリームに関する。
【背景技術】
【０００７】
オーディオ処理、オーディオ伝送及びオーディオ蓄積の技術分野では、聴感を良くするためにマルチチャネルコンテンツを取り扱おうという要望が高まりつつある。マルチチャネル・オーディオ・コンテンツの使用は、ユーザに著しい改善をもたらすものである。例えば、３次元聴感を得ることも可能であって、娯楽に適用すればユーザの満足度が高まる。その一方で、マルチチャネル・オーディオ・コンテンツは、マルチチャネルオーディオ再生の使用によってスピーカの了解度が向上され得ることから、職場環境において、例えば電話会議への適用においても有益である。
【０００８】
しかしながら、マルチチャネルアプリケーションによって生じる資源の過剰な負荷を回避するために、オーディオ品質とビットレート要件との間に良好な得失評価を有することもまた望ましい。
【０００９】
最近では、複数のオーディオオブジェクトを含むオーディオ場面のビットレート効率のよい伝送及び／又は蓄積を行なうためのパラメトリック手法、例えばバイノーラルキュー符号化（Binaural Cue Coding：ＢＣＣ）（タイプＩ）（例えば、非特許文献１参照）、情報源符号化（Joint Source Coding：ＪＳＣ）（例えば、非特許文献２参照）及びＭＰＥＧ空間オーディオオブジェクト符号化（Spatial Audio Object Coding：ＳＡＯＣ）（例えば、非特許文献３、非特許文献４及び未公開非特許文献５参考）が提案されている。
【００１０】
これらの手法の目的は、波形一致ではなく、所望される出力オーディオ場面を知覚的に再構成することにある。
【００１１】
図８は、このようなシステム（ここでは、ＭＰＥＧ ＳＡＯＣ）のシステム概観を示す。また、図９Ａも、このようなシステム（ここでは、ＭＰＥＧ ＳＡＯＣ）のシステム概観を示す。
【００１２】
図８に示されているＭＰＥＧ ＳＡＯＣシステム８００は、ＳＡＯＣエンコーダ８１０と、ＳＡＯＣデコーダ８２０とを備えている。ＳＡＯＣエンコーダ８１０は、例えば時間領域信号として、又は時間周波数領域信号として（例えば、フーリエ型変換の変換係数セットの形式又はＱＭＦサブバンド信号の形式で）表現される場合がある複数のオブジェクト信号ｘ1〜ｘNを受信する。ＳＡＯＣエンコーダ８１０は、典型的には、オブジェクト信号ｘ1〜ｘNに関連づけられるダウンミックス係数ｄ1〜ｄNも受信する。ダウンミックス係数は、ダウンミックス信号のチャネル毎に別々のセットが利用可能である場合がある。ＳＡＯＣエンコーダ８１０は、典型的には、関連づけられるダウンミックス係数ｄ1〜ｄNに従ってオブジェクト信号ｘ1〜ｘNを結合することにより、ダウンミックス信号のチャネルを取得するように構成されている。典型的には、存在するダウンミックスチャネルの数はオブジェクト信号ｘ1〜ｘNより少ない。ＳＡＯＣデコーダ８２０側におけるオブジェクト信号の分離（又は分離処理）を（少なくとも概略的に）可能にするために、ＳＡＯＣエンコーダ８１０は、サイド情報８１４と１つ以上のダウンミックス信号（ダウンミックスチャネルとして示される）８１２の双方を生成する。サイド情報８１４は、デコーダ側のオブジェクト指定処理を可能にするために、オブジェクト信号ｘ1〜ｘNの特徴を記述する。
【００１３】
ＳＡＯＣデコーダ８２０は、サイド情報８１４と１つ以上のダウンミックス信号８１２の双方を受信するように構成されている。また、ＳＡＯＣデコーダ８２０は、典型的には、ユーザ相互作用情報及び／又はユーザ制御情報８２２を受信するように構成されている。ユーザ相互作用情報及び／又はユーザ制御情報８２２は、所望されるレンダリング設定を記述するものであり、例えば、スピーカの設定及びオブジェクトの所望される空間配置について記述することができ、これらはオブジェクト信号ｘ1〜ｘNを与える。
【００１４】
ＳＡＯＣデコーダ８２０は、例えば、複数の復号されたアップミックスチャネル信号?1〜?Mを生成するように構成されている。アップミックスチャネル信号は、例えばマルチスピーカレンダリング配置の個々のスピーカに関連づけることができる。ＳＡＯＣデコーダ８２０は、例えば、オブジェクト分離器８２０ａを備えることができ、オブジェクト分離器８２０ａは、１つ以上のダウンミックス信号８１２及びサイド情報８１４に基づきオブジェクト信号ｘ1〜ｘNを少なくとも概略的に再構成し、これにより再構成されたオブジェクト信号８２０ｂを得るように構成されている。しかしながら、再構成されたオブジェクト信号８２０ｂは元のオブジェクト信号ｘ1〜ｘNから幾分かずれていることがある。それは、例えば、ビットレート制約のために、サイド情報８１４が完全な再構成にとってまったく十分であるとはいえないからである。ＳＡＯＣデコーダ８２０はさらにミキサ８２０ｃを備えることができる。ミキサ８２０ｃは、再構成されたオブジェクト信号８２０ｂとユーザ相互作用情報／ユーザ制御情報８２２を受信し、これらに基づいてアップミックスチャネル信号?1〜?Mを生成するように構成できる。ミキサ８２０は、ユーザ相互作用情報／ユーザ制御情報８２２を用いて、アップミックスチャネル信号?1〜?Mに対する個々の再構成されたオブジェクト信号８２０ｂの寄与を決定するように構成できる。ユーザ相互作用情報／ユーザ制御情報８２２は、例えば、レンダリングパラメータ（レンダリング係数とも明記される）を含むことができる。レンダリングパラメータはアップミックスチャネル信号?1〜?Mに対する個々の再構成されたオブジェクト信号８２２の寄与を決定する。
【００１５】
図８ではオブジェクト分離はオブジェクト分離器８２０ａにより示され、ミキシングはミキサ８２０ｃにより示されているが、多くの実施形態ではこれらは単一のステップで実行されることに留意されるべきである。その目的のために、１つ以上のダウンミックス信号８１２をアップミックスチャネル信号?1〜?Mへ直接写し変えることを記述する全体的パラメータが計算される場合がある。これらのパラメータは、サイド情報及びユーザ相互作用情報／ユーザ制御情報８２０に基づいて計算できる。
【００１６】
図９Ａ、図９Ｂと図９Ｃを参照して、ダウンミックス信号表現及びオブジェクト関連サイド情報に基づきアップミックス信号表現を取得するための異なる装置について述べる。図９Ａは、ＳＡＯＣデコーダ９２０を備えているＭＰＥＧ ＳＡＯＣシステム９００の概略ブロック図を示す。ＳＡＯＣデコーダ９２０は、オブジェクトデコーダ９２２とミキサ／レンダラ９２６を別々の機能ブロックとして備えている。オブジェクトデコーダ９２２は、ダウンミックス信号表現（例えば、時間領域又は時間周波数領域において表現される１つ以上のダウンミックス信号の形式）及びオブジェクト関連サイド情報（例えば、オブジェクトメタデータの形式）に依存して複数の再構成されたオブジェクト信号９２４を生成する。ミキサ／レンダラ９２４は、複数のＮ個のオブジェクトに関連づけられる再構成されたオブジェクト信号９２４を受信し、これらに基づき１つ以上のアップミックスチャネル信号９２８を生成する。ＳＡＯＣデコーダ９２０において、オブジェクト信号９２４の抽出はミキシング／レンダリングとは別に実行される。このことは、オブジェクト復号機能をミキシング／レンダリング機能から分離することを可能にするが、計算の複雑さは比較的高くなる。
【００１７】
図９Ｂを参照して別のＭＰＥＧ ＳＡＯＣシステム９３０について簡単に論じる。そのＭＰＥＧ ＳＡＯＣシステム９３０はＳＡＯＣデコーダ９５０を備えている。ＳＡＯＣデコーダ９５０は、ダウンミックス信号表現（例えば、１つ以上のダウンミックス信号の形式）及びオブジェクト関連サイド情報（例えば、オブジェクトメタデータの形式）に依存して複数のアップミックスチャネル信号９５８を生成する。ＳＡＯＣデコーダ９５０は結合されたオブジェクトデコーダ及びミキサ／レンダラを備えており、結合されたオブジェクトデコーダ及びミキサ／レンダラはオブジェクト復号とミキシング／レンダリングとを分離することなく合同ミキシングプロセスにおいてアップミックスチャネル信号９５８を取得するように構成されている。その合同ミキシングプロセスのパラメータは、オブジェクト関連サイド情報及びレンダリング情報の双方に依存する。合同ミキシングプロセスはダウンミックス情報にも依存し、この場合、ダウンミックス情報はオブジェクト関連サイド情報の一部と考えられる。
【００１８】
上記を要約すると、アップミックスチャネル信号９２８、９５８の生成は、１ステッププロセス又は２ステッププロセスで実行できる。
【００１９】
図９Ｃを参照して、ＭＰＥＧ ＳＡＯＣシステム９６０について述べる。ＳＡＯＣシステム９６０は、ＳＡＯＣデコーダではなくＳＡＯＣ−ＭＰＥＧサラウンドトランスコーダ９８０を備えている。
【００２０】
ＳＡＯＣ−ＭＰＥＧサラウンドトランスコーダはサイド情報トランスコーダ９８２を備えている。サイド情報トランスコーダ９８２はオブジェクト関連サイド情報（例えば、オブジェクトメタデータの形式）とレンダリング情報、さらに場合により１つ以上のダウンミックス信号に関する情報を受信するように構成されている。サイド情報トランスコーダは、受信されたデータに基づきＭＰＥＧサラウンドサイド情報（例えば、ＭＰＥＧサラウンドビットストリームの形式）を生成するようにも構成されている。したがって、サイド情報トランスコーダ９８２は、レンダリング情報及び場合により１つ以上のダウンミックス信号のコンテンツに関する情報を考慮して、オブジェクトエンコーダから出されるオブジェクト関連の（パラメトリックな）サイド情報をチャネル関連の（パラメトリックな）サイド情報へ変換するように構成されている。
【００２１】
場合により、ＳＡＯＣ−ＭＰＥＧサラウンドトランスコーダ９８０は、例えばダウンミックス信号表現により記述された１つ以上のダウンミックス信号を操作して、操作されたダウンミックス信号表現９８８を取得するように構成することができる。しかしながら、ダウンミックス信号マニピュレータ９８６は省略される場合があり、その場合はＳＡＯＣ−ＭＰＥＧサラウンドトランスコーダ９８０から出力されるダウンミックス信号表現９８８と、ＳＡＯＣ−ＭＰＥＧサラウンドトランスコーダへ入力されるダウンミックス信号表現は同一になる。ダウンミックス信号マニピュレータ９８６は、例えば、チャネル関連ＭＰＥＧサラウンドサイド情報９８４がＳＡＯＣ−ＭＰＥＧサラウンドトランスコーダ９８０への入力ダウンミックス信号表現に基づいて所望される聴感を生成できないようであれば使用されることがあり、この状況は、レンダリングの配列によっては発生し得る。
【００２２】
したがって、ＳＡＯＣ−ＭＰＥＧサラウンドトランスコーダ９８０は、ＭＰＥＧサラウンドビットストリーム９８４及びダウンミックス信号表現９８８を受信するＭＰＥＧサラウンドデコーダが、ＳＡＯＣ−ＭＰＥＧサラウンドトランスコーダ９８０への入力レンダリング情報に従ってオーディオオブジェクトを表現する複数のアップミックスチャネル信号を発生し得るように、ダウンミックス信号表現９８８及びＭＰＥＧサラウンドビットストリーム９８４を生成する。
【００２３】
上記を要約すると、ＳＡＯＣで符号化されたオーディオ信号を復号するためには、異なる概念を用いることが可能である。事例によっては、ダウンミックス信号表現及びオブジェクト関連のパラメトリックなサイド情報に依存してアップミックスチャネル信号（例えば、アップミックスチャネル信号９２８、９５８）を生成するＳＡＯＣデコーダが使用される。図９Ａ及び図９Ｂはこの概念の例を示している。あるいは、ＳＡＯＣで符号化されたオーディオ情報は、ダウンミックス信号表現（例えば、ダウンミックス信号表現９８８）及びチャネル関連サイド情報（例えば、チャネル関連ＭＰＥＧサラウンドビットストリーム９８４）を取得するためにトランスコードされる場合もある。それらのダウンミックス信号表現とチャネル関連サイド情報は所望されるアップミックスチャネル信号を生成するためにＭＰＥＧサラウンドデコーダによって使用することができる。
【００２４】
図８にシステムの概観が示されているＭＰＥＧ ＳＡＯＣシステム８００においても、図９にシステムの概観が示されているＭＰＥＧ ＳＡＯＣシステム９００においても、一般処理は周波数選択方式で実行され、かつ各周波数バンド内部は下記のように記述することができる。
【００２５】
入力されるＮ個のオーディオオブジェクト信号ｘ1〜ｘNは、ＳＡＯＣエンコーダ処理の一部としてダウンミックスされる。モノダウンミックスの場合、ダウンミックス係数はｄ1〜ｄNによって示される。さらに、ＳＡＯＣエンコーダ８１０、９１０は、入力されるオーディオオブジェクトの特徴を記述するサイド情報８１４を抽出する。このサイド情報の重要な部分は、オブジェクト電力の関係性及び互いに対する相関性、即ちオブジェクト間相関（Inter-Object-Correlations：ＩＯＣ）のオブジェクトレベル差（object-level differences：ＯＬＤ）から成る。
【００２６】
（１又は複数の）ダウンミックス信号８１２、９１２及びサイド情報８１４、９１４は伝送され、かつ／又は格納される。この目的のために、ダウンミックスオーディオ信号は、ＭＰＥＧ−１レイヤＩＩ又はＩＩＩ（「．ｍｐ３」としても知られる）、ＭＰＥＧアドバンスト・オーディオ・コーディング（Advanced Audio Coding：ＡＡＣ）又は他の任意のオーディオコーダ等の周知の知覚オーディオコーダを用いて圧縮される場合がある。
【００２７】
受信側では、ＳＡＯＣデコーダ８２０、９２０は、概念的には、伝送されたサイド情報８１４、９１４（及び当然ながら、１又は複数のダウンミックス信号８１２、９１２）を用いて、元のオブジェクト信号を復元するように試行する（「オブジェクト分離」）。これらの近似されたオブジェクト信号（再構成されたオブジェクト信号８２０ｂ、９２４としても示される）は、次に、レンダリングマトリクスを用いて、Ｍ個のオーディオ出力チャネル（例えば、アップミックスチャネル信号?1〜?M９２８により表現される場合がある）によって表現される標的場面へとミキシングされる。モノ出力の場合、レンダリングマトリクス係数はｒ1〜ｒNによって与えられる。
【００２８】
効果的には、オブジェクト信号の分離はほとんど行われない（又は、絶対に行われない）。それは、分離ステップ（オブジェクト分離器８２０ａ、９２２により示される）及びミキシングステップ（ミキサ８２０ｃ、９２６により示される）の双方が単一のトランスコーディングステップに結合され、これにより計算の複雑さが大幅に低減される結果となる場合が多いからである。
【００２９】
このようなスキームは、伝送ビットレートの面（Ｎ個のオブジェクトオーディオ信号ではなく幾つかのダウンミックスチャネルに何らかのサイド情報を加えて伝送するだけでよい。）及び計算の複雑さの面（処理の複雑さはオーディオオブジェクトの数ではなく、主として出力チャネルの数に関連する）の双方で極めて効率的であることが見出されている。受信側ユーザにとってのさらなる優位点としては、ユーザ選択のレンダリング設定（モノ、ステレオ、サラウンド、仮想化ヘッドホン再生、等）を選ぶ自由、及びユーザ相互作用性機能、即ちユーザは意志、個人的嗜好又は他の基準にしたがってレンダリングマトリクスひいては出力される場面を相互作用的に設定しかつ変更できること、が含まれる。例えば、１つのグループからの話者を纏めて１つの空間エリアに位置決めし、他の話者との区別化を最大化することが可能である。この相互作用性は、デコーダのユーザインタフェースを提供することによって達成される。
【００３０】
即ち、伝送されるサウンドオブジェクトについては各々、その相対レベル及び（非モノレンダリングでは）レンダリングの空間位置を調整することができる。これは、ユーザが関連のグラフィカル・ユーザ・インタフェース（Graphical User Interface：ＧＵＩ）スライダ（例えば、オブジェクトレベル＝＋５ｄＢ、オブジェクトの位置＝−３０度）の位置を変更するにつれてリアルタイムで発生する場合がある。
【００３１】
以下、チャネルベースのオーディオコーディングの分野においてこれまでに適用されている技術を簡単に参照する。
【００３２】
米国特許出願第１１／０３２，６８９号明細書（特許文献１）は、サイド情報を保存するために、幾つかのキュー値を、伝送される１つの値に結合するためのプロセスについて記述している。
【００３３】
この技術は、米国特許出願開第６０／６７１，５４４号明細書（特許文献２）において、「コンパクトなサイド情報を用いるマルチチャネル階層型オーディオコーディング」へも適用されている。
【先行技術文献】
【特許文献】
【００３４】
【特許文献１】米国特許出願第１１／０３２，６８９号明細書
【特許文献２】米国特許出願第６０／６７１，５４４号明細書
【非特許文献】
【００３５】
【非特許文献１】[BCC] C. Faller and F. Baumgarte, "Binaural Cue Coding - Part II: Schemes and application," IEEE Trans. On Speech and Audio Proc., vol. 11, no. 6, Nov. 2003
【非特許文献２】[JSC] C. Faller, "Parametric Joint-Coding of Audio Sources", 120th AES Convention, Paris, 2006, Preprint 6752
【非特許文献３】[SAOC1] J.Herres, S. Disch, J. Hilpert, O. Hellmuth: "From SAC To SAOC - Recent Developments in Parametric Coding of Spatial Audio", 22nd Regional UK AES Conference, Cambridge, UK April 2007
【非特許文献４】[SAOC2] J Engdegard, B. Resch, C. Falch, O. Hellmuth, J. Heilpert, A. Holzer, L. Terentiev, J. Breebaart, J. Koppens, E. Schuijers and W. Oomen: " Spatial Audio Object Coding (SAOC) - The Upcoming MPEG Standard on Prametric Object Based Audio Coding", 124th AES Convention, Amsterdam 2008, Preprint 7377
【非特許文献５】[SAOC] ISO/IEC, "MPEG audio technologies - Part 2: Spatial Audio Object Coding (SAOC)," ISO/IEC JTC1/SC29/WG11 (MPEG) FCD 23003-2.
【発明の概要】
【発明が解決しようとする課題】
【００３６】
しかしながら、マルチチャネル・オーディオ・コンテンツの符号化に用いられるオブジェクト関連パラメータ情報は、事例によっては比較的高いビットレートを含むことが見出されている。
【００３７】
したがって、本発明の目的は、コンパクトなサイド情報を用いるマルチチャネル・オーディオ・コンテンツの生成、蓄積又は伝送を可能にする概念を作り上げることにある。
【課題を解決するための手段】
【００３８】
この目的は、独立請求項によって規定されるオーディオ信号デコーダ、オーディオ信号エンコーダ、アップミックス信号表現を生成するための方法、ビットストリーム表現を生成するための方法、コンピュータプログラム及びビットストリームによって達成される。
【００３９】
本発明による一実施形態は、ダウンミックス信号表現及びオブジェクト関連パラメータ情報に基づき、かつレンダリング情報に依存してアップミックス信号表現を生成するためのオーディオ信号デコーダを創出する。この装置は、複数のオーディオ・オブジェクト・ペアのオブジェクト間相関値を取得するように構成されているオブジェクト−パラメータ決定器を備えている。オブジェクト−パラメータ決定器は、複数の関連オーディオ・オブジェクト・ペアのオブジェクト間相関値を取得するために個々のオブジェクト間相関ビットストリームパラメータ値を評価するか、又は共通のオブジェクト間相関ビットストリームパラメータ値を用いて複数の関連オーディオ・オブジェクト・ペアのオブジェクト間相関値を取得するかを決定するために、ビットストリーム・シグナリング・パラメータを評価するように構成されている。オーディオ信号デコーダは、ダウンミックス信号表現に基づき、かつ複数の関連オーディオ・オブジェクト・ペアのオブジェクト間相関値及びレンダリング情報を用いてアップミックス信号表現を取得するように構成されている信号プロセッサも備えている。
【００４０】
このオーディオ信号デコーダの基礎は、優れた聴感を達成するために多くのオーディオ・オブジェクト・ペア間の相関性を考慮する必要がある事例によっては、オブジェクト間相関値の符号化に必要とされるビットレートが過度に高い可能性があり、かつこのような場合、オブジェクト間相関値の符号化に必要とされるビットレートは、個々のオブジェクト間相関ビットストリームパラメータ値ではなく共通のオブジェクト間相関ビットストリームパラメータ値を用いることによって、聴感を著しく劣らせることなく、大幅に低減されることが可能である、という主たる考案にある。
【００４１】
多くのオーディオ・オブジェクト・ペア間に、優れた聴感を達成するために考慮されるべき顕著なオブジェクト間相関が存在する状況においては、オブジェクト間相関の考慮が通常はオブジェクト間相関ビットストリームパラメータ値の高いビットレート要件に繋がることが見出されている。しかし、多くのオーディオ・オブジェクト・ペア間に無視できないオブジェクト間相関が存在するこのような状況では、共通する単一のオブジェクト間相関ビットストリームパラメータ値を符号化し、かつこのような共通のオブジェクト間相関ビットストリームパラメータ値から複数の関連オーディオ・オブジェクト・ペアのオブジェクト間相関値を導出するだけで、優れた聴感を達成できることが見出されている。したがって、多くの場合、多くのオーディオオブジェクト間の相関性は、オブジェクト間相関ビットストリームパラメータ値の伝送についての努力を十分に少なく抑えながら、十分な精度で考慮することができる。
【００４２】
したがって、多くの異なるオーディオオブジェクト信号間に無視できないオブジェクト間相関が存在する音響環境によっては、上述の概念はオブジェクト関連サイド情報に対するビットレート要求を小さくし、それでも十分に優れた聴感を達成する。
【００４３】
ある好適な実施形態において、オブジェクト−パラメータ決定器は、全ての異なる関連オーディオ・オブジェクト・ペアのオブジェクト間相関値を、共通のオブジェクト間相関ビットストリームパラメータ値によって規定される共通値に設定するように構成されている。この単純な解決策は、多くの関連状況において十分に優れた聴感をもたらすことが見出されている。
【００４４】
ある好適な実施形態において、オブジェクト−パラメータ決定器は、２つのオブジェクトが互いに関連するものであるか否かを記述するオブジェクト関係性情報を評価するように構成されている。オブジェクト−パラメータ決定器は、さらに、オブジェクト関係性情報が関係性を示すオーディオ・オブジェクト・ペアに対しては共通のオブジェクト間相関ビットストリームパラメータ値を用いてオブジェクト間相関値を選択的に取得し、かつオブジェクト関係性情報が関連性のないことを示すオーディオ・オブジェクト・ペアのオブジェクト間相関値は既定値（例えば、ゼロ）に設定するように構成されている。したがって、オーディオオブジェクト間の関係性の有無は、高いビットレート効率で区別できる。故に、（ほぼ）関連のないオーディオ・オブジェクト・ペアへの非ゼロのオブジェクト間相関値の割り付けは回避される。したがって、聴感の劣化は回避され、かつこのようなほぼ関連のないオーディオオブジェクト間の分離が可能である。さらに、オーディオオブジェクトの関連性が典型的には１つのオーディオに渡って時間的に不変であることから、関連オーディオオブジェクト及び非関連オーディオオブジェクトを非常に高いビットレート効率で信号にすることができ、したがって、この信号化に必要とされるビットレートは典型的には極めて低い。このように、記述されている概念は、ビットレート効率と聴感との間の極めて良好な得失評価をもたらす。
【００４５】
ある好適な実施形態において、オブジェクト−パラメータ決定器は、異なるオーディオオブジェクトの組合せ毎に１ビットフラグを備えているオブジェクト関係性情報を評価するように構成され、この場合、異なるオーディオオブジェクトの所定の組合せに関連づけられる１ビットフラグは、所定の組合せのオーディオオブジェクト同士に関連性があるか否かを示す。このような情報は極めて効率的に伝送することができ、優れた聴感を達成するために必要とされるビットレートの著しい低減をもたらす。
【００４６】
ある好適な実施形態において、オブジェクト−パラメータ決定器は、全ての異なる関連オーディオ・オブジェクト・ペアのオブジェクト間相関値を共通のオブジェクト間相関ビットストリームパラメータ値によって規定される共通値に設定するように構成されている。
【００４７】
ある好適な実施形態において、オブジェクト−パラメータ決定器は、ビットストリーム・シグナリング・パラメータを個々のオブジェクト間相関ビットストリームパラメータ又は共通するオブジェクト間相関ビットストリームパラメータとともに取得するために、オーディオコンテンツのビットストリーム表現を構文解析するように構成されているビットストリームパーサを備えている。ビットストリームパーサを用いることにより、ビットストリーム・シグナリング・パラメータを個々のオブジェクト間相関ビットストリームパラメータ又は共通するオブジェクト間相関ビットストリームパラメータとともに優れた実装効率で取得することができる。
【００４８】
ある好適な実施形態において、オーディオ信号デコーダは、関連オーディオ・オブジェクト・ペアに関連づけられる共分散値を取得するために、関連オーディオ・オブジェクト・ペアに関連づけられるオブジェクト間相関値を、前記関連オーディオ・オブジェクト・ペアの第１のオーディオオブジェクトのオブジェクトレベルを記述するオブジェクトレベル差パラメータ値と、前記関連オーディオ・オブジェクト・ペアの第２のオーディオオブジェクトのオブジェクトレベルを記述するオブジェクトレベル差パラメータ値とに結合するように構成されている。したがって、共通するオブジェクト間相関パラメータが用いられても、関連オーディオ・オブジェクト・ペアに関連づけられる共分散値を、共分散値がオーディオ・オブジェクト・ペアに適応されるように導出することができる。したがって、異なるオーディオ・オブジェクト・ペア毎に異なる共分散値を取得することができる。特に、共通のオブジェクト間相関ビットストリームパラメータ値を用いて多数の異なる共分散値を取得することができる。
【００４９】
ある好適な実施形態において、オーディオ信号デコーダは、３つ以上のオーディオオブジェクトを処理するように構成されている。この場合、オブジェクト−パラメータ決定器は、あらゆる異なるオーディオ・オブジェクト・ペアのオブジェクト間相関値を生成するように構成されている。本発明概念を使用すれば、全てが互いに関連のあるオーディオオブジェクトが比較的多数存在するとしても、有意義な値を取得できることが見出されている。オーディオオブジェクトの多くの組合せからオブジェクト間相関値を取得することは、オブジェクト関連のパラメトリックなサイド情報を用いてオーディオオブジェクト信号を符号化しかつ復号する場合に特に有用である。
【００５０】
ある好適な実施形態において、オブジェクト−パラメータ決定器は、複数の関連オーディオ・オブジェクト・ペアのオブジェクト間相関値を取得するために個々のオブジェクト間相関ビットストリームパラメータ値を評価するか、共通のオブジェクト間相関ビットストリームパラメータ値を用いて複数の関連オーディオ・オブジェクト・ペアのオブジェクト間相関値を取得するかを決定するために、コンフィギュレーション(configuration)ビットストリーム部分に含まれるビットストリーム・シグナリング・パラメータを評価するように構成されている。この実施形態では、オブジェクト−パラメータ決定器は、そのオーディオオブジェクトが関連のあるものであるかどうかを決定するために、コンフィギュレーションビットストリーム部分に含まれるオブジェクト関係性情報を評価するように構成されている。さらに、オブジェクト−パラメータ決定器は、共通のオブジェクト間相関ビットストリームパラメータ値を用いて複数の関連オーディオ・オブジェクト・ペアのオブジェクト間相関値を取得することが決定されれば、あらゆるオーディオ・コンテンツ・フレームについて、フレーム・データ・ビットストリーム部分に含まれる共通のオブジェクト間相関ビットストリームパラメータ値を評価するように構成されている。したがって、高いビットレート効率が達成される。それは、比較的大きいオブジェクト関係性情報の評価はオーディオピース（コンフィギュレーションビットストリーム部分の存在により規定される。）毎に一度しか行われず、一方でオーディオピースのあらゆるフレームに関して評価される、即ち１つのオーディオピースにつき複数回評価される共通のオブジェクト間相関ビットストリームパラメータ値は比較的小値であるからである。これは、オーディオオブジェクト間の関係性は、典型的には１つのオーディオピース内では変わらないか、極めてまれにしか変わらない、という発見を反映している。したがって、適度に低いビットレートで優れた聴感を達成できる。
【００５１】
しかしながら、また、共通のオブジェクト間相関ビットストリームパラメータ値の使用は、フレーム・データ・ビットストリーム部分において信号として表わすこともでき、これは、例えば変化するオーディオコンテンツへの柔軟な適応を可能にする。
【００５２】
本発明による一実施形態は、複数のオーディオオブジェクト信号に基づきビットストリーム表現を生成するためのオーディオ信号エンコーダを創出する。オーディオ信号エンコーダは、オーディオオブジェクト信号に基づき、かつダウンミックス信号の１つ以上のチャネルとしてのオーディオオブジェクト信号の寄与について記述するダウンミックスパラメータに依存して、ダウンミックス信号を生成するように構成されているダウンミキサを備えている。オーディオ信号エンコーダは、複数の関連オーディオ・オブジェクト・ペア信号に関連づけられる共通のオブジェクト間相関ビットストリームパラメータ値を生成するように、かつこの共通のオブジェクト間相関ビットストリームパラメータ値が複数の個々のオブジェクト間相関ビットストリームパラメータの代わりに生成されることを示すビットストリーム・シグナリング・パラメータを生成するようにも構成されているパラメータプロバイダも備えている。オーディオ信号エンコーダは、ダウンミックス信号の表現、共通のオブジェクト間相関ビットストリームパラメータ値の表現及びビットストリーム・シグナリング・パラメータを含むビットストリームを生成するように構成されているビットストリームフォーマッタも備えている。
【００５３】
本発明によれば、この実施形態は、コンパクトなサイド情報を有するマルチチャネル・オーディオ・コンテンツを表現するビットストリームの生成を可能にする。共通のオブジェクト間相関ビットストリームパラメータ値を生成することにより、オブジェクト関連サイド情報はコンパクトに保たれ、同時になおもマルチチャネル・オーディオ・コンテンツを優れた聴感で再生するための効率的な情報が与えられる。さらに、本明細書に記述されるオーディオ信号エンコーダが、オーディオ信号デコーダに関してこれまでに述べたものと同じ優位点を与えることは留意されるべきである。
【００５４】
ある好適な実施形態において、パラメータプロバイダは、クロスパワー項の和と平均パワー項の和との割合に依存して共通のオブジェクト間相関ビットストリームパラメータ値を生成するように構成されている。このようなオブジェクト間相関ビットストリームパラメータ値は適度の計算量で計算することができ、同時になお、ほとんどの場合、精確な聴感も与えることが見出されている。
【００５５】
本発明による別の実施形態において、パラメータプロバイダは、共通のオブジェクト間相関ビットストリームパラメータ値として既定の定値を生成するように構成されている。事例によっては、定値の生成は理に適うことが見出されている。例えば、所定のタイプの会議室における所定の標準的なマイクロホン装置の場合、定値は所望される聴感の表現に極めて良く適合し得る。したがって、本発明概念による多くの標準的適用において、計算量は優れた聴感を与えつつ最小限に抑えることができる。
【００５６】
別の好適な実施形態において、パラメータプロバイダは、２つのオーディオオブジェクトが互いに関連しているかどうかを記述するオブジェクト関係性情報も生成するように構成されている。このようなオブジェクト関係性情報は、先に論じたように、オーディオデコーダによって活用することができる。したがって、共通のオブジェクト間相関ビットストリームパラメータ値は、実際に互いに関連しているオーディオオブジェクトにのみ適用され、全く関連のないオーディオオブジェクトには適用されないことを保証することができる。
【００５７】
ある好適な実施形態において、パラメータプロバイダは、共通のオブジェクト間相関ビットストリームパラメータ値の計算に関してオブジェクト関係性情報が関係性を示しているオーディオオブジェクトのオブジェクト間相関を選択的に評価するように構成されている。これは、特に有意義なオブジェクト間相関ビットストリームパラメータ値を得ることを可能にする。
【００５８】
本発明によるさらなる実施形態は、アップミックス信号表現を生成するための方法、及びビットストリーム表現を生成するための方法を生み出す。これらの方法は、先に論じたオーディオデコーダ及びオーディオエンコーダと同じ考案を基礎とする。
【００５９】
本発明による別の実施形態は、マルチチャネルオーディオ信号を表すビットストリームを創出する。ビットストリームは、複数のオーディオオブジェクトのオーディオ信号を結合するダウンミックス信号の表現を含む。ビットストリームは、オーディオオブジェクトの特徴を記述するオブジェクト関連パラメトリックなサイド情報も含む。オブジェクト関連のパラメトリックなサイド情報は、ビットストリームが個々のオブジェクト間相関ビットストリームパラメータ値を含むか、共通のオブジェクト間相関ビットストリームパラメータ値を含むかを示すビットストリーム・シグナリング・パラメータを含む。したがって、ビットストリームは、異なるタイプのオーディオチャネルコンテンツの伝送に関して柔軟な使用を可能にする。特に、ビットストリームは、個々のオブジェクト間相関ビットストリームパラメータ値又は共通のオブジェクト間相関ビットストリームパラメータ値の双方の、聴覚場面により適する何れかの伝送を可能にする。したがって、ビットストリームは、詳細な（オブジェクト個別）オブジェクト間相関情報が伝送されるべきである比較的少数の関連するオーディオオブジェクトが存在する場合と、比較的多数の関連するオーディオオブジェクトが存在して、個々のオブジェクト間相関ビットストリームパラメータ値を伝送すれば過度に高いビットレート要求に繋がる可能性があり、かつ共通のオブジェクト間相関ビットストリームパラメータ値がなおも優れた聴感の再生を可能にする場合の双方の処理によく適する。
【００６０】
続いて、添付の図面を参照して本発明による実施形態について述べる。
【図面の簡単な説明】
【００６１】
【図１】本発明の一実施形態によるオーディオ信号デコーダを示す概略ブロック図である。
【図２】本発明の一実施形態によるオーディオ信号エンコーダを示す概略ブロック図である。
【図３】本発明の一実施形態によるビットストリームを示す概略表示である。
【図４】単一のオブジェクト間相関パラメータ計算を用いるＭＰＥＧ ＳＡＯＣシステムを示す概略ブロック図である。
【図５】ビットストリームの一部であることのできるＳＡＯＣ固有コンフィギュレーション情報の構文表現を示す。
【図６】ビットストリームの一部であることのできるＳＡＯＣフレーム情報の構文表現を示す。
【図７】オブジェクト間相関パラメータのパラメータ量子化を表す表を示す。
【図８】基準ＭＰＥＧ ＳＡＯＣシステムを示す概略ブロック図である。
【図９Ａ】別々のデコーダ及びミキサを用いる基準ＳＡＯＣシステムを示す概略ブロック図である。
【図９Ｂ】統合されたデコーダ及びミキサを用いる基準ＳＡＯＣシステムを示す概略ブロック図である。
【図９Ｃ】ＳＡＯＣ−ＭＰＥＧトランスコーダを用いる基準ＳＡＯＣシステムを示す概略ブロック図である。
【発明を実施するための形態】
【００６２】
１．図１によるオーディオ信号デコーダ
以下、オーディオ信号デコーダ１００について、このようなオーディオ信号デコーダ１００の概略ブロック図を示す図１を参照して述べる。
【００６３】
まず、オーディオ信号デコーダ１００の入力信号及び出力信号について述べる。続いて、オーディオ信号デコーダ１００の構造を説明し、最後にオーディオ信号デコーダ１００の機能について論じる。
【００６４】
オーディオ信号デコーダ１００は、典型的には複数のオーディオオブジェクト信号を例えば１チャネルオーディオ信号表現又は２チャネルオーディオ信号表現の形式で表すダウンミックス信号表現１１０を受信するように構成されている。
【００６５】
オーディオ信号デコーダ１００は、典型的にはダウンミックス信号表現１１０に含まれるオーディオオブジェクトを記述するオブジェクト関連パラメータ情報１１２も受信する。
【００６６】
例えば、オブジェクト関連パラメータ情報１１２は、ダウンミックス信号表現１１０により表されるオーディオオブジェクトのオブジェクトレベルを、オブジェクトレベル差の値（ＯＬＤ）を用いて記述する。
【００６７】
さらに、オブジェクト関連パラメータ情報１１２は、典型的には、ダウンミックス信号表現１１０によって表されるオーディオオブジェクトのオブジェクト間相関特性を表す。オブジェクト関連パラメータ情報は、典型的には、オブジェクト関連パラメータ情報が個々のオーディオ・オブジェクト・ペアに関連づけられる個々のオブジェクト間相関ビットストリームパラメータ値を含むか、又は複数のオーディオ・オブジェクト・ペアに関連づけられる共通のオブジェクト間相関ビットストリームパラメータ値を含むかを信号で表わすビットストリーム・シグナリング・パラメータ（本明細書では「ｂｓＯｎｅＩＯＣ」としても明示される）を含む。したがって、オブジェクト関連パラメータ情報は、ビットストリーム・シグナリング・パラメータ「ｂｓＯｎｅＩＯＣ」に従って個々のオブジェクト間相関ビットストリームパラメータ値又は共通のオブジェクト間相関ビットストリームパラメータ値を含む。
【００６８】
オブジェクト関連パラメータ情報１１２は、ダウンミックス信号表現への個々のオーディオオブジェクトのダウンミックスを記述するダウンミックス情報も含むことができる。例えば、オブジェクト関連パラメータ情報は、ダウンミックス信号表現１１０に対するオーディオオブジェクト信号の寄与を記述するダウンミックス利得情報（Downmix Gain Information）ＤＭＧを含む。さらに、オブジェクト関連パラメータ情報は、場合により、異なるダウンミックスチャネル間のダウンミックス利得差を記述するダウンミックス・チャネル・レベル差情報（Downmix-Channel-Level-Difference Information）ＤＣＬＤを含むことができる。
【００６９】
信号デコーダ１００は、レンダリング情報１２０を、例えばそのレンダリング情報を入力するためのユーザインタフェースから受信するようにも構成されている。レンダリング情報は、オーディオオブジェクトの信号のアップミックスチャネルへの割り付けを記述する。例えば、レンダリング情報１２０はレンダリングマトリクス（又はそのエントリ）の形式をとることができる。あるいは、レンダリング情報１２０は、オーディオオブジェクトの所望される再現位置（例えば、空間座標による）及びオーディオオブジェクトの所望される強度（又は音量）についての記述を含むことができる。
【００７０】
オーディオ信号デコーダ１００はアップミックス信号表現１３０を生成する。アップミックス信号表現１３０は、ダウンミックス信号表現により記述されるオーディオオブジェクト信号のレンダリングされた表現と、オブジェクト関連パラメータ情報を構成する。例えば、アップミックス信号表現は、個々のオーディオチャネル信号の形式をとってもよく、チャネル関連パラメトリックサイド情報（例えば、ＭＰＥＧサラウンドサイド情報）と組み合わされたダウンミックス信号表現の形式をとってもよい。
【００７１】
オーディオ信号デコーダ１００は、ダウンミックス信号表現１１０及びオブジェクト関連パラメータ情報１１２に基づき、かつレンダリング情報１２０に依存してアップミックス信号表現１３０を生成するように構成されている。装置１００はオブジェクト−パラメータ決定器１４０を備えており、オブジェクト−パラメータ決定器１４０はオブジェクト関連パラメータ情報１１２に基づき（少なくとも）複数の関連オーディオ・オブジェクト・ペアのオブジェクト間相関値を取得するように構成されている。この目的のために、オブジェクト−パラメータ決定器１４０は、複数の関連オーディオ・オブジェクト・ペアのオブジェクト間相関値を取得するために個々のオブジェクト間相関ビットストリームパラメータ値を評価するか、又は共通のオブジェクト間相関ビットストリームパラメータ値を用いて複数の関連オーディオ・オブジェクト・ペアのオブジェクト間相関値を取得するかを決定するために、ビットストリーム・シグナリング・パラメータ（「ｂｓＯｎｅＩＯＣ」）を評価するように構成されている。したがって、オブジェクト−パラメータ決定器１４０は、ビットストリーム・シグナリング・パラメータが共通のオブジェクト間相関ビットストリームパラメータ値は利用できないことを示していれば、個々のオブジェクト間相関ビットストリームパラメータ値に基づき複数の関連オーディオ・オブジェクト・ペアのオブジェクト間相関値１４２を生成するように構成されている。同様に、オブジェクト−パラメータ決定器は、ビットストリーム・シグナリング・パラメータがこのような共通のオブジェクト間相関ビットストリームパラメータ値は利用できることを示していれば、共通のオブジェクト間相関ビットストリームパラメータ値に基づき複数の関連オーディオ・オブジェクト・ペアのオブジェクト間相関値１４２を決定する。
【００７２】
また、オブジェクト−パラメータ決定器は、典型的には、オブジェクト関連パラメータ情報１１２に基づき、例えばオブジェクトレベル差値ＯＬＤ、ダウンミックス利得値ＤＭＧ及び（場合により）ダウンミックス・チャネル・レベル差値ＤＣＬＤのような他のオブジェクト関連値も生成する。
【００７３】
オーディオ信号デコーダ１００は信号プロセッサ１５０も備えており、信号プロセッサ１５０は、ダウンミックス信号表現１１０に基づき、かつ複数の関連オーディオ・オブジェクト・ペアのオブジェクト間相関値１４２及びレンダリング情報１２０を用いて、アップミックス信号表現１３０を得るように構成されている。信号プロセッサ１５０は、オブジェクトレベル差値、ダウンミックス利得値及びダウンミックス・チャネル・レベル差値のような他のオブジェクト関連値も用いる。
【００７４】
信号プロセッサ１５０は、例えば、所望されるアップミックス信号表現１３０の統計的特徴を推定し、ダウンミックス信号表現から導出されるアップミックス信号表現１３０が所望される統計的特徴を備えるようにダウンミックス信号表現を処理することができる。あるいは、信号プロセッサ１５０は、ダウンミックス信号表現１１０内では結合されている複数のオーディオオブジェクトのオーディオオブジェクト信号を、オブジェクトの特徴に関する情報及びダウンミックスプロセスを用いて分離することを試行することができる。したがって、信号プロセッサは処理規則（例えば、スケーリング規則又は線形結合規則）を計算でき、その処理規則は個々のオーディオオブジェクト信号、又は少なくとも個々のオーディオオブジェクト信号に類似する統計的特徴を有するオーディオ信号の再構成を可能にするであろう。信号プロセッサ１５０は次に、アップミックス信号表現を得るために所望されるレンダリングを適用することができる。当然ながら、元の個々のオーディオオブジェクト信号に近い再構成されたオーディオオブジェクト信号の計算と再現は、計算の複雑さを減らすために単一の処理ステップに結合することができる。
【００７５】
上記を要約すると、オーディオ信号デコーダは、ダウンミックス信号表現１１０及びオブジェクト関連パラメータ情報１１２を基礎とし、レンダリング情報１２０を用いてアップミックス信号表現１３０を生成するように構成されている。オブジェクト関連パラメータ情報１１２は個々のオーディオオブジェクト信号の統計的特徴及び個々のオーディオオブジェクト信号間の関係性についての情報を得るために評価され、個々のオーディオオブジェクト信号間の関係性は信号プロセッサ１５０で必要とされる。例えば、オブジェクト関連パラメータ情報１１２は、個々のオーディオオブジェクト信号の推定された共分散値を記述する推定された分散行列を取得するために用いられる。推定された共分散行列は、その後、信号プロセッサ１５０によって、ダウンミックス信号表現１１０からアップミックス信号表現１３０を導出するための（例えば、先に論じたような）処理規則を決定するために適用される。ただし、当然ながら、他のオブジェクト関連情報も活用できる。
【００７６】
オブジェクト−パラメータ決定器１４０は、複数の関連オーディオ・オブジェクト・ペアのオブジェクト間相関値を取得するための異なるモードを含む。オブジェクト間相関値は信号プロセッサ１５０の重要な入力情報を構成する。第１のモードでは、個々のオブジェクト間相関ビットストリームパラメータ値を用いてオブジェクト間相関値が決定される。例えば、個々のオブジェクト間相関ビットストリームパラメータ値が関連オーディオ・オブジェクト・ペア毎に１つが存在することもあるので、その場合はオブジェクト−パラメータ決定器１４０は単に、このような個々のオブジェクト間相関ビットストリームパラメータ値を所定の関連オーディオ・オブジェクト・ペアに関連づけられる１つ又は２つのオブジェクト間相関値へ移すだけでよい。一方、第２の動作モードも存在する。第２の動作モードでは、オブジェクト−パラメータ決定器１４０は単にビットストリームから１つの共通のオブジェクト間相関ビットストリームパラメータ値を読み取り、かつこの１つの共通のオブジェクト間相関ビットストリームパラメータ値に基づき複数の異なる関連オーディオ・オブジェクト・ペアの複数のオブジェクト間相関値を生成する。したがって、複数の関連オーディオ・オブジェクト・ペアのオブジェクト間相関値は、例えば、１つの共通のオブジェクト間相関ビットストリームパラメータ値によって表される値と同一とするか、又はこの同一の共通のオブジェクト間相関ビットストリームパラメータ値から導出することができる。オブジェクト−パラメータ決定器１４０は、ビットストリーム・シグナリング・パラメータ（「ｂｓＯｎｅＩＯＣ」）に依存して前記第１のモードと前記第２のモードとの間で切り換えることができる。
【００７７】
したがって、オブジェクト間相関値を生成するためにオブジェクト−パラメータ決定器１４０が適用できる異なるモードが存在する。存在する関連オーディオ・オブジェクト・ペアが比較的少数であれば、前記関連オーディオ・オブジェクト・ペアのオブジェクト間相関値は、典型的には（ビットストリーム・シグナリング・パラメータに依存して）オブジェクト−パラメータ決定器によって個々に決定され、これにより、前記関連オーディオ・オブジェクト・ペアの特徴の特に正確な表現が可能にされ、かつ結果的に、信号プロセッサ１５０において個々のオーディオオブジェクト信号を高精度で再構成する可能性がもたらされる。したがって典型的には、比較的少数の関連オーディオ・オブジェクト・ペア間の相関性だけが関係している場合には、優れた聴感を与えることができる。
【００７８】
複数の関連オーディオ・オブジェクト・ペアのオブジェクト間相関値を取得するために共通のオブジェクト間相関ビットストリームパラメータ値が用いられるオブジェクト−パラメータ決定器の第２の動作モードは、典型的には、複数のオーディオ・オブジェクト・ペア間に無視できない相関性が存在する事例に用いられる。このような事例は、従来、ダウンミックス信号表現１１０及びオブジェクト関連パラメータ情報１１２の双方を表すビットストリームのビットレートを過度に上げることなしには処理され得なかった。共通のオブジェクト間相関ビットストリームパラメータ値の使用は、比較的多数のオーディオ・オブジェクト・ペア間に無視できない相関性が存在する場合に固有の優位点をもたらすが、この相関性は、音響的に重大な変動を含まない。この場合、ビットレート要件と聴感品質との間に適度な妥協をもたらす適度なビットレート量による相関性を考慮することができる。
【００７９】
したがって、オーディオ信号デコーダ１００は、異なる状況、すなわち関連オーディオ・オブジェクト・ペアが少数しか存在せず、そのオブジェクト間相関は高精度で考慮されるべきである状況、及び関連オーディオ・オブジェクト・ペアが多数存在し、そのオブジェクト間相関は完全には無視すべきではなく幾分かの類似性を有する状況、を効率的に処理することができる。オーディオ信号デコーダ１００は、双方の状況を高品質の聴感で処理することができる。
【００８０】
２．図２によるオーディオ信号エンコーダ
以下、オーディオ信号エンコーダ２００について、このようなオーディオ信号エンコーダ２００の概略ブロック図を示す図２を参照して述べる。
【００８１】
オーディオ信号エンコーダ２００は、複数のオーディオオブジェクト信号２１０ａ〜２１０Ｎを受信するように構成されている。オーディオオブジェクト信号２１０ａ〜２１０Ｎは、例えば、異なるオーディオオブジェクトを表す１チャネル信号又は２チャネル信号とすることができる。
【００８２】
オーディオ信号エンコーダ２００は、オーディオオブジェクト信号２１０ａ〜２１０Ｎによって表される聴覚場面をコンパクトかつビットレート効率的に記述するビットストリーム表現２２０を生成するようにも構成されている。
【００８３】
オーディオ信号エンコーダ２００はダウンミキサ２２０を備えており、ダウンミキサ２２０はオーディオオブジェクト信号２１０ａ〜２１０Ｎを受信し、オーディオオブジェクト信号２１０ａ〜２１０Ｎに基づきダウンミックス信号２３２を生成するように構成されている。ダウンミキサ２３０は、ダウンミックス信号の１つ以上のチャネルへのオーディオオブジェクト信号２１０ａ〜２１０Ｎの寄与を記述するダウンミックスパラメータに依存してダウンミックス信号２３２を生成するように構成されている。
【００８４】
オーディオ信号エンコーダはパラメータプロバイダ２４０も備えており、パラメータプロバイダ２４０は、関連するオーディオオブジェクト信号２１０ａ〜２１０Ｎの複数のペアに関連づけられる共通のオブジェクト間相関ビットストリームパラメータ値２４２を生成するように構成されている。パラメータプロバイダ２４０は、（異なるオーディオ・オブジェクト・ペアに個々に関連づけられる）複数の個々のオブジェクト間相関ビットストリームパラメータの代わりに共通のオブジェクト間相関ビットストリームパラメータ値２４２が生成されることを示すビットストリーム・シグナリング・パラメータ２４４を生成するようにも構成されている。
【００８５】
オーディオ信号エンコーダ２００はビットストリームフォーマッタ２５０も備えており、ビットストリームフォーマッタ２５０はダウンミックス信号２３２の表現（例えば、ダウンミックス信号２３２の符号化された表現）と、共通のオブジェクト間相関ビットストリームパラメータ値２４２の表現（例えば、その量子化されて符号化された表現）と、ビットストリーム・シグナリング・パラメータ２４４（例えば、１ビットパラメータ値の形式）とを含むビットストリーム表現２５０を生成するように構成されている。
【００８６】
オーディオ信号エンコーダ２００は、結果的に、オーディオオブジェクト信号２１０ａ〜２１０Ｎによって高精度で記述されるオーディオ場面を表すビットストリーム表現２２０を生成する。具体的には、オーディオオブジェクト信号２１０ａ〜２１０Ｎのうちの多くが互いに関連していれば、即ち無視できないオブジェクト間相関を含んでいれば、ビットストリーム表現２２０はコンパクトなサイド情報を含む。この場合、オーディオ・オブジェクト・ペアに個々に関連づけられる個々のオブジェクト間相関ビットストリームパラメータ値の代わりに、共通のオブジェクト間相関ビットストリームパラメータ値２４２が生成される。したがって、オーディオ信号エンコーダは、何れにしても、関連するオーディオオブジェクト信号２１０ａ〜２１０Ｎのペアが多く存在する場合、及び関連するオーディオオブジェクト信号２１０ａ〜２１０Ｎのペアが少ししか存在しない場合の双方で、コンパクトなビットストリーム表現２２０を生成することができる。特に、コンパクトなビットストリーム表現２２０は、オーディオ信号デコーダ１００により入力情報として必要とされる情報、即ちダウンミックス信号表現１１０及びオブジェクト関連パラメータ情報１１２を含むことができる。したがって、パラメータプロバイダ２４０は、オーディオオブジェクト信号２１０ａ〜２１０Ｎをダウンミキサ２３０により実行されるダウンミックスプロセスとともに記述する追加的なオブジェクト関連パラメータ情報を生成するように構成することができる。例えば、パラメータプロバイダ２４０は、オーディオオブジェクト信号２１０ａ〜２１０Ｎのオブジェクトレベル（又はオブジェクトレベル差）を記述するオブジェクトレベル差情報ＯＬＤを追加的に生成することができる。さらに、パラメータプロバイダ２４０は、ダウンミックス信号２３２の１つ以上のチャネルを形成する際に個々のオーディオオブジェクト信号２１０ａ〜２１０Ｎへ適用されるダウンミックス利得を記述するダウンミックス利得情報ＤＭＧを生成することができる。ダウンミックス信号２３２の異なるチャネル間のダウンミックス利得差を記述するダウンミックス・チャネル・レベル差値ＤＣＬＤもまた、ビットストリーム表現２２０へ包含するために、パラメータプロバイダ２４０が場合により生成することができる。
【００８７】
上記を要約すると、オーディオ信号エンコーダは、オーディオオブジェクト信号２１０ａ〜２１０Ｎによって記述されるオーディオ場面を優れた聴感で再構成するために必要とされるオブジェクト関連パラメータ情報を効率的に生成する。その場合、多数の関連オーディオ・オブジェクト・ペアが存在すれば、コンパクトな共通のオブジェクト間相関ビットストリームパラメータ値が用いられる。これは、ビットストリーム・シグナリング・パラメータ２４４を用いて信号として与えられる。したがって、このような場合、過度のビットストリーム負荷が回避される。
【００８８】
以下、ビットストリーム表現の生成に関する詳細についてさらに述べる。
【００８９】
３．図３によるビットストリーム
図３は、本発明の一実施形態によるビットストリーム３００を概略的な表現を示したものである。
【００９０】
ビットストリーム３００は、例えば、オーディオ信号デコーダ１００の入力ビットストリームであって、ダウンミックス信号表現１１０及びオブジェクト関連パラメータ情報１１２をもっているものとすることができる。ビットストリーム３００は、オーディオ信号エンコーダ２００により出力ビットストリーム２２０として生成することができる。
【００９１】
ビットストリーム３００はダウンミックス信号表現３１０を含み、ダウンミックス信号表現３１０は複数のオーディオオブジェクトのオーディオ信号を結合する１チャネル又は多チャネルのダウンミックス信号（例えば、ダウンミックス信号２３２）の表現である。ビットストリーム３００は、オーディオオブジェクトの特徴を記述するオブジェクト関連のパラメトリックなサイド情報３２０も含み、オーディオオブジェクトのオーディオオブジェクト信号はダウンミックス信号表現３１０によって結合された形式で表される。オブジェクト関連のパラメトリックなサイド情報３２０はビットストリーム・シグナリング・パラメータ３２２を含み、ビットストリーム・シグナリング・パラメータ３２２はビットストリームが（異なるオーディオ・オブジェクト・ペアに個々に関連づけられる）個々のオブジェクト間相関ビットストリームパラメータを含むか、（複数の異なるオーディオ・オブジェクト・ペアに関連づけられる）共通のオブジェクト間相関ビットストリームパラメータ値を含むかを示す。オブジェクト関連のパラメトリックなサイド情報は、ビットストリーム・シグナリング・パラメータ３２２の第１の状態によって示される複数の個々のオブジェクト間相関ビットストリームパラメータ値３２４ａ、又はビットストリーム・シグナリング・パラメータ３２２の第２の状態によって示される共通のオブジェクト間相関ビットストリームパラメータ値も含む。
【００９２】
したがって、ビットストリーム３００は、ビットストリーム３００のフォーマットを個々のオブジェクト間相関ビットストリームパラメータ値の表現又は共通のオブジェクト間相関ビットストリームパラメータ値の表現を包含するように適応させることにより、オーディオオブジェクト信号２１０ａ〜２１０Ｎの関係性特性に適応させることができる。
【００９３】
ビットストリーム３００は、結果的に、コンパクトなサイド情報を有する異なるタイプのオーディオ場面を効率的に符号化する機会を与えると同時に、関連性の強いオーディオオブジェクトが少数しか存在しない場合に優れた聴感を達成する機会も保持する。
【００９４】
続いて、ビットストリームに関する詳細についてさらに論じる。
【００９５】
４．図４によるＭＰＥＧ ＳＡＯＣシステム
以下、図４を参照して、単一のＩＯＣパラメータ計算を用いるＭＰＥＧ ＳＡＯＣシステムについて述べる。
【００９６】
図４によるＭＰＥＧ ＳＡＯＣシステム４００は、ＳＡＯＣエンコーダ４１０と、ＳＡＯＣデコーダ４２０とを備えている。
【００９７】
ＳＡＯＣエンコーダ４１０は、複数の、例えばＬ個のオーディオオブジェクト信号４２０ａ〜４２０Ｎを受信するように構成されている。ＳＡＯＣエンコーダ４１０はダウンミックス信号表現４３０とサイド情報４３２とを生成するように構成されており、ダウンミックス信号表現４３０とサイド情報４３２は必ずしもビットストリームに包含されなければならないということはないが、好ましくはビットストリームに包含される。
【００９８】
ＳＡＯＣエンコーダ４１０はＳＡＯＣダウンミックス処理４４０を含み、ＳＡＯＣダウンミックス処理４４０はオーディオオブジェクト信号４２０ａ〜４２０Ｎを受信し、これらに基づきダウンミックス信号表現４３０を生成する。ＳＡＯＣエンコーダ４１０はパラメータ抽出器４４４も備えており、パラメータ抽出器４４４はオブジェクト信号４２０ａ〜４２０Ｎを受信することができ、場合によりＳＡＯＣダウンミックス処理４４０に関する情報（例えば、１つ以上のダウンミックスパラメータ）も受信することができる。パラメータ抽出器４４４は単一オブジェクト間相関計算器４４８を備えており、単一オブジェクト間相関計算器４４８は複数のオーディオ・オブジェクト・ペアに関連づけられる単一（共通）のオブジェクト間相関値を計算するように構成されている。また、単一オブジェクト間相関計算器４４８は、オブジェクトペア個別的なオブジェクト間相関値の代わりに単一のオブジェクト間相関値が使用されるかどうかを指示する単一オブジェクト間相関信号４５２を生成するようにも構成されている。単一オブジェクト間相関計算器４４８は、共通する単一のオブジェクト間相関値（又はそれに代わって、オーディオオブジェクト信号のペア毎に関連づけられる複数の個々のオブジェクト間相関パラメータ値）が生成されるかどうかを、例えば、オーディオオブジェクト信号４２０ａ〜４２０Ｎの分析に基づいて決定することができる。しかしながら、単一オブジェクト間相関計算器４４８は、共通のオブジェクト間相関値（例えば、１つのビットストリームパラメータ値）が計算されるべきか、個々のオブジェクト間相関値（例えば、複数のビットストリームパラメータ値）が計算されるべきかを決定する外部制御情報も受信することができる。
【００９９】
パラメータ抽出器４４４は、例えばオブジェクトレベル差パラメータのようなオーディオオブジェクト信号４２０ａ〜４２０Ｎを記述する複数のパラメータを生成するようにも構成されている。またパラメータ抽出器４４４は、好適には、例えばダウンミックス利得パラメータＤＭＧのセット及びダウンミックス・チャネル・レベル差パラメータＤＣＬＤのセットのようにダウンミックスを記述するパラメータを生成するようにも構成されている。
【０１００】
ＳＡＯＣエンコーダ４１０は、パラメータ抽出器４４４により生成されるパラメータを量子化する量子化４５６を含む。例えば、共通するオブジェクト間相関パラメータは量子化４５６によって量子化することができる。さらに、オブジェクトレベル差パラメータ、ダウンミックス利得パラメータ及びダウンミックス・チャネル・レベル差パラメータも量子化４５６によって量子化することができる。したがって、量子化４５６により、量子化されたパラメータが得られる。
【０１０１】
ＳＡＯＣエンコーダ４１０は、量子化４５６により生成される量子化されたパラメータを符号化するように構成されている雑音のないコーディング４６０も含む。例えば、雑音のないコーディングは、量子化された共通するオブジェクト間相関パラメータ及び他の量子化されたパラメータ（例えば、ＯＬＤ、ＤＭＧ及びＤＣＬＤ）も雑音なしに符号化することができる。
【０１０２】
したがって、ＳＡＯＣエンコーダ４１０は、サイド情報４３２が単一ＩＯＣ信号４５２（これはビットストリーム・シグナリング・パラメータと考えてよい。）と、雑音のないコーディング４８０により生成される雑音なしにコーディングされたパラメータ（これはビットストリームパラメータ値と考えてもよい。）とを含むように、サイド情報を生成する。
【０１０３】
ＳＡＯＣデコーダ４２０は、ＳＡＯＣエンコーダ４１０によって生成されるサイド情報４３２と、ＳＡＯＣエンコーダ４１０によって生成されるダウンミックス信号表現４３０とを受信するように構成されている。
【０１０４】
ＳＡＯＣデコーダ４２０は雑音のない復号４６４を含み、雑音のない復号４６４はエンコーダ４１０において実行されたサイド情報４３２の雑音のないコーディング４６０を逆転するように構成されている。ＳＡＯＣデコーダ４２０は脱量子化４６８も含む。脱量子化４６８は逆量子化と考えてもよく（それでも、厳密に言えば、量子化を完璧な精度で逆転することはできない。）、脱量子化４６８は復号されたサイド情報４６６を雑音のない復号４６４から受信するように構成されている。脱量子化４６８は脱量子化されたパラメータ４７０、例えば単一オブジェクト間相関計算器４４８によって生成され、復号及び脱量子化された共通のオブジェクト間相関値を生成し、かつ復号及び脱量子化されたオブジェクトレベル差値ＯＬＤ、復号及び脱量子化されたダウンミックス利得値ＤＭＧ、並びに復号及び脱量子化されたダウンミックス・チャネル・レベル差値ＤＣＬＤも生成する。ＳＡＯＣデコーダ４２０は単一オブジェクト間相関エキスパンダ４７４も備えており、単一オブジェクト間相関エキスパンダ４７４は複数の関連オーディオ・オブジェクト・ペアに関連づけられる複数のオブジェクト間相関値を共通のオブジェクト間相関値に基づいて生成するように構成されている。しかしながら、実施形態によっては、単一オブジェクト間相関エキスパンダ４７４が雑音のない復号４６４及び脱量子化４６８より前に配置されてもよいことに留意されるべきである。例えば、単一オブジェクト間相関エキスパンダ４７４は、ダウンミックス信号表現４３０及びサイド情報４３２の双方を含むビットストリームを受信するビットストリームパーサに統合されてもよい。
【０１０５】
ＳＡＯＣデコーダ４２０はＳＡＯＣデコーダ処理及びミキシング４８０も含み、ＳＡＯＣデコーダ処理及びミキシング４８０はダウンミックス信号表現４３０と、サイド情報４３２に（符号化された形式で）含まれていて復号されたパラメータとを受信するように構成されている。したがって、ＳＡＯＣデコーダ処理及びミキシング４８０は、例えば（異なる）オーディオ・オブジェクト・ペア毎に１つ又は２つのオブジェクト間相関値を受信することができ、この場合、その１つ又は２つのオブジェクト間相関値は、関連のないオーディオオブジェクトではゼロ、関連のあるオーディオオブジェクトでは非ゼロとすることができる。さらに、ＳＡＯＣデコーダ処理及びミキシング４８０は、あらゆるオーディオオブジェクトのオブジェクトレベル差値を受信することができる。さらに、ＳＡＯＣデコーダ処理及びミキシング４８０は、ＳＡＯＣダウンミックス処理４４０において実行されたダウンミックスを記述するダウンミックス利得値及び（場合により）ダウンミックス・チャネル・レベル差値を受信することができる。したがって、ＳＡＯＣデコーダ処理及びミキシング４８０は、ダウンミックス信号表現４３０、サイド情報４３２に含まれるサイド情報パラメータ及びオーディオオブジェクトの所望されるレンダリングを記述する相互作用情報４８２に依存して、複数のチャネル信号４８４ａ〜４８４Ｎを生成することができる。しかしながら、チャネル４８４ａ〜４８４Ｎは、個々のオーディオチャネル信号の形式、又は、例えばＭＰＥＧサラウンド規格に従ったマルチチャネル表現（例えば、ＭＰＥＧサラウンドダウンミックス信号及びチャネル関連ＭＰＥＧサラウンドサイド情報を含む。）のようなパラメトリック表現の形式の何れで表現されてもよいことに留意されるべきである。換言すれば、本明細書本文においては、個々のチャネルオーディオ信号表現及びパラメトリックなマルチチャネルオーディオ信号表現の双方がアップミックス信号表現として考慮される。
【０１０６】
以下、ＳＡＯＣエンコーダ４１０及びＳＡＯＣデコーダ４２０の機能に関する幾つかの詳細について述べる。
【０１０７】
以下で論じるＳＡＯＣサイド情報は、ＳＡＯＣ符号化及びＳＡＯＣ復号化において重要な役割を果たす。ＳＡＯＣサイド情報は、入力されるオブジェクト（オーディオオブジェクト）をその時間／周波数可変共分散行列によって記述する。Ｎ個のオブジェクト信号４２０ａ〜４２０Ｎ（単に「オブジェクト」と示される場合もある。）は、行列：
における列（rows）として記すことができる。ここで、エントリｓi（ｌ）は、時間指数ｌを有する複数の時間部分に関するオーディオオブジェクト指数ｉを有するオーディオオブジェクトのスペクトル値を示す。Ｌ個のサンプルによる信号ブロックは、信号特性の記述に適用される時間−周波数平面の知覚的に動機付けされるタイリング（tiling）の一部である１つの時間及び周波数間隔内の信号を表す。
【０１０８】
ゆえに、共分散行列は、
但し、
として与えられる。
【０１０９】
この共分散行列は、典型的には、ＳＡＯＣデコーダ処理及びミキシング４８０によってチャネル信号４８４ａ〜４８４Ｎを取得するために用いられる。
【０１１０】
対角要素は、ＳＡＯＣデコーダ側においてＯＬＤデータによって直接に再構成されることができ、非対角要素は、オブジェクト間相関（ＩＯＣ）により、
として与えられる。オブジェクトレベル差値がｓm及びｓnを表していることに留意されるべきである。
【０１１１】
共分散行列全体を表わすために必要とされるオブジェクト間相関値の数は、Ｎ＊Ｎ／２−Ｎ／２である。この数は膨大になって（例えば、オブジェクト信号の数が多い場合）、高いビット要求に繋がる可能性があることから、ＳＡＯＣエンコーダ４１０（ならびにオーディオ信号エンコーダ２００）は、場合により、互いに信号で「関連あり」と表されるオブジェクトペアに関して選択されたオブジェクト間相関値のみを伝送することができる。この任意の「関連あり」情報は、例えばビットストリームのＳＡＯＣ固有のコンフィギュレーション構文要素において静的に表され、例えば「ＳＡＯＣＳｐｅｃｉｆｉｃＣｏｎｆｉｇ（）」で示すことができる。互いに関連していないオブジェクトは、例えば無相関であると想定され、即ちそのオブジェクト間相関はゼロに等しい。
【０１１２】
しかしながら、全てのオブジェクト（又は、略全てのオブジェクト）が互いに関連している適用の筋書きが存在する。このような適用の筋書きの一例は、マイクロホンの設備を用い室内音響が高度のマイクロホン間クロストークを伴う電話会議である。これらの事例では、（上述の従来的機構が使用されれば）全てのＩＯＣ値の伝送が必要になり、通常は、所望されるビット割当量を超過するであろう。別の方法として、全てのオブジェクトが無相関であると想定することは、多大なモデルエラーを誘発し、そのために、再現される場面は準最適なオーディオ品質となるであろう。
【０１１３】
提案アプローチの基礎は、所定のＳＡＯＣ適用の筋書きの場合、無相関の音源は、それらが位置決めされる音響環境に起因して、かつ適用される録音技術に起因して相関するＳＡＯＣ入力オブジェクトをもたらすという想定にある。
【０１１４】
例えば、電話会議の装備について考察すると、室内残響音及び個々のスピーカの不完全な隔離による影響は、個々の対象者の発話が無相関であっても相関されたＳＡＯＣオブジェクトに繋がる。これらの音響的状況及び結果としての相関性は、単一の周波数及び時間可変値によってほぼ記述することができる。
【０１１５】
したがって、本提案方法は、所望されるオブジェクト相関性を全て表わす高ビットレート要求をうまく回避する。これは、ＳＡＯＣエンコーダにおける専用の「単一ＩＯＣ計算器」モジュール４４８（図４）において単一の時間／周波数依存単一ＩＯＣ値を計算することによって行われる。「単一ＩＯＣ」機能の使用は、信号としてＳＡＯＣ情報（例えば、ビットストリーム・シグナリング・パラメータ「ｂｓＯｎｅＩＯＣ」を用いて）で表わされる。その後、時間／周波数タイルごとに単一のＩＯＣ値が、別々の全てのＩＯＣ値の代わりに（例えば、共通のオブジェクト間相関ビットストリームパラメータ値を用いて）伝送される。
【０１１６】
ある典型的な適用において、ビットストリームヘッダ（例えば、未公開のＳＡＯＣ規格［ＳＡＯＣ］（非特許文献５）に従った「ＳＡＯＣＳｐｅｃｉｆｉｃＣｏｎｆｉｇ（）」要素）は、「単一ＩＯＣ」信号が使用されるか、「標準的な」ＩＯＣ信号が使用されるかを示す１ビットを含む。以下、この問題に関する幾つかの詳細について論じる。
【０１１７】
ペイロード・フレーム・データ（例えば、未公開のＳＡＯＣ規格［ＳＡＯＣ］（非特許文献５）における「ＳＡＯＣＦｒａｍｅ（）」要素）は、次に、「単一ＩＯＣ」モード又は「標準」モードに依存して全てのオブジェクト又は幾つかのＩＯＣに共通するＩＯＣを含む。
【０１１８】
ゆえに、デコーダ内のペイロードデータのためのビットストリームパーサ（ＳＡＯＣデコーダの一部であってもよい）は、下記の例（擬似Ｃコードで定式化されている）に従って設計することができる。
if (iocMode == SINGLE_IOC)
{
readIocDataFromBitstream(1);
}
else
{
readIocDataFromBitstream (numberOfTransmittedIocs);
}
【０１１９】
上記の例によれば、ビットストリームパーサは、フラグ「ｉｏｃＭｏｄｅ」（以下、「ｂｓＯｎｅＩＯＣ」でも示される）が唯一のオブジェクト間相関ビットストリームパラメータ値（パラメータ値「ＳＩＮＧＬＥ＿ＩＯＣ」によって信号として表わされる）の存在を示しているかどうかをチェックする。ビットストリームパーサは、唯一のオブジェクト間相関値が存在していることを発見すると、ビットストリームから、演算「ｒｅａｄＩｏｃＤａｔａＦｒｏｍＢｉｔｓｔｒｅａｍ（１）」により示される１つのオブジェクト間相関データユニット（即ち、１つのオブジェクト間相関ビットストリームパラメータ値）を読み取る。これに対して、フラグ「ｉｏｃＭｏｄｅ」が単一（共通）のオブジェクト間相関値の使用を示していないことを発見すると、ビットストリームパーサは、ビットストリームから、関数「ｒｅａｄＩｏｃＤａｔａＦｒｏｍＢｉｔｓｔｒｅａｍ（ｎｕｍｂｅｒＯｆＴｒａｎｓｍｉｔｔｅｄＩｏｃｓ）」により示される異なる数のオブジェクト間相関データユニット（即ち、複数のオブジェクト間相関ビットストリームパラメータ値）を読み取る。この場合に読み取られるオブジェクト間相関データユニットの数（「ｎｕｍｂｅｒＯｆＴｒａｎｓｍｉｔｔｅｄＩｏｃｓ」）は、典型的には、関連オーディオ・オブジェクト・ペアの数によって決定される。
【０１２０】
あるいは、「単一ＩＯＣ」信号は、単一ＩＯＣモードと標準ＩＯＣモードとの間のフレーム毎の動的切換を有効化するために、ペイロードフレーム内（例えば、未公開のＳＡＯＣ規格における所謂「ＳＡＯＣＦｒａｍｅ（）」要素内）に存在することもできる。
【０１２１】
５．共通するオブジェクト間相関ビットストリームパラメータのエンコーダ側での計算の実施
以下、単一ＩＯＣ（ＩＯＣsingle）計算の幾つかの好適な実施について述べる。
【０１２２】
５．１ クロスパワー項を用いる計算
ＳＡＯＣエンコーダ４１０の好適な一実施形態において、共通のオブジェクト間相関ビットストリームパラメータ値ＩＯＣsingleは、次式にしたがって計算することができる。
但し、クロスパワー項は、
である。ここで、ｎ及びｋは、ＳＡＯＣパラメータが適用される時間及び周波数インスタンス（又は時間及び周波数指数）である。
【０１２３】
換言すれば、共通のオブジェクト間相関ビットストリームパラメータ値ＩＯＣsingleは、クロスパワー項ｎｒｇij（この場合、オブジェクト指数ｉは、典型的にはオブジェクト指数jとは異なる）の和と、平均エネルギー値
（この平均エネルギー値は、例えば、エネルギー値ｎｒｇiiとｎｒｇjjとの幾何学的平均を表す）の和との割合に依存して計算することができる。
【０１２４】
この加算は、例えば全ての異なるオーディオ・オブジェクト・ペアについて実行してもよく、関連オーディオ・オブジェクト・ペアのみについて実行してもよい。
【０１２５】
クロスパワー項ｎｒｇijは、例えば、複数の時間インスタンス（時間指数ｎを有する）及び／又は複数の周波数インスタンス（周波数指数ｋを有する）について考慮されるオーディオ・オブジェクト・ペアのオーディオオブジェクト信号に関連づけられるスペクトル係数ｓin,k、ｓjn,kの複素共役積（因数のうちの１つが複素共役される）の和として形成することができる。
【０１２６】
上述の方程式に示されているように、実数値の共通のオブジェクト間相関ビットストリームパラメータ値ＩＯＣsingleを有するために、前記割合の実数部を（例えば、演算Ｒｅ｛｝によって）形成することができる。
【０１２７】
５．２ 定値の使用
別の好適な実施形態において、共通のオブジェクト間相関ビットストリームパラメータ値ＩＯＣsingleを取得するために、
ＩＯＣsingle＝ｃ
に従って定値ｃを選ぶことができる。但し、ｃは定数である。
【０１２８】
この定数ｃは、例えば、電話会議が行われる固有の音響（残響量）を有する部屋の時間及び周波数非依存クロストークを記述できるかも知れない。
【０１２９】
定数ｃは、例えば、室内音響の推定に従って設定することができ、ＳＡＯＣエンコーダによって実行することができる。あるいは、定数ｃは、ユーザインタフェースを介して入力しても、又はＳＡＯＣエンコーダ４１０において予め定めてもよい。
【０１３０】
６．全てのオブジェクトペアに関するデコーダ側のオブジェクト間相関値の決定
以下、全てのオブジェクトペアについてオブジェクト間相関値を如何にして取得できるかについて述べる。
【０１３１】
デコーダ側では（例えば、ＳＡＯＣデコーダ４２０において）、単一のオブジェクト間相関（ビットストリーム）パラメータ（ＩＯＣsingle）を用いて全てのオブジェクトペアのオブジェクト間相関値が決定される。これは、例えば、「単一ＩＯＣエキスパンダ」モジュール４７４（図４参照）において行われる。
【０１３２】
ある好適な方法は、単純なコピー動作である。コピーは、例えば、ＳＡＯＣビットストリームヘッダにおいて（例えば、「ＳＡＯＣＳｐｅｃｉｆｉｃＣｏｎｆｉｇｕｒａｔｉｏｎ（）」部分において）伝達される「関連あり」情報を考慮して、又は考慮せずに適用することができる。
【０１３３】
ある好適な実施形態において、「関連あり」情報のない（即ち、「関連あり」情報を転送又は考慮しない）コピーは、下記の方式で実行することができる。
ＩＯＣｍｎ＝ＩＯＣｓｉｎｇｌｅ
（ｍ≠ｎである全てのｍ、ｎについて。）
【０１３４】
したがって、異なるオーディオ・オブジェクト・ペアに関するオブジェクト間相関値は全て、共通するオブジェクト間相関（ビットストリーム）パラメータ値に設定される。
【０１３５】
別の好適な実施形態において、「関連あり」情報を有する（即ち、「関連あり」情報を考慮する）コピーは、例えば下記の方式で実行される。
ＩＯＣmn＝ＩＯＣsingle
（ｍ≠ｎかつｒｅｌａｔｅｄＴｏ（ｍ，ｎ）＝１である全てのｍ、ｎについて。）
ＩＯＣmn＝０
（ｍ≠ｎかつｒｅｌａｔｅｄＴｏ（ｍ，ｎ）＝０である全てのｍ、ｎについて。）
【０１３６】
したがって、オブジェクト関連情報「ｒｅｌａｔｅｄＴｏ（ｍ，ｎ）」がそのオーディオオブジェクトは互いに関連していることを示していれば、（オーディオオブジェクト指数ｍ及びｎを有する）オーディオオブジェクトのペアに関連づけられる１つの、又は２つでさえあるオブジェクト間相関値は、例えば共通のオブジェクト間相関ビットストリームパラメータ値によって指定される値ＩＯＣsingleに設定される。そうでなければ、即ち、オブジェクト関連情報「ｒｅｌａｔｅｄＴｏ（ｍ，ｎ）」があるオーディオ・オブジェクト・ペアのオーディオオブジェクトは関連していないことを示していれば、そのオーディオオブジェクトのペアに関連づけられる１つの、又は２つでさえあるオブジェクト間相関値は、既定の値、例えばゼロに設定される。
【０１３７】
しかしながら、例えば、オブジェクトの電力を考慮した異なる分配方法も可能である。例えば、比較的低い電力を有するオブジェクトに関するオブジェクト間相関値は、ＳＡＯＣデコーダにおける脱相関フィルタの影響を最小限に抑えるために、１（完全相関）等の高値に設定することができる。
【０１３８】
７．図５及び図６によるビットストリーム要素を用いるデコーダ概念
以下、図５及び図６によるビットストリーム構文要素を用いるオーディオ信号デコーダのデコーダ概念について述べる。ここで、図５及び図６を参照して述べるビットストリーム構文及びビットストリーム評価概念が、例えば図１によるオーディオ信号デコーダ１００においても、図４によるオーディオ信号デコーダ４２０においても適用され得ることに留意されるべきである。さらに、図２によるオーディオ信号エンコーダ２００及び図４によるオーディオ信号デコーダ４１０は、図５及び図６に関連して論じられるようなビットストリーム構文要素を生成するように適合化され得ることにも留意されるべきである。
【０１３９】
したがって、ダウンミックス信号表現１１０及びオブジェクト関連パラメータ情報１１２を備えているビットストリーム、及び／又はビットストリーム表現２２０、及び／又はビットストリーム３００、及び／又はダウンミックス情報４３０及びサイド情報４３２を含むビットストリームは、以下の説明に従って生成することができる。
【０１４０】
上述のＳＡＯＣエンコーダにより生成することができ、かつ上述のＳＡＯＣデコーダにより評価することのできるＳＡＯＣビットストリームは、以下で図５を参照して述べるＳＡＯＣ固有のコンフィギュレーション部分を含むことができる。図５はこのようなＳＡＯＣ固有のコンフィギュレーション部分「ＳＡＯＣＳｐｅｃｉｆｉｃＣｏｎｆｉｇ（）」の構文表現を示している。
【０１４１】
ＳＡＯＣ固有のコンフィギュレーション情報は、例えば、サンプリング周波数コンフィギュレーション(sampling frequency configuration)情報を含み、サンプリング周波数コンフィギュレーション情報は、オーディオ信号エンコーダにより使用され、かつ／又はオーディオ信号デコーダにより使用されるべきサンプリング周波数を記述する。また、ＳＡＯＣ固有のコンフィギュレーション情報は低遅延モードコンフィギュレーション(low delay mode configuration)情報も含み、低遅延モードコンフィギュレーション情報は、低遅延モードがオーディオ信号エンコーダにより使用されてきているかどうか、かつ／又はオーディオ信号デコーダにより使用されるべきかどうかを記述する。またＳＡＯＣ固有のコンフィギュレーション情報は周波数分解能コンフィギュレーション(frequency resolution configuration)情報も含み、周波数分解能コンフィギュレーション情報は、オーディオ信号エンコーダにより使用され、かつ／又はオーディオ信号デコーダにより使用されるべき周波数分解能を記述する。またＳＡＯＣ固有のコンフィギュレーション情報はフレーム長さコンフィギュレーション(frame length configuration)情報も含み、フレーム長さコンフィギュレーション情報は、ＳＡＯＣエンコーダにより使用され、かつ／又はＳＡＯＣデコーダにより使用されるべきオーディオフレームのフレーム長さを記述する。またＳＡＯＣ固有のコンフィギュレーション情報は、オーディオオブジェクトの数を記述するオブジェクト数コンフィギュレーション(object number configuration)情報も含む。「ｂｓＮｕｍＯｂｊｅｃｔｓ」でも示されるこのオブジェクト数コンフィギュレーション情報は、例えば、これまでの説明で使用された値Ｎを記述する。
【０１４２】
ＳＡＯＣ固有のコンフィギュレーション情報は、オブジェクト関係性コンフィギュレーション(object relationship configuration)情報も含む。例えば、異なるオーディオ・オブジェクトのペアに悉く１ビットストリームビットを存在させることができる。しかしながら、オーディオオブジェクトの関係性は、例えば、オーディオオブジェクトの組合せ毎に１ビットのエントリを有するＮ×Ｎ正方行列によって表すことができる。前記行列でオブジェクトとそのオブジェクト自体との関係性を記述するエントリ、すなわち対角要素は１に設定することができ、それはあるオブジェクトがそれ自体に関連づけられることを示す。２つのエントリ、すなわち第１の指数ｉと第２の指数ｊとを有する第１のエントリ及び第１の指数ｊと第２の指数ｉとを有する第２のエントリは、オーディオオブジェクト指数ｉ及びｊを有する異なるオーディオ・オブジェクト・ペアの各々に関連づけることができる。したがって、単一のビットストリームビットは、オブジェクト関連性行列の２エントリの値を決定し、それらの２つのエントリの値は同一値に設定される。
【０１４３】
図５から分かるように、第１のオーディオオブジェクト指数ｉは、ｉ＝０からｉ＝ｂｓＮｕｍＯｂｊｅｃｔｓへと進む（外側のｆｏｒループ）。対角エントリ「ｂｓＲｅｌａｔｅｄＴｏ［ｉ］［ｉ］」は、全てのｉ値に対して１に設定される。第１のオーディオオブジェクト指数ｉに関して、オーディオオブジェクトｉとオーディオオブジェクトｊ（オーディオオブジェクト指数ｊを有する）との関係性を記述するビットは、ｊ＝ｉ＋１からｊ＝ｂｓＮｕｍＯｂｊｅｃｔｓまでのビットストリームに含まれる。したがって、オーディオオブジェクト指数ｉ及びｊを有するオーディオオブジェクト間の関係性を記述する関係性行列のエントリ「ｂｓＲｅｌａｔｅｄＴｏ［ｉ］［ｊ］」は、ビットストリーム内に与えられる値に設定される。さらに、オブジェクト関連性行列のエントリ「ｂｓＲｅｌａｔｅｄＴｏ［ｊ］［ｉ］」は同じ値に、即ち行列エントリ「ｂｓＲｅｌａｔｅｄＴｏ［ｉ］［ｊ］」の値に設定される。詳細については、図５の構文表現を参照されたい。
【０１４４】
ＳＡＯＣ固有のコンフィギュレーション情報は絶対エネルギー伝送コンフィギュレーション情報(absolute energy transmission configuration)も含み、絶対エネルギー伝送コンフィギュレーション情報はオーディオエンコーダが絶対エネルギー情報をビットストリーム内へ包含しているかどうか、かつ／又はオーディオデコーダがそのビットストリームに含まれる絶対エネルギー伝送コンフィギュレーション情報を評価すべきかどうかを記述する。
【０１４５】
ＳＡＯＣ固有のコンフィギュレーション情報はダウンミックスチャネル数コンフィギュレーション(downmix-channel-number configuration)情報も含み、ダウンミックスチャネル数コンフィギュレーション情報は、オーディオエンコーダにより使用され、かつ／又はオーディオデコーダにより使用されるべきダウンミックスチャネルの数を記述する。また、ＳＡＯＣ固有のコンフィギュレーション情報は追加的コンフィギュレーション(additional configuration)情報も含むことができ、追加的コンフィギュレーション情報は本出願に関連せず、したがって場合により省略することができる。
【０１４６】
ＳＡＯＣ固有のコンフィギュレーション情報は共通のオブジェクト間相関コンフィギュレーション(common inter-object-correlation configuration)情報（本明細書では、「ビットストリーム・シグナリング・パラメータ」としても示される。）も含み、共通のオブジェクト間相関コンフィギュレーション情報は、共通のオブジェクト間相関ビットストリームパラメータ値がＳＡＯＣビットストリームに含まれるかどうか、又はオブジェクトペア毎のオブジェクト間相関ビットストリームパラメータ値がＳＡＯＣビットストリームに含まれるかどうかを記述する。その共通のオブジェクト間相関コンフィギュレーション情報は、例えば「ｂｓＯｎｅＩＯＣ」で示すことができ、また１ビット値とすることができる。
【０１４７】
ＳＡＯＣ固有のコンフィギュレーション情報は、歪制御ユニットコンフィギュレーション(distortion control unit configuration)情報も含むことができる。
【０１４８】
さらに、ＳＡＯＣ固有のコンフィギュレーション情報は１つ以上の充填ビット(fill bit)を含んでもよい。充填ビットは「ＢｙｔｅＡｌｉｇｎ（）」で示され、かつＳＡＯＣ固有のコンフィギュレーション情報の長さを調整するために使用することができる。さらに、ＳＡＯＣ固有のコンフィギュレーション情報は任意の追加的なコンフィギュレーション情報「ＳＡＯＣＥｘｔｅｎｓｉｏｎＣｏｎｆｉｇ（）」を含んでもよいが、これは本出願には関連がなく、そのため本明細書では論じない。
【０１４９】
ここで、ＳＡＯＣ固有のコンフィギュレーション情報に含まれるコンフィギュレーション情報が上述のコンフィギュレーション情報より多くてもよく又は少なくてもよいことに留意されるべきである。換言すれば、実施形態によっては上述のコンフィギュレーション情報のうちの幾つかを省略することができ、また実施形態によっては更なるコンフィギュレーション情報を包含することができる。
【０１５０】
しかしながら、ＳＡＯＣ固有のコンフィギュレーション情報は、例えばＳＡＯＣビットストリームにおけるオーディオの一定量ごとに１回包含されてもよいことに留意されるべきである。しかしながら、ＳＡＯＣ固有のコンフィギュレーション情報は、場合によりビットストリームにそれより多く包含することができる。しかし、ＳＡＯＣ固有のコンフィギュレーション情報がかなりのビット負荷を与えることから、ＳＡＯＣ固有のコンフィギュレーション情報は、典型的には、複数のＳＡＯＣフレームに対して与えられる。
【０１５１】
以下、ＳＡＯＣフレームの構文について、このようなＳＡＯＣフレームの構文表現を示す図６を参照して述べる。ＳＡＯＣフレームは符号化されたオブジェクトレベル差値ＯＬＤを含み、符号化されたオブジェクトレベル差値ＯＬＤはバンド関連で、オーディオオブジェクト毎に包含することができる。
【０１５２】
ＳＡＯＣフレームは符号化された絶対エネルギー値(absolute energy value)ＮＲＧも含み、符号化された絶対エネルギー値ＮＲＧは任意であると考えてもよく、バンド関連で包含されてもよい。
【０１５３】
ＳＡＯＣフレームは符号化されたオブジェクト間相関値ＩＯＣも含み、符号化されたオブジェクト間相関値ＩＯＣは、バンド関連で、即ち複数の周波数バンドで別々に与えられてもよく、オーディオオブジェクトの複数の組合せに対して与えられてもよい。
【０１５４】
以下、ビットストリームについて、ビットストリームを構文解析するビットストリームパーサにより実行することのできる演算について述べる。
【０１５５】
ビットストリームパーサは、例えば、最初の準備段階において変数ｋ、ｉｏｃｌｄｘ１、ｉｏｃｌｄｘ２を値ゼロに初期化することができる。
【０１５６】
続いて、ビットストリームパーサは、ｉ＝０からｉ＝ｂｓＮｕｍＯｂｊｅｃｔｓまでの第１のオーディオオブジェクト指数ｉの複数の値について構文解析を実行することができる（外側のｆｏｒループ）。ビットストリームパーサは、例えば、オーディオオブジェクト指数ｉを有するオーディオオブジェクトとこのオーディオオブジェクト自体との関係性を記述するオブジェクト間相関指数値ｉｄｘＩｏｃ［ｉ］［ｉ］を、完全相関を示すゼロに設定することができる。
【０１５７】
続いて、ビットストリームパーサは、ｉ＋１からｂｓＮｕｍＯｂｊｅｃｔｓまでの第２のオーディオオブジェクト指数の値ｊについてビットストリームを評価することができる。オーディオオブジェクト指数ｉ及びｊを有するオーディオオブジェクトに関連があって、これがオブジェクト関連性行列のエントリ「ｂｓＲｅｌａｔｅｄＴｏ［ｉ］［ｊ］」の非ゼロ値によって示されておれば、ビットストリームパーサはアルゴリズム６１０を実行し、そうでなければ、ビットストリームパーサは、オーディオオブジェクト指数ｉ及びｊを有するオーディオオブジェクトに関連づけられるオブジェクト間相関指数を５（演算「ｉｄｘＩＯＣ［ｉ］［ｊ］＝５」）に設定する。オブジェクト間相関指数の５はゼロ相関を記述する。このように、オブジェクト関連性行列が関係性のないことを示しているオーディオ・オブジェクト・ペアに対しては、オブジェクト間相関値がゼロに設定される。しかしながら、オーディオ・オブジェクト・ペアに関連があれば、ＳＡＯＣ固有のコンフィギュレーションに含まれるビットストリーム・シグナリング・パラメータ「ｂｓＯｎｅＩＯＣ」が進め方を決定するために評価される。ビットストリーム・シグナリング・パラメータ「ｂｓＯｎｅＩＯＣ」が、オブジェクトペア毎のオブジェクト間相関ビットストリームパラメータ値の存在を示していれば、関数「ＥｃＤａｔａＳａｏｃ」を用いて、「ｎｕｍＢａｎｄｓ」周波数バンドのビットストリームから複数のｉｄｘＩｏｃ［ｉ］［ｊ］（オブジェクト間関係性ビットストリームパラメータ値と考えることができる。）が抽出される。この場合、その関数「ＥｃＤａｔａＳａｏｃ」はオブジェクト間関係性指数を復号するために使用することができる。
【０１５８】
しかしながら、ビットストリーム・シグナリング・パラメータ「ｂｓＯｎｅＩＯＣ」が、複数のオーディオ・オブジェクト・ペアに対して共通のオブジェクト間相関ビットストリームパラメータ値が使用されることを示し、かつビットストリームパラメータ「ｂｓＲｅｌａｔｅｄＴｏ［ｉ］［ｊ］」がオーディオオブジェクト指数ｉ及びｊを有するオーディオオブジェクトは関連していることを示していれば、複数のｎｕｍＢａｎｄｓ周波数バンドに対して、関数「ＥｃＤａｔａＳａｏｃ」を用いてビットストリームから複数のオブジェクト間相関指数「ｉｄｘＩＯＣ［ｉ］［ｊ］」からなる単一セットが読み取られる。その場合、どの周波数バンドに対しても、単一のオブジェクト間相関指数のみが読み取られる。しかしながら、アルゴリズム６１０を再実行した時点で、先に読み取られたオブジェクト間相関指数ｉｄｘＩＯＣ［ｉｏｃｌｄｘ１］［ｉｏｃｌｄｘ２］はビットストリームを評価することなくコピーされる。これは変数ｋの使用によって保証され、変数ｋはゼロに初期化されかつオブジェクト間相関指数ｉｄｘＩＯＣ［ｉ］［ｊ］の最初のセットが評価された時点で増分される。
【０１５９】
要約すると、２つのオーディオオブジェクトによる各組合せについて、このような組合せの２つのオーディオオブジェクトが互いに関連しているとして信号で表わされているかどうかが、まず評価される（例えば、値「ｂｓＲｅｌａｔｅｄＴｏ［ｉ］［ｊ］」が値ゼロをとるか否かをチェックすることによって。）。そのオーディオ・オブジェクト・ペアのオーディオオブジェクトが関連していれば、さらなる処理６１０が実行される。そうでなければ、この（実質上関連のない）オーディオ・オブジェクト・ペアに関連づけられる値「ｉｄｘＩＯＣ［ｉ］［ｊ］」は既定値に、例えばゼロオブジェクト間相関を示す既定値に設定される。
【０１６０】
処理６１０において、信号「ｂｓＯｎｅＩＯＣ」が不活性であれば、あらゆるオーディオ・オブジェクト・ペア（関連するオーディオオブジェクトを含むことが信号で表わされている。）についてビットストリームから１つのビットストリーム値が読み取られる。そうでなければ、即ち信号「ｂｓＯｎｅＩＯＣ」が活性であれば、１つのオーディオ・オブジェクト・ペアにつきビットストリーム値が１つだけ読み取られ、かつ指数値ｉｏｃｌｄｘ１及びｉｏｃｌｄｘ２をこの読取り値におけるポイントに設定することにより、前記単一のペアの参照が保持される。信号「ｂｓＯｎｅＩＯＣ」が活性であれば、読み取られたこの単一の値は他のオーディオ・オブジェクト・ペア（互いに関連ありとして信号で表わされている。）用に再使用される。
【０１６１】
最後に、所定の２つのオーディオオブジェクトのどちらが第１のオーディオオブジェクトであって、所定の２つのオーディオオブジェクトのどちらが第２のオーディオオブジェクトであるかに関わらず、２つの異なる所定のオーディオオブジェクトの双方の組合せに同一のオブジェクト間相関指数値が関連づけられることも保証される。
【０１６２】
さらに、ＳＡＯＣフレームは、典型的には、オーディオオブジェクト毎に符号化されたダウンミックス利得値（ＤＭＧ）を含むことに留意されるべきである。
【０１６３】
さらに、ＳＡＯＣフレームは、典型的には、符号化されたダウンミックス・チャネル・レベル差（ＤＣＬＤ）を含み、符号化されたダウンミックス・チャネル・レベル差は場合によりオーディオオブジェクト毎に含むことができる。
【０１６４】
ＳＡＯＣフレームはさらに、場合により、符号化された処理後ダウンミックス利得値（ＰＤＧ）を含み、符号化された処理後ダウンミックス利得値はバンド関連方式で、かつダウンミックスチャネル毎に含むことができる。
【０１６５】
さらに、ＳＡＯＣフレームは符号化された歪制御ユニットパラメータ(distortion-control-unit parameters)を含むことができ、符号化された歪制御ユニットパラメータは歪制御尺度の適用を決定する。
【０１６６】
その上、ＳＡＯＣフレームは、１つ以上の充填ビット「ＢｙｔｅＡｌｉｇｎ（）」を含むことができる。
【０１６７】
さらに、ＳＡＯＣフレームは、拡張データ「ＳＡＯＣＥｘｔｅｎｓｉｏｎＦｒａｍｅ（）」を含んでもよいが、これは本出願には関連がなく、そのため本明細書では詳述しない。
【０１６８】
次に、図７を参照して、オブジェクト間相関パラメータの効果的な量子化の一例について述べる。
【０１６９】
図７から分かるように、図７の表の最初の行７１０は量子化指数ｉｄｘを表し、量子化指数ｉｄｘはゼロから７までの範囲内にある。この量子化指数は、変数「ｉｄｘＩＯＣ［ｉ］［ｊ］」へ割り付けることができる。図７の表の第２の行７２０は、関連するオブジェクト間相関値を−０．９９から１までの範囲で示している。したがって、パラメータ「ｉｄｘＩＯＣ［ｉ］［ｊ］」の値は、図７の表のマッピングを用いて逆量子化されたオブジェクト間相関値へ移すことができる。
【０１７０】
結論を言えば、ＳＡＯＣコンフィギュレーション部分「ＳＡＯＣＳｐｅｃｉｆｉｃＣｏｎｆｉｇ（）」は好適にはビットストリームパラメータ「ｂｓＯｎｅＩＯＣ」を含み、ビットストリームパラメータ「ｂｓＯｎｅＩＯＣ」は、互いに関連性を有する全てのオブジェクトに共通する単一のＩＯＣパラメータのみが表わされているかどうかを示し、「ｂｓＲｅｌａｔｅｄＴｏ［ｉ］［ｊ］＝１」により信号で表わされる。オブジェクト間相関値は、ビットストリーム内に符号化された形式「ＥｃＤａｔａＳａｏｃ（ＩＯＣ，ｋ，ｎｕｍＢａｎｄｓ）」で含まれる。アレイ「ｉｄｘＩＯＣ［ｉ］［ｊ］」は、１つ以上の符号化されたオブジェクト間相関値に基づき埋められる。アレイ「ｉｄｘＩＯＣ［ｉ］［ｊ］」のエントリは、逆量子化されたオブジェクト間相関値を取得するために、図７のマッピング表を用いて逆量子化された値へ移される。ＩＯＣi,jで示される逆量子化されたオブジェクト間相関値は、共分散行列のエントリを取得するために用いられる。この目的に沿って、ＯＬＤiで示される逆量子化されたオブジェクトレベル差パラメータも適用される。
【０１７１】
複数の要素ｅi,jを有するサイズＮ×Ｎの共分散行列Ｅは、元の信号の共分散行列
の近似値を表し、かつ、
としてＯＬＤ及びＩＯＣパラメータから取得される。
【０１７２】
７．実施の変形例
以上、幾つかの態様を装置の文脈で説明したが、これらの態様は対応する方法を記述するものでもあることは明らかでああり、その場合、ブロック又はデバイスが方法ステップ又は方法ステップの特徴に対応する。同様に、方法ステップの文脈で説明される態様も、対応するブロックもしくは項目、又は対応する装置の特徴の説明を表す。これらの方法ステップのうちの幾つか又は全ては、例えばマイクロプロセッサ、プログラマブルコンピュータ又は電子回路のようなハードウェア装置によって（又はこれを使用して）実行することができる。実施形態によっては、最も重要な方法ステップのうちのどれか１つ又は複数の方法ステップがこのような装置によって実行することができる。
【０１７３】
本発明による符号化されたオーディオ信号は、デジタル記憶媒体に蓄積されることが可能であり、又は無線伝送媒体等の伝送媒体上又はインターネット等の有線伝送媒体上で伝送されることが可能である。
【０１７４】
所定の実施要請に依存して、本発明の実施形態はハードウェア又はソフトウェアで実施されることが可能である。実施は電子的に読取り可能な制御信号を蓄積しているデジタル記憶媒体、例えばフロッピーディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ又はフラッシュメモリ、を用いて実行されることが可能であり、それらのデジタル記憶媒体は個々の方法が実行されるようにプログラム可能コンピュータシステムと協働する（又は協働することができる）。したがって、デジタル記憶媒体はコンピュータ読取り可能とすることができる。
【０１７５】
本発明による幾つかの実施形態は、本明細書に記載されている方法のうちの１つが実行されるようにプログラム可能コンピュータシステムと協働できる電子的に読取り可能な制御信号を有するデータキャリアを含んでいる。
【０１７６】
概して、本発明の実施形態は、プログラムコードを有するコンピュータ・プログラム製品として実施されることが可能であり、前記プログラムコードは、このコンピュータ・プログラム製品がコンピュータ上で実行されると本発明の方法のうちの１つを実行するように作動する。プログラムコードは、例えば機械読取り可能キャリアに蓄積することができる。
【０１７７】
他の実施形態は、機械読取り可能キャリアに蓄積された、本明細書に記載されている本発明方法のうちの１つを実行するためのコンピュータプログラムを含む。
【０１７８】
したがって、換言すれば、本発明方法の一実施形態は、コンピュータプログラムがコンピュータ上で実行されると本明細書に記載されている本発明方法のうちの１つを実行するためのプログラムコードを有するコンピュータプログラムである。
【０１７９】
したがって、本発明方法のさらなる実施形態は、本明細書に記述されている本発明方法のうちの１つを実行するためのコンピュータプログラムを記録して備えているデータキャリア（又はデジタル記憶媒体又はコンピュータ読取り可能媒体）である。データキャリア、デジタル記憶媒体又は記録媒体は、典型的には有形及び／又は非遷移性（non-transitionary）である。
【０１８０】
したがって、本発明方法のさらなる実施形態は、本明細書に記載されている本発明方法のうちの１つを実行するためのコンピュータプログラムを表すデータストリーム又は信号シーケンスである。データストリーム又は信号シーケンスは、例えば、データ通信接続を介して、例えばインターネットを介して転送されるように構成することができる。
【０１８１】
さらなる実施形態は、本明細書に記載されている本発明方法のうちの１つを実行するように構成されているか又は適合化される、例えばコンピュータである処理手段又はプログラマブル論理デバイスを含む。
【０１８２】
さらなる実施形態は、本明細書に記載されている本発明方法のうちの１つを実行するためのコンピュータプログラムをインストールしているコンピュータを含む。
【０１８３】
実施形態によっては、本明細書に記載されている本発明方法の機能の幾つか又は全てを実行するために、プログラマブル論理デバイス（例えば、フィールド・プログラマブル・ゲートアレイ）を用いることができる。実施形態によっては、フィールド・プログラマブル・ゲートアレイは、本明細書に記載されている本発明方法のうちの１つを実行するためにマイクロプロセッサと協働することができる。概して、これらの方法は、好適には任意のハードウェア装置によって実行される。
【０１８４】
これまでに述べた実施形態は、単に本発明の原理を例示するものである。当業者には、本明細書に記載されている装置及び詳細の修正及び変形が明らかであることは理解される。したがって、本発明は、本明細書における実施形態の記述及び説明によって提示された特定の詳細ではなく、添付の特許請求の範囲によってのみ限定されるべきものである。
【特許請求の範囲】
【請求項１】
ダウンミックス信号表現（１１０；４３０）及びオブジェクト関連パラメータ情報（１１２；４３２）に基づき、かつレンダリング情報（１２０；４８２）に依存してアップミックス信号表現（１３０；４８４ａ〜４８４Ｍ）を生成するためのオーディオ信号デコーダ（１００；４２０）であって、
複数のオーディオ・オブジェクト・ペアのオブジェクト間相関値（１４２；ＩＯＣij）を取得するように構成されているオブジェクトパラメータ決定器であって、該オブジェクト−パラメータ決定器は、複数の関連オーディオ・オブジェクト・ペアのオブジェクト間相関値を取得するために個々のオブジェクト間相関ビットストリームパラメータ値を評価するか、又は共通のオブジェクト間相関ビットストリームパラメータ値を用いて複数の関連オーディオ・オブジェクト・ペアのオブジェクト間相関値を取得するかを決定するために、ビットストリーム・シグナリング・パラメータ（ｂｓＯｎｅＩＯＣ）を評価するように構成されているオブジェクトパラメータ決定器（１４０；４６４，４６８，４７４）と、
前記ダウンミックス信号表現に基づき、かつ複数の関連オーディオ・オブジェクト・ペアの前記オブジェクト間相関値及び前記レンダリング情報を用いて前記アップミックス信号表現を取得するように構成されている信号プロセッサ（１５０；４８０）と、を備えたオーディオ信号デコーダ。
【請求項２】
前記オブジェクトパラメータ決定器（１４０；４６４，４６８，４７４）は、２つのオーディオオブジェクトが互いに関連しているかどうかを記述するオブジェクト関係性情報（ｂｓＲｅｌａｔｅｄＴｏ）を評価するように構成され、
前記オブジェクトパラメータ決定器は、前記オブジェクト関係性情報が関係性を示すオーディオ・オブジェクト・ペアに対しては前記共通のオブジェクト間相関ビットストリームパラメータ値を用いてオブジェクト間相関値を選択的に取得し、かつ前記オブジェクト関係性情報が関連性のないことを示すオーディオ・オブジェクト・ペアのオブジェクト間相関値を既定値に設定するように構成されている請求項１に記載のオーディオ信号デコーダ。
【請求項３】
前記オブジェクトパラメータ決定器（１４０；４６４，４６８，４７４）は、異なるオーディオオブジェクトの組合せ毎に１ビットフラグを備えているオブジェクト関係性情報を評価するように構成され、異なるオーディオオブジェクトの所定の組合せに関連づけられる前記１ビットフラグは、前記所定の組合せのオーディオオブジェクト同士に関連性があるか否かを示す請求項１又は２に記載のオーディオ信号デコーダ。
【請求項４】
前記オブジェクトパラメータ決定器（１４０；４６４，４６８，４７４）は、全ての異なる関連オーディオ・オブジェクト・ペアの前記オブジェクト間相関値を前記共通のオブジェクト間相関ビットストリームパラメータ値によって規定される共通値に、又は前記共通のオブジェクト間相関ビットストリームパラメータ値により規定される前記共通値から導出される値に設定するように構成されている請求項１から３までのいずれか一項に記載のオーディオ信号デコーダ。
【請求項５】
前記オブジェクトパラメータ決定器（１４０；４６４，４６８，４７４）は、前記ビットストリーム・シグナリング・パラメータ（ｂｓＯｎｅＩＯＣ）、及び前記個々のオブジェクト間相関ビットストリームパラメータ値又は前記共通のオブジェクト間相関ビットストリームパラメータ値を取得するためにオーディオコンテンツのビットストリーム表現を構文解析するように構成されているビットストリームパーサを備えている請求項１から４までのいずれか一項に記載のオーディオ信号デコーダ。
【請求項６】
前記オーディオ信号デコーダは、関連オーディオ・オブジェクト・ペアに関連づけられる共分散値（ｅi,j）を取得するために、関連オーディオ・オブジェクト・ペアに関連づけられるオブジェクト間相関値（ＩＯＣi,j）を、前記関連オーディオ・オブジェクト・ペアの第１のオーディオオブジェクトのオブジェクトレベルを記述するオブジェクトレベル差値（ＯＬＤi）と、前記関連オーディオ・オブジェクト・ペアの第２のオーディオオブジェクトのオブジェクトレベルを記述するオブジェクトレベル差値（ＯＬＤj）とに結合するように構成されている請求項１から５までのいずれか一項に記載のオーディオ信号デコーダ。
【請求項７】
該オーディオ信号デコーダは、３つ以上のオーディオオブジェクトを処理するように構成され、
前記オブジェクトパラメータ決定器（１４０；４６４，４６８，４７４）は、あらゆる異なるオーディオ・オブジェクト・ペアのオブジェクト間相関値を生成するように構成されている請求項１から６までのいずれか一項に記載のオーディオ信号デコーダ。
【請求項８】
前記オブジェクトパラメータ決定器（１４０；４６４，４６８，４７４）は、複数の関連オーディオ・オブジェクト・ペアのオブジェクト間相関値を取得するために個々のオブジェクト間相関ビットストリームパラメータ値を評価するか、共通のオブジェクト間相関ビットストリームパラメータ値を用いて複数の関連オーディオ・オブジェクト・ペアのオブジェクト間相関値を取得するかを決定するために、コンフィギュレーションビットストリーム部分（ＳＡＯＣＳｐｅｃｉｆｉｃＣｏｎｆｉｇ）に含まれるビットストリーム・シグナリング・パラメータを評価するように構成され、
前記オブジェクト−パラメータ決定器は、２つのオーディオオブジェクトが関連のあるものであるかどうかを決定するために、前記コンフィギュレーションビットストリーム部分に含まれるオブジェクト関係性情報（ｂｓＲｅｌａｔｅｄＴｏ［ｉ］［ｊ］）を評価するように構成され、
前記オブジェクトパラメータ決定器は、共通のオブジェクト間相関ビットストリームパラメータ値を用いて複数の関連オーディオ・オブジェクト・ペアのオブジェクト間相関値を取得することが決定されれば、あらゆるオーディオ・コンテンツ・フレームについて、フレーム・データ・ビットストリーム部分（ＳＡＯＣＦｒａｍｅ）に含まれる共通のオブジェクト間相関ビットストリームパラメータ値を評価するように構成されている請求項１から７までのいずれか一項に記載のオーディオ信号デコーダ。
【請求項９】
複数のオーディオオブジェクト信号（２１０ａ〜２１０Ｎ、４２０ａ〜４２０Ｎ）に基づきビットストリーム表現を生成するためのオーディオ信号エンコーダ（２００；４１０）であって、
前記オーディオオブジェクト信号に基づき、かつダウンミックス信号の１つ以上のチャネルへの前記オーディオオブジェクト信号の寄与について記述するダウンミックスパラメータ（ＤＭＧ，ＤＣＬＤ）に依存してダウンミックス信号（２３２；４３０）を生成するように構成されているダウンミキサ（２３０；４４０）と、
複数の関連オーディオオブジェクト信号ペアに関連づけられる共通のオブジェクト間相関ビットストリームパラメータ値（２４２）を生成するように、かつ前記共通のオブジェクト間相関ビットストリームパラメータ値が複数の個々のオブジェクト間相関ビットストリームパラメータ値の代わりに生成されることを示すビットストリーム・シグナリング・パラメータ（ｂｓＯｎｅＩＯＣ；２４４；４５２）を生成するようにも構成されているパラメータプロバイダ（２４０；４４４，４５０，４６０）と、
前記ダウンミックス信号の表現と、前記共通のオブジェクト間相関ビットストリームパラメータ値の表現と、前記ビットストリーム・シグナリング・パラメータとを含むビットストリームを生成するように構成されているビットストリームフォーマッタ（２５０）と、を備えているオーディオ信号エンコーダ。
【請求項１０】
前記パラメータプロバイダは、クロスパワー項の和と平均パワー項の和との割合に依存して前記共通のオブジェクト間相関ビットストリームパラメータ値を生成するように構成されている請求項９に記載のオーディオ信号エンコーダ。
【請求項１１】
前記パラメータプロバイダは、所定のオーディオ・オブジェクト・ペアのオーディオオブジェクトに関連づけられるスペクトル係数の積和を複数の時間インスタンスに渡って、又は複数の周波数インスタンスに渡って評価することにより、所定のオーディオ・オブジェクト・ペアのクロスパワー項を計算するように構成され、
前記パラメータプロバイダは、複数の時間インスタンスに渡って、又は複数の周波数インスタンスに渡って第１のオーディオオブジェクトのパワーを表すパワー値の幾何学的平均、及び複数の時間インスタンスに渡って、又は複数の周波数インスタンスに渡って第２のオーディオオブジェクトのパワーを表すパワー値の幾何学的平均を評価することにより、所定のオーディオ・オブジェクト・ペアの前記平均パワー項を計算するように構成されている請求項１０に記載のオーディオ信号エンコーダ。
【請求項１２】
前記パラメータプロバイダは、共通のオブジェクト間相関ビットストリームパラメータ値ＩＯＣsingleを、次式、
に従って生成するように構成され、但し、
であり、
ｎとｋは、ＳＡＯＣパラメータが適用される時間及び周波数インスタンスを記述し、
ｓin,kは、オーディオオブジェクト指数ｉを有するオーディオオブジェクトの時間インスタンスｎ及び周波数インスタンスｋに関連づけられるスペクトル値であり、
ｓjn,kは、オーディオオブジェクト指数ｊを有するオーディオオブジェクトの時間インスタンスｎ及び周波数インスタンスｋに関連づけられるスペクトル値であり、
Ｎはオーディオオブジェクトの総数を示す請求項１０又は１１に記載のオーディオ信号エンコーダ。
【請求項１３】
前記パラメータプロバイダは、前記共通のオブジェクト間相関ビットストリームパラメータ値として既定の定値を生成するように構成されている請求項９に記載のオーディオ信号エンコーダ。
【請求項１４】
前記パラメータプロバイダは、２つのオーディオオブジェクトが互いに関連しているかどうかを記述するオブジェクト関係性情報（ｂｓＲｅｌａｔｅｄＴｏ）を生成するようにも構成されている請求項９から１３までのいずれか一項に記載のオーディオ信号エンコーダ。
【請求項１５】
前記パラメータプロバイダは、前記共通のオブジェクト間相関ビットストリームパラメータ値の計算に関して前記オブジェクト関係性情報が関係性を示しているオーディオオブジェクトのオブジェクト間相関を選択的に評価するように構成されている請求項１４に記載のオーディオ信号エンコーダ。
【請求項１６】
ダウンミックス信号表現及びオブジェクト関連パラメータ情報に基づき、かつレンダリング情報に依存してアップミックス信号表現を生成するための方法であって、
複数のオーディオ・オブジェクト・ペアのオブジェクト間相関値を取得するステップであって、該ステップは、複数の関連オーディオ・オブジェクト・ペアのオブジェクト間相関値を取得するために個々のオブジェクト間相関ビットストリームパラメータ値を評価するか、共通のオブジェクト間相関ビットストリームパラメータ値を用いて複数の関連オーディオ・オブジェクト・ペアのオブジェクト間相関値を取得するかを決定するために、ビットストリーム・シグナリング・パラメータを評価するステップと、
前記ダウンミックス信号表現に基づき、かつ複数の関連オーディオ・オブジェクト・ペアの前記オブジェクト間相関値及び前記レンダリング情報を用いて前記アップミックス信号表現を取得するステップと、を含むアップミックス信号表現生成方法。
【請求項１７】
複数のオーディオオブジェクト信号に基づきビットストリーム表現を生成するための方法であって、
前記オーディオオブジェクト信号に基づき、かつダウンミックス信号の１つ以上のチャネルへの前記オーディオオブジェクト信号の寄与について記述するダウンミックスパラメータに依存して前記ダウンミックス信号を生成するステップと、
複数の関連オーディオオブジェクト信号ペアに関連づけられる共通のオブジェクト間相関ビットストリームパラメータ値を生成するステップと、
前記共通のオブジェクト間相関ビットストリームパラメータ値が複数の個々のオブジェクト間相関ビットストリームパラメータ値の代わりに生成されることを示すビットストリーム・シグナリング・パラメータを生成するステップと、
前記ダウンミックス信号の表現と、前記共通のオブジェクト間相関ビットストリームパラメータ値の表現と、前記ビットストリーム・シグナリング・パラメータとを含むビットストリームを生成するステップとを含むビットストリーム表現生成方法。
【請求項１８】
コンピュータ上でコンピュータプログラムが実行されると、請求項１６又は請求項１７に記載の方法を実行するためのコンピュータプログラム。
【請求項１９】
マルチチャネルオーディオ信号を表すビットストリームであって、
複数のオーディオオブジェクトのオーディオ信号を結合するダウンミックス信号の表現と、
前記オーディオオブジェクトの特徴を記述するオブジェクト関連パラメトリックなサイド情報と、を含み、
前記オブジェクト関連パラメトリックなサイド情報は、該ビットストリームが個々のオブジェクト間相関ビットストリームパラメータ値を含むか共通のオブジェクト間相関ビットストリームパラメータ値を含むかを示すビットストリーム・シグナリング・パラメータを含むビットストリーム。
【請求項１】
ダウンミックス信号表現（１１０；４３０）及びオブジェクト関連パラメータ情報（１１２；４３２）に基づき、かつレンダリング情報（１２０；４８２）に依存してアップミックス信号表現（１３０；４８４ａ〜４８４Ｍ）を生成するためのオーディオ信号デコーダ（１００；４２０）であって、
複数のオーディオ・オブジェクト・ペアのオブジェクト間相関値（１４２；ＩＯＣij）を取得するように構成されているオブジェクトパラメータ決定器であって、該オブジェクト−パラメータ決定器は、複数の関連オーディオ・オブジェクト・ペアのオブジェクト間相関値を取得するために個々のオブジェクト間相関ビットストリームパラメータ値を評価するか、又は共通のオブジェクト間相関ビットストリームパラメータ値を用いて複数の関連オーディオ・オブジェクト・ペアのオブジェクト間相関値を取得するかを決定するために、ビットストリーム・シグナリング・パラメータ（ｂｓＯｎｅＩＯＣ）を評価するように構成されているオブジェクトパラメータ決定器（１４０；４６４，４６８，４７４）と、
前記ダウンミックス信号表現に基づき、かつ複数の関連オーディオ・オブジェクト・ペアの前記オブジェクト間相関値及び前記レンダリング情報を用いて前記アップミックス信号表現を取得するように構成されている信号プロセッサ（１５０；４８０）と、を備えたオーディオ信号デコーダ。
【請求項２】
前記オブジェクトパラメータ決定器（１４０；４６４，４６８，４７４）は、２つのオーディオオブジェクトが互いに関連しているかどうかを記述するオブジェクト関係性情報（ｂｓＲｅｌａｔｅｄＴｏ）を評価するように構成され、
前記オブジェクトパラメータ決定器は、前記オブジェクト関係性情報が関係性を示すオーディオ・オブジェクト・ペアに対しては前記共通のオブジェクト間相関ビットストリームパラメータ値を用いてオブジェクト間相関値を選択的に取得し、かつ前記オブジェクト関係性情報が関連性のないことを示すオーディオ・オブジェクト・ペアのオブジェクト間相関値を既定値に設定するように構成されている請求項１に記載のオーディオ信号デコーダ。
【請求項３】
前記オブジェクトパラメータ決定器（１４０；４６４，４６８，４７４）は、異なるオーディオオブジェクトの組合せ毎に１ビットフラグを備えているオブジェクト関係性情報を評価するように構成され、異なるオーディオオブジェクトの所定の組合せに関連づけられる前記１ビットフラグは、前記所定の組合せのオーディオオブジェクト同士に関連性があるか否かを示す請求項１又は２に記載のオーディオ信号デコーダ。
【請求項４】
前記オブジェクトパラメータ決定器（１４０；４６４，４６８，４７４）は、全ての異なる関連オーディオ・オブジェクト・ペアの前記オブジェクト間相関値を前記共通のオブジェクト間相関ビットストリームパラメータ値によって規定される共通値に、又は前記共通のオブジェクト間相関ビットストリームパラメータ値により規定される前記共通値から導出される値に設定するように構成されている請求項１から３までのいずれか一項に記載のオーディオ信号デコーダ。
【請求項５】
前記オブジェクトパラメータ決定器（１４０；４６４，４６８，４７４）は、前記ビットストリーム・シグナリング・パラメータ（ｂｓＯｎｅＩＯＣ）、及び前記個々のオブジェクト間相関ビットストリームパラメータ値又は前記共通のオブジェクト間相関ビットストリームパラメータ値を取得するためにオーディオコンテンツのビットストリーム表現を構文解析するように構成されているビットストリームパーサを備えている請求項１から４までのいずれか一項に記載のオーディオ信号デコーダ。
【請求項６】
前記オーディオ信号デコーダは、関連オーディオ・オブジェクト・ペアに関連づけられる共分散値（ｅi,j）を取得するために、関連オーディオ・オブジェクト・ペアに関連づけられるオブジェクト間相関値（ＩＯＣi,j）を、前記関連オーディオ・オブジェクト・ペアの第１のオーディオオブジェクトのオブジェクトレベルを記述するオブジェクトレベル差値（ＯＬＤi）と、前記関連オーディオ・オブジェクト・ペアの第２のオーディオオブジェクトのオブジェクトレベルを記述するオブジェクトレベル差値（ＯＬＤj）とに結合するように構成されている請求項１から５までのいずれか一項に記載のオーディオ信号デコーダ。
【請求項７】
該オーディオ信号デコーダは、３つ以上のオーディオオブジェクトを処理するように構成され、
前記オブジェクトパラメータ決定器（１４０；４６４，４６８，４７４）は、あらゆる異なるオーディオ・オブジェクト・ペアのオブジェクト間相関値を生成するように構成されている請求項１から６までのいずれか一項に記載のオーディオ信号デコーダ。
【請求項８】
前記オブジェクトパラメータ決定器（１４０；４６４，４６８，４７４）は、複数の関連オーディオ・オブジェクト・ペアのオブジェクト間相関値を取得するために個々のオブジェクト間相関ビットストリームパラメータ値を評価するか、共通のオブジェクト間相関ビットストリームパラメータ値を用いて複数の関連オーディオ・オブジェクト・ペアのオブジェクト間相関値を取得するかを決定するために、コンフィギュレーションビットストリーム部分（ＳＡＯＣＳｐｅｃｉｆｉｃＣｏｎｆｉｇ）に含まれるビットストリーム・シグナリング・パラメータを評価するように構成され、
前記オブジェクト−パラメータ決定器は、２つのオーディオオブジェクトが関連のあるものであるかどうかを決定するために、前記コンフィギュレーションビットストリーム部分に含まれるオブジェクト関係性情報（ｂｓＲｅｌａｔｅｄＴｏ［ｉ］［ｊ］）を評価するように構成され、
前記オブジェクトパラメータ決定器は、共通のオブジェクト間相関ビットストリームパラメータ値を用いて複数の関連オーディオ・オブジェクト・ペアのオブジェクト間相関値を取得することが決定されれば、あらゆるオーディオ・コンテンツ・フレームについて、フレーム・データ・ビットストリーム部分（ＳＡＯＣＦｒａｍｅ）に含まれる共通のオブジェクト間相関ビットストリームパラメータ値を評価するように構成されている請求項１から７までのいずれか一項に記載のオーディオ信号デコーダ。
【請求項９】
複数のオーディオオブジェクト信号（２１０ａ〜２１０Ｎ、４２０ａ〜４２０Ｎ）に基づきビットストリーム表現を生成するためのオーディオ信号エンコーダ（２００；４１０）であって、
前記オーディオオブジェクト信号に基づき、かつダウンミックス信号の１つ以上のチャネルへの前記オーディオオブジェクト信号の寄与について記述するダウンミックスパラメータ（ＤＭＧ，ＤＣＬＤ）に依存してダウンミックス信号（２３２；４３０）を生成するように構成されているダウンミキサ（２３０；４４０）と、
複数の関連オーディオオブジェクト信号ペアに関連づけられる共通のオブジェクト間相関ビットストリームパラメータ値（２４２）を生成するように、かつ前記共通のオブジェクト間相関ビットストリームパラメータ値が複数の個々のオブジェクト間相関ビットストリームパラメータ値の代わりに生成されることを示すビットストリーム・シグナリング・パラメータ（ｂｓＯｎｅＩＯＣ；２４４；４５２）を生成するようにも構成されているパラメータプロバイダ（２４０；４４４，４５０，４６０）と、
前記ダウンミックス信号の表現と、前記共通のオブジェクト間相関ビットストリームパラメータ値の表現と、前記ビットストリーム・シグナリング・パラメータとを含むビットストリームを生成するように構成されているビットストリームフォーマッタ（２５０）と、を備えているオーディオ信号エンコーダ。
【請求項１０】
前記パラメータプロバイダは、クロスパワー項の和と平均パワー項の和との割合に依存して前記共通のオブジェクト間相関ビットストリームパラメータ値を生成するように構成されている請求項９に記載のオーディオ信号エンコーダ。
【請求項１１】
前記パラメータプロバイダは、所定のオーディオ・オブジェクト・ペアのオーディオオブジェクトに関連づけられるスペクトル係数の積和を複数の時間インスタンスに渡って、又は複数の周波数インスタンスに渡って評価することにより、所定のオーディオ・オブジェクト・ペアのクロスパワー項を計算するように構成され、
前記パラメータプロバイダは、複数の時間インスタンスに渡って、又は複数の周波数インスタンスに渡って第１のオーディオオブジェクトのパワーを表すパワー値の幾何学的平均、及び複数の時間インスタンスに渡って、又は複数の周波数インスタンスに渡って第２のオーディオオブジェクトのパワーを表すパワー値の幾何学的平均を評価することにより、所定のオーディオ・オブジェクト・ペアの前記平均パワー項を計算するように構成されている請求項１０に記載のオーディオ信号エンコーダ。
【請求項１２】
前記パラメータプロバイダは、共通のオブジェクト間相関ビットストリームパラメータ値ＩＯＣsingleを、次式、
に従って生成するように構成され、但し、
であり、
ｎとｋは、ＳＡＯＣパラメータが適用される時間及び周波数インスタンスを記述し、
ｓin,kは、オーディオオブジェクト指数ｉを有するオーディオオブジェクトの時間インスタンスｎ及び周波数インスタンスｋに関連づけられるスペクトル値であり、
ｓjn,kは、オーディオオブジェクト指数ｊを有するオーディオオブジェクトの時間インスタンスｎ及び周波数インスタンスｋに関連づけられるスペクトル値であり、
Ｎはオーディオオブジェクトの総数を示す請求項１０又は１１に記載のオーディオ信号エンコーダ。
【請求項１３】
前記パラメータプロバイダは、前記共通のオブジェクト間相関ビットストリームパラメータ値として既定の定値を生成するように構成されている請求項９に記載のオーディオ信号エンコーダ。
【請求項１４】
前記パラメータプロバイダは、２つのオーディオオブジェクトが互いに関連しているかどうかを記述するオブジェクト関係性情報（ｂｓＲｅｌａｔｅｄＴｏ）を生成するようにも構成されている請求項９から１３までのいずれか一項に記載のオーディオ信号エンコーダ。
【請求項１５】
前記パラメータプロバイダは、前記共通のオブジェクト間相関ビットストリームパラメータ値の計算に関して前記オブジェクト関係性情報が関係性を示しているオーディオオブジェクトのオブジェクト間相関を選択的に評価するように構成されている請求項１４に記載のオーディオ信号エンコーダ。
【請求項１６】
ダウンミックス信号表現及びオブジェクト関連パラメータ情報に基づき、かつレンダリング情報に依存してアップミックス信号表現を生成するための方法であって、
複数のオーディオ・オブジェクト・ペアのオブジェクト間相関値を取得するステップであって、該ステップは、複数の関連オーディオ・オブジェクト・ペアのオブジェクト間相関値を取得するために個々のオブジェクト間相関ビットストリームパラメータ値を評価するか、共通のオブジェクト間相関ビットストリームパラメータ値を用いて複数の関連オーディオ・オブジェクト・ペアのオブジェクト間相関値を取得するかを決定するために、ビットストリーム・シグナリング・パラメータを評価するステップと、
前記ダウンミックス信号表現に基づき、かつ複数の関連オーディオ・オブジェクト・ペアの前記オブジェクト間相関値及び前記レンダリング情報を用いて前記アップミックス信号表現を取得するステップと、を含むアップミックス信号表現生成方法。
【請求項１７】
複数のオーディオオブジェクト信号に基づきビットストリーム表現を生成するための方法であって、
前記オーディオオブジェクト信号に基づき、かつダウンミックス信号の１つ以上のチャネルへの前記オーディオオブジェクト信号の寄与について記述するダウンミックスパラメータに依存して前記ダウンミックス信号を生成するステップと、
複数の関連オーディオオブジェクト信号ペアに関連づけられる共通のオブジェクト間相関ビットストリームパラメータ値を生成するステップと、
前記共通のオブジェクト間相関ビットストリームパラメータ値が複数の個々のオブジェクト間相関ビットストリームパラメータ値の代わりに生成されることを示すビットストリーム・シグナリング・パラメータを生成するステップと、
前記ダウンミックス信号の表現と、前記共通のオブジェクト間相関ビットストリームパラメータ値の表現と、前記ビットストリーム・シグナリング・パラメータとを含むビットストリームを生成するステップとを含むビットストリーム表現生成方法。
【請求項１８】
コンピュータ上でコンピュータプログラムが実行されると、請求項１６又は請求項１７に記載の方法を実行するためのコンピュータプログラム。
【請求項１９】
マルチチャネルオーディオ信号を表すビットストリームであって、
複数のオーディオオブジェクトのオーディオ信号を結合するダウンミックス信号の表現と、
前記オーディオオブジェクトの特徴を記述するオブジェクト関連パラメトリックなサイド情報と、を含み、
前記オブジェクト関連パラメトリックなサイド情報は、該ビットストリームが個々のオブジェクト間相関ビットストリームパラメータ値を含むか共通のオブジェクト間相関ビットストリームパラメータ値を含むかを示すビットストリーム・シグナリング・パラメータを含むビットストリーム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９Ａ】
【図９Ｂ】
【図９Ｃ】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９Ａ】
【図９Ｂ】
【図９Ｃ】
【公表番号】特表２０１３−５０６１６４（Ｐ２０１３−５０６１６４Ａ）
【公表日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願番号】特願２０１２−５３１３６６（Ｐ２０１２−５３１３６６）
【出願日】平成２２年９月２８日（２０１０．９．２８）
【国際出願番号】ＰＣＴ／ＥＰ２０１０／０６４３７９
【国際公開番号】ＷＯ２０１１／０３９１９５
【国際公開日】平成２３年４月７日（２０１１．４．７）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．フロッピー
【出願人】（５００３４１７７９）フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン (75)
【出願人】（５０６４２７９９０）ドルビー・インターナショナル・アクチボラゲット (24)
【氏名又は名称原語表記】ＤＯＬＢＹ ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＡＢ
【公表日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願日】平成２２年９月２８日（２０１０．９．２８）
【国際出願番号】ＰＣＴ／ＥＰ２０１０／０６４３７９
【国際公開番号】ＷＯ２０１１／０３９１９５
【国際公開日】平成２３年４月７日（２０１１．４．７）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．フロッピー
【出願人】（５００３４１７７９）フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン (75)
【出願人】（５０６４２７９９０）ドルビー・インターナショナル・アクチボラゲット (24)
【氏名又は名称原語表記】ＤＯＬＢＹ ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＡＢ
[ Back to top ]