オーディオ信号の処理方法及び装置
本発明のオーディオ信号の処理方法は、ダウンミックス信号、オブジェクト情報及びプリセット情報を受信し、前記オブジェクト情報及びプリセット情報を用いてダウンミックス処理情報を生成し、前記ダウンミックス処理情報を用いて前記ダウンミックス信号を処理し、前記オブジェクト情報及びプリセット情報を用いてマルチチャネル情報を生成し、前記プリセット情報はビットストリームから抽出されることを特徴とする。
本発明のオーディオ信号処理方法によると、それぞれのオブジェクトに対するユーザの設定なしに、既に設定されたプリセット情報を用いて容易にオブジェクトの利得及びパニングをコントロールすることができ、ユーザの選択を基盤にして変形されたプリセット情報又は外部から入力されるユーザプリセット情報を用いて容易にオブジェクトの利得及びパニングをコントロールすることができる。
本発明のオーディオ信号処理方法によると、それぞれのオブジェクトに対するユーザの設定なしに、既に設定されたプリセット情報を用いて容易にオブジェクトの利得及びパニングをコントロールすることができ、ユーザの選択を基盤にして変形されたプリセット情報又は外部から入力されるユーザプリセット情報を用いて容易にオブジェクトの利得及びパニングをコントロールすることができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオ信号の処理方法及び装置に関するもので、より詳細には、デジタル媒体、放送信号などで受信されたオーディオ信号を処理することができるオーディオ信号の処理方法及び装置に関するものである。
【背景技術】
【０００２】
多数個のオブジェクトを含むオーディオ信号をモノ又はステレオ信号にダウンミックスする過程において、それぞれのオブジェクト信号から各パラメータが抽出される。これらパラメータはデコーダで使用されるが、それぞれのオブジェクトのパニング及び利得はユーザの選択によってコントロールされる。
【０００３】
それぞれのオブジェクト信号を制御するためには、ダウンミックスに含まれているそれぞれのソースがユーザの選択によって適切にポジショニングまたはパニングされなければならない。しかしながら、ユーザによってオブジェクトを制御する場合、全てのオブジェクト信号を制御すべきであるという煩雑さがあり、専門家が制御する場合に比べて、多数個のオブジェクトを含むオーディオ信号の最適な状態を再現することが困難であった。
【０００４】
また、オブジェクト信号を復元するためのオブジェクト情報がエンコーダから伝送されない場合、ダウンミックス信号に含まれたオブジェクト信号を制御することが難しくなる。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、上記のような問題点を解決するためになされたもので、既に設定されたプリセット情報を用いてオブジェクトの利得及びパニングをコントロールすることができるオーディオ信号処理方法及び装置を提供することを目的とする。
【０００６】
本発明の他の目的は、既に設定されたプリセット情報をオーディオ信号と別途伝送または保存することができるオーディオ信号処理方法及び装置を提供することにある。
【０００７】
本発明の更に他の目的は、ユーザの選択を基盤にして既に設定された多数個のプリセット情報のうち一つを選択し、オブジェクトの利得及びパニングをコントロールすることができるオーディオ信号処理方法及び装置を提供することにある。
【０００８】
本発明の更に他の目的は、外部から入力されるユーザプリセット情報を用いてオブジェクトの利得及びパニングをコントロールすることができるオーディオ信号処理方法及び装置を提供することにある。
【０００９】
本発明の更に他の目的は、エンコーダからオブジェクト情報が伝送されない場合、ダウンミックス信号を用いてブラインド情報を生成し、オーディオ信号を制御することができるオーディオ信号処理方法及び装置を提供することにある。
【課題を解決するための手段】
【００１０】
前記のような目的を達成するために、本発明に係るオーディオ信号処理方法は、ダウンミックス信号、オブジェクト情報及びプリセット情報を受信し、前記オブジェクト情報及びプリセット情報を用いてダウンミックス処理情報を生成し、前記ダウンミックス処理情報を用いて前記ダウンミックス信号を処理し、前記オブジェクト情報及びプリセット情報を用いてマルチチャネル情報を生成し、前記オブジェクト情報は、オブジェクトレベル情報、オブジェクト関連情報及びオブジェクト利得情報のうちいずれか一つ以上を含み、前記オブジェクトレベル情報は、前記オブジェクトレベルのうち一つを用いてオブジェクトに対応するオブジェクトレベルを正規化することによって生成され、前記オブジェクト関連情報は、二つの選択されたオブジェクトの組み合わせから生成され、前記オブジェクト利得情報は、ダウンミックス信号を生成するために、それぞれのダウンミックス信号のチャネルに対するオブジェクトの寄与度を決定するもので、前記プリセット情報はビットストリームから抽出される。
【発明の効果】
【００１１】
本発明は、次のような効果及び利点を提供する。
【００１２】
第一に、それぞれのオブジェクトに対するユーザの設定なしに、既に設定されたプリセット情報を用いて容易にオブジェクトの利得及びパニングをコントロールすることができる。
【００１３】
第二に、ユーザの選択を基盤にして変更されたプリセット情報を用いてオブジェクトの利得及びパニングをコントロールすることができる。
【００１４】
第三に、既に設定された多数個のプリセット情報を用いて、ユーザの趣向によって容易にオブジェクトの利得及びパニングをコントロールすることができる。
【００１５】
第四に、外部から入力されるユーザプリセット情報を用いることによって、多様なプリセット情報を用いてオブジェクトの利得及びパニングをコントロールすることができる。
【００１６】
第五に、ブラインド情報を用いることによって、オブジェクト情報を生成不可能なエンコーダを用いる場合にもオブジェクトの利得及びパニングをコントロールすることができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施例に係るオーディオ信号装置の構成図である。
【図２Ａ】本発明の実施例に係るオーディオ信号処理装置に伝送されるビットストリームの構成図である。
【図２Ｂ】本発明の実施例に係るオーディオ信号処理装置に伝送されるビットストリームの構成図である。
【図３】本発明の実施例に係るオーディオ信号処理装置のうち情報生成ユニットの構成図である。
【図４】図３の情報生成ユニットを含むオーディオ信号処理装置のビットストリームインタフェースを示す概略図である。
【図５】本発明の他の実施例に係るオーディオ信号処理装置のうち情報生成ユニットの構成図である。
【図６】図５の情報生成ユニットを含むオーディオ信号処理装置のビットストリームインタフェースを示す概略図である。
【図７】図５の情報生成ユニットを含むオーディオ信号処理装置のユーザインタフェースの表示部を示す図である。
【図８】本発明の更に他の実施例に係るオーディオ信号処理装置のビットストリームインタフェースを示す概略図である。
【図９】本発明の更に他の実施例に係るオーディオ信号処理装置のうち情報生成ユニットの構成図である。
【図１０Ａ】本発明の更に他の実施例に係るオーディオ信号の処理方法の出力信号を示す概略図である。
【図１０Ｂ】本発明の更に他の実施例に係るオーディオ信号の処理方法の出力信号を示す概略図である。
【図１１】本発明の更に他の実施例に係るステレオ出力信号を分析する時間―周波数ドメインを示すグラフである。
【図１２Ａ】本発明の更に他の実施例に係るブラインド情報の生成過程を示すブロック図及びフローチャートである。
【図１２Ｂ】本発明の更に他の実施例に係るブラインド情報の生成過程を示すブロック図及びフローチャートである。
【図１３】本発明の更に他の実施例に係るオーディオ信号処理装置の構成図である。
【図１４】本発明の更に他の実施例に係るブラインド情報生成部を含む情報生成ユニットの細部構成図である。
【図１５】本発明の更に他の実施例に係る図１４の情報生成ユニットを含むオーディオ信号処理装置のビットストリームインタフェースを示す概略図である。
【図１６】本発明の更に他の実施例に係るオーディオ信号処理装置の構成図である。
【発明を実施するための形態】
【００１８】
以下、添付された図面を参照して、本発明の好適な実施例を詳細に説明する。ここで、本明細書及び特許請求の範囲で使用された用語や単語は、通常的または辞典的な意味に限定して解釈されてはならず、発明者が自身の発明を最も最善の方法で説明するために用語の概念を適切に定義できるとの原則に立脚して、本発明の技術的思想に符合する意味及び概念に解釈されるべきである。したがって、本明細書に記載された実施例及び図面に示した構成は、本発明の最も好適な一実施例に過ぎないもので、本発明の技術的思想を全て代弁するものではないので、本出願時点において、これらに取って代わる多様な均等物及び変形例があり得ることを理解しなければならない。
【００１９】
特に、本明細書で、情報とは、値、パラメータ、係数、成分などを総称する用語として、場合によって異なる意味に解釈されるが、本発明がこれに限定されることはない。
【００２０】
図１は、本発明の実施例に係るオーディオ信号処理装置１００の構成を示す図である。図１を参照すると、まず、本発明の実施例に係るオーディオ信号処理装置１００は、情報生成ユニット１１０、ダウンミックス処理ユニット１２０及びマルチチャネルデコーダ１３０を含む。
【００２１】
情報生成ユニット１１０は、オブジェクト情報（object information；ＯＩ）及びプリセット情報（preset information；ＰＩ）をオーディオ信号ビットストリームから受信する。ここで、オブジェクト情報（ＯＩ）は、ダウンミックス信号（downmix signal；ＤＭＸ）内に含まれているオブジェクトに関する情報として、オブジェクトレベル情報、オブジェクト相関情報、オブジェクト利得情報などを含むことができる。前記オブジェクトレベル情報は、参照情報を用いてオブジェクトレベルを正規化することによって生成されたもので、前記参照情報は、オブジェクトレベルのうちの一つであり、詳細には、全てのオブジェクトレベルのうち最も大きいレベルである。前記オブジェクト相関情報は、二つのオブジェクト間の相関性を表すもので、選択された二つのオブジェクトが同一の起源を有するステレオ出力のそれぞれ異なるチャネルの信号であることを表す。前記オブジェクト利得情報は、ダウンミックス信号（ＤＭＸ）を生成するために、それぞれのダウンミックス信号のチャネルに対するオブジェクトの寄与度に関する値を表し、詳細には、オブジェクトの寄与度を変形させるための値を表す。
【００２２】
前記プリセット情報（ＰＩ）は、プリセット位置情報、プリセット利得情報及び再生環境情報などを根拠にして生成された情報として、ビットストリームから抽出されたものである。
【００２３】
前記プリセット位置情報とは、それぞれのオブジェクトの位置またはパニングを制御するために設定された情報であり、前記プリセット利得情報は、それぞれのオブジェクトの利得を制御するために設定された情報で、オブジェクト別利得ファクタを含み、前記オブジェクト別利得ファクタは時間によって変化することができる。また、再生環境情報は、スピーカーの個数、スピーカーの位置、アンビエント情報（スピーカーの仮想位置）などを含む情報である。
【００２４】
前記プリセット情報（ＰＩ）は、オーディオ信号に対して特定の音場感または効果を得るために、特定のモードに該当するオブジェクト位置情報、オブジェクト利得情報及び再生環境情報を既に設定したものを表す。例えば、プリセット情報のうちカラオケモードは、ボーカルオブジェクトの利得を「０」にするプリセット利得情報を含むことができ、スタジアムモードは、オーディオ信号が広い空間内に存在する効果を与えるためのプリセット位置情報及びプリセット利得情報を含むことができる。本発明に係るオーディオ信号処理装置は、ユーザがそれぞれのオブジェクトの利得又はパニングを調節する必要なしに、既に設定されたプリセット情報（ＰＩ）のうち所望のモードを選択することによって、容易にオブジェクトの利得またはパニングを調節することができる。
【００２５】
また、情報生成ユニット１１０は、プリセット情報に対するメタ情報（meta information；ＭＴＩ）（図示せず）をさらに受信することができ、前記メタ情報（ＭＴＩ）は、プリセット情報に対応するもので、プリセット情報（ＰＩ）名、製作者名などを含むことができる。また、プリセット情報（ＰＩ）が二つ以上である場合には、それぞれのプリセット情報（ＰＩ）に関するメタ情報（ＭＴＩ）が含まれてインデックス形式で表現される。また、メタ情報（ＭＴＩ）は、ユーザインタフェースなどによって示され、ユーザから選択命令の入力を受けることによって用いられる。
【００２６】
情報生成ユニット１１０は、前記オブジェクト情報（ＯＩ）及びプリセット情報（ＰＩ）を用いてマルチチャネル情報（multi-channel information；ＭＩ）を生成する。前記マルチチャネル情報（ＭＩ）は、ダウンミックス信号（ＤＭＸ）をアップミキシングするためのもので、チャネルレベル情報及びチャネル相関情報を含むことができる。また、前記情報生成ユニット１１０は、オブジェクト情報（ＯＩ）及びプリセット情報（ＰＩ）を用いてダウンミックス処理情報（downmix processing information；ＤＰＩ）を生成することができる。
【００２７】
ダウンミックス処理ユニット１２０は、ダウンミックス信号（ＤＭＸ）を受信し、ダウンミックス処理情報（ＤＰＩ）を用いてダウンミックス信号（ＤＭＸ）を処理する。前記ダウンミックス処理情報（ＤＰＩ）は、ダウンミックス信号（ＤＭＸ）に含まれたそれぞれのオブジェクト信号のパニング又は利得を調節するためにダウンミックス信号（ＤＭＸ）を処理することができる。
【００２８】
マルチチャネルデコーダ１３０は、ダウンミックス処理ユニット１２０から処理されたダウンミックス（processed downmix；ＰＤＭＸ）を受信し、前記情報生成ユニット１１０から生成されたマルチチャネル情報（ＭＩ）を用いて処理されたダウンミックス信号（ＰＤＭＸ）をアップミキシングし、マルチチャネル信号を生成する。
【００２９】
図２Ａ及び図２Ｂは、本発明の実施例に係るオーディオ信号の処理装置に伝送されるビットストリームの構成を示す一例である。一般的に、図２Ａに示すように、エンコーダから伝送されるビットストリームは、ダウンミックス信号（Ｍｉｘｅｄ＿Ｏｂｊ ＢＳ）、オブジェクト情報（Ｏｂｊ＿Ｉｎｆｏ ＢＳ）及びプリセット情報（Ｐｒｅｓｅｔ＿Ｉｎｆｏ ＢＳ）を含む統合された単一のビットストリームであり、前記オブジェクト情報及びプリセット情報は、前記ダウンミックス信号ビットストリームの付加領域に保存される。一方、図２Ｂを参照すると、本発明の一実施例に係るビットストリームは、多様な形態で独立的なビット列として保存及び伝送される。例えば、ダウンミックス信号（Ｍｉｘｅｄ＿Ｏｂｊ ＢＳ）は第１のビットストリーム２０２で伝送され、オブジェクト情報（Ｏｂｊ＿Ｉｎｆｏ ＢＳ）及びプリセット情報（Ｐｒｅｓｅｔ＿Ｉｎｆｏ ＢＳ）は第２のビットストリーム２０４で伝送される。他の一実施例で、ダウンミックス信号（Ｍｉｘｅｄ＿Ｏｂｊ ＢＳ）及びオブジェクト情報（Ｏｂｊ＿Ｉｎｆｏ ＢＳ）は第１のビットストリーム２０６で伝送され、プリセット情報（Ｐｒｅｓｅｔ＿Ｉｎｆｏ ＢＳ）のみが別途の第２のビットストリーム２０８で伝送される。また、他の実施例では、ダウンミックス信号（Ｍｉｘｅｄ＿Ｏｂｊ ＢＳ）、オブジェクト情報（Ｏｂｊ＿Ｉｎｆｏ ＢＳ）及びプリセット情報（Ｐｒｅｓｅｔ＿Ｉｎｆｏ ＢＳ）は、別個の三つのビットストリーム２１０，２１２，２１４で伝送される。
【００３０】
このような第１のビットストリーム及び第２のビットストリーム又は別個のビットストリームは、同一又は異なるビット率で伝送され、特に、プリセット情報（Ｐｒｅｓｅｔ＿Ｉｎｆｏ ＢＳ）（ＰＩ）の場合、オーディオ信号の復元後、ダウンミックス信号（Ｍｉｘｅｄ＿Ｏｂｊ ＢＳ）（ＤＭＸ）又はオブジェクト情報（Ｏｂｊ＿Ｉｎｆｏ ＢＳ）（ＯＩ）と別途分離されることによって保存または伝送される。
【００３１】
また、本発明に係るオーディオ信号処理装置は、エンコーダから伝送されたプリセット情報（ＰＩ）の他に、ユーザからユーザ制御情報（user control information；ＵＣＩ）を受信し、オブジェクト信号の利得又はパニングを調節することができる。
【００３２】
図３は、本発明の実施例に係るオーディオ信号処理装置のうち情報生成ユニット１１０の細部構成図を示した一例である。図３を参照すると、情報生成ユニット１１０は、情報送受信部３１０、プリセット情報受信部３３０及び情報生成部３４０を含み、ユーザ制御情報（ＵＣＩ）を受信するユーザインタフェース３２０を含む。
【００３３】
情報送受信部３１０は、エンコーダから伝送されたビットストリームからオブジェクト情報（ＯＩ）及びプリセット情報（ＰＩ）を受信する。一方、ユーザインタフェース３２０は、ユーザから別個のユーザ制御情報（ＵＣＩ）を受信することができ、前記ユーザ制御情報（ＵＣＩ）は、ユーザプリセット情報（ＵＰＩ）を含むことができる。
【００３４】
ユーザインタフェース３２０は、ユーザ制御情報（ＵＣＩ）を受信し、これは、エンコーダから入力されたプリセット情報（ＰＩ）を用いるかどうかを選択する。また、プリセット情報受信部３３０は、エンコーダから伝送されたプリセット情報（ＰＩ）またはユーザから受信されたユーザプリセット情報（ＵＰＩ）を受信する。前記ユーザ制御情報（ＵＣＩ）から前記プリセット情報（ＰＩ）を用いないように選択される場合、ユーザプリセット情報（ＵＰＩ）が選択され、これが前記プリセット情報受信部３３０に入力されて用いられる。
【００３５】
情報生成部３４０は、プリセット情報受信部３３０から受信されたプリセット情報（ＰＩ）又はユーザプリセット情報（ＵＰＩ）、及び情報送受信部３１０から受信されたオブジェクト情報（ＯＩ）を用いてマルチチャネル情報（ＭＩ）を生成することができる。
【００３６】
図４は、図３の情報生成ユニット１１０を含むオーディオ信号処理装置のビットストリームインタフェースを示す概略図である。本発明の一実施例によると、デコーダ４１０に入力されるビットストリームは、ダウンミックス信号（ＤＭＸ）、オブジェクト情報（ＯＩ）、プリセット情報（ＰＩ）及びユーザプリセット情報（ＵＰＩ）を含む。また、デコーダ４１０から出力されるビットストリームは、マルチチャネル信号（ＭＩ）及びユーザプリセット情報（ＵＰＩ）を含むことができる。前記ユーザプリセット情報は、デコーダ４１０から出力され、メモリ４２０に別個に保存されて再び用いられる。
【００３７】
以下では、図５〜図７を参照して、ユーザインタフェースから入力されたユーザ制御情報（ＵＣＩ）を用いてエンコーダから伝送されたプリセット情報（ＰＩ）の一部のみを変形し、変形プリセット情報（ＭＰＩ）を用いてマルチチャネル情報（ＭＩ）を生成する過程について具体的に説明する。
【００３８】
図５は、本発明の実施例に係るオーディオ信号処理装置のうち情報生成ユニット１１０の細部構成図を示した一例で、図６は、図５の情報生成ユニット１１０を含むオーディオ信号処理装置のビットストリームインタフェースを示す概略図で、図７は、図５の情報生成ユニットを含むオーディオ信号処理装置のユーザインタフェースを示す図である。以下、図５〜図７を参照して、各構成要素及び各段階について具体的に説明する。
【００３９】
まず、図５を参照すると、図３及び図４に示すように、ユーザ制御情報（ＵＣＩ）が入力されることによって、エンコーダから伝送されたプリセット情報（ＰＩ）を排除し、前記ユーザ制御情報（ＵＣＩ）に含まれたユーザプリセット情報（ＵＰＩ）を用いてダウンミックス処理情報（ＤＰＩ）及びマルチチャネル情報（ＭＩ）を生成することができる。一方、図５に示すように、ユーザ制御情報（ＵＣＩ）は、エンコーダから伝送されたプリセット情報（ＰＩ）の一部のみを変形し、変形プリセット情報（ＭＰＩ）を生成することができる。
【００４０】
図５に示すように、情報生成ユニット１１０は、情報送受信部５１０、プリセット情報変形部５３０及び情報生成部５４０を含み、ユーザ制御情報を受信するユーザインタフェース５２０を含む。
【００４１】
情報送受信部５１０は、エンコーダから伝送されたビットストリームからオブジェクト情報（ＯＩ）及びプリセット情報（ＰＩ）を受信する。一方、ユーザインタフェース５２０は、ユーザが各オブジェクトの利得又はパニングを制御できるように前記プリセット情報（ＰＩ）を画面に表示する。
【００４２】
プリセット情報変形部５３０は、情報送受信部５１０からプリセット情報（ＰＩ）を受信し、ユーザインタフェース５２０から入力されたユーザ制御情報（ＵＣＩ）を用いて変形プリセット情報（ＭＰＩ）を生成することができる。前記変形プリセット情報（ＭＰＩ）は、全体のオブジェクトに関するものでない場合があり、一部のオブジェクトに関するものである場合には、変形の対象でないオブジェクトに関するプリセット情報が変形されずに維持される。
【００４３】
情報生成部５４０は、プリセット情報変形部５３０から受信された変形プリセット情報（ＭＰＩ）及び情報送受信部５１０から受信されたオブジェクト情報（ＯＩ）を用いてマルチチャネル情報（ＭＩ）を生成することができる。
【００４４】
図６は、図５の情報生成ユニット１１０を含むオーディオ信号処理装置のビットストリームインタフェースを示す概略図である。本発明の一実施例によると、デコーダ６１０に入力されるビットストリームは、ダウンミックス信号（ＤＭＸ）、オブジェクト情報（ＯＩ）、プリセット情報（ＰＩ）及びユーザ制御情報（ＵＣＩ）を含む。また、デコーダ６１０から出力されるビットストリームは、ユーザ制御情報（ＵＣＩ）、変形プリセット情報（ＭＰＩ）及びマルチチャネル信号（ＭＩ）を含むことができる。前記ユーザ制御情報（ＵＣＩ）及び変形プリセット情報（ＭＰＩ）は、デコーダ６１０から出力され、メモリ６２０に別個に保存されて再び用いられる。
【００４５】
図７を参照すると、エンコーダから伝送された前記プリセット情報（ＰＩ）は、ユーザインタフェース（ＵＩ）に各オブジェクトに該当するインデックス（例えば、オブジェクト名、記号及び記号に該当するテーブル）と一緒に、音量調節器又はスイッチの形態で表示することができる。また、ユーザインタフェース（ＵＩ）の画面部は、ユーザ制御情報（ＵＣＩ）によってプリセット情報（ＰＩ）を変形することによって、変形プリセット情報（ＭＰＩ）に該当するオブジェクト別にプリセット情報の変形を表示することができる。また、提供されるプリセット情報（ＰＩ）として表現されるモードが多数である場合、ユーザインタフェース（ＵＩ）は、設定された多数個のプリセット情報（ＰＩ）と関連したモード情報を画面部に表示し、ユーザが選択することによって該当するモードのプリセット情報（ＰＩ）を図７のように表示することができる。
【００４６】
図８は、本発明の他の実施例に係るオーディオ信号処理装置のビットストリームインタフェースを示す概略図である。図５の情報生成ユニットを含むデコーダ１ ８１０は、ダウンミックス信号（ＤＭＸ）、オブジェクト情報（ＯＩ）、プリセット情報（ＰＩ）及びユーザ制御情報（ＵＣＩ）の入力を受けて、マルチチャネル信号（ＭＩ）、ユーザ制御情報（ＵＣＩ）及び変形プリセット情報（ＭＰＩ）を出力することができる。前記ユーザ制御情報（ＵＣＩ）と変形プリセット情報（ＭＰＩ）はメモリ８２０に別個に保存され、他のデコーダ２ ８３０には、前記変形プリセット情報（ＭＰＩ）に対応するダウンミックス信号（ＤＭＸ）及びオブジェクト情報（ＰＩ）が入力される。この場合、メモリ８２０に保存された変形プリセット情報（ＭＰＩ）を用いて、デコーダ２ ８３０は、前記デコーダ１ ８１０で生成されたマルチチャネル信号と同一のマルチチャネル信号を生成することができる。
【００４７】
前記変形プリセット情報（ＭＰＩ）は、フレーム別に異なる値を有することができ、一つの曲に対して共通の値を有することができ、特徴または製作者を記載するメタ情報を含むことができる。また、マルチチャネル信号と別個に保存または伝送されることによって、前記変形プリセット情報（ＭＰＩ）のみを合法的に共有できるようになる。
【００４８】
本発明の他の実施例に係るオーディオ信号処理装置は、多数個のプリセット情報（ＰＩ）を含むことができ、以下、図９を参照して、マルチチャネル情報（ＭＩ）を生成する過程について具体的に説明する。
【００４９】
図９は、本発明の実施例に係るオーディオ信号処理装置のうち情報生成ユニット１１０の細部構成図を示す一例である。図９を参照すると、情報生成ユニット１１０は、情報送受信部９１０、プリセット情報決定部９３０及び情報生成部９４０を含み、ユーザ制御情報（ＵＣＩ）を受信可能なユーザインタフェース９２０を含む。
【００５０】
情報送受信部９１０は、エンコーダから伝送されたビットストリームからオブジェクト情報（ＯＩ）及び各プリセット情報（ＰＩ＿ｎ）を受信する。前記各プリセット情報（ＰＩ）は、多数個のプリセットモード、例えば、カラオケモード、Ｒ＆Ｂ強調モードなどで構成される。
【００５１】
一方、ユーザインタフェース９２０は、前記各プリセット情報（ＰＩ＿ｎ）の簡略な情報を画面にディスプレイしてユーザに提供することができ、ユーザからプリセット情報を選択するユーザ制御情報（ＵＣＩ）を受信することができる。
【００５２】
プリセット情報決定部９３０は、前記情報送受信部９１０から入力された各プリセット情報（ＰＩ＿ｎ）のうち前記ユーザ制御情報を用いて一つのプリセット情報（ＰＩ）を決定することができる。例えば、図９のプリセット情報＿１はカラオケモードで、プリセット情報＿２はＲ＆Ｂ強調モードで、プリセット情報＿３はコンサートモードで、プリセット情報＿４はアコースティックモードである場合、ユーザインタフェース９２０に前記それぞれのプリセット情報（ＰＩ）に該当するモード名が表示される。ユーザが広い空間で聞く場合のような音場感を得たい場合、プリセット情報３を選択することができる。前記ユーザインタフェース９２０は、ユーザから入力されたプリセット情報３を選択するユーザ制御情報（ＵＣＩ）を出力し、プリセット情報決定部９３０は、前記ユーザ制御情報（ＵＣＩ）を用いて選択されたプリセット＿３をプリセット情報（ＰＩ）として決定し、これを情報生成部９４０に出力する。
【００５３】
情報生成部９４０は、プリセット情報受信部９３０から受信されたプリセット情報（ＰＩ）及び情報送受信部９１０から受信されたオブジェクト情報（ＯＩ）を用いてマルチチャネル情報（ＭＩ）を生成することができる。
【００５４】
本発明に係るオーディオ信号処理装置は、エンコーダから伝送された多数個のプリセット情報（ＰＩ）及びユーザによって選択されたプリセットの情報を含むユーザ制御情報（ＵＣＩ）を用いて、ユーザがオブジェクトの利得又はパニングを個別的に調節することなく、既に設定された最適のプリセット情報を選択及び適用することによってオブジェクトの利得またはパニングを調節することができる。
【００５５】
以下では、エンコーダからオブジェクト情報（ＯＩ）が伝送されない場合、多数個のオブジェクト信号を含むダウンミックス信号（ＤＭＸ）をデコーディングするためのオーディオ信号処理方法及び装置について、図１０などの図面を参照して具体的に説明する。
【００５６】
ここで、ブラインド情報（blind information；ＢＩ）は、オブジェクト情報と類似した概念を有し、デコーダの内部でエンコーダから伝送されたダウンミックス信号（ＤＭＸ）を用いる形でダウンミックス信号に含まれたオブジェクト信号のレベル及び利得情報を含むことができ、関連情報またはメタ情報をさらに含むことができる。ブラインド情報（ＢＩ）の生成過程は、以下に詳細に説明する。
【００５７】
図１０Ａ及び図１０Ｂは、出力信号の位置情報を用いてブラインド情報（ＢＩ）を生成するオーディオ信号処理方法を示す概略図である。図１０Ａに示すように、ステレオチャネルを有する出力装置を用いる場合、聴取者は、左側及び右側のチャネルからオーディオ信号（ＤＭＸ）を受信する。前記オーディオ信号が多数個のオブジェクト信号を含む場合、それぞれのオブジェクト信号は、左側または右側のチャネルに寄与する利得情報によって、空間上に位置する領域が変わり得る。
【００５８】
図１０Ｂは、位置領域によって区別されるオブジェクト信号のうち一つのオブジェクト信号を生成するために、それぞれのステレオチャネルから出力される信号の構成を示す。図１０Ｂにおいて、オブジェクト信号sは、利得ファクタaによって決定された方向に位置する信号を表し、独立的なオブジェクト信号n1, n2は、信号sに対する周辺信号を表す。また、前記オブジェクト信号は、特定の方向情報を有してステレオチャネルに出力され、前記方向情報は、レベル差情報及び時間差情報などである。一方、前記周辺信号は、再生環境または聴覚的に感じられる幅などによって決定される。このような図１０Ｂのステレオ出力信号は、オブジェクト信号s、周辺信号n1, n2及びオブジェクト信号の方向を決定する利得ファクタaを用いて下記の式１のように表現することができる。
【００５９】
【数１】
【００６０】
同時に活性化された多数個のオブジェクト信号を含む非線形的なダウンミックス信号（ＤＭＸ）を効果的に分析するためには、前記式１を多数個に分割された周波数バンド及び時間領域を用いて独立的に分析すべきであり、この場合、前記x1(n)及びx2(n)は、次のように表すことができる。
【００６１】
【数２】
【００６２】
前記iは周波数バンドインデックスを表し、kは時間バンドインデックスを表す。
【００６３】
図１１は、ステレオ出力信号を分析する時間―周波数ドメインを示すグラフである。それぞれの時間―周波数領域はインデックスi及びkを含み、オブジェクト信号S、周辺信号N1及びN2、利得ファクタAは独立的に推定される。以下では、周波数バンドインデックスi及び時間バンドインデックスkを省略する。
【００６４】
ダウンミックス信号（ＤＭＸ）の分析のための周波数バンドの帯域幅は、特定のバンドと同一になるように選択され、ダウンミックス信号（ＤＭＸ）の特性によって決定される。それぞれの周波数バンドで、S, N1, N2, Aはtミリ秒ごとに推定され、X1及びX2がダウンミックス信号（ＤＭＸ）として与えられる場合、図１１の時間―周波数ドメイン別分析によってS, N1, N2, Aの推定値が決定される。X1のパワーは、下記の式３のように推定される。
【００６５】
【数３】
【００６６】
ここで、E｛.｝は平均を表す。
【００６７】
N1及びN2のパワーは同一のものと仮定し、外部で影響を及ぼす従属的な信号も、ステレオチャネルの左側及び右側のチャネルで同一のパワーを有するものと仮定する。
【００６８】
また、ダウンミックス信号（ＤＭＸ）が時間―周波数ドメインで表現される場合、利得情報（A）、オブジェクト信号のパワー（PS）、周辺信号のパワー（PN）及び正規化された交差相関関係（φ）を測定できるようになる。ステレオチャネル間の正規化された交差相関関係は、下記の式４のように表すことができる。
【００６９】
【数４】
【００７０】
A, PS, PNは、測定されたPX1, PX2, φを用いて決定される。前記PX1, PX2, φに関する関係は、次の式５に示す通りである。
【００７１】
【数５】
【００７２】
前記式５をA, PS, PNに関して整理した結果を下記の式６に示す。
【００７３】
【数６】
【００７４】
図１２Ａ及び図１２Ｂは、エンコーダから伝送されるダウンミックス信号（ＤＭＸ）からブラインド情報（ＢＩ）を生成する過程を示すブロック図及びフローチャートである。まず、ステレオチャネルを有するダウンミックス信号（x1(n), x2(n)）は、フィルタバンク分析部１２１０に入力され、各時間―周波数ドメイン別信号（x1(i,k), x2(i,k)）に変換される（Ｓ１２００）。前記変換されたダウンミックス信号（x1(i,k), x2(i,k)）は、利得情報推定部１２２０に入力され、利得情報推定部１２２０は、変換されたダウンミックス信号（x1(i,k), x2(i,k)）を分析し、オブジェクト信号の利得情報（A）を推定し（Ｓ１２１０）、ダウンミックス出力信号のうちオブジェクト信号の位置を決定する（Ｓ１２２０）。このとき、前記推定された利得情報（A）は、ダウンミックス信号に含まれたオブジェクト信号がダウンミックス出力信号のステレオチャネルに寄与する程度を表すもので、ダウンミックス信号の出力時、それぞれ異なる位置に存在する信号は別個のオブジェクト信号と判断し、一つのオブジェクト信号は、一つの利得情報を有するものと仮定する。オブジェクトレベル推定部１２３０は、前記利得情報推定部１２２０から出力された利得情報（A）及び位置情報を用いて、各位置に対応するオブジェクト信号のレベル（Ps）を推定するようになり（Ｓ１２３０）、ブラインド情報生成部１２４０は、利得情報及びオブジェクト信号のレベルを用いてブラインド情報（SOLD）（ＢＩ）を生成するようになる（Ｓ１２４０）。
【００７５】
ブラインド情報（ＢＩ）は、ブラインド相関情報（blind correlation information；ＢＣＩ）及びブラインド利得情報（blind gain information；ＢＧＩ）をさらに含むことができる。前記ブラインド相関情報（ＢＣＩ）は、二つのオブジェクト間の相関性を表すもので、推定された利得情報及びオブジェクト信号のレベルを用いて生成される。
【００７６】
図１３は、本発明の一実施例に係るオーディオ信号処理装置を示す構成図である。本発明の実施例に係るオーディオ信号処理装置１３００は、情報生成ユニット１２１０、ダウンミックス処理ユニット１２２０及びマルチチャネルデコーダ１２３０を含む。ダウンミックス処理ユニット１２２０及びマルチチャネルデコーダ１２３０は、図１のダウンミックス処理ユニット１２０及びマルチチャネルデコーダ１３０と構成及び役割が同一であるので、それに関する説明は省略することにする。
【００７７】
図１３を参照すると、情報生成ユニット１２１０は、エンコーダからダウンミックス信号（ＤＭＸ）、オブジェクト情報（ＯＩ）及びプリセット情報（ＰＩ）の入力を受けて、ダウンミックス処理情報（ＤＰＩ）及びマルチチャネル情報（ＭＩ）を生成し、大きくブラインド情報生成部１２１１及び情報生成部１２１２を含む。
【００７８】
エンコーダからオブジェクト情報（ＯＩ）が伝送される場合、ブラインド情報生成部１２１１は、ブラインド情報（ＢＩ）を生成することなく、情報生成部１２１２は、図１を参照して説明したように、伝送されたオブジェクト情報（ＯＩ）を用いてダウンミックス処理情報及びマルチチャネル情報を生成する。
【００７９】
一方、情報生成ユニット１２１０にオブジェクト情報（ＯＩ）が伝送されない場合、図１１〜図１２Ｂを参照して説明したように、ブラインド情報生成部１２１１は、ダウンミックス信号（ＤＭＸ）を受信し、ダウンミックス信号を時間―周波数ドメイン別信号（x1(i,k), x2(i,k)）に変換し、変換されたダウンミックス信号から別個の位置に存在する信号を一つのオブジェクト信号と把握し、オブジェクト信号の利得情報（A）を推定し、利得情報（A）を用いてオブジェクト信号のレベルを推定することによってブラインド情報（ＢＩ，SOLD）を生成する。
【００８０】
図１４は、ブラインド情報生成部１２１１を含む情報生成ユニット１２１０の細部構成図である。図１４を参照すると、情報生成ユニット１２１０は、大きくフィルタバンク１３１０、ブラインド情報推定部１３２０及び情報生成部１３３０を含み、フィルタバンク１３１０は、ダウンミックス信号を時間―周波数ドメイン別信号に変換し、ブラインド情報（ＢＩ）を生成するための分析が可能になるようにする。前記フィルタバンク１３１０によって時間―周波数ドメイン別信号(x1(i,k), x2(i,k))に変換されたダウンミックス信号（ＤＭＸ）は、ブラインド情報推定部１３２０に入力され、位置情報、オブジェクト信号の利得情報(A)、オブジェクト信号のレベル（Ps）を用いてダウンミックス信号（ＤＭＸ）のデコーディングのためのブラインド情報（SOLD）を生成する。一方、情報生成部１３３０は、前記ブラインド情報（ＢＩ）（SOLD）及びプリセット情報（ＰＩ）を用いてマルチチャネル情報を生成する。
【００８１】
図１５は、図１４の情報生成ユニットを含むオーディオ信号処理装置のビットストリームインタフェースを示す概略図である。本発明の一実施例によると、デコーダ１５１０に入力されるビットストリームは、ダウンミックス信号（ＤＭＸ）、プリセット情報（ＰＩ）及びユーザ制御情報（ＵＣＩ）を含む。前記ユーザ制御情報（ＵＣＩ）は、エンコーダから伝送されたプリセット情報（ＰＩ）の代わりに用いられるユーザプリセット情報（ＵＰＩ）であり、プリセット情報（ＰＩ）を一部変形するための制御情報（ＵＣＩ）である。また、オブジェクト信号（ＯＩ）は入力されることなく、デコーダ１５１０の内部にブラインド情報生成部（図示せず）を含む。デコーダ１５１０から出力されるビットストリームは、マルチチャネル信号（ＭＩ）及びブラインド情報（ＢＩ）を含むことができる。前記ブラインド情報（ＢＩ）は、デコーダ１５１０から出力され、メモリ１５２０に別個に保存されて再び用いられる。
【００８２】
図１６は、本発明の実施例に係るオーディオ信号処理装置１６００の構成を示す図である。図１６を参照すると、本発明の実施例に係るオーディオ信号処理装置１６００は、情報生成ユニット１６１０、ユーザインタフェース１６２０、ダウンミックス処理ユニット１６３０及びマルチチャネルデコーダ１６４０を含む。
【００８３】
情報生成ユニット１６１０は、ブラインド情報生成部１６１２、情報送受信部１６１４及び情報生成部１６１６を含み、前記ブラインド情報生成部１６１２は、エンコーダからオブジェクト情報（ＯＩ）が伝送されない場合、ダウンミックス信号（ＤＭＸ）を用いてブラインド情報（ＢＩ）を生成する。一方、情報送受信部１６１４は、ブラインド情報（ＢＩ）またはオブジェクト情報（ＯＩ）の入力を受けて、ユーザインタフェース１６２０からユーザ制御情報（ＵＣＩ）を受信し、エンコーダからプリセット情報（ＰＩ）を受信する。また、情報生成部１６１６は、前記情報送受信部１６１４から受信されたプリセット情報（ＰＩ）、ユーザ制御情報（ＵＣＩ）、ブラインド情報（ＢＩ）（またはオブジェクト情報（ＯＩ））を用いてマルチチャネル情報（ＭＩ）及びダウンミックス処理情報（ＤＰＩ）を生成する。
【００８４】
ダウンミックス処理ユニット１６３０は、エンコーダから伝送されたダウンミックス信号（ＤＭＸ）及び情報生成ユニットから入力されたダウンミックス処理情報（ＤＰＩ）を用いて、処理されたダウンミックス（ＰＤＭＸ）を生成し、マルチチャネルデコーダ１６４０は、前記処理されたダウンミックス（ＰＤＭＸ）及びマルチチャネル情報（ＭＩ）を用いてマルチチャネル信号（ｃｈａｎｎｅｌ＿１、ｃｈａｎｎｅｌ＿２、…、ｃｈａｎｎｅｌ＿ｎ）を生成する。
【００８５】
このように、本発明の他の実施例に係るオーディオ信号処理方法及び装置は、エンコーダからオブジェクト情報（ＯＩ）が伝送されない場合にも、ブラインド情報（ＢＩ）を生成し、プリセット情報（ＰＩ）を用いて容易に多様なモードでオブジェクト信号の利得及びパニングを調節することができる。
【００８６】
以上のように、本発明について、限定された実施例及び図面によって説明したが、これによって限定されるものではなく、本発明の属する技術分野で通常の知識を有する者によって本発明の技術思想及び特許請求の範囲の均等の範囲内で多様な修正及び変形が可能であることは当然である。
【産業上の利用可能性】
【００８７】
本発明は、オーディオエンコーディング及びデコーディングを行うときに適用可能である。
【技術分野】
【０００１】
本発明は、オーディオ信号の処理方法及び装置に関するもので、より詳細には、デジタル媒体、放送信号などで受信されたオーディオ信号を処理することができるオーディオ信号の処理方法及び装置に関するものである。
【背景技術】
【０００２】
多数個のオブジェクトを含むオーディオ信号をモノ又はステレオ信号にダウンミックスする過程において、それぞれのオブジェクト信号から各パラメータが抽出される。これらパラメータはデコーダで使用されるが、それぞれのオブジェクトのパニング及び利得はユーザの選択によってコントロールされる。
【０００３】
それぞれのオブジェクト信号を制御するためには、ダウンミックスに含まれているそれぞれのソースがユーザの選択によって適切にポジショニングまたはパニングされなければならない。しかしながら、ユーザによってオブジェクトを制御する場合、全てのオブジェクト信号を制御すべきであるという煩雑さがあり、専門家が制御する場合に比べて、多数個のオブジェクトを含むオーディオ信号の最適な状態を再現することが困難であった。
【０００４】
また、オブジェクト信号を復元するためのオブジェクト情報がエンコーダから伝送されない場合、ダウンミックス信号に含まれたオブジェクト信号を制御することが難しくなる。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、上記のような問題点を解決するためになされたもので、既に設定されたプリセット情報を用いてオブジェクトの利得及びパニングをコントロールすることができるオーディオ信号処理方法及び装置を提供することを目的とする。
【０００６】
本発明の他の目的は、既に設定されたプリセット情報をオーディオ信号と別途伝送または保存することができるオーディオ信号処理方法及び装置を提供することにある。
【０００７】
本発明の更に他の目的は、ユーザの選択を基盤にして既に設定された多数個のプリセット情報のうち一つを選択し、オブジェクトの利得及びパニングをコントロールすることができるオーディオ信号処理方法及び装置を提供することにある。
【０００８】
本発明の更に他の目的は、外部から入力されるユーザプリセット情報を用いてオブジェクトの利得及びパニングをコントロールすることができるオーディオ信号処理方法及び装置を提供することにある。
【０００９】
本発明の更に他の目的は、エンコーダからオブジェクト情報が伝送されない場合、ダウンミックス信号を用いてブラインド情報を生成し、オーディオ信号を制御することができるオーディオ信号処理方法及び装置を提供することにある。
【課題を解決するための手段】
【００１０】
前記のような目的を達成するために、本発明に係るオーディオ信号処理方法は、ダウンミックス信号、オブジェクト情報及びプリセット情報を受信し、前記オブジェクト情報及びプリセット情報を用いてダウンミックス処理情報を生成し、前記ダウンミックス処理情報を用いて前記ダウンミックス信号を処理し、前記オブジェクト情報及びプリセット情報を用いてマルチチャネル情報を生成し、前記オブジェクト情報は、オブジェクトレベル情報、オブジェクト関連情報及びオブジェクト利得情報のうちいずれか一つ以上を含み、前記オブジェクトレベル情報は、前記オブジェクトレベルのうち一つを用いてオブジェクトに対応するオブジェクトレベルを正規化することによって生成され、前記オブジェクト関連情報は、二つの選択されたオブジェクトの組み合わせから生成され、前記オブジェクト利得情報は、ダウンミックス信号を生成するために、それぞれのダウンミックス信号のチャネルに対するオブジェクトの寄与度を決定するもので、前記プリセット情報はビットストリームから抽出される。
【発明の効果】
【００１１】
本発明は、次のような効果及び利点を提供する。
【００１２】
第一に、それぞれのオブジェクトに対するユーザの設定なしに、既に設定されたプリセット情報を用いて容易にオブジェクトの利得及びパニングをコントロールすることができる。
【００１３】
第二に、ユーザの選択を基盤にして変更されたプリセット情報を用いてオブジェクトの利得及びパニングをコントロールすることができる。
【００１４】
第三に、既に設定された多数個のプリセット情報を用いて、ユーザの趣向によって容易にオブジェクトの利得及びパニングをコントロールすることができる。
【００１５】
第四に、外部から入力されるユーザプリセット情報を用いることによって、多様なプリセット情報を用いてオブジェクトの利得及びパニングをコントロールすることができる。
【００１６】
第五に、ブラインド情報を用いることによって、オブジェクト情報を生成不可能なエンコーダを用いる場合にもオブジェクトの利得及びパニングをコントロールすることができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施例に係るオーディオ信号装置の構成図である。
【図２Ａ】本発明の実施例に係るオーディオ信号処理装置に伝送されるビットストリームの構成図である。
【図２Ｂ】本発明の実施例に係るオーディオ信号処理装置に伝送されるビットストリームの構成図である。
【図３】本発明の実施例に係るオーディオ信号処理装置のうち情報生成ユニットの構成図である。
【図４】図３の情報生成ユニットを含むオーディオ信号処理装置のビットストリームインタフェースを示す概略図である。
【図５】本発明の他の実施例に係るオーディオ信号処理装置のうち情報生成ユニットの構成図である。
【図６】図５の情報生成ユニットを含むオーディオ信号処理装置のビットストリームインタフェースを示す概略図である。
【図７】図５の情報生成ユニットを含むオーディオ信号処理装置のユーザインタフェースの表示部を示す図である。
【図８】本発明の更に他の実施例に係るオーディオ信号処理装置のビットストリームインタフェースを示す概略図である。
【図９】本発明の更に他の実施例に係るオーディオ信号処理装置のうち情報生成ユニットの構成図である。
【図１０Ａ】本発明の更に他の実施例に係るオーディオ信号の処理方法の出力信号を示す概略図である。
【図１０Ｂ】本発明の更に他の実施例に係るオーディオ信号の処理方法の出力信号を示す概略図である。
【図１１】本発明の更に他の実施例に係るステレオ出力信号を分析する時間―周波数ドメインを示すグラフである。
【図１２Ａ】本発明の更に他の実施例に係るブラインド情報の生成過程を示すブロック図及びフローチャートである。
【図１２Ｂ】本発明の更に他の実施例に係るブラインド情報の生成過程を示すブロック図及びフローチャートである。
【図１３】本発明の更に他の実施例に係るオーディオ信号処理装置の構成図である。
【図１４】本発明の更に他の実施例に係るブラインド情報生成部を含む情報生成ユニットの細部構成図である。
【図１５】本発明の更に他の実施例に係る図１４の情報生成ユニットを含むオーディオ信号処理装置のビットストリームインタフェースを示す概略図である。
【図１６】本発明の更に他の実施例に係るオーディオ信号処理装置の構成図である。
【発明を実施するための形態】
【００１８】
以下、添付された図面を参照して、本発明の好適な実施例を詳細に説明する。ここで、本明細書及び特許請求の範囲で使用された用語や単語は、通常的または辞典的な意味に限定して解釈されてはならず、発明者が自身の発明を最も最善の方法で説明するために用語の概念を適切に定義できるとの原則に立脚して、本発明の技術的思想に符合する意味及び概念に解釈されるべきである。したがって、本明細書に記載された実施例及び図面に示した構成は、本発明の最も好適な一実施例に過ぎないもので、本発明の技術的思想を全て代弁するものではないので、本出願時点において、これらに取って代わる多様な均等物及び変形例があり得ることを理解しなければならない。
【００１９】
特に、本明細書で、情報とは、値、パラメータ、係数、成分などを総称する用語として、場合によって異なる意味に解釈されるが、本発明がこれに限定されることはない。
【００２０】
図１は、本発明の実施例に係るオーディオ信号処理装置１００の構成を示す図である。図１を参照すると、まず、本発明の実施例に係るオーディオ信号処理装置１００は、情報生成ユニット１１０、ダウンミックス処理ユニット１２０及びマルチチャネルデコーダ１３０を含む。
【００２１】
情報生成ユニット１１０は、オブジェクト情報（object information；ＯＩ）及びプリセット情報（preset information；ＰＩ）をオーディオ信号ビットストリームから受信する。ここで、オブジェクト情報（ＯＩ）は、ダウンミックス信号（downmix signal；ＤＭＸ）内に含まれているオブジェクトに関する情報として、オブジェクトレベル情報、オブジェクト相関情報、オブジェクト利得情報などを含むことができる。前記オブジェクトレベル情報は、参照情報を用いてオブジェクトレベルを正規化することによって生成されたもので、前記参照情報は、オブジェクトレベルのうちの一つであり、詳細には、全てのオブジェクトレベルのうち最も大きいレベルである。前記オブジェクト相関情報は、二つのオブジェクト間の相関性を表すもので、選択された二つのオブジェクトが同一の起源を有するステレオ出力のそれぞれ異なるチャネルの信号であることを表す。前記オブジェクト利得情報は、ダウンミックス信号（ＤＭＸ）を生成するために、それぞれのダウンミックス信号のチャネルに対するオブジェクトの寄与度に関する値を表し、詳細には、オブジェクトの寄与度を変形させるための値を表す。
【００２２】
前記プリセット情報（ＰＩ）は、プリセット位置情報、プリセット利得情報及び再生環境情報などを根拠にして生成された情報として、ビットストリームから抽出されたものである。
【００２３】
前記プリセット位置情報とは、それぞれのオブジェクトの位置またはパニングを制御するために設定された情報であり、前記プリセット利得情報は、それぞれのオブジェクトの利得を制御するために設定された情報で、オブジェクト別利得ファクタを含み、前記オブジェクト別利得ファクタは時間によって変化することができる。また、再生環境情報は、スピーカーの個数、スピーカーの位置、アンビエント情報（スピーカーの仮想位置）などを含む情報である。
【００２４】
前記プリセット情報（ＰＩ）は、オーディオ信号に対して特定の音場感または効果を得るために、特定のモードに該当するオブジェクト位置情報、オブジェクト利得情報及び再生環境情報を既に設定したものを表す。例えば、プリセット情報のうちカラオケモードは、ボーカルオブジェクトの利得を「０」にするプリセット利得情報を含むことができ、スタジアムモードは、オーディオ信号が広い空間内に存在する効果を与えるためのプリセット位置情報及びプリセット利得情報を含むことができる。本発明に係るオーディオ信号処理装置は、ユーザがそれぞれのオブジェクトの利得又はパニングを調節する必要なしに、既に設定されたプリセット情報（ＰＩ）のうち所望のモードを選択することによって、容易にオブジェクトの利得またはパニングを調節することができる。
【００２５】
また、情報生成ユニット１１０は、プリセット情報に対するメタ情報（meta information；ＭＴＩ）（図示せず）をさらに受信することができ、前記メタ情報（ＭＴＩ）は、プリセット情報に対応するもので、プリセット情報（ＰＩ）名、製作者名などを含むことができる。また、プリセット情報（ＰＩ）が二つ以上である場合には、それぞれのプリセット情報（ＰＩ）に関するメタ情報（ＭＴＩ）が含まれてインデックス形式で表現される。また、メタ情報（ＭＴＩ）は、ユーザインタフェースなどによって示され、ユーザから選択命令の入力を受けることによって用いられる。
【００２６】
情報生成ユニット１１０は、前記オブジェクト情報（ＯＩ）及びプリセット情報（ＰＩ）を用いてマルチチャネル情報（multi-channel information；ＭＩ）を生成する。前記マルチチャネル情報（ＭＩ）は、ダウンミックス信号（ＤＭＸ）をアップミキシングするためのもので、チャネルレベル情報及びチャネル相関情報を含むことができる。また、前記情報生成ユニット１１０は、オブジェクト情報（ＯＩ）及びプリセット情報（ＰＩ）を用いてダウンミックス処理情報（downmix processing information；ＤＰＩ）を生成することができる。
【００２７】
ダウンミックス処理ユニット１２０は、ダウンミックス信号（ＤＭＸ）を受信し、ダウンミックス処理情報（ＤＰＩ）を用いてダウンミックス信号（ＤＭＸ）を処理する。前記ダウンミックス処理情報（ＤＰＩ）は、ダウンミックス信号（ＤＭＸ）に含まれたそれぞれのオブジェクト信号のパニング又は利得を調節するためにダウンミックス信号（ＤＭＸ）を処理することができる。
【００２８】
マルチチャネルデコーダ１３０は、ダウンミックス処理ユニット１２０から処理されたダウンミックス（processed downmix；ＰＤＭＸ）を受信し、前記情報生成ユニット１１０から生成されたマルチチャネル情報（ＭＩ）を用いて処理されたダウンミックス信号（ＰＤＭＸ）をアップミキシングし、マルチチャネル信号を生成する。
【００２９】
図２Ａ及び図２Ｂは、本発明の実施例に係るオーディオ信号の処理装置に伝送されるビットストリームの構成を示す一例である。一般的に、図２Ａに示すように、エンコーダから伝送されるビットストリームは、ダウンミックス信号（Ｍｉｘｅｄ＿Ｏｂｊ ＢＳ）、オブジェクト情報（Ｏｂｊ＿Ｉｎｆｏ ＢＳ）及びプリセット情報（Ｐｒｅｓｅｔ＿Ｉｎｆｏ ＢＳ）を含む統合された単一のビットストリームであり、前記オブジェクト情報及びプリセット情報は、前記ダウンミックス信号ビットストリームの付加領域に保存される。一方、図２Ｂを参照すると、本発明の一実施例に係るビットストリームは、多様な形態で独立的なビット列として保存及び伝送される。例えば、ダウンミックス信号（Ｍｉｘｅｄ＿Ｏｂｊ ＢＳ）は第１のビットストリーム２０２で伝送され、オブジェクト情報（Ｏｂｊ＿Ｉｎｆｏ ＢＳ）及びプリセット情報（Ｐｒｅｓｅｔ＿Ｉｎｆｏ ＢＳ）は第２のビットストリーム２０４で伝送される。他の一実施例で、ダウンミックス信号（Ｍｉｘｅｄ＿Ｏｂｊ ＢＳ）及びオブジェクト情報（Ｏｂｊ＿Ｉｎｆｏ ＢＳ）は第１のビットストリーム２０６で伝送され、プリセット情報（Ｐｒｅｓｅｔ＿Ｉｎｆｏ ＢＳ）のみが別途の第２のビットストリーム２０８で伝送される。また、他の実施例では、ダウンミックス信号（Ｍｉｘｅｄ＿Ｏｂｊ ＢＳ）、オブジェクト情報（Ｏｂｊ＿Ｉｎｆｏ ＢＳ）及びプリセット情報（Ｐｒｅｓｅｔ＿Ｉｎｆｏ ＢＳ）は、別個の三つのビットストリーム２１０，２１２，２１４で伝送される。
【００３０】
このような第１のビットストリーム及び第２のビットストリーム又は別個のビットストリームは、同一又は異なるビット率で伝送され、特に、プリセット情報（Ｐｒｅｓｅｔ＿Ｉｎｆｏ ＢＳ）（ＰＩ）の場合、オーディオ信号の復元後、ダウンミックス信号（Ｍｉｘｅｄ＿Ｏｂｊ ＢＳ）（ＤＭＸ）又はオブジェクト情報（Ｏｂｊ＿Ｉｎｆｏ ＢＳ）（ＯＩ）と別途分離されることによって保存または伝送される。
【００３１】
また、本発明に係るオーディオ信号処理装置は、エンコーダから伝送されたプリセット情報（ＰＩ）の他に、ユーザからユーザ制御情報（user control information；ＵＣＩ）を受信し、オブジェクト信号の利得又はパニングを調節することができる。
【００３２】
図３は、本発明の実施例に係るオーディオ信号処理装置のうち情報生成ユニット１１０の細部構成図を示した一例である。図３を参照すると、情報生成ユニット１１０は、情報送受信部３１０、プリセット情報受信部３３０及び情報生成部３４０を含み、ユーザ制御情報（ＵＣＩ）を受信するユーザインタフェース３２０を含む。
【００３３】
情報送受信部３１０は、エンコーダから伝送されたビットストリームからオブジェクト情報（ＯＩ）及びプリセット情報（ＰＩ）を受信する。一方、ユーザインタフェース３２０は、ユーザから別個のユーザ制御情報（ＵＣＩ）を受信することができ、前記ユーザ制御情報（ＵＣＩ）は、ユーザプリセット情報（ＵＰＩ）を含むことができる。
【００３４】
ユーザインタフェース３２０は、ユーザ制御情報（ＵＣＩ）を受信し、これは、エンコーダから入力されたプリセット情報（ＰＩ）を用いるかどうかを選択する。また、プリセット情報受信部３３０は、エンコーダから伝送されたプリセット情報（ＰＩ）またはユーザから受信されたユーザプリセット情報（ＵＰＩ）を受信する。前記ユーザ制御情報（ＵＣＩ）から前記プリセット情報（ＰＩ）を用いないように選択される場合、ユーザプリセット情報（ＵＰＩ）が選択され、これが前記プリセット情報受信部３３０に入力されて用いられる。
【００３５】
情報生成部３４０は、プリセット情報受信部３３０から受信されたプリセット情報（ＰＩ）又はユーザプリセット情報（ＵＰＩ）、及び情報送受信部３１０から受信されたオブジェクト情報（ＯＩ）を用いてマルチチャネル情報（ＭＩ）を生成することができる。
【００３６】
図４は、図３の情報生成ユニット１１０を含むオーディオ信号処理装置のビットストリームインタフェースを示す概略図である。本発明の一実施例によると、デコーダ４１０に入力されるビットストリームは、ダウンミックス信号（ＤＭＸ）、オブジェクト情報（ＯＩ）、プリセット情報（ＰＩ）及びユーザプリセット情報（ＵＰＩ）を含む。また、デコーダ４１０から出力されるビットストリームは、マルチチャネル信号（ＭＩ）及びユーザプリセット情報（ＵＰＩ）を含むことができる。前記ユーザプリセット情報は、デコーダ４１０から出力され、メモリ４２０に別個に保存されて再び用いられる。
【００３７】
以下では、図５〜図７を参照して、ユーザインタフェースから入力されたユーザ制御情報（ＵＣＩ）を用いてエンコーダから伝送されたプリセット情報（ＰＩ）の一部のみを変形し、変形プリセット情報（ＭＰＩ）を用いてマルチチャネル情報（ＭＩ）を生成する過程について具体的に説明する。
【００３８】
図５は、本発明の実施例に係るオーディオ信号処理装置のうち情報生成ユニット１１０の細部構成図を示した一例で、図６は、図５の情報生成ユニット１１０を含むオーディオ信号処理装置のビットストリームインタフェースを示す概略図で、図７は、図５の情報生成ユニットを含むオーディオ信号処理装置のユーザインタフェースを示す図である。以下、図５〜図７を参照して、各構成要素及び各段階について具体的に説明する。
【００３９】
まず、図５を参照すると、図３及び図４に示すように、ユーザ制御情報（ＵＣＩ）が入力されることによって、エンコーダから伝送されたプリセット情報（ＰＩ）を排除し、前記ユーザ制御情報（ＵＣＩ）に含まれたユーザプリセット情報（ＵＰＩ）を用いてダウンミックス処理情報（ＤＰＩ）及びマルチチャネル情報（ＭＩ）を生成することができる。一方、図５に示すように、ユーザ制御情報（ＵＣＩ）は、エンコーダから伝送されたプリセット情報（ＰＩ）の一部のみを変形し、変形プリセット情報（ＭＰＩ）を生成することができる。
【００４０】
図５に示すように、情報生成ユニット１１０は、情報送受信部５１０、プリセット情報変形部５３０及び情報生成部５４０を含み、ユーザ制御情報を受信するユーザインタフェース５２０を含む。
【００４１】
情報送受信部５１０は、エンコーダから伝送されたビットストリームからオブジェクト情報（ＯＩ）及びプリセット情報（ＰＩ）を受信する。一方、ユーザインタフェース５２０は、ユーザが各オブジェクトの利得又はパニングを制御できるように前記プリセット情報（ＰＩ）を画面に表示する。
【００４２】
プリセット情報変形部５３０は、情報送受信部５１０からプリセット情報（ＰＩ）を受信し、ユーザインタフェース５２０から入力されたユーザ制御情報（ＵＣＩ）を用いて変形プリセット情報（ＭＰＩ）を生成することができる。前記変形プリセット情報（ＭＰＩ）は、全体のオブジェクトに関するものでない場合があり、一部のオブジェクトに関するものである場合には、変形の対象でないオブジェクトに関するプリセット情報が変形されずに維持される。
【００４３】
情報生成部５４０は、プリセット情報変形部５３０から受信された変形プリセット情報（ＭＰＩ）及び情報送受信部５１０から受信されたオブジェクト情報（ＯＩ）を用いてマルチチャネル情報（ＭＩ）を生成することができる。
【００４４】
図６は、図５の情報生成ユニット１１０を含むオーディオ信号処理装置のビットストリームインタフェースを示す概略図である。本発明の一実施例によると、デコーダ６１０に入力されるビットストリームは、ダウンミックス信号（ＤＭＸ）、オブジェクト情報（ＯＩ）、プリセット情報（ＰＩ）及びユーザ制御情報（ＵＣＩ）を含む。また、デコーダ６１０から出力されるビットストリームは、ユーザ制御情報（ＵＣＩ）、変形プリセット情報（ＭＰＩ）及びマルチチャネル信号（ＭＩ）を含むことができる。前記ユーザ制御情報（ＵＣＩ）及び変形プリセット情報（ＭＰＩ）は、デコーダ６１０から出力され、メモリ６２０に別個に保存されて再び用いられる。
【００４５】
図７を参照すると、エンコーダから伝送された前記プリセット情報（ＰＩ）は、ユーザインタフェース（ＵＩ）に各オブジェクトに該当するインデックス（例えば、オブジェクト名、記号及び記号に該当するテーブル）と一緒に、音量調節器又はスイッチの形態で表示することができる。また、ユーザインタフェース（ＵＩ）の画面部は、ユーザ制御情報（ＵＣＩ）によってプリセット情報（ＰＩ）を変形することによって、変形プリセット情報（ＭＰＩ）に該当するオブジェクト別にプリセット情報の変形を表示することができる。また、提供されるプリセット情報（ＰＩ）として表現されるモードが多数である場合、ユーザインタフェース（ＵＩ）は、設定された多数個のプリセット情報（ＰＩ）と関連したモード情報を画面部に表示し、ユーザが選択することによって該当するモードのプリセット情報（ＰＩ）を図７のように表示することができる。
【００４６】
図８は、本発明の他の実施例に係るオーディオ信号処理装置のビットストリームインタフェースを示す概略図である。図５の情報生成ユニットを含むデコーダ１ ８１０は、ダウンミックス信号（ＤＭＸ）、オブジェクト情報（ＯＩ）、プリセット情報（ＰＩ）及びユーザ制御情報（ＵＣＩ）の入力を受けて、マルチチャネル信号（ＭＩ）、ユーザ制御情報（ＵＣＩ）及び変形プリセット情報（ＭＰＩ）を出力することができる。前記ユーザ制御情報（ＵＣＩ）と変形プリセット情報（ＭＰＩ）はメモリ８２０に別個に保存され、他のデコーダ２ ８３０には、前記変形プリセット情報（ＭＰＩ）に対応するダウンミックス信号（ＤＭＸ）及びオブジェクト情報（ＰＩ）が入力される。この場合、メモリ８２０に保存された変形プリセット情報（ＭＰＩ）を用いて、デコーダ２ ８３０は、前記デコーダ１ ８１０で生成されたマルチチャネル信号と同一のマルチチャネル信号を生成することができる。
【００４７】
前記変形プリセット情報（ＭＰＩ）は、フレーム別に異なる値を有することができ、一つの曲に対して共通の値を有することができ、特徴または製作者を記載するメタ情報を含むことができる。また、マルチチャネル信号と別個に保存または伝送されることによって、前記変形プリセット情報（ＭＰＩ）のみを合法的に共有できるようになる。
【００４８】
本発明の他の実施例に係るオーディオ信号処理装置は、多数個のプリセット情報（ＰＩ）を含むことができ、以下、図９を参照して、マルチチャネル情報（ＭＩ）を生成する過程について具体的に説明する。
【００４９】
図９は、本発明の実施例に係るオーディオ信号処理装置のうち情報生成ユニット１１０の細部構成図を示す一例である。図９を参照すると、情報生成ユニット１１０は、情報送受信部９１０、プリセット情報決定部９３０及び情報生成部９４０を含み、ユーザ制御情報（ＵＣＩ）を受信可能なユーザインタフェース９２０を含む。
【００５０】
情報送受信部９１０は、エンコーダから伝送されたビットストリームからオブジェクト情報（ＯＩ）及び各プリセット情報（ＰＩ＿ｎ）を受信する。前記各プリセット情報（ＰＩ）は、多数個のプリセットモード、例えば、カラオケモード、Ｒ＆Ｂ強調モードなどで構成される。
【００５１】
一方、ユーザインタフェース９２０は、前記各プリセット情報（ＰＩ＿ｎ）の簡略な情報を画面にディスプレイしてユーザに提供することができ、ユーザからプリセット情報を選択するユーザ制御情報（ＵＣＩ）を受信することができる。
【００５２】
プリセット情報決定部９３０は、前記情報送受信部９１０から入力された各プリセット情報（ＰＩ＿ｎ）のうち前記ユーザ制御情報を用いて一つのプリセット情報（ＰＩ）を決定することができる。例えば、図９のプリセット情報＿１はカラオケモードで、プリセット情報＿２はＲ＆Ｂ強調モードで、プリセット情報＿３はコンサートモードで、プリセット情報＿４はアコースティックモードである場合、ユーザインタフェース９２０に前記それぞれのプリセット情報（ＰＩ）に該当するモード名が表示される。ユーザが広い空間で聞く場合のような音場感を得たい場合、プリセット情報３を選択することができる。前記ユーザインタフェース９２０は、ユーザから入力されたプリセット情報３を選択するユーザ制御情報（ＵＣＩ）を出力し、プリセット情報決定部９３０は、前記ユーザ制御情報（ＵＣＩ）を用いて選択されたプリセット＿３をプリセット情報（ＰＩ）として決定し、これを情報生成部９４０に出力する。
【００５３】
情報生成部９４０は、プリセット情報受信部９３０から受信されたプリセット情報（ＰＩ）及び情報送受信部９１０から受信されたオブジェクト情報（ＯＩ）を用いてマルチチャネル情報（ＭＩ）を生成することができる。
【００５４】
本発明に係るオーディオ信号処理装置は、エンコーダから伝送された多数個のプリセット情報（ＰＩ）及びユーザによって選択されたプリセットの情報を含むユーザ制御情報（ＵＣＩ）を用いて、ユーザがオブジェクトの利得又はパニングを個別的に調節することなく、既に設定された最適のプリセット情報を選択及び適用することによってオブジェクトの利得またはパニングを調節することができる。
【００５５】
以下では、エンコーダからオブジェクト情報（ＯＩ）が伝送されない場合、多数個のオブジェクト信号を含むダウンミックス信号（ＤＭＸ）をデコーディングするためのオーディオ信号処理方法及び装置について、図１０などの図面を参照して具体的に説明する。
【００５６】
ここで、ブラインド情報（blind information；ＢＩ）は、オブジェクト情報と類似した概念を有し、デコーダの内部でエンコーダから伝送されたダウンミックス信号（ＤＭＸ）を用いる形でダウンミックス信号に含まれたオブジェクト信号のレベル及び利得情報を含むことができ、関連情報またはメタ情報をさらに含むことができる。ブラインド情報（ＢＩ）の生成過程は、以下に詳細に説明する。
【００５７】
図１０Ａ及び図１０Ｂは、出力信号の位置情報を用いてブラインド情報（ＢＩ）を生成するオーディオ信号処理方法を示す概略図である。図１０Ａに示すように、ステレオチャネルを有する出力装置を用いる場合、聴取者は、左側及び右側のチャネルからオーディオ信号（ＤＭＸ）を受信する。前記オーディオ信号が多数個のオブジェクト信号を含む場合、それぞれのオブジェクト信号は、左側または右側のチャネルに寄与する利得情報によって、空間上に位置する領域が変わり得る。
【００５８】
図１０Ｂは、位置領域によって区別されるオブジェクト信号のうち一つのオブジェクト信号を生成するために、それぞれのステレオチャネルから出力される信号の構成を示す。図１０Ｂにおいて、オブジェクト信号sは、利得ファクタaによって決定された方向に位置する信号を表し、独立的なオブジェクト信号n1, n2は、信号sに対する周辺信号を表す。また、前記オブジェクト信号は、特定の方向情報を有してステレオチャネルに出力され、前記方向情報は、レベル差情報及び時間差情報などである。一方、前記周辺信号は、再生環境または聴覚的に感じられる幅などによって決定される。このような図１０Ｂのステレオ出力信号は、オブジェクト信号s、周辺信号n1, n2及びオブジェクト信号の方向を決定する利得ファクタaを用いて下記の式１のように表現することができる。
【００５９】
【数１】
【００６０】
同時に活性化された多数個のオブジェクト信号を含む非線形的なダウンミックス信号（ＤＭＸ）を効果的に分析するためには、前記式１を多数個に分割された周波数バンド及び時間領域を用いて独立的に分析すべきであり、この場合、前記x1(n)及びx2(n)は、次のように表すことができる。
【００６１】
【数２】
【００６２】
前記iは周波数バンドインデックスを表し、kは時間バンドインデックスを表す。
【００６３】
図１１は、ステレオ出力信号を分析する時間―周波数ドメインを示すグラフである。それぞれの時間―周波数領域はインデックスi及びkを含み、オブジェクト信号S、周辺信号N1及びN2、利得ファクタAは独立的に推定される。以下では、周波数バンドインデックスi及び時間バンドインデックスkを省略する。
【００６４】
ダウンミックス信号（ＤＭＸ）の分析のための周波数バンドの帯域幅は、特定のバンドと同一になるように選択され、ダウンミックス信号（ＤＭＸ）の特性によって決定される。それぞれの周波数バンドで、S, N1, N2, Aはtミリ秒ごとに推定され、X1及びX2がダウンミックス信号（ＤＭＸ）として与えられる場合、図１１の時間―周波数ドメイン別分析によってS, N1, N2, Aの推定値が決定される。X1のパワーは、下記の式３のように推定される。
【００６５】
【数３】
【００６６】
ここで、E｛.｝は平均を表す。
【００６７】
N1及びN2のパワーは同一のものと仮定し、外部で影響を及ぼす従属的な信号も、ステレオチャネルの左側及び右側のチャネルで同一のパワーを有するものと仮定する。
【００６８】
また、ダウンミックス信号（ＤＭＸ）が時間―周波数ドメインで表現される場合、利得情報（A）、オブジェクト信号のパワー（PS）、周辺信号のパワー（PN）及び正規化された交差相関関係（φ）を測定できるようになる。ステレオチャネル間の正規化された交差相関関係は、下記の式４のように表すことができる。
【００６９】
【数４】
【００７０】
A, PS, PNは、測定されたPX1, PX2, φを用いて決定される。前記PX1, PX2, φに関する関係は、次の式５に示す通りである。
【００７１】
【数５】
【００７２】
前記式５をA, PS, PNに関して整理した結果を下記の式６に示す。
【００７３】
【数６】
【００７４】
図１２Ａ及び図１２Ｂは、エンコーダから伝送されるダウンミックス信号（ＤＭＸ）からブラインド情報（ＢＩ）を生成する過程を示すブロック図及びフローチャートである。まず、ステレオチャネルを有するダウンミックス信号（x1(n), x2(n)）は、フィルタバンク分析部１２１０に入力され、各時間―周波数ドメイン別信号（x1(i,k), x2(i,k)）に変換される（Ｓ１２００）。前記変換されたダウンミックス信号（x1(i,k), x2(i,k)）は、利得情報推定部１２２０に入力され、利得情報推定部１２２０は、変換されたダウンミックス信号（x1(i,k), x2(i,k)）を分析し、オブジェクト信号の利得情報（A）を推定し（Ｓ１２１０）、ダウンミックス出力信号のうちオブジェクト信号の位置を決定する（Ｓ１２２０）。このとき、前記推定された利得情報（A）は、ダウンミックス信号に含まれたオブジェクト信号がダウンミックス出力信号のステレオチャネルに寄与する程度を表すもので、ダウンミックス信号の出力時、それぞれ異なる位置に存在する信号は別個のオブジェクト信号と判断し、一つのオブジェクト信号は、一つの利得情報を有するものと仮定する。オブジェクトレベル推定部１２３０は、前記利得情報推定部１２２０から出力された利得情報（A）及び位置情報を用いて、各位置に対応するオブジェクト信号のレベル（Ps）を推定するようになり（Ｓ１２３０）、ブラインド情報生成部１２４０は、利得情報及びオブジェクト信号のレベルを用いてブラインド情報（SOLD）（ＢＩ）を生成するようになる（Ｓ１２４０）。
【００７５】
ブラインド情報（ＢＩ）は、ブラインド相関情報（blind correlation information；ＢＣＩ）及びブラインド利得情報（blind gain information；ＢＧＩ）をさらに含むことができる。前記ブラインド相関情報（ＢＣＩ）は、二つのオブジェクト間の相関性を表すもので、推定された利得情報及びオブジェクト信号のレベルを用いて生成される。
【００７６】
図１３は、本発明の一実施例に係るオーディオ信号処理装置を示す構成図である。本発明の実施例に係るオーディオ信号処理装置１３００は、情報生成ユニット１２１０、ダウンミックス処理ユニット１２２０及びマルチチャネルデコーダ１２３０を含む。ダウンミックス処理ユニット１２２０及びマルチチャネルデコーダ１２３０は、図１のダウンミックス処理ユニット１２０及びマルチチャネルデコーダ１３０と構成及び役割が同一であるので、それに関する説明は省略することにする。
【００７７】
図１３を参照すると、情報生成ユニット１２１０は、エンコーダからダウンミックス信号（ＤＭＸ）、オブジェクト情報（ＯＩ）及びプリセット情報（ＰＩ）の入力を受けて、ダウンミックス処理情報（ＤＰＩ）及びマルチチャネル情報（ＭＩ）を生成し、大きくブラインド情報生成部１２１１及び情報生成部１２１２を含む。
【００７８】
エンコーダからオブジェクト情報（ＯＩ）が伝送される場合、ブラインド情報生成部１２１１は、ブラインド情報（ＢＩ）を生成することなく、情報生成部１２１２は、図１を参照して説明したように、伝送されたオブジェクト情報（ＯＩ）を用いてダウンミックス処理情報及びマルチチャネル情報を生成する。
【００７９】
一方、情報生成ユニット１２１０にオブジェクト情報（ＯＩ）が伝送されない場合、図１１〜図１２Ｂを参照して説明したように、ブラインド情報生成部１２１１は、ダウンミックス信号（ＤＭＸ）を受信し、ダウンミックス信号を時間―周波数ドメイン別信号（x1(i,k), x2(i,k)）に変換し、変換されたダウンミックス信号から別個の位置に存在する信号を一つのオブジェクト信号と把握し、オブジェクト信号の利得情報（A）を推定し、利得情報（A）を用いてオブジェクト信号のレベルを推定することによってブラインド情報（ＢＩ，SOLD）を生成する。
【００８０】
図１４は、ブラインド情報生成部１２１１を含む情報生成ユニット１２１０の細部構成図である。図１４を参照すると、情報生成ユニット１２１０は、大きくフィルタバンク１３１０、ブラインド情報推定部１３２０及び情報生成部１３３０を含み、フィルタバンク１３１０は、ダウンミックス信号を時間―周波数ドメイン別信号に変換し、ブラインド情報（ＢＩ）を生成するための分析が可能になるようにする。前記フィルタバンク１３１０によって時間―周波数ドメイン別信号(x1(i,k), x2(i,k))に変換されたダウンミックス信号（ＤＭＸ）は、ブラインド情報推定部１３２０に入力され、位置情報、オブジェクト信号の利得情報(A)、オブジェクト信号のレベル（Ps）を用いてダウンミックス信号（ＤＭＸ）のデコーディングのためのブラインド情報（SOLD）を生成する。一方、情報生成部１３３０は、前記ブラインド情報（ＢＩ）（SOLD）及びプリセット情報（ＰＩ）を用いてマルチチャネル情報を生成する。
【００８１】
図１５は、図１４の情報生成ユニットを含むオーディオ信号処理装置のビットストリームインタフェースを示す概略図である。本発明の一実施例によると、デコーダ１５１０に入力されるビットストリームは、ダウンミックス信号（ＤＭＸ）、プリセット情報（ＰＩ）及びユーザ制御情報（ＵＣＩ）を含む。前記ユーザ制御情報（ＵＣＩ）は、エンコーダから伝送されたプリセット情報（ＰＩ）の代わりに用いられるユーザプリセット情報（ＵＰＩ）であり、プリセット情報（ＰＩ）を一部変形するための制御情報（ＵＣＩ）である。また、オブジェクト信号（ＯＩ）は入力されることなく、デコーダ１５１０の内部にブラインド情報生成部（図示せず）を含む。デコーダ１５１０から出力されるビットストリームは、マルチチャネル信号（ＭＩ）及びブラインド情報（ＢＩ）を含むことができる。前記ブラインド情報（ＢＩ）は、デコーダ１５１０から出力され、メモリ１５２０に別個に保存されて再び用いられる。
【００８２】
図１６は、本発明の実施例に係るオーディオ信号処理装置１６００の構成を示す図である。図１６を参照すると、本発明の実施例に係るオーディオ信号処理装置１６００は、情報生成ユニット１６１０、ユーザインタフェース１６２０、ダウンミックス処理ユニット１６３０及びマルチチャネルデコーダ１６４０を含む。
【００８３】
情報生成ユニット１６１０は、ブラインド情報生成部１６１２、情報送受信部１６１４及び情報生成部１６１６を含み、前記ブラインド情報生成部１６１２は、エンコーダからオブジェクト情報（ＯＩ）が伝送されない場合、ダウンミックス信号（ＤＭＸ）を用いてブラインド情報（ＢＩ）を生成する。一方、情報送受信部１６１４は、ブラインド情報（ＢＩ）またはオブジェクト情報（ＯＩ）の入力を受けて、ユーザインタフェース１６２０からユーザ制御情報（ＵＣＩ）を受信し、エンコーダからプリセット情報（ＰＩ）を受信する。また、情報生成部１６１６は、前記情報送受信部１６１４から受信されたプリセット情報（ＰＩ）、ユーザ制御情報（ＵＣＩ）、ブラインド情報（ＢＩ）（またはオブジェクト情報（ＯＩ））を用いてマルチチャネル情報（ＭＩ）及びダウンミックス処理情報（ＤＰＩ）を生成する。
【００８４】
ダウンミックス処理ユニット１６３０は、エンコーダから伝送されたダウンミックス信号（ＤＭＸ）及び情報生成ユニットから入力されたダウンミックス処理情報（ＤＰＩ）を用いて、処理されたダウンミックス（ＰＤＭＸ）を生成し、マルチチャネルデコーダ１６４０は、前記処理されたダウンミックス（ＰＤＭＸ）及びマルチチャネル情報（ＭＩ）を用いてマルチチャネル信号（ｃｈａｎｎｅｌ＿１、ｃｈａｎｎｅｌ＿２、…、ｃｈａｎｎｅｌ＿ｎ）を生成する。
【００８５】
このように、本発明の他の実施例に係るオーディオ信号処理方法及び装置は、エンコーダからオブジェクト情報（ＯＩ）が伝送されない場合にも、ブラインド情報（ＢＩ）を生成し、プリセット情報（ＰＩ）を用いて容易に多様なモードでオブジェクト信号の利得及びパニングを調節することができる。
【００８６】
以上のように、本発明について、限定された実施例及び図面によって説明したが、これによって限定されるものではなく、本発明の属する技術分野で通常の知識を有する者によって本発明の技術思想及び特許請求の範囲の均等の範囲内で多様な修正及び変形が可能であることは当然である。
【産業上の利用可能性】
【００８７】
本発明は、オーディオエンコーディング及びデコーディングを行うときに適用可能である。
【特許請求の範囲】
【請求項１】
ダウンミックス信号、オブジェクト情報及びプリセット情報を受信し、
前記オブジェクト情報及びプリセット情報を用いてダウンミックス処理情報を生成し、
前記ダウンミックス処理情報を用いて前記ダウンミックス信号を処理し、
前記オブジェクト情報及びプリセット情報を用いてマルチチャネル情報を生成し、
前記オブジェクト情報は、オブジェクトレベル情報、オブジェクト関連情報及びオブジェクト利得情報のうちいずれか一つ以上を含み、
前記オブジェクトレベル情報は、前記オブジェクトレベルのうちの一つを用いてオブジェクトに対応するオブジェクトレベルを正規化することによって生成され、
前記オブジェクト関連情報は、二つの選択されたオブジェクトの組み合わせから生成され、前記オブジェクト利得情報は、ダウンミックス信号を生成するために、それぞれのダウンミックス信号のチャネルに対するオブジェクトの寄与度を決定し、
前記プリセット情報は、ビットストリームから抽出されることを特徴とするオーディオ信号の処理方法。
【請求項２】
前記プリセット情報は、前記ダウンミックス信号及びオブジェクト情報のうちいずれか一つ以上の情報と別途のビットストリームから抽出される、請求項１に記載のオーディオ信号の処理方法。
【請求項３】
前記プリセット情報は、オブジェクト別利得ファクタを含む、請求項１に記載のオーディオ信号の処理方法。
【請求項４】
前記利得ファクタは、時間によって変化する、請求項３に記載のオーディオ信号の処理方法。
【請求項５】
前記利得ファクタは、周波数別に変化する、請求項３に記載のオーディオ信号の処理方法。
【請求項６】
前記プリセット情報は、始点情報、前記始点での利得ファクタ、終点情報及び前記終点での利得ファクタを含む、請求項３に記載のオーディオ信号の処理方法。
【請求項７】
さらに、前記プリセット情報を変更または選択するユーザ制御情報を受信する、請求項１に記載のオーディオ信号の処理方法。
【請求項８】
前記ユーザ制御情報は、前記プリセット情報を用いる、請求項７に記載のオーディオ信号の処理方法。
【請求項９】
前記プリセット情報を用いない場合、
ユーザからユーザプリセット情報を受信し、
前記オブジェクト情報及びユーザプリセット情報を用いてダウンミックス信号を処理し、
前記オブジェクト情報及びプリセット情報を用いてマルチチャネル情報を生成する、請求項８に記載のオーディオ信号の処理方法。
【請求項１０】
さらに、前記ユーザプリセット情報を出力し、
前記ユーザプリセット情報を保存する、請求項９に記載のオーディオ信号の処理方法。
【請求項１１】
さらに、前記ユーザ制御情報の入力を受けて変形プリセット情報を生成し、
前記変形プリセット情報を出力し、
前記変形プリセット情報を保存する、請求項７に記載のオーディオ信号の処理方法。
【請求項１２】
前記変形プリセット情報が一部のオブジェクトに関するものである場合、その他のオブジェクトに関するプリセット情報は変形されない、請求項１１に記載のオーディオ信号の処理方法。
【請求項１３】
さらに、前記プリセット情報が変形されたという事実をオブジェクト別に表示する、請求項１１に記載のオーディオ信号の処理方法。
【請求項１４】
前記プリセット情報が二つ以上である場合、さらに、選択情報を受信し、
前記マルチチャネル情報の生成は、選択されたプリセット情報を用いることによって行われる、請求項１に記載のオーディオ信号の処理方法。
【請求項１５】
さらに、前記プリセット情報に関するメタ情報を受信し、
前記メタ情報をユーザインタフェースに表示する、請求項１に記載のオーディオ信号の処理方法。
【請求項１６】
前記ダウンミックス信号は、放送信号を通して受信される、請求項１に記載のオーディオ信号の処理方法。
【請求項１７】
前記ダウンミックス信号は、デジタル媒体を通して受信される、請求項１に記載のオーディオ信号の処理方法。
【請求項１８】
請求項１に記載の段階を行うためのプログラムが記録されたコンピュータ読取可能記録媒体。
【請求項１９】
ダウンミックス信号、オブジェクト情報及びプリセット情報を受信する情報送受信部と、
前記オブジェクト情報及びプリセット情報を用いてダウンミックス処理情報を生成するダウンミックス処理情報生成部と、
前記ダウンミックス処理情報を用いて前記ダウンミックス信号を処理するダウンミックス信号処理部と、
前記オブジェクト情報及びプリセット情報を用いてマルチチャネル情報を生成するマルチチャネル情報生成部と、を含むことを特徴とするオーディオ信号の処理装置。
【請求項１】
ダウンミックス信号、オブジェクト情報及びプリセット情報を受信し、
前記オブジェクト情報及びプリセット情報を用いてダウンミックス処理情報を生成し、
前記ダウンミックス処理情報を用いて前記ダウンミックス信号を処理し、
前記オブジェクト情報及びプリセット情報を用いてマルチチャネル情報を生成し、
前記オブジェクト情報は、オブジェクトレベル情報、オブジェクト関連情報及びオブジェクト利得情報のうちいずれか一つ以上を含み、
前記オブジェクトレベル情報は、前記オブジェクトレベルのうちの一つを用いてオブジェクトに対応するオブジェクトレベルを正規化することによって生成され、
前記オブジェクト関連情報は、二つの選択されたオブジェクトの組み合わせから生成され、前記オブジェクト利得情報は、ダウンミックス信号を生成するために、それぞれのダウンミックス信号のチャネルに対するオブジェクトの寄与度を決定し、
前記プリセット情報は、ビットストリームから抽出されることを特徴とするオーディオ信号の処理方法。
【請求項２】
前記プリセット情報は、前記ダウンミックス信号及びオブジェクト情報のうちいずれか一つ以上の情報と別途のビットストリームから抽出される、請求項１に記載のオーディオ信号の処理方法。
【請求項３】
前記プリセット情報は、オブジェクト別利得ファクタを含む、請求項１に記載のオーディオ信号の処理方法。
【請求項４】
前記利得ファクタは、時間によって変化する、請求項３に記載のオーディオ信号の処理方法。
【請求項５】
前記利得ファクタは、周波数別に変化する、請求項３に記載のオーディオ信号の処理方法。
【請求項６】
前記プリセット情報は、始点情報、前記始点での利得ファクタ、終点情報及び前記終点での利得ファクタを含む、請求項３に記載のオーディオ信号の処理方法。
【請求項７】
さらに、前記プリセット情報を変更または選択するユーザ制御情報を受信する、請求項１に記載のオーディオ信号の処理方法。
【請求項８】
前記ユーザ制御情報は、前記プリセット情報を用いる、請求項７に記載のオーディオ信号の処理方法。
【請求項９】
前記プリセット情報を用いない場合、
ユーザからユーザプリセット情報を受信し、
前記オブジェクト情報及びユーザプリセット情報を用いてダウンミックス信号を処理し、
前記オブジェクト情報及びプリセット情報を用いてマルチチャネル情報を生成する、請求項８に記載のオーディオ信号の処理方法。
【請求項１０】
さらに、前記ユーザプリセット情報を出力し、
前記ユーザプリセット情報を保存する、請求項９に記載のオーディオ信号の処理方法。
【請求項１１】
さらに、前記ユーザ制御情報の入力を受けて変形プリセット情報を生成し、
前記変形プリセット情報を出力し、
前記変形プリセット情報を保存する、請求項７に記載のオーディオ信号の処理方法。
【請求項１２】
前記変形プリセット情報が一部のオブジェクトに関するものである場合、その他のオブジェクトに関するプリセット情報は変形されない、請求項１１に記載のオーディオ信号の処理方法。
【請求項１３】
さらに、前記プリセット情報が変形されたという事実をオブジェクト別に表示する、請求項１１に記載のオーディオ信号の処理方法。
【請求項１４】
前記プリセット情報が二つ以上である場合、さらに、選択情報を受信し、
前記マルチチャネル情報の生成は、選択されたプリセット情報を用いることによって行われる、請求項１に記載のオーディオ信号の処理方法。
【請求項１５】
さらに、前記プリセット情報に関するメタ情報を受信し、
前記メタ情報をユーザインタフェースに表示する、請求項１に記載のオーディオ信号の処理方法。
【請求項１６】
前記ダウンミックス信号は、放送信号を通して受信される、請求項１に記載のオーディオ信号の処理方法。
【請求項１７】
前記ダウンミックス信号は、デジタル媒体を通して受信される、請求項１に記載のオーディオ信号の処理方法。
【請求項１８】
請求項１に記載の段階を行うためのプログラムが記録されたコンピュータ読取可能記録媒体。
【請求項１９】
ダウンミックス信号、オブジェクト情報及びプリセット情報を受信する情報送受信部と、
前記オブジェクト情報及びプリセット情報を用いてダウンミックス処理情報を生成するダウンミックス処理情報生成部と、
前記ダウンミックス処理情報を用いて前記ダウンミックス信号を処理するダウンミックス信号処理部と、
前記オブジェクト情報及びプリセット情報を用いてマルチチャネル情報を生成するマルチチャネル情報生成部と、を含むことを特徴とするオーディオ信号の処理装置。
【図１】
【図２Ａ】
【図２Ｂ】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０Ａ】
【図１０Ｂ】
【図１１】
【図１２Ａ】
【図１２Ｂ】
【図１３】
【図１４】
【図１５】
【図１６】
【図２Ａ】
【図２Ｂ】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０Ａ】
【図１０Ｂ】
【図１１】
【図１２Ａ】
【図１２Ｂ】
【図１３】
【図１４】
【図１５】
【図１６】
【公表番号】特表２０１０−５２１１１５（Ｐ２０１０−５２１１１５Ａ）
【公表日】平成２２年６月１７日（２０１０．６．１７）
【国際特許分類】
【出願番号】特願２００９−５５３５１３（Ｐ２００９−５５３５１３）
【出願日】平成２０年３月７日（２００８．３．７）
【国際出願番号】ＰＣＴ／ＫＲ２００８／００１３１２
【国際公開番号】ＷＯ２００８／１１１７７０
【国際公開日】平成２０年９月１８日（２００８．９．１８）
【出願人】（５０２０３２１０５）エルジー エレクトロニクス インコーポレイティド (2,269)
【Ｆターム（参考）】
【公表日】平成２２年６月１７日（２０１０．６．１７）
【国際特許分類】
【出願日】平成２０年３月７日（２００８．３．７）
【国際出願番号】ＰＣＴ／ＫＲ２００８／００１３１２
【国際公開番号】ＷＯ２００８／１１１７７０
【国際公開日】平成２０年９月１８日（２００８．９．１８）
【出願人】（５０２０３２１０５）エルジー エレクトロニクス インコーポレイティド (2,269)
【Ｆターム（参考）】
[ Back to top ]