オーディオ信号の処理方法及び装置
少なくとも１つの独立オブジェクト及びバックグラウンドオブジェクトがダウンミックスされたダウンミックス情報を受信し、オブジェクト情報及びエンハンストオブジェクト情報を受信し、前記オブジェクト情報及び前記エンハンストオブジェクト情報を用いて、前記ダウンミックス情報から少なくとも１つの独立オブジェクトを抽出することを含むオーディオ信号処理方法が開示される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオ信号の処理方法及び装置に関し、より詳細には、デジタル媒体、放送信号などで受信されたオーディオ信号を処理することができるオーディオ信号の処理方法及び装置に関する。
【背景技術】
【０００２】
一般的に、多数個のオブジェクトをモノ又はステレオ信号にダウンミックスする過程において、それぞれのオブジェクト信号から各パラメータが抽出される。このような各パラメータはデコーダで使用されるが、それぞれのオブジェクトのパニングや利得は、ユーザの選択によってコントロールされる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
それぞれのオブジェクト信号を制御するためには、ダウンミックスに含まれている各ソースが適切にポジショニング又はパニングされなければならない。
【０００４】
また、チャネルベースのデコーディング方式で下位互換性を有するためには、オブジェクトパラメータは、アップミキシングのためのマルチチャネルパラメータに柔軟に変換されなければならない。
【０００５】
本発明は、上述のような問題点を解決するためになされたもので、オブジェクトの利得及びパニングを制限なしにコントロールすることができるオーディオ信号処理方法及び装置を提供することを目的とする。
【０００６】
本発明の他の目的は、ユーザの選択を基盤にしてオブジェクトの利得及びパニングをコントロールすることができるオーディオ信号処理方法及び装置を提供することにある。
【０００７】
本発明の更に他の目的は、ボーカルや背景音楽の利得を大幅に調節する場合にも、音質の歪みを発生させないオーディオ信号処理方法及び装置を提供することにある。
【課題を解決するための手段】
【０００８】
上述のような目的を達成するために、本発明に係るオーディオ信号処理方法は、少なくとも２つの独立オブジェクト及びバックグラウンドオブジェクトがダウンミックスされたダウンミックス情報を受信し、第１のエンハンストオブジェクト情報を用いてダウンミックスを第１の独立オブジェクトと臨時バックグラウンドオブジェクトに分離し、第２のエンハンストオブジェクト情報を用いて臨時バックグラウンドオブジェクトから第２の独立オブジェクトを抽出することを含む。
【０００９】
本発明によれば、独立オブジェクトは、オブジェクトベース信号であり、バックグラウンドオブジェクトは、少なくとも１つのチャネルベース信号を含むか、少なくとも１つのチャネルベース信号がダウンミックスされた信号である。
【００１０】
本発明によれば、バックグラウンドオブジェクトは、左側のチャネル信号及び右側のチャネル信号を含むことができる。
【００１１】
本発明によれば、第１のエンハンストオブジェクト情報及び第２のエンハンストオブジェクト情報はレジデュアル信号である。
【００１２】
本発明によれば、第１のエンハンストオブジェクト情報及び第２のエンハンストオブジェクト情報は、付加情報ビットストリームに含まれており、付加情報ビットストリームに含まれているエンハンストオブジェクト情報の数と、ダウンミックス情報に含まれている独立オブジェクトの数とは同一である。
【００１３】
本発明によれば、分離することは、Ｎ個の入力を用いて（Ｎ＋１）個の出力を生成するモジュールによって行われる。
【００１４】
本発明によれば、オブジェクト情報及びミックス情報を受信し、オブジェクト情報及びミックス情報を用いて、第１の独立オブジェクト及び第２の独立オブジェクトの利得を調整するためのマルチチャネル情報を生成することをさらに含むことができる。
【００１５】
本発明によれば、ミックス情報は、オブジェクト位置情報、オブジェクト利得情報及び再生環境情報のうち少なくとも１つに基づいて生成されたものである。
【００１６】
本発明によれば、上記抽出することは、第２の臨時バックグラウンドオブジェクト及び第２の独立オブジェクトを抽出することに相当し、第２のエンハンストオブジェクト情報を用いて第２の臨時バックグラウンドオブジェクトから第３の独立オブジェクトを抽出することをさらに含むことができる。
【００１７】
本発明の他の側面によれば、少なくとも２つの独立オブジェクト及びバックグラウンドオブジェクトがダウンミックスされたダウンミックス情報を受信し、第１のエンハンストオブジェクト情報を用いて前記ダウンミックスを第１の独立オブジェクトと臨時バックグラウンドオブジェクトに分離し、第２のエンハンストオブジェクト情報を用いて臨時バックグラウンドオブジェクトから第２の独立オブジェクトを抽出することを実行するためのプログラムが保存されたコンピュータ読取可能記録媒体が提供される。
【００１８】
本発明の更に他の側面によれば、少なくとも２つの独立オブジェクト及びバックグラウンドオブジェクトがダウンミックスされたダウンミックス情報を受信する情報受信部と、第１のエンハンストオブジェクト情報を用いてダウンミックスを臨時バックグラウンドオブジェクトと第１の独立オブジェクトに分離する第１のエンハンストオブジェクト情報デコーディング部と、第２のエンハンストオブジェクト情報を用いて臨時バックグラウンドオブジェクトから第２の独立オブジェクトを抽出する第２のエンハンストオブジェクト情報デコーディング部とを含むオーディオ信号処理装置が提供される。
【００１９】
本発明の更に他の側面によれば、第１の独立オブジェクト及びバックグラウンドオブジェクトを用いて臨時バックグラウンドオブジェクト及び第１のエンハンストオブジェクト情報を生成し、第２の独立オブジェクト及び臨時バックグラウンドオブジェクトを用いて第２のエンハンストオブジェクト情報を生成し、第１のエンハンストオブジェクト情報及び第２のエンハンストオブジェクト情報を伝送することを含むオーディオ信号処理方法が提供される。
【００２０】
本発明の更に他の側面によれば、第１の独立オブジェクト及びバックグラウンドオブジェクトを用いて臨時バックグラウンドオブジェクト及び第１のエンハンストオブジェクト情報を生成する第１エンハンストオブジェクト情報生成部と、第２の独立オブジェクト及び臨時バックグラウンドオブジェクトを用いて第２のエンハンストオブジェクト情報を生成する第２エンハンストオブジェクト情報生成部と、第１のエンハンストオブジェクト情報及び第２のエンハンストオブジェクト情報を伝送するためのマルチプレクサとを含むオーディオ信号処理装置が提供される。
【００２１】
本発明の更に他の側面によれば、独立オブジェクト及びバックグラウンドオブジェクトがダウンミックスされたダウンミックス情報を受信し、独立オブジェクトをコントロールするための第１のマルチチャネル情報を生成し、ダウンミックス情報及び第１のマルチチャネル情報を用いて、バックグラウンドオブジェクトをコントロールするための第２のマルチチャネル情報を生成することを含む方法が提供される。
【００２２】
本発明によれば、上記第２のマルチチャネル情報を生成することは、第１のマルチチャネル情報が適用された信号をダウンミックス情報から差し引くことを含むことができる。
【００２３】
本発明によれば、上記差し引くことは、時間ドメイン又は周波数ドメイン上で行われる。
【００２４】
本発明によれば、上記差し引くことは、ダウンミックス情報のチャネル数と、第１のマルチチャネル情報が適用された信号のチャネル数とが同一である場合、チャネル別に行われる。
【００２５】
本発明によれば、該方法は、第１のマルチチャネル情報及び第２のマルチチャネル情報を用いて、ダウンミックス情報から出力チャネルを生成することをさらに含むことができる。
【００２６】
本発明によれば、該方法は、エンハンストオブジェクト情報を受信し、エンハンストオブジェクト情報を用いて、ダウンミックス情報から独立オブジェクトとバックグラウンドオブジェクトを分離することをさらに含むことができる。
【００２７】
本発明によれば、該方法は、ミックス情報を受信することをさらに含み、第１のマルチチャネル情報を生成し、第２のマルチチャネル情報を生成することは、ミックス情報に基づいて行われる。
【００２８】
本発明によれば、ミックス情報は、オブジェクト位置情報、オブジェクト利得情報及び再生環境情報のうち少なくとも１つに基づいて生成されたものである。
【００２９】
本発明によれば、ダウンミックス情報は、放送信号を介して受信されてもよい。
【００３０】
本発明によれば、ダウンミックス情報は、デジタル媒体を介して受信されてもよい。
【００３１】
本発明の更に他の側面によれば、独立オブジェクト及びバックグラウンドオブジェクトがダウンミックスされたダウンミックス情報を受信し、独立オブジェクトをコントロールするための第１のマルチチャネル情報を生成し、ダウンミックス情報及び前記第１のマルチチャネル情報を用いて、バックグラウンドオブジェクトをコントロールするための第２のマルチチャネル情報を生成することを実行するためのプログラムが保存されたコンピュータ読取可能記録媒体が提供される。
【００３２】
本発明の更に他の側面によれば、独立オブジェクト及びバックグラウンドオブジェクトがダウンミックスされたダウンミックス情報を受信する情報受信部と、独立オブジェクトをコントロールするための第１のマルチチャネル情報を生成し、ダウンミックス情報及び第１のマルチチャネル情報を用いて、バックグラウンドオブジェクトをコントロールするための第２のマルチチャネル情報を生成するマルチチャネル生成部とを含むことを特徴とするオーディオ信号装置が提供される。
【００３３】
本発明の更に他の側面によれば、少なくとも１つの独立オブジェクト及びバックグラウンドオブジェクトがダウンミックスされたダウンミックス情報を受信し、オブジェクト情報及びエンハンストオブジェクト情報を受信し、オブジェクト情報及びエンハンストオブジェクト情報を用いて、ダウンミックス情報から少なくとも１つの独立オブジェクトを抽出することを含むオーディオ信号処理方法が提供される。
【００３４】
本発明によれば、オブジェクト情報は、独立オブジェクト及びバックグラウンドオブジェクトに関連する情報に相当してもよい。
【００３５】
本発明によれば、オブジェクト情報は、独立オブジェクトとバックグラウンドオブジェクトとの間のレベル情報及び相関情報のうち少なくとも１つを含むものである。
【００３６】
本発明によれば、エンハンストオブジェクト情報は、レジデュアル信号を含むことができる。
【００３７】
本発明によれば、レジデュアル信号は、少なくとも１つのオブジェクトベース信号をエンハンストオブジェクトにグルーピングする過程で抽出されたものである。
【００３８】
本発明によれば、独立オブジェクトは、オブジェクトベース信号であり、バックグラウンドオブジェクトは、少なくとも１つのチャネルベース信号を含むか、少なくとも１つのチャネルベース信号がダウンミックスされた信号である。
【００３９】
本発明によれば、バックグラウンドオブジェクトは、左側のチャネル信号及び右側のチャネル信号を含むことができる。
【００４０】
本発明によれば、ダウンミックス情報は、放送信号を介して受信されてもよい。
【００４１】
本発明によれば、ダウンミックス情報は、デジタル媒体を介して受信されてもよい。
【００４２】
本発明の更に他の側面によれば、少なくとも１つの独立オブジェクト及びバックグラウンドオブジェクトがダウンミックスされたダウンミックス情報を受信し、オブジェクト情報及びエンハンストオブジェクト情報を受信し、オブジェクト情報及びエンハンストオブジェクト情報を用いて、ダウンミックス情報から少なくとも１つの独立オブジェクトを抽出することを実行するためのプログラムが保存されたコンピュータ読取可能記録媒体が提供される。
【００４３】
本発明の更に他の側面によれば、少なくとも１つの独立オブジェクト及びバックグラウンドオブジェクトがダウンミックスされたダウンミックス情報を受信し、オブジェクト情報及びエンハンストオブジェクト情報を受信する情報受信部と、オブジェクト情報及びエンハンストオブジェクト情報を用いて、ダウンミックスから少なくとも１つの独立オブジェクトを抽出する情報生成ユニットとを含むオーディオ信号処理装置が提供される。
【発明の効果】
【００４４】
本発明は、次のような効果及び利点を提供する。
【００４５】
第１に、オブジェクトの利得及びパニングを制限なしにコントロールすることができる。
【００４６】
第２に、ユーザの選択に基いてオブジェクトの利得及びパニングをコントロールすることができる。
【００４７】
第３に、ボーカルや背景音楽のうち１つを完全に抑圧する場合にも、利得調整による音質の歪みを防止することができる。
【００４８】
第４に、ボーカルなどのような独立オブジェクトが少なくとも２つである場合（ステレオチャネル又は多数個のボーカル信号）、利得調整による音質の歪みを防止することができる。
【図面の簡単な説明】
【００４９】
【図１】本発明の実施例に係るオーディオ信号処理装置の構成図である。
【図２】本発明の実施例に係るオーディオ信号処理装置のうちエンハンストオブジェクトエンコーダの細部構成図である。
【図３】エンハンストオブジェクト生成部及びエンハンストオブジェクト情報生成部の第１の例を示した図である。
【図４】エンハンストオブジェクト生成部及びエンハンストオブジェクト情報生成部の第２の例を示した図である。
【図５】エンハンストオブジェクト生成部及びエンハンストオブジェクト情報生成部の第３の例を示した図である。
【図６】エンハンストオブジェクト生成部及びエンハンストオブジェクト情報生成部の第４の例を示した図である。
【図７】エンハンストオブジェクト生成部及びエンハンストオブジェクト情報生成部の第５の例を示した図である。
【図８】付加情報ビットストリームの多様な例を示した図である。
【図９】本発明の実施例に係るオーディオ信号処理装置のうち情報生成ユニットの細部構成図である。
【図１０】エンハンストオブジェクト情報デコーディング部の細部構成の一例を示した図である。
【図１１】オブジェクト情報デコーディング部の細部構成の一例を示した図である。
【発明を実施するための形態】
【００５０】
以下、添付された図面を参照して本発明の好適な実施例を詳細に説明する。本発明の実施例を説明する前に、本明細書及び特許請求の範囲で使用された用語や単語は、通常的又は辞典的な意味に限定して解釈してはならなく、発明者が自身の発明を最も最善の方法で説明するために用語の概念を適切に定義することができるとの原則に立脚して、本発明の技術的思想に符合する意味及び概念で解釈しなければならない。したがって、本明細書に記載された実施例及び図面に示した構成は、本発明の最も好適な一実施例に過ぎないもので、本発明の技術的思想を全て代弁するものではないので、本出願時点において、これらに取って代わる多様な均等物及び変形例が存在しうることを理解しなければならない。
【００５１】
特に、本明細書で、情報は、値、パラメータ、係数、成分などを総称する用語で、場合によって異なる意味に解釈されることもあるが、本発明がこれに限定されることはない。
【００５２】
特に、オブジェクトは、オブジェクトベース信号及びチャネルベース信号を含む概念であるが、場合によってオブジェクトベース信号のみを称することができる。
【００５３】
図１は、本発明の実施例に係るオーディオ信号処理装置の構成を示す図である。図１を参照すれば、まず、本発明の実施例に係るオーディオ信号処理装置は、エンコーダ１００及びデコーダ２００を含むが、エンコーダ１００は、オブジェクトエンコーダ１１０、エンハンストオブジェクトエンコーダ１２０及びマルチプレクサ１３０を含み、デコーダ２００は、デマルチプレクサ２１０、情報生成ユニット２２０、ダウンミックス処理ユニット２３０及びマルチチャネルデコーダ２４０を含む。ここで、各構成要素に対して概略に説明した後、エンコーダ１００のエンハンストオブジェクトエンコーダ１２０及びデコーダ２００の情報生成ユニット２２０については、図２〜図１１を参照して具体的に説明することにする。
【００５４】
まず、オブジェクトエンコーダ１１０は、少なくとも１つのオブジェクト（ｏｂｊN）を用いてオブジェクト情報（ＯＰ：ｏｂｊｅｃｔ ｐａｒａｍｅｔｅｒ）を生成するが、ここで、オブジェクト情報（ＯＰ）は、オブジェクトベース信号に関する情報で、オブジェクトレベル情報、オブジェクト相関情報などを含むことができる。一方、オブジェクトエンコーダ１１０は、少なくとも１つのオブジェクトをグルーピングしてダウンミックスを生成することができる。これは、図２を参照して説明されるエンハンストオブジェクト生成部１２２で少なくとも１つのオブジェクトをグルーピングしてエンハンストオブジェクトを生成する過程と同一であるが、本発明がこれに限定されることはない。
【００５５】
エンハンストオブジェクトエンコーダ１２０は、少なくとも１つのオブジェクト（ｏｂｊN）を用いてエンハンストオブジェクト情報（ＯＰ）及びダウンミックス（ＤＭＸ）（ＬL、ＲL）を生成する。具体的に、少なくとも１つのオブジェクトベース信号をグルーピングしてエンハンストオブジェクト（ＥＯ）を生成し、チャネルベース信号及びエンハンストオブジェクト（ＥＯ）を用いてエンハンストオブジェクト情報（ＥＯＰ：ｅｎｈａｎｃｅｄ ｏｂｊｅｃｔ ｐａｒａｍｅｔｅｒ）を生成する。まず、エンハンストオブジェクト情報（ＥＯＰ）は、エンハンストオブジェクトのエネルギー情報（レベル情報を含む）、レジデュアル信号などであるが、これに対しては図２を参照して説明することにする。一方、ここで、チャネルベース信号は、オブジェクト別に制御不可能な背景信号であるので、バックグラウンドオブジェクトと称し、エンハンストオブジェクトは、デコーダ２００で独立的にオブジェクト別に制御可能であるので、独立オブジェクトと称することができる。
【００５６】
マルチプレクサ１３０は、オブジェクトエンコーダ１１０で生成されたオブジェクト情報（ＯＰ）、及びエンハンストオブジェクトエンコーダ１２０で生成されたエンハンストオブジェクト情報（ＥＯＰ）をマルチプレキシングし、付加情報ビットストリームを生成する。一方、付加情報ビットストリームは、前記チャネルベース信号に対する空間情報（ＳＰ：ｓｐａｔｉａｌ ｉｎｆｏｒｍａｔｉｏｎ）（図示せず）を含むことができる。空間情報は、チャネルベース信号をデコーディングするために必要な情報で、チャネルレベル情報及びチャネル相関情報などを含むが、本発明がこれに限定されることはない。
【００５７】
デコーダ２００のデマルチプレクサ２１０は、付加情報ビットストリームからオブジェクト情報（ＯＰ）及びエンハンストオブジェクト情報（ＥＯＰ）を抽出する。付加情報ビットストリームに空間情報（ＳＰ）が含まれる場合、空間情報（ＳＰ）をさらに抽出する。
【００５８】
情報生成ユニット２２０は、オブジェクト情報（ＯＰ）及びエンハンストオブジェクト情報（ＥＯＰ）を用いてマルチチャネル情報（ＭＩ：Ｍｕｌｔｉ―ｃｈａｎｎｅｌ ｉｎｆｏｒｍａｔｉｏｎ）及びダウンミックス処理情報（ＤＰＩ：ｄｏｗｎｍｉｘ ｐｒｏｃｅｓｓｉｎｇ ｉｎｆｏｒｍａｔｉｏｎ）を生成する。マルチチャネル情報（ＭＩ）及びダウンミックス処理情報（ＤＰＩ）を生成するにおいて、ダウンミックス情報（ＤＭＸ）を用いることができるが、これに対しては図８を参照して説明することにする。
【００５９】
ダウンミックス処理ユニット２３０は、ダウンミックス処理情報（ＤＰＩ）を用いてダウンミックス（ＤＭＸ）を処理する。例えば、オブジェクトの利得又はパニングを調節するためにダウンミックス（ＤＭＸ）を処理することができる。
【００６０】
マルチチャネルデコーダ２４０は、処理されたダウンミックスを受信し、マルチチャネル情報（ＭＩ）を用いて処理されたダウンミックス信号をアップミキシングし、マルチチャネル信号を生成する。
【００６１】
以下では、図２〜図６を参照しながら、エンコーダ１００のエンハンストオブジェクトエンコーダ１２０の細部構成の多様な実施例について説明し、図８を参照しながら、付加情報ビットストリームに対する多様な実施例について説明し、図９〜図１１を参照しながら、デコーダ２００の情報生成ユニット２２０の細部構成について説明する。
【００６２】
図２は、本発明の実施例に係るオーディオ信号処理装置のうちエンハンストオブジェクトエンコーダの細部構成を示す図である。図２を参照すれば、エンハンストオブジェクトエンコーダ１２０は、エンハンストオブジェクト生成部１２２、エンハンストオブジェクト情報生成部１２４及びマルチプレクサ１２６を含む。
【００６３】
エンハンストオブジェクト生成部１２２は、少なくとも１つのオブジェクト（ｏｂｊN）をグルーピングし、少なくとも１つのエンハンストオブジェクト（ＥＯL）を生成する。ここで、エンハンストオブジェクト（ＥＯL）は、高品質の制御のためにグルーピングされるものである。例えば、前記バックグラウンドオブジェクトに対してエンハンストオブジェクト（ＥＯL）が独立的に完全に抑圧（または、反対の場合、すなわち、エンハンストオブジェクト（ＥＯL）のみが再生され、バックグラウンドオブジェクトが完全に抑圧）されるようにするものである。ここで、グルーピング対象になるオブジェクト（ｏｂｊN）は、チャネルベース信号でないオブジェクトベース信号である。エンハンストオブジェクト（ＥＯ）は多様な方法で生成することができる。すなわち、１）少なくとも１つのオブジェクトを一つのエンハンストオブジェクトとして活用することができ（ＥＯ1＝ｏｂｊ1）、２）二つ以上のオブジェクトを加えてエンハンストオブジェクトを構成することができ（ＥＯ2＝ｏｂｊ1＋ｏｂｊ2）、３）ダウンミックスから特定のオブジェクトのみを除外した信号をエンハンストオブジェクトとして活用したり（ＥＯ3＝Ｄ−ｏｂｊ2）、少なくとも２つのオブジェクトを除外した信号をエンハンストオブジェクトとして活用することができる（ＥＯ4＝Ｄ−ｏｂｊ1−ｏｂｊ2）。上記３）及び４）で言及されたダウンミックス（Ｄ）は、上述したダウンミックス（ＤＭＸ）（ＬL、ＲL）とは異なる概念で、オブジェクトベース信号のみがダウンミックスされた信号を称することができる。このように説明された四つの方法のうち少なくとも１つを適用し、エンハンストオブジェクト（ＥＯ）を生成することができる。
【００６４】
エンハンストオブジェクト情報生成部１２４は、エンハンストオブジェクト（ＥＯ）を用いてエンハンストオブジェクト情報（ＥＯＰ）を生成する。ここで、エンハンストオブジェクト情報（ＥＯＰ）は、エンハンストオブジェクト（ＥＯ）に関連する情報で、ａ）まず、エンハンストオブジェクト（ＥＯ）のエネルギー情報（レベル情報を含む）、ｂ）エンハンストオブジェクト（ＥＯ）とダウンミックス（Ｄ）との間の関係（例えば、ミキシング利得）、ｃ）高い時間解像度又は高い周波数解像度によるエンハンストオブジェクトレベル情報又はエンハンストオブジェクト相関情報、ｄ）エンハンストオブジェクト（ＥＯ）に対する時間領域での予測情報又は包絡線情報、ｅ）レジデュアル信号のようにエンハンストオブジェクトに対する時間領域又はスペクトル領域の情報を符号化したビットストリームなどである。
【００６５】
一方、エンハンストオブジェクト情報（ＥＯＰ）は、上述した例でエンハンストオブジェクト（ＥＯ）が第１の例及び第３の例で生成された場合（ＥＯ1＝ｏｂｊ1、ＥＯ3＝Ｄ−ｏｂｊ2）、エンハンストオブジェクト情報（ＥＯＰ）は、第１の例及び第３の例のエンハンストオブジェクト（ＥＯ1及びＥＯ3）に対するエンハンストオブジェクト情報（ＥＯＰ1、ＥＯＰ3）を生成することができる。このとき、第１の例によるエンハンストオブジェクト情報（ＥＯＰ1）は、第１の例によるエンハンストオブジェクト（ＥＯ1）を制御するために必要な情報に該当し、第３の例によるエンハンストオブジェクト情報（ＥＯＰ3）は、特定のオブジェクト（ｏｂｊ2）のみを抑圧する場合を表現するために活用される。
【００６６】
エンハンストオブジェクト情報生成部１２４は、少なくとも１つのエンハンストオブジェクト情報生成部１２４―１，・・・，１２４―Ｌを含むことができる。具体的に、一つのエンハンストオブジェクト（ＥＯ1）に対するエンハンストオブジェクト情報（ＥＯＰ1）を生成する第１エンハンストオブジェクト情報生成部１２４―１を含むことができ、少なくとも２つのエンハンストオブジェクト（ＥＯ1、ＥＯ2）に対するエンハンストオブジェクト情報（ＥＯＰ2）を生成する第２エンハンストオブジェクト情報生成部１２４―２を含むことができる。一方、エンハンストオブジェクト（ＥＯL）のみならず、第２エンハンストオブジェクト情報生成部１２４―２の出力を用いて、第Ｌエンハンストオブジェクト情報生成部１２４―Ｌが含まれることもある。前記エンハンストオブジェクト情報生成部１２４―１，・・・，１２４―Ｌは、それぞれＮ＋１個の入力を用いてＮ個の出力を生成するモジュールによって動作するもので、例えば、３個の入力を用いて２個の出力を生成するモジュールによって動作することができる。以下、エンハンストオブジェクト情報生成部１２４―１，・・・，１２４―Ｌに対する多様な実施例は、図３〜図７を参照して説明する。一方、エンハンストオブジェクト情報生成部１２４は、ダブルエンハンストオブジェクト（ＥＥＯＰ）をさらに生成することができるが、これは、図７を参照して詳細に説明することにする。
【００６７】
マルチプレクサ１２６は、エンハンストオブジェクト情報生成部１２４で生成された少なくとも１つのエンハンストオブジェクト情報（ＥＯＰ1，・・・，ＥＯＰL）（及びダブルエンハンストオブジェクト（ＥＥＯＰ））をマルチプレキシングする。
【００６８】
図３〜図７は、エンハンストオブジェクト生成部及びエンハンストオブジェクト情報生成部の第１の例〜第５の例を示した図である。図３は、エンハンストオブジェクト情報生成部が一つの第１のエンハンストオブジェクト情報生成部を含む例を示し、図４〜図６は、少なくとも２つのエンハンスト情報生成部（第１エンハンストオブジェクト情報生成部〜第Ｌエンハンストオブジェクト情報生成部）が直列的に含まれている例を示す。一方、図７は、ダブルエンハンストオブジェクト情報（ＥＥＯＰ：ｅｎｈａｎｃｅｄ ｅｎｈａｎｃｅｄ ｏｂｊｅｃｔ ｐａｒａｍｅｔｅｒ）を生成する第１のダブルエンハンストオブジェクト情報生成部をさらに含む例を示す。
【００６９】
まず、図３を参照すれば、エンハンストオブジェクト生成部１２２Ａは、チャネルベース信号として、左側のチャネル信号（Ｌ）及び右側チャネル信号（Ｒ）をそれぞれ受信し、オブジェクトベース信号として、各ステレオボーカル信号（Ｖｏｃａｌ1L、Ｖｏｃａｌ1R、Ｖｏｃａｌ2L、Ｖｏｃａｌ2R）をそれぞれ受信し、一つのエンハンストオブジェクト（Ｖｏｃａｌ）を生成する。まず、チャネルベース信号（Ｌ、Ｒ）は、多チャネル信号（例えば、Ｌ、Ｒ、ＬS、ＲS、Ｃ、ＬＦＥ）がダウンミックスされた信号であるが、この過程で抽出された空間情報は、上述したように付加情報ビットストリームに含まれる。
【００７０】
一方、オブジェクトベース信号としての各ステレオボーカル信号（Ｖｏｃａｌ1L、Ｖｏｃａｌ1R、Ｖｏｃａｌ2L、Ｖｏｃａｌ2R）は、歌手１の音声（Ｖｏｃａｌ1）に該当する左側のチャネル信号（Ｖｏｃａｌ1L）及び右側のチャネル信号（Ｖｏｃａｌ1R）と、歌手２の音声（Ｖｏｃａｌ2）に該当する左側のチャネル信号（Ｖｏｃａｌ2L）及び右側のチャネル信号（Ｖｏｃａｌ2R）を含むことができる。一方、ここでは、ステレオオブジェクト信号について示したが、マルチチャネルオブジェクト信号（Ｖｏｃａｌ1L、Ｖｏｃａｌ1R、Ｖｏｃａｌ1Ls、Ｖｏｃａｌ1Rs、Ｖｏｃａｌ1C、Ｖｏｃａｌ1LFE）を受信し、一つのエンハンストオブジェクト（Ｖｏｃａｌ）にグルーピングされることも可能である。
【００７１】
このように１つのエンハンストオブジェクト（Ｖｏｃａｌ）が生成されたので、エンハンストオブジェクト情報生成部１２４Ａは、これに対応する一つの第１エンハンストオブジェクト情報生成部１２４―１のみを含む。第１エンハンストオブジェクト情報生成部１２４Ａ―１は、エンハンストオブジェクト（Ｖｏｃａｌ）及びチャネルベース信号（Ｌ、Ｒ）を用いてエンハンストオブジェクト情報（ＥＯＰ1）として第１のレジデュアル信号（ｒｅｓ1）及び臨時バックグラウンドオブジェクト（Ｌ1、Ｒ1）を生成する。臨時バックグラウンドオブジェクト（Ｌ1、Ｒ1）は、チャネルベース信号、すなわち、バックグラウンドオブジェクト（Ｌ、Ｒ）にエンハンストオブジェクト（Ｖｏｃａｌ）が加えられた信号で、１つのエンハンストオブジェクト情報生成部のみが存在する第３の例では、この臨時バックグラウンドオブジェクト（Ｌ1、Ｒ1）が最終的なダウンミックス信号（ＬL、ＲL）になる。
【００７２】
図４を参照すれば、図３に示した第１の例と同様に、各ステレオボーカル信号（Ｖｏｃａｌ1L、Ｖｏｃａｌ1R、Ｖｏｃａｌ2L、Ｖｏｃａｌ2R）が受信される。ただし、図４に示した第２の例では、一つのエンハンストオブジェクトにグルーピングされずに、二つのエンハンストオブジェクト（Ｖｏｃａｌ1、Ｖｏｃａｌ2）にグルーピングされるという点で差がある。このように二つのエンハンストオブジェクトが存在するので、エンハンストオブジェクト生成部１２４Ｂは、第１のエンハンストオブジェクト生成部１２４Ｂ―１及び第２のエンハンストオブジェクト生成部１２４Ｂ―２を含む。
【００７３】
第１のエンハンストオブジェクト生成部１２４Ｂ―１は、バックグラウンド信号（チャネルベース信号（Ｌ、Ｒ））及び第１のエンハンストオブジェクト信号（Ｖｏｃａｌ1）を用いて第１のエンハンストオブジェクト情報（ｒｅｓ1）及び臨時バックグラウンドオブジェクト（Ｌ1、Ｒ1）を生成する。
【００７４】
第２のエンハンストオブジェクト生成部１２４Ｂ―２は、第２のエンハンストオブジェクト信号（Ｖｏｃａｌ2）のみならず、第１の臨時バックグラウンドオブジェクト（Ｌ1、Ｒ1）も用いて、第２のエンハンストオブジェクト情報（ｒｅｓ2）及び最終ダウンミックス（ＬL、ＲL）としてバックグラウンドオブジェクト（Ｌ2、Ｒ2）を生成する。図４に示した第２の例の場合にも、エンハンストオブジェクト（ＥＯ）とエンハンストオブジェクト情報（ＥＯＰ：ｒｅｓ）の数が全て２個であることが分かる。
【００７５】
図５を参照すれば、図４に示した第２の例と同様に、エンハンストオブジェクト情報生成部１２４Ｃは、第１エンハンストオブジェクト情報生成部１２４Ｃ―１及び第２エンハンストオブジェクト情報生成部１２４Ｃ―２を含む。ただし、エンハンストオブジェクト（Ｖｏｃａｌ1L、Ｖｏｃａｌ1R）は、２つのオブジェクトベース信号がグルーピングされたものでなく、一つのオブジェクトベース信号（Ｖｏｃａｌ1L、Ｖｏｃａｌ1R）で構成される点で差異点が存在する。第３の例の場合にも、エンハンストオブジェクト（ＥＯ）の個数（Ｌ）とエンハンストオブジェクト情報（ＥＯＰ）の個数（Ｌ）とが同一であることが分かる。
【００７６】
図６を参照すれば、図４に示した第２の例と類似しているが、エンハンストオブジェクト生成部１２２で総Ｌ個のエンハンストオブジェクト（Ｖｏｃａｌ1，・・・，ＶｏｃａｌL）が生成されるという点で差がある。また、エンハンストオブジェクト情報生成部１２４Ｄは、第１エンハンストオブジェクト情報生成部１２４Ｄ―１及び第２エンハンストオブジェクト情報生成部１２４Ｄ―２のみならず、第Ｌエンハンストオブジェクト情報生成部１２４Ｄ―Ｌまで備えるという点で差異点が存在する。第Ｌエンハンストオブジェクト情報生成部１２４―Ｌは、第２エンハンストオブジェクト情報生成部１２４―２で生成された第２の臨時バックグラウンドオブジェクト（Ｌ2、Ｒ2）及び第Ｌのエンハンストオブジェクト（ＶｏｃａｌL）を用いて第Ｌのエンハンストオブジェクト情報（ＥＯＰL、ｒｅｓL）及びダウンミックス情報（ＬL、ＲL）（ＤＭＸ）を生成する。
【００７７】
図７を参照すれば、図６に示した第４の例で、第１のダブルエンハンストオブジェクト情報生成部１２４ＥＥ―１をさらに備える。ダウンミックス（ＤＭＸ：ＬL、ＲL）からエンハンストオブジェクト（ＥＯL）を差し引いた信号（ＤＤＭＸ）は、次のように定義することができる。
【００７８】
【数１】
【００７９】
ダブルエンハンスト情報（ＥＥＯＰ）は、ダウンミックス（ＤＭＸ：ＬL、ＲL）とエンハンストオブジェクト（ＥＯL）との間の情報でなく、式１によって定義された信号（ＤＤＭＸ）及びエンハンストオブジェクト（ＥＯL）に関する情報である。ダウンミックス（ＤＭＸ）からエンハンストオブジェクト（ＥＯL）を差し引く場合、エンハンストオブジェクトと関連して量子化雑音が発生しうる。このような量子化雑音をオブジェクト情報（ＯＰ）を用いて相殺させることによって、音質を改善させることができる（これについては、図９〜図１１を参照して説明することにする。）。この場合、エンハンストオブジェクト（ＥＯ）が含まれたダウンミックス（ＤＭＸ）に対して量子化雑音をコントロールするが、実際的には、エンハンストオブジェクト（ＥＯ）が除去されたダウンミックスに存在する量子化雑音をコントロールすることである。したがって、より精密に量子化雑音を除去するためには、エンハンストオブジェクト（ＥＯ）が除去されたダウンミックスに対して量子化雑音を除去するための情報が必要である。上記のように定義されたダブルエンハンスト情報（ＥＥＯＰ）を用いることができる。このとき、ダブルエンハンスト情報（ＥＥＯＰ）は、オブジェクト情報（ＯＰ）の生成方式と同一の方式によって生成される。
【００８０】
本発明の実施例に係るオーディオ信号処理装置のうちエンコーダ１００は、上述したような構成要素を備えることによって、ダウンミックス（ＤＭＸ）及び付加情報ビットストリームを生成する。
【００８１】
図８は、付加情報ビットストリームの多様な例を示した図である。まず、図８の（ａ）〜（ｂ）を参照すれば、付加情報ビットストリームは、図８の（ａ）のように、オブジェクトエンコーダ１１０などによって生成されたオブジェクト情報（ＯＰ）のみを含むことができ、図８の（ｂ）のように、オブジェクト情報（ＯＰ）のみならず、エンハンストオブジェクトエンコーダ１２０によって生成されたエンハンストオブジェクト情報（ＥＯＰ）まで含むことができる。一方、付加情報ビットストリームは、図８の（ｃ）を参照すれば、オブジェクト情報（ＯＰ）及びエンハンストオブジェクト情報（ＥＯＰ）のみならず、ダブルエンハンストオブジェクト情報（ＥＥＯＰ）をさらに含んでいる。一般的なオブジェクトデコーダでは、オブジェクト情報（ＯＰ）のみを用いてオーディオ信号をデコーディングすることができるので、このようなデコーダで図８の（ｂ）又は（ｃ）に示したビットストリームを受信する場合、エンハンストオブジェクト情報（ＥＯＰ）及び／又はダブルエンハンストオブジェクト情報（ＥＥＯＰ）を除去し、オブジェクト情報（ＯＰ）のみを抽出してデコーディングに用いることができる。
【００８２】
図８の（ｄ）を参照すれば、エンハンストオブジェクト情報（ＥＯＰ1，・・・，ＥＯＰL）がビットストリームに含まれている。上述したように、エンハンストオブジェクト情報（ＥＯＰ）は多様な方式で生成される。第１のエンハンストオブジェクト情報（ＥＯＰ1）〜第２のエンハンストオブジェクト（ＥＯＰ2）が第１の方式で生成され、第３のエンハンストオブジェクト情報（ＥＯＰ3）〜第５のエンハンストオブジェクト情報（ＥＯＰ5）が第２の方式で生成された場合、各生成方法を表す識別子（Ｆ1、Ｆ2）をビットストリームに含ませることができる。図８の（ｄ）に示すように、生成方法を表す識別子（Ｆ1、Ｆ2）を、同一の方式で生成されたエンハンストオブジェクト情報の前のみに１回挿入することもできるが、各エンハンストオブジェクト情報の前に全て挿入することもできる。
【００８３】
本発明の実施例に係るオーディオ信号処理装置のうちデコーダ２００は、上記のように生成された付加情報ビットストリーム及びダウンミックスを受信してデコーディングすることができる。
【００８４】
図９は、本発明の実施例に係るオーディオ信号処理装置のうち情報生成ユニットの細部構成を示す図である。情報生成ユニット２２０は、オブジェクト情報デコーディング部２２２、エンハンストオブジェクト情報デコーディング部２２４及びマルチチャネル情報生成部２２６を含む。一方、デマルチプレクサ２１０からバックグラウンドオブジェクトをコントロールするための空間情報（ＳＰ）が受信された場合、この空間情報（ＳＰ）は、エンハンストオブジェクト情報デコーディング部２２４及びオブジェクト情報デコーディング部２２２で使用されずに、直ちにマルチチャネル情報生成部２２６に伝達される。
【００８５】
まず、エンハンストオブジェクト情報デコーディング部２２４は、デマルチプレクサ２１０から受信したオブジェクト情報（ＯＰ）及びエンハンストオブジェクト情報（ＥＯＰ）を用いてエンハンストオブジェクト（ＥＯ）を抽出し、バックグラウンドオブジェクト（Ｌ、Ｒ）を出力する。エンハンストオブジェクト情報デコーディング部２２４の細部構成の一例は、図１０に示されている。
【００８６】
図１０を参照すれば、エンハンストオブジェクト情報デコーディング部２２４は、第１のエンハンストオブジェクト情報デコーディング部２２４―１〜第Ｌのエンハンストオブジェクト情報デコーディング部２２４―Ｌを含む。第１のエンハンストオブジェクトデコーディング部２２４―１は、第１のエンハンストオブジェクト情報（ＥＯＰL）を用いて、ダウンミックス（ＭＸＩ）を第１のエンハンストオブジェクト（ＥＯL）（第１の独立オブジェクト）と第１の臨時バックグラウンドオブジェクト（ＬL―1、ＲL―1）に分離するためのバックグラウンドパラメータ（ＢＰ：Ｂａｃｋｇｏｕｎｄ Ｐａｒａｍｅｔｅｒ）を生成する。ここで、第１のエンハンストオブジェクトは、センターチャネルに該当し、第１の臨時バックグラウンドオブジェクトは、左側のチャネル及び右側のチャネルに該当する。
【００８７】
これと同様に、第Ｌのエンハンストオブジェクト情報デコーディング部２２４―Ｌは、第Ｌのエンハンストオブジェクト情報（ＥＯＰ1）を用いて、第Ｌ―１の臨時バックグラウンドオブジェクト（Ｌ1、Ｒ1）を第Ｌのエンハンストオブジェクト（ＥＯ1）とバックグラウンドオブジェクト（Ｌ、Ｒ）に分離するためのバックグラウンドパラメータ（ＢＰ）を生成する。
【００８８】
一方、第１のエンハンストオブジェクト情報デコーディング部２２４―１〜第Ｌのエンハンストオブジェクト情報デコーディング部２２４―Ｌは、Ｎ入力を用いてＮ＋１出力を生成（例えば、２入力を用いて３出力を生成）するモジュールによって具現される。
【００８９】
一方、エンハンストオブジェクト情報デコーディング部２２４が前記のようなバックグラウンドパラメータ（ＢＰ）を生成するためには、エンハンストオブジェクト情報（ＥＯＰ）のみならず、オブジェクト情報（ＯＰ）まで用いることができる。以下では、オブジェクト情報（ＯＰ）を用いる目的及び利点について説明する。
【００９０】
本発明では、エンハンストオブジェクト（ＥＯ）をダウンミックス（ＤＭＸ）から除去することが目的であるが、ダウンミックス（ＤＭＸ）の符号化方法及びエンハンストオブジェクト情報（ＥＯＰ）の符号化方法によって量子化雑音が出力に含まれる。この場合、量子化雑音は元の信号と関連しているので、エンハンストオブジェクトにグルーピングされる前のオブジェクトに関する情報であるオブジェクト情報（ＯＰ）を用いて追加的に音質を改善することが可能である。例えば、１番目のオブジェクトがボーカルオブジェクトである場合、第１のオブジェクト情報（ＯＰ1）はボーカルの時間、周波数、空間に関する情報を含む。ダウンミックス（ＤＭＸ）からボーカルを差し引いた出力は、次の式に示す通りであるが、ボーカルを差し引いた出力に対して第１のオブジェクト情報（ＯＰ1）を用いてボーカルを抑圧する場合、ボーカルが存在していた区間に残余する量子化雑音を追加的に抑圧する機能を行うようになる。
【００９１】
【数２】
【００９２】
（ここで、ＤＭＸは、入力ダウンミックス信号を表し、ＥＯ1’は、コーデックでエンコーディング／デコーディングされた第１のエンハンストオブジェクトを表す。）
【００９３】
したがって、特定のオブジェクトに対してエンハンストオブジェクト情報（ＥＯＰ）及びオブジェクト情報（ＯＰ）を適用することによって、追加的に性能を改善することができ、このようなエンハンストオブジェクト情報（ＥＯＰ）及びオブジェクト情報（ＯＰ）の適用は順次的又は同時的なものである。一方、オブジェクト情報（ＯＰ）は、エンハンストオブジェクト（独立オブジェクト）及び前記バックグラウンドオブジェクトに関連する情報に相当するものである。
【００９４】
再び図９を参照すれば、オブジェクト情報デコーディング部２２２は、デマルチプレクサ２１０から受信したオブジェクト情報（ＯＰ）及びエンハンストオブジェクト情報デコーディング部２２４から受信したエンハンストオブジェクト（ＥＯ）に関するオブジェクト情報（ＯＰ）をデコーディングする。オブジェクト情報デコーディング部２２２の細部構成の一例は、図１１に示されている。
【００９５】
図１１を参照すれば、オブジェクト情報デコーディング部２２２は、第１オブジェクト情報デコーディング部２２２―１〜第Ｌオブジェクト情報デコーディング部２２２―Ｌを含む。第１オブジェクト情報デコーディング部２２２―１は、少なくとも１つのオブジェクト情報（ＯＰN）を用いて第１のエンハンストオブジェクト（ＥＯ1）を少なくとも１つのオブジェクト（例えば、Ｖｏｃａｌ1、Ｖｏｃａｌ2）に分離するための独立パラメータ（ＩＰ：Ｉｎｄｅｐｅｎｄｅｎｔ Ｐａｒａｍｅｔｅｒ）を生成する。これと同様に、第Ｌオブジェクト情報デコーディング部２２２―Ｌは、少なくとも１つのオブジェクト情報（ＯＰN）を用いて第Ｌのエンハンストオブジェクト（ＥＯL）を少なくとも１つのオブジェクト（例えば、Ｖｏｃａｌ4）に分離するための独立パラメータ（ＩＰ）を生成する。このように、オブジェクト情報（ＯＰ）を用いてエンハンストオブジェクト（ＥＯ）にグルーピングされていたそれぞれのオブジェクトを個別に制御することができる。
【００９６】
再び図９を参照すれば、マルチチャネル情報生成部２２６は、使用者インターフェースなどを介してミックス情報（ＭＸＩ：ｍｉｘ ｉｎｆｏｒｍａｔｉｏｎ）を受信し、デジタル媒体、放送媒体などを介してダウンミックス（ＤＭＸ）を受信する。そして、受信されたミックス情報（ＭＸＩ）及びダウンミックス（ＤＭＸ）を用いてバックグラウンドオブジェクト（Ｌ、Ｒ）及び／又はエンハンストオブジェクト（ＥＯ）をレンダリングするためのマルチチャネル情報（ＭＩ）を生成する。
【００９７】
ここで、ミックス情報（ＭＸＩ）は、オブジェクト位置情報、オブジェクト利得情報及び再生環境情報などに基づいて生成された情報であり、オブジェクト位置情報は、使用者が各オブジェクトの位置又はパニングを制御するために入力した情報で、オブジェクト利得情報は、使用者が各オブジェクトの利得を制御するために入力した情報である。再生環境情報は、スピーカーの個数、スピーカーの位置、アンビエント情報（スピーカーの仮想位置）などを含む情報で、使用者から入力を受けることもでき、予め保存されることも可能であり、他の装置から受信することもできる。
【００９８】
マルチチャネル情報生成部２２６は、マルチチャネル情報（ＭＩ）を生成するために、オブジェクト情報デコーディング部２２２から受信した独立パラメータ（ＩＰ）及び／又はエンハンストオブジェクト情報デコーディング部２２４から受信したバックグラウンドパラメータ（ＢＰ）を用いることができる。まず、ミックス情報（ＭＸＩ）によってエンハンストオブジェクト（独立オブジェクト）をコントロールするための第１のマルチチャネル情報（ＭＩ1）を生成する。例えば、使用者がボーカル信号のようなエンハンストオブジェクトを完全に抑圧するための制御情報を入力した場合、この制御情報が適用されたミックス情報（ＭＸＩ）によって、ダウンミックス（ＤＭＸ）からエンハンストオブジェクトを除去するための第１のマルチチャネル情報を生成する。
【００９９】
上記のように独立オブジェクトをコントロールするための第１のマルチチャネル情報（ＭＩ1）を生成した後、この第１のマルチチャネル情報（ＭＩ1）及びデマルチプレクサ２１０から伝達された空間情報（ＳＰ）を用いて、バックグラウンドオブジェクトをコントロールするための第２のマルチチャネル情報（ＭＩ2）を生成する。具体的に、次の式に表現されたように、第１のマルチチャネル情報が適用された信号（すなわち、エンハンストオブジェクト（ＥＯ））をダウンミックス（ＤＭＸ）から差し引く方式で第２のマルチチャネル情報（ＭＩ2）を生成することができる。
【０１００】
【数３】
【０１０１】
（ＢＯは、バックグラウンドオブジェクト信号を表し、ＤＭＸは、ダウンミックス信号を表し、ＥＯLは、第Ｌのエンハンストオブジェクトを表す。）
【０１０２】
ここで、ダウンミックスからエンハンストオブジェクトを差し引く過程は、時間ドメイン又は周波数ドメイン上で行われる。また、ダウンミックス（ＤＭＸ）のチャネル数と、第１のマルチチャネル情報が適用された信号のチャネル数（すなわち、エンハンストオブジェクトのチャネル数）とが同一である場合には、チャネル別に差し引かれる。
【０１０３】
第１のマルチチャネル情報（ＭＩ1）及び第２のマルチチャネル情報（ＭＩ2）を含むマルチチャネル情報（ＭＩ）を生成し、これをマルチチャネルデコーダ２４０に伝達する。
【０１０４】
マルチチャネルデコーダ２４０は、処理されたダウンミックスを受信し、マルチチャネル情報（ＭＩ）を用いて処理されたダウンミックス信号をアップミキシングし、マルチチャネル信号を生成する。
【０１０５】
以上のように、本発明は、限定された実施例及び図面に基づいて説明されたが、これによって限定されるものでなく、本発明の属する技術分野で通常の知識を有する者によって本発明の技術思想及び下記の特許請求の範囲の均等範囲内で多様な修正及び変形が可能であることは当然である。
【産業上の利用可能性】
【０１０６】
本発明は、オーディオ信号をエンコーディング及びデコーディングするのに適用される。
【技術分野】
【０００１】
本発明は、オーディオ信号の処理方法及び装置に関し、より詳細には、デジタル媒体、放送信号などで受信されたオーディオ信号を処理することができるオーディオ信号の処理方法及び装置に関する。
【背景技術】
【０００２】
一般的に、多数個のオブジェクトをモノ又はステレオ信号にダウンミックスする過程において、それぞれのオブジェクト信号から各パラメータが抽出される。このような各パラメータはデコーダで使用されるが、それぞれのオブジェクトのパニングや利得は、ユーザの選択によってコントロールされる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
それぞれのオブジェクト信号を制御するためには、ダウンミックスに含まれている各ソースが適切にポジショニング又はパニングされなければならない。
【０００４】
また、チャネルベースのデコーディング方式で下位互換性を有するためには、オブジェクトパラメータは、アップミキシングのためのマルチチャネルパラメータに柔軟に変換されなければならない。
【０００５】
本発明は、上述のような問題点を解決するためになされたもので、オブジェクトの利得及びパニングを制限なしにコントロールすることができるオーディオ信号処理方法及び装置を提供することを目的とする。
【０００６】
本発明の他の目的は、ユーザの選択を基盤にしてオブジェクトの利得及びパニングをコントロールすることができるオーディオ信号処理方法及び装置を提供することにある。
【０００７】
本発明の更に他の目的は、ボーカルや背景音楽の利得を大幅に調節する場合にも、音質の歪みを発生させないオーディオ信号処理方法及び装置を提供することにある。
【課題を解決するための手段】
【０００８】
上述のような目的を達成するために、本発明に係るオーディオ信号処理方法は、少なくとも２つの独立オブジェクト及びバックグラウンドオブジェクトがダウンミックスされたダウンミックス情報を受信し、第１のエンハンストオブジェクト情報を用いてダウンミックスを第１の独立オブジェクトと臨時バックグラウンドオブジェクトに分離し、第２のエンハンストオブジェクト情報を用いて臨時バックグラウンドオブジェクトから第２の独立オブジェクトを抽出することを含む。
【０００９】
本発明によれば、独立オブジェクトは、オブジェクトベース信号であり、バックグラウンドオブジェクトは、少なくとも１つのチャネルベース信号を含むか、少なくとも１つのチャネルベース信号がダウンミックスされた信号である。
【００１０】
本発明によれば、バックグラウンドオブジェクトは、左側のチャネル信号及び右側のチャネル信号を含むことができる。
【００１１】
本発明によれば、第１のエンハンストオブジェクト情報及び第２のエンハンストオブジェクト情報はレジデュアル信号である。
【００１２】
本発明によれば、第１のエンハンストオブジェクト情報及び第２のエンハンストオブジェクト情報は、付加情報ビットストリームに含まれており、付加情報ビットストリームに含まれているエンハンストオブジェクト情報の数と、ダウンミックス情報に含まれている独立オブジェクトの数とは同一である。
【００１３】
本発明によれば、分離することは、Ｎ個の入力を用いて（Ｎ＋１）個の出力を生成するモジュールによって行われる。
【００１４】
本発明によれば、オブジェクト情報及びミックス情報を受信し、オブジェクト情報及びミックス情報を用いて、第１の独立オブジェクト及び第２の独立オブジェクトの利得を調整するためのマルチチャネル情報を生成することをさらに含むことができる。
【００１５】
本発明によれば、ミックス情報は、オブジェクト位置情報、オブジェクト利得情報及び再生環境情報のうち少なくとも１つに基づいて生成されたものである。
【００１６】
本発明によれば、上記抽出することは、第２の臨時バックグラウンドオブジェクト及び第２の独立オブジェクトを抽出することに相当し、第２のエンハンストオブジェクト情報を用いて第２の臨時バックグラウンドオブジェクトから第３の独立オブジェクトを抽出することをさらに含むことができる。
【００１７】
本発明の他の側面によれば、少なくとも２つの独立オブジェクト及びバックグラウンドオブジェクトがダウンミックスされたダウンミックス情報を受信し、第１のエンハンストオブジェクト情報を用いて前記ダウンミックスを第１の独立オブジェクトと臨時バックグラウンドオブジェクトに分離し、第２のエンハンストオブジェクト情報を用いて臨時バックグラウンドオブジェクトから第２の独立オブジェクトを抽出することを実行するためのプログラムが保存されたコンピュータ読取可能記録媒体が提供される。
【００１８】
本発明の更に他の側面によれば、少なくとも２つの独立オブジェクト及びバックグラウンドオブジェクトがダウンミックスされたダウンミックス情報を受信する情報受信部と、第１のエンハンストオブジェクト情報を用いてダウンミックスを臨時バックグラウンドオブジェクトと第１の独立オブジェクトに分離する第１のエンハンストオブジェクト情報デコーディング部と、第２のエンハンストオブジェクト情報を用いて臨時バックグラウンドオブジェクトから第２の独立オブジェクトを抽出する第２のエンハンストオブジェクト情報デコーディング部とを含むオーディオ信号処理装置が提供される。
【００１９】
本発明の更に他の側面によれば、第１の独立オブジェクト及びバックグラウンドオブジェクトを用いて臨時バックグラウンドオブジェクト及び第１のエンハンストオブジェクト情報を生成し、第２の独立オブジェクト及び臨時バックグラウンドオブジェクトを用いて第２のエンハンストオブジェクト情報を生成し、第１のエンハンストオブジェクト情報及び第２のエンハンストオブジェクト情報を伝送することを含むオーディオ信号処理方法が提供される。
【００２０】
本発明の更に他の側面によれば、第１の独立オブジェクト及びバックグラウンドオブジェクトを用いて臨時バックグラウンドオブジェクト及び第１のエンハンストオブジェクト情報を生成する第１エンハンストオブジェクト情報生成部と、第２の独立オブジェクト及び臨時バックグラウンドオブジェクトを用いて第２のエンハンストオブジェクト情報を生成する第２エンハンストオブジェクト情報生成部と、第１のエンハンストオブジェクト情報及び第２のエンハンストオブジェクト情報を伝送するためのマルチプレクサとを含むオーディオ信号処理装置が提供される。
【００２１】
本発明の更に他の側面によれば、独立オブジェクト及びバックグラウンドオブジェクトがダウンミックスされたダウンミックス情報を受信し、独立オブジェクトをコントロールするための第１のマルチチャネル情報を生成し、ダウンミックス情報及び第１のマルチチャネル情報を用いて、バックグラウンドオブジェクトをコントロールするための第２のマルチチャネル情報を生成することを含む方法が提供される。
【００２２】
本発明によれば、上記第２のマルチチャネル情報を生成することは、第１のマルチチャネル情報が適用された信号をダウンミックス情報から差し引くことを含むことができる。
【００２３】
本発明によれば、上記差し引くことは、時間ドメイン又は周波数ドメイン上で行われる。
【００２４】
本発明によれば、上記差し引くことは、ダウンミックス情報のチャネル数と、第１のマルチチャネル情報が適用された信号のチャネル数とが同一である場合、チャネル別に行われる。
【００２５】
本発明によれば、該方法は、第１のマルチチャネル情報及び第２のマルチチャネル情報を用いて、ダウンミックス情報から出力チャネルを生成することをさらに含むことができる。
【００２６】
本発明によれば、該方法は、エンハンストオブジェクト情報を受信し、エンハンストオブジェクト情報を用いて、ダウンミックス情報から独立オブジェクトとバックグラウンドオブジェクトを分離することをさらに含むことができる。
【００２７】
本発明によれば、該方法は、ミックス情報を受信することをさらに含み、第１のマルチチャネル情報を生成し、第２のマルチチャネル情報を生成することは、ミックス情報に基づいて行われる。
【００２８】
本発明によれば、ミックス情報は、オブジェクト位置情報、オブジェクト利得情報及び再生環境情報のうち少なくとも１つに基づいて生成されたものである。
【００２９】
本発明によれば、ダウンミックス情報は、放送信号を介して受信されてもよい。
【００３０】
本発明によれば、ダウンミックス情報は、デジタル媒体を介して受信されてもよい。
【００３１】
本発明の更に他の側面によれば、独立オブジェクト及びバックグラウンドオブジェクトがダウンミックスされたダウンミックス情報を受信し、独立オブジェクトをコントロールするための第１のマルチチャネル情報を生成し、ダウンミックス情報及び前記第１のマルチチャネル情報を用いて、バックグラウンドオブジェクトをコントロールするための第２のマルチチャネル情報を生成することを実行するためのプログラムが保存されたコンピュータ読取可能記録媒体が提供される。
【００３２】
本発明の更に他の側面によれば、独立オブジェクト及びバックグラウンドオブジェクトがダウンミックスされたダウンミックス情報を受信する情報受信部と、独立オブジェクトをコントロールするための第１のマルチチャネル情報を生成し、ダウンミックス情報及び第１のマルチチャネル情報を用いて、バックグラウンドオブジェクトをコントロールするための第２のマルチチャネル情報を生成するマルチチャネル生成部とを含むことを特徴とするオーディオ信号装置が提供される。
【００３３】
本発明の更に他の側面によれば、少なくとも１つの独立オブジェクト及びバックグラウンドオブジェクトがダウンミックスされたダウンミックス情報を受信し、オブジェクト情報及びエンハンストオブジェクト情報を受信し、オブジェクト情報及びエンハンストオブジェクト情報を用いて、ダウンミックス情報から少なくとも１つの独立オブジェクトを抽出することを含むオーディオ信号処理方法が提供される。
【００３４】
本発明によれば、オブジェクト情報は、独立オブジェクト及びバックグラウンドオブジェクトに関連する情報に相当してもよい。
【００３５】
本発明によれば、オブジェクト情報は、独立オブジェクトとバックグラウンドオブジェクトとの間のレベル情報及び相関情報のうち少なくとも１つを含むものである。
【００３６】
本発明によれば、エンハンストオブジェクト情報は、レジデュアル信号を含むことができる。
【００３７】
本発明によれば、レジデュアル信号は、少なくとも１つのオブジェクトベース信号をエンハンストオブジェクトにグルーピングする過程で抽出されたものである。
【００３８】
本発明によれば、独立オブジェクトは、オブジェクトベース信号であり、バックグラウンドオブジェクトは、少なくとも１つのチャネルベース信号を含むか、少なくとも１つのチャネルベース信号がダウンミックスされた信号である。
【００３９】
本発明によれば、バックグラウンドオブジェクトは、左側のチャネル信号及び右側のチャネル信号を含むことができる。
【００４０】
本発明によれば、ダウンミックス情報は、放送信号を介して受信されてもよい。
【００４１】
本発明によれば、ダウンミックス情報は、デジタル媒体を介して受信されてもよい。
【００４２】
本発明の更に他の側面によれば、少なくとも１つの独立オブジェクト及びバックグラウンドオブジェクトがダウンミックスされたダウンミックス情報を受信し、オブジェクト情報及びエンハンストオブジェクト情報を受信し、オブジェクト情報及びエンハンストオブジェクト情報を用いて、ダウンミックス情報から少なくとも１つの独立オブジェクトを抽出することを実行するためのプログラムが保存されたコンピュータ読取可能記録媒体が提供される。
【００４３】
本発明の更に他の側面によれば、少なくとも１つの独立オブジェクト及びバックグラウンドオブジェクトがダウンミックスされたダウンミックス情報を受信し、オブジェクト情報及びエンハンストオブジェクト情報を受信する情報受信部と、オブジェクト情報及びエンハンストオブジェクト情報を用いて、ダウンミックスから少なくとも１つの独立オブジェクトを抽出する情報生成ユニットとを含むオーディオ信号処理装置が提供される。
【発明の効果】
【００４４】
本発明は、次のような効果及び利点を提供する。
【００４５】
第１に、オブジェクトの利得及びパニングを制限なしにコントロールすることができる。
【００４６】
第２に、ユーザの選択に基いてオブジェクトの利得及びパニングをコントロールすることができる。
【００４７】
第３に、ボーカルや背景音楽のうち１つを完全に抑圧する場合にも、利得調整による音質の歪みを防止することができる。
【００４８】
第４に、ボーカルなどのような独立オブジェクトが少なくとも２つである場合（ステレオチャネル又は多数個のボーカル信号）、利得調整による音質の歪みを防止することができる。
【図面の簡単な説明】
【００４９】
【図１】本発明の実施例に係るオーディオ信号処理装置の構成図である。
【図２】本発明の実施例に係るオーディオ信号処理装置のうちエンハンストオブジェクトエンコーダの細部構成図である。
【図３】エンハンストオブジェクト生成部及びエンハンストオブジェクト情報生成部の第１の例を示した図である。
【図４】エンハンストオブジェクト生成部及びエンハンストオブジェクト情報生成部の第２の例を示した図である。
【図５】エンハンストオブジェクト生成部及びエンハンストオブジェクト情報生成部の第３の例を示した図である。
【図６】エンハンストオブジェクト生成部及びエンハンストオブジェクト情報生成部の第４の例を示した図である。
【図７】エンハンストオブジェクト生成部及びエンハンストオブジェクト情報生成部の第５の例を示した図である。
【図８】付加情報ビットストリームの多様な例を示した図である。
【図９】本発明の実施例に係るオーディオ信号処理装置のうち情報生成ユニットの細部構成図である。
【図１０】エンハンストオブジェクト情報デコーディング部の細部構成の一例を示した図である。
【図１１】オブジェクト情報デコーディング部の細部構成の一例を示した図である。
【発明を実施するための形態】
【００５０】
以下、添付された図面を参照して本発明の好適な実施例を詳細に説明する。本発明の実施例を説明する前に、本明細書及び特許請求の範囲で使用された用語や単語は、通常的又は辞典的な意味に限定して解釈してはならなく、発明者が自身の発明を最も最善の方法で説明するために用語の概念を適切に定義することができるとの原則に立脚して、本発明の技術的思想に符合する意味及び概念で解釈しなければならない。したがって、本明細書に記載された実施例及び図面に示した構成は、本発明の最も好適な一実施例に過ぎないもので、本発明の技術的思想を全て代弁するものではないので、本出願時点において、これらに取って代わる多様な均等物及び変形例が存在しうることを理解しなければならない。
【００５１】
特に、本明細書で、情報は、値、パラメータ、係数、成分などを総称する用語で、場合によって異なる意味に解釈されることもあるが、本発明がこれに限定されることはない。
【００５２】
特に、オブジェクトは、オブジェクトベース信号及びチャネルベース信号を含む概念であるが、場合によってオブジェクトベース信号のみを称することができる。
【００５３】
図１は、本発明の実施例に係るオーディオ信号処理装置の構成を示す図である。図１を参照すれば、まず、本発明の実施例に係るオーディオ信号処理装置は、エンコーダ１００及びデコーダ２００を含むが、エンコーダ１００は、オブジェクトエンコーダ１１０、エンハンストオブジェクトエンコーダ１２０及びマルチプレクサ１３０を含み、デコーダ２００は、デマルチプレクサ２１０、情報生成ユニット２２０、ダウンミックス処理ユニット２３０及びマルチチャネルデコーダ２４０を含む。ここで、各構成要素に対して概略に説明した後、エンコーダ１００のエンハンストオブジェクトエンコーダ１２０及びデコーダ２００の情報生成ユニット２２０については、図２〜図１１を参照して具体的に説明することにする。
【００５４】
まず、オブジェクトエンコーダ１１０は、少なくとも１つのオブジェクト（ｏｂｊN）を用いてオブジェクト情報（ＯＰ：ｏｂｊｅｃｔ ｐａｒａｍｅｔｅｒ）を生成するが、ここで、オブジェクト情報（ＯＰ）は、オブジェクトベース信号に関する情報で、オブジェクトレベル情報、オブジェクト相関情報などを含むことができる。一方、オブジェクトエンコーダ１１０は、少なくとも１つのオブジェクトをグルーピングしてダウンミックスを生成することができる。これは、図２を参照して説明されるエンハンストオブジェクト生成部１２２で少なくとも１つのオブジェクトをグルーピングしてエンハンストオブジェクトを生成する過程と同一であるが、本発明がこれに限定されることはない。
【００５５】
エンハンストオブジェクトエンコーダ１２０は、少なくとも１つのオブジェクト（ｏｂｊN）を用いてエンハンストオブジェクト情報（ＯＰ）及びダウンミックス（ＤＭＸ）（ＬL、ＲL）を生成する。具体的に、少なくとも１つのオブジェクトベース信号をグルーピングしてエンハンストオブジェクト（ＥＯ）を生成し、チャネルベース信号及びエンハンストオブジェクト（ＥＯ）を用いてエンハンストオブジェクト情報（ＥＯＰ：ｅｎｈａｎｃｅｄ ｏｂｊｅｃｔ ｐａｒａｍｅｔｅｒ）を生成する。まず、エンハンストオブジェクト情報（ＥＯＰ）は、エンハンストオブジェクトのエネルギー情報（レベル情報を含む）、レジデュアル信号などであるが、これに対しては図２を参照して説明することにする。一方、ここで、チャネルベース信号は、オブジェクト別に制御不可能な背景信号であるので、バックグラウンドオブジェクトと称し、エンハンストオブジェクトは、デコーダ２００で独立的にオブジェクト別に制御可能であるので、独立オブジェクトと称することができる。
【００５６】
マルチプレクサ１３０は、オブジェクトエンコーダ１１０で生成されたオブジェクト情報（ＯＰ）、及びエンハンストオブジェクトエンコーダ１２０で生成されたエンハンストオブジェクト情報（ＥＯＰ）をマルチプレキシングし、付加情報ビットストリームを生成する。一方、付加情報ビットストリームは、前記チャネルベース信号に対する空間情報（ＳＰ：ｓｐａｔｉａｌ ｉｎｆｏｒｍａｔｉｏｎ）（図示せず）を含むことができる。空間情報は、チャネルベース信号をデコーディングするために必要な情報で、チャネルレベル情報及びチャネル相関情報などを含むが、本発明がこれに限定されることはない。
【００５７】
デコーダ２００のデマルチプレクサ２１０は、付加情報ビットストリームからオブジェクト情報（ＯＰ）及びエンハンストオブジェクト情報（ＥＯＰ）を抽出する。付加情報ビットストリームに空間情報（ＳＰ）が含まれる場合、空間情報（ＳＰ）をさらに抽出する。
【００５８】
情報生成ユニット２２０は、オブジェクト情報（ＯＰ）及びエンハンストオブジェクト情報（ＥＯＰ）を用いてマルチチャネル情報（ＭＩ：Ｍｕｌｔｉ―ｃｈａｎｎｅｌ ｉｎｆｏｒｍａｔｉｏｎ）及びダウンミックス処理情報（ＤＰＩ：ｄｏｗｎｍｉｘ ｐｒｏｃｅｓｓｉｎｇ ｉｎｆｏｒｍａｔｉｏｎ）を生成する。マルチチャネル情報（ＭＩ）及びダウンミックス処理情報（ＤＰＩ）を生成するにおいて、ダウンミックス情報（ＤＭＸ）を用いることができるが、これに対しては図８を参照して説明することにする。
【００５９】
ダウンミックス処理ユニット２３０は、ダウンミックス処理情報（ＤＰＩ）を用いてダウンミックス（ＤＭＸ）を処理する。例えば、オブジェクトの利得又はパニングを調節するためにダウンミックス（ＤＭＸ）を処理することができる。
【００６０】
マルチチャネルデコーダ２４０は、処理されたダウンミックスを受信し、マルチチャネル情報（ＭＩ）を用いて処理されたダウンミックス信号をアップミキシングし、マルチチャネル信号を生成する。
【００６１】
以下では、図２〜図６を参照しながら、エンコーダ１００のエンハンストオブジェクトエンコーダ１２０の細部構成の多様な実施例について説明し、図８を参照しながら、付加情報ビットストリームに対する多様な実施例について説明し、図９〜図１１を参照しながら、デコーダ２００の情報生成ユニット２２０の細部構成について説明する。
【００６２】
図２は、本発明の実施例に係るオーディオ信号処理装置のうちエンハンストオブジェクトエンコーダの細部構成を示す図である。図２を参照すれば、エンハンストオブジェクトエンコーダ１２０は、エンハンストオブジェクト生成部１２２、エンハンストオブジェクト情報生成部１２４及びマルチプレクサ１２６を含む。
【００６３】
エンハンストオブジェクト生成部１２２は、少なくとも１つのオブジェクト（ｏｂｊN）をグルーピングし、少なくとも１つのエンハンストオブジェクト（ＥＯL）を生成する。ここで、エンハンストオブジェクト（ＥＯL）は、高品質の制御のためにグルーピングされるものである。例えば、前記バックグラウンドオブジェクトに対してエンハンストオブジェクト（ＥＯL）が独立的に完全に抑圧（または、反対の場合、すなわち、エンハンストオブジェクト（ＥＯL）のみが再生され、バックグラウンドオブジェクトが完全に抑圧）されるようにするものである。ここで、グルーピング対象になるオブジェクト（ｏｂｊN）は、チャネルベース信号でないオブジェクトベース信号である。エンハンストオブジェクト（ＥＯ）は多様な方法で生成することができる。すなわち、１）少なくとも１つのオブジェクトを一つのエンハンストオブジェクトとして活用することができ（ＥＯ1＝ｏｂｊ1）、２）二つ以上のオブジェクトを加えてエンハンストオブジェクトを構成することができ（ＥＯ2＝ｏｂｊ1＋ｏｂｊ2）、３）ダウンミックスから特定のオブジェクトのみを除外した信号をエンハンストオブジェクトとして活用したり（ＥＯ3＝Ｄ−ｏｂｊ2）、少なくとも２つのオブジェクトを除外した信号をエンハンストオブジェクトとして活用することができる（ＥＯ4＝Ｄ−ｏｂｊ1−ｏｂｊ2）。上記３）及び４）で言及されたダウンミックス（Ｄ）は、上述したダウンミックス（ＤＭＸ）（ＬL、ＲL）とは異なる概念で、オブジェクトベース信号のみがダウンミックスされた信号を称することができる。このように説明された四つの方法のうち少なくとも１つを適用し、エンハンストオブジェクト（ＥＯ）を生成することができる。
【００６４】
エンハンストオブジェクト情報生成部１２４は、エンハンストオブジェクト（ＥＯ）を用いてエンハンストオブジェクト情報（ＥＯＰ）を生成する。ここで、エンハンストオブジェクト情報（ＥＯＰ）は、エンハンストオブジェクト（ＥＯ）に関連する情報で、ａ）まず、エンハンストオブジェクト（ＥＯ）のエネルギー情報（レベル情報を含む）、ｂ）エンハンストオブジェクト（ＥＯ）とダウンミックス（Ｄ）との間の関係（例えば、ミキシング利得）、ｃ）高い時間解像度又は高い周波数解像度によるエンハンストオブジェクトレベル情報又はエンハンストオブジェクト相関情報、ｄ）エンハンストオブジェクト（ＥＯ）に対する時間領域での予測情報又は包絡線情報、ｅ）レジデュアル信号のようにエンハンストオブジェクトに対する時間領域又はスペクトル領域の情報を符号化したビットストリームなどである。
【００６５】
一方、エンハンストオブジェクト情報（ＥＯＰ）は、上述した例でエンハンストオブジェクト（ＥＯ）が第１の例及び第３の例で生成された場合（ＥＯ1＝ｏｂｊ1、ＥＯ3＝Ｄ−ｏｂｊ2）、エンハンストオブジェクト情報（ＥＯＰ）は、第１の例及び第３の例のエンハンストオブジェクト（ＥＯ1及びＥＯ3）に対するエンハンストオブジェクト情報（ＥＯＰ1、ＥＯＰ3）を生成することができる。このとき、第１の例によるエンハンストオブジェクト情報（ＥＯＰ1）は、第１の例によるエンハンストオブジェクト（ＥＯ1）を制御するために必要な情報に該当し、第３の例によるエンハンストオブジェクト情報（ＥＯＰ3）は、特定のオブジェクト（ｏｂｊ2）のみを抑圧する場合を表現するために活用される。
【００６６】
エンハンストオブジェクト情報生成部１２４は、少なくとも１つのエンハンストオブジェクト情報生成部１２４―１，・・・，１２４―Ｌを含むことができる。具体的に、一つのエンハンストオブジェクト（ＥＯ1）に対するエンハンストオブジェクト情報（ＥＯＰ1）を生成する第１エンハンストオブジェクト情報生成部１２４―１を含むことができ、少なくとも２つのエンハンストオブジェクト（ＥＯ1、ＥＯ2）に対するエンハンストオブジェクト情報（ＥＯＰ2）を生成する第２エンハンストオブジェクト情報生成部１２４―２を含むことができる。一方、エンハンストオブジェクト（ＥＯL）のみならず、第２エンハンストオブジェクト情報生成部１２４―２の出力を用いて、第Ｌエンハンストオブジェクト情報生成部１２４―Ｌが含まれることもある。前記エンハンストオブジェクト情報生成部１２４―１，・・・，１２４―Ｌは、それぞれＮ＋１個の入力を用いてＮ個の出力を生成するモジュールによって動作するもので、例えば、３個の入力を用いて２個の出力を生成するモジュールによって動作することができる。以下、エンハンストオブジェクト情報生成部１２４―１，・・・，１２４―Ｌに対する多様な実施例は、図３〜図７を参照して説明する。一方、エンハンストオブジェクト情報生成部１２４は、ダブルエンハンストオブジェクト（ＥＥＯＰ）をさらに生成することができるが、これは、図７を参照して詳細に説明することにする。
【００６７】
マルチプレクサ１２６は、エンハンストオブジェクト情報生成部１２４で生成された少なくとも１つのエンハンストオブジェクト情報（ＥＯＰ1，・・・，ＥＯＰL）（及びダブルエンハンストオブジェクト（ＥＥＯＰ））をマルチプレキシングする。
【００６８】
図３〜図７は、エンハンストオブジェクト生成部及びエンハンストオブジェクト情報生成部の第１の例〜第５の例を示した図である。図３は、エンハンストオブジェクト情報生成部が一つの第１のエンハンストオブジェクト情報生成部を含む例を示し、図４〜図６は、少なくとも２つのエンハンスト情報生成部（第１エンハンストオブジェクト情報生成部〜第Ｌエンハンストオブジェクト情報生成部）が直列的に含まれている例を示す。一方、図７は、ダブルエンハンストオブジェクト情報（ＥＥＯＰ：ｅｎｈａｎｃｅｄ ｅｎｈａｎｃｅｄ ｏｂｊｅｃｔ ｐａｒａｍｅｔｅｒ）を生成する第１のダブルエンハンストオブジェクト情報生成部をさらに含む例を示す。
【００６９】
まず、図３を参照すれば、エンハンストオブジェクト生成部１２２Ａは、チャネルベース信号として、左側のチャネル信号（Ｌ）及び右側チャネル信号（Ｒ）をそれぞれ受信し、オブジェクトベース信号として、各ステレオボーカル信号（Ｖｏｃａｌ1L、Ｖｏｃａｌ1R、Ｖｏｃａｌ2L、Ｖｏｃａｌ2R）をそれぞれ受信し、一つのエンハンストオブジェクト（Ｖｏｃａｌ）を生成する。まず、チャネルベース信号（Ｌ、Ｒ）は、多チャネル信号（例えば、Ｌ、Ｒ、ＬS、ＲS、Ｃ、ＬＦＥ）がダウンミックスされた信号であるが、この過程で抽出された空間情報は、上述したように付加情報ビットストリームに含まれる。
【００７０】
一方、オブジェクトベース信号としての各ステレオボーカル信号（Ｖｏｃａｌ1L、Ｖｏｃａｌ1R、Ｖｏｃａｌ2L、Ｖｏｃａｌ2R）は、歌手１の音声（Ｖｏｃａｌ1）に該当する左側のチャネル信号（Ｖｏｃａｌ1L）及び右側のチャネル信号（Ｖｏｃａｌ1R）と、歌手２の音声（Ｖｏｃａｌ2）に該当する左側のチャネル信号（Ｖｏｃａｌ2L）及び右側のチャネル信号（Ｖｏｃａｌ2R）を含むことができる。一方、ここでは、ステレオオブジェクト信号について示したが、マルチチャネルオブジェクト信号（Ｖｏｃａｌ1L、Ｖｏｃａｌ1R、Ｖｏｃａｌ1Ls、Ｖｏｃａｌ1Rs、Ｖｏｃａｌ1C、Ｖｏｃａｌ1LFE）を受信し、一つのエンハンストオブジェクト（Ｖｏｃａｌ）にグルーピングされることも可能である。
【００７１】
このように１つのエンハンストオブジェクト（Ｖｏｃａｌ）が生成されたので、エンハンストオブジェクト情報生成部１２４Ａは、これに対応する一つの第１エンハンストオブジェクト情報生成部１２４―１のみを含む。第１エンハンストオブジェクト情報生成部１２４Ａ―１は、エンハンストオブジェクト（Ｖｏｃａｌ）及びチャネルベース信号（Ｌ、Ｒ）を用いてエンハンストオブジェクト情報（ＥＯＰ1）として第１のレジデュアル信号（ｒｅｓ1）及び臨時バックグラウンドオブジェクト（Ｌ1、Ｒ1）を生成する。臨時バックグラウンドオブジェクト（Ｌ1、Ｒ1）は、チャネルベース信号、すなわち、バックグラウンドオブジェクト（Ｌ、Ｒ）にエンハンストオブジェクト（Ｖｏｃａｌ）が加えられた信号で、１つのエンハンストオブジェクト情報生成部のみが存在する第３の例では、この臨時バックグラウンドオブジェクト（Ｌ1、Ｒ1）が最終的なダウンミックス信号（ＬL、ＲL）になる。
【００７２】
図４を参照すれば、図３に示した第１の例と同様に、各ステレオボーカル信号（Ｖｏｃａｌ1L、Ｖｏｃａｌ1R、Ｖｏｃａｌ2L、Ｖｏｃａｌ2R）が受信される。ただし、図４に示した第２の例では、一つのエンハンストオブジェクトにグルーピングされずに、二つのエンハンストオブジェクト（Ｖｏｃａｌ1、Ｖｏｃａｌ2）にグルーピングされるという点で差がある。このように二つのエンハンストオブジェクトが存在するので、エンハンストオブジェクト生成部１２４Ｂは、第１のエンハンストオブジェクト生成部１２４Ｂ―１及び第２のエンハンストオブジェクト生成部１２４Ｂ―２を含む。
【００７３】
第１のエンハンストオブジェクト生成部１２４Ｂ―１は、バックグラウンド信号（チャネルベース信号（Ｌ、Ｒ））及び第１のエンハンストオブジェクト信号（Ｖｏｃａｌ1）を用いて第１のエンハンストオブジェクト情報（ｒｅｓ1）及び臨時バックグラウンドオブジェクト（Ｌ1、Ｒ1）を生成する。
【００７４】
第２のエンハンストオブジェクト生成部１２４Ｂ―２は、第２のエンハンストオブジェクト信号（Ｖｏｃａｌ2）のみならず、第１の臨時バックグラウンドオブジェクト（Ｌ1、Ｒ1）も用いて、第２のエンハンストオブジェクト情報（ｒｅｓ2）及び最終ダウンミックス（ＬL、ＲL）としてバックグラウンドオブジェクト（Ｌ2、Ｒ2）を生成する。図４に示した第２の例の場合にも、エンハンストオブジェクト（ＥＯ）とエンハンストオブジェクト情報（ＥＯＰ：ｒｅｓ）の数が全て２個であることが分かる。
【００７５】
図５を参照すれば、図４に示した第２の例と同様に、エンハンストオブジェクト情報生成部１２４Ｃは、第１エンハンストオブジェクト情報生成部１２４Ｃ―１及び第２エンハンストオブジェクト情報生成部１２４Ｃ―２を含む。ただし、エンハンストオブジェクト（Ｖｏｃａｌ1L、Ｖｏｃａｌ1R）は、２つのオブジェクトベース信号がグルーピングされたものでなく、一つのオブジェクトベース信号（Ｖｏｃａｌ1L、Ｖｏｃａｌ1R）で構成される点で差異点が存在する。第３の例の場合にも、エンハンストオブジェクト（ＥＯ）の個数（Ｌ）とエンハンストオブジェクト情報（ＥＯＰ）の個数（Ｌ）とが同一であることが分かる。
【００７６】
図６を参照すれば、図４に示した第２の例と類似しているが、エンハンストオブジェクト生成部１２２で総Ｌ個のエンハンストオブジェクト（Ｖｏｃａｌ1，・・・，ＶｏｃａｌL）が生成されるという点で差がある。また、エンハンストオブジェクト情報生成部１２４Ｄは、第１エンハンストオブジェクト情報生成部１２４Ｄ―１及び第２エンハンストオブジェクト情報生成部１２４Ｄ―２のみならず、第Ｌエンハンストオブジェクト情報生成部１２４Ｄ―Ｌまで備えるという点で差異点が存在する。第Ｌエンハンストオブジェクト情報生成部１２４―Ｌは、第２エンハンストオブジェクト情報生成部１２４―２で生成された第２の臨時バックグラウンドオブジェクト（Ｌ2、Ｒ2）及び第Ｌのエンハンストオブジェクト（ＶｏｃａｌL）を用いて第Ｌのエンハンストオブジェクト情報（ＥＯＰL、ｒｅｓL）及びダウンミックス情報（ＬL、ＲL）（ＤＭＸ）を生成する。
【００７７】
図７を参照すれば、図６に示した第４の例で、第１のダブルエンハンストオブジェクト情報生成部１２４ＥＥ―１をさらに備える。ダウンミックス（ＤＭＸ：ＬL、ＲL）からエンハンストオブジェクト（ＥＯL）を差し引いた信号（ＤＤＭＸ）は、次のように定義することができる。
【００７８】
【数１】
【００７９】
ダブルエンハンスト情報（ＥＥＯＰ）は、ダウンミックス（ＤＭＸ：ＬL、ＲL）とエンハンストオブジェクト（ＥＯL）との間の情報でなく、式１によって定義された信号（ＤＤＭＸ）及びエンハンストオブジェクト（ＥＯL）に関する情報である。ダウンミックス（ＤＭＸ）からエンハンストオブジェクト（ＥＯL）を差し引く場合、エンハンストオブジェクトと関連して量子化雑音が発生しうる。このような量子化雑音をオブジェクト情報（ＯＰ）を用いて相殺させることによって、音質を改善させることができる（これについては、図９〜図１１を参照して説明することにする。）。この場合、エンハンストオブジェクト（ＥＯ）が含まれたダウンミックス（ＤＭＸ）に対して量子化雑音をコントロールするが、実際的には、エンハンストオブジェクト（ＥＯ）が除去されたダウンミックスに存在する量子化雑音をコントロールすることである。したがって、より精密に量子化雑音を除去するためには、エンハンストオブジェクト（ＥＯ）が除去されたダウンミックスに対して量子化雑音を除去するための情報が必要である。上記のように定義されたダブルエンハンスト情報（ＥＥＯＰ）を用いることができる。このとき、ダブルエンハンスト情報（ＥＥＯＰ）は、オブジェクト情報（ＯＰ）の生成方式と同一の方式によって生成される。
【００８０】
本発明の実施例に係るオーディオ信号処理装置のうちエンコーダ１００は、上述したような構成要素を備えることによって、ダウンミックス（ＤＭＸ）及び付加情報ビットストリームを生成する。
【００８１】
図８は、付加情報ビットストリームの多様な例を示した図である。まず、図８の（ａ）〜（ｂ）を参照すれば、付加情報ビットストリームは、図８の（ａ）のように、オブジェクトエンコーダ１１０などによって生成されたオブジェクト情報（ＯＰ）のみを含むことができ、図８の（ｂ）のように、オブジェクト情報（ＯＰ）のみならず、エンハンストオブジェクトエンコーダ１２０によって生成されたエンハンストオブジェクト情報（ＥＯＰ）まで含むことができる。一方、付加情報ビットストリームは、図８の（ｃ）を参照すれば、オブジェクト情報（ＯＰ）及びエンハンストオブジェクト情報（ＥＯＰ）のみならず、ダブルエンハンストオブジェクト情報（ＥＥＯＰ）をさらに含んでいる。一般的なオブジェクトデコーダでは、オブジェクト情報（ＯＰ）のみを用いてオーディオ信号をデコーディングすることができるので、このようなデコーダで図８の（ｂ）又は（ｃ）に示したビットストリームを受信する場合、エンハンストオブジェクト情報（ＥＯＰ）及び／又はダブルエンハンストオブジェクト情報（ＥＥＯＰ）を除去し、オブジェクト情報（ＯＰ）のみを抽出してデコーディングに用いることができる。
【００８２】
図８の（ｄ）を参照すれば、エンハンストオブジェクト情報（ＥＯＰ1，・・・，ＥＯＰL）がビットストリームに含まれている。上述したように、エンハンストオブジェクト情報（ＥＯＰ）は多様な方式で生成される。第１のエンハンストオブジェクト情報（ＥＯＰ1）〜第２のエンハンストオブジェクト（ＥＯＰ2）が第１の方式で生成され、第３のエンハンストオブジェクト情報（ＥＯＰ3）〜第５のエンハンストオブジェクト情報（ＥＯＰ5）が第２の方式で生成された場合、各生成方法を表す識別子（Ｆ1、Ｆ2）をビットストリームに含ませることができる。図８の（ｄ）に示すように、生成方法を表す識別子（Ｆ1、Ｆ2）を、同一の方式で生成されたエンハンストオブジェクト情報の前のみに１回挿入することもできるが、各エンハンストオブジェクト情報の前に全て挿入することもできる。
【００８３】
本発明の実施例に係るオーディオ信号処理装置のうちデコーダ２００は、上記のように生成された付加情報ビットストリーム及びダウンミックスを受信してデコーディングすることができる。
【００８４】
図９は、本発明の実施例に係るオーディオ信号処理装置のうち情報生成ユニットの細部構成を示す図である。情報生成ユニット２２０は、オブジェクト情報デコーディング部２２２、エンハンストオブジェクト情報デコーディング部２２４及びマルチチャネル情報生成部２２６を含む。一方、デマルチプレクサ２１０からバックグラウンドオブジェクトをコントロールするための空間情報（ＳＰ）が受信された場合、この空間情報（ＳＰ）は、エンハンストオブジェクト情報デコーディング部２２４及びオブジェクト情報デコーディング部２２２で使用されずに、直ちにマルチチャネル情報生成部２２６に伝達される。
【００８５】
まず、エンハンストオブジェクト情報デコーディング部２２４は、デマルチプレクサ２１０から受信したオブジェクト情報（ＯＰ）及びエンハンストオブジェクト情報（ＥＯＰ）を用いてエンハンストオブジェクト（ＥＯ）を抽出し、バックグラウンドオブジェクト（Ｌ、Ｒ）を出力する。エンハンストオブジェクト情報デコーディング部２２４の細部構成の一例は、図１０に示されている。
【００８６】
図１０を参照すれば、エンハンストオブジェクト情報デコーディング部２２４は、第１のエンハンストオブジェクト情報デコーディング部２２４―１〜第Ｌのエンハンストオブジェクト情報デコーディング部２２４―Ｌを含む。第１のエンハンストオブジェクトデコーディング部２２４―１は、第１のエンハンストオブジェクト情報（ＥＯＰL）を用いて、ダウンミックス（ＭＸＩ）を第１のエンハンストオブジェクト（ＥＯL）（第１の独立オブジェクト）と第１の臨時バックグラウンドオブジェクト（ＬL―1、ＲL―1）に分離するためのバックグラウンドパラメータ（ＢＰ：Ｂａｃｋｇｏｕｎｄ Ｐａｒａｍｅｔｅｒ）を生成する。ここで、第１のエンハンストオブジェクトは、センターチャネルに該当し、第１の臨時バックグラウンドオブジェクトは、左側のチャネル及び右側のチャネルに該当する。
【００８７】
これと同様に、第Ｌのエンハンストオブジェクト情報デコーディング部２２４―Ｌは、第Ｌのエンハンストオブジェクト情報（ＥＯＰ1）を用いて、第Ｌ―１の臨時バックグラウンドオブジェクト（Ｌ1、Ｒ1）を第Ｌのエンハンストオブジェクト（ＥＯ1）とバックグラウンドオブジェクト（Ｌ、Ｒ）に分離するためのバックグラウンドパラメータ（ＢＰ）を生成する。
【００８８】
一方、第１のエンハンストオブジェクト情報デコーディング部２２４―１〜第Ｌのエンハンストオブジェクト情報デコーディング部２２４―Ｌは、Ｎ入力を用いてＮ＋１出力を生成（例えば、２入力を用いて３出力を生成）するモジュールによって具現される。
【００８９】
一方、エンハンストオブジェクト情報デコーディング部２２４が前記のようなバックグラウンドパラメータ（ＢＰ）を生成するためには、エンハンストオブジェクト情報（ＥＯＰ）のみならず、オブジェクト情報（ＯＰ）まで用いることができる。以下では、オブジェクト情報（ＯＰ）を用いる目的及び利点について説明する。
【００９０】
本発明では、エンハンストオブジェクト（ＥＯ）をダウンミックス（ＤＭＸ）から除去することが目的であるが、ダウンミックス（ＤＭＸ）の符号化方法及びエンハンストオブジェクト情報（ＥＯＰ）の符号化方法によって量子化雑音が出力に含まれる。この場合、量子化雑音は元の信号と関連しているので、エンハンストオブジェクトにグルーピングされる前のオブジェクトに関する情報であるオブジェクト情報（ＯＰ）を用いて追加的に音質を改善することが可能である。例えば、１番目のオブジェクトがボーカルオブジェクトである場合、第１のオブジェクト情報（ＯＰ1）はボーカルの時間、周波数、空間に関する情報を含む。ダウンミックス（ＤＭＸ）からボーカルを差し引いた出力は、次の式に示す通りであるが、ボーカルを差し引いた出力に対して第１のオブジェクト情報（ＯＰ1）を用いてボーカルを抑圧する場合、ボーカルが存在していた区間に残余する量子化雑音を追加的に抑圧する機能を行うようになる。
【００９１】
【数２】
【００９２】
（ここで、ＤＭＸは、入力ダウンミックス信号を表し、ＥＯ1’は、コーデックでエンコーディング／デコーディングされた第１のエンハンストオブジェクトを表す。）
【００９３】
したがって、特定のオブジェクトに対してエンハンストオブジェクト情報（ＥＯＰ）及びオブジェクト情報（ＯＰ）を適用することによって、追加的に性能を改善することができ、このようなエンハンストオブジェクト情報（ＥＯＰ）及びオブジェクト情報（ＯＰ）の適用は順次的又は同時的なものである。一方、オブジェクト情報（ＯＰ）は、エンハンストオブジェクト（独立オブジェクト）及び前記バックグラウンドオブジェクトに関連する情報に相当するものである。
【００９４】
再び図９を参照すれば、オブジェクト情報デコーディング部２２２は、デマルチプレクサ２１０から受信したオブジェクト情報（ＯＰ）及びエンハンストオブジェクト情報デコーディング部２２４から受信したエンハンストオブジェクト（ＥＯ）に関するオブジェクト情報（ＯＰ）をデコーディングする。オブジェクト情報デコーディング部２２２の細部構成の一例は、図１１に示されている。
【００９５】
図１１を参照すれば、オブジェクト情報デコーディング部２２２は、第１オブジェクト情報デコーディング部２２２―１〜第Ｌオブジェクト情報デコーディング部２２２―Ｌを含む。第１オブジェクト情報デコーディング部２２２―１は、少なくとも１つのオブジェクト情報（ＯＰN）を用いて第１のエンハンストオブジェクト（ＥＯ1）を少なくとも１つのオブジェクト（例えば、Ｖｏｃａｌ1、Ｖｏｃａｌ2）に分離するための独立パラメータ（ＩＰ：Ｉｎｄｅｐｅｎｄｅｎｔ Ｐａｒａｍｅｔｅｒ）を生成する。これと同様に、第Ｌオブジェクト情報デコーディング部２２２―Ｌは、少なくとも１つのオブジェクト情報（ＯＰN）を用いて第Ｌのエンハンストオブジェクト（ＥＯL）を少なくとも１つのオブジェクト（例えば、Ｖｏｃａｌ4）に分離するための独立パラメータ（ＩＰ）を生成する。このように、オブジェクト情報（ＯＰ）を用いてエンハンストオブジェクト（ＥＯ）にグルーピングされていたそれぞれのオブジェクトを個別に制御することができる。
【００９６】
再び図９を参照すれば、マルチチャネル情報生成部２２６は、使用者インターフェースなどを介してミックス情報（ＭＸＩ：ｍｉｘ ｉｎｆｏｒｍａｔｉｏｎ）を受信し、デジタル媒体、放送媒体などを介してダウンミックス（ＤＭＸ）を受信する。そして、受信されたミックス情報（ＭＸＩ）及びダウンミックス（ＤＭＸ）を用いてバックグラウンドオブジェクト（Ｌ、Ｒ）及び／又はエンハンストオブジェクト（ＥＯ）をレンダリングするためのマルチチャネル情報（ＭＩ）を生成する。
【００９７】
ここで、ミックス情報（ＭＸＩ）は、オブジェクト位置情報、オブジェクト利得情報及び再生環境情報などに基づいて生成された情報であり、オブジェクト位置情報は、使用者が各オブジェクトの位置又はパニングを制御するために入力した情報で、オブジェクト利得情報は、使用者が各オブジェクトの利得を制御するために入力した情報である。再生環境情報は、スピーカーの個数、スピーカーの位置、アンビエント情報（スピーカーの仮想位置）などを含む情報で、使用者から入力を受けることもでき、予め保存されることも可能であり、他の装置から受信することもできる。
【００９８】
マルチチャネル情報生成部２２６は、マルチチャネル情報（ＭＩ）を生成するために、オブジェクト情報デコーディング部２２２から受信した独立パラメータ（ＩＰ）及び／又はエンハンストオブジェクト情報デコーディング部２２４から受信したバックグラウンドパラメータ（ＢＰ）を用いることができる。まず、ミックス情報（ＭＸＩ）によってエンハンストオブジェクト（独立オブジェクト）をコントロールするための第１のマルチチャネル情報（ＭＩ1）を生成する。例えば、使用者がボーカル信号のようなエンハンストオブジェクトを完全に抑圧するための制御情報を入力した場合、この制御情報が適用されたミックス情報（ＭＸＩ）によって、ダウンミックス（ＤＭＸ）からエンハンストオブジェクトを除去するための第１のマルチチャネル情報を生成する。
【００９９】
上記のように独立オブジェクトをコントロールするための第１のマルチチャネル情報（ＭＩ1）を生成した後、この第１のマルチチャネル情報（ＭＩ1）及びデマルチプレクサ２１０から伝達された空間情報（ＳＰ）を用いて、バックグラウンドオブジェクトをコントロールするための第２のマルチチャネル情報（ＭＩ2）を生成する。具体的に、次の式に表現されたように、第１のマルチチャネル情報が適用された信号（すなわち、エンハンストオブジェクト（ＥＯ））をダウンミックス（ＤＭＸ）から差し引く方式で第２のマルチチャネル情報（ＭＩ2）を生成することができる。
【０１００】
【数３】
【０１０１】
（ＢＯは、バックグラウンドオブジェクト信号を表し、ＤＭＸは、ダウンミックス信号を表し、ＥＯLは、第Ｌのエンハンストオブジェクトを表す。）
【０１０２】
ここで、ダウンミックスからエンハンストオブジェクトを差し引く過程は、時間ドメイン又は周波数ドメイン上で行われる。また、ダウンミックス（ＤＭＸ）のチャネル数と、第１のマルチチャネル情報が適用された信号のチャネル数（すなわち、エンハンストオブジェクトのチャネル数）とが同一である場合には、チャネル別に差し引かれる。
【０１０３】
第１のマルチチャネル情報（ＭＩ1）及び第２のマルチチャネル情報（ＭＩ2）を含むマルチチャネル情報（ＭＩ）を生成し、これをマルチチャネルデコーダ２４０に伝達する。
【０１０４】
マルチチャネルデコーダ２４０は、処理されたダウンミックスを受信し、マルチチャネル情報（ＭＩ）を用いて処理されたダウンミックス信号をアップミキシングし、マルチチャネル信号を生成する。
【０１０５】
以上のように、本発明は、限定された実施例及び図面に基づいて説明されたが、これによって限定されるものでなく、本発明の属する技術分野で通常の知識を有する者によって本発明の技術思想及び下記の特許請求の範囲の均等範囲内で多様な修正及び変形が可能であることは当然である。
【産業上の利用可能性】
【０１０６】
本発明は、オーディオ信号をエンコーディング及びデコーディングするのに適用される。
【特許請求の範囲】
【請求項１】
少なくとも１つの独立オブジェクト及びバックグラウンドオブジェクトがダウンミックスされたダウンミックス情報を受信し、
オブジェクト情報及びエンハンストオブジェクト情報を受信し、
前記オブジェクト情報及び前記エンハンストオブジェクト情報を用いて、前記ダウンミックス情報から少なくとも１つの独立オブジェクトを抽出することを特徴とするオーディオ信号処理方法。
【請求項２】
前記オブジェクト情報は、前記独立オブジェクト及び前記バックグラウンドオブジェクトに関連する情報に相当することを特徴とする、請求項１に記載のオーディオ信号処理方法。
【請求項３】
前記オブジェクト情報は、前記独立オブジェクトと前記バックグラウンドオブジェクトとの間のレベル情報及び相関情報のうち少なくとも１つを含むことを特徴とする、請求項２に記載のオーディオ信号処理方法。
【請求項４】
前記エンハンストオブジェクト情報はレジデュアル信号を含むことを特徴とする、請求項１に記載のオーディオ信号処理方法。
【請求項５】
前記レジデュアル信号は、少なくとも１つのオブジェクトベース信号をエンハンストオブジェクトにグルーピングする過程で抽出されたものであることを特徴とする、請求項４に記載のオーディオ信号処理方法。
【請求項６】
前記独立オブジェクトは、オブジェクトベース信号であり、
前記バックグラウンドオブジェクトは、少なくとも１つのチャネルベース信号を含むか、少なくとも１つのチャネルベース信号がダウンミックスされた信号であることを特徴とする、請求項１に記載のオーディオ信号処理方法。
【請求項７】
前記バックグラウンドオブジェクトは、左側のチャネル信号及び右側のチャネル信号を含むことを特徴とする、請求項６に記載のオーディオ信号処理方法。
【請求項８】
前記ダウンミックス情報は、放送信号を介して受信されることを特徴とする、請求項１に記載のオーディオ信号処理方法。
【請求項９】
前記ダウンミックス情報は、デジタル媒体を介して受信されることを特徴とする、請求項１に記載のオーディオ信号処理方法。
【請求項１０】
請求項１に記載の方法を実行するためのプログラムが保存されたコンピュータ読取可能記録媒体。
【請求項１１】
少なくとも１つの独立オブジェクト及びバックグラウンドオブジェクトがダウンミックスされたダウンミックス情報を受信し、オブジェクト情報及びエンハンストオブジェクト情報を受信する情報受信部と、
前記オブジェクト情報及び前記エンハンストオブジェクト情報を用いて、前記ダウンミックスから少なくとも１つの独立オブジェクトを抽出する情報生成ユニットと、を含むことを特徴とするオーディオ信号処理装置。
【請求項１】
少なくとも１つの独立オブジェクト及びバックグラウンドオブジェクトがダウンミックスされたダウンミックス情報を受信し、
オブジェクト情報及びエンハンストオブジェクト情報を受信し、
前記オブジェクト情報及び前記エンハンストオブジェクト情報を用いて、前記ダウンミックス情報から少なくとも１つの独立オブジェクトを抽出することを特徴とするオーディオ信号処理方法。
【請求項２】
前記オブジェクト情報は、前記独立オブジェクト及び前記バックグラウンドオブジェクトに関連する情報に相当することを特徴とする、請求項１に記載のオーディオ信号処理方法。
【請求項３】
前記オブジェクト情報は、前記独立オブジェクトと前記バックグラウンドオブジェクトとの間のレベル情報及び相関情報のうち少なくとも１つを含むことを特徴とする、請求項２に記載のオーディオ信号処理方法。
【請求項４】
前記エンハンストオブジェクト情報はレジデュアル信号を含むことを特徴とする、請求項１に記載のオーディオ信号処理方法。
【請求項５】
前記レジデュアル信号は、少なくとも１つのオブジェクトベース信号をエンハンストオブジェクトにグルーピングする過程で抽出されたものであることを特徴とする、請求項４に記載のオーディオ信号処理方法。
【請求項６】
前記独立オブジェクトは、オブジェクトベース信号であり、
前記バックグラウンドオブジェクトは、少なくとも１つのチャネルベース信号を含むか、少なくとも１つのチャネルベース信号がダウンミックスされた信号であることを特徴とする、請求項１に記載のオーディオ信号処理方法。
【請求項７】
前記バックグラウンドオブジェクトは、左側のチャネル信号及び右側のチャネル信号を含むことを特徴とする、請求項６に記載のオーディオ信号処理方法。
【請求項８】
前記ダウンミックス情報は、放送信号を介して受信されることを特徴とする、請求項１に記載のオーディオ信号処理方法。
【請求項９】
前記ダウンミックス情報は、デジタル媒体を介して受信されることを特徴とする、請求項１に記載のオーディオ信号処理方法。
【請求項１０】
請求項１に記載の方法を実行するためのプログラムが保存されたコンピュータ読取可能記録媒体。
【請求項１１】
少なくとも１つの独立オブジェクト及びバックグラウンドオブジェクトがダウンミックスされたダウンミックス情報を受信し、オブジェクト情報及びエンハンストオブジェクト情報を受信する情報受信部と、
前記オブジェクト情報及び前記エンハンストオブジェクト情報を用いて、前記ダウンミックスから少なくとも１つの独立オブジェクトを抽出する情報生成ユニットと、を含むことを特徴とするオーディオ信号処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８（ａ）】
【図８（ｂ）】
【図８（ｃ）】
【図８（ｄ）】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８（ａ）】
【図８（ｂ）】
【図８（ｃ）】
【図８（ｄ）】
【図９】
【図１０】
【図１１】
【公表番号】特表２０１０−５２１７０３（Ｐ２０１０−５２１７０３Ａ）
【公表日】平成２２年６月２４日（２０１０．６．２４）
【国際特許分類】
【出願番号】特願２００９−５５３５２７（Ｐ２００９−５５３５２７）
【出願日】平成２０年３月１７日（２００８．３．１７）
【国際出願番号】ＰＣＴ／ＫＲ２００８／００１４９７
【国際公開番号】ＷＯ２００８／１１４９８５
【国際公開日】平成２０年９月２５日（２００８．９．２５）
【出願人】（５０２０３２１０５）エルジー エレクトロニクス インコーポレイティド (2,269)
【Ｆターム（参考）】
【公表日】平成２２年６月２４日（２０１０．６．２４）
【国際特許分類】
【出願日】平成２０年３月１７日（２００８．３．１７）
【国際出願番号】ＰＣＴ／ＫＲ２００８／００１４９７
【国際公開番号】ＷＯ２００８／１１４９８５
【国際公開日】平成２０年９月２５日（２００８．９．２５）
【出願人】（５０２０３２１０５）エルジー エレクトロニクス インコーポレイティド (2,269)
【Ｆターム（参考）】
[ Back to top ]