オーディオ信号の処理方法及び装置
一つ以上のオブジェクト信号を含むダウンミックス信号と前記ダウンミックス信号を生成する過程で抽出されたオブジェクト情報を受信し、モード選択情報を含み、前記オブジェクト信号をコントロールするためのミックス情報を受信し、前記モード選択情報に基づいて、前記ダウンミックス信号をバイパスする、又は前記ダウンミックス信号からバックグラウンドオブジェクト及び一つ以上の独立オブジェクトを抽出し、前記ダウンミック信号がバイパスされた場合、前記オブジェクト情報及び前記ミックス情報を用いてマルチチャネル情報を生成することを含み、前記ダウンミックス信号はモノ信号に該当し、前記モード選択情報は、一般モード、前記バックグラウンドオブジェクトを制御するためのモード及び前記一つ以上の独立オブジェクトを制御するためのモードを含む各モードのうちいずれのモードに該当するかに関する情報を含むオーディオ信号処理方法を開示する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、オーディオ信号の処理方法及び装置に関するものである。本発明は、広範囲のアプリケーションに適するが、特に、デジタル媒体及び放送信号などを介して受信されたオーディオ信号を処理することに適する。
【背景技術】
【0002】
一般に、複数のオブジェクトをモノ又はステレオ信号にダウンミックスする過程において、それぞれのオブジェクト信号から各パラメータが抽出される。これらの各パラメータはデコーダで使用されるが、それぞれのオブジェクトのパニング(panning)とゲインはユーザの選択により制御可能である。
【0003】
しかしながら、それぞれのオブジェクト信号を制御するためには、ダウンミックスに含まれているそれぞれのソースが適切にポジショニング又はパニングされなければならない。
【0004】
また、チャネル向け(oriented)デコーディング方式に従い下位互換性を提供するためには、オブジェクトパラメータはアップミキシングのためのマルチチャネルパラメータに変換されなければならない。
【発明の概要】
【発明が解決しようとする課題】
【0005】
従って、本発明は、オーディオ信号処理装置及びその方法に向けられ、関連技術の制限や不利点による1つ以上の問題を実質的に取り除く。
【0006】
本発明は、前記のような問題を解決するためになされたもので、その目的は、オブジェクトのゲインとパニングをコントロールし、モノ信号、ステレオ信号及びマルチチャネル信号を出力することができるオーディオ信号処理方法及び装置を提供することにある。
【0007】
本発明の更に他の目的は、マルチチャネルデコーダの複雑な方法を実行することなく、ダウンミックス信号からモノ信号及びステレオ信号を出力することができるオーディオ信号処理方法及び装置を提供することにある。
【0008】
本発明の更に他の目的は、ボーカルや背景音楽のゲインを大幅に調節する場合も、音質のひずみを発生させないオーディオ信号処理方法及び装置を提供することにある。
【課題を解決するための手段】
【0009】
本発明の更なる特性と利点は、以下の記載で説明され、当該記載から一部が明らかとなり、又は本発明の実施により知ることができる。本発明の目的とその他の利点は、明細書、特許請求の範囲、図面で特に示される構成により、実現され、及び達成される。
【0010】
前記のような目的を達成するために、本発明に係るオーディオ信号処理方法は、一つ以上のオブジェクト信号を含むダウンミックス信号と前記ダウンミックス信号を生成する過程で抽出されたオブジェクト情報を受信し、前記オブジェクト信号をコントロールするためのミックス情報を受信し、出力モードに応じて、前記オブジェクト情報及び前記ミックス情報を用いてダウンミックス処理情報(processing information)及びマルチチャネル情報のうち一つを生成し、前記ダウンミックス処理情報が生成された場合、前記ダウンミックス処理情報を前記ダウンミックス信号に適用して出力信号を生成することを含み、前記ダウンミックス信号及び前記出力信号はモノ信号に該当し、前記マルチチャネル情報は、前記ダウンミックス信号を複数のチャネル信号にアップミキシングするための情報に該当する。
【0011】
本発明によれば、前記ダウンミックス信号及び前記出力信号は、時間ドメインの信号に該当する。
【0012】
本発明によれば、前記出力信号を生成することは、前記ダウンミックス信号を分解(decomposing)することによりサブバンド信号を生成し、前記ダウンミックス処理情報を用いて前記サブバンド信号を処理し、前記サブバンド信号を合成することによって前記出力信号を生成することを有する。
【0013】
本発明によれば、前記出力信号は、前記ダウンミックス信号がデコリレート(decorrelating)された信号を含むことができる。
【0014】
本発明によれば、前記マルチチャネル情報が生成された場合、前記マルチチャネル情報を用いて前記ダウンミックス信号をアップミキシングし、複数のチャネル信号を生成することをさらに含むことができる。
【0015】
本発明によれば、前記出力モードは、スピーカーチャネルの数によって決定されたもので、前記スピーカーチャネルの数は、装置情報及び前記ミックス情報のうち一つに基づいている。
【0016】
本発明によれば、前記ミックス情報は、オブジェクト位置情報、オブジェクトゲイン情報及び再生環境(playback configuration)情報のうち一つ以上に基づいて生成されたものである。
【0017】
本発明の更に他の側面によれば、一つ以上のオブジェクト信号を含む時間ドメインのダウンミックス信号及び前記ダウンミックス信号を生成する過程で抽出されたオブジェクト情報を受信するデマルチプレクサ(demultiplexer)と、出力モードに応じて、前記オブジェクト信号をコントロールするためのミックス情報及び前記オブジェクト情報を用いてダウンミックス処理情報及びマルチチャネル情報のうち一つを生成する情報生成ユニットと、前記ダウンミックス処理情報が生成された場合、前記ダウンミックス処理情報を前記ダウンミックス信号に適用して出力信号を生成するダウンミックス処理ユニットと、を含み、前記ダウンミックス信号及び前記出力信号はモノ信号に該当し、前記マルチチャネル情報は、前記ダウンミックス信号を複数のチャネル信号にアップミキシングするための情報に該当するオーディオ信号処理装置が提供される。
【0018】
本発明によれば、前記ダウンミックス処理ユニットは、前記ダウンミックス信号を分解してサブバンド信号を生成するサブバンド分解ユニットと、前記ダウンミックス処理情報を用いて前記サブバンド信号を処理するM2M処理ユニットと、前記サブバンド信号を合成することによって前記出力信号を生成するサブバンド合成ユニットと、を含むことができる。
【0019】
本発明の更に他の側面によれば、一つ以上のオブジェクト信号を含むダウンミックス信号と前記ダウンミックス信号を生成する過程で抽出されたオブジェクト情報を受信し、前記オブジェクト信号をコントロールするためのミックス情報を受信し、出力モードに応じて、前記オブジェクト情報及び前記ミックス情報を用いてダウンミックス処理情報及びマルチチャネル情報のうち一つを生成し、前記ダウンミックス処理情報が生成された場合、前記ダウンミックス処理情報を前記ダウンミックス信号に適用して出力信号を生成することを含み、前記ダウンミックス信号はモノ信号に該当し、前記出力信号は、前記ダウンミックス信号にデコリレータを適用して生成されたステレオ信号に該当し、前記マルチチャネル情報は、前記ダウンミックス信号をマルチチャネル信号にアップミキシングするための情報に該当するオーディオ信号処理方法が提供される。
【0020】
本発明によれば、前記ダウンミックス信号及び前記出力信号は、時間ドメインの信号に該当する。
【0021】
本発明によれば、前記出力信号を生成するのは、前記ダウンミックス信号を分解してサブバンド信号を生成し、前記ダウンミックス処理情報を用いて前記サブバンド信号を処理することによって二つのサブバンド信号を生成し、前記二つのサブバンド信号をそれぞれ合成することによって前記出力信号を生成することを含むことができる。
【0022】
本発明によれば、前記二つのサブバンド信号を生成することは、前記サブバンド信号をデコリレートすることによって、デコリレートされた信号を生成し、前記ダウンミックス処理情報を用いて前記デコリレートされた信号及び前記サブバンド信号を処理することによって、前記二つのサブバンド信号を生成することを有する。
【0023】
本発明によれば、前記ダウンミックス処理情報は、バイノーラル(binaural)パラメータを含み、前記出力信号は、バイノーラル信号に該当する。
【0024】
本発明によれば、前記マルチチャネル情報が生成された場合、前記マルチチャネル情報を用いて前記ダウンミックス信号をアップミキシングし、複数のチャネル信号を生成することをさらに含むことができる。
【0025】
本発明によれば、前記出力モードは、スピーカーチャネルの数によって決定されたもので、前記スピーカーチャネルの数は、装置情報及び前記ミックス情報のうち一つに基づいている。
【0026】
本発明の更に他の側面によれば、一つ以上のオブジェクト信号を含むダウンミックス信号及び前記ダウンミックス信号を生成する過程で抽出されたオブジェクト情報を受信するデマルチプレクサと、出力モードに応じて、前記オブジェクト信号をコントロールするためのミックス情報及び前記オブジェクト情報を用いて、ダウンミックス処理情報及びマルチチャネル情報のうち一つを生成する情報生成ユニットと、前記ダウンミックス処理情報が生成された場合、前記ダウンミックス処理情報を前記ダウンミックス信号に適用して出力信号を生成するダウンミックス処理ユニットと、を含み、前記ダウンミックス信号はモノ信号に該当し、前記出力信号は、前記ダウンミックス信号にデコリレータを適用して生成されたステレオ信号に該当し、前記マルチチャネル情報は、前記ダウンミックス信号をマルチチャネル信号にアップミキシングするための情報に該当するオーディオ信号処理装置が提供される。
【0027】
本発明の更に他の側面によれば、一つ以上のオブジェクト信号を含むダウンミックス信号と前記ダウンミックス信号を生成する過程で抽出されたオブジェクト情報を受信し、モード選択情報を含み、前記オブジェクト信号をコントロールするためのミックス情報を受信し、前記モード選択情報に基づいて、前記ダウンミックス信号をバイパスしたり、前記ダウンミックス信号からバックグラウンドオブジェクト及び一つ以上の独立オブジェクトを抽出し、前記ダウンミックス信号がバイパスされた場合、前記オブジェクト情報及び前記ミックス情報を用いてマルチチャネル情報を生成することを含み、前記ダウンミックス信号はモノ信号に該当し、前記モード選択情報は、一般モード、前記バックグラウンドオブジェクトを制御するためのモード及び前記一つ以上の独立オブジェクトを制御するためのモードを含む各モードのうちいずれのモードに該当するかに関する情報を含むオーディオ信号処理方法が提供される。
【0028】
本発明によれば、改良(enhanced)オブジェクト情報を受信することをさらに含み、前記一つ以上の独立オブジェクトは、前記改良オブジェクト情報を用いて前記ダウンミックス信号から抽出されるものである。
【0029】
本発明によれば、前記改良オブジェクト情報は残余信号に該当する。
【0030】
本発明によれば、前記一つ以上の独立オブジェクトはオブジェクトベースの信号に該当し、前記バックグラウンドオブジェクトはモノ信号に該当する。
【0031】
本発明によれば、前記ステレオ出力信号は、前記モード選択モードが前記一般モードに該当する場合に生成され、前記バックグラウンドオブジェクト及び前記一つ以上の独立オブジェクトは、前記モード選択モードが前記バックグラウンドオブジェクトを制御するためのモード又は前記一つ以上の独立オブジェクトを制御するためのモードである場合に抽出される。
【0032】
本発明によれば、前記バックグラウンドオブジェクト及び前記一つ以上の独立オブジェクトが前記ダウンミックス信号から抽出される場合、前記バックグラウンドオブジェクトをコントロールするための第1のマルチチャネル情報及び前記一つ以上の独立オブジェクトをコントロールするための第2のマルチチャネル情報のうち一つ以上を生成することをさらに含むことができる。
【0033】
本発明の更に他の側面によれば、一つ以上のオブジェクト信号を含むダウンミックス信号及び前記ダウンミックス信号を生成する過程で抽出されたオブジェクト情報を受信するデマルチプレクサと、前記オブジェクト信号をコントロールするためのミックス情報に含まれるモード選択情報に基づいて、前記ダウンミックス信号をバイパスしたり、前記ダウンミックス信号からバックグラウンドオブジェクト及び一つ以上の独立オブジェクトを抽出するオブジェクトトランスコーダ(transcoder)と、前記ダウンミックス信号がバイパスされた場合、前記オブジェクト情報及び前記ミックス情報を用いてマルチチャネル情報を生成するマルチチャネルデコーダと、を含み、前記ダウンミックス信号はモノ信号に該当し、前記出力信号は、前記ダウンミックス信号にデコリレータを適用して生成されたステレオ信号に該当し、前記モード選択情報は、一般モード、前記バックグラウンドオブジェクトを制御するためのモード及び前記一つ以上の独立オブジェクトを制御するためのモードを含む各モードのうちいずれのモードに該当するかに関する情報を含むことができる。
【0034】
本発明の更に他の側面によれば、一つ以上のオブジェクト信号を含むダウンミックス信号と前記ダウンミックス信号を生成する過程で抽出されたオブジェクト情報を受信し、モード選択情報を含み、前記オブジェクト信号をコントロールするためのミックス情報を受信し、前記モード選択情報に基づいて、前記ダウンミックス信号を用いてステレオ出力信号を生成したり、前記ダウンミックス信号からバックグラウンドオブジェクト及び一つ以上の独立オブジェクトを抽出することを含み、前記ダウンミックス信号はモノ信号に該当し、前記ステレオ出力信号は、前記ダウンミックス信号がデコリレートされた信号を含む時間ドメインの信号に該当し、前記モード選択情報は、一般モード、前記バックグラウンドオブジェクトを制御するためのモード及び前記一つ以上の独立オブジェクトを制御するためのモードを含む各モードのうちいずれのモードに該当するかに関する情報を含むオーディオ信号処理方法が提供される。
【0035】
本発明によれば、改良オブジェクト情報を受信することをさらに含み、前記一つ以上の独立オブジェクトは、前記改良オブジェクト情報を用いて前記ダウンミックス信号から抽出されるものである。
【0036】
本発明によれば、前記改良オブジェクト情報は残余信号に該当する。
【0037】
本発明によれば、前記一つ以上の独立オブジェクトはオブジェクトベースの信号に該当し、前記バックグラウンドオブジェクトはモノ信号に該当する。
【0038】
本発明によれば、前記ステレオ出力信号は、前記モード選択モードが前記一般モードに該当する場合に生成され、前記バックグラウンドオブジェクト及び前記一つ以上の独立オブジェクトは、前記モード選択モードが前記バックグラウンドオブジェクトを制御するためのモード又は前記一つ以上の独立オブジェクトを制御するためのモードである場合に抽出される。
【0039】
本発明によれば、前記バックグラウンドオブジェクト及び前記一つ以上の独立オブジェクトが前記ダウンミックス信号から抽出される場合、前記バックグラウンドオブジェクトをコントロールするための第1のマルチチャネル情報及び前記一つ以上の独立オブジェクトをコントロールするための第2のマルチチャネル情報のうち一つ以上を生成することをさらに含むことができる。
【0040】
本発明の更に他の側面によれば、一つ以上のオブジェクト信号を含むダウンミックス信号及び前記ダウンミックス信号を生成する過程で抽出されたオブジェクト情報を受信するデマルチプレクサと、前記オブジェクト信号をコントロールするためのミックス情報に含まれたモード選択情報に基づいて、前記ダウンミックス信号を用いてステレオ出力信号を生成したり、前記ダウンミックス信号からバックグラウンドオブジェクト及び一つ以上の独立オブジェクトを抽出するオブジェクトトランスコーダと、を含み、前記ダウンミックス信号はモノ信号に該当し、前記ステレオ出力信号は、前記ダウンミックス信号がデコリレートされた信号を含む時間ドメインの信号に該当し、前記モード選択情報は、一般モード、前記バックグラウンドオブジェクトを制御するためのモード及び前記一つ以上の独立オブジェクトを制御するためのモードを含む各モードのうちいずれのモードに該当するかに関する情報を含むオーディオ信号処理装置が提供される。
【0041】
当然のことであるが、前記の一般的な記載、及び以下の詳細な記載の両方は、典型的なもの、説明的なものであり、請求項に記載される本発明の更なる説明を提供することを目的とする。
【発明の効果】
【0042】
本発明は、次のような効果と利点を提供する。
【0043】
まず、オブジェクトのゲインとパニングを制限なしにコントロールすることができる。
【0044】
第二に、ユーザの選択に基づいてオブジェクトのゲインとパニングをコントロールすることができる。
【0045】
第三に、出力モードがモノ又はステレオである場合、マルチチャネルデコーダの複雑な方法を実行せずに出力信号を生成できるので、具現が容易であり、複雑度を低下させることができる。
【0046】
第四に、モバイルデバイスのように1〜2個のスピーカのみが備えられた場合、マルチチャネルデコーダに対応するコーデックなしで、ダウンミックス信号のオブジェクトのゲインとパニングをコントロールすることができる。
【0047】
第五に、ボーカルや背景音楽のうち一つを完全に抑圧する場合も、ゲイン調整による音質のひずみを防止することができる。
【0048】
第六に、ボーカルなどのような独立オブジェクトが二つ以上である場合(ステレオチャネル又は幾つかのボーカル信号)、ゲイン調整による音質のひずみを防止することができる。
【0049】
本発明の更なる理解を提供するために添付され、組み込まれ、及び本明細書の一部を構成する図面は、本発明の実施例を説明し、明細書と共に、本発明の原理を説明する。
【図面の簡単な説明】
【0050】
【図1】モノ信号/ステレオ信号を生成するための本発明の実施例に係るオーディオ信号処理装置の構成図である。
【図2】図1に示したダウンミックス処理ユニットの細部構成図の第1の例である。
【図3】図1に示したダウンミックス処理ユニットの細部構成図の第2の例である。
【図4】バイノーラル信号を生成するための本発明の一実施例に係るオーディオ信号処理装置の構成図である。
【図5】図4のダウンミックス処理ユニットの細部構成図である。
【図6】バイノーラル信号を生成するための本発明の他の実施例に係るオーディオ信号処理装置の構成図である。
【図7】独立オブジェクトを制御するための本発明の一実施例に係るオーディオ信号処理装置の構成図である。
【図8】独立オブジェクトを制御するための本発明の他の実施例に係るオーディオ信号処理装置の構成図である。
【図9】改良オブジェクト処理のための本発明の第1の実施例に係るオーディオ信号処理装置の構成図である。
【図10】改良オブジェクト処理のための本発明の第2の実施例に係るオーディオ信号処理装置の構成図である。
【図11】改良オブジェクト処理のための本発明の第3の実施例に係るオーディオ信号処理装置の構成図である。
【図12】改良オブジェクト処理のための本発明の第3の実施例に係るオーディオ信号処理装置の構成図である。
【発明を実施するための形態】
【0051】
以下、添付の図面を参照して本発明の好適な実施例を詳細に説明する。本明細書及び特許請求の範囲に使用された用語や単語は、通常的又は辞典的な意味に限定して解釈してはならず、発明者が自身の発明を最も最善の方法で説明するために用語の概念を適切に定義することができるとの原則に立脚し、本発明の技術的思想に符合する意味と概念に解釈しなければならない。したがって、本明細書に記載された実施例と図面に示した構成は、本発明の最も好適な一実施例に過ぎないもので、本発明の技術的思想を全て代弁するものではないので、本出願時点において、これらに取って代わる多様な均等物と変形例があり得ることを理解しなければならない。
【0052】
特に、本明細書において、情報とは、値、パラメータ、係数、成分などを総称する用語であって、場合によっては異なった意味に解釈されるが、本発明がこれに限定されることはない。
【0053】
特に、オブジェクトは、オブジェクトベース信号及びチャネルベース信号を含む概念であるが、場合によっては、オブジェクトベース信号のみを称することができる。
【0054】
本発明は、モノダウンミックス信号が受信された場合、モノダウンミックス信号を処理するための多様なプロセスについて説明する。まず、モノダウンミックス信号から、場合によってモノ信号/ステレオ信号又はマルチチャネル信号を生成する方式について図1〜図3を参照しながら説明する。その後、モノダウンミックス信号(又はステレオダウンミックス信号)からバイノーラル信号を生成する方式について図4〜図6を参照しながら説明する。モノダウンミックスに含まれている独立オブジェクト信号(又はモノバックグラウンド信号)を制御するための方式の多様な実施例について図7〜図12を参照しながら説明する。
【0055】
1.モノ信号/ステレオ信号の生成
図1は、モノ信号/ステレオ信号を生成するための本発明の実施例に係るオーディオ信号処理装置の構成を示す図である。
【0056】
図1を参照すれば、まず、本発明の実施例に係るオーディオ信号処理装置100は、デマルチプレクサ110、情報生成ユニット120及びダウンミックス処理ユニット130を含み、マルチチャネルデコーダ140をさらに含むことができる。
【0057】
デマルチプレクサ110は、ビットストリームを介してオブジェクト情報(OI)を受信する。オブジェクト情報(OI)は、ダウンミックス信号内に含まれている各オブジェクトに関する情報であって、オブジェクトレベル情報、オブジェクト相関情報などを含むことができる。前記オブジェクト情報(OI)は、オブジェクト特性を示すパラメータであるオブジェクトパラメータ(OP)を含むことができる。
【0058】
前記ビットストリームはダウンミックス信号(DMX)をさらに含み、デマルチプレクサ110は、このビットストリームからダウンミックス信号(DMX)をさらに抽出することもできる。ダウンミックス信号(DMX)は、一つ以上のオブジェクト信号がダウンミックスされた信号であって、時間ドメインの信号に該当する。ダウンミックス信号(DMX)はモノ信号又はステレオ信号であるが、本実施例ではモノ信号である場合について説明する。
【0059】
情報生成ユニット120は、デマルチプレクサ110からオブジェクト情報(OI)を受信し、ユーザインターフェースからミックス情報(MXI)を受信し、ユーザインターフェース又は装置から出力モード情報(OM)を受信する。さらに、頭部伝達関数(head-related transfer function: HRTF)DBからHRTFパラメータを受信することもできる。
【0060】
ミックス情報(MXI)は、オブジェクト位置情報、オブジェクトゲイン情報及び再生環境情報などに基づいて生成された情報であって、オブジェクト位置情報は、ユーザが各オブジェクトの位置又はパニングを制御するために入力した情報であって、オブジェクトゲイン情報は、ユーザが各オブジェクトのゲインを制御するために入力した情報である。特に、オブジェクト位置情報及びオブジェクトゲイン情報は、各プリセットモードから選択された一つであるが、プリセットモードは、時間の処理において、オブジェクトの特定ゲイン及び特定位置をプリセットするための値である。プリセットモード情報は、他の装置から受信された値であるか、装置に格納されている値である。一方、一つ以上のプリセットモード(例えば、プリセットモードを使用しない、プリセットモード1、プリセットモード2など)のうち一つを選択するのは、ユーザ入力によって決定される。
【0061】
再生環境情報は、スピーカーの数、スピーカーの位置、周囲(ambient)情報(スピーカーの仮想位置)などを含む情報であって、ユーザから入力されたり、予め格納されていたり、他の装置から受信される。
【0062】
出力モード情報(OM)は、出力モードに関する情報であって、例えば、何個の信号で出力するかに関する情報を含むことができる。何個の信号で出力するかに関する情報は、モノ出力モード、ステレオ出力モード、マルチチャネル出力モードなどのうち一つに該当する情報である。一方、出力モード情報(OM)は、前記ミックス情報(MXI)のスピーカーの数と同一であるが、予め格納されている場合、装置情報に基づいたもので、ユーザから入力された場合、ユーザインプット情報に基づいたものである。このとき、ユーザインプット情報は、前記ミックス情報(MXI)に含まれる。
【0063】
情報生成ユニット120は、出力モードに応じて、オブジェクト情報(OI)及びミックス情報(MXI)を用いてダウンミックス処理情報(DPI)及びマルチチャネル情報(MI)のうち一つを生成する。ここで、出力モードは、上述した出力モード情報(OM)に基づいたものである。出力モードがモノ出力又はステレオ信号である場合、ダウンミックス処理情報(DPI)を生成し、出力モードがマルチチャネル出力である場合、マルチチャネル情報(MI)を生成する。ここで、ダウンミックス処理情報(DPI)は、ダウンミックス信号(DMX)を処理するための情報であって、これについては後ほどで具体的に説明する。ここで、マルチチャネル情報(MI)は、ダウンミックス信号(DMX)をアップミキシングするための情報であって、チャネルレベル情報、チャネル相関情報などを含むことができる。
【0064】
出力モードがモノ出力又はステレオ出力である場合、ダウンミックス処理情報(DPI)のみを生成する理由は、ダウンミックス処理ユニット130で時間ドメインのモノ信号又はステレオ信号を生成できるためである。一方、出力モードがマルチチャネル出力である場合、マルチチャネル情報(MI)を生成する理由は、入力信号がモノ信号である場合、マルチチャネルデコーダ140でマルチチャネル信号を生成できるためである。
【0065】
ダウンミックス処理ユニット130は、ダウンミックス処理情報(DPI)及びモノダウンミックス(DMX)を用いてモノ出力信号又はステレオ出力信号を生成する。ここで、ダウンミックス処理情報(DPI)は、ダウンミックス信号(DMX)を処理するための情報であって、ダウンミックス信号に含まれている各オブジェクトのゲイン及び/又はパニングを制御するための情報である。
【0066】
一方、モノ出力信号又はステレオ出力信号は、時間ドメインの信号に該当するもので、PCM信号である。モノ出力信号の場合、ダウンミックス処理ユニット130の細部構成を後ほどで図2を参照しながら説明し、ステレオ出力信号の場合、ダウンミックス処理ユニット130の細部構成を図3を参照しながら説明する。
【0067】
さらに、ダウンミックス処理情報(DPI)は、バイノーラルパラメータを含むことができるが、バイノーラルパラメータは、3D効果のためのパラメータであって、情報生成ユニット120でオブジェクト情報(OI)、ミックス情報(MXI)及びHRTFパラメータを用いて生成された情報である。ダウンミックス処理情報(DPI)がバイノーラルパラメータを含む場合、ダウンミックス処理ユニット130はバイノーラル信号を出力することができる。バイノーラル信号の生成のための実施例は、後ほどで図4〜図6を参照しながら具体的に説明する。
【0068】
モノダウンミックス信号でなく、ステレオダウンミックス信号が受信された場合(図示せず)、時間ドメインの出力信号を生成するより、ダウンミックス信号のクロストークのみを変形するための処理を行い、処理されたダウンミックス信号は再びマルチチャネルデコーダ140で処理されることも可能であるが、本発明がこれに限定されることはない。
【0069】
マルチチャネルデコーダ140は、出力モードがマルチチャネル出力モードであるとき、マルチチャネル情報(MI)を用いてダウンミックス(DMX)をアップミキシングし、マルチチャネル信号を生成する。マルチチャネルデコーダ140は、MPEGサラウンド(ISO/IEC 23003―1)の標準によって具現されるが、本発明がこれに限定されることはない。
【0070】
図2は、図1に示したダウンミックス処理ユニットの細部構成図の第1の例として、モノ出力信号を生成するための実施例であって、図3は、図1に示したダウンミックス処理ユニットの細部構成図の第2の例として、ステレオ出力信号を生成するための実施例である。
【0071】
まず、図2を参照すれば、ダウンミックス処理ユニット130Aは、サブバンド分解ユニット132A、M2M処理ユニット134A、サブバンド合成ユニット136Aを含み、モノダウンミックス信号からモノ出力信号を生成する。
【0072】
サブバンド分解ユニット132Aは、モノダウンミックス信号(DMX)を分解してサブバンド信号を生成する。サブバンド分解ユニット132Aは、ハイブリッドフィルタバンクで具現され、サブバンド信号は、ハイブリッドQMFドメインの信号に該当する。M2M処理ユニット134Aは、ダウンミックス処理情報(DPI)を用いてサブバンド信号を処理する。M2Mはmono―to―monoの略字である。ここで、M2M処理ユニット134Aは、サブバンド信号を処理するためにデコリレータを用いることができる。サブバンド合成ユニット136Aは、処理されたサブバンド信号を合成し、時間ドメインのモノ出力信号を生成する。サブバンド合成ユニット136Aは、ハイブリッドフィルタバンクで具現される。
【0073】
図3を参照すれば、ダウンミックス処理ユニット130Bは、サブバンド分解ユニット132B、M2S処理ユニット134B、第1のサブバンド合成ユニット136B、第2のサブバンド合成ユニット138Bを含み、モノダウンミックス信号を受信し、ステレオ出力を生成する。
【0074】
サブバンド分解ユニット132Bは、図2のサブバンド分解ユニット132Aと同様に、モノダウンミックス信号(DMX)を分解し、サブバンド信号を生成する。サブバンド分解ユニット132Bも、ハイブリッドフィルタバンクで具現される。
【0075】
M2S処理ユニット134Bは、ダウンミックス処理情報(DPI)及びデコリレータ135Bを用いてサブバンド信号を処理し、二つのサブバンド信号(第1のサブバンド信号及び第2のサブバンド信号)を生成する。M2Sはmono―to―stereoの略字である。デコリレータ135Bが用いられれば、左右のチャネルの相関性を低下させることによって、ステレオ効果を高めることができる。
【0076】
一方、デコリレータ135Bは、サブバンド分解ユニット132Bから入力されたサブバンド信号を第1のサブバンド信号とし、この第1のサブバンド信号をデコリレートした信号を第2のサブバンド信号として出力できるが、本発明がこれに限定されることはない。
【0077】
第1のサブバンド合成ユニット136Bが第1のサブバンド信号を合成し、第2のサブバンド合成ユニット138Bが第2のサブバンド信号を合成することによって、時間ドメインのステレオ出力信号を生成する。
【0078】
以上、モノダウンミックスが入力される場合、ダウンミックス処理ユニットを介してモノ出力/ステレオ出力が行われる実施例について説明した。以下、バイノーラル信号を生成することについて説明する。
【0079】
2.バイノーラル信号の生成
図4は、バイノーラル信号を生成するための本発明の一実施例に係るオーディオ信号処理装置の構成を示す図で、図5は、図4のダウンミックス処理ユニットの細部構成図である。図6は、バイノーラル信号を生成するための本発明の他の実施例に係るオーディオ信号処理装置の構成を示す図である。
【0080】
すなわち、図4及び図5を参照しながらバイノーラル信号の生成のための一実施例について説明し、図6を参照しながらバイノーラル信号の生成のための他の実施例について説明する。
【0081】
まず、図4を参照すれば、オーディオ信号処理装置200は、デマルチプレクサ210、情報生成ユニット220、ダウンミックス処理ユニット230を含む。ここで、デマルチプレクサ210は、図1を参照して説明したデマルチプレクサ110と同様に、ビットストリームからオブジェクト情報(OI)を抽出し、ダウンミックス(DMX)も抽出することができる。ここで、ダウンミックス信号は、モノ信号又はステレオ信号である。
【0082】
情報生成ユニット220は、オブジェクト情報(OI)、ミックス情報(MXI)、HRTF情報を用いてバイノーラルパラメータを含むダウンミックス処理情報を生成する。ここで、HRTF情報は、HRTF DBから抽出された情報である。バイノーラルパラメータは、仮想3D効果を出すためのパラメータである。
【0083】
そして、ダウンミックス処理ユニット230は、バイノーラルパラメータを含むダウンミックス処理情報(DPI)を用いてバイノーラル信号を出力する。ダウンミックス処理ユニット230の具体的な細部構成は、図5を参照しながら説明する。
【0084】
図5を参照すれば、ダウンミックス処理ユニット230Aは、サブバンド分解ユニット232A、バイノーラル処理ユニット234A、サブバンド合成ユニット236Aを含む。サブバンド分解ユニット232Aは、ダウンミックス信号を分解し、一つ又は二つのサブバンド信号を生成する。バイノーラル処理ユニット234Aは、バイノーラルパラメータを含むダウンミックス処理情報(DPI)を用いて一つ又は二つのサブバンド信号を処理する。サブバンド合成ユニット236Aは、一つ又は二つのサブバンド信号を合成し、時間ドメインのバイノーラル出力信号を生成する。
【0085】
図6を参照すれば、オーディオ信号処理装置300は、デマルチプレクサ310、情報生成ユニット320を含み、マルチチャネルデコーダ330をさらに含むことができる。
【0086】
デマルチプレクサ310は、ビットストリームからオブジェクト情報(OI)を抽出し、ダウンミックス信号(DMX)をさらに抽出することができる。情報生成ユニット320は、オブジェクト情報(OI)及びミックス情報(MXI)を用いてマルチチャネル情報(MI)を生成する。ここで、マルチチャネル情報(MI)は、ダウンミックス信号(DMX)をアップミキシングするための情報であって、チャネルレベル情報、チャネル相関情報のような空間パラメータを含む。また、情報生成ユニット320は、HRTF DBから抽出されたHRTFパラメータを用いてバイノーラルパラメータを生成する。バイノーラルパラメータは、3D効果を与えるためのパラメータであって、HRTFパラメータ自体でもある。また、バイノーラルパラメータは、時変する値であって、ダイナミックな特性を有することができる。
【0087】
ダウンミックス信号がモノ信号である場合、マルチチャネル情報(MI)はゲイン情報(ADG)をさらに含むことができる。ゲイン情報(ADG)は、ダウンミックスゲインを調整するためのパラメータであって、特定オブジェクトに対するゲインを制御するための用途で使用することができる。バイノーラル出力の場合、オブジェクトに対するパニングだけでなく、アップサンプリング又はダウンサンプリングが必要であるので、ゲイン情報(ADG)を使用することが望ましい。マルチチャネルデコーダ330がMPSサラウンド標準に従い、マルチチャネル情報(MI)をMPEGサラウンドシンタックスによって構成しなければならない場合、‘bsArbitraryDownmix=1’にセッティングしてゲイン情報(ADG)を使用することができる。
【0088】
ダウンミックス信号がステレオチャネル信号である場合、オーディオ信号装置300は、ステレオダウンミックス信号の左右のチャネルのリパニング(re―panning)のためのダウンミックス処理ユニット(図示せず)をさらに含むことができる。しかし、バイノーラルレンダリングにおいては、HRTFパラメータの選択によって左右のチャネルのクロスターム(cross―term)を生成できるので、ダウンミックス処理ユニット(図示せず)での動作が必ず必要ではない。ダウンミックス信号がステレオで、マルチチャネル情報(MI)がMPSサラウンド規格に従う場合、5―2―5コンフィギュレーションモードにセッティングされ、左側フロントチャネル及び右側フロントチャネルのみをバイパスして出力する形態であることが望ましい。また、伝送されるバイノーラルパラメータは、残りの値がいずれも0である状態で左側フロントチャネル及び右側フロントチャネルから左側出力及び右側出力への経路(合計4個のパラメータセット)のみが有効な値を有するように伝送される。
【0089】
マルチチャネルデコーダ330は、マルチチャネル情報(MI)及びバイノーラルパラメータを用いてダウンミックス信号からバイノーラル出力を生成する。具体的に、マルチチャネル情報に含まれた空間パラメータ及びバイノーラルパラメータの組み合わせをダウンミックス信号に適用し、バイノーラル出力を生成することができる。
【0090】
このように、バイノーラル出力を生成するための各実施例によれば、第1の実施例のようにダウンミックス処理ユニットを介して直接バイノーラル出力を生成する場合、マルチチャネルデコーダの複雑な方法を実行する必要がないので、複雑度を低下させることができる。また、第2の実施例のようにマルチチャネルデコーダを使用する場合、マルチチャネルデコーダの機能を用いることができる。
【0091】
3.独立オブジェクトの制御(カラオケモード/アカペラモード)
以下、モノダウンミックスを受信し、独立オブジェクト又はバックグラウンドオブジェクトを制御する技術について説明する。
【0092】
図7は、独立オブジェクトを制御するための本発明の一実施例に係るオーディオ信号処理装置の構成図で、図8は、独立オブジェクトを制御するための本発明の他の実施例に係るオーディオ信号処理装置の構成図である。
【0093】
まず、図7を参照すれば、オーディオ信号エンコーディング装置400のマルチチャネルデコーダ410が複数のチャネル信号を受信し、モノダウンミックス(DMXm)及びマルチチャネルビットストリームを生成する。ここで、複数のチャネル信号は、マルチチャネルバックグラウンドオブジェクト(Multi―channel Background Objects: MBO)である。
【0094】
マルチチャネルバックグラウンドオブジェクト(MBO)は、例えば、背景音楽を構成する複数の楽器信号を含むことができるが、何個のソース信号(例えば、楽器信号)が含まれているかを知ることができなく、ソース信号別にコントロールすることもできない。ここで、バックグラウンドオブジェクトは、ステレオチャネルにダウンミックスされることも可能であるが、本発明では、モノ信号にダウンミックスされたバックグラウンドオブジェクトのみについて説明する。
【0095】
オブジェクトエンコーダ410は、モノバックグラウンドオブジェクト(DMXm)及び一つ以上のオブジェクト信号(objN)をダウンミックスしてモノダウンミックス(DMX)を生成し、オブジェクト情報ビットストリームを生成する。ここで、一つ以上のオブジェクト信号(又はオブジェクトベース信号)は、独立オブジェクトであって、フォアグラウンドオブジェクト(FGO)(ForeGround Object)とも称する。例えば、バックグラウンドオブジェクトが伴奏音楽であれば、独立オブジェクト(FGO)はリードボーカル信号に該当する。もちろん、独立オブジェクトが二つである場合、歌手1のボーカル信号、歌手2のボーカル信号にそれぞれ対応することができる。オブジェクトエンコーダ410は、残余(residual)情報をさらに生成することができる。
【0096】
オブジェクトエンコーダ410は、モノバックグラウンドオブジェクト(DMXm)及びオブジェクト信号(objN)(すなわち、独立オブジェクト)をダウンミックスする過程で残余を生成することができる。この残余は、デコーダでダウンミックス信号から独立オブジェクト(又はバックグラウンドオブジェクト)を抽出するのに用いられる。
【0097】
オーディオ信号デコーディング装置500のオブジェクトトランスコーダ510は、ミックス情報(MXI)に含まれたモード選択情報(MSI)にしたがって、改良オブジェクト情報(例えば、残余)を用いてダウンミックス(DMX)から一つ以上の独立オブジェクト又はバックグラウンドオブジェクトを抽出する。
【0098】
モード選択情報(MSI)は、バックグラウンドオブジェクト及び一つ以上の独立オブジェクトを制御するためのモードが選択されたかどうかに対する情報を含む。さらに、モード選択情報(MSI)は、一般モード、バックグラウンドオブジェクトを制御するためのモード、一つ以上の独立オブジェクトを制御するためのモードを含む各モードのうちいずれのモードに該当するかに関する情報を含むことができる。例えば、バックグラウンドオブジェクトを制御するためのモードは、バックグラウンドオブジェクトが背景音楽である場合、アカペラモード(又はソロモード)に該当する。例えば、一つ以上の独立オブジェクトを制御するためのモードは、独立オブジェクトがボーカルである場合、カラオケモードに該当する。言い換えれば、モード選択情報は、一般モード、アカペラモード、カラオケモードのうち一つを選択するかに関する情報であって、アカペラモード又はカラオケモードである場合、ゲイン調整に対する情報をさらに含むことができる。すなわち、モード選択情報(MSI)がアカペラモード又はカラオケモードである場合、ダウンミックス(DMX)から一つ以上の独立オブジェクト又はバックグラウンドオブジェクトを抽出し、一般モードである場合、ダウンミックス信号をバイパスすることができる。
【0099】
独立オブジェクトが抽出された場合、オブジェクトトランスコーダ510は、オブジェクト情報(OI)及びミックス情報(MXI)などを用いて一つ以上の独立オブジェクト及びバックグラウンドオブジェクトをミキシングし、ミキシングされたモノダウンミックスを生成する。ここで、オブジェクト情報(OI)は、オブジェクト情報ビットストリームから抽出された情報であって、上述した情報と同一である。ここで、ミックス情報(MXI)は、オブジェクトゲイン及び/又はパニングを調整するための情報である。
【0100】
一方、オブジェクトトランスコーダ510は、マルチチャネルビットストリーム及び/又はオブジェクト情報ビットストリームを用いてマルチチャネル情報(MI)を生成する。マルチチャネル情報(MI)は、バックグラウンドオブジェクト又は一つ以上の独立オブジェクトを制御するためのものであるが、このとき、バックグラウンドオブジェクトをコントロールするための第1のマルチチャネル情報及び一つ以上の独立オブジェクトをコントロールするための第2のマルチチャネル情報のうち一つ以上を含むことができる。
【0101】
マルチチャネルデコーダ520は、マルチチャネル情報(MI)を用いてミキシングされたモノダウンミックス又はバイパスされたモノダウンミックスから出力信号を生成する。
【0102】
図8は、独立オブジェクト生成のための他の実施例である。
【0103】
図8を参照すれば、オーディオ信号処理装置600は、モノダウンミックス(DMX)を受信し、ダウンミックス処理ユニット610、マルチチャネルデコーダ620、OTNモジュール630及びレンダリングユニット640を含む。
【0104】
オーディオ信号処理装置600は、モード選択情報(MSI)にしたがって、ダウンミックス信号をOTNモジュール630に入力するかどうかを決定する。ここで、モード選択情報は、既に図7を参照して説明したモード選択情報と同一である。
【0105】
モード選択情報によって、現在のモードがバックグラウンドオブジェクト(MBO)又は一つ以上の独立オブジェクト(FGO)を制御するためのモードである場合、ダウンミックス信号がOTNモジュール630に入力されるようにする。その一方、モード選択情報にしたがって、現在のモードが一般モードである場合、ダウンミックス信号をバイパスし、出力モードに応じてダウンミックス処理ユニット610又はマルチチャネルデコーダ620にダウンミックス信号が入力されるようにする。ここでの出力モードは、既に図1を参照して説明した出力モード情報(OM)と同一であって、出力スピーカーの数である。
【0106】
モノ/ステレオ/バイノーラル出力モードである場合、ダウンミックス処理ユニット610によってダウンミックスが処理されるが、このとき、ダウンミックス処理ユニット610は、図1〜図3を参照して説明したダウンミックス処理ユニット130、130A、130Bと同一の役割を果たす構成要素である。
【0107】
一方、出力モードがマルチチャネルモードである場合、マルチチャネルデコーダ620は、モノダウンミックス(DMX)からマルチチャネル出力を生成する。このとき、マルチチャネルデコーダも、既に図1を参照して説明したマルチチャネルデコーダ140と同一の役割を果たす構成要素である。
【0108】
一方、モード選択情報(MSI)にしたがって、モノダウンミックス信号がOTNモジュール630に入力された場合、OTNモジュール630は、ダウンミックス信号からモノバックグラウンドオブジェクト(MBO)及び一つ以上の独立オブジェクト信号(FGO)を抽出する。OTNはone―to―nの略字である。独立オブジェクト信号が1個である場合、OTT(One―To―Two)構造になり、独立オブジェクト信号が2個である場合、OTT(One―To―Three)構造になり、独立オブジェクトの信号がN−1である場合、OTN構造になる。
【0109】
一方、OTNモジュール630は、オブジェクト情報(OI)及び改良オブジェクト情報(EOI)を用いることができる。ここで、改良オブジェクト情報(EOI)は、バックグラウンドオブジェクト及び独立オブジェクトをダウンミックスする過程で生成された残余信号である。
【0110】
一方、レンダリングユニット640は、ミックス情報(MXI)を用いて、バックグラウンドオブジェクト(MBO)及び独立オブジェクト(FGO)をレンダリングすることによって出力チャネル信号を生成する。ここで、ミックス情報(MXI)は、バックグラウンドオブジェクトを制御するための情報又は/及び独立オブジェクトを制御するための情報を含む。一方、オブジェクト情報(OI)及びミックス情報(MXI)に基づいたマルチチャネル情報(MI)が生成されるが、この場合、前記出力チャネル信号は、マルチチャネルデコーダ(図示せず)に入力され、前記マルチチャネル情報に基づいてアップミキシングされることもある。
【0111】
図9は、改良オブジェクト処理のための本発明の第1の実施例に係るオーディオ信号処理装置の構成を示す図で、図10は、改良オブジェクト処理のための本発明の第2の実施例に係るオーディオ信号処理装置の構成を示す図で、図11及び図12は、改良オブジェクト処理のための本発明の第3の実施例に係るオーディオ信号処理装置の構成を示す図である。
【0112】
第1の実施例は、モノダウンミックス及びモノオブジェクトに関するもので、第2の実施例は、モノダウンミックス及びステレオオブジェクトに関するもので、第3の実施例は、第1の実施例の場合及び第2実施例の場合をいずれもカバーする実施例である。
【0113】
まず、図9を参照すれば、オーディオ信号エンコーディング装置700Aの改良オブジェクト情報エンコーダ710は、モノ信号であるミックスされたオーディオ信号及びオブジェクト信号(obj_x1)から改良オブジェクト情報(EOP_x1)を生成する。このとき、二つの信号を用いて一つの信号を生成するので、改良オブジェクト情報エンコーダ710は、OTT(One―To―Two)エンコーディングモジュールで具現される。ここで、改良オブジェクト情報(EOP_x1)は残余信号である。また、改良オブジェクト情報エンコーダ710は、OTTモジュールに対応するオブジェクト情報(OP_x1)を生成する。
【0114】
オーディオ信号デコーディング装置800Aの改良オブジェクト情報デコーダ810は、改良オブジェクト情報(EOP_x1)及びミックスされたオーディオ信号を用いて付加的なリミックスデータに対応する出力信号(obj_x1’)を生成する。
【0115】
図10を参照すれば、オーディオ信号エンコーディング装置700Bは、第1の改良オブジェクト情報エンコーダ710B及び第2の改良オブジェクト情報エンコーダ720Bを含み、オーディオ信号デコーディング装置800Bは、第1の改良オブジェクト情報デコーダ810B及び第2の改良オブジェクト情報デコーダ820Bを含む。
【0116】
第1の改良オブジェクト情報エンコーダ710Bは、二つのオブジェクト信号(obj_x1、obj_x2)を結合し、結合オブジェクト及び第1の改良オブジェクト情報(EOP_L1)を生成する。二つのオブジェクト信号は、ステレオオブジェクト信号、すなわち、オブジェクトの左側チャネル信号及びオブジェクトの右側チャネル信号である。結合オブジェクトを生成する過程で、第1のオブジェクト情報(OP_L1)が生成される。
【0117】
第2の改良オブジェクト情報エンコーダ720Bは、モノ信号であるミックスされたオーディオ信号及び結合オブジェクトを用いて第2の改良オブジェクト情報(EOP_L0)及び第2のオブジェクト情報(OP_L0)を生成する。
【0118】
このように二つの段階の過程を通して最終的な信号を生成するが、第1の改良オブジェクト情報エンコーダ710B及び第2の改良オブジェクト情報エンコーダ720Bは、二つの信号から一つの信号を生成するので、それぞれOTT(One―To―Two)モジュールとして具現される。
【0119】
オーディオ信号デコーディング装置800Bは、オーディオ信号エンコーディング装置700Bで行われた過程と反対の過程を行う。
【0120】
すなわち、第2の改良オブジェクト情報デコーダ810Bは、第2の改良オブジェクト情報(EOP_L0)及びミックスされたオーディオ信号を用いて結合オブジェクトを生成する。このとき、オーディオ信号がさらに抽出される。
【0121】
そして、第1の改良オブジェクト情報デコーダ820Bは、第1の改良オブジェクト情報(EOP_L1)を用いて結合オブジェクトから付加的なリミックスデータである二つのオブジェクト(obj_x1’、obj_x2’)を生成する。
【0122】
図11及び図12は、第1の実施例及び第2の実施例が結合された形態である。図11を参照すれば、マルチチャネルエンコーダ705Cの5―1―5ツリー構造又は5―2―5ツリー構造の動作有無によって改良オブジェクトがモノ又はステレオに変化する場合、ダウンミックス信号がモノ信号/ステレオ信号に変化する場合がいずれも表現されたものである。
【0123】
図11及び図12に示すように、改良オブジェクトがモノ信号である場合、第1の改良オブジェクト情報エンコーダ710C及び第1の改良情報デコーダ820Cが動作しない。各構成要素の機能は、図10を参照して説明した同一名称の構成要素と同一である。
【0124】
一方、ダウンミックス信号がモノである場合、第2の改良オブジェクト情報エンコーダ720C及び第2の改良オブジェクト情報デコーダ810CがそれぞれOTTエンコーダ/デコーダとして動作することが望ましく、ダウンミックス信号がステレオである場合、それぞれTTTエンコーダ/デコーダとして動作することができる。
【0125】
本発明に係るオーディオ信号処理方法は、コンピュータ読み取り可能なコードとして記録媒体に格納されるプログラムに搭載することができる。また、本発明に係るデータ構造を有するマルチメディアデータもコンピュータ読み取り可能な記録媒体に格納される。前記コンピュータ読み取り可能な記録媒体は、コンピュータシステムによって読まれるデータが格納されるあらゆる種類の格納装置を含む。コンピュータ読み取り可能な記録媒体の例としては、ROM、RAM、CD―ROM、磁気テープ、フロッピー(登録商標)ディスク、光データ格納装置などがあり、キャリアウェーブ(例えば、インターネットを介した伝送)の形態で具現されることも含む。また、前記エンコーディング方法によって生成されたビットストリームは、コンピュータ読み取り可能な記録媒体に格納されたり、有無線通信網を用いて伝送される。
【0126】
以上のように、本発明は、限定された実施例と図面によって説明されたが、本発明がこれによって限定されることはなく、本発明の属する技術分野で通常の知識を有する者によって本発明の技術思想と下記に記載される特許請求の範囲の均等範囲内で多様な修正及び変形が可能であることは当然である。
【産業上の利用可能性】
【0127】
本発明は、オーディオ信号をエンコーディング及びデコーディングすることに適用できる。
【技術分野】
【0001】
本発明は、オーディオ信号の処理方法及び装置に関するものである。本発明は、広範囲のアプリケーションに適するが、特に、デジタル媒体及び放送信号などを介して受信されたオーディオ信号を処理することに適する。
【背景技術】
【0002】
一般に、複数のオブジェクトをモノ又はステレオ信号にダウンミックスする過程において、それぞれのオブジェクト信号から各パラメータが抽出される。これらの各パラメータはデコーダで使用されるが、それぞれのオブジェクトのパニング(panning)とゲインはユーザの選択により制御可能である。
【0003】
しかしながら、それぞれのオブジェクト信号を制御するためには、ダウンミックスに含まれているそれぞれのソースが適切にポジショニング又はパニングされなければならない。
【0004】
また、チャネル向け(oriented)デコーディング方式に従い下位互換性を提供するためには、オブジェクトパラメータはアップミキシングのためのマルチチャネルパラメータに変換されなければならない。
【発明の概要】
【発明が解決しようとする課題】
【0005】
従って、本発明は、オーディオ信号処理装置及びその方法に向けられ、関連技術の制限や不利点による1つ以上の問題を実質的に取り除く。
【0006】
本発明は、前記のような問題を解決するためになされたもので、その目的は、オブジェクトのゲインとパニングをコントロールし、モノ信号、ステレオ信号及びマルチチャネル信号を出力することができるオーディオ信号処理方法及び装置を提供することにある。
【0007】
本発明の更に他の目的は、マルチチャネルデコーダの複雑な方法を実行することなく、ダウンミックス信号からモノ信号及びステレオ信号を出力することができるオーディオ信号処理方法及び装置を提供することにある。
【0008】
本発明の更に他の目的は、ボーカルや背景音楽のゲインを大幅に調節する場合も、音質のひずみを発生させないオーディオ信号処理方法及び装置を提供することにある。
【課題を解決するための手段】
【0009】
本発明の更なる特性と利点は、以下の記載で説明され、当該記載から一部が明らかとなり、又は本発明の実施により知ることができる。本発明の目的とその他の利点は、明細書、特許請求の範囲、図面で特に示される構成により、実現され、及び達成される。
【0010】
前記のような目的を達成するために、本発明に係るオーディオ信号処理方法は、一つ以上のオブジェクト信号を含むダウンミックス信号と前記ダウンミックス信号を生成する過程で抽出されたオブジェクト情報を受信し、前記オブジェクト信号をコントロールするためのミックス情報を受信し、出力モードに応じて、前記オブジェクト情報及び前記ミックス情報を用いてダウンミックス処理情報(processing information)及びマルチチャネル情報のうち一つを生成し、前記ダウンミックス処理情報が生成された場合、前記ダウンミックス処理情報を前記ダウンミックス信号に適用して出力信号を生成することを含み、前記ダウンミックス信号及び前記出力信号はモノ信号に該当し、前記マルチチャネル情報は、前記ダウンミックス信号を複数のチャネル信号にアップミキシングするための情報に該当する。
【0011】
本発明によれば、前記ダウンミックス信号及び前記出力信号は、時間ドメインの信号に該当する。
【0012】
本発明によれば、前記出力信号を生成することは、前記ダウンミックス信号を分解(decomposing)することによりサブバンド信号を生成し、前記ダウンミックス処理情報を用いて前記サブバンド信号を処理し、前記サブバンド信号を合成することによって前記出力信号を生成することを有する。
【0013】
本発明によれば、前記出力信号は、前記ダウンミックス信号がデコリレート(decorrelating)された信号を含むことができる。
【0014】
本発明によれば、前記マルチチャネル情報が生成された場合、前記マルチチャネル情報を用いて前記ダウンミックス信号をアップミキシングし、複数のチャネル信号を生成することをさらに含むことができる。
【0015】
本発明によれば、前記出力モードは、スピーカーチャネルの数によって決定されたもので、前記スピーカーチャネルの数は、装置情報及び前記ミックス情報のうち一つに基づいている。
【0016】
本発明によれば、前記ミックス情報は、オブジェクト位置情報、オブジェクトゲイン情報及び再生環境(playback configuration)情報のうち一つ以上に基づいて生成されたものである。
【0017】
本発明の更に他の側面によれば、一つ以上のオブジェクト信号を含む時間ドメインのダウンミックス信号及び前記ダウンミックス信号を生成する過程で抽出されたオブジェクト情報を受信するデマルチプレクサ(demultiplexer)と、出力モードに応じて、前記オブジェクト信号をコントロールするためのミックス情報及び前記オブジェクト情報を用いてダウンミックス処理情報及びマルチチャネル情報のうち一つを生成する情報生成ユニットと、前記ダウンミックス処理情報が生成された場合、前記ダウンミックス処理情報を前記ダウンミックス信号に適用して出力信号を生成するダウンミックス処理ユニットと、を含み、前記ダウンミックス信号及び前記出力信号はモノ信号に該当し、前記マルチチャネル情報は、前記ダウンミックス信号を複数のチャネル信号にアップミキシングするための情報に該当するオーディオ信号処理装置が提供される。
【0018】
本発明によれば、前記ダウンミックス処理ユニットは、前記ダウンミックス信号を分解してサブバンド信号を生成するサブバンド分解ユニットと、前記ダウンミックス処理情報を用いて前記サブバンド信号を処理するM2M処理ユニットと、前記サブバンド信号を合成することによって前記出力信号を生成するサブバンド合成ユニットと、を含むことができる。
【0019】
本発明の更に他の側面によれば、一つ以上のオブジェクト信号を含むダウンミックス信号と前記ダウンミックス信号を生成する過程で抽出されたオブジェクト情報を受信し、前記オブジェクト信号をコントロールするためのミックス情報を受信し、出力モードに応じて、前記オブジェクト情報及び前記ミックス情報を用いてダウンミックス処理情報及びマルチチャネル情報のうち一つを生成し、前記ダウンミックス処理情報が生成された場合、前記ダウンミックス処理情報を前記ダウンミックス信号に適用して出力信号を生成することを含み、前記ダウンミックス信号はモノ信号に該当し、前記出力信号は、前記ダウンミックス信号にデコリレータを適用して生成されたステレオ信号に該当し、前記マルチチャネル情報は、前記ダウンミックス信号をマルチチャネル信号にアップミキシングするための情報に該当するオーディオ信号処理方法が提供される。
【0020】
本発明によれば、前記ダウンミックス信号及び前記出力信号は、時間ドメインの信号に該当する。
【0021】
本発明によれば、前記出力信号を生成するのは、前記ダウンミックス信号を分解してサブバンド信号を生成し、前記ダウンミックス処理情報を用いて前記サブバンド信号を処理することによって二つのサブバンド信号を生成し、前記二つのサブバンド信号をそれぞれ合成することによって前記出力信号を生成することを含むことができる。
【0022】
本発明によれば、前記二つのサブバンド信号を生成することは、前記サブバンド信号をデコリレートすることによって、デコリレートされた信号を生成し、前記ダウンミックス処理情報を用いて前記デコリレートされた信号及び前記サブバンド信号を処理することによって、前記二つのサブバンド信号を生成することを有する。
【0023】
本発明によれば、前記ダウンミックス処理情報は、バイノーラル(binaural)パラメータを含み、前記出力信号は、バイノーラル信号に該当する。
【0024】
本発明によれば、前記マルチチャネル情報が生成された場合、前記マルチチャネル情報を用いて前記ダウンミックス信号をアップミキシングし、複数のチャネル信号を生成することをさらに含むことができる。
【0025】
本発明によれば、前記出力モードは、スピーカーチャネルの数によって決定されたもので、前記スピーカーチャネルの数は、装置情報及び前記ミックス情報のうち一つに基づいている。
【0026】
本発明の更に他の側面によれば、一つ以上のオブジェクト信号を含むダウンミックス信号及び前記ダウンミックス信号を生成する過程で抽出されたオブジェクト情報を受信するデマルチプレクサと、出力モードに応じて、前記オブジェクト信号をコントロールするためのミックス情報及び前記オブジェクト情報を用いて、ダウンミックス処理情報及びマルチチャネル情報のうち一つを生成する情報生成ユニットと、前記ダウンミックス処理情報が生成された場合、前記ダウンミックス処理情報を前記ダウンミックス信号に適用して出力信号を生成するダウンミックス処理ユニットと、を含み、前記ダウンミックス信号はモノ信号に該当し、前記出力信号は、前記ダウンミックス信号にデコリレータを適用して生成されたステレオ信号に該当し、前記マルチチャネル情報は、前記ダウンミックス信号をマルチチャネル信号にアップミキシングするための情報に該当するオーディオ信号処理装置が提供される。
【0027】
本発明の更に他の側面によれば、一つ以上のオブジェクト信号を含むダウンミックス信号と前記ダウンミックス信号を生成する過程で抽出されたオブジェクト情報を受信し、モード選択情報を含み、前記オブジェクト信号をコントロールするためのミックス情報を受信し、前記モード選択情報に基づいて、前記ダウンミックス信号をバイパスしたり、前記ダウンミックス信号からバックグラウンドオブジェクト及び一つ以上の独立オブジェクトを抽出し、前記ダウンミックス信号がバイパスされた場合、前記オブジェクト情報及び前記ミックス情報を用いてマルチチャネル情報を生成することを含み、前記ダウンミックス信号はモノ信号に該当し、前記モード選択情報は、一般モード、前記バックグラウンドオブジェクトを制御するためのモード及び前記一つ以上の独立オブジェクトを制御するためのモードを含む各モードのうちいずれのモードに該当するかに関する情報を含むオーディオ信号処理方法が提供される。
【0028】
本発明によれば、改良(enhanced)オブジェクト情報を受信することをさらに含み、前記一つ以上の独立オブジェクトは、前記改良オブジェクト情報を用いて前記ダウンミックス信号から抽出されるものである。
【0029】
本発明によれば、前記改良オブジェクト情報は残余信号に該当する。
【0030】
本発明によれば、前記一つ以上の独立オブジェクトはオブジェクトベースの信号に該当し、前記バックグラウンドオブジェクトはモノ信号に該当する。
【0031】
本発明によれば、前記ステレオ出力信号は、前記モード選択モードが前記一般モードに該当する場合に生成され、前記バックグラウンドオブジェクト及び前記一つ以上の独立オブジェクトは、前記モード選択モードが前記バックグラウンドオブジェクトを制御するためのモード又は前記一つ以上の独立オブジェクトを制御するためのモードである場合に抽出される。
【0032】
本発明によれば、前記バックグラウンドオブジェクト及び前記一つ以上の独立オブジェクトが前記ダウンミックス信号から抽出される場合、前記バックグラウンドオブジェクトをコントロールするための第1のマルチチャネル情報及び前記一つ以上の独立オブジェクトをコントロールするための第2のマルチチャネル情報のうち一つ以上を生成することをさらに含むことができる。
【0033】
本発明の更に他の側面によれば、一つ以上のオブジェクト信号を含むダウンミックス信号及び前記ダウンミックス信号を生成する過程で抽出されたオブジェクト情報を受信するデマルチプレクサと、前記オブジェクト信号をコントロールするためのミックス情報に含まれるモード選択情報に基づいて、前記ダウンミックス信号をバイパスしたり、前記ダウンミックス信号からバックグラウンドオブジェクト及び一つ以上の独立オブジェクトを抽出するオブジェクトトランスコーダ(transcoder)と、前記ダウンミックス信号がバイパスされた場合、前記オブジェクト情報及び前記ミックス情報を用いてマルチチャネル情報を生成するマルチチャネルデコーダと、を含み、前記ダウンミックス信号はモノ信号に該当し、前記出力信号は、前記ダウンミックス信号にデコリレータを適用して生成されたステレオ信号に該当し、前記モード選択情報は、一般モード、前記バックグラウンドオブジェクトを制御するためのモード及び前記一つ以上の独立オブジェクトを制御するためのモードを含む各モードのうちいずれのモードに該当するかに関する情報を含むことができる。
【0034】
本発明の更に他の側面によれば、一つ以上のオブジェクト信号を含むダウンミックス信号と前記ダウンミックス信号を生成する過程で抽出されたオブジェクト情報を受信し、モード選択情報を含み、前記オブジェクト信号をコントロールするためのミックス情報を受信し、前記モード選択情報に基づいて、前記ダウンミックス信号を用いてステレオ出力信号を生成したり、前記ダウンミックス信号からバックグラウンドオブジェクト及び一つ以上の独立オブジェクトを抽出することを含み、前記ダウンミックス信号はモノ信号に該当し、前記ステレオ出力信号は、前記ダウンミックス信号がデコリレートされた信号を含む時間ドメインの信号に該当し、前記モード選択情報は、一般モード、前記バックグラウンドオブジェクトを制御するためのモード及び前記一つ以上の独立オブジェクトを制御するためのモードを含む各モードのうちいずれのモードに該当するかに関する情報を含むオーディオ信号処理方法が提供される。
【0035】
本発明によれば、改良オブジェクト情報を受信することをさらに含み、前記一つ以上の独立オブジェクトは、前記改良オブジェクト情報を用いて前記ダウンミックス信号から抽出されるものである。
【0036】
本発明によれば、前記改良オブジェクト情報は残余信号に該当する。
【0037】
本発明によれば、前記一つ以上の独立オブジェクトはオブジェクトベースの信号に該当し、前記バックグラウンドオブジェクトはモノ信号に該当する。
【0038】
本発明によれば、前記ステレオ出力信号は、前記モード選択モードが前記一般モードに該当する場合に生成され、前記バックグラウンドオブジェクト及び前記一つ以上の独立オブジェクトは、前記モード選択モードが前記バックグラウンドオブジェクトを制御するためのモード又は前記一つ以上の独立オブジェクトを制御するためのモードである場合に抽出される。
【0039】
本発明によれば、前記バックグラウンドオブジェクト及び前記一つ以上の独立オブジェクトが前記ダウンミックス信号から抽出される場合、前記バックグラウンドオブジェクトをコントロールするための第1のマルチチャネル情報及び前記一つ以上の独立オブジェクトをコントロールするための第2のマルチチャネル情報のうち一つ以上を生成することをさらに含むことができる。
【0040】
本発明の更に他の側面によれば、一つ以上のオブジェクト信号を含むダウンミックス信号及び前記ダウンミックス信号を生成する過程で抽出されたオブジェクト情報を受信するデマルチプレクサと、前記オブジェクト信号をコントロールするためのミックス情報に含まれたモード選択情報に基づいて、前記ダウンミックス信号を用いてステレオ出力信号を生成したり、前記ダウンミックス信号からバックグラウンドオブジェクト及び一つ以上の独立オブジェクトを抽出するオブジェクトトランスコーダと、を含み、前記ダウンミックス信号はモノ信号に該当し、前記ステレオ出力信号は、前記ダウンミックス信号がデコリレートされた信号を含む時間ドメインの信号に該当し、前記モード選択情報は、一般モード、前記バックグラウンドオブジェクトを制御するためのモード及び前記一つ以上の独立オブジェクトを制御するためのモードを含む各モードのうちいずれのモードに該当するかに関する情報を含むオーディオ信号処理装置が提供される。
【0041】
当然のことであるが、前記の一般的な記載、及び以下の詳細な記載の両方は、典型的なもの、説明的なものであり、請求項に記載される本発明の更なる説明を提供することを目的とする。
【発明の効果】
【0042】
本発明は、次のような効果と利点を提供する。
【0043】
まず、オブジェクトのゲインとパニングを制限なしにコントロールすることができる。
【0044】
第二に、ユーザの選択に基づいてオブジェクトのゲインとパニングをコントロールすることができる。
【0045】
第三に、出力モードがモノ又はステレオである場合、マルチチャネルデコーダの複雑な方法を実行せずに出力信号を生成できるので、具現が容易であり、複雑度を低下させることができる。
【0046】
第四に、モバイルデバイスのように1〜2個のスピーカのみが備えられた場合、マルチチャネルデコーダに対応するコーデックなしで、ダウンミックス信号のオブジェクトのゲインとパニングをコントロールすることができる。
【0047】
第五に、ボーカルや背景音楽のうち一つを完全に抑圧する場合も、ゲイン調整による音質のひずみを防止することができる。
【0048】
第六に、ボーカルなどのような独立オブジェクトが二つ以上である場合(ステレオチャネル又は幾つかのボーカル信号)、ゲイン調整による音質のひずみを防止することができる。
【0049】
本発明の更なる理解を提供するために添付され、組み込まれ、及び本明細書の一部を構成する図面は、本発明の実施例を説明し、明細書と共に、本発明の原理を説明する。
【図面の簡単な説明】
【0050】
【図1】モノ信号/ステレオ信号を生成するための本発明の実施例に係るオーディオ信号処理装置の構成図である。
【図2】図1に示したダウンミックス処理ユニットの細部構成図の第1の例である。
【図3】図1に示したダウンミックス処理ユニットの細部構成図の第2の例である。
【図4】バイノーラル信号を生成するための本発明の一実施例に係るオーディオ信号処理装置の構成図である。
【図5】図4のダウンミックス処理ユニットの細部構成図である。
【図6】バイノーラル信号を生成するための本発明の他の実施例に係るオーディオ信号処理装置の構成図である。
【図7】独立オブジェクトを制御するための本発明の一実施例に係るオーディオ信号処理装置の構成図である。
【図8】独立オブジェクトを制御するための本発明の他の実施例に係るオーディオ信号処理装置の構成図である。
【図9】改良オブジェクト処理のための本発明の第1の実施例に係るオーディオ信号処理装置の構成図である。
【図10】改良オブジェクト処理のための本発明の第2の実施例に係るオーディオ信号処理装置の構成図である。
【図11】改良オブジェクト処理のための本発明の第3の実施例に係るオーディオ信号処理装置の構成図である。
【図12】改良オブジェクト処理のための本発明の第3の実施例に係るオーディオ信号処理装置の構成図である。
【発明を実施するための形態】
【0051】
以下、添付の図面を参照して本発明の好適な実施例を詳細に説明する。本明細書及び特許請求の範囲に使用された用語や単語は、通常的又は辞典的な意味に限定して解釈してはならず、発明者が自身の発明を最も最善の方法で説明するために用語の概念を適切に定義することができるとの原則に立脚し、本発明の技術的思想に符合する意味と概念に解釈しなければならない。したがって、本明細書に記載された実施例と図面に示した構成は、本発明の最も好適な一実施例に過ぎないもので、本発明の技術的思想を全て代弁するものではないので、本出願時点において、これらに取って代わる多様な均等物と変形例があり得ることを理解しなければならない。
【0052】
特に、本明細書において、情報とは、値、パラメータ、係数、成分などを総称する用語であって、場合によっては異なった意味に解釈されるが、本発明がこれに限定されることはない。
【0053】
特に、オブジェクトは、オブジェクトベース信号及びチャネルベース信号を含む概念であるが、場合によっては、オブジェクトベース信号のみを称することができる。
【0054】
本発明は、モノダウンミックス信号が受信された場合、モノダウンミックス信号を処理するための多様なプロセスについて説明する。まず、モノダウンミックス信号から、場合によってモノ信号/ステレオ信号又はマルチチャネル信号を生成する方式について図1〜図3を参照しながら説明する。その後、モノダウンミックス信号(又はステレオダウンミックス信号)からバイノーラル信号を生成する方式について図4〜図6を参照しながら説明する。モノダウンミックスに含まれている独立オブジェクト信号(又はモノバックグラウンド信号)を制御するための方式の多様な実施例について図7〜図12を参照しながら説明する。
【0055】
1.モノ信号/ステレオ信号の生成
図1は、モノ信号/ステレオ信号を生成するための本発明の実施例に係るオーディオ信号処理装置の構成を示す図である。
【0056】
図1を参照すれば、まず、本発明の実施例に係るオーディオ信号処理装置100は、デマルチプレクサ110、情報生成ユニット120及びダウンミックス処理ユニット130を含み、マルチチャネルデコーダ140をさらに含むことができる。
【0057】
デマルチプレクサ110は、ビットストリームを介してオブジェクト情報(OI)を受信する。オブジェクト情報(OI)は、ダウンミックス信号内に含まれている各オブジェクトに関する情報であって、オブジェクトレベル情報、オブジェクト相関情報などを含むことができる。前記オブジェクト情報(OI)は、オブジェクト特性を示すパラメータであるオブジェクトパラメータ(OP)を含むことができる。
【0058】
前記ビットストリームはダウンミックス信号(DMX)をさらに含み、デマルチプレクサ110は、このビットストリームからダウンミックス信号(DMX)をさらに抽出することもできる。ダウンミックス信号(DMX)は、一つ以上のオブジェクト信号がダウンミックスされた信号であって、時間ドメインの信号に該当する。ダウンミックス信号(DMX)はモノ信号又はステレオ信号であるが、本実施例ではモノ信号である場合について説明する。
【0059】
情報生成ユニット120は、デマルチプレクサ110からオブジェクト情報(OI)を受信し、ユーザインターフェースからミックス情報(MXI)を受信し、ユーザインターフェース又は装置から出力モード情報(OM)を受信する。さらに、頭部伝達関数(head-related transfer function: HRTF)DBからHRTFパラメータを受信することもできる。
【0060】
ミックス情報(MXI)は、オブジェクト位置情報、オブジェクトゲイン情報及び再生環境情報などに基づいて生成された情報であって、オブジェクト位置情報は、ユーザが各オブジェクトの位置又はパニングを制御するために入力した情報であって、オブジェクトゲイン情報は、ユーザが各オブジェクトのゲインを制御するために入力した情報である。特に、オブジェクト位置情報及びオブジェクトゲイン情報は、各プリセットモードから選択された一つであるが、プリセットモードは、時間の処理において、オブジェクトの特定ゲイン及び特定位置をプリセットするための値である。プリセットモード情報は、他の装置から受信された値であるか、装置に格納されている値である。一方、一つ以上のプリセットモード(例えば、プリセットモードを使用しない、プリセットモード1、プリセットモード2など)のうち一つを選択するのは、ユーザ入力によって決定される。
【0061】
再生環境情報は、スピーカーの数、スピーカーの位置、周囲(ambient)情報(スピーカーの仮想位置)などを含む情報であって、ユーザから入力されたり、予め格納されていたり、他の装置から受信される。
【0062】
出力モード情報(OM)は、出力モードに関する情報であって、例えば、何個の信号で出力するかに関する情報を含むことができる。何個の信号で出力するかに関する情報は、モノ出力モード、ステレオ出力モード、マルチチャネル出力モードなどのうち一つに該当する情報である。一方、出力モード情報(OM)は、前記ミックス情報(MXI)のスピーカーの数と同一であるが、予め格納されている場合、装置情報に基づいたもので、ユーザから入力された場合、ユーザインプット情報に基づいたものである。このとき、ユーザインプット情報は、前記ミックス情報(MXI)に含まれる。
【0063】
情報生成ユニット120は、出力モードに応じて、オブジェクト情報(OI)及びミックス情報(MXI)を用いてダウンミックス処理情報(DPI)及びマルチチャネル情報(MI)のうち一つを生成する。ここで、出力モードは、上述した出力モード情報(OM)に基づいたものである。出力モードがモノ出力又はステレオ信号である場合、ダウンミックス処理情報(DPI)を生成し、出力モードがマルチチャネル出力である場合、マルチチャネル情報(MI)を生成する。ここで、ダウンミックス処理情報(DPI)は、ダウンミックス信号(DMX)を処理するための情報であって、これについては後ほどで具体的に説明する。ここで、マルチチャネル情報(MI)は、ダウンミックス信号(DMX)をアップミキシングするための情報であって、チャネルレベル情報、チャネル相関情報などを含むことができる。
【0064】
出力モードがモノ出力又はステレオ出力である場合、ダウンミックス処理情報(DPI)のみを生成する理由は、ダウンミックス処理ユニット130で時間ドメインのモノ信号又はステレオ信号を生成できるためである。一方、出力モードがマルチチャネル出力である場合、マルチチャネル情報(MI)を生成する理由は、入力信号がモノ信号である場合、マルチチャネルデコーダ140でマルチチャネル信号を生成できるためである。
【0065】
ダウンミックス処理ユニット130は、ダウンミックス処理情報(DPI)及びモノダウンミックス(DMX)を用いてモノ出力信号又はステレオ出力信号を生成する。ここで、ダウンミックス処理情報(DPI)は、ダウンミックス信号(DMX)を処理するための情報であって、ダウンミックス信号に含まれている各オブジェクトのゲイン及び/又はパニングを制御するための情報である。
【0066】
一方、モノ出力信号又はステレオ出力信号は、時間ドメインの信号に該当するもので、PCM信号である。モノ出力信号の場合、ダウンミックス処理ユニット130の細部構成を後ほどで図2を参照しながら説明し、ステレオ出力信号の場合、ダウンミックス処理ユニット130の細部構成を図3を参照しながら説明する。
【0067】
さらに、ダウンミックス処理情報(DPI)は、バイノーラルパラメータを含むことができるが、バイノーラルパラメータは、3D効果のためのパラメータであって、情報生成ユニット120でオブジェクト情報(OI)、ミックス情報(MXI)及びHRTFパラメータを用いて生成された情報である。ダウンミックス処理情報(DPI)がバイノーラルパラメータを含む場合、ダウンミックス処理ユニット130はバイノーラル信号を出力することができる。バイノーラル信号の生成のための実施例は、後ほどで図4〜図6を参照しながら具体的に説明する。
【0068】
モノダウンミックス信号でなく、ステレオダウンミックス信号が受信された場合(図示せず)、時間ドメインの出力信号を生成するより、ダウンミックス信号のクロストークのみを変形するための処理を行い、処理されたダウンミックス信号は再びマルチチャネルデコーダ140で処理されることも可能であるが、本発明がこれに限定されることはない。
【0069】
マルチチャネルデコーダ140は、出力モードがマルチチャネル出力モードであるとき、マルチチャネル情報(MI)を用いてダウンミックス(DMX)をアップミキシングし、マルチチャネル信号を生成する。マルチチャネルデコーダ140は、MPEGサラウンド(ISO/IEC 23003―1)の標準によって具現されるが、本発明がこれに限定されることはない。
【0070】
図2は、図1に示したダウンミックス処理ユニットの細部構成図の第1の例として、モノ出力信号を生成するための実施例であって、図3は、図1に示したダウンミックス処理ユニットの細部構成図の第2の例として、ステレオ出力信号を生成するための実施例である。
【0071】
まず、図2を参照すれば、ダウンミックス処理ユニット130Aは、サブバンド分解ユニット132A、M2M処理ユニット134A、サブバンド合成ユニット136Aを含み、モノダウンミックス信号からモノ出力信号を生成する。
【0072】
サブバンド分解ユニット132Aは、モノダウンミックス信号(DMX)を分解してサブバンド信号を生成する。サブバンド分解ユニット132Aは、ハイブリッドフィルタバンクで具現され、サブバンド信号は、ハイブリッドQMFドメインの信号に該当する。M2M処理ユニット134Aは、ダウンミックス処理情報(DPI)を用いてサブバンド信号を処理する。M2Mはmono―to―monoの略字である。ここで、M2M処理ユニット134Aは、サブバンド信号を処理するためにデコリレータを用いることができる。サブバンド合成ユニット136Aは、処理されたサブバンド信号を合成し、時間ドメインのモノ出力信号を生成する。サブバンド合成ユニット136Aは、ハイブリッドフィルタバンクで具現される。
【0073】
図3を参照すれば、ダウンミックス処理ユニット130Bは、サブバンド分解ユニット132B、M2S処理ユニット134B、第1のサブバンド合成ユニット136B、第2のサブバンド合成ユニット138Bを含み、モノダウンミックス信号を受信し、ステレオ出力を生成する。
【0074】
サブバンド分解ユニット132Bは、図2のサブバンド分解ユニット132Aと同様に、モノダウンミックス信号(DMX)を分解し、サブバンド信号を生成する。サブバンド分解ユニット132Bも、ハイブリッドフィルタバンクで具現される。
【0075】
M2S処理ユニット134Bは、ダウンミックス処理情報(DPI)及びデコリレータ135Bを用いてサブバンド信号を処理し、二つのサブバンド信号(第1のサブバンド信号及び第2のサブバンド信号)を生成する。M2Sはmono―to―stereoの略字である。デコリレータ135Bが用いられれば、左右のチャネルの相関性を低下させることによって、ステレオ効果を高めることができる。
【0076】
一方、デコリレータ135Bは、サブバンド分解ユニット132Bから入力されたサブバンド信号を第1のサブバンド信号とし、この第1のサブバンド信号をデコリレートした信号を第2のサブバンド信号として出力できるが、本発明がこれに限定されることはない。
【0077】
第1のサブバンド合成ユニット136Bが第1のサブバンド信号を合成し、第2のサブバンド合成ユニット138Bが第2のサブバンド信号を合成することによって、時間ドメインのステレオ出力信号を生成する。
【0078】
以上、モノダウンミックスが入力される場合、ダウンミックス処理ユニットを介してモノ出力/ステレオ出力が行われる実施例について説明した。以下、バイノーラル信号を生成することについて説明する。
【0079】
2.バイノーラル信号の生成
図4は、バイノーラル信号を生成するための本発明の一実施例に係るオーディオ信号処理装置の構成を示す図で、図5は、図4のダウンミックス処理ユニットの細部構成図である。図6は、バイノーラル信号を生成するための本発明の他の実施例に係るオーディオ信号処理装置の構成を示す図である。
【0080】
すなわち、図4及び図5を参照しながらバイノーラル信号の生成のための一実施例について説明し、図6を参照しながらバイノーラル信号の生成のための他の実施例について説明する。
【0081】
まず、図4を参照すれば、オーディオ信号処理装置200は、デマルチプレクサ210、情報生成ユニット220、ダウンミックス処理ユニット230を含む。ここで、デマルチプレクサ210は、図1を参照して説明したデマルチプレクサ110と同様に、ビットストリームからオブジェクト情報(OI)を抽出し、ダウンミックス(DMX)も抽出することができる。ここで、ダウンミックス信号は、モノ信号又はステレオ信号である。
【0082】
情報生成ユニット220は、オブジェクト情報(OI)、ミックス情報(MXI)、HRTF情報を用いてバイノーラルパラメータを含むダウンミックス処理情報を生成する。ここで、HRTF情報は、HRTF DBから抽出された情報である。バイノーラルパラメータは、仮想3D効果を出すためのパラメータである。
【0083】
そして、ダウンミックス処理ユニット230は、バイノーラルパラメータを含むダウンミックス処理情報(DPI)を用いてバイノーラル信号を出力する。ダウンミックス処理ユニット230の具体的な細部構成は、図5を参照しながら説明する。
【0084】
図5を参照すれば、ダウンミックス処理ユニット230Aは、サブバンド分解ユニット232A、バイノーラル処理ユニット234A、サブバンド合成ユニット236Aを含む。サブバンド分解ユニット232Aは、ダウンミックス信号を分解し、一つ又は二つのサブバンド信号を生成する。バイノーラル処理ユニット234Aは、バイノーラルパラメータを含むダウンミックス処理情報(DPI)を用いて一つ又は二つのサブバンド信号を処理する。サブバンド合成ユニット236Aは、一つ又は二つのサブバンド信号を合成し、時間ドメインのバイノーラル出力信号を生成する。
【0085】
図6を参照すれば、オーディオ信号処理装置300は、デマルチプレクサ310、情報生成ユニット320を含み、マルチチャネルデコーダ330をさらに含むことができる。
【0086】
デマルチプレクサ310は、ビットストリームからオブジェクト情報(OI)を抽出し、ダウンミックス信号(DMX)をさらに抽出することができる。情報生成ユニット320は、オブジェクト情報(OI)及びミックス情報(MXI)を用いてマルチチャネル情報(MI)を生成する。ここで、マルチチャネル情報(MI)は、ダウンミックス信号(DMX)をアップミキシングするための情報であって、チャネルレベル情報、チャネル相関情報のような空間パラメータを含む。また、情報生成ユニット320は、HRTF DBから抽出されたHRTFパラメータを用いてバイノーラルパラメータを生成する。バイノーラルパラメータは、3D効果を与えるためのパラメータであって、HRTFパラメータ自体でもある。また、バイノーラルパラメータは、時変する値であって、ダイナミックな特性を有することができる。
【0087】
ダウンミックス信号がモノ信号である場合、マルチチャネル情報(MI)はゲイン情報(ADG)をさらに含むことができる。ゲイン情報(ADG)は、ダウンミックスゲインを調整するためのパラメータであって、特定オブジェクトに対するゲインを制御するための用途で使用することができる。バイノーラル出力の場合、オブジェクトに対するパニングだけでなく、アップサンプリング又はダウンサンプリングが必要であるので、ゲイン情報(ADG)を使用することが望ましい。マルチチャネルデコーダ330がMPSサラウンド標準に従い、マルチチャネル情報(MI)をMPEGサラウンドシンタックスによって構成しなければならない場合、‘bsArbitraryDownmix=1’にセッティングしてゲイン情報(ADG)を使用することができる。
【0088】
ダウンミックス信号がステレオチャネル信号である場合、オーディオ信号装置300は、ステレオダウンミックス信号の左右のチャネルのリパニング(re―panning)のためのダウンミックス処理ユニット(図示せず)をさらに含むことができる。しかし、バイノーラルレンダリングにおいては、HRTFパラメータの選択によって左右のチャネルのクロスターム(cross―term)を生成できるので、ダウンミックス処理ユニット(図示せず)での動作が必ず必要ではない。ダウンミックス信号がステレオで、マルチチャネル情報(MI)がMPSサラウンド規格に従う場合、5―2―5コンフィギュレーションモードにセッティングされ、左側フロントチャネル及び右側フロントチャネルのみをバイパスして出力する形態であることが望ましい。また、伝送されるバイノーラルパラメータは、残りの値がいずれも0である状態で左側フロントチャネル及び右側フロントチャネルから左側出力及び右側出力への経路(合計4個のパラメータセット)のみが有効な値を有するように伝送される。
【0089】
マルチチャネルデコーダ330は、マルチチャネル情報(MI)及びバイノーラルパラメータを用いてダウンミックス信号からバイノーラル出力を生成する。具体的に、マルチチャネル情報に含まれた空間パラメータ及びバイノーラルパラメータの組み合わせをダウンミックス信号に適用し、バイノーラル出力を生成することができる。
【0090】
このように、バイノーラル出力を生成するための各実施例によれば、第1の実施例のようにダウンミックス処理ユニットを介して直接バイノーラル出力を生成する場合、マルチチャネルデコーダの複雑な方法を実行する必要がないので、複雑度を低下させることができる。また、第2の実施例のようにマルチチャネルデコーダを使用する場合、マルチチャネルデコーダの機能を用いることができる。
【0091】
3.独立オブジェクトの制御(カラオケモード/アカペラモード)
以下、モノダウンミックスを受信し、独立オブジェクト又はバックグラウンドオブジェクトを制御する技術について説明する。
【0092】
図7は、独立オブジェクトを制御するための本発明の一実施例に係るオーディオ信号処理装置の構成図で、図8は、独立オブジェクトを制御するための本発明の他の実施例に係るオーディオ信号処理装置の構成図である。
【0093】
まず、図7を参照すれば、オーディオ信号エンコーディング装置400のマルチチャネルデコーダ410が複数のチャネル信号を受信し、モノダウンミックス(DMXm)及びマルチチャネルビットストリームを生成する。ここで、複数のチャネル信号は、マルチチャネルバックグラウンドオブジェクト(Multi―channel Background Objects: MBO)である。
【0094】
マルチチャネルバックグラウンドオブジェクト(MBO)は、例えば、背景音楽を構成する複数の楽器信号を含むことができるが、何個のソース信号(例えば、楽器信号)が含まれているかを知ることができなく、ソース信号別にコントロールすることもできない。ここで、バックグラウンドオブジェクトは、ステレオチャネルにダウンミックスされることも可能であるが、本発明では、モノ信号にダウンミックスされたバックグラウンドオブジェクトのみについて説明する。
【0095】
オブジェクトエンコーダ410は、モノバックグラウンドオブジェクト(DMXm)及び一つ以上のオブジェクト信号(objN)をダウンミックスしてモノダウンミックス(DMX)を生成し、オブジェクト情報ビットストリームを生成する。ここで、一つ以上のオブジェクト信号(又はオブジェクトベース信号)は、独立オブジェクトであって、フォアグラウンドオブジェクト(FGO)(ForeGround Object)とも称する。例えば、バックグラウンドオブジェクトが伴奏音楽であれば、独立オブジェクト(FGO)はリードボーカル信号に該当する。もちろん、独立オブジェクトが二つである場合、歌手1のボーカル信号、歌手2のボーカル信号にそれぞれ対応することができる。オブジェクトエンコーダ410は、残余(residual)情報をさらに生成することができる。
【0096】
オブジェクトエンコーダ410は、モノバックグラウンドオブジェクト(DMXm)及びオブジェクト信号(objN)(すなわち、独立オブジェクト)をダウンミックスする過程で残余を生成することができる。この残余は、デコーダでダウンミックス信号から独立オブジェクト(又はバックグラウンドオブジェクト)を抽出するのに用いられる。
【0097】
オーディオ信号デコーディング装置500のオブジェクトトランスコーダ510は、ミックス情報(MXI)に含まれたモード選択情報(MSI)にしたがって、改良オブジェクト情報(例えば、残余)を用いてダウンミックス(DMX)から一つ以上の独立オブジェクト又はバックグラウンドオブジェクトを抽出する。
【0098】
モード選択情報(MSI)は、バックグラウンドオブジェクト及び一つ以上の独立オブジェクトを制御するためのモードが選択されたかどうかに対する情報を含む。さらに、モード選択情報(MSI)は、一般モード、バックグラウンドオブジェクトを制御するためのモード、一つ以上の独立オブジェクトを制御するためのモードを含む各モードのうちいずれのモードに該当するかに関する情報を含むことができる。例えば、バックグラウンドオブジェクトを制御するためのモードは、バックグラウンドオブジェクトが背景音楽である場合、アカペラモード(又はソロモード)に該当する。例えば、一つ以上の独立オブジェクトを制御するためのモードは、独立オブジェクトがボーカルである場合、カラオケモードに該当する。言い換えれば、モード選択情報は、一般モード、アカペラモード、カラオケモードのうち一つを選択するかに関する情報であって、アカペラモード又はカラオケモードである場合、ゲイン調整に対する情報をさらに含むことができる。すなわち、モード選択情報(MSI)がアカペラモード又はカラオケモードである場合、ダウンミックス(DMX)から一つ以上の独立オブジェクト又はバックグラウンドオブジェクトを抽出し、一般モードである場合、ダウンミックス信号をバイパスすることができる。
【0099】
独立オブジェクトが抽出された場合、オブジェクトトランスコーダ510は、オブジェクト情報(OI)及びミックス情報(MXI)などを用いて一つ以上の独立オブジェクト及びバックグラウンドオブジェクトをミキシングし、ミキシングされたモノダウンミックスを生成する。ここで、オブジェクト情報(OI)は、オブジェクト情報ビットストリームから抽出された情報であって、上述した情報と同一である。ここで、ミックス情報(MXI)は、オブジェクトゲイン及び/又はパニングを調整するための情報である。
【0100】
一方、オブジェクトトランスコーダ510は、マルチチャネルビットストリーム及び/又はオブジェクト情報ビットストリームを用いてマルチチャネル情報(MI)を生成する。マルチチャネル情報(MI)は、バックグラウンドオブジェクト又は一つ以上の独立オブジェクトを制御するためのものであるが、このとき、バックグラウンドオブジェクトをコントロールするための第1のマルチチャネル情報及び一つ以上の独立オブジェクトをコントロールするための第2のマルチチャネル情報のうち一つ以上を含むことができる。
【0101】
マルチチャネルデコーダ520は、マルチチャネル情報(MI)を用いてミキシングされたモノダウンミックス又はバイパスされたモノダウンミックスから出力信号を生成する。
【0102】
図8は、独立オブジェクト生成のための他の実施例である。
【0103】
図8を参照すれば、オーディオ信号処理装置600は、モノダウンミックス(DMX)を受信し、ダウンミックス処理ユニット610、マルチチャネルデコーダ620、OTNモジュール630及びレンダリングユニット640を含む。
【0104】
オーディオ信号処理装置600は、モード選択情報(MSI)にしたがって、ダウンミックス信号をOTNモジュール630に入力するかどうかを決定する。ここで、モード選択情報は、既に図7を参照して説明したモード選択情報と同一である。
【0105】
モード選択情報によって、現在のモードがバックグラウンドオブジェクト(MBO)又は一つ以上の独立オブジェクト(FGO)を制御するためのモードである場合、ダウンミックス信号がOTNモジュール630に入力されるようにする。その一方、モード選択情報にしたがって、現在のモードが一般モードである場合、ダウンミックス信号をバイパスし、出力モードに応じてダウンミックス処理ユニット610又はマルチチャネルデコーダ620にダウンミックス信号が入力されるようにする。ここでの出力モードは、既に図1を参照して説明した出力モード情報(OM)と同一であって、出力スピーカーの数である。
【0106】
モノ/ステレオ/バイノーラル出力モードである場合、ダウンミックス処理ユニット610によってダウンミックスが処理されるが、このとき、ダウンミックス処理ユニット610は、図1〜図3を参照して説明したダウンミックス処理ユニット130、130A、130Bと同一の役割を果たす構成要素である。
【0107】
一方、出力モードがマルチチャネルモードである場合、マルチチャネルデコーダ620は、モノダウンミックス(DMX)からマルチチャネル出力を生成する。このとき、マルチチャネルデコーダも、既に図1を参照して説明したマルチチャネルデコーダ140と同一の役割を果たす構成要素である。
【0108】
一方、モード選択情報(MSI)にしたがって、モノダウンミックス信号がOTNモジュール630に入力された場合、OTNモジュール630は、ダウンミックス信号からモノバックグラウンドオブジェクト(MBO)及び一つ以上の独立オブジェクト信号(FGO)を抽出する。OTNはone―to―nの略字である。独立オブジェクト信号が1個である場合、OTT(One―To―Two)構造になり、独立オブジェクト信号が2個である場合、OTT(One―To―Three)構造になり、独立オブジェクトの信号がN−1である場合、OTN構造になる。
【0109】
一方、OTNモジュール630は、オブジェクト情報(OI)及び改良オブジェクト情報(EOI)を用いることができる。ここで、改良オブジェクト情報(EOI)は、バックグラウンドオブジェクト及び独立オブジェクトをダウンミックスする過程で生成された残余信号である。
【0110】
一方、レンダリングユニット640は、ミックス情報(MXI)を用いて、バックグラウンドオブジェクト(MBO)及び独立オブジェクト(FGO)をレンダリングすることによって出力チャネル信号を生成する。ここで、ミックス情報(MXI)は、バックグラウンドオブジェクトを制御するための情報又は/及び独立オブジェクトを制御するための情報を含む。一方、オブジェクト情報(OI)及びミックス情報(MXI)に基づいたマルチチャネル情報(MI)が生成されるが、この場合、前記出力チャネル信号は、マルチチャネルデコーダ(図示せず)に入力され、前記マルチチャネル情報に基づいてアップミキシングされることもある。
【0111】
図9は、改良オブジェクト処理のための本発明の第1の実施例に係るオーディオ信号処理装置の構成を示す図で、図10は、改良オブジェクト処理のための本発明の第2の実施例に係るオーディオ信号処理装置の構成を示す図で、図11及び図12は、改良オブジェクト処理のための本発明の第3の実施例に係るオーディオ信号処理装置の構成を示す図である。
【0112】
第1の実施例は、モノダウンミックス及びモノオブジェクトに関するもので、第2の実施例は、モノダウンミックス及びステレオオブジェクトに関するもので、第3の実施例は、第1の実施例の場合及び第2実施例の場合をいずれもカバーする実施例である。
【0113】
まず、図9を参照すれば、オーディオ信号エンコーディング装置700Aの改良オブジェクト情報エンコーダ710は、モノ信号であるミックスされたオーディオ信号及びオブジェクト信号(obj_x1)から改良オブジェクト情報(EOP_x1)を生成する。このとき、二つの信号を用いて一つの信号を生成するので、改良オブジェクト情報エンコーダ710は、OTT(One―To―Two)エンコーディングモジュールで具現される。ここで、改良オブジェクト情報(EOP_x1)は残余信号である。また、改良オブジェクト情報エンコーダ710は、OTTモジュールに対応するオブジェクト情報(OP_x1)を生成する。
【0114】
オーディオ信号デコーディング装置800Aの改良オブジェクト情報デコーダ810は、改良オブジェクト情報(EOP_x1)及びミックスされたオーディオ信号を用いて付加的なリミックスデータに対応する出力信号(obj_x1’)を生成する。
【0115】
図10を参照すれば、オーディオ信号エンコーディング装置700Bは、第1の改良オブジェクト情報エンコーダ710B及び第2の改良オブジェクト情報エンコーダ720Bを含み、オーディオ信号デコーディング装置800Bは、第1の改良オブジェクト情報デコーダ810B及び第2の改良オブジェクト情報デコーダ820Bを含む。
【0116】
第1の改良オブジェクト情報エンコーダ710Bは、二つのオブジェクト信号(obj_x1、obj_x2)を結合し、結合オブジェクト及び第1の改良オブジェクト情報(EOP_L1)を生成する。二つのオブジェクト信号は、ステレオオブジェクト信号、すなわち、オブジェクトの左側チャネル信号及びオブジェクトの右側チャネル信号である。結合オブジェクトを生成する過程で、第1のオブジェクト情報(OP_L1)が生成される。
【0117】
第2の改良オブジェクト情報エンコーダ720Bは、モノ信号であるミックスされたオーディオ信号及び結合オブジェクトを用いて第2の改良オブジェクト情報(EOP_L0)及び第2のオブジェクト情報(OP_L0)を生成する。
【0118】
このように二つの段階の過程を通して最終的な信号を生成するが、第1の改良オブジェクト情報エンコーダ710B及び第2の改良オブジェクト情報エンコーダ720Bは、二つの信号から一つの信号を生成するので、それぞれOTT(One―To―Two)モジュールとして具現される。
【0119】
オーディオ信号デコーディング装置800Bは、オーディオ信号エンコーディング装置700Bで行われた過程と反対の過程を行う。
【0120】
すなわち、第2の改良オブジェクト情報デコーダ810Bは、第2の改良オブジェクト情報(EOP_L0)及びミックスされたオーディオ信号を用いて結合オブジェクトを生成する。このとき、オーディオ信号がさらに抽出される。
【0121】
そして、第1の改良オブジェクト情報デコーダ820Bは、第1の改良オブジェクト情報(EOP_L1)を用いて結合オブジェクトから付加的なリミックスデータである二つのオブジェクト(obj_x1’、obj_x2’)を生成する。
【0122】
図11及び図12は、第1の実施例及び第2の実施例が結合された形態である。図11を参照すれば、マルチチャネルエンコーダ705Cの5―1―5ツリー構造又は5―2―5ツリー構造の動作有無によって改良オブジェクトがモノ又はステレオに変化する場合、ダウンミックス信号がモノ信号/ステレオ信号に変化する場合がいずれも表現されたものである。
【0123】
図11及び図12に示すように、改良オブジェクトがモノ信号である場合、第1の改良オブジェクト情報エンコーダ710C及び第1の改良情報デコーダ820Cが動作しない。各構成要素の機能は、図10を参照して説明した同一名称の構成要素と同一である。
【0124】
一方、ダウンミックス信号がモノである場合、第2の改良オブジェクト情報エンコーダ720C及び第2の改良オブジェクト情報デコーダ810CがそれぞれOTTエンコーダ/デコーダとして動作することが望ましく、ダウンミックス信号がステレオである場合、それぞれTTTエンコーダ/デコーダとして動作することができる。
【0125】
本発明に係るオーディオ信号処理方法は、コンピュータ読み取り可能なコードとして記録媒体に格納されるプログラムに搭載することができる。また、本発明に係るデータ構造を有するマルチメディアデータもコンピュータ読み取り可能な記録媒体に格納される。前記コンピュータ読み取り可能な記録媒体は、コンピュータシステムによって読まれるデータが格納されるあらゆる種類の格納装置を含む。コンピュータ読み取り可能な記録媒体の例としては、ROM、RAM、CD―ROM、磁気テープ、フロッピー(登録商標)ディスク、光データ格納装置などがあり、キャリアウェーブ(例えば、インターネットを介した伝送)の形態で具現されることも含む。また、前記エンコーディング方法によって生成されたビットストリームは、コンピュータ読み取り可能な記録媒体に格納されたり、有無線通信網を用いて伝送される。
【0126】
以上のように、本発明は、限定された実施例と図面によって説明されたが、本発明がこれによって限定されることはなく、本発明の属する技術分野で通常の知識を有する者によって本発明の技術思想と下記に記載される特許請求の範囲の均等範囲内で多様な修正及び変形が可能であることは当然である。
【産業上の利用可能性】
【0127】
本発明は、オーディオ信号をエンコーディング及びデコーディングすることに適用できる。
【特許請求の範囲】
【請求項1】
少なくとも1つのオブジェクト信号を含むダウンミックス信号、及び該ダウンミックス信号が生成される時に抽出されたオブジェクト情報を受信するステップ、
モード選択情報を含み、前記オブジェクト信号を制御するためのミックス情報を受信するステップ、
前記モード選択情報に基づいて、前記ダウンミックス信号をバイパスする、又は前記ダウンミックス信号からバックグラウンドオブジェクト及び少なくとも1つの独立オブジェクトを抽出するステップ、
前記ダウンミック信号がバイパスされた場合、前記オブジェクト情報及び前記ミックス情報を用いてマルチチャネル情報を生成するステップ、
を有するオーディオ信号処理方法であって、
前記ダウンミックス信号はモノ信号に該当し、
前記モード選択情報は、一般モード、前記バックグラウンドオブジェクトを制御するためのモード及び前記少なくとも1つの独立オブジェクトを制御するためのモードのいずれか1つを示す情報を有する、オーディオ信号処理方法。
【請求項2】
改良オブジェクト情報を受信するステップをさらに有し、前記少なくとも1つの独立オブジェクトは、該改良オブジェクト情報を用いて前記ダウンミックス信号から抽出される、請求項1に記載のオーディオ信号処理方法。
【請求項3】
前記改良オブジェクト情報は残余信号に該当する、請求項2に記載のオーディオ信号処理方法。
【請求項4】
前記少なくとも1つの独立オブジェクトはオブジェクトベース信号に該当し、前記バックグラウンドオブジェクトはモノ信号に該当する、請求項1に記載のオーディオ信号処理方法。
【請求項5】
モード選択モードが前記一般モードに該当する場合、ステレオ出力信号が生成され、該モード選択モードが、前記バックグラウンドオブジェクトを制御するためのモード又は前記少なくとも1つの独立オブジェクトを制御するためのモードの1つに該当する場合、前記バックグラウンドオブジェクト及び前記少なくとも1つの独立オブジェクトが抽出される、請求項1に記載のオーディオ信号処理方法。
【請求項6】
前記バックグラウンドオブジェクト及び前記少なくとも1つの独立オブジェクトが前記ダウンミックス信号から抽出される場合、前記バックグラウンドオブジェクトを制御するための第1のマルチャネル情報、及び前記少なくとも1つの独立オブジェクトを制御するための第2のマルチャネル情報の少なくとも1つを生成するステップをさらに有する、請求項1に記載のオーディオ信号処理方法。
【請求項7】
少なくとも1つのオブジェクト信号を含むダウンミックス信号、及び該ダウンミックス信号が生成される時に抽出されたオブジェクト情報を受信するデマルチプレクサと、
前記オブジェクト信号を制御するためのミックス情報に含まれたモード選択情報に基づいて、前記ダウンミックス信号をバイパスする、又は前記ダウンミックス信号からバックグラウンドオブジェクト及び少なくとも1つの独立オブジェクトを抽出するオブジェクトトランスコーダと、
前記ダウンミック信号がバイパスされた場合、前記オブジェクト情報及び前記ミックス情報を用いてマルチチャネル情報を生成するマルチチャネルデコーダと、
を有するオーディオ信号処理装置であって、
前記ダウンミックス信号はモノ信号に該当し、
出力信号は、前記ダウンミックス信号にデコリレータを適用することにより生成されたステレオ信号に該当し、
前記モード選択情報は、一般モード、前記バックグラウンドオブジェクトを制御するためのモード及び前記少なくとも1つの独立オブジェクトを制御するためのモードのいずれか1つを示す情報を有する、オーディオ信号処理装置。
【請求項8】
前記デマルチプレクサは、改良オブジェクト情報をさらに受信し、前記少なくとも1つの独立オブジェクトは、該改良オブジェクト情報を用いて前記ダウンミックス信号から抽出される、請求項7に記載のオーディオ信号処理装置。
【請求項9】
前記改良オブジェクト情報は残余信号に該当する、請求項8に記載のオーディオ信号処理装置。
【請求項10】
前記少なくとも1つの独立オブジェクトはオブジェクトベース信号に該当し、前記バックグラウンドオブジェクトはモノ信号に該当する、請求項7に記載のオーディオ信号処理装置。
【請求項11】
モード選択モードが前記一般モードに該当する場合、ステレオ出力信号が生成され、該モード選択モードが、前記バックグラウンドオブジェクトを制御するためのモード又は前記少なくとも1つの独立オブジェクトを制御するためのモードの1つに該当する場合、前記バックグラウンドオブジェクト及び前記少なくとも1つの独立オブジェクトが抽出される、請求項7に記載のオーディオ信号処理装置。
【請求項12】
前記バックグラウンドオブジェクト及び前記少なくとも1つの独立オブジェクトが前記ダウンミックス信号から抽出される場合、前記バックグラウンドオブジェクトを制御するための第1のマルチャネル情報、及び前記少なくとも1つの独立オブジェクトを制御するための第2のマルチャネル情報の少なくとも1つを生成することをさらに有する、請求項7に記載のオーディオ信号処理装置。
【請求項13】
オーディオ信号を処理する方法を実行するために提供されるプログラムを記録したコンピュータ読み取り可能な記録媒体であって、該方法は、
少なくとも1つのオブジェクト信号を含むダウンミックス信号、及び該ダウンミックス信号が生成される時に抽出されたオブジェクト情報を受信するステップ、
モード選択情報を含み、前記オブジェクト信号を制御するためのミックス情報を受信するステップ、
前記モード選択情報に基づいて、前記ダウンミックス信号をバイパスする、又は前記ダウンミックス信号からバックグラウンドオブジェクト及び少なくとも1つの独立オブジェクトを抽出するステップ、
前記ダウンミック信号がバイパスされた場合、前記オブジェクト情報及び前記ミックス情報を用いてマルチチャネル情報を生成するステップ、
を有し、
前記ダウンミックス信号はモノ信号に該当し、
前記モード選択情報は、一般モード、前記バックグラウンドオブジェクトを制御するためのモード及び前記少なくとも1つの独立オブジェクトを制御するためのモードのいずれか1つを示す情報を有する、コンピュータ読み取り可能な記録媒体。
【請求項1】
少なくとも1つのオブジェクト信号を含むダウンミックス信号、及び該ダウンミックス信号が生成される時に抽出されたオブジェクト情報を受信するステップ、
モード選択情報を含み、前記オブジェクト信号を制御するためのミックス情報を受信するステップ、
前記モード選択情報に基づいて、前記ダウンミックス信号をバイパスする、又は前記ダウンミックス信号からバックグラウンドオブジェクト及び少なくとも1つの独立オブジェクトを抽出するステップ、
前記ダウンミック信号がバイパスされた場合、前記オブジェクト情報及び前記ミックス情報を用いてマルチチャネル情報を生成するステップ、
を有するオーディオ信号処理方法であって、
前記ダウンミックス信号はモノ信号に該当し、
前記モード選択情報は、一般モード、前記バックグラウンドオブジェクトを制御するためのモード及び前記少なくとも1つの独立オブジェクトを制御するためのモードのいずれか1つを示す情報を有する、オーディオ信号処理方法。
【請求項2】
改良オブジェクト情報を受信するステップをさらに有し、前記少なくとも1つの独立オブジェクトは、該改良オブジェクト情報を用いて前記ダウンミックス信号から抽出される、請求項1に記載のオーディオ信号処理方法。
【請求項3】
前記改良オブジェクト情報は残余信号に該当する、請求項2に記載のオーディオ信号処理方法。
【請求項4】
前記少なくとも1つの独立オブジェクトはオブジェクトベース信号に該当し、前記バックグラウンドオブジェクトはモノ信号に該当する、請求項1に記載のオーディオ信号処理方法。
【請求項5】
モード選択モードが前記一般モードに該当する場合、ステレオ出力信号が生成され、該モード選択モードが、前記バックグラウンドオブジェクトを制御するためのモード又は前記少なくとも1つの独立オブジェクトを制御するためのモードの1つに該当する場合、前記バックグラウンドオブジェクト及び前記少なくとも1つの独立オブジェクトが抽出される、請求項1に記載のオーディオ信号処理方法。
【請求項6】
前記バックグラウンドオブジェクト及び前記少なくとも1つの独立オブジェクトが前記ダウンミックス信号から抽出される場合、前記バックグラウンドオブジェクトを制御するための第1のマルチャネル情報、及び前記少なくとも1つの独立オブジェクトを制御するための第2のマルチャネル情報の少なくとも1つを生成するステップをさらに有する、請求項1に記載のオーディオ信号処理方法。
【請求項7】
少なくとも1つのオブジェクト信号を含むダウンミックス信号、及び該ダウンミックス信号が生成される時に抽出されたオブジェクト情報を受信するデマルチプレクサと、
前記オブジェクト信号を制御するためのミックス情報に含まれたモード選択情報に基づいて、前記ダウンミックス信号をバイパスする、又は前記ダウンミックス信号からバックグラウンドオブジェクト及び少なくとも1つの独立オブジェクトを抽出するオブジェクトトランスコーダと、
前記ダウンミック信号がバイパスされた場合、前記オブジェクト情報及び前記ミックス情報を用いてマルチチャネル情報を生成するマルチチャネルデコーダと、
を有するオーディオ信号処理装置であって、
前記ダウンミックス信号はモノ信号に該当し、
出力信号は、前記ダウンミックス信号にデコリレータを適用することにより生成されたステレオ信号に該当し、
前記モード選択情報は、一般モード、前記バックグラウンドオブジェクトを制御するためのモード及び前記少なくとも1つの独立オブジェクトを制御するためのモードのいずれか1つを示す情報を有する、オーディオ信号処理装置。
【請求項8】
前記デマルチプレクサは、改良オブジェクト情報をさらに受信し、前記少なくとも1つの独立オブジェクトは、該改良オブジェクト情報を用いて前記ダウンミックス信号から抽出される、請求項7に記載のオーディオ信号処理装置。
【請求項9】
前記改良オブジェクト情報は残余信号に該当する、請求項8に記載のオーディオ信号処理装置。
【請求項10】
前記少なくとも1つの独立オブジェクトはオブジェクトベース信号に該当し、前記バックグラウンドオブジェクトはモノ信号に該当する、請求項7に記載のオーディオ信号処理装置。
【請求項11】
モード選択モードが前記一般モードに該当する場合、ステレオ出力信号が生成され、該モード選択モードが、前記バックグラウンドオブジェクトを制御するためのモード又は前記少なくとも1つの独立オブジェクトを制御するためのモードの1つに該当する場合、前記バックグラウンドオブジェクト及び前記少なくとも1つの独立オブジェクトが抽出される、請求項7に記載のオーディオ信号処理装置。
【請求項12】
前記バックグラウンドオブジェクト及び前記少なくとも1つの独立オブジェクトが前記ダウンミックス信号から抽出される場合、前記バックグラウンドオブジェクトを制御するための第1のマルチャネル情報、及び前記少なくとも1つの独立オブジェクトを制御するための第2のマルチャネル情報の少なくとも1つを生成することをさらに有する、請求項7に記載のオーディオ信号処理装置。
【請求項13】
オーディオ信号を処理する方法を実行するために提供されるプログラムを記録したコンピュータ読み取り可能な記録媒体であって、該方法は、
少なくとも1つのオブジェクト信号を含むダウンミックス信号、及び該ダウンミックス信号が生成される時に抽出されたオブジェクト情報を受信するステップ、
モード選択情報を含み、前記オブジェクト信号を制御するためのミックス情報を受信するステップ、
前記モード選択情報に基づいて、前記ダウンミックス信号をバイパスする、又は前記ダウンミックス信号からバックグラウンドオブジェクト及び少なくとも1つの独立オブジェクトを抽出するステップ、
前記ダウンミック信号がバイパスされた場合、前記オブジェクト情報及び前記ミックス情報を用いてマルチチャネル情報を生成するステップ、
を有し、
前記ダウンミックス信号はモノ信号に該当し、
前記モード選択情報は、一般モード、前記バックグラウンドオブジェクトを制御するためのモード及び前記少なくとも1つの独立オブジェクトを制御するためのモードのいずれか1つを示す情報を有する、コンピュータ読み取り可能な記録媒体。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公表番号】特表2011−509591(P2011−509591A)
【公表日】平成23年3月24日(2011.3.24)
【国際特許分類】
【出願番号】特願2010−541398(P2010−541398)
【出願日】平成20年12月31日(2008.12.31)
【国際出願番号】PCT/KR2008/007869
【国際公開番号】WO2009/084919
【国際公開日】平成21年7月9日(2009.7.9)
【出願人】(502032105)エルジー エレクトロニクス インコーポレイティド (2,269)
【Fターム(参考)】
【公表日】平成23年3月24日(2011.3.24)
【国際特許分類】
【出願日】平成20年12月31日(2008.12.31)
【国際出願番号】PCT/KR2008/007869
【国際公開番号】WO2009/084919
【国際公開日】平成21年7月9日(2009.7.9)
【出願人】(502032105)エルジー エレクトロニクス インコーポレイティド (2,269)
【Fターム(参考)】
[ Back to top ]