説明

マルチチャンネル信号の復号化及び符号化方法、記録媒体及びシステム

【課題】 左側チャンネル及び右側チャンネルを最後にダウンミキシングして符号化し、左側チャンネル及び右側チャンネルを優先的にアップミキシングして復号化するマルチチャンネル符号化/復号化方法及びシステムを提供する。
【解決手段】 マルチチャンネル信号の復号化及び符号化方法、記録媒体及びシステムを提供する。これにより、マルチチャンネルからダウンミックスされた信号に対して左側チャンネル及び右側チャンネルを優先的にアップミキシングすることによって、スケーラブルチャンネル復号化時にも左側及び右側の音質が低下せずに高音質で出力できる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明の一実施形態は、オーディオコーディングに係り、特にマルチチャンネルにオーディオ信号を符号化/復号化するサラウンドオーディオコーディングに関する。
【背景技術】
【0002】
一般的に、マルチチャンネルオーディオコーディングには、ウェーブフォームマルチチャンネルオーディオコーディング及びパラメトリックマルチチャンネルオーディオコーディングがある。ウェーブフォームマルチチャンネルオーディオコーディングには、MPEG(Moving Picture Experts Group)−2 MCオーディオコーディング、AAC MCオーディオコーディング及びBSAC/AVS MCオーディオコーディングなどがあり、5個のチャンネル信号を入力として5個のチャンネル信号に出力する。パラメトリックマルチチャンネルオーディオコーディングは、MPEGサラウンドコーディングがあり、一つまたは二つの入力チャンネルを6個または8個のマルチチャンネルに出力する。
【0003】
ここで、MPEGサラウンドコーディングは、図1Aに示した5−1−5の1ツリー構造と、図1Bに示した5−1−5の2ツリー構造とを利用することによって、マルチチャンネルに信号を復号化することによってアップミキシングして出力する。かかるツリー構造は、モノ信号を入力されてOTT(1−to−2)モジュールの組み合わせで処理してFL(Front Left)、FR(Front Right)、C(Center)、LFE(Low Frequency Enhancement)、BL(Back Left)及びBR(Back Right)に該当するマルチチャンネルに出力する。
【0004】
図1AのOTTモジュールから出力される信号を見れば、5−1−5の1ツリー構造では、FL,FR,C及びLFEがミックスされた信号、BL及びBRがミックスされた信号として出力される。そして、図1BのOTTモジュールから出力される信号を見れば、5−1−5の2ツリー構造では、FL,BL,FR及びBRがミックスされた信号、C及びLFEがミックスされた信号として出力される。しかし、図1Aに示した5−1−5の1ツリー構造及び図1Bに示した5−1−5の2ツリー構造に設けられたOTTモジュールの出力端でプルーニングを行う場合、OTTモジュールは、前方チャンネル及び後方チャンネルと関連して最初にアップミキシングするので、左側チャンネル及び右側チャンネルに対して音質が低下するという問題点を有する。
【0005】
これにより、後述する本発明の実施形態は、かかる問題点を克服するための実施形態である。
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明が解決しようとする課題は、左側チャンネル及び右側チャンネルを最後にダウンミキシングして符号化し、左側チャンネル及び右側チャンネルを優先的にアップミキシングして復号化するマルチチャンネル符号化/復号化方法及びシステムを提供するところにある。
【課題を解決するための手段】
【0007】
本発明のその他の側面及び利点は、以下の明細書で明細書の内容それ自体あるいは本発明の実行により理解される。
【0008】
前記課題を解決するために、本発明の一実施形態によるマルチチャンネル復号化方法は、符号化端でマルチチャンネルからダウンミックスされた信号を利用し、空間情報に基づいて非相関器に入力する信号を生成するステップと、前記生成された信号を非相関器に入力して非相関化するステップと、前記空間情報を利用して、前記ダウンミックスされた信号と前記非相関化された信号とをミキシングするステップと、を含み、前記空間情報は、左側チャンネルと右側チャンネルとの間の情報を含む。
【0009】
前記課題を解決するために、定義されたチャンネルからなるマルチチャンネル信号を入力され、入力されたマルチチャンネル信号を復号化する本発明の一実施形態によるマルチチャンネル復号化方法は、ダウンミックスされた信号を利用し、空間情報に基づいて非相関器に入力する信号を生成するステップと、前記生成された信号を非相関器に入力して非相関化するステップと、前記空間情報を利用して、前記ダウンミックスされた信号と前記非相関化された信号とをミキシングするステップと、を含み、前記空間情報は、前記定義されたチャンネルのうち少なくとも一つを復号化するための個別情報を含む。
【0010】
前記課題を解決するために、本発明の一実施形態によるマルチチャンネル復号化方法は、符号化端でマルチチャンネルからダウンミックスされた信号を入力されて、空間情報を利用して非相関器に入力する信号を生成するステップと、前記生成された信号を非相関器に入力して非相関化するステップと、前記空間情報を利用して、前記ダウンミックスされた信号と前記非相関化された信号とをミキシングするステップと、を含み、前記空間情報は、左側チャンネルと右側チャンネルとの間のCLD(Channel Level Difference)またはICC(Inter Channel Correlation)を含む。
【0011】
前記課題を解決するために、本発明の一実施形態によるマルチチャンネル復号化方法は、符号化端でマルチチャンネルからダウンミックスされた信号を入力されて、空間情報を利用して非相関器に入力する信号を生成するステップと、前記生成された信号を非相関器に入力して非相関化するステップと、前記空間情報を利用して、前記ダウンミックスされた信号と前記非相関化された信号とをミキシングするステップと、を含み、前記空間情報は、前記ダウンミックスされた信号を入力されて、左側チャンネル及び右側チャンネルにアップミキシングするモジュールで利用される空間情報を含む。
【0012】
前記課題を解決するために、本発明の一実施形態によるマルチチャンネル復号化方法は、符号化端でマルチチャンネルからダウンミックスされた信号を入力されて、空間情報を利用して非相関器に入力する信号を生成するステップと、前記生成された信号を非相関器に入力して非相関化するステップと、前記空間情報を利用して、前記ダウンミックスされた信号と前記非相関化された信号とをミキシングするステップと、を含み、前記空間情報は、前記ダウンミックスされた信号を左側チャンネル及び右側チャンネルに優先してアップミキシングする空間情報を含む。
【0013】
前記課題を解決するために、前記方法は、コンピュータで実行されるコンピュータプログラムで具現されてコンピュータで読み取り可能な記録媒体に保存されうる。
【0014】
前記課題を解決するために、本発明の一実施形態によるマルチチャンネル復号化システムは、符号化端でマルチチャンネルからダウンミックスされた信号を利用し、空間情報に基づいて非相関器に入力する信号を生成する前マトリックス適用部と、前記各生成された信号を非相関器に入力して非相関化する非相関部と、前記空間情報を利用して、前記ダウンミックスされた信号と前記非相関された信号とをミキシングする後マトリックス適用部と、を備え、前記空間情報は、左側チャンネルと右側チャンネルとの間の情報を含む。
【0015】
前記課題を解決するために、定義されたチャンネルからなるマルチチャンネル信号を入力され、入力されたマルチチャンネル信号を復号化する本発明の一実施形態によるマルチチャンネル復号化システムは、ダウンミックスされた信号を利用し、空間情報に基づいて非相関器に入力する信号を生成する前マトリックス適用部と、前記生成された信号を非相関器に入力して非相関化する非相関部と、前記空間情報を利用して、前記ダウンミックスされた信号と前記非相関化された信号とをミキシングする後マトリックス適用部と、を備え、前記空間情報は、前記定義されたチャンネルのうち少なくとも一つを復号化するための個別情報を含む。
【0016】
前記課題を解決するために、本発明の一実施形態によるマルチチャンネル復号化システムは、符号化端でマルチチャンネルからダウンミックスされた信号を入力されて、空間情報を利用して非相関器に入力する信号を生成する前マトリックス適用部と、前記各生成された信号を非相関器に入力して非相関する非相関部と、前記空間情報を利用して、前記ダウンミックスされた信号と前記非相関化された信号とをミキシングする後マトリックス適用部と、を備え、前記空間情報は、左側チャンネルと右側チャンネルとの間のCLDまたはICCを含む。
【0017】
前記課題を解決するために、本発明の一実施形態によるマルチチャンネル復号化システムは、符号化端でマルチチャンネルからダウンミックスされた信号を入力されて、空間情報を利用して非相関器に入力する信号を生成する前マトリックス適用部と、前記各生成された信号を非相関器に入力して非相関化する非相関部と、前記空間情報を利用して、前記ダウンミックスされた信号と前記非相関化された信号とをミキシングする後マトリックス適用部と、を備え、前記空間情報は、前記ダウンミックスされた信号を入力されて、左側チャンネル及び右側チャンネルにアップミキシングするモジュールで利用される空間情報を含む。
【0018】
前記課題を解決するために、本発明の一実施形態によるマルチチャンネル復号化システムは、符号化端でマルチチャンネルからダウンミックスされた信号を入力されて、空間情報を利用して非相関器に入力する信号を生成するステップと、前記生成された信号を非相関器に入力して非相関化するステップと、前記空間情報を利用して、前記ダウンミックスされた信号と前記非相関化された信号とをミキシングするステップと、を含み、前記空間情報は、前記ダウンミックスされた信号を左側チャンネル及び右側チャンネルに優先してアップミキシングする空間情報を含む。
【0019】
前記課題を解決するために、本発明の一実施形態によるマルチチャンネル符号化方法は、マルチチャンネル信号から左側チャンネル及び右側チャンネルを最後にダウンミキシングするステップと、前記ダウンミキシングされた信号の空間情報を抽出するステップと、前記ダウンミキシングされた信号及び前記抽出された空間情報を含むビットストリームを生成するステップと、を含む。
【0020】
前記課題を解決するために、本発明の一実施形態によるマルチチャンネル符号化システムは、マルチチャンネル信号から左側チャンネル及び右側チャンネルを最後にダウンミキシングするダウンミキシング部と、前記ダウンミックスされた信号の空間情報を抽出する情報抽出部と、前記ダウンミックスされた信号及び前記抽出された空間情報を含むビットストリームを生成するビットストリーム生成部と、を備える。
【図面の簡単な説明】
【0021】
【図1A】MPEGサラウンドの5−1−5の1ツリー構造を示す図である。
【図1B】MPEGサラウンドの5−1−5の2ツリー構造を示す図である。
【図2】本発明の一実施形態によるマルチチャンネル復号化方法の一実施形態を示すフローチャートである。
【図3】本発明の一実施形態によるマルチチャンネル復号化システムの一実施形態を示すブロック図である。
【図4】本発明の一実施形態によるマルチチャンネル復号化方法及びシステムで適用する5−1−5の3ツリー構造を示す図である。
【図5】本発明の一実施形態によるマルチチャンネル復号化方法及びシステムで入力される信号と出力される信号との数学的関係を示す概念図である。
【図6】本発明の一実施形態によるマルチチャンネル符号化方法の一実施形態を示すフローチャートである。
【図7】本発明の一実施形態によるマルチチャンネル符号化システムの一実施形態を示すブロック図である。
【発明を実施するための形態】
【0022】
以下、添付された図面を参照して、本発明によるマルチチャンネル復号化及び符号化方法及びシステムについて詳細に説明する。図面内の識別番号は、その識別番号が表す構成要素を指す。本発明を説明するための実施形態を、図面を参照して後述する。
【0023】
図2は、本発明によるマルチチャンネル復号化方法の一実施形態を示すフローチャートである。以下では、復号化過程は、図4に示したように、まず、入力されたダウンミックスされたL(Left)チャンネル信号とR(Right)チャンネル信号とをアップミックスし、次いで、L,R,Cチャンネル信号それぞれをアップミックスするための第1レベル/ステップOTT(1−to−2)モジュール及びTTT(2−to−3)モジュールのために述べられることである。かかる復号化過程と共に、入力されたダウンミックスされた信号の選択的なアップミキシング/復号化が可能である。
【0024】
これにより、まず、符号化端から伝送されたサラウンドビットストリームを分析して、空間情報及び付加情報を抽出する(ステップ200)。
【0025】
ステップ200で抽出された空間情報を利用して、低ビット率で空間情報が急激に変化することを防止するために選択的に空間情報をスムージングする(ステップ203)。
【0026】
ステップ203後に、既存のマトリックスサラウンド方式と互換性を維持するために、追加的なチャンネル別に利得値を計算し、プリベクトルを計算し、復号化端でエクスターナルダウンミックスを使用する場合、チャンネル別に利得値を補償するための変数を抽出することによって、行列R1を生成する(ステップ206)。ステップ206で生成された行列R1は、非相関部340に設けられた非相関器に入力するための信号を生成するのに使われる行列である。ステップ206で行列R1を生成するにおいて、空間情報を利用する。ここで、利用される空間情報は、LチャンネルとRチャンネルとの間のCLDまたはICCのようなLチャンネルとRチャンネルとの差に関する情報または連関に関する情報を含む。例えば、符号化端でダウンミックスされた信号をLチャンネル及びRチャンネルに入力して、図4の400に設けられたOTTモジュールで利用される空間情報をいう。Lチャンネル及びRチャンネルが復号化されるときのみ、空間情報は、LチャンネルとRチャンネルとの間の個別的なCLDまたはICCのみを含む。
【0027】
ステップ206では、図4のTTTモジュールのモードによってR1を異なって生成する。例えば、TTTモジュールのモードを表す変数として、MPEGサラウンドでは、次の表に示した関係を有するbsTttModeLowを利用する。
【0028】
【表1】

ここで、bsTttModeLow(0)が‘2’より小さい場合、次の式(1)に記載された行列R1を生成する。
【0029】
【数1】

bsTttModeLow(0)が‘3’である場合、次の式(2)に記載された行列R1を生成する。
【0030】
【数2】

bsTttModeLow(0)が‘5’である場合、次の式(3)に記載された行列R1を生成する。
【0031】
【数3】

ステップ206で生成された行列R1に対して補間を行って、行列M1を生成する(ステップ208)。
【0032】
非相関化された信号とダイレクト信号とをミックスするのに使われる行列R2を、次に記載された式(4)を利用して生成する(ステップ210)。ステップ210で行列R2を生成するに当って、空間情報を利用する。ここで、利用される空間情報は、LチャンネルとRチャンネルとの間のCLDまたはICCのようなLチャンネルとRチャンネルとの差に関する情報または連関に関する情報を含む。例えば、符号化端でダウンミックスされた信号をLチャンネル及びRチャンネルに復号化してアップミキシングする図4の400に設けられたOTTモジュールで利用される空間情報をいう。
【0033】
【数4】

ステップ210で生成された行列R2に対して補間を行って、行列M2を生成する(ステップ213)。
【0034】
符号化端でマルチチャンネルからダウンミックスされた信号と元信号との差をACCで符号化して、レシデュアルコーディングされた信号を復号化する(ステップ216)。
【0035】
ステップ216で復号化されたMDCT(Modified Discrete Cosine Transform)係数をQMF(Quadrature Mirror Filter)ドメインに変換する(ステップ218)。
【0036】
ステップ218で出力された信号に対して、フレーム間のオーバーラップアドを行う(ステップ220)。
【0037】
低周波帯域信号がQMFフィルタバンクにより周波数分解能が不足するので、追加的なフィルタリングを通じて周波数分解能を高める(ステップ223)。
【0038】
復号化端に設けられたチャンネルまたはスピーカの設定を認識する(ステップ230)。ここで、チャンネルまたはスピーカの設定は、復号化端に備えられたスピーカの個数、復号化端に備えられたスピーカのうち動作可能なスピーカの位置、符号化端で符号化されたチャンネルのうち、復号化端に設けられたマルチチャンネルで利用できるチャンネルの情報などをいう。例えば、入力されたダウンミックスされた信号の復号化をどのように選択的に決定するかにおいて、他の付加的な実施形態も同一に可能である。
【0039】
ステップ230で認識された設定を利用して、復号化するレベルの数を計算する(ステップ233)。
【0040】
QMFハイブリッドアナリシスフィルタバンクを利用して、入力信号を周波数バンド別に分解する(ステップ236)。
【0041】
行列M1を利用して、ダイレクト信号及び非相関器に入力する信号を生成する(ステップ238)。ステップ238では、OTTに対応してLチャンネル及びRチャンネルを非相関する非相関器DOTTに入力する信号、TTTに対応してLチャンネル、Rチャンネル及びCチャンネルを非相関化する非相関器DTTTに入力する信号、OTTに対応してFLチャンネル及びBLチャンネルを非相関化する非相関器DOTTに入力する信号、FRチャンネル及びBRチャンネルを非相関化する非相関器DOTTに入力する信号を生成する。また、ステップ238では、ステップ233で計算された復号化するレベルの数によって復号化するレベルの数を調節することによって、スケーラブルアップミキシングして復号化可能にする。
【0042】
ステップ238で生成された非相関器に入力する信号に対して非相関器で非相関化を行うことによって、空間感を有するように再構成する(ステップ240)。
【0043】
非相関器DOTTは、OTTに対応してLチャンネル及びRチャンネルを非相関化し、非相関器DTTTは、TTTに対応してLチャンネル、Rチャンネル及びCタチャンネルを非相関化し、非相関器DOTTは、OTTに対応してFRチャンネル及びBRチャンネルを非相関化し、非相関器DOTTは、OTTに対応してFLチャンネル及びBLチャンネルを非相関化する。
【0044】
ステップ240で非相関化された信号及びステップ238で生成されたダイレクト信号に対して、それぞれステップ213で生成された行列M2を適用する(ステップ243)。ここで、ステップ243では、ステップ233で計算された復号化するレベルの数によって復号化するレベルの数を調節することによって、スケーラブルアップミキシングして復号化可能にする。
【0045】
ステップ243で、行列M2が適用された信号にTES(Temporal Envelope Shaping)を適用する(ステップ246)。
【0046】
ステップ246で、TESが適用された信号にQMFハイブリッド合成フィルタバンクを利用して時間ドメインに変換する(ステップ248)。
【0047】
ステップ248で変換された信号にTP(Temporal Processing)を適用する(ステップ250)。
【0048】
ここで、ステップ243及びステップ250は、アプローズのようにテンポラール構造が重要な信号の音質を向上させるためのものであって、選択的に利用でき、必須的に適用すべきものではない。
【0049】
ダイレクト信号と非相関化された信号とをミックスする(ステップ253)。
【0050】
図2では、5.1チャンネルについての一実施形態のみを示したが、当業者ならば、5.1チャンネルに限定して実施されないということが分かる。本発明によるマルチチャンネル復号化方法を、符号化端でダウンミックスされた信号を優先的にLチャンネル及びRチャンネルにアップミキシングするあらゆるマルチチャンネルに対して実施できる。
【0051】
図3は、本発明によるマルチチャンネル復号化システムの一実施形態を示すブロック図である。
【0052】
ビットストリームデコーダ300は、サラウンドビットストリームを分析して空間情報及び付加情報を抽出する。
【0053】
スムージング部302は、低ビット率で空間情報が急激に変化することを防止するために選択的に空間情報をスムージングする。
【0054】
マトリックスコンポーネント計算部304は、既存のマトリックスサラウンド方式と互換性を維持するために追加的なチャンネル別に利得値を計算する。
【0055】
前ベクトル計算部306は、プリベクトルを計算する。
【0056】
アービトラリーダウンミックス利得値抽出部308は、復号化器でエクスターナルダウンミックスを使用する場合、チャンネル別に利得値を補償するための変数を抽出する。
【0057】
マトリックス生成部312は、マトリックスコンポーネント計算部304、前ベクトル計算部306及びアービトラリーダウンミックス利得値抽出部308で出力される結果を利用して行列R1を生成する。マトリックス生成部312で行列R1を生成するに当って、空間情報を利用する。ここで、利用される空間情報は、LチャンネルとRチャンネルとの間のCLDまたはICCのようなLチャンネルとRチャンネルとの差に関する情報または連関に関する情報を含む。例えば、符号化端でダウンミックスされた信号をLチャンネル及びRチャンネルに復号化してアップミキシングする図4の400に設けられたOTTモジュールで利用される空間情報をいう。
【0058】
ここで、マトリックス生成部312は、図4のTTTモジュールのモードによってR1を異なって生成する。例えば、TTTモジュールのモードを表す変数として、MPEGサラウンドでは、前記表1に示した関係を有するbsTttModeLowを利用する。
【0059】
ここで、bsTttModeLow(0)が‘2’より小さい場合、前記式(1)に記載された行列R1を生成する。
【0060】
bsTttModeLow(0)が‘3’である場合、前記式(2)に記載された行列R1を生成する。
【0061】
bsTttModeLow(0)が‘5’である場合、前記式(3)に記載された行列R1を生成する。
【0062】
したがって、補間処理部314は、マトリックス生成部312で生成された行列R1に対して補間を行って、行列M1を生成する。
【0063】
ミックスベクトル計算部310は、非相関部340で非相関化された信号とダイレクト信号とをミックスするための行列R2を生成する。ミックスベクトル計算部310で行列R2を生成するに当って、空間情報を利用する。ここで、利用される空間情報は、LチャンネルとRチャンネルとの間のCLDまたはICCのようなLチャンネルとRチャンネルとの差に関する情報または連関に関する情報を含む。例えば、符号化端でダウンミックスされた信号をLチャンネル及びRチャンネルに復号化してアップミキシングする図4の400に設けられたOTTモジュールで利用される空間情報をいう。
【0064】
ミックスベクトル計算部310は、前記式(4)に記載された行列R2を生成する。
【0065】
したがって、補間処理部316は、ミックスベクトル計算部310で生成された行列R2に対して補間を行って、行列M2を生成する。
【0066】
AACデコーダ320は、符号化端でマルチチャンネルからダウンミックスされた信号と元信号との差をACCで符号化して、レシデュアルコーディングされた信号を復号化する。
【0067】
MDCT変換部322は、AACデコーダ320から出力されたMDCT係数をQMFドメインに変換し、非相関部340を代替してアップミキシングする。
【0068】
オーバーラップアド部324は、MDCT変換部322から出力された信号に対してフレーム間のオーバーラップアドを行う。
【0069】
ハイブリッド分析部326は、低周波帯域信号がQMFフィルタバンクにより周波数分解能が不足するので、追加的なフィルタリングを通じて周波数分解能を高める。
【0070】
復号化レベル計算部327は、復号化端に設けられたチャンネルまたはスピーカの設定を認識して復号化するレベルの数を計算する。ここで、復号化端のマルチチャンネルの設定は、復号化端に備えられたスピーカの個数、復号化端に備えられたスピーカのうち動作可能なスピーカの位置、符号化端で符号化されたチャンネルのうち、復号化端に設けられたマルチチャンネルで利用できるチャンネルの情報などをいう。
【0071】
復号化レベル制御部329は、復号化レベル計算部327で計算された復号化するレベルの数により復号化するように制御する信号を出力する。
【0072】
ハイブリッド分析部330は、QMFハイブリッドアナリシスフィルタバンクであって、入力信号を周波数バンド別に分解する。
【0073】
前マトリックス適用部335は、行列M1を利用してダイレクト信号及び非相関器に入力する信号を生成する。ここで、前マトリックス適用部335は、OTTに対応してLチャンネル及びRチャンネルを非相関化する非相関器DOTTに入力する信号、TTTに対応してLチャンネル、Rチャンネル及びCチャンネルを非相関化する非相関器DTTTに入力する信号、OTTに対応してFRチャンネル及びBRチャンネルを非相関化する非相関器DOTTに入力する信号、FLチャンネル及びBLチャンネルを非相関化する非相関器DOTTに入力する信号を生成する。また、前マトリックス適用部335は、復号化レベル制御部329から出力される制御信号に応答して復号化するレベルの数を調節することによって、スケーラブルアップミキシングして復号化可能にする。
【0074】
非相関部340は、前マトリックス適用部335で生成された信号に対して非相関化を行うことによって、空間感を有するように再構成する。第0非相関器342は、OTTに対応してLチャンネル及びRチャンネルを非相関化し、第1非相関器344は、TTTに対応してLチャンネル、Rチャンネル及びCチャンネルに対して非相関化し、第2非相関器346は、OTTに対応してFRチャンネル及びBRチャンネルを非相関化し、第3非相関部348は、OTTに対応してFLチャンネル及びBLチャンネルを非相関化する。
【0075】
ミックスマトリックス適用部350は、非相関部340から出力された信号及び前マトリックス適用部335から出力されたダイレクト信号に対してそれぞれ行列M2を適用する。ここで、ミックスマトリックス適用部350は、復号化レベル制御部329から出力される制御信号に応答して復号化するレベルの数を調節することによって、スケーラブルアップミキシングして復号化可能にする。
【0076】
TES適用部335は、ミックスマトリックス適用部350から出力された信号にTESを適用する。
【0077】
QMFハイブリッド合成部360は、QMFハイブリッド合成フィルタバンクであって、時間ドメインに変換する。
【0078】
TP適用部365は、QMFハイブリッド合成部360から出力された信号にTPを適用する。
【0079】
ここで、TES適用部335及びTP適用部365は、アプローズのようにテンポラール構造が重要な信号の音質を向上させるためのものであって、選択的に利用でき、必須的に適用すべきものではない。
【0080】
ミキシング部370は、ダイレクト信号と非相関化された信号とをミックスする。
【0081】
図3では、5.1チャンネルについての一実施形態のみを示したが、当業者ならば、5.1チャンネルに限定して実施されないということが分かる。本発明によるマルチチャンネル復号化方法を、符号化端でダウンミックスされた信号を優先的にLチャンネル及びRチャンネルにアップミキシングするあらゆるマルチチャンネルに対して実施できる。
【0082】
図4は、本発明によるマルチチャンネル復号化方法及びシステムで適用する5−1−5の3ツリー構造を示す概念図である。ここで、図4は、本発明によるマルチチャンネル復号化方法及びシステムで復号化してアップミキシングする順序を、OTTモジュールとTTTモジュールとを利用して概念的に示す。
【0083】
OTTモジュール400は、符号化器でダウンミックスされたモノ信号を入力されて、L信号及びR信号に復号化してアップミキシングする。ここで、L信号及びR信号の最初のアップミキシングは、図1A及び図1Bに示した前記5−1−5ツリー構造と本質的に異なる。その最初のステップOTTモジュールの出力は、Lチャンネル信号及びRチャンネル信号を適切に再生するのに使われないが、付加的なステップが最初のステップOTTモジュールのような出力をさらにアップミックスするために必要である。
【0084】
したがって、そのOTTモジュール以後、そのTTTモジュール410は、OTTモジュール400から出力されたL信号及びR信号を入力されて、L信号、R信号及びC信号に復号化してアップミキシングする。
【0085】
OTTモジュール420は、TTTモジュール410から出力されたセンタ信号を入力されて、C信号及びLEF信号に復号化してアップミキシングする。
【0086】
OTTモジュール430は、TTTモジュール410から出力されたL信号を入力されて、FL信号及びBL信号に復号化してアップミキシングする。
【0087】
OTTモジュール440は、TTTモジュール410から出力されたR信号を入力されて、FR信号及びBR信号に復号化してアップミキシングする。
【0088】
図5は、本発明によるマルチチャンネル復号化方法及びシステムで入力される信号と出力される信号との数学的関係を示す概念図である。
【0089】
前非相関器マトリックスM1は、CLD及びICCを利用することによって、符号化器でダウンミックスされたモノ信号Xmを入力として、ダイレクト信号mと非相関器DOTT,DTTT,DOTT及びDOTTに入力する信号とを出力する。
【0090】
非相関器DOTT,DTTT,DOTT及びDOTTは、M1から計算された信号を非相関化する。
【0091】
ミックスマトリックスM2は、CLD及びICCを利用することによって、ダイレクト信号mと非相関化された信号d0,d1,d2,d3とをミックスしてアップミキシングする。ここで、ミックスマトリックスM2は、ダイレクト信号mと非相関化された信号d0,d1,d2,d3とを入力として、FL信号、BL信号、FR信号、BR信号、C信号及びLEF信号を出力する。
【0092】
図6は、本発明によるマルチチャンネル符号化方法の一実施形態を示すフローチャートである。
【0093】
まず、マルチチャンネルからダウンミキシングする(ステップ600)。例えば、5.1チャンネルにおいて、マルチチャンネルは、FLチャンネル、サラウンドLチャンネル、FRチャンネル、サラウンドRチャンネル、Cチャンネル及びウーハーチャンネルから構成される。
【0094】
ステップ600でダウンミキシングにおいて、Lチャンネル及びRチャンネルを最後にダウンミキシングする。例えば、5.1チャンネルでは、FLチャンネル、サラウンドLチャンネル、FRチャンネル、サラウンドRチャンネル、Cチャンネル及びウーハーチャンネルをLチャンネル、Rチャンネル及びCチャンネルにダウンミキシングし、ダウンミキシングされた三つのチャンネルをLチャンネル及びRチャンネルにダウンミキシングする。
【0095】
ステップ600でダウンミキシングしたマルチチャンネルの空間情報を抽出する(ステップ610)。例えば、5.1チャンネルで抽出する空間情報は、LチャンネルとRチャンネル、LチャンネルとRチャンネルとCチャンネル、FLチャンネルとBLチャンネル、FRチャンネルとBRチャンネル、Cタチャンネルとウーハーチャンネルに対してそれぞれアップミキシングするのに使われる情報を含む。
【0096】
ステップ600でダウンミキシングされた信号及びステップ610で抽出された空間情報を含むビットストリームを生成する(ステップ620)。
【0097】
図7は、本発明によるマルチチャンネル符号化システムの一実施形態を示すブロック図であって、マルチチャンネル符号化システムは、ダウンミキシング部700、情報抽出部710及びビットストリーム生成部720を備える。
【0098】
ダウンミキシング部700は、入力端子IN 0ないしIN Mに該当するマルチチャンネルからダウンミキシングする。例えば、5.1チャンネルにおいて、マルチチャンネルは、FLチャンネル、サラウンドLチャンネル、FRチャンネル、サラウンドRチャンネル、Cチャンネル及びウーハーチャンネルから構成される。
【0099】
ここで、ダウンミキシング部700は、Lチャンネル及びRチャンネルを最後にダウンミキシングする。例えば、5.1チャンネルでは、FLチャンネル、サラウンドLチャンネル、FRチャンネル、サラウンドRチャンネル、Cチャンネル及びウーハーチャンネルをLチャンネル、Rチャンネル及びCチャンネルにダウンミキシングし、ダウンミキシングされた三つのチャンネルをLチャンネル及びRチャンネルにダウンミキシングする。
【0100】
情報抽出部710は、ダウンミキシング部700でダウンミキシングしたマルチチャンネルの空間情報を抽出する。例えば、5.1チャンネルにおいて、ダウンミキシング部700で抽出する空間情報は、LチャンネルとRチャンネル、LチャンネルとRチャンネルとCチャンネル、FLチャンネルとBLチャンネル、FRチャンネルとBRチャンネル、Cチャンネルとウーハーチャンネルに対してそれぞれアップミキシングするのに使われる情報を含む。
【0101】
ビットストリーム生成部720は、ダウンミキシング部700でダウンミキシングされた信号及び情報抽出部710で抽出された空間情報を含むビットストリームを生成して、出力端子OUTを通じて復号化器に出力する。
【0102】
本発明によるマルチチャンネル復号化及び符号化方法及びシステムによれば、LチャンネルとRチャンネルとを最後にダウンミキシングして符号化し、LチャンネルとRチャンネルとを優先的にアップミキシングして復号化する。
【0103】
これにより、スケーラブルチャンネル復号化でも、LチャンネルとRチャンネルの音質が低下せずに高音質で出力できる効果を奏する。
【0104】
また、電力消費を低減し、ステレオにおいて高音質を要求するモバイルアプリケーションでも容易に利用できる効果を奏する。
【0105】
前記実施形態以外にも、本発明の実施形態は、その実施形態を具現するための少なくとも一つのプロセッシングエレメントを制御するためのコード/インストラクションを保存した記録媒体、例えばコンピュータで読み取り可能な記録媒体として具現される。その記録媒体は、コンピュータで読み取り可能なコードの保存及び/または伝送を許容するミディアム/メディアに対応する。
【0106】
コンピュータで読み取り可能なコードは、多様なミディアム、例えば磁気記録媒体(例えば、ROM、フロッピー(登録商標)ディスク、ハードディスク)、光学的な記録媒体(例えば、CD−ROM、DVD)及びキャリアウェーブのような保存/伝送媒体を含むミディアムの多様な例に保存/伝送される。ここで、ミディアムは、本発明の実施形態による信号(例えば、結果信号、ビットストリーム)でありうる。媒体は、コンピュータで読み取り可能なコードが分散された方法で保存/伝送及び実行されるように、分散されたネットワークでありうる。さらに、プロセッシングエレメントは、プロセッサまたはコンピュータプロセッサを含み、単一デバイスに含まれるか、または分配される。
【0107】
以上、本発明の幾つかの実施形態が記載されたが、前記明細書に記載された本発明の内容は、特許請求の範囲に記載された思想とその均等な思想の範囲を逸脱しない範囲内で当業者により多様に変形される。
【符号の説明】
【0108】
700:ダウンミキシング部
710:情報抽出部
720:ビットストリーム生成部

【特許請求の範囲】
【請求項1】
復号化端で利用可能なチャンネル設定を認識するステップと、
前記認識されたチャネル設定に対応して、第1マトリックスと第2マトリックスを空間情報を用いて生成するステップと、
符号化端でマルチチャンネルからダウンミックスされた信号から、各非相関器に入力される信号と前記第2マトリックスに入力されるダイレクト信号を前記第1マトリックスを用いて生成するステップと、
前記各非相関器に入力される信号を非相関化するステップと、
前記ダイレクト信号と前記非相関化された信号を前記第2マトリックスを用いてミックスして、前記認識されたチャンネル設定に対応するマルチチャンネル信号を生成するステップと、
を含むマルチチャンネル復号化方法。

【図1A】
image rotate

【図1B】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate


【公開番号】特開2013−33299(P2013−33299A)
【公開日】平成25年2月14日(2013.2.14)
【国際特許分類】
【出願番号】特願2012−253715(P2012−253715)
【出願日】平成24年11月19日(2012.11.19)
【分割の表示】特願2008−550238(P2008−550238)の分割
【原出願日】平成19年1月11日(2007.1.11)
【出願人】(503447036)サムスン エレクトロニクス カンパニー リミテッド (2,221)