多様なチャネルから構成されたマルチオブジェクトオーディオ信号の符号化および復号化装置、並びにその方法
【課題】多様なチャネルから構成されたマルチオブジェクトオーディオ信号符号化および復号化装置並びに方法を提供する。
【解決手段】本発明は、入力信号から復元されたダウンミックスオーディオ信号に対する制御情報(前記制御情報は、前記復元されたオーディオ信号に対するレンダリング制御情報を含む)を用いて、前記入力信号から抽出された付加情報を制御する付加情報制御手段と、前記制御された付加情報を用いて、前記復元されたダウンミックスオーディオ信号をマルチチャネルオーディオ信号として出力する出力手段とを備え、前記付加情報は、前記オーディオ信号に対するプリセット情報を含み、オーディオ符号化および復号化に利用される。
【解決手段】本発明は、入力信号から復元されたダウンミックスオーディオ信号に対する制御情報(前記制御情報は、前記復元されたオーディオ信号に対するレンダリング制御情報を含む)を用いて、前記入力信号から抽出された付加情報を制御する付加情報制御手段と、前記制御された付加情報を用いて、前記復元されたダウンミックスオーディオ信号をマルチチャネルオーディオ信号として出力する出力手段とを備え、前記付加情報は、前記オーディオ信号に対するプリセット情報を含み、オーディオ符号化および復号化に利用される。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、マルチオブジェクトオーディオ信号の符号化および復号化装置、並びにその方法に関し、詳細には多様なチャネルを有するマルチオブジェクトオーディオ信号を符号化および復号化する、多様なチャネルから構成されたマルチオブジェクトオーディオ信号符号化および復号化装置、並びにその方法に関する。
ここで、多様なチャネルを有するマルチオブジェクトオーディオ信号とは、マルチオブジェクトオーディオ信号として各々のオーディオオブジェクトが相異なるチャネル(例えば、モノ、ステレオ、5.1チャネル)で構成されたオーディオ信号を意味する。
【背景技術】
【0002】
従来のオーディオ符号化/複号化技術によると、ユーザはオーディオコンテンツを受動的に聴取するほかはないため、ユーザの必要に応じて相異なるチャネルから構成された各オーディオオブジェクトを制御して1つのオーディオコンテンツを多様な方法で組合せることによって、多様なオーディオオブジェクトを消費することのできる多様なチャネルから構成された複数のオーディオオブジェクト別の符号化および復号化装置、並びに方法が要求されている。
【0003】
従来技術であるSAC(Spatial Audio Coding)は、マルチチャネルオーディオ信号をダウンミックスされたモノまたはステレオ信号および空間キュー(spatial cue)として表現、伝送、および復元する技術であって、低いビット率でも高品質のマルチチャネルオーディオ信号を伝送できる。
【0004】
しかし、SACは、マルチチャネルから構成された単一オブジェクトオーディオ信号に対してのみ符号化および復号化が可能な技術であるため、マルチチャネルでありながらも同時にマルチオブジェクトオーディオ信号、例えば、モノ、ステレオ、および5.1チャネルから構成された多様なオブジェクトのオーディオ信号を符号化/複号化することができないといった問題がある。
【0005】
また別の従来技術であるバイノーラルキューコーディング(Binaural Cue Coding:BCC)は、マルチオブジェクトオーディオ信号を符号化/復号化することができるが、該当のオーディオオブジェクトは、モノチャネルである場合に限定されるため、モノチャネル以外の多様なチャネルから構成されたマルチオブジェクトオーディオ信号を符号化/複号化することができない短所がある。
【0006】
まとめると、従来技術によると、単一チャネルから構成されたマルチオブジェクトオーディオ信号またはマルチチャネルの単一オブジェクトオーディオ信号に対してのみ符号化/複号化を行い得るため、多様なチャネルから構成されたマルチオブジェクトオーディオ信号に対しては符号化/複号化を行なえないという問題があり、したがって、従来のオーディオ信号符号化/複号化技術によると、ユーザはオーディオコンテンツを受動的に聴取せざるを得ないという問題がある。
【0007】
したがって、ユーザの必要に応じて相異なるチャネルから構成された複数のオーディオオブジェクトの各々を制御して1つのオーディオコンテンツを多様な方法で組合せることによって、多様なオーディオオブジェクトを消費することのできる多様なチャネルから構成された複数のオーディオオブジェクト別の符号化および復号化装置、並びに方法が要求される。
【発明の概要】
【発明が解決しようとする課題】
【0008】
本発明は前述の要求に対応するために提案されたものであって、多様なチャネルを有するマルチオブジェクトオーディオ信号を符号化および復号化する、多様なチャネルから構成されたマルチオブジェクトオーディオ信号符号化および復号化装置、並びにその方法を提供することを目的とする。
【課題を解決するための手段】
【0009】
前述した目的を達成するための本発明は、相異なるチャネルから構成されたマルチオブジェクトオーディオ信号の符号化装置であって、前記相異なるチャネルから構成されたマルチオブジェクトオーディオ信号を1つのダウンミックスされたオーディオ信号にダウンミキシングし、前記相異なるチャネルから構成されたマルチオブジェクトオーディオ信号の各々に対するヘッダ情報および空間キュー情報を含む付加情報を抽出するダウンミキシング手段と、前記ダウンミキシングされたオーディオ信号を符号化する符号化手段と、前記付加情報をビットストリームとして生成する付加情報符号化手段と、を備え、前記ヘッダ情報は、前記相異なるチャネルから構成されたマルチオブジェクトオーディオ信号の各々に対する識別子情報と、前記相異なるチャネルから構成されたマルチオブジェクトオーディオ信号に対するチャネル情報と、を含む符号化装置を提供する。
【0010】
また、前述した目的を達成するための本発明は、相異なるチャネルから構成されたマルチオブジェクトオーディオ信号の符号化方法であって、前記相異なるチャネルから構成されたマルチオブジェクトオーディオ信号を1つのダウンミックスされたオーディオ信号にダウンミキシングし、前記相異なるチャネルから構成されたマルチオブジェクトオーディオ信号の各々に対するヘッダ情報および空間キュー情報を含む付加情報を抽出するダウンミキシングステップと、前記ダウンミキシングされたオーディオ信号を符号化する符号化ステップと、前記付加情報をビットストリームとして生成する付加情報符号化ステップと、を含み、前記ヘッダ情報は、前記相異なるチャネルから構成されたマルチオブジェクトオーディオ信号の各々に対する識別子情報と、前記相異なるチャネルから構成されたマルチオブジェクトオーディオ信号に対するチャネル情報と、を含む符号化方法を提供する。
【0011】
また、前述した目的を達成するための本発明は、相異なるチャネルから構成されたマルチオブジェクトオーディオ信号の復号化装置であって、入力オーディオ信号からダウンミックスオーディオ信号を復元し、入力されたオーディオ信号に含まれた付加情報ビットストリームからヘッダ情報および空間キュー情報を含む付加情報を抽出する入力信号分析手段と、該入力信号分析手段から抽出された付加情報を用いて、前記復元されたダウンミックスオーディオ信号をオブジェクト別のオーディオ信号に復元するオーディオオブジェクト抽出手段と、入力されたオーディオ信号に対する制御情報を用いて前記復元されたオブジェクト別のオーディオ信号をマルチオブジェクトオーディオ信号として出力する出力手段と、を備え、前記ヘッダ情報は、前記相異なるチャネルから構成されたマルチオブジェクトオーディオ信号の各々に対する識別子情報と、前記相異なるチャネルから構成されたマルチオブジェクトオーディオ信号に対するチャネル情報と、を含む復号化装置を提供する。
【0012】
また、前述した目的を達成するための本発明は、相異なるチャネルから構成されたマルチオブジェクトオーディオ信号の復号化方法であって、入力オーディオ信号からダウンミックスオーディオ信号を復元し、入力されたオーディオ信号に含まれた付加情報ビットストリームからヘッダ情報および空間キュー情報を含む付加情報を抽出する入力信号分析ステップと、該入力信号分析ステップから抽出された付加情報を用いて、前記復元されたダウンミックスオーディオ信号をオブジェクト別のオーディオ信号に復元するオーディオオブジェクト抽出ステップと、入力されたオーディオ信号に対する制御情報を用いて前記復元されたオブジェクト別のオーディオ信号をマルチオブジェクトオーディオ信号として出力する出力ステップと、を含み、前記ヘッダ情報は、前記相異なるチャネルから構成されたマルチオブジェクトオーディオ信号の各々に対する識別子情報と、前記相異なるチャネルから構成されたマルチオブジェクトオーディオ信号に対するチャネル情報と、を含む復号化方法を提供する。
【0013】
また、前述した目的を達成するための本発明は、相異なるチャネルから構成されたマルチオブジェクトオーディオ信号の復号化装置であって、入力オーディオ信号からダウンミックスオーディオ信号を復元し、入力されたオーディオ信号に含まれた付加情報ビットストリームからヘッダ情報および空間キュー情報を含む付加情報を抽出する入力信号分析手段と、入力オーディオ信号に対する制御情報を用いて、前記入力信号分析手段から抽出された付加情報を制御する付加情報制御手段と、制御された付加情報を用いて前記復元されたダウンミックスオーディオ信号をマルチオブジェクトオーディオ信号として出力する出力手段と、を備え、前記ヘッダ情報は、前記相異なるチャネルから構成されたマルチオブジェクトオーディオ信号の各々に対する識別子情報と、前記相異なるチャネルから構成されたマルチオブジェクトオーディオ信号に対するチャネル情報と、を含む復号化装置を提供する。
【0014】
また、前述した目的を達成するための本発明は、相異なるチャネルから構成されたマルチオブジェクトオーディオ信号の復号化方法であって、入力オーディオ信号からダウンミックスオーディオ信号を復元し、入力されたオーディオ信号に含まれた付加情報ビットストリームからヘッダ情報および空間キュー情報を含む付加情報を抽出する入力信号分析ステップと、入力オーディオ信号に対する制御情報を用いて、前記入力信号分析ステップから抽出された付加情報を制御する付加情報制御ステップと、制御された付加情報を用いて前記復元されたダウンミックスオーディオ信号をマルチオブジェクトオーディオ信号として出力する出力ステップと、を含み、前記ヘッダ情報は、前記相異なるチャネルから構成されたマルチオブジェクトオーディオ信号の各々に対する識別子情報と、前記相異なるチャネルから構成されたマルチオブジェクトオーディオ信号に対するチャネル情報と、を含む復号化方法を提供する。
【発明の効果】
【0015】
本発明は、多様なチャネルを有するマルチオブジェクトオーディオ信号を符号化および復号化する、多様なチャネルから構成されたマルチオブジェクトオーディオ信号の符号化装置および方法を提供することによって、多様なチャネルから構成された多様なオーディオオブジェクトのオーディオコンテンツを効率的に符号化および復号化することにより、ユーザが必要に応じて能動的にオーディオコンテンツを消費することができる。
【図面の簡単な説明】
【0016】
【図1】本発明に係るマルチオブジェクトオーディオ信号符号化装置を示す一実施例の図である。
【図2】図1におけるモノチャネルのダウンミキサを示す図である。
【図3】図1におけるステレオチャネルダウンミキサを示す図である。
【図4】図1におけるマルチチャネルダウンミキサを示す図である。
【図5】図1における第2ダウンミキサを示す図である。
【図6】図1における付加情報エンコーダから生成される付加情報ビットストリームの構造を示す図である。
【図7】図6に示す付加情報ビットストリームの構造を詳細に示す図である。
【図8】本発明に係る図6に示す付加情報ビットストリームの構造を詳細に示す他の実施例の図である。
【図9】本発明に係るマルチオブジェクトオーディオ復号化装置を示す一実施例を示すブロック図である。
【図10】本発明に係るマルチオブジェクトオーディオ復号化装置を示す他の実施例のブロック図である。
【図11】本発明に係る図1の装置を用いたマルチオブジェクトオーディオの符号化方法を示す一実施例のフローチャートである。
【図12】本発明に係る図9の装置を用いたマルチオブジェクトオーディオの復号化方法を示す一実施例のフローチャートである。
【図13】本発明に係る図10の装置を用いたマルチオブジェクトオーディオの復号化方法を示す一実施例のフローチャートである。
【発明を実施するための形態】
【0017】
前述した目的、特徴、および長所は、添付の図面と関連した次の詳細な説明を介して更に明確になるであろう。以下、添付の図面を参照して本発明に係る好ましい一実施例を詳説する。
【0018】
図1は、本発明に係るマルチオブジェクトオーディオ信号符号化装置を示す一実施例の図であって、例えば、入力される複数のオーディオオブジェクトのチャネルが、各々モノ、ステレオ、および5.1チャネルである。
【0019】
同図に示すように、本発明の一実施例に係るマルチオブジェクトオーディオ符号化装置は、第1ダウンミキサ101、第2ダウンミキサ103、オーディオエンコーダ105、付加情報エンコーダ107、および多重化部(multiplexer)109を備える。
【0020】
前記第1ダウンミキサ101は、モノチャネルのダウンミキサ111、ステレオチャネルダウンミキサ113、およびマルチチャネルダウンミキサ115を備えている。
【0021】
前記第1ダウンミキサ101は、入力オーディオオブジェクトのヘッダ情報を用いて入力された多様なチャネルのマルチオブジェクトオーディオ信号をモノ、ステレオ、マルチチャネルに識別し、チャネル別にグルーピングする。したがって、多様なチャネルのマルチオブジェクトオーディオ信号は、各々チャネル別にグルーピングされて各チャネル別のダウンミキサ111、113、115によってダウンミキシングされる。
【0022】
また、前記第1ダウンミキサ101は、入力オーディオオブジェクトからダウンミックスされたオーディオ信号、および空間キューを含む付加情報を抽出する。すなわち、同じチャネル別に音源がグルーピングされて前記第1ダウンミキサ101に入力され、モノチャネルのダウンミキサ111は、入力されたモノオーディオオブジェクトからダウンミックス信号、および空間キューを含む付加情報を抽出し、ステレオチャネルダウンミキサ113は、入力されたステレオオーディオオブジェクトからダウンミックス信号、および空間キューを含む付加情報を抽出し、マルチチャネルダウンミキサ115は、入力されたマルチチャネル(例えば5.1チャネル)オーディオオブジェクトからダウンミックス信号、および空間キューを含む付加情報を抽出する。
【0023】
前記オーディオエンコーダ105は、前記第2ダウンミキサ103から出力された第2ダウンミックス信号を符号化する。
【0024】
前記付加情報エンコーダ107は、前記第1ダウンミキサ101から出力された付加情報および前記第2ダウンミキサ103から出力された付加情報を用いて付加情報ビットストリームを生成する。ここで、付加情報ビットストリームに含まれた情報は、下記の図6において詳説する。
【0025】
前記多重化部109は、前記オーディオエンコーダ105から符号化された信号および前記付加情報エンコーダ107から生成された付加情報ビットストリームを多重化して復号化装置に伝送されるビットストリームを生成する。
【0026】
前記第1ダウンミキサ101から出力される第1ダウンミックス信号は、ステレオ信号またはモノ信号である。すなわち、前記モノチャネルのダウンミキサ111から出力されるダウンミックス信号はモノ信号であって、残りのダウンミキサ113、115から出力されるダウンミックス信号はモノまたはステレオ信号である。
【0027】
前記第2ダウンミキサ103は、前記第1ダウンミキサ101から出力された第1ダウンミックス信号を第2ダウンミックスして第2ダウンミックス信号を出力し、前記第2ダウンミックスの過程で分析された空間キューを含む付加情報を抽出する。ここで、第2ダウンミックス信号は、モードに応じてモノまたはステレオ信号である。
【0028】
ここで、前記付加情報には、空間キュー、オーディオ信号の復元および制御のためのヘッダ情報が含まれている。付加情報は、下記の図6において詳説する。
【0029】
図2は、図1のモノチャネルのダウンミキサ111を示す図であって、例えば、入力されるモノオーディオオブジェクトがN個(m1、…、mN)である。
【0030】
同図に示すように、前記モノチャネルのダウンミキサ111は、基本ダウンミキサ(1)(201a、…、201d)をカスケード(cascade)構造で備える。
【0031】
モノチャネルのダウンミキサ111に含まれる基本ダウンミキサ(1)201の個数は、モノオーディオオブジェクトの個数(N)に応じて決定される。すなわち、モノオーディオオブジェクトがN個であるとき、基本ダウンミキサ(1)201の個数はN−1個となり、モノオーディオオブジェクトが1つであるときは基本ダウンミキサが無く入力信号がバイパス(bypass)される。
【0032】
一方、実施例によって1つの基本ダウンミキサ(1)がカスケード方式によりN−1回利用され得る。
【0033】
基本的に基本ダウンミキサ(1)は、2つの入力信号をダウンミックスして1つのダウンミックスされたモノ信号を生成し、入力信号に対する空間キューを含む付加情報を抽出する。最初の基本ダウンミキサ(1)201aは、前記モノチャネルのダウンミキサ111に入力されるモノオーディオオブジェクト2つを用いて1つのダウンミックスされたモノ信号を生成し、空間キューを含む付加情報を抽出する。次に、2番目に利用される基本ダウンミキサ(1)201bは、最初の基本ダウンミキサ(1)201aから出力されるダウンミックスされたモノ信号および前記モノチャネルのダウンミキサ111に入力されるモノオーディオオブジェクトを用いて1つのダウンミックスされたモノ信号を生成し、空間キューを含む付加情報を抽出する。N−1番目の基本ダウンミキサ(1)201dは、N−2番目の基本ダウンミキサ(1)(図示せず)から出力されるダウンミックスモノ信号および前記モノチャネルのダウンミキサ111に入力されるモノオーディオオブジェクトを用いて1つのダウンミックスされたモノ信号を生成し、空間キューを含む付加情報を抽出する。
【0034】
ここで、空間キューとは、オーディオ信号を符号化および復号化する過程において利用される情報であって、周波数領域で抽出され、基本ダウンミキサ(1)201に入力される2つの信号の大きさの差(amplitude difference)、遅延差、相関性などの情報を含む。例えば、本発明の一実施例に従って活用可能な空間キューとして、オーディオ信号のパワー利得情報を示す、オーディオ信号間のレベル差(Channel(audio signal)Level Difference:CLD)、オーディオ信号間のエネルギー比(Inter-Channel Level Difference:ICLD)、オーディオ信号間の時間差(Inter Channel Time Difference:ICTD)、オーディオ信号間の相関性情報を示すオーディオ信号間の相関性(Inter Channel Correlation:ICC)、および仮想音源位置情報(Virtual Source Location Information)があるが、これに限定されない。
【0035】
ここで、前記付加情報には、空間キュー、オーディオ信号の復元および制御のためのヘッダ情報が含まれる。付加情報は、下記の図6において詳説する。
【0036】
図3は、図1のステレオチャネルダウンミキサ113を示す図であって、例えば、入力されるステレオオーディオオブジェクトは、各々M個のLEFT信号およびRIGHT信号(SL1、…、SLMおよびSR1、…、SRM)である。
【0037】
ステレオチャネルダウンミキサ113に入力されるステレオオーディオオブジェクトは、ステレオのLEFT信号とRIGHT信号とに分離されて、分離された信号は再びグルーピングされる。
【0038】
同図に示すように、前記ステレオチャネルダウンミキサ113は、複数の基本ダウンミキサ(1)201を備える。前記ステレオチャネルダウンミキサ113に備えられた基本ダウンミキサ(1)201は、M個のLEFT信号およびM個のRIGHT信号をダウンミキシングするために、2×(M−1)個が必要である。ここで、図2で説明したように他の実施例では、1つの基本ダウンミキサ(1)が2×(M−1)回利用され得る。
【0039】
図3に示すように、M個のLEFT信号を分析するためのM−1個の基本ダウンミキサ(1)201la〜201leは、図2で説明したように、入力される信号を分析し、1つのダウンミックスされたLEFT信号を生成し、空間キューを含む付加情報を抽出する。
【0040】
図3に示すように、M個のRIGHT信号を分析するためのM−1個の基本ダウンミキサ(1)201ra〜201reは、図2で説明したように、入力される信号を分析して1つのダウンミックスされたRIGHT信号を生成し、空間キューを含む付加情報を抽出する。
【0041】
図3に示すように、ステレオオーディオオブジェクトが1つである場合は、入力されるLEFT信号およびRIGHT信号がバイパスされ得る。
【0042】
したがって、前記ステレオチャネルダウンミキサ113は、ダウンミックスされたLEFT信号およびダウンミックスされたRIGHT信号を生成することによってステレオダウンミックス信号を出力し、空間キューを含む付加情報を抽出する。
【0043】
ここで、前記付加情報には、空間キュー、オーディオ信号の復元および制御のためのヘッダ情報が含まれる。付加情報は下記の図6において詳説する。
【0044】
図4は、図1のマルチチャネルダウンミキサ115を示す図であって、例えば、入力される5.1チャネルオーディオオブジェクトはP個である。
【0045】
同図に示すように、マルチチャネルダウンミキサ115は、MPEGサラウンドまたはSAC技術によるダウンミキサであって、マルチチャネルオーディオ信号から空間キューが含まれた付加情報を抽出し、オーディオ信号をモノまたはステレオダウンミックス信号にダウンミックスする。
【0046】
すなわち、マルチチャネルダウンミキサ115は、入力信号のP個のマルチチャネルオーディオオブジェクトから空間キューを抽出して伝送し、オーディオ信号をモノまたはステレオ信号にダウンミックスする。一般的にマルチチャネルオーディオオブジェクトは1つである場合がほとんどである。
【0047】
図5は、図1の第2ダウンミキサ103を示す図である。
【0048】
前記第2ダウンミキサ103は、前記第1ダウンミキサ101から出力された信号を再度ダウンミックスしてステレオダウンミックス信号を出力し、空間キューが含まれた付加情報を抽出する。
【0049】
同図に示すように、前記第2ダウンミキサ103は、基本ダウンミキサ(1)201f、201gおよび基本ダウンミキサ(2)501を備える。
【0050】
ステレオチャネルダウンミキサ113およびマルチチャネルダウンミキサ115からダウンミックスされた信号がステレオ信号である場合、該当のダウンミックスされたステレオ信号は、各々LEFTおよびRIGHT信号にグルーピングされると、基本ダウンミキサ(1)201fおよび201gが該当のグルーピングされたLEFTおよびRIGHT信号をダウンミキシングする。各々の基本ダウンミキサ(1)201fおよび201gから出力されたダウンミックスモノ信号は、LEFTおよびRIGHT信号の代表的なダウンミックス信号である。
【0051】
すなわち、前記基本ダウンミキサ(1)201fは、前記ステレオチャネルダウンミキサ113から出力されるダウンミックスされたLEFT信号、および前記マルチチャネルダウンミキサ115から出力されるダウンミックスされたLEFT信号を再度ダウンミックスし、代表LEFT信号として1つの代表ダウンミックスLEFT信号を出力して、付加情報を抽出する。
【0052】
そして、前記基本ダウンミキサ(1)201gは、前記ステレオチャネルダウンミキサ113から出力されるダウンミックスされたRIGHT信号、および前記マルチチャネルダウンミキサ115から出力されるダウンミックスされたRIGHT信号を再度ダウンミックスし、1つの代表ダウンミックスRIGHT信号を出力して、付加情報を抽出する。
【0053】
ここで、図2で説明したように、他の実施例によって1つの基本ダウンミキサ(1)が2回利用され得る。
【0054】
次に、前記基本ダウンミキサ(2)501は、前記モノチャネルのダウンミキサ111から出力されるダウンミックスモノ信号、前記基本ダウンミキサ(1)201fおよび201gから出力される代表ダウンミックスLEFT信号および代表ダウンミックスRIGHT信号をダウンミックスし、全体のダウンミックスLEFT信号および全体のダウンミックスRIGHT信号を出力して、空間キューが含まれた付加情報を抽出する。
【0055】
ここで、前記付加情報には、空間キュー、オーディオ信号の復元および制御のためのヘッダ情報が含まれる。付加情報は下記の図6において詳説する。
【0056】
前記基本ダウンミキサ(1)201および前記基本ダウンミキサ(2)501は、各々下記の式1および式2に基づいて入力オーディオ信号をダウンミキシングする。
【0057】
【数1】
【0058】
【数2】
【0059】
【0060】
【0061】
前記重み付け要素は、ダウンミックス信号に対する表現目的の制約条件(constraint condition)に応じて決定され得る。ここで、制約条件とは、音響シーン(scene)に対する制約条件であって、例えば、ダウンミックスされたオーディオ信号においてバイオリンおよびギターに対するオーディオ信号がバイオリン0.7、ギター0.3の比率で再生(play back)されるために、各々の重み付け要素が各々0.7および0.3に設定され得る。制約条件情報は、システムまたはユーザなどの外部からの入力によって決定される。
一方、前記重み付け要素は、空間キューレベル情報に反映されなければならない。例えば、CLDを空間キューとして利用する場合、式1に対して式3のように空間キューレベル情報が予測できる。
【0062】
【数3】
【0063】
【0064】
基本ダウンミキサ(2)501は、MPEGサラウンドのTTT(Three-To-Two)ボックスと同一に空間キューを抽出する。
【0065】
図6は、図1の付加情報エンコーダ107から生成される付加情報ビットストリームの構造を示す図である。
【0066】
同図に示すように、付加情報ビットストリームは、ヘッダ情報および空間キューを含む。
【0067】
前記ヘッダ情報は、多様なチャネルから構成されたマルチオブジェクトオーディオ信号の復元および再生のための情報を含み、オーディオオブジェクトに対するチャネル情報および該当のオーディオオブジェクトのIDを定義することによって、モノ、ステレオ、マルチチャネルのオーディオオブジェクトに対する復号化情報を提供することができる。すなわち、例えば、符号化された所定のオーディオオブジェクトがモノオーディオ信号であるか、ステレオオーディオ信号であるか区分できるように識別IDおよびオブジェクト別情報が定義され得る。前記ヘッダ情報は、一実施例としてSACヘッダ情報、オーディオオブジェクト情報、およびプリセット(preset)情報を含み得る。
【0068】
一実施例として、前記SACヘッダ情報は、空間キュー基盤のオーディオ符号化の過程において生成される情報であって、タイムスロット(time-slot)情報を含み得る。前記SACヘッダ情報は、前記第1ダウンミキサ101および前記第2ダウンミキサ103が付加情報を抽出する過程において、前記第1ダウンミキサ101および前記第2ダウンミキサ103により抽出される。
【0069】
一実施例として、前記オーディオオブジェクト情報は、ダウンミックスされるオーディオオブジェクトがモノ、ステレオ、またはマルチチャネルオーディオオブジェクトであるかを識別するための情報およびオブジェクトID情報を含む。例えば、オーディオオブジェクト情報は、チャネル別のオーディオオブジェクト数(モノオーディオオブジェクト数、ステレオオーディオオブジェクト数およびマルチチャネルオーディオオブジェクト数)および各チャネル別のオーディオオブジェクトのインデックス情報(IDおよびオーディオオブジェクトがモノ、ステレオおよびマルチチャネルであるかを識別する情報を含む)を含む。
【0070】
一実施例として、前記プリセット情報はヘッダ情報の付加情報として、各オブジェクトの制御情報があらかじめ定義されている。
【0071】
例えば、前記プリセット情報は、プリセットモード情報およびプリセットモード支援情報を含む。前記プリセットモード情報は、例えば、カラオケモード、ソロオブジェクト抽出(extraction)モード(ギター演奏オーディオオブジェクト抽出、ピアノ演奏オーディオオブジェクト抽出など)、選好レンダリング情報、および基本再生モードセッティング(playback mode setting)情報を含み得る。
【0072】
前記プリセットモード支援情報は、例えば、カラオケモード支援のための情報としてボーカルインデックス情報、ソロオブジェクト抽出モードの支援のための情報として該当のオブジェクトインデックス情報、選好レンダリング支援のための情報として各オブジェクト別レンダリング情報(ローテーション、エレベーション(elevation)、スピードなど)、並びに基本ステレオおよびマルチチャネル再生モードセッティング支援のための情報として各オーディオオブジェクト別の最適のレンダリング情報を含む。
【0073】
また、前記付加情報に含まれる空間キューは、入力されたマルチオブジェクトオーディオ信号のオブジェクト別の空間キュー情報を含む。
【0074】
付加情報のフォーマットは、設計者の選択に応じて多様に構成され得る。
【0075】
図7は、図6に示された付加情報ビットストリームの構造を示す図であって、モノおよびステレオチャネルから構成されたマルチオブジェクトオーディオ信号に対する付加情報を示す。
【0076】
同図に示すように、ヘッダ情報は、チャネル別のオーディオオブジェクト数(モノオーディオオブジェクト数およびステレオオーディオオブジェクト数など)、各チャネル別のオーディオオブジェクトのインデックス情報(IDおよびオーディオオブジェクトがモノ、ステレオ、またはマルチチャネルであるかを識別する情報を含む)を含み、また、付加情報ビットストリームは空間キューを含んでいる。同図の一実施例では、空間キューの一実施例としてCLDまたはICCが利用されている。
【0077】
同図に示すように、各モノおよびステレオオブジェクトに対応する空間キュー(CLDまたはICCなど)が付加情報に含まれる。すなわち、各入力オーディオオブジェクトに対応する空間キュー情報はすべての付加情報に含まれていなければならない。
【0078】
図8は、本発明に係る図6に示された付加情報ビットストリームの構造を詳細に示す他の実施例の図であって、モノ、ステレオ、およびマルチチャネルから構成されたマルチオブジェクトオーディオ信号に対する付加情報を示す。
【0079】
同図に示すように、ヘッダ情報は、チャネル別のオーディオオブジェクト数(モノオーディオオブジェクト数、ステレオオーディオオブジェクト数およびマルチチャネルオーディオオブジェクト数など)、各チャネル別のオーディオオブジェクトのインデックス情報(IDおよびオーディオオブジェクトがモノ、ステレオ、またはマルチチャネルであるかを識別する情報など)を含み、また、付加情報ビットストリームは空間キューを含む。同図の一実施例では、空間キューの一実施例としてCLDおよびICCを利用する。
【0080】
一方、ここで、マルチチャネルオブジェクトに対する空間キューは、マルチチャネルオブジェクトの空間キュー並びにモノおよびステレオオブジェクトに対する空間キューをカスケード多重化(cascaded multiplexing)することで、1つの付加情報ビットストリームとして表現され得る。前記モノチャネルのダウンミキサ111、ステレオチャネルダウンミキサ113、および第2ダウンミキサ103によって抽出された空間キューが、図8のモノおよびステレオオーディオオブジェクトに対する空間キューであって、前記マルチチャネルダウンミキサ115によって抽出された空間キューが、図8のマルチチャネルオーディオオブジェクトに対する空間キューである。
【0081】
図9は、本発明に係る多様なチャネルのマルチオブジェクトオーディオ信号を復号化する装置の一実施例を示すブロック図である。
【0082】
本発明の一実施例に係る多様なチャネルのマルチオブジェクトオーディオ信号を復号化する装置は、例えば、図1のマルチオブジェクトオーディオ信号符号化装置から生成されたオーディオビットストリームから空間キュー情報を抽出し、抽出された空間キューを用いて各チャネル情報を予測することによって、多様なチャネルから構成されたマルチオブジェクトオーディオ信号(モノ、ステレオ、およびマルチチャネルオーディオオブジェクトを含むオーディオ信号)を復元する。
【0083】
同図に示すように、本発明の一実施例に係る多様なチャネルのマルチオブジェクトオーディオ信号を復号化する装置は、逆多重化部(demultiplexer:DEMUX)901、オーディオデコーダ903、付加情報解析部905、オーディオオブジェクト抽出部907、およびレンダリング処理部909を備える。
【0084】
前記逆多重化部901は、例えば、図1のマルチオブジェクトオーディオ信号符号化装置から生成されたオーディオビットストリームからオーディオ情報ビットストリームと付加情報ビットストリームとを分離する。
前記オーディオデコーダ903は、前記逆多重化部901により分離されたオーディオ情報ビットストリームからダウンミックスオーディオ信号を復元する。
【0085】
前記付加情報解析部905は、前記逆多重化部901により分離された付加情報ビットストリームから各オーディオオブジェクトの空間キュー情報が含まれた付加情報を抽出する。
【0086】
前記オーディオオブジェクト抽出部907は、前記付加情報解析部905から抽出された付加情報のヘッダ情報を用いて、ダウンミックスオーディオ信号からオブジェクト別のオーディオ信号を復元する。前記ヘッダ情報は、チャネル別のオーディオオブジェクト数(モノオーディオオブジェクト数、ステレオオーディオオブジェクト数およびマルチチャネルオーディオオブジェクト数など)および各チャネル別のオーディオオブジェクトのインデックス情報(IDおよびオーディオオブジェクトがモノ、ステレオおよびマルチチャネルオーディオオブジェクトであるかを識別する情報など)を含んでいるため、前記オーディオオブジェクト抽出部907は、前記付加情報解析部905から抽出された付加情報のヘッダ情報および空間キュー情報に基づいて前記オーディオデコーダ903によって出力されたダウンミックスオーディオ信号からオブジェクト別のオーディオ信号を復元することができる。
【0087】
前記レンダリング処理部909は、前記オーディオオブジェクト抽出部907により復元された各オーディオオブジェクトに対するレンダリング制御情報(例えば、空間的オーディオオブジェクトの位置および大きさ)および出力チャネル制御情報(例えば、5.1もしくは7.1チャネル、またはステレオ)が外部から入力され、前記レンダリング制御情報および出力チャネル制御情報に基づき、前記オーディオオブジェクト抽出部907から復元された各オブジェクト別のオーディオ信号を配列して(arrange)オーディオ信号を出力する。
【0088】
図10は、本発明に係る多様なチャネルのマルチオブジェクトオーディオ信号を復号化する装置の他の実施例を示すブロック図である。同図の他の実施例によるマルチオブジェクトオーディオ信号複合化装置は、各オブジェクト別に復元されたオーディオ信号をレンダリングする図9の複合化装置とは異なって、付加情報を制御してから、制御された付加情報に応じてオーディオオブジェクトをレンダリングすることによって、オーディオ信号を復元する。
【0089】
同図に示すように、本発明の他の実施例に係る多様なチャネルのマルチオブジェクトオーディオ信号を復号化する装置は、逆多重化部901、オーディオデコーダ903、付加情報解析部905、付加情報制御部1001、およびSACデコーダ1003を備える。
【0090】
図10の前記逆多重化部901、オーディオデコーダ903、付加情報解析部905は、図9の逆多重化部901、オーディオデコーダ903、付加情報解析部905と同じ構成である。
【0091】
前記付加情報制御部1001は、前記オーディオデコーダ903により復元されたダウンミックスオーディオ信号に対するレンダリング制御情報(例えば、空間的オーディオオブジェクトの位置および大きさ)および出力チャネル制御情報(例えば、5.1もしくは7.1チャネル、またはステレオ)が外部から入力され、前記付加情報解析部905から抽出された付加情報(例えば、各オーディオオブジェクトの信号の大きさ情報および相関性情報)を前記外部入力信号によって制御する。
【0092】
前記SACデコーダ1003は、前記付加情報制御部1001により制御された付加情報を用いて、前記オーディオデコーダ903から復元されたダウンミックスオーディオ信号から多様なチャネルのマルチオブジェクトオーディオ信号に復元する。前記SACデコーダ1003は、前記付加情報制御部1001により制御された付加情報のヘッダ情報を用いて、ダウンミックスオーディオ信号からオブジェクト別のオーディオ信号を復元する。前記ヘッダ情報は、チャネル別のオーディオオブジェクト数(モノオーディオオブジェクト数、ステレオオーディオオブジェクト数およびマルチチャネルオーディオオブジェクト数など)および各チャネル別のオーディオオブジェクトのインデックス情報(IDおよびオーディオオブジェクトがモノ、ステレオ、およびマルチチャネルであるかを識別する情報など)を含んでいるため、前記SACデコーダ1003は、前記付加情報制御部1001により制御された付加情報のヘッダ情報および空間キュー情報に基づいて前記オーディオデコーダ903によって出力されたダウンミックスオーディオ信号からオブジェクト別のオーディオ信号を復元することができる。
【0093】
図11は、本発明に係る図1の装置を用いたマルチオブジェクトオーディオの符号化方法を示す一実施例のフローチャートである。
【0094】
同図に示すように、入力された多様なチャネルのマルチオブジェクトオーディオ信号は、入力オーディオオブジェクトのヘッダ情報によってモノ、ステレオ、およびマルチチャネルオーディオ信号に識別され、チャネル別にグルーピングされる(S1101)。
【0095】
次に、ステップS1101によって同じチャネル別にグルーピングされた音源がダウンミックスされ、空間キューを含む付加情報が抽出される(S1103)。すなわち、入力されたモノオーディオオブジェクトからダウンミックス信号、および空間キューを含む付加情報が抽出され、入力されたステレオオーディオオブジェクトからダウンミックス信号、および空間キューを含む付加情報が抽出され、入力されたマルチチャネル(例えば5.1チャネル)オーディオオブジェクトからダウンミックス信号、および空間キューを含む付加情報が抽出される。
【0096】
前記ステップS1103から出力される第1ダウンミックス信号は、ステレオ信号またはモノ信号である。すなわち、前記入力されたモノオーディオオブジェクトから出力されるダウンミックス信号はモノ信号であり、ステレオオーディオオブジェクトまたはマルチチャネルオーディオオブジェクトから出力されるダウンミックス信号はモノまたはステレオ信号である。
【0097】
次に、ステップS1103から出力される第1ダウンミックス信号は、第2ダウンミックスされ、前記第2ダウンミックスの過程で分析された空間キューを含む付加情報が抽出される(S1105)。ここで、第2ダウンミックス信号は、モードによってモノまたはステレオ信号である。
【0098】
次に、ステップS1105から出力された第2ダウンミックス信号が符号化される(S1107)。
【0099】
次に、ステップS1103から出力された付加情報およびステップS1105から出力された付加情報を用いて付加情報ビットストリームが生成される(S1109)。
【0100】
次に、ステップS1107から符号化された信号およびステップS1109から生成された付加情報ビットストリームが多重化されて復号化装置に伝送されるビットストリームが生成される(S1111)。
【0101】
図12は、本発明に係る図9の装置を用いたマルチオブジェクトオーディオの復号化方法を示す一実施例のフローチャートである。
【0102】
同図に示すように、前記ステップS1111によって生成されたオーディオビットストリームからオーディオ情報ビットストリームと付加情報ビットストリームとに分離される(S1201)。
【0103】
次に、ステップS1201により分離されたオーディオ情報ビットストリームからダウンミックスオーディオ信号が復元される(S1203)。
【0104】
次に、ステップS1201により分離された付加情報ビットストリームから各オーディオオブジェクトの空間キュー情報の含まれた付加情報が抽出される(S1205)。
【0105】
次に、ステップS1205から抽出された付加情報のヘッダ情報を用いて、ダウンミックスオーディオ信号からオブジェクト別のオーディオ信号が復元される(S1207)。前記ヘッダ情報は、チャネル別のオーディオオブジェクト数(モノオーディオオブジェクト数、ステレオオーディオオブジェクト数およびマルチチャネルオーディオオブジェクト数など)および各チャネル別のオーディオオブジェクトのインデックス情報(IDおよびオーディオオブジェクトがモノ、ステレオ、およびマルチチャネルオーディオオブジェクトであるかを識別する情報など)を含んでいるため、前記ステップS1205から抽出された付加情報のヘッダ情報および空間キュー情報に基づいて前記ステップS1203により出力されたダウンミックスオーディオ信号からオブジェクト別のオーディオ信号が復元され得る。
【0106】
次に、ステップS1207によって復元された各オーディオオブジェクトに対するレンダリング制御情報(例えば、空間的オーディオオブジェクトの位置および大きさ)および出力チャネル制御情報(例えば、5.1もしくは7.1チャネル、またはステレオ)が外部から入力され、前記ステップS1207から復元された各オブジェクト別のオーディオ信号が配列され、マルチオブジェクトオーディオ信号が出力される。
【0107】
図13は、本発明に係る図10の装置を用いたマルチオブジェクトオーディオの復号化方法を示す一実施例のフローチャートである。
【0108】
同図に示すように、前記ステップS1111により生成されたオーディオビットストリームからオーディオ情報ビットストリームと付加情報ビットストリームとが分離される(S1301)。
【0109】
次に、ステップS1301により分離されたオーディオ情報ビットストリームからダウンミックスオーディオ信号が復元される(S1303)。
【0110】
次に、ステップS1301により分離された付加情報ビットストリームから各オーディオオブジェクトの空間キュー情報の含まれた付加情報が抽出される(S1305)。
【0111】
次に、ステップS1303によって復元された各オーディオオブジェクトに対するレンダリング制御情報(例えば、空間的オーディオオブジェクトの位置および大きさ)および出力チャネル制御情報(例えば、5.1もしくは7.1チャネル、またはステレオ)が外部から入力され、前記ステップS1305から抽出された付加情報(例えば、各オーディオオブジェクトの信号の大きさおよび相関性情報を含む)が前記外部入力信号によって制御される(S1307)。
【0112】
次に、ステップS1307によって制御された付加情報を用いて、前記ステップS1303から復元されたダウンミックスオーディオ信号から多様なチャネルのマルチオブジェクトオーディオ信号に復元される(S1309)。前記ステップS1307により制御された付加情報のヘッダ情報を用いて、ダウンミックスオーディオ信号からオブジェクト別のオーディオ信号が復元される。前記ヘッダ情報は、チャネル別のオーディオオブジェクト数(モノオーディオオブジェクト数、ステレオオーディオオブジェクト数、およびマルチチャネルオーディオオブジェクト数など)および各チャネル別のオーディオオブジェクトのインデックス情報(IDおよびオーディオオブジェクトがモノ、ステレオ、およびマルチチャネルであるかを識別する情報など)を含んでいるため、前記ステップS1307によって制御された付加情報のヘッダ情報および空間キュー情報に基づいて前記ステップS1303により出力されたダウンミックスオーディオ信号からオブジェクト別のオーディオ信号が復元され得る。
【0113】
前述したような本発明の方法は、プログラムで具現されてコンピュータで読み出し可能な記録媒体(CD−ROM、RAM、ROM、フロッピー(登録商標)ディスク、ハードディスク、光磁気ディスクなど)に保存され得る。
【0114】
特定の好ましい実施例について本発明を説明してきたが、特許請求の範囲において定義した本発明の精神および範囲から逸脱しない範囲内で様々な置換、変形および変更が可能であることは、本発明が属する技術分野において通常の知識を有する者にとって明白であろう。
【産業上の利用可能性】
【0115】
本発明は、多様なチャネルから構成された多様なオブジェクトのオーディオコンテンツを効率的に符号化および復号化することによって、ユーザが必要に応じて能動的にオーディオコンテンツを消費することができる。
【技術分野】
【0001】
本発明は、マルチオブジェクトオーディオ信号の符号化および復号化装置、並びにその方法に関し、詳細には多様なチャネルを有するマルチオブジェクトオーディオ信号を符号化および復号化する、多様なチャネルから構成されたマルチオブジェクトオーディオ信号符号化および復号化装置、並びにその方法に関する。
ここで、多様なチャネルを有するマルチオブジェクトオーディオ信号とは、マルチオブジェクトオーディオ信号として各々のオーディオオブジェクトが相異なるチャネル(例えば、モノ、ステレオ、5.1チャネル)で構成されたオーディオ信号を意味する。
【背景技術】
【0002】
従来のオーディオ符号化/複号化技術によると、ユーザはオーディオコンテンツを受動的に聴取するほかはないため、ユーザの必要に応じて相異なるチャネルから構成された各オーディオオブジェクトを制御して1つのオーディオコンテンツを多様な方法で組合せることによって、多様なオーディオオブジェクトを消費することのできる多様なチャネルから構成された複数のオーディオオブジェクト別の符号化および復号化装置、並びに方法が要求されている。
【0003】
従来技術であるSAC(Spatial Audio Coding)は、マルチチャネルオーディオ信号をダウンミックスされたモノまたはステレオ信号および空間キュー(spatial cue)として表現、伝送、および復元する技術であって、低いビット率でも高品質のマルチチャネルオーディオ信号を伝送できる。
【0004】
しかし、SACは、マルチチャネルから構成された単一オブジェクトオーディオ信号に対してのみ符号化および復号化が可能な技術であるため、マルチチャネルでありながらも同時にマルチオブジェクトオーディオ信号、例えば、モノ、ステレオ、および5.1チャネルから構成された多様なオブジェクトのオーディオ信号を符号化/複号化することができないといった問題がある。
【0005】
また別の従来技術であるバイノーラルキューコーディング(Binaural Cue Coding:BCC)は、マルチオブジェクトオーディオ信号を符号化/復号化することができるが、該当のオーディオオブジェクトは、モノチャネルである場合に限定されるため、モノチャネル以外の多様なチャネルから構成されたマルチオブジェクトオーディオ信号を符号化/複号化することができない短所がある。
【0006】
まとめると、従来技術によると、単一チャネルから構成されたマルチオブジェクトオーディオ信号またはマルチチャネルの単一オブジェクトオーディオ信号に対してのみ符号化/複号化を行い得るため、多様なチャネルから構成されたマルチオブジェクトオーディオ信号に対しては符号化/複号化を行なえないという問題があり、したがって、従来のオーディオ信号符号化/複号化技術によると、ユーザはオーディオコンテンツを受動的に聴取せざるを得ないという問題がある。
【0007】
したがって、ユーザの必要に応じて相異なるチャネルから構成された複数のオーディオオブジェクトの各々を制御して1つのオーディオコンテンツを多様な方法で組合せることによって、多様なオーディオオブジェクトを消費することのできる多様なチャネルから構成された複数のオーディオオブジェクト別の符号化および復号化装置、並びに方法が要求される。
【発明の概要】
【発明が解決しようとする課題】
【0008】
本発明は前述の要求に対応するために提案されたものであって、多様なチャネルを有するマルチオブジェクトオーディオ信号を符号化および復号化する、多様なチャネルから構成されたマルチオブジェクトオーディオ信号符号化および復号化装置、並びにその方法を提供することを目的とする。
【課題を解決するための手段】
【0009】
前述した目的を達成するための本発明は、相異なるチャネルから構成されたマルチオブジェクトオーディオ信号の符号化装置であって、前記相異なるチャネルから構成されたマルチオブジェクトオーディオ信号を1つのダウンミックスされたオーディオ信号にダウンミキシングし、前記相異なるチャネルから構成されたマルチオブジェクトオーディオ信号の各々に対するヘッダ情報および空間キュー情報を含む付加情報を抽出するダウンミキシング手段と、前記ダウンミキシングされたオーディオ信号を符号化する符号化手段と、前記付加情報をビットストリームとして生成する付加情報符号化手段と、を備え、前記ヘッダ情報は、前記相異なるチャネルから構成されたマルチオブジェクトオーディオ信号の各々に対する識別子情報と、前記相異なるチャネルから構成されたマルチオブジェクトオーディオ信号に対するチャネル情報と、を含む符号化装置を提供する。
【0010】
また、前述した目的を達成するための本発明は、相異なるチャネルから構成されたマルチオブジェクトオーディオ信号の符号化方法であって、前記相異なるチャネルから構成されたマルチオブジェクトオーディオ信号を1つのダウンミックスされたオーディオ信号にダウンミキシングし、前記相異なるチャネルから構成されたマルチオブジェクトオーディオ信号の各々に対するヘッダ情報および空間キュー情報を含む付加情報を抽出するダウンミキシングステップと、前記ダウンミキシングされたオーディオ信号を符号化する符号化ステップと、前記付加情報をビットストリームとして生成する付加情報符号化ステップと、を含み、前記ヘッダ情報は、前記相異なるチャネルから構成されたマルチオブジェクトオーディオ信号の各々に対する識別子情報と、前記相異なるチャネルから構成されたマルチオブジェクトオーディオ信号に対するチャネル情報と、を含む符号化方法を提供する。
【0011】
また、前述した目的を達成するための本発明は、相異なるチャネルから構成されたマルチオブジェクトオーディオ信号の復号化装置であって、入力オーディオ信号からダウンミックスオーディオ信号を復元し、入力されたオーディオ信号に含まれた付加情報ビットストリームからヘッダ情報および空間キュー情報を含む付加情報を抽出する入力信号分析手段と、該入力信号分析手段から抽出された付加情報を用いて、前記復元されたダウンミックスオーディオ信号をオブジェクト別のオーディオ信号に復元するオーディオオブジェクト抽出手段と、入力されたオーディオ信号に対する制御情報を用いて前記復元されたオブジェクト別のオーディオ信号をマルチオブジェクトオーディオ信号として出力する出力手段と、を備え、前記ヘッダ情報は、前記相異なるチャネルから構成されたマルチオブジェクトオーディオ信号の各々に対する識別子情報と、前記相異なるチャネルから構成されたマルチオブジェクトオーディオ信号に対するチャネル情報と、を含む復号化装置を提供する。
【0012】
また、前述した目的を達成するための本発明は、相異なるチャネルから構成されたマルチオブジェクトオーディオ信号の復号化方法であって、入力オーディオ信号からダウンミックスオーディオ信号を復元し、入力されたオーディオ信号に含まれた付加情報ビットストリームからヘッダ情報および空間キュー情報を含む付加情報を抽出する入力信号分析ステップと、該入力信号分析ステップから抽出された付加情報を用いて、前記復元されたダウンミックスオーディオ信号をオブジェクト別のオーディオ信号に復元するオーディオオブジェクト抽出ステップと、入力されたオーディオ信号に対する制御情報を用いて前記復元されたオブジェクト別のオーディオ信号をマルチオブジェクトオーディオ信号として出力する出力ステップと、を含み、前記ヘッダ情報は、前記相異なるチャネルから構成されたマルチオブジェクトオーディオ信号の各々に対する識別子情報と、前記相異なるチャネルから構成されたマルチオブジェクトオーディオ信号に対するチャネル情報と、を含む復号化方法を提供する。
【0013】
また、前述した目的を達成するための本発明は、相異なるチャネルから構成されたマルチオブジェクトオーディオ信号の復号化装置であって、入力オーディオ信号からダウンミックスオーディオ信号を復元し、入力されたオーディオ信号に含まれた付加情報ビットストリームからヘッダ情報および空間キュー情報を含む付加情報を抽出する入力信号分析手段と、入力オーディオ信号に対する制御情報を用いて、前記入力信号分析手段から抽出された付加情報を制御する付加情報制御手段と、制御された付加情報を用いて前記復元されたダウンミックスオーディオ信号をマルチオブジェクトオーディオ信号として出力する出力手段と、を備え、前記ヘッダ情報は、前記相異なるチャネルから構成されたマルチオブジェクトオーディオ信号の各々に対する識別子情報と、前記相異なるチャネルから構成されたマルチオブジェクトオーディオ信号に対するチャネル情報と、を含む復号化装置を提供する。
【0014】
また、前述した目的を達成するための本発明は、相異なるチャネルから構成されたマルチオブジェクトオーディオ信号の復号化方法であって、入力オーディオ信号からダウンミックスオーディオ信号を復元し、入力されたオーディオ信号に含まれた付加情報ビットストリームからヘッダ情報および空間キュー情報を含む付加情報を抽出する入力信号分析ステップと、入力オーディオ信号に対する制御情報を用いて、前記入力信号分析ステップから抽出された付加情報を制御する付加情報制御ステップと、制御された付加情報を用いて前記復元されたダウンミックスオーディオ信号をマルチオブジェクトオーディオ信号として出力する出力ステップと、を含み、前記ヘッダ情報は、前記相異なるチャネルから構成されたマルチオブジェクトオーディオ信号の各々に対する識別子情報と、前記相異なるチャネルから構成されたマルチオブジェクトオーディオ信号に対するチャネル情報と、を含む復号化方法を提供する。
【発明の効果】
【0015】
本発明は、多様なチャネルを有するマルチオブジェクトオーディオ信号を符号化および復号化する、多様なチャネルから構成されたマルチオブジェクトオーディオ信号の符号化装置および方法を提供することによって、多様なチャネルから構成された多様なオーディオオブジェクトのオーディオコンテンツを効率的に符号化および復号化することにより、ユーザが必要に応じて能動的にオーディオコンテンツを消費することができる。
【図面の簡単な説明】
【0016】
【図1】本発明に係るマルチオブジェクトオーディオ信号符号化装置を示す一実施例の図である。
【図2】図1におけるモノチャネルのダウンミキサを示す図である。
【図3】図1におけるステレオチャネルダウンミキサを示す図である。
【図4】図1におけるマルチチャネルダウンミキサを示す図である。
【図5】図1における第2ダウンミキサを示す図である。
【図6】図1における付加情報エンコーダから生成される付加情報ビットストリームの構造を示す図である。
【図7】図6に示す付加情報ビットストリームの構造を詳細に示す図である。
【図8】本発明に係る図6に示す付加情報ビットストリームの構造を詳細に示す他の実施例の図である。
【図9】本発明に係るマルチオブジェクトオーディオ復号化装置を示す一実施例を示すブロック図である。
【図10】本発明に係るマルチオブジェクトオーディオ復号化装置を示す他の実施例のブロック図である。
【図11】本発明に係る図1の装置を用いたマルチオブジェクトオーディオの符号化方法を示す一実施例のフローチャートである。
【図12】本発明に係る図9の装置を用いたマルチオブジェクトオーディオの復号化方法を示す一実施例のフローチャートである。
【図13】本発明に係る図10の装置を用いたマルチオブジェクトオーディオの復号化方法を示す一実施例のフローチャートである。
【発明を実施するための形態】
【0017】
前述した目的、特徴、および長所は、添付の図面と関連した次の詳細な説明を介して更に明確になるであろう。以下、添付の図面を参照して本発明に係る好ましい一実施例を詳説する。
【0018】
図1は、本発明に係るマルチオブジェクトオーディオ信号符号化装置を示す一実施例の図であって、例えば、入力される複数のオーディオオブジェクトのチャネルが、各々モノ、ステレオ、および5.1チャネルである。
【0019】
同図に示すように、本発明の一実施例に係るマルチオブジェクトオーディオ符号化装置は、第1ダウンミキサ101、第2ダウンミキサ103、オーディオエンコーダ105、付加情報エンコーダ107、および多重化部(multiplexer)109を備える。
【0020】
前記第1ダウンミキサ101は、モノチャネルのダウンミキサ111、ステレオチャネルダウンミキサ113、およびマルチチャネルダウンミキサ115を備えている。
【0021】
前記第1ダウンミキサ101は、入力オーディオオブジェクトのヘッダ情報を用いて入力された多様なチャネルのマルチオブジェクトオーディオ信号をモノ、ステレオ、マルチチャネルに識別し、チャネル別にグルーピングする。したがって、多様なチャネルのマルチオブジェクトオーディオ信号は、各々チャネル別にグルーピングされて各チャネル別のダウンミキサ111、113、115によってダウンミキシングされる。
【0022】
また、前記第1ダウンミキサ101は、入力オーディオオブジェクトからダウンミックスされたオーディオ信号、および空間キューを含む付加情報を抽出する。すなわち、同じチャネル別に音源がグルーピングされて前記第1ダウンミキサ101に入力され、モノチャネルのダウンミキサ111は、入力されたモノオーディオオブジェクトからダウンミックス信号、および空間キューを含む付加情報を抽出し、ステレオチャネルダウンミキサ113は、入力されたステレオオーディオオブジェクトからダウンミックス信号、および空間キューを含む付加情報を抽出し、マルチチャネルダウンミキサ115は、入力されたマルチチャネル(例えば5.1チャネル)オーディオオブジェクトからダウンミックス信号、および空間キューを含む付加情報を抽出する。
【0023】
前記オーディオエンコーダ105は、前記第2ダウンミキサ103から出力された第2ダウンミックス信号を符号化する。
【0024】
前記付加情報エンコーダ107は、前記第1ダウンミキサ101から出力された付加情報および前記第2ダウンミキサ103から出力された付加情報を用いて付加情報ビットストリームを生成する。ここで、付加情報ビットストリームに含まれた情報は、下記の図6において詳説する。
【0025】
前記多重化部109は、前記オーディオエンコーダ105から符号化された信号および前記付加情報エンコーダ107から生成された付加情報ビットストリームを多重化して復号化装置に伝送されるビットストリームを生成する。
【0026】
前記第1ダウンミキサ101から出力される第1ダウンミックス信号は、ステレオ信号またはモノ信号である。すなわち、前記モノチャネルのダウンミキサ111から出力されるダウンミックス信号はモノ信号であって、残りのダウンミキサ113、115から出力されるダウンミックス信号はモノまたはステレオ信号である。
【0027】
前記第2ダウンミキサ103は、前記第1ダウンミキサ101から出力された第1ダウンミックス信号を第2ダウンミックスして第2ダウンミックス信号を出力し、前記第2ダウンミックスの過程で分析された空間キューを含む付加情報を抽出する。ここで、第2ダウンミックス信号は、モードに応じてモノまたはステレオ信号である。
【0028】
ここで、前記付加情報には、空間キュー、オーディオ信号の復元および制御のためのヘッダ情報が含まれている。付加情報は、下記の図6において詳説する。
【0029】
図2は、図1のモノチャネルのダウンミキサ111を示す図であって、例えば、入力されるモノオーディオオブジェクトがN個(m1、…、mN)である。
【0030】
同図に示すように、前記モノチャネルのダウンミキサ111は、基本ダウンミキサ(1)(201a、…、201d)をカスケード(cascade)構造で備える。
【0031】
モノチャネルのダウンミキサ111に含まれる基本ダウンミキサ(1)201の個数は、モノオーディオオブジェクトの個数(N)に応じて決定される。すなわち、モノオーディオオブジェクトがN個であるとき、基本ダウンミキサ(1)201の個数はN−1個となり、モノオーディオオブジェクトが1つであるときは基本ダウンミキサが無く入力信号がバイパス(bypass)される。
【0032】
一方、実施例によって1つの基本ダウンミキサ(1)がカスケード方式によりN−1回利用され得る。
【0033】
基本的に基本ダウンミキサ(1)は、2つの入力信号をダウンミックスして1つのダウンミックスされたモノ信号を生成し、入力信号に対する空間キューを含む付加情報を抽出する。最初の基本ダウンミキサ(1)201aは、前記モノチャネルのダウンミキサ111に入力されるモノオーディオオブジェクト2つを用いて1つのダウンミックスされたモノ信号を生成し、空間キューを含む付加情報を抽出する。次に、2番目に利用される基本ダウンミキサ(1)201bは、最初の基本ダウンミキサ(1)201aから出力されるダウンミックスされたモノ信号および前記モノチャネルのダウンミキサ111に入力されるモノオーディオオブジェクトを用いて1つのダウンミックスされたモノ信号を生成し、空間キューを含む付加情報を抽出する。N−1番目の基本ダウンミキサ(1)201dは、N−2番目の基本ダウンミキサ(1)(図示せず)から出力されるダウンミックスモノ信号および前記モノチャネルのダウンミキサ111に入力されるモノオーディオオブジェクトを用いて1つのダウンミックスされたモノ信号を生成し、空間キューを含む付加情報を抽出する。
【0034】
ここで、空間キューとは、オーディオ信号を符号化および復号化する過程において利用される情報であって、周波数領域で抽出され、基本ダウンミキサ(1)201に入力される2つの信号の大きさの差(amplitude difference)、遅延差、相関性などの情報を含む。例えば、本発明の一実施例に従って活用可能な空間キューとして、オーディオ信号のパワー利得情報を示す、オーディオ信号間のレベル差(Channel(audio signal)Level Difference:CLD)、オーディオ信号間のエネルギー比(Inter-Channel Level Difference:ICLD)、オーディオ信号間の時間差(Inter Channel Time Difference:ICTD)、オーディオ信号間の相関性情報を示すオーディオ信号間の相関性(Inter Channel Correlation:ICC)、および仮想音源位置情報(Virtual Source Location Information)があるが、これに限定されない。
【0035】
ここで、前記付加情報には、空間キュー、オーディオ信号の復元および制御のためのヘッダ情報が含まれる。付加情報は、下記の図6において詳説する。
【0036】
図3は、図1のステレオチャネルダウンミキサ113を示す図であって、例えば、入力されるステレオオーディオオブジェクトは、各々M個のLEFT信号およびRIGHT信号(SL1、…、SLMおよびSR1、…、SRM)である。
【0037】
ステレオチャネルダウンミキサ113に入力されるステレオオーディオオブジェクトは、ステレオのLEFT信号とRIGHT信号とに分離されて、分離された信号は再びグルーピングされる。
【0038】
同図に示すように、前記ステレオチャネルダウンミキサ113は、複数の基本ダウンミキサ(1)201を備える。前記ステレオチャネルダウンミキサ113に備えられた基本ダウンミキサ(1)201は、M個のLEFT信号およびM個のRIGHT信号をダウンミキシングするために、2×(M−1)個が必要である。ここで、図2で説明したように他の実施例では、1つの基本ダウンミキサ(1)が2×(M−1)回利用され得る。
【0039】
図3に示すように、M個のLEFT信号を分析するためのM−1個の基本ダウンミキサ(1)201la〜201leは、図2で説明したように、入力される信号を分析し、1つのダウンミックスされたLEFT信号を生成し、空間キューを含む付加情報を抽出する。
【0040】
図3に示すように、M個のRIGHT信号を分析するためのM−1個の基本ダウンミキサ(1)201ra〜201reは、図2で説明したように、入力される信号を分析して1つのダウンミックスされたRIGHT信号を生成し、空間キューを含む付加情報を抽出する。
【0041】
図3に示すように、ステレオオーディオオブジェクトが1つである場合は、入力されるLEFT信号およびRIGHT信号がバイパスされ得る。
【0042】
したがって、前記ステレオチャネルダウンミキサ113は、ダウンミックスされたLEFT信号およびダウンミックスされたRIGHT信号を生成することによってステレオダウンミックス信号を出力し、空間キューを含む付加情報を抽出する。
【0043】
ここで、前記付加情報には、空間キュー、オーディオ信号の復元および制御のためのヘッダ情報が含まれる。付加情報は下記の図6において詳説する。
【0044】
図4は、図1のマルチチャネルダウンミキサ115を示す図であって、例えば、入力される5.1チャネルオーディオオブジェクトはP個である。
【0045】
同図に示すように、マルチチャネルダウンミキサ115は、MPEGサラウンドまたはSAC技術によるダウンミキサであって、マルチチャネルオーディオ信号から空間キューが含まれた付加情報を抽出し、オーディオ信号をモノまたはステレオダウンミックス信号にダウンミックスする。
【0046】
すなわち、マルチチャネルダウンミキサ115は、入力信号のP個のマルチチャネルオーディオオブジェクトから空間キューを抽出して伝送し、オーディオ信号をモノまたはステレオ信号にダウンミックスする。一般的にマルチチャネルオーディオオブジェクトは1つである場合がほとんどである。
【0047】
図5は、図1の第2ダウンミキサ103を示す図である。
【0048】
前記第2ダウンミキサ103は、前記第1ダウンミキサ101から出力された信号を再度ダウンミックスしてステレオダウンミックス信号を出力し、空間キューが含まれた付加情報を抽出する。
【0049】
同図に示すように、前記第2ダウンミキサ103は、基本ダウンミキサ(1)201f、201gおよび基本ダウンミキサ(2)501を備える。
【0050】
ステレオチャネルダウンミキサ113およびマルチチャネルダウンミキサ115からダウンミックスされた信号がステレオ信号である場合、該当のダウンミックスされたステレオ信号は、各々LEFTおよびRIGHT信号にグルーピングされると、基本ダウンミキサ(1)201fおよび201gが該当のグルーピングされたLEFTおよびRIGHT信号をダウンミキシングする。各々の基本ダウンミキサ(1)201fおよび201gから出力されたダウンミックスモノ信号は、LEFTおよびRIGHT信号の代表的なダウンミックス信号である。
【0051】
すなわち、前記基本ダウンミキサ(1)201fは、前記ステレオチャネルダウンミキサ113から出力されるダウンミックスされたLEFT信号、および前記マルチチャネルダウンミキサ115から出力されるダウンミックスされたLEFT信号を再度ダウンミックスし、代表LEFT信号として1つの代表ダウンミックスLEFT信号を出力して、付加情報を抽出する。
【0052】
そして、前記基本ダウンミキサ(1)201gは、前記ステレオチャネルダウンミキサ113から出力されるダウンミックスされたRIGHT信号、および前記マルチチャネルダウンミキサ115から出力されるダウンミックスされたRIGHT信号を再度ダウンミックスし、1つの代表ダウンミックスRIGHT信号を出力して、付加情報を抽出する。
【0053】
ここで、図2で説明したように、他の実施例によって1つの基本ダウンミキサ(1)が2回利用され得る。
【0054】
次に、前記基本ダウンミキサ(2)501は、前記モノチャネルのダウンミキサ111から出力されるダウンミックスモノ信号、前記基本ダウンミキサ(1)201fおよび201gから出力される代表ダウンミックスLEFT信号および代表ダウンミックスRIGHT信号をダウンミックスし、全体のダウンミックスLEFT信号および全体のダウンミックスRIGHT信号を出力して、空間キューが含まれた付加情報を抽出する。
【0055】
ここで、前記付加情報には、空間キュー、オーディオ信号の復元および制御のためのヘッダ情報が含まれる。付加情報は下記の図6において詳説する。
【0056】
前記基本ダウンミキサ(1)201および前記基本ダウンミキサ(2)501は、各々下記の式1および式2に基づいて入力オーディオ信号をダウンミキシングする。
【0057】
【数1】
【0058】
【数2】
【0059】
【0060】
【0061】
前記重み付け要素は、ダウンミックス信号に対する表現目的の制約条件(constraint condition)に応じて決定され得る。ここで、制約条件とは、音響シーン(scene)に対する制約条件であって、例えば、ダウンミックスされたオーディオ信号においてバイオリンおよびギターに対するオーディオ信号がバイオリン0.7、ギター0.3の比率で再生(play back)されるために、各々の重み付け要素が各々0.7および0.3に設定され得る。制約条件情報は、システムまたはユーザなどの外部からの入力によって決定される。
一方、前記重み付け要素は、空間キューレベル情報に反映されなければならない。例えば、CLDを空間キューとして利用する場合、式1に対して式3のように空間キューレベル情報が予測できる。
【0062】
【数3】
【0063】
【0064】
基本ダウンミキサ(2)501は、MPEGサラウンドのTTT(Three-To-Two)ボックスと同一に空間キューを抽出する。
【0065】
図6は、図1の付加情報エンコーダ107から生成される付加情報ビットストリームの構造を示す図である。
【0066】
同図に示すように、付加情報ビットストリームは、ヘッダ情報および空間キューを含む。
【0067】
前記ヘッダ情報は、多様なチャネルから構成されたマルチオブジェクトオーディオ信号の復元および再生のための情報を含み、オーディオオブジェクトに対するチャネル情報および該当のオーディオオブジェクトのIDを定義することによって、モノ、ステレオ、マルチチャネルのオーディオオブジェクトに対する復号化情報を提供することができる。すなわち、例えば、符号化された所定のオーディオオブジェクトがモノオーディオ信号であるか、ステレオオーディオ信号であるか区分できるように識別IDおよびオブジェクト別情報が定義され得る。前記ヘッダ情報は、一実施例としてSACヘッダ情報、オーディオオブジェクト情報、およびプリセット(preset)情報を含み得る。
【0068】
一実施例として、前記SACヘッダ情報は、空間キュー基盤のオーディオ符号化の過程において生成される情報であって、タイムスロット(time-slot)情報を含み得る。前記SACヘッダ情報は、前記第1ダウンミキサ101および前記第2ダウンミキサ103が付加情報を抽出する過程において、前記第1ダウンミキサ101および前記第2ダウンミキサ103により抽出される。
【0069】
一実施例として、前記オーディオオブジェクト情報は、ダウンミックスされるオーディオオブジェクトがモノ、ステレオ、またはマルチチャネルオーディオオブジェクトであるかを識別するための情報およびオブジェクトID情報を含む。例えば、オーディオオブジェクト情報は、チャネル別のオーディオオブジェクト数(モノオーディオオブジェクト数、ステレオオーディオオブジェクト数およびマルチチャネルオーディオオブジェクト数)および各チャネル別のオーディオオブジェクトのインデックス情報(IDおよびオーディオオブジェクトがモノ、ステレオおよびマルチチャネルであるかを識別する情報を含む)を含む。
【0070】
一実施例として、前記プリセット情報はヘッダ情報の付加情報として、各オブジェクトの制御情報があらかじめ定義されている。
【0071】
例えば、前記プリセット情報は、プリセットモード情報およびプリセットモード支援情報を含む。前記プリセットモード情報は、例えば、カラオケモード、ソロオブジェクト抽出(extraction)モード(ギター演奏オーディオオブジェクト抽出、ピアノ演奏オーディオオブジェクト抽出など)、選好レンダリング情報、および基本再生モードセッティング(playback mode setting)情報を含み得る。
【0072】
前記プリセットモード支援情報は、例えば、カラオケモード支援のための情報としてボーカルインデックス情報、ソロオブジェクト抽出モードの支援のための情報として該当のオブジェクトインデックス情報、選好レンダリング支援のための情報として各オブジェクト別レンダリング情報(ローテーション、エレベーション(elevation)、スピードなど)、並びに基本ステレオおよびマルチチャネル再生モードセッティング支援のための情報として各オーディオオブジェクト別の最適のレンダリング情報を含む。
【0073】
また、前記付加情報に含まれる空間キューは、入力されたマルチオブジェクトオーディオ信号のオブジェクト別の空間キュー情報を含む。
【0074】
付加情報のフォーマットは、設計者の選択に応じて多様に構成され得る。
【0075】
図7は、図6に示された付加情報ビットストリームの構造を示す図であって、モノおよびステレオチャネルから構成されたマルチオブジェクトオーディオ信号に対する付加情報を示す。
【0076】
同図に示すように、ヘッダ情報は、チャネル別のオーディオオブジェクト数(モノオーディオオブジェクト数およびステレオオーディオオブジェクト数など)、各チャネル別のオーディオオブジェクトのインデックス情報(IDおよびオーディオオブジェクトがモノ、ステレオ、またはマルチチャネルであるかを識別する情報を含む)を含み、また、付加情報ビットストリームは空間キューを含んでいる。同図の一実施例では、空間キューの一実施例としてCLDまたはICCが利用されている。
【0077】
同図に示すように、各モノおよびステレオオブジェクトに対応する空間キュー(CLDまたはICCなど)が付加情報に含まれる。すなわち、各入力オーディオオブジェクトに対応する空間キュー情報はすべての付加情報に含まれていなければならない。
【0078】
図8は、本発明に係る図6に示された付加情報ビットストリームの構造を詳細に示す他の実施例の図であって、モノ、ステレオ、およびマルチチャネルから構成されたマルチオブジェクトオーディオ信号に対する付加情報を示す。
【0079】
同図に示すように、ヘッダ情報は、チャネル別のオーディオオブジェクト数(モノオーディオオブジェクト数、ステレオオーディオオブジェクト数およびマルチチャネルオーディオオブジェクト数など)、各チャネル別のオーディオオブジェクトのインデックス情報(IDおよびオーディオオブジェクトがモノ、ステレオ、またはマルチチャネルであるかを識別する情報など)を含み、また、付加情報ビットストリームは空間キューを含む。同図の一実施例では、空間キューの一実施例としてCLDおよびICCを利用する。
【0080】
一方、ここで、マルチチャネルオブジェクトに対する空間キューは、マルチチャネルオブジェクトの空間キュー並びにモノおよびステレオオブジェクトに対する空間キューをカスケード多重化(cascaded multiplexing)することで、1つの付加情報ビットストリームとして表現され得る。前記モノチャネルのダウンミキサ111、ステレオチャネルダウンミキサ113、および第2ダウンミキサ103によって抽出された空間キューが、図8のモノおよびステレオオーディオオブジェクトに対する空間キューであって、前記マルチチャネルダウンミキサ115によって抽出された空間キューが、図8のマルチチャネルオーディオオブジェクトに対する空間キューである。
【0081】
図9は、本発明に係る多様なチャネルのマルチオブジェクトオーディオ信号を復号化する装置の一実施例を示すブロック図である。
【0082】
本発明の一実施例に係る多様なチャネルのマルチオブジェクトオーディオ信号を復号化する装置は、例えば、図1のマルチオブジェクトオーディオ信号符号化装置から生成されたオーディオビットストリームから空間キュー情報を抽出し、抽出された空間キューを用いて各チャネル情報を予測することによって、多様なチャネルから構成されたマルチオブジェクトオーディオ信号(モノ、ステレオ、およびマルチチャネルオーディオオブジェクトを含むオーディオ信号)を復元する。
【0083】
同図に示すように、本発明の一実施例に係る多様なチャネルのマルチオブジェクトオーディオ信号を復号化する装置は、逆多重化部(demultiplexer:DEMUX)901、オーディオデコーダ903、付加情報解析部905、オーディオオブジェクト抽出部907、およびレンダリング処理部909を備える。
【0084】
前記逆多重化部901は、例えば、図1のマルチオブジェクトオーディオ信号符号化装置から生成されたオーディオビットストリームからオーディオ情報ビットストリームと付加情報ビットストリームとを分離する。
前記オーディオデコーダ903は、前記逆多重化部901により分離されたオーディオ情報ビットストリームからダウンミックスオーディオ信号を復元する。
【0085】
前記付加情報解析部905は、前記逆多重化部901により分離された付加情報ビットストリームから各オーディオオブジェクトの空間キュー情報が含まれた付加情報を抽出する。
【0086】
前記オーディオオブジェクト抽出部907は、前記付加情報解析部905から抽出された付加情報のヘッダ情報を用いて、ダウンミックスオーディオ信号からオブジェクト別のオーディオ信号を復元する。前記ヘッダ情報は、チャネル別のオーディオオブジェクト数(モノオーディオオブジェクト数、ステレオオーディオオブジェクト数およびマルチチャネルオーディオオブジェクト数など)および各チャネル別のオーディオオブジェクトのインデックス情報(IDおよびオーディオオブジェクトがモノ、ステレオおよびマルチチャネルオーディオオブジェクトであるかを識別する情報など)を含んでいるため、前記オーディオオブジェクト抽出部907は、前記付加情報解析部905から抽出された付加情報のヘッダ情報および空間キュー情報に基づいて前記オーディオデコーダ903によって出力されたダウンミックスオーディオ信号からオブジェクト別のオーディオ信号を復元することができる。
【0087】
前記レンダリング処理部909は、前記オーディオオブジェクト抽出部907により復元された各オーディオオブジェクトに対するレンダリング制御情報(例えば、空間的オーディオオブジェクトの位置および大きさ)および出力チャネル制御情報(例えば、5.1もしくは7.1チャネル、またはステレオ)が外部から入力され、前記レンダリング制御情報および出力チャネル制御情報に基づき、前記オーディオオブジェクト抽出部907から復元された各オブジェクト別のオーディオ信号を配列して(arrange)オーディオ信号を出力する。
【0088】
図10は、本発明に係る多様なチャネルのマルチオブジェクトオーディオ信号を復号化する装置の他の実施例を示すブロック図である。同図の他の実施例によるマルチオブジェクトオーディオ信号複合化装置は、各オブジェクト別に復元されたオーディオ信号をレンダリングする図9の複合化装置とは異なって、付加情報を制御してから、制御された付加情報に応じてオーディオオブジェクトをレンダリングすることによって、オーディオ信号を復元する。
【0089】
同図に示すように、本発明の他の実施例に係る多様なチャネルのマルチオブジェクトオーディオ信号を復号化する装置は、逆多重化部901、オーディオデコーダ903、付加情報解析部905、付加情報制御部1001、およびSACデコーダ1003を備える。
【0090】
図10の前記逆多重化部901、オーディオデコーダ903、付加情報解析部905は、図9の逆多重化部901、オーディオデコーダ903、付加情報解析部905と同じ構成である。
【0091】
前記付加情報制御部1001は、前記オーディオデコーダ903により復元されたダウンミックスオーディオ信号に対するレンダリング制御情報(例えば、空間的オーディオオブジェクトの位置および大きさ)および出力チャネル制御情報(例えば、5.1もしくは7.1チャネル、またはステレオ)が外部から入力され、前記付加情報解析部905から抽出された付加情報(例えば、各オーディオオブジェクトの信号の大きさ情報および相関性情報)を前記外部入力信号によって制御する。
【0092】
前記SACデコーダ1003は、前記付加情報制御部1001により制御された付加情報を用いて、前記オーディオデコーダ903から復元されたダウンミックスオーディオ信号から多様なチャネルのマルチオブジェクトオーディオ信号に復元する。前記SACデコーダ1003は、前記付加情報制御部1001により制御された付加情報のヘッダ情報を用いて、ダウンミックスオーディオ信号からオブジェクト別のオーディオ信号を復元する。前記ヘッダ情報は、チャネル別のオーディオオブジェクト数(モノオーディオオブジェクト数、ステレオオーディオオブジェクト数およびマルチチャネルオーディオオブジェクト数など)および各チャネル別のオーディオオブジェクトのインデックス情報(IDおよびオーディオオブジェクトがモノ、ステレオ、およびマルチチャネルであるかを識別する情報など)を含んでいるため、前記SACデコーダ1003は、前記付加情報制御部1001により制御された付加情報のヘッダ情報および空間キュー情報に基づいて前記オーディオデコーダ903によって出力されたダウンミックスオーディオ信号からオブジェクト別のオーディオ信号を復元することができる。
【0093】
図11は、本発明に係る図1の装置を用いたマルチオブジェクトオーディオの符号化方法を示す一実施例のフローチャートである。
【0094】
同図に示すように、入力された多様なチャネルのマルチオブジェクトオーディオ信号は、入力オーディオオブジェクトのヘッダ情報によってモノ、ステレオ、およびマルチチャネルオーディオ信号に識別され、チャネル別にグルーピングされる(S1101)。
【0095】
次に、ステップS1101によって同じチャネル別にグルーピングされた音源がダウンミックスされ、空間キューを含む付加情報が抽出される(S1103)。すなわち、入力されたモノオーディオオブジェクトからダウンミックス信号、および空間キューを含む付加情報が抽出され、入力されたステレオオーディオオブジェクトからダウンミックス信号、および空間キューを含む付加情報が抽出され、入力されたマルチチャネル(例えば5.1チャネル)オーディオオブジェクトからダウンミックス信号、および空間キューを含む付加情報が抽出される。
【0096】
前記ステップS1103から出力される第1ダウンミックス信号は、ステレオ信号またはモノ信号である。すなわち、前記入力されたモノオーディオオブジェクトから出力されるダウンミックス信号はモノ信号であり、ステレオオーディオオブジェクトまたはマルチチャネルオーディオオブジェクトから出力されるダウンミックス信号はモノまたはステレオ信号である。
【0097】
次に、ステップS1103から出力される第1ダウンミックス信号は、第2ダウンミックスされ、前記第2ダウンミックスの過程で分析された空間キューを含む付加情報が抽出される(S1105)。ここで、第2ダウンミックス信号は、モードによってモノまたはステレオ信号である。
【0098】
次に、ステップS1105から出力された第2ダウンミックス信号が符号化される(S1107)。
【0099】
次に、ステップS1103から出力された付加情報およびステップS1105から出力された付加情報を用いて付加情報ビットストリームが生成される(S1109)。
【0100】
次に、ステップS1107から符号化された信号およびステップS1109から生成された付加情報ビットストリームが多重化されて復号化装置に伝送されるビットストリームが生成される(S1111)。
【0101】
図12は、本発明に係る図9の装置を用いたマルチオブジェクトオーディオの復号化方法を示す一実施例のフローチャートである。
【0102】
同図に示すように、前記ステップS1111によって生成されたオーディオビットストリームからオーディオ情報ビットストリームと付加情報ビットストリームとに分離される(S1201)。
【0103】
次に、ステップS1201により分離されたオーディオ情報ビットストリームからダウンミックスオーディオ信号が復元される(S1203)。
【0104】
次に、ステップS1201により分離された付加情報ビットストリームから各オーディオオブジェクトの空間キュー情報の含まれた付加情報が抽出される(S1205)。
【0105】
次に、ステップS1205から抽出された付加情報のヘッダ情報を用いて、ダウンミックスオーディオ信号からオブジェクト別のオーディオ信号が復元される(S1207)。前記ヘッダ情報は、チャネル別のオーディオオブジェクト数(モノオーディオオブジェクト数、ステレオオーディオオブジェクト数およびマルチチャネルオーディオオブジェクト数など)および各チャネル別のオーディオオブジェクトのインデックス情報(IDおよびオーディオオブジェクトがモノ、ステレオ、およびマルチチャネルオーディオオブジェクトであるかを識別する情報など)を含んでいるため、前記ステップS1205から抽出された付加情報のヘッダ情報および空間キュー情報に基づいて前記ステップS1203により出力されたダウンミックスオーディオ信号からオブジェクト別のオーディオ信号が復元され得る。
【0106】
次に、ステップS1207によって復元された各オーディオオブジェクトに対するレンダリング制御情報(例えば、空間的オーディオオブジェクトの位置および大きさ)および出力チャネル制御情報(例えば、5.1もしくは7.1チャネル、またはステレオ)が外部から入力され、前記ステップS1207から復元された各オブジェクト別のオーディオ信号が配列され、マルチオブジェクトオーディオ信号が出力される。
【0107】
図13は、本発明に係る図10の装置を用いたマルチオブジェクトオーディオの復号化方法を示す一実施例のフローチャートである。
【0108】
同図に示すように、前記ステップS1111により生成されたオーディオビットストリームからオーディオ情報ビットストリームと付加情報ビットストリームとが分離される(S1301)。
【0109】
次に、ステップS1301により分離されたオーディオ情報ビットストリームからダウンミックスオーディオ信号が復元される(S1303)。
【0110】
次に、ステップS1301により分離された付加情報ビットストリームから各オーディオオブジェクトの空間キュー情報の含まれた付加情報が抽出される(S1305)。
【0111】
次に、ステップS1303によって復元された各オーディオオブジェクトに対するレンダリング制御情報(例えば、空間的オーディオオブジェクトの位置および大きさ)および出力チャネル制御情報(例えば、5.1もしくは7.1チャネル、またはステレオ)が外部から入力され、前記ステップS1305から抽出された付加情報(例えば、各オーディオオブジェクトの信号の大きさおよび相関性情報を含む)が前記外部入力信号によって制御される(S1307)。
【0112】
次に、ステップS1307によって制御された付加情報を用いて、前記ステップS1303から復元されたダウンミックスオーディオ信号から多様なチャネルのマルチオブジェクトオーディオ信号に復元される(S1309)。前記ステップS1307により制御された付加情報のヘッダ情報を用いて、ダウンミックスオーディオ信号からオブジェクト別のオーディオ信号が復元される。前記ヘッダ情報は、チャネル別のオーディオオブジェクト数(モノオーディオオブジェクト数、ステレオオーディオオブジェクト数、およびマルチチャネルオーディオオブジェクト数など)および各チャネル別のオーディオオブジェクトのインデックス情報(IDおよびオーディオオブジェクトがモノ、ステレオ、およびマルチチャネルであるかを識別する情報など)を含んでいるため、前記ステップS1307によって制御された付加情報のヘッダ情報および空間キュー情報に基づいて前記ステップS1303により出力されたダウンミックスオーディオ信号からオブジェクト別のオーディオ信号が復元され得る。
【0113】
前述したような本発明の方法は、プログラムで具現されてコンピュータで読み出し可能な記録媒体(CD−ROM、RAM、ROM、フロッピー(登録商標)ディスク、ハードディスク、光磁気ディスクなど)に保存され得る。
【0114】
特定の好ましい実施例について本発明を説明してきたが、特許請求の範囲において定義した本発明の精神および範囲から逸脱しない範囲内で様々な置換、変形および変更が可能であることは、本発明が属する技術分野において通常の知識を有する者にとって明白であろう。
【産業上の利用可能性】
【0115】
本発明は、多様なチャネルから構成された多様なオブジェクトのオーディオコンテンツを効率的に符号化および復号化することによって、ユーザが必要に応じて能動的にオーディオコンテンツを消費することができる。
【特許請求の範囲】
【請求項1】
相異なるチャネルから構成されたマルチオブジェクトオーディオ信号の復号化装置であって、
入力信号から復元されたダウンミックスオーディオ信号に対する制御情報(前記制御情報は、前記復元されたオーディオ信号に対するレンダリング制御情報を含む)を用いて、前記入力信号から抽出された付加情報を制御する付加情報制御手段と、
前記制御された付加情報を用いて、前記復元されたダウンミックスオーディオ信号をマルチチャネルオーディオ信号として出力する出力手段と
を備え、
前記付加情報は、
前記オーディオ信号に対するプリセット情報を含むことを特徴とする復号化装置。
【請求項2】
前記プリセット情報は、
前記オーディオ信号に対するプリセットモードを定義するプリセットモード情報と、
前記プリセットモードを支援するために必要な情報を定義するプリセットモード支援情報と
を含むことを特徴とする請求項1に記載の復号化装置。
【請求項3】
前記付加情報は、
前記オーディオ信号の各々に対する識別子情報と、
前記オーディオ信号に対するチャネル情報と
をさらに含むことを特徴とする請求項1に記載の復号化装置。
【請求項4】
前記チャネル情報は、
前記オーディオ信号の各々に対するチャネル情報と、
前記オーディオ信号のチャネル別のオーディオオブジェクト数情報と
を含むことを特徴とする請求項3に記載の復号化装置。
【請求項5】
前記付加情報は、
前記オーディオ信号のモノ、ステレオ、及びマルチチャネルのうち、いずれか1つのオーディオオブジェクトに対する空間キュー情報をさらに含むことを特徴とする請求項1に記載の復号化装置。
【請求項1】
相異なるチャネルから構成されたマルチオブジェクトオーディオ信号の復号化装置であって、
入力信号から復元されたダウンミックスオーディオ信号に対する制御情報(前記制御情報は、前記復元されたオーディオ信号に対するレンダリング制御情報を含む)を用いて、前記入力信号から抽出された付加情報を制御する付加情報制御手段と、
前記制御された付加情報を用いて、前記復元されたダウンミックスオーディオ信号をマルチチャネルオーディオ信号として出力する出力手段と
を備え、
前記付加情報は、
前記オーディオ信号に対するプリセット情報を含むことを特徴とする復号化装置。
【請求項2】
前記プリセット情報は、
前記オーディオ信号に対するプリセットモードを定義するプリセットモード情報と、
前記プリセットモードを支援するために必要な情報を定義するプリセットモード支援情報と
を含むことを特徴とする請求項1に記載の復号化装置。
【請求項3】
前記付加情報は、
前記オーディオ信号の各々に対する識別子情報と、
前記オーディオ信号に対するチャネル情報と
をさらに含むことを特徴とする請求項1に記載の復号化装置。
【請求項4】
前記チャネル情報は、
前記オーディオ信号の各々に対するチャネル情報と、
前記オーディオ信号のチャネル別のオーディオオブジェクト数情報と
を含むことを特徴とする請求項3に記載の復号化装置。
【請求項5】
前記付加情報は、
前記オーディオ信号のモノ、ステレオ、及びマルチチャネルのうち、いずれか1つのオーディオオブジェクトに対する空間キュー情報をさらに含むことを特徴とする請求項1に記載の復号化装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2013−54395(P2013−54395A)
【公開日】平成25年3月21日(2013.3.21)
【国際特許分類】
【出願番号】特願2012−278575(P2012−278575)
【出願日】平成24年12月20日(2012.12.20)
【分割の表示】特願2009−530277(P2009−530277)の分割
【原出願日】平成19年10月1日(2007.10.1)
【出願人】(596180076)韓國電子通信研究院 (733)
【氏名又は名称原語表記】Electronics and Telecommunications Research Institute
【住所又は居所原語表記】161 Kajong−dong, Yusong−gu, Taejon korea
【公開日】平成25年3月21日(2013.3.21)
【国際特許分類】
【出願日】平成24年12月20日(2012.12.20)
【分割の表示】特願2009−530277(P2009−530277)の分割
【原出願日】平成19年10月1日(2007.10.1)
【出願人】(596180076)韓國電子通信研究院 (733)
【氏名又は名称原語表記】Electronics and Telecommunications Research Institute
【住所又は居所原語表記】161 Kajong−dong, Yusong−gu, Taejon korea
[ Back to top ]