マルチオブジェクトオーディオ符号化および復号化方法とその装置
【課題】本発明はオーディオ符号化および復号化方法とその装置に関するもので、より一層詳細にマルチオブジェクトオーディオ符号化および復号化方法とその装置に関するものである。
【解決手段】本発明によるマルチオブジェクトオーディオ符号化方法は主オーディオオブジェクトと副オーディオオブジェクトをダウンミックスしてダウンミックス信号および残余信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）を生成するステップと、ダウンミックス信号および残余信号を含むビットストリームを生成するステップとを含む。
【解決手段】本発明によるマルチオブジェクトオーディオ符号化方法は主オーディオオブジェクトと副オーディオオブジェクトをダウンミックスしてダウンミックス信号および残余信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）を生成するステップと、ダウンミックス信号および残余信号を含むビットストリームを生成するステップとを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオ符号化および復号化方法とその装置に関するもので、より詳細には、マルチオブジェクトオーディオ符号化および復号化方法とその装置に関するものである。
【０００２】
本発明は、情報通信部および情報通信研究振興院の情報通信標準開発支援の一環として行われた研究から導出されたものである。［課題管理番号：２００７−Ｓ−００４−０１、課題名：眼鏡なし個人型３Ｄ放送技術開発（Ｄｅｖｅｌｏｐｍｅｎｔ ｏｆ Ｇｌａｓｓｌｅｓｓ Ｓｉｎｇｌｅ−Ｕｓｅｒ ３Ｄ Ｂｒｏａｄｃａｓｔｉｎｇ Ｔｅｃｈｎｏｌｏｇｉｅｓ）］
【背景技術】
【０００３】
空間キューを基盤とした空間オーディオ符号化（ＳＡＣ：Ｓｐａｔｉａｌ Ａｕｄｉｏ ｃｏｄｉｎｇ）方法は、関連した従来技術に係るオーディオ信号を圧縮及び復元する方法として導入された。ＳＡＣは、マルチチャネルオーディオ符号化のために発展した技術であった。
【０００４】
一般に、従来のオーディオ技術は、ユーザが受動的にオーディオコンテンツを聴くことのみを可能にする機能的制約を有する。それ故に、従来のオーディオ技術は、様々なオーディオサービスをユーザに提供することができなかった。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の実施形態は、多様なオーディオサービスを効率的に提供する符号化および復号化方法ならびにその装置を提供することを目的とする。
【０００６】
本発明の他の目的および長所は、下記の説明によって理解可能であり、本発明の実施形態によって分明に知り得るものである。また、本発明の目的および長所は、特許請求の範囲に示した手段およびその組合せによって実現される可能性があることを容易に知ることができるであろう。
【課題を解決するための手段】
【０００７】
本発明の態様によると、主オーディオオブジェクトと副オーディオオブジェクトをダウンミックスしてダウンミックス信号および残余信号を生成するステップと、ダウンミックス信号および残余信号を含むビットストリームを生成するステップとを含むマルチオブジェクトオーディオ符号化方法が提供される。
【０００８】
本発明の他の態様によると、マルチオブジェクトオーディオ符号化方法は、モノ主オーディオオブジェクトとモノ副オーディオオブジェクトをダウンミックスしてダウンミックス信号および残余信号を生成するステップと、ダウンミックス信号および残余信号を含むビットストリームを生成するステップとを含むマルチオブジェクトオーディオ符号化方法が提供される。
【０００９】
本発明の他の態様によると、ステレオ主オーディオオブジェクトとモノ副オーディオオブジェクトをダウンミックスしてダウンミックス信号と残余信号を生成するステップと、ダウンミックス信号と残余信号を含むビットストリームを生成するステップとを含むマルチオブジェクトオーディオ符号化方法が提供される。
【００１０】
本発明の他の態様によると、ステレオ主オーディオオブジェクトとステレオ副オーディオオブジェクトをダウンミックスしてダウンミックス信号および残余信号を生成するステップと、ダウンミックス信号と残余信号を含むビットストリームを生成するステップとを含むマルチオブジェクトオーディオ符号化方法が提供される。
【００１１】
本発明の他の態様によると、主オーディオオブジェクトと副オーディオオブジェクトがダウンミックスされたダウンミックス信号およびダウンミックスによる残余信号を含むビットストリームを受信するステップと、残余信号を利用してダウンミックス信号から主オーディオオブジェクトと副オーディオオブジェクトを復元するステップとを含むマルチオブジェクトオーディオ符号化方法が提供される。
【００１２】
本発明の他の態様によると、モノ主オーディオオブジェクトとモノ副オーディオオブジェクトがダウンミックスされたダウンミックス信号およびダウンミックスによる残余信号を含むビットストリームを受信するステップと、残余信号を利用してダウンミックス信号から主オーディオオブジェクトおよび副オーディオオブジェクトを復元するステップとを含むマルチオブジェクトオーディオ符号化方法が提供される。
【００１３】
本発明の他の態様によると、ステレオ主オーディオオブジェクトとモノ副オーディオオブジェクトがダウンミックスされたダウンミックス信号およびダウンミックスによる残余信号を含むビットストリームを受信するステップと、残余信号を利用してダウンミックス信号からステレオ主オーディオオブジェクトとモノ副オーディオオブジェクトを復元するステップとを含むマルチオブジェクトオーディオ符号化方法が提供される。
【００１４】
本発明の他の態様によると、ステレオ主オーディオオブジェクトとステレオ副オーディオオブジェクトがダウンミックスされたダウンミックス信号およびダウンミックスによる残余信号を含むビットストリームを受信するステップと、残余信号を利用してダウンミックス信号からステレオ主オーディオオブジェクトとステレオ副オーディオオブジェクトを復元するステップとを含むマルチオブジェクトオーディオ符号化方法が提供される。
【００１５】
本発明の他の態様によると、主オーディオオブジェクトと副オーディオオブジェクトをダウンミックスしてダウンミックス信号および残余信号を生成するダウンミックス生成部と、ダウンミックス信号および残余信号を含むビットストリームを生成するビットストリーム生成部とを備えるマルチオブジェクトオーディオ符号化装置が提供される。
【００１６】
本発明の他の態様によると、モノ主オーディオオブジェクトとモノ副オーディオオブジェクトをダウンミックスしてダウンミックス信号および残余信号を生成するダウンミックス生成部と、ダウンミックス信号および残余信号を含むビットストリームを生成するビットストリーム生成部とを備えるマルチオブジェクトオーディオ符号化装置が提供される。
【００１７】
本発明の他の態様によると、ステレオ主オーディオオブジェクトとモノ副オーディオオブジェクトをダウンミックスしてダウンミックス信号と残余信号を生成するダウンミックス生成部と、ダウンミックス信号と残余信号を含むビットストリームを生成するビットストリーム生成部とを備えるマルチオブジェクトオーディオ符号化装置が提供される。
【００１８】
本発明の他の態様によると、ステレオ主オーディオオブジェクトとステレオ副オーディオオブジェクトをダウンミックスしてダウンミックス信号および残余信号を生成するダウンミックス生成部と、ダウンミックス信号と残余信号を含むビットストリームを生成するビットストリーム生成部とを備えるマルチオブジェクトオーディオ符号化装置が提供される。
【００１９】
本発明の他の態様によると、主オーディオオブジェクトと副オーディオオブジェクトがダウンミックスされたダウンミックス信号およびダウンミックスによる残余信号を含むビットストリームを受信する受信部と、残余信号を利用してダウンミックス信号から主オーディオオブジェクトと副オーディオオブジェクトを復元する復元部とを備えるマルチオブジェクトオーディオ符号化装置が提供される。
【００２０】
本発明の他の態様によると、モノ主オーディオオブジェクトとモノ副オーディオオブジェクトがダウンミックスされたダウンミックス信号およびダウンミックスによる残余信号を含むビットストリームを受信する受信部と、残余信号を利用してダウンミックス信号から主オーディオオブジェクトおよび副オーディオオブジェクトを復元する復元部とを備えるマルチオブジェクトオーディオ符号化装置が提供される。
【００２１】
本発明の他の態様によると、ステレオ主オーディオオブジェクトとモノ副オーディオオブジェクトがダウンミックスされたダウンミックス信号およびダウンミックスによる残余信号を含むビットストリームを受信する受信部と、残余信号を利用してダウンミックス信号からステレオ主オーディオオブジェクトとモノ副オーディオオブジェクトを復元する復元部とを備えるマルチオブジェクトオーディオ符号化装置が提供される。
【００２２】
本発明の他の態様によると、ステレオ主オーディオオブジェクトとステレオ副オーディオオブジェクトがダウンミックスされたダウンミックス信号およびダウンミックスによる残余信号を含むビットストリームを受信する受信部と、残余信号を利用してダウンミックス信号からステレオ主オーディオオブジェクトとステレオ副オーディオオブジェクトを復元する復元部とを備えるマルチオブジェクトオーディオ符号化装置が提供される。
【００２３】
上述した目的、特徴および長所は添付された図面と関連した次の詳細な説明によって、より明確になるものであり、それに応じて本発明が属する技術分野で通常の知識を有する者が本発明の技術的思想を容易に実施できるであろう。また、本発明を説明するにおいて本発明と関連した公知技術に対する具体的な説明が本発明の要旨を不必要にぼかし得ると判断される場合にその詳細な説明を省略するものとする。以下、添付した図面を参照し本発明による好ましい実施形態を詳細に説明する。
【発明の効果】
【００２４】
本発明に係る符号化及び復号化方法及び装置は、多様なオーディオサービスを効率的に提供することができる。
【図面の簡単な説明】
【００２５】
【図１】本発明の第１の概念を説明するための図である。
【図２】本発明の第２の概念を説明するための図である。
【図３】図２に示された第１のダウンミックス生成部２０３を詳細に説明するための図である。
【図４】本発明による第１の実施形態を説明するための図である。
【図５】本発明による第２の実施形態を説明するための図である。
【図６】本発明による第３の実施形態を説明するための図である。
【図７】本発明による第４の実施形態を説明するための図である。
【図８】本発明による復号化を説明するための図である。
【図９】本発明の具体的な実施形態を説明するための図である。
【発明を実施するための形態】
【００２６】
以下の説明は、単に本発明の原理を例示する。当業者は、たとえ本明細書に明確に説明されたり示されていなくとも、本発明の原理を具現して本発明の概念と範囲に含まれた多様な装置を発明できるものである。また、本明細書に列挙されたすべての条件付き用語および実施形態は原則的に、本発明の概念が理解されるようにするための目的にのみ明確に意図され、このように特別に列挙された実施形態および形態に制限的でないものと理解されなければならない。
【００２７】
また、本発明の原理、観点および実施形態だけでなく特定実施形態を列挙するすべての詳細な説明は、このような事項の構造的および機能的均等物を含むように意図されたものと理解されなければならない。またこのような均等物は現在公知された均等物だけでなく将来に開発される均等物すなわち構造と関係がなく同一の機能を遂行するように発明されたすべての素子を含むものと理解されなければならない。
【００２８】
したがって、例えば、本明細書のブロック図は本発明の原理を具体化する例示的な回路の概念的な観点を示すものと理解されなければならない。これと類似して、すべてのフローチャート、状態変換図、疑似コードなどはコンピュータが判読可能な媒体に実質的に示すことができコンピュータまたはプロセッサが明確に示されたのかの可否を問わず、コンピュータまたはプロセッサによって行われる多様なプロセスを示すものと理解されなければならない。
【００２９】
プロセッサまたはこれと類似の概念と表示された機能ブロックを含む図に示された多様な素子の機能は、専用ハードウェアだけでなく適切なソフトウェアと関連してソフトウェアを実行する能力を有するハードウェアの使用で提供可能である。プロセッサによって提供される時、前記機能は単一専用プロセッサ、単一共有プロセッサまたは複数の個別的プロセッサによって提供可能であり、これらのうち一部は共有可能である。
【００３０】
またプロセッサ、制御またはこれと類似の概念で提示される用語の明確な使用はソフトウェアを実行する能力を有するハードウェアを排他的に引用して解釈してはならず、制限なしでデジタル信号プロセッサ（ＤＳＰ）ハードウェア、ソフトウェアを保存するためのＲＯＭ、ＲＡＭおよび非揮発性メモリを暗示的に含むものと理解されなければならない。周知慣用の他のハードウェアも含むことができる。
【００３１】
本明細書の請求の範囲で、詳細な説明に記載された機能を遂行するための手段と表現された構成要素は、例えば前記機能を遂行する回路素子の組合せまたはファームウェア／マイクロコードなどを含むすべての形式のソフトウェアを含む機能を遂行するすべての方法を含むものと意図され、前記機能を遂行するように前記ソフトウェアを実行するための適切な回路と結合される。このような請求の範囲によって定義される本発明は多様に列挙された手段によって提供される機能が結合して請求項が要求する方式と結合されるため前記機能を提供可能ないかなる手段も本明細書から把握されるものと均等なものに理解されなければならない。
【００３２】
上述した目的、特徴および長所は添付された図面と関連した後の詳細な説明によってより明確になるものであり、それに応じて本発明が属する技術分野で通常の知識を有する者が本発明の技術的思想を容易に実施できるだろう。また、本発明を説明するにおいて本発明と関連した公知技術に対する具体的な説明が本発明の要旨を不必要にぼかし得ると判断される場合にその詳細な説明を省略するものとする。以下、添付された図面を参照して本発明による好ましい実施形態を詳細に説明する。
【００３３】
本発明は、マルチオブジェクトオーディオの符号化及び復号化技術に関するものである。マルチオブジェクトオーディオは、オーディオコンテンツを構成する複数個のオーディオオブジェクトを含むことができる。例えば、伴奏またはバックミュージックとボーカルで構成されるオーディオコンテンツにおいて、伴奏またはバックミュージックが１つのオーディオオブジェクトであり、ボーカルがまた他のオーディオオブジェクトの場合がこれに該当しうる。伴奏またはバックミュージックは、ピアノ、ドラム、その他のように、それぞれの楽器によるオーディオオブジェクトに細分化することができる。マルチオブジェクトオーディオ符号化はこのような相異したオーディオオブジェクトらを圧縮する技術であり、マルチオブジェクトオーディオ復号化は符号化されたマルチオブジェクトオーディオを復号化する技術である。したがって、複数のオーディオオブジェクトをオブジェクト別にオーディオ符号化または復号化することになれば、ユーザにより能動的なサービスを提供できることになる。すなわち、ユーザの要請により各オーディオオブジェクトを制御できるだけでなく１つのオーディオコンテンツを構成する複数のオーディオオブジェクトを組み合わせることによって多様なオーディオサービスおよびコンテンツ創出が可能になる。
【００３４】
本発明では、マルチオブジェクトオーディオの符号化と復号化のために残余信号を利用することができる。ここで、残余信号とは、任意の信号に対して予測前と予測後の信号差を意味する。これは下記の数１のように定義されうる。
Ｘ（ｔ）−Ｘ’（ｔ）＝Ｘｒｅｓｉｄｕａｌ（ｔ） 数１
ここで、Ｘ（ｔ）は、予測前の原信号であり、Ｘ’（ｔ）は、予測後の予測信号であり、Ｘｒｅｓｉｄｕａｌ（ｔ）は、原信号と予測信号の差を意味する。
【００３５】
残余信号を利用したマルチオブジェクトオーディオの符号化は、以下に説明されることになる。例えば、第１のオーディオオブジェクト及び第２のオーディオオブジェクトを含むマルチオブジェクトオーディオの場合、第１のオーディオオブジェクトと第２のオーディオオブジェクトとをダウンミックスしてダウンミックス信号を生成する。第１のオーディオオブジェクト及び第２のオーディオオブジェクトは、第１の予測オーディオオブジェクトと第２の予測オーディオオブジェクトで予測可能である。ここで、第１のオーディオオブジェクト及び第２のオーディオオブジェクトは原信号であり、第１の予測オーディオオブジェクト及び第２の予測オーディオオブジェクトは予測信号である。原信号及び予測信号を利用して残余信号を生成することができる。したがって、本発明の例示的な実施形態に係る第１のオーディオオブジェクトと第２のオーディオオブジェクトとをダウンミックスして、ダウンミックス信号及び残余信号を生成することができる。本発明の例示的な実施形態に係るマルチオブジェクトオーディオ復号化では、符号化と反対の過程が行われる。すなわち、ダウンミックス信号と残余信号を利用して第１のオーディオオブジェクトと第２のオーディオオブジェクトを復元することになる。
【００３６】
本発明の実施形態によるマルチオブジェクトオーディオ符号化方法は、主オーディオオブジェクトと副オーディオオブジェクトとをダウンミックスしてダウンミックス信号および残余信号を生成するステップと、ダウンミックス信号および残余信号を含むビットストリームを生成するステップとを含む。ここで、主オーディオオブジェクトは、第１の主オーディオオブジェクトおよび第２の主オーディオオブジェクトを含み、ダウンミックス信号と残余信号とを生成するステップは、副オーディオオブジェクトと第１の主オーディオオブジェクトとをダウンミックスして第１のダウンミックス信号および第１の残余信号を生成するステップと、第１のダウンミックス信号と第２の主オーディオオブジェクトとをダウンミックスして第２のダウンミックス信号および第２の残余信号を生成するステップとを含むことができる。ここで、ダウンミックス信号および残余信号を生成するステップは、第２の主オーディオオブジェクトをバイパスするステップをさらに含むことができる。
【００３７】
本発明によるオーディオ符号化装置は、主オーディオオブジェクトと副オーディオオブジェクトをダウンミックスしてダウンミックス信号および残余信号を生成するダウンミックス生成部と、ダウンミックス信号および残余信号を含むビットストリームを生成するビットストリーム生成部とを備える。ここで、主オーディオオブジェクトは、第１の主オーディオオブジェクトおよび第２の主オーディオオブジェクトを含み、ダウンミックス信号と残余信号を生成するステップは、副オーディオオブジェクトと第１の主オーディオオブジェクトをダウンミックスして第１のダウンミックス信号および第１の残余信号を生成する第１のダウンミックス生成部と、第１のダウンミックス信号と第２の主オーディオオブジェクトをダウンミックスして第２のダウンミックス信号および第２の残余信号を生成する第２のダウンミックス生成部とを備えることができる。ここで、第１のダウンミックス生成部は、第２の主オーディオオブジェクトをバイパスすることができる。
【００３８】
本発明によるマルチオブジェクトオーディオ復号化方法は、主オーディオオブジェクトと副オーディオオブジェクトがダウンミックスされたダウンミックス信号およびダウンミックスによる残余信号を含むビットストリームを受信するステップと、残余信号を利用してダウンミックス信号から主オーディオオブジェクトと副オーディオオブジェクトを復元するステップとを含む。ここで、主オーディオオブジェクトは、第１の主オーディオオブジェクトおよび第２の主オーディオオブジェクトを含み、残余信号は、第１の主オーディオオブジェクトに対する第１の残余信号および第２の主オーディオオブジェクトに対する第２の残余信号を含み、復元するステップは、ダウンミックス信号と第１の残余信号を利用して第１の主オーディオオブジェクトを復元するステップと、第１の主オーディオオブジェクトが復元された後のダウンミックス信号と第２の残余信号を利用して第２の主オーディオオブジェクトを復元するステップとを含むことができる。
【００３９】
本発明によるマルチオブジェクトオーディオ復号化装置は、主オーディオオブジェクトと副オーディオオブジェクトがダウンミックスされたダウンミックス信号およびダウンミックスによる残余信号を含むビットストリームを受信する受信部と、残余信号を利用してダウンミックス信号から主オーディオオブジェクトと副オーディオオブジェクトを復元する復元部とを備える。ここで、主オーディオオブジェクトは、第１の主オーディオオブジェクトおよび第２の主オーディオオブジェクトを含み、残余信号は、第１の主オーディオオブジェクトに対する第１の残余信号および第２の主オーディオオブジェクトに対する第２の残余信号を含み、復元部は、ダウンミックス信号と第１の残余信号を利用して第１の主オーディオオブジェクトを復元する第１の復元部と、第１の主オーディオオブジェクトが復元された後のダウンミックス信号と第２の残余信号を利用して第２の主オーディオオブジェクトを復元する第２の復元部とを備えることができる。
【００４０】
オーディオオブジェクトには、モノ（ｍｏｎｏ）信号を含むモノオーディオオブジェクトとステレオ信号を含むステレオオーディオオブジェクトが含まれる。ここで、ステレオオーディオオブジェクトは、左側チャネルの信号と右側チャネルの信号を含むことができる。
【００４１】
一方、副オーディオオブジェクトは、ステレオオーディオオブジェクトがモノオーディオオブジェクトにダウンミックスされたオーディオオブジェクトでありえ、またはモノオーディオオブジェクトがステレオオーディオオブジェクトにダウンミックスされたオーディオオブジェクトでありうる。したがって、副オーディオオブジェクトは、複数のモノオーディオオブジェクトが、ステレオオーディオオブジェクトまたは複数のステレオオーディオオブジェクトが１つのモノオーディオオブジェクトにダウンミックスされたものでありうる。もちろん、副オーディオオブジェクトは、複数個でありうる。また、副オーディオオブジェクトは、複数のモノオーディオオブジェクトまたはステレオオーディオオブジェクトが１つのステレオオーディオオブジェクトにダウンミックスされたものでありうる。もちろん、ここでも副オーディオオブジェクトは、複数個でありうる。主オーディオオブジェクトも副オーディオオブジェクトと同様にステレオオーディオオブジェクトがモノオーディオオブジェクトにダウンミックスされたオーディオオブジェクトでありえ、またはモノオーディオオブジェクトがステレオオーディオオブジェクトにダウンミックスされたオーディオオブジェクトでありうる。
【００４２】
本発明は、残余信号を利用してマルチオブジェクトオーディオを符号化または復号化することによって、オーディオオブジェクトを能動的に制御することができる。また、モノまたはステレオオーディオオブジェクトで構成されるマルチオブジェクトオーディオを効率的に符号化または復号化することができる。
【００４３】
以下、主オーディオオブジェクトと副オーディオオブジェクトで構成されたマルチオブジェクトオーディオに対して説明する。主オーディオオブジェクトは、制御しようとするオーディオオブジェクトを意味するものであるが、主オーディオオブジェクトと副オーディオオブジェクトは、互いに変更可能である。また主オーディオオブジェクトと副オーディオオブジェクトは、複数のオーディオオブジェクトを含むことができる。
【００４４】
図１は、本発明の第１の概念を説明するための図である。図１を参照すれば、主オーディオオブジェクト（ＦＧＯ：ＦｏｒｅＧｒｏｕｎｄ Ｏｂｊｅｃｔ）と副オーディオオブジェクト（ＢＧＯ：ＢａｃｋＧｒｏｕｎｄ Ｏｂｊｅｃｔ）は、ダウンミックス生成部１０１に入力される。図１において、主オーディオオブジェクトＦＧＯは、第１の主オーディオオブジェクトＦＧＯ１と第２の主オーディオオブジェクトＦＧＯ２を含む。
【００４５】
まず、副オーディオオブジェクトＢＧＯ及び第１の主オーディオオブジェクトＦＧＯ１は、第１のダウンミックス生成部１０３に入力される。第１のダウンミックス生成部１０３では、副オーディオオブジェクトＢＧＯと第１の主オーディオオブジェクトＦＧＯ１とをダウンミックスして第１のダウンミックス信号と第１の残余（Ｒｅｓｉｄｕａｌ）信号を生成する。
【００４６】
第２のダウンミックス生成部１０５は、第１のダウンミックス信号と第２の主オーディオオブジェクトＦＧＯ２の入力を受ける。第２のダウンミックス生成部１０５は、第１のダウンミックス信号と第２の主オーディオオブジェクトＦＧＯ２とをダウンミックスして第２のダウンミックス信号ＤＭＸと第２の残余信号を生成する。
【００４７】
図１において、２つの主オーディオオブジェクトＦＧＯ１、ＦＧＯ２が入力されているが、当業者であれば３つ以上の主オーディオオブジェクトが入力される場合もあることは自明である。主オーディオオブジェクトが３つ以上の場合、増加した主オーディオオブジェクトの個数の分だけ、第１及び第２のダウンミックス生成部１０３、１０５がカスケードで連結されて増加する。
【００４８】
残余信号を除外すれば、第１のダウンミックス生成部１０３および第２のダウンミックス生成部１０５は、２つの信号を受信し、１つのダウンミックス信号を出力する。例えば、第１のダウンミックス生成部１０３は、副オーディオオブジェクトＢＧＯと第１の主オーディオオブジェクトＦＧＯ１を受信し、第１のダウンミックス信号を出力する。したがって、第１のダウンミックス生成部１０３は、入力が２つで、出力が１つのインバースＯＴＴ−１（：Ｏｎｅ Ｔｏ Ｔｗｏ）構造を有するようになる。ここで、ＯＴＴ−１は、符号化の観点から定義したものである。復号化の観点では、ＯＴＴ−１は、ＯＴＴと等しい。これらを第１のダウンミックス生成部１０３および第２のダウンミックス生成部１０５を含むダウンミックス生成部１０１に拡張させ、３つ以上の主オーディオオブジェクトＦＧＯが入力される場合、入力がＮで、出力が１つのインバースＯＴＮ−１（Ｉｎｖｅｒｓｅ Ｏｎｅ Ｔｏ Ｎ）構造を有するようになる。ここで、ＯＴＮ−１は、符号化の観点で定義したものである。復号化の観点では、ＯＴＮ−１は、ＯＴＮと等しい。復号化過程は、前述した符号化過程の逆順で行われる。
【００４９】
図２は、本発明の第２の概念を説明するための図である。図２を参照すれば、全体的な構成は前述した図１と類似する。しかしながら、第１のダウンミックス生成部２０３は、第２の主オーディオオブジェクトＦＧＯ２をバイパス（ｂｙｐａｓｓ）し、第２のダウンミックス生成部２０５は、第２の主オーディオオブジェクトＦＧＯ２を副オーディオオブジェクトＢＧＯと第１の主オーディオオブジェクトＦＧＯ１がダウンミックスすることによって生成されたダウンミックス信号にダウンミックスする。
【００５０】
残余信号を除外すれば、第１のダウンミックス生成部２０３または第２のダウンミックス生成部２０５は、３つの信号を受信し、２つの信号を出力する。２つの出力信号は、ダウンミックス信号とバイパスされた信号である。例えば、第１のダウンミックス生成部２０３は、副オーディオオブジェクトＢＧＯ、第１の主オーディオオブジェクトＦＧＯ１および第２の主オーディオオブジェクトＦＧＯ２を受信し、第１のダウンミックス信号と第２の主オーディオオブジェクトＦＧＯ２とを出力する。したがって、第１のダウンミックス生成部は、３つの入力で、２つの出力のインバースＴＴＴ−１（Ｔｗｏ Ｔｏ Ｔｈｒｅｅ）構造を有する。しかしながら、３つの入力のうちの１つは、変調されずに出力される。したがって、このような構造をトリビアル（ｔｒｉｖｉａｌ）ＴＴＴ−１（ｔＴＴＴ−１）と指称する。ここで、ｔＴＴＴ−１は、符号化の観点で定義され、復号化の観点ではｔＴＴＴ（ｔｒｉｖｉａｌ Ｔｗｏ Ｔｏ Ｔｈｒｅｅ）に等しい。これらを第１のダウンミックス生成部２０３および第２のダウンミックス生成部２０５を含むダウンミックス生成部２０１に拡張させ、主オーディオオブジェクトＦＧＯが３つ以上入力される場合、出力が２つのインバースｔＴＴＮ−１（Ｉｎｖｅｒｓｅ ｔｒｉｖａｌ Ｔｗｏ Ｔｏ Ｎ）構造を有することができる。ここで、ｔＴＴＮ−１は、符号化の観点で定義され、復号化の観点ではｔＴＴＮ（ｔｒｉｖａｌ Ｔｗｏ Ｔｏ Ｎ）に等しい。
【００５１】
図３は、図２に図示された第１のダウンミックス生成部２０３を詳細に説明するための図である。図３を参照すれば、第１のダウンミックス生成部２０３は、Ｉｎｐｕｔ１、Ｉｎｐｕｔ２、Ｉｎｐｕｔ３の３つの入力信号を受信し、Ｏｕｔｐｕｔ１、Ｏｕｔｐｕｔ２の出力信号を出力する。
【００５２】
第１のダウンミックス生成部３０１は、第１の入力信号Ｉｎｐｕｔ１と第２の入力信号Ｉｎｐｕｔ２とをダウンミックスしたダウンミックス信号である第１の出力信号Ｏｕｔｐｕｔ１を出力し、残余（Ｒｅｓｉｄｕａｌ）信号を生成する。第１のダウンミックス生成部３０１は、第３の入力信号をバイパスしてそのまま第２の出力信号Ｏｕｔｐｕｔ２として出力する。したがって、第１の出力信号Ｏｕｔｐｕｔ１は、第１の入力信号Ｉｎｐｕｔ１と第２の入力信号Ｉｎｐｕｔ２とがダウンミックスされた信号であり、第２の出力信号Ｏｕｔｐｕｔ２は第３の入力信号Ｉｎｐｕｔ３と同一の信号となる。
【００５３】
前述した説明は、本発明による以下の具体的な実施形態に同一に適用することができる。以下では図面を参照して本発明の具体的な実施形態について詳細に説明する。
【００５４】
〈第１の実施形態〉モノ主オーディオオブジェクト及びモノ副オーディオオブジェクト 本発明による第１の実施形態において、主オーディオオブジェクトは、モノ（ｍｏｎｏ）主オーディオオブジェクトを含み、副オーディオオブジェクトは、モノ副オーディオオブジェクトを含む。
【００５５】
本発明の第１の実施形態によるマルチオブジェクトオーディオ符号化方法は、モノ主オーディオオブジェクトとモノ副オーディオオブジェクトをダウンミックスしてダウンミックス信号および残余信号を生成するステップと、ダウンミックス信号および残余信号を含むビットストリームを生成するステップとを含む。ここで、モノ主オーディオオブジェクトは、第１のモノ主オーディオオブジェクトおよび第２のモノ主オーディオオブジェクトを含み、ダウンミックス信号および残余信号を生成するステップは、モノ副オーディオオブジェクトと第１のモノ主オーディオオブジェクトをダウンミックスして第１のダウンミックス信号および第１の残余信号を生成するステップと、第１のダウンミックス信号と第２のモノ主オーディオオブジェクトをダウンミックスして第２のダウンミックス信号および第２の残余信号を生成するステップとを含むことができる。また、ダウンミックス信号および残余信号を生成するステップは、第２のモノ主オーディオオブジェクトをバイパスするステップをさらに含むことができる。
【００５６】
第１の実施形態によるマルチオブジェクトオーディオ符号化装置は、モノ主オーディオオブジェクトとモノ副オーディオオブジェクトをダウンミックスしてダウンミックス信号および残余信号を生成するダウンミックス生成部と、ダウンミックス信号および残余信号を含むビットストリームを生成するビットストリーム生成部とを備える。ここで、モノ主オーディオオブジェクトは、第１のモノ主オーディオオブジェクトおよび第２のモノ主オーディオオブジェクトを含み、ダウンミックス生成部は、モノ副オーディオオブジェクトと第１のモノ主オーディオオブジェクトをダウンミックスして第１のダウンミックス信号および第１の残余信号を生成する第１のダウンミックス生成部と、第１のダウンミックス信号と第２のモノ主オーディオオブジェクトをダウンミックスして第２のダウンミックス信号および第２の残余信号を生成する第２のダウンミックス生成部とを備えることができる。また、第１のダウンミックス生成部は、第２のモノ主オーディオオブジェクトをバイパスすることができる。
【００５７】
第１の実施形態によるマルチオブジェクトオーディオ復号化方法は、モノ主オーディオオブジェクトとモノ副オーディオオブジェクトがダウンミックスされたダウンミックス信号およびダウンミックスによる残余信号を含むビットストリームを受信するステップと、残余信号を利用してダウンミックス信号から前記主オーディオオブジェクトおよび副オーディオオブジェクトを復元するステップとを含む。ここで、モノ主オーディオオブジェクトは、第１のモノ主オーディオオブジェクトおよび第２のモノ主オーディオオブジェクトを含み、残余信号は、第１のモード主オーディオオブジェクトに対する第１の残余信号および第２のモノ主オーディオオブジェクトに対する第２の残余信号を含み、復元するステップは、ダウンミックス信号と第１の残余信号を利用して第１のモノ主オーディオオブジェクトを復元するステップと、第１のモノ主オーディオオブジェクトが復元された後のダウンミックス信号と第２の残余信号を利用して第２のモノ主オーディオオブジェクトを復元するステップとを含むことができる。
【００５８】
第１の実施形態によるマルチオブジェクトオーディオ復号化装置は、モノ主オーディオオブジェクトとモノ副オーディオオブジェクトがダウンミックスされたダウンミックス信号およびダウンミックスによる残余信号を含むビットストリームを受信する受信部と、残余信号を利用してダウンミックス信号から主オーディオオブジェクトおよび副オーディオオブジェクトを復元する復元部とを備える。ここで、モノ主オーディオオブジェクトは、第１のモノ主オーディオオブジェクトおよび第２のモノ主オーディオオブジェクトを含み、残余信号は、第１のモード主オーディオオブジェクトに対する第１の残余信号および第２のモノ主オーディオオブジェクトに対する第２の残余信号を含み、復元部は、ダウンミックス信号と第１の残余信号を利用して第１のモノ主オーディオオブジェクトを復元する第１の復元部と、第１のモノ主オーディオオブジェクトが復元された後のダウンミックス信号と第２の残余信号を利用して第２のモノ主オーディオオブジェクトを復元する第２の復元部とを備えることができる。
【００５９】
図４は、本発明による第１の実施形態を説明するための図である。図４を参照すれば、主オーディオオブジェクトＦＧＯ及び副オーディオオブジェクトＢＧＯは、モノ信号である。モノ主オーディオオブジェクトＭｏｎｏ ＦＧＯ１、Ｍｏｎｏ ＦＧＯ２及びモノ副オーディオオブジェクトＭｏｎｏ ＢＧＯは、ダウンミックス生成部４０１に入力される。
【００６０】
第１のダウンミックス生成部４０３は、モノ副オーディオオブジェクトＭｏｎｏ ＢＧＯ及び第１のモノ主オーディオオブジェクトＭｏｎｏ ＦＧＯ１を受信し、第１のダウンミックス信号と第１の残余（Ｒｅｓｉｄｕａｌ）信号とを生成する。第２のダウンミックス生成部４０５は、第１のダウンミックス信号及び第２のモノ主オーディオオブジェクトＭｏｎｏ ＦＧＯ２を入力し、第２のダウンミックス信号ＤＭＸと第２の残余信号を生成する。
【００６１】
図４では、２つのモノ主オーディオオブジェクトＭｏｎｏ ＦＧＯ１、Ｍｏｎｏ ＦＧＯ２を入力しているが、３つ以上のモノオーディオオブジェクトを入力する場合がることは当業者には自明である。モノ主オーディオオブジェクトが３つ以上入力される場合、増加する主オーディオオブジェクトの数の分だけ、第１のまたは第２のダウンミックス生成部４０３、４０４がカスケード（ｃａｓｃａｄｅ）で連結され増加する。
【００６２】
主オーディオオブジェクトＦＧＯが３つ以上入力される場合、入力が複数Ｎで、出力が１つのインバースＯＴＮ−１（Ｏｎｅ Ｔｏ Ｎ）構造を有することができる。ここで、ＯＴＮ−１は、符号化の観点で定義され、復号化の観点ではＯＴＮ（Ｏｎｅ Ｔｏ Ｎ）に等しい。復号化過程は、前述した符号化過程の逆順に行われる。
【００６３】
〈第２の実施形態〉ステレオ主オーディオオブジェクト及びモノ副オーディオオブジェクト
本発明による第２の実施形態で主オーディオオブジェクトは、ステレオ（ｓｔｅｒｅｏ）主オーディオオブジェクトを含み、副オーディオオブジェクトは、モノ副オーディオオブジェクトを含む。
【００６４】
第２の実施形態によるマルチオブジェクトオーディオ符号化方法は、ステレオ主オーディオオブジェクトとモノ副オーディオオブジェクトをダウンミックスしてダウンミックス信号と残余信号を生成するステップと、ダウンミックス信号と残余信号を含むビットストリームを生成するステップとを含む。ここで、ステレオ主オーディオオブジェクトは、第１の信号および第２の信号を含み、ダウンミックス信号と残余信号を生成するステップは、モノ副オーディオオブジェクトと第１の信号をダウンミックスして第１のダウンミックス信号と第１の残余信号を生成するステップと、第１のダウンミックス信号と前記第２の信号をダウンミックスして第２のダウンミックス信号と第２の残余信号を生成するステップとを含むことができる。また、ダウンミックス信号と残余信号を生成するステップは、第２の信号をバイパスするステップをさらに含むことができる。
【００６５】
第２の実施形態によるマルチオブジェクトオーディオ符号化装置は、ステレオ主オーディオオブジェクトとモノ副オーディオオブジェクトをダウンミックスしてダウンミックス信号と残余信号を生成するダウンミックス生成部と、ダウンミックス信号と残余信号を含むビットストリームを生成するビットストリーム生成部とを備える。ここで、ステレオ主オーディオオブジェクトは、第１の信号および第２の信号を含み、ダウンミックス生成部はモノ副オーディオオブジェクトと第１の信号をダウンミックスして第１のダウンミックス信号と第１の残余信号を生成する第１のダウンミックス生成部と、第１のダウンミックス信号と前記第２の信号をダウンミックスして第２のダウンミックス信号と第２の残余信号を生成する第２のダウンミックス生成部とを備えることができる。また、第１のダウンミックス生成部は、第２の信号をバイパスすることができる。
【００６６】
第２の実施形態によるマルチオブジェクトオーディオ復号化方法は、ステレオ主オーディオオブジェクトとモノ副オーディオオブジェクトがダウンミックスされたダウンミックス信号およびダウンミックスによる残余信号を含むビットストリームを受信するステップと、残余信号を利用してダウンミックス信号からステレオ主オーディオオブジェクトとモノ副オーディオオブジェクトを復元するステップとを含む。ここで、ステレオ主オーディオオブジェクトは、第１の信号および第２の信号を含み、残余信号は、第１の信号に対する第１の残余信号および第２の信号に対する第２の残余信号を含み、復元するステップは、ダウンミックス信号と第１の残余信号を利用して第１の信号を復元するステップと、第１の信号が復元された後のダウンミックス信号と第２の残余信号を利用して第２の信号を復元するステップとを含むことができる。
【００６７】
第２の実施形態によるマルチオブジェクトオーディオ復号化装置は、ステレオ主オーディオオブジェクトとモノ副オーディオオブジェクトがダウンミックスされたダウンミックス信号およびダウンミックスによる残余信号を含むビットストリームを受信する受信部と、残余信号を利用してダウンミックス信号からステレオ主オーディオオブジェクトとモノ副オーディオオブジェクトを復元する復元部とを備える。ここで、ステレオ主オーディオオブジェクトは、第１の信号および第２の信号を含み、残余信号は、第１の信号に対する第１の残余信号および第２の信号に対する第２の残余信号を含み、復元部は、ダウンミックス信号と第１の残余信号を利用して第１の信号を復元する第１の復元部と、第１の信号が復元された後のダウンミックス信号と第２の残余信号を利用して第２の信号を復元する第２の復元部とを備えることができる。
【００６８】
図５は、本発明による第２の実施形態を説明するための図である。図５を参照すれば、ダウンミックス生成部５０１は、モノ副オーディオオブジェクトＭｏｎｏ ＢＧＯ及びステレオ主オーディオオブジェクトＳｔｅｒｅｏ Ｌｅｆｔ、 Ｒｉｇｈｔ ＦＧＯを受信する。ステレオ主オーディオオブジェクトＳｔｅｒｅｏ Ｌｅｆｔ、Ｒｉｇｈｔ ＦＧＯは、左チャネル信号Ｌｅｆｔ ＦＧＯおよび右チャネル信号Ｒｉｇｈｔ ＦＧＯを含む。
【００６９】
第１のダウンミックス生成部５０３は、モノ副オーディオオブジェクトＭｏｎｏ ＢＧＯと左チャネル信号Ｌｅｆｔ ＦＧＯを受信し、第１のダウンミックス信号と第１の残余（Ｒｅｓｉｄｕａｌ）信号を生成する。第２のダウンミックス生成部５０５は、第１のダウンミックス信号と右チャネル信号Ｒｉｇｈｔ ＦＧＯを受信し、第２のダウンミックス信号ＤＭＸと第２の残余信号を生成する。
【００７０】
図５では、１つのステレオ主オーディオオブジェクトＳｔｅｒｅｏ Ｌｅｆｔ、Ｒｉｇｈｔ ＦＧＯが入力されているが、２つ以上のステレオ主オーディオオブジェクトを入力する場合があることは当業者には自明である。ステレオ主オーディオオブジェクトが２つ以上の場合、増加する主オーディオオブジェクトの数の分だけ、第１のまたは第２のダウンミックス生成部５０３、５０５がカスケード（ｃａｓｃａｄｅ）で連結され増加する。一方、復号化過程は前述した符号化過程の逆順に行われる。
【００７１】
〈第３の実施形態〉ステレオ主オーディオオブジェクト及びステレオ副オーディオオブジェクト
本発明による第３の実施形態で主オーディオオブジェクトは、ステレオ（ｓｔｅｒｅｏ）主オーディオオブジェクトを含み、副オーディオオブジェクトは、ステレオ副オーディオオブジェクトを含む。ステレオオーディオオブジェクトは、左チャネルと右チャネル信号を含むことができる。
【００７２】
第３の実施形態によるマルチオブジェクトオーディオ符号化方法は、ステレオ主オーディオオブジェクトとステレオ副オーディオオブジェクトをダウンミックスしてダウンミックス信号および残余信号を生成するステップと、ダウンミックス信号と残余信号を含むビットストリームを生成するステップとを含む。ここで、ステレオ主オーディオオブジェクトとステレオ副オーディオ信号は、各々第１の信号および第２の信号を含み、ダウンミックス信号および残余信号を生成するステップは、ステレオ主オーディオオブジェクトとステレオ副オーディオ信号の第１の信号をダウンミックスして第１のダウンミックス信号および第１の残余信号を生成するステップと、ステレオ主オーディオオブジェクトとステレオ副オーディオ信号の第２の信号をダウンミックスして第２のダウンミックス信号および第２の残余信号を生成するステップとを含むことができる。ここで、ステレオ主オーディオオブジェクトの第１の信号は、第１の左チャネル信号および第２の左チャネル信号を含み、第１のダウンミックス信号および第１の残余信号を生成するステップは、ステレオ副オーディオ信号の第１の信号と第１の左チャネル信号をダウンミックスして第１の左チャネルダウンミックス信号および第１の左チャネル残余信号を生成するステップと、第１の左チャネルダウンミックス信号と第２の左チャネル信号をダウンミックスして第２の左チャネルダウンミックス信号および第２の左チャネル残余信号を生成するステップとを含むことができる。ここで、第１のダウンミックス信号および第１の残余信号を生成するステップは、第２の左チャネル信号をバイパスするステップをさらに含むことができる。
【００７３】
第３の実施形態によるマルチオブジェクトオーディオ符号化装置は、ステレオ主オーディオオブジェクトとステレオ副オーディオオブジェクトをダウンミックスしてダウンミックス信号および残余信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）を生成するダウンミックス生成部と、ダウンミックス信号と残余信号を含むビットストリームを生成するビットストリーム生成部とを備える。ここで、ステレオ主オーディオオブジェクトとステレオ副オーディオ信号は、各々第１の信号および第２の信号を含み、ダウンミックス生成部は、ステレオ主オーディオオブジェクトとステレオ副オーディオ信号の第１の信号をダウンミックスして第１のダウンミックス信号および第１の残余信号を生成する第１のダウンミックス生成部と、ステレオ主オーディオオブジェクトとステレオ副オーディオ信号の第２の信号をダウンミックスして第２のダウンミックス信号および第２の残余信号を生成する第２のダウンミックス生成部とを備えることができる。ここで、ステレオ主オーディオオブジェクトの第１の信号は第１の左チャネル信号および第２の左チャネル信号を含み、第１のダウンミックス生成部はステレオ副オーディオ信号の第１の信号と第１の左チャネル信号をダウンミックスして第１の左チャネルダウンミックス信号および第１の左チャネル残余信号を生成する第１の左チャネルダウンミックス生成部と、第１の左チャネルダウンミックス信号と第２の左チャネル信号をダウンミックスして第２の左チャネルダウンミックス信号および第２の左チャネル残余信号を生成する第２の左チャネルダウンミックス生成部とを備えることができる。ここで、第１のダウンミックス生成部は、第２の左チャネル信号をバイパスするステップをさらに含むことができる。
【００７４】
第３の実施形態によるマルチオブジェクトオーディオ復号化方法は、ステレオ主オーディオオブジェクトとステレオ副オーディオオブジェクトがダウンミックスされたダウンミックス信号およびダウンミックスによる残余信号を含むビットストリームを受信するステップと、残余信号を利用してダウンミックス信号からステレオ主オーディオオブジェクトとステレオ副オーディオオブジェクトを復元するステップとを含む。ここで、ステレオ主オーディオオブジェクトとステレオ副オーディオ信号は、各々第１の信号および第２の信号を含み、残余信号は、第１の信号に対する第１の残余信号および第２の信号に対する第２の残余信号を含み、復元するステップはダウンミックス信号と第１の残余信号を利用して第１の信号を復元するステップと、ダウンミックス信号と第２の残余信号を利用して第２の信号を復元するステップとを含むことができる。また、ステレオ主オーディオオブジェクトの第１の信号は、第１の左チャネル信号および第２の左チャネル信号を含み、第１の残余信号は、第１の左チャネル信号に対する第１の左チャネル残余信号および第２の左チャネル信号に対する第２の左チャネル残余信号を含み、第１の信号を復元するステップはダウンミックス信号と気第１の左チャネル残余信号を利用して第１の左チャネル信号を復元するステップと、第１の左チャネル信号が復元された後のダウンミックス信号と第２の左チャネル信号を利用して第２の左チャネル信号を復元するステップとを含むことができる。
【００７５】
第３の実施形態によるマルチオブジェクトオーディオ復号化装置は、ステレオ主オーディオオブジェクトとステレオ副オーディオオブジェクトがダウンミックスされたダウンミックス信号およびダウンミックスによる残余信号を含むビットストリームを受信する受信部と、残余信号を利用してダウンミックス信号からステレオ主オーディオオブジェクトとステレオ副オーディオオブジェクトを復元する復元部とを備える。ここで、ステレオ主オーディオオブジェクトとステレオ副オーディオ信号は、各々第１の信号および第２の信号を含み、残余信号は、第１の信号に対する第１の残余信号および第２の信号に対する第２の残余信号を含み、復元部は、ダウンミックス信号と第１の残余信号を利用して第１の信号を復元する第１の復元部と、ダウンミックス信号と第２の残余信号を利用して第２の信号を復元する第２の復元部とを備えることができる。また、ステレオ主オーディオオブジェクトの第１の信号は、第１の左チャネル信号および第２の左チャネル信号を含み、第１の残余信号は、第１の左チャネル信号に対する第１の左チャネル残余信号および第２の左チャネル信号に対する第２の左チャネル残余信号を含み、第１の復元部は、ダウンミックス信号と気第１の左チャネル残余信号を利用して第１の左チャネル信号を復元する第１の左チャネル復元部と、第１の左チャネル信号が復元された後のダウンミックス信号と第２の左チャネル信号を利用して第２の左チャネル信号を復元する第２の左チャネル復元部とを備えることができる。
【００７６】
図６は、本発明による第３の実施形態を説明するための図である。図６を参照すれば、主オーディオオブジェクトＳｔｅｒｅｏ Ｌｅｆｔ／Ｒｉｇｈｔ ＦＧＯはステレオ信号で、副オーディオオブジェクトＳｔｅｒｅｏ Ｌｅｆｔ／Ｒｉｇｈｔ ＢＧＯもステレオ信号である。図６を参照して、２つのステレオ主オーディオオブジェクトＳｔｅｒｅｏ Ｌｅｆｔ／Ｒｉｇｈｔ ＦＧＯ１及びＳｔｅｒｅｏ Ｌｅｆｔ／Ｒｉｇｈｔ ＦＧＯ２について説明する。
【００７７】
ダウンミックス生成部６０１は、ステレオ主オーディオオブジェクトＳｔｅｒｅｏ Ｌｅｆｔ／Ｒｉｇｈｔ ＦＧＯ及び２つのステレオ主オーディオオブジェクトＳｔｅｒｅｏ Ｌｅｆｔ／Ｒｉｇｈｔ ＦＧＯ１及びＳｔｅｒｅｏ Ｌｅｆｔ／Ｒｉｇｈｔ ＦＧＯ２を受信する。
【００７８】
第１の左チャネルダウンミックス生成部６０３は、左チャネル副オーディオオブジェクトＬｅｆｔ ＢＧＯと第１の左チャネル主オーディオオブジェクトＬｅｆｔ ＦＧＯ１を受信し、第１の左チャネルダウンミックス信号と第１の左チャネル残余信号Ｌｅｆｔ Ｒｅｓｉｄｕａｌを生成する。第２の左チャネルダウンミックス生成部６０５は、第１の左チャネルダウンミックス信号と第２の左チャネル主オーディオオブジェクトＬｅｆｔ ＦＧＯ２を受信し、第２の左チャネルダウンミックス信号Ｌｅｆｔ ＤＭＸと第２の左チャネル残余信号Ｌｅｆｔ Ｒｅｓｉｄｕａｌを生成する。
【００７９】
右チャネル副オーディオオブジェクトＲｉｇｈｔ ＢＧＯ及び右チャネル主オーディオオブジェクトＲｉｇｈｔ ＦＧＯ１、２も前述した過程によりダウンミックスされる。
【００８０】
図６では、２つのステレオ主オーディオオブジェクトＳｔｅｒｅｏ Ｌｅｆｔ、Ｒｉｇｈｔ ＦＧＯが入力されているが、３つ以上のステレオ主オーディオオブジェクトを入力する場合があることは当業者には自明である。ステレオ主オーディオオブジェクトが３つ以上入力される場合、増加する主オーディオオブジェクトの数の分だけ、第１のまたは第２の左チャネルダウンミックス生成部６０３、６０５がカスケード（ｃａｓｃａｄｅ）で連結され増加する。復号化過程は、前述した符号化過程の逆順に行われる。
【００８１】
図６では、第１の左チャネルダウンミックス生成部６０３は、左チャネル副オーディオオブジェクトＬｅｆｔ ＢＧＯ、第１の左チャネル主オーディオオブジェクトＬｅｆｔ ＦＧＯ１および第２の左チャネル主オーディオオブジェクトＬｅｆｔ ＦＧＯ２を受信する。第１の左チャネルダウンミックス生成部６０３は、第２の左チャネル主オーディオオブジェクトＬｅｆｔ ＦＧＯ２をバイパスする。すなわち、第１の左チャネルダウンミックス生成部は、３つの入力及び２つの出力を有するインバースＴＴＴ−１（Ｔｗｏ Ｔｏ Ｔｈｒｅｅ）を有する。このような構造を、ｔＴＴＴ−１（ｔｒｉｖｉａｌ ＴＴＴ−１）と指称するのは前述した通りである。また、左チャネル信号と右チャネル信号を含むステレオ主オーディオオブジェクトを３つ以上入力する場合、３個以上の入力及び２つの出力を有するインバースｔＴＴＮ−１（ｔｒｉｖａｌ Ｔｗｏ Ｔｏ Ｎ）を有する。ここで、ｔＴＴＮ−１は、符号化の観点で定義したものであり、復号化の観点ではｔＴＴＮ（ｔｒｉｖａｌ Ｔｗｏ Ｔｏ Ｎ）に等しい。
【００８２】
〈第４の実施形態〉ステレオ主オーディオオブジェクト及びモノ副オーディオオブジェクト
本発明による第４の実施形態で、主オーディオオブジェクトは、ステレオ（ｓｔｅｒｅｏ）主オーディオオブジェクトを含み、副オーディオオブジェクトは、モノ（ｍｏｎｏ）副オーディオオブジェクトを含む。ステレオオーディオオブジェクトは、左チャネルと右チャネル信号を含むことができる。第４の実施形態は、ダウンミックスされた出力信号がステレオの点で前述した第２の実施形態と区別される。
【００８３】
第４の実施形態によるマルチオブジェクトオーディオ符号化方法は、ステレオ主オーディオオブジェクトとモノ副オーディオオブジェクトをダウンミックスしてダウンミックス信号および残余信号を生成するステップと、ダウンミックス信号および残余信号を含むビットストリームを生成するステップとを含み、ステレオ主オーディオオブジェクトは、第１の、２左チャネル信号および第１の、２右チャネル信号を含み、ダウンミックス信号および残余信号を生成するステップは、モノ副オーディオオブジェクトと第１の左チャネル信号および第１の右チャネル信号を各々ダウンミックスして第１の左チャネルダウンミックス信号、第１の右チャネルダウンミックス信号および第１の残余信号を生成するステップと、第１の左チャネルダウンミックス信号および第１の右チャネルダウンミックス信号と第２の左チャネル信号および第２の右チャネル信号を各々ダウンミックスして第２の左チャネルダウンミックス信号、第２の右チャネルダウンミックス信号および第２の残余信号を生成するステップとを含むことができる。ここで、ダウンミックス信号および残余信号を生成するステップは、第２の左チャネル信号および第２の右チャネル信号をバイパスするステップをさらに含むことができる。
【００８４】
第４の実施形態によるマルチオブジェクトオーディオ符号化装置は、ステレオ主オーディオオブジェクトとモノ副オーディオオブジェクトをダウンミックスしてダウンミックス信号および残余信号を生成するダウンミックス生成部と、ダウンミックス信号および残余信号を含むビットストリームを生成するビットストリーム生成部とを備え、ステレオ主オーディオオブジェクトは第１の、２左チャネル信号および第１の、２右チャネル信号を含み、ダウンミックス生成部は、モノ副オーディオオブジェクトと第１の左チャネル信号および第１の右チャネル信号を各々ダウンミックスして第１の左チャネルダウンミックス信号、第１の右チャネルダウンミックス信号および第１の残余信号を生成する第１の左チャネルダウンミックス生成部と、第１の左チャネルダウンミックス信号および第１の右チャネルダウンミックス信号と第２の左チャネル信号および第２の右チャネル信号を各々ダウンミックスして第２の左チャネルダウンミックス信号、第２の右チャネルダウンミックス信号および第２の残余信号を生成する第２の左チャネルダウンミックス生成部とを備えることができる。ここで、ダウンミックス生成部は第２の左チャネル信号および第２の右チャネル信号をバイパスするステップをさらに含むことができる。
【００８５】
第４の実施形態によるマルチオブジェクトオーディオ復号化方法は、ステレオ主オーディオオブジェクトとモノ副オーディオオブジェクトがダウンミックスされたダウンミックス信号およびダウンミックスによる残余信号を含むビットストリームを受信するステップと、残余信号を利用してダウンミックス信号からステレオ主オーディオオブジェクトとモノ副オーディオオブジェクトを復元するステップとを含み、ステレオ主オーディオオブジェクトは、第１の、２左チャネル信号および第１の、２右チャネル信号を含み、残余信号は、第１の左チャネルおよび右チャネル信号に対する第１の残余信号と、第２の左チャネルおよび右チャネル信号に対する第２の残余信号とを含み、復元するステップはダウンミックス信号と第１の残余信号を利用して第１の左チャネルおよび右チャネル信号を復元するステップと、第１の左チャネルおよび右チャネル信号が復元された後のダウンミックス信号と第２の残余信号を利用して第２の左チャネルおよび右チャネル信号を復元するステップとを含むことができる。
【００８６】
第４の実施形態によるマルチオブジェクトオーディオ復号化装置は、ステレオ主オーディオオブジェクトとモノ副オーディオオブジェクトがダウンミックスされたダウンミックス信号およびダウンミックスによる残余信号を含むビットストリームを受信する受信部と、残余信号を利用してダウンミックス信号からステレオ主オーディオオブジェクトとモノ副オーディオオブジェクトを復元する復元部とを備え、ステレオ主オーディオオブジェクトは、第１の、２左チャネル信号および第１の、２右チャネル信号を含み、残余信号は、第１の左チャネルおよび右チャネル信号に対する第１の残余信号と、第２の左チャネルおよび右チャネル信号に対する第２の残余信号を含み、復元部は、ダウンミックス信号と第１の残余信号を利用して第１の左チャネルおよび右チャネル信号を復元する第１の復元部と、第１の左チャネルおよび右チャネル信号が復元された後のダウンミックス信号と第２の残余信号を利用して第２の左チャネルおよび右チャネル信号を復元する第２の復元部とを備えることができる。
【００８７】
図７は、本発明による第４の実施形態を説明するための図である。図７を参照すれば、主オーディオオブジェクトは、ステレオで、副オーディオオブジェクトは、モノである。ステレオオーディオオブジェクトは、左チャネル信号と右チャネル信号を含むことができる。ダウンミックス生成部７０１は、モノ副オーディオオブジェクトＭｏｎｏ ＢＧＯとステレオ主オーディオオブジェクトＦＧＯ１、２ Ｌｅｆｔ／Ｒｉｇｈｔを受信する。
【００８８】
第１のダウンミックス生成部７０２は、モノ副オーディオオブジェクトＭｏｎｏ ＢＧＯと第１のステレオ主オーディオオブジェクトＦＧＯ１ Ｌｅｆｔ及びＦＧＯ２ Ｒｉｇｈｔを受信して各々ダウンミックスし、第１のダウンミックス信号および第１の残余（Ｒｅｓｉｄｕａｌ）信号を生成する。第１のダウンミックス信号は、第１の左チャネルダウンミックス信号および第２の右チャネルダウンミックス信号を含むことができる。第２のダウンミックス信号と第２の残余信号は、第１のダウンミックス信号と第２のステレオ主オーディオオブジェクトＦＧＯ２ Ｌｅｆｔ及びＦＧＯ２ Ｒｉｇｈｔとをダウンミックスすることにより生成される。第２のダウンミックス信号は、第２の左チャネルダウンミックス信号Ｌｅｆｔ ＤＭＸ および第２の右チャネルダウンミックス信号Ｒｉｇｈｔ ＤＭＸを含むことができる。第２の左チャネルダウンミックス生成部７０３ａは、第１の左チャネルダウンミックス信号と第２のステレオ左チャネル主オーディオオブジェクトＦＧＯ２ Ｌｅｆｔとをダウンミックスすることにより第２の左チャネルダウンミックス信号Ｌｅｆｔ ＤＭＸを生成する。第２の右チャネルダウンミックス生成部７０３ｂは、第１の右チャネルダウンミックス信号と第２のステレオ右チャネル主オーディオオブジェクトＦＧＯ２ Ｒｉｇｈｔとをダウンミックスすることより第２の右チャネルダウンミックス信号Ｒｉｇｈｔ ＤＭＸを生成する。
【００８９】
図８は、本発明による復号化を説明するための図である。残余信号とダウンミックス信号を含むビットストリームを受信してダウンミックス信号を復元する。ダウンミックス信号は、左チャネルダウンミックス信号Ｌｅｆｔ ＤＭＸと右チャネルダウンミックス信号Ｒｉｇｈｔ ＤＭＸを含むステレオダウンミックス信号を含むことができる。
【００９０】
モノ主オーディオオブジェクト復元部８０４は、ステレオダウンミックス信号Ｌｅｆｔ ＤＭＸ、Ｒｉｇｈｔ ＤＭＸと残余信号Ｒｅｓｉｄｕａｌを利用してモノ主オーディオオブジェクトＭｏｎｏ ＦＧＯｓを復元する。モノ主オーディオオブジェクト復元部８０４は、それぞれのモノ主オーディオオブジェクトを復元するために第１のモノ主オーディオオブジェクト復元部８０２、第２のモノ主オーディオオブジェクト復元部８０３を含む。ここで、第１のモノ主オーディオオブジェクト復元部８０２と第２のモノ主オーディオオブジェクト復元部８０３は、ＴＴＴ構造を有し、モノ主オーディオオブジェクト復元部８０４は、ＴＴＮ構造を有する。
【００９１】
ステレオ主オーディオオブジェクト復元部８０６は、ステレオダウンミックス信号Ｌｅｆｔ ＤＭＸ、Ｒｉｇｈｔ ＤＭＸと残余信号Ｒｅｓｉｄｕａｌを利用してステレオ主オーディオオブジェクトＳｔｅｒｅｏ Ｌｅｆｔ、Ｒｉｇｈｔ ＦＧＯｓを復元する。ステレオ主オーディオオブジェクトＳｔｅｒｅｏ Ｌｅｆｔ／Ｒｉｇｈｔ ＦＧＯｓは、左チャネル信号Ｌｅｆｔ ＦＧＯｓと右チャネル信号Ｒｉｇｈｔ ＦＧＯｓを含む。最終的には、ステレオ副オーディオオブジェクトＬｅｆｔ ＢＧＯ、Ｒｉｇｈｔ ＢＧＯを出力する。ステレオ主オーディオオブジェクト復元部８０６は、複数のオブジェクト復元部８０５ａ、８０５ｂ、．．．、８０６ａ、８０６ｂ、８０７ａ、８０７ｂを含む。複数のオブジェクト復元部８０５ａ、８０５ｂ、．．．、８０６ａ、８０６ｂ、８０７ａ、８０７ｂは、ＯＴＴ構造を有し、ステレオ主オーディオオブジェクト復元部８０６は、ＯＴＮ構造を有する。
【００９２】
図８は、副オーディオオブジェクトがステレオで、主オーディオオブジェクトがモノまたはステレオの場合の復号化について示されている。副オーディオオブジェクトがモノで、主オーディオオブジェクトがモノの場合には左チャネルダウンミックス信号Ｌｅｆｔ ＤＭＸと残余信号Ｒｅｓｉｄｕａｌを利用してモノ副オーディオオブジェクトとモノ主オーディオオブジェクトに復元される。一方、副オーディオオブジェクトがモノで、主オーディオオブジェクトがステレオの場合は、ステレオ主オーディオオブジェクト復元部８０６により復元されうる。したがって、図８に示されたことにより容易に類推することができるため、詳しい説明は省略する。
【００９３】
以下では本発明の例示的な実施形態について説明する。
【００９４】
図９は、本発明の例示的な実施形態を説明するための図である。図９を参照すれば、ＭＢＯ（Ｍｕｌｔｉｃｈａｎｎｅｌ Ｂａｃｋｇｒｏｕｎｄ−ｓｃｅｎｅ Ｏｂｊｅｃｔ）は、複数のチャネルＣｈａｎｎｅｌ １、Ｃｈａｎｎｅｌ ２、．．．、Ｃｈａｎｎｅｌ ｎを含む。ＭＰＳエンコーダ９０１（ＭＰＥＧ Ｓｕｒｒｏｕｎｄ ｅｎｃｏｄｅｒ）は、ＭＢＯを符号化してステレオダウンミックス信号ＭＢＯ Ｌｅｆｔ、ＭＢＯ Ｒｉｇｈｔと付加情報（ｓｉｄｅ ｉｎｆｏｒｍａｔｉｏｎ）のＭＰＳビットストリームを出力する。ここで、ステレオダウンミックス信号ＭＢＯ Ｌｅｆｔ、ＭＢＯ Ｒｉｇｈｔは、副オーディオオブジェクトに該当する。
【００９５】
ステレオダウンミックス信号ＭＢＯ Ｌｅｆｔ、ＭＢＯ Ｒｉｇｈｔ、ステレオ主オーディオオブジェクトＳｔｅｒｅｏ ＦＧＯ及びモノ主オーディオオブジェクトＭｏｎｏ ＦＧＯは、ＳＡＯＣエンコーダ（Ｓｐａｔｉａｌ Ａｕｄｉｏ Ｏｂｊｅｃｔ Ｃｏｄｉｎｇ ｅｎｃｏｄｅｒ）に入力される。ステレオ主オーディオオブジェクトＳｔｅｒｅｏ ＦＧＯとモノ主オーディオオブジェクトＭｏｎｏ ＦＧＯは、主オーディオオブジェクトに該当する。ステレオ主オーディオオブジェクトＳｔｅｒｅｏ ＦＧＯは、複数のステレオオブジェクトｏｂｊｅｃｔ １、ｏｂｊｅｃｔ ２、．．．、ｏｂｊｅｃｔ Ｎを含むことができ、モノ主オーディオオブジェクトＭｏｎｏ ＦＧＯは、複数のモノオブジェクトｏｂｊｅｃｔ １、ｏｂｊｅｃｔ ２、．．．、ｏｂｊｅｃｔ Ｍを含むことができる。
【００９６】
第１のダウンミックス生成部９０３は、ステレオダウンミックス信号ＭＢＯ Ｌｅｆｔ、ＭＢＯ Ｒｉｇｈｔとステレオ主オーディオオブジェクトＳｔｅｒｅｏ ＦＧＯをダウンミックスしてステレオダウンミックス信号Ｌｅｆｔ及びＲｉｇｈｔと残余信号を生成する。ここで、第１のダウンミックス生成部９０３は、ステレオ主オーディオオブジェクトとステレオ副オーディオオブジェクトをダウンミックスするものであって、図５で説明したステレオダウンミックス生成部５０５に該当する。
【００９７】
第２のダウンミックス生成部９０４は、ステレオダウンミックス信号Ｌｅｆｔ、Ｒｉｇｈｔとモノ主オーディオオブジェクトＭｏｎｏ ＦＧＯをダウンミックスして最終ダウンミックス信号Ｌｅｆｔ ＤＭＸ、Ｒｉｇｈｔ ＤＭＸと残余信号を生成する。ここで、第２のダウンミックス生成部９０４は、図４で説明したダウンミックス生成部４０１に該当する。
【００９８】
ＳＡＯＣエンコーダ９０２は、ＳＡＯＣビットストリームを抽出される。符号化過程で生成されたＭＰＳビットストリーム、ＳＡＯＣビットストリーム、残余信号および最終ダウンミックス信号Ｌｅｆｔ ＤＭＸ、Ｒｉｇｈｔ ＤＭＸは、ビットストリームで復号化機に伝送される。
【００９９】
復号化の過程は符号化過程の逆過程であるため詳細な説明は省略する。簡単に説明すれば、復号化機ではＭＰＳビットストリーム、ＳＡＯＣビットストリーム、残余信号および最終ダウンミックス信号Ｌｅｆｔ ＤＭＸ、Ｒｉｇｈｔ ＤＭＸを受信する。ＳＡＯＣデコーダでは、残余信号と最終ダウンミックス信号Ｌｅｆｔ ＤＭＸ、Ｒｉｇｈｔ ＤＭＸを利用して主オーディオオブジェクトを復元する。ＭＰＳデコーダは、主オーディオオブジェクトが復元された最終ダウンミックス信号Ｌｅｆｔ ＤＭＸ、Ｒｉｇｈｔ ＤＭＸとＭＰＳビットストリームを受信し、ＭＰＳビットストリームを利用して副オーディオオブジェクトのマルチチャネル信号を復元する。
【０１００】
次は残余信号を生成する実施形態に対して説明する。
【０１０１】
復号化過程でダウンミックス信号と残余信号を利用して復元された左チャネル信号と右チャネル信号を生成する過程は、下記の数２によって説明されることができる。
【０１０２】
【数１】
【０１０３】
ここで、左側の行列では、復元された左チャネル信号および右チャネル信号を意味し、右側の行列では、Ｍはパラメータ行列であり、ｍはダウンミックスされた信号であり、ｒｅｓは残余信号を意味する。
【０１０４】
Ｍ行列が逆行列を有するならば、符号化の過程でダウンミックスされた信号ｍと残余信号ｒｅｓは下記の数３と数４とによって得ることができる。
【０１０５】
【数２】
【０１０６】
【数３】
【０１０７】
上述したような本発明の方法は、プログラムで具現されてコンピュータで読み取り可能な形態で記録媒体（ＣＤ−ＲＯＭ、ＲＡＭ、ＲＯＭ、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスクなど）に保存されうる。このような過程は本発明が属する技術分野で通常の知識を有する者が容易に実施することができるため、これ以上詳細に説明しない。
【０１０８】
以上で説明した本発明は、本発明が属する技術分野で通常の知識を有する者にあって本発明の技術的思想に外れない範囲内で色々な置換、変形および変更が可能なため、前述した実施形態および添付された図面によって限定されるものではない。
【産業上の利用可能性】
【０１０９】
本発明は、オーディオオブジェクトを符号化して、復号化することに使用される。
【技術分野】
【０００１】
本発明は、オーディオ符号化および復号化方法とその装置に関するもので、より詳細には、マルチオブジェクトオーディオ符号化および復号化方法とその装置に関するものである。
【０００２】
本発明は、情報通信部および情報通信研究振興院の情報通信標準開発支援の一環として行われた研究から導出されたものである。［課題管理番号：２００７−Ｓ−００４−０１、課題名：眼鏡なし個人型３Ｄ放送技術開発（Ｄｅｖｅｌｏｐｍｅｎｔ ｏｆ Ｇｌａｓｓｌｅｓｓ Ｓｉｎｇｌｅ−Ｕｓｅｒ ３Ｄ Ｂｒｏａｄｃａｓｔｉｎｇ Ｔｅｃｈｎｏｌｏｇｉｅｓ）］
【背景技術】
【０００３】
空間キューを基盤とした空間オーディオ符号化（ＳＡＣ：Ｓｐａｔｉａｌ Ａｕｄｉｏ ｃｏｄｉｎｇ）方法は、関連した従来技術に係るオーディオ信号を圧縮及び復元する方法として導入された。ＳＡＣは、マルチチャネルオーディオ符号化のために発展した技術であった。
【０００４】
一般に、従来のオーディオ技術は、ユーザが受動的にオーディオコンテンツを聴くことのみを可能にする機能的制約を有する。それ故に、従来のオーディオ技術は、様々なオーディオサービスをユーザに提供することができなかった。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の実施形態は、多様なオーディオサービスを効率的に提供する符号化および復号化方法ならびにその装置を提供することを目的とする。
【０００６】
本発明の他の目的および長所は、下記の説明によって理解可能であり、本発明の実施形態によって分明に知り得るものである。また、本発明の目的および長所は、特許請求の範囲に示した手段およびその組合せによって実現される可能性があることを容易に知ることができるであろう。
【課題を解決するための手段】
【０００７】
本発明の態様によると、主オーディオオブジェクトと副オーディオオブジェクトをダウンミックスしてダウンミックス信号および残余信号を生成するステップと、ダウンミックス信号および残余信号を含むビットストリームを生成するステップとを含むマルチオブジェクトオーディオ符号化方法が提供される。
【０００８】
本発明の他の態様によると、マルチオブジェクトオーディオ符号化方法は、モノ主オーディオオブジェクトとモノ副オーディオオブジェクトをダウンミックスしてダウンミックス信号および残余信号を生成するステップと、ダウンミックス信号および残余信号を含むビットストリームを生成するステップとを含むマルチオブジェクトオーディオ符号化方法が提供される。
【０００９】
本発明の他の態様によると、ステレオ主オーディオオブジェクトとモノ副オーディオオブジェクトをダウンミックスしてダウンミックス信号と残余信号を生成するステップと、ダウンミックス信号と残余信号を含むビットストリームを生成するステップとを含むマルチオブジェクトオーディオ符号化方法が提供される。
【００１０】
本発明の他の態様によると、ステレオ主オーディオオブジェクトとステレオ副オーディオオブジェクトをダウンミックスしてダウンミックス信号および残余信号を生成するステップと、ダウンミックス信号と残余信号を含むビットストリームを生成するステップとを含むマルチオブジェクトオーディオ符号化方法が提供される。
【００１１】
本発明の他の態様によると、主オーディオオブジェクトと副オーディオオブジェクトがダウンミックスされたダウンミックス信号およびダウンミックスによる残余信号を含むビットストリームを受信するステップと、残余信号を利用してダウンミックス信号から主オーディオオブジェクトと副オーディオオブジェクトを復元するステップとを含むマルチオブジェクトオーディオ符号化方法が提供される。
【００１２】
本発明の他の態様によると、モノ主オーディオオブジェクトとモノ副オーディオオブジェクトがダウンミックスされたダウンミックス信号およびダウンミックスによる残余信号を含むビットストリームを受信するステップと、残余信号を利用してダウンミックス信号から主オーディオオブジェクトおよび副オーディオオブジェクトを復元するステップとを含むマルチオブジェクトオーディオ符号化方法が提供される。
【００１３】
本発明の他の態様によると、ステレオ主オーディオオブジェクトとモノ副オーディオオブジェクトがダウンミックスされたダウンミックス信号およびダウンミックスによる残余信号を含むビットストリームを受信するステップと、残余信号を利用してダウンミックス信号からステレオ主オーディオオブジェクトとモノ副オーディオオブジェクトを復元するステップとを含むマルチオブジェクトオーディオ符号化方法が提供される。
【００１４】
本発明の他の態様によると、ステレオ主オーディオオブジェクトとステレオ副オーディオオブジェクトがダウンミックスされたダウンミックス信号およびダウンミックスによる残余信号を含むビットストリームを受信するステップと、残余信号を利用してダウンミックス信号からステレオ主オーディオオブジェクトとステレオ副オーディオオブジェクトを復元するステップとを含むマルチオブジェクトオーディオ符号化方法が提供される。
【００１５】
本発明の他の態様によると、主オーディオオブジェクトと副オーディオオブジェクトをダウンミックスしてダウンミックス信号および残余信号を生成するダウンミックス生成部と、ダウンミックス信号および残余信号を含むビットストリームを生成するビットストリーム生成部とを備えるマルチオブジェクトオーディオ符号化装置が提供される。
【００１６】
本発明の他の態様によると、モノ主オーディオオブジェクトとモノ副オーディオオブジェクトをダウンミックスしてダウンミックス信号および残余信号を生成するダウンミックス生成部と、ダウンミックス信号および残余信号を含むビットストリームを生成するビットストリーム生成部とを備えるマルチオブジェクトオーディオ符号化装置が提供される。
【００１７】
本発明の他の態様によると、ステレオ主オーディオオブジェクトとモノ副オーディオオブジェクトをダウンミックスしてダウンミックス信号と残余信号を生成するダウンミックス生成部と、ダウンミックス信号と残余信号を含むビットストリームを生成するビットストリーム生成部とを備えるマルチオブジェクトオーディオ符号化装置が提供される。
【００１８】
本発明の他の態様によると、ステレオ主オーディオオブジェクトとステレオ副オーディオオブジェクトをダウンミックスしてダウンミックス信号および残余信号を生成するダウンミックス生成部と、ダウンミックス信号と残余信号を含むビットストリームを生成するビットストリーム生成部とを備えるマルチオブジェクトオーディオ符号化装置が提供される。
【００１９】
本発明の他の態様によると、主オーディオオブジェクトと副オーディオオブジェクトがダウンミックスされたダウンミックス信号およびダウンミックスによる残余信号を含むビットストリームを受信する受信部と、残余信号を利用してダウンミックス信号から主オーディオオブジェクトと副オーディオオブジェクトを復元する復元部とを備えるマルチオブジェクトオーディオ符号化装置が提供される。
【００２０】
本発明の他の態様によると、モノ主オーディオオブジェクトとモノ副オーディオオブジェクトがダウンミックスされたダウンミックス信号およびダウンミックスによる残余信号を含むビットストリームを受信する受信部と、残余信号を利用してダウンミックス信号から主オーディオオブジェクトおよび副オーディオオブジェクトを復元する復元部とを備えるマルチオブジェクトオーディオ符号化装置が提供される。
【００２１】
本発明の他の態様によると、ステレオ主オーディオオブジェクトとモノ副オーディオオブジェクトがダウンミックスされたダウンミックス信号およびダウンミックスによる残余信号を含むビットストリームを受信する受信部と、残余信号を利用してダウンミックス信号からステレオ主オーディオオブジェクトとモノ副オーディオオブジェクトを復元する復元部とを備えるマルチオブジェクトオーディオ符号化装置が提供される。
【００２２】
本発明の他の態様によると、ステレオ主オーディオオブジェクトとステレオ副オーディオオブジェクトがダウンミックスされたダウンミックス信号およびダウンミックスによる残余信号を含むビットストリームを受信する受信部と、残余信号を利用してダウンミックス信号からステレオ主オーディオオブジェクトとステレオ副オーディオオブジェクトを復元する復元部とを備えるマルチオブジェクトオーディオ符号化装置が提供される。
【００２３】
上述した目的、特徴および長所は添付された図面と関連した次の詳細な説明によって、より明確になるものであり、それに応じて本発明が属する技術分野で通常の知識を有する者が本発明の技術的思想を容易に実施できるであろう。また、本発明を説明するにおいて本発明と関連した公知技術に対する具体的な説明が本発明の要旨を不必要にぼかし得ると判断される場合にその詳細な説明を省略するものとする。以下、添付した図面を参照し本発明による好ましい実施形態を詳細に説明する。
【発明の効果】
【００２４】
本発明に係る符号化及び復号化方法及び装置は、多様なオーディオサービスを効率的に提供することができる。
【図面の簡単な説明】
【００２５】
【図１】本発明の第１の概念を説明するための図である。
【図２】本発明の第２の概念を説明するための図である。
【図３】図２に示された第１のダウンミックス生成部２０３を詳細に説明するための図である。
【図４】本発明による第１の実施形態を説明するための図である。
【図５】本発明による第２の実施形態を説明するための図である。
【図６】本発明による第３の実施形態を説明するための図である。
【図７】本発明による第４の実施形態を説明するための図である。
【図８】本発明による復号化を説明するための図である。
【図９】本発明の具体的な実施形態を説明するための図である。
【発明を実施するための形態】
【００２６】
以下の説明は、単に本発明の原理を例示する。当業者は、たとえ本明細書に明確に説明されたり示されていなくとも、本発明の原理を具現して本発明の概念と範囲に含まれた多様な装置を発明できるものである。また、本明細書に列挙されたすべての条件付き用語および実施形態は原則的に、本発明の概念が理解されるようにするための目的にのみ明確に意図され、このように特別に列挙された実施形態および形態に制限的でないものと理解されなければならない。
【００２７】
また、本発明の原理、観点および実施形態だけでなく特定実施形態を列挙するすべての詳細な説明は、このような事項の構造的および機能的均等物を含むように意図されたものと理解されなければならない。またこのような均等物は現在公知された均等物だけでなく将来に開発される均等物すなわち構造と関係がなく同一の機能を遂行するように発明されたすべての素子を含むものと理解されなければならない。
【００２８】
したがって、例えば、本明細書のブロック図は本発明の原理を具体化する例示的な回路の概念的な観点を示すものと理解されなければならない。これと類似して、すべてのフローチャート、状態変換図、疑似コードなどはコンピュータが判読可能な媒体に実質的に示すことができコンピュータまたはプロセッサが明確に示されたのかの可否を問わず、コンピュータまたはプロセッサによって行われる多様なプロセスを示すものと理解されなければならない。
【００２９】
プロセッサまたはこれと類似の概念と表示された機能ブロックを含む図に示された多様な素子の機能は、専用ハードウェアだけでなく適切なソフトウェアと関連してソフトウェアを実行する能力を有するハードウェアの使用で提供可能である。プロセッサによって提供される時、前記機能は単一専用プロセッサ、単一共有プロセッサまたは複数の個別的プロセッサによって提供可能であり、これらのうち一部は共有可能である。
【００３０】
またプロセッサ、制御またはこれと類似の概念で提示される用語の明確な使用はソフトウェアを実行する能力を有するハードウェアを排他的に引用して解釈してはならず、制限なしでデジタル信号プロセッサ（ＤＳＰ）ハードウェア、ソフトウェアを保存するためのＲＯＭ、ＲＡＭおよび非揮発性メモリを暗示的に含むものと理解されなければならない。周知慣用の他のハードウェアも含むことができる。
【００３１】
本明細書の請求の範囲で、詳細な説明に記載された機能を遂行するための手段と表現された構成要素は、例えば前記機能を遂行する回路素子の組合せまたはファームウェア／マイクロコードなどを含むすべての形式のソフトウェアを含む機能を遂行するすべての方法を含むものと意図され、前記機能を遂行するように前記ソフトウェアを実行するための適切な回路と結合される。このような請求の範囲によって定義される本発明は多様に列挙された手段によって提供される機能が結合して請求項が要求する方式と結合されるため前記機能を提供可能ないかなる手段も本明細書から把握されるものと均等なものに理解されなければならない。
【００３２】
上述した目的、特徴および長所は添付された図面と関連した後の詳細な説明によってより明確になるものであり、それに応じて本発明が属する技術分野で通常の知識を有する者が本発明の技術的思想を容易に実施できるだろう。また、本発明を説明するにおいて本発明と関連した公知技術に対する具体的な説明が本発明の要旨を不必要にぼかし得ると判断される場合にその詳細な説明を省略するものとする。以下、添付された図面を参照して本発明による好ましい実施形態を詳細に説明する。
【００３３】
本発明は、マルチオブジェクトオーディオの符号化及び復号化技術に関するものである。マルチオブジェクトオーディオは、オーディオコンテンツを構成する複数個のオーディオオブジェクトを含むことができる。例えば、伴奏またはバックミュージックとボーカルで構成されるオーディオコンテンツにおいて、伴奏またはバックミュージックが１つのオーディオオブジェクトであり、ボーカルがまた他のオーディオオブジェクトの場合がこれに該当しうる。伴奏またはバックミュージックは、ピアノ、ドラム、その他のように、それぞれの楽器によるオーディオオブジェクトに細分化することができる。マルチオブジェクトオーディオ符号化はこのような相異したオーディオオブジェクトらを圧縮する技術であり、マルチオブジェクトオーディオ復号化は符号化されたマルチオブジェクトオーディオを復号化する技術である。したがって、複数のオーディオオブジェクトをオブジェクト別にオーディオ符号化または復号化することになれば、ユーザにより能動的なサービスを提供できることになる。すなわち、ユーザの要請により各オーディオオブジェクトを制御できるだけでなく１つのオーディオコンテンツを構成する複数のオーディオオブジェクトを組み合わせることによって多様なオーディオサービスおよびコンテンツ創出が可能になる。
【００３４】
本発明では、マルチオブジェクトオーディオの符号化と復号化のために残余信号を利用することができる。ここで、残余信号とは、任意の信号に対して予測前と予測後の信号差を意味する。これは下記の数１のように定義されうる。
Ｘ（ｔ）−Ｘ’（ｔ）＝Ｘｒｅｓｉｄｕａｌ（ｔ） 数１
ここで、Ｘ（ｔ）は、予測前の原信号であり、Ｘ’（ｔ）は、予測後の予測信号であり、Ｘｒｅｓｉｄｕａｌ（ｔ）は、原信号と予測信号の差を意味する。
【００３５】
残余信号を利用したマルチオブジェクトオーディオの符号化は、以下に説明されることになる。例えば、第１のオーディオオブジェクト及び第２のオーディオオブジェクトを含むマルチオブジェクトオーディオの場合、第１のオーディオオブジェクトと第２のオーディオオブジェクトとをダウンミックスしてダウンミックス信号を生成する。第１のオーディオオブジェクト及び第２のオーディオオブジェクトは、第１の予測オーディオオブジェクトと第２の予測オーディオオブジェクトで予測可能である。ここで、第１のオーディオオブジェクト及び第２のオーディオオブジェクトは原信号であり、第１の予測オーディオオブジェクト及び第２の予測オーディオオブジェクトは予測信号である。原信号及び予測信号を利用して残余信号を生成することができる。したがって、本発明の例示的な実施形態に係る第１のオーディオオブジェクトと第２のオーディオオブジェクトとをダウンミックスして、ダウンミックス信号及び残余信号を生成することができる。本発明の例示的な実施形態に係るマルチオブジェクトオーディオ復号化では、符号化と反対の過程が行われる。すなわち、ダウンミックス信号と残余信号を利用して第１のオーディオオブジェクトと第２のオーディオオブジェクトを復元することになる。
【００３６】
本発明の実施形態によるマルチオブジェクトオーディオ符号化方法は、主オーディオオブジェクトと副オーディオオブジェクトとをダウンミックスしてダウンミックス信号および残余信号を生成するステップと、ダウンミックス信号および残余信号を含むビットストリームを生成するステップとを含む。ここで、主オーディオオブジェクトは、第１の主オーディオオブジェクトおよび第２の主オーディオオブジェクトを含み、ダウンミックス信号と残余信号とを生成するステップは、副オーディオオブジェクトと第１の主オーディオオブジェクトとをダウンミックスして第１のダウンミックス信号および第１の残余信号を生成するステップと、第１のダウンミックス信号と第２の主オーディオオブジェクトとをダウンミックスして第２のダウンミックス信号および第２の残余信号を生成するステップとを含むことができる。ここで、ダウンミックス信号および残余信号を生成するステップは、第２の主オーディオオブジェクトをバイパスするステップをさらに含むことができる。
【００３７】
本発明によるオーディオ符号化装置は、主オーディオオブジェクトと副オーディオオブジェクトをダウンミックスしてダウンミックス信号および残余信号を生成するダウンミックス生成部と、ダウンミックス信号および残余信号を含むビットストリームを生成するビットストリーム生成部とを備える。ここで、主オーディオオブジェクトは、第１の主オーディオオブジェクトおよび第２の主オーディオオブジェクトを含み、ダウンミックス信号と残余信号を生成するステップは、副オーディオオブジェクトと第１の主オーディオオブジェクトをダウンミックスして第１のダウンミックス信号および第１の残余信号を生成する第１のダウンミックス生成部と、第１のダウンミックス信号と第２の主オーディオオブジェクトをダウンミックスして第２のダウンミックス信号および第２の残余信号を生成する第２のダウンミックス生成部とを備えることができる。ここで、第１のダウンミックス生成部は、第２の主オーディオオブジェクトをバイパスすることができる。
【００３８】
本発明によるマルチオブジェクトオーディオ復号化方法は、主オーディオオブジェクトと副オーディオオブジェクトがダウンミックスされたダウンミックス信号およびダウンミックスによる残余信号を含むビットストリームを受信するステップと、残余信号を利用してダウンミックス信号から主オーディオオブジェクトと副オーディオオブジェクトを復元するステップとを含む。ここで、主オーディオオブジェクトは、第１の主オーディオオブジェクトおよび第２の主オーディオオブジェクトを含み、残余信号は、第１の主オーディオオブジェクトに対する第１の残余信号および第２の主オーディオオブジェクトに対する第２の残余信号を含み、復元するステップは、ダウンミックス信号と第１の残余信号を利用して第１の主オーディオオブジェクトを復元するステップと、第１の主オーディオオブジェクトが復元された後のダウンミックス信号と第２の残余信号を利用して第２の主オーディオオブジェクトを復元するステップとを含むことができる。
【００３９】
本発明によるマルチオブジェクトオーディオ復号化装置は、主オーディオオブジェクトと副オーディオオブジェクトがダウンミックスされたダウンミックス信号およびダウンミックスによる残余信号を含むビットストリームを受信する受信部と、残余信号を利用してダウンミックス信号から主オーディオオブジェクトと副オーディオオブジェクトを復元する復元部とを備える。ここで、主オーディオオブジェクトは、第１の主オーディオオブジェクトおよび第２の主オーディオオブジェクトを含み、残余信号は、第１の主オーディオオブジェクトに対する第１の残余信号および第２の主オーディオオブジェクトに対する第２の残余信号を含み、復元部は、ダウンミックス信号と第１の残余信号を利用して第１の主オーディオオブジェクトを復元する第１の復元部と、第１の主オーディオオブジェクトが復元された後のダウンミックス信号と第２の残余信号を利用して第２の主オーディオオブジェクトを復元する第２の復元部とを備えることができる。
【００４０】
オーディオオブジェクトには、モノ（ｍｏｎｏ）信号を含むモノオーディオオブジェクトとステレオ信号を含むステレオオーディオオブジェクトが含まれる。ここで、ステレオオーディオオブジェクトは、左側チャネルの信号と右側チャネルの信号を含むことができる。
【００４１】
一方、副オーディオオブジェクトは、ステレオオーディオオブジェクトがモノオーディオオブジェクトにダウンミックスされたオーディオオブジェクトでありえ、またはモノオーディオオブジェクトがステレオオーディオオブジェクトにダウンミックスされたオーディオオブジェクトでありうる。したがって、副オーディオオブジェクトは、複数のモノオーディオオブジェクトが、ステレオオーディオオブジェクトまたは複数のステレオオーディオオブジェクトが１つのモノオーディオオブジェクトにダウンミックスされたものでありうる。もちろん、副オーディオオブジェクトは、複数個でありうる。また、副オーディオオブジェクトは、複数のモノオーディオオブジェクトまたはステレオオーディオオブジェクトが１つのステレオオーディオオブジェクトにダウンミックスされたものでありうる。もちろん、ここでも副オーディオオブジェクトは、複数個でありうる。主オーディオオブジェクトも副オーディオオブジェクトと同様にステレオオーディオオブジェクトがモノオーディオオブジェクトにダウンミックスされたオーディオオブジェクトでありえ、またはモノオーディオオブジェクトがステレオオーディオオブジェクトにダウンミックスされたオーディオオブジェクトでありうる。
【００４２】
本発明は、残余信号を利用してマルチオブジェクトオーディオを符号化または復号化することによって、オーディオオブジェクトを能動的に制御することができる。また、モノまたはステレオオーディオオブジェクトで構成されるマルチオブジェクトオーディオを効率的に符号化または復号化することができる。
【００４３】
以下、主オーディオオブジェクトと副オーディオオブジェクトで構成されたマルチオブジェクトオーディオに対して説明する。主オーディオオブジェクトは、制御しようとするオーディオオブジェクトを意味するものであるが、主オーディオオブジェクトと副オーディオオブジェクトは、互いに変更可能である。また主オーディオオブジェクトと副オーディオオブジェクトは、複数のオーディオオブジェクトを含むことができる。
【００４４】
図１は、本発明の第１の概念を説明するための図である。図１を参照すれば、主オーディオオブジェクト（ＦＧＯ：ＦｏｒｅＧｒｏｕｎｄ Ｏｂｊｅｃｔ）と副オーディオオブジェクト（ＢＧＯ：ＢａｃｋＧｒｏｕｎｄ Ｏｂｊｅｃｔ）は、ダウンミックス生成部１０１に入力される。図１において、主オーディオオブジェクトＦＧＯは、第１の主オーディオオブジェクトＦＧＯ１と第２の主オーディオオブジェクトＦＧＯ２を含む。
【００４５】
まず、副オーディオオブジェクトＢＧＯ及び第１の主オーディオオブジェクトＦＧＯ１は、第１のダウンミックス生成部１０３に入力される。第１のダウンミックス生成部１０３では、副オーディオオブジェクトＢＧＯと第１の主オーディオオブジェクトＦＧＯ１とをダウンミックスして第１のダウンミックス信号と第１の残余（Ｒｅｓｉｄｕａｌ）信号を生成する。
【００４６】
第２のダウンミックス生成部１０５は、第１のダウンミックス信号と第２の主オーディオオブジェクトＦＧＯ２の入力を受ける。第２のダウンミックス生成部１０５は、第１のダウンミックス信号と第２の主オーディオオブジェクトＦＧＯ２とをダウンミックスして第２のダウンミックス信号ＤＭＸと第２の残余信号を生成する。
【００４７】
図１において、２つの主オーディオオブジェクトＦＧＯ１、ＦＧＯ２が入力されているが、当業者であれば３つ以上の主オーディオオブジェクトが入力される場合もあることは自明である。主オーディオオブジェクトが３つ以上の場合、増加した主オーディオオブジェクトの個数の分だけ、第１及び第２のダウンミックス生成部１０３、１０５がカスケードで連結されて増加する。
【００４８】
残余信号を除外すれば、第１のダウンミックス生成部１０３および第２のダウンミックス生成部１０５は、２つの信号を受信し、１つのダウンミックス信号を出力する。例えば、第１のダウンミックス生成部１０３は、副オーディオオブジェクトＢＧＯと第１の主オーディオオブジェクトＦＧＯ１を受信し、第１のダウンミックス信号を出力する。したがって、第１のダウンミックス生成部１０３は、入力が２つで、出力が１つのインバースＯＴＴ−１（：Ｏｎｅ Ｔｏ Ｔｗｏ）構造を有するようになる。ここで、ＯＴＴ−１は、符号化の観点から定義したものである。復号化の観点では、ＯＴＴ−１は、ＯＴＴと等しい。これらを第１のダウンミックス生成部１０３および第２のダウンミックス生成部１０５を含むダウンミックス生成部１０１に拡張させ、３つ以上の主オーディオオブジェクトＦＧＯが入力される場合、入力がＮで、出力が１つのインバースＯＴＮ−１（Ｉｎｖｅｒｓｅ Ｏｎｅ Ｔｏ Ｎ）構造を有するようになる。ここで、ＯＴＮ−１は、符号化の観点で定義したものである。復号化の観点では、ＯＴＮ−１は、ＯＴＮと等しい。復号化過程は、前述した符号化過程の逆順で行われる。
【００４９】
図２は、本発明の第２の概念を説明するための図である。図２を参照すれば、全体的な構成は前述した図１と類似する。しかしながら、第１のダウンミックス生成部２０３は、第２の主オーディオオブジェクトＦＧＯ２をバイパス（ｂｙｐａｓｓ）し、第２のダウンミックス生成部２０５は、第２の主オーディオオブジェクトＦＧＯ２を副オーディオオブジェクトＢＧＯと第１の主オーディオオブジェクトＦＧＯ１がダウンミックスすることによって生成されたダウンミックス信号にダウンミックスする。
【００５０】
残余信号を除外すれば、第１のダウンミックス生成部２０３または第２のダウンミックス生成部２０５は、３つの信号を受信し、２つの信号を出力する。２つの出力信号は、ダウンミックス信号とバイパスされた信号である。例えば、第１のダウンミックス生成部２０３は、副オーディオオブジェクトＢＧＯ、第１の主オーディオオブジェクトＦＧＯ１および第２の主オーディオオブジェクトＦＧＯ２を受信し、第１のダウンミックス信号と第２の主オーディオオブジェクトＦＧＯ２とを出力する。したがって、第１のダウンミックス生成部は、３つの入力で、２つの出力のインバースＴＴＴ−１（Ｔｗｏ Ｔｏ Ｔｈｒｅｅ）構造を有する。しかしながら、３つの入力のうちの１つは、変調されずに出力される。したがって、このような構造をトリビアル（ｔｒｉｖｉａｌ）ＴＴＴ−１（ｔＴＴＴ−１）と指称する。ここで、ｔＴＴＴ−１は、符号化の観点で定義され、復号化の観点ではｔＴＴＴ（ｔｒｉｖｉａｌ Ｔｗｏ Ｔｏ Ｔｈｒｅｅ）に等しい。これらを第１のダウンミックス生成部２０３および第２のダウンミックス生成部２０５を含むダウンミックス生成部２０１に拡張させ、主オーディオオブジェクトＦＧＯが３つ以上入力される場合、出力が２つのインバースｔＴＴＮ−１（Ｉｎｖｅｒｓｅ ｔｒｉｖａｌ Ｔｗｏ Ｔｏ Ｎ）構造を有することができる。ここで、ｔＴＴＮ−１は、符号化の観点で定義され、復号化の観点ではｔＴＴＮ（ｔｒｉｖａｌ Ｔｗｏ Ｔｏ Ｎ）に等しい。
【００５１】
図３は、図２に図示された第１のダウンミックス生成部２０３を詳細に説明するための図である。図３を参照すれば、第１のダウンミックス生成部２０３は、Ｉｎｐｕｔ１、Ｉｎｐｕｔ２、Ｉｎｐｕｔ３の３つの入力信号を受信し、Ｏｕｔｐｕｔ１、Ｏｕｔｐｕｔ２の出力信号を出力する。
【００５２】
第１のダウンミックス生成部３０１は、第１の入力信号Ｉｎｐｕｔ１と第２の入力信号Ｉｎｐｕｔ２とをダウンミックスしたダウンミックス信号である第１の出力信号Ｏｕｔｐｕｔ１を出力し、残余（Ｒｅｓｉｄｕａｌ）信号を生成する。第１のダウンミックス生成部３０１は、第３の入力信号をバイパスしてそのまま第２の出力信号Ｏｕｔｐｕｔ２として出力する。したがって、第１の出力信号Ｏｕｔｐｕｔ１は、第１の入力信号Ｉｎｐｕｔ１と第２の入力信号Ｉｎｐｕｔ２とがダウンミックスされた信号であり、第２の出力信号Ｏｕｔｐｕｔ２は第３の入力信号Ｉｎｐｕｔ３と同一の信号となる。
【００５３】
前述した説明は、本発明による以下の具体的な実施形態に同一に適用することができる。以下では図面を参照して本発明の具体的な実施形態について詳細に説明する。
【００５４】
〈第１の実施形態〉モノ主オーディオオブジェクト及びモノ副オーディオオブジェクト 本発明による第１の実施形態において、主オーディオオブジェクトは、モノ（ｍｏｎｏ）主オーディオオブジェクトを含み、副オーディオオブジェクトは、モノ副オーディオオブジェクトを含む。
【００５５】
本発明の第１の実施形態によるマルチオブジェクトオーディオ符号化方法は、モノ主オーディオオブジェクトとモノ副オーディオオブジェクトをダウンミックスしてダウンミックス信号および残余信号を生成するステップと、ダウンミックス信号および残余信号を含むビットストリームを生成するステップとを含む。ここで、モノ主オーディオオブジェクトは、第１のモノ主オーディオオブジェクトおよび第２のモノ主オーディオオブジェクトを含み、ダウンミックス信号および残余信号を生成するステップは、モノ副オーディオオブジェクトと第１のモノ主オーディオオブジェクトをダウンミックスして第１のダウンミックス信号および第１の残余信号を生成するステップと、第１のダウンミックス信号と第２のモノ主オーディオオブジェクトをダウンミックスして第２のダウンミックス信号および第２の残余信号を生成するステップとを含むことができる。また、ダウンミックス信号および残余信号を生成するステップは、第２のモノ主オーディオオブジェクトをバイパスするステップをさらに含むことができる。
【００５６】
第１の実施形態によるマルチオブジェクトオーディオ符号化装置は、モノ主オーディオオブジェクトとモノ副オーディオオブジェクトをダウンミックスしてダウンミックス信号および残余信号を生成するダウンミックス生成部と、ダウンミックス信号および残余信号を含むビットストリームを生成するビットストリーム生成部とを備える。ここで、モノ主オーディオオブジェクトは、第１のモノ主オーディオオブジェクトおよび第２のモノ主オーディオオブジェクトを含み、ダウンミックス生成部は、モノ副オーディオオブジェクトと第１のモノ主オーディオオブジェクトをダウンミックスして第１のダウンミックス信号および第１の残余信号を生成する第１のダウンミックス生成部と、第１のダウンミックス信号と第２のモノ主オーディオオブジェクトをダウンミックスして第２のダウンミックス信号および第２の残余信号を生成する第２のダウンミックス生成部とを備えることができる。また、第１のダウンミックス生成部は、第２のモノ主オーディオオブジェクトをバイパスすることができる。
【００５７】
第１の実施形態によるマルチオブジェクトオーディオ復号化方法は、モノ主オーディオオブジェクトとモノ副オーディオオブジェクトがダウンミックスされたダウンミックス信号およびダウンミックスによる残余信号を含むビットストリームを受信するステップと、残余信号を利用してダウンミックス信号から前記主オーディオオブジェクトおよび副オーディオオブジェクトを復元するステップとを含む。ここで、モノ主オーディオオブジェクトは、第１のモノ主オーディオオブジェクトおよび第２のモノ主オーディオオブジェクトを含み、残余信号は、第１のモード主オーディオオブジェクトに対する第１の残余信号および第２のモノ主オーディオオブジェクトに対する第２の残余信号を含み、復元するステップは、ダウンミックス信号と第１の残余信号を利用して第１のモノ主オーディオオブジェクトを復元するステップと、第１のモノ主オーディオオブジェクトが復元された後のダウンミックス信号と第２の残余信号を利用して第２のモノ主オーディオオブジェクトを復元するステップとを含むことができる。
【００５８】
第１の実施形態によるマルチオブジェクトオーディオ復号化装置は、モノ主オーディオオブジェクトとモノ副オーディオオブジェクトがダウンミックスされたダウンミックス信号およびダウンミックスによる残余信号を含むビットストリームを受信する受信部と、残余信号を利用してダウンミックス信号から主オーディオオブジェクトおよび副オーディオオブジェクトを復元する復元部とを備える。ここで、モノ主オーディオオブジェクトは、第１のモノ主オーディオオブジェクトおよび第２のモノ主オーディオオブジェクトを含み、残余信号は、第１のモード主オーディオオブジェクトに対する第１の残余信号および第２のモノ主オーディオオブジェクトに対する第２の残余信号を含み、復元部は、ダウンミックス信号と第１の残余信号を利用して第１のモノ主オーディオオブジェクトを復元する第１の復元部と、第１のモノ主オーディオオブジェクトが復元された後のダウンミックス信号と第２の残余信号を利用して第２のモノ主オーディオオブジェクトを復元する第２の復元部とを備えることができる。
【００５９】
図４は、本発明による第１の実施形態を説明するための図である。図４を参照すれば、主オーディオオブジェクトＦＧＯ及び副オーディオオブジェクトＢＧＯは、モノ信号である。モノ主オーディオオブジェクトＭｏｎｏ ＦＧＯ１、Ｍｏｎｏ ＦＧＯ２及びモノ副オーディオオブジェクトＭｏｎｏ ＢＧＯは、ダウンミックス生成部４０１に入力される。
【００６０】
第１のダウンミックス生成部４０３は、モノ副オーディオオブジェクトＭｏｎｏ ＢＧＯ及び第１のモノ主オーディオオブジェクトＭｏｎｏ ＦＧＯ１を受信し、第１のダウンミックス信号と第１の残余（Ｒｅｓｉｄｕａｌ）信号とを生成する。第２のダウンミックス生成部４０５は、第１のダウンミックス信号及び第２のモノ主オーディオオブジェクトＭｏｎｏ ＦＧＯ２を入力し、第２のダウンミックス信号ＤＭＸと第２の残余信号を生成する。
【００６１】
図４では、２つのモノ主オーディオオブジェクトＭｏｎｏ ＦＧＯ１、Ｍｏｎｏ ＦＧＯ２を入力しているが、３つ以上のモノオーディオオブジェクトを入力する場合がることは当業者には自明である。モノ主オーディオオブジェクトが３つ以上入力される場合、増加する主オーディオオブジェクトの数の分だけ、第１のまたは第２のダウンミックス生成部４０３、４０４がカスケード（ｃａｓｃａｄｅ）で連結され増加する。
【００６２】
主オーディオオブジェクトＦＧＯが３つ以上入力される場合、入力が複数Ｎで、出力が１つのインバースＯＴＮ−１（Ｏｎｅ Ｔｏ Ｎ）構造を有することができる。ここで、ＯＴＮ−１は、符号化の観点で定義され、復号化の観点ではＯＴＮ（Ｏｎｅ Ｔｏ Ｎ）に等しい。復号化過程は、前述した符号化過程の逆順に行われる。
【００６３】
〈第２の実施形態〉ステレオ主オーディオオブジェクト及びモノ副オーディオオブジェクト
本発明による第２の実施形態で主オーディオオブジェクトは、ステレオ（ｓｔｅｒｅｏ）主オーディオオブジェクトを含み、副オーディオオブジェクトは、モノ副オーディオオブジェクトを含む。
【００６４】
第２の実施形態によるマルチオブジェクトオーディオ符号化方法は、ステレオ主オーディオオブジェクトとモノ副オーディオオブジェクトをダウンミックスしてダウンミックス信号と残余信号を生成するステップと、ダウンミックス信号と残余信号を含むビットストリームを生成するステップとを含む。ここで、ステレオ主オーディオオブジェクトは、第１の信号および第２の信号を含み、ダウンミックス信号と残余信号を生成するステップは、モノ副オーディオオブジェクトと第１の信号をダウンミックスして第１のダウンミックス信号と第１の残余信号を生成するステップと、第１のダウンミックス信号と前記第２の信号をダウンミックスして第２のダウンミックス信号と第２の残余信号を生成するステップとを含むことができる。また、ダウンミックス信号と残余信号を生成するステップは、第２の信号をバイパスするステップをさらに含むことができる。
【００６５】
第２の実施形態によるマルチオブジェクトオーディオ符号化装置は、ステレオ主オーディオオブジェクトとモノ副オーディオオブジェクトをダウンミックスしてダウンミックス信号と残余信号を生成するダウンミックス生成部と、ダウンミックス信号と残余信号を含むビットストリームを生成するビットストリーム生成部とを備える。ここで、ステレオ主オーディオオブジェクトは、第１の信号および第２の信号を含み、ダウンミックス生成部はモノ副オーディオオブジェクトと第１の信号をダウンミックスして第１のダウンミックス信号と第１の残余信号を生成する第１のダウンミックス生成部と、第１のダウンミックス信号と前記第２の信号をダウンミックスして第２のダウンミックス信号と第２の残余信号を生成する第２のダウンミックス生成部とを備えることができる。また、第１のダウンミックス生成部は、第２の信号をバイパスすることができる。
【００６６】
第２の実施形態によるマルチオブジェクトオーディオ復号化方法は、ステレオ主オーディオオブジェクトとモノ副オーディオオブジェクトがダウンミックスされたダウンミックス信号およびダウンミックスによる残余信号を含むビットストリームを受信するステップと、残余信号を利用してダウンミックス信号からステレオ主オーディオオブジェクトとモノ副オーディオオブジェクトを復元するステップとを含む。ここで、ステレオ主オーディオオブジェクトは、第１の信号および第２の信号を含み、残余信号は、第１の信号に対する第１の残余信号および第２の信号に対する第２の残余信号を含み、復元するステップは、ダウンミックス信号と第１の残余信号を利用して第１の信号を復元するステップと、第１の信号が復元された後のダウンミックス信号と第２の残余信号を利用して第２の信号を復元するステップとを含むことができる。
【００６７】
第２の実施形態によるマルチオブジェクトオーディオ復号化装置は、ステレオ主オーディオオブジェクトとモノ副オーディオオブジェクトがダウンミックスされたダウンミックス信号およびダウンミックスによる残余信号を含むビットストリームを受信する受信部と、残余信号を利用してダウンミックス信号からステレオ主オーディオオブジェクトとモノ副オーディオオブジェクトを復元する復元部とを備える。ここで、ステレオ主オーディオオブジェクトは、第１の信号および第２の信号を含み、残余信号は、第１の信号に対する第１の残余信号および第２の信号に対する第２の残余信号を含み、復元部は、ダウンミックス信号と第１の残余信号を利用して第１の信号を復元する第１の復元部と、第１の信号が復元された後のダウンミックス信号と第２の残余信号を利用して第２の信号を復元する第２の復元部とを備えることができる。
【００６８】
図５は、本発明による第２の実施形態を説明するための図である。図５を参照すれば、ダウンミックス生成部５０１は、モノ副オーディオオブジェクトＭｏｎｏ ＢＧＯ及びステレオ主オーディオオブジェクトＳｔｅｒｅｏ Ｌｅｆｔ、 Ｒｉｇｈｔ ＦＧＯを受信する。ステレオ主オーディオオブジェクトＳｔｅｒｅｏ Ｌｅｆｔ、Ｒｉｇｈｔ ＦＧＯは、左チャネル信号Ｌｅｆｔ ＦＧＯおよび右チャネル信号Ｒｉｇｈｔ ＦＧＯを含む。
【００６９】
第１のダウンミックス生成部５０３は、モノ副オーディオオブジェクトＭｏｎｏ ＢＧＯと左チャネル信号Ｌｅｆｔ ＦＧＯを受信し、第１のダウンミックス信号と第１の残余（Ｒｅｓｉｄｕａｌ）信号を生成する。第２のダウンミックス生成部５０５は、第１のダウンミックス信号と右チャネル信号Ｒｉｇｈｔ ＦＧＯを受信し、第２のダウンミックス信号ＤＭＸと第２の残余信号を生成する。
【００７０】
図５では、１つのステレオ主オーディオオブジェクトＳｔｅｒｅｏ Ｌｅｆｔ、Ｒｉｇｈｔ ＦＧＯが入力されているが、２つ以上のステレオ主オーディオオブジェクトを入力する場合があることは当業者には自明である。ステレオ主オーディオオブジェクトが２つ以上の場合、増加する主オーディオオブジェクトの数の分だけ、第１のまたは第２のダウンミックス生成部５０３、５０５がカスケード（ｃａｓｃａｄｅ）で連結され増加する。一方、復号化過程は前述した符号化過程の逆順に行われる。
【００７１】
〈第３の実施形態〉ステレオ主オーディオオブジェクト及びステレオ副オーディオオブジェクト
本発明による第３の実施形態で主オーディオオブジェクトは、ステレオ（ｓｔｅｒｅｏ）主オーディオオブジェクトを含み、副オーディオオブジェクトは、ステレオ副オーディオオブジェクトを含む。ステレオオーディオオブジェクトは、左チャネルと右チャネル信号を含むことができる。
【００７２】
第３の実施形態によるマルチオブジェクトオーディオ符号化方法は、ステレオ主オーディオオブジェクトとステレオ副オーディオオブジェクトをダウンミックスしてダウンミックス信号および残余信号を生成するステップと、ダウンミックス信号と残余信号を含むビットストリームを生成するステップとを含む。ここで、ステレオ主オーディオオブジェクトとステレオ副オーディオ信号は、各々第１の信号および第２の信号を含み、ダウンミックス信号および残余信号を生成するステップは、ステレオ主オーディオオブジェクトとステレオ副オーディオ信号の第１の信号をダウンミックスして第１のダウンミックス信号および第１の残余信号を生成するステップと、ステレオ主オーディオオブジェクトとステレオ副オーディオ信号の第２の信号をダウンミックスして第２のダウンミックス信号および第２の残余信号を生成するステップとを含むことができる。ここで、ステレオ主オーディオオブジェクトの第１の信号は、第１の左チャネル信号および第２の左チャネル信号を含み、第１のダウンミックス信号および第１の残余信号を生成するステップは、ステレオ副オーディオ信号の第１の信号と第１の左チャネル信号をダウンミックスして第１の左チャネルダウンミックス信号および第１の左チャネル残余信号を生成するステップと、第１の左チャネルダウンミックス信号と第２の左チャネル信号をダウンミックスして第２の左チャネルダウンミックス信号および第２の左チャネル残余信号を生成するステップとを含むことができる。ここで、第１のダウンミックス信号および第１の残余信号を生成するステップは、第２の左チャネル信号をバイパスするステップをさらに含むことができる。
【００７３】
第３の実施形態によるマルチオブジェクトオーディオ符号化装置は、ステレオ主オーディオオブジェクトとステレオ副オーディオオブジェクトをダウンミックスしてダウンミックス信号および残余信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）を生成するダウンミックス生成部と、ダウンミックス信号と残余信号を含むビットストリームを生成するビットストリーム生成部とを備える。ここで、ステレオ主オーディオオブジェクトとステレオ副オーディオ信号は、各々第１の信号および第２の信号を含み、ダウンミックス生成部は、ステレオ主オーディオオブジェクトとステレオ副オーディオ信号の第１の信号をダウンミックスして第１のダウンミックス信号および第１の残余信号を生成する第１のダウンミックス生成部と、ステレオ主オーディオオブジェクトとステレオ副オーディオ信号の第２の信号をダウンミックスして第２のダウンミックス信号および第２の残余信号を生成する第２のダウンミックス生成部とを備えることができる。ここで、ステレオ主オーディオオブジェクトの第１の信号は第１の左チャネル信号および第２の左チャネル信号を含み、第１のダウンミックス生成部はステレオ副オーディオ信号の第１の信号と第１の左チャネル信号をダウンミックスして第１の左チャネルダウンミックス信号および第１の左チャネル残余信号を生成する第１の左チャネルダウンミックス生成部と、第１の左チャネルダウンミックス信号と第２の左チャネル信号をダウンミックスして第２の左チャネルダウンミックス信号および第２の左チャネル残余信号を生成する第２の左チャネルダウンミックス生成部とを備えることができる。ここで、第１のダウンミックス生成部は、第２の左チャネル信号をバイパスするステップをさらに含むことができる。
【００７４】
第３の実施形態によるマルチオブジェクトオーディオ復号化方法は、ステレオ主オーディオオブジェクトとステレオ副オーディオオブジェクトがダウンミックスされたダウンミックス信号およびダウンミックスによる残余信号を含むビットストリームを受信するステップと、残余信号を利用してダウンミックス信号からステレオ主オーディオオブジェクトとステレオ副オーディオオブジェクトを復元するステップとを含む。ここで、ステレオ主オーディオオブジェクトとステレオ副オーディオ信号は、各々第１の信号および第２の信号を含み、残余信号は、第１の信号に対する第１の残余信号および第２の信号に対する第２の残余信号を含み、復元するステップはダウンミックス信号と第１の残余信号を利用して第１の信号を復元するステップと、ダウンミックス信号と第２の残余信号を利用して第２の信号を復元するステップとを含むことができる。また、ステレオ主オーディオオブジェクトの第１の信号は、第１の左チャネル信号および第２の左チャネル信号を含み、第１の残余信号は、第１の左チャネル信号に対する第１の左チャネル残余信号および第２の左チャネル信号に対する第２の左チャネル残余信号を含み、第１の信号を復元するステップはダウンミックス信号と気第１の左チャネル残余信号を利用して第１の左チャネル信号を復元するステップと、第１の左チャネル信号が復元された後のダウンミックス信号と第２の左チャネル信号を利用して第２の左チャネル信号を復元するステップとを含むことができる。
【００７５】
第３の実施形態によるマルチオブジェクトオーディオ復号化装置は、ステレオ主オーディオオブジェクトとステレオ副オーディオオブジェクトがダウンミックスされたダウンミックス信号およびダウンミックスによる残余信号を含むビットストリームを受信する受信部と、残余信号を利用してダウンミックス信号からステレオ主オーディオオブジェクトとステレオ副オーディオオブジェクトを復元する復元部とを備える。ここで、ステレオ主オーディオオブジェクトとステレオ副オーディオ信号は、各々第１の信号および第２の信号を含み、残余信号は、第１の信号に対する第１の残余信号および第２の信号に対する第２の残余信号を含み、復元部は、ダウンミックス信号と第１の残余信号を利用して第１の信号を復元する第１の復元部と、ダウンミックス信号と第２の残余信号を利用して第２の信号を復元する第２の復元部とを備えることができる。また、ステレオ主オーディオオブジェクトの第１の信号は、第１の左チャネル信号および第２の左チャネル信号を含み、第１の残余信号は、第１の左チャネル信号に対する第１の左チャネル残余信号および第２の左チャネル信号に対する第２の左チャネル残余信号を含み、第１の復元部は、ダウンミックス信号と気第１の左チャネル残余信号を利用して第１の左チャネル信号を復元する第１の左チャネル復元部と、第１の左チャネル信号が復元された後のダウンミックス信号と第２の左チャネル信号を利用して第２の左チャネル信号を復元する第２の左チャネル復元部とを備えることができる。
【００７６】
図６は、本発明による第３の実施形態を説明するための図である。図６を参照すれば、主オーディオオブジェクトＳｔｅｒｅｏ Ｌｅｆｔ／Ｒｉｇｈｔ ＦＧＯはステレオ信号で、副オーディオオブジェクトＳｔｅｒｅｏ Ｌｅｆｔ／Ｒｉｇｈｔ ＢＧＯもステレオ信号である。図６を参照して、２つのステレオ主オーディオオブジェクトＳｔｅｒｅｏ Ｌｅｆｔ／Ｒｉｇｈｔ ＦＧＯ１及びＳｔｅｒｅｏ Ｌｅｆｔ／Ｒｉｇｈｔ ＦＧＯ２について説明する。
【００７７】
ダウンミックス生成部６０１は、ステレオ主オーディオオブジェクトＳｔｅｒｅｏ Ｌｅｆｔ／Ｒｉｇｈｔ ＦＧＯ及び２つのステレオ主オーディオオブジェクトＳｔｅｒｅｏ Ｌｅｆｔ／Ｒｉｇｈｔ ＦＧＯ１及びＳｔｅｒｅｏ Ｌｅｆｔ／Ｒｉｇｈｔ ＦＧＯ２を受信する。
【００７８】
第１の左チャネルダウンミックス生成部６０３は、左チャネル副オーディオオブジェクトＬｅｆｔ ＢＧＯと第１の左チャネル主オーディオオブジェクトＬｅｆｔ ＦＧＯ１を受信し、第１の左チャネルダウンミックス信号と第１の左チャネル残余信号Ｌｅｆｔ Ｒｅｓｉｄｕａｌを生成する。第２の左チャネルダウンミックス生成部６０５は、第１の左チャネルダウンミックス信号と第２の左チャネル主オーディオオブジェクトＬｅｆｔ ＦＧＯ２を受信し、第２の左チャネルダウンミックス信号Ｌｅｆｔ ＤＭＸと第２の左チャネル残余信号Ｌｅｆｔ Ｒｅｓｉｄｕａｌを生成する。
【００７９】
右チャネル副オーディオオブジェクトＲｉｇｈｔ ＢＧＯ及び右チャネル主オーディオオブジェクトＲｉｇｈｔ ＦＧＯ１、２も前述した過程によりダウンミックスされる。
【００８０】
図６では、２つのステレオ主オーディオオブジェクトＳｔｅｒｅｏ Ｌｅｆｔ、Ｒｉｇｈｔ ＦＧＯが入力されているが、３つ以上のステレオ主オーディオオブジェクトを入力する場合があることは当業者には自明である。ステレオ主オーディオオブジェクトが３つ以上入力される場合、増加する主オーディオオブジェクトの数の分だけ、第１のまたは第２の左チャネルダウンミックス生成部６０３、６０５がカスケード（ｃａｓｃａｄｅ）で連結され増加する。復号化過程は、前述した符号化過程の逆順に行われる。
【００８１】
図６では、第１の左チャネルダウンミックス生成部６０３は、左チャネル副オーディオオブジェクトＬｅｆｔ ＢＧＯ、第１の左チャネル主オーディオオブジェクトＬｅｆｔ ＦＧＯ１および第２の左チャネル主オーディオオブジェクトＬｅｆｔ ＦＧＯ２を受信する。第１の左チャネルダウンミックス生成部６０３は、第２の左チャネル主オーディオオブジェクトＬｅｆｔ ＦＧＯ２をバイパスする。すなわち、第１の左チャネルダウンミックス生成部は、３つの入力及び２つの出力を有するインバースＴＴＴ−１（Ｔｗｏ Ｔｏ Ｔｈｒｅｅ）を有する。このような構造を、ｔＴＴＴ−１（ｔｒｉｖｉａｌ ＴＴＴ−１）と指称するのは前述した通りである。また、左チャネル信号と右チャネル信号を含むステレオ主オーディオオブジェクトを３つ以上入力する場合、３個以上の入力及び２つの出力を有するインバースｔＴＴＮ−１（ｔｒｉｖａｌ Ｔｗｏ Ｔｏ Ｎ）を有する。ここで、ｔＴＴＮ−１は、符号化の観点で定義したものであり、復号化の観点ではｔＴＴＮ（ｔｒｉｖａｌ Ｔｗｏ Ｔｏ Ｎ）に等しい。
【００８２】
〈第４の実施形態〉ステレオ主オーディオオブジェクト及びモノ副オーディオオブジェクト
本発明による第４の実施形態で、主オーディオオブジェクトは、ステレオ（ｓｔｅｒｅｏ）主オーディオオブジェクトを含み、副オーディオオブジェクトは、モノ（ｍｏｎｏ）副オーディオオブジェクトを含む。ステレオオーディオオブジェクトは、左チャネルと右チャネル信号を含むことができる。第４の実施形態は、ダウンミックスされた出力信号がステレオの点で前述した第２の実施形態と区別される。
【００８３】
第４の実施形態によるマルチオブジェクトオーディオ符号化方法は、ステレオ主オーディオオブジェクトとモノ副オーディオオブジェクトをダウンミックスしてダウンミックス信号および残余信号を生成するステップと、ダウンミックス信号および残余信号を含むビットストリームを生成するステップとを含み、ステレオ主オーディオオブジェクトは、第１の、２左チャネル信号および第１の、２右チャネル信号を含み、ダウンミックス信号および残余信号を生成するステップは、モノ副オーディオオブジェクトと第１の左チャネル信号および第１の右チャネル信号を各々ダウンミックスして第１の左チャネルダウンミックス信号、第１の右チャネルダウンミックス信号および第１の残余信号を生成するステップと、第１の左チャネルダウンミックス信号および第１の右チャネルダウンミックス信号と第２の左チャネル信号および第２の右チャネル信号を各々ダウンミックスして第２の左チャネルダウンミックス信号、第２の右チャネルダウンミックス信号および第２の残余信号を生成するステップとを含むことができる。ここで、ダウンミックス信号および残余信号を生成するステップは、第２の左チャネル信号および第２の右チャネル信号をバイパスするステップをさらに含むことができる。
【００８４】
第４の実施形態によるマルチオブジェクトオーディオ符号化装置は、ステレオ主オーディオオブジェクトとモノ副オーディオオブジェクトをダウンミックスしてダウンミックス信号および残余信号を生成するダウンミックス生成部と、ダウンミックス信号および残余信号を含むビットストリームを生成するビットストリーム生成部とを備え、ステレオ主オーディオオブジェクトは第１の、２左チャネル信号および第１の、２右チャネル信号を含み、ダウンミックス生成部は、モノ副オーディオオブジェクトと第１の左チャネル信号および第１の右チャネル信号を各々ダウンミックスして第１の左チャネルダウンミックス信号、第１の右チャネルダウンミックス信号および第１の残余信号を生成する第１の左チャネルダウンミックス生成部と、第１の左チャネルダウンミックス信号および第１の右チャネルダウンミックス信号と第２の左チャネル信号および第２の右チャネル信号を各々ダウンミックスして第２の左チャネルダウンミックス信号、第２の右チャネルダウンミックス信号および第２の残余信号を生成する第２の左チャネルダウンミックス生成部とを備えることができる。ここで、ダウンミックス生成部は第２の左チャネル信号および第２の右チャネル信号をバイパスするステップをさらに含むことができる。
【００８５】
第４の実施形態によるマルチオブジェクトオーディオ復号化方法は、ステレオ主オーディオオブジェクトとモノ副オーディオオブジェクトがダウンミックスされたダウンミックス信号およびダウンミックスによる残余信号を含むビットストリームを受信するステップと、残余信号を利用してダウンミックス信号からステレオ主オーディオオブジェクトとモノ副オーディオオブジェクトを復元するステップとを含み、ステレオ主オーディオオブジェクトは、第１の、２左チャネル信号および第１の、２右チャネル信号を含み、残余信号は、第１の左チャネルおよび右チャネル信号に対する第１の残余信号と、第２の左チャネルおよび右チャネル信号に対する第２の残余信号とを含み、復元するステップはダウンミックス信号と第１の残余信号を利用して第１の左チャネルおよび右チャネル信号を復元するステップと、第１の左チャネルおよび右チャネル信号が復元された後のダウンミックス信号と第２の残余信号を利用して第２の左チャネルおよび右チャネル信号を復元するステップとを含むことができる。
【００８６】
第４の実施形態によるマルチオブジェクトオーディオ復号化装置は、ステレオ主オーディオオブジェクトとモノ副オーディオオブジェクトがダウンミックスされたダウンミックス信号およびダウンミックスによる残余信号を含むビットストリームを受信する受信部と、残余信号を利用してダウンミックス信号からステレオ主オーディオオブジェクトとモノ副オーディオオブジェクトを復元する復元部とを備え、ステレオ主オーディオオブジェクトは、第１の、２左チャネル信号および第１の、２右チャネル信号を含み、残余信号は、第１の左チャネルおよび右チャネル信号に対する第１の残余信号と、第２の左チャネルおよび右チャネル信号に対する第２の残余信号を含み、復元部は、ダウンミックス信号と第１の残余信号を利用して第１の左チャネルおよび右チャネル信号を復元する第１の復元部と、第１の左チャネルおよび右チャネル信号が復元された後のダウンミックス信号と第２の残余信号を利用して第２の左チャネルおよび右チャネル信号を復元する第２の復元部とを備えることができる。
【００８７】
図７は、本発明による第４の実施形態を説明するための図である。図７を参照すれば、主オーディオオブジェクトは、ステレオで、副オーディオオブジェクトは、モノである。ステレオオーディオオブジェクトは、左チャネル信号と右チャネル信号を含むことができる。ダウンミックス生成部７０１は、モノ副オーディオオブジェクトＭｏｎｏ ＢＧＯとステレオ主オーディオオブジェクトＦＧＯ１、２ Ｌｅｆｔ／Ｒｉｇｈｔを受信する。
【００８８】
第１のダウンミックス生成部７０２は、モノ副オーディオオブジェクトＭｏｎｏ ＢＧＯと第１のステレオ主オーディオオブジェクトＦＧＯ１ Ｌｅｆｔ及びＦＧＯ２ Ｒｉｇｈｔを受信して各々ダウンミックスし、第１のダウンミックス信号および第１の残余（Ｒｅｓｉｄｕａｌ）信号を生成する。第１のダウンミックス信号は、第１の左チャネルダウンミックス信号および第２の右チャネルダウンミックス信号を含むことができる。第２のダウンミックス信号と第２の残余信号は、第１のダウンミックス信号と第２のステレオ主オーディオオブジェクトＦＧＯ２ Ｌｅｆｔ及びＦＧＯ２ Ｒｉｇｈｔとをダウンミックスすることにより生成される。第２のダウンミックス信号は、第２の左チャネルダウンミックス信号Ｌｅｆｔ ＤＭＸ および第２の右チャネルダウンミックス信号Ｒｉｇｈｔ ＤＭＸを含むことができる。第２の左チャネルダウンミックス生成部７０３ａは、第１の左チャネルダウンミックス信号と第２のステレオ左チャネル主オーディオオブジェクトＦＧＯ２ Ｌｅｆｔとをダウンミックスすることにより第２の左チャネルダウンミックス信号Ｌｅｆｔ ＤＭＸを生成する。第２の右チャネルダウンミックス生成部７０３ｂは、第１の右チャネルダウンミックス信号と第２のステレオ右チャネル主オーディオオブジェクトＦＧＯ２ Ｒｉｇｈｔとをダウンミックスすることより第２の右チャネルダウンミックス信号Ｒｉｇｈｔ ＤＭＸを生成する。
【００８９】
図８は、本発明による復号化を説明するための図である。残余信号とダウンミックス信号を含むビットストリームを受信してダウンミックス信号を復元する。ダウンミックス信号は、左チャネルダウンミックス信号Ｌｅｆｔ ＤＭＸと右チャネルダウンミックス信号Ｒｉｇｈｔ ＤＭＸを含むステレオダウンミックス信号を含むことができる。
【００９０】
モノ主オーディオオブジェクト復元部８０４は、ステレオダウンミックス信号Ｌｅｆｔ ＤＭＸ、Ｒｉｇｈｔ ＤＭＸと残余信号Ｒｅｓｉｄｕａｌを利用してモノ主オーディオオブジェクトＭｏｎｏ ＦＧＯｓを復元する。モノ主オーディオオブジェクト復元部８０４は、それぞれのモノ主オーディオオブジェクトを復元するために第１のモノ主オーディオオブジェクト復元部８０２、第２のモノ主オーディオオブジェクト復元部８０３を含む。ここで、第１のモノ主オーディオオブジェクト復元部８０２と第２のモノ主オーディオオブジェクト復元部８０３は、ＴＴＴ構造を有し、モノ主オーディオオブジェクト復元部８０４は、ＴＴＮ構造を有する。
【００９１】
ステレオ主オーディオオブジェクト復元部８０６は、ステレオダウンミックス信号Ｌｅｆｔ ＤＭＸ、Ｒｉｇｈｔ ＤＭＸと残余信号Ｒｅｓｉｄｕａｌを利用してステレオ主オーディオオブジェクトＳｔｅｒｅｏ Ｌｅｆｔ、Ｒｉｇｈｔ ＦＧＯｓを復元する。ステレオ主オーディオオブジェクトＳｔｅｒｅｏ Ｌｅｆｔ／Ｒｉｇｈｔ ＦＧＯｓは、左チャネル信号Ｌｅｆｔ ＦＧＯｓと右チャネル信号Ｒｉｇｈｔ ＦＧＯｓを含む。最終的には、ステレオ副オーディオオブジェクトＬｅｆｔ ＢＧＯ、Ｒｉｇｈｔ ＢＧＯを出力する。ステレオ主オーディオオブジェクト復元部８０６は、複数のオブジェクト復元部８０５ａ、８０５ｂ、．．．、８０６ａ、８０６ｂ、８０７ａ、８０７ｂを含む。複数のオブジェクト復元部８０５ａ、８０５ｂ、．．．、８０６ａ、８０６ｂ、８０７ａ、８０７ｂは、ＯＴＴ構造を有し、ステレオ主オーディオオブジェクト復元部８０６は、ＯＴＮ構造を有する。
【００９２】
図８は、副オーディオオブジェクトがステレオで、主オーディオオブジェクトがモノまたはステレオの場合の復号化について示されている。副オーディオオブジェクトがモノで、主オーディオオブジェクトがモノの場合には左チャネルダウンミックス信号Ｌｅｆｔ ＤＭＸと残余信号Ｒｅｓｉｄｕａｌを利用してモノ副オーディオオブジェクトとモノ主オーディオオブジェクトに復元される。一方、副オーディオオブジェクトがモノで、主オーディオオブジェクトがステレオの場合は、ステレオ主オーディオオブジェクト復元部８０６により復元されうる。したがって、図８に示されたことにより容易に類推することができるため、詳しい説明は省略する。
【００９３】
以下では本発明の例示的な実施形態について説明する。
【００９４】
図９は、本発明の例示的な実施形態を説明するための図である。図９を参照すれば、ＭＢＯ（Ｍｕｌｔｉｃｈａｎｎｅｌ Ｂａｃｋｇｒｏｕｎｄ−ｓｃｅｎｅ Ｏｂｊｅｃｔ）は、複数のチャネルＣｈａｎｎｅｌ １、Ｃｈａｎｎｅｌ ２、．．．、Ｃｈａｎｎｅｌ ｎを含む。ＭＰＳエンコーダ９０１（ＭＰＥＧ Ｓｕｒｒｏｕｎｄ ｅｎｃｏｄｅｒ）は、ＭＢＯを符号化してステレオダウンミックス信号ＭＢＯ Ｌｅｆｔ、ＭＢＯ Ｒｉｇｈｔと付加情報（ｓｉｄｅ ｉｎｆｏｒｍａｔｉｏｎ）のＭＰＳビットストリームを出力する。ここで、ステレオダウンミックス信号ＭＢＯ Ｌｅｆｔ、ＭＢＯ Ｒｉｇｈｔは、副オーディオオブジェクトに該当する。
【００９５】
ステレオダウンミックス信号ＭＢＯ Ｌｅｆｔ、ＭＢＯ Ｒｉｇｈｔ、ステレオ主オーディオオブジェクトＳｔｅｒｅｏ ＦＧＯ及びモノ主オーディオオブジェクトＭｏｎｏ ＦＧＯは、ＳＡＯＣエンコーダ（Ｓｐａｔｉａｌ Ａｕｄｉｏ Ｏｂｊｅｃｔ Ｃｏｄｉｎｇ ｅｎｃｏｄｅｒ）に入力される。ステレオ主オーディオオブジェクトＳｔｅｒｅｏ ＦＧＯとモノ主オーディオオブジェクトＭｏｎｏ ＦＧＯは、主オーディオオブジェクトに該当する。ステレオ主オーディオオブジェクトＳｔｅｒｅｏ ＦＧＯは、複数のステレオオブジェクトｏｂｊｅｃｔ １、ｏｂｊｅｃｔ ２、．．．、ｏｂｊｅｃｔ Ｎを含むことができ、モノ主オーディオオブジェクトＭｏｎｏ ＦＧＯは、複数のモノオブジェクトｏｂｊｅｃｔ １、ｏｂｊｅｃｔ ２、．．．、ｏｂｊｅｃｔ Ｍを含むことができる。
【００９６】
第１のダウンミックス生成部９０３は、ステレオダウンミックス信号ＭＢＯ Ｌｅｆｔ、ＭＢＯ Ｒｉｇｈｔとステレオ主オーディオオブジェクトＳｔｅｒｅｏ ＦＧＯをダウンミックスしてステレオダウンミックス信号Ｌｅｆｔ及びＲｉｇｈｔと残余信号を生成する。ここで、第１のダウンミックス生成部９０３は、ステレオ主オーディオオブジェクトとステレオ副オーディオオブジェクトをダウンミックスするものであって、図５で説明したステレオダウンミックス生成部５０５に該当する。
【００９７】
第２のダウンミックス生成部９０４は、ステレオダウンミックス信号Ｌｅｆｔ、Ｒｉｇｈｔとモノ主オーディオオブジェクトＭｏｎｏ ＦＧＯをダウンミックスして最終ダウンミックス信号Ｌｅｆｔ ＤＭＸ、Ｒｉｇｈｔ ＤＭＸと残余信号を生成する。ここで、第２のダウンミックス生成部９０４は、図４で説明したダウンミックス生成部４０１に該当する。
【００９８】
ＳＡＯＣエンコーダ９０２は、ＳＡＯＣビットストリームを抽出される。符号化過程で生成されたＭＰＳビットストリーム、ＳＡＯＣビットストリーム、残余信号および最終ダウンミックス信号Ｌｅｆｔ ＤＭＸ、Ｒｉｇｈｔ ＤＭＸは、ビットストリームで復号化機に伝送される。
【００９９】
復号化の過程は符号化過程の逆過程であるため詳細な説明は省略する。簡単に説明すれば、復号化機ではＭＰＳビットストリーム、ＳＡＯＣビットストリーム、残余信号および最終ダウンミックス信号Ｌｅｆｔ ＤＭＸ、Ｒｉｇｈｔ ＤＭＸを受信する。ＳＡＯＣデコーダでは、残余信号と最終ダウンミックス信号Ｌｅｆｔ ＤＭＸ、Ｒｉｇｈｔ ＤＭＸを利用して主オーディオオブジェクトを復元する。ＭＰＳデコーダは、主オーディオオブジェクトが復元された最終ダウンミックス信号Ｌｅｆｔ ＤＭＸ、Ｒｉｇｈｔ ＤＭＸとＭＰＳビットストリームを受信し、ＭＰＳビットストリームを利用して副オーディオオブジェクトのマルチチャネル信号を復元する。
【０１００】
次は残余信号を生成する実施形態に対して説明する。
【０１０１】
復号化過程でダウンミックス信号と残余信号を利用して復元された左チャネル信号と右チャネル信号を生成する過程は、下記の数２によって説明されることができる。
【０１０２】
【数１】
【０１０３】
ここで、左側の行列では、復元された左チャネル信号および右チャネル信号を意味し、右側の行列では、Ｍはパラメータ行列であり、ｍはダウンミックスされた信号であり、ｒｅｓは残余信号を意味する。
【０１０４】
Ｍ行列が逆行列を有するならば、符号化の過程でダウンミックスされた信号ｍと残余信号ｒｅｓは下記の数３と数４とによって得ることができる。
【０１０５】
【数２】
【０１０６】
【数３】
【０１０７】
上述したような本発明の方法は、プログラムで具現されてコンピュータで読み取り可能な形態で記録媒体（ＣＤ−ＲＯＭ、ＲＡＭ、ＲＯＭ、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスクなど）に保存されうる。このような過程は本発明が属する技術分野で通常の知識を有する者が容易に実施することができるため、これ以上詳細に説明しない。
【０１０８】
以上で説明した本発明は、本発明が属する技術分野で通常の知識を有する者にあって本発明の技術的思想に外れない範囲内で色々な置換、変形および変更が可能なため、前述した実施形態および添付された図面によって限定されるものではない。
【産業上の利用可能性】
【０１０９】
本発明は、オーディオオブジェクトを符号化して、復号化することに使用される。
【特許請求の範囲】
【請求項１】
ｎ個（ｎは整数）の主オーディオオブジェクトと副オーディオオブジェクトがダウンミックスされたダウンミックス信号および前記ダウンミックスによるｎ個の残余信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）を含むビットストリームを受信し、前記残余信号を利用して前記ダウンミックス信号から前記主オーディオオブジェクトと前記副オーディオオブジェクトを復元するオブジェクト復元手段であって、前記ｎ個の残余信号は、前記ｎ個の主オーディオオブジェクトのそれぞれに対応する、オブジェクト復元手段を備え、
前記オブジェクト復元手段は、カスケード構造で接続されたｎ個のオブジェクト復元部を備え、
前記ｎ個の残余信号のうち、ｍ番目（ｍはｎ以下の整数）のオブジェクト復元部は、
前記ｎ個の残余信号のうち、ｍ番目の残余信号と、まだ復元されていない主オーディオオブジェクトと副オーディオオブジェクトがダウンミックスされたダウンミックス信号を用いて前記ｎ個の主オーディオオブジェクトのうち、前記ｍ番目の残余信号に対応するｍ番目の主オーディオオブジェクトを復元し、前記ｍ番目の主オーディオオブジェクトが復元された後のダウンミックス信号を出力することを特徴とするマルチオブジェクトオーディオ復号化装置。
【請求項２】
前記ｎは２であることを特徴とする請求項１に記載のマルチオブジェクトオーディオ復号化装置。
【請求項１】
ｎ個（ｎは整数）の主オーディオオブジェクトと副オーディオオブジェクトがダウンミックスされたダウンミックス信号および前記ダウンミックスによるｎ個の残余信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）を含むビットストリームを受信し、前記残余信号を利用して前記ダウンミックス信号から前記主オーディオオブジェクトと前記副オーディオオブジェクトを復元するオブジェクト復元手段であって、前記ｎ個の残余信号は、前記ｎ個の主オーディオオブジェクトのそれぞれに対応する、オブジェクト復元手段を備え、
前記オブジェクト復元手段は、カスケード構造で接続されたｎ個のオブジェクト復元部を備え、
前記ｎ個の残余信号のうち、ｍ番目（ｍはｎ以下の整数）のオブジェクト復元部は、
前記ｎ個の残余信号のうち、ｍ番目の残余信号と、まだ復元されていない主オーディオオブジェクトと副オーディオオブジェクトがダウンミックスされたダウンミックス信号を用いて前記ｎ個の主オーディオオブジェクトのうち、前記ｍ番目の残余信号に対応するｍ番目の主オーディオオブジェクトを復元し、前記ｍ番目の主オーディオオブジェクトが復元された後のダウンミックス信号を出力することを特徴とするマルチオブジェクトオーディオ復号化装置。
【請求項２】
前記ｎは２であることを特徴とする請求項１に記載のマルチオブジェクトオーディオ復号化装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−２１２１６０（Ｐ２０１２−２１２１６０Ａ）
【公開日】平成２４年１１月１日（２０１２．１１．１）
【国際特許分類】
【出願番号】特願２０１２−１３８６０７（Ｐ２０１２−１３８６０７）
【出願日】平成２４年６月２０日（２０１２．６．２０）
【分割の表示】特願２０１０−５３０９２８（Ｐ２０１０−５３０９２８）の分割
【原出願日】平成２０年１０月２１日（２００８．１０．２１）
【出願人】（５９６１８００７６）韓國電子通信研究院 (733)
【氏名又は名称原語表記】Ｅｌｅｃｔｒｏｎｉｃｓ ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ
【住所又は居所原語表記】１６１ Ｋａｊｏｎｇ−ｄｏｎｇ， Ｙｕｓｏｎｇ−ｇｕ， Ｔａｅｊｏｎ ｋｏｒｅａ
【Ｆターム（参考）】
【公開日】平成２４年１１月１日（２０１２．１１．１）
【国際特許分類】
【出願日】平成２４年６月２０日（２０１２．６．２０）
【分割の表示】特願２０１０−５３０９２８（Ｐ２０１０−５３０９２８）の分割
【原出願日】平成２０年１０月２１日（２００８．１０．２１）
【出願人】（５９６１８００７６）韓國電子通信研究院 (733)
【氏名又は名称原語表記】Ｅｌｅｃｔｒｏｎｉｃｓ ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ
【住所又は居所原語表記】１６１ Ｋａｊｏｎｇ−ｄｏｎｇ， Ｙｕｓｏｎｇ−ｇｕ， Ｔａｅｊｏｎ ｋｏｒｅａ
【Ｆターム（参考）】
[ Back to top ]