マルチチャネル・オーディオ信号の符号化方法及び該装置、その復号化方法及び該装置
マルチチャネル・オーディオ信号の符号化／復号化方法及び該装置が開示され、該マルチチャネル・オーディオ信号の符号化時に、ダウンミックスされたオーディオ信号、ダウンミックスされたオーディオ信号をマルチチャネル・オーディオ信号に復元するための第１付加情報及びレジデュアル信号の特性を示す第２付加情報を多重化し、復号化時は、第２付加情報を利用し、所定の位相差を有する復元されたマルチチャネル・オーディオ信号を結合して各チャネルのオーディオ信号を補正することによって、復元されたオーディオ信号の音質を向上させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチチャネル・オーディオ信号の符号化及び復号化に係り、さらに詳細には、符号化されたマルチチャネル・オーディオ信号の復元時に、各チャネルの音質を向上させることができるレジデュアル信号を所定のパラメータ情報として符号化し、これをマルチチャネル・オーディオ信号の復号化時に利用するマルチチャネル・オーディオ信号の符号化／復号化方法及び該装置に関する。
【背景技術】
【０００２】
一般的に、マルチチャネル・オーディオを符号化する方法には、ウェーブフォーム（waveform）オーディオ・コーディングと、パラメトリック（parametric）・オーディオ・コーディングとがある。ウェーブフォーム符号化には、ＭＰＥＧ（moving picture experts group）−２ＭＣ（multi-channel）オーディオ・コーディング、ＡＡＣ（advanced audio coding）ＭＣオーディオ・コーディング及びＢＳＡＣ（bit-sliced arithmetic coding）／ＡＶＳ（audio videio）ＭＣオーディオ・コーディングなどがある。
【０００３】
パラメトリック・オーディオ・コーディングでは、オーディオ信号を周波数ドメインで、周波数、振幅のような成分に分解し、かような周波数、振幅に係わる情報をパラメータ化してオーディオ信号を符号化する。例えば、パラメトリック・オーディオ・コーディングを利用して、ステレオオーディオ信号を符号化する場合、左チャネルオーディオと右チャネルオーディオとをダウンミックスしてモノオーディオを生成し、生成されたモノオーディオを符号化する。そして、複数の周波数バンドそれぞれに対してチャネル間強度差（ＩＩＤ：interchannel intensity difference）、チャネル間相関度（ＩＤ：interchannel correlation）、全位相差（ＯＰＤ：overall phase difference）及びチャネル間位相差（ＩＰＤ：interchannel phase difference）のようなパラメータを符号化する。ここで、チャネル間強度差（ＩＩＤ）に係わるパラメータ、及びチャネル間相関度（ＩＤ）に係わるパラメータは、ステレオオーディオ信号の復号化時に、左チャネルオーディオと右チャネルオーディオとの強度を決定するための情報として利用され、全位相差（ＯＰＤ）に係わるパラメータ及びチャネル間位相差（ＩＰＤ）に係わるパラメータは、ステレオオーディオ信号の復号化時に、左チャネルオーディオと右チャネルオーディオとの位相を決定するための情報として利用される。
【０００４】
かようなパラメトリック・オーディオ・コーディング方式などでは、符号化された後で復元されたオーディオ信号と入力オーディオ信号との間に差が発生する。一般的に、符号化された後で復元されたオーディオ信号と、入力オーディオ信号との差値をレジデュアル（residual）信号と定義する。かようなレジデュアル信号は、一種の符号化エラーを示す。オーディオ信号の復元時に、各チャネルの音質を向上させるためには、かようなレジデュアル信号を符号化し、符号化されたレジデュアル信号を復元時に利用する必要がある。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、パラメトリック・オーディオ・コーディングで、オーディオ信号の音質を向上させるためには、レジデュアル信号情報を効率的に符号化する必要がある。
【課題を解決するための手段】
【０００６】
本発明の一側面は、マルチチャネル・オーディオ信号の符号化時に復元されたマルチチャネル・オーディオ信号と、入力マルチチャネル・オーディオ信号とのの差値であるレジデュアル信号が最小になるように、レジデュアル信号情報を効率的に伝送するマルチチャネル・オーディオ信号の符号化方法及び該装置を提供することである。本発明の他の側面は、符号化されたレジデュアル信号情報をマルチチャネル・オーディオ信号の復号化時に利用することによって、各チャネルの音質を向上させるマルチチャネル・オーディオ信号の復号化方法及び該装置を提供することである。
【発明の効果】
【０００７】
本発明によれば、符号化時に最小限のレジデュアル信号情報を効率的に符号化し、復号化時にレジデュアル信号を利用し、マルチチャネル・オーディオ信号の各チャネルの音質を向上させることができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態によるマルチチャネル・オーディオ信号の符号化装置の構成を示したブロック図である。
【図２】図１のマルチチャネル符号化部の一実施形態を示したブロック図である。
【図３Ａ】本発明の一実施形態によって、第１チャネル入力オーディオ及び第２チャネル入力オーディオの強度に係わる情報を生成する方法を説明するための参照図である。
【図３Ｂ】本発明の他の実施形態によって、第１チャネル入力オーディオ及び第２チャネル入力オーディオの強度に係わる情報を生成する方法を説明するための参照図である。
【図４】図１のレジデュアル信号生成部の一実施形態を示したブロック図である。
【図５】図４の復元部の一実施形態を示したブロック図である。
【図６】本発明の一実施形態によるマルチチャネル・オーディオ信号の符号化方法を示したフローチャートである。
【図７】本発明の一実施形態によるマルチチャネル・オーディオ信号の復号化装置を示したブロック図である。
【図８】互いに９０°の位相差を有するオーディオ信号を示したグラフである。
【図９】本発明の一実施形態によるマルチチャネル・オーディオ信号の復号化方法を示したフローチャートである。
【発明を実施するための形態】
【０００９】
本発明が解決しようとする技術的課題は、マルチチャネル・オーディオ信号の符号化時に復元されたマルチチャネル・オーディオ信号と、入力マルチチャネル・オーディオ信号との差値であるレジデュアル信号が最小になるように、レジデュアル信号情報を効率的に伝送するマルチチャネル・オーディオ信号の符号化方法及び該装置を提供することである。また、本発明が解決しようとする技術的課題は、符号化されたレジデュアル信号情報をマルチチャネル・オーディオ信号の復号化時に利用することによって、各チャネルの音質を向上させるマルチチャネル・オーディオ信号の復号化方法及び該装置を提供することである。
【００１０】
本発明の一実施形態によるマルチチャネル・オーディオ信号の符号化方法は、入力マルチチャネル・オーディオ信号に対するパラメトリック符号化を行い、ダウンミックスされたオーディオ信号を生成する段階と、前記ダウンミックスされたオーディオ信号を前記マルチチャネル・オーディオ信号に復元するための第１付加情報を生成する段階と、前記ダウンミックスされたオーディオ信号及び前記第１付加情報を利用して復元されたマルチチャネル・オーディオ信号と、前記入力マルチチャネル・オーディオ信号との差値であるレジデュアル信号を生成する段階と、前記レジデュアル信号の特性を示す第２付加情報を生成する段階と、前記ダウンミックスされたオーディオ信号、前記第１付加情報及び前記第２付加情報を多重化する段階と、を含むことを特徴とする。
【００１１】
本発明の一実施形態によるマルチチャネル・オーディオ信号の符号化装置は、入力マルチチャネル・オーディオ信号に対する符号化を行い、ダウンミックスされたオーディオ信号及び前記ダウンミックスされたオーディオ信号を前記マルチチャネル・オーディオ信号に復元するための第１付加情報を生成するマルチチャネル符号化部；前記ダウンミックスされたオーディオ信号及び前記第１付加情報を利用して復元されたマルチチャネル・オーディオ信号と、前記入力マルチチャネル・オーディオ信号との差値であるレジデュアル信号を生成するレジデュアル信号生成部；前記レジデュアル信号の特性を示す第２付加情報を生成するレジデュアル信号符号化部；及び前記ダウンミックスされたオーディオ信号、前記第１付加情報及び前記第２付加情報を多重化する多重化部；を含むことを特徴とする。
【００１２】
本発明の一実施形態によるマルチチャネル・オーディオ信号の復号化方法は、符号化されたオーディオデータからダウンミックスされたオーディオ信号、前記ダウンミックスされたオーディオ信号をマルチチャネル・オーディオ信号に復元するための第１付加情報、及び符号化時に入力マルチチャネル・オーディオ信号と、符号化された後で復元されたマルチチャネル・オーディオ信号との差値であるレジデュアル信号の特性を示す第２付加情報を抽出する段階と、前記ダウンミックスされたオーディオ信号及び前記第１付加情報を利用し、第１マルチチャネル・オーディオ信号を復元する段階と、前記復元された第１マルチチャネル・オーディオ信号と所定の位相差を有する第２マルチチャネル・オーディオ信号を生成する段階と、前記第２付加情報を利用し、前記第１マルチチャネル・オーディオ信号と、前記第２マルチチャネル・オーディオ信号とを結合して最終復元オーディオ信号を生成する段階と、を含むことを特徴とする。
【００１３】
本発明の一実施形態によるマルチチャネル・オーディオ信号の復号化装置は、符号化されたオーディオデータからダウンミックスされたオーディオ信号、前記ダウンミックスされたオーディオ信号をマルチチャネル・オーディオ信号に復元するための第１付加情報、及び符号化時に入力マルチチャネル・オーディオ信号と、符号化された後で復元されたマルチチャネル・オーディオ信号との差値であるレジデュアル信号の特性を示す第２付加情報を抽出する逆多重化部；前記ダウンミックスされたオーディオ信号及び前記第１付加情報を利用し、第１マルチチャネル・オーディオ信号を復元するマルチチャネル復号化部；前記復元された第１マルチチャネル・オーディオ信号と所定の位相差を有する第２マルチチャネル・オーディオ信号を生成する位相変移部；及び前記第２付加情報を利用し、前記第１マルチチャネル・オーディオ信号と、前記第２マルチチャネル・オーディオ信号とを結合して最終復元オーディオ信号を生成する結合部を；含むことを特徴とする。
【００１４】
以下、添付された図面を参照しつつ、本発明の望ましい実施形態について具体的に説明する。
【００１５】
図１は、本発明の一実施形態によるマルチチャネル・オーディオ信号の符号化装置の構成を示したブロック図である。図１を参照するに、本発明の一実施形態によるマルチチャネル・オーディオ信号の符号化装置１００は、マルチチャネル符号化部１１０、レジデュアル信号生成部１２０、レジデュアル信号符号化部１３０及び多重化部１４０を含む。入力マルチチャネル・オーディオ信号Ｃｈ１ないしＣｈｎがデジタル信号ではない場合には、ｎ個の入力マルチチャネル・オーディオ信号に対してサンプリング及び量子化を行ってデジタル信号に変換するＡ／Ｄ（analog-digital）変換器（図示せず）がさらに含まれてもよい。
【００１６】
マルチチャネル符号化部１１０は、ｎ個（ｎは、正の整数）の入力マルチチャネル・オーディオ信号に対するパラメトリック符号化を行い、ダウンミックスされたオーディオ信号、及びダウンミックスされたオーディオ信号をさらにマルチチャネル・オーディオ信号に復元するための第１付加情報を生成する。さらに具体的には、マルチチャネル符号化部１１０は、ｎ個の入力マルチチャネル・オーディオ信号を、ｎより少数のチャネルを有するオーディオ信号にダウンミックスし、ダウンミックスされたオーディオ信号をさらにｎ個のマルチチャネルに復元するために必要な第１付加情報を生成する。例えば、入力信号として、５．１チャネルのオーディオ信号、すなわちレフト（Ｌ）、サラウンドレフト（Ｌｓ）、センター（Ｃ）、サブウーファ（Ｓｗ）、ライト（Ｒ）、サラウンドライト（Ｒｓ）の６個のマルチチャネルの信号が、マルチチャネル符号化部１１０に入力される場合を仮定すれば、マルチチャネル符号化部１１０は、５．１チャネルのオーディオ信号をＬ及びＲの２チャネルのステレオ信号にダウンミックスし、２チャネルのステレオ信号を符号化してオーディオビットストリームを生成する一方、２チャネルのステレオ信号をさらに５．１チャネルのオーディオ信号に復元するための第１付加情報を生成する。第１付加情報は、ダウンミックスされる信号の強度（intensity）を決定するための情報、及びダウンミックスされる信号間の位相差に係わる情報を含んでもよい。以下、マルチチャネル符号化部１１０で行われるダウンミックス過程、及び第１付加情報を生成する過程について具体的に説明する。
【００１７】
図２は、図１のマルチチャネル符号化部１１０の一実施形態を示したブロック図である。図２を参照するに、本発明の一実施形態によるマルチチャネル符号化部１１０は、複数個のダウンミックス部１１１ないし１１８及びステレオ信号符号化部１１９を含む。
【００１８】
マルチチャネル符号化部１１０は、ｎ個の入力マルチチャネル・オーディオ信号Ｃｈ１ないしＣｈｎを受信し、受信されたｎ個の入力マルチチャネル・オーディオ信号を、２個のチャネル単位で加算し、ダウンミックスされた出力信号を生成し、ダウンミックスされた出力信号を２個ずつまとめてさらにダウンミックスする過程を反復することによって、ダウンミックスされたオーディオ信号を出力する。例えば、ダウンミックス部１１１は、第１チャネルの入力オーディオ信号Ｃｈ１及び第２チャネルの入力オーディオ信号Ｃｈ２を加算し、ダウンミックスされた出力信号ＢＭ１を生成する。同様に、ダウンミックス部１１２は、第３チャネルの入力オーディオ信号Ｃｈ３及び第４チャネルの入力オーディオ信号Ｃｈ４を加算し、ダウンミックスされた出力信号ＢＭ２を生成する。２個のダウンミックス部１１１，１１２で出力される２個のダウンミックスされた出力信号ＢＭ１，ＢＭ２は、さらにダウンミックス部１１３を介してダウンミックスされ、ダウンミックスされた出力信号ＴＭ１が出力される。かようなダウンミックス過程は、図２に図示されたように、Ｌ及びＲの２チャネルのステレオ信号が発生するまで反復されたり、Ｌ及びＲのステレオ信号をさらにダウンミックスしたモノ信号が出力されるまで反復されてもよい。
【００１９】
ステレオ信号符号化部１１９は、ダウンミックス部１１１ないし１１８を介してダウンミックスされたステレオ信号を符号化し、オーディオ・ビットストリームを生成する。ステレオ信号符号化部１１９としては、ＭＰ３またはＡＡＣ（advanced audio codec）のような一般的なオーディオコーデックが利用されてもよい。
【００２０】
ダウンミックス部１１１ないし１１８は、２個の入力されたオーディオ信号を加算するとき、２個のオーディオ信号のうち１つのオーディオ信号の位相を、他の信号の位相と同一に設定した後、加算を行うことができる。例えば、第１チャネルの入力オーディオ信号Ｃｈ１と、第２チャネルの入力オーディオ信号Ｃｈ２とを加算するとき、ダウンミックス部１１１は、第２チャネルの入力オーディオ信号Ｃｈ２の位相を、第１チャネルの入力オーディオ信号Ｃｈ１と同一に設定した後、位相が調節された第２チャネルの入力オーディオ信号Ｃｈ２と、第１チャネルの入力オーディオ信号Ｃｈ１とを加算することによって、ダウンミックスを行うことができる。これに係わる具体的な内容は後述する。
【００２１】
一方、ダウンミックス部１１１ないし１１８は、２個のオーディオ信号をダウンミックスして１つの出力信号を生成するとき、１つの出力信号をさらに２個のオーディオ信号に復元するために必要な第１付加情報を生成しなければならない。前述のように、第１付加情報は、ダウンミックスされる信号の強度（intensity）を決定するための情報、及びダウンミックスされる信号間の位相差に係わる情報を含んでもよい。もしダウンミックス部１１１ないし１１８として、従来技術のように、ステレオオーディオ信号をモノオーディオ信号にダウンミックスする装置を利用する場合、１つの出力信号に対して、チャネル間強度差（ＩＩＤ：interchannel intensity difference）、チャネル間相関度（ＩＤ：interchannel correlation）、全位相差（ＯＰＤ：overall phase difference）及びチャネル間位相差（ＩＰＤ：interchannel phase difference）のようなパラメータを符号化する必要がある。この場合、チャネル間強度差（ＩＩＤ）に係わるパラメータ及びチャネル間相関度（ＩＤ）に係わるパラメータは、ダウンミックスされた出力信号からダウンミックスされる以前の２個の入力オーディオ信号の強度を決定するための情報として利用され、全位相差（ＯＰＤ）に係わるパラメータ及びチャネル間位相差（ＩＰＤ）に係わるパラメータは、ダウンミックスされた出力信号からダウンミックスされる以前の２個の入力オーディオ信号の位相を決定するための情報として利用される。
【００２２】
特に、本発明の一実施形態によるダウンミックス部１１１ないし１１８は、後述するように、所定のベクトル空間内で２個の入力オーディオ信号と、ダウンミックスされた信号との関係を利用し、ダウンミックスされる以前の２個の入力オーディオ信号の強度及び位相を決定するための情報を含む第１付加情報を生成する。
【００２３】
以下、図３Ａ及び図３Ｂを参照しつつ、第１付加情報を生成する方法について詳細に説明する。説明の便宜のために、マルチチャネル符号化部１１０に含まれた複数個のダウンミックス部において、第１チャネル入力オーディオＣｈ１及び第２チャネル入力オーディオＣｈ２を入力されるダウンミックス部１１１でダウンミックスされた出力信号ＢＭ１を生成するとき、第１付加情報を生成する方式を中心に説明する。ダウンミックス部１１１で生成される第１付加情報生成過程は、マルチチャネル符号化部１１０に含まれた他のダウンミックス部にも同一に適用可能である。以下では、第１チャネル入力オーディオＣｈ１及び第２チャネル入力オーディオＣｈ２の強度を決定するための情報を生成する場合と、第１チャネル入力オーディオＣｈ１及び第２チャネル入力オーディオＣｈ２の位相を決定するための情報を生成する場合とに分けて説明する。
【００２４】
（１）強度を決定するための情報
パラメトリック・オーディオ・コーディングでは、それぞれのチャネルオーディオを周波数ドメインに変換し、周波数ドメインで、チャネルオーディオそれぞれの強度及び位相に係わる情報を符号化する。オーディオ信号を高速フーリエ変換（Fast Fourier Transform）すれば、オーディオ信号は、周波数ドメインで、離散（discrete）された値によって表現される。すなわち、オーディオ信号は、複数の正弦波の和でもって表現される。パラメトリック・オーディオ・コーディングでは、オーディオ信号が周波数ドメインに変換されれば、周波数ドメインを複数のサブバンドに分割し、それぞれのサブバンドでの第１チャネル入力オーディオＣｈ１と、第２チャネル入力オーディオＣｈ２との強度を決定するための情報、及び第１チャネル入力オーディオＣｈ１と、第２チャネル入力オーディオＣｈ２との位相を決定するための情報を符号化する。このとき、サブバンドｋでの強度及び位相に係わる付加情報を符号化した後、同様に、サブバンドｋ＋１での強度及び位相に係わる付加情報を符号化する。パラメトリック・オーディオ・コーディングでは、かような方式で、全体周波数バンドを複数のサブバンドに分割し、それぞれのサブバンドに対してステレオオーディオ付加情報を符号化する。
【００２５】
以下では、Ｎ個チャネルの入力オーディオを有したステレオオーディオの符号化、復号化と関連して、所定の周波数バンド、すなわち、サブバンドｋで、第１チャネル入力オーディオＣｈ１及び第２チャネル入力オーディオＣｈ２に係わる付加情報を符号化する場合を例に挙げて説明する。
【００２６】
従来技術によるパラメトリック・オーディオ・コーディングで、ステレオオーディオに係わる付加情報を符号化するときには、サブバンドｋで、第１チャネル入力オーディオＣｈ１と、第２チャネル入力オーディオＣｈ２との強度を決定する情報として、チャネル間強度差（ＩＩＤ）及びチャネル間相関度（ＩＣ）に係わる情報を符号化することは、前述した通りである。このときサブバンドｋで、第１チャネル入力オーディオＣｈ１の強度及び第２チャネル入力オーディオＣｈ２の強度をそれぞれ計算し、第１チャネル入力オーディオＣｈ１の強度と、第２チャネル入力オーディオＣｈ２の強度との比率をチャネル間強度差（ＩＩＤ）に係わる情報として符号化する。しかし、２チャネルオーディオの強度間の比率だけでは、復号化側で、第１チャネル入力オーディオＣｈ１の強度及び第２チャネル入力オーディオＣｈ２の強度を決定することができないので、付加情報として、チャネル間相関度（ＩＣ）に係わる情報も共に符号化してビットストリームに挿入する。
【００２７】
本発明の一実施形態によるマルチチャネル・オーディオ信号の符号化方法は、サブバンドｋで、第１チャネル入力オーディオＣｈ１と、第２チャネル入力オーディオＣｈ２との強度を決定するための情報として符号化される付加情報の個数を最小化するために、サブバンドｋで、第１チャネル入力オーディオＣｈ１の強度に係わるベクトル、及び第２チャネル入力オーディオＣｈ２の強度に係わるベクトルを利用する。ここで、第１チャネル入力オーディオＣｈ１を周波数ドメインに変換した周波数スペクトルで、周波数ｆ１，ｆ２，…，ｆｎでの強度の平均値がサブバンドｋでの第１チャネル入力オーディオＣｈ１の強度であり、後述するベクトル
【００２８】
【数１】
の大きさである。
【００２９】
同様に、第２チャネル入力オーディオＣｈ２を周波数ドメインに変換した周波数スペクトルの周波数ｆ１，ｆ２，…，ｆｎでの強度の平均値がサブバンドｋでの第２チャネル入力オーディオＣｈ２の強度であり、後述するベクトル
【００３０】
【数２】
の大きさである。図３Ａ及び図３Ｂを参照しつつ詳細に説明する。
【００３１】
図３Ａは、本発明の一実施形態によって、第１チャネル入力オーディオ及び第２チャネル入力オーディオの強度に係わる情報を生成する方法について説明するための参照図である。図３Ａを参照するに、本発明の一実施形態によるダウンミックス部１１１は、サブバンドｋで、第１チャネル入力オーディオＣｈ１の強度に係わるベクトルである
【００３２】
【数３】
と、第２チャネル入力オーディオＣｈ２の強度に係わるベクトルである
【００３３】
【数４】
とが所定の角度をなすように、二次元ベクトル空間を生成する。もし第１チャネル入力オーディオＣｈ１と、第２チャネル入力オーディオＣｈ２とが左側オーディオ及び右側オーディオであるならば、ステレオオーディオの聴取者が、左側音源方向と右側音源方向とが６０°の角度をなす位置で、ステレオオーディオを聴取することを仮定し、ステレオオーディオを符号化することが一般的であるので、二次元ベクトル空間で、
【００３４】
【数５】
との間の角度（θ０）を６０°に設定することができる。しかし、本実施形態で、第１チャネル入力オーディオＣｈ１と第２チャネル入力オーディオＣｈ２は、左側オーディオ及び右側オーディオではないので、
【００３５】
【数６】
は、任意の角度（θ０）を有するのである。
【００３６】
図３Ａでは、
【００３７】
【数７】
とが加算されて生成された出力信号ＢＭ１の強度に係わるベクトルである
【００３８】
【数８】
が図示されている。このとき、前述のように、もし第１チャネル入力オーディオＣｈ１と、第２チャネル入力オーディオＣｈ２とがそれぞれ左側オーディオと、右側オーディオとに対応するならば、左側音源方向と右側音源方向とが６０°の角度をなす位置で、ステレオオーディオを聴取する聴取者は、
【００３９】
【数９】
の方向にＢＭ１ベクトル
【００４０】
【数１０】
の大きさに該当する強度のモノオーディオを聴取する。
【００４１】
本発明の一実施形態によるダウンミックス部１１１は、サブバンドｋで、第１チャネル入力オーディオＣｈ１と、第２チャネル入力オーディオＣｈ２との強度を決定するための情報として、チャネル間強度差（ＩＩＤ）に係わる情報と、チャネル間相関度（ＩＣ）に係わる情報との代わりに、
【００４２】
【数１１】
との間の角度（θｑ）、または
【００４３】
【数１２】
との間の角度（θｐ）に係わる情報を生成する。
【００４４】
また、ダウンミックス部１１１は、
【００４５】
【数１３】
との間の角度（θｑ）、または
【００４６】
【数１４】
との間の角度（θｐ）を生成する代わりに、ｃｏｓθｑまたはｃｏｓθｐのように、コサイン値を生成することもできる。これは、角度に係わる情報を符号化するとき、量子化過程で発生する損失を最小化するためであり、コサイン（cosine）またはサイン（sine）などの三角関数値を利用して角度情報を生成することが望ましい。
【００４７】
図３Ｂは、本発明の他の実施形態によって、第１チャネル入力オーディオ及び第２チャネル入力オーディオの強度に係わる情報を生成する方法について説明するための参照図である。
【００４８】
図３Ｂは、図３Ａでのベクトル角度を正規化する過程を図示した図である。
【００４９】
図３Ａと同じように
【００５０】
【数１５】
との間の角度（θ０）が９０°ではない場合には、θ０を９０°に正規化することができ、このとき、θｐまたはθｑも正規化される。
【００５１】
図３Ｂで、
【００５２】
【数１６】
との間の角度（θｐ）に係わる情報を正規化、すなわち、θ０を９０°に正規化すれば、これに対応してθｐも正規化され、θｍ＝（θｐｘ９０）／θ０が計算される。ダウンミックス部１１１は、正規化されていないθｐまたは正規化されたθｍを第１チャネル入力オーディオＣｈ１の強度及び第２チャネル入力オーディオＣｈ２の強度を決定するための情報として生成することができる。また、ダウンミックス部１１１は、θｐまたはθｍの代わりに、ｃｏｓθｐまたはｃｏｓθｍを、第１チャネル入力オーディオＣｈ１の強度及び第２チャネル入力オーディオＣｈ２の強度を決定するための情報として生成することができる。
【００５３】
（２）位相を決定するための情報
従来技術によるパラメトリック・オーディオ・コーディングでは、サブバンドｋで、第１チャネル入力オーディオＣｈ１と、第２チャネル入力オーディオＣｈ２との位相を決定するための情報として、全位相差（ＯＰＤ）及びチャネル間位相差（ＩＰＤ）に係わる情報を符号化したということは前述した。
【００５４】
すなわち、従来にはサブバンドｋで、第１チャネル入力オーディオＣｈ１と、第２チャネル入力オーディオＣｈ２とを加算して生成された第１最初モノオーディオＢＭ１と、サブバンドｋで、第１チャネル入力オーディオＣｈ１との位相差を計算して全位相差に係わる情報を生成して符号化し、サブバンドｋで、第１チャネル入力オーディオＣｈ１と、第２チャネル入力オーディオＣｈ２との位相差を計算してチャネル間位相差に係わる情報を生成して符号化した。位相差は、サブバンドに含まれた周波数ｆ１，ｆ２，…，ｆｎでの位相差をそれぞれ計算した後、計算された位相差の平均を計算することによって求めることができる。
【００５５】
本発明の一実施形態によれば、ダウンミックス部１１１は、第１チャネル入力オーディオＣｈ１と、第２チャネル入力オーディオＣｈ２との位相を決定するための情報として、サブバンドｋで、第１チャネル入力オーディオＣｈ１と、第２チャネル入力オーディオＣｈ２との位相差に係わる情報だけを生成する。
【００５６】
本発明の一実施形態では、ダウンミックス部が、第１チャネル入力オーディオＣｈ１の位相と同一になるように、第２チャネル入力オーディオＣｈ２の位相を調節し、位相調節された第２チャネル入力オーディオＣｈ２を生成し、その位相調節された第２チャネル入力オーディオＣｈ２を第１チャネル入力オーディオＣｈ１と加算するために、第１チャネル入力オーディオＣｈ１と第２チャネル入力オーディオＣｈ２との位相差に係わる情報だけもってしても、第１チャネル入力オーディオＣｈ１及び第２チャネル入力オーディオＣｈ２それぞれの位相を計算することができる。
【００５７】
サブバンドｋのオーディオを例に挙げて説明すれば、周波数ｆ１，ｆ２，…，ｆｎで、第２チャネル入力オーディオＣｈ２の位相を周波数ｆ１，ｆ２，…，ｆｎで、第１チャネル入力オーディオＣｈ１の位相と同一になるようにそれぞれ調節する。周波数ｆ１で第１チャネル入力オーディオＣｈ１の位相を調節する場合を例に挙げて説明すれば、周波数ｆ１で、第１チャネル入力オーディオＣｈ１が、｜Ｃｈ１｜ｅｉ（２πｆ１ｔ＋θ１）と表示され、第２チャネル入力オーディオＣｈ２が、｜Ｃｈ２｜ｅｉ（２πｆ１ｔ＋θ２）と表示されれば、周波数ｆ１で位相調節された第２チャネル入力オーディオＣｈ２’は、次の数式｜Ｃｈ２｜ｅｉ（２πｆ１ｔ＋θ１）の通りである。ここで、θ１は、周波数ｆ１で、第１チャネル入力オーディオＣｈ１の位相であり、θ２は、周波数ｆ１で、第２チャネル入力オーディオＣｈ２の位相を示す。かような位相調節は、サブバンドｋの他の周波数、すなわち、ｆ２，ｆ３，…，ｆｎで、第２チャネル入力オーディオＣｈ２に対して反復して、サブバンドｋで位相調節された第２チャネル入力オーディオＣｈ２を生成する。
【００５８】
サブバンドｋで位相調節された第２チャネル入力オーディオＣｈ２は、第１チャネル入力オーディオＣｈ１の位相と同一であるので、第１チャネル入力オーディオＣｈ１と、第２チャネル入力オーディオＣｈ２との位相差だけ符号化すれば、出力信号ＢＭ１を復号化する側で、第２チャネル入力オーディオＣｈ２の位相を求めることができる。また、第１チャネル入力オーディオＣｈ１の位相と、ダウンミックス部で生成された出力信号ＢＭ１との位相は、同一であるので、別途に、第１チャネル入力オーディオＣｈ１の位相に係わる情報を符号化する必要がない。
【００５９】
従って、第１チャネル入力オーディオＣｈ１と、第２チャネル入力オーディオＣｈ２との位相差に係わる情報だけを符号化すれば、復号化する側では、その符号化された情報を利用し、第１チャネル入力オーディオＣｈ１及び第２チャネル入力オーディオＣｈ２の位相を計算することができる。
【００６０】
一方、前述のサブバンドｋでのチャネルオーディオの強度ベクトルを利用し、第１チャネル入力オーディオＣｈ１と、第２チャネル入力オーディオＣｈ２との強度を決定するための情報を符号化する方法と、位相調節を利用し、サブバンドｋで第１チャネル入力オーディオＣｈ１と、第２チャネル入力オーディオＣｈ２との位相を決定するための情報と、を符号化する方法は、それぞれ独立して利用されもし、組み合わせて利用されもする。換言すれば、第１チャネル入力オーディオＣｈ１と、第２チャネル入力オーディオＣｈ２との強度を決定するための情報は、本発明によって、ベクトルを利用して符号化し、第１チャネル入力オーディオＣｈ１と、第２チャネル入力オーディオＣｈ２との位相を決定するための情報は、従来技術のように、全位相差（ＯＰＤ）及びチャネル間位相差（ＩＰＤ）を符号化することができる。反対に、第１チャネル入力オーディオＣｈ１と、第２チャネル入力オーディオＣｈ２との強度を決定するための情報は、従来技術によって、チャネル間強度差（ＩＩＤ）及びチャネル間相関度（ＩＣ）を利用して符号化し、第１チャネル入力オーディオＣｈ１と、第２チャネル入力オーディオＣｈ２との位相を決定するための情報だけ、本発明のように、位相調節を利用して符号化することもできる。
【００６１】
前述のような第１付加情報を生成する過程は、図２に図示されたダウンミックス部から出力されるダウンミックスされたオーディオ信号から、２個の入力オーディオ信号を復元するための第１付加情報を生成するときにも、同一に適用される。
【００６２】
一方、マルチチャネル符号化部１１０は、前述の実施形態に限定されるものではなく、マルチチャネルのオーディオ信号に対する符号化を行い、ダウンミックスされたオーディオ信号を出力し、ダウンミックスされたオーディオ信号をさらにマルチチャネル・オーディオ信号に復元するための付加情報を生成する他のパラメトリック符号化装置を利用することができる。
【００６３】
再び図１を参照するに、マルチチャネル符号化部１１０で生成されたダウンミックスされたオーディオ信号及び第１付加情報は、レジデュアル信号生成部１２０に入力される。
【００６４】
レジデュアル信号生成部１２０は、ダウンミックスされたオーディオ信号及び第１付加情報を利用し、マルチチャネル・オーディオ信号を復元し、入力マルチチャネル・オーディオ信号と、復元されたマルチチャネル・オーディオ信号との差値であるレジデュアル信号を生成する。
【００６５】
図４は、図１のレジデュアル信号生成部１２０の一実施形態を示したブロック図である。図４を参照するに、レジデュアル信号生成部１２０は、復元部４１０及び減算部４２０を含む。
【００６６】
復元部４１０は、マルチチャネル符号化部１１０から出力されるダウンミックスされたオーディオ信号及び第１付加情報を利用し、マルチチャネル・オーディオ信号を復元する。具体的には、復元部４１０は、第１付加情報を利用し、ダウンミックスされたオーディオ信号それぞれから２個のアップミックスされた出力信号を生成し、アップミックスされた出力信号それぞれをさらにアップミックスする過程を反復することによって、マルチチャネル・オーディオ信号を復元する。
【００６７】
減算部４２０は、復元されたマルチチャネル・オーディオ信号と入力オーディオ信号とのの差値を計算し、チャネル別レジデュアル信号Ｒｅｓ １ないしＲｅｓ ｎを生成する。
【００６８】
図５は、図４の復元部４１０の一実施形態を示したブロック図である。図５を参照するに、復元部５１０は、第１付加情報に基づいて、ダウンミックスされた１つのオーディオ信号から２個のオーディオ信号を復元し、復元された２個のオーディオ信号それぞれを、さらに該当第１付加情報を利用して２個のオーディオ信号に復元する過程を反復することによって、入力マルチチャネルと同一個数のｎ個の復元されたマルチチャネル・オーディオ信号を生成する。復元部５１０の各アップミックス部５１１ないし５１７は、第１付加情報を利用して１つのダウンミックスされたオーディオ信号をアップミックスし、２個のアップミックスされた信号を出力し、かようなアップミックス過程は、入力マルチチャネルと同一個数のマルチチャネル・オーディオ信号が復元されるまで反復される。
【００６９】
具体的に、アップミックス部５１１ないし５１７の動作について説明する。ただし、説明の便宜のために、図５に図示されたアップミックス部のうち、ダウンミックスされたオーディオ信号ＴＲｊに対するアップミックスを行い、第１チャネル入力オーディオＣｈ１及び第２チャネル入力オーディオＣｈ２を出力するアップミックス部５１４の動作を中心に説明する。アップミックス部５１４の動作過程は、図５に図示された他のアップミックス部にも同一に適用可能である。
【００７０】
図３Ａを再び参照するに、アップミックス部５１４は、サブバンドｋで、第１チャネル入力オーディオＣｈ１と、第２チャネル入力オーディオＣｈ２との強度を決定するための情報として、ダウンミックスされたオーディオ信号ＴＲｊの強度に係わるベクトルである
【００７１】
【数１７】
が、第１チャネル入力オーディオＣｈ１の強度に係わるベクトルである
【００７２】
【数１８】
または第２チャネル入力オーディオＣｈ２の強度に係わるベクトルである
【００７３】
【数１９】
となす角度に係わる情報を利用する。望ましくは、
【００７４】
【数２０】
との間の角度のコサイン値、または
【００７５】
【数２１】
との間の角度のコサイン値に係わる情報を利用することができる。
【００７６】
図３Ｂの例では、
【００７７】
【数２２】
との間の角度（θ０）が６０°であると仮定すれば、第１チャネル入力オーディオＣｈ１の強度、すなわち
【００７８】
【数２３】
の大きさは、｜Ｃｈ１｜＝｜ＢＭ１｜＊ｓｉｎθｍ／ｃｏｓ（π／１２）によって計算される。ここで、｜ＢＭ１｜は、ダウンミックスされたオーディオ信号ＴＲｊの強度、すなわち、
【００７９】
【数２４】
の大きさであり、
【００８０】
【数２５】
との間の角度は、１５°である。同様に、
【００８１】
【数２６】
との間の角度（θ０）が６０°であると仮定すれば、第２チャネル入力オーディオＣｈ２の強度、すなわち、
【００８２】
【数２７】
の大きさは、｜Ｃｈ２｜＝｜ＢＭ１｜＊ｃｏｓθｍ／ｃｏｓ（π／１２）によって計算可能されるということは当業者に自明である。ただし、ここでは、
【００８３】
【数２８】
とＣｈ２’との間の角度が１５°である場合を例に挙げた。
【００８４】
また、アップミックス部５１４は、サブバンドｋで、第１チャネル入力オーディオＣｈ１と、第２チャネル入力オーディオＣｈ２との位相を決定するための情報として、第１チャネル入力オーディオＣｈ１と、第２チャネル入力オーディオＣｈ２との位相差に係わる情報を利用することができる。ダウンミックスされたオーディオ信号ＴＲｊを符号化するとき、第１チャネル入力オーディオＣｈ１の位相と同一になるように、第２チャネル入力オーディオＣｈ２の位相をすでに調節した場合には、アップミックス部５１４が、第１チャネル入力オーディオＣｈ１と、第２チャネル入力オーディオＣｈ２との位相差に係わる情報だけを利用し、第１チャネル入力オーディオＣｈ１の位相及び第２チャネル入力オーディオＣｈ２の位相を計算することができる。
【００８５】
一方、前述のサブバンドｋで、第１チャネル入力オーディオＣｈ１と、第２チャネル入力オーディオＣｈ２との強度を決定するための情報をベクトルを利用して復号化する方法と、サブバンドｋで、第１チャネル入力オーディオＣｈ１と、第２チャネル入力オーディオＣｈ２との位相を決定するための情報を、位相調節を利用して復号化する方法は、それぞれ独立して利用されもし、あるいは組み合わせて共に利用されもする。
【００８６】
再び図１を参照するに、レジデュアル信号生成部１２０で復元されたマルチチャネル・オーディオ信号と、入力マルチチャネル・オーディオ信号との差値であるレジデュアル信号が生成されれば、レジデュアル信号符号化部１３０は、レジデュアル信号の特性を示す第２付加情報を生成する。第２付加情報は、復号化側でダウンミックスされたオーディオ信号及び第１付加情報を利用して復元されたマルチチャネル・オーディオ信号が、入力オーディオ信号の特性と最大限同一になるように復元されたマルチチャネル・オーディオ信号を補正する一種の向上階層情報に該当する。後述するように、第２付加情報は、復号化側で復元されたマルチチャネル・オーディオ信号を補正するのに利用される。
【００８７】
多重化部１４０は、マルチチャネル符号化部１１０から出力されるダウンミックスされたオーディオ信号及び第１付加情報と、レジデュアル信号符号化部１３０で出力される第２付加情報とを多重化し、多重化されたオーディオ・ビットストリームを生成する。
【００８８】
以下、レジデュアル信号符号化部１３０で第２付加情報を生成する過程について具体的に説明する。
【００８９】
第２付加情報は、入力マルチチャネル・オーディオ信号の２個の互いに異なるチャネル間の相関度を示すチャネル間相関度パラメータ（ＩＣＣ）を含む。具体的には、入力マルチチャネルの個数をＮ個（Ｎは正の整数）、入力マルチチャネルのうち、ｉ番目（ｉ＝１からＮ−１までの整数）チャネルと、ｉ＋１番目チャネルとのチャネル間相関度パラメータをΦｉ，ｉ＋１，ｋは、サンプル・インデックス、ｘｉ（ｋ）は、任意のｋでサンプリングされたｉチャネルの入力オーディオ信号値、ｄは、所定の整数値を有する遅延値、ｌは、サンプリング区間の長さとするとき、レジデュアル信号符号化部１３０は、ｉ番目のチャネルと、ｉ＋１番目のチャネルとの相関度パラメータΦｉ，ｉ＋１を次の式（１）のように計算する。
【００９０】
【数２９】
例えば、入力オーディオ信号が、５．１チャネルのオーディオ信号であり、レフト（Ｌ）、サラウンドレフト（Ｌｓ）、センター（Ｃ）、サブウーファ（Ｓｗ）、ライト（Ｒ）、サラウンドライト（Ｒｓ）の順序で、チャネルインデックスｉが１から６までの値を有するならば、レジデュアル信号符号化部１３０は、Φ１，２、Φ２，３、Φ３，４、Φ４，５、Φ５，６及びΦ１，６のうち少なくとも１つのチャネル間相関度パラメータを計算する。後述するように、かようなチャネル間相関度パラメータ（ＩＣＣ）は、復号化側で復元された第１マルチチャネル・オーディオ信号、及び第１マルチチャネル・オーディオ信号と所定の位相差を有する第２マルチチャネル・オーディオ信号を結合し、最終復元オーディオ信号を生成するとき、第１マルチチャネル・オーディオ信号及び第２マルチチャネル・オーディオ信号の結合比率である加重値を決定するのに利用される。
【００９１】
前述のチャネル間相関度パラメータ（ＩＣＣ）以外に、レジデュアル信号符号化部１３０は、入力中央チャネルのオーディオ信号と、復元された中央チャネルオーディオ信号とのエネルギー比率を示す中央チャネル補正パラメータ、及び全チャネルで、入力マルチチャネル・オーディオ信号と、復元されたマルチチャネル・オーディオ信号とのエネルギー比率を示す全チャネル補正パラメータをさらに生成することができる。
【００９２】
具体的には、ｋは、サンプル・インデックス、ｘｃ（ｋ）は、任意のｋでサンプリングされたセンターチャネルの入力オーディオ信号値、ｘ’ｃ（ｋ）は、任意のｋでサンプリングされたセンターチャネルの復元されたオーディオ信号値、ｌ（ｌは整数）は、サンプリング区間の長さとするとき、レジデュアル信号符号化部１３０は、次の式（２）のように、中央チャネル補正パラメータ（κ）を生成する。
【００９３】
【数３０】
式（２）に記載されたように、中央チャネル補正パラメータ（κ）は、入力中央チャネルオーディオ信号と、復元された中央チャネルオーディオ信号とのエネルギー比率を示すものであり、後述するように、復号化側で復元された中央チャネルのオーディオ信号を補正するのに利用される。このように、別途に中央チャネルのオーディオ信号を補正するための中央チャネル補正パラメータ（κ）を生成する理由は、パラメトリック・オーディオ・コーディング時に、中央チャネルの信号が劣化される傾向があるために、かような中央チャネルの劣化現象を補償するためである。
【００９４】
また、入力マルチチャネルの個数をＮ個（Ｎは正の整数）、ｋは、サンプル・インデックス、ｘｉ（ｋ）は、任意のｋでサンプリングされたｉチャネルの入力オーディオ信号値、ｘ’ｉ（ｋ）は、任意のｋでサンプリングされたｉチャネルの復元されたオーディオ信号値、ｌ（ｌは整数）は、サンプリング区間の長さとするとき、レジデュアル信号符号化部１３０は、次の式（３）のように、全チャネル補正パラメータ（δ）を生成する。
【００９５】
【数３１】
式（３）に記載されたように、全チャネル補正パラメータ（δ）は、全チャネルでの入力オーディオ信号と、復元された全チャネルオーディオ信号とのエネルギー比率を示すものであり、後述するように、復号化側で復元された全チャネルのオーディオ信号を補正するのに利用される。
【００９６】
図６は、本発明の一実施形態によるマルチチャネル・オーディオ信号の符号化方法を示したフローチャートである。図６を参照するに、段階６１０で、入力マルチチャネル・オーディオ信号に対するパラメトリック符号化を行い、ダウンミックスされたオーディオ信号、及びダウンミックスされたオーディオ信号をマルチチャネル・オーディオ信号に復元するための第１付加情報を生成する。前述のように、マルチチャネル符号化部１１０は、入力マルチチャネル・オーディオ信号をステレオ信号またはモノ信号にダウンミックスし、ダウンミックスされたオーディオ信号をさらにマルチチャネル・オーディオ信号に復元するための第１付加情報を生成する。第１付加情報は、ダウンミックスされる信号の強度（intensity）を決定するための情報、及びダウンミックスされる信号間の位相差に係わる情報を含んでもよい。
【００９７】
段階６２０で、ダウンミックスされたオーディオ信号及び第１付加情報を利用して復元されたマルチチャネル・オーディオ信号と、入力マルチチャネル・オーディオ信号との差値であるレジデュアル信号を生成する。復元されたマルチチャネル・オーディオ信号を生成する過程は、図５を参照して述べたように、ダウンミックスされたオーディオ信号それぞれをアップミックスし、２個のアップミックスされた出力信号を生成し、さらに出力信号それぞれをアップミックスする過程を反復することによって行われる。
【００９８】
段階６３０で、レジデュアル信号の特性を示す第２付加情報を生成する。第２付加情報は、復号化側で復号化されたマルチチャネル・オーディオ信号を補正するのに利用され、少なくとも入力マルチチャネル・オーディオ信号の２個の互いに異なるチャネル間の相関度を示すチャネル間相関度（ＩＣＣ）パラメータを含まねばならない。さらに、第２付加情報としては、入力中央チャネルのオーディオ信号と、復元された中央チャネルオーディオ信号とのエネルギー比率を示す中央チャネル補正パラメータ、及び全チャネルでの入力マルチチャネル・オーディオ信号と、復元されたマルチチャネル・オーディオ信号とのエネルギー比率を示す全チャネル補正パラメータがさらに含まれてもよい。
【００９９】
段階６４０で、ダウンミックスされたオーディオ信号、前記第１付加情報及び前記第２付加情報を多重化する。
【０１００】
図７は、本発明の一実施形態によるマルチチャネル・オーディオ信号の復号化装置を示したブロック図である。図７を参照するに、本発明の一実施形態によるマルチチャネル・オーディオ信号の復号化装置７００は、逆多重化部７１０、マルチャネル復号化部７２０、位相変位部７３０及び結合部７４０を含む。
【０１０１】
逆多重化部７１０は、符号化されたオーディオ・ビットストリームをパージングし、オーディオ・ビットストリームから、ダウンミックスされたオーディオ信号、ダウンミックスされたオーディオ信号をマルチチャネル・オーディオ信号に復元するための第１付加情報、及びレジデュアル信号の特性を示す第２付加情報を抽出する。
【０１０２】
マルチチャネル復号化部７２０は、第１付加情報に基づいてダウンミックスされたオーディオ信号から、第１マルチチャネル・オーディオ信号を復元する。前述の図５の復元部５１０と同一に、マルチチャネル復号化部７２０は、第１付加情報を利用し、ダウンミックスされたオーディオ信号それぞれから２個のアップミックスされた出力信号を生成し、アップミックスされた出力信号それぞれを、さらにアップミックスする過程を反復することによって、マルチチャネル・オーディオ信号を復元する。このように復元されたマルチチャネル・オーディオ信号を、第１マルチチャネル・オーディオ信号と定義する。
【０１０３】
位相変位部７３０は、第１マルチチャネル・オーディオ信号と所定の位相差を有する第２マルチチャネル・オーディオ信号を生成する。すなわち、位相変位部７３０は、第１マルチチャネル・オーディオ信号のうち、ｎチャネルのオーディオ信号をｔｎ、第２マルチチャネル・オーディオ信号のうち、ｎチャネルのオーディオ信号をｔｎ’、所定の位相差をθｄとするとき、ｔｎ’＝ｔｎ＊ｅｘｐ（ｉ＊θｄ）の関係が成立するように位相変位された第２マルチチャネル・オーディオ信号を生成する。例えば、図８に図示されたｖ１信号及びｖ２信号のように、第１マルチチャネル・オーディオ信号と第２マルチチャネル・オーディオ信号は、９０°の位相差を有することが望ましい。
【０１０４】
このように、第１マルチチャネル・オーディオ信号と所定の位相差を有する第２マルチチャネル・オーディオ信号を生成する理由は、第１マルチチャネル・オーディオ信号と、第２マルチチャネル・オーディオ信号とを結合することによって、マルチチャネル・オーディオ信号を符号化するときに発生した位相損失を補償するためである。前述の本発明の一実施形態によるマルチチャネル・オーディオ信号の符号化装置によれば、マルチチャネル・オーディオ信号をダウンミックスするとき、２個の入力オーディオ信号間をダウンミックスした後、さらにアップミックスを介して２個の入力オーディオ信号を復元しても、２個の入力オーディオ信号間に存在した位相差は、平均化されて損失される。たとえ第１付加情報として、２個の入力オーディオ信号間の位相差に係わる情報を伝送しても、かような第１付加情報を介して復元された信号は、本来のオーディオ信号に存在した位相情報とは差が発生し、かような差は、復号化されたマルチチャネル・オーディオ信号の音質向上に阻害となる。
【０１０５】
結合部７４０は、第２付加情報を利用し、第１マルチチャネル・オーディオ信号と、第２マルチチャネル・オーディオ信号とを結合し、最終復元オーディオ信号を生成する。具体的には、結合部７４０は、各チャネル別に、第１マルチチャネル・オーディオ信号及び第２マルチチャネル・オーディオ信号それぞれに、所定の加重値を乗じた後で加算し、各チャネル別結合オーディオ信号を生成する。例えば、ｎチャネルの第１マルチチャネル・オーディオ信号ｔｎに乗じられる加重値をα、ｎチャネルの第２マルチチャネル・オーディオ信号ｔｎ’に乗じられる加重値をβとすれば、ｎチャネルの結合オーディオ信号ｕｎは、次の数式ｕｎ＝αｔｎ＋βｔｎ’のように表現されてもよい。
【０１０６】
結合部７４０は、第２付加情報に含まれた入力マルチチャネル・オーディオ信号の２個の互いに異なるチャネル間の相関度を示すチャネル間相関度パラメータ（ＩＣＣ）、及び２個の互いに異なるチャネル間の結合オーディオ信号間の相関度の関係を利用して加重値を計算する。入力マルチチャネルの個数をＮ個（Ｎは正の整数）、入力マルチチャネルのうち、ｉ番目（ｉ＝１からＮ−１までの整数）チャネルと、ｉ＋１番目のチャネルとのチャネル間相関度パラメータをΦｉ，ｉ＋１、ｋは、サンプル・インデックス、ｘｉ（ｋ）は、任意のｋでサンプリングされたｉチャネルの入力オーディオ信号値、ｄは、所定の整数値を有する遅延値、ｌは、サンプリング区間の長さとするとき、次の式（４）を満足する加重値α及びβを計算する。
【０１０７】
【数３２】
式（４）を介して、加重値α及びβが決定されれば、結合部７４０は、ｕｎ＝αｔｎ＋βｔｎ’を介して計算されるｎチャネルの結合オーディオ信号を、ｎチャネルの最終復元オーディオ信号として決定する。結合部７４０は、あらゆるマルチチャネルに対して、前述の過程を反復して、最終復元オーディオ信号を生成する。
【０１０８】
前述のように、チャネル間相関度パラメータ（ＩＣＣ）を利用して最終復元オーディオ信号が生成された後、結合部７４０は、さらに第２付加情報に備わった入力中央チャネルのオーディオ信号と、復元された中央チャネルオーディオ信号とのエネルギー比率を示す中央チャネル補正パラメータ、及び全チャネルで、入力マルチチャネル・オーディオ信号と、復元されたマルチチャネル・オーディオ信号とのエネルギー比率を示す全チャネル補正パラメータを利用し、最終復元オーディオ信号を補正することができる。
【０１０９】
具体的には、結合部７４０は、全チャネル補正パラメータを利用し、最終復元オーディオ信号の全チャネルのオーディオ信号を補正する。例えば、結合部７４０は、ｎチャネルの最終復元オーディオ信号ｕｎと全チャネル補正パラメータ（δ）とを乗じ、ｎチャネルの最終復元オーディオ信号ｕｎを補正する。かような過程は、あらゆるチャネルに対して行われる。また、結合部７４０は、中央チャネルの最終復元オーディオ信号に、全チャネル補正パラメータ（δ）及び中央チャネル補正パラメータ（κ）を乗じることによって、パラメトリック符号化時に劣化されやすい中央チャネルのオーディオ信号を補正することができる。
【０１１０】
前述のように、本発明の一実施形態によるマルチチャネル・オーディオ信号の復号化装置は、チャネル間相関度を利用し、位相差を有する第１マルチチャネル・オーディオ信号と、第２マルチチャネル・オーディオ信号とを結合する一方、全チャネル補正パラメータ（δ）及び中央チャネル補正パラメータ（κ）を利用し、あらゆるチャネルの復元オーディオ信号及び中央チャネルのオーディオ信号を補正することによって、復元されたマルチチャネル・オーディオ信号の音質を向上させることができる。
【０１１１】
図９は、本発明の一実施形態によるマルチチャネル・オーディオ信号の復号化方法を示したフローチャートである。図９を参照するに、段階９１０で、符号化されたオーディオデータからダウンミックスされたオーディオ信号、ダウンミックスされたオーディオ信号をマルチチャネル・オーディオ信号に復元するための第１付加情報、及び符号化時に入力マルチチャネル・オーディオ信号と、符号化された後で復元されたマルチチャネル・オーディオ信号との差値であるレジデュアル信号の特性を示す第２付加情報を抽出する。
【０１１２】
段階９２０で、ダウンミックスされたオーディオ信号及び第１付加情報を利用し、第１マルチチャネル・オーディオ信号を復元する。前述のように、第１マルチチャネル・オーディオ信号は、第１付加情報を利用し、ダウンミックスされたオーディオ信号それぞれから２個のアップミックスされた出力信号を生成し、アップミックスされた出力信号それぞれをさらにアップミックスする過程を反復することによって生成される。
【０１１３】
段階９３０で、復元された第１マルチチャネル・オーディオ信号と所定の位相差を有する第２マルチチャネル・オーディオ信号を生成する。所定の位相差は、９０°であることが望ましい。
【０１１４】
段階９４０で、第２付加情報を利用し、第１マルチチャネル・オーディオ信号と、第２マルチチャネル・オーディオ信号とを結合することによって、最終復元オーディオ信号を生成する。具体的には、結合部７４０は、第２付加情報に含まれた入力マルチチャネル・オーディオ信号の２個の互いに異なるチャネル間の相関度を示すチャネル間相関度パラメータ（ＩＣＣ）、及び２個の互いに異なるチャネル間の結合オーディオ信号間の相関度の関係を利用し、第１マルチチャネル・オーディオ信号及び第２マルチチャネル・オーディオ信号に乗じられる加重値を計算する。そして、結合部７４０は、計算された加重値を利用し、第１マルチチャネル・オーディオ信号と、第２マルチチャネル・オーディオ信号との加重和を計算することによって、最終復元オーディオ信号を生成する。付加的には、結合部７４０は、全チャネル補正パラメータ（δ）及び中央チャネル補正パラメータ（κ）を利用し、あらゆるチャネルの復元オーディオ信号及び中央チャネルのオーディオ信号を補正することによって、復元されたマルチチャネル・オーディオ信号の音質を向上させることができる。
【０１１５】
一方、前述の本発明の実施形態によるマルチチャネル・オーディオ信号の符号化及び復号化方法は、コンピュータで実行可能であるプログラムに作成可能であり、コンピュータで読み取り可能な記録媒体を利用し、前記プログラムを動作させる汎用デジタルコンピュータで具現されてもよい。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（read-only memory）、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤ（digital versatile disc）など）のような記録媒体を含む。
【０１１６】
以上、本発明についてその望ましい実施形態を中心に述べた。本発明が属する技術分野で当業者であるならば、本発明が本発明の本質的な特性から外れない範囲で変形された形態で具現可能であるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなくして、説明的な観点から考慮されねばならない。本発明の範囲は、前述の説明ではなくして、特許請求の範囲に示されており、それと同等な範囲内にあるあらゆる差異点は、本発明に含まれたものであると解釈されねばならない。
【技術分野】
【０００１】
本発明は、マルチチャネル・オーディオ信号の符号化及び復号化に係り、さらに詳細には、符号化されたマルチチャネル・オーディオ信号の復元時に、各チャネルの音質を向上させることができるレジデュアル信号を所定のパラメータ情報として符号化し、これをマルチチャネル・オーディオ信号の復号化時に利用するマルチチャネル・オーディオ信号の符号化／復号化方法及び該装置に関する。
【背景技術】
【０００２】
一般的に、マルチチャネル・オーディオを符号化する方法には、ウェーブフォーム（waveform）オーディオ・コーディングと、パラメトリック（parametric）・オーディオ・コーディングとがある。ウェーブフォーム符号化には、ＭＰＥＧ（moving picture experts group）−２ＭＣ（multi-channel）オーディオ・コーディング、ＡＡＣ（advanced audio coding）ＭＣオーディオ・コーディング及びＢＳＡＣ（bit-sliced arithmetic coding）／ＡＶＳ（audio videio）ＭＣオーディオ・コーディングなどがある。
【０００３】
パラメトリック・オーディオ・コーディングでは、オーディオ信号を周波数ドメインで、周波数、振幅のような成分に分解し、かような周波数、振幅に係わる情報をパラメータ化してオーディオ信号を符号化する。例えば、パラメトリック・オーディオ・コーディングを利用して、ステレオオーディオ信号を符号化する場合、左チャネルオーディオと右チャネルオーディオとをダウンミックスしてモノオーディオを生成し、生成されたモノオーディオを符号化する。そして、複数の周波数バンドそれぞれに対してチャネル間強度差（ＩＩＤ：interchannel intensity difference）、チャネル間相関度（ＩＤ：interchannel correlation）、全位相差（ＯＰＤ：overall phase difference）及びチャネル間位相差（ＩＰＤ：interchannel phase difference）のようなパラメータを符号化する。ここで、チャネル間強度差（ＩＩＤ）に係わるパラメータ、及びチャネル間相関度（ＩＤ）に係わるパラメータは、ステレオオーディオ信号の復号化時に、左チャネルオーディオと右チャネルオーディオとの強度を決定するための情報として利用され、全位相差（ＯＰＤ）に係わるパラメータ及びチャネル間位相差（ＩＰＤ）に係わるパラメータは、ステレオオーディオ信号の復号化時に、左チャネルオーディオと右チャネルオーディオとの位相を決定するための情報として利用される。
【０００４】
かようなパラメトリック・オーディオ・コーディング方式などでは、符号化された後で復元されたオーディオ信号と入力オーディオ信号との間に差が発生する。一般的に、符号化された後で復元されたオーディオ信号と、入力オーディオ信号との差値をレジデュアル（residual）信号と定義する。かようなレジデュアル信号は、一種の符号化エラーを示す。オーディオ信号の復元時に、各チャネルの音質を向上させるためには、かようなレジデュアル信号を符号化し、符号化されたレジデュアル信号を復元時に利用する必要がある。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、パラメトリック・オーディオ・コーディングで、オーディオ信号の音質を向上させるためには、レジデュアル信号情報を効率的に符号化する必要がある。
【課題を解決するための手段】
【０００６】
本発明の一側面は、マルチチャネル・オーディオ信号の符号化時に復元されたマルチチャネル・オーディオ信号と、入力マルチチャネル・オーディオ信号とのの差値であるレジデュアル信号が最小になるように、レジデュアル信号情報を効率的に伝送するマルチチャネル・オーディオ信号の符号化方法及び該装置を提供することである。本発明の他の側面は、符号化されたレジデュアル信号情報をマルチチャネル・オーディオ信号の復号化時に利用することによって、各チャネルの音質を向上させるマルチチャネル・オーディオ信号の復号化方法及び該装置を提供することである。
【発明の効果】
【０００７】
本発明によれば、符号化時に最小限のレジデュアル信号情報を効率的に符号化し、復号化時にレジデュアル信号を利用し、マルチチャネル・オーディオ信号の各チャネルの音質を向上させることができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態によるマルチチャネル・オーディオ信号の符号化装置の構成を示したブロック図である。
【図２】図１のマルチチャネル符号化部の一実施形態を示したブロック図である。
【図３Ａ】本発明の一実施形態によって、第１チャネル入力オーディオ及び第２チャネル入力オーディオの強度に係わる情報を生成する方法を説明するための参照図である。
【図３Ｂ】本発明の他の実施形態によって、第１チャネル入力オーディオ及び第２チャネル入力オーディオの強度に係わる情報を生成する方法を説明するための参照図である。
【図４】図１のレジデュアル信号生成部の一実施形態を示したブロック図である。
【図５】図４の復元部の一実施形態を示したブロック図である。
【図６】本発明の一実施形態によるマルチチャネル・オーディオ信号の符号化方法を示したフローチャートである。
【図７】本発明の一実施形態によるマルチチャネル・オーディオ信号の復号化装置を示したブロック図である。
【図８】互いに９０°の位相差を有するオーディオ信号を示したグラフである。
【図９】本発明の一実施形態によるマルチチャネル・オーディオ信号の復号化方法を示したフローチャートである。
【発明を実施するための形態】
【０００９】
本発明が解決しようとする技術的課題は、マルチチャネル・オーディオ信号の符号化時に復元されたマルチチャネル・オーディオ信号と、入力マルチチャネル・オーディオ信号との差値であるレジデュアル信号が最小になるように、レジデュアル信号情報を効率的に伝送するマルチチャネル・オーディオ信号の符号化方法及び該装置を提供することである。また、本発明が解決しようとする技術的課題は、符号化されたレジデュアル信号情報をマルチチャネル・オーディオ信号の復号化時に利用することによって、各チャネルの音質を向上させるマルチチャネル・オーディオ信号の復号化方法及び該装置を提供することである。
【００１０】
本発明の一実施形態によるマルチチャネル・オーディオ信号の符号化方法は、入力マルチチャネル・オーディオ信号に対するパラメトリック符号化を行い、ダウンミックスされたオーディオ信号を生成する段階と、前記ダウンミックスされたオーディオ信号を前記マルチチャネル・オーディオ信号に復元するための第１付加情報を生成する段階と、前記ダウンミックスされたオーディオ信号及び前記第１付加情報を利用して復元されたマルチチャネル・オーディオ信号と、前記入力マルチチャネル・オーディオ信号との差値であるレジデュアル信号を生成する段階と、前記レジデュアル信号の特性を示す第２付加情報を生成する段階と、前記ダウンミックスされたオーディオ信号、前記第１付加情報及び前記第２付加情報を多重化する段階と、を含むことを特徴とする。
【００１１】
本発明の一実施形態によるマルチチャネル・オーディオ信号の符号化装置は、入力マルチチャネル・オーディオ信号に対する符号化を行い、ダウンミックスされたオーディオ信号及び前記ダウンミックスされたオーディオ信号を前記マルチチャネル・オーディオ信号に復元するための第１付加情報を生成するマルチチャネル符号化部；前記ダウンミックスされたオーディオ信号及び前記第１付加情報を利用して復元されたマルチチャネル・オーディオ信号と、前記入力マルチチャネル・オーディオ信号との差値であるレジデュアル信号を生成するレジデュアル信号生成部；前記レジデュアル信号の特性を示す第２付加情報を生成するレジデュアル信号符号化部；及び前記ダウンミックスされたオーディオ信号、前記第１付加情報及び前記第２付加情報を多重化する多重化部；を含むことを特徴とする。
【００１２】
本発明の一実施形態によるマルチチャネル・オーディオ信号の復号化方法は、符号化されたオーディオデータからダウンミックスされたオーディオ信号、前記ダウンミックスされたオーディオ信号をマルチチャネル・オーディオ信号に復元するための第１付加情報、及び符号化時に入力マルチチャネル・オーディオ信号と、符号化された後で復元されたマルチチャネル・オーディオ信号との差値であるレジデュアル信号の特性を示す第２付加情報を抽出する段階と、前記ダウンミックスされたオーディオ信号及び前記第１付加情報を利用し、第１マルチチャネル・オーディオ信号を復元する段階と、前記復元された第１マルチチャネル・オーディオ信号と所定の位相差を有する第２マルチチャネル・オーディオ信号を生成する段階と、前記第２付加情報を利用し、前記第１マルチチャネル・オーディオ信号と、前記第２マルチチャネル・オーディオ信号とを結合して最終復元オーディオ信号を生成する段階と、を含むことを特徴とする。
【００１３】
本発明の一実施形態によるマルチチャネル・オーディオ信号の復号化装置は、符号化されたオーディオデータからダウンミックスされたオーディオ信号、前記ダウンミックスされたオーディオ信号をマルチチャネル・オーディオ信号に復元するための第１付加情報、及び符号化時に入力マルチチャネル・オーディオ信号と、符号化された後で復元されたマルチチャネル・オーディオ信号との差値であるレジデュアル信号の特性を示す第２付加情報を抽出する逆多重化部；前記ダウンミックスされたオーディオ信号及び前記第１付加情報を利用し、第１マルチチャネル・オーディオ信号を復元するマルチチャネル復号化部；前記復元された第１マルチチャネル・オーディオ信号と所定の位相差を有する第２マルチチャネル・オーディオ信号を生成する位相変移部；及び前記第２付加情報を利用し、前記第１マルチチャネル・オーディオ信号と、前記第２マルチチャネル・オーディオ信号とを結合して最終復元オーディオ信号を生成する結合部を；含むことを特徴とする。
【００１４】
以下、添付された図面を参照しつつ、本発明の望ましい実施形態について具体的に説明する。
【００１５】
図１は、本発明の一実施形態によるマルチチャネル・オーディオ信号の符号化装置の構成を示したブロック図である。図１を参照するに、本発明の一実施形態によるマルチチャネル・オーディオ信号の符号化装置１００は、マルチチャネル符号化部１１０、レジデュアル信号生成部１２０、レジデュアル信号符号化部１３０及び多重化部１４０を含む。入力マルチチャネル・オーディオ信号Ｃｈ１ないしＣｈｎがデジタル信号ではない場合には、ｎ個の入力マルチチャネル・オーディオ信号に対してサンプリング及び量子化を行ってデジタル信号に変換するＡ／Ｄ（analog-digital）変換器（図示せず）がさらに含まれてもよい。
【００１６】
マルチチャネル符号化部１１０は、ｎ個（ｎは、正の整数）の入力マルチチャネル・オーディオ信号に対するパラメトリック符号化を行い、ダウンミックスされたオーディオ信号、及びダウンミックスされたオーディオ信号をさらにマルチチャネル・オーディオ信号に復元するための第１付加情報を生成する。さらに具体的には、マルチチャネル符号化部１１０は、ｎ個の入力マルチチャネル・オーディオ信号を、ｎより少数のチャネルを有するオーディオ信号にダウンミックスし、ダウンミックスされたオーディオ信号をさらにｎ個のマルチチャネルに復元するために必要な第１付加情報を生成する。例えば、入力信号として、５．１チャネルのオーディオ信号、すなわちレフト（Ｌ）、サラウンドレフト（Ｌｓ）、センター（Ｃ）、サブウーファ（Ｓｗ）、ライト（Ｒ）、サラウンドライト（Ｒｓ）の６個のマルチチャネルの信号が、マルチチャネル符号化部１１０に入力される場合を仮定すれば、マルチチャネル符号化部１１０は、５．１チャネルのオーディオ信号をＬ及びＲの２チャネルのステレオ信号にダウンミックスし、２チャネルのステレオ信号を符号化してオーディオビットストリームを生成する一方、２チャネルのステレオ信号をさらに５．１チャネルのオーディオ信号に復元するための第１付加情報を生成する。第１付加情報は、ダウンミックスされる信号の強度（intensity）を決定するための情報、及びダウンミックスされる信号間の位相差に係わる情報を含んでもよい。以下、マルチチャネル符号化部１１０で行われるダウンミックス過程、及び第１付加情報を生成する過程について具体的に説明する。
【００１７】
図２は、図１のマルチチャネル符号化部１１０の一実施形態を示したブロック図である。図２を参照するに、本発明の一実施形態によるマルチチャネル符号化部１１０は、複数個のダウンミックス部１１１ないし１１８及びステレオ信号符号化部１１９を含む。
【００１８】
マルチチャネル符号化部１１０は、ｎ個の入力マルチチャネル・オーディオ信号Ｃｈ１ないしＣｈｎを受信し、受信されたｎ個の入力マルチチャネル・オーディオ信号を、２個のチャネル単位で加算し、ダウンミックスされた出力信号を生成し、ダウンミックスされた出力信号を２個ずつまとめてさらにダウンミックスする過程を反復することによって、ダウンミックスされたオーディオ信号を出力する。例えば、ダウンミックス部１１１は、第１チャネルの入力オーディオ信号Ｃｈ１及び第２チャネルの入力オーディオ信号Ｃｈ２を加算し、ダウンミックスされた出力信号ＢＭ１を生成する。同様に、ダウンミックス部１１２は、第３チャネルの入力オーディオ信号Ｃｈ３及び第４チャネルの入力オーディオ信号Ｃｈ４を加算し、ダウンミックスされた出力信号ＢＭ２を生成する。２個のダウンミックス部１１１，１１２で出力される２個のダウンミックスされた出力信号ＢＭ１，ＢＭ２は、さらにダウンミックス部１１３を介してダウンミックスされ、ダウンミックスされた出力信号ＴＭ１が出力される。かようなダウンミックス過程は、図２に図示されたように、Ｌ及びＲの２チャネルのステレオ信号が発生するまで反復されたり、Ｌ及びＲのステレオ信号をさらにダウンミックスしたモノ信号が出力されるまで反復されてもよい。
【００１９】
ステレオ信号符号化部１１９は、ダウンミックス部１１１ないし１１８を介してダウンミックスされたステレオ信号を符号化し、オーディオ・ビットストリームを生成する。ステレオ信号符号化部１１９としては、ＭＰ３またはＡＡＣ（advanced audio codec）のような一般的なオーディオコーデックが利用されてもよい。
【００２０】
ダウンミックス部１１１ないし１１８は、２個の入力されたオーディオ信号を加算するとき、２個のオーディオ信号のうち１つのオーディオ信号の位相を、他の信号の位相と同一に設定した後、加算を行うことができる。例えば、第１チャネルの入力オーディオ信号Ｃｈ１と、第２チャネルの入力オーディオ信号Ｃｈ２とを加算するとき、ダウンミックス部１１１は、第２チャネルの入力オーディオ信号Ｃｈ２の位相を、第１チャネルの入力オーディオ信号Ｃｈ１と同一に設定した後、位相が調節された第２チャネルの入力オーディオ信号Ｃｈ２と、第１チャネルの入力オーディオ信号Ｃｈ１とを加算することによって、ダウンミックスを行うことができる。これに係わる具体的な内容は後述する。
【００２１】
一方、ダウンミックス部１１１ないし１１８は、２個のオーディオ信号をダウンミックスして１つの出力信号を生成するとき、１つの出力信号をさらに２個のオーディオ信号に復元するために必要な第１付加情報を生成しなければならない。前述のように、第１付加情報は、ダウンミックスされる信号の強度（intensity）を決定するための情報、及びダウンミックスされる信号間の位相差に係わる情報を含んでもよい。もしダウンミックス部１１１ないし１１８として、従来技術のように、ステレオオーディオ信号をモノオーディオ信号にダウンミックスする装置を利用する場合、１つの出力信号に対して、チャネル間強度差（ＩＩＤ：interchannel intensity difference）、チャネル間相関度（ＩＤ：interchannel correlation）、全位相差（ＯＰＤ：overall phase difference）及びチャネル間位相差（ＩＰＤ：interchannel phase difference）のようなパラメータを符号化する必要がある。この場合、チャネル間強度差（ＩＩＤ）に係わるパラメータ及びチャネル間相関度（ＩＤ）に係わるパラメータは、ダウンミックスされた出力信号からダウンミックスされる以前の２個の入力オーディオ信号の強度を決定するための情報として利用され、全位相差（ＯＰＤ）に係わるパラメータ及びチャネル間位相差（ＩＰＤ）に係わるパラメータは、ダウンミックスされた出力信号からダウンミックスされる以前の２個の入力オーディオ信号の位相を決定するための情報として利用される。
【００２２】
特に、本発明の一実施形態によるダウンミックス部１１１ないし１１８は、後述するように、所定のベクトル空間内で２個の入力オーディオ信号と、ダウンミックスされた信号との関係を利用し、ダウンミックスされる以前の２個の入力オーディオ信号の強度及び位相を決定するための情報を含む第１付加情報を生成する。
【００２３】
以下、図３Ａ及び図３Ｂを参照しつつ、第１付加情報を生成する方法について詳細に説明する。説明の便宜のために、マルチチャネル符号化部１１０に含まれた複数個のダウンミックス部において、第１チャネル入力オーディオＣｈ１及び第２チャネル入力オーディオＣｈ２を入力されるダウンミックス部１１１でダウンミックスされた出力信号ＢＭ１を生成するとき、第１付加情報を生成する方式を中心に説明する。ダウンミックス部１１１で生成される第１付加情報生成過程は、マルチチャネル符号化部１１０に含まれた他のダウンミックス部にも同一に適用可能である。以下では、第１チャネル入力オーディオＣｈ１及び第２チャネル入力オーディオＣｈ２の強度を決定するための情報を生成する場合と、第１チャネル入力オーディオＣｈ１及び第２チャネル入力オーディオＣｈ２の位相を決定するための情報を生成する場合とに分けて説明する。
【００２４】
（１）強度を決定するための情報
パラメトリック・オーディオ・コーディングでは、それぞれのチャネルオーディオを周波数ドメインに変換し、周波数ドメインで、チャネルオーディオそれぞれの強度及び位相に係わる情報を符号化する。オーディオ信号を高速フーリエ変換（Fast Fourier Transform）すれば、オーディオ信号は、周波数ドメインで、離散（discrete）された値によって表現される。すなわち、オーディオ信号は、複数の正弦波の和でもって表現される。パラメトリック・オーディオ・コーディングでは、オーディオ信号が周波数ドメインに変換されれば、周波数ドメインを複数のサブバンドに分割し、それぞれのサブバンドでの第１チャネル入力オーディオＣｈ１と、第２チャネル入力オーディオＣｈ２との強度を決定するための情報、及び第１チャネル入力オーディオＣｈ１と、第２チャネル入力オーディオＣｈ２との位相を決定するための情報を符号化する。このとき、サブバンドｋでの強度及び位相に係わる付加情報を符号化した後、同様に、サブバンドｋ＋１での強度及び位相に係わる付加情報を符号化する。パラメトリック・オーディオ・コーディングでは、かような方式で、全体周波数バンドを複数のサブバンドに分割し、それぞれのサブバンドに対してステレオオーディオ付加情報を符号化する。
【００２５】
以下では、Ｎ個チャネルの入力オーディオを有したステレオオーディオの符号化、復号化と関連して、所定の周波数バンド、すなわち、サブバンドｋで、第１チャネル入力オーディオＣｈ１及び第２チャネル入力オーディオＣｈ２に係わる付加情報を符号化する場合を例に挙げて説明する。
【００２６】
従来技術によるパラメトリック・オーディオ・コーディングで、ステレオオーディオに係わる付加情報を符号化するときには、サブバンドｋで、第１チャネル入力オーディオＣｈ１と、第２チャネル入力オーディオＣｈ２との強度を決定する情報として、チャネル間強度差（ＩＩＤ）及びチャネル間相関度（ＩＣ）に係わる情報を符号化することは、前述した通りである。このときサブバンドｋで、第１チャネル入力オーディオＣｈ１の強度及び第２チャネル入力オーディオＣｈ２の強度をそれぞれ計算し、第１チャネル入力オーディオＣｈ１の強度と、第２チャネル入力オーディオＣｈ２の強度との比率をチャネル間強度差（ＩＩＤ）に係わる情報として符号化する。しかし、２チャネルオーディオの強度間の比率だけでは、復号化側で、第１チャネル入力オーディオＣｈ１の強度及び第２チャネル入力オーディオＣｈ２の強度を決定することができないので、付加情報として、チャネル間相関度（ＩＣ）に係わる情報も共に符号化してビットストリームに挿入する。
【００２７】
本発明の一実施形態によるマルチチャネル・オーディオ信号の符号化方法は、サブバンドｋで、第１チャネル入力オーディオＣｈ１と、第２チャネル入力オーディオＣｈ２との強度を決定するための情報として符号化される付加情報の個数を最小化するために、サブバンドｋで、第１チャネル入力オーディオＣｈ１の強度に係わるベクトル、及び第２チャネル入力オーディオＣｈ２の強度に係わるベクトルを利用する。ここで、第１チャネル入力オーディオＣｈ１を周波数ドメインに変換した周波数スペクトルで、周波数ｆ１，ｆ２，…，ｆｎでの強度の平均値がサブバンドｋでの第１チャネル入力オーディオＣｈ１の強度であり、後述するベクトル
【００２８】
【数１】
の大きさである。
【００２９】
同様に、第２チャネル入力オーディオＣｈ２を周波数ドメインに変換した周波数スペクトルの周波数ｆ１，ｆ２，…，ｆｎでの強度の平均値がサブバンドｋでの第２チャネル入力オーディオＣｈ２の強度であり、後述するベクトル
【００３０】
【数２】
の大きさである。図３Ａ及び図３Ｂを参照しつつ詳細に説明する。
【００３１】
図３Ａは、本発明の一実施形態によって、第１チャネル入力オーディオ及び第２チャネル入力オーディオの強度に係わる情報を生成する方法について説明するための参照図である。図３Ａを参照するに、本発明の一実施形態によるダウンミックス部１１１は、サブバンドｋで、第１チャネル入力オーディオＣｈ１の強度に係わるベクトルである
【００３２】
【数３】
と、第２チャネル入力オーディオＣｈ２の強度に係わるベクトルである
【００３３】
【数４】
とが所定の角度をなすように、二次元ベクトル空間を生成する。もし第１チャネル入力オーディオＣｈ１と、第２チャネル入力オーディオＣｈ２とが左側オーディオ及び右側オーディオであるならば、ステレオオーディオの聴取者が、左側音源方向と右側音源方向とが６０°の角度をなす位置で、ステレオオーディオを聴取することを仮定し、ステレオオーディオを符号化することが一般的であるので、二次元ベクトル空間で、
【００３４】
【数５】
との間の角度（θ０）を６０°に設定することができる。しかし、本実施形態で、第１チャネル入力オーディオＣｈ１と第２チャネル入力オーディオＣｈ２は、左側オーディオ及び右側オーディオではないので、
【００３５】
【数６】
は、任意の角度（θ０）を有するのである。
【００３６】
図３Ａでは、
【００３７】
【数７】
とが加算されて生成された出力信号ＢＭ１の強度に係わるベクトルである
【００３８】
【数８】
が図示されている。このとき、前述のように、もし第１チャネル入力オーディオＣｈ１と、第２チャネル入力オーディオＣｈ２とがそれぞれ左側オーディオと、右側オーディオとに対応するならば、左側音源方向と右側音源方向とが６０°の角度をなす位置で、ステレオオーディオを聴取する聴取者は、
【００３９】
【数９】
の方向にＢＭ１ベクトル
【００４０】
【数１０】
の大きさに該当する強度のモノオーディオを聴取する。
【００４１】
本発明の一実施形態によるダウンミックス部１１１は、サブバンドｋで、第１チャネル入力オーディオＣｈ１と、第２チャネル入力オーディオＣｈ２との強度を決定するための情報として、チャネル間強度差（ＩＩＤ）に係わる情報と、チャネル間相関度（ＩＣ）に係わる情報との代わりに、
【００４２】
【数１１】
との間の角度（θｑ）、または
【００４３】
【数１２】
との間の角度（θｐ）に係わる情報を生成する。
【００４４】
また、ダウンミックス部１１１は、
【００４５】
【数１３】
との間の角度（θｑ）、または
【００４６】
【数１４】
との間の角度（θｐ）を生成する代わりに、ｃｏｓθｑまたはｃｏｓθｐのように、コサイン値を生成することもできる。これは、角度に係わる情報を符号化するとき、量子化過程で発生する損失を最小化するためであり、コサイン（cosine）またはサイン（sine）などの三角関数値を利用して角度情報を生成することが望ましい。
【００４７】
図３Ｂは、本発明の他の実施形態によって、第１チャネル入力オーディオ及び第２チャネル入力オーディオの強度に係わる情報を生成する方法について説明するための参照図である。
【００４８】
図３Ｂは、図３Ａでのベクトル角度を正規化する過程を図示した図である。
【００４９】
図３Ａと同じように
【００５０】
【数１５】
との間の角度（θ０）が９０°ではない場合には、θ０を９０°に正規化することができ、このとき、θｐまたはθｑも正規化される。
【００５１】
図３Ｂで、
【００５２】
【数１６】
との間の角度（θｐ）に係わる情報を正規化、すなわち、θ０を９０°に正規化すれば、これに対応してθｐも正規化され、θｍ＝（θｐｘ９０）／θ０が計算される。ダウンミックス部１１１は、正規化されていないθｐまたは正規化されたθｍを第１チャネル入力オーディオＣｈ１の強度及び第２チャネル入力オーディオＣｈ２の強度を決定するための情報として生成することができる。また、ダウンミックス部１１１は、θｐまたはθｍの代わりに、ｃｏｓθｐまたはｃｏｓθｍを、第１チャネル入力オーディオＣｈ１の強度及び第２チャネル入力オーディオＣｈ２の強度を決定するための情報として生成することができる。
【００５３】
（２）位相を決定するための情報
従来技術によるパラメトリック・オーディオ・コーディングでは、サブバンドｋで、第１チャネル入力オーディオＣｈ１と、第２チャネル入力オーディオＣｈ２との位相を決定するための情報として、全位相差（ＯＰＤ）及びチャネル間位相差（ＩＰＤ）に係わる情報を符号化したということは前述した。
【００５４】
すなわち、従来にはサブバンドｋで、第１チャネル入力オーディオＣｈ１と、第２チャネル入力オーディオＣｈ２とを加算して生成された第１最初モノオーディオＢＭ１と、サブバンドｋで、第１チャネル入力オーディオＣｈ１との位相差を計算して全位相差に係わる情報を生成して符号化し、サブバンドｋで、第１チャネル入力オーディオＣｈ１と、第２チャネル入力オーディオＣｈ２との位相差を計算してチャネル間位相差に係わる情報を生成して符号化した。位相差は、サブバンドに含まれた周波数ｆ１，ｆ２，…，ｆｎでの位相差をそれぞれ計算した後、計算された位相差の平均を計算することによって求めることができる。
【００５５】
本発明の一実施形態によれば、ダウンミックス部１１１は、第１チャネル入力オーディオＣｈ１と、第２チャネル入力オーディオＣｈ２との位相を決定するための情報として、サブバンドｋで、第１チャネル入力オーディオＣｈ１と、第２チャネル入力オーディオＣｈ２との位相差に係わる情報だけを生成する。
【００５６】
本発明の一実施形態では、ダウンミックス部が、第１チャネル入力オーディオＣｈ１の位相と同一になるように、第２チャネル入力オーディオＣｈ２の位相を調節し、位相調節された第２チャネル入力オーディオＣｈ２を生成し、その位相調節された第２チャネル入力オーディオＣｈ２を第１チャネル入力オーディオＣｈ１と加算するために、第１チャネル入力オーディオＣｈ１と第２チャネル入力オーディオＣｈ２との位相差に係わる情報だけもってしても、第１チャネル入力オーディオＣｈ１及び第２チャネル入力オーディオＣｈ２それぞれの位相を計算することができる。
【００５７】
サブバンドｋのオーディオを例に挙げて説明すれば、周波数ｆ１，ｆ２，…，ｆｎで、第２チャネル入力オーディオＣｈ２の位相を周波数ｆ１，ｆ２，…，ｆｎで、第１チャネル入力オーディオＣｈ１の位相と同一になるようにそれぞれ調節する。周波数ｆ１で第１チャネル入力オーディオＣｈ１の位相を調節する場合を例に挙げて説明すれば、周波数ｆ１で、第１チャネル入力オーディオＣｈ１が、｜Ｃｈ１｜ｅｉ（２πｆ１ｔ＋θ１）と表示され、第２チャネル入力オーディオＣｈ２が、｜Ｃｈ２｜ｅｉ（２πｆ１ｔ＋θ２）と表示されれば、周波数ｆ１で位相調節された第２チャネル入力オーディオＣｈ２’は、次の数式｜Ｃｈ２｜ｅｉ（２πｆ１ｔ＋θ１）の通りである。ここで、θ１は、周波数ｆ１で、第１チャネル入力オーディオＣｈ１の位相であり、θ２は、周波数ｆ１で、第２チャネル入力オーディオＣｈ２の位相を示す。かような位相調節は、サブバンドｋの他の周波数、すなわち、ｆ２，ｆ３，…，ｆｎで、第２チャネル入力オーディオＣｈ２に対して反復して、サブバンドｋで位相調節された第２チャネル入力オーディオＣｈ２を生成する。
【００５８】
サブバンドｋで位相調節された第２チャネル入力オーディオＣｈ２は、第１チャネル入力オーディオＣｈ１の位相と同一であるので、第１チャネル入力オーディオＣｈ１と、第２チャネル入力オーディオＣｈ２との位相差だけ符号化すれば、出力信号ＢＭ１を復号化する側で、第２チャネル入力オーディオＣｈ２の位相を求めることができる。また、第１チャネル入力オーディオＣｈ１の位相と、ダウンミックス部で生成された出力信号ＢＭ１との位相は、同一であるので、別途に、第１チャネル入力オーディオＣｈ１の位相に係わる情報を符号化する必要がない。
【００５９】
従って、第１チャネル入力オーディオＣｈ１と、第２チャネル入力オーディオＣｈ２との位相差に係わる情報だけを符号化すれば、復号化する側では、その符号化された情報を利用し、第１チャネル入力オーディオＣｈ１及び第２チャネル入力オーディオＣｈ２の位相を計算することができる。
【００６０】
一方、前述のサブバンドｋでのチャネルオーディオの強度ベクトルを利用し、第１チャネル入力オーディオＣｈ１と、第２チャネル入力オーディオＣｈ２との強度を決定するための情報を符号化する方法と、位相調節を利用し、サブバンドｋで第１チャネル入力オーディオＣｈ１と、第２チャネル入力オーディオＣｈ２との位相を決定するための情報と、を符号化する方法は、それぞれ独立して利用されもし、組み合わせて利用されもする。換言すれば、第１チャネル入力オーディオＣｈ１と、第２チャネル入力オーディオＣｈ２との強度を決定するための情報は、本発明によって、ベクトルを利用して符号化し、第１チャネル入力オーディオＣｈ１と、第２チャネル入力オーディオＣｈ２との位相を決定するための情報は、従来技術のように、全位相差（ＯＰＤ）及びチャネル間位相差（ＩＰＤ）を符号化することができる。反対に、第１チャネル入力オーディオＣｈ１と、第２チャネル入力オーディオＣｈ２との強度を決定するための情報は、従来技術によって、チャネル間強度差（ＩＩＤ）及びチャネル間相関度（ＩＣ）を利用して符号化し、第１チャネル入力オーディオＣｈ１と、第２チャネル入力オーディオＣｈ２との位相を決定するための情報だけ、本発明のように、位相調節を利用して符号化することもできる。
【００６１】
前述のような第１付加情報を生成する過程は、図２に図示されたダウンミックス部から出力されるダウンミックスされたオーディオ信号から、２個の入力オーディオ信号を復元するための第１付加情報を生成するときにも、同一に適用される。
【００６２】
一方、マルチチャネル符号化部１１０は、前述の実施形態に限定されるものではなく、マルチチャネルのオーディオ信号に対する符号化を行い、ダウンミックスされたオーディオ信号を出力し、ダウンミックスされたオーディオ信号をさらにマルチチャネル・オーディオ信号に復元するための付加情報を生成する他のパラメトリック符号化装置を利用することができる。
【００６３】
再び図１を参照するに、マルチチャネル符号化部１１０で生成されたダウンミックスされたオーディオ信号及び第１付加情報は、レジデュアル信号生成部１２０に入力される。
【００６４】
レジデュアル信号生成部１２０は、ダウンミックスされたオーディオ信号及び第１付加情報を利用し、マルチチャネル・オーディオ信号を復元し、入力マルチチャネル・オーディオ信号と、復元されたマルチチャネル・オーディオ信号との差値であるレジデュアル信号を生成する。
【００６５】
図４は、図１のレジデュアル信号生成部１２０の一実施形態を示したブロック図である。図４を参照するに、レジデュアル信号生成部１２０は、復元部４１０及び減算部４２０を含む。
【００６６】
復元部４１０は、マルチチャネル符号化部１１０から出力されるダウンミックスされたオーディオ信号及び第１付加情報を利用し、マルチチャネル・オーディオ信号を復元する。具体的には、復元部４１０は、第１付加情報を利用し、ダウンミックスされたオーディオ信号それぞれから２個のアップミックスされた出力信号を生成し、アップミックスされた出力信号それぞれをさらにアップミックスする過程を反復することによって、マルチチャネル・オーディオ信号を復元する。
【００６７】
減算部４２０は、復元されたマルチチャネル・オーディオ信号と入力オーディオ信号とのの差値を計算し、チャネル別レジデュアル信号Ｒｅｓ １ないしＲｅｓ ｎを生成する。
【００６８】
図５は、図４の復元部４１０の一実施形態を示したブロック図である。図５を参照するに、復元部５１０は、第１付加情報に基づいて、ダウンミックスされた１つのオーディオ信号から２個のオーディオ信号を復元し、復元された２個のオーディオ信号それぞれを、さらに該当第１付加情報を利用して２個のオーディオ信号に復元する過程を反復することによって、入力マルチチャネルと同一個数のｎ個の復元されたマルチチャネル・オーディオ信号を生成する。復元部５１０の各アップミックス部５１１ないし５１７は、第１付加情報を利用して１つのダウンミックスされたオーディオ信号をアップミックスし、２個のアップミックスされた信号を出力し、かようなアップミックス過程は、入力マルチチャネルと同一個数のマルチチャネル・オーディオ信号が復元されるまで反復される。
【００６９】
具体的に、アップミックス部５１１ないし５１７の動作について説明する。ただし、説明の便宜のために、図５に図示されたアップミックス部のうち、ダウンミックスされたオーディオ信号ＴＲｊに対するアップミックスを行い、第１チャネル入力オーディオＣｈ１及び第２チャネル入力オーディオＣｈ２を出力するアップミックス部５１４の動作を中心に説明する。アップミックス部５１４の動作過程は、図５に図示された他のアップミックス部にも同一に適用可能である。
【００７０】
図３Ａを再び参照するに、アップミックス部５１４は、サブバンドｋで、第１チャネル入力オーディオＣｈ１と、第２チャネル入力オーディオＣｈ２との強度を決定するための情報として、ダウンミックスされたオーディオ信号ＴＲｊの強度に係わるベクトルである
【００７１】
【数１７】
が、第１チャネル入力オーディオＣｈ１の強度に係わるベクトルである
【００７２】
【数１８】
または第２チャネル入力オーディオＣｈ２の強度に係わるベクトルである
【００７３】
【数１９】
となす角度に係わる情報を利用する。望ましくは、
【００７４】
【数２０】
との間の角度のコサイン値、または
【００７５】
【数２１】
との間の角度のコサイン値に係わる情報を利用することができる。
【００７６】
図３Ｂの例では、
【００７７】
【数２２】
との間の角度（θ０）が６０°であると仮定すれば、第１チャネル入力オーディオＣｈ１の強度、すなわち
【００７８】
【数２３】
の大きさは、｜Ｃｈ１｜＝｜ＢＭ１｜＊ｓｉｎθｍ／ｃｏｓ（π／１２）によって計算される。ここで、｜ＢＭ１｜は、ダウンミックスされたオーディオ信号ＴＲｊの強度、すなわち、
【００７９】
【数２４】
の大きさであり、
【００８０】
【数２５】
との間の角度は、１５°である。同様に、
【００８１】
【数２６】
との間の角度（θ０）が６０°であると仮定すれば、第２チャネル入力オーディオＣｈ２の強度、すなわち、
【００８２】
【数２７】
の大きさは、｜Ｃｈ２｜＝｜ＢＭ１｜＊ｃｏｓθｍ／ｃｏｓ（π／１２）によって計算可能されるということは当業者に自明である。ただし、ここでは、
【００８３】
【数２８】
とＣｈ２’との間の角度が１５°である場合を例に挙げた。
【００８４】
また、アップミックス部５１４は、サブバンドｋで、第１チャネル入力オーディオＣｈ１と、第２チャネル入力オーディオＣｈ２との位相を決定するための情報として、第１チャネル入力オーディオＣｈ１と、第２チャネル入力オーディオＣｈ２との位相差に係わる情報を利用することができる。ダウンミックスされたオーディオ信号ＴＲｊを符号化するとき、第１チャネル入力オーディオＣｈ１の位相と同一になるように、第２チャネル入力オーディオＣｈ２の位相をすでに調節した場合には、アップミックス部５１４が、第１チャネル入力オーディオＣｈ１と、第２チャネル入力オーディオＣｈ２との位相差に係わる情報だけを利用し、第１チャネル入力オーディオＣｈ１の位相及び第２チャネル入力オーディオＣｈ２の位相を計算することができる。
【００８５】
一方、前述のサブバンドｋで、第１チャネル入力オーディオＣｈ１と、第２チャネル入力オーディオＣｈ２との強度を決定するための情報をベクトルを利用して復号化する方法と、サブバンドｋで、第１チャネル入力オーディオＣｈ１と、第２チャネル入力オーディオＣｈ２との位相を決定するための情報を、位相調節を利用して復号化する方法は、それぞれ独立して利用されもし、あるいは組み合わせて共に利用されもする。
【００８６】
再び図１を参照するに、レジデュアル信号生成部１２０で復元されたマルチチャネル・オーディオ信号と、入力マルチチャネル・オーディオ信号との差値であるレジデュアル信号が生成されれば、レジデュアル信号符号化部１３０は、レジデュアル信号の特性を示す第２付加情報を生成する。第２付加情報は、復号化側でダウンミックスされたオーディオ信号及び第１付加情報を利用して復元されたマルチチャネル・オーディオ信号が、入力オーディオ信号の特性と最大限同一になるように復元されたマルチチャネル・オーディオ信号を補正する一種の向上階層情報に該当する。後述するように、第２付加情報は、復号化側で復元されたマルチチャネル・オーディオ信号を補正するのに利用される。
【００８７】
多重化部１４０は、マルチチャネル符号化部１１０から出力されるダウンミックスされたオーディオ信号及び第１付加情報と、レジデュアル信号符号化部１３０で出力される第２付加情報とを多重化し、多重化されたオーディオ・ビットストリームを生成する。
【００８８】
以下、レジデュアル信号符号化部１３０で第２付加情報を生成する過程について具体的に説明する。
【００８９】
第２付加情報は、入力マルチチャネル・オーディオ信号の２個の互いに異なるチャネル間の相関度を示すチャネル間相関度パラメータ（ＩＣＣ）を含む。具体的には、入力マルチチャネルの個数をＮ個（Ｎは正の整数）、入力マルチチャネルのうち、ｉ番目（ｉ＝１からＮ−１までの整数）チャネルと、ｉ＋１番目チャネルとのチャネル間相関度パラメータをΦｉ，ｉ＋１，ｋは、サンプル・インデックス、ｘｉ（ｋ）は、任意のｋでサンプリングされたｉチャネルの入力オーディオ信号値、ｄは、所定の整数値を有する遅延値、ｌは、サンプリング区間の長さとするとき、レジデュアル信号符号化部１３０は、ｉ番目のチャネルと、ｉ＋１番目のチャネルとの相関度パラメータΦｉ，ｉ＋１を次の式（１）のように計算する。
【００９０】
【数２９】
例えば、入力オーディオ信号が、５．１チャネルのオーディオ信号であり、レフト（Ｌ）、サラウンドレフト（Ｌｓ）、センター（Ｃ）、サブウーファ（Ｓｗ）、ライト（Ｒ）、サラウンドライト（Ｒｓ）の順序で、チャネルインデックスｉが１から６までの値を有するならば、レジデュアル信号符号化部１３０は、Φ１，２、Φ２，３、Φ３，４、Φ４，５、Φ５，６及びΦ１，６のうち少なくとも１つのチャネル間相関度パラメータを計算する。後述するように、かようなチャネル間相関度パラメータ（ＩＣＣ）は、復号化側で復元された第１マルチチャネル・オーディオ信号、及び第１マルチチャネル・オーディオ信号と所定の位相差を有する第２マルチチャネル・オーディオ信号を結合し、最終復元オーディオ信号を生成するとき、第１マルチチャネル・オーディオ信号及び第２マルチチャネル・オーディオ信号の結合比率である加重値を決定するのに利用される。
【００９１】
前述のチャネル間相関度パラメータ（ＩＣＣ）以外に、レジデュアル信号符号化部１３０は、入力中央チャネルのオーディオ信号と、復元された中央チャネルオーディオ信号とのエネルギー比率を示す中央チャネル補正パラメータ、及び全チャネルで、入力マルチチャネル・オーディオ信号と、復元されたマルチチャネル・オーディオ信号とのエネルギー比率を示す全チャネル補正パラメータをさらに生成することができる。
【００９２】
具体的には、ｋは、サンプル・インデックス、ｘｃ（ｋ）は、任意のｋでサンプリングされたセンターチャネルの入力オーディオ信号値、ｘ’ｃ（ｋ）は、任意のｋでサンプリングされたセンターチャネルの復元されたオーディオ信号値、ｌ（ｌは整数）は、サンプリング区間の長さとするとき、レジデュアル信号符号化部１３０は、次の式（２）のように、中央チャネル補正パラメータ（κ）を生成する。
【００９３】
【数３０】
式（２）に記載されたように、中央チャネル補正パラメータ（κ）は、入力中央チャネルオーディオ信号と、復元された中央チャネルオーディオ信号とのエネルギー比率を示すものであり、後述するように、復号化側で復元された中央チャネルのオーディオ信号を補正するのに利用される。このように、別途に中央チャネルのオーディオ信号を補正するための中央チャネル補正パラメータ（κ）を生成する理由は、パラメトリック・オーディオ・コーディング時に、中央チャネルの信号が劣化される傾向があるために、かような中央チャネルの劣化現象を補償するためである。
【００９４】
また、入力マルチチャネルの個数をＮ個（Ｎは正の整数）、ｋは、サンプル・インデックス、ｘｉ（ｋ）は、任意のｋでサンプリングされたｉチャネルの入力オーディオ信号値、ｘ’ｉ（ｋ）は、任意のｋでサンプリングされたｉチャネルの復元されたオーディオ信号値、ｌ（ｌは整数）は、サンプリング区間の長さとするとき、レジデュアル信号符号化部１３０は、次の式（３）のように、全チャネル補正パラメータ（δ）を生成する。
【００９５】
【数３１】
式（３）に記載されたように、全チャネル補正パラメータ（δ）は、全チャネルでの入力オーディオ信号と、復元された全チャネルオーディオ信号とのエネルギー比率を示すものであり、後述するように、復号化側で復元された全チャネルのオーディオ信号を補正するのに利用される。
【００９６】
図６は、本発明の一実施形態によるマルチチャネル・オーディオ信号の符号化方法を示したフローチャートである。図６を参照するに、段階６１０で、入力マルチチャネル・オーディオ信号に対するパラメトリック符号化を行い、ダウンミックスされたオーディオ信号、及びダウンミックスされたオーディオ信号をマルチチャネル・オーディオ信号に復元するための第１付加情報を生成する。前述のように、マルチチャネル符号化部１１０は、入力マルチチャネル・オーディオ信号をステレオ信号またはモノ信号にダウンミックスし、ダウンミックスされたオーディオ信号をさらにマルチチャネル・オーディオ信号に復元するための第１付加情報を生成する。第１付加情報は、ダウンミックスされる信号の強度（intensity）を決定するための情報、及びダウンミックスされる信号間の位相差に係わる情報を含んでもよい。
【００９７】
段階６２０で、ダウンミックスされたオーディオ信号及び第１付加情報を利用して復元されたマルチチャネル・オーディオ信号と、入力マルチチャネル・オーディオ信号との差値であるレジデュアル信号を生成する。復元されたマルチチャネル・オーディオ信号を生成する過程は、図５を参照して述べたように、ダウンミックスされたオーディオ信号それぞれをアップミックスし、２個のアップミックスされた出力信号を生成し、さらに出力信号それぞれをアップミックスする過程を反復することによって行われる。
【００９８】
段階６３０で、レジデュアル信号の特性を示す第２付加情報を生成する。第２付加情報は、復号化側で復号化されたマルチチャネル・オーディオ信号を補正するのに利用され、少なくとも入力マルチチャネル・オーディオ信号の２個の互いに異なるチャネル間の相関度を示すチャネル間相関度（ＩＣＣ）パラメータを含まねばならない。さらに、第２付加情報としては、入力中央チャネルのオーディオ信号と、復元された中央チャネルオーディオ信号とのエネルギー比率を示す中央チャネル補正パラメータ、及び全チャネルでの入力マルチチャネル・オーディオ信号と、復元されたマルチチャネル・オーディオ信号とのエネルギー比率を示す全チャネル補正パラメータがさらに含まれてもよい。
【００９９】
段階６４０で、ダウンミックスされたオーディオ信号、前記第１付加情報及び前記第２付加情報を多重化する。
【０１００】
図７は、本発明の一実施形態によるマルチチャネル・オーディオ信号の復号化装置を示したブロック図である。図７を参照するに、本発明の一実施形態によるマルチチャネル・オーディオ信号の復号化装置７００は、逆多重化部７１０、マルチャネル復号化部７２０、位相変位部７３０及び結合部７４０を含む。
【０１０１】
逆多重化部７１０は、符号化されたオーディオ・ビットストリームをパージングし、オーディオ・ビットストリームから、ダウンミックスされたオーディオ信号、ダウンミックスされたオーディオ信号をマルチチャネル・オーディオ信号に復元するための第１付加情報、及びレジデュアル信号の特性を示す第２付加情報を抽出する。
【０１０２】
マルチチャネル復号化部７２０は、第１付加情報に基づいてダウンミックスされたオーディオ信号から、第１マルチチャネル・オーディオ信号を復元する。前述の図５の復元部５１０と同一に、マルチチャネル復号化部７２０は、第１付加情報を利用し、ダウンミックスされたオーディオ信号それぞれから２個のアップミックスされた出力信号を生成し、アップミックスされた出力信号それぞれを、さらにアップミックスする過程を反復することによって、マルチチャネル・オーディオ信号を復元する。このように復元されたマルチチャネル・オーディオ信号を、第１マルチチャネル・オーディオ信号と定義する。
【０１０３】
位相変位部７３０は、第１マルチチャネル・オーディオ信号と所定の位相差を有する第２マルチチャネル・オーディオ信号を生成する。すなわち、位相変位部７３０は、第１マルチチャネル・オーディオ信号のうち、ｎチャネルのオーディオ信号をｔｎ、第２マルチチャネル・オーディオ信号のうち、ｎチャネルのオーディオ信号をｔｎ’、所定の位相差をθｄとするとき、ｔｎ’＝ｔｎ＊ｅｘｐ（ｉ＊θｄ）の関係が成立するように位相変位された第２マルチチャネル・オーディオ信号を生成する。例えば、図８に図示されたｖ１信号及びｖ２信号のように、第１マルチチャネル・オーディオ信号と第２マルチチャネル・オーディオ信号は、９０°の位相差を有することが望ましい。
【０１０４】
このように、第１マルチチャネル・オーディオ信号と所定の位相差を有する第２マルチチャネル・オーディオ信号を生成する理由は、第１マルチチャネル・オーディオ信号と、第２マルチチャネル・オーディオ信号とを結合することによって、マルチチャネル・オーディオ信号を符号化するときに発生した位相損失を補償するためである。前述の本発明の一実施形態によるマルチチャネル・オーディオ信号の符号化装置によれば、マルチチャネル・オーディオ信号をダウンミックスするとき、２個の入力オーディオ信号間をダウンミックスした後、さらにアップミックスを介して２個の入力オーディオ信号を復元しても、２個の入力オーディオ信号間に存在した位相差は、平均化されて損失される。たとえ第１付加情報として、２個の入力オーディオ信号間の位相差に係わる情報を伝送しても、かような第１付加情報を介して復元された信号は、本来のオーディオ信号に存在した位相情報とは差が発生し、かような差は、復号化されたマルチチャネル・オーディオ信号の音質向上に阻害となる。
【０１０５】
結合部７４０は、第２付加情報を利用し、第１マルチチャネル・オーディオ信号と、第２マルチチャネル・オーディオ信号とを結合し、最終復元オーディオ信号を生成する。具体的には、結合部７４０は、各チャネル別に、第１マルチチャネル・オーディオ信号及び第２マルチチャネル・オーディオ信号それぞれに、所定の加重値を乗じた後で加算し、各チャネル別結合オーディオ信号を生成する。例えば、ｎチャネルの第１マルチチャネル・オーディオ信号ｔｎに乗じられる加重値をα、ｎチャネルの第２マルチチャネル・オーディオ信号ｔｎ’に乗じられる加重値をβとすれば、ｎチャネルの結合オーディオ信号ｕｎは、次の数式ｕｎ＝αｔｎ＋βｔｎ’のように表現されてもよい。
【０１０６】
結合部７４０は、第２付加情報に含まれた入力マルチチャネル・オーディオ信号の２個の互いに異なるチャネル間の相関度を示すチャネル間相関度パラメータ（ＩＣＣ）、及び２個の互いに異なるチャネル間の結合オーディオ信号間の相関度の関係を利用して加重値を計算する。入力マルチチャネルの個数をＮ個（Ｎは正の整数）、入力マルチチャネルのうち、ｉ番目（ｉ＝１からＮ−１までの整数）チャネルと、ｉ＋１番目のチャネルとのチャネル間相関度パラメータをΦｉ，ｉ＋１、ｋは、サンプル・インデックス、ｘｉ（ｋ）は、任意のｋでサンプリングされたｉチャネルの入力オーディオ信号値、ｄは、所定の整数値を有する遅延値、ｌは、サンプリング区間の長さとするとき、次の式（４）を満足する加重値α及びβを計算する。
【０１０７】
【数３２】
式（４）を介して、加重値α及びβが決定されれば、結合部７４０は、ｕｎ＝αｔｎ＋βｔｎ’を介して計算されるｎチャネルの結合オーディオ信号を、ｎチャネルの最終復元オーディオ信号として決定する。結合部７４０は、あらゆるマルチチャネルに対して、前述の過程を反復して、最終復元オーディオ信号を生成する。
【０１０８】
前述のように、チャネル間相関度パラメータ（ＩＣＣ）を利用して最終復元オーディオ信号が生成された後、結合部７４０は、さらに第２付加情報に備わった入力中央チャネルのオーディオ信号と、復元された中央チャネルオーディオ信号とのエネルギー比率を示す中央チャネル補正パラメータ、及び全チャネルで、入力マルチチャネル・オーディオ信号と、復元されたマルチチャネル・オーディオ信号とのエネルギー比率を示す全チャネル補正パラメータを利用し、最終復元オーディオ信号を補正することができる。
【０１０９】
具体的には、結合部７４０は、全チャネル補正パラメータを利用し、最終復元オーディオ信号の全チャネルのオーディオ信号を補正する。例えば、結合部７４０は、ｎチャネルの最終復元オーディオ信号ｕｎと全チャネル補正パラメータ（δ）とを乗じ、ｎチャネルの最終復元オーディオ信号ｕｎを補正する。かような過程は、あらゆるチャネルに対して行われる。また、結合部７４０は、中央チャネルの最終復元オーディオ信号に、全チャネル補正パラメータ（δ）及び中央チャネル補正パラメータ（κ）を乗じることによって、パラメトリック符号化時に劣化されやすい中央チャネルのオーディオ信号を補正することができる。
【０１１０】
前述のように、本発明の一実施形態によるマルチチャネル・オーディオ信号の復号化装置は、チャネル間相関度を利用し、位相差を有する第１マルチチャネル・オーディオ信号と、第２マルチチャネル・オーディオ信号とを結合する一方、全チャネル補正パラメータ（δ）及び中央チャネル補正パラメータ（κ）を利用し、あらゆるチャネルの復元オーディオ信号及び中央チャネルのオーディオ信号を補正することによって、復元されたマルチチャネル・オーディオ信号の音質を向上させることができる。
【０１１１】
図９は、本発明の一実施形態によるマルチチャネル・オーディオ信号の復号化方法を示したフローチャートである。図９を参照するに、段階９１０で、符号化されたオーディオデータからダウンミックスされたオーディオ信号、ダウンミックスされたオーディオ信号をマルチチャネル・オーディオ信号に復元するための第１付加情報、及び符号化時に入力マルチチャネル・オーディオ信号と、符号化された後で復元されたマルチチャネル・オーディオ信号との差値であるレジデュアル信号の特性を示す第２付加情報を抽出する。
【０１１２】
段階９２０で、ダウンミックスされたオーディオ信号及び第１付加情報を利用し、第１マルチチャネル・オーディオ信号を復元する。前述のように、第１マルチチャネル・オーディオ信号は、第１付加情報を利用し、ダウンミックスされたオーディオ信号それぞれから２個のアップミックスされた出力信号を生成し、アップミックスされた出力信号それぞれをさらにアップミックスする過程を反復することによって生成される。
【０１１３】
段階９３０で、復元された第１マルチチャネル・オーディオ信号と所定の位相差を有する第２マルチチャネル・オーディオ信号を生成する。所定の位相差は、９０°であることが望ましい。
【０１１４】
段階９４０で、第２付加情報を利用し、第１マルチチャネル・オーディオ信号と、第２マルチチャネル・オーディオ信号とを結合することによって、最終復元オーディオ信号を生成する。具体的には、結合部７４０は、第２付加情報に含まれた入力マルチチャネル・オーディオ信号の２個の互いに異なるチャネル間の相関度を示すチャネル間相関度パラメータ（ＩＣＣ）、及び２個の互いに異なるチャネル間の結合オーディオ信号間の相関度の関係を利用し、第１マルチチャネル・オーディオ信号及び第２マルチチャネル・オーディオ信号に乗じられる加重値を計算する。そして、結合部７４０は、計算された加重値を利用し、第１マルチチャネル・オーディオ信号と、第２マルチチャネル・オーディオ信号との加重和を計算することによって、最終復元オーディオ信号を生成する。付加的には、結合部７４０は、全チャネル補正パラメータ（δ）及び中央チャネル補正パラメータ（κ）を利用し、あらゆるチャネルの復元オーディオ信号及び中央チャネルのオーディオ信号を補正することによって、復元されたマルチチャネル・オーディオ信号の音質を向上させることができる。
【０１１５】
一方、前述の本発明の実施形態によるマルチチャネル・オーディオ信号の符号化及び復号化方法は、コンピュータで実行可能であるプログラムに作成可能であり、コンピュータで読み取り可能な記録媒体を利用し、前記プログラムを動作させる汎用デジタルコンピュータで具現されてもよい。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（read-only memory）、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤ（digital versatile disc）など）のような記録媒体を含む。
【０１１６】
以上、本発明についてその望ましい実施形態を中心に述べた。本発明が属する技術分野で当業者であるならば、本発明が本発明の本質的な特性から外れない範囲で変形された形態で具現可能であるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなくして、説明的な観点から考慮されねばならない。本発明の範囲は、前述の説明ではなくして、特許請求の範囲に示されており、それと同等な範囲内にあるあらゆる差異点は、本発明に含まれたものであると解釈されねばならない。
【特許請求の範囲】
【請求項１】
マルチチャネル・オーディオ信号の復号化方法において、
符号化されたオーディオデータからダウンミックスされたオーディオ信号、前記ダウンミックスされたオーディオ信号をマルチチャネル・オーディオ信号に復元するための第１付加情報、及び符号化時に入力マルチチャネル・オーディオ信号と、符号化された後で復元されたマルチチャネル・オーディオ信号との差値であるレジデュアル信号の特性を示す第２付加情報を抽出する段階と、
前記ダウンミックスされたオーディオ信号及び前記第１付加情報を利用し、第１マルチチャネル・オーディオ信号を復元する段階と、
前記復元された第１マルチチャネル・オーディオ信号と所定の位相差を有する第２マルチチャネル・オーディオ信号を生成する段階と、
前記第２付加情報を利用し、前記第１マルチチャネル・オーディオ信号と、前記第２マルチチャネル・オーディオ信号とを結合して最終復元オーディオ信号を生成する段階と、を含むことを特徴とするマルチチャネル・オーディオ信号の復号化方法。
【請求項２】
前記第１マルチチャネル・オーディオ信号を復元する段階は、
前記第１付加情報を利用し、前記ダウンミックスされたオーディオ信号それぞれから２個のアップミックスされた出力信号を生成し、前記アップミックスされた出力信号それぞれをさらにアップミックスする過程を反復することによって、前記第１マルチチャネル・オーディオ信号を復元する段階を含むことを特徴とする請求項１に記載のマルチチャネル・オーディオ信号復号化方法。
【請求項３】
前記第１付加情報は、
前記２個のアップミックスされた出力信号のうち、第１信号の強度に対する第１ベクトル及び第２信号の強度に対する第２ベクトルが所定の角度をなすように、ベクトル空間を生成し、前記ベクトル空間で、前記第１ベクトルと前記第２ベクトルとを加算して第３ベクトルを生成したとき、前記ダウンミックスされたオーディオ信号の強度に対応する前記第３ベクトルの大きさに係わる情報、及び前記ベクトル空間で、前記第１ベクトルまたは第２ベクトルのうち一つと、前記第３ベクトルとのの角度に係わる情報を含み、
前記復元する段階は、
前記ダウンミックスされたオーディオ信号の強度に対応する前記第３ベクトルの大きさに係わる情報、及び前記角度に係わる情報を利用し、前記１つのダウンミックスされたオーディオ信号から、前記第１ベクトル及び前記第２ベクトルに対応する前記２個のアップミックスされた出力信号を生成することを特徴とする請求項２に記載のマルチチャネル・オーディオ信号復号化方法。
【請求項４】
前記第１マルチチャネル・オーディオ信号と、前記第２マルチチャネル・オーディオ信号は、９０°の位相差を有することを特徴とする請求項１に記載のマルチチャネル・オーディオ信号復号化方法。
【請求項５】
前記第２付加情報は、
前記入力マルチチャネル・オーディオ信号の２個の互いに異なるチャネル間の相関度を示すチャネル間相関度（ＩＣＣ）を含み、
前記最終復元オーディオ信号を生成する段階は、
各チャネル別に、前記第１マルチチャネル・オーディオ信号及び前記第２マルチチャネル・オーディオ信号それぞれに所定の加重値を乗じた後で加算し、各チャネル別結合オーディオ信号を生成する段階と、
前記チャネル間相関度パラメータ、及び２個の互いに異なるチャネル間の前記結合オーディオ信号間の相関度の関係を利用して前記加重値を計算する段階と、
前記計算された加重値を利用し、前記第１マルチチャネル・オーディオ信号と、前記第２マルチチャネル・オーディオ信号の加重和を計算し、前記最終復元オーディオ信号を生成する段階と、を含むことを特徴とする請求項１に記載のマルチチャネル・オーディオ信号復号化方法。
【請求項６】
前記入力マルチチャネルの個数をＮ個（Ｎは正の整数）、前記入力マルチチャネルのうち、ｉ番目（ｉ＝１ついてＮ−１までの整数）チャネルと、ｉ＋１番目のチャネルとのチャネル間相関度パラメータをΦｉ，ｉ＋１、ｋは、サンプル・インデックス、ｘｉ（ｋ）は、任意のｋでサンプリングされたｉチャネルの入力オーディオ信号値、ｄは、所定の整数値を有する遅延値、ｌは、サンプリング区間の長さ、ｔｎはｎチャネルでの前記第１マルチチャネル・オーディオ信号、ｔｎ’は、ｎチャネルでの前記第２マルチチャネル・オーディオ信号、αは、前記第１マルチチャネル・オーディオ信号に乗じられる加重値、βは、前記第２マルチチャネル・オーディオ信号に乗じられる加重値とするとき、
前記ｎチャネルでの前記結合オーディオ信号ｕｎは、ｕｎ＝αｔｎ＋βｔｎ’であり、前記加重値α及びβは、次の数式：
【数３２】
を利用して決定されることを特徴とする請求項５に記載のマルチチャネル・オーディオ信号の復号化方法。
【請求項７】
前記第２付加情報は、
前記入力中央チャネルのオーディオ信号と、復元された中央チャネルオーディオ信号とのエネルギー比率を示す中央チャネル補正パラメータ、及び全チャネルで、前記入力マルチチャネル・オーディオ信号と、前記復元されたマルチチャネル・オーディオ信号とのネルギー比率を示す全チャネル補正パラメータをさらに含み、
前記最終復元オーディオ信号を生成する段階は、
前記全チャネル補正パラメータを利用し、前記最終復元オーディオ信号の全チャネルの値を補正する段階と、
前記中央チャネル補正パラメータを利用し、前記全チャネル補正された最終復元オーディオ信号のうち、中央チャネルの信号をさらに補正する段階と、をさらに含むことを特徴とする請求項５に記載のマルチチャネル・オーディオ信号復号化方法。
【請求項８】
ｋは、サンプル・インデックス、ｘｃ（ｋ）は、任意のｋでサンプリングされたセンターチャネルの入力オーディオ信号値、ｘ’ｃ（ｋ）は、任意のｋでサンプリングされたセンターチャネルの復元されたオーディオ信号値、ｌ（ｌは整数）は、サンプリング区間の長さとするとき、
前記中央チャネル補正パラメータ（κ）は、次の数式：
【数３３】
を介して定義される値を有することを特徴とする請求項７に記載のマルチチャネル・オーディオ信号復号化方法。
【請求項９】
前記入力マルチチャネルの個数をＮ個（Ｎは正の整数）、ｋは、サンプル・インデックス、ｘｉ（ｋ）は、任意のｋでサンプリングされたｉチャネルの入力オーディオ信号値、ｘ’ｉ（ｋ）は、任意のｋでサンプリングされたｉチャネルの復元されたオーディオ信号値、ｌ（ｌは整数）は、サンプリング区間の長さとするとき、
前記全チャネル補正パラメータ（δ）は、次の数式：
【数３４】
を介して計算された値を有することを特徴とする請求項７に記載のマルチチャネル・オーディオ信号復号化方法。
【請求項１０】
マルチチャネル・オーディオ信号の復号化装置において、
符号化されたオーディオデータからダウンミックスされたオーディオ信号、前記ダウンミックスされたオーディオ信号をマルチチャネル・オーディオ信号に復元するための第１付加情報、及び符号化時に入力マルチチャネル・オーディオ信号と、符号化された後で復元されたマルチチャネル・オーディオ信号との差値であるレジデュアル信号の特性を示す第２付加情報を抽出する逆多重化部と、
前記ダウンミックスされたオーディオ信号及び前記第１付加情報を利用し、第１マルチチャネル・オーディオ信号を復元するマルチチャネル復号化部と、
前記復元された第１マルチチャネル・オーディオ信号と所定の位相差を有する第２マルチチャネル・オーディオ信号を生成する位相変移部と、
前記第２付加情報を利用し、前記第１マルチチャネル・オーディオ信号と、前記第２マルチチャネル・オーディオ信号とを結合して最終復元オーディオ信号を生成する結合部と、を含むことを特徴とするマルチチャネル・オーディオ信号の復号化装置。
【請求項１１】
前記マルチチャネル復号化部は、
前記第１付加情報を利用し、前記ダウンミックスされたオーディオ信号それぞれから２個のアップミックスされた出力信号を生成し、前記アップミックスされた出力信号それぞれをまたアップミックスする過程を反復することによって、前記第１マルチチャネル・オーディオ信号を復元することを特徴とする請求項１０に記載のマルチチャネル・オーディオ信号復号化装置。
【請求項１２】
前記第１付加情報は、
前記２個のアップミックスされた出力信号のうち第１信号の強度に係わる第１ベクトル、及び第２信号の強度に係わる第２ベクトルが、所定の角度をなすようにベクトル空間を生成し、前記ベクトル空間で、前記第１ベクトルと前記第２ベクトルとを加算して第３ベクトルを生成したとき、前記ダウンミックスされたオーディオ信号の強度に対応する前記第３ベクトルの大きさに係わる情報、及び前記ベクトル空間で、前記第１ベクトルまたは第２ベクトルのうち一つと、前記第３ベクトルとの間の角度に係わる情報を含み、
前記マルチチャネル復号化部は、
前記ダウンミックスされたオーディオ信号の強度に対応する前記第３ベクトルの大きさに係わる情報、及び前記角度に係わる情報を利用し、前記１つのダウンミックスされたオーディオ信号から、前記第１ベクトル及び前記第２ベクトルに対応する前記２個のアップミックスされた出力信号を生成することを特徴とする請求項１１に記載のマルチチャネル・オーディオ信号復号化装置。
【請求項１３】
前記第２付加情報は、
前記入力マルチチャネル・オーディオ信号の２個の互いに異なるチャネル間の相関度を示すチャネル間相関度（ＩＣＣ）パラメータを含み、
前記結合部は、
各チャネル別に、前記第１マルチチャネル・オーディオ信号及び前記第２マルチチャネル・オーディオ信号それぞれに所定の加重値を乗じた後で加算し、各チャネル別結合オーディオ信号を生成し、前記チャネル間相関度パラメータ、及び２個の互いに異なるチャネル間の前記結合オーディオ信号間の相関度の関係を利用して前記加重値を計算して、前記計算された加重値を利用し、前記第１マルチチャネル・オーディオ信号と、前記第２マルチチャネル・オーディオ信号との加重和を計算し、前記最終復元オーディオ信号を生成することを特徴とする請求項１１に記載のマルチチャネル・オーディオ信号復号化装置。
【請求項１４】
マルチチャネル・オーディオ信号の符号化方法において、
入力マルチチャネル・オーディオ信号に対するパラメトリック符号化を行い、ダウンミックスされたオーディオ信号及び前記ダウンミックスされたオーディオ信号を、前記マルチチャネル・オーディオ信号に復元するための第１付加情報を生成する段階と、
前記ダウンミックスされたオーディオ信号及び前記第１付加情報を利用して復元されたマルチチャネル・オーディオ信号と、前記入力マルチチャネル・オーディオ信号との差値であるレジデュアル信号を生成する段階と、
前記レジデュアル信号の特性を示す第２付加情報を生成する段階と、
前記ダウンミックスされたオーディオ信号、前記第１付加情報及び前記第２付加情報を多重化する段階と、を含むことを特徴とするマルチチャネル・オーディオ信号符号化方法。
【請求項１５】
マルチチャネル・オーディオ信号の符号化装置において、
入力マルチチャネル・オーディオ信号に対する符号化を行い、ダウンミックスされたオーディオ信号及び前記ダウンミックスされたオーディオ信号を、前記マルチチャネル・オーディオ信号に復元するための第１付加情報を生成するマルチチャネル符号化部と、
前記ダウンミックスされたオーディオ信号及び前記第１付加情報を利用して復元されたマルチチャネル・オーディオ信号と、前記入力マルチチャネル・オーディオ信号との差値であるレジデュアル信号を生成するレジデュアル信号生成部と、
前記レジデュアル信号の特性を示す第２付加情報を生成するレジデュアル信号符号化部と、
前記ダウンミックスされたオーディオ信号、前記第１付加情報及び前記第２付加情報を多重化する多重化部と、を含むことを特徴とするマルチチャネル・オーディオ信号符号化装置。
【請求項１】
マルチチャネル・オーディオ信号の復号化方法において、
符号化されたオーディオデータからダウンミックスされたオーディオ信号、前記ダウンミックスされたオーディオ信号をマルチチャネル・オーディオ信号に復元するための第１付加情報、及び符号化時に入力マルチチャネル・オーディオ信号と、符号化された後で復元されたマルチチャネル・オーディオ信号との差値であるレジデュアル信号の特性を示す第２付加情報を抽出する段階と、
前記ダウンミックスされたオーディオ信号及び前記第１付加情報を利用し、第１マルチチャネル・オーディオ信号を復元する段階と、
前記復元された第１マルチチャネル・オーディオ信号と所定の位相差を有する第２マルチチャネル・オーディオ信号を生成する段階と、
前記第２付加情報を利用し、前記第１マルチチャネル・オーディオ信号と、前記第２マルチチャネル・オーディオ信号とを結合して最終復元オーディオ信号を生成する段階と、を含むことを特徴とするマルチチャネル・オーディオ信号の復号化方法。
【請求項２】
前記第１マルチチャネル・オーディオ信号を復元する段階は、
前記第１付加情報を利用し、前記ダウンミックスされたオーディオ信号それぞれから２個のアップミックスされた出力信号を生成し、前記アップミックスされた出力信号それぞれをさらにアップミックスする過程を反復することによって、前記第１マルチチャネル・オーディオ信号を復元する段階を含むことを特徴とする請求項１に記載のマルチチャネル・オーディオ信号復号化方法。
【請求項３】
前記第１付加情報は、
前記２個のアップミックスされた出力信号のうち、第１信号の強度に対する第１ベクトル及び第２信号の強度に対する第２ベクトルが所定の角度をなすように、ベクトル空間を生成し、前記ベクトル空間で、前記第１ベクトルと前記第２ベクトルとを加算して第３ベクトルを生成したとき、前記ダウンミックスされたオーディオ信号の強度に対応する前記第３ベクトルの大きさに係わる情報、及び前記ベクトル空間で、前記第１ベクトルまたは第２ベクトルのうち一つと、前記第３ベクトルとのの角度に係わる情報を含み、
前記復元する段階は、
前記ダウンミックスされたオーディオ信号の強度に対応する前記第３ベクトルの大きさに係わる情報、及び前記角度に係わる情報を利用し、前記１つのダウンミックスされたオーディオ信号から、前記第１ベクトル及び前記第２ベクトルに対応する前記２個のアップミックスされた出力信号を生成することを特徴とする請求項２に記載のマルチチャネル・オーディオ信号復号化方法。
【請求項４】
前記第１マルチチャネル・オーディオ信号と、前記第２マルチチャネル・オーディオ信号は、９０°の位相差を有することを特徴とする請求項１に記載のマルチチャネル・オーディオ信号復号化方法。
【請求項５】
前記第２付加情報は、
前記入力マルチチャネル・オーディオ信号の２個の互いに異なるチャネル間の相関度を示すチャネル間相関度（ＩＣＣ）を含み、
前記最終復元オーディオ信号を生成する段階は、
各チャネル別に、前記第１マルチチャネル・オーディオ信号及び前記第２マルチチャネル・オーディオ信号それぞれに所定の加重値を乗じた後で加算し、各チャネル別結合オーディオ信号を生成する段階と、
前記チャネル間相関度パラメータ、及び２個の互いに異なるチャネル間の前記結合オーディオ信号間の相関度の関係を利用して前記加重値を計算する段階と、
前記計算された加重値を利用し、前記第１マルチチャネル・オーディオ信号と、前記第２マルチチャネル・オーディオ信号の加重和を計算し、前記最終復元オーディオ信号を生成する段階と、を含むことを特徴とする請求項１に記載のマルチチャネル・オーディオ信号復号化方法。
【請求項６】
前記入力マルチチャネルの個数をＮ個（Ｎは正の整数）、前記入力マルチチャネルのうち、ｉ番目（ｉ＝１ついてＮ−１までの整数）チャネルと、ｉ＋１番目のチャネルとのチャネル間相関度パラメータをΦｉ，ｉ＋１、ｋは、サンプル・インデックス、ｘｉ（ｋ）は、任意のｋでサンプリングされたｉチャネルの入力オーディオ信号値、ｄは、所定の整数値を有する遅延値、ｌは、サンプリング区間の長さ、ｔｎはｎチャネルでの前記第１マルチチャネル・オーディオ信号、ｔｎ’は、ｎチャネルでの前記第２マルチチャネル・オーディオ信号、αは、前記第１マルチチャネル・オーディオ信号に乗じられる加重値、βは、前記第２マルチチャネル・オーディオ信号に乗じられる加重値とするとき、
前記ｎチャネルでの前記結合オーディオ信号ｕｎは、ｕｎ＝αｔｎ＋βｔｎ’であり、前記加重値α及びβは、次の数式：
【数３２】
を利用して決定されることを特徴とする請求項５に記載のマルチチャネル・オーディオ信号の復号化方法。
【請求項７】
前記第２付加情報は、
前記入力中央チャネルのオーディオ信号と、復元された中央チャネルオーディオ信号とのエネルギー比率を示す中央チャネル補正パラメータ、及び全チャネルで、前記入力マルチチャネル・オーディオ信号と、前記復元されたマルチチャネル・オーディオ信号とのネルギー比率を示す全チャネル補正パラメータをさらに含み、
前記最終復元オーディオ信号を生成する段階は、
前記全チャネル補正パラメータを利用し、前記最終復元オーディオ信号の全チャネルの値を補正する段階と、
前記中央チャネル補正パラメータを利用し、前記全チャネル補正された最終復元オーディオ信号のうち、中央チャネルの信号をさらに補正する段階と、をさらに含むことを特徴とする請求項５に記載のマルチチャネル・オーディオ信号復号化方法。
【請求項８】
ｋは、サンプル・インデックス、ｘｃ（ｋ）は、任意のｋでサンプリングされたセンターチャネルの入力オーディオ信号値、ｘ’ｃ（ｋ）は、任意のｋでサンプリングされたセンターチャネルの復元されたオーディオ信号値、ｌ（ｌは整数）は、サンプリング区間の長さとするとき、
前記中央チャネル補正パラメータ（κ）は、次の数式：
【数３３】
を介して定義される値を有することを特徴とする請求項７に記載のマルチチャネル・オーディオ信号復号化方法。
【請求項９】
前記入力マルチチャネルの個数をＮ個（Ｎは正の整数）、ｋは、サンプル・インデックス、ｘｉ（ｋ）は、任意のｋでサンプリングされたｉチャネルの入力オーディオ信号値、ｘ’ｉ（ｋ）は、任意のｋでサンプリングされたｉチャネルの復元されたオーディオ信号値、ｌ（ｌは整数）は、サンプリング区間の長さとするとき、
前記全チャネル補正パラメータ（δ）は、次の数式：
【数３４】
を介して計算された値を有することを特徴とする請求項７に記載のマルチチャネル・オーディオ信号復号化方法。
【請求項１０】
マルチチャネル・オーディオ信号の復号化装置において、
符号化されたオーディオデータからダウンミックスされたオーディオ信号、前記ダウンミックスされたオーディオ信号をマルチチャネル・オーディオ信号に復元するための第１付加情報、及び符号化時に入力マルチチャネル・オーディオ信号と、符号化された後で復元されたマルチチャネル・オーディオ信号との差値であるレジデュアル信号の特性を示す第２付加情報を抽出する逆多重化部と、
前記ダウンミックスされたオーディオ信号及び前記第１付加情報を利用し、第１マルチチャネル・オーディオ信号を復元するマルチチャネル復号化部と、
前記復元された第１マルチチャネル・オーディオ信号と所定の位相差を有する第２マルチチャネル・オーディオ信号を生成する位相変移部と、
前記第２付加情報を利用し、前記第１マルチチャネル・オーディオ信号と、前記第２マルチチャネル・オーディオ信号とを結合して最終復元オーディオ信号を生成する結合部と、を含むことを特徴とするマルチチャネル・オーディオ信号の復号化装置。
【請求項１１】
前記マルチチャネル復号化部は、
前記第１付加情報を利用し、前記ダウンミックスされたオーディオ信号それぞれから２個のアップミックスされた出力信号を生成し、前記アップミックスされた出力信号それぞれをまたアップミックスする過程を反復することによって、前記第１マルチチャネル・オーディオ信号を復元することを特徴とする請求項１０に記載のマルチチャネル・オーディオ信号復号化装置。
【請求項１２】
前記第１付加情報は、
前記２個のアップミックスされた出力信号のうち第１信号の強度に係わる第１ベクトル、及び第２信号の強度に係わる第２ベクトルが、所定の角度をなすようにベクトル空間を生成し、前記ベクトル空間で、前記第１ベクトルと前記第２ベクトルとを加算して第３ベクトルを生成したとき、前記ダウンミックスされたオーディオ信号の強度に対応する前記第３ベクトルの大きさに係わる情報、及び前記ベクトル空間で、前記第１ベクトルまたは第２ベクトルのうち一つと、前記第３ベクトルとの間の角度に係わる情報を含み、
前記マルチチャネル復号化部は、
前記ダウンミックスされたオーディオ信号の強度に対応する前記第３ベクトルの大きさに係わる情報、及び前記角度に係わる情報を利用し、前記１つのダウンミックスされたオーディオ信号から、前記第１ベクトル及び前記第２ベクトルに対応する前記２個のアップミックスされた出力信号を生成することを特徴とする請求項１１に記載のマルチチャネル・オーディオ信号復号化装置。
【請求項１３】
前記第２付加情報は、
前記入力マルチチャネル・オーディオ信号の２個の互いに異なるチャネル間の相関度を示すチャネル間相関度（ＩＣＣ）パラメータを含み、
前記結合部は、
各チャネル別に、前記第１マルチチャネル・オーディオ信号及び前記第２マルチチャネル・オーディオ信号それぞれに所定の加重値を乗じた後で加算し、各チャネル別結合オーディオ信号を生成し、前記チャネル間相関度パラメータ、及び２個の互いに異なるチャネル間の前記結合オーディオ信号間の相関度の関係を利用して前記加重値を計算して、前記計算された加重値を利用し、前記第１マルチチャネル・オーディオ信号と、前記第２マルチチャネル・オーディオ信号との加重和を計算し、前記最終復元オーディオ信号を生成することを特徴とする請求項１１に記載のマルチチャネル・オーディオ信号復号化装置。
【請求項１４】
マルチチャネル・オーディオ信号の符号化方法において、
入力マルチチャネル・オーディオ信号に対するパラメトリック符号化を行い、ダウンミックスされたオーディオ信号及び前記ダウンミックスされたオーディオ信号を、前記マルチチャネル・オーディオ信号に復元するための第１付加情報を生成する段階と、
前記ダウンミックスされたオーディオ信号及び前記第１付加情報を利用して復元されたマルチチャネル・オーディオ信号と、前記入力マルチチャネル・オーディオ信号との差値であるレジデュアル信号を生成する段階と、
前記レジデュアル信号の特性を示す第２付加情報を生成する段階と、
前記ダウンミックスされたオーディオ信号、前記第１付加情報及び前記第２付加情報を多重化する段階と、を含むことを特徴とするマルチチャネル・オーディオ信号符号化方法。
【請求項１５】
マルチチャネル・オーディオ信号の符号化装置において、
入力マルチチャネル・オーディオ信号に対する符号化を行い、ダウンミックスされたオーディオ信号及び前記ダウンミックスされたオーディオ信号を、前記マルチチャネル・オーディオ信号に復元するための第１付加情報を生成するマルチチャネル符号化部と、
前記ダウンミックスされたオーディオ信号及び前記第１付加情報を利用して復元されたマルチチャネル・オーディオ信号と、前記入力マルチチャネル・オーディオ信号との差値であるレジデュアル信号を生成するレジデュアル信号生成部と、
前記レジデュアル信号の特性を示す第２付加情報を生成するレジデュアル信号符号化部と、
前記ダウンミックスされたオーディオ信号、前記第１付加情報及び前記第２付加情報を多重化する多重化部と、を含むことを特徴とするマルチチャネル・オーディオ信号符号化装置。
【図１】
【図２】
【図３（ａ）】
【図３（ｂ）】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３（ａ）】
【図３（ｂ）】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公表番号】特表２０１３−５０２６０８（Ｐ２０１３−５０２６０８Ａ）
【公表日】平成２５年１月２４日（２０１３．１．２４）
【国際特許分類】
【出願番号】特願２０１２−５２５４８２（Ｐ２０１２−５２５４８２）
【出願日】平成２２年８月１８日（２０１０．８．１８）
【国際出願番号】ＰＣＴ／ＫＲ２０１０／００５４４９
【国際公開番号】ＷＯ２０１１／０２１８４５
【国際公開日】平成２３年２月２４日（２０１１．２．２４）
【出願人】（５０３４４７０３６）サムスン エレクトロニクス カンパニー リミテッド (2,221)
【公表日】平成２５年１月２４日（２０１３．１．２４）
【国際特許分類】
【出願日】平成２２年８月１８日（２０１０．８．１８）
【国際出願番号】ＰＣＴ／ＫＲ２０１０／００５４４９
【国際公開番号】ＷＯ２０１１／０２１８４５
【国際公開日】平成２３年２月２４日（２０１１．２．２４）
【出願人】（５０３４４７０３６）サムスン エレクトロニクス カンパニー リミテッド (2,221)
[ Back to top ]