符号化/復号化装置及び方法
【課題】ドメイン変換または隣接する空間情報間の変化区間で発生するエイリアシングを防止し、歪曲のないマルチチャンネル信号及び3Dダウンミックス信号を生成でき、その結果、ノイズのない最上の音質のオーディオ信号を再生できる符号化/復号化方法及び装置を提供する。
【解決手段】入力されるビットストリームから、ダウンミックス信号及び複数のチャンネルに関する空間情報を抽出する段階と、空間情報及びフィルタを用いてダウンミックス信号に3Dレンダリングを行い、3Dダウンミックス信号を生成する段階と、を含み、ダウンミックス信号、空間情報及びフィルタ係数の有効信号個数の和が、生成された3Dダウンミックス信号の有効信号個数以下であることを特徴とする復号化方法を提供する。
【解決手段】入力されるビットストリームから、ダウンミックス信号及び複数のチャンネルに関する空間情報を抽出する段階と、空間情報及びフィルタを用いてダウンミックス信号に3Dレンダリングを行い、3Dダウンミックス信号を生成する段階と、を含み、ダウンミックス信号、空間情報及びフィルタ係数の有効信号個数の和が、生成された3Dダウンミックス信号の有効信号個数以下であることを特徴とする復号化方法を提供する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、符号化/復号化方法及び装置に係り、より詳細には、3D効果を有する信号の処理のためのオーディオ信号の符号化/復号化装置及びこれを用いた符号化/復号化方法に関する。
【背景技術】
【0002】
マルチチャンネル信号は、符号化装置を通じて自分よりも少ない数のチャンネルを有する信号にダウンミックスされて復号化装置に転送され、復号化装置は、前記転送されてきたダウンミックス信号をマルチチャンネル信号に復元した後、3以上のスピーカ、例えば、5.1チャンネルのスピーカを用いて再生する。
【0003】
また、マルチチャンネル信号はヘッドホンのような2チャンネルのスピーカーを通じて再生されることもできる。この場合、使用者に、2チャンネルスピーカーの音を3以上の音源から出力されるかのように感じさせるには、マルチチャンネル信号を3D効果を有する信号に符号化または復号化する3D処理技術が必要である。
【発明の開示】
【発明が解決しようとする課題】
【0004】
本発明の目的は、様々な再生環境でマルチチャンネル信号を再生できるように、3D効果を有する信号を效率的に処理することができる符号化/復号化装置及び方法を提供することにある。
【課題を解決するための手段】
【0005】
上記の目的を達成するための本発明による復号化方法は、入力されるビットストリームから、ダウンミックス信号及び複数のチャンネルに関する空間情報を抽出する段階と、前記空間情報及びフィルタを用いて前記ダウンミックス信号に3Dレンダリングを行い、3Dダウンミックス信号を生成する段階を有し、前記ダウンミックス信号、空間情報及びフィルタ係数の有効信号個数の和が、前記生成された3Dダウンミックス信号の有効信号個数以下であることを特徴とする。
【0006】
上記の目的を達成するための本発明による他の復号化方法は、入力されるビットストリームから、ダウンミックス信号及び複数のチャンネルに関する空間情報を抽出する段階と、前記抽出された空間情報のうち少なくとも一つをそれに隣接する空間情報を用いて補正する段階と、及び前記補正された空間情報と前記ダウンミックス信号を用いてマルチチャンネル信号を生成する段階と、を有することを特徴とする。
【0007】
上記の目的を達成するための本発明による符号化方法は、マルチチャンネル信号を、それより少ない数のチャンネルを有するダウンミックス信号に符号化する段階と、前記複数のチャンネルに関する空間情報を生成する段階と、前記空間情報及びフィルタを用いて前記ダウンミックス信号に3Dレンダリングを行い、3Dダウンミックス信号を生成する段階を有し、前記ダウンミックス信号、空間情報及びフィルタ係数の有効信号個数の和が、前記生成された3Dダウンミックス信号の有効信号個数以下であることを特徴とする。
【0008】
上記の目的を達成するための本発明による復号化装置は、入力されるビットストリームから、ダウンミックス信号及び複数のチャンネルに関する空間情報を抽出するビットアンパッキング部と、前記空間情報及びフィルタを用いて前記ダウンミックス信号に3Dレンダリングを行い、3Dダウンミックス信号を生成する3Dレンダリング部を有し、前記ダウンミックス信号、空間情報及びフィルタ係数の有効信号個数の和が、前記生成された3Dダウンミックス信号の有効信号個数以下であることを特徴とする。
【0009】
上記の目的を達成するための本発明による他の復号化装置は、入力されるビットストリームから、ダウンミックス信号及び複数のチャンネルに関する空間情報を抽出するビットアンパッキング部と、前記抽出された空間情報のうち少なくとも一つを、それに隣接する空間情報を用いて補正する空間情報補正部と、前記補正された空間情報と前記ダウンミックス信号を用いてマルチチャンネル信号を生成するマルチチャンネルデコーダと、を有することを特徴とする。
【0010】
上記の目的を達成するための本発明による符号化装置は、マルチチャンネル信号を、それより少ない数のチャンネルを有するダウンミックス信号に符号化し、前記複数のチャンネルに関する空間情報を生成するマルチチャンネルエンコーダと、前記空間情報及びフィルタを用いて前記ダウンミックス信号に3Dレンダリングを行い、3Dダウンミックス信号を生成する3Dレンダリング部を有し、前記ダウンミックス信号、空間情報及びフィルタ係数の有効信号個数の和が、前記生成された3Dダウンミックス信号の有効信号個数以下であることを特徴とする。
【0011】
前記符号化/復号化方法は、好ましくは、コンピュータで実行させるためのプログラムを記録した、コンピュータで読み取り可能な記録媒体で具現化できる。
【発明の効果】
【0012】
本発明の符号化/復号化装置及び方法によれば、マルチチャンネル信号を3D効果を有する信号に效率的に符号化でき、再生環境によって適応的に最上の音質を有するオーディオ信号を復元して再生することが可能になる。
【発明を実施するための最良の形態】
【0013】
以下、添付の図面を参照しつつ、本発明に係る符号化/復号化方法及び装置の好適な実施例について詳細に説明する。
【0014】
図1は、本発明の一実施例による符号化/復号化装置を示すブロック図である。図1を参照すると、符号化器100は、マルチチャンネルエンコーダ110、3Dレンダリング部120、ダウンミックスエンコーダ130及びビットパッキング部140を含んでなる。
【0015】
マルチチャンネルエンコーダ110は、複数のチャンネルを有するマルチチャンネル信号をステレオまたはモノラルのダウンミックス信号にダウンミックスし、また、前記ダウンミックス信号からマルチチャンネル信号を復元するのに必要な複数の前記チャンネルに関する空間情報(spatial information)を生成する。
【0016】
空間情報は、マルチチャンネルのうち、2チャンネル間のエネルギー差を示すCLD(Channel Level Difference)、2チャンネル信号から3チャンネル信号を生成するために用いられる予測係数であるCPC(Channel Prediction Coefficient)、2チャンネル間相関関係(correlation)を示すICC(Inter Channel Correlation)、及び2チャンネル間時間差を示すCTD(Channel Time Difference)などを含むことができる。
【0017】
3Dレンダリング部120は、ダウンミックス信号を用いて3Dダウンミックス信号を生成する。3Dダウンミックス信号は、2チャンネルの信号が3以上の方向性を有するようにし、ヘッドホンのような2チャンネルスピーカーを通じて3次元立体音響を再生できるようにするための信号である。すなわち、3Dダウンミックス信号を2チャンネルのスピーカーを通じて再生すると、再生される音は3チャンネル以上の音源から出力されるかのように使用者に聞こえさせることができる。音原の方向感は、両耳から入ってくる音の強度差、時間差、位相差のうち少なくとも一つにより形成されるので、3Dレンダリング部120は、上記のように人間が聴覚で音原の3次元上の位置を把握するメカニズムを用いてダウンミックス信号を3Dダウンミックス信号に変換することができる。
【0018】
3Dレンダリング部120は、フィルタを用いてダウンミックス信号をフィルタリングすることによって3Dダウンミックス信号を生成することが好ましく、フィルタに関する情報、例えば、フィルタの係数は外部から入力されることができる。また、3Dレンダリング部120は、ダウンミックス信号を用いて3Dダウンミックス信号を生成すべく、マルチチャンネルエンコーダ110で生成された空間情報を用いても良い。例えば、3Dレンダリング部120は、空間情報を用いてダウンミックス信号を仮想のマルチチャンネル信号に変換した後、この仮想のマルチチャンネル信号をフィルタリングし、3Dダウンミックス信号に変換することができる。
【0019】
3Dレンダリング部120は、HRTF(Head Related Transfer Function)フィルタを用いてダウンミックス信号をフィルタリングすることによって、3Dダウンミックス信号を生成できる。
【0020】
HRTFは、任意の位置を有する音源から出る音波と耳の鼓膜に到達する音波間の伝達関数(transfer function)を意味し、音原の方位と高度によってその値は異なる。方向性のない信号をHRTFでフィルタリングすると、人には、あたかも特定方向から音が出るかのように聞こえる。
【0021】
3Dレンダリング部120は、周波数ドメイン、例えば、DFT(Discrete Fourier Transform)ドメインまたはFFT(Fast Fourier Transform)ドメイン上で3Dダウンミックス信号生成作業を行うことができる。この場合、3Dプロセシングの前にDFTまたはFFTを行ったり、3Dプロセシングの後にIDFT(inverse DFT)またはIFFT(inverse FFT)を行うことができる。
【0022】
3Dレンダリング部120は、QMF(quadrature mirror Filter)/ハイブリッドドメイン上でも3Dレンダリングを行うことができ、その場合、3Dレンダリングの前後にQMF/ハイブリッド分析及び合成(synthesis)が行われることができる。
【0023】
また、3Dレンダリングは、時間(time)ドメイン上でも行われることができる。3Dレンダリングの行われるドメインは、要求される音質、装置の演算能力などを考慮して最も好適なドメインを決定すれば良い。
【0024】
ダウンミックスエンコーダ130は、マルチチャンネルエンコーダ110から出力されるダウンミックス信号または3Dレンダリング部120から出力される3Dダウンミックス信号を符号化する。ダウンミックスエンコーダ130は、入力されるダウンミックス信号をAAC(Advanced Audio Coding)、MP3(MPEG layer 3)またはBSAC(Bit Sliced Arithmetic Coding)などのオーディオ信号コーディング方法を用いて符号化することができる。
【0025】
ダウンミックスエンコーダ130は、3D処理されなかったダウンミックス信号と3D処理された3Dダウンミックス信号とも符号化することができ、この場合、転送されるビットストリームにこれらの両信号を全て含めることができる。
【0026】
ビットパッキング部140は、符号化されたダウンミックス信号または3Dダウンミックス信号と空間情報を用いてビットストリームを生成する。
【0027】
ビットストリームは、空間情報、含まれた信号がダウンミックス信号か3Dダウンミックス信号かを示すダウンミックス識別情報、3Dレンダリング部120で用いられたフィルタに関する情報、例えば、HRTF係数に関する情報などを含むことができる。
【0028】
すなわち、復号化装置に転送されるビットストリームには、3D処理されなかったダウンミックス信号とエンコーダで3D処理されたエンコーダ3Dダウンミックス信号のうち少なくとも一つが含まれることができ、転送されたビットストリームに含まれたダウンミックス信号を復号化装置で識別できるようにするダウンミックス識別情報が含まれることが好ましい。
【0029】
転送されるビットストリームにダウンミックス信号とエンコーダ3Dダウンミックス信号のうちのいずれかが含まれるかは、使用者の選択、符号化/復号化装置の性能、再生環境などによって決定されることができる。
【0030】
HRTF係数に対する情報は、3Dレンダリング部120で使用されたHRTFの逆変換関数の係数を含むことができ、3Dレンダリング部120で使用されたHRTFの係数に関する簡略化した情報、例えば、前記係数の包絡線(envelope)情報のみを含んでも良い。ビットストリームにHRTF逆変換関数の係数を含めて転送する場合、復号化装置のHRTF係数変換作業が省略されることができるので、復号化装置の演算量を減少させることができる。
【0031】
ビットストリームは、HRTFを用いたフィルタリングによる信号のエネルギー変化に関する情報、すなわち、フィルタリング前の信号のエネルギーとフィルタリング後の信号のエネルギー間の差または比に関する情報を含むことができる。
【0032】
ビットストリームは、HRTF係数を含むか否かを示す情報を有することができ、HRTF係数がビットストリームに含まれた場合、3Dレンダリング部120で使用されたHRTFの係数とHRTFの逆変換関数の係数のうちいずれかを含んでいるかに関する情報を有することができる。
【0033】
図1を参照すると、本発明による復号化装置は、ビットアンパッキング部210、ダウンミックスデコーダ220、3Dレンダリング部230及びマルチチャンネルデコーダ240を含んでなる。
【0034】
ビットアンパッキング部210は、入力されるビットストリームから、符号化されたダウンミックス信号と空間情報を抽出し、ダウンミックスデコーダ220は、符号化されたダウンミックス信号を復号化する。ダウンミックスデコーダ220は、AAC、MP3またはBSACなどのオーディオ信号復号化方法を用いて、符号化されたダウンミックス信号を復号化することができる。
【0035】
上記のように、ビットストリームから抽出される信号は、符号化されたダウンミックス信号または符号化されたエンコーダ3Dダウンミックス信号でありうる。ビットストリームに含まれたダウンミックス信号が3D処理された信号か否かに関する情報は、ビットストリームに含まれることができる。
【0036】
ダウンミックスデコーダ220により復号化されたエンコーダ3Dダウンミックス信号は、直ちに再生可能である。
【0037】
ダウンミックスデコーダ220により復号化されたダウンミックス信号は、3Dレンダリング部230に含まれた第3のレンダリング部233で3D効果処理され、3Dダウンミックス信号に変換されることができる。このように復号化装置で3D効果処理されたデコーダ3Dダウンミックス信号は、直ちに再生可能である。
【0038】
3Dレンダリング部230に含まれた第1のレンダリング部231は、ダウンミックスデコーダ220により復号化されたエンコーダ3Dダウンミックス信号に3Dレンダリングを行い、ダウンミックス信号を生成する。例えば、第1のレンダリング部231は、エンコーダ3Dダウンミックス信号の3D効果を除去することによって、3D処理されなかったダウンミックス信号を生成できる。
【0039】
エンコーダ3Dダウンミックス信号の3D効果は、第1のレンダリング部231により完全に除去されないこともあり、したがって、第1のレンダリング部231から出力されるダウンミックス信号は、若干の3D効果を有する信号にもなりうる。
【0040】
第1のレンダリング部231は、符号化器100の3Dレンダリング部120で使用されたフィルタの逆変換フィルタを用いて、エンコーダダウンミックス信号を3D効果の除去されたダウンミックス信号に変換できる。3Dレンダリング部120で使用されたフィルタまたは逆変換フィルタに関する情報は、符号化器100から転送されるビットストリームに含まれることができる。
【0041】
ここで、フィルタはHRTFフィルタとすることが好ましく、この場合、符号化器100で使用されたHRTFの係数またはHRTFの逆変換係数は、符号化器100から転送されるビットストリームに含まれることができる。符号化器100で使用されたHRTFの係数は逆変換された後、第1のレンダリング部231の3Dレンダリングに用いられる。ビットストリームに符号化器100で使用されたHRTFの逆変換係数が含まれた場合、逆変換過程無しで、該ビットストリームに含まれた係数を用いて3Dレンダリングを行うことができるので、復号化装置の演算量を減少させることができる。
【0042】
入力されるビットストリームには、フィルタ情報、例えば、HRTF係数を含むか否かを示す情報またはビットストリームに含まれたフィルタ情報が逆変換されたか否かに関する情報が含まれることができる。
【0043】
マルチチャンネルデコーダ240は、3D効果の除去されたダウンミックス信号とビットストリームから抽出された空間情報とを用いて、3以上のチャンネルを有する3Dマルチチャンネル信号を生成する。
【0044】
また、第2のレンダリング部232は、3D効果の除去されたダウンミックス信号に3Dレンダリングを行い、3D効果を有する3Dダウンミックス信号を生成できる。すなわち、第1のレンダリング部231は、エンコーダ3Dダウンミックス信号から符号化器100の3D効果を除去し、第2のレンダリング部231は、復号化装置が持つフィルタを用いて、当該3D効果の除去されたダウンミックス信号に3Dレンダリングを行い、復号化装置で所望の3D効果を有するコンバインド(combined)3Dダウンミックス信号を生成できる。
【0045】
本発明による復号化装置は、第1、2、3レンダリング部231,232,233のうち、同じ動作を行う2以上のユニットを一つのレンダリング部に併合して含むことができる。
【0046】
図1に示すように、符号化器100で生成されたビットストリームは、上記のような復号化装置の構造を有する第1の復号化器200とは異なる第2の復号化器300に転送されることができ、第2の復号化器300は、ビットストリームに含まれたダウンミックス信号を用いて3Dダウンミックス信号を生成することができる。
【0047】
第2の復号化器300のビットアンパッキング部310は、入力されるビットストリームから、符号化されたダウンミックス信号と空間情報を抽出し、ダウンミックスデコーダ320は、当該符号化されたダウンミックス信号を復号化する。ダウンミックスデコーダ320により復号化されたダウンミックス信号は、3Dレンダリング部330により3D効果処理され、3Dダウンミックスに変換されることができる。
【0048】
図2は、本発明の一実施例による符号化装置の構成を示すブロック図で、同図の符号化装置は、3Dレンダリング部400、420及びマルチチャンネルエンコーダ410を含んでなる。図2に示す符号化装置の動作説明において、図1を参照して説明した符号化装置の動作と重複する説明は省略する。
【0049】
図2を参照すると、3Dレンダリング部400,420は、マルチチャンネルエンコーダ410の前段または後段に位置することができる。すなわち、マルチチャンネル信号は、3Dレンダリング部400で3Dレンダリングされた後、マルチチャンネルエンコーダ410に入力され、前処理エンコーダ3Dダウンミックス信号に符号化されることができ、あるいは、マルチチャンネル信号はマルチチャンネルエンコーダ410でダウンミックスされた後、3Dレンダリング部420で3Dレンダリングされ、後処理エンコーダダウンミックス信号に符号化されても良い。
【0050】
この3Dレンダリングがマルチチャンネルエンコーダ410によるダウンミックスの以前に行われたか以降に行われたかに関する情報は、符号化装置から転送されるビットストリームに含まれることが好ましい。
【0051】
図2では、3Dレンダリング部400,420がマルチチャンネルエンコーダ410の前段及び後段ともに位置しているが、マルチチャンネルエンコーダ410の前段及び後段のいずれか一方に3Dレンダリング部が位置することが好ましい。
【0052】
図3は、本発明の一実施例による復号化装置の構成を示すブロック図で、同図の復号化装置は、3Dレンダリング部430,450及びマルチチャンネルデコーダ440を含んでなる。図3に示す復号化装置の動作説明において、図1を参照して説明した復号化装置の動作と重複する説明は省略するものとする。
【0053】
図3を参照すると、3Dレンダリング部430,450は、マルチチャンネルデコーダ440の前段または後段に位置することができる。すなわち、エンコーダ3Dダウンミックス信号は、3Dレンダリング部430で3D効果が除去された後、マルチチャンネルデコーダ440に入力され、前処理3Dマルチチャンネル信号に復号化されることができ、あるいは、エンコーダ3Dダウンミックス信号は、マルチチャンネルデコーダ440でマルチチャンネル信号に復元された後、3Dレンダリング部450で3D効果が除去され、後処理3Dマルチチャンネル信号に復号化されることができる。
【0054】
このエンコーダ3Dダウンミックス信号を生成した符号化装置で、3Dレンダリングがダウンミックス以前に行われた場合、復号化装置では3Dレンダリングがマルチチャンネルデコーディング以後に行われるようにすることが好ましい。また、符号化装置で3Dレンダリングがダウンミックス以後に行われた場合には、復号化装置では3Dレンダリングがマルチチャンネルデコーディング以前に行われるようにすることが好ましい。
【0055】
上記のように、符号化装置で3Dレンダリングがダウンミックス以前に行われたか、または、以後に行われたかに関する情報は、符号化装置から転送されるビットストリームから抽出されることが好ましい。
【0056】
図3では、3Dレンダリング部430,450がマルチチャンネルデコーダ430の前段及び後段ともに位置しているが、マルチチャンネルデコーダ430の前段及び後段のいずれか一方に3Dレンダリング部が位置することが好ましい。
【0057】
図4は、本発明の他の実施例による符号化装置の構成を示すブロック図である。同図の符号化装置は、マルチチャンネルエンコーダ500、3Dレンダリング部510、ダウンミックスエンコーダ520及びビットパッキング部530を含んでなる。図4に示す符号化装置の動作説明において、図1を参照して説明した符号化装置の動作と重複する説明は省略する。
【0058】
図4を参照すると、マルチチャンネルエンコーダ500は、入力されるマルチチャンネル信号を用いてダウンミックス信号と空間情報を生成し、3Dレンダリング部510は、生成されたダウンミックス信号に3Dレンダリングを行い、3Dダウンミックス信号を生成する。
【0059】
符号化装置で、ダウンミックス信号への3Dレンダリングを行うか否かは、使用者の選択、符号化/復号化装置の性能、再生環境または要求される音質などによって決定されることができる。
【0060】
ダウンミックスエンコーダ520は、マルチチャンネルエンコーダ500で生成されたダウンミックス信号または3Dレンダリング部510で生成された3Dダウンミックス信号を符号化する。
【0061】
ビットパッキング部530は、符号化されたダウンミックス信号または符号化されたエンコーダ3Dダウンミックス信号と空間情報を用いて、ビットストリームを生成する。このビットストリームは、含まれた信号が3D効果を有しないダウンミックス信号か3D効果を有するエンコーダ3Dダウンミックス信号かを示すダウンミックス識別情報を含むことが好ましい。すなわち、ダウンミックス識別情報は、ビットストリームにダウンミックス信号が含まれているか、エンコーダ3Dダウンミックス信号が含まれているか、または、これら両信号を含んでいるかに関する情報を有することができる。
【0062】
図5は、本発明の他の実施例による復号化装置の構成を示すブロック図であり、同図の復号化装置は、ビットアンパッキング部540、ダウンミックスデコーダ550及び3Dレンダリング部560を含んでなる。図5に示す復号化装置の動作説明において、図1を参照して説明した復号化装置の動作と重複する説明は省略する。
【0063】
図5を参照すると、ビットアンパッキング部540は、入力されるビットストリームから、符号化されたダウンミックス信号、空間情報及びダウンミックス識別情報を抽出する。この抽出されたダウンミックス識別情報から、当該ビットストリームに含まれたダウンミックス信号が3D効果を有しないダウンミックス信号か、3D効果を有する3Dダウンミックス信号かがわかる。
【0064】
このビットストリームにダウンミックス信号と3Dダウンミックス信号がいずれも含まれた場合、使用者の選択、符号化/復号化装置の性能、再生環境または要求される音質などによって、これら両信号のうちいずれか一方のみが当該ビットストリームから抽出され、復号化に用いられることができる。
【0065】
ダウンミックスデコーダ550は、当該符号化されたダウンミックス信号を復号化する。この復号化された信号が、符号化装置で3Dレンダリングされたエンコーダ3Dダウンミックス信号である場合、復号化されたエンコーダ3Dダウンミックス信号は直ちに再生可能である。
【0066】
また、復号化された信号が3D効果を有しないダウンミックス信号である場合、3Dレンダリング部560は、当該ダウンミックス信号に3Dレンダリングを行い、デコーダ3Dダウンミックス信号を生成することができる。
【0067】
図6は、本発明のさらに他の実施例による復号化装置の構成を示すブロック図であり、同図の復号化装置は、ビットアンパッキング部600、ダウンミックスデコーダ610、第1の3Dレンダリング部620、第2の3Dレンダリング部630及びフィルタ情報保存部640を含んでなる。図6に示す復号化装置の動作説明において、図1を参照して説明した復号化装置の動作と重複する説明は省略する。
【0068】
ビットアンパッキング部600は、入力されるビットストリームから、符号化されたエンコーダ3Dダウンミックス信号及び空間情報を抽出し、ダウンミックスデコーダ610は、当該符号化されたエンコーダ3Dダウンミックス信号を復号化する。
【0069】
第1の3Dレンダリング部620は、符号化装置で3Dレンダリングに使用されたフィルタの逆変換フィルタを用いて、前記復号化されたエンコーダ3Dダウンミックス信号から3D効果を除去する。第2の3Dレンダリング部630は、復号化装置が持つフィルタを用いて、該3D効果の除去された信号に3Dレンダリングを行い、3D効果を有するコンバインド(combined)3Dダウンミックス信号を生成する。
【0070】
第2の3Dレンダリング部630は、符号化装置で3Dレンダリングに使用されたフィルタと異なる特性を有するフィルタ、例えば、符号化装置で使用されたHRTFと異なる係数を有するHRTFを用いて、3Dレンダリングを行うことが好ましい。
【0071】
フィルタ情報保存部640は、3Dレンダリングに用いられるフィルタに関する情報、例えば、HRTF係数情報を保存しており、第2の3Dレンダリング部630は、フィルタ情報保存部640に保存されたフィルタ情報を用いてコンバインド3Dダウンミックス信号を生成できる。
【0072】
フィルタ情報保存部640は、複数のフィルタに関する情報を保存することができ、この場合、使用者の選択、装置の能力または要求される音質などによって、保存された複数のフィルタに関する情報の中からいずれか一つのフィルタ情報が選択されることができる。
【0073】
人種などによって耳の構造が異なることができるので、個々人に最適化したHRTF係数は異なってくる。したがって、図6に示すような構造を有する復号化装置は、使用者が最適化した3Dダウンミックス信号を再生できるようにし、3Dダウンミックス信号の供給者が使用するHRTFによらず、使用者の希望するHRTFフィルタによる3D効果を有する3Dダウンミックス信号を再生可能である。
【0074】
図7は、3Dレンダリングを行う3Dレンダリング部の一実施例を示す構成ブロック図であり、同図に示すように、特定ドメインで3Dレンダリングを行うためにドメイン変換部700,720が3Dレンダリング部710の前段または後段に含まれることが好ましい。
【0075】
図7を参照すると、ダウンミックス信号は、第1のドメイン変換部700により周波数ドメイン上の信号に変換される。第1のドメイン変換部700は、ダウンミックス信号に離散フーリエ変換(Discrete Fourier Transform:DFT)を行ってDFTドメインに変換したり、ファーストフーリエ変換(Fast Fourier Transform:FFT)を行ってFFTドメインに変換することができる。
【0076】
3Dレンダリング部710は、周波数ドメイン上で前記ダウンミックス信号に空間情報を適用してマルチチャンネル信号を生成し、この生成されたマルチチャンネル信号をフィルタリングして3Dダウンミックス信号を生成する。
【0077】
この生成された3Dダウンミックス信号は、第2のドメイン変換部720により時間ドメイン信号に変換される。第2のドメイン変換部720は、前記3Dダウンミックス信号に逆離散フーリエ変換(Inverse Discrete Fourier Transform:IDFT)または逆ファーストフーリエ変換(Inverse Fast Fourier Transform:IFFT)を行うことができる。
【0078】
上記のように周波数ドメイン上で生成された3Dダウンミックス信号を時間ドメイン上の信号に変換するときに、エイリアシング(aliasing)のようなデータの損失または歪曲が生じることがある。
【0079】
マルチチャンネル信号及び3Dダウンミックス信号の生成作業が周波数ドメイン上で行われるべく、パラメータバンド別に表現される空間情報は周波数ドメイン上にマッピングされ、フィルタ係数は周波数ドメイン上に変換される。
【0080】
3Dレンダリング部710は、周波数ドメイン上でダウンミックス信号、空間情報及びフィルタ係数をかけ、3Dダウンミックス信号を生成できる。
【0081】
M−ポイント(M−point)を有する周波数ドメイン上で表現されるダウンミックス信号、空間情報及びフィルタ係数をかけた後に時間ドメイン上の信号に変換すると、この変換された信号は、M個の有効信号を有するようになる。このようにダウンミックス信号、空間情報及びフィルタ係数をM−ポイントを有する周波数ドメイン上で表現すべく、M−ポイントDFTまたはM−ポイントFFTを使用することができる。
【0082】
有効信号は、複数の信号のうち、常に‘0’の値を有する信号以外の信号の個数を意味するもので、例えば、オーディオ信号をx個の信号にサンプリングをし、x個の有効信号を生成することができる。また、これらx個の有効信号のうち、y個の有効信号をゼロパッディング(zero−padding)すると、有効信号の個数が(x−y)個に減少し、a個の有効信号を有する信号とb個の有効信号を有する信号を畳み込み(convolution)すれば、(a+b−1)個の有効信号を有する信号が生成される。
【0083】
このダウンミックス信号、空間情報及びフィルタ係数を周波数ドメイン上でかける過程は、時間ドメイン上で畳み込み(convolution)をする効果を奏する。前記M−ポイントを有する周波数ドメイン上で表現されるダウンミックス信号、空間情報及びフィルタ係数を、時間ドメイン上に変換したのち畳み込みをして信号を生成すると、この信号は(3*M−2)個の有効信号を有することになる。
【0084】
したがって、ダウンミックス信号、空間情報及びフィルタ係数を周波数ドメイン上でかけたのち時間ドメイン上に変換して得られる信号の有効信号個数と、時間ドメイン上でダウンミックス信号、空間情報及びフィルタ係数を畳み込みして得られる信号の有効信号個数とが異なることができ、これにより、周波数ドメイン上で生成された3Dダウンミックス信号を時間ドメイン上の信号に変換するときに、エイリアシングが起きるわけである。
【0085】
エイリアシングを防止するためには、時間ドメイン上でダウンミックス信号の有効信号個数、周波数ドメイン上にマッピングされた空間情報の有効信号個数及びフィルタの係数の個数の和が、上記Mより大きくならなければならない。周波数ドメイン上にマッピングされた空間情報の有効信号個数は、周波数ドメインのポイントにより決定される。すなわち、パラメータバンド別に表現される空間情報がN−ポイントを有する周波数ドメイン上にマッピングされる場合、このマッピングされた空間情報の有効信号個数はNとなる。
【0086】
図7に示すように、第1のドメイン変換部700は、第1のゼロパッディング部701及び第1の周波数ドメイン変換部702を含み、3Dレンダリング部710は、マッピング部711、時間ドメイン変換部712、第2のゼロパッディング部713、第2の周波数ドメイン変換部714、マルチチャンネル信号生成部715、第3のゼロパッディング部716、第3の周波数ドメイン変換部717及び3Dダウンミックス信号生成部718を含むことができる。
【0087】
第1のゼロパッディング部701は、時間ドメイン上でX個サンプルを有するダウンミックス信号にゼロパッディングを行い、サンプルの個数をM個まで増加させ、第1の周波数ドメイン変換部702は、当該ゼロパッディングされたダウンミックス信号を、M−ポイントを有する周波数ドメイン上の信号に変換する。前記ゼロパッディングされたダウンミックス信号のサンプル個数はMであるが、そのうち、有効信号の個数はXである。
【0088】
マッピング部711は、パラメータバンド別に表現された空間情報をN−ポイントを有する周波数ドメイン上にマッピングさせ、時間ドメイン変換部712は、前記周波数ドメイン上にマッピングされた空間情報を、時間ドメイン上に変換する。この時間ドメイン上に変換された空間情報のサンプル個数はNである。
【0089】
第2のゼロパッディング部713は、時間ドメイン上でN個サンプルを有する前記空間情報にゼロパッディングを行い、サンプルの個数をM個まで増加させ、第2の周波数ドメイン変換部714は、前記ゼロパッディングされた空間情報をM−ポイントを有する周波数ドメイン上の信号に変換する。前記ゼロパッディングされた空間情報のサンプル個数はMであるが、そのうち、有効信号の個数はNである。
【0090】
マルチチャンネル信号生成部715は、M−ポイントを有する周波数ドメイン上で表現された前記ダウンミックス信号と空間情報とをかけてマルチチャンネル信号を生成する。このような周波数ドメイン上の積により生成されたマルチチャンネル信号の有効信号の個数はMであり、このような有効信号を有するダウンミックス信号と空間情報との時間ドメイン上での畳み込みにより生成されるマルチチャンネル信号の有効信号個数は(X+N−1)となる。
【0091】
第3のゼロパッディング部716は、時間ドメイン上で表現されるY個のフィルタ係数にゼロパッディングを行い、サンプルの個数をM個まで増加させ、第3の周波数ドメイン変換部717は、前記ゼロパッディングされたフィルタ係数を、M−ポイントを有する周波数ドメイン上の信号に変換する。前記ゼロパッディングされたフィルタ係数のサンプル個数はMであるが、そのうち、有効信号の個数はYである。
【0092】
3Dダウンミックス信号生成部718は、前記生成されたマルチチャンネル信号と前記M−ポイントを有する周波数ドメイン上に変換されたフィルタ係数とをかけ、3Dダウンミックス信号を生成する。このような周波数ドメイン上の積により生成された3Dダウンミックス信号の有効信号の個数はMであり、このような有効信号を有するマルチチャンネル信号とフィルタ係数の時間ドメイン上における畳み込みにより生成される3Dダウンミックス信号の有効信号個数は、(X+N+Y−2)となる。
【0093】
第1、2、3の周波数ドメイン変換部712で変換される周波数ドメインのポイントMが、上記(X+N+Y−2)以上になるようにすることによって、エイリアシングを防止できる。すなわち、第1、2、3の周波数ドメイン変換部712が(X+N+Y−2)以上であるM−ポイントDFTまたはM−ポイントFFTを用いてドメイン変換を行うようにすることによって、エイリアシングを防止できる。
【0094】
周波数ドメインへの変換にはDFT、FFTだけでなく、QMF(Quadrature Mirror Filter)以外のフィルタバンクも用いられることができ、上記3Dダウンミックス信号生成にHRTFフィルタが用いられることができる。
【0095】
上記空間情報の有効信号個数を調整する方法には、上記した方法の他の調整方法も使用可能であり、これら調整方法のうち、効率的で且つ演算量の少ない方法を選択して使用すると良い。
【0096】
エイリアシングは、周波数ドメインと時間ドメイン間の変換過程の他、QMF/ハイブリッドドメインへの変換過程でも発生でき、上記のようなエイリアシング防止方法は、QMF/ハイブリッドドメインへの変換過程で発生するエイリアシングにも適用可能である。
【0097】
また、マルチチャンネル信号の生成または3Dダウンミックス信号の生成に用いられる空間情報が変化することによって、この空間情報の変化区間で信号の不連続(discontinuity)が発生し、このような不連続は、出力信号(output signal)にノイズの形態で現れる。
【0098】
このようなノイズは、変化区間で空間情報が急に変化しないようにするスムージング(smoothing)方法を適用することによって減少させることができる。
【0099】
例えば、隣り合う第1のフレーム(frame)と第2のフレームにそれぞれ適用される第1の空間情報と第2の空間情報が異なることから、フレーム間の不連続が発生することがある。
【0100】
この場合、第1の空間情報を第2の空間情報を用いて補正したり、第2の空間情報を第1の空間情報を用いて補正し、前記第1及び第2の空間情報間の差を減らすことによって、不連続により発生するノイズを減少させることができる。具体的には、第1及び第2の空間情報のうち少なくとも一つを、第1及び第2の空間情報の平均に取り換えてノイズを減少させることができる。
【0101】
また、空間情報が対応するパラメータバンド(parameter band)のうち、隣接する2つのバンド間の不連続によってもノイズが発生する。すなわち、隣り合う第1のパラメータバンドと第2のパラメータバンドにそれぞれ対応する第3の空間情報と第4の空間情報が異なることから、パラメータバンド間の不連続が発生する。
【0102】
この場合、第3の空間情報を第4の空間情報を用いて補正したり、第4の空間情報を第3の空間情報を用いて補正し、第3及び第4の空間情報間の差を縮めることによって不連続により発生するノイズを減少させることができる。具体的には、第3及び第4の空間情報のうち少なくとも一つを、第3及び第4の空間情報の平均に取り換えてノイズを減少させることができる。
【0103】
隣接するフレーム間またはパラメータバンド間の不連続により発生するノイズは、上記した方法の他、下記のような方法によっても減少させることができる。
【0104】
ハニングウィンド(Hanning window)のようなウィンドを各フレームにかけ、オーバーラップ・アンド・アッド(overlap and add)の形態で進行し、フレーム間の急な変化を減らす方法を用いても良く、または、相互に異なる空間情報が適用された出力信号にスムージングを行い、該出力信号のフレーム間に急な変化が起きないように調整する方法を用いても良い。
【0105】
DFTドメイン上で空間情報、例えば、ICCを用いてチャンネル間の無相関(decorrelation)を調整する一方法について説明すると下記の通りである。
【0106】
OTTまたはTTTボックスの特定バンドに適用されるICC値がAである場合、このボックスに入力される信号の係数に(A+(1−A*A)^0.5*i)をかけ、無相関を調整することができる。この時、虚数部分は正と負の値から選択されることができる。
【0107】
上記係数にかけられる値は、信号の特性、例えば、信号のエネルギーレベル、信号の周波数別エネルギー特性またはICC値の適用されるボックスによって適切な加重値(weighting factor)を有することができ、これにより無相関効果を調整することができ、フレーム間のスムージングや補間(interpolation)などを適用できる。
【0108】
図7を参照して説明したように、周波数ドメイン上で3Dダウンミックス信号を生成するために、HRTFまたは周波数ドメインに変換されたHRIR(Head Related Impulse Response)が用いられることができる。
【0109】
これと違い、時間ドメイン上でHRIR及びダウンミックス信号を畳み込みすることによって3Dダウンミックス信号を生成でき、周波数ドメイン上で生成された3Dダウンミックス信号に逆ドメイン変換を行わずに周波数ドメイン上に残しておいても良い。
【0110】
このような時間ドメイン上での畳み込みのために、FIR(Finite Impulse Response)フィルタまたはIIR(Infinite Impulse Response)フィルタが用いられることができる。
【0111】
上記のように、本発明による符号化装置または復号化装置は、3Dダウンミックス信号を生成すべく、i)周波数ドメイン上でHRTFまたは周波数ドメインに変換されたHRIR(Head Related Impulse Response)を用いる方法、またはii)時間ドメイン上でHRIRを畳み込みする方法を用いることができ、これら両方法を組み合わせて使用することができる。
【0112】
図8〜図11は、ビットストリーム構造の実施例を示す図である。
【0113】
図8を参照すると、ビットストリームは、マルチチャンネル信号を生成するための情報を含むマルチチャンネルデコーディング情報フィールド、3Dダウンミックス信号を生成するための情報を含む3Dレンダリング情報フィールド、及びこれらの両情報を使用するためのヘッダ情報を有するヘッダフィールドで構成されることができる。また、状況によって、これら3つのフィールドのうち一部フィールドのみを用いてビットストリームを構成しても良い。
【0114】
図9を参照すると、復号化に必要な付加情報を示すためのビットストリームは、符号化した信号全体に関するヘッダ情報を有する特定構造(specific configuration)ヘッダフィールドと、それぞれフレーム単位の付加情報を有する複数のフレームデータフィールドで構成されることができる。このフレームデータフィールドは、フレーム単位のヘッダ情報を有するフレームヘッダフィールドと、フレーム単位の空間情報を有するフレームパラメータデータフィールドとを含むことができる。あるいは、フレームデータフィールドは、空間情報を含むフレームパラメータデータフィールドのみで構成されても良い。
【0115】
フレームパラメータデータフィールドは、フラグとパラメータデータとで構成されるモジュールを複数個含むことができる。このモジュールは、空間情報などのパラメータデータ及びそれから生成された信号の音質向上のためのデータ、例えば、ダウンミックスゲイン、スムージングデータの集合を意味する。
【0116】
前記フレームヘッダフィールドで指定した情報に関連したモジュールデータを別のフラグ無しで受信する場合、フレームヘッダフィールドで指定した情報をより詳細に分類する場合、またはフレームヘッダフィールドで指定しない情報に対して別のフラグと情報を受信する場合には、前記フラグが省略されても良い。
【0117】
一方、上記の3Dダウンミックス信号と関連した付加情報、例えば、HRTF係数情報などは、特定構造ヘッダフィールド、フレームヘッダ及びフレームパラメータデータフィールドのうち少なくとも一つに含まれることができる。
【0118】
図10を参照すると、ビットストリームは、マルチチャンネル信号を生成するための情報を含むマルチチャンネルデコーディング情報フィールド、及び3Dダウンミックス信号を生成するための情報を含む3Dレンダリング情報フィールドで構成されることができる。
【0119】
このような構成を有するビットストリームを受信した復号化装置は、再生しようとする信号によって、上記2つのフィールドのいずれか一つのフィールドのみを読み込んで復号化に用い、残り一つのフィールドはスキップ(skip)することができる。
【0120】
すなわち、マルチチャンネル信号を生成しようとする場合、復号化装置は、3Dレンダリング情報フィールドをスキップし、マルチチャンネルデコーディング情報フィールドに含まれた情報のみを読み込むことができる。また、3Dダウンミックス信号を生成しようとする場合には、復号化装置は、マルチチャンネルデコーディング情報フィールドをスキップし、3Dレンダリング情報フィールドに含まれた情報のみを読み込むことができる。
【0121】
複数のフィールドのうち一部をスキップする方法の実施例について説明すると、下記の通りである。
【0122】
第一、フィールドの全体ビット数に関するフィールド長情報をビットストリームに含め、このビット数に該当するデータをスキップすることによって、所望のフィールドをスキップすることができる。このフィールド長情報は、該当のフィールドの開始部分に位置することが好ましい。
【0123】
第二、フィールドの終了部分または開始部分にシンクワード(syncword)を配置し、このシンクワードを用いてフィールドの位置を把握することによって、所望のフィールドをスキップすることができる。
【0124】
第三、フィールド長があらかじめ定められ固定されている場合には、この固定された長さに該当するデータ分だけスキップすることによって所望のフィールドをスキップすることができる。このフィールドの固定長さ情報は、ビットストリームに含まれたり、復号化装置に保存されていることができる。
【0125】
第四、上記のような3つのフィールドスキップ方法のうち、2つ以上を組み合わせて用いることによって、複数のフィールドのうち所望のフィールドをスキップすることができる。
【0126】
上記スキップ情報、例えば、フィールド長情報、シンクワードまたは固定長さ情報は、図9に示す特定構造ヘッダフィールド、フレームヘッダフィールド及びフレームパラメータデータフィールドのうち、少なくともいずれか一つに含まれたり、これら3つのフィールド以外の新しく定義されるフィールドに含まれることができる。
例えば、マルチチャンネル信号を生成しようとする場合、復号化装置は、3Dレンダリング情報フィールドの開始部分に含まれたフィールド長情報、マルチチャンネルデコーディング情報フィールドの開始部分に含まれたシンクワードまたは3Dレンダリング情報フィールドの固定長さ情報を用いて、3Dレンダリング情報フィールドをスキップし、マルチチャンネルデコーディング情報フィールドに含まれた情報のみを読み込むことができる。
【0127】
また、3Dダウンミックス信号を生成しようとする場合、復号化装置は、マルチチャンネルデコーディング情報フィールドの開始部分に含まれたフィールド長情報、3Dレンダリング情報フィールドの開始部分に含まれたシンクワード、またはマルチチャンネルデコーディング情報フィールドの固定長さ情報を用いて、マルチチャンネルデコーディング情報フィールドをスキップし、3Dレンダリング情報フィールドに含まれたデータのみを読み込むことができる。
【0128】
ビットストリームは、含んでいるデータがマルチチャンネル信号を生成するためのものか、3Dダウンミックス信号生成のためのものかに関する情報を有することができる。
【0129】
一方、ビットストリームに、CLDのような空間情報は含まれず、3Dダウンミックス信号生成のためのデータ(例えば、HRTFフィルタ係数)のみ含まれる場合、空間情報無しで3Dダウンミックス信号生成のためのデータのみを用いて復号化することによって、マルチチャンネル信号を再生することができる。
【0130】
例えば、ダウンミックス信号から2チャンネルに関する空間情報であるステレオパラメータを求めた後、このステレオパラメータを再生しようとする複数のチャンネルに関する空間情報に変換し、この変換された空間情報を前記ダウンミックス信号に適用することによってマルチチャンネル信号を生成することができる。
【0131】
一方、ビットストリームにマルチチャンネル信号生成のためのデータのみ含まれた場合は、別の復号化作業無しでダウンミックス信号を再生したり、復号化装置に含まれた別のHRTFフィルタを用いて前記ダウンミックス信号に3Dプロセシングを行い、3Dダウンミックス信号を再生しても良い。
【0132】
また、ビットストリームにマルチチャンネル信号生成のためのデータと3Dダウンミックス信号生成のためのデータが両方とも含まれた場合、使用者がこれらの信号から、再生する信号を選択するようにすることができる。
【0133】
以下では、復号化過程を示すシンタックス(syntax)に挙げて、一部のデータをスキップする方法の実施例について説明する。
【0134】
まず、フレーム単位にオーディオ信号を復号化する過程を示すシンタックスは、次の通りである。
【0135】
【表1】
【0136】
このシンタックスで、Ottdata()とTttData()は、CLD、ICC、CPCなどの空間情報のように、ダウンミックス信号をマルチチャンネル信号に復元するのに必須なパラメータを示すモジュールである。SmgData()、TempShapeData()、ArbitraryDownmixData()、ResidualData()は、符号化過程における歪曲を補正し、音質を向上させるために必要な情報を示すモジュールである。
【0137】
例えば、復号化過程で、CLD、ICCまたはCPCのようなパラメータとArbitraryDownmixData()に含まれた情報のみを使用する場合、TttData()とArbitraryDownmixData()間に存在するSmgData()とTempShapeData()は不要になる。したがって、SmgData()モジュールとTempShapeData()モジュールはスキップすることが効率的である。
【0138】
下記のシンタックス2は、一部モジュールをスキップする方法の第1の実施例を示す。
【0139】
【表2】
【0140】
このシンタックスに示すように、SkipData()モジュールは、スキップしようとするモジュールの前に定義され、このSkipData()モジュールの内部に、スキップしようとするモジュールの全体ビット数(bsSkipBits)を指定する。
【0141】
すなわち、スキップするSmgData()とTempShapeData()モジュールに用いられる全体ビット数を150ビットとすれば、SmgData()とTempShapeData()モジュールの前にSkipData()モジュールを定義し、bsSkipBitsを150ビットと指定することによって、150ビットに該当するSmgData()とTempShapeData()モジュールをスキップすることができる。
【0142】
下記のシンタックス3は、一部モジュールをスキップする方法の第2の実施例を示す。
【0143】
【表3】
【0144】
このシンタックスに示すように、シンクワードの使用有無に関する情報を有するbsSkipSyncflagとスキップされるモジュールの終了部分に位置するbsSkipSyncwordを用いて、余分なモジュールをスキップすることができる。
【0145】
すなわち、bsSkipSyncflagをシンクワードを使用するものと指定すれば、このフラグ以下のモジュールは、シンクワードが現れるまでスキップされる。したがって、このシンタックス3では、bsSkipSyncflagとbsSkipSyncword間のSmgData()及びTempShapeData()モジュールがスキップされることができる。
【0146】
図11を参照すると、ビットストリームは、マルチチャンネル信号の再生のためのヘッダ情報を有するマルチチャンネルヘッダフィールド、3Dダウンミックス信号の再生のためのヘッダ情報を有する3Dレンダリングヘッダフィールド、及びそれぞれマルチチャンネル信号の再生のためのデータを有する複数のマルチチャンネルデコーディング情報フィールドを含む。
【0147】
マルチチャンネル信号を再生しようとする場合、復号化装置は、3Dレンダリングヘッダフィールドをスキップし、マルチチャンネルヘッダフィールドに含まれたヘッダ情報とマルチチャンネルデコーディング情報フィールドに含まれたデータを読み込み、マルチチャンネル信号を生成する。
【0148】
この3Dレンダリングヘッダフィールドをスキップする方法の実施例は、図10を参照して説明したフィールドスキップ方法と同一なので、その説明は省略する。
【0149】
3Dダウンミックス信号を再生しようとする場合、復号化装置は、マルチチャンネルデコーディング情報フィールドに含まれたデータと3Dレンダリングヘッダフィールドに含まれたヘッダ情報を用いて3Dダウンミックス信号を生成できる。例えば、復号化装置は、マルチチャンネルデコーディング情報フィールドに含まれたダウンミックス信号と3Dレンダリングヘッダフィールドに含まれたHRTF係数情報を用いて3Dダウンミックス信号を生成することができる。
【0150】
図12は、本発明の一実施例による任意ダウンミックス信号を処理する符号化/復号化装置の構成を示すブロック図であり、任意ダウンミックス信号は、符号化器800に含まれたマルチチャンネルエンコーダ801により生成されたダウンミックス信号でないダウンミックス信号を意味する。図12に示す符号化/復号化装置の動作説明において、図1を参照して説明した符号化/復号化装置の動作と重複する説明は省略する。
【0151】
図12を参照すると、符号化器800は、マルチチャンネルエンコーダ801、空間情報合成部802及び比較部803を含んでなる。
【0152】
マルチチャンネルエンコーダ801は、マルチチャンネル信号をステレオまたはモノラルのダウンミックス信号にダウンミックスし、このダウンミックス信号からマルチチャンネル信号を復元するのに必要な空間情報を生成する。
【0153】
比較部803は、前記生成されたダウンミックス信号と任意ダウンミックス信号とを比較し、任意ダウンミックス信号を補償し、前記ダウンミックス信号に近似する信号に変換するための補償情報を生成する。復号化装置は、前記補償情報を用いて任意ダウンミックス信号を補償した後、この補償された任意ダウンミックス信号を用いてマルチチャンネル信号を生成することによって、原本信号により近似するマルチチャンネル信号を復元することができる。
【0154】
ここで、補償情報は、マルチチャンネルエンコーダ801で生成されたダウンミックス信号と任意ダウンミックス信号との差分に関する情報を意味することができる。復号化装置は、任意ダウンミックス信号に、前記差分情報(difference information)に相応する信号を加え、任意ダウンミックス信号を補償することができる。
【0155】
また、差分情報は、ダウンミックス信号と任意ダウンミックス信号間のエネルギーレベル差に関する情報であるダウンミックスゲインでありうる。
【0156】
このダウンミックスゲインは、周波数バンド別に求められても良く、時間あるいは時間スロット(time slot)別に求められても良く、チャンネル別に求められても良い。これら3つの方法を組み合わせて求めても良い。例えば、一部のダウンミックスゲインは、周波数バンド別に求められ、他の一部のダウンミックスゲインは、時間スロット別に求められても良い。
【0157】
また、前記ダウンミックスゲインは、パラメータバンド別に求められるか、任意ダウンミックス信号に最適化された周波数帯域別に求められても良い。このパラメータバンドは、パラメータ形態の空間情報が適用される周波数間隔のことをいう。
【0158】
求められたダウンミックス信号と任意ダウンミックス信号とのエネルギーレベル差は量子化されても良い。求められたエネルギーレベル差を量子化するための量子化レベルの分解能は、CLD(Channel Level Difference)の量子化レベル分解能と等しい、または、異なることができる。また、上記2つのダウンミックス信号間のエネルギーレベル差の量子化レベルは、CLDの量子化レベルの一部または全部を使用したり、CLDの量子化レベルの一部または全部と新しく定義された量子化レベルを組み合わせて使用することができる。
【0159】
2つのダウンミックス信号間エネルギーレベル差の分解能は、CLDの分解能より平均的に小さいので、求められたエネルギーレベル差を量子化するための量子化レベルの分解能は、CLDの量子化レベル分解能より細密な値を有するようにすることができる。
【0160】
任意ダウンミックス信号を補償するための補償情報は、マルチチャンネル信号のうち、任意ダウンミックス信号またはダウンミックスゲインを用いて復元されない成分に関するレジデュアル情報を含む拡張情報でありうる。復号化装置は、任意ダウンミックス信号またはダウンミックスゲインを用いて復元されない成分まで拡張情報を用いて復元することによって、原本信号に近いマルチチャンネル信号を復元することができる。
【0161】
このような拡張情報を生成する方法の実施例について説明すると、下記の通りである。
【0162】
マルチチャンネルエンコーダ801は、入力されるマルチチャンネル信号のうち、生成されたダウンミックス信号に含まれない成分に関する情報を、第1の拡張情報として生成することができる。復号化装置は、ダウンミックス信号と空間情報を用いてマルチチャンネル信号を生成する段階で第1の拡張情報を適用することによって、原本信号に近いマルチチャンネル信号を復元できる。
【0163】
マルチチャンネルエンコーダ801は、ダウンミックス信号と空間情報を用いてマルチチャンネル信号を復元し、この復元されたマルチチャンネル信号と原本マルチチャンネル信号間の差を求めることによって、第1の拡張情報を求めることができる。
【0164】
比較部803は、マルチチャンネルエンコーダ801で生成されたダウンミックス信号のうち、任意ダウンミックス信号にない成分、すなわち、ダウンミックスゲインを用いて補償されない成分に関する情報を、第2の拡張情報として生成できる。復号化装置は、第2の拡張情報を用いて任意ダウンミックス信号をより前記ダウンミックス信号に近く補償することができる。
【0165】
この拡張情報は、上記した方法の他、様々なレジデュアルコーディング方法を用いて生成されることができる。
【0166】
ダウンミックスゲインと拡張情報が共に補償情報として用いられることができる。例えば、全体周波数帯域に対してダウンミックスゲインと拡張情報を求めたり、一部周波数帯域に対してはダウンミックスゲインを求め、残りの周波数帯域に対しては拡張情報を求め、補償情報として使用することができる。一実施例として、低周波帯域に対しては拡張情報を補償情報として用い、高周波帯域に対してはダウンミックスゲインを補償情報として用いることができる。
【0167】
また、低周波帯域の他に、ピーク(peak)またはノッチ(notch)などのように音質に重要な影響を及ぼす部分も、拡張情報を補償情報として用いることが好ましい。
【0168】
空間情報合成部802は、マルチチャンネルエンコーダ801で生成されたマルチチャンネル信号復元のための基本空間情報、例えば、CLD、CPC、ICC、CTDなどと前記補償情報を空間情報として合成する。すなわち、復号化装置で転送される空間情報は、マルチチャンネル信号復元のための基本空間情報、ダウンミックスゲイン、第1及び第2の拡張情報などを含むことができる。
【0169】
前記合成された空間情報は、任意ダウンミックス信号と一緒にビットストリームに含まれ、復号化装置に転送される。
【0170】
前記拡張情報と任意ダウンミックス信号は、AAC、MP3またはBSACなどのエンコーダを用いて符号化されることができる。前記拡張情報及び前記任意ダウンミックス信号は、同じオーディオエンコーダを用いてエンコードされても良いし、異なるオーディオエンコーダを用いてエンコードされても良い。
【0171】
これら2つのオーディオエンコーダが同一である場合、復号化装置においても1種類のオーディオデコーダのみで復号化作業が可能である。この場合、任意ダウンミックス信号の復号化は常に可能な状態で始まるので、前記拡張情報を復号化できない場合は発生しない。ただし、任意ダウンミックス信号は、復号化されたPCM信号の形態で復号化装置に入力されるので、前記任意ダウンミックス信号に使用されたオーディオコーデックの種類がわからず、よって、拡張情報に使用されたオーディオコーデックの種類もわからない。
【0172】
したがって、任意ダウンミックス信号と拡張情報の符号化に使用されたオーディオコーデックの種類に関する情報をビットストリームに挿入することが好ましい。
【0173】
前記オーディオコーデック種類に関する情報は、ビットストリームのうち、特定構造ヘッダフィールドに挿入され、復号化装置は、前記ビットストリームの特定構造ヘッダフィールドから前記情報を抽出し、拡張情報の復号化に用いる。
【0174】
上記2つのオーディオエンコーダが異なる場合、拡張情報の復号化が不可能な状況が発生することがあり、その場合、拡張情報の終点がわからないため、それ以上の復号化作業進行は不可能になる。
【0175】
したがって、任意ダウンミックス信号と拡張情報に使用されたオーディオコーデックの種類に関する情報を、ビットストリームのうちの特定構造ヘッダフィールドに挿入し、復号化装置は、前記ビットストリームの特定構造ヘッダフィールドから前記情報を抽出し、拡張情報の復号化に用いる。拡張情報を復号化するためのデコーダが復号化装置に存在しない場合、拡張情報の復号化作業を進行せず、その次の情報を読む過程を行う。
【0176】
拡張情報に対して用いられるコーデックの種類に関する情報は、ビットストリームのうち、特定構造ヘッダフィールドに含まれた特定シンタックスエレメント(syntax element)を通じて表現されることができる。例えば、前記コーデック情報は、次のテーブル1に示すようなbsResidualCodecTypeという4ビットのシンタックスエレメントにより表現されることができる。
【0177】
【表4】
【0178】
前記拡張情報は、前記レジデュアル情報と一緒にチャンネル拡張情報を含むことができる。前記チャンネル拡張情報は、空間情報により復号化されるマルチチャンネル信号よりも多い数のチャンネルを有する信号に拡張するための情報を意味し、例えば、5.1チャンネルまたは7.1チャンネル信号を、9.1チャンネル信号に拡張するための情報でありうる。
【0179】
前記拡張情報は、ビットストリームに含まれて復号化装置に転送されることができ、復号化装置は、前記拡張情報を用いてダウンミックス信号を補償したり、マルチチャンネル信号のチャンネルを拡張させることができる。
【0180】
また、復号化装置は、ビットストリームに含まれた前記拡張情報を抽出せずに、スキップすることができる。例えば、ビットストリームに含まれた3Dダウンミックス信号を用いてマルチチャンネル信号を生成したり、ビットストリームに含まれたダウンミックス信号を用いて3Dダウンミックス信号を生成しようとする場合、復号化装置は、ビットストリームのうち、前記拡張情報をスキップすることが好ましい。
ビットストリームのうち、前記拡張情報をスキップする方法は、図10を参照して説明したスキップ方法と同一にすれば良い。
【0181】
例えば、拡張情報の開始部分に位置する前記拡張情報の全体ビット数に関する情報、前記拡張情報の開始部分または終了部分に位置するシンクワード、前記拡張情報の固定されたビット数に関する情報のうち少なくとも一つを用いて、ビットストリームのうち前記拡張情報部分をスキップすることができる。前記スキップのための情報は、ビットストリームに含まれていることが好ましく、前記固定ビット数情報は、復号化装置に保存されていても良い。
【0182】
図12を参照すると、復号化器810は、ダウンミックス補償部811、3Dレンダリング部815及びマルチチャンネルデコーダ816を含んでなる。
【0183】
ダウンミックス補償部811は、空間情報に含まれた補償情報、例えば、ダウンミックスゲインまたは拡張情報を用いて任意ダウンミックス信号を補償する。
【0184】
3Dレンダリング部815は、前記補償されたダウンミックス信号に3Dレンダリングを行い、デコーダ3Dダウンミックス信号を生成する。また、マルチチャンネルデコーダ816は、前記補償されたダウンミックス信号と前記空間情報に含まれた基本空間情報を用いて3Dマルチチャンネル信号を生成する。
【0185】
ダウンミックス補償部811が任意ダウンミックス信号を補償する方法の実施例について説明すると、下記の通りである。
【0186】
前記補償情報がダウンミックスゲインである場合、ダウンミックス補償部811は、任意ダウンミックス信号のエネルギーレベルを前記ダウンミックスゲインを用いて補償し、前記任意ダウンミックス信号をダウンミックス信号に近い信号に変換することができる。
【0187】
前記補償情報が第2の拡張情報である場合、ダウンミックス補償部811は、前記第2の拡張情報を用いて前記任意ダウンミックス信号にない成分を補償できる。
【0188】
マルチチャンネルデコーダ816は、ダウンミックス信号にpre−matrix M1、mix−matrix M2及びpost−matrix M3を順次に適用し、マルチチャンネル信号を生成できるが、前記第1の拡張情報は、mix−matrix M2の適用段階で用いられてダウンミックス信号を補償することができる。すなわち、前記第2の拡張情報を用いてpre−matrix M1が適用された任意ダウンミックス信号を補償できる。
【0189】
上記のようにマルチチャンネル信号生成過程中に拡張情報を適用することによって、複数のチャンネルのうち特定チャンネルに対する補償が可能となる。例えば、拡張情報がmix−matrix M2のセンターチャンネルに適用される場合、ダウンミックス信号の左側及び右側チャンネル信号が前記拡張情報を用いて補償され、拡張情報がmix−matrix M2の左側チャンネルに適用される場合には、ダウンミックス信号の左側チャンネル信号が、前記拡張情報を用いて補償されるようにすることができる。
【0190】
また、前記補償情報として前記ダウンミックスゲインと拡張情報が共に用いられることができる。例えば、任意ダウンミックス信号の低周波帯域は、前記拡張情報を用いて補償され、高周波帯域は、前記ダウンミックスゲインを用いて補償されるようにすることができる。また、低周波帯域の他に、ピーク、ノッチなどのように音質に重要な影響を及ぼす部分も、前記拡張情報により補償されるようにすることができる。前記拡張情報が適用される領域に関する情報は、符号化装置から転送されるビットストリームに含まれていることが好ましい。また、前記ビットストリームは、含まれたダウンミックス信号が任意ダウンミックス信号か否かに関する情報、及び補償情報を含むか否かに関する情報を含むことができる。
【0191】
符号化器800のマルチチャンネルエンコーダ801で生成されたダウンミックス信号のクリッピング(clipping)を防止すべく、前記生成されたダウンミックス信号を、特定ゲインゲイン値で除することができる。前記ゲインは、固定(static)値を有するか、可変(dynamic)値を有することができる。
【0192】
ダウンミックス補償部811は、クリッピング防止のために、弱化した前記ダウンミックス信号を前記ゲイン値を用いて補償し、元来の大きさのダウンミックス信号に復元できる。
【0193】
また、ダウンミックス補償部811により補償された任意ダウンミックス信号は、直接再生可能であり、補償されなかった任意ダウンミックス信号が3Dレンダリング部815に入力され、デコーダ3Dダウンミックス信号に変換されても良い。
【0194】
図12を参照すると、ダウンミックス補償部811は、第1のドメイン変換部812、補償処理部813及び第2のドメイン変換部814を含むことができる。
【0195】
第1のドメイン変換部812は、任意ダウンミックス信号に対してドメイン変換を行い、補償処理部813は、前記変換されたドメイン上で補償情報、例えば、ダウンミックスゲインまたは拡張情報を用いて前記任意ダウンミックス信号を補償する。
【0196】
前記補償作業は、QMF/ハイブリッドドメイン上で行われることが好ましく、そのため、第1のドメイン変換部812は前記任意ダウンミックス信号に対してQMF/ハイブリッド分析を行うことができる。また、第1のドメイン変換部812は、前記任意ダウンミックス信号を、QMF/ハイブリッドドメイン以外のドメイン、例えば、DFTまたはFFTドメインのような周波数ドメインに変換することができ、前記補償作業は、QMF/ハイブリッドドメイン以外のドメイン、例えば、周波数ドメインまたは時間ドメイン上で行われても良い。
【0197】
第2のドメイン変換部814は、前記補償された任意ダウンミックス信号にドメイン変換を行う。第2のドメイン変換部814は、第1のドメイン変換部814で行われたドメイン変換の逆変換を行い、前記補償された任意ダウンミックス信号を、ダウンミックス補償部811に入力される前のドメインに逆変換することが好ましい。
【0198】
例えば、第2のドメイン変換部814は、前記補償された任意ダウンミックス信号にQMF/ハイブリッド合成を行い、前記補償された任意ダウンミックス信号を時間ドメイン上の信号に変換できる。また、第2のドメイン変換部814は、前記補償された任意ダウンミックス信号にIDFTまたはIFFTなどを行うことができる。
【0199】
図7を参照して説明したように、3Dレンダリング部815は、周波数ドメイン、QMF/ハイブリッドドメインまたは時間ドメイン上において前記補償された任意ダウンミックス信号に3Dレンダリングを行うことができる。そのため、3Dレンダリング部815は、前記補償された任意ダウンミックス信号を、前記3Dレンダリングが行われるドメイン上に変換するためのドメイン変換部、または前記レンダリングの行われた信号にドメイン変換を行うドメイン変換部を含むことができる。
【0200】
補償処理部811で補償作業が行われるドメインと3Dレンダリング部815で3Dレンダリングが行われるドメインは、互いに同一であっても良いし、異なっていても良い。
【0201】
図13は、任意ダウンミックス信号の補償と3Dレンダリングを行う装置の構成の一実施例を示すブロック図であり、同図のダウンミックス補償/3Dレンダリング部820は、第1のドメイン変換部821、第2のドメイン変換部822、補償/3Dレンダリング処理部823及び第3のドメイン変換部824を含んでなる。
【0202】
ダウンミックス補償/3Dレンダリング部820は、前記補償作業と3Dレンダリングを一つのドメイン上で処理し、復号化装置の演算量を減少させることができる。
【0203】
図13を参照すると、第1のドメイン変換部821は、任意ダウンミックス信号を、前記補償作業と3Dレンダリングが行われる第1のドメイン上に変換する。第2のドメイン変換部822は、空間情報、例えば、マルチチャンネル信号生成に必要な基本空間情報と任意ダウンミックス信号の補償に必要な補償情報を、前記第1のドメイン上で適用可能なように変換する。前記補償情報は、ダウンミックスゲインと拡張情報のうち少なくとも一つを含む。
【0204】
例えば、第2のドメイン変換部822は、QMF/ハイブリッドドメイン上の複数のパラメータバンドのそれぞれに対応する補償情報を周波数帯域にマッピングさせ、前記補償情報を周波数ドメインで適用可能な形態に変換することができる。
【0205】
前記第1のドメインは、DFTまたはFFTドメインなどのような周波数ドメイン、QMF/ハイブリッドドメインまたは時間ドメインにすれば良く、その他様々なドメインにしても良い。
【0206】
前記補償情報を前記第1のドメイン上で適用可能なように変換する過程で、時間遅延(time delay)が発生する。この時間遅延を防止すべく、第2のドメイン変換部822は、前記補償情報のドメインと第1のドメイン間の時間遅延を補正する作業をさらに行うことができる。
【0207】
補償/3Dレンダリング処理部823は、前記第1のドメイン上で前記変換された空間情報を用いて任意ダウンミックス信号に補償作業を行い、前記補償された任意ダウンミックス信号に3Dレンダリング作業を行う。前記補償作業と3Dレンダリングの遂行順序は変更可能である。
【0208】
補償/3Dレンダリング処理部823は、前記補償作業と3Dレンダリングを同時に行うことができる。例えば、補償/3Dレンダリング処理部823は、3Dレンダリングに用いられるフィルタ係数と補償情報とが組み合わせられた新しいフィルタ係数を用いて、前記第1のドメイン上で前記任意ダウンミックス信号に3Dレンダリング作業を行うことによって、補償された3Dダウンミックス信号を生成できる。
【0209】
第3のドメイン変換部824は、前記第1のドメイン上で生成された3Dダウンミックスに周波数ドメイン変換を行う。
【0210】
図14は、本発明の一実施例による互換型ダウンミックス信号を処理する復号化装置の構成を示すブロック図であり、同図の復号化器900は、第1のマルチチャンネルデコーダ910、ダウンミックス互換処理部920、第2のマルチチャンネルデコーダ930及び3Dレンダリング部940を含んでなる。図14に示す復号化装置の動作説明において、図1を参照して説明した復号化装置の動作と重複する説明は省略する。
【0211】
互換型ダウンミックス信号は、2つ以上のマルチチャンネルデコーダで復号化可能な形態のダウンミックス信号を意味する。すなわち、互換型ダウンミックス信号は、いずれか一つのマルチチャンネルデコーダに最適化して生成されたダウンミックス信号であるが、交換処理作業を通じて前記マルチチャンネルデコーダ以外の他のマルチチャンネルデコーダに最適化されたダウンミックス信号に変換可能なものを意味することができる。
【0212】
図14を参照すると、入力される互換型ダウンミックス信号は、第1のマルチチャンネルデコーダ910に最適化して生成されたもので、第2のマルチチャンネルデコーダ930で復号化されるためには、まず、ダウンミックス互換処理部920を通じて第2のマルチチャンネルデコーダ930に最適化した信号に互換処理されることが好ましい。第1のマルチチャンネルデコーダ910は、前記互換型ダウンミックス信号を復号化し、第1のマルチチャンネル信号を生成する。第1のマルチチャンネルデコーダ910は、空間情報無しで前記互換型ダウンミックス信号のみを用いてマルチチャンネル信号を復号化できる。
【0213】
第2のマルチチャンネルデコーダ930は、前記互換処理されたダウンミックス信号と空間情報を用いて第2のマルチチャンネル信号を生成する。3Dレンダリング部940は、前記互換処理されたダウンミックス信号に3Dレンダリングを行い、デコーダ3Dダウンミックス信号を生成することができる。
【0214】
互換型ダウンミックス信号は、インバージョンマトリクス(inversion matrix)のような互換情報を用いて、他のマルチチャンネルデコーダに最適化したダウンミックス信号に互換処理されることができる。例えば、第1のマルチチャンネルエンコーダ/デコーダ及びこれと異なる方式の第2のマルチチャンネルエンコーダ/デコーダが存在する時、符号化装置は、前記第1のマルチチャンネルエンコーダにより生成されたダウンミックス信号にマトリクスを適用し、前記第2のマルチチャンネルデコーダに最適化した互換型ダウンミックス信号を生成することができる。また、復号化装置は、前記互換型ダウンミックス信号にインバージョンマトリクスを適用し、前記第1のマルチチャンネルデコーダに最適化したダウンミックス信号を生成することができる。
【0215】
図14を参照すると、ダウンミックス互換処理部920は、インバージョンマトリクスを用いて、互換型ダウンミックス信号に互換処理を行うことによって、第2のマルチチャンネルデコーダ930に最適化したダウンミックス信号を生成できる。
【0216】
前記インバージョンマトリクスに関する情報は、復号化装置があらかじめ保存していても良く、入力されるビットストリームに含まれて符号化装置から転送されても良い。また、入力されるビットストリームに含まれるダウンミックス信号が任意ダウンミックス信号か互換型ダウンミックス信号かに関する情報が、入力されるビットストリームに含まれることが好ましい。
【0217】
図14を参照すると、ダウンミックス互換処理部920は、第1のドメイン変換部921、互換処理部922及び第2のドメイン変換部923を含むことができる。
【0218】
第1のドメイン変換部921は、互換型ダウンミックス信号にドメイン変換を行い、互換処理部813は、前記変換されたドメイン上で互換情報、例えば、インバージョンマトリクスを用いて、前記互換型ダウンミックス信号を、第2のマルチチャンネルデコーダ930に最適化した信号に変換する。
【0219】
前記互換処理は、QMF/ハイブリッドドメイン上で行われることが好ましく、そのため、第1のドメイン変換部921は、前記互換型ダウンミックス信号にQMF/ハイブリッド分析を行うことができる。また、第1のドメイン変換部921は、前記互換型ダウンミックス信号をQMF/ハイブリッドドメイン以外のドメイン、例えば、DFTまたはFFTドメインのような周波数ドメインに変換することができ、前記互換処理は、QMF/ハイブリッドドメイン以外のドメイン、例えば、周波数ドメインまたは時間ドメイン上で行われることができる。
【0220】
第2のドメイン変換部923は、前記互換処理された互換型ダウンミックス信号にドメイン変換を行う。第2のドメイン変換部923は、第1のドメイン変換部921で行われたドメイン変換の逆変換を行い、前記互換処理された互換型ダウンミックス信号を、ダウンミックス互換処理部920に入力される前のドメインに逆変換することが好ましい。
【0221】
例えば、第2のドメイン変換部923は、前記互換処理された互換型ダウンミックス信号にQMF/ハイブリッド合成を行い、前記互換処理された互換型ダウンミックス信号を時間ドメイン上の信号に変換できる。また、第2のドメイン変換部923は、前記互換処理された互換型ダウンミックス信号にIDFTまたはIFFTなどを行っても良い。
【0222】
3Dレンダリング部940は、周波数ドメイン、QMF/ハイブリッドドメインまたは時間ドメイン上で、前記互換処理された互換型ダウンミックス信号に3Dレンダリングを行うことができる、そのため、3Dレンダリング部940は、前記ダウンミックス信号を前記3Dレンダリングの行われるドメイン上に変換するためのドメイン変換部、または前記レンダリングが行われた信号に対してドメイン変換を行うドメイン変換部を含むことができる。
【0223】
互換処理部922で互換処理が行われるドメインと3Dレンダリング部940で3Dレンダリングが行われるドメインは、互いに同一である、または、異なる。
【0224】
図15は、互換型ダウンミックス信号の互換処理と3Dレンダリングを行う装置の一実施例を示す構成ブロック図であり、同図のダウンミックス互換/3Dレンダリング部950は、第1のドメイン変換部951、第2のドメイン変換部952、互換/3Dレンダリング処理部953及び第3のドメイン変換部954を含んでなる。
【0225】
ダウンミックス互換/3Dレンダリング部950は、前記互換処理と3Dレンダリングを一つのドメイン上で処理し、復号化装置の演算量を減少させることができる。
【0226】
図15を参照すると、第1のドメイン変換部951は、互換型ダウンミックス信号を、前記互換処理と3Dレンダリングが行われる第1のドメイン上に変換する。第2のドメイン変換部952は、空間情報と互換情報、例えばインバージョンマトリクスを、前記第1のドメイン上で適用可能なように変換する。
【0227】
例えば、第2のドメイン変換部952は、QMF/ハイブリッドドメイン上の複数のパラメータバンドのそれぞれに対応するインバージョンマトリクスを周波数帯域にマッピングさせ、前記インバージョンマトリクスを周波数ドメインで適用可能な形態に変換できる。
【0228】
前記第1のドメインは、DFTまたはFFTドメインなどのような周波数ドメイン、QMF/ハイブリッドドメインまたは時間ドメインにすれば良く、その他様々なドメインにしても良い。
【0229】
前記空間情報及び互換情報を前記第1のドメイン上で適用可能なように変換する過程で、時間遅延が発生することができる。この時間遅延を防止すべく、第2のドメイン変換部952は、前記空間情報及び互換情報のドメインと第1のドメイン間の時間遅延を補正する作業をさらに行うことができる。
【0230】
互換/3Dレンダリング処理部953は、前記第1のドメイン上で前記変換された互換情報を用いて互換型ダウンミックス信号に互換処理を行い、前記互換処理された互換型ダウンミックス信号に3Dレンダリング作業を行う。前記互換処理と3Dレンダリングの遂行順序は変更可能である。
【0231】
互換/3Dレンダリング処理部953は、前記互換処理と3Dレンダリングを同時に行うことができる。例えば、互換/3Dレンダリング処理部953は、3Dレンダリングに用いられるフィルタ係数と互換情報とが組み合わせられた新しいフィルタ係数を用いて、前記第1のドメイン上で前記互換型ダウンミックス信号に3Dレンダリング作業を行うことによって、3Dダウンミックス信号を生成できる。
【0232】
第3のドメイン変換部954は、前記第1のドメイン上で生成された3Dダウンミックスに周波数ドメイン変換を行う。
【0233】
図16は、クロストーク(crosstalk)を除去するための復号化装置の一実施例を示す構成ブロック図であり、同図の復号化装置は、ビットアンパッキング部960、ダウンミックスデコーダ970、3Dレンダリング部980及びクロストーク除去部990を含んでなる。図16に示す復号化装置の動作説明において、図1を参照して説明した復号化装置の動作と重複する説明は省略する。
【0234】
3Dレンダリング部980から出力される3Dダウンミックス信号は、ヘッドホンなどを用いて再生されることができる。しかし、前記3Dダウンミックス信号が、使用者から遠く離れたスピーカーを通じて再生される場合には、チャンネル間クロストークが発生することができる。
【0235】
したがって、図16に示すように、本発明による復号化装置は、前記3Dダウンミックス信号にクロストーク除去を行うクロストーク除去部990を含むことが好ましい。
【0236】
また、本発明による復号化装置では、音場処理(sound field processing)が行われることができる。
【0237】
前記音場処理に用いられる音場情報、すなわち、信号が再生される空間がどんな空間なのかに関する情報は、符号化装置から転送されるビットストリームに含まれたり、復号化装置で指定されることができる。
【0238】
入力されるビットストリームは、残響時間(reverberation time)に関する情報を含むことができ、音場処理に用いられるフィルタは、前記残響時間情報によって調整されることができる。
【0239】
前記音場処理は、初期部(Early Part)と後期残響(Late Reverberation)に分けてそれぞれ処理されることができる。例えば、初期部は、FIRフィルタを用いて処理され、後期残響は、IIRフィルタを用いて処理されることができる。
【0240】
前記初期部に対して音場処理を行う方法の実施例には、時間ドメイン上でFIRフィルタを用いて畳み込み(convolution)を行う方法、または、周波数ドメイン上での積を行った後、時間ドメインに変換する方法などがある。前記後期残響は、時間ドメイン上で音場処理されることが好ましい。
【0241】
本発明はまた、コンピュータにより読み取り可能な記録媒体に、コンピュータにより読み取り可能なコードとして具現することが可能である。コンピュータにより読み取り可能な記録媒体は、コンピュータシステムにより読み取り可能なデータが保存される全種類の記録装置を含む。コンピュータにより読み取り可能な記録媒体の例には、ROM、RAM、CD−ROM、磁気テープ、フロッピー(登録商標)ディスク、光データ保存装置などを含め、キャリアウェーブ(例えば、インターネットを介した転送)の形態に具現されるものも含む。
【0242】
本発明に係る符号化/復号化装置及び方法によれば、マルチチャンネル信号を、3D効果を有する信号に效率的に符号化でき、再生環境に応じて適応的に最上の音質を有するオーディオ信号を復元し再生することが可能になる。
【産業上の利用可能性】
【0243】
以上説明してきた本発明の具体的な実施例は、いずれも例示のために開示されたもので、当業者なら、添付した特許請求の範囲上に開示された本発明の技術的思想とその技術的範囲内で、様々な実施例に改良、変更、代替または付加などが可能である。例えば、本発明によるグルーピング、データコーディング及びエントロピーコーディングを適用した様々な応用分野及び製品に適用することが可能である。また、本発明による少なくとも一特徴を適用したデータを保存する媒体(medium)を提供することが可能である。
【図面の簡単な説明】
【0244】
【図1】本発明の一実施例による符号化/復号化装置の全体的な構成を示すブロック図である。
【図2】本発明の一実施例による符号化装置の構成を示すブロック図である。
【図3】本発明の一実施例による復号化装置の構成を示すブロック図である。
【図4】本発明の他の実施例による符号化装置の構成図を示すブロック図である。
【図5】本発明の他の実施例による復号化装置の構成図を示すブロック図である。
【図6】本発明のさらに他の実施例による復号化装置の構成を示すブロック図である。
【図7】3Dレンダリングを行う装置の一実施例を示す構成ブロック図である。
【図8】ビットストリーム構造の各実施例を示す図である。
【図9】ビットストリーム構造の各実施例を示す図である。
【図10】ビットストリーム構造の各実施例を示す図である。
【図11】ビットストリーム構造の各実施例を示す図である。
【図12】本発明の一実施例による任意ダウンミックス信号を処理する符号化/復号化装置の構成を示すブロック図である。
【図13】任意ダウンミックス信号の補償と3Dレンダリングを行う装置の一実施例を示す構成ブロック図である。
【図14】本発明による互換型ダウンミックス信号を処理する復号化装置の一実施例を示す構成ブロック図である。
【図15】互換型ダウンミックス信号の互換処理と3Dレンダリングを行う装置の一実施例を示す構成ブロック図である。
【図16】クロストークを除去するための復号化装置の一実施例を示す構成ブロック図である。
【技術分野】
【0001】
本発明は、符号化/復号化方法及び装置に係り、より詳細には、3D効果を有する信号の処理のためのオーディオ信号の符号化/復号化装置及びこれを用いた符号化/復号化方法に関する。
【背景技術】
【0002】
マルチチャンネル信号は、符号化装置を通じて自分よりも少ない数のチャンネルを有する信号にダウンミックスされて復号化装置に転送され、復号化装置は、前記転送されてきたダウンミックス信号をマルチチャンネル信号に復元した後、3以上のスピーカ、例えば、5.1チャンネルのスピーカを用いて再生する。
【0003】
また、マルチチャンネル信号はヘッドホンのような2チャンネルのスピーカーを通じて再生されることもできる。この場合、使用者に、2チャンネルスピーカーの音を3以上の音源から出力されるかのように感じさせるには、マルチチャンネル信号を3D効果を有する信号に符号化または復号化する3D処理技術が必要である。
【発明の開示】
【発明が解決しようとする課題】
【0004】
本発明の目的は、様々な再生環境でマルチチャンネル信号を再生できるように、3D効果を有する信号を效率的に処理することができる符号化/復号化装置及び方法を提供することにある。
【課題を解決するための手段】
【0005】
上記の目的を達成するための本発明による復号化方法は、入力されるビットストリームから、ダウンミックス信号及び複数のチャンネルに関する空間情報を抽出する段階と、前記空間情報及びフィルタを用いて前記ダウンミックス信号に3Dレンダリングを行い、3Dダウンミックス信号を生成する段階を有し、前記ダウンミックス信号、空間情報及びフィルタ係数の有効信号個数の和が、前記生成された3Dダウンミックス信号の有効信号個数以下であることを特徴とする。
【0006】
上記の目的を達成するための本発明による他の復号化方法は、入力されるビットストリームから、ダウンミックス信号及び複数のチャンネルに関する空間情報を抽出する段階と、前記抽出された空間情報のうち少なくとも一つをそれに隣接する空間情報を用いて補正する段階と、及び前記補正された空間情報と前記ダウンミックス信号を用いてマルチチャンネル信号を生成する段階と、を有することを特徴とする。
【0007】
上記の目的を達成するための本発明による符号化方法は、マルチチャンネル信号を、それより少ない数のチャンネルを有するダウンミックス信号に符号化する段階と、前記複数のチャンネルに関する空間情報を生成する段階と、前記空間情報及びフィルタを用いて前記ダウンミックス信号に3Dレンダリングを行い、3Dダウンミックス信号を生成する段階を有し、前記ダウンミックス信号、空間情報及びフィルタ係数の有効信号個数の和が、前記生成された3Dダウンミックス信号の有効信号個数以下であることを特徴とする。
【0008】
上記の目的を達成するための本発明による復号化装置は、入力されるビットストリームから、ダウンミックス信号及び複数のチャンネルに関する空間情報を抽出するビットアンパッキング部と、前記空間情報及びフィルタを用いて前記ダウンミックス信号に3Dレンダリングを行い、3Dダウンミックス信号を生成する3Dレンダリング部を有し、前記ダウンミックス信号、空間情報及びフィルタ係数の有効信号個数の和が、前記生成された3Dダウンミックス信号の有効信号個数以下であることを特徴とする。
【0009】
上記の目的を達成するための本発明による他の復号化装置は、入力されるビットストリームから、ダウンミックス信号及び複数のチャンネルに関する空間情報を抽出するビットアンパッキング部と、前記抽出された空間情報のうち少なくとも一つを、それに隣接する空間情報を用いて補正する空間情報補正部と、前記補正された空間情報と前記ダウンミックス信号を用いてマルチチャンネル信号を生成するマルチチャンネルデコーダと、を有することを特徴とする。
【0010】
上記の目的を達成するための本発明による符号化装置は、マルチチャンネル信号を、それより少ない数のチャンネルを有するダウンミックス信号に符号化し、前記複数のチャンネルに関する空間情報を生成するマルチチャンネルエンコーダと、前記空間情報及びフィルタを用いて前記ダウンミックス信号に3Dレンダリングを行い、3Dダウンミックス信号を生成する3Dレンダリング部を有し、前記ダウンミックス信号、空間情報及びフィルタ係数の有効信号個数の和が、前記生成された3Dダウンミックス信号の有効信号個数以下であることを特徴とする。
【0011】
前記符号化/復号化方法は、好ましくは、コンピュータで実行させるためのプログラムを記録した、コンピュータで読み取り可能な記録媒体で具現化できる。
【発明の効果】
【0012】
本発明の符号化/復号化装置及び方法によれば、マルチチャンネル信号を3D効果を有する信号に效率的に符号化でき、再生環境によって適応的に最上の音質を有するオーディオ信号を復元して再生することが可能になる。
【発明を実施するための最良の形態】
【0013】
以下、添付の図面を参照しつつ、本発明に係る符号化/復号化方法及び装置の好適な実施例について詳細に説明する。
【0014】
図1は、本発明の一実施例による符号化/復号化装置を示すブロック図である。図1を参照すると、符号化器100は、マルチチャンネルエンコーダ110、3Dレンダリング部120、ダウンミックスエンコーダ130及びビットパッキング部140を含んでなる。
【0015】
マルチチャンネルエンコーダ110は、複数のチャンネルを有するマルチチャンネル信号をステレオまたはモノラルのダウンミックス信号にダウンミックスし、また、前記ダウンミックス信号からマルチチャンネル信号を復元するのに必要な複数の前記チャンネルに関する空間情報(spatial information)を生成する。
【0016】
空間情報は、マルチチャンネルのうち、2チャンネル間のエネルギー差を示すCLD(Channel Level Difference)、2チャンネル信号から3チャンネル信号を生成するために用いられる予測係数であるCPC(Channel Prediction Coefficient)、2チャンネル間相関関係(correlation)を示すICC(Inter Channel Correlation)、及び2チャンネル間時間差を示すCTD(Channel Time Difference)などを含むことができる。
【0017】
3Dレンダリング部120は、ダウンミックス信号を用いて3Dダウンミックス信号を生成する。3Dダウンミックス信号は、2チャンネルの信号が3以上の方向性を有するようにし、ヘッドホンのような2チャンネルスピーカーを通じて3次元立体音響を再生できるようにするための信号である。すなわち、3Dダウンミックス信号を2チャンネルのスピーカーを通じて再生すると、再生される音は3チャンネル以上の音源から出力されるかのように使用者に聞こえさせることができる。音原の方向感は、両耳から入ってくる音の強度差、時間差、位相差のうち少なくとも一つにより形成されるので、3Dレンダリング部120は、上記のように人間が聴覚で音原の3次元上の位置を把握するメカニズムを用いてダウンミックス信号を3Dダウンミックス信号に変換することができる。
【0018】
3Dレンダリング部120は、フィルタを用いてダウンミックス信号をフィルタリングすることによって3Dダウンミックス信号を生成することが好ましく、フィルタに関する情報、例えば、フィルタの係数は外部から入力されることができる。また、3Dレンダリング部120は、ダウンミックス信号を用いて3Dダウンミックス信号を生成すべく、マルチチャンネルエンコーダ110で生成された空間情報を用いても良い。例えば、3Dレンダリング部120は、空間情報を用いてダウンミックス信号を仮想のマルチチャンネル信号に変換した後、この仮想のマルチチャンネル信号をフィルタリングし、3Dダウンミックス信号に変換することができる。
【0019】
3Dレンダリング部120は、HRTF(Head Related Transfer Function)フィルタを用いてダウンミックス信号をフィルタリングすることによって、3Dダウンミックス信号を生成できる。
【0020】
HRTFは、任意の位置を有する音源から出る音波と耳の鼓膜に到達する音波間の伝達関数(transfer function)を意味し、音原の方位と高度によってその値は異なる。方向性のない信号をHRTFでフィルタリングすると、人には、あたかも特定方向から音が出るかのように聞こえる。
【0021】
3Dレンダリング部120は、周波数ドメイン、例えば、DFT(Discrete Fourier Transform)ドメインまたはFFT(Fast Fourier Transform)ドメイン上で3Dダウンミックス信号生成作業を行うことができる。この場合、3Dプロセシングの前にDFTまたはFFTを行ったり、3Dプロセシングの後にIDFT(inverse DFT)またはIFFT(inverse FFT)を行うことができる。
【0022】
3Dレンダリング部120は、QMF(quadrature mirror Filter)/ハイブリッドドメイン上でも3Dレンダリングを行うことができ、その場合、3Dレンダリングの前後にQMF/ハイブリッド分析及び合成(synthesis)が行われることができる。
【0023】
また、3Dレンダリングは、時間(time)ドメイン上でも行われることができる。3Dレンダリングの行われるドメインは、要求される音質、装置の演算能力などを考慮して最も好適なドメインを決定すれば良い。
【0024】
ダウンミックスエンコーダ130は、マルチチャンネルエンコーダ110から出力されるダウンミックス信号または3Dレンダリング部120から出力される3Dダウンミックス信号を符号化する。ダウンミックスエンコーダ130は、入力されるダウンミックス信号をAAC(Advanced Audio Coding)、MP3(MPEG layer 3)またはBSAC(Bit Sliced Arithmetic Coding)などのオーディオ信号コーディング方法を用いて符号化することができる。
【0025】
ダウンミックスエンコーダ130は、3D処理されなかったダウンミックス信号と3D処理された3Dダウンミックス信号とも符号化することができ、この場合、転送されるビットストリームにこれらの両信号を全て含めることができる。
【0026】
ビットパッキング部140は、符号化されたダウンミックス信号または3Dダウンミックス信号と空間情報を用いてビットストリームを生成する。
【0027】
ビットストリームは、空間情報、含まれた信号がダウンミックス信号か3Dダウンミックス信号かを示すダウンミックス識別情報、3Dレンダリング部120で用いられたフィルタに関する情報、例えば、HRTF係数に関する情報などを含むことができる。
【0028】
すなわち、復号化装置に転送されるビットストリームには、3D処理されなかったダウンミックス信号とエンコーダで3D処理されたエンコーダ3Dダウンミックス信号のうち少なくとも一つが含まれることができ、転送されたビットストリームに含まれたダウンミックス信号を復号化装置で識別できるようにするダウンミックス識別情報が含まれることが好ましい。
【0029】
転送されるビットストリームにダウンミックス信号とエンコーダ3Dダウンミックス信号のうちのいずれかが含まれるかは、使用者の選択、符号化/復号化装置の性能、再生環境などによって決定されることができる。
【0030】
HRTF係数に対する情報は、3Dレンダリング部120で使用されたHRTFの逆変換関数の係数を含むことができ、3Dレンダリング部120で使用されたHRTFの係数に関する簡略化した情報、例えば、前記係数の包絡線(envelope)情報のみを含んでも良い。ビットストリームにHRTF逆変換関数の係数を含めて転送する場合、復号化装置のHRTF係数変換作業が省略されることができるので、復号化装置の演算量を減少させることができる。
【0031】
ビットストリームは、HRTFを用いたフィルタリングによる信号のエネルギー変化に関する情報、すなわち、フィルタリング前の信号のエネルギーとフィルタリング後の信号のエネルギー間の差または比に関する情報を含むことができる。
【0032】
ビットストリームは、HRTF係数を含むか否かを示す情報を有することができ、HRTF係数がビットストリームに含まれた場合、3Dレンダリング部120で使用されたHRTFの係数とHRTFの逆変換関数の係数のうちいずれかを含んでいるかに関する情報を有することができる。
【0033】
図1を参照すると、本発明による復号化装置は、ビットアンパッキング部210、ダウンミックスデコーダ220、3Dレンダリング部230及びマルチチャンネルデコーダ240を含んでなる。
【0034】
ビットアンパッキング部210は、入力されるビットストリームから、符号化されたダウンミックス信号と空間情報を抽出し、ダウンミックスデコーダ220は、符号化されたダウンミックス信号を復号化する。ダウンミックスデコーダ220は、AAC、MP3またはBSACなどのオーディオ信号復号化方法を用いて、符号化されたダウンミックス信号を復号化することができる。
【0035】
上記のように、ビットストリームから抽出される信号は、符号化されたダウンミックス信号または符号化されたエンコーダ3Dダウンミックス信号でありうる。ビットストリームに含まれたダウンミックス信号が3D処理された信号か否かに関する情報は、ビットストリームに含まれることができる。
【0036】
ダウンミックスデコーダ220により復号化されたエンコーダ3Dダウンミックス信号は、直ちに再生可能である。
【0037】
ダウンミックスデコーダ220により復号化されたダウンミックス信号は、3Dレンダリング部230に含まれた第3のレンダリング部233で3D効果処理され、3Dダウンミックス信号に変換されることができる。このように復号化装置で3D効果処理されたデコーダ3Dダウンミックス信号は、直ちに再生可能である。
【0038】
3Dレンダリング部230に含まれた第1のレンダリング部231は、ダウンミックスデコーダ220により復号化されたエンコーダ3Dダウンミックス信号に3Dレンダリングを行い、ダウンミックス信号を生成する。例えば、第1のレンダリング部231は、エンコーダ3Dダウンミックス信号の3D効果を除去することによって、3D処理されなかったダウンミックス信号を生成できる。
【0039】
エンコーダ3Dダウンミックス信号の3D効果は、第1のレンダリング部231により完全に除去されないこともあり、したがって、第1のレンダリング部231から出力されるダウンミックス信号は、若干の3D効果を有する信号にもなりうる。
【0040】
第1のレンダリング部231は、符号化器100の3Dレンダリング部120で使用されたフィルタの逆変換フィルタを用いて、エンコーダダウンミックス信号を3D効果の除去されたダウンミックス信号に変換できる。3Dレンダリング部120で使用されたフィルタまたは逆変換フィルタに関する情報は、符号化器100から転送されるビットストリームに含まれることができる。
【0041】
ここで、フィルタはHRTFフィルタとすることが好ましく、この場合、符号化器100で使用されたHRTFの係数またはHRTFの逆変換係数は、符号化器100から転送されるビットストリームに含まれることができる。符号化器100で使用されたHRTFの係数は逆変換された後、第1のレンダリング部231の3Dレンダリングに用いられる。ビットストリームに符号化器100で使用されたHRTFの逆変換係数が含まれた場合、逆変換過程無しで、該ビットストリームに含まれた係数を用いて3Dレンダリングを行うことができるので、復号化装置の演算量を減少させることができる。
【0042】
入力されるビットストリームには、フィルタ情報、例えば、HRTF係数を含むか否かを示す情報またはビットストリームに含まれたフィルタ情報が逆変換されたか否かに関する情報が含まれることができる。
【0043】
マルチチャンネルデコーダ240は、3D効果の除去されたダウンミックス信号とビットストリームから抽出された空間情報とを用いて、3以上のチャンネルを有する3Dマルチチャンネル信号を生成する。
【0044】
また、第2のレンダリング部232は、3D効果の除去されたダウンミックス信号に3Dレンダリングを行い、3D効果を有する3Dダウンミックス信号を生成できる。すなわち、第1のレンダリング部231は、エンコーダ3Dダウンミックス信号から符号化器100の3D効果を除去し、第2のレンダリング部231は、復号化装置が持つフィルタを用いて、当該3D効果の除去されたダウンミックス信号に3Dレンダリングを行い、復号化装置で所望の3D効果を有するコンバインド(combined)3Dダウンミックス信号を生成できる。
【0045】
本発明による復号化装置は、第1、2、3レンダリング部231,232,233のうち、同じ動作を行う2以上のユニットを一つのレンダリング部に併合して含むことができる。
【0046】
図1に示すように、符号化器100で生成されたビットストリームは、上記のような復号化装置の構造を有する第1の復号化器200とは異なる第2の復号化器300に転送されることができ、第2の復号化器300は、ビットストリームに含まれたダウンミックス信号を用いて3Dダウンミックス信号を生成することができる。
【0047】
第2の復号化器300のビットアンパッキング部310は、入力されるビットストリームから、符号化されたダウンミックス信号と空間情報を抽出し、ダウンミックスデコーダ320は、当該符号化されたダウンミックス信号を復号化する。ダウンミックスデコーダ320により復号化されたダウンミックス信号は、3Dレンダリング部330により3D効果処理され、3Dダウンミックスに変換されることができる。
【0048】
図2は、本発明の一実施例による符号化装置の構成を示すブロック図で、同図の符号化装置は、3Dレンダリング部400、420及びマルチチャンネルエンコーダ410を含んでなる。図2に示す符号化装置の動作説明において、図1を参照して説明した符号化装置の動作と重複する説明は省略する。
【0049】
図2を参照すると、3Dレンダリング部400,420は、マルチチャンネルエンコーダ410の前段または後段に位置することができる。すなわち、マルチチャンネル信号は、3Dレンダリング部400で3Dレンダリングされた後、マルチチャンネルエンコーダ410に入力され、前処理エンコーダ3Dダウンミックス信号に符号化されることができ、あるいは、マルチチャンネル信号はマルチチャンネルエンコーダ410でダウンミックスされた後、3Dレンダリング部420で3Dレンダリングされ、後処理エンコーダダウンミックス信号に符号化されても良い。
【0050】
この3Dレンダリングがマルチチャンネルエンコーダ410によるダウンミックスの以前に行われたか以降に行われたかに関する情報は、符号化装置から転送されるビットストリームに含まれることが好ましい。
【0051】
図2では、3Dレンダリング部400,420がマルチチャンネルエンコーダ410の前段及び後段ともに位置しているが、マルチチャンネルエンコーダ410の前段及び後段のいずれか一方に3Dレンダリング部が位置することが好ましい。
【0052】
図3は、本発明の一実施例による復号化装置の構成を示すブロック図で、同図の復号化装置は、3Dレンダリング部430,450及びマルチチャンネルデコーダ440を含んでなる。図3に示す復号化装置の動作説明において、図1を参照して説明した復号化装置の動作と重複する説明は省略するものとする。
【0053】
図3を参照すると、3Dレンダリング部430,450は、マルチチャンネルデコーダ440の前段または後段に位置することができる。すなわち、エンコーダ3Dダウンミックス信号は、3Dレンダリング部430で3D効果が除去された後、マルチチャンネルデコーダ440に入力され、前処理3Dマルチチャンネル信号に復号化されることができ、あるいは、エンコーダ3Dダウンミックス信号は、マルチチャンネルデコーダ440でマルチチャンネル信号に復元された後、3Dレンダリング部450で3D効果が除去され、後処理3Dマルチチャンネル信号に復号化されることができる。
【0054】
このエンコーダ3Dダウンミックス信号を生成した符号化装置で、3Dレンダリングがダウンミックス以前に行われた場合、復号化装置では3Dレンダリングがマルチチャンネルデコーディング以後に行われるようにすることが好ましい。また、符号化装置で3Dレンダリングがダウンミックス以後に行われた場合には、復号化装置では3Dレンダリングがマルチチャンネルデコーディング以前に行われるようにすることが好ましい。
【0055】
上記のように、符号化装置で3Dレンダリングがダウンミックス以前に行われたか、または、以後に行われたかに関する情報は、符号化装置から転送されるビットストリームから抽出されることが好ましい。
【0056】
図3では、3Dレンダリング部430,450がマルチチャンネルデコーダ430の前段及び後段ともに位置しているが、マルチチャンネルデコーダ430の前段及び後段のいずれか一方に3Dレンダリング部が位置することが好ましい。
【0057】
図4は、本発明の他の実施例による符号化装置の構成を示すブロック図である。同図の符号化装置は、マルチチャンネルエンコーダ500、3Dレンダリング部510、ダウンミックスエンコーダ520及びビットパッキング部530を含んでなる。図4に示す符号化装置の動作説明において、図1を参照して説明した符号化装置の動作と重複する説明は省略する。
【0058】
図4を参照すると、マルチチャンネルエンコーダ500は、入力されるマルチチャンネル信号を用いてダウンミックス信号と空間情報を生成し、3Dレンダリング部510は、生成されたダウンミックス信号に3Dレンダリングを行い、3Dダウンミックス信号を生成する。
【0059】
符号化装置で、ダウンミックス信号への3Dレンダリングを行うか否かは、使用者の選択、符号化/復号化装置の性能、再生環境または要求される音質などによって決定されることができる。
【0060】
ダウンミックスエンコーダ520は、マルチチャンネルエンコーダ500で生成されたダウンミックス信号または3Dレンダリング部510で生成された3Dダウンミックス信号を符号化する。
【0061】
ビットパッキング部530は、符号化されたダウンミックス信号または符号化されたエンコーダ3Dダウンミックス信号と空間情報を用いて、ビットストリームを生成する。このビットストリームは、含まれた信号が3D効果を有しないダウンミックス信号か3D効果を有するエンコーダ3Dダウンミックス信号かを示すダウンミックス識別情報を含むことが好ましい。すなわち、ダウンミックス識別情報は、ビットストリームにダウンミックス信号が含まれているか、エンコーダ3Dダウンミックス信号が含まれているか、または、これら両信号を含んでいるかに関する情報を有することができる。
【0062】
図5は、本発明の他の実施例による復号化装置の構成を示すブロック図であり、同図の復号化装置は、ビットアンパッキング部540、ダウンミックスデコーダ550及び3Dレンダリング部560を含んでなる。図5に示す復号化装置の動作説明において、図1を参照して説明した復号化装置の動作と重複する説明は省略する。
【0063】
図5を参照すると、ビットアンパッキング部540は、入力されるビットストリームから、符号化されたダウンミックス信号、空間情報及びダウンミックス識別情報を抽出する。この抽出されたダウンミックス識別情報から、当該ビットストリームに含まれたダウンミックス信号が3D効果を有しないダウンミックス信号か、3D効果を有する3Dダウンミックス信号かがわかる。
【0064】
このビットストリームにダウンミックス信号と3Dダウンミックス信号がいずれも含まれた場合、使用者の選択、符号化/復号化装置の性能、再生環境または要求される音質などによって、これら両信号のうちいずれか一方のみが当該ビットストリームから抽出され、復号化に用いられることができる。
【0065】
ダウンミックスデコーダ550は、当該符号化されたダウンミックス信号を復号化する。この復号化された信号が、符号化装置で3Dレンダリングされたエンコーダ3Dダウンミックス信号である場合、復号化されたエンコーダ3Dダウンミックス信号は直ちに再生可能である。
【0066】
また、復号化された信号が3D効果を有しないダウンミックス信号である場合、3Dレンダリング部560は、当該ダウンミックス信号に3Dレンダリングを行い、デコーダ3Dダウンミックス信号を生成することができる。
【0067】
図6は、本発明のさらに他の実施例による復号化装置の構成を示すブロック図であり、同図の復号化装置は、ビットアンパッキング部600、ダウンミックスデコーダ610、第1の3Dレンダリング部620、第2の3Dレンダリング部630及びフィルタ情報保存部640を含んでなる。図6に示す復号化装置の動作説明において、図1を参照して説明した復号化装置の動作と重複する説明は省略する。
【0068】
ビットアンパッキング部600は、入力されるビットストリームから、符号化されたエンコーダ3Dダウンミックス信号及び空間情報を抽出し、ダウンミックスデコーダ610は、当該符号化されたエンコーダ3Dダウンミックス信号を復号化する。
【0069】
第1の3Dレンダリング部620は、符号化装置で3Dレンダリングに使用されたフィルタの逆変換フィルタを用いて、前記復号化されたエンコーダ3Dダウンミックス信号から3D効果を除去する。第2の3Dレンダリング部630は、復号化装置が持つフィルタを用いて、該3D効果の除去された信号に3Dレンダリングを行い、3D効果を有するコンバインド(combined)3Dダウンミックス信号を生成する。
【0070】
第2の3Dレンダリング部630は、符号化装置で3Dレンダリングに使用されたフィルタと異なる特性を有するフィルタ、例えば、符号化装置で使用されたHRTFと異なる係数を有するHRTFを用いて、3Dレンダリングを行うことが好ましい。
【0071】
フィルタ情報保存部640は、3Dレンダリングに用いられるフィルタに関する情報、例えば、HRTF係数情報を保存しており、第2の3Dレンダリング部630は、フィルタ情報保存部640に保存されたフィルタ情報を用いてコンバインド3Dダウンミックス信号を生成できる。
【0072】
フィルタ情報保存部640は、複数のフィルタに関する情報を保存することができ、この場合、使用者の選択、装置の能力または要求される音質などによって、保存された複数のフィルタに関する情報の中からいずれか一つのフィルタ情報が選択されることができる。
【0073】
人種などによって耳の構造が異なることができるので、個々人に最適化したHRTF係数は異なってくる。したがって、図6に示すような構造を有する復号化装置は、使用者が最適化した3Dダウンミックス信号を再生できるようにし、3Dダウンミックス信号の供給者が使用するHRTFによらず、使用者の希望するHRTFフィルタによる3D効果を有する3Dダウンミックス信号を再生可能である。
【0074】
図7は、3Dレンダリングを行う3Dレンダリング部の一実施例を示す構成ブロック図であり、同図に示すように、特定ドメインで3Dレンダリングを行うためにドメイン変換部700,720が3Dレンダリング部710の前段または後段に含まれることが好ましい。
【0075】
図7を参照すると、ダウンミックス信号は、第1のドメイン変換部700により周波数ドメイン上の信号に変換される。第1のドメイン変換部700は、ダウンミックス信号に離散フーリエ変換(Discrete Fourier Transform:DFT)を行ってDFTドメインに変換したり、ファーストフーリエ変換(Fast Fourier Transform:FFT)を行ってFFTドメインに変換することができる。
【0076】
3Dレンダリング部710は、周波数ドメイン上で前記ダウンミックス信号に空間情報を適用してマルチチャンネル信号を生成し、この生成されたマルチチャンネル信号をフィルタリングして3Dダウンミックス信号を生成する。
【0077】
この生成された3Dダウンミックス信号は、第2のドメイン変換部720により時間ドメイン信号に変換される。第2のドメイン変換部720は、前記3Dダウンミックス信号に逆離散フーリエ変換(Inverse Discrete Fourier Transform:IDFT)または逆ファーストフーリエ変換(Inverse Fast Fourier Transform:IFFT)を行うことができる。
【0078】
上記のように周波数ドメイン上で生成された3Dダウンミックス信号を時間ドメイン上の信号に変換するときに、エイリアシング(aliasing)のようなデータの損失または歪曲が生じることがある。
【0079】
マルチチャンネル信号及び3Dダウンミックス信号の生成作業が周波数ドメイン上で行われるべく、パラメータバンド別に表現される空間情報は周波数ドメイン上にマッピングされ、フィルタ係数は周波数ドメイン上に変換される。
【0080】
3Dレンダリング部710は、周波数ドメイン上でダウンミックス信号、空間情報及びフィルタ係数をかけ、3Dダウンミックス信号を生成できる。
【0081】
M−ポイント(M−point)を有する周波数ドメイン上で表現されるダウンミックス信号、空間情報及びフィルタ係数をかけた後に時間ドメイン上の信号に変換すると、この変換された信号は、M個の有効信号を有するようになる。このようにダウンミックス信号、空間情報及びフィルタ係数をM−ポイントを有する周波数ドメイン上で表現すべく、M−ポイントDFTまたはM−ポイントFFTを使用することができる。
【0082】
有効信号は、複数の信号のうち、常に‘0’の値を有する信号以外の信号の個数を意味するもので、例えば、オーディオ信号をx個の信号にサンプリングをし、x個の有効信号を生成することができる。また、これらx個の有効信号のうち、y個の有効信号をゼロパッディング(zero−padding)すると、有効信号の個数が(x−y)個に減少し、a個の有効信号を有する信号とb個の有効信号を有する信号を畳み込み(convolution)すれば、(a+b−1)個の有効信号を有する信号が生成される。
【0083】
このダウンミックス信号、空間情報及びフィルタ係数を周波数ドメイン上でかける過程は、時間ドメイン上で畳み込み(convolution)をする効果を奏する。前記M−ポイントを有する周波数ドメイン上で表現されるダウンミックス信号、空間情報及びフィルタ係数を、時間ドメイン上に変換したのち畳み込みをして信号を生成すると、この信号は(3*M−2)個の有効信号を有することになる。
【0084】
したがって、ダウンミックス信号、空間情報及びフィルタ係数を周波数ドメイン上でかけたのち時間ドメイン上に変換して得られる信号の有効信号個数と、時間ドメイン上でダウンミックス信号、空間情報及びフィルタ係数を畳み込みして得られる信号の有効信号個数とが異なることができ、これにより、周波数ドメイン上で生成された3Dダウンミックス信号を時間ドメイン上の信号に変換するときに、エイリアシングが起きるわけである。
【0085】
エイリアシングを防止するためには、時間ドメイン上でダウンミックス信号の有効信号個数、周波数ドメイン上にマッピングされた空間情報の有効信号個数及びフィルタの係数の個数の和が、上記Mより大きくならなければならない。周波数ドメイン上にマッピングされた空間情報の有効信号個数は、周波数ドメインのポイントにより決定される。すなわち、パラメータバンド別に表現される空間情報がN−ポイントを有する周波数ドメイン上にマッピングされる場合、このマッピングされた空間情報の有効信号個数はNとなる。
【0086】
図7に示すように、第1のドメイン変換部700は、第1のゼロパッディング部701及び第1の周波数ドメイン変換部702を含み、3Dレンダリング部710は、マッピング部711、時間ドメイン変換部712、第2のゼロパッディング部713、第2の周波数ドメイン変換部714、マルチチャンネル信号生成部715、第3のゼロパッディング部716、第3の周波数ドメイン変換部717及び3Dダウンミックス信号生成部718を含むことができる。
【0087】
第1のゼロパッディング部701は、時間ドメイン上でX個サンプルを有するダウンミックス信号にゼロパッディングを行い、サンプルの個数をM個まで増加させ、第1の周波数ドメイン変換部702は、当該ゼロパッディングされたダウンミックス信号を、M−ポイントを有する周波数ドメイン上の信号に変換する。前記ゼロパッディングされたダウンミックス信号のサンプル個数はMであるが、そのうち、有効信号の個数はXである。
【0088】
マッピング部711は、パラメータバンド別に表現された空間情報をN−ポイントを有する周波数ドメイン上にマッピングさせ、時間ドメイン変換部712は、前記周波数ドメイン上にマッピングされた空間情報を、時間ドメイン上に変換する。この時間ドメイン上に変換された空間情報のサンプル個数はNである。
【0089】
第2のゼロパッディング部713は、時間ドメイン上でN個サンプルを有する前記空間情報にゼロパッディングを行い、サンプルの個数をM個まで増加させ、第2の周波数ドメイン変換部714は、前記ゼロパッディングされた空間情報をM−ポイントを有する周波数ドメイン上の信号に変換する。前記ゼロパッディングされた空間情報のサンプル個数はMであるが、そのうち、有効信号の個数はNである。
【0090】
マルチチャンネル信号生成部715は、M−ポイントを有する周波数ドメイン上で表現された前記ダウンミックス信号と空間情報とをかけてマルチチャンネル信号を生成する。このような周波数ドメイン上の積により生成されたマルチチャンネル信号の有効信号の個数はMであり、このような有効信号を有するダウンミックス信号と空間情報との時間ドメイン上での畳み込みにより生成されるマルチチャンネル信号の有効信号個数は(X+N−1)となる。
【0091】
第3のゼロパッディング部716は、時間ドメイン上で表現されるY個のフィルタ係数にゼロパッディングを行い、サンプルの個数をM個まで増加させ、第3の周波数ドメイン変換部717は、前記ゼロパッディングされたフィルタ係数を、M−ポイントを有する周波数ドメイン上の信号に変換する。前記ゼロパッディングされたフィルタ係数のサンプル個数はMであるが、そのうち、有効信号の個数はYである。
【0092】
3Dダウンミックス信号生成部718は、前記生成されたマルチチャンネル信号と前記M−ポイントを有する周波数ドメイン上に変換されたフィルタ係数とをかけ、3Dダウンミックス信号を生成する。このような周波数ドメイン上の積により生成された3Dダウンミックス信号の有効信号の個数はMであり、このような有効信号を有するマルチチャンネル信号とフィルタ係数の時間ドメイン上における畳み込みにより生成される3Dダウンミックス信号の有効信号個数は、(X+N+Y−2)となる。
【0093】
第1、2、3の周波数ドメイン変換部712で変換される周波数ドメインのポイントMが、上記(X+N+Y−2)以上になるようにすることによって、エイリアシングを防止できる。すなわち、第1、2、3の周波数ドメイン変換部712が(X+N+Y−2)以上であるM−ポイントDFTまたはM−ポイントFFTを用いてドメイン変換を行うようにすることによって、エイリアシングを防止できる。
【0094】
周波数ドメインへの変換にはDFT、FFTだけでなく、QMF(Quadrature Mirror Filter)以外のフィルタバンクも用いられることができ、上記3Dダウンミックス信号生成にHRTFフィルタが用いられることができる。
【0095】
上記空間情報の有効信号個数を調整する方法には、上記した方法の他の調整方法も使用可能であり、これら調整方法のうち、効率的で且つ演算量の少ない方法を選択して使用すると良い。
【0096】
エイリアシングは、周波数ドメインと時間ドメイン間の変換過程の他、QMF/ハイブリッドドメインへの変換過程でも発生でき、上記のようなエイリアシング防止方法は、QMF/ハイブリッドドメインへの変換過程で発生するエイリアシングにも適用可能である。
【0097】
また、マルチチャンネル信号の生成または3Dダウンミックス信号の生成に用いられる空間情報が変化することによって、この空間情報の変化区間で信号の不連続(discontinuity)が発生し、このような不連続は、出力信号(output signal)にノイズの形態で現れる。
【0098】
このようなノイズは、変化区間で空間情報が急に変化しないようにするスムージング(smoothing)方法を適用することによって減少させることができる。
【0099】
例えば、隣り合う第1のフレーム(frame)と第2のフレームにそれぞれ適用される第1の空間情報と第2の空間情報が異なることから、フレーム間の不連続が発生することがある。
【0100】
この場合、第1の空間情報を第2の空間情報を用いて補正したり、第2の空間情報を第1の空間情報を用いて補正し、前記第1及び第2の空間情報間の差を減らすことによって、不連続により発生するノイズを減少させることができる。具体的には、第1及び第2の空間情報のうち少なくとも一つを、第1及び第2の空間情報の平均に取り換えてノイズを減少させることができる。
【0101】
また、空間情報が対応するパラメータバンド(parameter band)のうち、隣接する2つのバンド間の不連続によってもノイズが発生する。すなわち、隣り合う第1のパラメータバンドと第2のパラメータバンドにそれぞれ対応する第3の空間情報と第4の空間情報が異なることから、パラメータバンド間の不連続が発生する。
【0102】
この場合、第3の空間情報を第4の空間情報を用いて補正したり、第4の空間情報を第3の空間情報を用いて補正し、第3及び第4の空間情報間の差を縮めることによって不連続により発生するノイズを減少させることができる。具体的には、第3及び第4の空間情報のうち少なくとも一つを、第3及び第4の空間情報の平均に取り換えてノイズを減少させることができる。
【0103】
隣接するフレーム間またはパラメータバンド間の不連続により発生するノイズは、上記した方法の他、下記のような方法によっても減少させることができる。
【0104】
ハニングウィンド(Hanning window)のようなウィンドを各フレームにかけ、オーバーラップ・アンド・アッド(overlap and add)の形態で進行し、フレーム間の急な変化を減らす方法を用いても良く、または、相互に異なる空間情報が適用された出力信号にスムージングを行い、該出力信号のフレーム間に急な変化が起きないように調整する方法を用いても良い。
【0105】
DFTドメイン上で空間情報、例えば、ICCを用いてチャンネル間の無相関(decorrelation)を調整する一方法について説明すると下記の通りである。
【0106】
OTTまたはTTTボックスの特定バンドに適用されるICC値がAである場合、このボックスに入力される信号の係数に(A+(1−A*A)^0.5*i)をかけ、無相関を調整することができる。この時、虚数部分は正と負の値から選択されることができる。
【0107】
上記係数にかけられる値は、信号の特性、例えば、信号のエネルギーレベル、信号の周波数別エネルギー特性またはICC値の適用されるボックスによって適切な加重値(weighting factor)を有することができ、これにより無相関効果を調整することができ、フレーム間のスムージングや補間(interpolation)などを適用できる。
【0108】
図7を参照して説明したように、周波数ドメイン上で3Dダウンミックス信号を生成するために、HRTFまたは周波数ドメインに変換されたHRIR(Head Related Impulse Response)が用いられることができる。
【0109】
これと違い、時間ドメイン上でHRIR及びダウンミックス信号を畳み込みすることによって3Dダウンミックス信号を生成でき、周波数ドメイン上で生成された3Dダウンミックス信号に逆ドメイン変換を行わずに周波数ドメイン上に残しておいても良い。
【0110】
このような時間ドメイン上での畳み込みのために、FIR(Finite Impulse Response)フィルタまたはIIR(Infinite Impulse Response)フィルタが用いられることができる。
【0111】
上記のように、本発明による符号化装置または復号化装置は、3Dダウンミックス信号を生成すべく、i)周波数ドメイン上でHRTFまたは周波数ドメインに変換されたHRIR(Head Related Impulse Response)を用いる方法、またはii)時間ドメイン上でHRIRを畳み込みする方法を用いることができ、これら両方法を組み合わせて使用することができる。
【0112】
図8〜図11は、ビットストリーム構造の実施例を示す図である。
【0113】
図8を参照すると、ビットストリームは、マルチチャンネル信号を生成するための情報を含むマルチチャンネルデコーディング情報フィールド、3Dダウンミックス信号を生成するための情報を含む3Dレンダリング情報フィールド、及びこれらの両情報を使用するためのヘッダ情報を有するヘッダフィールドで構成されることができる。また、状況によって、これら3つのフィールドのうち一部フィールドのみを用いてビットストリームを構成しても良い。
【0114】
図9を参照すると、復号化に必要な付加情報を示すためのビットストリームは、符号化した信号全体に関するヘッダ情報を有する特定構造(specific configuration)ヘッダフィールドと、それぞれフレーム単位の付加情報を有する複数のフレームデータフィールドで構成されることができる。このフレームデータフィールドは、フレーム単位のヘッダ情報を有するフレームヘッダフィールドと、フレーム単位の空間情報を有するフレームパラメータデータフィールドとを含むことができる。あるいは、フレームデータフィールドは、空間情報を含むフレームパラメータデータフィールドのみで構成されても良い。
【0115】
フレームパラメータデータフィールドは、フラグとパラメータデータとで構成されるモジュールを複数個含むことができる。このモジュールは、空間情報などのパラメータデータ及びそれから生成された信号の音質向上のためのデータ、例えば、ダウンミックスゲイン、スムージングデータの集合を意味する。
【0116】
前記フレームヘッダフィールドで指定した情報に関連したモジュールデータを別のフラグ無しで受信する場合、フレームヘッダフィールドで指定した情報をより詳細に分類する場合、またはフレームヘッダフィールドで指定しない情報に対して別のフラグと情報を受信する場合には、前記フラグが省略されても良い。
【0117】
一方、上記の3Dダウンミックス信号と関連した付加情報、例えば、HRTF係数情報などは、特定構造ヘッダフィールド、フレームヘッダ及びフレームパラメータデータフィールドのうち少なくとも一つに含まれることができる。
【0118】
図10を参照すると、ビットストリームは、マルチチャンネル信号を生成するための情報を含むマルチチャンネルデコーディング情報フィールド、及び3Dダウンミックス信号を生成するための情報を含む3Dレンダリング情報フィールドで構成されることができる。
【0119】
このような構成を有するビットストリームを受信した復号化装置は、再生しようとする信号によって、上記2つのフィールドのいずれか一つのフィールドのみを読み込んで復号化に用い、残り一つのフィールドはスキップ(skip)することができる。
【0120】
すなわち、マルチチャンネル信号を生成しようとする場合、復号化装置は、3Dレンダリング情報フィールドをスキップし、マルチチャンネルデコーディング情報フィールドに含まれた情報のみを読み込むことができる。また、3Dダウンミックス信号を生成しようとする場合には、復号化装置は、マルチチャンネルデコーディング情報フィールドをスキップし、3Dレンダリング情報フィールドに含まれた情報のみを読み込むことができる。
【0121】
複数のフィールドのうち一部をスキップする方法の実施例について説明すると、下記の通りである。
【0122】
第一、フィールドの全体ビット数に関するフィールド長情報をビットストリームに含め、このビット数に該当するデータをスキップすることによって、所望のフィールドをスキップすることができる。このフィールド長情報は、該当のフィールドの開始部分に位置することが好ましい。
【0123】
第二、フィールドの終了部分または開始部分にシンクワード(syncword)を配置し、このシンクワードを用いてフィールドの位置を把握することによって、所望のフィールドをスキップすることができる。
【0124】
第三、フィールド長があらかじめ定められ固定されている場合には、この固定された長さに該当するデータ分だけスキップすることによって所望のフィールドをスキップすることができる。このフィールドの固定長さ情報は、ビットストリームに含まれたり、復号化装置に保存されていることができる。
【0125】
第四、上記のような3つのフィールドスキップ方法のうち、2つ以上を組み合わせて用いることによって、複数のフィールドのうち所望のフィールドをスキップすることができる。
【0126】
上記スキップ情報、例えば、フィールド長情報、シンクワードまたは固定長さ情報は、図9に示す特定構造ヘッダフィールド、フレームヘッダフィールド及びフレームパラメータデータフィールドのうち、少なくともいずれか一つに含まれたり、これら3つのフィールド以外の新しく定義されるフィールドに含まれることができる。
例えば、マルチチャンネル信号を生成しようとする場合、復号化装置は、3Dレンダリング情報フィールドの開始部分に含まれたフィールド長情報、マルチチャンネルデコーディング情報フィールドの開始部分に含まれたシンクワードまたは3Dレンダリング情報フィールドの固定長さ情報を用いて、3Dレンダリング情報フィールドをスキップし、マルチチャンネルデコーディング情報フィールドに含まれた情報のみを読み込むことができる。
【0127】
また、3Dダウンミックス信号を生成しようとする場合、復号化装置は、マルチチャンネルデコーディング情報フィールドの開始部分に含まれたフィールド長情報、3Dレンダリング情報フィールドの開始部分に含まれたシンクワード、またはマルチチャンネルデコーディング情報フィールドの固定長さ情報を用いて、マルチチャンネルデコーディング情報フィールドをスキップし、3Dレンダリング情報フィールドに含まれたデータのみを読み込むことができる。
【0128】
ビットストリームは、含んでいるデータがマルチチャンネル信号を生成するためのものか、3Dダウンミックス信号生成のためのものかに関する情報を有することができる。
【0129】
一方、ビットストリームに、CLDのような空間情報は含まれず、3Dダウンミックス信号生成のためのデータ(例えば、HRTFフィルタ係数)のみ含まれる場合、空間情報無しで3Dダウンミックス信号生成のためのデータのみを用いて復号化することによって、マルチチャンネル信号を再生することができる。
【0130】
例えば、ダウンミックス信号から2チャンネルに関する空間情報であるステレオパラメータを求めた後、このステレオパラメータを再生しようとする複数のチャンネルに関する空間情報に変換し、この変換された空間情報を前記ダウンミックス信号に適用することによってマルチチャンネル信号を生成することができる。
【0131】
一方、ビットストリームにマルチチャンネル信号生成のためのデータのみ含まれた場合は、別の復号化作業無しでダウンミックス信号を再生したり、復号化装置に含まれた別のHRTFフィルタを用いて前記ダウンミックス信号に3Dプロセシングを行い、3Dダウンミックス信号を再生しても良い。
【0132】
また、ビットストリームにマルチチャンネル信号生成のためのデータと3Dダウンミックス信号生成のためのデータが両方とも含まれた場合、使用者がこれらの信号から、再生する信号を選択するようにすることができる。
【0133】
以下では、復号化過程を示すシンタックス(syntax)に挙げて、一部のデータをスキップする方法の実施例について説明する。
【0134】
まず、フレーム単位にオーディオ信号を復号化する過程を示すシンタックスは、次の通りである。
【0135】
【表1】
【0136】
このシンタックスで、Ottdata()とTttData()は、CLD、ICC、CPCなどの空間情報のように、ダウンミックス信号をマルチチャンネル信号に復元するのに必須なパラメータを示すモジュールである。SmgData()、TempShapeData()、ArbitraryDownmixData()、ResidualData()は、符号化過程における歪曲を補正し、音質を向上させるために必要な情報を示すモジュールである。
【0137】
例えば、復号化過程で、CLD、ICCまたはCPCのようなパラメータとArbitraryDownmixData()に含まれた情報のみを使用する場合、TttData()とArbitraryDownmixData()間に存在するSmgData()とTempShapeData()は不要になる。したがって、SmgData()モジュールとTempShapeData()モジュールはスキップすることが効率的である。
【0138】
下記のシンタックス2は、一部モジュールをスキップする方法の第1の実施例を示す。
【0139】
【表2】
【0140】
このシンタックスに示すように、SkipData()モジュールは、スキップしようとするモジュールの前に定義され、このSkipData()モジュールの内部に、スキップしようとするモジュールの全体ビット数(bsSkipBits)を指定する。
【0141】
すなわち、スキップするSmgData()とTempShapeData()モジュールに用いられる全体ビット数を150ビットとすれば、SmgData()とTempShapeData()モジュールの前にSkipData()モジュールを定義し、bsSkipBitsを150ビットと指定することによって、150ビットに該当するSmgData()とTempShapeData()モジュールをスキップすることができる。
【0142】
下記のシンタックス3は、一部モジュールをスキップする方法の第2の実施例を示す。
【0143】
【表3】
【0144】
このシンタックスに示すように、シンクワードの使用有無に関する情報を有するbsSkipSyncflagとスキップされるモジュールの終了部分に位置するbsSkipSyncwordを用いて、余分なモジュールをスキップすることができる。
【0145】
すなわち、bsSkipSyncflagをシンクワードを使用するものと指定すれば、このフラグ以下のモジュールは、シンクワードが現れるまでスキップされる。したがって、このシンタックス3では、bsSkipSyncflagとbsSkipSyncword間のSmgData()及びTempShapeData()モジュールがスキップされることができる。
【0146】
図11を参照すると、ビットストリームは、マルチチャンネル信号の再生のためのヘッダ情報を有するマルチチャンネルヘッダフィールド、3Dダウンミックス信号の再生のためのヘッダ情報を有する3Dレンダリングヘッダフィールド、及びそれぞれマルチチャンネル信号の再生のためのデータを有する複数のマルチチャンネルデコーディング情報フィールドを含む。
【0147】
マルチチャンネル信号を再生しようとする場合、復号化装置は、3Dレンダリングヘッダフィールドをスキップし、マルチチャンネルヘッダフィールドに含まれたヘッダ情報とマルチチャンネルデコーディング情報フィールドに含まれたデータを読み込み、マルチチャンネル信号を生成する。
【0148】
この3Dレンダリングヘッダフィールドをスキップする方法の実施例は、図10を参照して説明したフィールドスキップ方法と同一なので、その説明は省略する。
【0149】
3Dダウンミックス信号を再生しようとする場合、復号化装置は、マルチチャンネルデコーディング情報フィールドに含まれたデータと3Dレンダリングヘッダフィールドに含まれたヘッダ情報を用いて3Dダウンミックス信号を生成できる。例えば、復号化装置は、マルチチャンネルデコーディング情報フィールドに含まれたダウンミックス信号と3Dレンダリングヘッダフィールドに含まれたHRTF係数情報を用いて3Dダウンミックス信号を生成することができる。
【0150】
図12は、本発明の一実施例による任意ダウンミックス信号を処理する符号化/復号化装置の構成を示すブロック図であり、任意ダウンミックス信号は、符号化器800に含まれたマルチチャンネルエンコーダ801により生成されたダウンミックス信号でないダウンミックス信号を意味する。図12に示す符号化/復号化装置の動作説明において、図1を参照して説明した符号化/復号化装置の動作と重複する説明は省略する。
【0151】
図12を参照すると、符号化器800は、マルチチャンネルエンコーダ801、空間情報合成部802及び比較部803を含んでなる。
【0152】
マルチチャンネルエンコーダ801は、マルチチャンネル信号をステレオまたはモノラルのダウンミックス信号にダウンミックスし、このダウンミックス信号からマルチチャンネル信号を復元するのに必要な空間情報を生成する。
【0153】
比較部803は、前記生成されたダウンミックス信号と任意ダウンミックス信号とを比較し、任意ダウンミックス信号を補償し、前記ダウンミックス信号に近似する信号に変換するための補償情報を生成する。復号化装置は、前記補償情報を用いて任意ダウンミックス信号を補償した後、この補償された任意ダウンミックス信号を用いてマルチチャンネル信号を生成することによって、原本信号により近似するマルチチャンネル信号を復元することができる。
【0154】
ここで、補償情報は、マルチチャンネルエンコーダ801で生成されたダウンミックス信号と任意ダウンミックス信号との差分に関する情報を意味することができる。復号化装置は、任意ダウンミックス信号に、前記差分情報(difference information)に相応する信号を加え、任意ダウンミックス信号を補償することができる。
【0155】
また、差分情報は、ダウンミックス信号と任意ダウンミックス信号間のエネルギーレベル差に関する情報であるダウンミックスゲインでありうる。
【0156】
このダウンミックスゲインは、周波数バンド別に求められても良く、時間あるいは時間スロット(time slot)別に求められても良く、チャンネル別に求められても良い。これら3つの方法を組み合わせて求めても良い。例えば、一部のダウンミックスゲインは、周波数バンド別に求められ、他の一部のダウンミックスゲインは、時間スロット別に求められても良い。
【0157】
また、前記ダウンミックスゲインは、パラメータバンド別に求められるか、任意ダウンミックス信号に最適化された周波数帯域別に求められても良い。このパラメータバンドは、パラメータ形態の空間情報が適用される周波数間隔のことをいう。
【0158】
求められたダウンミックス信号と任意ダウンミックス信号とのエネルギーレベル差は量子化されても良い。求められたエネルギーレベル差を量子化するための量子化レベルの分解能は、CLD(Channel Level Difference)の量子化レベル分解能と等しい、または、異なることができる。また、上記2つのダウンミックス信号間のエネルギーレベル差の量子化レベルは、CLDの量子化レベルの一部または全部を使用したり、CLDの量子化レベルの一部または全部と新しく定義された量子化レベルを組み合わせて使用することができる。
【0159】
2つのダウンミックス信号間エネルギーレベル差の分解能は、CLDの分解能より平均的に小さいので、求められたエネルギーレベル差を量子化するための量子化レベルの分解能は、CLDの量子化レベル分解能より細密な値を有するようにすることができる。
【0160】
任意ダウンミックス信号を補償するための補償情報は、マルチチャンネル信号のうち、任意ダウンミックス信号またはダウンミックスゲインを用いて復元されない成分に関するレジデュアル情報を含む拡張情報でありうる。復号化装置は、任意ダウンミックス信号またはダウンミックスゲインを用いて復元されない成分まで拡張情報を用いて復元することによって、原本信号に近いマルチチャンネル信号を復元することができる。
【0161】
このような拡張情報を生成する方法の実施例について説明すると、下記の通りである。
【0162】
マルチチャンネルエンコーダ801は、入力されるマルチチャンネル信号のうち、生成されたダウンミックス信号に含まれない成分に関する情報を、第1の拡張情報として生成することができる。復号化装置は、ダウンミックス信号と空間情報を用いてマルチチャンネル信号を生成する段階で第1の拡張情報を適用することによって、原本信号に近いマルチチャンネル信号を復元できる。
【0163】
マルチチャンネルエンコーダ801は、ダウンミックス信号と空間情報を用いてマルチチャンネル信号を復元し、この復元されたマルチチャンネル信号と原本マルチチャンネル信号間の差を求めることによって、第1の拡張情報を求めることができる。
【0164】
比較部803は、マルチチャンネルエンコーダ801で生成されたダウンミックス信号のうち、任意ダウンミックス信号にない成分、すなわち、ダウンミックスゲインを用いて補償されない成分に関する情報を、第2の拡張情報として生成できる。復号化装置は、第2の拡張情報を用いて任意ダウンミックス信号をより前記ダウンミックス信号に近く補償することができる。
【0165】
この拡張情報は、上記した方法の他、様々なレジデュアルコーディング方法を用いて生成されることができる。
【0166】
ダウンミックスゲインと拡張情報が共に補償情報として用いられることができる。例えば、全体周波数帯域に対してダウンミックスゲインと拡張情報を求めたり、一部周波数帯域に対してはダウンミックスゲインを求め、残りの周波数帯域に対しては拡張情報を求め、補償情報として使用することができる。一実施例として、低周波帯域に対しては拡張情報を補償情報として用い、高周波帯域に対してはダウンミックスゲインを補償情報として用いることができる。
【0167】
また、低周波帯域の他に、ピーク(peak)またはノッチ(notch)などのように音質に重要な影響を及ぼす部分も、拡張情報を補償情報として用いることが好ましい。
【0168】
空間情報合成部802は、マルチチャンネルエンコーダ801で生成されたマルチチャンネル信号復元のための基本空間情報、例えば、CLD、CPC、ICC、CTDなどと前記補償情報を空間情報として合成する。すなわち、復号化装置で転送される空間情報は、マルチチャンネル信号復元のための基本空間情報、ダウンミックスゲイン、第1及び第2の拡張情報などを含むことができる。
【0169】
前記合成された空間情報は、任意ダウンミックス信号と一緒にビットストリームに含まれ、復号化装置に転送される。
【0170】
前記拡張情報と任意ダウンミックス信号は、AAC、MP3またはBSACなどのエンコーダを用いて符号化されることができる。前記拡張情報及び前記任意ダウンミックス信号は、同じオーディオエンコーダを用いてエンコードされても良いし、異なるオーディオエンコーダを用いてエンコードされても良い。
【0171】
これら2つのオーディオエンコーダが同一である場合、復号化装置においても1種類のオーディオデコーダのみで復号化作業が可能である。この場合、任意ダウンミックス信号の復号化は常に可能な状態で始まるので、前記拡張情報を復号化できない場合は発生しない。ただし、任意ダウンミックス信号は、復号化されたPCM信号の形態で復号化装置に入力されるので、前記任意ダウンミックス信号に使用されたオーディオコーデックの種類がわからず、よって、拡張情報に使用されたオーディオコーデックの種類もわからない。
【0172】
したがって、任意ダウンミックス信号と拡張情報の符号化に使用されたオーディオコーデックの種類に関する情報をビットストリームに挿入することが好ましい。
【0173】
前記オーディオコーデック種類に関する情報は、ビットストリームのうち、特定構造ヘッダフィールドに挿入され、復号化装置は、前記ビットストリームの特定構造ヘッダフィールドから前記情報を抽出し、拡張情報の復号化に用いる。
【0174】
上記2つのオーディオエンコーダが異なる場合、拡張情報の復号化が不可能な状況が発生することがあり、その場合、拡張情報の終点がわからないため、それ以上の復号化作業進行は不可能になる。
【0175】
したがって、任意ダウンミックス信号と拡張情報に使用されたオーディオコーデックの種類に関する情報を、ビットストリームのうちの特定構造ヘッダフィールドに挿入し、復号化装置は、前記ビットストリームの特定構造ヘッダフィールドから前記情報を抽出し、拡張情報の復号化に用いる。拡張情報を復号化するためのデコーダが復号化装置に存在しない場合、拡張情報の復号化作業を進行せず、その次の情報を読む過程を行う。
【0176】
拡張情報に対して用いられるコーデックの種類に関する情報は、ビットストリームのうち、特定構造ヘッダフィールドに含まれた特定シンタックスエレメント(syntax element)を通じて表現されることができる。例えば、前記コーデック情報は、次のテーブル1に示すようなbsResidualCodecTypeという4ビットのシンタックスエレメントにより表現されることができる。
【0177】
【表4】
【0178】
前記拡張情報は、前記レジデュアル情報と一緒にチャンネル拡張情報を含むことができる。前記チャンネル拡張情報は、空間情報により復号化されるマルチチャンネル信号よりも多い数のチャンネルを有する信号に拡張するための情報を意味し、例えば、5.1チャンネルまたは7.1チャンネル信号を、9.1チャンネル信号に拡張するための情報でありうる。
【0179】
前記拡張情報は、ビットストリームに含まれて復号化装置に転送されることができ、復号化装置は、前記拡張情報を用いてダウンミックス信号を補償したり、マルチチャンネル信号のチャンネルを拡張させることができる。
【0180】
また、復号化装置は、ビットストリームに含まれた前記拡張情報を抽出せずに、スキップすることができる。例えば、ビットストリームに含まれた3Dダウンミックス信号を用いてマルチチャンネル信号を生成したり、ビットストリームに含まれたダウンミックス信号を用いて3Dダウンミックス信号を生成しようとする場合、復号化装置は、ビットストリームのうち、前記拡張情報をスキップすることが好ましい。
ビットストリームのうち、前記拡張情報をスキップする方法は、図10を参照して説明したスキップ方法と同一にすれば良い。
【0181】
例えば、拡張情報の開始部分に位置する前記拡張情報の全体ビット数に関する情報、前記拡張情報の開始部分または終了部分に位置するシンクワード、前記拡張情報の固定されたビット数に関する情報のうち少なくとも一つを用いて、ビットストリームのうち前記拡張情報部分をスキップすることができる。前記スキップのための情報は、ビットストリームに含まれていることが好ましく、前記固定ビット数情報は、復号化装置に保存されていても良い。
【0182】
図12を参照すると、復号化器810は、ダウンミックス補償部811、3Dレンダリング部815及びマルチチャンネルデコーダ816を含んでなる。
【0183】
ダウンミックス補償部811は、空間情報に含まれた補償情報、例えば、ダウンミックスゲインまたは拡張情報を用いて任意ダウンミックス信号を補償する。
【0184】
3Dレンダリング部815は、前記補償されたダウンミックス信号に3Dレンダリングを行い、デコーダ3Dダウンミックス信号を生成する。また、マルチチャンネルデコーダ816は、前記補償されたダウンミックス信号と前記空間情報に含まれた基本空間情報を用いて3Dマルチチャンネル信号を生成する。
【0185】
ダウンミックス補償部811が任意ダウンミックス信号を補償する方法の実施例について説明すると、下記の通りである。
【0186】
前記補償情報がダウンミックスゲインである場合、ダウンミックス補償部811は、任意ダウンミックス信号のエネルギーレベルを前記ダウンミックスゲインを用いて補償し、前記任意ダウンミックス信号をダウンミックス信号に近い信号に変換することができる。
【0187】
前記補償情報が第2の拡張情報である場合、ダウンミックス補償部811は、前記第2の拡張情報を用いて前記任意ダウンミックス信号にない成分を補償できる。
【0188】
マルチチャンネルデコーダ816は、ダウンミックス信号にpre−matrix M1、mix−matrix M2及びpost−matrix M3を順次に適用し、マルチチャンネル信号を生成できるが、前記第1の拡張情報は、mix−matrix M2の適用段階で用いられてダウンミックス信号を補償することができる。すなわち、前記第2の拡張情報を用いてpre−matrix M1が適用された任意ダウンミックス信号を補償できる。
【0189】
上記のようにマルチチャンネル信号生成過程中に拡張情報を適用することによって、複数のチャンネルのうち特定チャンネルに対する補償が可能となる。例えば、拡張情報がmix−matrix M2のセンターチャンネルに適用される場合、ダウンミックス信号の左側及び右側チャンネル信号が前記拡張情報を用いて補償され、拡張情報がmix−matrix M2の左側チャンネルに適用される場合には、ダウンミックス信号の左側チャンネル信号が、前記拡張情報を用いて補償されるようにすることができる。
【0190】
また、前記補償情報として前記ダウンミックスゲインと拡張情報が共に用いられることができる。例えば、任意ダウンミックス信号の低周波帯域は、前記拡張情報を用いて補償され、高周波帯域は、前記ダウンミックスゲインを用いて補償されるようにすることができる。また、低周波帯域の他に、ピーク、ノッチなどのように音質に重要な影響を及ぼす部分も、前記拡張情報により補償されるようにすることができる。前記拡張情報が適用される領域に関する情報は、符号化装置から転送されるビットストリームに含まれていることが好ましい。また、前記ビットストリームは、含まれたダウンミックス信号が任意ダウンミックス信号か否かに関する情報、及び補償情報を含むか否かに関する情報を含むことができる。
【0191】
符号化器800のマルチチャンネルエンコーダ801で生成されたダウンミックス信号のクリッピング(clipping)を防止すべく、前記生成されたダウンミックス信号を、特定ゲインゲイン値で除することができる。前記ゲインは、固定(static)値を有するか、可変(dynamic)値を有することができる。
【0192】
ダウンミックス補償部811は、クリッピング防止のために、弱化した前記ダウンミックス信号を前記ゲイン値を用いて補償し、元来の大きさのダウンミックス信号に復元できる。
【0193】
また、ダウンミックス補償部811により補償された任意ダウンミックス信号は、直接再生可能であり、補償されなかった任意ダウンミックス信号が3Dレンダリング部815に入力され、デコーダ3Dダウンミックス信号に変換されても良い。
【0194】
図12を参照すると、ダウンミックス補償部811は、第1のドメイン変換部812、補償処理部813及び第2のドメイン変換部814を含むことができる。
【0195】
第1のドメイン変換部812は、任意ダウンミックス信号に対してドメイン変換を行い、補償処理部813は、前記変換されたドメイン上で補償情報、例えば、ダウンミックスゲインまたは拡張情報を用いて前記任意ダウンミックス信号を補償する。
【0196】
前記補償作業は、QMF/ハイブリッドドメイン上で行われることが好ましく、そのため、第1のドメイン変換部812は前記任意ダウンミックス信号に対してQMF/ハイブリッド分析を行うことができる。また、第1のドメイン変換部812は、前記任意ダウンミックス信号を、QMF/ハイブリッドドメイン以外のドメイン、例えば、DFTまたはFFTドメインのような周波数ドメインに変換することができ、前記補償作業は、QMF/ハイブリッドドメイン以外のドメイン、例えば、周波数ドメインまたは時間ドメイン上で行われても良い。
【0197】
第2のドメイン変換部814は、前記補償された任意ダウンミックス信号にドメイン変換を行う。第2のドメイン変換部814は、第1のドメイン変換部814で行われたドメイン変換の逆変換を行い、前記補償された任意ダウンミックス信号を、ダウンミックス補償部811に入力される前のドメインに逆変換することが好ましい。
【0198】
例えば、第2のドメイン変換部814は、前記補償された任意ダウンミックス信号にQMF/ハイブリッド合成を行い、前記補償された任意ダウンミックス信号を時間ドメイン上の信号に変換できる。また、第2のドメイン変換部814は、前記補償された任意ダウンミックス信号にIDFTまたはIFFTなどを行うことができる。
【0199】
図7を参照して説明したように、3Dレンダリング部815は、周波数ドメイン、QMF/ハイブリッドドメインまたは時間ドメイン上において前記補償された任意ダウンミックス信号に3Dレンダリングを行うことができる。そのため、3Dレンダリング部815は、前記補償された任意ダウンミックス信号を、前記3Dレンダリングが行われるドメイン上に変換するためのドメイン変換部、または前記レンダリングの行われた信号にドメイン変換を行うドメイン変換部を含むことができる。
【0200】
補償処理部811で補償作業が行われるドメインと3Dレンダリング部815で3Dレンダリングが行われるドメインは、互いに同一であっても良いし、異なっていても良い。
【0201】
図13は、任意ダウンミックス信号の補償と3Dレンダリングを行う装置の構成の一実施例を示すブロック図であり、同図のダウンミックス補償/3Dレンダリング部820は、第1のドメイン変換部821、第2のドメイン変換部822、補償/3Dレンダリング処理部823及び第3のドメイン変換部824を含んでなる。
【0202】
ダウンミックス補償/3Dレンダリング部820は、前記補償作業と3Dレンダリングを一つのドメイン上で処理し、復号化装置の演算量を減少させることができる。
【0203】
図13を参照すると、第1のドメイン変換部821は、任意ダウンミックス信号を、前記補償作業と3Dレンダリングが行われる第1のドメイン上に変換する。第2のドメイン変換部822は、空間情報、例えば、マルチチャンネル信号生成に必要な基本空間情報と任意ダウンミックス信号の補償に必要な補償情報を、前記第1のドメイン上で適用可能なように変換する。前記補償情報は、ダウンミックスゲインと拡張情報のうち少なくとも一つを含む。
【0204】
例えば、第2のドメイン変換部822は、QMF/ハイブリッドドメイン上の複数のパラメータバンドのそれぞれに対応する補償情報を周波数帯域にマッピングさせ、前記補償情報を周波数ドメインで適用可能な形態に変換することができる。
【0205】
前記第1のドメインは、DFTまたはFFTドメインなどのような周波数ドメイン、QMF/ハイブリッドドメインまたは時間ドメインにすれば良く、その他様々なドメインにしても良い。
【0206】
前記補償情報を前記第1のドメイン上で適用可能なように変換する過程で、時間遅延(time delay)が発生する。この時間遅延を防止すべく、第2のドメイン変換部822は、前記補償情報のドメインと第1のドメイン間の時間遅延を補正する作業をさらに行うことができる。
【0207】
補償/3Dレンダリング処理部823は、前記第1のドメイン上で前記変換された空間情報を用いて任意ダウンミックス信号に補償作業を行い、前記補償された任意ダウンミックス信号に3Dレンダリング作業を行う。前記補償作業と3Dレンダリングの遂行順序は変更可能である。
【0208】
補償/3Dレンダリング処理部823は、前記補償作業と3Dレンダリングを同時に行うことができる。例えば、補償/3Dレンダリング処理部823は、3Dレンダリングに用いられるフィルタ係数と補償情報とが組み合わせられた新しいフィルタ係数を用いて、前記第1のドメイン上で前記任意ダウンミックス信号に3Dレンダリング作業を行うことによって、補償された3Dダウンミックス信号を生成できる。
【0209】
第3のドメイン変換部824は、前記第1のドメイン上で生成された3Dダウンミックスに周波数ドメイン変換を行う。
【0210】
図14は、本発明の一実施例による互換型ダウンミックス信号を処理する復号化装置の構成を示すブロック図であり、同図の復号化器900は、第1のマルチチャンネルデコーダ910、ダウンミックス互換処理部920、第2のマルチチャンネルデコーダ930及び3Dレンダリング部940を含んでなる。図14に示す復号化装置の動作説明において、図1を参照して説明した復号化装置の動作と重複する説明は省略する。
【0211】
互換型ダウンミックス信号は、2つ以上のマルチチャンネルデコーダで復号化可能な形態のダウンミックス信号を意味する。すなわち、互換型ダウンミックス信号は、いずれか一つのマルチチャンネルデコーダに最適化して生成されたダウンミックス信号であるが、交換処理作業を通じて前記マルチチャンネルデコーダ以外の他のマルチチャンネルデコーダに最適化されたダウンミックス信号に変換可能なものを意味することができる。
【0212】
図14を参照すると、入力される互換型ダウンミックス信号は、第1のマルチチャンネルデコーダ910に最適化して生成されたもので、第2のマルチチャンネルデコーダ930で復号化されるためには、まず、ダウンミックス互換処理部920を通じて第2のマルチチャンネルデコーダ930に最適化した信号に互換処理されることが好ましい。第1のマルチチャンネルデコーダ910は、前記互換型ダウンミックス信号を復号化し、第1のマルチチャンネル信号を生成する。第1のマルチチャンネルデコーダ910は、空間情報無しで前記互換型ダウンミックス信号のみを用いてマルチチャンネル信号を復号化できる。
【0213】
第2のマルチチャンネルデコーダ930は、前記互換処理されたダウンミックス信号と空間情報を用いて第2のマルチチャンネル信号を生成する。3Dレンダリング部940は、前記互換処理されたダウンミックス信号に3Dレンダリングを行い、デコーダ3Dダウンミックス信号を生成することができる。
【0214】
互換型ダウンミックス信号は、インバージョンマトリクス(inversion matrix)のような互換情報を用いて、他のマルチチャンネルデコーダに最適化したダウンミックス信号に互換処理されることができる。例えば、第1のマルチチャンネルエンコーダ/デコーダ及びこれと異なる方式の第2のマルチチャンネルエンコーダ/デコーダが存在する時、符号化装置は、前記第1のマルチチャンネルエンコーダにより生成されたダウンミックス信号にマトリクスを適用し、前記第2のマルチチャンネルデコーダに最適化した互換型ダウンミックス信号を生成することができる。また、復号化装置は、前記互換型ダウンミックス信号にインバージョンマトリクスを適用し、前記第1のマルチチャンネルデコーダに最適化したダウンミックス信号を生成することができる。
【0215】
図14を参照すると、ダウンミックス互換処理部920は、インバージョンマトリクスを用いて、互換型ダウンミックス信号に互換処理を行うことによって、第2のマルチチャンネルデコーダ930に最適化したダウンミックス信号を生成できる。
【0216】
前記インバージョンマトリクスに関する情報は、復号化装置があらかじめ保存していても良く、入力されるビットストリームに含まれて符号化装置から転送されても良い。また、入力されるビットストリームに含まれるダウンミックス信号が任意ダウンミックス信号か互換型ダウンミックス信号かに関する情報が、入力されるビットストリームに含まれることが好ましい。
【0217】
図14を参照すると、ダウンミックス互換処理部920は、第1のドメイン変換部921、互換処理部922及び第2のドメイン変換部923を含むことができる。
【0218】
第1のドメイン変換部921は、互換型ダウンミックス信号にドメイン変換を行い、互換処理部813は、前記変換されたドメイン上で互換情報、例えば、インバージョンマトリクスを用いて、前記互換型ダウンミックス信号を、第2のマルチチャンネルデコーダ930に最適化した信号に変換する。
【0219】
前記互換処理は、QMF/ハイブリッドドメイン上で行われることが好ましく、そのため、第1のドメイン変換部921は、前記互換型ダウンミックス信号にQMF/ハイブリッド分析を行うことができる。また、第1のドメイン変換部921は、前記互換型ダウンミックス信号をQMF/ハイブリッドドメイン以外のドメイン、例えば、DFTまたはFFTドメインのような周波数ドメインに変換することができ、前記互換処理は、QMF/ハイブリッドドメイン以外のドメイン、例えば、周波数ドメインまたは時間ドメイン上で行われることができる。
【0220】
第2のドメイン変換部923は、前記互換処理された互換型ダウンミックス信号にドメイン変換を行う。第2のドメイン変換部923は、第1のドメイン変換部921で行われたドメイン変換の逆変換を行い、前記互換処理された互換型ダウンミックス信号を、ダウンミックス互換処理部920に入力される前のドメインに逆変換することが好ましい。
【0221】
例えば、第2のドメイン変換部923は、前記互換処理された互換型ダウンミックス信号にQMF/ハイブリッド合成を行い、前記互換処理された互換型ダウンミックス信号を時間ドメイン上の信号に変換できる。また、第2のドメイン変換部923は、前記互換処理された互換型ダウンミックス信号にIDFTまたはIFFTなどを行っても良い。
【0222】
3Dレンダリング部940は、周波数ドメイン、QMF/ハイブリッドドメインまたは時間ドメイン上で、前記互換処理された互換型ダウンミックス信号に3Dレンダリングを行うことができる、そのため、3Dレンダリング部940は、前記ダウンミックス信号を前記3Dレンダリングの行われるドメイン上に変換するためのドメイン変換部、または前記レンダリングが行われた信号に対してドメイン変換を行うドメイン変換部を含むことができる。
【0223】
互換処理部922で互換処理が行われるドメインと3Dレンダリング部940で3Dレンダリングが行われるドメインは、互いに同一である、または、異なる。
【0224】
図15は、互換型ダウンミックス信号の互換処理と3Dレンダリングを行う装置の一実施例を示す構成ブロック図であり、同図のダウンミックス互換/3Dレンダリング部950は、第1のドメイン変換部951、第2のドメイン変換部952、互換/3Dレンダリング処理部953及び第3のドメイン変換部954を含んでなる。
【0225】
ダウンミックス互換/3Dレンダリング部950は、前記互換処理と3Dレンダリングを一つのドメイン上で処理し、復号化装置の演算量を減少させることができる。
【0226】
図15を参照すると、第1のドメイン変換部951は、互換型ダウンミックス信号を、前記互換処理と3Dレンダリングが行われる第1のドメイン上に変換する。第2のドメイン変換部952は、空間情報と互換情報、例えばインバージョンマトリクスを、前記第1のドメイン上で適用可能なように変換する。
【0227】
例えば、第2のドメイン変換部952は、QMF/ハイブリッドドメイン上の複数のパラメータバンドのそれぞれに対応するインバージョンマトリクスを周波数帯域にマッピングさせ、前記インバージョンマトリクスを周波数ドメインで適用可能な形態に変換できる。
【0228】
前記第1のドメインは、DFTまたはFFTドメインなどのような周波数ドメイン、QMF/ハイブリッドドメインまたは時間ドメインにすれば良く、その他様々なドメインにしても良い。
【0229】
前記空間情報及び互換情報を前記第1のドメイン上で適用可能なように変換する過程で、時間遅延が発生することができる。この時間遅延を防止すべく、第2のドメイン変換部952は、前記空間情報及び互換情報のドメインと第1のドメイン間の時間遅延を補正する作業をさらに行うことができる。
【0230】
互換/3Dレンダリング処理部953は、前記第1のドメイン上で前記変換された互換情報を用いて互換型ダウンミックス信号に互換処理を行い、前記互換処理された互換型ダウンミックス信号に3Dレンダリング作業を行う。前記互換処理と3Dレンダリングの遂行順序は変更可能である。
【0231】
互換/3Dレンダリング処理部953は、前記互換処理と3Dレンダリングを同時に行うことができる。例えば、互換/3Dレンダリング処理部953は、3Dレンダリングに用いられるフィルタ係数と互換情報とが組み合わせられた新しいフィルタ係数を用いて、前記第1のドメイン上で前記互換型ダウンミックス信号に3Dレンダリング作業を行うことによって、3Dダウンミックス信号を生成できる。
【0232】
第3のドメイン変換部954は、前記第1のドメイン上で生成された3Dダウンミックスに周波数ドメイン変換を行う。
【0233】
図16は、クロストーク(crosstalk)を除去するための復号化装置の一実施例を示す構成ブロック図であり、同図の復号化装置は、ビットアンパッキング部960、ダウンミックスデコーダ970、3Dレンダリング部980及びクロストーク除去部990を含んでなる。図16に示す復号化装置の動作説明において、図1を参照して説明した復号化装置の動作と重複する説明は省略する。
【0234】
3Dレンダリング部980から出力される3Dダウンミックス信号は、ヘッドホンなどを用いて再生されることができる。しかし、前記3Dダウンミックス信号が、使用者から遠く離れたスピーカーを通じて再生される場合には、チャンネル間クロストークが発生することができる。
【0235】
したがって、図16に示すように、本発明による復号化装置は、前記3Dダウンミックス信号にクロストーク除去を行うクロストーク除去部990を含むことが好ましい。
【0236】
また、本発明による復号化装置では、音場処理(sound field processing)が行われることができる。
【0237】
前記音場処理に用いられる音場情報、すなわち、信号が再生される空間がどんな空間なのかに関する情報は、符号化装置から転送されるビットストリームに含まれたり、復号化装置で指定されることができる。
【0238】
入力されるビットストリームは、残響時間(reverberation time)に関する情報を含むことができ、音場処理に用いられるフィルタは、前記残響時間情報によって調整されることができる。
【0239】
前記音場処理は、初期部(Early Part)と後期残響(Late Reverberation)に分けてそれぞれ処理されることができる。例えば、初期部は、FIRフィルタを用いて処理され、後期残響は、IIRフィルタを用いて処理されることができる。
【0240】
前記初期部に対して音場処理を行う方法の実施例には、時間ドメイン上でFIRフィルタを用いて畳み込み(convolution)を行う方法、または、周波数ドメイン上での積を行った後、時間ドメインに変換する方法などがある。前記後期残響は、時間ドメイン上で音場処理されることが好ましい。
【0241】
本発明はまた、コンピュータにより読み取り可能な記録媒体に、コンピュータにより読み取り可能なコードとして具現することが可能である。コンピュータにより読み取り可能な記録媒体は、コンピュータシステムにより読み取り可能なデータが保存される全種類の記録装置を含む。コンピュータにより読み取り可能な記録媒体の例には、ROM、RAM、CD−ROM、磁気テープ、フロッピー(登録商標)ディスク、光データ保存装置などを含め、キャリアウェーブ(例えば、インターネットを介した転送)の形態に具現されるものも含む。
【0242】
本発明に係る符号化/復号化装置及び方法によれば、マルチチャンネル信号を、3D効果を有する信号に效率的に符号化でき、再生環境に応じて適応的に最上の音質を有するオーディオ信号を復元し再生することが可能になる。
【産業上の利用可能性】
【0243】
以上説明してきた本発明の具体的な実施例は、いずれも例示のために開示されたもので、当業者なら、添付した特許請求の範囲上に開示された本発明の技術的思想とその技術的範囲内で、様々な実施例に改良、変更、代替または付加などが可能である。例えば、本発明によるグルーピング、データコーディング及びエントロピーコーディングを適用した様々な応用分野及び製品に適用することが可能である。また、本発明による少なくとも一特徴を適用したデータを保存する媒体(medium)を提供することが可能である。
【図面の簡単な説明】
【0244】
【図1】本発明の一実施例による符号化/復号化装置の全体的な構成を示すブロック図である。
【図2】本発明の一実施例による符号化装置の構成を示すブロック図である。
【図3】本発明の一実施例による復号化装置の構成を示すブロック図である。
【図4】本発明の他の実施例による符号化装置の構成図を示すブロック図である。
【図5】本発明の他の実施例による復号化装置の構成図を示すブロック図である。
【図6】本発明のさらに他の実施例による復号化装置の構成を示すブロック図である。
【図7】3Dレンダリングを行う装置の一実施例を示す構成ブロック図である。
【図8】ビットストリーム構造の各実施例を示す図である。
【図9】ビットストリーム構造の各実施例を示す図である。
【図10】ビットストリーム構造の各実施例を示す図である。
【図11】ビットストリーム構造の各実施例を示す図である。
【図12】本発明の一実施例による任意ダウンミックス信号を処理する符号化/復号化装置の構成を示すブロック図である。
【図13】任意ダウンミックス信号の補償と3Dレンダリングを行う装置の一実施例を示す構成ブロック図である。
【図14】本発明による互換型ダウンミックス信号を処理する復号化装置の一実施例を示す構成ブロック図である。
【図15】互換型ダウンミックス信号の互換処理と3Dレンダリングを行う装置の一実施例を示す構成ブロック図である。
【図16】クロストークを除去するための復号化装置の一実施例を示す構成ブロック図である。
【特許請求の範囲】
【請求項1】
信号を復号化する方法において、
入力されるビットストリームから、ダウンミックス信号及び複数のチャンネルに関する空間情報を抽出する段階と、
前記空間情報及びフィルタを用いて前記ダウンミックス信号に3Dレンダリングを行い、3Dダウンミックス信号を生成する段階と、を有し、
前記ダウンミックス信号、空間情報及びフィルタ係数の有効信号個数の和が、前記生成された3Dダウンミックス信号の有効信号個数以下である、
ことを特徴とする復号化方法。
【請求項2】
前記3Dダウンミックス信号生成段階は、
前記ダウンミックス信号をM−ポイント周波数ドメイン上の信号に変換する段階と、
N−ポイント周波数ドメイン上にマッピングされた前記空間情報及び前記変換されたダウンミックス信号を用いて、マルチチャンネル信号を生成する段階と、
前記マルチチャンネル信号に前記フィルタを適用して前記3Dダウンミックス信号を生成する段階と、
前記生成された3Dダウンミックス信号を時間ドメイン上の信号に変換する段階と、
を有する、請求項1に記載の復号化方法。
【請求項3】
前記ダウンミックス信号の有効信号個数であるNと前記フィルタ係数の個数との和は、前記M以下である、請求項2に記載の復号化方法。
【請求項4】
前記ダウンミックス信号変換段階は、
前記ダウンミックス信号にゼロパッディングを行い、サンプル個数を増加させる段階と、
前記ゼロパッディングされた信号を前記M-ポイント周波数ドメイン上の信号に変換する段階と、を有する請求項2に記載の復号化方法。
【請求項5】
前記マルチチャンネル信号生成段階は、
前記空間情報を前記N−ポイント周波数ドメイン上にマッピングする段階と、
前記周波数ドメイン上にマッピングされた空間情報を、時間ドメイン上の信号に変換する段階と、
前記変換された時間ドメイン信号にゼロパッディングを行い、サンプル個数を増加させる段階と、
前記ゼロパッディングされた信号を前記M−ポイント周波数ドメイン上の信号に変換する段階と、を有する請求項2に記載の復号化方法。
【請求項6】
前記3Dダウンミックス信号生成段階は、
前記フィルタ係数にゼロパッディングを行う段階と、
前記ゼロパッディングされたフィルタ係数を、前記M−ポイント周波数ドメイン上に変換する段階と、を有する請求項2に記載の復号化方法。
【請求項7】
前記フィルタは、HRTFフィルタである、請求項1に記載の復号化方法。
【請求項8】
前記周波数ドメインは、DFTドメイン、FFTドメイン、QMFドメイン及びハイブリッドドメインのうちいずれか一つであることを特徴とする、請求項2〜7の何れか一項に記載の復号化方法。
【請求項9】
信号を復号化する方法において、
入力されるビットストリームから、ダウンミックス信号及び複数のチャンネルに関する空間情報を抽出する段階と、
前記抽出された空間情報のうち少なくとも一つを、それに隣接する空間情報を用いて補正する段階と、
前記補正された空間情報と前記ダウンミックス信号を用いてマルチチャンネル信号を生成する段階と、
を有することを特徴とする復号化方法。
【請求項10】
前記補正された空間情報を用いて前記ダウンミックスに3Dレンダリングを行い、3Dダウンミックス信号を生成する段階をさらに有する、請求項9に記載の復号化方法。
【請求項11】
前記補正段階は、隣り合う2つの空間情報のうち少なくとも一つを、前記2つの空間情報の平均に取り換える、請求項9に記載の復号化方法。
【請求項12】
前記補正段階は、隣り合う第1及び第2のフレームにそれぞれ対応する第1及び第2の空間情報のうち少なくとも一つを、前記第1及び第2の空間情報の平均に取り換える、請求項9に記載の復号化方法。
【請求項13】
前記補正段階は、隣り合う第1及び第2のパラメータバンドにそれぞれ対応する第1及び第2の空間情報のうち少なくとも一つを、前記第1及び第2の空間情報の平均に取り換える、請求項9に記載の復号化方法。
【請求項14】
複数のチャンネルを有するマルチチャンネル信号を符号化する方法において、
前記マルチチャンネル信号を、それより少ない数のチャンネルを有するダウンミックス信号に符号化する段階と、
前記複数のチャンネルに関する空間情報を生成する段階と、
前記空間情報及びフィルタを用いて前記ダウンミックス信号に3Dレンダリングを行い、3Dダウンミックス信号を生成する段階と、を有し、
前記ダウンミックス信号、空間情報及びフィルタ係数の有効信号個数の和が、前記生成された3Dダウンミックス信号の有効信号個数以下である、
ことを特徴とする符号化方法。
【請求項15】
前記3Dダウンミックス信号生成段階は、
前記ダウンミックス信号をM−ポイント周波数ドメイン上の信号に変換する段階と、
N−ポイント周波数ドメイン上にマッピングされた前記空間情報、及び前記変換されたダウンミックス信号を用いて、マルチチャンネル信号を生成する段階と、
前記マルチチャンネル信号に前記フィルタを適用して前記3Dダウンミックス信号を生成する段階と、
前記生成された3Dダウンミックス信号を時間ドメイン上の信号に変換する段階と、を有する請求項14に記載の符号化方法。
【請求項16】
前記ダウンミックス信号の有効信号個数であるN及び前記フィルタ係数の個数の和は、前記M以下である、請求項15に記載の符号化方法。
【請求項17】
信号を復号化する装置において、
入力されるビットストリームから、ダウンミックス信号及び複数のチャンネルに関する空間情報を抽出するビットアンパッキング部と、
前記空間情報及びフィルタを用いて前記ダウンミックス信号に3Dレンダリングを行い、3Dダウンミックス信号を生成する3Dレンダリング部と、を有し、
前記ダウンミックス信号、空間情報及びフィルタ係数の有効信号個数の和が前記生成された3Dダウンミックス信号の有効信号個数以下である、
ことを特徴とする復号化装置。
【請求項18】
前記3Dレンダリング部は、
前記ダウンミックス信号をM−ポイント周波数ドメイン上の信号に変換する第1のドメイン変換部と、
N−ポイント周波数ドメイン上にマッピングされた空間情報、及び前記変換されたダウンミックス信号を用いて、マルチチャンネル信号を生成するマルチチャンネル信号生成部と、
前記マルチチャンネル信号に前記フィルタを適用して前記3Dダウンミックス信号を生成する3Dダウンミックス信号生成部と、
前記生成された3Dダウンミックス信号を時間ドメイン上の信号に変換する第2のドメイン変換部と、を有し、
前記ダウンミックス信号の有効信号個数であるN及び前記フィルタ係数の個数の和は、前記M以下である、請求項17に記載の復号化装置。
【請求項19】
前記3Dレンダリング部は、
前記空間情報を前記N−ポイント周波数ドメイン上にマッピングする空間情報マッピング部と、
前記周波数ドメイン上にマッピングされた空間情報を、時間ドメイン上の信号に変換する時間ドメイン変換部と、
前記変換された時間ドメイン信号にゼロパッディングを行い、サンプル個数を増加させるゼロパッディング部と、
前記ゼロパッディングされた信号を前記M−ポイント周波数ドメイン上の信号に変換する第2の周波数ドメイン変換部と、を有する請求項18に記載の復号化装置。
【請求項20】
信号を復号化する装置において、
入力されるビットストリームから、ダウンミックス信号及び複数のチャンネルに関する空間情報を抽出するビットアンパッキング部と、
前記抽出された空間情報のうち少なくとも一つを、それに隣接する空間情報を用いて補正する空間情報補正部と、
前記補正された空間情報と前記ダウンミックス信号を用いて、マルチチャンネル信号を生成するマルチチャンネルデコーダと、を有する復号化装置。
【請求項21】
前記空間情報補正部は、
隣り合う第1及び第2のフレームにそれぞれ対応する第1及び第2の空間情報のうち少なくとも一つを、前記第1及び第2の空間情報の平均に取り換える、請求項20に記載の復号化装置。
【請求項22】
前記空間情報補正部は、
隣り合う第1及び第2のパラメータバンドにそれぞれ対応する第1及び第2の空間情報のうち少なくとも一つを、前記第1及び第2の空間情報の平均に取り換える、請求項20に記載の復号化装置。
【請求項23】
複数のチャンネルを有するマルチチャンネル信号を符号化する装置において、
前記マルチチャンネル信号を、それより少ない数のチャンネルを有するダウンミックス信号に符号化し、前記複数のチャンネルに関する空間情報を生成するマルチチャンネルエンコーダと、
前記空間情報及びフィルタを用いて前記ダウンミックス信号に3Dレンダリングを行い、3Dダウンミックス信号を生成する3Dレンダリング部と、を有し、
前記ダウンミックス信号、空間情報及びフィルタ係数の有効信号個数の和が、前記生成された3Dダウンミックス信号の有効信号個数以下である、
ことを特徴とする符号化装置。
【請求項24】
請求項1〜16の何れか一項に記載された方法をコンピュータで実行させるためのプログラムを記録した、コンピュータで読み取り可能な記録媒体。
【請求項1】
信号を復号化する方法において、
入力されるビットストリームから、ダウンミックス信号及び複数のチャンネルに関する空間情報を抽出する段階と、
前記空間情報及びフィルタを用いて前記ダウンミックス信号に3Dレンダリングを行い、3Dダウンミックス信号を生成する段階と、を有し、
前記ダウンミックス信号、空間情報及びフィルタ係数の有効信号個数の和が、前記生成された3Dダウンミックス信号の有効信号個数以下である、
ことを特徴とする復号化方法。
【請求項2】
前記3Dダウンミックス信号生成段階は、
前記ダウンミックス信号をM−ポイント周波数ドメイン上の信号に変換する段階と、
N−ポイント周波数ドメイン上にマッピングされた前記空間情報及び前記変換されたダウンミックス信号を用いて、マルチチャンネル信号を生成する段階と、
前記マルチチャンネル信号に前記フィルタを適用して前記3Dダウンミックス信号を生成する段階と、
前記生成された3Dダウンミックス信号を時間ドメイン上の信号に変換する段階と、
を有する、請求項1に記載の復号化方法。
【請求項3】
前記ダウンミックス信号の有効信号個数であるNと前記フィルタ係数の個数との和は、前記M以下である、請求項2に記載の復号化方法。
【請求項4】
前記ダウンミックス信号変換段階は、
前記ダウンミックス信号にゼロパッディングを行い、サンプル個数を増加させる段階と、
前記ゼロパッディングされた信号を前記M-ポイント周波数ドメイン上の信号に変換する段階と、を有する請求項2に記載の復号化方法。
【請求項5】
前記マルチチャンネル信号生成段階は、
前記空間情報を前記N−ポイント周波数ドメイン上にマッピングする段階と、
前記周波数ドメイン上にマッピングされた空間情報を、時間ドメイン上の信号に変換する段階と、
前記変換された時間ドメイン信号にゼロパッディングを行い、サンプル個数を増加させる段階と、
前記ゼロパッディングされた信号を前記M−ポイント周波数ドメイン上の信号に変換する段階と、を有する請求項2に記載の復号化方法。
【請求項6】
前記3Dダウンミックス信号生成段階は、
前記フィルタ係数にゼロパッディングを行う段階と、
前記ゼロパッディングされたフィルタ係数を、前記M−ポイント周波数ドメイン上に変換する段階と、を有する請求項2に記載の復号化方法。
【請求項7】
前記フィルタは、HRTFフィルタである、請求項1に記載の復号化方法。
【請求項8】
前記周波数ドメインは、DFTドメイン、FFTドメイン、QMFドメイン及びハイブリッドドメインのうちいずれか一つであることを特徴とする、請求項2〜7の何れか一項に記載の復号化方法。
【請求項9】
信号を復号化する方法において、
入力されるビットストリームから、ダウンミックス信号及び複数のチャンネルに関する空間情報を抽出する段階と、
前記抽出された空間情報のうち少なくとも一つを、それに隣接する空間情報を用いて補正する段階と、
前記補正された空間情報と前記ダウンミックス信号を用いてマルチチャンネル信号を生成する段階と、
を有することを特徴とする復号化方法。
【請求項10】
前記補正された空間情報を用いて前記ダウンミックスに3Dレンダリングを行い、3Dダウンミックス信号を生成する段階をさらに有する、請求項9に記載の復号化方法。
【請求項11】
前記補正段階は、隣り合う2つの空間情報のうち少なくとも一つを、前記2つの空間情報の平均に取り換える、請求項9に記載の復号化方法。
【請求項12】
前記補正段階は、隣り合う第1及び第2のフレームにそれぞれ対応する第1及び第2の空間情報のうち少なくとも一つを、前記第1及び第2の空間情報の平均に取り換える、請求項9に記載の復号化方法。
【請求項13】
前記補正段階は、隣り合う第1及び第2のパラメータバンドにそれぞれ対応する第1及び第2の空間情報のうち少なくとも一つを、前記第1及び第2の空間情報の平均に取り換える、請求項9に記載の復号化方法。
【請求項14】
複数のチャンネルを有するマルチチャンネル信号を符号化する方法において、
前記マルチチャンネル信号を、それより少ない数のチャンネルを有するダウンミックス信号に符号化する段階と、
前記複数のチャンネルに関する空間情報を生成する段階と、
前記空間情報及びフィルタを用いて前記ダウンミックス信号に3Dレンダリングを行い、3Dダウンミックス信号を生成する段階と、を有し、
前記ダウンミックス信号、空間情報及びフィルタ係数の有効信号個数の和が、前記生成された3Dダウンミックス信号の有効信号個数以下である、
ことを特徴とする符号化方法。
【請求項15】
前記3Dダウンミックス信号生成段階は、
前記ダウンミックス信号をM−ポイント周波数ドメイン上の信号に変換する段階と、
N−ポイント周波数ドメイン上にマッピングされた前記空間情報、及び前記変換されたダウンミックス信号を用いて、マルチチャンネル信号を生成する段階と、
前記マルチチャンネル信号に前記フィルタを適用して前記3Dダウンミックス信号を生成する段階と、
前記生成された3Dダウンミックス信号を時間ドメイン上の信号に変換する段階と、を有する請求項14に記載の符号化方法。
【請求項16】
前記ダウンミックス信号の有効信号個数であるN及び前記フィルタ係数の個数の和は、前記M以下である、請求項15に記載の符号化方法。
【請求項17】
信号を復号化する装置において、
入力されるビットストリームから、ダウンミックス信号及び複数のチャンネルに関する空間情報を抽出するビットアンパッキング部と、
前記空間情報及びフィルタを用いて前記ダウンミックス信号に3Dレンダリングを行い、3Dダウンミックス信号を生成する3Dレンダリング部と、を有し、
前記ダウンミックス信号、空間情報及びフィルタ係数の有効信号個数の和が前記生成された3Dダウンミックス信号の有効信号個数以下である、
ことを特徴とする復号化装置。
【請求項18】
前記3Dレンダリング部は、
前記ダウンミックス信号をM−ポイント周波数ドメイン上の信号に変換する第1のドメイン変換部と、
N−ポイント周波数ドメイン上にマッピングされた空間情報、及び前記変換されたダウンミックス信号を用いて、マルチチャンネル信号を生成するマルチチャンネル信号生成部と、
前記マルチチャンネル信号に前記フィルタを適用して前記3Dダウンミックス信号を生成する3Dダウンミックス信号生成部と、
前記生成された3Dダウンミックス信号を時間ドメイン上の信号に変換する第2のドメイン変換部と、を有し、
前記ダウンミックス信号の有効信号個数であるN及び前記フィルタ係数の個数の和は、前記M以下である、請求項17に記載の復号化装置。
【請求項19】
前記3Dレンダリング部は、
前記空間情報を前記N−ポイント周波数ドメイン上にマッピングする空間情報マッピング部と、
前記周波数ドメイン上にマッピングされた空間情報を、時間ドメイン上の信号に変換する時間ドメイン変換部と、
前記変換された時間ドメイン信号にゼロパッディングを行い、サンプル個数を増加させるゼロパッディング部と、
前記ゼロパッディングされた信号を前記M−ポイント周波数ドメイン上の信号に変換する第2の周波数ドメイン変換部と、を有する請求項18に記載の復号化装置。
【請求項20】
信号を復号化する装置において、
入力されるビットストリームから、ダウンミックス信号及び複数のチャンネルに関する空間情報を抽出するビットアンパッキング部と、
前記抽出された空間情報のうち少なくとも一つを、それに隣接する空間情報を用いて補正する空間情報補正部と、
前記補正された空間情報と前記ダウンミックス信号を用いて、マルチチャンネル信号を生成するマルチチャンネルデコーダと、を有する復号化装置。
【請求項21】
前記空間情報補正部は、
隣り合う第1及び第2のフレームにそれぞれ対応する第1及び第2の空間情報のうち少なくとも一つを、前記第1及び第2の空間情報の平均に取り換える、請求項20に記載の復号化装置。
【請求項22】
前記空間情報補正部は、
隣り合う第1及び第2のパラメータバンドにそれぞれ対応する第1及び第2の空間情報のうち少なくとも一つを、前記第1及び第2の空間情報の平均に取り換える、請求項20に記載の復号化装置。
【請求項23】
複数のチャンネルを有するマルチチャンネル信号を符号化する装置において、
前記マルチチャンネル信号を、それより少ない数のチャンネルを有するダウンミックス信号に符号化し、前記複数のチャンネルに関する空間情報を生成するマルチチャンネルエンコーダと、
前記空間情報及びフィルタを用いて前記ダウンミックス信号に3Dレンダリングを行い、3Dダウンミックス信号を生成する3Dレンダリング部と、を有し、
前記ダウンミックス信号、空間情報及びフィルタ係数の有効信号個数の和が、前記生成された3Dダウンミックス信号の有効信号個数以下である、
ことを特徴とする符号化装置。
【請求項24】
請求項1〜16の何れか一項に記載された方法をコンピュータで実行させるためのプログラムを記録した、コンピュータで読み取り可能な記録媒体。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【公表番号】特表2009−526261(P2009−526261A)
【公表日】平成21年7月16日(2009.7.16)
【国際特許分類】
【出願番号】特願2008−554138(P2008−554138)
【出願日】平成19年2月7日(2007.2.7)
【国際出願番号】PCT/KR2007/000674
【国際公開番号】WO2007/091847
【国際公開日】平成19年8月16日(2007.8.16)
【出願人】(502032105)エルジー エレクトロニクス インコーポレイティド (2,269)
【公表日】平成21年7月16日(2009.7.16)
【国際特許分類】
【出願日】平成19年2月7日(2007.2.7)
【国際出願番号】PCT/KR2007/000674
【国際公開番号】WO2007/091847
【国際公開日】平成19年8月16日(2007.8.16)
【出願人】(502032105)エルジー エレクトロニクス インコーポレイティド (2,269)
[ Back to top ]