オブジェクトベースオーディオ信号のエンコーディング/デコーディング方法及びその装置
【課題】音像が各オブジェクトオーディオ信号に対して所定の位置に位置できるように、オーディオ信号がエンコーディングまたはデコーディングすることができるオーディオエンコーディング方法及びその装置並びにオーディオデコーディング方法及びその装置を提供する。
【解決手段】本発明のオーディオデコーディング方法は、オーディオ信号からオブジェクトベース付加情報及びダウンミックス信号を抽出し、ダウンミックス信号をレンダリングするための制御情報及びオブジェクトベース付加情報に基づいてチャネルベース付加情報を生成し、デコリレートされたチャネル信号を用いてダウンミックス信号を処理し、チャネルベース付加情報及び処理されたダウンミックス信号を用いてマルチチャネルオーディオ信号を生成する、ことを特徴とする。
【解決手段】本発明のオーディオデコーディング方法は、オーディオ信号からオブジェクトベース付加情報及びダウンミックス信号を抽出し、ダウンミックス信号をレンダリングするための制御情報及びオブジェクトベース付加情報に基づいてチャネルベース付加情報を生成し、デコリレートされたチャネル信号を用いてダウンミックス信号を処理し、チャネルベース付加情報及び処理されたダウンミックス信号を用いてマルチチャネルオーディオ信号を生成する、ことを特徴とする。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、各オブジェクトオーディオ信号に対して所定の位置に音像が定位できるようにしたオーディオエンコーディング方法及びその装置並びにオーディオデコーディング方法及びその装置に関する。
【背景技術】
【0002】
一般に、マルチチャネルオーディオエンコーディング及びデコーディング技術において、マルチチャネル信号の多チャネル信号は、より少ない数のチャネル信号にダウンミックスされ、元のチャネル信号に関する付加情報が転送され、元のマルチチャネル信号と同一な程度の多チャネルを持つマルチチャネル信号に復元される。
【0003】
オブジェクトベースオーディオエンコーディング及びデコーディング技術は、数個の音源をより少ない数の音源信号にダウンミックスし、元の音源に関する付加情報を転送する点で、マルチチャネルオーディオエンコーディング及びデコーディング技術と基本的に同様である。しかし、オブジェクトベースオーディオエンコーディング及びデコーディング技術において、チャネル信号の基本的な成分(例えば、楽器または人の声)であるオブジェクト信号は、マルチチャネルオーディオエンコーディング及びデコーディング技術のチャネル信号と同様に取り扱ってコーディングすることができる。
【0004】
すなわち、オブジェクトベースオーディオエンコーディング及びデコーディング技術では、各オブジェクト信号はコーディングされる個体と見なされる。これに関連して、マルチチャネルオーディオコーディング動作が、コーディングされるチャネル信号の成分の数によらずチャネル間情報に基づいて簡単に実行されるという点で、オブジェクトベースオーディオエンコーディング及びデコーディング技術はマルチチャネルオーディオエンコーディング及びデコーディング技術と異なる。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明の目的は、各オブジェクトオーディオ信号に対して所定の位置に音像が定位することができるように、オーディオ信号をエンコーディングまたはデコーディングするオーディオエンコーディング方法及びその装置並びにオーディオデコーディング方法及びその装置を提供することにある。
【課題を解決するための手段】
【0006】
本発明の一態様によれば、オーディオ信号からオブジェクトベース付加情報及びダウンミックス信号を抽出し、前記ダウンミックス信号をレンダリングするための制御情報及びオブジェクトベース付加情報に基づいてチャネルベース付加情報を生成し、デコリレートされたチャネル信号を用いて前記ダウンミックス信号を処理し、前記処理されたダウンミックス信号及び前記チャネルベース付加情報を用いてマルチチャネルオーディオ信号を生成する、オーディオデコーディング方法が提供される。
【0007】
本発明の他の態様によれば、オーディオ信号からオブジェクトベース付加情報及びダウンミックス信号を抽出するデマルチプレクサと、前記ダウンミックス信号をレンダリングするための制御情報及びオブジェクトベース付加情報に基づいてチャネルベース付加情報を生成するパラメータコンバーティング部と、前記ダウンミックス信号がステレオダウンミックス信号である場合、デコリレートされたダウンミックス信号によって前記ダウンミックス信号を修正するダウンミックスプロセシング部と、前記ダウンミックスプロセシング部及び前記チャネルベース付加情報によって得た修正されたダウンミックス信号を用いてマルチチャネルオーディオ信号を生成するマルチチャネルデコーディング部と、を含むオーディオデコーディング装置が提供される。
【0008】
本発明のさらに他の態様によれば、オーディオ信号からオブジェクトベース付加情報及びダウンミックス信号を抽出し、前記ダウンミックス信号をレンダリングするための制御情報及びオブジェクトベース付加情報に基づいて1つ以上のプロセシングパラメータ及びチャネルベース付加情報を生成し、前記チャネルベース付加情報及び前記ダウンミックス信号を用いてマルチチャネルオーディオ信号を生成し、前記プロセシングパラメータを用いて前記マルチチャネルオーディオ信号を修正する、オーディオデコーディング方法が提供される。
【0009】
本発明のさらに他の態様によれば、オーディオ信号からオブジェクトベース付加情報及びダウンミックス信号を抽出するデマルチプレクサと、前記ダウンミックス信号をレンダリングするための制御情報及びオブジェクトベース付加情報に基づいて1つ以上のプロセシングパラメータ及びチャネルベース付加情報を生成するパラメータコンバーティング部と、前記チャネルベース付加情報及び前記ダウンミックス信号を用いてマルチチャネルオーディオ信号を生成するマルチチャネルデコーディング部と、前記プロセシングパラメータを用いて前記マルチチャネルオーディオ信号を修正するチャネルプロセシング部と、を含むオーディオデコーディング装置が提供される。
【0010】
本発明のさらに他の態様によれば、オーディオ信号からオブジェクトベース付加情報及びダウンミックス信号を抽出し、前記ダウンミックス信号をレンダリングするための制御情報及びオブジェクトベース付加情報に基づいてチャネルベース付加情報を生成し、デコリレートされたチャネル信号を用いて前記ダウンミックス信号を処理し、前記チャネルベース付加情報及びスワッピングによって得た前記処理されたダウンミックス信号を用いてマルチチャネルオーディオ信号を生成する、オーディオデコーディング方法を記録した、コンピュータ読取可能記録媒体が提供される。
【0011】
本発明のさらに他の態様によれば、オーディオ信号からオブジェクトベース付加情報及びダウンミックス信号を抽出し、前記ダウンミックス信号をレンダリングするための制御情報及びオブジェクトベース付加情報に基づいて1つ以上のプロセシングパラメータ及びチャネルベース付加情報を生成し、前記チャネルベース付加情報及び前記ダウンミックス信号を用いてマルチチャネルオーディオ信号を生成し、前記プロセシングパラメータを用いて前記マルチチャネルオーディオ信号を修正する、オーディオデコーディング方法を記録した、コンピュータ読取可能記録媒体が提供される。
【発明の効果】
【0012】
各オブジェクトオーディオ信号に対して所定の位置に音像が位置できるようにオーディオ信号をエンコーディングまたはデコーディングすることができるオーディオエンコーディング方法及びその装置並びにオーディオデコーディング方法及びその装置を提供することが可能になる。
【図面の簡単な説明】
【0013】
【図1】一般的なオブジェクトベースオーディオエンコーディング/デコーディングシステムを示すブロック図である。
【図2】本発明の第1実施例によるオーディオデコーディング装置を示すブロック図である。
【図3】本発明の第2実施例によるオーディオデコーディング装置を示すブロック図である。
【図4】互いに独立した振幅差及び時間差の音像の定位への影響を説明するためのグラフである。
【図5】予め定められた位置に音像を位置させるのに要求される振幅差及び時間差間の対応に関する関数のグラフである。
【図6】調和情報を含む制御情報のフォーマットを示す図である。
【図7】本発明の第3実施例によるオーディオデコーディング装置を示すブロック図である。
【図8】図7に示すオーディオデコーディング装置に用いられうるアーティスティックダウンミックスゲイン(ADG;artistic downmix gain)を示すブロック図である。
【図9】本発明の第4実施例によるオーディオデコーディング装置を示すブロック図である。
【図10】本発明の第5実施例によるオーディオデコーディング装置を示すブロック図である。
【図11】本発明の第6実施例によるオーディオデコーディング装置を示すブロック図である。
【図12】本発明の第7実施例によるオーディオデコーディング装置を示すブロック図である。
【図13】本発明の第8実施例によるオーディオデコーディング装置を示すブロック図である。
【図14】図13に示すオーディオデコーディング装置によるフレームへの3次元(3D)情報の適用を説明するための図である。
【図15】本発明の第9実施例によるオーディオデコーディング装置を示すブロック図である。
【図16】本発明の第10実施例によるオーディオデコーディング装置を示すブロック図である。
【図17】本発明の一実施例によるオーディオデコーディング方法を説明するための図である。
【図18】本発明の一実施例によるオーディオデコーディング方法を説明するための図である。
【図19】本発明の一実施例によるオーディオデコーディング方法を説明するための図である。
【図20】本発明の一実施例によるオーディオエンコーディング装置を示すブロック図である。
【発明を実施するための形態】
【0014】
以下、図面を参照しながら本発明の例示的な実施例を用いて本発明について詳細に説明する。
【0015】
本発明によるオーディオエンコーディング方法及びその装置並びにオーディオデコーディング方法及びその装置は、オブジェクトベースオーディオ処理動作に適用することができるが、本発明はこれに限定されるものではない。言い換えると、本発明によるオーディオエンコーディング方法及びその装置並びにオーディオデコーディング方法及びその装置は、オブジェクトベースオーディオ処理動作の他、数多くの信号処理動作に適用することもできる。
【0016】
図1は、一般のオブジェクトベースオーディオエンコーディング/デコーディングシステムを示すブロック図である。一般に、オブジェクトベースオーディオエンコーディング装置に入力されたオーディオ信号は、マルチチャネル信号のチャネルと一致しないが、独立したオブジェクト信号である。この点で、オブジェクトベースオーディオエンコーディング装置は、マルチチャネル信号のチャネル信号が入力されるマルチチャネルオーディオエンコーディング装置と区別される。
【0017】
例えば、5.1チャネル信号のフロントレフトチャネル信号及びフロントライトチャネル信号のようなチャネル信号は、マルチチャネルオーディオ信号に入力することができるのに対し、チャネル信号よりも小さい個体(entity)である人の声または楽器の音(バイオリンまたはピアノの音)のようなオブジェクトオーディオ信号は、オブジェクトベースオーディオエンコーディング装置に入力することができる。
【0018】
図1を参照すると、オブジェクトベースオーディオエンコーディング/デコーディングシステムは、オブジェクトベースオーディオエンコーディング装置及びオブジェクトベースオーディオデコーディング装置を含む。オブジェクトベースオーディオエンコーディング装置は、オブジェクトエンコーディング部100を含み、オブジェクトベースオーディオデコーディング装置は、オブジェクトデコーディング部111及びレンダリング部113を含む。
【0019】
オブジェクトエンコーディング部100は、N個のオブジェクトオーディオ信号を受信し、エネルギ差、位相差及び相関値のようなN個のオブジェクトオーディオ信号から抽出された多数の情報を含む付加情報及び1つ以上のチャネルを持つオブジェクトベースダウンミックス信号を生成する。付加情報及びオブジェクトベースダウンミックス信号は1つのビットストリームに統合され、このビットストリームはオブジェクトベースデコーディング装置に転送される。
【0020】
付加情報は、チャネルベースオーディオコーディングを実行するか或いはオブジェクトベースオーディオコーディングを実行するかを表すフラッグを含むことができ、この付加情報のフラッグに基づいてオブジェクトベースオーディオコーディングを実行するかチャネルベースオーディオコーディングを実行するかを決定することができる。この付加情報は、オブジェクト信号に関するエンベロープ情報、グルーピング情報、無音期間情報及び遅延情報も含むことができる。付加情報は、オブジェクトレベル差情報、オブジェクト間相互相関情報、ダウンミックス利得情報、ダウンミックスチャネルレベル差情報及び絶対的オブジェクトエネルギ情報を含むことができる。
【0021】
オブジェクトデコーディング部111は、オブジェクトベースオーディオエンコーディング装置から付加情報及びオブジェクトベースダウンミックス信号を受信し、オブジェクトベースダウンミックス信号及び付加情報に基づいてN個のオブジェクトオーディオ信号の特性と同一の特性を持つオブジェクト信号を復元する。オブジェクトデコーディング部111により生成されたオブジェクト信号は、マルチチャネル空間内の所定の位置にまだ割り当てられていない。したがって、レンダリング部113は、オブジェクトデコーディング部111により生成されたオブジェクト信号のそれぞれを、マルチチャネル空間内の予め定められた位置に割り当て、オブジェクト信号のレベルを決定し、これにより、レンダリング部113により指定されたそれぞれの対応する位置からオブジェクト信号がレンダリング部113により決定されたそれぞれの対応するレベルで再生されるようにする。オブジェクトデコーディング部111により生成されたオブジェクト信号のそれぞれに関する制御情報は、オーバータイムを変えることができるので、オブジェクトデコーディング部111により生成されたオブジェクト信号のレベル及び空間位置は制御情報によって変わりうる。
【0022】
図2は、本発明の第1実施例によるオーディオデコーディング装置120を示すブロック図である。図2を参照すると、オーディオデコーディング装置120は、オブジェクトデコーディング部121、レンダリング部123及びパラメータコンバーティング部125を含む。オーディオデコーディング装置120は、入力されたビットストリームからの付加情報及びダウンミックス信号を抽出するデマルチプレクサ(図示せず)を含んでも良く、これは、本発明の他の実施例によるオーディオデコーディング装置のいずれにも適用することができる。
【0023】
オブジェクトデコーディング部121は、パラメータコンバーティング部125により提供された修正された付加情報及びダウンミックス信号に基づいて多くのオブジェクト信号を生成する。レンダリング部123は、マルチチャネル空間内の予め定められた位置に、オブジェクトデコーディング部121により生成されたオブジェクト信号のそれぞれを割り当て、制御情報によってオブジェクトデコーディング部121により生成されたオブジェクト信号のレベルを決定する。パラメータコンバーティング部125は、付加情報と制御情報とを結合させることによって修正された付加情報を生成する。続いて、パラメータコンバーティング部125は、修正された付加情報をオブジェクトデコーディング部121に転送する。
【0024】
オブジェクトデコーディング部121は、修正された付加情報中の制御情報を分析することによって適切なデコーディングを実行することができる。
【0025】
例えば、第1オブジェクト信号及び第2オブジェクト信号がマルチチャネル空間内の同一位置に割り当てられ且つ同一レベルを持つということを制御情報が表すと、一般のオーディオデコーディング装置は、第1及び第2オブジェクト信号を個別にデコーディングでき、続いてミキシング/レンダリング動作を通じてマルチチャネル空間内にそれらを配置することができる。
【0026】
これに対し、オーディオデコーディング装置120のオブジェクトデコーディング部121は、修正された付加情報中の制御情報から、第1及び第2オブジェクト信号がマルチチャネル空間内の同一位置に割り当てられ、これらが1つの音源のように同一レベルを持つということがわかる。したがって、オブジェクトデコーディング部121は、第1及び第2オブジェクト信号を個別にデコーディングせずに、1つの音源として取扱ってデコーディングする。その結果、デコーディングの複雑度は減少する。しかも、処理されるべき音源数の減少によって、ミキシング/レンダリングの複雑度も減少する。
【0027】
複数のオブジェクト信号が同一空間位置に割り当てられることは殆どないので、オーディオデコーディング装置120は、オブジェクト信号の数を出力チャネルの数よりも多い状況で有用に用いることができる。
【0028】
また、オーディオデコーディング装置120は、第1オブジェクト信号及び第2オブジェクト信号がマルチチャネル空間内の同一位置に割り当てられるが、異なるレベルを持つ状況で用いることができる。この場合、オーディオデコーディング装置120は、第1及び第2オブジェクト信号を個別にデコーディングし、デコーディングされた第1及び第2オブジェクト信号をレンダリング部123に転送する代わりに、第1及び第2オブジェクト信号を1つとして取扱って第1及び第2オブジェクト信号をデコーディングする。より詳細には、オブジェクトデコーディング部121は、修正された付加情報中の制御情報から第1及び第2オブジェクト信号のレベル間の差に関する情報を獲得でき、獲得された情報に基づいて第1及び第2オブジェクト信号をデコーディングすることができる。その結果、第1及び第2オブジェクト信号が異なるレベルを持つ場合であっても、第1及び第2オブジェクト信号は1つの音源のようにデコーディングすることができる。
【0029】
また、オブジェクトデコーディング部121は、制御情報によってオブジェクトデコーディング部121により生成されたオブジェクト信号のレベルを調節できる。続いて、オブジェクトデコーディング部121は、レベル調節されたオブジェクト信号をデコーディングすることができる。したがって、レンダリング部123は、オブジェクトデコーディング部121から供給されたデコーディングされたオブジェクト信号のレベルを調節する必要はなく、単に、オブジェクトデコーディング部121から供給されたデコーディングされたオブジェクト信号をマルチチャネル空間内に配置する。要するに、オブジェクトデコーディング部121が制御情報によってオブジェクトデコーディング部121で生成されたオブジェクト信号のレベルを調節するので、オブジェクトデコーディング部121により生成されたオブジェクト信号のレベルをさらに調節する必要が無く、レンダリング部123は、オブジェクトデコーディング部121により生成されたオブジェクト信号をマルチチャネル空間内に容易に配置することができる。したがって、ミキシング/レンダリングの複雑度を減少させることが可能になる。
【0030】
図2の実施例によれば、オーディオデコーディング装置120のオブジェクトデコーディング部は、制御情報の分析を通じてデコーディング動作を適切に実行することによって、デコーディングの複雑度及びミキシング/レンダリングの複雑度を減少させることができる。オーディオデコーディング装置120により実行された上記の方法の組合せを用いることができる。
【0031】
図3は、本発明の第2実施例によるオーディオデコーディング装置130を示すブロック図である。図3を参照すると、オーディオデコーディング装置130は、オブジェクトデコーディング部131及びレンダリング部133を含む。オーディオデコーディング装置130は、付加情報をオブジェクトデコーディング部131だけでなくレンダリング部133にも供給するという特徴を有する。
【0032】
オーディオデコーディング装置130は、無音期間に相応するオブジェクト信号がある場合にもデコーディング動作を効果的に実行することができる。例えば、第2乃至第4オブジェクト信号は、楽器が演奏される間の音楽演奏期間に対応することができ、第1オブジェクト信号は伴奏が演奏される間の無音期間に対応することができる。この場合、複数のオブジェクト信号のいずれかが無音期間に対応するかを表す情報を付加情報に含むことができ、この付加情報は、オブジェクトデコーディング部131だけでなくレンダリング部133にも供給することができる。
【0033】
オブジェクトデコーディング部131は、無音期間に対応するオブジェクト信号をデコーディングしないことによってデコーディングの複雑度を最小化することができる。オブジェクトデコーディング部131は、0値に対応するオブジェクト信号を設定し、このオブジェクト信号のレベルをレンダリング部133に転送する。通常、0値を持つオブジェクト信号は0でない値を持つオブジェクト信号と同様に取り扱われてミキシング/レンダリング動作が行われることがある。
【0034】
これに対し、オーディオデコーディング装置130は、複数のオブジェクト信号のいずれかが無音期間に相応するかを表す情報を含む付加情報をレンダリング部133に転送するため、無音期間に対応するオブジェクト信号がレンダリング部133でミキシング/レンダリングされるのを防ぐことができる。したがって、オーディオデコーディング装置130は、ミキシング/レンダリングの余分な複雑度の増加を防止することができる。
【0035】
レンダリング部133は、ステレオ場面に各オブジェクト信号の音像を定位させる目的で、制御情報中に含まれたミキシングパラメータ情報を用いることができる。ミキシングパラメータ情報は、振幅情報のみを含んだり、振幅情報及び時間情報の両方を含むことができる。ミキシングパラメータ情報は、ステレオ音像の定位の他に、利用者による空間音質の心理音響認知にも影響を及ぼすことができる。
【0036】
例えば、時間パンニング方法及び振幅パンニング方法のそれぞれを用いて生成され、2−チャネルステレオスピーカを用いて同一位置に再生された2つの音像を比較すると、振幅パンニング方法が音像の正確な定位に寄与し、時間パンニング方法が空間の深い感じを持つ自然な音を提供することが分かる。したがって、マルチチャネル空間にオブジェクト信号を配置する上でレンダリング部133が振幅パンニング方法のみを利用するとすれば、レンダリング部133は、各音像を正確に配置することはできるが、時間パンニング方法を利用する場合のように音の奥深い感じを提供することはできない。利用者は、音源の種類によって音像の正確な定位よりも音の奥深い感じを好む場合もあり、その反対の場合もある。
【0037】
図4(a)及び図4(b)では、2−チャネルステレオスピーカで信号の再生を実行する際に、音像の定位上の時間差及び強度(振幅差)の影響を説明する。図4(a)及び図4(b)を参照すると、音像は互いに独立した振幅差及び時間差によって予め定められた角度に位置することができる。例えば、約8dBの振幅差、または約8dBの振幅差と等価である約0.5msの時間差を、20゜の角度に音像を定位させるために用いることができる。したがって、振幅差のみがミキシングパラメータ情報として提供される場合であっても、音像の定位の間に、振幅差を該振幅差と等価である時間差に変換することによって、異なる特性を持つ様々な音を得ることが可能である。
【0038】
図5は、10゜、20゜及び30゜の角度に音像を定位させるのに必要な振幅差と時間差間の対応に関する関数を示す。図5に示す関数は、図4(a)及び図4(b)に基づいて得ることができる。図5を参照すると、様々な振幅差−時間差の組合せが、予め定められた位置に音像を定位させるために提供することができる。例えば、20゜の角度に音像を定位させるために8dBの振幅差がミキシングパラメータ情報として提供されると仮定する。図5に示す関数によって、また3dBの振幅差と0.3msの時間差の組合せを用いて音像は20゜の角度に位置することができる。この場合、振幅差情報だけでなく時間差情報がミキシングパラメータ情報として提供されることができ、これによって空間の感じ(feeling of space)を向上させることができる。
【0039】
したがって、ミキシング/レンダリング動作の間に利用者の所望する特性を持つ音を生成すべく、ミキシングパラメータ情報は、振幅パンニングと時間パンニングのうち、利用者に適しているいずれかが実行されうるように適切に変換することができる。すなわち、ミキシングパラメータ情報が振幅差情報のみを含み、利用者が空間の奥深い感じを持つ音を希望する場合には、振幅差情報は心理音響的データを参照して振幅差情報と等価である時間差情報に変換することができる。また、利用者が空間の奥深い感じを持つ音及び音像の正確な定位を希望する場合には、振幅差情報は、元来の振幅情報と等価である時間差情報と振幅差情報の組合せに変換することができる。
【0040】
また、ミキシングパラメータ情報が時間差情報のみを含み、利用者が音像の正確な定位を好む場合には、時間差情報は、時間差情報と等価である振幅差情報に変換したり、音像定位の正確性及び空間の感じを両方とも向上させることによって利用者の好みを満足させることのできる振幅差情報と時間差情報との組合せに変換することができる。
【0041】
また、ミキシングパラメータ情報が振幅差情報及び時間差情報を含み、利用者が音像の正確な定位を好む場合には、振幅差情報と時間差情報との組合せは、元来の振幅差情報と時間差情報との組合せと等価である振幅差情報に変換することができる。一方、ミキシングパラメータ情報が振幅差情報及び時間差情報を含み、利用者が空間感の向上を好む場合には、振幅差情報と時間差情報との組合せは、振幅差情報と元来の時間差情報との組合せと等価である時間差情報に変換することができる。
【0042】
図6において、制御情報は、1つ以上のオブジェクト信号に関する調和情報及びミキシング/レンダリング情報を含むことができる。調和情報は、ピッチ情報、基本周波数情報、1つ以上のオブジェクト信号に関する優勢周波数バンド情報、及びオブジェクト信号のそれぞれの各サブバンドのエネルギ及びスペクトラムの説明のうち少なくとも1つを含むことができる。
【0043】
サブバンド部でのレンダリング動作を実行するレンダリング部の解像度が充分でないから、調和情報はレンダリング動作中にオブジェクト信号を処理するのに用いることができる。
【0044】
調和情報が1つ以上のオブジェクト信号に関するピッチ情報を含む場合には、オブジェクト信号のそれぞれの利得は、コムフィルタまたは逆コムフィルタを用いて予め定められた周波数ドメインを弱化させたり強化させたりすることによって調節することができる。例えば、複数のオブジェクト信号の1つが音声信号であれば、オブジェクト信号は、音声信号のみを弱化させることによってカラオケとして用いることができる。また、調和情報が1つ以上のオブジェクト信号に関する優勢周波数ドメイン情報を含む場合には、優勢周波数ドメインを弱化させたり強化させる処理を実行することができる。また、調和情報が1つ以上のオブジェクト信号に関するスペクトラム情報を含む場合には、オブジェクト信号のそれぞれの利得はサブバンド境界によって制限されずに弱化または強化を実行することによって制御することができる。
【0045】
図7は、本発明の第3実施例によるオーディオデコーディング装置140を示すブロック図である。図7を参照すると、オーディオデコーディング装置140は、オブジェクトデコーディング部及びレンダリング部の代わりに、マルチチャネルデコーディング部141を採用し、オブジェクト信号がマルチチャネル空間内に適当に配置された後に複数のオブジェクト信号をデコーディングする。
【0046】
より詳細には、オーディオデコーディング装置140は、マルチチャネルデコーディング部141及びパラメータコンバーティング部145を含む。マルチチャネルデコーディング部141は、パラメータコンバーティング部145より提供されたチャネルベース付加情報である空間パラメータ情報及びダウンミックス信号に基づいて、マルチチャネル空間内にそのオブジェクト信号が既に配置されたマルチチャネル信号を生成する。パラメータコンバーティング部145は、オーディオエンコーディング装置(図示せず)より転送された制御情報及び付加情報を分析し、分析結果に基づく空間パラメータ情報を生成する。より詳細には、パラメータコンバーティング部145は、プレイバック構成情報及びミキシング情報を含む制御情報と付加情報とを結合させることによって空間パラメータ情報を生成する。すなわち、パラメータコンバーティング部145は、付加情報と制御情報との組合せをOTT(One−To−Two box)またはTTT(Two−To−Three box)に対応する空間データへの変換を実行する。
【0047】
オーディオデコーディング装置140は、オブジェクトベースデコーディング動作及びミキシング/レンダリング動作が統合されるようにマルチチャネルデコーディングを実行でき、各オブジェクト信号のデコーディングをスキップすることができる。したがって、デコーディング及び/またはミキシング/レンダリングの複雑度を減少させることが可能になる。
【0048】
例えば、10個のオブジェクト信号が存在し、10個のオブジェクト信号に基づいて獲得されたマルチチャネル信号が5.1チャネルスピーカ再生システムにより再生される場合、一般のオブジェクトベースオーディオデコーディング装置は、ダウンミックス信号及び付加情報に基づく10個のオブジェクト信号に対応してデコーディングされた信号を個別に生成し、続いて、それらオブジェクト信号が5.1チャネルスピーカ環境に適合するようにマルチチャネル空間内に10個のオブジェクト信号を適切に配置することによって5.1チャネル信号を生成する。しかし、5.1チャネル信号の生成の際に10個のオブジェクト信号を生成するということは非効率であり、この問題は、生成されたマルチチャネル信号のチャネル数とオブジェクト信号数との差が増加するほどより深刻化する。
【0049】
これに対し、図7の実施例によれば、オーディオデコーディング装置140は、付加情報及び制御情報に基づいて5.1チャネル信号に適合した空間パラメータ情報を生成し、空間パラメータ情報及びダウンミックス信号をマルチチャネルデコーディング部141に供給する。続いて、マルチチャネルデコーディング部141は、空間パラメータ情報及びダウンミックス信号に基づいて5.1チャネル信号を生成する。言い換えると、出力されるチャネルの数が5.1チャネルである場合、オーディオデコーディング装置140は、10個のオブジェクト信号を生成せずに、ダウンミックス信号に基づいて5.1チャネル信号を迅速に生成でき、よって、複雑度において一般のオーディオデコーディング装置に比べてより効果的となる。
【0050】
オーディオエンコーディング装置より転送された制御情報及び付加情報の分析を通じて、OTT box及びTTT boxそれぞれに対応する空間パラメータ情報を計算するのに必要な計算量が、各オブジェクト信号のデコーディング後にミキシング/レンダリング動作を実行するのに必要な計算量よりも少ない場合に、オーディオデコーディング装置140は効率的なものと見なされる。
【0051】
オーディオデコーディング装置140は、付加情報及び制御情報の分析を通じて空間パラメータ情報を生成するためのモジュールを、一般のマルチチャネルオーディオデコーディング装置に加えることによって簡単に得ることができ、したがって、一般のマルチチャネルオーディオデコーディング装置と互換性を維持することができる。また、エンベロープシェーパ、サブバンド時間処理(STP;sub−band temporal processing)ツール及びデコリレータのような一般のマルチチャネルオーディオデコーディング装置の現存するツールを用いて、オーディオデコーディング装置140は音質を向上させることができる。与えられたこれら全てから、一般のマルチチャネルオーディオデコーディング方法の全て利点は、オブジェクトオーディオデコーディング方法に容易に適用することができるという結論が導かれる。
【0052】
パラメータコンバーティング部145よりマルチチャネルデコーディング部141に転送された空間パラメータ情報は、転送するのに適合するように圧縮することができる。また、空間パラメータ情報は、一般のマルチチャネルエンコーディング装置より転送されたデータのフォーマットと同一のフォーマットを持つことができる。すなわち、空間パラメータ情報は、ハフマンデコーディング動作またはパイロットデコーディング動作を行なうことができ、よって、圧縮されていない空間キューデータとして各モジュールに転送することができる。ハフマンデコーディング動作は、空間パラメータ情報を遠隔位置のマルチチャネルオーディオデコーディング装置に転送するのに適合し、パイロットデコーディング動作は、マルチチャネルオーディオデコーディング装置が、圧縮された空間キューデータを、デコーディング動作に容易に用いられうる圧縮されていない空間キューデータに変換する必要がないという点で便利である。
【0053】
付加情報及び制御情報の分析に基づく空間パラメータ情報の構成は、ダウンミックス信号と空間パラメータ情報間の遅延を引き起こすことができる。これをアドレスするために、ダウンミックス信号及び空間パラメータ情報が互いに同期化するように追加的なバッファをダウンミックス信号または空間パラメータ情報のために提供することができる。しかし、これらの方法は、追加的なバッファの提供が要求されるという点で不便である。また、付加情報は、ダウンミックス信号と空間パラメータ情報間の遅延発生の可能性を考慮し、ダウンミックス信号に先立って転送することができる。この場合に、付加情報と制御情報とを結合することによって得られた空間パラメータ情報は調節されることなく容易に用いることができる。
【0054】
ダウンミックス信号の複数のオブジェクト信号が、異なるレベルを持つ場合、ダウンミックス信号を直接補償できるADGモジュールが、オブジェクト信号の相対的なレベルを決定することができ、よって、オブジェクト信号のそれぞれは、チャネルレベル差情報、チャネル間相関(ICC;inter−channel correlation)情報及びチャネル予測係数(CPC;channel predicion coefficient)のような空間キューデータを用いてマルチチャネル空間内の予め定められた位置に割り当てることができる。
【0055】
例えば、予め定められたオブジェクト信号がマルチチャネル空間内の予め定められた位置に割り当てられ、他のオブジェクト信号よりも高いレベルを持つということを制御情報が示す場合には、一般のマルチチャネルデコーディング部はダウンミックス信号のチャネルエネルギ間の差を計算し、このダウンミックス信号を計算の結果に基づいて多くの出力チャネルに分割することができる。しかし、一般のマルチチャネルデコーディング部は、ダウンミックス信号中の特定の音のボリュームを上げたり下げたりすることはできない。言い換えると、一般のマルチチャネルデコーディング部は、ダウンミックス信号を多くの出力チャネルに簡単に分配し、よって、ダウンミックス信号中の音のボリュームを上げたり下げたりすることができない。
【0056】
オブジェクトエンコーディング部により生成されたダウンミックス信号の複数のオブジェクト信号のそれぞれを制御情報によってマルチチャネル空間内の予め定められた位置に割り当てることは比較的易しい。しかし、予め定められたオブジェクト信号の振幅を増やしたり減らしたりするには特別な技術が要求される。言い換えると、オブジェクトエンコーディング部により生成されたダウンミックス信号をそのまま利用するとしたらダウンミックス信号のそれぞれのオブジェクト信号の振幅は減らし難い。
【0057】
したがって、本発明の実施例によって、オブジェクト信号の相対的な振幅が、図8に示すADGモジュールを用いて制御情報によって変わりうる。より詳細には、オブジェクトエンコーディング部より転送されたダウンミックス信号の複数のオブジェクト信号のいずれか1つの振幅は、ADGモジュール147によって増加されたり減少されたりすることができる。ADGモジュール147により実行された補償によって得られたダウンミックス信号はマルチチャネルデコーディングすることができる。
【0058】
ダウンミックス信号のオブジェクト信号の相対的な振幅が、ADGモジュール147を用いて適切に調節される場合には、一般のマルチチャネルデコーディング部を用いてオブジェクトデコーディングを実行することができる。オブジェクトエンコーディング部により生成されたダウンミックス信号がモノまたはステレオ信号または3以上のチャネルを持つマルチチャネル信号であると、ダウンミックス信号は、ADGモジュール147により処理することができる。オブジェクトエンコーディング部により生成されたダウンミックス信号が2以上のチャネルを有し、ADGモジュール147により調節されるべき予め定められたオブジェクト信号がダウンミックス信号の1つのチャネルでのみ存在する場合には、ADGモジュール147は、ダウンミックス信号の全てのチャネルに適用される代わりに、予め定められたオブジェクト信号を含むチャネルにのみ適用することができる。上記の方法でADGモジュール147により処理されたダウンミックス信号は、マルチチャネルデコーディング部の構造を修正することなく一般のマルチチャネルデコーディング部を用いて容易に処理することができる。
【0059】
最終出力信号が、マルチチャネルスピーカにより再生されうるマルチチャネル信号ではなくバイノーラル信号である場合であっても、ADGモジュール147は、最終出力信号のオブジェクト信号の相対的な振幅を調節するのに用いることができる。
【0060】
ADGモジュール147を用いる代わりに、複数のオブジェクト信号の生成期間に各オブジェクト信号に適用される利得値を特定する利得情報を制御情報中に含むことができる。このため、一般のマルチチャネルデコーディング部の構造は修正することができる。存在するマルチチャネルデコーディング部の構造の修正を必要とするとはいえ、この方法は、ADGを計算して各オブジェクト信号を補償することなく、デコーディング動作の間に各オブジェクト信号に利得値を適用するから、デコーディングの複雑度を低減する上で便利である。
【0061】
図9は、本発明の第4実施例によるオーディオデコーディング装置150を示すブロック図である。図9を参照すると、オーディオデコーディング装置150は、バイノーラル信号を生成することに特徴がある。
【0062】
より詳細には、オーディオデコーディング装置150は、マルチチャネルバイノーラルデコーディング部151、第1パラメータコンバーティング部157及び第2パラメータコンバーティング部159を含む。
【0063】
第2パラメータコンバーティング部159は、オーディオエンコーディング装置より供給された制御情報及び付加情報を分析し、分析の結果に基づいて空間パラメータ情報を構成する。第1パラメータコンバーティング部157は、頭部伝達関数(HRTF;head−related transfer function)パラメータのような3次元(3D)情報を空間パラメータ情報に追加することによって、マルチチャネルバイノーラルデコーディング部151で使用できるようなバイノーラルパラメータ情報を構成する。マルチチャネルバイノーラルデコーディング部151は、仮想3Dパラメータ情報をダウンミックス信号に適用することによって仮想3D信号を生成する。
【0064】
第1パラメータコンバーティング部157及び第2パラメータコンバーティング部159は、付加情報、制御情報及びHRTFパラメータを受信し、これら付加情報、制御情報及びHRTFパラメータに基づいてバイノーラルパラメータ情報を構成する単一モジュール、すなわち、パラメータ変換モジュール155に取って代わっても良い。
【0065】
一般に、ヘッドホンで10個のオブジェクト信号を含むダウンミックス信号の再生のためのバイノーラル信号を生成するために、オブジェクト信号は、ダウンミックス信号及び付加情報に基づく10個のオブジェクト信号に対応するそれぞれの10個のデコーディングされた信号を生成しなければならない。その後、レンダリング部は、5−チャネルスピーカ環境に適合するように制御情報を参照してマルチチャネル空間内の予め定められた位置に10個のオブジェクト信号のそれぞれを割り当てる。その後に、レンダリング部は、5−チャネルスピーカを用いて再生できる5−チャネル信号を生成する。その後、レンダリング部は、HRTFパラメータを5−チャネル信号に適用して2−チャネル信号を生成する。要するに、上記の一般的なオーディオデコーディング方法は、10個のオブジェクト信号を再生する段階、10個のオブジェクト信号を5−チャネル信号に変換する段階、及び5−チャネル信号に基づく2−チャネル信号を生成する段階を含み、効果的でない。
【0066】
これに対し、オーディオデコーディング装置150は、オブジェクトオーディオ信号に基づいてヘッドホンを用いて再生できるバイノーラル信号を容易に生成できる。しかも、オーディオデコーディング装置150は、付加情報及び制御情報の分析を通じて空間パラメータ情報を構成し、よって、一般的なマルチチャネルバイノーラルデコーディング部を用いてバイノーラル信号を生成できる。さらに、付加情報、制御情報及びHRTFパラメータを受信する統合されたパラメータコンバーティング部が組み込まれる場合においても、オーディオデコーディング装置150は一般的なマルチチャネルバイノーラルデコーディング部を依然として利用でき、付加情報、制御情報及びHRTFパラメータに基づくバイノーラルパラメータ情報を構成できる。
【0067】
図10は、本発明の第5実施例によるオーディオデコーディング装置160を示すブロック図である。図10を参照すると、オーディオデコーディング装置160は、ダウンミックスプロセシング部161、マルチチャネルデコーディング部163及びパラメータコンバーティング部165を含む。ダウンミックスプロセシング部161及びパラメータコンバーティング部163は、単一モジュール167としても良い。
【0068】
パラメータコンバーティング部165は、マルチチャネルデコーディング部163で使用可能な空間パラメータ情報及びダウンミックスプロセシング部161で使用可能なパラメータ情報を生成する。ダウンミックスプロセシング部161は、ダウンミックス信号に前処理動作を実行し、前処理動作により生成されたダウンミックス信号をマルチチャネルデコーディング部163に転送する。マルチチャネルデコーディング部163は、ダウンミックスプロセシング部161より転送されたダウンミックス信号にデコーディング動作を実行し、ステレオ信号、バイノーラルステレオ信号またはマルチチャネル信号を出力する。ダウンミックスプロセシング部161により実行された前処理動作の例には、フィルタリングを用いた時間ドメインまたは周波数ドメインへのダウンミックス信号の変換または修正が含まれる。
【0069】
オーディオデコーディング装置160に入力されたダウンミックス信号がステレオ信号であれば、マルチチャネルデコーディング部163は、複数のチャネルの1つであるレフトチャネルに対応するダウンミックス信号の成分を複数のチャネルの他の1つであるライトチャネルにマッピングできないから、ダウンミックス信号は、マルチチャネルデコーディング部163に入力される前にダウンミックスプロセシング部161で実行されたダウンミックス前処理することができる。したがって、レフトチャネルに分類されたオブジェクト信号の位置をライトチャネルの方向に移動させるために、オーディオデコーディング装置160に入力されたダウンミックス信号は、ダウンミックスプロセシング部161により前処理することができ、前処理されたダウンミックス信号は、マルチチャネルデコーディング部163に入力することができる。
【0070】
ステレオダウンミックス信号の前処理は、付加情報及び制御情報から獲得された前処理した情報に基づいて実行することができる。
【0071】
図11は、本発明の第6実施例によるオーディオデコーディング装置170のブロック図である。図11を参照すると、オーディオデコーディング装置170は、マルチチャネルデコーディング部171、チャネルプロセシング部173及びパラメータコンバーティング部175を含む。
【0072】
パラメータコンバーティング部175は、マルチチャネルデコーディング部173で使用可能な空間パラメータ情報及びチャネルプロセシング部173で使用可能なパラメータ情報を生成する。チャネルプロセシング部173は、マルチチャネルデコーディング部173より出力された信号に後処理動作を実行する。マルチチャネルデコーディング部173より出力された信号の例には、ステレオ信号、バイノーラルステレオ信号及びマルチチャネル信号を含む。
【0073】
ポストプロセシング部173により実行された後処理動作には、出力信号の各チャネルまたは全てのチャネルの修正及び変換が含まれる。例えば、付加情報が予め定められたオブジェクト信号に関する基本周波数情報を含む場合には、チャネルプロセシング部173は、基本周波数情報を参照して予め定められたオブジェクト信号から調和成分を除去することができる。マルチチャネルオーディオデコーディング方法は、カラオケシステムに用いるには充分に効果的でない場合もあり得る。しかし、音声オブジェクト信号に関する基本周波数情報が付加情報内に含まれ、音声オブジェクト信号の調和成分が後処理動作中に除去される場合には、図11の実施例を用いる高性能カラオケシステムを実現することができる。図11の実施例は、音声オブジェクト信号を除くオブジェクト信号に適用することができる。例えば、図11の実施例を用いて予め定められた楽器の音を除去することが可能である。また、図11の実施例を用いてオブジェクト信号に関する基本周波数情報によって予め定められた調和成分を増幅することができる。
【0074】
チャネルプロセシング部173は、ダウンミックス信号に追加的なエフェクトプロセシングを実行することができる。また、チャネルプロセシング部173は、追加的なエフェクトプロセシングによって得た信号を、マルチチャネルデコーディング部171より出力された信号に付加することができる。チャネルプロセシング部173は、必要時にオブジェクトのスペクトラムを変化させたりダウンミックス信号を修正したりすることができる。ダウンミックス信号への反射のようなエフェクトプロセシング動作を直接実行し、エフェクトプロセシング動作によって得られた信号をマルチチャネルデコーディング部171に転送することが適切でない場合には、ダウンミックスプロセシング部173は、ダウンミックス信号へのエフェクトプロセシングを実行する代わりに、エフェクトプロセシング動作によって得た信号をマルチチャネルデコーディング部171の出力に付加することができる。
【0075】
オーディオデコーディング装置170は、チャネルプロセシング部173の他、ダウンミックスプロセシング部を含むように作製することができる。この場合に、ダウンミックスプロセシング部は、マルチチャネルデコーディング部173の前に配置することができ、チャネルプロセシング部173はマルチチャネルデコーディング部173の後に配置することができる。
【0076】
図12は、本発明による第7実施例によるオーディオデコーディング装置210を示すブロック図である。図12を参照すると、オーディオデコーディング装置210は、オブジェクトデコーディング部の代わりに、マルチチャネルデコーディング部213を用いる。より詳細には、オーディオデコーディング装置210は、マルチチャネルデコーディング部213、トランスコーディング部215、レンダリング部217及び3D情報データベース219を含む。
【0077】
レンダリング部217は、制御情報に含まれたインデックスデータに対応する3D情報に基づいて複数のオブジェクト信号の3D位置を決定する。トランスコーディング部215は、レンダリング部217により適用された3D情報に複数のオブジェクトオーディオ信号に関する位置情報を合成することによってチャネルベース付加情報を生成する。マルチチャネルデコーディング部213は、チャネルベース付加情報をダウンミックス信号に適用することによって3D信号を出力する。
【0078】
HRTFは3D情報として用いることができる。HRTFは、任意位置における音源と鼓膜との間の音波の転送を説明し、音源の高度及び方向によって変わる値を返す伝達関数である。方向性を持たない信号がHRTFを用いてフィルタリングされると、信号は、特定の方向から再生されるかのように聞こえる。
【0079】
入力ビットストリームを受信する場合、オーディオデコーディング装置210は、デマルチプレクサ(図示せず)を用いて入力ビットストリームからオブジェクトベースパラメータ情報及びオブジェクトベースダウンミックス信号を抽出する。その後、レンダリング部217は、複数のオブジェクトオーディオ信号の位置を決定するのに用いられる制御情報からインデックスデータを抽出し、3D情報データベース219から抽出されたインデックスデータに対応する3D情報を回収する。
【0080】
より詳細には、オーディオデコーディング装置210で用いられる制御情報に含まれたミキシングパラメータ情報は、3D情報を検索するのに必要なレベル情報だけでなく、インデックスデータも含むことができる。このミキシングパラメータ情報は、レベル情報及び時間情報を適切に結合することによって得られた1つ以上のパラメータ、位置情報及びチャネル間の時間差に関する時間情報を含むことができる。
【0081】
オブジェクトオーディオ信号の位置は、デフォルトミキシングパラメータ情報によって初期に決定することができ、利用者が希望する位置に対応する3D情報をオブジェクトオーディオ信号に適用することによって後で変更することができる。また、利用者が3D効果をいくつかのオブジェクトオーディオ信号に適用することを希望する場合には、利用者が3D効果を適用することを希望しない他のオブジェクトオーディオ信号に関する時間情報及びレベル情報は、ミキシングパラメータ情報として用いることができる。
【0082】
レンダリング部217によってHRTFのような3D情報が適用される複数のオブジェクト信号の位置情報とオーディオエンコーディング装置より転送されたN個のオブジェクト信号に関するオブジェクトベースパラメータ情報とを合成することによって、トランスコーディング部215はM個のチャネルに関するチャネルベース付加情報を生成する。
【0083】
マルチチャネルデコーディング部213は、トランスコーディング部215より供給されたチャネルベース付加情報及びダウンミックス信号に基づくオーディオ信号を生成し、チャネルベース付加情報に含まれた3D情報を用いて3Dレンダリング動作を実行することによって3Dマルチチャネル信号を生成する。
【0084】
図13は、本発明の第8実施例によるオーディオデコーディング装置220を示すブロック図である。図13を参照すると、オーディオデコーディング装置220は、トランスコーディング部225がチャネルベース付加情報と3D情報を個別にマルチチャネルデコーディング部223に転送するという点で、図12に示すオーディオデコーディング装置210と異なる。言い換えると、オーディオデコーディング装置210のトランスコーディング部215は、3D情報を含むチャネルベース付加情報をマルチチャネルデコーディング部213に転送する一方、オーディオデコーディング装置220のトランスコーディング部225はN個のオブジェクト信号に関するオブジェクトベースパラメータ情報からM個のチャネルに関するチャネルベース付加情報を得、N個のオブジェクト信号のそれぞれに適用された3D情報をマルチチャネルデコーディング部223に転送する。
【0085】
図14を参照すると、チャネルベース付加情報及び3D情報は、複数のフレームインデックスなどを含むことができる。したがって、マルチチャネルデコーディング部223は、3D情報及びチャネルベース付加情報のそれぞれのフレームインデックスを参照した3D情報及びチャネルベース付加情報を同期化することができ、よって、3D情報を、3D情報に対応するビットストリームのフレームに適用することができる。例えば、インデックス2を持つ3D情報は、インデックス2を持つフレーム2の始部に適用することができる。
【0086】
チャネルベース付加情報及び3D情報はいずれもフレームインデックスを含むので、3D情報が時間を超過して更新されても、3D情報の適用されるチャネルベース付加情報の時間的位置を効果的に決定することができる。言い換えると、トランスコーディング部225は、チャネルベース付加情報中に複数のフレームインデックス及び3D情報を含み、よって、マルチチャネルデコーディング部223はチャネルベース付加情報と3D情報を容易に同期化することができる。
【0087】
ダウンミックスプロセシング部231、トランスコーディング部235、レンダリング部237及び3D情報データベースは、単一モジュール239にしても良い。
【0088】
図15は、本発明の第9実施例によるオーディオデコーディング装置230を示すブロック図である。図15を参照すると、オーディオデコーディング装置230は、ダウンミックスプロセシング部231をさらに含むという点で、図14に示すオーディオデコーディング装置220と区別される。
【0089】
より詳細には、オーディオデコーディング装置230は、トランスコーディング部235、レンダリング部237、3D情報データベース239、マルチチャネルデコーディング部233及びダウンミックスプロセシング部231を含む。トランスコーディング部235、レンダリング部237、3D情報データベース239及びマルチチャネルデコーディング部233は、図14におけるそれらとそれぞれ同一である。ダウンミックスプロセシング部231は、位置調節のためにステレオダウンミックス信号に前処理動作を実行する。3D情報データベース239はレンダリング部237と統合することができる。予め定められた効果をダウンミックス信号に適用するためのモジュールもこのオーディオデコーディング装置230内に組み込むことができる。
【0090】
図16は、本発明の第10実施例によるオーディオデコーディング装置240を示すブロック図である。図16を参照すると、オーディオデコーディング装置240は、多点制御部コンバイナ241を含むという点で、図15に示すオーディオデコーディング装置230と区別される。
【0091】
すなわち、オーディオデコーディング装置230と同様に、オーディオデコーディング装置240は、ダウンミックスプロセシング部243、マルチチャネルデコーディング部244、トランスコーディング部245、レンダリング部247及び3D情報データベース249を含む。多点制御部コンバイナ241は、オブジェクトベースエンコーディングによって得た複数のビットストリームを結合して単一のビットストリームを得る。例えば、第1オーディオ信号のための第1ビットストリームと第2オーディオ信号のための第2ビットストリームが入力される場合、多点制御部コンバイナ241は、第1ビットストリームから第1ダウンミックス信号を抽出し、第2ビットストリームから第2ダウンミックス信号を抽出した後、第1及び第2ダウンミックス信号を結合させることによって第3ダウンミックス信号を生成する。なお、多点制御部コンバイナ241は、第1ビットストリームから第1オブジェクトベース付加情報を抽出し、第2ビットストリームから第2オブジェクトベース付加情報を抽出した後、第1オブジェクトベース付加情報と第2オブジェクトベース付加情報とを結合させることによって第3オブジェクトベース付加情報を生成する。その後、多点制御部コンバイナ241は、第3ダウンミックス信号と第3オブジェクトベース付加情報とを結合させることによってビットストリームを生成し、生成されたビットストリームを出力する。
【0092】
したがって、各オブジェクト信号をエンコーディングまたはデコーディングする場合に比べて、本発明の第10実施例によると、2以上の通信相手より転送された信号まで効果的に処理することが可能になる。
【0093】
多点制御部コンバイナ241が、複数のビットストリームから個別に抽出され、他の圧縮コーデックで結合された複数のダウンミックス信号を単一のダウンミックス信号内に統合するようにするために、これらのダウンミックス信号は、ダウンミックス信号の圧縮コーデックの種類によって予め定められた周波数ドメインの信号またはパルスコード変調(PCM;pulse code modulation)信号に変換する必要があり、この変換によって得た信号またはPCM信号は共に結合する必要があり、この結合によって得られた信号は、予め定められた圧縮コーデックを用いて変換する必要がある。この場合に、ダウンミックス信号が予め定められた周波数ドメインの信号またはPCM信号に統合されるか否かによって遅延が発生しうる。しかし、遅延はデコーディング部によって正確に推定することができない。したがって、遅延はビットストリームに含まれ、ビットストリームと共に転送する必要がある。遅延は、PCM信号内の遅延サンプルの数または予め定められた周波数ドメイン内の遅延サンプルの数を表す。
【0094】
一般的なマルチチャネルコーディング動作(例えば、5.1チャネルまたは7.1チャネルコーディング動作)中に一般的に処理された入力信号の数に比べてオブジェクトベースオーディオコーディング動作中に多くの入力信号が時々処理されるべき場合がる。したがって、オブジェクトベースオーディオコーディング方法は、一般的なチャネルベースマルチチャネルオーディオコーディング方法に比べてより高いビットレートを必要とする。しかし、オブジェクトベースオーディオコーディング方法は、チャネル信号よりも少ない数のオブジェクト信号の処理を含むから、オブジェクトベースオーディオコーディング方法を用いて動的な出力信号を生成することが可能である。
【0095】
以下、本発明の一実施例によるオーディオエンコーディング方法を、図17乃至図20を参照して詳細に説明する。
【0096】
オブジェクトベースオーディオエンコーディング方法において、オブジェクト信号は、人の声または楽器の音のような個別の音を表すように定義することができる。また、弦楽器(例えば、バイオリン、ヴィオラ及びチェロ)の音のような類似の特性を持つ音、同一周波数バンドを持つ音またはこれら音源の方向及び角度によって同一カテゴリーに分類される音は一緒にグルーピングすることができ、同一オブジェクト信号によって定義することができる。また、オブジェクト信号は上記の方法の組合せを用いて定義することができる。
【0097】
複数のオブジェクト信号は、ダウンミックス信号及び付加情報として転送することができる。転送される情報が生成される間に、ダウンミックス信号またはダウンミックス信号の複数のオブジェクト信号のそれぞれのエネルギまたはパワーは、ダウンミックス信号のエンベロープを検出する目的で最初から計算される。この計算の結果は、オブジェクト信号またはダウンミックス信号を転送するのに用いられたり、オブジェクト信号のレベルの比を計算するのに用いることができる。
【0098】
線形予測コーディング(LPC;linear predictive coding)アルゴリズムを、ビットレートをより下げるのに用いることができる。より詳細には、信号のエンベロープを表す多くのLPC係数は信号の分析を通じて生成され、信号に関するエンベロープ情報を転送する代わりにLPC係数が転送される。この方法は、ビットレートにおいて効果的である。しかし、これらLPC係数は信号の実際エンベロープから非常にずれやすいため、この方法は誤り訂正のような追加プロセスを必要とする。要するに、信号のエンベロープ情報を転送することを含む方法は、高音質を保障することはできるが、転送されるべき情報量が相当増加してしまう。一方、LPC係数の利用を含む方法は、転送されるへぎ情報量を低減することはできるが、誤り訂正のような追加的なプロセスが必要とされ、音質低下を招く。
【0099】
本発明の一実施例によって、これらの方法の組合せを用いることができる。言い換えると、信号のエンベロープは、信号のパワーまたはエネルギまたはインデックス値または信号のパワーまたはエネルギに対応するLPC係数のような他の値で表現することができる。
【0100】
信号に関するエンベロープ情報は、時間セクションまたは周波数セクションのユニットで得ることができる。より詳細には、図17を参照すると、信号に関するエンベロープ情報は、フレームユニットで得ることができる。また、信号がQMF(quadrature mirror filter)バンクのようなフィルタバンクを用いて周波数バンド構造で表現されるとしたら、信号に関するエンベロープ情報は、周波数サブバンド、周波数サブバンドよりも小さい個体である周波数サブバンドパーティション、周波数サブバンドのグループまたは周波数サブバンドパーティションのグループのユニットで得られる。また、フレームベースの方法、周波数サブバンドベースの方法及び周波数サブバンドパーティションベースの方法の組合せを本発明の範囲内で用いることができる。
【0101】
また、信号の低周波成分が信号の高周波成分よりも一般的により多くの情報を持つとすれば、信号の低周波成分と関連したエンベロープ情報はそれ自体のまま転送することができるが、信号の高周波成分に関するエンベロープ情報はLPC係数または他の値で表現することができ、信号の高周波成分に関するエンベロープ情報の代わりにLPC係数または他の値を転送することができる。しかし、信号の低周波成分が必ずしも信号の高周波成分よりも多い情報を持つというわけではない。したがって、上記の方法は、環境によって柔軟に適用すれば良い。
【0102】
本発明の実施例によって、時間/周波数軸上にドミナントとして現れる信号の一部(以下、主要部という。)に対応するインデックスデータまたはエンベロープ情報は転送することができ、信号のドミナントでない部分に対応するインデックスデータ及びエンベロープ情報はいずれも転送しなくても良い。また、信号のドミナント部分のエネルギ及びパワーを表す値(例えば、LPC係数)を転送することができ、信号のドミナントでない部分に対応するかかる値は転送しなくても良い。また、信号のドミナント部分に対応するインデックスデータまたはエンベロープ情報は転送することができ、信号のドミナントでない部分のエネルギまたはパワーを表す値も転送しても良い。また、信号のドミナントでない部分が信号のドミナント部分に関する情報に基づいて推定されるように、信号のドミナント部分にのみ関連した情報を転送しても良い。また、上記の方法の組合せを用いても良い。
【0103】
例えば、図18を参照すると、信号がドミナント期間とドミナントでない期間とに分けられる場合は、信号に関する情報は(a)乃至(d)で表記された通り、4つの異なる方法で転送することができる。
【0104】
ダウンミックス信号及び付加情報の組合せとして複数のオブジェクト信号を転送するために、デコーディング動作の一部として、例えば、オブジェクト信号のレベルの比を考慮し、ダウンミックス信号は複数の成分に分けられるように要求される。ダウンミックス信号の成分間の独立性を保障するために、デコリレーション動作がさらに実行される必要がある。
【0105】
オブジェクトベースコーディング方法においてコーディングユニットであるオブジェクト信号は、マルチチャネルコーディング方法においてコーディングユニットであるチャネル信号よりも独立的である。言い換えると、チャネル信号は、オブジェクト信号を含むから、デコリレートする必要がある。これに対し、オブジェクト信号は互いに独立しており、よって、チャネル分離が、デコリレーション動作を要求することなく、単純にオブジェクト信号の特性を用いて容易に実行することができる。
【0106】
より詳細には、図19を参照すると、オブジェクト信号A、B及びCは、周波数軸上にドミナントとして順に現れる。この場合に、オブジェクト信号A、B及びCのレベルの比によってダウンミックス信号を多くの信号に分け、デコリレーションを行う必要がない。その代わりに、オブジェクト信号A、B及びCのドミナント期間に関する情報が転送されたり、利得値がオブジェクト信号A、B及びCのそれぞれの各周波数成分に適用され、デコリレーションをスキップすることができる。これにより、計算量の低減が可能となり、デコリレーションに必要な付加情報によって要求されうる量のビットレートを減らすことが可能となる。
【0107】
要するに、ダウンミックス信号のオブジェクト信号の比によってダウンミックス信号を分けて得られた複数の信号間の独立性を保障すべく実行されるデコリレーションをスキップする目的で、各オブジェクト信号を含む周波数ドメインに関する情報を付加情報として転送することができる。また、相異なる利得値が、各オブジェクト信号がドミナントとして現れる期間であるドミナント期間、及び各オブジェクト信号がより少なくドミナントとして現れる期間であるドミナントでない期間に適用することができ、したがって、ドミナント期間に関する情報は付加情報として主に提供することができる。また、このドミナント期間に関する情報は、付加情報として転送することができ、ドミナントでない期間に関する情報は転送されなくても良い。なお、デコリレーション方法の代案として上述された方法の組合せを用いても良い。
【0108】
デコリレーション方法の代案である上記の方法は、全てのオブジェクト信号または容易に区別可能なドミナント期間を持つ一部のオブジェクト信号にのみ適用することができる。また、デコリレーション方法の代案である上記の方法は、フレームのユニットに可変的に適用することができる。
【0109】
以下、残余信号を用いたオブジェクトオーディオ信号のエンコーディングについて詳細に説明する。
【0110】
一般に、オブジェクトベースオーディオコーディング方法において、複数のオブジェクト信号がエンコーディングされ、これらエンコーディングの結果がダウンミックス信号と付加情報との組合せとして転送される。続いて、複数のオブジェクト信号が付加情報によってデコーディングを通じてダウンミックス信号から復元され、これら復元されたオブジェクト信号が、例えば、制御情報によって利用者の要請に応じて適切に混合され、最終チャネル信号が生成される。オブジェクトベースオーディオコーディング方法は、ミキサを用いて制御情報によって出力チャネル信号を自由に変えるのを一般的な目標としている。しかし、オブジェクトベースオーディオコーディング方法は、制御情報によらず、予め定義された方法でチャネル出力を生成するのに用いても良い。
【0111】
このため、付加情報は、ダウンミックス信号から複数のオブジェクト信号を得るのに必要な情報だけでなく、チャネル信号を生成するのに必要なミキシングパラメータ情報を含むことができる。したがって、ミキサを用いずに最終チャネル出力信号を生成することが可能である。この場合、残余コーディングのようなアルゴリズムを、音質を向上させるために用いることができる。
【0112】
一般的な残余コーディング方法は、信号をコーディングし、コーディングされた信号と元の信号間の誤り、すなわち残余信号をコーディングすることを含む。デコーディング動作の間に、コーディングされた信号は、該コーディングされた信号と元の信号間の誤りを補償すると同時にデコーディングされ、これにより、可能な限り元の信号と類似の信号を復元する。コーディングされた信号と元の信号間の誤りは通常少ないので、残余コーディングを実行するのに追加的に必要な情報の量を減らすことが可能である。
【0113】
デコーディング部の最終チャネル出力が固定される場合には、最終チャネル信号を生成するのに必要なミキシングパラメータ情報だけでなく残余コーディング情報を付加情報として提供することができる。この場合、音質を向上させることが可能である。
【0114】
図20は、本発明の一実施例によるオーディオエンコーディング装置310を示すブロック図である。図20を参照すると、オーディオエンコーディング装置310は、残余信号を用いることに特徴がある。
【0115】
より詳細には、オーディオエンコーディング装置310は、エンコーディング部311、デコーディング部313、第1ミキサ315、第2ミキサ319、加算器317及びビットストリーム生成器321を含む。
【0116】
第1ミキサ315は、元の信号にミキシング動作を実行し、第2ミキサ319は、エンコーディング動作を実行することによって得られた信号にミキシング動作を実行し、続いて元の信号にデコーディング動作を実行する。加算器317は、第1ミキサ315より出力された信号と第2ミキサ319より出力された信号間の残余信号を計算する。ビットストリーム生成器321は、付加情報に残余信号を加え、その結果を転送する。この方法で、音質を向上させることができる。
【0117】
残余信号の計算は、信号の全ての部分にまたは信号の低周波数部分にのみ適用することができる。また、残余信号の計算は、フレーム対フレームに基づくドミナント信号を含む周波数ドメインにのみ可変的に適用しても良い。また、上記の方法の組合せを用いても良い。
【0118】
残余信号情報を含む付加情報の量が、残余信号情報を含まない付加情報の量よりも多いため、残余信号の計算は、音質に直接影響を与える信号の一部分にのみ適用することができ、これにより、ビットレートの過度な増加を抑止することができる。
【0119】
本発明は、コンピュータが読取り可能な記録媒体上に書き込まれた、コンピュータが読取り可能なコードとして実現することができる。コンピュータが読取り可能な記録媒体は、コンピュータが読取り可能な方法でデータが記憶される記録装置の1つとすることができる。コンピュータが読取り可能な記録媒体の例には、ROM、RAM、CD−ROM、磁気テープ、フロッピー(登録商標)ディスク、光学データ記憶装置及びキャリアウェーブ(例えば、インターネットを通じたデータ転送)が含まれる。コンピュータが読取り可能な記録媒体は、コンピュータが読取り可能なコードがそこに書き込まれ、分散された方法でそこから実行されるように、ネットワークに連結された複数のコンピュータシステムに分配することができる。本発明を実現するのに必要な機能的プログラム、コード、コード断片は、この分野における通常の知識を持つ者によって容易に解析することができる。
【0120】
本発明によると、オブジェクトベースオーディオエンコーディング及びデコーディング方法の利点によって、音像が各オブジェクトオーディオ信号に対して定位する。その結果、オブジェクトオーディオ信号の再生を通じてより実際的な音を提供することが可能になる。なお、本発明は双方向ゲームに適用することができ、利用者にとってはより現実的な仮想現実経験が可能になる。
【0121】
以上では好適な実施例を挙げて本発明を説明してきたが、説明及び形態における様々な変形が、請求の範囲に定義された本発明の範囲及び思想を逸脱しない限度内で可能であることは、当該分野における通常の知識を持つ者にとっては自明である。
【技術分野】
【0001】
本発明は、各オブジェクトオーディオ信号に対して所定の位置に音像が定位できるようにしたオーディオエンコーディング方法及びその装置並びにオーディオデコーディング方法及びその装置に関する。
【背景技術】
【0002】
一般に、マルチチャネルオーディオエンコーディング及びデコーディング技術において、マルチチャネル信号の多チャネル信号は、より少ない数のチャネル信号にダウンミックスされ、元のチャネル信号に関する付加情報が転送され、元のマルチチャネル信号と同一な程度の多チャネルを持つマルチチャネル信号に復元される。
【0003】
オブジェクトベースオーディオエンコーディング及びデコーディング技術は、数個の音源をより少ない数の音源信号にダウンミックスし、元の音源に関する付加情報を転送する点で、マルチチャネルオーディオエンコーディング及びデコーディング技術と基本的に同様である。しかし、オブジェクトベースオーディオエンコーディング及びデコーディング技術において、チャネル信号の基本的な成分(例えば、楽器または人の声)であるオブジェクト信号は、マルチチャネルオーディオエンコーディング及びデコーディング技術のチャネル信号と同様に取り扱ってコーディングすることができる。
【0004】
すなわち、オブジェクトベースオーディオエンコーディング及びデコーディング技術では、各オブジェクト信号はコーディングされる個体と見なされる。これに関連して、マルチチャネルオーディオコーディング動作が、コーディングされるチャネル信号の成分の数によらずチャネル間情報に基づいて簡単に実行されるという点で、オブジェクトベースオーディオエンコーディング及びデコーディング技術はマルチチャネルオーディオエンコーディング及びデコーディング技術と異なる。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明の目的は、各オブジェクトオーディオ信号に対して所定の位置に音像が定位することができるように、オーディオ信号をエンコーディングまたはデコーディングするオーディオエンコーディング方法及びその装置並びにオーディオデコーディング方法及びその装置を提供することにある。
【課題を解決するための手段】
【0006】
本発明の一態様によれば、オーディオ信号からオブジェクトベース付加情報及びダウンミックス信号を抽出し、前記ダウンミックス信号をレンダリングするための制御情報及びオブジェクトベース付加情報に基づいてチャネルベース付加情報を生成し、デコリレートされたチャネル信号を用いて前記ダウンミックス信号を処理し、前記処理されたダウンミックス信号及び前記チャネルベース付加情報を用いてマルチチャネルオーディオ信号を生成する、オーディオデコーディング方法が提供される。
【0007】
本発明の他の態様によれば、オーディオ信号からオブジェクトベース付加情報及びダウンミックス信号を抽出するデマルチプレクサと、前記ダウンミックス信号をレンダリングするための制御情報及びオブジェクトベース付加情報に基づいてチャネルベース付加情報を生成するパラメータコンバーティング部と、前記ダウンミックス信号がステレオダウンミックス信号である場合、デコリレートされたダウンミックス信号によって前記ダウンミックス信号を修正するダウンミックスプロセシング部と、前記ダウンミックスプロセシング部及び前記チャネルベース付加情報によって得た修正されたダウンミックス信号を用いてマルチチャネルオーディオ信号を生成するマルチチャネルデコーディング部と、を含むオーディオデコーディング装置が提供される。
【0008】
本発明のさらに他の態様によれば、オーディオ信号からオブジェクトベース付加情報及びダウンミックス信号を抽出し、前記ダウンミックス信号をレンダリングするための制御情報及びオブジェクトベース付加情報に基づいて1つ以上のプロセシングパラメータ及びチャネルベース付加情報を生成し、前記チャネルベース付加情報及び前記ダウンミックス信号を用いてマルチチャネルオーディオ信号を生成し、前記プロセシングパラメータを用いて前記マルチチャネルオーディオ信号を修正する、オーディオデコーディング方法が提供される。
【0009】
本発明のさらに他の態様によれば、オーディオ信号からオブジェクトベース付加情報及びダウンミックス信号を抽出するデマルチプレクサと、前記ダウンミックス信号をレンダリングするための制御情報及びオブジェクトベース付加情報に基づいて1つ以上のプロセシングパラメータ及びチャネルベース付加情報を生成するパラメータコンバーティング部と、前記チャネルベース付加情報及び前記ダウンミックス信号を用いてマルチチャネルオーディオ信号を生成するマルチチャネルデコーディング部と、前記プロセシングパラメータを用いて前記マルチチャネルオーディオ信号を修正するチャネルプロセシング部と、を含むオーディオデコーディング装置が提供される。
【0010】
本発明のさらに他の態様によれば、オーディオ信号からオブジェクトベース付加情報及びダウンミックス信号を抽出し、前記ダウンミックス信号をレンダリングするための制御情報及びオブジェクトベース付加情報に基づいてチャネルベース付加情報を生成し、デコリレートされたチャネル信号を用いて前記ダウンミックス信号を処理し、前記チャネルベース付加情報及びスワッピングによって得た前記処理されたダウンミックス信号を用いてマルチチャネルオーディオ信号を生成する、オーディオデコーディング方法を記録した、コンピュータ読取可能記録媒体が提供される。
【0011】
本発明のさらに他の態様によれば、オーディオ信号からオブジェクトベース付加情報及びダウンミックス信号を抽出し、前記ダウンミックス信号をレンダリングするための制御情報及びオブジェクトベース付加情報に基づいて1つ以上のプロセシングパラメータ及びチャネルベース付加情報を生成し、前記チャネルベース付加情報及び前記ダウンミックス信号を用いてマルチチャネルオーディオ信号を生成し、前記プロセシングパラメータを用いて前記マルチチャネルオーディオ信号を修正する、オーディオデコーディング方法を記録した、コンピュータ読取可能記録媒体が提供される。
【発明の効果】
【0012】
各オブジェクトオーディオ信号に対して所定の位置に音像が位置できるようにオーディオ信号をエンコーディングまたはデコーディングすることができるオーディオエンコーディング方法及びその装置並びにオーディオデコーディング方法及びその装置を提供することが可能になる。
【図面の簡単な説明】
【0013】
【図1】一般的なオブジェクトベースオーディオエンコーディング/デコーディングシステムを示すブロック図である。
【図2】本発明の第1実施例によるオーディオデコーディング装置を示すブロック図である。
【図3】本発明の第2実施例によるオーディオデコーディング装置を示すブロック図である。
【図4】互いに独立した振幅差及び時間差の音像の定位への影響を説明するためのグラフである。
【図5】予め定められた位置に音像を位置させるのに要求される振幅差及び時間差間の対応に関する関数のグラフである。
【図6】調和情報を含む制御情報のフォーマットを示す図である。
【図7】本発明の第3実施例によるオーディオデコーディング装置を示すブロック図である。
【図8】図7に示すオーディオデコーディング装置に用いられうるアーティスティックダウンミックスゲイン(ADG;artistic downmix gain)を示すブロック図である。
【図9】本発明の第4実施例によるオーディオデコーディング装置を示すブロック図である。
【図10】本発明の第5実施例によるオーディオデコーディング装置を示すブロック図である。
【図11】本発明の第6実施例によるオーディオデコーディング装置を示すブロック図である。
【図12】本発明の第7実施例によるオーディオデコーディング装置を示すブロック図である。
【図13】本発明の第8実施例によるオーディオデコーディング装置を示すブロック図である。
【図14】図13に示すオーディオデコーディング装置によるフレームへの3次元(3D)情報の適用を説明するための図である。
【図15】本発明の第9実施例によるオーディオデコーディング装置を示すブロック図である。
【図16】本発明の第10実施例によるオーディオデコーディング装置を示すブロック図である。
【図17】本発明の一実施例によるオーディオデコーディング方法を説明するための図である。
【図18】本発明の一実施例によるオーディオデコーディング方法を説明するための図である。
【図19】本発明の一実施例によるオーディオデコーディング方法を説明するための図である。
【図20】本発明の一実施例によるオーディオエンコーディング装置を示すブロック図である。
【発明を実施するための形態】
【0014】
以下、図面を参照しながら本発明の例示的な実施例を用いて本発明について詳細に説明する。
【0015】
本発明によるオーディオエンコーディング方法及びその装置並びにオーディオデコーディング方法及びその装置は、オブジェクトベースオーディオ処理動作に適用することができるが、本発明はこれに限定されるものではない。言い換えると、本発明によるオーディオエンコーディング方法及びその装置並びにオーディオデコーディング方法及びその装置は、オブジェクトベースオーディオ処理動作の他、数多くの信号処理動作に適用することもできる。
【0016】
図1は、一般のオブジェクトベースオーディオエンコーディング/デコーディングシステムを示すブロック図である。一般に、オブジェクトベースオーディオエンコーディング装置に入力されたオーディオ信号は、マルチチャネル信号のチャネルと一致しないが、独立したオブジェクト信号である。この点で、オブジェクトベースオーディオエンコーディング装置は、マルチチャネル信号のチャネル信号が入力されるマルチチャネルオーディオエンコーディング装置と区別される。
【0017】
例えば、5.1チャネル信号のフロントレフトチャネル信号及びフロントライトチャネル信号のようなチャネル信号は、マルチチャネルオーディオ信号に入力することができるのに対し、チャネル信号よりも小さい個体(entity)である人の声または楽器の音(バイオリンまたはピアノの音)のようなオブジェクトオーディオ信号は、オブジェクトベースオーディオエンコーディング装置に入力することができる。
【0018】
図1を参照すると、オブジェクトベースオーディオエンコーディング/デコーディングシステムは、オブジェクトベースオーディオエンコーディング装置及びオブジェクトベースオーディオデコーディング装置を含む。オブジェクトベースオーディオエンコーディング装置は、オブジェクトエンコーディング部100を含み、オブジェクトベースオーディオデコーディング装置は、オブジェクトデコーディング部111及びレンダリング部113を含む。
【0019】
オブジェクトエンコーディング部100は、N個のオブジェクトオーディオ信号を受信し、エネルギ差、位相差及び相関値のようなN個のオブジェクトオーディオ信号から抽出された多数の情報を含む付加情報及び1つ以上のチャネルを持つオブジェクトベースダウンミックス信号を生成する。付加情報及びオブジェクトベースダウンミックス信号は1つのビットストリームに統合され、このビットストリームはオブジェクトベースデコーディング装置に転送される。
【0020】
付加情報は、チャネルベースオーディオコーディングを実行するか或いはオブジェクトベースオーディオコーディングを実行するかを表すフラッグを含むことができ、この付加情報のフラッグに基づいてオブジェクトベースオーディオコーディングを実行するかチャネルベースオーディオコーディングを実行するかを決定することができる。この付加情報は、オブジェクト信号に関するエンベロープ情報、グルーピング情報、無音期間情報及び遅延情報も含むことができる。付加情報は、オブジェクトレベル差情報、オブジェクト間相互相関情報、ダウンミックス利得情報、ダウンミックスチャネルレベル差情報及び絶対的オブジェクトエネルギ情報を含むことができる。
【0021】
オブジェクトデコーディング部111は、オブジェクトベースオーディオエンコーディング装置から付加情報及びオブジェクトベースダウンミックス信号を受信し、オブジェクトベースダウンミックス信号及び付加情報に基づいてN個のオブジェクトオーディオ信号の特性と同一の特性を持つオブジェクト信号を復元する。オブジェクトデコーディング部111により生成されたオブジェクト信号は、マルチチャネル空間内の所定の位置にまだ割り当てられていない。したがって、レンダリング部113は、オブジェクトデコーディング部111により生成されたオブジェクト信号のそれぞれを、マルチチャネル空間内の予め定められた位置に割り当て、オブジェクト信号のレベルを決定し、これにより、レンダリング部113により指定されたそれぞれの対応する位置からオブジェクト信号がレンダリング部113により決定されたそれぞれの対応するレベルで再生されるようにする。オブジェクトデコーディング部111により生成されたオブジェクト信号のそれぞれに関する制御情報は、オーバータイムを変えることができるので、オブジェクトデコーディング部111により生成されたオブジェクト信号のレベル及び空間位置は制御情報によって変わりうる。
【0022】
図2は、本発明の第1実施例によるオーディオデコーディング装置120を示すブロック図である。図2を参照すると、オーディオデコーディング装置120は、オブジェクトデコーディング部121、レンダリング部123及びパラメータコンバーティング部125を含む。オーディオデコーディング装置120は、入力されたビットストリームからの付加情報及びダウンミックス信号を抽出するデマルチプレクサ(図示せず)を含んでも良く、これは、本発明の他の実施例によるオーディオデコーディング装置のいずれにも適用することができる。
【0023】
オブジェクトデコーディング部121は、パラメータコンバーティング部125により提供された修正された付加情報及びダウンミックス信号に基づいて多くのオブジェクト信号を生成する。レンダリング部123は、マルチチャネル空間内の予め定められた位置に、オブジェクトデコーディング部121により生成されたオブジェクト信号のそれぞれを割り当て、制御情報によってオブジェクトデコーディング部121により生成されたオブジェクト信号のレベルを決定する。パラメータコンバーティング部125は、付加情報と制御情報とを結合させることによって修正された付加情報を生成する。続いて、パラメータコンバーティング部125は、修正された付加情報をオブジェクトデコーディング部121に転送する。
【0024】
オブジェクトデコーディング部121は、修正された付加情報中の制御情報を分析することによって適切なデコーディングを実行することができる。
【0025】
例えば、第1オブジェクト信号及び第2オブジェクト信号がマルチチャネル空間内の同一位置に割り当てられ且つ同一レベルを持つということを制御情報が表すと、一般のオーディオデコーディング装置は、第1及び第2オブジェクト信号を個別にデコーディングでき、続いてミキシング/レンダリング動作を通じてマルチチャネル空間内にそれらを配置することができる。
【0026】
これに対し、オーディオデコーディング装置120のオブジェクトデコーディング部121は、修正された付加情報中の制御情報から、第1及び第2オブジェクト信号がマルチチャネル空間内の同一位置に割り当てられ、これらが1つの音源のように同一レベルを持つということがわかる。したがって、オブジェクトデコーディング部121は、第1及び第2オブジェクト信号を個別にデコーディングせずに、1つの音源として取扱ってデコーディングする。その結果、デコーディングの複雑度は減少する。しかも、処理されるべき音源数の減少によって、ミキシング/レンダリングの複雑度も減少する。
【0027】
複数のオブジェクト信号が同一空間位置に割り当てられることは殆どないので、オーディオデコーディング装置120は、オブジェクト信号の数を出力チャネルの数よりも多い状況で有用に用いることができる。
【0028】
また、オーディオデコーディング装置120は、第1オブジェクト信号及び第2オブジェクト信号がマルチチャネル空間内の同一位置に割り当てられるが、異なるレベルを持つ状況で用いることができる。この場合、オーディオデコーディング装置120は、第1及び第2オブジェクト信号を個別にデコーディングし、デコーディングされた第1及び第2オブジェクト信号をレンダリング部123に転送する代わりに、第1及び第2オブジェクト信号を1つとして取扱って第1及び第2オブジェクト信号をデコーディングする。より詳細には、オブジェクトデコーディング部121は、修正された付加情報中の制御情報から第1及び第2オブジェクト信号のレベル間の差に関する情報を獲得でき、獲得された情報に基づいて第1及び第2オブジェクト信号をデコーディングすることができる。その結果、第1及び第2オブジェクト信号が異なるレベルを持つ場合であっても、第1及び第2オブジェクト信号は1つの音源のようにデコーディングすることができる。
【0029】
また、オブジェクトデコーディング部121は、制御情報によってオブジェクトデコーディング部121により生成されたオブジェクト信号のレベルを調節できる。続いて、オブジェクトデコーディング部121は、レベル調節されたオブジェクト信号をデコーディングすることができる。したがって、レンダリング部123は、オブジェクトデコーディング部121から供給されたデコーディングされたオブジェクト信号のレベルを調節する必要はなく、単に、オブジェクトデコーディング部121から供給されたデコーディングされたオブジェクト信号をマルチチャネル空間内に配置する。要するに、オブジェクトデコーディング部121が制御情報によってオブジェクトデコーディング部121で生成されたオブジェクト信号のレベルを調節するので、オブジェクトデコーディング部121により生成されたオブジェクト信号のレベルをさらに調節する必要が無く、レンダリング部123は、オブジェクトデコーディング部121により生成されたオブジェクト信号をマルチチャネル空間内に容易に配置することができる。したがって、ミキシング/レンダリングの複雑度を減少させることが可能になる。
【0030】
図2の実施例によれば、オーディオデコーディング装置120のオブジェクトデコーディング部は、制御情報の分析を通じてデコーディング動作を適切に実行することによって、デコーディングの複雑度及びミキシング/レンダリングの複雑度を減少させることができる。オーディオデコーディング装置120により実行された上記の方法の組合せを用いることができる。
【0031】
図3は、本発明の第2実施例によるオーディオデコーディング装置130を示すブロック図である。図3を参照すると、オーディオデコーディング装置130は、オブジェクトデコーディング部131及びレンダリング部133を含む。オーディオデコーディング装置130は、付加情報をオブジェクトデコーディング部131だけでなくレンダリング部133にも供給するという特徴を有する。
【0032】
オーディオデコーディング装置130は、無音期間に相応するオブジェクト信号がある場合にもデコーディング動作を効果的に実行することができる。例えば、第2乃至第4オブジェクト信号は、楽器が演奏される間の音楽演奏期間に対応することができ、第1オブジェクト信号は伴奏が演奏される間の無音期間に対応することができる。この場合、複数のオブジェクト信号のいずれかが無音期間に対応するかを表す情報を付加情報に含むことができ、この付加情報は、オブジェクトデコーディング部131だけでなくレンダリング部133にも供給することができる。
【0033】
オブジェクトデコーディング部131は、無音期間に対応するオブジェクト信号をデコーディングしないことによってデコーディングの複雑度を最小化することができる。オブジェクトデコーディング部131は、0値に対応するオブジェクト信号を設定し、このオブジェクト信号のレベルをレンダリング部133に転送する。通常、0値を持つオブジェクト信号は0でない値を持つオブジェクト信号と同様に取り扱われてミキシング/レンダリング動作が行われることがある。
【0034】
これに対し、オーディオデコーディング装置130は、複数のオブジェクト信号のいずれかが無音期間に相応するかを表す情報を含む付加情報をレンダリング部133に転送するため、無音期間に対応するオブジェクト信号がレンダリング部133でミキシング/レンダリングされるのを防ぐことができる。したがって、オーディオデコーディング装置130は、ミキシング/レンダリングの余分な複雑度の増加を防止することができる。
【0035】
レンダリング部133は、ステレオ場面に各オブジェクト信号の音像を定位させる目的で、制御情報中に含まれたミキシングパラメータ情報を用いることができる。ミキシングパラメータ情報は、振幅情報のみを含んだり、振幅情報及び時間情報の両方を含むことができる。ミキシングパラメータ情報は、ステレオ音像の定位の他に、利用者による空間音質の心理音響認知にも影響を及ぼすことができる。
【0036】
例えば、時間パンニング方法及び振幅パンニング方法のそれぞれを用いて生成され、2−チャネルステレオスピーカを用いて同一位置に再生された2つの音像を比較すると、振幅パンニング方法が音像の正確な定位に寄与し、時間パンニング方法が空間の深い感じを持つ自然な音を提供することが分かる。したがって、マルチチャネル空間にオブジェクト信号を配置する上でレンダリング部133が振幅パンニング方法のみを利用するとすれば、レンダリング部133は、各音像を正確に配置することはできるが、時間パンニング方法を利用する場合のように音の奥深い感じを提供することはできない。利用者は、音源の種類によって音像の正確な定位よりも音の奥深い感じを好む場合もあり、その反対の場合もある。
【0037】
図4(a)及び図4(b)では、2−チャネルステレオスピーカで信号の再生を実行する際に、音像の定位上の時間差及び強度(振幅差)の影響を説明する。図4(a)及び図4(b)を参照すると、音像は互いに独立した振幅差及び時間差によって予め定められた角度に位置することができる。例えば、約8dBの振幅差、または約8dBの振幅差と等価である約0.5msの時間差を、20゜の角度に音像を定位させるために用いることができる。したがって、振幅差のみがミキシングパラメータ情報として提供される場合であっても、音像の定位の間に、振幅差を該振幅差と等価である時間差に変換することによって、異なる特性を持つ様々な音を得ることが可能である。
【0038】
図5は、10゜、20゜及び30゜の角度に音像を定位させるのに必要な振幅差と時間差間の対応に関する関数を示す。図5に示す関数は、図4(a)及び図4(b)に基づいて得ることができる。図5を参照すると、様々な振幅差−時間差の組合せが、予め定められた位置に音像を定位させるために提供することができる。例えば、20゜の角度に音像を定位させるために8dBの振幅差がミキシングパラメータ情報として提供されると仮定する。図5に示す関数によって、また3dBの振幅差と0.3msの時間差の組合せを用いて音像は20゜の角度に位置することができる。この場合、振幅差情報だけでなく時間差情報がミキシングパラメータ情報として提供されることができ、これによって空間の感じ(feeling of space)を向上させることができる。
【0039】
したがって、ミキシング/レンダリング動作の間に利用者の所望する特性を持つ音を生成すべく、ミキシングパラメータ情報は、振幅パンニングと時間パンニングのうち、利用者に適しているいずれかが実行されうるように適切に変換することができる。すなわち、ミキシングパラメータ情報が振幅差情報のみを含み、利用者が空間の奥深い感じを持つ音を希望する場合には、振幅差情報は心理音響的データを参照して振幅差情報と等価である時間差情報に変換することができる。また、利用者が空間の奥深い感じを持つ音及び音像の正確な定位を希望する場合には、振幅差情報は、元来の振幅情報と等価である時間差情報と振幅差情報の組合せに変換することができる。
【0040】
また、ミキシングパラメータ情報が時間差情報のみを含み、利用者が音像の正確な定位を好む場合には、時間差情報は、時間差情報と等価である振幅差情報に変換したり、音像定位の正確性及び空間の感じを両方とも向上させることによって利用者の好みを満足させることのできる振幅差情報と時間差情報との組合せに変換することができる。
【0041】
また、ミキシングパラメータ情報が振幅差情報及び時間差情報を含み、利用者が音像の正確な定位を好む場合には、振幅差情報と時間差情報との組合せは、元来の振幅差情報と時間差情報との組合せと等価である振幅差情報に変換することができる。一方、ミキシングパラメータ情報が振幅差情報及び時間差情報を含み、利用者が空間感の向上を好む場合には、振幅差情報と時間差情報との組合せは、振幅差情報と元来の時間差情報との組合せと等価である時間差情報に変換することができる。
【0042】
図6において、制御情報は、1つ以上のオブジェクト信号に関する調和情報及びミキシング/レンダリング情報を含むことができる。調和情報は、ピッチ情報、基本周波数情報、1つ以上のオブジェクト信号に関する優勢周波数バンド情報、及びオブジェクト信号のそれぞれの各サブバンドのエネルギ及びスペクトラムの説明のうち少なくとも1つを含むことができる。
【0043】
サブバンド部でのレンダリング動作を実行するレンダリング部の解像度が充分でないから、調和情報はレンダリング動作中にオブジェクト信号を処理するのに用いることができる。
【0044】
調和情報が1つ以上のオブジェクト信号に関するピッチ情報を含む場合には、オブジェクト信号のそれぞれの利得は、コムフィルタまたは逆コムフィルタを用いて予め定められた周波数ドメインを弱化させたり強化させたりすることによって調節することができる。例えば、複数のオブジェクト信号の1つが音声信号であれば、オブジェクト信号は、音声信号のみを弱化させることによってカラオケとして用いることができる。また、調和情報が1つ以上のオブジェクト信号に関する優勢周波数ドメイン情報を含む場合には、優勢周波数ドメインを弱化させたり強化させる処理を実行することができる。また、調和情報が1つ以上のオブジェクト信号に関するスペクトラム情報を含む場合には、オブジェクト信号のそれぞれの利得はサブバンド境界によって制限されずに弱化または強化を実行することによって制御することができる。
【0045】
図7は、本発明の第3実施例によるオーディオデコーディング装置140を示すブロック図である。図7を参照すると、オーディオデコーディング装置140は、オブジェクトデコーディング部及びレンダリング部の代わりに、マルチチャネルデコーディング部141を採用し、オブジェクト信号がマルチチャネル空間内に適当に配置された後に複数のオブジェクト信号をデコーディングする。
【0046】
より詳細には、オーディオデコーディング装置140は、マルチチャネルデコーディング部141及びパラメータコンバーティング部145を含む。マルチチャネルデコーディング部141は、パラメータコンバーティング部145より提供されたチャネルベース付加情報である空間パラメータ情報及びダウンミックス信号に基づいて、マルチチャネル空間内にそのオブジェクト信号が既に配置されたマルチチャネル信号を生成する。パラメータコンバーティング部145は、オーディオエンコーディング装置(図示せず)より転送された制御情報及び付加情報を分析し、分析結果に基づく空間パラメータ情報を生成する。より詳細には、パラメータコンバーティング部145は、プレイバック構成情報及びミキシング情報を含む制御情報と付加情報とを結合させることによって空間パラメータ情報を生成する。すなわち、パラメータコンバーティング部145は、付加情報と制御情報との組合せをOTT(One−To−Two box)またはTTT(Two−To−Three box)に対応する空間データへの変換を実行する。
【0047】
オーディオデコーディング装置140は、オブジェクトベースデコーディング動作及びミキシング/レンダリング動作が統合されるようにマルチチャネルデコーディングを実行でき、各オブジェクト信号のデコーディングをスキップすることができる。したがって、デコーディング及び/またはミキシング/レンダリングの複雑度を減少させることが可能になる。
【0048】
例えば、10個のオブジェクト信号が存在し、10個のオブジェクト信号に基づいて獲得されたマルチチャネル信号が5.1チャネルスピーカ再生システムにより再生される場合、一般のオブジェクトベースオーディオデコーディング装置は、ダウンミックス信号及び付加情報に基づく10個のオブジェクト信号に対応してデコーディングされた信号を個別に生成し、続いて、それらオブジェクト信号が5.1チャネルスピーカ環境に適合するようにマルチチャネル空間内に10個のオブジェクト信号を適切に配置することによって5.1チャネル信号を生成する。しかし、5.1チャネル信号の生成の際に10個のオブジェクト信号を生成するということは非効率であり、この問題は、生成されたマルチチャネル信号のチャネル数とオブジェクト信号数との差が増加するほどより深刻化する。
【0049】
これに対し、図7の実施例によれば、オーディオデコーディング装置140は、付加情報及び制御情報に基づいて5.1チャネル信号に適合した空間パラメータ情報を生成し、空間パラメータ情報及びダウンミックス信号をマルチチャネルデコーディング部141に供給する。続いて、マルチチャネルデコーディング部141は、空間パラメータ情報及びダウンミックス信号に基づいて5.1チャネル信号を生成する。言い換えると、出力されるチャネルの数が5.1チャネルである場合、オーディオデコーディング装置140は、10個のオブジェクト信号を生成せずに、ダウンミックス信号に基づいて5.1チャネル信号を迅速に生成でき、よって、複雑度において一般のオーディオデコーディング装置に比べてより効果的となる。
【0050】
オーディオエンコーディング装置より転送された制御情報及び付加情報の分析を通じて、OTT box及びTTT boxそれぞれに対応する空間パラメータ情報を計算するのに必要な計算量が、各オブジェクト信号のデコーディング後にミキシング/レンダリング動作を実行するのに必要な計算量よりも少ない場合に、オーディオデコーディング装置140は効率的なものと見なされる。
【0051】
オーディオデコーディング装置140は、付加情報及び制御情報の分析を通じて空間パラメータ情報を生成するためのモジュールを、一般のマルチチャネルオーディオデコーディング装置に加えることによって簡単に得ることができ、したがって、一般のマルチチャネルオーディオデコーディング装置と互換性を維持することができる。また、エンベロープシェーパ、サブバンド時間処理(STP;sub−band temporal processing)ツール及びデコリレータのような一般のマルチチャネルオーディオデコーディング装置の現存するツールを用いて、オーディオデコーディング装置140は音質を向上させることができる。与えられたこれら全てから、一般のマルチチャネルオーディオデコーディング方法の全て利点は、オブジェクトオーディオデコーディング方法に容易に適用することができるという結論が導かれる。
【0052】
パラメータコンバーティング部145よりマルチチャネルデコーディング部141に転送された空間パラメータ情報は、転送するのに適合するように圧縮することができる。また、空間パラメータ情報は、一般のマルチチャネルエンコーディング装置より転送されたデータのフォーマットと同一のフォーマットを持つことができる。すなわち、空間パラメータ情報は、ハフマンデコーディング動作またはパイロットデコーディング動作を行なうことができ、よって、圧縮されていない空間キューデータとして各モジュールに転送することができる。ハフマンデコーディング動作は、空間パラメータ情報を遠隔位置のマルチチャネルオーディオデコーディング装置に転送するのに適合し、パイロットデコーディング動作は、マルチチャネルオーディオデコーディング装置が、圧縮された空間キューデータを、デコーディング動作に容易に用いられうる圧縮されていない空間キューデータに変換する必要がないという点で便利である。
【0053】
付加情報及び制御情報の分析に基づく空間パラメータ情報の構成は、ダウンミックス信号と空間パラメータ情報間の遅延を引き起こすことができる。これをアドレスするために、ダウンミックス信号及び空間パラメータ情報が互いに同期化するように追加的なバッファをダウンミックス信号または空間パラメータ情報のために提供することができる。しかし、これらの方法は、追加的なバッファの提供が要求されるという点で不便である。また、付加情報は、ダウンミックス信号と空間パラメータ情報間の遅延発生の可能性を考慮し、ダウンミックス信号に先立って転送することができる。この場合に、付加情報と制御情報とを結合することによって得られた空間パラメータ情報は調節されることなく容易に用いることができる。
【0054】
ダウンミックス信号の複数のオブジェクト信号が、異なるレベルを持つ場合、ダウンミックス信号を直接補償できるADGモジュールが、オブジェクト信号の相対的なレベルを決定することができ、よって、オブジェクト信号のそれぞれは、チャネルレベル差情報、チャネル間相関(ICC;inter−channel correlation)情報及びチャネル予測係数(CPC;channel predicion coefficient)のような空間キューデータを用いてマルチチャネル空間内の予め定められた位置に割り当てることができる。
【0055】
例えば、予め定められたオブジェクト信号がマルチチャネル空間内の予め定められた位置に割り当てられ、他のオブジェクト信号よりも高いレベルを持つということを制御情報が示す場合には、一般のマルチチャネルデコーディング部はダウンミックス信号のチャネルエネルギ間の差を計算し、このダウンミックス信号を計算の結果に基づいて多くの出力チャネルに分割することができる。しかし、一般のマルチチャネルデコーディング部は、ダウンミックス信号中の特定の音のボリュームを上げたり下げたりすることはできない。言い換えると、一般のマルチチャネルデコーディング部は、ダウンミックス信号を多くの出力チャネルに簡単に分配し、よって、ダウンミックス信号中の音のボリュームを上げたり下げたりすることができない。
【0056】
オブジェクトエンコーディング部により生成されたダウンミックス信号の複数のオブジェクト信号のそれぞれを制御情報によってマルチチャネル空間内の予め定められた位置に割り当てることは比較的易しい。しかし、予め定められたオブジェクト信号の振幅を増やしたり減らしたりするには特別な技術が要求される。言い換えると、オブジェクトエンコーディング部により生成されたダウンミックス信号をそのまま利用するとしたらダウンミックス信号のそれぞれのオブジェクト信号の振幅は減らし難い。
【0057】
したがって、本発明の実施例によって、オブジェクト信号の相対的な振幅が、図8に示すADGモジュールを用いて制御情報によって変わりうる。より詳細には、オブジェクトエンコーディング部より転送されたダウンミックス信号の複数のオブジェクト信号のいずれか1つの振幅は、ADGモジュール147によって増加されたり減少されたりすることができる。ADGモジュール147により実行された補償によって得られたダウンミックス信号はマルチチャネルデコーディングすることができる。
【0058】
ダウンミックス信号のオブジェクト信号の相対的な振幅が、ADGモジュール147を用いて適切に調節される場合には、一般のマルチチャネルデコーディング部を用いてオブジェクトデコーディングを実行することができる。オブジェクトエンコーディング部により生成されたダウンミックス信号がモノまたはステレオ信号または3以上のチャネルを持つマルチチャネル信号であると、ダウンミックス信号は、ADGモジュール147により処理することができる。オブジェクトエンコーディング部により生成されたダウンミックス信号が2以上のチャネルを有し、ADGモジュール147により調節されるべき予め定められたオブジェクト信号がダウンミックス信号の1つのチャネルでのみ存在する場合には、ADGモジュール147は、ダウンミックス信号の全てのチャネルに適用される代わりに、予め定められたオブジェクト信号を含むチャネルにのみ適用することができる。上記の方法でADGモジュール147により処理されたダウンミックス信号は、マルチチャネルデコーディング部の構造を修正することなく一般のマルチチャネルデコーディング部を用いて容易に処理することができる。
【0059】
最終出力信号が、マルチチャネルスピーカにより再生されうるマルチチャネル信号ではなくバイノーラル信号である場合であっても、ADGモジュール147は、最終出力信号のオブジェクト信号の相対的な振幅を調節するのに用いることができる。
【0060】
ADGモジュール147を用いる代わりに、複数のオブジェクト信号の生成期間に各オブジェクト信号に適用される利得値を特定する利得情報を制御情報中に含むことができる。このため、一般のマルチチャネルデコーディング部の構造は修正することができる。存在するマルチチャネルデコーディング部の構造の修正を必要とするとはいえ、この方法は、ADGを計算して各オブジェクト信号を補償することなく、デコーディング動作の間に各オブジェクト信号に利得値を適用するから、デコーディングの複雑度を低減する上で便利である。
【0061】
図9は、本発明の第4実施例によるオーディオデコーディング装置150を示すブロック図である。図9を参照すると、オーディオデコーディング装置150は、バイノーラル信号を生成することに特徴がある。
【0062】
より詳細には、オーディオデコーディング装置150は、マルチチャネルバイノーラルデコーディング部151、第1パラメータコンバーティング部157及び第2パラメータコンバーティング部159を含む。
【0063】
第2パラメータコンバーティング部159は、オーディオエンコーディング装置より供給された制御情報及び付加情報を分析し、分析の結果に基づいて空間パラメータ情報を構成する。第1パラメータコンバーティング部157は、頭部伝達関数(HRTF;head−related transfer function)パラメータのような3次元(3D)情報を空間パラメータ情報に追加することによって、マルチチャネルバイノーラルデコーディング部151で使用できるようなバイノーラルパラメータ情報を構成する。マルチチャネルバイノーラルデコーディング部151は、仮想3Dパラメータ情報をダウンミックス信号に適用することによって仮想3D信号を生成する。
【0064】
第1パラメータコンバーティング部157及び第2パラメータコンバーティング部159は、付加情報、制御情報及びHRTFパラメータを受信し、これら付加情報、制御情報及びHRTFパラメータに基づいてバイノーラルパラメータ情報を構成する単一モジュール、すなわち、パラメータ変換モジュール155に取って代わっても良い。
【0065】
一般に、ヘッドホンで10個のオブジェクト信号を含むダウンミックス信号の再生のためのバイノーラル信号を生成するために、オブジェクト信号は、ダウンミックス信号及び付加情報に基づく10個のオブジェクト信号に対応するそれぞれの10個のデコーディングされた信号を生成しなければならない。その後、レンダリング部は、5−チャネルスピーカ環境に適合するように制御情報を参照してマルチチャネル空間内の予め定められた位置に10個のオブジェクト信号のそれぞれを割り当てる。その後に、レンダリング部は、5−チャネルスピーカを用いて再生できる5−チャネル信号を生成する。その後、レンダリング部は、HRTFパラメータを5−チャネル信号に適用して2−チャネル信号を生成する。要するに、上記の一般的なオーディオデコーディング方法は、10個のオブジェクト信号を再生する段階、10個のオブジェクト信号を5−チャネル信号に変換する段階、及び5−チャネル信号に基づく2−チャネル信号を生成する段階を含み、効果的でない。
【0066】
これに対し、オーディオデコーディング装置150は、オブジェクトオーディオ信号に基づいてヘッドホンを用いて再生できるバイノーラル信号を容易に生成できる。しかも、オーディオデコーディング装置150は、付加情報及び制御情報の分析を通じて空間パラメータ情報を構成し、よって、一般的なマルチチャネルバイノーラルデコーディング部を用いてバイノーラル信号を生成できる。さらに、付加情報、制御情報及びHRTFパラメータを受信する統合されたパラメータコンバーティング部が組み込まれる場合においても、オーディオデコーディング装置150は一般的なマルチチャネルバイノーラルデコーディング部を依然として利用でき、付加情報、制御情報及びHRTFパラメータに基づくバイノーラルパラメータ情報を構成できる。
【0067】
図10は、本発明の第5実施例によるオーディオデコーディング装置160を示すブロック図である。図10を参照すると、オーディオデコーディング装置160は、ダウンミックスプロセシング部161、マルチチャネルデコーディング部163及びパラメータコンバーティング部165を含む。ダウンミックスプロセシング部161及びパラメータコンバーティング部163は、単一モジュール167としても良い。
【0068】
パラメータコンバーティング部165は、マルチチャネルデコーディング部163で使用可能な空間パラメータ情報及びダウンミックスプロセシング部161で使用可能なパラメータ情報を生成する。ダウンミックスプロセシング部161は、ダウンミックス信号に前処理動作を実行し、前処理動作により生成されたダウンミックス信号をマルチチャネルデコーディング部163に転送する。マルチチャネルデコーディング部163は、ダウンミックスプロセシング部161より転送されたダウンミックス信号にデコーディング動作を実行し、ステレオ信号、バイノーラルステレオ信号またはマルチチャネル信号を出力する。ダウンミックスプロセシング部161により実行された前処理動作の例には、フィルタリングを用いた時間ドメインまたは周波数ドメインへのダウンミックス信号の変換または修正が含まれる。
【0069】
オーディオデコーディング装置160に入力されたダウンミックス信号がステレオ信号であれば、マルチチャネルデコーディング部163は、複数のチャネルの1つであるレフトチャネルに対応するダウンミックス信号の成分を複数のチャネルの他の1つであるライトチャネルにマッピングできないから、ダウンミックス信号は、マルチチャネルデコーディング部163に入力される前にダウンミックスプロセシング部161で実行されたダウンミックス前処理することができる。したがって、レフトチャネルに分類されたオブジェクト信号の位置をライトチャネルの方向に移動させるために、オーディオデコーディング装置160に入力されたダウンミックス信号は、ダウンミックスプロセシング部161により前処理することができ、前処理されたダウンミックス信号は、マルチチャネルデコーディング部163に入力することができる。
【0070】
ステレオダウンミックス信号の前処理は、付加情報及び制御情報から獲得された前処理した情報に基づいて実行することができる。
【0071】
図11は、本発明の第6実施例によるオーディオデコーディング装置170のブロック図である。図11を参照すると、オーディオデコーディング装置170は、マルチチャネルデコーディング部171、チャネルプロセシング部173及びパラメータコンバーティング部175を含む。
【0072】
パラメータコンバーティング部175は、マルチチャネルデコーディング部173で使用可能な空間パラメータ情報及びチャネルプロセシング部173で使用可能なパラメータ情報を生成する。チャネルプロセシング部173は、マルチチャネルデコーディング部173より出力された信号に後処理動作を実行する。マルチチャネルデコーディング部173より出力された信号の例には、ステレオ信号、バイノーラルステレオ信号及びマルチチャネル信号を含む。
【0073】
ポストプロセシング部173により実行された後処理動作には、出力信号の各チャネルまたは全てのチャネルの修正及び変換が含まれる。例えば、付加情報が予め定められたオブジェクト信号に関する基本周波数情報を含む場合には、チャネルプロセシング部173は、基本周波数情報を参照して予め定められたオブジェクト信号から調和成分を除去することができる。マルチチャネルオーディオデコーディング方法は、カラオケシステムに用いるには充分に効果的でない場合もあり得る。しかし、音声オブジェクト信号に関する基本周波数情報が付加情報内に含まれ、音声オブジェクト信号の調和成分が後処理動作中に除去される場合には、図11の実施例を用いる高性能カラオケシステムを実現することができる。図11の実施例は、音声オブジェクト信号を除くオブジェクト信号に適用することができる。例えば、図11の実施例を用いて予め定められた楽器の音を除去することが可能である。また、図11の実施例を用いてオブジェクト信号に関する基本周波数情報によって予め定められた調和成分を増幅することができる。
【0074】
チャネルプロセシング部173は、ダウンミックス信号に追加的なエフェクトプロセシングを実行することができる。また、チャネルプロセシング部173は、追加的なエフェクトプロセシングによって得た信号を、マルチチャネルデコーディング部171より出力された信号に付加することができる。チャネルプロセシング部173は、必要時にオブジェクトのスペクトラムを変化させたりダウンミックス信号を修正したりすることができる。ダウンミックス信号への反射のようなエフェクトプロセシング動作を直接実行し、エフェクトプロセシング動作によって得られた信号をマルチチャネルデコーディング部171に転送することが適切でない場合には、ダウンミックスプロセシング部173は、ダウンミックス信号へのエフェクトプロセシングを実行する代わりに、エフェクトプロセシング動作によって得た信号をマルチチャネルデコーディング部171の出力に付加することができる。
【0075】
オーディオデコーディング装置170は、チャネルプロセシング部173の他、ダウンミックスプロセシング部を含むように作製することができる。この場合に、ダウンミックスプロセシング部は、マルチチャネルデコーディング部173の前に配置することができ、チャネルプロセシング部173はマルチチャネルデコーディング部173の後に配置することができる。
【0076】
図12は、本発明による第7実施例によるオーディオデコーディング装置210を示すブロック図である。図12を参照すると、オーディオデコーディング装置210は、オブジェクトデコーディング部の代わりに、マルチチャネルデコーディング部213を用いる。より詳細には、オーディオデコーディング装置210は、マルチチャネルデコーディング部213、トランスコーディング部215、レンダリング部217及び3D情報データベース219を含む。
【0077】
レンダリング部217は、制御情報に含まれたインデックスデータに対応する3D情報に基づいて複数のオブジェクト信号の3D位置を決定する。トランスコーディング部215は、レンダリング部217により適用された3D情報に複数のオブジェクトオーディオ信号に関する位置情報を合成することによってチャネルベース付加情報を生成する。マルチチャネルデコーディング部213は、チャネルベース付加情報をダウンミックス信号に適用することによって3D信号を出力する。
【0078】
HRTFは3D情報として用いることができる。HRTFは、任意位置における音源と鼓膜との間の音波の転送を説明し、音源の高度及び方向によって変わる値を返す伝達関数である。方向性を持たない信号がHRTFを用いてフィルタリングされると、信号は、特定の方向から再生されるかのように聞こえる。
【0079】
入力ビットストリームを受信する場合、オーディオデコーディング装置210は、デマルチプレクサ(図示せず)を用いて入力ビットストリームからオブジェクトベースパラメータ情報及びオブジェクトベースダウンミックス信号を抽出する。その後、レンダリング部217は、複数のオブジェクトオーディオ信号の位置を決定するのに用いられる制御情報からインデックスデータを抽出し、3D情報データベース219から抽出されたインデックスデータに対応する3D情報を回収する。
【0080】
より詳細には、オーディオデコーディング装置210で用いられる制御情報に含まれたミキシングパラメータ情報は、3D情報を検索するのに必要なレベル情報だけでなく、インデックスデータも含むことができる。このミキシングパラメータ情報は、レベル情報及び時間情報を適切に結合することによって得られた1つ以上のパラメータ、位置情報及びチャネル間の時間差に関する時間情報を含むことができる。
【0081】
オブジェクトオーディオ信号の位置は、デフォルトミキシングパラメータ情報によって初期に決定することができ、利用者が希望する位置に対応する3D情報をオブジェクトオーディオ信号に適用することによって後で変更することができる。また、利用者が3D効果をいくつかのオブジェクトオーディオ信号に適用することを希望する場合には、利用者が3D効果を適用することを希望しない他のオブジェクトオーディオ信号に関する時間情報及びレベル情報は、ミキシングパラメータ情報として用いることができる。
【0082】
レンダリング部217によってHRTFのような3D情報が適用される複数のオブジェクト信号の位置情報とオーディオエンコーディング装置より転送されたN個のオブジェクト信号に関するオブジェクトベースパラメータ情報とを合成することによって、トランスコーディング部215はM個のチャネルに関するチャネルベース付加情報を生成する。
【0083】
マルチチャネルデコーディング部213は、トランスコーディング部215より供給されたチャネルベース付加情報及びダウンミックス信号に基づくオーディオ信号を生成し、チャネルベース付加情報に含まれた3D情報を用いて3Dレンダリング動作を実行することによって3Dマルチチャネル信号を生成する。
【0084】
図13は、本発明の第8実施例によるオーディオデコーディング装置220を示すブロック図である。図13を参照すると、オーディオデコーディング装置220は、トランスコーディング部225がチャネルベース付加情報と3D情報を個別にマルチチャネルデコーディング部223に転送するという点で、図12に示すオーディオデコーディング装置210と異なる。言い換えると、オーディオデコーディング装置210のトランスコーディング部215は、3D情報を含むチャネルベース付加情報をマルチチャネルデコーディング部213に転送する一方、オーディオデコーディング装置220のトランスコーディング部225はN個のオブジェクト信号に関するオブジェクトベースパラメータ情報からM個のチャネルに関するチャネルベース付加情報を得、N個のオブジェクト信号のそれぞれに適用された3D情報をマルチチャネルデコーディング部223に転送する。
【0085】
図14を参照すると、チャネルベース付加情報及び3D情報は、複数のフレームインデックスなどを含むことができる。したがって、マルチチャネルデコーディング部223は、3D情報及びチャネルベース付加情報のそれぞれのフレームインデックスを参照した3D情報及びチャネルベース付加情報を同期化することができ、よって、3D情報を、3D情報に対応するビットストリームのフレームに適用することができる。例えば、インデックス2を持つ3D情報は、インデックス2を持つフレーム2の始部に適用することができる。
【0086】
チャネルベース付加情報及び3D情報はいずれもフレームインデックスを含むので、3D情報が時間を超過して更新されても、3D情報の適用されるチャネルベース付加情報の時間的位置を効果的に決定することができる。言い換えると、トランスコーディング部225は、チャネルベース付加情報中に複数のフレームインデックス及び3D情報を含み、よって、マルチチャネルデコーディング部223はチャネルベース付加情報と3D情報を容易に同期化することができる。
【0087】
ダウンミックスプロセシング部231、トランスコーディング部235、レンダリング部237及び3D情報データベースは、単一モジュール239にしても良い。
【0088】
図15は、本発明の第9実施例によるオーディオデコーディング装置230を示すブロック図である。図15を参照すると、オーディオデコーディング装置230は、ダウンミックスプロセシング部231をさらに含むという点で、図14に示すオーディオデコーディング装置220と区別される。
【0089】
より詳細には、オーディオデコーディング装置230は、トランスコーディング部235、レンダリング部237、3D情報データベース239、マルチチャネルデコーディング部233及びダウンミックスプロセシング部231を含む。トランスコーディング部235、レンダリング部237、3D情報データベース239及びマルチチャネルデコーディング部233は、図14におけるそれらとそれぞれ同一である。ダウンミックスプロセシング部231は、位置調節のためにステレオダウンミックス信号に前処理動作を実行する。3D情報データベース239はレンダリング部237と統合することができる。予め定められた効果をダウンミックス信号に適用するためのモジュールもこのオーディオデコーディング装置230内に組み込むことができる。
【0090】
図16は、本発明の第10実施例によるオーディオデコーディング装置240を示すブロック図である。図16を参照すると、オーディオデコーディング装置240は、多点制御部コンバイナ241を含むという点で、図15に示すオーディオデコーディング装置230と区別される。
【0091】
すなわち、オーディオデコーディング装置230と同様に、オーディオデコーディング装置240は、ダウンミックスプロセシング部243、マルチチャネルデコーディング部244、トランスコーディング部245、レンダリング部247及び3D情報データベース249を含む。多点制御部コンバイナ241は、オブジェクトベースエンコーディングによって得た複数のビットストリームを結合して単一のビットストリームを得る。例えば、第1オーディオ信号のための第1ビットストリームと第2オーディオ信号のための第2ビットストリームが入力される場合、多点制御部コンバイナ241は、第1ビットストリームから第1ダウンミックス信号を抽出し、第2ビットストリームから第2ダウンミックス信号を抽出した後、第1及び第2ダウンミックス信号を結合させることによって第3ダウンミックス信号を生成する。なお、多点制御部コンバイナ241は、第1ビットストリームから第1オブジェクトベース付加情報を抽出し、第2ビットストリームから第2オブジェクトベース付加情報を抽出した後、第1オブジェクトベース付加情報と第2オブジェクトベース付加情報とを結合させることによって第3オブジェクトベース付加情報を生成する。その後、多点制御部コンバイナ241は、第3ダウンミックス信号と第3オブジェクトベース付加情報とを結合させることによってビットストリームを生成し、生成されたビットストリームを出力する。
【0092】
したがって、各オブジェクト信号をエンコーディングまたはデコーディングする場合に比べて、本発明の第10実施例によると、2以上の通信相手より転送された信号まで効果的に処理することが可能になる。
【0093】
多点制御部コンバイナ241が、複数のビットストリームから個別に抽出され、他の圧縮コーデックで結合された複数のダウンミックス信号を単一のダウンミックス信号内に統合するようにするために、これらのダウンミックス信号は、ダウンミックス信号の圧縮コーデックの種類によって予め定められた周波数ドメインの信号またはパルスコード変調(PCM;pulse code modulation)信号に変換する必要があり、この変換によって得た信号またはPCM信号は共に結合する必要があり、この結合によって得られた信号は、予め定められた圧縮コーデックを用いて変換する必要がある。この場合に、ダウンミックス信号が予め定められた周波数ドメインの信号またはPCM信号に統合されるか否かによって遅延が発生しうる。しかし、遅延はデコーディング部によって正確に推定することができない。したがって、遅延はビットストリームに含まれ、ビットストリームと共に転送する必要がある。遅延は、PCM信号内の遅延サンプルの数または予め定められた周波数ドメイン内の遅延サンプルの数を表す。
【0094】
一般的なマルチチャネルコーディング動作(例えば、5.1チャネルまたは7.1チャネルコーディング動作)中に一般的に処理された入力信号の数に比べてオブジェクトベースオーディオコーディング動作中に多くの入力信号が時々処理されるべき場合がる。したがって、オブジェクトベースオーディオコーディング方法は、一般的なチャネルベースマルチチャネルオーディオコーディング方法に比べてより高いビットレートを必要とする。しかし、オブジェクトベースオーディオコーディング方法は、チャネル信号よりも少ない数のオブジェクト信号の処理を含むから、オブジェクトベースオーディオコーディング方法を用いて動的な出力信号を生成することが可能である。
【0095】
以下、本発明の一実施例によるオーディオエンコーディング方法を、図17乃至図20を参照して詳細に説明する。
【0096】
オブジェクトベースオーディオエンコーディング方法において、オブジェクト信号は、人の声または楽器の音のような個別の音を表すように定義することができる。また、弦楽器(例えば、バイオリン、ヴィオラ及びチェロ)の音のような類似の特性を持つ音、同一周波数バンドを持つ音またはこれら音源の方向及び角度によって同一カテゴリーに分類される音は一緒にグルーピングすることができ、同一オブジェクト信号によって定義することができる。また、オブジェクト信号は上記の方法の組合せを用いて定義することができる。
【0097】
複数のオブジェクト信号は、ダウンミックス信号及び付加情報として転送することができる。転送される情報が生成される間に、ダウンミックス信号またはダウンミックス信号の複数のオブジェクト信号のそれぞれのエネルギまたはパワーは、ダウンミックス信号のエンベロープを検出する目的で最初から計算される。この計算の結果は、オブジェクト信号またはダウンミックス信号を転送するのに用いられたり、オブジェクト信号のレベルの比を計算するのに用いることができる。
【0098】
線形予測コーディング(LPC;linear predictive coding)アルゴリズムを、ビットレートをより下げるのに用いることができる。より詳細には、信号のエンベロープを表す多くのLPC係数は信号の分析を通じて生成され、信号に関するエンベロープ情報を転送する代わりにLPC係数が転送される。この方法は、ビットレートにおいて効果的である。しかし、これらLPC係数は信号の実際エンベロープから非常にずれやすいため、この方法は誤り訂正のような追加プロセスを必要とする。要するに、信号のエンベロープ情報を転送することを含む方法は、高音質を保障することはできるが、転送されるべき情報量が相当増加してしまう。一方、LPC係数の利用を含む方法は、転送されるへぎ情報量を低減することはできるが、誤り訂正のような追加的なプロセスが必要とされ、音質低下を招く。
【0099】
本発明の一実施例によって、これらの方法の組合せを用いることができる。言い換えると、信号のエンベロープは、信号のパワーまたはエネルギまたはインデックス値または信号のパワーまたはエネルギに対応するLPC係数のような他の値で表現することができる。
【0100】
信号に関するエンベロープ情報は、時間セクションまたは周波数セクションのユニットで得ることができる。より詳細には、図17を参照すると、信号に関するエンベロープ情報は、フレームユニットで得ることができる。また、信号がQMF(quadrature mirror filter)バンクのようなフィルタバンクを用いて周波数バンド構造で表現されるとしたら、信号に関するエンベロープ情報は、周波数サブバンド、周波数サブバンドよりも小さい個体である周波数サブバンドパーティション、周波数サブバンドのグループまたは周波数サブバンドパーティションのグループのユニットで得られる。また、フレームベースの方法、周波数サブバンドベースの方法及び周波数サブバンドパーティションベースの方法の組合せを本発明の範囲内で用いることができる。
【0101】
また、信号の低周波成分が信号の高周波成分よりも一般的により多くの情報を持つとすれば、信号の低周波成分と関連したエンベロープ情報はそれ自体のまま転送することができるが、信号の高周波成分に関するエンベロープ情報はLPC係数または他の値で表現することができ、信号の高周波成分に関するエンベロープ情報の代わりにLPC係数または他の値を転送することができる。しかし、信号の低周波成分が必ずしも信号の高周波成分よりも多い情報を持つというわけではない。したがって、上記の方法は、環境によって柔軟に適用すれば良い。
【0102】
本発明の実施例によって、時間/周波数軸上にドミナントとして現れる信号の一部(以下、主要部という。)に対応するインデックスデータまたはエンベロープ情報は転送することができ、信号のドミナントでない部分に対応するインデックスデータ及びエンベロープ情報はいずれも転送しなくても良い。また、信号のドミナント部分のエネルギ及びパワーを表す値(例えば、LPC係数)を転送することができ、信号のドミナントでない部分に対応するかかる値は転送しなくても良い。また、信号のドミナント部分に対応するインデックスデータまたはエンベロープ情報は転送することができ、信号のドミナントでない部分のエネルギまたはパワーを表す値も転送しても良い。また、信号のドミナントでない部分が信号のドミナント部分に関する情報に基づいて推定されるように、信号のドミナント部分にのみ関連した情報を転送しても良い。また、上記の方法の組合せを用いても良い。
【0103】
例えば、図18を参照すると、信号がドミナント期間とドミナントでない期間とに分けられる場合は、信号に関する情報は(a)乃至(d)で表記された通り、4つの異なる方法で転送することができる。
【0104】
ダウンミックス信号及び付加情報の組合せとして複数のオブジェクト信号を転送するために、デコーディング動作の一部として、例えば、オブジェクト信号のレベルの比を考慮し、ダウンミックス信号は複数の成分に分けられるように要求される。ダウンミックス信号の成分間の独立性を保障するために、デコリレーション動作がさらに実行される必要がある。
【0105】
オブジェクトベースコーディング方法においてコーディングユニットであるオブジェクト信号は、マルチチャネルコーディング方法においてコーディングユニットであるチャネル信号よりも独立的である。言い換えると、チャネル信号は、オブジェクト信号を含むから、デコリレートする必要がある。これに対し、オブジェクト信号は互いに独立しており、よって、チャネル分離が、デコリレーション動作を要求することなく、単純にオブジェクト信号の特性を用いて容易に実行することができる。
【0106】
より詳細には、図19を参照すると、オブジェクト信号A、B及びCは、周波数軸上にドミナントとして順に現れる。この場合に、オブジェクト信号A、B及びCのレベルの比によってダウンミックス信号を多くの信号に分け、デコリレーションを行う必要がない。その代わりに、オブジェクト信号A、B及びCのドミナント期間に関する情報が転送されたり、利得値がオブジェクト信号A、B及びCのそれぞれの各周波数成分に適用され、デコリレーションをスキップすることができる。これにより、計算量の低減が可能となり、デコリレーションに必要な付加情報によって要求されうる量のビットレートを減らすことが可能となる。
【0107】
要するに、ダウンミックス信号のオブジェクト信号の比によってダウンミックス信号を分けて得られた複数の信号間の独立性を保障すべく実行されるデコリレーションをスキップする目的で、各オブジェクト信号を含む周波数ドメインに関する情報を付加情報として転送することができる。また、相異なる利得値が、各オブジェクト信号がドミナントとして現れる期間であるドミナント期間、及び各オブジェクト信号がより少なくドミナントとして現れる期間であるドミナントでない期間に適用することができ、したがって、ドミナント期間に関する情報は付加情報として主に提供することができる。また、このドミナント期間に関する情報は、付加情報として転送することができ、ドミナントでない期間に関する情報は転送されなくても良い。なお、デコリレーション方法の代案として上述された方法の組合せを用いても良い。
【0108】
デコリレーション方法の代案である上記の方法は、全てのオブジェクト信号または容易に区別可能なドミナント期間を持つ一部のオブジェクト信号にのみ適用することができる。また、デコリレーション方法の代案である上記の方法は、フレームのユニットに可変的に適用することができる。
【0109】
以下、残余信号を用いたオブジェクトオーディオ信号のエンコーディングについて詳細に説明する。
【0110】
一般に、オブジェクトベースオーディオコーディング方法において、複数のオブジェクト信号がエンコーディングされ、これらエンコーディングの結果がダウンミックス信号と付加情報との組合せとして転送される。続いて、複数のオブジェクト信号が付加情報によってデコーディングを通じてダウンミックス信号から復元され、これら復元されたオブジェクト信号が、例えば、制御情報によって利用者の要請に応じて適切に混合され、最終チャネル信号が生成される。オブジェクトベースオーディオコーディング方法は、ミキサを用いて制御情報によって出力チャネル信号を自由に変えるのを一般的な目標としている。しかし、オブジェクトベースオーディオコーディング方法は、制御情報によらず、予め定義された方法でチャネル出力を生成するのに用いても良い。
【0111】
このため、付加情報は、ダウンミックス信号から複数のオブジェクト信号を得るのに必要な情報だけでなく、チャネル信号を生成するのに必要なミキシングパラメータ情報を含むことができる。したがって、ミキサを用いずに最終チャネル出力信号を生成することが可能である。この場合、残余コーディングのようなアルゴリズムを、音質を向上させるために用いることができる。
【0112】
一般的な残余コーディング方法は、信号をコーディングし、コーディングされた信号と元の信号間の誤り、すなわち残余信号をコーディングすることを含む。デコーディング動作の間に、コーディングされた信号は、該コーディングされた信号と元の信号間の誤りを補償すると同時にデコーディングされ、これにより、可能な限り元の信号と類似の信号を復元する。コーディングされた信号と元の信号間の誤りは通常少ないので、残余コーディングを実行するのに追加的に必要な情報の量を減らすことが可能である。
【0113】
デコーディング部の最終チャネル出力が固定される場合には、最終チャネル信号を生成するのに必要なミキシングパラメータ情報だけでなく残余コーディング情報を付加情報として提供することができる。この場合、音質を向上させることが可能である。
【0114】
図20は、本発明の一実施例によるオーディオエンコーディング装置310を示すブロック図である。図20を参照すると、オーディオエンコーディング装置310は、残余信号を用いることに特徴がある。
【0115】
より詳細には、オーディオエンコーディング装置310は、エンコーディング部311、デコーディング部313、第1ミキサ315、第2ミキサ319、加算器317及びビットストリーム生成器321を含む。
【0116】
第1ミキサ315は、元の信号にミキシング動作を実行し、第2ミキサ319は、エンコーディング動作を実行することによって得られた信号にミキシング動作を実行し、続いて元の信号にデコーディング動作を実行する。加算器317は、第1ミキサ315より出力された信号と第2ミキサ319より出力された信号間の残余信号を計算する。ビットストリーム生成器321は、付加情報に残余信号を加え、その結果を転送する。この方法で、音質を向上させることができる。
【0117】
残余信号の計算は、信号の全ての部分にまたは信号の低周波数部分にのみ適用することができる。また、残余信号の計算は、フレーム対フレームに基づくドミナント信号を含む周波数ドメインにのみ可変的に適用しても良い。また、上記の方法の組合せを用いても良い。
【0118】
残余信号情報を含む付加情報の量が、残余信号情報を含まない付加情報の量よりも多いため、残余信号の計算は、音質に直接影響を与える信号の一部分にのみ適用することができ、これにより、ビットレートの過度な増加を抑止することができる。
【0119】
本発明は、コンピュータが読取り可能な記録媒体上に書き込まれた、コンピュータが読取り可能なコードとして実現することができる。コンピュータが読取り可能な記録媒体は、コンピュータが読取り可能な方法でデータが記憶される記録装置の1つとすることができる。コンピュータが読取り可能な記録媒体の例には、ROM、RAM、CD−ROM、磁気テープ、フロッピー(登録商標)ディスク、光学データ記憶装置及びキャリアウェーブ(例えば、インターネットを通じたデータ転送)が含まれる。コンピュータが読取り可能な記録媒体は、コンピュータが読取り可能なコードがそこに書き込まれ、分散された方法でそこから実行されるように、ネットワークに連結された複数のコンピュータシステムに分配することができる。本発明を実現するのに必要な機能的プログラム、コード、コード断片は、この分野における通常の知識を持つ者によって容易に解析することができる。
【0120】
本発明によると、オブジェクトベースオーディオエンコーディング及びデコーディング方法の利点によって、音像が各オブジェクトオーディオ信号に対して定位する。その結果、オブジェクトオーディオ信号の再生を通じてより実際的な音を提供することが可能になる。なお、本発明は双方向ゲームに適用することができ、利用者にとってはより現実的な仮想現実経験が可能になる。
【0121】
以上では好適な実施例を挙げて本発明を説明してきたが、説明及び形態における様々な変形が、請求の範囲に定義された本発明の範囲及び思想を逸脱しない限度内で可能であることは、当該分野における通常の知識を持つ者にとっては自明である。
【特許請求の範囲】
【請求項1】
オーディオ信号からオブジェクトベース付加情報及びダウンミックス信号を抽出し、
前記ダウンミックス信号をレンダリングするための制御情報及びオブジェクトベース付加情報に基づいてチャネルベース付加情報を生成し、
デコリレートされたチャネル信号を用いて前記ダウンミックス信号を処理し、
前記処理されたダウンミックス信号及び前記チャネルベース付加情報を用いてマルチチャネルオーディオ信号を生成する、
ことを特徴とするオーディオデコーディング方法。
【請求項2】
前記マルチチャネルオーディオ信号を生成する前に、さらに前記制御情報及び前記オブジェクトベース付加情報を用いて前記ダウンミックス信号を修正する、請求項1に記載のオーディオデコーディング方法。
【請求項3】
前記ダウンミックス信号を修正する場合において、前記ダウンミックス信号に、レベル調節、音像処理及び効果付加のうち少なくとも1つを実行する、請求項2に記載のオーディオデコーディング方法。
【請求項4】
前記ダウンミックス信号を修正する場合において、さらに時間ドメインまたは周波数ドメインのいずれかで前記ダウンミックス信号を修正する、請求項3に記載のオーディオデコーディング方法。
【請求項5】
さらに前記マルチチャネルオーディオ信号に残響処理を実行する、請求項3に記載のオーディオデコーディング方法。
【請求項6】
さらにエフェクトプロセシングによって得た予め定められた信号を前記マルチチャネルオーディオ信号に付加する、請求項3に記載のオーディオデコーディング方法。
【請求項7】
前記デコリレートされたチャネル信号が、前記ダウンミックス信号に基づく、請求項1に記載のオーディオデコーディング方法。
【請求項8】
オーディオ信号からオブジェクトベース付加情報及びダウンミックス信号を抽出するデマルチプレクサと、
前記ダウンミックス信号をレンダリングするための制御情報及びオブジェクトベース付加情報に基づいてチャネルベース付加情報を生成するパラメータコンバーティング部と、
前記ダウンミックス信号がステレオダウンミックス信号である場合、デコリレートされたダウンミックス信号によって前記ダウンミックス信号を修正するダウンミックスプロセシング部と、
前記ダウンミックスプロセシング部及び前記チャネルベース付加情報によって得た修正されたダウンミックス信号を用いてマルチチャネルオーディオ信号を生成するマルチチャネルデコーディング部と、
を含むことを特徴とするオーディオデコーディング装置。
【請求項9】
前記ダウンミックスプロセシング部が、前記制御情報及び前記オブジェクトベース付加情報を用いて前記ダウンミックス信号を修正する、請求項8に記載のオーディオデコーディング装置。
【請求項10】
前記ダウンミックスプロセシング部が、前記ダウンミックス信号に、レベル調節、音像処理及び効果付加のうち少なくとも1つを実行することによって前記ダウンミックス信号を修正する、請求項9に記載のオーディオデコーディング装置。
【請求項11】
前記ダウンミックスプロセシング部が、時間ドメインまたは周波数ドメインのいずれかで前記ダウンミックス信号を修正する、請求項9に記載のオーディオデコーディング装置。
【請求項12】
前記マルチチャネルオーディオ信号に残響処理を実行するチャネルプロセシング部をさらに含む、請求項9に記載のオーディオデコーディング装置。
【請求項13】
エフェクトプロセシングによって得た予め定められた信号を前記マルチチャネルオーディオ信号に付加するチャネルプロセシング部をさらに含む、請求項9に記載のオーディオデコーディング装置。
【請求項14】
オーディオ信号からオブジェクトベース付加情報及びダウンミックス信号を抽出し、
前記ダウンミックス信号をレンダリングするための制御情報及びオブジェクトベース付加情報に基づいて1つ以上のプロセシングパラメータ及びチャネルベース付加情報を生成し、
前記チャネルベース付加情報及び前記ダウンミックス信号を用いてマルチチャネルオーディオ信号を生成し、
前記プロセシングパラメータを用いて前記マルチチャネルオーディオ信号を修正する、
ことを特徴とするオーディオデコーディング方法。
【請求項15】
前記ダウンミックス信号を修正する場合において、前記パラメータを用いて前記マルチチャネルオーディオ信号に残響処理を実行する、請求項14に記載のオーディオ信号デコーディング方法。
【請求項16】
前記ダウンミックス信号を修正する場合において、エフェクトプロセシングによって得た信号を前記マルチチャネルオーディオ信号に付加する、請求項14に記載のオーディオ信号デコーディング方法。
【請求項17】
オーディオ信号からオブジェクトベース付加情報及びダウンミックス信号を抽出するデマルチプレクサと、
前記ダウンミックス信号をレンダリングするための制御情報及びオブジェクトベース付加情報に基づいて1つ以上のプロセシングパラメータ及びチャネルベース付加情報を生成するパラメータコンバーティング部と、
前記チャネルベース付加情報及び前記ダウンミックス信号を用いてマルチチャネルオーディオ信号を生成するマルチチャネルデコーディング部と、
前記プロセシングパラメータを用いて前記マルチチャネルオーディオ信号を修正するチャネルプロセシング部と、
を含むことを特徴とするオーディオデコーディング装置。
【請求項18】
前記チャネルプロセシング部が、前記パラメータを用いて前記マルチチャネルオーディオ信号に残響処理を実行する、請求項17に記載のオーディオデコーディング装置。
【請求項19】
前記チャネルプロセシング部が、エフェクトプロセシングによって得た信号を前記マルチチャネルオーディオ信号に付加する、請求項17に記載のオーディオデコーディング装置。
【請求項20】
オーディオ信号からオブジェクトベース付加情報及びダウンミックス信号を抽出し、
前記ダウンミックス信号をレンダリングするための制御情報及びオブジェクトベース付加情報に基づいてチャネルベース付加情報を生成し、
デコリレートされたチャネル信号を用いて前記ダウンミックス信号を処理し、
前記チャネルベース付加情報及びスワッピングによって得た前記処理されたダウンミックス信号を用いてマルチチャネルオーディオ信号を生成する、オーディオデコーディング方法を記録したコンピュータ読取可能記録媒体。
【請求項21】
オーディオ信号からオブジェクトベース付加情報及びダウンミックス信号を抽出し、
前記ダウンミックス信号をレンダリングするための制御情報及びオブジェクトベース付加情報に基づいて1つ以上のプロセシングパラメータ及びチャネルベース付加情報を生成し、
前記チャネルベース付加情報及び前記ダウンミックス信号を用いてマルチチャネルオーディオ信号を生成し、
前記プロセシングパラメータを用いて前記マルチチャネルオーディオ信号を修正する、オーディオデコーディング方法を記録したコンピュータ読取可能記録媒体。
【請求項1】
オーディオ信号からオブジェクトベース付加情報及びダウンミックス信号を抽出し、
前記ダウンミックス信号をレンダリングするための制御情報及びオブジェクトベース付加情報に基づいてチャネルベース付加情報を生成し、
デコリレートされたチャネル信号を用いて前記ダウンミックス信号を処理し、
前記処理されたダウンミックス信号及び前記チャネルベース付加情報を用いてマルチチャネルオーディオ信号を生成する、
ことを特徴とするオーディオデコーディング方法。
【請求項2】
前記マルチチャネルオーディオ信号を生成する前に、さらに前記制御情報及び前記オブジェクトベース付加情報を用いて前記ダウンミックス信号を修正する、請求項1に記載のオーディオデコーディング方法。
【請求項3】
前記ダウンミックス信号を修正する場合において、前記ダウンミックス信号に、レベル調節、音像処理及び効果付加のうち少なくとも1つを実行する、請求項2に記載のオーディオデコーディング方法。
【請求項4】
前記ダウンミックス信号を修正する場合において、さらに時間ドメインまたは周波数ドメインのいずれかで前記ダウンミックス信号を修正する、請求項3に記載のオーディオデコーディング方法。
【請求項5】
さらに前記マルチチャネルオーディオ信号に残響処理を実行する、請求項3に記載のオーディオデコーディング方法。
【請求項6】
さらにエフェクトプロセシングによって得た予め定められた信号を前記マルチチャネルオーディオ信号に付加する、請求項3に記載のオーディオデコーディング方法。
【請求項7】
前記デコリレートされたチャネル信号が、前記ダウンミックス信号に基づく、請求項1に記載のオーディオデコーディング方法。
【請求項8】
オーディオ信号からオブジェクトベース付加情報及びダウンミックス信号を抽出するデマルチプレクサと、
前記ダウンミックス信号をレンダリングするための制御情報及びオブジェクトベース付加情報に基づいてチャネルベース付加情報を生成するパラメータコンバーティング部と、
前記ダウンミックス信号がステレオダウンミックス信号である場合、デコリレートされたダウンミックス信号によって前記ダウンミックス信号を修正するダウンミックスプロセシング部と、
前記ダウンミックスプロセシング部及び前記チャネルベース付加情報によって得た修正されたダウンミックス信号を用いてマルチチャネルオーディオ信号を生成するマルチチャネルデコーディング部と、
を含むことを特徴とするオーディオデコーディング装置。
【請求項9】
前記ダウンミックスプロセシング部が、前記制御情報及び前記オブジェクトベース付加情報を用いて前記ダウンミックス信号を修正する、請求項8に記載のオーディオデコーディング装置。
【請求項10】
前記ダウンミックスプロセシング部が、前記ダウンミックス信号に、レベル調節、音像処理及び効果付加のうち少なくとも1つを実行することによって前記ダウンミックス信号を修正する、請求項9に記載のオーディオデコーディング装置。
【請求項11】
前記ダウンミックスプロセシング部が、時間ドメインまたは周波数ドメインのいずれかで前記ダウンミックス信号を修正する、請求項9に記載のオーディオデコーディング装置。
【請求項12】
前記マルチチャネルオーディオ信号に残響処理を実行するチャネルプロセシング部をさらに含む、請求項9に記載のオーディオデコーディング装置。
【請求項13】
エフェクトプロセシングによって得た予め定められた信号を前記マルチチャネルオーディオ信号に付加するチャネルプロセシング部をさらに含む、請求項9に記載のオーディオデコーディング装置。
【請求項14】
オーディオ信号からオブジェクトベース付加情報及びダウンミックス信号を抽出し、
前記ダウンミックス信号をレンダリングするための制御情報及びオブジェクトベース付加情報に基づいて1つ以上のプロセシングパラメータ及びチャネルベース付加情報を生成し、
前記チャネルベース付加情報及び前記ダウンミックス信号を用いてマルチチャネルオーディオ信号を生成し、
前記プロセシングパラメータを用いて前記マルチチャネルオーディオ信号を修正する、
ことを特徴とするオーディオデコーディング方法。
【請求項15】
前記ダウンミックス信号を修正する場合において、前記パラメータを用いて前記マルチチャネルオーディオ信号に残響処理を実行する、請求項14に記載のオーディオ信号デコーディング方法。
【請求項16】
前記ダウンミックス信号を修正する場合において、エフェクトプロセシングによって得た信号を前記マルチチャネルオーディオ信号に付加する、請求項14に記載のオーディオ信号デコーディング方法。
【請求項17】
オーディオ信号からオブジェクトベース付加情報及びダウンミックス信号を抽出するデマルチプレクサと、
前記ダウンミックス信号をレンダリングするための制御情報及びオブジェクトベース付加情報に基づいて1つ以上のプロセシングパラメータ及びチャネルベース付加情報を生成するパラメータコンバーティング部と、
前記チャネルベース付加情報及び前記ダウンミックス信号を用いてマルチチャネルオーディオ信号を生成するマルチチャネルデコーディング部と、
前記プロセシングパラメータを用いて前記マルチチャネルオーディオ信号を修正するチャネルプロセシング部と、
を含むことを特徴とするオーディオデコーディング装置。
【請求項18】
前記チャネルプロセシング部が、前記パラメータを用いて前記マルチチャネルオーディオ信号に残響処理を実行する、請求項17に記載のオーディオデコーディング装置。
【請求項19】
前記チャネルプロセシング部が、エフェクトプロセシングによって得た信号を前記マルチチャネルオーディオ信号に付加する、請求項17に記載のオーディオデコーディング装置。
【請求項20】
オーディオ信号からオブジェクトベース付加情報及びダウンミックス信号を抽出し、
前記ダウンミックス信号をレンダリングするための制御情報及びオブジェクトベース付加情報に基づいてチャネルベース付加情報を生成し、
デコリレートされたチャネル信号を用いて前記ダウンミックス信号を処理し、
前記チャネルベース付加情報及びスワッピングによって得た前記処理されたダウンミックス信号を用いてマルチチャネルオーディオ信号を生成する、オーディオデコーディング方法を記録したコンピュータ読取可能記録媒体。
【請求項21】
オーディオ信号からオブジェクトベース付加情報及びダウンミックス信号を抽出し、
前記ダウンミックス信号をレンダリングするための制御情報及びオブジェクトベース付加情報に基づいて1つ以上のプロセシングパラメータ及びチャネルベース付加情報を生成し、
前記チャネルベース付加情報及び前記ダウンミックス信号を用いてマルチチャネルオーディオ信号を生成し、
前記プロセシングパラメータを用いて前記マルチチャネルオーディオ信号を修正する、オーディオデコーディング方法を記録したコンピュータ読取可能記録媒体。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【公表番号】特表2010−505142(P2010−505142A)
【公表日】平成22年2月18日(2010.2.18)
【国際特許分類】
【出願番号】特願2009−530281(P2009−530281)
【出願日】平成19年10月1日(2007.10.1)
【国際出願番号】PCT/KR2007/004803
【国際公開番号】WO2008/039043
【国際公開日】平成20年4月3日(2008.4.3)
【出願人】(502032105)エルジー エレクトロニクス インコーポレイティド (2,269)
【公表日】平成22年2月18日(2010.2.18)
【国際特許分類】
【出願日】平成19年10月1日(2007.10.1)
【国際出願番号】PCT/KR2007/004803
【国際公開番号】WO2008/039043
【国際公開日】平成20年4月3日(2008.4.3)
【出願人】(502032105)エルジー エレクトロニクス インコーポレイティド (2,269)
[ Back to top ]