オーディオ信号の処理方法及び装置
【課題】既に設定されたプリセット情報及びプリセットメタデータを用いてオブジェクトのレベルと位置をコントロールすることができるオーディオ信号処理方法及び装置を提供する。
【解決手段】少なくとも一つのオブジェクトを含むダウンミックス信号、前記オブジェクトの属性に基づくオブジェクト情報、前記ダウンミックス信号をレンダリングするためのプリセット情報及び前記プリセット情報の属性を表すプリセット属性情報を受信する段階と、前記プリセット属性情報に基づいて前記プリセット情報が構成情報領域の拡張領域に含まれた場合、前記プリセット情報を前記ダウンミックス信号の全データ領域に適用することによって前記ダウンミックス信号をレンダリングする段階と、前記プリセット属性情報に基づいて前記プリセット情報がデータ領域の拡張領域に含まれた場合、前記プリセット情報を前記ダウンミックス信号の一つの対応するデータ領域に適用することによって前記ダウンミックス信号をレンダリングする段階と、を有することを特徴とするオーディオ信号処理方法が開示される。
したがって、音源の特性によって、プリセット情報をダウンミックス信号の一つのデータ領域に適用するか、あるいは、プリセット情報をダウンミックス信号の全データ領域に適用するかをそれぞれ選択することによって、オーディオ信号を効率的に復元することができる。
【解決手段】少なくとも一つのオブジェクトを含むダウンミックス信号、前記オブジェクトの属性に基づくオブジェクト情報、前記ダウンミックス信号をレンダリングするためのプリセット情報及び前記プリセット情報の属性を表すプリセット属性情報を受信する段階と、前記プリセット属性情報に基づいて前記プリセット情報が構成情報領域の拡張領域に含まれた場合、前記プリセット情報を前記ダウンミックス信号の全データ領域に適用することによって前記ダウンミックス信号をレンダリングする段階と、前記プリセット属性情報に基づいて前記プリセット情報がデータ領域の拡張領域に含まれた場合、前記プリセット情報を前記ダウンミックス信号の一つの対応するデータ領域に適用することによって前記ダウンミックス信号をレンダリングする段階と、を有することを特徴とするオーディオ信号処理方法が開示される。
したがって、音源の特性によって、プリセット情報をダウンミックス信号の一つのデータ領域に適用するか、あるいは、プリセット情報をダウンミックス信号の全データ領域に適用するかをそれぞれ選択することによって、オーディオ信号を効率的に復元することができる。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、オーディオ信号の処理方法及び装置に係り、特に、デジタル媒体、放送信号などから受信されたオーディオ信号を処理できるオーディオ信号の処理方法及び装置に関するものである。
【背景技術】
【0002】
複数個のオブジェクトを含むオーディオ信号を、モノまたはステレオ信号にダウンミックスしてダウンミックス信号を生成する過程において、オブジェクトからパラメータが抽出される。これらのパラメータは、ダウンミックスされた信号をデコーディングする過程で用いられ、オブジェクトの位置(position)及びゲイン(gain)は、パラメータの他に、ユーザの選択によってコントロールすることもできる。
【発明の概要】
【発明が解決しようとする課題】
【0003】
ダウンミックス信号に含まれているオブジェクトは、ユーザの選択によって調節しなければならない。しかし、ユーザによってオブジェクトを制御する場合、直接すべてのオブジェクト信号を制御しなければならないという面倒さがあり、専門家によって制御される場合に比べてオーディオ信号を最適の状態に再現し難い。
【0004】
本発明は、従来技術の制限や欠点による上記問題のうちの一つ又は複数を実質的に防止するオーディオ信号の処理方法および装置を対象とする。
【0005】
本発明は上記問題を解決するためのもので、その目的は、既に設定されたプリセット情報及びプリセットメタデータを用いてオブジェクトのレベルと位置をコントロールすることができるオーディオ信号処理方法及び装置を提供することにある。
【0006】
本発明の他の目的は、音源の特性によってプリセット情報及びプリセットメタデータをダウンミックス信号の全データ領域にまたはダウンミックス信号の一つのデータ領域に適用することによって、ダウンミックス信号に含まれたオブジェクトを調節できるオーディオ信号処理方法及び装置を提供することにある。
【0007】
本発明のさらに他の目的は、ユーザの選択に基づいてディスプレイ部に表示されたプリセットメタデータのうち一つを選択し、これに対応するプリセット情報を用いてオブジェクトのレベル及び位置をコントロールすることができるオーディオ信号処理方法及び装置を提供することにある。
【0008】
本発明のさらに他の目的は、プリセット情報が適用されて調節されたオブジェクト及び選択されたプリセットメタデータをディスプレイ部に表示することによって、ユーザから選択信号を受信することができるオーディオ信号処理方法及び装置を提供することにある。
【課題を解決するための手段】
【0009】
上記目的を達成するために、本発明によるオーディオ信号処理方法は、少なくとも一つのオブジェクトを含むダウンミックス信号、前記オブジェクトの属性に基づくオブジェクト情報、前記ダウンミックス信号をレンダリングするためのプリセット情報及び前記プリセット情報の属性を表すプリセット属性情報を受信する段階と、前記プリセット属性情報に基づいて前記プリセット情報が構成情報領域に含まれた場合、前記プリセット情報を前記ダウンミックス信号の全データ領域に適用することによって前記ダウンミックス信号をレンダリングする段階と、前記プリセット属性情報に基づいてプリセット情報がデータ領域に含まれた場合、前記プリセット情報を前記ダウンミックス信号の対応する一つのデータ領域に適用することによって前記ダウンミックス信号をレンダリングする段階と、を含み、前記プリセット情報は、前記プリセット情報の個数を表すプリセット個数情報及び前記レンダリングされたダウンミックス信号の出力チャネルの個数を表す出力チャネル情報に基づいて獲得される。前記プリセット属性情報は、前記プリセット情報が前記データ領域の拡張領域に含まれるか否かを表すことができる。
【0010】
前記プリセット属性情報は、前記プリセット情報が変動であるかまたは固定であるかを表すことができる。
【0011】
前記プリセット情報は、前記変動は、前記プリセット情報が前記データ領域の拡張領域に存在することを表し、前記固定は、前記プリセット情報が前記構成情報領域の拡張領域に含まれることを表すことができる。本発明に係るオーディオ信号処理方法は、前記オブジェクト情報及び前記プリセット情報を用いて、前記ダウンミックス信号のパニングまたはゲインを調節するダウンミックス処理情報及び前記ダウンミックス信号をアップミキシングするマルチチャネル情報を生成する段階と、前記ダウンミックス処理情報を用いて前記ダウンミックス信号を修正する段階と、をさらに含むことができる。
【0012】
また、上記目的を達成するために、本発明によるオーディオ信号処理装置は、少なくとも一つのオブジェクトを含むダウンミックス信号及び前記オブジェクトの属性に基づくオブジェクト情報を受信する信号受信部と、ダウンミックス信号をレンダリングするためのプリセット情報の属性を表すプリセット属性情報を受信するプリセット属性情報受信部と、前記プリセット属性情報に基づいて前記プリセット情報が構成情報領域の拡張領域に含まれた場合、前記ダウンミックス信号の全データ領域に対応するプリセットモードを受信する固定プリセットモード受信部と、前記プリセット属性情報に基づいて前記プリセット情報がデータ領域の拡張領域に含まれた場合、前記ダウンミックス信号の一つのデータ領域に対応するプリセットモードを受信する変動プリセットモード受信部と、前記プリセット情報を前記ダウンミックス信号の全データ領域または一つのデータ領域に適用して前記ダウンミックス信号をレンダリングするレンダリング部と、
を含み、前記プリセットモードは、前記プリセット情報及び前記プリセット情報に対応するプリセットメタデータを含み、前記プリセットメタデータは、前記プリセット情報の特性を表すことができる。
【発明の効果】
【0013】
本発明は、下記の効果及び利点を提供する。
【0014】
第一に、それぞれのオブジェクトに対するユーザの設定なしに、既に設定された複数個のプリセット情報のうちの一つを複数個のプリセットメタデータを用いて選択することによって容易にオブジェクトの出力チャネルのレベルを調節することができる。
【0015】
第二に、音源の特性によってプリセット情報をデータ領域単位に個別に選択して適用したり、ダウンミックス信号の全データ領域に同一のプリセット情報を選択して適用したりすることによって、オーディオ信号を効率的に復元することができる。
【0016】
第三に、プリセット情報が適用されて調節されたオブジェクト及び選択されたプリセットメタデータをディスプレイ部を介して確認することによって、より適切なプリセット情報を選択してオブジェクトの出力チャネルのレベルまたは位置を調節することができる。
【図面の簡単な説明】
【0017】
【図1】本発明の一実施例による、ダウンミックス信号に含まれたオブジェクトに適用されるプリセットモードの概念図である。
【図2A】本発明の一実施例による、プリセット属性情報に基づいてプリセット情報を適用することによって、ダウンミックス信号に含まれたオブジェクトを調節する概念図である。
【図2B】本発明の一実施例による、プリセット属性情報に基づいてプリセット情報を適用することによって、ダウンミックス信号に含まれたオブジェクトを調節する概念図である。
【図3】本発明の一実施例によるオーディオ信号処理装置を示す図である。
【図4A】本発明の一実施例によってプリセット情報がレンダリング部に適用される方法を示すブロック図である。
【図4B】本発明の一実施例によってプリセット情報がレンダリング部に適用される方法を示すブロック図である。
【図5】本発明の他の実施例による変動プリセット情報受信部及び固定プリセット情報受信部の概略的な構成を示すブロック図である。
【図6】本発明の他の実施例によるオーディオ信号処理装置を示す図である。
【図7】本発明の他の実施例によるオーディオ信号処理方法においてプリセット情報と関連したシンタックス(syntax)を様々な方法で表現したものである。
【図8】本発明の他の実施例によるオーディオ信号処理方法においてプリセット情報と関連したシンタックスを様々な方法で表現したものである。
【図9】本発明の他の実施例によるオーディオ信号処理方法においてプリセット情報と関連したシンタックスを様々な方法で表現したものである。
【図10】本発明の他の実施例によるオーディオ信号処理方法においてプリセット情報と関連したシンタックスを様々な方法で表現したものである。
【図11】本発明の他の実施例によるオーディオ信号処理方法においてプリセット情報と関連したシンタックスを様々な方法で表現したものである。
【図12】本発明のさらに他の実施例によるオーディオ信号処理装置を示す図である。
【図13】本発明のさらに他の実施例によるオーディオ信号処理装置のディスプレイ部の一例を示す図である。
【図14】本発明のさらに他の実施例によってプリセット情報が適用されたオブジェクトを表示する少なくとも一つの図形要素を示す図である。
【図15】本発明のさらに他の実施例による変動プリセット情報受信部と固定プリセットモード受信部が具現された製品の概略的な構成を示す図である。
【図16A】本発明のさらに他の実施例による変動プリセットモード受信部及び固定プリセットモード受信部が具現された製品間の関係を示す図である。
【図16B】本発明のさらに他の実施例による変動プリセットモード受信部及び固定プリセットモード受信部が具現された製品間の関係を示す図である。
【図17】本発明のさらに他の実施例による変動プリセットモード受信部及び固定プリセットモード受信部が具現された放送信号デコーディング装置の概略的な構成を示す図である。
【発明を実施するための形態】
【0018】
以下、本発明をよりよく理解するため添付された図面は、本明細書に組み込まれて本明細書の一部を構成する。これらの添付図面は、本発明の実施形態を例示し、本明細書の記載と併せて本明細書の主旨を説明するためのものである。
【0019】
本発明の他の特徴および利点は、以下の記載で説明するが、その一部については、この記載から明らかになるであろうし、あるいは、本発明の実施によって理解されるであろう。本発明の目的および他の利点は、明細書および特許請求の範囲の書面ならびに添付図面で特に示された構成によって、実現され達成されるであろう。
【0020】
上記目的を達成するために、本発明によるオーディオ信号処理方法は、少なくとも一つのオブジェクトを含むダウンミックス信号、前記オブジェクトの属性に基づくオブジェクト情報、前記ダウンミックス信号をレンダリングするためのプリセット情報及び前記プリセット情報の属性を表すプリセット属性情報を受信する段階と、前記プリセット属性情報に基づいて前記プリセット情報が構成情報領域に含まれた場合、前記プリセット情報を前記ダウンミックス信号の全データ領域に適用することによって前記ダウンミックス信号をレンダリングする段階と、前記プリセット属性情報に基づいてプリセット情報がデータ領域に含まれた場合、前記プリセット情報を前記ダウンミックス信号の対応する一つのデータ領域に適用することによって前記ダウンミックス信号をレンダリングする段階と、を含み、前記プリセット情報は、前記プリセット情報の個数を表すプリセット個数情報及び前記レンダリングされたダウンミックス信号の出力チャネルの個数を表す出力チャネル情報に基づいて獲得される。前記プリセット属性情報は、前記プリセット情報が前記データ領域の拡張領域に含まれるか否かを表すことができる。
【0021】
前記プリセット属性情報は、前記プリセット情報が変動であるかまたは固定であるかを表すことができる。
【0022】
前記プリセット情報は、前記変動は、前記プリセット情報が前記データ領域の拡張領域に存在することを表し、前記固定は、前記プリセット情報が前記構成情報領域の拡張領域に含まれることを表すことができる。本発明に係るオーディオ信号処理方法は、前記オブジェクト情報及び前記プリセット情報を用いて、前記ダウンミックス信号のパニングまたはゲインを調節するダウンミックス処理情報及び前記ダウンミックス信号をアップミキシングするマルチチャネル情報を生成する段階と、前記ダウンミックス処理情報を用いて前記ダウンミックス信号を修正する段階と、をさらに含むことができる。
【0023】
また、上記目的を達成するために、本発明によるオーディオ信号処理装置は、少なくとも一つのオブジェクトを含むダウンミックス信号及び前記オブジェクトの属性に基づくオブジェクト情報を受信する信号受信部と、ダウンミックス信号をレンダリングするためのプリセット情報の属性を表すプリセット属性情報を受信するプリセット属性情報受信部と、前記プリセット属性情報に基づいて前記プリセット情報が構成情報領域の拡張領域に含まれた場合、前記ダウンミックス信号の全データ領域に対応するプリセットモードを受信する固定プリセットモード受信部と、前記プリセット属性情報に基づいて前記プリセット情報がデータ領域の拡張領域に含まれた場合、前記ダウンミックス信号の一つのデータ領域に対応するプリセットモードを受信する変動プリセットモード受信部と、前記プリセット情報を前記ダウンミックス信号の全データ領域または一つのデータ領域に適用して前記ダウンミックス信号をレンダリングするレンダリング部と、
を含み、前記プリセットモードは、前記プリセット情報及び前記プリセット情報に対応するプリセットメタデータを含み、前記プリセットメタデータは、前記プリセット情報の特性を表すことができる。
【0024】
以下の本発明に関する概略説明とそれに続く詳細説明は、共に、実施例とその説明であり、特許請求の範囲に記載された本発明をさらに説明するためのものであることを理解されたい。
【実施例】
【0025】
以下、添付の図面を参照しつつ、本発明の好適な実施例を詳細に説明する。特に、本発明における用語は、以下で参照されるように解釈することができる。また、本明細書に開示されていない用語は、以下の本発明の技術的思想に符合する意味および概念として解釈することができる。したがって、本明細書に記載された実施例と図面に例示された構成は、本発明の最も好適な一実施例に過ぎず、本発明の技術的思想を全部示すものではないため、本出願時点においてそれらに代替可能な様々な均等物と変形例が存在することができる。
【0026】
特に、本明細書で情報(information)は、値(values)、パラメータ(parameters)、係数(coefficients)、成分(elements)などを総称する用語であり、その意味は場合によって適宜解釈すればいい。したがって、本発明はこれに限定されない。
【0027】
図1は、本発明の実施例による、ダウンミックス信号に含まれたオブジェクトに適用されるプリセットモードの概念図である。オブジェクトを調節するために既に設定された情報の集合を本明細書ではプリセットモード(preset mode)と称する。プリセットモードは、オーディオ信号の特性または聴取環境によってユーザが選択できる様々なモードを表すことができ、少なくとも一つを含むことができる。また、プリセットモードは、オブジェクトを調節するために適用されるプリセット情報(preset information)と、プリセット情報の属性などを表現するためのメタデータであるプリセットメタデータ(preset metadata)とを含む。プリセットメタデータは、テキストで表現することができ、プリセット情報の属性(例えば、コンサートホールモード、カラオケモード、ニュースモード等)を表す他、プリセット情報の作成者、作成日、プリセット情報の適用されるオブジェクト名などをはじめとする、プリセット情報を表現するための関連情報を含むことができる。一方、プリセット情報は、実質的にオブジェクトに適用されるデータで、プリセットメタデータと互いに対応し、様々な形態、例えば、マトリクス形態で表現することができる。
【0028】
図1を参照すると、プリセットモード1は、音楽信号をコンサートホールで聞くような音場感を提供するコンサートホールモード(concert hall mode)とし、プリセットモード2は、オーディオ信号からボーカル(vocal)オブジェクトのレベルを減少させたカラオケモード(karaoke mode)とし、プリセットモードnは、音声オブジェクトのレベルを増加させたニュースモード(news mode)とすることができる。また、プリセットモードは、プリセットメタデータ及びプリセット情報を含む。もし、ユーザによりプリセットモード2が選択された場合、プリセットメタデータ2のカラオケモード(karaoke mode)が表示され、このプリセットメタデータ2と関連したプリセット情報2がオブジェクトに適用されてレベルを調節することができる。
【0029】
この場合、プリセット情報は、モノプリセット情報(mono preset information)、ステレオプリセット情報(stereo preset information)及びマルチチャネルプリセット情報(multi-channel preset information)を含むことができる。プリセット情報は、オブジェクトの出力チャネルによって決定される。モノプリセット情報は、オブジェクトの出力チャネルがモノである場合に適用されるプリセット情報であり、ステレオプリセット情報は、オブジェクトの出力チャネルがステレオである場合に適用されるプリセット情報であり、マルチチャネルプリセット情報は、オブジェクトの出力チャネルがマルチチャネルである場合に適用されるプリセット情報である。オブジェクトの出力チャネルが構成情報によって決定されると、決定された出力チャネルを用いてプリセット情報のタイプが決定され、当該プリセット情報をオブジェクトに適用してレベルまたはパニングを調節することができる。
【0030】
図2A及び図2Bは、本発明の一実施例によるプリセット属性情報によってプリセット情報を適用して、ダウンミックス信号に含まれたオブジェクトを調節する概念図である。
【0031】
本発明のオーディオ信号は、エンコーダでダウンミックス信号及びオブジェクト情報にエンコーディングされ、これらは一つのビットストリームまたは別個のビットストリームの形態でデコーダに転送される。
【0032】
図2A及び図2Bを参照すると、ビットストリームに含まれたオブジェクト情報は、具体的に、構成情報領域と複数個のデータ領域(データ領域1、データ領域2、…、データ領域n)とで構成される。構成情報領域は、オブジェクト情報のビットストリームにおいて先頭部に位置している領域であり、オブジェクト情報の全データ領域に共通して適用される情報を含む。例えば、ツリー構造などを含む構成情報(configuration information)、データ領域長情報(data region length information)及びオブジェクトの個数情報(object number information)などを含むことができる。一方、データ領域は、データ領域長情報に基づいてオーディオ信号全体の時間ドメインを分割したユニットであり、フレームを含むことができる。オブジェクト情報のデータ領域は、ダウンミックス信号のデータ領域に対応し、対応するダウンミックス信号のデータ領域をアップミキシングするために用いられるオブジェクト情報を含む。オブジェクト情報は、オブジェクトレベル情報及びオブジェクトゲイン情報などを含む。
【0033】
まず、本発明の一実施例によるオーディオ信号処理方法では、ビットストリームのオブジェクト情報からプリセット属性情報(preset_attribute_information)を読む。このプリセット属性情報は、プリセット情報がビットストリームのいずれの領域に含まれているかを表すもので、特に、プリセット情報がオブジェクト情報の構成情報領域に含まれるかまたはデータ領域に含まれるかを表す。プリセット属性情報の詳細な意味は、下記の表1の通りである。
【0034】
【表1】
【0035】
まず、図2Aを参照すると、プリセット属性情報が0であって、プリセット情報が構成情報領域に含まれることを表す場合、構成情報領域から抽出されたプリセット情報はダウンミックス信号の全データ領域に同一に適用されてレンダリングを行う。
【0036】
一方、図2Bを参照すると、プリセット属性情報が1であって、プリセット情報がデータ領域に含まれることを表す場合、データ領域から抽出されたプリセット情報は、対応するダウンミックス信号のデータ領域に適用されてレンダリングを行う。例えば、データ領域1から抽出されたプリセット情報は、ダウンミックス信号のデータ領域1に適用され、データ領域nから抽出されたプリセット情報は、ダウンミックス信号のデータ領域nに適用されることができる。
【0037】
また、プリセット属性情報は、プリセット情報が変動(dynamic)であるかあるいは固定(static)であるかを表すことができる。プリセット属性情報が0で、構成情報領域に含まれる場合、プリセット情報は固定(static)とされうる。一方、プリセット属性情報が1で、データ領域に含まれる場合、プリセット情報は変動(dynamic)とされうる。この場合、プリセット情報は該当のデータ領域にのみ適用されて、対応するデータ領域のダウンミックス信号をレンダリングするので、データ領域別に変動的に適用される。この時、プリセット情報は、変動(dynamic)である場合は、データ領域の拡張領域(extension region)に存在することが好ましく、プリセット情報が固定(static)である場合は、構成情報領域の拡張領域に存在することが好ましい。
【0038】
したがって、本発明の一実施例によるオーディオ信号処理方法は、プリセット属性情報によって、音源の特性に基づいてデータ領域別に適切なプリセット情報を用いたり、同一のプリセット情報を全データ領域に用いたりして、ダウンミックス信号をレンダリングすることが可能になる。
【0039】
図3は、本発明の実施例によるオーディオ信号処理装置300を示す図である。図3を参照すると、オーディオ信号処理装置300は、プリセットモード生成部310、情報受信部(図示せず)、変動プリセットモード受信部320、固定プリセットモード受信部330、レンダリング部340を含むことができる。
【0040】
プリセットモード生成部310は、オーディオ信号に含まれたオブジェクトをレンダリング時に調節するためのプリセットモードを生成し、プリセット属性決定部311、プリセットメタデータ生成部312及びプリセット情報生成部313を含むことができる。
【0041】
プリセット属性決定部311は、上述した通り、プリセット情報を構成情報領域に含めて全データ領域に適用するか、あるいは、データ領域に含めてデータ領域別に適用するかを表すプリセット属性情報を決定する。
【0042】
その後、プリセット属性情報によって、プリセットメタデータ生成部312及びプリセット情報生成部313は、一つのプリセットメタデータ及びプリセット情報、またはデータ領域数だけのプリセットメタデータ及びプリセット情報を生成することができる。
【0043】
プリセットメタデータ生成部312は、プリセット情報を表現するテキストを受信してプリセットメタデータ(preset metadata)を生成することができる。一方、オブジェクトのレベルを調節するためのゲイン及び/またはオブジェクトの位置がプリセット情報生成部313に入力される場合、当該オブジェクトに適用されるプリセット情報を生成することができる。
【0044】
プリセット情報は、オブジェクトごとに適用されるように生成することができ、様々なタイプとすることができ、例えば、チャネルレベル差(CLD:Channel Level Difference)パラメータ、マトリクス(matrix)などを含むことができる。
【0045】
また、プリセット情報生成部313は、オブジェクトの出力チャネルの数を表す出力チャネル情報(output channel information)をさらに生成することができる。
【0046】
プリセットメタデータ生成部312で生成されたプリセットメタデータ及びプリセット情報生成部313で生成されたプリセット情報、出力チャネル情報などは、一つのビットストリームに含まれて転送されることができ、特に、ダウンミックス信号を含むビットストリームの補助領域(ancillary region)に含まれて転送されることができる。
【0047】
一方、プリセットモード生成部312は、プリセットメタデータ、プリセット情報及び出力チャネル情報がビットストリームに含まれたことを表すプリセット存在情報(preset presence information)をさらに生成することができる。プリセット存在情報は、プリセット情報などがビットストリームのどの領域に含まれているかを表すコンテナタイプ(container type)とすることもでき、どの領域に含まれているかを表さずに、単にビットストリームに含まれたか否かを表すフラグタイプ(flag type)とすることもできるが、これに限定されることはない。
【0048】
また、プリセットモード生成部312は、複数個のプリセットモードを生成することができ、それぞれのプリセットモードは、プリセット情報、プリセットメタデータ及び出力チャネル情報を含む。ここで、プリセットモード生成部312は、プリセットモードの個数を表すプリセット個数情報(preset number information)をさらに生成することができる。
【0049】
このように、プリセットモード生成部310は、プリセット属性情報、プリセットメタデータ及びプリセット情報をビットストリームの形態にして出力することができる。
【0050】
ビットストリームは、図2A及び図2Bに示すような形態を有し、情報受信部(図示せず)に入力される。情報受信部(図示せず)に入力されたビットストリームからまずプリセット属性情報を獲得し、プリセット情報が、転送されたビットストリームのどの領域に含まれたかを決定する。
【0051】
変動プリセットモード受信部320は、プリセット属性決定部311から出力されるプリセット属性情報に基づいてプリセット情報がデータ領域に含まれたことを表す場合(表1のpreset_attribute_flag=1の場合)に、動作する。
【0052】
変動プリセットモード受信部320は、該当のデータ領域に対応するプリセットメタデータを受信する変動プリセットメタデータ受信部321及びデータ領域別プリセット情報を受信する変動プリセット情報受信部322を含むことができる。変動プリセットメタデータ受信部321は、選択されたプリセットメタデータを受信して出力し、変動プリセット情報受信部322はプリセット情報を受信する。これについての詳細は、図4A乃至図5を参照して後述する。
【0053】
固定プリセットモード受信部330は、プリセット属性情報に基づいてプリセット情報が構成情報領域に含まれたことを表す場合(表1のpreset_attribute_flag=0の場合)に、動作する。
【0054】
固定プリセットモード受信部330は、全データ領域に対応するプリセットメタデータを受信する固定プリセットメタデータ受信部331及びプリセット情報を受信する固定プリセット情報受信部332を含むことができる。
【0055】
固定プリセットモード受信部330の固定プリセットメタデータ受信部331及び固定プリセット情報受信部332は、変動プリセットモード受信部320の変動プリセットメタデータ受信部321及び変動プリセット情報受信部322と略同様の構成及び機能を有し、ただし、受信されて出力されるプリセット情報及びプリセットメタデータに対応するダウンミックス信号の範囲が異なる。
【0056】
レンダリング部340は、複数個のオブジェクトを含むオーディオ信号をダウンミキシングして生成されたダウンミックス信号と変動プリセット情報受信部322から出力されたプリセット情報または固定プリセット情報受信部332から出力されたプリセット情報を受信する。このプリセット情報は、ダウンミックス信号に含まれたオブジェクトに適用されてオブジェクトのレベルを調節したりオブジェクトの位置を調節したりすることができる。
【0057】
また、オーディオ信号処理装置300がディスプレイ部(図示せず)を含む場合、変動プリセットメタデータ受信部321から出力される選択されたプリセットメタデータまたは固定プリセットメタデータ受信部331から出力される選択されたプリセットメタデータは、ディスプレイ部に表示されることができる。
【0058】
図4A及び図4Bは、本発明の実施例によるプリセット情報がレンダリング部に適用される方法を示すブロック図である。
【0059】
まず、図4Aは、変動プリセットモード受信部320から出力されたプリセット情報が、レンダリング部440に適用される方法を示す図である。変動プリセットモード受信部320は、図3における変動プリセットモード受信部320と同一であり、変動プリセットメタデータ受信部321及び変動プリセット情報受信部322を含む。
【0060】
変動プリセットモード受信部320は、データ領域ごとにプリセットメタデータ及びプリセット情報を受信して出力し、このプリセット情報はレンダリング部440に入力される。
【0061】
レンダリング部440は、プリセット情報の他に、ダウンミックス信号も受信して、データ領域別にレンダリングを行い、データ領域1のレンダリング部441、データ領域2のレンダリング部442、…、データ領域nのレンダリング部44nを含む。ここで、レンダリング部440のそれぞれのデータ領域レンダリング部44Xは、それぞれデータ領域に対応するプリセット情報を受信してダウンミックス信号に適用することによってレンダリングする。
【0062】
例えば、1番目のデータ領域は、スタジアムモードであるプリセット情報_1が適用され、2番目のデータ領域は、カラオケモードであるプリセット情報_3が適用され、6番目のデータ領域は、ニュースモードであるプリセット情報_2(ここで、プリセット情報_nのnは、データ領域モードのインデックスを表す。)が適用されることができる。この場合、プリセットメタデータもデータ領域ごとに出力されることは勿論である。
【0063】
図4Bは、固定プリセットモード受信部330から出力されたプリセット情報が、レンダリング部440で適用される方法を示す図である。固定プリセットモード受信部330は、図3の固定プリセットモード受信部330と同一に構成される。
【0064】
固定プリセットモード受信部330は、全データ領域に対応するプリセットメタデータ及びプリセット情報を受信して出力し、レンダリング部440は、プリセット情報を受信する。
【0065】
図4Bのレンダリング部440は、図4Aのレンダリング部と同様に、データ領域数だけのデータ領域レンダリング部44Xを含む。レンダリング部440は、固定プリセットモード受信部330からプリセット情報を受信する場合、全データ領域レンダリング部44Xが受信したプリセット情報をダウンミックス信号に同一に適用することによってレンダリングする。
【0066】
例えば、固定プリセット情報受信部332から出力されたプリセット情報がニュースモードを表すプリセット情報2の場合、1番目のデータ領域からn番目のデータ領域まで全データ領域にニュースモードを適用することができる。
【0067】
図5は、本発明のオーディオ信号処理装置300の変動プリセットモード受信部320に含まれる変動プリセット情報受信部322及び固定プリセットモード受信部330に含まれる固定プリセット情報受信部332の概略的な構成を示す図である。
【0068】
図5を参照すると、変動または固定プリセット情報受信部322,332は、出力チャネル情報受信部322a,332a及びプリセット情報決定部322b,332bを含む。
【0069】
出力チャネル情報受信部322a,332aは、ダウンミックス信号に含まれたオブジェクトがいくつの出力チャネルに再生されるかを表す出力チャネル情報を受信して出力する。この出力チャネル情報は、モノチャネル、ステレオチャネルまたはマルチチャネル(5.1チャネル)とすることができるが、これに限定されることはない。
【0070】
プリセット情報決定部322b,332bは、出力チャネル情報受信部322a,332bから入力された出力チャネル情報に基づいて、該当するプリセット情報を受信して出力する。このプリセット情報は、モノプリセット情報、ステレオプリセット情報またはマルチチャネルプリセット情報のうちの一つとすることができる。
【0071】
プリセット情報がマトリクスタイプである場合は、該プリセット情報の次元は、オブジェクトの数及び出力チャネルの数に基づいて決定することができ、プリセットマトリクスは、(オブジェクトの数)*(出力チャネルの数)の形態を有することができる。例えば、ダウンミックス信号に含まれたオブジェクトがn個であり、出力チャネル情報受信部322a,332aからの出力チャネルが5.1チャネル、すなわち、6個のチャネルである場合、プリセット情報決定部322b,332bは、n*6形態としたマルチチャネルプリセット情報を出力することができる。ここで、マトリクスの成分(element)は、a番目のオブジェクトがi番目のチャネルに含まれる程度を表すゲイン値である。
【0072】
図6は、本発明の他の実施例によるオーディオ信号処理装置600を示す図である。図6を参照すると、オーディオ信号処理装置600は、主に、ダウンミキシング部610、オブジェクト情報生成部620、プリセット情報生成部630、ダウンミックス信号処理部640、情報処理部650及びマルチチャネルデコーディング部660を含む。
【0073】
複数個のオブジェクトはダウンミキシング部610に入力されて、モノまたはステレオダウンミックス信号を生成する。また、複数個のオブジェクトは、オブジェクト情報生成部620に入力されて、オブジェクトのレベルを表すオブジェクトレベル情報と、ダウンミックス信号に含まれるオブジェクトのゲイン値及びステレオダウンミックス信号である場合にダウンミックスチャネルに含まれるオブジェクトの程度を含むオブジェクトゲイン情報と、オブジェクト間の関連有無を表すオブジェクト関連情報と、を含むオブジェクト情報を生成する。
【0074】
その後、ダウンミックス信号及びオブジェクト情報は、プリセットモード生成部630に入力されて、プリセット情報がビットストリームにおいてデータ領域に含まれるかまたはビットストリームにおいて構成情報領域に含まれるかを表すプリセット属性情報、オブジェクトのレベルを調節するためのプリセット情報、及びプリセット情報を表現するためのプリセットメタデータを含むプリセットモードを生成する。プリセット属性情報、プリセット情報及びプリセットメタデータを生成する過程は、図1乃至図5におけるオーディオ信号処理装置及び方法で上述した通りであるから、その詳細な説明は省略する。
【0075】
また、プリセットモード生成部630は、プリセット情報がビットストリームに存在するか否かを表すプリセット存在情報、プリセット情報の個数を表すプリセット個数情報及びプリセットメタデータの長さを表すプリセットメタデータ長情報をさらに生成することができる。
【0076】
オブジェクト情報生成部620で生成されたオブジェクト情報とプリセットモード生成部630で生成されたプリセット属性情報、プリセット情報、プリセットメタデータ、プリセット存在情報、プリセット個数情報及びプリセットメタデータ長情報は、SAOCビットストリームに含まれて転送されることができ、ダウンミックス信号も含まれた一つのビットストリームの形態として転送されることができる。この場合、ダウンミックス信号及びプリセット関連情報を含むビットストリームは、デコーディング装置の信号受信部(図示せず)に入力されることができる。
【0077】
情報処理部650は、オブジェクト情報処理部651、変動プリセットモード受信部652及び固定プリセットモード受信部653を含み、SAOCビットストリームを受信する。SAOCビットストリームが変動プリセットモード受信部652に入力されるかまたは固定プリセットモード受信部653に入力されるかは、図2乃至図5を参照して上述した通り、SAOCビットストリームに含まれたプリセット属性情報に基づいて決定される。
【0078】
変動プリセットモード受信部652及び固定プリセットモード受信部653は、SAOCビットストリームから上記のプリセット属性情報、プリセット存在情報、プリセット個数情報、プリセットメタデータ、出力チャネル情報及びプリセット情報(例えば、プリセットマトリクス)を受信し、図1乃至図5のオーディオ信号処理方法及び装置で説明された様々な実施例による方法を用いる。
【0079】
変動プリセットモード受信部652または固定プリセットモード受信部653は、プリセットメタデータとプリセット情報を出力する。
【0080】
オブジェクト情報処理部651は、受信したプリセットメタデータとプリセット情報を、SAOCビットストリームに含まれたオブジェクト情報と一緒に用いて、ダウンミックス信号を前処理(pre-processing)するためのダウンミックス処理情報とダウンミックス信号をレンダリングするためのマルチチャネル情報を生成する。この場合、変動プリセットモード受信部652から出力されるプリセット情報及びプリセットメタデータは、ダウンミックス信号の一つのデータ領域に対応するもので、固定プリセットモード受信部653から出力されるプリセット情報及びプリセットメタデータは、ダウンミックス信号の全データ領域に対応するものである。
【0081】
その後、ダウンミックス処理情報は、ダウンミックス信号処理部640に入力され、ダウンミックス信号に含まれたオブジェクトが含まれるチャネルを変動させることによってパニングを行うことができる。このように前処理されたダウンミックス信号は、情報処理部650から出力されたマルチチャネル情報と一緒にマルチチャネルデコーディング部660に入力されてアップミキシングされることで、マルチチャネルオーディオ信号を生成することができる。
【0082】
このように、本発明のオーディオ信号処理装置は、複数個のオブジェクトを含むダウンミックス信号を、オブジェクト情報を用いてマルチチャネル信号にデコーディングする際に、既に設定されたプリセット情報及びプリセットメタデータをさらに用いることによって容易にオブジェクトのレベルを調節することができる。また、この時、オブジェクトに適用されるプリセット情報は、プリセット属性情報に基づいてデータ領域ごとに個別に適用されたり、全データ領域に同一に適用されたりすることによって、音源の特性によって適切に音場感を向上させることができる。
【0083】
図7乃至図11は、本発明の他の実施例によるオーディオ信号処理方法を示すシンタックス(syntax)を様々な方法で表現したものである。図7を参照すると、プリセット情報と関連した情報は、ビットストリームの構成情報領域(SAOCSpecificConfig())に存在することができる。
【0084】
まず、ビットストリームの構成情報領域からプリセット個数情報(bsNumPresets)を獲得することができる。また、プリセット個数情報に基づいてプリセット情報(i番目のプリセット情報)ごとにプリセット情報が適用されるオブジェクトの出力チャネルを表す出力チャネル情報(bsPresetLevel[i])を獲得することができる。この出力チャネル情報の意味は、下記の表2の通りである。
【0085】
【表2】
【0086】
その後、プリセット情報が構成情報領域に含まれるのか或いはデータ領域に含まれるかを表すプリセット属性情報(bsPresetDynamic[i])を獲得することができる。図7に示すように、プリセット属性情報(bsPresetDynamic[i])が0の場合、固定プリセットモード(static preset mode)を表し、全データ領域に対応してダウンミックス信号のオブジェクトレベルまたはパニングを調節するためのプリセット情報(getPreset())を獲得する。この時、プリセットメタデータ(PresetMetaData(numPresets))もプリセット情報に対応して構成情報領域に含まれることができる。このプリセット属性情報の意味は、下記表3の通りである。
【0087】
【表3】
【0088】
図8は、図7に示すプリセット属性情報(bsPresetDynamic[i])が、プリセット情報がデータ領域に含まれることを表す場合、データ領域情報に対するシンタックスを表現したものである。図8を参照すると、図7のプリセット属性情報(bsPresetDynamic[i])が1の場合、if(!bsPresetDynamic[i])ループを外れるので、構成情報領域からプリセット情報を獲得しない。その後、図8に示すように、データ領域で(SAOCFrame() {if(bsPresetDynamic[i])})条件を満たすので、プリセット情報(getPreset())を獲得することができる。このプリセット情報はデータ領域から獲得されるので、図7のプリセット情報が全データ領域に同一に適用されることと違い、該当のデータ領域にのみ適用されることができる。
【0089】
一方、図7及び図8では、プリセット情報が構成情報領域(SAOCSpecificConfig())及びデータ領域(SAOCFrame())に含まれているが、構成情報領域拡張領域(SAOCExtensionConfig())及びデータ領域拡張領域(SAOCEXtensionFrame())に含まれることもできる。
【0090】
この時、構成情報領域拡張領域及びデータ領域拡張領域に含まれるプリセット情報は、図7及び図8を参照して説明されたプリセット情報と同一である。また、構成情報領域拡張領域及びデータ領域拡張領域は、プリセット情報の他に、プリセット情報に対応するプリセットメタデータ、出力チャネル情報、プリセット存在情報などをさらに含むこともできる。
【0091】
図9は、本発明の他の実施例によるプリセット情報を表すシンタックスである。図9を参照すると、プリセット情報は、EcDataを用いて生成されたものとすることができる。一方、プリセット情報は、EcDataではなくゲイン値自体を転送して用いる方法を利用することができ、チャネル差情報(CLD)テーブルを用いて量子化する方法の他、別の独立したテーブルを用いて量子化することもできる。
【0092】
図10は、本発明の他の実施例によるプリセットメタデータを表すシンタックスである。図10に示すように、プリセットメタデータは、まず、プリセット情報に対応するメタデータの長さを表すプリセットメタデータ長情報(bsNumCharMetaData[prst])を獲得する。以降、プリセットメタデータ長情報に基づいてプリセット情報ごとに各プリセット情報に対応するプリセットメタデータ(bsMetaData[prst])を獲得することができる。
【0093】
このように、プリセット情報を表現するプリセットメタデータを、メタデータの長さを表すプリセット長情報に基づいてテキスト形態で表現することによって、本発明のオーディオ信号処理方法及び装置は余分のコーディングを減らすことができる。
【0094】
図11は、本発明のさらに他の実施例によるプリセット情報を含むデータ領域のシンタックスである。図11を参照すると、プリセット情報は、オブジェクトの数(numObjects)に基づいてオブジェクト別に出力チャネル(numRenderingChannel[i])にマッピングされる情報を転送することができる。図11に示すように、プリセット情報は、ビットストリームのデータ領域から獲得することができるが、データ領域拡張領域に含まれた場合にはデータ領域拡張領域(SAOCExtensionFrame())、ビットストリームの構成情報領域に含まれた場合には構成情報領域から獲得することができる。
【0095】
図12は、本発明のさらに他の実施例によるオーディオ信号処理装置1200を示す図である。オーディオ信号処理装置1200は、主に、プリセットモード生成部1210、情報受信部(図示せず)、プリセットモード入力部1220、プリセットモード選択部1230、変動プリセットモード受信部1240、固定プリセットモード受信部1250、レンダリング部1260及びディスプレイ部1270を含む。
【0096】
図12のプリセットモード生成部1210、情報受信部(図示せず)、変動プリセットモード受信部1240、固定プリセットモード受信部1250及びレンダリング部1260は、図3のプリセットモード生成部310、変動プリセットモード受信部320、固定プリセットモード受信部330及びレンダリング部340と同一の構成及び機能を有するので、詳細な説明は省略する。
【0097】
図12を参照すると、プリセットモード入力部1220は、プリセットメタデータ生成部1212から受信した複数個のプリセットメタデータをまずディスプレイ部1270の画面に表示し、これらのうち一つのプリセットメタデータを選択する選択信号を受信する。プリセットモード選択部1230は、選択信号によって選択された一つのプリセットメタデータと該プリセットメタデータに対応するプリセット情報を選択する。
【0098】
この時、プリセット属性決定部1211から受信するプリセット属性情報(preset_attribute_information)が、プリセット情報がデータ領域に含まれることを表す場合、プリセットモード選択部1230で選択されたプリセットメタデータと該プリセットメタデータと対応するプリセット情報を、変動プリセットモード受信部1240のプリセットメタデータ受信部1241及びプリセット情報受信部1242にそれぞれ入力する。この場合、ディスプレイ部1270、プリセットモード入力部1220及びプリセットモード選択部1230は、データ領域の数だけ反復して上記動作を行うことができる。
【0099】
一方、プリセット属性決定部1211から受信するプリセット属性情報が、プリセット情報が構成情報領域に含まれることを表す場合、プリセットモード選択部1220で選択されたプリセットメタデータと該プリセットメタデータと対応するプリセット情報を、固定プリセットモード受信部1250のプリセットメタデータ受信部1251及びプリセット情報受信部1252にそれぞれ入力する。
【0100】
また、選択されたプリセット情報は、レンダリング部1260に出力される反面、選択されたプリセットメタデータはディスプレイ部1270に出力されて画面に表示される。
【0101】
ディスプレイ部1270は、プリセットモード入力部1220が選択信号を受信できるように複数個のプリセットメタデータを表示するユニットと同一のユニットとすることができ、それぞれ異なるユニットとすることもできる。ディスプレイ部1270とプリセットモード入力部1220のためにプリセットメタデータを表示するディスプレイ部が同一のユニットを用いる場合、画面に表示される説明(例えば、「プリセットモードを選択してください」、「プリセットモードXが選択されました」等)、視覚的客体、文字などを異ならせて構成することによって、それぞれの動作を区別することができる。
【0102】
図13は、オーディオ信号処理装置1200のディスプレイ部1270の一例を示す図である。ディスプレイ部1270は、選択されたプリセットメタデータの他に、プリセットメタデータに対応するプリセット情報を用いて調節されたオブジェクトのレベルまたは位置を表す少なくとも一つの図形要素を含むことができる。
【0103】
図13を参照すると、まず、図12のディスプレイ部1270に表示された複数個のプリセットメタデータ(例えば、スタジアムモード、洞窟モード、ニュースモード、ライブモード等)のうち、プリセットモード選択部1230を通じてニュースモードが選択された場合、ニュースモードに対応するプリセット情報が、ダウンミックス信号に含まれた各オブジェクトに適用される。この場合、ボーカルのレベルは増加し、他のオブジェクト(ギター、バイオリン、ドラム、…、チェロ)のレベルは減少する。
【0104】
ディスプレイ部1270に含まれた図形要素は、オブジェクトのレベルまたは位置の活性化または変化を表すために変形される。例えば、図13に示すように、ボーカルを表す図形要素のスイッチは右に移動し、他のオブジェクトを表す図形要素のスイッチは左に移動することができる。
【0105】
図形要素は、様々な方法でプリセット情報を用いて調節されたオブジェクトのレベルまたは位置を表すことができる。各オブジェクトを表す図形要素は少なくとも一つとすることができ、この場合、第1図形要素は、プリセット情報を適用する前のオブジェクトのレベルまたは位置を表し、第2図形要素は、プリセット情報を適用して調節されたオブジェクトのレベルまたは位置を表すことができる。この場合、プリセット情報を適用する前後のオブジェクトのレベルまたは位置を容易に比較できるので、プリセット情報が各オブジェクトをどのように調節するかが容易にわかる。
【0106】
図14は、プリセット情報が適用されたオブジェクトを表す他の形状の少なくとも一つの図形要素を示す図である。図14を参照すると、第1図形要素はバー(bar)形態とし、第2図形要素は、第1図形要素の内部の延長線(extensive line)とすることができる。ここで、第1図形要素は、プリセット情報を適用する前のオブジェクトのレベルまたは位置を表し、第2図形要素は、プリセット情報を適用して調節されたオブジェクトのレベルまたは位置を表す。
【0107】
図14に示すように、上部の図形要素は、プリセット情報が適用される前のオブジェクトのレベルが、適用された後のオブジェクトのレベルと同一の場合を示す。中央の図形要素は、プリセット情報が適用されて調節されたオブジェクトのレベルが、適用前よりも大きい場合を示し、下部の図形要素は、プリセット情報が適用されることによってオブジェクトのレベルが減少した場合を示す。
【0108】
このように、プリセット情報を適用する前と適用した後のオブジェクトのレベルまたは位置を表す少なくとも一つの図形要素を使用することによって、プリセット情報が各オブジェクトをどのように調節するかが容易にわかる。なお、これにより、プリセット情報の特徴を容易に把握できるので、必要に応じてユーザが適切なプリセットモードを選択するのに役立つことができる。
【0109】
図15は、本発明のさらに他の実施例による変動プリセットモード受信部及び固定プリセットモード受信部が具現された製品の概略的な構成を示す図であり、図16A及び図16Bは、本発明の実施例による変動プリセットモード受信部及び固定プリセットモード受信部が具現された製品間の関係を示す図である。
【0110】
図15を参照すると、有/無線通信部1510は、有/無線通信方式を通じてビットストリームを受信する。具体的に、有/無線通信部1510は、有線通信部1511、赤外線通信部1512、ブルトゥース部1513、無線ラン通信部1514のうち少なくとも一つを含むことができる。
【0111】
ユーザ認証部1520は、ユーザ情報を受信してユーザ認証を行うもので、指紋認識部1521、虹彩認識部1522、顔面認識部1523、及び音声認識部1524のうち少なくとも一つを含むことができる。この場合、ユーザ認証は、それぞれ、指紋、虹彩情報、顔面輪郭情報、音声情報を受信してユーザ情報に変換し、ユーザ情報と既存登録されているユーザデータとが一致するか否か判断して、ユーザ認証を行うことができる。
【0112】
入力部1530は、ユーザが様々な種類の命令を入力するための入力装置であり、キーパッド部1531、タッチパッド部1532、リモコン部1533のうちの少なくとも一つを含むことができるが、本発明はこれに限定されるわけではない。一方、後述するメタデータ受信部1541から出力される複数個のプリセット情報に対するプリセットメタデータが、ディスプレイ部1562を通じて画面に表示される場合、入力部1530を通じてユーザがプリセットメタデータを選択することができ、選択されたプリセットメタデータに関する情報が制御部1550に入力される。
【0113】
信号デコーディング部1540は、変動プリセットモード受信部1541及び固定プリセットモード受信部1542を含み、変動プリセットモード受信部1541は、プリセット属性情報に基づいて、各データ領域に対応するプリセット情報及びプリセットメタデータを受信する。また、固定プリセットモード受信部1542は、プリセット属性情報に基づいて、全データ領域に対応するプリセット情報及びプリセットメタデータを受信する。また、プリセットメタデータは、メタデータの長さを表すプリセットメタデータ長情報に基づいて受信され、プリセット情報は、プリセット情報が存在するか否かを表すプリセット存在情報、プリセット情報の個数を表すプリセット個数情報及び出力チャネルの個数に基づく、例えば、出力チャネルがモノ、ステレオ及びマルチチャネルのうち一つであることを表す出力チャネル情報に基づいて獲得される。もし、プリセット情報がマトリクスで表現された場合、出力チャネル情報を受信し、これに基づいてプリセットマトリクスを受信する。
【0114】
信号デコーディング部1540は、受信したビットストリーム、プリセットメタデータ、及びプリセット情報を用いてオーディオ信号をデコーディングして出力信号を生成し、プリセットメタデータをテキストの形態として出力する。
【0115】
制御部1550は、入力装置から入力信号を受信し、信号デコーディング部1540と出力部1560のプロセス全般を制御する。上述の通り、制御部1550に、入力部1530から選択されたプリセットメタデータに関する情報が入力信号の形態として入力され、有/無線通信部1510から、プリセット情報がビットストリームのどの領域に含まれるかを表すプリセット属性情報(preset_attribute_information)が入力される場合、変動プリセットモード受信部1541及び固定プリセットモード受信部1542は、プリセット属性情報及び入力信号に基づいて、選択されたプリセットメタデータと対応するプリセット情報を受信し、これを用いてオーディオ信号をデコーディングする。
【0116】
出力部1560は、信号デコーディング部1540により生成された出力信号などが出力される構成要素で、スピーカ部1561及びディスプレイ部1562を含むことができる。出力信号がオーディオ信号の場合、出力信号はスピーカ部1561から出力され、ビデオ信号の場合、出力信号はディスプレイ部1562から出力される。また、制御部1550から入力されたプリセットメタデータをディスプレイ部1562を通じて画面に表示する。
【0117】
図16は、図15に示す製品に該当する端末間の関係及び端末とサーバとの関係をそれぞれ示す図である。図16Aを参照すると、第1端末1610及び第2端末1620が、有/無線通信部を通じてデータまたはビットストリームを両方向に通信できることがわかる。
【0118】
有/無線通信部を通じて通信するデータまたはビットストリームは、図2A及び図2Bに示すビットストリームの形態としても良く、図1乃至図15を参照して説明した本発明のプリセット属性情報、プリセット情報、プリセットメタデータなどを含むデータとしても良い。
【0119】
図16Bを参照すると、サーバ1630及び第1端末1640も互いに有/無線通信を行うことができる。
【0120】
図17は、本発明の一実施例によるメタデータ受信部及びプリセットレンダリングデータ受信部を含むプリセット受信部が具現された放送信号デコーディング装置1700の概略的な構成を示す図である。
【0121】
図17を参照すると、デマルチプレクサ1720は、チューナ1710からTV放送と関連したデータを受信する。受信されたデータはデマルチプレクサ1720で分離され、データデコーダ1730でデコーディングされる。一方、デマルチプレクサ1720で分離されたデータは、HDDのような記憶媒体1750に記憶されることができる。
【0122】
デマルチプレクサ1720で分離されたデータは、オーディオデコーダ1741及びビデオデコーダ1742を含むデコーダ1740に入力されて、オーディオ信号及びビデオ信号をデコーディングする。オーディオデコーダ1741は、本発明の一実施例による変動プリセットモード受信部1741A及び固定プリセットモード受信部1741Bを含み、変動プリセットモード受信部1741Aは、プリセット属性情報に基づいて各データ領域に対応するプリセット情報及びプリセットメタデータを受信する。また、固定プリセットモード受信部1741Bは、プリセット属性情報に基づいて全データ領域に対応するプリセット情報及びプリセットメタデータを受信する。
【0123】
また、プリセットメタデータは、メタデータの長さを表すプリセットメタデータ長情報に基づいて受信され、プリセット情報は、プリセット情報が存在するか否かを表すプリセット存在情報、プリセット情報の個数を表すプリセット個数情報、及び出力チャネルがモノ、ステレオ及びマルチチャネルのうちの一つであることを表す出力チャネル情報に基づいて獲得される。もし、プリセット情報がマトリクスで表現された場合、出力チャネル情報を受信してこれに基づいてプリセットマトリクスを受信する。
【0124】
オーディオデコーダ1741は、受信されたビットストリーム、プリセットメタデータ、及びプリセット情報を用いてオーディオ信号をデコーディングして出力信号を生成し、プリセットメタデータをテキスト形態として出力する。
【0125】
ディスプレイ部1770は、ビデオデコーダ1742から出力されたビデオ信号とオーディオデコーダ1741から出力されたプリセットメタデータを画面に表示する。また、ディスプレイ部1770は、スピーカ部(図示せず)を含み、オーディオデコーダ1741から出力されるオブジェクトのレベルがプリセット情報を用いて調節されたオーディオ信号を、ディスプレイ部1770に含まれたスピーカ部から出力する。また、デコーダ1740でデコーディングされたデータは、HDDのような記憶媒体1750に記憶することができる。
【0126】
一方、信号デコーディング装置1700は、ユーザから情報を受信し、受信したデータを制御できるアプリケーションマネージャ1760をさらに含むことができる。
【0127】
アプリケーションマネージャ1760は、ユーザインターフェースマネージャ1761及びサービスマネージャ1762を含む。ユーザインターフェースマネージャ1761は、ユーザから情報を受信するためのインターフェース(interface)を制御する。例えば、ディスプレイ部1770に表示されるテキストの書体、画面の明るさ、メニュー構成などを制御することができる。一方、サービスマネージャ1762は、デコーダ1740及びディスプレイ部1770で放送信号をデコーディングして出力する場合、受信される放送信号を、ユーザから入力される情報を用いて制御できる。例えば、放送チャネルの設定、アラーム機能設定、成人認証機能などを提供することができる。アプリケーションマネージャ1760から出力されるデータは、デコーダ1740の他に、ディスプレイ部1770にも転送されて利用可能である。
【0128】
以上では具体的な実施例及び図面に基づいて本発明を説明してきたが、本発明は、それらの具体例に限定されず、本発明の属する技術分野における通常の知識を有する者にとっては、本発明の技術思想及び添付の特許請求の範囲とその均等範囲内で様々な修正及び変形が可能であるということは明らかである。
【産業上の利用可能性】
【0129】
本発明は、オーディオ信号をエンコーディング及びデコーディングするのに適用することができる。
【技術分野】
【0001】
本発明は、オーディオ信号の処理方法及び装置に係り、特に、デジタル媒体、放送信号などから受信されたオーディオ信号を処理できるオーディオ信号の処理方法及び装置に関するものである。
【背景技術】
【0002】
複数個のオブジェクトを含むオーディオ信号を、モノまたはステレオ信号にダウンミックスしてダウンミックス信号を生成する過程において、オブジェクトからパラメータが抽出される。これらのパラメータは、ダウンミックスされた信号をデコーディングする過程で用いられ、オブジェクトの位置(position)及びゲイン(gain)は、パラメータの他に、ユーザの選択によってコントロールすることもできる。
【発明の概要】
【発明が解決しようとする課題】
【0003】
ダウンミックス信号に含まれているオブジェクトは、ユーザの選択によって調節しなければならない。しかし、ユーザによってオブジェクトを制御する場合、直接すべてのオブジェクト信号を制御しなければならないという面倒さがあり、専門家によって制御される場合に比べてオーディオ信号を最適の状態に再現し難い。
【0004】
本発明は、従来技術の制限や欠点による上記問題のうちの一つ又は複数を実質的に防止するオーディオ信号の処理方法および装置を対象とする。
【0005】
本発明は上記問題を解決するためのもので、その目的は、既に設定されたプリセット情報及びプリセットメタデータを用いてオブジェクトのレベルと位置をコントロールすることができるオーディオ信号処理方法及び装置を提供することにある。
【0006】
本発明の他の目的は、音源の特性によってプリセット情報及びプリセットメタデータをダウンミックス信号の全データ領域にまたはダウンミックス信号の一つのデータ領域に適用することによって、ダウンミックス信号に含まれたオブジェクトを調節できるオーディオ信号処理方法及び装置を提供することにある。
【0007】
本発明のさらに他の目的は、ユーザの選択に基づいてディスプレイ部に表示されたプリセットメタデータのうち一つを選択し、これに対応するプリセット情報を用いてオブジェクトのレベル及び位置をコントロールすることができるオーディオ信号処理方法及び装置を提供することにある。
【0008】
本発明のさらに他の目的は、プリセット情報が適用されて調節されたオブジェクト及び選択されたプリセットメタデータをディスプレイ部に表示することによって、ユーザから選択信号を受信することができるオーディオ信号処理方法及び装置を提供することにある。
【課題を解決するための手段】
【0009】
上記目的を達成するために、本発明によるオーディオ信号処理方法は、少なくとも一つのオブジェクトを含むダウンミックス信号、前記オブジェクトの属性に基づくオブジェクト情報、前記ダウンミックス信号をレンダリングするためのプリセット情報及び前記プリセット情報の属性を表すプリセット属性情報を受信する段階と、前記プリセット属性情報に基づいて前記プリセット情報が構成情報領域に含まれた場合、前記プリセット情報を前記ダウンミックス信号の全データ領域に適用することによって前記ダウンミックス信号をレンダリングする段階と、前記プリセット属性情報に基づいてプリセット情報がデータ領域に含まれた場合、前記プリセット情報を前記ダウンミックス信号の対応する一つのデータ領域に適用することによって前記ダウンミックス信号をレンダリングする段階と、を含み、前記プリセット情報は、前記プリセット情報の個数を表すプリセット個数情報及び前記レンダリングされたダウンミックス信号の出力チャネルの個数を表す出力チャネル情報に基づいて獲得される。前記プリセット属性情報は、前記プリセット情報が前記データ領域の拡張領域に含まれるか否かを表すことができる。
【0010】
前記プリセット属性情報は、前記プリセット情報が変動であるかまたは固定であるかを表すことができる。
【0011】
前記プリセット情報は、前記変動は、前記プリセット情報が前記データ領域の拡張領域に存在することを表し、前記固定は、前記プリセット情報が前記構成情報領域の拡張領域に含まれることを表すことができる。本発明に係るオーディオ信号処理方法は、前記オブジェクト情報及び前記プリセット情報を用いて、前記ダウンミックス信号のパニングまたはゲインを調節するダウンミックス処理情報及び前記ダウンミックス信号をアップミキシングするマルチチャネル情報を生成する段階と、前記ダウンミックス処理情報を用いて前記ダウンミックス信号を修正する段階と、をさらに含むことができる。
【0012】
また、上記目的を達成するために、本発明によるオーディオ信号処理装置は、少なくとも一つのオブジェクトを含むダウンミックス信号及び前記オブジェクトの属性に基づくオブジェクト情報を受信する信号受信部と、ダウンミックス信号をレンダリングするためのプリセット情報の属性を表すプリセット属性情報を受信するプリセット属性情報受信部と、前記プリセット属性情報に基づいて前記プリセット情報が構成情報領域の拡張領域に含まれた場合、前記ダウンミックス信号の全データ領域に対応するプリセットモードを受信する固定プリセットモード受信部と、前記プリセット属性情報に基づいて前記プリセット情報がデータ領域の拡張領域に含まれた場合、前記ダウンミックス信号の一つのデータ領域に対応するプリセットモードを受信する変動プリセットモード受信部と、前記プリセット情報を前記ダウンミックス信号の全データ領域または一つのデータ領域に適用して前記ダウンミックス信号をレンダリングするレンダリング部と、
を含み、前記プリセットモードは、前記プリセット情報及び前記プリセット情報に対応するプリセットメタデータを含み、前記プリセットメタデータは、前記プリセット情報の特性を表すことができる。
【発明の効果】
【0013】
本発明は、下記の効果及び利点を提供する。
【0014】
第一に、それぞれのオブジェクトに対するユーザの設定なしに、既に設定された複数個のプリセット情報のうちの一つを複数個のプリセットメタデータを用いて選択することによって容易にオブジェクトの出力チャネルのレベルを調節することができる。
【0015】
第二に、音源の特性によってプリセット情報をデータ領域単位に個別に選択して適用したり、ダウンミックス信号の全データ領域に同一のプリセット情報を選択して適用したりすることによって、オーディオ信号を効率的に復元することができる。
【0016】
第三に、プリセット情報が適用されて調節されたオブジェクト及び選択されたプリセットメタデータをディスプレイ部を介して確認することによって、より適切なプリセット情報を選択してオブジェクトの出力チャネルのレベルまたは位置を調節することができる。
【図面の簡単な説明】
【0017】
【図1】本発明の一実施例による、ダウンミックス信号に含まれたオブジェクトに適用されるプリセットモードの概念図である。
【図2A】本発明の一実施例による、プリセット属性情報に基づいてプリセット情報を適用することによって、ダウンミックス信号に含まれたオブジェクトを調節する概念図である。
【図2B】本発明の一実施例による、プリセット属性情報に基づいてプリセット情報を適用することによって、ダウンミックス信号に含まれたオブジェクトを調節する概念図である。
【図3】本発明の一実施例によるオーディオ信号処理装置を示す図である。
【図4A】本発明の一実施例によってプリセット情報がレンダリング部に適用される方法を示すブロック図である。
【図4B】本発明の一実施例によってプリセット情報がレンダリング部に適用される方法を示すブロック図である。
【図5】本発明の他の実施例による変動プリセット情報受信部及び固定プリセット情報受信部の概略的な構成を示すブロック図である。
【図6】本発明の他の実施例によるオーディオ信号処理装置を示す図である。
【図7】本発明の他の実施例によるオーディオ信号処理方法においてプリセット情報と関連したシンタックス(syntax)を様々な方法で表現したものである。
【図8】本発明の他の実施例によるオーディオ信号処理方法においてプリセット情報と関連したシンタックスを様々な方法で表現したものである。
【図9】本発明の他の実施例によるオーディオ信号処理方法においてプリセット情報と関連したシンタックスを様々な方法で表現したものである。
【図10】本発明の他の実施例によるオーディオ信号処理方法においてプリセット情報と関連したシンタックスを様々な方法で表現したものである。
【図11】本発明の他の実施例によるオーディオ信号処理方法においてプリセット情報と関連したシンタックスを様々な方法で表現したものである。
【図12】本発明のさらに他の実施例によるオーディオ信号処理装置を示す図である。
【図13】本発明のさらに他の実施例によるオーディオ信号処理装置のディスプレイ部の一例を示す図である。
【図14】本発明のさらに他の実施例によってプリセット情報が適用されたオブジェクトを表示する少なくとも一つの図形要素を示す図である。
【図15】本発明のさらに他の実施例による変動プリセット情報受信部と固定プリセットモード受信部が具現された製品の概略的な構成を示す図である。
【図16A】本発明のさらに他の実施例による変動プリセットモード受信部及び固定プリセットモード受信部が具現された製品間の関係を示す図である。
【図16B】本発明のさらに他の実施例による変動プリセットモード受信部及び固定プリセットモード受信部が具現された製品間の関係を示す図である。
【図17】本発明のさらに他の実施例による変動プリセットモード受信部及び固定プリセットモード受信部が具現された放送信号デコーディング装置の概略的な構成を示す図である。
【発明を実施するための形態】
【0018】
以下、本発明をよりよく理解するため添付された図面は、本明細書に組み込まれて本明細書の一部を構成する。これらの添付図面は、本発明の実施形態を例示し、本明細書の記載と併せて本明細書の主旨を説明するためのものである。
【0019】
本発明の他の特徴および利点は、以下の記載で説明するが、その一部については、この記載から明らかになるであろうし、あるいは、本発明の実施によって理解されるであろう。本発明の目的および他の利点は、明細書および特許請求の範囲の書面ならびに添付図面で特に示された構成によって、実現され達成されるであろう。
【0020】
上記目的を達成するために、本発明によるオーディオ信号処理方法は、少なくとも一つのオブジェクトを含むダウンミックス信号、前記オブジェクトの属性に基づくオブジェクト情報、前記ダウンミックス信号をレンダリングするためのプリセット情報及び前記プリセット情報の属性を表すプリセット属性情報を受信する段階と、前記プリセット属性情報に基づいて前記プリセット情報が構成情報領域に含まれた場合、前記プリセット情報を前記ダウンミックス信号の全データ領域に適用することによって前記ダウンミックス信号をレンダリングする段階と、前記プリセット属性情報に基づいてプリセット情報がデータ領域に含まれた場合、前記プリセット情報を前記ダウンミックス信号の対応する一つのデータ領域に適用することによって前記ダウンミックス信号をレンダリングする段階と、を含み、前記プリセット情報は、前記プリセット情報の個数を表すプリセット個数情報及び前記レンダリングされたダウンミックス信号の出力チャネルの個数を表す出力チャネル情報に基づいて獲得される。前記プリセット属性情報は、前記プリセット情報が前記データ領域の拡張領域に含まれるか否かを表すことができる。
【0021】
前記プリセット属性情報は、前記プリセット情報が変動であるかまたは固定であるかを表すことができる。
【0022】
前記プリセット情報は、前記変動は、前記プリセット情報が前記データ領域の拡張領域に存在することを表し、前記固定は、前記プリセット情報が前記構成情報領域の拡張領域に含まれることを表すことができる。本発明に係るオーディオ信号処理方法は、前記オブジェクト情報及び前記プリセット情報を用いて、前記ダウンミックス信号のパニングまたはゲインを調節するダウンミックス処理情報及び前記ダウンミックス信号をアップミキシングするマルチチャネル情報を生成する段階と、前記ダウンミックス処理情報を用いて前記ダウンミックス信号を修正する段階と、をさらに含むことができる。
【0023】
また、上記目的を達成するために、本発明によるオーディオ信号処理装置は、少なくとも一つのオブジェクトを含むダウンミックス信号及び前記オブジェクトの属性に基づくオブジェクト情報を受信する信号受信部と、ダウンミックス信号をレンダリングするためのプリセット情報の属性を表すプリセット属性情報を受信するプリセット属性情報受信部と、前記プリセット属性情報に基づいて前記プリセット情報が構成情報領域の拡張領域に含まれた場合、前記ダウンミックス信号の全データ領域に対応するプリセットモードを受信する固定プリセットモード受信部と、前記プリセット属性情報に基づいて前記プリセット情報がデータ領域の拡張領域に含まれた場合、前記ダウンミックス信号の一つのデータ領域に対応するプリセットモードを受信する変動プリセットモード受信部と、前記プリセット情報を前記ダウンミックス信号の全データ領域または一つのデータ領域に適用して前記ダウンミックス信号をレンダリングするレンダリング部と、
を含み、前記プリセットモードは、前記プリセット情報及び前記プリセット情報に対応するプリセットメタデータを含み、前記プリセットメタデータは、前記プリセット情報の特性を表すことができる。
【0024】
以下の本発明に関する概略説明とそれに続く詳細説明は、共に、実施例とその説明であり、特許請求の範囲に記載された本発明をさらに説明するためのものであることを理解されたい。
【実施例】
【0025】
以下、添付の図面を参照しつつ、本発明の好適な実施例を詳細に説明する。特に、本発明における用語は、以下で参照されるように解釈することができる。また、本明細書に開示されていない用語は、以下の本発明の技術的思想に符合する意味および概念として解釈することができる。したがって、本明細書に記載された実施例と図面に例示された構成は、本発明の最も好適な一実施例に過ぎず、本発明の技術的思想を全部示すものではないため、本出願時点においてそれらに代替可能な様々な均等物と変形例が存在することができる。
【0026】
特に、本明細書で情報(information)は、値(values)、パラメータ(parameters)、係数(coefficients)、成分(elements)などを総称する用語であり、その意味は場合によって適宜解釈すればいい。したがって、本発明はこれに限定されない。
【0027】
図1は、本発明の実施例による、ダウンミックス信号に含まれたオブジェクトに適用されるプリセットモードの概念図である。オブジェクトを調節するために既に設定された情報の集合を本明細書ではプリセットモード(preset mode)と称する。プリセットモードは、オーディオ信号の特性または聴取環境によってユーザが選択できる様々なモードを表すことができ、少なくとも一つを含むことができる。また、プリセットモードは、オブジェクトを調節するために適用されるプリセット情報(preset information)と、プリセット情報の属性などを表現するためのメタデータであるプリセットメタデータ(preset metadata)とを含む。プリセットメタデータは、テキストで表現することができ、プリセット情報の属性(例えば、コンサートホールモード、カラオケモード、ニュースモード等)を表す他、プリセット情報の作成者、作成日、プリセット情報の適用されるオブジェクト名などをはじめとする、プリセット情報を表現するための関連情報を含むことができる。一方、プリセット情報は、実質的にオブジェクトに適用されるデータで、プリセットメタデータと互いに対応し、様々な形態、例えば、マトリクス形態で表現することができる。
【0028】
図1を参照すると、プリセットモード1は、音楽信号をコンサートホールで聞くような音場感を提供するコンサートホールモード(concert hall mode)とし、プリセットモード2は、オーディオ信号からボーカル(vocal)オブジェクトのレベルを減少させたカラオケモード(karaoke mode)とし、プリセットモードnは、音声オブジェクトのレベルを増加させたニュースモード(news mode)とすることができる。また、プリセットモードは、プリセットメタデータ及びプリセット情報を含む。もし、ユーザによりプリセットモード2が選択された場合、プリセットメタデータ2のカラオケモード(karaoke mode)が表示され、このプリセットメタデータ2と関連したプリセット情報2がオブジェクトに適用されてレベルを調節することができる。
【0029】
この場合、プリセット情報は、モノプリセット情報(mono preset information)、ステレオプリセット情報(stereo preset information)及びマルチチャネルプリセット情報(multi-channel preset information)を含むことができる。プリセット情報は、オブジェクトの出力チャネルによって決定される。モノプリセット情報は、オブジェクトの出力チャネルがモノである場合に適用されるプリセット情報であり、ステレオプリセット情報は、オブジェクトの出力チャネルがステレオである場合に適用されるプリセット情報であり、マルチチャネルプリセット情報は、オブジェクトの出力チャネルがマルチチャネルである場合に適用されるプリセット情報である。オブジェクトの出力チャネルが構成情報によって決定されると、決定された出力チャネルを用いてプリセット情報のタイプが決定され、当該プリセット情報をオブジェクトに適用してレベルまたはパニングを調節することができる。
【0030】
図2A及び図2Bは、本発明の一実施例によるプリセット属性情報によってプリセット情報を適用して、ダウンミックス信号に含まれたオブジェクトを調節する概念図である。
【0031】
本発明のオーディオ信号は、エンコーダでダウンミックス信号及びオブジェクト情報にエンコーディングされ、これらは一つのビットストリームまたは別個のビットストリームの形態でデコーダに転送される。
【0032】
図2A及び図2Bを参照すると、ビットストリームに含まれたオブジェクト情報は、具体的に、構成情報領域と複数個のデータ領域(データ領域1、データ領域2、…、データ領域n)とで構成される。構成情報領域は、オブジェクト情報のビットストリームにおいて先頭部に位置している領域であり、オブジェクト情報の全データ領域に共通して適用される情報を含む。例えば、ツリー構造などを含む構成情報(configuration information)、データ領域長情報(data region length information)及びオブジェクトの個数情報(object number information)などを含むことができる。一方、データ領域は、データ領域長情報に基づいてオーディオ信号全体の時間ドメインを分割したユニットであり、フレームを含むことができる。オブジェクト情報のデータ領域は、ダウンミックス信号のデータ領域に対応し、対応するダウンミックス信号のデータ領域をアップミキシングするために用いられるオブジェクト情報を含む。オブジェクト情報は、オブジェクトレベル情報及びオブジェクトゲイン情報などを含む。
【0033】
まず、本発明の一実施例によるオーディオ信号処理方法では、ビットストリームのオブジェクト情報からプリセット属性情報(preset_attribute_information)を読む。このプリセット属性情報は、プリセット情報がビットストリームのいずれの領域に含まれているかを表すもので、特に、プリセット情報がオブジェクト情報の構成情報領域に含まれるかまたはデータ領域に含まれるかを表す。プリセット属性情報の詳細な意味は、下記の表1の通りである。
【0034】
【表1】
【0035】
まず、図2Aを参照すると、プリセット属性情報が0であって、プリセット情報が構成情報領域に含まれることを表す場合、構成情報領域から抽出されたプリセット情報はダウンミックス信号の全データ領域に同一に適用されてレンダリングを行う。
【0036】
一方、図2Bを参照すると、プリセット属性情報が1であって、プリセット情報がデータ領域に含まれることを表す場合、データ領域から抽出されたプリセット情報は、対応するダウンミックス信号のデータ領域に適用されてレンダリングを行う。例えば、データ領域1から抽出されたプリセット情報は、ダウンミックス信号のデータ領域1に適用され、データ領域nから抽出されたプリセット情報は、ダウンミックス信号のデータ領域nに適用されることができる。
【0037】
また、プリセット属性情報は、プリセット情報が変動(dynamic)であるかあるいは固定(static)であるかを表すことができる。プリセット属性情報が0で、構成情報領域に含まれる場合、プリセット情報は固定(static)とされうる。一方、プリセット属性情報が1で、データ領域に含まれる場合、プリセット情報は変動(dynamic)とされうる。この場合、プリセット情報は該当のデータ領域にのみ適用されて、対応するデータ領域のダウンミックス信号をレンダリングするので、データ領域別に変動的に適用される。この時、プリセット情報は、変動(dynamic)である場合は、データ領域の拡張領域(extension region)に存在することが好ましく、プリセット情報が固定(static)である場合は、構成情報領域の拡張領域に存在することが好ましい。
【0038】
したがって、本発明の一実施例によるオーディオ信号処理方法は、プリセット属性情報によって、音源の特性に基づいてデータ領域別に適切なプリセット情報を用いたり、同一のプリセット情報を全データ領域に用いたりして、ダウンミックス信号をレンダリングすることが可能になる。
【0039】
図3は、本発明の実施例によるオーディオ信号処理装置300を示す図である。図3を参照すると、オーディオ信号処理装置300は、プリセットモード生成部310、情報受信部(図示せず)、変動プリセットモード受信部320、固定プリセットモード受信部330、レンダリング部340を含むことができる。
【0040】
プリセットモード生成部310は、オーディオ信号に含まれたオブジェクトをレンダリング時に調節するためのプリセットモードを生成し、プリセット属性決定部311、プリセットメタデータ生成部312及びプリセット情報生成部313を含むことができる。
【0041】
プリセット属性決定部311は、上述した通り、プリセット情報を構成情報領域に含めて全データ領域に適用するか、あるいは、データ領域に含めてデータ領域別に適用するかを表すプリセット属性情報を決定する。
【0042】
その後、プリセット属性情報によって、プリセットメタデータ生成部312及びプリセット情報生成部313は、一つのプリセットメタデータ及びプリセット情報、またはデータ領域数だけのプリセットメタデータ及びプリセット情報を生成することができる。
【0043】
プリセットメタデータ生成部312は、プリセット情報を表現するテキストを受信してプリセットメタデータ(preset metadata)を生成することができる。一方、オブジェクトのレベルを調節するためのゲイン及び/またはオブジェクトの位置がプリセット情報生成部313に入力される場合、当該オブジェクトに適用されるプリセット情報を生成することができる。
【0044】
プリセット情報は、オブジェクトごとに適用されるように生成することができ、様々なタイプとすることができ、例えば、チャネルレベル差(CLD:Channel Level Difference)パラメータ、マトリクス(matrix)などを含むことができる。
【0045】
また、プリセット情報生成部313は、オブジェクトの出力チャネルの数を表す出力チャネル情報(output channel information)をさらに生成することができる。
【0046】
プリセットメタデータ生成部312で生成されたプリセットメタデータ及びプリセット情報生成部313で生成されたプリセット情報、出力チャネル情報などは、一つのビットストリームに含まれて転送されることができ、特に、ダウンミックス信号を含むビットストリームの補助領域(ancillary region)に含まれて転送されることができる。
【0047】
一方、プリセットモード生成部312は、プリセットメタデータ、プリセット情報及び出力チャネル情報がビットストリームに含まれたことを表すプリセット存在情報(preset presence information)をさらに生成することができる。プリセット存在情報は、プリセット情報などがビットストリームのどの領域に含まれているかを表すコンテナタイプ(container type)とすることもでき、どの領域に含まれているかを表さずに、単にビットストリームに含まれたか否かを表すフラグタイプ(flag type)とすることもできるが、これに限定されることはない。
【0048】
また、プリセットモード生成部312は、複数個のプリセットモードを生成することができ、それぞれのプリセットモードは、プリセット情報、プリセットメタデータ及び出力チャネル情報を含む。ここで、プリセットモード生成部312は、プリセットモードの個数を表すプリセット個数情報(preset number information)をさらに生成することができる。
【0049】
このように、プリセットモード生成部310は、プリセット属性情報、プリセットメタデータ及びプリセット情報をビットストリームの形態にして出力することができる。
【0050】
ビットストリームは、図2A及び図2Bに示すような形態を有し、情報受信部(図示せず)に入力される。情報受信部(図示せず)に入力されたビットストリームからまずプリセット属性情報を獲得し、プリセット情報が、転送されたビットストリームのどの領域に含まれたかを決定する。
【0051】
変動プリセットモード受信部320は、プリセット属性決定部311から出力されるプリセット属性情報に基づいてプリセット情報がデータ領域に含まれたことを表す場合(表1のpreset_attribute_flag=1の場合)に、動作する。
【0052】
変動プリセットモード受信部320は、該当のデータ領域に対応するプリセットメタデータを受信する変動プリセットメタデータ受信部321及びデータ領域別プリセット情報を受信する変動プリセット情報受信部322を含むことができる。変動プリセットメタデータ受信部321は、選択されたプリセットメタデータを受信して出力し、変動プリセット情報受信部322はプリセット情報を受信する。これについての詳細は、図4A乃至図5を参照して後述する。
【0053】
固定プリセットモード受信部330は、プリセット属性情報に基づいてプリセット情報が構成情報領域に含まれたことを表す場合(表1のpreset_attribute_flag=0の場合)に、動作する。
【0054】
固定プリセットモード受信部330は、全データ領域に対応するプリセットメタデータを受信する固定プリセットメタデータ受信部331及びプリセット情報を受信する固定プリセット情報受信部332を含むことができる。
【0055】
固定プリセットモード受信部330の固定プリセットメタデータ受信部331及び固定プリセット情報受信部332は、変動プリセットモード受信部320の変動プリセットメタデータ受信部321及び変動プリセット情報受信部322と略同様の構成及び機能を有し、ただし、受信されて出力されるプリセット情報及びプリセットメタデータに対応するダウンミックス信号の範囲が異なる。
【0056】
レンダリング部340は、複数個のオブジェクトを含むオーディオ信号をダウンミキシングして生成されたダウンミックス信号と変動プリセット情報受信部322から出力されたプリセット情報または固定プリセット情報受信部332から出力されたプリセット情報を受信する。このプリセット情報は、ダウンミックス信号に含まれたオブジェクトに適用されてオブジェクトのレベルを調節したりオブジェクトの位置を調節したりすることができる。
【0057】
また、オーディオ信号処理装置300がディスプレイ部(図示せず)を含む場合、変動プリセットメタデータ受信部321から出力される選択されたプリセットメタデータまたは固定プリセットメタデータ受信部331から出力される選択されたプリセットメタデータは、ディスプレイ部に表示されることができる。
【0058】
図4A及び図4Bは、本発明の実施例によるプリセット情報がレンダリング部に適用される方法を示すブロック図である。
【0059】
まず、図4Aは、変動プリセットモード受信部320から出力されたプリセット情報が、レンダリング部440に適用される方法を示す図である。変動プリセットモード受信部320は、図3における変動プリセットモード受信部320と同一であり、変動プリセットメタデータ受信部321及び変動プリセット情報受信部322を含む。
【0060】
変動プリセットモード受信部320は、データ領域ごとにプリセットメタデータ及びプリセット情報を受信して出力し、このプリセット情報はレンダリング部440に入力される。
【0061】
レンダリング部440は、プリセット情報の他に、ダウンミックス信号も受信して、データ領域別にレンダリングを行い、データ領域1のレンダリング部441、データ領域2のレンダリング部442、…、データ領域nのレンダリング部44nを含む。ここで、レンダリング部440のそれぞれのデータ領域レンダリング部44Xは、それぞれデータ領域に対応するプリセット情報を受信してダウンミックス信号に適用することによってレンダリングする。
【0062】
例えば、1番目のデータ領域は、スタジアムモードであるプリセット情報_1が適用され、2番目のデータ領域は、カラオケモードであるプリセット情報_3が適用され、6番目のデータ領域は、ニュースモードであるプリセット情報_2(ここで、プリセット情報_nのnは、データ領域モードのインデックスを表す。)が適用されることができる。この場合、プリセットメタデータもデータ領域ごとに出力されることは勿論である。
【0063】
図4Bは、固定プリセットモード受信部330から出力されたプリセット情報が、レンダリング部440で適用される方法を示す図である。固定プリセットモード受信部330は、図3の固定プリセットモード受信部330と同一に構成される。
【0064】
固定プリセットモード受信部330は、全データ領域に対応するプリセットメタデータ及びプリセット情報を受信して出力し、レンダリング部440は、プリセット情報を受信する。
【0065】
図4Bのレンダリング部440は、図4Aのレンダリング部と同様に、データ領域数だけのデータ領域レンダリング部44Xを含む。レンダリング部440は、固定プリセットモード受信部330からプリセット情報を受信する場合、全データ領域レンダリング部44Xが受信したプリセット情報をダウンミックス信号に同一に適用することによってレンダリングする。
【0066】
例えば、固定プリセット情報受信部332から出力されたプリセット情報がニュースモードを表すプリセット情報2の場合、1番目のデータ領域からn番目のデータ領域まで全データ領域にニュースモードを適用することができる。
【0067】
図5は、本発明のオーディオ信号処理装置300の変動プリセットモード受信部320に含まれる変動プリセット情報受信部322及び固定プリセットモード受信部330に含まれる固定プリセット情報受信部332の概略的な構成を示す図である。
【0068】
図5を参照すると、変動または固定プリセット情報受信部322,332は、出力チャネル情報受信部322a,332a及びプリセット情報決定部322b,332bを含む。
【0069】
出力チャネル情報受信部322a,332aは、ダウンミックス信号に含まれたオブジェクトがいくつの出力チャネルに再生されるかを表す出力チャネル情報を受信して出力する。この出力チャネル情報は、モノチャネル、ステレオチャネルまたはマルチチャネル(5.1チャネル)とすることができるが、これに限定されることはない。
【0070】
プリセット情報決定部322b,332bは、出力チャネル情報受信部322a,332bから入力された出力チャネル情報に基づいて、該当するプリセット情報を受信して出力する。このプリセット情報は、モノプリセット情報、ステレオプリセット情報またはマルチチャネルプリセット情報のうちの一つとすることができる。
【0071】
プリセット情報がマトリクスタイプである場合は、該プリセット情報の次元は、オブジェクトの数及び出力チャネルの数に基づいて決定することができ、プリセットマトリクスは、(オブジェクトの数)*(出力チャネルの数)の形態を有することができる。例えば、ダウンミックス信号に含まれたオブジェクトがn個であり、出力チャネル情報受信部322a,332aからの出力チャネルが5.1チャネル、すなわち、6個のチャネルである場合、プリセット情報決定部322b,332bは、n*6形態としたマルチチャネルプリセット情報を出力することができる。ここで、マトリクスの成分(element)は、a番目のオブジェクトがi番目のチャネルに含まれる程度を表すゲイン値である。
【0072】
図6は、本発明の他の実施例によるオーディオ信号処理装置600を示す図である。図6を参照すると、オーディオ信号処理装置600は、主に、ダウンミキシング部610、オブジェクト情報生成部620、プリセット情報生成部630、ダウンミックス信号処理部640、情報処理部650及びマルチチャネルデコーディング部660を含む。
【0073】
複数個のオブジェクトはダウンミキシング部610に入力されて、モノまたはステレオダウンミックス信号を生成する。また、複数個のオブジェクトは、オブジェクト情報生成部620に入力されて、オブジェクトのレベルを表すオブジェクトレベル情報と、ダウンミックス信号に含まれるオブジェクトのゲイン値及びステレオダウンミックス信号である場合にダウンミックスチャネルに含まれるオブジェクトの程度を含むオブジェクトゲイン情報と、オブジェクト間の関連有無を表すオブジェクト関連情報と、を含むオブジェクト情報を生成する。
【0074】
その後、ダウンミックス信号及びオブジェクト情報は、プリセットモード生成部630に入力されて、プリセット情報がビットストリームにおいてデータ領域に含まれるかまたはビットストリームにおいて構成情報領域に含まれるかを表すプリセット属性情報、オブジェクトのレベルを調節するためのプリセット情報、及びプリセット情報を表現するためのプリセットメタデータを含むプリセットモードを生成する。プリセット属性情報、プリセット情報及びプリセットメタデータを生成する過程は、図1乃至図5におけるオーディオ信号処理装置及び方法で上述した通りであるから、その詳細な説明は省略する。
【0075】
また、プリセットモード生成部630は、プリセット情報がビットストリームに存在するか否かを表すプリセット存在情報、プリセット情報の個数を表すプリセット個数情報及びプリセットメタデータの長さを表すプリセットメタデータ長情報をさらに生成することができる。
【0076】
オブジェクト情報生成部620で生成されたオブジェクト情報とプリセットモード生成部630で生成されたプリセット属性情報、プリセット情報、プリセットメタデータ、プリセット存在情報、プリセット個数情報及びプリセットメタデータ長情報は、SAOCビットストリームに含まれて転送されることができ、ダウンミックス信号も含まれた一つのビットストリームの形態として転送されることができる。この場合、ダウンミックス信号及びプリセット関連情報を含むビットストリームは、デコーディング装置の信号受信部(図示せず)に入力されることができる。
【0077】
情報処理部650は、オブジェクト情報処理部651、変動プリセットモード受信部652及び固定プリセットモード受信部653を含み、SAOCビットストリームを受信する。SAOCビットストリームが変動プリセットモード受信部652に入力されるかまたは固定プリセットモード受信部653に入力されるかは、図2乃至図5を参照して上述した通り、SAOCビットストリームに含まれたプリセット属性情報に基づいて決定される。
【0078】
変動プリセットモード受信部652及び固定プリセットモード受信部653は、SAOCビットストリームから上記のプリセット属性情報、プリセット存在情報、プリセット個数情報、プリセットメタデータ、出力チャネル情報及びプリセット情報(例えば、プリセットマトリクス)を受信し、図1乃至図5のオーディオ信号処理方法及び装置で説明された様々な実施例による方法を用いる。
【0079】
変動プリセットモード受信部652または固定プリセットモード受信部653は、プリセットメタデータとプリセット情報を出力する。
【0080】
オブジェクト情報処理部651は、受信したプリセットメタデータとプリセット情報を、SAOCビットストリームに含まれたオブジェクト情報と一緒に用いて、ダウンミックス信号を前処理(pre-processing)するためのダウンミックス処理情報とダウンミックス信号をレンダリングするためのマルチチャネル情報を生成する。この場合、変動プリセットモード受信部652から出力されるプリセット情報及びプリセットメタデータは、ダウンミックス信号の一つのデータ領域に対応するもので、固定プリセットモード受信部653から出力されるプリセット情報及びプリセットメタデータは、ダウンミックス信号の全データ領域に対応するものである。
【0081】
その後、ダウンミックス処理情報は、ダウンミックス信号処理部640に入力され、ダウンミックス信号に含まれたオブジェクトが含まれるチャネルを変動させることによってパニングを行うことができる。このように前処理されたダウンミックス信号は、情報処理部650から出力されたマルチチャネル情報と一緒にマルチチャネルデコーディング部660に入力されてアップミキシングされることで、マルチチャネルオーディオ信号を生成することができる。
【0082】
このように、本発明のオーディオ信号処理装置は、複数個のオブジェクトを含むダウンミックス信号を、オブジェクト情報を用いてマルチチャネル信号にデコーディングする際に、既に設定されたプリセット情報及びプリセットメタデータをさらに用いることによって容易にオブジェクトのレベルを調節することができる。また、この時、オブジェクトに適用されるプリセット情報は、プリセット属性情報に基づいてデータ領域ごとに個別に適用されたり、全データ領域に同一に適用されたりすることによって、音源の特性によって適切に音場感を向上させることができる。
【0083】
図7乃至図11は、本発明の他の実施例によるオーディオ信号処理方法を示すシンタックス(syntax)を様々な方法で表現したものである。図7を参照すると、プリセット情報と関連した情報は、ビットストリームの構成情報領域(SAOCSpecificConfig())に存在することができる。
【0084】
まず、ビットストリームの構成情報領域からプリセット個数情報(bsNumPresets)を獲得することができる。また、プリセット個数情報に基づいてプリセット情報(i番目のプリセット情報)ごとにプリセット情報が適用されるオブジェクトの出力チャネルを表す出力チャネル情報(bsPresetLevel[i])を獲得することができる。この出力チャネル情報の意味は、下記の表2の通りである。
【0085】
【表2】
【0086】
その後、プリセット情報が構成情報領域に含まれるのか或いはデータ領域に含まれるかを表すプリセット属性情報(bsPresetDynamic[i])を獲得することができる。図7に示すように、プリセット属性情報(bsPresetDynamic[i])が0の場合、固定プリセットモード(static preset mode)を表し、全データ領域に対応してダウンミックス信号のオブジェクトレベルまたはパニングを調節するためのプリセット情報(getPreset())を獲得する。この時、プリセットメタデータ(PresetMetaData(numPresets))もプリセット情報に対応して構成情報領域に含まれることができる。このプリセット属性情報の意味は、下記表3の通りである。
【0087】
【表3】
【0088】
図8は、図7に示すプリセット属性情報(bsPresetDynamic[i])が、プリセット情報がデータ領域に含まれることを表す場合、データ領域情報に対するシンタックスを表現したものである。図8を参照すると、図7のプリセット属性情報(bsPresetDynamic[i])が1の場合、if(!bsPresetDynamic[i])ループを外れるので、構成情報領域からプリセット情報を獲得しない。その後、図8に示すように、データ領域で(SAOCFrame() {if(bsPresetDynamic[i])})条件を満たすので、プリセット情報(getPreset())を獲得することができる。このプリセット情報はデータ領域から獲得されるので、図7のプリセット情報が全データ領域に同一に適用されることと違い、該当のデータ領域にのみ適用されることができる。
【0089】
一方、図7及び図8では、プリセット情報が構成情報領域(SAOCSpecificConfig())及びデータ領域(SAOCFrame())に含まれているが、構成情報領域拡張領域(SAOCExtensionConfig())及びデータ領域拡張領域(SAOCEXtensionFrame())に含まれることもできる。
【0090】
この時、構成情報領域拡張領域及びデータ領域拡張領域に含まれるプリセット情報は、図7及び図8を参照して説明されたプリセット情報と同一である。また、構成情報領域拡張領域及びデータ領域拡張領域は、プリセット情報の他に、プリセット情報に対応するプリセットメタデータ、出力チャネル情報、プリセット存在情報などをさらに含むこともできる。
【0091】
図9は、本発明の他の実施例によるプリセット情報を表すシンタックスである。図9を参照すると、プリセット情報は、EcDataを用いて生成されたものとすることができる。一方、プリセット情報は、EcDataではなくゲイン値自体を転送して用いる方法を利用することができ、チャネル差情報(CLD)テーブルを用いて量子化する方法の他、別の独立したテーブルを用いて量子化することもできる。
【0092】
図10は、本発明の他の実施例によるプリセットメタデータを表すシンタックスである。図10に示すように、プリセットメタデータは、まず、プリセット情報に対応するメタデータの長さを表すプリセットメタデータ長情報(bsNumCharMetaData[prst])を獲得する。以降、プリセットメタデータ長情報に基づいてプリセット情報ごとに各プリセット情報に対応するプリセットメタデータ(bsMetaData[prst])を獲得することができる。
【0093】
このように、プリセット情報を表現するプリセットメタデータを、メタデータの長さを表すプリセット長情報に基づいてテキスト形態で表現することによって、本発明のオーディオ信号処理方法及び装置は余分のコーディングを減らすことができる。
【0094】
図11は、本発明のさらに他の実施例によるプリセット情報を含むデータ領域のシンタックスである。図11を参照すると、プリセット情報は、オブジェクトの数(numObjects)に基づいてオブジェクト別に出力チャネル(numRenderingChannel[i])にマッピングされる情報を転送することができる。図11に示すように、プリセット情報は、ビットストリームのデータ領域から獲得することができるが、データ領域拡張領域に含まれた場合にはデータ領域拡張領域(SAOCExtensionFrame())、ビットストリームの構成情報領域に含まれた場合には構成情報領域から獲得することができる。
【0095】
図12は、本発明のさらに他の実施例によるオーディオ信号処理装置1200を示す図である。オーディオ信号処理装置1200は、主に、プリセットモード生成部1210、情報受信部(図示せず)、プリセットモード入力部1220、プリセットモード選択部1230、変動プリセットモード受信部1240、固定プリセットモード受信部1250、レンダリング部1260及びディスプレイ部1270を含む。
【0096】
図12のプリセットモード生成部1210、情報受信部(図示せず)、変動プリセットモード受信部1240、固定プリセットモード受信部1250及びレンダリング部1260は、図3のプリセットモード生成部310、変動プリセットモード受信部320、固定プリセットモード受信部330及びレンダリング部340と同一の構成及び機能を有するので、詳細な説明は省略する。
【0097】
図12を参照すると、プリセットモード入力部1220は、プリセットメタデータ生成部1212から受信した複数個のプリセットメタデータをまずディスプレイ部1270の画面に表示し、これらのうち一つのプリセットメタデータを選択する選択信号を受信する。プリセットモード選択部1230は、選択信号によって選択された一つのプリセットメタデータと該プリセットメタデータに対応するプリセット情報を選択する。
【0098】
この時、プリセット属性決定部1211から受信するプリセット属性情報(preset_attribute_information)が、プリセット情報がデータ領域に含まれることを表す場合、プリセットモード選択部1230で選択されたプリセットメタデータと該プリセットメタデータと対応するプリセット情報を、変動プリセットモード受信部1240のプリセットメタデータ受信部1241及びプリセット情報受信部1242にそれぞれ入力する。この場合、ディスプレイ部1270、プリセットモード入力部1220及びプリセットモード選択部1230は、データ領域の数だけ反復して上記動作を行うことができる。
【0099】
一方、プリセット属性決定部1211から受信するプリセット属性情報が、プリセット情報が構成情報領域に含まれることを表す場合、プリセットモード選択部1220で選択されたプリセットメタデータと該プリセットメタデータと対応するプリセット情報を、固定プリセットモード受信部1250のプリセットメタデータ受信部1251及びプリセット情報受信部1252にそれぞれ入力する。
【0100】
また、選択されたプリセット情報は、レンダリング部1260に出力される反面、選択されたプリセットメタデータはディスプレイ部1270に出力されて画面に表示される。
【0101】
ディスプレイ部1270は、プリセットモード入力部1220が選択信号を受信できるように複数個のプリセットメタデータを表示するユニットと同一のユニットとすることができ、それぞれ異なるユニットとすることもできる。ディスプレイ部1270とプリセットモード入力部1220のためにプリセットメタデータを表示するディスプレイ部が同一のユニットを用いる場合、画面に表示される説明(例えば、「プリセットモードを選択してください」、「プリセットモードXが選択されました」等)、視覚的客体、文字などを異ならせて構成することによって、それぞれの動作を区別することができる。
【0102】
図13は、オーディオ信号処理装置1200のディスプレイ部1270の一例を示す図である。ディスプレイ部1270は、選択されたプリセットメタデータの他に、プリセットメタデータに対応するプリセット情報を用いて調節されたオブジェクトのレベルまたは位置を表す少なくとも一つの図形要素を含むことができる。
【0103】
図13を参照すると、まず、図12のディスプレイ部1270に表示された複数個のプリセットメタデータ(例えば、スタジアムモード、洞窟モード、ニュースモード、ライブモード等)のうち、プリセットモード選択部1230を通じてニュースモードが選択された場合、ニュースモードに対応するプリセット情報が、ダウンミックス信号に含まれた各オブジェクトに適用される。この場合、ボーカルのレベルは増加し、他のオブジェクト(ギター、バイオリン、ドラム、…、チェロ)のレベルは減少する。
【0104】
ディスプレイ部1270に含まれた図形要素は、オブジェクトのレベルまたは位置の活性化または変化を表すために変形される。例えば、図13に示すように、ボーカルを表す図形要素のスイッチは右に移動し、他のオブジェクトを表す図形要素のスイッチは左に移動することができる。
【0105】
図形要素は、様々な方法でプリセット情報を用いて調節されたオブジェクトのレベルまたは位置を表すことができる。各オブジェクトを表す図形要素は少なくとも一つとすることができ、この場合、第1図形要素は、プリセット情報を適用する前のオブジェクトのレベルまたは位置を表し、第2図形要素は、プリセット情報を適用して調節されたオブジェクトのレベルまたは位置を表すことができる。この場合、プリセット情報を適用する前後のオブジェクトのレベルまたは位置を容易に比較できるので、プリセット情報が各オブジェクトをどのように調節するかが容易にわかる。
【0106】
図14は、プリセット情報が適用されたオブジェクトを表す他の形状の少なくとも一つの図形要素を示す図である。図14を参照すると、第1図形要素はバー(bar)形態とし、第2図形要素は、第1図形要素の内部の延長線(extensive line)とすることができる。ここで、第1図形要素は、プリセット情報を適用する前のオブジェクトのレベルまたは位置を表し、第2図形要素は、プリセット情報を適用して調節されたオブジェクトのレベルまたは位置を表す。
【0107】
図14に示すように、上部の図形要素は、プリセット情報が適用される前のオブジェクトのレベルが、適用された後のオブジェクトのレベルと同一の場合を示す。中央の図形要素は、プリセット情報が適用されて調節されたオブジェクトのレベルが、適用前よりも大きい場合を示し、下部の図形要素は、プリセット情報が適用されることによってオブジェクトのレベルが減少した場合を示す。
【0108】
このように、プリセット情報を適用する前と適用した後のオブジェクトのレベルまたは位置を表す少なくとも一つの図形要素を使用することによって、プリセット情報が各オブジェクトをどのように調節するかが容易にわかる。なお、これにより、プリセット情報の特徴を容易に把握できるので、必要に応じてユーザが適切なプリセットモードを選択するのに役立つことができる。
【0109】
図15は、本発明のさらに他の実施例による変動プリセットモード受信部及び固定プリセットモード受信部が具現された製品の概略的な構成を示す図であり、図16A及び図16Bは、本発明の実施例による変動プリセットモード受信部及び固定プリセットモード受信部が具現された製品間の関係を示す図である。
【0110】
図15を参照すると、有/無線通信部1510は、有/無線通信方式を通じてビットストリームを受信する。具体的に、有/無線通信部1510は、有線通信部1511、赤外線通信部1512、ブルトゥース部1513、無線ラン通信部1514のうち少なくとも一つを含むことができる。
【0111】
ユーザ認証部1520は、ユーザ情報を受信してユーザ認証を行うもので、指紋認識部1521、虹彩認識部1522、顔面認識部1523、及び音声認識部1524のうち少なくとも一つを含むことができる。この場合、ユーザ認証は、それぞれ、指紋、虹彩情報、顔面輪郭情報、音声情報を受信してユーザ情報に変換し、ユーザ情報と既存登録されているユーザデータとが一致するか否か判断して、ユーザ認証を行うことができる。
【0112】
入力部1530は、ユーザが様々な種類の命令を入力するための入力装置であり、キーパッド部1531、タッチパッド部1532、リモコン部1533のうちの少なくとも一つを含むことができるが、本発明はこれに限定されるわけではない。一方、後述するメタデータ受信部1541から出力される複数個のプリセット情報に対するプリセットメタデータが、ディスプレイ部1562を通じて画面に表示される場合、入力部1530を通じてユーザがプリセットメタデータを選択することができ、選択されたプリセットメタデータに関する情報が制御部1550に入力される。
【0113】
信号デコーディング部1540は、変動プリセットモード受信部1541及び固定プリセットモード受信部1542を含み、変動プリセットモード受信部1541は、プリセット属性情報に基づいて、各データ領域に対応するプリセット情報及びプリセットメタデータを受信する。また、固定プリセットモード受信部1542は、プリセット属性情報に基づいて、全データ領域に対応するプリセット情報及びプリセットメタデータを受信する。また、プリセットメタデータは、メタデータの長さを表すプリセットメタデータ長情報に基づいて受信され、プリセット情報は、プリセット情報が存在するか否かを表すプリセット存在情報、プリセット情報の個数を表すプリセット個数情報及び出力チャネルの個数に基づく、例えば、出力チャネルがモノ、ステレオ及びマルチチャネルのうち一つであることを表す出力チャネル情報に基づいて獲得される。もし、プリセット情報がマトリクスで表現された場合、出力チャネル情報を受信し、これに基づいてプリセットマトリクスを受信する。
【0114】
信号デコーディング部1540は、受信したビットストリーム、プリセットメタデータ、及びプリセット情報を用いてオーディオ信号をデコーディングして出力信号を生成し、プリセットメタデータをテキストの形態として出力する。
【0115】
制御部1550は、入力装置から入力信号を受信し、信号デコーディング部1540と出力部1560のプロセス全般を制御する。上述の通り、制御部1550に、入力部1530から選択されたプリセットメタデータに関する情報が入力信号の形態として入力され、有/無線通信部1510から、プリセット情報がビットストリームのどの領域に含まれるかを表すプリセット属性情報(preset_attribute_information)が入力される場合、変動プリセットモード受信部1541及び固定プリセットモード受信部1542は、プリセット属性情報及び入力信号に基づいて、選択されたプリセットメタデータと対応するプリセット情報を受信し、これを用いてオーディオ信号をデコーディングする。
【0116】
出力部1560は、信号デコーディング部1540により生成された出力信号などが出力される構成要素で、スピーカ部1561及びディスプレイ部1562を含むことができる。出力信号がオーディオ信号の場合、出力信号はスピーカ部1561から出力され、ビデオ信号の場合、出力信号はディスプレイ部1562から出力される。また、制御部1550から入力されたプリセットメタデータをディスプレイ部1562を通じて画面に表示する。
【0117】
図16は、図15に示す製品に該当する端末間の関係及び端末とサーバとの関係をそれぞれ示す図である。図16Aを参照すると、第1端末1610及び第2端末1620が、有/無線通信部を通じてデータまたはビットストリームを両方向に通信できることがわかる。
【0118】
有/無線通信部を通じて通信するデータまたはビットストリームは、図2A及び図2Bに示すビットストリームの形態としても良く、図1乃至図15を参照して説明した本発明のプリセット属性情報、プリセット情報、プリセットメタデータなどを含むデータとしても良い。
【0119】
図16Bを参照すると、サーバ1630及び第1端末1640も互いに有/無線通信を行うことができる。
【0120】
図17は、本発明の一実施例によるメタデータ受信部及びプリセットレンダリングデータ受信部を含むプリセット受信部が具現された放送信号デコーディング装置1700の概略的な構成を示す図である。
【0121】
図17を参照すると、デマルチプレクサ1720は、チューナ1710からTV放送と関連したデータを受信する。受信されたデータはデマルチプレクサ1720で分離され、データデコーダ1730でデコーディングされる。一方、デマルチプレクサ1720で分離されたデータは、HDDのような記憶媒体1750に記憶されることができる。
【0122】
デマルチプレクサ1720で分離されたデータは、オーディオデコーダ1741及びビデオデコーダ1742を含むデコーダ1740に入力されて、オーディオ信号及びビデオ信号をデコーディングする。オーディオデコーダ1741は、本発明の一実施例による変動プリセットモード受信部1741A及び固定プリセットモード受信部1741Bを含み、変動プリセットモード受信部1741Aは、プリセット属性情報に基づいて各データ領域に対応するプリセット情報及びプリセットメタデータを受信する。また、固定プリセットモード受信部1741Bは、プリセット属性情報に基づいて全データ領域に対応するプリセット情報及びプリセットメタデータを受信する。
【0123】
また、プリセットメタデータは、メタデータの長さを表すプリセットメタデータ長情報に基づいて受信され、プリセット情報は、プリセット情報が存在するか否かを表すプリセット存在情報、プリセット情報の個数を表すプリセット個数情報、及び出力チャネルがモノ、ステレオ及びマルチチャネルのうちの一つであることを表す出力チャネル情報に基づいて獲得される。もし、プリセット情報がマトリクスで表現された場合、出力チャネル情報を受信してこれに基づいてプリセットマトリクスを受信する。
【0124】
オーディオデコーダ1741は、受信されたビットストリーム、プリセットメタデータ、及びプリセット情報を用いてオーディオ信号をデコーディングして出力信号を生成し、プリセットメタデータをテキスト形態として出力する。
【0125】
ディスプレイ部1770は、ビデオデコーダ1742から出力されたビデオ信号とオーディオデコーダ1741から出力されたプリセットメタデータを画面に表示する。また、ディスプレイ部1770は、スピーカ部(図示せず)を含み、オーディオデコーダ1741から出力されるオブジェクトのレベルがプリセット情報を用いて調節されたオーディオ信号を、ディスプレイ部1770に含まれたスピーカ部から出力する。また、デコーダ1740でデコーディングされたデータは、HDDのような記憶媒体1750に記憶することができる。
【0126】
一方、信号デコーディング装置1700は、ユーザから情報を受信し、受信したデータを制御できるアプリケーションマネージャ1760をさらに含むことができる。
【0127】
アプリケーションマネージャ1760は、ユーザインターフェースマネージャ1761及びサービスマネージャ1762を含む。ユーザインターフェースマネージャ1761は、ユーザから情報を受信するためのインターフェース(interface)を制御する。例えば、ディスプレイ部1770に表示されるテキストの書体、画面の明るさ、メニュー構成などを制御することができる。一方、サービスマネージャ1762は、デコーダ1740及びディスプレイ部1770で放送信号をデコーディングして出力する場合、受信される放送信号を、ユーザから入力される情報を用いて制御できる。例えば、放送チャネルの設定、アラーム機能設定、成人認証機能などを提供することができる。アプリケーションマネージャ1760から出力されるデータは、デコーダ1740の他に、ディスプレイ部1770にも転送されて利用可能である。
【0128】
以上では具体的な実施例及び図面に基づいて本発明を説明してきたが、本発明は、それらの具体例に限定されず、本発明の属する技術分野における通常の知識を有する者にとっては、本発明の技術思想及び添付の特許請求の範囲とその均等範囲内で様々な修正及び変形が可能であるということは明らかである。
【産業上の利用可能性】
【0129】
本発明は、オーディオ信号をエンコーディング及びデコーディングするのに適用することができる。
【特許請求の範囲】
【請求項1】
少なくとも一つのオブジェクトを含むダウンミックス信号、前記オブジェクトの属性に基づくオブジェクト情報、前記ダウンミックス信号をレンダリングするためのプリセット情報及び前記プリセット情報の属性を表すプリセット属性情報を受信する段階と、
前記プリセット属性情報に基づいて前記プリセット情報が構成情報領域の拡張領域に含まれた場合、前記プリセット情報を前記ダウンミックス信号の全データ領域に適用することによって前記ダウンミックス信号をレンダリングする段階と、
前記プリセット属性情報に基づいて前記プリセット情報がデータ領域の拡張領域に含まれた場合、前記プリセット情報を前記ダウンミックス信号の一つの対応するデータ領域に適用することによって前記ダウンミックス信号をレンダリングする段階と、
を有することを特徴とするオーディオ信号処理方法。
【請求項2】
前記プリセット属性情報は、前記プリセット情報が前記データ領域の拡張領域に含まれるか否かを表すことを特徴とする、請求項1に記載のオーディオ信号処理方法。
【請求項3】
前記プリセット属性情報は、前記プリセット情報が変動または固定であることを表すことを特徴とする、請求項1に記載のオーディオ信号処理方法。
【請求項4】
前記変動は、前記プリセット情報が前記データ領域の拡張領域に含まれることを表し、前記固定は、前記プリセット情報が前記構成情報領域の拡張領域に含まれることを表すことを特徴とする、請求項3に記載のオーディオ信号処理方法。
【請求項5】
前記オブジェクト情報及び前記プリセット情報を用いて、前記ダウンミックス信号のパニングまたはゲインを調節するダウンミックス処理情報及び前記ダウンミックス信号をアップミキシングするマルチチャネル情報を生成する段階と、
前記ダウンミックス処理情報を用いて前記ダウンミックス信号を修正する段階と、
をさらに有することを特徴とする、請求項4に記載のオーディオ信号処理方法。
【請求項6】
少なくとも一つのオブジェクトを含むダウンミックス信号及び前記オブジェクトの属性に基づくオブジェクト情報を受信する信号受信部と、
前記ダウンミックス信号をレンダリングするためのプリセット情報の属性を表すプリセット属性情報を受信するプリセット属性情報受信部と、
前記プリセット属性情報に基づいて前記プリセット情報が構成情報領域の拡張領域に含まれた場合、前記ダウンミックス信号の全データ領域に対応するプリセットモードを受信する固定プリセットモード受信部と、
前記プリセット属性情報に基づいて前記プリセット情報がデータ領域の拡張領域に含まれた場合、前記ダウンミックス信号の一つのデータ領域に対応するプリセットモードを受信する変動プリセットモード受信部と、
前記プリセット情報を前記ダウンミックス信号の全データ領域または一つのデータ領域に適用して前記ダウンミックス信号をレンダリングするレンダリング部と、
を有し、
前記プリセットモードは、前記プリセット情報及び前記プリセット情報に対応するプリセットメタデータを含み、前記プリセットメタデータは、前記プリセット情報の特性を表すことを特徴とする、オーディオ信号処理装置。
【請求項7】
前記固定プリセットモード受信部は、
前記プリセット情報を受信する固定プリセット情報受信部と、
前記プリセットメタデータを受信する固定メタデータ受信部と、
をさらに有することを特徴とする、請求項6に記載のオーディオ信号処理装置。
【請求項8】
前記変動プリセットモード受信部は、
前記プリセット情報を受信する変動プリセット情報受信部と、
前記プリセットメタデータを受信する変動プリセットメタデータ受信部と、
をさらに有することを特徴とする、請求項6に記載のオーディオ信号処理装置。
【請求項9】
前記レンダリング部は、前記ダウンミックス信号のデータ領域をレンダリングする複数個のデータ領域レンダリング部を有することを特徴とする、請求項6に記載のオーディオ信号処理装置。
【請求項10】
前記プリセット情報が前記固定プリセットモード受信部から受信される場合、前記プリセット情報は、前記複数個のデータ領域レンダリング部に適用されることを特徴とする、請求項9に記載のオーディオ信号処理装置。
【請求項11】
前記プリセット情報が前記変動プリセットモード受信部から受信される場合、前記プリセット情報は、前記プリセット情報に対応する一つのデータ領域レンダリング部に適用されることを特徴とする、請求項9に記載のオーディオ信号処理装置。
【請求項12】
少なくとも一つのオブジェクトをダウンミキシングしてダウンミックス信号を生成する段階と、
前記オブジェクトの属性に基づいてオブジェクト情報を生成する段階と、
前記ダウンミックス信号に適用することによって前記オブジェクトを調節するプリセット情報を生成する段階と、
前記プリセット情報に対応するプリセットメタデータを生成する段階と、
前記プリセット情報の属性を表すプリセット属性情報を決定する段階と、
を有することを特徴とする、オーディオ信号処理方法。
【請求項13】
少なくとも一つのオブジェクトをダウンミキシングしてダウンミックス信号を生成するダウンミキシング部と、
前記オブジェクトの属性に基づいてオブジェクト情報を生成するオブジェクト情報生成部と、
前記ダウンミックス信号に適用することによって前記オブジェクトを調節するプリセット情報を生成するプリセット情報生成部と、
前記プリセット情報に対応するプリセットメタデータを生成するプリセットメタデータ生成部と、
前記プリセット情報の属性を表すプリセット属性情報を決定するプリセット属性情報決定部と、
を有することを特徴とする、オーディオ信号処理装置。
【請求項1】
少なくとも一つのオブジェクトを含むダウンミックス信号、前記オブジェクトの属性に基づくオブジェクト情報、前記ダウンミックス信号をレンダリングするためのプリセット情報及び前記プリセット情報の属性を表すプリセット属性情報を受信する段階と、
前記プリセット属性情報に基づいて前記プリセット情報が構成情報領域の拡張領域に含まれた場合、前記プリセット情報を前記ダウンミックス信号の全データ領域に適用することによって前記ダウンミックス信号をレンダリングする段階と、
前記プリセット属性情報に基づいて前記プリセット情報がデータ領域の拡張領域に含まれた場合、前記プリセット情報を前記ダウンミックス信号の一つの対応するデータ領域に適用することによって前記ダウンミックス信号をレンダリングする段階と、
を有することを特徴とするオーディオ信号処理方法。
【請求項2】
前記プリセット属性情報は、前記プリセット情報が前記データ領域の拡張領域に含まれるか否かを表すことを特徴とする、請求項1に記載のオーディオ信号処理方法。
【請求項3】
前記プリセット属性情報は、前記プリセット情報が変動または固定であることを表すことを特徴とする、請求項1に記載のオーディオ信号処理方法。
【請求項4】
前記変動は、前記プリセット情報が前記データ領域の拡張領域に含まれることを表し、前記固定は、前記プリセット情報が前記構成情報領域の拡張領域に含まれることを表すことを特徴とする、請求項3に記載のオーディオ信号処理方法。
【請求項5】
前記オブジェクト情報及び前記プリセット情報を用いて、前記ダウンミックス信号のパニングまたはゲインを調節するダウンミックス処理情報及び前記ダウンミックス信号をアップミキシングするマルチチャネル情報を生成する段階と、
前記ダウンミックス処理情報を用いて前記ダウンミックス信号を修正する段階と、
をさらに有することを特徴とする、請求項4に記載のオーディオ信号処理方法。
【請求項6】
少なくとも一つのオブジェクトを含むダウンミックス信号及び前記オブジェクトの属性に基づくオブジェクト情報を受信する信号受信部と、
前記ダウンミックス信号をレンダリングするためのプリセット情報の属性を表すプリセット属性情報を受信するプリセット属性情報受信部と、
前記プリセット属性情報に基づいて前記プリセット情報が構成情報領域の拡張領域に含まれた場合、前記ダウンミックス信号の全データ領域に対応するプリセットモードを受信する固定プリセットモード受信部と、
前記プリセット属性情報に基づいて前記プリセット情報がデータ領域の拡張領域に含まれた場合、前記ダウンミックス信号の一つのデータ領域に対応するプリセットモードを受信する変動プリセットモード受信部と、
前記プリセット情報を前記ダウンミックス信号の全データ領域または一つのデータ領域に適用して前記ダウンミックス信号をレンダリングするレンダリング部と、
を有し、
前記プリセットモードは、前記プリセット情報及び前記プリセット情報に対応するプリセットメタデータを含み、前記プリセットメタデータは、前記プリセット情報の特性を表すことを特徴とする、オーディオ信号処理装置。
【請求項7】
前記固定プリセットモード受信部は、
前記プリセット情報を受信する固定プリセット情報受信部と、
前記プリセットメタデータを受信する固定メタデータ受信部と、
をさらに有することを特徴とする、請求項6に記載のオーディオ信号処理装置。
【請求項8】
前記変動プリセットモード受信部は、
前記プリセット情報を受信する変動プリセット情報受信部と、
前記プリセットメタデータを受信する変動プリセットメタデータ受信部と、
をさらに有することを特徴とする、請求項6に記載のオーディオ信号処理装置。
【請求項9】
前記レンダリング部は、前記ダウンミックス信号のデータ領域をレンダリングする複数個のデータ領域レンダリング部を有することを特徴とする、請求項6に記載のオーディオ信号処理装置。
【請求項10】
前記プリセット情報が前記固定プリセットモード受信部から受信される場合、前記プリセット情報は、前記複数個のデータ領域レンダリング部に適用されることを特徴とする、請求項9に記載のオーディオ信号処理装置。
【請求項11】
前記プリセット情報が前記変動プリセットモード受信部から受信される場合、前記プリセット情報は、前記プリセット情報に対応する一つのデータ領域レンダリング部に適用されることを特徴とする、請求項9に記載のオーディオ信号処理装置。
【請求項12】
少なくとも一つのオブジェクトをダウンミキシングしてダウンミックス信号を生成する段階と、
前記オブジェクトの属性に基づいてオブジェクト情報を生成する段階と、
前記ダウンミックス信号に適用することによって前記オブジェクトを調節するプリセット情報を生成する段階と、
前記プリセット情報に対応するプリセットメタデータを生成する段階と、
前記プリセット情報の属性を表すプリセット属性情報を決定する段階と、
を有することを特徴とする、オーディオ信号処理方法。
【請求項13】
少なくとも一つのオブジェクトをダウンミキシングしてダウンミックス信号を生成するダウンミキシング部と、
前記オブジェクトの属性に基づいてオブジェクト情報を生成するオブジェクト情報生成部と、
前記ダウンミックス信号に適用することによって前記オブジェクトを調節するプリセット情報を生成するプリセット情報生成部と、
前記プリセット情報に対応するプリセットメタデータを生成するプリセットメタデータ生成部と、
前記プリセット情報の属性を表すプリセット属性情報を決定するプリセット属性情報決定部と、
を有することを特徴とする、オーディオ信号処理装置。
【図1】
【図2A】
【図2B】
【図3】
【図4A】
【図4B】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16A】
【図16B】
【図17】
【図2A】
【図2B】
【図3】
【図4A】
【図4B】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16A】
【図16B】
【図17】
【公表番号】特表2011−523247(P2011−523247A)
【公表日】平成23年8月4日(2011.8.4)
【国際特許分類】
【出願番号】特願2011−504928(P2011−504928)
【出願日】平成21年4月16日(2009.4.16)
【国際出願番号】PCT/KR2009/001980
【国際公開番号】WO2009/128662
【国際公開日】平成21年10月22日(2009.10.22)
【出願人】(502032105)エルジー エレクトロニクス インコーポレイティド (2,269)
【Fターム(参考)】
【公表日】平成23年8月4日(2011.8.4)
【国際特許分類】
【出願日】平成21年4月16日(2009.4.16)
【国際出願番号】PCT/KR2009/001980
【国際公開番号】WO2009/128662
【国際公開日】平成21年10月22日(2009.10.22)
【出願人】(502032105)エルジー エレクトロニクス インコーポレイティド (2,269)
【Fターム(参考)】
[ Back to top ]