オーディオ信号の処理方法及び装置
少なくとも一つのオブジェクトを含むオーディオ信号を受信するオーディオ信号受信部と、プリセット情報から、プリセットメタデータを受信するプリセットメタデータ受信部と、前記プリセット情報からプリセットマトリクスを獲得するプリセットレンダリングデータ受信部と、前記プリセットメタデータを表示するディスプレイ部と、前記プリセットメタデータのうち一つを選択する命令語を受信する入力部と、前記選択されたプリセットメタデータに対応する前記プリセットマトリクスを用いて、出力チャンネルによって前記オブジェクトの出力レベルを調節するオブジェクト調節部と、を含むことを特徴とするオーディオ信号の処理装置が開示される。この装置によれば、それぞれのオブジェクトに対するユーザの設定なしに、予め設定されたプリセットメタデータを参照してオーディオ信号に適用するプリセットメタデータを選択し、選択されたプリセットメタデータに対応するプリセットレンダリングデータを用いて、オーディオ信号に含まれているオブジェクトのレベルを容易に調節することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオ信号の処理方法及び装置に係り、より詳細には、広範囲の適用に好適でありながらも、特に、デジタル媒体、放送信号などで受信されたオーディオ信号の処理に好適なオーディオ信号の処理方法及び装置に関するものである。
【背景技術】
【０００２】
複数個のオブジェクトを含むオーディオ信号を、モノ信号またはステレオ信号にダウンミックスしてダウンミックス信号を生成する過程において、オブジェクトからパラメータが抽出される。それらのパラメータは、ダウンミックスされた信号をデコーディングする過程で用いられ、オブジェクトのパニング（panning）とゲイン（gain）は、ユーザの選択によってコントロールすることができる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
ダウンミックス信号に含まれているオブジェクトは、ユーザの選択によって適切に調節しなければならない。しかし、ユーザがオブジェクトを制御する場合は、直接オブジェクトを制御しなければならず、面倒であり、専門家によって制御してもらう場合に比べて、複数のオブジェクトを含むオーディオ信号を、環境に応じて最適の状態として再現することは困難である。
【０００４】
したがって、本発明は、当分野における制限や欠点に起因する一つまたは複数の問題を実質的に防止するオーディオ信号処理方法及び装置を目的とする。
【０００５】
本発明の目的は、プリセットメタデータ及びプリセットレンダリングデータを含むプリセット情報を用いて、オーディオ信号に含まれるオブジェクトを調節することができるオーディオ信号処理方法及び装置を提供することにある。
【０００６】
本発明の他の目的は、プリセットレンダリングデータタイプがマトリクスである場合、オーディオ信号の出力チャンネル情報に基づいてプリセットレンダリングデータを決定し、このプリセットレンダリングデータをオーディオ信号に適用することによって、出力チャンネルにおけるオブジェクトのレベルを調節するオーディオ信号処理方法及び装置を提供することにある。
【０００７】
また、本発明のさらに他の目的は、オブジェクトを調節するプリセットレンダリングマトリクスを、エンコーダから伝送されたモノタイププリセットレンダリングマトリクスまたはゲイン情報から段階的に生成するオーディオ信号処理方法及び装置を提供することにある。
【課題を解決するための手段】
【０００８】
本発明の他の特徴および利点は、以下の記載で述べるが、その一部については、明細書の記載から明らかになるであろうし、あるいは、本発明の実施によって分かるであろう。本発明の目的および他の利点は、明細書および特許請求の範囲の書面ならびに添付図面で特に示された構成によって、実現され達成されるであろう。
【０００９】
上記目的を達成するために、本発明によるオーディオ信号処理方法は、少なくとも一つのオブジェクトを含むオーディオ信号及びプリセット情報を受信する段階と、前記プリセット情報からプリセットマトリクスを獲得する段階であって、前記プリセットマトリクスが、前記オブジェクトが出力チャンネルに含まれる程度を示すものである段階と、前記プリセットマトリクスを用いて、出力チャンネルによって前記オブジェクトの出力レベルを調節する段階と、前記出力レベルの調節されたオブジェクトを含むオーディオ信号を出力する段階と、を含み、前記プリセット情報は、前記プリセット情報が含まれているか否かを表すプリセット存在情報及び前記プリセット情報の個数を表すプリセット個数情報に基づいて獲得され、前記プリセットマトリクスは、前記プリセット情報がマトリクスで表現されているか否かを表すプリセットタイプ情報に基づいて獲得されることを特徴とする。
【００１０】
本発明によれば、前記プリセットマトリクスは、前記出力チャンネルがモノ、ステレオ及びマルチチャンネルのうち一つであることを表す出力チャンネル情報に基づいて獲得されることを特徴とする。
【００１１】
本発明によれば、前記プリセットタイプ情報は、１ビットで表現されることを特徴とする。
【００１２】
本発明によれば、前記プリセットマトリクスの次元は、前記オブジェクトの個数及び前記出力チャンネルの個数に基づいて決定されることを特徴とする。
【００１３】
本発明の他の側面によるオーディオ信号処理装置によれば、少なくとも一つのオブジェクトを含むオーディオ信号を受信するオーディオ信号受信部と、プリセット情報のプリセットメタデータを獲得するプリセットメタデータ受信部と、前記オブジェクトが出力チャンネルに含まれる程度を表すプリセットマトリクスを獲得するプリセットレンダリングデータ受信部であって、前記プリセットマトリクスは、前記プリセットメタデータに対応するプリセットレンダリングデータ受信部と、前記プリセットメタデータを表示するディスプレイ部と、前記プリセットメタデータのうち一つを選択する信号を受信する入力部と、前記選択されたプリセットメタデータに対応する前記プリセットマトリクスを用いて、出力チャンネルによって前記オブジェクトの出力レベルを調節するオブジェクト調節部と、前記出力レベルの調節されたオブジェクトを含むオーディオ信号を出力する出力部と、を含むことを特徴とする。
【００１４】
本発明によれば、前記出力部が、前記オーディオ信号を出力する場合、前記ディスプレイ部は、前記選択されたプリセットメタデータを表示することを特徴とする。
【００１５】
本発明によれば、前記ディスプレイ部は、前記オブジェクトの出力レベルをさらに表示することを特徴とする。
【００１６】
本発明によれば、前記プリセットマトリクスは、前記出力チャンネルがモノ、ステレオ及びマルチチャンネルのうちの一つであることを表す出力チャンネル情報に基づいて獲得されることを特徴とする。
【００１７】
本発明によれば、前記プリセット情報は、前記プリセット情報の個数を表すプリセット個数情報に基づいて獲得され、前記プリセットマトリクスは、前記プリセット情報がマトリクスで表現されているか否かを表すプリセットタイプ情報に基づいて獲得されることを特徴とする。
【００１８】
本発明によれば、前記プリセット情報は、前記オブジェクトに適用される前記プリセットマトリクスが存在するか否かを表すプリセットオブジェクト適用情報をさらに含むことを特徴とする。
【００１９】
本発明によれば、前記ディスプレイ部は、前記プリセットオブジェクト適用情報に基づいて、前記オブジェクトに適用される前記プリセットマトリクスが存在するか否かをさらに表示することを特徴とする。
【００２０】
本発明によれば、前記ディスプレイ部は、前記プリセットメタデータをテキスト形態で表現することを特徴とする。
【発明の効果】
【００２１】
本発明は、下記のような効果及び利点を提供する。
【００２２】
第一に、オブジェクトに対するユーザの設定なしに、予め設定されたプリセット情報のうち一つを選択することによって容易にオブジェクトの出力チャンネルのレベルを調節することができる。
【００２３】
第二に、プリセット情報を表現するプリセットメタデータを、メタデータの長さを示すプリセット長さ情報に基づいてテキスト形態で表現することによって、不必要なコーディングを減らすことができる。
【００２４】
第三に、プリセットレンダリングデータのタイプがマトリクスである場合、オーディオ信号の出力チャンネル情報に基づいて、プリセットレンダリングデータを示すプリセットマトリクスを決定することによって、オブジェクトの出力チャンネルのレベルをより正確で効率よく調節することができる。
【００２５】
第四に、プリセットマトリクスを段階的に生成することによって、エンコーダから伝送されるビットレートを減少させることができる。
【００２６】
第五に、複数個のオブジェクトのうち一部のオブジェクトのみを調節できるプリセットマトリクスを用いることによって、不必要なコーディングを減少させることができる。
【００２７】
添付図面は、本発明をさらに理解するために包含されており、本明細書に組み込まれて本明細書の一部を構成する。これらの添付図面は、本発明の実施形態を例示し、明細書の記載と共に本明細書の原理を説明するためのものである。
【図面の簡単な説明】
【００２８】
【図１】本発明の実施例によるオーディオ信号に含まれたオブジェクトに適用されるプリセット情報の概念図である。
【図２】本発明の実施例によるオーディオ信号処理装置を示す図である。
【図３】本発明の実施例によるオーディオ信号処理装置におけるプリセット情報受信部を示す図である。
【図４】本発明の実施例によるオーディオ信号処理方法を示すフローチャートである。
【図５】本発明の実施例によるシンタックス（syntax）を示す図である。
【図６】本発明の他の実施例によるシンタックスを示す図である。
【図７】本発明のさらに他の実施例によるシンタックスを示す図である。
【図８】本発明のさらに他の実施例によるプリセットレンダリングデータ受信部を示す図である。
【図９】本発明のさらに他の実施例によるシンタックスを示す図である。
【図１０】本発明のさらに他の実施例によるオーディオ信号処理装置を示す図である。
【図１１】本発明の実施例によるプリセット情報受信部が具現された製品の概略的な構成を示す図である。
【図１２】図１１に示す製品に該当する端末及びサーバー間の関係を示す図である。
【図１３】本発明の実施例によるプリセット情報受信部が具現されたデジタルＴＶの概略的な構成を示す図である。
【図１４】本発明の一実施例によるプリセット情報受信部を含む製品のディスプレイ部を示す図である。
【発明を実施するための形態】
【００２９】
以下の本発明に関する概略説明とそれに続く詳細説明は、共に、実施例とその説明であり、特許請求の範囲に記載された本発明をさらに説明するためのものであることを理解されたい。
【実施例１】
【００３０】
以下、添付の図面を参照しつつ、本発明の好ましい実施例について詳細に説明する。本明細書及び請求の範囲に使われた用語や単語は、通常的または辞書的な意味に限定して解析してはならず、発明者は自身の発明を最善の方法で説明するために用語の概念を適切に定義することができるという原則に立って、本発明の技術的思想に符合する意味及び概念として解釈しなければならない。したがって、本明細書に記載された実施例と図面に示された構成は、本発明の最も好ましい一実施例に過ぎないもので、本発明の技術的思想を全部代弁するものではないので、本出願時点においてこれらに代替可能な様々な均等物及び変形例がありうることが理解される。
【００３１】
特に、本明細書で、情報（information）は、値（values）、パラメータ（parameters）、係数（coefficients）、成分（elements）などを総称する用語と解釈され、オブジェクト（object）は、ギター（guitar）、ボーカル（vocal）、ピアノ（piano）等を含め、オーディオ信号を構成するソース（source）信号のそれぞれを示すものと解釈される。これらの意味は場合によって異なって解釈され、これらによって発明が限定されることはない。
【００３２】
本発明は、複数個のオブジェクトを含むオーディオ信号をデコーディングする方法において、これらのオブジェクトを調節するための予め設定された情報のうち一つを用いることによって当該オーディオ信号を効果的にデコーディングする方法を提供する。
【００３３】
図１は、本発明の実施例による、オーディオ信号に含まれたオブジェクトに適用されるプリセット情報の概念図である。本明細書では、オブジェクトを調節するための予め設定された情報をプリセット情報（preset information）とする。プリセット情報は、オーディオ信号の特性または聴取環境によって選択しうる様々なモードを表すことができ、複数個とすることができる。また、プリセット情報は、プリセット情報の属性などを表現するためのメタデータ（metadata）と、オブジェクトを調節するために適用されるレンダリングデータ（rendering data）とを含む。メタデータは、テキスト形態で表示することができ、プリセット情報の属性（例えば、コンサートホールモード、カラオケモード、ニュースモード等）を表す他に、プリセット情報の作成者、作成日、プリセット情報が適用されるオブジェクト名などを含め、当該プリセット情報を表現するための関連情報を含むことができる。一方、レンダリングデータは、実質的にオブジェクトに適用されるデータであり、様々な形態を有することができ、特にマトリクス形態を有することができる。
【００３４】
図１を参照すると、プリセット情報１（preset 1）は、音楽信号をコンサートホールで聞くような音場感を提供するコンサートホールモード（concert hall mode）とすることができ、プリセット情報２（preset 2）は、オーディオ信号のうちボーカル（vocal）オブジェクトのレベルを減少させたカラオケモード（karaoke mode）とすることができ、プリセット情報ｎ（preset n）は、音声オブジェクトのレベルを増加させたニュースモード（news mode）とすることができる。また、プリセット情報２（preset 2）は、メタデータ２とレンダリングデータ２を含む。仮に、ユーザからプリセット情報２が選択されると、メタデータ２であるカラオケモード（karaoke mode）がディスプレイ部に表示され、メタデータ２に関するレンダリングデータ２がオブジェクトに適用されてレベルを調節することができる。
【００３５】
この場合、レンダリングデータがマトリクス形態であれば、レンダリングデータは、モノマトリクス（mono matrix）、ステレオマトリクス（stereo matrix）、マルチチャンネルマトリクス（multi-channel matrix）を含むことができる。モノマトリクスは、オブジェクトの出力チャンネルがモノである場合に適用されるレンダリングデータであり、ステレオマトリクスは、オブジェクトの出力チャンネルがステレオである場合に適用されるレンダリングデータであり、マルチチャンネルマトリクスは、オブジェクトの出力チャンネルがマルチチャンネルである場合に適用されるレンダリングデータである。オブジェクトの出力チャンネルが決定されると、該決定された出力チャンネルを用いてマトリクスが決定される。その後、該マトリクスをオブジェクトに適用してレベルを調節することができる。
【００３６】
このように、プリセット情報に含まれたメタデータ及びレンダリングデータを用いて当該オブジェクトを調節し、適用されたプリセット情報の属性または特徴を表現することによって、ユーザの所望する効果を有するオーディオ信号を効率よく提供することが可能になる。
【００３７】
図２は、本発明の実施例によるオーディオ信号処理装置２００を示す図である。
【００３８】
図２を参照すると、オーディオ信号処理装置２００は、プリセット情報生成部２１０、プリセット情報受信部２２０、オブジェクト調節部２３０を含むことがある。
【００３９】
プリセット情報生成部２１０は、オーディオ信号に含まれたオブジェクトを調節するためのプリセット情報を生成するもので、メタデータ生成部２１２及びプリセットレンダリングデータ生成部２１４を含むことができる。メタデータ生成部２１２は、プリセット情報を表現するテキスト情報を受信してプリセットメタデータ（preset metadata）を生成することができる。このプリセットメタデータは、上記の通り、プリセット情報の特性または属性を表現するための情報でありうる。この場合、メタデータ生成部２１２は、プリセットメタデータの文字の長さの数を表すプリセット長さ情報（preset length information）をさらに生成することができる。このプリセット長さ情報は、バイト（byte）で表すことができるが、これに限定されることはない。
【００４０】
一方、オブジェクトのレベルを調節するためのゲイン及びオブジェクトのパニング（panning）のための情報が、プリセットレンダリングデータ生成部２１４に入力される場合、当該オブジェクトに適用されるプリセットレンダリングデータ（preset rendering data）を生成することができる。プリセットレンダリングデータは、オブジェクトごとに生成することができ、様々なタイプにすることができ、例えば、マトリクス形態などで具現されたプリセットマトリクス（preset matrix）とすることができる。また、プリセットレンダリングデータ生成部２１４は、プリセットレンダリングデータがマトリクス形態で表現されているか否かを表すプリセットタイプ情報（preset_type_flag）をさらに生成することができる。また、オブジェクトの出力チャンネルが何本かを表す出力チャンネル情報（output channel information）をさらに生成することもできる。
【００４１】
メタデータ生成部２１２で生成されたプリセット長さ情報及びプリセットメタデータと、プリセットレンダリングデータ生成部２１４で生成されたプリセットタイプ情報、出力チャンネル情報、及びプリセットレンダリングデータは、一つのビットストリームに含めて伝送することができ、特に、オーディオ信号を含むビットストリームの補助領域（ancillary region）に含めて伝送することができる。
【００４２】
一方、プリセット情報生成部２１０は、プリセット長さ情報、プリセットメタデータ、プリセットタイプ情報、出力チャンネル情報、及びプリセットレンダリングデータがビットストリームに含まれていることを表すプリセット存在情報（preset exist information）をさらに生成することができる。このプリセット存在情報は、プリセット情報に関する情報がどの領域に含まれているかを表すコンテナタイプ（container type）にしてもよく、フラグタイプ（flag type）にしてもよいが、これに限定されない。
【００４３】
また、プリセット情報生成部２１０は、複数個のプリセット情報を生成することができ、それぞれのプリセット情報は、プリセット長さ情報、プリセットメタデータ、プリセットタイプ情報、出力チャンネル情報、及びプリセットレンダリングデータを含む。ここで、プリセット情報生成部２１０は、プリセット情報の個数を表すプリセット個数情報（preset number information）をさらに生成することができる。
【００４４】
プリセット情報受信部２２０は、プリセット情報生成部２１０で生成されて伝送されたプリセット情報を受信するもので、メタデータ受信部２２２及びプリセットレンダリングデータ受信部２２４を含むことができる。
【００４５】
メタデータ受信部２２２は、プリセットメタデータを受信して出力し、プリセットレンダリングデータ受信部２２４は、プリセットレンダリングデータ（例えば、プリセットマトリクス）を受信する。これについての詳細は、図３及び図４を参照して後述される。
【００４６】
オブジェクト調節部２３０は、複数個のオブジェクトを含むオーディオ信号と、プリセットレンダリングデータ受信部２２４で生成されたプリセットレンダリングデータとを受信する。このプリセットレンダリングデータは、オブジェクトに適用されてオブジェクトのレベルを調節したり、オブジェクトの位置を調節したりすることができる。
【００４７】
図３は、本発明のオーディオ信号処理装置２００のプリセット情報受信部２２０に含まれるメタデータ受信部３１０及びプリセットレンダリングデータ受信部３２０の概略的な構成を示す図である。
【００４８】
メタデータ受信部３１０は、プリセット長さ情報受信部３１２及びプリセットメタデータ受信部３１４を含む。プリセット長さ情報受信部３１２は、プリセット情報を表現するためのプリセットメタデータの長さを表すプリセット長さ情報（preset length information）を受信し、該プリセットメタデータの長さを獲得する。続いて、プリセットメタデータ受信部３１４は、プリセット長さ情報が表す長さ分のビットストリームを読んで当該プリセットメタデータを受信する。また、プリセットメタデータ受信部３１４は、プリセット情報の種類または属性がわかるメタデータであるプリセットメタデータを、テキスト形式に変換して出力する。
【００４９】
プリセットレンダリングデータ受信部３２０は、プリセットタイプフラグ受信部３２２、出力チャンネル情報受信部３２４、及びプリセットマトリクス受信部３２６を含む。プリセットデータタイプフラグ受信部３２２は、プリセットレンダリングデータがマトリクス形態なのか否かを表すプリセットタイプフラグ（preset_type_flag）を受信する。プリセットタイプフラグの意味は、下記の表１の通りである。
【００５０】
【表１】
【００５１】
プリセットタイプフラグが、プリセットレンダリングデータのタイプがマトリクスである場合を表していると、出力チャンネル情報受信部３２４は、オーディオ信号に含まれたオブジェクトが何本の出力チャンネルで再生されるかを表す出力チャンネル情報を受信する。この出力チャンネル情報は、モノチャンネル、ステレオチャンネル、またはマルチチャンネル（５．１チャンネル）を含んでもよいが、これに限定されない。
【００５２】
プリセットマトリクス受信部３２６は、入力された出力チャンネル情報を用いて、該オブジェクトに適用されるプリセットマトリクスを受信して出力する。このプリセットマトリクスは、モノプリセットマトリクス、ステレオプリセットマトリクスまたはマルチチャンネルプリセットマトリクスのうち一つであり、このプリセットマトリクスの次元は、オブジェクトの数及び出力チャンネルの数に基づいて決定することができ、プリセットマトリクスは、（オブジェクトの数）＊（出力チャンネルの数）の形態を有することができる。例えば、オーディオ信号に含まれたオブジェクトがｎ個であり、出力チャンネル情報受信部３２４からの出力チャンネルが５．１チャンネル、すなわち、６個のチャンネルである場合、プリセットマトリクス受信部３２６は、ｎ＊６の形態で具現された下記の式１のプリセットマルチチャンネルマトリクスを出力することができる。
【００５３】
［式１］
【数１】
【００５４】
ここで、マトリクス成分（ｍa,b)は、ａ番目のオブジェクトがｂ番目のチャンネルに含まれる程度を表すゲイン値である。その後、このプリセットマルチチャンネルマトリクスはオーディオ信号に適用され、該当のオブジェクトのレベルを調節することができる。
【００５５】
このように、本発明のプリセット情報受信部２２０は、プリセット長さ情報を用いて必要な分のビットストリームを読んで、効率よくプリセットメタデータを表現し、プリセットマトリクスを出力チャンネル情報に基づいて獲得することによって、オーディオ信号に含まれたオブジェクトのゲインなどを効果的に調節することができる。
【００５６】
図４は、本発明の実施例によるオーディオ信号処理方法を示すフローチャートである。
【００５７】
図４を参照すると、少なくとも１つのオブジェクトを含むオーディオ信号を受信する（Ｓ４１０）。また、オブジェクトのゲインまたはパニングなどを調節するために、予め設定されたプリセット情報が存在するか否かを表すプリセット存在情報（preset exist information）を受信し（Ｓ４１５）、プリセット情報が存在する場合、予め設定されたプリセット情報が何個（ｎ）かを表すプリセット個数情報を受信する（Ｓ４２０）。このプリセット個数情報は、プリセット情報が存在することを仮定しているので、（実際存在するプリセット個数）−１個で表現することができる。その後、プリセット情報を表現するためのメタデータが何ビット（または、バイト）を有するかを表すプリセット長さ情報を受信する（Ｓ４３０）。受信されたプリセット長さ情報に基づいてプリセットメタデータを受信し（Ｓ４３５）、例えば、カラオケモード、コンサートホールモード、ニュースモードなどを出力する（Ｓ４３７）。プリセットメタデータはテキスト形態とすることができ、上記の通り、プリセット情報の音場効果を表現するメタデータの他にも、プリセット作成者、作成日、プリセット情報で調節されたオブジェクト名などを表現するメタデータとすることもできるが、これに限定されない。
【００５８】
続いて、プリセット情報に含まれたプリセットレンダリングデータのタイプを表すプリセットタイプ情報を受信する（Ｓ４４０）。プリセットタイプ情報に基づいてプリセットデータのタイプがマトリクスなのか否かを判断し（Ｓ４４５）、マトリクスであると（Ｓ４４５のＹｅｓ）、オブジェクトの出力チャンネルが何本かを表す出力チャンネル情報を受信する（Ｓ４５０）。エンコーディングされたプリセットマトリクスの中から、出力チャンネル情報に基づいて該当するプリセットマトリクスを受信する（Ｓ４５５）。例えば、オブジェクトの出力チャンネルがステレオである場合、受信されたプリセットマトリクスは、（オブジェクトの数）＊２の形態を有するステレオプリセットマトリクスになりうる。
【００５９】
上記の段階で受信されたプリセット長さ情報、プリセットメタデータ、プリセットタイプ情報、出力チャンネル情報、及びプリセットマトリクスを含むプリセット情報（ｉ番目）が、プリセット個数情報が表すプリセット情報の個数（ｎ）よりも小さいか判断する（Ｓ４６０）。プリセット個数情報よりも小さい場合（Ｓ４６０のＹｅｓ）、Ｓ４３０段階に戻り、次のプリセット情報（ｉ＋１番目）のプリセット長さ情報を受信する段階を反復する。プリセット個数情報と同一の場合（Ｓ４６０のＮｏ）、プリセットマトリクスをオーディオ信号に適用してオブジェクトのレベルを調節する（Ｓ４６５）。一方、プリセットタイプがマトリクスでない場合（Ｓ４４５のＮｏ）、エンコーダで設定されたマトリクス以外の形式で具現されたプリセットデータを受信し（Ｓ４５７）、受信されたプリセットデータをオーディオ信号に適用してオブジェクトのレベルを調節する（Ｓ４６８）。その後、調節されたオブジェクトを含むオーディオ信号を出力することができる（Ｓ４７０）。
【００６０】
プリセットマトリクスを適用してオブジェクトを調節する段階（Ｓ４６５）は、ユーザの選択によって決定されたプリセットマトリクスを用いることができる（図示せず）。ユーザは、プリセットメタデータを出力する段階（Ｓ４３７）で出力されたプリセットメタデータを参考して、所望のプリセット情報を選択することができる。例えば、ユーザが、プリセットメタデータのうち、カラオケモードと表現されたメタデータを選択する場合、出力チャンネル情報に基づいて受信されたプリセットマトリクス（Ｓ４５５）のうち、カラオケモードであるプリセットメタデータに対応するプリセットマトリクスが選択される。その後、選択されたカラオケモードに対応するプリセットマトリクスがオーディオ信号に適用されることでオブジェクトのレベルを調節し、調節されたオブジェクトを含むオーディオ信号が出力される。
【００６１】
図５は、本発明の一実施例によるオーディオ信号処理方法を示すシンタックス（syntax）を表現したものである。
【００６２】
図５を参照すると、プリセット情報に関する情報は、ビットストリームのヘッダー（header）領域に存在することがある。ビットストリームのヘッダー領域からプリセット個数情報（bsNumPresets）を獲得することができる。
【００６３】
例えば、プリセット個数情報が存在する場合（if(bsNumPresets)）、プリセット個数情報が表すプリセット情報の個数を獲得する（numPresets=bsNumPresets+1）。例えば、プリセット個数情報は、プリセット情報が１個存在する場合、bsNumPresetsを０に設定でき、この場合、実際プリセット情報の個数は、（プリセット個数情報）＋１と把握して用いることができる。まず、プリセット個数情報をビットストリームから受信することができる。
【００６４】
また、プリセット個数情報に基づいてプリセット情報（ｉ番目のプリセット情報）ごとにプリセットレンダリングデータのタイプを表す情報を獲得することができる（bsPresetType[i]）。仮に、プリセットレンダリングデータをマトリクスタイプで伝送する場合を特定プリセットタイプと定義する場合（マトリクスタイプである時、bsPresetType[i]が伝送される場合）、プリセットレンダリングデータのタイプを表す情報は、プリセットレンダリングデータがマトリクスタイプで生成されて伝送されたかを表す上記プリセットタイプ情報（preset_type_flag）でありうる。プリセットタイプ情報は、１ビットで表現することができる。
【００６５】
また、ｉ番目のプリセット情報に含まれたプリセットレンダリングデータがマトリクスタイプである場合（bsPresetType[i]）、出力チャンネルが何本のチャンネルを有するかを表す出力チャンネル情報（bsPresetCh[i]）を獲得し、出力チャンネル情報に基づいて、オーディオ信号に含まれたオブジェクトのレベルを調節するためのプリセットマトリクスを獲得する（getRenderingMatrix()）。
【００６６】
図６は、本発明の他の実施例によるオーディオ信号処理方法を示すシンタックス（syntax）を表現したものである。プリセット情報は、ヘッダー領域に含まれて、全てのフレームで同一に適用されてもよいが、時間によって変化（以下、「時変（time-variable）」という。）して適用されることによって、オブジェクトのレベルを効果的に調節することができる。プリセット情報が時変する場合には、フレームごとにプリセット情報に関する情報が含まれなければならない。したがって、プリセット情報がフレームごとに含まれているか否かを表す情報をヘッダーに含めることによって、効果的にビットストリームを構成することができる。
【００６７】
図６を参照すると、プリセット情報がフレームごとに含まれるか否かを表現するシンタックスが示されるが、図５に示すオーディオ信号の処理方法を示すシンタックス（syntax）と略同様である。ただし、図６に示すシンタックスは、出力チャンネル情報（bsPresetCh[i]）を獲得した後、プリセット情報が時間的に変化するか否か、すなわち、フレームごとに含まれているか否かを表すプリセット時変フラグ情報（bsPresetTimeVarying[i]）を含んでもよい。このプリセット時変フラグ情報がビットストリームのヘッダー領域に含まれている場合、ビットストリームのフレーム領域に含まれたプリセットマトリクス及びプリセットメタデータを用いてオブジェクトのレベルを調節する。プリセット時変フラグ情報がヘッダーに存在する場合、フレームごとにプリセット情報の更新があるか否かを判断し、更新がない場合はそのまま（keep）利用し、更新がある場合は、読み込み（read）などの別のフラグを含めて効率よくビットストリームを構成することも可能である。
【００６８】
また、ビットストリームにプリセット情報が含まれているか否かを表すプリセット存在情報（bsPresetExists）を含むことができる。仮に、プリセット存在情報が、プリセット情報がビットストリームに含まれていないと表す場合は、プリセット個数情報（bsNumPresets）、プリセットタイプ情報（bsPresetType[i]）、出力チャンネル情報（bsPresetCh[i]）、及びプリセット時変フラグ情報（bsPresetTimeVarying[i]）を獲得するループ（loop）を行わなくて済む。このプリセット存在情報は、場合によってはシンタックス構文で省略可能である。
【００６９】
図７は、本発明のさらに他の実施例によるオーディオ信号処理方法を示すシンタックスを表現したものである。上記のプリセットマトリクスは、（オブジェクトの数）＊（出力チャンネルの数）の形態を有するマトリクスであり、オーディオ信号に含まれた全てのオブジェクトのレベルがどのように調節されて出力チャンネルに含まれるかを表す。しかし、上記オブジェクトのうちの一部のオブジェクトに関する情報のみを受信して用いる方が、伝送されるビット数を減少させる側面で効率的であるといえる。したがって、本発明のさらに他の実施例では、プリセット情報を用いて所望のオブジェクトのみを調節するオーディオ信号処理方法のシンタックスを提案する。
【００７０】
図７を参照すると、オブジェクトのそれぞれに対してオブジェクトのレベルを調節するためのプリセット情報が適用されるか否かを表すプリセットオブジェクト適用情報（bsPresetObject[i][j]）をシンタックスにさらに含むことができる。プリセットオブジェクト適用情報を用いることによって、プリセット情報が該当のオブジェクトに関する情報を含んでいるか否かを知らせることが可能になる。プリセットオブジェクト適用情報は、ビットストリームのヘッダー領域に存在してもよく、図６に示すように、プリセット情報が時変する場合には、フレームに存在してもよい。図７に示すように、各オブジェクトに対して、プリセット情報に該当のオブジェクトに関する情報を含むか否かを知らせることもでき、含むか否かを表すオブジェクトインデックスをビットストリームに含めることもできる。仮に、オブジェクトインデックスを用いる場合には、終了文字（exit character）を使ってより便利にビットストリームを構成することができる。
【００７１】
終了文字は、ロスレスコーディング（lossless coding）でハフマンテーブル（Huffman table）などを用いて符号化を行う場合、実際のパラメータの数よりもテーブルを１だけ大きく設計し、さらに割り当てられたパラメータを終了パラメータとして定義することができる。この場合、終了パラメータがビットストリームから獲得されると、該当の情報を全部受信したと定義して用いることができる。例えば、プリセット情報が、総１０個のオブジェクトうち２個のオブジェクトに関する情報のみを含む場合（３番オブジェクト及び８番オブジェクトに関する情報）は、３番オブジェクト及び８番オブジェクトに該当するハフマンインデックスと終了パラメータに該当するハフマンインデックスを順に伝送することによって効果的にビットストリームを構成することができる。
【００７２】
図８は、本発明のさらに他の実施例であるプリセットマトリクスを段階的に生成するプリセットレンダリングデータ受信部の概略的な構成を示す図である。
【００７３】
図８を参照すると、プリセットレンダリングデータ受信部３２０は、プリセットタイプフラグ受信部３２２、出力チャンネル情報受信部３２４、及びプリセットマトリクス決定部３２６を含む。その他の構成要素は、図２及び図３のプリセットレンダリングデータ受信部２２４，３２０と同じ構成及び効果を有するので、その詳細な説明は省略する。
【００７４】
一方、図８に示すように、プリセットマトリクス決定部３２６は、モノタイププリセットマトリクス受信部８１０、ステレオタイププリセットマトリクス生成部８２０、及びマルチチャンネルタイププリセットマトリクス生成部８３０を全て含む。
【００７５】
モノタイププリセットマトリクス受信部８１０は、プリセット情報生成部（図示せず）から、（オブジェクトの数）の形態のマトリクスで表現されるモノプリセットマトリクスを受信する。仮に、出力チャンネル情報受信部３２４から受信された出力チャンネル情報がモノである場合、モノプリセットマトリクスはそのまま出力され、オーディオ信号に適用されてオブジェクトのレベルを調節することができる。
【００７６】
一方、出力チャンネル情報がステレオである場合には、ステレオタイププリセットマトリクス生成部８２０にモノプリセットマトリクスが入力され、チャンネル拡張情報をさらに受信して、（オブジェクトの数）＊２の形態のステレオプリセットマトリクスを生成する。仮に、出力チャンネル情報がマルチチャンネルを表す場合には、ステレオプリセットマトリクスとマルチチャンネル拡張情報がマルチチャンネルタイププリセットマトリクス生成部８３０に入力され、（オブジェクトの数）＊６の形態を有するマルチチャンネルプリセットマトリクスを生成する。
【００７７】
このように、エンコーダでモノプリセットマトリクスのみを生成し、チャンネル拡張情報を用いてプリセットマトリクス決定部３２６で段階的にプリセットマトリクスを生成する。したがって、再生環境がステレオのみに限定される場合、伝送されるビット数を節約することができ、ステレオまたはマルチチャンネルのためのプリセットマトリクスを重複して伝送しなくて済む。
【００７８】
また、本発明のさらに他の実施例によるオーディオ信号処理方法は、プリセット情報を伝送する際に、ゲイン値を伝送し、必要に応じて、正規化したプリセットマトリクスを伝送する方法を提案する。これは、オーディオ信号に含まれたオブジェクトを調節するためにゲインのみを必要とする場合には、ゲイン値のみを伝送し、容易にプリセットマトリクス全体を伝送する方法として拡張することができる。例えば、上記の式１のようなプリセットマトリクスを伝送するためには、ｎ＊６個のゲイン情報をまず伝送しなければならない。このゲイン情報は、下記の式２で計算することができる。
【００７９】
［式２］
【数２】
【００８０】
ここで、ｉはオブジェクト、ｊは出力チャンネル、ｎＣＨは出力チャンネルの数を表す。Ｇiはオブジェクトの数だけ存在するので、一つのプリセット情報に対してｎ個が必要とされる。
【００８１】
ゲイン情報に加えてパニング情報を必要とする場合、正規化したプリセットマトリクス（normalized preset matrix）をさらに用いる。この正規化したプリセットマトリクスは、下記の式３のように定義することができる。
【００８２】
［式３］
【数３】
【００８３】
上記の方法のように、ゲイン情報及び正規化したプリセットマトリクスを用いる場合、ｎ＊６個のゲイン情報を伝送しなければならない。しかし、正規化特性によって
【数４】
のような特性を有し、
【数５】
のlog10値が常に０より小さいまたは等しいので、ゲイン情報の量子化のためにチャンネルレベル差情報（Channel Level Difference Information）のテーブルを用いる場合、従来に比べて半分のテーブルしか使用しない。したがって、ゲイン情報を別に伝送せずに、正規化していないプリセットマトリクスを受信して用いる場合に比べて、伝送されるビットレート及び利用されるデータの量を節約することができる。また、プリセット情報にゲイン情報のみを含めることもできるので、プリセット情報をスケーラブル（scalable）に使用することができる。
【００８４】
図９は、上記のプリセット情報にゲイン情報とパニングに関する情報を別途に含めて伝送する場合のシンタックスを表現したものである。このようなゲイン情報及びパニング情報は、ヘッダー領域またはフレーム領域に含めることができる。
【００８５】
図９を参照すると、イタリック体で表現された部分は、実際のプリセット情報値をビットストリームから受信するものである。様々なノイズレスコーディング方式（noiseless coding scheme）を利用することができ、図９では関数として表現した。例えば、フレーム領域にそれらの情報が存在する場合、プリセット情報が存在するか否かを判断し、存在する場合にプリセット個数情報を受信する。その後、まず、ゲイン情報を受信し、この情報は、該当のオブジェクトをどのゲイン値で再生するかを表す。この場合、ゲイン情報は、上記のＧ＿ｉであってもよく、外部入力値によってオーディオ信号のレベルが調節された場合に生成されるＡＤＧ（arbitrary downmix gain）であってもよい。
【００８６】
さらに獲得されるパニング情報は、様々な形態でありうる。このパニング情報は、上記の正規化したプリセットマトリクスであってもよく、ステレオパニング情報及びマルチチャンネルパニング情報に区分されていてもよい。
【００８７】
図１０は、本発明のさらに他の実施例によるオーディオ信号処理装置を示す図である。
【００８８】
オーディオ信号処理装置は、主に、ダウンミキシング部１０１０、オブジェクト情報生成部１０２０、プリセット情報生成部１０３０、ダウンミックス信号処理部１０４０、情報処理部１０５０、及びマルチチャンネルデコーディング部１０６０を含む。
【００８９】
複数個のオブジェクトは、ダウンミキシング部１０１０に入力されて、モノまたはステレオダウンミックス信号として生成される。また、複数個のオブジェクトは、オブジェクト情報生成部１０２０に入力されて、オブジェクトのレベルを表すオブジェクトレベル情報（object level information）と、ダウンミックス信号に含まれるオブジェクトのゲイン値及び／またはステレオダウンミックス信号の場合に、ダウンミックスチャンネルに含まれるオブジェクトの程度を表すオブジェクトゲイン情報（object gain information）と、オブジェクト間の関連の有無を表すオブジェクト相関情報（object correlation information）を含むオブジェクト情報（object information）とを生成する。
【００９０】
その後、ダウンミックス信号及びオブジェクト情報は、プリセット情報生成部１０３０に入力されて、オブジェクトのレベルを調節するためのプリセットレンダリングデータとプリセット情報を表現するためのプリセットメタデータとを含むプリセット情報を生成する。このプリセットレンダリングデータ及びプリセットメタデータが生成される過程は、図１乃至図９のオーディオ信号処理装置及び方法で説明した通りであるから、その詳細な説明は省略する。オブジェクト情報生成部１０２０で生成されたオブジェクト情報とプリセット情報生成部１０３０で生成されたプリセット情報は、ＳＡＯＣビットストリームに含めて伝送することができる。
【００９１】
情報処理部１０５０は、オブジェクト情報処理部１０５１及びプリセット情報受信部１０５２を含み、ＳＡＯＣビットストリームを受信する。
【００９２】
プリセット情報受信部１０５２は、ＳＡＯＣビットストリームから上記のプリセット存在情報、プリセット個数情報、プリセット長さ情報、プリセットメタデータ、プリセットタイプ情報、出力チャンネル情報、及びプリセットマトリクスを受信し、図１乃至図９のオーディオ信号処理方法及び装置で説明された様々な実施例による方法を用いる。プリセット情報受信部１０５２は、プリセットメタデータとプリセットマトリクスを出力し、オブジェクト情報処理部１０５１はこれらを受信して、ＳＡＯＣビットストリームに含まれたオブジェクト情報と一緒に用いて、ダウンミックス信号を前処理（pre-processing）するためのダウンミックス処理情報（downmix processing information）とダウンミックス信号をアップミキシングするためのマルチチャンネル情報（multi-channel information）を生成する。
【００９３】
その後、ダウンミックス処理情報は、ダウンミックス信号処理部１０４０に入力されて、ダウンミックス信号に含まれているオブジェクトのパニングを行うことができる。このように前処理されたダウンミックス信号は、情報処理部１０５０から出力されたマルチチャンネル情報と一緒にマルチチャンネルデコーディング部１０６０に入力されてアップミキシングされることで、マルチチャンネルオーディオ信号を生成することができる。
【００９４】
このように、本発明のオーディオ信号処理装置は、複数個のオブジェクトを含むオーディオ信号を、オブジェクト情報を用いてマルチチャンネル信号にデコーディングする際に、予め設定されたプリセット情報を用いることによって、容易にオブジェクトのレベルを調節することができる。また、この場合、オブジェクトに適用されるプリセットマトリクスは、出力チャンネル情報に基づいて受信されたマトリクス形態のデータを用いることによってオブジェクトのレベル調節を効果的に行い、エンコーダ側から伝送されるプリセット長さ情報に基づいてプリセット情報を表現するためのプリセットメタデータを出力することによってコーディング効率を高めることができる。
【００９５】
図１１は、本発明の一実施例によるメタデータ受信部及びプリセットレンダリングデータ受信部を含むプリセット情報受信部が具現された製品の概略的な構成を示す図であり、図１２は、本発明の実施例によるプリセット情報受信部が具現された製品間の関係を示す図である。
【００９６】
図１１を参照すると、有無線通信部１１１０は、有無線通信方式を通じてビットストリームを受信する。特に、有無線通信部１１１０は、有線通信部１１１１、赤外線通信部１１１２、ブルートゥース（Bluetooth（登録商標））１１１３、無線ＬＡＮ通信部１１１４のうち、少なくとも一つを含むことがある。
【００９７】
ユーザ認証部１１２０は、ユーザ情報を受信してユーザ認証を行うもので、指紋認識部１１２１、虹彩認識部１１２２、顔認識部１１２３、及び音声認識部１１２４のうち少なくとも一つを含むことができ、それぞれは、指紋、虹彩情報、顔輪郭情報、音声情報を受信してユーザ情報に変換し、ユーザ情報及び既に登録されているユーザデータと一致するか否かを判断して、ユーザ認証を行うことができる。
【００９８】
入力部１１３０は、ユーザが各種の命令を入力するための入力装置であり、キーパッド部１１３１、タッチパッド部１１３２、リモコン部１１３３のうち少なくとも一つを含むことができるが、本発明はこれに限定されない。一方、後述するメタデータ受信部１１４１から出力される複数個のプリセット情報に対するプリセットメタデータが、ディスプレイ部１１６２を通じて画面に表示される場合に、入力部１１３０を介してユーザがプリセットメタデータを選択でき、選択されたプリセットメタデータに関する情報が制御部１１５０に入力される。
【００９９】
信号デコーディング部１１４０は、メタデータ受信部１１４１及びプリセットレンダリングデータ受信部１１４２を含む。メタデータ受信部１１４１は、プリセット長さ情報を受信し、これに基づいてプリセットメタデータを受信する。また、プリセットレンダリングデータ受信部１１４２は、プリセットタイプ情報によってプリセット情報がマトリクスと表現された場合、出力チャンネル情報を受信し、これに基づいてプリセットレンダリングデータであるプリセットマトリクスを受信する。信号デコーディング部１１４０は、受信したビットストリーム、プリセットメタデータ、及びプリセットマトリクスを用いてオーディオ信号をデコーディングして出力信号を生成し、当該プリセットメタデータをテキストの形態で出力する。
【０１００】
制御部１１５０は、入力装置から入力信号を受信し、信号デコーディング部１１４０と出力部１１６０のプロセス全般を制御する。上記の通り、制御部１１５０に入力部１１３０から選択されたプリセットメタデータに関する情報が入力される場合、プリセットレンダリングデータ受信部１１４２は、選択されたプリセットメタデータに対応するプリセットマトリクスを受信し、これを用いてオーディオ信号をデコーディングする。
【０１０１】
出力部１１６０は、信号デコーディング部１１４０により生成された出力信号などが出力される構成要素であり、スピーカ部１１６１及びディスプレイ部１１６２を含むことができる。出力信号がオーディオ信号の場合、出力信号はスピーカ部１１６１から出力され、ビデオ信号の場合、出力信号はディスプレイ部１１６２から出力される。また、制御部１１５０から入力されたプリセットメタデータをディスプレイ部１１６２を通じて画面に表示する。
【０１０２】
図１２は、図１１に示す製品に該当する端末及びサーバー間の関係を示す図である。
【０１０３】
図１２（Ａ）を参照すると、第１端末１２１０及び第２端末１２２０は互いに有無線通信部を通じてデータやビットストリームを両方向に通信できることがわかる。
【０１０４】
図１２（Ｂ）を参照すると、サーバー１２３０及び第１端末１２４０も同様に、互いに有無線通信を行うことがわかる。
【０１０５】
図１３は、本発明の一実施例によるメタデータ受信部及びプリセットレンダリングデータ受信部を含むプリセット情報受信部が具現された放送信号デコーディング装置１３００の概略的な構成を示す図である。
【０１０６】
図１３を参照すると、デマルチプレクサ１３２０は、チューナ１３１０からＴＶ放送と関連したデータを受信する。受信されたデータはデマルチプレクサ１３２０で分離され、データデコーダ１３３０でデコーディングされる。一方、デマルチプレクサ１３２０で分離されたデータは、ＨＤＤのような記憶媒体１３５０に記憶されることができる。デマルチプレクサ１３２０で分離されたデータは、オーディオデコーダ１３４１及びビデオデコーダ１３４２を含むデコーダ１３４０に入力されて、オーディオ信号及びビデオ信号がデコーディングされる。オーディオデコーダ１３４１は、本発明の一実施例によるメタデータ受信部１３４１Ａ及びプリセットレンダリングデータ受信部１３４１Ｂを含み、メタデータ受信部１３４１Ａは、プリセット長さ情報を受信し、これに基づいてプリセットメタデータを受信する。また、プリセットレンダリングデータ受信部１３４１Ｂは、プリセットタイプ情報によってプリセット情報がマトリクスで表現されている場合、出力チャンネル情報を受信し、これに基づいてプリセットレンダリングデータであるプリセットマトリクスを受信する。オーディオデコーダ１３４１は、受信したビットストリーム、プリセットメタデータ、及びプリセットマトリクスを用いてオーディオ信号をデコーディングして出力信号を生成し、該プリセットメタデータをテキスト形態で出力する。
【０１０７】
ディスプレイ部１３７０は、ビデオデコーダ１３４２から出力されたビデオ信号とオーディオデコーダ１３４１から出力されたプリセットメタデータを画面に表示する。また、ディスプレイ部１３７０は、スピーカ部（図示せず）を含み、オーディオデコーダ１３４１から出力されるオブジェクトのレベルがプリセットマトリクスを用いて調節されたオーディオ信号を、ディスプレイ部１３７０に含まれるスピーカ部から出力する。また、デコーダ１３４０でデコーディングされたデータは、ＨＤＤのような記憶媒体１３５０に記憶することができる。
【０１０８】
一方、信号デコーディング装置１３００は、ユーザから情報を受信して、受信されたデータを制御できるアプリケーションマネージャ１３６０をさらに含むことができる。
【０１０９】
アプリケーションマネージャ１３６０は、ユーザインタフェースマネージャ１３６１及びサービスマネージャ１３６２を含む。ユーザインタフェースマネージャ１３６１は、ユーザから情報を受信するためのインタフェース（interface）を制御する。例えば、ディスプレイ部１３７０に表示されるテキストの書体、画面の明るさ、メニュー構成などを制御することができる。一方、サービスマネージャ１３６２は、デコーダ１３４０及びディスプレイ部１３７０で放送信号をデコーディングして出力する場合、受信する放送信号を、ユーザから入力される情報を用いて制御することができる。例えば、放送チャンネルの設定、アラーム機能設定、成人認証機能などを提供することができる。アプリケーションマネージャ１３６０から出力されるデータは、デコーダ１３４０の他に、ディスプレイ部１３７０にも伝送して用いることができる。
【０１１０】
図１４は、本発明の一実施例によるプリセット情報受信部を含む製品のディスプレイ部を示す図である。ディスプレイ部は、ビットストリームに含まれた全てのプリセットメタデータを表示することができる。例えば、図１４に示すように、オーディオ信号に対応するプリセットメタデータであるカラオケモード、コンサートホールモード、及びニュースモードを画面に全部表示する。
【０１１１】
これらのプリセットメタデータのうち一つをユーザが選択する場合、ディスプレイ部は、カラオケモードに対応するプリセットマトリクスが複数個のオブジェクトに適用されることによって、レベルの調節されたオブジェクトを画面に表示する。例えば、ユーザがカラオケモードを選択する場合、ボーカルオブジェクトのレベルが最低に設定されたものが表示されることがある。また、ユーザがニュースモードを選択する場合には、オーディオ信号に適用されるプリセットマトリクスは、ボーカルオブジェクト以外のオブジェクトのレベルを減少させることとなる。
【０１１２】
図１４を参照すると、ニュースモードが選択された場合、ディスプレイ部は、ボーカルオブジェクトのレベルが、カラオケモード時におけるボーカルオブジェクトのレベルよりも増加し、その他のオブジェクトのレベルは最低に設定されたものが表示されている。
【０１１３】
したがって、ディスプレイ部にプリセット情報を表現するプリセットメタデータの他、プリセットマトリクスによって調節されたオブジェクトのレベルを表示することによって、ユーザは、所望のプリセットモードを適切に選択し、所望の音場感を有するオーディオ信号を聴取することが可能になる。
【０１１４】
以上、本発明の実施形態を参照しながら本発明について説明および例示したが、当分野の技術者にとって、本発明の主旨および範囲から逸脱することなく様々な修正および変形が可能であることは明らかである。したがって、本発明は、添付の特許請求の範囲およびその均等範囲内の本発明の修正および変形を含むものである。
【０１１５】
本発明は、オーディオ信号のエンコーディング及びデコーディングに適用することができる。
【技術分野】
【０００１】
本発明は、オーディオ信号の処理方法及び装置に係り、より詳細には、広範囲の適用に好適でありながらも、特に、デジタル媒体、放送信号などで受信されたオーディオ信号の処理に好適なオーディオ信号の処理方法及び装置に関するものである。
【背景技術】
【０００２】
複数個のオブジェクトを含むオーディオ信号を、モノ信号またはステレオ信号にダウンミックスしてダウンミックス信号を生成する過程において、オブジェクトからパラメータが抽出される。それらのパラメータは、ダウンミックスされた信号をデコーディングする過程で用いられ、オブジェクトのパニング（panning）とゲイン（gain）は、ユーザの選択によってコントロールすることができる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
ダウンミックス信号に含まれているオブジェクトは、ユーザの選択によって適切に調節しなければならない。しかし、ユーザがオブジェクトを制御する場合は、直接オブジェクトを制御しなければならず、面倒であり、専門家によって制御してもらう場合に比べて、複数のオブジェクトを含むオーディオ信号を、環境に応じて最適の状態として再現することは困難である。
【０００４】
したがって、本発明は、当分野における制限や欠点に起因する一つまたは複数の問題を実質的に防止するオーディオ信号処理方法及び装置を目的とする。
【０００５】
本発明の目的は、プリセットメタデータ及びプリセットレンダリングデータを含むプリセット情報を用いて、オーディオ信号に含まれるオブジェクトを調節することができるオーディオ信号処理方法及び装置を提供することにある。
【０００６】
本発明の他の目的は、プリセットレンダリングデータタイプがマトリクスである場合、オーディオ信号の出力チャンネル情報に基づいてプリセットレンダリングデータを決定し、このプリセットレンダリングデータをオーディオ信号に適用することによって、出力チャンネルにおけるオブジェクトのレベルを調節するオーディオ信号処理方法及び装置を提供することにある。
【０００７】
また、本発明のさらに他の目的は、オブジェクトを調節するプリセットレンダリングマトリクスを、エンコーダから伝送されたモノタイププリセットレンダリングマトリクスまたはゲイン情報から段階的に生成するオーディオ信号処理方法及び装置を提供することにある。
【課題を解決するための手段】
【０００８】
本発明の他の特徴および利点は、以下の記載で述べるが、その一部については、明細書の記載から明らかになるであろうし、あるいは、本発明の実施によって分かるであろう。本発明の目的および他の利点は、明細書および特許請求の範囲の書面ならびに添付図面で特に示された構成によって、実現され達成されるであろう。
【０００９】
上記目的を達成するために、本発明によるオーディオ信号処理方法は、少なくとも一つのオブジェクトを含むオーディオ信号及びプリセット情報を受信する段階と、前記プリセット情報からプリセットマトリクスを獲得する段階であって、前記プリセットマトリクスが、前記オブジェクトが出力チャンネルに含まれる程度を示すものである段階と、前記プリセットマトリクスを用いて、出力チャンネルによって前記オブジェクトの出力レベルを調節する段階と、前記出力レベルの調節されたオブジェクトを含むオーディオ信号を出力する段階と、を含み、前記プリセット情報は、前記プリセット情報が含まれているか否かを表すプリセット存在情報及び前記プリセット情報の個数を表すプリセット個数情報に基づいて獲得され、前記プリセットマトリクスは、前記プリセット情報がマトリクスで表現されているか否かを表すプリセットタイプ情報に基づいて獲得されることを特徴とする。
【００１０】
本発明によれば、前記プリセットマトリクスは、前記出力チャンネルがモノ、ステレオ及びマルチチャンネルのうち一つであることを表す出力チャンネル情報に基づいて獲得されることを特徴とする。
【００１１】
本発明によれば、前記プリセットタイプ情報は、１ビットで表現されることを特徴とする。
【００１２】
本発明によれば、前記プリセットマトリクスの次元は、前記オブジェクトの個数及び前記出力チャンネルの個数に基づいて決定されることを特徴とする。
【００１３】
本発明の他の側面によるオーディオ信号処理装置によれば、少なくとも一つのオブジェクトを含むオーディオ信号を受信するオーディオ信号受信部と、プリセット情報のプリセットメタデータを獲得するプリセットメタデータ受信部と、前記オブジェクトが出力チャンネルに含まれる程度を表すプリセットマトリクスを獲得するプリセットレンダリングデータ受信部であって、前記プリセットマトリクスは、前記プリセットメタデータに対応するプリセットレンダリングデータ受信部と、前記プリセットメタデータを表示するディスプレイ部と、前記プリセットメタデータのうち一つを選択する信号を受信する入力部と、前記選択されたプリセットメタデータに対応する前記プリセットマトリクスを用いて、出力チャンネルによって前記オブジェクトの出力レベルを調節するオブジェクト調節部と、前記出力レベルの調節されたオブジェクトを含むオーディオ信号を出力する出力部と、を含むことを特徴とする。
【００１４】
本発明によれば、前記出力部が、前記オーディオ信号を出力する場合、前記ディスプレイ部は、前記選択されたプリセットメタデータを表示することを特徴とする。
【００１５】
本発明によれば、前記ディスプレイ部は、前記オブジェクトの出力レベルをさらに表示することを特徴とする。
【００１６】
本発明によれば、前記プリセットマトリクスは、前記出力チャンネルがモノ、ステレオ及びマルチチャンネルのうちの一つであることを表す出力チャンネル情報に基づいて獲得されることを特徴とする。
【００１７】
本発明によれば、前記プリセット情報は、前記プリセット情報の個数を表すプリセット個数情報に基づいて獲得され、前記プリセットマトリクスは、前記プリセット情報がマトリクスで表現されているか否かを表すプリセットタイプ情報に基づいて獲得されることを特徴とする。
【００１８】
本発明によれば、前記プリセット情報は、前記オブジェクトに適用される前記プリセットマトリクスが存在するか否かを表すプリセットオブジェクト適用情報をさらに含むことを特徴とする。
【００１９】
本発明によれば、前記ディスプレイ部は、前記プリセットオブジェクト適用情報に基づいて、前記オブジェクトに適用される前記プリセットマトリクスが存在するか否かをさらに表示することを特徴とする。
【００２０】
本発明によれば、前記ディスプレイ部は、前記プリセットメタデータをテキスト形態で表現することを特徴とする。
【発明の効果】
【００２１】
本発明は、下記のような効果及び利点を提供する。
【００２２】
第一に、オブジェクトに対するユーザの設定なしに、予め設定されたプリセット情報のうち一つを選択することによって容易にオブジェクトの出力チャンネルのレベルを調節することができる。
【００２３】
第二に、プリセット情報を表現するプリセットメタデータを、メタデータの長さを示すプリセット長さ情報に基づいてテキスト形態で表現することによって、不必要なコーディングを減らすことができる。
【００２４】
第三に、プリセットレンダリングデータのタイプがマトリクスである場合、オーディオ信号の出力チャンネル情報に基づいて、プリセットレンダリングデータを示すプリセットマトリクスを決定することによって、オブジェクトの出力チャンネルのレベルをより正確で効率よく調節することができる。
【００２５】
第四に、プリセットマトリクスを段階的に生成することによって、エンコーダから伝送されるビットレートを減少させることができる。
【００２６】
第五に、複数個のオブジェクトのうち一部のオブジェクトのみを調節できるプリセットマトリクスを用いることによって、不必要なコーディングを減少させることができる。
【００２７】
添付図面は、本発明をさらに理解するために包含されており、本明細書に組み込まれて本明細書の一部を構成する。これらの添付図面は、本発明の実施形態を例示し、明細書の記載と共に本明細書の原理を説明するためのものである。
【図面の簡単な説明】
【００２８】
【図１】本発明の実施例によるオーディオ信号に含まれたオブジェクトに適用されるプリセット情報の概念図である。
【図２】本発明の実施例によるオーディオ信号処理装置を示す図である。
【図３】本発明の実施例によるオーディオ信号処理装置におけるプリセット情報受信部を示す図である。
【図４】本発明の実施例によるオーディオ信号処理方法を示すフローチャートである。
【図５】本発明の実施例によるシンタックス（syntax）を示す図である。
【図６】本発明の他の実施例によるシンタックスを示す図である。
【図７】本発明のさらに他の実施例によるシンタックスを示す図である。
【図８】本発明のさらに他の実施例によるプリセットレンダリングデータ受信部を示す図である。
【図９】本発明のさらに他の実施例によるシンタックスを示す図である。
【図１０】本発明のさらに他の実施例によるオーディオ信号処理装置を示す図である。
【図１１】本発明の実施例によるプリセット情報受信部が具現された製品の概略的な構成を示す図である。
【図１２】図１１に示す製品に該当する端末及びサーバー間の関係を示す図である。
【図１３】本発明の実施例によるプリセット情報受信部が具現されたデジタルＴＶの概略的な構成を示す図である。
【図１４】本発明の一実施例によるプリセット情報受信部を含む製品のディスプレイ部を示す図である。
【発明を実施するための形態】
【００２９】
以下の本発明に関する概略説明とそれに続く詳細説明は、共に、実施例とその説明であり、特許請求の範囲に記載された本発明をさらに説明するためのものであることを理解されたい。
【実施例１】
【００３０】
以下、添付の図面を参照しつつ、本発明の好ましい実施例について詳細に説明する。本明細書及び請求の範囲に使われた用語や単語は、通常的または辞書的な意味に限定して解析してはならず、発明者は自身の発明を最善の方法で説明するために用語の概念を適切に定義することができるという原則に立って、本発明の技術的思想に符合する意味及び概念として解釈しなければならない。したがって、本明細書に記載された実施例と図面に示された構成は、本発明の最も好ましい一実施例に過ぎないもので、本発明の技術的思想を全部代弁するものではないので、本出願時点においてこれらに代替可能な様々な均等物及び変形例がありうることが理解される。
【００３１】
特に、本明細書で、情報（information）は、値（values）、パラメータ（parameters）、係数（coefficients）、成分（elements）などを総称する用語と解釈され、オブジェクト（object）は、ギター（guitar）、ボーカル（vocal）、ピアノ（piano）等を含め、オーディオ信号を構成するソース（source）信号のそれぞれを示すものと解釈される。これらの意味は場合によって異なって解釈され、これらによって発明が限定されることはない。
【００３２】
本発明は、複数個のオブジェクトを含むオーディオ信号をデコーディングする方法において、これらのオブジェクトを調節するための予め設定された情報のうち一つを用いることによって当該オーディオ信号を効果的にデコーディングする方法を提供する。
【００３３】
図１は、本発明の実施例による、オーディオ信号に含まれたオブジェクトに適用されるプリセット情報の概念図である。本明細書では、オブジェクトを調節するための予め設定された情報をプリセット情報（preset information）とする。プリセット情報は、オーディオ信号の特性または聴取環境によって選択しうる様々なモードを表すことができ、複数個とすることができる。また、プリセット情報は、プリセット情報の属性などを表現するためのメタデータ（metadata）と、オブジェクトを調節するために適用されるレンダリングデータ（rendering data）とを含む。メタデータは、テキスト形態で表示することができ、プリセット情報の属性（例えば、コンサートホールモード、カラオケモード、ニュースモード等）を表す他に、プリセット情報の作成者、作成日、プリセット情報が適用されるオブジェクト名などを含め、当該プリセット情報を表現するための関連情報を含むことができる。一方、レンダリングデータは、実質的にオブジェクトに適用されるデータであり、様々な形態を有することができ、特にマトリクス形態を有することができる。
【００３４】
図１を参照すると、プリセット情報１（preset 1）は、音楽信号をコンサートホールで聞くような音場感を提供するコンサートホールモード（concert hall mode）とすることができ、プリセット情報２（preset 2）は、オーディオ信号のうちボーカル（vocal）オブジェクトのレベルを減少させたカラオケモード（karaoke mode）とすることができ、プリセット情報ｎ（preset n）は、音声オブジェクトのレベルを増加させたニュースモード（news mode）とすることができる。また、プリセット情報２（preset 2）は、メタデータ２とレンダリングデータ２を含む。仮に、ユーザからプリセット情報２が選択されると、メタデータ２であるカラオケモード（karaoke mode）がディスプレイ部に表示され、メタデータ２に関するレンダリングデータ２がオブジェクトに適用されてレベルを調節することができる。
【００３５】
この場合、レンダリングデータがマトリクス形態であれば、レンダリングデータは、モノマトリクス（mono matrix）、ステレオマトリクス（stereo matrix）、マルチチャンネルマトリクス（multi-channel matrix）を含むことができる。モノマトリクスは、オブジェクトの出力チャンネルがモノである場合に適用されるレンダリングデータであり、ステレオマトリクスは、オブジェクトの出力チャンネルがステレオである場合に適用されるレンダリングデータであり、マルチチャンネルマトリクスは、オブジェクトの出力チャンネルがマルチチャンネルである場合に適用されるレンダリングデータである。オブジェクトの出力チャンネルが決定されると、該決定された出力チャンネルを用いてマトリクスが決定される。その後、該マトリクスをオブジェクトに適用してレベルを調節することができる。
【００３６】
このように、プリセット情報に含まれたメタデータ及びレンダリングデータを用いて当該オブジェクトを調節し、適用されたプリセット情報の属性または特徴を表現することによって、ユーザの所望する効果を有するオーディオ信号を効率よく提供することが可能になる。
【００３７】
図２は、本発明の実施例によるオーディオ信号処理装置２００を示す図である。
【００３８】
図２を参照すると、オーディオ信号処理装置２００は、プリセット情報生成部２１０、プリセット情報受信部２２０、オブジェクト調節部２３０を含むことがある。
【００３９】
プリセット情報生成部２１０は、オーディオ信号に含まれたオブジェクトを調節するためのプリセット情報を生成するもので、メタデータ生成部２１２及びプリセットレンダリングデータ生成部２１４を含むことができる。メタデータ生成部２１２は、プリセット情報を表現するテキスト情報を受信してプリセットメタデータ（preset metadata）を生成することができる。このプリセットメタデータは、上記の通り、プリセット情報の特性または属性を表現するための情報でありうる。この場合、メタデータ生成部２１２は、プリセットメタデータの文字の長さの数を表すプリセット長さ情報（preset length information）をさらに生成することができる。このプリセット長さ情報は、バイト（byte）で表すことができるが、これに限定されることはない。
【００４０】
一方、オブジェクトのレベルを調節するためのゲイン及びオブジェクトのパニング（panning）のための情報が、プリセットレンダリングデータ生成部２１４に入力される場合、当該オブジェクトに適用されるプリセットレンダリングデータ（preset rendering data）を生成することができる。プリセットレンダリングデータは、オブジェクトごとに生成することができ、様々なタイプにすることができ、例えば、マトリクス形態などで具現されたプリセットマトリクス（preset matrix）とすることができる。また、プリセットレンダリングデータ生成部２１４は、プリセットレンダリングデータがマトリクス形態で表現されているか否かを表すプリセットタイプ情報（preset_type_flag）をさらに生成することができる。また、オブジェクトの出力チャンネルが何本かを表す出力チャンネル情報（output channel information）をさらに生成することもできる。
【００４１】
メタデータ生成部２１２で生成されたプリセット長さ情報及びプリセットメタデータと、プリセットレンダリングデータ生成部２１４で生成されたプリセットタイプ情報、出力チャンネル情報、及びプリセットレンダリングデータは、一つのビットストリームに含めて伝送することができ、特に、オーディオ信号を含むビットストリームの補助領域（ancillary region）に含めて伝送することができる。
【００４２】
一方、プリセット情報生成部２１０は、プリセット長さ情報、プリセットメタデータ、プリセットタイプ情報、出力チャンネル情報、及びプリセットレンダリングデータがビットストリームに含まれていることを表すプリセット存在情報（preset exist information）をさらに生成することができる。このプリセット存在情報は、プリセット情報に関する情報がどの領域に含まれているかを表すコンテナタイプ（container type）にしてもよく、フラグタイプ（flag type）にしてもよいが、これに限定されない。
【００４３】
また、プリセット情報生成部２１０は、複数個のプリセット情報を生成することができ、それぞれのプリセット情報は、プリセット長さ情報、プリセットメタデータ、プリセットタイプ情報、出力チャンネル情報、及びプリセットレンダリングデータを含む。ここで、プリセット情報生成部２１０は、プリセット情報の個数を表すプリセット個数情報（preset number information）をさらに生成することができる。
【００４４】
プリセット情報受信部２２０は、プリセット情報生成部２１０で生成されて伝送されたプリセット情報を受信するもので、メタデータ受信部２２２及びプリセットレンダリングデータ受信部２２４を含むことができる。
【００４５】
メタデータ受信部２２２は、プリセットメタデータを受信して出力し、プリセットレンダリングデータ受信部２２４は、プリセットレンダリングデータ（例えば、プリセットマトリクス）を受信する。これについての詳細は、図３及び図４を参照して後述される。
【００４６】
オブジェクト調節部２３０は、複数個のオブジェクトを含むオーディオ信号と、プリセットレンダリングデータ受信部２２４で生成されたプリセットレンダリングデータとを受信する。このプリセットレンダリングデータは、オブジェクトに適用されてオブジェクトのレベルを調節したり、オブジェクトの位置を調節したりすることができる。
【００４７】
図３は、本発明のオーディオ信号処理装置２００のプリセット情報受信部２２０に含まれるメタデータ受信部３１０及びプリセットレンダリングデータ受信部３２０の概略的な構成を示す図である。
【００４８】
メタデータ受信部３１０は、プリセット長さ情報受信部３１２及びプリセットメタデータ受信部３１４を含む。プリセット長さ情報受信部３１２は、プリセット情報を表現するためのプリセットメタデータの長さを表すプリセット長さ情報（preset length information）を受信し、該プリセットメタデータの長さを獲得する。続いて、プリセットメタデータ受信部３１４は、プリセット長さ情報が表す長さ分のビットストリームを読んで当該プリセットメタデータを受信する。また、プリセットメタデータ受信部３１４は、プリセット情報の種類または属性がわかるメタデータであるプリセットメタデータを、テキスト形式に変換して出力する。
【００４９】
プリセットレンダリングデータ受信部３２０は、プリセットタイプフラグ受信部３２２、出力チャンネル情報受信部３２４、及びプリセットマトリクス受信部３２６を含む。プリセットデータタイプフラグ受信部３２２は、プリセットレンダリングデータがマトリクス形態なのか否かを表すプリセットタイプフラグ（preset_type_flag）を受信する。プリセットタイプフラグの意味は、下記の表１の通りである。
【００５０】
【表１】
【００５１】
プリセットタイプフラグが、プリセットレンダリングデータのタイプがマトリクスである場合を表していると、出力チャンネル情報受信部３２４は、オーディオ信号に含まれたオブジェクトが何本の出力チャンネルで再生されるかを表す出力チャンネル情報を受信する。この出力チャンネル情報は、モノチャンネル、ステレオチャンネル、またはマルチチャンネル（５．１チャンネル）を含んでもよいが、これに限定されない。
【００５２】
プリセットマトリクス受信部３２６は、入力された出力チャンネル情報を用いて、該オブジェクトに適用されるプリセットマトリクスを受信して出力する。このプリセットマトリクスは、モノプリセットマトリクス、ステレオプリセットマトリクスまたはマルチチャンネルプリセットマトリクスのうち一つであり、このプリセットマトリクスの次元は、オブジェクトの数及び出力チャンネルの数に基づいて決定することができ、プリセットマトリクスは、（オブジェクトの数）＊（出力チャンネルの数）の形態を有することができる。例えば、オーディオ信号に含まれたオブジェクトがｎ個であり、出力チャンネル情報受信部３２４からの出力チャンネルが５．１チャンネル、すなわち、６個のチャンネルである場合、プリセットマトリクス受信部３２６は、ｎ＊６の形態で具現された下記の式１のプリセットマルチチャンネルマトリクスを出力することができる。
【００５３】
［式１］
【数１】
【００５４】
ここで、マトリクス成分（ｍa,b)は、ａ番目のオブジェクトがｂ番目のチャンネルに含まれる程度を表すゲイン値である。その後、このプリセットマルチチャンネルマトリクスはオーディオ信号に適用され、該当のオブジェクトのレベルを調節することができる。
【００５５】
このように、本発明のプリセット情報受信部２２０は、プリセット長さ情報を用いて必要な分のビットストリームを読んで、効率よくプリセットメタデータを表現し、プリセットマトリクスを出力チャンネル情報に基づいて獲得することによって、オーディオ信号に含まれたオブジェクトのゲインなどを効果的に調節することができる。
【００５６】
図４は、本発明の実施例によるオーディオ信号処理方法を示すフローチャートである。
【００５７】
図４を参照すると、少なくとも１つのオブジェクトを含むオーディオ信号を受信する（Ｓ４１０）。また、オブジェクトのゲインまたはパニングなどを調節するために、予め設定されたプリセット情報が存在するか否かを表すプリセット存在情報（preset exist information）を受信し（Ｓ４１５）、プリセット情報が存在する場合、予め設定されたプリセット情報が何個（ｎ）かを表すプリセット個数情報を受信する（Ｓ４２０）。このプリセット個数情報は、プリセット情報が存在することを仮定しているので、（実際存在するプリセット個数）−１個で表現することができる。その後、プリセット情報を表現するためのメタデータが何ビット（または、バイト）を有するかを表すプリセット長さ情報を受信する（Ｓ４３０）。受信されたプリセット長さ情報に基づいてプリセットメタデータを受信し（Ｓ４３５）、例えば、カラオケモード、コンサートホールモード、ニュースモードなどを出力する（Ｓ４３７）。プリセットメタデータはテキスト形態とすることができ、上記の通り、プリセット情報の音場効果を表現するメタデータの他にも、プリセット作成者、作成日、プリセット情報で調節されたオブジェクト名などを表現するメタデータとすることもできるが、これに限定されない。
【００５８】
続いて、プリセット情報に含まれたプリセットレンダリングデータのタイプを表すプリセットタイプ情報を受信する（Ｓ４４０）。プリセットタイプ情報に基づいてプリセットデータのタイプがマトリクスなのか否かを判断し（Ｓ４４５）、マトリクスであると（Ｓ４４５のＹｅｓ）、オブジェクトの出力チャンネルが何本かを表す出力チャンネル情報を受信する（Ｓ４５０）。エンコーディングされたプリセットマトリクスの中から、出力チャンネル情報に基づいて該当するプリセットマトリクスを受信する（Ｓ４５５）。例えば、オブジェクトの出力チャンネルがステレオである場合、受信されたプリセットマトリクスは、（オブジェクトの数）＊２の形態を有するステレオプリセットマトリクスになりうる。
【００５９】
上記の段階で受信されたプリセット長さ情報、プリセットメタデータ、プリセットタイプ情報、出力チャンネル情報、及びプリセットマトリクスを含むプリセット情報（ｉ番目）が、プリセット個数情報が表すプリセット情報の個数（ｎ）よりも小さいか判断する（Ｓ４６０）。プリセット個数情報よりも小さい場合（Ｓ４６０のＹｅｓ）、Ｓ４３０段階に戻り、次のプリセット情報（ｉ＋１番目）のプリセット長さ情報を受信する段階を反復する。プリセット個数情報と同一の場合（Ｓ４６０のＮｏ）、プリセットマトリクスをオーディオ信号に適用してオブジェクトのレベルを調節する（Ｓ４６５）。一方、プリセットタイプがマトリクスでない場合（Ｓ４４５のＮｏ）、エンコーダで設定されたマトリクス以外の形式で具現されたプリセットデータを受信し（Ｓ４５７）、受信されたプリセットデータをオーディオ信号に適用してオブジェクトのレベルを調節する（Ｓ４６８）。その後、調節されたオブジェクトを含むオーディオ信号を出力することができる（Ｓ４７０）。
【００６０】
プリセットマトリクスを適用してオブジェクトを調節する段階（Ｓ４６５）は、ユーザの選択によって決定されたプリセットマトリクスを用いることができる（図示せず）。ユーザは、プリセットメタデータを出力する段階（Ｓ４３７）で出力されたプリセットメタデータを参考して、所望のプリセット情報を選択することができる。例えば、ユーザが、プリセットメタデータのうち、カラオケモードと表現されたメタデータを選択する場合、出力チャンネル情報に基づいて受信されたプリセットマトリクス（Ｓ４５５）のうち、カラオケモードであるプリセットメタデータに対応するプリセットマトリクスが選択される。その後、選択されたカラオケモードに対応するプリセットマトリクスがオーディオ信号に適用されることでオブジェクトのレベルを調節し、調節されたオブジェクトを含むオーディオ信号が出力される。
【００６１】
図５は、本発明の一実施例によるオーディオ信号処理方法を示すシンタックス（syntax）を表現したものである。
【００６２】
図５を参照すると、プリセット情報に関する情報は、ビットストリームのヘッダー（header）領域に存在することがある。ビットストリームのヘッダー領域からプリセット個数情報（bsNumPresets）を獲得することができる。
【００６３】
例えば、プリセット個数情報が存在する場合（if(bsNumPresets)）、プリセット個数情報が表すプリセット情報の個数を獲得する（numPresets=bsNumPresets+1）。例えば、プリセット個数情報は、プリセット情報が１個存在する場合、bsNumPresetsを０に設定でき、この場合、実際プリセット情報の個数は、（プリセット個数情報）＋１と把握して用いることができる。まず、プリセット個数情報をビットストリームから受信することができる。
【００６４】
また、プリセット個数情報に基づいてプリセット情報（ｉ番目のプリセット情報）ごとにプリセットレンダリングデータのタイプを表す情報を獲得することができる（bsPresetType[i]）。仮に、プリセットレンダリングデータをマトリクスタイプで伝送する場合を特定プリセットタイプと定義する場合（マトリクスタイプである時、bsPresetType[i]が伝送される場合）、プリセットレンダリングデータのタイプを表す情報は、プリセットレンダリングデータがマトリクスタイプで生成されて伝送されたかを表す上記プリセットタイプ情報（preset_type_flag）でありうる。プリセットタイプ情報は、１ビットで表現することができる。
【００６５】
また、ｉ番目のプリセット情報に含まれたプリセットレンダリングデータがマトリクスタイプである場合（bsPresetType[i]）、出力チャンネルが何本のチャンネルを有するかを表す出力チャンネル情報（bsPresetCh[i]）を獲得し、出力チャンネル情報に基づいて、オーディオ信号に含まれたオブジェクトのレベルを調節するためのプリセットマトリクスを獲得する（getRenderingMatrix()）。
【００６６】
図６は、本発明の他の実施例によるオーディオ信号処理方法を示すシンタックス（syntax）を表現したものである。プリセット情報は、ヘッダー領域に含まれて、全てのフレームで同一に適用されてもよいが、時間によって変化（以下、「時変（time-variable）」という。）して適用されることによって、オブジェクトのレベルを効果的に調節することができる。プリセット情報が時変する場合には、フレームごとにプリセット情報に関する情報が含まれなければならない。したがって、プリセット情報がフレームごとに含まれているか否かを表す情報をヘッダーに含めることによって、効果的にビットストリームを構成することができる。
【００６７】
図６を参照すると、プリセット情報がフレームごとに含まれるか否かを表現するシンタックスが示されるが、図５に示すオーディオ信号の処理方法を示すシンタックス（syntax）と略同様である。ただし、図６に示すシンタックスは、出力チャンネル情報（bsPresetCh[i]）を獲得した後、プリセット情報が時間的に変化するか否か、すなわち、フレームごとに含まれているか否かを表すプリセット時変フラグ情報（bsPresetTimeVarying[i]）を含んでもよい。このプリセット時変フラグ情報がビットストリームのヘッダー領域に含まれている場合、ビットストリームのフレーム領域に含まれたプリセットマトリクス及びプリセットメタデータを用いてオブジェクトのレベルを調節する。プリセット時変フラグ情報がヘッダーに存在する場合、フレームごとにプリセット情報の更新があるか否かを判断し、更新がない場合はそのまま（keep）利用し、更新がある場合は、読み込み（read）などの別のフラグを含めて効率よくビットストリームを構成することも可能である。
【００６８】
また、ビットストリームにプリセット情報が含まれているか否かを表すプリセット存在情報（bsPresetExists）を含むことができる。仮に、プリセット存在情報が、プリセット情報がビットストリームに含まれていないと表す場合は、プリセット個数情報（bsNumPresets）、プリセットタイプ情報（bsPresetType[i]）、出力チャンネル情報（bsPresetCh[i]）、及びプリセット時変フラグ情報（bsPresetTimeVarying[i]）を獲得するループ（loop）を行わなくて済む。このプリセット存在情報は、場合によってはシンタックス構文で省略可能である。
【００６９】
図７は、本発明のさらに他の実施例によるオーディオ信号処理方法を示すシンタックスを表現したものである。上記のプリセットマトリクスは、（オブジェクトの数）＊（出力チャンネルの数）の形態を有するマトリクスであり、オーディオ信号に含まれた全てのオブジェクトのレベルがどのように調節されて出力チャンネルに含まれるかを表す。しかし、上記オブジェクトのうちの一部のオブジェクトに関する情報のみを受信して用いる方が、伝送されるビット数を減少させる側面で効率的であるといえる。したがって、本発明のさらに他の実施例では、プリセット情報を用いて所望のオブジェクトのみを調節するオーディオ信号処理方法のシンタックスを提案する。
【００７０】
図７を参照すると、オブジェクトのそれぞれに対してオブジェクトのレベルを調節するためのプリセット情報が適用されるか否かを表すプリセットオブジェクト適用情報（bsPresetObject[i][j]）をシンタックスにさらに含むことができる。プリセットオブジェクト適用情報を用いることによって、プリセット情報が該当のオブジェクトに関する情報を含んでいるか否かを知らせることが可能になる。プリセットオブジェクト適用情報は、ビットストリームのヘッダー領域に存在してもよく、図６に示すように、プリセット情報が時変する場合には、フレームに存在してもよい。図７に示すように、各オブジェクトに対して、プリセット情報に該当のオブジェクトに関する情報を含むか否かを知らせることもでき、含むか否かを表すオブジェクトインデックスをビットストリームに含めることもできる。仮に、オブジェクトインデックスを用いる場合には、終了文字（exit character）を使ってより便利にビットストリームを構成することができる。
【００７１】
終了文字は、ロスレスコーディング（lossless coding）でハフマンテーブル（Huffman table）などを用いて符号化を行う場合、実際のパラメータの数よりもテーブルを１だけ大きく設計し、さらに割り当てられたパラメータを終了パラメータとして定義することができる。この場合、終了パラメータがビットストリームから獲得されると、該当の情報を全部受信したと定義して用いることができる。例えば、プリセット情報が、総１０個のオブジェクトうち２個のオブジェクトに関する情報のみを含む場合（３番オブジェクト及び８番オブジェクトに関する情報）は、３番オブジェクト及び８番オブジェクトに該当するハフマンインデックスと終了パラメータに該当するハフマンインデックスを順に伝送することによって効果的にビットストリームを構成することができる。
【００７２】
図８は、本発明のさらに他の実施例であるプリセットマトリクスを段階的に生成するプリセットレンダリングデータ受信部の概略的な構成を示す図である。
【００７３】
図８を参照すると、プリセットレンダリングデータ受信部３２０は、プリセットタイプフラグ受信部３２２、出力チャンネル情報受信部３２４、及びプリセットマトリクス決定部３２６を含む。その他の構成要素は、図２及び図３のプリセットレンダリングデータ受信部２２４，３２０と同じ構成及び効果を有するので、その詳細な説明は省略する。
【００７４】
一方、図８に示すように、プリセットマトリクス決定部３２６は、モノタイププリセットマトリクス受信部８１０、ステレオタイププリセットマトリクス生成部８２０、及びマルチチャンネルタイププリセットマトリクス生成部８３０を全て含む。
【００７５】
モノタイププリセットマトリクス受信部８１０は、プリセット情報生成部（図示せず）から、（オブジェクトの数）の形態のマトリクスで表現されるモノプリセットマトリクスを受信する。仮に、出力チャンネル情報受信部３２４から受信された出力チャンネル情報がモノである場合、モノプリセットマトリクスはそのまま出力され、オーディオ信号に適用されてオブジェクトのレベルを調節することができる。
【００７６】
一方、出力チャンネル情報がステレオである場合には、ステレオタイププリセットマトリクス生成部８２０にモノプリセットマトリクスが入力され、チャンネル拡張情報をさらに受信して、（オブジェクトの数）＊２の形態のステレオプリセットマトリクスを生成する。仮に、出力チャンネル情報がマルチチャンネルを表す場合には、ステレオプリセットマトリクスとマルチチャンネル拡張情報がマルチチャンネルタイププリセットマトリクス生成部８３０に入力され、（オブジェクトの数）＊６の形態を有するマルチチャンネルプリセットマトリクスを生成する。
【００７７】
このように、エンコーダでモノプリセットマトリクスのみを生成し、チャンネル拡張情報を用いてプリセットマトリクス決定部３２６で段階的にプリセットマトリクスを生成する。したがって、再生環境がステレオのみに限定される場合、伝送されるビット数を節約することができ、ステレオまたはマルチチャンネルのためのプリセットマトリクスを重複して伝送しなくて済む。
【００７８】
また、本発明のさらに他の実施例によるオーディオ信号処理方法は、プリセット情報を伝送する際に、ゲイン値を伝送し、必要に応じて、正規化したプリセットマトリクスを伝送する方法を提案する。これは、オーディオ信号に含まれたオブジェクトを調節するためにゲインのみを必要とする場合には、ゲイン値のみを伝送し、容易にプリセットマトリクス全体を伝送する方法として拡張することができる。例えば、上記の式１のようなプリセットマトリクスを伝送するためには、ｎ＊６個のゲイン情報をまず伝送しなければならない。このゲイン情報は、下記の式２で計算することができる。
【００７９】
［式２］
【数２】
【００８０】
ここで、ｉはオブジェクト、ｊは出力チャンネル、ｎＣＨは出力チャンネルの数を表す。Ｇiはオブジェクトの数だけ存在するので、一つのプリセット情報に対してｎ個が必要とされる。
【００８１】
ゲイン情報に加えてパニング情報を必要とする場合、正規化したプリセットマトリクス（normalized preset matrix）をさらに用いる。この正規化したプリセットマトリクスは、下記の式３のように定義することができる。
【００８２】
［式３］
【数３】
【００８３】
上記の方法のように、ゲイン情報及び正規化したプリセットマトリクスを用いる場合、ｎ＊６個のゲイン情報を伝送しなければならない。しかし、正規化特性によって
【数４】
のような特性を有し、
【数５】
のlog10値が常に０より小さいまたは等しいので、ゲイン情報の量子化のためにチャンネルレベル差情報（Channel Level Difference Information）のテーブルを用いる場合、従来に比べて半分のテーブルしか使用しない。したがって、ゲイン情報を別に伝送せずに、正規化していないプリセットマトリクスを受信して用いる場合に比べて、伝送されるビットレート及び利用されるデータの量を節約することができる。また、プリセット情報にゲイン情報のみを含めることもできるので、プリセット情報をスケーラブル（scalable）に使用することができる。
【００８４】
図９は、上記のプリセット情報にゲイン情報とパニングに関する情報を別途に含めて伝送する場合のシンタックスを表現したものである。このようなゲイン情報及びパニング情報は、ヘッダー領域またはフレーム領域に含めることができる。
【００８５】
図９を参照すると、イタリック体で表現された部分は、実際のプリセット情報値をビットストリームから受信するものである。様々なノイズレスコーディング方式（noiseless coding scheme）を利用することができ、図９では関数として表現した。例えば、フレーム領域にそれらの情報が存在する場合、プリセット情報が存在するか否かを判断し、存在する場合にプリセット個数情報を受信する。その後、まず、ゲイン情報を受信し、この情報は、該当のオブジェクトをどのゲイン値で再生するかを表す。この場合、ゲイン情報は、上記のＧ＿ｉであってもよく、外部入力値によってオーディオ信号のレベルが調節された場合に生成されるＡＤＧ（arbitrary downmix gain）であってもよい。
【００８６】
さらに獲得されるパニング情報は、様々な形態でありうる。このパニング情報は、上記の正規化したプリセットマトリクスであってもよく、ステレオパニング情報及びマルチチャンネルパニング情報に区分されていてもよい。
【００８７】
図１０は、本発明のさらに他の実施例によるオーディオ信号処理装置を示す図である。
【００８８】
オーディオ信号処理装置は、主に、ダウンミキシング部１０１０、オブジェクト情報生成部１０２０、プリセット情報生成部１０３０、ダウンミックス信号処理部１０４０、情報処理部１０５０、及びマルチチャンネルデコーディング部１０６０を含む。
【００８９】
複数個のオブジェクトは、ダウンミキシング部１０１０に入力されて、モノまたはステレオダウンミックス信号として生成される。また、複数個のオブジェクトは、オブジェクト情報生成部１０２０に入力されて、オブジェクトのレベルを表すオブジェクトレベル情報（object level information）と、ダウンミックス信号に含まれるオブジェクトのゲイン値及び／またはステレオダウンミックス信号の場合に、ダウンミックスチャンネルに含まれるオブジェクトの程度を表すオブジェクトゲイン情報（object gain information）と、オブジェクト間の関連の有無を表すオブジェクト相関情報（object correlation information）を含むオブジェクト情報（object information）とを生成する。
【００９０】
その後、ダウンミックス信号及びオブジェクト情報は、プリセット情報生成部１０３０に入力されて、オブジェクトのレベルを調節するためのプリセットレンダリングデータとプリセット情報を表現するためのプリセットメタデータとを含むプリセット情報を生成する。このプリセットレンダリングデータ及びプリセットメタデータが生成される過程は、図１乃至図９のオーディオ信号処理装置及び方法で説明した通りであるから、その詳細な説明は省略する。オブジェクト情報生成部１０２０で生成されたオブジェクト情報とプリセット情報生成部１０３０で生成されたプリセット情報は、ＳＡＯＣビットストリームに含めて伝送することができる。
【００９１】
情報処理部１０５０は、オブジェクト情報処理部１０５１及びプリセット情報受信部１０５２を含み、ＳＡＯＣビットストリームを受信する。
【００９２】
プリセット情報受信部１０５２は、ＳＡＯＣビットストリームから上記のプリセット存在情報、プリセット個数情報、プリセット長さ情報、プリセットメタデータ、プリセットタイプ情報、出力チャンネル情報、及びプリセットマトリクスを受信し、図１乃至図９のオーディオ信号処理方法及び装置で説明された様々な実施例による方法を用いる。プリセット情報受信部１０５２は、プリセットメタデータとプリセットマトリクスを出力し、オブジェクト情報処理部１０５１はこれらを受信して、ＳＡＯＣビットストリームに含まれたオブジェクト情報と一緒に用いて、ダウンミックス信号を前処理（pre-processing）するためのダウンミックス処理情報（downmix processing information）とダウンミックス信号をアップミキシングするためのマルチチャンネル情報（multi-channel information）を生成する。
【００９３】
その後、ダウンミックス処理情報は、ダウンミックス信号処理部１０４０に入力されて、ダウンミックス信号に含まれているオブジェクトのパニングを行うことができる。このように前処理されたダウンミックス信号は、情報処理部１０５０から出力されたマルチチャンネル情報と一緒にマルチチャンネルデコーディング部１０６０に入力されてアップミキシングされることで、マルチチャンネルオーディオ信号を生成することができる。
【００９４】
このように、本発明のオーディオ信号処理装置は、複数個のオブジェクトを含むオーディオ信号を、オブジェクト情報を用いてマルチチャンネル信号にデコーディングする際に、予め設定されたプリセット情報を用いることによって、容易にオブジェクトのレベルを調節することができる。また、この場合、オブジェクトに適用されるプリセットマトリクスは、出力チャンネル情報に基づいて受信されたマトリクス形態のデータを用いることによってオブジェクトのレベル調節を効果的に行い、エンコーダ側から伝送されるプリセット長さ情報に基づいてプリセット情報を表現するためのプリセットメタデータを出力することによってコーディング効率を高めることができる。
【００９５】
図１１は、本発明の一実施例によるメタデータ受信部及びプリセットレンダリングデータ受信部を含むプリセット情報受信部が具現された製品の概略的な構成を示す図であり、図１２は、本発明の実施例によるプリセット情報受信部が具現された製品間の関係を示す図である。
【００９６】
図１１を参照すると、有無線通信部１１１０は、有無線通信方式を通じてビットストリームを受信する。特に、有無線通信部１１１０は、有線通信部１１１１、赤外線通信部１１１２、ブルートゥース（Bluetooth（登録商標））１１１３、無線ＬＡＮ通信部１１１４のうち、少なくとも一つを含むことがある。
【００９７】
ユーザ認証部１１２０は、ユーザ情報を受信してユーザ認証を行うもので、指紋認識部１１２１、虹彩認識部１１２２、顔認識部１１２３、及び音声認識部１１２４のうち少なくとも一つを含むことができ、それぞれは、指紋、虹彩情報、顔輪郭情報、音声情報を受信してユーザ情報に変換し、ユーザ情報及び既に登録されているユーザデータと一致するか否かを判断して、ユーザ認証を行うことができる。
【００９８】
入力部１１３０は、ユーザが各種の命令を入力するための入力装置であり、キーパッド部１１３１、タッチパッド部１１３２、リモコン部１１３３のうち少なくとも一つを含むことができるが、本発明はこれに限定されない。一方、後述するメタデータ受信部１１４１から出力される複数個のプリセット情報に対するプリセットメタデータが、ディスプレイ部１１６２を通じて画面に表示される場合に、入力部１１３０を介してユーザがプリセットメタデータを選択でき、選択されたプリセットメタデータに関する情報が制御部１１５０に入力される。
【００９９】
信号デコーディング部１１４０は、メタデータ受信部１１４１及びプリセットレンダリングデータ受信部１１４２を含む。メタデータ受信部１１４１は、プリセット長さ情報を受信し、これに基づいてプリセットメタデータを受信する。また、プリセットレンダリングデータ受信部１１４２は、プリセットタイプ情報によってプリセット情報がマトリクスと表現された場合、出力チャンネル情報を受信し、これに基づいてプリセットレンダリングデータであるプリセットマトリクスを受信する。信号デコーディング部１１４０は、受信したビットストリーム、プリセットメタデータ、及びプリセットマトリクスを用いてオーディオ信号をデコーディングして出力信号を生成し、当該プリセットメタデータをテキストの形態で出力する。
【０１００】
制御部１１５０は、入力装置から入力信号を受信し、信号デコーディング部１１４０と出力部１１６０のプロセス全般を制御する。上記の通り、制御部１１５０に入力部１１３０から選択されたプリセットメタデータに関する情報が入力される場合、プリセットレンダリングデータ受信部１１４２は、選択されたプリセットメタデータに対応するプリセットマトリクスを受信し、これを用いてオーディオ信号をデコーディングする。
【０１０１】
出力部１１６０は、信号デコーディング部１１４０により生成された出力信号などが出力される構成要素であり、スピーカ部１１６１及びディスプレイ部１１６２を含むことができる。出力信号がオーディオ信号の場合、出力信号はスピーカ部１１６１から出力され、ビデオ信号の場合、出力信号はディスプレイ部１１６２から出力される。また、制御部１１５０から入力されたプリセットメタデータをディスプレイ部１１６２を通じて画面に表示する。
【０１０２】
図１２は、図１１に示す製品に該当する端末及びサーバー間の関係を示す図である。
【０１０３】
図１２（Ａ）を参照すると、第１端末１２１０及び第２端末１２２０は互いに有無線通信部を通じてデータやビットストリームを両方向に通信できることがわかる。
【０１０４】
図１２（Ｂ）を参照すると、サーバー１２３０及び第１端末１２４０も同様に、互いに有無線通信を行うことがわかる。
【０１０５】
図１３は、本発明の一実施例によるメタデータ受信部及びプリセットレンダリングデータ受信部を含むプリセット情報受信部が具現された放送信号デコーディング装置１３００の概略的な構成を示す図である。
【０１０６】
図１３を参照すると、デマルチプレクサ１３２０は、チューナ１３１０からＴＶ放送と関連したデータを受信する。受信されたデータはデマルチプレクサ１３２０で分離され、データデコーダ１３３０でデコーディングされる。一方、デマルチプレクサ１３２０で分離されたデータは、ＨＤＤのような記憶媒体１３５０に記憶されることができる。デマルチプレクサ１３２０で分離されたデータは、オーディオデコーダ１３４１及びビデオデコーダ１３４２を含むデコーダ１３４０に入力されて、オーディオ信号及びビデオ信号がデコーディングされる。オーディオデコーダ１３４１は、本発明の一実施例によるメタデータ受信部１３４１Ａ及びプリセットレンダリングデータ受信部１３４１Ｂを含み、メタデータ受信部１３４１Ａは、プリセット長さ情報を受信し、これに基づいてプリセットメタデータを受信する。また、プリセットレンダリングデータ受信部１３４１Ｂは、プリセットタイプ情報によってプリセット情報がマトリクスで表現されている場合、出力チャンネル情報を受信し、これに基づいてプリセットレンダリングデータであるプリセットマトリクスを受信する。オーディオデコーダ１３４１は、受信したビットストリーム、プリセットメタデータ、及びプリセットマトリクスを用いてオーディオ信号をデコーディングして出力信号を生成し、該プリセットメタデータをテキスト形態で出力する。
【０１０７】
ディスプレイ部１３７０は、ビデオデコーダ１３４２から出力されたビデオ信号とオーディオデコーダ１３４１から出力されたプリセットメタデータを画面に表示する。また、ディスプレイ部１３７０は、スピーカ部（図示せず）を含み、オーディオデコーダ１３４１から出力されるオブジェクトのレベルがプリセットマトリクスを用いて調節されたオーディオ信号を、ディスプレイ部１３７０に含まれるスピーカ部から出力する。また、デコーダ１３４０でデコーディングされたデータは、ＨＤＤのような記憶媒体１３５０に記憶することができる。
【０１０８】
一方、信号デコーディング装置１３００は、ユーザから情報を受信して、受信されたデータを制御できるアプリケーションマネージャ１３６０をさらに含むことができる。
【０１０９】
アプリケーションマネージャ１３６０は、ユーザインタフェースマネージャ１３６１及びサービスマネージャ１３６２を含む。ユーザインタフェースマネージャ１３６１は、ユーザから情報を受信するためのインタフェース（interface）を制御する。例えば、ディスプレイ部１３７０に表示されるテキストの書体、画面の明るさ、メニュー構成などを制御することができる。一方、サービスマネージャ１３６２は、デコーダ１３４０及びディスプレイ部１３７０で放送信号をデコーディングして出力する場合、受信する放送信号を、ユーザから入力される情報を用いて制御することができる。例えば、放送チャンネルの設定、アラーム機能設定、成人認証機能などを提供することができる。アプリケーションマネージャ１３６０から出力されるデータは、デコーダ１３４０の他に、ディスプレイ部１３７０にも伝送して用いることができる。
【０１１０】
図１４は、本発明の一実施例によるプリセット情報受信部を含む製品のディスプレイ部を示す図である。ディスプレイ部は、ビットストリームに含まれた全てのプリセットメタデータを表示することができる。例えば、図１４に示すように、オーディオ信号に対応するプリセットメタデータであるカラオケモード、コンサートホールモード、及びニュースモードを画面に全部表示する。
【０１１１】
これらのプリセットメタデータのうち一つをユーザが選択する場合、ディスプレイ部は、カラオケモードに対応するプリセットマトリクスが複数個のオブジェクトに適用されることによって、レベルの調節されたオブジェクトを画面に表示する。例えば、ユーザがカラオケモードを選択する場合、ボーカルオブジェクトのレベルが最低に設定されたものが表示されることがある。また、ユーザがニュースモードを選択する場合には、オーディオ信号に適用されるプリセットマトリクスは、ボーカルオブジェクト以外のオブジェクトのレベルを減少させることとなる。
【０１１２】
図１４を参照すると、ニュースモードが選択された場合、ディスプレイ部は、ボーカルオブジェクトのレベルが、カラオケモード時におけるボーカルオブジェクトのレベルよりも増加し、その他のオブジェクトのレベルは最低に設定されたものが表示されている。
【０１１３】
したがって、ディスプレイ部にプリセット情報を表現するプリセットメタデータの他、プリセットマトリクスによって調節されたオブジェクトのレベルを表示することによって、ユーザは、所望のプリセットモードを適切に選択し、所望の音場感を有するオーディオ信号を聴取することが可能になる。
【０１１４】
以上、本発明の実施形態を参照しながら本発明について説明および例示したが、当分野の技術者にとって、本発明の主旨および範囲から逸脱することなく様々な修正および変形が可能であることは明らかである。したがって、本発明は、添付の特許請求の範囲およびその均等範囲内の本発明の修正および変形を含むものである。
【０１１５】
本発明は、オーディオ信号のエンコーディング及びデコーディングに適用することができる。
【特許請求の範囲】
【請求項１】
少なくとも一つのオブジェクトを含むオーディオ信号を受信するオーディオ信号受信部と、
少なくとも一つのプリセット情報から、少なくとも一つのプリセットメタデータを獲得するプリセットメタデータ受信部と、
前記プリセット情報のそれぞれから、前記オブジェクトが出力チャンネルに含まれる程度を表し、前記プリセットメタデータのそれぞれに対応するプリセットマトリクスを獲得するプリセットレンダリングデータ受信部と、
前記プリセットメタデータを表示するディスプレイ部と、
前記少なくとも一つのプリセットメタデータのうち一つを選択する命令を受信する入力部と、
前記選択されたプリセットメタデータに対応する前記プリセットマトリクスを用いて、出力チャンネルによって前記オブジェクトの出力レベルを調節するオブジェクト調節部と、
前記出力レベルの調節されたオブジェクトを含むオーディオ信号を出力する出力部と、
を含むことを特徴とするオーディオ信号処理装置。
【請求項２】
前記出力部が前記オーディオ信号を出力する場合、前記ディスプレイ部は、前記選択されたプリセットメタデータを表示することを特徴とする、請求項１に記載のオーディオ信号処理装置。
【請求項３】
前記ディスプレイ部は、前記オブジェクトの出力レベルをさらに表示することを特徴とする、請求項２に記載のオーディオ信号処理装置。
【請求項４】
前記プリセットマトリクスは、前記出力チャンネルがモノ、ステレオ及びマルチチャンネルのうちの一つであることを表す出力チャンネル情報に基づいて獲得されることを特徴とする、請求項１に記載のオーディオ信号処理装置。
【請求項５】
前記プリセット情報は、前記プリセット情報の個数を表すプリセット個数情報に基づいて獲得され、前記プリセットマトリクスは、前記プリセット情報がマトリクスで表現されているか否かを表すプリセットタイプ情報に基づいて獲得されることを特徴とする、請求項１に記載のオーディオ信号処理装置。
【請求項６】
前記プリセット情報は、前記オブジェクトに適用される前記プリセットマトリクスが存在するか否かを表すプリセットオブジェクト適用情報をさらに含むことを特徴とする、請求項１に記載のオーディオ信号処理装置。
【請求項７】
前記ディスプレイ部は、前記プリセットオブジェクト適用情報に基づいて前記オブジェクトに適用される前記プリセットマトリクスが存在するか否かをさらに表示することを特徴とする、請求項６に記載のオーディオ信号処理装置。
【請求項８】
前記ディスプレイ部は、前記プリセットメタデータをテキスト形態で表現することを特徴とする、請求項１に記載のオーディオ信号処理装置。
【請求項９】
少なくとも一つのオブジェクトを含むオーディオ信号を受信する段階と、
プリセットメタデータ及びプリセットマトリクスを含む少なくとも一つのプリセット情報を受信する段階と、
前記プリセットメタデータを表示し、前記プリセットメタデータのうちの一つを選択する段階と、
前記選択されたプリセットメタデータに対応し、前記オブジェクトが出力チャンネルに含まれる程度を表す前記プリセットマトリクスを、前記プリセット情報から獲得する段階と、
前記選択されたプリセットメタデータに対応する前記プリセットマトリクスを用いて、出力チャンネルによって前記オブジェクトの出力レベルを調節する段階と、
前記出力レベルの調節されたオブジェクトを含むオーディオ信号を出力する段階と、
を含むことを特徴とするオーディオ信号処理方法。
【請求項１０】
前記選択されたプリセットメタデータを表示する段階をさらに含むことを特徴とする、請求項９に記載のオーディオ信号処理方法。
【請求項１１】
前記オブジェクトの出力レベルを調節する段階の後に、
前記オブジェクトの出力レベルを表示する段階をさらに含むことを特徴とする、請求項１０に記載のオーディオ信号処理方法。
【請求項１２】
前記プリセットマトリクスは、前記出力チャンネルがモノ、ステレオ及びマルチチャンネルのうちの一つであることを表す出力チャンネル情報に基づいて獲得されることを特徴とする、請求項９に記載のオーディオ信号処理方法。
【請求項１３】
前記プリセット情報は、前記プリセット情報の個数を表すプリセット個数情報に基づいて獲得され、
前記プリセットマトリクスは、前記プリセット情報がマトリクスで表現されているか否かを表すプリセットタイプ情報に基づいて獲得されることを特徴とする、請求項９に記載のオーディオ信号処理方法。
【請求項１４】
前記プリセット情報は、前記オブジェクトに適用される前記プリセットマトリクスが存在するか否かを表すプリセットオブジェクト適用情報をさらに含み、
前記プリセットメタデータを表示し、前記プリセットメタデータのうちの一つを選択する段階は、前記プリセットオブジェクト適用情報に基づいて前記オブジェクトに適用される前記プリセットマトリクスが存在するか否かをさらに表示することを特徴とする、請求項９に記載のオーディオ信号処理方法。
【請求項１】
少なくとも一つのオブジェクトを含むオーディオ信号を受信するオーディオ信号受信部と、
少なくとも一つのプリセット情報から、少なくとも一つのプリセットメタデータを獲得するプリセットメタデータ受信部と、
前記プリセット情報のそれぞれから、前記オブジェクトが出力チャンネルに含まれる程度を表し、前記プリセットメタデータのそれぞれに対応するプリセットマトリクスを獲得するプリセットレンダリングデータ受信部と、
前記プリセットメタデータを表示するディスプレイ部と、
前記少なくとも一つのプリセットメタデータのうち一つを選択する命令を受信する入力部と、
前記選択されたプリセットメタデータに対応する前記プリセットマトリクスを用いて、出力チャンネルによって前記オブジェクトの出力レベルを調節するオブジェクト調節部と、
前記出力レベルの調節されたオブジェクトを含むオーディオ信号を出力する出力部と、
を含むことを特徴とするオーディオ信号処理装置。
【請求項２】
前記出力部が前記オーディオ信号を出力する場合、前記ディスプレイ部は、前記選択されたプリセットメタデータを表示することを特徴とする、請求項１に記載のオーディオ信号処理装置。
【請求項３】
前記ディスプレイ部は、前記オブジェクトの出力レベルをさらに表示することを特徴とする、請求項２に記載のオーディオ信号処理装置。
【請求項４】
前記プリセットマトリクスは、前記出力チャンネルがモノ、ステレオ及びマルチチャンネルのうちの一つであることを表す出力チャンネル情報に基づいて獲得されることを特徴とする、請求項１に記載のオーディオ信号処理装置。
【請求項５】
前記プリセット情報は、前記プリセット情報の個数を表すプリセット個数情報に基づいて獲得され、前記プリセットマトリクスは、前記プリセット情報がマトリクスで表現されているか否かを表すプリセットタイプ情報に基づいて獲得されることを特徴とする、請求項１に記載のオーディオ信号処理装置。
【請求項６】
前記プリセット情報は、前記オブジェクトに適用される前記プリセットマトリクスが存在するか否かを表すプリセットオブジェクト適用情報をさらに含むことを特徴とする、請求項１に記載のオーディオ信号処理装置。
【請求項７】
前記ディスプレイ部は、前記プリセットオブジェクト適用情報に基づいて前記オブジェクトに適用される前記プリセットマトリクスが存在するか否かをさらに表示することを特徴とする、請求項６に記載のオーディオ信号処理装置。
【請求項８】
前記ディスプレイ部は、前記プリセットメタデータをテキスト形態で表現することを特徴とする、請求項１に記載のオーディオ信号処理装置。
【請求項９】
少なくとも一つのオブジェクトを含むオーディオ信号を受信する段階と、
プリセットメタデータ及びプリセットマトリクスを含む少なくとも一つのプリセット情報を受信する段階と、
前記プリセットメタデータを表示し、前記プリセットメタデータのうちの一つを選択する段階と、
前記選択されたプリセットメタデータに対応し、前記オブジェクトが出力チャンネルに含まれる程度を表す前記プリセットマトリクスを、前記プリセット情報から獲得する段階と、
前記選択されたプリセットメタデータに対応する前記プリセットマトリクスを用いて、出力チャンネルによって前記オブジェクトの出力レベルを調節する段階と、
前記出力レベルの調節されたオブジェクトを含むオーディオ信号を出力する段階と、
を含むことを特徴とするオーディオ信号処理方法。
【請求項１０】
前記選択されたプリセットメタデータを表示する段階をさらに含むことを特徴とする、請求項９に記載のオーディオ信号処理方法。
【請求項１１】
前記オブジェクトの出力レベルを調節する段階の後に、
前記オブジェクトの出力レベルを表示する段階をさらに含むことを特徴とする、請求項１０に記載のオーディオ信号処理方法。
【請求項１２】
前記プリセットマトリクスは、前記出力チャンネルがモノ、ステレオ及びマルチチャンネルのうちの一つであることを表す出力チャンネル情報に基づいて獲得されることを特徴とする、請求項９に記載のオーディオ信号処理方法。
【請求項１３】
前記プリセット情報は、前記プリセット情報の個数を表すプリセット個数情報に基づいて獲得され、
前記プリセットマトリクスは、前記プリセット情報がマトリクスで表現されているか否かを表すプリセットタイプ情報に基づいて獲得されることを特徴とする、請求項９に記載のオーディオ信号処理方法。
【請求項１４】
前記プリセット情報は、前記オブジェクトに適用される前記プリセットマトリクスが存在するか否かを表すプリセットオブジェクト適用情報をさらに含み、
前記プリセットメタデータを表示し、前記プリセットメタデータのうちの一つを選択する段階は、前記プリセットオブジェクト適用情報に基づいて前記オブジェクトに適用される前記プリセットマトリクスが存在するか否かをさらに表示することを特徴とする、請求項９に記載のオーディオ信号処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公表番号】特表２０１１−５１１３０７（Ｐ２０１１−５１１３０７Ａ）
【公表日】平成２３年４月７日（２０１１．４．７）
【国際特許分類】
【出願番号】特願２０１０−５４４２２８（Ｐ２０１０−５４４２２８）
【出願日】平成２１年１月２３日（２００９．１．２３）
【国際出願番号】ＰＣＴ／ＫＲ２００９／０００３６６
【国際公開番号】ＷＯ２００９／０９３８６６
【国際公開日】平成２１年７月３０日（２００９．７．３０）
【出願人】（５０２０３２１０５）エルジー エレクトロニクス インコーポレイティド (2,269)
【Ｆターム（参考）】
【公表日】平成２３年４月７日（２０１１．４．７）
【国際特許分類】
【出願日】平成２１年１月２３日（２００９．１．２３）
【国際出願番号】ＰＣＴ／ＫＲ２００９／０００３６６
【国際公開番号】ＷＯ２００９／０９３８６６
【国際公開日】平成２１年７月３０日（２００９．７．３０）
【出願人】（５０２０３２１０５）エルジー エレクトロニクス インコーポレイティド (2,269)
【Ｆターム（参考）】
[ Back to top ]