オーディオ信号の処理方法及び装置
【課題】既に設定されたプリセット情報及びプリセットメタデータを用いてオブジェクトのレベル及びパニングをコントロールすることができるオーディオ信号処理方法及び装置を提供する。
【解決手段】少なくとも一つのオブジェクトを含むダウンミックス信号及びオブジェクト情報を受信する段階であって、前記オブジェクト情報は、前記オブジェクト情報の拡張領域に含まれているデータのタイプを表すデータタイプ情報と、オブジェクトゲイン及びオブジェクトゲイン比率のうち少なくとも一つと、を有する段階と、前記データタイプ情報に基づいて、前記オブジェクトをレンダリングするためのプリセット情報が前記オブジェクト情報の拡張領域に含まれているか否かを判断する段階と、前記プリセット情報が前記オブジェクト情報に含まれていない場合、前記オブジェクトゲイン及び前記オブジェクトゲイン比率のうち少なくとも一つを用いて前記オブジェクトをレンダリングするための初期プリセット情報を生成する段階と、前記初期プリセット情報を用いて、前記ダウンミックス信号に含まれているオブジェクトをレンダリングする段階と、を有することを特徴とするオーディオ信号処理方法を提供する。これによれば、エンコーダからプリセット情報が受信されない場合にも、受信されたオブジェクト情報を用いて初期プリセット情報を生成することによって、オーディオ信号を復元することができる。
【解決手段】少なくとも一つのオブジェクトを含むダウンミックス信号及びオブジェクト情報を受信する段階であって、前記オブジェクト情報は、前記オブジェクト情報の拡張領域に含まれているデータのタイプを表すデータタイプ情報と、オブジェクトゲイン及びオブジェクトゲイン比率のうち少なくとも一つと、を有する段階と、前記データタイプ情報に基づいて、前記オブジェクトをレンダリングするためのプリセット情報が前記オブジェクト情報の拡張領域に含まれているか否かを判断する段階と、前記プリセット情報が前記オブジェクト情報に含まれていない場合、前記オブジェクトゲイン及び前記オブジェクトゲイン比率のうち少なくとも一つを用いて前記オブジェクトをレンダリングするための初期プリセット情報を生成する段階と、前記初期プリセット情報を用いて、前記ダウンミックス信号に含まれているオブジェクトをレンダリングする段階と、を有することを特徴とするオーディオ信号処理方法を提供する。これによれば、エンコーダからプリセット情報が受信されない場合にも、受信されたオブジェクト情報を用いて初期プリセット情報を生成することによって、オーディオ信号を復元することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオ信号の処理方法及び装置に係り、特に、デジタル媒体、放送信号などを通じて受信されたオーディオ信号を処理することができるオーディオ信号の処理方法及び装置に関するものである。
【背景技術】
【０００２】
複数個のオブジェクトを含むオーディオ信号を、モノまたはステレオ信号にダウンミックスしてダウンミックス信号を生成する過程において、オブジェクトからパラメータが抽出される。これらのパラメータは、ダウンミックスされた信号をデコーディングする過程で用いられる。また、オブジェクトの位置（position）及びゲイン（gain）は、パラメータの他にユーザの選択によってもコントロールすることができる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、ダウンミックス信号に含まれているオブジェクトは、ユーザの選択によって調節しなければならない。このようにユーザによってオブジェクトを制御する場合、すべてのオブジェクト信号を直接制御しなければならないという面倒さがある他、専門家によって制御される場合に比べてはオーディオ信号を最適の状態に再現し難い。
【０００４】
本発明は、従来技術の制限や欠点による上記問題のうちの一つ又は複数を実質的に防止するオーディオ信号の処理方法および装置を対象とする。
【０００５】
本発明は、上記問題点を解決するためのもので、その目的は、既に設定されたプリセット情報及びプリセットメタデータを用いてオブジェクトのレベル及びパニングをコントロールすることができるオーディオ信号処理方法及び装置を提供することにある。
【０００６】
本発明の他の目的は、オブジェクトのレベル及びパニングをコントロールするプリセット情報が受信されない場合、オブジェクト情報に含まれるオブジェクトゲイン及びオブジェクトゲイン比率のうち少なくとも一つを用いて初期プリセット情報を生成することができるオーディオ信号処理方法及び装置を提供することにある。
【０００７】
本発明のさらに他の目的は、音源の特性及びユーザの利用目的に応じて、オブジェクトゲイン及び／またはオブジェクトゲイン比率を用いて、ダウンミックス信号に含まれているオブジェクトのゲインのみを調節したり、ゲイン及びパニングの両方を調節したりすることができるプリセット情報を提供するオーディオ信号処理方法及び装置を提供することにある。
【０００８】
本発明のさらに他の目的は、オブジェクトゲイン及びオブジェクトゲイン比率のうち少なくとも一つを用いて生成されたプリセット情報を、音源と別に抽出して保存することによって、別の再生装置でプリセット情報を利用することができるオーディオ信号処理方法及び装置を提供することにある。
【０００９】
本発明のさらに他の目的は、音源の特性によってプリセット情報及びプリセットメタデータをダウンミックス信号の全データ領域にまたはダウンミックス信号の一データ領域に適用することによってダウンミックス信号に含まれているオブジェクトを調節することができるオーディオ信号処理方法及び装置を提供することにある。
【課題を解決するための手段】
【００１０】
上記の目的を達成するために、本発明に係るオーディオ信号処理方法は、
少なくとも一つのオブジェクトを含むダウンミックス信号及びオブジェクト情報を受信する段階であって、前記オブジェクト情報は、前記ダウンミックス信号に含まれている前記オブジェクトに適用されたゲインを表すオブジェクトゲイン及び前記ダウンミックス信号の２つ以上のチャネルに含まれている前記オブジェクトのゲイン差を表すオブジェクトゲイン比率のうち少なくとも一つと、前記オブジェクト情報の拡張領域に含まれているデータのタイプを表すデータタイプ情報と、を有する、段階と、
前記データタイプ情報に基づいて、前記オブジェクトをレンダリングするためのプリセット情報が前記オブジェクト情報の拡張領域に含まれているか否かを判断する段階と、
前記プリセット情報が前記オブジェクト情報に含まれていない場合、前記オブジェクトゲイン及び前記オブジェクトゲイン比率のうち少なくとも一つを用いて、前記オブジェクトをレンダリングするための初期プリセット情報を生成する段階と、
前記初期プリセット情報を用いて、前記ダウンミックス信号に含まれているオブジェクトをレンダリングする段階と、を有する。
【００１１】
前記ダウンミックス信号がモノ信号である場合、前記初期プリセット情報は、前記オブジェクトゲインを用いて生成することができる。
【００１２】
前記ダウンミックス信号がステレオ信号である場合、前記初期プリセット情報は、前記オブジェクトゲイン及び前記オブジェクトゲイン比率を用いて生成することができる。前記初期プリセット情報は、前記オブジェクトのゲインのみを調節する第１初期プリセット情報と、前記オブジェクトのゲイン及びパニングを調節する第２初期プリセット情報と、を有することができる。
【００１３】
好適には、前記初期プリセット情報を、前記オブジェクト情報のデータ領域ごとに生成することができる。
【００１４】
より好適には、前記オブジェクトをレンダリングする段階は、前記オブジェクトゲイン及び前記オブジェクトゲイン比率をさらに用いることができる。
【００１５】
また、上記の目的を達成するために、本発明に係るオーディオ信号処理装置は、
少なくとも一つのオブジェクトを含むダウンミックス信号及びオブジェクト情報を受信する受信部であって、前記オブジェクト情報は、前記ダウンミックス信号に含まれている前記オブジェクトに適用されたゲインを表すオブジェクトゲイン及び前記ダウンミックス信号の２つ以上のチャネルに含まれている前記オブジェクトのゲイン差を表すオブジェクトゲイン比率のうちの少なくとも一つと、前記オブジェクト情報の拡張領域に含まれているデータのタイプを表すデータタイプ情報とを有する、受信部と、
前記データタイプ情報に基づいて、前記オブジェクトをレンダリングするためのプリセット情報が前記オブジェクト情報の拡張領域に含まれているか否かを判断するプリセット情報判断部と、
前記プリセット情報が含まれない場合、前記オブジェクトゲイン及び前記オブジェクトゲイン比率のうち少なくとも一つを用いて、前記オブジェクトをレンダリングするための初期プリセット情報を生成する初期プリセット情報生成部と、
前記初期プリセット情報を用いて、前記ダウンミックス信号に含まれているオブジェクトをレンダリングするレンダリング部と、を有することができる。
【発明の効果】
【００１６】
本発明は、下記の効果及び利点を提供する。
【００１７】
第一に、既に設定されたプリセット情報を受信する場合、それぞれのオブジェクトへのユーザの設定なしに、既に設定された複数個のプリセット情報のうち一つを複数個のプリセットメタデータを用いて選択することによって容易にオブジェクトの出力チャネルのレベルを調節することができる。
【００１８】
第二に、プリセット情報が受信されない場合にも、受信されたオブジェクト情報を用いて初期プリセット情報を生成することによってオーディオ信号を復元することができる。
【００１９】
第三に、音源の特性及びユーザの利用目的に応じて、デコーダ側で生成されたプリセット情報を用いてダウンミックス信号に含まれているオブジェクトのゲイン及び／またはパニングを調節することができる。
【００２０】
第四に、プリセット情報を音源と別に抽出して保存することによって、音源とは別にプリセット情報のみを抽出して使用することができ、音源に対する著作権侵害の問題なしに、別個の再生装置で効果的にプリセット情報を用いることができる。
【００２１】
第五に、音源の特性によってプリセット情報をデータ領域単位に個別に選択して適用したり、ダウンミックス信号全体に同じプリセット情報を選択して適用したりすることによって、オーディオ信号を効率的に復元することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の一実施例による、オブジェクト情報を用いてプリセット情報を生成するプリセット情報生成部を含むオーディオ信号処理装置の構成を示す図である。
【図２】図１のプリセット情報生成部の構成を示す図である。
【図３】図２の初期プリセット情報生成部の構成を示す図である。
【図４Ａ】プリセットモードのうち、カラオケモードまたはアカペラモードが選択される場合、調節されたオブジェクトのレベルが表示される表示部を示す図である。
【図４Ｂ】プリセットモードのうち、カラオケモードまたはアカペラモードが選択される場合、調節されたオブジェクトのレベルが表示される表示部を示す図である。
【図５】本発明の他の実施例によるオーディオ信号処理装置を示す図である。
【図６】本発明のさらに他の実施例による、プリセット情報保存部及びプリセットメタデータ生成部を含むオーディオ信号処理装置を示す図である。
【図７】プリセット情報を別に保存して利用できるオーディオ信号処理方法を示す概念図である。
【図８Ａ】本発明のさらに他の実施例によるプリセット属性情報によってプリセット情報を適用してダウンミックス信号に含まれたオブジェクトを調節する概念図である。
【図８Ｂ】本発明のさらに他の実施例によるプリセット属性情報によってプリセット情報を適用してダウンミックス信号に含まれたオブジェクトを調節する概念図である。
【図９】本発明のさらに他の実施例によるオーディオ信号処理装置を示す図である。
【図１０Ａ】本発明のさらに他の実施例によってプリセット情報がレンダリング部に適用される方法を示すブロック図である。
【図１０Ｂ】本発明のさらに他の実施例によってプリセット情報がレンダリング部に適用される方法を示すブロック図である。
【図１１】本発明のさらに他の実施例によるプリセット生成部を含んでいる製品の概略的な構成を示す図である。
【図１２Ａ】本発明のさらに他の実施例によるプリセット生成部を含んでいる製品間の関係を示す図である。
【図１２Ｂ】本発明のさらに他の実施例によるプリセット生成部を含んでいる製品間の関係を示す図である。
【図１３】本発明のさらに他の実施例によるプリセット生成部を含んでいる放送信号デコーディング装置の概略的な構成を示す図である。
【発明を実施するための形態】
【００２３】
以下、本発明をよりよく理解するため添付された図面は、本明細書に組み込まれて本明細書の一部を構成する。これらの添付図面は、本発明の実施形態を例示し、本明細書の記載と併せて本明細書の主旨を説明するためのものである。
【００２４】
本発明の他の特徴および利点は、以下の記載で説明するが、その一部については、この記載から明らかになるであろうし、あるいは、本発明の実施によって理解されるであろう。本発明の目的および他の利点は、明細書および特許請求の範囲の書面ならびに添付図面で示された構成によって、実現され達成されるであろう。
【００２５】
上記の目的を達成するために、本発明に係るオーディオ信号処理方法は、
少なくとも一つのオブジェクトを含むダウンミックス信号及びオブジェクト情報を受信する段階であって、前記オブジェクト情報は、前記ダウンミックス信号に含まれている前記オブジェクトに適用されたゲインを表すオブジェクトゲイン及び前記ダウンミックス信号の２つ以上のチャネルに含まれている前記オブジェクトのゲイン差を表すオブジェクトゲイン比率のうち少なくとも一つと、前記オブジェクト情報の拡張領域に含まれているデータのタイプを表すデータタイプ情報と、を有する、段階と、
前記データタイプ情報に基づいて、前記オブジェクトをレンダリングするためのプリセット情報が前記オブジェクト情報の拡張領域に含まれているか否かを判断する段階と、
前記プリセット情報が前記オブジェクト情報に含まれていない場合、前記オブジェクトゲイン及び前記オブジェクトゲイン比率のうち少なくとも一つを用いて、前記オブジェクトをレンダリングするための初期プリセット情報を生成する段階と、
前記初期プリセット情報を用いて、前記ダウンミックス信号に含まれているオブジェクトをレンダリングする段階と、を有する。
【００２６】
前記ダウンミックス信号がモノ信号である場合、前記初期プリセット情報は、前記オブジェクトゲインを用いて生成することができる。
【００２７】
前記ダウンミックス信号がステレオ信号である場合、前記初期プリセット情報は、前記オブジェクトゲイン及び前記オブジェクトゲイン比率を用いて生成することができる。前記初期プリセット情報は、前記オブジェクトのゲインのみを調節する第１初期プリセット情報と、前記オブジェクトのゲイン及びパニングを調節する第２初期プリセット情報と、を有することができる。
【００２８】
好適には、前記初期プリセット情報を、前記オブジェクト情報のデータ領域ごとに生成することができる。
【００２９】
より好適には、前記オブジェクトをレンダリングする段階は、前記オブジェクトゲイン及び前記オブジェクトゲイン比率をさらに用いることができる。
【００３０】
また、上記の目的を達成するために、本発明に係るオーディオ信号処理装置は、
少なくとも一つのオブジェクトを含むダウンミックス信号及びオブジェクト情報を受信する受信部であって、前記オブジェクト情報は、前記ダウンミックス信号に含まれている前記オブジェクトに適用されたゲインを表すオブジェクトゲイン及び前記ダウンミックス信号の２つ以上のチャネルに含まれている前記オブジェクトのゲイン差を表すオブジェクトゲイン比率のうちの少なくとも一つと、前記オブジェクト情報の拡張領域に含まれているデータのタイプを表すデータタイプ情報とを有する、受信部と、
前記データタイプ情報に基づいて、前記オブジェクトをレンダリングするためのプリセット情報が前記オブジェクト情報の拡張領域に含まれているか否かを判断するプリセット情報判断部と、
前記プリセット情報が含まれない場合、前記オブジェクトゲイン及び前記オブジェクトゲイン比率のうち少なくとも一つを用いて、前記オブジェクトをレンダリングするための初期プリセット情報を生成する初期プリセット情報生成部と、
前記初期プリセット情報を用いて、前記ダウンミックス信号に含まれているオブジェクトをレンダリングするレンダリング部と、を有することができる。
【００３１】
以下の本発明に関する概略説明とそれに続く詳細説明は、共に、実施例とその説明であり、特許請求の範囲に記載された本発明をさらに説明するためのものであることを理解されたい。
【実施例】
【００３２】
以下、添付の図面を参照しつつ、本発明の好適な実施例を詳細に説明する。特に、本発明における用語は、以下で参照されるように解釈することができる。また、本明細書に開示されていない用語は、以下の本発明の技術的思想に符合する意味および概念として解釈することができる。したがって、本明細書に記載された実施例と図面に例示された構成は、本発明の最も好適な一実施例に過ぎず、本発明の技術的思想を全部示すものではないため、本出願時点においてそれらに代替可能な様々な均等物と変形例が存在することができる。
【００３３】
特に、本明細書で情報（information）は、値（values）、パラメータ（parameters）、係数（coefficients）、要素（elements）などを総称する用語であり、その意味は場合によって適宜解釈すればよく、したがって、本発明はこれに限定されない。
【００３４】
図１は、本発明の一実施例による、オブジェクト情報を用いてプリセット情報を生成するプリセット情報生成部を含むオーディオ信号処理装置１００の構成を示す図である。オブジェクトを調節するために既に設定された情報の集合を、本明細書ではプリセットモード（preset mode）といい、プリセットモードは、プリセットメタデータ（preset metadata）及びプリセット情報（preset information）を含む。プリセット情報は、オーディオ信号の特性または聴取環境に応じてユーザにより選択されうる様々なモードを表すことができるとともに、少なくとも一つが存在することができ、特に、オブジェクトの出力時、エンコーディング時に存在していたチャネルではなく他のチャネルに含めたり（以下、パニングという。）、オブジェクトのゲインを調節することによって出力チャネルのレベルを調節することができる。
【００３５】
図１を参照すると、本発明の一実施例によるオーディオ信号処理装置１００は、主として、ダウンミキシング部１１０、オブジェクト情報生成部１２０、情報受信部１３０、プリセット生成部１４０及びレンダリング部１５０を含む。
【００３６】
複数個のオブジェクトは、ダウンミキシング部１１０に入力されてモノまたはステレオダウンミックス信号を生成する。また、複数個のオブジェクトは、オブジェクト情報生成部１２０に入力されて、オブジェクトの属性を表すオブジェクト情報（object information）を生成する。オブジェクト情報は、オブジェクトのレベルを表すオブジェクトレベル情報、ダウンミックス信号生成時にオブジェクトに適用されるゲインを表すオブジェクトゲイン、ダウンミックス信号がステレオまたはマルチチャネルダウンミックス信号である場合、当該ダウンミックス信号の各チャネルにオブジェクトが含まれた程度を表すゲイン間の差を表すオブジェクトゲイン比率（object gain ratio）を含む。また、オブジェクト情報は、オブジェクト間相関関係が存在するか否かを示すオブジェクト間相関情報をさらに有する。
【００３７】
また、オブジェクト情報生成部１２０は、情報生成部１２０で生成されるビットストリームのうち、オブジェクト情報の拡張領域に含まれているデータタイプを表すデータタイプ情報（data_type_information）を生成することができる。このデータタイプ情報の詳細な意味を、下記の表１に示す。オブジェクト情報生成部１２０で生成されたオブジェクトゲイン、オブジェクトゲイン比率及びデータタイプ情報などは、一つのビットストリームに含めて転送することができ、具体的には、ダウンミックス信号を含むビットストリームの補助領域（ancillary region）に含めて転送することができる。
【００３８】
【表１】
【００３９】
情報受信部１３０は、オブジェクトゲイン、オブジェクトゲイン比率及びデータタイプ情報を含むビットストリームを受信し、オブジェクトゲイン、オブジェクトゲイン比率及びデータタイプ情報をプリセット生成部１４０及びレンダリング部１５０に出力する。
【００４０】
一方、プリセット生成部１４０は、データタイプ情報と、オブジェクトゲイン及びオブジェクトゲイン比率のうち少なくとも一つとを受信する。入力されたオブジェクトゲイン及びオブジェクトゲイン比率のうち少なくとも一つを用いて初期プリセット情報を生成することができ、これについては、図２及び図３を参照して詳細に後述する。
【００４１】
レンダリング部１５０は、複数個のオブジェクトを含むオーディオ信号をダウンミキシングして生成されたダウンミックス信号、情報受信部１３０から出力されたオブジェクト情報、及びプリセット生成部１４０から出力されたプリセット情報を受信する。この場合、プリセット情報は、ダウンミックス信号に含まれているオブジェクトに適用されて、オブジェクトのレベルを調節したり、オブジェクトの含まれる出力チャネルを調節したりすることができる。
【００４２】
また、オーディオ信号処理装置１００がディスプレイ部（図示せず）を含む場合、レンダリング部１５０でレンダリングされたオーディオ信号のレベル、生成されたプリセット情報の特徴などを画面に表示することができる。
【００４３】
このように、本発明のオーディオ信号処理装置１００は、デコーディング装置にプリセット生成部１４０を含むので、エンコーダからプリセット情報を転送しなかった場合にも、レンダリングデータであるプリセット情報を生成して用いることによって、音源の特性またはユーザの利用目的に応じてオーディオ信号を調節することができる。
【００４４】
図２は、図１のプリセット情報生成部１４０の構成を示す図である。図２を参照すると、プリセット情報生成部１４０は、プリセット情報有無判断部２１０及び初期プリセット情報生成部２２０を含む。
【００４５】
プリセット情報有無判断部２１０は、まず、データタイプ情報を受信し、受信したデータタイプ情報に基づいて、ビットストリームにプリセット情報が含まれているか否かを判断する。上記表１に表すように、データタイプ情報が１の場合、すなわち、プリセット情報がビットストリームに含まれている場合には、ビットストリームからプリセット情報を抽出してダウンミックス信号に適用する。これについては、図８Ａ乃至図１０Ｂで詳細に後述する。
【００４６】
一方、データタイプ情報が０の場合、すなわち、転送されたビットストリームにプリセット情報が含まれていない場合には、オーディオ信号をデコーディングするためのプリセット情報が必要とされる。この場合、初期プリセット生成部２２０は、オブジェクトゲイン及びオブジェクトゲイン比率を受信し、これらを用いて初期プリセット情報を生成することができる。以下、初期プリセット生成部２２０で初期プリセット情報を生成する方法について、図３を参照して説明する。
【００４７】
図３は、図２の初期プリセット情報生成部２２０の構成を示す図である。図３を参照すると、初期プリセット情報生成部２２０は、主に、モノ初期プリセット情報生成部３１０及びステレオ初期プリセット情報生成部３２０を含む。
【００４８】
モノ初期プリセット情報生成部３１０が初期プリセット情報を生成するか、或いは、ステレオ初期プリセット情報生成部３２０が初期プリセット情報を生成するかは、ダウンミックス信号のチャネルによって決定される。ダウンミックス信号がモノ信号である場合、モノ初期プリセット情報生成部３１０が活性化される。この場合、モノ初期プリセット情報生成部３１０は、オブジェクトゲインを受信してモノ初期プリセット情報を生成することができる。好ましくは、モノ初期プリセット情報は、オブジェクトゲインを、レンダリングマトリクスのうちセンターチャネルの要素（element）とし、残りのチャネルの要素（element）は０に設定することができる。
【００４９】
ダウンミックス信号がステレオ信号である場合、ステレオ初期プリセット情報生成部３２０が活性化され、オブジェクトゲインの他にオブジェクトゲイン比率も用いて初期プリセット情報を生成することができる。ステレオ初期プリセット情報生成部３２０は、ゲイン調節モード生成部３２１及びステレオ調節モード生成部３２２を含む。
【００５０】
ステレオ調節モード生成部３２２は、オブジェクトのゲインを調節し、当該オブジェクトが他のチャネルに存在しうるようにオブジェクトの位置を調節する第２初期プリセット情報を生成することができる。好ましくは、第２初期プリセット情報は、オブジェクトが、ダウンミックス信号のうちいずれかのチャネルにのみ存在する場合、他のチャネルにも存在できるようにオブジェクトの位置を調節する（以下、“パニング”という）。
【００５１】
第２初期プリセットモードも、オブジェクトゲイン及びオブジェクトゲイン比率を用いて生成されたマトリクスで表現することができる。このマトリクスは、下記の式１で表現することができ、マトリクスの各要素（element）は、下記の式２及び３を用いて計算することができる。
【００５２】
［式１］
【数１】
【００５３】
［式２］
【数２】
【００５４】
［式３］
【数３】
【００５５】
一方、ゲイン調節モード生成部３２１は、オブジェクトのゲインを修正するための情報のみを含む第１初期プリセット情報を生成することができる。好ましくは、第１初期プリセット情報は、ボーカルオブジェクトにのみ小さいゲイン値を適用することでボーカルオブジェクトのレベルを略０にさせるカラオケモード、及びボーカルオブジェクト以外の他のオブジェクトに小さいゲイン値を適用することで、他のオブジェクトのレベルを略０にさせるボーカルオブジェクトのみを出力するアカペラモードを含むことができる。これらオブジェクトのうち、ボーカルオブジェクトは、エンコーディング時に生成されたオブジェクトの位置情報及びオブジェクト情報に含まれているチャネル相関差情報のうち少なくとも一つを用いて判断することができる。
【００５６】
また、第１初期プリセット情報も同様に、オブジェクトゲイン及びオブジェクトゲイン比率を用いて生成されたマトリクスで表現することができる。このマトリクスは、下記の式３のような形態とすることができ、マトリクスの各要素は、下記の式４及び５を用いて計算することができる。
【００５７】
［式４］
【数４】
【００５８】
［式５］
【数５】
【００５９】
［式６］
【数６】
【００６０】
ゲイン調節モード生成部３２１またはステレオ調節モード生成部３２２で生成された第１初期プリセット情報または第２初期プリセット情報は、図１のレンダリング部１５０に入力されてダウンミックス信号に適用されることができ、ダウンミックス信号に含まれているオブジェクトを調節する。
【００６１】
好ましくは、初期プリセット情報が第１初期プリセット情報である場合には、オブジェクトのゲインのみを調節し、第２初期プリセット情報である場合には、オブジェクトのゲイン及びパニングを調節することができる。
【００６２】
また、初期プリセット情報を、オブジェクトゲイン及びオブジェクトゲイン比率のうち少なくとも一つを用いてオブジェクト情報のデータ領域ごとに生成することができる。データ領域は、実際にオーディオ信号に関するデータを含むビットストリームの領域で、フレームを含むことができる。
【００６３】
図４Ａ及び図４Ｂは、本発明の一実施例によって調節されたオブジェクトを表示するディスプレイ部を示す図である。図４Ａ及び図４Ｂを参照すると、初期プリセット情報が適用されて調節されたオブジェクトのレベルは、オブジェクトの特徴を表すメタデータと一緒にディスプレイ部に表示することができる。
【００６４】
例えば、初期プリセット情報がゲイン調節初期プリセット情報のうちカラオケモードである場合は、図４Ａに示すように、初期プリセット情報を用いて、出力信号に含まれているオブジェクトのうちボーカルオブジェクトの大きさを減少させることができ、これを画面に表示して、カラオケモードが活性化されたことをユーザに認知させることができる。
【００６５】
一方、初期プリセット情報がアカペラモードである場合には、図４Ｂに示すように、初期プリセット情報を用いて、出力信号に含まれているオブジェクトのうちボーカルオブジェクト以外の残りオブジェクトの大きさを減少させることができ、これを画面に表示して、アカペラモードが活性化されたことをユーザに認知させることができる。
【００６６】
オブジェクトがどのようなものかを表すテキスト形態の情報を、プリセットメタデータという。プリセットメタデータは、オブジェクト名の他に、プリセット情報の生成日、作成者、プリセットモードの名称なども表すことができるが、これに限定されない。
【００６７】
図５は、本発明の他の実施例によるオーディオ信号処理装置５００を示す図である。オーディオ信号処理装置５００は、主に、ダウンミキシング部５１０、オブジェクト情報生成部５２０、情報生成部５３０、ダウンミックス信号処理部５４０及びマルチチャネルデコーディング部５５０を含む。図５のダウンミキシング部５１０及びオブジェクト情報生成部５２０は、図１のダウンミキシング部１１０及び情報生成部１２０と同一の機能及び構成を有するので、その詳細な説明は省略する。
【００６８】
情報生成部５３０は、プリセット情報生成部５３１及びダウンミックス信号処理情報生成部５３２を含み、ＳＡＯＣビットストリームを受信する。プリセット情報生成部５３１でプリセット情報を生成するか否かは、入力されたＳＡＯＣビットストリームに含まれているデータタイプ情報に基づいて判断する。
【００６９】
データタイプ情報に基づいてビットストリームにプリセット情報が含まれない場合、プリセット情報生成部５３１は、ＳＡＯＣビットストリームに含まれているオブジェクトゲイン及びオブジェクトゲイン比率を用いて初期プリセット情報をデコーダ側で生成して出力することができる。
【００７０】
プリセット情報生成部５３１は、図１乃至図３で説明したように初期プリセット情報を生成することができる。
【００７１】
ダウンミックス信号処理情報生成部５３２は、プリセット情報及びＳＡＯＣビットストリームを受信し、これらを用いてダウンミックス信号を前処理（pre-processing）するためのダウンミックス処理情報を生成する。
【００７２】
以降、このダウンミックス処理情報はダウンミックス信号処理部５４０に入力されて、ダウンミックス信号に含まれているオブジェクトが含まれるチャネルを変動させることによってパニングを行うことができる。
【００７３】
もし、オーディオ信号の最終出力チャネルの数がダウンミックス信号のチャネルの数よりも多い場合、情報生成部５３０は、ＳＡＯＣビットストリーム及び生成されたプリセット情報を用いて、ダウンミックス信号をアップミキシングするためのマルチチャネル情報をさらに生成することができる。この場合、マルチチャネル情報はマルチチャネルデコーディング部５５０に出力され、マルチチャネルデコーディング部５５０は、前処理されたダウンミックス信号とマルチチャネル情報を受信してアップミキシングを行うことで、マルチチャネルオーディオ信号を生成することができる。
【００７４】
このように、本発明のオーディオ信号処理装置は、複数個のオブジェクトを含むダウンミックス信号をマルチチャネル信号にデコーディングする際に、プリセット情報が転送されない場合にも、ＳＡＯＣビットストリームに含まれているオブジェクト情報を用いて初期プリセット情報を生成することができる。
【００７５】
よって、このデコーダ側で生成された初期プリセット情報を用いてオブジェクトのレベル及び／またはパニングを調節することができる。この時、初期プリセット情報はデータ領域ごとに生成されるため、オーディオ信号を原音により近く復元することができる。
【００７６】
図６は、本発明のさらに他の実施例によるオーディオ信号処理装置６００を示す図である。本発明のオーディオ信号処理装置及び方法は、プリセット情報を用いてダウンミックス信号をレンダリングすることによって、ユーザの利用目的または再生環境に応じて様々なバージョンのオーディオ信号を聴取可能にする。この場合、プリセット情報の適用されたオーディオ信号を別に抽出して保存したり、許可されていない経路を通じて他の再生装置で利用したりすることは不法とされている。そこで、本発明のオーディオ信号処理装置は、オーディオ信号とは別に生成されたプリセット情報のみを別に保存するプリセット情報保存部をさらに含む。
【００７７】
図６を参照すると、本発明のさらに他の実施例によるオーディオ信号処理装置６００は、主に、ダウンミキシング部６１０、情報生成部６２０、プリセット生成部６３０、レンダリング部６４０、プリセットメタデータ生成部６５０及びプリセット情報保存部６６０を含む。図６のダウンミキシング部６１０、情報生成部６２０、レンダリング部６４０は、図５における同一の名前のブロックと同一の機能及び構成を有するので、その詳細な説明を省略する。
【００７８】
一方、プリセット生成部６３０は、図５のプリセット生成部５３１と同一の機能及び構成によって初期プリセット情報を生成することができる。また、プリセット生成部６３０は、情報生成部６２０から、ダウンミックス信号に含まれているオブジェクトをレンダリングするためのプリセット情報が転送される場合、ユーザ入力をさらに用いて修正プリセット情報を生成することもできる。
【００７９】
プリセット情報保存部６６０は、プリセット生成部６３０で生成されたプリセット情報を保存することができる。このプリセット情報保存部６６０は、別のメモリ形態を有してもよく、生成されたプリセット情報の他に、プリセット情報の適用されるデータ領域に関する情報、プリセット情報生成時に用いられたオブジェクトゲイン及びオブジェクトゲイン比率なども保存することができる。プリセット情報生成部６３０が修正プリセット情報を生成する場合、この情報がプリセット情報保存部６６０保存されうることは勿論である。
【００８０】
プリセットメタデータ生成部６５０は、プリセット情報に対応するプリセットメタデータを生成することができる。プリセットメタデータは、ユーザから入力される信号を用いて生成することができて、ユーザから入力される信号は、ユーザ入力部（図示せず）を介して入力されることができる。また、プリセットメタデータは、プリセット情報の適用されるダウンミックス信号名、プリセット情報の作成者、作成日などを含むことができる。
【００８１】
図７は、図６のオーディオ信号処理装置を用いてプリセット情報を別に保存、転送及び利用することを示す概念図である。プリセット情報は、修正プリセット情報及び初期プリセット情報を有する。
【００８２】
図７を参照すると、エンコーディング装置で複数個のオブジェクトを用いて生成されたビットストリームをＨｅｙＪｕｄｅ．ｓａｏｃと命名する。このＨｅｙＪｕｄｅ．ｓａｏｃは、複数個のオブジェクトがダウンミキシングされたダウンミックス信号Ｄｏｗｎｍｉｘ、オブジェクトの属性を表すオブジェクト情報ＳＡＯＣ ｐａｒａｍｓ、及びダウンミックス信号をレンダリングするためのプリセット情報ａｒｔｉｓｔｉｃ Ｐｒｅｓｅｔを含む。
【００８３】
このようにエンコーディングされたＳＡＯＣコンテンツは、サービスポータル（Service Portal）によって有／無線で提供されることができる。サービスポータルは、コンテンツサーバとユーザプリセットサーバを有することができる。ここで、コンテンツサーバは、エンコーディングされたダウンミックス信号及びオブジェクト情報を保存することができ、ユーザプリセットサーバは、プリセット情報を保存することができる。コンテンツサーバ及びユーザプリセットサーバは、別のユニットとしてもよく、同一ユニットに含まれて動作してもよい。
【００８４】
ユーザは、サービスポータルから適法に許可を受けた場合、例えば、転送料を支給する等して許可を受けた場合、ダウンミックス信号及びオブジェクト情報を受け取ることができ、これとは別に、ユーザプリセットサーバからプリセット情報を受け取ることができる。図７に示すように、ＨｅｙＪｕｄｅ．ｓａｏｃを転送料を支払って受け取ることができ、ＳＡＯＣプレイヤＡで直接生成したプリセット情報及び該当の音源名をプリセットメタデータとして生成してＨｅｙＪｕｄｅ＿Ｍｙｍｉｘ．ｓａｏｃ＋というファイルをサービスポータルに転送することができる。
【００８５】
一方、ＳＡＯＣプレイヤＢは、転送料を支払ってＨｅｙＪｕｄｅ．ｓａｏｃファイルを受け取ることとは別に、ＨｅｙＪｕｄｅ＿Ｍｙｍｉｘ．ｓａｏｃ＋ファイルをサービスポータルから受け取ることができる。この場合、ＨｅｙＪｕｄｅ＿Ｍｙｍｉｘ．ｓａｏｃ＋ファイルはＨｅｙＪｕｄｅ．ｓａｏｃファイルとは別の著作物であるから、ＨｅｙＪｕｄｅ＿Ｍｙｍｉｘ．ｓａｏｃ＋ファイルの転送はＨｅｙＪｕｄｅ．ｓａｏｃファイルの原著作者の権利を侵害しない。
【００８６】
図８Ａ及び図８Ｂは、本発明の一実施例によるプリセット属性情報によってプリセット情報を適用して、ダウンミックス信号に含まれているオブジェクトを調節する概念図である。本発明のオーディオ信号は、エンコーダでダウンミックス信号及びオブジェクト情報にエンコーディングされ、これらは一つのビットストリームまたは別個のビットストリームの形態としてデコーダに転送される。
【００８７】
図８Ａ及び図８Ｂを参照すると、ビットストリームに含まれているオブジェクト情報は、具体的に、構成情報領域と複数個のデータ領域（データ領域１、データ領域２、…、データ領域ｎ）とで構成される。構成情報領域は、オブジェクト情報のビットストリームにおいて先頭部に位置している領域で、オブジェクト情報の全データ領域に共通して適用される情報を含む。
【００８８】
例えば、ツリー構造などを含む構成情報、データ領域長情報（data region length information）及びオブジェクトの個数情報などを含むことができる。
【００８９】
一方、データ領域は、構成情報領域に含まれているデータ領域長情報に基づいてオーディオ信号全体の時間ドメインを分割したユニットであり、フレームを含むことができる。オブジェクト情報のデータ領域は、ダウンミックス信号のデータ領域に対応し、対応するデータ領域のオブジェクトの属性に基づくオブジェクトレベル情報、オブジェクトゲイン情報などのオブジェクトデータ情報を含む。
【００９０】
まず、本発明の一実施例によるオーディオ信号処理方法では、ビットストリームのオブジェクト情報からプリセット属性情報（preset_attribute_information）を読む。プリセット属性情報は、プリセット情報がビットストリームにおいてどの領域に含まれているかを表すもので、具体的には、プリセット情報がオブジェクト情報の構成情報領域に含まれるか或いはデータ領域に含まれるかを表し、その詳細な意味は、下記表２の通りである。
【００９１】
【表２】
【００９２】
まず、図８Ａを参照すると、プリセット属性情報が０であって、プリセット情報が構成情報領域に含まれることを表す場合、構成情報領域から抽出されたプリセット情報は、ダウンミックス信号の全データ領域に同一に適用されてレンダリングを行う。
【００９３】
一方、図８Ｂを参照すると、プリセット属性情報が１であって、プリセット情報がデータ領域に含まれることを表す場合、データ領域から抽出されたプリセット情報は、対応するダウンミックス信号のデータ領域に適用されてレンダリングを行う。例えば、データ領域１から抽出されたプリセット情報は、データ領域１のダウンミックス信号に適用され、データ領域ｎから抽出されたプリセット情報は、データ領域ｎのダウンミックス信号に適用されることができる。
【００９４】
また、プリセット属性情報は、プリセット情報が変動であるか或いは固定であるかを表すことができる。プリセット属性情報が０に設定され、構成情報領域に含まれる場合、プリセット情報は、固定（static）であるとすることができる。この場合、プリセット情報は、全データ領域に固定して同一に適用される。
【００９５】
一方、プリセット属性情報が１に設定され、データ領域に含まれる場合、プリセット情報は変動（dynamic）であるとすることができる。この場合、プリセット情報は、該当のデータ領域にのみ適用されて、対応するデータ領域のダウンミックス信号をレンダリングするから、データ領域別に変動して適用される。ここで、プリセット情報は、変動である場合、データ領域の拡張領域（extension region）に存在することが好ましく、プリセット情報が固定である場合は、構成情報領域の拡張領域（extension region）に存在することが好ましい。
【００９６】
したがって、本発明の一実施例によるオーディオ信号処理方法は、プリセット属性情報に基づいて、音源の特性によってデータ領域別に適切なプリセット情報を用いたり、同一プリセット情報を全データ領域に用いたりして、ダウンミックス信号をレンダリングすることができる。
【００９７】
図９は、本発明の実施例によるオーディオ信号処理装置９００を示す図である。図９を参照すると、オーディオ信号処理装置９００は、プリセットモード生成部９１０、情報受信部（図示せず）、変動プリセットモード受信部９２０、固定プリセットモード受信部９３０及びレンダリング部９４０を含むことができる。
【００９８】
プリセットモード生成部９１０は、オーディオ信号に含まれているオブジェクトをレンダリング時に調節するためのプリセットモードを生成し、プリセット属性決定部９１１、プリセットメタデータ生成部９１２及びプリセット情報生成部９１３を含むことができる。
【００９９】
プリセット属性決定部９１１は、上述の通り、プリセット情報を構成情報領域に含めて全データ領域に適用するか、或いは、データ領域に含めてデータ領域別に適用するかを表すプリセット属性情報を決定する。
【０１００】
以降、プリセット属性情報に基づいて、プリセットメタデータ生成部９１２及びプリセット情報生成部９１３は、一つのプリセットメタデータ及びプリセット情報、またはデータ領域数だけのプリセットメタデータ及びプリセット情報を生成することができる。
【０１０１】
プリセットメタデータ生成部９１２は、プリセット情報を表現するテキスト情報を受信してプリセットメタデータを生成することができる。一方、オブジェクトのレベルを調節するためのゲイン及び／またはオブジェクトの位置がプリセット情報生成部９１３に入力される場合、オブジェクトに適用されるプリセット情報を生成することができる。
【０１０２】
プリセット情報は、オブジェクトごとに適用されるように生成することができ、様々なタイプ、例えば、チャネルレベル差（CLD：Channel Level Difference）パラメータ、マトリクス（matrix）などとすることができる。
【０１０３】
また、プリセット情報生成部９１３は、オブジェクトの出力チャネルの数を表す出力チャネル情報をさらに生成することができる。
【０１０４】
プリセットメタデータ生成部９１２で生成されたプリセットメタデータ及びプリセット情報生成部９１３で生成されたプリセット情報、出力チャネル情報などは、一つのビットストリームに含めて転送することができ、特に、ダウンミックス信号を含むビットストリームの補助領域に含めて転送することができる。
【０１０５】
一方、プリセットモード生成部９１０は、プリセットメタデータ、プリセット情報及び出力チャネル情報がビットストリームに含まれていることを表すプリセット存在情報をさらに生成することができる。このプリセット存在情報は、プリセット情報などがビットストリームのどの領域に含まれているかを表すコンテナタイプとすることもでき、どの領域に含まれているかを表さずに、単にビットストリームに含まれているか否かを表すフラグタイプ（flag type）とすることもできるが、これに限定されない。
【０１０６】
また、プリセットモード生成部９１０は、複数個のプリセットモードを生成することができ、それぞれのプリセットモードは、プリセット情報、プリセットメタデータ及び出力チャネル情報を含む。ここで、プリセットモード生成部９１０は、プリセットモードの個数を表すプリセット個数情報をさらに生成することができる。
【０１０７】
このように、プリセットモード生成部９１０は、プリセット属性情報、プリセットメタデータ及びプリセット情報をビットストリームの形態で生成して出力することができる。
【０１０８】
このビットストリームは、図８Ａ及び８Ｂに示すような形態を有し、情報受信部（図示せず）に入力される。情報受信部（図示せず）に入力されたビットストリームから、まず、プリセット属性情報を獲得し、プリセット情報が、転送されたビットストリームにおいてどの領域に含まれているかを決定する。
【０１０９】
変動プリセットモード受信部９２０は、プリセット属性決定部９１１から出力されるプリセット属性情報に基づいてプリセット情報がデータ領域に含まれていることを表す場合（表２のpreset_attribute_flag＝１の場合）に、動作する。
【０１１０】
変動プリセットモード受信部９２０は、該当のデータ領域に対応するプリセットメタデータを受信する変動プリセットメタデータ受信部９２１及びデータ領域別プリセット情報を受信する変動プリセット情報受信部９２２を含むことができる。変動プリセットメタデータ受信部９２１は、選択されたプリセットメタデータを受信して出力し、変動プリセット情報受信部９２２はプリセット情報を受信する。これについての詳細な説明は、図１０Ａ及び図１０Ｂを参照して詳細に後述する。
【０１１１】
固定プリセットモード受信部９３０は、プリセット属性情報に基づいてプリセット情報が構成情報領域に含まれていることを表す場合（表２のpreset_attribute_flag＝０の場合）に、動作する。
【０１１２】
固定プリセットモード受信部９３０は、全データ領域に対応するプリセット情報を受信する固定プリセット情報受信部９３１、及びプリセットメタデータを受信する固定プリセットメタデータ受信部９３２を含むことができる。
【０１１３】
固定プリセットモード受信部９３０の固定プリセット情報受信部９３１及び固定プリセットメタデータ受信部９３２は、受信して出力するプリセット情報及びプリセットメタデータに対応するダウンミックス信号の範囲が異なる以外は、変動プリセットモード受信部９２０の変動プリセットメタデータ受信部９２１及び変動プリセット情報受信部９２２と略同一の構成及び機能を有する。
【０１１４】
レンダリング部９４０は、複数個のオブジェクトを含むオーディオ信号をダウンミキシングして生成されたダウンミックス信号、及び変動プリセット情報受信部９２２から出力されたプリセット情報または固定プリセット情報受信部９３１から出力されたプリセット情報を取り込む。プリセット情報を、ダウンミックス信号に含まれているオブジェクトに適用することによって、当該オブジェクトのレベルを調節したりオブジェクトの位置を調節したりすることができる。
【０１１５】
また、オーディオ信号処理装置９００がディスプレイ部（図示せず）を含む場合、変動プリセットメタデータ受信部９２１から出力される選択されたプリセットメタデータ、または固定プリセットメタデータ受信部９３２から出力される選択されたプリセットメタデータが画面に表示されることができる。
【０１１６】
図１０Ａ及び図１０Ｂは、本発明の実施例によるプリセット情報がレンダリング部に適用される方法を示すブロック図である。
【０１１７】
まず、図１０Ａは、変動プリセットモード受信部９２０から出力されたプリセット情報が、レンダリング部１０４０で適用される方法を示す図である。変動プリセットモード受信部９２０は、図３の変動プリセットモード受信部９２０と同一のもので、変動プリセットメタデータ受信部９２１及び変動プリセット情報受信部９２２を含む。
【０１１８】
変動プリセットモード受信部９２０は、データ領域ごとにプリセットメタデータ及びプリセット情報を受信して出力し、このプリセット情報はレンダリング部１０４０に入力される。
【０１１９】
レンダリング部１０４０は、プリセット情報の他に、ダウンミックス信号も受信して、データ領域別にレンダリングを行い、データ領域１のレンダリング部１０４１、データ領域２のレンダリング部１０４２、…、データ領域ｎのレンダリング部１０４ｎを含む。ここで、レンダリング部１０４０のそれぞれのデータ領域のレンダリング部１０４Ｘはそれぞれ、データ領域に対応するプリセット情報を受信してダウンミックス信号に適用することによってレンダリングを行う。
【０１２０】
例えば、１番目のデータ領域にはスタジアムモードであるプリセット情報＿１が適用され、２番目のデータ領域にはカラオケモードであるプリセット情報＿３が適用され、ｎ番目のデータ領域にはニュースモードであるプリセット情報＿２（ここで、プリセット情報＿ｎのｎは、データ領域モードのインデックスを表す。）が適用されることができる。この時、プリセットメタデータもデータ領域ごとに出力されることは勿論である。
【０１２１】
図１０Ｂは、固定プリセットモード受信部９３０から出力されたプリセット情報が、レンダリング部１０４０で適用される方法を示す図である。
【０１２２】
固定プリセットモード受信部９３０は、図９の固定プリセットモード受信部９３０と同一のものである。固定プリセットモード受信部９３０は、全データ領域に対応するプリセットメタデータ及びプリセット情報を受信して出力し、レンダリング部１０４０は、このプリセット情報を受信する。
【０１２３】
図１０Ｂのレンダリング部１０４０は、図１０Ａのレンダリング部と同様に、データ領域数だけのデータ領域レンダリング部１０４Ｘを含む。レンダリング部１０４０は、固定プリセットモード受信部９３０からプリセット情報を受信する場合、全データ領域レンダリング部１０４Ｘで、受信したプリセット情報をダウンミックス信号に同一に適用することによってレンダリングを行う。
【０１２４】
例えば、固定プリセットモード受信部９３０から出力されたプリセット情報が、ニュースモードを表すプリセット情報２の場合、１番目のデータ領域からｎ番目のデータ領域にわたる全データ領域にニュースモードを適用することができる。
【０１２５】
図１１は、本発明の一実施例によるプリセット生成部を含む製品の概略的な構成を示す図であり、図１２Ａ及び図１２Ｂは、本発明の実施例によるプリセット生成部を含む製品間の関係を示す図である。
【０１２６】
図１１を参照すると、有／無線通信部１１１０は、有／無線通信方式によってビットストリームを受信する。具体的に、有／無線通信部１１１０は、有線通信部１１１１、赤外線通信部１１１２、ブルトゥース部１１１３、無線ＬＡＮ通信部１１１４のうち少なくとも一つを含むことができる。
【０１２７】
ユーザ認証部１１２０は、ユーザ情報を受信してユーザ認証を行うもので、指紋認識部１１２１、虹彩認識部１１２２、顔面認識部１１２３、及び音声認識部１１２４のうち少なくとも一つを含むことができる。このユーザ認証部１１２０では、それぞれ、指紋情報、虹彩情報、顔面輪郭情報、音声情報を受信してユーザ情報に変換し、ユーザ情報と既に登録されているユーザデータとが一致するか否かを判断して、ユーザ認証を行うことができる。
【０１２８】
入力部１１３０は、ユーザが様々な種類の命令を入力するための入力装置で、キーパッド部１１３１、タッチパッド部１１３２、リモコン部１１３３のうち少なくとも一つを含むことができるが、本発明はこれに限定されない。一方、プリセット生成部１１４１に対応するプリセットメタデータが生成される場合、このプリセットメタデータは、ディスプレイ部１１６２を通じて画面に表示される場合に、入力部１１３０を介してユーザがプリセットメタデータを選択することができ、選択されたプリセットメタデータに関する情報が制御部１１５０に入力される。
【０１２９】
信号デコーディング部１１４０は、プリセット生成部１１４１を含み、まず、受信したビットストリームに含まれているプリセットフラグに基づいてプリセット情報が含まれていないと判断される場合、プリセット生成部１１４１は、オブジェクトゲイン及びオブジェクトゲイン比率を用いてプリセット情報を生成する。受信したビットストリームにプリセット情報が含まれていると、プリセット生成部１１４１は別のプリセットを生成せずに、ビットストリームからプリセット情報を抽出する。この場合、プリセット情報は、プリセット情報が存在するか否かを表すプリセット存在情報、プリセット情報の個数を表すプリセット個数情報及び出力チャネルの個数に基づく、例えば、出力チャネルがモノ、ステレオ及びマルチチャネルのうち一つであるかを表す出力チャネル情報に基づいて獲得される。プリセット情報がマトリクスで表現された場合、出力チャネル情報を受信しこれに基づいてプリセットマトリクスを受信する。
【０１３０】
信号デコーディング部１１４０は、受信したビットストリーム、プリセットメタデータ、及びプリセット情報を用いてオーディオ信号をデコーディングして出力信号を生成し、プリセットメタデータをテキスト形態として出力する。
【０１３１】
制御部１１５０は、入力装置から入力信号を受信し、信号デコーディング部１１４０及び出力部１１６０のプロセス全般を制御する。上述の通り、制御部１１５０に、入力部１１３０から選択されたプリセットメタデータに関する情報が入力信号として入力される。また、有／無線通信部１１１０から、プリセット情報がビットストリームに含まれていないことを表すデータタイプ情報が入力される場合、オブジェクトゲイン及びオブジェクトゲイン比率を用いてプリセット情報を生成し、これを用いてオーディオ信号をデコーディングする。
【０１３２】
出力部１１６０は、信号デコーディング部１１４０で生成された出力信号などを出力する構成要素で、スピーカ部１１６１及びディスプレイ部１１６２を含むことができる。出力信号がオーディオ信号の場合、出力信号はスピーカ部１１６１から出力され、ビデオ信号の場合、出力信号はディスプレイ部１１６２から出力される。また、制御部１１５０により選択されたプリセットメタデータを、ディスプレイ部１１６２を通じて画面に表示する。
【０１３３】
図１２Ａ及び図１２Ｂは、図１１に示す製品に該当する端末同士の関係及び該端末とサーバとの関係をそれぞれ示す図である。
【０１３４】
図１２Ａを参照すると、第１端末１２１０及び第２端末１２２０が有／無線通信部を通じてデータまたはビットストリームを両方向に通信できることがわかる。有／無線通信部を通じて通信するデータまたはビットストリームは、本発明の図１で生成されたビットストリームであって、図８Ａ及び図８Ｂに示すビットストリームの形態を有することもでき、図１乃至図１１を参照して説明した本発明のプリセットフラグ、プリセット属性情報、プリセット情報、プリセットメタデータ、データタイプ情報などを含むデータであってもよい。また、データタイプ情報のみを含むビットストリームであってもよい。
【０１３５】
図１２Ｂを参照すると、サーバ１２３０及び第１端末１２４０も互いに有／無線通信を行うことができる。
【０１３６】
図１３は、本発明の一実施例によるプリセット生成部を含む放送信号デコーディング装置１３００の概略的な構成を示す図である。
【０１３７】
図１３を参照すると、デマルチプレクサ１３２０は、チューナ１３１０からＴＶ放送と関連するデータを受信する。これら受信データは、デマルチプレクサ１３２０で分離され、データデコーダ１３３０でデコーディングされる。一方、デマルチプレクサ１３２０で分離されたデータは、ＨＤＤのような記憶媒体１３５０に記憶することができる。
【０１３８】
デマルチプレクサ１３２０で分離されたデータは、オーディオデコーダ１３４１及びビデオデコーダ１３４２を含むデコーダ１３４０に入力されてオーディオ信号及びビデオ信号をデコーディングする。オーディオデコーダ１３４１は、本発明の一実施例によるプリセット生成部１３４１Ａを含み、まず、受信したビットストリームに含まれているプリセットフラグに基づいてプリセット情報が含まれていないと判断される場合、プリセット生成部１３４１Ａは、オブジェクトゲイン及びオブジェクトゲイン比率を用いてプリセット情報を生成する。
【０１３９】
受信したビットストリームにプリセット情報が含まれている場合には、プリセット生成部１３４１Ａは、別にプリセットを生成せずに、ビットストリームからプリセット情報を抽出する。この場合、プリセット情報は、プリセット情報が存在するか否かを表すプリセット存在情報、プリセット情報の個数を表すプリセット個数情報及び出力チャネルがモノ、ステレオ及びマルチチャネルのうち一つであることを表す出力チャネル情報に基づいて獲得される。プリセット情報がマトリクスで表現された場合、出力チャネル情報を受信してこれに基づいてプリセットマトリクスを受信する。オーディオデコーダ１３４１は、受信したビットストリーム、プリセットメタデータ、及びプリセット情報を用いてオーディオ信号をデコーディングして出力信号を生成し、プリセットメタデータをテキスト形態として出力する。
【０１４０】
ディスプレイ部１３７０は、ビデオデコーダ１３４２から出力されたビデオ信号とオーディオデコーダ１３４１から出力されたプリセットメタデータを画面に表示する。また、ディスプレイ部１３７０は、スピーカ部（図示せず）を含み、オーディオデコーダ１３４１から出力されるオブジェクトのレベルがプリセット情報に基づいて調節されたオーディオ信号を、ディスプレイ部１３７０に含まれたスピーカ部から出力する。また、デコーダ１３４０でデコーディングされたデータは、ＨＤＤのような記憶媒体１３５０に記憶することができる。
【０１４１】
一方、信号デコーディング装置１３００は、ユーザから情報を受け取って、受信したデータを制御できるアプリケーションマネージャ１３６０をさらに含むことができる。
【０１４２】
アプリケーションマネージャ１３６０は、ユーザインターフェースマネージャ１３６１及びサービスマネージャ１３６２を含む。ユーザインターフェースマネージャ１３６１は、ユーザから情報を受け取るためのインターフェースを制御する。例えば、ディスプレイ部１３７０に表示されるテキストの書体、画面の明るさ、メニュー構成などを制御することができる。一方、サービスマネージャ１３６２は、デコーダ１３４０及びディスプレイ部１３７０で放送信号をデコーディングして出力する場合、受信される放送信号を、ユーザから入力される情報を用いて制御することができる。例えば、放送チャネルの設定、アラーム機能設定、成人認証機能などを提供することができる。アプリケーションマネージャ１３６０から出力されるデータは、デコーダ１３４０の他に、ディスプレイ部１３７０にも転送される。
【０１４３】
以上では具体的な実施例及び図面に基づいて本発明を説明してきたが、本発明は、それらの具体例に限定されず、本発明の属する技術分野における通常の知識を有する者にとっては、本発明の技術思想及び添付の特許請求の範囲とその均等範囲内で様々な修正及び変形が可能であるということは明らかである。
【産業上の利用可能性】
【０１４４】
本発明は、オーディオ信号をエンコーディング及びデコーディングするのに適用することができる。
【技術分野】
【０００１】
本発明は、オーディオ信号の処理方法及び装置に係り、特に、デジタル媒体、放送信号などを通じて受信されたオーディオ信号を処理することができるオーディオ信号の処理方法及び装置に関するものである。
【背景技術】
【０００２】
複数個のオブジェクトを含むオーディオ信号を、モノまたはステレオ信号にダウンミックスしてダウンミックス信号を生成する過程において、オブジェクトからパラメータが抽出される。これらのパラメータは、ダウンミックスされた信号をデコーディングする過程で用いられる。また、オブジェクトの位置（position）及びゲイン（gain）は、パラメータの他にユーザの選択によってもコントロールすることができる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、ダウンミックス信号に含まれているオブジェクトは、ユーザの選択によって調節しなければならない。このようにユーザによってオブジェクトを制御する場合、すべてのオブジェクト信号を直接制御しなければならないという面倒さがある他、専門家によって制御される場合に比べてはオーディオ信号を最適の状態に再現し難い。
【０００４】
本発明は、従来技術の制限や欠点による上記問題のうちの一つ又は複数を実質的に防止するオーディオ信号の処理方法および装置を対象とする。
【０００５】
本発明は、上記問題点を解決するためのもので、その目的は、既に設定されたプリセット情報及びプリセットメタデータを用いてオブジェクトのレベル及びパニングをコントロールすることができるオーディオ信号処理方法及び装置を提供することにある。
【０００６】
本発明の他の目的は、オブジェクトのレベル及びパニングをコントロールするプリセット情報が受信されない場合、オブジェクト情報に含まれるオブジェクトゲイン及びオブジェクトゲイン比率のうち少なくとも一つを用いて初期プリセット情報を生成することができるオーディオ信号処理方法及び装置を提供することにある。
【０００７】
本発明のさらに他の目的は、音源の特性及びユーザの利用目的に応じて、オブジェクトゲイン及び／またはオブジェクトゲイン比率を用いて、ダウンミックス信号に含まれているオブジェクトのゲインのみを調節したり、ゲイン及びパニングの両方を調節したりすることができるプリセット情報を提供するオーディオ信号処理方法及び装置を提供することにある。
【０００８】
本発明のさらに他の目的は、オブジェクトゲイン及びオブジェクトゲイン比率のうち少なくとも一つを用いて生成されたプリセット情報を、音源と別に抽出して保存することによって、別の再生装置でプリセット情報を利用することができるオーディオ信号処理方法及び装置を提供することにある。
【０００９】
本発明のさらに他の目的は、音源の特性によってプリセット情報及びプリセットメタデータをダウンミックス信号の全データ領域にまたはダウンミックス信号の一データ領域に適用することによってダウンミックス信号に含まれているオブジェクトを調節することができるオーディオ信号処理方法及び装置を提供することにある。
【課題を解決するための手段】
【００１０】
上記の目的を達成するために、本発明に係るオーディオ信号処理方法は、
少なくとも一つのオブジェクトを含むダウンミックス信号及びオブジェクト情報を受信する段階であって、前記オブジェクト情報は、前記ダウンミックス信号に含まれている前記オブジェクトに適用されたゲインを表すオブジェクトゲイン及び前記ダウンミックス信号の２つ以上のチャネルに含まれている前記オブジェクトのゲイン差を表すオブジェクトゲイン比率のうち少なくとも一つと、前記オブジェクト情報の拡張領域に含まれているデータのタイプを表すデータタイプ情報と、を有する、段階と、
前記データタイプ情報に基づいて、前記オブジェクトをレンダリングするためのプリセット情報が前記オブジェクト情報の拡張領域に含まれているか否かを判断する段階と、
前記プリセット情報が前記オブジェクト情報に含まれていない場合、前記オブジェクトゲイン及び前記オブジェクトゲイン比率のうち少なくとも一つを用いて、前記オブジェクトをレンダリングするための初期プリセット情報を生成する段階と、
前記初期プリセット情報を用いて、前記ダウンミックス信号に含まれているオブジェクトをレンダリングする段階と、を有する。
【００１１】
前記ダウンミックス信号がモノ信号である場合、前記初期プリセット情報は、前記オブジェクトゲインを用いて生成することができる。
【００１２】
前記ダウンミックス信号がステレオ信号である場合、前記初期プリセット情報は、前記オブジェクトゲイン及び前記オブジェクトゲイン比率を用いて生成することができる。前記初期プリセット情報は、前記オブジェクトのゲインのみを調節する第１初期プリセット情報と、前記オブジェクトのゲイン及びパニングを調節する第２初期プリセット情報と、を有することができる。
【００１３】
好適には、前記初期プリセット情報を、前記オブジェクト情報のデータ領域ごとに生成することができる。
【００１４】
より好適には、前記オブジェクトをレンダリングする段階は、前記オブジェクトゲイン及び前記オブジェクトゲイン比率をさらに用いることができる。
【００１５】
また、上記の目的を達成するために、本発明に係るオーディオ信号処理装置は、
少なくとも一つのオブジェクトを含むダウンミックス信号及びオブジェクト情報を受信する受信部であって、前記オブジェクト情報は、前記ダウンミックス信号に含まれている前記オブジェクトに適用されたゲインを表すオブジェクトゲイン及び前記ダウンミックス信号の２つ以上のチャネルに含まれている前記オブジェクトのゲイン差を表すオブジェクトゲイン比率のうちの少なくとも一つと、前記オブジェクト情報の拡張領域に含まれているデータのタイプを表すデータタイプ情報とを有する、受信部と、
前記データタイプ情報に基づいて、前記オブジェクトをレンダリングするためのプリセット情報が前記オブジェクト情報の拡張領域に含まれているか否かを判断するプリセット情報判断部と、
前記プリセット情報が含まれない場合、前記オブジェクトゲイン及び前記オブジェクトゲイン比率のうち少なくとも一つを用いて、前記オブジェクトをレンダリングするための初期プリセット情報を生成する初期プリセット情報生成部と、
前記初期プリセット情報を用いて、前記ダウンミックス信号に含まれているオブジェクトをレンダリングするレンダリング部と、を有することができる。
【発明の効果】
【００１６】
本発明は、下記の効果及び利点を提供する。
【００１７】
第一に、既に設定されたプリセット情報を受信する場合、それぞれのオブジェクトへのユーザの設定なしに、既に設定された複数個のプリセット情報のうち一つを複数個のプリセットメタデータを用いて選択することによって容易にオブジェクトの出力チャネルのレベルを調節することができる。
【００１８】
第二に、プリセット情報が受信されない場合にも、受信されたオブジェクト情報を用いて初期プリセット情報を生成することによってオーディオ信号を復元することができる。
【００１９】
第三に、音源の特性及びユーザの利用目的に応じて、デコーダ側で生成されたプリセット情報を用いてダウンミックス信号に含まれているオブジェクトのゲイン及び／またはパニングを調節することができる。
【００２０】
第四に、プリセット情報を音源と別に抽出して保存することによって、音源とは別にプリセット情報のみを抽出して使用することができ、音源に対する著作権侵害の問題なしに、別個の再生装置で効果的にプリセット情報を用いることができる。
【００２１】
第五に、音源の特性によってプリセット情報をデータ領域単位に個別に選択して適用したり、ダウンミックス信号全体に同じプリセット情報を選択して適用したりすることによって、オーディオ信号を効率的に復元することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の一実施例による、オブジェクト情報を用いてプリセット情報を生成するプリセット情報生成部を含むオーディオ信号処理装置の構成を示す図である。
【図２】図１のプリセット情報生成部の構成を示す図である。
【図３】図２の初期プリセット情報生成部の構成を示す図である。
【図４Ａ】プリセットモードのうち、カラオケモードまたはアカペラモードが選択される場合、調節されたオブジェクトのレベルが表示される表示部を示す図である。
【図４Ｂ】プリセットモードのうち、カラオケモードまたはアカペラモードが選択される場合、調節されたオブジェクトのレベルが表示される表示部を示す図である。
【図５】本発明の他の実施例によるオーディオ信号処理装置を示す図である。
【図６】本発明のさらに他の実施例による、プリセット情報保存部及びプリセットメタデータ生成部を含むオーディオ信号処理装置を示す図である。
【図７】プリセット情報を別に保存して利用できるオーディオ信号処理方法を示す概念図である。
【図８Ａ】本発明のさらに他の実施例によるプリセット属性情報によってプリセット情報を適用してダウンミックス信号に含まれたオブジェクトを調節する概念図である。
【図８Ｂ】本発明のさらに他の実施例によるプリセット属性情報によってプリセット情報を適用してダウンミックス信号に含まれたオブジェクトを調節する概念図である。
【図９】本発明のさらに他の実施例によるオーディオ信号処理装置を示す図である。
【図１０Ａ】本発明のさらに他の実施例によってプリセット情報がレンダリング部に適用される方法を示すブロック図である。
【図１０Ｂ】本発明のさらに他の実施例によってプリセット情報がレンダリング部に適用される方法を示すブロック図である。
【図１１】本発明のさらに他の実施例によるプリセット生成部を含んでいる製品の概略的な構成を示す図である。
【図１２Ａ】本発明のさらに他の実施例によるプリセット生成部を含んでいる製品間の関係を示す図である。
【図１２Ｂ】本発明のさらに他の実施例によるプリセット生成部を含んでいる製品間の関係を示す図である。
【図１３】本発明のさらに他の実施例によるプリセット生成部を含んでいる放送信号デコーディング装置の概略的な構成を示す図である。
【発明を実施するための形態】
【００２３】
以下、本発明をよりよく理解するため添付された図面は、本明細書に組み込まれて本明細書の一部を構成する。これらの添付図面は、本発明の実施形態を例示し、本明細書の記載と併せて本明細書の主旨を説明するためのものである。
【００２４】
本発明の他の特徴および利点は、以下の記載で説明するが、その一部については、この記載から明らかになるであろうし、あるいは、本発明の実施によって理解されるであろう。本発明の目的および他の利点は、明細書および特許請求の範囲の書面ならびに添付図面で示された構成によって、実現され達成されるであろう。
【００２５】
上記の目的を達成するために、本発明に係るオーディオ信号処理方法は、
少なくとも一つのオブジェクトを含むダウンミックス信号及びオブジェクト情報を受信する段階であって、前記オブジェクト情報は、前記ダウンミックス信号に含まれている前記オブジェクトに適用されたゲインを表すオブジェクトゲイン及び前記ダウンミックス信号の２つ以上のチャネルに含まれている前記オブジェクトのゲイン差を表すオブジェクトゲイン比率のうち少なくとも一つと、前記オブジェクト情報の拡張領域に含まれているデータのタイプを表すデータタイプ情報と、を有する、段階と、
前記データタイプ情報に基づいて、前記オブジェクトをレンダリングするためのプリセット情報が前記オブジェクト情報の拡張領域に含まれているか否かを判断する段階と、
前記プリセット情報が前記オブジェクト情報に含まれていない場合、前記オブジェクトゲイン及び前記オブジェクトゲイン比率のうち少なくとも一つを用いて、前記オブジェクトをレンダリングするための初期プリセット情報を生成する段階と、
前記初期プリセット情報を用いて、前記ダウンミックス信号に含まれているオブジェクトをレンダリングする段階と、を有する。
【００２６】
前記ダウンミックス信号がモノ信号である場合、前記初期プリセット情報は、前記オブジェクトゲインを用いて生成することができる。
【００２７】
前記ダウンミックス信号がステレオ信号である場合、前記初期プリセット情報は、前記オブジェクトゲイン及び前記オブジェクトゲイン比率を用いて生成することができる。前記初期プリセット情報は、前記オブジェクトのゲインのみを調節する第１初期プリセット情報と、前記オブジェクトのゲイン及びパニングを調節する第２初期プリセット情報と、を有することができる。
【００２８】
好適には、前記初期プリセット情報を、前記オブジェクト情報のデータ領域ごとに生成することができる。
【００２９】
より好適には、前記オブジェクトをレンダリングする段階は、前記オブジェクトゲイン及び前記オブジェクトゲイン比率をさらに用いることができる。
【００３０】
また、上記の目的を達成するために、本発明に係るオーディオ信号処理装置は、
少なくとも一つのオブジェクトを含むダウンミックス信号及びオブジェクト情報を受信する受信部であって、前記オブジェクト情報は、前記ダウンミックス信号に含まれている前記オブジェクトに適用されたゲインを表すオブジェクトゲイン及び前記ダウンミックス信号の２つ以上のチャネルに含まれている前記オブジェクトのゲイン差を表すオブジェクトゲイン比率のうちの少なくとも一つと、前記オブジェクト情報の拡張領域に含まれているデータのタイプを表すデータタイプ情報とを有する、受信部と、
前記データタイプ情報に基づいて、前記オブジェクトをレンダリングするためのプリセット情報が前記オブジェクト情報の拡張領域に含まれているか否かを判断するプリセット情報判断部と、
前記プリセット情報が含まれない場合、前記オブジェクトゲイン及び前記オブジェクトゲイン比率のうち少なくとも一つを用いて、前記オブジェクトをレンダリングするための初期プリセット情報を生成する初期プリセット情報生成部と、
前記初期プリセット情報を用いて、前記ダウンミックス信号に含まれているオブジェクトをレンダリングするレンダリング部と、を有することができる。
【００３１】
以下の本発明に関する概略説明とそれに続く詳細説明は、共に、実施例とその説明であり、特許請求の範囲に記載された本発明をさらに説明するためのものであることを理解されたい。
【実施例】
【００３２】
以下、添付の図面を参照しつつ、本発明の好適な実施例を詳細に説明する。特に、本発明における用語は、以下で参照されるように解釈することができる。また、本明細書に開示されていない用語は、以下の本発明の技術的思想に符合する意味および概念として解釈することができる。したがって、本明細書に記載された実施例と図面に例示された構成は、本発明の最も好適な一実施例に過ぎず、本発明の技術的思想を全部示すものではないため、本出願時点においてそれらに代替可能な様々な均等物と変形例が存在することができる。
【００３３】
特に、本明細書で情報（information）は、値（values）、パラメータ（parameters）、係数（coefficients）、要素（elements）などを総称する用語であり、その意味は場合によって適宜解釈すればよく、したがって、本発明はこれに限定されない。
【００３４】
図１は、本発明の一実施例による、オブジェクト情報を用いてプリセット情報を生成するプリセット情報生成部を含むオーディオ信号処理装置１００の構成を示す図である。オブジェクトを調節するために既に設定された情報の集合を、本明細書ではプリセットモード（preset mode）といい、プリセットモードは、プリセットメタデータ（preset metadata）及びプリセット情報（preset information）を含む。プリセット情報は、オーディオ信号の特性または聴取環境に応じてユーザにより選択されうる様々なモードを表すことができるとともに、少なくとも一つが存在することができ、特に、オブジェクトの出力時、エンコーディング時に存在していたチャネルではなく他のチャネルに含めたり（以下、パニングという。）、オブジェクトのゲインを調節することによって出力チャネルのレベルを調節することができる。
【００３５】
図１を参照すると、本発明の一実施例によるオーディオ信号処理装置１００は、主として、ダウンミキシング部１１０、オブジェクト情報生成部１２０、情報受信部１３０、プリセット生成部１４０及びレンダリング部１５０を含む。
【００３６】
複数個のオブジェクトは、ダウンミキシング部１１０に入力されてモノまたはステレオダウンミックス信号を生成する。また、複数個のオブジェクトは、オブジェクト情報生成部１２０に入力されて、オブジェクトの属性を表すオブジェクト情報（object information）を生成する。オブジェクト情報は、オブジェクトのレベルを表すオブジェクトレベル情報、ダウンミックス信号生成時にオブジェクトに適用されるゲインを表すオブジェクトゲイン、ダウンミックス信号がステレオまたはマルチチャネルダウンミックス信号である場合、当該ダウンミックス信号の各チャネルにオブジェクトが含まれた程度を表すゲイン間の差を表すオブジェクトゲイン比率（object gain ratio）を含む。また、オブジェクト情報は、オブジェクト間相関関係が存在するか否かを示すオブジェクト間相関情報をさらに有する。
【００３７】
また、オブジェクト情報生成部１２０は、情報生成部１２０で生成されるビットストリームのうち、オブジェクト情報の拡張領域に含まれているデータタイプを表すデータタイプ情報（data_type_information）を生成することができる。このデータタイプ情報の詳細な意味を、下記の表１に示す。オブジェクト情報生成部１２０で生成されたオブジェクトゲイン、オブジェクトゲイン比率及びデータタイプ情報などは、一つのビットストリームに含めて転送することができ、具体的には、ダウンミックス信号を含むビットストリームの補助領域（ancillary region）に含めて転送することができる。
【００３８】
【表１】
【００３９】
情報受信部１３０は、オブジェクトゲイン、オブジェクトゲイン比率及びデータタイプ情報を含むビットストリームを受信し、オブジェクトゲイン、オブジェクトゲイン比率及びデータタイプ情報をプリセット生成部１４０及びレンダリング部１５０に出力する。
【００４０】
一方、プリセット生成部１４０は、データタイプ情報と、オブジェクトゲイン及びオブジェクトゲイン比率のうち少なくとも一つとを受信する。入力されたオブジェクトゲイン及びオブジェクトゲイン比率のうち少なくとも一つを用いて初期プリセット情報を生成することができ、これについては、図２及び図３を参照して詳細に後述する。
【００４１】
レンダリング部１５０は、複数個のオブジェクトを含むオーディオ信号をダウンミキシングして生成されたダウンミックス信号、情報受信部１３０から出力されたオブジェクト情報、及びプリセット生成部１４０から出力されたプリセット情報を受信する。この場合、プリセット情報は、ダウンミックス信号に含まれているオブジェクトに適用されて、オブジェクトのレベルを調節したり、オブジェクトの含まれる出力チャネルを調節したりすることができる。
【００４２】
また、オーディオ信号処理装置１００がディスプレイ部（図示せず）を含む場合、レンダリング部１５０でレンダリングされたオーディオ信号のレベル、生成されたプリセット情報の特徴などを画面に表示することができる。
【００４３】
このように、本発明のオーディオ信号処理装置１００は、デコーディング装置にプリセット生成部１４０を含むので、エンコーダからプリセット情報を転送しなかった場合にも、レンダリングデータであるプリセット情報を生成して用いることによって、音源の特性またはユーザの利用目的に応じてオーディオ信号を調節することができる。
【００４４】
図２は、図１のプリセット情報生成部１４０の構成を示す図である。図２を参照すると、プリセット情報生成部１４０は、プリセット情報有無判断部２１０及び初期プリセット情報生成部２２０を含む。
【００４５】
プリセット情報有無判断部２１０は、まず、データタイプ情報を受信し、受信したデータタイプ情報に基づいて、ビットストリームにプリセット情報が含まれているか否かを判断する。上記表１に表すように、データタイプ情報が１の場合、すなわち、プリセット情報がビットストリームに含まれている場合には、ビットストリームからプリセット情報を抽出してダウンミックス信号に適用する。これについては、図８Ａ乃至図１０Ｂで詳細に後述する。
【００４６】
一方、データタイプ情報が０の場合、すなわち、転送されたビットストリームにプリセット情報が含まれていない場合には、オーディオ信号をデコーディングするためのプリセット情報が必要とされる。この場合、初期プリセット生成部２２０は、オブジェクトゲイン及びオブジェクトゲイン比率を受信し、これらを用いて初期プリセット情報を生成することができる。以下、初期プリセット生成部２２０で初期プリセット情報を生成する方法について、図３を参照して説明する。
【００４７】
図３は、図２の初期プリセット情報生成部２２０の構成を示す図である。図３を参照すると、初期プリセット情報生成部２２０は、主に、モノ初期プリセット情報生成部３１０及びステレオ初期プリセット情報生成部３２０を含む。
【００４８】
モノ初期プリセット情報生成部３１０が初期プリセット情報を生成するか、或いは、ステレオ初期プリセット情報生成部３２０が初期プリセット情報を生成するかは、ダウンミックス信号のチャネルによって決定される。ダウンミックス信号がモノ信号である場合、モノ初期プリセット情報生成部３１０が活性化される。この場合、モノ初期プリセット情報生成部３１０は、オブジェクトゲインを受信してモノ初期プリセット情報を生成することができる。好ましくは、モノ初期プリセット情報は、オブジェクトゲインを、レンダリングマトリクスのうちセンターチャネルの要素（element）とし、残りのチャネルの要素（element）は０に設定することができる。
【００４９】
ダウンミックス信号がステレオ信号である場合、ステレオ初期プリセット情報生成部３２０が活性化され、オブジェクトゲインの他にオブジェクトゲイン比率も用いて初期プリセット情報を生成することができる。ステレオ初期プリセット情報生成部３２０は、ゲイン調節モード生成部３２１及びステレオ調節モード生成部３２２を含む。
【００５０】
ステレオ調節モード生成部３２２は、オブジェクトのゲインを調節し、当該オブジェクトが他のチャネルに存在しうるようにオブジェクトの位置を調節する第２初期プリセット情報を生成することができる。好ましくは、第２初期プリセット情報は、オブジェクトが、ダウンミックス信号のうちいずれかのチャネルにのみ存在する場合、他のチャネルにも存在できるようにオブジェクトの位置を調節する（以下、“パニング”という）。
【００５１】
第２初期プリセットモードも、オブジェクトゲイン及びオブジェクトゲイン比率を用いて生成されたマトリクスで表現することができる。このマトリクスは、下記の式１で表現することができ、マトリクスの各要素（element）は、下記の式２及び３を用いて計算することができる。
【００５２】
［式１］
【数１】
【００５３】
［式２］
【数２】
【００５４】
［式３］
【数３】
【００５５】
一方、ゲイン調節モード生成部３２１は、オブジェクトのゲインを修正するための情報のみを含む第１初期プリセット情報を生成することができる。好ましくは、第１初期プリセット情報は、ボーカルオブジェクトにのみ小さいゲイン値を適用することでボーカルオブジェクトのレベルを略０にさせるカラオケモード、及びボーカルオブジェクト以外の他のオブジェクトに小さいゲイン値を適用することで、他のオブジェクトのレベルを略０にさせるボーカルオブジェクトのみを出力するアカペラモードを含むことができる。これらオブジェクトのうち、ボーカルオブジェクトは、エンコーディング時に生成されたオブジェクトの位置情報及びオブジェクト情報に含まれているチャネル相関差情報のうち少なくとも一つを用いて判断することができる。
【００５６】
また、第１初期プリセット情報も同様に、オブジェクトゲイン及びオブジェクトゲイン比率を用いて生成されたマトリクスで表現することができる。このマトリクスは、下記の式３のような形態とすることができ、マトリクスの各要素は、下記の式４及び５を用いて計算することができる。
【００５７】
［式４］
【数４】
【００５８】
［式５］
【数５】
【００５９】
［式６］
【数６】
【００６０】
ゲイン調節モード生成部３２１またはステレオ調節モード生成部３２２で生成された第１初期プリセット情報または第２初期プリセット情報は、図１のレンダリング部１５０に入力されてダウンミックス信号に適用されることができ、ダウンミックス信号に含まれているオブジェクトを調節する。
【００６１】
好ましくは、初期プリセット情報が第１初期プリセット情報である場合には、オブジェクトのゲインのみを調節し、第２初期プリセット情報である場合には、オブジェクトのゲイン及びパニングを調節することができる。
【００６２】
また、初期プリセット情報を、オブジェクトゲイン及びオブジェクトゲイン比率のうち少なくとも一つを用いてオブジェクト情報のデータ領域ごとに生成することができる。データ領域は、実際にオーディオ信号に関するデータを含むビットストリームの領域で、フレームを含むことができる。
【００６３】
図４Ａ及び図４Ｂは、本発明の一実施例によって調節されたオブジェクトを表示するディスプレイ部を示す図である。図４Ａ及び図４Ｂを参照すると、初期プリセット情報が適用されて調節されたオブジェクトのレベルは、オブジェクトの特徴を表すメタデータと一緒にディスプレイ部に表示することができる。
【００６４】
例えば、初期プリセット情報がゲイン調節初期プリセット情報のうちカラオケモードである場合は、図４Ａに示すように、初期プリセット情報を用いて、出力信号に含まれているオブジェクトのうちボーカルオブジェクトの大きさを減少させることができ、これを画面に表示して、カラオケモードが活性化されたことをユーザに認知させることができる。
【００６５】
一方、初期プリセット情報がアカペラモードである場合には、図４Ｂに示すように、初期プリセット情報を用いて、出力信号に含まれているオブジェクトのうちボーカルオブジェクト以外の残りオブジェクトの大きさを減少させることができ、これを画面に表示して、アカペラモードが活性化されたことをユーザに認知させることができる。
【００６６】
オブジェクトがどのようなものかを表すテキスト形態の情報を、プリセットメタデータという。プリセットメタデータは、オブジェクト名の他に、プリセット情報の生成日、作成者、プリセットモードの名称なども表すことができるが、これに限定されない。
【００６７】
図５は、本発明の他の実施例によるオーディオ信号処理装置５００を示す図である。オーディオ信号処理装置５００は、主に、ダウンミキシング部５１０、オブジェクト情報生成部５２０、情報生成部５３０、ダウンミックス信号処理部５４０及びマルチチャネルデコーディング部５５０を含む。図５のダウンミキシング部５１０及びオブジェクト情報生成部５２０は、図１のダウンミキシング部１１０及び情報生成部１２０と同一の機能及び構成を有するので、その詳細な説明は省略する。
【００６８】
情報生成部５３０は、プリセット情報生成部５３１及びダウンミックス信号処理情報生成部５３２を含み、ＳＡＯＣビットストリームを受信する。プリセット情報生成部５３１でプリセット情報を生成するか否かは、入力されたＳＡＯＣビットストリームに含まれているデータタイプ情報に基づいて判断する。
【００６９】
データタイプ情報に基づいてビットストリームにプリセット情報が含まれない場合、プリセット情報生成部５３１は、ＳＡＯＣビットストリームに含まれているオブジェクトゲイン及びオブジェクトゲイン比率を用いて初期プリセット情報をデコーダ側で生成して出力することができる。
【００７０】
プリセット情報生成部５３１は、図１乃至図３で説明したように初期プリセット情報を生成することができる。
【００７１】
ダウンミックス信号処理情報生成部５３２は、プリセット情報及びＳＡＯＣビットストリームを受信し、これらを用いてダウンミックス信号を前処理（pre-processing）するためのダウンミックス処理情報を生成する。
【００７２】
以降、このダウンミックス処理情報はダウンミックス信号処理部５４０に入力されて、ダウンミックス信号に含まれているオブジェクトが含まれるチャネルを変動させることによってパニングを行うことができる。
【００７３】
もし、オーディオ信号の最終出力チャネルの数がダウンミックス信号のチャネルの数よりも多い場合、情報生成部５３０は、ＳＡＯＣビットストリーム及び生成されたプリセット情報を用いて、ダウンミックス信号をアップミキシングするためのマルチチャネル情報をさらに生成することができる。この場合、マルチチャネル情報はマルチチャネルデコーディング部５５０に出力され、マルチチャネルデコーディング部５５０は、前処理されたダウンミックス信号とマルチチャネル情報を受信してアップミキシングを行うことで、マルチチャネルオーディオ信号を生成することができる。
【００７４】
このように、本発明のオーディオ信号処理装置は、複数個のオブジェクトを含むダウンミックス信号をマルチチャネル信号にデコーディングする際に、プリセット情報が転送されない場合にも、ＳＡＯＣビットストリームに含まれているオブジェクト情報を用いて初期プリセット情報を生成することができる。
【００７５】
よって、このデコーダ側で生成された初期プリセット情報を用いてオブジェクトのレベル及び／またはパニングを調節することができる。この時、初期プリセット情報はデータ領域ごとに生成されるため、オーディオ信号を原音により近く復元することができる。
【００７６】
図６は、本発明のさらに他の実施例によるオーディオ信号処理装置６００を示す図である。本発明のオーディオ信号処理装置及び方法は、プリセット情報を用いてダウンミックス信号をレンダリングすることによって、ユーザの利用目的または再生環境に応じて様々なバージョンのオーディオ信号を聴取可能にする。この場合、プリセット情報の適用されたオーディオ信号を別に抽出して保存したり、許可されていない経路を通じて他の再生装置で利用したりすることは不法とされている。そこで、本発明のオーディオ信号処理装置は、オーディオ信号とは別に生成されたプリセット情報のみを別に保存するプリセット情報保存部をさらに含む。
【００７７】
図６を参照すると、本発明のさらに他の実施例によるオーディオ信号処理装置６００は、主に、ダウンミキシング部６１０、情報生成部６２０、プリセット生成部６３０、レンダリング部６４０、プリセットメタデータ生成部６５０及びプリセット情報保存部６６０を含む。図６のダウンミキシング部６１０、情報生成部６２０、レンダリング部６４０は、図５における同一の名前のブロックと同一の機能及び構成を有するので、その詳細な説明を省略する。
【００７８】
一方、プリセット生成部６３０は、図５のプリセット生成部５３１と同一の機能及び構成によって初期プリセット情報を生成することができる。また、プリセット生成部６３０は、情報生成部６２０から、ダウンミックス信号に含まれているオブジェクトをレンダリングするためのプリセット情報が転送される場合、ユーザ入力をさらに用いて修正プリセット情報を生成することもできる。
【００７９】
プリセット情報保存部６６０は、プリセット生成部６３０で生成されたプリセット情報を保存することができる。このプリセット情報保存部６６０は、別のメモリ形態を有してもよく、生成されたプリセット情報の他に、プリセット情報の適用されるデータ領域に関する情報、プリセット情報生成時に用いられたオブジェクトゲイン及びオブジェクトゲイン比率なども保存することができる。プリセット情報生成部６３０が修正プリセット情報を生成する場合、この情報がプリセット情報保存部６６０保存されうることは勿論である。
【００８０】
プリセットメタデータ生成部６５０は、プリセット情報に対応するプリセットメタデータを生成することができる。プリセットメタデータは、ユーザから入力される信号を用いて生成することができて、ユーザから入力される信号は、ユーザ入力部（図示せず）を介して入力されることができる。また、プリセットメタデータは、プリセット情報の適用されるダウンミックス信号名、プリセット情報の作成者、作成日などを含むことができる。
【００８１】
図７は、図６のオーディオ信号処理装置を用いてプリセット情報を別に保存、転送及び利用することを示す概念図である。プリセット情報は、修正プリセット情報及び初期プリセット情報を有する。
【００８２】
図７を参照すると、エンコーディング装置で複数個のオブジェクトを用いて生成されたビットストリームをＨｅｙＪｕｄｅ．ｓａｏｃと命名する。このＨｅｙＪｕｄｅ．ｓａｏｃは、複数個のオブジェクトがダウンミキシングされたダウンミックス信号Ｄｏｗｎｍｉｘ、オブジェクトの属性を表すオブジェクト情報ＳＡＯＣ ｐａｒａｍｓ、及びダウンミックス信号をレンダリングするためのプリセット情報ａｒｔｉｓｔｉｃ Ｐｒｅｓｅｔを含む。
【００８３】
このようにエンコーディングされたＳＡＯＣコンテンツは、サービスポータル（Service Portal）によって有／無線で提供されることができる。サービスポータルは、コンテンツサーバとユーザプリセットサーバを有することができる。ここで、コンテンツサーバは、エンコーディングされたダウンミックス信号及びオブジェクト情報を保存することができ、ユーザプリセットサーバは、プリセット情報を保存することができる。コンテンツサーバ及びユーザプリセットサーバは、別のユニットとしてもよく、同一ユニットに含まれて動作してもよい。
【００８４】
ユーザは、サービスポータルから適法に許可を受けた場合、例えば、転送料を支給する等して許可を受けた場合、ダウンミックス信号及びオブジェクト情報を受け取ることができ、これとは別に、ユーザプリセットサーバからプリセット情報を受け取ることができる。図７に示すように、ＨｅｙＪｕｄｅ．ｓａｏｃを転送料を支払って受け取ることができ、ＳＡＯＣプレイヤＡで直接生成したプリセット情報及び該当の音源名をプリセットメタデータとして生成してＨｅｙＪｕｄｅ＿Ｍｙｍｉｘ．ｓａｏｃ＋というファイルをサービスポータルに転送することができる。
【００８５】
一方、ＳＡＯＣプレイヤＢは、転送料を支払ってＨｅｙＪｕｄｅ．ｓａｏｃファイルを受け取ることとは別に、ＨｅｙＪｕｄｅ＿Ｍｙｍｉｘ．ｓａｏｃ＋ファイルをサービスポータルから受け取ることができる。この場合、ＨｅｙＪｕｄｅ＿Ｍｙｍｉｘ．ｓａｏｃ＋ファイルはＨｅｙＪｕｄｅ．ｓａｏｃファイルとは別の著作物であるから、ＨｅｙＪｕｄｅ＿Ｍｙｍｉｘ．ｓａｏｃ＋ファイルの転送はＨｅｙＪｕｄｅ．ｓａｏｃファイルの原著作者の権利を侵害しない。
【００８６】
図８Ａ及び図８Ｂは、本発明の一実施例によるプリセット属性情報によってプリセット情報を適用して、ダウンミックス信号に含まれているオブジェクトを調節する概念図である。本発明のオーディオ信号は、エンコーダでダウンミックス信号及びオブジェクト情報にエンコーディングされ、これらは一つのビットストリームまたは別個のビットストリームの形態としてデコーダに転送される。
【００８７】
図８Ａ及び図８Ｂを参照すると、ビットストリームに含まれているオブジェクト情報は、具体的に、構成情報領域と複数個のデータ領域（データ領域１、データ領域２、…、データ領域ｎ）とで構成される。構成情報領域は、オブジェクト情報のビットストリームにおいて先頭部に位置している領域で、オブジェクト情報の全データ領域に共通して適用される情報を含む。
【００８８】
例えば、ツリー構造などを含む構成情報、データ領域長情報（data region length information）及びオブジェクトの個数情報などを含むことができる。
【００８９】
一方、データ領域は、構成情報領域に含まれているデータ領域長情報に基づいてオーディオ信号全体の時間ドメインを分割したユニットであり、フレームを含むことができる。オブジェクト情報のデータ領域は、ダウンミックス信号のデータ領域に対応し、対応するデータ領域のオブジェクトの属性に基づくオブジェクトレベル情報、オブジェクトゲイン情報などのオブジェクトデータ情報を含む。
【００９０】
まず、本発明の一実施例によるオーディオ信号処理方法では、ビットストリームのオブジェクト情報からプリセット属性情報（preset_attribute_information）を読む。プリセット属性情報は、プリセット情報がビットストリームにおいてどの領域に含まれているかを表すもので、具体的には、プリセット情報がオブジェクト情報の構成情報領域に含まれるか或いはデータ領域に含まれるかを表し、その詳細な意味は、下記表２の通りである。
【００９１】
【表２】
【００９２】
まず、図８Ａを参照すると、プリセット属性情報が０であって、プリセット情報が構成情報領域に含まれることを表す場合、構成情報領域から抽出されたプリセット情報は、ダウンミックス信号の全データ領域に同一に適用されてレンダリングを行う。
【００９３】
一方、図８Ｂを参照すると、プリセット属性情報が１であって、プリセット情報がデータ領域に含まれることを表す場合、データ領域から抽出されたプリセット情報は、対応するダウンミックス信号のデータ領域に適用されてレンダリングを行う。例えば、データ領域１から抽出されたプリセット情報は、データ領域１のダウンミックス信号に適用され、データ領域ｎから抽出されたプリセット情報は、データ領域ｎのダウンミックス信号に適用されることができる。
【００９４】
また、プリセット属性情報は、プリセット情報が変動であるか或いは固定であるかを表すことができる。プリセット属性情報が０に設定され、構成情報領域に含まれる場合、プリセット情報は、固定（static）であるとすることができる。この場合、プリセット情報は、全データ領域に固定して同一に適用される。
【００９５】
一方、プリセット属性情報が１に設定され、データ領域に含まれる場合、プリセット情報は変動（dynamic）であるとすることができる。この場合、プリセット情報は、該当のデータ領域にのみ適用されて、対応するデータ領域のダウンミックス信号をレンダリングするから、データ領域別に変動して適用される。ここで、プリセット情報は、変動である場合、データ領域の拡張領域（extension region）に存在することが好ましく、プリセット情報が固定である場合は、構成情報領域の拡張領域（extension region）に存在することが好ましい。
【００９６】
したがって、本発明の一実施例によるオーディオ信号処理方法は、プリセット属性情報に基づいて、音源の特性によってデータ領域別に適切なプリセット情報を用いたり、同一プリセット情報を全データ領域に用いたりして、ダウンミックス信号をレンダリングすることができる。
【００９７】
図９は、本発明の実施例によるオーディオ信号処理装置９００を示す図である。図９を参照すると、オーディオ信号処理装置９００は、プリセットモード生成部９１０、情報受信部（図示せず）、変動プリセットモード受信部９２０、固定プリセットモード受信部９３０及びレンダリング部９４０を含むことができる。
【００９８】
プリセットモード生成部９１０は、オーディオ信号に含まれているオブジェクトをレンダリング時に調節するためのプリセットモードを生成し、プリセット属性決定部９１１、プリセットメタデータ生成部９１２及びプリセット情報生成部９１３を含むことができる。
【００９９】
プリセット属性決定部９１１は、上述の通り、プリセット情報を構成情報領域に含めて全データ領域に適用するか、或いは、データ領域に含めてデータ領域別に適用するかを表すプリセット属性情報を決定する。
【０１００】
以降、プリセット属性情報に基づいて、プリセットメタデータ生成部９１２及びプリセット情報生成部９１３は、一つのプリセットメタデータ及びプリセット情報、またはデータ領域数だけのプリセットメタデータ及びプリセット情報を生成することができる。
【０１０１】
プリセットメタデータ生成部９１２は、プリセット情報を表現するテキスト情報を受信してプリセットメタデータを生成することができる。一方、オブジェクトのレベルを調節するためのゲイン及び／またはオブジェクトの位置がプリセット情報生成部９１３に入力される場合、オブジェクトに適用されるプリセット情報を生成することができる。
【０１０２】
プリセット情報は、オブジェクトごとに適用されるように生成することができ、様々なタイプ、例えば、チャネルレベル差（CLD：Channel Level Difference）パラメータ、マトリクス（matrix）などとすることができる。
【０１０３】
また、プリセット情報生成部９１３は、オブジェクトの出力チャネルの数を表す出力チャネル情報をさらに生成することができる。
【０１０４】
プリセットメタデータ生成部９１２で生成されたプリセットメタデータ及びプリセット情報生成部９１３で生成されたプリセット情報、出力チャネル情報などは、一つのビットストリームに含めて転送することができ、特に、ダウンミックス信号を含むビットストリームの補助領域に含めて転送することができる。
【０１０５】
一方、プリセットモード生成部９１０は、プリセットメタデータ、プリセット情報及び出力チャネル情報がビットストリームに含まれていることを表すプリセット存在情報をさらに生成することができる。このプリセット存在情報は、プリセット情報などがビットストリームのどの領域に含まれているかを表すコンテナタイプとすることもでき、どの領域に含まれているかを表さずに、単にビットストリームに含まれているか否かを表すフラグタイプ（flag type）とすることもできるが、これに限定されない。
【０１０６】
また、プリセットモード生成部９１０は、複数個のプリセットモードを生成することができ、それぞれのプリセットモードは、プリセット情報、プリセットメタデータ及び出力チャネル情報を含む。ここで、プリセットモード生成部９１０は、プリセットモードの個数を表すプリセット個数情報をさらに生成することができる。
【０１０７】
このように、プリセットモード生成部９１０は、プリセット属性情報、プリセットメタデータ及びプリセット情報をビットストリームの形態で生成して出力することができる。
【０１０８】
このビットストリームは、図８Ａ及び８Ｂに示すような形態を有し、情報受信部（図示せず）に入力される。情報受信部（図示せず）に入力されたビットストリームから、まず、プリセット属性情報を獲得し、プリセット情報が、転送されたビットストリームにおいてどの領域に含まれているかを決定する。
【０１０９】
変動プリセットモード受信部９２０は、プリセット属性決定部９１１から出力されるプリセット属性情報に基づいてプリセット情報がデータ領域に含まれていることを表す場合（表２のpreset_attribute_flag＝１の場合）に、動作する。
【０１１０】
変動プリセットモード受信部９２０は、該当のデータ領域に対応するプリセットメタデータを受信する変動プリセットメタデータ受信部９２１及びデータ領域別プリセット情報を受信する変動プリセット情報受信部９２２を含むことができる。変動プリセットメタデータ受信部９２１は、選択されたプリセットメタデータを受信して出力し、変動プリセット情報受信部９２２はプリセット情報を受信する。これについての詳細な説明は、図１０Ａ及び図１０Ｂを参照して詳細に後述する。
【０１１１】
固定プリセットモード受信部９３０は、プリセット属性情報に基づいてプリセット情報が構成情報領域に含まれていることを表す場合（表２のpreset_attribute_flag＝０の場合）に、動作する。
【０１１２】
固定プリセットモード受信部９３０は、全データ領域に対応するプリセット情報を受信する固定プリセット情報受信部９３１、及びプリセットメタデータを受信する固定プリセットメタデータ受信部９３２を含むことができる。
【０１１３】
固定プリセットモード受信部９３０の固定プリセット情報受信部９３１及び固定プリセットメタデータ受信部９３２は、受信して出力するプリセット情報及びプリセットメタデータに対応するダウンミックス信号の範囲が異なる以外は、変動プリセットモード受信部９２０の変動プリセットメタデータ受信部９２１及び変動プリセット情報受信部９２２と略同一の構成及び機能を有する。
【０１１４】
レンダリング部９４０は、複数個のオブジェクトを含むオーディオ信号をダウンミキシングして生成されたダウンミックス信号、及び変動プリセット情報受信部９２２から出力されたプリセット情報または固定プリセット情報受信部９３１から出力されたプリセット情報を取り込む。プリセット情報を、ダウンミックス信号に含まれているオブジェクトに適用することによって、当該オブジェクトのレベルを調節したりオブジェクトの位置を調節したりすることができる。
【０１１５】
また、オーディオ信号処理装置９００がディスプレイ部（図示せず）を含む場合、変動プリセットメタデータ受信部９２１から出力される選択されたプリセットメタデータ、または固定プリセットメタデータ受信部９３２から出力される選択されたプリセットメタデータが画面に表示されることができる。
【０１１６】
図１０Ａ及び図１０Ｂは、本発明の実施例によるプリセット情報がレンダリング部に適用される方法を示すブロック図である。
【０１１７】
まず、図１０Ａは、変動プリセットモード受信部９２０から出力されたプリセット情報が、レンダリング部１０４０で適用される方法を示す図である。変動プリセットモード受信部９２０は、図３の変動プリセットモード受信部９２０と同一のもので、変動プリセットメタデータ受信部９２１及び変動プリセット情報受信部９２２を含む。
【０１１８】
変動プリセットモード受信部９２０は、データ領域ごとにプリセットメタデータ及びプリセット情報を受信して出力し、このプリセット情報はレンダリング部１０４０に入力される。
【０１１９】
レンダリング部１０４０は、プリセット情報の他に、ダウンミックス信号も受信して、データ領域別にレンダリングを行い、データ領域１のレンダリング部１０４１、データ領域２のレンダリング部１０４２、…、データ領域ｎのレンダリング部１０４ｎを含む。ここで、レンダリング部１０４０のそれぞれのデータ領域のレンダリング部１０４Ｘはそれぞれ、データ領域に対応するプリセット情報を受信してダウンミックス信号に適用することによってレンダリングを行う。
【０１２０】
例えば、１番目のデータ領域にはスタジアムモードであるプリセット情報＿１が適用され、２番目のデータ領域にはカラオケモードであるプリセット情報＿３が適用され、ｎ番目のデータ領域にはニュースモードであるプリセット情報＿２（ここで、プリセット情報＿ｎのｎは、データ領域モードのインデックスを表す。）が適用されることができる。この時、プリセットメタデータもデータ領域ごとに出力されることは勿論である。
【０１２１】
図１０Ｂは、固定プリセットモード受信部９３０から出力されたプリセット情報が、レンダリング部１０４０で適用される方法を示す図である。
【０１２２】
固定プリセットモード受信部９３０は、図９の固定プリセットモード受信部９３０と同一のものである。固定プリセットモード受信部９３０は、全データ領域に対応するプリセットメタデータ及びプリセット情報を受信して出力し、レンダリング部１０４０は、このプリセット情報を受信する。
【０１２３】
図１０Ｂのレンダリング部１０４０は、図１０Ａのレンダリング部と同様に、データ領域数だけのデータ領域レンダリング部１０４Ｘを含む。レンダリング部１０４０は、固定プリセットモード受信部９３０からプリセット情報を受信する場合、全データ領域レンダリング部１０４Ｘで、受信したプリセット情報をダウンミックス信号に同一に適用することによってレンダリングを行う。
【０１２４】
例えば、固定プリセットモード受信部９３０から出力されたプリセット情報が、ニュースモードを表すプリセット情報２の場合、１番目のデータ領域からｎ番目のデータ領域にわたる全データ領域にニュースモードを適用することができる。
【０１２５】
図１１は、本発明の一実施例によるプリセット生成部を含む製品の概略的な構成を示す図であり、図１２Ａ及び図１２Ｂは、本発明の実施例によるプリセット生成部を含む製品間の関係を示す図である。
【０１２６】
図１１を参照すると、有／無線通信部１１１０は、有／無線通信方式によってビットストリームを受信する。具体的に、有／無線通信部１１１０は、有線通信部１１１１、赤外線通信部１１１２、ブルトゥース部１１１３、無線ＬＡＮ通信部１１１４のうち少なくとも一つを含むことができる。
【０１２７】
ユーザ認証部１１２０は、ユーザ情報を受信してユーザ認証を行うもので、指紋認識部１１２１、虹彩認識部１１２２、顔面認識部１１２３、及び音声認識部１１２４のうち少なくとも一つを含むことができる。このユーザ認証部１１２０では、それぞれ、指紋情報、虹彩情報、顔面輪郭情報、音声情報を受信してユーザ情報に変換し、ユーザ情報と既に登録されているユーザデータとが一致するか否かを判断して、ユーザ認証を行うことができる。
【０１２８】
入力部１１３０は、ユーザが様々な種類の命令を入力するための入力装置で、キーパッド部１１３１、タッチパッド部１１３２、リモコン部１１３３のうち少なくとも一つを含むことができるが、本発明はこれに限定されない。一方、プリセット生成部１１４１に対応するプリセットメタデータが生成される場合、このプリセットメタデータは、ディスプレイ部１１６２を通じて画面に表示される場合に、入力部１１３０を介してユーザがプリセットメタデータを選択することができ、選択されたプリセットメタデータに関する情報が制御部１１５０に入力される。
【０１２９】
信号デコーディング部１１４０は、プリセット生成部１１４１を含み、まず、受信したビットストリームに含まれているプリセットフラグに基づいてプリセット情報が含まれていないと判断される場合、プリセット生成部１１４１は、オブジェクトゲイン及びオブジェクトゲイン比率を用いてプリセット情報を生成する。受信したビットストリームにプリセット情報が含まれていると、プリセット生成部１１４１は別のプリセットを生成せずに、ビットストリームからプリセット情報を抽出する。この場合、プリセット情報は、プリセット情報が存在するか否かを表すプリセット存在情報、プリセット情報の個数を表すプリセット個数情報及び出力チャネルの個数に基づく、例えば、出力チャネルがモノ、ステレオ及びマルチチャネルのうち一つであるかを表す出力チャネル情報に基づいて獲得される。プリセット情報がマトリクスで表現された場合、出力チャネル情報を受信しこれに基づいてプリセットマトリクスを受信する。
【０１３０】
信号デコーディング部１１４０は、受信したビットストリーム、プリセットメタデータ、及びプリセット情報を用いてオーディオ信号をデコーディングして出力信号を生成し、プリセットメタデータをテキスト形態として出力する。
【０１３１】
制御部１１５０は、入力装置から入力信号を受信し、信号デコーディング部１１４０及び出力部１１６０のプロセス全般を制御する。上述の通り、制御部１１５０に、入力部１１３０から選択されたプリセットメタデータに関する情報が入力信号として入力される。また、有／無線通信部１１１０から、プリセット情報がビットストリームに含まれていないことを表すデータタイプ情報が入力される場合、オブジェクトゲイン及びオブジェクトゲイン比率を用いてプリセット情報を生成し、これを用いてオーディオ信号をデコーディングする。
【０１３２】
出力部１１６０は、信号デコーディング部１１４０で生成された出力信号などを出力する構成要素で、スピーカ部１１６１及びディスプレイ部１１６２を含むことができる。出力信号がオーディオ信号の場合、出力信号はスピーカ部１１６１から出力され、ビデオ信号の場合、出力信号はディスプレイ部１１６２から出力される。また、制御部１１５０により選択されたプリセットメタデータを、ディスプレイ部１１６２を通じて画面に表示する。
【０１３３】
図１２Ａ及び図１２Ｂは、図１１に示す製品に該当する端末同士の関係及び該端末とサーバとの関係をそれぞれ示す図である。
【０１３４】
図１２Ａを参照すると、第１端末１２１０及び第２端末１２２０が有／無線通信部を通じてデータまたはビットストリームを両方向に通信できることがわかる。有／無線通信部を通じて通信するデータまたはビットストリームは、本発明の図１で生成されたビットストリームであって、図８Ａ及び図８Ｂに示すビットストリームの形態を有することもでき、図１乃至図１１を参照して説明した本発明のプリセットフラグ、プリセット属性情報、プリセット情報、プリセットメタデータ、データタイプ情報などを含むデータであってもよい。また、データタイプ情報のみを含むビットストリームであってもよい。
【０１３５】
図１２Ｂを参照すると、サーバ１２３０及び第１端末１２４０も互いに有／無線通信を行うことができる。
【０１３６】
図１３は、本発明の一実施例によるプリセット生成部を含む放送信号デコーディング装置１３００の概略的な構成を示す図である。
【０１３７】
図１３を参照すると、デマルチプレクサ１３２０は、チューナ１３１０からＴＶ放送と関連するデータを受信する。これら受信データは、デマルチプレクサ１３２０で分離され、データデコーダ１３３０でデコーディングされる。一方、デマルチプレクサ１３２０で分離されたデータは、ＨＤＤのような記憶媒体１３５０に記憶することができる。
【０１３８】
デマルチプレクサ１３２０で分離されたデータは、オーディオデコーダ１３４１及びビデオデコーダ１３４２を含むデコーダ１３４０に入力されてオーディオ信号及びビデオ信号をデコーディングする。オーディオデコーダ１３４１は、本発明の一実施例によるプリセット生成部１３４１Ａを含み、まず、受信したビットストリームに含まれているプリセットフラグに基づいてプリセット情報が含まれていないと判断される場合、プリセット生成部１３４１Ａは、オブジェクトゲイン及びオブジェクトゲイン比率を用いてプリセット情報を生成する。
【０１３９】
受信したビットストリームにプリセット情報が含まれている場合には、プリセット生成部１３４１Ａは、別にプリセットを生成せずに、ビットストリームからプリセット情報を抽出する。この場合、プリセット情報は、プリセット情報が存在するか否かを表すプリセット存在情報、プリセット情報の個数を表すプリセット個数情報及び出力チャネルがモノ、ステレオ及びマルチチャネルのうち一つであることを表す出力チャネル情報に基づいて獲得される。プリセット情報がマトリクスで表現された場合、出力チャネル情報を受信してこれに基づいてプリセットマトリクスを受信する。オーディオデコーダ１３４１は、受信したビットストリーム、プリセットメタデータ、及びプリセット情報を用いてオーディオ信号をデコーディングして出力信号を生成し、プリセットメタデータをテキスト形態として出力する。
【０１４０】
ディスプレイ部１３７０は、ビデオデコーダ１３４２から出力されたビデオ信号とオーディオデコーダ１３４１から出力されたプリセットメタデータを画面に表示する。また、ディスプレイ部１３７０は、スピーカ部（図示せず）を含み、オーディオデコーダ１３４１から出力されるオブジェクトのレベルがプリセット情報に基づいて調節されたオーディオ信号を、ディスプレイ部１３７０に含まれたスピーカ部から出力する。また、デコーダ１３４０でデコーディングされたデータは、ＨＤＤのような記憶媒体１３５０に記憶することができる。
【０１４１】
一方、信号デコーディング装置１３００は、ユーザから情報を受け取って、受信したデータを制御できるアプリケーションマネージャ１３６０をさらに含むことができる。
【０１４２】
アプリケーションマネージャ１３６０は、ユーザインターフェースマネージャ１３６１及びサービスマネージャ１３６２を含む。ユーザインターフェースマネージャ１３６１は、ユーザから情報を受け取るためのインターフェースを制御する。例えば、ディスプレイ部１３７０に表示されるテキストの書体、画面の明るさ、メニュー構成などを制御することができる。一方、サービスマネージャ１３６２は、デコーダ１３４０及びディスプレイ部１３７０で放送信号をデコーディングして出力する場合、受信される放送信号を、ユーザから入力される情報を用いて制御することができる。例えば、放送チャネルの設定、アラーム機能設定、成人認証機能などを提供することができる。アプリケーションマネージャ１３６０から出力されるデータは、デコーダ１３４０の他に、ディスプレイ部１３７０にも転送される。
【０１４３】
以上では具体的な実施例及び図面に基づいて本発明を説明してきたが、本発明は、それらの具体例に限定されず、本発明の属する技術分野における通常の知識を有する者にとっては、本発明の技術思想及び添付の特許請求の範囲とその均等範囲内で様々な修正及び変形が可能であるということは明らかである。
【産業上の利用可能性】
【０１４４】
本発明は、オーディオ信号をエンコーディング及びデコーディングするのに適用することができる。
【特許請求の範囲】
【請求項１】
少なくとも一つのオブジェクトを含むダウンミックス信号及びオブジェクト情報を受信する段階であって、前記オブジェクト情報は、
前記ダウンミックス信号に含まれている前記オブジェクトに適用されたゲインを表すオブジェクトゲイン及び前記ダウンミックス信号の２つ以上のチャネルに含まれている前記オブジェクトのゲイン差を表すオブジェクトゲイン比率のうち少なくとも一つと、
前記オブジェクト情報の拡張領域に含まれているデータのタイプを表すデータタイプ情報と、を有する、段階と、
前記データタイプ情報に基づいて、前記オブジェクトをレンダリングするためのプリセット情報が前記オブジェクト情報の拡張領域に含まれているか否かを判断する段階と、
前記プリセット情報が前記オブジェクト情報に含まれていない場合、前記オブジェクトゲイン及び前記オブジェクトゲイン比率のうち少なくとも一つを用いて、前記オブジェクトをレンダリングするための初期プリセット情報を生成する段階と、
前記初期プリセット情報を用いて、前記ダウンミックス信号に含まれているオブジェクトをレンダリングする段階と、
を有することを特徴とするオーディオ信号処理方法。
【請求項２】
前記ダウンミックス信号がモノ信号である場合、
前記初期プリセット情報は、前記オブジェクトゲインを用いて生成されることを特徴とする、請求項１に記載のオーディオ信号処理方法。
【請求項３】
前記ダウンミックス信号がステレオ信号である場合、
前記初期プリセット情報は、前記オブジェクトゲイン及び前記オブジェクトゲイン比率を用いて生成されることを特徴とする、請求項１に記載のオーディオ信号処理方法。
【請求項４】
前記初期プリセット情報は、前記オブジェクトのゲインのみを調節する第１初期プリセット情報と、前記オブジェクトのゲイン及びパニングを調節する第２初期プリセット情報と、を有することを特徴とする、請求項３に記載のオーディオ信号処理方法。
【請求項５】
前記初期プリセット情報は、前記オブジェクト情報のデータ領域ごとに生成されることを特徴とする、請求項１に記載のオーディオ信号処理方法。
【請求項６】
前記オブジェクトをレンダリングする段階は、
前記オブジェクトゲイン及び前記オブジェクトゲイン比率をさらに用いることを特徴とする、請求項１に記載のオーディオ信号処理方法。
【請求項７】
少なくとも一つのオブジェクトを含むダウンミックス信号及びオブジェクト情報を受信する受信部であって、前記オブジェクト情報は、
前記ダウンミックス信号に含まれている前記オブジェクトに適用されたゲインを表すオブジェクトゲイン及び前記ダウンミックス信号の２つ以上のチャネルに含まれている前記オブジェクトのゲイン差を表すオブジェクトゲイン比率のうち少なくとも一つと、
前記オブジェクト情報の拡張領域に含まれているデータのタイプを表すデータタイプ情報と、を有する、受信部と、
前記データタイプ情報に基づいて、前記オブジェクトをレンダリングするためのプリセット情報が前記オブジェクト情報の拡張領域に含まれているか否かを判断するプリセット情報判断部と、
前記プリセット情報が前記オブジェクト情報に含まれていない場合、前記オブジェクトゲイン及び前記オブジェクトゲイン比率のうち少なくとも一つを用いて、前記オブジェクトをレンダリングするための初期プリセット情報を生成する初期プリセット情報生成部と、
前記初期プリセット情報を用いて、前記ダウンミックス信号に含まれているオブジェクトをレンダリングするレンダリング部と、
を有することを特徴とするオーディオ信号処理装置。
【請求項８】
前記初期プリセット情報生成部は、前記ダウンミックス信号のチャネル数によって、モノ初期プリセット情報生成部及びステレオ初期プリセット情報生成部を有することを特徴とする、請求項６に記載のオーディオ信号処理装置。
【請求項９】
前記モノ初期プリセット情報生成部は、前記オブジェクトゲインを用いて前記初期プリセット情報を生成することを特徴とする、請求項８に記載のオーディオ信号処理装置。
【請求項１０】
前記ステレオ初期プリセット情報生成部は、前記オブジェクトゲイン及び前記オブジェクトゲイン比率を用いて前記初期プリセット情報を生成することを特徴とする、請求項８に記載のオーディオ信号処理装置。
【請求項１１】
前記ステレオ初期プリセット情報生成部は、
前記オブジェクトのゲインのみを調節する第１初期プリセット情報を生成するゲイン調節初期プリセット情報生成部と、
前記オブジェクトのゲイン及びパニングを調節する第２初期プリセット情報を生成するステレオ調節初期プリセット情報生成部と、
を有することを特徴とする、請求項８に記載のオーディオ信号処理装置。
【請求項１２】
前記初期プリセット情報は、前記オブジェクト情報のデータ領域ごとに生成されることを特徴とする、請求項７に記載のオーディオ信号処理装置。
【請求項１３】
前記オブジェクトゲイン及び前記オブジェクトゲイン比率を用いて前記ダウンミックス信号を調節するためのダウンミックス処理情報を生成するダウンミックス処理情報生成部と、
前記ダウンミックス処理情報を用いて前記オブジェクトのパニングを調節するダウンミックス信号処理部と、
をさらに有することを特徴とする、請求項７に記載のオーディオ信号処理装置。
【請求項１４】
少なくとも一つのオブジェクトをダウンミキシングしてダウンミックス信号を生成する段階と、
前記ダウンミックス信号生成時に前記オブジェクトに適用されるゲインを表すオブジェクトゲインを生成する段階と、
前記ダウンミックス信号が２つ以上のチャネルを有する場合、前記ダウンミックス信号の２つ以上のチャネルに前記オブジェクトを含めるゲインの差を表すオブジェクトゲイン比率を生成する段階と、
前記オブジェクトゲイン及び前記オブジェクトゲイン比率の少なくとも一つを有するオブジェクト情報の拡張領域に含まれているデータのタイプを表すデータタイプ情報を生成する段階と、
を有する、オーディオ信号処理方法。
【請求項１５】
少なくとも一つのオブジェクトをダウンミキシングしてダウンミックス信号を生成するダウンミキシング部と、
前記ダウンミックス信号生成時に前記オブジェクトに適用されるゲインを表すオブジェクトゲインと、前記ダウンミックス信号が２つ以上のチャネルを有する場合、前記ダウンミックス信号の２つ以上のチャネルに前記オブジェクトを含めるゲインの差を表すオブジェクトゲイン比率と、前記オブジェクトゲイン及び前記オブジェクトゲイン比率の少なくとも一つを有するオブジェクト情報の拡張領域に含まれているデータのタイプを表すデータタイプ情報と、を生成するオブジェクト情報生成部と、
を有するオーディオ信号処理装置。
【請求項１】
少なくとも一つのオブジェクトを含むダウンミックス信号及びオブジェクト情報を受信する段階であって、前記オブジェクト情報は、
前記ダウンミックス信号に含まれている前記オブジェクトに適用されたゲインを表すオブジェクトゲイン及び前記ダウンミックス信号の２つ以上のチャネルに含まれている前記オブジェクトのゲイン差を表すオブジェクトゲイン比率のうち少なくとも一つと、
前記オブジェクト情報の拡張領域に含まれているデータのタイプを表すデータタイプ情報と、を有する、段階と、
前記データタイプ情報に基づいて、前記オブジェクトをレンダリングするためのプリセット情報が前記オブジェクト情報の拡張領域に含まれているか否かを判断する段階と、
前記プリセット情報が前記オブジェクト情報に含まれていない場合、前記オブジェクトゲイン及び前記オブジェクトゲイン比率のうち少なくとも一つを用いて、前記オブジェクトをレンダリングするための初期プリセット情報を生成する段階と、
前記初期プリセット情報を用いて、前記ダウンミックス信号に含まれているオブジェクトをレンダリングする段階と、
を有することを特徴とするオーディオ信号処理方法。
【請求項２】
前記ダウンミックス信号がモノ信号である場合、
前記初期プリセット情報は、前記オブジェクトゲインを用いて生成されることを特徴とする、請求項１に記載のオーディオ信号処理方法。
【請求項３】
前記ダウンミックス信号がステレオ信号である場合、
前記初期プリセット情報は、前記オブジェクトゲイン及び前記オブジェクトゲイン比率を用いて生成されることを特徴とする、請求項１に記載のオーディオ信号処理方法。
【請求項４】
前記初期プリセット情報は、前記オブジェクトのゲインのみを調節する第１初期プリセット情報と、前記オブジェクトのゲイン及びパニングを調節する第２初期プリセット情報と、を有することを特徴とする、請求項３に記載のオーディオ信号処理方法。
【請求項５】
前記初期プリセット情報は、前記オブジェクト情報のデータ領域ごとに生成されることを特徴とする、請求項１に記載のオーディオ信号処理方法。
【請求項６】
前記オブジェクトをレンダリングする段階は、
前記オブジェクトゲイン及び前記オブジェクトゲイン比率をさらに用いることを特徴とする、請求項１に記載のオーディオ信号処理方法。
【請求項７】
少なくとも一つのオブジェクトを含むダウンミックス信号及びオブジェクト情報を受信する受信部であって、前記オブジェクト情報は、
前記ダウンミックス信号に含まれている前記オブジェクトに適用されたゲインを表すオブジェクトゲイン及び前記ダウンミックス信号の２つ以上のチャネルに含まれている前記オブジェクトのゲイン差を表すオブジェクトゲイン比率のうち少なくとも一つと、
前記オブジェクト情報の拡張領域に含まれているデータのタイプを表すデータタイプ情報と、を有する、受信部と、
前記データタイプ情報に基づいて、前記オブジェクトをレンダリングするためのプリセット情報が前記オブジェクト情報の拡張領域に含まれているか否かを判断するプリセット情報判断部と、
前記プリセット情報が前記オブジェクト情報に含まれていない場合、前記オブジェクトゲイン及び前記オブジェクトゲイン比率のうち少なくとも一つを用いて、前記オブジェクトをレンダリングするための初期プリセット情報を生成する初期プリセット情報生成部と、
前記初期プリセット情報を用いて、前記ダウンミックス信号に含まれているオブジェクトをレンダリングするレンダリング部と、
を有することを特徴とするオーディオ信号処理装置。
【請求項８】
前記初期プリセット情報生成部は、前記ダウンミックス信号のチャネル数によって、モノ初期プリセット情報生成部及びステレオ初期プリセット情報生成部を有することを特徴とする、請求項６に記載のオーディオ信号処理装置。
【請求項９】
前記モノ初期プリセット情報生成部は、前記オブジェクトゲインを用いて前記初期プリセット情報を生成することを特徴とする、請求項８に記載のオーディオ信号処理装置。
【請求項１０】
前記ステレオ初期プリセット情報生成部は、前記オブジェクトゲイン及び前記オブジェクトゲイン比率を用いて前記初期プリセット情報を生成することを特徴とする、請求項８に記載のオーディオ信号処理装置。
【請求項１１】
前記ステレオ初期プリセット情報生成部は、
前記オブジェクトのゲインのみを調節する第１初期プリセット情報を生成するゲイン調節初期プリセット情報生成部と、
前記オブジェクトのゲイン及びパニングを調節する第２初期プリセット情報を生成するステレオ調節初期プリセット情報生成部と、
を有することを特徴とする、請求項８に記載のオーディオ信号処理装置。
【請求項１２】
前記初期プリセット情報は、前記オブジェクト情報のデータ領域ごとに生成されることを特徴とする、請求項７に記載のオーディオ信号処理装置。
【請求項１３】
前記オブジェクトゲイン及び前記オブジェクトゲイン比率を用いて前記ダウンミックス信号を調節するためのダウンミックス処理情報を生成するダウンミックス処理情報生成部と、
前記ダウンミックス処理情報を用いて前記オブジェクトのパニングを調節するダウンミックス信号処理部と、
をさらに有することを特徴とする、請求項７に記載のオーディオ信号処理装置。
【請求項１４】
少なくとも一つのオブジェクトをダウンミキシングしてダウンミックス信号を生成する段階と、
前記ダウンミックス信号生成時に前記オブジェクトに適用されるゲインを表すオブジェクトゲインを生成する段階と、
前記ダウンミックス信号が２つ以上のチャネルを有する場合、前記ダウンミックス信号の２つ以上のチャネルに前記オブジェクトを含めるゲインの差を表すオブジェクトゲイン比率を生成する段階と、
前記オブジェクトゲイン及び前記オブジェクトゲイン比率の少なくとも一つを有するオブジェクト情報の拡張領域に含まれているデータのタイプを表すデータタイプ情報を生成する段階と、
を有する、オーディオ信号処理方法。
【請求項１５】
少なくとも一つのオブジェクトをダウンミキシングしてダウンミックス信号を生成するダウンミキシング部と、
前記ダウンミックス信号生成時に前記オブジェクトに適用されるゲインを表すオブジェクトゲインと、前記ダウンミックス信号が２つ以上のチャネルを有する場合、前記ダウンミックス信号の２つ以上のチャネルに前記オブジェクトを含めるゲインの差を表すオブジェクトゲイン比率と、前記オブジェクトゲイン及び前記オブジェクトゲイン比率の少なくとも一つを有するオブジェクト情報の拡張領域に含まれているデータのタイプを表すデータタイプ情報と、を生成するオブジェクト情報生成部と、
を有するオーディオ信号処理装置。
【図１】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図５】
【図６】
【図７】
【図８Ａ】
【図８Ｂ】
【図９】
【図１０Ａ】
【図１０Ｂ】
【図１１】
【図１２Ａ】
【図１２Ｂ】
【図１３】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図５】
【図６】
【図７】
【図８Ａ】
【図８Ｂ】
【図９】
【図１０Ａ】
【図１０Ｂ】
【図１１】
【図１２Ａ】
【図１２Ｂ】
【図１３】
【公表番号】特表２０１１−５１９２２３（Ｐ２０１１−５１９２２３Ａ）
【公表日】平成２３年６月３０日（２０１１．６．３０）
【国際特許分類】
【出願番号】特願２０１１−５０６１９８（Ｐ２０１１−５０６１９８）
【出願日】平成２１年４月２３日（２００９．４．２３）
【国際出願番号】ＰＣＴ／ＫＲ２００９／００２１３１
【国際公開番号】ＷＯ２００９／１３１３９２
【国際公開日】平成２１年１０月２９日（２００９．１０．２９）
【出願人】（５０２０３２１０５）エルジー エレクトロニクス インコーポレイティド (2,269)
【Ｆターム（参考）】
【公表日】平成２３年６月３０日（２０１１．６．３０）
【国際特許分類】
【出願日】平成２１年４月２３日（２００９．４．２３）
【国際出願番号】ＰＣＴ／ＫＲ２００９／００２１３１
【国際公開番号】ＷＯ２００９／１３１３９２
【国際公開日】平成２１年１０月２９日（２００９．１０．２９）
【出願人】（５０２０３２１０５）エルジー エレクトロニクス インコーポレイティド (2,269)
【Ｆターム（参考）】
[ Back to top ]