オーディオ信号符号化方法、符号化装置、復号化方法及び復号化装置
【課題】３次元の音源位置を明確に指定した３次元の音場再現を、所定の符号化方式に準拠した符号化ストリームにより可能とすると共に伝送効率の良いオーディオ信号符号化を行う。
【解決手段】３次元空間分割部１１は、複数チャンネルのオーディオ信号を出力する３次元空間に立体的に配置される複数のスピーカの各スピーカの位置と、３次元空間を複数の平面に分割するための方向である分割方向とに基づいて、平面情報とチャンネルマッピング情報を出力する。平面符号化部１２〜１４は、平面情報とチャンネルマッピング情報とに基づいて、２次元平面毎にひとまとまりのプログラムとして符号化を行うことで符号化要素を生成し、さらに平面位置情報を生成して出力する。ストリーム統合部１５は、符号化要素と平面位置情報とを全て統合して、１本の符号化ストリームを生成して出力する。
【解決手段】３次元空間分割部１１は、複数チャンネルのオーディオ信号を出力する３次元空間に立体的に配置される複数のスピーカの各スピーカの位置と、３次元空間を複数の平面に分割するための方向である分割方向とに基づいて、平面情報とチャンネルマッピング情報を出力する。平面符号化部１２〜１４は、平面情報とチャンネルマッピング情報とに基づいて、２次元平面毎にひとまとまりのプログラムとして符号化を行うことで符号化要素を生成し、さらに平面位置情報を生成して出力する。ストリーム統合部１５は、符号化要素と平面位置情報とを全て統合して、１本の符号化ストリームを生成して出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はオーディオ信号符号化方法、符号化装置、復号化方法及び復号化装置に係り、特に多チャンネルのオーディオ信号に対して、所定の音声符号化方式の規格に準拠したオーディオ符号化信号を生成するオーディオ信号符号化方法及び符号化装置、並びにその符号化されたオーディオ信号を復号化する復号化方法及び復号化装置に関する。
【背景技術】
【０００２】
多チャンネルのオーディオ信号を符号化するオーディオ信号符号化方式として、複数のエンコーダを用いる方式が知られている（例えば、特許文献１参照）。
【０００３】
このオーディオ信号符号化方式では、符号化側では多チャンネルのオーディオ信号（音声信号）を、それぞれのチャンネルに対応するＡ／Ｄコンバータでデジタル信号に変換した後、各チャンネルに対応した並列駆動の複数のエンコーダ群でそれぞれの群毎に、例えば現行のデジタル放送において実績があるＭＰＥＧ−２ ＡＡＣ(Moving Picture Experts Group 2 Advanced Audio Coding)規格により符号化し、一本の伝送ストリームに多重して送出する。
【０００４】
復号化側では、受信した一本の伝送ストリームから複数の群毎の多チャンネルオーディオ信号を分離して、それぞれを並列駆動の複数のデコーダ群でＭＰＥＧ−２ ＡＡＣ規格に基づいて伸張処理した後、元の多チャンネルそれぞれに対応したＤ／Ａコンバータによりアナログ信号のオーディオ信号に復号化する。この復号化された多チャンネルのオーディオ信号は、聴取位置を中心とする水平平面とその上方の水平平面にそれぞれ配置された複数個のスピーカに供給されてこれらを駆動することにより、３次元的音場を再現する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０００−２３６５９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記のＭＰＥＧ−２ ＡＡＣ規格は、２次元平面（幅×奥行き）に設置された複数個のスピーカにより再生を行うオーディオ信号を符号化する方式であり、チャンネル配置情報も２次元平面を想定している。すなわち、３次元空間（幅×奥行き×高さ）に設置された複数個のスピーカにより再生を行う場合を想定していないため、多平面（３次元空間）におけるチャンネル配置を、例えば上方フロントチャンネル何チャンネルのように、３次元空間用のチャンネル配置情報を定義することができない。
【０００７】
このため、上記の従来のオーディオ信号符号化方法では、フロントチャンネルと、上方フロントチャンネルを識別することができず、一本の伝送ストリームとして多平面を伝送することができない。従って、上記の従来のオーディオ信号符号化方法では、３次元の音源位置を明確に指定した３次元の音場再現ができない。
【０００８】
また、上記の従来のオーディオ信号符号化方法では、送信側（符号化側）で多チャンネルの独立した複数のＭＰＥＧ−２ ＡＡＣ規格の符号化信号をそれぞれ所定ビット毎に分割してストリームとして一本の伝送路上に時分割多重して送り出すようにしているため、伝送ストリームは、ＭＰＥＧ−２ ＡＡＣ規格に準拠したストリームではない。従って、復号化装置として、ＭＰＥＧ−２ ＡＡＣ規格に準拠したデコーダを用意しても、従来のオーディオ信号符号化方法固有の分離処理を行わなければ、受信した一本の伝送ストリームをそのまま復号化することができない。
【０００９】
更に、上記の従来のオーディオ信号符号化方法では、多重化する前に、複数本の独立した符号化ストリームを作るために、チャンネル数に応じた多数のエンコーダが必要であり、また時分割多重のための多重器も必要であるため、回路規模が大きく、また符号化ストリームそれぞれが、ヘッダ情報（同期コードなど）や転送レート調整用ビット等を有しているので、それらを多重化すると冗長な情報により一本のストリームサイズが大きくなり、伝送効率が悪い。上記の従来のオーディオ信号復号化方法も同様に、多数のデコーダだけでなく、分離器も必要であるため回路規模が大きくなってしまう。
【００１０】
本発明は以上の点に鑑みなされたもので、３次元の音源位置を明確に指定した３次元の音場再現を、ＭＰＥＧ−２ ＡＡＣ規格、ＭＰＥＧ−４ ＡＡＣ規格、ＡＣ−３（Audio Code number3）を基にしたＥ−ＡＣ３(Enhanced AC3)方式等の所定の符号化方式に準拠した符号化ストリームにより可能とすると共に伝送効率の良いオーディオ信号符号化を行い得るオーディオ信号符号化方法、符号化装置、復号化方法及び復号化装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記の目的を達成するため、本発明のオーディオ信号符号化方法は、複数チャンネルのオーディオ信号を出力する３次元空間に立体的に配置される複数のスピーカの各スピーカの位置と、３次元空間を複数の２次元平面に分割するための方向である分割方向とに基づいて、２次元平面の数と、各平面に対応するチャンネル数と、２次元平面の分割順序とを含む平面情報を出力し、さらに、各チャンネルが対応する各スピーカの２次元平面内における位置を示すチャンネルマッピング情報を出力する第１のステップと、平面情報とチャンネルマッピング情報とに基づいて、複数チャンネルのオーディオ信号を２次元平面毎にひとまとまりのプログラムとして符号化を行うことで符号化要素を生成し、さらに、２次元平面内のチャンネル配置を示す情報を含む平面位置情報を生成し、その符号化要素と平面位置情報とを２次元平面毎に出力する第２のステップと、第２のステップにより２次元平面毎に出力された符号化要素と平面位置情報とを全て統合して、１本の符号化ストリームを生成して出力する第３のステップとを含むことを特徴とする。
【００１２】
ここで、上記第３のステップで生成される１本の符号化ストリームには、３次元空間に立体的に配置される複数チャンネルのオーディオ信号の内、一部のチャンネルのみを復号化できるようにするための情報が平面位置情報として付加されていてもよい。
【００１３】
また、上記第３のステップで生成される１本の符号化ストリームには、３次元空間に立体的に配置される複数チャンネルのオーディオ信号を、複数チャンネルよりも少ないチャンネル数に変換した信号に再生できるようにするための変換係数情報が付加されていてもよい。
【００１４】
また、上記の変換係数情報は、３次元空間に立体的に配置される少ないチャンネル数のスピーカの各スピーカの位置から、視聴者の右耳までの頭部伝達関数に相当するフィルタ係数と、視聴者の左耳までの頭部伝達関数に相当するフィルタ係数とを有していてもよい。
【００１５】
また、本発明は、上記第１のステップで生成されるチャンネルマッピング情報には、３次元空間に立体的に配置される複数のスピーカのうち、複数のチャンネルよりも少ないチャンネル数に予め変換したオーディオ信号を出力する各スピーカの２次元平面における位置を示す情報も含むようにし、上記第２のステップでは、３次元空間に立体的に配置される複数のスピーカから出力するための複数チャンネルのオーディオ信号とは別に、少ないチャンネル数に予め変換したオーディオ信号について、２次元平面毎にひとまとまりのプログラムとして符号化を行うことで第２の符号化要素を生成し、さらに、２次元平面内のチャンネル配置を示す情報を含む第２の平面位置情報を生成して、第２の符号化要素と第２の平面位置情報とを２次元平面毎に出力するようにし、上記第３のステップでは、第２の符号化要素と第２の平面位置情報とを、複数チャンネルのオーディオ信号を２次元平面毎にひとまとまりのプログラムとして符号化を行うことで生成した符号化要素と、２次元平面内のチャンネル配置を示す情報を含む平面位置情報と一緒に統合した、１本の符号化ストリームを生成して出力するようにしてもよい。
【００１６】
また、上記の目的を達成するため、本発明のオーディオ信号符号化装置は、複数チャンネルのオーディオ信号を出力する３次元空間に立体的に配置される複数のスピーカの各スピーカの位置と、３次元空間を複数の２次元平面に分割するための方向である分割方向とに基づいて、２次元平面の数と、各２次元平面に対応するチャンネル数と、２次元平面の分割順序とを含む平面情報を出力し、さらに、各チャンネルが対応する各スピーカの２次元平面内における位置を示すチャンネルマッピング情報を出力する３次元空間分割部と、平面情報とチャンネルマッピング情報とに基づいて、３次元空間に配置されるスピーカから出力するための多チャンネルのオーディオ信号を２次元平面毎にひとまとまりのプログラムとして符号化を行うことで符号化要素を生成し、さらに、２次元平面内のチャンネル配置を示す情報を含む平面位置情報を生成し、その符号化要素と平面位置情報とを２次元平面毎に出力する平面符号化部と、平面符号化部により２次元平面毎に出力された符号化要素と平面位置情報とを全て統合して、１本の符号化ストリームを生成して出力するストリーム統合部とを有することを特徴とする。
【００１７】
ここで、上記のストリーム統合部は、３次元空間に立体的に配置される複数チャンネルの音源情報の内、一部のチャンネルのみを復号化できるようにするための情報を平面位置情報として付加した１本の符号化ストリームを生成してもよい。
【００１８】
また、上記のストリーム統合部は、３次元空間に立体的に配置される複数チャンネルのオーディオ信号を複数チャンネルよりも少ないチャンネル数に変換した信号に再生できるようにするための変換係数情報を付加した１本の符号化ストリームを生成するようにしてもよい。
【００１９】
上記の変換係数情報は、３次元空間に立体的に配置される少ないチャンネル数のスピーカの各スピーカの位置から、視聴者の右耳までの頭部伝達関数に相当するフィルタ係数と、視聴者の左耳までの頭部伝達関数に相当するフィルタ係数とを有していてもよい。
【００２０】
また、本発明のオーディオ信号符号化装置は、上記の３次元空間分割部は、３次元空間に立体的に配置される複数のスピーカのうち、複数チャンネルよりも少ないチャンネル数に予め変換したオーディオ信号を出力するスピーカの２次元平面における位置を示す情報も出力するようにし、上記の平面符号化部は、複数チャンネルのオーディオ信号とは別に、少ないチャンネル数に予め変換したオーディオ信号について、２次元平面毎にひとまとまりのプログラムとして符号化を行うことで第２の符号化要素を生成し、さらに、２次元平面内のチャンネル配置を示す情報を含む第２の平面位置情報を生成して、第２の符号化要素と第２の平面位置情報とを２次元平面毎に出力するようにし、上記のストリーム統合部は、第２の符号化要素と第２の平面位置情報とを、複数チャンネルのオーディオ信号を２次元平面毎にひとまとまりのプログラムとして符号化を行うことで生成した符号化要素と２次元平面内のチャンネル配置を示す情報を含む平面位置情報と一緒に統合した、１本の符号化ストリームを生成して出力するようしてもよい。
【００２１】
また、上記の目的を達成するため、本発明のオーディオ信号復号化方法は、３次元空間に立体的に配置される複数のスピーカから出力するための複数チャンネルのオーディオ信号を、３次元空間に含まれる複数の２次元平面毎にひとまとまりのプログラムとして符号化することで第１の符号化要素を生成し、さらに、２次元平面内のチャンネル配置を示す情報を含む第１の平面位置情報を生成すると共に、複数チャンネルのオーディオ信号よりも少ないチャンネル数に予め変換したオーディオ信号についても、３次元空間に含まれる複数の２次元平面毎にひとまとまりのプログラムとして符号化することで第２の符号化要素を生成し、さらに、２次元平面内のチャンネル配置を示す情報を含む第２の平面位置情報を生成し、それらを統合して得られる１本の符号化ストリームを入力として受け、その符号化ストリームから、第１及び第２の平面位置情報と第１及び第２の符号化要素とを複数の２次元平面のそれぞれについて分離する第１のステップと、第１のステップで分離された２次元平面毎の第１及び第２の符号化要素をそれぞれ復号化して、複数チャンネルのオーディオ信号と、複数チャンネルよりも少ないチャンネル数に予め変換したオーディオ信号へと復号する第２のステップと、第１のステップで分離された２次元平面毎の第１及び第２の平面位置情報を合成して、復号された複数チャンネルのオーディオ信号と、複数チャンネルよりも少ないチャンネル数に予め変換したオーディオ信号の各チャンネルのオーディオ信号をそれぞれ出力するスピーカの位置を示す３次元チャンネル配置情報を生成する第３のステップとを含むことを特徴とする。
【００２２】
また、上記の目的を達成するため、本発明のオーディオ信号復号化方法は、３次元空間に立体的に配置される複数のスピーカから出力するための複数チャンネルのオーディオ信号を、３次元空間に含まれる複数の２次元平面毎にひとまとまりのプログラムとして符号化することで符号化要素を生成し、さらに、２次元平面内のチャンネル配置を示す情報を含む平面位置情報を生成し、さらに、３次元空間に配置される複数チャンネルのオーディオ信号を複数チャンネルよりも少ないチャンネル数のオーディオ信号として再生できるようにするための変換係数を示す情報を含む変換係数情報を生成し、それらを統合して得られる１本の符号化ストリームを入力として受け、その符号化ストリームから、平面位置情報と符号化要素とを複数の２次元平面のそれぞれについて分離し、さらに、変換係数情報を分離する第１のステップと、第１のステップで分離された２次元平面毎に符号化要素をそれぞれ復号化して、複数チャンネルのオーディオ信号へと復号する第２のステップと、第１のステップで分離された２次元平面毎の平面位置情報を合成して、複数チャンネルのオーディオ信号の各チャンネルのオーディオ信号を出力するスピーカの位置を示す３次元チャンネル配置情報を生成する第３のステップと、復号された複数チャンネルのオーディオ信号に対して、３次元チャンネル配置情報を基に得られる第１のステップで分離された変換係数情報を乗じて、１枚以上の２次元平面で再生されるように、複数チャンネルのオーディオ信号よりも少ないチャンネル数のオーディオ信号に変換する第４のステップとを含むことを特徴とする。
【００２３】
また、上記の目的を達成するため、本発明のオーディオ信号復号化方法は、３次元空間に立体的に配置される複数のスピーカから出力するための複数チャンネルのオーディオ信号を、３次元空間に含まれる複数の２次元平面毎にひとまとまりのプログラムとして符号化することで符号化要素を生成し、さらに、２次元平面内のチャンネル配置を示す情報を含む平面位置情報を生成し、さらに、３次元空間に配置される複数チャンネルのオーディオ信号を少ないチャンネル数で再生できるようにするための変換係数を示す情報を含む変換係数情報を生成し、それらを統合して得られる１本の符号化ストリームを入力として受け、その符号化ストリームから、平面位置情報と符号化要素とを複数の２次元平面のそれぞれについて分離し、さらに、変換係数情報を分離する第１のステップと、第１のステップで分離された２次元平面毎に符号化要素をそれぞれ復号化して、複数チャンネルのオーディオ信号へと復号する第２のステップと、第１のステップで分離された２次元平面毎の平面位置情報を合成して、複数チャンネルのオーディオ信号の各チャンネルのオーディオ信号を出力するスピーカの位置を示す３次元チャンネル配置情報を生成する第３のステップと、復号された複数チャンネルのオーディオ信号に対して、３次元チャンネル配置情報を基に得られる第１のステップで分離された変換係数情報を乗じて、複数チャンネルのオーディオ信号から２チャンネルのバイノーラル信号に変換する第４のステップとを含むことを特徴とする。
【００２４】
また、上記の目的を達成するため、本発明のオーディオ信号復号化装置は、３次元空間に立体的に配置される複数のスピーカから出力するための複数チャンネルのオーディオ信号を、３次元空間に含まれる複数の２次元平面毎にひとまとまりのプログラムとして符号化することで符号化要素を生成し、さらに、２次元平面内のチャンネル配置を示す情報を含む平面位置情報を生成し、それらを統合して得られる１本の符号化ストリームを入力として受け、その符号化ストリームから、平面位置情報と符号化要素とを複数の２次元平面のそれぞれについて分離するストリーム分離部と、ストリーム分離部において分離された２次元平面毎の符号化要素をそれぞれ復号化して、複数チャンネルのオーディオ信号へと復号する平面復号化部と、ストリーム分離部で分離された２次元平面毎の平面位置情報を合成して、復号された複数チャンネルのオーディオ信号の各チャンネルのオーディオ信号を出力するスピーカの位置を示す３次元チャンネル配置情報を生成する３次元空間合成部とを有することを特徴とする。
【００２５】
また、上記の目的を達成するため、本発明のオーディオ信号復号化装置は、３次元空間に立体的に配置される複数のスピーカから出力するための複数チャンネルのオーディオ信号を、３次元空間に含まれる複数の２次元平面毎にひとまとまりのプログラムとして符号化することで第１の符号化要素を生成し、さらに、２次元平面内のチャンネル配置を示す情報を含む第１の平面位置情報を生成すると共に、予め変換した複数チャンネルよりも少ないチャンネル数のオーディオ信号についても、３次元空間に含まれる複数の２次元平面毎にひとまとまりのプログラムとして符号化することで第２の符号化要素を生成し、さらに、２次元平面内のチャンネル配置を示す情報を含む第２の平面位置情報を生成し、それらを統合して得られる１本の符号化ストリームを入力として受け、その符号化ストリームから、第１及び第２の平面位置情報と第１及び第２の符号化要素とを複数の２次元平面のそれぞれについて分離するストリーム分離部と、ストリーム分離部で分離された２次元平面毎の第１及び第２の符号化要素をそれぞれ復号化して、複数チャンネルのオーディオ信号と、予め変換した複数チャンネルよりも少ないチャンネル数のオーディオ信号へと復号する平面復号化部と、ストリーム分離部で分離された２次元平面毎の第１及び第２の平面位置情報を合成して、復号された複数チャンネルのオーディオ信号と、予め変換した複数チャンネルよりも少ないチャンネル数のオーディオ信号の各チャンネルのオーディオ信号をそれぞれ出力するスピーカの位置を示す３次元チャンネル配置情報を生成する３次元空間合成部とを有することを特徴とする。
【００２６】
また、上記の目的を達成するため、本発明のオーディオ信号復号化装置は、３次元空間に立体的に配置される複数のスピーカから出力するための複数チャンネルのオーディオ信号を、３次元空間に含まれる複数の２次元平面毎にひとまとまりのプログラムとして符号化することで符号化要素を生成し、さらに、２次元平面内のチャンネル配置を示す情報を含む平面位置情報を生成し、さらに、３次元空間に配置される複数チャンネルよりも少ないチャンネル数のオーディオ信号で再生できるようにするための変換係数を示す情報を含む変換係数情報を生成し、それらを統合して得られる１本の符号化ストリームを入力として受け、その符号化ストリームから、平面位置情報と符号化要素とを複数の２次元平面のそれぞれについて分離し、さらに、変換係数情報を分離するストリーム分離部と、ストリーム分離部で分離された２次元平面毎の符号化要素をそれぞれ復号化して、複数チャンネルのオーディオ信号へと復号する平面復号化部と、ストリーム分離部で分離された２次元平面毎の平面位置情報を合成して、復号された複数チャンネルのオーディオ信号の各チャンネルのオーディオ信号を出力するスピーカの位置を示す３次元チャンネル配置情報を生成する３次元空間合成部と、復号された複数チャンネルのオーディオ信号に対して、３次元チャンネル配置情報を基に得られるストリーム分離部で分離された変換係数情報を乗じて、１枚以上の２次元平面で再生されるように、複数チャンネルよりも少ないチャンネル数のオーディオ信号に変換するダウンミックス部とを有することを特徴とする。
【００２７】
また、上記の目的を達成するため、本発明のオーディオ信号復号化装置は、３次元空間に立体的に配置される複数のスピーカから出力するための複数チャンネルのオーディオ信号を、３次元空間に含まれる複数の２次元平面毎にひとまとまりのプログラムとして符号化することで符号化要素を生成し、さらに、２次元平面内のチャンネル配置を示す情報を含む平面位置情報を生成し、さらに、３次元空間に配置される複数チャンネルよりも少ないチャンネル数で再生できるようにするための変換係数を示す情報を含む変換係数情報を生成し、それらを統合して得られる１本の符号化ストリームを入力として受け、その符号化ストリームから、平面位置情報と符号化要素とを複数の２次元平面のそれぞれについて分離し、さらに、変換係数情報を分離するストリーム分離部と、ストリーム分離部で分離された２次元平面毎の符号化要素をそれぞれ復号化して、複数チャンネルのオーディオ信号へと復号する平面復号化部と、ストリーム分離部で分離された２次元平面毎の平面位置情報を合成して、復号された複数チャンネルのオーディオ信号の各チャンネルのオーディオ信号を出力するスピーカの位置を示す３次元チャンネル配置情報を生成する３次元空間合成部と、復号された複数チャンネルのオーディオ信号に対して、３次元チャンネル配置情報を基に得られるストリーム分離部で分離された変換係数情報を乗じて、複数チャンネルのオーディオ信号から２チャンネルのバイノーラル信号に変換するダウンミックス部とを有することを特徴とする。
【発明の効果】
【００２８】
本発明のオーディオ信号符号化方法及び装置によれば、３次元空間に対応する音声信号の３次元空間における位置を明確に指定した３次元の音場再現が可能な符号化ストリームを生成することができる。
【００２９】
また、本発明のオーディオ信号復号化方法及び装置によれば、符号化側で生成した３次元空間に対応する音声信号を２次元平面毎の音声信号に分割し、分割した２次元平面毎のオーディオ信号を符号化した符号化要素を、分割情報と平面でのチャンネル配置情報とを含めて統合した符号化ストリームを復号化するため、３次元空間における音源位置を明確に指定した３次元の音場再現ができる。
【図面の簡単な説明】
【００３０】
【図１】本発明のオーディオ信号符号化装置の一実施の形態のブロック図である。
【図２】２２.２ｃｈのスピーカ配置を示す図である。
【図３】図２に示すスピーカ配置の３次元空間を高さ方向に３つに分割した２次元平面のスピーカ配置（チャンネル位置）を示す図である。
【図４】図３に示した３つの２次元平面の各対応要素（スピーカ位置）の３次元座標を示す図である。
【図５】本発明により３つの２次元平面に分割して符号化して得られるＭＰＥＧ準拠符号化ストリームの第１の例のフォーマットを示す図である。
【図６】図５中のPCEの構成を、記述言語を用いて示した図である。
【図７】図１のオーディオ信号符号化装置により生成されるＭＰＥＧ準拠符号化ストリームで定義されるPCEを記述言語を用いて表した図である。
【図８】図２に示すスピーカ配置の３次元空間を奥行き方向に３つに分割した２次元平面のスピーカ配置（チャンネル位置）を示す図である。
【図９】本発明のオーディオ信号符号化装置により生成されるＭＰＥＧ準拠の符号化ストリームの第２の例のフォーマットを示す図である。
【図１０】図９にPCE3として示した５.１ｃｈ互換用PCEにおける設定例を示す図である。
【図１１】本発明のオーディオ信号符号化装置により生成されるＭＰＥＧ準拠の符号化ストリームの第３の例のフォーマットを示す図である。
【図１２】本発明のオーディオ信号符号化装置により生成されるＭＰＥＧ準拠の符号化ストリームの第４の例のフォーマットを示す図である。
【図１３】本発明のオーディオ信号符号化装置により生成されるＭＰＥＧ準拠の符号化ストリームの第５の例のフォーマットを示す図である。
【図１４】本発明のオーディオ信号符号化装置により生成されるＭＰＥＧ準拠の符号化ストリームの第６の例のフォーマットを示す図である。
【図１５】本発明のオーディオ信号符号化装置により生成されるＭＰＥＧ準拠の符号化ストリームの第７の例のフォーマットを示す図である。
【図１６】図１５中のDSE0の構成を、記述言語を用いて示した図である。
【図１７】本発明のオーディオ信号復号化装置の第１の実施形態のブロック図である。
【図１８】本発明のオーディオ信号復号化装置の第２の実施形態のブロック図である。
【図１９】図１８中のダウンミックス部の一例のブロック図である。
【図２０】図１９中のモード１ブロックの一例のブロック図である。
【図２１】本発明のオーディオ信号符号化装置により生成されるＭＰＥＧ準拠の符号化ストリームの第８の例のフォーマットを示す図である。
【図２２】図２０中の上層チャンネルダウンミックス部の一例の構成図である。
【図２３】図２０中の中層チャンネルダウンミックス部の一例の構成図である。
【図２４】図２０中の下層チャンネルダウンミックス部の一例の構成図である。
【図２５】図２０中の５.１ｃｈ合成部の一例の構成図である。
【図２６】図１９中のモード２ブロックの一例のブロック図である。
【図２７】図２６中の２ｃｈ合成部の一例のブロック図である。
【図２８】図１９中のモード３ブロックの一例のブロック図である。
【図２９】図１９中のモード４ブロックの一例のブロック図である。
【図３０】図１８に示す本発明のオーディオ信号復号化装置におけるモード４のときの効果を説明するスピーカ配置の一例を示す図である。
【発明を実施するための形態】
【００３１】
次に、本発明の実施の形態について図面と共に詳細に説明する。
【００３２】
図１は、本発明になるオーディオ信号符号化装置の一実施の形態のブロック図を示す。同図に示すように、本実施の形態のオーディオ信号符号化装置１０は、３次元空間分割部１１と、３つの平面符号化部１２、１３及び１４と、ストリーム統合部１５とから構成され、外部からＮチャンネル（Ｎは自然数）のオーディオ信号、分割方向、各チャンネルのオーディオ信号の３次元チャンネル配置情報を入力として受け、例えばＭＰＥＧ準拠の符号化ストリームを出力する。
【００３３】
上記の「分割方向」は、Ｎチャンネルの各チャンネル毎のオーディオ信号がそれぞれ発音されるＮ個のスピーカが配置された、Ｘ軸，Ｙ軸，Ｚ軸の３軸からなる３次元空間を、２次元平面に分割するときの分割方向が、Ｘ−Ｙ平面分割、Ｘ−Ｚ平面分割、Ｙ−Ｚ平面分割の３種類のいずれであるかを示す情報である。なお、「分割方向」は必ずしも外部から入力される必要はなく、３次元空間分割部１１は、Ｘ−Ｙ平面分割、Ｘ−Ｚ平面分割、Ｙ−Ｚ平面分割の内、いずれか１つの「分割方向」を常に使用するようにしてもよい。また、上記の「３次元チャンネル配置情報」は、入力されたＮチャンネル（ｃｈ）のオーディオ信号が発音される３次元空間上の各チャンネルのスピーカ（あるいは音源）の配置位置を、聴取者の位置（リスニングポイント）を原点（０，０，０）としたときの、３次元座標（ｘ，ｙ，ｚ）で示す情報である。更に、上記のＮｃｈオーディオ信号は、Ｎｃｈのアナログオーディオ信号を各チャンネル別に、例えばパルス符号変調（ＰＣＭ）して得られたデジタル信号である。
【００３４】
３次元空間分割部１１は、分割方向と３次元チャンネル配置情報とに基づいて、３次元空間上に配置されたスピーカに対応するＮチャンネルの音源に関する情報を、複数の２次元平面の音源に関する情報に分割し、平面情報と、分割された２次元平面上における音源位置を示すチャンネルマッピング情報とを出力する。平面情報には、平面総数、平面毎のチャンネル総数、平面分割順序を示す情報が含まれる。チャンネルマッピング情報は、各チャンネルと平面との関連付け、各チャンネルと平面内の位置（フロント、サイド、リア等）との関連付けを表す。
【００３５】
平面符号化部１２、１３及び１４は、３次元空間を分割して得られた３つの２次元の平面のうち、割り当てられた一平面毎に設けられており、上記の平面情報とチャンネルマッピング情報とに基づいて、平面に含まれる各チャンネルのオーディオ信号に対して例えばＭＰＥＧ準拠の符号化方式により、ひとまとまりのプログラムとして符号化を行い、オーディオ信号そのものを符号化した際に得られるメインデータ（符号化データ）を意味する符号化要素（SCE、CPEエレメント）と、補助データとして、その平面内のチャンネル配置（フロント何チャンネル、サイド何チャンネル、リア何チャンネル）を示す情報を含む平面位置情報（PCEエレメント）とを出力する。
【００３６】
ここで、本実施の形態では、上記の符号化方式として、ＢＳデジタル放送で使用されているＭＰＥＧ−２ ＡＡＣ符号化方式を例として説明する。なお、ＭＰＥＧ−４ ＡＡＣ符号化方式でもよく、この符号化方式は、ＭＰＥＧ−２ ＡＡＣ符号化方式に新たなオプションツールが追加された形であるので、ＭＰＥＧ−２ ＡＡＣ符号化方式で代用することができる。なお、以下の説明では、両符号化方式をまとめて「ＭＰＥＧ−２／４ ＡＡＣ」と記す。
【００３７】
ストリーム統合部１５は、平面符号化部１２、１３及び１４からそれぞれ出力された、３つの平面の平面位置情報と符号化要素とを統合して、１本のＭＰＥＧ準拠（ここでは、ＭＰＥＧ−２／４ ＡＡＣ）の符号化ストリームを生成して出力する。
【００３８】
次に、本実施の形態のオーディオ信号符号化装置１０の動作について詳細に説明する。ここでは、図２に示す２２.２ｃｈの３次元のスピーカ配置による立体音場を生成するために、図２に示すスピーカ配置の３次元空間を、図３（Ａ）〜（Ｃ）に示す３つの２次元平面に分割し、図５に示す構成のＭＰＥＧ−２／４ ＡＡＣ符号化ストリームを生成する例について説明する。
【００３９】
図２は、２２.２ｃｈを有する音響システムのスピーカ配置を示す。この２２.２ｃｈを有する音響システムのスピーカ配置は、衛星デジタル放送の高度化（高度ＢＳ）において定義されている。図２に示すように、上層９チャンネル、中層１０チャンネル、下層３チャンネル、ＬＦＥ（Low Frequency Effect）２チャンネルによる合計２２.２ｃｈにより、（幅×奥行き×高さ）の３次元空間が構築される。なお、ＬＦＥチャンネルは主に低音域の音声が割り当てられるチャンネルである。
【００４０】
この２２.２ｃｈの３次元空間の立体音場を示す符号化ストリームを、ＢＳデジタル放送と同様に、ＭＰＥＧ−２／４ ＡＡＣ符号化方式により符号化して構築しようとする場合、前述したようにＭＰＥＧ−２／４ ＡＡＣ符号化方式では高さ方向を定義することができないので、基本的に現規格では符号化ストリームを構築することができない。
【００４１】
そこで、本実施の形態では、図２に示した３次元空間（幅×奥行き×高さ）を、一例として３次元空間の高さ方向に分割して、図３（Ａ）に示すように上層の９チャンネル（UFL,UFC,UFR,USL,USC,USR,UBL,UBC,UBR）を有する２次元平面と、図３（Ｂ）に示すように中層の１０チャンネル(MFL,MFLC,MFC,MFRC,MFR,MSL,MSR,MBL,MBC,MBR)を有する２次元平面と、図３（Ｃ）に示すように下層３チャンネル(LFL,LFC,LFR)とＬＦＥ２チャンネル(LFEL,LFER)とからなる３.２チャンネルの下層部の２次元平面の３つに分割している。このように、３次元空間を高さ方向に分割することで、ＭＰＥＧ−２／４ ＡＡＣ符号化方式における２次元平面のチャンネル配置を定義することが可能となる。なお、ここでは、一例として２２.２ｃｈ音響システムに対応して３層に分割しているが、分割数を限定するものではない。同様に分割方向は高さ方向に限定するものではない。
【００４２】
再び図１に戻って説明する。３次元空間分割部１１は、入力される分割方向が一例としてＸ−Ｙ分割を示しており、また、入力される３次元チャンネル配置情報として、表１に示す情報が入力されたものとする。
【００４３】
【表１】
表１は、図２に示した２２.２ｃｈのスピーカ配置の３次元空間を、図３（Ａ）〜（Ｃ）に示した高さ方向に３つの２次元平面に分割したときの、３次元チャンネル配置情報と各チャンネルと図３（Ａ）〜（Ｃ）及び図４（Ａ）〜（Ｃ）に示す対応要素（スピーカ位置）との関係を示す。表１に示す３次元チャンネル配置情報は、図４（Ｂ）に示したリスナー位置を原点とした時の距離を示す。なお、図４（Ａ）〜（Ｃ）は図３（Ａ）〜（Ｃ）と同じ３つの２次元平面を示しており、更に各対応要素の３次元座標を示している。
【００４４】
３次元空間分割部１１は、表１に示す３次元チャンネル配置情報に基づいて、平面総数と、平面毎のチャンネル総数と、平面分割順序とからなる平面情報を生成して出力する。ここで、上記の平面総数は２次元平面の総数であるので「３」、上記の平面毎のチャンネル総数は表２に示され、上記の平面分割順序は４ビット表現で例えば「００１１」である。ここで、「００１１」で表される平面分割順序は、Ｘ−Ｙ分割で、上層部から中層部を経て下層部＋ＬＦＥの順序で分割することを示す。なお、Ｘ−Ｙ分割で、下層部＋ＬＦＥから中層部を経て上層部への順序で分割する場合は、上記平面分割順序は「００１０」とされる。また、分割しない場合は上記平面分割順序は「００００」とされる。
【００４５】
【表２】
表２に示す平面毎のチャンネル総数は、オーディオ信号符号化装置１０が後述する図５に示すフォーマットの符号化ストリームを生成する場合の例で、平面番号とチャンネル総数と図５の対応エレメントであるＰＣＥ(Program_Config_Element)との関係を示す。
【００４６】
平面番号「０」は上層部の２次元平面を示し、そのチャンネル総数は図３（Ａ）、図４（Ａ）に示すように「９」である。また、平面番号「１」は中層部の２次元平面を示し、そのチャンネル総数は図３（Ｂ）、図４（Ｂ）に示すように「１０」である。更に、平面番号「２」は下層部＋ＬＦＥの２次元平面を示し、図３（Ｃ）、図４（Ｃ）に示すように３.２ｃｈであるので、そのチャンネル総数は「５」である。従って、全チャンネル総数はｃｈ０〜ｃｈ２３の２４チャンネルとなる。
【００４７】
また、３次元空間分割部１１は、Ｘ−Ｙ分割である場合、同じ高さ（Ｚ軸）のチャンネルをまとめて一平面とし、また原点からのＹ軸の距離が同じものをフロント(front)、サイド(side)、バック(back)に分割する。また、センターのような単独チャンネルと、Ｌ／Ｒのようなペアチャンネルとの分離も行う。
【００４８】
これにより、３次元空間分割部１１は、フロントチャンネルで単独チャンネルを示す「front single 識別」、フロントチャンネルでペアチャンネルを示す「front pair識別」、サイドチャンネルで単独チャンネルを示す「side single 識別」、サイドチャンネルでペアチャンネルを示す「side pair識別」、バックチャンネルで単独チャンネルを示す「back single 識別」、バックチャンネルでペアチャンネルを示す「back pair識別」、ＬＦＥチャンネルで単独チャンネルを示す「LFE single 識別」を各チャンネル毎に示すチャンネルマッピング情報を生成する。表３は、このチャンネルマッピング情報を示す。
【００４９】
【表３】
表３において、対応要素は、オーディオ信号符号化装置１０が後述する図５に示すフォーマットの符号化ストリームを生成する場合の、そのフォーマットの対応要素を示す。
【００５０】
平面符号化部１２は、３次元空間分割部１１からの平面情報とチャンネルマッピング情報に基づいて、２２.２ｃｈの入力オーディオ信号のうち、平面番号「０」の上層部の２次元平面の各チャンネルのオーディオ信号に対してＭＰＥＧ−２／４ ＡＡＣ符号化方式による符号化を行い、平面位置情報と符号化要素とを生成して出力する。
【００５１】
また、平面符号化部１２の符号化動作と並行して、平面符号化部１３は、３次元空間分割部１１からの平面情報とチャンネルマッピング情報に基づいて、平面番号「１」の中層部の２次元平面の各チャンネルのオーディオ信号に対して、また平面符号化部１４は、３次元空間分割部１１からの平面情報とチャンネルマッピング情報に基づいて、平面番号「２」の下層部＋ＬＦＥの２次元平面の各チャンネルのオーディオ信号に対して、それぞれＭＰＥＧ−２／４ ＡＡＣ符号化方式による符号化を行い、平面位置情報と符号化要素とを生成して出力する。
【００５２】
このとき平面符号化部１２〜１４は、同一平面のチャンネルの符号化形態（チャンネルペアで符号化：ＣＰＥ、シングルチャンネルで符号化：ＳＣＥ）を、チャンネルマッピング情報を基に決定して符号化を行い、符号化要素を生成する。また、平面符号化部１２〜１４は、チャンネルマッピング情報から平面位置情報を生成する。これはストリーム中のプログラムコンフィグエレメント（ＰＣＥ）に相当する。
【００５３】
ストリーム統合部１５は、平面符号化部１２〜１４からそれぞれ出力された平面位置情報と符号化要素とから、ＭＰＥＧ−２／４ ＡＡＣ符号化方式に準拠した符号化ストリームを生成して出力する。
【００５４】
次に、オーディオ信号符号化装置１０から出力されるＭＰＥＧ準拠符号化ストリームの各例について説明する。
【００５５】
図５は、本発明により図２に示した２２.２ｃｈの３次元空間を、図３（Ａ）〜（Ｃ）に示すような３つの２次元平面に分割して符号化して得られるＭＰＥＧ準拠符号化ストリームの第１の例のフォーマットを示す。このＭＰＥＧ準拠符号化ストリームは、ＭＰＥＧ−２／４ ＡＡＣ符号化方式で符号化されたストリームで、そのフォーマットは、ＡＤＴＳ（Audio_Data_Transport_Stream）フォーマットと呼ばれており、この図５（Ａ）もＡＤＴＳフォーマットに準拠している。
【００５６】
図５（Ａ）に示すように、符号化フォーマットは、１オーディオフレームに相当する「adts_frame」単位で時系列的に合成された構造である。「adts_frame」は、同期コード、フレーム長などの情報やＣＲＣエラー検出コードを含む「adts_header」と呼ぶヘッダと、符号化したオーディオ情報がエレメントと呼ばれる単位にまとめられて収められたブロックである「raw_data_block」とからなる。
【００５７】
本実施の形態の符号化ストリームは、図５（Ａ）、（Ｂ）に示すように、「raw_data_block」が、チャンネル情報用のPCE(Program_Config_Element)と、上層の情報「upper_layer」、中層の情報「middle_layer」、及び下層＋ＬＦＥの情報「lower+LFE_layer」と、スタッフィングビット用のFIL(File_element)と、フレームの終わりを示すEND(Terminator)とから構成される。
【００５８】
チャンネル情報用のPCEは図５（Ｂ）に示すように「PCE0」、「PCE1」、「PCE2」からなる。「PCE0」は、図１に示した平面符号化部１２から出力された上層の平面位置情報である。同様に、「PCE1」、「PCE2」は、それぞれ図１に示した平面符号化部１３、１４から出力された中層と下層＋ＬＦＥの平面位置情報である。
【００５９】
上層の情報「upper_layer」は、図５（Ｃ）に示すように、フロントのSCE(Single_Channel_Element)0及びCPE(Channel_Pair_Element)0と、サイドのSCE1及びCPE1と、バック（リア）のSCE2及びCPE2とからなる。この上層の情報「upper_layer」は、図１に示した平面符号化部１２から出力された符号化要素である。なお、ここでは、エレメントの名称とタグ番号（element_instance_tag）を一緒に記載している。例えば、SCEでタグ番号０を有するものを「SCE0」と記載している。
【００６０】
同様に、中層の情報「middle_layer」は、図５（Ｄ）に示すように、フロントのSCE3、CPE3及びCPE4と、サイドのCPE5と、バックのSCE4及びCPE6とからなる。この中層の情報「middle_layer」は、図１に示した平面符号化部１３から出力された符号化要素である。また、下層＋ＬＦＥの情報「lower+LFE_layer」は、図５（Ｅ）に示すように、フロントのSCE5及びCPE7と、ＬＦＥのLFE(LFE_Channel_Element)0及びLFE1とからなる。この下層＋ＬＦＥの情報「lower+LFE_layer」は、図１に示した平面符号化部１４から出力された符号化要素である。
【００６１】
図６は、上記のPCEの構成を、記述言語を用いて示した図である。各名称の後ろには、ビット数とその単位（uimsbfは符号無し整数値、bslbfはビット列）を表している。先頭にある「element_innstance_tag」は、タグ番号であり、複数のPCEが存在した場合に、それらを区別することができる。「num_front_channel_elements」はフロントチャンネルに存在するエレメント数を表しており、同様に、サイドチャンネル用、バックチャンネル用、LFEチャンネル用にそれぞれ、「num_side_channel_elements」,「num_back_channnel_elements」, 「num_lfe_channel_elements」が存在する。
【００６２】
そして、そのエレメントがSCEであるかCPEであるかを区別する情報１ビットと、そのエレメントに付けられているタグ番号(element_instance_tag)と同一の情報が４ビットで追加される（例えば、「front_element_is_cpe」,「front_element_tag_select」）。LFEについてはチャンネルペアとして符号化されることはないので、SCE/CPEを区別する情報はなく、タグ番号だけが４ビットで追加される（lfe_element_tag_select）。
【００６３】
図７は、本実施の形態のオーディオ信号符号化装置１０により生成されるＭＰＥＧ準拠符号化ストリームで定義されるPCEを記述言語を用いて表した図を示す。図７（Ａ）は上層部に存在する９ｃｈを記述したPCE0、同図（Ｂ）は、中層部に存在する１０ｃｈを記述したPCE1、同図（Ｃ）は下層部＋ＬＦＥに存在する３.２ｃｈを記述したPCE2の構成を記述言語を用いて示す。このように、本実施の形態によれば、PCE0、PCE1、PCE2は問題なく定義できることが分かる。
【００６４】
このように、本実施の形態では、２２.２ｃｈを有する１つのプログラムは、高さ方向に分割された３プログラムから構成されるものとして分割し、図５（Ｂ）に示すように符号化ストリームに現れるPCE0を上層用、２番目に現れるPCE1を中層用、最後に現れるPCE2を低層＋LFE用と定義する。そして、分割された２次元平面に含まれるチャンネルをＭＰＥＧ−２／４ ＡＡＣ符号化方式により符号化して各プログラムを構成し、ストリーム統合部１５が全てのプログラムを統合することで、ＭＰＥＧ規格に準拠し、かつ、３次元空間に対応した符号化ストリームを構築することができる。
【００６５】
このように、本実施の形態によれば、３次元空間用のチャンネル配置の定義を追加することなく、３次元の音源位置を明確に指定した３次元の音場再現が可能なＭＰＥＧ−２／４ＡＡＣ規格に準拠した符号化ストリームを生成することができる。また、本実施の形態によれば、３つの２次元平面のそれぞれの符号化要素をストリーム統合して１本の符号化ストリームを生成しており、独立した符号化ストリームを多重化しないため、冗長な情報が存在せず、伝送効率の良いオーディオ信号符号化ができる。
【００６６】
更に、本実施の形態によれば、多重器を用いることなく、１個のオーディオ信号符号化装置１０により２２.２ｃｈのオーディオ信号の符号化を行うことができるので回路規模を比較的小規模とすることができる。更に、本実施の形態によれば、符号化ストリームから、選択した２次元平面に関するストリーム情報だけを抜き出して復号することができる。
【００６７】
なお、高度ＢＳに関する答申は、電波産業会（ＡＲＩＢ:Association of Radio Industries and Businesses）より答申されたものであること、従来からARIB標準規格STD-B32において、ＭＰＥＧ規格の使用制限、厳密化を行っていることから、本実施の形態のように平面位置情報であるPCEと分割した２次元平面の符号化要素との対応を示す定義を追記することは、特に問題にならない。ＭＰＥＧ国際標準規格を修正して、日本のローカル放送方式に対応することの方が問題は大きい。
【００６８】
なお、上記の実施の形態では、図２に示した３次元空間（幅×奥行き×高さ）を、３次元空間の高さ方向に分割（すなわち、前記のＸ−Ｙ分割）して２次元平面を得るようにしたが、分割方法はこれに限定されるものではない。例えば、図８（Ａ）〜（Ｃ）に示すように、奥行き方向に分割（Ｘ−Ｚ分割）して、３つの２次元平面（幅×高さ）を得て、各２次元平面のチャンネルのオーディオ信号毎に符号化するようにしてもよい。Ｘ−Ｚ分割の場合は、同じ奥行き（Ｙ軸）のチャンネルをまとめて一平面とする。図８（Ａ）は、３次元空間の奥行き方向の分割により、前方部を有する２次元平面のチャンネル位置（スピーカ位置）を示す。図８（Ｂ）は、中方部を有する２次元平面のチャンネル位置（スピーカ位置）、図８（Ｃ）は、後方部を有する２次元平面のチャンネル位置（スピーカ位置）を示す。
【００６９】
この例の場合、２種類のデフォルト定義が必要となる。第１のデフォルト定義は、高さ方向の分割と同様に、２２.２ｃｈを有する１番組（プログラム）は、奥行き方向に分割された３プログラムから構成されるものとし、一例として、符号化ストリームに最初に現れるPCE0を前方＋LFE用、２番目に現れるPCE1を中方用、最後に現れるPCE2を後方用と定義することである。
【００７０】
第２の定義は、フロントチャンネル、サイドチャンネル、バックチャンネルの定義が明確でなくなるため、一例として、下層部をフロントチャンネルにより対応し、中層部をサイドチャンネルにより対応し、上層部をバックチャンネルにより対応するものと定義することである。
【００７１】
以上のように定義することで、３次元空間に配置された２２.２ｃｈの音源位置を持つオーディオ信号を、ＭＰＥＧ規格に準拠した符号化方式（ここでは、ＭＰＥＧ−２／４ＡＡＣ符号化方式）で符号化された符号化ストリームを構築することができる。このような奥行き方向の分割を行うメリットは、前方からの距離が一定で、水平角は同一であるので、違いが仰角による伝搬時間の違いだけとなり、各２次元平面内の存在する音源間の相関が高いと考えられるためである。
【００７２】
なお、上記のＸ−Ｙ分割やＸ−Ｚ分割以外に、Ｙ−Ｚ分割も可能である。このＹ−Ｚ分割では、同じ幅（Ｘ軸）のチャンネルをまとめて一平面とするものである。このＹ−Ｚ分割では原点からのＺ軸からの距離が同じものをフロント、サイド、リニアに分類する。なお、前記の４ビットの平面分割順序は、Ｘ−Ｚ分割の場合は、スピーカ配置において前方から後方への分割順序かその逆の順序かを示し、Ｙ−Ｚ分割の場合は、左方から右方への分割順序かその逆の順序かを予め定められた４ビットの値で示す。
【００７３】
次に、本発明になるオーディオ信号符号化装置により生成されるＭＰＥＧ準拠の符号化ストリームの第２の例について説明する。
【００７４】
図９は、本発明になるオーディオ信号符号化装置により生成されるＭＰＥＧ−２／４ ＡＡＣ符号化方式の符号化ストリームの第２の例のフォーマットを示す。図９に示す第２の例のフォーマットは、図５に示した高さ方向の分割による３次元空間用符号化ストリームに、図９（Ｂ）にPCE3で示すように５.１ｃｈ互換用PCEを追加したものである。このPCE3は、３次元空間に配置された２２.２ｃｈよりも少ないチャンネル数からなる既存のサラウンドシステムで用いられる音声と同じ音源位置にある情報だけを復号化できるようにするための平面位置情報であり、ストリーム統合部１５が平面位置情報に基づいて生成し、符号化ストリームに付加する。
【００７５】
図９（Ｄ）に示す中層の符号化要素（エレメント）のうち、５.１ｃｈのセンターチャネルをＭＦＣの要素SCE3で代用し、５.１ｃｈのフロントレフト、ライトチャンネルのＭＦＬ及びＭＦＲの要素CPE4で代用する。そして、５.１ｃｈのバックレフト、ライトをＭＢＬ及びＭＢＲの要素CPE6で代用する。また、図９（Ｅ）に示す下層＋ＬＦＥの符号化要素（エレメント）のうち、５.１ｃｈのＬＦＥを要素LFE0で代用する。なお、５．１ｃｈのサラウンドシステムを例としたが、以上の様に、３次元空間に配置された２２.２ｃｈの内、一部のチャンネルのみを復号化するための情報を付加することで、５.１ｃｈだけでなく７.１ｃｈや９.１ｃｈなどの既存のサラウンドシステムにも同様にして対応することができる。
【００７６】
このようにして、第２の例のフォーマットのＭＰＥＧ準拠の符号化ストリームを復号化した際、５.１ｃｈサラウンドシステムでの再生を可能とするため、復号化した２２.２ｃｈ信号をダウンミックスして５.１ｃｈ信号を生成するのではなく、復号化の時点で５.１ｃｈに対応したストリーム部分（斜線部）だけを復号化して、５.１ｃｈ信号を生成することが可能となる。
【００７７】
また、この第２の例のフォーマットのＭＰＥＧ準拠の符号化ストリームでは、中層と下層＋LFEに復号すべきエレメントが及んでいるので、デコード処理の最適化を図ることからも、中層においてLFEも処理するように中層のチャンネル数を１０.１ｃｈとして符号化ストリームを構成しておくことも可能である。また、５.１ｃｈ出力に関係するエレメントだけを１プログラムとして定義した符号化ストリーム構成としてもよい。
【００７８】
図１０は、図９（Ｂ）にPCE3として示した５.１ｃｈ互換用PCEにおける設定例を示す。この５.１ｃｈ互換用PCEは、従来知られている５.１ｃｈ用PCEと比較して対応するエレメントのタグ番号だけが異なる。
【００７９】
次に、本発明になるオーディオ信号符号化装置により生成されるＭＰＥＧ準拠の符号化ストリームの第３の例について説明する。
【００８０】
図１１は、本発明になるオーディオ信号符号化装置により生成されるＭＰＥＧ準拠の符号化ストリームの第３の例のフォーマットを示す。図１１に示す第３の例のフォーマットは、本発明になるオーディオ信号符号化装置により図２に示した２２.２ｃｈのスピーカ配置で再生される２２.２ｃｈのオーディオ信号をＡＡＣ＋ＳＢＲ符号化方式により符号化して構築した符号化ストリームのフォーマットである。
【００８１】
ＳＢＲ（Spectral Band Replication）は、ＡＡＣのオプションツールとしてＭＰＥＧにて２００３年に追加された技術である。ＡＡＣ＋ＳＢＲ符号化方式は、通常のＡＡＣ符号化では高音質の実現が困難な低ビットレートにおいて、１／２サンプリング周波数を用いてＡＡＣ規格で符号化し、それにより破棄される高域成分については、低域成分から予測復元される高域成分の推定値と原信号の高域成分との差を基に補完情報を生成し、ＡＡＣ符号化ストリーム中のＦＩＬに多重するものである。
【００８２】
図１１に示すフォーマットでは、図５に示した第１の例のフォーマットと同様に、２２.２ｃｈを有する１番組は、高さ方向に分割された３プログラムから構成されるものとして分割を行い、図１１（Ｂ）に示すようにストリームに最初に現れるPCE0を上層用、２番目に現れるPCE1を中層用、最後に現れるPCE2を低層＋LFE用と定義する。そして、このフォーマットでは、図１１（Ｃ）〜（Ｅ）に示すように「raw_data_block」中に上層、中層、下層部＋ＬＦＥに含まれるメインオーディオ用のエレメントSCE、CPEを持ち、各エレメントSCE、CPEの後ろにＳＢＲ情報を含むFIL SBRを連続させている。
【００８３】
上記のＡＡＣ＋ＳＢＲ符号化は、図１に示した平面符号化部１２〜１４により行う。このようにして、図１１に示すＭＰＥＧ規格に準拠した３次元空間用ＡＡＣ＋ＳＢＲ符号化ストリームを構築することができる。
【００８４】
次に、本発明になるオーディオ信号符号化装置により生成されるＭＰＥＧ準拠の符号化ストリームの第４の例について説明する。
【００８５】
図１２は、本発明になるオーディオ信号符号化装置により生成されるＭＰＥＧ−２／４ ＡＡＣ符号化方式の符号化ストリームの第４の例のフォーマットを示す。図１２に示す第４の例のフォーマットは、本発明になるオーディオ信号符号化装置により図２に示した２２.２ｃｈのスピーカ配置で再生される２２.２ｃｈのオーディオ信号と、既存の５.１ｃｈのサラウンドオーディオ信号との互換再生が可能なように符号化して構築した符号化ストリームのフォーマットである。
【００８６】
この図１２に示すフォーマットは、図９に示したフォーマットと同様に、図５に示した高さ方向の分割による３次元空間用符号化ストリームに、図１２（Ｂ）に示すように５.１ｃｈ互換用PCE3を追加した点で図９に示したフォーマットと類似している。しかし、この図１２に示すフォーマットは、図１２（Ｄ）に示すように、中層の符号化要素（エレメント）として、５.１ｃｈのフロントチャネルのＭＦＣの要素SCE3、ミドルチャネルのＭＦＬ及びＭＦＲの要素CPE4、及びバックチャネルのＭＢＬ及びＭＢＲの要素CPE6だけでなく、５.１ｃｈのＬＦＥの要素LFE0も含む点で図９に示したフォーマットと異なる。
【００８７】
図９に示したフォーマットの場合は、CPE6をデコードした後、SCE5及びCPE7を読み捨ててLFE0のデコードを行う必要があったのに対し、この図１２に示すフォーマットでは、CPE6をデコードした後、直ちにLFE0のデコードを行うことができる。
【００８８】
次に、本発明になるオーディオ信号符号化装置により生成されるＭＰＥＧ準拠の符号化ストリームの第５の例について説明する。
【００８９】
図１３は、本発明になるオーディオ信号符号化装置により生成されるＭＰＥＧ−２／４ ＡＡＣ符号化方式の符号化ストリームの第５の例のフォーマットを示す。図１３に示す第５の例のフォーマットは、本発明になるオーディオ信号符号化装置により図２に示した２２.２ｃｈのスピーカ配置で再生される２２.２ｃｈのオーディオ信号と、既存の５.１ｃｈのサラウンドオーディオ信号との互換再生が可能なように符号化して構築した符号化ストリームのフォーマットである点は、図９及び図１２に示したフォーマットと同様であるが、このフォーマットは５.１ｃｈに関係するエレメントだけを１プログラムとして定義したものである。
【００９０】
すなわち、図１３（Ｂ）に示すように、この例の符号化ストリームのフォーマットは、符号化ストリームに最初に現れるエレメントPCE0を５.１ｃｈ用とし、２番目に現れるエレメントPCE1を高さ方向に分割したときの上層用、３番目に現れるエレメントPCE２を高さ方向に分割したときの中層用、４番目に現れるエレメントPCE3を高さ方向に分割したときの下層＋LFE用と定義する。上記のPCE0は、図９（Ｂ）に示したPCE3と同様、５.１ｃｈ、７.１ｃｈ、９.１ｃｈなどの既存のサラウンド音声と同じ音源位置にある情報だけを復号化できるようにするための平面位置情報である。ストリーム統合部１５が平面位置情報に基づいて上記のPCEを生成し、符号化ストリームに統合する。
【００９１】
更に、図１３（Ｂ）に示すように、このフォーマットでは、エレメントPCE3に続いて、５.１ｃｈの情報「5.1ch compatible_layer」を配置し、続いて上層の情報「upper_layer」、中層の情報「middle_layer」、及び下層＋ＬＦＥの情報「lower+LFE_layer」を順番に配置した点に特徴がある。５.１ｃｈの情報「5.1ch compatible_layer」は、図１３（Ｃ）に示される。ストリーム統合部が、各符号化要素を基に「5.1ch compatible_layer」を符号化ストリームに付加する。
【００９２】
このフォーマットの符号化ストリームを復号化する際に、５.１ｃｈ再生を選択した場合は、図１３（Ｂ）に示すPCE0のデコードに続いて、５.１ｃｈの情報「5.1ch compatible_layer」だけをデコードし、続く２次元平面の上層の情報「upper_layer」、中層の情報「middle_layer」、及び下層＋ＬＦＥの情報「lower+LFE_layer」は読み飛ばすことで、図９や図１２に示したフォーマットの符号化ストリームをデコードする場合に比べて、再生処理が高速化できる。
【００９３】
図１４は、本発明になるオーディオ信号符号化装置により生成されるＭＰＥＧ−２／４ ＡＡＣ符号化方式の符号化ストリームの第６の例のフォーマットを示す。図１４に示す第６の例のフォーマットは、図２に示した２２.２ｃｈのスピーカ配置で再生される２２.２ｃｈのオーディオ信号と、２２.２ｃｈのオーディオ信号を５.１ｃｈにダウンミックスした信号を同時に本発明になるオーディオ信号符号化装置に入力し、それぞれを符号化して、一本の符号化ストリームにしたものである。
【００９４】
この第６の例のフォーマットの符号化ストリームを生成する本発明になるオーディオ信号符号化装置は、図１に示した平面符号化部１２〜１４に、更に一つの平面符号化部を追加した構成である。これにより、２２.２ｃｈのオーディオ信号については、図１に示した平面符号化部１２〜１４が、ＭＰＥＧ−２／４ ＡＡＣ符号化方式の符号化ストリームの第１の例を生成する場合と同様に、図３（Ａ）〜（Ｃ）に示すような３つの２次元平面に分割して符号化する。一方、５.１ｃｈダウンミックス信号については、新たに追加された一つの平面符号化部が新たな１プログラムとして符号化し、符号化要素を生成する。そして、図１のストリーム統合部１５において、２２.２ｃｈのオーディオ信号と、５.１ｃｈダウンミックス信号に関する、全ての符号化要素と全ての平面位置情報とを統合して、ＭＰＥＧ準拠の符号化ストリームを構築する。
【００９５】
また、図１４（Ｂ）に示すように、この例の符号化ストリームのフォーマットは、符号化ストリームに最初に現れるエレメントPCE0を５.１ｃｈダウンミックス信号用とし、２番目に現れるエレメントPCE1を高さ方向に分割したときの上層用、３番目に現れるエレメントPCE２を高さ方向に分割したときの中層用、４番目に現れるエレメントPCE3を高さ方向に分割したときの下層＋LFE用と定義している。
【００９６】
更に、図１４（Ｂ）に示すように、このフォーマットでは、エレメントPCE3に続いて、５.１ｃｈダウンミックス信号の情報「5.1ch downmix_layer」を配置し、続いて上層の情報「upper_layer」、中層の情報「middle_layer」、及び下層＋ＬＦＥの情報「lower+LFE_layer」を順番に配置した点に特徴がある。５.１ｃｈダウンミックス信号の情報「5.1ch downmix_layer」は、図１４（Ｃ）に示される。
【００９７】
このフォーマットの符号化ストリームを復号化する際に、５.１ｃｈ再生を選択した場合は、図１４（Ｂ）に示すPCE0のデコードに続いて、５.１ｃｈダウンミックス信号の情報「5.1ch downmix_layer」だけをデコードし、続く２次元平面の上層の情報「upper_layer」、中層の情報「middle_layer」、及び下層＋ＬＦＥの情報「lower+LFE_layer」は読み飛ばすことで、図９や図１２に示したフォーマットの符号化ストリームをデコードする場合に比べて、再生処理が高速化できる。また、予め２２.２ｃｈ信号とは別に、５.１ｃｈ信号を生成しているため、この例のフォーマットの符号化ストリームを復号化した場合は、ダウンミックス係数によりデジタルデータ的に加算する場合に比べて、コンテンツの音質及び、音楽表現は向上する。
【００９８】
【表４】
表４は、表１に５.１ｃｈダウンミックス信号に関する情報を追加したものである。表４は、５.１ｃｈダウンミックス信号の３次元チャンネル配置情報と各チャンネルと図３（Ａ）〜（Ｃ）及び図４（Ａ）〜（Ｃ）に示す対応要素（スピーカ位置）との関係を示している。ここでは、５.１ｃｈダウンミックス信号は、中層部に位置するものとしている。また、２２.２ｃｈのオーディオ信号と、５.１ｃｈダウンミックス信号との区別をするために、ダウンミックス（downmix）識別情報が追加されている。
【００９９】
【表５】
表５は、表２に５.１ｃｈダウンミックス信号に関する情報を追加したものである。平面番号「１」として中層部の２次元平面を示し、そのチャンネル総数は、「６」である。また、ＰＣＥのタグ番号（element_instance_tag）は「０」としている。３次元空間を２次元平面に分割した際の平面総数に応じてＰＣＥの個数は可変し、ＰＣＥに付随するタグ番号も変化するので、５.１ｃｈダウンミックス信号用のタグ番号は常に「０」を使うようにしてもよい。
【０１００】
【表６】
表６は、表３に５.１ｃｈダウンミックス信号に関するチャンネルマッピング情報を追加したものである。downmix識別情報を追加して、５.１ｃｈダウンミックス信号であるｃｈ２４〜ｃｈ２９にのみ、「１」が立つようにしている。また、ｃｈ２４〜ｃｈ２９は、平面番号「１」として中層部の２次元平面を示し、それぞれのチャンネルは、既存の５.１ｃｈサラウンドの配置同様に、フロントチャンネルで単独チャンネルを示す「front single 識別」に割り振られるチャンネル（ｃｈ２４）と、フロントチャンネルでペアチャンネルを示す「front pair識別」に割り振られるチャンネル（ｃｈ２５、２６）と、バックチャンネルでペアチャンネルを示す「back pair識別」に割り振られるチャンネル（ｃｈ２７、２８）と、ＬＦＥチャンネルで単独チャンネルを示す「LFE single 識別」に割り振られるチャンネル（ｃｈ２９）より構成されている。
【０１０１】
そして、図１に新たに追加された前記一つの平面符号化部において、「front single 識別」に割り振られたチャンネルは、ＳＣＥとして符号化され、「front pair識別」、及び「back pair識別」に割り振られたチャンネルは、それぞれＣＰＥとして符号化され、「LFE single 識別」に割り振られたチャンネルは、ＬＦＥとして符号化される。
【０１０２】
図１５は、本発明になるオーディオ信号符号化装置により生成されるＭＰＥＧ−２／４ ＡＡＣ符号化方式の符号化ストリームの第７の例のフォーマットを示す。図１５に示す第７の例のフォーマットは、本発明になるオーディオ信号符号化装置により図２に示した２２.２ｃｈのスピーカ配置で再生される２２.２ｃｈのオーディオ信号を、５.１ｃｈダウンミックス信号に変換するための変換係数を伴ったフォーマットである。
【０１０３】
すなわち、図１５（Ｂ）に示すように、この例の符号化ストリームのフォーマットは、符号化ストリームに最初に現れるエレメントPCE0を上層用、２番目に現れるエレメントPCE1を中層用、３番目に現れるエレメントPCE2を下層＋LFE用と定義し、続いて、DSE（データストリームエレメント）として、DSE0を定義する。このDSE0には５.１ｃｈダウンミックス信号に変換するのに必要な各チャンネルに対する変換係数を記述する。
【０１０４】
図１６は、上記のDSE0の構成を、図６と同様に記述言語を用いて示した図である。図１６において、各名称の後ろには、ビット数とその単位（uimsbfは符号無し整数値）を表している。先頭にある「element_instance_tag」はタグ番号であり、複数のDSEが存在した場合に、それらを区別することができる。「data_byte_align_flag」は、DSE内でバイトアラインが成されたかを示すフラグである。「count」にはデータ長が入る。「esc_count」はデータ長２５５以上を表現するためのものである。「data_stream_byte」にはデータ長分の実データが含められる。以上から、DSE0には実データに関するフォーマットの制約が無いため自由な記述が可能であり、この部分にダウンミックス用変換係数を記述することで、復号化の終わりにそれらの係数を用いてダウンミックスを実行することができる。
【０１０５】
次に、本発明になるオーディオ信号復号化装置について説明する。
【０１０６】
図１７は、本発明になるオーディオ信号復号化装置の第１の実施の形態のブロック図を示す。同図に示すように、本実施の形態のオーディオ信号復号化装置２０は、ストリーム分離部２１と、３つの平面復号化部２２、２３及び２４と、３次元空間合成部２５とから構成され、外部から図５、図９、図１１、図１２又は図１３に示すフォーマットのＭＰＥＧ準拠の符号化ストリームを入力信号として受け、その符号化ストリームを復号化して３次元チャンネル配置情報とＮｃｈオーディオ信号とを出力する。
【０１０７】
ストリーム分離部２１は、入力された上記のＭＰＥＧ準拠の符号化ストリームから３つの２次元平面それぞれの符号化要素と平面位置情報とを分離して、５.１ｃｈ互換用以外の３つの平面位置情報(PCE)は３次元空間合成部２５にそれぞれ供給し、３つの符号化要素は２次元平面毎に設けられた平面復号化部２２、２３及び２４に別々に供給する。
【０１０８】
平面復号化部２２、２３及び２４は、図１に示した平面符号化部１２、１３、１４から出力された符号化要素と同じ符号化要素をストリーム分離部２１から供給され、入力された符号化要素を復号化して、その符号化要素が示す２次元平面の各スピーカ位置に対応したチャンネルのオーディオ信号を出力する。
【０１０９】
例えば、図５に示したフォーマットのＭＰＥＧ−２／４ ＡＡＣ符号化方式の符号化ストリーム入力時は、平面復号化部２２は図５（Ｃ）に示した上層の情報「upper_layer」の符号化要素を復号化し、図３（Ａ）に示した上層の９ｃｈのオーディオ信号を対応するチャンネルに出力する。また、平面復号化部２３は図５（Ｄ）に示した中層の情報「middle_layer」の符号化要素を復号化し、図３（Ｂ）に示した中層の１０ｃｈのオーディオ信号を対応するチャンネルに出力する。更に、平面復号化部２４は図５（Ｅ）に示した下層及びＬＦＥの情報「lower+LFE_layer」の符号化要素を復号化し、図３（Ｃ）に示した下層及びＬＦＥの３.２ｃｈのオーディオ信号を対応するチャンネルに出力する。
【０１１０】
一方、３次元空間合成部２５は、平面復号化部２１から入力される平面位置情報(PCE)から平面分割の種類と個数、２次元平面におけるフロント、サイド、リアの各チャンネル配置を識別した後、これらのチャンネル配置と２次元平面内のチャンネルとの対応をとり、各チャンネルの位置情報をリスニングポイントである原点座標（０，０，０）からの距離で表現された３次元チャンネル配置情報（ｘ,ｙ,ｚ)を出力する。
【０１１１】
このようにして、平面復号化部２２、２３及び２４から復号化された全部で２２.２ｃｈ（＝Ｎｃｈ）のオーディオ信号と、３次元空間合成部２５から出力された３次元チャンネル配置情報とを出力することにより、各チャンネルの３次元空間内の位置を明確にすることができ、図示しない対応する各チャンネルのスピーカによって立体音場を再生させることができる。このように、本実施の形態によれば、ＭＰＥＧ−２／４ ＡＡＣ規格に準拠した符号化ストリームを復号化して、２２.２ｃｈの各チャンネルの音源位置を明確に指定した立体音場の再生ができる。
【０１１２】
また、図１４に示すフォーマットのＭＰＥＧ準拠の符号化ストリームを復号化する本発明のオーディオ信号復号化装置は、図１７に示した本発明のオーディオ信号復号化装置２０内に、平面復号化部２２〜２４に並列に更に一つの平面復号化部を新たに追加すると共に、ストリーム分離部２１により前記３つの２次元平面それぞれの符号化要素と平面位置情報とを分離すると共に、５.１ｃｈダウンミックス信号に関する符号化要素と平面位置情報も分離できるようにする。
【０１１３】
これにより、２２.２ｃｈのオーディオ信号に対応する３つの符号化要素は２次元平面毎に設けられた平面復号化部２２、２３及び２４により復号化される。また、５.１ｃｈダウンミックス信号に関する符号化要素は、上記の新たに追加された平面復号化部により復号化されて、オーディオ信号として出力される。また、３次元空間合成部２５は、２２．２ｃｈのオーディオ信号に関する３つの平面位置情報と５.１ｃｈダウンミックス信号に関する平面位置情報から、３次元チャンネル配置情報（ｘ,ｙ,ｚ)を出力する。
【０１１４】
図１８は、本発明になるオーディオ信号復号化装置の第２の実施の形態のブロック図を示す。同図中、図１７と同一構成部分には同一符号を付し、その説明を省略する。同図に示すように、本実施の形態のオーディオ信号復号化装置３０は、ストリーム分離部３１と、３つの平面復号化部２２、２３及び２４と、３次元空間合成部２５と、ダウンミックス部３２とから構成される。このオーディオ信号復号化装置３０は、外部から図１５に示すフォーマットのＭＰＥＧ準拠の符号化ストリームを入力信号として受け、その符号化ストリームを復号化して３次元チャンネル配置情報とＮｃｈオーディオ信号を生成し、そして、外部より入力されたダウンミックス選択フラグに応じて、Ｎｃｈオーディオ信号を出力するか、または、ダウンミックスされたオーディオ信号を出力する。
【０１１５】
図１７に示したオーディオ信号復号化装置２０との相違点は、オーディオ信号復号化装置３０は、ストリーム分離部３１において、３つの平面位置情報及び符号化要素と共に変換係数情報を分離する点と、外部よりダウンミックス選択フラグの入力を伴ったダウンミックス部３２を有している点である。以下では、その相違点について詳細に説明する。
【０１１６】
例えば、図１５に示したフォーマットのＭＰＥＧ−２／４ ＡＡＣ符号化方式の符号化ストリーム入力時は、オーディオ信号復号化装置３０はストリーム分離部３１において図１５（Ｂ）に示したDSE0を分離し、５.１ｃｈダウンミックス信号に変換するのに必要な各チャンネルに対する変換係数情報を抽出し、ダウンミックス部３２に渡す。
【０１１７】
ダウンミックス部３２は、３次元空間合成部２５からの３次元チャンネル配置情報と、平面復号化部２２、２３及び２４からの全部でＮｃｈの復号オーディオ信号と、上記変換係数情報と、ダウンミックス選択フラグとを入力として受け、ダウンミックス選択フラグに応じて、Ｎｃｈオーディオ信号、またはダウンミックスされたオーディオ信号を出力する。上記の３次元チャンネル配置情報と変換係数情報とが対になっているため、入力されたＮｃｈオーディオ信号に乗じる変換係数は、チャンネル番号により識別される。また、ダウンミックス選択フラグは、例えば、表７に示すような種類が存在する。
【０１１８】
【表７】
表７において、ダウンミックス選択フラグ番号「０」は、ダウンミックスを行わずＮｃｈオーディオ信号をそのまま出力するモードである。また、ダウンミックス選択フラグ番号「１」は、ダウンミックスを実行し、１枚の２次元平面に存在する５.１ｃｈとして出力するモードである。また、ダウンミックス選択フラグ番号「２」は、ダウンミックスを実行し、１枚の２次元平面に存在する２ｃｈとして出力するモードである。また、ダウンミックス選択フラグ番号「３」は、ダウンミックスにより、１枚の２次元平面に存在する２ｃｈバイノーラル信号を生成するモードである。更に、ダウンミックス選択フラグ番号「４」は、平面総数分の２次元平面に存在する５.１ｃｈとして出力するモードである。
【０１１９】
図１９は、図１８中のダウンミックス部３２の一例のブロック図を示す。図１９に示すように、ダウンミックス部３２は、モード１ブロック３２１、モード２ブロック３２２、モード３ブロック３２３、モード４ブロック３２４及び出力セレクタ３２５から構成されている。モード番号は表７に示したダウンミックス選択フラグ番号に対応している。入力されたダウンミックス選択フラグに応じて、モード１ブロック３２１〜モード４ブロック３２４のうち、各番号に対応したモードブロックが有効になり、入力されたオーディオ信号、３次元チャンネル配置情報、及び変換係数情報を用いてダウンミックス処理がなされて、出力セレクタ３２５からオーディオ信号が出力される。以下、各モードついて詳細に説明する。
【０１２０】
まず、ダウンミックス部３２に、ダウンミックス選択フラグ番号「０」が入力された場合の構成及び動作について説明する。この場合は、ダウンミックス部３２は、ダウンミックスを行わず、入力されたＮｃｈオーディオ信号を出力セレクタ３２５で選択してそのまま出力する。この場合、モード１ブロック３２１〜モード４ブロック３２４は使用しない。
【０１２１】
次に、ダウンミックス部３２に、ダウンミックス選択フラグ番号「１」が入力された場合の構成及び動作について説明する。この場合は、ダウンミックス部３２は、モード１ブロック３２１を有効とすると共に、出力セレクタ３２５をモード１ブロック３２１から出力されるオーディオ信号を選択する。
【０１２２】
図２０は、モード１ブロック３２１の一例の全体ブロック図を示す。同図に示すように、モード１ブロック３２１は、上層チャンネルダウンミックス部１０１、中層チャンネルダウンミックス部１０２、下層チャンネルダウンミックス部１０３及び５.１ｃｈ合成部１０４から構成されている。モード１ブロック３２１は、入力された３次元チャンネル配置情報に基づいて、各ダウンミックス部１０１〜１０３で入力されたＮｃｈオーディオ信号の必要なチャンネルのオーディオ信号を選択してダウンミックス処理を行う。
【０１２３】
上層チャンネルダウンミックス部１０１は、Ｎｃｈオーディオ信号のうち上層部に存在するチャンネルのオーディオ信号について、変換係数情報を用いて５.１ｃｈのダウンミックス信号に変換し、そのダウンミックス信号を５.１ｃｈ合成部１０４へ出力する。同様に、中層チャンネルダウンミックス部１０２、下層チャンネルダウンミックス部１０３は、変換係数情報を用いて中層部、下層部に存在するチャンネルのオーディオ信号をそれぞれ５.１ｃｈのダウンミックス信号に変換し、そのダウンミックス信号を５.１ｃｈ合成部１０４へ出力する。
【０１２４】
５.１ｃｈ合成部１０４は、各ダウンミックス部１０１〜１０３から入力された５．１ｃｈダウンミックス信号について、対応するチャンネル毎に加算することで、１枚の２次元平面に存在する最終的な５.１ｃｈのオーディオ信号を生成して出力する。
【０１２５】
ダウンミックス方法について説明する。例えば、前述したＭＰＥＧ−２ ＡＡＣ規格は、下記の式（１ａ）、（１ｂ）を用いて１枚の２次元平面でのダウンミックスを実行し、左右の２ｃｈ（L'、R'）に変換する。
【０１２６】
【数１】
式（１ａ）、（１ｂ）において、右辺はオリジナル音声に関し、Ｌは左フロントチャンネル信号、Ｒは右フロントチャンネル信号、Ｃは前方センターチャンネル信号、Ｌsは左リアチャンネル信号、Ｒsは右リアチャンネル信号、Ａはダウンミックスの係数を示す。また、Ｌ’は左チャンネルのダウンミックス信号、Ｒ’は右チャンネルのダウンミックス信号を示す。
【０１２７】
ここで、係数Ａは可変の値で、１/√２、１/２、１/(２√２）、０という値をとれる。このため、例えば、Ａ＝１/√２を用いるとすると、式（１ａ）、（１ｂ）は下記の式（２ａ）、（２ｂ）で表現することができる。
【０１２８】
Ｌ’＝Ｃ１×［Ｌ＋Ｃ２×（Ｃ＋ＬＳ）］ （２ａ）
Ｒ’＝Ｃ１×［Ｒ＋Ｃ２×（Ｃ＋ＲＳ）］ （２ｂ）
ただし、式（２ａ）、（２ｂ）中、Ｃ１、Ｃ２は係数である。
【０１２９】
ＭＰＥＧ−２ ＡＡＣ規格に示したダウンミックス手法は、再生出力を行うチャンネルである(Ｌ,Ｒ)の側面にあるチャンネル（ＬならばＣとＬs、ＲならばＣとＲs)に係数を乗じて加算しているので、これを中層部に応用して、中層ダウンミックスＬをＭ_Ｌ、中層ダウンミックスＲをＭ_Ｒ、中層ダウンミックスＣをＭ_Ｃ、中層ダウンミックスＢＬをＭ_ＢＬ、中層ダウンミックスＢＲをＭ_ＢＲとし、中層ダウンミックスＬＦＥをＭ_ＬＦＥとすると、係数Ｃ１、Ｃ２と中層の１０チャンネル(MFL,MFLC,MFC,MFRC,MFR,MSL,MSR,MBL,MBC,MBR)とを用いて以下のような式となる。ここでは、係数Ｃ１、Ｃ２の値として、例えば、Ｃ１＝(２／３）、Ｃ２＝（１/√２）としている。
【０１３０】
Ｍ_Ｌ＝Ｃ１×［ＭＦＬ＋Ｃ２×（ＭＦＬＣ＋ＭＳＬ）］ （３ａ）
Ｍ_Ｒ＝Ｃ１×［ＭＦＲ＋Ｃ２×（ＭＦＲＣ＋ＭＳＲ）］ （３ｂ）
Ｍ_Ｃ＝Ｃ１×［ＭＦＣ＋Ｃ２×（ＭＦＬＣ＋ＭＦＲＣ）］ （３ｃ）
Ｍ_ＢＬ＝Ｃ１×［ＭＢＬ＋Ｃ２×（ＭＳＬ＋ＭＢＣ）］ （３ｄ）
Ｍ_ＢＲ＝Ｃ１×［ＭＢＲ＋Ｃ２×（ＭＳＲ＋ＭＢＣ）］ （３ｅ）
Ｍ_ＬＦＥ＝０ （３ｆ）
上層部についても、これを応用して、上層ダウンミックスＬをＵ_Ｌ、上層ダウンミックスＲをＵ_Ｒ、上層ダウンミックスＣをＵ_Ｃ、上層ダウンミックスＢＬをＵ_ＢＬ、上層ダウンミックスＢＲをＵ_ＢＲとし、上層ダウンミックスＬＦＥをＵ_ＬＦＥとすると、これらは、係数Ｃ１、Ｃ２、Ｃ３と、上層の９チャンネル（UFL,UFC,UFR,USL,USC,USR,UBL,
UBC,UBR）とを用いて以下のような式となる。ここでは、係数Ｃ１、Ｃ２、Ｃ３の値として、例えば、Ｃ１＝(２／３）、Ｃ２＝Ｃ３＝（１/√２）としている。
【０１３１】
Ｕ_Ｌ＝Ｃ１×［Ｃ３×（ＵＦＬ＋Ｃ２×ＵＳＬ）］ （４ａ）
Ｕ_Ｒ＝Ｃ１×［Ｃ３×（ＵＦＲ＋Ｃ２×ＵＳＲ）］ （４ｂ）
Ｕ_Ｃ＝Ｃ１×［Ｃ３×（ＵＦＣ＋Ｃ２×ＵＳＣ）］ （４ｃ）
Ｕ_ＢＬ＝C1×［C3×｛ＵＢＬ＋C2×（ＵＳＬ＋ＵＢＣ）＋ＵＳＣ｝］ （４ｄ）
Ｕ_ＢＲ＝C1×［C3×｛ＵＢＲ＋C2×（ＵＳＲ＋ＵＢＣ）＋ＵＳＣ｝］ （４ｅ）
Ｕ_ＬＦＥ＝０ （４ｆ）
下層部については、ダウンミックスすべき信号は、ＬＦＥチャンネルだけである。下層ダウンミックスＬをＬ_Ｌ、下層ダウンミックスＲをＬ_Ｒ、下層ダウンミックスＣをＬ_Ｃ、下層ダウンミックスＢＬをＬ_ＢＬ、下層ダウンミックスＢＲをＬ_ＢＲとし、下層ダウンミックスＬＦＥをＬ_ＬＦＥとすると、係数Ｃ１、Ｃ２と下層の３チャンネル(LFL,LFC,LFR)とＬＦＥの２チャンネル(LFEL,LFER)とを用いて以下のような式となる。ここでは、係数Ｃ１、Ｃ２の値として、例えば、Ｃ１＝(２／３）、Ｃ２＝（１/√２）としている。
【０１３２】
Ｌ_Ｌ＝Ｃ１×ＬＦＬ （５ａ）
Ｌ_Ｒ＝Ｃ１×ＬＦＲ （５ｂ）
Ｌ_Ｃ＝Ｃ１×ＬＦＣ （５ｃ）
Ｌ_ＢＬ＝０ （５ｄ）
Ｌ_ＢＲ＝０ （５ｅ）
Ｌ_ＬＦＥ＝Ｃ２×（ＬＦＥＬ＋ＬＦＥＲ） （５ｆ）
以上より、最終の５.１ｃｈダウンミックス信号を、Ｌ'、Ｒ'、Ｃ'、ＢＬ'、ＢＲ'、ＬＦＥ’とすると、これらは以下の式で表される。
【０１３３】
Ｌ’＝（Ｕ_Ｌ）＋（Ｍ_Ｌ）＋（Ｌ_Ｌ） （６ａ）
Ｒ’＝（Ｕ_Ｒ）＋（Ｍ_Ｒ）＋（Ｌ_Ｒ） （６ｂ）
Ｃ’＝（Ｕ_Ｃ）＋（Ｍ_Ｃ）＋（Ｌ_Ｃ） （６ｃ）
ＢＬ’＝（Ｕ_ＢＬ）＋（Ｍ_ＢＬ）＋（Ｌ_ＢＬ） （６ｄ）
ＢＲ’＝（Ｕ_ＢＲ）＋（Ｍ_ＢＲ）＋（Ｌ_ＢＲ） （６ｅ）
ＬＦＥ’＝（Ｕ_ＬＦＥ）＋（Ｍ_ＬＦＥ）＋（Ｌ_ＬＦＥ） （６ｆ）
前述の例で示したＣ１＝（２／３）、Ｃ２＝Ｃ３＝（１/√２）の場合、Ｃ１＝（−３.５）ｄＢ、Ｃ２＝Ｃ３＝（−３.０）ｄＢであるので、この値と加算時の増加量（＋６ｄＢ）とを考慮して信号の増加レベルを計算すると、ダウンミックス後の信号(Ｌ'、Ｒ'、Ｃ'、ＢＬ'、ＢＲ'）は、−１.４４ｄＢ、ＬＦＥ’は０ｄＢとなり、ほぼ元の信号レベルに近い値を持つダウンミックス信号を生成することができる。
【０１３４】
以上の変換係数についてDSEを用いて符号化ストリームで伝送する際に、ダウンミックス信号の計算の仕方を、オーディオ信号符号化装置とオーディオ信号復号化装置で、上式のように取り決めるのであれば、係数Ｃ１、Ｃ２、Ｃ３だけを伝送するようにすればよい。もし、計算の仕方に自由度を持たせるのであれば、チャンネル毎に乗じる係数に分解して、それぞれを伝送するようにする。式（３ａ）〜式（６ｆ)を分解してチャンネルに対応させた表を表８に示す。
【０１３５】
【表８】
このようにすれば、各チャンネルのオーディオ信号に、対応するダウンミックスチャンネル生成要素の係数を乗じるだけで、ダウンミックスチャンネルの生成ができ、計算式に縛られることは無い。また、式（３ａ）〜式（６ｆ）からも分るように、２次元平面単位で、５.１ｃｈダウンミックス信号を生成することができるので、符号化ストリームを図２１に示すようなフォーマットに構成することができる。
【０１３６】
図２１は、本発明になるオーディオ信号符号化装置により生成されるＭＰＥＧ−２／４ ＡＡＣ符号化方式の符号化ストリームの第８の例のフォーマットを示す。このフォーマットは、図２１（Ｂ）に示すように、符号化ストリームに最初に現れるエレメントPCE0を上層用、２番目に現れるエレメントPCE1を中層用、３番目に現れるエレメントPCE2を下層＋LFE用と定義し、続いて、DSEを同様な順番で、DSE0を上層用、DSE1を中層用、DSE2を下層+LFE用と定義している。そして、各DSEでは、各２次元平面に含まれるチャンネルの変換係数だけを送る。この変換係数とチャンネルと平面番号と対応要素との関係は、例えば、表９Ａ、表９Ｂ、表９Ｃに示すようになる。
【０１３７】
【表９Ａ】
【０１３８】
【表９Ｂ】
【０１３９】
【表９Ｃ】
以上の変換係数を用いて、モード１ブロック３２１は５.１ｃｈのダウンミックス処理を行う。図２２は、モード１ブロック３２１内の表９Ａに対応した上層チャンネルに対するダウンミックス処理を行う図２０の上層チャンネルダウンミックス部１０１の一例の構成図を示す。図２２に示すように、上層チャンネルダウンミックス部１０１は、上層の９チャンネルのそれぞれと変換係数情報とを乗算する９個の乗算器１０１１と、所定の乗算器出力を加算する加算器１０１２〜１０１４と、乗算器１０１５と、加算器１０１６及び１０１７とより構成される。これにより、上層チャンネルダウンミックス部１０１は、式（４ａ）〜式（４ｆ）に示した上層の５.１ｃｈダウンミックス出力（U_L,U_R,U_C,U_BL,U_BR,U_LFE）を生成して出力する。
【０１４０】
同様に、図２３は、モード１ブロック３２１内の表９Ｂに対応した中層チャンネルに対するダウンミックス処理を行う図２０の中層チャンネルダウンミックス部１０２の一例の構成図を示す。図２３に示すように、中層チャンネルダウンミックス部１０２は、中層の１０チャンネルのそれぞれと変換係数情報とを乗算する１０個の乗算器１０２１と、所定の乗算器出力を加算する加算器１０２２〜１０２６とより構成される。これにより、中層チャンネルダウンミックス部１０２は、式（３ａ）〜式（３ｆ）に示した中層の５.１ｃｈダウンミックス出力（M_L,M_R,M_C,M_BL,M_BR,M_LFE）を生成して出力する。
【０１４１】
同様に、図２４は、モード１ブロック３２１内の表９Ｃに対応した下層チャンネルに対するダウンミックス処理を行う図２０の下層チャンネルダウンミックス部１０３の一例の構成図を示す。図２４に示すように、下層チャンネルダウンミックス部１０３は、下層の５チャンネルのそれぞれと変換係数情報とを乗算する５個の乗算器１０３１と、所定の乗算器出力を加算する加算器１０３２とより構成される。これにより、下層チャンネルダウンミックス部１０３は、式（５ａ）〜式（５ｆ）に示した下層の５.１ｃｈダウンミックス出力（L_L,L_R,L_C,L_BL,L_BR,L_LFE）を生成して出力する。
【０１４２】
図２５は、図２０のモード１ブロック３２１内の５.１ｃｈ合成部１０４の一例のブロック図を示す。図２５に示すように、５.１ｃｈ合成部１０４は、上層、中層及び下層の各チャンネルのうち、５.１ｃｈの対応するチャンネルの信号同士を加算する６個の加算器１０４１〜１０４６により、式（６ａ）〜式（６ｆ）に示した加算結果をそれぞれ得て、前述の最終の５.１ｃｈダウンミックス信号Ｌ'、Ｒ'、Ｃ'、ＢＬ'、ＢＲ'、ＬＦＥ’を出力する。
【０１４３】
次に、ダウンミックス部３２に、ダウンミックス選択フラグ番号「２」が入力された場合の構成及び動作について説明する。この場合は、ダウンミックス部３２は、図１９のモード２ブロック３２２を有効とすると共に、出力セレクタ３２５をモード２ブロック３２２から出力されるオーディオ信号を選択する。
【０１４４】
図２６は、モード２ブロック３２２の一例の全体ブロック図を示す。同図に示すように、モード２ブロック３２２は、上層チャンネルダウンミックス部２０１、中層チャンネルダウンミックス部２０２、下層チャンネルダウンミックス部２０３、５.１ｃｈ合成部２０４及び２ｃｈ合成部２０５から構成されている。モード２ブロック３２２は、入力された３次元チャンネル配置情報に基づいて、各ダウンミックス部２０１〜２０３で入力されたＮｃｈオーディオ信号の必要なチャンネルを選択させてダウンミックス処理させた後、５．１ｃｈ合成部２０４で５.１ｃｈのダウンミックス信号を生成した後、２ｃｈ合成部２０５により５.１ｃｈダウンミックス信号から２ｃｈのオーディオ信号に変換して出力する。
【０１４５】
モード２ブロック３２２は、図２０に示したモード１ブロック３２１と同様の構成に、２ｃｈ合成部２０５を追加した構成であるので、次に２ｃｈ合成部２０５について説明する。
【０１４６】
図２７は、図２６中の２ｃｈ合成部２０５の一例のブロック図を示す。図２７に示すように、２ｃｈ合成部２０５は、５.１ｃｈダウンミックス信号Ｌ'、Ｒ'、Ｃ'、ＢＬ'、ＢＲ'、ＬＦＥ’と変換係数情報とをそれぞれ乗算する乗算器２０５１〜２０５５と、乗算器２０５１、２０５３、２０５４の各出力信号を加算合成する加算器２０５６と、乗算器２０５２、２０５３、２０５５の各出力信号を加算合成する加算器２０５７とより構成されている。加算器２０５６は、ダウンミックスした左チャンネル信号Ｌ”を出力する。また、加算器２０５７は、ダウンミックスした右チャンネル信号Ｒ”を出力する。
【０１４７】
次に、ダウンミックス部３２に、ダウンミックス選択フラグ番号「３」が入力された場合の構成及び動作について説明する。この場合は、ダウンミックス部３２は図１９のモード３ブロック３２３を有効とすると共に、出力セレクタ３２５をモード３ブロック３２３から出力されるオーディオ信号を選択する。
【０１４８】
ダウンミックス選択フラグ番号「３」の場合、モード３ブロック３２３によるダウンミックスにより、１枚の２次元平面上の２ｃｈバイノーラル（binaural)信号を生成する。バイノーラル信号を生成するためには、Ｎｃｈオーディオ信号の位置を示す３次元チャンネル配置情報で示されるオーディオ信号の音源位置（Ｘ，Ｙ，Ｚ）から、聴取者位置（０，０，０）に着席する聴取者の右耳までの頭部伝達関数（ＨＲＴＦ_Ｒ）と当該聴取者の左耳までの頭部伝達関数（ＨＲＴＦ_Ｌ）とを予め測定しておき、それらの頭部伝達関数に基づくフィルタ係数を用いて、各信号にフィルタ演算を行い、右耳用、左耳用にまとめることを行う。
【０１４９】
図２８は、モード３ブロック３２３の一例の全体ブロック図を示す。図２８において、モード３ブロック３２３は、各チャンネルｃｈ０〜ｃｈＮ−１のオーディオ信号が入力される左耳用のＮ個のフィルタ３２３１0〜３２３１N-1と、各チャンネルｃｈ０〜ｃｈＮ−１のオーディオ信号が入力される右耳用のＮ個のフィルタ３２３２0〜３２３２N-1と、フィルタ３２３１0〜３２３１N-1の各出力信号を加算する加算器３２３３と、フィルタ３２３２0〜３２３２N-1の各出力信号を加算する加算器３２３４とより構成される。
【０１５０】
モード３ブロック３２３の各フィルタ３２３１0〜３２３１N-1と３２３２0〜３２３２N-1とは、ダウンミックス選択フラグ番号「３」が選択された場合に、入力される変換係数情報に基づいたフィルタ係数に設定される。このフィルタ係数は、各チャンネルに対する対応要素（UFCなど）に対応した頭部伝達関数（HRTF: Head-Related Transfer Function)に基づくフィルタ係数である。固定位置に対する頭部伝達関数のデータベースで十分であれば、符号化ストリームとして伝送する必要はないが、自由度の高い３次元配置を必要とする場合には、その３次元配置からリスナーの右耳、左耳までの頭部伝達関数が必要となる。
【０１５１】
図２８において、前述からの例でいえば、ｃｈ０はＵＦＣであり、ＵＦＣの３次元配置（0, Y, Z)から発した音がリスナーの左耳に届く際の伝達特性（HRTF(0, L)）をフィルタ３２３１0により、またリスナーの右耳に届く際の伝達特性（HRTF(0, R))をフィルタ３２３２0によりそれぞれｃｈ０の信号に畳み込み、出力する。同様に、ｃｈ１の信号に対して、ＵＦＬの伝達特性HRTF(1, L)をフィルタ３２３１1により、また、伝達関数HRTF(1, R)をフィルタ３２３２1により、それぞれ畳み込み、出力する。
【０１５２】
そして、加算器３２３３は、全てのＬｃｈに対するフィルタ３２３１0〜３２３１N-1の各出力信号を加算合成してＬチャンネルのバイノーラル信号を出力する。また、これと並行して加算器３２３４は、全てのＲｃｈに対するフィルタ３２３２0〜３２３２N-1の各出力信号を加算合成してＲチャンネルのバイノーラル信号を出力する。このモードは、ヘッドホン試聴時に有効なモードとなる。
【０１５３】
次に、ダウンミックス部３２に、ダウンミックス選択フラグ番号「４」が入力された場合の構成及び動作について説明する。この場合は、ダウンミックス部３２は、図１９のモード４ブロック３２４を有効とすると共に、出力セレクタ３２５をモード４ブロック３２４から出力されるオーディオ信号を選択する。
【０１５４】
図２９は、モード４ブロック３２４の一例の全体ブロック図を示す。同図に示すように、モード４ブロック３２４は、上層チャンネルダウンミックス部３２４１、中層チャンネルダウンミックス部３２４２、下層チャンネルダウンミックス部３２４３から構成されている。このモード４ブロック３２４は、図２０に示したモード１ブロック３２１と同様の構成から５.１ｃｈ合成部１０４を削除した構成である。
【０１５５】
このモードは、平面総数だけ存在する２次元平面について、２次元平面毎に５.１ｃｈダウンミックスを行い出力するモードである。このモードの利点は、上層用に９ｃｈ分のスピーカを設置できない場合でも、図３０に示すような、上層、中層、下層用にそれぞれ合計３個のユニットを備えたトールボーイ型スピーカ４１〜４５を配置することで、計５本のスピーカ４１〜４５と１個のサブウーハー（ＬＦＥ）とにより、１枚の２次元平面上での５.１ｃｈダウンミックスでは得られない効果を得ることができる点である。
【０１５６】
なお、本発明は以上の実施の形態に限定されるものではなく、例えば「ストリームに最初に現れるPCE0を上層用、２番目に現れるPCE1を中層用、３番目に現れるPCE2を低層＋ＬＦＥ用と定義する」といった取り決めを行わないのであれば、別途PCE中のコメントフィールドに前述した３種類の平面情報を記載したり、あるいは、DSE(データストリームエレメント)に記載するようにし、PCEの「element_instance_tag」の順番（小さい番号）からの並びと対応させる（この番号がプログラム番号を意味する。）ようにしてもよい。この場合は、上記の３つの平面の情報を自由な並びで配置できる。
【０１５７】
また、オーディオ信号符号化装置１０は、３つの平面符号化部１２〜１４を有しているが、１個の符号化部でメモリに蓄えつつ、３平面分の符号化処理を行うようにしてもよい。同様に、オーディオ信号復号化装置２０は、３つの平面復号化部２２〜２４を有しているが、１個の復号化部でメモリに蓄えつつ、３平面分の復号化処理を行うようにしてもよい。更に、本発明は２２.２ｃｈ以外の多チャンネルの３次元空間に配置されたスピーカにより立体音場を形成する多チャンネルオーディオ信号にも適用できることは勿論である。
【０１５８】
また、以上の実施の形態ではＭＰＥＧ−２／４ ＡＡＣ方式を例に説明したが、例えば、Ｅ−ＡＣ３方式に本発明を適用することができる。Ｅ−ＡＣ３方式の場合、公知の文献（"SMPTE Proposed Recommended Practice, Digital Cinema Channel Mapping and Labeling, RP 226,"(c)SMPTE 2004）に示された上方スピーカを伴ったチャンネル配置に準拠して符号化ストリームを生成することができるが、チャンネル配置がSMPTE提案に限定的であるため、２２.２ｃｈを符号化することができない。しかし、本発明のオーディオ信号符号化装置は複数のプログラムを１本のストリームに統合化できる符号化を行うため、本発明をＥーＡＣ３方式に適用可能である。
【０１５９】
また、本発明はオーディオ信号符号化装置１０の動作をコンピュータにより実行する符号化プログラムや、オーディオ信号復号化装置２０，３０の動作をコンピュータにより実行する復号化プログラムも包含するものである。
【符号の説明】
【０１６０】
１０ オーディオ信号符号化装置
１１ ３次元空間分割部
１２、１３、１４ 平面符号化部
１５ ストリーム統合部
２０、３０ オーディオ信号復号化装置
２１、３１ ストリーム分離部
２２、２３、２４ 平面復号化部
２５ ３次元空間合成部
３２ ダウンミックス部
４１〜４５ トールボーイ型スピーカ
１０１、２０１、３２４１ 上層チャンネルダウンミックス部
１０２、２０２、３２４２ 中層チャンネルダウンミックス部
１０３、２０３、３２４３ 下層チャンネルダウンミックス部
１０４、２０４ ５.１ｃｈ合成部
２０５ ２ｃｈ合成部
３２１ モード１ブロック
３２２ モード２ブロック
３２３ モード３ブロック
３２４ モード４ブロック
３２５ 出力セレクタ
【技術分野】
【０００１】
本発明はオーディオ信号符号化方法、符号化装置、復号化方法及び復号化装置に係り、特に多チャンネルのオーディオ信号に対して、所定の音声符号化方式の規格に準拠したオーディオ符号化信号を生成するオーディオ信号符号化方法及び符号化装置、並びにその符号化されたオーディオ信号を復号化する復号化方法及び復号化装置に関する。
【背景技術】
【０００２】
多チャンネルのオーディオ信号を符号化するオーディオ信号符号化方式として、複数のエンコーダを用いる方式が知られている（例えば、特許文献１参照）。
【０００３】
このオーディオ信号符号化方式では、符号化側では多チャンネルのオーディオ信号（音声信号）を、それぞれのチャンネルに対応するＡ／Ｄコンバータでデジタル信号に変換した後、各チャンネルに対応した並列駆動の複数のエンコーダ群でそれぞれの群毎に、例えば現行のデジタル放送において実績があるＭＰＥＧ−２ ＡＡＣ(Moving Picture Experts Group 2 Advanced Audio Coding)規格により符号化し、一本の伝送ストリームに多重して送出する。
【０００４】
復号化側では、受信した一本の伝送ストリームから複数の群毎の多チャンネルオーディオ信号を分離して、それぞれを並列駆動の複数のデコーダ群でＭＰＥＧ−２ ＡＡＣ規格に基づいて伸張処理した後、元の多チャンネルそれぞれに対応したＤ／Ａコンバータによりアナログ信号のオーディオ信号に復号化する。この復号化された多チャンネルのオーディオ信号は、聴取位置を中心とする水平平面とその上方の水平平面にそれぞれ配置された複数個のスピーカに供給されてこれらを駆動することにより、３次元的音場を再現する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０００−２３６５９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記のＭＰＥＧ−２ ＡＡＣ規格は、２次元平面（幅×奥行き）に設置された複数個のスピーカにより再生を行うオーディオ信号を符号化する方式であり、チャンネル配置情報も２次元平面を想定している。すなわち、３次元空間（幅×奥行き×高さ）に設置された複数個のスピーカにより再生を行う場合を想定していないため、多平面（３次元空間）におけるチャンネル配置を、例えば上方フロントチャンネル何チャンネルのように、３次元空間用のチャンネル配置情報を定義することができない。
【０００７】
このため、上記の従来のオーディオ信号符号化方法では、フロントチャンネルと、上方フロントチャンネルを識別することができず、一本の伝送ストリームとして多平面を伝送することができない。従って、上記の従来のオーディオ信号符号化方法では、３次元の音源位置を明確に指定した３次元の音場再現ができない。
【０００８】
また、上記の従来のオーディオ信号符号化方法では、送信側（符号化側）で多チャンネルの独立した複数のＭＰＥＧ−２ ＡＡＣ規格の符号化信号をそれぞれ所定ビット毎に分割してストリームとして一本の伝送路上に時分割多重して送り出すようにしているため、伝送ストリームは、ＭＰＥＧ−２ ＡＡＣ規格に準拠したストリームではない。従って、復号化装置として、ＭＰＥＧ−２ ＡＡＣ規格に準拠したデコーダを用意しても、従来のオーディオ信号符号化方法固有の分離処理を行わなければ、受信した一本の伝送ストリームをそのまま復号化することができない。
【０００９】
更に、上記の従来のオーディオ信号符号化方法では、多重化する前に、複数本の独立した符号化ストリームを作るために、チャンネル数に応じた多数のエンコーダが必要であり、また時分割多重のための多重器も必要であるため、回路規模が大きく、また符号化ストリームそれぞれが、ヘッダ情報（同期コードなど）や転送レート調整用ビット等を有しているので、それらを多重化すると冗長な情報により一本のストリームサイズが大きくなり、伝送効率が悪い。上記の従来のオーディオ信号復号化方法も同様に、多数のデコーダだけでなく、分離器も必要であるため回路規模が大きくなってしまう。
【００１０】
本発明は以上の点に鑑みなされたもので、３次元の音源位置を明確に指定した３次元の音場再現を、ＭＰＥＧ−２ ＡＡＣ規格、ＭＰＥＧ−４ ＡＡＣ規格、ＡＣ−３（Audio Code number3）を基にしたＥ−ＡＣ３(Enhanced AC3)方式等の所定の符号化方式に準拠した符号化ストリームにより可能とすると共に伝送効率の良いオーディオ信号符号化を行い得るオーディオ信号符号化方法、符号化装置、復号化方法及び復号化装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記の目的を達成するため、本発明のオーディオ信号符号化方法は、複数チャンネルのオーディオ信号を出力する３次元空間に立体的に配置される複数のスピーカの各スピーカの位置と、３次元空間を複数の２次元平面に分割するための方向である分割方向とに基づいて、２次元平面の数と、各平面に対応するチャンネル数と、２次元平面の分割順序とを含む平面情報を出力し、さらに、各チャンネルが対応する各スピーカの２次元平面内における位置を示すチャンネルマッピング情報を出力する第１のステップと、平面情報とチャンネルマッピング情報とに基づいて、複数チャンネルのオーディオ信号を２次元平面毎にひとまとまりのプログラムとして符号化を行うことで符号化要素を生成し、さらに、２次元平面内のチャンネル配置を示す情報を含む平面位置情報を生成し、その符号化要素と平面位置情報とを２次元平面毎に出力する第２のステップと、第２のステップにより２次元平面毎に出力された符号化要素と平面位置情報とを全て統合して、１本の符号化ストリームを生成して出力する第３のステップとを含むことを特徴とする。
【００１２】
ここで、上記第３のステップで生成される１本の符号化ストリームには、３次元空間に立体的に配置される複数チャンネルのオーディオ信号の内、一部のチャンネルのみを復号化できるようにするための情報が平面位置情報として付加されていてもよい。
【００１３】
また、上記第３のステップで生成される１本の符号化ストリームには、３次元空間に立体的に配置される複数チャンネルのオーディオ信号を、複数チャンネルよりも少ないチャンネル数に変換した信号に再生できるようにするための変換係数情報が付加されていてもよい。
【００１４】
また、上記の変換係数情報は、３次元空間に立体的に配置される少ないチャンネル数のスピーカの各スピーカの位置から、視聴者の右耳までの頭部伝達関数に相当するフィルタ係数と、視聴者の左耳までの頭部伝達関数に相当するフィルタ係数とを有していてもよい。
【００１５】
また、本発明は、上記第１のステップで生成されるチャンネルマッピング情報には、３次元空間に立体的に配置される複数のスピーカのうち、複数のチャンネルよりも少ないチャンネル数に予め変換したオーディオ信号を出力する各スピーカの２次元平面における位置を示す情報も含むようにし、上記第２のステップでは、３次元空間に立体的に配置される複数のスピーカから出力するための複数チャンネルのオーディオ信号とは別に、少ないチャンネル数に予め変換したオーディオ信号について、２次元平面毎にひとまとまりのプログラムとして符号化を行うことで第２の符号化要素を生成し、さらに、２次元平面内のチャンネル配置を示す情報を含む第２の平面位置情報を生成して、第２の符号化要素と第２の平面位置情報とを２次元平面毎に出力するようにし、上記第３のステップでは、第２の符号化要素と第２の平面位置情報とを、複数チャンネルのオーディオ信号を２次元平面毎にひとまとまりのプログラムとして符号化を行うことで生成した符号化要素と、２次元平面内のチャンネル配置を示す情報を含む平面位置情報と一緒に統合した、１本の符号化ストリームを生成して出力するようにしてもよい。
【００１６】
また、上記の目的を達成するため、本発明のオーディオ信号符号化装置は、複数チャンネルのオーディオ信号を出力する３次元空間に立体的に配置される複数のスピーカの各スピーカの位置と、３次元空間を複数の２次元平面に分割するための方向である分割方向とに基づいて、２次元平面の数と、各２次元平面に対応するチャンネル数と、２次元平面の分割順序とを含む平面情報を出力し、さらに、各チャンネルが対応する各スピーカの２次元平面内における位置を示すチャンネルマッピング情報を出力する３次元空間分割部と、平面情報とチャンネルマッピング情報とに基づいて、３次元空間に配置されるスピーカから出力するための多チャンネルのオーディオ信号を２次元平面毎にひとまとまりのプログラムとして符号化を行うことで符号化要素を生成し、さらに、２次元平面内のチャンネル配置を示す情報を含む平面位置情報を生成し、その符号化要素と平面位置情報とを２次元平面毎に出力する平面符号化部と、平面符号化部により２次元平面毎に出力された符号化要素と平面位置情報とを全て統合して、１本の符号化ストリームを生成して出力するストリーム統合部とを有することを特徴とする。
【００１７】
ここで、上記のストリーム統合部は、３次元空間に立体的に配置される複数チャンネルの音源情報の内、一部のチャンネルのみを復号化できるようにするための情報を平面位置情報として付加した１本の符号化ストリームを生成してもよい。
【００１８】
また、上記のストリーム統合部は、３次元空間に立体的に配置される複数チャンネルのオーディオ信号を複数チャンネルよりも少ないチャンネル数に変換した信号に再生できるようにするための変換係数情報を付加した１本の符号化ストリームを生成するようにしてもよい。
【００１９】
上記の変換係数情報は、３次元空間に立体的に配置される少ないチャンネル数のスピーカの各スピーカの位置から、視聴者の右耳までの頭部伝達関数に相当するフィルタ係数と、視聴者の左耳までの頭部伝達関数に相当するフィルタ係数とを有していてもよい。
【００２０】
また、本発明のオーディオ信号符号化装置は、上記の３次元空間分割部は、３次元空間に立体的に配置される複数のスピーカのうち、複数チャンネルよりも少ないチャンネル数に予め変換したオーディオ信号を出力するスピーカの２次元平面における位置を示す情報も出力するようにし、上記の平面符号化部は、複数チャンネルのオーディオ信号とは別に、少ないチャンネル数に予め変換したオーディオ信号について、２次元平面毎にひとまとまりのプログラムとして符号化を行うことで第２の符号化要素を生成し、さらに、２次元平面内のチャンネル配置を示す情報を含む第２の平面位置情報を生成して、第２の符号化要素と第２の平面位置情報とを２次元平面毎に出力するようにし、上記のストリーム統合部は、第２の符号化要素と第２の平面位置情報とを、複数チャンネルのオーディオ信号を２次元平面毎にひとまとまりのプログラムとして符号化を行うことで生成した符号化要素と２次元平面内のチャンネル配置を示す情報を含む平面位置情報と一緒に統合した、１本の符号化ストリームを生成して出力するようしてもよい。
【００２１】
また、上記の目的を達成するため、本発明のオーディオ信号復号化方法は、３次元空間に立体的に配置される複数のスピーカから出力するための複数チャンネルのオーディオ信号を、３次元空間に含まれる複数の２次元平面毎にひとまとまりのプログラムとして符号化することで第１の符号化要素を生成し、さらに、２次元平面内のチャンネル配置を示す情報を含む第１の平面位置情報を生成すると共に、複数チャンネルのオーディオ信号よりも少ないチャンネル数に予め変換したオーディオ信号についても、３次元空間に含まれる複数の２次元平面毎にひとまとまりのプログラムとして符号化することで第２の符号化要素を生成し、さらに、２次元平面内のチャンネル配置を示す情報を含む第２の平面位置情報を生成し、それらを統合して得られる１本の符号化ストリームを入力として受け、その符号化ストリームから、第１及び第２の平面位置情報と第１及び第２の符号化要素とを複数の２次元平面のそれぞれについて分離する第１のステップと、第１のステップで分離された２次元平面毎の第１及び第２の符号化要素をそれぞれ復号化して、複数チャンネルのオーディオ信号と、複数チャンネルよりも少ないチャンネル数に予め変換したオーディオ信号へと復号する第２のステップと、第１のステップで分離された２次元平面毎の第１及び第２の平面位置情報を合成して、復号された複数チャンネルのオーディオ信号と、複数チャンネルよりも少ないチャンネル数に予め変換したオーディオ信号の各チャンネルのオーディオ信号をそれぞれ出力するスピーカの位置を示す３次元チャンネル配置情報を生成する第３のステップとを含むことを特徴とする。
【００２２】
また、上記の目的を達成するため、本発明のオーディオ信号復号化方法は、３次元空間に立体的に配置される複数のスピーカから出力するための複数チャンネルのオーディオ信号を、３次元空間に含まれる複数の２次元平面毎にひとまとまりのプログラムとして符号化することで符号化要素を生成し、さらに、２次元平面内のチャンネル配置を示す情報を含む平面位置情報を生成し、さらに、３次元空間に配置される複数チャンネルのオーディオ信号を複数チャンネルよりも少ないチャンネル数のオーディオ信号として再生できるようにするための変換係数を示す情報を含む変換係数情報を生成し、それらを統合して得られる１本の符号化ストリームを入力として受け、その符号化ストリームから、平面位置情報と符号化要素とを複数の２次元平面のそれぞれについて分離し、さらに、変換係数情報を分離する第１のステップと、第１のステップで分離された２次元平面毎に符号化要素をそれぞれ復号化して、複数チャンネルのオーディオ信号へと復号する第２のステップと、第１のステップで分離された２次元平面毎の平面位置情報を合成して、複数チャンネルのオーディオ信号の各チャンネルのオーディオ信号を出力するスピーカの位置を示す３次元チャンネル配置情報を生成する第３のステップと、復号された複数チャンネルのオーディオ信号に対して、３次元チャンネル配置情報を基に得られる第１のステップで分離された変換係数情報を乗じて、１枚以上の２次元平面で再生されるように、複数チャンネルのオーディオ信号よりも少ないチャンネル数のオーディオ信号に変換する第４のステップとを含むことを特徴とする。
【００２３】
また、上記の目的を達成するため、本発明のオーディオ信号復号化方法は、３次元空間に立体的に配置される複数のスピーカから出力するための複数チャンネルのオーディオ信号を、３次元空間に含まれる複数の２次元平面毎にひとまとまりのプログラムとして符号化することで符号化要素を生成し、さらに、２次元平面内のチャンネル配置を示す情報を含む平面位置情報を生成し、さらに、３次元空間に配置される複数チャンネルのオーディオ信号を少ないチャンネル数で再生できるようにするための変換係数を示す情報を含む変換係数情報を生成し、それらを統合して得られる１本の符号化ストリームを入力として受け、その符号化ストリームから、平面位置情報と符号化要素とを複数の２次元平面のそれぞれについて分離し、さらに、変換係数情報を分離する第１のステップと、第１のステップで分離された２次元平面毎に符号化要素をそれぞれ復号化して、複数チャンネルのオーディオ信号へと復号する第２のステップと、第１のステップで分離された２次元平面毎の平面位置情報を合成して、複数チャンネルのオーディオ信号の各チャンネルのオーディオ信号を出力するスピーカの位置を示す３次元チャンネル配置情報を生成する第３のステップと、復号された複数チャンネルのオーディオ信号に対して、３次元チャンネル配置情報を基に得られる第１のステップで分離された変換係数情報を乗じて、複数チャンネルのオーディオ信号から２チャンネルのバイノーラル信号に変換する第４のステップとを含むことを特徴とする。
【００２４】
また、上記の目的を達成するため、本発明のオーディオ信号復号化装置は、３次元空間に立体的に配置される複数のスピーカから出力するための複数チャンネルのオーディオ信号を、３次元空間に含まれる複数の２次元平面毎にひとまとまりのプログラムとして符号化することで符号化要素を生成し、さらに、２次元平面内のチャンネル配置を示す情報を含む平面位置情報を生成し、それらを統合して得られる１本の符号化ストリームを入力として受け、その符号化ストリームから、平面位置情報と符号化要素とを複数の２次元平面のそれぞれについて分離するストリーム分離部と、ストリーム分離部において分離された２次元平面毎の符号化要素をそれぞれ復号化して、複数チャンネルのオーディオ信号へと復号する平面復号化部と、ストリーム分離部で分離された２次元平面毎の平面位置情報を合成して、復号された複数チャンネルのオーディオ信号の各チャンネルのオーディオ信号を出力するスピーカの位置を示す３次元チャンネル配置情報を生成する３次元空間合成部とを有することを特徴とする。
【００２５】
また、上記の目的を達成するため、本発明のオーディオ信号復号化装置は、３次元空間に立体的に配置される複数のスピーカから出力するための複数チャンネルのオーディオ信号を、３次元空間に含まれる複数の２次元平面毎にひとまとまりのプログラムとして符号化することで第１の符号化要素を生成し、さらに、２次元平面内のチャンネル配置を示す情報を含む第１の平面位置情報を生成すると共に、予め変換した複数チャンネルよりも少ないチャンネル数のオーディオ信号についても、３次元空間に含まれる複数の２次元平面毎にひとまとまりのプログラムとして符号化することで第２の符号化要素を生成し、さらに、２次元平面内のチャンネル配置を示す情報を含む第２の平面位置情報を生成し、それらを統合して得られる１本の符号化ストリームを入力として受け、その符号化ストリームから、第１及び第２の平面位置情報と第１及び第２の符号化要素とを複数の２次元平面のそれぞれについて分離するストリーム分離部と、ストリーム分離部で分離された２次元平面毎の第１及び第２の符号化要素をそれぞれ復号化して、複数チャンネルのオーディオ信号と、予め変換した複数チャンネルよりも少ないチャンネル数のオーディオ信号へと復号する平面復号化部と、ストリーム分離部で分離された２次元平面毎の第１及び第２の平面位置情報を合成して、復号された複数チャンネルのオーディオ信号と、予め変換した複数チャンネルよりも少ないチャンネル数のオーディオ信号の各チャンネルのオーディオ信号をそれぞれ出力するスピーカの位置を示す３次元チャンネル配置情報を生成する３次元空間合成部とを有することを特徴とする。
【００２６】
また、上記の目的を達成するため、本発明のオーディオ信号復号化装置は、３次元空間に立体的に配置される複数のスピーカから出力するための複数チャンネルのオーディオ信号を、３次元空間に含まれる複数の２次元平面毎にひとまとまりのプログラムとして符号化することで符号化要素を生成し、さらに、２次元平面内のチャンネル配置を示す情報を含む平面位置情報を生成し、さらに、３次元空間に配置される複数チャンネルよりも少ないチャンネル数のオーディオ信号で再生できるようにするための変換係数を示す情報を含む変換係数情報を生成し、それらを統合して得られる１本の符号化ストリームを入力として受け、その符号化ストリームから、平面位置情報と符号化要素とを複数の２次元平面のそれぞれについて分離し、さらに、変換係数情報を分離するストリーム分離部と、ストリーム分離部で分離された２次元平面毎の符号化要素をそれぞれ復号化して、複数チャンネルのオーディオ信号へと復号する平面復号化部と、ストリーム分離部で分離された２次元平面毎の平面位置情報を合成して、復号された複数チャンネルのオーディオ信号の各チャンネルのオーディオ信号を出力するスピーカの位置を示す３次元チャンネル配置情報を生成する３次元空間合成部と、復号された複数チャンネルのオーディオ信号に対して、３次元チャンネル配置情報を基に得られるストリーム分離部で分離された変換係数情報を乗じて、１枚以上の２次元平面で再生されるように、複数チャンネルよりも少ないチャンネル数のオーディオ信号に変換するダウンミックス部とを有することを特徴とする。
【００２７】
また、上記の目的を達成するため、本発明のオーディオ信号復号化装置は、３次元空間に立体的に配置される複数のスピーカから出力するための複数チャンネルのオーディオ信号を、３次元空間に含まれる複数の２次元平面毎にひとまとまりのプログラムとして符号化することで符号化要素を生成し、さらに、２次元平面内のチャンネル配置を示す情報を含む平面位置情報を生成し、さらに、３次元空間に配置される複数チャンネルよりも少ないチャンネル数で再生できるようにするための変換係数を示す情報を含む変換係数情報を生成し、それらを統合して得られる１本の符号化ストリームを入力として受け、その符号化ストリームから、平面位置情報と符号化要素とを複数の２次元平面のそれぞれについて分離し、さらに、変換係数情報を分離するストリーム分離部と、ストリーム分離部で分離された２次元平面毎の符号化要素をそれぞれ復号化して、複数チャンネルのオーディオ信号へと復号する平面復号化部と、ストリーム分離部で分離された２次元平面毎の平面位置情報を合成して、復号された複数チャンネルのオーディオ信号の各チャンネルのオーディオ信号を出力するスピーカの位置を示す３次元チャンネル配置情報を生成する３次元空間合成部と、復号された複数チャンネルのオーディオ信号に対して、３次元チャンネル配置情報を基に得られるストリーム分離部で分離された変換係数情報を乗じて、複数チャンネルのオーディオ信号から２チャンネルのバイノーラル信号に変換するダウンミックス部とを有することを特徴とする。
【発明の効果】
【００２８】
本発明のオーディオ信号符号化方法及び装置によれば、３次元空間に対応する音声信号の３次元空間における位置を明確に指定した３次元の音場再現が可能な符号化ストリームを生成することができる。
【００２９】
また、本発明のオーディオ信号復号化方法及び装置によれば、符号化側で生成した３次元空間に対応する音声信号を２次元平面毎の音声信号に分割し、分割した２次元平面毎のオーディオ信号を符号化した符号化要素を、分割情報と平面でのチャンネル配置情報とを含めて統合した符号化ストリームを復号化するため、３次元空間における音源位置を明確に指定した３次元の音場再現ができる。
【図面の簡単な説明】
【００３０】
【図１】本発明のオーディオ信号符号化装置の一実施の形態のブロック図である。
【図２】２２.２ｃｈのスピーカ配置を示す図である。
【図３】図２に示すスピーカ配置の３次元空間を高さ方向に３つに分割した２次元平面のスピーカ配置（チャンネル位置）を示す図である。
【図４】図３に示した３つの２次元平面の各対応要素（スピーカ位置）の３次元座標を示す図である。
【図５】本発明により３つの２次元平面に分割して符号化して得られるＭＰＥＧ準拠符号化ストリームの第１の例のフォーマットを示す図である。
【図６】図５中のPCEの構成を、記述言語を用いて示した図である。
【図７】図１のオーディオ信号符号化装置により生成されるＭＰＥＧ準拠符号化ストリームで定義されるPCEを記述言語を用いて表した図である。
【図８】図２に示すスピーカ配置の３次元空間を奥行き方向に３つに分割した２次元平面のスピーカ配置（チャンネル位置）を示す図である。
【図９】本発明のオーディオ信号符号化装置により生成されるＭＰＥＧ準拠の符号化ストリームの第２の例のフォーマットを示す図である。
【図１０】図９にPCE3として示した５.１ｃｈ互換用PCEにおける設定例を示す図である。
【図１１】本発明のオーディオ信号符号化装置により生成されるＭＰＥＧ準拠の符号化ストリームの第３の例のフォーマットを示す図である。
【図１２】本発明のオーディオ信号符号化装置により生成されるＭＰＥＧ準拠の符号化ストリームの第４の例のフォーマットを示す図である。
【図１３】本発明のオーディオ信号符号化装置により生成されるＭＰＥＧ準拠の符号化ストリームの第５の例のフォーマットを示す図である。
【図１４】本発明のオーディオ信号符号化装置により生成されるＭＰＥＧ準拠の符号化ストリームの第６の例のフォーマットを示す図である。
【図１５】本発明のオーディオ信号符号化装置により生成されるＭＰＥＧ準拠の符号化ストリームの第７の例のフォーマットを示す図である。
【図１６】図１５中のDSE0の構成を、記述言語を用いて示した図である。
【図１７】本発明のオーディオ信号復号化装置の第１の実施形態のブロック図である。
【図１８】本発明のオーディオ信号復号化装置の第２の実施形態のブロック図である。
【図１９】図１８中のダウンミックス部の一例のブロック図である。
【図２０】図１９中のモード１ブロックの一例のブロック図である。
【図２１】本発明のオーディオ信号符号化装置により生成されるＭＰＥＧ準拠の符号化ストリームの第８の例のフォーマットを示す図である。
【図２２】図２０中の上層チャンネルダウンミックス部の一例の構成図である。
【図２３】図２０中の中層チャンネルダウンミックス部の一例の構成図である。
【図２４】図２０中の下層チャンネルダウンミックス部の一例の構成図である。
【図２５】図２０中の５.１ｃｈ合成部の一例の構成図である。
【図２６】図１９中のモード２ブロックの一例のブロック図である。
【図２７】図２６中の２ｃｈ合成部の一例のブロック図である。
【図２８】図１９中のモード３ブロックの一例のブロック図である。
【図２９】図１９中のモード４ブロックの一例のブロック図である。
【図３０】図１８に示す本発明のオーディオ信号復号化装置におけるモード４のときの効果を説明するスピーカ配置の一例を示す図である。
【発明を実施するための形態】
【００３１】
次に、本発明の実施の形態について図面と共に詳細に説明する。
【００３２】
図１は、本発明になるオーディオ信号符号化装置の一実施の形態のブロック図を示す。同図に示すように、本実施の形態のオーディオ信号符号化装置１０は、３次元空間分割部１１と、３つの平面符号化部１２、１３及び１４と、ストリーム統合部１５とから構成され、外部からＮチャンネル（Ｎは自然数）のオーディオ信号、分割方向、各チャンネルのオーディオ信号の３次元チャンネル配置情報を入力として受け、例えばＭＰＥＧ準拠の符号化ストリームを出力する。
【００３３】
上記の「分割方向」は、Ｎチャンネルの各チャンネル毎のオーディオ信号がそれぞれ発音されるＮ個のスピーカが配置された、Ｘ軸，Ｙ軸，Ｚ軸の３軸からなる３次元空間を、２次元平面に分割するときの分割方向が、Ｘ−Ｙ平面分割、Ｘ−Ｚ平面分割、Ｙ−Ｚ平面分割の３種類のいずれであるかを示す情報である。なお、「分割方向」は必ずしも外部から入力される必要はなく、３次元空間分割部１１は、Ｘ−Ｙ平面分割、Ｘ−Ｚ平面分割、Ｙ−Ｚ平面分割の内、いずれか１つの「分割方向」を常に使用するようにしてもよい。また、上記の「３次元チャンネル配置情報」は、入力されたＮチャンネル（ｃｈ）のオーディオ信号が発音される３次元空間上の各チャンネルのスピーカ（あるいは音源）の配置位置を、聴取者の位置（リスニングポイント）を原点（０，０，０）としたときの、３次元座標（ｘ，ｙ，ｚ）で示す情報である。更に、上記のＮｃｈオーディオ信号は、Ｎｃｈのアナログオーディオ信号を各チャンネル別に、例えばパルス符号変調（ＰＣＭ）して得られたデジタル信号である。
【００３４】
３次元空間分割部１１は、分割方向と３次元チャンネル配置情報とに基づいて、３次元空間上に配置されたスピーカに対応するＮチャンネルの音源に関する情報を、複数の２次元平面の音源に関する情報に分割し、平面情報と、分割された２次元平面上における音源位置を示すチャンネルマッピング情報とを出力する。平面情報には、平面総数、平面毎のチャンネル総数、平面分割順序を示す情報が含まれる。チャンネルマッピング情報は、各チャンネルと平面との関連付け、各チャンネルと平面内の位置（フロント、サイド、リア等）との関連付けを表す。
【００３５】
平面符号化部１２、１３及び１４は、３次元空間を分割して得られた３つの２次元の平面のうち、割り当てられた一平面毎に設けられており、上記の平面情報とチャンネルマッピング情報とに基づいて、平面に含まれる各チャンネルのオーディオ信号に対して例えばＭＰＥＧ準拠の符号化方式により、ひとまとまりのプログラムとして符号化を行い、オーディオ信号そのものを符号化した際に得られるメインデータ（符号化データ）を意味する符号化要素（SCE、CPEエレメント）と、補助データとして、その平面内のチャンネル配置（フロント何チャンネル、サイド何チャンネル、リア何チャンネル）を示す情報を含む平面位置情報（PCEエレメント）とを出力する。
【００３６】
ここで、本実施の形態では、上記の符号化方式として、ＢＳデジタル放送で使用されているＭＰＥＧ−２ ＡＡＣ符号化方式を例として説明する。なお、ＭＰＥＧ−４ ＡＡＣ符号化方式でもよく、この符号化方式は、ＭＰＥＧ−２ ＡＡＣ符号化方式に新たなオプションツールが追加された形であるので、ＭＰＥＧ−２ ＡＡＣ符号化方式で代用することができる。なお、以下の説明では、両符号化方式をまとめて「ＭＰＥＧ−２／４ ＡＡＣ」と記す。
【００３７】
ストリーム統合部１５は、平面符号化部１２、１３及び１４からそれぞれ出力された、３つの平面の平面位置情報と符号化要素とを統合して、１本のＭＰＥＧ準拠（ここでは、ＭＰＥＧ−２／４ ＡＡＣ）の符号化ストリームを生成して出力する。
【００３８】
次に、本実施の形態のオーディオ信号符号化装置１０の動作について詳細に説明する。ここでは、図２に示す２２.２ｃｈの３次元のスピーカ配置による立体音場を生成するために、図２に示すスピーカ配置の３次元空間を、図３（Ａ）〜（Ｃ）に示す３つの２次元平面に分割し、図５に示す構成のＭＰＥＧ−２／４ ＡＡＣ符号化ストリームを生成する例について説明する。
【００３９】
図２は、２２.２ｃｈを有する音響システムのスピーカ配置を示す。この２２.２ｃｈを有する音響システムのスピーカ配置は、衛星デジタル放送の高度化（高度ＢＳ）において定義されている。図２に示すように、上層９チャンネル、中層１０チャンネル、下層３チャンネル、ＬＦＥ（Low Frequency Effect）２チャンネルによる合計２２.２ｃｈにより、（幅×奥行き×高さ）の３次元空間が構築される。なお、ＬＦＥチャンネルは主に低音域の音声が割り当てられるチャンネルである。
【００４０】
この２２.２ｃｈの３次元空間の立体音場を示す符号化ストリームを、ＢＳデジタル放送と同様に、ＭＰＥＧ−２／４ ＡＡＣ符号化方式により符号化して構築しようとする場合、前述したようにＭＰＥＧ−２／４ ＡＡＣ符号化方式では高さ方向を定義することができないので、基本的に現規格では符号化ストリームを構築することができない。
【００４１】
そこで、本実施の形態では、図２に示した３次元空間（幅×奥行き×高さ）を、一例として３次元空間の高さ方向に分割して、図３（Ａ）に示すように上層の９チャンネル（UFL,UFC,UFR,USL,USC,USR,UBL,UBC,UBR）を有する２次元平面と、図３（Ｂ）に示すように中層の１０チャンネル(MFL,MFLC,MFC,MFRC,MFR,MSL,MSR,MBL,MBC,MBR)を有する２次元平面と、図３（Ｃ）に示すように下層３チャンネル(LFL,LFC,LFR)とＬＦＥ２チャンネル(LFEL,LFER)とからなる３.２チャンネルの下層部の２次元平面の３つに分割している。このように、３次元空間を高さ方向に分割することで、ＭＰＥＧ−２／４ ＡＡＣ符号化方式における２次元平面のチャンネル配置を定義することが可能となる。なお、ここでは、一例として２２.２ｃｈ音響システムに対応して３層に分割しているが、分割数を限定するものではない。同様に分割方向は高さ方向に限定するものではない。
【００４２】
再び図１に戻って説明する。３次元空間分割部１１は、入力される分割方向が一例としてＸ−Ｙ分割を示しており、また、入力される３次元チャンネル配置情報として、表１に示す情報が入力されたものとする。
【００４３】
【表１】
表１は、図２に示した２２.２ｃｈのスピーカ配置の３次元空間を、図３（Ａ）〜（Ｃ）に示した高さ方向に３つの２次元平面に分割したときの、３次元チャンネル配置情報と各チャンネルと図３（Ａ）〜（Ｃ）及び図４（Ａ）〜（Ｃ）に示す対応要素（スピーカ位置）との関係を示す。表１に示す３次元チャンネル配置情報は、図４（Ｂ）に示したリスナー位置を原点とした時の距離を示す。なお、図４（Ａ）〜（Ｃ）は図３（Ａ）〜（Ｃ）と同じ３つの２次元平面を示しており、更に各対応要素の３次元座標を示している。
【００４４】
３次元空間分割部１１は、表１に示す３次元チャンネル配置情報に基づいて、平面総数と、平面毎のチャンネル総数と、平面分割順序とからなる平面情報を生成して出力する。ここで、上記の平面総数は２次元平面の総数であるので「３」、上記の平面毎のチャンネル総数は表２に示され、上記の平面分割順序は４ビット表現で例えば「００１１」である。ここで、「００１１」で表される平面分割順序は、Ｘ−Ｙ分割で、上層部から中層部を経て下層部＋ＬＦＥの順序で分割することを示す。なお、Ｘ−Ｙ分割で、下層部＋ＬＦＥから中層部を経て上層部への順序で分割する場合は、上記平面分割順序は「００１０」とされる。また、分割しない場合は上記平面分割順序は「００００」とされる。
【００４５】
【表２】
表２に示す平面毎のチャンネル総数は、オーディオ信号符号化装置１０が後述する図５に示すフォーマットの符号化ストリームを生成する場合の例で、平面番号とチャンネル総数と図５の対応エレメントであるＰＣＥ(Program_Config_Element)との関係を示す。
【００４６】
平面番号「０」は上層部の２次元平面を示し、そのチャンネル総数は図３（Ａ）、図４（Ａ）に示すように「９」である。また、平面番号「１」は中層部の２次元平面を示し、そのチャンネル総数は図３（Ｂ）、図４（Ｂ）に示すように「１０」である。更に、平面番号「２」は下層部＋ＬＦＥの２次元平面を示し、図３（Ｃ）、図４（Ｃ）に示すように３.２ｃｈであるので、そのチャンネル総数は「５」である。従って、全チャンネル総数はｃｈ０〜ｃｈ２３の２４チャンネルとなる。
【００４７】
また、３次元空間分割部１１は、Ｘ−Ｙ分割である場合、同じ高さ（Ｚ軸）のチャンネルをまとめて一平面とし、また原点からのＹ軸の距離が同じものをフロント(front)、サイド(side)、バック(back)に分割する。また、センターのような単独チャンネルと、Ｌ／Ｒのようなペアチャンネルとの分離も行う。
【００４８】
これにより、３次元空間分割部１１は、フロントチャンネルで単独チャンネルを示す「front single 識別」、フロントチャンネルでペアチャンネルを示す「front pair識別」、サイドチャンネルで単独チャンネルを示す「side single 識別」、サイドチャンネルでペアチャンネルを示す「side pair識別」、バックチャンネルで単独チャンネルを示す「back single 識別」、バックチャンネルでペアチャンネルを示す「back pair識別」、ＬＦＥチャンネルで単独チャンネルを示す「LFE single 識別」を各チャンネル毎に示すチャンネルマッピング情報を生成する。表３は、このチャンネルマッピング情報を示す。
【００４９】
【表３】
表３において、対応要素は、オーディオ信号符号化装置１０が後述する図５に示すフォーマットの符号化ストリームを生成する場合の、そのフォーマットの対応要素を示す。
【００５０】
平面符号化部１２は、３次元空間分割部１１からの平面情報とチャンネルマッピング情報に基づいて、２２.２ｃｈの入力オーディオ信号のうち、平面番号「０」の上層部の２次元平面の各チャンネルのオーディオ信号に対してＭＰＥＧ−２／４ ＡＡＣ符号化方式による符号化を行い、平面位置情報と符号化要素とを生成して出力する。
【００５１】
また、平面符号化部１２の符号化動作と並行して、平面符号化部１３は、３次元空間分割部１１からの平面情報とチャンネルマッピング情報に基づいて、平面番号「１」の中層部の２次元平面の各チャンネルのオーディオ信号に対して、また平面符号化部１４は、３次元空間分割部１１からの平面情報とチャンネルマッピング情報に基づいて、平面番号「２」の下層部＋ＬＦＥの２次元平面の各チャンネルのオーディオ信号に対して、それぞれＭＰＥＧ−２／４ ＡＡＣ符号化方式による符号化を行い、平面位置情報と符号化要素とを生成して出力する。
【００５２】
このとき平面符号化部１２〜１４は、同一平面のチャンネルの符号化形態（チャンネルペアで符号化：ＣＰＥ、シングルチャンネルで符号化：ＳＣＥ）を、チャンネルマッピング情報を基に決定して符号化を行い、符号化要素を生成する。また、平面符号化部１２〜１４は、チャンネルマッピング情報から平面位置情報を生成する。これはストリーム中のプログラムコンフィグエレメント（ＰＣＥ）に相当する。
【００５３】
ストリーム統合部１５は、平面符号化部１２〜１４からそれぞれ出力された平面位置情報と符号化要素とから、ＭＰＥＧ−２／４ ＡＡＣ符号化方式に準拠した符号化ストリームを生成して出力する。
【００５４】
次に、オーディオ信号符号化装置１０から出力されるＭＰＥＧ準拠符号化ストリームの各例について説明する。
【００５５】
図５は、本発明により図２に示した２２.２ｃｈの３次元空間を、図３（Ａ）〜（Ｃ）に示すような３つの２次元平面に分割して符号化して得られるＭＰＥＧ準拠符号化ストリームの第１の例のフォーマットを示す。このＭＰＥＧ準拠符号化ストリームは、ＭＰＥＧ−２／４ ＡＡＣ符号化方式で符号化されたストリームで、そのフォーマットは、ＡＤＴＳ（Audio_Data_Transport_Stream）フォーマットと呼ばれており、この図５（Ａ）もＡＤＴＳフォーマットに準拠している。
【００５６】
図５（Ａ）に示すように、符号化フォーマットは、１オーディオフレームに相当する「adts_frame」単位で時系列的に合成された構造である。「adts_frame」は、同期コード、フレーム長などの情報やＣＲＣエラー検出コードを含む「adts_header」と呼ぶヘッダと、符号化したオーディオ情報がエレメントと呼ばれる単位にまとめられて収められたブロックである「raw_data_block」とからなる。
【００５７】
本実施の形態の符号化ストリームは、図５（Ａ）、（Ｂ）に示すように、「raw_data_block」が、チャンネル情報用のPCE(Program_Config_Element)と、上層の情報「upper_layer」、中層の情報「middle_layer」、及び下層＋ＬＦＥの情報「lower+LFE_layer」と、スタッフィングビット用のFIL(File_element)と、フレームの終わりを示すEND(Terminator)とから構成される。
【００５８】
チャンネル情報用のPCEは図５（Ｂ）に示すように「PCE0」、「PCE1」、「PCE2」からなる。「PCE0」は、図１に示した平面符号化部１２から出力された上層の平面位置情報である。同様に、「PCE1」、「PCE2」は、それぞれ図１に示した平面符号化部１３、１４から出力された中層と下層＋ＬＦＥの平面位置情報である。
【００５９】
上層の情報「upper_layer」は、図５（Ｃ）に示すように、フロントのSCE(Single_Channel_Element)0及びCPE(Channel_Pair_Element)0と、サイドのSCE1及びCPE1と、バック（リア）のSCE2及びCPE2とからなる。この上層の情報「upper_layer」は、図１に示した平面符号化部１２から出力された符号化要素である。なお、ここでは、エレメントの名称とタグ番号（element_instance_tag）を一緒に記載している。例えば、SCEでタグ番号０を有するものを「SCE0」と記載している。
【００６０】
同様に、中層の情報「middle_layer」は、図５（Ｄ）に示すように、フロントのSCE3、CPE3及びCPE4と、サイドのCPE5と、バックのSCE4及びCPE6とからなる。この中層の情報「middle_layer」は、図１に示した平面符号化部１３から出力された符号化要素である。また、下層＋ＬＦＥの情報「lower+LFE_layer」は、図５（Ｅ）に示すように、フロントのSCE5及びCPE7と、ＬＦＥのLFE(LFE_Channel_Element)0及びLFE1とからなる。この下層＋ＬＦＥの情報「lower+LFE_layer」は、図１に示した平面符号化部１４から出力された符号化要素である。
【００６１】
図６は、上記のPCEの構成を、記述言語を用いて示した図である。各名称の後ろには、ビット数とその単位（uimsbfは符号無し整数値、bslbfはビット列）を表している。先頭にある「element_innstance_tag」は、タグ番号であり、複数のPCEが存在した場合に、それらを区別することができる。「num_front_channel_elements」はフロントチャンネルに存在するエレメント数を表しており、同様に、サイドチャンネル用、バックチャンネル用、LFEチャンネル用にそれぞれ、「num_side_channel_elements」,「num_back_channnel_elements」, 「num_lfe_channel_elements」が存在する。
【００６２】
そして、そのエレメントがSCEであるかCPEであるかを区別する情報１ビットと、そのエレメントに付けられているタグ番号(element_instance_tag)と同一の情報が４ビットで追加される（例えば、「front_element_is_cpe」,「front_element_tag_select」）。LFEについてはチャンネルペアとして符号化されることはないので、SCE/CPEを区別する情報はなく、タグ番号だけが４ビットで追加される（lfe_element_tag_select）。
【００６３】
図７は、本実施の形態のオーディオ信号符号化装置１０により生成されるＭＰＥＧ準拠符号化ストリームで定義されるPCEを記述言語を用いて表した図を示す。図７（Ａ）は上層部に存在する９ｃｈを記述したPCE0、同図（Ｂ）は、中層部に存在する１０ｃｈを記述したPCE1、同図（Ｃ）は下層部＋ＬＦＥに存在する３.２ｃｈを記述したPCE2の構成を記述言語を用いて示す。このように、本実施の形態によれば、PCE0、PCE1、PCE2は問題なく定義できることが分かる。
【００６４】
このように、本実施の形態では、２２.２ｃｈを有する１つのプログラムは、高さ方向に分割された３プログラムから構成されるものとして分割し、図５（Ｂ）に示すように符号化ストリームに現れるPCE0を上層用、２番目に現れるPCE1を中層用、最後に現れるPCE2を低層＋LFE用と定義する。そして、分割された２次元平面に含まれるチャンネルをＭＰＥＧ−２／４ ＡＡＣ符号化方式により符号化して各プログラムを構成し、ストリーム統合部１５が全てのプログラムを統合することで、ＭＰＥＧ規格に準拠し、かつ、３次元空間に対応した符号化ストリームを構築することができる。
【００６５】
このように、本実施の形態によれば、３次元空間用のチャンネル配置の定義を追加することなく、３次元の音源位置を明確に指定した３次元の音場再現が可能なＭＰＥＧ−２／４ＡＡＣ規格に準拠した符号化ストリームを生成することができる。また、本実施の形態によれば、３つの２次元平面のそれぞれの符号化要素をストリーム統合して１本の符号化ストリームを生成しており、独立した符号化ストリームを多重化しないため、冗長な情報が存在せず、伝送効率の良いオーディオ信号符号化ができる。
【００６６】
更に、本実施の形態によれば、多重器を用いることなく、１個のオーディオ信号符号化装置１０により２２.２ｃｈのオーディオ信号の符号化を行うことができるので回路規模を比較的小規模とすることができる。更に、本実施の形態によれば、符号化ストリームから、選択した２次元平面に関するストリーム情報だけを抜き出して復号することができる。
【００６７】
なお、高度ＢＳに関する答申は、電波産業会（ＡＲＩＢ:Association of Radio Industries and Businesses）より答申されたものであること、従来からARIB標準規格STD-B32において、ＭＰＥＧ規格の使用制限、厳密化を行っていることから、本実施の形態のように平面位置情報であるPCEと分割した２次元平面の符号化要素との対応を示す定義を追記することは、特に問題にならない。ＭＰＥＧ国際標準規格を修正して、日本のローカル放送方式に対応することの方が問題は大きい。
【００６８】
なお、上記の実施の形態では、図２に示した３次元空間（幅×奥行き×高さ）を、３次元空間の高さ方向に分割（すなわち、前記のＸ−Ｙ分割）して２次元平面を得るようにしたが、分割方法はこれに限定されるものではない。例えば、図８（Ａ）〜（Ｃ）に示すように、奥行き方向に分割（Ｘ−Ｚ分割）して、３つの２次元平面（幅×高さ）を得て、各２次元平面のチャンネルのオーディオ信号毎に符号化するようにしてもよい。Ｘ−Ｚ分割の場合は、同じ奥行き（Ｙ軸）のチャンネルをまとめて一平面とする。図８（Ａ）は、３次元空間の奥行き方向の分割により、前方部を有する２次元平面のチャンネル位置（スピーカ位置）を示す。図８（Ｂ）は、中方部を有する２次元平面のチャンネル位置（スピーカ位置）、図８（Ｃ）は、後方部を有する２次元平面のチャンネル位置（スピーカ位置）を示す。
【００６９】
この例の場合、２種類のデフォルト定義が必要となる。第１のデフォルト定義は、高さ方向の分割と同様に、２２.２ｃｈを有する１番組（プログラム）は、奥行き方向に分割された３プログラムから構成されるものとし、一例として、符号化ストリームに最初に現れるPCE0を前方＋LFE用、２番目に現れるPCE1を中方用、最後に現れるPCE2を後方用と定義することである。
【００７０】
第２の定義は、フロントチャンネル、サイドチャンネル、バックチャンネルの定義が明確でなくなるため、一例として、下層部をフロントチャンネルにより対応し、中層部をサイドチャンネルにより対応し、上層部をバックチャンネルにより対応するものと定義することである。
【００７１】
以上のように定義することで、３次元空間に配置された２２.２ｃｈの音源位置を持つオーディオ信号を、ＭＰＥＧ規格に準拠した符号化方式（ここでは、ＭＰＥＧ−２／４ＡＡＣ符号化方式）で符号化された符号化ストリームを構築することができる。このような奥行き方向の分割を行うメリットは、前方からの距離が一定で、水平角は同一であるので、違いが仰角による伝搬時間の違いだけとなり、各２次元平面内の存在する音源間の相関が高いと考えられるためである。
【００７２】
なお、上記のＸ−Ｙ分割やＸ−Ｚ分割以外に、Ｙ−Ｚ分割も可能である。このＹ−Ｚ分割では、同じ幅（Ｘ軸）のチャンネルをまとめて一平面とするものである。このＹ−Ｚ分割では原点からのＺ軸からの距離が同じものをフロント、サイド、リニアに分類する。なお、前記の４ビットの平面分割順序は、Ｘ−Ｚ分割の場合は、スピーカ配置において前方から後方への分割順序かその逆の順序かを示し、Ｙ−Ｚ分割の場合は、左方から右方への分割順序かその逆の順序かを予め定められた４ビットの値で示す。
【００７３】
次に、本発明になるオーディオ信号符号化装置により生成されるＭＰＥＧ準拠の符号化ストリームの第２の例について説明する。
【００７４】
図９は、本発明になるオーディオ信号符号化装置により生成されるＭＰＥＧ−２／４ ＡＡＣ符号化方式の符号化ストリームの第２の例のフォーマットを示す。図９に示す第２の例のフォーマットは、図５に示した高さ方向の分割による３次元空間用符号化ストリームに、図９（Ｂ）にPCE3で示すように５.１ｃｈ互換用PCEを追加したものである。このPCE3は、３次元空間に配置された２２.２ｃｈよりも少ないチャンネル数からなる既存のサラウンドシステムで用いられる音声と同じ音源位置にある情報だけを復号化できるようにするための平面位置情報であり、ストリーム統合部１５が平面位置情報に基づいて生成し、符号化ストリームに付加する。
【００７５】
図９（Ｄ）に示す中層の符号化要素（エレメント）のうち、５.１ｃｈのセンターチャネルをＭＦＣの要素SCE3で代用し、５.１ｃｈのフロントレフト、ライトチャンネルのＭＦＬ及びＭＦＲの要素CPE4で代用する。そして、５.１ｃｈのバックレフト、ライトをＭＢＬ及びＭＢＲの要素CPE6で代用する。また、図９（Ｅ）に示す下層＋ＬＦＥの符号化要素（エレメント）のうち、５.１ｃｈのＬＦＥを要素LFE0で代用する。なお、５．１ｃｈのサラウンドシステムを例としたが、以上の様に、３次元空間に配置された２２.２ｃｈの内、一部のチャンネルのみを復号化するための情報を付加することで、５.１ｃｈだけでなく７.１ｃｈや９.１ｃｈなどの既存のサラウンドシステムにも同様にして対応することができる。
【００７６】
このようにして、第２の例のフォーマットのＭＰＥＧ準拠の符号化ストリームを復号化した際、５.１ｃｈサラウンドシステムでの再生を可能とするため、復号化した２２.２ｃｈ信号をダウンミックスして５.１ｃｈ信号を生成するのではなく、復号化の時点で５.１ｃｈに対応したストリーム部分（斜線部）だけを復号化して、５.１ｃｈ信号を生成することが可能となる。
【００７７】
また、この第２の例のフォーマットのＭＰＥＧ準拠の符号化ストリームでは、中層と下層＋LFEに復号すべきエレメントが及んでいるので、デコード処理の最適化を図ることからも、中層においてLFEも処理するように中層のチャンネル数を１０.１ｃｈとして符号化ストリームを構成しておくことも可能である。また、５.１ｃｈ出力に関係するエレメントだけを１プログラムとして定義した符号化ストリーム構成としてもよい。
【００７８】
図１０は、図９（Ｂ）にPCE3として示した５.１ｃｈ互換用PCEにおける設定例を示す。この５.１ｃｈ互換用PCEは、従来知られている５.１ｃｈ用PCEと比較して対応するエレメントのタグ番号だけが異なる。
【００７９】
次に、本発明になるオーディオ信号符号化装置により生成されるＭＰＥＧ準拠の符号化ストリームの第３の例について説明する。
【００８０】
図１１は、本発明になるオーディオ信号符号化装置により生成されるＭＰＥＧ準拠の符号化ストリームの第３の例のフォーマットを示す。図１１に示す第３の例のフォーマットは、本発明になるオーディオ信号符号化装置により図２に示した２２.２ｃｈのスピーカ配置で再生される２２.２ｃｈのオーディオ信号をＡＡＣ＋ＳＢＲ符号化方式により符号化して構築した符号化ストリームのフォーマットである。
【００８１】
ＳＢＲ（Spectral Band Replication）は、ＡＡＣのオプションツールとしてＭＰＥＧにて２００３年に追加された技術である。ＡＡＣ＋ＳＢＲ符号化方式は、通常のＡＡＣ符号化では高音質の実現が困難な低ビットレートにおいて、１／２サンプリング周波数を用いてＡＡＣ規格で符号化し、それにより破棄される高域成分については、低域成分から予測復元される高域成分の推定値と原信号の高域成分との差を基に補完情報を生成し、ＡＡＣ符号化ストリーム中のＦＩＬに多重するものである。
【００８２】
図１１に示すフォーマットでは、図５に示した第１の例のフォーマットと同様に、２２.２ｃｈを有する１番組は、高さ方向に分割された３プログラムから構成されるものとして分割を行い、図１１（Ｂ）に示すようにストリームに最初に現れるPCE0を上層用、２番目に現れるPCE1を中層用、最後に現れるPCE2を低層＋LFE用と定義する。そして、このフォーマットでは、図１１（Ｃ）〜（Ｅ）に示すように「raw_data_block」中に上層、中層、下層部＋ＬＦＥに含まれるメインオーディオ用のエレメントSCE、CPEを持ち、各エレメントSCE、CPEの後ろにＳＢＲ情報を含むFIL SBRを連続させている。
【００８３】
上記のＡＡＣ＋ＳＢＲ符号化は、図１に示した平面符号化部１２〜１４により行う。このようにして、図１１に示すＭＰＥＧ規格に準拠した３次元空間用ＡＡＣ＋ＳＢＲ符号化ストリームを構築することができる。
【００８４】
次に、本発明になるオーディオ信号符号化装置により生成されるＭＰＥＧ準拠の符号化ストリームの第４の例について説明する。
【００８５】
図１２は、本発明になるオーディオ信号符号化装置により生成されるＭＰＥＧ−２／４ ＡＡＣ符号化方式の符号化ストリームの第４の例のフォーマットを示す。図１２に示す第４の例のフォーマットは、本発明になるオーディオ信号符号化装置により図２に示した２２.２ｃｈのスピーカ配置で再生される２２.２ｃｈのオーディオ信号と、既存の５.１ｃｈのサラウンドオーディオ信号との互換再生が可能なように符号化して構築した符号化ストリームのフォーマットである。
【００８６】
この図１２に示すフォーマットは、図９に示したフォーマットと同様に、図５に示した高さ方向の分割による３次元空間用符号化ストリームに、図１２（Ｂ）に示すように５.１ｃｈ互換用PCE3を追加した点で図９に示したフォーマットと類似している。しかし、この図１２に示すフォーマットは、図１２（Ｄ）に示すように、中層の符号化要素（エレメント）として、５.１ｃｈのフロントチャネルのＭＦＣの要素SCE3、ミドルチャネルのＭＦＬ及びＭＦＲの要素CPE4、及びバックチャネルのＭＢＬ及びＭＢＲの要素CPE6だけでなく、５.１ｃｈのＬＦＥの要素LFE0も含む点で図９に示したフォーマットと異なる。
【００８７】
図９に示したフォーマットの場合は、CPE6をデコードした後、SCE5及びCPE7を読み捨ててLFE0のデコードを行う必要があったのに対し、この図１２に示すフォーマットでは、CPE6をデコードした後、直ちにLFE0のデコードを行うことができる。
【００８８】
次に、本発明になるオーディオ信号符号化装置により生成されるＭＰＥＧ準拠の符号化ストリームの第５の例について説明する。
【００８９】
図１３は、本発明になるオーディオ信号符号化装置により生成されるＭＰＥＧ−２／４ ＡＡＣ符号化方式の符号化ストリームの第５の例のフォーマットを示す。図１３に示す第５の例のフォーマットは、本発明になるオーディオ信号符号化装置により図２に示した２２.２ｃｈのスピーカ配置で再生される２２.２ｃｈのオーディオ信号と、既存の５.１ｃｈのサラウンドオーディオ信号との互換再生が可能なように符号化して構築した符号化ストリームのフォーマットである点は、図９及び図１２に示したフォーマットと同様であるが、このフォーマットは５.１ｃｈに関係するエレメントだけを１プログラムとして定義したものである。
【００９０】
すなわち、図１３（Ｂ）に示すように、この例の符号化ストリームのフォーマットは、符号化ストリームに最初に現れるエレメントPCE0を５.１ｃｈ用とし、２番目に現れるエレメントPCE1を高さ方向に分割したときの上層用、３番目に現れるエレメントPCE２を高さ方向に分割したときの中層用、４番目に現れるエレメントPCE3を高さ方向に分割したときの下層＋LFE用と定義する。上記のPCE0は、図９（Ｂ）に示したPCE3と同様、５.１ｃｈ、７.１ｃｈ、９.１ｃｈなどの既存のサラウンド音声と同じ音源位置にある情報だけを復号化できるようにするための平面位置情報である。ストリーム統合部１５が平面位置情報に基づいて上記のPCEを生成し、符号化ストリームに統合する。
【００９１】
更に、図１３（Ｂ）に示すように、このフォーマットでは、エレメントPCE3に続いて、５.１ｃｈの情報「5.1ch compatible_layer」を配置し、続いて上層の情報「upper_layer」、中層の情報「middle_layer」、及び下層＋ＬＦＥの情報「lower+LFE_layer」を順番に配置した点に特徴がある。５.１ｃｈの情報「5.1ch compatible_layer」は、図１３（Ｃ）に示される。ストリーム統合部が、各符号化要素を基に「5.1ch compatible_layer」を符号化ストリームに付加する。
【００９２】
このフォーマットの符号化ストリームを復号化する際に、５.１ｃｈ再生を選択した場合は、図１３（Ｂ）に示すPCE0のデコードに続いて、５.１ｃｈの情報「5.1ch compatible_layer」だけをデコードし、続く２次元平面の上層の情報「upper_layer」、中層の情報「middle_layer」、及び下層＋ＬＦＥの情報「lower+LFE_layer」は読み飛ばすことで、図９や図１２に示したフォーマットの符号化ストリームをデコードする場合に比べて、再生処理が高速化できる。
【００９３】
図１４は、本発明になるオーディオ信号符号化装置により生成されるＭＰＥＧ−２／４ ＡＡＣ符号化方式の符号化ストリームの第６の例のフォーマットを示す。図１４に示す第６の例のフォーマットは、図２に示した２２.２ｃｈのスピーカ配置で再生される２２.２ｃｈのオーディオ信号と、２２.２ｃｈのオーディオ信号を５.１ｃｈにダウンミックスした信号を同時に本発明になるオーディオ信号符号化装置に入力し、それぞれを符号化して、一本の符号化ストリームにしたものである。
【００９４】
この第６の例のフォーマットの符号化ストリームを生成する本発明になるオーディオ信号符号化装置は、図１に示した平面符号化部１２〜１４に、更に一つの平面符号化部を追加した構成である。これにより、２２.２ｃｈのオーディオ信号については、図１に示した平面符号化部１２〜１４が、ＭＰＥＧ−２／４ ＡＡＣ符号化方式の符号化ストリームの第１の例を生成する場合と同様に、図３（Ａ）〜（Ｃ）に示すような３つの２次元平面に分割して符号化する。一方、５.１ｃｈダウンミックス信号については、新たに追加された一つの平面符号化部が新たな１プログラムとして符号化し、符号化要素を生成する。そして、図１のストリーム統合部１５において、２２.２ｃｈのオーディオ信号と、５.１ｃｈダウンミックス信号に関する、全ての符号化要素と全ての平面位置情報とを統合して、ＭＰＥＧ準拠の符号化ストリームを構築する。
【００９５】
また、図１４（Ｂ）に示すように、この例の符号化ストリームのフォーマットは、符号化ストリームに最初に現れるエレメントPCE0を５.１ｃｈダウンミックス信号用とし、２番目に現れるエレメントPCE1を高さ方向に分割したときの上層用、３番目に現れるエレメントPCE２を高さ方向に分割したときの中層用、４番目に現れるエレメントPCE3を高さ方向に分割したときの下層＋LFE用と定義している。
【００９６】
更に、図１４（Ｂ）に示すように、このフォーマットでは、エレメントPCE3に続いて、５.１ｃｈダウンミックス信号の情報「5.1ch downmix_layer」を配置し、続いて上層の情報「upper_layer」、中層の情報「middle_layer」、及び下層＋ＬＦＥの情報「lower+LFE_layer」を順番に配置した点に特徴がある。５.１ｃｈダウンミックス信号の情報「5.1ch downmix_layer」は、図１４（Ｃ）に示される。
【００９７】
このフォーマットの符号化ストリームを復号化する際に、５.１ｃｈ再生を選択した場合は、図１４（Ｂ）に示すPCE0のデコードに続いて、５.１ｃｈダウンミックス信号の情報「5.1ch downmix_layer」だけをデコードし、続く２次元平面の上層の情報「upper_layer」、中層の情報「middle_layer」、及び下層＋ＬＦＥの情報「lower+LFE_layer」は読み飛ばすことで、図９や図１２に示したフォーマットの符号化ストリームをデコードする場合に比べて、再生処理が高速化できる。また、予め２２.２ｃｈ信号とは別に、５.１ｃｈ信号を生成しているため、この例のフォーマットの符号化ストリームを復号化した場合は、ダウンミックス係数によりデジタルデータ的に加算する場合に比べて、コンテンツの音質及び、音楽表現は向上する。
【００９８】
【表４】
表４は、表１に５.１ｃｈダウンミックス信号に関する情報を追加したものである。表４は、５.１ｃｈダウンミックス信号の３次元チャンネル配置情報と各チャンネルと図３（Ａ）〜（Ｃ）及び図４（Ａ）〜（Ｃ）に示す対応要素（スピーカ位置）との関係を示している。ここでは、５.１ｃｈダウンミックス信号は、中層部に位置するものとしている。また、２２.２ｃｈのオーディオ信号と、５.１ｃｈダウンミックス信号との区別をするために、ダウンミックス（downmix）識別情報が追加されている。
【００９９】
【表５】
表５は、表２に５.１ｃｈダウンミックス信号に関する情報を追加したものである。平面番号「１」として中層部の２次元平面を示し、そのチャンネル総数は、「６」である。また、ＰＣＥのタグ番号（element_instance_tag）は「０」としている。３次元空間を２次元平面に分割した際の平面総数に応じてＰＣＥの個数は可変し、ＰＣＥに付随するタグ番号も変化するので、５.１ｃｈダウンミックス信号用のタグ番号は常に「０」を使うようにしてもよい。
【０１００】
【表６】
表６は、表３に５.１ｃｈダウンミックス信号に関するチャンネルマッピング情報を追加したものである。downmix識別情報を追加して、５.１ｃｈダウンミックス信号であるｃｈ２４〜ｃｈ２９にのみ、「１」が立つようにしている。また、ｃｈ２４〜ｃｈ２９は、平面番号「１」として中層部の２次元平面を示し、それぞれのチャンネルは、既存の５.１ｃｈサラウンドの配置同様に、フロントチャンネルで単独チャンネルを示す「front single 識別」に割り振られるチャンネル（ｃｈ２４）と、フロントチャンネルでペアチャンネルを示す「front pair識別」に割り振られるチャンネル（ｃｈ２５、２６）と、バックチャンネルでペアチャンネルを示す「back pair識別」に割り振られるチャンネル（ｃｈ２７、２８）と、ＬＦＥチャンネルで単独チャンネルを示す「LFE single 識別」に割り振られるチャンネル（ｃｈ２９）より構成されている。
【０１０１】
そして、図１に新たに追加された前記一つの平面符号化部において、「front single 識別」に割り振られたチャンネルは、ＳＣＥとして符号化され、「front pair識別」、及び「back pair識別」に割り振られたチャンネルは、それぞれＣＰＥとして符号化され、「LFE single 識別」に割り振られたチャンネルは、ＬＦＥとして符号化される。
【０１０２】
図１５は、本発明になるオーディオ信号符号化装置により生成されるＭＰＥＧ−２／４ ＡＡＣ符号化方式の符号化ストリームの第７の例のフォーマットを示す。図１５に示す第７の例のフォーマットは、本発明になるオーディオ信号符号化装置により図２に示した２２.２ｃｈのスピーカ配置で再生される２２.２ｃｈのオーディオ信号を、５.１ｃｈダウンミックス信号に変換するための変換係数を伴ったフォーマットである。
【０１０３】
すなわち、図１５（Ｂ）に示すように、この例の符号化ストリームのフォーマットは、符号化ストリームに最初に現れるエレメントPCE0を上層用、２番目に現れるエレメントPCE1を中層用、３番目に現れるエレメントPCE2を下層＋LFE用と定義し、続いて、DSE（データストリームエレメント）として、DSE0を定義する。このDSE0には５.１ｃｈダウンミックス信号に変換するのに必要な各チャンネルに対する変換係数を記述する。
【０１０４】
図１６は、上記のDSE0の構成を、図６と同様に記述言語を用いて示した図である。図１６において、各名称の後ろには、ビット数とその単位（uimsbfは符号無し整数値）を表している。先頭にある「element_instance_tag」はタグ番号であり、複数のDSEが存在した場合に、それらを区別することができる。「data_byte_align_flag」は、DSE内でバイトアラインが成されたかを示すフラグである。「count」にはデータ長が入る。「esc_count」はデータ長２５５以上を表現するためのものである。「data_stream_byte」にはデータ長分の実データが含められる。以上から、DSE0には実データに関するフォーマットの制約が無いため自由な記述が可能であり、この部分にダウンミックス用変換係数を記述することで、復号化の終わりにそれらの係数を用いてダウンミックスを実行することができる。
【０１０５】
次に、本発明になるオーディオ信号復号化装置について説明する。
【０１０６】
図１７は、本発明になるオーディオ信号復号化装置の第１の実施の形態のブロック図を示す。同図に示すように、本実施の形態のオーディオ信号復号化装置２０は、ストリーム分離部２１と、３つの平面復号化部２２、２３及び２４と、３次元空間合成部２５とから構成され、外部から図５、図９、図１１、図１２又は図１３に示すフォーマットのＭＰＥＧ準拠の符号化ストリームを入力信号として受け、その符号化ストリームを復号化して３次元チャンネル配置情報とＮｃｈオーディオ信号とを出力する。
【０１０７】
ストリーム分離部２１は、入力された上記のＭＰＥＧ準拠の符号化ストリームから３つの２次元平面それぞれの符号化要素と平面位置情報とを分離して、５.１ｃｈ互換用以外の３つの平面位置情報(PCE)は３次元空間合成部２５にそれぞれ供給し、３つの符号化要素は２次元平面毎に設けられた平面復号化部２２、２３及び２４に別々に供給する。
【０１０８】
平面復号化部２２、２３及び２４は、図１に示した平面符号化部１２、１３、１４から出力された符号化要素と同じ符号化要素をストリーム分離部２１から供給され、入力された符号化要素を復号化して、その符号化要素が示す２次元平面の各スピーカ位置に対応したチャンネルのオーディオ信号を出力する。
【０１０９】
例えば、図５に示したフォーマットのＭＰＥＧ−２／４ ＡＡＣ符号化方式の符号化ストリーム入力時は、平面復号化部２２は図５（Ｃ）に示した上層の情報「upper_layer」の符号化要素を復号化し、図３（Ａ）に示した上層の９ｃｈのオーディオ信号を対応するチャンネルに出力する。また、平面復号化部２３は図５（Ｄ）に示した中層の情報「middle_layer」の符号化要素を復号化し、図３（Ｂ）に示した中層の１０ｃｈのオーディオ信号を対応するチャンネルに出力する。更に、平面復号化部２４は図５（Ｅ）に示した下層及びＬＦＥの情報「lower+LFE_layer」の符号化要素を復号化し、図３（Ｃ）に示した下層及びＬＦＥの３.２ｃｈのオーディオ信号を対応するチャンネルに出力する。
【０１１０】
一方、３次元空間合成部２５は、平面復号化部２１から入力される平面位置情報(PCE)から平面分割の種類と個数、２次元平面におけるフロント、サイド、リアの各チャンネル配置を識別した後、これらのチャンネル配置と２次元平面内のチャンネルとの対応をとり、各チャンネルの位置情報をリスニングポイントである原点座標（０，０，０）からの距離で表現された３次元チャンネル配置情報（ｘ,ｙ,ｚ)を出力する。
【０１１１】
このようにして、平面復号化部２２、２３及び２４から復号化された全部で２２.２ｃｈ（＝Ｎｃｈ）のオーディオ信号と、３次元空間合成部２５から出力された３次元チャンネル配置情報とを出力することにより、各チャンネルの３次元空間内の位置を明確にすることができ、図示しない対応する各チャンネルのスピーカによって立体音場を再生させることができる。このように、本実施の形態によれば、ＭＰＥＧ−２／４ ＡＡＣ規格に準拠した符号化ストリームを復号化して、２２.２ｃｈの各チャンネルの音源位置を明確に指定した立体音場の再生ができる。
【０１１２】
また、図１４に示すフォーマットのＭＰＥＧ準拠の符号化ストリームを復号化する本発明のオーディオ信号復号化装置は、図１７に示した本発明のオーディオ信号復号化装置２０内に、平面復号化部２２〜２４に並列に更に一つの平面復号化部を新たに追加すると共に、ストリーム分離部２１により前記３つの２次元平面それぞれの符号化要素と平面位置情報とを分離すると共に、５.１ｃｈダウンミックス信号に関する符号化要素と平面位置情報も分離できるようにする。
【０１１３】
これにより、２２.２ｃｈのオーディオ信号に対応する３つの符号化要素は２次元平面毎に設けられた平面復号化部２２、２３及び２４により復号化される。また、５.１ｃｈダウンミックス信号に関する符号化要素は、上記の新たに追加された平面復号化部により復号化されて、オーディオ信号として出力される。また、３次元空間合成部２５は、２２．２ｃｈのオーディオ信号に関する３つの平面位置情報と５.１ｃｈダウンミックス信号に関する平面位置情報から、３次元チャンネル配置情報（ｘ,ｙ,ｚ)を出力する。
【０１１４】
図１８は、本発明になるオーディオ信号復号化装置の第２の実施の形態のブロック図を示す。同図中、図１７と同一構成部分には同一符号を付し、その説明を省略する。同図に示すように、本実施の形態のオーディオ信号復号化装置３０は、ストリーム分離部３１と、３つの平面復号化部２２、２３及び２４と、３次元空間合成部２５と、ダウンミックス部３２とから構成される。このオーディオ信号復号化装置３０は、外部から図１５に示すフォーマットのＭＰＥＧ準拠の符号化ストリームを入力信号として受け、その符号化ストリームを復号化して３次元チャンネル配置情報とＮｃｈオーディオ信号を生成し、そして、外部より入力されたダウンミックス選択フラグに応じて、Ｎｃｈオーディオ信号を出力するか、または、ダウンミックスされたオーディオ信号を出力する。
【０１１５】
図１７に示したオーディオ信号復号化装置２０との相違点は、オーディオ信号復号化装置３０は、ストリーム分離部３１において、３つの平面位置情報及び符号化要素と共に変換係数情報を分離する点と、外部よりダウンミックス選択フラグの入力を伴ったダウンミックス部３２を有している点である。以下では、その相違点について詳細に説明する。
【０１１６】
例えば、図１５に示したフォーマットのＭＰＥＧ−２／４ ＡＡＣ符号化方式の符号化ストリーム入力時は、オーディオ信号復号化装置３０はストリーム分離部３１において図１５（Ｂ）に示したDSE0を分離し、５.１ｃｈダウンミックス信号に変換するのに必要な各チャンネルに対する変換係数情報を抽出し、ダウンミックス部３２に渡す。
【０１１７】
ダウンミックス部３２は、３次元空間合成部２５からの３次元チャンネル配置情報と、平面復号化部２２、２３及び２４からの全部でＮｃｈの復号オーディオ信号と、上記変換係数情報と、ダウンミックス選択フラグとを入力として受け、ダウンミックス選択フラグに応じて、Ｎｃｈオーディオ信号、またはダウンミックスされたオーディオ信号を出力する。上記の３次元チャンネル配置情報と変換係数情報とが対になっているため、入力されたＮｃｈオーディオ信号に乗じる変換係数は、チャンネル番号により識別される。また、ダウンミックス選択フラグは、例えば、表７に示すような種類が存在する。
【０１１８】
【表７】
表７において、ダウンミックス選択フラグ番号「０」は、ダウンミックスを行わずＮｃｈオーディオ信号をそのまま出力するモードである。また、ダウンミックス選択フラグ番号「１」は、ダウンミックスを実行し、１枚の２次元平面に存在する５.１ｃｈとして出力するモードである。また、ダウンミックス選択フラグ番号「２」は、ダウンミックスを実行し、１枚の２次元平面に存在する２ｃｈとして出力するモードである。また、ダウンミックス選択フラグ番号「３」は、ダウンミックスにより、１枚の２次元平面に存在する２ｃｈバイノーラル信号を生成するモードである。更に、ダウンミックス選択フラグ番号「４」は、平面総数分の２次元平面に存在する５.１ｃｈとして出力するモードである。
【０１１９】
図１９は、図１８中のダウンミックス部３２の一例のブロック図を示す。図１９に示すように、ダウンミックス部３２は、モード１ブロック３２１、モード２ブロック３２２、モード３ブロック３２３、モード４ブロック３２４及び出力セレクタ３２５から構成されている。モード番号は表７に示したダウンミックス選択フラグ番号に対応している。入力されたダウンミックス選択フラグに応じて、モード１ブロック３２１〜モード４ブロック３２４のうち、各番号に対応したモードブロックが有効になり、入力されたオーディオ信号、３次元チャンネル配置情報、及び変換係数情報を用いてダウンミックス処理がなされて、出力セレクタ３２５からオーディオ信号が出力される。以下、各モードついて詳細に説明する。
【０１２０】
まず、ダウンミックス部３２に、ダウンミックス選択フラグ番号「０」が入力された場合の構成及び動作について説明する。この場合は、ダウンミックス部３２は、ダウンミックスを行わず、入力されたＮｃｈオーディオ信号を出力セレクタ３２５で選択してそのまま出力する。この場合、モード１ブロック３２１〜モード４ブロック３２４は使用しない。
【０１２１】
次に、ダウンミックス部３２に、ダウンミックス選択フラグ番号「１」が入力された場合の構成及び動作について説明する。この場合は、ダウンミックス部３２は、モード１ブロック３２１を有効とすると共に、出力セレクタ３２５をモード１ブロック３２１から出力されるオーディオ信号を選択する。
【０１２２】
図２０は、モード１ブロック３２１の一例の全体ブロック図を示す。同図に示すように、モード１ブロック３２１は、上層チャンネルダウンミックス部１０１、中層チャンネルダウンミックス部１０２、下層チャンネルダウンミックス部１０３及び５.１ｃｈ合成部１０４から構成されている。モード１ブロック３２１は、入力された３次元チャンネル配置情報に基づいて、各ダウンミックス部１０１〜１０３で入力されたＮｃｈオーディオ信号の必要なチャンネルのオーディオ信号を選択してダウンミックス処理を行う。
【０１２３】
上層チャンネルダウンミックス部１０１は、Ｎｃｈオーディオ信号のうち上層部に存在するチャンネルのオーディオ信号について、変換係数情報を用いて５.１ｃｈのダウンミックス信号に変換し、そのダウンミックス信号を５.１ｃｈ合成部１０４へ出力する。同様に、中層チャンネルダウンミックス部１０２、下層チャンネルダウンミックス部１０３は、変換係数情報を用いて中層部、下層部に存在するチャンネルのオーディオ信号をそれぞれ５.１ｃｈのダウンミックス信号に変換し、そのダウンミックス信号を５.１ｃｈ合成部１０４へ出力する。
【０１２４】
５.１ｃｈ合成部１０４は、各ダウンミックス部１０１〜１０３から入力された５．１ｃｈダウンミックス信号について、対応するチャンネル毎に加算することで、１枚の２次元平面に存在する最終的な５.１ｃｈのオーディオ信号を生成して出力する。
【０１２５】
ダウンミックス方法について説明する。例えば、前述したＭＰＥＧ−２ ＡＡＣ規格は、下記の式（１ａ）、（１ｂ）を用いて１枚の２次元平面でのダウンミックスを実行し、左右の２ｃｈ（L'、R'）に変換する。
【０１２６】
【数１】
式（１ａ）、（１ｂ）において、右辺はオリジナル音声に関し、Ｌは左フロントチャンネル信号、Ｒは右フロントチャンネル信号、Ｃは前方センターチャンネル信号、Ｌsは左リアチャンネル信号、Ｒsは右リアチャンネル信号、Ａはダウンミックスの係数を示す。また、Ｌ’は左チャンネルのダウンミックス信号、Ｒ’は右チャンネルのダウンミックス信号を示す。
【０１２７】
ここで、係数Ａは可変の値で、１/√２、１/２、１/(２√２）、０という値をとれる。このため、例えば、Ａ＝１/√２を用いるとすると、式（１ａ）、（１ｂ）は下記の式（２ａ）、（２ｂ）で表現することができる。
【０１２８】
Ｌ’＝Ｃ１×［Ｌ＋Ｃ２×（Ｃ＋ＬＳ）］ （２ａ）
Ｒ’＝Ｃ１×［Ｒ＋Ｃ２×（Ｃ＋ＲＳ）］ （２ｂ）
ただし、式（２ａ）、（２ｂ）中、Ｃ１、Ｃ２は係数である。
【０１２９】
ＭＰＥＧ−２ ＡＡＣ規格に示したダウンミックス手法は、再生出力を行うチャンネルである(Ｌ,Ｒ)の側面にあるチャンネル（ＬならばＣとＬs、ＲならばＣとＲs)に係数を乗じて加算しているので、これを中層部に応用して、中層ダウンミックスＬをＭ_Ｌ、中層ダウンミックスＲをＭ_Ｒ、中層ダウンミックスＣをＭ_Ｃ、中層ダウンミックスＢＬをＭ_ＢＬ、中層ダウンミックスＢＲをＭ_ＢＲとし、中層ダウンミックスＬＦＥをＭ_ＬＦＥとすると、係数Ｃ１、Ｃ２と中層の１０チャンネル(MFL,MFLC,MFC,MFRC,MFR,MSL,MSR,MBL,MBC,MBR)とを用いて以下のような式となる。ここでは、係数Ｃ１、Ｃ２の値として、例えば、Ｃ１＝(２／３）、Ｃ２＝（１/√２）としている。
【０１３０】
Ｍ_Ｌ＝Ｃ１×［ＭＦＬ＋Ｃ２×（ＭＦＬＣ＋ＭＳＬ）］ （３ａ）
Ｍ_Ｒ＝Ｃ１×［ＭＦＲ＋Ｃ２×（ＭＦＲＣ＋ＭＳＲ）］ （３ｂ）
Ｍ_Ｃ＝Ｃ１×［ＭＦＣ＋Ｃ２×（ＭＦＬＣ＋ＭＦＲＣ）］ （３ｃ）
Ｍ_ＢＬ＝Ｃ１×［ＭＢＬ＋Ｃ２×（ＭＳＬ＋ＭＢＣ）］ （３ｄ）
Ｍ_ＢＲ＝Ｃ１×［ＭＢＲ＋Ｃ２×（ＭＳＲ＋ＭＢＣ）］ （３ｅ）
Ｍ_ＬＦＥ＝０ （３ｆ）
上層部についても、これを応用して、上層ダウンミックスＬをＵ_Ｌ、上層ダウンミックスＲをＵ_Ｒ、上層ダウンミックスＣをＵ_Ｃ、上層ダウンミックスＢＬをＵ_ＢＬ、上層ダウンミックスＢＲをＵ_ＢＲとし、上層ダウンミックスＬＦＥをＵ_ＬＦＥとすると、これらは、係数Ｃ１、Ｃ２、Ｃ３と、上層の９チャンネル（UFL,UFC,UFR,USL,USC,USR,UBL,
UBC,UBR）とを用いて以下のような式となる。ここでは、係数Ｃ１、Ｃ２、Ｃ３の値として、例えば、Ｃ１＝(２／３）、Ｃ２＝Ｃ３＝（１/√２）としている。
【０１３１】
Ｕ_Ｌ＝Ｃ１×［Ｃ３×（ＵＦＬ＋Ｃ２×ＵＳＬ）］ （４ａ）
Ｕ_Ｒ＝Ｃ１×［Ｃ３×（ＵＦＲ＋Ｃ２×ＵＳＲ）］ （４ｂ）
Ｕ_Ｃ＝Ｃ１×［Ｃ３×（ＵＦＣ＋Ｃ２×ＵＳＣ）］ （４ｃ）
Ｕ_ＢＬ＝C1×［C3×｛ＵＢＬ＋C2×（ＵＳＬ＋ＵＢＣ）＋ＵＳＣ｝］ （４ｄ）
Ｕ_ＢＲ＝C1×［C3×｛ＵＢＲ＋C2×（ＵＳＲ＋ＵＢＣ）＋ＵＳＣ｝］ （４ｅ）
Ｕ_ＬＦＥ＝０ （４ｆ）
下層部については、ダウンミックスすべき信号は、ＬＦＥチャンネルだけである。下層ダウンミックスＬをＬ_Ｌ、下層ダウンミックスＲをＬ_Ｒ、下層ダウンミックスＣをＬ_Ｃ、下層ダウンミックスＢＬをＬ_ＢＬ、下層ダウンミックスＢＲをＬ_ＢＲとし、下層ダウンミックスＬＦＥをＬ_ＬＦＥとすると、係数Ｃ１、Ｃ２と下層の３チャンネル(LFL,LFC,LFR)とＬＦＥの２チャンネル(LFEL,LFER)とを用いて以下のような式となる。ここでは、係数Ｃ１、Ｃ２の値として、例えば、Ｃ１＝(２／３）、Ｃ２＝（１/√２）としている。
【０１３２】
Ｌ_Ｌ＝Ｃ１×ＬＦＬ （５ａ）
Ｌ_Ｒ＝Ｃ１×ＬＦＲ （５ｂ）
Ｌ_Ｃ＝Ｃ１×ＬＦＣ （５ｃ）
Ｌ_ＢＬ＝０ （５ｄ）
Ｌ_ＢＲ＝０ （５ｅ）
Ｌ_ＬＦＥ＝Ｃ２×（ＬＦＥＬ＋ＬＦＥＲ） （５ｆ）
以上より、最終の５.１ｃｈダウンミックス信号を、Ｌ'、Ｒ'、Ｃ'、ＢＬ'、ＢＲ'、ＬＦＥ’とすると、これらは以下の式で表される。
【０１３３】
Ｌ’＝（Ｕ_Ｌ）＋（Ｍ_Ｌ）＋（Ｌ_Ｌ） （６ａ）
Ｒ’＝（Ｕ_Ｒ）＋（Ｍ_Ｒ）＋（Ｌ_Ｒ） （６ｂ）
Ｃ’＝（Ｕ_Ｃ）＋（Ｍ_Ｃ）＋（Ｌ_Ｃ） （６ｃ）
ＢＬ’＝（Ｕ_ＢＬ）＋（Ｍ_ＢＬ）＋（Ｌ_ＢＬ） （６ｄ）
ＢＲ’＝（Ｕ_ＢＲ）＋（Ｍ_ＢＲ）＋（Ｌ_ＢＲ） （６ｅ）
ＬＦＥ’＝（Ｕ_ＬＦＥ）＋（Ｍ_ＬＦＥ）＋（Ｌ_ＬＦＥ） （６ｆ）
前述の例で示したＣ１＝（２／３）、Ｃ２＝Ｃ３＝（１/√２）の場合、Ｃ１＝（−３.５）ｄＢ、Ｃ２＝Ｃ３＝（−３.０）ｄＢであるので、この値と加算時の増加量（＋６ｄＢ）とを考慮して信号の増加レベルを計算すると、ダウンミックス後の信号(Ｌ'、Ｒ'、Ｃ'、ＢＬ'、ＢＲ'）は、−１.４４ｄＢ、ＬＦＥ’は０ｄＢとなり、ほぼ元の信号レベルに近い値を持つダウンミックス信号を生成することができる。
【０１３４】
以上の変換係数についてDSEを用いて符号化ストリームで伝送する際に、ダウンミックス信号の計算の仕方を、オーディオ信号符号化装置とオーディオ信号復号化装置で、上式のように取り決めるのであれば、係数Ｃ１、Ｃ２、Ｃ３だけを伝送するようにすればよい。もし、計算の仕方に自由度を持たせるのであれば、チャンネル毎に乗じる係数に分解して、それぞれを伝送するようにする。式（３ａ）〜式（６ｆ)を分解してチャンネルに対応させた表を表８に示す。
【０１３５】
【表８】
このようにすれば、各チャンネルのオーディオ信号に、対応するダウンミックスチャンネル生成要素の係数を乗じるだけで、ダウンミックスチャンネルの生成ができ、計算式に縛られることは無い。また、式（３ａ）〜式（６ｆ）からも分るように、２次元平面単位で、５.１ｃｈダウンミックス信号を生成することができるので、符号化ストリームを図２１に示すようなフォーマットに構成することができる。
【０１３６】
図２１は、本発明になるオーディオ信号符号化装置により生成されるＭＰＥＧ−２／４ ＡＡＣ符号化方式の符号化ストリームの第８の例のフォーマットを示す。このフォーマットは、図２１（Ｂ）に示すように、符号化ストリームに最初に現れるエレメントPCE0を上層用、２番目に現れるエレメントPCE1を中層用、３番目に現れるエレメントPCE2を下層＋LFE用と定義し、続いて、DSEを同様な順番で、DSE0を上層用、DSE1を中層用、DSE2を下層+LFE用と定義している。そして、各DSEでは、各２次元平面に含まれるチャンネルの変換係数だけを送る。この変換係数とチャンネルと平面番号と対応要素との関係は、例えば、表９Ａ、表９Ｂ、表９Ｃに示すようになる。
【０１３７】
【表９Ａ】
【０１３８】
【表９Ｂ】
【０１３９】
【表９Ｃ】
以上の変換係数を用いて、モード１ブロック３２１は５.１ｃｈのダウンミックス処理を行う。図２２は、モード１ブロック３２１内の表９Ａに対応した上層チャンネルに対するダウンミックス処理を行う図２０の上層チャンネルダウンミックス部１０１の一例の構成図を示す。図２２に示すように、上層チャンネルダウンミックス部１０１は、上層の９チャンネルのそれぞれと変換係数情報とを乗算する９個の乗算器１０１１と、所定の乗算器出力を加算する加算器１０１２〜１０１４と、乗算器１０１５と、加算器１０１６及び１０１７とより構成される。これにより、上層チャンネルダウンミックス部１０１は、式（４ａ）〜式（４ｆ）に示した上層の５.１ｃｈダウンミックス出力（U_L,U_R,U_C,U_BL,U_BR,U_LFE）を生成して出力する。
【０１４０】
同様に、図２３は、モード１ブロック３２１内の表９Ｂに対応した中層チャンネルに対するダウンミックス処理を行う図２０の中層チャンネルダウンミックス部１０２の一例の構成図を示す。図２３に示すように、中層チャンネルダウンミックス部１０２は、中層の１０チャンネルのそれぞれと変換係数情報とを乗算する１０個の乗算器１０２１と、所定の乗算器出力を加算する加算器１０２２〜１０２６とより構成される。これにより、中層チャンネルダウンミックス部１０２は、式（３ａ）〜式（３ｆ）に示した中層の５.１ｃｈダウンミックス出力（M_L,M_R,M_C,M_BL,M_BR,M_LFE）を生成して出力する。
【０１４１】
同様に、図２４は、モード１ブロック３２１内の表９Ｃに対応した下層チャンネルに対するダウンミックス処理を行う図２０の下層チャンネルダウンミックス部１０３の一例の構成図を示す。図２４に示すように、下層チャンネルダウンミックス部１０３は、下層の５チャンネルのそれぞれと変換係数情報とを乗算する５個の乗算器１０３１と、所定の乗算器出力を加算する加算器１０３２とより構成される。これにより、下層チャンネルダウンミックス部１０３は、式（５ａ）〜式（５ｆ）に示した下層の５.１ｃｈダウンミックス出力（L_L,L_R,L_C,L_BL,L_BR,L_LFE）を生成して出力する。
【０１４２】
図２５は、図２０のモード１ブロック３２１内の５.１ｃｈ合成部１０４の一例のブロック図を示す。図２５に示すように、５.１ｃｈ合成部１０４は、上層、中層及び下層の各チャンネルのうち、５.１ｃｈの対応するチャンネルの信号同士を加算する６個の加算器１０４１〜１０４６により、式（６ａ）〜式（６ｆ）に示した加算結果をそれぞれ得て、前述の最終の５.１ｃｈダウンミックス信号Ｌ'、Ｒ'、Ｃ'、ＢＬ'、ＢＲ'、ＬＦＥ’を出力する。
【０１４３】
次に、ダウンミックス部３２に、ダウンミックス選択フラグ番号「２」が入力された場合の構成及び動作について説明する。この場合は、ダウンミックス部３２は、図１９のモード２ブロック３２２を有効とすると共に、出力セレクタ３２５をモード２ブロック３２２から出力されるオーディオ信号を選択する。
【０１４４】
図２６は、モード２ブロック３２２の一例の全体ブロック図を示す。同図に示すように、モード２ブロック３２２は、上層チャンネルダウンミックス部２０１、中層チャンネルダウンミックス部２０２、下層チャンネルダウンミックス部２０３、５.１ｃｈ合成部２０４及び２ｃｈ合成部２０５から構成されている。モード２ブロック３２２は、入力された３次元チャンネル配置情報に基づいて、各ダウンミックス部２０１〜２０３で入力されたＮｃｈオーディオ信号の必要なチャンネルを選択させてダウンミックス処理させた後、５．１ｃｈ合成部２０４で５.１ｃｈのダウンミックス信号を生成した後、２ｃｈ合成部２０５により５.１ｃｈダウンミックス信号から２ｃｈのオーディオ信号に変換して出力する。
【０１４５】
モード２ブロック３２２は、図２０に示したモード１ブロック３２１と同様の構成に、２ｃｈ合成部２０５を追加した構成であるので、次に２ｃｈ合成部２０５について説明する。
【０１４６】
図２７は、図２６中の２ｃｈ合成部２０５の一例のブロック図を示す。図２７に示すように、２ｃｈ合成部２０５は、５.１ｃｈダウンミックス信号Ｌ'、Ｒ'、Ｃ'、ＢＬ'、ＢＲ'、ＬＦＥ’と変換係数情報とをそれぞれ乗算する乗算器２０５１〜２０５５と、乗算器２０５１、２０５３、２０５４の各出力信号を加算合成する加算器２０５６と、乗算器２０５２、２０５３、２０５５の各出力信号を加算合成する加算器２０５７とより構成されている。加算器２０５６は、ダウンミックスした左チャンネル信号Ｌ”を出力する。また、加算器２０５７は、ダウンミックスした右チャンネル信号Ｒ”を出力する。
【０１４７】
次に、ダウンミックス部３２に、ダウンミックス選択フラグ番号「３」が入力された場合の構成及び動作について説明する。この場合は、ダウンミックス部３２は図１９のモード３ブロック３２３を有効とすると共に、出力セレクタ３２５をモード３ブロック３２３から出力されるオーディオ信号を選択する。
【０１４８】
ダウンミックス選択フラグ番号「３」の場合、モード３ブロック３２３によるダウンミックスにより、１枚の２次元平面上の２ｃｈバイノーラル（binaural)信号を生成する。バイノーラル信号を生成するためには、Ｎｃｈオーディオ信号の位置を示す３次元チャンネル配置情報で示されるオーディオ信号の音源位置（Ｘ，Ｙ，Ｚ）から、聴取者位置（０，０，０）に着席する聴取者の右耳までの頭部伝達関数（ＨＲＴＦ_Ｒ）と当該聴取者の左耳までの頭部伝達関数（ＨＲＴＦ_Ｌ）とを予め測定しておき、それらの頭部伝達関数に基づくフィルタ係数を用いて、各信号にフィルタ演算を行い、右耳用、左耳用にまとめることを行う。
【０１４９】
図２８は、モード３ブロック３２３の一例の全体ブロック図を示す。図２８において、モード３ブロック３２３は、各チャンネルｃｈ０〜ｃｈＮ−１のオーディオ信号が入力される左耳用のＮ個のフィルタ３２３１0〜３２３１N-1と、各チャンネルｃｈ０〜ｃｈＮ−１のオーディオ信号が入力される右耳用のＮ個のフィルタ３２３２0〜３２３２N-1と、フィルタ３２３１0〜３２３１N-1の各出力信号を加算する加算器３２３３と、フィルタ３２３２0〜３２３２N-1の各出力信号を加算する加算器３２３４とより構成される。
【０１５０】
モード３ブロック３２３の各フィルタ３２３１0〜３２３１N-1と３２３２0〜３２３２N-1とは、ダウンミックス選択フラグ番号「３」が選択された場合に、入力される変換係数情報に基づいたフィルタ係数に設定される。このフィルタ係数は、各チャンネルに対する対応要素（UFCなど）に対応した頭部伝達関数（HRTF: Head-Related Transfer Function)に基づくフィルタ係数である。固定位置に対する頭部伝達関数のデータベースで十分であれば、符号化ストリームとして伝送する必要はないが、自由度の高い３次元配置を必要とする場合には、その３次元配置からリスナーの右耳、左耳までの頭部伝達関数が必要となる。
【０１５１】
図２８において、前述からの例でいえば、ｃｈ０はＵＦＣであり、ＵＦＣの３次元配置（0, Y, Z)から発した音がリスナーの左耳に届く際の伝達特性（HRTF(0, L)）をフィルタ３２３１0により、またリスナーの右耳に届く際の伝達特性（HRTF(0, R))をフィルタ３２３２0によりそれぞれｃｈ０の信号に畳み込み、出力する。同様に、ｃｈ１の信号に対して、ＵＦＬの伝達特性HRTF(1, L)をフィルタ３２３１1により、また、伝達関数HRTF(1, R)をフィルタ３２３２1により、それぞれ畳み込み、出力する。
【０１５２】
そして、加算器３２３３は、全てのＬｃｈに対するフィルタ３２３１0〜３２３１N-1の各出力信号を加算合成してＬチャンネルのバイノーラル信号を出力する。また、これと並行して加算器３２３４は、全てのＲｃｈに対するフィルタ３２３２0〜３２３２N-1の各出力信号を加算合成してＲチャンネルのバイノーラル信号を出力する。このモードは、ヘッドホン試聴時に有効なモードとなる。
【０１５３】
次に、ダウンミックス部３２に、ダウンミックス選択フラグ番号「４」が入力された場合の構成及び動作について説明する。この場合は、ダウンミックス部３２は、図１９のモード４ブロック３２４を有効とすると共に、出力セレクタ３２５をモード４ブロック３２４から出力されるオーディオ信号を選択する。
【０１５４】
図２９は、モード４ブロック３２４の一例の全体ブロック図を示す。同図に示すように、モード４ブロック３２４は、上層チャンネルダウンミックス部３２４１、中層チャンネルダウンミックス部３２４２、下層チャンネルダウンミックス部３２４３から構成されている。このモード４ブロック３２４は、図２０に示したモード１ブロック３２１と同様の構成から５.１ｃｈ合成部１０４を削除した構成である。
【０１５５】
このモードは、平面総数だけ存在する２次元平面について、２次元平面毎に５.１ｃｈダウンミックスを行い出力するモードである。このモードの利点は、上層用に９ｃｈ分のスピーカを設置できない場合でも、図３０に示すような、上層、中層、下層用にそれぞれ合計３個のユニットを備えたトールボーイ型スピーカ４１〜４５を配置することで、計５本のスピーカ４１〜４５と１個のサブウーハー（ＬＦＥ）とにより、１枚の２次元平面上での５.１ｃｈダウンミックスでは得られない効果を得ることができる点である。
【０１５６】
なお、本発明は以上の実施の形態に限定されるものではなく、例えば「ストリームに最初に現れるPCE0を上層用、２番目に現れるPCE1を中層用、３番目に現れるPCE2を低層＋ＬＦＥ用と定義する」といった取り決めを行わないのであれば、別途PCE中のコメントフィールドに前述した３種類の平面情報を記載したり、あるいは、DSE(データストリームエレメント)に記載するようにし、PCEの「element_instance_tag」の順番（小さい番号）からの並びと対応させる（この番号がプログラム番号を意味する。）ようにしてもよい。この場合は、上記の３つの平面の情報を自由な並びで配置できる。
【０１５７】
また、オーディオ信号符号化装置１０は、３つの平面符号化部１２〜１４を有しているが、１個の符号化部でメモリに蓄えつつ、３平面分の符号化処理を行うようにしてもよい。同様に、オーディオ信号復号化装置２０は、３つの平面復号化部２２〜２４を有しているが、１個の復号化部でメモリに蓄えつつ、３平面分の復号化処理を行うようにしてもよい。更に、本発明は２２.２ｃｈ以外の多チャンネルの３次元空間に配置されたスピーカにより立体音場を形成する多チャンネルオーディオ信号にも適用できることは勿論である。
【０１５８】
また、以上の実施の形態ではＭＰＥＧ−２／４ ＡＡＣ方式を例に説明したが、例えば、Ｅ−ＡＣ３方式に本発明を適用することができる。Ｅ−ＡＣ３方式の場合、公知の文献（"SMPTE Proposed Recommended Practice, Digital Cinema Channel Mapping and Labeling, RP 226,"(c)SMPTE 2004）に示された上方スピーカを伴ったチャンネル配置に準拠して符号化ストリームを生成することができるが、チャンネル配置がSMPTE提案に限定的であるため、２２.２ｃｈを符号化することができない。しかし、本発明のオーディオ信号符号化装置は複数のプログラムを１本のストリームに統合化できる符号化を行うため、本発明をＥーＡＣ３方式に適用可能である。
【０１５９】
また、本発明はオーディオ信号符号化装置１０の動作をコンピュータにより実行する符号化プログラムや、オーディオ信号復号化装置２０，３０の動作をコンピュータにより実行する復号化プログラムも包含するものである。
【符号の説明】
【０１６０】
１０ オーディオ信号符号化装置
１１ ３次元空間分割部
１２、１３、１４ 平面符号化部
１５ ストリーム統合部
２０、３０ オーディオ信号復号化装置
２１、３１ ストリーム分離部
２２、２３、２４ 平面復号化部
２５ ３次元空間合成部
３２ ダウンミックス部
４１〜４５ トールボーイ型スピーカ
１０１、２０１、３２４１ 上層チャンネルダウンミックス部
１０２、２０２、３２４２ 中層チャンネルダウンミックス部
１０３、２０３、３２４３ 下層チャンネルダウンミックス部
１０４、２０４ ５.１ｃｈ合成部
２０５ ２ｃｈ合成部
３２１ モード１ブロック
３２２ モード２ブロック
３２３ モード３ブロック
３２４ モード４ブロック
３２５ 出力セレクタ
【特許請求の範囲】
【請求項１】
複数チャンネルのオーディオ信号を出力する３次元空間に立体的に配置される複数のスピーカの各スピーカの位置と、前記３次元空間を複数の２次元平面に分割するための方向である分割方向とに基づいて、前記２次元平面の数と、各２次元平面に対応するチャンネル数と、前記２次元平面の分割順序とを含む平面情報を出力し、さらに、各チャンネルが対応する各スピーカの前記２次元平面内における位置を示すチャンネルマッピング情報を出力する第１のステップと、
前記平面情報と前記チャンネルマッピング情報とに基づいて、前記複数チャンネルのオーディオ信号を前記２次元平面毎にひとまとまりのプログラムとして符号化を行うことで符号化要素を生成し、さらに、前記２次元平面内のチャンネル配置を示す情報を含む平面位置情報を生成し、前記符号化要素と前記平面位置情報とを前記２次元平面毎に出力する第２のステップと、
前記第２のステップにより前記２次元平面毎に出力された前記符号化要素と前記平面位置情報とを全て統合して、１本の符号化ストリームを生成して出力する第３のステップと
を含むことを特徴とするオーディオ信号符号化方法。
【請求項２】
前記第３のステップで生成される前記１本の符号化ストリームには、３次元空間に立体的に配置される前記複数チャンネルのオーディオ信号の内、一部のチャンネルのみを復号化できるようにするための情報が前記平面位置情報として付加されていることを特徴とする請求項１記載のオーディオ信号符号化方法。
【請求項３】
前記第３のステップで生成される前記１本の符号化ストリームには、３次元空間に立体的に配置される前記複数チャンネルのオーディオ信号を、前記複数チャンネルよりも少ないチャンネル数に変換したオーディオ信号として再生できるようにするための変換係数情報が付加されていることを特徴とする請求項１記載のオーディオ信号符号化方法。
【請求項４】
前記変換係数情報は、前記３次元空間に立体的に配置される前記少ないチャンネル数のスピーカの各スピーカの位置から、視聴者の右耳までの頭部伝達関数に相当するフィルタ係数と、前記視聴者の左耳までの頭部伝達関数に相当するフィルタ係数とを有していることを特徴とする請求項３記載のオーディオ信号符号化方法。
【請求項５】
前記第１のステップで生成されるチャンネルマッピング情報には、３次元空間に立体的に配置される前記複数のスピーカのうち、前記複数のチャンネルよりも少ないチャンネル数に予め変換したオーディオ信号を出力する各スピーカの前記２次元平面における位置を示す情報も含むようにし、
前記第２のステップでは、前記３次元空間に立体的に配置される前記複数のスピーカから出力するための前記複数チャンネルのオーディオ信号とは別に、前記少ないチャンネル数に予め変換したオーディオ信号について、前記２次元平面毎にひとまとまりのプログラムとして符号化を行うことで第２の符号化要素を生成し、さらに、前記２次元平面内のチャンネル配置を示す情報を含む第２の平面位置情報を生成して、前記第２の符号化要素と前記第２の平面位置情報とを前記２次元平面毎に出力するようにし、
前記第３のステップでは、前記第２の符号化要素と前記第２の平面位置情報とを、前記複数チャンネルのオーディオ信号を前記２次元平面毎にひとまとまりのプログラムとして符号化を行うことで生成した前記符号化要素と、前記２次元平面内のチャンネル配置を示す情報を含む前記平面位置情報と一緒に統合した、１本の符号化ストリームを生成して出力するようしたことを特徴とする請求項１記載のオーディオ信号符号化方法。
【請求項６】
複数チャンネルのオーディオ信号を出力する３次元空間に立体的に配置される複数のスピーカの各スピーカの位置と、前記３次元空間を複数の２次元平面に分割するための方向である分割方向とに基づいて、前記２次元平面の数と、各２次元平面に対応するチャンネル数と、前記２次元平面の分割順序とを含む平面情報を出力し、さらに、各チャンネルが対応する各スピーカの前記２次元平面内における位置を示すチャンネルマッピング情報を出力する３次元空間分割部と、
前記平面情報と前記チャンネルマッピング情報とに基づいて、前記複数チャンネルのオーディオ信号を前記２次元平面毎にひとまとまりのプログラムとして符号化を行うことで符号化要素を生成し、さらに、前記２次元平面内のチャンネル配置を示す情報を含む平面位置情報を生成し、前記符号化要素と前記平面位置情報とを前記２次元平面毎に出力する平面符号化部と、
前記平面符号化部により前記２次元平面毎に出力された前記符号化要素と前記平面位置情報とを全て統合して、１本の符号化ストリームを生成して出力するストリーム統合部と
を有することを特徴とするオーディオ信号符号化装置。
【請求項７】
前記ストリーム統合部は、３次元空間に立体的に配置される前記複数チャンネルの音源情報の内、一部のチャンネルのみを復号化できるようにするための情報を前記平面位置情報として付加した前記１本の符号化ストリームを生成することを特徴とする請求項６記載のオーディオ信号符号化装置。
【請求項８】
前記ストリーム統合部は、３次元空間に立体的に配置される前記複数チャンネルのオーディオ信号を前記複数チャンネルよりも少ないチャンネル数に変換した信号に再生できるようにするための変換係数情報を付加した前記１本の符号化ストリームを生成することを特徴とする請求項６記載のオーディオ信号符号化装置。
【請求項９】
前記変換係数情報は、前記３次元空間に立体的に配置される前記少ないチャンネル数のスピーカの各スピーカの位置から、視聴者の右耳までの頭部伝達関数に相当するフィルタ係数と、前記視聴者の左耳までの頭部伝達関数に相当するフィルタ係数とを有していることを特徴とする請求項８記載のオーディオ信号符号化装置。
【請求項１０】
前記３次元空間分割部は、３次元空間に立体的に配置される前記複数のスピーカのうち、前記複数チャンネルよりも少ないチャンネル数に予め変換したオーディオ信号を出力するスピーカの前記２次元平面における位置を示す情報も出力するようにし、
前記平面符号化部は、前記複数チャンネルのオーディオ信号とは別に、前記少ないチャンネル数に予め変換したオーディオ信号について、前記２次元平面毎にひとまとまりのプログラムとして符号化を行うことで第２の符号化要素を生成し、さらに、前記２次元平面内のチャンネル配置を示す情報を含む第２の平面位置情報を生成して、前記第２の符号化要素と前記第２の平面位置情報とを前記２次元平面毎に出力するようにし、
前記ストリーム統合部は、前記第２の符号化要素と前記第２の平面位置情報とを、前記複数チャンネルのオーディオ信号を前記２次元平面毎にひとまとまりのプログラムとして符号化を行うことで生成した前記符号化要素と前記２次元平面内のチャンネル配置を示す情報を含む平面位置情報と一緒に統合した、１本の符号化ストリームを生成して出力するようしたことを特徴とする請求項６記載のオーディオ信号符号化装置。
【請求項１１】
３次元空間に立体的に配置される複数のスピーカから出力するための複数チャンネルのオーディオ信号を、前記３次元空間に含まれる複数の２次元平面毎にひとまとまりのプログラムとして符号化することで符号化要素を生成し、さらに、前記２次元平面内のチャンネル配置を示す情報を含む平面位置情報を生成し、それらを統合して得られる１本の符号化ストリームを入力として受け、その符号化ストリームから、前記平面位置情報と前記符号化要素とを前記複数の２次元平面のそれぞれについて分離する第１のステップと、
前記第１のステップにおいて分離された前記２次元平面毎の前記符号化要素をそれぞれ復号化して、前記３次元空間に配置された前記複数チャンネルのオーディオ信号へと復号する第２のステップと、
前記第１のステップで分離された前記２次元平面毎の前記平面位置情報を合成して、復号された前記複数チャンネルのオーディオ信号の各チャンネルのオーディオ信号を出力するスピーカの位置を示す３次元チャンネル配置情報を生成する第３のステップと
を含むことを特徴とするオーディオ信号復号化方法。
【請求項１２】
３次元空間に立体的に配置される複数のスピーカから出力するための複数チャンネルのオーディオ信号を、前記３次元空間に含まれる複数の２次元平面毎にひとまとまりのプログラムとして符号化することで第１の符号化要素を生成し、さらに、前記２次元平面内のチャンネル配置を示す情報を含む第１の平面位置情報を生成すると共に、前記複数チャンネルのオーディオ信号よりも少ないチャンネル数に予め変換したオーディオ信号についても、前記３次元空間に含まれる複数の２次元平面毎にひとまとまりのプログラムとして符号化することで第２の符号化要素を生成し、さらに、前記２次元平面内のチャンネル配置を示す情報を含む第２の平面位置情報を生成し、それらを統合して得られる１本の符号化ストリームを入力として受け、その符号化ストリームから、前記第１及び第２の平面位置情報と前記第１及び第２の符号化要素とを前記複数の２次元平面のそれぞれについて分離する第１のステップと、
前記第１のステップで分離された前記２次元平面毎の前記第１及び第２の符号化要素をそれぞれ復号化して、前記複数チャンネルのオーディオ信号と、前記複数チャンネルよりも少ないチャンネル数に予め変換したオーディオ信号へと復号する第２のステップと、
前記第１のステップで分離された前記２次元平面毎の前記第１及び第２の平面位置情報を合成して、復号された前記複数チャンネルのオーディオ信号と、前記複数チャンネルよりも少ないチャンネル数に予め変換したオーディオ信号の各チャンネルのオーディオ信号をそれぞれ出力するスピーカの位置を示す３次元チャンネル配置情報を生成する第３のステップと
を含むことを特徴とするオーディオ信号復号化方法。
【請求項１３】
３次元空間に立体的に配置される複数のスピーカから出力するための複数チャンネルのオーディオ信号を、前記３次元空間に含まれる複数の２次元平面毎にひとまとまりのプログラムとして符号化することで符号化要素を生成し、さらに、前記２次元平面内のチャンネル配置を示す情報を含む平面位置情報を生成し、さらに、３次元空間に配置される前記複数チャンネルのオーディオ信号を前記複数チャンネルよりも少ないチャンネル数のオーディオ信号として再生できるようにするための変換係数を示す情報を含む変換係数情報を生成し、それらを統合して得られる１本の符号化ストリームを入力として受け、その符号化ストリームから、前記平面位置情報と前記符号化要素とを前記複数の２次元平面のそれぞれについて分離し、さらに、前記変換係数情報を分離する第１のステップと、
前記第１のステップで分離された前記２次元平面毎に前記符号化要素をそれぞれ復号化して、前記複数チャンネルのオーディオ信号へと復号する第２のステップと、
前記第１のステップで分離された前記２次元平面毎の前記平面位置情報を合成して、前記複数チャンネルのオーディオ信号の各チャンネルのオーディオ信号を出力するスピーカの位置を示す３次元チャンネル配置情報を生成する第３のステップと、
復号された前記複数チャンネルのオーディオ信号に対して、前記３次元チャンネル配置情報を基に得られる前記第１のステップで分離された前記変換係数情報を乗じて、１枚以上の２次元平面で再生されるように、前記複数チャンネルのオーディオ信号よりも少ないチャンネル数のオーディオ信号に変換する第４のステップと
を含むことを特徴とするオーディオ信号復号化方法。
【請求項１４】
３次元空間に立体的に配置される複数のスピーカから出力するための複数チャンネルのオーディオ信号を、前記３次元空間に含まれる複数の２次元平面毎にひとまとまりのプログラムとして符号化することで符号化要素を生成し、さらに、前記２次元平面内のチャンネル配置を示す情報を含む平面位置情報を生成し、さらに、３次元空間に配置される前記複数チャンネルのオーディオ信号を少ないチャンネル数で再生できるようにするための変換係数を示す情報を含む変換係数情報を生成し、それらを統合して得られる１本の符号化ストリームを入力として受け、その符号化ストリームから、前記平面位置情報と前記符号化要素とを前記複数の２次元平面のそれぞれについて分離し、さらに、前記変換係数情報を分離する第１のステップと、
前記第１のステップで分離された前記２次元平面毎に前記符号化要素をそれぞれ復号化して、前記複数チャンネルのオーディオ信号へと復号する第２のステップと、
前記第１のステップで分離された前記２次元平面毎の前記平面位置情報を合成して、前記複数チャンネルのオーディオ信号の各チャンネルのオーディオ信号を出力するスピーカの位置を示す３次元チャンネル配置情報を生成する第３のステップと、
復号された前記複数チャンネルのオーディオ信号に対して、前記３次元チャンネル配置情報を基に得られる前記第１のステップで分離された前記変換係数情報を乗じて、前記複数チャンネルのオーディオ信号から２チャンネルのバイノーラル信号に変換する第４のステップと
を含むことを特徴とするオーディオ信号復号化方法。
【請求項１５】
３次元空間に立体的に配置される複数のスピーカから出力するための複数チャンネルのオーディオ信号を、前記３次元空間に含まれる複数の２次元平面毎にひとまとまりのプログラムとして符号化することで符号化要素を生成し、さらに、前記２次元平面内のチャンネル配置を示す情報を含む平面位置情報を生成し、それらを統合して得られる１本の符号化ストリームを入力として受け、その符号化ストリームから、前記平面位置情報と前記符号化要素とを前記複数の２次元平面のそれぞれについて分離するストリーム分離部と、
前記ストリーム分離部において分離された前記２次元平面毎の前記符号化要素をそれぞれ復号化して、前記複数チャンネルのオーディオ信号へと復号する平面復号化部と、
前記ストリーム分離部で分離された前記２次元平面毎の前記平面位置情報を合成して、復号された前記複数チャンネルのオーディオ信号の各チャンネルのオーディオ信号を出力するスピーカの位置を示す３次元チャンネル配置情報を生成する３次元空間合成部と
を有することを特徴とするオーディオ信号復号化装置。
【請求項１６】
３次元空間に立体的に配置される複数のスピーカから出力するための複数チャンネルのオーディオ信号を、前記３次元空間に含まれる複数の２次元平面毎にひとまとまりのプログラムとして符号化することで第１の符号化要素を生成し、さらに、前記２次元平面内のチャンネル配置を示す情報を含む第１の平面位置情報を生成すると共に、予め変換した前記複数チャンネルよりも少ないチャンネル数のオーディオ信号についても、前記３次元空間に含まれる複数の２次元平面毎にひとまとまりのプログラムとして符号化することで第２の符号化要素を生成し、さらに、前記２次元平面内のチャンネル配置を示す情報を含む第２の平面位置情報を生成し、それらを統合して得られる１本の符号化ストリームを入力として受け、その符号化ストリームから、前記第１及び第２の平面位置情報と前記第１及び第２の符号化要素とを前記複数の２次元平面のそれぞれについて分離するストリーム分離部と、
前記ストリーム分離部で分離された前記２次元平面毎の前記第１及び第２の符号化要素をそれぞれ復号化して、前記複数チャンネルのオーディオ信号と、前記予め変換した前記複数チャンネルよりも少ないチャンネル数のオーディオ信号へと復号する平面復号化部と、
前記ストリーム分離部で分離された前記２次元平面毎の前記第１及び第２の平面位置情報を合成して、復号された前記複数チャンネルのオーディオ信号と、前記予め変換した前記複数チャンネルよりも少ないチャンネル数のオーディオ信号の各チャンネルのオーディオ信号をそれぞれ出力するスピーカの位置を示す３次元チャンネル配置情報を生成する３次元空間合成部と
を有することを特徴とするオーディオ信号復号化装置。
【請求項１７】
３次元空間に立体的に配置される複数のスピーカから出力するための複数チャンネルのオーディオ信号を、前記３次元空間に含まれる複数の２次元平面毎にひとまとまりのプログラムとして符号化することで符号化要素を生成し、さらに、前記２次元平面内のチャンネル配置を示す情報を含む平面位置情報を生成し、さらに、３次元空間に配置される前記複数チャンネルよりも少ないチャンネル数のオーディオ信号で再生できるようにするための変換係数を示す情報を含む変換係数情報を生成し、それらを統合して得られる１本の符号化ストリームを入力として受け、その符号化ストリームから、前記平面位置情報と前記符号化要素とを前記複数の２次元平面のそれぞれについて分離し、さらに、前記変換係数情報を分離するストリーム分離部と、
前記ストリーム分離部で分離された前記２次元平面毎の前記符号化要素をそれぞれ復号化して、前記複数チャンネルのオーディオ信号へと復号する平面復号化部と、
前記ストリーム分離部で分離された前記２次元平面毎の前記平面位置情報を合成して、復号された前記複数チャンネルのオーディオ信号の各チャンネルのオーディオ信号を出力するスピーカの位置を示す３次元チャンネル配置情報を生成する３次元空間合成部と、
復号された前記複数チャンネルのオーディオ信号に対して、前記３次元チャンネル配置情報を基に得られる前記ストリーム分離部で分離された前記変換係数情報を乗じて、１枚以上の２次元平面で再生されるように、前記複数チャンネルよりも少ないチャンネル数のオーディオ信号に変換するダウンミックス部と
を有することを特徴とするオーディオ信号復号化装置。
【請求項１８】
３次元空間に立体的に配置される複数のスピーカから出力するための複数チャンネルのオーディオ信号を、前記３次元空間に含まれる複数の２次元平面毎にひとまとまりのプログラムとして符号化することで符号化要素を生成し、さらに、前記２次元平面内のチャンネル配置を示す情報を含む平面位置情報を生成し、さらに、３次元空間に配置される前記複数チャンネルよりも少ないチャンネル数で再生できるようにするための変換係数を示す情報を含む変換係数情報を生成し、それらを統合して得られる１本の符号化ストリームを入力として受け、その符号化ストリームから、前記平面位置情報と前記符号化要素とを前記複数の２次元平面のそれぞれについて分離し、さらに、前記変換係数情報を分離するストリーム分離部と、
前記ストリーム分離部で分離された前記２次元平面毎の前記符号化要素をそれぞれ復号化して、前記複数チャンネルのオーディオ信号へと復号する平面復号化部と、
前記ストリーム分離部で分離された前記２次元平面毎の前記平面位置情報を合成して、復号された前記複数チャンネルのオーディオ信号の各チャンネルのオーディオ信号を出力するスピーカの位置を示す３次元チャンネル配置情報を生成する３次元空間合成部と、
復号された前記複数チャンネルのオーディオ信号に対して、前記３次元チャンネル配置情報を基に得られる前記ストリーム分離部で分離された前記変換係数情報を乗じて、前記複数チャンネルのオーディオ信号から２チャンネルのバイノーラル信号に変換するダウンミックス部と
を有することを特徴とするオーディオ信号復号化装置。
【請求項１】
複数チャンネルのオーディオ信号を出力する３次元空間に立体的に配置される複数のスピーカの各スピーカの位置と、前記３次元空間を複数の２次元平面に分割するための方向である分割方向とに基づいて、前記２次元平面の数と、各２次元平面に対応するチャンネル数と、前記２次元平面の分割順序とを含む平面情報を出力し、さらに、各チャンネルが対応する各スピーカの前記２次元平面内における位置を示すチャンネルマッピング情報を出力する第１のステップと、
前記平面情報と前記チャンネルマッピング情報とに基づいて、前記複数チャンネルのオーディオ信号を前記２次元平面毎にひとまとまりのプログラムとして符号化を行うことで符号化要素を生成し、さらに、前記２次元平面内のチャンネル配置を示す情報を含む平面位置情報を生成し、前記符号化要素と前記平面位置情報とを前記２次元平面毎に出力する第２のステップと、
前記第２のステップにより前記２次元平面毎に出力された前記符号化要素と前記平面位置情報とを全て統合して、１本の符号化ストリームを生成して出力する第３のステップと
を含むことを特徴とするオーディオ信号符号化方法。
【請求項２】
前記第３のステップで生成される前記１本の符号化ストリームには、３次元空間に立体的に配置される前記複数チャンネルのオーディオ信号の内、一部のチャンネルのみを復号化できるようにするための情報が前記平面位置情報として付加されていることを特徴とする請求項１記載のオーディオ信号符号化方法。
【請求項３】
前記第３のステップで生成される前記１本の符号化ストリームには、３次元空間に立体的に配置される前記複数チャンネルのオーディオ信号を、前記複数チャンネルよりも少ないチャンネル数に変換したオーディオ信号として再生できるようにするための変換係数情報が付加されていることを特徴とする請求項１記載のオーディオ信号符号化方法。
【請求項４】
前記変換係数情報は、前記３次元空間に立体的に配置される前記少ないチャンネル数のスピーカの各スピーカの位置から、視聴者の右耳までの頭部伝達関数に相当するフィルタ係数と、前記視聴者の左耳までの頭部伝達関数に相当するフィルタ係数とを有していることを特徴とする請求項３記載のオーディオ信号符号化方法。
【請求項５】
前記第１のステップで生成されるチャンネルマッピング情報には、３次元空間に立体的に配置される前記複数のスピーカのうち、前記複数のチャンネルよりも少ないチャンネル数に予め変換したオーディオ信号を出力する各スピーカの前記２次元平面における位置を示す情報も含むようにし、
前記第２のステップでは、前記３次元空間に立体的に配置される前記複数のスピーカから出力するための前記複数チャンネルのオーディオ信号とは別に、前記少ないチャンネル数に予め変換したオーディオ信号について、前記２次元平面毎にひとまとまりのプログラムとして符号化を行うことで第２の符号化要素を生成し、さらに、前記２次元平面内のチャンネル配置を示す情報を含む第２の平面位置情報を生成して、前記第２の符号化要素と前記第２の平面位置情報とを前記２次元平面毎に出力するようにし、
前記第３のステップでは、前記第２の符号化要素と前記第２の平面位置情報とを、前記複数チャンネルのオーディオ信号を前記２次元平面毎にひとまとまりのプログラムとして符号化を行うことで生成した前記符号化要素と、前記２次元平面内のチャンネル配置を示す情報を含む前記平面位置情報と一緒に統合した、１本の符号化ストリームを生成して出力するようしたことを特徴とする請求項１記載のオーディオ信号符号化方法。
【請求項６】
複数チャンネルのオーディオ信号を出力する３次元空間に立体的に配置される複数のスピーカの各スピーカの位置と、前記３次元空間を複数の２次元平面に分割するための方向である分割方向とに基づいて、前記２次元平面の数と、各２次元平面に対応するチャンネル数と、前記２次元平面の分割順序とを含む平面情報を出力し、さらに、各チャンネルが対応する各スピーカの前記２次元平面内における位置を示すチャンネルマッピング情報を出力する３次元空間分割部と、
前記平面情報と前記チャンネルマッピング情報とに基づいて、前記複数チャンネルのオーディオ信号を前記２次元平面毎にひとまとまりのプログラムとして符号化を行うことで符号化要素を生成し、さらに、前記２次元平面内のチャンネル配置を示す情報を含む平面位置情報を生成し、前記符号化要素と前記平面位置情報とを前記２次元平面毎に出力する平面符号化部と、
前記平面符号化部により前記２次元平面毎に出力された前記符号化要素と前記平面位置情報とを全て統合して、１本の符号化ストリームを生成して出力するストリーム統合部と
を有することを特徴とするオーディオ信号符号化装置。
【請求項７】
前記ストリーム統合部は、３次元空間に立体的に配置される前記複数チャンネルの音源情報の内、一部のチャンネルのみを復号化できるようにするための情報を前記平面位置情報として付加した前記１本の符号化ストリームを生成することを特徴とする請求項６記載のオーディオ信号符号化装置。
【請求項８】
前記ストリーム統合部は、３次元空間に立体的に配置される前記複数チャンネルのオーディオ信号を前記複数チャンネルよりも少ないチャンネル数に変換した信号に再生できるようにするための変換係数情報を付加した前記１本の符号化ストリームを生成することを特徴とする請求項６記載のオーディオ信号符号化装置。
【請求項９】
前記変換係数情報は、前記３次元空間に立体的に配置される前記少ないチャンネル数のスピーカの各スピーカの位置から、視聴者の右耳までの頭部伝達関数に相当するフィルタ係数と、前記視聴者の左耳までの頭部伝達関数に相当するフィルタ係数とを有していることを特徴とする請求項８記載のオーディオ信号符号化装置。
【請求項１０】
前記３次元空間分割部は、３次元空間に立体的に配置される前記複数のスピーカのうち、前記複数チャンネルよりも少ないチャンネル数に予め変換したオーディオ信号を出力するスピーカの前記２次元平面における位置を示す情報も出力するようにし、
前記平面符号化部は、前記複数チャンネルのオーディオ信号とは別に、前記少ないチャンネル数に予め変換したオーディオ信号について、前記２次元平面毎にひとまとまりのプログラムとして符号化を行うことで第２の符号化要素を生成し、さらに、前記２次元平面内のチャンネル配置を示す情報を含む第２の平面位置情報を生成して、前記第２の符号化要素と前記第２の平面位置情報とを前記２次元平面毎に出力するようにし、
前記ストリーム統合部は、前記第２の符号化要素と前記第２の平面位置情報とを、前記複数チャンネルのオーディオ信号を前記２次元平面毎にひとまとまりのプログラムとして符号化を行うことで生成した前記符号化要素と前記２次元平面内のチャンネル配置を示す情報を含む平面位置情報と一緒に統合した、１本の符号化ストリームを生成して出力するようしたことを特徴とする請求項６記載のオーディオ信号符号化装置。
【請求項１１】
３次元空間に立体的に配置される複数のスピーカから出力するための複数チャンネルのオーディオ信号を、前記３次元空間に含まれる複数の２次元平面毎にひとまとまりのプログラムとして符号化することで符号化要素を生成し、さらに、前記２次元平面内のチャンネル配置を示す情報を含む平面位置情報を生成し、それらを統合して得られる１本の符号化ストリームを入力として受け、その符号化ストリームから、前記平面位置情報と前記符号化要素とを前記複数の２次元平面のそれぞれについて分離する第１のステップと、
前記第１のステップにおいて分離された前記２次元平面毎の前記符号化要素をそれぞれ復号化して、前記３次元空間に配置された前記複数チャンネルのオーディオ信号へと復号する第２のステップと、
前記第１のステップで分離された前記２次元平面毎の前記平面位置情報を合成して、復号された前記複数チャンネルのオーディオ信号の各チャンネルのオーディオ信号を出力するスピーカの位置を示す３次元チャンネル配置情報を生成する第３のステップと
を含むことを特徴とするオーディオ信号復号化方法。
【請求項１２】
３次元空間に立体的に配置される複数のスピーカから出力するための複数チャンネルのオーディオ信号を、前記３次元空間に含まれる複数の２次元平面毎にひとまとまりのプログラムとして符号化することで第１の符号化要素を生成し、さらに、前記２次元平面内のチャンネル配置を示す情報を含む第１の平面位置情報を生成すると共に、前記複数チャンネルのオーディオ信号よりも少ないチャンネル数に予め変換したオーディオ信号についても、前記３次元空間に含まれる複数の２次元平面毎にひとまとまりのプログラムとして符号化することで第２の符号化要素を生成し、さらに、前記２次元平面内のチャンネル配置を示す情報を含む第２の平面位置情報を生成し、それらを統合して得られる１本の符号化ストリームを入力として受け、その符号化ストリームから、前記第１及び第２の平面位置情報と前記第１及び第２の符号化要素とを前記複数の２次元平面のそれぞれについて分離する第１のステップと、
前記第１のステップで分離された前記２次元平面毎の前記第１及び第２の符号化要素をそれぞれ復号化して、前記複数チャンネルのオーディオ信号と、前記複数チャンネルよりも少ないチャンネル数に予め変換したオーディオ信号へと復号する第２のステップと、
前記第１のステップで分離された前記２次元平面毎の前記第１及び第２の平面位置情報を合成して、復号された前記複数チャンネルのオーディオ信号と、前記複数チャンネルよりも少ないチャンネル数に予め変換したオーディオ信号の各チャンネルのオーディオ信号をそれぞれ出力するスピーカの位置を示す３次元チャンネル配置情報を生成する第３のステップと
を含むことを特徴とするオーディオ信号復号化方法。
【請求項１３】
３次元空間に立体的に配置される複数のスピーカから出力するための複数チャンネルのオーディオ信号を、前記３次元空間に含まれる複数の２次元平面毎にひとまとまりのプログラムとして符号化することで符号化要素を生成し、さらに、前記２次元平面内のチャンネル配置を示す情報を含む平面位置情報を生成し、さらに、３次元空間に配置される前記複数チャンネルのオーディオ信号を前記複数チャンネルよりも少ないチャンネル数のオーディオ信号として再生できるようにするための変換係数を示す情報を含む変換係数情報を生成し、それらを統合して得られる１本の符号化ストリームを入力として受け、その符号化ストリームから、前記平面位置情報と前記符号化要素とを前記複数の２次元平面のそれぞれについて分離し、さらに、前記変換係数情報を分離する第１のステップと、
前記第１のステップで分離された前記２次元平面毎に前記符号化要素をそれぞれ復号化して、前記複数チャンネルのオーディオ信号へと復号する第２のステップと、
前記第１のステップで分離された前記２次元平面毎の前記平面位置情報を合成して、前記複数チャンネルのオーディオ信号の各チャンネルのオーディオ信号を出力するスピーカの位置を示す３次元チャンネル配置情報を生成する第３のステップと、
復号された前記複数チャンネルのオーディオ信号に対して、前記３次元チャンネル配置情報を基に得られる前記第１のステップで分離された前記変換係数情報を乗じて、１枚以上の２次元平面で再生されるように、前記複数チャンネルのオーディオ信号よりも少ないチャンネル数のオーディオ信号に変換する第４のステップと
を含むことを特徴とするオーディオ信号復号化方法。
【請求項１４】
３次元空間に立体的に配置される複数のスピーカから出力するための複数チャンネルのオーディオ信号を、前記３次元空間に含まれる複数の２次元平面毎にひとまとまりのプログラムとして符号化することで符号化要素を生成し、さらに、前記２次元平面内のチャンネル配置を示す情報を含む平面位置情報を生成し、さらに、３次元空間に配置される前記複数チャンネルのオーディオ信号を少ないチャンネル数で再生できるようにするための変換係数を示す情報を含む変換係数情報を生成し、それらを統合して得られる１本の符号化ストリームを入力として受け、その符号化ストリームから、前記平面位置情報と前記符号化要素とを前記複数の２次元平面のそれぞれについて分離し、さらに、前記変換係数情報を分離する第１のステップと、
前記第１のステップで分離された前記２次元平面毎に前記符号化要素をそれぞれ復号化して、前記複数チャンネルのオーディオ信号へと復号する第２のステップと、
前記第１のステップで分離された前記２次元平面毎の前記平面位置情報を合成して、前記複数チャンネルのオーディオ信号の各チャンネルのオーディオ信号を出力するスピーカの位置を示す３次元チャンネル配置情報を生成する第３のステップと、
復号された前記複数チャンネルのオーディオ信号に対して、前記３次元チャンネル配置情報を基に得られる前記第１のステップで分離された前記変換係数情報を乗じて、前記複数チャンネルのオーディオ信号から２チャンネルのバイノーラル信号に変換する第４のステップと
を含むことを特徴とするオーディオ信号復号化方法。
【請求項１５】
３次元空間に立体的に配置される複数のスピーカから出力するための複数チャンネルのオーディオ信号を、前記３次元空間に含まれる複数の２次元平面毎にひとまとまりのプログラムとして符号化することで符号化要素を生成し、さらに、前記２次元平面内のチャンネル配置を示す情報を含む平面位置情報を生成し、それらを統合して得られる１本の符号化ストリームを入力として受け、その符号化ストリームから、前記平面位置情報と前記符号化要素とを前記複数の２次元平面のそれぞれについて分離するストリーム分離部と、
前記ストリーム分離部において分離された前記２次元平面毎の前記符号化要素をそれぞれ復号化して、前記複数チャンネルのオーディオ信号へと復号する平面復号化部と、
前記ストリーム分離部で分離された前記２次元平面毎の前記平面位置情報を合成して、復号された前記複数チャンネルのオーディオ信号の各チャンネルのオーディオ信号を出力するスピーカの位置を示す３次元チャンネル配置情報を生成する３次元空間合成部と
を有することを特徴とするオーディオ信号復号化装置。
【請求項１６】
３次元空間に立体的に配置される複数のスピーカから出力するための複数チャンネルのオーディオ信号を、前記３次元空間に含まれる複数の２次元平面毎にひとまとまりのプログラムとして符号化することで第１の符号化要素を生成し、さらに、前記２次元平面内のチャンネル配置を示す情報を含む第１の平面位置情報を生成すると共に、予め変換した前記複数チャンネルよりも少ないチャンネル数のオーディオ信号についても、前記３次元空間に含まれる複数の２次元平面毎にひとまとまりのプログラムとして符号化することで第２の符号化要素を生成し、さらに、前記２次元平面内のチャンネル配置を示す情報を含む第２の平面位置情報を生成し、それらを統合して得られる１本の符号化ストリームを入力として受け、その符号化ストリームから、前記第１及び第２の平面位置情報と前記第１及び第２の符号化要素とを前記複数の２次元平面のそれぞれについて分離するストリーム分離部と、
前記ストリーム分離部で分離された前記２次元平面毎の前記第１及び第２の符号化要素をそれぞれ復号化して、前記複数チャンネルのオーディオ信号と、前記予め変換した前記複数チャンネルよりも少ないチャンネル数のオーディオ信号へと復号する平面復号化部と、
前記ストリーム分離部で分離された前記２次元平面毎の前記第１及び第２の平面位置情報を合成して、復号された前記複数チャンネルのオーディオ信号と、前記予め変換した前記複数チャンネルよりも少ないチャンネル数のオーディオ信号の各チャンネルのオーディオ信号をそれぞれ出力するスピーカの位置を示す３次元チャンネル配置情報を生成する３次元空間合成部と
を有することを特徴とするオーディオ信号復号化装置。
【請求項１７】
３次元空間に立体的に配置される複数のスピーカから出力するための複数チャンネルのオーディオ信号を、前記３次元空間に含まれる複数の２次元平面毎にひとまとまりのプログラムとして符号化することで符号化要素を生成し、さらに、前記２次元平面内のチャンネル配置を示す情報を含む平面位置情報を生成し、さらに、３次元空間に配置される前記複数チャンネルよりも少ないチャンネル数のオーディオ信号で再生できるようにするための変換係数を示す情報を含む変換係数情報を生成し、それらを統合して得られる１本の符号化ストリームを入力として受け、その符号化ストリームから、前記平面位置情報と前記符号化要素とを前記複数の２次元平面のそれぞれについて分離し、さらに、前記変換係数情報を分離するストリーム分離部と、
前記ストリーム分離部で分離された前記２次元平面毎の前記符号化要素をそれぞれ復号化して、前記複数チャンネルのオーディオ信号へと復号する平面復号化部と、
前記ストリーム分離部で分離された前記２次元平面毎の前記平面位置情報を合成して、復号された前記複数チャンネルのオーディオ信号の各チャンネルのオーディオ信号を出力するスピーカの位置を示す３次元チャンネル配置情報を生成する３次元空間合成部と、
復号された前記複数チャンネルのオーディオ信号に対して、前記３次元チャンネル配置情報を基に得られる前記ストリーム分離部で分離された前記変換係数情報を乗じて、１枚以上の２次元平面で再生されるように、前記複数チャンネルよりも少ないチャンネル数のオーディオ信号に変換するダウンミックス部と
を有することを特徴とするオーディオ信号復号化装置。
【請求項１８】
３次元空間に立体的に配置される複数のスピーカから出力するための複数チャンネルのオーディオ信号を、前記３次元空間に含まれる複数の２次元平面毎にひとまとまりのプログラムとして符号化することで符号化要素を生成し、さらに、前記２次元平面内のチャンネル配置を示す情報を含む平面位置情報を生成し、さらに、３次元空間に配置される前記複数チャンネルよりも少ないチャンネル数で再生できるようにするための変換係数を示す情報を含む変換係数情報を生成し、それらを統合して得られる１本の符号化ストリームを入力として受け、その符号化ストリームから、前記平面位置情報と前記符号化要素とを前記複数の２次元平面のそれぞれについて分離し、さらに、前記変換係数情報を分離するストリーム分離部と、
前記ストリーム分離部で分離された前記２次元平面毎の前記符号化要素をそれぞれ復号化して、前記複数チャンネルのオーディオ信号へと復号する平面復号化部と、
前記ストリーム分離部で分離された前記２次元平面毎の前記平面位置情報を合成して、復号された前記複数チャンネルのオーディオ信号の各チャンネルのオーディオ信号を出力するスピーカの位置を示す３次元チャンネル配置情報を生成する３次元空間合成部と、
復号された前記複数チャンネルのオーディオ信号に対して、前記３次元チャンネル配置情報を基に得られる前記ストリーム分離部で分離された前記変換係数情報を乗じて、前記複数チャンネルのオーディオ信号から２チャンネルのバイノーラル信号に変換するダウンミックス部と
を有することを特徴とするオーディオ信号復号化装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【公開番号】特開２０１１−６６８６８（Ｐ２０１１−６６８６８Ａ）
【公開日】平成２３年３月３１日（２０１１．３．３１）
【国際特許分類】
【出願番号】特願２００９−２８２３５８（Ｐ２００９−２８２３５８）
【出願日】平成２１年１２月１４日（２００９．１２．１４）
【出願人】（０００００４３２９）日本ビクター株式会社 (3,896)
【Ｆターム（参考）】
【公開日】平成２３年３月３１日（２０１１．３．３１）
【国際特許分類】
【出願日】平成２１年１２月１４日（２００９．１２．１４）
【出願人】（０００００４３２９）日本ビクター株式会社 (3,896)
【Ｆターム（参考）】
[ Back to top ]