多チャネル音響符号化装置およびそのプログラム
【課題】多チャネル音響方式の入力信号を行列変換した伝送信号を符号化する際に、伝送信号の各チャネル間の関連性に基づくビット割当てを行う。
【解決手段】本発明に係る多チャネル音響符号化装置１は、多チャネル音響方式の入力信号を行列変換により複数のチャネルの伝送信号に変換する行列変換部２０と、前記伝送信号のチャネル毎の聴覚モデルに基づき前記チャネル毎のスケールファクタを計算する計算部３２と、前記伝送信号の各チャネル間の相関係数を計算する相関計算部３４と、前記相関係数が閾値以上となる前記伝送信号のチャネル群に対し、前記チャネル群のスケールファクタに基づく適用スケールファクタを選択する選択部３５と、前記チャネル群の前記伝送信号に対し、前記適用スケールファクタによるビット割当てを行うビット割当部３６を備える。
【解決手段】本発明に係る多チャネル音響符号化装置１は、多チャネル音響方式の入力信号を行列変換により複数のチャネルの伝送信号に変換する行列変換部２０と、前記伝送信号のチャネル毎の聴覚モデルに基づき前記チャネル毎のスケールファクタを計算する計算部３２と、前記伝送信号の各チャネル間の相関係数を計算する相関計算部３４と、前記相関係数が閾値以上となる前記伝送信号のチャネル群に対し、前記チャネル群のスケールファクタに基づく適用スケールファクタを選択する選択部３５と、前記チャネル群の前記伝送信号に対し、前記適用スケールファクタによるビット割当てを行うビット割当部３６を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、多チャネル音響符号化装置およびそのプログラムに関する。
【背景技術】
【０００２】
社団法人電波産業会（ＡＲＩＢ）では、２２．２チャネル音響を伝送・符号化するために、既存のＡＡＣ（Advanced Audio Coding）符号化を用いる方式が標準化されている。ＡＡＣ方式は、ＣＤ（コンパクトディスク）の品質を保ったまま１／１０程度のビットレートで符号化可能な方式である（例えば、非特許文献１参照）。
【０００３】
２２．２チャネル音響の伝送・符号化を行う際に、伝送チャネル数を増やさずに従来の２チャネルステレオなどとの互換性を確保するためには、行列変換などの信号変換を行う必要がある。行列変換を用いた従来のＡＡＣ符号化について図３を用いて説明する。図３は、行列変換により２２.２チャネル音響信号である入力信号を２チャネルの伝送信号に変換してＡＡＣ伝送する処理の概要を示す図である。まず、送信ブロックでは、２２．２チャネルの入力信号が行列変換され、例えば、基本信号および補助信号の２つのチャネルを含む伝送信号に変換される。ここで、基本信号とは、２２．２チャネル音響信号の主要な空間情報を表す８〜１０チャネルの信号であり、補助信号とは、基本信号を補完して元の２２．２チャネル音響信号を復元するための信号である。
【０００４】
次に、送信ブロックにおいては、基本信号および補助信号のＡＡＣ符号化がそれぞれ独立に行われる。ここで、ＡＡＣ符号化では、各伝送信号を周波数分析した後、顕著な周波数成分の検出を行い、この成分によって聞き取れなくなる（マスクされる）周波数成分の上限を表すマスキング曲線を算出し、マスキング曲線以下の周波数成分に対するビット割当てを削減するとともに、マスキング曲線以下に収まる量子化雑音を許容したビット割当てが行われる。
【０００５】
送信ブロックから受信ブロックにＡＡＣ符号化された伝送信号が伝送されると、受信ブロックでは、基本信号および補助信号がそれぞれ独立にＡＡＣ復号が行われ、逆行列変換により２２．２チャネル音響信号が復元される。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】Marina Bosi, Richard E. Goldberg, "Introduction to Digital Audio Coding and Standards" Springer, 2002-12-31
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ここで、従来のＡＡＣ符号化では、２２．２チャネル音響の入力信号をよりチャネル数の少ない伝送信号にダウンミックスして伝送する場合のように、行列変換を伴う信号の符号化に対する処理が検討されていない。
【０００８】
例えば、図３に示す従来のＡＡＣ符号化では、送信ブロックにおいて、行列変換後の伝送信号の各チャネル（基本信号および補助信号）が独立して処理される。即ち、複数の多チャネル音響信号が行列変換により混在している伝送信号に対して、行列変換後のチャネル毎に、個別にマスキング曲線に基づくビット割当て処理が行われることになる。このため、行列変換後のチャネルによっては、特定の成分が残されたり削除されたりする現象が起こり、結果として、逆行列変換後に、元の多チャネル音響信号の成分を復元できなかったり、あるいは、相殺すべき成分がなくなったため雑音が発生するということが起こっていた。
【０００９】
したがって、かかる点に鑑みてなされた本発明の目的は、多チャネル音響方式の入力信号を行列変換した伝送信号を符号化する際に、伝送信号の各チャネル間の関連性に基づくビット割当てを行うことが可能な、多チャネル音響符号化装置およびそのプログラムを提供することである。
【課題を解決するための手段】
【００１０】
上述した諸課題を解決すべく、本発明に係る多チャネル音響符号化装置は、多チャネル音響方式の入力信号を行列変換により複数のチャネルの伝送信号に変換する行列変換部と、前記伝送信号のチャネル毎に、前記伝送信号に対するビット割当てを行う符号化部と、を備える多チャネル音響符号化装置であって、前記符号化部は、前記伝送信号のチャネル毎の聴覚モデルに基づき前記チャネル毎のスケールファクタを計算する計算部と、前記伝送信号の各チャネル間の相関係数を計算する相関計算部と、前記相関係数が閾値以上となる前記伝送信号のチャネル群に対し、前記チャネル群のスケールファクタに基づく適用スケールファクタを選択する選択部と、前記チャネル群の前記伝送信号に対し、前記適用スケールファクタによるビット割当てを行うビット割当部と、を備えることを特徴とする。
【００１１】
また、前記相関計算部は、前記伝送信号の各チャネルのサブバンド毎の相関係数を計算し、前記選択部は、前記サブバンド毎に、前記相関係数に応じて前記適用スケールファクタの選択方法を変更する、ことが好ましい。
【００１２】
また、前記選択部は、過去の適用スケールファクタに基づく適用スケールファクタの平滑化と、隣接周波数帯のチャネル間における適用スケールファクタの平滑化との少なくとも一方の平滑化を行うことを特徴とすることが好ましい。
【００１３】
上述したように本発明の解決手段を装置として説明してきたが、本発明はこれらに実質的に相当する方法、プログラム、プログラムを記録した記憶媒体としても実現し得るものであり、本発明の範囲にはこれらも包含されるものと理解されたい。
【００１４】
例えば、本発明をプログラムとして実現した発明は、コンピュータに、多チャネル音響方式の入力信号を行列変換により複数のチャネルの伝送信号に変換する手順と、前記伝送信号のチャネル毎の聴覚モデルに基づき前記チャネル毎のスケールファクタを計算する手順と、前記伝送信号の各チャネル間の相関係数を計算する手順と、前記相関係数が閾値以上となる前記伝送信号のチャネル群に対し、前記チャネル群のスケールファクタに基づく適用スケールファクタを選択する手順と、前記チャネル群の前記伝送信号に対し、前記適用スケールファクタによるビット割当てを行う手順と、を実行させるものである。
【発明の効果】
【００１５】
本発明による多チャネル音響符号化装置およびそのプログラムによれば、多チャネル音響方式の入力信号を行列変換した伝送信号を符号化する際に、伝送信号の各チャネル間の関連性に基づくビット割当てを行うことが可能となる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施形態に係る多チャネル音響符号化装置の機能ブロックを示す図である。
【図２】符号化部の詳細な機能ブロックを示す図である。
【図３】多チャネルの入力信号を行列変換により２チャネルの伝送信号に変換してＡＡＣ伝送する処理の概要を示す図である。
【発明を実施するための形態】
【００１７】
以降、諸図面を参照しながら、本発明の実施態様を詳細に説明する。ここで、以下の説明においては、多チャネル音響方式として、スーパーハイビジョン用の音響方式である２２．２チャネル音響を例に説明を行うが、本発明は２２．２チャネル音響のみに限定されるものではない点に留意されたい。
【００１８】
図１は、本発明の一実施形態に係る多チャネル音響符号化装置１の機能ブロック図である。多チャネル音響符号化装置１は、音響信号入力部１０と、行列変換部２０と、符号化部３０と、伝送部４０とを備える。
【００１９】
ここで、多チャネル音響符号化装置１として機能させるために、コンピュータを好適に用いることができ、そのようなコンピュータは、多チャネル音響符号化装置１の各機能を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部（図示せず）に格納しておき、当該コンピュータの中央演算処理装置（ＣＰＵ）によってこのプログラムを読み出して実行させることで実現することができる。
【００２０】
音響信号入力部１０は、入力される２２．２チャネル音響信号をＡ／Ｄ変換し、デジタル形式の音響信号を、入力信号として行列変換部２０に出力する。
【００２１】
行列変換部２０は、２２．２チャネル音響信号である入力信号を行列変換によってよりチャネル数の少ない伝送信号にダウンミックスする。行列変換部２０は、行列変換後の伝送信号を符号化部３０に出力する。
【００２２】
符号化部３０は、伝送信号のチャネル毎に伝送信号へのビット割当てを行う。図２は、符号化部３０の詳細な機能ブロックを示す図である。符号化部３０は、マスキング曲線計算部３１と、サブバンドスケールファクタ計算部３２と、サブバンド分割部３３と、チャネル間相関計算部３４と、スケールファクタ選択部３５と、ビット割当部３６とを備える。ここで、マスキング曲線計算部３１と、サブバンドスケールファクタ計算部３２と、サブバンド分割部３３と、ビット割当部３６とは、伝送信号のチャネル毎に独立した構成とすることも可能であり、説明の便宜上、図２の各チャネルの機能ブロックには符号にチャネル番号（例えばａ〜ｃ）付して記載している。なお、図２においては、ｂチャネルおよびｃチャネルに対応する機能ブロックを概略的に記載しているが、ｂチャネルおよびｃチャネルに対しても、ａチャネル同様に、マスキング曲線計算部３１と、サブバンドスケールファクタ計算部３２と、サブバンド分割部３３ａ、ビット割当部３６とを構成できる点に留意されたい。
【００２３】
マスキング曲線計算部３１は、伝送信号の各チャネルの聴覚モデルを計算する。ここで、各チャネルの聴覚モデルとは、「エネルギーの大きな信号の近傍周波数帯域では比較的小さいエネルギーを有する音は聞き取ることができない」という聴覚特性に基づくマスキング曲線や、「周波数毎に聞き取ることのできないエネルギーの音がある」という聴覚特性に基づく最小可聴曲線などに基づいて計算されるものである。なお、マスキング曲線や最小可聴曲線の計算は当業者にとって公知であるため、本稿において詳述は行わない。これ以降、説明の便宜上、聴覚モデルとしてマスキング曲線を用いる場合を例に説明を行うが、本発明はこれに限定されない。マスキング曲線計算部３１は、計算した各チャネルのマスキング曲線をサブバンドスケールファクタ計算部３２に出力する。
【００２４】
サブバンドスケールファクタ計算部３２は、各チャネルのマスキング曲線から、各チャネルのサブバンド毎のスケールファクタを計算する。具体的には、サブバンドスケールファクタ計算部３２は、各チャネルのサブバンドの信号から、最大絶対値をもつサンプルを探し、その値を対数に変換して量子化したものをスケールファクタとして取得する。なお、サブバンド毎のスケールファクタの計算は当業者にとって公知であるため、本稿において詳述は行わない。サブバンドスケールファクタ計算部３２は、計算した各チャネルのサブバンド毎のスケールファクタをスケールファクタ選択部３５に出力する。
【００２５】
サブバンド分割部３３は、伝送信号のチャネル毎に、伝送信号をサブバンドに分割し、チャネル間相関計算部３４に出力する。
【００２６】
チャネル間相関計算部３４は、伝送信号の各チャネル間の相関係数を計算する。特に、チャネル間相関計算部３４は、サブバンド毎に、各チャネルの一定の時間区間の伝送信号の変化から、各チャネル間の相関係数を計算する。即ち、一定の時間区間における伝送信号の変化の仕方が近いチャネル間の相関係数は高く、変化の仕方が異なるチャネル間の相関係数は低く計算される。チャネル間相関計算部３４は、計算した相関係数をスケールファクタ選択部３５に供給する。
【００２７】
スケールファクタ選択部３５は、相関係数が一定値以上となるチャネル群の伝送信号に対し、当該伝送信号のサブバンド毎のスケールファクタに基づく適用スケールファクタを選択する。ここで、適用スケールファクタとは、相関係数が一定値以上となるチャネル群の伝送信号のビット割当てに用いられるスケールファクタを意味する。
【００２８】
例えば、スケールファクタ選択部３５は、式１のように、サブバンド毎に、チャネル群に属する各チャネルのスケールファクタの最大値を選択し、適用スケールファクタとすることができる。ここで、Ｇ（ｋ）はｋ番目のサブバンドに対する適用スケールファクタを表し、Ｆｊ（ｋ）は、チャネル群に属するｊ番目のチャネルのｋ番目のサブバンドのスケールファクタを表す。なお、この場合、適用スケールファクタは、チャネル群に属する各チャネルの伝送信号に対して共通となる。適用スケールファクタとして、各チャネルのスケールファクタの最大値を合成すると、量子化の粒度が最も細かくなるため、量子化精度は向上するが、量子化効率は低下する。
【００２９】
【数１】
【００３０】
また、スケールファクタ選択部３５は、式２のように、サブバンド毎に、チャネル群に属する各チャネルのスケールファクタの最小値を選択し、適用スケールファクタとすることができる。なお、この場合も、適用スケールファクタは、チャネル群に属する各チャネルの伝送信号に対して共通となる。適用スケールファクタとして、各チャネルのスケールファクタの最小値を合成すると、量子化の粒度が最も荒くなるため、量子化精度は低下するが、量子化効率は向上する。
【００３１】
【数２】
【００３２】
さらに、スケールファクタ選択部３５は、式３のように、チャネル間の相関係数に基づき各チャネルの適用スケールファクタを選択することができる。式３において、Ｇｉ（ｋ）は、ｋ番目のサブバンドにおけるｉ番目のチャネルの伝送信号に対する適用スケールファクタを表し、ｒｉｊ（ｋ）はｋ番目のサブバンドにおけるｉ番目のチャネルとｊ番目のチャネルとの相関係数を表す。この場合、適用スケールファクタは、伝送信号のチャネル毎に異なる値となる。適用スケールファクタとして、各チャネル間の相関係数に基づき各スケールファクタを合成すると、チャネル間の量子化精度の違いを押さえながら、各チャネルに沿った量子化を行うことができ、量子化効率を向上させることができる。
【００３３】
【数３】
【００３４】
さらに、スケールファクタ選択部３５は、サブバンド毎に、相関係数に応じて適用スケールファクタの選択方法を変更することができる。具体的には、予め閾値Ｔｈ１およびＴｈ２（Ｔｈ１＞Ｔｈ２）を設定し、式４に示すとおり、あるサブバンドｋにおける相関係数が閾値Ｔｈ１より高い場合には、各チャネル間に共通の適用スケールファクタを用いるものとして、式（１）と同様に適用スケールファクタを選択し、相関係数が閾値Ｔｈ２より高く閾値Ｔｈ１以下である場合には、各チャネル間の相関度を考慮した適用スケールファクタを用いるものとして、式（３）と同様に適用スケールファクタを選択する。なお、相関係数が閾値Ｔｈ２未満の場合には、各チャネル間の相関は低いものとして、各チャネルのスケールファクタをそのまま各チャネルのビット割当てに用いるものとする。
【００３５】
【数４】
【００３６】
適用スケールファクタの選択は式（１）〜（４）に限定されず、例えば、スケールファクタ選択部３５は、各チャネルのスケールファクタの平均値などを適用スケールファクタとして選択することができる。
【００３７】
さらに、スケールファクタ選択部３５は、過去の適用スケールファクタに基づく適用スケールファクタの平滑化や、隣接周波数帯のチャネル間における適用スケールファクタの平滑化など、スケールファクタに関する種々の平滑化を行うことができる。
【００３８】
スケールファクタ選択部３５は、相関係数が一定値以上となるチャネル群の伝送信号に対しては、式（１）〜（４）などにより求めた適用スケールファクタをビット割当部３６に出力し、相関係数が一定値未満のチャネルに対しては、各チャネルのスケールファクタをそのままビット割当部３６に出力する。
【００３９】
ビット割当部３６は、スケールファクタ選択部３５からの適用スケールファクタ又はスケールファクタに基づき、伝送信号のチャネル毎に伝送信号へのビット割当てを行う。ビット割当部３６は、符号化した伝送信号を伝送部６０に出力する。
【００４０】
伝送部６０は、符号化部５０により符号化された伝送信号を受信側に送信する。
【００４１】
このように、本実施形態によれば、チャネル間相関計算部３４は、伝送信号の各チャネル間の相関係数を計算し、スケールファクタ選択部３５は、相関係数が閾値以上となる伝送信号のチャネル群に対し、当該チャネル群のスケールファクタに基づく適用スケールファクタを選択し、ビット割当部３６は、当該チャネル群の伝送信号に対し、適用スケールファクタによるビット割当てを行う。これにより、多チャネル音響方式の入力信号を行列変換した伝送信号を符号化する際に、伝送信号の各チャネル間の関連性に基づくビット割当てを行うことが可能となる。例えば、相関係数が一定値以上となるチャネル群の伝送信号に対しては、各チャネルのスケールファクタの最小値又は最大値から、各チャネルに共通の適用スケールファクタを用いてビット割当てを行うことにより、量子化精度や量子化効率を要求に応じて調整することが可能となる。このため、量子化精度を高めた場合などは、従来問題となった逆行列変換による信号の消失や雑音の発生を低減させることができる。特に、例えば、２２．２チャネル音響信号を、主要な空間情報を表す８〜１０チャネルの基本信号と、元の信号を復元するための補助信号に分離して伝送し、主要な空間情報に対しては高いビットレートを割当て、補助信号に対してはビットレートを抑制するような場合に対しても、量子化雑音の少ない符号化・伝送が可能となる。また、例えば、スーパーハイビジョン用の２２．２チャネル音響信号を、２チャネルステレオ信号や５．１チャネル信号として伝送する場合においても、高品質かつ１／１０程度のビットレートで符号化・伝送することが可能となる。
【００４２】
また、本実施形態によれば、チャネル間相関計算部３４は、伝送信号の各チャネルのサブバンド毎の相関係数を計算し、スケールファクタ選択部３５は、サブバンド毎に、相関係数に応じて適用スケールファクタの選択方法を変更する。これにより、相関係数の高いサブバンドに関しては共通のスケールファクタを用い、相関係数が中程度のサブバンドに関しては相関係数に基づくスケールファクタを設定できるなど、より細かい粒度で量子化精度および量子化効率を制御することが可能となる。
【００４３】
また、本実施形態によれば、スケールファクタ選択部３５は、過去の適用スケールファクタに基づく適用スケールファクタの平滑化や、隣接周波数帯のチャネル間における適用スケールファクタの平滑化など、スケールファクタに関する種々の平滑化を行うことができる。これにより、隣接する時間帯、周波数帯におけるスケールファクタの差異が低減され、急激なスケールファクタの変化による信号の消失や雑音の発生を低減させることができる。
【００４４】
本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各部材、各手段、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の手段やステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。
【００４５】
例えば、上記実施形態では、多チャネル音響方式の入力信号を２２．２チャネル音響、行列変換後の伝送信号を２チャネルステレオ信号として説明を行ったが、本発明は、他の５．１チャネル音響、７．１チャネル音響など任意の多チャネル音響方式であって、符号化伝送に関し信号の行列変換を伴う処理全般に適応可能なことは言うまでもない。また、行列変換などの線形処理を伴う信号として、アンビソニックス等の音響信号に対しても適用可能である。
【００４６】
また、上記実施形態では、符号化方式としてＡＡＣを例に説明をしたが、本発明におけるＡＡＣ符号化とは、ＭＰＥＧ２−ＡＡＣ、ＭＰＥＧ４−ＡＡＣ、ＨＥ−ＡＡＣなど、ＡＡＣに関するあらゆるバージョンを包括するものである。また、本発明が対応可能な符号化はＡＡＣに限定されず、人間の聴覚特性に基づいて高品質に符号化する方式であれば、任意の符号化方式に対応可能である。
【産業上の利用可能性】
【００４７】
本発明によれば、多チャネル音響方式の入力信号を行列変換した伝送信号を符号化する際に、伝送信号の各チャネル間の関連性に基づくビット割当てを行うことが可能となるという有用性がある。
【符号の説明】
【００４８】
１ 多チャネル音響符号化装置
１０ 音響信号入力部
２０ 行列変換部
３０ 符号化部
３１ マスキング曲線計算部
３２ サブバンドスケールファクタ計算部（計算部）
３３ サブバンド分割部
３４ チャネル間相関計算部（相関計算部）
３５ スケールファクタ選択部（選択部）
３６ ビット割当部
４０ 伝送部
【技術分野】
【０００１】
この発明は、多チャネル音響符号化装置およびそのプログラムに関する。
【背景技術】
【０００２】
社団法人電波産業会（ＡＲＩＢ）では、２２．２チャネル音響を伝送・符号化するために、既存のＡＡＣ（Advanced Audio Coding）符号化を用いる方式が標準化されている。ＡＡＣ方式は、ＣＤ（コンパクトディスク）の品質を保ったまま１／１０程度のビットレートで符号化可能な方式である（例えば、非特許文献１参照）。
【０００３】
２２．２チャネル音響の伝送・符号化を行う際に、伝送チャネル数を増やさずに従来の２チャネルステレオなどとの互換性を確保するためには、行列変換などの信号変換を行う必要がある。行列変換を用いた従来のＡＡＣ符号化について図３を用いて説明する。図３は、行列変換により２２.２チャネル音響信号である入力信号を２チャネルの伝送信号に変換してＡＡＣ伝送する処理の概要を示す図である。まず、送信ブロックでは、２２．２チャネルの入力信号が行列変換され、例えば、基本信号および補助信号の２つのチャネルを含む伝送信号に変換される。ここで、基本信号とは、２２．２チャネル音響信号の主要な空間情報を表す８〜１０チャネルの信号であり、補助信号とは、基本信号を補完して元の２２．２チャネル音響信号を復元するための信号である。
【０００４】
次に、送信ブロックにおいては、基本信号および補助信号のＡＡＣ符号化がそれぞれ独立に行われる。ここで、ＡＡＣ符号化では、各伝送信号を周波数分析した後、顕著な周波数成分の検出を行い、この成分によって聞き取れなくなる（マスクされる）周波数成分の上限を表すマスキング曲線を算出し、マスキング曲線以下の周波数成分に対するビット割当てを削減するとともに、マスキング曲線以下に収まる量子化雑音を許容したビット割当てが行われる。
【０００５】
送信ブロックから受信ブロックにＡＡＣ符号化された伝送信号が伝送されると、受信ブロックでは、基本信号および補助信号がそれぞれ独立にＡＡＣ復号が行われ、逆行列変換により２２．２チャネル音響信号が復元される。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】Marina Bosi, Richard E. Goldberg, "Introduction to Digital Audio Coding and Standards" Springer, 2002-12-31
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ここで、従来のＡＡＣ符号化では、２２．２チャネル音響の入力信号をよりチャネル数の少ない伝送信号にダウンミックスして伝送する場合のように、行列変換を伴う信号の符号化に対する処理が検討されていない。
【０００８】
例えば、図３に示す従来のＡＡＣ符号化では、送信ブロックにおいて、行列変換後の伝送信号の各チャネル（基本信号および補助信号）が独立して処理される。即ち、複数の多チャネル音響信号が行列変換により混在している伝送信号に対して、行列変換後のチャネル毎に、個別にマスキング曲線に基づくビット割当て処理が行われることになる。このため、行列変換後のチャネルによっては、特定の成分が残されたり削除されたりする現象が起こり、結果として、逆行列変換後に、元の多チャネル音響信号の成分を復元できなかったり、あるいは、相殺すべき成分がなくなったため雑音が発生するということが起こっていた。
【０００９】
したがって、かかる点に鑑みてなされた本発明の目的は、多チャネル音響方式の入力信号を行列変換した伝送信号を符号化する際に、伝送信号の各チャネル間の関連性に基づくビット割当てを行うことが可能な、多チャネル音響符号化装置およびそのプログラムを提供することである。
【課題を解決するための手段】
【００１０】
上述した諸課題を解決すべく、本発明に係る多チャネル音響符号化装置は、多チャネル音響方式の入力信号を行列変換により複数のチャネルの伝送信号に変換する行列変換部と、前記伝送信号のチャネル毎に、前記伝送信号に対するビット割当てを行う符号化部と、を備える多チャネル音響符号化装置であって、前記符号化部は、前記伝送信号のチャネル毎の聴覚モデルに基づき前記チャネル毎のスケールファクタを計算する計算部と、前記伝送信号の各チャネル間の相関係数を計算する相関計算部と、前記相関係数が閾値以上となる前記伝送信号のチャネル群に対し、前記チャネル群のスケールファクタに基づく適用スケールファクタを選択する選択部と、前記チャネル群の前記伝送信号に対し、前記適用スケールファクタによるビット割当てを行うビット割当部と、を備えることを特徴とする。
【００１１】
また、前記相関計算部は、前記伝送信号の各チャネルのサブバンド毎の相関係数を計算し、前記選択部は、前記サブバンド毎に、前記相関係数に応じて前記適用スケールファクタの選択方法を変更する、ことが好ましい。
【００１２】
また、前記選択部は、過去の適用スケールファクタに基づく適用スケールファクタの平滑化と、隣接周波数帯のチャネル間における適用スケールファクタの平滑化との少なくとも一方の平滑化を行うことを特徴とすることが好ましい。
【００１３】
上述したように本発明の解決手段を装置として説明してきたが、本発明はこれらに実質的に相当する方法、プログラム、プログラムを記録した記憶媒体としても実現し得るものであり、本発明の範囲にはこれらも包含されるものと理解されたい。
【００１４】
例えば、本発明をプログラムとして実現した発明は、コンピュータに、多チャネル音響方式の入力信号を行列変換により複数のチャネルの伝送信号に変換する手順と、前記伝送信号のチャネル毎の聴覚モデルに基づき前記チャネル毎のスケールファクタを計算する手順と、前記伝送信号の各チャネル間の相関係数を計算する手順と、前記相関係数が閾値以上となる前記伝送信号のチャネル群に対し、前記チャネル群のスケールファクタに基づく適用スケールファクタを選択する手順と、前記チャネル群の前記伝送信号に対し、前記適用スケールファクタによるビット割当てを行う手順と、を実行させるものである。
【発明の効果】
【００１５】
本発明による多チャネル音響符号化装置およびそのプログラムによれば、多チャネル音響方式の入力信号を行列変換した伝送信号を符号化する際に、伝送信号の各チャネル間の関連性に基づくビット割当てを行うことが可能となる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施形態に係る多チャネル音響符号化装置の機能ブロックを示す図である。
【図２】符号化部の詳細な機能ブロックを示す図である。
【図３】多チャネルの入力信号を行列変換により２チャネルの伝送信号に変換してＡＡＣ伝送する処理の概要を示す図である。
【発明を実施するための形態】
【００１７】
以降、諸図面を参照しながら、本発明の実施態様を詳細に説明する。ここで、以下の説明においては、多チャネル音響方式として、スーパーハイビジョン用の音響方式である２２．２チャネル音響を例に説明を行うが、本発明は２２．２チャネル音響のみに限定されるものではない点に留意されたい。
【００１８】
図１は、本発明の一実施形態に係る多チャネル音響符号化装置１の機能ブロック図である。多チャネル音響符号化装置１は、音響信号入力部１０と、行列変換部２０と、符号化部３０と、伝送部４０とを備える。
【００１９】
ここで、多チャネル音響符号化装置１として機能させるために、コンピュータを好適に用いることができ、そのようなコンピュータは、多チャネル音響符号化装置１の各機能を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部（図示せず）に格納しておき、当該コンピュータの中央演算処理装置（ＣＰＵ）によってこのプログラムを読み出して実行させることで実現することができる。
【００２０】
音響信号入力部１０は、入力される２２．２チャネル音響信号をＡ／Ｄ変換し、デジタル形式の音響信号を、入力信号として行列変換部２０に出力する。
【００２１】
行列変換部２０は、２２．２チャネル音響信号である入力信号を行列変換によってよりチャネル数の少ない伝送信号にダウンミックスする。行列変換部２０は、行列変換後の伝送信号を符号化部３０に出力する。
【００２２】
符号化部３０は、伝送信号のチャネル毎に伝送信号へのビット割当てを行う。図２は、符号化部３０の詳細な機能ブロックを示す図である。符号化部３０は、マスキング曲線計算部３１と、サブバンドスケールファクタ計算部３２と、サブバンド分割部３３と、チャネル間相関計算部３４と、スケールファクタ選択部３５と、ビット割当部３６とを備える。ここで、マスキング曲線計算部３１と、サブバンドスケールファクタ計算部３２と、サブバンド分割部３３と、ビット割当部３６とは、伝送信号のチャネル毎に独立した構成とすることも可能であり、説明の便宜上、図２の各チャネルの機能ブロックには符号にチャネル番号（例えばａ〜ｃ）付して記載している。なお、図２においては、ｂチャネルおよびｃチャネルに対応する機能ブロックを概略的に記載しているが、ｂチャネルおよびｃチャネルに対しても、ａチャネル同様に、マスキング曲線計算部３１と、サブバンドスケールファクタ計算部３２と、サブバンド分割部３３ａ、ビット割当部３６とを構成できる点に留意されたい。
【００２３】
マスキング曲線計算部３１は、伝送信号の各チャネルの聴覚モデルを計算する。ここで、各チャネルの聴覚モデルとは、「エネルギーの大きな信号の近傍周波数帯域では比較的小さいエネルギーを有する音は聞き取ることができない」という聴覚特性に基づくマスキング曲線や、「周波数毎に聞き取ることのできないエネルギーの音がある」という聴覚特性に基づく最小可聴曲線などに基づいて計算されるものである。なお、マスキング曲線や最小可聴曲線の計算は当業者にとって公知であるため、本稿において詳述は行わない。これ以降、説明の便宜上、聴覚モデルとしてマスキング曲線を用いる場合を例に説明を行うが、本発明はこれに限定されない。マスキング曲線計算部３１は、計算した各チャネルのマスキング曲線をサブバンドスケールファクタ計算部３２に出力する。
【００２４】
サブバンドスケールファクタ計算部３２は、各チャネルのマスキング曲線から、各チャネルのサブバンド毎のスケールファクタを計算する。具体的には、サブバンドスケールファクタ計算部３２は、各チャネルのサブバンドの信号から、最大絶対値をもつサンプルを探し、その値を対数に変換して量子化したものをスケールファクタとして取得する。なお、サブバンド毎のスケールファクタの計算は当業者にとって公知であるため、本稿において詳述は行わない。サブバンドスケールファクタ計算部３２は、計算した各チャネルのサブバンド毎のスケールファクタをスケールファクタ選択部３５に出力する。
【００２５】
サブバンド分割部３３は、伝送信号のチャネル毎に、伝送信号をサブバンドに分割し、チャネル間相関計算部３４に出力する。
【００２６】
チャネル間相関計算部３４は、伝送信号の各チャネル間の相関係数を計算する。特に、チャネル間相関計算部３４は、サブバンド毎に、各チャネルの一定の時間区間の伝送信号の変化から、各チャネル間の相関係数を計算する。即ち、一定の時間区間における伝送信号の変化の仕方が近いチャネル間の相関係数は高く、変化の仕方が異なるチャネル間の相関係数は低く計算される。チャネル間相関計算部３４は、計算した相関係数をスケールファクタ選択部３５に供給する。
【００２７】
スケールファクタ選択部３５は、相関係数が一定値以上となるチャネル群の伝送信号に対し、当該伝送信号のサブバンド毎のスケールファクタに基づく適用スケールファクタを選択する。ここで、適用スケールファクタとは、相関係数が一定値以上となるチャネル群の伝送信号のビット割当てに用いられるスケールファクタを意味する。
【００２８】
例えば、スケールファクタ選択部３５は、式１のように、サブバンド毎に、チャネル群に属する各チャネルのスケールファクタの最大値を選択し、適用スケールファクタとすることができる。ここで、Ｇ（ｋ）はｋ番目のサブバンドに対する適用スケールファクタを表し、Ｆｊ（ｋ）は、チャネル群に属するｊ番目のチャネルのｋ番目のサブバンドのスケールファクタを表す。なお、この場合、適用スケールファクタは、チャネル群に属する各チャネルの伝送信号に対して共通となる。適用スケールファクタとして、各チャネルのスケールファクタの最大値を合成すると、量子化の粒度が最も細かくなるため、量子化精度は向上するが、量子化効率は低下する。
【００２９】
【数１】
【００３０】
また、スケールファクタ選択部３５は、式２のように、サブバンド毎に、チャネル群に属する各チャネルのスケールファクタの最小値を選択し、適用スケールファクタとすることができる。なお、この場合も、適用スケールファクタは、チャネル群に属する各チャネルの伝送信号に対して共通となる。適用スケールファクタとして、各チャネルのスケールファクタの最小値を合成すると、量子化の粒度が最も荒くなるため、量子化精度は低下するが、量子化効率は向上する。
【００３１】
【数２】
【００３２】
さらに、スケールファクタ選択部３５は、式３のように、チャネル間の相関係数に基づき各チャネルの適用スケールファクタを選択することができる。式３において、Ｇｉ（ｋ）は、ｋ番目のサブバンドにおけるｉ番目のチャネルの伝送信号に対する適用スケールファクタを表し、ｒｉｊ（ｋ）はｋ番目のサブバンドにおけるｉ番目のチャネルとｊ番目のチャネルとの相関係数を表す。この場合、適用スケールファクタは、伝送信号のチャネル毎に異なる値となる。適用スケールファクタとして、各チャネル間の相関係数に基づき各スケールファクタを合成すると、チャネル間の量子化精度の違いを押さえながら、各チャネルに沿った量子化を行うことができ、量子化効率を向上させることができる。
【００３３】
【数３】
【００３４】
さらに、スケールファクタ選択部３５は、サブバンド毎に、相関係数に応じて適用スケールファクタの選択方法を変更することができる。具体的には、予め閾値Ｔｈ１およびＴｈ２（Ｔｈ１＞Ｔｈ２）を設定し、式４に示すとおり、あるサブバンドｋにおける相関係数が閾値Ｔｈ１より高い場合には、各チャネル間に共通の適用スケールファクタを用いるものとして、式（１）と同様に適用スケールファクタを選択し、相関係数が閾値Ｔｈ２より高く閾値Ｔｈ１以下である場合には、各チャネル間の相関度を考慮した適用スケールファクタを用いるものとして、式（３）と同様に適用スケールファクタを選択する。なお、相関係数が閾値Ｔｈ２未満の場合には、各チャネル間の相関は低いものとして、各チャネルのスケールファクタをそのまま各チャネルのビット割当てに用いるものとする。
【００３５】
【数４】
【００３６】
適用スケールファクタの選択は式（１）〜（４）に限定されず、例えば、スケールファクタ選択部３５は、各チャネルのスケールファクタの平均値などを適用スケールファクタとして選択することができる。
【００３７】
さらに、スケールファクタ選択部３５は、過去の適用スケールファクタに基づく適用スケールファクタの平滑化や、隣接周波数帯のチャネル間における適用スケールファクタの平滑化など、スケールファクタに関する種々の平滑化を行うことができる。
【００３８】
スケールファクタ選択部３５は、相関係数が一定値以上となるチャネル群の伝送信号に対しては、式（１）〜（４）などにより求めた適用スケールファクタをビット割当部３６に出力し、相関係数が一定値未満のチャネルに対しては、各チャネルのスケールファクタをそのままビット割当部３６に出力する。
【００３９】
ビット割当部３６は、スケールファクタ選択部３５からの適用スケールファクタ又はスケールファクタに基づき、伝送信号のチャネル毎に伝送信号へのビット割当てを行う。ビット割当部３６は、符号化した伝送信号を伝送部６０に出力する。
【００４０】
伝送部６０は、符号化部５０により符号化された伝送信号を受信側に送信する。
【００４１】
このように、本実施形態によれば、チャネル間相関計算部３４は、伝送信号の各チャネル間の相関係数を計算し、スケールファクタ選択部３５は、相関係数が閾値以上となる伝送信号のチャネル群に対し、当該チャネル群のスケールファクタに基づく適用スケールファクタを選択し、ビット割当部３６は、当該チャネル群の伝送信号に対し、適用スケールファクタによるビット割当てを行う。これにより、多チャネル音響方式の入力信号を行列変換した伝送信号を符号化する際に、伝送信号の各チャネル間の関連性に基づくビット割当てを行うことが可能となる。例えば、相関係数が一定値以上となるチャネル群の伝送信号に対しては、各チャネルのスケールファクタの最小値又は最大値から、各チャネルに共通の適用スケールファクタを用いてビット割当てを行うことにより、量子化精度や量子化効率を要求に応じて調整することが可能となる。このため、量子化精度を高めた場合などは、従来問題となった逆行列変換による信号の消失や雑音の発生を低減させることができる。特に、例えば、２２．２チャネル音響信号を、主要な空間情報を表す８〜１０チャネルの基本信号と、元の信号を復元するための補助信号に分離して伝送し、主要な空間情報に対しては高いビットレートを割当て、補助信号に対してはビットレートを抑制するような場合に対しても、量子化雑音の少ない符号化・伝送が可能となる。また、例えば、スーパーハイビジョン用の２２．２チャネル音響信号を、２チャネルステレオ信号や５．１チャネル信号として伝送する場合においても、高品質かつ１／１０程度のビットレートで符号化・伝送することが可能となる。
【００４２】
また、本実施形態によれば、チャネル間相関計算部３４は、伝送信号の各チャネルのサブバンド毎の相関係数を計算し、スケールファクタ選択部３５は、サブバンド毎に、相関係数に応じて適用スケールファクタの選択方法を変更する。これにより、相関係数の高いサブバンドに関しては共通のスケールファクタを用い、相関係数が中程度のサブバンドに関しては相関係数に基づくスケールファクタを設定できるなど、より細かい粒度で量子化精度および量子化効率を制御することが可能となる。
【００４３】
また、本実施形態によれば、スケールファクタ選択部３５は、過去の適用スケールファクタに基づく適用スケールファクタの平滑化や、隣接周波数帯のチャネル間における適用スケールファクタの平滑化など、スケールファクタに関する種々の平滑化を行うことができる。これにより、隣接する時間帯、周波数帯におけるスケールファクタの差異が低減され、急激なスケールファクタの変化による信号の消失や雑音の発生を低減させることができる。
【００４４】
本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各部材、各手段、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の手段やステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。
【００４５】
例えば、上記実施形態では、多チャネル音響方式の入力信号を２２．２チャネル音響、行列変換後の伝送信号を２チャネルステレオ信号として説明を行ったが、本発明は、他の５．１チャネル音響、７．１チャネル音響など任意の多チャネル音響方式であって、符号化伝送に関し信号の行列変換を伴う処理全般に適応可能なことは言うまでもない。また、行列変換などの線形処理を伴う信号として、アンビソニックス等の音響信号に対しても適用可能である。
【００４６】
また、上記実施形態では、符号化方式としてＡＡＣを例に説明をしたが、本発明におけるＡＡＣ符号化とは、ＭＰＥＧ２−ＡＡＣ、ＭＰＥＧ４−ＡＡＣ、ＨＥ−ＡＡＣなど、ＡＡＣに関するあらゆるバージョンを包括するものである。また、本発明が対応可能な符号化はＡＡＣに限定されず、人間の聴覚特性に基づいて高品質に符号化する方式であれば、任意の符号化方式に対応可能である。
【産業上の利用可能性】
【００４７】
本発明によれば、多チャネル音響方式の入力信号を行列変換した伝送信号を符号化する際に、伝送信号の各チャネル間の関連性に基づくビット割当てを行うことが可能となるという有用性がある。
【符号の説明】
【００４８】
１ 多チャネル音響符号化装置
１０ 音響信号入力部
２０ 行列変換部
３０ 符号化部
３１ マスキング曲線計算部
３２ サブバンドスケールファクタ計算部（計算部）
３３ サブバンド分割部
３４ チャネル間相関計算部（相関計算部）
３５ スケールファクタ選択部（選択部）
３６ ビット割当部
４０ 伝送部
【特許請求の範囲】
【請求項１】
多チャネル音響方式の入力信号を行列変換により複数のチャネルの伝送信号に変換する行列変換部と、
前記伝送信号のチャネル毎に、前記伝送信号に対するビット割当てを行う符号化部と、を備える多チャネル音響符号化装置であって、
前記符号化部は、
前記伝送信号のチャネル毎の聴覚モデルに基づき前記チャネル毎のスケールファクタを計算する計算部と、
前記伝送信号の各チャネル間の相関係数を計算する相関計算部と、
前記相関係数が閾値以上となる前記伝送信号のチャネル群に対し、前記チャネル群のスケールファクタに基づく適用スケールファクタを選択する選択部と、
前記チャネル群の前記伝送信号に対し、前記適用スケールファクタによるビット割当てを行うビット割当部と、を備えることを特徴とする多チャネル音響符号化装置。
【請求項２】
前記相関計算部は、前記伝送信号の各チャネルのサブバンド毎の相関係数を計算し、
前記選択部は、前記サブバンド毎に、前記相関係数に応じて前記適用スケールファクタの選択方法を変更する、ことを特徴とする請求項１に記載の多チャネル音響符号化装置。
【請求項３】
前記選択部は、過去の適用スケールファクタに基づく適用スケールファクタの平滑化と、隣接周波数帯のチャネル間における適用スケールファクタの平滑化との少なくとも一方の平滑化を行うことを特徴とする請求項１又は２に記載の多チャネル音響符号化装置。
【請求項４】
コンピュータに、
多チャネル音響方式の入力信号を行列変換により複数のチャネルの伝送信号に変換する手順と、
前記伝送信号のチャネル毎の聴覚モデルに基づき前記チャネル毎のスケールファクタを計算する手順と、
前記伝送信号の各チャネル間の相関係数を計算する手順と、
前記相関係数が閾値以上となる前記伝送信号のチャネル群に対し、前記チャネル群のスケールファクタに基づく適用スケールファクタを選択する手順と、
前記チャネル群の前記伝送信号に対し、前記適用スケールファクタによるビット割当てを行う手順と、を実行させるためのプログラム。
【請求項１】
多チャネル音響方式の入力信号を行列変換により複数のチャネルの伝送信号に変換する行列変換部と、
前記伝送信号のチャネル毎に、前記伝送信号に対するビット割当てを行う符号化部と、を備える多チャネル音響符号化装置であって、
前記符号化部は、
前記伝送信号のチャネル毎の聴覚モデルに基づき前記チャネル毎のスケールファクタを計算する計算部と、
前記伝送信号の各チャネル間の相関係数を計算する相関計算部と、
前記相関係数が閾値以上となる前記伝送信号のチャネル群に対し、前記チャネル群のスケールファクタに基づく適用スケールファクタを選択する選択部と、
前記チャネル群の前記伝送信号に対し、前記適用スケールファクタによるビット割当てを行うビット割当部と、を備えることを特徴とする多チャネル音響符号化装置。
【請求項２】
前記相関計算部は、前記伝送信号の各チャネルのサブバンド毎の相関係数を計算し、
前記選択部は、前記サブバンド毎に、前記相関係数に応じて前記適用スケールファクタの選択方法を変更する、ことを特徴とする請求項１に記載の多チャネル音響符号化装置。
【請求項３】
前記選択部は、過去の適用スケールファクタに基づく適用スケールファクタの平滑化と、隣接周波数帯のチャネル間における適用スケールファクタの平滑化との少なくとも一方の平滑化を行うことを特徴とする請求項１又は２に記載の多チャネル音響符号化装置。
【請求項４】
コンピュータに、
多チャネル音響方式の入力信号を行列変換により複数のチャネルの伝送信号に変換する手順と、
前記伝送信号のチャネル毎の聴覚モデルに基づき前記チャネル毎のスケールファクタを計算する手順と、
前記伝送信号の各チャネル間の相関係数を計算する手順と、
前記相関係数が閾値以上となる前記伝送信号のチャネル群に対し、前記チャネル群のスケールファクタに基づく適用スケールファクタを選択する手順と、
前記チャネル群の前記伝送信号に対し、前記適用スケールファクタによるビット割当てを行う手順と、を実行させるためのプログラム。
【図１】
【図２】
【図３】
【図２】
【図３】
【公開番号】特開２０１３−５０６６３（Ｐ２０１３−５０６６３Ａ）
【公開日】平成２５年３月１４日（２０１３．３．１４）
【国際特許分類】
【出願番号】特願２０１１−１８９７４１（Ｐ２０１１−１８９７４１）
【出願日】平成２３年８月３１日（２０１１．８．３１）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【公開日】平成２５年３月１４日（２０１３．３．１４）
【国際特許分類】
【出願日】平成２３年８月３１日（２０１１．８．３１）
【出願人】（０００００４３５２）日本放送協会 (2,206)
[ Back to top ]