オーディオ信号符号化装置及びオーディオ信号符号化方法
【課題】特定の周波数帯域を廃棄した信号をスペクトルデータに変換するサンプルブロック長を決定するための周波数分析処理、或いは高域通過フィルタに係る処理を行うことで、処理量が増し電力消費が増大するという課題を解消すること。
【解決手段】分析フィルタバンク3により、入力オーディオ信号をサブバンド信号に変換する。包絡線情報算出手段4は、得られたサブバンド信号から、廃棄される予定の周波数帯域の包絡線情報を算出する。コア符号化手段2のブロック長判定手段27は、分析フィルタバンク3により算出されるサブバンド信号を用いて、被帯域制限信号をスペクトルデータに変換する時間間隔を最適に決定する。マルチプレクサ5は、コア符号化信号と包絡線情報とを多重化して出力する。
【解決手段】分析フィルタバンク3により、入力オーディオ信号をサブバンド信号に変換する。包絡線情報算出手段4は、得られたサブバンド信号から、廃棄される予定の周波数帯域の包絡線情報を算出する。コア符号化手段2のブロック長判定手段27は、分析フィルタバンク3により算出されるサブバンド信号を用いて、被帯域制限信号をスペクトルデータに変換する時間間隔を最適に決定する。マルチプレクサ5は、コア符号化信号と包絡線情報とを多重化して出力する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、オーディオ信号の特定の周波数帯域を廃棄し、廃棄された周波数帯域の包絡線情報を符号化信号に多重化して伝送又は記憶するオーディオ信号符号化装置及びオーディオ信号符号化方法に関するものである。
【背景技術】
【0002】
デジタルオーディオの分野では、人間の可聴帯域、例えば20KHz以下の周波数帯域をカバーするように周波数帯域を制限してコンパクトディスク(CD)などの記録媒体に記録したり、或いは衛星デジタル放送などの伝送経路を通じて伝送したりしている。その一方で、CDに比べて10分の1以下の低いビットレートで、高品位の音質で伝送又は記憶を可能にするオーディオ信号符号化技術が開発され、実際に使用されている。
【0003】
これらのオーディオ信号の符号化技術には、例えばミニディスク(MD)に採用されているATRAC(Adaptive Transform Acoustic Coding)方式や、衛星デジタル放送で採用され、ISOのMPEGで規格化されているMPEG2−AACなどの各種方式がある。
【0004】
これらのオーディオ信号の符号化技術では、時系列の入力オーディオ信号を複数のサンプルでまとめたものを符号化フレームとする。そしてこの符号化フレームを単位として、周波数領域のサブバンド信号やスペクトルデータに変換する。周波数領域のサブバンド信号への変換には、QMF(Quadrature Mirror Filter)などの帯域分割フィルタといったフィルタバンクを利用する。或いは、周波数領域のスペクトルデータへの変換には、MDCT(Modified Discrete Transform)などの周波数変換処理を利用する。
【0005】
以下に説明するオーディオ信号の符号化処理では、MDCTなどの周波数変換を利用して、時系列上の入力オーディオ信号を周波数領域のスペクトルデータに変換するものとする。上記の周波数変換により生成されるスペクトルデータは、複数のスペクトルデータをまとめた正規化帯域毎に正規化され、量子化が施される。スペクトルデータは、正規化帯域毎のスペクトルデータの振幅を表すスケールファクタで正規化される。更に、正規化されたスペクトルデータは、所望のビットレートになるように、正規化帯域毎に割り当てられる量子化ビット数で量子化される。量子化ビット数は、最小可聴しきい値や、マスキングなどの人間の聴覚心理特性に基づいて、聴感上知覚されない、もしくは知覚され難い量子化雑音レベルを許容して割り当てられる。
【0006】
量子化されたスペクトルデータは、符号化された後に、スケールファクタや量子化ビット数などの符号化情報と多重化され、符号化信号として伝送又は記憶される。このようにして人間の聴覚特性を利用すると、ビットレートの大幅な低減が可能となる。
【0007】
上記のようなオーディオ信号の符号化処理によって伝送又は記憶された符号化信号は、復号化処理において符号化処理の逆の手順が施され、再生オーディオ信号に復元されて出力される。
【0008】
また、上記の周波数変換を用いたオーディオ信号の符号化処理では、入力オーディオ信号の特性に応じて、2つの異なるサンプルブロック長を切替えてスペクトルデータに変換する。ここで、2つの異なるサンプルブロック長で周波数変換を行う理由を以下に説明する。伝送又は記憶される符号化信号に対して復号化処理を施して再生オーディオ信号を復元する際に、符号化時の量子化処理に起因する量子化雑音は、周波数変換を施すサンプルブロック長の時間間隔に分散して出現する。すなわち、符号化フレーム中に小さな信号振幅のオーディオ信号と、大きな信号振幅のオーディオ信号とが連続する場合に、大きな信号振幅のオーディオ信号によってもたらされる量子化雑音が、小さな信号振幅に重畳され再生されることにより、知覚品質の劣化を引き起こす。
【0009】
このような知覚品質の劣化を防ぐために、符号化フレーム中に信号振幅の大きな変化がある場合には、時間間隔の短いサンプルブロック長を選択して周波数変換を行う。これにより、大きな信号振幅のオーディオ信号によってもたらされる量子化雑音が出現する時間間隔は短くなり、量子化雑音は大きな信号振幅のオーディオ信号の近傍のみ重畳される。人間の聴覚特性の一つとして、時系列に近接して連続する信号間の知覚レベルが低下するという時間マスキング効果がある。この時間マスキング効果により、量子化雑音が知覚されにくくなる。このような特性を利用して知覚品質を向上させる方法がある(例えば、特許文献1参照)。
【0010】
ここで、オーディオ信号の特性に応じ、2つの異なるサンプルブロック長を切替える方法について説明する。例えば予め入力オーディオ信号を固定長の分析窓で高速フーリエ変換(FFT)などの周波数分析を行ってスペクトルデータに変換し、スペクトルデータの時系列の変化量を監視する。そしてこの監視によって、符号化フレーム中の信号振幅の変化量を調べ、2つの異なるサンプルブロック長を切替える方法がある。符号化フレーム中の信号振幅において、その変化量が大きく変化する部分を検出した場合には短いサンプルブロック長を選択し、検出されない場合は長いサンプルブロック長を選択する。
【0011】
また上記した方法以外に、符号化フレーム中の時系列のオーディオ信号を用いて、信号振幅の変化量を調べる方法もある。この場合には、オーディオ信号に含まれる低い周波数成分を除去する必要がある。一般には、低音域の周波数成分の信号振幅が、高音域の周波数成分の信号振幅よりも大きく、信号振幅の変化が少ないことが多い。このため、符号化フレームの時間間隔よりも長い周期をもつ低い周波数成分の信号振幅によって、短い周期の周波数成分における信号振幅の変化は隠蔽される。これによって、符号化フレーム中の信号振幅の変化を検出する精度が下がり、短いサンプルブロック長が好ましいオーディオ信号に対して、長いサンプルブロック長を選択するという誤った処理が発生する。このサンプルブロック長の誤った選択を防ぐために、上記した低い周波数成分を除去する広域通過フィルタ処理を、時系列のオーディオ信号に予め施す必要がある。
【0012】
以下の説明では、上記した一連の処理によって時系列のオーディオ信号を周波数領域のスペクトルデータに変換し、量子化及び符号化して符号化信号を生成するオーディオ信号の符号化処理をコア符号化処理と呼び、コア符号化処理を施す処理ブロックをコア符号化手段と呼ぶ。更に、コア符号化処理の逆の手順を施して、符号化信号から再生オーディオ信号を復元し出力する復号化処理をコア復号化処理と呼び、コア復号化処理を施す処理ブロックをコア復号化手段と呼ぶ。
【0013】
しかしながら、更なる低ビットレートで上記のコア符号化処理を施した場合には、伝送又は記憶された符号化信号に対してコア復号化処理を行うと、復元され出力される再生オーディオ信号の音質劣化が知覚される。このことは、低ビットレートという要求に対して行われるコア符号化処理によって、削減される情報量が聴感上知覚され易い部分に及ぶためである。特に、周波数帯域が制限されて、高音域の成分が削除されることが多い。これは、低音域の成分の削除よりも、高音域データ成分の削除の方が聴感上知覚され難いことによる。
【0014】
そこで、低ビットレートでコア符号化処理を施すことにより削除される高音域の成分を、復号化時にコア復号化処理とは別に擬似的に再現することによって、出力する再生オーディオ信号の周波数帯域を拡張して知覚品質を改善する方法が提案されている。以下にその方法を説明する。
【0015】
符号化時において、コア符号化処理とは別に、入力オーディオ信号の周波数領域のサブバンド信号を分析し、コア符号化処理により廃棄(削除ともいう)される周波数帯域の信号、即ち廃棄帯域におけるサブバンド信号の包絡線や分布、振幅などを求める。そしてこれらの付加情報をコア符号化処理により生成されるコア符号化信号に多重化して伝送又は記憶する。復号化時には、廃棄された周波数帯域のサブバンド信号を持つ信号を生成すると共に、コア符号化信号に多重化されるサブバンド信号の包絡線や分布、振幅などの付加情報を抽出して再現する。これらの付加情報に基づいてサブバンド信号の包絡線や分布、振幅などを調整する。この技術は、例えば特許文献2、又は非特許文献2に開示されている。
【0016】
以下では説明を簡単にするために、廃棄される周波数帯域のサブバンド信号を擬似的に再現するために、符号化信号に多重化して伝送又は記憶される情報を単に包絡線情報と呼ぶ。ここで言う包絡線情報には、廃棄される周波数帯域のサブバンド信号の包絡線や分布、振幅などのいずれか一つ以上が含まれるものとする。
【0017】
上記のようにして、伝送又は記憶されるコア符号化信号にコア復号化処理を施すと共に、復元され出力されるオーディオ信号に含まれない周波数帯域のサブバンド信号を持つ付加信号を生成し、復号オーディオ信号と付加信号とを合成する。このことにより、低ビットレートで再生オーディオ信号の周波数帯域を拡張し、知覚品質を大幅に改善することができる。
【0018】
上記の方法により、入力オーディオ信号の特定の周波数帯域を廃棄した信号(以下、被帯域制限信号という)にコア符号化処理を施してコア符号化信号を生成する。そして、入力オーディオ信号を分析することにより、廃棄される周波数帯域のサブバンド信号の包絡線情報を求め、符号化信号に多重化して伝送又は記憶する。このようなオーディオ信号符号化装置について、図面を参照しながら以下に説明する。
【0019】
図11は上記した従来例1のオーディオ信号符号化装置の構成例を示すブロック図である。図11において、ダウンサンプリングフィルタ1は入力オーディオ信号X1の高域の周波数帯域を廃棄し、被帯域制限信号X2を出力するフィルタである。コア符号化手段2は、被帯域制限信号X2にコア符号化処理を施し、コア符号化信号S2を生成するものである。分析フィルタ3は、入力オーディオ信号X1に分析フィルタ処理を施し、サブバンド信号Sb1を生成するフィルタである。包絡線情報算出手段4は、サブバンド信号Sb1を用いて、廃棄される周波数帯域のサブバンド信号の符号化された包絡線情報Ev1を生成するものである。マルチプレクサ5は、コア符号化信号S2に廃棄帯域信号の包絡線情報Ev1を多重化し、これを符号化信号S1として出力する回路である。
【0020】
従来例1のコア符号化手段2は、周波数分析手段21、ブロック長判定手段22、時間/周波数変換手段23、量子化及び符号化手段24を有している。周波数分析手段21は被帯域制限信号X2から周波数領域のスペクトルデータSp1を算出するものである。ブロック長判定手段22は、スペクトルデータSp1から、符号化フレーム中の信号振幅の変化量を調べ、被帯域制限信号X2を周波数領域のスペクトルデータSp2に変換する際に用いるサンプルブロック長を選択するものである。時間/周波数変換手段23は、ブロック長判定手段22で選択されたサンプルブロック長に従って、被帯域制限信号X2からスペクトルデータSp2を生成するものである。量子化及び符号化手段24は、スペクトルデータSp2を正規化帯域毎に正規化及び量子化した後に、符号化を施してコア符号化信号S2を生成するものである。
【0021】
図12は、従来例2のオーディオ信号符号化装置の構成図である。このオーディオ信号符号化装置は、図11に示すオーディオ信号符号化装置の中のコア符号化処理において、周波数分析手段21の代わりに高域通過フィルタ25を設け、予め低域の周波数成分を除去するようにしている。そしてこの高域通過フィルタ25から得られる時系列のオーディオ信号を用いて、時間/周波数変換処理23のサンプルブロック長を判定するため、ブロック長判定手段26を設けたことを特徴とする。
【0022】
図12において、ダウンサンプルフィルタ1、時間/周波数変換手段23、量子化及び符号化手段24、分析フィルタ3、包絡線情報算出手段4、マルチプレクサ5は、夫々図11に示すものと同じであるため、それらの機能説明を省略する。
【0023】
高域通過フィルタ25は、被帯域制限信号X2から低音域の周波数成分を除去するフィルタである。ブロック長判定手段26は、被帯域制限信号X2から低音域の周波数成分を除去した信号に対して、符号化フレーム中の信号振幅の変化量を調べ、被帯域制限信号X2をスペクトルデータSp2に変換する際に用いるサンプルブロック長を選択して時間/周波数変換処理23に与えるものである。
【0024】
図13は、分析フィルタ3によって、入力オーディオ信号X1から生成されるサブバンド信号Sb1(t,f)の時間方向と周波数方向の配置を表した説明図である。ここでtは時間方向のインデックスであり,fは周波数方向のインデックスである。
【0025】
図13において説明を簡単にするために、符号化フレームの時間間隔Tで、分析フィルタ3によるサブバンド信号Sb1の生成を8回行うものとする。時間方向のインデックスtは、t=0,1,2・・・7となる。また、分析フィルタ3によるサブバンド信号Sb1の生成の1回当たり、周波数帯域を8個に分割するものとする。周波数方向のインデックスfは、f=0,1,2・・・.7となる。すなわち、入力オーディオ信号に対して符号化フレームの時間間隔Tで、分析フィルタ3によって64個のサブバンド信号Sb1(t,f)(t=0〜7,f=0〜7)が生成される。
【0026】
また、周波数方向のインデックスfが大きいほど高音域の周波数帯域を表す。Sb1(t,0)は、入力オーディオ信号の周波数帯域のうち、直流成分を含む低音域の周波数帯域のサブバンド信号を表す。また、Sb1(t,7)は入力オーディオ信号の周波数帯域のうち、fs/2(fsは、サンプリング周波数)の成分を含む高音域の周波数帯域のサブバンド信号を表す。ダウンサンプルフィルタ1によって廃棄される周波数帯域w1を(f=4〜7)とし、コア符号化処理が施される被帯域制限信号X2の周波数帯域w0を(f=0〜3)とする。
【特許文献1】特表平5−506345号公報
【特許文献2】特表2001−521648号公報
【非特許文献2】マーチン、他共著「スペクトルバンド複製によるオーディオ符号化における新たなアプローチ(Spectral Band Replication,a novel approach in audio coding)」AES、2002年、ドイツ、ミュンヘン会議、論文第5553号
【発明の開示】
【発明が解決しようとする課題】
【0027】
しかしながら、前記した従来例1の構成では、廃棄される周波数帯域のサブバンド信号の包絡線情報を算出するために行う分析フィルタとは別に、コア符号化処理において被帯域制限信号を周波数領域のスペクトルデータに変換する必要がある。このため、サンプルブロック長を決定する前処理として周波数分析手段21を用いて周波数分析処理が行われる。また従来例2の構成では、高域通過フィルタ25を用いて被帯域制限信号の低音域の周波数成分を除去する高域通過フィルタ処理が行われる。このため上記2例の従来の方法では、コア符号化処理に係る処理量が大きいという課題を有していた。
【0028】
本発明は、このような従来の課題を解決するもので、被帯域制限信号にコア符号化処理を施すと共に、廃棄される周波数帯域の信号に対し包絡線情報を算出し、コア符号化信号に多重化して出力する符号化処理において、その処理量を軽減することが可能なオーディオ信号符号化装置及びオーディオ信号符号化方法を実現することを目的としている。
【課題を解決するための手段】
【0029】
この課題を解決するために、本発明のオーディオ信号符号化装置は、入力オーディオ信号から特定の周波数帯域を廃棄した信号を被帯域制限信号とし、前記特定の周波数帯域の信号を廃棄帯域信号とするとき、前記被帯域制限信号からコア符号化信号を生成すると共に、前記廃棄帯域信号の包絡線情報を生成して前記コア符号化信号に多重化し、伝送又は記憶するオーディオ信号符号化装置であって、前記入力オーディオ信号から周波数領域のサブバンド信号を生成する分析フィルタと、前記被帯域制限信号の周波数帯域に含まれる前記サブバンド信号から、前記被帯域制限信号を周波数領域のスペクトルデータに変換するサンプルブロック長を決定するブロック長判定手段と、前記被帯域制限信号を前記スペクトルデータに変換する時間/周波数変換手段と、前記スペクトルデータを適応的に量子化及び符号化し、コア符号化信号を生成する量子化及び符号化手段と、前記サブバンド信号から前記廃棄帯域信号の包絡線情報を算出する包絡線情報算出手段と、前記コア符号化信号と前記包絡線情報とを多重化して符号化信号を出力する多重化手段と、を具備することを特徴とするものである。
【0030】
ここで前記ブロック長判定手段は、前記サブバンド信号の時間間隔を単位に、前記被帯域制限信号の周波数帯域に含まれる前記サブバンド信号に基づく累計したセグメントエネルギーを算出し、前記セグメントエネルギーに基づいて、前記サンプルブロック長を決定してもよい。
【0031】
ここで前記ブロック長判定手段は、前記サブバンド信号の時間間隔を単位に、前記被帯域制限信号の周波数帯域に含まれる前記サブバンド信号に基づくセグメントエネルギーを、2つ以上にグループ化した周波数帯域毎に算出し、前記グループ化した周波数帯域毎の前記セグメントエネルギーに基づいて、前記サンプルブロック長を決定してもよい。
【0032】
この課題を解決するために、本発明のオーディオ信号符号化方法は、入力オーディオ信号から特定の周波数帯域を廃棄した信号を被帯域制限信号とし、前記特定の周波数帯域の信号を廃棄帯域信号とするとき、前記被帯域制限信号からコア符号化信号を生成すると共に、前記廃棄帯域信号の包絡線情報を生成して前記コア符号化信号に多重化し、伝送又は記憶するオーディオ信号符号化方法であって、前記入力オーディオ信号から周波数領域のサブバンド信号を生成するステップと、前記被帯域制限信号の周波数帯域に含まれる前記サブバンド信号から、前記被帯域制限信号を周波数領域のスペクトルデータに変換するサンプルブロック長を決定するステップと、前記被帯域制限信号を前記スペクトルデータに変換するステップと、前記スペクトルデータを適応的に量子化及び符号化し、コア符号化信号を生成するステップと、前記サブバンド信号から前記廃棄帯域信号の包絡線情報を算出するステップと、前記コア符号化信号と前記包絡線情報とを多重化して符号化信号を出力するステップと、有することを特徴とするものである。
【0033】
ここで前記被帯域制限信号を前記スペクトルデータに変換するサンプルブロック長を決定するステップは、前記サブバンド信号の時間間隔を単位に、前記被帯域制限信号の周波数帯域に含まれる前記サブバンド信号に基づくセグメントエネルギーを算出し、前記セグメントエネルギーに基づいて、前記サンプルブロック長を決定してもよい。
【0034】
ここで前記被帯域制限信号を前記スペクトルデータに変換するサンプルブロック長を決定するステップは、前記サブバンド信号の時間間隔を単位に、前記被帯域制限信号の周波数帯域に含まれる前記サブバンド信号に基づくセグメントエネルギーを、2つ以上にグループ化した周波数帯域毎に算出し、前記グループ化した周波数帯域毎の前記セグメントエネルギーに基づいて、前記サンプルブロック長を決定してもよい。
【発明の効果】
【0035】
本発明のオーディオ信号符号化装置及びオーディオ信号符号化方法によれば、コア符号化手段は、分析フィルタで生成されるサブバンド信号から、コア符号化処理において被帯域制限信号を周波数領域のスペクトルデータに変換するためのサンプルブロック長を決定することにより、コア符号化処理において周波数分析に係る処理を軽減することができる。更に本願発明のオーディオ信号符号化装置及びオーディオ信号符号化方法は、被帯域制限信号の低音域の周波数成分を除去する広域通過フィルタに係る処理を軽減することができる。
【発明を実施するための最良の形態】
【0036】
以下本発明を実施するための最良の形態について、図面を参照しながら説明する。
(実施の形態1)
図1は本発明の実施の形態におけるオーディオ信号符号化装置の全体構成図である。本実施の形態のオーディオ信号符号化装置は、ダウンサンプリングフィルタ1、コア符号化手段2、分析フィルタ3、包絡線情報算出手段4、マルチプレクサ5を含んで構成される。
またコア符号化手段2は、従来例と異なり、ブロック長判定手段27、時間/周波数変換手段23、量子化及び符号化手段24により構成される。
【0037】
ダウンサンプリングフィルタ1は、入力オーディオ信号X1の特定の周波数帯域を廃棄し、被帯域制限信号X2を生成するフィルタである。コア符号化手段2は、被帯域制限信号X2にコア符号化処理を施してコア符号化信号S2を生成するものである。分析フィルタ3は、入力オーディオ信号X1から周波数領域のサブバンド信号Sb1を生成するフィルタである。包絡線情報算出手段4は、サブバンド信号Sb1から、廃棄される周波数帯域のサブバンド信号Sb1の包絡線情報Ev1を生成するものである。マルチプレクサ5は、コア符号化信号S2に、符号化された包絡線情報Ev1を多重化した符号化信号S1を生成して出力する多重化手段である。
【0038】
ブロック長判定手段27は、分析フィルタ3によって生成されるサブバンド信号Sb1を用いて、被帯域制限信号X2を周波数領域のスペクトルデータSp2に変換するためのサンプルブロック長を判定するものである。時間/周波数変換手段23は、ブロック長判定手段27で選択されたサンプルブロック長を用いて、被帯域制限信号X2から周波数領域のスペクトルデータSp2を生成するものである。量子化及び符号化手段24は、スペクトルデータSp2を正規化帯域毎に正規化及び量子化した後に、符号化を施してコア符号化信号S2を生成するものである。
【0039】
図2は、実施の形態1におけるブロック長判定手段27Aの構成を更に詳しく示したブロック図である。ブロック長判定手段27Aは、セグメントエネルギー算出手段271、エネルギー変化量算出手段272、ブロック長選択手段273を有している。セグメントエネルギー算出手段271は、サブバンド信号Sb1から任意の周波数帯域におけるサブバンド信号の自乗値を周波数方向で累計し、その累計値をセグメントエネルギーSE1として算出するものである。このセグメントエネルギーSE1は、分析フィルタ3のサブバンド信号Sb1を生成する時間間隔を単位として算出される。エネルギー変化量算出手段272は、時系列上で隣接する2つのセグメントエネルギーSE1における差の絶対値を演算し、その演算結果をエネルギー変化量D1として出力するものである。ブロック長選択手段273は、符号化フレーム中で、所定の閾値Th1よりも大きいエネルギー変化量D1が検出される場合には、被帯域制限信号X2をスペクトルデータSp2に変換するサンプルブロック長を短い時間間隔のサンプルブロック長とし、閾値Th1よりも大きいエネルギー変化量D1が検出されない場合には、被帯域制限信号X2をスペクトルデータSp2に変換するサンプルブロック長を長い時間間隔のサンプルブロック長とするようにサンプルブロック長を選択するものである。
【0040】
図3は、分析フィルタ3によって、入力オーディオ信号X1から生成されるサブバンド信号Sb1(t,f)の時間方向と周波数方向の配置を表す説明図である。ここでtは時間方向のインデックスであり、fは周波数方向のインデックスである。説明を簡単にするために、図3では符号化フレームの時間間隔Tで、分析フィルタ3によるサブバンド信号Sb1の生成を8回行うものとする。この場合、時間方向のインデックスtは、0〜7の何れかの整数値となる。また、分析フィルタ3によるサブバンド信号Sb1の生成の1回当たり、周波数帯域を8個に分割するものとする。周波数方向のインデックスfは、0〜7の何れかの整数値となる。すなわち、入力オーディオ信号に対して符号化フレームの時間間隔Tで、分析フィルタ3により64個のサブバンド信号Sb1(t,f)が生成される。また、周波数方向のインデックスfが大きいほど高音域の周波数帯域を表す。Sb1(t,0)は入力オーディオ信号の周波数帯域のうち、直流成分を含む低音域の周波数帯域のサブバンド信号を表す。また、Sb1(t,7)は入力オーディオ信号の周波数帯域のうち、fs/2(fsは、サンプリング周波数)の成分を含む高音域の周波数帯域のサブバンド信号を表す。更に、ダウンサンプルフィルタ1によって廃棄される周波数帯域w1をf=4〜7とし、コア符号化処理が施される被帯域制限信号X2の周波数帯域w0をf=0〜3とする。
【0041】
図4はセグメントエネルギー算出手段271によって、図3のサブバンド信号Sb1(t,f)から算出されるセグメントエネルギーSE1(t)を表す説明図である。なおtは時間方向のインデックスである。また図4の横軸は時間を表わし、縦軸はセグメントエネルギーSE1(t)の大きさを表す。
【0042】
図4において、セグメントエネルギーSE1(t)は、サブバンド信号Sb1(t,f)のうち、コア符号化処理が施される被帯域制限信号X2の周波数帯域w0に含まれる周波数帯域で、且つ直流成分を含む低音域の周波数成分を含むサブバンド信号Sb1(t,0)を除くSb1(t,f)(f=1〜3)の自乗値を周波数方向で累計して算出するものとする。時間方向のインデックスtは図3の場合と同様である。
【0043】
図5はエネルギー変化量算出手段272によって、図4のセグメントエネルギーSE1(t)から算出されるエネルギー変化量D1(t)を表す説明図である。なおtは時間方向のインデックスである。図5の横軸は時間を表わし、縦軸はエネルギー変化量D1(t)の大きさを表す。
【0044】
図5において、エネルギー変化量D1(t)は、時系列で隣接するセグメントエネルギーSE1(t−1)とSE1(t)との差の絶対値で算出される。ここで、D1(0)は、現在の符号化フレームに対して時系列に先行する前の符号化フレーム中における最後のセグメントエネルギーSE1’(7)と、現在の符号化フレーム中のセグメントエネルギーSE1(0)との差の絶対値で算出される。横軸に点線で表されるTh1は、エネルギー変化量D1(t)に応じ、被帯域制限信号X2をスペクトルデータSp2に変換するサンプルブロック長を切替えるブロック長判定閾値である。すなわち、符号化フレームの時間間隔Tでブロック長判定閾値Th1より大きいエネルギー変化量D1(t)が検出される場合には、短い時間間隔のサンプルブロック長を選択し、検出されない場合は、長い時間間隔のサンプルブロック長を選択するように、ブロック長選択手段273がエネルギー変化量D1(t)を監視する。
【0045】
尚、本実施の形態の説明では、セグメントエネルギーSE1及びエネルギー変化量D1の算出、並びにサンプルブロック長の決定を、上記の方法で行うとしたが、別の方法を用いても良い。更に本実施の形態において、ブロック長判定手段27Aは、分析フィルタ3のサブバンド信号Sb1を生成する時間間隔を単位に、セグメントエネルギーSE1から算出されるエネルギー変化量D1とブロック長判定閾値Th1とを比較するようにした。しかし、ブロック長判定手段27Aは、セグメントエネルギーSE1を短い時間間隔のサンプルブロック長の時間間隔を単位に統合して、統合セグメントエネルギーSE2を算出し、統合セグメントエネルギーSE2から算出されるエネルギー変化量D2とブロック長判定閾値Th2とを比較するようにしても良い。
【0046】
以下に、統合セグメントエネルギーSE2を用いて、被帯域制限信号X2をスペクトルデータSp2に変換するサンプルブロック長判定方法について説明する。図6は、セグメントエネルギー算出手段271によって、図4のセグメントエネルギーSE1(t)から得られる統合セグメントエネルギーSE2(t2)を表す説明図である。なおt2は時間方向のインデックスである。図6の横軸は時間を表わし、縦軸は統合セグメントエネルギーSE2(t)の大きさを表す。
【0047】
図6において、統合セグメントエネルギーSE2(t)は、図4のセグメントエネルギーSE1(t)から、短い時間間隔のサンプルブロック長の時間間隔T2に含まれるセグメントエネルギーSE1(t)及びSE1(t+1)の最大値を選択することによって、統合セグメントエネルギーSE2(t2)を算出する。ここで、t=2*t2,t=0〜7、t2=0〜3とする。
【0048】
図7は、図6の統合セグメントエネルギーSE2(t2)から算出されるエネルギー変化量D2(t2)を表す説明図である。なおt2は時間方向のインデックスである。図7の横軸は時間を表わし、縦軸はエネルギー変化量D2(t2)の大きさを表す。
【0049】
図7において、エネルギー変化量D2(t2)は、時系列で隣接する統合セグメントエネルギーSE2(t2−1)とSE2(t2)との差の絶対値で算出される。D2(0)は、現在の符号化フレームに対して時系列に先行する前の符号化フレーム中における最後の統合セグメントエネルギーSE2’(3)と、現在の符号化フレーム中のセグメントエネルギーSE2(0)の差の絶対値で算出される。横軸に点線で表されるTh1は、エネルギー変化量D2(t2)に応じ、被帯域制限信号X2をスペクトルデータSp2に変換するサンプルブロック長を切替えるブロック長判定閾値を示す。すなわち、符号化フレームの時間間隔Tでブロック長判定閾値Th2より大きいエネルギー変化量D2(t)が検出される場合には、短い時間間隔のサンプルブロック長を選択し、検出されない場合は、長い時間間隔のサンプルブロック長を選択するようにブロック長選択手段273がエネルギー変化量D2(t)を監視する。
【0050】
尚、本実施の形態の説明では、統合セグメントエネルギーSE2及びエネルギー変化量D2の算出、並びにサンプルブロック長の決定を上記の方法で行うが、別の方法を用いても良い。
【0051】
上記の構成によれば、コア符号化手段2においてブロック長判定手段27Aは、分析フィルタ3により生成されるサブバンド信号Sb1から、被帯域制限信号X2をスペクトルデータSp2に変換するためのサンプルブロック長を決定することにより、サンプルブロック長を決定するための被帯域制限信号X2の周波数分析に係る処理が不要となり、処理量を軽減することができる。また上記の構成によれば、サンプルブロック長の誤った選択を防ぐために、被帯域制限信号X2に施す低音域の周波数成分を除去する広域通過フィルタ処理に係る処理が不要となり、処理量を軽減することができる。これにより、電力消費を低減したオーディオ信号符号化装置を実現することができる。
【0052】
なお、実施の形態1のオーディオ信号符号化装置において、各構成ブロックの処理は、ソフトウェアプログラムによってコンピュータ又はデジタルシグナルプロセッサ(DSP)上で実現することも可能である。
【0053】
(実施の形態2)
次に本発明の実施の形態2におけるオーディオ信号符号化装置について説明する。本実施の形態におけるオーディオ信号符号化装置の全体構成は、図1に示すものと同一である。図8は、本実施の形態のコア符号化手段2に用いられるブロック長判定手段27Bの構成図である。ブロック長判定手段27Bは、分析フィルタ3によって入力オーディオ信号から生成されるサブバンド信号Sb1を用いて、帯域制限信号X2をスペクトルデータp2に変換するためのサンプルブロック長を決定するものである。
【0054】
図8に示すように、ブロック長判定手段27Bは、セグメントエネルギー算出手段274、エネルギー変化量算出手段2751・・2752、ブロック長選択手段2761・・2762、ブロック長制御手段277を有している。セグメントエネルギー算出手段274は、図1の分析フィルタ3によって入力オーディオ信号X1から生成されるサブバンド信号Sb1を用いて、任意の周波数帯域におけるサブバンド信号の自乗値を周波数方向で累計し、累計結果をセグメントエネルギーSE3として出力するものである。セグメントエネルギーSE3は、分析フィルタ3のサブバンド信号Sb1を生成する時間間隔を単位として算出される。これに加えて更にセグメントエネルギーSE3は、少なくとも2つ以上の帯域にグループ化した帯域毎に算出される。
【0055】
エネルギー変化量算出手段2751・・2752は、グループ化した周波数帯域毎に設けられるものであり、時系列に隣接するセグメントエネルギーSE3の差の絶対値で求められるエネルギー変化量D3を算出する。ブロック長選択手段2761・・2762は、エネルギー変化量算出手段2751・・2752に対応して設けられる。ブロック長選択手段2761・・2762はグループ化した帯域毎に、符号化フレーム中で閾値Th3よりも大きいエネルギー変化量D3が検出される場合に、帯域制限信号X2をスペクトルデータSp2に変換するためのサンプルブロック長を、短い時間間隔のサンプルブロック長とし、閾値Th3よりも大きいエネルギー変化量D3が検出されない場合に、被帯域制限信号X2をスペクトルデータSp2に変換するためのサンプルブロック長を、長い時間間隔のサンプルブロック長とするよう、サンプルブロック長を選択する。
【0056】
ブロック長制御手段277は、グループ化した帯域毎に選択されるサンプルブロック長の1つ以上で短い時間間隔のサンプルブロック長が選択される場合に、被帯域制限信号X2をスペクトルデータSp2に変換するサンプルブロック長を、短い時間間隔のサンプルブロック長とするようにサンプルブロック長を制御するものである。
【0057】
図9は、セグメントエネルギー算出手段274によって、図3のサブバンド信号Sb1(t,f)から算出されるセグメントエネルギーSE3(t,p)を表す説明図である。尚、nは時間方向のインデックスであり,pは周波数方向のインデックスである。図9の横軸は時間を表わし、縦軸はセグメントエネルギーSE3(t,p)の大きさを表す。
【0058】
図9において、セグメントエネルギーSE3(t,p)は、サブバンド信号Sb1(n,m)のうち、コア符号化処理が施される被帯域制限信号X2の周波数帯域w0に含まれ、且つ直流成分を含む低音域の周波数成分を含むサブバンド信号Sb1(t,0)を除くSb1(t,m)(m=1〜3)の自乗値を、周波数方向で累計して算出される。tは時間方向のインデックスである。
【0059】
更に、セグメントエネルギーSE3(t,p)は、周波数方向で人間の聴覚特性に合わせた帯域毎にグループ化して算出する。図9では説明を簡単にするために、(f=1)のサブバンド信号Sb1(t,f)の自乗値によって(p=0)のセグメントエネルギーSE3(t,0)を算出し、(f=2及び3)のサブバンド信号Sb1(t,f)の自乗値を周波数方向で累計して(p=1)のセグメントエネルギーSE3(t,1)を算出する場合を示す。図9の上段は、(p=0)のセグメントエネルギーSE3(t,0)を示し、下段は(p=1)のセグメントエネルギーSE3(t,1)を示す。
【0060】
図10は、エネルギー変化量算出手段2751及び2752によって、図9に示されるセグメントエネルギーSE3(t,p)から算出されるエネルギー変化量D3(t,p)を表す説明図である。ここでtは時間方向のインデックスであり、pは周波数方向のインデックスである。図10の横軸は時間を表わし、縦軸はエネルギー変化量D3(t,p)の大きさを表す。
【0061】
図10において、エネルギー変化量D3(t,p)は、時系列で隣接するセグメントエネルギーSE3(t−1,p)とSE3(t,p)との差の絶対値で算出される。ここで、D3(0,p)は、現在の符号化フレームに対して時系列に先行する前の符号化フレーム中における最後のセグメントエネルギーSE3’(7,p)と、現在の符号化フレーム中のセグメントエネルギーSE3(0,p)との差の絶対値で算出される。横軸に点線で表されるTh3(p)は、グループ化した帯域毎の、エネルギー変化量D3(t,p)に応じ、被帯域制限信号X2をスペクトルデータSp2に変換するサンプルブロック長を切替えるブロック長判定閾値を示す。すなわち、符号化フレームの時間間隔Tで、変換長判定閾値Th3(p)より大きいエネルギー変化量D3(t,p)が検出される場合には、短い時間間隔のサンプルブロック長を選択し、検出されない場合は、長い時間間隔のサンプルブロック長を選択するよう、ブロック長選択手段2761及び2762がエネルギー変化量D3(t,p)を監視する。
【0062】
ブロック長選択手段2761及び2762でグループ化した周波数帯域毎に選択されたサンプルブロック長のうち、1つ以上で短い時間間隔のサンプルブロック長が選択される場合には、ブロック長制御手段277では、被帯域制限信号X2をスペクトルデータSp2に変換するサンプルブロック長を、短い時間間隔のサンプルブロック長とするようにサンプルブロック長を制御する。
【0063】
尚、本実施の形態の説明では、セグメントエネルギーSE3及びエネルギー変化量D3の算出、並びにサンプルブロック長の決定を上記の方法で行うが、別の方法を用いても良い。更に本実施の形態において、ブロック長判定手段27Bは、分析フィルタ3のサブバンド信号Sb1を生成する時間間隔を単位として、セグメントエネルギーSE3から算出されるエネルギー変化量D3と、ブロック長判定閾値Th3とを比較するようにした。しかし、セグメントエネルギーSE3として、短い時間間隔のサンプルブロック長を単位に統合して統合セグメントエネルギーを算出し、統合セグメントエネルギーから算出されるエネルギー変化量と、ブロック長判定閾値とを比較するようにしても良い。この方法は、実施の形態1と同様であるので、説明を省略する。
【0064】
上記の構成によれば、コア符号化手段2のブロック長判定手段27Bは、分析フィルタ3により生成されるサブバンド信号Sb1から、被帯域制限信号X2をスペクトルデータSp2に変換するサンプルブロック長を決定することにより、サンプルブロック長を決定するための周波数分析に係る処理が不要となり、処理量を軽減することができる。また、サンプルブロック長の誤った選択を防ぐための、被帯域制限信号X2に施す低音域の周波数成分を除去するための高域通過フィルタ処理に係る処理が不要となり、処理量を軽減することができる。これにより、電力消費を低減したオーディオ信号の符号化装置を実現することができる。
【0065】
また、人間の聴覚特性に合わせてグループ化した帯域毎に信号振幅の変化を検出し、サンプルブロック長の決定を行うことにより、聴感上知覚され易い周波数帯域の信号振幅の変化を検出する精度を上げることができる。こうして、最適なサンプルブロック長を選択することで、音質の劣化を防ぐことができる。
【0066】
更に、実施の形態2におけるオーディオ信号符号化装置の各構成ブロックの機能は、ソフトウェアプログラムによってコンピュータ又は、デジタルシグナルプロセッサ(DSP)上で実現することも可能である。
【産業上の利用可能性】
【0067】
本発明のオーディオ信号符号化装置及びオーディオ信号符号化方法によれば、廃棄される周波数帯域のサブバンド信号の包絡線情報を算出する。この際、分析フィルタにより生成されるサブバンド信号から、コア符号化処理において被帯域制限信号をスペクトルデータに変換するサンプルブロック長を決定する。このような処理により、サンプルブロック長を決定するための周波数分析に係る処理が不要となり、処理量を軽減することができる。また、サンプルブロック長の誤った選択を防ぐため、被帯域制限信号に施す低音域の周波数成分を除去する広域通過フィルタ処理に係る処理が不要となり、符号化装置としての処理量を軽減することができる。
【0068】
これにより、電力消費を低減したオーディオ信号符号化装置を提供することが可能となる。このような技術は、バッテリなどで駆動するオーディオ信号符号化装置において、好適に利用することができる。また映像信号とオーディオ信号とを含むコンテンツを、制限されたビットレートでサービスする放送分野やコンテンツプロバイダ等に最適に利用できる。
【図面の簡単な説明】
【0069】
【図1】本発明の実施の形態1、2におけるオーディオ信号符号化装置の全体構成図である。
【図2】実施の形態1におけるオーディオ信号符号化装置に用いられるブロック長判定手段の構成図である。
【図3】実施の形態1におけるサブバンド信号の配置を示す説明図である。
【図4】実施の形態1におけるセグメントエネルギーの説明図である。
【図5】実施の形態1におけるエネルギー変化量の説明図である。
【図6】実施の形態1における統合セグメントエネルギーの説明図である。
【図7】実施の形態1における統合エネルギー変化量の説明図である。
【図8】本発明の実施の形態2におけるオーディオ信号符号化装置に用いられるブロック長判定手段の構成図である。
【図9】実施の形態2におけるセグメントエネルギーの説明図である。
【図10】実施の形態2におけるエネルギー変化量の説明図である。
【図11】従来例1におけるオーディオ信号符号化装置の全体構成図である。
【図12】従来例2におけるオーディオ信号符号化装置の全体構成図である。
【図13】サブバンド信号の配置を示す説明図である。
【符号の説明】
【0070】
1 ダウンサンプルフィルタ
2 コア符号化手段
3 分析フィルタ
4 包絡線情報算出手段
5 マルチプレクサ
21 周波数分析手段
22,26,27,27A,27B ブロック長判定手段
23 時間/周波数変換手段
24 量子化/符号化手段
25 高域通過フィルタ
271,274 セグメントエネルギー算出手段
272,2751,2752 エネルギー変化量算出手段
273,2761,2762 ブロック長選択手段
277 ブロック長制御手段
【技術分野】
【0001】
本発明は、オーディオ信号の特定の周波数帯域を廃棄し、廃棄された周波数帯域の包絡線情報を符号化信号に多重化して伝送又は記憶するオーディオ信号符号化装置及びオーディオ信号符号化方法に関するものである。
【背景技術】
【0002】
デジタルオーディオの分野では、人間の可聴帯域、例えば20KHz以下の周波数帯域をカバーするように周波数帯域を制限してコンパクトディスク(CD)などの記録媒体に記録したり、或いは衛星デジタル放送などの伝送経路を通じて伝送したりしている。その一方で、CDに比べて10分の1以下の低いビットレートで、高品位の音質で伝送又は記憶を可能にするオーディオ信号符号化技術が開発され、実際に使用されている。
【0003】
これらのオーディオ信号の符号化技術には、例えばミニディスク(MD)に採用されているATRAC(Adaptive Transform Acoustic Coding)方式や、衛星デジタル放送で採用され、ISOのMPEGで規格化されているMPEG2−AACなどの各種方式がある。
【0004】
これらのオーディオ信号の符号化技術では、時系列の入力オーディオ信号を複数のサンプルでまとめたものを符号化フレームとする。そしてこの符号化フレームを単位として、周波数領域のサブバンド信号やスペクトルデータに変換する。周波数領域のサブバンド信号への変換には、QMF(Quadrature Mirror Filter)などの帯域分割フィルタといったフィルタバンクを利用する。或いは、周波数領域のスペクトルデータへの変換には、MDCT(Modified Discrete Transform)などの周波数変換処理を利用する。
【0005】
以下に説明するオーディオ信号の符号化処理では、MDCTなどの周波数変換を利用して、時系列上の入力オーディオ信号を周波数領域のスペクトルデータに変換するものとする。上記の周波数変換により生成されるスペクトルデータは、複数のスペクトルデータをまとめた正規化帯域毎に正規化され、量子化が施される。スペクトルデータは、正規化帯域毎のスペクトルデータの振幅を表すスケールファクタで正規化される。更に、正規化されたスペクトルデータは、所望のビットレートになるように、正規化帯域毎に割り当てられる量子化ビット数で量子化される。量子化ビット数は、最小可聴しきい値や、マスキングなどの人間の聴覚心理特性に基づいて、聴感上知覚されない、もしくは知覚され難い量子化雑音レベルを許容して割り当てられる。
【0006】
量子化されたスペクトルデータは、符号化された後に、スケールファクタや量子化ビット数などの符号化情報と多重化され、符号化信号として伝送又は記憶される。このようにして人間の聴覚特性を利用すると、ビットレートの大幅な低減が可能となる。
【0007】
上記のようなオーディオ信号の符号化処理によって伝送又は記憶された符号化信号は、復号化処理において符号化処理の逆の手順が施され、再生オーディオ信号に復元されて出力される。
【0008】
また、上記の周波数変換を用いたオーディオ信号の符号化処理では、入力オーディオ信号の特性に応じて、2つの異なるサンプルブロック長を切替えてスペクトルデータに変換する。ここで、2つの異なるサンプルブロック長で周波数変換を行う理由を以下に説明する。伝送又は記憶される符号化信号に対して復号化処理を施して再生オーディオ信号を復元する際に、符号化時の量子化処理に起因する量子化雑音は、周波数変換を施すサンプルブロック長の時間間隔に分散して出現する。すなわち、符号化フレーム中に小さな信号振幅のオーディオ信号と、大きな信号振幅のオーディオ信号とが連続する場合に、大きな信号振幅のオーディオ信号によってもたらされる量子化雑音が、小さな信号振幅に重畳され再生されることにより、知覚品質の劣化を引き起こす。
【0009】
このような知覚品質の劣化を防ぐために、符号化フレーム中に信号振幅の大きな変化がある場合には、時間間隔の短いサンプルブロック長を選択して周波数変換を行う。これにより、大きな信号振幅のオーディオ信号によってもたらされる量子化雑音が出現する時間間隔は短くなり、量子化雑音は大きな信号振幅のオーディオ信号の近傍のみ重畳される。人間の聴覚特性の一つとして、時系列に近接して連続する信号間の知覚レベルが低下するという時間マスキング効果がある。この時間マスキング効果により、量子化雑音が知覚されにくくなる。このような特性を利用して知覚品質を向上させる方法がある(例えば、特許文献1参照)。
【0010】
ここで、オーディオ信号の特性に応じ、2つの異なるサンプルブロック長を切替える方法について説明する。例えば予め入力オーディオ信号を固定長の分析窓で高速フーリエ変換(FFT)などの周波数分析を行ってスペクトルデータに変換し、スペクトルデータの時系列の変化量を監視する。そしてこの監視によって、符号化フレーム中の信号振幅の変化量を調べ、2つの異なるサンプルブロック長を切替える方法がある。符号化フレーム中の信号振幅において、その変化量が大きく変化する部分を検出した場合には短いサンプルブロック長を選択し、検出されない場合は長いサンプルブロック長を選択する。
【0011】
また上記した方法以外に、符号化フレーム中の時系列のオーディオ信号を用いて、信号振幅の変化量を調べる方法もある。この場合には、オーディオ信号に含まれる低い周波数成分を除去する必要がある。一般には、低音域の周波数成分の信号振幅が、高音域の周波数成分の信号振幅よりも大きく、信号振幅の変化が少ないことが多い。このため、符号化フレームの時間間隔よりも長い周期をもつ低い周波数成分の信号振幅によって、短い周期の周波数成分における信号振幅の変化は隠蔽される。これによって、符号化フレーム中の信号振幅の変化を検出する精度が下がり、短いサンプルブロック長が好ましいオーディオ信号に対して、長いサンプルブロック長を選択するという誤った処理が発生する。このサンプルブロック長の誤った選択を防ぐために、上記した低い周波数成分を除去する広域通過フィルタ処理を、時系列のオーディオ信号に予め施す必要がある。
【0012】
以下の説明では、上記した一連の処理によって時系列のオーディオ信号を周波数領域のスペクトルデータに変換し、量子化及び符号化して符号化信号を生成するオーディオ信号の符号化処理をコア符号化処理と呼び、コア符号化処理を施す処理ブロックをコア符号化手段と呼ぶ。更に、コア符号化処理の逆の手順を施して、符号化信号から再生オーディオ信号を復元し出力する復号化処理をコア復号化処理と呼び、コア復号化処理を施す処理ブロックをコア復号化手段と呼ぶ。
【0013】
しかしながら、更なる低ビットレートで上記のコア符号化処理を施した場合には、伝送又は記憶された符号化信号に対してコア復号化処理を行うと、復元され出力される再生オーディオ信号の音質劣化が知覚される。このことは、低ビットレートという要求に対して行われるコア符号化処理によって、削減される情報量が聴感上知覚され易い部分に及ぶためである。特に、周波数帯域が制限されて、高音域の成分が削除されることが多い。これは、低音域の成分の削除よりも、高音域データ成分の削除の方が聴感上知覚され難いことによる。
【0014】
そこで、低ビットレートでコア符号化処理を施すことにより削除される高音域の成分を、復号化時にコア復号化処理とは別に擬似的に再現することによって、出力する再生オーディオ信号の周波数帯域を拡張して知覚品質を改善する方法が提案されている。以下にその方法を説明する。
【0015】
符号化時において、コア符号化処理とは別に、入力オーディオ信号の周波数領域のサブバンド信号を分析し、コア符号化処理により廃棄(削除ともいう)される周波数帯域の信号、即ち廃棄帯域におけるサブバンド信号の包絡線や分布、振幅などを求める。そしてこれらの付加情報をコア符号化処理により生成されるコア符号化信号に多重化して伝送又は記憶する。復号化時には、廃棄された周波数帯域のサブバンド信号を持つ信号を生成すると共に、コア符号化信号に多重化されるサブバンド信号の包絡線や分布、振幅などの付加情報を抽出して再現する。これらの付加情報に基づいてサブバンド信号の包絡線や分布、振幅などを調整する。この技術は、例えば特許文献2、又は非特許文献2に開示されている。
【0016】
以下では説明を簡単にするために、廃棄される周波数帯域のサブバンド信号を擬似的に再現するために、符号化信号に多重化して伝送又は記憶される情報を単に包絡線情報と呼ぶ。ここで言う包絡線情報には、廃棄される周波数帯域のサブバンド信号の包絡線や分布、振幅などのいずれか一つ以上が含まれるものとする。
【0017】
上記のようにして、伝送又は記憶されるコア符号化信号にコア復号化処理を施すと共に、復元され出力されるオーディオ信号に含まれない周波数帯域のサブバンド信号を持つ付加信号を生成し、復号オーディオ信号と付加信号とを合成する。このことにより、低ビットレートで再生オーディオ信号の周波数帯域を拡張し、知覚品質を大幅に改善することができる。
【0018】
上記の方法により、入力オーディオ信号の特定の周波数帯域を廃棄した信号(以下、被帯域制限信号という)にコア符号化処理を施してコア符号化信号を生成する。そして、入力オーディオ信号を分析することにより、廃棄される周波数帯域のサブバンド信号の包絡線情報を求め、符号化信号に多重化して伝送又は記憶する。このようなオーディオ信号符号化装置について、図面を参照しながら以下に説明する。
【0019】
図11は上記した従来例1のオーディオ信号符号化装置の構成例を示すブロック図である。図11において、ダウンサンプリングフィルタ1は入力オーディオ信号X1の高域の周波数帯域を廃棄し、被帯域制限信号X2を出力するフィルタである。コア符号化手段2は、被帯域制限信号X2にコア符号化処理を施し、コア符号化信号S2を生成するものである。分析フィルタ3は、入力オーディオ信号X1に分析フィルタ処理を施し、サブバンド信号Sb1を生成するフィルタである。包絡線情報算出手段4は、サブバンド信号Sb1を用いて、廃棄される周波数帯域のサブバンド信号の符号化された包絡線情報Ev1を生成するものである。マルチプレクサ5は、コア符号化信号S2に廃棄帯域信号の包絡線情報Ev1を多重化し、これを符号化信号S1として出力する回路である。
【0020】
従来例1のコア符号化手段2は、周波数分析手段21、ブロック長判定手段22、時間/周波数変換手段23、量子化及び符号化手段24を有している。周波数分析手段21は被帯域制限信号X2から周波数領域のスペクトルデータSp1を算出するものである。ブロック長判定手段22は、スペクトルデータSp1から、符号化フレーム中の信号振幅の変化量を調べ、被帯域制限信号X2を周波数領域のスペクトルデータSp2に変換する際に用いるサンプルブロック長を選択するものである。時間/周波数変換手段23は、ブロック長判定手段22で選択されたサンプルブロック長に従って、被帯域制限信号X2からスペクトルデータSp2を生成するものである。量子化及び符号化手段24は、スペクトルデータSp2を正規化帯域毎に正規化及び量子化した後に、符号化を施してコア符号化信号S2を生成するものである。
【0021】
図12は、従来例2のオーディオ信号符号化装置の構成図である。このオーディオ信号符号化装置は、図11に示すオーディオ信号符号化装置の中のコア符号化処理において、周波数分析手段21の代わりに高域通過フィルタ25を設け、予め低域の周波数成分を除去するようにしている。そしてこの高域通過フィルタ25から得られる時系列のオーディオ信号を用いて、時間/周波数変換処理23のサンプルブロック長を判定するため、ブロック長判定手段26を設けたことを特徴とする。
【0022】
図12において、ダウンサンプルフィルタ1、時間/周波数変換手段23、量子化及び符号化手段24、分析フィルタ3、包絡線情報算出手段4、マルチプレクサ5は、夫々図11に示すものと同じであるため、それらの機能説明を省略する。
【0023】
高域通過フィルタ25は、被帯域制限信号X2から低音域の周波数成分を除去するフィルタである。ブロック長判定手段26は、被帯域制限信号X2から低音域の周波数成分を除去した信号に対して、符号化フレーム中の信号振幅の変化量を調べ、被帯域制限信号X2をスペクトルデータSp2に変換する際に用いるサンプルブロック長を選択して時間/周波数変換処理23に与えるものである。
【0024】
図13は、分析フィルタ3によって、入力オーディオ信号X1から生成されるサブバンド信号Sb1(t,f)の時間方向と周波数方向の配置を表した説明図である。ここでtは時間方向のインデックスであり,fは周波数方向のインデックスである。
【0025】
図13において説明を簡単にするために、符号化フレームの時間間隔Tで、分析フィルタ3によるサブバンド信号Sb1の生成を8回行うものとする。時間方向のインデックスtは、t=0,1,2・・・7となる。また、分析フィルタ3によるサブバンド信号Sb1の生成の1回当たり、周波数帯域を8個に分割するものとする。周波数方向のインデックスfは、f=0,1,2・・・.7となる。すなわち、入力オーディオ信号に対して符号化フレームの時間間隔Tで、分析フィルタ3によって64個のサブバンド信号Sb1(t,f)(t=0〜7,f=0〜7)が生成される。
【0026】
また、周波数方向のインデックスfが大きいほど高音域の周波数帯域を表す。Sb1(t,0)は、入力オーディオ信号の周波数帯域のうち、直流成分を含む低音域の周波数帯域のサブバンド信号を表す。また、Sb1(t,7)は入力オーディオ信号の周波数帯域のうち、fs/2(fsは、サンプリング周波数)の成分を含む高音域の周波数帯域のサブバンド信号を表す。ダウンサンプルフィルタ1によって廃棄される周波数帯域w1を(f=4〜7)とし、コア符号化処理が施される被帯域制限信号X2の周波数帯域w0を(f=0〜3)とする。
【特許文献1】特表平5−506345号公報
【特許文献2】特表2001−521648号公報
【非特許文献2】マーチン、他共著「スペクトルバンド複製によるオーディオ符号化における新たなアプローチ(Spectral Band Replication,a novel approach in audio coding)」AES、2002年、ドイツ、ミュンヘン会議、論文第5553号
【発明の開示】
【発明が解決しようとする課題】
【0027】
しかしながら、前記した従来例1の構成では、廃棄される周波数帯域のサブバンド信号の包絡線情報を算出するために行う分析フィルタとは別に、コア符号化処理において被帯域制限信号を周波数領域のスペクトルデータに変換する必要がある。このため、サンプルブロック長を決定する前処理として周波数分析手段21を用いて周波数分析処理が行われる。また従来例2の構成では、高域通過フィルタ25を用いて被帯域制限信号の低音域の周波数成分を除去する高域通過フィルタ処理が行われる。このため上記2例の従来の方法では、コア符号化処理に係る処理量が大きいという課題を有していた。
【0028】
本発明は、このような従来の課題を解決するもので、被帯域制限信号にコア符号化処理を施すと共に、廃棄される周波数帯域の信号に対し包絡線情報を算出し、コア符号化信号に多重化して出力する符号化処理において、その処理量を軽減することが可能なオーディオ信号符号化装置及びオーディオ信号符号化方法を実現することを目的としている。
【課題を解決するための手段】
【0029】
この課題を解決するために、本発明のオーディオ信号符号化装置は、入力オーディオ信号から特定の周波数帯域を廃棄した信号を被帯域制限信号とし、前記特定の周波数帯域の信号を廃棄帯域信号とするとき、前記被帯域制限信号からコア符号化信号を生成すると共に、前記廃棄帯域信号の包絡線情報を生成して前記コア符号化信号に多重化し、伝送又は記憶するオーディオ信号符号化装置であって、前記入力オーディオ信号から周波数領域のサブバンド信号を生成する分析フィルタと、前記被帯域制限信号の周波数帯域に含まれる前記サブバンド信号から、前記被帯域制限信号を周波数領域のスペクトルデータに変換するサンプルブロック長を決定するブロック長判定手段と、前記被帯域制限信号を前記スペクトルデータに変換する時間/周波数変換手段と、前記スペクトルデータを適応的に量子化及び符号化し、コア符号化信号を生成する量子化及び符号化手段と、前記サブバンド信号から前記廃棄帯域信号の包絡線情報を算出する包絡線情報算出手段と、前記コア符号化信号と前記包絡線情報とを多重化して符号化信号を出力する多重化手段と、を具備することを特徴とするものである。
【0030】
ここで前記ブロック長判定手段は、前記サブバンド信号の時間間隔を単位に、前記被帯域制限信号の周波数帯域に含まれる前記サブバンド信号に基づく累計したセグメントエネルギーを算出し、前記セグメントエネルギーに基づいて、前記サンプルブロック長を決定してもよい。
【0031】
ここで前記ブロック長判定手段は、前記サブバンド信号の時間間隔を単位に、前記被帯域制限信号の周波数帯域に含まれる前記サブバンド信号に基づくセグメントエネルギーを、2つ以上にグループ化した周波数帯域毎に算出し、前記グループ化した周波数帯域毎の前記セグメントエネルギーに基づいて、前記サンプルブロック長を決定してもよい。
【0032】
この課題を解決するために、本発明のオーディオ信号符号化方法は、入力オーディオ信号から特定の周波数帯域を廃棄した信号を被帯域制限信号とし、前記特定の周波数帯域の信号を廃棄帯域信号とするとき、前記被帯域制限信号からコア符号化信号を生成すると共に、前記廃棄帯域信号の包絡線情報を生成して前記コア符号化信号に多重化し、伝送又は記憶するオーディオ信号符号化方法であって、前記入力オーディオ信号から周波数領域のサブバンド信号を生成するステップと、前記被帯域制限信号の周波数帯域に含まれる前記サブバンド信号から、前記被帯域制限信号を周波数領域のスペクトルデータに変換するサンプルブロック長を決定するステップと、前記被帯域制限信号を前記スペクトルデータに変換するステップと、前記スペクトルデータを適応的に量子化及び符号化し、コア符号化信号を生成するステップと、前記サブバンド信号から前記廃棄帯域信号の包絡線情報を算出するステップと、前記コア符号化信号と前記包絡線情報とを多重化して符号化信号を出力するステップと、有することを特徴とするものである。
【0033】
ここで前記被帯域制限信号を前記スペクトルデータに変換するサンプルブロック長を決定するステップは、前記サブバンド信号の時間間隔を単位に、前記被帯域制限信号の周波数帯域に含まれる前記サブバンド信号に基づくセグメントエネルギーを算出し、前記セグメントエネルギーに基づいて、前記サンプルブロック長を決定してもよい。
【0034】
ここで前記被帯域制限信号を前記スペクトルデータに変換するサンプルブロック長を決定するステップは、前記サブバンド信号の時間間隔を単位に、前記被帯域制限信号の周波数帯域に含まれる前記サブバンド信号に基づくセグメントエネルギーを、2つ以上にグループ化した周波数帯域毎に算出し、前記グループ化した周波数帯域毎の前記セグメントエネルギーに基づいて、前記サンプルブロック長を決定してもよい。
【発明の効果】
【0035】
本発明のオーディオ信号符号化装置及びオーディオ信号符号化方法によれば、コア符号化手段は、分析フィルタで生成されるサブバンド信号から、コア符号化処理において被帯域制限信号を周波数領域のスペクトルデータに変換するためのサンプルブロック長を決定することにより、コア符号化処理において周波数分析に係る処理を軽減することができる。更に本願発明のオーディオ信号符号化装置及びオーディオ信号符号化方法は、被帯域制限信号の低音域の周波数成分を除去する広域通過フィルタに係る処理を軽減することができる。
【発明を実施するための最良の形態】
【0036】
以下本発明を実施するための最良の形態について、図面を参照しながら説明する。
(実施の形態1)
図1は本発明の実施の形態におけるオーディオ信号符号化装置の全体構成図である。本実施の形態のオーディオ信号符号化装置は、ダウンサンプリングフィルタ1、コア符号化手段2、分析フィルタ3、包絡線情報算出手段4、マルチプレクサ5を含んで構成される。
またコア符号化手段2は、従来例と異なり、ブロック長判定手段27、時間/周波数変換手段23、量子化及び符号化手段24により構成される。
【0037】
ダウンサンプリングフィルタ1は、入力オーディオ信号X1の特定の周波数帯域を廃棄し、被帯域制限信号X2を生成するフィルタである。コア符号化手段2は、被帯域制限信号X2にコア符号化処理を施してコア符号化信号S2を生成するものである。分析フィルタ3は、入力オーディオ信号X1から周波数領域のサブバンド信号Sb1を生成するフィルタである。包絡線情報算出手段4は、サブバンド信号Sb1から、廃棄される周波数帯域のサブバンド信号Sb1の包絡線情報Ev1を生成するものである。マルチプレクサ5は、コア符号化信号S2に、符号化された包絡線情報Ev1を多重化した符号化信号S1を生成して出力する多重化手段である。
【0038】
ブロック長判定手段27は、分析フィルタ3によって生成されるサブバンド信号Sb1を用いて、被帯域制限信号X2を周波数領域のスペクトルデータSp2に変換するためのサンプルブロック長を判定するものである。時間/周波数変換手段23は、ブロック長判定手段27で選択されたサンプルブロック長を用いて、被帯域制限信号X2から周波数領域のスペクトルデータSp2を生成するものである。量子化及び符号化手段24は、スペクトルデータSp2を正規化帯域毎に正規化及び量子化した後に、符号化を施してコア符号化信号S2を生成するものである。
【0039】
図2は、実施の形態1におけるブロック長判定手段27Aの構成を更に詳しく示したブロック図である。ブロック長判定手段27Aは、セグメントエネルギー算出手段271、エネルギー変化量算出手段272、ブロック長選択手段273を有している。セグメントエネルギー算出手段271は、サブバンド信号Sb1から任意の周波数帯域におけるサブバンド信号の自乗値を周波数方向で累計し、その累計値をセグメントエネルギーSE1として算出するものである。このセグメントエネルギーSE1は、分析フィルタ3のサブバンド信号Sb1を生成する時間間隔を単位として算出される。エネルギー変化量算出手段272は、時系列上で隣接する2つのセグメントエネルギーSE1における差の絶対値を演算し、その演算結果をエネルギー変化量D1として出力するものである。ブロック長選択手段273は、符号化フレーム中で、所定の閾値Th1よりも大きいエネルギー変化量D1が検出される場合には、被帯域制限信号X2をスペクトルデータSp2に変換するサンプルブロック長を短い時間間隔のサンプルブロック長とし、閾値Th1よりも大きいエネルギー変化量D1が検出されない場合には、被帯域制限信号X2をスペクトルデータSp2に変換するサンプルブロック長を長い時間間隔のサンプルブロック長とするようにサンプルブロック長を選択するものである。
【0040】
図3は、分析フィルタ3によって、入力オーディオ信号X1から生成されるサブバンド信号Sb1(t,f)の時間方向と周波数方向の配置を表す説明図である。ここでtは時間方向のインデックスであり、fは周波数方向のインデックスである。説明を簡単にするために、図3では符号化フレームの時間間隔Tで、分析フィルタ3によるサブバンド信号Sb1の生成を8回行うものとする。この場合、時間方向のインデックスtは、0〜7の何れかの整数値となる。また、分析フィルタ3によるサブバンド信号Sb1の生成の1回当たり、周波数帯域を8個に分割するものとする。周波数方向のインデックスfは、0〜7の何れかの整数値となる。すなわち、入力オーディオ信号に対して符号化フレームの時間間隔Tで、分析フィルタ3により64個のサブバンド信号Sb1(t,f)が生成される。また、周波数方向のインデックスfが大きいほど高音域の周波数帯域を表す。Sb1(t,0)は入力オーディオ信号の周波数帯域のうち、直流成分を含む低音域の周波数帯域のサブバンド信号を表す。また、Sb1(t,7)は入力オーディオ信号の周波数帯域のうち、fs/2(fsは、サンプリング周波数)の成分を含む高音域の周波数帯域のサブバンド信号を表す。更に、ダウンサンプルフィルタ1によって廃棄される周波数帯域w1をf=4〜7とし、コア符号化処理が施される被帯域制限信号X2の周波数帯域w0をf=0〜3とする。
【0041】
図4はセグメントエネルギー算出手段271によって、図3のサブバンド信号Sb1(t,f)から算出されるセグメントエネルギーSE1(t)を表す説明図である。なおtは時間方向のインデックスである。また図4の横軸は時間を表わし、縦軸はセグメントエネルギーSE1(t)の大きさを表す。
【0042】
図4において、セグメントエネルギーSE1(t)は、サブバンド信号Sb1(t,f)のうち、コア符号化処理が施される被帯域制限信号X2の周波数帯域w0に含まれる周波数帯域で、且つ直流成分を含む低音域の周波数成分を含むサブバンド信号Sb1(t,0)を除くSb1(t,f)(f=1〜3)の自乗値を周波数方向で累計して算出するものとする。時間方向のインデックスtは図3の場合と同様である。
【0043】
図5はエネルギー変化量算出手段272によって、図4のセグメントエネルギーSE1(t)から算出されるエネルギー変化量D1(t)を表す説明図である。なおtは時間方向のインデックスである。図5の横軸は時間を表わし、縦軸はエネルギー変化量D1(t)の大きさを表す。
【0044】
図5において、エネルギー変化量D1(t)は、時系列で隣接するセグメントエネルギーSE1(t−1)とSE1(t)との差の絶対値で算出される。ここで、D1(0)は、現在の符号化フレームに対して時系列に先行する前の符号化フレーム中における最後のセグメントエネルギーSE1’(7)と、現在の符号化フレーム中のセグメントエネルギーSE1(0)との差の絶対値で算出される。横軸に点線で表されるTh1は、エネルギー変化量D1(t)に応じ、被帯域制限信号X2をスペクトルデータSp2に変換するサンプルブロック長を切替えるブロック長判定閾値である。すなわち、符号化フレームの時間間隔Tでブロック長判定閾値Th1より大きいエネルギー変化量D1(t)が検出される場合には、短い時間間隔のサンプルブロック長を選択し、検出されない場合は、長い時間間隔のサンプルブロック長を選択するように、ブロック長選択手段273がエネルギー変化量D1(t)を監視する。
【0045】
尚、本実施の形態の説明では、セグメントエネルギーSE1及びエネルギー変化量D1の算出、並びにサンプルブロック長の決定を、上記の方法で行うとしたが、別の方法を用いても良い。更に本実施の形態において、ブロック長判定手段27Aは、分析フィルタ3のサブバンド信号Sb1を生成する時間間隔を単位に、セグメントエネルギーSE1から算出されるエネルギー変化量D1とブロック長判定閾値Th1とを比較するようにした。しかし、ブロック長判定手段27Aは、セグメントエネルギーSE1を短い時間間隔のサンプルブロック長の時間間隔を単位に統合して、統合セグメントエネルギーSE2を算出し、統合セグメントエネルギーSE2から算出されるエネルギー変化量D2とブロック長判定閾値Th2とを比較するようにしても良い。
【0046】
以下に、統合セグメントエネルギーSE2を用いて、被帯域制限信号X2をスペクトルデータSp2に変換するサンプルブロック長判定方法について説明する。図6は、セグメントエネルギー算出手段271によって、図4のセグメントエネルギーSE1(t)から得られる統合セグメントエネルギーSE2(t2)を表す説明図である。なおt2は時間方向のインデックスである。図6の横軸は時間を表わし、縦軸は統合セグメントエネルギーSE2(t)の大きさを表す。
【0047】
図6において、統合セグメントエネルギーSE2(t)は、図4のセグメントエネルギーSE1(t)から、短い時間間隔のサンプルブロック長の時間間隔T2に含まれるセグメントエネルギーSE1(t)及びSE1(t+1)の最大値を選択することによって、統合セグメントエネルギーSE2(t2)を算出する。ここで、t=2*t2,t=0〜7、t2=0〜3とする。
【0048】
図7は、図6の統合セグメントエネルギーSE2(t2)から算出されるエネルギー変化量D2(t2)を表す説明図である。なおt2は時間方向のインデックスである。図7の横軸は時間を表わし、縦軸はエネルギー変化量D2(t2)の大きさを表す。
【0049】
図7において、エネルギー変化量D2(t2)は、時系列で隣接する統合セグメントエネルギーSE2(t2−1)とSE2(t2)との差の絶対値で算出される。D2(0)は、現在の符号化フレームに対して時系列に先行する前の符号化フレーム中における最後の統合セグメントエネルギーSE2’(3)と、現在の符号化フレーム中のセグメントエネルギーSE2(0)の差の絶対値で算出される。横軸に点線で表されるTh1は、エネルギー変化量D2(t2)に応じ、被帯域制限信号X2をスペクトルデータSp2に変換するサンプルブロック長を切替えるブロック長判定閾値を示す。すなわち、符号化フレームの時間間隔Tでブロック長判定閾値Th2より大きいエネルギー変化量D2(t)が検出される場合には、短い時間間隔のサンプルブロック長を選択し、検出されない場合は、長い時間間隔のサンプルブロック長を選択するようにブロック長選択手段273がエネルギー変化量D2(t)を監視する。
【0050】
尚、本実施の形態の説明では、統合セグメントエネルギーSE2及びエネルギー変化量D2の算出、並びにサンプルブロック長の決定を上記の方法で行うが、別の方法を用いても良い。
【0051】
上記の構成によれば、コア符号化手段2においてブロック長判定手段27Aは、分析フィルタ3により生成されるサブバンド信号Sb1から、被帯域制限信号X2をスペクトルデータSp2に変換するためのサンプルブロック長を決定することにより、サンプルブロック長を決定するための被帯域制限信号X2の周波数分析に係る処理が不要となり、処理量を軽減することができる。また上記の構成によれば、サンプルブロック長の誤った選択を防ぐために、被帯域制限信号X2に施す低音域の周波数成分を除去する広域通過フィルタ処理に係る処理が不要となり、処理量を軽減することができる。これにより、電力消費を低減したオーディオ信号符号化装置を実現することができる。
【0052】
なお、実施の形態1のオーディオ信号符号化装置において、各構成ブロックの処理は、ソフトウェアプログラムによってコンピュータ又はデジタルシグナルプロセッサ(DSP)上で実現することも可能である。
【0053】
(実施の形態2)
次に本発明の実施の形態2におけるオーディオ信号符号化装置について説明する。本実施の形態におけるオーディオ信号符号化装置の全体構成は、図1に示すものと同一である。図8は、本実施の形態のコア符号化手段2に用いられるブロック長判定手段27Bの構成図である。ブロック長判定手段27Bは、分析フィルタ3によって入力オーディオ信号から生成されるサブバンド信号Sb1を用いて、帯域制限信号X2をスペクトルデータp2に変換するためのサンプルブロック長を決定するものである。
【0054】
図8に示すように、ブロック長判定手段27Bは、セグメントエネルギー算出手段274、エネルギー変化量算出手段2751・・2752、ブロック長選択手段2761・・2762、ブロック長制御手段277を有している。セグメントエネルギー算出手段274は、図1の分析フィルタ3によって入力オーディオ信号X1から生成されるサブバンド信号Sb1を用いて、任意の周波数帯域におけるサブバンド信号の自乗値を周波数方向で累計し、累計結果をセグメントエネルギーSE3として出力するものである。セグメントエネルギーSE3は、分析フィルタ3のサブバンド信号Sb1を生成する時間間隔を単位として算出される。これに加えて更にセグメントエネルギーSE3は、少なくとも2つ以上の帯域にグループ化した帯域毎に算出される。
【0055】
エネルギー変化量算出手段2751・・2752は、グループ化した周波数帯域毎に設けられるものであり、時系列に隣接するセグメントエネルギーSE3の差の絶対値で求められるエネルギー変化量D3を算出する。ブロック長選択手段2761・・2762は、エネルギー変化量算出手段2751・・2752に対応して設けられる。ブロック長選択手段2761・・2762はグループ化した帯域毎に、符号化フレーム中で閾値Th3よりも大きいエネルギー変化量D3が検出される場合に、帯域制限信号X2をスペクトルデータSp2に変換するためのサンプルブロック長を、短い時間間隔のサンプルブロック長とし、閾値Th3よりも大きいエネルギー変化量D3が検出されない場合に、被帯域制限信号X2をスペクトルデータSp2に変換するためのサンプルブロック長を、長い時間間隔のサンプルブロック長とするよう、サンプルブロック長を選択する。
【0056】
ブロック長制御手段277は、グループ化した帯域毎に選択されるサンプルブロック長の1つ以上で短い時間間隔のサンプルブロック長が選択される場合に、被帯域制限信号X2をスペクトルデータSp2に変換するサンプルブロック長を、短い時間間隔のサンプルブロック長とするようにサンプルブロック長を制御するものである。
【0057】
図9は、セグメントエネルギー算出手段274によって、図3のサブバンド信号Sb1(t,f)から算出されるセグメントエネルギーSE3(t,p)を表す説明図である。尚、nは時間方向のインデックスであり,pは周波数方向のインデックスである。図9の横軸は時間を表わし、縦軸はセグメントエネルギーSE3(t,p)の大きさを表す。
【0058】
図9において、セグメントエネルギーSE3(t,p)は、サブバンド信号Sb1(n,m)のうち、コア符号化処理が施される被帯域制限信号X2の周波数帯域w0に含まれ、且つ直流成分を含む低音域の周波数成分を含むサブバンド信号Sb1(t,0)を除くSb1(t,m)(m=1〜3)の自乗値を、周波数方向で累計して算出される。tは時間方向のインデックスである。
【0059】
更に、セグメントエネルギーSE3(t,p)は、周波数方向で人間の聴覚特性に合わせた帯域毎にグループ化して算出する。図9では説明を簡単にするために、(f=1)のサブバンド信号Sb1(t,f)の自乗値によって(p=0)のセグメントエネルギーSE3(t,0)を算出し、(f=2及び3)のサブバンド信号Sb1(t,f)の自乗値を周波数方向で累計して(p=1)のセグメントエネルギーSE3(t,1)を算出する場合を示す。図9の上段は、(p=0)のセグメントエネルギーSE3(t,0)を示し、下段は(p=1)のセグメントエネルギーSE3(t,1)を示す。
【0060】
図10は、エネルギー変化量算出手段2751及び2752によって、図9に示されるセグメントエネルギーSE3(t,p)から算出されるエネルギー変化量D3(t,p)を表す説明図である。ここでtは時間方向のインデックスであり、pは周波数方向のインデックスである。図10の横軸は時間を表わし、縦軸はエネルギー変化量D3(t,p)の大きさを表す。
【0061】
図10において、エネルギー変化量D3(t,p)は、時系列で隣接するセグメントエネルギーSE3(t−1,p)とSE3(t,p)との差の絶対値で算出される。ここで、D3(0,p)は、現在の符号化フレームに対して時系列に先行する前の符号化フレーム中における最後のセグメントエネルギーSE3’(7,p)と、現在の符号化フレーム中のセグメントエネルギーSE3(0,p)との差の絶対値で算出される。横軸に点線で表されるTh3(p)は、グループ化した帯域毎の、エネルギー変化量D3(t,p)に応じ、被帯域制限信号X2をスペクトルデータSp2に変換するサンプルブロック長を切替えるブロック長判定閾値を示す。すなわち、符号化フレームの時間間隔Tで、変換長判定閾値Th3(p)より大きいエネルギー変化量D3(t,p)が検出される場合には、短い時間間隔のサンプルブロック長を選択し、検出されない場合は、長い時間間隔のサンプルブロック長を選択するよう、ブロック長選択手段2761及び2762がエネルギー変化量D3(t,p)を監視する。
【0062】
ブロック長選択手段2761及び2762でグループ化した周波数帯域毎に選択されたサンプルブロック長のうち、1つ以上で短い時間間隔のサンプルブロック長が選択される場合には、ブロック長制御手段277では、被帯域制限信号X2をスペクトルデータSp2に変換するサンプルブロック長を、短い時間間隔のサンプルブロック長とするようにサンプルブロック長を制御する。
【0063】
尚、本実施の形態の説明では、セグメントエネルギーSE3及びエネルギー変化量D3の算出、並びにサンプルブロック長の決定を上記の方法で行うが、別の方法を用いても良い。更に本実施の形態において、ブロック長判定手段27Bは、分析フィルタ3のサブバンド信号Sb1を生成する時間間隔を単位として、セグメントエネルギーSE3から算出されるエネルギー変化量D3と、ブロック長判定閾値Th3とを比較するようにした。しかし、セグメントエネルギーSE3として、短い時間間隔のサンプルブロック長を単位に統合して統合セグメントエネルギーを算出し、統合セグメントエネルギーから算出されるエネルギー変化量と、ブロック長判定閾値とを比較するようにしても良い。この方法は、実施の形態1と同様であるので、説明を省略する。
【0064】
上記の構成によれば、コア符号化手段2のブロック長判定手段27Bは、分析フィルタ3により生成されるサブバンド信号Sb1から、被帯域制限信号X2をスペクトルデータSp2に変換するサンプルブロック長を決定することにより、サンプルブロック長を決定するための周波数分析に係る処理が不要となり、処理量を軽減することができる。また、サンプルブロック長の誤った選択を防ぐための、被帯域制限信号X2に施す低音域の周波数成分を除去するための高域通過フィルタ処理に係る処理が不要となり、処理量を軽減することができる。これにより、電力消費を低減したオーディオ信号の符号化装置を実現することができる。
【0065】
また、人間の聴覚特性に合わせてグループ化した帯域毎に信号振幅の変化を検出し、サンプルブロック長の決定を行うことにより、聴感上知覚され易い周波数帯域の信号振幅の変化を検出する精度を上げることができる。こうして、最適なサンプルブロック長を選択することで、音質の劣化を防ぐことができる。
【0066】
更に、実施の形態2におけるオーディオ信号符号化装置の各構成ブロックの機能は、ソフトウェアプログラムによってコンピュータ又は、デジタルシグナルプロセッサ(DSP)上で実現することも可能である。
【産業上の利用可能性】
【0067】
本発明のオーディオ信号符号化装置及びオーディオ信号符号化方法によれば、廃棄される周波数帯域のサブバンド信号の包絡線情報を算出する。この際、分析フィルタにより生成されるサブバンド信号から、コア符号化処理において被帯域制限信号をスペクトルデータに変換するサンプルブロック長を決定する。このような処理により、サンプルブロック長を決定するための周波数分析に係る処理が不要となり、処理量を軽減することができる。また、サンプルブロック長の誤った選択を防ぐため、被帯域制限信号に施す低音域の周波数成分を除去する広域通過フィルタ処理に係る処理が不要となり、符号化装置としての処理量を軽減することができる。
【0068】
これにより、電力消費を低減したオーディオ信号符号化装置を提供することが可能となる。このような技術は、バッテリなどで駆動するオーディオ信号符号化装置において、好適に利用することができる。また映像信号とオーディオ信号とを含むコンテンツを、制限されたビットレートでサービスする放送分野やコンテンツプロバイダ等に最適に利用できる。
【図面の簡単な説明】
【0069】
【図1】本発明の実施の形態1、2におけるオーディオ信号符号化装置の全体構成図である。
【図2】実施の形態1におけるオーディオ信号符号化装置に用いられるブロック長判定手段の構成図である。
【図3】実施の形態1におけるサブバンド信号の配置を示す説明図である。
【図4】実施の形態1におけるセグメントエネルギーの説明図である。
【図5】実施の形態1におけるエネルギー変化量の説明図である。
【図6】実施の形態1における統合セグメントエネルギーの説明図である。
【図7】実施の形態1における統合エネルギー変化量の説明図である。
【図8】本発明の実施の形態2におけるオーディオ信号符号化装置に用いられるブロック長判定手段の構成図である。
【図9】実施の形態2におけるセグメントエネルギーの説明図である。
【図10】実施の形態2におけるエネルギー変化量の説明図である。
【図11】従来例1におけるオーディオ信号符号化装置の全体構成図である。
【図12】従来例2におけるオーディオ信号符号化装置の全体構成図である。
【図13】サブバンド信号の配置を示す説明図である。
【符号の説明】
【0070】
1 ダウンサンプルフィルタ
2 コア符号化手段
3 分析フィルタ
4 包絡線情報算出手段
5 マルチプレクサ
21 周波数分析手段
22,26,27,27A,27B ブロック長判定手段
23 時間/周波数変換手段
24 量子化/符号化手段
25 高域通過フィルタ
271,274 セグメントエネルギー算出手段
272,2751,2752 エネルギー変化量算出手段
273,2761,2762 ブロック長選択手段
277 ブロック長制御手段
【特許請求の範囲】
【請求項1】
入力オーディオ信号から特定の周波数帯域を廃棄した信号を被帯域制限信号とし、前記特定の周波数帯域の信号を廃棄帯域信号とするとき、前記被帯域制限信号からコア符号化信号を生成すると共に、前記廃棄帯域信号の包絡線情報を生成して前記コア符号化信号に多重化し、伝送又は記憶するオーディオ信号符号化装置であって、
前記入力オーディオ信号から周波数領域のサブバンド信号を生成する分析フィルタと、
前記被帯域制限信号の周波数帯域に含まれる前記サブバンド信号から、前記被帯域制限信号を周波数領域のスペクトルデータに変換するサンプルブロック長を決定するブロック長判定手段と、
前記被帯域制限信号を前記スペクトルデータに変換する時間/周波数変換手段と、
前記スペクトルデータを適応的に量子化及び符号化し、コア符号化信号を生成する量子化及び符号化手段と、
前記サブバンド信号から前記廃棄帯域信号の包絡線情報を算出する包絡線情報算出手段と、
前記コア符号化信号と前記包絡線情報とを多重化して符号化信号を出力する多重化手段と、を具備することを特徴とするオーディオ信号符号化装置。
【請求項2】
前記ブロック長判定手段は、
前記サブバンド信号の時間間隔を単位に、前記被帯域制限信号の周波数帯域に含まれる前記サブバンド信号に基づく累計したセグメントエネルギーを算出し、前記セグメントエネルギーに基づいて、前記サンプルブロック長を決定することを特徴とする請求項1記載のオーディオ信号符号化装置。
【請求項3】
前記ブロック長判定手段は、
前記サブバンド信号の時間間隔を単位に、前記被帯域制限信号の周波数帯域に含まれる前記サブバンド信号に基づくセグメントエネルギーを、2つ以上にグループ化した周波数帯域毎に算出し、前記グループ化した周波数帯域毎の前記セグメントエネルギーに基づいて、前記サンプルブロック長を決定することを特徴とする請求項1記載のオーディオ信号符号化装置。
【請求項4】
入力オーディオ信号から特定の周波数帯域を廃棄した信号を被帯域制限信号とし、前記特定の周波数帯域の信号を廃棄帯域信号とするとき、前記被帯域制限信号からコア符号化信号を生成すると共に、前記廃棄帯域信号の包絡線情報を生成して前記コア符号化信号に多重化し、伝送又は記憶するオーディオ信号符号化方法であって、
前記入力オーディオ信号から周波数領域のサブバンド信号を生成するステップと、
前記被帯域制限信号の周波数帯域に含まれる前記サブバンド信号から、前記被帯域制限信号を周波数領域のスペクトルデータに変換するサンプルブロック長を決定するステップと、
前記被帯域制限信号を前記スペクトルデータに変換するステップと、
前記スペクトルデータを適応的に量子化及び符号化し、コア符号化信号を生成するステップと、
前記サブバンド信号から前記廃棄帯域信号の包絡線情報を算出するステップと、
前記コア符号化信号と前記包絡線情報とを多重化して符号化信号を出力するステップと、有することを特徴とするオーディオ信号符号化方法。
【請求項5】
前記被帯域制限信号を前記スペクトルデータに変換するサンプルブロック長を決定するステップは、
前記サブバンド信号の時間間隔を単位に、前記被帯域制限信号の周波数帯域に含まれる前記サブバンド信号に基づくセグメントエネルギーを算出し、前記セグメントエネルギーに基づいて、前記サンプルブロック長を決定することを特徴とする請求項4記載のオーディオ信号符号化方法。
【請求項6】
前記被帯域制限信号を前記スペクトルデータに変換するサンプルブロック長を決定するステップは、
前記サブバンド信号の時間間隔を単位に、前記被帯域制限信号の周波数帯域に含まれる前記サブバンド信号に基づくセグメントエネルギーを、2つ以上にグループ化した周波数帯域毎に算出し、前記グループ化した周波数帯域毎の前記セグメントエネルギーに基づいて、前記サンプルブロック長を決定することを特徴とする請求項4記載のオーディオ信号符号化方法。
【請求項1】
入力オーディオ信号から特定の周波数帯域を廃棄した信号を被帯域制限信号とし、前記特定の周波数帯域の信号を廃棄帯域信号とするとき、前記被帯域制限信号からコア符号化信号を生成すると共に、前記廃棄帯域信号の包絡線情報を生成して前記コア符号化信号に多重化し、伝送又は記憶するオーディオ信号符号化装置であって、
前記入力オーディオ信号から周波数領域のサブバンド信号を生成する分析フィルタと、
前記被帯域制限信号の周波数帯域に含まれる前記サブバンド信号から、前記被帯域制限信号を周波数領域のスペクトルデータに変換するサンプルブロック長を決定するブロック長判定手段と、
前記被帯域制限信号を前記スペクトルデータに変換する時間/周波数変換手段と、
前記スペクトルデータを適応的に量子化及び符号化し、コア符号化信号を生成する量子化及び符号化手段と、
前記サブバンド信号から前記廃棄帯域信号の包絡線情報を算出する包絡線情報算出手段と、
前記コア符号化信号と前記包絡線情報とを多重化して符号化信号を出力する多重化手段と、を具備することを特徴とするオーディオ信号符号化装置。
【請求項2】
前記ブロック長判定手段は、
前記サブバンド信号の時間間隔を単位に、前記被帯域制限信号の周波数帯域に含まれる前記サブバンド信号に基づく累計したセグメントエネルギーを算出し、前記セグメントエネルギーに基づいて、前記サンプルブロック長を決定することを特徴とする請求項1記載のオーディオ信号符号化装置。
【請求項3】
前記ブロック長判定手段は、
前記サブバンド信号の時間間隔を単位に、前記被帯域制限信号の周波数帯域に含まれる前記サブバンド信号に基づくセグメントエネルギーを、2つ以上にグループ化した周波数帯域毎に算出し、前記グループ化した周波数帯域毎の前記セグメントエネルギーに基づいて、前記サンプルブロック長を決定することを特徴とする請求項1記載のオーディオ信号符号化装置。
【請求項4】
入力オーディオ信号から特定の周波数帯域を廃棄した信号を被帯域制限信号とし、前記特定の周波数帯域の信号を廃棄帯域信号とするとき、前記被帯域制限信号からコア符号化信号を生成すると共に、前記廃棄帯域信号の包絡線情報を生成して前記コア符号化信号に多重化し、伝送又は記憶するオーディオ信号符号化方法であって、
前記入力オーディオ信号から周波数領域のサブバンド信号を生成するステップと、
前記被帯域制限信号の周波数帯域に含まれる前記サブバンド信号から、前記被帯域制限信号を周波数領域のスペクトルデータに変換するサンプルブロック長を決定するステップと、
前記被帯域制限信号を前記スペクトルデータに変換するステップと、
前記スペクトルデータを適応的に量子化及び符号化し、コア符号化信号を生成するステップと、
前記サブバンド信号から前記廃棄帯域信号の包絡線情報を算出するステップと、
前記コア符号化信号と前記包絡線情報とを多重化して符号化信号を出力するステップと、有することを特徴とするオーディオ信号符号化方法。
【請求項5】
前記被帯域制限信号を前記スペクトルデータに変換するサンプルブロック長を決定するステップは、
前記サブバンド信号の時間間隔を単位に、前記被帯域制限信号の周波数帯域に含まれる前記サブバンド信号に基づくセグメントエネルギーを算出し、前記セグメントエネルギーに基づいて、前記サンプルブロック長を決定することを特徴とする請求項4記載のオーディオ信号符号化方法。
【請求項6】
前記被帯域制限信号を前記スペクトルデータに変換するサンプルブロック長を決定するステップは、
前記サブバンド信号の時間間隔を単位に、前記被帯域制限信号の周波数帯域に含まれる前記サブバンド信号に基づくセグメントエネルギーを、2つ以上にグループ化した周波数帯域毎に算出し、前記グループ化した周波数帯域毎の前記セグメントエネルギーに基づいて、前記サンプルブロック長を決定することを特徴とする請求項4記載のオーディオ信号符号化方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2006−23658(P2006−23658A)
【公開日】平成18年1月26日(2006.1.26)
【国際特許分類】
【出願番号】特願2004−203532(P2004−203532)
【出願日】平成16年7月9日(2004.7.9)
【出願人】(000005821)松下電器産業株式会社 (73,050)
【Fターム(参考)】
【公開日】平成18年1月26日(2006.1.26)
【国際特許分類】
【出願日】平成16年7月9日(2004.7.9)
【出願人】(000005821)松下電器産業株式会社 (73,050)
【Fターム(参考)】
[ Back to top ]