オーディオ信号符号化装置およびオーディオ信号復号化装置
【課題】 効率的な符号化処理を行うことができるオーディオ信号符号化装置、および、このような符号化信号を復号化することができるオーディオ信号復号化装置を提供する。
【解決手段】 複雑な波形を線形予測よりも少ないパラメータで表現可能なFM合成方式を用いて、周波数領域のスペクトルデータを予測するFM合成部12と、この信号と元の信号との差分である残差信号を求める残差信号算出部13と、前記パラメータと前記残差信号とを符号化する量子化/符号化部14とを設けることにより、線形予測を使用した処理よりもより効率的な符号化処理を行うことができる。
【解決手段】 複雑な波形を線形予測よりも少ないパラメータで表現可能なFM合成方式を用いて、周波数領域のスペクトルデータを予測するFM合成部12と、この信号と元の信号との差分である残差信号を求める残差信号算出部13と、前記パラメータと前記残差信号とを符号化する量子化/符号化部14とを設けることにより、線形予測を使用した処理よりもより効率的な符号化処理を行うことができる。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、オーディオ信号を符号化するオーディオ信号符号化装置、並びに、符号化されたビットストリームを復号化するオーディオ信号復号化装置に関するものである。
【背景技術】
【0002】
従来、オーディオ信号を符号化する方法として、MPEG(Moving Picture Expert Group)Audio規格がある。MPEG Audio規格には複数の方式があるが、MPEG2 AAC、MPEG4 AAC規格では、圧縮効率を上げるためのツールとしてTNS(Temporary Noise Shaping)技術を使用できる。
【0003】
図10は、ISO/IEC 13818−7で標準化されているMPEG2オーディオ規格AAC(Advanced Audio Coding)準拠の符号化装置のブロック図、図11は、MPEG2オーディオ規格AACのリファレンスソフトウェアにおけるTNS処理部のブロック図である。
【0004】
図10において、聴覚心理モデル部110は、入力オーディオ信号を人間の聴覚特性に従って分析し、信号対マスク比(SMR)値を算出する。ゲイン制御部111は、SSRプロファイルのみに使用され、入力信号を4つの等間隔の帯域に分割し、最低域以外の帯域について利得の制御を行う。MDCT部112は、時間領域の入力オーディオ信号を周波数領域のスペクトルデータに変換する。TNS処理部113は、量子化雑音の時間的な形状を制御する。インテンシティ/カップリング部114、M/Sステレオ部116は、ステレオ信号を効率よく処理するモジュールの一つであり、ステレオ相関符号化処理を行う。予測部115は、予測符号化を行う。正規化係数部117は、正規化係数を算出し、量子化部118では、正規化係数を基に音響信号を非線形量子化する。量子化された各出力は、ノイズレス符号化部119により符号化処理が行われ、マルチプレクサ部120でビットストリームを形成する。また、スペクトル処理を行うMDCT部112からM/Sステレオ部116の処理部をまとめてスペクトル処理部121、量子化/符号化を行う正規化係数部117からノイズレス符号化部119の処理部をまとめて量子化/符号化部122とする。
【0005】
次に、TNS処理部113の動作について、図11を用いて説明する。図11において、MDCT部131は、時間領域の入力オーディオ信号を周波数領域のスペクトルデータに変換する。線形予測部132は、周波数領域のスペクトルデータ上で線形予測を行う。ここで、線形予測によってスペクトルデータを予測できた場合は、残差信号算出部133では、線形予測部132で予測されたスペクトルとMDCT部131で変換されたスペクトルデータとの残差信号を算出する。さらに、この残差信号および線形予測係数は、量子化/符号化部134によって出力ビットストリームに変換される。
【0006】
このようにして、TNS処理によりMDCT係数の分散が小さくなり、スペクトルは平坦化される。通常、量子化ノイズは時間軸上全体に平均的に分布しているが、TNS処理により量子化ノイズは時間軸上で波形の大きいところに多く分布されるようになる。このことにより、プリエコーと呼ばれる音質劣化を減少させることができる。
【0007】
デコード処理を行う際には、復号化された残差信号と線形予測係数からスペクトルが算出され、そのスペクトルを逆MDCTすることでオーディオ信号は復元される。
【0008】
また、このような線形予測と残差信号を用いて伝達情報量の増加を軽減するとともにピッチ予測精度を上げ、音声を圧縮する音声符号化復号化装置も提案されている(例えば特許文献1参照)。
【特許文献1】特開平9−081191号公報
【発明の開示】
【発明が解決しようとする課題】
【0009】
しかしながら、従来のオーディオ信号符号化復号化装置におけるTNS処理では、単純な波形の場合は予測が有効であるが、複雑な波形の場合には線形予測ができず、TNS処理による効果を十分に発揮できないという問題があった。
【0010】
本発明は、このような従来の問題を解決するためになされたもので、効率的な符号化処理を行うことができるオーディオ信号符号化装置、および、このような符号化信号を復号化することができるオーディオ信号復号化装置を提供することを目的とする。
【課題を解決するための手段】
【0011】
本発明のオーディオ信号符号化装置は、時間領域のオーディオ信号を周波数領域へ変換する時間周波数変換手段と、前記時間周波数変換手段によって周波数領域へ変換された信号を近似するFM合成手段と、前記時間周波数変換手段によって周波数領域へ変換された信号と前記FM合成手段によって近似された周波数領域の信号との差分を算出する残差信号算出手段と、前記残差信号算出手段に算出された周波数領域の残差信号と、前記FM合成手段で使用したパラメータとを符号化する符号化手段とを備えたことを特徴とした構成を有している。
【0012】
この構成により、複雑な波形を線形予測よりも少ないパラメータで表現可能なFM合成方式を用いて、周波数領域のスペクトルデータを予測し、また、この信号との差分である残差信号を求め、前記パラメータと前記残差信号とを符号化するので、線形予測を使用した処理よりもより効率的な符号化処理を行うことができる。
【0013】
また、本発明のオーディオ信号符号化装置は、前記残差信号算出手段において残差信号を求める周波数の適用範囲を算出する適用周波数算出手段を備え、前記残差信号算出手段は、前記適用周波数算出手段に算出された適用周波数帯域の前記残差信号を算出し、前記符号化手段は、前記適用周波数算出手段が算出した適用周波数帯域をパラメータとして符号化することを特徴とした構成を有している。
【0014】
この構成により、残差信号を算出する周波数帯域を指定し、複雑な波形を線形予測よりも少ないパラメータで表現可能なFM合成方式を用いて、周波数領域のスペクトルデータを予測し、FM合成による信号との差分が実質的に影響を及ぼす範囲でのみ残差信号を符号化するので、必要外の残差信号を符号化せず、線形予測を使用した処理よりもより効率的な符号化処理を行うとともに、再生時の品質を落とさずに、さらなる符号化効率を高めることができる。
【0015】
さらに、本発明のオーディオ信号復号化装置は、符号化された周波数領域の残差信号およびFM合成に使用するパラメータを復号化する復号化手段と、前記復号化手段によって復号化されたパラメータを用いてFM合成を行うFM合成手段と、前記復号化手段によって復号化された周波数領域の残差信号と前記FM合成手段によって出力された周波数領域の信号とを加算する加算信号算出手段と、前記加算信号算出手段によって生成された周波数領域の信号を時間領域のオーディオ信号に変換する周波数時間変換手段とを備えたことを特徴とした構成を有している。
【0016】
この構成により、FM合成信号のパラメータと、オーディオ信号と前記FM合成信号との残差信号とを復号化して、オーディオ信号を再生することができるので、線形予測による符号化信号より圧縮率の高い符号化信号から、オーディオ信号を復号化することができる。
【0017】
さらに、本発明のオーディオ信号復号化装置は、符号化された周波数領域の残差信号、FM合成に使用するパラメータおよび前記残差信号を算出した周波数帯域のパラメータを復号化する復号化手段と、前記復号化手段によって復号化されたFM合成のパラメータを用いてFM合成を行うFM合成手段と、前記周波数帯域のパラメータで設定された適用周波数帯域において、前記復号化手段によって復号化された周波数領域の残差信号と前記FM合成手段によって出力された周波数領域の信号とを加算する加算信号算出手段と、前記加算信号算出手段によって生成された周波数領域の信号を時間領域のオーディオ信号に変換する周波数時間変換手段とを備えたことを特徴とした構成を有している。
【0018】
この構成により、FM合成信号のパラメータと、オーディオ信号と前記FM合成信号との残差信号と、この残差信号が適用された周波数を示す適用周波数情報とを復号化して、オーディオ信号を再生することができるので、FM合成による信号との差分が実質的に影響を及ぼす範囲でのみ残差信号が符号化された、線形予測による符号化信号より特に圧縮率の高い符号化信号から、オーディオ信号を復号化することができる。
【発明の効果】
【0019】
本発明は、複雑な波形を線形予測よりも少ないパラメータで表現可能なFM合成方式を用いて、周波数領域のスペクトルデータを予測するFM合成手段と、この信号と元の信号との差分である残差信号を求める残差信号算出手段と、前記パラメータと前記残差信号とを符号化する符号化手段とを設けることにより、線形予測を使用した処理よりもより効率的な符号化処理を行うことができるという効果を有するオーディオ信号符号化復号化装置を提供することができるものである。
【発明を実施するための最良の形態】
【0020】
以下、本発明の実施の形態におけるオーディオ信号符号化装置およびオーディオ信号復号化装置について、図面を用いて説明する。
【0021】
(第1の実施の形態)
本発明の第1の実施の形態におけるオーディオ信号符号化装置のブロック図を、図1に示し説明する。
【0022】
図1に示すように、オーディオ信号符号化装置10は、時間領域の入力オーディオ信号を周波数領域のスペクトル信号へ変換する時間周波数変換部11と、少ないパラメータで高音質な音声を合成することができるFM合成部12と、上記周波数領域のスペクトル信号とFM合成部12によって算出された周波数領域のスペクトル信号との差を算出する残差信号算出部13と、残差信号算出部13によって算出された残差信号とFM合成部12において使用されたパラメータ等を量子化/符号化する量子化/符号化部14とを備えた構成である。
【0023】
以上のように構成されたオーディオ信号符号化装置10について、その動作を説明する。
【0024】
まず、時間領域の入力オーディオ信号は、時間周波数変換部11によって周波数領域のスペクトル信号へと変換される。時間周波数変換部11は、FFTやMDCTなどを使用することができる。次に、FM合成部12は、時間周波数変換部11によって変換された周波数領域のスペクトル信号をFM合成方式を用いて近似する。FM合成方式は、楽器のシンセサイザーや携帯電話の音源として幅広く使われている音声合成方式で、少ないパラメータで複雑な波形を出力することが可能である。FM合成方式では、FM(周波数変調)によって波形を変形させることでさまざまな音を作りだす。
【0025】
ここで、FM合成部12は、複数の発信器から構成されており、この発信器の出力で別の発信器を変調することで音声を作成する。この発信器の個数は、回路規模や演算能力によって変更することが可能である。携帯電話の音源としては、2〜4個、楽器などでは、4〜8個を使用している。FM合成部のもっとも簡単な構成図を、図2に示す。
【0026】
図2に示すように、FM合成部は、2つの発信器21、発信器22を備えた構成であり、発信器21は、発信器22に接続されている。発信器22は、発信器21から出力された波形を変調して出力する。発信器の接続の仕方はアルゴリズムと呼ばれ、複数のアルゴリズムを有することが可能である。例えば、図2のような直列に2つの発信器を接続したものや、図3に示すように、2つの発信器31、発信器32を並列に接続したものなどがある。
【0027】
次に図4を用いて、FM合成部12の構成方法について説明する。FM合成部12では、周波数領域のスペクトル信号を解析部46によって基本周波数などを解析し、その解析結果に基づきFM合成のアルゴリズムやパラメータを設定し、FM合成部45によって時間領域の合成波形を出力する。合成波形は、時間周波数変換部49によって周波数領域のスペクトル信号へと変換される。
【0028】
また、演算量が十分に取れる回路であれば、図5のような構成をとることも可能である。ここでは、時間周波数変換部51によって周波数領域のスペクトル信号へと変換された信号と、FM合成部55によって生成されたFM合成波形を時間周波数変換部59によって周波数領域へと変換した信号とを比較部57によって比較し、2つのスペクトルの差が最小になるパラメータを計算する。誤差が最小となるFM合成波形を、周波数領域のスペクトル信号へと変換した信号をFM合成部12は出力する。
【0029】
次に、残差信号算出部13は、FM合成部12によって出力された周波数領域のスペクトル信号と、時間周波数変換部11によって変換された周波数領域のスペクトル信号との残差信号を算出する。次に、量子化/符号化部14では、上記残差信号とFM合成に用いたアルゴリズムや周波数などのパラメータ等を量子化/符号化し、ビットストリームを出力する。
【0030】
また、MPEG2オーディオ規格AACにおいて圧縮効率をあげるためのツールである、M/Sステレオ部や聴覚心理モデル部を本符号化に適用することも可能である。
【0031】
このような本発明の第1の実施の形態のオーディオ信号符号化装置によれば、複雑な波形を線形予測よりも少ないパラメータで表現可能なFM合成方式を用いて、周波数領域のスペクトルデータを予測することにより、線形予測を使用した処理よりもより効率的な符号化処理を行うことができる。
【0032】
(第2の実施の形態)
次に、本発明の第2の実施の形態におけるオーディオ信号符号化装置のブロック図を、図6に示し説明する。
【0033】
図6に示すように、オーディオ信号符号化装置60は、時間領域の入力オーディオ信号を周波数領域のスペクトル信号へ変換する時間周波数変換部61と、少ないパラメータで高音質な音声を合成することができるFM合成部62と、上記周波数領域のスペクトル信号とFM合成部62によって算出された周波数領域のスペクトル信号との差をどの周波数帯域で算出するかを決定する適用周波数算出部68と、上記周波数領域のスペクトル信号とFM合成部62によって算出された周波数領域のスペクトル信号との差を算出する残差信号算出部63と、残差信号算出部63によって算出された残差信号とFM合成部62において使用されたパラメータ等を量子化/符号化する量子化/符号化部64とを備えた構成である。
【0034】
以上のように構成されたオーディオ信号符号化装置60について、その動作を説明する。
【0035】
まず、時間領域の入力オーディオ信号は、時間周波数変換部61によって周波数領域のスペクトル信号へと変換される。時間周波数変換部61は、FFTやMDCTなどを使用することができる。次に、FM合成部62は、時間周波数変換部61によって変換された周波数領域のスペクトル信号をFM合成方式を用いて上記第1の実施の形態で記載した手法を用いて近似する。
【0036】
次に、適用周波数算出部68は、時間周波数変換部61によって変換された周波数領域のスペクトル信号と、FM合成部62によって算出された信号とについて、差分をどの周波数帯域で行うかを決定する。例えば、図7に示すように、ある周波数以上は差分を求め、ある周波数以下は差分を求めずに量子化/符号化部64に入力する。また、MPEG2オーディオ規格AACで設定されたスケールファクタバンドと呼ばれる帯域分割された帯域毎に差分を求めてもよい。
【0037】
次に、残差信号算出部63は、FM合成部62によって出力された周波数領域のスペクトル信号と、時間周波数変換部61によって変換された周波数領域のスペクトル信号との残差信号を、適用周波数算出部68で算出された周波数帯域において算出する。次に、量子化/符号化部64では、上記残差信号と残差信号を求めた周波数帯域の情報とFM合成に用いたアルゴリズムや周波数などのパラメータ等を量子化/符号化し、ビットストリームを出力する。
【0038】
また、MPEG2オーディオ規格AACにおいて圧縮効率をあげるためのツールである、M/Sステレオ部や聴覚心理モデル部を本符号化に適用することも可能である。
【0039】
このように、本発明の第2の実施の形態におけるオーディオ信号符号化装置によれば、残差信号を算出する周波数帯域を指定し、複雑な波形を線形予測よりも少ないパラメータで表現可能なFM合成方式を用いて、周波数領域のスペクトルデータを予測し、FM合成による信号との差分が問題になる範囲でのみ残差信号を符号化することにより、必要外の残差信号を符号化せず、線形予測を使用した処理よりもより効率的な符号化処理を行うとともに、再生時の品質を落とさずに、さらなる符号化効率を高めることができる。
【0040】
(第3の実施の形態)
次に、本発明の第3の実施の形態におけるオーディオ信号復号化装置のブロック図を、図8に示し説明する。
【0041】
図8に示すように、オーディオ信号復号化装置80は、圧縮されたビットストリームを復号化する復号化部81と、符号化時にFM合成で使用したアルゴリズムや周波数などのパラメータを用いてFM合成し、FM合成された信号を周波数領域の信号として出力するFM合成部82と、FM合成された周波数領域の信号と残差信号とを加算する加算信号算出部83と、周波数領域の信号を時間領域のオーディオ信号に変換する周波数時間変換部84とを備えた構成である。
【0042】
以上のように構成されたオーディオ信号復号化装置80について、その動作を説明する。
【0043】
まず、圧縮された入力ビットストリームは、復号化部81によって、符号化時にFM合成で使用したアルゴリズムや周波数などのパラメータと、残差信号とに復号化される。次に、FM合成部82では、復号化部81によって復号化されたFM合成で使用したアルゴリズムや周波数などのパラメータを用いてFM合成をし、その合成波形を時間周波数変換を用いて周波数領域の信号へと変換する。
【0044】
次に、加算信号算出部83は、復号化部81によって復号化された残差信号と、FM合成部82によって出力された信号とを加算する。この加算された周波数領域の信号を周波数時間変換部84によって時間領域のオーディオ信号へと変換する。
【0045】
このように、本発明の第3の実施の形態におけるオーディオ信号復号化装置によれば、FM合成信号のパラメータと、オーディオ信号と前記FM合成信号との残差信号とを復号化して、オーディオ信号を再生することができるので、線形予測による符号化信号より圧縮率の高い符号化信号から、オーディオ信号を復号化することができる。
【0046】
(第4の実施の形態)
次に、本発明の第4の実施の形態におけるオーディオ信号復号化装置のブロック図を、図9に示し説明する。
【0047】
図9に示すように、オーディオ信号復号化装置90は、圧縮されたビットストリームを復号化する復号化部91と、符号化時にFM合成で使用したアルゴリズムや周波数などのパラメータを用いてFM合成し、FM合成された信号を周波数領域の信号として出力するFM合成部92と、FM合成された周波数領域の信号と残差信号とを適用周波数情報で決定される周波数帯域で加算する加算信号算出部93と、周波数領域の信号を時間領域のオーディオ信号に変換する周波数時間変換部94とを備えた構成である。
【0048】
以上のように構成されたオーディオ信号復号化装置90について、その動作を説明する。
【0049】
まず、圧縮された入力ビットストリームは、復号化部91によって、符号化時にFM合成で使用したアルゴリズムや周波数などのパラメータと、残差信号と、この残差信号が適用された周波数を示す適用周波数情報とに復号化される。次に、FM合成部92では、復号化部91によって復号化されたFM合成で使用したアルゴリズムや周波数などのパラメータを用いてFM合成をし、その合成波形を時間周波数変換を用いて周波数領域の信号へと変換する。
【0050】
次に、加算信号算出部93は、復号化部91によって復号化された残差信号と、FM合成部92によって出力された信号とを、復号化部91によって復号化され適用周波数情報で示された周波数帯域で加算する。この加算された周波数領域の信号を周波数時間変換部94によって時間領域のオーディオ信号へと変換する。
【0051】
このように、本発明の第4の実施の形態におけるオーディオ信号復号化装置によれば、FM合成信号のパラメータと、オーディオ信号と前記FM合成信号との残差信号と、この残差信号が適用された周波数を示す適用周波数情報とを復号化して、オーディオ信号を再生することができるので、FM合成による信号との差分が実質的に影響を及ぼす範囲でのみ残差信号が符号化された、線形予測による符号化信号より特に圧縮率の高い符号化信号から、オーディオ信号を復号化することができる。
【産業上の利用可能性】
【0052】
以上のように、本発明にかかるオーディオ信号符号化復号化装置は、複雑な波形を線形予測よりも少ないパラメータで表現可能なFM合成方式を用いて、周波数領域のスペクトルデータを予測し、また、この信号との差分である残差信号を求め、前記パラメータと前記残差信号とを符号化するので、線形予測を使用した処理よりもより効率的な符号化処理を行うことができるという効果を有し、オーディオ信号を符号化するオーディオ信号符号化復号化装置等として有用である。
【図面の簡単な説明】
【0053】
【図1】本発明の第1の実施の形態におけるオーディオ信号符号化装置のブロック図
【図2】本発明の第1の実施の形態におけるFM合成部のブロック図
【図3】本発明の第1の実施の形態におけるFM合成部のブロック図
【図4】本発明の第1の実施の形態におけるFM合成パラメータの算出方法を示す図
【図5】本発明の第1の実施の形態におけるFM合成パラメータの算出方法を示す図
【図6】本発明の第2の実施の形態におけるオーディオ信号符号化装置のブロック図
【図7】本発明の第2の実施の形態における適用周波数算出部の適用周波数領域の一例を示す図
【図8】本発明の第3の実施の形態におけるオーディオ信号復号化装置のブロック図
【図9】本発明の第4の実施の形態におけるオーディオ信号復号化装置のブロック図
【図10】従来のオーディオ信号符号化装置のブロック図
【図11】従来のオーディオ信号符号化装置におけるTNS処理部のブロック図
【符号の説明】
【0054】
10、60 オーディオ信号符号化装置
11、41、49、51、59、61 時間周波数変換部
12、62、82、92 FM合成部
13、63 残差信号算出部
14、64 量子化/符号化部
21、22、31、32 発信器
45、55 FM合成部
46 解析部
57 比較部
68 適用周波数算出部
80、90 オーディオ信号復号化装置
81、91 復号化部
83、93 加算信号算出部
84、94 周波数時間変換部
110 聴覚心理モデル部
111 ゲイン制御部
112 MDCT部
113 TNS処理部
114 インテンシティ/カップリング部
115 予測部
116 M/Sステレオ部
117 正規化係数部
118 量子化部
119 ノイズレス符号化部
120 マルチプレクサ部
121 スペクトル処理部
122 量子化/符号化部
131 MDCT部
132 線形予測部
133 残差信号算出部
134 量子化/符号化部
【技術分野】
【0001】
本発明は、オーディオ信号を符号化するオーディオ信号符号化装置、並びに、符号化されたビットストリームを復号化するオーディオ信号復号化装置に関するものである。
【背景技術】
【0002】
従来、オーディオ信号を符号化する方法として、MPEG(Moving Picture Expert Group)Audio規格がある。MPEG Audio規格には複数の方式があるが、MPEG2 AAC、MPEG4 AAC規格では、圧縮効率を上げるためのツールとしてTNS(Temporary Noise Shaping)技術を使用できる。
【0003】
図10は、ISO/IEC 13818−7で標準化されているMPEG2オーディオ規格AAC(Advanced Audio Coding)準拠の符号化装置のブロック図、図11は、MPEG2オーディオ規格AACのリファレンスソフトウェアにおけるTNS処理部のブロック図である。
【0004】
図10において、聴覚心理モデル部110は、入力オーディオ信号を人間の聴覚特性に従って分析し、信号対マスク比(SMR)値を算出する。ゲイン制御部111は、SSRプロファイルのみに使用され、入力信号を4つの等間隔の帯域に分割し、最低域以外の帯域について利得の制御を行う。MDCT部112は、時間領域の入力オーディオ信号を周波数領域のスペクトルデータに変換する。TNS処理部113は、量子化雑音の時間的な形状を制御する。インテンシティ/カップリング部114、M/Sステレオ部116は、ステレオ信号を効率よく処理するモジュールの一つであり、ステレオ相関符号化処理を行う。予測部115は、予測符号化を行う。正規化係数部117は、正規化係数を算出し、量子化部118では、正規化係数を基に音響信号を非線形量子化する。量子化された各出力は、ノイズレス符号化部119により符号化処理が行われ、マルチプレクサ部120でビットストリームを形成する。また、スペクトル処理を行うMDCT部112からM/Sステレオ部116の処理部をまとめてスペクトル処理部121、量子化/符号化を行う正規化係数部117からノイズレス符号化部119の処理部をまとめて量子化/符号化部122とする。
【0005】
次に、TNS処理部113の動作について、図11を用いて説明する。図11において、MDCT部131は、時間領域の入力オーディオ信号を周波数領域のスペクトルデータに変換する。線形予測部132は、周波数領域のスペクトルデータ上で線形予測を行う。ここで、線形予測によってスペクトルデータを予測できた場合は、残差信号算出部133では、線形予測部132で予測されたスペクトルとMDCT部131で変換されたスペクトルデータとの残差信号を算出する。さらに、この残差信号および線形予測係数は、量子化/符号化部134によって出力ビットストリームに変換される。
【0006】
このようにして、TNS処理によりMDCT係数の分散が小さくなり、スペクトルは平坦化される。通常、量子化ノイズは時間軸上全体に平均的に分布しているが、TNS処理により量子化ノイズは時間軸上で波形の大きいところに多く分布されるようになる。このことにより、プリエコーと呼ばれる音質劣化を減少させることができる。
【0007】
デコード処理を行う際には、復号化された残差信号と線形予測係数からスペクトルが算出され、そのスペクトルを逆MDCTすることでオーディオ信号は復元される。
【0008】
また、このような線形予測と残差信号を用いて伝達情報量の増加を軽減するとともにピッチ予測精度を上げ、音声を圧縮する音声符号化復号化装置も提案されている(例えば特許文献1参照)。
【特許文献1】特開平9−081191号公報
【発明の開示】
【発明が解決しようとする課題】
【0009】
しかしながら、従来のオーディオ信号符号化復号化装置におけるTNS処理では、単純な波形の場合は予測が有効であるが、複雑な波形の場合には線形予測ができず、TNS処理による効果を十分に発揮できないという問題があった。
【0010】
本発明は、このような従来の問題を解決するためになされたもので、効率的な符号化処理を行うことができるオーディオ信号符号化装置、および、このような符号化信号を復号化することができるオーディオ信号復号化装置を提供することを目的とする。
【課題を解決するための手段】
【0011】
本発明のオーディオ信号符号化装置は、時間領域のオーディオ信号を周波数領域へ変換する時間周波数変換手段と、前記時間周波数変換手段によって周波数領域へ変換された信号を近似するFM合成手段と、前記時間周波数変換手段によって周波数領域へ変換された信号と前記FM合成手段によって近似された周波数領域の信号との差分を算出する残差信号算出手段と、前記残差信号算出手段に算出された周波数領域の残差信号と、前記FM合成手段で使用したパラメータとを符号化する符号化手段とを備えたことを特徴とした構成を有している。
【0012】
この構成により、複雑な波形を線形予測よりも少ないパラメータで表現可能なFM合成方式を用いて、周波数領域のスペクトルデータを予測し、また、この信号との差分である残差信号を求め、前記パラメータと前記残差信号とを符号化するので、線形予測を使用した処理よりもより効率的な符号化処理を行うことができる。
【0013】
また、本発明のオーディオ信号符号化装置は、前記残差信号算出手段において残差信号を求める周波数の適用範囲を算出する適用周波数算出手段を備え、前記残差信号算出手段は、前記適用周波数算出手段に算出された適用周波数帯域の前記残差信号を算出し、前記符号化手段は、前記適用周波数算出手段が算出した適用周波数帯域をパラメータとして符号化することを特徴とした構成を有している。
【0014】
この構成により、残差信号を算出する周波数帯域を指定し、複雑な波形を線形予測よりも少ないパラメータで表現可能なFM合成方式を用いて、周波数領域のスペクトルデータを予測し、FM合成による信号との差分が実質的に影響を及ぼす範囲でのみ残差信号を符号化するので、必要外の残差信号を符号化せず、線形予測を使用した処理よりもより効率的な符号化処理を行うとともに、再生時の品質を落とさずに、さらなる符号化効率を高めることができる。
【0015】
さらに、本発明のオーディオ信号復号化装置は、符号化された周波数領域の残差信号およびFM合成に使用するパラメータを復号化する復号化手段と、前記復号化手段によって復号化されたパラメータを用いてFM合成を行うFM合成手段と、前記復号化手段によって復号化された周波数領域の残差信号と前記FM合成手段によって出力された周波数領域の信号とを加算する加算信号算出手段と、前記加算信号算出手段によって生成された周波数領域の信号を時間領域のオーディオ信号に変換する周波数時間変換手段とを備えたことを特徴とした構成を有している。
【0016】
この構成により、FM合成信号のパラメータと、オーディオ信号と前記FM合成信号との残差信号とを復号化して、オーディオ信号を再生することができるので、線形予測による符号化信号より圧縮率の高い符号化信号から、オーディオ信号を復号化することができる。
【0017】
さらに、本発明のオーディオ信号復号化装置は、符号化された周波数領域の残差信号、FM合成に使用するパラメータおよび前記残差信号を算出した周波数帯域のパラメータを復号化する復号化手段と、前記復号化手段によって復号化されたFM合成のパラメータを用いてFM合成を行うFM合成手段と、前記周波数帯域のパラメータで設定された適用周波数帯域において、前記復号化手段によって復号化された周波数領域の残差信号と前記FM合成手段によって出力された周波数領域の信号とを加算する加算信号算出手段と、前記加算信号算出手段によって生成された周波数領域の信号を時間領域のオーディオ信号に変換する周波数時間変換手段とを備えたことを特徴とした構成を有している。
【0018】
この構成により、FM合成信号のパラメータと、オーディオ信号と前記FM合成信号との残差信号と、この残差信号が適用された周波数を示す適用周波数情報とを復号化して、オーディオ信号を再生することができるので、FM合成による信号との差分が実質的に影響を及ぼす範囲でのみ残差信号が符号化された、線形予測による符号化信号より特に圧縮率の高い符号化信号から、オーディオ信号を復号化することができる。
【発明の効果】
【0019】
本発明は、複雑な波形を線形予測よりも少ないパラメータで表現可能なFM合成方式を用いて、周波数領域のスペクトルデータを予測するFM合成手段と、この信号と元の信号との差分である残差信号を求める残差信号算出手段と、前記パラメータと前記残差信号とを符号化する符号化手段とを設けることにより、線形予測を使用した処理よりもより効率的な符号化処理を行うことができるという効果を有するオーディオ信号符号化復号化装置を提供することができるものである。
【発明を実施するための最良の形態】
【0020】
以下、本発明の実施の形態におけるオーディオ信号符号化装置およびオーディオ信号復号化装置について、図面を用いて説明する。
【0021】
(第1の実施の形態)
本発明の第1の実施の形態におけるオーディオ信号符号化装置のブロック図を、図1に示し説明する。
【0022】
図1に示すように、オーディオ信号符号化装置10は、時間領域の入力オーディオ信号を周波数領域のスペクトル信号へ変換する時間周波数変換部11と、少ないパラメータで高音質な音声を合成することができるFM合成部12と、上記周波数領域のスペクトル信号とFM合成部12によって算出された周波数領域のスペクトル信号との差を算出する残差信号算出部13と、残差信号算出部13によって算出された残差信号とFM合成部12において使用されたパラメータ等を量子化/符号化する量子化/符号化部14とを備えた構成である。
【0023】
以上のように構成されたオーディオ信号符号化装置10について、その動作を説明する。
【0024】
まず、時間領域の入力オーディオ信号は、時間周波数変換部11によって周波数領域のスペクトル信号へと変換される。時間周波数変換部11は、FFTやMDCTなどを使用することができる。次に、FM合成部12は、時間周波数変換部11によって変換された周波数領域のスペクトル信号をFM合成方式を用いて近似する。FM合成方式は、楽器のシンセサイザーや携帯電話の音源として幅広く使われている音声合成方式で、少ないパラメータで複雑な波形を出力することが可能である。FM合成方式では、FM(周波数変調)によって波形を変形させることでさまざまな音を作りだす。
【0025】
ここで、FM合成部12は、複数の発信器から構成されており、この発信器の出力で別の発信器を変調することで音声を作成する。この発信器の個数は、回路規模や演算能力によって変更することが可能である。携帯電話の音源としては、2〜4個、楽器などでは、4〜8個を使用している。FM合成部のもっとも簡単な構成図を、図2に示す。
【0026】
図2に示すように、FM合成部は、2つの発信器21、発信器22を備えた構成であり、発信器21は、発信器22に接続されている。発信器22は、発信器21から出力された波形を変調して出力する。発信器の接続の仕方はアルゴリズムと呼ばれ、複数のアルゴリズムを有することが可能である。例えば、図2のような直列に2つの発信器を接続したものや、図3に示すように、2つの発信器31、発信器32を並列に接続したものなどがある。
【0027】
次に図4を用いて、FM合成部12の構成方法について説明する。FM合成部12では、周波数領域のスペクトル信号を解析部46によって基本周波数などを解析し、その解析結果に基づきFM合成のアルゴリズムやパラメータを設定し、FM合成部45によって時間領域の合成波形を出力する。合成波形は、時間周波数変換部49によって周波数領域のスペクトル信号へと変換される。
【0028】
また、演算量が十分に取れる回路であれば、図5のような構成をとることも可能である。ここでは、時間周波数変換部51によって周波数領域のスペクトル信号へと変換された信号と、FM合成部55によって生成されたFM合成波形を時間周波数変換部59によって周波数領域へと変換した信号とを比較部57によって比較し、2つのスペクトルの差が最小になるパラメータを計算する。誤差が最小となるFM合成波形を、周波数領域のスペクトル信号へと変換した信号をFM合成部12は出力する。
【0029】
次に、残差信号算出部13は、FM合成部12によって出力された周波数領域のスペクトル信号と、時間周波数変換部11によって変換された周波数領域のスペクトル信号との残差信号を算出する。次に、量子化/符号化部14では、上記残差信号とFM合成に用いたアルゴリズムや周波数などのパラメータ等を量子化/符号化し、ビットストリームを出力する。
【0030】
また、MPEG2オーディオ規格AACにおいて圧縮効率をあげるためのツールである、M/Sステレオ部や聴覚心理モデル部を本符号化に適用することも可能である。
【0031】
このような本発明の第1の実施の形態のオーディオ信号符号化装置によれば、複雑な波形を線形予測よりも少ないパラメータで表現可能なFM合成方式を用いて、周波数領域のスペクトルデータを予測することにより、線形予測を使用した処理よりもより効率的な符号化処理を行うことができる。
【0032】
(第2の実施の形態)
次に、本発明の第2の実施の形態におけるオーディオ信号符号化装置のブロック図を、図6に示し説明する。
【0033】
図6に示すように、オーディオ信号符号化装置60は、時間領域の入力オーディオ信号を周波数領域のスペクトル信号へ変換する時間周波数変換部61と、少ないパラメータで高音質な音声を合成することができるFM合成部62と、上記周波数領域のスペクトル信号とFM合成部62によって算出された周波数領域のスペクトル信号との差をどの周波数帯域で算出するかを決定する適用周波数算出部68と、上記周波数領域のスペクトル信号とFM合成部62によって算出された周波数領域のスペクトル信号との差を算出する残差信号算出部63と、残差信号算出部63によって算出された残差信号とFM合成部62において使用されたパラメータ等を量子化/符号化する量子化/符号化部64とを備えた構成である。
【0034】
以上のように構成されたオーディオ信号符号化装置60について、その動作を説明する。
【0035】
まず、時間領域の入力オーディオ信号は、時間周波数変換部61によって周波数領域のスペクトル信号へと変換される。時間周波数変換部61は、FFTやMDCTなどを使用することができる。次に、FM合成部62は、時間周波数変換部61によって変換された周波数領域のスペクトル信号をFM合成方式を用いて上記第1の実施の形態で記載した手法を用いて近似する。
【0036】
次に、適用周波数算出部68は、時間周波数変換部61によって変換された周波数領域のスペクトル信号と、FM合成部62によって算出された信号とについて、差分をどの周波数帯域で行うかを決定する。例えば、図7に示すように、ある周波数以上は差分を求め、ある周波数以下は差分を求めずに量子化/符号化部64に入力する。また、MPEG2オーディオ規格AACで設定されたスケールファクタバンドと呼ばれる帯域分割された帯域毎に差分を求めてもよい。
【0037】
次に、残差信号算出部63は、FM合成部62によって出力された周波数領域のスペクトル信号と、時間周波数変換部61によって変換された周波数領域のスペクトル信号との残差信号を、適用周波数算出部68で算出された周波数帯域において算出する。次に、量子化/符号化部64では、上記残差信号と残差信号を求めた周波数帯域の情報とFM合成に用いたアルゴリズムや周波数などのパラメータ等を量子化/符号化し、ビットストリームを出力する。
【0038】
また、MPEG2オーディオ規格AACにおいて圧縮効率をあげるためのツールである、M/Sステレオ部や聴覚心理モデル部を本符号化に適用することも可能である。
【0039】
このように、本発明の第2の実施の形態におけるオーディオ信号符号化装置によれば、残差信号を算出する周波数帯域を指定し、複雑な波形を線形予測よりも少ないパラメータで表現可能なFM合成方式を用いて、周波数領域のスペクトルデータを予測し、FM合成による信号との差分が問題になる範囲でのみ残差信号を符号化することにより、必要外の残差信号を符号化せず、線形予測を使用した処理よりもより効率的な符号化処理を行うとともに、再生時の品質を落とさずに、さらなる符号化効率を高めることができる。
【0040】
(第3の実施の形態)
次に、本発明の第3の実施の形態におけるオーディオ信号復号化装置のブロック図を、図8に示し説明する。
【0041】
図8に示すように、オーディオ信号復号化装置80は、圧縮されたビットストリームを復号化する復号化部81と、符号化時にFM合成で使用したアルゴリズムや周波数などのパラメータを用いてFM合成し、FM合成された信号を周波数領域の信号として出力するFM合成部82と、FM合成された周波数領域の信号と残差信号とを加算する加算信号算出部83と、周波数領域の信号を時間領域のオーディオ信号に変換する周波数時間変換部84とを備えた構成である。
【0042】
以上のように構成されたオーディオ信号復号化装置80について、その動作を説明する。
【0043】
まず、圧縮された入力ビットストリームは、復号化部81によって、符号化時にFM合成で使用したアルゴリズムや周波数などのパラメータと、残差信号とに復号化される。次に、FM合成部82では、復号化部81によって復号化されたFM合成で使用したアルゴリズムや周波数などのパラメータを用いてFM合成をし、その合成波形を時間周波数変換を用いて周波数領域の信号へと変換する。
【0044】
次に、加算信号算出部83は、復号化部81によって復号化された残差信号と、FM合成部82によって出力された信号とを加算する。この加算された周波数領域の信号を周波数時間変換部84によって時間領域のオーディオ信号へと変換する。
【0045】
このように、本発明の第3の実施の形態におけるオーディオ信号復号化装置によれば、FM合成信号のパラメータと、オーディオ信号と前記FM合成信号との残差信号とを復号化して、オーディオ信号を再生することができるので、線形予測による符号化信号より圧縮率の高い符号化信号から、オーディオ信号を復号化することができる。
【0046】
(第4の実施の形態)
次に、本発明の第4の実施の形態におけるオーディオ信号復号化装置のブロック図を、図9に示し説明する。
【0047】
図9に示すように、オーディオ信号復号化装置90は、圧縮されたビットストリームを復号化する復号化部91と、符号化時にFM合成で使用したアルゴリズムや周波数などのパラメータを用いてFM合成し、FM合成された信号を周波数領域の信号として出力するFM合成部92と、FM合成された周波数領域の信号と残差信号とを適用周波数情報で決定される周波数帯域で加算する加算信号算出部93と、周波数領域の信号を時間領域のオーディオ信号に変換する周波数時間変換部94とを備えた構成である。
【0048】
以上のように構成されたオーディオ信号復号化装置90について、その動作を説明する。
【0049】
まず、圧縮された入力ビットストリームは、復号化部91によって、符号化時にFM合成で使用したアルゴリズムや周波数などのパラメータと、残差信号と、この残差信号が適用された周波数を示す適用周波数情報とに復号化される。次に、FM合成部92では、復号化部91によって復号化されたFM合成で使用したアルゴリズムや周波数などのパラメータを用いてFM合成をし、その合成波形を時間周波数変換を用いて周波数領域の信号へと変換する。
【0050】
次に、加算信号算出部93は、復号化部91によって復号化された残差信号と、FM合成部92によって出力された信号とを、復号化部91によって復号化され適用周波数情報で示された周波数帯域で加算する。この加算された周波数領域の信号を周波数時間変換部94によって時間領域のオーディオ信号へと変換する。
【0051】
このように、本発明の第4の実施の形態におけるオーディオ信号復号化装置によれば、FM合成信号のパラメータと、オーディオ信号と前記FM合成信号との残差信号と、この残差信号が適用された周波数を示す適用周波数情報とを復号化して、オーディオ信号を再生することができるので、FM合成による信号との差分が実質的に影響を及ぼす範囲でのみ残差信号が符号化された、線形予測による符号化信号より特に圧縮率の高い符号化信号から、オーディオ信号を復号化することができる。
【産業上の利用可能性】
【0052】
以上のように、本発明にかかるオーディオ信号符号化復号化装置は、複雑な波形を線形予測よりも少ないパラメータで表現可能なFM合成方式を用いて、周波数領域のスペクトルデータを予測し、また、この信号との差分である残差信号を求め、前記パラメータと前記残差信号とを符号化するので、線形予測を使用した処理よりもより効率的な符号化処理を行うことができるという効果を有し、オーディオ信号を符号化するオーディオ信号符号化復号化装置等として有用である。
【図面の簡単な説明】
【0053】
【図1】本発明の第1の実施の形態におけるオーディオ信号符号化装置のブロック図
【図2】本発明の第1の実施の形態におけるFM合成部のブロック図
【図3】本発明の第1の実施の形態におけるFM合成部のブロック図
【図4】本発明の第1の実施の形態におけるFM合成パラメータの算出方法を示す図
【図5】本発明の第1の実施の形態におけるFM合成パラメータの算出方法を示す図
【図6】本発明の第2の実施の形態におけるオーディオ信号符号化装置のブロック図
【図7】本発明の第2の実施の形態における適用周波数算出部の適用周波数領域の一例を示す図
【図8】本発明の第3の実施の形態におけるオーディオ信号復号化装置のブロック図
【図9】本発明の第4の実施の形態におけるオーディオ信号復号化装置のブロック図
【図10】従来のオーディオ信号符号化装置のブロック図
【図11】従来のオーディオ信号符号化装置におけるTNS処理部のブロック図
【符号の説明】
【0054】
10、60 オーディオ信号符号化装置
11、41、49、51、59、61 時間周波数変換部
12、62、82、92 FM合成部
13、63 残差信号算出部
14、64 量子化/符号化部
21、22、31、32 発信器
45、55 FM合成部
46 解析部
57 比較部
68 適用周波数算出部
80、90 オーディオ信号復号化装置
81、91 復号化部
83、93 加算信号算出部
84、94 周波数時間変換部
110 聴覚心理モデル部
111 ゲイン制御部
112 MDCT部
113 TNS処理部
114 インテンシティ/カップリング部
115 予測部
116 M/Sステレオ部
117 正規化係数部
118 量子化部
119 ノイズレス符号化部
120 マルチプレクサ部
121 スペクトル処理部
122 量子化/符号化部
131 MDCT部
132 線形予測部
133 残差信号算出部
134 量子化/符号化部
【特許請求の範囲】
【請求項1】
時間領域のオーディオ信号を周波数領域へ変換する時間周波数変換手段と、
前記時間周波数変換手段によって周波数領域へ変換された信号を近似するFM合成手段と、
前記時間周波数変換手段によって周波数領域へ変換された信号と前記FM合成手段によって近似された周波数領域の信号との差分を算出する残差信号算出手段と、
前記残差信号算出手段に算出された周波数領域の残差信号と、前記FM合成手段で使用したパラメータとを符号化する符号化手段とを備えたことを特徴とするオーディオ信号符号化装置。
【請求項2】
前記残差信号算出手段において残差信号を求める周波数の適用範囲を算出する適用周波数算出手段を備え、
前記残差信号算出手段は、前記適用周波数算出手段に算出された適用周波数帯域の前記残差信号を算出し、
前記符号化手段は、前記適用周波数算出手段が算出した適用周波数帯域をパラメータとして符号化することを特徴とする請求項1に記載のオーディオ信号符号化装置。
【請求項3】
符号化された周波数領域の残差信号およびFM合成に使用するパラメータを復号化する復号化手段と、
前記復号化手段によって復号化されたパラメータを用いてFM合成を行うFM合成手段と、
前記復号化手段によって復号化された周波数領域の残差信号と、前記FM合成手段によって出力された周波数領域の信号とを加算する加算信号算出手段と、
前記加算信号算出手段によって生成された周波数領域の信号を時間領域のオーディオ信号に変換する周波数時間変換手段とを備えたことを特徴とするオーディオ信号復号化装置。
【請求項4】
符号化された周波数領域の残差信号、FM合成に使用するパラメータおよび前記残差信号を算出した周波数帯域のパラメータを復号化する復号化手段と、
前記復号化手段によって復号化されたFM合成のパラメータを用いてFM合成を行うFM合成手段と、
前記周波数帯域のパラメータで設定された適用周波数帯域において、前記復号化手段によって復号化された周波数領域の残差信号と、前記FM合成手段によって出力された周波数領域の信号とを加算する加算信号算出手段と、
前記加算信号算出手段によって生成された周波数領域の信号を時間領域のオーディオ信号に変換する周波数時間変換手段とを備えたことを特徴とするオーディオ信号復号化装置。
【請求項1】
時間領域のオーディオ信号を周波数領域へ変換する時間周波数変換手段と、
前記時間周波数変換手段によって周波数領域へ変換された信号を近似するFM合成手段と、
前記時間周波数変換手段によって周波数領域へ変換された信号と前記FM合成手段によって近似された周波数領域の信号との差分を算出する残差信号算出手段と、
前記残差信号算出手段に算出された周波数領域の残差信号と、前記FM合成手段で使用したパラメータとを符号化する符号化手段とを備えたことを特徴とするオーディオ信号符号化装置。
【請求項2】
前記残差信号算出手段において残差信号を求める周波数の適用範囲を算出する適用周波数算出手段を備え、
前記残差信号算出手段は、前記適用周波数算出手段に算出された適用周波数帯域の前記残差信号を算出し、
前記符号化手段は、前記適用周波数算出手段が算出した適用周波数帯域をパラメータとして符号化することを特徴とする請求項1に記載のオーディオ信号符号化装置。
【請求項3】
符号化された周波数領域の残差信号およびFM合成に使用するパラメータを復号化する復号化手段と、
前記復号化手段によって復号化されたパラメータを用いてFM合成を行うFM合成手段と、
前記復号化手段によって復号化された周波数領域の残差信号と、前記FM合成手段によって出力された周波数領域の信号とを加算する加算信号算出手段と、
前記加算信号算出手段によって生成された周波数領域の信号を時間領域のオーディオ信号に変換する周波数時間変換手段とを備えたことを特徴とするオーディオ信号復号化装置。
【請求項4】
符号化された周波数領域の残差信号、FM合成に使用するパラメータおよび前記残差信号を算出した周波数帯域のパラメータを復号化する復号化手段と、
前記復号化手段によって復号化されたFM合成のパラメータを用いてFM合成を行うFM合成手段と、
前記周波数帯域のパラメータで設定された適用周波数帯域において、前記復号化手段によって復号化された周波数領域の残差信号と、前記FM合成手段によって出力された周波数領域の信号とを加算する加算信号算出手段と、
前記加算信号算出手段によって生成された周波数領域の信号を時間領域のオーディオ信号に変換する周波数時間変換手段とを備えたことを特徴とするオーディオ信号復号化装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2006−47561(P2006−47561A)
【公開日】平成18年2月16日(2006.2.16)
【国際特許分類】
【出願番号】特願2004−226813(P2004−226813)
【出願日】平成16年8月3日(2004.8.3)
【出願人】(000005821)松下電器産業株式会社 (73,050)
【Fターム(参考)】
【公開日】平成18年2月16日(2006.2.16)
【国際特許分類】
【出願日】平成16年8月3日(2004.8.3)
【出願人】(000005821)松下電器産業株式会社 (73,050)
【Fターム(参考)】
[ Back to top ]