オーディオ信号符号化装置、および符号化プログラム
【課題】 入力オーディオ信号に対する動的マスキング閾値を適応的に調整して、量子化ノイズのレベルを最適化し、復号時の音質を向上させる。
【解決手段】 入力オーディオ信号を周波数分析した結果の各スペクトルのパワーを算出する手段と、該算出結果を用いて入力オーディオ信号のスペクトル周波数範囲を複数のサブバンドに分割した時の各サブバンドにおける入力オーディオ信号の純音性を示すトーナリティパラメータを算出する手段と、該トーナリティパラメータを用いて入力オーディオ信号のマスキングエネルギーに対する動的マスキング閾値を算出する手段とを備える。
【解決手段】 入力オーディオ信号を周波数分析した結果の各スペクトルのパワーを算出する手段と、該算出結果を用いて入力オーディオ信号のスペクトル周波数範囲を複数のサブバンドに分割した時の各サブバンドにおける入力オーディオ信号の純音性を示すトーナリティパラメータを算出する手段と、該トーナリティパラメータを用いて入力オーディオ信号のマスキングエネルギーに対する動的マスキング閾値を算出する手段とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオ信号の符号化方式に係り、さらに詳しくはＭＰＥＧ方式などの符号化装置における符号化処理において、入力オーディオ信号の純音性を判定し、その判定結果に対応して適応的なマスキングを行うことによって、量子化ノイズを低減させるオーディオ信号符号化装置、および符号化プログラムに関する。
【背景技術】
【０００２】
近年のディジタル圧縮技術の進歩に伴い、パーソナルコンピュータや携帯端末等はテキスト、オーディオ（可聴周波数）、音声および映像等の各種のデータ形式に対応可能になっている。
【０００３】
オーディオ信号（オーディオデータまたはオーディオ信号データ）の圧縮符号化方式は、ＭＰＥＧによってＭＰＥＧ１ Ａｕｄｉｏとして標準化されており、Ｌａｙｅｒ１〜Ｌａｙｅｒ３の３種類のモードが規定されている。これらの規格としては、例えばＭＰＥＧ１についてのＭＰ３、ＭＰＥＧ２についてのＡＡＣ等があり、またＭＰ３はＩＳＯ／ＩＥＣ（国際標準化機構／国際電気標準会議）１１１７２−３として、さらに、ＭＰＥＧ２−ＡＡＣはＩＳＯ／ＩＥＣ１３８１８−７として、それぞれ、符号化アルゴリズムが標準化されている。
【０００４】
これらの標準化において出されている勧告においては、復号処理に関しては詳細に記述されている反面、符号化処理（エンコード処理）に関しては、符号化アルゴリズムの概要が示されているのみである。これらの勧告された符号化アルゴリズムの概要は、以下の（i）〜（iii）に示す
ようになっている。
【０００５】
（i）符号化装置は、入力されたオーディオ信号を周波数変換する。ここで、オーディオ信号は、マイク、アンプ等によって取得されたオーディオ信号である。
【０００６】
（ii）符号化装置は、周波数変換された周波数成分について、人の聴覚特性を利用して、各周波数帯域に対して許容される量子化誤差（マスキング特性）を決定する。
【０００７】
（iii）符号化装置は、量子化から逆量子化した際に発生する量子化ノイズが、（ii）にて決定されたマスキング特性を下回るように、前記（i）にて変換された各周波数成分と各周波数帯域のゲインとを符号化する。
【０００８】
従って、符号化処理に関しては、オーディオ信号が符号化されたビット列（ビットストリーム）のフォーマット（文法）が勧告に準拠していればよく、オーディオ復号装置は、例えばＩＳＯ規格に準拠したものが用いられる。すなわち、符号化されたビットストリームのフォーマットは、予め決められた復号アルゴリズムに基づいて復号処理できればよく、符号化アルゴリズムの範囲においては比較的自由度がある。このため、各種パラメータを符号化するときに必要なビット数に関する厳密な規定はない。この反面、オーディオ復号装置は勧告に準拠した復号アルゴリズムにのみ対応するので、勧告または仕様により決定された処理と異なる処理はできない。
【０００９】
従来のオーディオ信号符号化方式について図１５から図１８を用いて説明する。図１５は一般的なＭＰＥＧ２−ＡＡＣ方式符号化器のブロック構成図であり、図１６は符号化処理のフローチャートである。本発明が対象とするマスキングレベル適応化はこれらの図の中で聴覚心理モデルに対応する処理であり、その処理に関する従来技術の詳細は図１７、および図１８で説明するものとし、図１５、および図１６の全体処理については簡単に説明する。
【００１０】
図１５、および図１６において、符号化器に入力されたオーディオ信号は、聴覚心理モデル部とＭＤＣＴ（変形離散コサイン）変換部とに与えられる。聴覚心理モデル部による周波数分析の結果として算出されたマスキング閾値特性はビットレート・歪み制御部に与えられ、ＭＤＣＴ変換部の変換結果は音質を向上させるためのオプションツールとしてのＴＮＳ、ＩＳステレオ、およびＭＳステレオに与えられる。
【００１１】
聴覚心理モデル部から出力されるマスキング閾値特性は、各周波数帯域毎に人間が知覚できるレベルを示し、このレベルより入力オーディオ信号のレベルが大きければ音として知覚でき、逆に小さければ音として知覚できないことになる。このマスキング閾値特性は、ピットレート・歪み制御部に与えられ、図１６のフローチャートの後半において行われる符号化処理において発生する量子化ノイズのレベルがこのマスキング閾値を超えないようにすることによって、復号後にこのノイズが知覚されないようにする制御が行われる。従ってＭＰＥＧ２−ＡＡＣ方式のオーディオ符号化器においては、マスキング閾値特性が音質に大きく影響することになる。
【００１２】
すなわち図１６の後半の処理において、各周波数のＭＤＣＴ係数に対して行われる非線形量子化、およびそれに続く逆量子化処理において発生する量子化誤差が許容範囲内、且つ量子化ビット数が図１６のフローチャートの最初において決定された最大量子化ビット数未満となるようにスケールファクタおよびコモンスケールファクタの更新が行われ、符号化ビットストリームが生成される。
【００１３】
図１７、および図１８は、従来の符号化方式における聴覚心理モデル部のブロック構成と処理フローチャートである。聴覚心理モデル部における詳細な処理はＩＳＯ／ＩＥＣ１３８１８−７によって規定されているが、この規定に厳密に従う必要はなく、例えばこの規定では入力オーディオ信号に対するＦＦＴ（高速フーリエ変換）処理を必要とするが、ＦＦＴ処理の処理量が膨大であるため、実際の処理においては図１５、図１６におけるＭＤＣＴ変換処理によって代用することも可能である。
【００１４】
図１７において、入力オーディオ信号はＭＤＣＴ（変形離散コサイン変換）処理において周波数成分であるＭＤＣＴ係数に変換される。入力オーディオ信号が４８ｋＨｚサンプリングの場合は、１０２４個のＭＤＣＴ係数に変換される。次にパワー算出において各ＭＤＣＴ係数の二乗を行いパワーに変換する。次にパワー平均値算出において、聴覚心理分析用のサブバンド単位でＭＤＣＴ係数パワー値の平均値を算出する。聴覚心理分析用のサブバンドはＩＳＯ／ＩＥＣ１３８１８−７のＴａｂｌｅＢ．２．１．９．ａ Ｐｓｙｃｈｏａｃｏｕｓｔｉｃ ｐａｒａｍｅｔｅｒｓ ｆｏｒ ４８ｋＨｚ ｌｏｎｇ ＦＦＴで定義された分割に従う。
【００１５】
各サブバンド毎に算出されたパワー平均値からｓｐｒｅａｄｉｎｇ関数を用いて、任意の周波数の音が近隣の音に与えるマスキングエネルギーが算出される。ここでの処理により入力オーディオ信号のスペクトル状態に応じたマスキングエネルギーｅｎｂ［ｓｂ］が生成される。すなわちｓｐｒｅａｄｉｎｇ関数を用いてある周波数の１本のスペクトルだけでなく、周囲のスペクトルを重みをつけて考慮し、ｅｎｂ［ｓｂ］が求められる。マスキングエネルギーｅｎｂ［ｓｂ］は次の動的マスキング閾値算出においてマスキング閾値ｎｂ［ｓｂ］に変換される。
【００１６】
ここで、マスキング閾値はマスキングされる音が純音であるか雑音であるかによって特性が変化する性質がある。そのため、ｓｐｒｅａｄｉｎｇ関数によって求められたマスキングエネルギーに対しては、より純音らしい音はマスキングレベルを低くし、より雑音らしい音はマスキングレベルが高くなるように重み付けを行う必要がある。この重み付けの係数をトーナリティパラメータ（ｔｂ［ｓｂ］）とする。トーナリティパラメータ（ｔｂ［ｓｂ］）は１．０〜０．０の範囲をとり、純音性が高いときには１．０に近づき、雑音性が高いときには０．０となる。動的マスキング閾値ｎｂ［ｓｂ］はマスキングエネルギーｅｎｂ［ｓｂ］、およびトーナリティパラメータ（ｔｂ［ｓｂ］）を用いて以下の様に与えられる。
【００１７】
ＳＮＲ＝ｔｂ［ｓｂ］＊１８＋（１．０−ｔｂ［ｓｂ］）＊６
ｂｃ＝１０＾（−ＳＮＲ／１０．０）
ｎｂ［ｓｂ］＝ｅｎｂ［ｓｂ］＊ｂｃ
（ｓｂ＝０〜６８）
動的マスキング閾値ｎｂ［ｓｂ］は静的マスキング閾値比較によって、静的マスキング閾値と比較され、両者の値で大きい値が選択される。静的マスキング閾値は入力オーディオ信号が４８ｋＨｚサンプリング時はＩＳＯ／ＩＥＣ１３８１８−７のＴａｂｌｅＢ．２．１．９．ａ Ｐｓｙｃｈｏａｃｏｕｓｔｉｃ ｐａｒａｍｅｔｅｒｓ ｆｏｒ ４８ｋＨｚ ｌｏｎｇ ＦＦＴのｑｓｔｈｒの欄で定義されており、各サブバンド毎にこの値と比較を行う。なお、ｑｓｔｈｒ［ｓｂ］はｄＢ表示（対数表示）であるために、ｎｂ［ｓｂ］との比較の際はｑｓｔｈｒ［ｓｂ］の値をリニアに変換して比較を行う。
【００１８】
静的マスキング閾値比較で処理されたマスキング閾値はサブバンド変換で量子化処理時に適したサブバンドに再分割される。これは聴覚心理モデル分析時に適用されるサブバンドと量子化処理時のサブバンドの分割が異なるためである。量子化処理時に適用されるサブバンドの定義は、入力オーディオ信号が４８ｋＨｚサンプリング時はＩＳＯ／ＩＥＣ１３１８−７のＴａｂｌｅ８．４ ｓｃａｌｅｆａｃｔｏｒ ｂａｎｄ ｆｏｒ ＬＯＮＧ＿ＷＩＮＤＯＷ，ＬＯＮＧ＿ＳＴＡＲＴ＿ＷＩＮＤＯＷ，ＬＯＮＧ＿ＳＴＯＰ＿ＷＩＮＤＯＷ ａｔ ４４．１ｋＨｚ ａｎｄ４８ｋＨｚ で示されている。
【００１９】
ＩＳＯ／ＩＥＣ１３８１８−７では動的マスキング閾値算出で使用されるトーナリティパラメータを算出するためには、入力オーディオ信号をＦＦＴし、そこで得られる各周波数毎の振幅情報および位相情報を使用している。コンパクトな符号化器を実現する際にはＦＦＴの処理は負荷が大きい。そこで、前述のように従来では、符号化処理で必要なＭＤＣＴ係数を聴覚心理モデル分析時にも適用して処理量の削減を行っていた。
【００２０】
しかしながらこのようにＦＦＴ処理の代わりに用いられるＭＤＣＴ処理では、各周波数成分に対するコサイン成分、すなわち振幅情報が算出されるが、位相情報は求められず、このためトーナリティパラメータの算出を行うことができなかったため、動的マスキング閾値の算出処理ではトーナリティパラメータは時間的に一定の定数値として処理が行われていた。そこで入力オーディオ信号の周波数成分が純音性を持つか、雑音性を持つかに対応して適応的にマスキングレベルを調整することができず、純音性の信号に対する符号化処理に当って発生する量子化ノイズが大きくなり、結果的に復号時に音質劣化が生じるという問題点があった。
【００２１】
以上のようなオーディオデータの符号化方式について次の従来技術がある。
【特許文献１】特開２００２−３５１５００号公報 「ディジタルデータの符号化方法」
【００２２】
この文献では、入力オーディオ信号の全周波数範囲に渡ってスペクトルパワーの最大値と平均値から純音性の高低を判定し、マスキング特性を切り替える技術が開示されている。
【００２３】
しかしながら、この技術では純音性の高低が全周波数帯域に渡って判定され、その判定結果に対応して全周波数帯域に渡って平坦な平坦マスキング特性と、ＲＯＭ化された基準マスキング特性のいずれかが用いられるため、入力オーディオ信号のパワースペクトルがどの周波数帯域にピークを持つかなどの周波数特性や、その時間的変化に対応して柔軟にマスキング閾値特性の適応化を行うことができないという問題点を解決することができなかった。
【発明の開示】
【発明が解決しようとする課題】
【００２４】
本発明の課題は、上述の問題点に鑑み、入力オーディオ信号のパワースペクトルの各周波数帯域における純音性の高低を判定して、動的マスキング閾値特性を適応的に調整することによって量子化ノイズのレベルを最適化し、オーディオ信号符号化における音質向上を実現することである。
【課題を解決するための手段】
【００２５】
図１は、本発明のオーディオ信号符号化装置の原理構成ブロック図である。同図において符号化装置１は、スペクトルパワー算出手段２、トーナリティパラメータ算出手段３、および動的マスキング閾値算出手段４を備える。
【００２６】
スペクトルパワー算出手段２は入力オーディオ信号を周波数分析した結果の各スペクトルのパワーを算出するものであり、トーナリティパラメータ算出手段３はスペクトルパワーの算出結果を用いて、入力オーディオデータのスペクトルの周波数範囲を複数のサブバンドに分割したときの各サブバンドにおける入力オーディオデータの純音性を示すトーナリティパラメータを算出するものであり、動的マスキング閾値算出手段４は算出されたトーナリティパラメータを用いて入力オーディオ信号のマスキングエネルギーに対する動的マスキング閾値を算出するものである。
【００２７】
ここでトーナリティパラメータ算出手段３は、前述の複数のサブバンドのそれぞれにおけるスペクトルパワーの総和ＳSと、各サブバンド内に存在するスペクトルパワーの最大値とそのサブバンドの幅との積ＳMとを求め、ＳS／ＳMの値に対応して、トーナリティパラメータを求める。
【００２８】
また実施の形態においては、トーナリティパラメータ算出手段３が前述のＳS／ＳMの値が小さいときにトーナリティパラメータを大きくし、その値が大きいときにトーナリティパラメータを小さくすることもでき、またこのＳS／ＳMの値の範囲を複数に分割し、分割された複数の範囲のそれぞれに対応して、それぞれ一定のトーナリティパラメータを決定することもできる。さらに前述の複数のサブバンドとして入力オーディオデータのスペクトル周波数範囲を低域、中域、および高域の３つのサブバンドに分割することもできる。
【００２９】
また実施の形態においては、動的マスキング閾値算出手段４がトーナリティパラメータが大きいときに動的マスキング閾値を低くし、トーナリティパラメータが小さいときに動的マスキング閾値を高くすることもできる。
【００３０】
次に本発明のオーディオ信号符号化プログラムは、入力オーディオ信号を周波数分析した結果の各スペクトルのパワーを算出する手順と、その算出結果を用いて入力オーディオデータのスペクトル周波数範囲を複数のサブバンドに分割した時の各サブバンドにおける入力オーディオデータの純音性を示すトーナリティパラメータを算出する手順と、算出されたトーナリティパラメータを用いて入力オーディオ信号のマスキングエネルギーに対する動的マスキング閾値を算出する手順とを計算機に実行させるものである。
【００３１】
発明の実施の形態においては、このプログラムが格納された計算機読出し可能可搬型記憶媒体、およびこのプログラムに対応するオーディオ信号符号化方法が用いられる。
【発明の効果】
【００３２】
本発明によれば、入力オーディオ信号のスペクトル周波数範囲を複数のサブバンドに分割して、各サブバンドにおける入力オーディオデータの純音性を示すトーナリティパラメータを求めてマスキング閾値特性の適応化を行うことが可能になり、量子化雑音の大きさを低減させるオーディオ信号符号化、および復号時における音質向上に寄与するところが大きい。
【発明を実施するための最良の形態】
【００３３】
まず本発明における入力オーディオ信号の純音性判定方式について図２、および図３を用いて説明する。図２は、純音性が高いサブバンドの例であり、サブバンドの周波数幅Ｗの中におけるスペクトルのうちで最大のスペクトルのパワーの値をＨとし、ＷとＨとの積をＳMで表し、スペクトルの大きさの合計面積をＳSとすると、図２ではＳSとＳMとの比が小さくなり、純音性が高いものと判定される。
【００３４】
これに対して図３では、ＳSとＳMとの比は大きくなり、純音性が低い、すなわち雑音性が高いものと判定される。
図４は本発明における視聴覚心理モデル部のブロック構成を示し、図５は聴覚心理モデル部による処理のフローチャートを示す。これらの図を従来例における図１７、および図１８と対比させて説明する。
【００３５】
図４においてはＭＤＣＴ処理１０からサブバンド変換１６までの処理は、動的マスキング閾値算出１４における算出方法が従来技術と一部異なる、すなわちトーナリティ判定用サブバンドの分割に応じて各サブバンドに対応するトーナリティパラメータが用いられる点を除いて、他の部分の処理は同様である。
【００３６】
図１７、および図１８の従来技術と異なる処理は、図４では最大値検出２０から純音性判定２４までのブロックであり、図５ではステップＳ１０、すなわち最大値検出からステップＳ１４の純音性判定までの処理である。
【００３７】
まずパワー算出１１によって求められた各スペクトルパワーの値を用いて、純音性を判定するために複数のサブバンド、本実施形態では３つのサブバンドのそれぞれについてスペクトルパワーの最大値検出２０が行われる。サブバンドの分け方については後述する。
【００３８】
続いてサブバンド最大面積計算２１において前述のＳM［ｉ］が求められ、スペクトル面積計算２２によって前述の合計面積ＳS［ｉ］が求められる。ここでｉはサブバンドのインデックス、すなわち番号である。続いて面積比計算２３によってＳS［ｉ］とＳM［ｉ］との比が計算され、純音性判定２４によってその比Ｒ［ｉ］の値に対応して純音性を示すトーナリティパラメータｔｂ［ｉ］の値が算出される。この算出については後述する。
【００３９】
図４の動的マスキング閾値算出１４においては、従来技術と同様に算出されたマスキングエネルギーｅｎｂ［ｓｂ］（ｓｂ＝０〜６８）に対応して、トーナリティパラメータｔｂ［ｉ］（ｉ＝０〜２）を使用して動的マスキング閾値ｎｂ［ｓｂ］（ｓｂ＝０〜６８）が次式によって算出される。なおｓｂの値による式の区分は図６で説明するサブバンドの分割に対応する。
【００４０】
ｉｆ（ｓｂ＜１０）ｔｈｅｎ ｔｂ＝ｔｂ［０］
ｅｌｓｅ ｉｆ（ｓｂ＜３０）ｔｈｅｎ ｔｂ＝ｔｂ［１］
ｅｌｓｅ（ｓｂ≧３０）ｔｈｅｎ ｔｂ＝ｔｂ［２］
ＳＮＲ＝ｔｂ＊１８＋（１．０−ｔｂ）＊６
ｂｃ＝１０＾（−ＳＮＲ／１０．０）
ｎｂ［ｓｂ］＝ｅｎｂ［ｓｂ］＊ｂｃ
（ｓｂ＝０〜６８）
なお図５ではステップＳ４の処理の後にステップＳ１０の最大値検出が行われているが、図４と比較することにより、ステップＳ２の処理の後にステップＳ１０からＳ１４の処理をステップＳ３、Ｓ４の処理と遂行して実行可能であることがわかる。
【００４１】
続いて本実施形態における聴覚心理モデル処理の詳細について、図６に示す純音性判定用のサブバンド設定の具体例を用いて図７から図１３によって説明する。図６においては、入力オーディオ信号４８ｋＨｚサンプリング時に、１０２４個のＭＤＣＴ係数が得られたものとする。この１０２４個のＭＤＣＴ係数に対するスペクトルパワーが聴覚心理モデル分析用に６９個のサブバンド（Ｐ０−Ｐ６８）に分けられる。なおこの１０２４の個数はＭＤＣＴにおけるポイント数に相当する。
【００４２】
このサブバンドの詳細についてはＩＳＯ／ＩＥＣ１３８１８−７のＴａｂｌｅＢ．２．１．９．ａ Ｐｓｙｃｈｏａｃｏｕｓｔｉｃ ｐａｒａｍｅｔｅｒｓ ｆｏｒ ４８ｋＨｚ ｌｏｎｇ ＦＦＴと同様である。
【００４３】
トーナリティ判定用のサブバンドとしては聴覚心理分析用サブバンドのＰ０〜Ｐ９，Ｐ１０〜Ｐ２９，Ｐ３０〜Ｐ６８をそれぞれ１個のサブバンドとし、全体を３個のサブバンドに分ける。
【００４４】
このとき、それぞれのサブバンドのバンド幅Ｗ［０］〜Ｗ［２］の大きさはそのサブバンドに存在するＭＤＣＴ係数の本数とする。
つまり、Ｗ［０］＝２０（ｉ０〜ｉ１９）
Ｗ［１］＝５４（ｉ２０〜ｉ７３）
Ｗ［２］＝９５０（ｉ７４〜ｉ１０２３）
となる。
【００４５】
ここで１０２４個のＭＤＣＴ係数をｍｄｃｔ＿ｌｉｎｅ［ｉ］（ｉ＝０〜１０２３）としたとき、各トーナリティ判定用のサブバンドにおけるスペクトル総和面積Ｓｓ［０］〜Ｓｓ［２］は、
【００４６】
【数１】
【００４７】
となる。
また、各トーナリティ判定用のサブバンドにおけるＭＤＣＴ係数パワー最大値Ｈ［０］〜Ｈ［２］は
Ｈ［０］＝ｍａｘ（ｍｄｃｔ＿ｌｉｎｅ［ｉ］＊ｍｄｃｔ＿ｌｉｎｅ［ｉ］） （ｉ＝０〜１９）
Ｈ［１］＝ｍａｘ（ｍｄｃｔ＿ｌｉｎｅ［ｉ］＊ｍｄｃｔ＿ｌｉｎｅ［ｉ］） （ｉ＝２０〜７３）
Ｈ［２］＝ｍａｘ（ｍｄｃｔ＿ｌｉｎｅ［ｉ］＊ｍｄｃｔ＿ｌｉｎｅ［ｉ］） （ｉ＝７４〜１０２３）
となり、各トーナリティ判定用サブバンドにおける最大面積ＳM［０］〜ＳM［２］は、
ＳM［ｉ］＝Ｗ［ｉ］＊Ｈ［ｉ］ （ｉ＝０〜２）
となる。
【００４８】
また、各トーナリティ判定用のサブバンドにおける面積比Ｒ［ｉ］は、
Ｒ［ｉ］＝ＳS［ｉ］／ＳM［ｉ］ （ｉ＝０〜２）
と表せる。
【００４９】
図７は最大値検出処理の詳細フローチャートである。同図において処理が開始されると、まずステップＳ２０で番号０のサブバンドにおけるスペクトルパワーの最大値を示すｍａｘ［０］の値が０に初期化され、ステップＳ２１からステップＳ２６で、聴覚心理モデル分析用の６９個のサブバンドのうちのサブバンド番号ｓｂ＝０から始めて、１０未満のｓｂに対する処理が繰り返される。
【００５０】
ステップＳ２２では、ｗｌｏｗ（ｓｂ）の値から初めてｗｌｏｗ（ｓｂ＋１）の値未満のｉに対して、ｉをインクリメントさせながらステップＳ２５までの処理が行われる。このｗｌｏｗ（ｓｂ）は０から６８の６９個のサブバンドのそれぞれに含まれる複数のスペクトルのうちで、最も番号の小さいスペクトルの番号を示す。
【００５１】
図８はこのｗｌｏｗの値を示すものである。図６と比較することによって、例えばｓｂ＝０のサブバンドに対してはその値は０、ｓｂ＝１のサブバンドに対しては２であり、また例えばｓｂ＝１０、すなわちサブバンドＰ１０に対するｗｌｏｗの値は１１番目の値、すなわち２０である。
【００５２】
ステップＳ２３ではｗｌｏｗ（ｓｂ）の値で最も小さい番号のスペクトルが決定されるサブバンドの中のスペクトルパワーのそれぞれについて、その大きさｒｗ［ｉ］がｍａｘ［０］の値を超えているか否かが判定され、超えている場合にはステップＳ２４でｍａｘ［０］の値がこのスペクトルパワーのｒｗ［ｉ］の値に置き換えられた後に、また超えていない場合には直ちにｉの値がインクリメントされて、ステップＳ２２以降の処理が行われる。これによって、ステップＳ２０からステップＳ２６において、トーナリティ判定用の３つのサブバンドのうち最も低域側のサブバンド（ｉ＝０）のサブバンドにおける最大値Ｈ［０］＝ｍａｘ［０］の検出処理が終了する。
【００５３】
ステップＳ３０からステップＳ３６は、図６のトーナリティ判定用サブバンドのうち、中域のサブバンドに対する最大値検出処理であり、ステップＳ４０からＳ４６は高域のサブバンドに対する最大値検出処理を示す。その内容は、低域のサブバンドに対応するステップＳ２０からＳ２６における処理と同様である。
【００５４】
図９は各サブバンドに対応するスペクトル面積計算処理の詳細フローチャートである。同図において処理が開始されると、まずステップＳ４８で３つのサブバンドに対応するスペクトル面積ＳSの値がすべて０に初期化された後に、ステップＳ５０からＳ５４で低域、ステップＳ５５からＳ５９で中域、ステップＳ６０からＳ６４で高域のトーナリティ判定用のサブバンドに対するスペクトル面積計算処理が行われる。
【００５５】
ステップＳ５０からＳ５４で、聴覚心理分析用サブバンドの番号ｓｂが０のサブバンドから、サブバンド番号をインクリメントさせながら、ｓｂの値が１０未満のサブバンドに対する処理が行われる。この処理では、ステップＳ５１からＳ５３でそのサブバンドに対応する前述のｗｌｏｗの値に対応するｉをインクリメントさせながら、ｗｌｏｗ（ｓｂ＋１）未満のｉに対してそのサブバンドの内部における各スペクトルのスペクトルパワーｒｗ［ｉ］が次々とＳS［０］に加算される処理が行われる。ステップＳ５５からＳ５９、およびステップＳ６０からＳ６４までの処理は、ステップＳ５０からＳ５４における処理と同様である。
【００５６】
図１０はサブバンド最大面積計算処理の詳細フローチャートである。ステップＳ６６では、図６におけるトーナリティ判定用の３つのサブバンドのうちで、低域のサブバンドに対するサブバンド最大面積の値が求められる。すなわちこのサブバンドにおけるスペクトルパワーの最大値ｍａｘ［０］と、ｗｌｏｗ［１０］、すなわち図６で聴覚心理分析用サブバンドＰ１０の中で最も小さいスペクトル番号２０との積によって、最大面積ＳM［０］の値が計算される。
【００５７】
ステップＳ６７では、中域のサブバンドに対する最大面積が、ステップＳ６８では高域のサブバンドに対する最大面積が求められる。例えばステップＳ６７では、中域のサブバンドにおけるスペクトルパワーの最大値ｍａｘ［１］に対してｗｌｏｗ［３０］とｗｌｏｗ［１０］との差が乗算されて、ＳM［１］の値が求められる。ここでｗｌｏｗ［３０］の値は図６において７４であり、これから前述のｗｌｏｗ［１０］の値２０を減算することによって中域のサブバンドに含まれるスペクトルの本数が求められる。
【００５８】
図１１は面積比計算・純音性判定処理の詳細フローチャートである。同図の処理を図１２のトーナリティパラメータの具体例を用いて説明する。図１１において処理が開始されると、まずステップＳ７０からＳ７４の処理が、トーナリティ判定用サブバンドの番号を示すｉの値が０からインクリメントされながら、３未満のｉの値に対して繰り返される。この処理ではまずステップＳ７１でスペクトル面積ＳS［ｉ］と、サブバンド最大面積ＳM［ｉ］との比Ｒ［ｉ］が求められ、ステップＳ７２でトーナリティパラメータｔｂ［ｉ］の値が１．０とされ、ステップＳ７３でＲ［ｉ］が０．１を超えているか否かが判定される。
【００５９】
図１２のトーナリティパラメータの具体例においては、Ｒ［ｉ］の値が０から０．１の範囲では純音性が高いものとしてトーナリティパラメータの値が１．０とされる。図１１のステップＳ７２でトーナリティパラメータの値として１．０が設定されているために、Ｒ［ｉ］の値が０．１を超えている場合には、トーナリティパラメータの値として１．０より低い値を設定しなければならないため、面積比Ｒ［ｉ］の値が０．１を超えていなければｉの値をインクリメントしてステップＳ７０以降の処理が行われるが、０．１を超えている場合にはステップＳ７５の処理に移行する。
【００６０】
ステップＳ７５ではトーナリティパラメータの値が０．５に設定され、ステップＳ７６で面積比が０．５を超えているか否かが判定される。０．５を超えている場合にはトーナリティパラメータの値として０．５より小さい値を設定しなければならないため、超えていない場合にはｉの値をインクリメントさせてステップＳ７０以降の処理が行われるが、超えている場合にはステップＳ７７の処理に移行する。
【００６１】
ステップＳ７７ではトーナリティパラメータの値が０．２に設定され、ステップＳ７８で面積比が０．８を超えているか否かが判定され、０．８を超えていない場合にはｉをインクリメントさせてステップＳ７０以降の処理が行われるが、超えている場合にはステップＳ７９でトーナリティパラメータの値として０．０が設定された後に、ｉをインクリメントさせてステップＳ７０以降の処理が行われる。
【００６２】
図１３は動的マスキング閾値算出処理の詳細フローチャートである。同図においては前述の式に対応する処理が行われる。ステップＳ８１からＳ８７で、聴覚心理分析用サブバンドの番号ｓｂ＝０から始めて、その値をインクリメントさせながら６９未満のｓｂの値のサブバンドに対する処理が行われる。
【００６３】
この処理では、まずステップＳ８２でｓｂの値が１０未満であるか否かが判定され、１０未満である時には図６における低域のトーナリティ判定用サブバンドに対する処理を行うために、ステップＳ８３で低域のサブバンドに対するトーナリティ係数ｔｂ［０］の値がｔｂの値とされ、ステップＳ８４からＳ８６において動的マスキング閾値ｎｂ［ｓｂ］の計算が行われる。
【００６４】
ステップＳ８２でｓｂの値が１０未満でないと判定されると、ステップＳ８８でその値が３０未満であるか否かが判定される。３０未満である時には図６の中域のサブバンドに対する計算を行うべきことになり、ステップＳ８９で中域のトーナリティパラメータｔｂ［１］の値がｔｂの値とされた後に、また３０未満でない時にはステップＳ９０で高域のサブバンドに対するトーナリティパラメータｔｂ［２］の値がｔｂの値とされた後に、ステップＳ８４以降の処理が実行される。
【００６５】
前述のマスキング閾値ｎｂ［ｓｂ］の算出式において、ｔｂ［ｉ］が０．０に近い時（雑音性が高い）よりも、１．０に近い方がＳＮＲの値が大きくなって係数ｂｃの値が小さくなり、純音性の信号の時は雑音性の信号の時よりもｅｎｂ［ｓｂ］の大きさを下げる幅が大きくなる。この動作により純音性が高いほどそのサブバンドにおける動的マスキング閾値が低くなり、また、雑音性の高い信号の時はそのサブバンドにおける動的マスキング閾値は純音性の高い信号のそれよりも大きい閾値となる。この動作により、入力オーディオ信号の純音性・雑音性に応じてマスキング閾値を動的に補正することが可能となり、純音性が高いときは符号化処理における許容量子化誤差が小さくなるために量子化ノイズの低減を行うことが可能となる。
【００６６】
以上において本発明のオーディオ信号符号化装置および符号化プログラムについてその詳細を説明したが、この符号化装置は当然一般的なコンピュータシステムを基本として構成することが可能である。図１４はそのようなコンピュータシステム、すなわちハードウェア環境の構成ブロック図である。
【００６７】
図１４においてコンピュータシステムは中央処理装置（ＣＰＵ）２０、リードオンリメモリ（ＲＯＭ）２１、ランダムアクセスメモリ（ＲＡＭ）２２、通信インタフェース２３、記憶装置２４、入出力装置２５、可搬型記憶媒体の読取り装置２６、およびこれらの全てが接続されたバス２７によって構成されている。
【００６８】
記憶装置２４としてはハードディスク、磁気ディスクなど様々な形式の記憶装置を使用することができ、このような記憶装置２４、またはＲＯＭ２１に図５、図７、図９〜図１１、図１３などのフローチャートに示されたプログラムや、本発明の特許請求の範囲の請求項５のプログラムなどが格納され、そのようなプログラムがＣＰＵ２０によって実行されることにより、本実施形態におけるサブバンド毎の純音性判定、その判定結果に基づく動的マスキング閾値の適応化による音質向上が可能となる。
【００６９】
このようなプログラムは、プログラム提供者２８からネットワーク２９、および通信インタフェース２３を介して、例えば記憶装置２４に格納されることも、また市販され、流通している可搬型記憶媒体３０に格納され、読取り装置２６にセットされて、ＣＰＵ２０によって実行されることも可能である。可搬型記憶媒体３０としてはＣＤ−ＲＯＭ、フレキシブルディスク、光ディスク、光磁気ディスク、ＤＶＤなど様々な形式の記憶媒体を使用することができ、このような記憶媒体に格納されたプログラムが読取り装置２６によって読取られることにより、本実施形態におけるサブバンド毎の純音性判定などが可能となる。
【００７０】
以上説明したとおり、本発明によればＭＤＣＴ係数のみから入力オーディオ信号の純音性・雑音性を判定し、それに応じて聴覚心理モデル処理の出力であるマスキング閾値特性に対して、純音性信号・雑音性信号に応じた補正を行うことが可能になる。このことにより、オーディオ符号化処理における量子化雑音の大きさを低減でき、オーディオ符号化・復号機器の音質向上に寄与できる。
【００７１】
（付記１） オーディオ信号を符号化する符号化装置であって、
入力オーディオ信号を周波数分析した結果の各スペクトルのパワーを算出するスペクトルパワー算出手段と、
該算出結果を用いて、入力オーディオ信号のスペクトルの周波数範囲を複数のサブバンドに分割した時の各サブバンドにおける入力オーディオ信号の純音性を示すトーナリティパラメータを算出するトーナリティパラメータ算出手段と、
該算出されたトーナリティパラメータを用いて入力オーディオ信号のマスキングエネルギーに対する動的マスキング閾値を算出する動的マスキング閾値算出手段とを備えることを特徴とするオーディオ信号符号化装置。
【００７２】
（付記２） 前記トーナリティパラメータ算出手段が、
前記サブバンドのそれぞれにおけるスペクトルパワーの総和ＳSと、サブバンド内に存在するスペクトルパワーの最大値とサブバンドの幅との積ＳMとを求め、ＳS／ＳMの値に対応して、トーナリティパラメータの値を求めることを特徴とする付記１記載のオーディオ信号符号化装置。
【００７３】
（付記３） 前記トーナリティパラメータ算出手段が、
前記ＳS／ＳMの値が小さいときにトーナリティパラメータの値を大きくし、ＳS／ＳMの値が大きいときにトーナリティパラメータの値を小さくすることを特徴とする付記２記載のオーディオ信号符号化装置。
【００７４】
（付記４） 前記トーナリティパラメータ算出手段が、
前記ＳS／ＳMの値の範囲を複数に分割し、該分割された複数の範囲のそれぞれに対して、一定のトーナリティパラメータの値を決定することを特徴とする付記３記載のオーディオ信号符号化装置。
【００７５】
（付記５） 前記トーナリティパラメータ算出手段が、
前記入力オーディオ信号のスペクトルの周波数範囲を低域、中域、および高域の３つのサブバンドに分割してトーナリティパラメータの値を算出することを特徴とする付記１記載のオーディオ信号符号化装置。
【００７６】
（付記６） 前記動的マスキング閾値算出手段が、
前記トーナリティパラメータの値が大きいときに動的マスキング閾値を低くし、トーナリティパラメータの値が小さいときに動的マスキング閾値を高くすることを特徴とする付記１記載のオーディオ信号符号化装置。
【００７７】
（付記７） オーディオ信号を符号化する計算機によって用いられるプログラムであって、
入力オーディオ信号を周波数分析した結果の各スペクトルのパワーを算出する手順と、
該算出結果を用いて、入力オーディオ信号のスペクトルの周波数範囲を複数のサブバンドに分割した時の各サブバンドにおける入力オーディオ信号の純音性を示すトーナリティパラメータを算出する手順と、
該算出されたトーナリティパラメータを用いて入力オーディオ信号のマスキングエネルギーに対する動的マスキング閾値を算出する手順とを計算機に実行させるためのオーディオ信号符号化プログラム。
【００７８】
（付記８） 前記トーナリティパラメータ算出の手順において、
前記サブバンドのそれぞれにおけるスペクトルパワーの総和ＳSと、サブバンド内に存在するスペクトルパワーの最大値とサブバンドの幅との積ＳMとを求め、ＳS／ＳMの値に対応して、トーナリティパラメータの値を求めることを特徴とする付記７記載のオーディオ信号符号化プログラム。
【００７９】
（付記９） オーディオ信号を符号化する計算機によって用いられる記憶媒体であって、
入力オーディオ信号を周波数分析した結果の各スペクトルのパワーを算出するステップと、
該算出結果を用いて、入力オーディオ信号のスペクトルの周波数範囲を複数のサブバンドに分割した時の各サブバンドにおける入力オーディオ信号の純音性を示すトーナリティパラメータを算出するステップと、
該算出されたトーナリティパラメータを用いて入力オーディオ信号のマスキングエネルギーに対する動的マスキング閾値を算出するステップとを計算機に実行させるためのオーディオ信号符号化プログラムを格納した計算機読出し可能可搬型記憶媒体。
【００８０】
（付記１０） オーディオ信号を符号化する方法であって、
入力オーディオ信号を周波数分析した結果の各スペクトルのパワーを算出し、
該算出結果を用いて、入力オーディオ信号のスペクトルの周波数範囲を複数のサブバンドに分割した時の各サブバンドにおける入力オーディオ信号の純音性を示すトーナリティパラメータを算出し、
該算出されたトーナリティパラメータを用いて入力オーディオ信号のマスキングエネルギーに対する動的マスキング閾値を算出することを特徴とするオーディオ信号符号化方法。
【図面の簡単な説明】
【００８１】
【図１】本発明のオーディオ信号符号化装置の原理構成ブロック図である。
【図２】純音性の高いサブバンドの例を示す図である。
【図３】純音性の低いサブバンドの例を示す図である。
【図４】本実施形態における聴覚心理モデルのブロック構成を示す図である。
【図５】本実施形態における聴覚心理モデル処理のフローチャートである。
【図６】トーナリティ判定用のサブバンド設定の具体例を示す図である。
【図７】サブバンド内の最大値検出処理の詳細フローチャートである。
【図８】聴覚心理分析用サブバンドのそれぞれの内部の最も小さいスペクトル番号の説明図である。
【図９】スペクトル面積計算処理の詳細フローチャートである。
【図１０】サブバンド最大面積計算処理の詳細フローチャートである。
【図１１】面積比計算・純音性判定処理の詳細フローチャートである。
【図１２】トーナリティパラメータ設定の具体例を示す図である。
【図１３】動的マスキング閾値算出処理の詳細フローチャートである。
【図１４】本発明におけるプログラムのコンピュータへのローディングを説明する図である。
【図１５】ＡＡＣ符号化器の従来例の構成を示すブロック図である。
【図１６】ＡＡＣ符号化器の従来例における処理フローチャートである。
【図１７】聴覚心理モデル部の従来例の構成を示すブロック図である。
【図１８】聴覚心理モデル部の従来例の処理フローチャートである。
【符号の説明】
【００８２】
１ オーディオ信号符号化装置
２ スペクトルパワー算出手段
３ トーナリティパラメータ算出手段
４ 動的マスキング閾値算出手段
１０ ＭＤＣＴ処理
１１ パワー算出
１２ パワー平均値算出
１３ ｓｐｒｅａｄｉｎｇ関数
１４ 動的マスキング閾値算出
１５ 静的マスキング閾値比較
１６ サブバンド変換
２０ 最大値検出
２１ サブバンド最大面積計算
２２ スペクトル面積計算
２３ 面積比計算
２４ 純音性判定
【技術分野】
【０００１】
本発明は、オーディオ信号の符号化方式に係り、さらに詳しくはＭＰＥＧ方式などの符号化装置における符号化処理において、入力オーディオ信号の純音性を判定し、その判定結果に対応して適応的なマスキングを行うことによって、量子化ノイズを低減させるオーディオ信号符号化装置、および符号化プログラムに関する。
【背景技術】
【０００２】
近年のディジタル圧縮技術の進歩に伴い、パーソナルコンピュータや携帯端末等はテキスト、オーディオ（可聴周波数）、音声および映像等の各種のデータ形式に対応可能になっている。
【０００３】
オーディオ信号（オーディオデータまたはオーディオ信号データ）の圧縮符号化方式は、ＭＰＥＧによってＭＰＥＧ１ Ａｕｄｉｏとして標準化されており、Ｌａｙｅｒ１〜Ｌａｙｅｒ３の３種類のモードが規定されている。これらの規格としては、例えばＭＰＥＧ１についてのＭＰ３、ＭＰＥＧ２についてのＡＡＣ等があり、またＭＰ３はＩＳＯ／ＩＥＣ（国際標準化機構／国際電気標準会議）１１１７２−３として、さらに、ＭＰＥＧ２−ＡＡＣはＩＳＯ／ＩＥＣ１３８１８−７として、それぞれ、符号化アルゴリズムが標準化されている。
【０００４】
これらの標準化において出されている勧告においては、復号処理に関しては詳細に記述されている反面、符号化処理（エンコード処理）に関しては、符号化アルゴリズムの概要が示されているのみである。これらの勧告された符号化アルゴリズムの概要は、以下の（i）〜（iii）に示す
ようになっている。
【０００５】
（i）符号化装置は、入力されたオーディオ信号を周波数変換する。ここで、オーディオ信号は、マイク、アンプ等によって取得されたオーディオ信号である。
【０００６】
（ii）符号化装置は、周波数変換された周波数成分について、人の聴覚特性を利用して、各周波数帯域に対して許容される量子化誤差（マスキング特性）を決定する。
【０００７】
（iii）符号化装置は、量子化から逆量子化した際に発生する量子化ノイズが、（ii）にて決定されたマスキング特性を下回るように、前記（i）にて変換された各周波数成分と各周波数帯域のゲインとを符号化する。
【０００８】
従って、符号化処理に関しては、オーディオ信号が符号化されたビット列（ビットストリーム）のフォーマット（文法）が勧告に準拠していればよく、オーディオ復号装置は、例えばＩＳＯ規格に準拠したものが用いられる。すなわち、符号化されたビットストリームのフォーマットは、予め決められた復号アルゴリズムに基づいて復号処理できればよく、符号化アルゴリズムの範囲においては比較的自由度がある。このため、各種パラメータを符号化するときに必要なビット数に関する厳密な規定はない。この反面、オーディオ復号装置は勧告に準拠した復号アルゴリズムにのみ対応するので、勧告または仕様により決定された処理と異なる処理はできない。
【０００９】
従来のオーディオ信号符号化方式について図１５から図１８を用いて説明する。図１５は一般的なＭＰＥＧ２−ＡＡＣ方式符号化器のブロック構成図であり、図１６は符号化処理のフローチャートである。本発明が対象とするマスキングレベル適応化はこれらの図の中で聴覚心理モデルに対応する処理であり、その処理に関する従来技術の詳細は図１７、および図１８で説明するものとし、図１５、および図１６の全体処理については簡単に説明する。
【００１０】
図１５、および図１６において、符号化器に入力されたオーディオ信号は、聴覚心理モデル部とＭＤＣＴ（変形離散コサイン）変換部とに与えられる。聴覚心理モデル部による周波数分析の結果として算出されたマスキング閾値特性はビットレート・歪み制御部に与えられ、ＭＤＣＴ変換部の変換結果は音質を向上させるためのオプションツールとしてのＴＮＳ、ＩＳステレオ、およびＭＳステレオに与えられる。
【００１１】
聴覚心理モデル部から出力されるマスキング閾値特性は、各周波数帯域毎に人間が知覚できるレベルを示し、このレベルより入力オーディオ信号のレベルが大きければ音として知覚でき、逆に小さければ音として知覚できないことになる。このマスキング閾値特性は、ピットレート・歪み制御部に与えられ、図１６のフローチャートの後半において行われる符号化処理において発生する量子化ノイズのレベルがこのマスキング閾値を超えないようにすることによって、復号後にこのノイズが知覚されないようにする制御が行われる。従ってＭＰＥＧ２−ＡＡＣ方式のオーディオ符号化器においては、マスキング閾値特性が音質に大きく影響することになる。
【００１２】
すなわち図１６の後半の処理において、各周波数のＭＤＣＴ係数に対して行われる非線形量子化、およびそれに続く逆量子化処理において発生する量子化誤差が許容範囲内、且つ量子化ビット数が図１６のフローチャートの最初において決定された最大量子化ビット数未満となるようにスケールファクタおよびコモンスケールファクタの更新が行われ、符号化ビットストリームが生成される。
【００１３】
図１７、および図１８は、従来の符号化方式における聴覚心理モデル部のブロック構成と処理フローチャートである。聴覚心理モデル部における詳細な処理はＩＳＯ／ＩＥＣ１３８１８−７によって規定されているが、この規定に厳密に従う必要はなく、例えばこの規定では入力オーディオ信号に対するＦＦＴ（高速フーリエ変換）処理を必要とするが、ＦＦＴ処理の処理量が膨大であるため、実際の処理においては図１５、図１６におけるＭＤＣＴ変換処理によって代用することも可能である。
【００１４】
図１７において、入力オーディオ信号はＭＤＣＴ（変形離散コサイン変換）処理において周波数成分であるＭＤＣＴ係数に変換される。入力オーディオ信号が４８ｋＨｚサンプリングの場合は、１０２４個のＭＤＣＴ係数に変換される。次にパワー算出において各ＭＤＣＴ係数の二乗を行いパワーに変換する。次にパワー平均値算出において、聴覚心理分析用のサブバンド単位でＭＤＣＴ係数パワー値の平均値を算出する。聴覚心理分析用のサブバンドはＩＳＯ／ＩＥＣ１３８１８−７のＴａｂｌｅＢ．２．１．９．ａ Ｐｓｙｃｈｏａｃｏｕｓｔｉｃ ｐａｒａｍｅｔｅｒｓ ｆｏｒ ４８ｋＨｚ ｌｏｎｇ ＦＦＴで定義された分割に従う。
【００１５】
各サブバンド毎に算出されたパワー平均値からｓｐｒｅａｄｉｎｇ関数を用いて、任意の周波数の音が近隣の音に与えるマスキングエネルギーが算出される。ここでの処理により入力オーディオ信号のスペクトル状態に応じたマスキングエネルギーｅｎｂ［ｓｂ］が生成される。すなわちｓｐｒｅａｄｉｎｇ関数を用いてある周波数の１本のスペクトルだけでなく、周囲のスペクトルを重みをつけて考慮し、ｅｎｂ［ｓｂ］が求められる。マスキングエネルギーｅｎｂ［ｓｂ］は次の動的マスキング閾値算出においてマスキング閾値ｎｂ［ｓｂ］に変換される。
【００１６】
ここで、マスキング閾値はマスキングされる音が純音であるか雑音であるかによって特性が変化する性質がある。そのため、ｓｐｒｅａｄｉｎｇ関数によって求められたマスキングエネルギーに対しては、より純音らしい音はマスキングレベルを低くし、より雑音らしい音はマスキングレベルが高くなるように重み付けを行う必要がある。この重み付けの係数をトーナリティパラメータ（ｔｂ［ｓｂ］）とする。トーナリティパラメータ（ｔｂ［ｓｂ］）は１．０〜０．０の範囲をとり、純音性が高いときには１．０に近づき、雑音性が高いときには０．０となる。動的マスキング閾値ｎｂ［ｓｂ］はマスキングエネルギーｅｎｂ［ｓｂ］、およびトーナリティパラメータ（ｔｂ［ｓｂ］）を用いて以下の様に与えられる。
【００１７】
ＳＮＲ＝ｔｂ［ｓｂ］＊１８＋（１．０−ｔｂ［ｓｂ］）＊６
ｂｃ＝１０＾（−ＳＮＲ／１０．０）
ｎｂ［ｓｂ］＝ｅｎｂ［ｓｂ］＊ｂｃ
（ｓｂ＝０〜６８）
動的マスキング閾値ｎｂ［ｓｂ］は静的マスキング閾値比較によって、静的マスキング閾値と比較され、両者の値で大きい値が選択される。静的マスキング閾値は入力オーディオ信号が４８ｋＨｚサンプリング時はＩＳＯ／ＩＥＣ１３８１８−７のＴａｂｌｅＢ．２．１．９．ａ Ｐｓｙｃｈｏａｃｏｕｓｔｉｃ ｐａｒａｍｅｔｅｒｓ ｆｏｒ ４８ｋＨｚ ｌｏｎｇ ＦＦＴのｑｓｔｈｒの欄で定義されており、各サブバンド毎にこの値と比較を行う。なお、ｑｓｔｈｒ［ｓｂ］はｄＢ表示（対数表示）であるために、ｎｂ［ｓｂ］との比較の際はｑｓｔｈｒ［ｓｂ］の値をリニアに変換して比較を行う。
【００１８】
静的マスキング閾値比較で処理されたマスキング閾値はサブバンド変換で量子化処理時に適したサブバンドに再分割される。これは聴覚心理モデル分析時に適用されるサブバンドと量子化処理時のサブバンドの分割が異なるためである。量子化処理時に適用されるサブバンドの定義は、入力オーディオ信号が４８ｋＨｚサンプリング時はＩＳＯ／ＩＥＣ１３１８−７のＴａｂｌｅ８．４ ｓｃａｌｅｆａｃｔｏｒ ｂａｎｄ ｆｏｒ ＬＯＮＧ＿ＷＩＮＤＯＷ，ＬＯＮＧ＿ＳＴＡＲＴ＿ＷＩＮＤＯＷ，ＬＯＮＧ＿ＳＴＯＰ＿ＷＩＮＤＯＷ ａｔ ４４．１ｋＨｚ ａｎｄ４８ｋＨｚ で示されている。
【００１９】
ＩＳＯ／ＩＥＣ１３８１８−７では動的マスキング閾値算出で使用されるトーナリティパラメータを算出するためには、入力オーディオ信号をＦＦＴし、そこで得られる各周波数毎の振幅情報および位相情報を使用している。コンパクトな符号化器を実現する際にはＦＦＴの処理は負荷が大きい。そこで、前述のように従来では、符号化処理で必要なＭＤＣＴ係数を聴覚心理モデル分析時にも適用して処理量の削減を行っていた。
【００２０】
しかしながらこのようにＦＦＴ処理の代わりに用いられるＭＤＣＴ処理では、各周波数成分に対するコサイン成分、すなわち振幅情報が算出されるが、位相情報は求められず、このためトーナリティパラメータの算出を行うことができなかったため、動的マスキング閾値の算出処理ではトーナリティパラメータは時間的に一定の定数値として処理が行われていた。そこで入力オーディオ信号の周波数成分が純音性を持つか、雑音性を持つかに対応して適応的にマスキングレベルを調整することができず、純音性の信号に対する符号化処理に当って発生する量子化ノイズが大きくなり、結果的に復号時に音質劣化が生じるという問題点があった。
【００２１】
以上のようなオーディオデータの符号化方式について次の従来技術がある。
【特許文献１】特開２００２−３５１５００号公報 「ディジタルデータの符号化方法」
【００２２】
この文献では、入力オーディオ信号の全周波数範囲に渡ってスペクトルパワーの最大値と平均値から純音性の高低を判定し、マスキング特性を切り替える技術が開示されている。
【００２３】
しかしながら、この技術では純音性の高低が全周波数帯域に渡って判定され、その判定結果に対応して全周波数帯域に渡って平坦な平坦マスキング特性と、ＲＯＭ化された基準マスキング特性のいずれかが用いられるため、入力オーディオ信号のパワースペクトルがどの周波数帯域にピークを持つかなどの周波数特性や、その時間的変化に対応して柔軟にマスキング閾値特性の適応化を行うことができないという問題点を解決することができなかった。
【発明の開示】
【発明が解決しようとする課題】
【００２４】
本発明の課題は、上述の問題点に鑑み、入力オーディオ信号のパワースペクトルの各周波数帯域における純音性の高低を判定して、動的マスキング閾値特性を適応的に調整することによって量子化ノイズのレベルを最適化し、オーディオ信号符号化における音質向上を実現することである。
【課題を解決するための手段】
【００２５】
図１は、本発明のオーディオ信号符号化装置の原理構成ブロック図である。同図において符号化装置１は、スペクトルパワー算出手段２、トーナリティパラメータ算出手段３、および動的マスキング閾値算出手段４を備える。
【００２６】
スペクトルパワー算出手段２は入力オーディオ信号を周波数分析した結果の各スペクトルのパワーを算出するものであり、トーナリティパラメータ算出手段３はスペクトルパワーの算出結果を用いて、入力オーディオデータのスペクトルの周波数範囲を複数のサブバンドに分割したときの各サブバンドにおける入力オーディオデータの純音性を示すトーナリティパラメータを算出するものであり、動的マスキング閾値算出手段４は算出されたトーナリティパラメータを用いて入力オーディオ信号のマスキングエネルギーに対する動的マスキング閾値を算出するものである。
【００２７】
ここでトーナリティパラメータ算出手段３は、前述の複数のサブバンドのそれぞれにおけるスペクトルパワーの総和ＳSと、各サブバンド内に存在するスペクトルパワーの最大値とそのサブバンドの幅との積ＳMとを求め、ＳS／ＳMの値に対応して、トーナリティパラメータを求める。
【００２８】
また実施の形態においては、トーナリティパラメータ算出手段３が前述のＳS／ＳMの値が小さいときにトーナリティパラメータを大きくし、その値が大きいときにトーナリティパラメータを小さくすることもでき、またこのＳS／ＳMの値の範囲を複数に分割し、分割された複数の範囲のそれぞれに対応して、それぞれ一定のトーナリティパラメータを決定することもできる。さらに前述の複数のサブバンドとして入力オーディオデータのスペクトル周波数範囲を低域、中域、および高域の３つのサブバンドに分割することもできる。
【００２９】
また実施の形態においては、動的マスキング閾値算出手段４がトーナリティパラメータが大きいときに動的マスキング閾値を低くし、トーナリティパラメータが小さいときに動的マスキング閾値を高くすることもできる。
【００３０】
次に本発明のオーディオ信号符号化プログラムは、入力オーディオ信号を周波数分析した結果の各スペクトルのパワーを算出する手順と、その算出結果を用いて入力オーディオデータのスペクトル周波数範囲を複数のサブバンドに分割した時の各サブバンドにおける入力オーディオデータの純音性を示すトーナリティパラメータを算出する手順と、算出されたトーナリティパラメータを用いて入力オーディオ信号のマスキングエネルギーに対する動的マスキング閾値を算出する手順とを計算機に実行させるものである。
【００３１】
発明の実施の形態においては、このプログラムが格納された計算機読出し可能可搬型記憶媒体、およびこのプログラムに対応するオーディオ信号符号化方法が用いられる。
【発明の効果】
【００３２】
本発明によれば、入力オーディオ信号のスペクトル周波数範囲を複数のサブバンドに分割して、各サブバンドにおける入力オーディオデータの純音性を示すトーナリティパラメータを求めてマスキング閾値特性の適応化を行うことが可能になり、量子化雑音の大きさを低減させるオーディオ信号符号化、および復号時における音質向上に寄与するところが大きい。
【発明を実施するための最良の形態】
【００３３】
まず本発明における入力オーディオ信号の純音性判定方式について図２、および図３を用いて説明する。図２は、純音性が高いサブバンドの例であり、サブバンドの周波数幅Ｗの中におけるスペクトルのうちで最大のスペクトルのパワーの値をＨとし、ＷとＨとの積をＳMで表し、スペクトルの大きさの合計面積をＳSとすると、図２ではＳSとＳMとの比が小さくなり、純音性が高いものと判定される。
【００３４】
これに対して図３では、ＳSとＳMとの比は大きくなり、純音性が低い、すなわち雑音性が高いものと判定される。
図４は本発明における視聴覚心理モデル部のブロック構成を示し、図５は聴覚心理モデル部による処理のフローチャートを示す。これらの図を従来例における図１７、および図１８と対比させて説明する。
【００３５】
図４においてはＭＤＣＴ処理１０からサブバンド変換１６までの処理は、動的マスキング閾値算出１４における算出方法が従来技術と一部異なる、すなわちトーナリティ判定用サブバンドの分割に応じて各サブバンドに対応するトーナリティパラメータが用いられる点を除いて、他の部分の処理は同様である。
【００３６】
図１７、および図１８の従来技術と異なる処理は、図４では最大値検出２０から純音性判定２４までのブロックであり、図５ではステップＳ１０、すなわち最大値検出からステップＳ１４の純音性判定までの処理である。
【００３７】
まずパワー算出１１によって求められた各スペクトルパワーの値を用いて、純音性を判定するために複数のサブバンド、本実施形態では３つのサブバンドのそれぞれについてスペクトルパワーの最大値検出２０が行われる。サブバンドの分け方については後述する。
【００３８】
続いてサブバンド最大面積計算２１において前述のＳM［ｉ］が求められ、スペクトル面積計算２２によって前述の合計面積ＳS［ｉ］が求められる。ここでｉはサブバンドのインデックス、すなわち番号である。続いて面積比計算２３によってＳS［ｉ］とＳM［ｉ］との比が計算され、純音性判定２４によってその比Ｒ［ｉ］の値に対応して純音性を示すトーナリティパラメータｔｂ［ｉ］の値が算出される。この算出については後述する。
【００３９】
図４の動的マスキング閾値算出１４においては、従来技術と同様に算出されたマスキングエネルギーｅｎｂ［ｓｂ］（ｓｂ＝０〜６８）に対応して、トーナリティパラメータｔｂ［ｉ］（ｉ＝０〜２）を使用して動的マスキング閾値ｎｂ［ｓｂ］（ｓｂ＝０〜６８）が次式によって算出される。なおｓｂの値による式の区分は図６で説明するサブバンドの分割に対応する。
【００４０】
ｉｆ（ｓｂ＜１０）ｔｈｅｎ ｔｂ＝ｔｂ［０］
ｅｌｓｅ ｉｆ（ｓｂ＜３０）ｔｈｅｎ ｔｂ＝ｔｂ［１］
ｅｌｓｅ（ｓｂ≧３０）ｔｈｅｎ ｔｂ＝ｔｂ［２］
ＳＮＲ＝ｔｂ＊１８＋（１．０−ｔｂ）＊６
ｂｃ＝１０＾（−ＳＮＲ／１０．０）
ｎｂ［ｓｂ］＝ｅｎｂ［ｓｂ］＊ｂｃ
（ｓｂ＝０〜６８）
なお図５ではステップＳ４の処理の後にステップＳ１０の最大値検出が行われているが、図４と比較することにより、ステップＳ２の処理の後にステップＳ１０からＳ１４の処理をステップＳ３、Ｓ４の処理と遂行して実行可能であることがわかる。
【００４１】
続いて本実施形態における聴覚心理モデル処理の詳細について、図６に示す純音性判定用のサブバンド設定の具体例を用いて図７から図１３によって説明する。図６においては、入力オーディオ信号４８ｋＨｚサンプリング時に、１０２４個のＭＤＣＴ係数が得られたものとする。この１０２４個のＭＤＣＴ係数に対するスペクトルパワーが聴覚心理モデル分析用に６９個のサブバンド（Ｐ０−Ｐ６８）に分けられる。なおこの１０２４の個数はＭＤＣＴにおけるポイント数に相当する。
【００４２】
このサブバンドの詳細についてはＩＳＯ／ＩＥＣ１３８１８−７のＴａｂｌｅＢ．２．１．９．ａ Ｐｓｙｃｈｏａｃｏｕｓｔｉｃ ｐａｒａｍｅｔｅｒｓ ｆｏｒ ４８ｋＨｚ ｌｏｎｇ ＦＦＴと同様である。
【００４３】
トーナリティ判定用のサブバンドとしては聴覚心理分析用サブバンドのＰ０〜Ｐ９，Ｐ１０〜Ｐ２９，Ｐ３０〜Ｐ６８をそれぞれ１個のサブバンドとし、全体を３個のサブバンドに分ける。
【００４４】
このとき、それぞれのサブバンドのバンド幅Ｗ［０］〜Ｗ［２］の大きさはそのサブバンドに存在するＭＤＣＴ係数の本数とする。
つまり、Ｗ［０］＝２０（ｉ０〜ｉ１９）
Ｗ［１］＝５４（ｉ２０〜ｉ７３）
Ｗ［２］＝９５０（ｉ７４〜ｉ１０２３）
となる。
【００４５】
ここで１０２４個のＭＤＣＴ係数をｍｄｃｔ＿ｌｉｎｅ［ｉ］（ｉ＝０〜１０２３）としたとき、各トーナリティ判定用のサブバンドにおけるスペクトル総和面積Ｓｓ［０］〜Ｓｓ［２］は、
【００４６】
【数１】
【００４７】
となる。
また、各トーナリティ判定用のサブバンドにおけるＭＤＣＴ係数パワー最大値Ｈ［０］〜Ｈ［２］は
Ｈ［０］＝ｍａｘ（ｍｄｃｔ＿ｌｉｎｅ［ｉ］＊ｍｄｃｔ＿ｌｉｎｅ［ｉ］） （ｉ＝０〜１９）
Ｈ［１］＝ｍａｘ（ｍｄｃｔ＿ｌｉｎｅ［ｉ］＊ｍｄｃｔ＿ｌｉｎｅ［ｉ］） （ｉ＝２０〜７３）
Ｈ［２］＝ｍａｘ（ｍｄｃｔ＿ｌｉｎｅ［ｉ］＊ｍｄｃｔ＿ｌｉｎｅ［ｉ］） （ｉ＝７４〜１０２３）
となり、各トーナリティ判定用サブバンドにおける最大面積ＳM［０］〜ＳM［２］は、
ＳM［ｉ］＝Ｗ［ｉ］＊Ｈ［ｉ］ （ｉ＝０〜２）
となる。
【００４８】
また、各トーナリティ判定用のサブバンドにおける面積比Ｒ［ｉ］は、
Ｒ［ｉ］＝ＳS［ｉ］／ＳM［ｉ］ （ｉ＝０〜２）
と表せる。
【００４９】
図７は最大値検出処理の詳細フローチャートである。同図において処理が開始されると、まずステップＳ２０で番号０のサブバンドにおけるスペクトルパワーの最大値を示すｍａｘ［０］の値が０に初期化され、ステップＳ２１からステップＳ２６で、聴覚心理モデル分析用の６９個のサブバンドのうちのサブバンド番号ｓｂ＝０から始めて、１０未満のｓｂに対する処理が繰り返される。
【００５０】
ステップＳ２２では、ｗｌｏｗ（ｓｂ）の値から初めてｗｌｏｗ（ｓｂ＋１）の値未満のｉに対して、ｉをインクリメントさせながらステップＳ２５までの処理が行われる。このｗｌｏｗ（ｓｂ）は０から６８の６９個のサブバンドのそれぞれに含まれる複数のスペクトルのうちで、最も番号の小さいスペクトルの番号を示す。
【００５１】
図８はこのｗｌｏｗの値を示すものである。図６と比較することによって、例えばｓｂ＝０のサブバンドに対してはその値は０、ｓｂ＝１のサブバンドに対しては２であり、また例えばｓｂ＝１０、すなわちサブバンドＰ１０に対するｗｌｏｗの値は１１番目の値、すなわち２０である。
【００５２】
ステップＳ２３ではｗｌｏｗ（ｓｂ）の値で最も小さい番号のスペクトルが決定されるサブバンドの中のスペクトルパワーのそれぞれについて、その大きさｒｗ［ｉ］がｍａｘ［０］の値を超えているか否かが判定され、超えている場合にはステップＳ２４でｍａｘ［０］の値がこのスペクトルパワーのｒｗ［ｉ］の値に置き換えられた後に、また超えていない場合には直ちにｉの値がインクリメントされて、ステップＳ２２以降の処理が行われる。これによって、ステップＳ２０からステップＳ２６において、トーナリティ判定用の３つのサブバンドのうち最も低域側のサブバンド（ｉ＝０）のサブバンドにおける最大値Ｈ［０］＝ｍａｘ［０］の検出処理が終了する。
【００５３】
ステップＳ３０からステップＳ３６は、図６のトーナリティ判定用サブバンドのうち、中域のサブバンドに対する最大値検出処理であり、ステップＳ４０からＳ４６は高域のサブバンドに対する最大値検出処理を示す。その内容は、低域のサブバンドに対応するステップＳ２０からＳ２６における処理と同様である。
【００５４】
図９は各サブバンドに対応するスペクトル面積計算処理の詳細フローチャートである。同図において処理が開始されると、まずステップＳ４８で３つのサブバンドに対応するスペクトル面積ＳSの値がすべて０に初期化された後に、ステップＳ５０からＳ５４で低域、ステップＳ５５からＳ５９で中域、ステップＳ６０からＳ６４で高域のトーナリティ判定用のサブバンドに対するスペクトル面積計算処理が行われる。
【００５５】
ステップＳ５０からＳ５４で、聴覚心理分析用サブバンドの番号ｓｂが０のサブバンドから、サブバンド番号をインクリメントさせながら、ｓｂの値が１０未満のサブバンドに対する処理が行われる。この処理では、ステップＳ５１からＳ５３でそのサブバンドに対応する前述のｗｌｏｗの値に対応するｉをインクリメントさせながら、ｗｌｏｗ（ｓｂ＋１）未満のｉに対してそのサブバンドの内部における各スペクトルのスペクトルパワーｒｗ［ｉ］が次々とＳS［０］に加算される処理が行われる。ステップＳ５５からＳ５９、およびステップＳ６０からＳ６４までの処理は、ステップＳ５０からＳ５４における処理と同様である。
【００５６】
図１０はサブバンド最大面積計算処理の詳細フローチャートである。ステップＳ６６では、図６におけるトーナリティ判定用の３つのサブバンドのうちで、低域のサブバンドに対するサブバンド最大面積の値が求められる。すなわちこのサブバンドにおけるスペクトルパワーの最大値ｍａｘ［０］と、ｗｌｏｗ［１０］、すなわち図６で聴覚心理分析用サブバンドＰ１０の中で最も小さいスペクトル番号２０との積によって、最大面積ＳM［０］の値が計算される。
【００５７】
ステップＳ６７では、中域のサブバンドに対する最大面積が、ステップＳ６８では高域のサブバンドに対する最大面積が求められる。例えばステップＳ６７では、中域のサブバンドにおけるスペクトルパワーの最大値ｍａｘ［１］に対してｗｌｏｗ［３０］とｗｌｏｗ［１０］との差が乗算されて、ＳM［１］の値が求められる。ここでｗｌｏｗ［３０］の値は図６において７４であり、これから前述のｗｌｏｗ［１０］の値２０を減算することによって中域のサブバンドに含まれるスペクトルの本数が求められる。
【００５８】
図１１は面積比計算・純音性判定処理の詳細フローチャートである。同図の処理を図１２のトーナリティパラメータの具体例を用いて説明する。図１１において処理が開始されると、まずステップＳ７０からＳ７４の処理が、トーナリティ判定用サブバンドの番号を示すｉの値が０からインクリメントされながら、３未満のｉの値に対して繰り返される。この処理ではまずステップＳ７１でスペクトル面積ＳS［ｉ］と、サブバンド最大面積ＳM［ｉ］との比Ｒ［ｉ］が求められ、ステップＳ７２でトーナリティパラメータｔｂ［ｉ］の値が１．０とされ、ステップＳ７３でＲ［ｉ］が０．１を超えているか否かが判定される。
【００５９】
図１２のトーナリティパラメータの具体例においては、Ｒ［ｉ］の値が０から０．１の範囲では純音性が高いものとしてトーナリティパラメータの値が１．０とされる。図１１のステップＳ７２でトーナリティパラメータの値として１．０が設定されているために、Ｒ［ｉ］の値が０．１を超えている場合には、トーナリティパラメータの値として１．０より低い値を設定しなければならないため、面積比Ｒ［ｉ］の値が０．１を超えていなければｉの値をインクリメントしてステップＳ７０以降の処理が行われるが、０．１を超えている場合にはステップＳ７５の処理に移行する。
【００６０】
ステップＳ７５ではトーナリティパラメータの値が０．５に設定され、ステップＳ７６で面積比が０．５を超えているか否かが判定される。０．５を超えている場合にはトーナリティパラメータの値として０．５より小さい値を設定しなければならないため、超えていない場合にはｉの値をインクリメントさせてステップＳ７０以降の処理が行われるが、超えている場合にはステップＳ７７の処理に移行する。
【００６１】
ステップＳ７７ではトーナリティパラメータの値が０．２に設定され、ステップＳ７８で面積比が０．８を超えているか否かが判定され、０．８を超えていない場合にはｉをインクリメントさせてステップＳ７０以降の処理が行われるが、超えている場合にはステップＳ７９でトーナリティパラメータの値として０．０が設定された後に、ｉをインクリメントさせてステップＳ７０以降の処理が行われる。
【００６２】
図１３は動的マスキング閾値算出処理の詳細フローチャートである。同図においては前述の式に対応する処理が行われる。ステップＳ８１からＳ８７で、聴覚心理分析用サブバンドの番号ｓｂ＝０から始めて、その値をインクリメントさせながら６９未満のｓｂの値のサブバンドに対する処理が行われる。
【００６３】
この処理では、まずステップＳ８２でｓｂの値が１０未満であるか否かが判定され、１０未満である時には図６における低域のトーナリティ判定用サブバンドに対する処理を行うために、ステップＳ８３で低域のサブバンドに対するトーナリティ係数ｔｂ［０］の値がｔｂの値とされ、ステップＳ８４からＳ８６において動的マスキング閾値ｎｂ［ｓｂ］の計算が行われる。
【００６４】
ステップＳ８２でｓｂの値が１０未満でないと判定されると、ステップＳ８８でその値が３０未満であるか否かが判定される。３０未満である時には図６の中域のサブバンドに対する計算を行うべきことになり、ステップＳ８９で中域のトーナリティパラメータｔｂ［１］の値がｔｂの値とされた後に、また３０未満でない時にはステップＳ９０で高域のサブバンドに対するトーナリティパラメータｔｂ［２］の値がｔｂの値とされた後に、ステップＳ８４以降の処理が実行される。
【００６５】
前述のマスキング閾値ｎｂ［ｓｂ］の算出式において、ｔｂ［ｉ］が０．０に近い時（雑音性が高い）よりも、１．０に近い方がＳＮＲの値が大きくなって係数ｂｃの値が小さくなり、純音性の信号の時は雑音性の信号の時よりもｅｎｂ［ｓｂ］の大きさを下げる幅が大きくなる。この動作により純音性が高いほどそのサブバンドにおける動的マスキング閾値が低くなり、また、雑音性の高い信号の時はそのサブバンドにおける動的マスキング閾値は純音性の高い信号のそれよりも大きい閾値となる。この動作により、入力オーディオ信号の純音性・雑音性に応じてマスキング閾値を動的に補正することが可能となり、純音性が高いときは符号化処理における許容量子化誤差が小さくなるために量子化ノイズの低減を行うことが可能となる。
【００６６】
以上において本発明のオーディオ信号符号化装置および符号化プログラムについてその詳細を説明したが、この符号化装置は当然一般的なコンピュータシステムを基本として構成することが可能である。図１４はそのようなコンピュータシステム、すなわちハードウェア環境の構成ブロック図である。
【００６７】
図１４においてコンピュータシステムは中央処理装置（ＣＰＵ）２０、リードオンリメモリ（ＲＯＭ）２１、ランダムアクセスメモリ（ＲＡＭ）２２、通信インタフェース２３、記憶装置２４、入出力装置２５、可搬型記憶媒体の読取り装置２６、およびこれらの全てが接続されたバス２７によって構成されている。
【００６８】
記憶装置２４としてはハードディスク、磁気ディスクなど様々な形式の記憶装置を使用することができ、このような記憶装置２４、またはＲＯＭ２１に図５、図７、図９〜図１１、図１３などのフローチャートに示されたプログラムや、本発明の特許請求の範囲の請求項５のプログラムなどが格納され、そのようなプログラムがＣＰＵ２０によって実行されることにより、本実施形態におけるサブバンド毎の純音性判定、その判定結果に基づく動的マスキング閾値の適応化による音質向上が可能となる。
【００６９】
このようなプログラムは、プログラム提供者２８からネットワーク２９、および通信インタフェース２３を介して、例えば記憶装置２４に格納されることも、また市販され、流通している可搬型記憶媒体３０に格納され、読取り装置２６にセットされて、ＣＰＵ２０によって実行されることも可能である。可搬型記憶媒体３０としてはＣＤ−ＲＯＭ、フレキシブルディスク、光ディスク、光磁気ディスク、ＤＶＤなど様々な形式の記憶媒体を使用することができ、このような記憶媒体に格納されたプログラムが読取り装置２６によって読取られることにより、本実施形態におけるサブバンド毎の純音性判定などが可能となる。
【００７０】
以上説明したとおり、本発明によればＭＤＣＴ係数のみから入力オーディオ信号の純音性・雑音性を判定し、それに応じて聴覚心理モデル処理の出力であるマスキング閾値特性に対して、純音性信号・雑音性信号に応じた補正を行うことが可能になる。このことにより、オーディオ符号化処理における量子化雑音の大きさを低減でき、オーディオ符号化・復号機器の音質向上に寄与できる。
【００７１】
（付記１） オーディオ信号を符号化する符号化装置であって、
入力オーディオ信号を周波数分析した結果の各スペクトルのパワーを算出するスペクトルパワー算出手段と、
該算出結果を用いて、入力オーディオ信号のスペクトルの周波数範囲を複数のサブバンドに分割した時の各サブバンドにおける入力オーディオ信号の純音性を示すトーナリティパラメータを算出するトーナリティパラメータ算出手段と、
該算出されたトーナリティパラメータを用いて入力オーディオ信号のマスキングエネルギーに対する動的マスキング閾値を算出する動的マスキング閾値算出手段とを備えることを特徴とするオーディオ信号符号化装置。
【００７２】
（付記２） 前記トーナリティパラメータ算出手段が、
前記サブバンドのそれぞれにおけるスペクトルパワーの総和ＳSと、サブバンド内に存在するスペクトルパワーの最大値とサブバンドの幅との積ＳMとを求め、ＳS／ＳMの値に対応して、トーナリティパラメータの値を求めることを特徴とする付記１記載のオーディオ信号符号化装置。
【００７３】
（付記３） 前記トーナリティパラメータ算出手段が、
前記ＳS／ＳMの値が小さいときにトーナリティパラメータの値を大きくし、ＳS／ＳMの値が大きいときにトーナリティパラメータの値を小さくすることを特徴とする付記２記載のオーディオ信号符号化装置。
【００７４】
（付記４） 前記トーナリティパラメータ算出手段が、
前記ＳS／ＳMの値の範囲を複数に分割し、該分割された複数の範囲のそれぞれに対して、一定のトーナリティパラメータの値を決定することを特徴とする付記３記載のオーディオ信号符号化装置。
【００７５】
（付記５） 前記トーナリティパラメータ算出手段が、
前記入力オーディオ信号のスペクトルの周波数範囲を低域、中域、および高域の３つのサブバンドに分割してトーナリティパラメータの値を算出することを特徴とする付記１記載のオーディオ信号符号化装置。
【００７６】
（付記６） 前記動的マスキング閾値算出手段が、
前記トーナリティパラメータの値が大きいときに動的マスキング閾値を低くし、トーナリティパラメータの値が小さいときに動的マスキング閾値を高くすることを特徴とする付記１記載のオーディオ信号符号化装置。
【００７７】
（付記７） オーディオ信号を符号化する計算機によって用いられるプログラムであって、
入力オーディオ信号を周波数分析した結果の各スペクトルのパワーを算出する手順と、
該算出結果を用いて、入力オーディオ信号のスペクトルの周波数範囲を複数のサブバンドに分割した時の各サブバンドにおける入力オーディオ信号の純音性を示すトーナリティパラメータを算出する手順と、
該算出されたトーナリティパラメータを用いて入力オーディオ信号のマスキングエネルギーに対する動的マスキング閾値を算出する手順とを計算機に実行させるためのオーディオ信号符号化プログラム。
【００７８】
（付記８） 前記トーナリティパラメータ算出の手順において、
前記サブバンドのそれぞれにおけるスペクトルパワーの総和ＳSと、サブバンド内に存在するスペクトルパワーの最大値とサブバンドの幅との積ＳMとを求め、ＳS／ＳMの値に対応して、トーナリティパラメータの値を求めることを特徴とする付記７記載のオーディオ信号符号化プログラム。
【００７９】
（付記９） オーディオ信号を符号化する計算機によって用いられる記憶媒体であって、
入力オーディオ信号を周波数分析した結果の各スペクトルのパワーを算出するステップと、
該算出結果を用いて、入力オーディオ信号のスペクトルの周波数範囲を複数のサブバンドに分割した時の各サブバンドにおける入力オーディオ信号の純音性を示すトーナリティパラメータを算出するステップと、
該算出されたトーナリティパラメータを用いて入力オーディオ信号のマスキングエネルギーに対する動的マスキング閾値を算出するステップとを計算機に実行させるためのオーディオ信号符号化プログラムを格納した計算機読出し可能可搬型記憶媒体。
【００８０】
（付記１０） オーディオ信号を符号化する方法であって、
入力オーディオ信号を周波数分析した結果の各スペクトルのパワーを算出し、
該算出結果を用いて、入力オーディオ信号のスペクトルの周波数範囲を複数のサブバンドに分割した時の各サブバンドにおける入力オーディオ信号の純音性を示すトーナリティパラメータを算出し、
該算出されたトーナリティパラメータを用いて入力オーディオ信号のマスキングエネルギーに対する動的マスキング閾値を算出することを特徴とするオーディオ信号符号化方法。
【図面の簡単な説明】
【００８１】
【図１】本発明のオーディオ信号符号化装置の原理構成ブロック図である。
【図２】純音性の高いサブバンドの例を示す図である。
【図３】純音性の低いサブバンドの例を示す図である。
【図４】本実施形態における聴覚心理モデルのブロック構成を示す図である。
【図５】本実施形態における聴覚心理モデル処理のフローチャートである。
【図６】トーナリティ判定用のサブバンド設定の具体例を示す図である。
【図７】サブバンド内の最大値検出処理の詳細フローチャートである。
【図８】聴覚心理分析用サブバンドのそれぞれの内部の最も小さいスペクトル番号の説明図である。
【図９】スペクトル面積計算処理の詳細フローチャートである。
【図１０】サブバンド最大面積計算処理の詳細フローチャートである。
【図１１】面積比計算・純音性判定処理の詳細フローチャートである。
【図１２】トーナリティパラメータ設定の具体例を示す図である。
【図１３】動的マスキング閾値算出処理の詳細フローチャートである。
【図１４】本発明におけるプログラムのコンピュータへのローディングを説明する図である。
【図１５】ＡＡＣ符号化器の従来例の構成を示すブロック図である。
【図１６】ＡＡＣ符号化器の従来例における処理フローチャートである。
【図１７】聴覚心理モデル部の従来例の構成を示すブロック図である。
【図１８】聴覚心理モデル部の従来例の処理フローチャートである。
【符号の説明】
【００８２】
１ オーディオ信号符号化装置
２ スペクトルパワー算出手段
３ トーナリティパラメータ算出手段
４ 動的マスキング閾値算出手段
１０ ＭＤＣＴ処理
１１ パワー算出
１２ パワー平均値算出
１３ ｓｐｒｅａｄｉｎｇ関数
１４ 動的マスキング閾値算出
１５ 静的マスキング閾値比較
１６ サブバンド変換
２０ 最大値検出
２１ サブバンド最大面積計算
２２ スペクトル面積計算
２３ 面積比計算
２４ 純音性判定
【特許請求の範囲】
【請求項１】
オーディオ信号を符号化する符号化装置であって、
入力オーディオ信号を周波数分析した結果の各スペクトルのパワーを算出するスペクトルパワー算出手段と、
該算出結果を用いて、入力オーディオ信号のスペクトルの周波数範囲を複数のサブバンドに分割した時の各サブバンドにおける入力オーディオ信号の純音性を示すトーナリティパラメータを算出するトーナリティパラメータ算出手段と、
該算出されたトーナリティパラメータを用いて入力オーディオ信号のマスキングエネルギーに対する動的マスキング閾値を算出する動的マスキング閾値算出手段とを備えることを特徴とするオーディオ信号符号化装置。
【請求項２】
前記トーナリティパラメータ算出手段が、
前記サブバンドのそれぞれにおけるスペクトルパワーの総和ＳSと、サブバンド内に存在するスペクトルパワーの最大値とサブバンドの幅との積ＳMとを求め、ＳS／ＳMの値に対応して、トーナリティパラメータの値を求めることを特徴とする請求項１記載のオーディオ信号符号化装置。
【請求項３】
前記トーナリティパラメータ算出手段が、
前記ＳS／ＳMの値が小さいときにトーナリティパラメータの値を大きくし、ＳS／ＳMの値が大きいときにトーナリティパラメータの値を小さくすることを特徴とする請求項２記載のオーディオ信号符号化装置。
【請求項４】
前記動的マスキング閾値算出手段が、
前記トーナリティパラメータの値が大きいときに動的マスキング閾値を低くし、トーナリティパラメータの値が小さいときに動的マスキング閾値を高くすることを特徴とする請求項１記載のオーディオ信号符号化装置。
【請求項５】
オーディオ信号を符号化する計算機によって用いられるプログラムであって、
入力オーディオ信号を周波数分析した結果の各スペクトルのパワーを算出する手順と、
該算出結果を用いて、入力オーディオ信号のスペクトルの周波数範囲を複数のサブバンドに分割した時の各サブバンドにおける入力オーディオ信号の純音性を示すトーナリティパラメータを算出する手順と、
該算出されたトーナリティパラメータを用いて入力オーディオ信号のマスキングエネルギーに対する動的マスキング閾値を算出する手順とを計算機に実行させるためのオーディオ信号符号化プログラム。
【請求項１】
オーディオ信号を符号化する符号化装置であって、
入力オーディオ信号を周波数分析した結果の各スペクトルのパワーを算出するスペクトルパワー算出手段と、
該算出結果を用いて、入力オーディオ信号のスペクトルの周波数範囲を複数のサブバンドに分割した時の各サブバンドにおける入力オーディオ信号の純音性を示すトーナリティパラメータを算出するトーナリティパラメータ算出手段と、
該算出されたトーナリティパラメータを用いて入力オーディオ信号のマスキングエネルギーに対する動的マスキング閾値を算出する動的マスキング閾値算出手段とを備えることを特徴とするオーディオ信号符号化装置。
【請求項２】
前記トーナリティパラメータ算出手段が、
前記サブバンドのそれぞれにおけるスペクトルパワーの総和ＳSと、サブバンド内に存在するスペクトルパワーの最大値とサブバンドの幅との積ＳMとを求め、ＳS／ＳMの値に対応して、トーナリティパラメータの値を求めることを特徴とする請求項１記載のオーディオ信号符号化装置。
【請求項３】
前記トーナリティパラメータ算出手段が、
前記ＳS／ＳMの値が小さいときにトーナリティパラメータの値を大きくし、ＳS／ＳMの値が大きいときにトーナリティパラメータの値を小さくすることを特徴とする請求項２記載のオーディオ信号符号化装置。
【請求項４】
前記動的マスキング閾値算出手段が、
前記トーナリティパラメータの値が大きいときに動的マスキング閾値を低くし、トーナリティパラメータの値が小さいときに動的マスキング閾値を高くすることを特徴とする請求項１記載のオーディオ信号符号化装置。
【請求項５】
オーディオ信号を符号化する計算機によって用いられるプログラムであって、
入力オーディオ信号を周波数分析した結果の各スペクトルのパワーを算出する手順と、
該算出結果を用いて、入力オーディオ信号のスペクトルの周波数範囲を複数のサブバンドに分割した時の各サブバンドにおける入力オーディオ信号の純音性を示すトーナリティパラメータを算出する手順と、
該算出されたトーナリティパラメータを用いて入力オーディオ信号のマスキングエネルギーに対する動的マスキング閾値を算出する手順とを計算機に実行させるためのオーディオ信号符号化プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２００６−１８０２３（Ｐ２００６−１８０２３Ａ）
【公開日】平成１８年１月１９日（２００６．１．１９）
【国際特許分類】
【出願番号】特願２００４−１９５７１３（Ｐ２００４−１９５７１３）
【出願日】平成１６年７月１日（２００４．７．１）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成１８年１月１９日（２００６．１．１９）
【国際特許分類】
【出願日】平成１６年７月１日（２００４．７．１）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]