ノイズ削減装置
【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、ディジタル携帯電話やマルチメディア通信等に必要な音声符号化・復号化装置（音声コーデック）や、機器のガイド音声出力等に必要な音声合成装置を構成するための、ディジタル音声信号を処理する装置に関するものである。
【０００２】
【従来の技術】携帯電話等のディジタル移動通信の分野では加入者の増加に対処するために低ビットレートの音声の圧縮符号化法が求められており、各研究機関において研究開発が進んでいる。日本国内においてはモトローラ社の開発したビットレート１１．２ｋｂｐｓのＶＳＥＬＰという符号化法がディジタル携帯電話用の標準符号化方式として採用された。（同方式を搭載したディジタル携帯電話は１９９４年秋に国内において発売された。）また更に、ＮＴＴ移動通信網株式会社の開発したビットレート５．６ｋｂｐｓのＰＳＩ−ＣＥＬＰという符号化方式が次期携帯電話の標準化方式として採用され、現在製品開発の段階にある。これらの方式はいずれもＣＥＬＰ（Ｃｏｄｅ Ｅｘｉｔｅｄ Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｏｎ）方式を改良したものである。これは音声を音源情報と声道情報とに分離し、音源情報については符号帳に格納された複数の音源サンプルのインデクスによって符号化し声道情報についてはＬＰＣ（線形予測係数）を符号化するということと、音源情報符号化の際には声道情報を加味して入力音声と比較を行なうという方法（Ａ−ｂ−Ｓ：Ａｎａｌｙｓｉｓ ｂｙ Ｓｙｎｔｈｅｓｉｓ）を採用していることに特徴がある。
【０００３】上記技術により非常に低ビットレートで音声信号を伝送することができるようになったが、それと共に大きな問題点が明らかになった。それは、音声の発声モデルに基づいて情報圧縮を行っているために、音声信号以外の音響信号に対応できないという点である。そのため、音声信号中に背景ノイズや機器ノイズが含まれていると、効率の良い符号化ができず、合成時（復号化時）に異音を生じる結果となっていた。この問題を解決するために、従来より入力音声信号からノイズを削減する手法が検討されてきた。上記標準化方式のＰＳＩ−ＣＥＬＰでは、符号化を行う前にノイズキヤンセラによってノイズを削減するという処理を行っている。上記ノイズキャンセラは、カルマンフィルタを基本として開発されており、音声の有無を検出して適応的に制御を行うことによりノイズを低減させている。このノイズキャンセラによって、ある程度の背景ノイズを削減することができる。しかし、ノイズレベルの高いノイズや、音声中のノイズ等に対しては余り良い性能が得られていなかった。
【０００４】一方、より強力なノイズ低減法として、スペクトルサブトラクション法が（「サスペンション・オブ・アコースティック・ノイズ・イン・スピーチ・ユージング・スペクトラル・サブストラクション」エス．エフ．ボール著、アイ．イー．イー．イー．トランス．エー．エス．エス．ピー．（S.F.Boll "Suppression ofAcoustic Noise in Speech Using Spectral Subtraction",IEEE Trans.ASSP.,Vol.27,No.2,pp113-120,1979））に記載されている。これは、入力音声信号に対して離散フーリエ変換を行ないスペクトルに変換した後、ノイズをスペクトル上で減ずる方法であり、主に音声認識装置の入力部等に応用されている。この方法を音声信号中のノイズ低減に応用した一例について図３を用いて説明する。まず、ノイズスペクトルの推定は次の手順で行われる。まず、音声を含んでいないノイズのみの信号３１を入力し、Ａ／Ｄ変換部３２においてディジタル信号に変換する。次に一定時間の入力信号列（フレームと呼ぶ）に対して離散フーリエ変換をフーリエ変換部３３で行い、ノイズのスペクトルを求める。そして、これを複数のフレームに対して求めたノイズのスペクトルからノイズの平均的スペクトルをノイズ分析部３４で求め、これをノイズスペクトル格納部３５に格納する。そして、ノイズの削減は以下の手順で行われる。まず、ノイズを含む音声信号３６を入力し、Ａ／Ｄ変換部３７においてディジタル信号に変換する。次に、上記と同様にして離散フーリエ変換をフーリエ変換部３８で行い、ノイズを含んだ音声のスペクトルを求める。そしてノイズ削減部３９で、ノイズスペクトル格納部３５に格納されたノイズスペクトルを音声のスペクトルから減ずる。そして、その結果得られたスペクトルに対して逆フーリエ変換を逆フーリエ変換部４０で行い、出力信号４１を得る。なお、このアルゴリズムにおけるスペクトルとしては振幅スペクトル（複素数の複素平面上でのノルム、実数部と虚数部を２乗して加算し、平方根をとることによって求められる。）を用いるのが一般的である。また、振幅スペクトルで減じた場合、逆フーリエ変換を行う時の位相成分としては、入力信号の位相成分をそのまま用いるという方法が挙げられる。
【０００５】上記スペクトルサブトラクション法は、より強力なノイズ低減方法であるが、ノイズ推定方法やコスト（メモリ容量、計算量）等の問題があるために、これまでのリアルタイムの音声処理装置に用いられた例は少なかった。
【０００６】
【発明が解決しようとする課題】ノイズを含んだ音声信号からノイズを低減させる方法として、従来はカルマンフィルタのような方法が用いられていた。より強力なノイズ低減方法としてスペクトルサブトラクション法が挙げられるが、上記スペクトルサブトラクション法をリアルタイムの音声処理装置に応用するためには、次の様な課題を有していた。
（１）音声がどのタイミングでデータ中に存在するかが明らかでないために、ノイズスペクトル推定が困難である。
（２）計算量が多い。
（３）必要なＲＡＭ容量が多い。
（４）ノイズレベルが高い時にスペクトルが大きく歪み、音質の劣化を生ずる。
【０００７】本発明は上記従来の課題を解決するもので、少ない計算量およびＲＡＭ容量でノイズスペクトル推定が容易にでき、ノイズレベルが高い場合でも音質劣化を防ぐことができるノイズ削減装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】この目的を達成するために本発明のノイズ削減装置は、入力音声信号をディジタル信号に変換するＡ／Ｄ変換部と、削減するノイズ量を制御する係数を調節するノイズ削減係数調節部と、前記Ａ／Ｄ変換部により得られる一定時間長（１フレーム）のディジタル信号に対して線形予測分析（ＬＰＣ分析）を行うＬＰＣ分析部と、前記Ａ／Ｄ変換部により得られる一定時間長（１フレーム）のディジタル信号に対して離散フーリエ変換を行うフーリエ変換部と、推定されたノイズのスペクトルが格納されているノイズスペクトル格納部と、前記フーリエ変換部により得られる入力スペクトルと前記ノイズスペクトル格納部に格納されているノイズスペクトルとを比較することによってノイズのスペクトルを推定して得られたノイズスペクトルを前記ノイズスペクトル格納部に格納するノイズ推定部と、前記ノイズ削減係数調節部により得られる係数に基づいて前記ノイズスペクトル格納部に格納されているノイズスペクトルを前記フーリエ変換部により得られる入力信号のスペクトルから減ずるノイズ削減部と、前記ノイズ削減部により得られるスペクトルを調べて減じ過ぎた周波数のスペクトルを補償するスペクトル補償部と、前記スペクトル補償部により得られるスペクトルと前記フーリエ変換部により得られる位相とに基づいて逆フーリエ変換を行う逆フーリエ変換部と、前記逆フーリエ変換部により得られる音響信号に対してスペクトル強調を行うスペクトル強調部と、前記スペクトル強調部により得られる信号を前のフレームの信号と整合させる波形整合部とを具備する構成を有している。
【０００９】
【作用】この構成によって本発明は第１に、音声区間中でも音声区間外でもノイズスペクトル推定を行うことができるので、ノイズスペクトル推定が容易にできる。また、入力のスペクトル包絡の特徴を線形予測係数で強調することができるので、ノイズレベルが高い場合でも音質の劣化を防止できる。
【００１０】また第２には、振幅スペクトルを求める際に必要な平方根の計算が省略できるので、少ない計算量で処理できる。
【００１１】また第３には、連続する複数フレームの振幅スペクトルの最低値を各周波数毎に求めることができ、これをノイズスペクトルとすることによって音声が含まれている区間においてもノイズスペクトルの推定が容易にできる。
【００１２】また第４には、ノイズスペクトル格納部を構成するためのＲＡＭ領域を数分の１に削減することができるので、少ないＲＡＭ容量で処理できる。また、長く持続する単音をノイズと誤判定することを防ぐこともできる。
【００１３】また第５には、ノイズの穏やかな変化に適応することができるので、ノイズスペクトル推定が容易にできる。
【００１４】また第６には、穏やかに変化するノイズに適応したノイズスペクトル推定が可能になり、ノイズスペクトル推定が容易にできる。
【００１５】また第７には、実際よりも低く推定されるノイズレベルを実際のノイズレベルまで引き上げることができ、より適したノイズ削減が可能になるので、ノイズスペクトル推定が容易にできる。
【００１６】また第８には、補償された周波数の異音感を低減すると同時に音声を含んでいない区間のパワーを低減させることができるので、ノイズレベルが高い場合でも音質の劣化を防止できる。
【００１７】また第９には、ノイズ削減によって生じたスペクトル歪みを補正し、聴感的に音質を向上させることができるので、ノイズレベルが高い場合でも音質の劣化を防止できる。
【００１８】
【実施例】
（実施例１）以下、本発明の１の実施例について、図１を用いて説明する。
【００１９】まず、図１に示すノイズ削減装置の各構成要素を簡単に説明する。１１は入力音声である。１２はアナログ信号をデジタル信号に変換するＡ／Ｄ変換部である。１３は安定化係数を格納する安定化係数格納部である。１４は、安定家系数格納部１３に格納された安定化係数を参照して、ノイズの削減量を制御するための係数であるノイズ削減係数を調節するノイズ削減係数調節部である。１５は入力されたディジタル信号をメモリにセットする入力波形設定部である。１６は入力波形設定部で設定されたディジタル信号に対してＬＰＣ分析を行うＬＰＣ分析部である。１７は同ディジタル信号に対してフーリエ変換を行うフーリエ変換部である。１８は、ノイズ削減係数調節部１４で得られた安定化係数に基づき、フーリエ変換部１７で得られたスペクトルから、ノイズスペクトル格納部２５に格納されたノイズスペクトルを減ずるノイズ削減部である。１９は、前スペクトル格納部２６に格納されたスペクトルを参照して、ノイズ削減部１８で得られたスペクトルの補償を行うスペクトル補償部である。２０は、スペクトル補償部で得られたスペクトルと、フーリエ変換部１７で得られた位相スペクトルとを基に、逆フーリエ変換を行う逆フーリエ変換部である。２１は、ＬＰＣ分析部１６で得られたＬＰＣ係数に基づき逆フーリエ変換部２０で得られた信号のスペクトル強調を行うスペクトル強調部である。２２は、スペクトル強調部で得られた信号と前の処理区間の信号とを整合させる波形整合部である。２３は出力信号である。２４は、フーリエ変換部１７で得られたスペクトルに基づき、ノイズのスペクトルを推定するノイズ推定部である。２５は、ノイズ推定部２４で得られたノイズスペクトルを格納するノイズスペクトル格納部である。２６は前の処理区間のスペクトルを格納する前スペクトル格納部である。２７は出力信号２３の波形を格納する前波形格納部である。
【００２０】次に、上記構成のノイズ削減装置の動作を説明する。まず、入力音声信号１１をＡ／Ｄ変換部１２でディジタル信号に変換する。前の処理区間の状態を参照してノイズ削減係数をノイズ削減係数調整部１４で調節した後、ＬＰＣ分析部１６においてＬＰＣ分析によってＬＰＣ係数を得る。次に、フーリエ変換１７によってスペクトルに変換し、ノイズのスペクトルをノイズ削減係数に基づいてノイズ削減部１８において減ずる。スペクトルが負になった場合は、スペクトル補償部１９においてスペクトル補償を行う。得られたスペクトルに対して、逆フーリエ変換部２０において逆フーリエ変換を行い信号を得る。更に、スペクトル強調部２１においてＬＰＣ係数を用いて極強調等のスペクトル強調処理を行い、波形整合部２２から出力信号を得る。
【００２１】以下、本実施例のアルゴリズムの詳細な説明を行う。まず、本実施例を実現するための、種々の固定パラメータの名称と設定例とを以下に示す。
【００２２】・フレーム長（設定例：１６０（８ｋＨｚサンプリングデータで２０ｍｓｅｃ））
・先読みデータ長（設定例：６０（８ｋＨｚサンプリングデータで７．５ｍｓｅｃ））
・指定ノイズ削減係数（設定例：２０．０）
・ＬＰＣ予測次数（設定例：１０）
・ノイズスペクトル基準持続数（設定例：１００）
・指定最小パワー（設定例：１０．０）
・ＭＡ強調係数（設定例：０．６）
・ＡＲ強調係数（設定例：０．７）
・高域強調係数（設定例：０．３）
・パワー強調係数（設定例：１．２）
・ノイズ基準パワー（設定例：２７００．０）
次にスタティックのＲＡＭ領域を設定する。まず、安定化係数格納部１３、ノイズスペクトル格納部２５、前スペクトル格納部２６、前波形格納部２７をクリアする。各格納部の説明と設定例を述べる。安定化係数格納部は、ノイズ削減係数を調節するための安定化係数を格納するエリアであり、初期値として２．０を格納しておく。ノイズスペクトル格納部２５は、１位候補のノイズスペクトルと２位候補のノイズスペクトルとそれぞれの周波数のスペクトル値が何フレーム前に変化したかを示すフレーム数（以後持続数と呼ぶ）を各周波数毎に格納するエリアであり、ノイズスペクトルと持続数としてそれぞれに充分大きな数を初期値として格納しておく。また、前スペクトル格納部２６は、１つ前のフレームのスペクトル（前スペクトルと呼ぶ）と１つ前のフレームのパワー（前パワーと呼ぶ）を格納するエリアであり、前スペクトルとして全ての周波数に指定最小パワーを格納しておき、前パワーとして０．０を格納しておく。また、前波形格納部２７は出力信号を整合させるための前のフレームの出力信号の最後の先読みデータ長分のデータを格納するエリアであり、初期値として全てに０を格納しておく。
【００２３】次にノイズ削減アルゴリズムについて図１を用いてブロック毎に説明する。まず、音声を含むアナログの入力信号１１をＡ／Ｄ変換部１２でＡ／Ｄ変換し、これを１フレーム長＋先読みデータ長（上記設定例では１６０＋６０＝２２０ポイント）だけ入力する。 ノイズ削減係数調節部１４においては、安定化係数格納部１３に格納された安定化係数と指定ノイズ削減係数を基に、以下の（数１）によりノイズ削減係数を算出する。そして、得られた安定化係数を安定化係数格納部１３に格納する。
【００２４】
【数１】
【００２５】安定化係数はノイズが含まれており、且つ安定して推定されているかどうかを示す値であり、小さいほどより安定であることを示している。
【００２６】入力波形設定部１５においては、Ａ／Ｄ変換部１２において入力された入力信号を、高速フーリエ変換（ＦＦＴ）するために、２の指数乗の長さを持つメモリ配列に後ろ詰めで書込む。前の部分は０を詰めておく。前述の設定例では２５６の長さの配列に０〜３５まで０を書込み、３６〜２５５までに入力信号を書込む。この配列は８次のＦＦＴの際に実数部として用いられる。また、虚数部として、実数部と同じ長さの配列を用意し、全てに０を書込んでおく。
【００２７】ＬＰＣ分析部１６においては、入力波形設定部１５で設定した実数部エリアに対してハミング窓を掛け、窓掛け後の波形に対して自己相関分析を行って自己相関係数を求め、自己相関法に基づくＬＰＣ分析を行い、線形予測係数を得る。さらに、得られた線形予測係数と、予め設定したＭＡ強調係数、ＡＲ強調係数を用いて、以下の（数２）の式に基づき、スペクトル強調部２１で使用する極強調フィルタのＭＡ係数とＡＲ係数とを算出する。
【００２８】
【数２】
【００２９】フーリエ変換部１７では、入力波形設定部１５で得られる実数部、虚数部のメモリ配列を用いて、ＦＦＴによる離散フーリエ変換を行う。得られた複素スペクトルの実数部と虚数部の絶対値の和を計算することによって入力信号の疑似振幅スペクトル（以下に入力スペクトルと呼ぶ）を求める。また、各周波数の入力スペクトル値の総和（以下に入力パワーと呼ぶ）を求める。
【００３０】次にノイズ推定部２４における処理を説明する。まず、ノイズスペクトル格納部２５に格納されている１位候補、２位候補の全ての周波数の持続数を更新する（１を加算する）。そして、１位候補の各周波数の持続数を調べ、予め設定したノイズスペクトル基準持続数より大きい場合は、２位候補のスペクトルと持続数を１位候補とし、３位候補のスペクトルを２位候補のスペクトルとし持続数を０とする。ただし、この２位候補のスペクトルの入れ替えにおいては、３位候補を格納せず、２位候補を若干大きくしたもので代用することによって、メモリを節約することができる。本実施例では、２位候補のスペクトルを１．２倍したものを代用することとする。
【００３１】そして、持続数の更新の後に、各周波数毎に、ノイズスペクトルと入力スペクトルの比較を行う。まず、各周波数の入力スペクトルを１位候補のノイズスペクトルと比較し、もし入力スペクトルの方が小さい場合は、１位候補のノイズスペクトルと持続数を２位候補とし、入力スペクトルを１位候補のスペクトルとし１位候補の持続数は０とする。前記の条件以外の場合は、入力スペクトルと２位候補のノイズスペクトルとの比較を行い、もし入力スペクトルの方が小さい場合は、入力スペクトルを２位候補のスペクトルとし２位候補の持続数は０とする。そして、得られた１、２位候補のスペクトルと持続数をノイズスペクトル格納部２５に格納する。
【００３２】上記ノイズ推定処理において、１つの周波数のノイズスペクトルを複数の周波数の入力スペクトルと対応させれば、ノイズスペクトル格納部２５を構成するためのＲＡＭ容量を節約することができる。例として、本実施例の２５６ポイントのＦＦＴを用いる場合に、１つの周波数のノイズスペクトルを４つの周波数の入力スペクトルから推定するときのノイズスペクトル格納部２５のＲＡＭ容量を示す。（疑似）振幅スペクトルが周波数軸上で左右対称であることを考慮すると、全ての周波数で推定する場合は１２８個の周波数のスペクトルと持続数を格納するので、１２８（周波数）×２（スペクトルと持続数）×２（１、２位候補）で計５１２ＷのＲＡＭ容量が必要になる。これに対して、１つの周波数のノイズスペクトルを４つの周波数の入力スペクトルと対応させる場合は、３２（周波数）×２（スペクトルと持続数）×２（１、２位候補）で計１２８ＷのＲＡＭ容量でよいことになる。この場合、ノイズスペクトルの周波数解像度は低下することになるが、上記１対４の場合は殆ど性能の劣化がないことを実験により確認している。また、この発明は、１つの周波数のスペクトルでノイズスペクトルを推定しないことから、定常音（サイン波、母音等）が長時間続いた場合に、そのスペクトルをノイズスペクトルと誤推定することを防ぐ効果もある。
【００３３】さらに、上記ノイズスペクトル推定の後、１位候補のノイズスペクトルの総和を求める（以後これをノイズパワーと呼ぶ）。そして、このノイズパワーがノイズ基準パワーよりも小さい時、ノイズが含まれていないとして、安定化係数格納部１３に格納されている安定化係数を３．０として安定化係数格納部１３に格納する。この処理により、入力信号にノイズが含まれていないことをノイズ削減係数調整部１４に伝えることができる。よって、ノイズが含まれていないときに、ノイズ削減係数を小さくすることができ、したがってノイズ削減に伴う音声のスペクトル歪みを小さくすることができる。
【００３４】次に、ノイズ削減部１８における処理について説明する。まず、入力スペクトルからノイズスペクトル格納部２５に格納されている１位候補のノイズスペクトルにノイズ削減係数調節部１４で得られたノイズ削減係数を乗じたものを引く（以後、差スペクトルと呼ぶ）。上記ノイズ推定部２４の説明において示したノイズスペクトル格納部２５のＲＡＭ容量の節約を行った場合は、入力スペクトルに対応する周波数のノイズスペクトルに削減係数を乗じたものを引く。
【００３５】次に、スペクトル補償部１９における処理について説明する。まず、安定化係数格納部１３に格納された安定化係数を参照し、これが１．４よりも大きい場合は、前スペクトル格納部２６に入力スペクトルを格納する。次に、ノイズ削減部１８で得られた差スペクトルを調べ、負である場合は、その周波数における入力スペクトルと前スペクトル格納部２６に格納された前フレームのスペクトルとのうち小さい方の値とする。（この処理後の差スペクトルを以後出力スペクトルと呼ぶ。）そして、出力スペクトルを前スペクトル格納部２６へ格納する。（なお、この補償に、前スペクトルを用いずに、入力スペクトル、又は入力スペクトルに係数を乗じたもののみを用いれば、さらにメモリ容量が節約できる。）ここで、音声が含まれていないノイズ区間のパワーの変動による異音を抑えるために、前スペクトル格納部２６に格納された前フレームのパワーを用いてパワーのスムージングを行う。処理の流れについて以下に説明する。まず、出力スペクトルの総和を求める。（以後これを出力パワーと呼ぶ。）次に、安定化係数格納部１３に格納された安定化係数を参照し、これが１．４よりも大きい場合は、前スペクトル格納部２６に前パワーとして出力パワーを格納する。そして、出力パワーが前パワーの１．８倍よりも小さく、且つ、前パワーがノイズパワーにノイズ削減係数と１．４を乗じたものよりも小さい場合に、以下の手順でスムージングを行う。
【００３６】まず、以下の（数３）によって前パワーを変換する。
【００３７】
【数３】
【００３８】そして、前スペクトルを出力スペクトルとし、前パワーと共に前スペクトル格納部２６に格納する。
【００３９】逆フーリエ変換部２０では、フーリエ変換部１７で得られた位相成分とスペクトル補償部１９で得られた出力スペクトルとに基づき、複素スペクトルを構成し、ＦＦＴを用いて逆フーリエ変換を行う。（得られた信号を第１次出力信号と呼ぶ。）
さらに、スペクトル強調部２１における処理について説明する。
【００４０】まず、逆フーリエ変換部２０において得られた第１次出力信号に対して、ＬＰＣ分析部１６において得られたＭＡ係数とＡＲ係数とを用いて極強調フィルタを掛ける。このフィルタの伝達関数を以下の（数４）に示す。
【００４１】
【数４】
【００４２】更に、高域成分を強調するために、予め設定した高域強調係数を用いて、高域強調フィルタを掛ける。このフィルタの伝達関数を以下の（数５）に示す。
【００４３】
【数５】
【００４４】更に、パワーを強調するために、予め設定したパワー強調係数を信号に乗ずる。（この処理によって得られた信号を第２次出力信号と呼ぶ。）
最後に、波形整合部２２において、スペクトル強調部２１で得られた第２次出力信号と、前波形格納部２７に格納された信号を三角窓によって重ね合せて出力信号を得る。更に、この出力信号の最後の先読みデータ長分のデータを前波形格納部２７に格納する。このときの整合方法を以下の（数６）に示す。
【００４５】
【数６】
【００４６】ここで注意が必要なのは、出力信号としては先読みデータ長＋フレーム長分のデータが出力されるが、この内信号として扱うことができるのはデータの始端からフレーム長の長さの区間のみということである。なぜなら、後ろの先読みデータ長のデータは次の出力信号を出力するときに書き換えられるからである。ただし、出力信号の全区間内では連続性は補償されるので、ＬＰＣ分析やフィルタ分析等周波数分析には使用できる。
【００４７】ここで、上記構成によるノイズ削減装置の性能を評価するために、音声符号化装置（ＣＥＬＰ方式が基本）の音声入力部に本発明のノイズ削減装置を使用して、音声符号化・復号化実験を行った。従来例で示した通り、現在の音声符号化装置、音声コーデックにおける重大な課題は、入力音声に重畳しているノイズが符号化・復号化後に異音になり、合成音が聞きづらくなるということである。そこで、音声符号化・復号化で得られる合成音声を多数の試聴者に聞かせ、主観評価実験を行った。
【００４８】評価サンプルは図２に示すシステムにより作成した。まず、ノイズを含む音声信号をまず本発明のノイズ削減装置に入力し、ノイズを削減する。次に、削減後の信号を音声符号化装置に入力し符号を得る。そして、得られた符号を音声復号化装置に入力し、出力信号を得る。そして、この出力信号をサンプルとして試聴実験を行った。また、リファレンス用としては、ノイズ削減装置を介さずに入力信号を音声符号化装置へ直接入力することによって得られた出力信号を用いた。
【００４９】ノイズ削減装置は上記実施例に示した設定例の通りに作成した。メモリ容量はスタティックＲＡＭが約３００Ｗ、ダイナミックＲＡＭが約１．４ｋＷ、処理量は約３ＭＯＰＳである。
【００５０】また、音声サンプルは男女２名づつ計４名分の日本語短文データ（それぞれ２〜３秒間）でサンプリングレートは８ｋＨｚ、ノイズの無い音声データである。ノイズ付加データは、前述のノイズ無しデータに道路騒音をＳ／Ｎ比２０ｄＢで付加することによって作成した。また、試聴者は男女計１６名である。評価は、５段階（１：大変悪い、２：悪い、３：普通、４：良い、５：大変良い）で行い、各評価者、各データについて得られた評価値を平均してＭＯＳ（Mean OpinionScore）を求めた。結果を以下の表１に示す。
【００５１】
【表１】
【００５２】これを見るとわかるように、ノイズの無いデータでは３．５という高いＭＯＳ値が得られている。しかし、ノイズが含まれると異音感が増加し、ノイズ削減装置を用いない場合は、ＭＯＳ値で３．１３と大きく音質が劣化する。しかし、本発明のノイズ削減装置を用いると、ノイズが削減され音質の劣化が起こらず、３．５とノイズの無いときの音質とほぼ同じＭＯＳ値が得られるようになった。
【００５３】上記の実験から本発明の効果が高いことが検証できた。
【００５４】
【発明の効果】以上のように本発明は、第１に音声区間中でも音声区間外でもノイズスペクトル推定を行うことができ、音声がどのタイミングでデータ中に存在するかが明らかでない場合でもノイズスペクトルを推定することができる。また、入力のスペクトル包絡の特徴を線形予測係数で強調することができ、ノイズレベルが高い場合でも音質の劣化を防ぐことができる。
【００５５】第２に、振幅スペクトルを求める際に必要な平方根の計算が省略でき、計算量を節約することができる。
【００５６】第３に、連続する複数フレームの振幅スペクトルの最低値を各周波数毎に求めることができ、これをノイズスペクトルとすることによって音声が含まれている区間においてもノイズスペクトルの推定が容易にでき、音声がどのタイミングでデータ中に存在するかが明らかでない場合でもノイズスペクトルを推定することができる。
【００５７】第４に、ノイズスペクトル格納部を構成するためのＲＡＭ領域を数分の１に削減することができ、ＲＡＭ容量を節約することができる。また、この発明により、長く持続する単音をノイズと誤判定することを防ぐこともできる。
【００５８】第５に、ノイズの穏やかな変化に適応することができ、音声がどのタイミングでデータ中に存在するかが明らかでない場合でもノイズスペクトルを推定することができる。
【００５９】第６に、穏やかに変化するノイズに適応したノイズスペクトル推定が可能になり、音声がどのタイミングでデータ中に存在するかが明らかでない場合でもノイズスペクトルを推定することができる。
【００６０】第７に、実際よりも低く推定されるノイズレベルを実際のノイズレベルまで引き上げることができ、より適したノイズ削減が可能になり、音声がどのタイミングでデータ中に存在するかが明らかでない場合でもノイズスペクトルを推定することができる。
【００６１】第８に、補償された周波数の異音感を低減すると同時に音声を含んでいない区間のパワーを低減させることができ、ノイズレベルが高い場合でも音質の劣化を防ぐことができる。
【００６２】第９に、ノイズ削減によって生じたスペクトル歪みを補正し、聴感的に音質を向上させることができ、ノイズレベルが高い場合でも音質の劣化を防ぐことができる。
【図面の簡単な説明】
【図１】本発明のノイズ削減装置のブロック結線図
【図２】本発明の効果を評価するための評価データの作成方法を示した図
【図３】従来のスペクトルサブトラクションによるノイズ削減装置のブロック結線図
【符号の説明】
１１ 入力信号
１２ Ａ／Ｄ変換部
１３ 安定化係数格納部
１４ ノイズ削減係数調節部
１５ 入力波形設定部
１６ ＬＰＣ分析部
１７ フーリエ変換部
１８ ノイズ削減部
１９ スペクトル補償部
２０ 逆フーリエ変換部
２１ スペクトル強調部
２２ 波形整合部
２３ 出力音声
２４ ノイズ推定部
２５ ノイズスペクトル格納部
２６ 前スペクトル格納部
２７ 前波形格納部
５１ 入力信号
５２ ノイズ削減装置
５３ 音声符号化装置
５４ 音声復号化装置
５５ 出力信号
３１ ノイズのみの入力信号
３２ Ａ／Ｄ変換部
３３ フーリエ変換部
３４ ノイズ分析部
３５ ノイズスペクトル格納部
３６ ノイズを含む入力信号
３７ Ａ／Ｄ変換部
３８ フーリエ変換部
３９ ノイズ削減部
４０ 逆フーリエ変換部
４１ 出力信号
【０００１】
【産業上の利用分野】本発明は、ディジタル携帯電話やマルチメディア通信等に必要な音声符号化・復号化装置（音声コーデック）や、機器のガイド音声出力等に必要な音声合成装置を構成するための、ディジタル音声信号を処理する装置に関するものである。
【０００２】
【従来の技術】携帯電話等のディジタル移動通信の分野では加入者の増加に対処するために低ビットレートの音声の圧縮符号化法が求められており、各研究機関において研究開発が進んでいる。日本国内においてはモトローラ社の開発したビットレート１１．２ｋｂｐｓのＶＳＥＬＰという符号化法がディジタル携帯電話用の標準符号化方式として採用された。（同方式を搭載したディジタル携帯電話は１９９４年秋に国内において発売された。）また更に、ＮＴＴ移動通信網株式会社の開発したビットレート５．６ｋｂｐｓのＰＳＩ−ＣＥＬＰという符号化方式が次期携帯電話の標準化方式として採用され、現在製品開発の段階にある。これらの方式はいずれもＣＥＬＰ（Ｃｏｄｅ Ｅｘｉｔｅｄ Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｏｎ）方式を改良したものである。これは音声を音源情報と声道情報とに分離し、音源情報については符号帳に格納された複数の音源サンプルのインデクスによって符号化し声道情報についてはＬＰＣ（線形予測係数）を符号化するということと、音源情報符号化の際には声道情報を加味して入力音声と比較を行なうという方法（Ａ−ｂ−Ｓ：Ａｎａｌｙｓｉｓ ｂｙ Ｓｙｎｔｈｅｓｉｓ）を採用していることに特徴がある。
【０００３】上記技術により非常に低ビットレートで音声信号を伝送することができるようになったが、それと共に大きな問題点が明らかになった。それは、音声の発声モデルに基づいて情報圧縮を行っているために、音声信号以外の音響信号に対応できないという点である。そのため、音声信号中に背景ノイズや機器ノイズが含まれていると、効率の良い符号化ができず、合成時（復号化時）に異音を生じる結果となっていた。この問題を解決するために、従来より入力音声信号からノイズを削減する手法が検討されてきた。上記標準化方式のＰＳＩ−ＣＥＬＰでは、符号化を行う前にノイズキヤンセラによってノイズを削減するという処理を行っている。上記ノイズキャンセラは、カルマンフィルタを基本として開発されており、音声の有無を検出して適応的に制御を行うことによりノイズを低減させている。このノイズキャンセラによって、ある程度の背景ノイズを削減することができる。しかし、ノイズレベルの高いノイズや、音声中のノイズ等に対しては余り良い性能が得られていなかった。
【０００４】一方、より強力なノイズ低減法として、スペクトルサブトラクション法が（「サスペンション・オブ・アコースティック・ノイズ・イン・スピーチ・ユージング・スペクトラル・サブストラクション」エス．エフ．ボール著、アイ．イー．イー．イー．トランス．エー．エス．エス．ピー．（S.F.Boll "Suppression ofAcoustic Noise in Speech Using Spectral Subtraction",IEEE Trans.ASSP.,Vol.27,No.2,pp113-120,1979））に記載されている。これは、入力音声信号に対して離散フーリエ変換を行ないスペクトルに変換した後、ノイズをスペクトル上で減ずる方法であり、主に音声認識装置の入力部等に応用されている。この方法を音声信号中のノイズ低減に応用した一例について図３を用いて説明する。まず、ノイズスペクトルの推定は次の手順で行われる。まず、音声を含んでいないノイズのみの信号３１を入力し、Ａ／Ｄ変換部３２においてディジタル信号に変換する。次に一定時間の入力信号列（フレームと呼ぶ）に対して離散フーリエ変換をフーリエ変換部３３で行い、ノイズのスペクトルを求める。そして、これを複数のフレームに対して求めたノイズのスペクトルからノイズの平均的スペクトルをノイズ分析部３４で求め、これをノイズスペクトル格納部３５に格納する。そして、ノイズの削減は以下の手順で行われる。まず、ノイズを含む音声信号３６を入力し、Ａ／Ｄ変換部３７においてディジタル信号に変換する。次に、上記と同様にして離散フーリエ変換をフーリエ変換部３８で行い、ノイズを含んだ音声のスペクトルを求める。そしてノイズ削減部３９で、ノイズスペクトル格納部３５に格納されたノイズスペクトルを音声のスペクトルから減ずる。そして、その結果得られたスペクトルに対して逆フーリエ変換を逆フーリエ変換部４０で行い、出力信号４１を得る。なお、このアルゴリズムにおけるスペクトルとしては振幅スペクトル（複素数の複素平面上でのノルム、実数部と虚数部を２乗して加算し、平方根をとることによって求められる。）を用いるのが一般的である。また、振幅スペクトルで減じた場合、逆フーリエ変換を行う時の位相成分としては、入力信号の位相成分をそのまま用いるという方法が挙げられる。
【０００５】上記スペクトルサブトラクション法は、より強力なノイズ低減方法であるが、ノイズ推定方法やコスト（メモリ容量、計算量）等の問題があるために、これまでのリアルタイムの音声処理装置に用いられた例は少なかった。
【０００６】
【発明が解決しようとする課題】ノイズを含んだ音声信号からノイズを低減させる方法として、従来はカルマンフィルタのような方法が用いられていた。より強力なノイズ低減方法としてスペクトルサブトラクション法が挙げられるが、上記スペクトルサブトラクション法をリアルタイムの音声処理装置に応用するためには、次の様な課題を有していた。
（１）音声がどのタイミングでデータ中に存在するかが明らかでないために、ノイズスペクトル推定が困難である。
（２）計算量が多い。
（３）必要なＲＡＭ容量が多い。
（４）ノイズレベルが高い時にスペクトルが大きく歪み、音質の劣化を生ずる。
【０００７】本発明は上記従来の課題を解決するもので、少ない計算量およびＲＡＭ容量でノイズスペクトル推定が容易にでき、ノイズレベルが高い場合でも音質劣化を防ぐことができるノイズ削減装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】この目的を達成するために本発明のノイズ削減装置は、入力音声信号をディジタル信号に変換するＡ／Ｄ変換部と、削減するノイズ量を制御する係数を調節するノイズ削減係数調節部と、前記Ａ／Ｄ変換部により得られる一定時間長（１フレーム）のディジタル信号に対して線形予測分析（ＬＰＣ分析）を行うＬＰＣ分析部と、前記Ａ／Ｄ変換部により得られる一定時間長（１フレーム）のディジタル信号に対して離散フーリエ変換を行うフーリエ変換部と、推定されたノイズのスペクトルが格納されているノイズスペクトル格納部と、前記フーリエ変換部により得られる入力スペクトルと前記ノイズスペクトル格納部に格納されているノイズスペクトルとを比較することによってノイズのスペクトルを推定して得られたノイズスペクトルを前記ノイズスペクトル格納部に格納するノイズ推定部と、前記ノイズ削減係数調節部により得られる係数に基づいて前記ノイズスペクトル格納部に格納されているノイズスペクトルを前記フーリエ変換部により得られる入力信号のスペクトルから減ずるノイズ削減部と、前記ノイズ削減部により得られるスペクトルを調べて減じ過ぎた周波数のスペクトルを補償するスペクトル補償部と、前記スペクトル補償部により得られるスペクトルと前記フーリエ変換部により得られる位相とに基づいて逆フーリエ変換を行う逆フーリエ変換部と、前記逆フーリエ変換部により得られる音響信号に対してスペクトル強調を行うスペクトル強調部と、前記スペクトル強調部により得られる信号を前のフレームの信号と整合させる波形整合部とを具備する構成を有している。
【０００９】
【作用】この構成によって本発明は第１に、音声区間中でも音声区間外でもノイズスペクトル推定を行うことができるので、ノイズスペクトル推定が容易にできる。また、入力のスペクトル包絡の特徴を線形予測係数で強調することができるので、ノイズレベルが高い場合でも音質の劣化を防止できる。
【００１０】また第２には、振幅スペクトルを求める際に必要な平方根の計算が省略できるので、少ない計算量で処理できる。
【００１１】また第３には、連続する複数フレームの振幅スペクトルの最低値を各周波数毎に求めることができ、これをノイズスペクトルとすることによって音声が含まれている区間においてもノイズスペクトルの推定が容易にできる。
【００１２】また第４には、ノイズスペクトル格納部を構成するためのＲＡＭ領域を数分の１に削減することができるので、少ないＲＡＭ容量で処理できる。また、長く持続する単音をノイズと誤判定することを防ぐこともできる。
【００１３】また第５には、ノイズの穏やかな変化に適応することができるので、ノイズスペクトル推定が容易にできる。
【００１４】また第６には、穏やかに変化するノイズに適応したノイズスペクトル推定が可能になり、ノイズスペクトル推定が容易にできる。
【００１５】また第７には、実際よりも低く推定されるノイズレベルを実際のノイズレベルまで引き上げることができ、より適したノイズ削減が可能になるので、ノイズスペクトル推定が容易にできる。
【００１６】また第８には、補償された周波数の異音感を低減すると同時に音声を含んでいない区間のパワーを低減させることができるので、ノイズレベルが高い場合でも音質の劣化を防止できる。
【００１７】また第９には、ノイズ削減によって生じたスペクトル歪みを補正し、聴感的に音質を向上させることができるので、ノイズレベルが高い場合でも音質の劣化を防止できる。
【００１８】
【実施例】
（実施例１）以下、本発明の１の実施例について、図１を用いて説明する。
【００１９】まず、図１に示すノイズ削減装置の各構成要素を簡単に説明する。１１は入力音声である。１２はアナログ信号をデジタル信号に変換するＡ／Ｄ変換部である。１３は安定化係数を格納する安定化係数格納部である。１４は、安定家系数格納部１３に格納された安定化係数を参照して、ノイズの削減量を制御するための係数であるノイズ削減係数を調節するノイズ削減係数調節部である。１５は入力されたディジタル信号をメモリにセットする入力波形設定部である。１６は入力波形設定部で設定されたディジタル信号に対してＬＰＣ分析を行うＬＰＣ分析部である。１７は同ディジタル信号に対してフーリエ変換を行うフーリエ変換部である。１８は、ノイズ削減係数調節部１４で得られた安定化係数に基づき、フーリエ変換部１７で得られたスペクトルから、ノイズスペクトル格納部２５に格納されたノイズスペクトルを減ずるノイズ削減部である。１９は、前スペクトル格納部２６に格納されたスペクトルを参照して、ノイズ削減部１８で得られたスペクトルの補償を行うスペクトル補償部である。２０は、スペクトル補償部で得られたスペクトルと、フーリエ変換部１７で得られた位相スペクトルとを基に、逆フーリエ変換を行う逆フーリエ変換部である。２１は、ＬＰＣ分析部１６で得られたＬＰＣ係数に基づき逆フーリエ変換部２０で得られた信号のスペクトル強調を行うスペクトル強調部である。２２は、スペクトル強調部で得られた信号と前の処理区間の信号とを整合させる波形整合部である。２３は出力信号である。２４は、フーリエ変換部１７で得られたスペクトルに基づき、ノイズのスペクトルを推定するノイズ推定部である。２５は、ノイズ推定部２４で得られたノイズスペクトルを格納するノイズスペクトル格納部である。２６は前の処理区間のスペクトルを格納する前スペクトル格納部である。２７は出力信号２３の波形を格納する前波形格納部である。
【００２０】次に、上記構成のノイズ削減装置の動作を説明する。まず、入力音声信号１１をＡ／Ｄ変換部１２でディジタル信号に変換する。前の処理区間の状態を参照してノイズ削減係数をノイズ削減係数調整部１４で調節した後、ＬＰＣ分析部１６においてＬＰＣ分析によってＬＰＣ係数を得る。次に、フーリエ変換１７によってスペクトルに変換し、ノイズのスペクトルをノイズ削減係数に基づいてノイズ削減部１８において減ずる。スペクトルが負になった場合は、スペクトル補償部１９においてスペクトル補償を行う。得られたスペクトルに対して、逆フーリエ変換部２０において逆フーリエ変換を行い信号を得る。更に、スペクトル強調部２１においてＬＰＣ係数を用いて極強調等のスペクトル強調処理を行い、波形整合部２２から出力信号を得る。
【００２１】以下、本実施例のアルゴリズムの詳細な説明を行う。まず、本実施例を実現するための、種々の固定パラメータの名称と設定例とを以下に示す。
【００２２】・フレーム長（設定例：１６０（８ｋＨｚサンプリングデータで２０ｍｓｅｃ））
・先読みデータ長（設定例：６０（８ｋＨｚサンプリングデータで７．５ｍｓｅｃ））
・指定ノイズ削減係数（設定例：２０．０）
・ＬＰＣ予測次数（設定例：１０）
・ノイズスペクトル基準持続数（設定例：１００）
・指定最小パワー（設定例：１０．０）
・ＭＡ強調係数（設定例：０．６）
・ＡＲ強調係数（設定例：０．７）
・高域強調係数（設定例：０．３）
・パワー強調係数（設定例：１．２）
・ノイズ基準パワー（設定例：２７００．０）
次にスタティックのＲＡＭ領域を設定する。まず、安定化係数格納部１３、ノイズスペクトル格納部２５、前スペクトル格納部２６、前波形格納部２７をクリアする。各格納部の説明と設定例を述べる。安定化係数格納部は、ノイズ削減係数を調節するための安定化係数を格納するエリアであり、初期値として２．０を格納しておく。ノイズスペクトル格納部２５は、１位候補のノイズスペクトルと２位候補のノイズスペクトルとそれぞれの周波数のスペクトル値が何フレーム前に変化したかを示すフレーム数（以後持続数と呼ぶ）を各周波数毎に格納するエリアであり、ノイズスペクトルと持続数としてそれぞれに充分大きな数を初期値として格納しておく。また、前スペクトル格納部２６は、１つ前のフレームのスペクトル（前スペクトルと呼ぶ）と１つ前のフレームのパワー（前パワーと呼ぶ）を格納するエリアであり、前スペクトルとして全ての周波数に指定最小パワーを格納しておき、前パワーとして０．０を格納しておく。また、前波形格納部２７は出力信号を整合させるための前のフレームの出力信号の最後の先読みデータ長分のデータを格納するエリアであり、初期値として全てに０を格納しておく。
【００２３】次にノイズ削減アルゴリズムについて図１を用いてブロック毎に説明する。まず、音声を含むアナログの入力信号１１をＡ／Ｄ変換部１２でＡ／Ｄ変換し、これを１フレーム長＋先読みデータ長（上記設定例では１６０＋６０＝２２０ポイント）だけ入力する。 ノイズ削減係数調節部１４においては、安定化係数格納部１３に格納された安定化係数と指定ノイズ削減係数を基に、以下の（数１）によりノイズ削減係数を算出する。そして、得られた安定化係数を安定化係数格納部１３に格納する。
【００２４】
【数１】
【００２５】安定化係数はノイズが含まれており、且つ安定して推定されているかどうかを示す値であり、小さいほどより安定であることを示している。
【００２６】入力波形設定部１５においては、Ａ／Ｄ変換部１２において入力された入力信号を、高速フーリエ変換（ＦＦＴ）するために、２の指数乗の長さを持つメモリ配列に後ろ詰めで書込む。前の部分は０を詰めておく。前述の設定例では２５６の長さの配列に０〜３５まで０を書込み、３６〜２５５までに入力信号を書込む。この配列は８次のＦＦＴの際に実数部として用いられる。また、虚数部として、実数部と同じ長さの配列を用意し、全てに０を書込んでおく。
【００２７】ＬＰＣ分析部１６においては、入力波形設定部１５で設定した実数部エリアに対してハミング窓を掛け、窓掛け後の波形に対して自己相関分析を行って自己相関係数を求め、自己相関法に基づくＬＰＣ分析を行い、線形予測係数を得る。さらに、得られた線形予測係数と、予め設定したＭＡ強調係数、ＡＲ強調係数を用いて、以下の（数２）の式に基づき、スペクトル強調部２１で使用する極強調フィルタのＭＡ係数とＡＲ係数とを算出する。
【００２８】
【数２】
【００２９】フーリエ変換部１７では、入力波形設定部１５で得られる実数部、虚数部のメモリ配列を用いて、ＦＦＴによる離散フーリエ変換を行う。得られた複素スペクトルの実数部と虚数部の絶対値の和を計算することによって入力信号の疑似振幅スペクトル（以下に入力スペクトルと呼ぶ）を求める。また、各周波数の入力スペクトル値の総和（以下に入力パワーと呼ぶ）を求める。
【００３０】次にノイズ推定部２４における処理を説明する。まず、ノイズスペクトル格納部２５に格納されている１位候補、２位候補の全ての周波数の持続数を更新する（１を加算する）。そして、１位候補の各周波数の持続数を調べ、予め設定したノイズスペクトル基準持続数より大きい場合は、２位候補のスペクトルと持続数を１位候補とし、３位候補のスペクトルを２位候補のスペクトルとし持続数を０とする。ただし、この２位候補のスペクトルの入れ替えにおいては、３位候補を格納せず、２位候補を若干大きくしたもので代用することによって、メモリを節約することができる。本実施例では、２位候補のスペクトルを１．２倍したものを代用することとする。
【００３１】そして、持続数の更新の後に、各周波数毎に、ノイズスペクトルと入力スペクトルの比較を行う。まず、各周波数の入力スペクトルを１位候補のノイズスペクトルと比較し、もし入力スペクトルの方が小さい場合は、１位候補のノイズスペクトルと持続数を２位候補とし、入力スペクトルを１位候補のスペクトルとし１位候補の持続数は０とする。前記の条件以外の場合は、入力スペクトルと２位候補のノイズスペクトルとの比較を行い、もし入力スペクトルの方が小さい場合は、入力スペクトルを２位候補のスペクトルとし２位候補の持続数は０とする。そして、得られた１、２位候補のスペクトルと持続数をノイズスペクトル格納部２５に格納する。
【００３２】上記ノイズ推定処理において、１つの周波数のノイズスペクトルを複数の周波数の入力スペクトルと対応させれば、ノイズスペクトル格納部２５を構成するためのＲＡＭ容量を節約することができる。例として、本実施例の２５６ポイントのＦＦＴを用いる場合に、１つの周波数のノイズスペクトルを４つの周波数の入力スペクトルから推定するときのノイズスペクトル格納部２５のＲＡＭ容量を示す。（疑似）振幅スペクトルが周波数軸上で左右対称であることを考慮すると、全ての周波数で推定する場合は１２８個の周波数のスペクトルと持続数を格納するので、１２８（周波数）×２（スペクトルと持続数）×２（１、２位候補）で計５１２ＷのＲＡＭ容量が必要になる。これに対して、１つの周波数のノイズスペクトルを４つの周波数の入力スペクトルと対応させる場合は、３２（周波数）×２（スペクトルと持続数）×２（１、２位候補）で計１２８ＷのＲＡＭ容量でよいことになる。この場合、ノイズスペクトルの周波数解像度は低下することになるが、上記１対４の場合は殆ど性能の劣化がないことを実験により確認している。また、この発明は、１つの周波数のスペクトルでノイズスペクトルを推定しないことから、定常音（サイン波、母音等）が長時間続いた場合に、そのスペクトルをノイズスペクトルと誤推定することを防ぐ効果もある。
【００３３】さらに、上記ノイズスペクトル推定の後、１位候補のノイズスペクトルの総和を求める（以後これをノイズパワーと呼ぶ）。そして、このノイズパワーがノイズ基準パワーよりも小さい時、ノイズが含まれていないとして、安定化係数格納部１３に格納されている安定化係数を３．０として安定化係数格納部１３に格納する。この処理により、入力信号にノイズが含まれていないことをノイズ削減係数調整部１４に伝えることができる。よって、ノイズが含まれていないときに、ノイズ削減係数を小さくすることができ、したがってノイズ削減に伴う音声のスペクトル歪みを小さくすることができる。
【００３４】次に、ノイズ削減部１８における処理について説明する。まず、入力スペクトルからノイズスペクトル格納部２５に格納されている１位候補のノイズスペクトルにノイズ削減係数調節部１４で得られたノイズ削減係数を乗じたものを引く（以後、差スペクトルと呼ぶ）。上記ノイズ推定部２４の説明において示したノイズスペクトル格納部２５のＲＡＭ容量の節約を行った場合は、入力スペクトルに対応する周波数のノイズスペクトルに削減係数を乗じたものを引く。
【００３５】次に、スペクトル補償部１９における処理について説明する。まず、安定化係数格納部１３に格納された安定化係数を参照し、これが１．４よりも大きい場合は、前スペクトル格納部２６に入力スペクトルを格納する。次に、ノイズ削減部１８で得られた差スペクトルを調べ、負である場合は、その周波数における入力スペクトルと前スペクトル格納部２６に格納された前フレームのスペクトルとのうち小さい方の値とする。（この処理後の差スペクトルを以後出力スペクトルと呼ぶ。）そして、出力スペクトルを前スペクトル格納部２６へ格納する。（なお、この補償に、前スペクトルを用いずに、入力スペクトル、又は入力スペクトルに係数を乗じたもののみを用いれば、さらにメモリ容量が節約できる。）ここで、音声が含まれていないノイズ区間のパワーの変動による異音を抑えるために、前スペクトル格納部２６に格納された前フレームのパワーを用いてパワーのスムージングを行う。処理の流れについて以下に説明する。まず、出力スペクトルの総和を求める。（以後これを出力パワーと呼ぶ。）次に、安定化係数格納部１３に格納された安定化係数を参照し、これが１．４よりも大きい場合は、前スペクトル格納部２６に前パワーとして出力パワーを格納する。そして、出力パワーが前パワーの１．８倍よりも小さく、且つ、前パワーがノイズパワーにノイズ削減係数と１．４を乗じたものよりも小さい場合に、以下の手順でスムージングを行う。
【００３６】まず、以下の（数３）によって前パワーを変換する。
【００３７】
【数３】
【００３８】そして、前スペクトルを出力スペクトルとし、前パワーと共に前スペクトル格納部２６に格納する。
【００３９】逆フーリエ変換部２０では、フーリエ変換部１７で得られた位相成分とスペクトル補償部１９で得られた出力スペクトルとに基づき、複素スペクトルを構成し、ＦＦＴを用いて逆フーリエ変換を行う。（得られた信号を第１次出力信号と呼ぶ。）
さらに、スペクトル強調部２１における処理について説明する。
【００４０】まず、逆フーリエ変換部２０において得られた第１次出力信号に対して、ＬＰＣ分析部１６において得られたＭＡ係数とＡＲ係数とを用いて極強調フィルタを掛ける。このフィルタの伝達関数を以下の（数４）に示す。
【００４１】
【数４】
【００４２】更に、高域成分を強調するために、予め設定した高域強調係数を用いて、高域強調フィルタを掛ける。このフィルタの伝達関数を以下の（数５）に示す。
【００４３】
【数５】
【００４４】更に、パワーを強調するために、予め設定したパワー強調係数を信号に乗ずる。（この処理によって得られた信号を第２次出力信号と呼ぶ。）
最後に、波形整合部２２において、スペクトル強調部２１で得られた第２次出力信号と、前波形格納部２７に格納された信号を三角窓によって重ね合せて出力信号を得る。更に、この出力信号の最後の先読みデータ長分のデータを前波形格納部２７に格納する。このときの整合方法を以下の（数６）に示す。
【００４５】
【数６】
【００４６】ここで注意が必要なのは、出力信号としては先読みデータ長＋フレーム長分のデータが出力されるが、この内信号として扱うことができるのはデータの始端からフレーム長の長さの区間のみということである。なぜなら、後ろの先読みデータ長のデータは次の出力信号を出力するときに書き換えられるからである。ただし、出力信号の全区間内では連続性は補償されるので、ＬＰＣ分析やフィルタ分析等周波数分析には使用できる。
【００４７】ここで、上記構成によるノイズ削減装置の性能を評価するために、音声符号化装置（ＣＥＬＰ方式が基本）の音声入力部に本発明のノイズ削減装置を使用して、音声符号化・復号化実験を行った。従来例で示した通り、現在の音声符号化装置、音声コーデックにおける重大な課題は、入力音声に重畳しているノイズが符号化・復号化後に異音になり、合成音が聞きづらくなるということである。そこで、音声符号化・復号化で得られる合成音声を多数の試聴者に聞かせ、主観評価実験を行った。
【００４８】評価サンプルは図２に示すシステムにより作成した。まず、ノイズを含む音声信号をまず本発明のノイズ削減装置に入力し、ノイズを削減する。次に、削減後の信号を音声符号化装置に入力し符号を得る。そして、得られた符号を音声復号化装置に入力し、出力信号を得る。そして、この出力信号をサンプルとして試聴実験を行った。また、リファレンス用としては、ノイズ削減装置を介さずに入力信号を音声符号化装置へ直接入力することによって得られた出力信号を用いた。
【００４９】ノイズ削減装置は上記実施例に示した設定例の通りに作成した。メモリ容量はスタティックＲＡＭが約３００Ｗ、ダイナミックＲＡＭが約１．４ｋＷ、処理量は約３ＭＯＰＳである。
【００５０】また、音声サンプルは男女２名づつ計４名分の日本語短文データ（それぞれ２〜３秒間）でサンプリングレートは８ｋＨｚ、ノイズの無い音声データである。ノイズ付加データは、前述のノイズ無しデータに道路騒音をＳ／Ｎ比２０ｄＢで付加することによって作成した。また、試聴者は男女計１６名である。評価は、５段階（１：大変悪い、２：悪い、３：普通、４：良い、５：大変良い）で行い、各評価者、各データについて得られた評価値を平均してＭＯＳ（Mean OpinionScore）を求めた。結果を以下の表１に示す。
【００５１】
【表１】
【００５２】これを見るとわかるように、ノイズの無いデータでは３．５という高いＭＯＳ値が得られている。しかし、ノイズが含まれると異音感が増加し、ノイズ削減装置を用いない場合は、ＭＯＳ値で３．１３と大きく音質が劣化する。しかし、本発明のノイズ削減装置を用いると、ノイズが削減され音質の劣化が起こらず、３．５とノイズの無いときの音質とほぼ同じＭＯＳ値が得られるようになった。
【００５３】上記の実験から本発明の効果が高いことが検証できた。
【００５４】
【発明の効果】以上のように本発明は、第１に音声区間中でも音声区間外でもノイズスペクトル推定を行うことができ、音声がどのタイミングでデータ中に存在するかが明らかでない場合でもノイズスペクトルを推定することができる。また、入力のスペクトル包絡の特徴を線形予測係数で強調することができ、ノイズレベルが高い場合でも音質の劣化を防ぐことができる。
【００５５】第２に、振幅スペクトルを求める際に必要な平方根の計算が省略でき、計算量を節約することができる。
【００５６】第３に、連続する複数フレームの振幅スペクトルの最低値を各周波数毎に求めることができ、これをノイズスペクトルとすることによって音声が含まれている区間においてもノイズスペクトルの推定が容易にでき、音声がどのタイミングでデータ中に存在するかが明らかでない場合でもノイズスペクトルを推定することができる。
【００５７】第４に、ノイズスペクトル格納部を構成するためのＲＡＭ領域を数分の１に削減することができ、ＲＡＭ容量を節約することができる。また、この発明により、長く持続する単音をノイズと誤判定することを防ぐこともできる。
【００５８】第５に、ノイズの穏やかな変化に適応することができ、音声がどのタイミングでデータ中に存在するかが明らかでない場合でもノイズスペクトルを推定することができる。
【００５９】第６に、穏やかに変化するノイズに適応したノイズスペクトル推定が可能になり、音声がどのタイミングでデータ中に存在するかが明らかでない場合でもノイズスペクトルを推定することができる。
【００６０】第７に、実際よりも低く推定されるノイズレベルを実際のノイズレベルまで引き上げることができ、より適したノイズ削減が可能になり、音声がどのタイミングでデータ中に存在するかが明らかでない場合でもノイズスペクトルを推定することができる。
【００６１】第８に、補償された周波数の異音感を低減すると同時に音声を含んでいない区間のパワーを低減させることができ、ノイズレベルが高い場合でも音質の劣化を防ぐことができる。
【００６２】第９に、ノイズ削減によって生じたスペクトル歪みを補正し、聴感的に音質を向上させることができ、ノイズレベルが高い場合でも音質の劣化を防ぐことができる。
【図面の簡単な説明】
【図１】本発明のノイズ削減装置のブロック結線図
【図２】本発明の効果を評価するための評価データの作成方法を示した図
【図３】従来のスペクトルサブトラクションによるノイズ削減装置のブロック結線図
【符号の説明】
１１ 入力信号
１２ Ａ／Ｄ変換部
１３ 安定化係数格納部
１４ ノイズ削減係数調節部
１５ 入力波形設定部
１６ ＬＰＣ分析部
１７ フーリエ変換部
１８ ノイズ削減部
１９ スペクトル補償部
２０ 逆フーリエ変換部
２１ スペクトル強調部
２２ 波形整合部
２３ 出力音声
２４ ノイズ推定部
２５ ノイズスペクトル格納部
２６ 前スペクトル格納部
２７ 前波形格納部
５１ 入力信号
５２ ノイズ削減装置
５３ 音声符号化装置
５４ 音声復号化装置
５５ 出力信号
３１ ノイズのみの入力信号
３２ Ａ／Ｄ変換部
３３ フーリエ変換部
３４ ノイズ分析部
３５ ノイズスペクトル格納部
３６ ノイズを含む入力信号
３７ Ａ／Ｄ変換部
３８ フーリエ変換部
３９ ノイズ削減部
４０ 逆フーリエ変換部
４１ 出力信号
【特許請求の範囲】
【請求項１】 入力音声信号をディジタル信号に変換するＡ／Ｄ変換部と、削減するノイズ量を制御する係数を調節するノイズ削減係数調節部と、前記Ａ／Ｄ変換部により得られる一定時間長（１フレーム）のディジタル信号に対して線形予測分析（ＬＰＣ分析）を行うＬＰＣ分析部と、前記Ａ／Ｄ変換部により得られる一定時間長（１フレーム）のディジタル信号に対して離散フーリエ変換を行うフーリエ変換部と、推定されたノイズのスペクトルが格納されているノイズスペクトル格納部と、前記フーリエ変換部により得られる入力スペクトルと前記ノイズスペクトル格納部に格納されているノイズスペクトルとを比較することによってノイズのスペクトルを推定して得られたノイズスペクトルを前記ノイズスペクトル格納部に格納するノイズ推定部と、前記ノイズ削減係数調節部により得られる係数に基づいて前記ノイズスペクトル格納部に格納されているノイズスペクトルを前記フーリエ変換部により得られる入力信号のスペクトルから減ずるノイズ削減部と、前記ノイズ削減部により得られるスペクトルを調べて減じ過ぎた周波数のスペクトルを補償するスペクトル補償部と、前記スペクトル補償部により得られるスペクトルと前記フーリエ変換部により得られる位相とに基づいて逆フーリエ変換を行う逆フーリエ変換部と、前記逆フーリエ変換部により得られる音響信号に対してスペクトル強調を行うスペクトル強調部と、前記スペクトル強調部により得られる信号を前のフレームの信号と整合させる波形整合部とを具備するノイズ削減装置。
【請求項２】 フーリエ変換部が、離散フーリエ変換を行って得られる複素スペクトルの実数部と虚数部の絶対値の和を計算することによって疑似的な振幅スペクトルを得るものである請求項１記載のノイズ削減装置。
【請求項３】 ノイズ推定部が、フーリエ変換部により得られる入力信号のスペクトルを各周波数毎にノイズスペクトルと大小比較し、前記入力信号のスペクトルが前記ノイズスペクトルより小さい場合に、その周波数のノイズスペクトルを入力信号のスペクトルとすることによってノイズスペクトルを推定するものである請求項１記載のノイズ削減装置。
【請求項４】 ノイズ推定部が、１つの周波数のノイズスペクトルが複数の周波数の入力信号のスペクトルに対応しており、ノイズスペクトルの各周波数に対してそれと対応する複数の周波数の入力信号のスペクトルとの比較を行い、最も小さい値をノイズスペクトルとしてノイズスペクトル格納部に格納するものである請求項１記載のノイズ削減装置。
【請求項５】 ノイズ推定部が、ノイズスペクトルとして格納されている各周波数のノイズスペクトルが不変であるフレーム数がある固定値以上の場合に、そのスペクトル値を強制的に放棄するものである請求項１記載のノイズ削減装置。
【請求項６】 ノイズ推定部が、ノイズスペクトルの第２候補を抽出してノイズスペクトル格納部に格納しておき、ノイズスペクトルの放棄の際には、その第２候補に入れ替えるものである請求項５記載のノイズ削減装置。
【請求項７】 ノイズ削減部が、ノイズ削減係数調節部にて得られたノイズ削減係数をノイズスペクトル格納部に格納されたノイズスペクトルに乗じて、フーリエ変換部にて得られた入力信号のスペクトルから減ずるものである請求項１記載のノイズ削減装置。
【請求項８】 スペクトル補償部で補償されたスペクトルを格納する前スペクトル格納部を有し、スペクトル補償部が、ノイズ削減部で負のスペクトル値となった周波数に対して、フーリエ変換部で得られる現フレームのスペクトルと前記前スペクトル格納部に格納されたスペクトルとのうち、小さい方を用いて補償し、さらに得られたスペクトルを前記前スペクトル格納部に格納するものである請求項１記載のノイズ削減装置。
【請求項９】 スペクトル強調部が、逆フーリエ変換部にて得られた音響信号に対して、ＬＰＣ分析部にて得られた線形予測係数による極強調フィルタ処理、高域強調フィルタ処理及びパワー強調処理によるスペクトル強調を行うものである請求項１記載のノイズ削減装置。
【請求項１】 入力音声信号をディジタル信号に変換するＡ／Ｄ変換部と、削減するノイズ量を制御する係数を調節するノイズ削減係数調節部と、前記Ａ／Ｄ変換部により得られる一定時間長（１フレーム）のディジタル信号に対して線形予測分析（ＬＰＣ分析）を行うＬＰＣ分析部と、前記Ａ／Ｄ変換部により得られる一定時間長（１フレーム）のディジタル信号に対して離散フーリエ変換を行うフーリエ変換部と、推定されたノイズのスペクトルが格納されているノイズスペクトル格納部と、前記フーリエ変換部により得られる入力スペクトルと前記ノイズスペクトル格納部に格納されているノイズスペクトルとを比較することによってノイズのスペクトルを推定して得られたノイズスペクトルを前記ノイズスペクトル格納部に格納するノイズ推定部と、前記ノイズ削減係数調節部により得られる係数に基づいて前記ノイズスペクトル格納部に格納されているノイズスペクトルを前記フーリエ変換部により得られる入力信号のスペクトルから減ずるノイズ削減部と、前記ノイズ削減部により得られるスペクトルを調べて減じ過ぎた周波数のスペクトルを補償するスペクトル補償部と、前記スペクトル補償部により得られるスペクトルと前記フーリエ変換部により得られる位相とに基づいて逆フーリエ変換を行う逆フーリエ変換部と、前記逆フーリエ変換部により得られる音響信号に対してスペクトル強調を行うスペクトル強調部と、前記スペクトル強調部により得られる信号を前のフレームの信号と整合させる波形整合部とを具備するノイズ削減装置。
【請求項２】 フーリエ変換部が、離散フーリエ変換を行って得られる複素スペクトルの実数部と虚数部の絶対値の和を計算することによって疑似的な振幅スペクトルを得るものである請求項１記載のノイズ削減装置。
【請求項３】 ノイズ推定部が、フーリエ変換部により得られる入力信号のスペクトルを各周波数毎にノイズスペクトルと大小比較し、前記入力信号のスペクトルが前記ノイズスペクトルより小さい場合に、その周波数のノイズスペクトルを入力信号のスペクトルとすることによってノイズスペクトルを推定するものである請求項１記載のノイズ削減装置。
【請求項４】 ノイズ推定部が、１つの周波数のノイズスペクトルが複数の周波数の入力信号のスペクトルに対応しており、ノイズスペクトルの各周波数に対してそれと対応する複数の周波数の入力信号のスペクトルとの比較を行い、最も小さい値をノイズスペクトルとしてノイズスペクトル格納部に格納するものである請求項１記載のノイズ削減装置。
【請求項５】 ノイズ推定部が、ノイズスペクトルとして格納されている各周波数のノイズスペクトルが不変であるフレーム数がある固定値以上の場合に、そのスペクトル値を強制的に放棄するものである請求項１記載のノイズ削減装置。
【請求項６】 ノイズ推定部が、ノイズスペクトルの第２候補を抽出してノイズスペクトル格納部に格納しておき、ノイズスペクトルの放棄の際には、その第２候補に入れ替えるものである請求項５記載のノイズ削減装置。
【請求項７】 ノイズ削減部が、ノイズ削減係数調節部にて得られたノイズ削減係数をノイズスペクトル格納部に格納されたノイズスペクトルに乗じて、フーリエ変換部にて得られた入力信号のスペクトルから減ずるものである請求項１記載のノイズ削減装置。
【請求項８】 スペクトル補償部で補償されたスペクトルを格納する前スペクトル格納部を有し、スペクトル補償部が、ノイズ削減部で負のスペクトル値となった周波数に対して、フーリエ変換部で得られる現フレームのスペクトルと前記前スペクトル格納部に格納されたスペクトルとのうち、小さい方を用いて補償し、さらに得られたスペクトルを前記前スペクトル格納部に格納するものである請求項１記載のノイズ削減装置。
【請求項９】 スペクトル強調部が、逆フーリエ変換部にて得られた音響信号に対して、ＬＰＣ分析部にて得られた線形予測係数による極強調フィルタ処理、高域強調フィルタ処理及びパワー強調処理によるスペクトル強調を行うものである請求項１記載のノイズ削減装置。
【図１】
【図２】
【図３】
【図２】
【図３】
【特許番号】特許第３１８３１０４号（Ｐ３１８３１０４）
【登録日】平成１３年４月２７日（２００１．４．２７）
【発行日】平成１３年７月３日（２００１．７．３）
【国際特許分類】
【出願番号】特願平７−１７８４８４
【出願日】平成７年７月１４日（１９９５．７．１４）
【公開番号】特開平９−３４４９７
【公開日】平成９年２月７日（１９９７．２．７）
【審査請求日】平成１０年２月２４日（１９９８．２．２４）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【参考文献】
【文献】欧州特許出願公開７１８８２０（ＥＰ，Ａ２）
【文献】米国特許５７７４８４６（ＵＳ，Ａ）
【文献】米国特許６０６７５１８（ＵＳ，Ａ）
【文献】米国特許６１６７３７３（ＵＳ，Ａ）
【文献】電子情報通信学会技術研究報告［音声］，Ｖｏｌ．９３，Ｎｏ．４６３，ＳＰ９３−１３９，大室仲外「ＰＳＩ−ＣＥＬＰ音声符号化の可変ビットレート化に関する検討」，ｐ．９−１６（１９９４年２月１７日発行）
【文献】電子情報通信学会技術研究報告［音声］，Ｖｏｌ．９５，Ｎｏ．３５５，ＳＰ９５−８０，森井利幸外「音声の短時間的特徴に対応したマルチモードＣＥＬＰ符号化」，ｐ．５５−６２（１９９５年１１月１６日発行）
【文献】Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ １９９６ ＩＥＥＥ ４６ｔｈ Ｖｅｈｃｕｌａｒ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏｎｆｅｒｅｎｃｅ，Ｎ．Ｔａｎａｋａ ｅｔ ａｌ，”Ａ Ｍｕｌｔｉ−Ｍｏｄｅ Ｖａｒｉａｂｌｅ Ｒａｔｅ Ｓｐｅｅｃｈ Ｃｏｄｅｒ ｆｏｒ ＣＤＭＡ Ｃｅｌｌｕｌａｒ Ｓｙｓｔｅｍｓ”，ｐ．１９８−２０２，Ａｐｒｉｌ ２８−Ｍａｙ １，１９９６，Ａｔｌａｎｔａ，Ｇｅｒｏｇｉａ，ＵＳＡ
【登録日】平成１３年４月２７日（２００１．４．２７）
【発行日】平成１３年７月３日（２００１．７．３）
【国際特許分類】
【出願日】平成７年７月１４日（１９９５．７．１４）
【公開番号】特開平９−３４４９７
【公開日】平成９年２月７日（１９９７．２．７）
【審査請求日】平成１０年２月２４日（１９９８．２．２４）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【参考文献】
【文献】欧州特許出願公開７１８８２０（ＥＰ，Ａ２）
【文献】米国特許５７７４８４６（ＵＳ，Ａ）
【文献】米国特許６０６７５１８（ＵＳ，Ａ）
【文献】米国特許６１６７３７３（ＵＳ，Ａ）
【文献】電子情報通信学会技術研究報告［音声］，Ｖｏｌ．９３，Ｎｏ．４６３，ＳＰ９３−１３９，大室仲外「ＰＳＩ−ＣＥＬＰ音声符号化の可変ビットレート化に関する検討」，ｐ．９−１６（１９９４年２月１７日発行）
【文献】電子情報通信学会技術研究報告［音声］，Ｖｏｌ．９５，Ｎｏ．３５５，ＳＰ９５−８０，森井利幸外「音声の短時間的特徴に対応したマルチモードＣＥＬＰ符号化」，ｐ．５５−６２（１９９５年１１月１６日発行）
【文献】Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ １９９６ ＩＥＥＥ ４６ｔｈ Ｖｅｈｃｕｌａｒ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏｎｆｅｒｅｎｃｅ，Ｎ．Ｔａｎａｋａ ｅｔ ａｌ，”Ａ Ｍｕｌｔｉ−Ｍｏｄｅ Ｖａｒｉａｂｌｅ Ｒａｔｅ Ｓｐｅｅｃｈ Ｃｏｄｅｒ ｆｏｒ ＣＤＭＡ Ｃｅｌｌｕｌａｒ Ｓｙｓｔｅｍｓ”，ｐ．１９８−２０２，Ａｐｒｉｌ ２８−Ｍａｙ １，１９９６，Ａｔｌａｎｔａ，Ｇｅｒｏｇｉａ，ＵＳＡ
[ Back to top ]