擬似広帯域音声信号生成装置、擬似広帯域音声信号生成方法、及びそのプログラム

【課題】自然度、明瞭度ともに高い擬似広帯域音声信号を生成する。
【解決手段】周波数変換部は、離散値化された狭帯域音声・音響信号を、一定時間ごとに区切られたフレームごとに周波数領域の低域領域の信号に変換する。高域信号生成部は、低域領域の信号の全部または一部を複写して高域領域の信号を生成する。自己相関係数計算部は、狭帯域音声・音響信号の自己相関係数を所定の複数の次数についてフレームごとに計算する。ゲイン決定部は、低域領域内の２つの異なる周波数範囲の信号のパワーまたは振幅の絶対値和の大小関係と自己相関係数とからゲイン係数を決定する。ゲイン乗算部は、高域領域の信号にゲイン係数を乗じて強調高域信号を生成する。結合部は、低域領域の信号と強調高域信号とを合わせて擬似広帯域周波数信号を生成する。周波数逆変換部は、擬似広帯域周波数信号を時間領域の擬似広帯域音声信号に変換する。

【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電話網やパケット通信ネットワークを利用した音声・音響信号（以下、「音声」という）通信に用いるものであり、狭帯域信号から擬似的に広帯域信号を求める擬似広帯域音声信号生成装置、擬似広帯域音声信号生成方法、及びそのプログラムに関する。
【背景技術】
【０００２】
アナログ電話を代表とする従来からの電話システムで伝送できる音声の周波数帯域は、およそ３００Ｈｚから３．４ｋＨｚである。これは、用件を伝えるのに必要な音声品質と、伝送に必要な情報量とのバランスを考慮して、国際電気通信連合（ＩＴＵ−Ｔ）によって決められ、広く世界で採用されていることによる。一般に、周波数帯域の上限が４ｋＨｚ以下の音声を狭帯域信号、４ｋＨｚを超えて７ｋＨｚ程度までの音声を広帯域信号と呼ぶ。
【０００３】
ところで、最近の音響技術の発展及びディジタル信号処理技術の進歩により、日常生活で使われる機器の音声の品質が向上している。このような状況において、電話の音声にも広帯域化を求める声がある。かかる要求に応える目的で、音声擬似広帯域化装置やその方法が用いられる。音声の擬似広帯域化とは、通話相手から受信した狭帯域信号を利用して、受信側の端末又は通信路上の変換装置によって広帯域信号を生成することをいう。生成される広帯域信号は、本来の広帯域音声とは異なり、あらかじめ決められた規則によって狭帯域信号から広帯域信号に変換されるものであるため、これを擬似広帯域信号と呼ぶ。擬似広帯域化において重要なことは、できるだけ本来の広帯域音声に近い音質の広帯域信号を生成することであり、狭帯域信号から広帯域信号への変換規則がその性能を左右する。
【０００４】
音声を擬似広帯域化するには、大きく分けて、３００Ｈｚ前後より低い周波数帯成分の回復（以下、「回復Ａ」という）の処理と、３．４ｋＨｚより高い周波数帯域成分の回復（以下、「回復Ｂ」という）の処理が必要である。本発明は回復Ｂに関するものである。
【０００５】
回復Ｂに関する方法として、特許文献１の方法が知られている。特許文献１の方法を実行する擬似広帯域音声信号生成装置１０の構成例を図１９に示す。信号擬似広帯域化装置１０は、周波数変換部１１、高域信号生成部１２、ゲイン決定部１４、ゲイン乗算部１５、結合部１６、および周波数逆変換部１７を備える。周波数変換部１１は、離散値化された狭帯域音声・音響信号を周波数領域の信号に変換して低域領域の信号を生成する。高域信号生成部１２は、低域領域の信号の一部または全部を複写して高域領域の信号を生成する。ゲイン決定部１４は、低域領域内の異なる範囲の信号のパワー比または振幅の絶対値和の比に基づいて、異なる範囲の低域側の信号のパワーまたは振幅の絶対値和が大きい場合には高域領域の信号に乗ずるゲイン係数を小さくし、高域側の信号のパワーまたは振幅の絶対値和が大きい場合には高域領域の信号に乗ずるゲイン係数を大きくするようにゲイン係数を決定する。ゲイン乗算部１５は、高域領域の信号にゲイン係数を乗じて強調高域信号を生成する。結合部１６は、低域領域の信号と強調高域信号を合わせて擬似広帯域周波数信号を生成する。周波数逆変換部１７は、擬似広帯域周波数信号を時間領域の擬似広帯域音声信号に変換して出力する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−１３４２６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１の方法は、低域領域内の信号の特徴に応じてゲイン係数を可変することで、雑音の発生を防止すると共に無声部を聞き取り易くできるので、擬似広帯域音声の明瞭度を向上させることができる。しかしながら、ゲイン決定部の処理が簡易であること、高域信号生成部では低域領域の信号の一部または全部を複写して高域領域の信号を生成していること、高域領域の信号にゲイン係数を乗じる際に低域領域からの連続性が十分に考慮されていないことなど、処理が簡易であるために生成した擬似広帯域音声信号の自然性や明瞭度の向上が十分でない問題があった。
【０００８】
本発明の目的は、自然度、明瞭度ともに高い擬似広帯域音声信号を生成することが可能な、擬似広帯域音声信号生成装置、擬似広帯域音声信号生成方法、及びそのプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
本発明の擬似広帯域音声信号生成装置は、周波数変換部と高域信号生成部と自己相関係数計算部とゲイン決定部とゲイン乗算部と結合部と周波数逆変換部とを備える。周波数変換部は、離散値化された狭帯域音声・音響信号を、一定時間ごとに区切られたフレームごとに周波数領域の低域領域の信号に変換する。高域信号生成部は、前記低域領域の信号の全部または一部を複写して高域領域の信号を生成する。自己相関係数計算部は、前記狭帯域音声・音響信号の自己相関係数を、所定の複数の次数について前記フレームごとに計算する。ゲイン決定部は、前記低域領域内の２つの異なる周波数範囲の信号のパワーまたは振幅の絶対値和の大小関係と前記自己相関係数とからゲイン係数を決定する。ゲイン乗算部は、前記高域領域の信号に前記ゲイン係数を乗じて強調高域信号を生成する。結合部は、前記低域領域の信号と前記強調高域信号とを合わせて擬似広帯域周波数信号を生成する。周波数逆変換部は、前記擬似広帯域周波数信号を時間領域の擬似広帯域音声信号に変換する。
【発明の効果】
【００１０】
本発明の擬似広帯域音声信号生成装置、擬似広帯域音声信号生成方法、及びそのプログラムは、高域領域の信号に乗ずるゲインを、狭帯域音声のスペクトルの傾きだけでなく、ピッチ相関の値を加味して決定するため、従来の擬似広帯域音声信号生成装置より自然性の高い音質で、かつ明瞭度が高い擬似広帯域音声信号を生成することができる。
【図面の簡単な説明】
【００１１】
【図１】擬似広帯域音声信号生成装置１００の構成例を示す図。
【図２】擬似広帯域音声信号生成装置１００の処理フロー例を示す図。
【図３】ゲイン決定部１４０の構成例を示す図。
【図４】ゲイン決定部１４０の処理フロー例を示す図。
【図５】擬似広帯域音声信号生成装置２００の構成例を示す図。
【図６】擬似広帯域音声信号生成装置２００の処理フロー例を示す図。
【図７】自己相関係数ｃ_ｉ(１)の値に応じたスペクトルの形状のイメージを示す図。
【図８】擬似広帯域音声信号生成装置３００の構成例を示す図。
【図９】擬似広帯域音声信号生成装置３００の処理フロー例を示す図。
【図１０】ゲイン係数計算手段３４２の詳細動作の例を示す図。
【図１１】ゲイン係数計算手段３４２の詳細動作の別の例を示す図。
【図１２】擬似広帯域音声信号生成装置４００の構成例を示す図。
【図１３】擬似広帯域音声信号生成装置４００の処理フロー例を示す図。
【図１４】擬似広帯域音声信号生成装置４０１の構成例を示す図。
【図１５】擬似広帯域音声信号生成装置４０１の処理フロー例を示す図。
【図１６】擬似広帯域音声信号生成装置５００の構成例を示す図。
【図１７】擬似広帯域音声信号生成装置５００の処理フロー例を示す図。
【図１８】ゲイン係数ｇから中域ゲインＧ_Ｍ（ｋ）を決める規則の例を示す図。
【図１９】従来の擬似広帯域音声信号生成装置１０の構成例を示す図。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態について、詳細に説明する。
【実施例１】
【００１３】
本発明の擬似広帯域音声信号生成装置１００の構成例を図１に、その構成例における処理フローを図２に示す。擬似広帯域音声信号生成装置１００は、周波数変換部１１０、高域信号生成部１２０、自己相関係数計算部１３０、ゲイン決定部１４０、ゲイン乗算部１５０、結合部１６０、及び周波数逆変換部１７０を備える。
【００１４】
フレームと呼ばれる一定時間毎に区切られたディジタル形式の狭帯域音声・音響信号（以下、狭帯域音声と呼ぶ）をｓ_ｉ（ｔ）とする。添え字ｉは第ｉ番目のフレームであることを示し、ｔはフレームの先頭時刻を基準とする相対的なサンプル番号とする。ｔ＝１はフレームの先頭サンプル、ｔが０以下のときは前フレームのサンプルを、ｔがフレームの時間長（以下、フレーム長）を越えるときは次フレームのサンプルを示すことにする。サンプリング周波数には８ｋＨｚを用いることが多いが、１１ｋＨｚや１６ｋＨｚなどの他のサンプリング周波数を用いてもよい。フレーム長は例えば２０ミリ秒を用いることができるが、５ミリ秒、１０ミリ秒など他の時間長を用いてもよい。以下の例では、サンプリング周波数が８ｋＨｚ、フレーム長が２０ミリ秒であるとして説明する。狭帯域音声ｓ_ｉ(ｔ)は、周波数変換部１１０と自己相関係数計算部１３０に送られる。
【００１５】
周波数変換部１１０は、フーリエ変換、離散コサイン変換（ＤＣＴ）、変形離散コサイン変換（ＭＤＣＴ）などの手法を用いて、狭帯域音声ｓ_ｉ(ｔ)を周波数領域の低域領域の信号Ｓ_Ｌ(ｋ)に変換する（Ｓ１）。ここでｋは周波数を表し、１≦ｋ≦Ｄとする。Ｄは周波数変換の窓長に依存するが、一例として、Ｄ＝１６０とし、ｋ＝１は０Ｈｚ、ｋ＝Ｄは４ｋＨｚに対応させることができる。なお、Ｓ_Ｌ(ｋ)はフレーム番号ｉに依存する値となるが、添え字ｉは省略し、以下、他の変数名についても処理フロー上明らかな場合は同様にフレーム番号を省略する。Ｓ_Ｌ(ｋ)は高域信号生成部１２０とゲイン決定部１４０と結合部１６０に送られる。
【００１６】
高域信号生成部１２０は、低域領域の信号Ｓ_Ｌ(ｋ)の全部または一部を複写して高域領域の信号Ｓ_Ｈ(ｋ)を生成する（Ｓ２）。一例として、
Ｓ_Ｈ(ｋ)＝Ｓ_Ｌ(ｋ) １≦ｋ≦Ｄ (１)
または
【００１７】
【数１】

【００１８】
とする。Ｓ_Ｈ(ｋ)は、ゲイン乗算部１５０に送られる。
【００１９】
自己相関係数計算部１３０は、狭帯域音声ｓ_ｉ(ｔ)の自己相関係数ｃ_ｉ(ｎ)を計算する（Ｓ３）。自己相関係数ｃ_ｉ(ｎ)は、例えば、
【００２０】
【数２】

【００２１】
と計算する。ここで、Ｎは自己相関係数の最大次数、Ｗは分析窓長、Ｐ_ｉは狭帯域音声のパワーである。パワーＰ_ｉは、例えば
【００２２】
【数３】

【００２３】
と計算できる。式(3)においてパワーＰ_ｉによる正規化は省略しても構わないが、正規化をするとｃ_ｉ(ｎ)の各値がおよそ−１≦ｃ_ｉ(ｎ)≦１の範囲となるため、後述する閾値などの設定が行いやすい。Ｎは音声のピッチ周期（基本周波数に対応する時間領域の長さ）の想定範囲と同程度以上にする。例えば、人間の音声の基本周波数は５０Ｈｚから４００Ｈｚ程度であるため、一例としてＮ＝１６０とすることができる。基本周波数が５０Ｈｚに近いことは稀なため、実用上はＮ＝１４０やＮ＝１２０程度としてもよい。分析窓長は一例としてフレーム長と同じＷ＝１６０とすることができるが、より長時間にわたる平均的な自己相関係数を求めるために、Ｗ＝２４０程度とすることもある。自己相関係数ｃ_ｉ(ｎ)はゲイン決定部１４０に送られる。
【００２４】
ゲイン決定部１４０は、まず、低域領域の信号Ｓ_Ｌ(ｋ)の２つの異なる周波数範囲それぞれのパワーまたは振幅の絶対値和を計算する。ここで、２つの異なる周波数範囲のうち、周波数の低い側を範囲１、周波数の高い側を範囲２とし、範囲１と範囲２がそれぞれどの周波数からどの周波数までかは、あらかじめ決められているものとする。また、以下、パワーまたは振幅の絶対値和は総称してパワーと呼ぶ。そして、特許文献１の方法では、範囲１と範囲２のパワーの大小関係のみでゲイン係数ｇを決定しているが、本実施例では、範囲１と範囲２のパワーの大小関係と自己相関係数ｃ_ｉ(ｎ)の両方を用いてゲイン係数ｇを決定する（Ｓ４）。ゲイン係数ｇはゲイン乗算部１５０に送られる。
【００２５】
ゲイン乗算部１５０は、高域領域の信号Ｓ_Ｈ(ｋ)にゲインｇを乗じて、強調高域信号Ｓ’_Ｈ(ｋ)を生成し、結合部１６０に送る（Ｓ５）。なお、Ｓ_Ｈ(ｋ)にゲインｇを乗ずる際に、あらかじめ決められた窓関数Ｈ(ｋ)を併せて乗じると、低域領域の信号Ｓ_Ｌ(ｋ)と強調高域信号Ｓ’_Ｈ(ｋ)の周波数境界近傍での不連続性を低減することができる。Ｈ(ｋ)の一例として、ハミング窓やハニング窓を利用することができる。
【００２６】
結合部１６０は、低域領域の信号Ｓ_Ｌ(ｋ)と強調高域信号Ｓ’_Ｈ（ｋ）を合わせて擬似広帯域周波数信号Ｓ_Ｗ(ｋ)を生成する（Ｓ６）。
【００２７】
周波数逆変換部１７０は、擬似広帯域周波数信号Ｓ_Ｗ(ｋ)を時間領域の擬似広帯域信号に変換して出力する（Ｓ７）。
【００２８】
図３は、図１におけるゲイン決定部１４０を具体化した構成例であり、図４はその構成例における処理フローである。ゲイン決定部１４０は、第１パワー計算手段１４１、第２パワー計算手段１４２、傾き計算手段１４３、ピッチ相関探索手段１４４、ピッチ相関判定手段１４５、及びゲイン係数計算手段１４６からなる。
【００２９】
周波数変換部１１０で得られた低域領域の信号Ｓ_Ｌ(ｋ)は、第１パワー計算手段１４１と第２パワー計算手段１４２に送られる。第１パワー計算手段１４１は、周波数の範囲１のパワーＱ_１を計算する（Ｓ４−１）。第２パワー計算手段１４２は、周波数の範囲２のパワーＱ_２を計算する（Ｓ４−２）。Ｑ_１とＱ_２は傾き計算手段１４３に送られる。
【００３０】
傾き計算手段１４３は、Ｑ_１とＱ_２からスペクトルの傾きを表すパラメータＲを計算する（Ｓ４−３）。Ｒは例えば、Ｑ_１とＱ_２の比を用いることができる。Ｑ_１とＱ_２の差でもよい。
【００３１】
一方、自己相関係数計算部１３０で得られた自己相関係数ｃ_ｉ(ｎ)は、ピッチ相関探索手段１４４に送られる。ピッチ相関探索手段１４４は、ｎ＝１，２，３，…，Ｎのそれぞれについてｃ_ｉ(ｎ)の値を探索して、音声のピッチ周期に対応するｎの値ｎ_ｐと、ｎ＝ｎ_ｐのときの自己相関係数ｃ_ｉ(ｎ_ｐ)を特定し、ピッチ相関判定手段１４５に送る（Ｓ４−４）。なお、ｎ_ｐは、自己相関係数ｃ_ｉ(ｎ)の極大値の中から、ｎ_ｐのフレーム間の連続性を考慮して選択する方法により求めることができる。
【００３２】
ピッチ相関判定手段１４５は、ｃ_ｉ(ｎ_ｐ)の値をあらかじめ決められた閾値と比較し、比較結果をフラグＦの値にセットする（Ｓ４−５）。例えば、ｃ_ｉ(ｎ_ｐ)の値が閾値以上であればＦ＝１、未満であればＦ＝０とする。閾値には、例えば０．８を用いることができる。なお、このフラグＦは、当該フレームの音声区間が、有声音であるか無声音であるかを示すものとみなすことができる。フラグＦはゲイン係数計算手段１４６に送られる。
【００３３】
ゲイン係数計算手段１４６は、フラグＦ＝１すなわち有声音とみなされるときは、ゲイン係数ｇとして、あらかじめ決められたゲイン係数ｇ_１を出力し、Ｆ＝０すなわち無声音とみなされるときは、ゲイン係数ｇとして、スペクトルの傾きを表すパラメータＲに応じたゲイン係数を出力する（Ｓ４−６）。第１の例として、ＲがＱ_１≧Ｑ_２を示すときはゲイン係数ｇ_２、Ｑ_１＜Ｑ_２を示すときはｇ_３を出力する。第２の例として、以下の式(5)のように、Ｑ_１がＱ_２よりも大きいほど、ゲイン係数が小さくなるように決めてもよい。
【００３４】
【数４】

【００３５】
なお、ｇ_１＜ｇ_２＜ｇ_３とし、数値としては例えば、ｇ_１＝０．８、ｇ_２＝１．４、ｇ_３＝２．０を用いることができるが、各閾値（または条件式）やそれに対応するゲイン係数は、実際に様々な入力狭帯域音声から擬似広帯域音声信号を実験的に作成し、擬似広帯域音声の聴感的な品質が良くなるように、各値を設定するのがよい。
【００３６】
以上のように、本発明の擬似広帯域音声信号生成装置１００は、高域領域の信号に乗ずるゲインを、狭帯域音声のスペクトルの傾きだけでなく、ピッチ相関の値を加味して決定するため、従来の擬似広帯域音声信号生成装置１０より自然性の高い音質で、かつ明瞭度が高い擬似広帯域音声信号を生成することができる。
【実施例２】
【００３７】
本発明の擬似広帯域音声信号生成装置２００の構成例を図５に、その処理フロー例を図６に示す。擬似広帯域音声信号生成装置２００は、実施例１の擬似広帯域音声信号生成装置１００の変形例であり、具体的にはゲイン決定部におけるゲイン係数ｇの決定に、低域領域の信号Ｓ_Ｌ(ｋ)を用いず自己相関係数ｃ_ｉ(ｎ)のみを用いる構成である。以下、実施例１と共通する部分（符号が同じ部分）の説明は必要最小限にとどめる。
【００３８】
擬似広帯域音声信号生成装置２００は、周波数変換部１１０、高域信号生成部１２０、自己相関係数計算部１３０、ゲイン決定部２４０、ゲイン乗算部１５０、結合部１６０、及び周波数逆変換部１７０を備える。
【００３９】
狭帯域音声ｓ_ｉ(ｔ)は、実施例１と同様、周波数変換部１１０と自己相関係数計算部１３０に送られる。
【００４０】
周波数変換部１１０は、実施例１と同様であるが、生成した低域領域の信号Ｓ_Ｌ(ｋ)は、高域信号生成部１２０と結合部１６０に送られる（Ｓ１）。
【００４１】
自己相関係数計算部１３０は、実施例１と同様にｎ＝１，２，３，…，Ｎのそれぞれについて自己相関係数ｃ_ｉ(ｎ)を計算し、ゲイン決定部２４０に送る（Ｓ３）。
【００４２】
ゲイン決定部２４０は、傾き計算手段２４１、ピッチ相関探索手段１４４、ピッチ相関判定手段１４５、及びゲイン係数計算手段２４２からなり、自己相関係数ｃ_ｉ(ｎ)を用いてゲイン係数ｇを決定する（Ｓ８）。自己相関係数ｃ_ｉ(ｎ)は傾き計算手段２４１とピッチ相関探索手段１４４に送られる。
【００４３】
傾き計算手段２４１は、自己相関係数ｃ_ｉ（ｎ）のうち、ｎ＝１の係数ｃ_ｉ（１）から狭帯域音声ｓ_ｉ(ｔ)のスペクトルの傾きを表すパラメータｒを計算する（Ｓ８−１）。自己相関係数が実施例１で述べたようにパワーで正規化されていれば、一般に
−１≦ｃ_ｉ(１)≦１ (６)
である（ただし、自己相関係数やパワーの計算方法により、下限が−１より小さくなる場合や、上限が１よりも大きくなる場合もあるが、およそプラスマイナス１の範囲であると考えてよい）。また、ｃ_ｉ(１)が負のときは、図７(a)に示すようにスペクトルが「高域上がり」すなわち、およそ実施例１におけるＱ_１＜Ｑ_２のときに相当するスペクトル形状である。ｃ_ｉ(１)が正のときは、図７(b)に示すようにスペクトルが「高域下がり」すなわち、およそ実施例１におけるＱ_１＞Ｑ_２のときに相当するスペクトル形状である。ここでは一例として、
ｒ＝ｃ_ｉ(１)＋１ (７)
とし、
０≦ｒ≦２ (８)
とする。スペクトルの傾きを表すパラメータｒはゲイン係数計算手段２４２に送られる。
【００４４】
ピッチ相関探索手段１４４は、実施例１と同様にして、音声のピッチ周期に対応するｎの値ｎ_ｐと、ｎ＝ｎ_ｐのときの自己相関係数値ｃ_ｉ(ｎ_ｐ)を求め、ピッチ相関判定手段１４５に送る（Ｓ８−２）。
【００４５】
ピッチ相関判定手段１４５は、実施例１と同様にして、ｃ_ｉ(ｎ_ｐ)の値をあらかじめ決められた閾値と比較し、比較結果をフラグＦの値にセットする（Ｓ８−３）。
【００４６】
ゲイン係数計算手段２４２は、フラグＦ＝１すなわち有声音とみなされるときは、ゲイン係数ｇとして、あらかじめ決められたゲイン係数ｇ_１を出力し、Ｆ＝０すなわち無声音とみなされるときは、スペクトルの傾きを表すパラメータｒに応じたゲイン係数を出力する（Ｓ８−４）。一例として、以下の式(9)のように、ゲイン係数の上下限を設けたうえで、ｒが大きいほどゲイン係数が小さく、ｒが小さいほどゲイン係数が大きくなるようにする。
【００４７】
【数５】

【００４８】
なお、ｇ_１＜ｇ_２＜ｇ_３とし、数値例としては、ｇ_１＝０．８、ｇ_２＝１．４、ｇ_３＝２．０を用いることができるが、各閾値（または条件式）やそれに対応するゲイン係数は、実際に様々な入力狭帯域音声から擬似広帯域音声信号を実験的に作成し、擬似広帯域音声の聴感的な品質が良くなるように、各値を設定するのがよい。
【００４９】
ゲイン係数ｇはゲイン乗算部１５０に送られる。高域信号生成部１２０、ゲイン乗算部１５０、結合部１６０、周波数逆変換部１７０は実施例１と同様であるため説明を省略する（Ｓ２、Ｓ５〜７）。
【実施例３】
【００５０】
本発明の擬似広帯域音声信号生成装置３００の構成例を図８に、その処理フロー例を図９に示す。擬似広帯域音声信号生成装置３００は、実施例２の擬似広帯域音声信号生成装置２００の変形例であり、具体的にはゲイン決定部におけるゲイン係数ｇの決定に、更にフレームの定常／非定常判定結果を用いる構成である。以下、実施例２と共通する部分（符号が同じ部分）の説明は必要最小限にとどめる。
【００５１】
擬似広帯域音声信号生成装置３００は、周波数変換部１１０、高域信号生成部１２０、自己相関係数計算部３３０、ゲイン決定部３４０、ゲイン乗算部１５０、結合部１６０、及び周波数逆変換部１７０を備える。
【００５２】
狭帯域音声ｓ_ｉ(ｔ)は、実施例２と同様、周波数変換部１１０と自己相関係数計算部１３０に送られる。
【００５３】
周波数変換部１１０は、実施例２と同様に低域領域の信号Ｓ_Ｌ(ｋ)を生成し、高域信号生成部１２０と結合部１６０に送る（Ｓ１）。
【００５４】
自己相関係数計算部３３０は、実施例２と同様にｎ＝１，２，３，…，Ｎのそれぞれについて自己相関係数ｃ_ｉ(ｎ)を計算して、ゲイン決定部３４０に送るとともに、式(3)により自己相関係数ｃ_ｉ(ｎ)を計算する過程で計算したパワーＰ_ｉ（例えば式(4)）もゲイン決定部３４０に送る（Ｓ９）。
【００５５】
ゲイン決定部３４０は、傾き計算手段２４１、ピッチ相関探索手段１４４、ピッチ相関判定手段１４５、定常／非定常判定手段３４１、及びゲイン係数計算手段３４２からなり、自己相関係数ｃ_ｉ(ｎ)やパワーＰ_ｉを用いてゲイン係数ｇを決定する（Ｓ１０）。自己相関係数ｃ_ｉ(ｎ)は、傾き計算手段２４１とピッチ相関探索手段１４４と定常／非定常判定手段３４１に送られる。パワーＰ_ｉは、定常／非定常判定手段３４１に送られる。
【００５６】
傾き計算手段２４１とピッチ相関探索手段１４４とピッチ相関判定手段１４５は、実施例２と同様である（Ｓ１０−１〜３）。
【００５７】
定常／非定常判定手段３４１は、自己相関係数ｃ_ｉ(ｎ)のうち、ｎ＝１の係数ｃ_ｉ(１)とパワーＰ_ｉの両方または一方の時系列を用いて、当該フレームが定常区間であるか非定常区間であるかを判定する（Ｓ１０−４）。一例として、定常／非定常判定手段３４１は内部に複数フレームにわたってｃ_ｉ(１)とパワーＰ_ｉを保持するメモリを持ち、ｃ_ｉ(１)またはＰ_ｉの時間変化、すなわちフレーム間の変化量があらかじめ決められた閾値よりも小さければ定常区間、あらかじめ決められた閾値よりも大きければ非定常区間であるとする。定常／非定常判定結果Ｆ_ｓは、ゲイン値計算手段３４２に送られる。
【００５８】
ゲイン係数計算手段３４２は、ピッチ相関判定手段１４５の出力であるフラグＦと、傾き計算手段２４１の出力であるスペクトルの傾きを表すパラメータｒと、定常／非定常判定結果Ｆ_ｓを用い、あらかじめ定めた規則に基づいてゲイン係数を求める（Ｓ１０−５）。
ゲイン係数計算手段３４２の詳細動作例を、図１０を用いて説明する。ゲイン係数計算手段３４２は、内部にＦの時系列を保持するメモリを持つ。定常／非定常判定結果Ｆ_ｓが定常区間であることを示し、現フレームのフラグがＦ＝１、前フレームのフラグがＦ＝１であるときには、ゲイン係数ｇとして、あらかじめ決められたゲイン係数ｇ_１を出力する。定常／非定常判定結果Ｆ_ｓが定常区間であることを示し、現フレームのフラグがＦ＝０、前フレームのフラグがＦ＝０であるときには、スペクトルの傾きを表すパラメータｒに応じたゲイン値を出力する。一例として、以下の式(10)のように、ゲイン値の上下限を設けたうえで、ｒが大きいほどゲイン値が小さく、ｒが小さいほどゲイン値が大きくなるようにする。
【００５９】
【数６】

【００６０】
なお、ｇ_１＜ｇ_２＜ｇ_３とし、数値例としては、ｇ_１＝０．８、ｇ_２＝１．４、ｇ_３＝２．０を用いることができるが、各閾値（または条件式）やそれに対応するゲイン係数は、実際に様々な入力狭帯域音声から擬似広帯域音声信号を実験的に作成し、擬似広帯域音声の聴感的な品質が良くなるように、各値を設定するのがよい。定常／非定常判定結果Ｆ_ｓが定常区間であることを示し、現フレームのフラグがＦ＝０、前フレームのフラグがＦ＝１であるときには、ゲイン係数ｇとして、あらかじめ決められたゲイン係数ｇ_１を出力する。定常／非定常判定結果Ｆ_ｓが定常区間であることを示し、現フレームのフラグがＦ＝１、前フレームのフラグがＦ＝０であるときには、上記式(10)に例示するような、スペクトルの傾きを表すパラメータｒに応じたゲイン係数を出力する。定常／非定常判定結果Ｆ_ｓが非定常区間であることを示し、現フレームのフラグがＦ＝１であるときには、ゲイン係数ｇとして、あらかじめ決められたゲイン係数ｇ_１を出力する。定常／非定常判定結果Ｆ_ｓが非定常区間であることを示し、現フレームのフラグがＦ＝０であるときには、上記式(10)に例示するような、スペクトルの傾きを表すパラメータｒに応じたゲイン係数を出力する。
【００６１】
図１１に図１０に示すゲイン係数計算手段３４２の詳細動作例の変形例を示す。定常／非定常判定結果Ｆ_ｓが定常区間であることを示し、現フレームのフラグＦと、前フレームのフラグＦの値が異なる場合の動作以外は図１０と同様である。定常／非定常判定結果Ｆ_ｓが定常区間であることを示し、現フレームのフラグがＦ＝０、前フレームのフラグがＦ＝１であるとき、または、現フレームのフラグがＦ＝１、前フレームのフラグがＦ＝０であるときは、以下の式(11)に示すように、スペクトルの傾きを表すパラメータｒに応じたゲイン係数を出力する。
【００６２】
【数７】

【００６３】
ここで、ｇ_１≦ｇ_４＜ｇ_５かつ、ｇ_４＜ｇ_２、ｇ_５＜ｇ_３とする。すなわち、式(10)と同様に、ゲイン係数の上下限を設けたうえで、ｒが大きいほどゲイン係数が小さく、ｒが小さいほどゲイン係数が大きくなるようにするが、ゲイン係数の上下限を式(10)よりも小さく設定し、現フレームのフラグがＦ＝０、前フレームのフラグがＦ＝０のときよりも、同じｒの値に対する出力するゲイン係数が小さくなるようにする。その理由は、定常区間であるにもかかわらず、隣接するフレームでフラグＦの値が異なるときは、音質劣化のリスクを考慮して、ゲイン係数を小さめにするためである。数値の一例としては、ｇ_４＝１．２、ｇ_５＝１．６を用いることができる。
【００６４】
ゲイン係数ｇはゲイン乗算部１５０に送られる。高域信号生成部１２０、ゲイン乗算部１５０、結合部１６０、周波数逆変換部１７０は実施例２と同様であるため説明を省略する。
【００６５】
以上のように、本発明の擬似広帯域音声信号生成装置３００は、高域領域の信号に乗ずるゲインを、狭帯域音声のスペクトルの傾きとピッチ相関の値だけでなく、定常／非定常状態の判定結果を加味して決定するため、更に自然性の高い音質で、かつ明瞭度が高い擬似広帯域音声信号を生成することができる。
【実施例４】
【００６６】
本発明の擬似広帯域音声信号生成装置４００の構成例を図１２に、その処理フロー例を図１３に示す。擬似広帯域音声信号生成装置４００は、実施例３の擬似広帯域音声信号生成装置３００の変形例である。具体的には、ゲイン乗算部１５０と結合部１６０との間に高域白色化部４８０を設け、ゲイン乗算部１５０で得られた強調高域信号Ｓ’_Ｈ（ｋ）に白色雑音またはガウス雑音を加算して白色化強調高域信号Ｓ”_Ｈ（ｋ）を生成し、これを結合部１６０にて低域領域の信号と結合する（Ｓ１１）。加算する雑音量は、ゲイン決定部３４０で計算されるゲイン係数ｇまたはフラグＦを用いてコントロールする。例えば、ゲイン係数ｇが大きいほど加算量が大きくなるようにするか、フラグＦが無声音を示すときは加算量を大きく、Ｆが有声音を示すときは加算量を小さくする。なお、高域白色化部を結合部１６０と周波数逆変換部１７０との間に配置しても等価である。また、本実施例は実施例３の変形例として説明したが、実施例１、実施例２の構成にも同様に適用可能である。
【００６７】
このように高域を白色化することで、より自然性の高い音質の擬似広帯域音声信号を生成することができる。
【実施例５】
【００６８】
本発明の擬似広帯域音声信号生成装置４０１の構成例を図１４に、その処理フロー例を図１５に示す。擬似広帯域音声信号生成装置４０１は、実施例４の擬似広帯域音声信号生成装置４００の変形例である。具体的には、高域白色化部４８０を、周波数領域でなく、周波数逆変換部１７０の後段の時間領域に設け、擬似広帯域信号ｓ_ｗ（ｔ）に白色雑音またはガウス雑音を加算して、白色化された擬似広帯域信号を出力する。加算する雑音量は、実施例４と同様に、ゲイン決定部３４０で計算されるゲイン係数ｇまたはフラグＦを用いてコントロールする。
【００６９】
実施例４と本実施例は、周波数領域で雑音を加算するか、時間領域で雑音を加算するかの違いであり、等価な処理と解することもできるが、周波数領域で雑音を加算すると雑音の周波数特性をコントロールしやすく、時間領域で雑音を加算すると雑音の時間変化パターンをコントロールしやすいというそれぞれのメリットがある。
【実施例６】
【００７０】
本発明の擬似広帯域音声信号生成装置５００の構成例を図１６に、その処理フロー例を図１７に示す。擬似広帯域音声信号生成装置５００は、実施例３の擬似広帯域音声信号生成装置３００の変形例である。具体的には、実施例３の構成に中域ゲイン決定部５１０と中域ゲイン乗算部５２０を加えた構成である。
【００７１】
中域ゲイン決定部５１０は、ゲイン決定部３４０で得られたゲイン係数ｇに基づき、中域ゲインＧ_Ｍ（ｋ）を決定する。ここで、Ｇ_Ｍ（ｋ）は周波数ｋの関数である。Ｇ_Ｍ（ｋ）は中域ゲイン乗算部５２０に送られる。
【００７２】
中域ゲイン乗算部５２０は、周波数変換部１１０と結合部１６０との間に設けられ、以下の式(12)に示すように、低域領域の信号Ｓ_Ｌ（ｋ）に中域ゲインＧ_Ｍ（ｋ）を対応する周波数ｋごとに乗じて、中域が強調された低域領域の信号Ｓ’_Ｌ（ｋ）を生成して結合部１６０に送る。
【００７３】
Ｓ’_Ｌ（ｋ）＝Ｇ_Ｍ（ｋ）Ｓ_Ｌ（ｋ）（１２）
図１８(a)、(b)に、中域ゲイン決定部５１０の動作例として、ゲイン係数ｇから中域ゲインＧ_Ｍ（ｋ）を決める規則例を示す。図１８(a)はｇ＞１のときの例であり、式で書くと、
【００７４】
【数８】

【００７５】
である。ｋ_１は例えば０．５ｋＨｚまたは１ｋＨｚにするとよい。式(13)に従えば、ｋ＝４ｋＨｚのときは、Ｇ_Ｍ（ｋ）＝ｇとなるが、以下の式(14)のように定義して、
【００７６】
【数９】

【００７７】
というように、ｋ＝４ｋＨｚのときにＧ_Ｍ（ｋ）＝１＋（ｇ−１）／２となるようにしてもよい。また、図１８(b)はｇ≦１のときの例であり、
Ｇ_Ｍ（ｋ）＝１０≦ｋ≦４（ｋＨｚ）のとき
とする。
【００７８】
このように、高域領域の信号に乗ずるゲインに合わせて中域にもゲインを乗ずることで、低域領域から高域領域まで連続性が考慮された、自然性、明瞭度ともに高い擬似広帯域音声信号を生成することができる。
【００７９】
なお、実施例６では中域ゲイン決定部５１０と中域ゲイン乗算部５２０を実施例３の構成に適用した場合を説明したが、他の実施例の構成にも同様に適用可能である。
【００８０】
以上説明した各実施例の擬似広帯域音声信号生成装置及び擬似広帯域音声信号生成方法における各処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本発明の擬似広帯域音声信号生成装置の各機能は必要に応じ、併合・分割しても構わない。その他、本発明において表現されている技術的思想の範囲内で適宜変更が可能である。
【００８１】
本発明の擬似広帯域音声信号生成装置を構成する各部、各手段をコンピュータによって実現する場合、各部が担う機能の処理内容はプログラムによって記述される。そのプログラムは、例えば、ハードディスク装置に格納されており、実行時には、必要なプログラムやデータがＲＡＭ(Random Access Memory)に読み込まれて、そのプログラムがＣＰＵにより実行されることにより、コンピュータ上で各処理内容が実現される。

【特許請求の範囲】
【請求項１】
離散値化された狭帯域音声・音響信号を、一定時間ごとに区切られたフレームごとに周波数領域の低域領域の信号に変換する周波数変換部と、
前記低域領域の信号の全部または一部を複写して高域領域の信号を生成する高域信号生成部と、
前記狭帯域音声・音響信号の自己相関係数を、所定の複数の次数について前記フレームごとに計算する自己相関係数計算部と、
前記低域領域内の２つの異なる周波数範囲の信号のパワーまたは振幅の絶対値和（以下、総称して「パワー」と呼ぶ。）の大小関係と前記自己相関係数とからゲイン係数を決定するゲイン決定部と、
前記高域領域の信号に前記ゲイン係数を乗じて強調高域信号を生成するゲイン乗算部と、
前記低域領域の信号と前記強調高域信号とを合わせて擬似広帯域周波数信号を生成する結合部と、
前記擬似広帯域周波数信号を時間領域の擬似広帯域音声信号に変換する周波数逆変換部と、
を備える擬似広帯域音声信号生成装置。
【請求項２】
請求項１に記載の擬似広帯域音声信号生成装置において、
前記ゲイン決定部は、
一方の前記周波数範囲のパワーを計算する第１パワー計算手段と、
他方の前記周波数範囲のパワーを計算する第２パワー計算手段と、
前記第１パワー計算手段での計算結果と前記第２パワー計算手段での計算結果とからスペクトルの傾きを表すパラメータを計算する傾き計算手段と、
各次数の前記自己相関係数から音声のピッチ周期に対応する自己相関係数を特定するピッチ相関探索手段と、
前記ピッチ相関探索手段で特定された音声のピッチ周期に対応する自己相関係数の値をあらかじめ決められた閾値と比較し、比較結果をフラグ値としてセットするピッチ相関判定手段と、
前記フラグ値と前記パラメータとの組み合わせに基づきゲイン係数を決定するゲイン係数計算手段と、
を備える擬似広帯域音声信号生成装置。
【請求項３】
離散値化された狭帯域音声・音響信号を、一定時間ごとに区切られたフレームごとに周波数領域の低域領域の信号に変換する周波数変換部と、
前記低域領域の信号の全部または一部を複写して高域領域の信号を生成する高域信号生成部と、
前記狭帯域音声・音響信号の自己相関係数を、所定の複数の次数について前記フレームごとに計算する自己相関係数計算部と、
前記自己相関係数からゲイン係数を決定するゲイン決定部と、
前記高域領域の信号に前記ゲイン係数を乗じて強調高域信号を生成するゲイン乗算部と、
前記低域領域の信号と前記強調高域信号とを合わせて擬似広帯域周波数信号を生成する結合部と、
前記擬似広帯域周波数信号を時間領域の擬似広帯域音声信号に変換する周波数逆変換部と、
を備え、
前記ゲイン決定部は、
前記自己相関係数からスペクトルの傾きを表すパラメータを計算する傾き計算手段と、
各次数の前記自己相関係数から音声のピッチ周期に対応する自己相関係数を特定するピッチ相関探索手段と、
前記ピッチ相関探索手段で特定された音声のピッチ周期に対応する自己相関係数の値をあらかじめ決められた閾値と比較し、比較結果をフラグ値としてセットするピッチ相関判定手段と、
前記フラグ値と前記パラメータとの組み合わせに基づきゲイン係数を決定するゲイン係数計算手段と、
を備える
擬似広帯域音声信号生成装置。
【請求項４】
請求項３に記載の擬似広帯域音声信号生成装置において、
前記ゲイン決定部は、フレームごとに、前記自己相関係数及び／又は前記狭帯域音声・音響信号のパワーに基づき、当該フレームが定常区間であるか非定常区間であるかを判定する定常／非定常判定手段を更に備え、
前記ゲイン係数計算手段は、前記フラグ値と前記パラメータと前記定常／非定常判定手段における判定結果との組み合わせに基づきゲイン係数を決定する
ことを特徴とする擬似広帯域音声信号生成装置。
【請求項５】
請求項２乃至４のいずれかに記載の擬似広帯域音声信号生成装置において、
前記ゲイン乗算部と前記結合部との間に高域白色化部を更に備え、
前記高域白色化部は、前記強調高域信号に白色雑音またはガウス雑音を加算して前記結合部に与え、
加算する雑音量は、前記ゲイン係数または前記フラグ値を用いてコントロールする
ことを特徴とする擬似広帯域音声信号生成装置。
【請求項６】
請求項２乃至４のいずれかに記載の擬似広帯域音声信号生成装置において、
前記周波数逆変換部の後段に高域白色化部を更に備え、
前記高域白色化部は、前記擬似広帯域音声信号に白色雑音またはガウス雑音を加算して出力し、
加算する雑音量は、前記ゲイン係数または前記フラグ値を用いてコントロールする
ことを特徴とする擬似広帯域音声信号生成装置。
【請求項７】
請求項１乃至６のいずれかに記載の擬似広帯域音声信号生成装置において、
中域ゲイン決定部と中域ゲイン乗算部を更に備え、
前記中域ゲイン決定部は、前記ゲイン係数に基づき中域ゲインを決定し、
前記中域ゲイン乗算部は、前記周波数変換部と前記結合部との間に設けられ、前記低域領域の信号に前記中域ゲインを乗算して前記結合部に与える
ことを特徴とする擬似広帯域音声信号生成装置。
【請求項８】
離散値化された狭帯域音声・音響信号を、一定時間ごとに区切られたフレームごとに周波数領域の低域領域の信号に変換する周波数変換ステップと、
前記低域領域の信号の全部または一部を複写して高域領域の信号を生成する高域信号生成ステップと、
前記狭帯域音声・音響信号の自己相関係数を、所定の複数の次数について前記フレームごとに計算する自己相関係数計算ステップと、
前記低域領域内の２つの異なる周波数範囲の信号のパワーまたは振幅の絶対値和（以下、総称して「パワー」と呼ぶ。）の大小関係と前記自己相関係数とからゲイン係数を決定するゲイン決定ステップと、
前記高域領域の信号に前記ゲイン係数を乗じて強調高域信号を生成するゲイン乗算ステップと、
前記低域領域の信号と前記強調高域信号とを合わせて擬似広帯域周波数信号を生成する結合ステップと、
前記擬似広帯域周波数信号を時間領域の擬似広帯域音声信号に変換する周波数逆変換ステップと、
を実行する擬似広帯域音声信号生成方法。
【請求項９】
請求項８に記載の擬似広帯域音声信号生成方法において、
前記ゲイン決定ステップは、
一方の前記周波数範囲のパワーを計算する第１パワー計算サブステップと、
他方の前記周波数範囲のパワーを計算する第２パワー計算サブステップと、
前記第１パワー計算サブステップでの計算結果と前記第２パワー計算サブステップでの計算結果とからスペクトルの傾きを表すパラメータを計算する傾き計算サブステップと、
各次数の前記自己相関係数から音声のピッチ周期に対応する自己相関係数を特定するピッチ相関探索サブステップと、
前記ピッチ相関探索サブステップで特定された音声のピッチ周期に対応する自己相関係数の値をあらかじめ決められた閾値と比較し、比較結果をフラグ値としてセットするピッチ相関判定サブステップと、
前記フラグ値と前記パラメータとの組み合わせに基づきゲイン係数を決定するゲイン係数計算サブステップと、
を実行する擬似広帯域音声信号生成方法。
【請求項１０】
離散値化された狭帯域音声・音響信号を、一定時間ごとに区切られたフレームごとに周波数領域の低域領域の信号に変換する周波数変換ステップと、
前記低域領域の信号の全部または一部を複写して高域領域の信号を生成する高域信号生成ステップと、
前記狭帯域音声・音響信号の自己相関係数を、所定の複数の次数について前記フレームごとに計算する自己相関係数計算ステップと、
前記自己相関係数からゲイン係数を決定するゲイン決定ステップと、
前記高域領域の信号に前記ゲイン係数を乗じて強調高域信号を生成するゲイン乗算ステップと、
前記低域領域の信号と前記強調高域信号とを合わせて擬似広帯域周波数信号を生成する結合ステップと、
前記擬似広帯域周波数信号を時間領域の擬似広帯域音声信号に変換する周波数逆変換ステップと、
を実行し、
前記ゲイン決定ステップは、
前記自己相関係数からスペクトルの傾きを表すパラメータを計算する傾き計算サブステップと、
各次数の前記自己相関係数から音声のピッチ周期に対応する自己相関係数を特定するピッチ相関探索サブステップと、
前記ピッチ相関探索サブステップで特定された音声のピッチ周期に対応する自己相関係数の値をあらかじめ決められた閾値と比較し、比較結果をフラグ値としてセットするピッチ相関判定サブステップと、
前記フラグ値と前記パラメータとの組み合わせに基づきゲイン係数を決定するゲイン係数計算サブステップと、
を実行する
擬似広帯域音声信号生成方法。
【請求項１１】
請求項１０に記載の擬似広帯域音声信号生成方法において、
前記ゲイン決定ステップは、フレームごとに、前記自己相関係数及び／又は前記狭帯域音声・音響信号のパワーに基づき、当該フレームが定常区間であるか非定常区間であるかを判定する定常／非定常判定サブステップを更に実行し、
前記ゲイン係数計算サブステップは、前記フラグ値と前記パラメータと前記定常／非定常判定サブステップにおける判定結果との組み合わせに基づきゲイン係数を決定する
ことを特徴とする擬似広帯域音声信号生成方法。
【請求項１２】
請求項９乃至１１のいずれかに記載の擬似広帯域音声信号生成方法において、
前記ゲイン乗算ステップと前記結合ステップとの間に高域白色化ステップを更に実行し、
前記高域白色化ステップは、前記強調高域信号に白色雑音またはガウス雑音を加算して前記結合ステップに与え、
加算する雑音量は、前記ゲイン係数または前記フラグ値を用いてコントロールする
ことを特徴とする擬似広帯域音声信号生成方法。
【請求項１３】
請求項９乃至１１のいずれかに記載の擬似広帯域音声信号生成方法において、
前記周波数逆変換ステップの後に高域白色化ステップを更に実行し、
前記高域白色化ステップは、前記擬似広帯域音声信号に白色雑音またはガウス雑音を加算して出力し、
加算する雑音量は、前記ゲイン係数または前記フラグ値を用いてコントロールする
ことを特徴とする擬似広帯域音声信号生成方法。
【請求項１４】
請求項８乃至１３のいずれかに記載の擬似広帯域音声信号生成方法において、
中域ゲイン決定ステップと中域ゲイン乗算ステップを更に実行し、
前記中域ゲイン決定ステップは、前記ゲイン係数に基づき中域ゲインを決定し、
前記中域ゲイン乗算ステップは、前記周波数変換ステップと前記結合ステップとの間で実行され、前記低域領域の信号に前記中域ゲインを乗算して前記結合ステップに与える
ことを特徴とする擬似広帯域音声信号生成方法。
【請求項１５】
請求項１乃至７のいずれかに記載の擬似広帯域音声信号生成装置としてコンピュータを機能させるためのプログラム。

【図１】