音声再生装置、音声再生方法及びコンピュータプログラム
【課題】位相復元技術を用いた音声再生処理において、高品質に音声を再生することが可能な音声再生装置、音声再生方法を提供する。
【解決手段】音声再生装置２０は、音声信号における重複する時間フレームにそれぞれ対応する複数のスペクトログラム成分について、各スペクトログラム成分の振幅値、位相値及び位相値の取り得る範囲を出力する情報出力部２６と、振幅値に対して整合するように位相値を更新し、更新した位相値が位相値の取り得る範囲を超えた場合は、位相値の取り得る範囲に収まるように更新した位相値を補正し、振幅値及び補正した位相値に基づいて復元信号を生成する波形合成部２５と、復元信号を出力する音声出力部２１と、を有する。
【解決手段】音声再生装置２０は、音声信号における重複する時間フレームにそれぞれ対応する複数のスペクトログラム成分について、各スペクトログラム成分の振幅値、位相値及び位相値の取り得る範囲を出力する情報出力部２６と、振幅値に対して整合するように位相値を更新し、更新した位相値が位相値の取り得る範囲を超えた場合は、位相値の取り得る範囲に収まるように更新した位相値を補正し、振幅値及び補正した位相値に基づいて復元信号を生成する波形合成部２５と、復元信号を出力する音声出力部２１と、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声再生装置、音声再生方法及びコンピュータプログラムに関し、特に、位相復元技術を用いて音声を再生する音声再生装置、音声再生方法及びコンピュータプログラムに関する。
【背景技術】
【０００２】
ＭＰ３、ＡＡＣ等の音声信号の非可逆圧縮技術では、修正離散コサイン変換及び聴覚モデルに基づいて音声信号を圧縮している。しかし、これらの方式では、すでに十分なパラメータチューニング及び最適化が行われており、現在の性能に対してさらなる性能向上を図るのは困難な状況にある。
【０００３】
一方、非可逆圧縮技術において、短時間フーリエ変換（ＳＴＦＴ）の振幅を符号化して、音声信号を圧縮する方式の研究が進められている。この方式では、復号時に位相復元技術（非特許文献１を参照）を利用して、ＳＴＦＴの振幅に対して整合する位相を生成することができるため、位相を符号化せずに、その分、振幅に割り当てるビット数を多くすることが可能となる。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】D. W. Griffin and J. S. Lim, ASSP, vol. 32(2), pp. 236-243, 1984.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
位相復元技術を用いることにより、符号化のビットを全て振幅に割り当てることができるため、振幅を高精度に復号することができる。しかし、位相についての情報が全くない状態から振幅のみに基づいて位相を生成した場合、再生される音声の音質は著しく低下する。
【０００６】
そこで、本発明の目的は、位相復元技術を用いた音声再生処理において、高品質に音声を再生することが可能な音声再生装置、音声再生方法及びそのような音声再生方法をコンピュータに実行させるコンピュータプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
本発明に係る音声再生装置は、音声信号における重複する時間フレームにそれぞれ対応する複数のスペクトログラム成分について、各スペクトログラム成分の振幅値、位相値及び位相値の取り得る範囲を出力する情報出力部と、振幅値に対して整合するように位相値を更新し、更新した位相値が位相値の取り得る範囲を超えた場合は、位相値の取り得る範囲に収まるように更新した位相値を補正し、振幅値及び補正した位相値に基づいて復元信号を生成する波形合成部と、復元信号を出力する音声出力部と、を有する。
【０００８】
さらに、本発明に係る音声再生装置において、複数のスペクトログラム成分は、音声信号を窓関数を用いて隣接する時間フレームが重複するように分解して周波数変換することにより生成された複数の原スペクトログラム成分に対して、複数の原スペクトログラム成分の原振幅値及び原位相値のうち少なくとも一つが変更されたものであり、波形合成部は、複数のスペクトログラム成分を逆周波数変換することにより生成した合成信号を、窓関数と同一の窓関数を用いて時間フレームと同一の時間フレームに分解して周波数変換することにより、振幅値に対して整合する第２の位相値を求め、当該第２の位相値により位相値を更新することが好ましい。
【０００９】
さらに、本発明に係る音声再生装置において、情報出力部は、原振幅値及び原位相値を量子化した量子化振幅値及び量子化位相値を逆量子化した値を振幅値及び位相値とし、原位相値を量子化した量子化ステップにより定まる位相値の範囲を位相値の取り得る範囲として出力することが好ましい。
【００１０】
さらに、本発明に係る音声再生装置において、情報出力部は、音声信号の信号値の取り得る第２の範囲を出力し、波形合成部は、合成信号の信号値が第２の範囲を超えた場合、第２の範囲に収まるように合成信号の信号値を補正することが好ましい。
【００１１】
また、本発明に係る音声再生方法は、音声信号における重複する時間フレームにそれぞれ対応する複数のスペクトログラム成分について、各スペクトログラム成分の振幅値、位相値及び位相値の取り得る範囲を出力するステップと、振幅値に対して整合するように位相値を更新し、更新した位相値が位相値の取り得る範囲を超えた場合は、位相値の取り得る範囲に収まるように更新した位相値を補正し、振幅値及び補正した位相値に基づいて復元信号を生成するステップと、復元信号を出力するステップと、を含む。
【００１２】
さらに、本発明に係る音声再生方法において、複数のスペクトログラム成分は、音声信号を窓関数を用いて隣接する時間フレームが重複するように分解して周波数変換することにより生成された複数の原スペクトログラム成分に対して、複数の原スペクトログラム成分の原振幅値及び原位相値のうち少なくとも一つが変更されたものであり、復元信号を生成するステップにおいて、複数のスペクトログラム成分を逆周波数変換することにより生成した合成信号を、窓関数と同一の窓関数を用いて時間フレームと同一の時間フレームに分解して周波数変換することにより、振幅値に対して整合する第２の位相値を求め、当該第２の位相値により位相値を更新することが好ましい。
【００１３】
さらに、本発明に係る音声再生方法において、振幅値、位相値及び位相値の取り得る範囲を出力するステップにおいて、原振幅値及び原位相値を量子化した量子化振幅値及び量子化位相値を逆量子化した値を振幅値及び位相値とし、原位相値を量子化した量子化ステップにより定まる位相値の範囲を位相値の取り得る範囲として出力することが好ましい。
【００１４】
さらに、本発明に係る音声再生方法において、振幅値、位相値及び位相値の取り得る範囲を出力するステップにおいて、音声信号の信号値の取り得る第２の範囲を出力し、復元信号を生成するステップにおいて、合成信号の信号値が第２の範囲を超えた場合、第２の範囲に収まるように合成信号の信号値を補正することが好ましい。
【００１５】
また、本発明に係るコンピュータプログラムは、音声信号における重複する時間フレームにそれぞれ対応する複数のスペクトログラム成分について、各スペクトログラム成分の振幅値、位相値及び位相値の取り得る範囲を出力するステップと、振幅値に対して整合するように位相値を更新し、更新した位相値が位相値の取り得る範囲を超えた場合は、位相値の取り得る範囲に収まるように更新した位相値を補正し、振幅値及び補正した位相値に基づいて復元信号を生成するステップと、復元信号を出力するステップと、をコンピュータに実行させる。
【発明の効果】
【００１６】
本発明によれば、位相復元技術を用いた音声再生処理において、高品質に音声を再生することが可能な音声再生装置、音声再生方法及びそのような音声再生方法をコンピュータに実行させるコンピュータプログラムを提供することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明を適用した音声通信システムの概略構成図である。
【図２】波形合成部の概略構成を示す図である。
【図３】音声符号化装置による音声符号化処理の動作を示すフローチャートである。
【図４】各信号及びスペクトログラムの関係について説明するための模式図である。
【図５】音声再生装置による音声再生処理の動作を示すフローチャートである。
【図６】逆量子化された位相値の範囲について説明するための模式図である。
【図７】音声再生装置により再生した音声の品質を表すグラフである。
【図８】他の音声再生装置の概略構成図である。
【図９】スペクトログラムの編集処理の動作を示すフローチャートである。
【発明を実施するための形態】
【００１８】
以下、本発明に係る音声再生装置、音声再生方法及びコンピュータプログラムについて図を参照しつつ説明する。但し、本発明の技術的範囲はそれらの実施の形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。
【００１９】
図１は、本発明を適用した音声通信システムの概略構成を示す図である。図１に示すように、音声通信システム１は、音声符号化装置１０及び音声再生装置２０を有する。
【００２０】
音声符号化装置１０は、音声入力部１１、インターフェース部１２、記憶部１３及び制御部１４を有する。以下、音声符号化装置１０の各部について詳細に説明する。
【００２１】
音声入力部１１は、外部の音声をアナログの電気信号に変換して取り込むマイクロフォンを有する。また、音声入力部１１は、マイクロフォンが出力したアナログの電気信号をデジタルの信号（以下、このデジタルの信号を音声信号と称する）に変換し、音声信号を記憶部１３に保存する。音声入力部１１は、制御部１４と接続されており、制御部１４により制御される。
【００２２】
インターフェース部１２は、例えばインターネット、電話回線網（携帯端末回線網、一般電話回線網を含む）、イントラネット等のネットワークを介して音声再生装置２０に符号化した音声信号（以下、符号化データと称する）を送信する通信インターフェースであり、接続するネットワークの通信インターフェース回路を有する。また、インターフェース部１２は、例えばＵＳＢ等のシリアルバスに準じるインターフェース回路を有し、フラッシュメモリ等を接続し、そのフラッシュメモリ等に符号化データを記憶するようにしてもよい。インターフェース部１２は、制御部１４と接続されており、制御部１４により制御される。
【００２３】
記憶部１３は、ＲＡＭ、ＲＯＭ等のメモリ装置、ハードディスク等の固定ディスク装置、又はフレキシブルディスク、光ディスク等の可搬用の記憶装置等を有する。また、記憶部１３には、音声符号化装置１０の各種処理に用いられるコンピュータプログラム、データベース、テーブル等が格納される。記憶部１３は、制御部１４と接続され、音声入力部１１を介して取得した音声信号を格納するとともに、制御部１４により音声信号についてなされた各種の演算結果を格納する。
【００２４】
制御部１４は、音声入力部１１を介して取得した音声信号を符号化する。そのために、制御部１４は、周波数変換部１５、量子化部１６及び符号化部１７を有する。また、制御部１４は、音声入力部１１、インターフェース部１２及び記憶部１３と接続され、音声入力部１１の音声入力制御、インターフェース部１２のデータ送受信制御、記憶部１３の制御等を行う。制御部１４は、予め記憶部１３に記憶されているプログラムに基づいて動作する。あるいは、制御部１４は、集積回路、マイクロプロセッサ、ファームウェア等で構成されてもよい。
【００２５】
音声再生装置２０は、音声出力部２１、インターフェース部２２、記憶部２３及び制御部２４を有する。以下、音声再生装置２０の各部について詳細に説明する。
【００２６】
音声出力部２１は、制御部２４から受け取ったデジタルの音声信号をアナログの電気信号に変換して出力する。あるいは、音声出力部２１は、さらにスピーカを有し、アナログの電気信号を音声として出力してもよい。音声出力部２１は、制御部２４と接続されており、制御部２４により制御される。
【００２７】
インターフェース部２２は、例えばインターネット、電話回線網（携帯端末回線網、一般電話回線網を含む）、イントラネット等のネットワークを介して音声符号化装置１０から符号化データを受信する通信インターフェースであり、接続するネットワークの通信インターフェース回路を有する。また、インターフェース部２２は、例えばＵＳＢ等のシリアルバスに準じるインターフェース回路を有し、フラッシュメモリ等を接続し、そのフラッシュメモリ等から符号化データを取得するようにしてもよい。インターフェース部２２は、制御部２４と接続されており、制御部２４により制御される。
【００２８】
記憶部２３は、ＲＡＭ、ＲＯＭ等のメモリ装置、ハードディスク等の固定ディスク装置、又はフレキシブルディスク、光ディスク等の可搬用の記憶装置等を有する。また、記憶部２３には、音声再生装置２０の各種処理に用いられるコンピュータプログラム、データベース、テーブル等が格納される。記憶部２３は、制御部２４と接続され、インターフェース部２２を介して音声符号化装置１０から受信した符号化データを格納するとともに、制御部２４により符号化データについてなされた各種の演算結果を格納する。
【００２９】
制御部２４は、インターフェース部２２を介して音声符号化装置１０から受信した符号化データを復号し、音声として再生する。そのために、制御部２４は、波形合成部２５、逆量子化部２６及び復号部２７を有する。また、制御部２４は、音声出力部２１、インターフェース部２２及び記憶部２３と接続され、音声出力部２１の出力制御、インターフェース部２２のデータ送受信制御、記憶部２３の制御等を行う。制御部２４は、予め記憶部２３に記憶されているプログラムに基づいて動作する。あるいは、制御部２４は、集積回路、マイクロプロセッサ、ファームウェア等で構成されてもよい。
【００３０】
図２は、波形合成部２５の概略構成を示す図である。図２に示すように、波形合成部２５は、逆周波数変換部２８及び周波数変換部２９を有する。
【００３１】
図３は、音声符号化装置１０による音声符号化処理の動作を示すフローチャートである。以下、図３に示したフローチャートを参照しつつ、音声符号化処理の動作を説明する。なお、以下に説明する動作のフローは、予め記憶部１３に記憶されているプログラムに基づき主に制御部１４により音声符号化装置１０の各要素と協働して実行される。
【００３２】
最初に、音声入力部１１は、外部の音声をマイクロフォンを介して取得し、マイクロフォンが出力したアナログの電気信号をデジタルの音声信号に変換し、記憶部１３に保存する（ステップＳ３０１）。
【００３３】
音声入力部１１により取得される音声信号は、次の式により表される。
【数１】
ここで、ｎはサンプル数を表し、例えば１６ｋＨｚでサンプリングする場合の１秒間のサンプル数ｎは、１６０００となる。
【００３４】
次に、周波数変換部１５は、記憶部１３に保存された音声信号を読み出し、音声信号を周波数領域に変換してスペクトログラムを生成する（ステップＳ３０２）。なお、周波数変換部１５は、短時間フーリエ変換（ＳＴＦＴ）を用いて周波数変換を行う。
【００３５】
図４に音声通信システム１が処理する各信号及び各スペクトログラムの関係を説明するための模式図を示す。時間領域の信号を周波数領域の信号に変換する場合、時間領域の信号を所定の時間フレーム毎に区切る必要がある。しかし、時間領域を所定の時間単位で完全に分割すると、各時間フレームの最初の値及び最後の値は、隣接する時間フレームの最後の値又は最初の値と不連続になり、正確に周波数領域に変換することができない。そのため、ＳＴＦＴでは、図４に示すように、音声信号４０１に対して、隣接する時間フレームが重複するように定めた窓関数４０２〜４０４を掛けることにより、音声信号４０１を各時間フレームが重複するように分解して周波数変換を行う。
【００３６】
つまり、周波数変換部１５は、音声信号ｘを隣接する時間フレームが重複するように窓関数を用いて複数の原分解信号ｘmに分解し、各原分解信号ｘmをそれぞれＳＴＦＴにより周波数変換して複数の周波数帯域に分割することにより複素スペクトログラムを生成する。
【００３７】
周波数変換部１５により生成される複素スペクトログラムＹ＝｛Ｙk,m｝の成分（以下、原スペクトログラム成分と称する）は、次の式により表される。
【数２】
ここで、ｋ、ｍはそれぞれ周波数帯域、時間フレームのインデックスを表す。また、Ａk,mは原スペクトログラム成分Ｙk,mの対数振幅値（以下、原振幅値と称する）を表し、φk,mは原スペクトログラム成分Ｙk,mの位相値（以下、原位相値と称する）（−π＜φk,m≦π）を表す。
【００３８】
次に、量子化部１６は、原スペクトログラム成分Ｙk,mの原振幅値Ａk,m及び原位相値φk,mについて量子化を行う（ステップＳ３０３）。
【００３９】
一般に、人間の聴覚の音の大きさの知覚はほぼ対数的であり、位相は一様分布である。そのため、本実施形態の量子化部１６は、原振幅値Ａk,m及び原位相値φk,mに対して等間隔量子化を行う。量子化部１６により量子化された原振幅値（以下、量子化振幅値と称する）Ａ^k,m及び原位相値（以下、量子化位相値と称する）φ^k,mは、次の式により表される。
【数３】
【数４】
ここで、
【数５】
は床関数を表し、量子化振幅値Ａ^k,mが
【数６】
より大きい場合は量子化振幅値Ａ^k,mは式（６）の値とし、量子化振幅値Ａ^k,mが０より小さい場合は量子化振幅値Ａ^k,mは０にする。
【００４０】
Ａ-kは周波数帯域ｋにおける各時間フレームの原振幅値Ａk,mの平均値である。また、ΔＡk,m及びΔφk,mは、それぞれ対数振幅及び位相の量子化ステップを表し、次の式により表される。
【数７】
【数８】
ここで、αは定数であり、例えば３である。σkは周波数帯域ｋにおける各時間フレームの原振幅値Ａk,mの標準偏差である。また、ａk,mは周波数帯域ｋ、時間フレームｍにおいて対数振幅に割り当てるビット数を表し、ｐk,mは周波数帯域ｋ、時間フレームｍにおいて位相に割り当てるビット数を表す。固定ビットレートの場合、つまりａk,mとｐk,mの和が固定値である場合、人間の聴覚は位相に対して鈍感であるため、ａk,mをｐk,m以上とすることが望ましい。
【００４１】
図４に示すように、量子化振幅値Ａ^k,m及び量子化位相値φ^k,mは、それぞれ原振幅値Ａk,m及び原位相値φk,mに対応して生成される。
【００４２】
次に、符号化部１７は、量子化振幅値Ａ^k,m、量子化位相値φ^k,m、これらの量子化ステップ、窓関数についての情報及び音声信号を分解した時間フレームについての情報を符号化する（ステップＳ３０４）。符号化部１７は、ハフマン符号化等の周知の可逆符号化方式によりこれらの情報を符号化する。
【００４３】
次に、制御部１４は、符号化部１７により符号化された符号化データをインターフェース部１２を介して音声再生装置２０に送信し（ステップＳ３０５）、一連のステップを終了する。
【００４４】
図５は、音声再生装置２０による音声再生処理の動作を示すフローチャートである。以下、図５に示したフローチャートを参照しつつ、音声再生処理の動作を説明する。なお、以下に説明する動作のフローは、予め記憶部２３に記憶されているプログラムに基づき主に制御部２４により音声再生装置２０の各要素と協働して実行される。
【００４５】
最初に、インターフェース部２２は、音声符号化装置１０から符号化データを受信する（ステップＳ５０１）。
【００４６】
次に、復号部２７は、受信した符号化データを復号し、量子化振幅値Ａ^k,m、量子化位相値φ^k,m、これらの量子化ステップ、窓関数についての情報及び音声信号を分解した時間フレームについての情報を取得する（ステップＳ５０２）。なお、復号部２７は、音声符号化装置１０の符号化部１７が符号化した符号化方式の逆変換を行って符号化データを復号する。
【００４７】
次に、逆量子化部２６は、量子化振幅値Ａ^k,m及び量子化位相値φ^k,mについて逆量子化を行う（ステップＳ５０３）。
【００４８】
逆量子化部２６により逆量子化された対数振幅値（以下、単に振幅値と称する）Ａ'k,m及び逆量子化された位相値（以下、単に位相値と称する）φ'k,mは、次の式により表される。
【数９】
【数１０】
つまり、振幅値Ａ'k,m及び位相値φ'k,mは、それぞれ、原振幅値Ａk,m及び原位相値φk,mが量子化された量子化ステップの範囲における中心の値となる。
【００４９】
また、逆量子化部２６は、原位相値φk,mを量子化した量子化ステップにより定まる位相値φ'k,mの取り得る範囲、つまり位相値φ'k,mの量子化誤差の範囲を算出し、振幅値Ａ'k,m及び位相値φ'k,mとともに波形合成部２５に出力する。このように、逆量子化部２６は、振幅値Ａ'k,m、位相値φ'k,m及び位相値φ'k,mの取り得る範囲を出力する情報出力部として機能する。
【００５０】
図４に示すように、振幅値Ａ'k,m及び位相値φ'k,mは、それぞれ原振幅値Ａk,m及び原位相値φk,mに対応して生成される。
【００５１】
次に、波形合成部２５は、振幅値Ａ'k,mに対して整合するように位相復元技術を利用して位相値φ'k,mを更新し、更新した位相値φ'k,mが原位相値φk,mを量子化した量子化ステップの範囲に収まるように補正し、振幅値Ａ'k,m及び補正した位相値φ'k,mに基づいて時間領域の復元信号を生成する（ステップＳ５０４〜Ｓ５０８）。
【００５２】
上述したように、音声符号化装置１０は、音声信号を高能率に圧縮するため、原振幅値及び原位相値を量子化している。そのため、逆量子化した振幅値及び位相値は、量子化前の原振幅値及び原位相値に対して量子化ステップの幅の誤差を持ち、逆量子化後の音声の品質は元の音声の品質より低くなる。一方、音声符号化装置１０は、音声信号を、隣接する時間フレームが重複するように分割してＳＴＦＴを行っている。そのため、ＳＴＦＴにより生成されたスペクトログラムでは、ある時間フレームの振幅値及び位相値は、その前後の時間フレームの振幅値及び位相値と何らかの関連性を持つ。つまり、スペクトログラムから復元したある時間フレームの時間領域の信号を、その前後の時間フレームの時間領域の信号と合成し、再度スペクトログラムに変換して得た位相値は、元の位相値よりも元の振幅値に対して整合性が高くなる。そこで、位相復元技術では、スペクトログラム成分を逆周波数変換して生成した信号を、そのスペクトログラム成分（又はその元となる原スペクトログラム成分）を生成したときと同一の窓関数を用いて同一の時間フレームに分解して周波数変換することにより、元の振幅値に対して整合性の高い位相値を求める。
【００５３】
一方、位相値を更新することにより、位相値が元の位相値φ'k,mから大幅に離れた値になるおそれもある。図６は、位相値が取り得る値の範囲について説明するための模式図である。図６は、位相値が２ビットに量子化される例を示しており、π〜π／２は００に、π／２〜０は０１に、０〜−π／２は１０に、−π／２〜−πは１１に量子化される。つまり、量子化位相値が０１である場合、原位相値はπ／２〜０の範囲内にある。そのため、位相値を更新することにより、位相値がπ／２〜０の範囲外の値６０１となった場合、波形合成部２５は、位相値を取り得る範囲の境界値６０２に補正する。
【００５４】
波形合成部２５の逆周波数変換部２８は、各時間フレーム毎に、振幅値Ａ'k,mと位相値φ'k,mから求まるスペクトログラム成分（以下、単にスペクトログラム成分と称する）Ｙ'k,mを逆周波数変換して時間領域の信号（以下、分解信号と称する）ｘ'mを生成する。そして、各時間フレームについて生成した分解信号ｘ'mを合成して、時間的に連続する合成信号ｘ'を生成する（ステップＳ５０４）。なお、逆周波数変換部２８は、逆ＳＴＦＴにより逆周波数変換を行う。
【００５５】
図４に示すように、各分解信号ｘ'mは、スペクトログラム成分のうち同じ時間フレームの全ての周波数帯域のスペクトログラム成分Ｙ'k,mを逆周波数変換することにより生成される。また、合成信号ｘ'は、全ての分解信号ｘ'mを合成して生成される。あるいは、合成信号ｘ'は、相互に隣接する２つの分解信号毎に、その２つの分解信号ｘ'mを合成して生成してもよい。
【００５６】
なお、スペクトログラム成分Ｙ'k,mは、次の式により表される。
【数１１】
また、スペクトログラム成分Ｙ'k,mからなる複素スペクトログラムＹ'＝｛Ｙ'k,m｝を逆周波数変換することにより得られる合成信号ｘ'は、次の式のように表される。
【数１２】
【００５７】
次に、波形合成部２５の周波数変換部２９は、逆周波数変換部２８が生成した合成信号ｘ'を再度、周波数領域に変換し、スペクトログラムを生成する（ステップＳ５０５）。
【００５８】
図４に示すように、周波数変換部２９は、合成信号ｘ'を、音声符号化装置１０の周波数変換部１５が用いた窓関数と同一の窓関数を用いて、音声信号を分解した時間フレームと同一の時間フレームに分解して、複数の第２の分解信号ｘ''mを生成する。そして、各第２の分解信号ｘ''mをそれぞれＳＴＦＴにより周波数変換して複数の周波数帯域に分割することによりスペクトログラムを生成する。
【００５９】
周波数変換部２９により生成される複素スペクトログラムＹ''＝｛Ｙ''k,m｝の成分（以下、第２のスペクトログラム成分と称する）は、次の式により表される。
【数１３】
ここで、Ａ''k,mは第２のスペクトログラム成分Ｙ''k,mの対数振幅値（以下、第２の振幅値と称する）を表し、φ''k,mは第２のスペクトログラム成分Ｙ''k,mの位相値（以下、第２の位相値と称する）（−π＜φ''k,m≦π）を表す。
【００６０】
なお、複素スペクトログラムＹ''＝｛Ｙ''k,m｝は、合成信号ｘ'を用いて次の式のように表される。
【数１４】
【００６１】
次に、波形合成部２５は、スペクトログラム成分Ｙ'k,mの位相値φ'k,mを、対応する第２のスペクトログラム成分Ｙ''k,mの第２の位相値φ''k,mに更新する（ステップＳ５０６）。このとき、波形合成部２５は、更新した位相値φ'k,mが、位相値φ'k,mの取り得る範囲、つまり原位相値φk,mを量子化した量子化ステップの範囲を超えている場合、その範囲に収まるように更新した位相値φ'k,mを補正する。その場合、波形合成部２５は、更新した位相値φ'k,mをその範囲の境界値のうち第２の位相値φ''k,mに近い方の境界値に補正する。
【００６２】
つまり、位相値φ'k,mは、次の式により更新及び補正される。
【数１５】
ここで、∠Ｚは複素数Ｚの偏角を表し、−π〜πの範囲の値をもつ。従って、∠Ｙ''k,mは第２のスペクトログラム成分Ｙ''k,mの第２の位相値を表す。また、φ(i)k,mは位相値φ'k,mの初期値、つまり逆量子化部２６により式（１０）で逆量子化された位相値を表す。
【００６３】
次に、逆周波数変換部２８は、各時間フレーム毎に、ステップＳ５０３で逆量子化された振幅値Ａ'k,mと、ステップＳ５０６で更新、補正された位相値φ'k,mからなるスペクトログラム成分Ｙ'k,mを逆周波数変換して再度分解信号ｘ'mを生成する。そして、各時間フレームについて生成した分解信号ｘ'mを合成して、合成信号ｘ'を生成する（ステップＳ５０７）。
【００６４】
次に、波形合成部２５は、位相値φ'k,mが収束したか否かを判定する（ステップＳ５０８）。波形合成部２５は、ステップＳ５０６において更新した、各周波数帯域、各時間フレームにおける全ての位相値φ'k,mの値の変化が所定回数連続して所定値以下である場合に、位相値φ'k,mが収束したと判定する。
【００６５】
波形合成部２５は、位相値φ'k,mが収束していない場合、ステップＳ５０５〜Ｓ５０７の処理を繰り返し、位相値φ'k,mが収束すると、ステップＳ５０９へ移行する。
【００６６】
なお、波形合成部２５は、位相値φ'k,mが収束したか否かを判定するのではなく、更新処理を所定回数行ったか否かを判定してもよい。その場合、波形合成部２５は、更新処理を所定回数行うまでステップＳ５０５〜Ｓ５０７の処理を繰り返し、所定回数行ったときにステップＳ５０９へ移行する。
【００６７】
ステップＳ５０９において、波形合成部２５は、ステップＳ５０７で生成した合成信号ｘ'を復元信号として音声出力部２１に出力する。一方、音声出力部２１は、受け取った復元信号をアナログの電気信号に変換して出力する（ステップＳ５０８）。
【００６８】
なお、波形合成部２５は、ステップＳ５０４、Ｓ５０７において、各時間フレームについて生成した分解信号ｘ'mを合成して合成信号ｘ'を生成したときに、生成した合成信号ｘ'の信号値が元の音声信号ｘの信号値の取り得る範囲を超えていた場合、その範囲内に収まるように合成信号ｘ'の信号値を補正してもよい。
【００６９】
例えば、音声信号が１６ビットで表される場合、その音声信号を圧縮して復号した合成信号も１６ビットの範囲内に収まるべきである。そこで、音声符号化装置１０の符号化部１７は、量子化振幅値Ａ^k,m、量子化位相値φ^k,m等の情報とともに音声信号の信号値の取り得る範囲（以下、第２の範囲と称する）（−３２７６８〜３２７６７）についての情報を符号化する。音声再生装置２０の復号部２７は、符号化データから第２の範囲についての情報を取得し、逆量子化部２６を介して波形合成部２５に送信する。そして、波形合成部２５は、ステップＳ５０４で生成した合成信号ｘ'の信号値が−３２７６８より小さい場合は−３２７６８に補正し、３２７６７より大きい場合は３２７６７に補正する。あるいは、波形合成部２５は、合成信号ｘ'の信号値の最小値が−３２７６８より小さい場合は最小値が−３２７６８になり、合成信号ｘ'の信号値の最大値が３２７６７より大きい場合は最大値が３２７６７になるように、合成信号全体を線形に補正してもよい。
【００７０】
また、音声通信システム１では、スペクトログラムの非負性を利用し、非負値行列因子分解（ＮＭＦ）の技術を用いて、より効率的に符号化を行うことができる。その場合、音声符号化装置１０の制御部１４は、周波数変換部１５により生成されたスペクトログラムのうち振幅について、ＮＭＦを用いて所定のパーツ（音階又は繰り返し部分等）毎に分解してから量子化を行う。一方、音声再生装置２０の制御部２４は、逆量子化部２６により逆量子化された対数振幅値について、各パーツを合成してから波形合成を行う。
【００７１】
また、音声符号化装置１０の制御部１４は、周波数変換部１５により生成されたスペクトログラムのうち振幅については量子化を行わず、位相についてのみ量子化を行ってもよい。その場合、音声再生装置２０の制御部２４は、復号部２７により復号された対数振幅値を振幅値とし、逆量子化部２６により逆量子化された位相値を位相値として波形合成を行う。
【００７２】
また、量子化ステップ、窓関数についての情報、音声信号を分解した時間フレームについての情報または第２の範囲についての情報は、符号化データとして音声符号化装置１０から音声再生装置２０に送信するのではなく、音声符号化装置１０及び音声再生装置２０に共通して予め定めておいてもよい。その場合、これらの情報は、予め記憶部１３及び２３に記憶される。
【００７３】
以上詳述したように、図５に示したフローチャートに従って動作することによって、音声再生装置２０は、振幅に対して矛盾性の低い位相を高精度に算出できるようになった。これにより、音声再生装置２０は、位相復元技術を用いた音声再生処理において、高品質に音声を再生することができるようになった。
【００７４】
図７は、本実施形態の音声再生装置２０により再生した音声の品質を表すグラフを示す。図７に示すグラフ７００では、縦軸はＩＴＵ−Ｒ ＢＳ．１３８７−１で定義されている音質の客観評価を行うためのアルゴリズムＰＥＡＱにより得られる客観品質劣化度合い（ＯＤＧ；Objective Difference Grade）のスコアを示す。ＯＤＧのスコアは−４〜０の範囲の値を取り、０に近いほど劣化が少ないことを表す。一方、横軸は振幅に割り当てたビット数を示す。グラフ７００では、振幅と位相はあわせて８ビットとなるように量子化しており、位相のビット数は、８から振幅のビット数を引いた値となる。
【００７５】
グラフ７０１は、図５に示したフローチャートに従って再生した音声のＯＤＧを示す。グラフ７０２は、図５に示したフローチャートのステップＳ５０５〜Ｓ５０８の処理を省略して再生した音声のＯＤＧを示す。つまり、グラフ７０２の音声は、逆量子化された振幅及び位相について１回の逆ＳＴＦＴにより得られた復元信号による再生音声であり、その復元信号（合成信号）ｘ'は、式（１１）で表されるスペクトログラム成分からなる複素スペクトログラムＹ'に対して次の式で求められる。
【数１６】
グラフ７０３は、図５に示したフローチャートのステップＳ５０６の処理において位相値を範囲制限をせずに更新した場合の再生音声のＯＤＧを示す。つまり、グラフ７０３の音声は、次の更新式で表される復元信号（合成信号）ｘ'による再生音声である。
【数１７】
【数１８】
【数１９】
【００７６】
図７に示す例では、評価する音声信号として、ＲＷＣ研究用音楽データベースのポップス、ロック、クラシック等、様々なジャンルの楽曲のうち１２個の楽曲を用いている。なお、各グラフのＯＤＧは、１２個の楽曲についての平均値を表す。各音声信号は、１６ｋＨｚのモノラル信号に変換している。また、ＳＴＦＴは、ハミング窓を用いて、フレーム長５１２点、フレームシフト２５６点で行っている。また、式（７）に示した対数振幅の量子化ステップΔＡk,mの定数αは３としている。また、位相の更新の繰り返し回数は１００回である。
【００７７】
グラフ７０１、７０３に示すように、図５に示したフローチャートに従って再生した音声は、範囲制限をせずに位相値を更新する場合の再生音声より、全てのビット割り当てにおいて高品質となる。また、グラフ７０２に示すように、１回の逆ＳＴＦＴにより得られる再生音声は、振幅に５ビットを割り当てたときに最も高品質となる。一方、グラフ７０１に示すように、図５に示したフローチャートに従って再生した音声は、振幅に６ビットを割り当てたときに最も高品質となり、このときの音声は、振幅に５ビットを割り当てたときの１回の逆ＳＴＦＴにより得られる再生音声よりもはるかに高品質となる。
【００７８】
図８は、音声再生装置をスペクトログラムの編集処理に適用する場合の例を示す概略構成図である。図８に示す音声再生装置３０は、図１に示す音声再生装置２０の各部に加えて入力部３３を有する。
【００７９】
入力部３３は、キーボード、マウス等の入力装置及び入力装置から信号を取得するインターフェース回路を有し、利用者の操作に応じた信号を制御部３５に出力する。
【００８０】
記憶部３４には、音声再生装置３０の各種処理に用いられるコンピュータプログラム、データベース、テーブル等が格納される。記憶部３４は、制御部３５と接続され、インターフェース部３２を介して取得したスペクトログラム及びそのスペクトログラムを生成する際に用いられた窓関数及び時間フレームについての情報を格納する。また、制御部２４によりスペクトログラムについてなされた各種の演算結果を格納する。
【００８１】
制御部３５は、インターフェース部３２を介して受信したスペクトログラムを編集する。そのために、制御部３５は、情報出力部３６及び波形合成部３７を有する。また、制御部３５は、音声出力部３１、インターフェース部３２、入力部３３及び記憶部３４と接続され、音声出力部３１の出力制御、インターフェース部３２のデータ送受信制御、入力部３３の入力制御、記憶部３４の制御等を行う。制御部３５は、予め記憶部３４に記憶されているプログラムに基づいて動作する。あるいは、制御部３５は、集積回路、マイクロプロセッサ、ファームウェア等で構成されてもよい。
【００８２】
波形合成部３７は、図２に示す波形合成部２５と同様に、逆周波数変換部３８及び周波数変換部３９を有する。
【００８３】
図９は、音声再生装置３０によるスペクトログラムの編集処理の動作を示すフローチャートである。以下、図９に示したフローチャートを参照しつつ、スペクトログラムの編集処理の動作を説明する。なお、以下に説明する動作のフローは、予め記憶部３４に記憶されているプログラムに基づき主に制御部３５により音声再生装置３０の各要素と協働して実行される。
【００８４】
最初に、情報出力部３６は、入力部３３を介して、利用者からのスペクトログラムの編集指示を受け付ける（ステップＳ９０１）。この編集指示は、編集対象のスペクトログラム、編集対象の時間フレーム、振幅を何ｄＢ増大又は減少させる等の編集内容等を特定するものである。
【００８５】
情報出力部３６は、入力部３３を介して、利用者からのスペクトログラムの編集指示を受け付けると、対応する編集対象のスペクトログラムを記憶部３４から読み出す（ステップＳ９０２）。
【００８６】
例えば、スペクトログラムの振幅を変更する場合、振幅のみを変更し、その振幅に対応する位相を変更しなければ、振幅と位相の整合性が取れなくなり、再生する音声の品質は低下する。そこで、音声再生装置３０は、図５に示すフローチャートのステップＳ５０４〜Ｓ５０７の処理と同様の処理を行うことにより、変更した振幅と整合するように位相復元技術を利用して位相を更新し、更新した位相が所定の範囲に収まるように補正する。この場合、変更前のスペクトログラムの振幅値及び位相値をそれぞれ原振幅値Ａk,m及び原位相値φk,mとする。そして、変更後のスペクトログラムの振幅値を振幅値Ａ'k,mとし、変更前のスペクトログラムの位相値を位相値φ'k,mとする。なお、位相値φ'k,mの取り得る範囲は、振幅を変更する割合に応じて定められる。例えば、振幅を１ｄＢ変更するのに対し、位相の変更可能範囲を±０．１πとする。その場合、振幅を５ＤＢ変更する場合は位相の変更可能範囲は±０．５πとなる。あるいは、位相値の取り得る範囲は、予め固定値として定めておいてもよい。
【００８７】
そして、情報出力部３６は、振幅値Ａ'k,m、位相値φk,m及び位相値φk,mの取り得る範囲を波形合成部３７に出力する。
【００８８】
次に、波形合成部３７の逆周波数変換部３８は、各時間フレーム毎に、振幅値Ａ'k,mと位相値φ'k,mから求まるスペクトログラム成分Ｙ'k,mを逆周波数変換して分解信号ｘ'mを生成する。そして、各時間フレームについて生成した分解信号ｘ'mを合成して、時間的に連続する合成信号ｘ'を生成する（ステップＳ９０３）。
【００８９】
次に、波形合成部３７の周波数変換部３９は、逆周波数変換部３８が生成した合成信号ｘ'を再度、周波数領域に変換し、スペクトログラムを生成する（ステップＳ９０４）。
【００９０】
周波数変換部３９は、合成信号ｘ'を、元のスペクトログラムを生成する際に用いられた窓関数と同一の窓関数を用いて、元の音声信号を分解した時間フレームと同一の時間フレームに分解して、複数の第２の分解信号ｘ''mを生成する。そして、各第２の分解信号ｘ''mをそれぞれＳＴＦＴにより周波数変換して複数の周波数帯域に分割することにより第２のスペクトログラム成分Ｙ''k,mを生成する。
【００９１】
次に、波形合成部３７は、スペクトログラム成分Ｙ'k,mの位相値φ'k,mを、対応する第２のスペクトログラム成分Ｙ''k,mの第２の位相値φ''k,mに更新する（ステップＳ９０５）。このとき、波形合成部３７は、更新した位相値φ'k,mが、位相値φ'k,mの取り得る範囲を超えた場合、その範囲に収まるように更新した位相値φ'k,mを補正する。その場合、波形合成部３７は、更新した位相値φ'k,mをその範囲の境界値のうち第２の位相値φ''k,mに近い方の境界値に補正する。
【００９２】
次に、逆周波数変換部３８は、各時間フレーム毎に、ステップＳ９０２で取得していた振幅値Ａ'k,mと、ステップＳ９０５で更新された位相値φ'k,mからなるスペクトログラム成分Ｙ'k,mを逆周波数変換して再度分解信号ｘ'mを生成する。そして、各時間フレームについて生成した分解信号ｘ'mを合成して、合成信号ｘ'を生成する（ステップＳ９０６）。
【００９３】
次に、波形合成部３７は、位相値φ'k,mが収束したか否かを判定する（ステップＳ９０７）。波形合成部３７は、ステップＳ９０５において更新した、各周波数帯域、各時間フレームにおける全ての位相値φ'k,mの値の変化が所定回数連続して所定値以下である場合に、位相値φ'k,mが収束したと判定する。
【００９４】
波形合成部３７は、位相値φ'k,mが収束していない場合、ステップＳ９０４〜Ｓ９０６の処理を繰り返し、位相値φ'k,mが収束すると、ステップＳ９０３で生成した合成信号ｘ'を復元信号として音声出力部２１に出力する。一方、音声出力部２１は、受け取った復元信号をアナログ信号に変換して出力する（ステップＳ９０８）。
【００９５】
以上詳述したように、図９に示したフローチャートに従って動作することによって、音声再生装置３０は、スペクトログラムの編集処理において、変更した振幅に対して矛盾性の低い位相を高精度に算出できるようになり、高品質に音声を再生することができるようになった。
【符号の説明】
【００９６】
１ 音声通信システム
１０ 音声符号化装置
２０、３０ 音声再生装置
１１ 音声入力部
１２、２２、３２ インターフェース部
１３、２３、３４ 記憶部
１４、２４、３５ 制御部
１５、２９、３９ 周波数変換部
１６ 量子化部
１７ 符号化部
２１、３１ 音声出力部
２５、３７ 波形合成部
２６ 逆量子化部
２７ 復号部
２８、３８ 逆周波数変換部
３３ 入力部
３６ 情報出力部
【技術分野】
【０００１】
本発明は、音声再生装置、音声再生方法及びコンピュータプログラムに関し、特に、位相復元技術を用いて音声を再生する音声再生装置、音声再生方法及びコンピュータプログラムに関する。
【背景技術】
【０００２】
ＭＰ３、ＡＡＣ等の音声信号の非可逆圧縮技術では、修正離散コサイン変換及び聴覚モデルに基づいて音声信号を圧縮している。しかし、これらの方式では、すでに十分なパラメータチューニング及び最適化が行われており、現在の性能に対してさらなる性能向上を図るのは困難な状況にある。
【０００３】
一方、非可逆圧縮技術において、短時間フーリエ変換（ＳＴＦＴ）の振幅を符号化して、音声信号を圧縮する方式の研究が進められている。この方式では、復号時に位相復元技術（非特許文献１を参照）を利用して、ＳＴＦＴの振幅に対して整合する位相を生成することができるため、位相を符号化せずに、その分、振幅に割り当てるビット数を多くすることが可能となる。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】D. W. Griffin and J. S. Lim, ASSP, vol. 32(2), pp. 236-243, 1984.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
位相復元技術を用いることにより、符号化のビットを全て振幅に割り当てることができるため、振幅を高精度に復号することができる。しかし、位相についての情報が全くない状態から振幅のみに基づいて位相を生成した場合、再生される音声の音質は著しく低下する。
【０００６】
そこで、本発明の目的は、位相復元技術を用いた音声再生処理において、高品質に音声を再生することが可能な音声再生装置、音声再生方法及びそのような音声再生方法をコンピュータに実行させるコンピュータプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
本発明に係る音声再生装置は、音声信号における重複する時間フレームにそれぞれ対応する複数のスペクトログラム成分について、各スペクトログラム成分の振幅値、位相値及び位相値の取り得る範囲を出力する情報出力部と、振幅値に対して整合するように位相値を更新し、更新した位相値が位相値の取り得る範囲を超えた場合は、位相値の取り得る範囲に収まるように更新した位相値を補正し、振幅値及び補正した位相値に基づいて復元信号を生成する波形合成部と、復元信号を出力する音声出力部と、を有する。
【０００８】
さらに、本発明に係る音声再生装置において、複数のスペクトログラム成分は、音声信号を窓関数を用いて隣接する時間フレームが重複するように分解して周波数変換することにより生成された複数の原スペクトログラム成分に対して、複数の原スペクトログラム成分の原振幅値及び原位相値のうち少なくとも一つが変更されたものであり、波形合成部は、複数のスペクトログラム成分を逆周波数変換することにより生成した合成信号を、窓関数と同一の窓関数を用いて時間フレームと同一の時間フレームに分解して周波数変換することにより、振幅値に対して整合する第２の位相値を求め、当該第２の位相値により位相値を更新することが好ましい。
【０００９】
さらに、本発明に係る音声再生装置において、情報出力部は、原振幅値及び原位相値を量子化した量子化振幅値及び量子化位相値を逆量子化した値を振幅値及び位相値とし、原位相値を量子化した量子化ステップにより定まる位相値の範囲を位相値の取り得る範囲として出力することが好ましい。
【００１０】
さらに、本発明に係る音声再生装置において、情報出力部は、音声信号の信号値の取り得る第２の範囲を出力し、波形合成部は、合成信号の信号値が第２の範囲を超えた場合、第２の範囲に収まるように合成信号の信号値を補正することが好ましい。
【００１１】
また、本発明に係る音声再生方法は、音声信号における重複する時間フレームにそれぞれ対応する複数のスペクトログラム成分について、各スペクトログラム成分の振幅値、位相値及び位相値の取り得る範囲を出力するステップと、振幅値に対して整合するように位相値を更新し、更新した位相値が位相値の取り得る範囲を超えた場合は、位相値の取り得る範囲に収まるように更新した位相値を補正し、振幅値及び補正した位相値に基づいて復元信号を生成するステップと、復元信号を出力するステップと、を含む。
【００１２】
さらに、本発明に係る音声再生方法において、複数のスペクトログラム成分は、音声信号を窓関数を用いて隣接する時間フレームが重複するように分解して周波数変換することにより生成された複数の原スペクトログラム成分に対して、複数の原スペクトログラム成分の原振幅値及び原位相値のうち少なくとも一つが変更されたものであり、復元信号を生成するステップにおいて、複数のスペクトログラム成分を逆周波数変換することにより生成した合成信号を、窓関数と同一の窓関数を用いて時間フレームと同一の時間フレームに分解して周波数変換することにより、振幅値に対して整合する第２の位相値を求め、当該第２の位相値により位相値を更新することが好ましい。
【００１３】
さらに、本発明に係る音声再生方法において、振幅値、位相値及び位相値の取り得る範囲を出力するステップにおいて、原振幅値及び原位相値を量子化した量子化振幅値及び量子化位相値を逆量子化した値を振幅値及び位相値とし、原位相値を量子化した量子化ステップにより定まる位相値の範囲を位相値の取り得る範囲として出力することが好ましい。
【００１４】
さらに、本発明に係る音声再生方法において、振幅値、位相値及び位相値の取り得る範囲を出力するステップにおいて、音声信号の信号値の取り得る第２の範囲を出力し、復元信号を生成するステップにおいて、合成信号の信号値が第２の範囲を超えた場合、第２の範囲に収まるように合成信号の信号値を補正することが好ましい。
【００１５】
また、本発明に係るコンピュータプログラムは、音声信号における重複する時間フレームにそれぞれ対応する複数のスペクトログラム成分について、各スペクトログラム成分の振幅値、位相値及び位相値の取り得る範囲を出力するステップと、振幅値に対して整合するように位相値を更新し、更新した位相値が位相値の取り得る範囲を超えた場合は、位相値の取り得る範囲に収まるように更新した位相値を補正し、振幅値及び補正した位相値に基づいて復元信号を生成するステップと、復元信号を出力するステップと、をコンピュータに実行させる。
【発明の効果】
【００１６】
本発明によれば、位相復元技術を用いた音声再生処理において、高品質に音声を再生することが可能な音声再生装置、音声再生方法及びそのような音声再生方法をコンピュータに実行させるコンピュータプログラムを提供することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明を適用した音声通信システムの概略構成図である。
【図２】波形合成部の概略構成を示す図である。
【図３】音声符号化装置による音声符号化処理の動作を示すフローチャートである。
【図４】各信号及びスペクトログラムの関係について説明するための模式図である。
【図５】音声再生装置による音声再生処理の動作を示すフローチャートである。
【図６】逆量子化された位相値の範囲について説明するための模式図である。
【図７】音声再生装置により再生した音声の品質を表すグラフである。
【図８】他の音声再生装置の概略構成図である。
【図９】スペクトログラムの編集処理の動作を示すフローチャートである。
【発明を実施するための形態】
【００１８】
以下、本発明に係る音声再生装置、音声再生方法及びコンピュータプログラムについて図を参照しつつ説明する。但し、本発明の技術的範囲はそれらの実施の形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。
【００１９】
図１は、本発明を適用した音声通信システムの概略構成を示す図である。図１に示すように、音声通信システム１は、音声符号化装置１０及び音声再生装置２０を有する。
【００２０】
音声符号化装置１０は、音声入力部１１、インターフェース部１２、記憶部１３及び制御部１４を有する。以下、音声符号化装置１０の各部について詳細に説明する。
【００２１】
音声入力部１１は、外部の音声をアナログの電気信号に変換して取り込むマイクロフォンを有する。また、音声入力部１１は、マイクロフォンが出力したアナログの電気信号をデジタルの信号（以下、このデジタルの信号を音声信号と称する）に変換し、音声信号を記憶部１３に保存する。音声入力部１１は、制御部１４と接続されており、制御部１４により制御される。
【００２２】
インターフェース部１２は、例えばインターネット、電話回線網（携帯端末回線網、一般電話回線網を含む）、イントラネット等のネットワークを介して音声再生装置２０に符号化した音声信号（以下、符号化データと称する）を送信する通信インターフェースであり、接続するネットワークの通信インターフェース回路を有する。また、インターフェース部１２は、例えばＵＳＢ等のシリアルバスに準じるインターフェース回路を有し、フラッシュメモリ等を接続し、そのフラッシュメモリ等に符号化データを記憶するようにしてもよい。インターフェース部１２は、制御部１４と接続されており、制御部１４により制御される。
【００２３】
記憶部１３は、ＲＡＭ、ＲＯＭ等のメモリ装置、ハードディスク等の固定ディスク装置、又はフレキシブルディスク、光ディスク等の可搬用の記憶装置等を有する。また、記憶部１３には、音声符号化装置１０の各種処理に用いられるコンピュータプログラム、データベース、テーブル等が格納される。記憶部１３は、制御部１４と接続され、音声入力部１１を介して取得した音声信号を格納するとともに、制御部１４により音声信号についてなされた各種の演算結果を格納する。
【００２４】
制御部１４は、音声入力部１１を介して取得した音声信号を符号化する。そのために、制御部１４は、周波数変換部１５、量子化部１６及び符号化部１７を有する。また、制御部１４は、音声入力部１１、インターフェース部１２及び記憶部１３と接続され、音声入力部１１の音声入力制御、インターフェース部１２のデータ送受信制御、記憶部１３の制御等を行う。制御部１４は、予め記憶部１３に記憶されているプログラムに基づいて動作する。あるいは、制御部１４は、集積回路、マイクロプロセッサ、ファームウェア等で構成されてもよい。
【００２５】
音声再生装置２０は、音声出力部２１、インターフェース部２２、記憶部２３及び制御部２４を有する。以下、音声再生装置２０の各部について詳細に説明する。
【００２６】
音声出力部２１は、制御部２４から受け取ったデジタルの音声信号をアナログの電気信号に変換して出力する。あるいは、音声出力部２１は、さらにスピーカを有し、アナログの電気信号を音声として出力してもよい。音声出力部２１は、制御部２４と接続されており、制御部２４により制御される。
【００２７】
インターフェース部２２は、例えばインターネット、電話回線網（携帯端末回線網、一般電話回線網を含む）、イントラネット等のネットワークを介して音声符号化装置１０から符号化データを受信する通信インターフェースであり、接続するネットワークの通信インターフェース回路を有する。また、インターフェース部２２は、例えばＵＳＢ等のシリアルバスに準じるインターフェース回路を有し、フラッシュメモリ等を接続し、そのフラッシュメモリ等から符号化データを取得するようにしてもよい。インターフェース部２２は、制御部２４と接続されており、制御部２４により制御される。
【００２８】
記憶部２３は、ＲＡＭ、ＲＯＭ等のメモリ装置、ハードディスク等の固定ディスク装置、又はフレキシブルディスク、光ディスク等の可搬用の記憶装置等を有する。また、記憶部２３には、音声再生装置２０の各種処理に用いられるコンピュータプログラム、データベース、テーブル等が格納される。記憶部２３は、制御部２４と接続され、インターフェース部２２を介して音声符号化装置１０から受信した符号化データを格納するとともに、制御部２４により符号化データについてなされた各種の演算結果を格納する。
【００２９】
制御部２４は、インターフェース部２２を介して音声符号化装置１０から受信した符号化データを復号し、音声として再生する。そのために、制御部２４は、波形合成部２５、逆量子化部２６及び復号部２７を有する。また、制御部２４は、音声出力部２１、インターフェース部２２及び記憶部２３と接続され、音声出力部２１の出力制御、インターフェース部２２のデータ送受信制御、記憶部２３の制御等を行う。制御部２４は、予め記憶部２３に記憶されているプログラムに基づいて動作する。あるいは、制御部２４は、集積回路、マイクロプロセッサ、ファームウェア等で構成されてもよい。
【００３０】
図２は、波形合成部２５の概略構成を示す図である。図２に示すように、波形合成部２５は、逆周波数変換部２８及び周波数変換部２９を有する。
【００３１】
図３は、音声符号化装置１０による音声符号化処理の動作を示すフローチャートである。以下、図３に示したフローチャートを参照しつつ、音声符号化処理の動作を説明する。なお、以下に説明する動作のフローは、予め記憶部１３に記憶されているプログラムに基づき主に制御部１４により音声符号化装置１０の各要素と協働して実行される。
【００３２】
最初に、音声入力部１１は、外部の音声をマイクロフォンを介して取得し、マイクロフォンが出力したアナログの電気信号をデジタルの音声信号に変換し、記憶部１３に保存する（ステップＳ３０１）。
【００３３】
音声入力部１１により取得される音声信号は、次の式により表される。
【数１】
ここで、ｎはサンプル数を表し、例えば１６ｋＨｚでサンプリングする場合の１秒間のサンプル数ｎは、１６０００となる。
【００３４】
次に、周波数変換部１５は、記憶部１３に保存された音声信号を読み出し、音声信号を周波数領域に変換してスペクトログラムを生成する（ステップＳ３０２）。なお、周波数変換部１５は、短時間フーリエ変換（ＳＴＦＴ）を用いて周波数変換を行う。
【００３５】
図４に音声通信システム１が処理する各信号及び各スペクトログラムの関係を説明するための模式図を示す。時間領域の信号を周波数領域の信号に変換する場合、時間領域の信号を所定の時間フレーム毎に区切る必要がある。しかし、時間領域を所定の時間単位で完全に分割すると、各時間フレームの最初の値及び最後の値は、隣接する時間フレームの最後の値又は最初の値と不連続になり、正確に周波数領域に変換することができない。そのため、ＳＴＦＴでは、図４に示すように、音声信号４０１に対して、隣接する時間フレームが重複するように定めた窓関数４０２〜４０４を掛けることにより、音声信号４０１を各時間フレームが重複するように分解して周波数変換を行う。
【００３６】
つまり、周波数変換部１５は、音声信号ｘを隣接する時間フレームが重複するように窓関数を用いて複数の原分解信号ｘmに分解し、各原分解信号ｘmをそれぞれＳＴＦＴにより周波数変換して複数の周波数帯域に分割することにより複素スペクトログラムを生成する。
【００３７】
周波数変換部１５により生成される複素スペクトログラムＹ＝｛Ｙk,m｝の成分（以下、原スペクトログラム成分と称する）は、次の式により表される。
【数２】
ここで、ｋ、ｍはそれぞれ周波数帯域、時間フレームのインデックスを表す。また、Ａk,mは原スペクトログラム成分Ｙk,mの対数振幅値（以下、原振幅値と称する）を表し、φk,mは原スペクトログラム成分Ｙk,mの位相値（以下、原位相値と称する）（−π＜φk,m≦π）を表す。
【００３８】
次に、量子化部１６は、原スペクトログラム成分Ｙk,mの原振幅値Ａk,m及び原位相値φk,mについて量子化を行う（ステップＳ３０３）。
【００３９】
一般に、人間の聴覚の音の大きさの知覚はほぼ対数的であり、位相は一様分布である。そのため、本実施形態の量子化部１６は、原振幅値Ａk,m及び原位相値φk,mに対して等間隔量子化を行う。量子化部１６により量子化された原振幅値（以下、量子化振幅値と称する）Ａ^k,m及び原位相値（以下、量子化位相値と称する）φ^k,mは、次の式により表される。
【数３】
【数４】
ここで、
【数５】
は床関数を表し、量子化振幅値Ａ^k,mが
【数６】
より大きい場合は量子化振幅値Ａ^k,mは式（６）の値とし、量子化振幅値Ａ^k,mが０より小さい場合は量子化振幅値Ａ^k,mは０にする。
【００４０】
Ａ-kは周波数帯域ｋにおける各時間フレームの原振幅値Ａk,mの平均値である。また、ΔＡk,m及びΔφk,mは、それぞれ対数振幅及び位相の量子化ステップを表し、次の式により表される。
【数７】
【数８】
ここで、αは定数であり、例えば３である。σkは周波数帯域ｋにおける各時間フレームの原振幅値Ａk,mの標準偏差である。また、ａk,mは周波数帯域ｋ、時間フレームｍにおいて対数振幅に割り当てるビット数を表し、ｐk,mは周波数帯域ｋ、時間フレームｍにおいて位相に割り当てるビット数を表す。固定ビットレートの場合、つまりａk,mとｐk,mの和が固定値である場合、人間の聴覚は位相に対して鈍感であるため、ａk,mをｐk,m以上とすることが望ましい。
【００４１】
図４に示すように、量子化振幅値Ａ^k,m及び量子化位相値φ^k,mは、それぞれ原振幅値Ａk,m及び原位相値φk,mに対応して生成される。
【００４２】
次に、符号化部１７は、量子化振幅値Ａ^k,m、量子化位相値φ^k,m、これらの量子化ステップ、窓関数についての情報及び音声信号を分解した時間フレームについての情報を符号化する（ステップＳ３０４）。符号化部１７は、ハフマン符号化等の周知の可逆符号化方式によりこれらの情報を符号化する。
【００４３】
次に、制御部１４は、符号化部１７により符号化された符号化データをインターフェース部１２を介して音声再生装置２０に送信し（ステップＳ３０５）、一連のステップを終了する。
【００４４】
図５は、音声再生装置２０による音声再生処理の動作を示すフローチャートである。以下、図５に示したフローチャートを参照しつつ、音声再生処理の動作を説明する。なお、以下に説明する動作のフローは、予め記憶部２３に記憶されているプログラムに基づき主に制御部２４により音声再生装置２０の各要素と協働して実行される。
【００４５】
最初に、インターフェース部２２は、音声符号化装置１０から符号化データを受信する（ステップＳ５０１）。
【００４６】
次に、復号部２７は、受信した符号化データを復号し、量子化振幅値Ａ^k,m、量子化位相値φ^k,m、これらの量子化ステップ、窓関数についての情報及び音声信号を分解した時間フレームについての情報を取得する（ステップＳ５０２）。なお、復号部２７は、音声符号化装置１０の符号化部１７が符号化した符号化方式の逆変換を行って符号化データを復号する。
【００４７】
次に、逆量子化部２６は、量子化振幅値Ａ^k,m及び量子化位相値φ^k,mについて逆量子化を行う（ステップＳ５０３）。
【００４８】
逆量子化部２６により逆量子化された対数振幅値（以下、単に振幅値と称する）Ａ'k,m及び逆量子化された位相値（以下、単に位相値と称する）φ'k,mは、次の式により表される。
【数９】
【数１０】
つまり、振幅値Ａ'k,m及び位相値φ'k,mは、それぞれ、原振幅値Ａk,m及び原位相値φk,mが量子化された量子化ステップの範囲における中心の値となる。
【００４９】
また、逆量子化部２６は、原位相値φk,mを量子化した量子化ステップにより定まる位相値φ'k,mの取り得る範囲、つまり位相値φ'k,mの量子化誤差の範囲を算出し、振幅値Ａ'k,m及び位相値φ'k,mとともに波形合成部２５に出力する。このように、逆量子化部２６は、振幅値Ａ'k,m、位相値φ'k,m及び位相値φ'k,mの取り得る範囲を出力する情報出力部として機能する。
【００５０】
図４に示すように、振幅値Ａ'k,m及び位相値φ'k,mは、それぞれ原振幅値Ａk,m及び原位相値φk,mに対応して生成される。
【００５１】
次に、波形合成部２５は、振幅値Ａ'k,mに対して整合するように位相復元技術を利用して位相値φ'k,mを更新し、更新した位相値φ'k,mが原位相値φk,mを量子化した量子化ステップの範囲に収まるように補正し、振幅値Ａ'k,m及び補正した位相値φ'k,mに基づいて時間領域の復元信号を生成する（ステップＳ５０４〜Ｓ５０８）。
【００５２】
上述したように、音声符号化装置１０は、音声信号を高能率に圧縮するため、原振幅値及び原位相値を量子化している。そのため、逆量子化した振幅値及び位相値は、量子化前の原振幅値及び原位相値に対して量子化ステップの幅の誤差を持ち、逆量子化後の音声の品質は元の音声の品質より低くなる。一方、音声符号化装置１０は、音声信号を、隣接する時間フレームが重複するように分割してＳＴＦＴを行っている。そのため、ＳＴＦＴにより生成されたスペクトログラムでは、ある時間フレームの振幅値及び位相値は、その前後の時間フレームの振幅値及び位相値と何らかの関連性を持つ。つまり、スペクトログラムから復元したある時間フレームの時間領域の信号を、その前後の時間フレームの時間領域の信号と合成し、再度スペクトログラムに変換して得た位相値は、元の位相値よりも元の振幅値に対して整合性が高くなる。そこで、位相復元技術では、スペクトログラム成分を逆周波数変換して生成した信号を、そのスペクトログラム成分（又はその元となる原スペクトログラム成分）を生成したときと同一の窓関数を用いて同一の時間フレームに分解して周波数変換することにより、元の振幅値に対して整合性の高い位相値を求める。
【００５３】
一方、位相値を更新することにより、位相値が元の位相値φ'k,mから大幅に離れた値になるおそれもある。図６は、位相値が取り得る値の範囲について説明するための模式図である。図６は、位相値が２ビットに量子化される例を示しており、π〜π／２は００に、π／２〜０は０１に、０〜−π／２は１０に、−π／２〜−πは１１に量子化される。つまり、量子化位相値が０１である場合、原位相値はπ／２〜０の範囲内にある。そのため、位相値を更新することにより、位相値がπ／２〜０の範囲外の値６０１となった場合、波形合成部２５は、位相値を取り得る範囲の境界値６０２に補正する。
【００５４】
波形合成部２５の逆周波数変換部２８は、各時間フレーム毎に、振幅値Ａ'k,mと位相値φ'k,mから求まるスペクトログラム成分（以下、単にスペクトログラム成分と称する）Ｙ'k,mを逆周波数変換して時間領域の信号（以下、分解信号と称する）ｘ'mを生成する。そして、各時間フレームについて生成した分解信号ｘ'mを合成して、時間的に連続する合成信号ｘ'を生成する（ステップＳ５０４）。なお、逆周波数変換部２８は、逆ＳＴＦＴにより逆周波数変換を行う。
【００５５】
図４に示すように、各分解信号ｘ'mは、スペクトログラム成分のうち同じ時間フレームの全ての周波数帯域のスペクトログラム成分Ｙ'k,mを逆周波数変換することにより生成される。また、合成信号ｘ'は、全ての分解信号ｘ'mを合成して生成される。あるいは、合成信号ｘ'は、相互に隣接する２つの分解信号毎に、その２つの分解信号ｘ'mを合成して生成してもよい。
【００５６】
なお、スペクトログラム成分Ｙ'k,mは、次の式により表される。
【数１１】
また、スペクトログラム成分Ｙ'k,mからなる複素スペクトログラムＹ'＝｛Ｙ'k,m｝を逆周波数変換することにより得られる合成信号ｘ'は、次の式のように表される。
【数１２】
【００５７】
次に、波形合成部２５の周波数変換部２９は、逆周波数変換部２８が生成した合成信号ｘ'を再度、周波数領域に変換し、スペクトログラムを生成する（ステップＳ５０５）。
【００５８】
図４に示すように、周波数変換部２９は、合成信号ｘ'を、音声符号化装置１０の周波数変換部１５が用いた窓関数と同一の窓関数を用いて、音声信号を分解した時間フレームと同一の時間フレームに分解して、複数の第２の分解信号ｘ''mを生成する。そして、各第２の分解信号ｘ''mをそれぞれＳＴＦＴにより周波数変換して複数の周波数帯域に分割することによりスペクトログラムを生成する。
【００５９】
周波数変換部２９により生成される複素スペクトログラムＹ''＝｛Ｙ''k,m｝の成分（以下、第２のスペクトログラム成分と称する）は、次の式により表される。
【数１３】
ここで、Ａ''k,mは第２のスペクトログラム成分Ｙ''k,mの対数振幅値（以下、第２の振幅値と称する）を表し、φ''k,mは第２のスペクトログラム成分Ｙ''k,mの位相値（以下、第２の位相値と称する）（−π＜φ''k,m≦π）を表す。
【００６０】
なお、複素スペクトログラムＹ''＝｛Ｙ''k,m｝は、合成信号ｘ'を用いて次の式のように表される。
【数１４】
【００６１】
次に、波形合成部２５は、スペクトログラム成分Ｙ'k,mの位相値φ'k,mを、対応する第２のスペクトログラム成分Ｙ''k,mの第２の位相値φ''k,mに更新する（ステップＳ５０６）。このとき、波形合成部２５は、更新した位相値φ'k,mが、位相値φ'k,mの取り得る範囲、つまり原位相値φk,mを量子化した量子化ステップの範囲を超えている場合、その範囲に収まるように更新した位相値φ'k,mを補正する。その場合、波形合成部２５は、更新した位相値φ'k,mをその範囲の境界値のうち第２の位相値φ''k,mに近い方の境界値に補正する。
【００６２】
つまり、位相値φ'k,mは、次の式により更新及び補正される。
【数１５】
ここで、∠Ｚは複素数Ｚの偏角を表し、−π〜πの範囲の値をもつ。従って、∠Ｙ''k,mは第２のスペクトログラム成分Ｙ''k,mの第２の位相値を表す。また、φ(i)k,mは位相値φ'k,mの初期値、つまり逆量子化部２６により式（１０）で逆量子化された位相値を表す。
【００６３】
次に、逆周波数変換部２８は、各時間フレーム毎に、ステップＳ５０３で逆量子化された振幅値Ａ'k,mと、ステップＳ５０６で更新、補正された位相値φ'k,mからなるスペクトログラム成分Ｙ'k,mを逆周波数変換して再度分解信号ｘ'mを生成する。そして、各時間フレームについて生成した分解信号ｘ'mを合成して、合成信号ｘ'を生成する（ステップＳ５０７）。
【００６４】
次に、波形合成部２５は、位相値φ'k,mが収束したか否かを判定する（ステップＳ５０８）。波形合成部２５は、ステップＳ５０６において更新した、各周波数帯域、各時間フレームにおける全ての位相値φ'k,mの値の変化が所定回数連続して所定値以下である場合に、位相値φ'k,mが収束したと判定する。
【００６５】
波形合成部２５は、位相値φ'k,mが収束していない場合、ステップＳ５０５〜Ｓ５０７の処理を繰り返し、位相値φ'k,mが収束すると、ステップＳ５０９へ移行する。
【００６６】
なお、波形合成部２５は、位相値φ'k,mが収束したか否かを判定するのではなく、更新処理を所定回数行ったか否かを判定してもよい。その場合、波形合成部２５は、更新処理を所定回数行うまでステップＳ５０５〜Ｓ５０７の処理を繰り返し、所定回数行ったときにステップＳ５０９へ移行する。
【００６７】
ステップＳ５０９において、波形合成部２５は、ステップＳ５０７で生成した合成信号ｘ'を復元信号として音声出力部２１に出力する。一方、音声出力部２１は、受け取った復元信号をアナログの電気信号に変換して出力する（ステップＳ５０８）。
【００６８】
なお、波形合成部２５は、ステップＳ５０４、Ｓ５０７において、各時間フレームについて生成した分解信号ｘ'mを合成して合成信号ｘ'を生成したときに、生成した合成信号ｘ'の信号値が元の音声信号ｘの信号値の取り得る範囲を超えていた場合、その範囲内に収まるように合成信号ｘ'の信号値を補正してもよい。
【００６９】
例えば、音声信号が１６ビットで表される場合、その音声信号を圧縮して復号した合成信号も１６ビットの範囲内に収まるべきである。そこで、音声符号化装置１０の符号化部１７は、量子化振幅値Ａ^k,m、量子化位相値φ^k,m等の情報とともに音声信号の信号値の取り得る範囲（以下、第２の範囲と称する）（−３２７６８〜３２７６７）についての情報を符号化する。音声再生装置２０の復号部２７は、符号化データから第２の範囲についての情報を取得し、逆量子化部２６を介して波形合成部２５に送信する。そして、波形合成部２５は、ステップＳ５０４で生成した合成信号ｘ'の信号値が−３２７６８より小さい場合は−３２７６８に補正し、３２７６７より大きい場合は３２７６７に補正する。あるいは、波形合成部２５は、合成信号ｘ'の信号値の最小値が−３２７６８より小さい場合は最小値が−３２７６８になり、合成信号ｘ'の信号値の最大値が３２７６７より大きい場合は最大値が３２７６７になるように、合成信号全体を線形に補正してもよい。
【００７０】
また、音声通信システム１では、スペクトログラムの非負性を利用し、非負値行列因子分解（ＮＭＦ）の技術を用いて、より効率的に符号化を行うことができる。その場合、音声符号化装置１０の制御部１４は、周波数変換部１５により生成されたスペクトログラムのうち振幅について、ＮＭＦを用いて所定のパーツ（音階又は繰り返し部分等）毎に分解してから量子化を行う。一方、音声再生装置２０の制御部２４は、逆量子化部２６により逆量子化された対数振幅値について、各パーツを合成してから波形合成を行う。
【００７１】
また、音声符号化装置１０の制御部１４は、周波数変換部１５により生成されたスペクトログラムのうち振幅については量子化を行わず、位相についてのみ量子化を行ってもよい。その場合、音声再生装置２０の制御部２４は、復号部２７により復号された対数振幅値を振幅値とし、逆量子化部２６により逆量子化された位相値を位相値として波形合成を行う。
【００７２】
また、量子化ステップ、窓関数についての情報、音声信号を分解した時間フレームについての情報または第２の範囲についての情報は、符号化データとして音声符号化装置１０から音声再生装置２０に送信するのではなく、音声符号化装置１０及び音声再生装置２０に共通して予め定めておいてもよい。その場合、これらの情報は、予め記憶部１３及び２３に記憶される。
【００７３】
以上詳述したように、図５に示したフローチャートに従って動作することによって、音声再生装置２０は、振幅に対して矛盾性の低い位相を高精度に算出できるようになった。これにより、音声再生装置２０は、位相復元技術を用いた音声再生処理において、高品質に音声を再生することができるようになった。
【００７４】
図７は、本実施形態の音声再生装置２０により再生した音声の品質を表すグラフを示す。図７に示すグラフ７００では、縦軸はＩＴＵ−Ｒ ＢＳ．１３８７−１で定義されている音質の客観評価を行うためのアルゴリズムＰＥＡＱにより得られる客観品質劣化度合い（ＯＤＧ；Objective Difference Grade）のスコアを示す。ＯＤＧのスコアは−４〜０の範囲の値を取り、０に近いほど劣化が少ないことを表す。一方、横軸は振幅に割り当てたビット数を示す。グラフ７００では、振幅と位相はあわせて８ビットとなるように量子化しており、位相のビット数は、８から振幅のビット数を引いた値となる。
【００７５】
グラフ７０１は、図５に示したフローチャートに従って再生した音声のＯＤＧを示す。グラフ７０２は、図５に示したフローチャートのステップＳ５０５〜Ｓ５０８の処理を省略して再生した音声のＯＤＧを示す。つまり、グラフ７０２の音声は、逆量子化された振幅及び位相について１回の逆ＳＴＦＴにより得られた復元信号による再生音声であり、その復元信号（合成信号）ｘ'は、式（１１）で表されるスペクトログラム成分からなる複素スペクトログラムＹ'に対して次の式で求められる。
【数１６】
グラフ７０３は、図５に示したフローチャートのステップＳ５０６の処理において位相値を範囲制限をせずに更新した場合の再生音声のＯＤＧを示す。つまり、グラフ７０３の音声は、次の更新式で表される復元信号（合成信号）ｘ'による再生音声である。
【数１７】
【数１８】
【数１９】
【００７６】
図７に示す例では、評価する音声信号として、ＲＷＣ研究用音楽データベースのポップス、ロック、クラシック等、様々なジャンルの楽曲のうち１２個の楽曲を用いている。なお、各グラフのＯＤＧは、１２個の楽曲についての平均値を表す。各音声信号は、１６ｋＨｚのモノラル信号に変換している。また、ＳＴＦＴは、ハミング窓を用いて、フレーム長５１２点、フレームシフト２５６点で行っている。また、式（７）に示した対数振幅の量子化ステップΔＡk,mの定数αは３としている。また、位相の更新の繰り返し回数は１００回である。
【００７７】
グラフ７０１、７０３に示すように、図５に示したフローチャートに従って再生した音声は、範囲制限をせずに位相値を更新する場合の再生音声より、全てのビット割り当てにおいて高品質となる。また、グラフ７０２に示すように、１回の逆ＳＴＦＴにより得られる再生音声は、振幅に５ビットを割り当てたときに最も高品質となる。一方、グラフ７０１に示すように、図５に示したフローチャートに従って再生した音声は、振幅に６ビットを割り当てたときに最も高品質となり、このときの音声は、振幅に５ビットを割り当てたときの１回の逆ＳＴＦＴにより得られる再生音声よりもはるかに高品質となる。
【００７８】
図８は、音声再生装置をスペクトログラムの編集処理に適用する場合の例を示す概略構成図である。図８に示す音声再生装置３０は、図１に示す音声再生装置２０の各部に加えて入力部３３を有する。
【００７９】
入力部３３は、キーボード、マウス等の入力装置及び入力装置から信号を取得するインターフェース回路を有し、利用者の操作に応じた信号を制御部３５に出力する。
【００８０】
記憶部３４には、音声再生装置３０の各種処理に用いられるコンピュータプログラム、データベース、テーブル等が格納される。記憶部３４は、制御部３５と接続され、インターフェース部３２を介して取得したスペクトログラム及びそのスペクトログラムを生成する際に用いられた窓関数及び時間フレームについての情報を格納する。また、制御部２４によりスペクトログラムについてなされた各種の演算結果を格納する。
【００８１】
制御部３５は、インターフェース部３２を介して受信したスペクトログラムを編集する。そのために、制御部３５は、情報出力部３６及び波形合成部３７を有する。また、制御部３５は、音声出力部３１、インターフェース部３２、入力部３３及び記憶部３４と接続され、音声出力部３１の出力制御、インターフェース部３２のデータ送受信制御、入力部３３の入力制御、記憶部３４の制御等を行う。制御部３５は、予め記憶部３４に記憶されているプログラムに基づいて動作する。あるいは、制御部３５は、集積回路、マイクロプロセッサ、ファームウェア等で構成されてもよい。
【００８２】
波形合成部３７は、図２に示す波形合成部２５と同様に、逆周波数変換部３８及び周波数変換部３９を有する。
【００８３】
図９は、音声再生装置３０によるスペクトログラムの編集処理の動作を示すフローチャートである。以下、図９に示したフローチャートを参照しつつ、スペクトログラムの編集処理の動作を説明する。なお、以下に説明する動作のフローは、予め記憶部３４に記憶されているプログラムに基づき主に制御部３５により音声再生装置３０の各要素と協働して実行される。
【００８４】
最初に、情報出力部３６は、入力部３３を介して、利用者からのスペクトログラムの編集指示を受け付ける（ステップＳ９０１）。この編集指示は、編集対象のスペクトログラム、編集対象の時間フレーム、振幅を何ｄＢ増大又は減少させる等の編集内容等を特定するものである。
【００８５】
情報出力部３６は、入力部３３を介して、利用者からのスペクトログラムの編集指示を受け付けると、対応する編集対象のスペクトログラムを記憶部３４から読み出す（ステップＳ９０２）。
【００８６】
例えば、スペクトログラムの振幅を変更する場合、振幅のみを変更し、その振幅に対応する位相を変更しなければ、振幅と位相の整合性が取れなくなり、再生する音声の品質は低下する。そこで、音声再生装置３０は、図５に示すフローチャートのステップＳ５０４〜Ｓ５０７の処理と同様の処理を行うことにより、変更した振幅と整合するように位相復元技術を利用して位相を更新し、更新した位相が所定の範囲に収まるように補正する。この場合、変更前のスペクトログラムの振幅値及び位相値をそれぞれ原振幅値Ａk,m及び原位相値φk,mとする。そして、変更後のスペクトログラムの振幅値を振幅値Ａ'k,mとし、変更前のスペクトログラムの位相値を位相値φ'k,mとする。なお、位相値φ'k,mの取り得る範囲は、振幅を変更する割合に応じて定められる。例えば、振幅を１ｄＢ変更するのに対し、位相の変更可能範囲を±０．１πとする。その場合、振幅を５ＤＢ変更する場合は位相の変更可能範囲は±０．５πとなる。あるいは、位相値の取り得る範囲は、予め固定値として定めておいてもよい。
【００８７】
そして、情報出力部３６は、振幅値Ａ'k,m、位相値φk,m及び位相値φk,mの取り得る範囲を波形合成部３７に出力する。
【００８８】
次に、波形合成部３７の逆周波数変換部３８は、各時間フレーム毎に、振幅値Ａ'k,mと位相値φ'k,mから求まるスペクトログラム成分Ｙ'k,mを逆周波数変換して分解信号ｘ'mを生成する。そして、各時間フレームについて生成した分解信号ｘ'mを合成して、時間的に連続する合成信号ｘ'を生成する（ステップＳ９０３）。
【００８９】
次に、波形合成部３７の周波数変換部３９は、逆周波数変換部３８が生成した合成信号ｘ'を再度、周波数領域に変換し、スペクトログラムを生成する（ステップＳ９０４）。
【００９０】
周波数変換部３９は、合成信号ｘ'を、元のスペクトログラムを生成する際に用いられた窓関数と同一の窓関数を用いて、元の音声信号を分解した時間フレームと同一の時間フレームに分解して、複数の第２の分解信号ｘ''mを生成する。そして、各第２の分解信号ｘ''mをそれぞれＳＴＦＴにより周波数変換して複数の周波数帯域に分割することにより第２のスペクトログラム成分Ｙ''k,mを生成する。
【００９１】
次に、波形合成部３７は、スペクトログラム成分Ｙ'k,mの位相値φ'k,mを、対応する第２のスペクトログラム成分Ｙ''k,mの第２の位相値φ''k,mに更新する（ステップＳ９０５）。このとき、波形合成部３７は、更新した位相値φ'k,mが、位相値φ'k,mの取り得る範囲を超えた場合、その範囲に収まるように更新した位相値φ'k,mを補正する。その場合、波形合成部３７は、更新した位相値φ'k,mをその範囲の境界値のうち第２の位相値φ''k,mに近い方の境界値に補正する。
【００９２】
次に、逆周波数変換部３８は、各時間フレーム毎に、ステップＳ９０２で取得していた振幅値Ａ'k,mと、ステップＳ９０５で更新された位相値φ'k,mからなるスペクトログラム成分Ｙ'k,mを逆周波数変換して再度分解信号ｘ'mを生成する。そして、各時間フレームについて生成した分解信号ｘ'mを合成して、合成信号ｘ'を生成する（ステップＳ９０６）。
【００９３】
次に、波形合成部３７は、位相値φ'k,mが収束したか否かを判定する（ステップＳ９０７）。波形合成部３７は、ステップＳ９０５において更新した、各周波数帯域、各時間フレームにおける全ての位相値φ'k,mの値の変化が所定回数連続して所定値以下である場合に、位相値φ'k,mが収束したと判定する。
【００９４】
波形合成部３７は、位相値φ'k,mが収束していない場合、ステップＳ９０４〜Ｓ９０６の処理を繰り返し、位相値φ'k,mが収束すると、ステップＳ９０３で生成した合成信号ｘ'を復元信号として音声出力部２１に出力する。一方、音声出力部２１は、受け取った復元信号をアナログ信号に変換して出力する（ステップＳ９０８）。
【００９５】
以上詳述したように、図９に示したフローチャートに従って動作することによって、音声再生装置３０は、スペクトログラムの編集処理において、変更した振幅に対して矛盾性の低い位相を高精度に算出できるようになり、高品質に音声を再生することができるようになった。
【符号の説明】
【００９６】
１ 音声通信システム
１０ 音声符号化装置
２０、３０ 音声再生装置
１１ 音声入力部
１２、２２、３２ インターフェース部
１３、２３、３４ 記憶部
１４、２４、３５ 制御部
１５、２９、３９ 周波数変換部
１６ 量子化部
１７ 符号化部
２１、３１ 音声出力部
２５、３７ 波形合成部
２６ 逆量子化部
２７ 復号部
２８、３８ 逆周波数変換部
３３ 入力部
３６ 情報出力部
【特許請求の範囲】
【請求項１】
音声信号における重複する時間フレームにそれぞれ対応する複数のスペクトログラム成分について、各スペクトログラム成分の振幅値、位相値及び前記位相値の取り得る範囲を出力する情報出力部と、
前記振幅値に対して整合するように前記位相値を更新し、前記更新した位相値が前記範囲を超えた場合は、前記範囲に収まるように前記更新した位相値を補正し、前記振幅値及び前記補正した位相値に基づいて復元信号を生成する波形合成部と、
前記復元信号を出力する音声出力部と、
を有することを特徴とする音声再生装置。
【請求項２】
前記複数のスペクトログラム成分は、前記音声信号を窓関数を用いて隣接する時間フレームが重複するように分解して周波数変換することにより生成された複数の原スペクトログラム成分に対して、前記複数の原スペクトログラム成分の原振幅値及び原位相値のうち少なくとも一つが変更されたものであり、
前記波形合成部は、前記複数のスペクトログラム成分を逆周波数変換することにより生成した合成信号を、前記窓関数と同一の窓関数を用いて前記時間フレームと同一の時間フレームに分解して周波数変換することにより、前記振幅値に対して整合する第２の位相値を求め、当該第２の位相値により前記位相値を更新する、請求項１に記載の音声再生装置。
【請求項３】
前記情報出力部は、前記原振幅値及び前記原位相値を量子化した量子化振幅値及び量子化位相値を逆量子化した値を前記振幅値及び前記位相値とし、前記原位相値を量子化した量子化ステップにより定まる前記位相値の範囲を前記位相値の取り得る範囲として出力する、請求項２に記載の音声再生装置。
【請求項４】
前記情報出力部は、前記音声信号の信号値の取り得る第２の範囲を出力し、
前記波形合成部は、前記合成信号の信号値が前記第２の範囲を超えた場合、前記第２の範囲に収まるように前記合成信号の信号値を補正する、請求項２または３に記載の音声再生装置。
【請求項５】
音声信号における重複する時間フレームにそれぞれ対応する複数のスペクトログラム成分について、各スペクトログラム成分の振幅値、位相値及び前記位相値の取り得る範囲を出力するステップと、
前記振幅値に対して整合するように前記位相値を更新し、前記更新した位相値が前記範囲を超えた場合は、前記範囲に収まるように前記更新した位相値を補正し、前記振幅値及び前記補正した位相値に基づいて復元信号を生成するステップと、
前記復元信号を出力するステップと、
を含むことを特徴とする音声再生方法。
【請求項６】
前記複数のスペクトログラム成分は、前記音声信号を窓関数を用いて隣接する時間フレームが重複するように分解して周波数変換することにより生成された複数の原スペクトログラム成分に対して、前記複数の原スペクトログラム成分の原振幅値及び原位相値のうち少なくとも一つが変更されたものであり、
前記復元信号を生成するステップにおいて、前記複数のスペクトログラム成分を逆周波数変換することにより生成した合成信号を、前記窓関数と同一の窓関数を用いて前記時間フレームと同一の時間フレームに分解して周波数変換することにより、前記振幅値に対して整合する第２の位相値を求め、当該第２の位相値により前記位相値を更新する、請求項５に記載の音声再生方法。
【請求項７】
前記振幅値、前記位相値及び前記位相値の取り得る範囲を出力するステップにおいて、前記原振幅値及び前記原位相値を量子化した量子化振幅値及び量子化位相値を逆量子化した値を前記振幅値及び前記位相値とし、前記原位相値を量子化した量子化ステップにより定まる前記位相値の範囲を前記位相値の取り得る範囲として出力する、請求項６に記載の音声再生方法。
【請求項８】
前記振幅値、前記位相値及び前記位相値の取り得る範囲を出力するステップにおいて、前記音声信号の信号値の取り得る第２の範囲を出力し、
前記復元信号を生成するステップにおいて、前記合成信号の信号値が前記第２の範囲を超えた場合、前記第２の範囲に収まるように前記合成信号の信号値を補正する、請求項６または７に記載の音声再生方法。
【請求項９】
音声信号における重複する時間フレームにそれぞれ対応する複数のスペクトログラム成分について、各スペクトログラム成分の振幅値、位相値及び前記位相値の取り得る範囲を出力するステップと、
前記振幅値に対して整合するように前記位相値を更新し、前記更新した位相値が前記範囲を超えた場合は、前記範囲に収まるように前記更新した位相値を補正し、前記振幅値及び前記補正した位相値に基づいて復元信号を生成するステップと、
前記復元信号を出力するステップと、
をコンピュータに実行させることを特徴とするコンピュータプログラム。
【請求項１】
音声信号における重複する時間フレームにそれぞれ対応する複数のスペクトログラム成分について、各スペクトログラム成分の振幅値、位相値及び前記位相値の取り得る範囲を出力する情報出力部と、
前記振幅値に対して整合するように前記位相値を更新し、前記更新した位相値が前記範囲を超えた場合は、前記範囲に収まるように前記更新した位相値を補正し、前記振幅値及び前記補正した位相値に基づいて復元信号を生成する波形合成部と、
前記復元信号を出力する音声出力部と、
を有することを特徴とする音声再生装置。
【請求項２】
前記複数のスペクトログラム成分は、前記音声信号を窓関数を用いて隣接する時間フレームが重複するように分解して周波数変換することにより生成された複数の原スペクトログラム成分に対して、前記複数の原スペクトログラム成分の原振幅値及び原位相値のうち少なくとも一つが変更されたものであり、
前記波形合成部は、前記複数のスペクトログラム成分を逆周波数変換することにより生成した合成信号を、前記窓関数と同一の窓関数を用いて前記時間フレームと同一の時間フレームに分解して周波数変換することにより、前記振幅値に対して整合する第２の位相値を求め、当該第２の位相値により前記位相値を更新する、請求項１に記載の音声再生装置。
【請求項３】
前記情報出力部は、前記原振幅値及び前記原位相値を量子化した量子化振幅値及び量子化位相値を逆量子化した値を前記振幅値及び前記位相値とし、前記原位相値を量子化した量子化ステップにより定まる前記位相値の範囲を前記位相値の取り得る範囲として出力する、請求項２に記載の音声再生装置。
【請求項４】
前記情報出力部は、前記音声信号の信号値の取り得る第２の範囲を出力し、
前記波形合成部は、前記合成信号の信号値が前記第２の範囲を超えた場合、前記第２の範囲に収まるように前記合成信号の信号値を補正する、請求項２または３に記載の音声再生装置。
【請求項５】
音声信号における重複する時間フレームにそれぞれ対応する複数のスペクトログラム成分について、各スペクトログラム成分の振幅値、位相値及び前記位相値の取り得る範囲を出力するステップと、
前記振幅値に対して整合するように前記位相値を更新し、前記更新した位相値が前記範囲を超えた場合は、前記範囲に収まるように前記更新した位相値を補正し、前記振幅値及び前記補正した位相値に基づいて復元信号を生成するステップと、
前記復元信号を出力するステップと、
を含むことを特徴とする音声再生方法。
【請求項６】
前記複数のスペクトログラム成分は、前記音声信号を窓関数を用いて隣接する時間フレームが重複するように分解して周波数変換することにより生成された複数の原スペクトログラム成分に対して、前記複数の原スペクトログラム成分の原振幅値及び原位相値のうち少なくとも一つが変更されたものであり、
前記復元信号を生成するステップにおいて、前記複数のスペクトログラム成分を逆周波数変換することにより生成した合成信号を、前記窓関数と同一の窓関数を用いて前記時間フレームと同一の時間フレームに分解して周波数変換することにより、前記振幅値に対して整合する第２の位相値を求め、当該第２の位相値により前記位相値を更新する、請求項５に記載の音声再生方法。
【請求項７】
前記振幅値、前記位相値及び前記位相値の取り得る範囲を出力するステップにおいて、前記原振幅値及び前記原位相値を量子化した量子化振幅値及び量子化位相値を逆量子化した値を前記振幅値及び前記位相値とし、前記原位相値を量子化した量子化ステップにより定まる前記位相値の範囲を前記位相値の取り得る範囲として出力する、請求項６に記載の音声再生方法。
【請求項８】
前記振幅値、前記位相値及び前記位相値の取り得る範囲を出力するステップにおいて、前記音声信号の信号値の取り得る第２の範囲を出力し、
前記復元信号を生成するステップにおいて、前記合成信号の信号値が前記第２の範囲を超えた場合、前記第２の範囲に収まるように前記合成信号の信号値を補正する、請求項６または７に記載の音声再生方法。
【請求項９】
音声信号における重複する時間フレームにそれぞれ対応する複数のスペクトログラム成分について、各スペクトログラム成分の振幅値、位相値及び前記位相値の取り得る範囲を出力するステップと、
前記振幅値に対して整合するように前記位相値を更新し、前記更新した位相値が前記範囲を超えた場合は、前記範囲に収まるように前記更新した位相値を補正し、前記振幅値及び前記補正した位相値に基づいて復元信号を生成するステップと、
前記復元信号を出力するステップと、
をコンピュータに実行させることを特徴とするコンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１３−５７８９５（Ｐ２０１３−５７８９５Ａ）
【公開日】平成２５年３月２８日（２０１３．３．２８）
【国際特許分類】
【出願番号】特願２０１１−１９７４０４（Ｐ２０１１−１９７４０４）
【出願日】平成２３年９月９日（２０１１．９．９）
【出願人】（５０４２０２４７２）大学共同利用機関法人情報・システム研究機構 (119)
【公開日】平成２５年３月２８日（２０１３．３．２８）
【国際特許分類】
【出願日】平成２３年９月９日（２０１１．９．９）
【出願人】（５０４２０２４７２）大学共同利用機関法人情報・システム研究機構 (119)
[ Back to top ]