残響時間推定装置及び残響時間推定方法
【課題】 系の伝達特性を測定することなく、正確な残響時間を推定することができる残響時間推定装置及び残響時間推定方法を提供する。
【解決手段】 残響時間推定装置１は、残響が付加された時系列の音響信号に基づいて、前記音響信号に対応する時系列のパワーエンベロープを生成するパワーエンベロープ生成部４１と、前記パワーエンベロープ生成部４１によって生成されたパワーエンベロープに基づいて、周波数系列の変調スペクトルを生成する正規化変調スペクトル生成部４４と、前記正規化変調スペクトル生成部４４によって生成された変調スペクトルに基づいて、前記音響信号が観測された系の残響特性に関する伝達関数に対応する残響時間を推定する演算回路５とを備える。
【解決手段】 残響時間推定装置１は、残響が付加された時系列の音響信号に基づいて、前記音響信号に対応する時系列のパワーエンベロープを生成するパワーエンベロープ生成部４１と、前記パワーエンベロープ生成部４１によって生成されたパワーエンベロープに基づいて、周波数系列の変調スペクトルを生成する正規化変調スペクトル生成部４４と、前記正規化変調スペクトル生成部４４によって生成された変調スペクトルに基づいて、前記音響信号が観測された系の残響特性に関する伝達関数に対応する残響時間を推定する演算回路５とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、系の残響時間を推定する残響時間推定装置及びその方法に関し、特に、時系列の音響信号から求められた周波数系列の変調スペクトルにより、原音信号を用いずに残響時間をブラインド推定する残響時間推定装置及びその方法に関する。
【背景技術】
【０００２】
音響の残響時間は、室の残響特性を知る上で欠かせないパラメータである。残響時間は、近年では音響信号に対するＦｏ推定、音声認識、原音信号の回復等に利用されている。かかる残響時間を求めるためには、従来、室の伝達特性を測定する必要があり、この伝達特性の測定には、音源、室内の人や物の状況、室内の静寂性等の多くの制約が存在する。また、従来の残響時間の測定には比較的長時間を必要とするため、刻々と残響特性が変化する環境の場合には測定が不可能な場合もあった。このような観点から、残響時間のリアルタイム測定が可能な手法の開発が望まれている。
【０００３】
残響時間をリアルタイムに求めるためには、系の伝達特性を測定することなく、観測された音響信号のみから残響時間を推定することができるブラインド推定を行うことが必要である。ここで「系」とは、種々の事象の解析のために想定された空間のことをいう。非特許文献１には、残響の影響を受けた音響信号のパワーエンベロープから、元の音源信号のパワーエンベロープを回復する回復方法が開示されている。この非特許文献１に開示されている回復方法では、室内に伝送される音響のパワーエンベロープの入出力の関係（時間領域では畳込み，周波数領域では積）、すなわち変調度を、変調周波数を変数とした関数として表した変調伝達関数を利用している。更に詳しく説明すると、観測した音響信号のパワーエンベロープに、系の変調伝達関数の逆関数（逆フィルタ）を適用することで、元音響（残響が付加されていない音源からの音響）のパワーエンベロープを回復する。そして、非特許文献１では、残響が付加された音響信号のパワーエンベロープが、逆フィルタにより元音響のパワーエンベロープと同じ形状に回復されるときに、逆フィルタの残響時間パラメータが系の残響時間と等しい値となることを前提として、逆フィルタを算出する処理で求められる逆フィルタの残響時間パラメータを、残響時間として推定することが開示されている。
【非特許文献１】 古川、鵜木、赤木、「ＭＴＦに基づいた残響音声パワーエンベロープの回復方法」、信学技報、社団法人電子情報通信学会、平成１４年４月、ＥＡ２００２−１５、ＳＰ２００２−１５、ｐ．４９−５４
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した非特許文献１に開示されている残響音声パワーエンベロープの回復方法において、逆フィルタを算出する処理で求められる残響時間は、残響時間が０．５秒付近までは実際の残響時間と推定残響時間とが十分に一致しているが、それ以降は徐々に両者の間の差が大きくなり、十分に一致しているとはいえないものであった。
【０００５】
本発明は斯かる事情に鑑みてなされたものであり、その目的は系の伝達特性を測定することなく、正確な残響時間を推定することが可能な残響時間推定装置及び残響時間推定方法を提供することにある。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために、本発明の残響時間推定装置は、残響が付加された時系列の音響信号に基づいて、前記音響信号に対応する時系列のパワーエンベロープを生成するパワーエンベロープ生成手段と、前記パワーエンベロープ生成手段によって生成されたパワーエンベロープに基づいて、周波数系列の変調スペクトルを生成する変調スペクトル生成手段と、前記変調スペクトル生成手段によって生成された変調スペクトルに基づいて、前記音響信号が観測された系の残響特性に関する伝達関数に対応する残響時間を推定する残響時間推定手段とを備える。
【０００７】
上記発明においては、前記周波数系列の変調スペクトルにおいて高い変調スペクトルを示す主要変調周波数を特定する主要変調周波数特定手段を更に備え、前記残響時間推定手段が、前記周波数系列の前記変調スペクトルに前記伝達関数の逆伝達関数を適用したときに、適用後の前記主要変調周波数における変調スペクトルが、残響が付加されていない原音を示す時系列の原音信号に対応する周波数系列の変調スペクトルの前記主要変調周波数における変調スペクトルと略一致するような前記伝達関数に対応する残響時間を推定するように構成されていることが好ましい。
【０００８】
また、この場合においては、前記主要変調周波数特定手段が、前記パワーエンベロープに対する自己相関関数を求め、前記自己相関関数がピークを示す時間シフト量の逆数を前記主要変調周波数として特定するように構成されていることが好ましい。
【０００９】
上記発明においては、前記パワーエンベロープ生成手段によって生成されたパワーエンベロープに対して適用されるローパスフィルタを更に備え、前記主要変調周波数特定手段が、前記ローパスフィルタから出力されたパワーエンベロープに基づいて、前記主要変調周波数を特定するように構成されていることが好ましい。
【００１０】
上記発明においては、前記音響信号を複数チャンネルに帯域分割する帯域分割手段と、前記帯域分割手段によって帯域分割された各チャンネルから、残響時間推定に用いるチャンネルを決定するチャンネル決定手段とを更に備えることが好ましい。
【００１１】
この場合においては、前記パワーエンベロープ生成手段は、前記帯域分割手段によって帯域分割された各チャンネルについて、パワーエンベロープを生成するように構成されており、前記パワーエンベロープ生成手段によって生成されたパワーエンベロープの中で、所定の基準値を越える高レベル部を検出する高レベル部検出手段を更に備え、前記チャンネル決定手段は、前記高レベル部検出手段によって検出された高レベル部に基づいて、残響時間推定に用いるチャンネルを決定するように構成されていることが好ましい。
【００１２】
また、この場合においては、前記チャンネル決定手段が、前記高レベル部検出手段によって検出された２つの高レベル部の間に、微小なピークが存在するか否かを判定し、微小なピークが存在する場合には、当該チャンネルを推定に用いるチャンネルから除外するように構成されていることが好ましい。
【００１３】
また、上記発明においては、前記チャンネル決定手段が、前記高レベル部検出手段によって検出された高レベル部の中に谷が存在するか否かを判定し、谷が存在する場合には、当該チャンネルを推定に用いるチャンネルから除外するように構成されていることが好ましい。
【００１４】
本発明の残響時間推定方法は、残響が付加された時系列の音響信号に基づいて、前記音響信号に対応する時系列のパワーエンベロープを生成するステップと、生成されたパワーエンベロープに基づいて、周波数系列の変調スペクトルを生成するステップと、生成された変調スペクトルに基づいて、前記音響信号が観測された系の残響特性に関する伝達関数に対応する残響時間を推定するステップとを備える。
【発明の効果】
【００１５】
本発明の残響時間推定装置及び残響時間推定方法によれば、系の伝達特性を測定することなく、正確な残響時間を推定することができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の好ましい実施の形態を、図面を参照しながら説明する。
【００１７】
（実施の形態１）
実施の形態１は、ハードウェアのデジタル信号処理回路により主として構成された残響時間推定装置である。
【００１８】
［残響時間推定装置の構成］
図１は、本発明の実施の形態１に係る残響時間推定装置の構成を示すブロック図である。図１に示すように、本実施の形態に係る残響時間推定装置１は、室の音響を入力するためのマイクロフォン２と、マイクロフォン２で取り込んだアナログ音響信号に対してＡ／Ｄ変換を行うＡ／Ｄ変換器３と、Ａ／Ｄ変換器３から出力されるデジタル音響信号に対して信号処理を行うデジタル信号処理回路４と、デジタル信号処理回路４の処理結果を受け付け、残響時間の推定処理を実行する演算回路５と、メモリ６と、演算回路５により推定された残響時間を表示する液晶表示部７とを備えている。
【００１９】
図１に示すように、デジタル信号処理回路４は、パワーエンベロープ生成部４１、ローパスフィルタ４２、主要変調周波数取得部４３、及び正規化変調スペクトル生成部４４の機能ブロックを有している。パワーエンベロープ生成部４１は、Ａ／Ｄ変換器３から出力されたデジタル音響信号から、パワーエンベロープ信号を生成する。このパワーエンベロープ信号は、音響信号の振幅の時間包絡線情報を２乗したものである。パワーエンベロープ信号生成部４１は、次式により表される信号処理を実施するように構成されている。
【数１】
但し、ＬＰＦ［・］は低域通過フィルタを示しており、Ｈｉｌｂｅｒｔ（・）はヒルベルト変換を示している。また、会話音声の変動リズムを考慮すると、主要な音響情報は変調周波数２０Ｈｚまでに存在することから、本実施の形態では、低域通過フィルタのカットオフ周波数を２０Ｈｚとしている。
【００２０】
主要変調周波数取得部４３の前段には、ローパスフィルタ４２が設けられており、ローパスフィルタ４２によって高周波成分が除去されたパワーエンベロープ信号が主要変調周波数取得部４３に与えられる。この主要変調周波数取得部４３は、パワーエンベロープ信号の自己相関関数を求め、パワーエンベロープと、その自己相関関数との時間シフト量（ずれ時間）を主要変調周波数ｆｍｄとして決定する。また、本実施の形態では、主要変調周波数ｆｍｄは比較的低い変調周波数であるので、２Ｈｚまでに現れるものと考えられることから、ローパスフィルタ４２のカットオフ周波数を２Ｈｚとしている。このように、主要変調周波数取得部４３の前段にローパスフィルタ４２を設けることにより、主要変調周波数ｆｍｄの誤検出を防止することができる。なお、本実施の形態においては、主要変調周波数として取得する変調周波数の数を１つとしている。ただし、これに限定されるものではなく、主要変調周波数の取得数を複数としてもよい。しかし、回路の複雑化、コスト増大等の観点より、主要変調周波数の取得数は少ない方がよく、１つ又は２つとすることが特に好ましい。なお、本実施の形態においては、ローパスフィルタ４２のカットオフ周波数を２Ｈｚとしたが、これに限定されるものではなく、５Ｈｚ又は１０Ｈｚ等の他のカットオフ周波数を採用することもできる。ただし、カットオフ周波数を高い値に設定すると、パワーエンベロープにノイズの高周波成分が多く含まれるおそれがあることから、１０Ｈｚ以下の値にすることが好ましい。
【００２１】
正規化変調スペクトル生成部４４は、ＦＦＴ回路を有しており、時系列のデジタル信号であるパワーエンベロープ信号から、周波数系列のデジタル信号である変調スペクトル信号を生成する。また、この正規化変調スペクトル生成部４４では、変調スペクトルの大きさを、ＤＣ成分の変調スペクトル（変調周波数が０Ｈｚにおける変調スペクトル）で正規化した変調スペクトル信号を生成するように構成されている。
【００２２】
上記のデジタル信号処理回路４から出力される主要変調周波数及び変調スペクトルのデータは、演算回路５に与えられる。演算回路５は、ＦＰＧＡ又はＡＳＩＣ等により構成された残響時間推定処理専用のプロセッサである。かかる演算回路５は、室における変調度（室内に伝送される音響のパワーエンベロープの入出力の関係）を、変調周波数を変数とした関数として表した変調伝達関数（以下、ＭＴＦという）を利用して、室の残響時間を推定する。
【００２３】
ここでＭＴＦについて詳細に説明する。ＭＴＦは、伝送路の特性が線形受動システムとして記述することができる場合には、インパルス応答の自乗のフーリエ変換として次式で定義される。
【数２】
但し、ｆｍは変調周波数を、ｈ（ｔ）は室内インパルス応答を示す。また、室内音響学でよく使われる統計近似のインパルス応答は、次式で表される。
【数３】
但し、ＴＲは残響時間を、ｎ（ｔ）は白色雑音を示す。上記の式（３）を用いれば、ＭＴＦは、ある残響時間ＴＲにおいて、変調周波数ｆｍに対する入出力パワーの割合として表される。室内が拡散音場である場合、減衰過程が指数関数的であることを、波動論を用いて示すことができる。この場合、ＭＴＦの大きさ（変調度）は、次式で示される。
【数４】
図２は、式（４）のＭＴＦ（変調度）を示すグラフである。図２において、横軸は変調周波数を、縦軸はＭＴＦ（変調度）を示している。例えば、変調周波数ｆｍ＝１０ＨｚのときのＭＴＦは、図２に示すように０．４０２である。これは、入力パワーエンベロープにある変調周波数ｆｍ＝１０Ｈｚの成分の変調度が１であるとすると、その出力パワーエンベロープの同変調周波数における成分の変調度は０．４０２に減衰するということを意味する。この減衰特性は、ある意味で変調周波数に対する低域通過フィルタ特性と解釈することができる。
【００２４】
次に、本実施の形態における残響時間推定の原理について説明する。図３Ａは、残響が付加されていない音響信号のパワーエンベロープを示すグラフであり、図３Ｂは、その変調スペクトルを示すグラフである。また、図４Ａは、図３Ａで示す音響に残響が付加した場合の音響信号のパワーエンベロープを示すグラフであり、図４Ｂは、その変調スペクトルを示すグラフである。図３Ａ、図４Ａの音響信号の主要変調周波数は共に５Ｈｚであり、図４Ａの音響信号に付加されている残響の残響時間ＴＲは２．０秒である。図４Ｂの変調スペクトルに対してＭＴＦの逆フィルタを適用することで、当該変調スペクトルの主要変調周波数（５Ｈｚ）における値を、図３Ｂの変調スペクトルの同主要変調周波数の値に戻すことができれば、その逆フィルタのパラメータによって適切な残響時間を推定することが可能である。
【００２５】
図３Ｂ及び図４Ｂに示すように、変調周波数０Ｈｚ（ＤＣ成分）付近においては、残響の影響を受けていないことが分かる。また、ＭＴＦが入出力パワーの割合（比率）を示すこと、系のパワーエンベロープの正規化されたＦｏｕｒｉｅｒ変換がＭＴＦであることから、元音響の変調スペクトルは残響が付加されるとその系のＭＴＦに従い減少することがわかる。そこで、本実施の形態においては、残響付加のない音響の変調スペクトルにおいて、主要変調周波数のパワーが０Ｈｚ付近のパワーと十分に近い場合が多いという事実に基づき、観測された音響の変調スペクトルの０Ｈｚにおけるパワーが、残響付加のない元音響の変調スペクトルの０Ｈｚ及び主要変調周波数におけるパワーと一致すると仮定し、元音響の変調スペクトルの主要変調周波数におけるパワーを、観測された音響の変調スペクトルの主要周波数におけるパワーまで減少させるようなＭＴＦを求め、そのＭＴＦの残響時間パラメータを系の残響時間として推定する。このことを換言すると、本実施の形態に係る残響時間推定装置は、観測された音響の変調スペクトルに対してＭＴＦの逆フィルタを適用したときに、当該変調スペクトルの主要変調周波数におけるパワーが、元音響の変調スペクトルの主要変調周波数におけるパワー（すなわち、観測された音響の変調スペクトルの０Ｈｚにおけるパワー）と略一致するようなＭＴＦに対応する逆特性を推定する。図４Ｂの破線は、元音響の変調スペクトルの主要変調周波数におけるパワーを、観測された音響の変調スペクトルの主要周波数におけるパワーまで減少させるようなＭＴＦを示しており、このＭＴＦに対応する残響時間が推定される。
【００２６】
このようなコンセプトに基づいて、演算回路５は具体的には以下のような処理を実行するように構成されている。メモリ６には、残響時間をパラメータとして有するＭＴＦの逆特性が、演算回路５によって処理可能な関数データとして記憶されている。このメモリ６に記憶されている逆フィルタ（逆特性）の関数データは、推定候補として予め与えられた複数の残響時間の分だけ用意される。ここで、かかる逆フィルタについて更に詳しく説明する。ＭＴＦの概念に基づいて、残響が付加されていない音源の音響信号（以下、音源信号という）ｘ（ｔ）、室内インパルス応答ｈ（ｔ）、及びそれらの畳み込みとして得られる観測された音響信号（以下、残響信号という）ｙ（ｔ）の関係を次のようにモデル化する。
【数５】
ここで、“＊”は畳み込みを、ｅｘ（ｔ）及びｅｈ（ｔ）はそれぞれｘ（ｔ）及びｈ（ｔ）のエンベロープを、ｎ１（ｔ）及びｎ２（ｔ）は相互に無関係な白色雑音を、ａは振幅項を示している。ｎ１（ｔ）とｎ２（ｔ）との相互独立性から、残響信号とそのパワーエンベロープとの間には次の関係があることが知られている。
【数６】
但し、＜・＞は集合平均を表す。この関係から、ｅ２ｙ（ｔ）はｅ２ｘ（ｔ）とｅ２ｈ（ｔ）との畳み込みで得られることが分かる。
【００２７】
次に、周波数領域における関係を考える。式（５）〜（１０）の関係式は、実際には離散時間で利用されるため、ここではその周波数変換としてｚ変換を利用する。ｚ変換をＺ［・］としたときに、式（８）のｚ領域の変調伝達関数は、次式のように表される。
【数７】
次に、パワーエンベロープに関する入出力の関係は、Ｚ［ｅ２ｙ（ｔ）］／Ｚ［ｅ２ｘ（ｔ）］＝Ｚ［ｅ２ｈ（ｔ）］となることから、音源信号の変調スペクトルＺ［ｅ２ｘ（ｔ）］は、次式のように求めることができる。
【数８】
但し、ｆｓはサンプリング周波数である。ここで、式（１２）の第２項（式（１１））がちようど逆フィルタの特性（残響が積分処理であるのに対して、回復は微分処理に相当する）を表しており、１次のＩＩＲフィルタで実現できることが分かる。この式（１２）の逆フィルタを表す関数データが、メモリ６に複数の残響時間の分だけ記憶されている。演算回路５は、メモリ６から各残響時間の逆フィルタを読み出し、デジタル信号処理回路４から受け付けた主要変調周波数及び変調スペクトルに対して各残響時間の逆フィルタを適用して、各残響時間に対応する音源信号の主要変調周波数における変調スペクトルを算出するように構成されている。
【００２８】
また、演算回路５は、このようにして求めた各残響時間に対応する音源信号の主要変調周波数における変調スペクトルのうち、大きさが０ｄＢ（変調度で表すと１）に最も近い１つを選択し、その残響時間を、室の残響時間として推定するように構成されている。この原理を、以下に説明する。
【００２９】
各変調スペクトルをＥ（ｆｍ）とする。ここで、ｍ（ｆｍ）＝Ｅｈ（ｆｍ）を考慮して、式（１０）の右辺の畳み込みを（対数）変調スペクトル表現で表すと、次式が得られる。
【数９】
ここで、ｆｍ＝ｆｍｄのときの変調スペクトル及び変調伝達関数ＭＴＦの関係を考える。残響時間ＴＲを完全に推定することができたとすると、主要変調周波数ｆｍｄにおける音源信号の変調スペクトルと回復された信号の変調スペクトルとは一致する。また、ｆｍ＝０のときの変調伝達関数ｍ（０）はあらゆるＴＲに対して１であるから、ｆｍ＝０における音源信号と残響信号の変調スペクトルも常に一致する。これらの条件から、次式が導かれる。
【数１０】
これを式（１３）に代入すると、次式が導かれる。
【数１１】
ここで、変調伝達関数ｍ（ｆｍ）はｆｍの関数であるが、残響時間パラメータＴＲも見掛け上変数とみることができる。ブラインド推定では、ＴＲが不明であるため、式（４）のｍ（ｆｍ）をｍ（ｆｍ，ＴＲ）と表せば、求めるべき残響時間ＴＲは、次式で表すことができる。
【数１２】
この式により、残響時間のブラインド推定が可能となる。
【００３０】
［残響時間推定装置の動作］
次に、残響時間推定装置の動作について説明する。作業者は、残響時間を測定する室内において、残響時間測定装置１のマイクロフォン２で音響をサンプリングする。マイクロフォン２から出力されたアナログ音響信号は、Ａ／Ｄ変換器３によりデジタル音響信号へ変換され、このデジタル音響信号（残響信号）がデジタル信号処理回路４へと与えられる。デジタル信号処理回路４に与えられたデジタル音響信号は、パワーエンベロープ生成部４１によってパワーエンベロープへと変換され、このパワーエンベロープ信号が、ローパスフィルタ４２と正規化変調スペクトル生成部４４とにそれぞれ与えられる。
【００３１】
ローパスフィルタ４２によって高周波成分が除去されたパワーエンベロープ信号は、主要変調周波数取得部４３に与えられる。主要変調周波数取得部４３は、自己相関関数との時間シフト量を求めることにより、主要変調周波数を取得する。ここで取得される主要変調周波数は、変調周波数の全域のうち、特に高い変調スペクトルを示す変調周波数となる。例えば、主要変調周波数は、パワーエンベロープが正弦波の場合、その周波数と一致する。
【００３２】
正規化変調スペクトル生成部４４では、パワーエンベロープ信号に対してフーリエ変換が適用され、周波数領域の変調スペクトルが得られる。この変調スペクトルは、ＤＣ成分の変調スペクトルの値により正規化されたものとなる。
【００３３】
デジタル信号処理回路４により出力された主要変調周波数及び変調スペクトルのデータは、演算回路５に与えられる。演算回路５は、メモリ６から複数の残響時間に対応するＭＴＦの逆フィルタのデータを読み出し、デジタル信号処理回路４から受け付けた主要変調周波数及び変調スペクトルに対して各残響時間の逆フィルタを適用する。これにより、各残響時間に対応する音源信号の主要変調周波数における変調スペクトルが算出される。
【００３４】
次に、演算回路５は、このようにして求めた各残響時間に対応する音源信号の主要変調周波数における変調スペクトルのうち、その大きさが０ｄＢに最も近い１つを選択し、その残響時間を、室の残響時間として推定する。そして、演算回路５は、液晶表示部７を駆動制御し、推定した残響時間を表示させる。
【００３５】
［評価実験］
評価用の音源信号として、式（６）の人工的なＡＭ信号を利用した。また、パワーエンベロープを変調周波数５Ｈｚの正弦波（変調度は１）とし、これに白色雑音キャリアを乗じた信号を用いた。このパワーエンベロープに対する変調スペクトルは、０Ｈｚの変調スペクトルと５Ｈｚの変調スペクトルが同一の値となった。次に、式（７）で定義される室内残響インパルス応答を利用した。ここでは、一つの残響時間ＴＲにつき、１００種類の白色雑音キャリアを用意した。また、本評価実験で利用した残響時間ＴＲは、０．１秒、０．３秒、０．５秒、１．０秒、及び２．０秒の５種類とした。そのため、本評価実験では、合計５００個のパルス応答が用意され、これらを人工的な信号に畳み込むことで、残響信号を作成した。
【００３６】
これらの５００個の残響信号に対して、本実施の形態に係る残響時間推定装置１が実施する残響時間推定と同一の残響時間推定方法（以下、本法という）と、非特許文献１に記載されている残響音声パワーエンベロープの回復方法における残響時間推定方法（以下、従来法という）とにより、残響時間を推定した。図５は、評価実験の結果を示すグラフである。図中の実線は、本実施の形態に係る残響時間推定装置１による推定結果を示し、図中の破線は、従来法による推定結果を示している。また、図中の直線（点線）は、理想推定値を示している。本法及び従来法により推定された値は、残響時間ＴＲ毎に１００種類の残響信号から得られた推定値の平均値を示している。図中のエラーバーはそれぞれの残響時間における標準偏差を示している。
【００３７】
理想直線と比較すると、従来法による推定結果は、残響時間が長くなるにつれ過小推定になる傾向があり、特に残響時間が１秒を超えたところから飽和する傾向がみられる。このような現象が生じる原因が、残響信号から生成したパワーエンベロープを回復する際に、ローパスフィルタで除去しきれなかったパワーエンベロープ上の高周波成分が逆フィルタリング（微分処理）で強調され、それらの位相の状態によっては、残響時間推定の精度を左右する谷の形成（変調度を定義するもの）に影響を与えることにある。これに対し、本法の推定結果は、ほとんど理想直線と一致しており、正確に残響時間を推定していることが分かる。両手法では、残響時間の増加にともない、パワーエンベロープ上の高周波数成分が逆フィルタにより異常に回復される。その際、従来法では時間領域で残響時間を推定するため高周波数の影響を直接受けてしまうが、本法では変調周波数領域で主要な周波数成分を利用して残響時間を推定するため高周波数の影響を受けない。これが、本法がうまく機能した理由である。
【００３８】
（実施の形態２）
実施の形態２は、人の音声から残響時間を推定する場合に特に適した構成の残響時間推定装置である。
【００３９】
［人の音声信号に対する残響時間推定方法の適用］
図６Ａ〜図６Ｄは、１０Ｈｚの正弦波１周期分を２セット用いて作ったパワーエンベロープと、その変調スペクトルを示すグラフである。図６Ａに示したパワーエンベロープの２つの正弦波のセット間の距離は０．１秒であり、同様に図６Ｂでは０．２秒、図６Ｃでは０．５秒、図６Ｄでは１．０秒である。このように、パワーエンベロープの２つの正弦波のセット間の平坦な区間を長くしていくと、変調スペクトル上で０Ｈｚの近傍の変調周波数ｆｍＯＨｚに最初のピークが存在し、そのピークにおけるパワーの値Ｅｘ（ｆｍＯ）（図６Ａ〜Ｄにおいて○で示した箇所）と主要変調周波数でのパワーの値Ｅｘ（ｆｍｄ）が近付いていく傾向があることがわかる。ここで、ｆｍＯは、０Ｈｚを除いて最も０Ｈｚに近い変調周波数である。このようなｆｍＯにおけるパワーは、図２を参照すると残響により減衰しないことがわかる。そこで、このｆｍＯを主要変調周波数ｆｍｄのパワー回復の「基準値」として、残響時間の推定を実施すれば、かかる形状のパワーエンベロープに対しても残響時間を正確に推定することが可能となると考えられる。
【００４０】
図７は、図６Ａ〜Ｄに示したような正弦波２セットの間の距離（時間間隔）と、基準周波数ｆｍＯにおけるパワー値Ｅ（ｆｍＯ）と主要変調周波数ｆｍｄにおけるパワー値Ｅ（ｆｍｄ）との差との関係を示したグラフである。図中縦軸は、Ｅ（ｆｍＯ）−Ｅ（ｆｍｄ）を示し、横軸は正弦波２セット間の距離を示している。図７では、パワーエンベロープに用いる１周期分の正弦波の周波数を５、１０、２０Ｈｚとした。この図から、Ｅ（ｆｍＯ）＝Ｅ（ｆｍｄ）となるケースが存在することが分かる。また、ｆｍｄは、１周期分の正弦波の時間差に対応した変調周波数として現れるので、この図からＥ（ｆｍＯ）＝Ｅ（ｆｍｄ）となるような場合には、ｆｍｄは比較適低い変調周波数であることが分かる。
【００４１】
ｆｍＯＨｚ上の基準値（パワー）は、残響により全く減衰を受けないわけではない。残響により基準値がどの程度影響を受けるかは重要な問題である。残響が付くことによって基準値が大きく減衰してしまっては、推定される残響時間の値が、理論値よりも短くなってしまう。
【００４２】
図８は、クリーンな状態での基準値における変調度を１としたＭＴＦ（Ｍ（ｆｍ，ＴＲ）：実線）と、残響により減衰した基準値における変調度を１としたＭＴＦ（Ｍ’（ｆｍ，ＴＲ）：破線）を示すグラフである。図に示すように、基準値が減衰すると、変調スペクトルの主要変調周波数ｆｍｄにおけるパワーＥｙ（ｆｍｄ）において一致するＭ（ｆｍ，ＴＲ）とＭ’（ｆｍ，ＴＲ）とは異なる関数であるため、Ｍ（ｆｍ，ＴＲｃ）＝Ｍ’（ｆｍ，ＴＲｗ）となるときのＴＲｃとＴＲｗの値も異なってくる。
【００４３】
ｆｍＯの値は、ＦＦＴ長に依存している。図９Ａは、基準周波数ｆｍＯとＭＴＦの値との関係を、複数の残響時間について示したグラフであり、図９Ｂは、基準周波数ｆｍＯのパワーＥｙ（ｆｍＯ）を基準値とした場合の残響時間の誤差と変調周波数との関係を示すグラフである。図９Ａは、残響時間ＴＲが、０．１、０．３、０．５、１．０、２．０秒のそれぞれの場合に対する、ｆｍＯ＝０．０２５、０．０５、０．１Ｈｚ上でのＭＴＦの値を示している。サンプリング周波数ｆｓを２０ｋＨｚとすると、この図は、周波数分解能を高めるために、ＦＦＴ長が３０、２０、１０秒のときの基準値の減衰を示している。また、図９Ｂは、基準周波数ｆｍＯ＝０．０２５、０．０５、０．１秒の各ケースについて、残響時間の誤差と変調周波数との関係を示している。この図から、ＦＦＴ長が短い程、残響時間が長い程、変調周波数が低い程、誤差が大きくなることが分かる。しかし、ｆｍＯ＝０．０２５、０．５Ｈｚ上に基準値をおいた場合には、低い変調周波数域で誤差が最も大きくなるＴＲ＝２．０秒の場合でも、残響時間の誤差は高々１０−３桁である。すなわち、ＦＦＴ長が２０秒程度であれば、０Ｈｚを除いて０Ｈｚに最も近い変調周波数成分におけるパワーを基準値としても、残響時間の推定値にはほとんど誤差の影響がないと考えられる。
【００４４】
一方、人の音声の立上りと立ち下がりには、高い周波数のエネルギーが集中するため、帯域分割した音声のパワーエンベロープには、図６Ｄに示したような、ピーク間の平坦区間が長い形状がしばしばみられる。図１０Ａ及び図１０Ｂは、帯域分割したときの人の音声のパワーエンベロープのグラフ及び変調スペクトルのグラフを示している。図１０Ａは残響が付加されていない音源信号の場合であり、図１０Ｂは残響が付加された残響信号の場合である。音源信号の変調スペクトルは、０Ｈｚにごく近い変調周波数のパワーと主要な成分のパワーが等しくなっている。よって、音声信号に帯域分割を行うことにより、残響時間の推定が可能であると考えられる。
【００４５】
［残響時間推定装置の構成］
上記のような原理に基づいて、本実施の形態では、音響信号（音声信号）を帯域分割し、帯域分割された各チャンネルのパワーエンベロープに基づいて残響時間の推定値を求め、これとともに各チャンネルのパワーエンベロープに基づいて処理に適したチャンネルを選定し、選定されたチャンネルによる残響時間の推定値の平均値を最終的な残響時間の推定値として採用する構成としている。また、本実施の形態に係る残響時間推定装置は、０Ｈｚを除いて０Ｈｚに最も近い変調周波数における変調スペクトル値を基準値とし、この基準値で正規化した変調スペクトルを生成するように構成されている。
【００４６】
図１１は、本発明の実施の形態２に係る残響時間推定装置の構成を示すブロック図である。図１１に示すように、本実施の形態に係る残響時間推定装置２０１は、パワーエンベロープ生成部４１、ローパスフィルタ４２、主要変調周波数取得部４３、及び正規化変調スペクトル生成部４８の機能ブロックに加えて、帯域分割部４５、及びチャンネル選定部４６の機能ブロックを有するデジタル信号処理回路２０４を備えている。
【００４７】
帯域分割部４５は、１００Ｈｚの帯域幅の定帯域通過フィルタバンクを備えており（図示せず）、Ａ／Ｄ変換器３から出力されたデジタル音響信号を１００チャンネルに帯域分割するように構成されている。この帯域分割部４５によって帯域分割された各チャンネル信号は、パワーエンベロープ生成部４１に与えられ、各チャンネル信号のパワーエンベロープ信号が生成されるようになっている。
【００４８】
パワーエンベロープ生成部４１から出力されるパワーエンベロープ信号は、ローパスフィルタ４２及び正規化変調スペクトル生成部４８に与えられると共に、チャンネル選定部４６にも与えられる。本実施の形態の正規化変調スペクトル生成部４８は、０Ｈｚを除いて０Ｈｚに最も近い変調周波数である基準周波数ｆｍＯにおけるパワー値を基準値とし、この基準値で正規化された変調スペクトル信号を出力するように構成されている。
【００４９】
また、チャンネル選定部４６は、高レベル部検出部４６ａと、第１選定部４６ｂと、第２選定部４６ｃと、第３選定部４６ｄとを有しており、帯域分割されたチャンネルの内、残響時間推定に用いるチャンネルを選定するように構成されている。
【００５０】
図１２Ａ〜Ｃは、チャンネル選定部４６による残響時間推定に用いるチャンネルの選定過程を示す模式図である。図１２Ａに示すように、まず高レベル部検出部４６ａにより、所定の基準レベル（図中破線で示す）に基づいてパワーエンベロープ信号の高レベル部の立上り時点ｂ（ｎ）と立ち下がり時点ｅ（ｎ）とが検出される。次に、立上り時点ｂ（ｎ）から立ち下がり時点ｅ（ｎ）までの区間で、パワーが最大の時点を検出し、ピーク時点ｐ（ｎ）とされる。検出された立上り時点ｂ（ｎ）、ピーク時点ｐ（ｎ）、及び立ち下がり時点ｅ（ｎ）は１つのセットとされる。高レベル部検出部４６ａは、このようにしてパワーエンベロープ信号に含まれる全ての高レベル部のセットを検出するように構成されている。
【００５１】
第１選定部４６ｂは、図１２Ｂに示すように、立上り時点ｂ（ｎ）から一つ前のセットの立ち下がり時点ｅ（ｎ−１）までの間に、微小なピークが存在するか否かを判定するように構成されている。微小なピークが存在する場合には、そのセットを残響時間推定に用いる対象から除外する。
【００５２】
第２選定部４６ｃは、図１２Ｂに示すように、このような微小なピークが存在しない場合に、セットに大きな谷が含まれているか否かを判定するように構成されている。第２選定部４６ｃは、図示しないローパスフィルタを備えており、このローパスフィルタによって谷が検出される。このような谷が存在するセットは、残響時間推定に用いる対象から除外される。
【００５３】
第３選定部４６ｄは、上記のように、微小なピークが存在せず、且つ、谷が存在しないセットが１つのパワーエンベロープ中に連続して２つ存在する場合には、図１２Ｃに示すように、その２つのピークのパワーの差と時間差とを求め、これらが所定の基準値以上であるか否かを判定し、パワーの差及び時間差のいずれも基準値以上である場合には、当該チャンネルを残響時間推定に用いる対象として選定する。このようにしてチャンネル選定部４６によって得られた選定結果は、演算回路２０５に与えられる。
【００５４】
演算回路２０５は、実施の形態１の場合と同様にして、主要変調周波数取得部４３及び正規化変調スペクトル生成部４８からの出力データを受け付け、各チャンネルにおける残響時間の推定値を演算する。また、演算回路２０５は、チャンネル選定部４６からの出力データを受け付け、残響時間推定に用いる対象のチャンネルの残響時間推定結果の平均値を演算し、この平均値を残響時間の推定値とする。かかる推定された残響時間は、演算回路２０５が液晶表示部７を駆動制御すること二より、液晶表示部７に表示される。
【００５５】
なお、本実施の形態に係る残響時間推定装置２０１のその他の構成は、実施の形態１に係る残響時間推定装置１の構成と同様であるので、同一の構成要素に付いては同符号を付し、その説明を省略する。
【００５６】
［評価実験］
女性話者が発話した８文章を評価用音響信号として利用し、本実施の形態に係る残響時間推定装置が実施する残響時間推定と同一の残響時間推定方法（以下、本法という）の評価実験を実施した。評価用音響信号の発話内容は以下の通りである。
（１）「第一回通訳国際会議に参加のご登録をご希望される方は、所定の申込用紙に住所・氏名と発表・聴講の別を明記して、国際会議事務局までお申し込みください。」
（２）「はい。こちらは第一回通訳電話国際会議事務局です。」
（３）「もしもし。通訳国際会議への参加を申し込みたいのですけれども、どのような手続をすればよろしいでしょうか。」
（４）「通訳電話の国際会議に参加するためには、所定の申し込み用紙を用いて参加登録することが必要です。」
（５）「会議に発表するのではなくて聴講するだけだと、費用はいくらかかりますか。」
（６）「ご発表を希望される場合には、予稿集代・登録料を含めた参加費用は４万円です。」
（７）「聴講のみの場合は当日の受け付けも可能で、予稿集代を含めた費用は３万５千円かかります。」
（８）「参加登録の申し込み用紙はどのようにして手に入れればよろしいのでしょうか。」
利用した残響時間ＴＲは、０．１、０．３、０．５、１．０、及び２．０秒の５種類とした。インパルス応答は、式（７）のものを残響時間毎に５０種類用意した。なお、総刺激数は２０００個（８個×５条件×５０キャリア）である。本実験では、本法と従来法とのそれぞれについて、全ての発話に対して得られた残響時間の推定値の平均値を求め、この平均値について評価した。
【００５７】
図１３は、評価実験の結果を示すグラフである。図の記載方法は図５と同様である。本法では、残響時間ＴＲが０．１、０．３、０．５、及び１．０秒のときに、概ね理想値に近い推定結果を得た。また、残響時間ＴＲが２．０秒のときも、僅かに過大に推定されているものの、良好な結果を得ていることが分かる。
【００５８】
（実施の形態３）
実施の形態３は、残響時間を推定するために用いられるコンピュータプログラムをコンピュータが実行することにより実現された残響時間推定装置である。なお、本実施の形態に係る残響時間推定装置３０１は、実施の形態２に係る残響時間推定装置２０１と実質的に同一の処理を、ソフトウェアにより実現したものである。
【００５９】
［残響時間推定装置の構成］
図１４は、本発明の実施の形態３に係る残響時間推定装置の構成を示すブロック図である。図１４に示すように、コンピュータ３０１ａは、本体３１１と、画像表示部３１２と、入力部３１３とを備えている。本体３１１は、ＣＰＵ３１１ａと、ＲＯＭ３１１ｂ、ＲＡＭ３１１ｃ、ハードディスク３１１ｄ、読出装置３１１ｅ、入出力インタフェース３１１ｆ、及び画像出力インタフェース３１１ｇを備えており、ＣＰＵ３１１ａ、ＲＯＭ３１１ｂ、ＲＡＭ３１１ｃ、ハードディスク３１１ｄ、読出装置３１１ｅ、入出力インタフェース３１１ｆ、および画像出力インタフェース３１１ｇは、バス３１１ｉによって接続されている。
【００６０】
ＣＰＵ３１１ａは、ＲＡＭ３１１ｃにロードされたコンピュータプログラムを実行することが可能である。そして、後述するような残響時間推定プログラム３１４ａを当該ＣＰＵ３１１ａが実行することにより、コンピュータ３０１ａが残響時間推定装置３０１として機能する。
【００６１】
ＲＯＭ３１１ｂは、マスクＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、又はＥＥＰＲＯＭ等によって構成されており、ＣＰＵ３１１ａに実行されるコンピュータプログラムおよびこれに用いるデータ等が記録されている。
【００６２】
ＲＡＭ３１１ｃは、ＳＲＡＭまたはＤＲＡＭ等によって構成されている。ＲＡＭ３１１ｃは、ハードディスク３１１ｄに記録されている残響時間推定プログラム３１４ａの読み出しに用いられる。また、ＣＰＵ３１１ａがコンピュータプログラムを実行するときに、ＣＰＵ３１１ａの作業領域として利用される。
【００６３】
ハードディスク３１１ｄは、オペレーティングシステムおよびアプリケーションプログラム等、ＣＰＵ３１１ａに実行させるための種々のコンピュータプログラムおよび当該コンピュータプログラムの実行に用いられるデータがインストールされている。後述する残響時間推定プログラム３１４ａも、このハードディスク３１１ｄにインストールされている。
【００６４】
ハードディスク３１１ｄには、残響時間をパラメータとして有するＭＴＦの逆特性が、ＣＰＵ３１１ａによって処理可能な関数データとして記憶されている。このハードディスク３１１ｄに記憶されている逆フィルタ（逆特性）の関数データは、推定候補として予め与えられた複数の残響時間の分だけ用意される。なお、逆フィルタの関数データの詳細は、実施の形態１と同様である。
【００６５】
読出装置３１１ｅは、フレキシブルディスクドライブ、ＣＤ−ＲＯＭドライブ、またはＤＶＤ−ＲＯＭドライブ等によって構成されており、可搬型記録媒体３１４に記録されたコンピュータプログラムまたはデータを読み出すことができる。また、可搬型記録媒体３１４には、コンピュータを残響時間推定装置として機能させるための残響時間推定プログラム３１４ａが格納されており、コンピュータ３０１ａが当該可搬型記録媒体３１４から残響時間推定プログラム３１４ａを読み出し、当該残響時間推定プログラム３１４ａをハードディスク３１１ｄにインストールすることが可能である。
【００６６】
なお、前記残響時間推定プログラム３１４ａは、可搬型記録媒体３１４によって提供されるのみならず、電気通信回線（有線、無線を問わない）によってコンピュータ３０１ａと通信可能に接続された外部の機器から前記電気通信回線を通じて提供することも可能である。例えば、前記残響時間推定プログラム３１４ａがインターネット上のサーバコンピュータのハードディスク内に格納されており、このサーバコンピュータにコンピュータ３０１ａがアクセスして、当該コンピュータプログラムをダウンロードし、これをハードディスク３１１ｄにインストールすることも可能である。
【００６７】
また、ハードディスク３１１ｄには、例えば米マイクロソフト社が製造販売するＷｉｎｄｏｗｓ（登録商標）等のマルチタスクオペレーティングシステムがインストールされている。
以下の説明においては、本実施の形態１に係る残響時間推定プログラム３１４ａは当該オペレーティングシステム上で動作するものとしている。
【００６８】
入出力インタフェース３１１ｆは、例えばＵＳＢ，ＩＥＥＥ１３９４，又はＲＳ−２３２Ｃ等のシリアルインタフェース、ＳＣＳＩ，ＩＤＥ，又はＩＥＥＥ１２８４等のパラレルインタフェース、およびＤ／Ａ変換器、Ａ／Ｄ変換器等からなるアナログインタフェース等から構成されている。入出力インタフェース３１１ｆには、キーボードおよびマウスを有する入力部３１３が接続されており、ユーザが当該入力部３１３を使用することにより、コンピュータ３０１ａにデータを入力することが可能である。また、入力部３１３には、マイクロフォンが設けられており、音響を電気信号に変換し、これを入出力インタフェース３１１ｆによってＡ／Ｄ変換し、デジタル信号の音響信号を取得するように構成されている。
【００６９】
画像出力インタフェース３１１ｇは、ＬＣＤまたはＣＲＴ等で構成された画像表示部３１２に接続されており、ＣＰＵ３１１ａから与えられた画像データに応じた映像信号を画像表示部３１２に出力するようになっている。画像表示部３１２は、入力された映像信号にしたがって、画像（画面）を表示する。
【００７０】
［残響時間推定装置の動作］
次に、残響時間推定装置３０１の動作について説明する。図１５は、本実施の形態に係る残響時間推定装置３０１の動作の流れを示すフローチャートである。まず、作業者は、残響時間を測定する室内において、入力部３１３のマイクロフォンで音響（音声）をサンプリングする。マイクロフォンから出力されたアナログ音響信号は、入出力インタフェース３１１ｆが備えるＡ／Ｄ変換器によりＰＣＭ等のデジタル音響データへ変換され、この音響データがＣＰＵ３１１ａに与えられる。
【００７１】
まず、ＣＰＵ３１１ａは、音響データを複数の帯域に分割する（ステップＳ１）。このとき、音響データは１００Ｈｚの帯域幅毎にチャンネル分割される。次に、ＣＰＵ３１１ａは、各チャンネルの音響データからパワーエンベロープをそれぞれ生成し、各パワーエンベロープをＲＡＭ３１１ｃに記憶する（ステップＳ２）。ＣＰＵ３１１ａは、チャンネルを１つ選択し（ステップＳ３）、ＲＡＭ３１１ｃからこのチャンネルのパワーエンベロープを読み出し、所定のカットオフ周波数により高周波成分を除去する（ステップＳ４）。そして、ＣＰＵ３１１ａは、この高周波成分を除去したパワーエンベロープに対して、自己相関関数を演算し、主要変調周波数を算出する（ステップＳ５）。
【００７２】
次にＣＰＵ３１１ａは、再度前記チャンネルのパワーエンベロープをＲＡＭ３１１ｃから読み出し、フーリエ変換処理を実行し（ステップＳ６）、０Ｈｚを除いて０Ｈｚに最も近い変調周波数におけるパワーを基準値とし、ステップＳ６で得られた変調スペクトルを前記基準値で正規化した正規化変調スペクトルを演算する（ステップＳ７）。次に、ＣＰＵ３１１ａは、ステップＳ５で算出した主要変調周波数及びステップＳ７で算出した正規化変調スペクトルに基づいて、残響時間を推定する（ステップＳ８）。この残響時間の推定は、次のようにして行われる。まず、ＣＰＵ３１１ａがハードディスク３１１ｄから各残響時間の逆フィルタを読み出し、ステップＳ５で算出した主要変調周波数及びステップＳ７で算出した変調スペクトルに対して各残響時間の逆フィルタを適用して、各残響時間に対応する音源信号の主要変調周波数における変調スペクトルを算出する。次に、ＣＰＵ３１１ａが、このようにして求めた各残響時間に対応する音源信号の主要変調周波数における変調スペクトルのうち、大きさが０ｄＢ（変調度で表すと１）に最も近い１つを選択し、その残響時間を、室の残響時間として推定する。ＣＰＵ３１１ａは、このようにして求めた残響時間の推定値を、そのとき処理を行ったチャンネルと対応づけてＲＡＭ３１１ｃに記憶する。
【００７３】
次にＣＰＵ３１１ａは、当該チャンネルのパワーエンベロープを再度ＲＡＭ３１１ｃから読み出し、このパワーエンベロープに基づいて、当該チャンネルが残響時間の推定に用いるのに適したものであるか否かを判定する（ステップＳ９）。この処理は、（１）パワーエンベロープの高レベル部（立上り時点、ピーク時点、立ち下がり時点のセット）の検出、（２）隣り合う高レベル部の間に微小ピークが存在するか否かの判定、（３）高レベル部に谷が存在するか否かの判定、微小ピーク及び谷の両方が存在しない場合に、（４）隣り合う高レベル部のパワーの差及び時間差が所定の基準値以上であるか否かの判定、の各処理により構成される。なお、これらの処理の詳細は、実施の形態２で説明したものと同様であるので、その説明を省略する。
【００７４】
次にＣＰＵ３１１ａは、全てのチャンネルに対して上記のステップＳ４〜Ｓ９の処理を行ったか否かを判定し（ステップＳ１０）、ステップＳ１０において上記ステップＳ４〜Ｓ９の処理が終了していないチャンネルが存在する場合（ステップＳ１０においてＮＯ）、未処理のチャンネルの１つを選択し（ステップＳ１１）、ステップＳ４へと処理を戻す。ステップＳ９において全チャンネルについて上記ステップＳ３〜Ｓ８の処理が終了している場合には（ステップＳ９においてＹＥＳ）、ＣＰＵ３１１ａは、ステップＳ９において、残響時間の推定に用いるのに適していると判定されたチャンネルに対応する残響時間の推定値の平均値を算出し（ステップＳ１２）、画像出力インタフェース３１１ｇを駆動して、画像表示部３１２に、この平均値を本音響信号に対する残響時間の推定値として表示させ（ステップＳ１３）、処理を終了する。
【００７５】
（その他の実施の形態）
上記の実施の形態１においては、変調スペクトルの大きさを、ＤＣ成分の変調スペクトル（変調周波数が０Ｈｚにおける変調スペクトル）で正規化した変調スペクトル信号を生成するように正規化変調スペクトル生成部４４が構成されている場合について説明したが、これに限定されるものではなく、例えば、０Ｈｚを除いて０Ｈｚに最も近い変調周波数におけるパワー値で、変調スペクトルの大きさを正規化する構成であってもよい。
【００７６】
また、上記実施の形態２及び３においては、０Ｈｚを除いて０Ｈｚに最も近い変調周波数における変調スペクトル値を基準値とし、この基準値で正規化した変調スペクトルを生成するよう正規化変調スペクトル生成部４８が構成されている場合について説明したが、これに限定されるものではなく、変調スペクトルの大きさを、ＤＣ成分の変調スペクトルで正規化した変調スペクトル信号を生成するように構成されていてもよい。
【００７７】
上記の実施の形態３においては、音響データを複数のチャンネルに帯域分割し、それぞれのチャンネルについて残響時間の推定値を演算し、残響時間の推定に用いるのに適したチャンネルを選定して、選定されたチャンネルの残響時間の推定値を平均することで、本音響データに対する残響時間の推定値を求める構成について述べたが、これに限定されるものではなく、帯域分割及びチャンネルの選定を行わず、音響データに対して１つのパワーエンベロープを演算し、それに基づいて残響時間の推定値を演算する構成としてもよい。
【００７８】
また、上記の実施の形態２及び３においては、全てのチャンネルのパワーエンベロープに対して主要変調周波数の取得及び正規化変調スペクトルの生成を行うことによりそれぞれのチャンネルに対応する残響時間推定値を個々に求め、残響時間の推定に用いるのに適したチャンネルを全チャンネルから選定して、残響時間の推定に用いるのに適したチャンネルのパワーエンベロープから求めた残響時間の推定値の平均を求める構成としたが、これに限定されるものではなく、全てのチャンネルのパワーエンベロープから、残響時間の推定に用いるのに適したチャンネルを選定し、選定されたチャンネルのパワーエンベロープから残響時間の推定値を求め、その平均値を算出する構成としてもよい。この場合は、選定されたチャンネルのパワーエンベロープだけに対して、主要変調周波数の取得及び正規化変調スペクトルの生成が行われるため、処理を効率的に行うことができる。
【００７９】
また、上記の実施の形態１〜３においては、残響時間をパラメータとして有するＭＴＦの逆フィルタが、演算回路５又はＣＰＵ３１１ａによって処理可能な関数データとして、所定の複数の残響時間の分だけメモリ６又はＲＡＭ３１１ｃに記憶されており、取得された主要変調周波数及び変調スペクトルに対して各残響時間の逆フィルタを適用することにより、各残響時間に対応する音源信号の主要変調周波数における変調スペクトルを算出し、このようにして求めた各残響時間に対応する音源信号の主要変調周波数における変調スペクトルのうち、その大きさが０ｄＢに最も近い１つを選択し、その残響時間を、室の残響時間として推定する構成とした。しかしながら、上記の構成に限定されるものではない。上記の逆フィルタが関数データとしてではなく、ルックアップテーブルとしてメモリ６又はＲＡＭ３１１ｃに記憶されており、演算回路５又はＣＰＵ３１１ａが逆フィルタのルックアップテーブルを参照して、各残響時間に対応する音源信号の主要変調周波数における変調スペクトルを取得する構成としてもよい。上記の各実施の形態では残響時間推定装置が１つの装置となっているが、本発明はこのような態様に限定されるわけではない。例えば、当該残響時間推定装置が備える各手段が別々の装置に設けられ、それらの装置が通信ネットワーク等を介してデータ通信等を行うことによって、上記の各実施の形態における処理が実現されるような構成であってもよい。
【産業上の利用可能性】
【００８０】
本発明の残響時間推定装置及び残響時間推定方法は、時系列の音響信号から求められた周波数系列の変調スペクトルにより、原音信号を用いずに残響時間をブラインド推定する残響時間推定装置及びその方法などとして有用である。
【図面の簡単な説明】
【００８１】
【図１】本発明の実施の形態１に係る残響時間推定装置の構成を示すブロック図。
【図２】ＭＴＦ（変調度）を示すグラフ。
【図３Ａ】残響が付加されていない音響信号のパワーエンベロープを示すグラフ。
【図３Ｂ】残響が付加されていない音響信号の変調スペクトルを示すグラフ。
【図４Ａ】図３Ａで示す音響に残響が付加した場合の音響信号のパワーエンベロープを示すグラフ。
【図４Ｂ】図４Ａに示す音響信号の変調スペクトルを示すグラフ。
【図５】実施の形態１に係る残響時間推定装置が実施する残響時間推定と同一の残響時間推定方法の
【技術分野】
【０００１】
本発明は、系の残響時間を推定する残響時間推定装置及びその方法に関し、特に、時系列の音響信号から求められた周波数系列の変調スペクトルにより、原音信号を用いずに残響時間をブラインド推定する残響時間推定装置及びその方法に関する。
【背景技術】
【０００２】
音響の残響時間は、室の残響特性を知る上で欠かせないパラメータである。残響時間は、近年では音響信号に対するＦｏ推定、音声認識、原音信号の回復等に利用されている。かかる残響時間を求めるためには、従来、室の伝達特性を測定する必要があり、この伝達特性の測定には、音源、室内の人や物の状況、室内の静寂性等の多くの制約が存在する。また、従来の残響時間の測定には比較的長時間を必要とするため、刻々と残響特性が変化する環境の場合には測定が不可能な場合もあった。このような観点から、残響時間のリアルタイム測定が可能な手法の開発が望まれている。
【０００３】
残響時間をリアルタイムに求めるためには、系の伝達特性を測定することなく、観測された音響信号のみから残響時間を推定することができるブラインド推定を行うことが必要である。ここで「系」とは、種々の事象の解析のために想定された空間のことをいう。非特許文献１には、残響の影響を受けた音響信号のパワーエンベロープから、元の音源信号のパワーエンベロープを回復する回復方法が開示されている。この非特許文献１に開示されている回復方法では、室内に伝送される音響のパワーエンベロープの入出力の関係（時間領域では畳込み，周波数領域では積）、すなわち変調度を、変調周波数を変数とした関数として表した変調伝達関数を利用している。更に詳しく説明すると、観測した音響信号のパワーエンベロープに、系の変調伝達関数の逆関数（逆フィルタ）を適用することで、元音響（残響が付加されていない音源からの音響）のパワーエンベロープを回復する。そして、非特許文献１では、残響が付加された音響信号のパワーエンベロープが、逆フィルタにより元音響のパワーエンベロープと同じ形状に回復されるときに、逆フィルタの残響時間パラメータが系の残響時間と等しい値となることを前提として、逆フィルタを算出する処理で求められる逆フィルタの残響時間パラメータを、残響時間として推定することが開示されている。
【非特許文献１】 古川、鵜木、赤木、「ＭＴＦに基づいた残響音声パワーエンベロープの回復方法」、信学技報、社団法人電子情報通信学会、平成１４年４月、ＥＡ２００２−１５、ＳＰ２００２−１５、ｐ．４９−５４
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した非特許文献１に開示されている残響音声パワーエンベロープの回復方法において、逆フィルタを算出する処理で求められる残響時間は、残響時間が０．５秒付近までは実際の残響時間と推定残響時間とが十分に一致しているが、それ以降は徐々に両者の間の差が大きくなり、十分に一致しているとはいえないものであった。
【０００５】
本発明は斯かる事情に鑑みてなされたものであり、その目的は系の伝達特性を測定することなく、正確な残響時間を推定することが可能な残響時間推定装置及び残響時間推定方法を提供することにある。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために、本発明の残響時間推定装置は、残響が付加された時系列の音響信号に基づいて、前記音響信号に対応する時系列のパワーエンベロープを生成するパワーエンベロープ生成手段と、前記パワーエンベロープ生成手段によって生成されたパワーエンベロープに基づいて、周波数系列の変調スペクトルを生成する変調スペクトル生成手段と、前記変調スペクトル生成手段によって生成された変調スペクトルに基づいて、前記音響信号が観測された系の残響特性に関する伝達関数に対応する残響時間を推定する残響時間推定手段とを備える。
【０００７】
上記発明においては、前記周波数系列の変調スペクトルにおいて高い変調スペクトルを示す主要変調周波数を特定する主要変調周波数特定手段を更に備え、前記残響時間推定手段が、前記周波数系列の前記変調スペクトルに前記伝達関数の逆伝達関数を適用したときに、適用後の前記主要変調周波数における変調スペクトルが、残響が付加されていない原音を示す時系列の原音信号に対応する周波数系列の変調スペクトルの前記主要変調周波数における変調スペクトルと略一致するような前記伝達関数に対応する残響時間を推定するように構成されていることが好ましい。
【０００８】
また、この場合においては、前記主要変調周波数特定手段が、前記パワーエンベロープに対する自己相関関数を求め、前記自己相関関数がピークを示す時間シフト量の逆数を前記主要変調周波数として特定するように構成されていることが好ましい。
【０００９】
上記発明においては、前記パワーエンベロープ生成手段によって生成されたパワーエンベロープに対して適用されるローパスフィルタを更に備え、前記主要変調周波数特定手段が、前記ローパスフィルタから出力されたパワーエンベロープに基づいて、前記主要変調周波数を特定するように構成されていることが好ましい。
【００１０】
上記発明においては、前記音響信号を複数チャンネルに帯域分割する帯域分割手段と、前記帯域分割手段によって帯域分割された各チャンネルから、残響時間推定に用いるチャンネルを決定するチャンネル決定手段とを更に備えることが好ましい。
【００１１】
この場合においては、前記パワーエンベロープ生成手段は、前記帯域分割手段によって帯域分割された各チャンネルについて、パワーエンベロープを生成するように構成されており、前記パワーエンベロープ生成手段によって生成されたパワーエンベロープの中で、所定の基準値を越える高レベル部を検出する高レベル部検出手段を更に備え、前記チャンネル決定手段は、前記高レベル部検出手段によって検出された高レベル部に基づいて、残響時間推定に用いるチャンネルを決定するように構成されていることが好ましい。
【００１２】
また、この場合においては、前記チャンネル決定手段が、前記高レベル部検出手段によって検出された２つの高レベル部の間に、微小なピークが存在するか否かを判定し、微小なピークが存在する場合には、当該チャンネルを推定に用いるチャンネルから除外するように構成されていることが好ましい。
【００１３】
また、上記発明においては、前記チャンネル決定手段が、前記高レベル部検出手段によって検出された高レベル部の中に谷が存在するか否かを判定し、谷が存在する場合には、当該チャンネルを推定に用いるチャンネルから除外するように構成されていることが好ましい。
【００１４】
本発明の残響時間推定方法は、残響が付加された時系列の音響信号に基づいて、前記音響信号に対応する時系列のパワーエンベロープを生成するステップと、生成されたパワーエンベロープに基づいて、周波数系列の変調スペクトルを生成するステップと、生成された変調スペクトルに基づいて、前記音響信号が観測された系の残響特性に関する伝達関数に対応する残響時間を推定するステップとを備える。
【発明の効果】
【００１５】
本発明の残響時間推定装置及び残響時間推定方法によれば、系の伝達特性を測定することなく、正確な残響時間を推定することができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の好ましい実施の形態を、図面を参照しながら説明する。
【００１７】
（実施の形態１）
実施の形態１は、ハードウェアのデジタル信号処理回路により主として構成された残響時間推定装置である。
【００１８】
［残響時間推定装置の構成］
図１は、本発明の実施の形態１に係る残響時間推定装置の構成を示すブロック図である。図１に示すように、本実施の形態に係る残響時間推定装置１は、室の音響を入力するためのマイクロフォン２と、マイクロフォン２で取り込んだアナログ音響信号に対してＡ／Ｄ変換を行うＡ／Ｄ変換器３と、Ａ／Ｄ変換器３から出力されるデジタル音響信号に対して信号処理を行うデジタル信号処理回路４と、デジタル信号処理回路４の処理結果を受け付け、残響時間の推定処理を実行する演算回路５と、メモリ６と、演算回路５により推定された残響時間を表示する液晶表示部７とを備えている。
【００１９】
図１に示すように、デジタル信号処理回路４は、パワーエンベロープ生成部４１、ローパスフィルタ４２、主要変調周波数取得部４３、及び正規化変調スペクトル生成部４４の機能ブロックを有している。パワーエンベロープ生成部４１は、Ａ／Ｄ変換器３から出力されたデジタル音響信号から、パワーエンベロープ信号を生成する。このパワーエンベロープ信号は、音響信号の振幅の時間包絡線情報を２乗したものである。パワーエンベロープ信号生成部４１は、次式により表される信号処理を実施するように構成されている。
【数１】
但し、ＬＰＦ［・］は低域通過フィルタを示しており、Ｈｉｌｂｅｒｔ（・）はヒルベルト変換を示している。また、会話音声の変動リズムを考慮すると、主要な音響情報は変調周波数２０Ｈｚまでに存在することから、本実施の形態では、低域通過フィルタのカットオフ周波数を２０Ｈｚとしている。
【００２０】
主要変調周波数取得部４３の前段には、ローパスフィルタ４２が設けられており、ローパスフィルタ４２によって高周波成分が除去されたパワーエンベロープ信号が主要変調周波数取得部４３に与えられる。この主要変調周波数取得部４３は、パワーエンベロープ信号の自己相関関数を求め、パワーエンベロープと、その自己相関関数との時間シフト量（ずれ時間）を主要変調周波数ｆｍｄとして決定する。また、本実施の形態では、主要変調周波数ｆｍｄは比較的低い変調周波数であるので、２Ｈｚまでに現れるものと考えられることから、ローパスフィルタ４２のカットオフ周波数を２Ｈｚとしている。このように、主要変調周波数取得部４３の前段にローパスフィルタ４２を設けることにより、主要変調周波数ｆｍｄの誤検出を防止することができる。なお、本実施の形態においては、主要変調周波数として取得する変調周波数の数を１つとしている。ただし、これに限定されるものではなく、主要変調周波数の取得数を複数としてもよい。しかし、回路の複雑化、コスト増大等の観点より、主要変調周波数の取得数は少ない方がよく、１つ又は２つとすることが特に好ましい。なお、本実施の形態においては、ローパスフィルタ４２のカットオフ周波数を２Ｈｚとしたが、これに限定されるものではなく、５Ｈｚ又は１０Ｈｚ等の他のカットオフ周波数を採用することもできる。ただし、カットオフ周波数を高い値に設定すると、パワーエンベロープにノイズの高周波成分が多く含まれるおそれがあることから、１０Ｈｚ以下の値にすることが好ましい。
【００２１】
正規化変調スペクトル生成部４４は、ＦＦＴ回路を有しており、時系列のデジタル信号であるパワーエンベロープ信号から、周波数系列のデジタル信号である変調スペクトル信号を生成する。また、この正規化変調スペクトル生成部４４では、変調スペクトルの大きさを、ＤＣ成分の変調スペクトル（変調周波数が０Ｈｚにおける変調スペクトル）で正規化した変調スペクトル信号を生成するように構成されている。
【００２２】
上記のデジタル信号処理回路４から出力される主要変調周波数及び変調スペクトルのデータは、演算回路５に与えられる。演算回路５は、ＦＰＧＡ又はＡＳＩＣ等により構成された残響時間推定処理専用のプロセッサである。かかる演算回路５は、室における変調度（室内に伝送される音響のパワーエンベロープの入出力の関係）を、変調周波数を変数とした関数として表した変調伝達関数（以下、ＭＴＦという）を利用して、室の残響時間を推定する。
【００２３】
ここでＭＴＦについて詳細に説明する。ＭＴＦは、伝送路の特性が線形受動システムとして記述することができる場合には、インパルス応答の自乗のフーリエ変換として次式で定義される。
【数２】
但し、ｆｍは変調周波数を、ｈ（ｔ）は室内インパルス応答を示す。また、室内音響学でよく使われる統計近似のインパルス応答は、次式で表される。
【数３】
但し、ＴＲは残響時間を、ｎ（ｔ）は白色雑音を示す。上記の式（３）を用いれば、ＭＴＦは、ある残響時間ＴＲにおいて、変調周波数ｆｍに対する入出力パワーの割合として表される。室内が拡散音場である場合、減衰過程が指数関数的であることを、波動論を用いて示すことができる。この場合、ＭＴＦの大きさ（変調度）は、次式で示される。
【数４】
図２は、式（４）のＭＴＦ（変調度）を示すグラフである。図２において、横軸は変調周波数を、縦軸はＭＴＦ（変調度）を示している。例えば、変調周波数ｆｍ＝１０ＨｚのときのＭＴＦは、図２に示すように０．４０２である。これは、入力パワーエンベロープにある変調周波数ｆｍ＝１０Ｈｚの成分の変調度が１であるとすると、その出力パワーエンベロープの同変調周波数における成分の変調度は０．４０２に減衰するということを意味する。この減衰特性は、ある意味で変調周波数に対する低域通過フィルタ特性と解釈することができる。
【００２４】
次に、本実施の形態における残響時間推定の原理について説明する。図３Ａは、残響が付加されていない音響信号のパワーエンベロープを示すグラフであり、図３Ｂは、その変調スペクトルを示すグラフである。また、図４Ａは、図３Ａで示す音響に残響が付加した場合の音響信号のパワーエンベロープを示すグラフであり、図４Ｂは、その変調スペクトルを示すグラフである。図３Ａ、図４Ａの音響信号の主要変調周波数は共に５Ｈｚであり、図４Ａの音響信号に付加されている残響の残響時間ＴＲは２．０秒である。図４Ｂの変調スペクトルに対してＭＴＦの逆フィルタを適用することで、当該変調スペクトルの主要変調周波数（５Ｈｚ）における値を、図３Ｂの変調スペクトルの同主要変調周波数の値に戻すことができれば、その逆フィルタのパラメータによって適切な残響時間を推定することが可能である。
【００２５】
図３Ｂ及び図４Ｂに示すように、変調周波数０Ｈｚ（ＤＣ成分）付近においては、残響の影響を受けていないことが分かる。また、ＭＴＦが入出力パワーの割合（比率）を示すこと、系のパワーエンベロープの正規化されたＦｏｕｒｉｅｒ変換がＭＴＦであることから、元音響の変調スペクトルは残響が付加されるとその系のＭＴＦに従い減少することがわかる。そこで、本実施の形態においては、残響付加のない音響の変調スペクトルにおいて、主要変調周波数のパワーが０Ｈｚ付近のパワーと十分に近い場合が多いという事実に基づき、観測された音響の変調スペクトルの０Ｈｚにおけるパワーが、残響付加のない元音響の変調スペクトルの０Ｈｚ及び主要変調周波数におけるパワーと一致すると仮定し、元音響の変調スペクトルの主要変調周波数におけるパワーを、観測された音響の変調スペクトルの主要周波数におけるパワーまで減少させるようなＭＴＦを求め、そのＭＴＦの残響時間パラメータを系の残響時間として推定する。このことを換言すると、本実施の形態に係る残響時間推定装置は、観測された音響の変調スペクトルに対してＭＴＦの逆フィルタを適用したときに、当該変調スペクトルの主要変調周波数におけるパワーが、元音響の変調スペクトルの主要変調周波数におけるパワー（すなわち、観測された音響の変調スペクトルの０Ｈｚにおけるパワー）と略一致するようなＭＴＦに対応する逆特性を推定する。図４Ｂの破線は、元音響の変調スペクトルの主要変調周波数におけるパワーを、観測された音響の変調スペクトルの主要周波数におけるパワーまで減少させるようなＭＴＦを示しており、このＭＴＦに対応する残響時間が推定される。
【００２６】
このようなコンセプトに基づいて、演算回路５は具体的には以下のような処理を実行するように構成されている。メモリ６には、残響時間をパラメータとして有するＭＴＦの逆特性が、演算回路５によって処理可能な関数データとして記憶されている。このメモリ６に記憶されている逆フィルタ（逆特性）の関数データは、推定候補として予め与えられた複数の残響時間の分だけ用意される。ここで、かかる逆フィルタについて更に詳しく説明する。ＭＴＦの概念に基づいて、残響が付加されていない音源の音響信号（以下、音源信号という）ｘ（ｔ）、室内インパルス応答ｈ（ｔ）、及びそれらの畳み込みとして得られる観測された音響信号（以下、残響信号という）ｙ（ｔ）の関係を次のようにモデル化する。
【数５】
ここで、“＊”は畳み込みを、ｅｘ（ｔ）及びｅｈ（ｔ）はそれぞれｘ（ｔ）及びｈ（ｔ）のエンベロープを、ｎ１（ｔ）及びｎ２（ｔ）は相互に無関係な白色雑音を、ａは振幅項を示している。ｎ１（ｔ）とｎ２（ｔ）との相互独立性から、残響信号とそのパワーエンベロープとの間には次の関係があることが知られている。
【数６】
但し、＜・＞は集合平均を表す。この関係から、ｅ２ｙ（ｔ）はｅ２ｘ（ｔ）とｅ２ｈ（ｔ）との畳み込みで得られることが分かる。
【００２７】
次に、周波数領域における関係を考える。式（５）〜（１０）の関係式は、実際には離散時間で利用されるため、ここではその周波数変換としてｚ変換を利用する。ｚ変換をＺ［・］としたときに、式（８）のｚ領域の変調伝達関数は、次式のように表される。
【数７】
次に、パワーエンベロープに関する入出力の関係は、Ｚ［ｅ２ｙ（ｔ）］／Ｚ［ｅ２ｘ（ｔ）］＝Ｚ［ｅ２ｈ（ｔ）］となることから、音源信号の変調スペクトルＺ［ｅ２ｘ（ｔ）］は、次式のように求めることができる。
【数８】
但し、ｆｓはサンプリング周波数である。ここで、式（１２）の第２項（式（１１））がちようど逆フィルタの特性（残響が積分処理であるのに対して、回復は微分処理に相当する）を表しており、１次のＩＩＲフィルタで実現できることが分かる。この式（１２）の逆フィルタを表す関数データが、メモリ６に複数の残響時間の分だけ記憶されている。演算回路５は、メモリ６から各残響時間の逆フィルタを読み出し、デジタル信号処理回路４から受け付けた主要変調周波数及び変調スペクトルに対して各残響時間の逆フィルタを適用して、各残響時間に対応する音源信号の主要変調周波数における変調スペクトルを算出するように構成されている。
【００２８】
また、演算回路５は、このようにして求めた各残響時間に対応する音源信号の主要変調周波数における変調スペクトルのうち、大きさが０ｄＢ（変調度で表すと１）に最も近い１つを選択し、その残響時間を、室の残響時間として推定するように構成されている。この原理を、以下に説明する。
【００２９】
各変調スペクトルをＥ（ｆｍ）とする。ここで、ｍ（ｆｍ）＝Ｅｈ（ｆｍ）を考慮して、式（１０）の右辺の畳み込みを（対数）変調スペクトル表現で表すと、次式が得られる。
【数９】
ここで、ｆｍ＝ｆｍｄのときの変調スペクトル及び変調伝達関数ＭＴＦの関係を考える。残響時間ＴＲを完全に推定することができたとすると、主要変調周波数ｆｍｄにおける音源信号の変調スペクトルと回復された信号の変調スペクトルとは一致する。また、ｆｍ＝０のときの変調伝達関数ｍ（０）はあらゆるＴＲに対して１であるから、ｆｍ＝０における音源信号と残響信号の変調スペクトルも常に一致する。これらの条件から、次式が導かれる。
【数１０】
これを式（１３）に代入すると、次式が導かれる。
【数１１】
ここで、変調伝達関数ｍ（ｆｍ）はｆｍの関数であるが、残響時間パラメータＴＲも見掛け上変数とみることができる。ブラインド推定では、ＴＲが不明であるため、式（４）のｍ（ｆｍ）をｍ（ｆｍ，ＴＲ）と表せば、求めるべき残響時間ＴＲは、次式で表すことができる。
【数１２】
この式により、残響時間のブラインド推定が可能となる。
【００３０】
［残響時間推定装置の動作］
次に、残響時間推定装置の動作について説明する。作業者は、残響時間を測定する室内において、残響時間測定装置１のマイクロフォン２で音響をサンプリングする。マイクロフォン２から出力されたアナログ音響信号は、Ａ／Ｄ変換器３によりデジタル音響信号へ変換され、このデジタル音響信号（残響信号）がデジタル信号処理回路４へと与えられる。デジタル信号処理回路４に与えられたデジタル音響信号は、パワーエンベロープ生成部４１によってパワーエンベロープへと変換され、このパワーエンベロープ信号が、ローパスフィルタ４２と正規化変調スペクトル生成部４４とにそれぞれ与えられる。
【００３１】
ローパスフィルタ４２によって高周波成分が除去されたパワーエンベロープ信号は、主要変調周波数取得部４３に与えられる。主要変調周波数取得部４３は、自己相関関数との時間シフト量を求めることにより、主要変調周波数を取得する。ここで取得される主要変調周波数は、変調周波数の全域のうち、特に高い変調スペクトルを示す変調周波数となる。例えば、主要変調周波数は、パワーエンベロープが正弦波の場合、その周波数と一致する。
【００３２】
正規化変調スペクトル生成部４４では、パワーエンベロープ信号に対してフーリエ変換が適用され、周波数領域の変調スペクトルが得られる。この変調スペクトルは、ＤＣ成分の変調スペクトルの値により正規化されたものとなる。
【００３３】
デジタル信号処理回路４により出力された主要変調周波数及び変調スペクトルのデータは、演算回路５に与えられる。演算回路５は、メモリ６から複数の残響時間に対応するＭＴＦの逆フィルタのデータを読み出し、デジタル信号処理回路４から受け付けた主要変調周波数及び変調スペクトルに対して各残響時間の逆フィルタを適用する。これにより、各残響時間に対応する音源信号の主要変調周波数における変調スペクトルが算出される。
【００３４】
次に、演算回路５は、このようにして求めた各残響時間に対応する音源信号の主要変調周波数における変調スペクトルのうち、その大きさが０ｄＢに最も近い１つを選択し、その残響時間を、室の残響時間として推定する。そして、演算回路５は、液晶表示部７を駆動制御し、推定した残響時間を表示させる。
【００３５】
［評価実験］
評価用の音源信号として、式（６）の人工的なＡＭ信号を利用した。また、パワーエンベロープを変調周波数５Ｈｚの正弦波（変調度は１）とし、これに白色雑音キャリアを乗じた信号を用いた。このパワーエンベロープに対する変調スペクトルは、０Ｈｚの変調スペクトルと５Ｈｚの変調スペクトルが同一の値となった。次に、式（７）で定義される室内残響インパルス応答を利用した。ここでは、一つの残響時間ＴＲにつき、１００種類の白色雑音キャリアを用意した。また、本評価実験で利用した残響時間ＴＲは、０．１秒、０．３秒、０．５秒、１．０秒、及び２．０秒の５種類とした。そのため、本評価実験では、合計５００個のパルス応答が用意され、これらを人工的な信号に畳み込むことで、残響信号を作成した。
【００３６】
これらの５００個の残響信号に対して、本実施の形態に係る残響時間推定装置１が実施する残響時間推定と同一の残響時間推定方法（以下、本法という）と、非特許文献１に記載されている残響音声パワーエンベロープの回復方法における残響時間推定方法（以下、従来法という）とにより、残響時間を推定した。図５は、評価実験の結果を示すグラフである。図中の実線は、本実施の形態に係る残響時間推定装置１による推定結果を示し、図中の破線は、従来法による推定結果を示している。また、図中の直線（点線）は、理想推定値を示している。本法及び従来法により推定された値は、残響時間ＴＲ毎に１００種類の残響信号から得られた推定値の平均値を示している。図中のエラーバーはそれぞれの残響時間における標準偏差を示している。
【００３７】
理想直線と比較すると、従来法による推定結果は、残響時間が長くなるにつれ過小推定になる傾向があり、特に残響時間が１秒を超えたところから飽和する傾向がみられる。このような現象が生じる原因が、残響信号から生成したパワーエンベロープを回復する際に、ローパスフィルタで除去しきれなかったパワーエンベロープ上の高周波成分が逆フィルタリング（微分処理）で強調され、それらの位相の状態によっては、残響時間推定の精度を左右する谷の形成（変調度を定義するもの）に影響を与えることにある。これに対し、本法の推定結果は、ほとんど理想直線と一致しており、正確に残響時間を推定していることが分かる。両手法では、残響時間の増加にともない、パワーエンベロープ上の高周波数成分が逆フィルタにより異常に回復される。その際、従来法では時間領域で残響時間を推定するため高周波数の影響を直接受けてしまうが、本法では変調周波数領域で主要な周波数成分を利用して残響時間を推定するため高周波数の影響を受けない。これが、本法がうまく機能した理由である。
【００３８】
（実施の形態２）
実施の形態２は、人の音声から残響時間を推定する場合に特に適した構成の残響時間推定装置である。
【００３９】
［人の音声信号に対する残響時間推定方法の適用］
図６Ａ〜図６Ｄは、１０Ｈｚの正弦波１周期分を２セット用いて作ったパワーエンベロープと、その変調スペクトルを示すグラフである。図６Ａに示したパワーエンベロープの２つの正弦波のセット間の距離は０．１秒であり、同様に図６Ｂでは０．２秒、図６Ｃでは０．５秒、図６Ｄでは１．０秒である。このように、パワーエンベロープの２つの正弦波のセット間の平坦な区間を長くしていくと、変調スペクトル上で０Ｈｚの近傍の変調周波数ｆｍＯＨｚに最初のピークが存在し、そのピークにおけるパワーの値Ｅｘ（ｆｍＯ）（図６Ａ〜Ｄにおいて○で示した箇所）と主要変調周波数でのパワーの値Ｅｘ（ｆｍｄ）が近付いていく傾向があることがわかる。ここで、ｆｍＯは、０Ｈｚを除いて最も０Ｈｚに近い変調周波数である。このようなｆｍＯにおけるパワーは、図２を参照すると残響により減衰しないことがわかる。そこで、このｆｍＯを主要変調周波数ｆｍｄのパワー回復の「基準値」として、残響時間の推定を実施すれば、かかる形状のパワーエンベロープに対しても残響時間を正確に推定することが可能となると考えられる。
【００４０】
図７は、図６Ａ〜Ｄに示したような正弦波２セットの間の距離（時間間隔）と、基準周波数ｆｍＯにおけるパワー値Ｅ（ｆｍＯ）と主要変調周波数ｆｍｄにおけるパワー値Ｅ（ｆｍｄ）との差との関係を示したグラフである。図中縦軸は、Ｅ（ｆｍＯ）−Ｅ（ｆｍｄ）を示し、横軸は正弦波２セット間の距離を示している。図７では、パワーエンベロープに用いる１周期分の正弦波の周波数を５、１０、２０Ｈｚとした。この図から、Ｅ（ｆｍＯ）＝Ｅ（ｆｍｄ）となるケースが存在することが分かる。また、ｆｍｄは、１周期分の正弦波の時間差に対応した変調周波数として現れるので、この図からＥ（ｆｍＯ）＝Ｅ（ｆｍｄ）となるような場合には、ｆｍｄは比較適低い変調周波数であることが分かる。
【００４１】
ｆｍＯＨｚ上の基準値（パワー）は、残響により全く減衰を受けないわけではない。残響により基準値がどの程度影響を受けるかは重要な問題である。残響が付くことによって基準値が大きく減衰してしまっては、推定される残響時間の値が、理論値よりも短くなってしまう。
【００４２】
図８は、クリーンな状態での基準値における変調度を１としたＭＴＦ（Ｍ（ｆｍ，ＴＲ）：実線）と、残響により減衰した基準値における変調度を１としたＭＴＦ（Ｍ’（ｆｍ，ＴＲ）：破線）を示すグラフである。図に示すように、基準値が減衰すると、変調スペクトルの主要変調周波数ｆｍｄにおけるパワーＥｙ（ｆｍｄ）において一致するＭ（ｆｍ，ＴＲ）とＭ’（ｆｍ，ＴＲ）とは異なる関数であるため、Ｍ（ｆｍ，ＴＲｃ）＝Ｍ’（ｆｍ，ＴＲｗ）となるときのＴＲｃとＴＲｗの値も異なってくる。
【００４３】
ｆｍＯの値は、ＦＦＴ長に依存している。図９Ａは、基準周波数ｆｍＯとＭＴＦの値との関係を、複数の残響時間について示したグラフであり、図９Ｂは、基準周波数ｆｍＯのパワーＥｙ（ｆｍＯ）を基準値とした場合の残響時間の誤差と変調周波数との関係を示すグラフである。図９Ａは、残響時間ＴＲが、０．１、０．３、０．５、１．０、２．０秒のそれぞれの場合に対する、ｆｍＯ＝０．０２５、０．０５、０．１Ｈｚ上でのＭＴＦの値を示している。サンプリング周波数ｆｓを２０ｋＨｚとすると、この図は、周波数分解能を高めるために、ＦＦＴ長が３０、２０、１０秒のときの基準値の減衰を示している。また、図９Ｂは、基準周波数ｆｍＯ＝０．０２５、０．０５、０．１秒の各ケースについて、残響時間の誤差と変調周波数との関係を示している。この図から、ＦＦＴ長が短い程、残響時間が長い程、変調周波数が低い程、誤差が大きくなることが分かる。しかし、ｆｍＯ＝０．０２５、０．５Ｈｚ上に基準値をおいた場合には、低い変調周波数域で誤差が最も大きくなるＴＲ＝２．０秒の場合でも、残響時間の誤差は高々１０−３桁である。すなわち、ＦＦＴ長が２０秒程度であれば、０Ｈｚを除いて０Ｈｚに最も近い変調周波数成分におけるパワーを基準値としても、残響時間の推定値にはほとんど誤差の影響がないと考えられる。
【００４４】
一方、人の音声の立上りと立ち下がりには、高い周波数のエネルギーが集中するため、帯域分割した音声のパワーエンベロープには、図６Ｄに示したような、ピーク間の平坦区間が長い形状がしばしばみられる。図１０Ａ及び図１０Ｂは、帯域分割したときの人の音声のパワーエンベロープのグラフ及び変調スペクトルのグラフを示している。図１０Ａは残響が付加されていない音源信号の場合であり、図１０Ｂは残響が付加された残響信号の場合である。音源信号の変調スペクトルは、０Ｈｚにごく近い変調周波数のパワーと主要な成分のパワーが等しくなっている。よって、音声信号に帯域分割を行うことにより、残響時間の推定が可能であると考えられる。
【００４５】
［残響時間推定装置の構成］
上記のような原理に基づいて、本実施の形態では、音響信号（音声信号）を帯域分割し、帯域分割された各チャンネルのパワーエンベロープに基づいて残響時間の推定値を求め、これとともに各チャンネルのパワーエンベロープに基づいて処理に適したチャンネルを選定し、選定されたチャンネルによる残響時間の推定値の平均値を最終的な残響時間の推定値として採用する構成としている。また、本実施の形態に係る残響時間推定装置は、０Ｈｚを除いて０Ｈｚに最も近い変調周波数における変調スペクトル値を基準値とし、この基準値で正規化した変調スペクトルを生成するように構成されている。
【００４６】
図１１は、本発明の実施の形態２に係る残響時間推定装置の構成を示すブロック図である。図１１に示すように、本実施の形態に係る残響時間推定装置２０１は、パワーエンベロープ生成部４１、ローパスフィルタ４２、主要変調周波数取得部４３、及び正規化変調スペクトル生成部４８の機能ブロックに加えて、帯域分割部４５、及びチャンネル選定部４６の機能ブロックを有するデジタル信号処理回路２０４を備えている。
【００４７】
帯域分割部４５は、１００Ｈｚの帯域幅の定帯域通過フィルタバンクを備えており（図示せず）、Ａ／Ｄ変換器３から出力されたデジタル音響信号を１００チャンネルに帯域分割するように構成されている。この帯域分割部４５によって帯域分割された各チャンネル信号は、パワーエンベロープ生成部４１に与えられ、各チャンネル信号のパワーエンベロープ信号が生成されるようになっている。
【００４８】
パワーエンベロープ生成部４１から出力されるパワーエンベロープ信号は、ローパスフィルタ４２及び正規化変調スペクトル生成部４８に与えられると共に、チャンネル選定部４６にも与えられる。本実施の形態の正規化変調スペクトル生成部４８は、０Ｈｚを除いて０Ｈｚに最も近い変調周波数である基準周波数ｆｍＯにおけるパワー値を基準値とし、この基準値で正規化された変調スペクトル信号を出力するように構成されている。
【００４９】
また、チャンネル選定部４６は、高レベル部検出部４６ａと、第１選定部４６ｂと、第２選定部４６ｃと、第３選定部４６ｄとを有しており、帯域分割されたチャンネルの内、残響時間推定に用いるチャンネルを選定するように構成されている。
【００５０】
図１２Ａ〜Ｃは、チャンネル選定部４６による残響時間推定に用いるチャンネルの選定過程を示す模式図である。図１２Ａに示すように、まず高レベル部検出部４６ａにより、所定の基準レベル（図中破線で示す）に基づいてパワーエンベロープ信号の高レベル部の立上り時点ｂ（ｎ）と立ち下がり時点ｅ（ｎ）とが検出される。次に、立上り時点ｂ（ｎ）から立ち下がり時点ｅ（ｎ）までの区間で、パワーが最大の時点を検出し、ピーク時点ｐ（ｎ）とされる。検出された立上り時点ｂ（ｎ）、ピーク時点ｐ（ｎ）、及び立ち下がり時点ｅ（ｎ）は１つのセットとされる。高レベル部検出部４６ａは、このようにしてパワーエンベロープ信号に含まれる全ての高レベル部のセットを検出するように構成されている。
【００５１】
第１選定部４６ｂは、図１２Ｂに示すように、立上り時点ｂ（ｎ）から一つ前のセットの立ち下がり時点ｅ（ｎ−１）までの間に、微小なピークが存在するか否かを判定するように構成されている。微小なピークが存在する場合には、そのセットを残響時間推定に用いる対象から除外する。
【００５２】
第２選定部４６ｃは、図１２Ｂに示すように、このような微小なピークが存在しない場合に、セットに大きな谷が含まれているか否かを判定するように構成されている。第２選定部４６ｃは、図示しないローパスフィルタを備えており、このローパスフィルタによって谷が検出される。このような谷が存在するセットは、残響時間推定に用いる対象から除外される。
【００５３】
第３選定部４６ｄは、上記のように、微小なピークが存在せず、且つ、谷が存在しないセットが１つのパワーエンベロープ中に連続して２つ存在する場合には、図１２Ｃに示すように、その２つのピークのパワーの差と時間差とを求め、これらが所定の基準値以上であるか否かを判定し、パワーの差及び時間差のいずれも基準値以上である場合には、当該チャンネルを残響時間推定に用いる対象として選定する。このようにしてチャンネル選定部４６によって得られた選定結果は、演算回路２０５に与えられる。
【００５４】
演算回路２０５は、実施の形態１の場合と同様にして、主要変調周波数取得部４３及び正規化変調スペクトル生成部４８からの出力データを受け付け、各チャンネルにおける残響時間の推定値を演算する。また、演算回路２０５は、チャンネル選定部４６からの出力データを受け付け、残響時間推定に用いる対象のチャンネルの残響時間推定結果の平均値を演算し、この平均値を残響時間の推定値とする。かかる推定された残響時間は、演算回路２０５が液晶表示部７を駆動制御すること二より、液晶表示部７に表示される。
【００５５】
なお、本実施の形態に係る残響時間推定装置２０１のその他の構成は、実施の形態１に係る残響時間推定装置１の構成と同様であるので、同一の構成要素に付いては同符号を付し、その説明を省略する。
【００５６】
［評価実験］
女性話者が発話した８文章を評価用音響信号として利用し、本実施の形態に係る残響時間推定装置が実施する残響時間推定と同一の残響時間推定方法（以下、本法という）の評価実験を実施した。評価用音響信号の発話内容は以下の通りである。
（１）「第一回通訳国際会議に参加のご登録をご希望される方は、所定の申込用紙に住所・氏名と発表・聴講の別を明記して、国際会議事務局までお申し込みください。」
（２）「はい。こちらは第一回通訳電話国際会議事務局です。」
（３）「もしもし。通訳国際会議への参加を申し込みたいのですけれども、どのような手続をすればよろしいでしょうか。」
（４）「通訳電話の国際会議に参加するためには、所定の申し込み用紙を用いて参加登録することが必要です。」
（５）「会議に発表するのではなくて聴講するだけだと、費用はいくらかかりますか。」
（６）「ご発表を希望される場合には、予稿集代・登録料を含めた参加費用は４万円です。」
（７）「聴講のみの場合は当日の受け付けも可能で、予稿集代を含めた費用は３万５千円かかります。」
（８）「参加登録の申し込み用紙はどのようにして手に入れればよろしいのでしょうか。」
利用した残響時間ＴＲは、０．１、０．３、０．５、１．０、及び２．０秒の５種類とした。インパルス応答は、式（７）のものを残響時間毎に５０種類用意した。なお、総刺激数は２０００個（８個×５条件×５０キャリア）である。本実験では、本法と従来法とのそれぞれについて、全ての発話に対して得られた残響時間の推定値の平均値を求め、この平均値について評価した。
【００５７】
図１３は、評価実験の結果を示すグラフである。図の記載方法は図５と同様である。本法では、残響時間ＴＲが０．１、０．３、０．５、及び１．０秒のときに、概ね理想値に近い推定結果を得た。また、残響時間ＴＲが２．０秒のときも、僅かに過大に推定されているものの、良好な結果を得ていることが分かる。
【００５８】
（実施の形態３）
実施の形態３は、残響時間を推定するために用いられるコンピュータプログラムをコンピュータが実行することにより実現された残響時間推定装置である。なお、本実施の形態に係る残響時間推定装置３０１は、実施の形態２に係る残響時間推定装置２０１と実質的に同一の処理を、ソフトウェアにより実現したものである。
【００５９】
［残響時間推定装置の構成］
図１４は、本発明の実施の形態３に係る残響時間推定装置の構成を示すブロック図である。図１４に示すように、コンピュータ３０１ａは、本体３１１と、画像表示部３１２と、入力部３１３とを備えている。本体３１１は、ＣＰＵ３１１ａと、ＲＯＭ３１１ｂ、ＲＡＭ３１１ｃ、ハードディスク３１１ｄ、読出装置３１１ｅ、入出力インタフェース３１１ｆ、及び画像出力インタフェース３１１ｇを備えており、ＣＰＵ３１１ａ、ＲＯＭ３１１ｂ、ＲＡＭ３１１ｃ、ハードディスク３１１ｄ、読出装置３１１ｅ、入出力インタフェース３１１ｆ、および画像出力インタフェース３１１ｇは、バス３１１ｉによって接続されている。
【００６０】
ＣＰＵ３１１ａは、ＲＡＭ３１１ｃにロードされたコンピュータプログラムを実行することが可能である。そして、後述するような残響時間推定プログラム３１４ａを当該ＣＰＵ３１１ａが実行することにより、コンピュータ３０１ａが残響時間推定装置３０１として機能する。
【００６１】
ＲＯＭ３１１ｂは、マスクＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、又はＥＥＰＲＯＭ等によって構成されており、ＣＰＵ３１１ａに実行されるコンピュータプログラムおよびこれに用いるデータ等が記録されている。
【００６２】
ＲＡＭ３１１ｃは、ＳＲＡＭまたはＤＲＡＭ等によって構成されている。ＲＡＭ３１１ｃは、ハードディスク３１１ｄに記録されている残響時間推定プログラム３１４ａの読み出しに用いられる。また、ＣＰＵ３１１ａがコンピュータプログラムを実行するときに、ＣＰＵ３１１ａの作業領域として利用される。
【００６３】
ハードディスク３１１ｄは、オペレーティングシステムおよびアプリケーションプログラム等、ＣＰＵ３１１ａに実行させるための種々のコンピュータプログラムおよび当該コンピュータプログラムの実行に用いられるデータがインストールされている。後述する残響時間推定プログラム３１４ａも、このハードディスク３１１ｄにインストールされている。
【００６４】
ハードディスク３１１ｄには、残響時間をパラメータとして有するＭＴＦの逆特性が、ＣＰＵ３１１ａによって処理可能な関数データとして記憶されている。このハードディスク３１１ｄに記憶されている逆フィルタ（逆特性）の関数データは、推定候補として予め与えられた複数の残響時間の分だけ用意される。なお、逆フィルタの関数データの詳細は、実施の形態１と同様である。
【００６５】
読出装置３１１ｅは、フレキシブルディスクドライブ、ＣＤ−ＲＯＭドライブ、またはＤＶＤ−ＲＯＭドライブ等によって構成されており、可搬型記録媒体３１４に記録されたコンピュータプログラムまたはデータを読み出すことができる。また、可搬型記録媒体３１４には、コンピュータを残響時間推定装置として機能させるための残響時間推定プログラム３１４ａが格納されており、コンピュータ３０１ａが当該可搬型記録媒体３１４から残響時間推定プログラム３１４ａを読み出し、当該残響時間推定プログラム３１４ａをハードディスク３１１ｄにインストールすることが可能である。
【００６６】
なお、前記残響時間推定プログラム３１４ａは、可搬型記録媒体３１４によって提供されるのみならず、電気通信回線（有線、無線を問わない）によってコンピュータ３０１ａと通信可能に接続された外部の機器から前記電気通信回線を通じて提供することも可能である。例えば、前記残響時間推定プログラム３１４ａがインターネット上のサーバコンピュータのハードディスク内に格納されており、このサーバコンピュータにコンピュータ３０１ａがアクセスして、当該コンピュータプログラムをダウンロードし、これをハードディスク３１１ｄにインストールすることも可能である。
【００６７】
また、ハードディスク３１１ｄには、例えば米マイクロソフト社が製造販売するＷｉｎｄｏｗｓ（登録商標）等のマルチタスクオペレーティングシステムがインストールされている。
以下の説明においては、本実施の形態１に係る残響時間推定プログラム３１４ａは当該オペレーティングシステム上で動作するものとしている。
【００６８】
入出力インタフェース３１１ｆは、例えばＵＳＢ，ＩＥＥＥ１３９４，又はＲＳ−２３２Ｃ等のシリアルインタフェース、ＳＣＳＩ，ＩＤＥ，又はＩＥＥＥ１２８４等のパラレルインタフェース、およびＤ／Ａ変換器、Ａ／Ｄ変換器等からなるアナログインタフェース等から構成されている。入出力インタフェース３１１ｆには、キーボードおよびマウスを有する入力部３１３が接続されており、ユーザが当該入力部３１３を使用することにより、コンピュータ３０１ａにデータを入力することが可能である。また、入力部３１３には、マイクロフォンが設けられており、音響を電気信号に変換し、これを入出力インタフェース３１１ｆによってＡ／Ｄ変換し、デジタル信号の音響信号を取得するように構成されている。
【００６９】
画像出力インタフェース３１１ｇは、ＬＣＤまたはＣＲＴ等で構成された画像表示部３１２に接続されており、ＣＰＵ３１１ａから与えられた画像データに応じた映像信号を画像表示部３１２に出力するようになっている。画像表示部３１２は、入力された映像信号にしたがって、画像（画面）を表示する。
【００７０】
［残響時間推定装置の動作］
次に、残響時間推定装置３０１の動作について説明する。図１５は、本実施の形態に係る残響時間推定装置３０１の動作の流れを示すフローチャートである。まず、作業者は、残響時間を測定する室内において、入力部３１３のマイクロフォンで音響（音声）をサンプリングする。マイクロフォンから出力されたアナログ音響信号は、入出力インタフェース３１１ｆが備えるＡ／Ｄ変換器によりＰＣＭ等のデジタル音響データへ変換され、この音響データがＣＰＵ３１１ａに与えられる。
【００７１】
まず、ＣＰＵ３１１ａは、音響データを複数の帯域に分割する（ステップＳ１）。このとき、音響データは１００Ｈｚの帯域幅毎にチャンネル分割される。次に、ＣＰＵ３１１ａは、各チャンネルの音響データからパワーエンベロープをそれぞれ生成し、各パワーエンベロープをＲＡＭ３１１ｃに記憶する（ステップＳ２）。ＣＰＵ３１１ａは、チャンネルを１つ選択し（ステップＳ３）、ＲＡＭ３１１ｃからこのチャンネルのパワーエンベロープを読み出し、所定のカットオフ周波数により高周波成分を除去する（ステップＳ４）。そして、ＣＰＵ３１１ａは、この高周波成分を除去したパワーエンベロープに対して、自己相関関数を演算し、主要変調周波数を算出する（ステップＳ５）。
【００７２】
次にＣＰＵ３１１ａは、再度前記チャンネルのパワーエンベロープをＲＡＭ３１１ｃから読み出し、フーリエ変換処理を実行し（ステップＳ６）、０Ｈｚを除いて０Ｈｚに最も近い変調周波数におけるパワーを基準値とし、ステップＳ６で得られた変調スペクトルを前記基準値で正規化した正規化変調スペクトルを演算する（ステップＳ７）。次に、ＣＰＵ３１１ａは、ステップＳ５で算出した主要変調周波数及びステップＳ７で算出した正規化変調スペクトルに基づいて、残響時間を推定する（ステップＳ８）。この残響時間の推定は、次のようにして行われる。まず、ＣＰＵ３１１ａがハードディスク３１１ｄから各残響時間の逆フィルタを読み出し、ステップＳ５で算出した主要変調周波数及びステップＳ７で算出した変調スペクトルに対して各残響時間の逆フィルタを適用して、各残響時間に対応する音源信号の主要変調周波数における変調スペクトルを算出する。次に、ＣＰＵ３１１ａが、このようにして求めた各残響時間に対応する音源信号の主要変調周波数における変調スペクトルのうち、大きさが０ｄＢ（変調度で表すと１）に最も近い１つを選択し、その残響時間を、室の残響時間として推定する。ＣＰＵ３１１ａは、このようにして求めた残響時間の推定値を、そのとき処理を行ったチャンネルと対応づけてＲＡＭ３１１ｃに記憶する。
【００７３】
次にＣＰＵ３１１ａは、当該チャンネルのパワーエンベロープを再度ＲＡＭ３１１ｃから読み出し、このパワーエンベロープに基づいて、当該チャンネルが残響時間の推定に用いるのに適したものであるか否かを判定する（ステップＳ９）。この処理は、（１）パワーエンベロープの高レベル部（立上り時点、ピーク時点、立ち下がり時点のセット）の検出、（２）隣り合う高レベル部の間に微小ピークが存在するか否かの判定、（３）高レベル部に谷が存在するか否かの判定、微小ピーク及び谷の両方が存在しない場合に、（４）隣り合う高レベル部のパワーの差及び時間差が所定の基準値以上であるか否かの判定、の各処理により構成される。なお、これらの処理の詳細は、実施の形態２で説明したものと同様であるので、その説明を省略する。
【００７４】
次にＣＰＵ３１１ａは、全てのチャンネルに対して上記のステップＳ４〜Ｓ９の処理を行ったか否かを判定し（ステップＳ１０）、ステップＳ１０において上記ステップＳ４〜Ｓ９の処理が終了していないチャンネルが存在する場合（ステップＳ１０においてＮＯ）、未処理のチャンネルの１つを選択し（ステップＳ１１）、ステップＳ４へと処理を戻す。ステップＳ９において全チャンネルについて上記ステップＳ３〜Ｓ８の処理が終了している場合には（ステップＳ９においてＹＥＳ）、ＣＰＵ３１１ａは、ステップＳ９において、残響時間の推定に用いるのに適していると判定されたチャンネルに対応する残響時間の推定値の平均値を算出し（ステップＳ１２）、画像出力インタフェース３１１ｇを駆動して、画像表示部３１２に、この平均値を本音響信号に対する残響時間の推定値として表示させ（ステップＳ１３）、処理を終了する。
【００７５】
（その他の実施の形態）
上記の実施の形態１においては、変調スペクトルの大きさを、ＤＣ成分の変調スペクトル（変調周波数が０Ｈｚにおける変調スペクトル）で正規化した変調スペクトル信号を生成するように正規化変調スペクトル生成部４４が構成されている場合について説明したが、これに限定されるものではなく、例えば、０Ｈｚを除いて０Ｈｚに最も近い変調周波数におけるパワー値で、変調スペクトルの大きさを正規化する構成であってもよい。
【００７６】
また、上記実施の形態２及び３においては、０Ｈｚを除いて０Ｈｚに最も近い変調周波数における変調スペクトル値を基準値とし、この基準値で正規化した変調スペクトルを生成するよう正規化変調スペクトル生成部４８が構成されている場合について説明したが、これに限定されるものではなく、変調スペクトルの大きさを、ＤＣ成分の変調スペクトルで正規化した変調スペクトル信号を生成するように構成されていてもよい。
【００７７】
上記の実施の形態３においては、音響データを複数のチャンネルに帯域分割し、それぞれのチャンネルについて残響時間の推定値を演算し、残響時間の推定に用いるのに適したチャンネルを選定して、選定されたチャンネルの残響時間の推定値を平均することで、本音響データに対する残響時間の推定値を求める構成について述べたが、これに限定されるものではなく、帯域分割及びチャンネルの選定を行わず、音響データに対して１つのパワーエンベロープを演算し、それに基づいて残響時間の推定値を演算する構成としてもよい。
【００７８】
また、上記の実施の形態２及び３においては、全てのチャンネルのパワーエンベロープに対して主要変調周波数の取得及び正規化変調スペクトルの生成を行うことによりそれぞれのチャンネルに対応する残響時間推定値を個々に求め、残響時間の推定に用いるのに適したチャンネルを全チャンネルから選定して、残響時間の推定に用いるのに適したチャンネルのパワーエンベロープから求めた残響時間の推定値の平均を求める構成としたが、これに限定されるものではなく、全てのチャンネルのパワーエンベロープから、残響時間の推定に用いるのに適したチャンネルを選定し、選定されたチャンネルのパワーエンベロープから残響時間の推定値を求め、その平均値を算出する構成としてもよい。この場合は、選定されたチャンネルのパワーエンベロープだけに対して、主要変調周波数の取得及び正規化変調スペクトルの生成が行われるため、処理を効率的に行うことができる。
【００７９】
また、上記の実施の形態１〜３においては、残響時間をパラメータとして有するＭＴＦの逆フィルタが、演算回路５又はＣＰＵ３１１ａによって処理可能な関数データとして、所定の複数の残響時間の分だけメモリ６又はＲＡＭ３１１ｃに記憶されており、取得された主要変調周波数及び変調スペクトルに対して各残響時間の逆フィルタを適用することにより、各残響時間に対応する音源信号の主要変調周波数における変調スペクトルを算出し、このようにして求めた各残響時間に対応する音源信号の主要変調周波数における変調スペクトルのうち、その大きさが０ｄＢに最も近い１つを選択し、その残響時間を、室の残響時間として推定する構成とした。しかしながら、上記の構成に限定されるものではない。上記の逆フィルタが関数データとしてではなく、ルックアップテーブルとしてメモリ６又はＲＡＭ３１１ｃに記憶されており、演算回路５又はＣＰＵ３１１ａが逆フィルタのルックアップテーブルを参照して、各残響時間に対応する音源信号の主要変調周波数における変調スペクトルを取得する構成としてもよい。上記の各実施の形態では残響時間推定装置が１つの装置となっているが、本発明はこのような態様に限定されるわけではない。例えば、当該残響時間推定装置が備える各手段が別々の装置に設けられ、それらの装置が通信ネットワーク等を介してデータ通信等を行うことによって、上記の各実施の形態における処理が実現されるような構成であってもよい。
【産業上の利用可能性】
【００８０】
本発明の残響時間推定装置及び残響時間推定方法は、時系列の音響信号から求められた周波数系列の変調スペクトルにより、原音信号を用いずに残響時間をブラインド推定する残響時間推定装置及びその方法などとして有用である。
【図面の簡単な説明】
【００８１】
【図１】本発明の実施の形態１に係る残響時間推定装置の構成を示すブロック図。
【図２】ＭＴＦ（変調度）を示すグラフ。
【図３Ａ】残響が付加されていない音響信号のパワーエンベロープを示すグラフ。
【図３Ｂ】残響が付加されていない音響信号の変調スペクトルを示すグラフ。
【図４Ａ】図３Ａで示す音響に残響が付加した場合の音響信号のパワーエンベロープを示すグラフ。
【図４Ｂ】図４Ａに示す音響信号の変調スペクトルを示すグラフ。
【図５】実施の形態１に係る残響時間推定装置が実施する残響時間推定と同一の残響時間推定方法の
【特許請求の範囲】
【請求項１】
残響が付加された時系列の音響信号に基づいて、前記音響信号に対応する時系列のパワーエンベロープを生成するパワーエンベロープ生成手段と、
前記パワーエンベロープ生成手段によって生成されたパワーエンベロープに基づいて、周波数系列の変調スペクトルを生成する変調スペクトル生成手段と、
前記変調スペクトル生成手段によって生成された変調スペクトルに基づいて、前記音響信号が観測された系の残響特性に関する伝達関数に対応する残響時間を推定する残響時間推定手段と
を備える、残響時間推定装置。
【請求項２】
前記周波数系列の変調スペクトルにおいて周辺の周波数領域よりも大きい変調スペクトルを示す主要変調周波数を特定する主要変調周波数特定手段を更に備え、
前記残響時間推定手段は、前記周波数系列の前記変調スペクトルに前記伝達関数の逆伝達関数を適用したときに、適用後の前記主要変調周波数における変調スペクトルが、残響が付加されていない原音を示す時系列の原音信号に対応する周波数系列の変調スペクトルの前記主要変調周波数における変調スペクトルと略一致するような前記伝達関数に対応する残響時間を推定するように構成されている、請求項１に記載の残響時間推定装置。
【請求項３】
前記主要変調周波数特定手段は、前記パワーエンベロープに対する自己相関関数を求め、前記自己相関関数がピークを示す時間シフト量の逆数を前記主要変調周波数として特定するように構成されている請求項２に記載の残響時間推定装置。
【請求項４】
前記パワーエンベロープ生成手段によって生成されたパワーエンベロープに対して適用されるローパスフィルタを更に備え、
前記主要変調周波数特定手段は、前記ローパスフィルタから出力されたパワーエンベロープに基づいて、前記主要変調周波数を特定するように構成されている請求項２又は３に記載の残響時間推定装置。
【請求項５】
前記音響信号を複数チャンネルに帯域分割する帯域分割手段と、
前記帯域分割手段によって帯域分割された各チャンネルから、残響時間推定に用いるチャンネルを決定するチャンネル決定手段とを更に備える、請求項１乃至４の何れかに記載の残響時間推定装置。
【請求項６】
前記パワーエンベロープ生成手段は、前記帯域分割手段によって帯域分割された各チャンネルについて、パワーエンベロープを生成するように構成されており、
前記パワーエンベロープ生成手段によって生成されたパワーエンベロープの中で、所定の基準値を越える高レベル部を検出する高レベル部検出手段を更に備え、
前記チャンネル決定手段は、前記高レベル部検出手段によって検出された高レベル部に基づいて、残響時間推定に用いるチャンネルを決定するように構成されている、請求項５に記載の残響時間推定装置。
【請求項７】
前記チャンネル決定手段は、前記高レベル部検出手段によって検出された２つの高レベル部の間に、微小なピークが存在するか否かを判定し、微小なピークが存在する場合には、当該チャンネルを推定に用いるチャンネルから除外するように構成されている、請求項６に記載の残響時間推定装置。
【請求項８】
前記チャンネル決定手段は、前記高レベル部検出手段によって検出された高レベル部の中に谷が存在するか否かを判定し、谷が存在する場合には、当該チャンネルを推定に用いるチャンネルから除外するように構成されている、請求項６又は７に記載の残響時間推定装置。
【請求項９】
残響が付加された時系列の音響信号に基づいて、前記音響信号に対応する時系列のパワーエンベロープを生成するステップと、
生成されたパワーエンベロープに基づいて、周波数系列の変調スペクトルを生成するステップと、
生成された変調スペクトルに基づいて、前記音響信号が観測された系の残響特性に関する伝達関数に対応する残響時間を推定するステップと
を備える、残響時間推定方法。
【請求項１】
残響が付加された時系列の音響信号に基づいて、前記音響信号に対応する時系列のパワーエンベロープを生成するパワーエンベロープ生成手段と、
前記パワーエンベロープ生成手段によって生成されたパワーエンベロープに基づいて、周波数系列の変調スペクトルを生成する変調スペクトル生成手段と、
前記変調スペクトル生成手段によって生成された変調スペクトルに基づいて、前記音響信号が観測された系の残響特性に関する伝達関数に対応する残響時間を推定する残響時間推定手段と
を備える、残響時間推定装置。
【請求項２】
前記周波数系列の変調スペクトルにおいて周辺の周波数領域よりも大きい変調スペクトルを示す主要変調周波数を特定する主要変調周波数特定手段を更に備え、
前記残響時間推定手段は、前記周波数系列の前記変調スペクトルに前記伝達関数の逆伝達関数を適用したときに、適用後の前記主要変調周波数における変調スペクトルが、残響が付加されていない原音を示す時系列の原音信号に対応する周波数系列の変調スペクトルの前記主要変調周波数における変調スペクトルと略一致するような前記伝達関数に対応する残響時間を推定するように構成されている、請求項１に記載の残響時間推定装置。
【請求項３】
前記主要変調周波数特定手段は、前記パワーエンベロープに対する自己相関関数を求め、前記自己相関関数がピークを示す時間シフト量の逆数を前記主要変調周波数として特定するように構成されている請求項２に記載の残響時間推定装置。
【請求項４】
前記パワーエンベロープ生成手段によって生成されたパワーエンベロープに対して適用されるローパスフィルタを更に備え、
前記主要変調周波数特定手段は、前記ローパスフィルタから出力されたパワーエンベロープに基づいて、前記主要変調周波数を特定するように構成されている請求項２又は３に記載の残響時間推定装置。
【請求項５】
前記音響信号を複数チャンネルに帯域分割する帯域分割手段と、
前記帯域分割手段によって帯域分割された各チャンネルから、残響時間推定に用いるチャンネルを決定するチャンネル決定手段とを更に備える、請求項１乃至４の何れかに記載の残響時間推定装置。
【請求項６】
前記パワーエンベロープ生成手段は、前記帯域分割手段によって帯域分割された各チャンネルについて、パワーエンベロープを生成するように構成されており、
前記パワーエンベロープ生成手段によって生成されたパワーエンベロープの中で、所定の基準値を越える高レベル部を検出する高レベル部検出手段を更に備え、
前記チャンネル決定手段は、前記高レベル部検出手段によって検出された高レベル部に基づいて、残響時間推定に用いるチャンネルを決定するように構成されている、請求項５に記載の残響時間推定装置。
【請求項７】
前記チャンネル決定手段は、前記高レベル部検出手段によって検出された２つの高レベル部の間に、微小なピークが存在するか否かを判定し、微小なピークが存在する場合には、当該チャンネルを推定に用いるチャンネルから除外するように構成されている、請求項６に記載の残響時間推定装置。
【請求項８】
前記チャンネル決定手段は、前記高レベル部検出手段によって検出された高レベル部の中に谷が存在するか否かを判定し、谷が存在する場合には、当該チャンネルを推定に用いるチャンネルから除外するように構成されている、請求項６又は７に記載の残響時間推定装置。
【請求項９】
残響が付加された時系列の音響信号に基づいて、前記音響信号に対応する時系列のパワーエンベロープを生成するステップと、
生成されたパワーエンベロープに基づいて、周波数系列の変調スペクトルを生成するステップと、
生成された変調スペクトルに基づいて、前記音響信号が観測された系の残響特性に関する伝達関数に対応する残響時間を推定するステップと
を備える、残響時間推定方法。
【図１】
【図２】
【図３Ａ】
【図３Ｂ】
【図４Ａ】
【図４Ｂ】
【図５】
【図６Ａ】
【図６Ｂ】
【図６Ｃ】
【図６Ｄ】
【図７】
【図８】
【図９Ａ】
【図９Ｂ】
【図１０Ａ】
【図１０Ｂ】
【図１１】
【図１２Ａ】
【図１２Ｂ】
【図１２Ｃ】
【図１３】
【図１４】
【図１５】
【図２】
【図３Ａ】
【図３Ｂ】
【図４Ａ】
【図４Ｂ】
【図５】
【図６Ａ】
【図６Ｂ】
【図６Ｃ】
【図６Ｄ】
【図７】
【図８】
【図９Ａ】
【図９Ｂ】
【図１０Ａ】
【図１０Ｂ】
【図１１】
【図１２Ａ】
【図１２Ｂ】
【図１２Ｃ】
【図１３】
【図１４】
【図１５】
【公開番号】特開２００９−２１１０２１（Ｐ２００９−２１１０２１Ａ）
【公開日】平成２１年９月１７日（２００９．９．１７）
【国際特許分類】
【出願番号】特願２００８−９５５４０（Ｐ２００８−９５５４０）
【出願日】平成２０年３月４日（２００８．３．４）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 平成２０年２月１３日に国立大学法人北陸先端科学技術大学院大学の修士論文審査会で発表
【出願人】（３０４０２４４３０）国立大学法人北陸先端科学技術大学院大学 (169)
【公開日】平成２１年９月１７日（２００９．９．１７）
【国際特許分類】
【出願日】平成２０年３月４日（２００８．３．４）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 平成２０年２月１３日に国立大学法人北陸先端科学技術大学院大学の修士論文審査会で発表
【出願人】（３０４０２４４３０）国立大学法人北陸先端科学技術大学院大学 (169)
[ Back to top ]