残響抑制装置および残響抑制方法並びに残響抑制プログラム
【課題】携帯端末に搭載されたスピーカとマイクロホンを用いて測定したインパルス応答を利用して残響音を抑制する。
【解決手段】携帯端末に搭載されたスピーカ又はマイクロホンの指向性に基づいて配置された音源がインパルスを出力した際にマイクロホンが出力する信号から得られる第１インパルス応答を示す情報を予め保持する第１保持部と、残響音を抑制する対象となる室内において、携帯端末に搭載されたスピーカがインパルスを出力した際にマイクロホンが出力する信号から得られる第２インパルス応答を示す情報を保持する第２保持部と、第１インパルス応答を示す情報を用いて、第２保持部に保持された情報で示される第２インパルス応答を補正することにより、室内の環境を反映した補正インパルス応答を求める応答補正部と、補正インパルス応答に基づいて、室内においてマイクロホンに音声が入力される際に当該マイクロホンによって得られる音声信号を補正する音声補正部とを備える。
【解決手段】携帯端末に搭載されたスピーカ又はマイクロホンの指向性に基づいて配置された音源がインパルスを出力した際にマイクロホンが出力する信号から得られる第１インパルス応答を示す情報を予め保持する第１保持部と、残響音を抑制する対象となる室内において、携帯端末に搭載されたスピーカがインパルスを出力した際にマイクロホンが出力する信号から得られる第２インパルス応答を示す情報を保持する第２保持部と、第１インパルス応答を示す情報を用いて、第２保持部に保持された情報で示される第２インパルス応答を補正することにより、室内の環境を反映した補正インパルス応答を求める応答補正部と、補正インパルス応答に基づいて、室内においてマイクロホンに音声が入力される際に当該マイクロホンによって得られる音声信号を補正する音声補正部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本件開示は、マイクロホンとスピーカを有する携帯端末のマイクロホンへの入力音声について残響を抑制する残響抑制装置および残響抑制方法並びに残響抑制プログラムに関する。
【背景技術】
【０００２】
利用者が室内において携帯端末の通話機能を利用する際に、利用者が発した音声は、直接的にマイクロホンに到達する他に、周囲の壁や天井などで反射した後にもマイクロホンに到達する。以下の説明では、マイクロホンに直接的に到達する音声を直接音と称し、周囲の壁や天井などで反射した後にマイクロホンに到達する音声を残響音と称する。また、音声の到達に応じてマイクロホンによって出力される、当該音声に対応する出力信号を音声信号と称する。
【０００３】
例えば、浴室のような比較的狭い室内では、居間などの他の場所に比べて、周囲から反射された残響音が大きい。このため、浴室などで携帯端末の通話機能を利用する場合には、直接音に重畳された残響音のために、マイクロホンで得られる音声信号から明瞭な音声を再生することが困難になる場合がある。
【０００４】
マイクロホンで得られる音声信号から残響音の成分を除去する技術として、例えば、個々の利用形態に応じて配置した音源とマイクロホンによって予めインパルス応答を測定し、このインパルス応答を利用する技術が提案されている(非特許文献１参照)。非特許文献１に開示された技術は、例えば、残響音の除去を適用する各室内において測定したインパルス応答に基づいて逆フィルタを求め、この逆フィルタを、マイクロホンによって得られた観測信号に適用することにより、残響音を抑制する。
【０００５】
また、音声信号の時系列に関する確率モデルに基づいて、音声信号がより音声信号らしい信号になるように逆フィルタを推定することによって、個々の環境で測定したインパルス応答によらずに逆フィルタを求める技術も提案されている(特許文献１参照)。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−２９２８４５号公報
【非特許文献】
【０００７】
【非特許文献１】Miyoshi, M., and Kaneda, Y., “Inverse filtering of room acous-tics,” IEEE Trans. ASSP, 36(2), pp. 145-152, 1988.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
防水機能を有する携帯端末の普及に伴って、携帯端末の通話機能が利用される環境は、浴室などにも拡大している。一方、浴室などで携帯端末の通話機能を利用する場合に、残響音による通話音声の明瞭性の低下が顕著であるため、良好な通話のためには、残響音を除去することが望ましい。
【０００９】
ところで、上述した非特許文献１の技術を用いるためには、利用者それぞれの浴室での利用を想定して音源とマイクロホンとを配置した上で、当該浴室におけるインパルス応答を測定することが望ましい。しかし、個々の利用者が、インパルス応答の測定に適した音源を準備し、しかも、携帯端末に搭載されたマイクロホンの指向性などを考慮して適切に配置することは困難である。
【００１０】
一方、特許文献１の技術では、室内インパルス応答の測定が不要である代わりに、残響音の抑制に先立って、逆フィルタを収束させる時間が必要となる。
【００１１】
本件開示は、携帯端末に搭載されたスピーカとマイクロホンを用いて測定したインパルス応答を利用して残響音を抑制する残響抑制装置および残響抑制方法並びに残響抑制プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
一つの観点による残響抑制装置は、携帯端末に搭載されたスピーカ又はマイクロホンの指向性に基づいて配置された音源がインパルスを出力した際に前記マイクロホンが出力する信号から得られる第１インパルス応答を示す情報を予め保持する第１保持部と、残響音を抑制する対象となる室内において、前記携帯端末に搭載されたスピーカがインパルスを出力した際に前記マイクロホンが出力する信号から得られる第２インパルス応答を示す情報を保持する第２保持部と、前記第１インパルス応答を示す情報を用いて、前記第２保持部に保持された情報で示される前記第２インパルス応答を補正することにより、前記室内の環境を反映した補正インパルス応答を求める応答補正部と、前記補正インパルス応答に基づいて、前記室内において前記マイクロホンに音声が入力される際に当該マイクロホンによって得られる音声信号を補正する音声補正部とを有する。
【００１３】
また、別の観点による残響抑制方法は、携帯端末に搭載されたスピーカ又はマイクロホンの指向性に基づいて配置された音源がインパルスを出力した際に前記マイクロホンが出力する信号から得られる第１インパルス応答を示す情報を用いて、残響音を抑制する対象となる室内において前記携帯端末に搭載されたスピーカがインパルスを出力した際に前記マイクロホンが出力する信号から得られる第２インパルス応答を補正することにより、前記室内の環境を反映した補正インパルス応答を求め、前記補正インパルス応答に基づいて、前記室内において前記マイクロホンに音声が入力される際に当該マイクロホンによって得られる音声信号を補正する。
【００１４】
更に別の観点による残響抑制プログラムは、携帯端末に搭載されたスピーカ又はマイクロホンの指向性に基づいて配置された音源がインパルスを出力した際に前記マイクロホンが出力する信号から得られる第１インパルス応答を示す情報を用いて、残響音を抑制する対象となる室内において前記携帯端末に搭載されたスピーカがインパルスを出力した際に前記マイクロホンが出力する信号から得られる第２インパルス応答を補正することにより、前記室内の環境を反映した補正インパルス応答を求め、前記補正インパルス応答に基づいて、前記室内において前記マイクロホンに音声が入力される際に当該マイクロホンによって得られる音声信号を補正する処理をコンピュータに実行させる。
【発明の効果】
【００１５】
本件開示の残響抑制装置および残響抑制方法並びに残響抑制プログラムによれば、携帯端末に搭載されたスピーカとマイクロホンを用いて測定したインパルス応答を利用して残響音を抑制することができる。
【図面の簡単な説明】
【００１６】
【図１】残響抑制装置の一実施形態を示す図である。
【図２】スピーカとマイクロホンの配置を説明する図である。
【図３】インパルス応答の例を示す図である。
【図４】残響抑制装置の別実施形態を示す図である。
【図５】重み関数の例を示す図である。
【図６】インパルス応答の合成を説明する図である。
【図７】推定残響音成分スペクトルの例を示す図である。
【図８】携帯端末のハードウェア構成の一例を示す図である。
【図９】残響抑制装置を有する携帯端末のフローチャートの一例を示す図である。
【図１０】残響特性を推定するための測定処理のフローチャートである。
【図１１】周波数領域で残響を抑制する処理のフローチャートである。
【図１２】ゲインの算出処理を説明する図である。
【図１３】残響抑制装置の別実施形態を示す図である。
【図１４】重み関数の例を示す図である。
【図１５】残響抑制装置を有する携帯端末のフローチャートの別例を示す図である。
【図１６】特性係数ベクトルＣを算出する処理のフローチャートである。
【図１７】時間領域で残響を抑制する処理のフローチャートである。
【発明を実施するための形態】
【００１７】
以下、図面に基づいて、本発明の実施形態について詳細に説明する。
【００１８】
図１は、残響抑制装置の一実施形態を示している。図１に例示した残響抑制装置１００は、例えば、携帯電話などの通話機能を持つ携帯端末に搭載されたマイクロホン１０４によって得られた音声信号ｙ(ｔ)に含まれる残響成分を抑制することにより、補正音声信号ｙ’(ｔ)を生成する。そして、残響抑制装置１００は、この補正音声信号ｙ’(ｔ)を通信処理部１０５に渡すことにより、浴室などにおいて、利用者が携帯端末の通話機能を利用する際の通話音声の明瞭化を図る。なお、本件開示の残響抑制装置１００は、通話機能を持つ携帯型の情報端末や携帯ゲーム機、また、電話機の子機などにも適用することができる。
【００１９】
図１に例示した残響抑制装置１００は、第１保持部１０１と、第２保持部１０２と、応答補正部１０３と、音声補正部１１０とを含んでいる。
【００２０】
第１保持部１０１は、例えば、携帯端末の初期設定データの一部として、後述する第１インパルス応答ｈ１(ｔ)を保持している。この第１インパルス応答ｈ１(ｔ)は、例えば、標準的な残響特性を持つ浴室内において、音源をマイクロホン１０４の指向性に合わせて配置した状態で、この音源によってインパルスを出力させた際に、マイクロホン１０４によって観測される信号である。
【００２１】
また、第２保持部１０２は、マイクロホン１０４を介して入力される音声信号ｙ(ｔ)に対する残響抑制処理に先立って、後述する第２インパルス応答ｈ２(ｔ)を保持する。第２インパルス応答ｈ２(ｔ)は、例えば、図１に示した入力端子Ｐｉｎを介して携帯端末１００に搭載されたスピーカ１０６に入力信号δ(ｔ)を与えた際に、このスピーカ１０６が出力するインパルスに応じて、マイクロホン１０４によって観測される信号である。なお、入力信号δ(ｔ)は、例えば、時刻ｔ＝Ｔ０で所定の値ｄを持ち、時刻Ｔ０以外の時刻ｔにおいてδ(ｔ)＝０となるように変化する信号でもよい。
【００２２】
図２は、マイクロホン１０４とスピーカ１０６の配置を説明する図である。図２(Ａ)は、携帯端末の正面におけるマイクロホン１０４とスピーカ１０６の配置の一例を示す。また、図２(Ｂ)に示した符号Ｖ１は、スピーカ１０６によって出力される音声が持つ指向性の向きを示し、また、符号Ｖ２は、マイクロホン１０４の感度が持つ指向性の方向を示す。
【００２３】
図２(Ａ)，(Ｂ)に例示したように、マイクロホン１０４は、利用者が携帯端末を用いて通話する際に、利用者の口元に近接し、利用者が発した音声に対して指向性を持つように配置される。同様に、スピーカ１０６は、利用者が携帯端末を用いて通話する際に、利用者の耳元に近接し、利用者の耳に向かう方向に指向性を持つように配置される。このように、携帯端末に搭載されたスピーカ１０６は、利用者が携帯端末を用いて通話する際のマイクロホン１０４と利用者の口元との距離に比べて遠くに配置されている。しかも、スピーカ１０６から出力される音波の方向もマイクロホン１０４に向かう方向から外れている。
【００２４】
スピーカ１０６からマイクロホン１０４に直接的に到達する直接音は、スピーカ１０６とマイクロホン１０４との距離および指向性の影響を受ける。このため、携帯端末に搭載されたスピーカ１０６を用いてインパルスを発生させた場合の直接音は、利用者の口元に当たる位置に配置した音源でインパルスを発生させた場合に比べて大きく減衰する。
【００２５】
一方、インパルスに応じて生じる残響音は、スピーカ１０６とマイクロホン１０４との距離や指向性の影響が少ない。このため、携帯端末に搭載されたスピーカ１０６を用いてインパルスを発生させた場合にマイクロホン１０４に到達する残響音は、利用者の口元に当たる位置に配置した音源でインパルスを発生させた場合にマイクロホン１０４に到達する残響音とほぼ同等である。
【００２６】
なお、図２(Ｂ)に、図３で説明するインパルス応答ｈ(ｔ)−Ａ、ｈ(ｔ)−Ｂの取得に好適な音源の配置例を示した。図２(Ｂ)に音源として例示したスピーカ１０７の位置は、利用者が携帯端末の通話機能を利用する際に利用者の口元に当たる位置である。
【００２７】
図３は、インパルス応答の例を示している。図３に示した符号ｈ(ｔ)−Ａは、浴室Ａにおけるインパルス応答の例である。また、符号ｈ(ｔ)−Ｂで示したグラフは、浴室Ｂにおけるインパルス応答の例である。一方、図３に符号ｈ２(ｔ)−Ａは、浴室Ａにおいて携帯端末のスピーカ１０６およびマイクロホン１０４を用いて得た第２インパルス応答の例である。また、符号ｈ２(ｔ)−Ｂで示したグラフは、別の浴室Ｂにおいて携帯端末のスピーカ１０６およびマイクロホン１０４を用いて得た第２インパルス応答の例である。
【００２８】
インパルス応答ｈ(ｔ)−Ａは、浴室Ａにおいて、マイクロホン１０４に対向させて音源を配置し、この音源に入力信号δ(ｔ)を与えてインパルスを発生させた際に、マイクロホン１０４の出力信号として得られる。同様に、インパルス応答ｈ(ｔ)−Ｂは、浴室Ｂにおいて、マイクロホン１０４に対向させて音源を配置し、この音源に入力信号δ(ｔ)を与えてインパルスを発生させた際に、マイクロホン１０４の出力信号として得られる。
【００２９】
図３に例示したインパルス応答ｈ(ｔ)−Ａと第２インパルス応答ｈ２(ｔ)−Ａとを比較すると、インパルスの発生時刻から約２０ｍｓｅｃが経過した時刻Ｔ１以降の期間においては、インパルス応答ｈ(ｔ)−Ａと第２インパルス応答ｈ２(ｔ)−Ａとは、ほぼ同様に変化している。これに対して、上述した時刻Ｔ１までの期間において、各時刻における電力の差が大きくなっている。また、図３に例示したインパルス応答ｈ(ｔ)−Ｂと第２インパルス応答ｈ２(ｔ)−Ｂとを比較した場合にも、同様の傾向が認められる。
【００３０】
ここで、図３に例示したインパルス応答において、インパルスの発生時刻から時刻Ｔ１までの期間は、マイクロホン１０４に主として直接音が到達する期間であり、時刻Ｔ１以降の期間は、マイクロホン１０４に主として残響音が到達する期間である。以下の説明では、マイクロホン１０４に主として直接音が到達する期間を第１期間Ｐ１と称し、また、マイクロホン１０４に主として残響音が到達する期間を第２期間Ｐ２と称する。なお、第２期間Ｐ２は、例えば、インパルスの発生時刻から所定の時間が経過した時刻Ｔ２までの期間に制限してもよい。この所定の時間は、例えば、標準的な浴室において残響音が減衰するまでに要する時間(例えば、４００ｍｓｅｃ)に基づいて、予め決定しておいてもよい。
【００３１】
第２インパルス応答ｈ２(ｔ)−Ａとインパルス応答ｈ(ｔ)−Ａとの第１期間Ｐ１の部分における電力の差異は、携帯端末においてスピーカ１０６とマイクロホン１０４とが離れて配置されていることによる減衰を示している。同様に、第２インパルス応答ｈ２(ｔ)−Ｂの第１期間Ｐ１の部分における電力は、インパルス応答ｈ(ｔ)−Ｂの第１期間Ｐ１の部分における電力に比べて減衰していることが分かる。このような減衰があることが、携帯端末のスピーカ１０６を音源として、残響音の抑制の対象となる部屋ごとにインパルス応答を取得する場合の課題となっていた。
【００３２】
ところで、図３に例示した２つのインパルス応答ｈ(ｔ)−Ａ、ｈ(ｔ)−Ｂとを比較すると、上述した第２期間Ｐ２の電力は大きく異なっているにもかかわらず、第１期間Ｐ１においては、２つのグラフがほぼ重なり合っていることが分かる。
【００３３】
このように、第１期間Ｐ１において、インパルス応答を示す波形は、測定対象となる室内の環境にかかわらず、ほぼ同一の特徴を持つ。つまり、互いに特徴の異なる浴室Ａのインパルス応答ｈ(ｔ)−Ａの第１期間Ｐ１の部分と浴室Ｂのインパルス応答ｈ(ｔ)−Ｂの第１期間Ｐ１の部分とは、互いに置き換えが可能である。したがって、例えば、浴室Ａのインパルス応答ｈ(ｔ)−Ａと、浴室Ｂの第２インパルス応答ｈ２(ｔ)−Ｂとを組み合わせることにより、浴室Ｂのインパルス応答ｈ(ｔ)−Ｂとほぼ同等の補正インパルス応答を得ることができる。
【００３４】
このことを利用することにより、携帯端末のスピーカ１０６とマイクロホン１０４とを用いた測定に基づいて個々の利用環境における正確なインパルス応答を取得することを妨げていた課題を解決することができる。
【００３５】
つまり、図１に示した第１保持部１０１に保持された第１インパルス応答ｈ１(ｔ)と、所望の室内において取得される第２インパルス応答ｈ２(ｔ)とから、この室内における直接音および残響音の伝達特性を反映した補正インパルス応答ｈｗ(ｔ)を得ることができる。
【００３６】
図１に示した応答補正部１０３は、第１保持部１０１に保持された第１インパルス応答ｈ１(ｔ)を示す情報を用いて、第２保持部に保持された情報で示される第２インパルス応答ｈ２(ｔ)を補正することにより、補正インパルス応答ｈｗ(ｔ)を生成する。応答補正部１０３は、第１インパルス応答ｈ１(ｔ)と第２インパルス応答ｈ２(ｔ)とを後述するようにして合成することによって、補正インパルス応答ｈｗ(ｔ)を生成してもよい。また、応答補正部１０３は、第１インパルス応答ｈ１(ｔ)の第１期間Ｐ１における電力に一致するように、第２インパルス応答ｈ２(ｔ)の第１期間Ｐ１の部分を増幅することにより、補正インパルス応答ｈｗ(ｔ)を生成してもよい。
【００３７】
このように、本件開示の残響抑制装置１００によれば、携帯端末に搭載されたスピーカ１０６とマイクロホン１０４を用いて得られる第２インパルス応答ｈ２(ｔ)を利用して、所望の室内における残響音の抑制に有用な補正インパルス応答ｈｗ(ｔ)を得ることができる。
【００３８】
なお、図１に示した第１保持部１０１に保持させる第１インパルス応答ｈ１(ｔ)を示す情報は、携帯端末の開発段階などにおいて、マイクロホン１０４を用いて第１インパルス応答ｈ１(ｔ)を実測することによって取得してもよい。例えば、図２(Ｂ)に示したように、利用者の口元に当たる位置に配置したスピーカ１０７にインパルスを出力させ、この際に、マイクロホン１０４で得られる音声信号を、第１インパルス応答ｈ１(ｔ)として抽出してもよい。
【００３９】
上述したようにして、応答補正部１０３によって生成された補正インパルス応答ｈｗ(ｔ)に基づいて、図１に示した音声補正部１１０は、マイクロホン１０４からの音声信号ｙ(ｔ)に含まれる残響音を抑制する処理を行う。
【００４０】
図１に例示した音声補正部１１０は、変換部１１１と、推定部１１２と、ゲイン算出部１１３と、乗算部１１４と、逆変換部１１５とを含んでいる。
【００４１】
変換部１１１は、音声信号ｙ(ｔ)を周波数領域の音声信号スペクトルＹ(ω)に変換する。ここで、ωは角周波数である。推定部１１２は、上述した補正インパルス応答ｈｗ(ｔ)を補正インパルス応答スペクトルＨｗ(ω)に変換し、補正インパルス応答スペクトルＨｗ(ω)と、上述した周波数領域の信号Ｙ(ω)とに基づいて、音声信号スペクトルＹ(ω)に含まれる残響音の成分の周波数特性を推定する。なお、図１および以下の説明では、推定部１１２により、音声信号スペクトルＹ(ω)に含まれると推定された残響音の成分の周波数特性を、推定残響音成分スペクトルＹｅ(ω)と称する。
【００４２】
このようにして得られた推定残響音成分スペクトルＹｅ(ω)に基づいて、ゲイン算出部１１３は、残響音成分を抑制するように、音声信号スペクトルＹ(ω)に適用するゲインｇ(ω)を算出する。そして、乗算部１１４は、音声信号スペクトルＹ(ω)にゲインｇ(ω)を乗算する処理を行うことにより、残響音成分が抑制された補正音声信号スペクトルＹ’(ω)を得る。
【００４３】
この補正音声信号スペクトルＹ’(ω)に対して、逆変換部１１５は、変換部１１１による変換の逆変換処理を行うことにより、残響成分が抑制された時間領域の補正音声信号ｙ’(ｔ)を得る。
【００４４】
上述したように、図１に例示した音声補正部１１０を有する残響抑制装置１００によれば、音声信号ｙ(ｔ)に含まれる残響音の成分を、上述した補正インパルス応答スペクトルＨｗ(ω)に基づく周波数領域における処理によって抑制することができる。
【００４５】
図４は、残響抑制装置の別実施形態を示している。なお、図４に示した構成要素のうち、図１に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
【００４６】
図４に示した加重加算部１２１は、図１に示した応答補正部１０３の一例である。この加重加算部１２１は、第１保持部１０１に保持された第１インパルス応答ｈ１(ｔ)の波形を示す情報と、第２保持部１０２に保持された第２インパルス応答ｈ２(ｔ)の波形を示す情報とを加重加算することにより、補正インパルス応答ｈｗ(ｔ)を生成する。
【００４７】
加重加算部１２１は、加重加算処理として、例えば、式(１)に示すように、重み関数α(ｔ)を用いて重み付けした第１インパルス応答ｈ１(ｔ)と、重み関数β(ｔ)を用いて重み付けした第２インパルス応答ｈ２(ｔ)とを足し合わせる処理を行ってもよい。
ｈｗ(ｔ)＝α(ｔ)・ｈ１(ｔ)＋β(ｔ)・ｈ２(ｔ) ・・・(１)
なお、上述した第１期間Ｐ１において、重み関数α(ｔ)は、重み関数β(ｔ)が第２インパルス応答ｈ２(ｔ)に与える重みよりも大きい重みを、第１インパルス応答ｈ１(ｔ)に与えることが望ましい。一方、第２期間Ｐ２においては、重み関数β(ｔ)は、重み関数α(ｔ)が第１インパルス応答ｈ１(ｔ)に与える重みよりも大きい重みを、第２インパルス応答に与えることが望ましい。
【００４８】
図５は、重み関数α(ｔ)、β(ｔ)の例を示している。図５(Ａ)，(Ｂ)，(Ｃ)において、横軸はインパルスの発生時刻からの経過時間を示し、縦軸は、重みの値を示す。また、図５(Ａ)，(Ｃ)において、第１インパルス応答ｈ１(ｔ)に適用する重み関数α(ｔ)の例を実線のグラフで示す。また、図５(Ｂ)，(Ｃ)において、第２インパルス応答ｈ２(ｔ)に適用する重み関数β(ｔ)の例を、破線のグラフで示す。
【００４９】
図５(Ａ)に示した重み関数α(ｔ)が与える重みの値は、インパルスの発生時刻から時刻Ｔ１までの第１期間Ｐ１において１であり、時刻Ｔ１以降の第２期間Ｐ２において０である。逆に、図５(Ｂ)に示した重み関数β(ｔ)が与える重みの値は、上述した第１期間Ｐ１において０であり、第２期間Ｐ２において１である。
【００５０】
また、加重加算部１２１は、図５(Ｃ)に示すように、第１期間Ｐ１において１から０に単調に減少する重みを与える重み関数α(ｔ)と、第１期間Ｐ１において０から１に単調に増加する重みを与える重み関数β(ｔ)とを用いて加重加算処理を行ってもよい。また、加重加算部１２１は、例えば、標準的な浴室内などの環境において残響音の電力が消失する時刻Ｔ２などに基づいて、第２期間Ｐ２の長さを限定してもよい。つまり、加重加算部１２１は、上述した第１期間Ｐ１と、例えば、時刻Ｔ１〜時刻Ｔ２までの有限長の第２期間Ｐ２について、重み関数α(ｔ)、β(ｔ)によって与える重みの値を定義してもよい。なお、時刻Ｔ１は、例えば、インパルスの発生時刻から約２０ミリ秒が経過した時刻であり、時刻Ｔ２は、例えば、インパルスの発生時刻から約４００ミリ秒が経過した時刻である。
【００５１】
図５(Ａ)に示した重み関数α(ｔ)によって第１インパルス応答ｈ１(ｔ)に重み付けすることにより、加重加算部１２１は、第１インパルス応答ｈ１(ｔ)の第１期間Ｐ１の部分を抽出することができる。また、図５(Ｂ)に示した重み関数β(ｔ)によって第２インパルス応答ｈ２(ｔ)に重み付けすることにより、加重加算部１２１は、第２インパルス応答ｈ２(ｔ)の第２期間Ｐ２の部分を抽出することができる。
【００５２】
図６は、第１インパルス応答ｈ１(ｔ)と第２インパルス応答ｈ２(ｔ)との合成を説明する図である。図６(Ａ)，(Ｂ)において、横軸はインパルスの発生時刻からの経過時間を示し、縦軸は、信号電力を示す。
【００５３】
図６(Ａ)において、第１インパルス応答ｈ１(ｔ)の例を破線で示し、第１インパルス応答ｈ２(ｔ)の例を実線で示した。また、図６(Ｂ)に、このような第１インパルス応答ｈ１(ｔ)および第２インパルス応答ｈ２(ｔ)に対して、加重加算部１２１による加重加算処理を行うことによって合成される補正インパルス応答ｈｗ(ｔ)の例を示す。なお、図６(Ｂ)に例示した補正インパルス応答ｈｗ(ｔ)は、加重加算処理に図５(Ａ)，(Ｂ)に示した重み関数α(ｔ)、β(ｔ)を用いた場合の例である。
【００５４】
このようにして得られた補正インパルス応答ｈｗ(ｔ)は、第１インパルス応答ｈ１(ｔ)の第１期間Ｐ１の部分と第２インパルス応答ｈ２(ｔ)の第２期間Ｐ２の部分との合成である。したがって、この補正インパルス応答ｈｗ(ｔ)は、上述したように、第２インパルス応答ｈ２(ｔ)が得られた室内において携帯端末のマイクロホン１０４の指向性を考慮した理想的な位置に音源を配置した際に得られるインパルス応答とほぼ同等である。
【００５５】
なお、上述したように、第２インパルス応答ｈ２(ｔ)は、所望の室内において、携帯端末１０に搭載されたスピーカ１０６によってインパルスを出力したときのマイクロホン１０４の出力信号として得ることができる。このような第２インパルス応答ｈ２(ｔ)の測定は、携帯端末１０の利用者が簡単な操作を行うことによって実現可能である。
【００５６】
また、図４に例示した音声補正部１１０において、高速フーリエ変換(ＦＦＴ：Fast Fourier Transform)演算部１２２は、図１に示した変換部１１１の一例である。また、逆ＦＦＴ演算部１２７は、図１に示した逆変換部１１５の一例である。
【００５７】
ＦＦＴ演算部１２２は、例えば、式(２)に基づいて、複素数である周波数領域の信号Ｙ(ω)の代わりに、音声信号ｙ(ｔ)の電力スペクトル｜Ｙ(ω)｜２を求めてもよい。なお、式(２)において、ＦＦＴ(ｙ(ｔ))は、音声信号ｙ(ｔ)のフーリエ変換結果を示す。また、式(２)において、Ｒｅ{ＦＦＴ(ｙ(ｔ))}は音声信号ｙ(ｔ)のフーリエ変換結果の実部を示し、Ｉｍ{ＦＦＴ(ｙ(ｔ))}は音声信号ｙ(ｔ)のフーリエ変換結果の虚部を示す。
｜Ｙ(ω)｜２＝Ｒｅ{ＦＦＴ(ｙ(ｔ))}２＋Ｉｍ{ＦＦＴ(ｙ(ｔ))}２ ・・・(２)
また、図４に示した音声補正部１１０は、図１に示した推定部１１２の一例として、抽出部１２３と、部分応答変換部１２４と、特性算出部１２５と、補正応答変換部１２６とを含む。
【００５８】
図４に示した音声補正部１１０は、音声Ｘ(ω)の入力に応じて入力音声スペクトルＹ(ω)を得る系の伝達特性Ｈ(ω)を式(３)のように表すモデルに基づいて、この入力音声スペクトルＹ(ω)に含まれる残響音の成分の周波数特性を推定する。式(３)において、音源とマイクロホン１０４とを含む室内の空間の伝達特性Ｈ(ω)は、音源からマイクロホン１０４に直接的に到達する経路の伝達特性Ｈｄ(ω)と、周囲の壁などによって反射されてから到達する経路の伝達特性Ｈｒ(ω)との和である。
Ｈ(ω)＝Ｈｄ(ω)＋Ｈｒ(ω) ・・・(３)
このモデルにおいて、上述した伝達特性Ｈｄ(ω)を用いて、入力音声スペクトルＹ(ω)に含まれる直接音成分スペクトルＹｄ(ω)は式(４)のように表される。また、入力音声スペクトルＹ(ω)に含まれる残響音成分スペクトルＹｒ(ω)は、伝達特性Ｈｒ(ω)を用いて式(５)のように表される。
Ｙｄ(ω)＝Ｈｄ(ω)Ｘ(ω) ・・・(４)
Ｙｒ(ω)＝Ｈｒ(ω)Ｘ(ω) ・・・(５)
これらの式(２)〜(４)を、入力音声スペクトルＹ(ω)が直接音成分スペクトルＹｄ(ω)と残響音成分スペクトルＹｒ(ω)との和であることを利用して整理することにより、残響音成分スペクトルＹｒ(ω)を表す式(６)が得られる。
【００５９】
【数１】
【００６０】
式(６)に示したように、任意の音声信号ｙ(ｔ)に含まれる残響成分を示す残響音成分スペクトルＹｒ(ω)は、室内空間の伝達特性Ｈ(ω)に対する残響音の伝達特性Ｈｒ(ω)の比を入力音声スペクトルＹ(ω)に乗算することによって得ることができる。
【００６１】
ここで、応答補正部１０３の一例である加重加算部１２１によって得られる補正インパルス応答ｈｗ(ｔ)は、時間領域における室内空間の伝達関数である。したがって、図４に示した補正応答変換部１２６がこの補正インパルス応答ｈｗ(ｔ)をフーリエ変換して得られる結果Ｈｗ(ω)は、室内空間の周波数領域の伝達特性Ｈ(ω)を示している。
【００６２】
補正応答変換部１２６は、例えば、式(７)に基づいて、補正インパルス応答ｈｗ(ｔ)を高速フーリエ変換して得られる複素数の補正インパルス応答スペクトルＨｗ(ω)に代えて、その電力｜Ｈｗ(ω)｜２を求めてもよい。なお、式(７)に示すＦＦＴ(ｈｗ(ｔ))は、補正インパルス応答ｈｗ(ｔ)のフーリエ変換結果である。また、式(７)において、Ｒｅ{ＦＦＴ(ｈｗ(ｔ))}は補正インパルス応答ｈｗ(ｔ)のフーリエ変換結果の実部を示し、Ｉｍ{ＦＦＴ(ｈｗ(ｔ))}は補正インパルス応答ｈｗ(ｔ)のフーリエ変換結果の虚部を示す。
｜Ｈｗ(ω)｜２＝Ｒｅ{ＦＦＴ(ｈｗ(ｔ))}２＋Ｉｍ{ＦＦＴ(ｈｗ(ｔ))}２ ・・・(７)
図４に示した抽出部１２３は、補正インパルス応答ｈｗ(ｔ)から、残響音の成分を示す部分インパルス応答ｈｐ(ｔ)を抽出する。例えば、抽出部１２３は、図６(Ｂ)に示した補正インパルス応答ｈｗ(ｔ)に含まれる上述した第２期間Ｐ２の部分を、部分インパルス応答ｈｐ(ｔ)として抽出してもよい。なお、抽出部１２３は、例えば、第２インパルス応答ｈ２(ｔ)に、図５(Ｂ)に示したように、第１期間Ｐ１において重み０を与え、第２期間Ｐ２において重み１を与える重み関数を適用することにより、部分インパルス応答ｈｐ(ｔ)を抽出してもよい。また、抽出部１２３は、上述した加重加算部１２１による加重加算処理の過程で、図５(Ｂ)に示した重み関数β(ｔ)によって重み付けされた第２インパルス応答ｈ２(ｔ)を部分インパルス応答ｈｐ(ｔ)として受け取ってもよい。
【００６３】
この部分インパルス応答ｈｐ(ｔ)は、音源から周囲の壁などによって反射されてからマイクロホン１０４に到達する経路の時間領域の伝達関数を示している。したがって、図４に示した部分応答変換部１２４がこの部分インパルス応答ｈｐ(ｔ)を高速フーリエ変換して得られる結果は、残響成分の伝達特性Ｈｒ(ω)を示している。
【００６４】
部分応答変換部１２４は、例えば、式(８)に基づいて、部分インパルス応答ｈｐ(ｔ)をフーリエ変換して得られる複素数の部分インパルス応答スペクトルＨｐ(ω)の代わりに、その電力｜Ｈｐ(ω)｜２を求めてもよい。なお、式(８)において、ＦＦＴ(ｈｐ(ｔ))は、部分インパルス応答ｈｐ(ｔ)のフーリエ変換結果を示す。また、式(８)において、Ｒｅ{ＦＦＴ(ｈｐ(ｔ))}は部分インパルス応答ｈｐ(ｔ)のフーリエ変換結果の実部を示し、Ｉｍ{ＦＦＴ(ｈｐ(ｔ))}は部分インパルス応答ｈｐ(ｔ)のフーリエ変換結果の虚部を示す。
｜Ｈｐ(ω)｜２＝Ｒｅ{ＦＦＴ(ｈｐ(ｔ))}２＋Ｉｍ{ＦＦＴ(ｈｐ(ｔ))}２ ・・・(８)
上述した補正インパルス応答スペクトルＨｗ(ω)の電力｜Ｈｗ(ω)｜２に対する部分インパルス応答スペクトルＨｐ(ω)の電力｜Ｈｐ(ω)｜２との比は、式(６)に示した室内空間の伝達特性Ｈ(ω)に対する残響音についての伝達特性Ｈｒ(ω)の比に相当する。
【００６５】
したがって、推定残響音成分スペクトルＹｅ(ω)は、式(９)に示すように、補正インパルス応答スペクトルＨｗ(ω)の電力|Ｈｗ(ω)|２と部分インパルス応答スペクトルＨｐ(ω)の電力｜Ｈｐ(ω)|２との比を用いて表すことができる。したがって、特性算出部１２５は、この式(９)に基づいて、推定残響音成分スペクトルＹｅ(ω)を求めてもよい。
【００６６】
【数２】
【００６７】
なお、特性算出部１２５は、上述した式(９)の代わりに、式(１０)を用いて、推定残響音成分スペクトルＹｅ(ω)を推定してもよい。
【００６８】
【数３】
【００６９】
また、特性算出部１２５は、式(９)あるいは式(１０)において音声信号スペクトルＹ(ω)に乗算される残響特性係数を、残響抑制処理の対象となる音声がマイクロホン１０４に入力されるのに先立って算出しておいてもよい。
【００７０】
上述したように、図４に例示した音声補正部１１０が推定残響音成分スペクトルＹｅ(ω)の算出に用いる部分インパルス応答スペクトルＨｐ(ω)は、残響音の伝達関数を示す部分インパルス応答ｈｐ(ｔ)のフーリエ変換結果である。したがって、この部分インパルス応答スペクトルＨｐ(ω)は、残響音の周波数特性を忠実に反映している。また、上述したように、補正インパルス応答ｈｗ(ｔ)をフーリエ変換して得られる補正インパルス応答スペクトルＨｗ(ω)は、第２インパルス応答ｈ２(ｔ)が取得された室内の伝達特性を忠実に反映している。
【００７１】
したがって、式(９)あるいは式(１０)を適用した推定処理により、特性算出部１２５は、高い精度を持つ推定残響音成分スペクトルＹｅ(ω)を得ることができる。
【００７２】
図７は、推定残響音成分スペクトルＹｅ(ω)の例を示している。なお、図７(Ａ)，(Ｂ)において、符号Ｙｅ(ω)−０で示した点線のグラフは、理想的な配置で測定したインパルス応答に基づく推定処理で得られた推定残響音成分スペクトルＹｅ(ω)を示す。
【００７３】
図７(Ａ)において符号Ａ１で示した実線のグラフは、図４に例示した音声補正部１１０の特性算出部１２５により、補正インパルス応答ｈｗ(ｔ)を用いた推定処理によって得られた推定残響音成分スペクトルＹｅ(ω)を示す。一方、図７(Ｂ)において符号Ｂ１で示した実線のグラフは、特性算出部１２５によって、第２インパルス応答ｈ２(ｔ)をそのまま用いた推定処理によって得られる推定残響音成分スペクトルＹｅ(ω)を示す。
【００７４】
図７(Ｂ)に示した補正前の第２インパルス応答ｈ２(ｔ)を用いて得られた推定残響音成分スペクトルＹｅ(ω)は、ほとんどの周波数帯域において、理想的な配置で測定したインパルス応答を用いて得られた推定残響音成分スペクトルＹｅ(ω)を大きく上回っている。
【００７５】
一方、図７(Ａ)に示した補正インパルス応答ｈｗ(ｔ)を用いて得られた推定残響音成分スペクトルＹｅ(ω)のグラフと、理想的な配置で測定したインパルス応答を用いて得られた推定残響音成分スペクトルＹｅ(ω)のグラフとは、ほぼ同等の傾向を示している。
【００７６】
このようにして得られた推定残響音成分スペクトルＹｅ(ω)を、図４に例示したゲイン算出部１１３に入力することにより、このゲイン算出部１１３により、残響音成分の抑制に好適な周波数特性を持つゲインｇ(ω)を求めることができる。
【００７７】
乗算器１１４は、このようにして求められたゲインｇ(ω)を入力音声スペクトルＹ(ω)に乗算することにより、残響音成分が選択的に抑制された補正音声信号スペクトルＹ’(ω)を得る。そして、逆ＦＦＴ演算処理部１２７は、この補正音声信号スペクトルＹ’(ω)に対して逆ＦＦＴ処理を行うことにより、残響音成分が選択的に抑制された補正音声信号ｙ’(ｔ)を生成する。
【００７８】
このようにして生成された補正音声信号ｙ’(ｔ)においては、残響音成分が抑制されていながら、携帯端末のマイクロホン１０４に直接に到達する利用者の音声の成分はそのまま維持されている。したがって、浴室のように周囲の壁などからの反射が多い環境においても、本件開示の残響抑制装置１００を有する携帯端末の音声通話機能を使用している人物の音声を、通話中の相手に対して明瞭に伝達することができる。また、これにより、本件開示の残響抑制装置１００を有する携帯端末の利用者が浴室などにいることを、通話中の相手に対して秘匿することも可能である。
【００７９】
本件開示の残響抑制装置１００は、携帯端末のハードウェアを用いて実現することができる。
【００８０】
図８は、携帯端末１０のハードウェア構成の一例を示している。なお、図８に示した構成要素のうち、図１に示した構成要素と同等のものについては、同一の符号を付して示す。
【００８１】
携帯端末１０は、プロセッサ２１と、メモリ２２と、通信処理部１０５と、マイクロホン１０４と、スピーカ１０６とを含んでいる。また、携帯端末１０は、更に、記録処理部２４と、着脱自在のメモリカード２５と、表示制御部２６と、液晶表示部２７と、入力インタフェース(Ｉ／Ｆ：Interface)部２８と、操作パネル２９とを含んでいる。
【００８２】
プロセッサ２１と、メモリ２２と、通信処理部１０５と、マイクロホン１０４と、スピーカ１０６と、記録処理部２４と、表示制御部２６と、入力Ｉ／Ｆ部２８とは、バスを介して互いに接続されている。記録処理部２４は、メモリカード２５からのデータの読出処理およびメモリカード２５へのデータの書込処理を行う。また、表示制御部２６は、液晶表示部２７による表示処理を制御する。入力Ｉ／Ｆ部２８は、操作パネル２９に対する操作を示す情報をプロセッサ２１に伝達する処理を行う。
【００８３】
メモリ２２は、携帯端末１０のオペレーティングシステムとともに、プロセッサ２１が残響抑制処理を実行するためのアプリケーションプログラムを格納している。このアプリケーションプログラムは、本件開示の残響抑制方法に含まれる応答を補正する処理と音声信号を補正する処理とを実行するためのプログラムを含む。なお、上述した残響抑制処理を実行するためのアプリケーションプログラムは、例えば、メモリカード２５に記録して頒布することができる。そして、このメモリカードを記録処理部２４に装着して読み込み処理を行うことにより、残響抑制処理を実行するためのアプリケーションプログラムは、メモリ２２に格納される。また、インターネットなどのネットワークと通信処理部１０５を介して、残響抑制処理を実行するためのアプリケーションプログラムをメモリ２２に読み込ませることもできる。
【００８４】
また、上述したアプリケーションプログラムなどとともに、メモリ２２に、第１インパルス応答ｈ１(ｔ)を示す情報を格納しておくことにより、図１に示した第１保持部１０１を実現してもよい。例えば、標準的な浴室において測定したインパルス応答の波形を表す情報を、第１インパルス応答ｈ１(ｔ)を示す情報としてメモリ２２に保持させておいてもよい。なお、インパルス応答の波形を表す情報は、例えば、携帯端末１０のマイクロホン１０４の指向性を考慮して配置した音源にインパルスを出力させたときのマイクロホン１０４の出力信号を適切な周期でサンプリングすることによって得てもよい。
【００８５】
一方、図１に示した第２保持部１０２は、後述するようにして、第２インパルス応答ｈ２(ｔ)の測定を行ったときに、測定結果として得られた第２インパルス応答ｈ２(ｔ)を示す情報をメモリ２２に保持することによって実現してもよい。
【００８６】
また、プロセッサ２１は、メモリ２２に格納されたアプリケーションプログラムに含まれる応答を補正する処理のプログラムを実行することにより、図１に示した応答補正部１０３の機能を果たしてもよい。また、プロセッサ２１は、メモリ２２に格納されたアプリケーションプログラムに含まれる音声信号を補正する処理のプログラムを実行することにより、図１に示した音声補正部１１０の機能を果たしてもよい。このように、プロセッサ２１が、メモリ２２に格納されたアプリケーションプログラムを実行することにより、図１に示した残響抑制装置１００の機能を果たしてもよい。
【００８７】
図９は、本件開示の残響抑制装置１００を有する携帯端末のフローチャートの一例である。図９に示したフローチャートに含まれるステップＳ１〜ステップＳ１０の処理を、図８に示したプロセッサ２１は、各部と協働して実行する。
【００８８】
ステップＳ１において、プロセッサ２１は、入力Ｉ／Ｆ部２８を介して、利用者が操作パネル２９を操作することによって入力した指示を受け取る。次に、プロセッサ２１は、受け取った指示が、残響特性を推定するための測定を行う旨の指示であるか否かを判定する(ステップＳ２)。
【００８９】
例えば、プロセッサ２１は、携帯端末１０の詳細設定メニューに含まれる選択肢の一つとして、所望の室内におけるインパルス応答の測定を指示する項目を、表示制御部２６を介して液晶表示部２７に表示させてもよい。また、プロセッサ２１は、浴室などにおいて携帯端末１０の通話機能を利用する前に、当該浴室におけるインパルス応答の測定を促すメッセージなどを、表示制御部２６を介して液晶表示部２７に表示させてもよい。そして、入力Ｉ／Ｆ部２８からの通知により、この項目を選択する旨の操作が為されたことが示されたときに、プロセッサ２１は、ステップＳ２の肯定判定として、残響特性を推定するための測定処理を行う(ステップＳ３)。
【００９０】
図１０は、残響特性を推定するための測定処理のフローチャートである。図１０に示したステップＳ１１〜ステップＳ１８の処理は、図９に示したステップＳ３の処理の一例である。これらのステップＳ１１〜ステップＳ１８の処理を、図８に示したプロセッサ２１は、各部と協働して実行する。
【００９１】
ステップＳ１１において、プロセッサ２１は、図８に示したスピーカ１０６にインパルスを出力させることにより、第２インパルス応答ｈ２(ｔ)の測定を開始する。スピーカ１０６によって出力されたインパルスに応じて、マイクロホン１０４によって出力される音声信号から、プロセッサ２１は、第２インパルス応答ｈ２(ｔ)を表す情報を取得する(ステップＳ１２)。ステップＳ１２において、プロセッサ２１は、例えば、適切なサンプリング周期でマイクロホンの出力信号をサンプリングすることにより、第２インパルス応答ｈ２(ｔ)の波形を示す情報を取得してもよい。
【００９２】
次いで、プロセッサ２１は、ステップＳ１２で取得した第２インパルス応答ｈ２(ｔ)を示す情報をメモリ２２に保持する(ステップＳ１３)。
【００９３】
次に、プロセッサ２１は、予めメモリ２２に保持された情報で示される第１インパルス応答ｈ１(ｔ)と、ステップＳ１３で保持した情報で示される第２インパルス応答ｈ２(ｔ)とを合成することにより、補正インパルス応答ｈｗ(ｔ)を求める(ステップＳ１４)。プロセッサ２１は、例えば、図５(Ａ)，(Ｂ)に示した重み関数α(ｔ)、β(ｔ)を用いて、上述した式(１)で示した加重加算処理を行うことにより、補正インパルス応答ｈｗ(ｔ)を求めてもよい。このように、プロセッサ２１が、ステップＳ１４の処理を実行することにより、図１に示した応答補正部１０３の機能を実現してもよい。
【００９４】
なお、プロセッサ２１は、上述した加重加算処理に先立って、第１期間Ｐ１と第２期間Ｐ２との境界を示す時刻Ｔ１として、第１インパルス応答ｈ１(ｔ)と第２インパルス応答ｈ２(ｔ)とが同一の値となる時刻を検出してもよい。このようにして検出された時刻Ｔ１を境界として定義された重み関数α(ｔ)、β(ｔ)を用いた加重加算処理を行うことにより、プロセッサ２１は、第１期間Ｐ１と第２期間Ｐ２との境界付近における補正インパルス応答ｈｗ(ｔ)の連続性を保証することができる。
【００９５】
次いで、プロセッサ２１は、ステップＳ１４で得られた補正インパルス応答ｈｗ(ｔ)から、時間領域における残響音の伝達特性を示す部分インパルス応答ｈｐ(ｔ)を抽出する(ステップＳ１５)。プロセッサ２１は、例えば、ステップＳ１４で求めた補正インパルス応答ｈｗ(ｔ)に含まれる第２期間Ｐ２の部分を、部分インパルス応答ｈｐ(ｔ)として抽出してもよい。なお、プロセッサ２１は、ステップＳ１４の処理の過程で、重み関数β(ｔ)によって重み付けされた第２インパルス応答ｈ２(ｔ)を、部分インパルス応答ｈｐ(ｔ)として保持しておいてもよい。このように、プロセッサ２１が、ステップＳ１５の処理を実行することにより、図４に示した抽出部１２３の機能を実現してもよい。
【００９６】
次に、プロセッサ２１は、補正インパルス応答ｈｗ(ｔ)および部分インパルス応答ｈｐ(ｔ)をフーリエ変換する処理を行う(ステップＳ１６)。この処理により、プロセッサ２１は、例えば、補正インパルス応答スペクトルＨｗ(ω)の電力|Ｈｗ(ω)|２と部分インパルス応答スペクトルＨｐ(ω)の電力|Ｈｐ(ω)|２とを求める。プロセッサ２１は、ステップＳ１６の処理で、補正インパルス応答スペクトルＨｗ(ω)の絶対値|Ｈｗ(ω)|と、部分インパルス応答スペクトルＨｐ(ω)の絶対値|Ｈｐ(ω)|とを求めてもよい。このように、プロセッサ２１が、ステップＳ１６処理を実行することにより、図４に示した補正応答変換部１２６と部分応答変換部１２４とを実現してもよい。
【００９７】
ステップＳ１６で得られたフーリエ変換結果に基づいて、プロセッサ２１は、式(９)または式(１０)で示される残響特性係数として、比｜Ｈｐ(ω)｜２／｜Ｈｗ(ω)｜２あるいは比|Ｈｐ(ω)|／|Ｈｗ(ω)|を算出する(ステップＳ１７)。
【００９８】
このようにして、本件開示の残響抑制装置１００を有する携帯端末１０によれば、浴室などにおいて通話機能を利用するのに先立って、携帯端末１０を用いた測定によって得られた第２インパルス応答ｈ２(ｔ)に基づいて残響特性係数を算出しておくことができる。
【００９９】
その後、プロセッサ２１は、ステップＳ１７で算出した残響特性係数をメモリ２２に保持する処理を行う(ステップＳ１８)。
【０１００】
なお、プロセッサ２１は、複数の異なる特徴を持つ室内における残響を抑制する場合を考慮して、メモリ２２に、複数の異なる残響特性係数を保持させてもよい。例えば、プロセッサ２１は、第２インパルス応答ｈ２(ｔ)を測定した部屋を示す情報に対応して、ステップＳ１７の処理において算出した残響特性係数をメモリ２２に保持してもよい。また、ステップＳ１７の残響特性係数の算出処理が完了した後は、第２インパルス応答ｈ２(ｔ)を示す情報は不要となるので、メモリ２２内の第２インパルス応答ｈ２(ｔ)を示す情報を削除してもよい。一方、第１インパルス応答ｈ１(ｔ)を示す情報は、別の室内に対応する残響特性係数の算出に用いられる可能性があるので、プロセッサ２１は、ステップＳ１７の処理の完了後も、メモリ２２内の第１インパルス応答ｈ１(ｔ)を示す情報を維持する。
【０１０１】
このようにして、残響特性を推定するための測定処理を終了した後に、プロセッサ２１は、図９に示したステップＳ４の処理に進む。
【０１０２】
ステップＳ４において、プロセッサ２１は、携帯端末１０の電源をオフする操作が為されたか否かを判定する。携帯端末１０の電源をオフする操作が為されていない場合に(ステップＳ４の否定判定)、プロセッサ２１は、ステップＳ１の処理に戻る。そして、プロセッサ２１は、新たに入力される指示を受け取る。
【０１０３】
ステップＳ１で受け取った指示が、残響特性を推定するための測定を行う旨の指示でない場合に(ステップＳ２の否定判定)、プロセッサ２１は、ステップＳ５の処理に進む。そして、プロセッサ２１は、入力された指示が、携帯端末１０の通話機能を起動する指示であるか否かを判定する(ステップＳ５)。
【０１０４】
入力Ｉ／Ｆ部２８を介して受け取った指示が、通話機能を起動する指示ではない場合に(ステップＳ５の否定判定)、プロセッサ２１は、ステップＳ１で受け取った指示に対応する処理を行う(ステップＳ６)。そして、ステップＳ６の処理の終了後に、ステップＳ４の処理に進む。
【０１０５】
一方、発信処理を指示する操作など、通話機能を起動する指示が入力された場合に(ステップＳ５の肯定判定)、プロセッサ２１は、残響抑制対象の通話であるか否かを判定する(ステップＳ７)。例えば、入力Ｉ／Ｆ部２８を介して、通話機能を起動する旨の指示とともに、残響抑制モードを指定する旨の指示を受け取った場合に、プロセッサ２１は、以降の通話は、残響抑制対象の通話であると判断する(ステップＳ７の肯定判定)。そして、この場合に、プロセッサ２１は、ステップＳ８の残響を抑制する処理に進む。
【０１０６】
図１１は、周波数領域で残響を抑制する処理のフローチャートである。図１１に示したステップＳ２１〜ステップＳ２７の処理は、図９に示したステップＳ８の処理の一例である。これらのステップＳ２１〜ステップＳ２７の処理を、図８に示したプロセッサ２１は、各部と協働して実行する。
【０１０７】
プロセッサ２１は、まず、マイクロホン１０４から音声信号ｙ(ｔ)を取得する(ステップＳ２１)。プロセッサ２１は、例えば、高速フーリエ変換処理の処理単位となる１フレームに相当する時間分の音声信号ｙ(ｔ)を、所定のサンプリング周期でサンプリングすることにより、音声信号ｙ(ｔ)の波形を表す情報を得てもよい。
【０１０８】
次に、プロセッサ２１は、ステップＳ２１で取得した音声信号ｙ(ｔ)について、高速フーリエ変換処理を適用することにより、音声信号スペクトルＹ(ω)を求める(ステップＳ２２)。このように、プロセッサ２１が、ステップＳ２２の処理を実行することにより、図４に示したＦＦＴ演算処理部１２２の機能を実現してもよい。
【０１０９】
次いで、プロセッサ２１は、図１０に示したステップＳ１８でメモリ２２に保持した残響特性係数を音声信号スペクトルＹ(ω)に乗算することにより、推定残響音成分スペクトルＹｅ(ω)を求める(ステップＳ２３)。このように、プロセッサ２１が、図１０に示したステップＳ１７の処理と図１１に示したステップＳ２３の処理とをそれぞれ異なるタイミングで実行することにより、図４に示した特性算出部１２４の機能を実現してもよい。
【０１１０】
なお、メモリ２２に複数の部屋に対応して残響特性係数が保持されている場合に、プロセッサ２１は、例えば、上述した残響抑制モードを指定する旨の指示で指定された部屋に対応する残響特性係数を用いて、ステップＳ２３の処理を実行してもよい。
【０１１１】
次に、プロセッサ２１は、ステップＳ２３で求めた推定残響音成分スペクトルＹｅ(ω)に基づいて、音声信号スペクトルＹ(ω)に適用するゲインｇ(ω)を算出する(ステップＳ２４)。プロセッサ２１は、例えば、推定残響音成分スペクトルＹｅ(ω)の値で示される残響音の各周波数成分の大きさに基づいて、次に述べるようにして、当該周波数におけるゲインｇ(ω)の値を算出してもよい。
【０１１２】
ゲイン(ω)の値は、推定残響音成分スペクトルＹｅ(ω)の値で示される残響音の各周波数成分が大きいほど小さい値となることが望ましい。これにより、残響音成分の大きさに応じて、残響音を抑制する作用を調整することができる。なお、ゲインｇ(ω)の値に、以下に述べるようにして、上限と下限を設けてもよい。
【０１１３】
図１２は、ゲインの算出処理を説明する図である。図１２に示した実線のグラフは、推定残響音成分スペクトルＹｅ(ω)の値で示される残響音成分の大きさとゲインｇ(ω)の値との関係の一例を示す。
【０１１４】
図１２に例示したグラフにおいて、残響音成分の大きさが後述する閾値Ｔｈ１未満である範囲に対応するゲインｇ(ω)は、ゲインの上限値１である。また、残響音成分の大きさが閾値Ｔｈ１以上であって別の閾値Ｔｈ２以下である範囲に対応するゲインｇ(ω)の値は、残響音成分の大きさに応じて、上限値１から下限値ｇ０まで単調に減少する。一方、残響音成分の大きさが閾値Ｔｈ２を超える範囲に対応するゲインｇ(ω)は、ゲインの下限値ｇ０である。
【０１１５】
プロセッサ２１は、図１２に示したような関係に基づいて、推定残響音成分スペクトルＹｅ(ω)の値で示される残響音成分の大きさに対応するゲインｇ(ω)を決定することにより、図１に示したゲイン算出部１１３の機能を果たしてもよい。
【０１１６】
なお、図１２に示した閾値Ｔｈ１は、例えば、携帯端末１０の通話機能が利用される環境において想定される背景雑音の大きさを示す値に基づいて、予め決定しておいてもよい。なお、閾値Ｔｈ１の値は、騒音レベルを尺度に用いて表してもよい。また、閾値Ｔｈ２は、上述したゲインの下限値ｇ０を適用して残響抑制を行った場合に、残響抑制後の音声に歪が現れる残響音成分の大きさを調べる実験を行って得られた結果などに基づいて予め決定しておいてもよい。
【０１１７】
このようにしてゲインｇ(ω)を算出した後に、プロセッサ２１は、図１１に示したステップＳ２５の処理に進む。ステップＳ２５で、プロセッサ２１は、音声信号スペクトルＹ(ω)と、ステップＳ２４で求めたゲインｇ(ω)とを乗算することにより、補正音声信号スペクトルＹ’(ω)を求める処理を行う。このように、プロセッサ２１が、ステップＳ２５の処理を実行することにより、図１に示した乗算部１１４の機能を実現してもよい。
【０１１８】
次いで、プロセッサ２１は、補正音声信号スペクトルＹ’(ω)に対して、高速逆フーリエ変換処理を適用することにより、補正音声信号ｙ’(ｔ)を求める(ステップＳ２６)。そして、プロセッサ２１は、ステップＳ２６で求めた補正音声信号ｙ’(ｔ)を、マイクロホン１０４で得られた音声信号ｙ(ｔ)の代わりに通信処理部１０５に入力する(ステップＳ２７)。このように、プロセッサ２１が、ステップＳ２６、Ｓ２７の処理を実行することにより、図４に示した逆ＦＦＴ演算処理部１２７の機能を実現してもよい。
【０１１９】
上述したステップＳ２１〜ステップＳ２７の処理の実行を完了した後に、プロセッサ２１は、図９に示したステップＳ１０において、通話の終了が指示されたか否かを判定する。
【０１２０】
プロセッサ２１は、例えば、入力Ｉ／Ｆ部２８から通話を終了する操作が行われた旨の通知を受け取るまで、ステップＳ７、ステップＳ８およびステップＳ１０の処理を繰り返す。これにより、利用者が浴室などの残響音が大きくなる環境において携帯端末１０の通話機能を利用する際に、マイクロホン１０４で得られる音声信号ｙ(ｔ)に含まれる残響音成分を適切に抑制することができる。
【０１２１】
一方、図９に示したステップＳ７において、入力Ｉ／Ｆ部２８を介して、通話機能を起動する旨の指示のみを受け取った場合に、プロセッサ２１は、以降の通話は、残響抑制処理が不要な通常の通話であると判断する(ステップＳ７の否定判定)。この場合に、プロセッサ２１は、従来と同様に、マイクロホン１０４で得られた音声信号ｙ(ｔ)をそのまま通信処理部１０５に渡す通常通話処理を実行する。そして、ステップＳ１０で通話が終了したと判定されるまで、プロセッサ２１は、ステップＳ７、ステップＳ９およびステップＳ１０の処理を繰り返す。
【０１２２】
そして、入力Ｉ／Ｆ部２８から通話を終了する操作が行われた旨の通知を受け取ったときに、プロセッサ２１は、ステップＳ１０の肯定判定として、ステップＳ４の処理に進む。
【０１２３】
このようにして、本件開示の残響抑制装置１００を有する携帯端末１０は、利用者からの指示に応じて、利用者が携帯端末１０の通話機能を利用する環境が残響抑制の対象である場合に限って、適切な残響抑制を適用することができる。
【０１２４】
なお、図１に示した応答補正部１０３が補正インパルス応答ｈｗ(ｔ)を求める手法は、第１インパルス応答ｈ１(ｔ)の第１期間Ｐ１の部分を、第２インパルス応答ｈ２(ｔ)の波形に反映する手法であれば他の手法でもよい。例えば、第２インパルス応答ｈ２(ｔ)の第１期間Ｐ１の部分を第１インパルス応答ｈ１(ｔ)の対応する部分に一致させるように補正することにより、補正インパルス応答ｈｗ(ｔ)を求めてもよい。
【０１２５】
また、補正インパルス応答ｈｗ(ｔ)に基づいて、音声信号ｙ(ｔ)に含まれる残響音成分を時間領域において抑制することも可能である。
【０１２６】
図１３は、残響抑制装置１００の別実施形態を示している。なお、図１３に示した構成要素のうち、図１に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
【０１２７】
図１３に例示した応答増幅部１３１は、第２保持部１０２に保持された情報で示される第２インパルス応答ｈ２(ｔ)から補正インパルス応答ｈｗ(ｔ)を生成する応答補正部１０３の一例である。また、図１３に例示した音声補正部１１０は、係数算出部１３３と残響抑制フィルタ１３４とを含んでいる。
【０１２８】
また、図１３に示した第１保持部１０１は、第１インパルス応答ｈ１(ｔ)を示す情報として、第２インパルス応答ｈ２(ｔ)の第１期間Ｐ１の部分の波形を第１インパルス応答ｈ１(ｔ)の波形に近づけるための重み関数γ(ｔ)を表す情報を保持している。
【０１２９】
図１４(Ａ)，(Ｂ)は、重み関数γ(ｔ)の例を示している。なお、図１４に示した要素のうち、図５に示した要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
【０１３０】
図１４(Ａ)に示したグラフは、第１期間Ｐ１において、第１インパルス応答ｈ１(ｔ)のピークと第２インパルス応答ｈ２(ｔ)のピークとの比に相当する初期値ａ１を維持する重み関数γ(ｔ)の一例である。一方、図１４(Ｂ)に示したグラフは、第１期間Ｐ１において、初期値ａ１から数値１まで単調に減少する重み関数γ(ｔ)の一例である。
【０１３１】
なお、重み関数γ(ｔ)の値は、第２期間Ｐ２においては、第２インパルス応答ｈ２(ｔ)の波形を補正インパルス応答ｈｗ(ｔ)にそのまま反映させるために、固定値１とすることが望ましい。
【０１３２】
また、初期値ａ１は、例えば、次のようにして求めることができる。同一の室内において、理想的な位置に配置した音源でインパルス発生させた場合と、携帯端末１０のスピーカ１０６でインパルスを発生させた場合とに付き、マイクロホン１０４の出力信号の波形をそれぞれ取得する。そして、例えば、理想的な配置でのインパルスに対応する出力信号の波形のピークと、第２インパルス応答ｈ２(ｔ)の取得と同様の配置でのインパルスに対応する出力信号の波形のピークとの比に基づいて、上述した初期値ａ１を決定してもよい。
【０１３３】
また、図１３に示した応答増幅部１３１は、このような重み関数γ(ｔ)を第２インパルス応答ｈ２(ｔ)の波形に対して乗算する処理を行う。これにより、図６(Ａ)に示したような第２インパルス応答ｈ２(ｔ)の第１期間Ｐ１の部分を選択的に増幅し、図６(Ｂ)に示した補正インパルス応答ｈｗ(ｔ)に近似した補正インパルス応答ｈｗ(ｔ)を生成することができる。
【０１３４】
図１３に示した残響抑制フィルタ１３４は、特性係数ベクトルＣ[ｃ(０)，ｃ(１)，…ｃ(Ｔ２)]によって示される残響抑圧フィルタである。また、係数算出部１３３は、式(１１)に基づいて、残響抑制フィルタ１３４の特性を示す特性係数ベクトルＣに含まれる各要素ｃ(０)，ｃ(１)，…ｃ(Ｔ２)を算出する。
Ｃ＝Ｒ−１・ｑ ・・・(１１)
なお、式(１１)において、特性係数ベクトルＣは、補正インパルス応答ｈｗ(ｔ)を示す行列ｈｗの自己相関行列Ｒの逆行列と、インパルスＩｐと行列ｈｗとの相互相関ベクトルｑとの積で表される。なお、行列ｈｗの自己相関行列Ｒの定義を式(１２)に示し、また、インパルスＩｐと行列ｈｗとの相互相関ベクトルｑの定義を式(１３)に示す。
Ｒ＝ｈｗＴ・ｈｗ ・・・(１２)
ｑ＝Ｉｐ・ｈｗ ・・・(１３)
図１３に示した音声補正部１１０は、マイクロホン１０４からの音声信号ｙ(ｔ)を、上述した式(１１)で示される特性係数ベクトルＣが設定された残響抑制フィルタ１３４に入力することにより、残響音成分が抑制された補正音声信号ｙ’(ｔ)を得る。
【０１３５】
なお、残響抑制フィルタ１３４の出力として得られる補正音声信号ｙ’(ｔ)は、特性係数ベクトルＣに含まれる各要素ｃ(０)，ｃ(１)，…ｃ(Ｔ２)と音声信号ｙ(ｔ)とを用いて、式(１４)のように表される。
【０１３６】
【数４】
【０１３７】
図１３に例示した残響抑制装置１００も、図８に例示したプロセッサ２１およびメモリ２２を含む携帯端末１０のハードウェアと、メモリ２２に格納されたプログラムとを協働させることによって実現することができる。
【０１３８】
図１３に例示した残響抑制装置１００を、図８に例示した携帯端末１０のハードウェアを用いて実現する場合に、メモリ２２に格納されるアプリケーションプログラムは、応答増幅部１３１の処理をプロセッサ２１に実行させるためのプログラムを含む。また、メモリ２２に格納されるアプリケーションプログラムは、係数算出部１３３の処理および残響抑制フィルタ１３４の処理をプロセッサ２１に実行させるためのプログラムを含んでもよい。
【０１３９】
また、上述した重み関数γ(ｔ)は、上述したアプリケーションプログラムなどとともに、第１インパルス応答ｈ１(ｔ)を示す情報として、メモリ２２に保持させることができる。
【０１４０】
なお、図１４(Ａ)，(Ｂ)に示したような重み関数γ(ｔ)は、第１インパルス応答ｈ１(ｔ)の波形に比べて少ない情報量で表すことができるので、本件開示の残響抑制装置１００のために、携帯端末１０のメモリ２２に保持させる情報の容量を抑制することができる。
【０１４１】
図１５は、本件開示の残響抑制装置を有する携帯端末のフローチャートの一例である。なお、図１５に示すステップのうち、図９に示したフローチャートに含まれるステップと同等の処理を行うものについては、同一の符号を付して示し、その説明を省略する。
【０１４２】
図１５のフローチャートに従って処理を実行する場合に、プロセッサ２１は、ステップＳ２の肯定判定に応じて、図９に示したステップＳ３の処理の代わりに、ステップＳ３１において、上述した特性係数ベクトルＣを算出する処理を行う。
【０１４３】
図１６は、特性係数ベクトルＣを算出する処理のフローチャートの一例である。なお、図１６に示すステップのうち、図１０に示したフローチャートに含まれるステップと同等の処理を行うものについては、同一の符号を付して示し、その説明を省略する。
【０１４４】
図１６に示したステップＳ１１〜ステップＳ１３およびステップＳ３３〜ステップＳ３５の処理は、図１５に示したステップＳ３１の処理の一例である。図８に示したプロセッサ２１は、これらのステップＳ１１〜ステップＳ１３およびステップＳ３３〜ステップＳ３５の処理を、携帯端末１０に含まれる各部と協働して実行する。
【０１４５】
プロセッサ２１は、ステップＳ１１〜ステップＳ１３の処理によって第２インパルス応答ｈ２(ｔ)を取得した後に、ステップＳ３３の処理に進む。このステップＳ３３において、プロセッサ２１は、第２インパルス応答ｈ２(ｔ)に上述した重み関数γ(ｔ)を乗算して適用することにより、補正インパルス応答ｈｗ(ｔ)を生成する。このように、プロセッサ２１が、ステップＳ３３の処理を実行することにより、図１３に示した応答増幅部１３１の機能を実現してもよい。
【０１４６】
次に、プロセッサ２１は、上述した式(１１)〜式(１３)に基づいて、特性係数ベクトルＣを算出する処理を行う(ステップＳ３４)。そして、プロセッサ２１は、ステップＳ３４で算出した特性係数ベクトルＣをメモリ２２に保持する処理を行い(ステップＳ３５)、この処理の完了後に、図１５に示したステップＳ４の処理に進む。
【０１４７】
図１５に示したステップＳ７の肯定判定の場合に、プロセッサ２１は、マイクロホン１０４で取得される音声信号ｙ(ｔ)に含まれる残響音成分を時間領域で抑制する処理を実行する(ステップＳ３２)。
【０１４８】
図１７は、時間領域で残響を抑制する処理のフローチャートである。なお、図１７に示すステップのうち、図１１に示したフローチャートに含まれるステップと同等の処理を行うものについては、同一の符号を付して示し、その説明を省略する。
【０１４９】
図１７に示したステップＳ２１、ステップＳ３６およびステップＳ２７の処理は、図１５に示したステップＳ３２の処理の一例である。図８に示したプロセッサ２１は、これらのステップＳ２１、ステップＳ３６およびステップＳ２７の処理を、携帯端末１０に含まれる各部と協働して実行する。
【０１５０】
図１７に示したステップＳ３６において、プロセッサ２１は、上述した式(１４)に基づき、ステップＳ２１で取得した音声信号ｙ(ｔ)と特性係数ベクトルＣとの畳み込みとして、補正音声信号ｙ’(ｔ)を算出する処理を行う。このように、プロセッサ２１が、ステップＳ３６の処理を実行することにより、残響抑制フィルタ１３４の機能を実現してもよい。
【０１５１】
補正音声信号ｙ’(ｔ)の算出に用いられる特性係数ベクトルＣは、式(１１)〜式(１３)から明らかなように、補正インパルス応答ｈｗ(ｔ)で表される残響音成分が音声信号ｙ(ｔ)に与える影響をキャンセルするように求められている。
【０１５２】
したがって、本件開示の残響抑制装置１００の応答補正部１０３により、第２インパルス応答ｈ２(ｔ)に基づいて、精密な測定で得られるインパルス応答と同等の補正インパルス応答ｈｗ(ｔ)を取得可能としたことは、時間領域での残響抑制にも有用である。
【０１５３】
なお、応答補正部１０３において、補正インパルス応答ｈｗ(ｔ)を求める手法として例示した２つの手法と、音声補正部１１０において、補正音声信号ｙ’(ｔ)を求めるための２つの手法とは、以上に説明した例に限らず、如何様にも組み合わせることができる。例えば、第２インパルス応答ｈ２(ｔ)の第１期間Ｐ１の部分を増幅する手法と、音声補正部１１０において、音声信号ｙ(ｔ)に含まれる残響音成分を周波数領域で抑制する手法とを組み合わせてもよい。
【符号の説明】
【０１５４】
１０…携帯端末；２１…プロセッサ；２２…メモリ；２４…記録処理部；２５…メモリカード；２６…表示制御部；２７…液晶表示部；２８…入力インタフェース(Ｉ／Ｆ)部；２９…操作パネル；１００…残響抑制装置；１０１…第１保持部；１０２…第２保持部；１０３…応答補正部；１０４…マイクロホン；１０５…通信処理部；１０６，１０７…スピーカ；１１０…音声補正部；１１１…変換部；１１２…推定部；１１３…ゲイン算出部；１１４…乗算部；１１５…逆変換部；１２１…加重加算部；１２２…高速フーリエ変換(ＦＦＴ)演算部；１２３…抽出部；１２４…部分応答変換部；１２５…特性算出部；１２６…補正応答変換部；１２７…逆ＦＦＴ演算部；１３１…応答増幅部；１３３…係数算出部；１３４…残響抑制フィルタ
【技術分野】
【０００１】
本件開示は、マイクロホンとスピーカを有する携帯端末のマイクロホンへの入力音声について残響を抑制する残響抑制装置および残響抑制方法並びに残響抑制プログラムに関する。
【背景技術】
【０００２】
利用者が室内において携帯端末の通話機能を利用する際に、利用者が発した音声は、直接的にマイクロホンに到達する他に、周囲の壁や天井などで反射した後にもマイクロホンに到達する。以下の説明では、マイクロホンに直接的に到達する音声を直接音と称し、周囲の壁や天井などで反射した後にマイクロホンに到達する音声を残響音と称する。また、音声の到達に応じてマイクロホンによって出力される、当該音声に対応する出力信号を音声信号と称する。
【０００３】
例えば、浴室のような比較的狭い室内では、居間などの他の場所に比べて、周囲から反射された残響音が大きい。このため、浴室などで携帯端末の通話機能を利用する場合には、直接音に重畳された残響音のために、マイクロホンで得られる音声信号から明瞭な音声を再生することが困難になる場合がある。
【０００４】
マイクロホンで得られる音声信号から残響音の成分を除去する技術として、例えば、個々の利用形態に応じて配置した音源とマイクロホンによって予めインパルス応答を測定し、このインパルス応答を利用する技術が提案されている(非特許文献１参照)。非特許文献１に開示された技術は、例えば、残響音の除去を適用する各室内において測定したインパルス応答に基づいて逆フィルタを求め、この逆フィルタを、マイクロホンによって得られた観測信号に適用することにより、残響音を抑制する。
【０００５】
また、音声信号の時系列に関する確率モデルに基づいて、音声信号がより音声信号らしい信号になるように逆フィルタを推定することによって、個々の環境で測定したインパルス応答によらずに逆フィルタを求める技術も提案されている(特許文献１参照)。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−２９２８４５号公報
【非特許文献】
【０００７】
【非特許文献１】Miyoshi, M., and Kaneda, Y., “Inverse filtering of room acous-tics,” IEEE Trans. ASSP, 36(2), pp. 145-152, 1988.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
防水機能を有する携帯端末の普及に伴って、携帯端末の通話機能が利用される環境は、浴室などにも拡大している。一方、浴室などで携帯端末の通話機能を利用する場合に、残響音による通話音声の明瞭性の低下が顕著であるため、良好な通話のためには、残響音を除去することが望ましい。
【０００９】
ところで、上述した非特許文献１の技術を用いるためには、利用者それぞれの浴室での利用を想定して音源とマイクロホンとを配置した上で、当該浴室におけるインパルス応答を測定することが望ましい。しかし、個々の利用者が、インパルス応答の測定に適した音源を準備し、しかも、携帯端末に搭載されたマイクロホンの指向性などを考慮して適切に配置することは困難である。
【００１０】
一方、特許文献１の技術では、室内インパルス応答の測定が不要である代わりに、残響音の抑制に先立って、逆フィルタを収束させる時間が必要となる。
【００１１】
本件開示は、携帯端末に搭載されたスピーカとマイクロホンを用いて測定したインパルス応答を利用して残響音を抑制する残響抑制装置および残響抑制方法並びに残響抑制プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
一つの観点による残響抑制装置は、携帯端末に搭載されたスピーカ又はマイクロホンの指向性に基づいて配置された音源がインパルスを出力した際に前記マイクロホンが出力する信号から得られる第１インパルス応答を示す情報を予め保持する第１保持部と、残響音を抑制する対象となる室内において、前記携帯端末に搭載されたスピーカがインパルスを出力した際に前記マイクロホンが出力する信号から得られる第２インパルス応答を示す情報を保持する第２保持部と、前記第１インパルス応答を示す情報を用いて、前記第２保持部に保持された情報で示される前記第２インパルス応答を補正することにより、前記室内の環境を反映した補正インパルス応答を求める応答補正部と、前記補正インパルス応答に基づいて、前記室内において前記マイクロホンに音声が入力される際に当該マイクロホンによって得られる音声信号を補正する音声補正部とを有する。
【００１３】
また、別の観点による残響抑制方法は、携帯端末に搭載されたスピーカ又はマイクロホンの指向性に基づいて配置された音源がインパルスを出力した際に前記マイクロホンが出力する信号から得られる第１インパルス応答を示す情報を用いて、残響音を抑制する対象となる室内において前記携帯端末に搭載されたスピーカがインパルスを出力した際に前記マイクロホンが出力する信号から得られる第２インパルス応答を補正することにより、前記室内の環境を反映した補正インパルス応答を求め、前記補正インパルス応答に基づいて、前記室内において前記マイクロホンに音声が入力される際に当該マイクロホンによって得られる音声信号を補正する。
【００１４】
更に別の観点による残響抑制プログラムは、携帯端末に搭載されたスピーカ又はマイクロホンの指向性に基づいて配置された音源がインパルスを出力した際に前記マイクロホンが出力する信号から得られる第１インパルス応答を示す情報を用いて、残響音を抑制する対象となる室内において前記携帯端末に搭載されたスピーカがインパルスを出力した際に前記マイクロホンが出力する信号から得られる第２インパルス応答を補正することにより、前記室内の環境を反映した補正インパルス応答を求め、前記補正インパルス応答に基づいて、前記室内において前記マイクロホンに音声が入力される際に当該マイクロホンによって得られる音声信号を補正する処理をコンピュータに実行させる。
【発明の効果】
【００１５】
本件開示の残響抑制装置および残響抑制方法並びに残響抑制プログラムによれば、携帯端末に搭載されたスピーカとマイクロホンを用いて測定したインパルス応答を利用して残響音を抑制することができる。
【図面の簡単な説明】
【００１６】
【図１】残響抑制装置の一実施形態を示す図である。
【図２】スピーカとマイクロホンの配置を説明する図である。
【図３】インパルス応答の例を示す図である。
【図４】残響抑制装置の別実施形態を示す図である。
【図５】重み関数の例を示す図である。
【図６】インパルス応答の合成を説明する図である。
【図７】推定残響音成分スペクトルの例を示す図である。
【図８】携帯端末のハードウェア構成の一例を示す図である。
【図９】残響抑制装置を有する携帯端末のフローチャートの一例を示す図である。
【図１０】残響特性を推定するための測定処理のフローチャートである。
【図１１】周波数領域で残響を抑制する処理のフローチャートである。
【図１２】ゲインの算出処理を説明する図である。
【図１３】残響抑制装置の別実施形態を示す図である。
【図１４】重み関数の例を示す図である。
【図１５】残響抑制装置を有する携帯端末のフローチャートの別例を示す図である。
【図１６】特性係数ベクトルＣを算出する処理のフローチャートである。
【図１７】時間領域で残響を抑制する処理のフローチャートである。
【発明を実施するための形態】
【００１７】
以下、図面に基づいて、本発明の実施形態について詳細に説明する。
【００１８】
図１は、残響抑制装置の一実施形態を示している。図１に例示した残響抑制装置１００は、例えば、携帯電話などの通話機能を持つ携帯端末に搭載されたマイクロホン１０４によって得られた音声信号ｙ(ｔ)に含まれる残響成分を抑制することにより、補正音声信号ｙ’(ｔ)を生成する。そして、残響抑制装置１００は、この補正音声信号ｙ’(ｔ)を通信処理部１０５に渡すことにより、浴室などにおいて、利用者が携帯端末の通話機能を利用する際の通話音声の明瞭化を図る。なお、本件開示の残響抑制装置１００は、通話機能を持つ携帯型の情報端末や携帯ゲーム機、また、電話機の子機などにも適用することができる。
【００１９】
図１に例示した残響抑制装置１００は、第１保持部１０１と、第２保持部１０２と、応答補正部１０３と、音声補正部１１０とを含んでいる。
【００２０】
第１保持部１０１は、例えば、携帯端末の初期設定データの一部として、後述する第１インパルス応答ｈ１(ｔ)を保持している。この第１インパルス応答ｈ１(ｔ)は、例えば、標準的な残響特性を持つ浴室内において、音源をマイクロホン１０４の指向性に合わせて配置した状態で、この音源によってインパルスを出力させた際に、マイクロホン１０４によって観測される信号である。
【００２１】
また、第２保持部１０２は、マイクロホン１０４を介して入力される音声信号ｙ(ｔ)に対する残響抑制処理に先立って、後述する第２インパルス応答ｈ２(ｔ)を保持する。第２インパルス応答ｈ２(ｔ)は、例えば、図１に示した入力端子Ｐｉｎを介して携帯端末１００に搭載されたスピーカ１０６に入力信号δ(ｔ)を与えた際に、このスピーカ１０６が出力するインパルスに応じて、マイクロホン１０４によって観測される信号である。なお、入力信号δ(ｔ)は、例えば、時刻ｔ＝Ｔ０で所定の値ｄを持ち、時刻Ｔ０以外の時刻ｔにおいてδ(ｔ)＝０となるように変化する信号でもよい。
【００２２】
図２は、マイクロホン１０４とスピーカ１０６の配置を説明する図である。図２(Ａ)は、携帯端末の正面におけるマイクロホン１０４とスピーカ１０６の配置の一例を示す。また、図２(Ｂ)に示した符号Ｖ１は、スピーカ１０６によって出力される音声が持つ指向性の向きを示し、また、符号Ｖ２は、マイクロホン１０４の感度が持つ指向性の方向を示す。
【００２３】
図２(Ａ)，(Ｂ)に例示したように、マイクロホン１０４は、利用者が携帯端末を用いて通話する際に、利用者の口元に近接し、利用者が発した音声に対して指向性を持つように配置される。同様に、スピーカ１０６は、利用者が携帯端末を用いて通話する際に、利用者の耳元に近接し、利用者の耳に向かう方向に指向性を持つように配置される。このように、携帯端末に搭載されたスピーカ１０６は、利用者が携帯端末を用いて通話する際のマイクロホン１０４と利用者の口元との距離に比べて遠くに配置されている。しかも、スピーカ１０６から出力される音波の方向もマイクロホン１０４に向かう方向から外れている。
【００２４】
スピーカ１０６からマイクロホン１０４に直接的に到達する直接音は、スピーカ１０６とマイクロホン１０４との距離および指向性の影響を受ける。このため、携帯端末に搭載されたスピーカ１０６を用いてインパルスを発生させた場合の直接音は、利用者の口元に当たる位置に配置した音源でインパルスを発生させた場合に比べて大きく減衰する。
【００２５】
一方、インパルスに応じて生じる残響音は、スピーカ１０６とマイクロホン１０４との距離や指向性の影響が少ない。このため、携帯端末に搭載されたスピーカ１０６を用いてインパルスを発生させた場合にマイクロホン１０４に到達する残響音は、利用者の口元に当たる位置に配置した音源でインパルスを発生させた場合にマイクロホン１０４に到達する残響音とほぼ同等である。
【００２６】
なお、図２(Ｂ)に、図３で説明するインパルス応答ｈ(ｔ)−Ａ、ｈ(ｔ)−Ｂの取得に好適な音源の配置例を示した。図２(Ｂ)に音源として例示したスピーカ１０７の位置は、利用者が携帯端末の通話機能を利用する際に利用者の口元に当たる位置である。
【００２７】
図３は、インパルス応答の例を示している。図３に示した符号ｈ(ｔ)−Ａは、浴室Ａにおけるインパルス応答の例である。また、符号ｈ(ｔ)−Ｂで示したグラフは、浴室Ｂにおけるインパルス応答の例である。一方、図３に符号ｈ２(ｔ)−Ａは、浴室Ａにおいて携帯端末のスピーカ１０６およびマイクロホン１０４を用いて得た第２インパルス応答の例である。また、符号ｈ２(ｔ)−Ｂで示したグラフは、別の浴室Ｂにおいて携帯端末のスピーカ１０６およびマイクロホン１０４を用いて得た第２インパルス応答の例である。
【００２８】
インパルス応答ｈ(ｔ)−Ａは、浴室Ａにおいて、マイクロホン１０４に対向させて音源を配置し、この音源に入力信号δ(ｔ)を与えてインパルスを発生させた際に、マイクロホン１０４の出力信号として得られる。同様に、インパルス応答ｈ(ｔ)−Ｂは、浴室Ｂにおいて、マイクロホン１０４に対向させて音源を配置し、この音源に入力信号δ(ｔ)を与えてインパルスを発生させた際に、マイクロホン１０４の出力信号として得られる。
【００２９】
図３に例示したインパルス応答ｈ(ｔ)−Ａと第２インパルス応答ｈ２(ｔ)−Ａとを比較すると、インパルスの発生時刻から約２０ｍｓｅｃが経過した時刻Ｔ１以降の期間においては、インパルス応答ｈ(ｔ)−Ａと第２インパルス応答ｈ２(ｔ)−Ａとは、ほぼ同様に変化している。これに対して、上述した時刻Ｔ１までの期間において、各時刻における電力の差が大きくなっている。また、図３に例示したインパルス応答ｈ(ｔ)−Ｂと第２インパルス応答ｈ２(ｔ)−Ｂとを比較した場合にも、同様の傾向が認められる。
【００３０】
ここで、図３に例示したインパルス応答において、インパルスの発生時刻から時刻Ｔ１までの期間は、マイクロホン１０４に主として直接音が到達する期間であり、時刻Ｔ１以降の期間は、マイクロホン１０４に主として残響音が到達する期間である。以下の説明では、マイクロホン１０４に主として直接音が到達する期間を第１期間Ｐ１と称し、また、マイクロホン１０４に主として残響音が到達する期間を第２期間Ｐ２と称する。なお、第２期間Ｐ２は、例えば、インパルスの発生時刻から所定の時間が経過した時刻Ｔ２までの期間に制限してもよい。この所定の時間は、例えば、標準的な浴室において残響音が減衰するまでに要する時間(例えば、４００ｍｓｅｃ)に基づいて、予め決定しておいてもよい。
【００３１】
第２インパルス応答ｈ２(ｔ)−Ａとインパルス応答ｈ(ｔ)−Ａとの第１期間Ｐ１の部分における電力の差異は、携帯端末においてスピーカ１０６とマイクロホン１０４とが離れて配置されていることによる減衰を示している。同様に、第２インパルス応答ｈ２(ｔ)−Ｂの第１期間Ｐ１の部分における電力は、インパルス応答ｈ(ｔ)−Ｂの第１期間Ｐ１の部分における電力に比べて減衰していることが分かる。このような減衰があることが、携帯端末のスピーカ１０６を音源として、残響音の抑制の対象となる部屋ごとにインパルス応答を取得する場合の課題となっていた。
【００３２】
ところで、図３に例示した２つのインパルス応答ｈ(ｔ)−Ａ、ｈ(ｔ)−Ｂとを比較すると、上述した第２期間Ｐ２の電力は大きく異なっているにもかかわらず、第１期間Ｐ１においては、２つのグラフがほぼ重なり合っていることが分かる。
【００３３】
このように、第１期間Ｐ１において、インパルス応答を示す波形は、測定対象となる室内の環境にかかわらず、ほぼ同一の特徴を持つ。つまり、互いに特徴の異なる浴室Ａのインパルス応答ｈ(ｔ)−Ａの第１期間Ｐ１の部分と浴室Ｂのインパルス応答ｈ(ｔ)−Ｂの第１期間Ｐ１の部分とは、互いに置き換えが可能である。したがって、例えば、浴室Ａのインパルス応答ｈ(ｔ)−Ａと、浴室Ｂの第２インパルス応答ｈ２(ｔ)−Ｂとを組み合わせることにより、浴室Ｂのインパルス応答ｈ(ｔ)−Ｂとほぼ同等の補正インパルス応答を得ることができる。
【００３４】
このことを利用することにより、携帯端末のスピーカ１０６とマイクロホン１０４とを用いた測定に基づいて個々の利用環境における正確なインパルス応答を取得することを妨げていた課題を解決することができる。
【００３５】
つまり、図１に示した第１保持部１０１に保持された第１インパルス応答ｈ１(ｔ)と、所望の室内において取得される第２インパルス応答ｈ２(ｔ)とから、この室内における直接音および残響音の伝達特性を反映した補正インパルス応答ｈｗ(ｔ)を得ることができる。
【００３６】
図１に示した応答補正部１０３は、第１保持部１０１に保持された第１インパルス応答ｈ１(ｔ)を示す情報を用いて、第２保持部に保持された情報で示される第２インパルス応答ｈ２(ｔ)を補正することにより、補正インパルス応答ｈｗ(ｔ)を生成する。応答補正部１０３は、第１インパルス応答ｈ１(ｔ)と第２インパルス応答ｈ２(ｔ)とを後述するようにして合成することによって、補正インパルス応答ｈｗ(ｔ)を生成してもよい。また、応答補正部１０３は、第１インパルス応答ｈ１(ｔ)の第１期間Ｐ１における電力に一致するように、第２インパルス応答ｈ２(ｔ)の第１期間Ｐ１の部分を増幅することにより、補正インパルス応答ｈｗ(ｔ)を生成してもよい。
【００３７】
このように、本件開示の残響抑制装置１００によれば、携帯端末に搭載されたスピーカ１０６とマイクロホン１０４を用いて得られる第２インパルス応答ｈ２(ｔ)を利用して、所望の室内における残響音の抑制に有用な補正インパルス応答ｈｗ(ｔ)を得ることができる。
【００３８】
なお、図１に示した第１保持部１０１に保持させる第１インパルス応答ｈ１(ｔ)を示す情報は、携帯端末の開発段階などにおいて、マイクロホン１０４を用いて第１インパルス応答ｈ１(ｔ)を実測することによって取得してもよい。例えば、図２(Ｂ)に示したように、利用者の口元に当たる位置に配置したスピーカ１０７にインパルスを出力させ、この際に、マイクロホン１０４で得られる音声信号を、第１インパルス応答ｈ１(ｔ)として抽出してもよい。
【００３９】
上述したようにして、応答補正部１０３によって生成された補正インパルス応答ｈｗ(ｔ)に基づいて、図１に示した音声補正部１１０は、マイクロホン１０４からの音声信号ｙ(ｔ)に含まれる残響音を抑制する処理を行う。
【００４０】
図１に例示した音声補正部１１０は、変換部１１１と、推定部１１２と、ゲイン算出部１１３と、乗算部１１４と、逆変換部１１５とを含んでいる。
【００４１】
変換部１１１は、音声信号ｙ(ｔ)を周波数領域の音声信号スペクトルＹ(ω)に変換する。ここで、ωは角周波数である。推定部１１２は、上述した補正インパルス応答ｈｗ(ｔ)を補正インパルス応答スペクトルＨｗ(ω)に変換し、補正インパルス応答スペクトルＨｗ(ω)と、上述した周波数領域の信号Ｙ(ω)とに基づいて、音声信号スペクトルＹ(ω)に含まれる残響音の成分の周波数特性を推定する。なお、図１および以下の説明では、推定部１１２により、音声信号スペクトルＹ(ω)に含まれると推定された残響音の成分の周波数特性を、推定残響音成分スペクトルＹｅ(ω)と称する。
【００４２】
このようにして得られた推定残響音成分スペクトルＹｅ(ω)に基づいて、ゲイン算出部１１３は、残響音成分を抑制するように、音声信号スペクトルＹ(ω)に適用するゲインｇ(ω)を算出する。そして、乗算部１１４は、音声信号スペクトルＹ(ω)にゲインｇ(ω)を乗算する処理を行うことにより、残響音成分が抑制された補正音声信号スペクトルＹ’(ω)を得る。
【００４３】
この補正音声信号スペクトルＹ’(ω)に対して、逆変換部１１５は、変換部１１１による変換の逆変換処理を行うことにより、残響成分が抑制された時間領域の補正音声信号ｙ’(ｔ)を得る。
【００４４】
上述したように、図１に例示した音声補正部１１０を有する残響抑制装置１００によれば、音声信号ｙ(ｔ)に含まれる残響音の成分を、上述した補正インパルス応答スペクトルＨｗ(ω)に基づく周波数領域における処理によって抑制することができる。
【００４５】
図４は、残響抑制装置の別実施形態を示している。なお、図４に示した構成要素のうち、図１に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
【００４６】
図４に示した加重加算部１２１は、図１に示した応答補正部１０３の一例である。この加重加算部１２１は、第１保持部１０１に保持された第１インパルス応答ｈ１(ｔ)の波形を示す情報と、第２保持部１０２に保持された第２インパルス応答ｈ２(ｔ)の波形を示す情報とを加重加算することにより、補正インパルス応答ｈｗ(ｔ)を生成する。
【００４７】
加重加算部１２１は、加重加算処理として、例えば、式(１)に示すように、重み関数α(ｔ)を用いて重み付けした第１インパルス応答ｈ１(ｔ)と、重み関数β(ｔ)を用いて重み付けした第２インパルス応答ｈ２(ｔ)とを足し合わせる処理を行ってもよい。
ｈｗ(ｔ)＝α(ｔ)・ｈ１(ｔ)＋β(ｔ)・ｈ２(ｔ) ・・・(１)
なお、上述した第１期間Ｐ１において、重み関数α(ｔ)は、重み関数β(ｔ)が第２インパルス応答ｈ２(ｔ)に与える重みよりも大きい重みを、第１インパルス応答ｈ１(ｔ)に与えることが望ましい。一方、第２期間Ｐ２においては、重み関数β(ｔ)は、重み関数α(ｔ)が第１インパルス応答ｈ１(ｔ)に与える重みよりも大きい重みを、第２インパルス応答に与えることが望ましい。
【００４８】
図５は、重み関数α(ｔ)、β(ｔ)の例を示している。図５(Ａ)，(Ｂ)，(Ｃ)において、横軸はインパルスの発生時刻からの経過時間を示し、縦軸は、重みの値を示す。また、図５(Ａ)，(Ｃ)において、第１インパルス応答ｈ１(ｔ)に適用する重み関数α(ｔ)の例を実線のグラフで示す。また、図５(Ｂ)，(Ｃ)において、第２インパルス応答ｈ２(ｔ)に適用する重み関数β(ｔ)の例を、破線のグラフで示す。
【００４９】
図５(Ａ)に示した重み関数α(ｔ)が与える重みの値は、インパルスの発生時刻から時刻Ｔ１までの第１期間Ｐ１において１であり、時刻Ｔ１以降の第２期間Ｐ２において０である。逆に、図５(Ｂ)に示した重み関数β(ｔ)が与える重みの値は、上述した第１期間Ｐ１において０であり、第２期間Ｐ２において１である。
【００５０】
また、加重加算部１２１は、図５(Ｃ)に示すように、第１期間Ｐ１において１から０に単調に減少する重みを与える重み関数α(ｔ)と、第１期間Ｐ１において０から１に単調に増加する重みを与える重み関数β(ｔ)とを用いて加重加算処理を行ってもよい。また、加重加算部１２１は、例えば、標準的な浴室内などの環境において残響音の電力が消失する時刻Ｔ２などに基づいて、第２期間Ｐ２の長さを限定してもよい。つまり、加重加算部１２１は、上述した第１期間Ｐ１と、例えば、時刻Ｔ１〜時刻Ｔ２までの有限長の第２期間Ｐ２について、重み関数α(ｔ)、β(ｔ)によって与える重みの値を定義してもよい。なお、時刻Ｔ１は、例えば、インパルスの発生時刻から約２０ミリ秒が経過した時刻であり、時刻Ｔ２は、例えば、インパルスの発生時刻から約４００ミリ秒が経過した時刻である。
【００５１】
図５(Ａ)に示した重み関数α(ｔ)によって第１インパルス応答ｈ１(ｔ)に重み付けすることにより、加重加算部１２１は、第１インパルス応答ｈ１(ｔ)の第１期間Ｐ１の部分を抽出することができる。また、図５(Ｂ)に示した重み関数β(ｔ)によって第２インパルス応答ｈ２(ｔ)に重み付けすることにより、加重加算部１２１は、第２インパルス応答ｈ２(ｔ)の第２期間Ｐ２の部分を抽出することができる。
【００５２】
図６は、第１インパルス応答ｈ１(ｔ)と第２インパルス応答ｈ２(ｔ)との合成を説明する図である。図６(Ａ)，(Ｂ)において、横軸はインパルスの発生時刻からの経過時間を示し、縦軸は、信号電力を示す。
【００５３】
図６(Ａ)において、第１インパルス応答ｈ１(ｔ)の例を破線で示し、第１インパルス応答ｈ２(ｔ)の例を実線で示した。また、図６(Ｂ)に、このような第１インパルス応答ｈ１(ｔ)および第２インパルス応答ｈ２(ｔ)に対して、加重加算部１２１による加重加算処理を行うことによって合成される補正インパルス応答ｈｗ(ｔ)の例を示す。なお、図６(Ｂ)に例示した補正インパルス応答ｈｗ(ｔ)は、加重加算処理に図５(Ａ)，(Ｂ)に示した重み関数α(ｔ)、β(ｔ)を用いた場合の例である。
【００５４】
このようにして得られた補正インパルス応答ｈｗ(ｔ)は、第１インパルス応答ｈ１(ｔ)の第１期間Ｐ１の部分と第２インパルス応答ｈ２(ｔ)の第２期間Ｐ２の部分との合成である。したがって、この補正インパルス応答ｈｗ(ｔ)は、上述したように、第２インパルス応答ｈ２(ｔ)が得られた室内において携帯端末のマイクロホン１０４の指向性を考慮した理想的な位置に音源を配置した際に得られるインパルス応答とほぼ同等である。
【００５５】
なお、上述したように、第２インパルス応答ｈ２(ｔ)は、所望の室内において、携帯端末１０に搭載されたスピーカ１０６によってインパルスを出力したときのマイクロホン１０４の出力信号として得ることができる。このような第２インパルス応答ｈ２(ｔ)の測定は、携帯端末１０の利用者が簡単な操作を行うことによって実現可能である。
【００５６】
また、図４に例示した音声補正部１１０において、高速フーリエ変換(ＦＦＴ：Fast Fourier Transform)演算部１２２は、図１に示した変換部１１１の一例である。また、逆ＦＦＴ演算部１２７は、図１に示した逆変換部１１５の一例である。
【００５７】
ＦＦＴ演算部１２２は、例えば、式(２)に基づいて、複素数である周波数領域の信号Ｙ(ω)の代わりに、音声信号ｙ(ｔ)の電力スペクトル｜Ｙ(ω)｜２を求めてもよい。なお、式(２)において、ＦＦＴ(ｙ(ｔ))は、音声信号ｙ(ｔ)のフーリエ変換結果を示す。また、式(２)において、Ｒｅ{ＦＦＴ(ｙ(ｔ))}は音声信号ｙ(ｔ)のフーリエ変換結果の実部を示し、Ｉｍ{ＦＦＴ(ｙ(ｔ))}は音声信号ｙ(ｔ)のフーリエ変換結果の虚部を示す。
｜Ｙ(ω)｜２＝Ｒｅ{ＦＦＴ(ｙ(ｔ))}２＋Ｉｍ{ＦＦＴ(ｙ(ｔ))}２ ・・・(２)
また、図４に示した音声補正部１１０は、図１に示した推定部１１２の一例として、抽出部１２３と、部分応答変換部１２４と、特性算出部１２５と、補正応答変換部１２６とを含む。
【００５８】
図４に示した音声補正部１１０は、音声Ｘ(ω)の入力に応じて入力音声スペクトルＹ(ω)を得る系の伝達特性Ｈ(ω)を式(３)のように表すモデルに基づいて、この入力音声スペクトルＹ(ω)に含まれる残響音の成分の周波数特性を推定する。式(３)において、音源とマイクロホン１０４とを含む室内の空間の伝達特性Ｈ(ω)は、音源からマイクロホン１０４に直接的に到達する経路の伝達特性Ｈｄ(ω)と、周囲の壁などによって反射されてから到達する経路の伝達特性Ｈｒ(ω)との和である。
Ｈ(ω)＝Ｈｄ(ω)＋Ｈｒ(ω) ・・・(３)
このモデルにおいて、上述した伝達特性Ｈｄ(ω)を用いて、入力音声スペクトルＹ(ω)に含まれる直接音成分スペクトルＹｄ(ω)は式(４)のように表される。また、入力音声スペクトルＹ(ω)に含まれる残響音成分スペクトルＹｒ(ω)は、伝達特性Ｈｒ(ω)を用いて式(５)のように表される。
Ｙｄ(ω)＝Ｈｄ(ω)Ｘ(ω) ・・・(４)
Ｙｒ(ω)＝Ｈｒ(ω)Ｘ(ω) ・・・(５)
これらの式(２)〜(４)を、入力音声スペクトルＹ(ω)が直接音成分スペクトルＹｄ(ω)と残響音成分スペクトルＹｒ(ω)との和であることを利用して整理することにより、残響音成分スペクトルＹｒ(ω)を表す式(６)が得られる。
【００５９】
【数１】
【００６０】
式(６)に示したように、任意の音声信号ｙ(ｔ)に含まれる残響成分を示す残響音成分スペクトルＹｒ(ω)は、室内空間の伝達特性Ｈ(ω)に対する残響音の伝達特性Ｈｒ(ω)の比を入力音声スペクトルＹ(ω)に乗算することによって得ることができる。
【００６１】
ここで、応答補正部１０３の一例である加重加算部１２１によって得られる補正インパルス応答ｈｗ(ｔ)は、時間領域における室内空間の伝達関数である。したがって、図４に示した補正応答変換部１２６がこの補正インパルス応答ｈｗ(ｔ)をフーリエ変換して得られる結果Ｈｗ(ω)は、室内空間の周波数領域の伝達特性Ｈ(ω)を示している。
【００６２】
補正応答変換部１２６は、例えば、式(７)に基づいて、補正インパルス応答ｈｗ(ｔ)を高速フーリエ変換して得られる複素数の補正インパルス応答スペクトルＨｗ(ω)に代えて、その電力｜Ｈｗ(ω)｜２を求めてもよい。なお、式(７)に示すＦＦＴ(ｈｗ(ｔ))は、補正インパルス応答ｈｗ(ｔ)のフーリエ変換結果である。また、式(７)において、Ｒｅ{ＦＦＴ(ｈｗ(ｔ))}は補正インパルス応答ｈｗ(ｔ)のフーリエ変換結果の実部を示し、Ｉｍ{ＦＦＴ(ｈｗ(ｔ))}は補正インパルス応答ｈｗ(ｔ)のフーリエ変換結果の虚部を示す。
｜Ｈｗ(ω)｜２＝Ｒｅ{ＦＦＴ(ｈｗ(ｔ))}２＋Ｉｍ{ＦＦＴ(ｈｗ(ｔ))}２ ・・・(７)
図４に示した抽出部１２３は、補正インパルス応答ｈｗ(ｔ)から、残響音の成分を示す部分インパルス応答ｈｐ(ｔ)を抽出する。例えば、抽出部１２３は、図６(Ｂ)に示した補正インパルス応答ｈｗ(ｔ)に含まれる上述した第２期間Ｐ２の部分を、部分インパルス応答ｈｐ(ｔ)として抽出してもよい。なお、抽出部１２３は、例えば、第２インパルス応答ｈ２(ｔ)に、図５(Ｂ)に示したように、第１期間Ｐ１において重み０を与え、第２期間Ｐ２において重み１を与える重み関数を適用することにより、部分インパルス応答ｈｐ(ｔ)を抽出してもよい。また、抽出部１２３は、上述した加重加算部１２１による加重加算処理の過程で、図５(Ｂ)に示した重み関数β(ｔ)によって重み付けされた第２インパルス応答ｈ２(ｔ)を部分インパルス応答ｈｐ(ｔ)として受け取ってもよい。
【００６３】
この部分インパルス応答ｈｐ(ｔ)は、音源から周囲の壁などによって反射されてからマイクロホン１０４に到達する経路の時間領域の伝達関数を示している。したがって、図４に示した部分応答変換部１２４がこの部分インパルス応答ｈｐ(ｔ)を高速フーリエ変換して得られる結果は、残響成分の伝達特性Ｈｒ(ω)を示している。
【００６４】
部分応答変換部１２４は、例えば、式(８)に基づいて、部分インパルス応答ｈｐ(ｔ)をフーリエ変換して得られる複素数の部分インパルス応答スペクトルＨｐ(ω)の代わりに、その電力｜Ｈｐ(ω)｜２を求めてもよい。なお、式(８)において、ＦＦＴ(ｈｐ(ｔ))は、部分インパルス応答ｈｐ(ｔ)のフーリエ変換結果を示す。また、式(８)において、Ｒｅ{ＦＦＴ(ｈｐ(ｔ))}は部分インパルス応答ｈｐ(ｔ)のフーリエ変換結果の実部を示し、Ｉｍ{ＦＦＴ(ｈｐ(ｔ))}は部分インパルス応答ｈｐ(ｔ)のフーリエ変換結果の虚部を示す。
｜Ｈｐ(ω)｜２＝Ｒｅ{ＦＦＴ(ｈｐ(ｔ))}２＋Ｉｍ{ＦＦＴ(ｈｐ(ｔ))}２ ・・・(８)
上述した補正インパルス応答スペクトルＨｗ(ω)の電力｜Ｈｗ(ω)｜２に対する部分インパルス応答スペクトルＨｐ(ω)の電力｜Ｈｐ(ω)｜２との比は、式(６)に示した室内空間の伝達特性Ｈ(ω)に対する残響音についての伝達特性Ｈｒ(ω)の比に相当する。
【００６５】
したがって、推定残響音成分スペクトルＹｅ(ω)は、式(９)に示すように、補正インパルス応答スペクトルＨｗ(ω)の電力|Ｈｗ(ω)|２と部分インパルス応答スペクトルＨｐ(ω)の電力｜Ｈｐ(ω)|２との比を用いて表すことができる。したがって、特性算出部１２５は、この式(９)に基づいて、推定残響音成分スペクトルＹｅ(ω)を求めてもよい。
【００６６】
【数２】
【００６７】
なお、特性算出部１２５は、上述した式(９)の代わりに、式(１０)を用いて、推定残響音成分スペクトルＹｅ(ω)を推定してもよい。
【００６８】
【数３】
【００６９】
また、特性算出部１２５は、式(９)あるいは式(１０)において音声信号スペクトルＹ(ω)に乗算される残響特性係数を、残響抑制処理の対象となる音声がマイクロホン１０４に入力されるのに先立って算出しておいてもよい。
【００７０】
上述したように、図４に例示した音声補正部１１０が推定残響音成分スペクトルＹｅ(ω)の算出に用いる部分インパルス応答スペクトルＨｐ(ω)は、残響音の伝達関数を示す部分インパルス応答ｈｐ(ｔ)のフーリエ変換結果である。したがって、この部分インパルス応答スペクトルＨｐ(ω)は、残響音の周波数特性を忠実に反映している。また、上述したように、補正インパルス応答ｈｗ(ｔ)をフーリエ変換して得られる補正インパルス応答スペクトルＨｗ(ω)は、第２インパルス応答ｈ２(ｔ)が取得された室内の伝達特性を忠実に反映している。
【００７１】
したがって、式(９)あるいは式(１０)を適用した推定処理により、特性算出部１２５は、高い精度を持つ推定残響音成分スペクトルＹｅ(ω)を得ることができる。
【００７２】
図７は、推定残響音成分スペクトルＹｅ(ω)の例を示している。なお、図７(Ａ)，(Ｂ)において、符号Ｙｅ(ω)−０で示した点線のグラフは、理想的な配置で測定したインパルス応答に基づく推定処理で得られた推定残響音成分スペクトルＹｅ(ω)を示す。
【００７３】
図７(Ａ)において符号Ａ１で示した実線のグラフは、図４に例示した音声補正部１１０の特性算出部１２５により、補正インパルス応答ｈｗ(ｔ)を用いた推定処理によって得られた推定残響音成分スペクトルＹｅ(ω)を示す。一方、図７(Ｂ)において符号Ｂ１で示した実線のグラフは、特性算出部１２５によって、第２インパルス応答ｈ２(ｔ)をそのまま用いた推定処理によって得られる推定残響音成分スペクトルＹｅ(ω)を示す。
【００７４】
図７(Ｂ)に示した補正前の第２インパルス応答ｈ２(ｔ)を用いて得られた推定残響音成分スペクトルＹｅ(ω)は、ほとんどの周波数帯域において、理想的な配置で測定したインパルス応答を用いて得られた推定残響音成分スペクトルＹｅ(ω)を大きく上回っている。
【００７５】
一方、図７(Ａ)に示した補正インパルス応答ｈｗ(ｔ)を用いて得られた推定残響音成分スペクトルＹｅ(ω)のグラフと、理想的な配置で測定したインパルス応答を用いて得られた推定残響音成分スペクトルＹｅ(ω)のグラフとは、ほぼ同等の傾向を示している。
【００７６】
このようにして得られた推定残響音成分スペクトルＹｅ(ω)を、図４に例示したゲイン算出部１１３に入力することにより、このゲイン算出部１１３により、残響音成分の抑制に好適な周波数特性を持つゲインｇ(ω)を求めることができる。
【００７７】
乗算器１１４は、このようにして求められたゲインｇ(ω)を入力音声スペクトルＹ(ω)に乗算することにより、残響音成分が選択的に抑制された補正音声信号スペクトルＹ’(ω)を得る。そして、逆ＦＦＴ演算処理部１２７は、この補正音声信号スペクトルＹ’(ω)に対して逆ＦＦＴ処理を行うことにより、残響音成分が選択的に抑制された補正音声信号ｙ’(ｔ)を生成する。
【００７８】
このようにして生成された補正音声信号ｙ’(ｔ)においては、残響音成分が抑制されていながら、携帯端末のマイクロホン１０４に直接に到達する利用者の音声の成分はそのまま維持されている。したがって、浴室のように周囲の壁などからの反射が多い環境においても、本件開示の残響抑制装置１００を有する携帯端末の音声通話機能を使用している人物の音声を、通話中の相手に対して明瞭に伝達することができる。また、これにより、本件開示の残響抑制装置１００を有する携帯端末の利用者が浴室などにいることを、通話中の相手に対して秘匿することも可能である。
【００７９】
本件開示の残響抑制装置１００は、携帯端末のハードウェアを用いて実現することができる。
【００８０】
図８は、携帯端末１０のハードウェア構成の一例を示している。なお、図８に示した構成要素のうち、図１に示した構成要素と同等のものについては、同一の符号を付して示す。
【００８１】
携帯端末１０は、プロセッサ２１と、メモリ２２と、通信処理部１０５と、マイクロホン１０４と、スピーカ１０６とを含んでいる。また、携帯端末１０は、更に、記録処理部２４と、着脱自在のメモリカード２５と、表示制御部２６と、液晶表示部２７と、入力インタフェース(Ｉ／Ｆ：Interface)部２８と、操作パネル２９とを含んでいる。
【００８２】
プロセッサ２１と、メモリ２２と、通信処理部１０５と、マイクロホン１０４と、スピーカ１０６と、記録処理部２４と、表示制御部２６と、入力Ｉ／Ｆ部２８とは、バスを介して互いに接続されている。記録処理部２４は、メモリカード２５からのデータの読出処理およびメモリカード２５へのデータの書込処理を行う。また、表示制御部２６は、液晶表示部２７による表示処理を制御する。入力Ｉ／Ｆ部２８は、操作パネル２９に対する操作を示す情報をプロセッサ２１に伝達する処理を行う。
【００８３】
メモリ２２は、携帯端末１０のオペレーティングシステムとともに、プロセッサ２１が残響抑制処理を実行するためのアプリケーションプログラムを格納している。このアプリケーションプログラムは、本件開示の残響抑制方法に含まれる応答を補正する処理と音声信号を補正する処理とを実行するためのプログラムを含む。なお、上述した残響抑制処理を実行するためのアプリケーションプログラムは、例えば、メモリカード２５に記録して頒布することができる。そして、このメモリカードを記録処理部２４に装着して読み込み処理を行うことにより、残響抑制処理を実行するためのアプリケーションプログラムは、メモリ２２に格納される。また、インターネットなどのネットワークと通信処理部１０５を介して、残響抑制処理を実行するためのアプリケーションプログラムをメモリ２２に読み込ませることもできる。
【００８４】
また、上述したアプリケーションプログラムなどとともに、メモリ２２に、第１インパルス応答ｈ１(ｔ)を示す情報を格納しておくことにより、図１に示した第１保持部１０１を実現してもよい。例えば、標準的な浴室において測定したインパルス応答の波形を表す情報を、第１インパルス応答ｈ１(ｔ)を示す情報としてメモリ２２に保持させておいてもよい。なお、インパルス応答の波形を表す情報は、例えば、携帯端末１０のマイクロホン１０４の指向性を考慮して配置した音源にインパルスを出力させたときのマイクロホン１０４の出力信号を適切な周期でサンプリングすることによって得てもよい。
【００８５】
一方、図１に示した第２保持部１０２は、後述するようにして、第２インパルス応答ｈ２(ｔ)の測定を行ったときに、測定結果として得られた第２インパルス応答ｈ２(ｔ)を示す情報をメモリ２２に保持することによって実現してもよい。
【００８６】
また、プロセッサ２１は、メモリ２２に格納されたアプリケーションプログラムに含まれる応答を補正する処理のプログラムを実行することにより、図１に示した応答補正部１０３の機能を果たしてもよい。また、プロセッサ２１は、メモリ２２に格納されたアプリケーションプログラムに含まれる音声信号を補正する処理のプログラムを実行することにより、図１に示した音声補正部１１０の機能を果たしてもよい。このように、プロセッサ２１が、メモリ２２に格納されたアプリケーションプログラムを実行することにより、図１に示した残響抑制装置１００の機能を果たしてもよい。
【００８７】
図９は、本件開示の残響抑制装置１００を有する携帯端末のフローチャートの一例である。図９に示したフローチャートに含まれるステップＳ１〜ステップＳ１０の処理を、図８に示したプロセッサ２１は、各部と協働して実行する。
【００８８】
ステップＳ１において、プロセッサ２１は、入力Ｉ／Ｆ部２８を介して、利用者が操作パネル２９を操作することによって入力した指示を受け取る。次に、プロセッサ２１は、受け取った指示が、残響特性を推定するための測定を行う旨の指示であるか否かを判定する(ステップＳ２)。
【００８９】
例えば、プロセッサ２１は、携帯端末１０の詳細設定メニューに含まれる選択肢の一つとして、所望の室内におけるインパルス応答の測定を指示する項目を、表示制御部２６を介して液晶表示部２７に表示させてもよい。また、プロセッサ２１は、浴室などにおいて携帯端末１０の通話機能を利用する前に、当該浴室におけるインパルス応答の測定を促すメッセージなどを、表示制御部２６を介して液晶表示部２７に表示させてもよい。そして、入力Ｉ／Ｆ部２８からの通知により、この項目を選択する旨の操作が為されたことが示されたときに、プロセッサ２１は、ステップＳ２の肯定判定として、残響特性を推定するための測定処理を行う(ステップＳ３)。
【００９０】
図１０は、残響特性を推定するための測定処理のフローチャートである。図１０に示したステップＳ１１〜ステップＳ１８の処理は、図９に示したステップＳ３の処理の一例である。これらのステップＳ１１〜ステップＳ１８の処理を、図８に示したプロセッサ２１は、各部と協働して実行する。
【００９１】
ステップＳ１１において、プロセッサ２１は、図８に示したスピーカ１０６にインパルスを出力させることにより、第２インパルス応答ｈ２(ｔ)の測定を開始する。スピーカ１０６によって出力されたインパルスに応じて、マイクロホン１０４によって出力される音声信号から、プロセッサ２１は、第２インパルス応答ｈ２(ｔ)を表す情報を取得する(ステップＳ１２)。ステップＳ１２において、プロセッサ２１は、例えば、適切なサンプリング周期でマイクロホンの出力信号をサンプリングすることにより、第２インパルス応答ｈ２(ｔ)の波形を示す情報を取得してもよい。
【００９２】
次いで、プロセッサ２１は、ステップＳ１２で取得した第２インパルス応答ｈ２(ｔ)を示す情報をメモリ２２に保持する(ステップＳ１３)。
【００９３】
次に、プロセッサ２１は、予めメモリ２２に保持された情報で示される第１インパルス応答ｈ１(ｔ)と、ステップＳ１３で保持した情報で示される第２インパルス応答ｈ２(ｔ)とを合成することにより、補正インパルス応答ｈｗ(ｔ)を求める(ステップＳ１４)。プロセッサ２１は、例えば、図５(Ａ)，(Ｂ)に示した重み関数α(ｔ)、β(ｔ)を用いて、上述した式(１)で示した加重加算処理を行うことにより、補正インパルス応答ｈｗ(ｔ)を求めてもよい。このように、プロセッサ２１が、ステップＳ１４の処理を実行することにより、図１に示した応答補正部１０３の機能を実現してもよい。
【００９４】
なお、プロセッサ２１は、上述した加重加算処理に先立って、第１期間Ｐ１と第２期間Ｐ２との境界を示す時刻Ｔ１として、第１インパルス応答ｈ１(ｔ)と第２インパルス応答ｈ２(ｔ)とが同一の値となる時刻を検出してもよい。このようにして検出された時刻Ｔ１を境界として定義された重み関数α(ｔ)、β(ｔ)を用いた加重加算処理を行うことにより、プロセッサ２１は、第１期間Ｐ１と第２期間Ｐ２との境界付近における補正インパルス応答ｈｗ(ｔ)の連続性を保証することができる。
【００９５】
次いで、プロセッサ２１は、ステップＳ１４で得られた補正インパルス応答ｈｗ(ｔ)から、時間領域における残響音の伝達特性を示す部分インパルス応答ｈｐ(ｔ)を抽出する(ステップＳ１５)。プロセッサ２１は、例えば、ステップＳ１４で求めた補正インパルス応答ｈｗ(ｔ)に含まれる第２期間Ｐ２の部分を、部分インパルス応答ｈｐ(ｔ)として抽出してもよい。なお、プロセッサ２１は、ステップＳ１４の処理の過程で、重み関数β(ｔ)によって重み付けされた第２インパルス応答ｈ２(ｔ)を、部分インパルス応答ｈｐ(ｔ)として保持しておいてもよい。このように、プロセッサ２１が、ステップＳ１５の処理を実行することにより、図４に示した抽出部１２３の機能を実現してもよい。
【００９６】
次に、プロセッサ２１は、補正インパルス応答ｈｗ(ｔ)および部分インパルス応答ｈｐ(ｔ)をフーリエ変換する処理を行う(ステップＳ１６)。この処理により、プロセッサ２１は、例えば、補正インパルス応答スペクトルＨｗ(ω)の電力|Ｈｗ(ω)|２と部分インパルス応答スペクトルＨｐ(ω)の電力|Ｈｐ(ω)|２とを求める。プロセッサ２１は、ステップＳ１６の処理で、補正インパルス応答スペクトルＨｗ(ω)の絶対値|Ｈｗ(ω)|と、部分インパルス応答スペクトルＨｐ(ω)の絶対値|Ｈｐ(ω)|とを求めてもよい。このように、プロセッサ２１が、ステップＳ１６処理を実行することにより、図４に示した補正応答変換部１２６と部分応答変換部１２４とを実現してもよい。
【００９７】
ステップＳ１６で得られたフーリエ変換結果に基づいて、プロセッサ２１は、式(９)または式(１０)で示される残響特性係数として、比｜Ｈｐ(ω)｜２／｜Ｈｗ(ω)｜２あるいは比|Ｈｐ(ω)|／|Ｈｗ(ω)|を算出する(ステップＳ１７)。
【００９８】
このようにして、本件開示の残響抑制装置１００を有する携帯端末１０によれば、浴室などにおいて通話機能を利用するのに先立って、携帯端末１０を用いた測定によって得られた第２インパルス応答ｈ２(ｔ)に基づいて残響特性係数を算出しておくことができる。
【００９９】
その後、プロセッサ２１は、ステップＳ１７で算出した残響特性係数をメモリ２２に保持する処理を行う(ステップＳ１８)。
【０１００】
なお、プロセッサ２１は、複数の異なる特徴を持つ室内における残響を抑制する場合を考慮して、メモリ２２に、複数の異なる残響特性係数を保持させてもよい。例えば、プロセッサ２１は、第２インパルス応答ｈ２(ｔ)を測定した部屋を示す情報に対応して、ステップＳ１７の処理において算出した残響特性係数をメモリ２２に保持してもよい。また、ステップＳ１７の残響特性係数の算出処理が完了した後は、第２インパルス応答ｈ２(ｔ)を示す情報は不要となるので、メモリ２２内の第２インパルス応答ｈ２(ｔ)を示す情報を削除してもよい。一方、第１インパルス応答ｈ１(ｔ)を示す情報は、別の室内に対応する残響特性係数の算出に用いられる可能性があるので、プロセッサ２１は、ステップＳ１７の処理の完了後も、メモリ２２内の第１インパルス応答ｈ１(ｔ)を示す情報を維持する。
【０１０１】
このようにして、残響特性を推定するための測定処理を終了した後に、プロセッサ２１は、図９に示したステップＳ４の処理に進む。
【０１０２】
ステップＳ４において、プロセッサ２１は、携帯端末１０の電源をオフする操作が為されたか否かを判定する。携帯端末１０の電源をオフする操作が為されていない場合に(ステップＳ４の否定判定)、プロセッサ２１は、ステップＳ１の処理に戻る。そして、プロセッサ２１は、新たに入力される指示を受け取る。
【０１０３】
ステップＳ１で受け取った指示が、残響特性を推定するための測定を行う旨の指示でない場合に(ステップＳ２の否定判定)、プロセッサ２１は、ステップＳ５の処理に進む。そして、プロセッサ２１は、入力された指示が、携帯端末１０の通話機能を起動する指示であるか否かを判定する(ステップＳ５)。
【０１０４】
入力Ｉ／Ｆ部２８を介して受け取った指示が、通話機能を起動する指示ではない場合に(ステップＳ５の否定判定)、プロセッサ２１は、ステップＳ１で受け取った指示に対応する処理を行う(ステップＳ６)。そして、ステップＳ６の処理の終了後に、ステップＳ４の処理に進む。
【０１０５】
一方、発信処理を指示する操作など、通話機能を起動する指示が入力された場合に(ステップＳ５の肯定判定)、プロセッサ２１は、残響抑制対象の通話であるか否かを判定する(ステップＳ７)。例えば、入力Ｉ／Ｆ部２８を介して、通話機能を起動する旨の指示とともに、残響抑制モードを指定する旨の指示を受け取った場合に、プロセッサ２１は、以降の通話は、残響抑制対象の通話であると判断する(ステップＳ７の肯定判定)。そして、この場合に、プロセッサ２１は、ステップＳ８の残響を抑制する処理に進む。
【０１０６】
図１１は、周波数領域で残響を抑制する処理のフローチャートである。図１１に示したステップＳ２１〜ステップＳ２７の処理は、図９に示したステップＳ８の処理の一例である。これらのステップＳ２１〜ステップＳ２７の処理を、図８に示したプロセッサ２１は、各部と協働して実行する。
【０１０７】
プロセッサ２１は、まず、マイクロホン１０４から音声信号ｙ(ｔ)を取得する(ステップＳ２１)。プロセッサ２１は、例えば、高速フーリエ変換処理の処理単位となる１フレームに相当する時間分の音声信号ｙ(ｔ)を、所定のサンプリング周期でサンプリングすることにより、音声信号ｙ(ｔ)の波形を表す情報を得てもよい。
【０１０８】
次に、プロセッサ２１は、ステップＳ２１で取得した音声信号ｙ(ｔ)について、高速フーリエ変換処理を適用することにより、音声信号スペクトルＹ(ω)を求める(ステップＳ２２)。このように、プロセッサ２１が、ステップＳ２２の処理を実行することにより、図４に示したＦＦＴ演算処理部１２２の機能を実現してもよい。
【０１０９】
次いで、プロセッサ２１は、図１０に示したステップＳ１８でメモリ２２に保持した残響特性係数を音声信号スペクトルＹ(ω)に乗算することにより、推定残響音成分スペクトルＹｅ(ω)を求める(ステップＳ２３)。このように、プロセッサ２１が、図１０に示したステップＳ１７の処理と図１１に示したステップＳ２３の処理とをそれぞれ異なるタイミングで実行することにより、図４に示した特性算出部１２４の機能を実現してもよい。
【０１１０】
なお、メモリ２２に複数の部屋に対応して残響特性係数が保持されている場合に、プロセッサ２１は、例えば、上述した残響抑制モードを指定する旨の指示で指定された部屋に対応する残響特性係数を用いて、ステップＳ２３の処理を実行してもよい。
【０１１１】
次に、プロセッサ２１は、ステップＳ２３で求めた推定残響音成分スペクトルＹｅ(ω)に基づいて、音声信号スペクトルＹ(ω)に適用するゲインｇ(ω)を算出する(ステップＳ２４)。プロセッサ２１は、例えば、推定残響音成分スペクトルＹｅ(ω)の値で示される残響音の各周波数成分の大きさに基づいて、次に述べるようにして、当該周波数におけるゲインｇ(ω)の値を算出してもよい。
【０１１２】
ゲイン(ω)の値は、推定残響音成分スペクトルＹｅ(ω)の値で示される残響音の各周波数成分が大きいほど小さい値となることが望ましい。これにより、残響音成分の大きさに応じて、残響音を抑制する作用を調整することができる。なお、ゲインｇ(ω)の値に、以下に述べるようにして、上限と下限を設けてもよい。
【０１１３】
図１２は、ゲインの算出処理を説明する図である。図１２に示した実線のグラフは、推定残響音成分スペクトルＹｅ(ω)の値で示される残響音成分の大きさとゲインｇ(ω)の値との関係の一例を示す。
【０１１４】
図１２に例示したグラフにおいて、残響音成分の大きさが後述する閾値Ｔｈ１未満である範囲に対応するゲインｇ(ω)は、ゲインの上限値１である。また、残響音成分の大きさが閾値Ｔｈ１以上であって別の閾値Ｔｈ２以下である範囲に対応するゲインｇ(ω)の値は、残響音成分の大きさに応じて、上限値１から下限値ｇ０まで単調に減少する。一方、残響音成分の大きさが閾値Ｔｈ２を超える範囲に対応するゲインｇ(ω)は、ゲインの下限値ｇ０である。
【０１１５】
プロセッサ２１は、図１２に示したような関係に基づいて、推定残響音成分スペクトルＹｅ(ω)の値で示される残響音成分の大きさに対応するゲインｇ(ω)を決定することにより、図１に示したゲイン算出部１１３の機能を果たしてもよい。
【０１１６】
なお、図１２に示した閾値Ｔｈ１は、例えば、携帯端末１０の通話機能が利用される環境において想定される背景雑音の大きさを示す値に基づいて、予め決定しておいてもよい。なお、閾値Ｔｈ１の値は、騒音レベルを尺度に用いて表してもよい。また、閾値Ｔｈ２は、上述したゲインの下限値ｇ０を適用して残響抑制を行った場合に、残響抑制後の音声に歪が現れる残響音成分の大きさを調べる実験を行って得られた結果などに基づいて予め決定しておいてもよい。
【０１１７】
このようにしてゲインｇ(ω)を算出した後に、プロセッサ２１は、図１１に示したステップＳ２５の処理に進む。ステップＳ２５で、プロセッサ２１は、音声信号スペクトルＹ(ω)と、ステップＳ２４で求めたゲインｇ(ω)とを乗算することにより、補正音声信号スペクトルＹ’(ω)を求める処理を行う。このように、プロセッサ２１が、ステップＳ２５の処理を実行することにより、図１に示した乗算部１１４の機能を実現してもよい。
【０１１８】
次いで、プロセッサ２１は、補正音声信号スペクトルＹ’(ω)に対して、高速逆フーリエ変換処理を適用することにより、補正音声信号ｙ’(ｔ)を求める(ステップＳ２６)。そして、プロセッサ２１は、ステップＳ２６で求めた補正音声信号ｙ’(ｔ)を、マイクロホン１０４で得られた音声信号ｙ(ｔ)の代わりに通信処理部１０５に入力する(ステップＳ２７)。このように、プロセッサ２１が、ステップＳ２６、Ｓ２７の処理を実行することにより、図４に示した逆ＦＦＴ演算処理部１２７の機能を実現してもよい。
【０１１９】
上述したステップＳ２１〜ステップＳ２７の処理の実行を完了した後に、プロセッサ２１は、図９に示したステップＳ１０において、通話の終了が指示されたか否かを判定する。
【０１２０】
プロセッサ２１は、例えば、入力Ｉ／Ｆ部２８から通話を終了する操作が行われた旨の通知を受け取るまで、ステップＳ７、ステップＳ８およびステップＳ１０の処理を繰り返す。これにより、利用者が浴室などの残響音が大きくなる環境において携帯端末１０の通話機能を利用する際に、マイクロホン１０４で得られる音声信号ｙ(ｔ)に含まれる残響音成分を適切に抑制することができる。
【０１２１】
一方、図９に示したステップＳ７において、入力Ｉ／Ｆ部２８を介して、通話機能を起動する旨の指示のみを受け取った場合に、プロセッサ２１は、以降の通話は、残響抑制処理が不要な通常の通話であると判断する(ステップＳ７の否定判定)。この場合に、プロセッサ２１は、従来と同様に、マイクロホン１０４で得られた音声信号ｙ(ｔ)をそのまま通信処理部１０５に渡す通常通話処理を実行する。そして、ステップＳ１０で通話が終了したと判定されるまで、プロセッサ２１は、ステップＳ７、ステップＳ９およびステップＳ１０の処理を繰り返す。
【０１２２】
そして、入力Ｉ／Ｆ部２８から通話を終了する操作が行われた旨の通知を受け取ったときに、プロセッサ２１は、ステップＳ１０の肯定判定として、ステップＳ４の処理に進む。
【０１２３】
このようにして、本件開示の残響抑制装置１００を有する携帯端末１０は、利用者からの指示に応じて、利用者が携帯端末１０の通話機能を利用する環境が残響抑制の対象である場合に限って、適切な残響抑制を適用することができる。
【０１２４】
なお、図１に示した応答補正部１０３が補正インパルス応答ｈｗ(ｔ)を求める手法は、第１インパルス応答ｈ１(ｔ)の第１期間Ｐ１の部分を、第２インパルス応答ｈ２(ｔ)の波形に反映する手法であれば他の手法でもよい。例えば、第２インパルス応答ｈ２(ｔ)の第１期間Ｐ１の部分を第１インパルス応答ｈ１(ｔ)の対応する部分に一致させるように補正することにより、補正インパルス応答ｈｗ(ｔ)を求めてもよい。
【０１２５】
また、補正インパルス応答ｈｗ(ｔ)に基づいて、音声信号ｙ(ｔ)に含まれる残響音成分を時間領域において抑制することも可能である。
【０１２６】
図１３は、残響抑制装置１００の別実施形態を示している。なお、図１３に示した構成要素のうち、図１に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
【０１２７】
図１３に例示した応答増幅部１３１は、第２保持部１０２に保持された情報で示される第２インパルス応答ｈ２(ｔ)から補正インパルス応答ｈｗ(ｔ)を生成する応答補正部１０３の一例である。また、図１３に例示した音声補正部１１０は、係数算出部１３３と残響抑制フィルタ１３４とを含んでいる。
【０１２８】
また、図１３に示した第１保持部１０１は、第１インパルス応答ｈ１(ｔ)を示す情報として、第２インパルス応答ｈ２(ｔ)の第１期間Ｐ１の部分の波形を第１インパルス応答ｈ１(ｔ)の波形に近づけるための重み関数γ(ｔ)を表す情報を保持している。
【０１２９】
図１４(Ａ)，(Ｂ)は、重み関数γ(ｔ)の例を示している。なお、図１４に示した要素のうち、図５に示した要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
【０１３０】
図１４(Ａ)に示したグラフは、第１期間Ｐ１において、第１インパルス応答ｈ１(ｔ)のピークと第２インパルス応答ｈ２(ｔ)のピークとの比に相当する初期値ａ１を維持する重み関数γ(ｔ)の一例である。一方、図１４(Ｂ)に示したグラフは、第１期間Ｐ１において、初期値ａ１から数値１まで単調に減少する重み関数γ(ｔ)の一例である。
【０１３１】
なお、重み関数γ(ｔ)の値は、第２期間Ｐ２においては、第２インパルス応答ｈ２(ｔ)の波形を補正インパルス応答ｈｗ(ｔ)にそのまま反映させるために、固定値１とすることが望ましい。
【０１３２】
また、初期値ａ１は、例えば、次のようにして求めることができる。同一の室内において、理想的な位置に配置した音源でインパルス発生させた場合と、携帯端末１０のスピーカ１０６でインパルスを発生させた場合とに付き、マイクロホン１０４の出力信号の波形をそれぞれ取得する。そして、例えば、理想的な配置でのインパルスに対応する出力信号の波形のピークと、第２インパルス応答ｈ２(ｔ)の取得と同様の配置でのインパルスに対応する出力信号の波形のピークとの比に基づいて、上述した初期値ａ１を決定してもよい。
【０１３３】
また、図１３に示した応答増幅部１３１は、このような重み関数γ(ｔ)を第２インパルス応答ｈ２(ｔ)の波形に対して乗算する処理を行う。これにより、図６(Ａ)に示したような第２インパルス応答ｈ２(ｔ)の第１期間Ｐ１の部分を選択的に増幅し、図６(Ｂ)に示した補正インパルス応答ｈｗ(ｔ)に近似した補正インパルス応答ｈｗ(ｔ)を生成することができる。
【０１３４】
図１３に示した残響抑制フィルタ１３４は、特性係数ベクトルＣ[ｃ(０)，ｃ(１)，…ｃ(Ｔ２)]によって示される残響抑圧フィルタである。また、係数算出部１３３は、式(１１)に基づいて、残響抑制フィルタ１３４の特性を示す特性係数ベクトルＣに含まれる各要素ｃ(０)，ｃ(１)，…ｃ(Ｔ２)を算出する。
Ｃ＝Ｒ−１・ｑ ・・・(１１)
なお、式(１１)において、特性係数ベクトルＣは、補正インパルス応答ｈｗ(ｔ)を示す行列ｈｗの自己相関行列Ｒの逆行列と、インパルスＩｐと行列ｈｗとの相互相関ベクトルｑとの積で表される。なお、行列ｈｗの自己相関行列Ｒの定義を式(１２)に示し、また、インパルスＩｐと行列ｈｗとの相互相関ベクトルｑの定義を式(１３)に示す。
Ｒ＝ｈｗＴ・ｈｗ ・・・(１２)
ｑ＝Ｉｐ・ｈｗ ・・・(１３)
図１３に示した音声補正部１１０は、マイクロホン１０４からの音声信号ｙ(ｔ)を、上述した式(１１)で示される特性係数ベクトルＣが設定された残響抑制フィルタ１３４に入力することにより、残響音成分が抑制された補正音声信号ｙ’(ｔ)を得る。
【０１３５】
なお、残響抑制フィルタ１３４の出力として得られる補正音声信号ｙ’(ｔ)は、特性係数ベクトルＣに含まれる各要素ｃ(０)，ｃ(１)，…ｃ(Ｔ２)と音声信号ｙ(ｔ)とを用いて、式(１４)のように表される。
【０１３６】
【数４】
【０１３７】
図１３に例示した残響抑制装置１００も、図８に例示したプロセッサ２１およびメモリ２２を含む携帯端末１０のハードウェアと、メモリ２２に格納されたプログラムとを協働させることによって実現することができる。
【０１３８】
図１３に例示した残響抑制装置１００を、図８に例示した携帯端末１０のハードウェアを用いて実現する場合に、メモリ２２に格納されるアプリケーションプログラムは、応答増幅部１３１の処理をプロセッサ２１に実行させるためのプログラムを含む。また、メモリ２２に格納されるアプリケーションプログラムは、係数算出部１３３の処理および残響抑制フィルタ１３４の処理をプロセッサ２１に実行させるためのプログラムを含んでもよい。
【０１３９】
また、上述した重み関数γ(ｔ)は、上述したアプリケーションプログラムなどとともに、第１インパルス応答ｈ１(ｔ)を示す情報として、メモリ２２に保持させることができる。
【０１４０】
なお、図１４(Ａ)，(Ｂ)に示したような重み関数γ(ｔ)は、第１インパルス応答ｈ１(ｔ)の波形に比べて少ない情報量で表すことができるので、本件開示の残響抑制装置１００のために、携帯端末１０のメモリ２２に保持させる情報の容量を抑制することができる。
【０１４１】
図１５は、本件開示の残響抑制装置を有する携帯端末のフローチャートの一例である。なお、図１５に示すステップのうち、図９に示したフローチャートに含まれるステップと同等の処理を行うものについては、同一の符号を付して示し、その説明を省略する。
【０１４２】
図１５のフローチャートに従って処理を実行する場合に、プロセッサ２１は、ステップＳ２の肯定判定に応じて、図９に示したステップＳ３の処理の代わりに、ステップＳ３１において、上述した特性係数ベクトルＣを算出する処理を行う。
【０１４３】
図１６は、特性係数ベクトルＣを算出する処理のフローチャートの一例である。なお、図１６に示すステップのうち、図１０に示したフローチャートに含まれるステップと同等の処理を行うものについては、同一の符号を付して示し、その説明を省略する。
【０１４４】
図１６に示したステップＳ１１〜ステップＳ１３およびステップＳ３３〜ステップＳ３５の処理は、図１５に示したステップＳ３１の処理の一例である。図８に示したプロセッサ２１は、これらのステップＳ１１〜ステップＳ１３およびステップＳ３３〜ステップＳ３５の処理を、携帯端末１０に含まれる各部と協働して実行する。
【０１４５】
プロセッサ２１は、ステップＳ１１〜ステップＳ１３の処理によって第２インパルス応答ｈ２(ｔ)を取得した後に、ステップＳ３３の処理に進む。このステップＳ３３において、プロセッサ２１は、第２インパルス応答ｈ２(ｔ)に上述した重み関数γ(ｔ)を乗算して適用することにより、補正インパルス応答ｈｗ(ｔ)を生成する。このように、プロセッサ２１が、ステップＳ３３の処理を実行することにより、図１３に示した応答増幅部１３１の機能を実現してもよい。
【０１４６】
次に、プロセッサ２１は、上述した式(１１)〜式(１３)に基づいて、特性係数ベクトルＣを算出する処理を行う(ステップＳ３４)。そして、プロセッサ２１は、ステップＳ３４で算出した特性係数ベクトルＣをメモリ２２に保持する処理を行い(ステップＳ３５)、この処理の完了後に、図１５に示したステップＳ４の処理に進む。
【０１４７】
図１５に示したステップＳ７の肯定判定の場合に、プロセッサ２１は、マイクロホン１０４で取得される音声信号ｙ(ｔ)に含まれる残響音成分を時間領域で抑制する処理を実行する(ステップＳ３２)。
【０１４８】
図１７は、時間領域で残響を抑制する処理のフローチャートである。なお、図１７に示すステップのうち、図１１に示したフローチャートに含まれるステップと同等の処理を行うものについては、同一の符号を付して示し、その説明を省略する。
【０１４９】
図１７に示したステップＳ２１、ステップＳ３６およびステップＳ２７の処理は、図１５に示したステップＳ３２の処理の一例である。図８に示したプロセッサ２１は、これらのステップＳ２１、ステップＳ３６およびステップＳ２７の処理を、携帯端末１０に含まれる各部と協働して実行する。
【０１５０】
図１７に示したステップＳ３６において、プロセッサ２１は、上述した式(１４)に基づき、ステップＳ２１で取得した音声信号ｙ(ｔ)と特性係数ベクトルＣとの畳み込みとして、補正音声信号ｙ’(ｔ)を算出する処理を行う。このように、プロセッサ２１が、ステップＳ３６の処理を実行することにより、残響抑制フィルタ１３４の機能を実現してもよい。
【０１５１】
補正音声信号ｙ’(ｔ)の算出に用いられる特性係数ベクトルＣは、式(１１)〜式(１３)から明らかなように、補正インパルス応答ｈｗ(ｔ)で表される残響音成分が音声信号ｙ(ｔ)に与える影響をキャンセルするように求められている。
【０１５２】
したがって、本件開示の残響抑制装置１００の応答補正部１０３により、第２インパルス応答ｈ２(ｔ)に基づいて、精密な測定で得られるインパルス応答と同等の補正インパルス応答ｈｗ(ｔ)を取得可能としたことは、時間領域での残響抑制にも有用である。
【０１５３】
なお、応答補正部１０３において、補正インパルス応答ｈｗ(ｔ)を求める手法として例示した２つの手法と、音声補正部１１０において、補正音声信号ｙ’(ｔ)を求めるための２つの手法とは、以上に説明した例に限らず、如何様にも組み合わせることができる。例えば、第２インパルス応答ｈ２(ｔ)の第１期間Ｐ１の部分を増幅する手法と、音声補正部１１０において、音声信号ｙ(ｔ)に含まれる残響音成分を周波数領域で抑制する手法とを組み合わせてもよい。
【符号の説明】
【０１５４】
１０…携帯端末；２１…プロセッサ；２２…メモリ；２４…記録処理部；２５…メモリカード；２６…表示制御部；２７…液晶表示部；２８…入力インタフェース(Ｉ／Ｆ)部；２９…操作パネル；１００…残響抑制装置；１０１…第１保持部；１０２…第２保持部；１０３…応答補正部；１０４…マイクロホン；１０５…通信処理部；１０６，１０７…スピーカ；１１０…音声補正部；１１１…変換部；１１２…推定部；１１３…ゲイン算出部；１１４…乗算部；１１５…逆変換部；１２１…加重加算部；１２２…高速フーリエ変換(ＦＦＴ)演算部；１２３…抽出部；１２４…部分応答変換部；１２５…特性算出部；１２６…補正応答変換部；１２７…逆ＦＦＴ演算部；１３１…応答増幅部；１３３…係数算出部；１３４…残響抑制フィルタ
【特許請求の範囲】
【請求項１】
携帯端末に搭載されたスピーカ又はマイクロホンの指向性に基づいて配置された音源がインパルスを出力した際に前記マイクロホンが出力する信号から得られる第１インパルス応答を示す情報を予め保持する第１保持部と、
残響音を抑制する対象となる室内において、前記携帯端末に搭載されたスピーカがインパルスを出力した際に前記マイクロホンが出力する信号から得られる第２インパルス応答を示す情報を保持する第２保持部と、
前記第１インパルス応答を示す情報を用いて、前記第２保持部に保持された情報で示される前記第２インパルス応答を補正することにより、前記室内の環境を反映した補正インパルス応答を求める応答補正部と、
前記補正インパルス応答に基づいて、前記室内において前記マイクロホンに音声が入力される際に当該マイクロホンによって得られる音声信号を補正する音声補正部と、
を備えたことを特徴とする残響抑制装置。
【請求項２】
請求項１に記載の残響抑制装置において、
前記第１保持部は、前記第１インパルス応答の波形を示す情報を保持し、
前記第２保持部は、前記第２インパルス応答の波形を示す情報を保持し、
前記応答補正部は、前記第１インパルス応答の波形を示す情報と前記第２インパルス応答の波形を示す情報とに、前記インパルスが出力された時刻から所定の第１時刻までの第１期間と前記第１時刻以降の第２期間とについてそれぞれ異なる重みを適用して加重加算することにより、前記補正インパルス応答を求める
ことを特徴とする残響抑制装置。
【請求項３】
請求項１に記載の残響抑制装置において、
前記第１保持部は、前記第１インパルス応答の前記第１期間における音声のパワーと、前記携帯端末に搭載されたスピーカによってインパルスを出力した際に前記第１期間において前記マイクロホンに到来する音声のパワーとの比を示す情報を、前記第１インパルスを示す情報として予め保持し、
前記第２保持部は、前記第２インパルス応答の波形を示す情報を保持し、
前記応答補正部は、前記第２インパルス応答の第１期間における波形を、前記比を示す情報を用いて増幅する補正を行うことにより、前記補正インパルス応答を求める
ことを特徴とする残響抑制装置。
【請求項４】
請求項１または請求項２に記載の残響抑制装置において、
前記音声補正部は、
前記音声信号を周波数領域の信号に変換する変換部と、
前記補正インパルス応答と前記周波数領域の信号とに基づいて、前記音声信号に含まれる残響音の周波数特性を示す残響特性を推定する推定部と、
前記推定部によって推定された残響特性に基づいて、前記残響音の各周波数成分を抑制するためのゲインを算出するゲイン算出部と、
前記周波数領域の信号に前記ゲインを乗算する乗算部とを有する
ことを特徴とする残響抑制装置。
【請求項５】
請求項４に記載の残響抑制装置において、
前記推定部は、
前記補正インパルス応答から残響音の成分を示す部分インパルス応答を抽出する抽出部と、
前記補正インパルス応答に対応する補正インパルス応答スペクトルと、前記部分インパルス応答に対応する部分インパルス応答スペクトルとの比を、前記周波数領域の信号に乗算することにより前記残響特性を算出する特性算出部とを有する
ことを特徴とする残響抑制装置。
【請求項６】
請求項４に記載の残響抑制装置において、
前記ゲイン算出部は、
所定の第１閾値を超える残響特性が得られた周波数成分に対応するゲインにあらかじめ決定したゲインの下限値を設定し、別の第２閾値未満の残響特性が得られた周波数成分に対応するゲインに前記下限値よりも大きい上限値を設定し、前記第２閾値以上であって前記第１閾値以下の残響特性が得られた周波数成分に対応するゲインとして、前記残響特性の値に応じて、前記上限値から前記下限値に単調に減少するようなゲインを設定する
ことを特徴とする残響抑制装置。
【請求項７】
携帯端末に搭載されたスピーカ又はマイクロホンの指向性に基づいて配置された音源がインパルスを出力した際に前記マイクロホンが出力する信号から得られる第１インパルス応答を示す情報を用いて、
残響音を抑制する対象となる室内において前記携帯端末に搭載されたスピーカがインパルスを出力した際に前記マイクロホンが出力する信号から得られる第２インパルス応答を補正することにより、前記室内の環境を反映した補正インパルス応答を求め、
前記補正インパルス応答に基づいて、前記室内において前記マイクロホンに音声が入力される際に当該マイクロホンによって得られる音声信号を補正する、
ことを特徴とする残響抑制方法。
【請求項８】
携帯端末に搭載されたスピーカ又はマイクロホンの指向性に基づいて配置された音源がインパルスを出力した際に前記マイクロホンが出力する信号から得られる第１インパルス応答を示す情報を用いて、
残響音を抑制する対象となる室内において前記携帯端末に搭載されたスピーカがインパルスを出力した際に前記マイクロホンが出力する信号から得られる第２インパルス応答を補正することにより、前記室内の環境を反映した補正インパルス応答を求め、
前記補正インパルス応答に基づいて、前記室内において前記マイクロホンに音声が入力される際に当該マイクロホンによって得られる音声信号を補正する、
処理をコンピュータに実行させる残響抑制プログラム。
【請求項９】
請求項８に記載の残響抑制プログラムにおいて、
前記補正インパルス応答を求める処理として、
前記第１インパルス応答の波形を示す情報と前記第２インパルス応答の波形を示す情報とに、前記インパルスが出力された時刻から所定の第１時刻までの第１期間と前記第１時刻以降の第２期間とについてそれぞれ異なる重みを適用して加重加算する処理を含む、
処理をコンピュータに実行させる残響抑制プログラム。
【請求項１０】
請求項８に記載の残響抑制プログラムにおいて、
前記補正インパルス応答を求める処理として、
前記第１インパルス応答の前記第１期間における音声のパワーと、前記携帯端末に搭載されたスピーカによってインパルスを出力した際に前記第１期間において前記マイクロホンに到来する音声のパワーとの比を示す情報を用いて、前記第２インパルス応答の第１期間における波形を増幅する処理を含む、
処理をコンピュータに実行させる残響抑制プログラム。
【請求項１１】
請求項８に記載の残響抑制プログラムにおいて、
音声信号を補正する処理として、
前記音声信号を周波数領域の信号に変換し、
前記補正インパルス応答と前記周波数領域の信号とに基づいて、前記音声信号に含まれる残響音の周波数特性を示す残響特性を推定し、
前記推定された残響特性に基づいて、前記残響音に含まれる各周波数成分を抑制するためのゲインを算出し、
前記周波数領域の信号に前記ゲインを乗算する処理を含む
処理をコンピュータに実行させる残響抑制プログラム。
【請求項１２】
請求項１１に記載の残響抑制プログラムにおいて、
前記残響特性を推定する処理として、
前記補正インパルス応答から残響音の成分を示す部分インパルス応答を抽出し、
前記補正インパルス応答に対応する補正インパルス応答スペクトルと、前記部分インパルス応答に対応する部分インパルス応答スペクトルとの比を、前記周波数領域の信号に乗算することにより前記残響特性を算出する処理を含む、
処理をコンピュータに実行させる残響抑制プログラム。
【請求項１】
携帯端末に搭載されたスピーカ又はマイクロホンの指向性に基づいて配置された音源がインパルスを出力した際に前記マイクロホンが出力する信号から得られる第１インパルス応答を示す情報を予め保持する第１保持部と、
残響音を抑制する対象となる室内において、前記携帯端末に搭載されたスピーカがインパルスを出力した際に前記マイクロホンが出力する信号から得られる第２インパルス応答を示す情報を保持する第２保持部と、
前記第１インパルス応答を示す情報を用いて、前記第２保持部に保持された情報で示される前記第２インパルス応答を補正することにより、前記室内の環境を反映した補正インパルス応答を求める応答補正部と、
前記補正インパルス応答に基づいて、前記室内において前記マイクロホンに音声が入力される際に当該マイクロホンによって得られる音声信号を補正する音声補正部と、
を備えたことを特徴とする残響抑制装置。
【請求項２】
請求項１に記載の残響抑制装置において、
前記第１保持部は、前記第１インパルス応答の波形を示す情報を保持し、
前記第２保持部は、前記第２インパルス応答の波形を示す情報を保持し、
前記応答補正部は、前記第１インパルス応答の波形を示す情報と前記第２インパルス応答の波形を示す情報とに、前記インパルスが出力された時刻から所定の第１時刻までの第１期間と前記第１時刻以降の第２期間とについてそれぞれ異なる重みを適用して加重加算することにより、前記補正インパルス応答を求める
ことを特徴とする残響抑制装置。
【請求項３】
請求項１に記載の残響抑制装置において、
前記第１保持部は、前記第１インパルス応答の前記第１期間における音声のパワーと、前記携帯端末に搭載されたスピーカによってインパルスを出力した際に前記第１期間において前記マイクロホンに到来する音声のパワーとの比を示す情報を、前記第１インパルスを示す情報として予め保持し、
前記第２保持部は、前記第２インパルス応答の波形を示す情報を保持し、
前記応答補正部は、前記第２インパルス応答の第１期間における波形を、前記比を示す情報を用いて増幅する補正を行うことにより、前記補正インパルス応答を求める
ことを特徴とする残響抑制装置。
【請求項４】
請求項１または請求項２に記載の残響抑制装置において、
前記音声補正部は、
前記音声信号を周波数領域の信号に変換する変換部と、
前記補正インパルス応答と前記周波数領域の信号とに基づいて、前記音声信号に含まれる残響音の周波数特性を示す残響特性を推定する推定部と、
前記推定部によって推定された残響特性に基づいて、前記残響音の各周波数成分を抑制するためのゲインを算出するゲイン算出部と、
前記周波数領域の信号に前記ゲインを乗算する乗算部とを有する
ことを特徴とする残響抑制装置。
【請求項５】
請求項４に記載の残響抑制装置において、
前記推定部は、
前記補正インパルス応答から残響音の成分を示す部分インパルス応答を抽出する抽出部と、
前記補正インパルス応答に対応する補正インパルス応答スペクトルと、前記部分インパルス応答に対応する部分インパルス応答スペクトルとの比を、前記周波数領域の信号に乗算することにより前記残響特性を算出する特性算出部とを有する
ことを特徴とする残響抑制装置。
【請求項６】
請求項４に記載の残響抑制装置において、
前記ゲイン算出部は、
所定の第１閾値を超える残響特性が得られた周波数成分に対応するゲインにあらかじめ決定したゲインの下限値を設定し、別の第２閾値未満の残響特性が得られた周波数成分に対応するゲインに前記下限値よりも大きい上限値を設定し、前記第２閾値以上であって前記第１閾値以下の残響特性が得られた周波数成分に対応するゲインとして、前記残響特性の値に応じて、前記上限値から前記下限値に単調に減少するようなゲインを設定する
ことを特徴とする残響抑制装置。
【請求項７】
携帯端末に搭載されたスピーカ又はマイクロホンの指向性に基づいて配置された音源がインパルスを出力した際に前記マイクロホンが出力する信号から得られる第１インパルス応答を示す情報を用いて、
残響音を抑制する対象となる室内において前記携帯端末に搭載されたスピーカがインパルスを出力した際に前記マイクロホンが出力する信号から得られる第２インパルス応答を補正することにより、前記室内の環境を反映した補正インパルス応答を求め、
前記補正インパルス応答に基づいて、前記室内において前記マイクロホンに音声が入力される際に当該マイクロホンによって得られる音声信号を補正する、
ことを特徴とする残響抑制方法。
【請求項８】
携帯端末に搭載されたスピーカ又はマイクロホンの指向性に基づいて配置された音源がインパルスを出力した際に前記マイクロホンが出力する信号から得られる第１インパルス応答を示す情報を用いて、
残響音を抑制する対象となる室内において前記携帯端末に搭載されたスピーカがインパルスを出力した際に前記マイクロホンが出力する信号から得られる第２インパルス応答を補正することにより、前記室内の環境を反映した補正インパルス応答を求め、
前記補正インパルス応答に基づいて、前記室内において前記マイクロホンに音声が入力される際に当該マイクロホンによって得られる音声信号を補正する、
処理をコンピュータに実行させる残響抑制プログラム。
【請求項９】
請求項８に記載の残響抑制プログラムにおいて、
前記補正インパルス応答を求める処理として、
前記第１インパルス応答の波形を示す情報と前記第２インパルス応答の波形を示す情報とに、前記インパルスが出力された時刻から所定の第１時刻までの第１期間と前記第１時刻以降の第２期間とについてそれぞれ異なる重みを適用して加重加算する処理を含む、
処理をコンピュータに実行させる残響抑制プログラム。
【請求項１０】
請求項８に記載の残響抑制プログラムにおいて、
前記補正インパルス応答を求める処理として、
前記第１インパルス応答の前記第１期間における音声のパワーと、前記携帯端末に搭載されたスピーカによってインパルスを出力した際に前記第１期間において前記マイクロホンに到来する音声のパワーとの比を示す情報を用いて、前記第２インパルス応答の第１期間における波形を増幅する処理を含む、
処理をコンピュータに実行させる残響抑制プログラム。
【請求項１１】
請求項８に記載の残響抑制プログラムにおいて、
音声信号を補正する処理として、
前記音声信号を周波数領域の信号に変換し、
前記補正インパルス応答と前記周波数領域の信号とに基づいて、前記音声信号に含まれる残響音の周波数特性を示す残響特性を推定し、
前記推定された残響特性に基づいて、前記残響音に含まれる各周波数成分を抑制するためのゲインを算出し、
前記周波数領域の信号に前記ゲインを乗算する処理を含む
処理をコンピュータに実行させる残響抑制プログラム。
【請求項１２】
請求項１１に記載の残響抑制プログラムにおいて、
前記残響特性を推定する処理として、
前記補正インパルス応答から残響音の成分を示す部分インパルス応答を抽出し、
前記補正インパルス応答に対応する補正インパルス応答スペクトルと、前記部分インパルス応答に対応する部分インパルス応答スペクトルとの比を、前記周波数領域の信号に乗算することにより前記残響特性を算出する処理を含む、
処理をコンピュータに実行させる残響抑制プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１３−３０９５６（Ｐ２０１３−３０９５６Ａ）
【公開日】平成２５年２月７日（２０１３．２．７）
【国際特許分類】
【出願番号】特願２０１１−１６５２７４（Ｐ２０１１−１６５２７４）
【出願日】平成２３年７月２８日（２０１１．７．２８）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２５年２月７日（２０１３．２．７）
【国際特許分類】
【出願日】平成２３年７月２８日（２０１１．７．２８）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]