音声判別装置、音声判別方法および音声判別プログラム
【課題】
複数チャンネルのシステム音によって生じるエコーに対しても頑健に動作する音声判別装置を提供することである。
【解決手段】
実施形態の音声判別装置は、複数チャンネルのシステム音を複数のスピーカから再生した再生音およびユーザの音声を含んだ第１の音響信号について音声／非音声を判別する音声判別装置であって、少なくとも前記複数チャンネルのシステム音に基づいて、周波数帯域別の重みを付与する重み付与手段と、前記重み付与手段で付与された周波数帯域別の重みを利用して、前記第１の音響信号に含まれる前記再生音を抑圧した第２の音響信号から特徴量を抽出する特徴抽出手段と、前記特徴抽出手段で抽出された特徴量に基づいて、前記第１の音響信号について音声／非音声を判別する音声／非音声判別手段とを備える。
複数チャンネルのシステム音によって生じるエコーに対しても頑健に動作する音声判別装置を提供することである。
【解決手段】
実施形態の音声判別装置は、複数チャンネルのシステム音を複数のスピーカから再生した再生音およびユーザの音声を含んだ第１の音響信号について音声／非音声を判別する音声判別装置であって、少なくとも前記複数チャンネルのシステム音に基づいて、周波数帯域別の重みを付与する重み付与手段と、前記重み付与手段で付与された周波数帯域別の重みを利用して、前記第１の音響信号に含まれる前記再生音を抑圧した第２の音響信号から特徴量を抽出する特徴抽出手段と、前記特徴抽出手段で抽出された特徴量に基づいて、前記第１の音響信号について音声／非音声を判別する音声／非音声判別手段とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、音声判別装置、音声判別方法および音声判別プログラムに関する。
【背景技術】
【０００２】
カーナビゲーションなどに搭載される音声認識には、システム音（例えば、ビープ音やガイダンス音声）の再生中であっても利用者の音声を認識できるバージイン機能を有するものがある。これらの音声認識の前処理に用いられる音声判別には、システム音をスピーカから再生した再生音（エコー）を含む音響信号から利用者の音声を正確に検出することが求められる。例えば、システム音に対する頑健性を高めた音声判別として、システム音の主要なパワーが含まれる周波数帯域を特定し、音響信号から特徴量を抽出する際に当該周波数帯域における周波数スペクトルを除外する方法が提案されている。システム音の主要なパワーが含まれる周波数帯域の周波数スペクトルには、エコーの影響が含まれる蓋然性が高い。したがって、当該周波数帯域における周波数スペクトルを除外することにより、システム音によって生じるエコーの影響を除いた特徴量を抽出することができる。
【０００３】
しかしながら、上述した方法は、システム音が単一チャンネルの音響信号である場合を想定しており、システム音がステレオ音楽などの複数チャンネルの音響信号である場合は対応することができなかった。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−８４２５３号公報
【非特許文献】
【０００５】
【非特許文献１】鈴木、「割り込み発話に頑健な音声認識エンジンの開発」、日本音響学会2010 年秋季研究報告会、日本、日本音響学会、2010年09月、2-9-2
【発明の概要】
【発明が解決しようとする課題】
【０００６】
発明が解決しようとする課題は、複数チャンネルのシステム音によって生じるエコーに対しても頑健に動作する音声判別装置を提供することである。
【課題を解決するための手段】
【０００７】
実施形態の音声判別装置は、複数チャンネルのシステム音を複数のスピーカから再生した再生音およびユーザの音声を含んだ第１の音響信号について音声／非音声を判別する音声判別装置であって、少なくとも前記複数チャンネルのシステム音に基づいて、周波数帯域別の重みを付与する重み付与手段と、前記重み付与手段で付与された周波数帯域別の重みを利用して、前記第１の音響信号に含まれる前記再生音を抑圧した第２の音響信号から特徴量を抽出する特徴抽出手段と、前記特徴抽出手段で抽出された特徴量に基づいて、前記第１の音響信号について音声／非音声を判別する音声／非音声判別手段とを備える。
【図面の簡単な説明】
【０００８】
【図１】第１の実施形態の音声認識システムを示すブロック図。
【図２】実施形態のエコーキャンセル部を示すブロック図。
【図３】実施形態の音声判別装置を示すブロック図。
【図４】実施形態の音声認識システムのフローチャート。
【図５】第２の実施形態の音声認識システムを示すブロック図。
【図６】実施形態のエコーキャンセル部を示すブロック図。
【図７】実施形態のエコーキャンセル部を示すブロック図。
【図８】実施形態の音声判別装置を示すブロック図。
【図９】実施形態の音声認識システムのフローチャート。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について図面を参照しながら説明する。
【００１０】
（第１の実施形態）
第１の実施形態の音声判別装置は、バージイン機能を有する音声認識の前処理に利用されるものであり、スピーカから再生されたシステム音のエコーを含んだ音響信号に利用者の音声が含まれるか否かを判別する。本実施形態のシステム音はステレオや5.1chのような複数チャンネルの音響信号で構成されており、スピーカから再生されたシステム音がマイクロホンで取得した第１の音響信号にエコーとなって混入する。
【００１１】
音声判別装置は、エコーキャンセラにより第１の音響信号からエコーを抑圧した第２の音響信号について音声／非音声を判別する。まず、音声判別装置は、複数チャンネルのシステム音を利用して周波数帯域別の重みを付与する。具体的には、複数チャンネルで構成されたシステム音の主要な成分が含まれる周波数帯域には小さな値の重みを、それ以外の周波数帯域には大きな値の重みを付与する。重みが小さな周波数帯域における第２の音響信号の周波数スペクトルには、複数チャンネルで構成されたシステム音の残留エコーが含まれる蓋然性が高い。したがって、音声判別装置は、第２の音響信号から特徴量を抽出する際、小さな重みが付与された周波数帯域の周波数スペクトルが特徴量に寄与する度合を小さくする。
【００１２】
このように、複数チャンネルからなるシステム音を利用して周波数帯域別の重みを付与することにより、システム音が複数チャンネルの場合でも残留エコーが含まれる蓋然性が高い周波数帯域に小さな重みを付与することができる。その結果、複数チャンネルのシステム音に起因するエコーを除外した特徴量を抽出することができる。
【００１３】
（ブロック構成）
図１は、第１の実施形態に係る音声判別装置１００を備えた音声認識システムを示すブロック図である。この音声認識システムは、システム音再生中の利用者音声を認識するバージイン機能を備えている。音声認識システムは、複数チャンネルで構成されたシステム音を再生するｎ個のスピーカ１３０−１〜１３０−ｎと、認識対象となる第１の音響信号を取得するマイクロホン１４０と、第１の音響信号に含まれるエコーを抑圧して第２の音響信号を生成するエコーキャンセル部１２０と、第２の音響信号を取得して音声／非音声を判別する音声判別装置１００と、音声／非音声の判別結果情報を利用してエコーキャンセル部１２０が出力した第２の音響信号を認識する音声認識部１１０とを備える。
【００１４】
カーオーディオやテレビなどから供給されるｎチャンネルのシステム音ｘ１（ｔ）〜ｘｎ（ｔ）は（ｔは離散的な時刻を表すタイムインデックス）、チャンネル毎に用意されたスピーカ１３０−１〜１３０−ｎを通じて利用者に向けて再生される。スピーカから再生されたｎチャンネルのシステム音は、空間を伝わりエコーとなってマイクロホン１４０に受音される。この結果、マイクロホン１４０が取得した第１の音響信号ｄ（ｔ）には、利用者音声とシステム音のエコーが混在する。エコーキャンセル部１２０は、第１の音響信号からｎチャンネルのシステム音によって生じたエコーを抑えた第２の音響信号ｅ（ｔ）を生成する。音声判別装置１００は、第２の音響信号を所定区間長に分割し、各区間について利用者音声が含まれるか否かを判別する。音声認識部１１０は、音声判別装置１００が出力した所定区間ごとの音声／非音声判別情報から利用者の音声区間（始端から終端までの区間）を特定し、エコーキャンセル部１２０が出力した第２の音響信号の音声認識を実行する。
【００１５】
図２は、エコーキャンセル部１２０の構成を示すブロック図である。エコーキャンセル部１２０は、マイクロホン１４０で取得した第１の音響信号に含まれるシステム音のエコーを抑圧する。このために、エコーキャンセル部１２０は、スピーカ１３０−１〜１４０−ｎからマイクロホン１４０までのエコー経路の伝達特性をＦＩＲ型の適応フィルタ１２１で推定する。適応フィルタ１２１がエコー経路の伝達特性を正確に推定できれば、第１の音響信号に含まれるエコーは完全に抑圧される。ところが、実際には適応フィルタ係数の更新不足や伝達特性の急激な変動による推定誤差が生じるため、第２の音響信号にエコーが残留する。また、本実施形態のエコーキャンセル部１２０は、後述する音声判別装置１００のモノラル化部１０１で生成された第３の音響信号を参照信号として利用する。この第３の音響信号は、複数チャンネルのシステム音を単一チャンネルの音響信号に変換したものである。そのため、エコーキャンセル部１２０は、システム音の各チャンネル信号と第３の音響信号との差分信号に由来するエコーを抑圧することができない。
【００１６】
図３は、音声判別装置１００の構成を示すブロック図である。音声判別装置１００は、複数チャンネルの音響信号で構成されるシステム音を単一チャンネルの第３の音響信号に変換するモノラル化部１０１と、モノラル化部１０１で変換された第３の音響信号の周波数スペクトルの大きさを利用して、システム音の主要な成分が含まれる周波数帯域には小さな値の重みを、それ以外の周波数帯域は大きな値の重みを付与する重み付与部１０２と、重み付与部１０２で小さな重みが付与された周波数帯域における周波数スペクトルを除外して第２の音響信号から特徴量を抽出する特徴抽出部１０３と、特徴抽出部１０３で抽出された特徴量を利用して、所定区間ごとの音声／非音声判別情報を求める音声／非音声判別部１０４を備える。
【００１７】
モノラル化部１０１は、複数チャンネルで構成されるシステム音を複数チャンネルの特性を反映した単一チャンネルの第３の音響信号に変換する。重み付与部１０２は、当該第３の音響信号の周波数スペクトルを利用して周波数帯域別の重みを付与することにより、システム音が複数チャンネルの場合でも残留エコーが含まれる蓋然性の高い周波数帯域に小さな重みを付与することができる。
【００１８】
なお、音声判別装置１００は、特徴抽出部１０３によって抽出された特徴量や、音声／非音声判別部１０４の音声／非音声判別情報をエコーキャンセル部１２０に出力する。
【００１９】
（フローチャート）
図４は、本実施形態にかかる音声認識システムのフローチャートである。まず、ステップＳ４０１では、モノラル化部１０１が、ｎチャンネルのシステム音ｘ１（ｔ）〜ｘｎ（ｔ）を単一チャンネルの第３の音響信号ｘ（ｔ）に変換して、後段の重み付与部１０２とエコーキャンセル部１２０に出力する。
【００２０】
モノラル化部１０１による変換は、ｎチャンネルのシステム音ｘ１（ｔ）〜ｘｎ（ｔ）の主要な成分を漏れなく第３の音響信号に含めるために全ての信号の平均により行う。これは、ｘ１（ｔ）〜ｘｎ（ｔ）を１／ｎの重みで加重和することに相当する（以下、この方法をチャンネル加重和と記す）。各チャンネルのレベルが不均一なときには、加重和の重みを調節することでレベルを均一にすることもできる。
【００２１】
また、ｎチャンネルのシステム音ｘ１（ｔ）〜ｘｎ（ｔ）の相関が強い場合は、ｎチャンネルのうちいずれかの信号を選択して第３の音響信号にすることも可能である（以下、この方法をチャンネル選択と記す）。ｎチャンネルのシステム音の相関が強い場合、どれか１つのチャンネルに全チャンネル共通の主要な成分が含まれると期待されるからである。ステレオマイクロホンで収録された音声（ステレオ収録音声）などは、チャンネル間の相関が強いことから、チャンネル選択を適用できるシステム音だと言える。一方、例えば左チャンネルが英語、右チャンネルが日本語のような二ヶ国語のシステム音である場合は、チャンネル間の相関が弱いと考えられることからチャンネル加重和の方が適している。モノラル化部１０１は、システム音に関するステレオ収録音声や二ヶ国語音声など、使用される状況に応じてチャンネル加重和とチャンネル選択のいずれかの方法を切り替えるようにしてもよい。
【００２２】
ステップＳ４０２では、エコーキャンセル部１２０は、第１の音響信号ｄ（ｔ）に含まれるシステム音のエコーをキャンセルして、第２の音響信号ｅ（ｔ）を生成する。ここで、適応フィルタ１２１の参照信号には、モノラル化部１０１で生成された第３の音響信号ｘ（ｔ）を用いる。
【００２３】
適応フィルタ１２１がＬ個のフィルタ係数を持ち、時刻ｔにおけるi番目のフィルタ係数値をｗi（ｔ）とすると、エコーを抑圧した第２の音響信号ｅ（ｔ）は、（１）式で計算できる。
【数１】
【００２４】
適応フィルタ１２１のフィルタ係数値ｗi（ｔ）は、例えば、ＮＬＭＳアルゴリズムを用いて、（２）式で更新できる。
【数２】
【００２５】
ここで、αは更新速度を調整するステップサイズ、γは分母項が零になることを防ぐための小さな正の値である。αは０．１〜０．３程度に設定するとよい。
【００２６】
次に、ステップ４０３では、重み付与部１０２が、第３の音響信号ｘ（ｔ）の周波数スペクトルの大きさを利用して、特徴抽出部１０３で特徴量を抽出する際に利用する各周波数帯域ｆの重みＲｆ（ｋ）を算出する（ｋは、フレーム番号）。
【００２７】
重み付与部１０２は、例えば、１６０００Ｈｚのサンプリングで取得された第３の音響信号ｘ（ｔ）を、フレーム長２５ｍｓ（４００サンプル）、間隔８ｍｓ（１２８サンプル）のフレームに分割する。フレーム分割にはハミング窓を使用する。次に、重み付与部１０２は、各フレームに対して１１２点の零詰めを行った後、５１２点の離散フーリエ変換を適用して第３の音響信号ｘ（ｔ）のパワースペクトルＸｆ（ｋ）を求める。そして、得られたパワースペクトルＸｆ（ｋ）を、（３）式の再帰式で時間方向に平滑化した平滑化パワースペクトルＸ’ｆ（ｋ）を生成する。
【数３】
【００２８】
ここで、Ｘ’ｆ（ｋ）は周波数帯域ｆにおける平滑化パワースペクトル、μは平滑化の度合いを調整する忘却係数を表している。μは０．３〜０．５程度に設定する。システム音は、スピーカ１３０−１〜１３０−ｎからマイクロホン１４０までのエコー経路を音速で伝播するため、第１の音響信号中に含まれる残留エコーと第３の音響信号には時間的なずれが生じ得る。現フレームのパワースペクトルの成分が後続するフレームのパワースペクトルに混入する平滑化処理は、第１の音響信号に含まれる残留エコーと第３の音響信号との時間的なずれを補償する効果がある。
【００２９】
次に、重み付与部１０２は、第３の音響信号の平滑化パワースペクトルＸ’ｆ（ｋ）を利用して、システム音の主要な成分を含む周波数帯域に重み０を、それ以外の周波数帯域に重み１を付与する。具体的には、第１の音響信号の平滑化パワースペクトルＸ’ｆ（ｋ）と第１の閾値ＴＨＸ（ｋ）を比較して、（４）式により各周波数帯域ｆに重みＲｆ（ｋ）を付与する。
【数４】
【００３０】
ここで、第１の閾値ＴＨＸ（ｋ）は、システム音の主要な成分が含まれる周波数帯域の検出に適した大きさが必要である。例えば、第１の閾値ＴＨＸ（ｋ）を第３の音響信号の無音区間のパワーより大きな値に設定することができる。また、（５）式のように、各フレームにおける平均パワー値を第１の閾値とすることもできる。
【数５】
【００３１】
ここで、Ｐは周波数帯域ｆの数である。この場合、第１の閾値はフレームごとに動的に変化する。
【００３２】
この他にも、各フレームにおける平滑化後のパワースペクトルＸ’ｆ（ｋ）を周波数インデックスｆに対して昇順にソートし、ソートした結果、上位ａ％（例えば５０％）に入る周波数帯域に重み０を、それ以外の周波数帯域に重み１を付与することもできる。また、第１の閾値より大きく、かつ昇順にソートした結果、上位ａ％（例えば５０％）に該当する周波数帯域に重み０を、それ以外の周波数帯域に重み１を付与してもよい。
【００３３】
あるいは、上述したように重みの値を０または１のいずれかの値に限定せず、（６）式のようにパワーに応じて０と１の間を単調減少する値として与えることも可能である。
【数６】
【００３４】
ここで、閾値ＴＨ１とＴＨ２は、前記第１の閾値ＴＨＸ（ｋ）を基準にして（７）式のように定めることができる。式中のαとβは実験的に求めることが可能であるが、例えば０．６に設定すると、ＴＨＸ（ｋ）が各フレームにおける平均パワー値を表している場合、これに対して４倍と１／４倍のパワー値を閾値ＴＨ１とＴＨ２にそれぞれ設定することに相当する。
【数７】
【００３５】
第３の音響信号ｘ（ｔ）は、モノラル部１０１における変換により、複数チャンネルのシステム音の主要な成分を反映した音響信号となる。したがって、第３の音響信号の平滑化パワースペクトルＸ’ｆ（ｋ）の大きさを利用することにより、複数チャンネルのシステム音の主要な成分を考慮した重みを各周波数帯域に付与することができる。
【００３６】
ステップＳ４０４では、特徴抽出部１０３は、重み付与部１０２で得られた周波数帯域別の重みＲｆ（ｋ）を利用して、第２の音響信号ｅ（ｔ）から利用者の音声らしさを表す特徴量を抽出する。
【００３７】
本実施形態では、特徴量として（８）式で計算される周波数帯域別ＳＮＲの平均値ＳＮＲａｖｒｇ（ｋ）（以下、平均ＳＮＲと記す）を用いる。
【数８】
【００３８】
ここで、Ｍ（ｋ）はｋ番目のフレームでＲｆ（ｋ）＝１となる周波数帯域ｆの数を表している。また、Ｎｆ（ｋ）は第２の音響信号において利用者音声を含まない区間のパワースペクトルの推定値であり、例えば、第２の音響信号の先頭２０フレームにおけるパワースペクトルの平均値から求める。一般に、利用者音声が含まれる区間における第２の音響信号は、利用者音声が含まれない区間における第２の音響信号と比較して大きくなる。したがって、平均ＳＮＲが大きいほど、第２の音響信号に利用者音声が含まれている蓋然性が高いといえる。なお、特徴量としてはここで例示した平均ＳＮＲに限らず、例えば、非特許文献１に開示された正規化スペクトルエントロピーやスペクトル間余弦値を用いることもできる。
【００３９】
（８）式より、特徴抽出部１０３は、重み付与部１０２でＲｆ（ｋ）＝０となった周波数帯域の周波数スペクトルを除外して特徴量を抽出している。重みが０となる（あるいは連続値の場合０に近い値となる）周波数帯域は、複数チャンネルのシステム音に起因するエコーが含まれる蓋然性の高い周波数帯域である。したがって、（８）式に示したように、重みＲｆ（ｋ）を乗じた値として特徴量を計算することで、重みＲｆ（ｋ）が０となる（あるいは０に近い値となる）周波数帯域における周波数スペクトルが特徴量に寄与する度合を下げることができ、結果として残留エコーの影響を取り除いた特徴量の抽出が可能になる。
【００４０】
ステップＳ４０５では、音声／非音声判別部１０３は、（９）式のように特徴抽出部１０３で抽出された特徴量と閾値ＴＨＶＡ（ｋ）を比較することで、フレーム単位の音声／非音声を判別する。
【数９】
【００４１】
ステップＳ４０６では、音声認識部１１０は、音声判別装置１００が出力するフレーム単位の音声／非音声判別情報を使って認識対象となる利用者の音声区間を特定する。また、音声認識部１１０は、エコーキャンセル部１２０が出力する第２の音響信号ｅ（ｔ）について音声認識処理を実行する。
【００４２】
以上の説明では、周波数スペクトルとしてパワースペクトルを用いたが、振幅スペクトルを用いてもよい。
【００４３】
（効果）
このように、本実施形態にかかる音声判別装置は、複数チャンネルのシステム音をモノラル化した第３の音響信号のパワースペクトルの大きさを利用して周波数帯域別の重みを付与している。これにより、複数チャンネルのシステム音の主要な成分を考慮した重みを付与することができる。
【００４４】
また、本実施形態にかかる音声判別装置は、複数チャンネルのシステム音の主要な成分を考慮した重みを利用して特徴量を抽出している。これにより、複数チャンネルのシステム音のエコーを低減した特徴量を抽出することができる。
【００４５】
（変形例１）
重み付与部１０２は、第３の音響信号の平滑化パワースペクトルＸ’ｆ（ｋ）だけでなく第２の音響信号のパワースペクトルＥｆ（ｋ）も用いて各周波数帯域の重みを付与することができる。例えば、（１０）式のように重みＲｆ（ｋ）を付与することができる。
【数１０】
【００４６】
ここで、第２の閾値ＴＨＥ（ｋ）は、第２の音響信号の無音区間のパワーより大きな値に設定することができる。
【００４７】
このように、第３の音響信号だけでなく第２の音響信号も用いて重みを付与することにより、利用者音声の主要な成分を含む周波数帯域に小さな重みが付与されることを防止できる。
【００４８】
（変形例２）
適応フィルタ１２１は、（１１）式のように、特徴抽出部１３０で抽出された特徴量ＳＮＲａｖｒｇ（ｋ）と閾値ＴＨＤＴ（ｋ）を用いてフィルタ係数の更新を制御してもよい。すなわち、適応フィルタ１２１は、第１の音響信号に利用者音声が含まれないと判別されるときだけフィルタ係数を更新する。この結果、適応フィルタ１２１はエコー経路の伝達特性を精度良く推定できる。
【数１１】
【００４９】
また、適応フィルタ１２１が、音声／非音声判別部１０４での音声／非音声判別情報を入力して、非音声と判別されたときにフィルタ係数を更新し、音声と判別されたときにフィルタ係数を更新しないようにすることも可能である。あるいは、適応フィルタ１２１は、特徴量ＳＮＲａｖｒｇ（ｋ）が大きくなる従って（２）式のステップサイズαが小さくなるよう制御することも可能である。
【００５０】
（変形例３）
本実施形態では、重み付与部１０２は、第１の音響信号の平滑化パワースペクトルＸ’ｆ（ｋ）が第１の閾値ＴＨＸ（ｋ）より大きくなる周波数帯域には重み０を、それ以外の周波数帯域には重み１を付与している。付与する重みはこれに限定されず、例えば、Ｘ’ｆ（ｋ）が第１の閾値ＴＨＸ（ｋ）より大きくなる周波数帯域には重み−１００を、それ以外の周波数帯域に重み１００を付与し、特徴抽出部１０３で特徴量を抽出する際に重み−１００が付与された周波数帯域における周波数スペクトルを除外するようにしてもよい。
【００５１】
（第２の実施形態）
（ブロック構成）
図５は、第２の実施形態にかかる音声判別装置を備えた音声認識システムを示すブロック図である。第１の実施形態と異なるのは、エコーキャンセル部２２０がモノラル化された第３の音響信号ではなく複数チャンネルのシステム音を取得している点である。
【００５２】
図６は、エコーキャンセル部２２０の１構成例を示すブロック図である。同図で示されるエコーキャンセル部２２０−ａは、複数チャンネルのシステム音をモノラル化するモノラル化部２２３を有しており、当該モノラル化部２２３で単一チャンネルに変換された第３の音響信号を適応フィルタ１２１で利用する参照信号としている。モノラル化部２２３における処理は、第１の実施形態のモノラル化部１０１と同様な方法で行うことができる。また、適応フィルタの更新およびエコー抑圧後の第２の音響信号の生成は、第１の実施形態と同様な方法で行うことができる。
【００５３】
また、図７は、エコーキャンセル部２２０の他の構成例を示すブロック図である。同図で示されるエコーキャンセル部２２０−ｂは、複数チャンネルのエコーキャンセラであり、システム音の各チャンネルに対応した適応フィルタ２２１−１〜２２１−ｎと減算器２２２−１〜２２２−ｎを有する。各適応フィルタの更新およびエコー抑圧後の第２の音響信号の生成は第１の実施形態と同様な方法で行う。
【００５４】
図８は、音声判別装置２００の構成を示すブロック図である。第１の実施形態の音声判別装置１００と異なるのは、モノラル化部１０１を有していない点である。音声判別装置２００では、重み付与部１０２が複数チャンネルのシステム音ｘ１（ｔ）〜ｘｎ（ｔ）の周波数スペクトルの大きさを利用して各周波数帯域に重みを付与する。
【００５５】
（フローチャート）
図９は、本実施形態にかかる音声認識システムのフローチャートである。まず、ステップＳ４１１では、エコーキャンセル部２２０は、第１の音響信号ｄ（ｔ）に含まれるシステム音のエコーを抑圧して第２の音響信号ｅ（ｔ）を生成する。
【００５６】
次に、ステップ４１２では、重み付与部１０２が、第２の音響信号ｅ（ｔ）および複数チャンネルのシステム音ｘ１（ｔ）〜ｘｎ（ｔ）の周波数スペクトルの大きさを利用して、特徴抽出部１０３で特徴量を抽出する際に利用する各周波数帯域ｆの重みＲｆ（ｋ）を算出する。重みは、利用者音声が含まれず、かつ残留エコーが生じる蓋然性の高い周波数帯域には小さな値を、それ以外の周波数帯域には大きな値を付与する。
【００５７】
重み付与部１０２は、まず、１６０００Ｈｚのサンプリング周波数で取得した第２の音響信号ｅ（ｔ）および複数チャンネルのシステム音ｘ１（ｔ）〜ｘｎ（ｔ）を、フレーム長２５ｍｓ（４００サンプル）、間隔８ｍｓ（１２８サンプル）のフレームにそれぞれ分割する。フレーム分割にはハミング窓を使用できる。次に、各フレームに対して、１１２点の零詰めを行った後、５１２点の離散フーリエ変換を適用して第２の音響信号ｅ（ｔ）のパワースペクトルＥｆ（ｋ）と複数チャンネルのシステム音ｘ１（ｔ）〜ｘｎ（ｔ）のパワースペクトルＸ１ｆ（ｋ）〜をＸｎｆ（ｋ）求める。そして、得られたパワースペクトルＥｆ（ｋ）およびＸ１ｆ（ｋ）〜Ｘｎｆ（ｋ）を（３）式と同様な方法で平滑化した平滑化パワースペクトルＥ’ｆ（ｋ）およびＸ’１ｆ（ｋ）〜Ｘ’ｎｆ（ｋ）を生成する。
【００５８】
次に、重み付与部１０２は、第２の音響信号の平滑化パワースペクトルＥ’ｆ（ｋ）を利用して、利用者音声の主要成分を含まない周波数帯域に重み−１を、それ以外の周波数帯域に重み１を付与する。具体的には、第２の音響信号の平滑化パワースペクトルＥ’ｆ（ｋ）と第２の閾値ＴＨＥ（ｋ）を比較して、（１２）式により重みを付与する。
【数１２】
【００５９】
第２の閾値ＴＨＥ（ｋ）は、利用者の音声が含まれる周波数帯域の検出に適した大きさが必要である。例えば、第２の閾値ＴＨＥ（ｋ）を第２の音響信号の無音区間（例えば、起動直後の100msec区間など）のパワーより大きな値に設定することができる。
【００６０】
次に、重み付与部１０２は、複数チャンネルのシステム音の平滑化パワースペクトルＸ１ｆ（ｋ）〜Ｘｎｆ（ｋ）を利用して、利用者音声の主要な成分が含まれていない周波数帯域のうちシステム音のエコーが混入している蓋然性が高い周波数帯域（妨害主要周波数帯域）を検出する。具体的には、平滑化パワースペクトルＸ１ｆ（ｋ）〜Ｘｎｆ（ｋ）をチャンネル順に解析して、パワーの大きな周波数帯域を妨害主要周波数帯域として検出し、重み０を付与する。妨害主要周波数帯域では、スピーカ１３０−１〜１３０−ｎから出力されたシステム音のパワーが大きくなる。したがって、この周波数帯域に残留エコーが含まれる蓋然性が高い。重み付与部１０２は、（１２）式での重み付与結果Ｒｆ（ｋ）が−１となっている周波数帯域について、平滑化パワースペクトルＸ１ｆ（ｋ）〜Ｘｎｆ（ｋ）と第１の閾値ＴＨＸ（ｋ）を比較し、（１３）式により重みＲｆ（ｋ）を更新する。
【数１３】
【００６１】
ここで、ｃはチャンネル番号ｃ（１≦ｃ≦ｎ）を表している。第１の閾値ＴＨＸ（ｋ）は、（１４）式のように、全チャンネルの各フレームにおける平均パワー値とすることができる。
【数１４】
【００６２】
重み付与部１０２は、（１５）式の処理をチャンネル番号の例えば昇順（ｃ＝１から初めてｃ＝ｎまで）に行うことで、既に妨害主要周波数として検出されている（Ｒｆ（ｋ）＝０となっている）周波数帯域に対する閾値処理はスキップされる。
【００６３】
最後に、重み付与部１０２は、（１５）式によりＲｆ（ｋ）＝−１となっている重みをＲｆ（ｋ）＝１に置き換える。
【数１５】
【００６４】
Ｒｆ（ｋ）は最終的に０か１の値を持つ。Ｒｆ（ｋ）＝０となる周波数帯域が、利用者音声の主要な成分は含まれないが妨害音が含まれる蓋然性が高い妨害主要周波数帯域である。本実施形態の重み付与部１０２は、システム音を構成する各チャンネルの音響信号のパワースペクトルを利用して、周波数帯域別の重みを付与している。これにより、複数チャンネルのシステム音の主要な成分を考慮した重みを付与することができる。
【００６５】
次に、ステップＳ４１３では、第１の実施形態と同様に、重み付与部１０２で得られた周波数帯域別の重みＲｆ（ｋ）が０となる周波数帯域における周波数スペクトルを除外して、第２の音響信号ｅ（ｔ）から利用者の音声らしさを表す特徴量を抽出する。ステップ４１３からステップＳ４１５までの処理は、第１の実施形態のステップＳ４０４からステップＳ４０６までの処理と同様であるため、説明を省略する。
【００６６】
（効果）
このように、本実施形態にかかる音声判別装置は、システム音を構成する各チャンネルの音響信号のパワースペクトルおよび利用者音声を含む音響信号のパワースペクトルを利用して、周波数帯域別の重みを付与している。これにより、複数チャンネルのシステム音および利用者音声の主要な成分を考慮した重みを付与することができる。
【００６７】
また、本実施形態にかかる音声判別装置は、複数チャンネルのシステム音および利用者音声の主要な成分を考慮した重みを利用して特徴量を抽出している。これにより、利用者音声が含まれず、かつ残留エコーが生じる蓋然性の高い周波数帯域における周波数スペクトルの影響を低減した特徴量を抽出することができる。
【００６８】
以上述べた少なくとも一つの実施形態の音声判別装置によれば、複数チャンネルのシステム音を利用して周波数帯域別の重みを付与している。これにより、複数チャンネルのシステム音の主要な成分を考慮した重みを付与することができる。
【００６９】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００７０】
１００、２００ 音声判別装置
１０１、２２３ モノラル化部
１０２ 重み付与部
１０３ 特徴抽出部
１０４ 音声／非音声判別部
１１０ 音声認識部
１２０、２２０、２２０−ａ、２２０−ｂ エコーキャンセル部
１２２、２２２−１〜２２２−ｎ 減算部
１２１、２２１−１〜２２１−ｎ 適応フィルタ
１３０ マイクロホン
１４０−１〜１４０−ｎ スピーカ
【技術分野】
【０００１】
本発明の実施形態は、音声判別装置、音声判別方法および音声判別プログラムに関する。
【背景技術】
【０００２】
カーナビゲーションなどに搭載される音声認識には、システム音（例えば、ビープ音やガイダンス音声）の再生中であっても利用者の音声を認識できるバージイン機能を有するものがある。これらの音声認識の前処理に用いられる音声判別には、システム音をスピーカから再生した再生音（エコー）を含む音響信号から利用者の音声を正確に検出することが求められる。例えば、システム音に対する頑健性を高めた音声判別として、システム音の主要なパワーが含まれる周波数帯域を特定し、音響信号から特徴量を抽出する際に当該周波数帯域における周波数スペクトルを除外する方法が提案されている。システム音の主要なパワーが含まれる周波数帯域の周波数スペクトルには、エコーの影響が含まれる蓋然性が高い。したがって、当該周波数帯域における周波数スペクトルを除外することにより、システム音によって生じるエコーの影響を除いた特徴量を抽出することができる。
【０００３】
しかしながら、上述した方法は、システム音が単一チャンネルの音響信号である場合を想定しており、システム音がステレオ音楽などの複数チャンネルの音響信号である場合は対応することができなかった。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−８４２５３号公報
【非特許文献】
【０００５】
【非特許文献１】鈴木、「割り込み発話に頑健な音声認識エンジンの開発」、日本音響学会2010 年秋季研究報告会、日本、日本音響学会、2010年09月、2-9-2
【発明の概要】
【発明が解決しようとする課題】
【０００６】
発明が解決しようとする課題は、複数チャンネルのシステム音によって生じるエコーに対しても頑健に動作する音声判別装置を提供することである。
【課題を解決するための手段】
【０００７】
実施形態の音声判別装置は、複数チャンネルのシステム音を複数のスピーカから再生した再生音およびユーザの音声を含んだ第１の音響信号について音声／非音声を判別する音声判別装置であって、少なくとも前記複数チャンネルのシステム音に基づいて、周波数帯域別の重みを付与する重み付与手段と、前記重み付与手段で付与された周波数帯域別の重みを利用して、前記第１の音響信号に含まれる前記再生音を抑圧した第２の音響信号から特徴量を抽出する特徴抽出手段と、前記特徴抽出手段で抽出された特徴量に基づいて、前記第１の音響信号について音声／非音声を判別する音声／非音声判別手段とを備える。
【図面の簡単な説明】
【０００８】
【図１】第１の実施形態の音声認識システムを示すブロック図。
【図２】実施形態のエコーキャンセル部を示すブロック図。
【図３】実施形態の音声判別装置を示すブロック図。
【図４】実施形態の音声認識システムのフローチャート。
【図５】第２の実施形態の音声認識システムを示すブロック図。
【図６】実施形態のエコーキャンセル部を示すブロック図。
【図７】実施形態のエコーキャンセル部を示すブロック図。
【図８】実施形態の音声判別装置を示すブロック図。
【図９】実施形態の音声認識システムのフローチャート。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について図面を参照しながら説明する。
【００１０】
（第１の実施形態）
第１の実施形態の音声判別装置は、バージイン機能を有する音声認識の前処理に利用されるものであり、スピーカから再生されたシステム音のエコーを含んだ音響信号に利用者の音声が含まれるか否かを判別する。本実施形態のシステム音はステレオや5.1chのような複数チャンネルの音響信号で構成されており、スピーカから再生されたシステム音がマイクロホンで取得した第１の音響信号にエコーとなって混入する。
【００１１】
音声判別装置は、エコーキャンセラにより第１の音響信号からエコーを抑圧した第２の音響信号について音声／非音声を判別する。まず、音声判別装置は、複数チャンネルのシステム音を利用して周波数帯域別の重みを付与する。具体的には、複数チャンネルで構成されたシステム音の主要な成分が含まれる周波数帯域には小さな値の重みを、それ以外の周波数帯域には大きな値の重みを付与する。重みが小さな周波数帯域における第２の音響信号の周波数スペクトルには、複数チャンネルで構成されたシステム音の残留エコーが含まれる蓋然性が高い。したがって、音声判別装置は、第２の音響信号から特徴量を抽出する際、小さな重みが付与された周波数帯域の周波数スペクトルが特徴量に寄与する度合を小さくする。
【００１２】
このように、複数チャンネルからなるシステム音を利用して周波数帯域別の重みを付与することにより、システム音が複数チャンネルの場合でも残留エコーが含まれる蓋然性が高い周波数帯域に小さな重みを付与することができる。その結果、複数チャンネルのシステム音に起因するエコーを除外した特徴量を抽出することができる。
【００１３】
（ブロック構成）
図１は、第１の実施形態に係る音声判別装置１００を備えた音声認識システムを示すブロック図である。この音声認識システムは、システム音再生中の利用者音声を認識するバージイン機能を備えている。音声認識システムは、複数チャンネルで構成されたシステム音を再生するｎ個のスピーカ１３０−１〜１３０−ｎと、認識対象となる第１の音響信号を取得するマイクロホン１４０と、第１の音響信号に含まれるエコーを抑圧して第２の音響信号を生成するエコーキャンセル部１２０と、第２の音響信号を取得して音声／非音声を判別する音声判別装置１００と、音声／非音声の判別結果情報を利用してエコーキャンセル部１２０が出力した第２の音響信号を認識する音声認識部１１０とを備える。
【００１４】
カーオーディオやテレビなどから供給されるｎチャンネルのシステム音ｘ１（ｔ）〜ｘｎ（ｔ）は（ｔは離散的な時刻を表すタイムインデックス）、チャンネル毎に用意されたスピーカ１３０−１〜１３０−ｎを通じて利用者に向けて再生される。スピーカから再生されたｎチャンネルのシステム音は、空間を伝わりエコーとなってマイクロホン１４０に受音される。この結果、マイクロホン１４０が取得した第１の音響信号ｄ（ｔ）には、利用者音声とシステム音のエコーが混在する。エコーキャンセル部１２０は、第１の音響信号からｎチャンネルのシステム音によって生じたエコーを抑えた第２の音響信号ｅ（ｔ）を生成する。音声判別装置１００は、第２の音響信号を所定区間長に分割し、各区間について利用者音声が含まれるか否かを判別する。音声認識部１１０は、音声判別装置１００が出力した所定区間ごとの音声／非音声判別情報から利用者の音声区間（始端から終端までの区間）を特定し、エコーキャンセル部１２０が出力した第２の音響信号の音声認識を実行する。
【００１５】
図２は、エコーキャンセル部１２０の構成を示すブロック図である。エコーキャンセル部１２０は、マイクロホン１４０で取得した第１の音響信号に含まれるシステム音のエコーを抑圧する。このために、エコーキャンセル部１２０は、スピーカ１３０−１〜１４０−ｎからマイクロホン１４０までのエコー経路の伝達特性をＦＩＲ型の適応フィルタ１２１で推定する。適応フィルタ１２１がエコー経路の伝達特性を正確に推定できれば、第１の音響信号に含まれるエコーは完全に抑圧される。ところが、実際には適応フィルタ係数の更新不足や伝達特性の急激な変動による推定誤差が生じるため、第２の音響信号にエコーが残留する。また、本実施形態のエコーキャンセル部１２０は、後述する音声判別装置１００のモノラル化部１０１で生成された第３の音響信号を参照信号として利用する。この第３の音響信号は、複数チャンネルのシステム音を単一チャンネルの音響信号に変換したものである。そのため、エコーキャンセル部１２０は、システム音の各チャンネル信号と第３の音響信号との差分信号に由来するエコーを抑圧することができない。
【００１６】
図３は、音声判別装置１００の構成を示すブロック図である。音声判別装置１００は、複数チャンネルの音響信号で構成されるシステム音を単一チャンネルの第３の音響信号に変換するモノラル化部１０１と、モノラル化部１０１で変換された第３の音響信号の周波数スペクトルの大きさを利用して、システム音の主要な成分が含まれる周波数帯域には小さな値の重みを、それ以外の周波数帯域は大きな値の重みを付与する重み付与部１０２と、重み付与部１０２で小さな重みが付与された周波数帯域における周波数スペクトルを除外して第２の音響信号から特徴量を抽出する特徴抽出部１０３と、特徴抽出部１０３で抽出された特徴量を利用して、所定区間ごとの音声／非音声判別情報を求める音声／非音声判別部１０４を備える。
【００１７】
モノラル化部１０１は、複数チャンネルで構成されるシステム音を複数チャンネルの特性を反映した単一チャンネルの第３の音響信号に変換する。重み付与部１０２は、当該第３の音響信号の周波数スペクトルを利用して周波数帯域別の重みを付与することにより、システム音が複数チャンネルの場合でも残留エコーが含まれる蓋然性の高い周波数帯域に小さな重みを付与することができる。
【００１８】
なお、音声判別装置１００は、特徴抽出部１０３によって抽出された特徴量や、音声／非音声判別部１０４の音声／非音声判別情報をエコーキャンセル部１２０に出力する。
【００１９】
（フローチャート）
図４は、本実施形態にかかる音声認識システムのフローチャートである。まず、ステップＳ４０１では、モノラル化部１０１が、ｎチャンネルのシステム音ｘ１（ｔ）〜ｘｎ（ｔ）を単一チャンネルの第３の音響信号ｘ（ｔ）に変換して、後段の重み付与部１０２とエコーキャンセル部１２０に出力する。
【００２０】
モノラル化部１０１による変換は、ｎチャンネルのシステム音ｘ１（ｔ）〜ｘｎ（ｔ）の主要な成分を漏れなく第３の音響信号に含めるために全ての信号の平均により行う。これは、ｘ１（ｔ）〜ｘｎ（ｔ）を１／ｎの重みで加重和することに相当する（以下、この方法をチャンネル加重和と記す）。各チャンネルのレベルが不均一なときには、加重和の重みを調節することでレベルを均一にすることもできる。
【００２１】
また、ｎチャンネルのシステム音ｘ１（ｔ）〜ｘｎ（ｔ）の相関が強い場合は、ｎチャンネルのうちいずれかの信号を選択して第３の音響信号にすることも可能である（以下、この方法をチャンネル選択と記す）。ｎチャンネルのシステム音の相関が強い場合、どれか１つのチャンネルに全チャンネル共通の主要な成分が含まれると期待されるからである。ステレオマイクロホンで収録された音声（ステレオ収録音声）などは、チャンネル間の相関が強いことから、チャンネル選択を適用できるシステム音だと言える。一方、例えば左チャンネルが英語、右チャンネルが日本語のような二ヶ国語のシステム音である場合は、チャンネル間の相関が弱いと考えられることからチャンネル加重和の方が適している。モノラル化部１０１は、システム音に関するステレオ収録音声や二ヶ国語音声など、使用される状況に応じてチャンネル加重和とチャンネル選択のいずれかの方法を切り替えるようにしてもよい。
【００２２】
ステップＳ４０２では、エコーキャンセル部１２０は、第１の音響信号ｄ（ｔ）に含まれるシステム音のエコーをキャンセルして、第２の音響信号ｅ（ｔ）を生成する。ここで、適応フィルタ１２１の参照信号には、モノラル化部１０１で生成された第３の音響信号ｘ（ｔ）を用いる。
【００２３】
適応フィルタ１２１がＬ個のフィルタ係数を持ち、時刻ｔにおけるi番目のフィルタ係数値をｗi（ｔ）とすると、エコーを抑圧した第２の音響信号ｅ（ｔ）は、（１）式で計算できる。
【数１】
【００２４】
適応フィルタ１２１のフィルタ係数値ｗi（ｔ）は、例えば、ＮＬＭＳアルゴリズムを用いて、（２）式で更新できる。
【数２】
【００２５】
ここで、αは更新速度を調整するステップサイズ、γは分母項が零になることを防ぐための小さな正の値である。αは０．１〜０．３程度に設定するとよい。
【００２６】
次に、ステップ４０３では、重み付与部１０２が、第３の音響信号ｘ（ｔ）の周波数スペクトルの大きさを利用して、特徴抽出部１０３で特徴量を抽出する際に利用する各周波数帯域ｆの重みＲｆ（ｋ）を算出する（ｋは、フレーム番号）。
【００２７】
重み付与部１０２は、例えば、１６０００Ｈｚのサンプリングで取得された第３の音響信号ｘ（ｔ）を、フレーム長２５ｍｓ（４００サンプル）、間隔８ｍｓ（１２８サンプル）のフレームに分割する。フレーム分割にはハミング窓を使用する。次に、重み付与部１０２は、各フレームに対して１１２点の零詰めを行った後、５１２点の離散フーリエ変換を適用して第３の音響信号ｘ（ｔ）のパワースペクトルＸｆ（ｋ）を求める。そして、得られたパワースペクトルＸｆ（ｋ）を、（３）式の再帰式で時間方向に平滑化した平滑化パワースペクトルＸ’ｆ（ｋ）を生成する。
【数３】
【００２８】
ここで、Ｘ’ｆ（ｋ）は周波数帯域ｆにおける平滑化パワースペクトル、μは平滑化の度合いを調整する忘却係数を表している。μは０．３〜０．５程度に設定する。システム音は、スピーカ１３０−１〜１３０−ｎからマイクロホン１４０までのエコー経路を音速で伝播するため、第１の音響信号中に含まれる残留エコーと第３の音響信号には時間的なずれが生じ得る。現フレームのパワースペクトルの成分が後続するフレームのパワースペクトルに混入する平滑化処理は、第１の音響信号に含まれる残留エコーと第３の音響信号との時間的なずれを補償する効果がある。
【００２９】
次に、重み付与部１０２は、第３の音響信号の平滑化パワースペクトルＸ’ｆ（ｋ）を利用して、システム音の主要な成分を含む周波数帯域に重み０を、それ以外の周波数帯域に重み１を付与する。具体的には、第１の音響信号の平滑化パワースペクトルＸ’ｆ（ｋ）と第１の閾値ＴＨＸ（ｋ）を比較して、（４）式により各周波数帯域ｆに重みＲｆ（ｋ）を付与する。
【数４】
【００３０】
ここで、第１の閾値ＴＨＸ（ｋ）は、システム音の主要な成分が含まれる周波数帯域の検出に適した大きさが必要である。例えば、第１の閾値ＴＨＸ（ｋ）を第３の音響信号の無音区間のパワーより大きな値に設定することができる。また、（５）式のように、各フレームにおける平均パワー値を第１の閾値とすることもできる。
【数５】
【００３１】
ここで、Ｐは周波数帯域ｆの数である。この場合、第１の閾値はフレームごとに動的に変化する。
【００３２】
この他にも、各フレームにおける平滑化後のパワースペクトルＸ’ｆ（ｋ）を周波数インデックスｆに対して昇順にソートし、ソートした結果、上位ａ％（例えば５０％）に入る周波数帯域に重み０を、それ以外の周波数帯域に重み１を付与することもできる。また、第１の閾値より大きく、かつ昇順にソートした結果、上位ａ％（例えば５０％）に該当する周波数帯域に重み０を、それ以外の周波数帯域に重み１を付与してもよい。
【００３３】
あるいは、上述したように重みの値を０または１のいずれかの値に限定せず、（６）式のようにパワーに応じて０と１の間を単調減少する値として与えることも可能である。
【数６】
【００３４】
ここで、閾値ＴＨ１とＴＨ２は、前記第１の閾値ＴＨＸ（ｋ）を基準にして（７）式のように定めることができる。式中のαとβは実験的に求めることが可能であるが、例えば０．６に設定すると、ＴＨＸ（ｋ）が各フレームにおける平均パワー値を表している場合、これに対して４倍と１／４倍のパワー値を閾値ＴＨ１とＴＨ２にそれぞれ設定することに相当する。
【数７】
【００３５】
第３の音響信号ｘ（ｔ）は、モノラル部１０１における変換により、複数チャンネルのシステム音の主要な成分を反映した音響信号となる。したがって、第３の音響信号の平滑化パワースペクトルＸ’ｆ（ｋ）の大きさを利用することにより、複数チャンネルのシステム音の主要な成分を考慮した重みを各周波数帯域に付与することができる。
【００３６】
ステップＳ４０４では、特徴抽出部１０３は、重み付与部１０２で得られた周波数帯域別の重みＲｆ（ｋ）を利用して、第２の音響信号ｅ（ｔ）から利用者の音声らしさを表す特徴量を抽出する。
【００３７】
本実施形態では、特徴量として（８）式で計算される周波数帯域別ＳＮＲの平均値ＳＮＲａｖｒｇ（ｋ）（以下、平均ＳＮＲと記す）を用いる。
【数８】
【００３８】
ここで、Ｍ（ｋ）はｋ番目のフレームでＲｆ（ｋ）＝１となる周波数帯域ｆの数を表している。また、Ｎｆ（ｋ）は第２の音響信号において利用者音声を含まない区間のパワースペクトルの推定値であり、例えば、第２の音響信号の先頭２０フレームにおけるパワースペクトルの平均値から求める。一般に、利用者音声が含まれる区間における第２の音響信号は、利用者音声が含まれない区間における第２の音響信号と比較して大きくなる。したがって、平均ＳＮＲが大きいほど、第２の音響信号に利用者音声が含まれている蓋然性が高いといえる。なお、特徴量としてはここで例示した平均ＳＮＲに限らず、例えば、非特許文献１に開示された正規化スペクトルエントロピーやスペクトル間余弦値を用いることもできる。
【００３９】
（８）式より、特徴抽出部１０３は、重み付与部１０２でＲｆ（ｋ）＝０となった周波数帯域の周波数スペクトルを除外して特徴量を抽出している。重みが０となる（あるいは連続値の場合０に近い値となる）周波数帯域は、複数チャンネルのシステム音に起因するエコーが含まれる蓋然性の高い周波数帯域である。したがって、（８）式に示したように、重みＲｆ（ｋ）を乗じた値として特徴量を計算することで、重みＲｆ（ｋ）が０となる（あるいは０に近い値となる）周波数帯域における周波数スペクトルが特徴量に寄与する度合を下げることができ、結果として残留エコーの影響を取り除いた特徴量の抽出が可能になる。
【００４０】
ステップＳ４０５では、音声／非音声判別部１０３は、（９）式のように特徴抽出部１０３で抽出された特徴量と閾値ＴＨＶＡ（ｋ）を比較することで、フレーム単位の音声／非音声を判別する。
【数９】
【００４１】
ステップＳ４０６では、音声認識部１１０は、音声判別装置１００が出力するフレーム単位の音声／非音声判別情報を使って認識対象となる利用者の音声区間を特定する。また、音声認識部１１０は、エコーキャンセル部１２０が出力する第２の音響信号ｅ（ｔ）について音声認識処理を実行する。
【００４２】
以上の説明では、周波数スペクトルとしてパワースペクトルを用いたが、振幅スペクトルを用いてもよい。
【００４３】
（効果）
このように、本実施形態にかかる音声判別装置は、複数チャンネルのシステム音をモノラル化した第３の音響信号のパワースペクトルの大きさを利用して周波数帯域別の重みを付与している。これにより、複数チャンネルのシステム音の主要な成分を考慮した重みを付与することができる。
【００４４】
また、本実施形態にかかる音声判別装置は、複数チャンネルのシステム音の主要な成分を考慮した重みを利用して特徴量を抽出している。これにより、複数チャンネルのシステム音のエコーを低減した特徴量を抽出することができる。
【００４５】
（変形例１）
重み付与部１０２は、第３の音響信号の平滑化パワースペクトルＸ’ｆ（ｋ）だけでなく第２の音響信号のパワースペクトルＥｆ（ｋ）も用いて各周波数帯域の重みを付与することができる。例えば、（１０）式のように重みＲｆ（ｋ）を付与することができる。
【数１０】
【００４６】
ここで、第２の閾値ＴＨＥ（ｋ）は、第２の音響信号の無音区間のパワーより大きな値に設定することができる。
【００４７】
このように、第３の音響信号だけでなく第２の音響信号も用いて重みを付与することにより、利用者音声の主要な成分を含む周波数帯域に小さな重みが付与されることを防止できる。
【００４８】
（変形例２）
適応フィルタ１２１は、（１１）式のように、特徴抽出部１３０で抽出された特徴量ＳＮＲａｖｒｇ（ｋ）と閾値ＴＨＤＴ（ｋ）を用いてフィルタ係数の更新を制御してもよい。すなわち、適応フィルタ１２１は、第１の音響信号に利用者音声が含まれないと判別されるときだけフィルタ係数を更新する。この結果、適応フィルタ１２１はエコー経路の伝達特性を精度良く推定できる。
【数１１】
【００４９】
また、適応フィルタ１２１が、音声／非音声判別部１０４での音声／非音声判別情報を入力して、非音声と判別されたときにフィルタ係数を更新し、音声と判別されたときにフィルタ係数を更新しないようにすることも可能である。あるいは、適応フィルタ１２１は、特徴量ＳＮＲａｖｒｇ（ｋ）が大きくなる従って（２）式のステップサイズαが小さくなるよう制御することも可能である。
【００５０】
（変形例３）
本実施形態では、重み付与部１０２は、第１の音響信号の平滑化パワースペクトルＸ’ｆ（ｋ）が第１の閾値ＴＨＸ（ｋ）より大きくなる周波数帯域には重み０を、それ以外の周波数帯域には重み１を付与している。付与する重みはこれに限定されず、例えば、Ｘ’ｆ（ｋ）が第１の閾値ＴＨＸ（ｋ）より大きくなる周波数帯域には重み−１００を、それ以外の周波数帯域に重み１００を付与し、特徴抽出部１０３で特徴量を抽出する際に重み−１００が付与された周波数帯域における周波数スペクトルを除外するようにしてもよい。
【００５１】
（第２の実施形態）
（ブロック構成）
図５は、第２の実施形態にかかる音声判別装置を備えた音声認識システムを示すブロック図である。第１の実施形態と異なるのは、エコーキャンセル部２２０がモノラル化された第３の音響信号ではなく複数チャンネルのシステム音を取得している点である。
【００５２】
図６は、エコーキャンセル部２２０の１構成例を示すブロック図である。同図で示されるエコーキャンセル部２２０−ａは、複数チャンネルのシステム音をモノラル化するモノラル化部２２３を有しており、当該モノラル化部２２３で単一チャンネルに変換された第３の音響信号を適応フィルタ１２１で利用する参照信号としている。モノラル化部２２３における処理は、第１の実施形態のモノラル化部１０１と同様な方法で行うことができる。また、適応フィルタの更新およびエコー抑圧後の第２の音響信号の生成は、第１の実施形態と同様な方法で行うことができる。
【００５３】
また、図７は、エコーキャンセル部２２０の他の構成例を示すブロック図である。同図で示されるエコーキャンセル部２２０−ｂは、複数チャンネルのエコーキャンセラであり、システム音の各チャンネルに対応した適応フィルタ２２１−１〜２２１−ｎと減算器２２２−１〜２２２−ｎを有する。各適応フィルタの更新およびエコー抑圧後の第２の音響信号の生成は第１の実施形態と同様な方法で行う。
【００５４】
図８は、音声判別装置２００の構成を示すブロック図である。第１の実施形態の音声判別装置１００と異なるのは、モノラル化部１０１を有していない点である。音声判別装置２００では、重み付与部１０２が複数チャンネルのシステム音ｘ１（ｔ）〜ｘｎ（ｔ）の周波数スペクトルの大きさを利用して各周波数帯域に重みを付与する。
【００５５】
（フローチャート）
図９は、本実施形態にかかる音声認識システムのフローチャートである。まず、ステップＳ４１１では、エコーキャンセル部２２０は、第１の音響信号ｄ（ｔ）に含まれるシステム音のエコーを抑圧して第２の音響信号ｅ（ｔ）を生成する。
【００５６】
次に、ステップ４１２では、重み付与部１０２が、第２の音響信号ｅ（ｔ）および複数チャンネルのシステム音ｘ１（ｔ）〜ｘｎ（ｔ）の周波数スペクトルの大きさを利用して、特徴抽出部１０３で特徴量を抽出する際に利用する各周波数帯域ｆの重みＲｆ（ｋ）を算出する。重みは、利用者音声が含まれず、かつ残留エコーが生じる蓋然性の高い周波数帯域には小さな値を、それ以外の周波数帯域には大きな値を付与する。
【００５７】
重み付与部１０２は、まず、１６０００Ｈｚのサンプリング周波数で取得した第２の音響信号ｅ（ｔ）および複数チャンネルのシステム音ｘ１（ｔ）〜ｘｎ（ｔ）を、フレーム長２５ｍｓ（４００サンプル）、間隔８ｍｓ（１２８サンプル）のフレームにそれぞれ分割する。フレーム分割にはハミング窓を使用できる。次に、各フレームに対して、１１２点の零詰めを行った後、５１２点の離散フーリエ変換を適用して第２の音響信号ｅ（ｔ）のパワースペクトルＥｆ（ｋ）と複数チャンネルのシステム音ｘ１（ｔ）〜ｘｎ（ｔ）のパワースペクトルＸ１ｆ（ｋ）〜をＸｎｆ（ｋ）求める。そして、得られたパワースペクトルＥｆ（ｋ）およびＸ１ｆ（ｋ）〜Ｘｎｆ（ｋ）を（３）式と同様な方法で平滑化した平滑化パワースペクトルＥ’ｆ（ｋ）およびＸ’１ｆ（ｋ）〜Ｘ’ｎｆ（ｋ）を生成する。
【００５８】
次に、重み付与部１０２は、第２の音響信号の平滑化パワースペクトルＥ’ｆ（ｋ）を利用して、利用者音声の主要成分を含まない周波数帯域に重み−１を、それ以外の周波数帯域に重み１を付与する。具体的には、第２の音響信号の平滑化パワースペクトルＥ’ｆ（ｋ）と第２の閾値ＴＨＥ（ｋ）を比較して、（１２）式により重みを付与する。
【数１２】
【００５９】
第２の閾値ＴＨＥ（ｋ）は、利用者の音声が含まれる周波数帯域の検出に適した大きさが必要である。例えば、第２の閾値ＴＨＥ（ｋ）を第２の音響信号の無音区間（例えば、起動直後の100msec区間など）のパワーより大きな値に設定することができる。
【００６０】
次に、重み付与部１０２は、複数チャンネルのシステム音の平滑化パワースペクトルＸ１ｆ（ｋ）〜Ｘｎｆ（ｋ）を利用して、利用者音声の主要な成分が含まれていない周波数帯域のうちシステム音のエコーが混入している蓋然性が高い周波数帯域（妨害主要周波数帯域）を検出する。具体的には、平滑化パワースペクトルＸ１ｆ（ｋ）〜Ｘｎｆ（ｋ）をチャンネル順に解析して、パワーの大きな周波数帯域を妨害主要周波数帯域として検出し、重み０を付与する。妨害主要周波数帯域では、スピーカ１３０−１〜１３０−ｎから出力されたシステム音のパワーが大きくなる。したがって、この周波数帯域に残留エコーが含まれる蓋然性が高い。重み付与部１０２は、（１２）式での重み付与結果Ｒｆ（ｋ）が−１となっている周波数帯域について、平滑化パワースペクトルＸ１ｆ（ｋ）〜Ｘｎｆ（ｋ）と第１の閾値ＴＨＸ（ｋ）を比較し、（１３）式により重みＲｆ（ｋ）を更新する。
【数１３】
【００６１】
ここで、ｃはチャンネル番号ｃ（１≦ｃ≦ｎ）を表している。第１の閾値ＴＨＸ（ｋ）は、（１４）式のように、全チャンネルの各フレームにおける平均パワー値とすることができる。
【数１４】
【００６２】
重み付与部１０２は、（１５）式の処理をチャンネル番号の例えば昇順（ｃ＝１から初めてｃ＝ｎまで）に行うことで、既に妨害主要周波数として検出されている（Ｒｆ（ｋ）＝０となっている）周波数帯域に対する閾値処理はスキップされる。
【００６３】
最後に、重み付与部１０２は、（１５）式によりＲｆ（ｋ）＝−１となっている重みをＲｆ（ｋ）＝１に置き換える。
【数１５】
【００６４】
Ｒｆ（ｋ）は最終的に０か１の値を持つ。Ｒｆ（ｋ）＝０となる周波数帯域が、利用者音声の主要な成分は含まれないが妨害音が含まれる蓋然性が高い妨害主要周波数帯域である。本実施形態の重み付与部１０２は、システム音を構成する各チャンネルの音響信号のパワースペクトルを利用して、周波数帯域別の重みを付与している。これにより、複数チャンネルのシステム音の主要な成分を考慮した重みを付与することができる。
【００６５】
次に、ステップＳ４１３では、第１の実施形態と同様に、重み付与部１０２で得られた周波数帯域別の重みＲｆ（ｋ）が０となる周波数帯域における周波数スペクトルを除外して、第２の音響信号ｅ（ｔ）から利用者の音声らしさを表す特徴量を抽出する。ステップ４１３からステップＳ４１５までの処理は、第１の実施形態のステップＳ４０４からステップＳ４０６までの処理と同様であるため、説明を省略する。
【００６６】
（効果）
このように、本実施形態にかかる音声判別装置は、システム音を構成する各チャンネルの音響信号のパワースペクトルおよび利用者音声を含む音響信号のパワースペクトルを利用して、周波数帯域別の重みを付与している。これにより、複数チャンネルのシステム音および利用者音声の主要な成分を考慮した重みを付与することができる。
【００６７】
また、本実施形態にかかる音声判別装置は、複数チャンネルのシステム音および利用者音声の主要な成分を考慮した重みを利用して特徴量を抽出している。これにより、利用者音声が含まれず、かつ残留エコーが生じる蓋然性の高い周波数帯域における周波数スペクトルの影響を低減した特徴量を抽出することができる。
【００６８】
以上述べた少なくとも一つの実施形態の音声判別装置によれば、複数チャンネルのシステム音を利用して周波数帯域別の重みを付与している。これにより、複数チャンネルのシステム音の主要な成分を考慮した重みを付与することができる。
【００６９】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００７０】
１００、２００ 音声判別装置
１０１、２２３ モノラル化部
１０２ 重み付与部
１０３ 特徴抽出部
１０４ 音声／非音声判別部
１１０ 音声認識部
１２０、２２０、２２０−ａ、２２０−ｂ エコーキャンセル部
１２２、２２２−１〜２２２−ｎ 減算部
１２１、２２１−１〜２２１−ｎ 適応フィルタ
１３０ マイクロホン
１４０−１〜１４０−ｎ スピーカ
【特許請求の範囲】
【請求項１】
複数チャンネルのシステム音を複数のスピーカから再生した再生音およびユーザの音声を含んだ第１の音響信号について音声／非音声を判別する音声判別装置であって、
少なくとも前記複数チャンネルのシステム音に基づいて、周波数帯域別の重みを付与する重み付与手段と、
前記重み付与手段で付与された周波数帯域別の重みを利用して、前記第１の音響信号に含まれる前記再生音を抑圧した第２の音響信号から特徴量を抽出する特徴抽出手段と、
前記特徴抽出手段で抽出された特徴量に基づいて、前記第１の音響信号について音声／非音声を判別する音声／非音声判別手段と、
を備える音声判別装置。
【請求項２】
前記第１の音響信号に含まれる前記再生音を抑圧して第２の音響信号を生成するエコーキャンセル手段を更に備え、
前記特徴抽出手段が、前記エコーキャンセル手段で生成された第２の音響信号から特徴量を抽出する請求項１記載の音声判別装置。
【請求項３】
前記複数チャンネルのシステム音をモノラル化した第３の音響信号を生成するモノラル化手段を更に備え、
前記重み付与手段が、前記モノラル化手段で生成された第３の音響信号に基づいて、周波数帯域別の重みを付与する請求項１乃至請求項２に記載の音声判別装置。
【請求項４】
前記重み付与手段が、前記第３の音響信号の周波数スペクトルの大きさが第１の閾値より大きくなるような周波数帯域に予め決められた所定の重みを付与し、
前記特徴抽出手段が、前記重み付与手段で所定の重みが付与された周波数帯域における周波数スペクトルを除外して特徴量を抽出する請求項３記載の音声判別装置。
【請求項５】
前記重み付与手段が、前記第３の音響信号の周波数スペクトルの大きさが第１の閾値より大きく、かつ、前記第２の音響信号の周波数スペクトルの大きさが第２の閾値より小さくなるような周波数帯域に予め決められた所定の重みを付与し、
前記特徴抽出手段が、前記重み付与手段で所定の重みが付与された周波数帯域における周波数スペクトルを除外して特徴量を抽出する請求項３記載の音声判別装置。
【請求項６】
前記重み付与手段が、前記第３の音響信号の周波数スペクトルの大きさが大きくなるに従って小さくなるような重みを周波数帯域に付与し、
前記特徴抽出手段が、前記重み付与手段で付与された周波数帯域の重みが小さくなるに従って当該周波数帯域における周波数スペクトルが特徴量に寄与する度合を小さくする請求項３記載の音声判別装置。
【請求項７】
前記重み付与手段が、前記システム音を構成する各チャンネルにおける周波数スペクトルの大きさに基づいて、周波数帯域別の重みを付与する請求項１乃至請求項２に記載の音声判別装置。
【請求項８】
前記重み付与手段が、前記システム音を構成するいずれかのチャンネルの周波数帯域における周波数スペクトルが第１の閾値より大きく、かつ、前記第２の音響信号の当該周波数帯域における周波数スペクトルの大きさが第２の閾値より小さくなるような周波数帯域に予め決められた所定の重みを付与し、
前記特徴抽出手段が、前記重み付与手段で所定の重みが付与された周波数帯域における周波数スペクトルを除外して特徴量を抽出する請求項７記載の音声判別装置。
【請求項９】
複数チャンネルのシステム音を複数のスピーカから再生した再生音およびユーザの音声を含んだ第１の音響信号について音声／非音声を判別する音声判別方法であって、
少なくとも前記複数チャンネルのシステム音に基づいて、周波数帯域別の重みを付与する重み付与工程と、
前記重み付与工程で付与された周波数帯域別の重みを利用して、前記第１の音響信号に含まれる前記再生音を抑圧した第２の音響信号から特徴量を抽出する特徴抽出工程と、
前記特徴抽出工程で抽出された特徴量に基づいて、前記第１の音響信号について音声／非音声を判別する音声／非音声判別工程と、
を備える音声判別方法。
【請求項１０】
複数チャンネルのシステム音を複数のスピーカから再生した再生音およびユーザの音声を含んだ第１の音響信号について音声／非音声を判別する音声判別装置に、
少なくとも前記複数チャンネルのシステム音に基づいて、周波数帯域別の重みを付与する重み付与工程と、
前記重み付与工程で付与された周波数帯域別の重みを利用して、前記第１の音響信号に含まれる前記再生音を抑圧した第２の音響信号から特徴量を抽出する特徴抽出工程と、
前記特徴抽出工程で抽出された特徴量に基づいて、前記第１の音響信号について音声／非音声を判別する音声／非音声判別工程と、
を実現させるための音声判別プログラム。
【請求項１】
複数チャンネルのシステム音を複数のスピーカから再生した再生音およびユーザの音声を含んだ第１の音響信号について音声／非音声を判別する音声判別装置であって、
少なくとも前記複数チャンネルのシステム音に基づいて、周波数帯域別の重みを付与する重み付与手段と、
前記重み付与手段で付与された周波数帯域別の重みを利用して、前記第１の音響信号に含まれる前記再生音を抑圧した第２の音響信号から特徴量を抽出する特徴抽出手段と、
前記特徴抽出手段で抽出された特徴量に基づいて、前記第１の音響信号について音声／非音声を判別する音声／非音声判別手段と、
を備える音声判別装置。
【請求項２】
前記第１の音響信号に含まれる前記再生音を抑圧して第２の音響信号を生成するエコーキャンセル手段を更に備え、
前記特徴抽出手段が、前記エコーキャンセル手段で生成された第２の音響信号から特徴量を抽出する請求項１記載の音声判別装置。
【請求項３】
前記複数チャンネルのシステム音をモノラル化した第３の音響信号を生成するモノラル化手段を更に備え、
前記重み付与手段が、前記モノラル化手段で生成された第３の音響信号に基づいて、周波数帯域別の重みを付与する請求項１乃至請求項２に記載の音声判別装置。
【請求項４】
前記重み付与手段が、前記第３の音響信号の周波数スペクトルの大きさが第１の閾値より大きくなるような周波数帯域に予め決められた所定の重みを付与し、
前記特徴抽出手段が、前記重み付与手段で所定の重みが付与された周波数帯域における周波数スペクトルを除外して特徴量を抽出する請求項３記載の音声判別装置。
【請求項５】
前記重み付与手段が、前記第３の音響信号の周波数スペクトルの大きさが第１の閾値より大きく、かつ、前記第２の音響信号の周波数スペクトルの大きさが第２の閾値より小さくなるような周波数帯域に予め決められた所定の重みを付与し、
前記特徴抽出手段が、前記重み付与手段で所定の重みが付与された周波数帯域における周波数スペクトルを除外して特徴量を抽出する請求項３記載の音声判別装置。
【請求項６】
前記重み付与手段が、前記第３の音響信号の周波数スペクトルの大きさが大きくなるに従って小さくなるような重みを周波数帯域に付与し、
前記特徴抽出手段が、前記重み付与手段で付与された周波数帯域の重みが小さくなるに従って当該周波数帯域における周波数スペクトルが特徴量に寄与する度合を小さくする請求項３記載の音声判別装置。
【請求項７】
前記重み付与手段が、前記システム音を構成する各チャンネルにおける周波数スペクトルの大きさに基づいて、周波数帯域別の重みを付与する請求項１乃至請求項２に記載の音声判別装置。
【請求項８】
前記重み付与手段が、前記システム音を構成するいずれかのチャンネルの周波数帯域における周波数スペクトルが第１の閾値より大きく、かつ、前記第２の音響信号の当該周波数帯域における周波数スペクトルの大きさが第２の閾値より小さくなるような周波数帯域に予め決められた所定の重みを付与し、
前記特徴抽出手段が、前記重み付与手段で所定の重みが付与された周波数帯域における周波数スペクトルを除外して特徴量を抽出する請求項７記載の音声判別装置。
【請求項９】
複数チャンネルのシステム音を複数のスピーカから再生した再生音およびユーザの音声を含んだ第１の音響信号について音声／非音声を判別する音声判別方法であって、
少なくとも前記複数チャンネルのシステム音に基づいて、周波数帯域別の重みを付与する重み付与工程と、
前記重み付与工程で付与された周波数帯域別の重みを利用して、前記第１の音響信号に含まれる前記再生音を抑圧した第２の音響信号から特徴量を抽出する特徴抽出工程と、
前記特徴抽出工程で抽出された特徴量に基づいて、前記第１の音響信号について音声／非音声を判別する音声／非音声判別工程と、
を備える音声判別方法。
【請求項１０】
複数チャンネルのシステム音を複数のスピーカから再生した再生音およびユーザの音声を含んだ第１の音響信号について音声／非音声を判別する音声判別装置に、
少なくとも前記複数チャンネルのシステム音に基づいて、周波数帯域別の重みを付与する重み付与工程と、
前記重み付与工程で付与された周波数帯域別の重みを利用して、前記第１の音響信号に含まれる前記再生音を抑圧した第２の音響信号から特徴量を抽出する特徴抽出工程と、
前記特徴抽出工程で抽出された特徴量に基づいて、前記第１の音響信号について音声／非音声を判別する音声／非音声判別工程と、
を実現させるための音声判別プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−１８９９０７（Ｐ２０１２−１８９９０７Ａ）
【公開日】平成２４年１０月４日（２０１２．１０．４）
【国際特許分類】
【出願番号】特願２０１１−５４７５９（Ｐ２０１１−５４７５９）
【出願日】平成２３年３月１１日（２０１１．３．１１）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２４年１０月４日（２０１２．１０．４）
【国際特許分類】
【出願日】平成２３年３月１１日（２０１１．３．１１）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]