音声認識システム及び音声認識方法
【課題】音源位置を推定せずに、雑音と区別して発話を検出する。
【解決手段】複数の指向性のマイクロホンと、前記複数の指向性のマイクロホン中の少なくとも１個のマイクロホンからの信号に対して音声認識を行う音声認識部とを備えた音声認識システムであって、無指向性のマイクロホンと、該無指向性のマイクロホンからの信号により発話区間を検出する発話検出部とを備え、前記音声認識部は発話区間の信号に対して音声認識を行う。
【解決手段】複数の指向性のマイクロホンと、前記複数の指向性のマイクロホン中の少なくとも１個のマイクロホンからの信号に対して音声認識を行う音声認識部とを備えた音声認識システムであって、無指向性のマイクロホンと、該無指向性のマイクロホンからの信号により発話区間を検出する発話検出部とを備え、前記音声認識部は発話区間の信号に対して音声認識を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は複数のマイクロホンを備えた音声認識に関し、特に発話の検出に関する。
【背景技術】
【０００２】
特許文献１（特開2009-210956A）は、マイクロホンアレイを用いた音声認識装置を開示している。特許文献１では、個別のマイクロホンへの音の到達時間の差から音源の位置を推定し、これとは別に事前に発話者の位置を記憶しておく。そして発話者の位置を音源とする音響信号を音声認識の対象とする。しかしながらこの手法では音源位置の推定が絶えず必要で、信号処理が重くなる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2009-210956A
【発明の概要】
【発明が解決しようとする課題】
【０００４】
この発明の課題は、音源位置を推定せずに、雑音と区別して発話を検出することにある。
【課題を解決するための手段】
【０００５】
この発明は、複数の指向性のマイクロホンと、前記複数の指向性のマイクロホン中の少なくとも１個のマイクロホンからの信号に対して音声認識を行う音声認識部とを備えた音声認識システムであって、無指向性のマイクロホンと、該無指向性のマイクロホンからの信号により発話区間を検出する発話検出部とを備え、前記音声認識部は発話区間の信号に対して音声認識を行うように構成されていることを特徴とする。
【０００６】
またこの発明は、複数の指向性のマイクロホン中の少なくとも１個のマイクロホンからの信号に対して、音声認識装置より音声認識を行う方法であって、前記音声認識装置は、無指向性のマイクロホンからの信号により発話区間を検出し、発話区間の信号に対して音声認識を行うことを特徴とする。
【０００７】
この明細書において、音声認識装置に関する記載はそのまま音声認識方法にも当てはまり、逆に音声認識方法に関する記載はそのまま音声認識装置にも当てはまる。指向性のマイクロホンと無指向性のマイクロホンとして、例えば複数の無指向性のマイクロホンを設け、これらの組合せから指向性のマイクロホンを複数実現しても良い。あるいはまた、例えば１個の無指向性のマイクロホンと、複数個の指向性のマイクロホンとを別個に設けても良い。
【０００８】
指向性のマイクロホンは、その指向方向に雑音源が有ると、弱い雑音を大きな信号として捉え、雑音を発話と誤認しやすい。また雑音源が移動する場合、あるいは発話者が移動する場合などは、雑音源を避けるように指向性マイクロホンを配置することも困難である。これに対して無指向性のマイクロホンの信号で発話区間を検出すると、雑音の強弱の変動が小さくなり、雑音のレベルが一定に近づくので、雑音と音声とを識別しやすくなる。このため音源の位置を推定する、あるいは雑音源を避けるように指向性のマイクロホンを配置するなどの処理無しに、発話区間を検出できる。
【０００９】
好ましくは、前記複数の指向性のマイクロホンと前記無指向性のマイクロホンとを有するヘッドセットを備えている。ヘッドセットを装着する作業者の姿勢あるいは位置は固定されていないので、指向性のマイクロホンが雑音源を向くことが特に問題になる。このような場合でも、無指向性のマイクロホンを用いると、発話を雑音と区別して検出できる。
【００１０】
また好ましくは、音声認識部は、前記複数の指向性のマイクロホンに対して、発話区間とそれ以外の区間での信号の強弱の程度、例えばＳ／Ｎ比、及び発話区間での信号の周波数帯、の少なくとも一方に基づいて、どの指向性のマイクロホンからの信号を音声認識するかを決定する選択部、を備えている。これらの信号は、個別の指向性マイクロホンが、音声をピックアップしているのか、雑音をピックアップしているのかを表している。そこで音声をピックアップしている可能性が高い、指向性のマイクロホンからの信号を音声認識する。また音声を認識している可能性が低い、指向性のマイクロホンからの信号は、音声認識する必要がない。
【００１１】
好ましくは、前記発話検出部は、無指向性のマイクロホンからの信号を少なくとも閾値と比較することにより発話を検出すると共に、発話区間以外での無指向性のマイクロホンからの信号の強弱に応じて前記閾値を学習し、かつ音声認識装置の位置に応じて閾値を変更するように構成されている。雑音のレベルに応じて閾値を学習することにより、より確実に発話を検出できる。音声認識装置の各マイクロホンが例えばヘッドセットに設けられている場合、ヘッドセットを装着した作業者等が、静かな環境と騒々しい環境との間で移動すると、雑音レベルの学習が追随できない。騒々しい環境に移動すると、雑音を発話と誤認し易く、静かな環境に移動すると、人は声を小さくする傾向があるため、発話を見逃しやすい。そこで位置に応じて閾値を強制的に変更することにより、学習が間に合わないことを補える。
【図面の簡単な説明】
【００１２】
【図１】実施例の音声認識装置の外観を示す図
【図２】実施例で指向性のマイクロホンの構成に用いたフィルタの回路図
【図３】実施例の音声認識装置のブロック図
【図４】変形例での指向性のマイクロホンと無指向性のマイクロホンの配置を示す平面図
【図５】変形例の音声認識装置の要部ブロック図
【図６】実施例での発話区間の検出モデルを示す図
【図７】実施例でのセレクタのブロック図
【図８】実施例での発話区間の検出を示すフローチャート
【図９】実施例での指向性マイクロホンの選択を示すフローチャート
【発明を実施するための最良の形態】
【００１３】
以下に本発明を実施するための最適実施例を示す。この発明の範囲は、特許請求の範囲の記載に基づき、明細書とこの分野の周知技術を参酌し、当業者の理解に従って定められるべきである。
【実施例】
【００１４】
図１〜図９に、実施例の音声認識装置２と実施例の音声認識方法とを示す。図１において、４はスピーカで、６はマイクロホンアレイであり、複数個の無指向性のマイクロホン７〜１０を備えている。１２はアーム、１３はコードで、１４は音声認識装置本体であり、電源１５と信号処理部１６並びに通信部１８を備えている。実施例では、音声認識装置２が単独で音声認識を行い、通信部１８を介して図示しないサーバと通信し、例えばサーバからのピッキングの指令をスピーカ４を介して作業者に伝え、作業者の音声をマイクロホン７〜１０及び信号処理部１６で音声認識し、通信部１８からサーバへ通知する。またサーバはカメラ、ＧＰＳ等により作業者の位置を監視し、発話検出の閾値を変更する。なお音声認識をサーバで行い、音声認識装置２側から信号処理部１６を除いても良い。
【００１５】
実施例の音声認識装置２は、ピッキングの作業者に限らず、航空機などのパイロット、自動車の運転手、手術中の医師や歯科医、工場の作業者、コールセンターのオペレータなどの音声を認識するのに適している。実施例の音声認識装置２はヘッドセットから成り、作業者が首を振ると、マイクロホンアレイ６の向きが変化するので、雑音に対する向きが絶えず変化する。また作業者が移動すると、周囲の雑音源に対する位置が変化する。
【００１６】
図１の左側に、マイクロホンアレイ６を拡大して示す。マイクロホンアレイ６は指向性の無い例えば４個のマイクロホン７〜１０を備え、マイクロホン７〜１０は例えば正四面体の頂点に配置され、マイクロホン７がマイクロホン８〜１０に対して上側に飛び出しているものとする。そして４個のマイクロホン７〜１０のうち、例えば１個を無指向性のマイクロホンとしてそのまま使用する。４個のマイクロホン７〜１０からマイクロホンを２個ずつ組み合わせると、４Ｃ２の６通りの組み合わせが生じる。
【００１７】
６通りの組み合わせにより、６個の仮想的な指向性マイクロホンを実現する。例えばマイクロホン７と、３個のマイクロホン８〜１０との組み合わせで、３個の指向性のマイクロホンが得られる。マイクロホン８とマイクロホン９との組み合わせで、右向きに指向したマイクロホンと左向きに指向したマイクロホンとが得られ、同様にマイクロホン８，１０の組み合わせ、及びマイクロホン９，１０の組み合わせで、合計例えば９個（６個＋３個）の指向性のマイクロホンが得られる。
【００１８】
図２に、マイクロホン７，８を組み合わせた指向性のマイクロホンを示す。ここではマイクロホン７，８を例とするが、マイクロホンの他の組合せでも同様である。２０，２１はマイクロホン７，８の感度分布（指向性）を模式的に示し、相手側のマイクロホンの影となる向きで感度が低下する。２２は増幅器で、マイクロホン７，８の音声信号を増幅する。２５は遅延部で、信号を増幅すると共に、マイクロホン７，８間の距離を音波が移動する時間分、信号を遅延させる。なおマイクロホン７〜１０は正四面体の頂点に配置されているので、各マイクロホンの間隔は一定であり、遅延部２５で遅延させる時間は、マイクロホンの組み合わせによらず一定である。このためマイクロホン７〜１０毎に１個の遅延部２５を設ける。
【００１９】
２６は差分器で、遅延部２５からの信号と、組合せの相手方のマイクロホンからの遅延していない信号との差を求める。例えば差分器２６ａでは、マイクロホン７の信号からマイクロホン８の信号を引くことにより、図２の下側に指向性のある信号を得る。図２のマイクロホン７に上側から音波が到着すると、遅延部２５を介して差分器２６ａに入力されて、マイクロホン８からの信号で打ち消されるので、差分器２６ａからの出力は小さくなる。マイクロホン８に下側から音波が到着すると、直ちに差分器２６ａに入力され、マイクロホン７からの信号は遅延部２５で遅れるので、信号は相殺されない。なおこの時、１回の音響信号が符号を反転し僅かな時間差で２回差分器２６ａから出力され、一種の繰り返し信号となるが、図３の音響モデル３６は周波数スペクトル等に変換して信号を処理するので、影響は小さい。必要で有れば、遅延部２５と差分器２６ａ，ｂ等の間に、繰り返し信号を除去するフィルタを設けると良い。同様に図２の差分器２６ｂの場合、マイクロホン８の信号からマイクロホン７の信号を引いて、図２の上側に指向したマイクロホンを得る。
【００２０】
図３に音声認識装置２の全体構成を示すと、各マイクロホン７〜１０に増幅器２２が接続され、指向性のないマイクロホン７〜１０のうち、任意の１個、例えばマイクロホン７からの信号を発話検出部３０で処理し、発話区間を検出する。学習部３２は発話検出区間以外でのマイクロホン７に接続した増幅器２２からの信号を基に、発話検出の閾値を変更する。閾値はこれ以外に音声認識装置２の位置により変更され、位置信号は例えば音声認識装置２にGPSを設けることにより発生させる。あるいは図示しないサーバで音声認識装置２の位置を認識して、位置信号をサーバから入力しても良い。
【００２１】
発話検出の閾値は例えば秒〜時間のオーダーで変化し、例えば発話区間以外の区間に対し、１秒〜１分などの所定時間毎に、現在の閾値と過去１秒〜１分程度の時間内での雑音レベルとの重み付き平均を、新たな閾値とする。重みは例えば現在の閾値を９９％〜８０％程度とし、周囲の雑音レベルを１％〜２０％程度とする。このようにして、閾値を変更する時間間隔と、周囲の雑音レベルに対する重みとにより、所定の速度で閾値を学習（変更）する。これに対して位置信号により閾値を変更するのは、例えばピッキングを行う作業者が、冷蔵室や冷凍室などのほぼ無音の区間から扉を通過し、無人搬送車などが走行する雑音の大きい区間に移動した際などである。そして扉を通過したことにより、閾値を学習に優先して変更する。
【００２２】
フィルタ２４は、図２のようにして、９個の指向性のマイクロホンの信号を作り出し、セレクタ３４により２個の指向性のマイクロホンの信号を選び出し、選択した２個のマイクロホンの信号を加算器３５で加算し、音響モデル３６で音素に変換する。そして音素を言語モデル３８で言語に変換し、音声認識を完了する。セレクタ３４，音響モデル３６，言語モデル３８が音声認識部を構成する。
【００２３】
実施例ではヘッドセットを例にしたが、図４のように固定のテーブル４０に指向性のマイクロホン４１と無指向性のマイクロホン４２とを配置し、無指向性のマイクロホン４２からの信号により発話区間を検出しても良い。例えばテーブル４０の周囲を雑音源４４が通過したとする。指向性のマイクロホン４１の信号で発話区間を検出すると、雑音源４４の通過を特定の指向性のマイクロホン４１が検出し、発話区間と誤認しやすい。これに対して無指向性のマイクロホン４２では、雑音源４４の位置が変化しても、雑音レベルの変化は小さく、また特定の雑音源４４の影響を受けにくいので、発話区間をより正確に検出できる。
【００２４】
図５はセレクタの変形例を示し、フィルタ２４で発生させた９個の仮想的なマイクロホンからの音声信号を音響モデル３６でそれぞれ音素に変換する。音響モデル３６は音素への変換時に尤度を発生し、尤度が例えば上位２個の信号をセレクタ５０で選出して、上位２個の音素信号を言語モデル３８へ入力しても良い。しかしこのようにすると、言語モデル３８で処理しない信号も音響モデル３６で処理するため、処理が重くなる。
【００２５】
図５〜図９に、実施例の動作を示す。例えばピッキングを行う作業者が音声認識装置２をヘッドセットとして装着し、通信部１８により図示しないサーバと通信しながらピッキングを行う。そしてサーバは例えば図示しないカメラ，ＧＰＳなどにより、作業者の位置を認識しているものとする。サーバは作業者にスピーカ４から作業を指示し、作業者からサーバへの入力は音声認識装置２で行い、ヘッドセットの向きが変わると、雑音源に対する向きが変化し、作業者の移動に伴って雑音の程度が変化する。
【００２６】
ここで４個の無指向性のマイクロホン７〜１０を組み合わせて、仮想的に９個の指向性のマイクロホンを構成し、また４個のマイクロホン７〜１０の任意の１個を発話の検出に用いる。発話の検出では、図６のように、信号の０レベルの例えば両側に閾値を定め、信号が閾値を越え後に０レベルを通過した回数などから、発話の有無を検出する。これは信号の強弱と周波数とを評価していることに想到する。
【００２７】
作業者の位置などにより雑音レベルが変化するので、発話を検出していない区間でのマイクロホンからの信号により、閾値を学習により変更する。また扉などを通過し別の部屋に入ると、雑音レベルが変化する。位置の変化による雑音レベルの変化に対して、学習では一般に追随しないので、サーバからの位置情報などにより、閾値を強制的に変更する。
【００２８】
発話を検出するすると、例えば９個の指向性のマイクロホンのうち、尤度が上位２個のマイクロホンの信号を用いて、音声認識を行う。このための構成を図７に示し、７６は仮想的な指向性のマイクロホンの内の１個であり、発話区間以外での信号レベルの平均値を平均化部７１で記憶し、除算器７０でマイクロホン７６からの信号と平均値との比をＳ/Ｎ比として求める。また発話区間での０−クロッシングの回数などをカウンタ７２で求める。さらにバンドパスフィルタその他の簡易な周波数変換部により、音声信号に対応する周波数帯での信号の強弱を求め、好ましくは複数の周波数での信号の強弱を求めることにより、音声信号に対応した周波数スペクトルか否かを求める。
【００２９】
Ｓ/Ｎ比は雑音に対して音声を認識している程度を表し、０−クロッシングの回数は検出している信号の平均的な周波数を表し、周波数変換部７３の信号も同様に入力信号のスペクトル形状を表す。これらの信号を評価部７４で評価することにより、音声を認識している可能性の大小を尤度として出力する。なおカウンタ７２の信号と周波数変換部７３の信号はいずれも信号の周波数に関するものなので、これらのいずれか一方のみを用いてもよい。そして尤度が例えば上位２個の指向性のマイクロホンからの信号を音響モデル３６で処理することにより、正確に音声認識ができる。尤度を上位２個とする代わりに、尤度が最上位の信号のみ、あるいは尤度が上位３位までの信号のみを用いてもよい。
【００３０】
実施例の処理を図８，図９に示し、その内容は上記のもので、図８の発話区間の検出では、ステップ１，２で、無指向性マイクの信号が閾値の外側から０クロッシングした回数から発話区間か非発話区間かを識別する。非発話区間では、ステップ３，４のように、学習により発話検出の閾値を変更し、扉を通過し別の部屋に入ると、閾値を位置情報に応じて修正する（ステップ５）。
【００３１】
音声認識は発話区間に対して行い、ステップ１０、ステップ１１で各指向性マイクロホンからの信号のＳ／Ｎ比、０クロッシングの回数、周波数の分布等により、尤度が上位２個の指向性マイクロホンを選択し、ステップ１２で音声認識する。
【００３２】
実施例では音源の位置の推定無しで、雑音と音声とを区別して発話検出ができる。また音源位置の推定無しで、いずれの指向性のマイクロホンの信号を音声認識するかを決定できる。さらにヘッドセットに音声認識装置２を設けた場合、雑音源に対するマイクロホンの向きが変化すること、作業者の移動により雑音源に対する相対位置が変化することなどの影響を受けずに、発話区間を検出できる。学習により発話検出の閾値を変更することにより、各時点での雑音の強弱に応じた閾値を設定でき、位置情報により閾値を変更することにより、新しい環境に移動した際に、学習を待たずに閾値を変更できる。
【符号の説明】
【００３３】
２ 音声認識装置
４ スピーカ
６ マイクロホンアレイ
７〜１０ マイクロホン
１２ アーム
１３ コード
１４ 音声認識装置本体
１５ 電源
１６ 信号処理部
１８ 通信部
２０，２１ 感度分布
２２ 増幅器
２４ フィルタ
２５ 遅延部
２６ 差分器
３０ 発話検出部
３２ 学習部
３４ セレクタ
３５ 加算器
３６ 音響モデル
３８ 言語モデル
４０ テーブル
４１ 指向性のマイクロホン
４２ 無指向性のマイクロホン
４４ 雑音源
５０ セレクタ
７０ 除算器
７１ 平均化部
７２ カウンタ
７３ 周波数変換部
７４ 評価部
７６ 指向性のマイクロホン
【技術分野】
【０００１】
この発明は複数のマイクロホンを備えた音声認識に関し、特に発話の検出に関する。
【背景技術】
【０００２】
特許文献１（特開2009-210956A）は、マイクロホンアレイを用いた音声認識装置を開示している。特許文献１では、個別のマイクロホンへの音の到達時間の差から音源の位置を推定し、これとは別に事前に発話者の位置を記憶しておく。そして発話者の位置を音源とする音響信号を音声認識の対象とする。しかしながらこの手法では音源位置の推定が絶えず必要で、信号処理が重くなる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2009-210956A
【発明の概要】
【発明が解決しようとする課題】
【０００４】
この発明の課題は、音源位置を推定せずに、雑音と区別して発話を検出することにある。
【課題を解決するための手段】
【０００５】
この発明は、複数の指向性のマイクロホンと、前記複数の指向性のマイクロホン中の少なくとも１個のマイクロホンからの信号に対して音声認識を行う音声認識部とを備えた音声認識システムであって、無指向性のマイクロホンと、該無指向性のマイクロホンからの信号により発話区間を検出する発話検出部とを備え、前記音声認識部は発話区間の信号に対して音声認識を行うように構成されていることを特徴とする。
【０００６】
またこの発明は、複数の指向性のマイクロホン中の少なくとも１個のマイクロホンからの信号に対して、音声認識装置より音声認識を行う方法であって、前記音声認識装置は、無指向性のマイクロホンからの信号により発話区間を検出し、発話区間の信号に対して音声認識を行うことを特徴とする。
【０００７】
この明細書において、音声認識装置に関する記載はそのまま音声認識方法にも当てはまり、逆に音声認識方法に関する記載はそのまま音声認識装置にも当てはまる。指向性のマイクロホンと無指向性のマイクロホンとして、例えば複数の無指向性のマイクロホンを設け、これらの組合せから指向性のマイクロホンを複数実現しても良い。あるいはまた、例えば１個の無指向性のマイクロホンと、複数個の指向性のマイクロホンとを別個に設けても良い。
【０００８】
指向性のマイクロホンは、その指向方向に雑音源が有ると、弱い雑音を大きな信号として捉え、雑音を発話と誤認しやすい。また雑音源が移動する場合、あるいは発話者が移動する場合などは、雑音源を避けるように指向性マイクロホンを配置することも困難である。これに対して無指向性のマイクロホンの信号で発話区間を検出すると、雑音の強弱の変動が小さくなり、雑音のレベルが一定に近づくので、雑音と音声とを識別しやすくなる。このため音源の位置を推定する、あるいは雑音源を避けるように指向性のマイクロホンを配置するなどの処理無しに、発話区間を検出できる。
【０００９】
好ましくは、前記複数の指向性のマイクロホンと前記無指向性のマイクロホンとを有するヘッドセットを備えている。ヘッドセットを装着する作業者の姿勢あるいは位置は固定されていないので、指向性のマイクロホンが雑音源を向くことが特に問題になる。このような場合でも、無指向性のマイクロホンを用いると、発話を雑音と区別して検出できる。
【００１０】
また好ましくは、音声認識部は、前記複数の指向性のマイクロホンに対して、発話区間とそれ以外の区間での信号の強弱の程度、例えばＳ／Ｎ比、及び発話区間での信号の周波数帯、の少なくとも一方に基づいて、どの指向性のマイクロホンからの信号を音声認識するかを決定する選択部、を備えている。これらの信号は、個別の指向性マイクロホンが、音声をピックアップしているのか、雑音をピックアップしているのかを表している。そこで音声をピックアップしている可能性が高い、指向性のマイクロホンからの信号を音声認識する。また音声を認識している可能性が低い、指向性のマイクロホンからの信号は、音声認識する必要がない。
【００１１】
好ましくは、前記発話検出部は、無指向性のマイクロホンからの信号を少なくとも閾値と比較することにより発話を検出すると共に、発話区間以外での無指向性のマイクロホンからの信号の強弱に応じて前記閾値を学習し、かつ音声認識装置の位置に応じて閾値を変更するように構成されている。雑音のレベルに応じて閾値を学習することにより、より確実に発話を検出できる。音声認識装置の各マイクロホンが例えばヘッドセットに設けられている場合、ヘッドセットを装着した作業者等が、静かな環境と騒々しい環境との間で移動すると、雑音レベルの学習が追随できない。騒々しい環境に移動すると、雑音を発話と誤認し易く、静かな環境に移動すると、人は声を小さくする傾向があるため、発話を見逃しやすい。そこで位置に応じて閾値を強制的に変更することにより、学習が間に合わないことを補える。
【図面の簡単な説明】
【００１２】
【図１】実施例の音声認識装置の外観を示す図
【図２】実施例で指向性のマイクロホンの構成に用いたフィルタの回路図
【図３】実施例の音声認識装置のブロック図
【図４】変形例での指向性のマイクロホンと無指向性のマイクロホンの配置を示す平面図
【図５】変形例の音声認識装置の要部ブロック図
【図６】実施例での発話区間の検出モデルを示す図
【図７】実施例でのセレクタのブロック図
【図８】実施例での発話区間の検出を示すフローチャート
【図９】実施例での指向性マイクロホンの選択を示すフローチャート
【発明を実施するための最良の形態】
【００１３】
以下に本発明を実施するための最適実施例を示す。この発明の範囲は、特許請求の範囲の記載に基づき、明細書とこの分野の周知技術を参酌し、当業者の理解に従って定められるべきである。
【実施例】
【００１４】
図１〜図９に、実施例の音声認識装置２と実施例の音声認識方法とを示す。図１において、４はスピーカで、６はマイクロホンアレイであり、複数個の無指向性のマイクロホン７〜１０を備えている。１２はアーム、１３はコードで、１４は音声認識装置本体であり、電源１５と信号処理部１６並びに通信部１８を備えている。実施例では、音声認識装置２が単独で音声認識を行い、通信部１８を介して図示しないサーバと通信し、例えばサーバからのピッキングの指令をスピーカ４を介して作業者に伝え、作業者の音声をマイクロホン７〜１０及び信号処理部１６で音声認識し、通信部１８からサーバへ通知する。またサーバはカメラ、ＧＰＳ等により作業者の位置を監視し、発話検出の閾値を変更する。なお音声認識をサーバで行い、音声認識装置２側から信号処理部１６を除いても良い。
【００１５】
実施例の音声認識装置２は、ピッキングの作業者に限らず、航空機などのパイロット、自動車の運転手、手術中の医師や歯科医、工場の作業者、コールセンターのオペレータなどの音声を認識するのに適している。実施例の音声認識装置２はヘッドセットから成り、作業者が首を振ると、マイクロホンアレイ６の向きが変化するので、雑音に対する向きが絶えず変化する。また作業者が移動すると、周囲の雑音源に対する位置が変化する。
【００１６】
図１の左側に、マイクロホンアレイ６を拡大して示す。マイクロホンアレイ６は指向性の無い例えば４個のマイクロホン７〜１０を備え、マイクロホン７〜１０は例えば正四面体の頂点に配置され、マイクロホン７がマイクロホン８〜１０に対して上側に飛び出しているものとする。そして４個のマイクロホン７〜１０のうち、例えば１個を無指向性のマイクロホンとしてそのまま使用する。４個のマイクロホン７〜１０からマイクロホンを２個ずつ組み合わせると、４Ｃ２の６通りの組み合わせが生じる。
【００１７】
６通りの組み合わせにより、６個の仮想的な指向性マイクロホンを実現する。例えばマイクロホン７と、３個のマイクロホン８〜１０との組み合わせで、３個の指向性のマイクロホンが得られる。マイクロホン８とマイクロホン９との組み合わせで、右向きに指向したマイクロホンと左向きに指向したマイクロホンとが得られ、同様にマイクロホン８，１０の組み合わせ、及びマイクロホン９，１０の組み合わせで、合計例えば９個（６個＋３個）の指向性のマイクロホンが得られる。
【００１８】
図２に、マイクロホン７，８を組み合わせた指向性のマイクロホンを示す。ここではマイクロホン７，８を例とするが、マイクロホンの他の組合せでも同様である。２０，２１はマイクロホン７，８の感度分布（指向性）を模式的に示し、相手側のマイクロホンの影となる向きで感度が低下する。２２は増幅器で、マイクロホン７，８の音声信号を増幅する。２５は遅延部で、信号を増幅すると共に、マイクロホン７，８間の距離を音波が移動する時間分、信号を遅延させる。なおマイクロホン７〜１０は正四面体の頂点に配置されているので、各マイクロホンの間隔は一定であり、遅延部２５で遅延させる時間は、マイクロホンの組み合わせによらず一定である。このためマイクロホン７〜１０毎に１個の遅延部２５を設ける。
【００１９】
２６は差分器で、遅延部２５からの信号と、組合せの相手方のマイクロホンからの遅延していない信号との差を求める。例えば差分器２６ａでは、マイクロホン７の信号からマイクロホン８の信号を引くことにより、図２の下側に指向性のある信号を得る。図２のマイクロホン７に上側から音波が到着すると、遅延部２５を介して差分器２６ａに入力されて、マイクロホン８からの信号で打ち消されるので、差分器２６ａからの出力は小さくなる。マイクロホン８に下側から音波が到着すると、直ちに差分器２６ａに入力され、マイクロホン７からの信号は遅延部２５で遅れるので、信号は相殺されない。なおこの時、１回の音響信号が符号を反転し僅かな時間差で２回差分器２６ａから出力され、一種の繰り返し信号となるが、図３の音響モデル３６は周波数スペクトル等に変換して信号を処理するので、影響は小さい。必要で有れば、遅延部２５と差分器２６ａ，ｂ等の間に、繰り返し信号を除去するフィルタを設けると良い。同様に図２の差分器２６ｂの場合、マイクロホン８の信号からマイクロホン７の信号を引いて、図２の上側に指向したマイクロホンを得る。
【００２０】
図３に音声認識装置２の全体構成を示すと、各マイクロホン７〜１０に増幅器２２が接続され、指向性のないマイクロホン７〜１０のうち、任意の１個、例えばマイクロホン７からの信号を発話検出部３０で処理し、発話区間を検出する。学習部３２は発話検出区間以外でのマイクロホン７に接続した増幅器２２からの信号を基に、発話検出の閾値を変更する。閾値はこれ以外に音声認識装置２の位置により変更され、位置信号は例えば音声認識装置２にGPSを設けることにより発生させる。あるいは図示しないサーバで音声認識装置２の位置を認識して、位置信号をサーバから入力しても良い。
【００２１】
発話検出の閾値は例えば秒〜時間のオーダーで変化し、例えば発話区間以外の区間に対し、１秒〜１分などの所定時間毎に、現在の閾値と過去１秒〜１分程度の時間内での雑音レベルとの重み付き平均を、新たな閾値とする。重みは例えば現在の閾値を９９％〜８０％程度とし、周囲の雑音レベルを１％〜２０％程度とする。このようにして、閾値を変更する時間間隔と、周囲の雑音レベルに対する重みとにより、所定の速度で閾値を学習（変更）する。これに対して位置信号により閾値を変更するのは、例えばピッキングを行う作業者が、冷蔵室や冷凍室などのほぼ無音の区間から扉を通過し、無人搬送車などが走行する雑音の大きい区間に移動した際などである。そして扉を通過したことにより、閾値を学習に優先して変更する。
【００２２】
フィルタ２４は、図２のようにして、９個の指向性のマイクロホンの信号を作り出し、セレクタ３４により２個の指向性のマイクロホンの信号を選び出し、選択した２個のマイクロホンの信号を加算器３５で加算し、音響モデル３６で音素に変換する。そして音素を言語モデル３８で言語に変換し、音声認識を完了する。セレクタ３４，音響モデル３６，言語モデル３８が音声認識部を構成する。
【００２３】
実施例ではヘッドセットを例にしたが、図４のように固定のテーブル４０に指向性のマイクロホン４１と無指向性のマイクロホン４２とを配置し、無指向性のマイクロホン４２からの信号により発話区間を検出しても良い。例えばテーブル４０の周囲を雑音源４４が通過したとする。指向性のマイクロホン４１の信号で発話区間を検出すると、雑音源４４の通過を特定の指向性のマイクロホン４１が検出し、発話区間と誤認しやすい。これに対して無指向性のマイクロホン４２では、雑音源４４の位置が変化しても、雑音レベルの変化は小さく、また特定の雑音源４４の影響を受けにくいので、発話区間をより正確に検出できる。
【００２４】
図５はセレクタの変形例を示し、フィルタ２４で発生させた９個の仮想的なマイクロホンからの音声信号を音響モデル３６でそれぞれ音素に変換する。音響モデル３６は音素への変換時に尤度を発生し、尤度が例えば上位２個の信号をセレクタ５０で選出して、上位２個の音素信号を言語モデル３８へ入力しても良い。しかしこのようにすると、言語モデル３８で処理しない信号も音響モデル３６で処理するため、処理が重くなる。
【００２５】
図５〜図９に、実施例の動作を示す。例えばピッキングを行う作業者が音声認識装置２をヘッドセットとして装着し、通信部１８により図示しないサーバと通信しながらピッキングを行う。そしてサーバは例えば図示しないカメラ，ＧＰＳなどにより、作業者の位置を認識しているものとする。サーバは作業者にスピーカ４から作業を指示し、作業者からサーバへの入力は音声認識装置２で行い、ヘッドセットの向きが変わると、雑音源に対する向きが変化し、作業者の移動に伴って雑音の程度が変化する。
【００２６】
ここで４個の無指向性のマイクロホン７〜１０を組み合わせて、仮想的に９個の指向性のマイクロホンを構成し、また４個のマイクロホン７〜１０の任意の１個を発話の検出に用いる。発話の検出では、図６のように、信号の０レベルの例えば両側に閾値を定め、信号が閾値を越え後に０レベルを通過した回数などから、発話の有無を検出する。これは信号の強弱と周波数とを評価していることに想到する。
【００２７】
作業者の位置などにより雑音レベルが変化するので、発話を検出していない区間でのマイクロホンからの信号により、閾値を学習により変更する。また扉などを通過し別の部屋に入ると、雑音レベルが変化する。位置の変化による雑音レベルの変化に対して、学習では一般に追随しないので、サーバからの位置情報などにより、閾値を強制的に変更する。
【００２８】
発話を検出するすると、例えば９個の指向性のマイクロホンのうち、尤度が上位２個のマイクロホンの信号を用いて、音声認識を行う。このための構成を図７に示し、７６は仮想的な指向性のマイクロホンの内の１個であり、発話区間以外での信号レベルの平均値を平均化部７１で記憶し、除算器７０でマイクロホン７６からの信号と平均値との比をＳ/Ｎ比として求める。また発話区間での０−クロッシングの回数などをカウンタ７２で求める。さらにバンドパスフィルタその他の簡易な周波数変換部により、音声信号に対応する周波数帯での信号の強弱を求め、好ましくは複数の周波数での信号の強弱を求めることにより、音声信号に対応した周波数スペクトルか否かを求める。
【００２９】
Ｓ/Ｎ比は雑音に対して音声を認識している程度を表し、０−クロッシングの回数は検出している信号の平均的な周波数を表し、周波数変換部７３の信号も同様に入力信号のスペクトル形状を表す。これらの信号を評価部７４で評価することにより、音声を認識している可能性の大小を尤度として出力する。なおカウンタ７２の信号と周波数変換部７３の信号はいずれも信号の周波数に関するものなので、これらのいずれか一方のみを用いてもよい。そして尤度が例えば上位２個の指向性のマイクロホンからの信号を音響モデル３６で処理することにより、正確に音声認識ができる。尤度を上位２個とする代わりに、尤度が最上位の信号のみ、あるいは尤度が上位３位までの信号のみを用いてもよい。
【００３０】
実施例の処理を図８，図９に示し、その内容は上記のもので、図８の発話区間の検出では、ステップ１，２で、無指向性マイクの信号が閾値の外側から０クロッシングした回数から発話区間か非発話区間かを識別する。非発話区間では、ステップ３，４のように、学習により発話検出の閾値を変更し、扉を通過し別の部屋に入ると、閾値を位置情報に応じて修正する（ステップ５）。
【００３１】
音声認識は発話区間に対して行い、ステップ１０、ステップ１１で各指向性マイクロホンからの信号のＳ／Ｎ比、０クロッシングの回数、周波数の分布等により、尤度が上位２個の指向性マイクロホンを選択し、ステップ１２で音声認識する。
【００３２】
実施例では音源の位置の推定無しで、雑音と音声とを区別して発話検出ができる。また音源位置の推定無しで、いずれの指向性のマイクロホンの信号を音声認識するかを決定できる。さらにヘッドセットに音声認識装置２を設けた場合、雑音源に対するマイクロホンの向きが変化すること、作業者の移動により雑音源に対する相対位置が変化することなどの影響を受けずに、発話区間を検出できる。学習により発話検出の閾値を変更することにより、各時点での雑音の強弱に応じた閾値を設定でき、位置情報により閾値を変更することにより、新しい環境に移動した際に、学習を待たずに閾値を変更できる。
【符号の説明】
【００３３】
２ 音声認識装置
４ スピーカ
６ マイクロホンアレイ
７〜１０ マイクロホン
１２ アーム
１３ コード
１４ 音声認識装置本体
１５ 電源
１６ 信号処理部
１８ 通信部
２０，２１ 感度分布
２２ 増幅器
２４ フィルタ
２５ 遅延部
２６ 差分器
３０ 発話検出部
３２ 学習部
３４ セレクタ
３５ 加算器
３６ 音響モデル
３８ 言語モデル
４０ テーブル
４１ 指向性のマイクロホン
４２ 無指向性のマイクロホン
４４ 雑音源
５０ セレクタ
７０ 除算器
７１ 平均化部
７２ カウンタ
７３ 周波数変換部
７４ 評価部
７６ 指向性のマイクロホン
【特許請求の範囲】
【請求項１】
複数の指向性のマイクロホンと、前記複数の指向性のマイクロホン中の少なくとも１個のマイクロホンからの信号に対して音声認識を行う音声認識部とを備えたシステムであって、
無指向性のマイクロホンと、該無指向性のマイクロホンからの信号により発話区間を検出する発話検出部とを備え、前記音声認識部は発話区間の信号に対して音声認識を行うように構成されていることを特徴とする音声認識システム。
【請求項２】
前記複数の指向性のマイクロホンと前記無指向性のマイクロホンとを有するヘッドセットを備えていることを特徴とする、請求項１に記載の音声認識システム。
【請求項３】
音声認識部は、前記複数の指向性のマイクロホンに対して、発話区間とそれ以外の区間での信号の強弱の程度、及び発話区間での信号の周波数帯、の少なくとも一方に基づいて、どの指向性のマイクロホンからの信号を音声認識するかを決定する選択部、を備えていることを特徴とする、請求項１または２に記載の音声認識システム。
【請求項４】
前記発話検出部は、無指向性のマイクロホンからの信号を少なくとも閾値と比較することにより発話を検出すると共に、発話区間以外での無指向性のマイクロホンからの信号の強弱に応じて前記閾値を学習し、かつ音声認識装置の位置に応じて閾値を変更するように構成されていることを特徴とする、請求項１〜３のいずれかの音声認識システム。
【請求項５】
複数の指向性のマイクロホン中の少なくとも１個のマイクロホンからの信号に対して、音声認識装置より音声認識を行う方法であって、
前記音声認識装置は、無指向性のマイクロホンからの信号により発話区間を検出し、発話区間の信号に対して音声認識を行うことを特徴とする音声認識方法。
【請求項１】
複数の指向性のマイクロホンと、前記複数の指向性のマイクロホン中の少なくとも１個のマイクロホンからの信号に対して音声認識を行う音声認識部とを備えたシステムであって、
無指向性のマイクロホンと、該無指向性のマイクロホンからの信号により発話区間を検出する発話検出部とを備え、前記音声認識部は発話区間の信号に対して音声認識を行うように構成されていることを特徴とする音声認識システム。
【請求項２】
前記複数の指向性のマイクロホンと前記無指向性のマイクロホンとを有するヘッドセットを備えていることを特徴とする、請求項１に記載の音声認識システム。
【請求項３】
音声認識部は、前記複数の指向性のマイクロホンに対して、発話区間とそれ以外の区間での信号の強弱の程度、及び発話区間での信号の周波数帯、の少なくとも一方に基づいて、どの指向性のマイクロホンからの信号を音声認識するかを決定する選択部、を備えていることを特徴とする、請求項１または２に記載の音声認識システム。
【請求項４】
前記発話検出部は、無指向性のマイクロホンからの信号を少なくとも閾値と比較することにより発話を検出すると共に、発話区間以外での無指向性のマイクロホンからの信号の強弱に応じて前記閾値を学習し、かつ音声認識装置の位置に応じて閾値を変更するように構成されていることを特徴とする、請求項１〜３のいずれかの音声認識システム。
【請求項５】
複数の指向性のマイクロホン中の少なくとも１個のマイクロホンからの信号に対して、音声認識装置より音声認識を行う方法であって、
前記音声認識装置は、無指向性のマイクロホンからの信号により発話区間を検出し、発話区間の信号に対して音声認識を行うことを特徴とする音声認識方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１１−８１３２２（Ｐ２０１１−８１３２２Ａ）
【公開日】平成２３年４月２１日（２０１１．４．２１）
【国際特許分類】
【出願番号】特願２００９−２３５５６５（Ｐ２００９−２３５５６５）
【出願日】平成２１年１０月９日（２００９．１０．９）
【出願人】（０００００６２９７）村田機械株式会社 (4,916)
【Ｆターム（参考）】
【公開日】平成２３年４月２１日（２０１１．４．２１）
【国際特許分類】
【出願日】平成２１年１０月９日（２００９．１０．９）
【出願人】（０００００６２９７）村田機械株式会社 (4,916)
【Ｆターム（参考）】
[ Back to top ]