音声信号処理システム、音声信号処理方法および音声信号処理方法プログラム
【課題】音声認識のための音声が入力された時点での雑音等の環境音や、該入力音声の音量、音声信号の途絶等の特徴を好適に利用する。
【解決手段】音声信号処理システムは、音声信号を入力する音声入力手段１０１と、音声入力手段１０１を介して入力された音声信号である入力音声信号を格納する入力音声格納手段１０２と、入力音声格納手段１０２に格納された入力音声信号を参照し、入力音声信号に含まれる環境音を含む該入力音声信号によって示される入力音声の特徴を推定する特徴推定手段１０３と、参照音声となる所定の音声信号を発生させる参照音声発生手段１０４と、特徴推定手段１０３によって推定された入力音声の特徴を、参照音声発生手段１０４が発生させた音声信号である参照音声信号に反映する特徴反映手段１０５とを備えたことを特徴とする。
【解決手段】音声信号処理システムは、音声信号を入力する音声入力手段１０１と、音声入力手段１０１を介して入力された音声信号である入力音声信号を格納する入力音声格納手段１０２と、入力音声格納手段１０２に格納された入力音声信号を参照し、入力音声信号に含まれる環境音を含む該入力音声信号によって示される入力音声の特徴を推定する特徴推定手段１０３と、参照音声となる所定の音声信号を発生させる参照音声発生手段１０４と、特徴推定手段１０３によって推定された入力音声の特徴を、参照音声発生手段１０４が発生させた音声信号である参照音声信号に反映する特徴反映手段１０５とを備えたことを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声信号の変換処理を含む音声信号処理システム、音声信号処理方法および音声信号処理方法プログラムに関し、入力音声の雑音環境や音量等の特徴を利用した音声信号処理システム、音声信号処理方法および音声信号処理方法プログラムに関する。
【背景技術】
【０００２】
音声信号の変換を行う音声変換システムの一例が、特許文献１に記載されている。特許文献１に記載されている音声変換システムは、音声入力部１と入力アンプ回路、可変アンプ回路、音声合成部を構成要素として持ち、音声入力部１から入力され入力アンプ回路を経た環境音と、音声合成部から出力される音声を、可変アンプ回路で混合して、変換された合成音声を出力するよう動作する。
【０００３】
また、特許文献２には、雑音区間のディジタル信号の音響特徴量から合成した雑音モデルを正規化した正規化雑音モデルと、クリーン音声モデルとを合成して、正規化雑音重畳音声モデルを生成し、それを正規化した正規化済み雑音モデルを音響モデルとして用い、音声認識結果を得る音声認識装置が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−３９９００号公報
【特許文献２】特開２００７−１５６３６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１に記載されているような、常に現時点での環境音を重畳して音声を合成する方法では、音声認識のための音声が入力された時点（換言すると、ユーザが意図して音声を入力した時点、すなわちユーザにとっての任意の時点）での環境音を重畳できないといった問題がある。また同様に、音声認識のために入力された音声の特徴を反映できないといった問題がある。例えば、音量や、音量の大小による信号の歪み（主に通信路の障害を原因とする音声信号の途絶を含む）といった入力音声の特徴を反映することができない。
【０００６】
また、特許文献２に記載されている技術において、音声変換をする際に、ある特定の音声の雑音環境や音量等の特徴を利用しようといったことは何ら考慮されていない。また、特許文献２に記載された音声認識装置は、そのような用途に適用できるように構成されていない。特許文献２に記載されている技術は、雑音が混入した音声に対する音声認識結果精度を向上させるために、雑音モデルを正規化する技術だからである。
【０００７】
そこで、本発明は、音声認識のための音声が入力された時点での雑音等の環境音や、該入力音声の音量、音声信号の途絶等の特徴を好適に利用した音声信号処理システム、音声信号処理方法および音声信号処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明による音声信号処理システムは、音声信号を入力する音声入力手段と、音声入力手段を介して入力された音声信号である入力音声信号を格納する入力音声格納手段と、入力音声格納手段に格納された入力音声信号を参照し、入力音声信号に含まれる環境音を含む該入力音声信号によって示される入力音声の特徴を推定する特徴推定手段と、参照音声となる所定の音声信号を発生させる参照音声発生手段と、特徴推定手段によって推定された入力音声の特徴を、参照音声発生手段が発生させた音声信号である参照音声信号に反映する特徴反映手段とを備えたことを特徴とする。
【０００９】
また、本発明による音声信号処理方法は、音声信号を入力し、入力された音声信号である入力音声信号を格納し、格納された入力音声信号を参照し、入力音声信号に含まれる環境音を含む該入力音声信号によって示される入力音声の特徴を推定し、参照音声となる所定の音声信号を発生させ、推定された入力音声の特徴を、参照音声として発生させた音声信号である参照音声信号に反映することを特徴とする。
【００１０】
また、本発明による音声信号処理プログラムは、入力された音声信号である入力音声信号を格納する入力音声格納手段を備えたコンピュータに、音声信号を入力する処理、入力音声信号を入力音声記憶手段に格納する処理、入力音声格納手段に格納された入力音声信号を参照し、入力音声信号に含まれる環境音を含む該入力音声信号によって示される入力音声の特徴を推定する処理、参照音声となる所定の音声信号を発生させる処理、および推定された入力音声の特徴を、参照音声として発生させた音声信号である参照音声信号に反映する処理を実行させることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、所定の参照音声に対し、音声認識のための音声が入力された時点での雑音等の環境音や、該入力音声の音量、音声信号の途絶等の特徴を反映した変換音声を生成することができる。
【００１２】
例えば、音声認識のための音声が入力された時点での環境音を重畳した雑音重畳音声を出力できる。また、環境音に留まらず、例えば音声認識のために入力された音声の特徴を反映した参照音声を出力できる。
【図面の簡単な説明】
【００１３】
【図１】第１の実施形態の音声変換システムの構成例を示すブロック図である。
【図２】第１の実施形態の音声変換システムの動作の一例を示すフローチャートである。
【図３】第２の実施形態の音声自動応答システムの構成例を示すブロック図である。
【図４】第３の実施形態の自己診断機能付き音声認識システムの構成例を示すブロック図である。
【図５】第３の実施形態の自己診断機能付き音声認識システムの動作の一例を示すフローチャートである。
【図６】本発明の概要を示すブロック図である。
【図７】本発明による音声信号処理システムの他の構成例を示すブロック図である。
【発明を実施するための形態】
【００１４】
実施形態１．
以下、本発明の実施形態を図面を参照して説明する。図１は、本発明の第１の実施形態の音声変換システムの構成例を示すブロック図である。図１に示す音声変換システムは、音声入力部１と、音声バッファ２と、音声認識部３と、参照音声発生部４と、音声特徴推定部５と、音声特徴反映部６とを備えている。
【００１５】
音声入力部１は、音声を電気信号（音声信号）として当該システムに入力する。本実施形態では、音声入力部１は音声認識のための音声を入力する。また、音声入力部１によって入力された音声信号は、音声データとして音声バッファ２に格納される。音声入力部１は、例えば、マイクロフォンによって実現される。なお、音声を入力する手段は、マイクロフォンに限らず、例えば、通信ネットワークを介して音声データ（音声信号）を受信する音声データ受信手段等によっても実現可能である。
【００１６】
音声バッファ２は、音声入力部１を介して入力される音声信号を、音声認識対象の音声を示す情報として格納する記憶装置である。
【００１７】
音声認識部３は、音声バッファ２に格納された音声信号に対して、音声認識処理を実施する。
【００１８】
参照音声発生部４は、環境音重畳の対象となる参照音声を発生させる。なお、発生させるとは、該当する音声信号が当該システムに入力された状態にすることをいい、そのためのあらゆる動作を含む。例えば、生成するだけなく、外部装置から取得することも含む。また、本実施形態において参照音声とは、音声変換のために参照される音声であって、変換元となる音声である。参照音声は、例えば、本実施形態の音声変換システムが雑音重畳音声出力機能部として音声自動応答システムに組み込まれる場合には、入力音声に対する音声認識処理結果に応じて選択または生成されるガイダンス音声であってもよい。
【００１９】
参照音声発生部４は、例えば、音声合成技術を用いて参照音声を生成してもよい。また、例えば予め録音された音声を参照音声として用いることも可能である。また、ユーザ指示に応じてその都度、音声入力してもよい。なお、この場合、音声認識のために入力される音声と参照音声とは区別される。
【００２０】
音声特徴推定部５は、入力された音声の特徴（環境音を含む）を推定する。本実施形態では、音声特徴推定部５は、環境音推定部５１と、ＳＮ推定部５２とを含む。
【００２１】
環境音推定部５１は、音声バッファ２に格納された音声信号を対象に、該音声信号によって示される音声に含まれる環境音の情報を推定する。環境音の情報とは、例えば、音声信号の始端や終端付近に主に含まれる非音声部分の信号であったり、周波数特性やパワー値、またはそれらの組み合わせである。また、環境音の情報を推定するとは、例えば、入力された音声信号を音声と非音声に区分し、非音声部分を抽出することを含む。非音声部分の抽出には、例えば、公知の音声区間検出（Voice Activity Detection）技術を用いることができる。
【００２２】
ＳＮ推定部５２は、音声バッファ２に格納された音声信号を対象に、該音声信号によって示される音声のＳＮ比（音声信号と環境音の比率）を推定する。このとき、音声信号の音割れや、音飛び（部分的な信号の欠落）を検出してもよい。
【００２３】
音声特徴反映部６は、音声特徴推定部５によって得られた音声の特徴を参照音声に反映する（参照音声を変換する）。すなわち、参照音声に対して、音声特徴推定部５によって得られた音声の特徴を反映した変換音声を生成する。本実施形態では、音声特徴反映部６は、環境音発生部６１と、音量調整部６２と、音声重畳部６３とを含む。
【００２４】
環境音発生部６１は、音声特徴推定部５（より具体的には、環境音推定部５１）によって推定された環境音の情報に基づき、環境音を発生させる（生成する）。
【００２５】
音量調整部６２は、音声特徴推定部５（より具体的には、ＳＮ推定部５２）によって推定されたＳＮ比に基づき、参照音声を適切な音声に調整する。より具体的には、音量調整部６２は、環境音発生部６１が発生させた環境音に対して、参照音声発生部４が発生させた参照音声が推定されたＳＮ比になるように、参照音声の音量等を調整する。
【００２６】
このとき、忠実に推定されたＳＮ比になるように参照音声の音量を調整するだけでなく、環境音が強調されるよう参照音声の音量を小さめに調整することもできる。また、音割れや音飛びを再現した参照音声に調整することもできる。具体的には、音声バッファ２に格納されている音声信号から求まる音割れしている頻度・割合・分布や、音飛びの頻度・割合・分布を、参照音声においても再現するように調整（参照音声に音割れや音飛びを挿入）してもよい。
【００２７】
音声重畳部６３は、環境音発生部６１により生成された環境音と、音調調整部６２により調整された参照音声とを重畳し、入力音声の音響および特徴を反映した参照音声を生成する。ここでは、入力音声の音響および特徴と同等の特徴を有する参照音声を変換処理により生成する。
【００２８】
なお、本実施形態において、音声特徴推定部５（より具体的には、環境音推定部５１、ＳＮ推定部５２）、音声特徴反映部６（より具体的には、環境音発生部６１、音量調整部６２、音声重畳部６３）は、例えば、プログラムに従って動作するＣＰＵ等の情報処理装置によって実現される。なお、各部は、１つのユニットとして実現されていても、それぞれ別々のユニットとして実現されていてもよい。
【００２９】
次に、本実施形態の動作を説明する。図２は、本実施形態の音声変換システムの動作の一例を示すフローチャートである。図２に示すように、まず、音声入力部１が、音声を入力する（ステップＳ１０１）。音声入力部１は、例えば、音声認識のためにユーザが発声した音声を音声信号にして入力する。そして、入力された音声を音声バッファ２に格納する（ステップＳ１０２）。
【００３０】
次に、環境音推定部５１は、音声バッファ２に格納された入力音声信号について、該音声を音声区間と非音声区間とに区分する（ステップＳ１０３）。そして、入力音声から非音声部分を抽出する（ステップＳ１０４）。例えば、環境音推定部５１は、音声信号のうち非音声部分に該当する部分の信号を切り出す処理を行う。
【００３１】
一方では、ＳＮ推定部５２が、入力された音声信号の非音声部分と音声部分のパワーを求め、ＳＮ比を推定する（ステップＳ１０５）。なお、ＳＮ推定部は、ここで、音声信号の音割れや、音飛び（部分的な信号の欠落）を検出し、それらが発生している頻度や割合、分布を求めてもよい。
【００３２】
本実施形態では、音声バッファ２に格納されるのは、一繋がりの音声信号（１つの音声信号）であることを想定している。例えば、３分の音声データに対して、音割れている部分が連続して一箇所、１分継続していた場合、音割れの頻度は１回、割合は１／３と算出すればよい。また、分布については、例えば、音声信号の先頭３０秒と末尾３０秒で音割れが起きているといった音声信号に対する現象の相対位置を求めればよい。
【００３３】
なお、音声バッファ２には複数の音声信号を格納することも可能である。複数を格納可能とする設定の場合には、格納されている複数の音声信号を用いて音割れや音飛びの頻度・割合・分布等を求めてもよい。その場合、過去の所定の時間（複数の時間）の入力音声の雑音環境や音声特徴を総合し得られた雑音環境や音声特徴を利用して変換音声を生成することになる。
【００３４】
次に、環境音発声部６１は、非音声部分の切り出し処理が完了したことを受けて、抽出された非音声部分の信号を基に、入力音声における環境音を生成する（ステップＳ１０６）。環境音発生部６１は、例えば、ステップＳ１０４で抽出された非音声部分の信号を繰り返し再生することによって、音声が入力された時点の環境音を発生させてもよい。
【００３５】
次に、参照音声発生部４に参照音声を発生させ、音声調整部６２が、ステップＳ１０５で求められたＳＮ比に従い、参照音声の音量を調整する（ステップＳ１０７）。なお、参照音声の発生タイミングはこの限りでなく、任意のタイミングでよい。前もって発生させていてもよいし、ユーザの指示に応じて発生させてもよい。
【００３６】
最後に、音声重畳部６３は、音量調整された参照音声と、ステップＳ１０６で発生させた環境音とを重畳して、音声が入力された時点の特徴（環境音、ＳＮ比、音割れ、音飛びの頻度・割合・分布等）を反映した参照音声を生成し、出力する（ステップＳ１０８）。
【００３７】
以上のように、本実施形態によれば、音声バッファ２に音声認識のために入力された音声の音声信号を格納し、その格納されている音声信号から、音声認識のための音声が入力された時点での環境音や、音声の特徴を推定して、その環境音や特徴を反映するよう所定の参照音声を変換するように構成されているため、音声認識のための音声が入力された時点での環境音や音声の特徴が反映された任意の発話内容を有する音声信号を出力できる。
【００３８】
実施形態２．
次に、第２の実施形態について図面を参照して説明する。本実施形態では、本発明による音声変換方法を音声信号処理方法の一つとして音声自動応答システムに適用した態様について説明する。図３は、本実施形態の音声自動応答システムの構成例を示すブロック図である。図３に示す音声自動応答システム２００は、音声変換装置１０と、音声認識部３と、認識結果解釈部７１と、応答音声生成部７２と、変換後応答音声部７３とを備える。
【００３９】
音声変換装置１０は、第１の実施形態の音声変換システムにおける音声入力部１と、音声バッファ２と、音声特徴推定部５と、音声特徴反映部６とを備えた装置である。なお、図３に示す例では、音声変換装置１０を１つの装置として音声自動応答システムに組み込む例を示しているが、必ずしも１つの装置にして組み込む必要はなく、音声自動応答システムとして音声変換装置１０が備える各処理部を備えていればよい。各処理部の機能は、第１の実施形態の音声変換システムと同様である。なお、本実施形態では、音声入力部１は、ユーザによって発話された音声を入力する。
【００４０】
音声認識部３は、音声バッファ２に格納された音声信号に対して音声認識処理を実施する。すなわち、音声認識部３は、ユーザによる発話をテキスト化する。
【００４１】
認識結果解釈部７１は、音声認識部３から出力される認識結果テキストから、当該音声自動応答システムにおいて意味のある情報を抽出する。例えば、当該音声自動応答システムが航空券自動発券システムであれば、「大阪から東京まで」という発話（認識結果テキスト）から、「発地：大阪」「着地：東京」という情報を抽出する。
【００４２】
応答音声生成部７２は、第１の実施形態における参照音声発生部４の一実施例に相当する処理部である。応答音声生成部７２は、認識結果解釈部７１によって解釈された結果から適切な応答音声（音声変換装置１０における参照音声）を生成する。例えば、前述の例であれば、「出発地は大阪でよろしいでしょうか」といった確認音声や、「大阪から東京までのチケットを発券します」といったチケット予約を行う音声を生成してもよい。なお、認識結果解釈部７１が、解釈した結果から応答音声の内容を決定する処理までを行い、応答音声生成部７２は、認識結果解釈部７１から指示された内容を発話内容とする音声信号を生成する処理を行ってもよい。なお、応答音声の内容は問わない。
【００４３】
ここで、一般的な音声自動応答システムであれば、生成した応答音声をそのままユーザに出力するが、本実施形態（すなわち、本発明による音声変換装置を組み込んだ音声自動応答システム）では、応答音声に、音声認識のための音声（ここでは、ユーザの発話音声）が入力された際の音声特徴を反映させる。
【００４４】
このため、応答音声生成部７２は、生成した応答音声を参照音声として音声変換装置１０の音量調整部６２に入力する。
【００４５】
なお、音声変換装置１０では、第１の実施形態と同様に、音声入力部１を介してユーザの発話音声が入力されると、音声バッファ２にその音声信号を格納し、格納された音声信号を参照して、音声特徴推定部５が入力された音声信号のＳＮ比を推定するとともに、音声特徴反映部６が入力音声における環境音を生成している。
【００４６】
このような状態において、音声変換装置１０に参照音声（応答音声）が入力されると、音量調整部６２が、推定されたＳＮ比に従って参照音声の音量を調整し、音声重畳部６３が、音量調整された参照音声と生成した環境音とを重畳して、ユーザの発話音声が入力された時点の特徴（環境音、ＳＮ比、音割れ、音飛びの頻度・割合・分布等）が反映された参照音声（変換後応答音声）を生成する。
【００４７】
変換後応答音声部７３は、音声変換部１００（より具体的には音声重畳部６３）から出力される変換後応答音声を、当該音声自動応答システムによるユーザへの応答として音声出力する。
【００４８】
このように、システムからの応答音声にユーザが発話した際の環境音や音声の特徴を反映することにより、そのユーザがどこにいるかいつ話したか等をシステム側で意識することなく、ユーザが応答音声を聞きその聞き取り易さ・聞き取り難さから、システムに向かって発話した際の音響環境が音声認識に適していたかどうかを自身で直感により判断することができる。
【００４９】
なお、一般的にコンピュータにより自動で音声認識を行う音声認識装置の聞き取り能力に比べて、人間の聞き取り能力が高いことを考慮して、環境音や音割れ・音飛びといった入力音声の特徴を、実際の入力音声から推定したものよりも強調して参照音声（システム応答）に反映させてもよい。このことにより、ユーザによる自身の発話時の音響環境の適否判定をより適切なものとすることができる。
【００５０】
なお、強調処理としては、例えば、発生させる環境音を大きく（あるいは参照音声を小さく）してＳＮ比を実際よりも悪くしたり、音割れや音飛びの程度（頻度、割合等）を実際よりも多くして参照音声を変換してもよい。
【００５１】
実施形態３．
次に、第３の実施形態について図面を参照して説明する。本実施形態では、本発明による音声変換方法を音声信号処理方法の一つとして自己診断機能付き音声認識システムに適用した態様について説明する。図４は、本実施形態の自己診断機能付き音声認識システムの構成例を示すブロック図である。図４に示す自己診断機能付き音声認識システム８００は、音声変換装置１０と、音声認識部３と、発話内容既知音声発生部８１と、音響環境判定部８２とを備える。
【００５２】
音声変換装置１０は、第２の実施形態と同様、音声変換装置１０は、第１の実施形態の音声変換システムにおける音声入力部１と、音声バッファ２と、音声特徴推定部５と、音声特徴反映部６とを備えた装置である。なお、図４に示す例では、音声変換装置１０を１つの装置として自己診断機能付き音声認識システムに組み込む例を示しているが、必ずしも１つの装置にして組み込む必要はなく、自己診断機能付き音声認識システムとして音声変換装置１０が備える各処理部を備えていればよい。各処理部の機能は第１の実施形態の音声変換システムと同様である。なお、本実施形態では、音声入力部１は、ユーザによって発話された音声を入力する。
【００５３】
音声認識部３は、本実施形態では、音声変換装置１０（より具体的には音声重畳部６３）から出力される音声信号に対して音声認識処理を実施する。すなわち、音声認識部３は、ユーザからの入力音声の音響環境や音声の特徴が反映された変換後参照音声をテキスト化する。
【００５４】
発話内容既知音声発生部８１は、第１の実施形態における参照音声発生部４の一実施例に相当する処理部である。発話内容既知音声発生部８１は、参照音声として、発話内容が当該システムにおいて既知の音声（以下、発話内容既知音声という。）を発生させる。発話内容既知音声は、予め決められた内容を雑音のない環境で発話した音声信号であってもよい。なお、発話内容は問わない。複数の発話内容から指示に従って選択してもよいし、ユーザに発話内容を入力させてもよい。その際、発話内容の他に音声信号化する際に用いるパラメータや音声モデル等の情報も併せて入力させてもよい。
【００５５】
音響環境判定部８２は、音声認識部３による変換後参照音声に対する認識結果と、発話内容既知音声発生部８１が生成した参照音声の発話内容とを比較して、変換後の参照音声に対する認識率を求める。そして、求めた認識率に基づいて入力音声の音響環境が音声認識に適しているか否かを判定する。音響環境判定部８２は、例えば、求めた認識率が所定の閾値よりも低い場合には、入力された音声の音響環境、すなわちユーザが音声を入力したその時点（場所および時間）における音響環境が音声認識に適していないと判定してもよい。そして、その旨を示す情報をユーザに出力する。
【００５６】
次に、本実施形態の動作について説明する。図５は、本実施形態の自己診断機能付き音声認識システムの動作の一例を示すフローチャートである。図５に示すように、音声入力部１が音声を入力すると（ステップＳ２０１）、入力された音声を音声バッファ２に格納する（ステップＳ２０２）。
【００５７】
次いで、環境音推定部５１が、音声バッファ２に格納された入力音声信号を対象に、該音声が入力された時点の環境音や該音声の特徴を抽出する（ステップＳ２０２）。ここでは、例えば環境音推定部５１が入力音声の非音声区間を環境音の情報として抽出することによって、入力音声の音響環境を推定する。また、例えばＳＮ推定部５２が、入力音声のＳＮ比を推定したり、入力音声の音割れや音飛びの頻度・割合・分布等を求めることによって、入力音声の特徴を推定する。
【００５８】
一方で、発話内容既知音声発生部８１は、参照音声として、発話内容が当該システムにおいて既知の音声を発生させる（ステップＳ２０３）。
【００５９】
次に、音声特徴反映部６は、入力音声の環境音や特徴の情報が推定されるとともに参照音声が発生されたことを受けて、入力音声の環境音や特徴を参照音声に反映させる（ステップＳ２０５）。ここでは、まず、環境音発生部６１が、推定された環境音の情報に基づき環境音を発生させる。また、例えば音量調整部６２が、推定されたＳＮ比に基づき参照音声の音量等を調整する。また、例えば音声調整部６２は、推定された入力音声の音割れや音飛びの頻度・割合・分布に基づき参照音声に音飛びや音割れを挿入してもよい。次いで、音声重畳部６３が、環境音発生部６１により生成された環境音と、音調調整部６２により調整された参照音声とを重畳し、入力音声の音響および特徴が反映されるよう変換された参照音声（変換後参照音声）を生成する。
【００６０】
変換後参照音声が生成されると、次に、音声認識部３が、生成された変換後参照音声に対して音声認識処理を実施する（ステップＳ２０６）。
【００６１】
最後に、音響環境判定部８２が、変換後参照音声に対する認識結果と、発話内容既知音声である参照音声の発話内容とを比較した結果に基づき、入力音声の音響環境が音声認識に適しているか否かを判定する（ステップＳ２０７）。
【００６２】
以上のように、本実施形態によれば、発話内容が予め決まっていない入力音声の音響環境の適否判定を簡単に行うことができる。
【００６３】
なお、本実施形態の自己診断機能付き音声認識システムでは、例えば、入力音声の音響環境の適否の判定結果を直接ユーザには提示せずに、入力音声に対する音声認識結果の良否判定において利用することも可能である。また、例えば、入力音声の音響環境の適否判定結果に基づき、ユーザに場所や時間等を変えて再入力を促すようなメッセージを出力してもよい。
【００６４】
次に、本発明の概要について説明する。図６は、本発明の概要を示すブロック図である。図６に示すように、本発明による音声信号処理システムは、音声入力手段１０１と、入力音声記憶手段１０２と、特徴推定手段１０３と、参照音声発生手段１０４と、特徴反映手段１０５とを備えている。
【００６５】
音声入力手段１０１（例えば、音声入力部１）は、音声信号を入力する。入力音声記憶手段１０２（例えば、音声バッファ２）は、音声入力手段１０１を介して入力された音声信号である入力音声信号を格納する。
【００６６】
特徴推定手段１０３（例えば、音声特徴推定部５）は、入力音声格納手段１０２に格納された入力音声信号を参照し、入力音声信号に含まれる環境音を含む該入力音声信号によって示される入力音声の特徴を推定する。
【００６７】
参照音声発生手段１０４（参照音声発生部４）は、参照音声となる所定の音声信号を発生させる。参照音声発生手段１０４は、例えば、ガイダンス音声を信号化したガイダンス音声信号を生成してもよい。
【００６８】
特徴反映手段１０５（例えば、音声特徴反映部６）は、特徴推定手段１０３によって推定された入力音声の特徴を、参照音声発生手段１０４が発生させた音声信号である参照音声信号に反映する。
【００６９】
特徴反映手段１０５は、例えば、特徴推定手段１０３によって推定された入力音声信号の特徴を示す情報と、参照音声発生手段１０３が発生させた参照音声信号とに基づいて、参照音声信号を変換することによって、入力音声の特徴と同等の特徴を有する参照音声信号（変換参照音声信号）を生成してもよい。
【００７０】
また、特徴推定手段１０３は、入力音声の特徴として、音声に重畳する環境音、音声信号の過大、過小もしくは音声信号の欠落、またはそれらの組み合わせを推定してもよい。
【００７１】
例えば、特徴推定手段１０３は、入力音声信号から非音声区間の音声信号を切り出して入力音声信号の環境音を推定する環境音推定手段と、入力音声信号の音声信号と環境音の比率を推定するＳＮ推定手段とを含んでいてもよい。また、例えば、特徴反映手段１０５は、環境音推定手段によって推定された環境音の情報を用いて、参照音声信号に重畳させる環境音を発生させる環境音発生手段と、ＳＮ推定手段によって推定された入力音声信号の音声信号と環境音の比率を基に、参照音声信号における音声の音量を調整する音量調整手段と、音量調整手段によって音量が調整された参照音声信号と、環境音発生手段によって発生された環境音とを重畳させる音声重畳手段とを含んでいてもよい。
【００７２】
また、特徴推定手段１０３は、入力音声信号の音割れまたは音飛びの頻度、割合もしくは分布を推定する音割音飛推定手段をさらに含んでいてもよい。また、特徴反映手段１０５は、音割音飛推定手段によって推定された入力音声信号の音割れまたは音飛びの頻度、割合もしくは分布を基に、参照音声信号に音割れまたは音飛びを挿入する音割音飛挿入手段をさらに含んでいてもよい。
【００７３】
また、特徴反映手段１０５は、推定された入力音声の特徴を強調して参照音声信号に反映してもよい。
【００７４】
また、本発明による音声信号処理システムは、入力音声としてユーザが発話した音声の音声信号を入力し、参照音声として入力音声に対する応答音声を発生させた結果得られた入力音声の特徴が反映された参照音声信号である変換参照音声信号を、ユーザへの応答音声として音声出力する応答音声出力手段を備えていてもよい。このような構成を備えることによって、例えば自動応答システムにおいて、ユーザがどこにいるかいつ話したか等をシステム側で意識することなく、そのユーザ自身でシステムに向かって発話した際の音響環境が音声認識に適していたかどうかを直感により判断することができる。
【００７５】
また、図７は、本発明による音声信号処理システムの他の構成例を示すブロック図である。図７に示すように、本発明による音声信号処理システムは、さらに音声認識手段１０６と、音響環境判定手段１０７とを備えていてもよい。
【００７６】
音声認識手段１０６（例えば、音声認識部３）は、参照音声として発話内容が既知の音声を発生させた結果得られた入力音声の特徴が反映された参照音声信号である変換参照音声信号に対して、音声認識処理を実施する。
【００７７】
音響環境判定手段１０７（例えば、音響環境判定部８２）は、音声認識手段１０６による音声認識結果と、参照音声発生手段１０４が発生させた参照音声の発話内容とを比較し、入力音声の音響環境が音声認識に適しているか否かを判定する。
【００７８】
このような構成を備えることによって、例えば自己診断機能付き音声認識システムにおいて、発話内容が予め決まっていない入力音声の音響環境の適否判定を簡単に行うことができる。
【００７９】
また、上記実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
【００８０】
（付記１）コンピュータに、ユーザが発話した音声の音声信号を入力する処理、参照音声として、入力音声に対する応答音声を発生させる処理、および入力音声の特徴が反映された参照音声信号である変換参照音声信号を、ユーザへの応答音声として音声出力する処理を実行させるための音声信号処理プログラム。
【産業上の利用可能性】
【００８１】
本発明は、例えば、音声自動応答装置といった用途に適用できる。また、自己診断機能付き音声認識装置といった用途にも適用可能である。
【符号の説明】
【００８２】
１０ 音声変換装置
１ 音声入力部
２ 音声バッファ
３ 音声認識部
４ 参照音声発生部
５ 音声特徴推定部
５１ 環境音推定部
５２ ＳＮ推定部
６ 音声特徴反映部
６１ 環境音発生部
６２ 音量調整部
６３ 音声重畳部
７００ 音声自動応答システム
７１ 認識結果解釈部
７２ 応答音声生成部
７３ 変換後応答音声部
８００ 自己診断機能付き音声認識システム
８１ 発話内容既知音声発生部
８２ 音響環境判定部
１０１ 音声入力手段
１０２ 入力音声記憶手段
１０３ 特徴推定手段
１０４ 参照音声発生手段
１０５ 特徴反映手段
１０６ 音声認識手段
１０７ 音響環境判定手段
【技術分野】
【０００１】
本発明は、音声信号の変換処理を含む音声信号処理システム、音声信号処理方法および音声信号処理方法プログラムに関し、入力音声の雑音環境や音量等の特徴を利用した音声信号処理システム、音声信号処理方法および音声信号処理方法プログラムに関する。
【背景技術】
【０００２】
音声信号の変換を行う音声変換システムの一例が、特許文献１に記載されている。特許文献１に記載されている音声変換システムは、音声入力部１と入力アンプ回路、可変アンプ回路、音声合成部を構成要素として持ち、音声入力部１から入力され入力アンプ回路を経た環境音と、音声合成部から出力される音声を、可変アンプ回路で混合して、変換された合成音声を出力するよう動作する。
【０００３】
また、特許文献２には、雑音区間のディジタル信号の音響特徴量から合成した雑音モデルを正規化した正規化雑音モデルと、クリーン音声モデルとを合成して、正規化雑音重畳音声モデルを生成し、それを正規化した正規化済み雑音モデルを音響モデルとして用い、音声認識結果を得る音声認識装置が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−３９９００号公報
【特許文献２】特開２００７−１５６３６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１に記載されているような、常に現時点での環境音を重畳して音声を合成する方法では、音声認識のための音声が入力された時点（換言すると、ユーザが意図して音声を入力した時点、すなわちユーザにとっての任意の時点）での環境音を重畳できないといった問題がある。また同様に、音声認識のために入力された音声の特徴を反映できないといった問題がある。例えば、音量や、音量の大小による信号の歪み（主に通信路の障害を原因とする音声信号の途絶を含む）といった入力音声の特徴を反映することができない。
【０００６】
また、特許文献２に記載されている技術において、音声変換をする際に、ある特定の音声の雑音環境や音量等の特徴を利用しようといったことは何ら考慮されていない。また、特許文献２に記載された音声認識装置は、そのような用途に適用できるように構成されていない。特許文献２に記載されている技術は、雑音が混入した音声に対する音声認識結果精度を向上させるために、雑音モデルを正規化する技術だからである。
【０００７】
そこで、本発明は、音声認識のための音声が入力された時点での雑音等の環境音や、該入力音声の音量、音声信号の途絶等の特徴を好適に利用した音声信号処理システム、音声信号処理方法および音声信号処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明による音声信号処理システムは、音声信号を入力する音声入力手段と、音声入力手段を介して入力された音声信号である入力音声信号を格納する入力音声格納手段と、入力音声格納手段に格納された入力音声信号を参照し、入力音声信号に含まれる環境音を含む該入力音声信号によって示される入力音声の特徴を推定する特徴推定手段と、参照音声となる所定の音声信号を発生させる参照音声発生手段と、特徴推定手段によって推定された入力音声の特徴を、参照音声発生手段が発生させた音声信号である参照音声信号に反映する特徴反映手段とを備えたことを特徴とする。
【０００９】
また、本発明による音声信号処理方法は、音声信号を入力し、入力された音声信号である入力音声信号を格納し、格納された入力音声信号を参照し、入力音声信号に含まれる環境音を含む該入力音声信号によって示される入力音声の特徴を推定し、参照音声となる所定の音声信号を発生させ、推定された入力音声の特徴を、参照音声として発生させた音声信号である参照音声信号に反映することを特徴とする。
【００１０】
また、本発明による音声信号処理プログラムは、入力された音声信号である入力音声信号を格納する入力音声格納手段を備えたコンピュータに、音声信号を入力する処理、入力音声信号を入力音声記憶手段に格納する処理、入力音声格納手段に格納された入力音声信号を参照し、入力音声信号に含まれる環境音を含む該入力音声信号によって示される入力音声の特徴を推定する処理、参照音声となる所定の音声信号を発生させる処理、および推定された入力音声の特徴を、参照音声として発生させた音声信号である参照音声信号に反映する処理を実行させることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、所定の参照音声に対し、音声認識のための音声が入力された時点での雑音等の環境音や、該入力音声の音量、音声信号の途絶等の特徴を反映した変換音声を生成することができる。
【００１２】
例えば、音声認識のための音声が入力された時点での環境音を重畳した雑音重畳音声を出力できる。また、環境音に留まらず、例えば音声認識のために入力された音声の特徴を反映した参照音声を出力できる。
【図面の簡単な説明】
【００１３】
【図１】第１の実施形態の音声変換システムの構成例を示すブロック図である。
【図２】第１の実施形態の音声変換システムの動作の一例を示すフローチャートである。
【図３】第２の実施形態の音声自動応答システムの構成例を示すブロック図である。
【図４】第３の実施形態の自己診断機能付き音声認識システムの構成例を示すブロック図である。
【図５】第３の実施形態の自己診断機能付き音声認識システムの動作の一例を示すフローチャートである。
【図６】本発明の概要を示すブロック図である。
【図７】本発明による音声信号処理システムの他の構成例を示すブロック図である。
【発明を実施するための形態】
【００１４】
実施形態１．
以下、本発明の実施形態を図面を参照して説明する。図１は、本発明の第１の実施形態の音声変換システムの構成例を示すブロック図である。図１に示す音声変換システムは、音声入力部１と、音声バッファ２と、音声認識部３と、参照音声発生部４と、音声特徴推定部５と、音声特徴反映部６とを備えている。
【００１５】
音声入力部１は、音声を電気信号（音声信号）として当該システムに入力する。本実施形態では、音声入力部１は音声認識のための音声を入力する。また、音声入力部１によって入力された音声信号は、音声データとして音声バッファ２に格納される。音声入力部１は、例えば、マイクロフォンによって実現される。なお、音声を入力する手段は、マイクロフォンに限らず、例えば、通信ネットワークを介して音声データ（音声信号）を受信する音声データ受信手段等によっても実現可能である。
【００１６】
音声バッファ２は、音声入力部１を介して入力される音声信号を、音声認識対象の音声を示す情報として格納する記憶装置である。
【００１７】
音声認識部３は、音声バッファ２に格納された音声信号に対して、音声認識処理を実施する。
【００１８】
参照音声発生部４は、環境音重畳の対象となる参照音声を発生させる。なお、発生させるとは、該当する音声信号が当該システムに入力された状態にすることをいい、そのためのあらゆる動作を含む。例えば、生成するだけなく、外部装置から取得することも含む。また、本実施形態において参照音声とは、音声変換のために参照される音声であって、変換元となる音声である。参照音声は、例えば、本実施形態の音声変換システムが雑音重畳音声出力機能部として音声自動応答システムに組み込まれる場合には、入力音声に対する音声認識処理結果に応じて選択または生成されるガイダンス音声であってもよい。
【００１９】
参照音声発生部４は、例えば、音声合成技術を用いて参照音声を生成してもよい。また、例えば予め録音された音声を参照音声として用いることも可能である。また、ユーザ指示に応じてその都度、音声入力してもよい。なお、この場合、音声認識のために入力される音声と参照音声とは区別される。
【００２０】
音声特徴推定部５は、入力された音声の特徴（環境音を含む）を推定する。本実施形態では、音声特徴推定部５は、環境音推定部５１と、ＳＮ推定部５２とを含む。
【００２１】
環境音推定部５１は、音声バッファ２に格納された音声信号を対象に、該音声信号によって示される音声に含まれる環境音の情報を推定する。環境音の情報とは、例えば、音声信号の始端や終端付近に主に含まれる非音声部分の信号であったり、周波数特性やパワー値、またはそれらの組み合わせである。また、環境音の情報を推定するとは、例えば、入力された音声信号を音声と非音声に区分し、非音声部分を抽出することを含む。非音声部分の抽出には、例えば、公知の音声区間検出（Voice Activity Detection）技術を用いることができる。
【００２２】
ＳＮ推定部５２は、音声バッファ２に格納された音声信号を対象に、該音声信号によって示される音声のＳＮ比（音声信号と環境音の比率）を推定する。このとき、音声信号の音割れや、音飛び（部分的な信号の欠落）を検出してもよい。
【００２３】
音声特徴反映部６は、音声特徴推定部５によって得られた音声の特徴を参照音声に反映する（参照音声を変換する）。すなわち、参照音声に対して、音声特徴推定部５によって得られた音声の特徴を反映した変換音声を生成する。本実施形態では、音声特徴反映部６は、環境音発生部６１と、音量調整部６２と、音声重畳部６３とを含む。
【００２４】
環境音発生部６１は、音声特徴推定部５（より具体的には、環境音推定部５１）によって推定された環境音の情報に基づき、環境音を発生させる（生成する）。
【００２５】
音量調整部６２は、音声特徴推定部５（より具体的には、ＳＮ推定部５２）によって推定されたＳＮ比に基づき、参照音声を適切な音声に調整する。より具体的には、音量調整部６２は、環境音発生部６１が発生させた環境音に対して、参照音声発生部４が発生させた参照音声が推定されたＳＮ比になるように、参照音声の音量等を調整する。
【００２６】
このとき、忠実に推定されたＳＮ比になるように参照音声の音量を調整するだけでなく、環境音が強調されるよう参照音声の音量を小さめに調整することもできる。また、音割れや音飛びを再現した参照音声に調整することもできる。具体的には、音声バッファ２に格納されている音声信号から求まる音割れしている頻度・割合・分布や、音飛びの頻度・割合・分布を、参照音声においても再現するように調整（参照音声に音割れや音飛びを挿入）してもよい。
【００２７】
音声重畳部６３は、環境音発生部６１により生成された環境音と、音調調整部６２により調整された参照音声とを重畳し、入力音声の音響および特徴を反映した参照音声を生成する。ここでは、入力音声の音響および特徴と同等の特徴を有する参照音声を変換処理により生成する。
【００２８】
なお、本実施形態において、音声特徴推定部５（より具体的には、環境音推定部５１、ＳＮ推定部５２）、音声特徴反映部６（より具体的には、環境音発生部６１、音量調整部６２、音声重畳部６３）は、例えば、プログラムに従って動作するＣＰＵ等の情報処理装置によって実現される。なお、各部は、１つのユニットとして実現されていても、それぞれ別々のユニットとして実現されていてもよい。
【００２９】
次に、本実施形態の動作を説明する。図２は、本実施形態の音声変換システムの動作の一例を示すフローチャートである。図２に示すように、まず、音声入力部１が、音声を入力する（ステップＳ１０１）。音声入力部１は、例えば、音声認識のためにユーザが発声した音声を音声信号にして入力する。そして、入力された音声を音声バッファ２に格納する（ステップＳ１０２）。
【００３０】
次に、環境音推定部５１は、音声バッファ２に格納された入力音声信号について、該音声を音声区間と非音声区間とに区分する（ステップＳ１０３）。そして、入力音声から非音声部分を抽出する（ステップＳ１０４）。例えば、環境音推定部５１は、音声信号のうち非音声部分に該当する部分の信号を切り出す処理を行う。
【００３１】
一方では、ＳＮ推定部５２が、入力された音声信号の非音声部分と音声部分のパワーを求め、ＳＮ比を推定する（ステップＳ１０５）。なお、ＳＮ推定部は、ここで、音声信号の音割れや、音飛び（部分的な信号の欠落）を検出し、それらが発生している頻度や割合、分布を求めてもよい。
【００３２】
本実施形態では、音声バッファ２に格納されるのは、一繋がりの音声信号（１つの音声信号）であることを想定している。例えば、３分の音声データに対して、音割れている部分が連続して一箇所、１分継続していた場合、音割れの頻度は１回、割合は１／３と算出すればよい。また、分布については、例えば、音声信号の先頭３０秒と末尾３０秒で音割れが起きているといった音声信号に対する現象の相対位置を求めればよい。
【００３３】
なお、音声バッファ２には複数の音声信号を格納することも可能である。複数を格納可能とする設定の場合には、格納されている複数の音声信号を用いて音割れや音飛びの頻度・割合・分布等を求めてもよい。その場合、過去の所定の時間（複数の時間）の入力音声の雑音環境や音声特徴を総合し得られた雑音環境や音声特徴を利用して変換音声を生成することになる。
【００３４】
次に、環境音発声部６１は、非音声部分の切り出し処理が完了したことを受けて、抽出された非音声部分の信号を基に、入力音声における環境音を生成する（ステップＳ１０６）。環境音発生部６１は、例えば、ステップＳ１０４で抽出された非音声部分の信号を繰り返し再生することによって、音声が入力された時点の環境音を発生させてもよい。
【００３５】
次に、参照音声発生部４に参照音声を発生させ、音声調整部６２が、ステップＳ１０５で求められたＳＮ比に従い、参照音声の音量を調整する（ステップＳ１０７）。なお、参照音声の発生タイミングはこの限りでなく、任意のタイミングでよい。前もって発生させていてもよいし、ユーザの指示に応じて発生させてもよい。
【００３６】
最後に、音声重畳部６３は、音量調整された参照音声と、ステップＳ１０６で発生させた環境音とを重畳して、音声が入力された時点の特徴（環境音、ＳＮ比、音割れ、音飛びの頻度・割合・分布等）を反映した参照音声を生成し、出力する（ステップＳ１０８）。
【００３７】
以上のように、本実施形態によれば、音声バッファ２に音声認識のために入力された音声の音声信号を格納し、その格納されている音声信号から、音声認識のための音声が入力された時点での環境音や、音声の特徴を推定して、その環境音や特徴を反映するよう所定の参照音声を変換するように構成されているため、音声認識のための音声が入力された時点での環境音や音声の特徴が反映された任意の発話内容を有する音声信号を出力できる。
【００３８】
実施形態２．
次に、第２の実施形態について図面を参照して説明する。本実施形態では、本発明による音声変換方法を音声信号処理方法の一つとして音声自動応答システムに適用した態様について説明する。図３は、本実施形態の音声自動応答システムの構成例を示すブロック図である。図３に示す音声自動応答システム２００は、音声変換装置１０と、音声認識部３と、認識結果解釈部７１と、応答音声生成部７２と、変換後応答音声部７３とを備える。
【００３９】
音声変換装置１０は、第１の実施形態の音声変換システムにおける音声入力部１と、音声バッファ２と、音声特徴推定部５と、音声特徴反映部６とを備えた装置である。なお、図３に示す例では、音声変換装置１０を１つの装置として音声自動応答システムに組み込む例を示しているが、必ずしも１つの装置にして組み込む必要はなく、音声自動応答システムとして音声変換装置１０が備える各処理部を備えていればよい。各処理部の機能は、第１の実施形態の音声変換システムと同様である。なお、本実施形態では、音声入力部１は、ユーザによって発話された音声を入力する。
【００４０】
音声認識部３は、音声バッファ２に格納された音声信号に対して音声認識処理を実施する。すなわち、音声認識部３は、ユーザによる発話をテキスト化する。
【００４１】
認識結果解釈部７１は、音声認識部３から出力される認識結果テキストから、当該音声自動応答システムにおいて意味のある情報を抽出する。例えば、当該音声自動応答システムが航空券自動発券システムであれば、「大阪から東京まで」という発話（認識結果テキスト）から、「発地：大阪」「着地：東京」という情報を抽出する。
【００４２】
応答音声生成部７２は、第１の実施形態における参照音声発生部４の一実施例に相当する処理部である。応答音声生成部７２は、認識結果解釈部７１によって解釈された結果から適切な応答音声（音声変換装置１０における参照音声）を生成する。例えば、前述の例であれば、「出発地は大阪でよろしいでしょうか」といった確認音声や、「大阪から東京までのチケットを発券します」といったチケット予約を行う音声を生成してもよい。なお、認識結果解釈部７１が、解釈した結果から応答音声の内容を決定する処理までを行い、応答音声生成部７２は、認識結果解釈部７１から指示された内容を発話内容とする音声信号を生成する処理を行ってもよい。なお、応答音声の内容は問わない。
【００４３】
ここで、一般的な音声自動応答システムであれば、生成した応答音声をそのままユーザに出力するが、本実施形態（すなわち、本発明による音声変換装置を組み込んだ音声自動応答システム）では、応答音声に、音声認識のための音声（ここでは、ユーザの発話音声）が入力された際の音声特徴を反映させる。
【００４４】
このため、応答音声生成部７２は、生成した応答音声を参照音声として音声変換装置１０の音量調整部６２に入力する。
【００４５】
なお、音声変換装置１０では、第１の実施形態と同様に、音声入力部１を介してユーザの発話音声が入力されると、音声バッファ２にその音声信号を格納し、格納された音声信号を参照して、音声特徴推定部５が入力された音声信号のＳＮ比を推定するとともに、音声特徴反映部６が入力音声における環境音を生成している。
【００４６】
このような状態において、音声変換装置１０に参照音声（応答音声）が入力されると、音量調整部６２が、推定されたＳＮ比に従って参照音声の音量を調整し、音声重畳部６３が、音量調整された参照音声と生成した環境音とを重畳して、ユーザの発話音声が入力された時点の特徴（環境音、ＳＮ比、音割れ、音飛びの頻度・割合・分布等）が反映された参照音声（変換後応答音声）を生成する。
【００４７】
変換後応答音声部７３は、音声変換部１００（より具体的には音声重畳部６３）から出力される変換後応答音声を、当該音声自動応答システムによるユーザへの応答として音声出力する。
【００４８】
このように、システムからの応答音声にユーザが発話した際の環境音や音声の特徴を反映することにより、そのユーザがどこにいるかいつ話したか等をシステム側で意識することなく、ユーザが応答音声を聞きその聞き取り易さ・聞き取り難さから、システムに向かって発話した際の音響環境が音声認識に適していたかどうかを自身で直感により判断することができる。
【００４９】
なお、一般的にコンピュータにより自動で音声認識を行う音声認識装置の聞き取り能力に比べて、人間の聞き取り能力が高いことを考慮して、環境音や音割れ・音飛びといった入力音声の特徴を、実際の入力音声から推定したものよりも強調して参照音声（システム応答）に反映させてもよい。このことにより、ユーザによる自身の発話時の音響環境の適否判定をより適切なものとすることができる。
【００５０】
なお、強調処理としては、例えば、発生させる環境音を大きく（あるいは参照音声を小さく）してＳＮ比を実際よりも悪くしたり、音割れや音飛びの程度（頻度、割合等）を実際よりも多くして参照音声を変換してもよい。
【００５１】
実施形態３．
次に、第３の実施形態について図面を参照して説明する。本実施形態では、本発明による音声変換方法を音声信号処理方法の一つとして自己診断機能付き音声認識システムに適用した態様について説明する。図４は、本実施形態の自己診断機能付き音声認識システムの構成例を示すブロック図である。図４に示す自己診断機能付き音声認識システム８００は、音声変換装置１０と、音声認識部３と、発話内容既知音声発生部８１と、音響環境判定部８２とを備える。
【００５２】
音声変換装置１０は、第２の実施形態と同様、音声変換装置１０は、第１の実施形態の音声変換システムにおける音声入力部１と、音声バッファ２と、音声特徴推定部５と、音声特徴反映部６とを備えた装置である。なお、図４に示す例では、音声変換装置１０を１つの装置として自己診断機能付き音声認識システムに組み込む例を示しているが、必ずしも１つの装置にして組み込む必要はなく、自己診断機能付き音声認識システムとして音声変換装置１０が備える各処理部を備えていればよい。各処理部の機能は第１の実施形態の音声変換システムと同様である。なお、本実施形態では、音声入力部１は、ユーザによって発話された音声を入力する。
【００５３】
音声認識部３は、本実施形態では、音声変換装置１０（より具体的には音声重畳部６３）から出力される音声信号に対して音声認識処理を実施する。すなわち、音声認識部３は、ユーザからの入力音声の音響環境や音声の特徴が反映された変換後参照音声をテキスト化する。
【００５４】
発話内容既知音声発生部８１は、第１の実施形態における参照音声発生部４の一実施例に相当する処理部である。発話内容既知音声発生部８１は、参照音声として、発話内容が当該システムにおいて既知の音声（以下、発話内容既知音声という。）を発生させる。発話内容既知音声は、予め決められた内容を雑音のない環境で発話した音声信号であってもよい。なお、発話内容は問わない。複数の発話内容から指示に従って選択してもよいし、ユーザに発話内容を入力させてもよい。その際、発話内容の他に音声信号化する際に用いるパラメータや音声モデル等の情報も併せて入力させてもよい。
【００５５】
音響環境判定部８２は、音声認識部３による変換後参照音声に対する認識結果と、発話内容既知音声発生部８１が生成した参照音声の発話内容とを比較して、変換後の参照音声に対する認識率を求める。そして、求めた認識率に基づいて入力音声の音響環境が音声認識に適しているか否かを判定する。音響環境判定部８２は、例えば、求めた認識率が所定の閾値よりも低い場合には、入力された音声の音響環境、すなわちユーザが音声を入力したその時点（場所および時間）における音響環境が音声認識に適していないと判定してもよい。そして、その旨を示す情報をユーザに出力する。
【００５６】
次に、本実施形態の動作について説明する。図５は、本実施形態の自己診断機能付き音声認識システムの動作の一例を示すフローチャートである。図５に示すように、音声入力部１が音声を入力すると（ステップＳ２０１）、入力された音声を音声バッファ２に格納する（ステップＳ２０２）。
【００５７】
次いで、環境音推定部５１が、音声バッファ２に格納された入力音声信号を対象に、該音声が入力された時点の環境音や該音声の特徴を抽出する（ステップＳ２０２）。ここでは、例えば環境音推定部５１が入力音声の非音声区間を環境音の情報として抽出することによって、入力音声の音響環境を推定する。また、例えばＳＮ推定部５２が、入力音声のＳＮ比を推定したり、入力音声の音割れや音飛びの頻度・割合・分布等を求めることによって、入力音声の特徴を推定する。
【００５８】
一方で、発話内容既知音声発生部８１は、参照音声として、発話内容が当該システムにおいて既知の音声を発生させる（ステップＳ２０３）。
【００５９】
次に、音声特徴反映部６は、入力音声の環境音や特徴の情報が推定されるとともに参照音声が発生されたことを受けて、入力音声の環境音や特徴を参照音声に反映させる（ステップＳ２０５）。ここでは、まず、環境音発生部６１が、推定された環境音の情報に基づき環境音を発生させる。また、例えば音量調整部６２が、推定されたＳＮ比に基づき参照音声の音量等を調整する。また、例えば音声調整部６２は、推定された入力音声の音割れや音飛びの頻度・割合・分布に基づき参照音声に音飛びや音割れを挿入してもよい。次いで、音声重畳部６３が、環境音発生部６１により生成された環境音と、音調調整部６２により調整された参照音声とを重畳し、入力音声の音響および特徴が反映されるよう変換された参照音声（変換後参照音声）を生成する。
【００６０】
変換後参照音声が生成されると、次に、音声認識部３が、生成された変換後参照音声に対して音声認識処理を実施する（ステップＳ２０６）。
【００６１】
最後に、音響環境判定部８２が、変換後参照音声に対する認識結果と、発話内容既知音声である参照音声の発話内容とを比較した結果に基づき、入力音声の音響環境が音声認識に適しているか否かを判定する（ステップＳ２０７）。
【００６２】
以上のように、本実施形態によれば、発話内容が予め決まっていない入力音声の音響環境の適否判定を簡単に行うことができる。
【００６３】
なお、本実施形態の自己診断機能付き音声認識システムでは、例えば、入力音声の音響環境の適否の判定結果を直接ユーザには提示せずに、入力音声に対する音声認識結果の良否判定において利用することも可能である。また、例えば、入力音声の音響環境の適否判定結果に基づき、ユーザに場所や時間等を変えて再入力を促すようなメッセージを出力してもよい。
【００６４】
次に、本発明の概要について説明する。図６は、本発明の概要を示すブロック図である。図６に示すように、本発明による音声信号処理システムは、音声入力手段１０１と、入力音声記憶手段１０２と、特徴推定手段１０３と、参照音声発生手段１０４と、特徴反映手段１０５とを備えている。
【００６５】
音声入力手段１０１（例えば、音声入力部１）は、音声信号を入力する。入力音声記憶手段１０２（例えば、音声バッファ２）は、音声入力手段１０１を介して入力された音声信号である入力音声信号を格納する。
【００６６】
特徴推定手段１０３（例えば、音声特徴推定部５）は、入力音声格納手段１０２に格納された入力音声信号を参照し、入力音声信号に含まれる環境音を含む該入力音声信号によって示される入力音声の特徴を推定する。
【００６７】
参照音声発生手段１０４（参照音声発生部４）は、参照音声となる所定の音声信号を発生させる。参照音声発生手段１０４は、例えば、ガイダンス音声を信号化したガイダンス音声信号を生成してもよい。
【００６８】
特徴反映手段１０５（例えば、音声特徴反映部６）は、特徴推定手段１０３によって推定された入力音声の特徴を、参照音声発生手段１０４が発生させた音声信号である参照音声信号に反映する。
【００６９】
特徴反映手段１０５は、例えば、特徴推定手段１０３によって推定された入力音声信号の特徴を示す情報と、参照音声発生手段１０３が発生させた参照音声信号とに基づいて、参照音声信号を変換することによって、入力音声の特徴と同等の特徴を有する参照音声信号（変換参照音声信号）を生成してもよい。
【００７０】
また、特徴推定手段１０３は、入力音声の特徴として、音声に重畳する環境音、音声信号の過大、過小もしくは音声信号の欠落、またはそれらの組み合わせを推定してもよい。
【００７１】
例えば、特徴推定手段１０３は、入力音声信号から非音声区間の音声信号を切り出して入力音声信号の環境音を推定する環境音推定手段と、入力音声信号の音声信号と環境音の比率を推定するＳＮ推定手段とを含んでいてもよい。また、例えば、特徴反映手段１０５は、環境音推定手段によって推定された環境音の情報を用いて、参照音声信号に重畳させる環境音を発生させる環境音発生手段と、ＳＮ推定手段によって推定された入力音声信号の音声信号と環境音の比率を基に、参照音声信号における音声の音量を調整する音量調整手段と、音量調整手段によって音量が調整された参照音声信号と、環境音発生手段によって発生された環境音とを重畳させる音声重畳手段とを含んでいてもよい。
【００７２】
また、特徴推定手段１０３は、入力音声信号の音割れまたは音飛びの頻度、割合もしくは分布を推定する音割音飛推定手段をさらに含んでいてもよい。また、特徴反映手段１０５は、音割音飛推定手段によって推定された入力音声信号の音割れまたは音飛びの頻度、割合もしくは分布を基に、参照音声信号に音割れまたは音飛びを挿入する音割音飛挿入手段をさらに含んでいてもよい。
【００７３】
また、特徴反映手段１０５は、推定された入力音声の特徴を強調して参照音声信号に反映してもよい。
【００７４】
また、本発明による音声信号処理システムは、入力音声としてユーザが発話した音声の音声信号を入力し、参照音声として入力音声に対する応答音声を発生させた結果得られた入力音声の特徴が反映された参照音声信号である変換参照音声信号を、ユーザへの応答音声として音声出力する応答音声出力手段を備えていてもよい。このような構成を備えることによって、例えば自動応答システムにおいて、ユーザがどこにいるかいつ話したか等をシステム側で意識することなく、そのユーザ自身でシステムに向かって発話した際の音響環境が音声認識に適していたかどうかを直感により判断することができる。
【００７５】
また、図７は、本発明による音声信号処理システムの他の構成例を示すブロック図である。図７に示すように、本発明による音声信号処理システムは、さらに音声認識手段１０６と、音響環境判定手段１０７とを備えていてもよい。
【００７６】
音声認識手段１０６（例えば、音声認識部３）は、参照音声として発話内容が既知の音声を発生させた結果得られた入力音声の特徴が反映された参照音声信号である変換参照音声信号に対して、音声認識処理を実施する。
【００７７】
音響環境判定手段１０７（例えば、音響環境判定部８２）は、音声認識手段１０６による音声認識結果と、参照音声発生手段１０４が発生させた参照音声の発話内容とを比較し、入力音声の音響環境が音声認識に適しているか否かを判定する。
【００７８】
このような構成を備えることによって、例えば自己診断機能付き音声認識システムにおいて、発話内容が予め決まっていない入力音声の音響環境の適否判定を簡単に行うことができる。
【００７９】
また、上記実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
【００８０】
（付記１）コンピュータに、ユーザが発話した音声の音声信号を入力する処理、参照音声として、入力音声に対する応答音声を発生させる処理、および入力音声の特徴が反映された参照音声信号である変換参照音声信号を、ユーザへの応答音声として音声出力する処理を実行させるための音声信号処理プログラム。
【産業上の利用可能性】
【００８１】
本発明は、例えば、音声自動応答装置といった用途に適用できる。また、自己診断機能付き音声認識装置といった用途にも適用可能である。
【符号の説明】
【００８２】
１０ 音声変換装置
１ 音声入力部
２ 音声バッファ
３ 音声認識部
４ 参照音声発生部
５ 音声特徴推定部
５１ 環境音推定部
５２ ＳＮ推定部
６ 音声特徴反映部
６１ 環境音発生部
６２ 音量調整部
６３ 音声重畳部
７００ 音声自動応答システム
７１ 認識結果解釈部
７２ 応答音声生成部
７３ 変換後応答音声部
８００ 自己診断機能付き音声認識システム
８１ 発話内容既知音声発生部
８２ 音響環境判定部
１０１ 音声入力手段
１０２ 入力音声記憶手段
１０３ 特徴推定手段
１０４ 参照音声発生手段
１０５ 特徴反映手段
１０６ 音声認識手段
１０７ 音響環境判定手段
【特許請求の範囲】
【請求項１】
音声信号を入力する音声入力手段と、
前記音声入力手段を介して入力された音声信号である入力音声信号を格納する入力音声格納手段と、
前記入力音声格納手段に格納された入力音声信号を参照し、入力音声信号に含まれる環境音を含む該入力音声信号によって示される入力音声の特徴を推定する特徴推定手段と、
参照音声となる所定の音声信号を発生させる参照音声発生手段と、
前記特徴推定手段によって推定された入力音声の特徴を、前記参照音声発生手段が発生させた音声信号である参照音声信号に反映する特徴反映手段とを備えた
ことを特徴とする音声信号処理システム。
【請求項２】
特徴推定手段は、入力音声の特徴として、音声に重畳する環境音、音声信号の過大、過小もしくは音声信号の欠落、またはそれらの組み合わせを推定する
請求項１に記載の音声信号処理システム。
【請求項３】
特徴反映手段は、推定された入力音声の特徴を強調して参照音声信号に反映する
請求項１または請求項２の音声信号処理システム。
【請求項４】
入力音声としてユーザが発話した音声の音声信号を入力し、参照音声として入力音声に対する応答音声を発生させた結果得られた入力音声の特徴が反映された参照音声信号である変換参照音声信号を、ユーザへの応答音声として音声出力する応答音声出力手段を備えた
請求項１から請求項３のうちのいずれか１項に記載の音声信号処理システム。
【請求項５】
参照音声として発話内容が既知の音声を発生させた結果得られた入力音声の特徴が反映された参照音声信号である変換参照音声信号に対して、音声認識処理を実施する音声認識手段と、
前記音声認識手段による音声認識結果と、前記参照音声発生手段が発生させた参照音声の発話内容とを比較し、入力音声の音響環境が音声認識に適しているか否かを判定する音響環境判定手段とを備えた
請求項１から請求項３のうちのいずれか１項に記載の音声信号処理システム。
【請求項６】
音声信号を入力し、
入力された音声信号である入力音声信号を格納し、
格納された入力音声信号を参照し、入力音声信号に含まれる環境音を含む該入力音声信号によって示される入力音声の特徴を推定し、
参照音声となる所定の音声信号を発生させ、
前記推定された入力音声の特徴を、前記参照音声として発生させた音声信号である参照音声信号に反映する
ことを特徴とする音声信号処理方法。
【請求項７】
ユーザが発話した音声の音声信号を入力し、
参照音声として、入力音声に対する応答音声を発生させ、
入力音声の特徴が反映された参照音声信号である変換参照音声信号を、ユーザへの応答音声として音声出力する
請求項６に記載の音声信号処理方法。
【請求項８】
参照音声として、発話内容が既知の音声を発生させ、
入力音声の特徴が反映された参照音声信号である変換参照音声信号に対して、音声認識処理を実施し、
変換参照音声信号に対する音声認識結果と前記参照音声の発話内容とを比較し、入力音声の音響環境が音声認識に適しているか否かを判定する
請求項６に記載の音声信号処理方法。
【請求項９】
入力された音声信号である入力音声信号を格納する入力音声格納手段を備えたコンピュータに、
音声信号を入力する処理、
入力音声信号を前記入力音声記憶手段に格納する処理、
入力音声格納手段に格納された入力音声信号を参照し、入力音声信号に含まれる環境音を含む該入力音声信号によって示される入力音声の特徴を推定する処理、
参照音声となる所定の音声信号を発生させる処理、および
前記推定された入力音声の特徴を、前記参照音声として発生させた音声信号である参照音声信号に反映する処理
を実行させるための音声信号処理プログラム。
【請求項１０】
コンピュータに、
参照音声として発話内容が既知の音声を発生させる処理、および
変換参照音声信号に対する音声認識結果と前記参照音声の発話内容とを比較し、入力音声の音響環境が音声認識に適しているか否かを判定する処理を実行させる
請求項９に記載の音声信号処理プログラム。
【請求項１】
音声信号を入力する音声入力手段と、
前記音声入力手段を介して入力された音声信号である入力音声信号を格納する入力音声格納手段と、
前記入力音声格納手段に格納された入力音声信号を参照し、入力音声信号に含まれる環境音を含む該入力音声信号によって示される入力音声の特徴を推定する特徴推定手段と、
参照音声となる所定の音声信号を発生させる参照音声発生手段と、
前記特徴推定手段によって推定された入力音声の特徴を、前記参照音声発生手段が発生させた音声信号である参照音声信号に反映する特徴反映手段とを備えた
ことを特徴とする音声信号処理システム。
【請求項２】
特徴推定手段は、入力音声の特徴として、音声に重畳する環境音、音声信号の過大、過小もしくは音声信号の欠落、またはそれらの組み合わせを推定する
請求項１に記載の音声信号処理システム。
【請求項３】
特徴反映手段は、推定された入力音声の特徴を強調して参照音声信号に反映する
請求項１または請求項２の音声信号処理システム。
【請求項４】
入力音声としてユーザが発話した音声の音声信号を入力し、参照音声として入力音声に対する応答音声を発生させた結果得られた入力音声の特徴が反映された参照音声信号である変換参照音声信号を、ユーザへの応答音声として音声出力する応答音声出力手段を備えた
請求項１から請求項３のうちのいずれか１項に記載の音声信号処理システム。
【請求項５】
参照音声として発話内容が既知の音声を発生させた結果得られた入力音声の特徴が反映された参照音声信号である変換参照音声信号に対して、音声認識処理を実施する音声認識手段と、
前記音声認識手段による音声認識結果と、前記参照音声発生手段が発生させた参照音声の発話内容とを比較し、入力音声の音響環境が音声認識に適しているか否かを判定する音響環境判定手段とを備えた
請求項１から請求項３のうちのいずれか１項に記載の音声信号処理システム。
【請求項６】
音声信号を入力し、
入力された音声信号である入力音声信号を格納し、
格納された入力音声信号を参照し、入力音声信号に含まれる環境音を含む該入力音声信号によって示される入力音声の特徴を推定し、
参照音声となる所定の音声信号を発生させ、
前記推定された入力音声の特徴を、前記参照音声として発生させた音声信号である参照音声信号に反映する
ことを特徴とする音声信号処理方法。
【請求項７】
ユーザが発話した音声の音声信号を入力し、
参照音声として、入力音声に対する応答音声を発生させ、
入力音声の特徴が反映された参照音声信号である変換参照音声信号を、ユーザへの応答音声として音声出力する
請求項６に記載の音声信号処理方法。
【請求項８】
参照音声として、発話内容が既知の音声を発生させ、
入力音声の特徴が反映された参照音声信号である変換参照音声信号に対して、音声認識処理を実施し、
変換参照音声信号に対する音声認識結果と前記参照音声の発話内容とを比較し、入力音声の音響環境が音声認識に適しているか否かを判定する
請求項６に記載の音声信号処理方法。
【請求項９】
入力された音声信号である入力音声信号を格納する入力音声格納手段を備えたコンピュータに、
音声信号を入力する処理、
入力音声信号を前記入力音声記憶手段に格納する処理、
入力音声格納手段に格納された入力音声信号を参照し、入力音声信号に含まれる環境音を含む該入力音声信号によって示される入力音声の特徴を推定する処理、
参照音声となる所定の音声信号を発生させる処理、および
前記推定された入力音声の特徴を、前記参照音声として発生させた音声信号である参照音声信号に反映する処理
を実行させるための音声信号処理プログラム。
【請求項１０】
コンピュータに、
参照音声として発話内容が既知の音声を発生させる処理、および
変換参照音声信号に対する音声認識結果と前記参照音声の発話内容とを比較し、入力音声の音響環境が音声認識に適しているか否かを判定する処理を実行させる
請求項９に記載の音声信号処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−１６３６９２（Ｐ２０１２−１６３６９２Ａ）
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【出願番号】特願２０１１−２２９１５（Ｐ２０１１−２２９１５）
【出願日】平成２３年２月４日（２０１１．２．４）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【出願日】平成２３年２月４日（２０１１．２．４）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
[ Back to top ]