ノイズ除去装置およびノイズ除去方法
【課題】高ノイズ環境下においても、処理負荷を増大することなく音声区間判定およびノイズ除去の精度を向上する。
【解決手段】本発明のノイズ除去装置１００は、所定区間のオーディオデータが、音声が含まれる音声区間であるか、音声が含まれない非音声区間であるかを判定する音声区間判定部１１８と、音声区間判定部の判定結果を保持するパラメータ保持部１１４と、音声区間判定部の判定結果が非音声区間であれば適応フィルタ１３０の適応処理を行いつつ、音声区間であれば適応フィルタを固定して、所定区間のオーディオデータのノイズ成分を除去するノイズ除去部１２０とを備え、音声区間判定部が、ノイズ除去部によってノイズ成分が除去されたオーディオデータの音声区間判定を再度実行し、その判定結果がパラメータ保持部に保持された判定結果と異なる場合、ノイズ除去部は、ノイズ成分の除去を再度実行する。
【解決手段】本発明のノイズ除去装置１００は、所定区間のオーディオデータが、音声が含まれる音声区間であるか、音声が含まれない非音声区間であるかを判定する音声区間判定部１１８と、音声区間判定部の判定結果を保持するパラメータ保持部１１４と、音声区間判定部の判定結果が非音声区間であれば適応フィルタ１３０の適応処理を行いつつ、音声区間であれば適応フィルタを固定して、所定区間のオーディオデータのノイズ成分を除去するノイズ除去部１２０とを備え、音声区間判定部が、ノイズ除去部によってノイズ成分が除去されたオーディオデータの音声区間判定を再度実行し、その判定結果がパラメータ保持部に保持された判定結果と異なる場合、ノイズ除去部は、ノイズ成分の除去を再度実行する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、収音したオーディオデータからノイズ成分を除去することが可能なノイズ除去装置およびノイズ除去方法に関する。
【背景技術】
【０００２】
マイクロホンに入力されたオーディオデータには、所望する音声の他に音響ノイズ（以下、単にノイズと略す。）も含まれるので、音声の音質が損なわれ、所望するオーディオデータの音質を得ることができなかった。
【０００３】
そこで、適応フィルタ技術を用い、オーディオデータに混入したノイズ成分を除去して音声データを抽出する技術が開示されている（例えば、特許文献１）。ここで、適応フィルタは、オーディオデータに、主として音声が含まれている間（音声区間）、フィルタ係数の適応処理を停止することでノイズへの適応精度を高めている。このように、オーディオデータに、主として音声が含まれていることは、例えば、音声とノイズの短時間パワーの差分に基づいて判定することができる（例えば、特許文献２）。また、オーディオデータのスペクトラムに基づいて、主として音声が含まれるオーディオデータの始点と終点とを判定する技術も知られている（例えば、特許文献３）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−１９８８１０号公報
【特許文献２】特開２０００−３２２０７４号公報
【特許文献３】米国特許第５６９２１０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、ノイズ成分が高い高ノイズ環境下では、特許文献２や特許文献３に記載された音声区間判定技術を用いても、音声が含まれる音声区間と音声が含まれない非音声区間とを誤判定してしまう場合がある。また、特許文献１に記載された技術では、特に、ノイズ源とマイクロホンの間の伝達特性が時間経過に伴い変動する場合に、収音したオーディオデータのうちノイズ成分に絞って適応フィルタの適応処理を続ける必要がある。それにも拘わらず、高ノイズ環境下において音声区間と非音声区間とが誤判定されてしまうと、適応処理に必要な非音声区間を十分とれなかったり、適応フィルタが、音声が含まれるオーディオデータに適応してしまったりして、ノイズ除去を正しく行うことができなかった。
【０００６】
本発明は、このような課題に鑑み、高ノイズ環境下においても、処理負荷を増大することなく音声区間判定およびノイズ除去の精度を向上することが可能なノイズ除去装置およびノイズ除去方法を提供することを目的としている。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のノイズ除去装置は、所定区間のオーディオデータが、音声が含まれる音声区間であるか、音声が含まれない非音声区間であるかを判定する音声区間判定部と、音声区間判定部の判定結果を保持するパラメータ保持部と、音声区間判定部の判定結果が非音声区間であれば適応フィルタの適応処理を行いつつ、音声区間であれば適応フィルタを固定して、所定区間のオーディオデータのノイズ成分を除去するノイズ除去部とを備え、音声区間判定部が、ノイズ除去部によってノイズ成分が除去されたオーディオデータの音声区間判定を再度実行し、その判定結果がパラメータ保持部に保持された判定結果と異なる場合、ノイズ除去部は、ノイズ成分の除去を再度実行することを特徴とする。
【０００８】
ノイズ除去部は、ノイズ成分の除去を再度実行する場合、同一の所定区間のオーディオデータの１回目のノイズ成分の除去を実行する前の適応フィルタの状態を復元する。
【０００９】
音声区間判定部およびノイズ除去部は、時刻の異なる所定区間のオーディオデータを複数並行して処理してもよい。
【００１０】
上記課題を解決するために、本発明のノイズ除去方法は、所定区間のオーディオデータが、音声が含まれる音声区間であるか、音声が含まれない非音声区間であるかを判定し、その判定結果をパラメータ保持部に保持し、判定結果が非音声区間であれば適応フィルタの適応処理を行いつつ、音声区間であれば適応フィルタを固定して、所定区間のオーディオデータのノイズ成分を除去し、ノイズ成分が除去されたオーディオデータの音声区間判定を再度実行し、その判定結果がパラメータ保持部に保持された判定結果と異なる場合、ノイズ成分の除去を再度実行することを特徴とする。
【発明の効果】
【００１１】
本発明のノイズ除去装置は、音声区間判定処理とノイズ除去処理との処理結果を相互に利用することで、高ノイズ環境下においても音声区間判定処理およびノイズ除去処理の精度を向上することが可能となる。また、このような処理の処理結果を相互利用する場合の一部の処理を、その必要性に応じて実行しないことで処理負荷の増大を回避することができる。
【図面の簡単な説明】
【００１２】
【図１】ノイズ除去装置の概略的な構成を示した機能ブロック図である。
【図２】ノイズ除去部の概略的な構成を示した機能ブロック図である。
【図３】適応フィルタの構成例を示した説明図である。
【図４】ノイズ除去装置の全体的な処理を示したフローチャートである。
【図５】各処理の実行タイミングを示したタイミングチャートである。
【発明を実施するための形態】
【００１３】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００１４】
（第１の実施形態：ノイズ除去装置１００）
図１は、ノイズ除去装置１００の概略的な構成を示した機能ブロック図である。ノイズ除去装置１００は、マイクロホン１１０（図１中では、マイクロホン１１０ａ、１１０ｂで示す。）と、データ保持部１１２（図１中では、データ保持部１１２ａ、１１２ｂで示す。）と、パラメータ保持部１１４と、セレクタ１１６と、音声区間判定部１１８と、ノイズ除去部１２０と、制御部１２２とを含んで構成される。図１中、実線はオーディオデータ等のデータの流れを、破線は制御信号やパラメータの流れを示している。
【００１５】
マイクロホン１１０ａ、１１０ｂは、物理振動を電気信号に変換する機器であり、マイクロホン１１０ａ、１１０ｂ周囲の音を集音してオーディオ信号に変換する。また、マイクロホン１１０ａ、１１０ｂは、位置を異にして設けられ、特に、マイクロホン１１０ａは、主として音声の入力を目的とし、マイクロホン１１０ｂは、主としてノイズの入力を目的としている。本実施形態に適用可能なマイクロホン１１０ａ、１１０ｂは、任意の伝達媒体の振動を音信号に変換できれば足り、例えば、コンデンサマイク、ダイナミックマイク、リボンマイク、圧電マイク、カーボンマイク等も用いることができる。マイクロホン１１０ａ、１１０ｂで変換されたオーディオ信号は、さらにＡ／Ｄ変換（図示せず）を通じて１フレーム２５６サンプルのオーディオデータ（マイクロホン１１０ａでは第１オーディオデータ、マイクロホン１１０ｂでは第２オーディオデータ）に変換され、セレクタ１１６に送信、および、データ保持部１１２ａに保持される。
【００１６】
データ保持部１１２ａ、１１２ｂは、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）等の記憶媒体で構成され、オーディオデータ等のデータを一時的に保持する。具体的に、データ保持部１１２ａは、第１オーディオデータおよび第２オーディオデータを保持し、データ保持部１１２ｂは、ノイズ除去部１２０でノイズ成分が除去された第１オーディオデータを保持する。パラメータ保持部１１４は、フラッシュメモリ、ＨＤＤ等の記憶媒体で構成され、音声区間判定部１１８の判定結果やノイズ除去部１２０における適応フィルタの各パラメータ（フィルタ係数、シフトレジスタ値等）を保持する。セレクタ１１６は、後述する制御部１２２の制御信号に応じて、音声区間判定部１１８に入力するデータを選択する。
【００１７】
音声区間判定部１１８は、所定区間（１フレーム）分のオーディオデータが、音声が含まれる音声区間であるか、音声が含まれない非音声区間であるかを、例えば、音声成分とノイズ成分との短時間パワー（エネルギー）の差分に基づいて判定し（以下、単に「音声区間判定処理」という。）、その判定結果をノイズ除去部１２０に送信すると共に、パラメータ保持部１１４に保持する。また、音声区間判定部１１８は、オーディオデータのスペクトラムに基づいて、周波数特性から音声区間と非音声区間とを判定することもできる。このような音声区間の判定技術は、様々な既存の技術を採用できるので、ここでは、その詳細な説明を省略する。
【００１８】
ノイズ除去部１２０は、適応フィルタを有し、第１オーディオデータに含まれるノイズ成分を第２オーディオデータに基づいて適応させ、第１オーディオデータと適応された第２オーディオデータとでノイズ成分を相殺し、第１オーディオデータからノイズ成分を除去して音声データを抽出する（以下、単に「ノイズ除去処理」という。）。また、ノイズ除去部１２０の適応フィルタは、音声区間判定部１１８の判定結果に基づき、判定結果が非音声区間であれば適応フィルタの適応処理を行いつつ、所定区間のオーディオデータのノイズ成分を除去し、音声区間であれば適応フィルタを固定して（停止して）、所定区間のオーディオデータのノイズ成分を除去する。こうして、適応フィルタが第１オーディオデータのノイズ成分にのみ適応することとなる。かかる処理の具体的な動作は後ほど詳述する。また、ノイズ除去部１２０は、所定区間（１フレーム）の処理毎に、適応フィルタの各パラメータをパラメータ保持部１１４に保持する。
【００１９】
制御部１２２は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路により、音声区間判定部１１８およびノイズ除去部１２０を制御する。制御部１２２は、音声区間判定部１１８に、ノイズ除去部１２０の１回目のノイズ除去処理によってノイズ成分が除去されたオーディオデータの音声区間判定を再度実行させ（２回目の音声区間判定処理）、その２回目の音声区間判定処理の判定結果が、パラメータ保持部１１４に保持された１回目の判定結果と異なる場合、ノイズ除去部１２０に、ノイズ除去処理を再度実行させる。かかる処理の流れは後ほど詳述する。
【００２０】
（ノイズ除去処理）
図２は、ノイズ除去部１２０の概略的な構成を示した機能ブロック図である。ノイズ除去部１２０は、適応フィルタ１３０と、減算器１３２とを含んで構成される。ここでは、理解を容易にするため、第１オーディオデータおよび第２オーディオデータのバッファとして機能するデータ保持部１１２ａを省略して説明する。
【００２１】
ノイズ除去装置１００における２つのマイクロホン１１０ａ、１１０ｂの位置が異なるので、音声源１４０やノイズ源１４２から２つのマイクロホン１１０ａ、１１０ｂまでの音響伝達特性は、それぞれ異なることとなる。ここでは、２つのマイクロホン１１０ａ、１１０ｂにおける音声源１４０とノイズ源１４２からの音響伝達特性の違いを利用し、ノイズ源１４２からの音響伝達特性を推定、相殺することで、音声を抽出することを目的としている。
【００２２】
具体的に、音声源１４０の音声をＶｏ、ノイズ源１４２におけるノイズをＮｏ、音声源１４０からマイクロホン１１０ａ、１１０ｂまでの音声の伝達関数をＶ１、Ｖ２、ノイズ源１４２からマイクロホン１１０ａ、１１０ｂまでの音声の伝達関数をＮ１、Ｎ２、適応フィルタ１３０の伝達関数をＰとすると、出力データＯｕｔは、以下の数式１のようになる。
Ｏｕｔ＝Ｖ１・Ｖｏ＋Ｎ１・Ｎｏ−Ｐ（Ｖ２・Ｖｏ＋Ｎ２・Ｎｏ）
＝（Ｖ１−Ｐ・Ｖ２）Ｖｏ＋（Ｎ１−Ｐ・Ｎ２）Ｎｏ …（数式１）
ここで、ノイズ源１４２におけるノイズのマイクロホン１１０ａ、１１０ｂまでの伝達関数の違い（Ｎ１／Ｎ２）を未知のシステムとして、適応フィルタ（伝達関数Ｐ）で同定することを試みる。音声Ｖｏが０となる状態（音声区間判定部１１８による判定結果が非音声区間を示している場合）においてのみ、出力データＯｕｔが最小になるように適応フィルタ１３０が適応処理（学習処理）を行うと、伝達関数ＰはＮ１／Ｎ２に適応する。
【００２３】
そうすると、数式１の第２項が０に近づき、適応後の出力データＯｕｔ＝（Ｖ１―Ｎ１／Ｎ２・Ｖ２）Ｖｏとなって、音声区間では音声のみが残り、非音声区間ではノイズ成分が抑制されることとなる。
【００２４】
ノイズ除去部１２０では、マイクロホン１１０ａを通じて入力された第１オーディオデータを適応フィルタ１３０の所望信号とし、マイクロホン１１０ｂを通じて入力された第２オーディオデータに適応フィルタ１３０を施し、減算器１３２が、所望信号から適応フィルタ１３０の出力である適応信号を減算して出力データを得る。このとき適応フィルタ１３０は、第２オーディオ信号を参照入力信号とし（図２中適応フィルタ１３０左の端子）、減算器１３２から出力された出力データを適応誤差とし（図２中適応フィルタ１３０の中央斜線で示す端子）、適応誤差（出力データ）が小さくなるように随時自体のフィルタ係数を適応的に調整する。かかる処理が上述した適応処理に相当する。
【００２５】
図３は、適応フィルタ１３０の構成例を示した説明図である。ここでは、適応フィルタ１３０の適応処理における適応アルゴリズムとして、２乗平均誤差を最急降下法に基づいて最小にするＬＭＳ（Least Mean Square）アルゴリズムを採用しており、適応フィルタ１３０は、シフトレジスタ１７０と、乗算器１７２と、加算器１７４とを含んで構成される。
【００２６】
図３において、所定のサンプリング時刻ｎ（ｎは整数）における第２オーディオ信号に相当する参照入力信号Ｘ（ｎ）は、所定のサンプリング周期で信号をシフトするシフトレジスタ１７０に入力され、Ｘ（ｎ）〜Ｘ（ｎ−Ｎ＋１）の時間差信号列となる（Ｎはフィルタの段数であり、本実施形態では例えば２５６段設けられている。）。そして、Ｎ個の乗算器１７２によって、時間差信号列Ｘ（ｎ）〜Ｘ（ｎ−Ｎ＋１）に各フィルタ係数Ｗ０（ｎ）〜ＷＮ−１（ｎ）が乗算され、その乗算結果が加算器１７４によって加算される。従って、適応フィルタ１３０の出力信号Ｙ（ｎ）は、以下の、数式２に示すように、参照入力信号Ｘ（ｎ）〜Ｘ（ｎ−Ｎ＋１）とフィルタ係数Ｗ０（ｎ）〜ＷＮ−１（ｎ）を畳み込むことによって得ることができる。
【数１】
…（数式２）
【００２７】
また、出力データに相当する適応誤差入力ｅ（ｎ）は、上述したように、数式３に従い、第１オーディオ信号に相当する所望信号ｄ（ｎ）から適応フィルタ１３０の出力である適応信号Ｙ（ｎ）を減算することによって得られる。
【数２】
…（数式３）
そして、フィルタ係数Ｗ０（ｎ）〜ＷＮ−１（ｎ）は数式４に従って適応誤差入力ｅ（ｎ）が小さくなるように調整され、その調整結果によってフィルタ係数が更新される。かかる数式４のμは更新の速度と収束の精度を決定するステップサイズパラメータであり、参照入力信号の統計的性質から最適な値を選択することができる。一般には０．０１〜０．００１程度の値をとることが多い。
【数３】
…（数式４）
【００２８】
ここでは、適応フィルタ１３０の適応アルゴリズムとしてＬＭＳアルゴリズムを適用しているが、かかる場合に限らず、ＲＬＭＳ（Recursive LMS）、ＮＬＭＳ（Normalized LMS）アルゴリズム等、様々な既存のアルゴリズムを適用することができる。
【００２９】
かかる適応フィルタ１３０により、フィルタ係数Ｗ０（ｎ）〜ＷＮ−１（ｎ）が適宜更新され、未知のシステムである、ノイズ源１４２から２つのマイクロホン１１０ａ、１１０への音響特性の違い（Ｎ１／Ｎ２）が同定されるので、適応後の出力データに含まれるノイズ成分は最小限に抑えられ、第１オーディオデータから音声データのみを適切に抽出することが可能となる。
【００３０】
また、ノイズ除去部１２０は、ノイズ除去処理が完了すると、パラメータであるフィルタ係数Ｗ０（ｎ）〜ＷＮ−１（ｎ）とシフトレジスタ１７０の値を、処理対象となる次のフレームのフレーム番号に関連付けてパラメータ保持部１１４に保持する。これは、ノイズ除去部１２０が、事後的にノイズ除去処理を再度実行する際に、その前提として必要となるからである。
【００３１】
（ノイズ除去装置１００の処理（ノイズ除去方法））
図４は、ノイズ除去装置１００の全体的な処理を示したフローチャートであり、図５は、各処理の実行タイミングを示したタイミングチャートである。ここでは、入力された複数のフレーム（図５中、入力された順にＦ１〜Ｆ６で示す。）を複数並行して処理する、所謂パイプライン処理が採用されている。したがって、例えば、フレームＦ１の２回目の音声区間判定処理とフレームＦ２の１回目の音声区間判定処理が並行して行われることとなる。また、説明の便宜のため、音声区間判定処理の判定結果は遅延なしでノイズ除去処理に反映されるとする。ここでは、理解を容易にするため、音声区間判定処理およびノイズ除去処理の最大繰り返し数を２回としているが、かかる場合に限らず、それ以上繰り返すこともできる。以下では、典型例として、音声区間判定が１回目と２回目で等しいフレームＦ１と、音声区間判定が１回目と２回目で異なるフレームＦ２とを挙げて説明する。
【００３２】
マイクロホン１１０ａから入力された第１オーディオデータのフレームＦ１は、データ保持部１１２ａに保持されると共に、セレクタ１１６を通じて音声区間判定部１１８に取り込まれる（Ｓ２００）。音声区間判定部１１８は、フレームＦ１に対して１回目の音声区間判定処理を行い（Ｓ２０２）、判定結果をパラメータ保持部１１４に保持すると共にノイズ除去部１２０に送信する（Ｓ２０４）。
【００３３】
制御部１２２は、対象となるフレームの音声区間判定処理が２回目であり、かつ、音声区間判定部１１８の２回目の判定結果がパラメータ保持部１１４に保持された１回目の判定結果と等しいか否か判定する（Ｓ２０６）。ここでは、フレームＦ１の音声区間判定処理が１回目なので（Ｓ２０６におけるＮＯ）、ノイズ除去部１２０は、パラメータ保持部１１４からフレームＦ１に関連付けられたパラメータを取得して（フレームＦ１の場合、初期パラメータとなる。）、ノイズ除去処理を行い（Ｓ２０８）、ノイズ成分が除去されたフレームＦ１を、データ保持部１１２ｂに随時保持させる（Ｓ２１０）。また、当該ノイズ除去処理が１回目であった場合、ノイズ除去部１２０は、ノイズ成分が除去されたフレームＦ１を、セレクタ１１６を通じて音声区間判定部１１８にも逐次送信する（Ｓ２１２）。
【００３４】
このようなノイズ除去処理（Ｓ２０８）において、ノイズ除去部１２０は、音声区間判定部１１８の判定結果が音声区間であるか否か判定し（Ｓ２１４）、非音声区間であれば（Ｓ２１４におけるＮＯ）、適応フィルタ１３０の適応処理を行いつつ（Ｓ２１６）、ノイズ成分を除去し、音声区間であれば（Ｓ２１４におけるＹＥＳ）、適応フィルタ１３０の適応処理を固定（停止）して（Ｓ２１８）、ノイズ成分を除去する。ここでは、適応処理の有無が異なるだけで、ノイズ除去処理自体は音声区間であるか否かに拘わらずいずれでも行われる。
【００３５】
ノイズ除去部１２０によるノイズ除去処理（Ｓ２０８）、データ保持部１１２への保持（Ｓ２１０）、音声区間判定部１１８への送信（Ｓ２１２）が一通り遂行されると、ノイズ除去部１２０は、ノイズ除去処理を再度実行する（２回目の）ために、ノイズ除去処理後のフィルタ係数Ｗ０（ｎ）〜ＷＮ−１（ｎ）とシフトレジスタ１７０の値とを、ノイズ除去部１２０のパラメータとして、次に処理するフレームのフレーム番号（ここではＦ２）に関連付けてパラメータ保持部１１４に保持する（Ｓ２２０）。パラメータ保持部１１４に保持されるデータ長は、音声区間判定処理やノイズ除去処理の遅延フレーム数との繰り返し回数の積によって決定され、本実施形態では、２フレーム分保持される。
【００３６】
続いて、フレームＦ１のノイズ除去処理（Ｓ２０８）が１回目であるか否か判定され（Ｓ２２２）、１回目であれば（Ｓ２２２におけるＹＥＳ）、かかるフレームＦ１の１回目のノイズ除去処理（Ｓ２０８）と並行して、音声区間判定部１１８は、セレクタ１１６を通じて入力された、１回目のノイズ除去処理が施されたフレームＦ１を、再度、音声区間であるか否か判定（２回目の音声区間判定処理）する（Ｓ２０２）。２回目の音声区間判定処理では、１回目のノイズ除去処理によってノイズが抑制された状態のフレームＦ１を判定するので、音声の有無を正しく判定でき、信頼性が高くなる。
【００３７】
２回目の音声区間判定処理（Ｓ２０２）において、判定結果が１回目と等しい場合には、判定ステップ（Ｓ２０６）において、対象となるフレームの音声区間判定処理が２回目であり、かつ、音声区間判定部１１８の２回目の判定結果がパラメータ保持部１１４に保持された１回目の判定結果と等しいと判定されるので、フレームＦ１の２回目のノイズ除去処理は実行されない。これは、以下の理由による。
【００３８】
１回目と２回目の音声区間判定処理の判定結果が等しい場合、適応フィルタの適応処理が実行されるか否かが等しくなるので、２回目のノイズ除去処理を行ったとしても、ノイズ除去処理の処理結果は１回目と等しくなる。したがって、１回目と２回目の音声区間判定処理の判定結果が等しい場合、２回目のノイズ除去処理を行わずとも、１回目のノイズ除去処理の結果を用いることで２回目のノイズ除去処理を行ったことと等価となる。ここでは、２回目のノイズ除去処理によって効果を生じ得る、音声区間判定処理の判定結果が異なる場合にのみ２回目のノイズ除去処理を行い、等しいときには処理を省略することで、処理負荷の軽減を図ることができる。
【００３９】
そして、フレームＦ１のノイズ除去処理（Ｓ２０８）が２回目であるか（Ｓ２２２におけるＮＯ）、または、２回目のノイズ除去処理（Ｓ２０８）が省略された場合（Ｓ２０６におけるＹＥＳ）、制御部１２２は、データ保持部１１２ｂに保持された出力データを外部に送信する（Ｓ２２４）。
【００４０】
続いて、フレームＦ２に着目する。フレームＦ２では、１回目の音声区間判定処理の判定結果が音声区間であったにも拘わらず、２回目の音声区間判定処理の判定結果が非音声区間となったとする。すると、判定ステップ（Ｓ２０６）において、音声区間判定部１１８の２回目の判定結果がパラメータ保持部１１４に保持された１回目の判定結果と異なる（Ｓ２０６におけるＮＯ）と判定されるので、図５の如く、フレームＦ２では、２回目のノイズ除去処理が遂行される（Ｓ２０８）。
【００４１】
２回目のノイズ除去処理では、パラメータ保持部１１４に保持された、フレームＦ２のノイズ除去処理が遂行される前の状態、即ち、フィルタ係数Ｗ０（ｎ）〜ＷＮ−１（ｎ）とシフトレジスタ１７０の値とが再度設定され（復元され）、データ保持部１１２ａに保持されたフレームＦ２が読み出される。また、ここでは、パイプライン処理が採用されているので、フレームＦ２の２回目のノイズ除去処理と並行して、フレームＦ３の１回目のノイズ除去処理が遂行されている。
【００４２】
しかし、フレームＦ３の１回目のノイズ除去処理は、フレームＦ２の１回目のノイズ除去処理の処理結果に基づくフィルタ係数Ｗ０（ｎ）〜ＷＮ−１（ｎ）とシフトレジスタ１７０の値とによって為されているので、有効性に乏しい。そこで、フレームＦ２の２回目のノイズ除去処理では、図５の如く、フレームＦ２のノイズ除去処理に引き続きフレームＦ３のノイズ除去処理を行い、フレームＦ３の１回目のノイズ除去処理を再度やり直す。
【００４３】
したがって、図５の如く、フレームＦ４の１回目のノイズ除去処理は、かかるフレームＦ２の２回目のノイズ除去処理の処理結果（正確にはフレームＦ２およびフレームＦ３のノイズ除去処理の処理結果）に基づくフィルタ係数Ｗ０（ｎ）〜ＷＮ−１（ｎ）とシフトレジスタ１７０の値とが設定される。また、フレームＦ３の２回目の音声区間判定処理では、フレームＦ３の１回目のノイズ除去処理の結果を用いるべきなので、フレームＦ３の１回目のノイズ除去処理の取り込みを中断し、フレームＦ２の２回目のノイズ除去処理におけるフレームＦ３のノイズ除去処理の結果を取り込む。こうして、パイプライン処理が採用されている場合であっても、２回目のノイズ除去処理を正確に反映することが可能となる。
【００４４】
このように、ノイズ除去装置１００では、音声区間判定処理とノイズ除去処理との処理結果を相互に利用することで高ノイズ環境下においても音声区間判定処理の精度を向上することができ、ひいてはノイズ除去処理においても、正確なノイズ除去が遂行できるので、音質を損なうことなく、ノイズ除去の精度を向上することが可能となる。また、このような処理結果を相互利用する場合の一部の処理を、音声区間判定部１１８の判定結果が異なる場合にのみ実行することで、処理負荷の増大を回避することができる。
【００４５】
また、本実施形態では、ノイズ除去処理を最大で２回行う例を挙げて説明したが、音声区間判定処理とノイズ除去処理との繰り返し回数は、多ければ多いほど精度が向上する。ここでは、許容される処理負荷に応じて繰り返し回数を増やすことでより精度を高めることができる。また、２回目以降のノイズ除去処理は音声区間判定部１１８の判定結果に基づいてその実行の有無が決定されるので、繰り返し回数を増やしたとしても、処理負荷の増加は最小限に抑えられる。
【００４６】
ただし、繰り返し回数が増えた場合、図５における２回目のノイズ除去処理に相当する３回目、４回目のノイズ除去処理においては、その繰り返し回数に比例したフレーム数を一度に連続して処理しなければならない。
【００４７】
また、音声区間判定処理とノイズ除去処理とを複数回繰り返す場合において、その繰り返し数を制限せず、音声区間判定部１１８の判定結果が１回目と２回目とで異なる回数と、全体の回数との比率が所定の割合以下に収まると、繰り返し処理を終了するとしてもよい。
【００４８】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００４９】
例えば、上述した実施形態においては、各構成要素をハード的に実現するかソフト的に実現するかを限定していない。これは、ノイズ除去装置１００をデジタルフィルタや加減算器またはアナログフィルタやオペアンプ等の具体的なハードウェアで構成することも、コンピュータを用い、上記ノイズ除去装置１００として機能するプログラムによってソフトウェアで実現することも可能だからである。後者の場合、ノイズ除去装置１００と共に、その各構成要素をコンピュータに機能させるプログラムおよびそれを記録した記録媒体も提供される。
【産業上の利用可能性】
【００５０】
本発明は、収音したオーディオデータからノイズ成分を除去することが可能なノイズ除去装置およびノイズ除去方法に利用することができる。
【符号の説明】
【００５１】
１００ …ノイズ除去装置
１１４ …パラメータ保持部
１１８ …音声区間判定部
１２０ …ノイズ除去部
１３０ …適応フィルタ
【技術分野】
【０００１】
本発明は、収音したオーディオデータからノイズ成分を除去することが可能なノイズ除去装置およびノイズ除去方法に関する。
【背景技術】
【０００２】
マイクロホンに入力されたオーディオデータには、所望する音声の他に音響ノイズ（以下、単にノイズと略す。）も含まれるので、音声の音質が損なわれ、所望するオーディオデータの音質を得ることができなかった。
【０００３】
そこで、適応フィルタ技術を用い、オーディオデータに混入したノイズ成分を除去して音声データを抽出する技術が開示されている（例えば、特許文献１）。ここで、適応フィルタは、オーディオデータに、主として音声が含まれている間（音声区間）、フィルタ係数の適応処理を停止することでノイズへの適応精度を高めている。このように、オーディオデータに、主として音声が含まれていることは、例えば、音声とノイズの短時間パワーの差分に基づいて判定することができる（例えば、特許文献２）。また、オーディオデータのスペクトラムに基づいて、主として音声が含まれるオーディオデータの始点と終点とを判定する技術も知られている（例えば、特許文献３）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−１９８８１０号公報
【特許文献２】特開２０００−３２２０７４号公報
【特許文献３】米国特許第５６９２１０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、ノイズ成分が高い高ノイズ環境下では、特許文献２や特許文献３に記載された音声区間判定技術を用いても、音声が含まれる音声区間と音声が含まれない非音声区間とを誤判定してしまう場合がある。また、特許文献１に記載された技術では、特に、ノイズ源とマイクロホンの間の伝達特性が時間経過に伴い変動する場合に、収音したオーディオデータのうちノイズ成分に絞って適応フィルタの適応処理を続ける必要がある。それにも拘わらず、高ノイズ環境下において音声区間と非音声区間とが誤判定されてしまうと、適応処理に必要な非音声区間を十分とれなかったり、適応フィルタが、音声が含まれるオーディオデータに適応してしまったりして、ノイズ除去を正しく行うことができなかった。
【０００６】
本発明は、このような課題に鑑み、高ノイズ環境下においても、処理負荷を増大することなく音声区間判定およびノイズ除去の精度を向上することが可能なノイズ除去装置およびノイズ除去方法を提供することを目的としている。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のノイズ除去装置は、所定区間のオーディオデータが、音声が含まれる音声区間であるか、音声が含まれない非音声区間であるかを判定する音声区間判定部と、音声区間判定部の判定結果を保持するパラメータ保持部と、音声区間判定部の判定結果が非音声区間であれば適応フィルタの適応処理を行いつつ、音声区間であれば適応フィルタを固定して、所定区間のオーディオデータのノイズ成分を除去するノイズ除去部とを備え、音声区間判定部が、ノイズ除去部によってノイズ成分が除去されたオーディオデータの音声区間判定を再度実行し、その判定結果がパラメータ保持部に保持された判定結果と異なる場合、ノイズ除去部は、ノイズ成分の除去を再度実行することを特徴とする。
【０００８】
ノイズ除去部は、ノイズ成分の除去を再度実行する場合、同一の所定区間のオーディオデータの１回目のノイズ成分の除去を実行する前の適応フィルタの状態を復元する。
【０００９】
音声区間判定部およびノイズ除去部は、時刻の異なる所定区間のオーディオデータを複数並行して処理してもよい。
【００１０】
上記課題を解決するために、本発明のノイズ除去方法は、所定区間のオーディオデータが、音声が含まれる音声区間であるか、音声が含まれない非音声区間であるかを判定し、その判定結果をパラメータ保持部に保持し、判定結果が非音声区間であれば適応フィルタの適応処理を行いつつ、音声区間であれば適応フィルタを固定して、所定区間のオーディオデータのノイズ成分を除去し、ノイズ成分が除去されたオーディオデータの音声区間判定を再度実行し、その判定結果がパラメータ保持部に保持された判定結果と異なる場合、ノイズ成分の除去を再度実行することを特徴とする。
【発明の効果】
【００１１】
本発明のノイズ除去装置は、音声区間判定処理とノイズ除去処理との処理結果を相互に利用することで、高ノイズ環境下においても音声区間判定処理およびノイズ除去処理の精度を向上することが可能となる。また、このような処理の処理結果を相互利用する場合の一部の処理を、その必要性に応じて実行しないことで処理負荷の増大を回避することができる。
【図面の簡単な説明】
【００１２】
【図１】ノイズ除去装置の概略的な構成を示した機能ブロック図である。
【図２】ノイズ除去部の概略的な構成を示した機能ブロック図である。
【図３】適応フィルタの構成例を示した説明図である。
【図４】ノイズ除去装置の全体的な処理を示したフローチャートである。
【図５】各処理の実行タイミングを示したタイミングチャートである。
【発明を実施するための形態】
【００１３】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００１４】
（第１の実施形態：ノイズ除去装置１００）
図１は、ノイズ除去装置１００の概略的な構成を示した機能ブロック図である。ノイズ除去装置１００は、マイクロホン１１０（図１中では、マイクロホン１１０ａ、１１０ｂで示す。）と、データ保持部１１２（図１中では、データ保持部１１２ａ、１１２ｂで示す。）と、パラメータ保持部１１４と、セレクタ１１６と、音声区間判定部１１８と、ノイズ除去部１２０と、制御部１２２とを含んで構成される。図１中、実線はオーディオデータ等のデータの流れを、破線は制御信号やパラメータの流れを示している。
【００１５】
マイクロホン１１０ａ、１１０ｂは、物理振動を電気信号に変換する機器であり、マイクロホン１１０ａ、１１０ｂ周囲の音を集音してオーディオ信号に変換する。また、マイクロホン１１０ａ、１１０ｂは、位置を異にして設けられ、特に、マイクロホン１１０ａは、主として音声の入力を目的とし、マイクロホン１１０ｂは、主としてノイズの入力を目的としている。本実施形態に適用可能なマイクロホン１１０ａ、１１０ｂは、任意の伝達媒体の振動を音信号に変換できれば足り、例えば、コンデンサマイク、ダイナミックマイク、リボンマイク、圧電マイク、カーボンマイク等も用いることができる。マイクロホン１１０ａ、１１０ｂで変換されたオーディオ信号は、さらにＡ／Ｄ変換（図示せず）を通じて１フレーム２５６サンプルのオーディオデータ（マイクロホン１１０ａでは第１オーディオデータ、マイクロホン１１０ｂでは第２オーディオデータ）に変換され、セレクタ１１６に送信、および、データ保持部１１２ａに保持される。
【００１６】
データ保持部１１２ａ、１１２ｂは、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）等の記憶媒体で構成され、オーディオデータ等のデータを一時的に保持する。具体的に、データ保持部１１２ａは、第１オーディオデータおよび第２オーディオデータを保持し、データ保持部１１２ｂは、ノイズ除去部１２０でノイズ成分が除去された第１オーディオデータを保持する。パラメータ保持部１１４は、フラッシュメモリ、ＨＤＤ等の記憶媒体で構成され、音声区間判定部１１８の判定結果やノイズ除去部１２０における適応フィルタの各パラメータ（フィルタ係数、シフトレジスタ値等）を保持する。セレクタ１１６は、後述する制御部１２２の制御信号に応じて、音声区間判定部１１８に入力するデータを選択する。
【００１７】
音声区間判定部１１８は、所定区間（１フレーム）分のオーディオデータが、音声が含まれる音声区間であるか、音声が含まれない非音声区間であるかを、例えば、音声成分とノイズ成分との短時間パワー（エネルギー）の差分に基づいて判定し（以下、単に「音声区間判定処理」という。）、その判定結果をノイズ除去部１２０に送信すると共に、パラメータ保持部１１４に保持する。また、音声区間判定部１１８は、オーディオデータのスペクトラムに基づいて、周波数特性から音声区間と非音声区間とを判定することもできる。このような音声区間の判定技術は、様々な既存の技術を採用できるので、ここでは、その詳細な説明を省略する。
【００１８】
ノイズ除去部１２０は、適応フィルタを有し、第１オーディオデータに含まれるノイズ成分を第２オーディオデータに基づいて適応させ、第１オーディオデータと適応された第２オーディオデータとでノイズ成分を相殺し、第１オーディオデータからノイズ成分を除去して音声データを抽出する（以下、単に「ノイズ除去処理」という。）。また、ノイズ除去部１２０の適応フィルタは、音声区間判定部１１８の判定結果に基づき、判定結果が非音声区間であれば適応フィルタの適応処理を行いつつ、所定区間のオーディオデータのノイズ成分を除去し、音声区間であれば適応フィルタを固定して（停止して）、所定区間のオーディオデータのノイズ成分を除去する。こうして、適応フィルタが第１オーディオデータのノイズ成分にのみ適応することとなる。かかる処理の具体的な動作は後ほど詳述する。また、ノイズ除去部１２０は、所定区間（１フレーム）の処理毎に、適応フィルタの各パラメータをパラメータ保持部１１４に保持する。
【００１９】
制御部１２２は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路により、音声区間判定部１１８およびノイズ除去部１２０を制御する。制御部１２２は、音声区間判定部１１８に、ノイズ除去部１２０の１回目のノイズ除去処理によってノイズ成分が除去されたオーディオデータの音声区間判定を再度実行させ（２回目の音声区間判定処理）、その２回目の音声区間判定処理の判定結果が、パラメータ保持部１１４に保持された１回目の判定結果と異なる場合、ノイズ除去部１２０に、ノイズ除去処理を再度実行させる。かかる処理の流れは後ほど詳述する。
【００２０】
（ノイズ除去処理）
図２は、ノイズ除去部１２０の概略的な構成を示した機能ブロック図である。ノイズ除去部１２０は、適応フィルタ１３０と、減算器１３２とを含んで構成される。ここでは、理解を容易にするため、第１オーディオデータおよび第２オーディオデータのバッファとして機能するデータ保持部１１２ａを省略して説明する。
【００２１】
ノイズ除去装置１００における２つのマイクロホン１１０ａ、１１０ｂの位置が異なるので、音声源１４０やノイズ源１４２から２つのマイクロホン１１０ａ、１１０ｂまでの音響伝達特性は、それぞれ異なることとなる。ここでは、２つのマイクロホン１１０ａ、１１０ｂにおける音声源１４０とノイズ源１４２からの音響伝達特性の違いを利用し、ノイズ源１４２からの音響伝達特性を推定、相殺することで、音声を抽出することを目的としている。
【００２２】
具体的に、音声源１４０の音声をＶｏ、ノイズ源１４２におけるノイズをＮｏ、音声源１４０からマイクロホン１１０ａ、１１０ｂまでの音声の伝達関数をＶ１、Ｖ２、ノイズ源１４２からマイクロホン１１０ａ、１１０ｂまでの音声の伝達関数をＮ１、Ｎ２、適応フィルタ１３０の伝達関数をＰとすると、出力データＯｕｔは、以下の数式１のようになる。
Ｏｕｔ＝Ｖ１・Ｖｏ＋Ｎ１・Ｎｏ−Ｐ（Ｖ２・Ｖｏ＋Ｎ２・Ｎｏ）
＝（Ｖ１−Ｐ・Ｖ２）Ｖｏ＋（Ｎ１−Ｐ・Ｎ２）Ｎｏ …（数式１）
ここで、ノイズ源１４２におけるノイズのマイクロホン１１０ａ、１１０ｂまでの伝達関数の違い（Ｎ１／Ｎ２）を未知のシステムとして、適応フィルタ（伝達関数Ｐ）で同定することを試みる。音声Ｖｏが０となる状態（音声区間判定部１１８による判定結果が非音声区間を示している場合）においてのみ、出力データＯｕｔが最小になるように適応フィルタ１３０が適応処理（学習処理）を行うと、伝達関数ＰはＮ１／Ｎ２に適応する。
【００２３】
そうすると、数式１の第２項が０に近づき、適応後の出力データＯｕｔ＝（Ｖ１―Ｎ１／Ｎ２・Ｖ２）Ｖｏとなって、音声区間では音声のみが残り、非音声区間ではノイズ成分が抑制されることとなる。
【００２４】
ノイズ除去部１２０では、マイクロホン１１０ａを通じて入力された第１オーディオデータを適応フィルタ１３０の所望信号とし、マイクロホン１１０ｂを通じて入力された第２オーディオデータに適応フィルタ１３０を施し、減算器１３２が、所望信号から適応フィルタ１３０の出力である適応信号を減算して出力データを得る。このとき適応フィルタ１３０は、第２オーディオ信号を参照入力信号とし（図２中適応フィルタ１３０左の端子）、減算器１３２から出力された出力データを適応誤差とし（図２中適応フィルタ１３０の中央斜線で示す端子）、適応誤差（出力データ）が小さくなるように随時自体のフィルタ係数を適応的に調整する。かかる処理が上述した適応処理に相当する。
【００２５】
図３は、適応フィルタ１３０の構成例を示した説明図である。ここでは、適応フィルタ１３０の適応処理における適応アルゴリズムとして、２乗平均誤差を最急降下法に基づいて最小にするＬＭＳ（Least Mean Square）アルゴリズムを採用しており、適応フィルタ１３０は、シフトレジスタ１７０と、乗算器１７２と、加算器１７４とを含んで構成される。
【００２６】
図３において、所定のサンプリング時刻ｎ（ｎは整数）における第２オーディオ信号に相当する参照入力信号Ｘ（ｎ）は、所定のサンプリング周期で信号をシフトするシフトレジスタ１７０に入力され、Ｘ（ｎ）〜Ｘ（ｎ−Ｎ＋１）の時間差信号列となる（Ｎはフィルタの段数であり、本実施形態では例えば２５６段設けられている。）。そして、Ｎ個の乗算器１７２によって、時間差信号列Ｘ（ｎ）〜Ｘ（ｎ−Ｎ＋１）に各フィルタ係数Ｗ０（ｎ）〜ＷＮ−１（ｎ）が乗算され、その乗算結果が加算器１７４によって加算される。従って、適応フィルタ１３０の出力信号Ｙ（ｎ）は、以下の、数式２に示すように、参照入力信号Ｘ（ｎ）〜Ｘ（ｎ−Ｎ＋１）とフィルタ係数Ｗ０（ｎ）〜ＷＮ−１（ｎ）を畳み込むことによって得ることができる。
【数１】
…（数式２）
【００２７】
また、出力データに相当する適応誤差入力ｅ（ｎ）は、上述したように、数式３に従い、第１オーディオ信号に相当する所望信号ｄ（ｎ）から適応フィルタ１３０の出力である適応信号Ｙ（ｎ）を減算することによって得られる。
【数２】
…（数式３）
そして、フィルタ係数Ｗ０（ｎ）〜ＷＮ−１（ｎ）は数式４に従って適応誤差入力ｅ（ｎ）が小さくなるように調整され、その調整結果によってフィルタ係数が更新される。かかる数式４のμは更新の速度と収束の精度を決定するステップサイズパラメータであり、参照入力信号の統計的性質から最適な値を選択することができる。一般には０．０１〜０．００１程度の値をとることが多い。
【数３】
…（数式４）
【００２８】
ここでは、適応フィルタ１３０の適応アルゴリズムとしてＬＭＳアルゴリズムを適用しているが、かかる場合に限らず、ＲＬＭＳ（Recursive LMS）、ＮＬＭＳ（Normalized LMS）アルゴリズム等、様々な既存のアルゴリズムを適用することができる。
【００２９】
かかる適応フィルタ１３０により、フィルタ係数Ｗ０（ｎ）〜ＷＮ−１（ｎ）が適宜更新され、未知のシステムである、ノイズ源１４２から２つのマイクロホン１１０ａ、１１０への音響特性の違い（Ｎ１／Ｎ２）が同定されるので、適応後の出力データに含まれるノイズ成分は最小限に抑えられ、第１オーディオデータから音声データのみを適切に抽出することが可能となる。
【００３０】
また、ノイズ除去部１２０は、ノイズ除去処理が完了すると、パラメータであるフィルタ係数Ｗ０（ｎ）〜ＷＮ−１（ｎ）とシフトレジスタ１７０の値を、処理対象となる次のフレームのフレーム番号に関連付けてパラメータ保持部１１４に保持する。これは、ノイズ除去部１２０が、事後的にノイズ除去処理を再度実行する際に、その前提として必要となるからである。
【００３１】
（ノイズ除去装置１００の処理（ノイズ除去方法））
図４は、ノイズ除去装置１００の全体的な処理を示したフローチャートであり、図５は、各処理の実行タイミングを示したタイミングチャートである。ここでは、入力された複数のフレーム（図５中、入力された順にＦ１〜Ｆ６で示す。）を複数並行して処理する、所謂パイプライン処理が採用されている。したがって、例えば、フレームＦ１の２回目の音声区間判定処理とフレームＦ２の１回目の音声区間判定処理が並行して行われることとなる。また、説明の便宜のため、音声区間判定処理の判定結果は遅延なしでノイズ除去処理に反映されるとする。ここでは、理解を容易にするため、音声区間判定処理およびノイズ除去処理の最大繰り返し数を２回としているが、かかる場合に限らず、それ以上繰り返すこともできる。以下では、典型例として、音声区間判定が１回目と２回目で等しいフレームＦ１と、音声区間判定が１回目と２回目で異なるフレームＦ２とを挙げて説明する。
【００３２】
マイクロホン１１０ａから入力された第１オーディオデータのフレームＦ１は、データ保持部１１２ａに保持されると共に、セレクタ１１６を通じて音声区間判定部１１８に取り込まれる（Ｓ２００）。音声区間判定部１１８は、フレームＦ１に対して１回目の音声区間判定処理を行い（Ｓ２０２）、判定結果をパラメータ保持部１１４に保持すると共にノイズ除去部１２０に送信する（Ｓ２０４）。
【００３３】
制御部１２２は、対象となるフレームの音声区間判定処理が２回目であり、かつ、音声区間判定部１１８の２回目の判定結果がパラメータ保持部１１４に保持された１回目の判定結果と等しいか否か判定する（Ｓ２０６）。ここでは、フレームＦ１の音声区間判定処理が１回目なので（Ｓ２０６におけるＮＯ）、ノイズ除去部１２０は、パラメータ保持部１１４からフレームＦ１に関連付けられたパラメータを取得して（フレームＦ１の場合、初期パラメータとなる。）、ノイズ除去処理を行い（Ｓ２０８）、ノイズ成分が除去されたフレームＦ１を、データ保持部１１２ｂに随時保持させる（Ｓ２１０）。また、当該ノイズ除去処理が１回目であった場合、ノイズ除去部１２０は、ノイズ成分が除去されたフレームＦ１を、セレクタ１１６を通じて音声区間判定部１１８にも逐次送信する（Ｓ２１２）。
【００３４】
このようなノイズ除去処理（Ｓ２０８）において、ノイズ除去部１２０は、音声区間判定部１１８の判定結果が音声区間であるか否か判定し（Ｓ２１４）、非音声区間であれば（Ｓ２１４におけるＮＯ）、適応フィルタ１３０の適応処理を行いつつ（Ｓ２１６）、ノイズ成分を除去し、音声区間であれば（Ｓ２１４におけるＹＥＳ）、適応フィルタ１３０の適応処理を固定（停止）して（Ｓ２１８）、ノイズ成分を除去する。ここでは、適応処理の有無が異なるだけで、ノイズ除去処理自体は音声区間であるか否かに拘わらずいずれでも行われる。
【００３５】
ノイズ除去部１２０によるノイズ除去処理（Ｓ２０８）、データ保持部１１２への保持（Ｓ２１０）、音声区間判定部１１８への送信（Ｓ２１２）が一通り遂行されると、ノイズ除去部１２０は、ノイズ除去処理を再度実行する（２回目の）ために、ノイズ除去処理後のフィルタ係数Ｗ０（ｎ）〜ＷＮ−１（ｎ）とシフトレジスタ１７０の値とを、ノイズ除去部１２０のパラメータとして、次に処理するフレームのフレーム番号（ここではＦ２）に関連付けてパラメータ保持部１１４に保持する（Ｓ２２０）。パラメータ保持部１１４に保持されるデータ長は、音声区間判定処理やノイズ除去処理の遅延フレーム数との繰り返し回数の積によって決定され、本実施形態では、２フレーム分保持される。
【００３６】
続いて、フレームＦ１のノイズ除去処理（Ｓ２０８）が１回目であるか否か判定され（Ｓ２２２）、１回目であれば（Ｓ２２２におけるＹＥＳ）、かかるフレームＦ１の１回目のノイズ除去処理（Ｓ２０８）と並行して、音声区間判定部１１８は、セレクタ１１６を通じて入力された、１回目のノイズ除去処理が施されたフレームＦ１を、再度、音声区間であるか否か判定（２回目の音声区間判定処理）する（Ｓ２０２）。２回目の音声区間判定処理では、１回目のノイズ除去処理によってノイズが抑制された状態のフレームＦ１を判定するので、音声の有無を正しく判定でき、信頼性が高くなる。
【００３７】
２回目の音声区間判定処理（Ｓ２０２）において、判定結果が１回目と等しい場合には、判定ステップ（Ｓ２０６）において、対象となるフレームの音声区間判定処理が２回目であり、かつ、音声区間判定部１１８の２回目の判定結果がパラメータ保持部１１４に保持された１回目の判定結果と等しいと判定されるので、フレームＦ１の２回目のノイズ除去処理は実行されない。これは、以下の理由による。
【００３８】
１回目と２回目の音声区間判定処理の判定結果が等しい場合、適応フィルタの適応処理が実行されるか否かが等しくなるので、２回目のノイズ除去処理を行ったとしても、ノイズ除去処理の処理結果は１回目と等しくなる。したがって、１回目と２回目の音声区間判定処理の判定結果が等しい場合、２回目のノイズ除去処理を行わずとも、１回目のノイズ除去処理の結果を用いることで２回目のノイズ除去処理を行ったことと等価となる。ここでは、２回目のノイズ除去処理によって効果を生じ得る、音声区間判定処理の判定結果が異なる場合にのみ２回目のノイズ除去処理を行い、等しいときには処理を省略することで、処理負荷の軽減を図ることができる。
【００３９】
そして、フレームＦ１のノイズ除去処理（Ｓ２０８）が２回目であるか（Ｓ２２２におけるＮＯ）、または、２回目のノイズ除去処理（Ｓ２０８）が省略された場合（Ｓ２０６におけるＹＥＳ）、制御部１２２は、データ保持部１１２ｂに保持された出力データを外部に送信する（Ｓ２２４）。
【００４０】
続いて、フレームＦ２に着目する。フレームＦ２では、１回目の音声区間判定処理の判定結果が音声区間であったにも拘わらず、２回目の音声区間判定処理の判定結果が非音声区間となったとする。すると、判定ステップ（Ｓ２０６）において、音声区間判定部１１８の２回目の判定結果がパラメータ保持部１１４に保持された１回目の判定結果と異なる（Ｓ２０６におけるＮＯ）と判定されるので、図５の如く、フレームＦ２では、２回目のノイズ除去処理が遂行される（Ｓ２０８）。
【００４１】
２回目のノイズ除去処理では、パラメータ保持部１１４に保持された、フレームＦ２のノイズ除去処理が遂行される前の状態、即ち、フィルタ係数Ｗ０（ｎ）〜ＷＮ−１（ｎ）とシフトレジスタ１７０の値とが再度設定され（復元され）、データ保持部１１２ａに保持されたフレームＦ２が読み出される。また、ここでは、パイプライン処理が採用されているので、フレームＦ２の２回目のノイズ除去処理と並行して、フレームＦ３の１回目のノイズ除去処理が遂行されている。
【００４２】
しかし、フレームＦ３の１回目のノイズ除去処理は、フレームＦ２の１回目のノイズ除去処理の処理結果に基づくフィルタ係数Ｗ０（ｎ）〜ＷＮ−１（ｎ）とシフトレジスタ１７０の値とによって為されているので、有効性に乏しい。そこで、フレームＦ２の２回目のノイズ除去処理では、図５の如く、フレームＦ２のノイズ除去処理に引き続きフレームＦ３のノイズ除去処理を行い、フレームＦ３の１回目のノイズ除去処理を再度やり直す。
【００４３】
したがって、図５の如く、フレームＦ４の１回目のノイズ除去処理は、かかるフレームＦ２の２回目のノイズ除去処理の処理結果（正確にはフレームＦ２およびフレームＦ３のノイズ除去処理の処理結果）に基づくフィルタ係数Ｗ０（ｎ）〜ＷＮ−１（ｎ）とシフトレジスタ１７０の値とが設定される。また、フレームＦ３の２回目の音声区間判定処理では、フレームＦ３の１回目のノイズ除去処理の結果を用いるべきなので、フレームＦ３の１回目のノイズ除去処理の取り込みを中断し、フレームＦ２の２回目のノイズ除去処理におけるフレームＦ３のノイズ除去処理の結果を取り込む。こうして、パイプライン処理が採用されている場合であっても、２回目のノイズ除去処理を正確に反映することが可能となる。
【００４４】
このように、ノイズ除去装置１００では、音声区間判定処理とノイズ除去処理との処理結果を相互に利用することで高ノイズ環境下においても音声区間判定処理の精度を向上することができ、ひいてはノイズ除去処理においても、正確なノイズ除去が遂行できるので、音質を損なうことなく、ノイズ除去の精度を向上することが可能となる。また、このような処理結果を相互利用する場合の一部の処理を、音声区間判定部１１８の判定結果が異なる場合にのみ実行することで、処理負荷の増大を回避することができる。
【００４５】
また、本実施形態では、ノイズ除去処理を最大で２回行う例を挙げて説明したが、音声区間判定処理とノイズ除去処理との繰り返し回数は、多ければ多いほど精度が向上する。ここでは、許容される処理負荷に応じて繰り返し回数を増やすことでより精度を高めることができる。また、２回目以降のノイズ除去処理は音声区間判定部１１８の判定結果に基づいてその実行の有無が決定されるので、繰り返し回数を増やしたとしても、処理負荷の増加は最小限に抑えられる。
【００４６】
ただし、繰り返し回数が増えた場合、図５における２回目のノイズ除去処理に相当する３回目、４回目のノイズ除去処理においては、その繰り返し回数に比例したフレーム数を一度に連続して処理しなければならない。
【００４７】
また、音声区間判定処理とノイズ除去処理とを複数回繰り返す場合において、その繰り返し数を制限せず、音声区間判定部１１８の判定結果が１回目と２回目とで異なる回数と、全体の回数との比率が所定の割合以下に収まると、繰り返し処理を終了するとしてもよい。
【００４８】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００４９】
例えば、上述した実施形態においては、各構成要素をハード的に実現するかソフト的に実現するかを限定していない。これは、ノイズ除去装置１００をデジタルフィルタや加減算器またはアナログフィルタやオペアンプ等の具体的なハードウェアで構成することも、コンピュータを用い、上記ノイズ除去装置１００として機能するプログラムによってソフトウェアで実現することも可能だからである。後者の場合、ノイズ除去装置１００と共に、その各構成要素をコンピュータに機能させるプログラムおよびそれを記録した記録媒体も提供される。
【産業上の利用可能性】
【００５０】
本発明は、収音したオーディオデータからノイズ成分を除去することが可能なノイズ除去装置およびノイズ除去方法に利用することができる。
【符号の説明】
【００５１】
１００ …ノイズ除去装置
１１４ …パラメータ保持部
１１８ …音声区間判定部
１２０ …ノイズ除去部
１３０ …適応フィルタ
【特許請求の範囲】
【請求項１】
所定区間のオーディオデータが、音声が含まれる音声区間であるか、音声が含まれない非音声区間であるかを判定する音声区間判定部と、
前記音声区間判定部の判定結果を保持するパラメータ保持部と、
前記音声区間判定部の判定結果が非音声区間であれば適応フィルタの適応処理を行いつつ、音声区間であれば適応フィルタを固定して、前記所定区間のオーディオデータのノイズ成分を除去するノイズ除去部と、
を備え、
前記音声区間判定部が、前記ノイズ除去部によってノイズ成分が除去されたオーディオデータの音声区間判定を再度実行し、その判定結果が前記パラメータ保持部に保持された判定結果と異なる場合、前記ノイズ除去部は、ノイズ成分の除去を再度実行することを特徴とするノイズ除去装置。
【請求項２】
前記ノイズ除去部は、ノイズ成分の除去を再度実行する場合、同一の所定区間のオーディオデータの１回目のノイズ成分の除去を実行する前の適応フィルタの状態を復元することを特徴とする請求項１に記載のノイズ除去装置。
【請求項３】
前記音声区間判定部および前記ノイズ除去部は、時刻の異なる前記所定区間のオーディオデータを複数並行して処理することを特徴とする請求項１または２に記載のノイズ除去装置。
【請求項４】
所定区間のオーディオデータが、音声が含まれる音声区間であるか、音声が含まれない非音声区間であるかを判定し、その判定結果をパラメータ保持部に保持し、
前記判定結果が非音声区間であれば適応フィルタの適応処理を行いつつ、音声区間であれば適応フィルタを固定して、前記所定区間のオーディオデータのノイズ成分を除去し、
前記ノイズ成分が除去されたオーディオデータの音声区間判定を再度実行し、その判定結果が前記パラメータ保持部に保持された判定結果と異なる場合、ノイズ成分の除去を再度実行することを特徴とするノイズ除去方法。
【請求項１】
所定区間のオーディオデータが、音声が含まれる音声区間であるか、音声が含まれない非音声区間であるかを判定する音声区間判定部と、
前記音声区間判定部の判定結果を保持するパラメータ保持部と、
前記音声区間判定部の判定結果が非音声区間であれば適応フィルタの適応処理を行いつつ、音声区間であれば適応フィルタを固定して、前記所定区間のオーディオデータのノイズ成分を除去するノイズ除去部と、
を備え、
前記音声区間判定部が、前記ノイズ除去部によってノイズ成分が除去されたオーディオデータの音声区間判定を再度実行し、その判定結果が前記パラメータ保持部に保持された判定結果と異なる場合、前記ノイズ除去部は、ノイズ成分の除去を再度実行することを特徴とするノイズ除去装置。
【請求項２】
前記ノイズ除去部は、ノイズ成分の除去を再度実行する場合、同一の所定区間のオーディオデータの１回目のノイズ成分の除去を実行する前の適応フィルタの状態を復元することを特徴とする請求項１に記載のノイズ除去装置。
【請求項３】
前記音声区間判定部および前記ノイズ除去部は、時刻の異なる前記所定区間のオーディオデータを複数並行して処理することを特徴とする請求項１または２に記載のノイズ除去装置。
【請求項４】
所定区間のオーディオデータが、音声が含まれる音声区間であるか、音声が含まれない非音声区間であるかを判定し、その判定結果をパラメータ保持部に保持し、
前記判定結果が非音声区間であれば適応フィルタの適応処理を行いつつ、音声区間であれば適応フィルタを固定して、前記所定区間のオーディオデータのノイズ成分を除去し、
前記ノイズ成分が除去されたオーディオデータの音声区間判定を再度実行し、その判定結果が前記パラメータ保持部に保持された判定結果と異なる場合、ノイズ成分の除去を再度実行することを特徴とするノイズ除去方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１２−１６３７８８（Ｐ２０１２−１６３７８８Ａ）
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【出願番号】特願２０１１−２４４０３（Ｐ２０１１−２４４０３）
【出願日】平成２３年２月７日（２０１１．２．７）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【出願日】平成２３年２月７日（２０１１．２．７）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
[ Back to top ]