エコーキャンセル装置、それを用いた会議システム、およびエコーキャンセル方法
【課題】マイクの特性によらずエコーを低減することができるエコーキャンセル装置、それを用いた会議システム、およびエコーキャンセル方法を提供することを目的とする。
【解決手段】スピーカ信号を出力するスピーカ１５ａ、１５ｂと、スピーカー１５ａ、１５ｂからの音を収音しマイク素子を有するマイク３ａ、３ｂが接続されたＴＶ会議端末１において、マイク素子から得られる複数のマイク信号を基にマイク３ａ、３ｂの指向性を示す感度パターンが異なる複数の相関関数を生成し、複数の相関関数からそれぞれ求められる遅延時間のうち最短の遅延時間を推定する遅延制御回路９と、最短の遅延時間を用いて複数のマイク信号のエコーを抑圧するエコー抑圧部８ａ、８ｂと、を備えることを特徴とする。
【解決手段】スピーカ信号を出力するスピーカ１５ａ、１５ｂと、スピーカー１５ａ、１５ｂからの音を収音しマイク素子を有するマイク３ａ、３ｂが接続されたＴＶ会議端末１において、マイク素子から得られる複数のマイク信号を基にマイク３ａ、３ｂの指向性を示す感度パターンが異なる複数の相関関数を生成し、複数の相関関数からそれぞれ求められる遅延時間のうち最短の遅延時間を推定する遅延制御回路９と、最短の遅延時間を用いて複数のマイク信号のエコーを抑圧するエコー抑圧部８ａ、８ｂと、を備えることを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＴＶ会議システム等に用いるエコーキャンセル装置、それを用いた会議システム、およびエコーキャンセル方法に関するものである。
【背景技術】
【０００２】
従来、エコーキャンセル装置としてＴＶ会議システムに用いるものがあり、ＴＶを接続してそのスピーカから音声を出力する場合に生じる音響エコーをＴＶのスピーカの遅延時間に応じて抑圧するものがあった（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２１４９７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来の技術では、ＴＶのスピーカからＴＶ会議システムのマイクに到達する時間を用いてＴＶのスピーカの遅延時間を計算しているため、マイクの特性によっては遅延時間を正確に測定することができず、エコーを抑圧することができなかった。
【０００５】
つまり、エコーが入らないように話者の方に感度が高い指向性を有するマイクを用いた場合、スピーカの方向の感度が低く、壁などに反射した音（反射波）などの音と比較してスピーカからの音（直接波）が小さくなり、直接波を検知できないため、反射波を直接波と誤認して遅延時間を推定することがあり、正確な遅延時間が測定できず、適切にエコー処理を行えない場合があった。
【０００６】
そこで、本発明は、上記問題に鑑み、マイクの特性によらずエコーを低減することができるエコーキャンセル装置、それを用いた会議システム、およびエコーキャンセル方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために本発明は、スピーカ信号を出力するスピーカとスピーカからの音を収音し複数のマイク素子を有するマイクが接続されたエコーキャンセル装置において、複数のマイク素子から得られる複数のマイク信号を基にマイクの指向性を示す感度パターンが異なる複数の感度信号を生成する生成部と、複数の感度信号からそれぞれ求められるマイク信号とスピーカ信号との遅延時間のうち最短の遅延時間を推定する遅延時間推定部と、推定された最短の遅延時間を用いて複数のマイク信号のエコーを抑圧するエコー抑圧部と、を備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、マイクの特性によらずエコーを低減することができる。
【図面の簡単な説明】
【０００９】
【図１】ＴＶ会議システムの概念図
【図２】ＴＶ会議システムのブロック図
【図３】エコーキャンセル装置のブロック図
【図４】遅延制御回路のブロック図
【図５】遅延制御回路のフロー図
【図６】相関関数のピークを示した概念図
【図７】エコー処理を示す概念図
【図８】マイク周辺の概念図
【図９】Ｌｃｈのマイクの概念図
【図１０】Ｒｃｈのマイクの概念図
【図１１】Ｌｃｈ＋Ｒｃｈのマイクの概念図
【図１２】Ｌｃｈ−Ｒｃｈのマイクの概念図
【図１３】遅延制御回路のブロック図
【図１４】遅延制御回路のブロック図
【図１５】遅延制御回路のブロック図
【発明を実施するための形態】
【００１０】
本発明のエコーキャンセル装置は、スピーカ信号を出力するスピーカとスピーカからの音を収音し複数のマイク素子を有するマイクが接続されたエコーキャンセル装置において、複数のマイク素子から得られる複数のマイク信号を基にマイクの指向性を示す感度パターンが異なる複数の感度信号を生成する生成部と、複数の感度信号からそれぞれ求められるマイク信号とスピーカ信号との遅延時間のうち最短の遅延時間を推定する遅延時間推定部と、最短の遅延時間を用いて複数のマイク信号のエコーを抑圧するエコー抑圧部と、を備えることを特徴とする。
【００１１】
これにより、マイクの特性によらずエコーを低減することができる。
【００１２】
また、複数のマイク素子が２つのとき、感度信号は、１つのマイク信号から得られる感度信号をｃ1、ｃ2、任意の実数をｋ1、ｋ2とするとき、所定の式で求められることを特徴とする。
【００１３】
また、最短の遅延時間が所定時間より大きい場合、最短の遅延時間から所定時間を引いた時間をスピーカ信号の遅延時間とし、最短の遅延時間が所定時間より小さい場合、最短の遅延時間をスピーカ信号の遅延時間とすることにより、使用中にマイクの移動などの変化があったとしても、確実にエコーを低減することができる。
【００１４】
また、遅延時間が変化したとき、その変化時間が第２の所定時間より小さい場合、変化前の遅延時間をスピーカ信号の遅延時間とすることにより、スピーカ信号の遅延時間を変化させることによって生じるエコーを低減することができる。
【００１５】
また、マイク信号とスピーカ信号の周波数帯域を制限する周波数帯域制限部を有し、遅延時間推定部において、周波数帯域制限部で帯域制限しダウンサンプリングされたマイク信号とスピーカ信号を遅延時間推定部に送ることを特徴とする。
【００１６】
これにより、周波数帯域を制限することによって、演算すべきデータ数が少なくなるため、演算量を低減することができる。
【００１７】
また、マイク信号とスピーカ信号の周波数帯域を分割し、ダウンサンプリングする周波数帯域分割部を有し、周波数帯域分割部により分割されたそれぞれの周波数帯域におけるマイク信号とスピーカ信号の周波数帯域別遅延時間を推定し、推定した周波数帯域別遅延時間のうち、最短の周波数帯域別遅延時間をマイクとスピーカ間の遅延時間とすることを特徴とする。
【００１８】
これにより、周波数帯域を分割することによって、演算すべきデータ数が少なくなるため、演算量を低減することができる。
【００１９】
また、マイク信号とスピーカ信号の周波数帯域を分割し、ダウンサンプリングする周波数帯域分割部と、分割されたそれぞれの周波数帯域におけるスピーカ信号のパワーを推定するパワー推定部と、パワーに基づいて使用する周波数帯域を選択する判定部とを有し、判定部において判定された周波数帯域のマイク信号とスピーカ信号を遅延時間推定部に送ることを特徴とする。
【００２０】
これにより、周波数帯域を分割し、使用する周波数帯域を限定することによって、演算すべきデータ数が少なくなるため、演算量を低減することができる。
【００２１】
また本発明のエコーキャンセル方法は、スピーカ信号を出力するスピーカとスピーカからの音を収音し複数のマイク素子を有するマイクが接続されたエコーキャンセル装置において、複数のマイク素子から得られる複数のマイク信号を基にマイクの指向性を示す感度パターンが異なる複数の感度信号を生成するステップと、複数の感度信号からそれぞれ求められるスピーカ信号とマイク信号との遅延時間のうち最短の遅延時間を推定するステップと、最短の遅延時間を用いて複数のマイク信号のエコーを抑圧するステップと、を備えることを特徴とする。
【００２２】
これにより、マイクの特性によらずエコーを低減することができる。
【００２３】
また本発明の会議システムは、スピーカ信号を出力するスピーカと、スピーカからの音を収音し複数のマイク素子を有するマイクと、スピーカとマイクが接続されるエコーキャンセル装置と、を備えた会議システムにおいて、エコーキャンセル装置は、複数のマイク素子から得られる複数のマイク信号を基にマイクの指向性を示す感度パターンが異なる複数の感度信号を生成する生成部と、複数の感度信号からそれぞれ求められるスピーカ信号とマイク信号との遅延時間のうち最短の遅延時間を推定する遅延時間推定部と、最短の遅延時間を用いて複数のマイク信号のエコーを抑圧するエコー抑圧部と、を備えることを特徴とする。
【００２４】
これにより、マイクの特性によらずエコーを低減することができる。
【実施例】
【００２５】
本発明の実施例について以下図面を用いて説明する。なお、本実施例では、ＴＶ会議システムを例に説明するが、電話会議システム等のスピーカとマイクとを用いてエコーキャンセルを行うものであれば適宜利用可能である。
【００２６】
図１を用いて、ＴＶ会議システムの構成について説明する。図１は、ＴＶ会議システムの概念図である。
【００２７】
図１において、ＴＶ会議システムは、ＴＶ会議端末１に、映像、音声を出力するＴＶ２、会議者参加者の音声を拾うマイク３、および会議者参加者を撮像するカメラ４が接続されており、インターネット５を介して他のＴＶ会議端末に接続されている。
【００２８】
ＴＶ会議端末１は、詳細は後述するが、会議参加者の映像、音声をマイク３、カメラ４から取得し、その映像、音声信号（マイク信号）を、インターネット５を通じて他のＴＶ会議端末に送信し、同様に他のＴＶ会議端末から映像信号、音声信号（スピーカ信号）を受信し、ＴＶ２に出力する。
【００２９】
ＴＶ２は、一般的なＴＶであって、ＴＶ会議システムから送られてくる映像信号を表示するためのディスプレイとＴＶ会議システムから送られてくる音声信号（スピーカ信号）を出力するスピーカ（本実施例ではステレオスピーカ）等を有し、スピーカ信号は映像信号と同期させるために所定時間（例えば１００ｍｓｅｃ）遅延させて出力し、ＴＶ２において映像と音声との同期をとっている。
【００３０】
マイク３は、複数のマイク素子を有するマイクで、本実施例のマイク３は円形状のマイクであり、内部に２つのマイク素子が配置されている。その２つのマイク素子３ａ、３ｂは、マイク３の中心を基準にマイク素子３ａとマイク素子３ｂのなす角が１２０°、それぞれのマイク素子３ａ、３ｂはマイク３のケーブル接続部分となす角が１２０°になるように設計されている。
【００３１】
なお、本実施例のマイク素子３ａ、３ｂは、指向性を持つマイクであり、マイク３全体では、マイク素子３ａ、３ｂが配置されている側の感度が高く、反対側のケーブルが接続されている側の感度が低くなっている。
【００３２】
図１で示したＴＶ会議システムについて、図２を用いて詳細に説明する。図２は、ＴＶ会議システムのブロック図である。なお、図中の矢印はデータの送信方向を示している。
【００３３】
ＴＶ会議端末１は、カメラ４からのアナログ映像信号をデジタル映像信号に変換する映像ＡＤＣ６、マイク３からのアナログマイク信号をデジタルマイク信号に変換する音声ＡＤＣ７、マイク信号の音響エコー（以下エコーとする）を低減（抑圧）するエコーキャンセル装置２６、映像ＡＤＣ６から出力されたデジタル映像信号、エコーキャンセル装置２６から出力されたマイク信号をエンコードするＡＶエンコーダ１０、エンコードした映像、音声データを他のＴＶ会議端末に送信し他のＴＶ会議端末から映像、音声データを受信する通信部１１、通信部１１にて受信した他のＴＶ会議端末からの映像、音声データをデコードするＡＶデコーダ１２、ＡＶデコーダ１２からのデジタルスピーカ信号をアナログスピーカ信号に変換する音声ＤＡＣ１３、ＡＶデコーダ１２からのデジタル映像信号をアナログ映像信号に変換する映像ＤＡＣ１４により構成されている。
【００３４】
ここで、エコーキャンセル装置２６は、スピーカとマイク間の音響特性を推定し、マイク信号からエコーを差し引くエコー抑圧部８、エコーを抑圧するために必要な遅延時間を推定する遅延制御回路９を備えている。
【００３５】
なお、エコーキャンセル装置２６は本実施例において音声ＤＳＰに搭載されているが、汎用のＣＰＵで実現してもよい。
【００３６】
また、本実施例ではエコーキャンセル装置２６を用いてエコーの抑圧を行っているが、対象のマイク信号を線形あるいは非線形的に減衰させるエコーサプレッサを用いてエコーの抑圧を行ってもよく、エコーキャンセル装置２６、エコーサプレッサの両方を用いてもよい。
【００３７】
また、本実施例において、マイク３はステレオマイクであるため、２チャンネルのマイク信号を有するが、図２においては簡略化のため１チャンネルのマイク信号としている。
【００３８】
ＴＶ２は、スピーカ１５、ディスプレイ１６、ＴＶ会議端末１からのアナログ映像信号を受信しディスプレイ１６に表示するための表示信号に変換する映像処理回路１７、ディスプレイ１６の表示映像と音声を同期させるためにＴＶ会議システムのからのアナログスピーカ信号を遅延させる遅延回路１８により構成されている。
【００３９】
なお、ＴＶ２のスピーカ１５もステレオであるため２チャンネルのスピーカ信号を有するが、図２においては簡略化のため１チャンネルのスピーカ信号としている。
【００４０】
また、ＴＶ２、マイク３、カメラ４は、それぞれアナログ信号にて入出力しているため、映像ＡＤＣ６、音声ＡＤＣ７、音声ＤＡＣ１３、映像ＤＡＣ１４を設けているが、ＴＶ２、マイク３、カメラ４が、それぞれデジタル信号で入出力されるのであれば、上記回路は不要である。
【００４１】
ここで、上述するエコーについて説明する。上記のようなＴＶ会議システムにおいては、ＴＶ２のスピーカ１５から出力された音声が直接あるいは壁面などを反射して、マイク３に入力され、その結果、スピーカ１５から直接マイク３に入る音や壁などに反射して入る音によってエコーが発生し、そのエコーによって音声品質を低下させることがある。
【００４２】
そのため、上記エコーキャンセル装置２６を用いてマイク３からのマイク信号のエコーを抑圧するようにしている。
【００４３】
上記のように構成されたＴＶ会議システムの動作について説明する。
【００４４】
ＴＶ会議端末１と他のＴＶ会議端末によってＴＶ会議を開始すると、カメラ４で撮像された映像が映像信号として映像ＡＤＣ６を介して、ＡＶエンコーダ１０に送られ、同様にマイク３で取得した音声がマイク信号としてエコーキャンセル装置２６を介して、エコーが抑圧されたマイク信号としてＡＶエンコーダ１０に送られる。
【００４５】
そして、ＡＶエンコーダ１０によってエンコードされた映像、音声データを通信部１１からインターネット５を介して他のＴＶ会議端末に送信される。
【００４６】
また、通信部１１にて他のＴＶ会議端末から受信した映像、音声データは、ＡＶデコーダ１２によってデコードされ、音声ＤＡＣ１３、映像ＤＡＣ１４を介して、映像信号、スピーカ信号それぞれをＴＶ２に出力する。
【００４７】
ＴＶ会議端末１から出力された映像信号は、ディスプレイ１６に表示するために映像処理回路１７によって処理を行うが、一般的に１００ｍｓｅｃ程度の遅延が生じる。そのため、ＴＶ会議端末１から出力されたスピーカ信号をそのままＴＶ２のスピーカ１５から出力してしまうと、映像処理回路１７において画像処理している時間に応じて、ＴＶ２の映像と音声のずれが生じるため、予め遅延回路１８にて、映像処理回路１７によって生じる遅延時間分、音声信号を遅延させて出力し、ＴＶ２の映像と音声のずれをなくしている。
【００４８】
ここで、本実施例におけるＴＶ会議端末を用いた場合のエコーの抑圧方法について図３を用いて詳細に説明する。
【００４９】
本実施例において音声は２チャンネルであるため、マイク３はマイク素子３ａ、３ｂを、スピーカ１５は、スピーカ１５ａ、スピーカ１５ｂを備え、マイク素子３ａ、３ｂから得られたマイク信号はそれぞれ音声ＡＤＣ７ａ、７ｂを介してエコー抑圧部８ａ、８ｂと遅延制御回路９に送られる。
【００５０】
その後、エコー抑圧部８ａ、８ｂによって処理されたマイク信号は、ＡＶエンコーダ１０の中のオーディオエンコーダ２７によりエンコードされた後、他のＴＶ会議端末に送信される。
【００５１】
また、他のＴＶ会議端末から送信されたスピーカ信号はＡＶデコーダ１２のオーディオデコーダ２８によってデコードされ、デコードされたスピーカ信号は、エコー抑圧部８、遅延制御回路９、スピーカ１５にそれぞれ送られる。
【００５２】
ここで、遅延制御回路９は、マイク素子３ａから得られたマイク信号と、マイク素子３ｂから得られたマイク信号を基に後述する複数の感度信号を生成し、その感度信号とスピーカ信号との相関関数を演算する相関算出回路１９とその相関算出回路１９により求めた相関関数からＴＶ２におけるスピーカ信号の遅延時間を求める遅延時間推定部２９を備える。
【００５３】
そして、エコー抑圧部８ａ、８は、遅延時間推定部２９で推定した遅延時間分スピーカ信号を遅延させ、その遅延させたスピーカ信号とマイク信号を基にエコー抑圧部８内部の適応フィルタにより擬似エコー信号を推定し、擬似エコー信号をマイク信号から差し引くことにより、マイク信号に含まれるエコー成分を抑圧し、そのエコーを抑圧したマイク信号をオーディオエンコーダ２７に送る。
【００５４】
なお、本実施例でエコー抑圧部８に用いる遅延時間はスピーカ信号に対してマイク信号が遅延している遅延時間のことであり、スピーカ信号はエコー抑圧部８に入力されるスピーカ信号であり、マイク信号はスピーカ信号と同様にエコー抑圧部８に入力されるマイク信号である。
【００５５】
そのため、上記遅延時間は、音声ＤＡＣ１３、遅延回路１８、スピーカ１５、マイク３、音声ＡＤＣ７によって生じる遅延時間と、スピーカ１５から出力された音声がマイク３に到達するまでの遅延時間を含むものとなる。
【００５６】
ここで、上記エコー処理に必要な遅延時間を推定（算出）する遅延制御回路９の詳細について図４を用いて説明する。図４は、遅延制御回路のブロック図である。
【００５７】
なお、本実施例では、上述したように２つのマイク素子を使用しているため、２チャンネルのマイク信号があり、マイク素子３ａから得られるマイク信号をマイク信号Ｌｃｈ、マイク素子３ｂから得られるマイク信号をマイク信号Ｒｃｈとする。
【００５８】
また、他のＴＶ会議端末から得られるスピーカ信号も２チャンネルあるため、それぞれのスピーカ信号をスピーカ信号Ｌｃｈ、スピーカ信号Ｒｃｈとする。
【００５９】
図４において、遅延制御回路９は、マイク信号、スピーカ信号を用いて、マイクの感度信号に相当する複数の相関関数を出力する相関算出回路１９、その相関関数を元に遅延時間を推定する遅延時間推定部２９により構成されている。
【００６０】
また、遅延時間推定部２９は、算出した相関関数のうち相関値が凸になる複数のピークを検出するピーク検出回路２０、ピーク検出回路２０の出力の内、遅延時間が最短となるピークを検出し、スピーカとマイク間の遅延時間を決定する遅延推定回路２１により構成されている。
【００６１】
上記のように構成された遅延制御回路９の動作について図５を用いて説明する。図５は、遅延制御回路のフロー図である。
【００６２】
遅延制御回路９は、まず、相関算出回路１９にて、入力されたＬｃｈマイク信号ｍL（
ｔ）、Ｒｃｈマイク信号ｍR（ｔ）と、Ｌｃｈ、Ｒｃｈスピーカ信号を合成したスピーカ
信号ｓ（ｔ）について、Ｌｃｈ、Ｒｃｈの相関関数を算出する（ｓｔｅｐ１）。
【００６３】
ここで、上記相関関数は（数１）、（数２）を用いて算出する。
【００６４】
【数１】
【００６５】
【数２】
【００６６】
なお、上記式において、τはスピーカ信号を所定時間ずらしたシフト時間であり、相関関数の時間軸に対応し、ｔはスピーカ信号、マイク信号における現在時刻、ｓ（τ−ｔ）はτ時間ずらしたスピーカ信号、ｃL（τ）はＬｃｈの相関関数、ｃR（τ）はＲｃｈの相関関数である。
【００６７】
相関算出回路１９にて上記Ｌｃｈ、Ｒｃｈの相関関数ｃL（τ）、ｃR（τ）を基に、Ｌｃｈ＋Ｒｃｈの相互相関関数ｃadd（τ）を算出し（ｓｔｅｐ２）、同様にＬｃｈ−Ｒｃ
ｈの相互相関関数ｃdiff（τ）を算出する（ｓｔｅｐ３）。
【００６８】
なお、上記Ｌｃｈ＋Ｒｃｈ、Ｌｃｈ−ＲＣｈの相互相関関数ｃadd（τ）、ｃdiff（τ
）の算出は（数３）、（数４）を用いる。
【００６９】
【数３】
【００７０】
【数４】
【００７１】
その後、Ｌｃｈ、Ｒｃｈの相関関数ｃL（τ）、ｃR（τ）とＬｃｈ＋Ｒｃｈ、Ｌｃｈ−Ｒｃｈの相互相関関数ｃadd（τ）、ｃdiff（τ）の４つの相関関数の瞬時のピークの変
動を軽減するためにそれぞれの相関関数毎に時間平均をとり、時間平均後の平均相関関数を算出し、ピーク検出回路２０に出力する（ｓｔｅｐ４）。
【００７２】
なお、本実施例においては、瞬時のピーク変動を軽減するために時間平均を取っているが、エコー処理を簡略化するために省略してもよい。
【００７３】
次に、ピーク検出回路２１にてその時間平均相関関数のうち相関値が凸になる複数のピークを検出する（ｓｔｅｐ５）。
【００７４】
ここで、ピーク検出について図６を用いて説明する。図６は、相関関数のピークを示した概念図である。
【００７５】
図６において、縦軸を相関値、横軸を遅延時間として、ある相関関数を示したものであり、この相関関数からピークを検出する。
【００７６】
なお、上記相関関数とは、感度信号に相当するものであり、マイク信号とスピーカ信号の相関を示したものであり、図６においては、スピーカ信号の時間軸を所定時間ずらしたときに、マイク信号とどのくらい相関があるか（どのくらい波形が一致しているか）を示したものであり、前述した（数１）、（数２）に示すものである。
【００７７】
相関関数における相関値のピークの検出は、相関関数全体の平均と偏差を用いて行い、（数５）の条件を満たす部分をピークと判定する。
【００７８】
【数５】
【００７９】
なお、ｃmaxはピークを判定する部分、μcは相関関数全体の平均、νcは相関関数の全
体における偏差、λcはピークの閾値を調整するパラメータであり、大きくすると尖った
ピークしか検出されなくなり、小さくするとピークが検出しやすくなるため、目的により適宜設定する。なお、本実施例においては５〜７に設定する。
【００８０】
上記条件によって、図６においては、星印の指す３つのピークが検出される。
【００８１】
そして、それぞれの相関関数毎にピークを検出し、遅延推定回路２１にて検出したピークに基づいてそれぞれの相関関数内で最初に出てきたピークにおける遅延時間のうち、最短の遅延時間をスピーカ信号の遅延時間と推定し、推定した遅延時間に所定のマージンを引いた値を遅延推定回路２１の遅延時間として出力する（ｓｔｅｐ６）。
【００８２】
ここで、最短の遅延時間を推定する理由について説明する。マイク３におけるそれぞれの相関関数について、ピークを検出するとマイク信号の遅延時間を求めることができ、いくつかの遅延時間を求めることができるが、スピーカ１５から到達する音は、壁などに反射してマイク３に入る反射波より直接マイク３に入る直接波の方が早く、そのため最短の遅延時間が直接波の遅延時間となる。
【００８３】
また、エコー処理は、直接波成分を含む音に対して行うため、直接波の遅延時間が分かれば、効果的にエコー処理を行うことができる。
【００８４】
そのため、エコー処理を行うために必要な直接波の遅延時間、つまり最短の遅延時間を推定する。
【００８５】
以下、ピーク検出から遅延時間を推定するまでの方法について例を挙げて説明する。
【００８６】
本実施例では、Ｌｃｈ、Ｒｃｈ、Ｌｃｈ＋Ｒｃｈ、Ｌｃｈ−Ｒｃｈの相関関数のピークを検出し、それぞれの最短の遅延時間を求め、Ｌｃｈ、Ｒｃｈ、Ｌｃｈ＋Ｒｃｈ、Ｌｃｈ−Ｒｃｈの遅延時間の内、最短の遅延時間を選択する。
【００８７】
例えば、Ｌｃｈの相関関数が図６の相関関数だとすると、ピークが検出された遅延時間は図６に示すように３６ｍｓｅｃ、４９ｍｓｅｃ、５６ｍｓｅｃとなり、Ｌｃｈの遅延時間は３６ｍｓｅｃと推定する。
【００８８】
同様に、Ｒｃｈ、Ｌｃｈ＋Ｒｃｈ、Ｌｃｈ−Ｒｃｈにて上記と同様の作業を行い、最短の遅延時間がそれぞれ、Ｌｃｈが３６ｍｓｅｃ、Ｒｃｈが３６ｍｓｅｃ、Ｌｃｈ＋Ｒｃｈが４９ｍｓｅｃ、Ｌｃｈ−Ｒｃｈが３６ｍｓｅｃだった場合、遅延推定回路２１は、ピーク検出の結果より求める遅延時間を３６ｍｓｅｃと設定する。
【００８９】
ここで、Ｌｃｈ＋Ｒｃｈのみ遅延時間が遅いのは、後述するが本実施例のマイク３の配置では、マイク３の感度が直接波に対して低く、ピーク検出回路２０でピークが検出されず、最初のピークが反射波のピークとなって、反射波のピークの遅延時間を最短の遅延時間と判定したためである。
【００９０】
なお、本実施例では、ピーク検出回路２０にて、１つの相関関数中のすべてのピークを検出して、遅延推定回路２１に送っているが、遅延推定回路２１は、それぞれの相関関数における最短の遅延時間が分かればよいので、ピーク検出回路２０は、最初のピークを検出したらピーク検出を終了し、検出したピークの遅延時間のみを遅延推定回路２１に送ることも可能である。
【００９１】
また、本実施例では、４つの相関関数を用いて直接波の遅延時間を推定しているが、２つ以上の相関関数を用いれば遅延時間を推定することができる。用いる相関関数が多いほうが、直接波をより確実に検知できるので、本実施例では４つの相関関数にて行っている。
【００９２】
上記のように、遅延時間を決定する理由について図７を用いて説明する。図７は、エコー処理を示す概念図であり、縦軸を振幅ａ、横軸を時間ｔとし、図７（ａ）は、遅延時間制御をしない場合、図７（ｂ）は、遅延時間制御が正常に行われなかった場合、図７（ｃ）は、遅延時間を正常に行った場合を示す。なお、図７は、遅延時間を分かりやすく説明するため、スピーカとマイクとの間の音響特性に相当するインパルス応答を用いて説明する。
【００９３】
図７において、Ａはエコー推定可能な区間、つまりスピーカ信号に基づき擬似エコーを生成することによりエコーを抑圧できる区間とし、エコー推定可能な区間の開始時間を基準（ｔ＝０）に取る。
【００９４】
また、Ｂはスピーカとマイクとの間の音響特性に相当するインパルス応答でありスピーカから直接マイクに到達した直接波や、壁などに反射してマイクに到達した反射波を含む。なお、図中の太線の直接波、点線の反射波であり、その他の線は、直接波や反射波によって生じる残響成分であり、また、遅延時間をＴ、マージンをＳとする。
【００９５】
図７（ａ）に示すように、遅延時間制御を行わないと、エコー推定可能な区間Ａから外れた区間、つまりエコーを抑圧することができない区間にマイク信号のインパルス応答における後ろの部分（図７（ａ）のＣ）が残り、Ｃの部分について、エコーを抑圧することができず、エコー処理が適切に行うことができない。
【００９６】
そのため、相関関数から求めた遅延時間で遅延制御を行うが、反射波の遅延時間を直接波の遅延時間と誤認した場合、図７（ｂ）に示すように、今度は図７（ａ）とは反対にマイク信号のインパルス応答における前の部分（図７（ｂ）のＤ）である直接波の部分が、エコー推定可能な区間Ａから外れてしまい、図７（ａ）より影響が大きい直接波の部分のエコー成分が抑圧することができず、エコー処理が適切に行われない。
【００９７】
つまり、本来は直接波の遅延時間Ｔを用いて、スピーカ信号を遅延させて、マイク信号のインパルス応答Ｂがエコー推定可能な区間Ａに入るように行うが、反射波を直接波と誤認しているため、図７（ｂ）に示すように、反射波の遅延時間Ｔ´を用いてスピーカ信号を遅延させるため、適切なエコー処理ができなくなる。
【００９８】
そのため、上記のような遅延時間の推定方法を用いて、直接波の遅延時間を確実に測定できるようにし、図７（ｃ）に示すようにエコー処理においてエコーが推定可能な区間Ａにマイク信号のインパルス応答が入るようにする。
【００９９】
このとき、所定のマージンＳを設けるのは、遅延時間の推定の誤差や、マイク３をスピーカ側に少し近づけた場合などの遅延時間が短くなる変動によって、図７（ｂ）のように直接波がエコー推定可能な区間Ａから外れることを防ぎ、確実に影響が大きいエコー成分（直接波）を抑圧できるようにするためである。
【０１００】
なお、本実施例においては、所定のマージンＳは２０ｍｓｅｃとしており、上記の例で説明すると、選択した遅延時間３６ｍｓｅｃから２０ｍｓｅｃを減算して、最終的に遅延制御回路９としては、遅延時間を１６ｍｓｅｃとして出力する。
【０１０１】
遅延時間が所定のマージンＳより大きい場合、上記のようにして遅延時間を算出するが、遅延時間が所定のマージンより小さい場合、遅延時間をそのまま遅延制御回路９の遅延時間として出力する（遅延時間から所定のマージンを引かない）。
【０１０２】
また、所定のタイミングで遅延制御回路９にて遅延時間を再算出したとき、現在推定している（エコー抑圧部８で使用している）遅延時間との差が所定時間（本実施例では１０ｍｓｅｃ）より小さい場合、遅延制御回路９が出力する遅延時間を変更しないようにしている。
【０１０３】
これにより、エコー処理の性能を維持しつつ遅延時間を再設定してエコー処理を行うことによる一時的なエコーを軽減することができる。
【０１０４】
ここで、上記のように複数の相関関数を用いて遅延時間を求める理由について図８〜図１２を用いて詳細に説明する。図８は、マイク周辺の音波の概念図、図９は、Ｌｃｈのマイクの概念図、図１０は、Ｒｃｈのマイクの概念図、図１１は、Ｌｃｈ＋Ｒｃｈのマイクの概念図、図１２は、Ｌｃｈ−Ｒｃｈのマイクの概念図である。
【０１０５】
本実施例のマイク３は、マイク素子３ａ、３ｂを前述のように配置し、２つのマイク素子３ａ、３ｂによって形成される感度パターン（Ｌｃｈ＋Ｒｃｈ）においてマイク３の前方（マイク３のケーブルが接続される部分とは反対の部分）に感度が高く、マイク３の後方（マイク３のケーブルが接続される部分）に感度が低いマイクとなっている。
【０１０６】
このように構成されたマイク３は、一般的に図８に示すように配置され、感度の高い部分を話者側に配置し、感度が低い部分をスピーカ１５側に配置する。このように配置することで、話者の音声を確実に拾い、スピーカ１５の音がなるべくマイクに入らないようにしている。
【０１０７】
このとき、上記の感度パターン（Ｌｃｈ＋Ｒｃｈ）では直接波は、マイク３の感度の低い部分に到達するため、マイク信号としての出力（振幅）は小さくなる。対して、マイク信号が壁に反射した反射波は、マイク３の感度の高い部分に到達するので、直接波より出力が大きくなる。
【０１０８】
そのため、上記の感度パターン（Ｌｃｈ＋Ｒｃｈ）のみを用いて遅延時間を推定する場合、直接波のピークが反射波のピークより小さく直接波のピークを検出できない場合があり、そのときは反射波のピークの遅延時間をＬｃｈ＋Ｒｃｈの相関関数の遅延時間として判定する。
【０１０９】
この場合、実際にマイクに到達するまでに生じるスピーカ信号の遅延時間より長い遅延時間を推定してしまい、図７（ｂ）に示すようにマイク信号における直接波によるエコーを抑圧することができない。
【０１１０】
このため、本実施例では、２つのマイク素子の組合せによって、感度パターン（相関関数）を複数作り出し、遅延時間の推定において１つの相関関数によって求められる遅延時間が反射波の遅延時間を直接波の遅延時間として誤っていたとしても、その他の相関関数によって求められる遅延時間によって、直接波の遅延時間を確実に得ることができる。
【０１１１】
以下、複数の感度パターンの例について説明する。
【０１１２】
図９は、マイク素子３ａの出力のみで形成されるＬｃｈのマイク信号について示したものであり、図９（ｂ）は、図９（ａ）のようにマイクを配置した場合にＬｃｈのマイク信号によって形成される感度パターンであり、円の外側に線が来るものがその方向に対してより感度が高いことを示す。また、図９（ｃ）は、図９（ｂ）で収音したＬｃｈのマイク信号のインパルス応答を示すものである。
【０１１３】
なお、図９（ｃ）において直接波を太線、反射波を破線としているが、その線のみが直接波、反射波ではなく、太線、破線は、直接波、反射波の始まりを示すものである。
【０１１４】
また、図１０〜図１２も上記と同様の図であり、図９がＬｃｈのマイク信号について示したものであることに対し、図１０は、Ｒｃｈのマイク信号について示したもの、図１１は、Ｌｃｈ＋Ｒｃｈのマイク信号について示したもの、図１２は、Ｌｃｈ−Ｒｃｈのマイク信号について示したものである。
【０１１５】
図９〜図１２により、２つのマイク素子の組合せによって、複数の感度パターンを形成することができ、反射波が直接波より十分に大きいＬｃｈ＋Ｒｃｈのマイク信号における感度パターンでピークを検知し、直接波を推定し、遅延時間を推定することより、何れかの感度パターンによって、確実に直接波の遅延時間を得ることができ、エコー処理に用いる遅延時間を確実に推定することができる。
【０１１６】
なお、複数のマイク信号の感度パターンの形成は、上記説明したＬｃｈ、Ｒｃｈのマイク信号を組み合わせることによって形成することができ、それぞれの感度パターンにおける直接波の遅延時間を求めるには、Ｌｃｈ、Ｒｃｈの相関関数を用いて行い、その関係式は（数６）に表すようになり、ｃ（τ）は、合成後の感度パターンに対応する相互相関関数であり、ｃL（τ）、ｃR（τ）は、Ｌｃｈ、Ｒｃｈの感度パターンに対応する相関関数であり、ｋL、ｋRは任意の実数である。なお、本実施例で使用している４つの相関関数はＬｃｈはｋR＝０、Ｒｃｈは、ｋL＝０、Ｌｃｈ＋ＲｃｈはｋL＝１、ｋR＝１、Ｌｃｈ−ＲｃｈはｋL＝１、ｋR＝−１としており、Ｌｃｈ＋Ｒｃｈ、Ｌｃｈ−Ｒｃｈは、（数３）、（数４）に示す相互相関関数を用いている。
【０１１７】
【数６】
【０１１８】
なお、（数６）はマイク素子が２つの場合を示したものであり、マイク素子がｎ個のとき、（数７）によって相関関数ｃ´（τ）を求めることができる。ここで、ｋは任意の実数、ｃ（τ）はそれぞれの相関関数である。
【０１１９】
【数７】
【０１２０】
つまり、複数の感度パターンは、Ｌｃｈ、Ｒｃｈのような元々得られるマイク信号に対応する感度パターンのほかに、Ｌｃｈ、Ｒｃｈのマイク信号を組み合わせることによって形成する感度パターンの２つがある。
【０１２１】
本実施例では以上のようにしてスピーカ１５からマイク３に音声が到達するまでの遅延時間を推定したが、後述のようにすることで更に演算量を削減することができる。以下、演算量を削減する構成について３つ例を挙げて説明する。
【０１２２】
１つ目として、遅延制御回路９を図１３のように置き換える方法がある。図１３は、遅延制御回路のブロック図である。
【０１２３】
具体的には、マイク信号とスピーカ信号の周波数帯域を制限して相関関数を算出する。図１３において、遅延制御回路９は、マイク信号、スピーカ信号の周波数帯域を制限する周波数帯域制限回路２３ａ、２３ｂ、２３ｃ、２３ｄ、周波数帯域を制限されたマイク信号とスピーカ信号を用いて相関関数を出力する相関算出回路１９、算出した相関関数のピークを検出するピーク検出回路２０、複数の相関関数にて検出されたピークを用いて遅延時間を決定する遅延推定回路２１により構成されている。
【０１２４】
各周波数帯域制限回路にはマイク信号またはスピーカ信号が入力され、ＦＩＲフィルタもしくはＩＩＲフィルタなどの帯域制限フィルタを用いて帯域制限を行う。マイク信号とスピーカ信号の周波数帯域を制限する周波数帯域制限回路の制限周波数帯域は全て同じである必要がある。上記例では、帯域を制限しない方法では０〜１２ｋＨｚの周波数帯域を用いて相関関数を算出していたが、図１３では、６ｋＨｚ以上の帯域を通すハイパスフィルターを用いて６〜１２ｋＨｚに帯域制限を行なって相関関数算出を行なっている。
【０１２５】
上記のように周波数帯域を制限することで、ダウンサンプリングを行うことができる為、演算すべきデータ数が少なくなり、全帯域を用いて相関関数を算出する場合と比較して、演算量を削減することができる。（数１）、（数２）で示したように相関関数算出の演算はマイク信号とスピーカ信号との畳込み演算であるため、単位時間あたりの相関関数の演算量はサンプリング周波数の２乗に比例して大きくなる。
【０１２６】
そのため、帯域制限を行い、サンプル数Ｋでダウンサンプリングを行うことによって、単位時間あたりの相互相関関数の演算量を１／Ｋ2に削減することができる。本実施例においては、サンプリング周波数を１２ｋＨｚから１／２の６ｋＨｚにダウンサンプリングしているため、全帯域を用いて演算を行う場合と比較して相関関数算出の演算量が１／４になる。
【０１２７】
なお、帯域制限によってダウンサンプリングを行ったマイク信号とスピーカ信号は、相関算出回路１９に入力され、図５と同じ手順で遅延時間の推定を行う。
【０１２８】
なお、ローパスフィルターやバンドパスフィルターを使って任意の帯域に帯域制限を行なっても良いが、高域信号の方が反射の影響を受けにくい為、ハイパスフィルターを用いる方がより直接音を推定しやすくなる。
【０１２９】
２つ目として、遅延制御回路９を図１４のように置き換える方法がある。図１４は、遅延制御回路のブロック図である。
【０１３０】
具体的には、マイク信号とスピーカ信号を周波数帯域毎に分割し、それぞれの周波数帯域において遅延時間を推定し、複数の遅延時間の中から最短の遅延時間を選択する。図１４において、遅延制御回路９は、マイク信号、スピーカ信号の周波数帯域を分割しダウンサンプリングする周波数帯域分割回路２４ａ、２４ｂ、２４ｃ、２４ｄ、各周波数帯域におけるマイク信号とスピーカ信号を用いて各周波数帯域の相関関数を算出する相関算出回路１９、算出した各周波数帯域における相関関数のピークを検出するピーク検出回路２０、各周波数帯域にて求められた遅延時間のうち、最短の遅延時間を算出しスピーカとマイク間の遅延時間を決定する遅延推定回路２１により構成されている。
【０１３１】
各周波数帯域分割回路にはマイク信号またはスピーカ信号が入力され、それぞれの信号毎に周波数帯域をＫ分割する。分割された周波数帯域毎に分割数Ｋでダウンサンプリングされる。分割された周波数帯域毎に図５と同じ手順で遅延時間の推定を行う。各周波数帯域での遅延時間を遅延推定回路２１に入力し、最短の遅延時間をマイク信号とスピーカ信号との遅延時間とする。
【０１３２】
例えば、本実施例では周波数帯域の分割数を４つとし、各周波数帯域をｆ１＝０〜３ｋＨｚ、ｆ２＝３〜６ｋＨｚ、ｆ３＝６〜９ｋＨｚ、ｆ４＝９〜１２ｋＨｚとして、それぞれの周波数帯域で相関関数を算出する。各周波数帯域における遅延時間の推定値が、ｆ１：５０ｍｓ、ｆ２：５０ｍｓ、ｆ３：３０ｍｓ、ｆ４：４０ｍｓの場合、推定される遅延時間は最短の３０ｍｓとなる。
【０１３３】
上記の方法では全ての周波数帯域において遅延時間を推定できるとしているが、遅延時間を推定できない周波数帯域がある場合、遅延時間を推定できた周波数帯域のみで相関関数算出を行い、遅延時間推定を行なってもよい。
【０１３４】
上述したように、相関関数の演算はマイク信号とスピーカ信号との畳込み演算であるため、単位時間あたりの相関関数の演算量はサンプリング周波数の２乗に比例して大きくなる。
【０１３５】
そのため、処理帯域をＫ分割し、Ｋでダウンサンプリングすることによって、１つの周波数帯域における単位時間あたりの相互相関関数の演算量は１／Ｋ2になる。そのため、Ｋ個の帯域を合計した全帯域の演算量は１／Ｋとなり、全帯域を用いて相関関数を算出する場合と比較して演算量を削減することができる。本実施例においては、周波数帯域１２ｋＨｚを４つに分割しているため、全帯域を用いて演算を行う場合と比較して相関関数算出の演算量が１／４になる。
【０１３６】
３つ目として、遅延制御回路９を図１５のように置き換える方法がある。図１５は、遅延制御回路のブロック図である。
【０１３７】
具体的には、マイク信号とスピーカ信号を周波数帯域毎に分割し、各周波数帯域のスピーカ信号のパワーを算出し、パワーが大きい帯域のみを用いて遅延時間を推定する方法がある。図１５において、遅延制御回路９は、マイク信号、スピーカ信号の周波数帯域を分割しダウンサンプリングする周波数帯域分割回路２４ａ、２４ｂ、２４ｃ、２４ｄ、各周波数帯域におけるスピーカ信号のパワーを算出するパワー算出回路２２、スピーカ信号のパワーに基づいて、相関関数算出のために用いる周波数帯域を決定するパワー判定回路２５、各周波数帯域におけるマイク信号とスピーカ信号を用いて相関関数を算出する相関算出回路１９、算出した各相関関数のピークを検出するピーク検出回路２０、各周波数帯域にて求められた遅延時間のうち、最短の遅延時間を算出しスピーカとマイク間の遅延時間を決定する遅延推定回路２１により構成されている。
【０１３８】
各周波数帯域分割回路にはマイク信号またはスピーカ信号が入力され、それぞれの信号毎に周波数帯域をＫ分割する。分割された周波数帯域毎に分割数Ｋでダウンサンプリングされる。分割されたスピーカ信号を周波数帯域ごとにミックスして、パワー算出回路２４に入力し、各帯域におけるスピーカ信号のパワーを算出する。算出された各周波数帯域のパワーをパワー判定回路２５に入力し、判定条件をもとに、遅延推定に用いる周波数帯域を決定する。相関算出回路１９は、パワー判定回路により決定された周波数帯域の相関関数を算出し、図５と同じ手順で遅延時間の推定を行う。推定された遅延時間を遅延推定回路２１に入力し、複数の遅延時間のうち最短の遅延時間をマイク信号とスピーカ信号との遅延時間とする。
【０１３９】
本実施例では、４つの周波数帯域のうちパワーの大きい上位２つの周波数帯域を用いて相関関数を算出し、遅延時間を推定している。
【０１４０】
上述したように、処理帯域をＫ分割し、Ｋでダウンサンプリングすることによって、帯域分割して相関関数を算出した場合の演算量は１／Ｋとなる。本実施例においては、周波数帯域１２ｋＨｚを４つに分割し、更に４つの周波数帯域のうち半分の２つを用いて相関関数を算出しているため、全帯域を用いて演算を行う場合と比較して相関関数算出の演算量が１／８になる。
【０１４１】
なお、周波数帯域制限回路２３や周波数帯域分割回路２４にて帯域制限されたマイク信号とスピーカ信号は遅延時間推定のためだけに使われるため、他地点へ送られる音声の音質には影響は無い。
【０１４２】
以上のように、本発明によれば、複数の感度パターンを用いて、遅延時間を算出するので、確実にスピーカ１５からマイク３に到達するまでの遅延時間を推定することができ、マイクの特性によらずエコー処理を安定的に行うことができる。
【０１４３】
つまり、複数の感度パターンによって、直接波の遅延時間を求めるため、１つの感度パターンにて反射波を直接波と誤認しても、他の感度パターンの遅延時間をスピーカ１５からマイク３に到達するまでの遅延時間と推定するため、マイクの指向性を気にすることなく使用することができ、エコー処理を安定的に行うことができる。
【０１４４】
また、マイク素子が多数あって、何れかのマイク素子で直接波を確実に検知できる場合は、新たな感度パターンを生成せず遅延時間の推定を行うことができる。
【０１４５】
また、通常、ＴＶ会議端末１は、現在使用しているマイクが無指向性のマイクであるか、指向性のマイクであるか認識することができないが、本実施例のように行うことで、マイクの指向性を気にすることなく、ＴＶ会議を行うことができる。
【０１４６】
また、マイク素子のゲインによって直接波が検出しづらい状況でも、上記（数６）を使って、ゲインの補正を行いつつ遅延時間の推定を行うことができる。
【０１４７】
また、マイク信号とスピーカ信号の周波数帯域を制限、分割することで、演算量を削減することができる。
【産業上の利用可能性】
【０１４８】
本発明のエコーキャンセル装置、それを用いた会議システム、およびエコーキャンセル方法によれば、確実にエコー処理を行うことができるので、エコー処理を行う必要があり、複数のマイクを有するＴＶ会議システム等に有用である。
【符号の説明】
【０１４９】
１ ＴＶ会議端末
２ ＴＶ
３ マイク
４ カメラ
５ インターネット
６ 映像ＡＤＣ
７ 音声ＡＤＣ
８ エコー抑圧部
９ 遅延制御回路
１０ ＡＶエンコーダ
１１ 通信部
１２ ＡＶデコーダ
１３ 音声ＤＡＣ
１４ 映像ＤＡＣ
１５ スピーカ
１６ ディスプレイ
１７ 映像処理回路
１８ 遅延回路
１９ 相関算出回路
２０ ピーク検出回路
２１ 遅延推定回路
２２ パワー算出回路
２３ 周波数帯域制限回路
２４ 周波数帯域分割回路
２５ パワー判定回路
２６ エコーキャンセル装置
２７ オーディオエンコーダ
２８ オーディオデコーダ
２９ 遅延時間推定部
【技術分野】
【０００１】
本発明は、ＴＶ会議システム等に用いるエコーキャンセル装置、それを用いた会議システム、およびエコーキャンセル方法に関するものである。
【背景技術】
【０００２】
従来、エコーキャンセル装置としてＴＶ会議システムに用いるものがあり、ＴＶを接続してそのスピーカから音声を出力する場合に生じる音響エコーをＴＶのスピーカの遅延時間に応じて抑圧するものがあった（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２１４９７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来の技術では、ＴＶのスピーカからＴＶ会議システムのマイクに到達する時間を用いてＴＶのスピーカの遅延時間を計算しているため、マイクの特性によっては遅延時間を正確に測定することができず、エコーを抑圧することができなかった。
【０００５】
つまり、エコーが入らないように話者の方に感度が高い指向性を有するマイクを用いた場合、スピーカの方向の感度が低く、壁などに反射した音（反射波）などの音と比較してスピーカからの音（直接波）が小さくなり、直接波を検知できないため、反射波を直接波と誤認して遅延時間を推定することがあり、正確な遅延時間が測定できず、適切にエコー処理を行えない場合があった。
【０００６】
そこで、本発明は、上記問題に鑑み、マイクの特性によらずエコーを低減することができるエコーキャンセル装置、それを用いた会議システム、およびエコーキャンセル方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために本発明は、スピーカ信号を出力するスピーカとスピーカからの音を収音し複数のマイク素子を有するマイクが接続されたエコーキャンセル装置において、複数のマイク素子から得られる複数のマイク信号を基にマイクの指向性を示す感度パターンが異なる複数の感度信号を生成する生成部と、複数の感度信号からそれぞれ求められるマイク信号とスピーカ信号との遅延時間のうち最短の遅延時間を推定する遅延時間推定部と、推定された最短の遅延時間を用いて複数のマイク信号のエコーを抑圧するエコー抑圧部と、を備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、マイクの特性によらずエコーを低減することができる。
【図面の簡単な説明】
【０００９】
【図１】ＴＶ会議システムの概念図
【図２】ＴＶ会議システムのブロック図
【図３】エコーキャンセル装置のブロック図
【図４】遅延制御回路のブロック図
【図５】遅延制御回路のフロー図
【図６】相関関数のピークを示した概念図
【図７】エコー処理を示す概念図
【図８】マイク周辺の概念図
【図９】Ｌｃｈのマイクの概念図
【図１０】Ｒｃｈのマイクの概念図
【図１１】Ｌｃｈ＋Ｒｃｈのマイクの概念図
【図１２】Ｌｃｈ−Ｒｃｈのマイクの概念図
【図１３】遅延制御回路のブロック図
【図１４】遅延制御回路のブロック図
【図１５】遅延制御回路のブロック図
【発明を実施するための形態】
【００１０】
本発明のエコーキャンセル装置は、スピーカ信号を出力するスピーカとスピーカからの音を収音し複数のマイク素子を有するマイクが接続されたエコーキャンセル装置において、複数のマイク素子から得られる複数のマイク信号を基にマイクの指向性を示す感度パターンが異なる複数の感度信号を生成する生成部と、複数の感度信号からそれぞれ求められるマイク信号とスピーカ信号との遅延時間のうち最短の遅延時間を推定する遅延時間推定部と、最短の遅延時間を用いて複数のマイク信号のエコーを抑圧するエコー抑圧部と、を備えることを特徴とする。
【００１１】
これにより、マイクの特性によらずエコーを低減することができる。
【００１２】
また、複数のマイク素子が２つのとき、感度信号は、１つのマイク信号から得られる感度信号をｃ1、ｃ2、任意の実数をｋ1、ｋ2とするとき、所定の式で求められることを特徴とする。
【００１３】
また、最短の遅延時間が所定時間より大きい場合、最短の遅延時間から所定時間を引いた時間をスピーカ信号の遅延時間とし、最短の遅延時間が所定時間より小さい場合、最短の遅延時間をスピーカ信号の遅延時間とすることにより、使用中にマイクの移動などの変化があったとしても、確実にエコーを低減することができる。
【００１４】
また、遅延時間が変化したとき、その変化時間が第２の所定時間より小さい場合、変化前の遅延時間をスピーカ信号の遅延時間とすることにより、スピーカ信号の遅延時間を変化させることによって生じるエコーを低減することができる。
【００１５】
また、マイク信号とスピーカ信号の周波数帯域を制限する周波数帯域制限部を有し、遅延時間推定部において、周波数帯域制限部で帯域制限しダウンサンプリングされたマイク信号とスピーカ信号を遅延時間推定部に送ることを特徴とする。
【００１６】
これにより、周波数帯域を制限することによって、演算すべきデータ数が少なくなるため、演算量を低減することができる。
【００１７】
また、マイク信号とスピーカ信号の周波数帯域を分割し、ダウンサンプリングする周波数帯域分割部を有し、周波数帯域分割部により分割されたそれぞれの周波数帯域におけるマイク信号とスピーカ信号の周波数帯域別遅延時間を推定し、推定した周波数帯域別遅延時間のうち、最短の周波数帯域別遅延時間をマイクとスピーカ間の遅延時間とすることを特徴とする。
【００１８】
これにより、周波数帯域を分割することによって、演算すべきデータ数が少なくなるため、演算量を低減することができる。
【００１９】
また、マイク信号とスピーカ信号の周波数帯域を分割し、ダウンサンプリングする周波数帯域分割部と、分割されたそれぞれの周波数帯域におけるスピーカ信号のパワーを推定するパワー推定部と、パワーに基づいて使用する周波数帯域を選択する判定部とを有し、判定部において判定された周波数帯域のマイク信号とスピーカ信号を遅延時間推定部に送ることを特徴とする。
【００２０】
これにより、周波数帯域を分割し、使用する周波数帯域を限定することによって、演算すべきデータ数が少なくなるため、演算量を低減することができる。
【００２１】
また本発明のエコーキャンセル方法は、スピーカ信号を出力するスピーカとスピーカからの音を収音し複数のマイク素子を有するマイクが接続されたエコーキャンセル装置において、複数のマイク素子から得られる複数のマイク信号を基にマイクの指向性を示す感度パターンが異なる複数の感度信号を生成するステップと、複数の感度信号からそれぞれ求められるスピーカ信号とマイク信号との遅延時間のうち最短の遅延時間を推定するステップと、最短の遅延時間を用いて複数のマイク信号のエコーを抑圧するステップと、を備えることを特徴とする。
【００２２】
これにより、マイクの特性によらずエコーを低減することができる。
【００２３】
また本発明の会議システムは、スピーカ信号を出力するスピーカと、スピーカからの音を収音し複数のマイク素子を有するマイクと、スピーカとマイクが接続されるエコーキャンセル装置と、を備えた会議システムにおいて、エコーキャンセル装置は、複数のマイク素子から得られる複数のマイク信号を基にマイクの指向性を示す感度パターンが異なる複数の感度信号を生成する生成部と、複数の感度信号からそれぞれ求められるスピーカ信号とマイク信号との遅延時間のうち最短の遅延時間を推定する遅延時間推定部と、最短の遅延時間を用いて複数のマイク信号のエコーを抑圧するエコー抑圧部と、を備えることを特徴とする。
【００２４】
これにより、マイクの特性によらずエコーを低減することができる。
【実施例】
【００２５】
本発明の実施例について以下図面を用いて説明する。なお、本実施例では、ＴＶ会議システムを例に説明するが、電話会議システム等のスピーカとマイクとを用いてエコーキャンセルを行うものであれば適宜利用可能である。
【００２６】
図１を用いて、ＴＶ会議システムの構成について説明する。図１は、ＴＶ会議システムの概念図である。
【００２７】
図１において、ＴＶ会議システムは、ＴＶ会議端末１に、映像、音声を出力するＴＶ２、会議者参加者の音声を拾うマイク３、および会議者参加者を撮像するカメラ４が接続されており、インターネット５を介して他のＴＶ会議端末に接続されている。
【００２８】
ＴＶ会議端末１は、詳細は後述するが、会議参加者の映像、音声をマイク３、カメラ４から取得し、その映像、音声信号（マイク信号）を、インターネット５を通じて他のＴＶ会議端末に送信し、同様に他のＴＶ会議端末から映像信号、音声信号（スピーカ信号）を受信し、ＴＶ２に出力する。
【００２９】
ＴＶ２は、一般的なＴＶであって、ＴＶ会議システムから送られてくる映像信号を表示するためのディスプレイとＴＶ会議システムから送られてくる音声信号（スピーカ信号）を出力するスピーカ（本実施例ではステレオスピーカ）等を有し、スピーカ信号は映像信号と同期させるために所定時間（例えば１００ｍｓｅｃ）遅延させて出力し、ＴＶ２において映像と音声との同期をとっている。
【００３０】
マイク３は、複数のマイク素子を有するマイクで、本実施例のマイク３は円形状のマイクであり、内部に２つのマイク素子が配置されている。その２つのマイク素子３ａ、３ｂは、マイク３の中心を基準にマイク素子３ａとマイク素子３ｂのなす角が１２０°、それぞれのマイク素子３ａ、３ｂはマイク３のケーブル接続部分となす角が１２０°になるように設計されている。
【００３１】
なお、本実施例のマイク素子３ａ、３ｂは、指向性を持つマイクであり、マイク３全体では、マイク素子３ａ、３ｂが配置されている側の感度が高く、反対側のケーブルが接続されている側の感度が低くなっている。
【００３２】
図１で示したＴＶ会議システムについて、図２を用いて詳細に説明する。図２は、ＴＶ会議システムのブロック図である。なお、図中の矢印はデータの送信方向を示している。
【００３３】
ＴＶ会議端末１は、カメラ４からのアナログ映像信号をデジタル映像信号に変換する映像ＡＤＣ６、マイク３からのアナログマイク信号をデジタルマイク信号に変換する音声ＡＤＣ７、マイク信号の音響エコー（以下エコーとする）を低減（抑圧）するエコーキャンセル装置２６、映像ＡＤＣ６から出力されたデジタル映像信号、エコーキャンセル装置２６から出力されたマイク信号をエンコードするＡＶエンコーダ１０、エンコードした映像、音声データを他のＴＶ会議端末に送信し他のＴＶ会議端末から映像、音声データを受信する通信部１１、通信部１１にて受信した他のＴＶ会議端末からの映像、音声データをデコードするＡＶデコーダ１２、ＡＶデコーダ１２からのデジタルスピーカ信号をアナログスピーカ信号に変換する音声ＤＡＣ１３、ＡＶデコーダ１２からのデジタル映像信号をアナログ映像信号に変換する映像ＤＡＣ１４により構成されている。
【００３４】
ここで、エコーキャンセル装置２６は、スピーカとマイク間の音響特性を推定し、マイク信号からエコーを差し引くエコー抑圧部８、エコーを抑圧するために必要な遅延時間を推定する遅延制御回路９を備えている。
【００３５】
なお、エコーキャンセル装置２６は本実施例において音声ＤＳＰに搭載されているが、汎用のＣＰＵで実現してもよい。
【００３６】
また、本実施例ではエコーキャンセル装置２６を用いてエコーの抑圧を行っているが、対象のマイク信号を線形あるいは非線形的に減衰させるエコーサプレッサを用いてエコーの抑圧を行ってもよく、エコーキャンセル装置２６、エコーサプレッサの両方を用いてもよい。
【００３７】
また、本実施例において、マイク３はステレオマイクであるため、２チャンネルのマイク信号を有するが、図２においては簡略化のため１チャンネルのマイク信号としている。
【００３８】
ＴＶ２は、スピーカ１５、ディスプレイ１６、ＴＶ会議端末１からのアナログ映像信号を受信しディスプレイ１６に表示するための表示信号に変換する映像処理回路１７、ディスプレイ１６の表示映像と音声を同期させるためにＴＶ会議システムのからのアナログスピーカ信号を遅延させる遅延回路１８により構成されている。
【００３９】
なお、ＴＶ２のスピーカ１５もステレオであるため２チャンネルのスピーカ信号を有するが、図２においては簡略化のため１チャンネルのスピーカ信号としている。
【００４０】
また、ＴＶ２、マイク３、カメラ４は、それぞれアナログ信号にて入出力しているため、映像ＡＤＣ６、音声ＡＤＣ７、音声ＤＡＣ１３、映像ＤＡＣ１４を設けているが、ＴＶ２、マイク３、カメラ４が、それぞれデジタル信号で入出力されるのであれば、上記回路は不要である。
【００４１】
ここで、上述するエコーについて説明する。上記のようなＴＶ会議システムにおいては、ＴＶ２のスピーカ１５から出力された音声が直接あるいは壁面などを反射して、マイク３に入力され、その結果、スピーカ１５から直接マイク３に入る音や壁などに反射して入る音によってエコーが発生し、そのエコーによって音声品質を低下させることがある。
【００４２】
そのため、上記エコーキャンセル装置２６を用いてマイク３からのマイク信号のエコーを抑圧するようにしている。
【００４３】
上記のように構成されたＴＶ会議システムの動作について説明する。
【００４４】
ＴＶ会議端末１と他のＴＶ会議端末によってＴＶ会議を開始すると、カメラ４で撮像された映像が映像信号として映像ＡＤＣ６を介して、ＡＶエンコーダ１０に送られ、同様にマイク３で取得した音声がマイク信号としてエコーキャンセル装置２６を介して、エコーが抑圧されたマイク信号としてＡＶエンコーダ１０に送られる。
【００４５】
そして、ＡＶエンコーダ１０によってエンコードされた映像、音声データを通信部１１からインターネット５を介して他のＴＶ会議端末に送信される。
【００４６】
また、通信部１１にて他のＴＶ会議端末から受信した映像、音声データは、ＡＶデコーダ１２によってデコードされ、音声ＤＡＣ１３、映像ＤＡＣ１４を介して、映像信号、スピーカ信号それぞれをＴＶ２に出力する。
【００４７】
ＴＶ会議端末１から出力された映像信号は、ディスプレイ１６に表示するために映像処理回路１７によって処理を行うが、一般的に１００ｍｓｅｃ程度の遅延が生じる。そのため、ＴＶ会議端末１から出力されたスピーカ信号をそのままＴＶ２のスピーカ１５から出力してしまうと、映像処理回路１７において画像処理している時間に応じて、ＴＶ２の映像と音声のずれが生じるため、予め遅延回路１８にて、映像処理回路１７によって生じる遅延時間分、音声信号を遅延させて出力し、ＴＶ２の映像と音声のずれをなくしている。
【００４８】
ここで、本実施例におけるＴＶ会議端末を用いた場合のエコーの抑圧方法について図３を用いて詳細に説明する。
【００４９】
本実施例において音声は２チャンネルであるため、マイク３はマイク素子３ａ、３ｂを、スピーカ１５は、スピーカ１５ａ、スピーカ１５ｂを備え、マイク素子３ａ、３ｂから得られたマイク信号はそれぞれ音声ＡＤＣ７ａ、７ｂを介してエコー抑圧部８ａ、８ｂと遅延制御回路９に送られる。
【００５０】
その後、エコー抑圧部８ａ、８ｂによって処理されたマイク信号は、ＡＶエンコーダ１０の中のオーディオエンコーダ２７によりエンコードされた後、他のＴＶ会議端末に送信される。
【００５１】
また、他のＴＶ会議端末から送信されたスピーカ信号はＡＶデコーダ１２のオーディオデコーダ２８によってデコードされ、デコードされたスピーカ信号は、エコー抑圧部８、遅延制御回路９、スピーカ１５にそれぞれ送られる。
【００５２】
ここで、遅延制御回路９は、マイク素子３ａから得られたマイク信号と、マイク素子３ｂから得られたマイク信号を基に後述する複数の感度信号を生成し、その感度信号とスピーカ信号との相関関数を演算する相関算出回路１９とその相関算出回路１９により求めた相関関数からＴＶ２におけるスピーカ信号の遅延時間を求める遅延時間推定部２９を備える。
【００５３】
そして、エコー抑圧部８ａ、８は、遅延時間推定部２９で推定した遅延時間分スピーカ信号を遅延させ、その遅延させたスピーカ信号とマイク信号を基にエコー抑圧部８内部の適応フィルタにより擬似エコー信号を推定し、擬似エコー信号をマイク信号から差し引くことにより、マイク信号に含まれるエコー成分を抑圧し、そのエコーを抑圧したマイク信号をオーディオエンコーダ２７に送る。
【００５４】
なお、本実施例でエコー抑圧部８に用いる遅延時間はスピーカ信号に対してマイク信号が遅延している遅延時間のことであり、スピーカ信号はエコー抑圧部８に入力されるスピーカ信号であり、マイク信号はスピーカ信号と同様にエコー抑圧部８に入力されるマイク信号である。
【００５５】
そのため、上記遅延時間は、音声ＤＡＣ１３、遅延回路１８、スピーカ１５、マイク３、音声ＡＤＣ７によって生じる遅延時間と、スピーカ１５から出力された音声がマイク３に到達するまでの遅延時間を含むものとなる。
【００５６】
ここで、上記エコー処理に必要な遅延時間を推定（算出）する遅延制御回路９の詳細について図４を用いて説明する。図４は、遅延制御回路のブロック図である。
【００５７】
なお、本実施例では、上述したように２つのマイク素子を使用しているため、２チャンネルのマイク信号があり、マイク素子３ａから得られるマイク信号をマイク信号Ｌｃｈ、マイク素子３ｂから得られるマイク信号をマイク信号Ｒｃｈとする。
【００５８】
また、他のＴＶ会議端末から得られるスピーカ信号も２チャンネルあるため、それぞれのスピーカ信号をスピーカ信号Ｌｃｈ、スピーカ信号Ｒｃｈとする。
【００５９】
図４において、遅延制御回路９は、マイク信号、スピーカ信号を用いて、マイクの感度信号に相当する複数の相関関数を出力する相関算出回路１９、その相関関数を元に遅延時間を推定する遅延時間推定部２９により構成されている。
【００６０】
また、遅延時間推定部２９は、算出した相関関数のうち相関値が凸になる複数のピークを検出するピーク検出回路２０、ピーク検出回路２０の出力の内、遅延時間が最短となるピークを検出し、スピーカとマイク間の遅延時間を決定する遅延推定回路２１により構成されている。
【００６１】
上記のように構成された遅延制御回路９の動作について図５を用いて説明する。図５は、遅延制御回路のフロー図である。
【００６２】
遅延制御回路９は、まず、相関算出回路１９にて、入力されたＬｃｈマイク信号ｍL（
ｔ）、Ｒｃｈマイク信号ｍR（ｔ）と、Ｌｃｈ、Ｒｃｈスピーカ信号を合成したスピーカ
信号ｓ（ｔ）について、Ｌｃｈ、Ｒｃｈの相関関数を算出する（ｓｔｅｐ１）。
【００６３】
ここで、上記相関関数は（数１）、（数２）を用いて算出する。
【００６４】
【数１】
【００６５】
【数２】
【００６６】
なお、上記式において、τはスピーカ信号を所定時間ずらしたシフト時間であり、相関関数の時間軸に対応し、ｔはスピーカ信号、マイク信号における現在時刻、ｓ（τ−ｔ）はτ時間ずらしたスピーカ信号、ｃL（τ）はＬｃｈの相関関数、ｃR（τ）はＲｃｈの相関関数である。
【００６７】
相関算出回路１９にて上記Ｌｃｈ、Ｒｃｈの相関関数ｃL（τ）、ｃR（τ）を基に、Ｌｃｈ＋Ｒｃｈの相互相関関数ｃadd（τ）を算出し（ｓｔｅｐ２）、同様にＬｃｈ−Ｒｃ
ｈの相互相関関数ｃdiff（τ）を算出する（ｓｔｅｐ３）。
【００６８】
なお、上記Ｌｃｈ＋Ｒｃｈ、Ｌｃｈ−ＲＣｈの相互相関関数ｃadd（τ）、ｃdiff（τ
）の算出は（数３）、（数４）を用いる。
【００６９】
【数３】
【００７０】
【数４】
【００７１】
その後、Ｌｃｈ、Ｒｃｈの相関関数ｃL（τ）、ｃR（τ）とＬｃｈ＋Ｒｃｈ、Ｌｃｈ−Ｒｃｈの相互相関関数ｃadd（τ）、ｃdiff（τ）の４つの相関関数の瞬時のピークの変
動を軽減するためにそれぞれの相関関数毎に時間平均をとり、時間平均後の平均相関関数を算出し、ピーク検出回路２０に出力する（ｓｔｅｐ４）。
【００７２】
なお、本実施例においては、瞬時のピーク変動を軽減するために時間平均を取っているが、エコー処理を簡略化するために省略してもよい。
【００７３】
次に、ピーク検出回路２１にてその時間平均相関関数のうち相関値が凸になる複数のピークを検出する（ｓｔｅｐ５）。
【００７４】
ここで、ピーク検出について図６を用いて説明する。図６は、相関関数のピークを示した概念図である。
【００７５】
図６において、縦軸を相関値、横軸を遅延時間として、ある相関関数を示したものであり、この相関関数からピークを検出する。
【００７６】
なお、上記相関関数とは、感度信号に相当するものであり、マイク信号とスピーカ信号の相関を示したものであり、図６においては、スピーカ信号の時間軸を所定時間ずらしたときに、マイク信号とどのくらい相関があるか（どのくらい波形が一致しているか）を示したものであり、前述した（数１）、（数２）に示すものである。
【００７７】
相関関数における相関値のピークの検出は、相関関数全体の平均と偏差を用いて行い、（数５）の条件を満たす部分をピークと判定する。
【００７８】
【数５】
【００７９】
なお、ｃmaxはピークを判定する部分、μcは相関関数全体の平均、νcは相関関数の全
体における偏差、λcはピークの閾値を調整するパラメータであり、大きくすると尖った
ピークしか検出されなくなり、小さくするとピークが検出しやすくなるため、目的により適宜設定する。なお、本実施例においては５〜７に設定する。
【００８０】
上記条件によって、図６においては、星印の指す３つのピークが検出される。
【００８１】
そして、それぞれの相関関数毎にピークを検出し、遅延推定回路２１にて検出したピークに基づいてそれぞれの相関関数内で最初に出てきたピークにおける遅延時間のうち、最短の遅延時間をスピーカ信号の遅延時間と推定し、推定した遅延時間に所定のマージンを引いた値を遅延推定回路２１の遅延時間として出力する（ｓｔｅｐ６）。
【００８２】
ここで、最短の遅延時間を推定する理由について説明する。マイク３におけるそれぞれの相関関数について、ピークを検出するとマイク信号の遅延時間を求めることができ、いくつかの遅延時間を求めることができるが、スピーカ１５から到達する音は、壁などに反射してマイク３に入る反射波より直接マイク３に入る直接波の方が早く、そのため最短の遅延時間が直接波の遅延時間となる。
【００８３】
また、エコー処理は、直接波成分を含む音に対して行うため、直接波の遅延時間が分かれば、効果的にエコー処理を行うことができる。
【００８４】
そのため、エコー処理を行うために必要な直接波の遅延時間、つまり最短の遅延時間を推定する。
【００８５】
以下、ピーク検出から遅延時間を推定するまでの方法について例を挙げて説明する。
【００８６】
本実施例では、Ｌｃｈ、Ｒｃｈ、Ｌｃｈ＋Ｒｃｈ、Ｌｃｈ−Ｒｃｈの相関関数のピークを検出し、それぞれの最短の遅延時間を求め、Ｌｃｈ、Ｒｃｈ、Ｌｃｈ＋Ｒｃｈ、Ｌｃｈ−Ｒｃｈの遅延時間の内、最短の遅延時間を選択する。
【００８７】
例えば、Ｌｃｈの相関関数が図６の相関関数だとすると、ピークが検出された遅延時間は図６に示すように３６ｍｓｅｃ、４９ｍｓｅｃ、５６ｍｓｅｃとなり、Ｌｃｈの遅延時間は３６ｍｓｅｃと推定する。
【００８８】
同様に、Ｒｃｈ、Ｌｃｈ＋Ｒｃｈ、Ｌｃｈ−Ｒｃｈにて上記と同様の作業を行い、最短の遅延時間がそれぞれ、Ｌｃｈが３６ｍｓｅｃ、Ｒｃｈが３６ｍｓｅｃ、Ｌｃｈ＋Ｒｃｈが４９ｍｓｅｃ、Ｌｃｈ−Ｒｃｈが３６ｍｓｅｃだった場合、遅延推定回路２１は、ピーク検出の結果より求める遅延時間を３６ｍｓｅｃと設定する。
【００８９】
ここで、Ｌｃｈ＋Ｒｃｈのみ遅延時間が遅いのは、後述するが本実施例のマイク３の配置では、マイク３の感度が直接波に対して低く、ピーク検出回路２０でピークが検出されず、最初のピークが反射波のピークとなって、反射波のピークの遅延時間を最短の遅延時間と判定したためである。
【００９０】
なお、本実施例では、ピーク検出回路２０にて、１つの相関関数中のすべてのピークを検出して、遅延推定回路２１に送っているが、遅延推定回路２１は、それぞれの相関関数における最短の遅延時間が分かればよいので、ピーク検出回路２０は、最初のピークを検出したらピーク検出を終了し、検出したピークの遅延時間のみを遅延推定回路２１に送ることも可能である。
【００９１】
また、本実施例では、４つの相関関数を用いて直接波の遅延時間を推定しているが、２つ以上の相関関数を用いれば遅延時間を推定することができる。用いる相関関数が多いほうが、直接波をより確実に検知できるので、本実施例では４つの相関関数にて行っている。
【００９２】
上記のように、遅延時間を決定する理由について図７を用いて説明する。図７は、エコー処理を示す概念図であり、縦軸を振幅ａ、横軸を時間ｔとし、図７（ａ）は、遅延時間制御をしない場合、図７（ｂ）は、遅延時間制御が正常に行われなかった場合、図７（ｃ）は、遅延時間を正常に行った場合を示す。なお、図７は、遅延時間を分かりやすく説明するため、スピーカとマイクとの間の音響特性に相当するインパルス応答を用いて説明する。
【００９３】
図７において、Ａはエコー推定可能な区間、つまりスピーカ信号に基づき擬似エコーを生成することによりエコーを抑圧できる区間とし、エコー推定可能な区間の開始時間を基準（ｔ＝０）に取る。
【００９４】
また、Ｂはスピーカとマイクとの間の音響特性に相当するインパルス応答でありスピーカから直接マイクに到達した直接波や、壁などに反射してマイクに到達した反射波を含む。なお、図中の太線の直接波、点線の反射波であり、その他の線は、直接波や反射波によって生じる残響成分であり、また、遅延時間をＴ、マージンをＳとする。
【００９５】
図７（ａ）に示すように、遅延時間制御を行わないと、エコー推定可能な区間Ａから外れた区間、つまりエコーを抑圧することができない区間にマイク信号のインパルス応答における後ろの部分（図７（ａ）のＣ）が残り、Ｃの部分について、エコーを抑圧することができず、エコー処理が適切に行うことができない。
【００９６】
そのため、相関関数から求めた遅延時間で遅延制御を行うが、反射波の遅延時間を直接波の遅延時間と誤認した場合、図７（ｂ）に示すように、今度は図７（ａ）とは反対にマイク信号のインパルス応答における前の部分（図７（ｂ）のＤ）である直接波の部分が、エコー推定可能な区間Ａから外れてしまい、図７（ａ）より影響が大きい直接波の部分のエコー成分が抑圧することができず、エコー処理が適切に行われない。
【００９７】
つまり、本来は直接波の遅延時間Ｔを用いて、スピーカ信号を遅延させて、マイク信号のインパルス応答Ｂがエコー推定可能な区間Ａに入るように行うが、反射波を直接波と誤認しているため、図７（ｂ）に示すように、反射波の遅延時間Ｔ´を用いてスピーカ信号を遅延させるため、適切なエコー処理ができなくなる。
【００９８】
そのため、上記のような遅延時間の推定方法を用いて、直接波の遅延時間を確実に測定できるようにし、図７（ｃ）に示すようにエコー処理においてエコーが推定可能な区間Ａにマイク信号のインパルス応答が入るようにする。
【００９９】
このとき、所定のマージンＳを設けるのは、遅延時間の推定の誤差や、マイク３をスピーカ側に少し近づけた場合などの遅延時間が短くなる変動によって、図７（ｂ）のように直接波がエコー推定可能な区間Ａから外れることを防ぎ、確実に影響が大きいエコー成分（直接波）を抑圧できるようにするためである。
【０１００】
なお、本実施例においては、所定のマージンＳは２０ｍｓｅｃとしており、上記の例で説明すると、選択した遅延時間３６ｍｓｅｃから２０ｍｓｅｃを減算して、最終的に遅延制御回路９としては、遅延時間を１６ｍｓｅｃとして出力する。
【０１０１】
遅延時間が所定のマージンＳより大きい場合、上記のようにして遅延時間を算出するが、遅延時間が所定のマージンより小さい場合、遅延時間をそのまま遅延制御回路９の遅延時間として出力する（遅延時間から所定のマージンを引かない）。
【０１０２】
また、所定のタイミングで遅延制御回路９にて遅延時間を再算出したとき、現在推定している（エコー抑圧部８で使用している）遅延時間との差が所定時間（本実施例では１０ｍｓｅｃ）より小さい場合、遅延制御回路９が出力する遅延時間を変更しないようにしている。
【０１０３】
これにより、エコー処理の性能を維持しつつ遅延時間を再設定してエコー処理を行うことによる一時的なエコーを軽減することができる。
【０１０４】
ここで、上記のように複数の相関関数を用いて遅延時間を求める理由について図８〜図１２を用いて詳細に説明する。図８は、マイク周辺の音波の概念図、図９は、Ｌｃｈのマイクの概念図、図１０は、Ｒｃｈのマイクの概念図、図１１は、Ｌｃｈ＋Ｒｃｈのマイクの概念図、図１２は、Ｌｃｈ−Ｒｃｈのマイクの概念図である。
【０１０５】
本実施例のマイク３は、マイク素子３ａ、３ｂを前述のように配置し、２つのマイク素子３ａ、３ｂによって形成される感度パターン（Ｌｃｈ＋Ｒｃｈ）においてマイク３の前方（マイク３のケーブルが接続される部分とは反対の部分）に感度が高く、マイク３の後方（マイク３のケーブルが接続される部分）に感度が低いマイクとなっている。
【０１０６】
このように構成されたマイク３は、一般的に図８に示すように配置され、感度の高い部分を話者側に配置し、感度が低い部分をスピーカ１５側に配置する。このように配置することで、話者の音声を確実に拾い、スピーカ１５の音がなるべくマイクに入らないようにしている。
【０１０７】
このとき、上記の感度パターン（Ｌｃｈ＋Ｒｃｈ）では直接波は、マイク３の感度の低い部分に到達するため、マイク信号としての出力（振幅）は小さくなる。対して、マイク信号が壁に反射した反射波は、マイク３の感度の高い部分に到達するので、直接波より出力が大きくなる。
【０１０８】
そのため、上記の感度パターン（Ｌｃｈ＋Ｒｃｈ）のみを用いて遅延時間を推定する場合、直接波のピークが反射波のピークより小さく直接波のピークを検出できない場合があり、そのときは反射波のピークの遅延時間をＬｃｈ＋Ｒｃｈの相関関数の遅延時間として判定する。
【０１０９】
この場合、実際にマイクに到達するまでに生じるスピーカ信号の遅延時間より長い遅延時間を推定してしまい、図７（ｂ）に示すようにマイク信号における直接波によるエコーを抑圧することができない。
【０１１０】
このため、本実施例では、２つのマイク素子の組合せによって、感度パターン（相関関数）を複数作り出し、遅延時間の推定において１つの相関関数によって求められる遅延時間が反射波の遅延時間を直接波の遅延時間として誤っていたとしても、その他の相関関数によって求められる遅延時間によって、直接波の遅延時間を確実に得ることができる。
【０１１１】
以下、複数の感度パターンの例について説明する。
【０１１２】
図９は、マイク素子３ａの出力のみで形成されるＬｃｈのマイク信号について示したものであり、図９（ｂ）は、図９（ａ）のようにマイクを配置した場合にＬｃｈのマイク信号によって形成される感度パターンであり、円の外側に線が来るものがその方向に対してより感度が高いことを示す。また、図９（ｃ）は、図９（ｂ）で収音したＬｃｈのマイク信号のインパルス応答を示すものである。
【０１１３】
なお、図９（ｃ）において直接波を太線、反射波を破線としているが、その線のみが直接波、反射波ではなく、太線、破線は、直接波、反射波の始まりを示すものである。
【０１１４】
また、図１０〜図１２も上記と同様の図であり、図９がＬｃｈのマイク信号について示したものであることに対し、図１０は、Ｒｃｈのマイク信号について示したもの、図１１は、Ｌｃｈ＋Ｒｃｈのマイク信号について示したもの、図１２は、Ｌｃｈ−Ｒｃｈのマイク信号について示したものである。
【０１１５】
図９〜図１２により、２つのマイク素子の組合せによって、複数の感度パターンを形成することができ、反射波が直接波より十分に大きいＬｃｈ＋Ｒｃｈのマイク信号における感度パターンでピークを検知し、直接波を推定し、遅延時間を推定することより、何れかの感度パターンによって、確実に直接波の遅延時間を得ることができ、エコー処理に用いる遅延時間を確実に推定することができる。
【０１１６】
なお、複数のマイク信号の感度パターンの形成は、上記説明したＬｃｈ、Ｒｃｈのマイク信号を組み合わせることによって形成することができ、それぞれの感度パターンにおける直接波の遅延時間を求めるには、Ｌｃｈ、Ｒｃｈの相関関数を用いて行い、その関係式は（数６）に表すようになり、ｃ（τ）は、合成後の感度パターンに対応する相互相関関数であり、ｃL（τ）、ｃR（τ）は、Ｌｃｈ、Ｒｃｈの感度パターンに対応する相関関数であり、ｋL、ｋRは任意の実数である。なお、本実施例で使用している４つの相関関数はＬｃｈはｋR＝０、Ｒｃｈは、ｋL＝０、Ｌｃｈ＋ＲｃｈはｋL＝１、ｋR＝１、Ｌｃｈ−ＲｃｈはｋL＝１、ｋR＝−１としており、Ｌｃｈ＋Ｒｃｈ、Ｌｃｈ−Ｒｃｈは、（数３）、（数４）に示す相互相関関数を用いている。
【０１１７】
【数６】
【０１１８】
なお、（数６）はマイク素子が２つの場合を示したものであり、マイク素子がｎ個のとき、（数７）によって相関関数ｃ´（τ）を求めることができる。ここで、ｋは任意の実数、ｃ（τ）はそれぞれの相関関数である。
【０１１９】
【数７】
【０１２０】
つまり、複数の感度パターンは、Ｌｃｈ、Ｒｃｈのような元々得られるマイク信号に対応する感度パターンのほかに、Ｌｃｈ、Ｒｃｈのマイク信号を組み合わせることによって形成する感度パターンの２つがある。
【０１２１】
本実施例では以上のようにしてスピーカ１５からマイク３に音声が到達するまでの遅延時間を推定したが、後述のようにすることで更に演算量を削減することができる。以下、演算量を削減する構成について３つ例を挙げて説明する。
【０１２２】
１つ目として、遅延制御回路９を図１３のように置き換える方法がある。図１３は、遅延制御回路のブロック図である。
【０１２３】
具体的には、マイク信号とスピーカ信号の周波数帯域を制限して相関関数を算出する。図１３において、遅延制御回路９は、マイク信号、スピーカ信号の周波数帯域を制限する周波数帯域制限回路２３ａ、２３ｂ、２３ｃ、２３ｄ、周波数帯域を制限されたマイク信号とスピーカ信号を用いて相関関数を出力する相関算出回路１９、算出した相関関数のピークを検出するピーク検出回路２０、複数の相関関数にて検出されたピークを用いて遅延時間を決定する遅延推定回路２１により構成されている。
【０１２４】
各周波数帯域制限回路にはマイク信号またはスピーカ信号が入力され、ＦＩＲフィルタもしくはＩＩＲフィルタなどの帯域制限フィルタを用いて帯域制限を行う。マイク信号とスピーカ信号の周波数帯域を制限する周波数帯域制限回路の制限周波数帯域は全て同じである必要がある。上記例では、帯域を制限しない方法では０〜１２ｋＨｚの周波数帯域を用いて相関関数を算出していたが、図１３では、６ｋＨｚ以上の帯域を通すハイパスフィルターを用いて６〜１２ｋＨｚに帯域制限を行なって相関関数算出を行なっている。
【０１２５】
上記のように周波数帯域を制限することで、ダウンサンプリングを行うことができる為、演算すべきデータ数が少なくなり、全帯域を用いて相関関数を算出する場合と比較して、演算量を削減することができる。（数１）、（数２）で示したように相関関数算出の演算はマイク信号とスピーカ信号との畳込み演算であるため、単位時間あたりの相関関数の演算量はサンプリング周波数の２乗に比例して大きくなる。
【０１２６】
そのため、帯域制限を行い、サンプル数Ｋでダウンサンプリングを行うことによって、単位時間あたりの相互相関関数の演算量を１／Ｋ2に削減することができる。本実施例においては、サンプリング周波数を１２ｋＨｚから１／２の６ｋＨｚにダウンサンプリングしているため、全帯域を用いて演算を行う場合と比較して相関関数算出の演算量が１／４になる。
【０１２７】
なお、帯域制限によってダウンサンプリングを行ったマイク信号とスピーカ信号は、相関算出回路１９に入力され、図５と同じ手順で遅延時間の推定を行う。
【０１２８】
なお、ローパスフィルターやバンドパスフィルターを使って任意の帯域に帯域制限を行なっても良いが、高域信号の方が反射の影響を受けにくい為、ハイパスフィルターを用いる方がより直接音を推定しやすくなる。
【０１２９】
２つ目として、遅延制御回路９を図１４のように置き換える方法がある。図１４は、遅延制御回路のブロック図である。
【０１３０】
具体的には、マイク信号とスピーカ信号を周波数帯域毎に分割し、それぞれの周波数帯域において遅延時間を推定し、複数の遅延時間の中から最短の遅延時間を選択する。図１４において、遅延制御回路９は、マイク信号、スピーカ信号の周波数帯域を分割しダウンサンプリングする周波数帯域分割回路２４ａ、２４ｂ、２４ｃ、２４ｄ、各周波数帯域におけるマイク信号とスピーカ信号を用いて各周波数帯域の相関関数を算出する相関算出回路１９、算出した各周波数帯域における相関関数のピークを検出するピーク検出回路２０、各周波数帯域にて求められた遅延時間のうち、最短の遅延時間を算出しスピーカとマイク間の遅延時間を決定する遅延推定回路２１により構成されている。
【０１３１】
各周波数帯域分割回路にはマイク信号またはスピーカ信号が入力され、それぞれの信号毎に周波数帯域をＫ分割する。分割された周波数帯域毎に分割数Ｋでダウンサンプリングされる。分割された周波数帯域毎に図５と同じ手順で遅延時間の推定を行う。各周波数帯域での遅延時間を遅延推定回路２１に入力し、最短の遅延時間をマイク信号とスピーカ信号との遅延時間とする。
【０１３２】
例えば、本実施例では周波数帯域の分割数を４つとし、各周波数帯域をｆ１＝０〜３ｋＨｚ、ｆ２＝３〜６ｋＨｚ、ｆ３＝６〜９ｋＨｚ、ｆ４＝９〜１２ｋＨｚとして、それぞれの周波数帯域で相関関数を算出する。各周波数帯域における遅延時間の推定値が、ｆ１：５０ｍｓ、ｆ２：５０ｍｓ、ｆ３：３０ｍｓ、ｆ４：４０ｍｓの場合、推定される遅延時間は最短の３０ｍｓとなる。
【０１３３】
上記の方法では全ての周波数帯域において遅延時間を推定できるとしているが、遅延時間を推定できない周波数帯域がある場合、遅延時間を推定できた周波数帯域のみで相関関数算出を行い、遅延時間推定を行なってもよい。
【０１３４】
上述したように、相関関数の演算はマイク信号とスピーカ信号との畳込み演算であるため、単位時間あたりの相関関数の演算量はサンプリング周波数の２乗に比例して大きくなる。
【０１３５】
そのため、処理帯域をＫ分割し、Ｋでダウンサンプリングすることによって、１つの周波数帯域における単位時間あたりの相互相関関数の演算量は１／Ｋ2になる。そのため、Ｋ個の帯域を合計した全帯域の演算量は１／Ｋとなり、全帯域を用いて相関関数を算出する場合と比較して演算量を削減することができる。本実施例においては、周波数帯域１２ｋＨｚを４つに分割しているため、全帯域を用いて演算を行う場合と比較して相関関数算出の演算量が１／４になる。
【０１３６】
３つ目として、遅延制御回路９を図１５のように置き換える方法がある。図１５は、遅延制御回路のブロック図である。
【０１３７】
具体的には、マイク信号とスピーカ信号を周波数帯域毎に分割し、各周波数帯域のスピーカ信号のパワーを算出し、パワーが大きい帯域のみを用いて遅延時間を推定する方法がある。図１５において、遅延制御回路９は、マイク信号、スピーカ信号の周波数帯域を分割しダウンサンプリングする周波数帯域分割回路２４ａ、２４ｂ、２４ｃ、２４ｄ、各周波数帯域におけるスピーカ信号のパワーを算出するパワー算出回路２２、スピーカ信号のパワーに基づいて、相関関数算出のために用いる周波数帯域を決定するパワー判定回路２５、各周波数帯域におけるマイク信号とスピーカ信号を用いて相関関数を算出する相関算出回路１９、算出した各相関関数のピークを検出するピーク検出回路２０、各周波数帯域にて求められた遅延時間のうち、最短の遅延時間を算出しスピーカとマイク間の遅延時間を決定する遅延推定回路２１により構成されている。
【０１３８】
各周波数帯域分割回路にはマイク信号またはスピーカ信号が入力され、それぞれの信号毎に周波数帯域をＫ分割する。分割された周波数帯域毎に分割数Ｋでダウンサンプリングされる。分割されたスピーカ信号を周波数帯域ごとにミックスして、パワー算出回路２４に入力し、各帯域におけるスピーカ信号のパワーを算出する。算出された各周波数帯域のパワーをパワー判定回路２５に入力し、判定条件をもとに、遅延推定に用いる周波数帯域を決定する。相関算出回路１９は、パワー判定回路により決定された周波数帯域の相関関数を算出し、図５と同じ手順で遅延時間の推定を行う。推定された遅延時間を遅延推定回路２１に入力し、複数の遅延時間のうち最短の遅延時間をマイク信号とスピーカ信号との遅延時間とする。
【０１３９】
本実施例では、４つの周波数帯域のうちパワーの大きい上位２つの周波数帯域を用いて相関関数を算出し、遅延時間を推定している。
【０１４０】
上述したように、処理帯域をＫ分割し、Ｋでダウンサンプリングすることによって、帯域分割して相関関数を算出した場合の演算量は１／Ｋとなる。本実施例においては、周波数帯域１２ｋＨｚを４つに分割し、更に４つの周波数帯域のうち半分の２つを用いて相関関数を算出しているため、全帯域を用いて演算を行う場合と比較して相関関数算出の演算量が１／８になる。
【０１４１】
なお、周波数帯域制限回路２３や周波数帯域分割回路２４にて帯域制限されたマイク信号とスピーカ信号は遅延時間推定のためだけに使われるため、他地点へ送られる音声の音質には影響は無い。
【０１４２】
以上のように、本発明によれば、複数の感度パターンを用いて、遅延時間を算出するので、確実にスピーカ１５からマイク３に到達するまでの遅延時間を推定することができ、マイクの特性によらずエコー処理を安定的に行うことができる。
【０１４３】
つまり、複数の感度パターンによって、直接波の遅延時間を求めるため、１つの感度パターンにて反射波を直接波と誤認しても、他の感度パターンの遅延時間をスピーカ１５からマイク３に到達するまでの遅延時間と推定するため、マイクの指向性を気にすることなく使用することができ、エコー処理を安定的に行うことができる。
【０１４４】
また、マイク素子が多数あって、何れかのマイク素子で直接波を確実に検知できる場合は、新たな感度パターンを生成せず遅延時間の推定を行うことができる。
【０１４５】
また、通常、ＴＶ会議端末１は、現在使用しているマイクが無指向性のマイクであるか、指向性のマイクであるか認識することができないが、本実施例のように行うことで、マイクの指向性を気にすることなく、ＴＶ会議を行うことができる。
【０１４６】
また、マイク素子のゲインによって直接波が検出しづらい状況でも、上記（数６）を使って、ゲインの補正を行いつつ遅延時間の推定を行うことができる。
【０１４７】
また、マイク信号とスピーカ信号の周波数帯域を制限、分割することで、演算量を削減することができる。
【産業上の利用可能性】
【０１４８】
本発明のエコーキャンセル装置、それを用いた会議システム、およびエコーキャンセル方法によれば、確実にエコー処理を行うことができるので、エコー処理を行う必要があり、複数のマイクを有するＴＶ会議システム等に有用である。
【符号の説明】
【０１４９】
１ ＴＶ会議端末
２ ＴＶ
３ マイク
４ カメラ
５ インターネット
６ 映像ＡＤＣ
７ 音声ＡＤＣ
８ エコー抑圧部
９ 遅延制御回路
１０ ＡＶエンコーダ
１１ 通信部
１２ ＡＶデコーダ
１３ 音声ＤＡＣ
１４ 映像ＤＡＣ
１５ スピーカ
１６ ディスプレイ
１７ 映像処理回路
１８ 遅延回路
１９ 相関算出回路
２０ ピーク検出回路
２１ 遅延推定回路
２２ パワー算出回路
２３ 周波数帯域制限回路
２４ 周波数帯域分割回路
２５ パワー判定回路
２６ エコーキャンセル装置
２７ オーディオエンコーダ
２８ オーディオデコーダ
２９ 遅延時間推定部
【特許請求の範囲】
【請求項１】
スピーカ信号を出力するスピーカと前記スピーカからの音を収音し複数のマイク素子を有するマイクが接続されたエコーキャンセル装置において、
前記複数のマイク素子から得られる複数のマイク信号を基に前記マイクの指向性を示す感度パターンが異なる複数の感度信号を生成する生成部と、
前記複数の感度信号からそれぞれ求められる前記マイク信号と前記スピーカ信号との遅延時間のうち最短の遅延時間を推定する遅延時間推定部と、
前記推定された最短の遅延時間を用いて前記複数のマイク信号のエコーを抑圧するエコー抑圧部と、を備えることを特徴とするエコーキャンセル装置。
【請求項２】
前記複数のマイク素子が２つのとき、前記感度信号は、１つの前記マイク信号から得られる感度信号をｃ1、ｃ2、任意の実数をｋ1、ｋ2とするとき、前記マイク信号から得られる感度信号ｃは以下の式であることを特徴とする請求項１に記載のエコーキャンセル装置。
ｃ＝ｋ1・ｃ1＋ｋ2・ｃ2
【請求項３】
前記最短の遅延時間が第１の所定時間より大きい場合、前記最短の遅延時間から前記第１の所定時間を引いた時間を前記スピーカ信号の遅延時間とし、前記最短の遅延時間が前記第１の所定時間より小さい場合、前記最短の遅延時間を前記スピーカ信号の遅延時間とすることを特徴とする請求項１から２に記載のエコーキャンセル装置。
【請求項４】
前記遅延時間が変化したとき、その変化時間が第２の所定時間より小さい場合、変化前の前記遅延時間を前記スピーカ信号の遅延時間とすることを特徴とする請求項１から３に記載のエコーキャンセル装置。
【請求項５】
前記マイク信号と前記スピーカ信号の周波数帯域を制限する周波数帯域制限部を有し、前記遅延時間推定部において、前記周波数帯域制限部で帯域制限しダウンサンプリングされたマイク信号とスピーカ信号を前記遅延時間推定部に送ることを特徴とする請求項１から４に記載のエコーキャンセル装置。
【請求項６】
前記マイク信号と前記スピーカ信号の周波数帯域を分割し、ダウンサンプリングする周波数帯域分割部を有し、前記遅延時間推定部において、前記周波数帯域分割部により分割されたそれぞれの周波数帯域におけるマイク信号とスピーカ信号の周波数帯域別遅延時間を推定し、推定した前記周波数帯域別遅延時間のうち、最短の周波数帯域別遅延時間を前記遅延時間とすることを特徴とする請求項１から４に記載のエコーキャンセル装置。
【請求項７】
前記マイク信号と前記スピーカ信号の周波数帯域を分割し、ダウンサンプリングする周波数帯域分割部と、前記周波数帯域分割部により分割されたそれぞれの周波数帯域におけるスピーカ信号のパワーを算出するパワー算出部と、パワーに基づいて使用する周波数帯域を選択する判定部とを有し、前記判定部において判定された周波数帯域のマイク信号とスピーカ信号を前記遅延時間推定部に送ることを特徴とする請求項１から４に記載のエコーキャンセル装置。
【請求項８】
スピーカ信号を出力するスピーカと前記スピーカからの音を収音し複数のマイク素子を有するマイクが接続されたエコーキャンセル装置において、
前記複数のマイク素子から得られる複数のマイク信号を基に前記マイクの指向性を示す感度パターンが異なる複数の感度信号を生成するステップと、
前記複数の感度信号からそれぞれ求められる前記スピーカ信号と前記マイク信号との遅延時間のうち最短の遅延時間を推定するステップと、
前記最短の遅延時間を用いて前記複数のマイク信号のエコーを抑圧するステップと、を備えることを特徴とするエコーキャンセル方法。
【請求項９】
スピーカ信号を出力するスピーカと、
前記スピーカからの音を収音し複数のマイク素子を有するマイクと、
前記スピーカと前記マイクが接続されるエコーキャンセル装置と、を備えた会議システムにおいて、
前記エコーキャンセル装置は、
前記複数のマイク素子から得られる複数のマイク信号を基に前記マイクの指向性を示す感度パターンが異なる複数の感度信号を生成する生成部と、
前記複数の感度信号からそれぞれ求められる前記スピーカ信号と前記マイク信号との遅延時間のうち最短の遅延時間を推定する遅延時間推定部と、
前記最短の遅延時間を用いて前記複数のマイク信号のエコーを抑圧するエコー抑圧部と、を備えることを特徴とする会議システム。
【請求項１】
スピーカ信号を出力するスピーカと前記スピーカからの音を収音し複数のマイク素子を有するマイクが接続されたエコーキャンセル装置において、
前記複数のマイク素子から得られる複数のマイク信号を基に前記マイクの指向性を示す感度パターンが異なる複数の感度信号を生成する生成部と、
前記複数の感度信号からそれぞれ求められる前記マイク信号と前記スピーカ信号との遅延時間のうち最短の遅延時間を推定する遅延時間推定部と、
前記推定された最短の遅延時間を用いて前記複数のマイク信号のエコーを抑圧するエコー抑圧部と、を備えることを特徴とするエコーキャンセル装置。
【請求項２】
前記複数のマイク素子が２つのとき、前記感度信号は、１つの前記マイク信号から得られる感度信号をｃ1、ｃ2、任意の実数をｋ1、ｋ2とするとき、前記マイク信号から得られる感度信号ｃは以下の式であることを特徴とする請求項１に記載のエコーキャンセル装置。
ｃ＝ｋ1・ｃ1＋ｋ2・ｃ2
【請求項３】
前記最短の遅延時間が第１の所定時間より大きい場合、前記最短の遅延時間から前記第１の所定時間を引いた時間を前記スピーカ信号の遅延時間とし、前記最短の遅延時間が前記第１の所定時間より小さい場合、前記最短の遅延時間を前記スピーカ信号の遅延時間とすることを特徴とする請求項１から２に記載のエコーキャンセル装置。
【請求項４】
前記遅延時間が変化したとき、その変化時間が第２の所定時間より小さい場合、変化前の前記遅延時間を前記スピーカ信号の遅延時間とすることを特徴とする請求項１から３に記載のエコーキャンセル装置。
【請求項５】
前記マイク信号と前記スピーカ信号の周波数帯域を制限する周波数帯域制限部を有し、前記遅延時間推定部において、前記周波数帯域制限部で帯域制限しダウンサンプリングされたマイク信号とスピーカ信号を前記遅延時間推定部に送ることを特徴とする請求項１から４に記載のエコーキャンセル装置。
【請求項６】
前記マイク信号と前記スピーカ信号の周波数帯域を分割し、ダウンサンプリングする周波数帯域分割部を有し、前記遅延時間推定部において、前記周波数帯域分割部により分割されたそれぞれの周波数帯域におけるマイク信号とスピーカ信号の周波数帯域別遅延時間を推定し、推定した前記周波数帯域別遅延時間のうち、最短の周波数帯域別遅延時間を前記遅延時間とすることを特徴とする請求項１から４に記載のエコーキャンセル装置。
【請求項７】
前記マイク信号と前記スピーカ信号の周波数帯域を分割し、ダウンサンプリングする周波数帯域分割部と、前記周波数帯域分割部により分割されたそれぞれの周波数帯域におけるスピーカ信号のパワーを算出するパワー算出部と、パワーに基づいて使用する周波数帯域を選択する判定部とを有し、前記判定部において判定された周波数帯域のマイク信号とスピーカ信号を前記遅延時間推定部に送ることを特徴とする請求項１から４に記載のエコーキャンセル装置。
【請求項８】
スピーカ信号を出力するスピーカと前記スピーカからの音を収音し複数のマイク素子を有するマイクが接続されたエコーキャンセル装置において、
前記複数のマイク素子から得られる複数のマイク信号を基に前記マイクの指向性を示す感度パターンが異なる複数の感度信号を生成するステップと、
前記複数の感度信号からそれぞれ求められる前記スピーカ信号と前記マイク信号との遅延時間のうち最短の遅延時間を推定するステップと、
前記最短の遅延時間を用いて前記複数のマイク信号のエコーを抑圧するステップと、を備えることを特徴とするエコーキャンセル方法。
【請求項９】
スピーカ信号を出力するスピーカと、
前記スピーカからの音を収音し複数のマイク素子を有するマイクと、
前記スピーカと前記マイクが接続されるエコーキャンセル装置と、を備えた会議システムにおいて、
前記エコーキャンセル装置は、
前記複数のマイク素子から得られる複数のマイク信号を基に前記マイクの指向性を示す感度パターンが異なる複数の感度信号を生成する生成部と、
前記複数の感度信号からそれぞれ求められる前記スピーカ信号と前記マイク信号との遅延時間のうち最短の遅延時間を推定する遅延時間推定部と、
前記最短の遅延時間を用いて前記複数のマイク信号のエコーを抑圧するエコー抑圧部と、を備えることを特徴とする会議システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１３−３８７６３（Ｐ２０１３−３８７６３Ａ）
【公開日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願番号】特願２０１２−７９１５６（Ｐ２０１２−７９１５６）
【出願日】平成２４年３月３０日（２０１２．３．３０）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願日】平成２４年３月３０日（２０１２．３．３０）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]