情報処理装置、情報処理方法、およびプログラム
【課題】エコー成分を迅速に抑圧できるようにする。
【解決手段】スピーカに出力される第１の信号と、マイクロフォンから入力される第２の信号から、振幅周波数関数が推定される。第１の信号と振幅周波数関数とから推定エコー信号が生成される。第２の信号から推定エコー信号が抑圧される。そして、推定振幅周波数関数と短時間平均振幅周波数関数に基づいて、振幅周波数関数の係数が変更される。
【解決手段】スピーカに出力される第１の信号と、マイクロフォンから入力される第２の信号から、振幅周波数関数が推定される。第１の信号と振幅周波数関数とから推定エコー信号が生成される。第２の信号から推定エコー信号が抑圧される。そして、推定振幅周波数関数と短時間平均振幅周波数関数に基づいて、振幅周波数関数の係数が変更される。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は情報処理装置、情報処理方法、およびプログラムに関し、特にエコー成分を迅速に抑圧する情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
テレビ会議システムにおいては、第１の装置と第２の装置との間で通信が行われる。第１の装置において、相手側の音声（すなわち第２の装置から送られてきた音声）がスピーカから放音されると、その音声がマイクロフォンで集音され、相手側（すなわち第２の装置）に送信されることがある。このような場合、いわゆるエコー現象が発生する。
【０００３】
このエコー現象を抑圧するために、種々の提案がなされている（例えば特許文献１）。
【０００４】
特許文献１の技術では、マイクロフォンの出力信号、またはスピーカの出力信号から線形エコーキャンセラの出力信号を減算した信号の一方が第１の信号とされ、線形エコーキャンセラの出力信号が第２の信号とされる。近端音声の有無を表す音声検出信号に基づいて、第１および第２の信号の各周波数成分毎に、第１の信号と第２の信号とからエコーの漏れこみ具合の推定値が算出される。そしてこの算出された推定値に基づいて第１の信号を補正することで、第１の信号からエコー成分を除去した近端信号が生成される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−５６４５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、提案されている技術では、音声の出力レベルが変更された場合、エコー成分を十分抑圧できるようになるのに時間がかかる。
【０００７】
本技術はこのような状況に鑑みてなされたものであり、エコー成分を迅速に抑圧できるようにするものである。
【課題を解決するための手段】
【０００８】
本技術の一側面は、スピーカに出力される第１の信号と、マイクロフォンから入力される第２の信号から、振幅周波数関数を推定する推定部と、前記第１の信号と前記振幅周波数関数とから推定エコー信号を生成する生成部と、前記第２の信号から前記推定エコー信号を抑圧する抑圧部とを備え、前記推定部は、推定振幅周波数関数と短時間平均振幅周波数関数との相関に基づいて、前記振幅周波数関数の係数を変更する情報処理装置である。
【０００９】
前記相関が、予め定められている閾値より高い場合、前記係数を一定値だけ変更することができる。
【００１０】
前記相関が、前記閾値より低い場合、前記係数を変更しないことができる。
【００１１】
前記第１の信号は、前記スピーカに出力される信号の周波数領域の信号とし、前記第２の信号は、前記マイクロフォンから入力された信号の周波数領域の信号とすることができる。
【００１２】
前記周波数領域の第１の信号と第２の信号から、瞬時振幅周波数関数を算出する算出部をさらに備え、前記推定部は、前記瞬時振幅周波数関数から前記振幅周波数関数を推定することができる。
【００１３】
前記推定エコー信号が抑圧された、前記周波数領域の前記第２の信号は、時間領域の信号に変換されることができる。
【００１４】
本技術の一側面の方法およびプログラムは、上述した本技術の一側面の情報処理装置に対応する方法およびプログラムである。
【００１５】
本技術の一側面においては、スピーカに出力される第１の信号と、マイクロフォンから入力される第２の信号から、振幅周波数関数が推定され、第１の信号と振幅周波数関数とから推定エコー信号が生成され、第２の信号から推定エコー信号が抑圧され、推定振幅周波数関数と短時間平均振幅周波数関数との相関に基づいて、振幅周波数関数の係数が変更される。
【発明の効果】
【００１６】
以上のように、本技術の一側面によれば、エコー成分を迅速に抑圧することができる。
【図面の簡単な説明】
【００１７】
【図１】本技術の情報処理システムの構成を示すブロック図である。
【図２】適応エコーサブトラクション部の構成を示すブロック図である。
【図３】振幅周波数関数推定部の構成を示すブロック図である。
【図４】第１の情報処理装置の出力処理を説明するフローチャートである。
【図５】第１の情報処理装置の入力処理を説明するフローチャートである。
【図６】振幅周波数関数推定処理を説明するフローチャートである。
【図７】更新係数の具体的な例を示す図である。
【図８】情報処理システムの動作の概略を説明する図である。
【図９】情報処理システムの動作を模式的に説明する図である。
【図１０】振幅周波数関数推定部の比較する構成を示すブロック図である。
【図１１】比較する情報処理システムの動作を模式的に説明する図である。
【図１２】パーソナルコンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００１８】
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。なお、説明は以下の順序で行う。
１．情報処理システムの構成
２．情報処理システムの動作
３．動作の概念的な説明
４．本技術のプログラムへの適用
５．その他
【００１９】
＜１．情報処理システムの構成＞
【００２０】
図１は、本技術の情報処理システム１の構成を示すブロック図である。
【００２１】
例えばテレビ会議システムを構成する情報処理システム１は、第１の情報処理装置１１、第２の情報処理装置１２、並びに両者を接続する通信回線１３により構成されている。通信回線１３は、例えばイーサーネット（商標）等のデジタル通信が可能な通信回線である。なお、通信回線１３には、インターネットその他のネットワークを含むことができる。また、この情報処理システム１においては、映像信号の処理に関する構成については省略されている。
【００２２】
第１の情報処理装置１１は、近端装置３１、スピーカ３２、およびマイクロフォン３３により構成される。
【００２３】
近端装置３１は、増幅部５１、Ａ／Ｄ変換器５２、適応エコーサブトラクション部５３、音声コーデック部５４、通信部５５、Ｄ／Ａ変換器５６、および増幅部５７により構成されている。
【００２４】
マイクロフォン３３は、第１の情報処理装置１１のユーザの声を入力する。増幅部５１は、マイクロフォン３３からの入力を増幅する。増幅部５１の増幅率はユーザがボリューム(図示せず)を操作することで、任意の値に設定、変更することができる。Ａ／Ｄ変換器５２は、増幅部５１からの音声信号をアナログ信号からデジタル信号に変換する。適応エコーサブトラクション部５３は、例えばデジタルシグナルプロセッサ（ＤＳＰ）により構成され、Ａ／Ｄ変換器５２から入力される信号に対して、スピーカ３２から出力される音声に起因する雑音成分としてのエコー成分を抑圧する処理を実行する。
【００２５】
音声コーデック部５４は、マイクロフォン３３より入力された音声信号を、通信回線１３を介して第２の情報処理装置１２に送信するために、テレビ会議システム１で定められている符号に変換する処理、すなわちエンコードする処理を実行する。また、音声コーデック部５４は、第２の情報処理装置１２から通信回線１３を介して第１の情報処理装置１１に送信されてきた符号をデコードする処理を実行する。
【００２６】
Ｄ／Ａ変換器５６は、音声コーデック部５４より供給された音声信号を、デジタル信号からアナログ信号に変換する。増幅部５７はＤ／Ａ変換器５６から出力されたアナログの音声信号を増幅する。増幅部５７の増幅率はユーザがボリューム(図示せず)を操作することで、任意の値に設定、変更することができる。スピーカ３２は増幅部５７により増幅された音声信号に基づく音声を出力する。
【００２７】
第２の情報処理装置１２は、第１の情報処理装置１１と同様に構成されている。すなわち、第２の情報処理装置１２は、遠端装置７１、スピーカ７２、およびマイクロフォン７３を有している。そして、図示は省略するが、遠端装置７１は、近端装置３１と同様に、増幅部、Ａ／Ｄ変換器、適応エコーサブトラクション部、音声コーデック部、通信部、Ｄ／Ａ変換器、および増幅部により構成されている。
【００２８】
図２は、適応エコーサブトラクション部５３の構成を示すブロック図である。適応エコーサブトラクション部５３は、マイク入力ＦＦＴ(First Fourie Transform)部１０１、参照入力ＦＦＴ部１０２、瞬時振幅周波数関数算出部１０３、振幅周波数関数推定部１０４、推定エコー生成部１０５、エコー抑圧部１０６、および逆ＦＦＴ部１０７を有している。
【００２９】
マイク入力ＦＦＴ部１０１は、Ａ／Ｄ変換器５２から入力される音声信号をＦＦＴにより周波数領域の信号に変換し、所定の単位周波数毎に帯域分割する。参照入力ＦＦＴ部１０２は、音声コーデック部５４から入力される音声信号をＦＦＴにより周波数領域の信号に変換し、所定の単位周波数毎に帯域分割する。瞬時振幅周波数関数算出部１０３は、マイク入力ＦＦＴ部１０１からの周波数帯域毎の瞬時マイク入力信号を、参照入力ＦＦＴ部１０２からの周波数帯域毎の瞬時スピーカ出力信号で割り算し、瞬時振幅周波数関数を演算する。なお、振幅周波数関数は、各周波数の信号の振幅の大きさを表す特性である。
【００３０】
振幅周波数関数推定部１０４は、瞬時振幅周波数関数算出部１０３から入力された瞬時振幅周波数関数に基づいて、振幅周波数関数を推定する。振幅周波数関数推定部１０４の詳細は、図３を参照して後述する。推定エコー生成部１０５は、振幅周波数関数推定部１０４により生成された推定振幅周波数関数と、参照入力ＦＦＴ部１０２により周波数領域に変換された瞬時スピーカ出力信号とから、推定エコー信号を生成する。
【００３１】
エコー抑圧部１０６は、マイク入力ＦＦＴ部１０１より出力されたマイク入力周波数データから、推定エコー生成部１０５により生成された推定エコー信号を減算して、エコー成分を抑圧したエコー抑圧信号を生成する。逆ＦＦＴ部１０７は、エコー抑圧部１０６より出力されたエコー抑圧信号を、時間領域のエコー抑圧信号に変換し、音声コーデック部５４に出力する。
【００３２】
図３は、振幅周波数関数推定部１０４の構成を示すブロック図である。振幅周波数関数推定部１０４は、平均計算部１５１、分散計算部１５２、更新係数算出部１５３、更新係数変更部１５４、記憶部１５５、および相関計算部１５６を有している。
【００３３】
平均計算部１５１は、瞬時振幅周波数関数算出部１０３から入力された帯域毎の瞬時振幅周波数関数の平均を計算する。分散計算部１５２は、瞬時振幅周波数関数算出部１０３から入力された瞬時振幅周波数関数と、平均計算部１５１から入力された平均値に基づいて、帯域毎の分散を計算する。更新係数算出部１５３は、分散計算部１５２が出力する分散に基づいて、帯域毎の更新係数を算出する。更新係数変更部１５４は、更新係数算出部１５３により算出された帯域毎の更新係数を、相関計算部１５６により計算された相関に基づいて変更し、記憶部１５５に出力する。
【００３４】
記憶部１５５は、更新係数変更部１５４より出力された変更後更新係数と、瞬時振幅周波数関数算出部１０３から入力された帯域毎の瞬時振幅周波数関数を用いて、帯域ごとの推定振幅周波数関数を演算し、記憶する。相関計算部１５６は、瞬時振幅周波数関数算出部１０３から入力された全帯域の瞬時振幅周波数関数と、記憶部１５５から供給された全体域の推定振幅周波数関数との相関を計算する。
【００３５】
＜２．情報処理システムの動作＞
【００３６】
次に、図４乃至図６を参照して、情報処理システム１の動作について説明する。
【００３７】
最初に図４を参照して、第１の情報処理装置１１の出力処理について説明する。図４は、第１の情報処理装置の出力処理を説明するフローチャートである。
【００３８】
ステップＳ１において第１の情報処理装置１１の通信部５５は、第２の情報処理装置１２の遠端装置７１からの音声データを受信する。つまり、第２の情報処理装置１２のユーザの音声信号が、マイクロフォン７３により取得され、通信回線１３を介して送信されてきた場合、それが受信される。ステップＳ２において音声コーデック部５４は、データをデコードする。すなわちステップＳ１で通信部５５により受信された音声データがデコードされる。デコードされた音声データは、Ｄ／Ａ変換器５６に供給されるとともに、適応エコーサブトラクション部５３に供給される。
【００３９】
ステップＳ３においてＤ／Ａ変換器５６は、音声コーデック部５４によりデコードされた音声データをアナログ信号に変換する。ステップＳ４においてスピーカ３２は、音声を出力する。すなわち、Ｄ／Ａ変換器５６によりＤ／Ａ変換された音声信号は、増幅部５７により増幅され、スピーカ３２より対応する音声、つまり第２の情報処理装置１２のユーザの音声が出力される。
【００４０】
第１の情報処理装置１１のユーザは、この第２の情報処理装置１２のユーザの音声を聞き、対応する音声を発する。
【００４１】
次に、この音声を入力する処理について説明する。図５は、第１の情報処理装置１１の入力処理を説明するフローチャートである。
【００４２】
ステップＳ２１においてマイクロフォン３３は、音声を入力する。すなわち、第１の情報処理装置１１のユーザが、第２の情報処理装置１２のユーザの音声を聞いて発した音声がマイクロフォン３３により集音される。このとき、スピーカ３２より出力された第１の情報処理装置１２から送られてきた音声、つまりエコー成分がマイクロフォン３３に入力されることがある。このエコー成分がそのまま第２の情報処理装置１２に送信されると、第２の情報処理装置１２のユーザは、自分の発した音声がこだまのように少し遅れて自身のスピーカ７２から聞こえることになり、いわゆるエコー現象が発生する。
【００４３】
ステップＳ２２においてＡ／Ｄ変換器５２は、入力された音声信号をＡ／Ｄ変換する。すなわち、ステップＳ２１でマイクロフォン３３に入力された音声信号が、増幅部５１により増幅され、さらにＡ／Ｄ変換器５２によりアナログ信号からデジタル信号に変換され、適応エコーサブトラクション部５３に入力される。
【００４４】
ステップＳ２３において参照入力ＦＦＴ部１０２は、参照入力信号をＦＦＴする。つまり、図４のステップＳ２で音声コーデック部５４より入力された、第２の情報処理装置１２のユーザの音声データがＦＦＴされ、周波数帯域毎の周波数領域の音声データに変換される。ステップＳ２４においてマイク入力ＦＦＴ部１０１は、マイク入力信号をＦＦＴする。つまり、ステップＳ２２において、Ａ／Ｄ変換器５２より供給された、第１の情報処理装置１１のユーザの音声データがＦＦＴされ、周波数帯域毎の周波数領域の音声データに変換される。
【００４５】
ステップＳ２５において瞬時振幅周波数関数算出部１０３は、瞬時振幅周波数関数を計算する。具体的には、ステップＳ２４で演算された瞬時マイク入力信号を、ステップＳ２３で演算された瞬時スピーカ出力信号で除算することで、瞬時振幅周波数関数が演算される。次にステップＳ２６において振幅周波数関数推定部１０４は、振幅周波数関数推定処理を実行する。この振幅周波数関数推定処理の詳細は、図６に示されている。ここで図６を参照して、振幅周波数関数推定処理について説明する。
【００４６】
図６は、振幅周波数関数推定処理を説明するフローチャートである。ステップＳ７１において平均計算部１５１は、帯域毎に瞬時振幅周波数関数の平均を計算する。例えば、帯域ｎ、時間ｔの瞬時振幅周波数関数の値ｘｎ（ｔ）の平均値Aveｘｎが、次式から計算される。
【００４７】
【数１】
【００４８】
ステップＳ７２において分散計算部１５２は、平均計算部１５１がステップＳ７２で計算した平均値Aveｘｎと、帯域ｎ、時間ｔの瞬時振幅周波数関数の値ｘｎ（ｔ）とに基づいて、帯域毎に瞬時振幅周波数関数の分散を計算する。具体的には、帯域ｎ、時間ｔの瞬時振幅周波数関数の値ｘｎ（ｔ）の分散値σ２ｎが、次式から演算される。
【００４９】
【数２】
【００５０】
ステップＳ７３において更新係数算出部１５３は、ステップＳ７２で計算された分散から振幅周波数関数の帯域毎の更新係数を算出する。帯域ｎの更新係数μｎは、次式で表される。
μｎ＝ ｆ（σｎ） （３）
【００５１】
図７は、更新係数μｎの具体的な例を示す図である。この例においては、更新係数μｎは、σｎの値が０乃至ａまでのとき０であり、σｎの値がｂ以上であるとき０．３である。そして、σｎの値がａ乃至ｂまでのとき、更新係数μｎはσｎの値に比例して０から０．３まで直線的に増加する。
【００５２】
ステップＳ７４において相関計算部１５６は、ステップＳ７１で計算された帯域毎の瞬時振幅周波数関数の平均から、全体域の短時間平均の振幅周波数関数を演算する。ステップＳ７５において相関計算部１５６は、推定振幅周波数関数と、全帯域の短時間平均の振幅周波数関数との相関を演算する。推定振幅周波数関数は、ステップＳ７７で過去に演算されたものであり、全帯域の短時間平均の振幅周波数関数は、ステップＳ７４で演算されたものである。
【００５３】
ステップＳ７６において更新係数変更部１５４は、帯域毎の更新係数μｎを変更する。変更後の更新係数をμ’ｎとする。ステップＳ７５において演算された相関値が、予め定められている所定の閾値以上の大きさである場合、つまり、相関が高い場合、帯域毎の更新係数μｎは、予め定められている変更後更新係数α（一定の値）に変更される。これに対して、相関値が、閾値未満の大きさである場合、つまり、相関が低い場合、変更後更新係数μ’ｎは、更新係数μｎのまま（μ’ｎ＝μｎ）とされる。
【００５４】
ステップＳ７７において記憶部１５５は、帯域毎の瞬時振幅周波数関数と、変更後更新係数とに基づいて、帯域毎の振幅周波数関数を推定する。推定振幅周波数関数は記憶部１５５に記憶される。帯域毎の瞬時振幅周波数関数は、図５のステップＳ２５で計算された値であり、変更後更新係数は、ステップＳ７６で変更された値μ’ｎ（＝αまたはμｎ）である。帯域ｎの推定振幅周波数関数ｚｎ（ｔ）は、次式で表される。
ｚｎ（ｔ）＝（１−μｎ）×ｚｎ（ｔ−１）＋μｎ×ｘｎ（ｔ） （４）
【００５５】
式（４）のｚｎ（ｔ−１）は、前回の処理で記憶部１５５に記憶された推定振幅周波数関数である。
【００５６】
図５に戻って、ステップＳ２６において以上のようにして振幅周波数関数推定処理が実行された後、ステップＳ２７において推定エコー生成部１０５は、推定エコー信号を生成する。具体的には、ステップＳ７７で生成された推定振幅周波数関数と、参照入力ＦＦＴ部１０２より出力された瞬時スピーカ出力信号とが乗算され、エコー信号に対応する推定エコー信号が生成される。
【００５７】
ステップＳ２８においてエコー抑圧部１０６は、エコー抑圧信号を生成する。つまり、マイク入力ＦＦＴ部１０１より出力された瞬時マイク入力信号から、ステップＳ２７で推定エコー生成部１０５により生成された推定エコー信号が減算される。瞬時マイク入力信号から、エコー信号に対応する推定エコー信号が減算されるので、エコー成分が抑圧された信号が得られる。
【００５８】
ステップＳ２９において逆ＦＦＴ部１０７は、エコー抑圧信号を逆ＦＦＴする。これにより時間領域のエコー抑圧信号が得られる。このエコー抑圧信号は、音声コーデック部５４に供給される。
【００５９】
ステップＳ３０において音声コーデック部５４は、エコー抑圧信号をエンコードする。ステップＳ３１において通信部５５は、遠端装置７１へデータを送る。つまり、エンコードされたエコー抑圧データが、通信回線１３を介して第２の情報処理装置１２に送信される。
【００６０】
情報処理装置１２においても、上述した第１の情報処理装置１１における出力処理と入力処理と同様の処理が実行される。
【００６１】
＜３．動作の概念的な説明＞
【００６２】
次に、以上の動作の概念について説明する。図８は、情報処理システム１の動作の概略を説明する図である。同図に示されるように、瞬時振幅周波数関数算出部１０３としての除算器１９１において、Ａ／Ｄ変換器５２より出力された瞬時マイク入力信号が、音声コーデック部５４より出力された瞬時スピーカ出力信号により除算される。これにより瞬時振幅周波数関数が得られる。
【００６３】
振幅周波数関数推定部１０４は、瞬時振幅周波数関数から推定振幅周波数関数を推定する。推定エコー生成部１０５を構成する乗算器１９２は、スピーカ出力信号と推定振幅周波数関数とを乗算して、推定エコー信号を生成する。エコー抑圧部１０６を構成する減算器１９３は、瞬時マイク入力信号から推定エコー信号を減算し、エコー抑圧信号を生成する。
【００６４】
このようにしてエコー抑圧信号が相手側の装置に送信されるので、相手側の装置のユーザは、相手側の発話を、自身の発話に妨害されることなく、確実に聞き取ることができる。
【００６５】
ユーザが例えば増幅部５７または増幅部５１のボリュームを操作して、増幅率を変更した場合、瞬時振幅周波数関数が変化するが、上述した処理がリアルタイムで繰り返されるので、新たな係数が学習され、学習された係数が設定されるので、増幅率を変更してもエコー成分を抑圧することができる。
【００６６】
図９は、情報処理システム１の動作を模式的に説明する図である。同図に示されるように、いま、ボリューム変更前の推定振幅周波数関数がｇ１で示される特性であるとする。増幅率を変更することで、ｇ３で示される特性が、ボリューム変更後の目標振幅周波数関数として設定されたとする。この場合、推定振幅周波数関数ｇ１と目標振幅周波数関数ｇ３の相関が高い場合、上述したように、変更後更新係数μ’ｎがαという一定値に設定される。その結果、推定振幅周波数関数ｇ１から目標振幅周波数関数ｇ３まで特性が次第に変化する際、遷移途中の全帯域の短時間平均振幅周波数関数ｇ２は、各周波数帯域のゲインが同じ値だけ変化するので、迅速に目標振幅周波数関数ｇ３の特性に収束する。
【００６７】
ここで比較のために、振幅周波数関数推定部１０４として、異なる構成を考える。図１０は、振幅周波数関数推定部１０４の比較する構成を示すブロック図である。この構成例においては、図３に示した平均計算部１５１、分散計算部１５２、更新係数算出部１５３、および記憶部１５５に対応する平均計算部２５１、分散計算部２５２、更新係数算出部２５３、および記憶部２５４が設けられている。しかし、更新係数変更部１５４と相関計算部１５６に対応する構成が設けられていない。つまりこの構成においては、相関に基づいて係数が更新されることはない。その結果、増幅率を変更した場合の遷移途中の振幅周波数関数は、図１１に示されるようになる。
【００６８】
図１１は、比較する情報処理システム１の動作を模式的に説明する図である。同図に示されるように、ボリューム変更前の推定振幅周波数関数がｇ１１で示される特性であるとする。増幅率を変更することで、ｇ１３で示される特性が、ボリューム変更後の目標振幅周波数関数として設定されたとする。この場合、推定振幅周波数関数ｇ１１から目標振幅周波数関数ｇ１３まで特性が変化する際、遷移途中の全帯域の短時間平均振幅周波数関数ｇ１２は、各周波数帯域毎にゲインが異なる値だけ変化する。その結果、目標振幅周波数関数ｇ１３の特性に収束するまでに長い時間がかかる。
【００６９】
この情報処理システム１は、テレビ会議システム１に限らず、ハンズフリー電話システム、監視カメラシステム等のシステム、カーステレオを再生しながら音声認識する装置においても適用することができる。
【００７０】
＜４．本技術のプログラムへの適用＞
【００７１】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【００７２】
図１２は、上述した一連の処理をプログラムにより実行するコンピュータ３００のハードウェアの構成例を示すブロック図である。
【００７３】
コンピュータ３００において、CPU（Central Processing Unit）３０１，ROM（Read Only Memory）３０２，RAM（Random Access Memory）３０３は、バス３０４により相互に接続されている。
【００７４】
バス３０４には、さらに、入出力インタフェース３０５が接続されている。入出力インタフェース３０５には、入力部３０６、出力部３０７、記憶部３０８、通信部３０９、及びドライブ３１０が接続されている。
【００７５】
入力部３０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部３０７は、ディスプレイ、スピーカなどよりなる。記憶部３０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部３０９は、ネットワークインタフェースなどよりなる。ドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア３１１を駆動する。
【００７６】
以上のように構成されるコンピュータでは、CPU３０１が、例えば、記憶部３０８に記憶されているプログラムを、入出力インタフェース３０５及びバス３０４を介して、RAM３０３にロードして実行することにより、上述した一連の処理が行われる。
【００７７】
コンピュータでは、プログラムは、例えば、パッケージメディア等としてのリムーバブルメディア３１１をドライブ３１０に装着することにより、入出力インタフェース３０５を介して、記憶部３０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部３０９で受信し、記憶部３０８にインストールすることができる。その他、プログラムは、ROM３０２や記憶部３０８に、あらかじめインストールしておくことができる。
【００７８】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【００７９】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【００８０】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【００８１】
＜５．その他＞
【００８２】
本技術は、以下のような構成もとることができる。
【００８３】
（１）
スピーカに出力される第１の信号と、マイクロフォンから入力される第２の信号から、振幅周波数関数を推定する推定部と、
前記第１の信号と前記振幅周波数関数とから推定エコー信号を生成する生成部と、
前記第２の信号から前記推定エコー信号を抑圧する抑圧部と
を備え、
前記推定部は、推定振幅周波数関数と短時間平均振幅周波数関数に基づいて、前記振幅周波数関数の係数を変更する
情報処理装置。
（２）
前記相関が、予め定められている閾値より高い場合、前記係数を一定値だけ変更する
前記（１）に記載の情報処理装置。
（３）
前記相関が、前記閾値より低い場合、前記係数を変更しない
前記（２）に記載の情報処理装置。
（４）
前記第１の信号は、前記スピーカに出力される信号の周波数領域の信号であり、
前記第２の信号は、前記マイクロフォンから入力された信号の周波数領域の信号である
前記（１）、（２）または（３）に記載の情報処理装置。
（５）
前記周波数領域の第１の信号と第２の信号から、瞬時振幅周波数関数を算出する算出部をさらに備え、
前記推定部は、前記瞬時振幅周波数関数から前記振幅周波数関数を推定する
前記（１）乃至（４）のいずれかに記載の情報処理装置。
（６）
前記推定エコー信号が抑圧された、前記周波数領域の前記第２の信号は、時間領域の信号に変換される
前記（１）乃至（５）のいずれかに記載の情報処理装置。
（７）
スピーカに出力される第１の信号と、マイクロフォンから入力される第２の信号から、振幅周波数関数を推定する推定ステップと、
前記第１の信号と前記振幅周波数関数とから推定エコー信号を生成する生成ステップと、
前記第２の信号から前記推定エコー信号を抑圧する抑圧ステップと
を含み、
前記推定ステップでは、推定振幅周波数関数と短時間平均振幅周波数関数に基づいて、前記振幅周波数関数の係数を変更する
情報処理方法。
（８）
スピーカに出力される第１の信号と、マイクロフォンから入力される第２の信号から、振幅周波数関数を推定する推定ステップと、
前記第１の信号と前記振幅周波数関数とから推定エコー信号を生成する生成ステップと、
前記第２の信号から前記推定エコー信号を抑圧する抑圧ステップと
を含み、
前記推定ステップでは、推定振幅周波数関数と短時間平均振幅周波数関数に基づいて、前記振幅周波数関数の係数を変更する
コンピュータに実行させるプログラム。
【符号の説明】
【００８４】
１ 情報処理システム， １１ 第１の情報処理装置， １２ 第２の情報処理装置， １３ 通信回線， ３１ 近端装置， ５１ 増幅部， ５３ 適応エコーサブトラクション部， ５４ 音声コーデック部， ５５ 通信部， ５７ 増幅部， １０１ マイク入力ＦＦＴ部， １０２ 参照入力ＦＦＴ部， １０３ 瞬時振幅周波数関数算出部， １０４ 振幅周波数関数推定部， １０５ 推定エコー生成部， １０６ エコー抑圧部， １０７ 逆ＦＦＴ部
【技術分野】
【０００１】
本技術は情報処理装置、情報処理方法、およびプログラムに関し、特にエコー成分を迅速に抑圧する情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
テレビ会議システムにおいては、第１の装置と第２の装置との間で通信が行われる。第１の装置において、相手側の音声（すなわち第２の装置から送られてきた音声）がスピーカから放音されると、その音声がマイクロフォンで集音され、相手側（すなわち第２の装置）に送信されることがある。このような場合、いわゆるエコー現象が発生する。
【０００３】
このエコー現象を抑圧するために、種々の提案がなされている（例えば特許文献１）。
【０００４】
特許文献１の技術では、マイクロフォンの出力信号、またはスピーカの出力信号から線形エコーキャンセラの出力信号を減算した信号の一方が第１の信号とされ、線形エコーキャンセラの出力信号が第２の信号とされる。近端音声の有無を表す音声検出信号に基づいて、第１および第２の信号の各周波数成分毎に、第１の信号と第２の信号とからエコーの漏れこみ具合の推定値が算出される。そしてこの算出された推定値に基づいて第１の信号を補正することで、第１の信号からエコー成分を除去した近端信号が生成される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−５６４５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、提案されている技術では、音声の出力レベルが変更された場合、エコー成分を十分抑圧できるようになるのに時間がかかる。
【０００７】
本技術はこのような状況に鑑みてなされたものであり、エコー成分を迅速に抑圧できるようにするものである。
【課題を解決するための手段】
【０００８】
本技術の一側面は、スピーカに出力される第１の信号と、マイクロフォンから入力される第２の信号から、振幅周波数関数を推定する推定部と、前記第１の信号と前記振幅周波数関数とから推定エコー信号を生成する生成部と、前記第２の信号から前記推定エコー信号を抑圧する抑圧部とを備え、前記推定部は、推定振幅周波数関数と短時間平均振幅周波数関数との相関に基づいて、前記振幅周波数関数の係数を変更する情報処理装置である。
【０００９】
前記相関が、予め定められている閾値より高い場合、前記係数を一定値だけ変更することができる。
【００１０】
前記相関が、前記閾値より低い場合、前記係数を変更しないことができる。
【００１１】
前記第１の信号は、前記スピーカに出力される信号の周波数領域の信号とし、前記第２の信号は、前記マイクロフォンから入力された信号の周波数領域の信号とすることができる。
【００１２】
前記周波数領域の第１の信号と第２の信号から、瞬時振幅周波数関数を算出する算出部をさらに備え、前記推定部は、前記瞬時振幅周波数関数から前記振幅周波数関数を推定することができる。
【００１３】
前記推定エコー信号が抑圧された、前記周波数領域の前記第２の信号は、時間領域の信号に変換されることができる。
【００１４】
本技術の一側面の方法およびプログラムは、上述した本技術の一側面の情報処理装置に対応する方法およびプログラムである。
【００１５】
本技術の一側面においては、スピーカに出力される第１の信号と、マイクロフォンから入力される第２の信号から、振幅周波数関数が推定され、第１の信号と振幅周波数関数とから推定エコー信号が生成され、第２の信号から推定エコー信号が抑圧され、推定振幅周波数関数と短時間平均振幅周波数関数との相関に基づいて、振幅周波数関数の係数が変更される。
【発明の効果】
【００１６】
以上のように、本技術の一側面によれば、エコー成分を迅速に抑圧することができる。
【図面の簡単な説明】
【００１７】
【図１】本技術の情報処理システムの構成を示すブロック図である。
【図２】適応エコーサブトラクション部の構成を示すブロック図である。
【図３】振幅周波数関数推定部の構成を示すブロック図である。
【図４】第１の情報処理装置の出力処理を説明するフローチャートである。
【図５】第１の情報処理装置の入力処理を説明するフローチャートである。
【図６】振幅周波数関数推定処理を説明するフローチャートである。
【図７】更新係数の具体的な例を示す図である。
【図８】情報処理システムの動作の概略を説明する図である。
【図９】情報処理システムの動作を模式的に説明する図である。
【図１０】振幅周波数関数推定部の比較する構成を示すブロック図である。
【図１１】比較する情報処理システムの動作を模式的に説明する図である。
【図１２】パーソナルコンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００１８】
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。なお、説明は以下の順序で行う。
１．情報処理システムの構成
２．情報処理システムの動作
３．動作の概念的な説明
４．本技術のプログラムへの適用
５．その他
【００１９】
＜１．情報処理システムの構成＞
【００２０】
図１は、本技術の情報処理システム１の構成を示すブロック図である。
【００２１】
例えばテレビ会議システムを構成する情報処理システム１は、第１の情報処理装置１１、第２の情報処理装置１２、並びに両者を接続する通信回線１３により構成されている。通信回線１３は、例えばイーサーネット（商標）等のデジタル通信が可能な通信回線である。なお、通信回線１３には、インターネットその他のネットワークを含むことができる。また、この情報処理システム１においては、映像信号の処理に関する構成については省略されている。
【００２２】
第１の情報処理装置１１は、近端装置３１、スピーカ３２、およびマイクロフォン３３により構成される。
【００２３】
近端装置３１は、増幅部５１、Ａ／Ｄ変換器５２、適応エコーサブトラクション部５３、音声コーデック部５４、通信部５５、Ｄ／Ａ変換器５６、および増幅部５７により構成されている。
【００２４】
マイクロフォン３３は、第１の情報処理装置１１のユーザの声を入力する。増幅部５１は、マイクロフォン３３からの入力を増幅する。増幅部５１の増幅率はユーザがボリューム(図示せず)を操作することで、任意の値に設定、変更することができる。Ａ／Ｄ変換器５２は、増幅部５１からの音声信号をアナログ信号からデジタル信号に変換する。適応エコーサブトラクション部５３は、例えばデジタルシグナルプロセッサ（ＤＳＰ）により構成され、Ａ／Ｄ変換器５２から入力される信号に対して、スピーカ３２から出力される音声に起因する雑音成分としてのエコー成分を抑圧する処理を実行する。
【００２５】
音声コーデック部５４は、マイクロフォン３３より入力された音声信号を、通信回線１３を介して第２の情報処理装置１２に送信するために、テレビ会議システム１で定められている符号に変換する処理、すなわちエンコードする処理を実行する。また、音声コーデック部５４は、第２の情報処理装置１２から通信回線１３を介して第１の情報処理装置１１に送信されてきた符号をデコードする処理を実行する。
【００２６】
Ｄ／Ａ変換器５６は、音声コーデック部５４より供給された音声信号を、デジタル信号からアナログ信号に変換する。増幅部５７はＤ／Ａ変換器５６から出力されたアナログの音声信号を増幅する。増幅部５７の増幅率はユーザがボリューム(図示せず)を操作することで、任意の値に設定、変更することができる。スピーカ３２は増幅部５７により増幅された音声信号に基づく音声を出力する。
【００２７】
第２の情報処理装置１２は、第１の情報処理装置１１と同様に構成されている。すなわち、第２の情報処理装置１２は、遠端装置７１、スピーカ７２、およびマイクロフォン７３を有している。そして、図示は省略するが、遠端装置７１は、近端装置３１と同様に、増幅部、Ａ／Ｄ変換器、適応エコーサブトラクション部、音声コーデック部、通信部、Ｄ／Ａ変換器、および増幅部により構成されている。
【００２８】
図２は、適応エコーサブトラクション部５３の構成を示すブロック図である。適応エコーサブトラクション部５３は、マイク入力ＦＦＴ(First Fourie Transform)部１０１、参照入力ＦＦＴ部１０２、瞬時振幅周波数関数算出部１０３、振幅周波数関数推定部１０４、推定エコー生成部１０５、エコー抑圧部１０６、および逆ＦＦＴ部１０７を有している。
【００２９】
マイク入力ＦＦＴ部１０１は、Ａ／Ｄ変換器５２から入力される音声信号をＦＦＴにより周波数領域の信号に変換し、所定の単位周波数毎に帯域分割する。参照入力ＦＦＴ部１０２は、音声コーデック部５４から入力される音声信号をＦＦＴにより周波数領域の信号に変換し、所定の単位周波数毎に帯域分割する。瞬時振幅周波数関数算出部１０３は、マイク入力ＦＦＴ部１０１からの周波数帯域毎の瞬時マイク入力信号を、参照入力ＦＦＴ部１０２からの周波数帯域毎の瞬時スピーカ出力信号で割り算し、瞬時振幅周波数関数を演算する。なお、振幅周波数関数は、各周波数の信号の振幅の大きさを表す特性である。
【００３０】
振幅周波数関数推定部１０４は、瞬時振幅周波数関数算出部１０３から入力された瞬時振幅周波数関数に基づいて、振幅周波数関数を推定する。振幅周波数関数推定部１０４の詳細は、図３を参照して後述する。推定エコー生成部１０５は、振幅周波数関数推定部１０４により生成された推定振幅周波数関数と、参照入力ＦＦＴ部１０２により周波数領域に変換された瞬時スピーカ出力信号とから、推定エコー信号を生成する。
【００３１】
エコー抑圧部１０６は、マイク入力ＦＦＴ部１０１より出力されたマイク入力周波数データから、推定エコー生成部１０５により生成された推定エコー信号を減算して、エコー成分を抑圧したエコー抑圧信号を生成する。逆ＦＦＴ部１０７は、エコー抑圧部１０６より出力されたエコー抑圧信号を、時間領域のエコー抑圧信号に変換し、音声コーデック部５４に出力する。
【００３２】
図３は、振幅周波数関数推定部１０４の構成を示すブロック図である。振幅周波数関数推定部１０４は、平均計算部１５１、分散計算部１５２、更新係数算出部１５３、更新係数変更部１５４、記憶部１５５、および相関計算部１５６を有している。
【００３３】
平均計算部１５１は、瞬時振幅周波数関数算出部１０３から入力された帯域毎の瞬時振幅周波数関数の平均を計算する。分散計算部１５２は、瞬時振幅周波数関数算出部１０３から入力された瞬時振幅周波数関数と、平均計算部１５１から入力された平均値に基づいて、帯域毎の分散を計算する。更新係数算出部１５３は、分散計算部１５２が出力する分散に基づいて、帯域毎の更新係数を算出する。更新係数変更部１５４は、更新係数算出部１５３により算出された帯域毎の更新係数を、相関計算部１５６により計算された相関に基づいて変更し、記憶部１５５に出力する。
【００３４】
記憶部１５５は、更新係数変更部１５４より出力された変更後更新係数と、瞬時振幅周波数関数算出部１０３から入力された帯域毎の瞬時振幅周波数関数を用いて、帯域ごとの推定振幅周波数関数を演算し、記憶する。相関計算部１５６は、瞬時振幅周波数関数算出部１０３から入力された全帯域の瞬時振幅周波数関数と、記憶部１５５から供給された全体域の推定振幅周波数関数との相関を計算する。
【００３５】
＜２．情報処理システムの動作＞
【００３６】
次に、図４乃至図６を参照して、情報処理システム１の動作について説明する。
【００３７】
最初に図４を参照して、第１の情報処理装置１１の出力処理について説明する。図４は、第１の情報処理装置の出力処理を説明するフローチャートである。
【００３８】
ステップＳ１において第１の情報処理装置１１の通信部５５は、第２の情報処理装置１２の遠端装置７１からの音声データを受信する。つまり、第２の情報処理装置１２のユーザの音声信号が、マイクロフォン７３により取得され、通信回線１３を介して送信されてきた場合、それが受信される。ステップＳ２において音声コーデック部５４は、データをデコードする。すなわちステップＳ１で通信部５５により受信された音声データがデコードされる。デコードされた音声データは、Ｄ／Ａ変換器５６に供給されるとともに、適応エコーサブトラクション部５３に供給される。
【００３９】
ステップＳ３においてＤ／Ａ変換器５６は、音声コーデック部５４によりデコードされた音声データをアナログ信号に変換する。ステップＳ４においてスピーカ３２は、音声を出力する。すなわち、Ｄ／Ａ変換器５６によりＤ／Ａ変換された音声信号は、増幅部５７により増幅され、スピーカ３２より対応する音声、つまり第２の情報処理装置１２のユーザの音声が出力される。
【００４０】
第１の情報処理装置１１のユーザは、この第２の情報処理装置１２のユーザの音声を聞き、対応する音声を発する。
【００４１】
次に、この音声を入力する処理について説明する。図５は、第１の情報処理装置１１の入力処理を説明するフローチャートである。
【００４２】
ステップＳ２１においてマイクロフォン３３は、音声を入力する。すなわち、第１の情報処理装置１１のユーザが、第２の情報処理装置１２のユーザの音声を聞いて発した音声がマイクロフォン３３により集音される。このとき、スピーカ３２より出力された第１の情報処理装置１２から送られてきた音声、つまりエコー成分がマイクロフォン３３に入力されることがある。このエコー成分がそのまま第２の情報処理装置１２に送信されると、第２の情報処理装置１２のユーザは、自分の発した音声がこだまのように少し遅れて自身のスピーカ７２から聞こえることになり、いわゆるエコー現象が発生する。
【００４３】
ステップＳ２２においてＡ／Ｄ変換器５２は、入力された音声信号をＡ／Ｄ変換する。すなわち、ステップＳ２１でマイクロフォン３３に入力された音声信号が、増幅部５１により増幅され、さらにＡ／Ｄ変換器５２によりアナログ信号からデジタル信号に変換され、適応エコーサブトラクション部５３に入力される。
【００４４】
ステップＳ２３において参照入力ＦＦＴ部１０２は、参照入力信号をＦＦＴする。つまり、図４のステップＳ２で音声コーデック部５４より入力された、第２の情報処理装置１２のユーザの音声データがＦＦＴされ、周波数帯域毎の周波数領域の音声データに変換される。ステップＳ２４においてマイク入力ＦＦＴ部１０１は、マイク入力信号をＦＦＴする。つまり、ステップＳ２２において、Ａ／Ｄ変換器５２より供給された、第１の情報処理装置１１のユーザの音声データがＦＦＴされ、周波数帯域毎の周波数領域の音声データに変換される。
【００４５】
ステップＳ２５において瞬時振幅周波数関数算出部１０３は、瞬時振幅周波数関数を計算する。具体的には、ステップＳ２４で演算された瞬時マイク入力信号を、ステップＳ２３で演算された瞬時スピーカ出力信号で除算することで、瞬時振幅周波数関数が演算される。次にステップＳ２６において振幅周波数関数推定部１０４は、振幅周波数関数推定処理を実行する。この振幅周波数関数推定処理の詳細は、図６に示されている。ここで図６を参照して、振幅周波数関数推定処理について説明する。
【００４６】
図６は、振幅周波数関数推定処理を説明するフローチャートである。ステップＳ７１において平均計算部１５１は、帯域毎に瞬時振幅周波数関数の平均を計算する。例えば、帯域ｎ、時間ｔの瞬時振幅周波数関数の値ｘｎ（ｔ）の平均値Aveｘｎが、次式から計算される。
【００４７】
【数１】
【００４８】
ステップＳ７２において分散計算部１５２は、平均計算部１５１がステップＳ７２で計算した平均値Aveｘｎと、帯域ｎ、時間ｔの瞬時振幅周波数関数の値ｘｎ（ｔ）とに基づいて、帯域毎に瞬時振幅周波数関数の分散を計算する。具体的には、帯域ｎ、時間ｔの瞬時振幅周波数関数の値ｘｎ（ｔ）の分散値σ２ｎが、次式から演算される。
【００４９】
【数２】
【００５０】
ステップＳ７３において更新係数算出部１５３は、ステップＳ７２で計算された分散から振幅周波数関数の帯域毎の更新係数を算出する。帯域ｎの更新係数μｎは、次式で表される。
μｎ＝ ｆ（σｎ） （３）
【００５１】
図７は、更新係数μｎの具体的な例を示す図である。この例においては、更新係数μｎは、σｎの値が０乃至ａまでのとき０であり、σｎの値がｂ以上であるとき０．３である。そして、σｎの値がａ乃至ｂまでのとき、更新係数μｎはσｎの値に比例して０から０．３まで直線的に増加する。
【００５２】
ステップＳ７４において相関計算部１５６は、ステップＳ７１で計算された帯域毎の瞬時振幅周波数関数の平均から、全体域の短時間平均の振幅周波数関数を演算する。ステップＳ７５において相関計算部１５６は、推定振幅周波数関数と、全帯域の短時間平均の振幅周波数関数との相関を演算する。推定振幅周波数関数は、ステップＳ７７で過去に演算されたものであり、全帯域の短時間平均の振幅周波数関数は、ステップＳ７４で演算されたものである。
【００５３】
ステップＳ７６において更新係数変更部１５４は、帯域毎の更新係数μｎを変更する。変更後の更新係数をμ’ｎとする。ステップＳ７５において演算された相関値が、予め定められている所定の閾値以上の大きさである場合、つまり、相関が高い場合、帯域毎の更新係数μｎは、予め定められている変更後更新係数α（一定の値）に変更される。これに対して、相関値が、閾値未満の大きさである場合、つまり、相関が低い場合、変更後更新係数μ’ｎは、更新係数μｎのまま（μ’ｎ＝μｎ）とされる。
【００５４】
ステップＳ７７において記憶部１５５は、帯域毎の瞬時振幅周波数関数と、変更後更新係数とに基づいて、帯域毎の振幅周波数関数を推定する。推定振幅周波数関数は記憶部１５５に記憶される。帯域毎の瞬時振幅周波数関数は、図５のステップＳ２５で計算された値であり、変更後更新係数は、ステップＳ７６で変更された値μ’ｎ（＝αまたはμｎ）である。帯域ｎの推定振幅周波数関数ｚｎ（ｔ）は、次式で表される。
ｚｎ（ｔ）＝（１−μｎ）×ｚｎ（ｔ−１）＋μｎ×ｘｎ（ｔ） （４）
【００５５】
式（４）のｚｎ（ｔ−１）は、前回の処理で記憶部１５５に記憶された推定振幅周波数関数である。
【００５６】
図５に戻って、ステップＳ２６において以上のようにして振幅周波数関数推定処理が実行された後、ステップＳ２７において推定エコー生成部１０５は、推定エコー信号を生成する。具体的には、ステップＳ７７で生成された推定振幅周波数関数と、参照入力ＦＦＴ部１０２より出力された瞬時スピーカ出力信号とが乗算され、エコー信号に対応する推定エコー信号が生成される。
【００５７】
ステップＳ２８においてエコー抑圧部１０６は、エコー抑圧信号を生成する。つまり、マイク入力ＦＦＴ部１０１より出力された瞬時マイク入力信号から、ステップＳ２７で推定エコー生成部１０５により生成された推定エコー信号が減算される。瞬時マイク入力信号から、エコー信号に対応する推定エコー信号が減算されるので、エコー成分が抑圧された信号が得られる。
【００５８】
ステップＳ２９において逆ＦＦＴ部１０７は、エコー抑圧信号を逆ＦＦＴする。これにより時間領域のエコー抑圧信号が得られる。このエコー抑圧信号は、音声コーデック部５４に供給される。
【００５９】
ステップＳ３０において音声コーデック部５４は、エコー抑圧信号をエンコードする。ステップＳ３１において通信部５５は、遠端装置７１へデータを送る。つまり、エンコードされたエコー抑圧データが、通信回線１３を介して第２の情報処理装置１２に送信される。
【００６０】
情報処理装置１２においても、上述した第１の情報処理装置１１における出力処理と入力処理と同様の処理が実行される。
【００６１】
＜３．動作の概念的な説明＞
【００６２】
次に、以上の動作の概念について説明する。図８は、情報処理システム１の動作の概略を説明する図である。同図に示されるように、瞬時振幅周波数関数算出部１０３としての除算器１９１において、Ａ／Ｄ変換器５２より出力された瞬時マイク入力信号が、音声コーデック部５４より出力された瞬時スピーカ出力信号により除算される。これにより瞬時振幅周波数関数が得られる。
【００６３】
振幅周波数関数推定部１０４は、瞬時振幅周波数関数から推定振幅周波数関数を推定する。推定エコー生成部１０５を構成する乗算器１９２は、スピーカ出力信号と推定振幅周波数関数とを乗算して、推定エコー信号を生成する。エコー抑圧部１０６を構成する減算器１９３は、瞬時マイク入力信号から推定エコー信号を減算し、エコー抑圧信号を生成する。
【００６４】
このようにしてエコー抑圧信号が相手側の装置に送信されるので、相手側の装置のユーザは、相手側の発話を、自身の発話に妨害されることなく、確実に聞き取ることができる。
【００６５】
ユーザが例えば増幅部５７または増幅部５１のボリュームを操作して、増幅率を変更した場合、瞬時振幅周波数関数が変化するが、上述した処理がリアルタイムで繰り返されるので、新たな係数が学習され、学習された係数が設定されるので、増幅率を変更してもエコー成分を抑圧することができる。
【００６６】
図９は、情報処理システム１の動作を模式的に説明する図である。同図に示されるように、いま、ボリューム変更前の推定振幅周波数関数がｇ１で示される特性であるとする。増幅率を変更することで、ｇ３で示される特性が、ボリューム変更後の目標振幅周波数関数として設定されたとする。この場合、推定振幅周波数関数ｇ１と目標振幅周波数関数ｇ３の相関が高い場合、上述したように、変更後更新係数μ’ｎがαという一定値に設定される。その結果、推定振幅周波数関数ｇ１から目標振幅周波数関数ｇ３まで特性が次第に変化する際、遷移途中の全帯域の短時間平均振幅周波数関数ｇ２は、各周波数帯域のゲインが同じ値だけ変化するので、迅速に目標振幅周波数関数ｇ３の特性に収束する。
【００６７】
ここで比較のために、振幅周波数関数推定部１０４として、異なる構成を考える。図１０は、振幅周波数関数推定部１０４の比較する構成を示すブロック図である。この構成例においては、図３に示した平均計算部１５１、分散計算部１５２、更新係数算出部１５３、および記憶部１５５に対応する平均計算部２５１、分散計算部２５２、更新係数算出部２５３、および記憶部２５４が設けられている。しかし、更新係数変更部１５４と相関計算部１５６に対応する構成が設けられていない。つまりこの構成においては、相関に基づいて係数が更新されることはない。その結果、増幅率を変更した場合の遷移途中の振幅周波数関数は、図１１に示されるようになる。
【００６８】
図１１は、比較する情報処理システム１の動作を模式的に説明する図である。同図に示されるように、ボリューム変更前の推定振幅周波数関数がｇ１１で示される特性であるとする。増幅率を変更することで、ｇ１３で示される特性が、ボリューム変更後の目標振幅周波数関数として設定されたとする。この場合、推定振幅周波数関数ｇ１１から目標振幅周波数関数ｇ１３まで特性が変化する際、遷移途中の全帯域の短時間平均振幅周波数関数ｇ１２は、各周波数帯域毎にゲインが異なる値だけ変化する。その結果、目標振幅周波数関数ｇ１３の特性に収束するまでに長い時間がかかる。
【００６９】
この情報処理システム１は、テレビ会議システム１に限らず、ハンズフリー電話システム、監視カメラシステム等のシステム、カーステレオを再生しながら音声認識する装置においても適用することができる。
【００７０】
＜４．本技術のプログラムへの適用＞
【００７１】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【００７２】
図１２は、上述した一連の処理をプログラムにより実行するコンピュータ３００のハードウェアの構成例を示すブロック図である。
【００７３】
コンピュータ３００において、CPU（Central Processing Unit）３０１，ROM（Read Only Memory）３０２，RAM（Random Access Memory）３０３は、バス３０４により相互に接続されている。
【００７４】
バス３０４には、さらに、入出力インタフェース３０５が接続されている。入出力インタフェース３０５には、入力部３０６、出力部３０７、記憶部３０８、通信部３０９、及びドライブ３１０が接続されている。
【００７５】
入力部３０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部３０７は、ディスプレイ、スピーカなどよりなる。記憶部３０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部３０９は、ネットワークインタフェースなどよりなる。ドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア３１１を駆動する。
【００７６】
以上のように構成されるコンピュータでは、CPU３０１が、例えば、記憶部３０８に記憶されているプログラムを、入出力インタフェース３０５及びバス３０４を介して、RAM３０３にロードして実行することにより、上述した一連の処理が行われる。
【００７７】
コンピュータでは、プログラムは、例えば、パッケージメディア等としてのリムーバブルメディア３１１をドライブ３１０に装着することにより、入出力インタフェース３０５を介して、記憶部３０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部３０９で受信し、記憶部３０８にインストールすることができる。その他、プログラムは、ROM３０２や記憶部３０８に、あらかじめインストールしておくことができる。
【００７８】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【００７９】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【００８０】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【００８１】
＜５．その他＞
【００８２】
本技術は、以下のような構成もとることができる。
【００８３】
（１）
スピーカに出力される第１の信号と、マイクロフォンから入力される第２の信号から、振幅周波数関数を推定する推定部と、
前記第１の信号と前記振幅周波数関数とから推定エコー信号を生成する生成部と、
前記第２の信号から前記推定エコー信号を抑圧する抑圧部と
を備え、
前記推定部は、推定振幅周波数関数と短時間平均振幅周波数関数に基づいて、前記振幅周波数関数の係数を変更する
情報処理装置。
（２）
前記相関が、予め定められている閾値より高い場合、前記係数を一定値だけ変更する
前記（１）に記載の情報処理装置。
（３）
前記相関が、前記閾値より低い場合、前記係数を変更しない
前記（２）に記載の情報処理装置。
（４）
前記第１の信号は、前記スピーカに出力される信号の周波数領域の信号であり、
前記第２の信号は、前記マイクロフォンから入力された信号の周波数領域の信号である
前記（１）、（２）または（３）に記載の情報処理装置。
（５）
前記周波数領域の第１の信号と第２の信号から、瞬時振幅周波数関数を算出する算出部をさらに備え、
前記推定部は、前記瞬時振幅周波数関数から前記振幅周波数関数を推定する
前記（１）乃至（４）のいずれかに記載の情報処理装置。
（６）
前記推定エコー信号が抑圧された、前記周波数領域の前記第２の信号は、時間領域の信号に変換される
前記（１）乃至（５）のいずれかに記載の情報処理装置。
（７）
スピーカに出力される第１の信号と、マイクロフォンから入力される第２の信号から、振幅周波数関数を推定する推定ステップと、
前記第１の信号と前記振幅周波数関数とから推定エコー信号を生成する生成ステップと、
前記第２の信号から前記推定エコー信号を抑圧する抑圧ステップと
を含み、
前記推定ステップでは、推定振幅周波数関数と短時間平均振幅周波数関数に基づいて、前記振幅周波数関数の係数を変更する
情報処理方法。
（８）
スピーカに出力される第１の信号と、マイクロフォンから入力される第２の信号から、振幅周波数関数を推定する推定ステップと、
前記第１の信号と前記振幅周波数関数とから推定エコー信号を生成する生成ステップと、
前記第２の信号から前記推定エコー信号を抑圧する抑圧ステップと
を含み、
前記推定ステップでは、推定振幅周波数関数と短時間平均振幅周波数関数に基づいて、前記振幅周波数関数の係数を変更する
コンピュータに実行させるプログラム。
【符号の説明】
【００８４】
１ 情報処理システム， １１ 第１の情報処理装置， １２ 第２の情報処理装置， １３ 通信回線， ３１ 近端装置， ５１ 増幅部， ５３ 適応エコーサブトラクション部， ５４ 音声コーデック部， ５５ 通信部， ５７ 増幅部， １０１ マイク入力ＦＦＴ部， １０２ 参照入力ＦＦＴ部， １０３ 瞬時振幅周波数関数算出部， １０４ 振幅周波数関数推定部， １０５ 推定エコー生成部， １０６ エコー抑圧部， １０７ 逆ＦＦＴ部
【特許請求の範囲】
【請求項１】
スピーカに出力される第１の信号と、マイクロフォンから入力される第２の信号から、振幅周波数関数を推定する推定部と、
前記第１の信号と前記振幅周波数関数とから推定エコー信号を生成する生成部と、
前記第２の信号から前記推定エコー信号を抑圧する抑圧部と
を備え、
前記推定部は、推定振幅周波数関数と短時間平均振幅周波数関数との相関に基づいて、前記振幅周波数関数の係数を変更する
情報処理装置。
【請求項２】
前記相関が、予め定められている閾値より高い場合、前記係数を一定値だけ変更する
請求項１に記載の情報処理装置。
【請求項３】
前記相関が、前記閾値より低い場合、前記係数を変更しない
請求項２に記載の情報処理装置。
【請求項４】
前記第１の信号は、前記スピーカに出力される信号の周波数領域の信号であり、
前記第２の信号は、前記マイクロフォンから入力された信号の周波数領域の信号である
請求項３に記載の情報処理装置。
【請求項５】
前記周波数領域の第１の信号と第２の信号から、瞬時振幅周波数関数を算出する算出部をさらに備え、
前記推定部は、前記瞬時振幅周波数関数から前記振幅周波数関数を推定する
請求項４に記載の情報処理装置。
【請求項６】
前記推定エコー信号が抑圧された、前記周波数領域の前記第２の信号は、時間領域の信号に変換される
請求項５に記載の情報処理装置。
【請求項７】
スピーカに出力される第１の信号と、マイクロフォンから入力される第２の信号から、振幅周波数関数を推定する推定ステップと、
前記第１の信号と前記振幅周波数関数とから推定エコー信号を生成する生成ステップと、
前記第２の信号から前記推定エコー信号を抑圧する抑圧ステップと
を含み、
前記推定ステップでは、推定振幅周波数関数と短時間平均振幅周波数関数との相関に基づいて、前記振幅周波数関数の係数を変更する
情報処理方法。
【請求項８】
スピーカに出力される第１の信号と、マイクロフォンから入力される第２の信号から、振幅周波数関数を推定する推定ステップと、
前記第１の信号と前記振幅周波数関数とから推定エコー信号を生成する生成ステップと、
前記第２の信号から前記推定エコー信号を抑圧する抑圧ステップと
を含み、
前記推定ステップでは、推定振幅周波数関数と短時間平均振幅周波数関数に基づいて、前記振幅周波数関数の係数を変更する
コンピュータに実行させるプログラム。
【請求項１】
スピーカに出力される第１の信号と、マイクロフォンから入力される第２の信号から、振幅周波数関数を推定する推定部と、
前記第１の信号と前記振幅周波数関数とから推定エコー信号を生成する生成部と、
前記第２の信号から前記推定エコー信号を抑圧する抑圧部と
を備え、
前記推定部は、推定振幅周波数関数と短時間平均振幅周波数関数との相関に基づいて、前記振幅周波数関数の係数を変更する
情報処理装置。
【請求項２】
前記相関が、予め定められている閾値より高い場合、前記係数を一定値だけ変更する
請求項１に記載の情報処理装置。
【請求項３】
前記相関が、前記閾値より低い場合、前記係数を変更しない
請求項２に記載の情報処理装置。
【請求項４】
前記第１の信号は、前記スピーカに出力される信号の周波数領域の信号であり、
前記第２の信号は、前記マイクロフォンから入力された信号の周波数領域の信号である
請求項３に記載の情報処理装置。
【請求項５】
前記周波数領域の第１の信号と第２の信号から、瞬時振幅周波数関数を算出する算出部をさらに備え、
前記推定部は、前記瞬時振幅周波数関数から前記振幅周波数関数を推定する
請求項４に記載の情報処理装置。
【請求項６】
前記推定エコー信号が抑圧された、前記周波数領域の前記第２の信号は、時間領域の信号に変換される
請求項５に記載の情報処理装置。
【請求項７】
スピーカに出力される第１の信号と、マイクロフォンから入力される第２の信号から、振幅周波数関数を推定する推定ステップと、
前記第１の信号と前記振幅周波数関数とから推定エコー信号を生成する生成ステップと、
前記第２の信号から前記推定エコー信号を抑圧する抑圧ステップと
を含み、
前記推定ステップでは、推定振幅周波数関数と短時間平均振幅周波数関数との相関に基づいて、前記振幅周波数関数の係数を変更する
情報処理方法。
【請求項８】
スピーカに出力される第１の信号と、マイクロフォンから入力される第２の信号から、振幅周波数関数を推定する推定ステップと、
前記第１の信号と前記振幅周波数関数とから推定エコー信号を生成する生成ステップと、
前記第２の信号から前記推定エコー信号を抑圧する抑圧ステップと
を含み、
前記推定ステップでは、推定振幅周波数関数と短時間平均振幅周波数関数に基づいて、前記振幅周波数関数の係数を変更する
コンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１３−４２３３４（Ｐ２０１３−４２３３４Ａ）
【公開日】平成２５年２月２８日（２０１３．２．２８）
【国際特許分類】
【出願番号】特願２０１１−１７７５６８（Ｐ２０１１−１７７５６８）
【出願日】平成２３年８月１５日（２０１１．８．１５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年２月２８日（２０１３．２．２８）
【国際特許分類】
【出願日】平成２３年８月１５日（２０１１．８．１５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]