ステレオ音響結合量推定装置、ステレオ音響結合量推定方法、ステレオ音響結合量推定プログラム
【課題】マイクロホンとスピーカに対称性がない場合でも、局所解を求めることなく、ステレオ音響結合量を求めるという課題がある。
【解決手段】本発明に係るステレオ音響結合推定技術は、ステレオ受話信号及び送話信号を時間領域から周波数領域の信号に変換し、周波数領域のステレオ受話信号及び送話信号を保持し、周波数領域のステレオ受話信号の信号比を求め、信号比が変化したか否かを判定し、信号比が変化している場合、現在の受話信号及び送話信号と保持手段に保持している過去の受話信号及び送話信号を用いて、伝達関数を求める結合量演算手段とを有する。信号比変化判定手段は、信号比を保持し、現在の信号比と信号比保持手段に保持している過去の信号比を比較する。
【解決手段】本発明に係るステレオ音響結合推定技術は、ステレオ受話信号及び送話信号を時間領域から周波数領域の信号に変換し、周波数領域のステレオ受話信号及び送話信号を保持し、周波数領域のステレオ受話信号の信号比を求め、信号比が変化したか否かを判定し、信号比が変化している場合、現在の受話信号及び送話信号と保持手段に保持している過去の受話信号及び送話信号を用いて、伝達関数を求める結合量演算手段とを有する。信号比変化判定手段は、信号比を保持し、現在の信号比と信号比保持手段に保持している過去の信号比を比較する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２つのスピーカと１つ以上のマイクロホンを同一音響空間内に持つステレオ音響システム、またはこの音響システムに基づく拡声システム、あるいは拡声システムなどの設計、制御あるいは調整などに有益な情報を与えるスピーカとマイクロホンとの間の音響的な結合（音響結合）の組について推定するステレオ音響結合量推定装置、方法及びプログラムに関する。
【背景技術】
【０００２】
まず、１チャネル音響システムを用いた拡声システムにおいて、ハウリングを起こさないという意味でのシステムの安定性が、各地点におけるスピーカとマイクロホンとの間の音響結合量を用いることによって、どのように議論できるのかを、周波数領域において考える。図１は、ある地点におけるスピーカ２からマイクロホン３までの回り込みを示している。Ｈ（ｋ）は、時刻ｋの周波数領域の伝達関数を表している。ここで、Ｈ(ｋ)の各周波数の利得（振幅特性）が１未満のシステムである場合、このような地点同士を接続しても、システムが安定していると言える。そのため、ある地点の周波数領域伝達関数Ｈ（ｋ）の各周波数の利得（振幅特性）が１未満であることが、その地点でのシステムの安定性の必要十分条件を満たしていると言える。なお、振幅特性は、伝達関数Ｈ（ｋ）の複素共役をＨ＊（ｋ）で表す場合、√（Ｈ（ｋ）Ｈ＊（ｋ））で求められる。本明細書では、この周波数領域伝達関数の振幅特性を音響結合量と呼ぶ。
【０００３】
図２は、スピーカとマイクロホンの数が２つ（スピーカ２１、２２とマイクロホン３１、３２）になった場合の例を示す。スピーカの数とマイクロホンの数が増えても、基本的にシステムの安定性に対する要求は同じであり、各スピーカと各マイクロホン間の周波数領域伝達関数の各周波数の利得（振幅特性）が１未満であることが、その地点でのシステムの安定性の必要十分条件となる。この周波数領域伝達関数の各周波数の振幅特性をステレオ音響結合量と呼ぶ。
【０００４】
このステレオ音響結合量が、どの周波数において１を超えているかを調べることにより、ハウリングの発振周波数を予知することができ、システムの音量調整や周波数特性調整に役立てることができる。
【０００５】
特許文献１は、マイクロホンとスピーカの相対位置に対称性を仮定し、ステレオ音響結合量を求める方法として知られている。また、特許文献２は、最小二乗法を用いて、ステレオ音響結合量を求める方法として知られている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１０−２５７５８５号公報
【特許文献２】特開２００２−２４３５４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１は、マイクロホンとスピーカの対称性を仮定しているため、一般性がないという問題がある。また、特許文献２は、局所解が求まり、正しいステレオ音響結合量を求めることができないという問題がある。よって、マイクロホンとスピーカに対称性がない場合でも、局所解を求めることなく、ステレオ音響結合量を求めるという課題がある。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために、本発明に係るステレオ音響結合推定技術は、２チャネルのスピーカと１チャネル以上のマイクロホンとによって構成されるスピーカ群とマイクロホン群とを同一音響空間内に持つステレオ音響システムの音響結合量を推定するものであり、ステレオ受話信号及び送話信号を時間領域から周波数領域の信号に変換し、周波数領域のステレオ受話信号及び送話信号を保持し、周波数領域のステレオ受話信号の信号比を求め、信号比が変化したか否かを判定し、信号比が変化している場合、現在の受話信号及び送話信号と保持手段に保持している過去の受話信号及び送話信号を用いて、伝達関数を求める結合量演算手段とを有する。信号比変化判定手段は、信号比を保持し、現在の信号比と信号比保持手段に保持している過去の信号比を比較する。
【発明の効果】
【０００９】
本発明は、話者位置の変化によって、マイクロホンとスピーカに対称性がない場合でも、局所解を求めることなく、ステレオ音響結合量を求めることができるという効果を奏する。
【図面の簡単な説明】
【００１０】
【図１】ある地点におけるスピーカ２からマイクロホン３までの回り込みを示す図。
【図２】スピーカとマイクロホンの数が２つ（スピーカ２１、２２とマイクロホン３１、３２）になった場合の回り込みを示す図。
【図３】ステレオ音響結合量推定装置１００の配置例を示す図。
【図４】実施例１のステレオ音響結合推定装置の構成例を示す図。
【図５】実施例１のステレオ音響推定装置の処理フロー例を示す図。
【図６】本実施例におけるステレオ音響結合量推定装置１００のハードウェア構成を例示したブロック図。
【図７】実施例２のステレオ音響結合推定装置の構成例を示す図。
【図８】実施例２のステレオ音響推定装置の処理フロー例を示す図。
【発明を実施するための形態】
【００１１】
図３は、ステレオ音響結合量推定装置１００の配置例を示す。以下、図３を用いて本発明の原理を説明する。
【００１２】
周波数をｆとし、ｍ（＝１，２）番目のスピーカとｎ（＝１，２）番目のマイクロホンとの間の伝達関数について周波数特性をＨｍｎ（ｆ）とすると、音響システム周波数特性行列を
【００１３】
【数１】
【００１４】
と表すことができる。さらに、高速フーリエ変換等のフレーム番号をｊとし、ｍ（＝ １，２）番目のスピーカへの受話信号ｘｍの周波数特性をＸｍ（ｆ，ｊ）とすると、これをまとめた受話信号周波数特性ベクトルを
【００１５】
【数２】
【００１６】
と表すことができる。ｎ（＝１，２）番目のマイクロホンからの出力信号ｙｎの周波数特性をＹｎ（ｆ，ｊ）とすると、これをまとめた出力信号周波数特性ベクトルを
【００１７】
【数３】
【００１８】
と表すことができる。このとき、Ｈ（ｆ），Ｘ（ｆ，ｊ），Ｙ（ｆ，ｊ）の間には、以下のような関係がある。
【００１９】
Ｙ（ｆ，ｊ）＝Ｈ（ｆ）Ｘ（ｆ，ｊ）
各要素ごとに見てみると、
Ｙ１（ｆ，ｊ）＝Ｈ１１（ｆ）Ｘ１（ｆ，ｊ）＋Ｈ２１（ｆ）Ｘ２（ｆ，ｊ）（１）
Ｙ２（ｆ，ｊ）＝Ｈ１２（ｆ）Ｘ１（ｆ，ｊ）＋Ｈ２２（ｆ）Ｘ２（ｆ，ｊ）（２）
となる。
【００２０】
以下、簡単のため、２つのスピーカ２１、２２と１つのマイクロホン３１の場合（式（１）のみ）について考える。式（１）に注目すると、式１つに対して、未知数はＨ１１（ｆ）、Ｈ２１（ｆ）の２つであり、解が無数に存在する。ここでスピーカ２１、２２への受話信号ｘ１、ｘ２は、通信相手の話した音声が通信相手話者から、通信相手マイクロホン５１、５２までの伝達関数Ｆ１、Ｆ２を通って受話信号ｘ１、ｘ２となる。伝達関数の周波数特性をＦ１（ｆ）、Ｆ２（ｆ）、通信相手話者音声の周波数特性をＳ（ｆ，ｊ）とすると、受話信号の周波数特性は、
Ｘ１（ｆ，ｊ）＝Ｆ１（ｆ）Ｓ（ｆ，ｊ）
Ｘ２（ｆ，ｊ）＝Ｆ２（ｆ）Ｓ（ｆ，ｊ）
となる。ここで、例えば、テレビ会議システム等において話者が変わり、通信相手話者位置が２か所（Ａ、Ｂ）ある場合を考える。まず、通信相手話者位置Ａから通信相手マイクロホン５１、５２までの伝達関数の周波数特性をＦＡ１（ｆ）,ＦＡ２（ｆ）とし、このときのフレーム番号をｊＡとすると、通信相手話者位置Ａから話したときの受話信号ＸＡ１（ｆ，ｊＡ）、ＸＡ２（ｆ，ｊＡ）は、
ＸＡ１（ｆ，ｊＡ）＝ＦＡ１（ｆ）Ｓ（ｆ，ｊＡ） （３）
ＸＡ２（ｆ，ｊＡ）＝ＦＡ２（ｆ）Ｓ（ｆ，ｊＡ） （４）
となる。同様に通信話者位置Ｂから通信相手マイクロホンまでの伝達関数の周波数特性をＦＢ１（ｆ）、ＦＢ２（ｆ）とし、このときのフレーム番号をｊＢとした場合、通信相手話者位置Ｂから話した時の受話信号ＸＢ１（ｆ，ｊＢ）、ＸＢ２（ｆ，ｊＢ）は、
ＸＢ１（ｆ，ｊＢ）＝ＦＢ１（ｆ）Ｓ（ｆ，ｊＢ） （５）
ＸＢ２（ｆ，ｊＢ）＝ＦＢ２（ｆ）Ｓ（ｆ，ｊＢ） （６）
となる。通信相手話者位置Ａ及び通信相手話者位置Ｂから話したときの各地点でのマイクロホン受話信号ＹＡ（ｆ，ｊＡ）、ＹＢ（ｆ，ｊＡ）は、
ＹＡ（ｆ，ｊＡ）＝Ｈ１１（ｆ）ＸＡ１（ｆ，ｊＡ）＋Ｈ２１（ｆ）ＸＡ２（ｆ，ｊＡ） （７）
ＹＢ（ｆ，ｊＢ）＝Ｈ１１（ｆ）ＸＢ１（ｆ，ｊＢ）＋Ｈ２１（ｆ）ＸＢ２（ｆ，ｊＢ） （８）
となる。式（７）、（８）では、２つの式に対して、未知数はＨ１１、Ｈ２１の２つであるため、この連立方程式を解くことにより、伝達関数Ｈ１１、Ｈ２１を求めることができる。さらに、√（Ｈ（ｋ）Ｈ＊（ｋ））からステレオ音響結合量を求めることができる。結合量演算部では、これを利用して伝達関数及びステレオ音響結合量を求める。
【００２１】
但し、この方法では、通信相手話者位置が変わったことを判定する必要がある。通信相手話者位置の変化は、以下のように観測することができる。話者位置Ａにおけるステレオ受話信号ｘ１とｘ２の比ＲＡは、式（３）及び（４）より
RA(f,jA)=XA1(f,jA)/XA2(f,jA)(=FA1(f)/FA2(f))
となり、話者位置Ｂにおけるステレオ受話信号ｘ１とｘ２の比ＲＢは、式（５）及び（６）より
RB(f,jB)=XB1(f,jB)/XB2(f,jB)(=FB1(f)/FB2(f))
となる。よって、信号比がＲＡからＲＢに変化するタイミングが、話者位置変化のタイミングとなる。信号比変化判定部では、このタイミングを求める。以下、本発明の実施の形態について、詳細に説明する。
【実施例１】
【００２２】
［ステレオ音響結合量推定装置１００］
ステレオ音響結合量推定装置１００は、２チャネルのスピーカ２１、２２とＮ（≧１）チャネルのマイクロホン（例えば、２チャネルのマイクロホン３１、３２）とによって構成されるスピーカ群とマイクロホン群とを同一音響空間内に持つステレオ音響システムのスピーカ群からマイクロホン群へと伝わる音響的な結合の大きさ、すなわち音響結合量を推定する。
【００２３】
例えば、２チャネルの受話端（例えば、マイクロフォン５１、５２）からのステレオ受話信号ｘ１（ｋ）、ｘ２（ｋ）は、２チャネルのスピーカ２１、２２から再生され、反響路を通り、１以上のマイクロホン（例えば、マイクロホン３１、３２）で収音される。収音された送話信号（例えば、ｙ１（ｋ）、ｙ２（ｋ））は、１つ以上の送話端（例えばスピーカ４１、４２）へ送られる。このとき、ステレオ音響結合量推定装置１００は、ステレオ受話信号ｘ１（ｋ）、ｘ２（ｋ）と１チャネル以上の送話信号を入力され、伝達関数、音響結合量を推定する。
【００２４】
図４は実施例１のステレオ音響結合推定装置の構成例を示す。図５は実施例１のステレオ音響推定装置の処理フロー例を示す。以下、図４及び５を用いて実施例１に係るステレオ音響結合量推定装置１００を説明する。
【００２５】
ステレオ音響結合量推定装置１００は、受話信号周波数領域変換部１１１、１１２、送話信号周波数領域変換部１１３、受話信号保持部１２０、送話信号保持部１２３、信号比演算部１４０、信号比変化判定部１５０及び結合量演算部１６０を有する。なお、簡単のため、スピーカ２つとマイクロホン１つの場合について考え、図３におけるマイクロホン３１の出力ｙ１をｙと表現し、伝達関数Ｈ１１、Ｈ２１をそれぞれＨ１，Ｈ２と表現する。
【００２６】
［周波数領域変換部及び保持部］
受話信号周波数領域変換部１１１、１１２及び送話信号周波数領域変換部１１３は、それぞれステレオ受話信号ｘ１（ｋ）、ｘ２（ｋ）、送話信号ｙ（ｋ）を時間領域から周波数領域の信号Ｘ１（ｆ，ｊ）、Ｘ２（ｆ，ｊ）、Ｙ（ｆ，ｊ）に変換する（ｓ１１０）。この変換には、例えば、高速フーリエ変換（Fast Fourier Transform）等の従来技術を用いればよい。
【００２７】
受話信号保持部１２０の有する保持部１２１、１２２、送話信号保持部１２３は、それぞれ、周波数領域のステレオ受話信号Ｘ１（ｆ，ｊ）、Ｘ２（ｆ，ｊ）、送話信号Ｙ（ｆ，ｊ）を保持する（ｓ１２０）。
【００２８】
［信号比演算部１４０］
信号比演算部１４０は、周波数領域のステレオ受話信号Ｘ１（ｆ，ｊ）、Ｘ２（ｆ，ｊ）の信号比Ｒ（ｆ，ｊ）を求める（ｓ１４０）。例えば、以下の式により、信号比Ｒ（ｆ，ｊ）を求める。
【００２９】
Ｒ（ｆ，ｊ）＝Ｘ１（ｆ，ｊ）／Ｘ２（ｆ，ｊ）
【００３０】
［信号比変化判定部１５０］
信号比変化判定部１５０は、信号比が変化したか否かを判定する（ｓ１５０）。信号比変化判定部１５０は、信号比保持部１５１と比較部１５３を有する。
【００３１】
信号比保持部１５１は、信号比Ｒ（ｆ，ｊ）を保持する（ｓ１５１）。
【００３２】
比較部１５３は、現在の信号比Ｒ（ｆ，ｊ）と信号比保持部１５１の保持している過去の信号比Ｒ（ｆ，ｊ−１）を比較する（ｓ１５３）。比較の結果、信号比が変化したと判断した場合には、その旨を意味する判定信号を出力する。例えば、
｜Ｒ（ｆ，ｊ）−Ｒ（ｆ，ｊ−１）｜＞α （１１）
を満たすときに、信号比が変化したと判断する。但し、αは０以上の実数であり、適宜設定される所定の値を表す。同一地点において伝達関数が全く変化しない場合には、α＝０としてもよいが、一般的に話者位置が変化していない場合にも、信号比がゆらぐことがあるため、予め実験等により求めた所定値よりも大きい変化があった場合にのみ、信号比が変化したと判断する。
【００３３】
言い換えると、現在の信号比Ｒ（ｆ，ｊ）から信号比保持部１５１の保持している１フレーム分過去の信号比Ｒ（ｆ，ｊ−１）を差し引き、その値の絶対値が所定の値よりも大きい場合には、信号比が変化した旨の判定信号（例えば「１」）を出力する。判定信号は、信号比が変化したときのみ出力してもよいし、変化していないときには変化していない旨の判定信号（例えば「０」）を出力してもよい。
【００３４】
なお、図示しない初回判定部を設けてもよい。初回判定部は、最初の受話信号か否かを判定し（ｓ１５２）、最初の場合には、比較処理（ｓ１５３）及び結合量演算処理（ｓ１６０）を行わないように制御信号等を出力する。初回の場合には、比較すべき信号比がなく、結合量を演算するための過去の情報がないためである。但し、信号比、受話信号、送話信号として初期値を設定している場合には、この判断を行わなくともよい。
【００３５】
本発明は、上記方法に限定されるものではなく、他の方法によって、信号比の変化を検知してもよい。例えば、現在のフレームの信号比Ｒ（ｆ，ｊ）と１フレーム前の信号比Ｒ（ｆ，ｊ−１）を比較するのではなく、数フレーム前の信号比を比較くして変化がないか検知してもよいし、数フレーム分の平均を比較して変化がないか検知してもよい。このとき、信号比保持部１５１は、この処理に必要なフレーム数の信号比Ｒを保持する構成とする。
【００３６】
［結合量演算部１６０］
結合量演算手段１６０は、信号比が変化した旨の判定信号を受け取ったときに、現在の受話信号Ｘ１（ｆ，ｊ）、Ｘ２（ｆ，ｊ）及び送話信号Ｙ（ｆ，ｊ）と各保持部に保持している過去の受話信号Ｘ１（ｆ，ｊ−１）、Ｘ２（ｆ，ｊ−１）及び送話信号Ｙ（ｆ，ｊ−１）を用いて、伝達関数を求める（ｓ１６０）。例えば、以下の方程式を求めることにより伝達関数Ｈ１、Ｈ２を算出する。
【００３７】
Y(f,j-1)=H1(f)X1(f,j-1)+H2(f)X2(f,j-1) （１２）
Y(f,j)=H1(f)X1(f,j)+H2(f)X2(f,j) （１３）
さらに、ステレオ音響結合量√（Ｈ１（ｆ）Ｈ１＊（ｆ））、√（Ｈ２（ｆ）Ｈ２＊（ｆ））を求める。
【００３８】
但し、本発明は、上記方法に限定されるものではなく、他の方法によって、伝達関数を求めてもよい。例えば、数フレーム（時間）分の平均から伝達関数を算出してもよい。各保持部１２１，１２２，１２３は、この処理に必要なフレーム数（１フレーム分または数フレーム分）の周波数領域の受話信号または送話信号を保持する構成とする。なお、各処理は、周波数毎に行う。よって、周波数毎に伝達関数、ステレオ音響結合量を求める。
【００３９】
このような構成とすることによって、マイクロホンとスピーカに対称性がない場合でも、局所解を求めることなく、ステレオ音響結合量を求めることができる。
【００４０】
なお、送話信号ｙに代えて図３のｙ２を用いることで伝達関数Ｈ１２、Ｈ２２及びその音響結合量を求めることができる。さらに、２つのスピーカとｎ（＝１，２,…,Ｎ）番目のマイクロホンとの間の伝達関数について周波数特性をＨ１ｎ（ｆ）、Ｈ２ｎ（ｆ）、ｎ番目のマイクロホンの出力信号から得られる周波数領域の送話信号をＹｎ（ｆ，ｊ）とすると、
Yn(f,j-1)=H1ｎ(f)X1(f,j-1)+H2n(f)X2(f,j-1)
Yn(f,j)=H1n(f)X1(f,j)+H2n(f)X2(f,j)
から伝達関数Ｈ１ｎ（ｆ）、Ｈ２ｎ（ｆ）を求めることができる。
【００４１】
また、本実施例では、ステレオ受話信号を入力としているが、２以上の受話信号についても、伝達関数を求めることができる。その場合、受話信号のチャネル数をＭとすると、あるマイクロホンに入力される音声は、Ｍ個の伝達路を介して入力される。そのため、Ｍ−１回の話者位置の変化を信号比変化判定部１５０で検知し、結合量演算部１６０において、信号比が変化した旨の判定信号を受け取ったときの１フレーム前の各受話信号、送話信号を保持しておき、Ｍ−１回目の判定信号を受け取ったときに、現在の受話信号、送話信号を保持し、Ｍ個の連立方程式を解くことによって、各伝達関数を求めることができ、音響結合量を算出することができる。
【００４２】
＜ハードウェア構成＞
図６は、本実施例におけるステレオ音響結合量推定装置１００のハードウェア構成を例示したブロック図である。図６に例示するように、この例のステレオ音響結合量推定装置１００は、それぞれＣＰＵ（Central Processing Unit）１１、入力部１２、出力部１３、補助記憶装置１４、ＲＯＭ（Read Only Memory）１５、ＲＡＭ（Random Access Memory）１６及びバス１７を有している。
【００４３】
この例のＣＰＵ１１は、制御部１１ａ、演算部１１ｂ及びレジスタ１１ｃを有し、レジスタ１１ｃに読み込まれた各種プログラムに従って様々な演算処理を実行する。また、入力部１２は、データが入力される入力インターフェース、キーボード、マウス等であり、出力部１３は、データが出力される出力インターフェース等である。補助記憶装置１４は、例えば、ハードディスク、半導体メモリ等であり、ステレオ音響結合量推定装置１００としてコンピュータを機能させるためのプログラムや各種データが格納される。また、ＲＡＭ１６には、上記のプログラムや各種データが展開され、ＣＵＰ１１等から利用される。また、バス１７は、ＣＰＵ１１、入力部１２、出力部１３、補助記憶装置１４、ＲＯＭ１５及びＲＡＭ１６を通信可能に接続する。なお、このようなハードウェアの具体例としては、例えば、パーソナルコンピュータの他、サーバ装置やワークステーション等を例示できる。
【００４４】
＜プログラム構成＞
上述のように、補助記憶装置１４には、本実施例のステレオ音響結合量推定装置１００の各処理を実行するための各プログラムが格納される。ステレオ音響結合量推定プログラムを構成する各プログラムは、単一のプログラム列として記載されていてもよく、また、少なくとも一部のプログラムが別個のモジュールとしてライブラリに格納されていてもよい。
【００４５】
＜ハードウェアとプログラムとの協働＞
ＣＰＵ１１は、読み込まれたＯＳプログラムに従い、補助記憶装置１４に格納されている上述のプログラムや各種データをＲＡＭ１６に展開する。そして、このプログラムやデータが書き込まれたＲＡＭ１６上のアドレスがＣＰＵ１１のレジスタ１１ｃに格納される。ＣＰＵ１１の制御部１１ａは、レジスタ１１ｃに格納されたこれらのアドレスを順次読み出し、読み出したアドレスが示すＲＡＭ１６上の領域からプログラムやデータを読み出し、そのプログラムが示す演算を演算部１１ｂに順次実行させ、その演算結果をレジスタ１１ｃに格納していく。
【００４６】
図４は、このようにＣＰＵ１１に上述のプログラムが読み込まれて実行されることにより構成されるステレオ音響結合量推定装置１００の機能構成を例示したブロック図である。
【００４７】
ここで、受話信号保持部１２０、保持部１２１、１２２、送話信号保持部１２３、信号比保持部１５１は、補助記憶装置１４、ＲＡＭ１６、レジスタ１１ｃ、その他のバッファメモリやキャッシュメモリ等の何れか、あるいはこれらを併用した記憶領域に相当する。また、受話信号周波数領域変換部１１１、１１２、送話信号周波数領域変換部１１３、信号比演算部１４０、信号比変化判定部１５０、比較部１５３、結合量演算部１６０は、ＣＰＵ１１にステレオ音響結合量推定プログラムを実行させることにより構成されるものである。
【実施例２】
【００４８】
実施例１と異なる部分のみ説明する。
【００４９】
［ステレオ音響結合量推定装置２００］
図７は実施例２のステレオ音響結合推定装置の構成例を示す。図８は実施例２のステレオ音響推定装置の処理フロー例を示す。以下、図７及び８を用いて実施例２に係るステレオ音響結合量推定装置２００を説明する。
【００５０】
ステレオ音響結合量推定装置２００は、受話信号周波数領域変換部１１１、１１２、送話信号周波数領域変換部１１３、受話信号保持部２２０、送話信号保持部２２３、信号比演算部１４０、信号比変化判定部２５０及び結合量演算部２６０を有する。
【００５１】
［信号比変化判定部２５０］
信号比変化判定部２５０は、信号比が変化したか否かを判定する（ｓ２５０）。信号比変化判定部２５０は、信号比保持部２５１と比較部２５３を有する。
【００５２】
信号比保持部２５１は、信号比Ｒ（ｆ，ｊ）を保持する（ｓ２５１）。詳細は他の保持部と併せて説明する。
【００５３】
比較部２５３は、現在の信号比Ｒ（ｆ，ｊ）と信号比保持部２５１の保持している過去の信号比Ｒ（ｆ，ｊＣ）を比較する（ｓ２５３）。なお、ｊＣは信号比保持部に保持されている信号比のフレーム番号を表す。比較の結果、信号比が変化したと判断した場合には、その旨を意味する判定信号を出力する。例えば、
｜Ｒ（ｆ，ｊ）−Ｒ（ｆ，ｊＣ）｜＞α
を満たすときに、信号比が変化したと判断する。
【００５４】
言い換えると、現在の信号比Ｒ（ｆ，ｊ）から信号比保持部２５１の保持している過去の信号比Ｒ（ｆ，ｊＣ）を差し引き、その値の絶対値が所定の値よりも大きい場合には、信号比が変化した旨の判定信号（例えば「１」）を出力する。
【００５５】
なお、図示しない初回判定部を設けてもよい。初回判定部は、最初の受話信号か否かを判定し（ｓ２５２）、最初の場合には、比較処理（ｓ２５３）及び結合量演算処理（ｓ２６０）を行わないように制御信号等を出力し、受話、送話信号保持処理（ｓ２２０）、及び信号比保持処理（ｓ２５１）を行うように制御信号等を出力する。初回の場合には、比較すべき信号比がなく、結合量を演算するための過去の情報がないためである。但し、信号比、受話信号、送話信号として初期値を設定している場合には、この判断を行わなくともよい。
【００５６】
［保持部］
受話信号保持部２２０の有する保持部２２１、２２２、送話信号保持部２２３及び信号比保持部２５１は、信号比が変化した旨の判定信号を受け取ったときのみ、入力された受話信号Ｘ１（ｆ，ｊ）、Ｘ２（ｆ，ｊ）、送話信号Ｙ（ｆ，ｊ）及び信号比Ｒ（ｆ，ｊ）を保持する（ｓ２２０、ｓ２５１）。なお、このとき、信号比が変化した旨の判定信号とは、結合量演算部２６０に送信される判定信号以外の各保持部に送信される制御信号も含む。
【００５７】
このような構成とすることによって、各保持部の情報は、信号比が変化したときのみ更新されることとなる。例えば、図３において話者がＡ地点からＢ地点に徒歩等により移動している場合には、実施例１の式（１１）では現在のフレームの信号比Ｒ（ｆ，ｊ）と１フレーム前の信号比Ｒ（ｆ，ｊ−１）を比較しても、所定の値αより小さくなってしまい、移動が完了しても、信号比の変化を検知することができない可能性がある。一方、本実施例では、各保持部の情報は、信号比が変化したときのみ更新されるため、変化量が前回保持部に保持したフレームの信号比（ｆ，ｊＣ）からα以上変化すると、変化を検知できる。そのため、話者交代時だけでなく、徒歩等による移動に対しても変化を感知できるという効果を奏する。
【００５８】
［結合量演算部２６０］
結合量演算手段２６０は、信号比が変化した旨の判定信号を受け取ったときに、現在の受話信号Ｘ１（ｆ，ｊ）、Ｘ２（ｆ，ｊ）及び送話信号Ｙ（ｆ，ｊ）と各保持部に保持している過去の受話信号Ｘ１（ｆ，ｊＣ）、Ｘ２（ｆ，ｊＣ）及び送話信号Ｙ（ｆ，ｊＣ）を用いて、伝達関数を求める（ｓ２６０）。例えば、以下の方程式を求めることにより伝達関数Ｈ１、Ｈ２を算出する。
【００５９】
Y(f,jC)=H1(f)X1(f,jC)+H2(f)X2(f,jC)
Y(f,j)=H1(f)X1(f,j)+H2(f)X2(f,j)
さらに、ステレオ音響結合量√（Ｈ１（ｆ）Ｈ１＊（ｆ））、√（Ｈ２（ｆ）Ｈ２＊（ｆ））を求める。つまり、実施例１の１フレーム前の受話信号Ｘ１（ｆ，ｊ−１）、Ｘ２（ｆ，ｊ−１）及び送話信号Ｙ（ｆ，ｊ−１）に代えて、前回信号比に変化があったときに各保持部に保持された過去の受話信号Ｘ１（ｆ，ｊＣ）、Ｘ２（ｆ，ｊＣ）及び送話信号Ｙ（ｆ，ｊＣ）を用いる点が実施例１の結合量演算部１６０と異なる。
【００６０】
このような構成とすることによって、実施例１と同様の効果を得ることができ、さらに、話者の移動による信号比の変化をより適切に検出し、音響結合量を推定することができる。
【産業上の利用可能性】
【００６１】
本発明で求めた伝達関数、ステレオ音響結合量は、ステレオ音響システムの音量調整や周波数特性調整、エコーキャンセラ等に利用することができる。
【符号の説明】
【００６２】
１００、２００ ステレオ音響結合量推定装置
１１１、１１２ 受話信号周波数領域変換部
１１３ 送話信号周波数領域変換部
１２０、２２０ 受話信号保持部
１４０、２４０ 信号比演算部
１５０、２５０ 信号比変化判定部
１６０、２６０ 結合量演算部
【技術分野】
【０００１】
本発明は、２つのスピーカと１つ以上のマイクロホンを同一音響空間内に持つステレオ音響システム、またはこの音響システムに基づく拡声システム、あるいは拡声システムなどの設計、制御あるいは調整などに有益な情報を与えるスピーカとマイクロホンとの間の音響的な結合（音響結合）の組について推定するステレオ音響結合量推定装置、方法及びプログラムに関する。
【背景技術】
【０００２】
まず、１チャネル音響システムを用いた拡声システムにおいて、ハウリングを起こさないという意味でのシステムの安定性が、各地点におけるスピーカとマイクロホンとの間の音響結合量を用いることによって、どのように議論できるのかを、周波数領域において考える。図１は、ある地点におけるスピーカ２からマイクロホン３までの回り込みを示している。Ｈ（ｋ）は、時刻ｋの周波数領域の伝達関数を表している。ここで、Ｈ(ｋ)の各周波数の利得（振幅特性）が１未満のシステムである場合、このような地点同士を接続しても、システムが安定していると言える。そのため、ある地点の周波数領域伝達関数Ｈ（ｋ）の各周波数の利得（振幅特性）が１未満であることが、その地点でのシステムの安定性の必要十分条件を満たしていると言える。なお、振幅特性は、伝達関数Ｈ（ｋ）の複素共役をＨ＊（ｋ）で表す場合、√（Ｈ（ｋ）Ｈ＊（ｋ））で求められる。本明細書では、この周波数領域伝達関数の振幅特性を音響結合量と呼ぶ。
【０００３】
図２は、スピーカとマイクロホンの数が２つ（スピーカ２１、２２とマイクロホン３１、３２）になった場合の例を示す。スピーカの数とマイクロホンの数が増えても、基本的にシステムの安定性に対する要求は同じであり、各スピーカと各マイクロホン間の周波数領域伝達関数の各周波数の利得（振幅特性）が１未満であることが、その地点でのシステムの安定性の必要十分条件となる。この周波数領域伝達関数の各周波数の振幅特性をステレオ音響結合量と呼ぶ。
【０００４】
このステレオ音響結合量が、どの周波数において１を超えているかを調べることにより、ハウリングの発振周波数を予知することができ、システムの音量調整や周波数特性調整に役立てることができる。
【０００５】
特許文献１は、マイクロホンとスピーカの相対位置に対称性を仮定し、ステレオ音響結合量を求める方法として知られている。また、特許文献２は、最小二乗法を用いて、ステレオ音響結合量を求める方法として知られている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１０−２５７５８５号公報
【特許文献２】特開２００２−２４３５４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１は、マイクロホンとスピーカの対称性を仮定しているため、一般性がないという問題がある。また、特許文献２は、局所解が求まり、正しいステレオ音響結合量を求めることができないという問題がある。よって、マイクロホンとスピーカに対称性がない場合でも、局所解を求めることなく、ステレオ音響結合量を求めるという課題がある。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために、本発明に係るステレオ音響結合推定技術は、２チャネルのスピーカと１チャネル以上のマイクロホンとによって構成されるスピーカ群とマイクロホン群とを同一音響空間内に持つステレオ音響システムの音響結合量を推定するものであり、ステレオ受話信号及び送話信号を時間領域から周波数領域の信号に変換し、周波数領域のステレオ受話信号及び送話信号を保持し、周波数領域のステレオ受話信号の信号比を求め、信号比が変化したか否かを判定し、信号比が変化している場合、現在の受話信号及び送話信号と保持手段に保持している過去の受話信号及び送話信号を用いて、伝達関数を求める結合量演算手段とを有する。信号比変化判定手段は、信号比を保持し、現在の信号比と信号比保持手段に保持している過去の信号比を比較する。
【発明の効果】
【０００９】
本発明は、話者位置の変化によって、マイクロホンとスピーカに対称性がない場合でも、局所解を求めることなく、ステレオ音響結合量を求めることができるという効果を奏する。
【図面の簡単な説明】
【００１０】
【図１】ある地点におけるスピーカ２からマイクロホン３までの回り込みを示す図。
【図２】スピーカとマイクロホンの数が２つ（スピーカ２１、２２とマイクロホン３１、３２）になった場合の回り込みを示す図。
【図３】ステレオ音響結合量推定装置１００の配置例を示す図。
【図４】実施例１のステレオ音響結合推定装置の構成例を示す図。
【図５】実施例１のステレオ音響推定装置の処理フロー例を示す図。
【図６】本実施例におけるステレオ音響結合量推定装置１００のハードウェア構成を例示したブロック図。
【図７】実施例２のステレオ音響結合推定装置の構成例を示す図。
【図８】実施例２のステレオ音響推定装置の処理フロー例を示す図。
【発明を実施するための形態】
【００１１】
図３は、ステレオ音響結合量推定装置１００の配置例を示す。以下、図３を用いて本発明の原理を説明する。
【００１２】
周波数をｆとし、ｍ（＝１，２）番目のスピーカとｎ（＝１，２）番目のマイクロホンとの間の伝達関数について周波数特性をＨｍｎ（ｆ）とすると、音響システム周波数特性行列を
【００１３】
【数１】
【００１４】
と表すことができる。さらに、高速フーリエ変換等のフレーム番号をｊとし、ｍ（＝ １，２）番目のスピーカへの受話信号ｘｍの周波数特性をＸｍ（ｆ，ｊ）とすると、これをまとめた受話信号周波数特性ベクトルを
【００１５】
【数２】
【００１６】
と表すことができる。ｎ（＝１，２）番目のマイクロホンからの出力信号ｙｎの周波数特性をＹｎ（ｆ，ｊ）とすると、これをまとめた出力信号周波数特性ベクトルを
【００１７】
【数３】
【００１８】
と表すことができる。このとき、Ｈ（ｆ），Ｘ（ｆ，ｊ），Ｙ（ｆ，ｊ）の間には、以下のような関係がある。
【００１９】
Ｙ（ｆ，ｊ）＝Ｈ（ｆ）Ｘ（ｆ，ｊ）
各要素ごとに見てみると、
Ｙ１（ｆ，ｊ）＝Ｈ１１（ｆ）Ｘ１（ｆ，ｊ）＋Ｈ２１（ｆ）Ｘ２（ｆ，ｊ）（１）
Ｙ２（ｆ，ｊ）＝Ｈ１２（ｆ）Ｘ１（ｆ，ｊ）＋Ｈ２２（ｆ）Ｘ２（ｆ，ｊ）（２）
となる。
【００２０】
以下、簡単のため、２つのスピーカ２１、２２と１つのマイクロホン３１の場合（式（１）のみ）について考える。式（１）に注目すると、式１つに対して、未知数はＨ１１（ｆ）、Ｈ２１（ｆ）の２つであり、解が無数に存在する。ここでスピーカ２１、２２への受話信号ｘ１、ｘ２は、通信相手の話した音声が通信相手話者から、通信相手マイクロホン５１、５２までの伝達関数Ｆ１、Ｆ２を通って受話信号ｘ１、ｘ２となる。伝達関数の周波数特性をＦ１（ｆ）、Ｆ２（ｆ）、通信相手話者音声の周波数特性をＳ（ｆ，ｊ）とすると、受話信号の周波数特性は、
Ｘ１（ｆ，ｊ）＝Ｆ１（ｆ）Ｓ（ｆ，ｊ）
Ｘ２（ｆ，ｊ）＝Ｆ２（ｆ）Ｓ（ｆ，ｊ）
となる。ここで、例えば、テレビ会議システム等において話者が変わり、通信相手話者位置が２か所（Ａ、Ｂ）ある場合を考える。まず、通信相手話者位置Ａから通信相手マイクロホン５１、５２までの伝達関数の周波数特性をＦＡ１（ｆ）,ＦＡ２（ｆ）とし、このときのフレーム番号をｊＡとすると、通信相手話者位置Ａから話したときの受話信号ＸＡ１（ｆ，ｊＡ）、ＸＡ２（ｆ，ｊＡ）は、
ＸＡ１（ｆ，ｊＡ）＝ＦＡ１（ｆ）Ｓ（ｆ，ｊＡ） （３）
ＸＡ２（ｆ，ｊＡ）＝ＦＡ２（ｆ）Ｓ（ｆ，ｊＡ） （４）
となる。同様に通信話者位置Ｂから通信相手マイクロホンまでの伝達関数の周波数特性をＦＢ１（ｆ）、ＦＢ２（ｆ）とし、このときのフレーム番号をｊＢとした場合、通信相手話者位置Ｂから話した時の受話信号ＸＢ１（ｆ，ｊＢ）、ＸＢ２（ｆ，ｊＢ）は、
ＸＢ１（ｆ，ｊＢ）＝ＦＢ１（ｆ）Ｓ（ｆ，ｊＢ） （５）
ＸＢ２（ｆ，ｊＢ）＝ＦＢ２（ｆ）Ｓ（ｆ，ｊＢ） （６）
となる。通信相手話者位置Ａ及び通信相手話者位置Ｂから話したときの各地点でのマイクロホン受話信号ＹＡ（ｆ，ｊＡ）、ＹＢ（ｆ，ｊＡ）は、
ＹＡ（ｆ，ｊＡ）＝Ｈ１１（ｆ）ＸＡ１（ｆ，ｊＡ）＋Ｈ２１（ｆ）ＸＡ２（ｆ，ｊＡ） （７）
ＹＢ（ｆ，ｊＢ）＝Ｈ１１（ｆ）ＸＢ１（ｆ，ｊＢ）＋Ｈ２１（ｆ）ＸＢ２（ｆ，ｊＢ） （８）
となる。式（７）、（８）では、２つの式に対して、未知数はＨ１１、Ｈ２１の２つであるため、この連立方程式を解くことにより、伝達関数Ｈ１１、Ｈ２１を求めることができる。さらに、√（Ｈ（ｋ）Ｈ＊（ｋ））からステレオ音響結合量を求めることができる。結合量演算部では、これを利用して伝達関数及びステレオ音響結合量を求める。
【００２１】
但し、この方法では、通信相手話者位置が変わったことを判定する必要がある。通信相手話者位置の変化は、以下のように観測することができる。話者位置Ａにおけるステレオ受話信号ｘ１とｘ２の比ＲＡは、式（３）及び（４）より
RA(f,jA)=XA1(f,jA)/XA2(f,jA)(=FA1(f)/FA2(f))
となり、話者位置Ｂにおけるステレオ受話信号ｘ１とｘ２の比ＲＢは、式（５）及び（６）より
RB(f,jB)=XB1(f,jB)/XB2(f,jB)(=FB1(f)/FB2(f))
となる。よって、信号比がＲＡからＲＢに変化するタイミングが、話者位置変化のタイミングとなる。信号比変化判定部では、このタイミングを求める。以下、本発明の実施の形態について、詳細に説明する。
【実施例１】
【００２２】
［ステレオ音響結合量推定装置１００］
ステレオ音響結合量推定装置１００は、２チャネルのスピーカ２１、２２とＮ（≧１）チャネルのマイクロホン（例えば、２チャネルのマイクロホン３１、３２）とによって構成されるスピーカ群とマイクロホン群とを同一音響空間内に持つステレオ音響システムのスピーカ群からマイクロホン群へと伝わる音響的な結合の大きさ、すなわち音響結合量を推定する。
【００２３】
例えば、２チャネルの受話端（例えば、マイクロフォン５１、５２）からのステレオ受話信号ｘ１（ｋ）、ｘ２（ｋ）は、２チャネルのスピーカ２１、２２から再生され、反響路を通り、１以上のマイクロホン（例えば、マイクロホン３１、３２）で収音される。収音された送話信号（例えば、ｙ１（ｋ）、ｙ２（ｋ））は、１つ以上の送話端（例えばスピーカ４１、４２）へ送られる。このとき、ステレオ音響結合量推定装置１００は、ステレオ受話信号ｘ１（ｋ）、ｘ２（ｋ）と１チャネル以上の送話信号を入力され、伝達関数、音響結合量を推定する。
【００２４】
図４は実施例１のステレオ音響結合推定装置の構成例を示す。図５は実施例１のステレオ音響推定装置の処理フロー例を示す。以下、図４及び５を用いて実施例１に係るステレオ音響結合量推定装置１００を説明する。
【００２５】
ステレオ音響結合量推定装置１００は、受話信号周波数領域変換部１１１、１１２、送話信号周波数領域変換部１１３、受話信号保持部１２０、送話信号保持部１２３、信号比演算部１４０、信号比変化判定部１５０及び結合量演算部１６０を有する。なお、簡単のため、スピーカ２つとマイクロホン１つの場合について考え、図３におけるマイクロホン３１の出力ｙ１をｙと表現し、伝達関数Ｈ１１、Ｈ２１をそれぞれＨ１，Ｈ２と表現する。
【００２６】
［周波数領域変換部及び保持部］
受話信号周波数領域変換部１１１、１１２及び送話信号周波数領域変換部１１３は、それぞれステレオ受話信号ｘ１（ｋ）、ｘ２（ｋ）、送話信号ｙ（ｋ）を時間領域から周波数領域の信号Ｘ１（ｆ，ｊ）、Ｘ２（ｆ，ｊ）、Ｙ（ｆ，ｊ）に変換する（ｓ１１０）。この変換には、例えば、高速フーリエ変換（Fast Fourier Transform）等の従来技術を用いればよい。
【００２７】
受話信号保持部１２０の有する保持部１２１、１２２、送話信号保持部１２３は、それぞれ、周波数領域のステレオ受話信号Ｘ１（ｆ，ｊ）、Ｘ２（ｆ，ｊ）、送話信号Ｙ（ｆ，ｊ）を保持する（ｓ１２０）。
【００２８】
［信号比演算部１４０］
信号比演算部１４０は、周波数領域のステレオ受話信号Ｘ１（ｆ，ｊ）、Ｘ２（ｆ，ｊ）の信号比Ｒ（ｆ，ｊ）を求める（ｓ１４０）。例えば、以下の式により、信号比Ｒ（ｆ，ｊ）を求める。
【００２９】
Ｒ（ｆ，ｊ）＝Ｘ１（ｆ，ｊ）／Ｘ２（ｆ，ｊ）
【００３０】
［信号比変化判定部１５０］
信号比変化判定部１５０は、信号比が変化したか否かを判定する（ｓ１５０）。信号比変化判定部１５０は、信号比保持部１５１と比較部１５３を有する。
【００３１】
信号比保持部１５１は、信号比Ｒ（ｆ，ｊ）を保持する（ｓ１５１）。
【００３２】
比較部１５３は、現在の信号比Ｒ（ｆ，ｊ）と信号比保持部１５１の保持している過去の信号比Ｒ（ｆ，ｊ−１）を比較する（ｓ１５３）。比較の結果、信号比が変化したと判断した場合には、その旨を意味する判定信号を出力する。例えば、
｜Ｒ（ｆ，ｊ）−Ｒ（ｆ，ｊ−１）｜＞α （１１）
を満たすときに、信号比が変化したと判断する。但し、αは０以上の実数であり、適宜設定される所定の値を表す。同一地点において伝達関数が全く変化しない場合には、α＝０としてもよいが、一般的に話者位置が変化していない場合にも、信号比がゆらぐことがあるため、予め実験等により求めた所定値よりも大きい変化があった場合にのみ、信号比が変化したと判断する。
【００３３】
言い換えると、現在の信号比Ｒ（ｆ，ｊ）から信号比保持部１５１の保持している１フレーム分過去の信号比Ｒ（ｆ，ｊ−１）を差し引き、その値の絶対値が所定の値よりも大きい場合には、信号比が変化した旨の判定信号（例えば「１」）を出力する。判定信号は、信号比が変化したときのみ出力してもよいし、変化していないときには変化していない旨の判定信号（例えば「０」）を出力してもよい。
【００３４】
なお、図示しない初回判定部を設けてもよい。初回判定部は、最初の受話信号か否かを判定し（ｓ１５２）、最初の場合には、比較処理（ｓ１５３）及び結合量演算処理（ｓ１６０）を行わないように制御信号等を出力する。初回の場合には、比較すべき信号比がなく、結合量を演算するための過去の情報がないためである。但し、信号比、受話信号、送話信号として初期値を設定している場合には、この判断を行わなくともよい。
【００３５】
本発明は、上記方法に限定されるものではなく、他の方法によって、信号比の変化を検知してもよい。例えば、現在のフレームの信号比Ｒ（ｆ，ｊ）と１フレーム前の信号比Ｒ（ｆ，ｊ−１）を比較するのではなく、数フレーム前の信号比を比較くして変化がないか検知してもよいし、数フレーム分の平均を比較して変化がないか検知してもよい。このとき、信号比保持部１５１は、この処理に必要なフレーム数の信号比Ｒを保持する構成とする。
【００３６】
［結合量演算部１６０］
結合量演算手段１６０は、信号比が変化した旨の判定信号を受け取ったときに、現在の受話信号Ｘ１（ｆ，ｊ）、Ｘ２（ｆ，ｊ）及び送話信号Ｙ（ｆ，ｊ）と各保持部に保持している過去の受話信号Ｘ１（ｆ，ｊ−１）、Ｘ２（ｆ，ｊ−１）及び送話信号Ｙ（ｆ，ｊ−１）を用いて、伝達関数を求める（ｓ１６０）。例えば、以下の方程式を求めることにより伝達関数Ｈ１、Ｈ２を算出する。
【００３７】
Y(f,j-1)=H1(f)X1(f,j-1)+H2(f)X2(f,j-1) （１２）
Y(f,j)=H1(f)X1(f,j)+H2(f)X2(f,j) （１３）
さらに、ステレオ音響結合量√（Ｈ１（ｆ）Ｈ１＊（ｆ））、√（Ｈ２（ｆ）Ｈ２＊（ｆ））を求める。
【００３８】
但し、本発明は、上記方法に限定されるものではなく、他の方法によって、伝達関数を求めてもよい。例えば、数フレーム（時間）分の平均から伝達関数を算出してもよい。各保持部１２１，１２２，１２３は、この処理に必要なフレーム数（１フレーム分または数フレーム分）の周波数領域の受話信号または送話信号を保持する構成とする。なお、各処理は、周波数毎に行う。よって、周波数毎に伝達関数、ステレオ音響結合量を求める。
【００３９】
このような構成とすることによって、マイクロホンとスピーカに対称性がない場合でも、局所解を求めることなく、ステレオ音響結合量を求めることができる。
【００４０】
なお、送話信号ｙに代えて図３のｙ２を用いることで伝達関数Ｈ１２、Ｈ２２及びその音響結合量を求めることができる。さらに、２つのスピーカとｎ（＝１，２,…,Ｎ）番目のマイクロホンとの間の伝達関数について周波数特性をＨ１ｎ（ｆ）、Ｈ２ｎ（ｆ）、ｎ番目のマイクロホンの出力信号から得られる周波数領域の送話信号をＹｎ（ｆ，ｊ）とすると、
Yn(f,j-1)=H1ｎ(f)X1(f,j-1)+H2n(f)X2(f,j-1)
Yn(f,j)=H1n(f)X1(f,j)+H2n(f)X2(f,j)
から伝達関数Ｈ１ｎ（ｆ）、Ｈ２ｎ（ｆ）を求めることができる。
【００４１】
また、本実施例では、ステレオ受話信号を入力としているが、２以上の受話信号についても、伝達関数を求めることができる。その場合、受話信号のチャネル数をＭとすると、あるマイクロホンに入力される音声は、Ｍ個の伝達路を介して入力される。そのため、Ｍ−１回の話者位置の変化を信号比変化判定部１５０で検知し、結合量演算部１６０において、信号比が変化した旨の判定信号を受け取ったときの１フレーム前の各受話信号、送話信号を保持しておき、Ｍ−１回目の判定信号を受け取ったときに、現在の受話信号、送話信号を保持し、Ｍ個の連立方程式を解くことによって、各伝達関数を求めることができ、音響結合量を算出することができる。
【００４２】
＜ハードウェア構成＞
図６は、本実施例におけるステレオ音響結合量推定装置１００のハードウェア構成を例示したブロック図である。図６に例示するように、この例のステレオ音響結合量推定装置１００は、それぞれＣＰＵ（Central Processing Unit）１１、入力部１２、出力部１３、補助記憶装置１４、ＲＯＭ（Read Only Memory）１５、ＲＡＭ（Random Access Memory）１６及びバス１７を有している。
【００４３】
この例のＣＰＵ１１は、制御部１１ａ、演算部１１ｂ及びレジスタ１１ｃを有し、レジスタ１１ｃに読み込まれた各種プログラムに従って様々な演算処理を実行する。また、入力部１２は、データが入力される入力インターフェース、キーボード、マウス等であり、出力部１３は、データが出力される出力インターフェース等である。補助記憶装置１４は、例えば、ハードディスク、半導体メモリ等であり、ステレオ音響結合量推定装置１００としてコンピュータを機能させるためのプログラムや各種データが格納される。また、ＲＡＭ１６には、上記のプログラムや各種データが展開され、ＣＵＰ１１等から利用される。また、バス１７は、ＣＰＵ１１、入力部１２、出力部１３、補助記憶装置１４、ＲＯＭ１５及びＲＡＭ１６を通信可能に接続する。なお、このようなハードウェアの具体例としては、例えば、パーソナルコンピュータの他、サーバ装置やワークステーション等を例示できる。
【００４４】
＜プログラム構成＞
上述のように、補助記憶装置１４には、本実施例のステレオ音響結合量推定装置１００の各処理を実行するための各プログラムが格納される。ステレオ音響結合量推定プログラムを構成する各プログラムは、単一のプログラム列として記載されていてもよく、また、少なくとも一部のプログラムが別個のモジュールとしてライブラリに格納されていてもよい。
【００４５】
＜ハードウェアとプログラムとの協働＞
ＣＰＵ１１は、読み込まれたＯＳプログラムに従い、補助記憶装置１４に格納されている上述のプログラムや各種データをＲＡＭ１６に展開する。そして、このプログラムやデータが書き込まれたＲＡＭ１６上のアドレスがＣＰＵ１１のレジスタ１１ｃに格納される。ＣＰＵ１１の制御部１１ａは、レジスタ１１ｃに格納されたこれらのアドレスを順次読み出し、読み出したアドレスが示すＲＡＭ１６上の領域からプログラムやデータを読み出し、そのプログラムが示す演算を演算部１１ｂに順次実行させ、その演算結果をレジスタ１１ｃに格納していく。
【００４６】
図４は、このようにＣＰＵ１１に上述のプログラムが読み込まれて実行されることにより構成されるステレオ音響結合量推定装置１００の機能構成を例示したブロック図である。
【００４７】
ここで、受話信号保持部１２０、保持部１２１、１２２、送話信号保持部１２３、信号比保持部１５１は、補助記憶装置１４、ＲＡＭ１６、レジスタ１１ｃ、その他のバッファメモリやキャッシュメモリ等の何れか、あるいはこれらを併用した記憶領域に相当する。また、受話信号周波数領域変換部１１１、１１２、送話信号周波数領域変換部１１３、信号比演算部１４０、信号比変化判定部１５０、比較部１５３、結合量演算部１６０は、ＣＰＵ１１にステレオ音響結合量推定プログラムを実行させることにより構成されるものである。
【実施例２】
【００４８】
実施例１と異なる部分のみ説明する。
【００４９】
［ステレオ音響結合量推定装置２００］
図７は実施例２のステレオ音響結合推定装置の構成例を示す。図８は実施例２のステレオ音響推定装置の処理フロー例を示す。以下、図７及び８を用いて実施例２に係るステレオ音響結合量推定装置２００を説明する。
【００５０】
ステレオ音響結合量推定装置２００は、受話信号周波数領域変換部１１１、１１２、送話信号周波数領域変換部１１３、受話信号保持部２２０、送話信号保持部２２３、信号比演算部１４０、信号比変化判定部２５０及び結合量演算部２６０を有する。
【００５１】
［信号比変化判定部２５０］
信号比変化判定部２５０は、信号比が変化したか否かを判定する（ｓ２５０）。信号比変化判定部２５０は、信号比保持部２５１と比較部２５３を有する。
【００５２】
信号比保持部２５１は、信号比Ｒ（ｆ，ｊ）を保持する（ｓ２５１）。詳細は他の保持部と併せて説明する。
【００５３】
比較部２５３は、現在の信号比Ｒ（ｆ，ｊ）と信号比保持部２５１の保持している過去の信号比Ｒ（ｆ，ｊＣ）を比較する（ｓ２５３）。なお、ｊＣは信号比保持部に保持されている信号比のフレーム番号を表す。比較の結果、信号比が変化したと判断した場合には、その旨を意味する判定信号を出力する。例えば、
｜Ｒ（ｆ，ｊ）−Ｒ（ｆ，ｊＣ）｜＞α
を満たすときに、信号比が変化したと判断する。
【００５４】
言い換えると、現在の信号比Ｒ（ｆ，ｊ）から信号比保持部２５１の保持している過去の信号比Ｒ（ｆ，ｊＣ）を差し引き、その値の絶対値が所定の値よりも大きい場合には、信号比が変化した旨の判定信号（例えば「１」）を出力する。
【００５５】
なお、図示しない初回判定部を設けてもよい。初回判定部は、最初の受話信号か否かを判定し（ｓ２５２）、最初の場合には、比較処理（ｓ２５３）及び結合量演算処理（ｓ２６０）を行わないように制御信号等を出力し、受話、送話信号保持処理（ｓ２２０）、及び信号比保持処理（ｓ２５１）を行うように制御信号等を出力する。初回の場合には、比較すべき信号比がなく、結合量を演算するための過去の情報がないためである。但し、信号比、受話信号、送話信号として初期値を設定している場合には、この判断を行わなくともよい。
【００５６】
［保持部］
受話信号保持部２２０の有する保持部２２１、２２２、送話信号保持部２２３及び信号比保持部２５１は、信号比が変化した旨の判定信号を受け取ったときのみ、入力された受話信号Ｘ１（ｆ，ｊ）、Ｘ２（ｆ，ｊ）、送話信号Ｙ（ｆ，ｊ）及び信号比Ｒ（ｆ，ｊ）を保持する（ｓ２２０、ｓ２５１）。なお、このとき、信号比が変化した旨の判定信号とは、結合量演算部２６０に送信される判定信号以外の各保持部に送信される制御信号も含む。
【００５７】
このような構成とすることによって、各保持部の情報は、信号比が変化したときのみ更新されることとなる。例えば、図３において話者がＡ地点からＢ地点に徒歩等により移動している場合には、実施例１の式（１１）では現在のフレームの信号比Ｒ（ｆ，ｊ）と１フレーム前の信号比Ｒ（ｆ，ｊ−１）を比較しても、所定の値αより小さくなってしまい、移動が完了しても、信号比の変化を検知することができない可能性がある。一方、本実施例では、各保持部の情報は、信号比が変化したときのみ更新されるため、変化量が前回保持部に保持したフレームの信号比（ｆ，ｊＣ）からα以上変化すると、変化を検知できる。そのため、話者交代時だけでなく、徒歩等による移動に対しても変化を感知できるという効果を奏する。
【００５８】
［結合量演算部２６０］
結合量演算手段２６０は、信号比が変化した旨の判定信号を受け取ったときに、現在の受話信号Ｘ１（ｆ，ｊ）、Ｘ２（ｆ，ｊ）及び送話信号Ｙ（ｆ，ｊ）と各保持部に保持している過去の受話信号Ｘ１（ｆ，ｊＣ）、Ｘ２（ｆ，ｊＣ）及び送話信号Ｙ（ｆ，ｊＣ）を用いて、伝達関数を求める（ｓ２６０）。例えば、以下の方程式を求めることにより伝達関数Ｈ１、Ｈ２を算出する。
【００５９】
Y(f,jC)=H1(f)X1(f,jC)+H2(f)X2(f,jC)
Y(f,j)=H1(f)X1(f,j)+H2(f)X2(f,j)
さらに、ステレオ音響結合量√（Ｈ１（ｆ）Ｈ１＊（ｆ））、√（Ｈ２（ｆ）Ｈ２＊（ｆ））を求める。つまり、実施例１の１フレーム前の受話信号Ｘ１（ｆ，ｊ−１）、Ｘ２（ｆ，ｊ−１）及び送話信号Ｙ（ｆ，ｊ−１）に代えて、前回信号比に変化があったときに各保持部に保持された過去の受話信号Ｘ１（ｆ，ｊＣ）、Ｘ２（ｆ，ｊＣ）及び送話信号Ｙ（ｆ，ｊＣ）を用いる点が実施例１の結合量演算部１６０と異なる。
【００６０】
このような構成とすることによって、実施例１と同様の効果を得ることができ、さらに、話者の移動による信号比の変化をより適切に検出し、音響結合量を推定することができる。
【産業上の利用可能性】
【００６１】
本発明で求めた伝達関数、ステレオ音響結合量は、ステレオ音響システムの音量調整や周波数特性調整、エコーキャンセラ等に利用することができる。
【符号の説明】
【００６２】
１００、２００ ステレオ音響結合量推定装置
１１１、１１２ 受話信号周波数領域変換部
１１３ 送話信号周波数領域変換部
１２０、２２０ 受話信号保持部
１４０、２４０ 信号比演算部
１５０、２５０ 信号比変化判定部
１６０、２６０ 結合量演算部
【特許請求の範囲】
【請求項１】
２チャネルのスピーカとＮ（≧１）チャネルのマイクロホンとによって構成されるスピーカ群とマイクロホン群とを同一音響空間内に持つステレオ音響システムの音響結合量を推定するステレオ音響結合量推定装置において、
ステレオ受話信号及び送話信号を時間領域から周波数領域の信号に変換する周波数領域変換手段と、
周波数領域のステレオ受話信号及び送話信号を保持する保持手段と、
前記周波数領域のステレオ受話信号の信号比を求める信号比演算手段と、
前記信号比が変化したか否かを判定する信号比変化判定手段と、
前記信号比が変化している場合、現在の受話信号及び送話信号と保持手段に保持している過去の受話信号及び送話信号を用いて、伝達関数を求める結合量演算手段とを有し、
前記信号比変化判定手段は、前記信号比を保持する信号比保持手段と、
現在の信号比と前記信号比保持手段に保持している過去の信号比を比較する比較手段とを備える、
ことを特徴とするステレオ音響結合量推定装置。
【請求項２】
請求項１記載のステレオ音響結合量推定装置であって、
周波数をｆ、現在のフレーム番号をｊ、前記保持手段に保持している過去の受話信号及び送話信号のフレーム番号をｊｃ、周波数領域のステレオ受話信号をＸ１（ｆ，ｊ）、Ｘ２（ｆ，ｊ）、２つのスピーカとｎ（＝１，２,…,Ｎ）番目のマイクロホンとの間の伝達関数について周波数特性をＨ１ｎ（ｆ）、Ｈ２ｎ（ｆ）、周波数領域の送話信号をＹｎ（ｆ，ｊ）とし、
前記結合量演算手段は、以下の方程式
Yn(f,jc)=H1ｎ(f)X1(f,jc)+H2n(f)X2(f,jc)
Yn(f,j)=H1n(f)X1(f,j)+H2n(f)X2(f,j)
から伝達関数Ｈ１ｎ（ｆ）、Ｈ２ｎ（ｆ）を求める、
ことを特徴とするステレオ音響結合量推定装置。
【請求項３】
請求項１または２記載のステレオ音響結合量推定装置であって、
前記比較手段は、現在の信号比から信号比保持手段の保持している１フレーム分過去の信号比を差し引き、その値の絶対値が所定の値よりも大きい場合には、信号比が変化した旨の判定信号を出力し、
前記結合量演算手段は、信号比が変化した旨の判定信号を受け取ったときに、現在の受話信号及び送話信号と保持手段に保持している１フレーム分過去の受話信号及び送話信号を用いて、伝達関数を求める、
ことを特徴とするステレオ音響結合量推定装置。
【請求項４】
請求項１または２記載のステレオ音響結合量推定装置であって、
前記比較手段は、現在の信号比から信号比保持手段に保持している過去の信号比を差し引き、その値の絶対値が所定の値よりも大きい場合には、信号比が変化した旨の判定信号を出力し、
前記保持手段及び前記信号比保持手段は、信号比が変化した旨の判定信号を受け取ったときのみ、入力された受話信号、送話信号及び信号比を保持し、
前記結合量演算手段は、信号比が変化した旨の判定信号を受け取ったときに、現在の受話信号及び送話信号と保持手段に保持している過去の受話信号及び送話信号を用いて、伝達関数を求める、
ことを特徴とするステレオ音響結合量推定装置。
【請求項５】
２チャネルのスピーカとＮ（≧１）チャネルのマイクロホンとによって構成されるスピーカ群とマイクロホン群とを同一音響空間内に持つステレオ音響システムの音響結合量を推定するステレオ音響結合量推定方法において、
ステレオ受話信号及び送話信号を時間領域から周波数領域の信号に変換する周波数領域変換ステップと、
周波数領域のステレオ受話信号及び送話信号を保持する保持ステップと、
前記周波数領域のステレオ受話信号の信号比を求める信号比演算ステップと、
前記信号比が変化したか否かを判定する信号比変化判定ステップと、
前記信号比が変化している場合、現在の受話信号及び送話信号と保持ステップで保持した過去の受話信号及び送話信号を用いて、伝達関数を求める結合量演算ステップとを有し、
前記信号比変化判定ステップは、前記信号比を保持する信号比保持ステップと、
現在の信号比と前記信号比保持ステップで保持した過去の信号比を比較する比較ステップとを備える、
ことを特徴とするステレオ音響結合量推定方法。
【請求項６】
請求項５記載のステレオ音響結合量推定方法であって、
周波数をｆ、現在のフレーム番号をｊ、前記保持ステップで保持した過去の受話信号及び送話信号のフレーム番号をｊｃ、周波数領域のステレオ受話信号をＸ１（ｆ，ｊ）、Ｘ２（ｆ，ｊ）、２つのスピーカとｎ（＝１，２,…,Ｎ）番目のマイクロホンとの間の伝達関数について周波数特性をＨ１ｎ（ｆ）、Ｈ２ｎ（ｆ）、周波数領域の送話信号をＹｎ（ｆ，ｊ）とし、
前記結合量演算ステップは、以下の方程式
Yn(f,jc)=H1ｎ(f)X1(f,jc)+H2n(f)X2(f,jc)
Yn(f,j)=H1n(f)X1(f,j)+H2n(f)X2(f,j)
から伝達関数Ｈ１ｎ（ｆ）、Ｈ２ｎ（ｆ）を求める、
ことを特徴とするステレオ音響結合量推定方法。
【請求項７】
請求項５または６記載のステレオ音響結合量推定方法であって、
前記比較ステップは、現在の信号比から信号比保持ステップの保持している１フレーム分過去の信号比を差し引き、その値の絶対値が所定の値よりも大きい場合には、信号比が変化したと判定し、
前記結合量演算ステップは、信号比が変化したと判定したときに、現在の受話信号及び送話信号と保持ステップで保持した１フレーム分過去の受話信号及び送話信号を用いて、伝達関数を求める、
ことを特徴とするステレオ音響結合量推定方法。
【請求項８】
請求項５または６記載のステレオ音響結合量推定方法であって、
前記比較ステップは、現在の信号比から信号比保持ステップで保持した過去の信号比を差し引き、その値の絶対値が所定の値よりも大きい場合には、信号比が変化したと判定し、
前記保持ステップ及び前記信号比保持ステップは、信号比が変化したと判定したときのみ、受話信号、送話信号及び信号比を保持し、
前記結合量演算ステップは、信号比が変化したと判定したときに、現在の受話信号及び送話信号と保持ステップで保持した過去の受話信号及び送話信号を用いて、伝達関数を求める、
ことを特徴とするステレオ音響結合量推定方法。
【請求項９】
コンピュータを請求項１から請求項４の何れかに記載のステレオ音響結合量推定装置として機能させるためのステレオ音響結合量推定プログラム。
【請求項１】
２チャネルのスピーカとＮ（≧１）チャネルのマイクロホンとによって構成されるスピーカ群とマイクロホン群とを同一音響空間内に持つステレオ音響システムの音響結合量を推定するステレオ音響結合量推定装置において、
ステレオ受話信号及び送話信号を時間領域から周波数領域の信号に変換する周波数領域変換手段と、
周波数領域のステレオ受話信号及び送話信号を保持する保持手段と、
前記周波数領域のステレオ受話信号の信号比を求める信号比演算手段と、
前記信号比が変化したか否かを判定する信号比変化判定手段と、
前記信号比が変化している場合、現在の受話信号及び送話信号と保持手段に保持している過去の受話信号及び送話信号を用いて、伝達関数を求める結合量演算手段とを有し、
前記信号比変化判定手段は、前記信号比を保持する信号比保持手段と、
現在の信号比と前記信号比保持手段に保持している過去の信号比を比較する比較手段とを備える、
ことを特徴とするステレオ音響結合量推定装置。
【請求項２】
請求項１記載のステレオ音響結合量推定装置であって、
周波数をｆ、現在のフレーム番号をｊ、前記保持手段に保持している過去の受話信号及び送話信号のフレーム番号をｊｃ、周波数領域のステレオ受話信号をＸ１（ｆ，ｊ）、Ｘ２（ｆ，ｊ）、２つのスピーカとｎ（＝１，２,…,Ｎ）番目のマイクロホンとの間の伝達関数について周波数特性をＨ１ｎ（ｆ）、Ｈ２ｎ（ｆ）、周波数領域の送話信号をＹｎ（ｆ，ｊ）とし、
前記結合量演算手段は、以下の方程式
Yn(f,jc)=H1ｎ(f)X1(f,jc)+H2n(f)X2(f,jc)
Yn(f,j)=H1n(f)X1(f,j)+H2n(f)X2(f,j)
から伝達関数Ｈ１ｎ（ｆ）、Ｈ２ｎ（ｆ）を求める、
ことを特徴とするステレオ音響結合量推定装置。
【請求項３】
請求項１または２記載のステレオ音響結合量推定装置であって、
前記比較手段は、現在の信号比から信号比保持手段の保持している１フレーム分過去の信号比を差し引き、その値の絶対値が所定の値よりも大きい場合には、信号比が変化した旨の判定信号を出力し、
前記結合量演算手段は、信号比が変化した旨の判定信号を受け取ったときに、現在の受話信号及び送話信号と保持手段に保持している１フレーム分過去の受話信号及び送話信号を用いて、伝達関数を求める、
ことを特徴とするステレオ音響結合量推定装置。
【請求項４】
請求項１または２記載のステレオ音響結合量推定装置であって、
前記比較手段は、現在の信号比から信号比保持手段に保持している過去の信号比を差し引き、その値の絶対値が所定の値よりも大きい場合には、信号比が変化した旨の判定信号を出力し、
前記保持手段及び前記信号比保持手段は、信号比が変化した旨の判定信号を受け取ったときのみ、入力された受話信号、送話信号及び信号比を保持し、
前記結合量演算手段は、信号比が変化した旨の判定信号を受け取ったときに、現在の受話信号及び送話信号と保持手段に保持している過去の受話信号及び送話信号を用いて、伝達関数を求める、
ことを特徴とするステレオ音響結合量推定装置。
【請求項５】
２チャネルのスピーカとＮ（≧１）チャネルのマイクロホンとによって構成されるスピーカ群とマイクロホン群とを同一音響空間内に持つステレオ音響システムの音響結合量を推定するステレオ音響結合量推定方法において、
ステレオ受話信号及び送話信号を時間領域から周波数領域の信号に変換する周波数領域変換ステップと、
周波数領域のステレオ受話信号及び送話信号を保持する保持ステップと、
前記周波数領域のステレオ受話信号の信号比を求める信号比演算ステップと、
前記信号比が変化したか否かを判定する信号比変化判定ステップと、
前記信号比が変化している場合、現在の受話信号及び送話信号と保持ステップで保持した過去の受話信号及び送話信号を用いて、伝達関数を求める結合量演算ステップとを有し、
前記信号比変化判定ステップは、前記信号比を保持する信号比保持ステップと、
現在の信号比と前記信号比保持ステップで保持した過去の信号比を比較する比較ステップとを備える、
ことを特徴とするステレオ音響結合量推定方法。
【請求項６】
請求項５記載のステレオ音響結合量推定方法であって、
周波数をｆ、現在のフレーム番号をｊ、前記保持ステップで保持した過去の受話信号及び送話信号のフレーム番号をｊｃ、周波数領域のステレオ受話信号をＸ１（ｆ，ｊ）、Ｘ２（ｆ，ｊ）、２つのスピーカとｎ（＝１，２,…,Ｎ）番目のマイクロホンとの間の伝達関数について周波数特性をＨ１ｎ（ｆ）、Ｈ２ｎ（ｆ）、周波数領域の送話信号をＹｎ（ｆ，ｊ）とし、
前記結合量演算ステップは、以下の方程式
Yn(f,jc)=H1ｎ(f)X1(f,jc)+H2n(f)X2(f,jc)
Yn(f,j)=H1n(f)X1(f,j)+H2n(f)X2(f,j)
から伝達関数Ｈ１ｎ（ｆ）、Ｈ２ｎ（ｆ）を求める、
ことを特徴とするステレオ音響結合量推定方法。
【請求項７】
請求項５または６記載のステレオ音響結合量推定方法であって、
前記比較ステップは、現在の信号比から信号比保持ステップの保持している１フレーム分過去の信号比を差し引き、その値の絶対値が所定の値よりも大きい場合には、信号比が変化したと判定し、
前記結合量演算ステップは、信号比が変化したと判定したときに、現在の受話信号及び送話信号と保持ステップで保持した１フレーム分過去の受話信号及び送話信号を用いて、伝達関数を求める、
ことを特徴とするステレオ音響結合量推定方法。
【請求項８】
請求項５または６記載のステレオ音響結合量推定方法であって、
前記比較ステップは、現在の信号比から信号比保持ステップで保持した過去の信号比を差し引き、その値の絶対値が所定の値よりも大きい場合には、信号比が変化したと判定し、
前記保持ステップ及び前記信号比保持ステップは、信号比が変化したと判定したときのみ、受話信号、送話信号及び信号比を保持し、
前記結合量演算ステップは、信号比が変化したと判定したときに、現在の受話信号及び送話信号と保持ステップで保持した過去の受話信号及び送話信号を用いて、伝達関数を求める、
ことを特徴とするステレオ音響結合量推定方法。
【請求項９】
コンピュータを請求項１から請求項４の何れかに記載のステレオ音響結合量推定装置として機能させるためのステレオ音響結合量推定プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１１−６６６６４（Ｐ２０１１−６６６６４Ａ）
【公開日】平成２３年３月３１日（２０１１．３．３１）
【国際特許分類】
【出願番号】特願２００９−２１５２３１（Ｐ２００９−２１５２３１）
【出願日】平成２１年９月１７日（２００９．９．１７）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２３年３月３１日（２０１１．３．３１）
【国際特許分類】
【出願日】平成２１年９月１７日（２００９．９．１７）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]