音響再生装置
【課題】複数のチャネルが同時に再生されたときの聞き分けを容易にする音響再生装置を提供する。
【解決手段】既知の並びで直線状に配置された２個以上のマイクロホンと既知の並びで直線状に配置された２個以上のスピーカを一つのセットとして、複数のセットと、各マイクロホンからの出力信号から適応フィルタを求め、求められた適応フィルタを受話信号に適用する音響処理部とを含む。音響処理部は、各マイクロホンからの出力信号のレベルを比較するレベル比較器と、各マイクロホンからの出力信号のレベルに基づいて、セットごとに、各スピーカからの再生音声の指向性の死角が発話者に対して形成されるようにフィルタ係数を算出する適応フィルタ計算部と、セットごとに、受話信号にフィルタ係数を適用するフィルタ適応部とを含む。
【解決手段】既知の並びで直線状に配置された２個以上のマイクロホンと既知の並びで直線状に配置された２個以上のスピーカを一つのセットとして、複数のセットと、各マイクロホンからの出力信号から適応フィルタを求め、求められた適応フィルタを受話信号に適用する音響処理部とを含む。音響処理部は、各マイクロホンからの出力信号のレベルを比較するレベル比較器と、各マイクロホンからの出力信号のレベルに基づいて、セットごとに、各スピーカからの再生音声の指向性の死角が発話者に対して形成されるようにフィルタ係数を算出する適応フィルタ計算部と、セットごとに、受話信号にフィルタ係数を適用するフィルタ適応部とを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音響再生装置に関し、複数のチャネルが同時に再生されたときの聞き分けを容易にする技術に関する。
【背景技術】
【０００２】
従来から、電話会議装置としてモノラル再生またはステレオ再生の電話会議装置が存在する（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−９８８２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の音響再生装置によると、複数のチャネルとして例えばモノラルまたはステレオのＬチャネルとＲチャネルが同時に再生されたとき、聞き分けが難しい場合があった。
そこで、本発明は、複数のチャネルが同時に再生されたときの聞き分けを容易にする音響再生装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の音響再生装置は、既知の並びで直線状に配置された２個以上のマイクロホンと既知の並びで直線状に配置された２個以上のスピーカを一つのセットとして、複数のセットと、各マイクロホンからの出力信号から適応フィルタを求め、求められた適応フィルタを受話信号に適用する音響処理部とを含む。音響処理部は、各マイクロホンからの出力信号のレベルを比較するレベル比較器と、各マイクロホンからの出力信号のレベルに基づいて、セットごとに、各スピーカからの再生音声の指向性の死角が発話者に対して形成されるようにフィルタ係数を算出する適応フィルタ計算部と、セットごとに、受話信号にフィルタ係数を適用するフィルタ適応部とを含む。
【０００６】
あるいは本発明の音響再生装置は、既知の並びで直線状に配置された２個以上のマイクロホンと既知の並びで直線状に配置された２個以上のスピーカを一つのセットとして、複数のセットと、各マイクロホンからの出力信号から適応フィルタを求め、求められた適応フィルタを受話信号に適用する音響処理部とを含む。音響処理部は、発話者の発話音声が各マイクロホンに到達する順序を、基準となるマイクロホンの出力信号と他の各マイクロホンの出力信号との相互相関によって求める相関計算部と、発話者の発話音声が各マイクロホンに到達する順序に基づいて、セットごとに、各スピーカからの再生音声の指向性の死角が発話者に対して形成されるようにフィルタ係数を算出する適応フィルタ計算部と、セットごとに、受話信号にフィルタ係数を適用するフィルタ適応部とを含む。
【発明の効果】
【０００７】
本発明に拠ると、スピーカからの再生音声の指向性に発話者に対する死角が形成されるので、複数のチャネルが同時に再生されたときの聞き分けが容易になる。
【図面の簡単な説明】
【０００８】
【図１】実施形態に係る音響再生装置の機能構成を示す図。
【図２】実施形態の変形例に係る音響再生装置の機能構成を示す図。
【図３】発話者から見て遠方のスピーカの指向性の死角が当該発話者に向けて形成されることを示す図。
【図４】発話者の位置がＲチャネルとＬチャネルの２セットの中央付近であると推定された場合において、当該発話者に向けて死角を持つ指向性が形成されることを示す図。
【発明を実施するための形態】
【０００９】
本発明の実施の形態を、図面を参照して説明する。
ここで説明する実施形態の音響再生装置１は、音響処理部１００と、２個以上のマイクロホンと２個以上のスピーカをセットとして２セットとを含む。以下の説明では、音響再生装置１が、２個のマイクロホン２０１，２０２と２個のスピーカ３０１，３０２をＲチャネルのセット２３Ｒ、２個のマイクロホン２０３，２０４と２個のスピーカ３０３，３０４をＬチャネルのセット２３Ｌとして、計２セットを含む場合の例を説明する。
【００１０】
音響処理部１００は、レベル比較器１１０、Ｒチャネル用の白色雑音源１１６、Ｌチャネル用の白色雑音源１１８、Ｒチャネル用の遅延器１１２、Ｌチャネル用の遅延器１１４、Ｒチャネル用の適応フィルタ計算部１２２、Ｌチャネル用の適応フィルタ計算部１２４、Ｒチャネル用のフィルタ適用部１３２，１３４、Ｌチャネル用のフィルタ適用部１３６，１３８を含む。
【００１１】
[Ｌチャネル]
レベル比較器１１０によるマイクロホン２０１，２０２，２０３，２０４の出力信号のレベルの比較処理に基づき、発話者の発声音声のレベルが高い方から、マイクロホン２０１，２０２，２０３，２０４の出力信号をｓ1(t),ｓ2(t),ｓ3(t),ｓ4(t)とする。つまり、発話者が図１に示すマイクロホン２０１の右側（マイクロホン２０２，２０３，２０４から遠い位置）に居る状況を想定している。発話音声はほぼ球面上に広がって距離減衰するので、発話環境にもよるが通常は発話者に最も近いマイクロホンの出力信号のレベルが最も大きく、発話者から最も遠いマイクロホンの出力信号のレベルが最も小さくなる。なお、ｔは時刻を表すインデックスである。このとき出力信号ｓ3(t),ｓ4(t)それぞれがＡ／Ｄ変換された信号をｕN3(n),ｕN4(n)とし、ｕN→=[ｕN3(n),ｕN4(n)]Tとする。記号Ｔは転置を表す。なお、ｎはサンプリング時刻を表すインデックスである。また、マイクロホン２０３とマイクロホン２０４との距離をｄ、音速をｃとして、白色雑音源１１８からの白色雑音を出力信号ｓ3(t)に加えた信号がＡ／Ｄ変換された信号をｕs3(n)、白色雑音源１１８からの白色雑音を遅延器１１４によってｄ／ｃだけ遅延させて出力信号ｓ4(t)に加えた信号がＡ／Ｄ変換された信号をｕs4(n)とし、ｕs→=[ｕs3(n),ｕs4(n)]Tとする。なお、図面では入力された信号に対してＡ／Ｄ変換を行うＡ／Ｄ変換部の図示を省略している。
【００１２】
適応フィルタ計算部１２４は、ＵN→=ｕN→＋ｕs→を算出し、学習同定法を用いてサンプリング時刻n+1におけるフィルタ係数ｈn+1→を式（１）に従って計算する。式（１）にて、記号Ｔは転置行列を表す。
【数１】
【００１３】
また、式（１）にてｅ(n)は、ＵN→をフィルタ係数に持つフィルタを通過した信号ｙ’(n)に対して式（２）で得られた信号である。
【数２】
【００１４】
適応フィルタ計算部１２４は、式（２）が収束するまで式（１）のサンプリング時刻nについて反復計算することにより、サンプリング時刻n+1におけるフィルタ係数ｈn+1→を求める。
【００１５】
[Ｒチャネル]
反対側の発話者についても同様の処理を行う。この場合、発話者は図１に示すマイクロホン２０４の左側（マイクロホン２０１，２０２，２０３から遠い位置）に居る状況を想定することになる。従って、レベル比較器１１０によるマイクロホン２０１，２０２，２０３，２０４の出力信号のレベルの比較処理に基づき、発話者の発声音声のレベルが低い方から、マイクロホン２０１，２０２，２０３，２０４の出力信号はｓ1(t),ｓ2(t),ｓ3(t),ｓ4(t)となる。ｔは時刻を表すインデックスである。このとき出力信号ｓ1(t),ｓ2(t)それぞれがＡ／Ｄ変換された信号をｕN1(n),ｕN2(n)とし、ｕN→=[ｕN1(n),ｕN2(n)]Tとする。ｎはサンプリング時刻を表すインデックスである。また、マイクロホン２０１とマイクロホン２０２との距離をｄ、音速をｃとして、白色雑音源１１６からの白色雑音を出力信号ｓ2(t)に加えた信号がＡ／Ｄ変換された信号をｕs2(n)、白色雑音源１１６からの白色雑音を遅延器１１２によってｄ／ｃだけ遅延させて出力信号ｓ1(t)に加えた信号がＡ／Ｄ変換された信号をｕs1(n)とし、ｕs→=[ｕs1(n),ｕs2(n)]Tとする。なお、図面では入力された信号に対してＡ／Ｄ変換を行うＡ／Ｄ変換部の図示を省略している。ここでは、記号の節約から[Ｌチャネル]の説明で用いた記号と同じ記号を用いているが（例えばｕN→やｕs→）、[Ｌチャネル]と[Ｒチャネル]での各処理は独立に行われるから混乱はないであろう。
【００１６】
適応フィルタ計算部１２２は、ＵN→=ｕN→＋ｕs→を算出し、学習同定法を用いてサンプリング時刻n+1におけるフィルタ係数ｈn+1→を式（３）に従って計算する。式（３）にて、記号Ｔは転置行列を表す。
【数３】
【００１７】
また、式（３）にてｅ(n)は、ＵN→をフィルタ係数に持つフィルタを通過した信号ｙ’(n)に対して式（４）で得られた信号である。
【数４】
【００１８】
適応フィルタ計算部１２２は、式（４）が収束するまで式（３）のサンプリング時刻nについて反復計算することにより、サンプリング時刻n+1におけるフィルタ係数ｈn+1→を求める。
【００１９】
受話信号Ｌに対して、上述の如く算出されたＬチャネルのフィルタ係数ｈn+1→がフィルタ適用部１３６，１３８によって適用される。この適用処理で得られた信号はスピーカ３０３，３０４に入力され、スピーカ３０３，３０４から音声が再生されることになる。同様に、受話信号Ｒに対して、上述の如く算出されたＲチャネルのフィルタ係数ｈn+1→がフィルタ適用部１３２，１３４によって適用される。この適用処理で得られた信号はスピーカ３０１，３０２に入力され、スピーカ３０１，３０２から音声が再生されることになる。この結果、発話者から見て遠方のスピーカの指向性の死角が当該発話者に向けて形成される。つまり、発話者が図１に示すマイクロホン２０１の右側に居る場合には、スピーカ３０３，３０４によって形成される指向性４００の死角が当該発話者に向くように当該指向性４００が形成されるのである（図３参照）。逆に、発話者が図１に示すマイクロホン２０４の左側に居る場合には、スピーカ３０１，３０２によって形成される指向性の死角が当該発話者に向くように当該指向性が形成されるのである。このとき、死角の反対側にはスピーカ信号が十分な音圧で再生されるから、受聴者は、例えば室内環境であれば壁による反射によって遠方からの再生音声を聞くことになる。また、受聴者の面前のスピーカからは受聴者に向かってスピーカ信号が再生されるので、スピーカ再生音声に遠近感が生まれることになる。このため、この実施形態であれば二つのチャネルが同時に再生されたとしても受聴者は容易に各チャネルのスピーカ再生音声を聞き分けることができる。また、レベル比較器１１０によるレベル比較処理に基づいて発話者の位置を推定するため、発話者が移動しても自動的に発話者に追随可能である。
【００２０】
なお、上述の実施形態では学習同定法を採用したが、この方式に限定されるものではなく、例えば射影アルゴリズムや再帰最小２乗（ＲＬＳ）アルゴリズムなど他の適応フィルタアルゴリズムを用いてフィルタを算出することもできる。
【００２１】
例えば、２次の射影アルゴリズムによるフィルタの更新式は、μ（ただし、０＜μ≦１を満たす）をステップサイズとして式（５）、式（６）で表される。
【数５】
【００２２】
ＲＬＳ法では、相関行列の逆行列としての意味を持つ正方行列Ｐ(n)を中間変数として、式（７）（８）（９）に従ってフィルタ係数を更新する。λは忘却係数（ただし、０＜λ≦１を満たす）である。Ｐ(n)の初期値は通常Ｐ(n)=cＩで与えられる。ｃは大きな正の定数であり、Ｉは単位行列である。定数ｃは例えば、入力信号ＵN(n)の２乗期待値Ｐxに対し、ｃ=104/Ｐxで与えられる。
【数６】
【００２３】
適応フィルタに関しては、例えば参考文献１が詳しい。
（参考文献１）Simon Haykin著、鈴木博他訳、「適応フィルタ理論」、初版、株式会社科学技術出版、2001．pp.66-73,248-255
【００２４】
次に、図２を参照して、上述の実施形態の変形例を説明する。この変形例の音響再生装置１ａは、上記音響処理部１００に替えて音響処理部１００ａを含む。音響処理部１００ａは、レベル比較器１１０に替えて相関計算部１１１を含む。
【００２５】
この変形例では、発話者の発話音声がマイクロホン２０１，２０２，２０３，２０４に到達した順に、マイクロホンの出力信号をｓ1(t),ｓ2(t),ｓ3(t),ｓ4(t)とする。到達の順序は、相関計算部１１１が例えばマイクロホン２０１の出力信号と他の各マイクロホンの出力信号との相互相関を求めることで決定する。爾後の処理は、[Ｌチャネル]と[Ｒチャネル]ともに上記実施形態と同じであるから、重複説明を省略する。
【００２６】
各マイクロホンの出力信号のレベルや到達時刻によって発話者の位置がＲチャネルとＬチャネルの２セット２３Ｒ，２３Ｌの中央付近であると推定された場合（図４参照）には、各マイクロホンのうち、各セットのマイクロホンの出力信号を用いてフィルタを生成する。例えば、各マイクロホンの出力信号のレベルの大きい順に図４の各マイクロホンの出力信号をｓ1(t),ｓ2(t),ｓ3(t),ｓ4(t)とすると、左からｓ3(t),ｓ1(t),ｓ2(t),ｓ4(t)となる場合、ｓ1(t)とｓ3(t)の組み合わせによりＬチャネルのフィルタを生成し、ｓ2(t)とｓ4(t)の組み合わせによりＲチャネルのフィルタを生成する。発話者の位置がＲチャネルとＬチャネルの２セットの中央付近であると推定された場合、図４に示すように、当該発話者に向けて死角を持つ指向性が形成されることになる。
【００２７】
上述の実施形態並びにその変形例では白色雑音を用いたが有色雑音でもよい。また、このような雑音を生成する手段として上述の実施形態並びにその変形例では白色雑音源１１６，１１８を用いているが、例えば記憶手段に記憶されたデータとしての白色雑音ないし有色雑音を用いることができる。また、複数のチャネルで一つの白色雑音源（或いは有色雑音源）を用いる構成であってもよい。
【００２８】
上述の実施形態並びにその変形例では、チャネルごとに、マイクロホン間距離が同一の記号ｄで与えられているが、チャネルごとにマイクロホン間距離が異なっていてもよい。
【００２９】
チャネルに対応するセットは、２個以上のマイクロホンと２個以上のスピーカを含むが、各マイクロホンは既知の同一直線上に配置されており、同様に、各スピーカは既知の同一直線上に配置されている。なお、各マイクロホンが配置された直線と各スピーカが配置された直線は一致することは必須ではなく、平行であればよい。また、１セットにつき、少なくともマイクロホンの総数はスピーカの総数と同じかそれ以上であることが望ましい。
【００３０】
上述の実施形態並びにその変形例では、各スピーカは、セット毎に同一の方向に向いているが、各スピーカの向きは上述の如く指向性を形成することができればよいのであって特に限定はない。また、各マイクロホンの向きは発話者からの発話音声の直接音が収音されない向きが望ましい。
【００３１】
上述の実施形態並びにその変形例では、音響再生装置から見た発話者の方向を推定するために無指向性マイクロホンを使用している。しかし、このような特性のマイクロホンに限定されるものではなく、発話者の方向を推定できれば無指向性マイクロホンでなくてもよい。
【００３２】
＜音響再生装置のハードウェア構成例＞
上述の実施形態に関わる音響再生装置は、ＣＰＵ（Central Processing Unit）やＤＳＰ（Digital Sygnal Processor）〔キャッシュメモリなどを備えていてもよい。〕、メモリであるＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）と、ハードディスクである外部記憶装置、並びにこれらのＣＰＵやＤＳＰ、ＲＡＭやＲＯＭ、外部記憶装置間のデータのやり取りが可能なように接続するバスなどを備えている。また必要に応じて、音響再生装置に、ＣＤ−ＲＯＭなどの記憶媒体を読み書きできる装置（ドライブ）などを設けるとしてもよい。
【００３３】
音響再生装置の外部記憶装置には、上述の音響再生のためのプログラム並びにこのプログラムの処理において必要となるデータなどが記憶されている〔外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておくなどでもよい。〕。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に記憶される場合がある。データやその格納領域のアドレスなどを記憶する記憶装置を単に「記憶部」と呼ぶことにする。
【００３４】
音響再生装置の記憶部には、各マイクロホンからの出力信号のレベルを比較するためのプログラム、各マイクロホンからの出力信号の相互相関を計算するためのプログラム、適応フィルタを計算するためのプログラム、適応フィルタを受話信号に適用するためのプログラムなどが記憶されている。
【００３５】
音響再生装置では、記憶部に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてＲＡＭに読み込まれて、ＣＰＵで解釈実行・処理される。この結果、ＣＰＵが所定の機能（レベル比較器、相関計算部、適応フィルタ計算部、フィルタ適用部など）を実現することで上述の音響再生が実現される。
【００３６】
＜補記＞
本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
【００３７】
また、上記実施形態において説明したハードウェアエンティティ（音響再生装置）における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。
【００３８】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
【００３９】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００４０】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【００４１】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【技術分野】
【０００１】
本発明は、音響再生装置に関し、複数のチャネルが同時に再生されたときの聞き分けを容易にする技術に関する。
【背景技術】
【０００２】
従来から、電話会議装置としてモノラル再生またはステレオ再生の電話会議装置が存在する（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−９８８２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の音響再生装置によると、複数のチャネルとして例えばモノラルまたはステレオのＬチャネルとＲチャネルが同時に再生されたとき、聞き分けが難しい場合があった。
そこで、本発明は、複数のチャネルが同時に再生されたときの聞き分けを容易にする音響再生装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の音響再生装置は、既知の並びで直線状に配置された２個以上のマイクロホンと既知の並びで直線状に配置された２個以上のスピーカを一つのセットとして、複数のセットと、各マイクロホンからの出力信号から適応フィルタを求め、求められた適応フィルタを受話信号に適用する音響処理部とを含む。音響処理部は、各マイクロホンからの出力信号のレベルを比較するレベル比較器と、各マイクロホンからの出力信号のレベルに基づいて、セットごとに、各スピーカからの再生音声の指向性の死角が発話者に対して形成されるようにフィルタ係数を算出する適応フィルタ計算部と、セットごとに、受話信号にフィルタ係数を適用するフィルタ適応部とを含む。
【０００６】
あるいは本発明の音響再生装置は、既知の並びで直線状に配置された２個以上のマイクロホンと既知の並びで直線状に配置された２個以上のスピーカを一つのセットとして、複数のセットと、各マイクロホンからの出力信号から適応フィルタを求め、求められた適応フィルタを受話信号に適用する音響処理部とを含む。音響処理部は、発話者の発話音声が各マイクロホンに到達する順序を、基準となるマイクロホンの出力信号と他の各マイクロホンの出力信号との相互相関によって求める相関計算部と、発話者の発話音声が各マイクロホンに到達する順序に基づいて、セットごとに、各スピーカからの再生音声の指向性の死角が発話者に対して形成されるようにフィルタ係数を算出する適応フィルタ計算部と、セットごとに、受話信号にフィルタ係数を適用するフィルタ適応部とを含む。
【発明の効果】
【０００７】
本発明に拠ると、スピーカからの再生音声の指向性に発話者に対する死角が形成されるので、複数のチャネルが同時に再生されたときの聞き分けが容易になる。
【図面の簡単な説明】
【０００８】
【図１】実施形態に係る音響再生装置の機能構成を示す図。
【図２】実施形態の変形例に係る音響再生装置の機能構成を示す図。
【図３】発話者から見て遠方のスピーカの指向性の死角が当該発話者に向けて形成されることを示す図。
【図４】発話者の位置がＲチャネルとＬチャネルの２セットの中央付近であると推定された場合において、当該発話者に向けて死角を持つ指向性が形成されることを示す図。
【発明を実施するための形態】
【０００９】
本発明の実施の形態を、図面を参照して説明する。
ここで説明する実施形態の音響再生装置１は、音響処理部１００と、２個以上のマイクロホンと２個以上のスピーカをセットとして２セットとを含む。以下の説明では、音響再生装置１が、２個のマイクロホン２０１，２０２と２個のスピーカ３０１，３０２をＲチャネルのセット２３Ｒ、２個のマイクロホン２０３，２０４と２個のスピーカ３０３，３０４をＬチャネルのセット２３Ｌとして、計２セットを含む場合の例を説明する。
【００１０】
音響処理部１００は、レベル比較器１１０、Ｒチャネル用の白色雑音源１１６、Ｌチャネル用の白色雑音源１１８、Ｒチャネル用の遅延器１１２、Ｌチャネル用の遅延器１１４、Ｒチャネル用の適応フィルタ計算部１２２、Ｌチャネル用の適応フィルタ計算部１２４、Ｒチャネル用のフィルタ適用部１３２，１３４、Ｌチャネル用のフィルタ適用部１３６，１３８を含む。
【００１１】
[Ｌチャネル]
レベル比較器１１０によるマイクロホン２０１，２０２，２０３，２０４の出力信号のレベルの比較処理に基づき、発話者の発声音声のレベルが高い方から、マイクロホン２０１，２０２，２０３，２０４の出力信号をｓ1(t),ｓ2(t),ｓ3(t),ｓ4(t)とする。つまり、発話者が図１に示すマイクロホン２０１の右側（マイクロホン２０２，２０３，２０４から遠い位置）に居る状況を想定している。発話音声はほぼ球面上に広がって距離減衰するので、発話環境にもよるが通常は発話者に最も近いマイクロホンの出力信号のレベルが最も大きく、発話者から最も遠いマイクロホンの出力信号のレベルが最も小さくなる。なお、ｔは時刻を表すインデックスである。このとき出力信号ｓ3(t),ｓ4(t)それぞれがＡ／Ｄ変換された信号をｕN3(n),ｕN4(n)とし、ｕN→=[ｕN3(n),ｕN4(n)]Tとする。記号Ｔは転置を表す。なお、ｎはサンプリング時刻を表すインデックスである。また、マイクロホン２０３とマイクロホン２０４との距離をｄ、音速をｃとして、白色雑音源１１８からの白色雑音を出力信号ｓ3(t)に加えた信号がＡ／Ｄ変換された信号をｕs3(n)、白色雑音源１１８からの白色雑音を遅延器１１４によってｄ／ｃだけ遅延させて出力信号ｓ4(t)に加えた信号がＡ／Ｄ変換された信号をｕs4(n)とし、ｕs→=[ｕs3(n),ｕs4(n)]Tとする。なお、図面では入力された信号に対してＡ／Ｄ変換を行うＡ／Ｄ変換部の図示を省略している。
【００１２】
適応フィルタ計算部１２４は、ＵN→=ｕN→＋ｕs→を算出し、学習同定法を用いてサンプリング時刻n+1におけるフィルタ係数ｈn+1→を式（１）に従って計算する。式（１）にて、記号Ｔは転置行列を表す。
【数１】
【００１３】
また、式（１）にてｅ(n)は、ＵN→をフィルタ係数に持つフィルタを通過した信号ｙ’(n)に対して式（２）で得られた信号である。
【数２】
【００１４】
適応フィルタ計算部１２４は、式（２）が収束するまで式（１）のサンプリング時刻nについて反復計算することにより、サンプリング時刻n+1におけるフィルタ係数ｈn+1→を求める。
【００１５】
[Ｒチャネル]
反対側の発話者についても同様の処理を行う。この場合、発話者は図１に示すマイクロホン２０４の左側（マイクロホン２０１，２０２，２０３から遠い位置）に居る状況を想定することになる。従って、レベル比較器１１０によるマイクロホン２０１，２０２，２０３，２０４の出力信号のレベルの比較処理に基づき、発話者の発声音声のレベルが低い方から、マイクロホン２０１，２０２，２０３，２０４の出力信号はｓ1(t),ｓ2(t),ｓ3(t),ｓ4(t)となる。ｔは時刻を表すインデックスである。このとき出力信号ｓ1(t),ｓ2(t)それぞれがＡ／Ｄ変換された信号をｕN1(n),ｕN2(n)とし、ｕN→=[ｕN1(n),ｕN2(n)]Tとする。ｎはサンプリング時刻を表すインデックスである。また、マイクロホン２０１とマイクロホン２０２との距離をｄ、音速をｃとして、白色雑音源１１６からの白色雑音を出力信号ｓ2(t)に加えた信号がＡ／Ｄ変換された信号をｕs2(n)、白色雑音源１１６からの白色雑音を遅延器１１２によってｄ／ｃだけ遅延させて出力信号ｓ1(t)に加えた信号がＡ／Ｄ変換された信号をｕs1(n)とし、ｕs→=[ｕs1(n),ｕs2(n)]Tとする。なお、図面では入力された信号に対してＡ／Ｄ変換を行うＡ／Ｄ変換部の図示を省略している。ここでは、記号の節約から[Ｌチャネル]の説明で用いた記号と同じ記号を用いているが（例えばｕN→やｕs→）、[Ｌチャネル]と[Ｒチャネル]での各処理は独立に行われるから混乱はないであろう。
【００１６】
適応フィルタ計算部１２２は、ＵN→=ｕN→＋ｕs→を算出し、学習同定法を用いてサンプリング時刻n+1におけるフィルタ係数ｈn+1→を式（３）に従って計算する。式（３）にて、記号Ｔは転置行列を表す。
【数３】
【００１７】
また、式（３）にてｅ(n)は、ＵN→をフィルタ係数に持つフィルタを通過した信号ｙ’(n)に対して式（４）で得られた信号である。
【数４】
【００１８】
適応フィルタ計算部１２２は、式（４）が収束するまで式（３）のサンプリング時刻nについて反復計算することにより、サンプリング時刻n+1におけるフィルタ係数ｈn+1→を求める。
【００１９】
受話信号Ｌに対して、上述の如く算出されたＬチャネルのフィルタ係数ｈn+1→がフィルタ適用部１３６，１３８によって適用される。この適用処理で得られた信号はスピーカ３０３，３０４に入力され、スピーカ３０３，３０４から音声が再生されることになる。同様に、受話信号Ｒに対して、上述の如く算出されたＲチャネルのフィルタ係数ｈn+1→がフィルタ適用部１３２，１３４によって適用される。この適用処理で得られた信号はスピーカ３０１，３０２に入力され、スピーカ３０１，３０２から音声が再生されることになる。この結果、発話者から見て遠方のスピーカの指向性の死角が当該発話者に向けて形成される。つまり、発話者が図１に示すマイクロホン２０１の右側に居る場合には、スピーカ３０３，３０４によって形成される指向性４００の死角が当該発話者に向くように当該指向性４００が形成されるのである（図３参照）。逆に、発話者が図１に示すマイクロホン２０４の左側に居る場合には、スピーカ３０１，３０２によって形成される指向性の死角が当該発話者に向くように当該指向性が形成されるのである。このとき、死角の反対側にはスピーカ信号が十分な音圧で再生されるから、受聴者は、例えば室内環境であれば壁による反射によって遠方からの再生音声を聞くことになる。また、受聴者の面前のスピーカからは受聴者に向かってスピーカ信号が再生されるので、スピーカ再生音声に遠近感が生まれることになる。このため、この実施形態であれば二つのチャネルが同時に再生されたとしても受聴者は容易に各チャネルのスピーカ再生音声を聞き分けることができる。また、レベル比較器１１０によるレベル比較処理に基づいて発話者の位置を推定するため、発話者が移動しても自動的に発話者に追随可能である。
【００２０】
なお、上述の実施形態では学習同定法を採用したが、この方式に限定されるものではなく、例えば射影アルゴリズムや再帰最小２乗（ＲＬＳ）アルゴリズムなど他の適応フィルタアルゴリズムを用いてフィルタを算出することもできる。
【００２１】
例えば、２次の射影アルゴリズムによるフィルタの更新式は、μ（ただし、０＜μ≦１を満たす）をステップサイズとして式（５）、式（６）で表される。
【数５】
【００２２】
ＲＬＳ法では、相関行列の逆行列としての意味を持つ正方行列Ｐ(n)を中間変数として、式（７）（８）（９）に従ってフィルタ係数を更新する。λは忘却係数（ただし、０＜λ≦１を満たす）である。Ｐ(n)の初期値は通常Ｐ(n)=cＩで与えられる。ｃは大きな正の定数であり、Ｉは単位行列である。定数ｃは例えば、入力信号ＵN(n)の２乗期待値Ｐxに対し、ｃ=104/Ｐxで与えられる。
【数６】
【００２３】
適応フィルタに関しては、例えば参考文献１が詳しい。
（参考文献１）Simon Haykin著、鈴木博他訳、「適応フィルタ理論」、初版、株式会社科学技術出版、2001．pp.66-73,248-255
【００２４】
次に、図２を参照して、上述の実施形態の変形例を説明する。この変形例の音響再生装置１ａは、上記音響処理部１００に替えて音響処理部１００ａを含む。音響処理部１００ａは、レベル比較器１１０に替えて相関計算部１１１を含む。
【００２５】
この変形例では、発話者の発話音声がマイクロホン２０１，２０２，２０３，２０４に到達した順に、マイクロホンの出力信号をｓ1(t),ｓ2(t),ｓ3(t),ｓ4(t)とする。到達の順序は、相関計算部１１１が例えばマイクロホン２０１の出力信号と他の各マイクロホンの出力信号との相互相関を求めることで決定する。爾後の処理は、[Ｌチャネル]と[Ｒチャネル]ともに上記実施形態と同じであるから、重複説明を省略する。
【００２６】
各マイクロホンの出力信号のレベルや到達時刻によって発話者の位置がＲチャネルとＬチャネルの２セット２３Ｒ，２３Ｌの中央付近であると推定された場合（図４参照）には、各マイクロホンのうち、各セットのマイクロホンの出力信号を用いてフィルタを生成する。例えば、各マイクロホンの出力信号のレベルの大きい順に図４の各マイクロホンの出力信号をｓ1(t),ｓ2(t),ｓ3(t),ｓ4(t)とすると、左からｓ3(t),ｓ1(t),ｓ2(t),ｓ4(t)となる場合、ｓ1(t)とｓ3(t)の組み合わせによりＬチャネルのフィルタを生成し、ｓ2(t)とｓ4(t)の組み合わせによりＲチャネルのフィルタを生成する。発話者の位置がＲチャネルとＬチャネルの２セットの中央付近であると推定された場合、図４に示すように、当該発話者に向けて死角を持つ指向性が形成されることになる。
【００２７】
上述の実施形態並びにその変形例では白色雑音を用いたが有色雑音でもよい。また、このような雑音を生成する手段として上述の実施形態並びにその変形例では白色雑音源１１６，１１８を用いているが、例えば記憶手段に記憶されたデータとしての白色雑音ないし有色雑音を用いることができる。また、複数のチャネルで一つの白色雑音源（或いは有色雑音源）を用いる構成であってもよい。
【００２８】
上述の実施形態並びにその変形例では、チャネルごとに、マイクロホン間距離が同一の記号ｄで与えられているが、チャネルごとにマイクロホン間距離が異なっていてもよい。
【００２９】
チャネルに対応するセットは、２個以上のマイクロホンと２個以上のスピーカを含むが、各マイクロホンは既知の同一直線上に配置されており、同様に、各スピーカは既知の同一直線上に配置されている。なお、各マイクロホンが配置された直線と各スピーカが配置された直線は一致することは必須ではなく、平行であればよい。また、１セットにつき、少なくともマイクロホンの総数はスピーカの総数と同じかそれ以上であることが望ましい。
【００３０】
上述の実施形態並びにその変形例では、各スピーカは、セット毎に同一の方向に向いているが、各スピーカの向きは上述の如く指向性を形成することができればよいのであって特に限定はない。また、各マイクロホンの向きは発話者からの発話音声の直接音が収音されない向きが望ましい。
【００３１】
上述の実施形態並びにその変形例では、音響再生装置から見た発話者の方向を推定するために無指向性マイクロホンを使用している。しかし、このような特性のマイクロホンに限定されるものではなく、発話者の方向を推定できれば無指向性マイクロホンでなくてもよい。
【００３２】
＜音響再生装置のハードウェア構成例＞
上述の実施形態に関わる音響再生装置は、ＣＰＵ（Central Processing Unit）やＤＳＰ（Digital Sygnal Processor）〔キャッシュメモリなどを備えていてもよい。〕、メモリであるＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）と、ハードディスクである外部記憶装置、並びにこれらのＣＰＵやＤＳＰ、ＲＡＭやＲＯＭ、外部記憶装置間のデータのやり取りが可能なように接続するバスなどを備えている。また必要に応じて、音響再生装置に、ＣＤ−ＲＯＭなどの記憶媒体を読み書きできる装置（ドライブ）などを設けるとしてもよい。
【００３３】
音響再生装置の外部記憶装置には、上述の音響再生のためのプログラム並びにこのプログラムの処理において必要となるデータなどが記憶されている〔外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておくなどでもよい。〕。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に記憶される場合がある。データやその格納領域のアドレスなどを記憶する記憶装置を単に「記憶部」と呼ぶことにする。
【００３４】
音響再生装置の記憶部には、各マイクロホンからの出力信号のレベルを比較するためのプログラム、各マイクロホンからの出力信号の相互相関を計算するためのプログラム、適応フィルタを計算するためのプログラム、適応フィルタを受話信号に適用するためのプログラムなどが記憶されている。
【００３５】
音響再生装置では、記憶部に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてＲＡＭに読み込まれて、ＣＰＵで解釈実行・処理される。この結果、ＣＰＵが所定の機能（レベル比較器、相関計算部、適応フィルタ計算部、フィルタ適用部など）を実現することで上述の音響再生が実現される。
【００３６】
＜補記＞
本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
【００３７】
また、上記実施形態において説明したハードウェアエンティティ（音響再生装置）における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。
【００３８】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
【００３９】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００４０】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【００４１】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【特許請求の範囲】
【請求項１】
既知の並びで直線状に配置された２個以上のマイクロホンと既知の並びで直線状に配置された２個以上のスピーカを一つのセットとして、複数のセットと、
各上記マイクロホンからの出力信号から適応フィルタを求め、求められた適応フィルタを受話信号に適用する音響処理部と
を含み、
上記音響処理部は、
各上記マイクロホンからの出力信号のレベルを比較するレベル比較器と、
各上記マイクロホンからの出力信号のレベルに基づいて、上記セットごとに、各上記スピーカからの再生音声の指向性の死角が発話者に対して形成されるようにフィルタ係数を算出する適応フィルタ計算部と、
上記セットごとに、上記受話信号に上記フィルタ係数を適用するフィルタ適応部と
を備えた音響再生装置。
【請求項２】
既知の並びで直線状に配置された２個以上のマイクロホンと既知の並びで直線状に配置された２個以上のスピーカを一つのセットとして、複数のセットと、
各上記マイクロホンからの出力信号から適応フィルタを求め、求められた適応フィルタを受話信号に適用する音響処理部と
を含み、
上記音響処理部は、
発話者の発話音声が各上記マイクロホンに到達する順序を、基準となるマイクロホンの出力信号と他の各上記マイクロホンの出力信号との相互相関によって求める相関計算部と、
発話者の発話音声が各上記マイクロホンに到達する上記順序に基づいて、上記セットごとに、各上記スピーカからの再生音声の指向性の死角が発話者に対して形成されるようにフィルタ係数を算出する適応フィルタ計算部と、
上記セットごとに、上記受話信号に上記フィルタ係数を適用するフィルタ適応部と
を備えた音響再生装置。
【請求項１】
既知の並びで直線状に配置された２個以上のマイクロホンと既知の並びで直線状に配置された２個以上のスピーカを一つのセットとして、複数のセットと、
各上記マイクロホンからの出力信号から適応フィルタを求め、求められた適応フィルタを受話信号に適用する音響処理部と
を含み、
上記音響処理部は、
各上記マイクロホンからの出力信号のレベルを比較するレベル比較器と、
各上記マイクロホンからの出力信号のレベルに基づいて、上記セットごとに、各上記スピーカからの再生音声の指向性の死角が発話者に対して形成されるようにフィルタ係数を算出する適応フィルタ計算部と、
上記セットごとに、上記受話信号に上記フィルタ係数を適用するフィルタ適応部と
を備えた音響再生装置。
【請求項２】
既知の並びで直線状に配置された２個以上のマイクロホンと既知の並びで直線状に配置された２個以上のスピーカを一つのセットとして、複数のセットと、
各上記マイクロホンからの出力信号から適応フィルタを求め、求められた適応フィルタを受話信号に適用する音響処理部と
を含み、
上記音響処理部は、
発話者の発話音声が各上記マイクロホンに到達する順序を、基準となるマイクロホンの出力信号と他の各上記マイクロホンの出力信号との相互相関によって求める相関計算部と、
発話者の発話音声が各上記マイクロホンに到達する上記順序に基づいて、上記セットごとに、各上記スピーカからの再生音声の指向性の死角が発話者に対して形成されるようにフィルタ係数を算出する適応フィルタ計算部と、
上記セットごとに、上記受話信号に上記フィルタ係数を適用するフィルタ適応部と
を備えた音響再生装置。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１２−１９５７５６（Ｐ２０１２−１９５７５６Ａ）
【公開日】平成２４年１０月１１日（２０１２．１０．１１）
【国際特許分類】
【出願番号】特願２０１１−５７９９５（Ｐ２０１１−５７９９５）
【出願日】平成２３年３月１６日（２０１１．３．１６）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２４年１０月１１日（２０１２．１０．１１）
【国際特許分類】
【出願日】平成２３年３月１６日（２０１１．３．１６）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]