音の到来方向判定システム及びプログラム
【課題】正しく推定された音の到来方向と正しく推定できなかった音の到来方向とを識別可能に表示する。
【解決手段】音の到来方向判定システム１００は、測定ユニット１０の各マイクロフォンへの音の到達時間差から、パーソナルコンピュータ２０の演算処理部２３の音源位置推定部２４により音の到来方向を推定する。虚音源位置判定部２５は、推定された音の到来方向の信憑性を判定する。表示処理部２６は、信憑性が低いと判定された音源位置と信憑性が高いと判定された音源位置をディスプレイ２９上に識別可能に同時に表示する。
【解決手段】音の到来方向判定システム１００は、測定ユニット１０の各マイクロフォンへの音の到達時間差から、パーソナルコンピュータ２０の演算処理部２３の音源位置推定部２４により音の到来方向を推定する。虚音源位置判定部２５は、推定された音の到来方向の信憑性を判定する。表示処理部２６は、信憑性が低いと判定された音源位置と信憑性が高いと判定された音源位置をディスプレイ２９上に識別可能に同時に表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、音源の位置を推定して表示するシステムに関し、特に推定した音の到来方向の信憑性を判定して音の到来方向を判定することができる音の到来方向判定システム及びプログラムに関する。
【背景技術】
【０００２】
従来より、騒音などの音源位置を推定するものとして、例えば特許文献１に開示された音源探査システムが知られている。この音源探査システムでは、例えば四角錐の５個の頂点にそれぞれマイクロフォンを配置し、これら５個のマイクロフォンの出力信号から対象となる周波数の音の５個のマイクロフォンへの到達時間差を求め、これによって、周波数ごとの音の到来方向を推定する。そして、ＣＣＤカメラ等の撮像手段で撮像した映像中に、上記推定された音の到来方向を音源位置として、例えば音圧レベルによって大きさを変えて表示し、騒音源を視覚的に把握可能にさせるようにしている。
【０００３】
しかし、上記の方法は、音源位置が１つであることを前提としており、同一周波数の音源が複数ある場合や、反射音の影響が大きい場合には、音の到来方向を正しく推定することは困難になる。そこで、例えば特許文献２に開示されたような複数音源の分離方法も知られている。この分離方法では、例えば周波数が同一又は近接している複数音源の位置を分離して特定する際に、その大きさが基準となるマイクロフォンに入力する観測音の振幅に対する各音源からの音の振幅の大きさを表し、その角度が観測音に対する位相差を表す複素ベクトルを音源ごとに想定する。そして、想定された複素ベクトルの組を用いて各音源の方向を推定した後、推定された音源の中の特定音源から各マイクロフォンに到達する音の位相差を求め、この位相差から新たな複素ベクトルを求めると共にこの新たな複素ベクトルと想定された特定音源の複素ベクトルとの差のベクトルが最も小さくなるような複素ベクトルを求める。こうして求められた複素ベクトルを含む複素ベクトルの組を与える各音源方向を各音源の推定方向として、音源の方向を分離して特定することが行われている。
【０００４】
さらに、例えば特許文献３に開示された音源位置推定システムも知られている。この音源位置推定システムでは、特定マイクロフォンをマイクロフォンＭ５とした場合、各マイクロフォンＭ１〜Ｍ４で観測した音圧信号と特定マイクロフォンＭ５の音圧信号との位相差と、推定された音源方向から音が伝達されると仮定して逆算した各マイクロフォンＭ１〜Ｍ４に入力する音圧信号と特定マイクロフォンＭ５の音圧信号との位相差とを比較し、上記位相差の差が所定の角度を超えた場合には、上記推定された音源方向が妥当でないと判断し、上記推定音源方向のデータを破棄するようにしている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−１１１１８３号公報
【特許文献２】特開２００７−９６４１８号公報
【特許文献３】特開２００８−２２４２５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献１に開示された音源探査システムでは、上述したように、同一周波数の複数の音源が存在する場合や、路面や壁などによる反射音の影響が大きい場合には、正確に音の到来方向を推定することができない。
【０００７】
また、上記特許文献２に開示された分離方法では、同一周波数の合成音が２つの音だけを合成したものであるならば分離することはできるが、実際の現場環境においては、そのような単純な合成音が騒音源となる場合は殆どなく、実用性に乏しいと言わざるを得ない。
【０００８】
さらに、上記特許文献３に開示された音源位置推定システムでは、音源方向が妥当でないと判断した場合の推定音源方向のデータが破棄されているため、実音源位置の探索作業を効率良く実施することができない。
【０００９】
この発明は、上述した従来技術による問題点を解消し、実音源位置の探索作業を正確に且つ効率良く実施することができる音の到来方向判定システム及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決し、目的を達成するため、この発明に係る音の到来方向判定システムは、所定間隔で配置された複数の収音手段と、前記複数の収音手段間の音の到達時間差から音の到来方向を推定する到来方向推定手段と、前記到来方向推定手段により推定された音の到来方向の信憑性を判定する信憑性判定手段と、前記到来方向推定手段により推定すべき音の到来方向の映像を撮像する撮像手段と、前記到来方向推定手段によって推定された音の到来方向を前記信憑性判定手段により判定された信憑性と共に示す情報を、前記撮像手段により撮像された映像上に表示する表示手段とを備えたことを特徴とする。
【００１１】
この発明に係る音の到来方向判定システムにおいては、前記複数の収音手段は、好ましくは、立方体の頂点に配置された少なくとも８個のマイクロフォンとすることができる。
【００１２】
また、前記到来方向推定手段は、前記各マイクロフォンで観測された到来方向を推定する音の周波数の位相スペクトルに基づき、水平面内に配置された４個のマイクロフォン間の音の到達時間差から水平方向の音の到来方向を推定し、垂直面内に配置された４個のマイクロフォン間の音の到達時間差から仰角方向の音の到来方向を推定する構成とすることができる。
【００１３】
また、前記到来方向推定手段は、８個のマイクロフォンによって形成される立方体のうち、４つのマイクロフォンで形成される面が、前記推定された水平方向の音の到来方向とのなす角度が４５°よりも小さい面で、且つ水平方向の音の到来方向から見て最も近い面を仰角の算出に使用することができる。
【００１４】
前記信憑性判定手段は、好ましくは、前記推定された音の到来方向から仮想音源位置を求め、この仮想音源位置から求めた前記複数の収音手段間の位相差及び振幅比と、前記複数の収音手段で測定された測定値に基づく前記複数の収音手段間の位相差及び振幅比とを比較して、その比較結果に基づいて前記音の到来方向の信憑性を判定する構成とすることができる。
【００１５】
また、前記表示手段は、前記信憑性判定手段によって信憑性が高いと判定された音の到来方向と、信憑性が低いと判定された音の到来方向とをそれぞれ示す情報を、前記映像上に識別可能な状態で同時に表示する構成とすることができる。
【００１６】
また、本発明に係る音の到来方向判定プログラムは、所定間隔で配置された複数の収音手段からそれらの出力を取り込むと共に、推定すべき音の到来方向の映像を撮像手段から取り込み、前記複数の収音手段の出力から前記音の到来方向を推定する処理と、前記推定された音の到来方向の信憑性を判定する処理とをコンピュータに実行させる音の到来方向判定プログラムであって、前記複数の収音手段間の音の到達時間差から音の到来方向を推定する処理と、前記推定された音の到来方向の信憑性を判定する処理と、前記推定された音の到来方向を前記判定された信憑性と共に示す情報を、前記撮像手段から取り込んだ映像上に表示する処理とをコンピュータに実行させるものである。
【発明の効果】
【００１７】
この発明によれば、推定された音の到来方向及びその信憑性を示す情報を、撮像手段により撮像された映像上に表示するようにしているので、映像上で虚音源が存在することが分かる。したがって、この虚音源が実音源として判定されるまで、収音手段を移動させたり、向きを変更させたりして測定を継続することにより、実音源位置の探索作業を正確に且つ効率良く実施することができる
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施形態に係る音の到来方向判定システムの全体構成図である。
【図２】同判定システムの収音手段の配置例を示す斜視図である。
【図３】同判定システムの演算処理を行う部分の機能ブロック図である。
【図４】同判定システムにおける表示画面の一例を示す図である。
【図５】同判定システムにおける音の仰角方向の到来方向を推定する手順を説明するための図である。
【発明を実施するための形態】
【００１９】
以下に、添付の図面を参照して、この発明の一実施形態に係る音の到来方向判定システム（以下、単に「判定システム」と呼ぶ。）について詳細に説明する。図１は、判定システムの全体構成を示す図である。
【００２０】
本実施形態に係る判定システム１００は、音源探査空間を収音及び撮像するための測定ユニット１０と、この測定ユニット１０により取得された音響信号及び映像信号を処理するマイクアンプ１１、ローパスフィルタ（ＬＰＦ）１２、Ａ／Ｄ変換器１３及びビデオキャプチャデバイス１４等のインターフェース手段と、このインターフェース手段を介して音響情報及び映像情報を内部に取り込んで処理するパーソナルコンピュータ２０とを備えて構成されている。
【００２１】
測定ユニット１０は、所定間隔で配置された複数の収音手段としての無指向性のマイクロフォンＭ１〜Ｍ８と、これらマイクロフォンＭ１〜Ｍ８を支持するためのマイクロフォンフレーム１５と、レンズ前方の映像を撮像するカメラ１９と、これらマイクロフォンＭ１〜Ｍ８及びカメラ１９を搭載した回転フレーム１８を三脚からなる支持部材１７と共に支える基台１６とからなる。測定ユニット１０が上記のように構成されていると、測定ユニット１０の測定位置を複数箇所移動させて測定を行ったり、同一測定箇所で回転フレーム１８を回転させた複数角度での測定を行ったりすることができる。なお、図示は省略するが、測定ユニット１０は、各マイクロフォンＭ１〜Ｍ８の地上での絶対位置を測定するためのＧＰＳ装置を更に有する構成であってもよい。
【００２２】
図２にも示すように、この測定ユニット１０においては、８個のマイクロフォンＭ１〜Ｍ８が、一辺を距離Ｌとする立方体の頂点に、それぞれ上向きとなるように設置される。距離Ｌは、少なくとも探索する音の半波長よりも小さいことが必要であり、例えば数センチ〜数十センチに設定される。そして、カメラ１９の撮像方向を前方としたときの、立方体のマイクロフォンＭ１，Ｍ２，Ｍ６，Ｍ７で構成される側面に垂直な方向をＸ方向、マイクロフォンＭ１，Ｍ４，Ｍ８，Ｍ５で構成される前面に垂直な方向をＹ方向、マイクロフォンＭ１，Ｍ２，Ｍ３，Ｍ４で構成される上面に垂直な方向をＺ方向と定義し、カメラ１９の撮像方向をＹ方向、水平角（「水平方向角度」とも称する。）θをＹＺ面からＸ方向への傾き、仰角（「仰角方向角度」とも称する。）φをＸＹ面からＺ方向への傾きとする。したがって、Ｙ方向は水平角θ＝０°で且つ仰角φ＝０°、Ｘ方向は水平角θ＝９０°で仰角φ＝０°、Ｚ方向は水平角θ＝０°で仰角φ＝９０°となる。
【００２３】
マイクロフォンＭ１〜Ｍ８から出力される音響信号は、マイクアンプ１１で増幅され、ＬＰＦ１２で高域を抑圧される。ＬＰＦ１２は、音響信号をディジタル信号に変換した際の折り返し誤差（Ａｌｉａｓｉｎｇ：エイリアシング）を防止するアンチエイリアシングフィルタとして機能する。ＬＰＦ１２の出力は、Ａ／Ｄ変換器１３にてディジタル信号に変換されてパーソナルコンピュータ２０に入力される。一方、カメラ１９からの映像信号は、ビデオキャプチャデバイス１４に一旦保存された後、パーソナルコンピュータ２０に取り込まれる。なお、パーソナルコンピュータ２０には、映像情報を表示するためのディスプレイ２９が備えられている。
【００２４】
パーソナルコンピュータ２０は、図３に示すように、キーボードやマウス、ジョイスティック等の入力部２１と、入力部２１によって受け付けられたパラメータ等を含む各種情報を記憶する記憶部２２と、この記憶部２２や入力部２１からの情報、及び測定ユニット１０からの音響情報や画像情報に基づき各種演算処理を実行する演算処理部２３とを備える。
【００２５】
なお、パーソナルコンピュータ２０の演算処理部２３は、例えばＣＰＵやＲＡＭ，ＲＯＭ等のハードウェアで、音の到来方向判定プログラム等のソフトウェアを実行することにより音源位置推定部２４、虚音源位置判定部２５及び表示処理部２６として機能する。
【００２６】
音源位置推定部２４は、測定ユニット１０からの音響情報に基づいて、マイクロフォンＭ１〜Ｍ８間の音の到達時間差から音源位置を推定して音の到来方向を推定する。虚音源位置判定部２５は、音源位置推定部２４により推定された推定結果の信憑性を判定して虚音源位置を判定する。表示処理部２６は、虚音源位置判定部２５により判定された判定結果に基づいて、音源位置推定部２４によって推定された音の到来方向とその信憑性とを示す情報を、測定ユニット１０からの映像情報と共にディスプレイ２９上に表示するための処理を行う。
【００２７】
なお、測定ユニット１０のマイクロフォンＭ１〜Ｍ８については、それぞれ一のマイクロフォンに対しての位相差特性を予め測定しておき、測定された位相差特性が小さい８個のマイクロフォンを適宜組み合わせて音の到来方向の判定を行うように構成することとする。例えば、マイクロフォンＭ１を一のマイクロフォンとした場合は、マイクロフォンＭ２〜Ｍ８については、マイクロフォンＭ１に対しての測定対象の全周波数の位相差情報と振幅比情報を測定しておいて、入力部２１を介してパーソナルコンピュータ２０の記憶部２２にこれらの情報を記憶しておく。
【００２８】
次に、このように構成された判定システム１００を用いた音の到来方向の判定処理について説明する。まず、測定ユニット１０の各マイクロフォンＭ１〜Ｍ８が収音してマイクアンプ１１により増幅されたアナログ信号である音響信号を、ＬＰＦ１２によって濾波する。
【００２９】
濾波された音響信号は、Ａ／Ｄ変換器１３にて所定の周期でサンプリング（標本化）したディジタル信号に変換され、音響情報としてパーソナルコンピュータ２０の記憶部２２に記憶される。パーソナルコンピュータ２０の演算処理部２３における音源位置推定部２４は、記憶部２２に記憶された各マイクロフォンＭ１〜Ｍ８の音響情報を読み出して所定長のフレームを生成する。
【００３０】
具体的には、音源位置推定部２４は、読み出した音響情報を、例えば０．５ｓｅｃ〜１．０ｓｅｃの所定長の単位でフレーム化する。なお、音源位置推定部２４は、生成された各フレームに対しては、例えばハミング窓やハニング窓などの窓関数処理を施すと共に、各マイクロフォンＭ１〜Ｍ８のフレーム単位の音響信号をＦＦＴ（高速フーリエ変換）処理して複素指数関数に分解し、その結果を記憶部２２に記憶する。
【００３１】
そして、例えば一のマイクロフォンＭ１のフレーム単位の音響情報をＦＦＴ処理した結果と、他のマイクロフォンＭ２〜Ｍ８のそれぞれのフレーム単位の音響情報をＦＦＴ処理した結果との複素数共役の要素同士の乗算を行い、この複素数共役の要素同士の乗算した結果の位相スペクトルを求める。
【００３２】
さらに、記憶部２２に記憶していたマイクロフォンＭ１に対する各マイクロフォンＭ２〜Ｍ８の位相差情報を読み出して位相スペクトルの補正処理を行い、マイクロフォンＭ２〜Ｍ８の位相差（ｒａｄ）とする。次に、音の到来方向を推定したい周波数ｆ（Ｈｚ）について以下の処理を行う。ただし、周波数ｆは各マイクロフォンＭ１〜Ｍ８間の距離Ｌを半波長とする周波数以下でなければならず、音波は平面波で到来するものと仮定する。
【００３３】
まず、音源位置推定部２４は、例えばマイクロフォンＭ１とマイクロフォンＭ３のフレーム単位の位相差を２πｆで除算して、マイクロフォンＭ１とマイクロフォンＭ３との到達時間差Ｄ１３（ｓｅｃ）を求める。次に、マイクロフォンＭ１とマイクロフォンＭ４のフレーム単位の位相差から、マイクロフォンＭ１とマイクロフォンＭ２のフレーム単位の位相差を引き算した値を２πｆで除算して、マイクロフォンＭ２とマイクロフォンＭ４との到達時間差Ｄ２４を求める。
【００３４】
これらマイクロフォンＭ１〜Ｍ４に関する到達時間差を求めたら、次式（１）より、周波数ｆの音の水平方向角度θ（°）を推定する。
【００３５】
【数１】
【００３６】
こうして推定した周波数ｆの音の水平方向角度θに基づき、音の仰角方向を推定するためのマイクロフォンＭ１〜Ｍ８の組み合わせを決定し、上記と同様にマイクロフォン間の到達時間差を求め、次式（２）〜（５）によって周波数ｆの仰角方向角度φ（°）を推定する。
【００３７】
【数２】
【００３８】
【数３】
【００３９】
【数４】
【００４０】
【数５】
【００４１】
上記式（２）〜（５）において、Ｄｉｊ（ｉ，ｊ＝１〜８）はマイクロフォンＭｉとマイクロフォンＭｊとの到達時間差を表している。
【００４２】
上記Ｉ〜IVに示す式（２）〜（５）は、図５に示すように、マイクロフォンＭ１〜Ｍ８によって形成される立方体のうち、仰角φの算出に使用する４つのマイクロフォンで形成される面が、推定された水平方向の音の到来方向（水平方向角度θ）とのなす角度が４５°よりも小さい面で、且つ推定された水平方向の音の到来方向（水平方向角度θ）から見て最も近い面であることを特徴としている。このように、水平方向角度θに応じて、上記のような関係を満たす面を構成する４つのマイクロフォンによって仰角φを計算することにより、５つのマイクロフォンを用いた従来例よりも格段に推定精度が向上する。
【００４３】
即ち、本発明者等は、従来の５個のマイクロフォンを使用したシステムで推定された音源方向の妥当性を検証する実験を行った。その結果、明らかに実音源ではない音源（以下、「虚音源」という。）の位置（以下、「虚音源位置」という。）を極めて妥当性が高い（信頼度が高い）実音源位置として誤判定してしまう場合があることが認められた。このような誤判定は、特に上下方向に反射面がある場合に顕著に現れることが判明した。この点、本システムを使用することにより、このような誤判定が減少することが確認された。
【００４４】
音源位置推定部２４により周波数ｆの音の到来方向である水平角θと仰角φを推定したら、次に、虚音源位置判定部２４によって推定した周波数ｆの音の到来方向の信憑性を判定する。即ち、虚音源位置判定部２５は、記憶部２２から音源位置推定部２４により求められた各マイクロフォンＭ１〜Ｍ８のフレーム単位の音響信号をＦＦＴ処理した結果を読み出して、それぞれの振幅スペクトルを求める。
【００４５】
そして、マイクロフォンＭ２〜Ｍ８のフレーム単位の音響信号の振幅スペクトルを、記憶部２２に記憶していたマイクロフォンＭ１に対する各マイクロフォンＭ２〜Ｍ８の振幅比情報を用いて補正を行った上でマイクロフォンＭ１の振幅スペクトルで除算する。これにより、マイクロフォンＭ２〜Ｍ８の振幅比を求める。
【００４６】
次に、虚音源位置判定部２５は、推定された音の到来方向における音源までの距離として、入力部２１への操作入力等により与えられた適当な距離（例えば、１００ｍなど）情報を用い、次式（６）〜（８）により仮想音源位置を３次元直交座標値（Ｘ，Ｙ，Ｚ）で求める。
【００４７】
【数６】
【００４８】
【数７】
【００４９】
【数８】
【００５０】
ここで、ｒｎは予め与えられた音源までの距離を示している。そして、仮想音源位置の３次元直交座標値と各マイクロフォンＭ１〜Ｍ８の３次元直交座標値とに基づいて、求めた仮想音源位置から各マイクロフォンＭ１〜Ｍ８までの距離（ｍ）を求め、更に求めた距離からマイクロフォンＭ１に対するマイクロフォンＭ２〜Ｍ８の距離差（ｍ）を求める。なお、３次元直交座標（Ｘ１，Ｙ１，Ｚ１）と（Ｘ２，Ｙ２，Ｚ２）との距離ｒ３は、次式（９）により求めることができる。
【００５１】
【数９】
【００５２】
こうして求めた距離差を音速（ｍ／ｓｅｃ）で除算した値に−２πｆを乗算して、マイクロフォンＭ１に対するマイクロフォンＭ２〜Ｍ８の位相差を理論値で求める。このような位相差を理論値で求める手法は、マイクロフォンの配置態様や個数が変化しても応用が利く手法である。
【００５３】
そして、虚音源位置判定部２５は、音源位置推定部２４により推定された音の到来方向から理論的に求めたマイクロフォンＭ１に対するマイクロフォンＭ２〜Ｍ８の位相差を角度及び１を長さとした第１の複素ベクトルと、前述したように実測値からＦＦＴ処理した結果の複素数共役の要素同士の乗算によって求めたマイクロフォンＭ２〜Ｍ８のマイクロフォンＭ１に対する位相差を角度及び上記マイクロフォンＭ１に対する振幅比を長さとした第２の複素ベクトルとを定義する。
【００５４】
その後、推定された音の到来方向から定義した第１の複素ベクトルの終点と、マイクロフォンＭ２〜Ｍ８についてそれぞれ実際の測定値（実測値）によって定義した第２の複素ベクトルの終点との距離を、マイクロフォンＭ２〜Ｍ８ごとに求めて合計した上でそれを周波数ｆで除算する。なお、２つの複素ベクトルの終点間の距離ｒ２は、次式（１０）により求めることができる。
【００５５】
【数１０】
【００５６】
ここで、α１は第１の複素ベクトルの長さを、ψ１は第１の複素ベクトルの角度を、α２は第２の複素ベクトルの長さを、及びψ２は第２の複素ベクトルの角度を、それぞれ示している。上記のように周波数ｆを用いた除算により得られた値に例えば１０００を乗算することで、周波数１０００Ｈｚで規格化した値を得ることができ、この値を虚音源を判定するための数値（判定値）とする。なお、周波数ｆで除算した値を、マイクロフォンＭ２〜Ｍ８ごとに求めて平均化した値で判定値を決定するようにしてもよい。
【００５７】
ここでは、この判定値をマイクロフォン複素ベクトル乖離値と呼ぶこととし、この値が０に近い程信憑性が高いと判定することができるものとする。具体的には、本出願人の実験によると、マイクロフォン１個あたりでマイクロフォン複素ベクトル乖離値が０．１以下程度となれば信憑性が高いと判断できることが判明した。
【００５８】
このように、本実施形態に係る判定システム１００は、複素ベクトル同士の距離を用いることにより、マイクロフォン間の位相差が実存しマイクロフォン間の振幅差がある場合においても虚音源判定を行うことが可能なシステムである。また、この判定システム１００では、複素ベクトル同士の距離を周波数で除算することによって、マイクロフォン複素ベクトル乖離値を全周波数で共通な値として信憑性の評価に用いることが可能である。
【００５９】
こうして得られた周波数ｆにおける推定した音の到来方向と、振幅スペクトルと、マイクロフォン複素ベクトル乖離値とに基づいて、表示処理部２６は、カメラ１９により撮像された画像情報を用いて、ディスプレイ２９上に表示する画像上の該当する位置に周波数ｆの音源位置を示す情報を、例えば図形により描画する。
【００６０】
具体的には、虚音源位置判定部２５によって、マイクロフォン複素ベクトル乖離値が大きく信憑性が低いと判定された音源位置は、例えば矩形の図形で表示してその矩形内部領域を透明となるように描画する。また、マイクロフォン複素ベクトル乖離値が小さく信憑性が高いと判定された音源位置は、例えば円形の図形で表示してその円形内部領域を塗り潰し処理したり網掛け処理したりして、ディスプレイ２９上で視認しやすいように描画する。
【００６１】
更に、振幅スペクトル量に比例して描画される図形の大きさを大きくしたり、周波数ｆによって図形の表示色を変えて描画するようにすれば、実音源位置と虚音源位置とを容易に識別することが可能となる。なお、例えばマイクロフォン複素ベクトル乖離値に細かい段階を設け、信憑性の最も低いものから順に三角形→四角形→五角形…となるように段々と角数の多い図形で描画していき、一番信憑性の高いものを円形で描画する等してもよい。
【００６２】
図４に示すディスプレイ２９の表示画面の例では、例えば周波数ｆによって表示色を変化させ、振幅スペクトル量によって表示領域の大きさを変え、更に信憑性が低いと判定された音源位置を矩形の図形で表すと共に信憑性が高いと判定された音源位置を円形の図形で表すようにした表示処理部２６での描画例を示している。この例によれば、音源Ｂ〜Ｄは矩形の図形で表示され、音源Ａはこれらよりも大きな円形の図形で表示されている。このため、音源Ａの振幅スペクトル量が音源Ｂ〜Ｄよりも大きく、音源Ａの表示位置が実音源位置であり音源Ｂ〜Ｄの表示位置が虚音源位置であることが一目で分かることとなる。
【００６３】
なお、上述したように推定した音の到来方向の水平方向角度θ及び仰角方向角度φは、各マイクロフォンＭ１〜Ｍ８で構成する立方体の重心位置からの方向であるので、おおよその音源までの距離ｒｎが既知であるならば、次のように描画することもできる。即ち、表示処理部２６は、マイクロフォンＭ１〜Ｍ８で構成する立方体の重心位置に対しての画像中心の前後方向の距離差をＰＹ、左右方向の距離差をＰＸ、及び上下方向の距離差をＰＺとして、次式（１１），（１２）を用いてカメラ１９で撮像した画像情報が示す画像中心からの水平方向ＰＨ及び仰角方向ＰＥにそれぞれ変換して描画することもできる。
【００６４】
【数１１】
【００６５】
【数１２】
【００６６】
以上述べたように、本実施形態に係る判定システム１００によれば、音の到来方向を推定してこれの信憑性を判断し、虚音源判定を行って実音源位置や虚音源位置を上述したように撮像した画像上に同時に表示することができる。これにより、同一周波数の複数の音源が存在したり、路面や壁などによる反射音の影響が大きくて周波数ｆの音の到来方向を正しく推定できていない場合であっても、周波数ｆの音が存在はしているがその音の推定された到来方向は信憑性が低いことを視覚的に認識することができる。この場合は、推定された音の到来方向の信憑性が高くなるまで測定ユニット１０の測定位置を移動させて変更する等すれば、実音源位置を探査することが可能となる。
【００６７】
なお、本発明は、上述した実施形態に限定されるものではない。
例えば、上記実施形態では、立方体の各頂点に配置された８つのマイクロフォンＭ１〜Ｍ８を用いて音の到来方向を推定したが、このような８つのマイクロフォンＭ１〜Ｍ８の組を複数組（例えば４組）、適当な間隔を空けて配置するようにし、各組で求められた判定結果を用いて検証処理を行えば、更に判定精度が向上する。
また、その際、それぞれの組のマイクロフォンＭ１〜Ｍ８の間隔を異ならせるようにすれば、各組で把握可能な周波数帯を異ならせることができる。即ち、マイクロフォンＭ１〜Ｍ８の間隔が広い組は、より低周波の音の到来方向を推定することができる。
【産業上の利用可能性】
【００６８】
本発明に係る音の到来方向判定システムは、特に車の異音発生箇所の特定などの真の音源位置を探査するための音源探査システムに有用である。
【符号の説明】
【００６９】
１０ 測定ユニット
１１ マイクアンプ
１２ ローパスフィルタ
１３ Ａ／Ｄ変換器
１４ ビデオキャプチャデバイス
１５ マイクロフォンフレーム
１６ 基台
１７ 支持部材
１８ 回転フレーム
１９ カメラ
２０ パーソナルコンピュータ
２１ 入力部
２２ 記憶部
２３ 演算処理部
２４ 音源位置推定部
２５ 虚音源位置判定部
２６ 表示処理部
２９ ディスプレイ
１００ 音の到来方向判定システム
【技術分野】
【０００１】
この発明は、音源の位置を推定して表示するシステムに関し、特に推定した音の到来方向の信憑性を判定して音の到来方向を判定することができる音の到来方向判定システム及びプログラムに関する。
【背景技術】
【０００２】
従来より、騒音などの音源位置を推定するものとして、例えば特許文献１に開示された音源探査システムが知られている。この音源探査システムでは、例えば四角錐の５個の頂点にそれぞれマイクロフォンを配置し、これら５個のマイクロフォンの出力信号から対象となる周波数の音の５個のマイクロフォンへの到達時間差を求め、これによって、周波数ごとの音の到来方向を推定する。そして、ＣＣＤカメラ等の撮像手段で撮像した映像中に、上記推定された音の到来方向を音源位置として、例えば音圧レベルによって大きさを変えて表示し、騒音源を視覚的に把握可能にさせるようにしている。
【０００３】
しかし、上記の方法は、音源位置が１つであることを前提としており、同一周波数の音源が複数ある場合や、反射音の影響が大きい場合には、音の到来方向を正しく推定することは困難になる。そこで、例えば特許文献２に開示されたような複数音源の分離方法も知られている。この分離方法では、例えば周波数が同一又は近接している複数音源の位置を分離して特定する際に、その大きさが基準となるマイクロフォンに入力する観測音の振幅に対する各音源からの音の振幅の大きさを表し、その角度が観測音に対する位相差を表す複素ベクトルを音源ごとに想定する。そして、想定された複素ベクトルの組を用いて各音源の方向を推定した後、推定された音源の中の特定音源から各マイクロフォンに到達する音の位相差を求め、この位相差から新たな複素ベクトルを求めると共にこの新たな複素ベクトルと想定された特定音源の複素ベクトルとの差のベクトルが最も小さくなるような複素ベクトルを求める。こうして求められた複素ベクトルを含む複素ベクトルの組を与える各音源方向を各音源の推定方向として、音源の方向を分離して特定することが行われている。
【０００４】
さらに、例えば特許文献３に開示された音源位置推定システムも知られている。この音源位置推定システムでは、特定マイクロフォンをマイクロフォンＭ５とした場合、各マイクロフォンＭ１〜Ｍ４で観測した音圧信号と特定マイクロフォンＭ５の音圧信号との位相差と、推定された音源方向から音が伝達されると仮定して逆算した各マイクロフォンＭ１〜Ｍ４に入力する音圧信号と特定マイクロフォンＭ５の音圧信号との位相差とを比較し、上記位相差の差が所定の角度を超えた場合には、上記推定された音源方向が妥当でないと判断し、上記推定音源方向のデータを破棄するようにしている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−１１１１８３号公報
【特許文献２】特開２００７−９６４１８号公報
【特許文献３】特開２００８−２２４２５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献１に開示された音源探査システムでは、上述したように、同一周波数の複数の音源が存在する場合や、路面や壁などによる反射音の影響が大きい場合には、正確に音の到来方向を推定することができない。
【０００７】
また、上記特許文献２に開示された分離方法では、同一周波数の合成音が２つの音だけを合成したものであるならば分離することはできるが、実際の現場環境においては、そのような単純な合成音が騒音源となる場合は殆どなく、実用性に乏しいと言わざるを得ない。
【０００８】
さらに、上記特許文献３に開示された音源位置推定システムでは、音源方向が妥当でないと判断した場合の推定音源方向のデータが破棄されているため、実音源位置の探索作業を効率良く実施することができない。
【０００９】
この発明は、上述した従来技術による問題点を解消し、実音源位置の探索作業を正確に且つ効率良く実施することができる音の到来方向判定システム及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決し、目的を達成するため、この発明に係る音の到来方向判定システムは、所定間隔で配置された複数の収音手段と、前記複数の収音手段間の音の到達時間差から音の到来方向を推定する到来方向推定手段と、前記到来方向推定手段により推定された音の到来方向の信憑性を判定する信憑性判定手段と、前記到来方向推定手段により推定すべき音の到来方向の映像を撮像する撮像手段と、前記到来方向推定手段によって推定された音の到来方向を前記信憑性判定手段により判定された信憑性と共に示す情報を、前記撮像手段により撮像された映像上に表示する表示手段とを備えたことを特徴とする。
【００１１】
この発明に係る音の到来方向判定システムにおいては、前記複数の収音手段は、好ましくは、立方体の頂点に配置された少なくとも８個のマイクロフォンとすることができる。
【００１２】
また、前記到来方向推定手段は、前記各マイクロフォンで観測された到来方向を推定する音の周波数の位相スペクトルに基づき、水平面内に配置された４個のマイクロフォン間の音の到達時間差から水平方向の音の到来方向を推定し、垂直面内に配置された４個のマイクロフォン間の音の到達時間差から仰角方向の音の到来方向を推定する構成とすることができる。
【００１３】
また、前記到来方向推定手段は、８個のマイクロフォンによって形成される立方体のうち、４つのマイクロフォンで形成される面が、前記推定された水平方向の音の到来方向とのなす角度が４５°よりも小さい面で、且つ水平方向の音の到来方向から見て最も近い面を仰角の算出に使用することができる。
【００１４】
前記信憑性判定手段は、好ましくは、前記推定された音の到来方向から仮想音源位置を求め、この仮想音源位置から求めた前記複数の収音手段間の位相差及び振幅比と、前記複数の収音手段で測定された測定値に基づく前記複数の収音手段間の位相差及び振幅比とを比較して、その比較結果に基づいて前記音の到来方向の信憑性を判定する構成とすることができる。
【００１５】
また、前記表示手段は、前記信憑性判定手段によって信憑性が高いと判定された音の到来方向と、信憑性が低いと判定された音の到来方向とをそれぞれ示す情報を、前記映像上に識別可能な状態で同時に表示する構成とすることができる。
【００１６】
また、本発明に係る音の到来方向判定プログラムは、所定間隔で配置された複数の収音手段からそれらの出力を取り込むと共に、推定すべき音の到来方向の映像を撮像手段から取り込み、前記複数の収音手段の出力から前記音の到来方向を推定する処理と、前記推定された音の到来方向の信憑性を判定する処理とをコンピュータに実行させる音の到来方向判定プログラムであって、前記複数の収音手段間の音の到達時間差から音の到来方向を推定する処理と、前記推定された音の到来方向の信憑性を判定する処理と、前記推定された音の到来方向を前記判定された信憑性と共に示す情報を、前記撮像手段から取り込んだ映像上に表示する処理とをコンピュータに実行させるものである。
【発明の効果】
【００１７】
この発明によれば、推定された音の到来方向及びその信憑性を示す情報を、撮像手段により撮像された映像上に表示するようにしているので、映像上で虚音源が存在することが分かる。したがって、この虚音源が実音源として判定されるまで、収音手段を移動させたり、向きを変更させたりして測定を継続することにより、実音源位置の探索作業を正確に且つ効率良く実施することができる
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施形態に係る音の到来方向判定システムの全体構成図である。
【図２】同判定システムの収音手段の配置例を示す斜視図である。
【図３】同判定システムの演算処理を行う部分の機能ブロック図である。
【図４】同判定システムにおける表示画面の一例を示す図である。
【図５】同判定システムにおける音の仰角方向の到来方向を推定する手順を説明するための図である。
【発明を実施するための形態】
【００１９】
以下に、添付の図面を参照して、この発明の一実施形態に係る音の到来方向判定システム（以下、単に「判定システム」と呼ぶ。）について詳細に説明する。図１は、判定システムの全体構成を示す図である。
【００２０】
本実施形態に係る判定システム１００は、音源探査空間を収音及び撮像するための測定ユニット１０と、この測定ユニット１０により取得された音響信号及び映像信号を処理するマイクアンプ１１、ローパスフィルタ（ＬＰＦ）１２、Ａ／Ｄ変換器１３及びビデオキャプチャデバイス１４等のインターフェース手段と、このインターフェース手段を介して音響情報及び映像情報を内部に取り込んで処理するパーソナルコンピュータ２０とを備えて構成されている。
【００２１】
測定ユニット１０は、所定間隔で配置された複数の収音手段としての無指向性のマイクロフォンＭ１〜Ｍ８と、これらマイクロフォンＭ１〜Ｍ８を支持するためのマイクロフォンフレーム１５と、レンズ前方の映像を撮像するカメラ１９と、これらマイクロフォンＭ１〜Ｍ８及びカメラ１９を搭載した回転フレーム１８を三脚からなる支持部材１７と共に支える基台１６とからなる。測定ユニット１０が上記のように構成されていると、測定ユニット１０の測定位置を複数箇所移動させて測定を行ったり、同一測定箇所で回転フレーム１８を回転させた複数角度での測定を行ったりすることができる。なお、図示は省略するが、測定ユニット１０は、各マイクロフォンＭ１〜Ｍ８の地上での絶対位置を測定するためのＧＰＳ装置を更に有する構成であってもよい。
【００２２】
図２にも示すように、この測定ユニット１０においては、８個のマイクロフォンＭ１〜Ｍ８が、一辺を距離Ｌとする立方体の頂点に、それぞれ上向きとなるように設置される。距離Ｌは、少なくとも探索する音の半波長よりも小さいことが必要であり、例えば数センチ〜数十センチに設定される。そして、カメラ１９の撮像方向を前方としたときの、立方体のマイクロフォンＭ１，Ｍ２，Ｍ６，Ｍ７で構成される側面に垂直な方向をＸ方向、マイクロフォンＭ１，Ｍ４，Ｍ８，Ｍ５で構成される前面に垂直な方向をＹ方向、マイクロフォンＭ１，Ｍ２，Ｍ３，Ｍ４で構成される上面に垂直な方向をＺ方向と定義し、カメラ１９の撮像方向をＹ方向、水平角（「水平方向角度」とも称する。）θをＹＺ面からＸ方向への傾き、仰角（「仰角方向角度」とも称する。）φをＸＹ面からＺ方向への傾きとする。したがって、Ｙ方向は水平角θ＝０°で且つ仰角φ＝０°、Ｘ方向は水平角θ＝９０°で仰角φ＝０°、Ｚ方向は水平角θ＝０°で仰角φ＝９０°となる。
【００２３】
マイクロフォンＭ１〜Ｍ８から出力される音響信号は、マイクアンプ１１で増幅され、ＬＰＦ１２で高域を抑圧される。ＬＰＦ１２は、音響信号をディジタル信号に変換した際の折り返し誤差（Ａｌｉａｓｉｎｇ：エイリアシング）を防止するアンチエイリアシングフィルタとして機能する。ＬＰＦ１２の出力は、Ａ／Ｄ変換器１３にてディジタル信号に変換されてパーソナルコンピュータ２０に入力される。一方、カメラ１９からの映像信号は、ビデオキャプチャデバイス１４に一旦保存された後、パーソナルコンピュータ２０に取り込まれる。なお、パーソナルコンピュータ２０には、映像情報を表示するためのディスプレイ２９が備えられている。
【００２４】
パーソナルコンピュータ２０は、図３に示すように、キーボードやマウス、ジョイスティック等の入力部２１と、入力部２１によって受け付けられたパラメータ等を含む各種情報を記憶する記憶部２２と、この記憶部２２や入力部２１からの情報、及び測定ユニット１０からの音響情報や画像情報に基づき各種演算処理を実行する演算処理部２３とを備える。
【００２５】
なお、パーソナルコンピュータ２０の演算処理部２３は、例えばＣＰＵやＲＡＭ，ＲＯＭ等のハードウェアで、音の到来方向判定プログラム等のソフトウェアを実行することにより音源位置推定部２４、虚音源位置判定部２５及び表示処理部２６として機能する。
【００２６】
音源位置推定部２４は、測定ユニット１０からの音響情報に基づいて、マイクロフォンＭ１〜Ｍ８間の音の到達時間差から音源位置を推定して音の到来方向を推定する。虚音源位置判定部２５は、音源位置推定部２４により推定された推定結果の信憑性を判定して虚音源位置を判定する。表示処理部２６は、虚音源位置判定部２５により判定された判定結果に基づいて、音源位置推定部２４によって推定された音の到来方向とその信憑性とを示す情報を、測定ユニット１０からの映像情報と共にディスプレイ２９上に表示するための処理を行う。
【００２７】
なお、測定ユニット１０のマイクロフォンＭ１〜Ｍ８については、それぞれ一のマイクロフォンに対しての位相差特性を予め測定しておき、測定された位相差特性が小さい８個のマイクロフォンを適宜組み合わせて音の到来方向の判定を行うように構成することとする。例えば、マイクロフォンＭ１を一のマイクロフォンとした場合は、マイクロフォンＭ２〜Ｍ８については、マイクロフォンＭ１に対しての測定対象の全周波数の位相差情報と振幅比情報を測定しておいて、入力部２１を介してパーソナルコンピュータ２０の記憶部２２にこれらの情報を記憶しておく。
【００２８】
次に、このように構成された判定システム１００を用いた音の到来方向の判定処理について説明する。まず、測定ユニット１０の各マイクロフォンＭ１〜Ｍ８が収音してマイクアンプ１１により増幅されたアナログ信号である音響信号を、ＬＰＦ１２によって濾波する。
【００２９】
濾波された音響信号は、Ａ／Ｄ変換器１３にて所定の周期でサンプリング（標本化）したディジタル信号に変換され、音響情報としてパーソナルコンピュータ２０の記憶部２２に記憶される。パーソナルコンピュータ２０の演算処理部２３における音源位置推定部２４は、記憶部２２に記憶された各マイクロフォンＭ１〜Ｍ８の音響情報を読み出して所定長のフレームを生成する。
【００３０】
具体的には、音源位置推定部２４は、読み出した音響情報を、例えば０．５ｓｅｃ〜１．０ｓｅｃの所定長の単位でフレーム化する。なお、音源位置推定部２４は、生成された各フレームに対しては、例えばハミング窓やハニング窓などの窓関数処理を施すと共に、各マイクロフォンＭ１〜Ｍ８のフレーム単位の音響信号をＦＦＴ（高速フーリエ変換）処理して複素指数関数に分解し、その結果を記憶部２２に記憶する。
【００３１】
そして、例えば一のマイクロフォンＭ１のフレーム単位の音響情報をＦＦＴ処理した結果と、他のマイクロフォンＭ２〜Ｍ８のそれぞれのフレーム単位の音響情報をＦＦＴ処理した結果との複素数共役の要素同士の乗算を行い、この複素数共役の要素同士の乗算した結果の位相スペクトルを求める。
【００３２】
さらに、記憶部２２に記憶していたマイクロフォンＭ１に対する各マイクロフォンＭ２〜Ｍ８の位相差情報を読み出して位相スペクトルの補正処理を行い、マイクロフォンＭ２〜Ｍ８の位相差（ｒａｄ）とする。次に、音の到来方向を推定したい周波数ｆ（Ｈｚ）について以下の処理を行う。ただし、周波数ｆは各マイクロフォンＭ１〜Ｍ８間の距離Ｌを半波長とする周波数以下でなければならず、音波は平面波で到来するものと仮定する。
【００３３】
まず、音源位置推定部２４は、例えばマイクロフォンＭ１とマイクロフォンＭ３のフレーム単位の位相差を２πｆで除算して、マイクロフォンＭ１とマイクロフォンＭ３との到達時間差Ｄ１３（ｓｅｃ）を求める。次に、マイクロフォンＭ１とマイクロフォンＭ４のフレーム単位の位相差から、マイクロフォンＭ１とマイクロフォンＭ２のフレーム単位の位相差を引き算した値を２πｆで除算して、マイクロフォンＭ２とマイクロフォンＭ４との到達時間差Ｄ２４を求める。
【００３４】
これらマイクロフォンＭ１〜Ｍ４に関する到達時間差を求めたら、次式（１）より、周波数ｆの音の水平方向角度θ（°）を推定する。
【００３５】
【数１】
【００３６】
こうして推定した周波数ｆの音の水平方向角度θに基づき、音の仰角方向を推定するためのマイクロフォンＭ１〜Ｍ８の組み合わせを決定し、上記と同様にマイクロフォン間の到達時間差を求め、次式（２）〜（５）によって周波数ｆの仰角方向角度φ（°）を推定する。
【００３７】
【数２】
【００３８】
【数３】
【００３９】
【数４】
【００４０】
【数５】
【００４１】
上記式（２）〜（５）において、Ｄｉｊ（ｉ，ｊ＝１〜８）はマイクロフォンＭｉとマイクロフォンＭｊとの到達時間差を表している。
【００４２】
上記Ｉ〜IVに示す式（２）〜（５）は、図５に示すように、マイクロフォンＭ１〜Ｍ８によって形成される立方体のうち、仰角φの算出に使用する４つのマイクロフォンで形成される面が、推定された水平方向の音の到来方向（水平方向角度θ）とのなす角度が４５°よりも小さい面で、且つ推定された水平方向の音の到来方向（水平方向角度θ）から見て最も近い面であることを特徴としている。このように、水平方向角度θに応じて、上記のような関係を満たす面を構成する４つのマイクロフォンによって仰角φを計算することにより、５つのマイクロフォンを用いた従来例よりも格段に推定精度が向上する。
【００４３】
即ち、本発明者等は、従来の５個のマイクロフォンを使用したシステムで推定された音源方向の妥当性を検証する実験を行った。その結果、明らかに実音源ではない音源（以下、「虚音源」という。）の位置（以下、「虚音源位置」という。）を極めて妥当性が高い（信頼度が高い）実音源位置として誤判定してしまう場合があることが認められた。このような誤判定は、特に上下方向に反射面がある場合に顕著に現れることが判明した。この点、本システムを使用することにより、このような誤判定が減少することが確認された。
【００４４】
音源位置推定部２４により周波数ｆの音の到来方向である水平角θと仰角φを推定したら、次に、虚音源位置判定部２４によって推定した周波数ｆの音の到来方向の信憑性を判定する。即ち、虚音源位置判定部２５は、記憶部２２から音源位置推定部２４により求められた各マイクロフォンＭ１〜Ｍ８のフレーム単位の音響信号をＦＦＴ処理した結果を読み出して、それぞれの振幅スペクトルを求める。
【００４５】
そして、マイクロフォンＭ２〜Ｍ８のフレーム単位の音響信号の振幅スペクトルを、記憶部２２に記憶していたマイクロフォンＭ１に対する各マイクロフォンＭ２〜Ｍ８の振幅比情報を用いて補正を行った上でマイクロフォンＭ１の振幅スペクトルで除算する。これにより、マイクロフォンＭ２〜Ｍ８の振幅比を求める。
【００４６】
次に、虚音源位置判定部２５は、推定された音の到来方向における音源までの距離として、入力部２１への操作入力等により与えられた適当な距離（例えば、１００ｍなど）情報を用い、次式（６）〜（８）により仮想音源位置を３次元直交座標値（Ｘ，Ｙ，Ｚ）で求める。
【００４７】
【数６】
【００４８】
【数７】
【００４９】
【数８】
【００５０】
ここで、ｒｎは予め与えられた音源までの距離を示している。そして、仮想音源位置の３次元直交座標値と各マイクロフォンＭ１〜Ｍ８の３次元直交座標値とに基づいて、求めた仮想音源位置から各マイクロフォンＭ１〜Ｍ８までの距離（ｍ）を求め、更に求めた距離からマイクロフォンＭ１に対するマイクロフォンＭ２〜Ｍ８の距離差（ｍ）を求める。なお、３次元直交座標（Ｘ１，Ｙ１，Ｚ１）と（Ｘ２，Ｙ２，Ｚ２）との距離ｒ３は、次式（９）により求めることができる。
【００５１】
【数９】
【００５２】
こうして求めた距離差を音速（ｍ／ｓｅｃ）で除算した値に−２πｆを乗算して、マイクロフォンＭ１に対するマイクロフォンＭ２〜Ｍ８の位相差を理論値で求める。このような位相差を理論値で求める手法は、マイクロフォンの配置態様や個数が変化しても応用が利く手法である。
【００５３】
そして、虚音源位置判定部２５は、音源位置推定部２４により推定された音の到来方向から理論的に求めたマイクロフォンＭ１に対するマイクロフォンＭ２〜Ｍ８の位相差を角度及び１を長さとした第１の複素ベクトルと、前述したように実測値からＦＦＴ処理した結果の複素数共役の要素同士の乗算によって求めたマイクロフォンＭ２〜Ｍ８のマイクロフォンＭ１に対する位相差を角度及び上記マイクロフォンＭ１に対する振幅比を長さとした第２の複素ベクトルとを定義する。
【００５４】
その後、推定された音の到来方向から定義した第１の複素ベクトルの終点と、マイクロフォンＭ２〜Ｍ８についてそれぞれ実際の測定値（実測値）によって定義した第２の複素ベクトルの終点との距離を、マイクロフォンＭ２〜Ｍ８ごとに求めて合計した上でそれを周波数ｆで除算する。なお、２つの複素ベクトルの終点間の距離ｒ２は、次式（１０）により求めることができる。
【００５５】
【数１０】
【００５６】
ここで、α１は第１の複素ベクトルの長さを、ψ１は第１の複素ベクトルの角度を、α２は第２の複素ベクトルの長さを、及びψ２は第２の複素ベクトルの角度を、それぞれ示している。上記のように周波数ｆを用いた除算により得られた値に例えば１０００を乗算することで、周波数１０００Ｈｚで規格化した値を得ることができ、この値を虚音源を判定するための数値（判定値）とする。なお、周波数ｆで除算した値を、マイクロフォンＭ２〜Ｍ８ごとに求めて平均化した値で判定値を決定するようにしてもよい。
【００５７】
ここでは、この判定値をマイクロフォン複素ベクトル乖離値と呼ぶこととし、この値が０に近い程信憑性が高いと判定することができるものとする。具体的には、本出願人の実験によると、マイクロフォン１個あたりでマイクロフォン複素ベクトル乖離値が０．１以下程度となれば信憑性が高いと判断できることが判明した。
【００５８】
このように、本実施形態に係る判定システム１００は、複素ベクトル同士の距離を用いることにより、マイクロフォン間の位相差が実存しマイクロフォン間の振幅差がある場合においても虚音源判定を行うことが可能なシステムである。また、この判定システム１００では、複素ベクトル同士の距離を周波数で除算することによって、マイクロフォン複素ベクトル乖離値を全周波数で共通な値として信憑性の評価に用いることが可能である。
【００５９】
こうして得られた周波数ｆにおける推定した音の到来方向と、振幅スペクトルと、マイクロフォン複素ベクトル乖離値とに基づいて、表示処理部２６は、カメラ１９により撮像された画像情報を用いて、ディスプレイ２９上に表示する画像上の該当する位置に周波数ｆの音源位置を示す情報を、例えば図形により描画する。
【００６０】
具体的には、虚音源位置判定部２５によって、マイクロフォン複素ベクトル乖離値が大きく信憑性が低いと判定された音源位置は、例えば矩形の図形で表示してその矩形内部領域を透明となるように描画する。また、マイクロフォン複素ベクトル乖離値が小さく信憑性が高いと判定された音源位置は、例えば円形の図形で表示してその円形内部領域を塗り潰し処理したり網掛け処理したりして、ディスプレイ２９上で視認しやすいように描画する。
【００６１】
更に、振幅スペクトル量に比例して描画される図形の大きさを大きくしたり、周波数ｆによって図形の表示色を変えて描画するようにすれば、実音源位置と虚音源位置とを容易に識別することが可能となる。なお、例えばマイクロフォン複素ベクトル乖離値に細かい段階を設け、信憑性の最も低いものから順に三角形→四角形→五角形…となるように段々と角数の多い図形で描画していき、一番信憑性の高いものを円形で描画する等してもよい。
【００６２】
図４に示すディスプレイ２９の表示画面の例では、例えば周波数ｆによって表示色を変化させ、振幅スペクトル量によって表示領域の大きさを変え、更に信憑性が低いと判定された音源位置を矩形の図形で表すと共に信憑性が高いと判定された音源位置を円形の図形で表すようにした表示処理部２６での描画例を示している。この例によれば、音源Ｂ〜Ｄは矩形の図形で表示され、音源Ａはこれらよりも大きな円形の図形で表示されている。このため、音源Ａの振幅スペクトル量が音源Ｂ〜Ｄよりも大きく、音源Ａの表示位置が実音源位置であり音源Ｂ〜Ｄの表示位置が虚音源位置であることが一目で分かることとなる。
【００６３】
なお、上述したように推定した音の到来方向の水平方向角度θ及び仰角方向角度φは、各マイクロフォンＭ１〜Ｍ８で構成する立方体の重心位置からの方向であるので、おおよその音源までの距離ｒｎが既知であるならば、次のように描画することもできる。即ち、表示処理部２６は、マイクロフォンＭ１〜Ｍ８で構成する立方体の重心位置に対しての画像中心の前後方向の距離差をＰＹ、左右方向の距離差をＰＸ、及び上下方向の距離差をＰＺとして、次式（１１），（１２）を用いてカメラ１９で撮像した画像情報が示す画像中心からの水平方向ＰＨ及び仰角方向ＰＥにそれぞれ変換して描画することもできる。
【００６４】
【数１１】
【００６５】
【数１２】
【００６６】
以上述べたように、本実施形態に係る判定システム１００によれば、音の到来方向を推定してこれの信憑性を判断し、虚音源判定を行って実音源位置や虚音源位置を上述したように撮像した画像上に同時に表示することができる。これにより、同一周波数の複数の音源が存在したり、路面や壁などによる反射音の影響が大きくて周波数ｆの音の到来方向を正しく推定できていない場合であっても、周波数ｆの音が存在はしているがその音の推定された到来方向は信憑性が低いことを視覚的に認識することができる。この場合は、推定された音の到来方向の信憑性が高くなるまで測定ユニット１０の測定位置を移動させて変更する等すれば、実音源位置を探査することが可能となる。
【００６７】
なお、本発明は、上述した実施形態に限定されるものではない。
例えば、上記実施形態では、立方体の各頂点に配置された８つのマイクロフォンＭ１〜Ｍ８を用いて音の到来方向を推定したが、このような８つのマイクロフォンＭ１〜Ｍ８の組を複数組（例えば４組）、適当な間隔を空けて配置するようにし、各組で求められた判定結果を用いて検証処理を行えば、更に判定精度が向上する。
また、その際、それぞれの組のマイクロフォンＭ１〜Ｍ８の間隔を異ならせるようにすれば、各組で把握可能な周波数帯を異ならせることができる。即ち、マイクロフォンＭ１〜Ｍ８の間隔が広い組は、より低周波の音の到来方向を推定することができる。
【産業上の利用可能性】
【００６８】
本発明に係る音の到来方向判定システムは、特に車の異音発生箇所の特定などの真の音源位置を探査するための音源探査システムに有用である。
【符号の説明】
【００６９】
１０ 測定ユニット
１１ マイクアンプ
１２ ローパスフィルタ
１３ Ａ／Ｄ変換器
１４ ビデオキャプチャデバイス
１５ マイクロフォンフレーム
１６ 基台
１７ 支持部材
１８ 回転フレーム
１９ カメラ
２０ パーソナルコンピュータ
２１ 入力部
２２ 記憶部
２３ 演算処理部
２４ 音源位置推定部
２５ 虚音源位置判定部
２６ 表示処理部
２９ ディスプレイ
１００ 音の到来方向判定システム
【特許請求の範囲】
【請求項１】
所定間隔で配置された複数の収音手段と、
前記複数の収音手段間の音の到達時間差から音の到来方向を推定する到来方向推定手段と、
前記到来方向推定手段により推定された音の到来方向の信憑性を判定する信憑性判定手段と、
前記到来方向推定手段により推定すべき音の到来方向の映像を撮像する撮像手段と、
前記到来方向推定手段によって推定された音の到来方向を前記信憑性判定手段により判定された信憑性と共に示す情報を、前記撮像手段により撮像された映像上に表示する表示手段とを備えた
ことを特徴とする音の到来方向判定システム。
【請求項２】
前記複数の収音手段は、立方体の頂点に配置された少なくとも８個のマイクロフォンである
ことを特徴とする請求項１記載の音の到来方向判定システム。
【請求項３】
前記到来方向推定手段は、前記各マイクロフォンで観測された到来方向を推定する音の周波数の位相スペクトルに基づき、水平面内に配置された４個のマイクロフォン間の音の到達時間差から水平方向の音の到来方向を推定し、垂直面内に配置された４個のマイクロフォン間の音の到達時間差から仰角方向の音の到来方向を推定する
ことを特徴とする請求項２記載の音の到来方向判定システム。
【請求項４】
前記到来方向推定手段は、８個のマイクロフォンによって形成される立方体のうち、４つのマイクロフォンで形成される面が、前記推定された水平方向の音の到来方向とのなす角度が４５°よりも小さい面で、且つ水平方向の音の到来方向から見て最も近い面を仰角の算出に使用する
ことを特徴とする請求項２又は３記載の音の到来方向判定システム。
【請求項５】
前記信憑性判定手段は、前記推定された音の到来方向から仮想音源位置を求め、この仮想音源位置から求めた前記複数の収音手段間の位相差及び振幅比と、前記複数の収音手段で測定された測定値に基づく前記複数の収音手段間の位相差及び振幅比とを比較して、その比較結果に基づいて前記音の到来方向の信憑性を判定する
ことを特徴とする請求項１〜４のいずれか１項記載の音の到来方向判定システム。
【請求項６】
前記表示手段は、前記信憑性判定手段によって信憑性が高いと判定された音の到来方向と、信憑性が低いと判定された音の到来方向とをそれぞれ示す情報を、前記映像上に識別可能な状態で同時に表示する
ことを特徴とする請求項１〜５のいずれか１項記載の音の到来方向判定システム。
【請求項７】
所定間隔で配置された複数の収音手段からそれらの出力を取り込むと共に、推定すべき音の到来方向の映像を撮像手段から取り込み、前記複数の収音手段の出力から前記音の到来方向を推定する処理と、前記推定された音の到来方向の信憑性を判定する処理とをコンピュータに実行させる音の到来方向判定プログラムであって、
前記複数の収音手段間の音の到達時間差から音の到来方向を推定する処理と、
前記推定された音の到来方向の信憑性を判定する処理と、
前記推定された音の到来方向を前記判定された信憑性と共に示す情報を、前記撮像手段から取り込んだ映像上に表示する処理と
をコンピュータに実行させるための音の到来方向判定プログラム。
【請求項１】
所定間隔で配置された複数の収音手段と、
前記複数の収音手段間の音の到達時間差から音の到来方向を推定する到来方向推定手段と、
前記到来方向推定手段により推定された音の到来方向の信憑性を判定する信憑性判定手段と、
前記到来方向推定手段により推定すべき音の到来方向の映像を撮像する撮像手段と、
前記到来方向推定手段によって推定された音の到来方向を前記信憑性判定手段により判定された信憑性と共に示す情報を、前記撮像手段により撮像された映像上に表示する表示手段とを備えた
ことを特徴とする音の到来方向判定システム。
【請求項２】
前記複数の収音手段は、立方体の頂点に配置された少なくとも８個のマイクロフォンである
ことを特徴とする請求項１記載の音の到来方向判定システム。
【請求項３】
前記到来方向推定手段は、前記各マイクロフォンで観測された到来方向を推定する音の周波数の位相スペクトルに基づき、水平面内に配置された４個のマイクロフォン間の音の到達時間差から水平方向の音の到来方向を推定し、垂直面内に配置された４個のマイクロフォン間の音の到達時間差から仰角方向の音の到来方向を推定する
ことを特徴とする請求項２記載の音の到来方向判定システム。
【請求項４】
前記到来方向推定手段は、８個のマイクロフォンによって形成される立方体のうち、４つのマイクロフォンで形成される面が、前記推定された水平方向の音の到来方向とのなす角度が４５°よりも小さい面で、且つ水平方向の音の到来方向から見て最も近い面を仰角の算出に使用する
ことを特徴とする請求項２又は３記載の音の到来方向判定システム。
【請求項５】
前記信憑性判定手段は、前記推定された音の到来方向から仮想音源位置を求め、この仮想音源位置から求めた前記複数の収音手段間の位相差及び振幅比と、前記複数の収音手段で測定された測定値に基づく前記複数の収音手段間の位相差及び振幅比とを比較して、その比較結果に基づいて前記音の到来方向の信憑性を判定する
ことを特徴とする請求項１〜４のいずれか１項記載の音の到来方向判定システム。
【請求項６】
前記表示手段は、前記信憑性判定手段によって信憑性が高いと判定された音の到来方向と、信憑性が低いと判定された音の到来方向とをそれぞれ示す情報を、前記映像上に識別可能な状態で同時に表示する
ことを特徴とする請求項１〜５のいずれか１項記載の音の到来方向判定システム。
【請求項７】
所定間隔で配置された複数の収音手段からそれらの出力を取り込むと共に、推定すべき音の到来方向の映像を撮像手段から取り込み、前記複数の収音手段の出力から前記音の到来方向を推定する処理と、前記推定された音の到来方向の信憑性を判定する処理とをコンピュータに実行させる音の到来方向判定プログラムであって、
前記複数の収音手段間の音の到達時間差から音の到来方向を推定する処理と、
前記推定された音の到来方向の信憑性を判定する処理と、
前記推定された音の到来方向を前記判定された信憑性と共に示す情報を、前記撮像手段から取り込んだ映像上に表示する処理と
をコンピュータに実行させるための音の到来方向判定プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１１−１２２８５４（Ｐ２０１１−１２２８５４Ａ）
【公開日】平成２３年６月２３日（２０１１．６．２３）
【国際特許分類】
【出願番号】特願２００９−２７８８０５（Ｐ２００９−２７８８０５）
【出願日】平成２１年１２月８日（２００９．１２．８）
【出願人】（５９５１２２６１５）
【Ｆターム（参考）】
【公開日】平成２３年６月２３日（２０１１．６．２３）
【国際特許分類】
【出願日】平成２１年１２月８日（２００９．１２．８）
【出願人】（５９５１２２６１５）
【Ｆターム（参考）】
[ Back to top ]