音源方向推定方法、音源方向推定装置、及び、音源推定用画像の作成装置
【課題】反射音の大きい場であっても直接音の音源方向を容易にかつ精度よく推定できるとともに、衝撃音についても的確に抽出できる方法とその装置を提供する。
【解決手段】互いに交わる２つの直線上に配置された第１及び第２のマイクロフォン対（Ｍ１，Ｍ３）及び（Ｍ２，Ｍ４）を用いて採取した音圧信号からマイクロフォンＭ１，Ｍ３間の音の到達時間差Ｄ13とマイクロフォンＭ２，Ｍ４間の音の到達時間差Ｄ24とを算出して音源方向を推定する際に、解析区間の長さが０．１ｍｓｅｃ．〜１０ｍｓｅｃ．である極短時間高速フーリエ変換をＮ回行うとともに、Ｍ１，Ｍ３間及びＭ２，Ｍ４間のクロススペクトルｐn13，ｐn24とその振幅値ｗn13，ｗn24とを求め、これらクロススペクトルｐn13，ｐn24を振幅値ｗn13，ｗn24により加重平均して得られた加重平均クロススペクトルＰ13，Ｐ24から到達時間差Ｄ13，Ｄ24を算出するようにした。
【解決手段】互いに交わる２つの直線上に配置された第１及び第２のマイクロフォン対（Ｍ１，Ｍ３）及び（Ｍ２，Ｍ４）を用いて採取した音圧信号からマイクロフォンＭ１，Ｍ３間の音の到達時間差Ｄ13とマイクロフォンＭ２，Ｍ４間の音の到達時間差Ｄ24とを算出して音源方向を推定する際に、解析区間の長さが０．１ｍｓｅｃ．〜１０ｍｓｅｃ．である極短時間高速フーリエ変換をＮ回行うとともに、Ｍ１，Ｍ３間及びＭ２，Ｍ４間のクロススペクトルｐn13，ｐn24とその振幅値ｗn13，ｗn24とを求め、これらクロススペクトルｐn13，ｐn24を振幅値ｗn13，ｗn24により加重平均して得られた加重平均クロススペクトルＰ13，Ｐ24から到達時間差Ｄ13，Ｄ24を算出するようにした。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のマイクロフォンで採取した音の情報から音源方向を推定する方法とその装置、及び、マイクロフォンで採取した音の情報と撮影手段で撮影した映像の情報とを用いて、音源を推定するための画像を作成する装置に関するものである。
【背景技術】
【０００２】
従来、音の到来方向である音源方向を推定する方法としては、多数のマイクロフォンを等間隔に配置したマイクロフォンアレーを構成し、基準となるマイクロフォンで採取された音圧信号と各マイクロフォンで採取された音圧信号との位相差から音源方向を推定する、いわゆる音響学的手法が考案されている（例えば、非特許文献１参照）。
一方、マイクロフォンアレーを構成する複数のマイクロフォンの出力信号の位相差からではなく、複数のマイクロフォンにより互いに交わる直線状に配置された複数のマイクロフォン対を構成し、対となる２つのマイクロフォン間の位相差に相当する到達時間差と、他の対となる２つのマイクロフォン間の到達時間差との比から音源の方向を推定する方法が提案されている（例えば、特許文献１〜３参照）。
【０００３】
具体的には、図６に示すように、４個のマイクロフォンＭ１〜Ｍ４を、互いに直交する２直線上にそれぞれ所定の間隔で配置された２組のマイクロフォン対（Ｍ１，Ｍ３）及びマイクロフォン対（Ｍ２，Ｍ４）を構成するように配置し、前記マイクロフォン対（Ｍ１，Ｍ３）を構成するマイクロフォンＭ１，Ｍ３に入力する音の到達時間差Ｄ13と、前記マイクロフォン対（Ｍ２，Ｍ４）を構成するマイクロフォンＭ２，Ｍ４に入力する音の到達時間差Ｄ24との比から、計測点と音源の位置との水平角θを推定するとともに、前記マイクロフォンＭ１〜Ｍ４の作る平面上にない位置に第５のマイクロフォンＭ５を配置して４組のマイクロフォン対（Ｍ５, Ｍ１），（Ｍ５, Ｍ２），（Ｍ５, Ｍ３），（Ｍ５, Ｍ４）を構成し、前記各マイクロフォン対を構成するマイクロフォンで採取した音の到達時間差Ｄ13，Ｄ24及びＤ5j（ｊ＝１〜４）から、計測点と音源の位置との成す仰角φを推定する。
なお、前記到達時間差Ｄijは、２つのマイクロフォン対（Ｍｉ，Ｍｊ）に入力される信号をＡ/Ｄ変換した音圧波形データをそれぞれ高速フーリエ変換し、この高速フーリエ変換された音圧波形データのクロススペクトルを求め、更に、対象とする周波数ｆの位相角情報を用いて算出される。
また、計測点から測った音源方向は、前記水平角θと前記仰角φとにより表わせる。
【０００４】
これにより、マイクロフォンアレーを用いて音源方向を推定する場合に比較して、少ないマイクロフォン数で音源方向を正確に推定することができる。
また、このとき、ＣＣＤカメラ等の映像採取手段を設けて前記推定された音源方向の画像を撮影し、この画像データと音源方向のデータとを合成して、画像中に前記推定した音源方向（θ，φ）と音圧レベルとを図形で表示した音源推定用画像をディスプレイ等の表示画面に表示するようにすれば、音源を視覚的に把握することができる。
また、音の採取と同時に映像採取手段にて映像を連続的に撮影し、音の情報である音圧波形データと映像の情報である画像データとをコンピュータのハードディスクに保存しておき、音の情報と映像の情報との採取後に、ハードディスクから音圧波形データを取出して音源方向を推定するとともに、この音源方向の推定計算に使用した音圧波形データに対応する画像データをハードディスクから取出し、この画像データと音源方向のデータとを合成して音源推定用画像を表示する方法も行われている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−１８１９１３号公報
【特許文献２】特開２００６−３２４８９５号公報
【特許文献３】特開２００８−２２４２５９号公報
【非特許文献】
【０００６】
【非特許文献１】大賀寿郎，山崎芳男，金田豊；音響システムとディジタル処理，コロナ社，１９９５
【発明の概要】
【発明が解決しようとする課題】
【０００７】
前記従来の方法では、音源の方向と到来した音の大きさを周波数毎に計測できるので、音源の情報を確実に把握することができるものの、反射音の大きい場においては、直接音と反射音とを区別するための演算処理が必要であった。
また、音源方向の解析区間が０．１〜１．０ｓｅｃ．と長いため、周期の短い衝撃音を的確に捉えることが困難であった。
【０００８】
本発明は、従来の問題点に鑑みてなされたもので、反射音の大きい場であっても直接音の音源方向を容易にかつ精度よく推定することができるとともに、衝撃音についても的確に抽出することのできる方法とその装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本願発明者らは、鋭意検討の結果、クロススペクトルを求める際に、解析区間の長さ（入力信号に掛けられる窓関数の窓の幅）を短くして周波数分解能を低くした極短時間高速フーリエ変換を多数回行ってそれぞれクロススペクトルを求め、これら求められた多数回のクロススペクトルを加重平均した加重平均クロススペクトルから重心的な位相差（到達時間差）を算出するようにすれば、直接音の音源方向を精度良く推定することができることを見出し、本発明に到ったものである。
すなわち、本願の請求項１に記載の発明は、複数のマイクロフォンで採取した音の音圧信号から音源の方向を推定する方法であって、互いに交わる２つの直線上にそれぞれ所定の間隔で配置された第１及び第２のマイクロフォン対を用いて到来した音の音圧信号を採取するステップと、前記第１のマイクロフォン対を構成するマイクロフォンＭ１，Ｍ３で採取された音圧信号と第２のマイクロフォン対を構成するマイクロフォンＭ２，Ｍ４で採取された音圧信号とをそれぞれＡ／Ｄ変換して前記４つのマイクロフォンＭ１〜Ｍ４で採取された音の音圧波形データをそれぞれ求めるステップと、前記各音圧波形データを高速フーリエ変換するステップと、前記高速フーリエ変換された前記マイクロフォンＭ１，Ｍ３の音圧波形データのクロススペクトルと前記マイクロフォンＭ２，Ｍ４の音圧波形データのクロススペクトルとを求めてマイクロフォンＭ１，Ｍ３間の音の到達時間差Ｄ13と前記マイクロフォンＭ２，Ｍ４間の音の到達時間差Ｄ24をそれぞれ算出するステップと、前記算出された第１のマイクロフォン対における到達時間差Ｄ13と第２のマイクロフォン対における到達時間差Ｄ24とから前記到来した音の音源方向を推定するステップと、を備え、前記高速フーリエ変換するステップでは、解析区間の長さが０．１ｍｓｅｃ．〜１０ｍｓｅｃ．である極短時間高速フーリエ変換を連続して多数回行うか、もしくは、前記解析区間の一部を重複させて多数回行い、前記到達時間差を算出するステップは、前記極短時間高速フーリエ変換の操作毎にそれぞれ求められたクロススペクトルの振幅値を求めるステップと、前記極短時間高速フーリエ変換の操作毎にそれぞれ求められたクロススペクトルを、前記振幅値より加重平均した加重平均クロススペクトルを求めるステップと、前記加重平均クロススペクトルから前記各マイクロフォン間の音の到達時間差Ｄ13，Ｄ24を算出するステップと、を備えることを特徴とする。
このように、極短時間解析を多数回行い、これら多数回のクロススペクトルの平均を振幅値による加重平均により求めて到達時間差を算出することにより、反射音やノイズ成分を低減するようにしたので、反射が大きい場においても、衝撃音などの直接音を確実に捉えることができるとともに、連続音についても音源方向を精度よく推定することができる。
【００１０】
請求項２に記載の発明は、請求項１に記載の音源方向推定方法であって、前記４つのマイクロフォンＭ１〜Ｍ４に加えて、前記２組のマイクロフォン対の作る平面上にない第５のマイクロフォンＭ５を設けて到来した音の音圧信号を採取するとともに、前記到達時間差を算出するステップは、前記２組のマイクロフォン対を構成するマイクロフォンＭ１，Ｍ３間及びマイクロフォンＭ２，Ｍ４間の到達時間差Ｄ13，Ｄ24と、前記第５のマイクロフォンＭ５と前記４つのマイクロフォンＭ１〜Ｍ４のそれぞれとで構成される４組のマイクロフォン対を構成するマイクロフォン間の到達時間差Ｄ51〜Ｄ54を算出し、前記音源方向を推定するステップでは、前記算出された到達時間差Ｄ13，Ｄ24，Ｄ51〜Ｄ54を用いて前記到来した音の音源方向を推定することを特徴とする。
これにより、計測点から見た音源方向の水平角θに加えて、仰角φについても推定できるので、音源方向の推定精度を向上させることができる。
【００１１】
請求項３に記載の発明は、互いに交わる２つの直線上にそれぞれ所定の間隔で配置された第１及び第２のマイクロフォン対と前記２組のマイクロフォン対の作る平面上にない第５のマイクロフォンとを有する音採取手段を備え、前記音採取手段で採取した音の音圧信号から、音源の方向を推定する音源方向推定装置であって、前記各マイクロフォンで採取した音圧信号をそれぞれデジタル信号に変換するＡ／Ｄ変換器と、前記デジタル信号に変換された音圧信号である音圧波形データを高速フーリエ変換する高速フーリエ変換器と、
前記高速フーリエ変換された音圧波形データのうちの前記第１のマイクロフォン対を構成する２つのマイクロフォンで採取された音の音圧波形データのクロススペクトルと、前記第２のマイクロフォン対を構成する２つのマイクロフォンで採取された音の音圧波形データのクロススペクトルと、前記第５のマイクロフォンと前記第１及び第２のマイクロフォン対を構成する４つのマイクロフォンのそれぞれで採取された音の音圧波形データとのクロススペクトルとを演算するクロススペクトル演算手段と、前記クロススペクトルから前記第１及び第２のマイクロフォン対をそれぞれ構成するマイクロフォン間の音の到達時間差Ｄ13，Ｄ24と前記第５のマイクロフォンと前記２組のマイクロフォン対を構成する４個のマイクロフォン間の音の到達時間差Ｄ51〜Ｄ54とを算出する到達時間差算出手段と、前記算出された到達時間差Ｄ13，Ｄ24，Ｄ51〜Ｄ54を用いて音源方向を推定する音源方向推定手段とを備え、前記高速フーリエ変換器は、解析区間の長さが０．１ｍｓｅｃ．〜１０ｍｓｅｃ．である極短時間高速フーリエ変換を連続して多数回行うか、もしくは、前記解析区間の一部を重複させて多数回行い、前記クロススペクトル演算手段は、前記極短時間高速フーリエ変換の操作毎にそれぞれ求められたクロススペクトルの振幅値を求めるとともに、前記極短時間高速フーリエ変換の操作毎にそれぞれ求められたクロススペクトルを、前記振幅値より加重平均した加重平均クロススペクトルを求め、前記到達時間差算出手段は、前記加重平均クロススペクトルから前記各マイクロフォン間の音の到達時間差Ｄ13，Ｄ24，Ｄ51〜Ｄ54を算出することを特徴とする。
このような構成を採ることにより、短時間高速フーリエ変換した音圧波形データの加重平均クロススペクトルを確実に求めることができるので、直接音の音源方向を精度良く推定することができる音源方向推定装置を得ることができる。
【００１２】
また、請求項４に記載の発明は、互いに交わる２つの直線上にそれぞれ所定の間隔で配置された第１及び第２のマイクロフォン対と前記２組のマイクロフォン対の作る平面上にない第５のマイクロフォンとを備えた音採取手段と音源方向の映像を撮影する撮影手段とを備え、前記音採取手段で採取した音源から伝播される音の音圧信号と前記音圧信号と前記撮影手段で撮影された音源の方向の映像信号とから、音源の方向を示す図形が描画された画像である音源推定用画像を作成する音源推定用画像の作成装置であって、前記各マイクロフォンで採取した音圧信号と撮影手段で撮影した映像信号とをそれぞれデジタル信号に変換するＡ／Ｄ変換器と、前記デジタル信号に変換された音圧信号である音圧波形データをそれぞれ高速フーリエ変換する高速フーリエ変換器と、前記高速フーリエ変換された音圧波形データのうちの前記第１のマイクロフォン対を構成する２つのマイクロフォンで採取された音の音圧波形データのクロススペクトルと、前記第２のマイクロフォン対を構成する２つのマイクロフォンで採取された音の音圧波形データのクロススペクトルと、前記第５のマイクロフォンと前記第１及び第２のマイクロフォン対を構成する４つのマイクロフォンのそれぞれで採取された音の音圧波形データとのクロススペクトルとを演算するクロススペクトル演算手段と、前記クロススペクトルから前記第１及び第２のマイクロフォン対をそれぞれ構成するマイクロフォン間の音の到達時間差Ｄ13，Ｄ24と前記第５のマイクロフォンと前記２組のマイクロフォン対を構成する４個のマイクロフォン間の音の到達時間差Ｄ51〜Ｄ54とを算出する到達時間差算出手段と、前記算出された到達時間差Ｄ13，Ｄ24，Ｄ51〜Ｄ54を用いて音源方向を推定する音源方向推定手段と、前記推定された音源方向のデータと前記デジタル信号に変換された映像信号である画像データとを合成して、前記推定された音源方向を示す図形が描画された画像である音源推定用画像を作成する音源推定用画像作成手段とを備え、前記高速フーリエ変換器は、解析区間の長さが０．１ｍｓｅｃ．〜１０ｍｓｅｃ．である極短時間高速フーリエ変換を連続して多数回行うか、もしくは、前記解析区間の一部を重複させて多数回行い、前記クロススペクトル演算手段は、前記極短時間高速フーリエ変換の操作毎にそれぞれ求められたクロススペクトルの振幅値を求めるとともに、前記極短時間高速フーリエ変換の操作毎にそれぞれ求められたクロススペクトルを、前記振幅値より加重平均した加重平均クロススペクトルを求め、前記到達時間差算出手段は、前記加重平均クロススペクトルから前記各マイクロフォン間の音の到達時間差Ｄ13，Ｄ24，Ｄ51〜Ｄ54を算出することを特徴とする。
このような構成を採ることにより、直接音の音源方向を精度良く推定することができるとともに、音源を推定するための音源推定用画像を容易に作成することができる。
また、請求項５に記載の発明は、請求項４に記載の音源推定用画像の作成装置において、前記作成された音源推定用画像を表示する表示画面を有する表示手段を備えたことを特徴とする。
これにより、表示手段の表示画面状に音源推定用画像を表示できるので、作業者が音源を容易に視認することができる。
【００１３】
なお、前記発明の概要は、本発明の必要な全ての特徴を列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となり得る。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施の形態に係る音源推定用画像表示システムの構成を示す機能ブロック図である。
【図２】本実施の形態に係る音源推定用画像表示システムを用いた音源推定用画像の表示方法を示すフローチャートである。
【図３】極短時間高速フーリエ変換を説明するための図である。
【図４】本発明による音源推定用画像の一例を示す図である。
【図５】従来の音源推定用画像の一例を示す図である。
【図６】従来のマイクロフォン対を用いた音源探査方法におけるマイクロフォンの配列を示す図である。
【発明を実施するための形態】
【００１５】
以下、実施の形態を通じて本発明を詳説するが、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また、実施の形態の中で説明される特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１６】
図１は音源推定用画像表示システムの構成を示す機能ブロック図である。
音源推定用画像表示システムは、音・映像採取ユニット１０とデータ処理装置２０と演算置３０と表示装置４０と記憶装置５０とを備える。
データ処理装置２０は、増幅器２１と、Ａ／Ｄ変換器２２と、映像入出力手段２３とを備える。
演算装置３０は、バッファ３１と、音圧波形データ抽出手段３２と、クロススペクトル演算手段３３と、到達時間差算出手段３４と、音源方向推定手段３５と、画像データ抽出手段３６と、音源推定用画像作成手段３７とを備える。この演算装置３０は、例えば、パーソナルコンピュータのソフトウェアにより構成される。
表示装置４０は、後述する音源位置を推定するための画像である音源位置推定画像を表示する表示画面４０Ｍを備える。
記憶装置５０は、例えば、パーソナルコンピュータのハードディスクなどから構成されるメモリーである。
【００１７】
音・映像採取ユニット１０は、音採取手段１１と、映像採取手段としてのＣＣＤカメラ（以下、カメラという）１２と、マイクロフォン固定部１３と、カメラ支持台１４と、支柱１５と、基台１６とを備える。
音採取手段１１は複数のマイクロフォンＭ１〜Ｍ５を備える。
マイクロフォンＭ１〜Ｍ５の配置は、図６に示したものと同様で、４個のマイクロフォンＭ１〜Ｍ４を、互いに直交する２直線上にそれぞれ所定の間隔で配置された２組のマイクロフォン対（Ｍ１，Ｍ３）及びマイクロフォン対（Ｍ２，Ｍ４）を構成するように配置するとともに、第５のマイクロフォンＭ５を前記マイクロフォンＭ１〜Ｍ４の作る平面上にない位置、詳細には、マイクロフォンＭ１〜Ｍ４の作る正方形を底面とする四角錐の頂点の位置に配置する。これにより、更に４組のマイクロフォン対（Ｍ５, Ｍ１）〜（Ｍ５, Ｍ４）が構成される。
本例では、カメラ１２の撮影方向を、前記直交する２直線の交点を通り前記２直線とほぼ４５°をなす方向に設定している。したがって、音・映像採取ユニット１０の向きは、図１の白抜きの矢印Ｄの方向となる。カメラ１２は、音・映像採取ユニット１０の向きに応じた映像を採取する。
【００１８】
マイクロフォン固定部１３にはマイクロフォンＭ１〜Ｍ５が設置され、カメラ支持台１４にはカメラ１２が設置され、マイクロフォン固定部１３とカメラ支持台１４とは、３本の支柱１５によって連結されている。つまり、音採取手段１１とカメラ１２とは一体化されている。なお、マイクロフォンＭ１〜Ｍ５は、カメラ１２の上部に配置される。
基台１６は、回転支柱１６ａとこの回転支柱１６ａを回転させる図示しない回転機構を備えた支持台１６ｂとを備えており、カメラ支持台１４は回転支柱１６ａ上に搭載されている。したがって、回転支柱１６ａを回転させることにより、音採取手段１１とカメラ１２とを一体に回転させることができる。なお、回転機構を省略し、作業者が基台１６を回転させることで、音・映像採取ユニット１０の向きを変更するようにしてもよい。
マイクロフォンＭ１〜Ｍ５は、図示しない音源から到来する音の音圧信号の大きさである音圧レベルをそれぞれ測定する。
【００１９】
増幅器２１はローパスフィルタを備え、マイクロフォンＭ１〜Ｍ５で採取した音の音圧信号から高周波ノイズ成分を除去するとともに、前記各音圧信号を増幅してＡ／Ｄ変換器２２に出力する。
Ａ／Ｄ変換器２２は、前記音圧信号をＡ／Ｄ変換した音圧波形データを作成し、これを、バッファ３１の音圧波形データ保存領域３１ａに送る。この音圧波形データ保存領域３１ａは小領域３１１〜３１５に区切られ、各小領域３１１〜３１５にそれぞれマイクロフォンＭ１〜Ｍ５の音圧波形データが保存される。
映像入出力手段２３は、カメラ１２で連続的に撮影された映像信号を入力し、予め設定された画面切換時間Ｔp（例えば、Ｔp＝１／３０秒）毎に撮影方向の画像データをバッファ３１の画像データ保存領域３１ｂに送る。
前記所定時間Ｔp毎に出力される画像データは、表示装置４０の表示画面４０Ｍに表示される一つの画面、いわゆる動画の「一コマ」分の画像を構成する画像データである。
【００２０】
音圧波形データ抽出手段３２は、バッファ３１の音圧波形データ保存領域３１ａから、予め設定された高速フーリエ変換（以下、ＦＦＴという）の解析区間の長さＴFの音圧波形データを順次取出して、クロススペクトル演算手段３３の高速フーリエ変換器３３１〜３３５に順次出力する。詳細には、小領域３１１〜３１５から取出されたマイクロフォンＭ１〜Ｍ５の音圧波形データは、高速フーリエ変換器３３ｋに出力される。
なお、音圧波形データをＡ／Ｄ変換器２２から直接高速フーリエ変換器３３ｋに出力してもよい。また、音圧波形データをＡ／Ｄ変換器２２から記憶装置５０に保存して、記憶装置５０から高速フーリエ変換器３３ｋに出力してもよいが、処理速度を考慮すると、音圧波形データは、Ａ／Ｄ変換器２２から直接、もしくは、バッファ３１を介して高速フーリエ変換器３３ｋに出力することが好ましい。
【００２１】
クロススペクトル演算手段３３は、高速フーリエ変換器３３ｋと、クロススペクトル演算器３３ｍと、加重平均クロススペクトル生成器３３Ｍとを備える。
高速フーリエ変換器３３ｋは、５台の高速フーリエ変換器３３１〜３３５を備え、それぞれ、マイクロフォンＭｋ（ｋ＝１〜５）の音圧波形データに対して、解析区間の長さＴFが、例えば、２ｍｓｅｃ．と極端に短い極短時間高速フーリエ変換を予め設定された計測時間Ｔc内にＮ回行ない、その結果を、順次、クロススペクトル演算器３３ｍに出力する。
なお、極短時間高速フーリエ変換は、長さが解析区間の長さに等しい窓関数を用いて連続して行うが、本例では、解析区間の長さが短いことから、時間的に前後する解析区間の一部を重複させることが好ましい。
【００２２】
クロススペクトル演算器３３ｍは、６台のクロススペクトル演算器３３ｘ，３３ｙ，３３ａ〜３３ｄを備え、極短時間ＦＦＴの処理毎に、高速フーリエ変換器３３１〜３３５から出力される予め設定された６組のマイクロフォン対のクロススペクトルｐn（ｆ）とその振幅ｗn（ｆ）とを順次求める（ｎ＝１〜Ｎ）。
具体的には、クロススペクトル演算器３３ｘは、高速フーリエ変換器３３１，３３３から出力されるマイクロフォン対（Ｍ１，Ｍ３）を構成するマイクロフォンＭ１，Ｍ３の音圧波形データであるＸn1（ｆ）とＸn3（ｆ）とのクロススペクトルｐn１3（ｆ）とその振幅ｗn13（ｆ）とを、極短時間ＦＦＴの処理毎に順次求める。
クロススペクトル演算器３３ｙは、高速フーリエ変換器３３２，３３４から出力されるマイクロフォン対（Ｍ２，Ｍ４）を構成するマイクロフォンＭ２，Ｍ４の音圧波形データであるＸn2（ｆ）とＸn4（ｆ）とのクロススペクトルｐn24（ｆ）とその振幅ｗn24（ｆ）とを求める。
クロススペクトル演算器３３ａ〜３３ｄは、それぞれ、高速フーリエ変換器３３５から出力されるマイクロフォンＭ５の音圧波形データであるＸn5（ｆ）と高速フーリエ変換器３３１〜３３４から出力されるマイクロフォンＭ１〜Ｍ４の音圧波形データであるＸni（ｆ）とのクロススペクトルｐn5j（ｆ）とその振幅ｗn5j（ｆ）（ｊ＝１〜４）とをそれぞれ求める。
なお、クロススペクトルｐn（ｆ）は周波数ｆ毎に演算する。
【００２３】
加重平均クロススペクトル生成器３３Ｍは、６台の加重平均クロススペクトル生成器３３Ｘ，３３Ｙ，３３Ａ〜３３Ｄを備え、各クロススペクトル演算器３３ｘ，３３ｙ，３３ａ〜３３ｄでそれぞれ求めたＮ個のクロススペクトルｐn（ｆ）の加重平均クロススペクトルを求める。
加重平均クロススペクトル生成器３３Ｘは、クロススペクトル演算器３３ｘから順次出力されるｎ＝１〜Ｎ個のクロススペクトルｐn１3（ｆ）とその振幅ｗn13（ｆ）を図示しないメモリーに一時記憶するとともに、クロススペクトルｐn１3（ｆ）をその振幅ｗn13（ｆ）によって加重平均して、マイクロフォンＭ１で採取した音圧信号とマイクロフォンＭ３で採取した音圧信号との加重平均クロススペクトルＰ１3（ｆ）を求める。
加重平均クロススペクトル生成器３３Ｙは、クロススペクトル演算器３３ｙで求めたクロススペクトルｐn24（ｆ）をその振幅ｗn24（ｆ）とを用いてマイクロフォンＭ２で採取した音圧信号とマイクロフォンＭ４で採取した音圧信号との加重平均クロススペクトルＰ24（ｆ）を求める。
加重平均クロススペクトル生成器３３Ａ〜３３Ｄは、クロススペクトル演算器３３ａ〜３３ｄでそれぞれ求めたクロススペクトルｐn5j（ｆ）をその振幅ｗn5j（ｆ）によって加重平均して、マイクロフォンＭ５で採取した音圧信号とマイクロフォンＭｊで採取した音圧信号との加重平均クロススペクトルＰ5j（ｆ）をそれぞれ求める（ｊ＝１〜４）。
【００２４】
到達時間差算出手段３４は、加重平均クロススペクトル生成器３３Ｍで求められた加重平均クロススペクトルＰij（ｆ）から、以下の式（１）を用いて各マイクロフォン対（Ｍi，Ｍj）を構成するマイクロフォンＭi，Ｍj間の音の到達時間差Ｄijを算出する。
【数１】
Ｄ13はマイクロフォン対（Ｍ１，Ｍ３）を構成するマイクロフォンＭ１，Ｍ３に入力する音の到達時間差、Ｄ24はマイクロフォン対（Ｍ２，Ｍ４）を構成するマイクロフォンＭ２，Ｍ４に入力する音の到達時間差、Ｄ5j（ｊ＝１〜４）は第５のマイクロフォンＭ５に入力する音圧信号とマイクロフォンＭ１〜Ｍ４のそれぞれに入力する音圧信号との到達時間差である。
到達時間差Ｄijは周波数ｆ毎に算出する。
音源方向推定手段３５では、前記求められた到達時間差Ｄ13，Ｄ24及び到達時間差Ｄ5j（ｊ＝１〜４）から、下記の式（２），（３）を用いて、計測点から見た到来した音の方向である水平角θと仰角φとを算出することで、音源方向を推定する。
【数２】
【００２５】
画像データ抽出手段３６は、バッファ３１の画像データ保存領域３１ｂから、Ｎ/２回目極短時間ＦＦＴの処理を行った時間、すなわち、前述した計測時間Ｔcの中心に相当する時間に最も近い時間に撮影した画像データを抽出し、これを音源推定用画像作成手段３７に出力する。
音源推定用画像作成手段３７は、音源方向推定手段３５で推定された水平角θと仰角φのデータと画像データ抽出手段３６で抽出された画像データとを合成し、画像中に音源の方向と大きさとを示す図形が描画された音源方向推定画像を作成して表示装置４０に出力する。
記憶装置５０は、水平角θと仰角φのデータと音源方向推定画像に使用した画像データとを計測時刻とともに記憶する。なお、計測時刻は音源方向推定画像に使用した画像データの撮影時刻である。
【００２６】
次に、本例の音源推定用画像表示システムを用いた音源方向の推定方法と、音源推定用画像の表示方法について、図２のフローチャートを参照して説明する。
まず、音・映像採取ユニット１０とデータ処理装置２０と演算装置３０と表示装置４０とを接続した後、音・映像採取ユニット１０を計測点にセットする（ステップＳ１０）。
作業者は、カメラ１２の撮影方向を測定予定場所に向け、表示画面４０Ｍを見てカメラ１２が計測予定場所を撮影していることを確認した後、マイクロフォンＭ１〜Ｍ５にて音を採取すると同時に、カメラ１２にて計測予定場所の映像を採取する（ステップＳ１１）。
次に、マイクロフォンＭ１〜Ｍ５で採取した音の音圧信号を増幅してＡ／Ｄ変換しこのＡ／Ｄ変換したデジタル信号（以下、音圧波形データという）をバッファ３１の音ファイル保存領域３１ａに保存するととともに、カメラ１２の映像信号をＡ／Ｄ変換、このＡ／Ｄ変換したデジタル信号（以下、画像データという）をバッファ３１の動画ファイル保存領域３１ｂに保存する（ステップＳ１２）。
【００２７】
次に、バッファ３１の音圧波形データ保存領域３１ａから、予め設定された長さＴFの音圧波形データを順次取出して極短時間高速フーリエ変換を行い（ステップＳ１３）、しかる後に、これら極短時間高速フーリエ変換した音圧波形データから、予め設定しておいたマイクロフォン対（Ｍｉ，Ｍｊ）を構成するマイクロフォンＭｉの音圧波形データとマイクロフォンＭｊの音圧波形データとを取出してクロススペクトルｐnij求めるとともにクロススペクトルの振幅の大きさ（振幅値）ｗnijを算出する（ステップＳ１４）。なお、ｐnijは、ｎ回目（ｎ＝１〜Ｎ）に極短時間高速フーリエ変換したマイクロフォンＭｉの音圧波形デーとマイクロフォンＭｊの音圧波形デーとのクロススペクトルである。
クロススペクトルｐnijとその振幅値ｗnijの算出は、解析区間の長さＴFとサンプリング周期と応じて決定される周波数帯域毎に行う。本例では、周波数帯域が１０〜５００Ｈｚ，５００〜１０００Ｈｚ，１０００〜７５００Ｈｚの３つの周波数帯域に分けてそれぞれクロススペクトルｐij（ｆ）を求めた。
極短時間高速フーリエ変換は、前述したように、解析区間の長さＴFが、例えば、２ｍｓｅｃ．と極端に短い高速フーリエ変換で、本例では、この極短時間高速フーリエ変換を予め設定された計測時間Ｔc内に多数回行なう。
具体的には、図３（ａ）に示すように、従来のＦＦＴの解析区間Ｔ0の長さ（約１．０ｓｅｃ．）に対して、本例では、図３（ｂ）に示すように、ＦＦＴの解析区間の長さＴFを極端に短くするとともに、極短時間高速フーリエ変換を解析区間Ｔ0の長さに亘って連続してＮ回（Ｎ≧１００）行っている。なお、解析区間の長さＴFとしては、０．１ｍｓｅｃ．〜１０ｍｓｅｃ．の範囲とすることが好ましく、１ｍｓｅｃ．〜２ｍｓｅｃ．とすると更に好ましい。
なお、極短時間高速フーリエ変換は、長さが解析区間の長さに等しい窓関数を用いて連続して行ってもよいが、解析区間の長さが短いことから、図３（ｂ）に示すように、時間的に前後する解析区間の一部を重複させて行うことが好ましい。
【００２８】
ステップＳ１５では、クロススペクトルの演算が終了したか否かを判定する。
クロススペクトルの演算が終了していない場合には、前記ステップＳ１３に戻って、音圧波形データ保存領域３１ａから、次に解析する音圧波形データを取出して極短時間高速フーリエ変換を行いクロススペクトルを演算するという操作を繰り返す。クロススペクトルの演算が終了した場合には、ステップＳ１６に進んで、Ｎ回の操作で得られたＮ個のクロススペクトルｐn（ｆ）とその振幅ｗn（ｎ＝１〜Ｎ）から、加重平均クロススペクトルＰ（ｆ）を求める。
加重平均クロススペクトルＰ１3（ｆ）は以下の式で表わせる。
Ｐ１3（ｆ）＝｛Σｗn13（ｆ）・ｐn１3（ｆ）｝/｛Σｗn13｝……Σはｎ＝１〜Ｎの和。
次に、加重平均クロススペクトルＰij（ｆ）から、マイクロフォンＭi，Ｍj間の音の到達時間差Ｄijを算出し（ステップＳ１７）、これら到達時間差Ｄijから前述した式（２），（３）を用いて水平角θと仰角φとを算出して、到来した音の音源方向を推定する（ステップＳ１８）。
加重平均クロススペクトルＰij（ｆ）は、クロススペクトルｐn（ｆ）をその振幅ｗnで加重平均しているので、直接音よりも振幅が小さくかつ振幅のバラつきの大きな反射音の成分は従来のクロススペクトルＰij（ｆ）から求めた反射音の成分よりもかなり小さくなるので、前述の式（１）を用いてマイクロフォンＭi，Ｍj間の音の到達時間差Ｄijを算出することで、直接音の到達時間差Ｄijのみを抽出することができる。
また、従来のＦＦＴにおいては、衝撃音が発生した場合には、衝撃音が周期的な音でなくかつ持続時間が短いため、衝撃音の音源を精度よく把握することができなかったが、本例では、極短時間高速フーリエ変換した音圧波形データのクロススペクトルｐn（ｆ）をその振幅ｗnで加重平均しているので、衝撃音の継続時間が短い場合でも、衝撃音を的確に把握することができる。
【００２９】
音源方向の推定が終了した後には、音源方向を撮影した画像データと推定された水平角θと仰角φのデータとを合成し、画像中に、例えば、半径が到達音の大きさを示し模様が周波数を示す円などの、音源の方向と音の大きさを示す図形が描画された音源方向推定画像を作成し、これを表示手段４０の表示画面４０Ｍに表示する（ステップＳ１８）。
図４は、音源方向推定画像の一例としての車室内における音源方向推定画像を示す図、図５は従来の音源推定方法を用いて作成した音源方向推定画像を示す図で、横軸は水平角θ、縦軸は仰角φである。
図４において、左下がりの斜線を施した円が周波数帯域が１０〜５００Ｈｚの音源、右下がりの斜線を施した円が周波数帯域が５００〜１０００Ｈｚの音源、網目を施した円が周波数帯域が１０００〜１５００Ｈｚの音源である。
一方、図５においては、音源方向を、図３（ａ）に示す方法で高速フーリエ変換して求めたものである。比較のため、３１．５〜５００Ｈｚのバンドを全て左下がりの斜線を施した円とし、５００〜１０００Ｈzのバンドを全て右下がりの斜線を施した円とし、１０００〜７５００Ｈzのバンドを全て網目を施した円とした。
図４と図５とを比較して明らかなように、従来の方法では、反射音が大きいだけなく、直接音も反射音も周波数でばらついているのに対し、本実施の形態の方法では、周波数帯域についての情報については精度が低いものの、反射音もなく、音源の位置のバラツキも少ない。したがって、本実施の形態の方法を用いることにより、反射音の大きい場であっても直接音の音源方向を容易にかつ精度よく推定することができることが確認された。
【００３０】
なお、前記実施の形態では、互いに交わる２つの直線上にそれぞれ所定の間隔で配置された第１及び第２のマイクロフォン対で採取した音圧信号から到来した音の音源方向を推定したが、本発明はこれに限るものではなく、従来、マイクロフォンアレーを用いた音源推定方向にも適用可能である。
また、前記例では、Ｎ個のクロススペクトルを振幅値により加重平均して加重平均クロススペクトルを求めたが、振幅値の二乗で加重平均してもよい。
また、前記例では、５本のマイクロフォンＭ１〜Ｍ５を用いて、計測点と音源位置とのなす水平角θと仰角φとを推定したが、音源位置が水平角θだけで十分な場合には、マイクロフォンＭ５を省略して、互いに交わる２つの直線上にそれぞれ所定の間隔で配置された２組のマイクロフォン対（Ｍ１，Ｍ３），（Ｍ２，Ｍ４）のみを用いればよい。
【００３１】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は前記実施の形態に記載の範囲には限定されない。前記実施の形態に、多様な変更または改良を加えることが可能であることが当業者にも明らかである。そのような変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲から明らかである。
【産業上の利用可能性】
【００３２】
以上説明したように、本発明によれば、反射音がある場合にも直接音の音源方向のみを容易にかつ精度よく推定できるとともに、衝撃音についても的確に抽出できるので、簡単な構成で推定精度の高い音源方向推定装置を提供することができる。
【符号の説明】
【００３３】
１０ 音・映像採取ユニット、１１ 音採取手段、１２ ＣＣＤカメラ、
１３ マイクロフォン固定部、１４ カメラ支持台、１５ 支柱、１６ 基台、
２０ データ処理装置、２１ 増幅器、２２ Ａ／Ｄ変換器、２３ 映像入出力手段、
３０ 演算装置、３１、バッファ、３１ａ 音データ保存領域、
３１ｂ 画像データ保存領域、３２ 音圧波形データ抽出手段、
３３ クロススペクトル演算手段、３３ｋ 高速フーリエ変換器、
３３ｍ クロススペクトル演算器、３３Ｍ 加重平均クロススペクトル生成器、
３４ 到達時間差算出手段、３５ 音源方向推定手段、３６ 画像データ抽出手段、
３７ 音源推定用画像作成手段、
４０ 表示装置、４０Ｍ 表示画面、５０ 記憶装置、
Ｍ１〜Ｍ５ マイクロフォン。
【技術分野】
【０００１】
本発明は、複数のマイクロフォンで採取した音の情報から音源方向を推定する方法とその装置、及び、マイクロフォンで採取した音の情報と撮影手段で撮影した映像の情報とを用いて、音源を推定するための画像を作成する装置に関するものである。
【背景技術】
【０００２】
従来、音の到来方向である音源方向を推定する方法としては、多数のマイクロフォンを等間隔に配置したマイクロフォンアレーを構成し、基準となるマイクロフォンで採取された音圧信号と各マイクロフォンで採取された音圧信号との位相差から音源方向を推定する、いわゆる音響学的手法が考案されている（例えば、非特許文献１参照）。
一方、マイクロフォンアレーを構成する複数のマイクロフォンの出力信号の位相差からではなく、複数のマイクロフォンにより互いに交わる直線状に配置された複数のマイクロフォン対を構成し、対となる２つのマイクロフォン間の位相差に相当する到達時間差と、他の対となる２つのマイクロフォン間の到達時間差との比から音源の方向を推定する方法が提案されている（例えば、特許文献１〜３参照）。
【０００３】
具体的には、図６に示すように、４個のマイクロフォンＭ１〜Ｍ４を、互いに直交する２直線上にそれぞれ所定の間隔で配置された２組のマイクロフォン対（Ｍ１，Ｍ３）及びマイクロフォン対（Ｍ２，Ｍ４）を構成するように配置し、前記マイクロフォン対（Ｍ１，Ｍ３）を構成するマイクロフォンＭ１，Ｍ３に入力する音の到達時間差Ｄ13と、前記マイクロフォン対（Ｍ２，Ｍ４）を構成するマイクロフォンＭ２，Ｍ４に入力する音の到達時間差Ｄ24との比から、計測点と音源の位置との水平角θを推定するとともに、前記マイクロフォンＭ１〜Ｍ４の作る平面上にない位置に第５のマイクロフォンＭ５を配置して４組のマイクロフォン対（Ｍ５, Ｍ１），（Ｍ５, Ｍ２），（Ｍ５, Ｍ３），（Ｍ５, Ｍ４）を構成し、前記各マイクロフォン対を構成するマイクロフォンで採取した音の到達時間差Ｄ13，Ｄ24及びＤ5j（ｊ＝１〜４）から、計測点と音源の位置との成す仰角φを推定する。
なお、前記到達時間差Ｄijは、２つのマイクロフォン対（Ｍｉ，Ｍｊ）に入力される信号をＡ/Ｄ変換した音圧波形データをそれぞれ高速フーリエ変換し、この高速フーリエ変換された音圧波形データのクロススペクトルを求め、更に、対象とする周波数ｆの位相角情報を用いて算出される。
また、計測点から測った音源方向は、前記水平角θと前記仰角φとにより表わせる。
【０００４】
これにより、マイクロフォンアレーを用いて音源方向を推定する場合に比較して、少ないマイクロフォン数で音源方向を正確に推定することができる。
また、このとき、ＣＣＤカメラ等の映像採取手段を設けて前記推定された音源方向の画像を撮影し、この画像データと音源方向のデータとを合成して、画像中に前記推定した音源方向（θ，φ）と音圧レベルとを図形で表示した音源推定用画像をディスプレイ等の表示画面に表示するようにすれば、音源を視覚的に把握することができる。
また、音の採取と同時に映像採取手段にて映像を連続的に撮影し、音の情報である音圧波形データと映像の情報である画像データとをコンピュータのハードディスクに保存しておき、音の情報と映像の情報との採取後に、ハードディスクから音圧波形データを取出して音源方向を推定するとともに、この音源方向の推定計算に使用した音圧波形データに対応する画像データをハードディスクから取出し、この画像データと音源方向のデータとを合成して音源推定用画像を表示する方法も行われている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−１８１９１３号公報
【特許文献２】特開２００６−３２４８９５号公報
【特許文献３】特開２００８−２２４２５９号公報
【非特許文献】
【０００６】
【非特許文献１】大賀寿郎，山崎芳男，金田豊；音響システムとディジタル処理，コロナ社，１９９５
【発明の概要】
【発明が解決しようとする課題】
【０００７】
前記従来の方法では、音源の方向と到来した音の大きさを周波数毎に計測できるので、音源の情報を確実に把握することができるものの、反射音の大きい場においては、直接音と反射音とを区別するための演算処理が必要であった。
また、音源方向の解析区間が０．１〜１．０ｓｅｃ．と長いため、周期の短い衝撃音を的確に捉えることが困難であった。
【０００８】
本発明は、従来の問題点に鑑みてなされたもので、反射音の大きい場であっても直接音の音源方向を容易にかつ精度よく推定することができるとともに、衝撃音についても的確に抽出することのできる方法とその装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本願発明者らは、鋭意検討の結果、クロススペクトルを求める際に、解析区間の長さ（入力信号に掛けられる窓関数の窓の幅）を短くして周波数分解能を低くした極短時間高速フーリエ変換を多数回行ってそれぞれクロススペクトルを求め、これら求められた多数回のクロススペクトルを加重平均した加重平均クロススペクトルから重心的な位相差（到達時間差）を算出するようにすれば、直接音の音源方向を精度良く推定することができることを見出し、本発明に到ったものである。
すなわち、本願の請求項１に記載の発明は、複数のマイクロフォンで採取した音の音圧信号から音源の方向を推定する方法であって、互いに交わる２つの直線上にそれぞれ所定の間隔で配置された第１及び第２のマイクロフォン対を用いて到来した音の音圧信号を採取するステップと、前記第１のマイクロフォン対を構成するマイクロフォンＭ１，Ｍ３で採取された音圧信号と第２のマイクロフォン対を構成するマイクロフォンＭ２，Ｍ４で採取された音圧信号とをそれぞれＡ／Ｄ変換して前記４つのマイクロフォンＭ１〜Ｍ４で採取された音の音圧波形データをそれぞれ求めるステップと、前記各音圧波形データを高速フーリエ変換するステップと、前記高速フーリエ変換された前記マイクロフォンＭ１，Ｍ３の音圧波形データのクロススペクトルと前記マイクロフォンＭ２，Ｍ４の音圧波形データのクロススペクトルとを求めてマイクロフォンＭ１，Ｍ３間の音の到達時間差Ｄ13と前記マイクロフォンＭ２，Ｍ４間の音の到達時間差Ｄ24をそれぞれ算出するステップと、前記算出された第１のマイクロフォン対における到達時間差Ｄ13と第２のマイクロフォン対における到達時間差Ｄ24とから前記到来した音の音源方向を推定するステップと、を備え、前記高速フーリエ変換するステップでは、解析区間の長さが０．１ｍｓｅｃ．〜１０ｍｓｅｃ．である極短時間高速フーリエ変換を連続して多数回行うか、もしくは、前記解析区間の一部を重複させて多数回行い、前記到達時間差を算出するステップは、前記極短時間高速フーリエ変換の操作毎にそれぞれ求められたクロススペクトルの振幅値を求めるステップと、前記極短時間高速フーリエ変換の操作毎にそれぞれ求められたクロススペクトルを、前記振幅値より加重平均した加重平均クロススペクトルを求めるステップと、前記加重平均クロススペクトルから前記各マイクロフォン間の音の到達時間差Ｄ13，Ｄ24を算出するステップと、を備えることを特徴とする。
このように、極短時間解析を多数回行い、これら多数回のクロススペクトルの平均を振幅値による加重平均により求めて到達時間差を算出することにより、反射音やノイズ成分を低減するようにしたので、反射が大きい場においても、衝撃音などの直接音を確実に捉えることができるとともに、連続音についても音源方向を精度よく推定することができる。
【００１０】
請求項２に記載の発明は、請求項１に記載の音源方向推定方法であって、前記４つのマイクロフォンＭ１〜Ｍ４に加えて、前記２組のマイクロフォン対の作る平面上にない第５のマイクロフォンＭ５を設けて到来した音の音圧信号を採取するとともに、前記到達時間差を算出するステップは、前記２組のマイクロフォン対を構成するマイクロフォンＭ１，Ｍ３間及びマイクロフォンＭ２，Ｍ４間の到達時間差Ｄ13，Ｄ24と、前記第５のマイクロフォンＭ５と前記４つのマイクロフォンＭ１〜Ｍ４のそれぞれとで構成される４組のマイクロフォン対を構成するマイクロフォン間の到達時間差Ｄ51〜Ｄ54を算出し、前記音源方向を推定するステップでは、前記算出された到達時間差Ｄ13，Ｄ24，Ｄ51〜Ｄ54を用いて前記到来した音の音源方向を推定することを特徴とする。
これにより、計測点から見た音源方向の水平角θに加えて、仰角φについても推定できるので、音源方向の推定精度を向上させることができる。
【００１１】
請求項３に記載の発明は、互いに交わる２つの直線上にそれぞれ所定の間隔で配置された第１及び第２のマイクロフォン対と前記２組のマイクロフォン対の作る平面上にない第５のマイクロフォンとを有する音採取手段を備え、前記音採取手段で採取した音の音圧信号から、音源の方向を推定する音源方向推定装置であって、前記各マイクロフォンで採取した音圧信号をそれぞれデジタル信号に変換するＡ／Ｄ変換器と、前記デジタル信号に変換された音圧信号である音圧波形データを高速フーリエ変換する高速フーリエ変換器と、
前記高速フーリエ変換された音圧波形データのうちの前記第１のマイクロフォン対を構成する２つのマイクロフォンで採取された音の音圧波形データのクロススペクトルと、前記第２のマイクロフォン対を構成する２つのマイクロフォンで採取された音の音圧波形データのクロススペクトルと、前記第５のマイクロフォンと前記第１及び第２のマイクロフォン対を構成する４つのマイクロフォンのそれぞれで採取された音の音圧波形データとのクロススペクトルとを演算するクロススペクトル演算手段と、前記クロススペクトルから前記第１及び第２のマイクロフォン対をそれぞれ構成するマイクロフォン間の音の到達時間差Ｄ13，Ｄ24と前記第５のマイクロフォンと前記２組のマイクロフォン対を構成する４個のマイクロフォン間の音の到達時間差Ｄ51〜Ｄ54とを算出する到達時間差算出手段と、前記算出された到達時間差Ｄ13，Ｄ24，Ｄ51〜Ｄ54を用いて音源方向を推定する音源方向推定手段とを備え、前記高速フーリエ変換器は、解析区間の長さが０．１ｍｓｅｃ．〜１０ｍｓｅｃ．である極短時間高速フーリエ変換を連続して多数回行うか、もしくは、前記解析区間の一部を重複させて多数回行い、前記クロススペクトル演算手段は、前記極短時間高速フーリエ変換の操作毎にそれぞれ求められたクロススペクトルの振幅値を求めるとともに、前記極短時間高速フーリエ変換の操作毎にそれぞれ求められたクロススペクトルを、前記振幅値より加重平均した加重平均クロススペクトルを求め、前記到達時間差算出手段は、前記加重平均クロススペクトルから前記各マイクロフォン間の音の到達時間差Ｄ13，Ｄ24，Ｄ51〜Ｄ54を算出することを特徴とする。
このような構成を採ることにより、短時間高速フーリエ変換した音圧波形データの加重平均クロススペクトルを確実に求めることができるので、直接音の音源方向を精度良く推定することができる音源方向推定装置を得ることができる。
【００１２】
また、請求項４に記載の発明は、互いに交わる２つの直線上にそれぞれ所定の間隔で配置された第１及び第２のマイクロフォン対と前記２組のマイクロフォン対の作る平面上にない第５のマイクロフォンとを備えた音採取手段と音源方向の映像を撮影する撮影手段とを備え、前記音採取手段で採取した音源から伝播される音の音圧信号と前記音圧信号と前記撮影手段で撮影された音源の方向の映像信号とから、音源の方向を示す図形が描画された画像である音源推定用画像を作成する音源推定用画像の作成装置であって、前記各マイクロフォンで採取した音圧信号と撮影手段で撮影した映像信号とをそれぞれデジタル信号に変換するＡ／Ｄ変換器と、前記デジタル信号に変換された音圧信号である音圧波形データをそれぞれ高速フーリエ変換する高速フーリエ変換器と、前記高速フーリエ変換された音圧波形データのうちの前記第１のマイクロフォン対を構成する２つのマイクロフォンで採取された音の音圧波形データのクロススペクトルと、前記第２のマイクロフォン対を構成する２つのマイクロフォンで採取された音の音圧波形データのクロススペクトルと、前記第５のマイクロフォンと前記第１及び第２のマイクロフォン対を構成する４つのマイクロフォンのそれぞれで採取された音の音圧波形データとのクロススペクトルとを演算するクロススペクトル演算手段と、前記クロススペクトルから前記第１及び第２のマイクロフォン対をそれぞれ構成するマイクロフォン間の音の到達時間差Ｄ13，Ｄ24と前記第５のマイクロフォンと前記２組のマイクロフォン対を構成する４個のマイクロフォン間の音の到達時間差Ｄ51〜Ｄ54とを算出する到達時間差算出手段と、前記算出された到達時間差Ｄ13，Ｄ24，Ｄ51〜Ｄ54を用いて音源方向を推定する音源方向推定手段と、前記推定された音源方向のデータと前記デジタル信号に変換された映像信号である画像データとを合成して、前記推定された音源方向を示す図形が描画された画像である音源推定用画像を作成する音源推定用画像作成手段とを備え、前記高速フーリエ変換器は、解析区間の長さが０．１ｍｓｅｃ．〜１０ｍｓｅｃ．である極短時間高速フーリエ変換を連続して多数回行うか、もしくは、前記解析区間の一部を重複させて多数回行い、前記クロススペクトル演算手段は、前記極短時間高速フーリエ変換の操作毎にそれぞれ求められたクロススペクトルの振幅値を求めるとともに、前記極短時間高速フーリエ変換の操作毎にそれぞれ求められたクロススペクトルを、前記振幅値より加重平均した加重平均クロススペクトルを求め、前記到達時間差算出手段は、前記加重平均クロススペクトルから前記各マイクロフォン間の音の到達時間差Ｄ13，Ｄ24，Ｄ51〜Ｄ54を算出することを特徴とする。
このような構成を採ることにより、直接音の音源方向を精度良く推定することができるとともに、音源を推定するための音源推定用画像を容易に作成することができる。
また、請求項５に記載の発明は、請求項４に記載の音源推定用画像の作成装置において、前記作成された音源推定用画像を表示する表示画面を有する表示手段を備えたことを特徴とする。
これにより、表示手段の表示画面状に音源推定用画像を表示できるので、作業者が音源を容易に視認することができる。
【００１３】
なお、前記発明の概要は、本発明の必要な全ての特徴を列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となり得る。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施の形態に係る音源推定用画像表示システムの構成を示す機能ブロック図である。
【図２】本実施の形態に係る音源推定用画像表示システムを用いた音源推定用画像の表示方法を示すフローチャートである。
【図３】極短時間高速フーリエ変換を説明するための図である。
【図４】本発明による音源推定用画像の一例を示す図である。
【図５】従来の音源推定用画像の一例を示す図である。
【図６】従来のマイクロフォン対を用いた音源探査方法におけるマイクロフォンの配列を示す図である。
【発明を実施するための形態】
【００１５】
以下、実施の形態を通じて本発明を詳説するが、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また、実施の形態の中で説明される特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１６】
図１は音源推定用画像表示システムの構成を示す機能ブロック図である。
音源推定用画像表示システムは、音・映像採取ユニット１０とデータ処理装置２０と演算置３０と表示装置４０と記憶装置５０とを備える。
データ処理装置２０は、増幅器２１と、Ａ／Ｄ変換器２２と、映像入出力手段２３とを備える。
演算装置３０は、バッファ３１と、音圧波形データ抽出手段３２と、クロススペクトル演算手段３３と、到達時間差算出手段３４と、音源方向推定手段３５と、画像データ抽出手段３６と、音源推定用画像作成手段３７とを備える。この演算装置３０は、例えば、パーソナルコンピュータのソフトウェアにより構成される。
表示装置４０は、後述する音源位置を推定するための画像である音源位置推定画像を表示する表示画面４０Ｍを備える。
記憶装置５０は、例えば、パーソナルコンピュータのハードディスクなどから構成されるメモリーである。
【００１７】
音・映像採取ユニット１０は、音採取手段１１と、映像採取手段としてのＣＣＤカメラ（以下、カメラという）１２と、マイクロフォン固定部１３と、カメラ支持台１４と、支柱１５と、基台１６とを備える。
音採取手段１１は複数のマイクロフォンＭ１〜Ｍ５を備える。
マイクロフォンＭ１〜Ｍ５の配置は、図６に示したものと同様で、４個のマイクロフォンＭ１〜Ｍ４を、互いに直交する２直線上にそれぞれ所定の間隔で配置された２組のマイクロフォン対（Ｍ１，Ｍ３）及びマイクロフォン対（Ｍ２，Ｍ４）を構成するように配置するとともに、第５のマイクロフォンＭ５を前記マイクロフォンＭ１〜Ｍ４の作る平面上にない位置、詳細には、マイクロフォンＭ１〜Ｍ４の作る正方形を底面とする四角錐の頂点の位置に配置する。これにより、更に４組のマイクロフォン対（Ｍ５, Ｍ１）〜（Ｍ５, Ｍ４）が構成される。
本例では、カメラ１２の撮影方向を、前記直交する２直線の交点を通り前記２直線とほぼ４５°をなす方向に設定している。したがって、音・映像採取ユニット１０の向きは、図１の白抜きの矢印Ｄの方向となる。カメラ１２は、音・映像採取ユニット１０の向きに応じた映像を採取する。
【００１８】
マイクロフォン固定部１３にはマイクロフォンＭ１〜Ｍ５が設置され、カメラ支持台１４にはカメラ１２が設置され、マイクロフォン固定部１３とカメラ支持台１４とは、３本の支柱１５によって連結されている。つまり、音採取手段１１とカメラ１２とは一体化されている。なお、マイクロフォンＭ１〜Ｍ５は、カメラ１２の上部に配置される。
基台１６は、回転支柱１６ａとこの回転支柱１６ａを回転させる図示しない回転機構を備えた支持台１６ｂとを備えており、カメラ支持台１４は回転支柱１６ａ上に搭載されている。したがって、回転支柱１６ａを回転させることにより、音採取手段１１とカメラ１２とを一体に回転させることができる。なお、回転機構を省略し、作業者が基台１６を回転させることで、音・映像採取ユニット１０の向きを変更するようにしてもよい。
マイクロフォンＭ１〜Ｍ５は、図示しない音源から到来する音の音圧信号の大きさである音圧レベルをそれぞれ測定する。
【００１９】
増幅器２１はローパスフィルタを備え、マイクロフォンＭ１〜Ｍ５で採取した音の音圧信号から高周波ノイズ成分を除去するとともに、前記各音圧信号を増幅してＡ／Ｄ変換器２２に出力する。
Ａ／Ｄ変換器２２は、前記音圧信号をＡ／Ｄ変換した音圧波形データを作成し、これを、バッファ３１の音圧波形データ保存領域３１ａに送る。この音圧波形データ保存領域３１ａは小領域３１１〜３１５に区切られ、各小領域３１１〜３１５にそれぞれマイクロフォンＭ１〜Ｍ５の音圧波形データが保存される。
映像入出力手段２３は、カメラ１２で連続的に撮影された映像信号を入力し、予め設定された画面切換時間Ｔp（例えば、Ｔp＝１／３０秒）毎に撮影方向の画像データをバッファ３１の画像データ保存領域３１ｂに送る。
前記所定時間Ｔp毎に出力される画像データは、表示装置４０の表示画面４０Ｍに表示される一つの画面、いわゆる動画の「一コマ」分の画像を構成する画像データである。
【００２０】
音圧波形データ抽出手段３２は、バッファ３１の音圧波形データ保存領域３１ａから、予め設定された高速フーリエ変換（以下、ＦＦＴという）の解析区間の長さＴFの音圧波形データを順次取出して、クロススペクトル演算手段３３の高速フーリエ変換器３３１〜３３５に順次出力する。詳細には、小領域３１１〜３１５から取出されたマイクロフォンＭ１〜Ｍ５の音圧波形データは、高速フーリエ変換器３３ｋに出力される。
なお、音圧波形データをＡ／Ｄ変換器２２から直接高速フーリエ変換器３３ｋに出力してもよい。また、音圧波形データをＡ／Ｄ変換器２２から記憶装置５０に保存して、記憶装置５０から高速フーリエ変換器３３ｋに出力してもよいが、処理速度を考慮すると、音圧波形データは、Ａ／Ｄ変換器２２から直接、もしくは、バッファ３１を介して高速フーリエ変換器３３ｋに出力することが好ましい。
【００２１】
クロススペクトル演算手段３３は、高速フーリエ変換器３３ｋと、クロススペクトル演算器３３ｍと、加重平均クロススペクトル生成器３３Ｍとを備える。
高速フーリエ変換器３３ｋは、５台の高速フーリエ変換器３３１〜３３５を備え、それぞれ、マイクロフォンＭｋ（ｋ＝１〜５）の音圧波形データに対して、解析区間の長さＴFが、例えば、２ｍｓｅｃ．と極端に短い極短時間高速フーリエ変換を予め設定された計測時間Ｔc内にＮ回行ない、その結果を、順次、クロススペクトル演算器３３ｍに出力する。
なお、極短時間高速フーリエ変換は、長さが解析区間の長さに等しい窓関数を用いて連続して行うが、本例では、解析区間の長さが短いことから、時間的に前後する解析区間の一部を重複させることが好ましい。
【００２２】
クロススペクトル演算器３３ｍは、６台のクロススペクトル演算器３３ｘ，３３ｙ，３３ａ〜３３ｄを備え、極短時間ＦＦＴの処理毎に、高速フーリエ変換器３３１〜３３５から出力される予め設定された６組のマイクロフォン対のクロススペクトルｐn（ｆ）とその振幅ｗn（ｆ）とを順次求める（ｎ＝１〜Ｎ）。
具体的には、クロススペクトル演算器３３ｘは、高速フーリエ変換器３３１，３３３から出力されるマイクロフォン対（Ｍ１，Ｍ３）を構成するマイクロフォンＭ１，Ｍ３の音圧波形データであるＸn1（ｆ）とＸn3（ｆ）とのクロススペクトルｐn１3（ｆ）とその振幅ｗn13（ｆ）とを、極短時間ＦＦＴの処理毎に順次求める。
クロススペクトル演算器３３ｙは、高速フーリエ変換器３３２，３３４から出力されるマイクロフォン対（Ｍ２，Ｍ４）を構成するマイクロフォンＭ２，Ｍ４の音圧波形データであるＸn2（ｆ）とＸn4（ｆ）とのクロススペクトルｐn24（ｆ）とその振幅ｗn24（ｆ）とを求める。
クロススペクトル演算器３３ａ〜３３ｄは、それぞれ、高速フーリエ変換器３３５から出力されるマイクロフォンＭ５の音圧波形データであるＸn5（ｆ）と高速フーリエ変換器３３１〜３３４から出力されるマイクロフォンＭ１〜Ｍ４の音圧波形データであるＸni（ｆ）とのクロススペクトルｐn5j（ｆ）とその振幅ｗn5j（ｆ）（ｊ＝１〜４）とをそれぞれ求める。
なお、クロススペクトルｐn（ｆ）は周波数ｆ毎に演算する。
【００２３】
加重平均クロススペクトル生成器３３Ｍは、６台の加重平均クロススペクトル生成器３３Ｘ，３３Ｙ，３３Ａ〜３３Ｄを備え、各クロススペクトル演算器３３ｘ，３３ｙ，３３ａ〜３３ｄでそれぞれ求めたＮ個のクロススペクトルｐn（ｆ）の加重平均クロススペクトルを求める。
加重平均クロススペクトル生成器３３Ｘは、クロススペクトル演算器３３ｘから順次出力されるｎ＝１〜Ｎ個のクロススペクトルｐn１3（ｆ）とその振幅ｗn13（ｆ）を図示しないメモリーに一時記憶するとともに、クロススペクトルｐn１3（ｆ）をその振幅ｗn13（ｆ）によって加重平均して、マイクロフォンＭ１で採取した音圧信号とマイクロフォンＭ３で採取した音圧信号との加重平均クロススペクトルＰ１3（ｆ）を求める。
加重平均クロススペクトル生成器３３Ｙは、クロススペクトル演算器３３ｙで求めたクロススペクトルｐn24（ｆ）をその振幅ｗn24（ｆ）とを用いてマイクロフォンＭ２で採取した音圧信号とマイクロフォンＭ４で採取した音圧信号との加重平均クロススペクトルＰ24（ｆ）を求める。
加重平均クロススペクトル生成器３３Ａ〜３３Ｄは、クロススペクトル演算器３３ａ〜３３ｄでそれぞれ求めたクロススペクトルｐn5j（ｆ）をその振幅ｗn5j（ｆ）によって加重平均して、マイクロフォンＭ５で採取した音圧信号とマイクロフォンＭｊで採取した音圧信号との加重平均クロススペクトルＰ5j（ｆ）をそれぞれ求める（ｊ＝１〜４）。
【００２４】
到達時間差算出手段３４は、加重平均クロススペクトル生成器３３Ｍで求められた加重平均クロススペクトルＰij（ｆ）から、以下の式（１）を用いて各マイクロフォン対（Ｍi，Ｍj）を構成するマイクロフォンＭi，Ｍj間の音の到達時間差Ｄijを算出する。
【数１】
Ｄ13はマイクロフォン対（Ｍ１，Ｍ３）を構成するマイクロフォンＭ１，Ｍ３に入力する音の到達時間差、Ｄ24はマイクロフォン対（Ｍ２，Ｍ４）を構成するマイクロフォンＭ２，Ｍ４に入力する音の到達時間差、Ｄ5j（ｊ＝１〜４）は第５のマイクロフォンＭ５に入力する音圧信号とマイクロフォンＭ１〜Ｍ４のそれぞれに入力する音圧信号との到達時間差である。
到達時間差Ｄijは周波数ｆ毎に算出する。
音源方向推定手段３５では、前記求められた到達時間差Ｄ13，Ｄ24及び到達時間差Ｄ5j（ｊ＝１〜４）から、下記の式（２），（３）を用いて、計測点から見た到来した音の方向である水平角θと仰角φとを算出することで、音源方向を推定する。
【数２】
【００２５】
画像データ抽出手段３６は、バッファ３１の画像データ保存領域３１ｂから、Ｎ/２回目極短時間ＦＦＴの処理を行った時間、すなわち、前述した計測時間Ｔcの中心に相当する時間に最も近い時間に撮影した画像データを抽出し、これを音源推定用画像作成手段３７に出力する。
音源推定用画像作成手段３７は、音源方向推定手段３５で推定された水平角θと仰角φのデータと画像データ抽出手段３６で抽出された画像データとを合成し、画像中に音源の方向と大きさとを示す図形が描画された音源方向推定画像を作成して表示装置４０に出力する。
記憶装置５０は、水平角θと仰角φのデータと音源方向推定画像に使用した画像データとを計測時刻とともに記憶する。なお、計測時刻は音源方向推定画像に使用した画像データの撮影時刻である。
【００２６】
次に、本例の音源推定用画像表示システムを用いた音源方向の推定方法と、音源推定用画像の表示方法について、図２のフローチャートを参照して説明する。
まず、音・映像採取ユニット１０とデータ処理装置２０と演算装置３０と表示装置４０とを接続した後、音・映像採取ユニット１０を計測点にセットする（ステップＳ１０）。
作業者は、カメラ１２の撮影方向を測定予定場所に向け、表示画面４０Ｍを見てカメラ１２が計測予定場所を撮影していることを確認した後、マイクロフォンＭ１〜Ｍ５にて音を採取すると同時に、カメラ１２にて計測予定場所の映像を採取する（ステップＳ１１）。
次に、マイクロフォンＭ１〜Ｍ５で採取した音の音圧信号を増幅してＡ／Ｄ変換しこのＡ／Ｄ変換したデジタル信号（以下、音圧波形データという）をバッファ３１の音ファイル保存領域３１ａに保存するととともに、カメラ１２の映像信号をＡ／Ｄ変換、このＡ／Ｄ変換したデジタル信号（以下、画像データという）をバッファ３１の動画ファイル保存領域３１ｂに保存する（ステップＳ１２）。
【００２７】
次に、バッファ３１の音圧波形データ保存領域３１ａから、予め設定された長さＴFの音圧波形データを順次取出して極短時間高速フーリエ変換を行い（ステップＳ１３）、しかる後に、これら極短時間高速フーリエ変換した音圧波形データから、予め設定しておいたマイクロフォン対（Ｍｉ，Ｍｊ）を構成するマイクロフォンＭｉの音圧波形データとマイクロフォンＭｊの音圧波形データとを取出してクロススペクトルｐnij求めるとともにクロススペクトルの振幅の大きさ（振幅値）ｗnijを算出する（ステップＳ１４）。なお、ｐnijは、ｎ回目（ｎ＝１〜Ｎ）に極短時間高速フーリエ変換したマイクロフォンＭｉの音圧波形デーとマイクロフォンＭｊの音圧波形デーとのクロススペクトルである。
クロススペクトルｐnijとその振幅値ｗnijの算出は、解析区間の長さＴFとサンプリング周期と応じて決定される周波数帯域毎に行う。本例では、周波数帯域が１０〜５００Ｈｚ，５００〜１０００Ｈｚ，１０００〜７５００Ｈｚの３つの周波数帯域に分けてそれぞれクロススペクトルｐij（ｆ）を求めた。
極短時間高速フーリエ変換は、前述したように、解析区間の長さＴFが、例えば、２ｍｓｅｃ．と極端に短い高速フーリエ変換で、本例では、この極短時間高速フーリエ変換を予め設定された計測時間Ｔc内に多数回行なう。
具体的には、図３（ａ）に示すように、従来のＦＦＴの解析区間Ｔ0の長さ（約１．０ｓｅｃ．）に対して、本例では、図３（ｂ）に示すように、ＦＦＴの解析区間の長さＴFを極端に短くするとともに、極短時間高速フーリエ変換を解析区間Ｔ0の長さに亘って連続してＮ回（Ｎ≧１００）行っている。なお、解析区間の長さＴFとしては、０．１ｍｓｅｃ．〜１０ｍｓｅｃ．の範囲とすることが好ましく、１ｍｓｅｃ．〜２ｍｓｅｃ．とすると更に好ましい。
なお、極短時間高速フーリエ変換は、長さが解析区間の長さに等しい窓関数を用いて連続して行ってもよいが、解析区間の長さが短いことから、図３（ｂ）に示すように、時間的に前後する解析区間の一部を重複させて行うことが好ましい。
【００２８】
ステップＳ１５では、クロススペクトルの演算が終了したか否かを判定する。
クロススペクトルの演算が終了していない場合には、前記ステップＳ１３に戻って、音圧波形データ保存領域３１ａから、次に解析する音圧波形データを取出して極短時間高速フーリエ変換を行いクロススペクトルを演算するという操作を繰り返す。クロススペクトルの演算が終了した場合には、ステップＳ１６に進んで、Ｎ回の操作で得られたＮ個のクロススペクトルｐn（ｆ）とその振幅ｗn（ｎ＝１〜Ｎ）から、加重平均クロススペクトルＰ（ｆ）を求める。
加重平均クロススペクトルＰ１3（ｆ）は以下の式で表わせる。
Ｐ１3（ｆ）＝｛Σｗn13（ｆ）・ｐn１3（ｆ）｝/｛Σｗn13｝……Σはｎ＝１〜Ｎの和。
次に、加重平均クロススペクトルＰij（ｆ）から、マイクロフォンＭi，Ｍj間の音の到達時間差Ｄijを算出し（ステップＳ１７）、これら到達時間差Ｄijから前述した式（２），（３）を用いて水平角θと仰角φとを算出して、到来した音の音源方向を推定する（ステップＳ１８）。
加重平均クロススペクトルＰij（ｆ）は、クロススペクトルｐn（ｆ）をその振幅ｗnで加重平均しているので、直接音よりも振幅が小さくかつ振幅のバラつきの大きな反射音の成分は従来のクロススペクトルＰij（ｆ）から求めた反射音の成分よりもかなり小さくなるので、前述の式（１）を用いてマイクロフォンＭi，Ｍj間の音の到達時間差Ｄijを算出することで、直接音の到達時間差Ｄijのみを抽出することができる。
また、従来のＦＦＴにおいては、衝撃音が発生した場合には、衝撃音が周期的な音でなくかつ持続時間が短いため、衝撃音の音源を精度よく把握することができなかったが、本例では、極短時間高速フーリエ変換した音圧波形データのクロススペクトルｐn（ｆ）をその振幅ｗnで加重平均しているので、衝撃音の継続時間が短い場合でも、衝撃音を的確に把握することができる。
【００２９】
音源方向の推定が終了した後には、音源方向を撮影した画像データと推定された水平角θと仰角φのデータとを合成し、画像中に、例えば、半径が到達音の大きさを示し模様が周波数を示す円などの、音源の方向と音の大きさを示す図形が描画された音源方向推定画像を作成し、これを表示手段４０の表示画面４０Ｍに表示する（ステップＳ１８）。
図４は、音源方向推定画像の一例としての車室内における音源方向推定画像を示す図、図５は従来の音源推定方法を用いて作成した音源方向推定画像を示す図で、横軸は水平角θ、縦軸は仰角φである。
図４において、左下がりの斜線を施した円が周波数帯域が１０〜５００Ｈｚの音源、右下がりの斜線を施した円が周波数帯域が５００〜１０００Ｈｚの音源、網目を施した円が周波数帯域が１０００〜１５００Ｈｚの音源である。
一方、図５においては、音源方向を、図３（ａ）に示す方法で高速フーリエ変換して求めたものである。比較のため、３１．５〜５００Ｈｚのバンドを全て左下がりの斜線を施した円とし、５００〜１０００Ｈzのバンドを全て右下がりの斜線を施した円とし、１０００〜７５００Ｈzのバンドを全て網目を施した円とした。
図４と図５とを比較して明らかなように、従来の方法では、反射音が大きいだけなく、直接音も反射音も周波数でばらついているのに対し、本実施の形態の方法では、周波数帯域についての情報については精度が低いものの、反射音もなく、音源の位置のバラツキも少ない。したがって、本実施の形態の方法を用いることにより、反射音の大きい場であっても直接音の音源方向を容易にかつ精度よく推定することができることが確認された。
【００３０】
なお、前記実施の形態では、互いに交わる２つの直線上にそれぞれ所定の間隔で配置された第１及び第２のマイクロフォン対で採取した音圧信号から到来した音の音源方向を推定したが、本発明はこれに限るものではなく、従来、マイクロフォンアレーを用いた音源推定方向にも適用可能である。
また、前記例では、Ｎ個のクロススペクトルを振幅値により加重平均して加重平均クロススペクトルを求めたが、振幅値の二乗で加重平均してもよい。
また、前記例では、５本のマイクロフォンＭ１〜Ｍ５を用いて、計測点と音源位置とのなす水平角θと仰角φとを推定したが、音源位置が水平角θだけで十分な場合には、マイクロフォンＭ５を省略して、互いに交わる２つの直線上にそれぞれ所定の間隔で配置された２組のマイクロフォン対（Ｍ１，Ｍ３），（Ｍ２，Ｍ４）のみを用いればよい。
【００３１】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は前記実施の形態に記載の範囲には限定されない。前記実施の形態に、多様な変更または改良を加えることが可能であることが当業者にも明らかである。そのような変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲から明らかである。
【産業上の利用可能性】
【００３２】
以上説明したように、本発明によれば、反射音がある場合にも直接音の音源方向のみを容易にかつ精度よく推定できるとともに、衝撃音についても的確に抽出できるので、簡単な構成で推定精度の高い音源方向推定装置を提供することができる。
【符号の説明】
【００３３】
１０ 音・映像採取ユニット、１１ 音採取手段、１２ ＣＣＤカメラ、
１３ マイクロフォン固定部、１４ カメラ支持台、１５ 支柱、１６ 基台、
２０ データ処理装置、２１ 増幅器、２２ Ａ／Ｄ変換器、２３ 映像入出力手段、
３０ 演算装置、３１、バッファ、３１ａ 音データ保存領域、
３１ｂ 画像データ保存領域、３２ 音圧波形データ抽出手段、
３３ クロススペクトル演算手段、３３ｋ 高速フーリエ変換器、
３３ｍ クロススペクトル演算器、３３Ｍ 加重平均クロススペクトル生成器、
３４ 到達時間差算出手段、３５ 音源方向推定手段、３６ 画像データ抽出手段、
３７ 音源推定用画像作成手段、
４０ 表示装置、４０Ｍ 表示画面、５０ 記憶装置、
Ｍ１〜Ｍ５ マイクロフォン。
【特許請求の範囲】
【請求項１】
複数のマイクロフォンで採取した音の音圧信号から音源の方向を推定する方法であって、
互いに交わる２つの直線上にそれぞれ所定の間隔で配置された第１及び第２のマイクロフォン対を用いて到来した音の音圧信号を採取するステップと、
前記第１のマイクロフォン対を構成するマイクロフォンＭ１，Ｍ３で採取された音圧信号と第２のマイクロフォン対を構成するマイクロフォンＭ２，Ｍ４で採取された音圧信号とをそれぞれＡ／Ｄ変換して前記４つのマイクロフォンＭ１〜Ｍ４で採取された音の音圧波形データをそれぞれ求めるステップと、
前記各音圧波形データを高速フーリエ変換するステップと、
前記高速フーリエ変換された前記マイクロフォンＭ１，Ｍ３の音圧波形データのクロススペクトルと前記マイクロフォンＭ２，Ｍ４の音圧波形データのクロススペクトルとを求めてマイクロフォンＭ１，Ｍ３間の音の到達時間差Ｄ13と前記マイクロフォンＭ２，Ｍ４間の音の到達時間差Ｄ24をそれぞれ算出するステップと、
前記算出された第１のマイクロフォン対における到達時間差Ｄ13と第２のマイクロフォン対における到達時間差Ｄ24とから前記到来した音の音源方向を推定するステップと、
を備え、
前記高速フーリエ変換するステップでは、解析区間の長さが０．１ｍｓｅｃ．〜１０ｍｓｅｃ．である極短時間高速フーリエ変換を連続して多数回行うか、もしくは、前記解析区間の一部を重複させて多数回行い、
前記到達時間差を算出するステップは、
前記極短時間高速フーリエ変換の操作毎にそれぞれ求められたクロススペクトルの振幅値を求めるステップと、
前記極短時間高速フーリエ変換の操作毎にそれぞれ求められたクロススペクトルを、前記振幅値より加重平均した加重平均クロススペクトルを求めるステップと、
前記加重平均クロススペクトルから前記各マイクロフォン間の音の到達時間差Ｄ13，Ｄ24を算出するステップと、
を備えることを特徴とする音源方向推定方法。
【請求項２】
前記４つのマイクロフォンＭ１〜Ｍ４に加えて、前記２組のマイクロフォン対の作る平面上にない第５のマイクロフォンＭ５を設けて到来した音の音圧信号を採取するとともに、前記到達時間差を算出するステップでは、
前記２組のマイクロフォン対を構成するマイクロフォンＭ１，Ｍ３間及びマイクロフォンＭ２，Ｍ４間の到達時間差Ｄ13，Ｄ24と、前記第５のマイクロフォンＭ５と前記４つのマイクロフォンＭ１〜Ｍ４のそれぞれとで構成される４組のマイクロフォン対を構成するマイクロフォン間の到達時間差Ｄ51〜Ｄ54を算出し、
前記音源方向を推定するステップでは、
前記算出された到達時間差Ｄ13，Ｄ24，Ｄ51〜Ｄ54を用いて前記到来した音の音源方向を推定することを特徴とする請求項１に記載の音源方向推定方法。
【請求項３】
互いに交わる２つの直線上にそれぞれ所定の間隔で配置された第１及び第２のマイクロフォン対と前記２組のマイクロフォン対の作る平面上にない第５のマイクロフォンとを有する音採取手段を備え、前記音採取手段で採取した音の音圧信号から、音源の方向を推定する音源方向推定装置であって、
前記各マイクロフォンで採取した音圧信号をそれぞれデジタル信号に変換するＡ／Ｄ変換器と、
前記デジタル信号に変換された音圧信号である音圧波形データを高速フーリエ変換する高速フーリエ変換器と、
前記高速フーリエ変換された音圧波形データのうちの前記第１のマイクロフォン対を構成する２つのマイクロフォンで採取された音の音圧波形データのクロススペクトルと、前記第２のマイクロフォン対を構成する２つのマイクロフォンで採取された音の音圧波形データのクロススペクトルと、前記第５のマイクロフォンと前記第１及び第２のマイクロフォン対を構成する４つのマイクロフォンのそれぞれで採取された音の音圧波形データとのクロススペクトルとを演算するクロススペクトル演算手段と、
前記クロススペクトルから前記第１及び第２のマイクロフォン対をそれぞれ構成するマイクロフォン間の音の到達時間差Ｄ13，Ｄ24と前記第５のマイクロフォンと前記２組のマイクロフォン対を構成する４個のマイクロフォン間の音の到達時間差Ｄ51〜Ｄ54とを算出する到達時間差算出手段と、
前記算出された到達時間差Ｄ13，Ｄ24，Ｄ51〜Ｄ54を用いて音源方向を推定する音源方向推定手段とを備え、
前記高速フーリエ変換器は、解析区間の長さが０．１ｍｓｅｃ．〜１０ｍｓｅｃ．である極短時間高速フーリエ変換を連続して多数回行うか、もしくは、前記解析区間の一部を重複させて多数回行い、
前記クロススペクトル演算手段は、前記極短時間高速フーリエ変換の操作毎にそれぞれ求められたクロススペクトルの振幅値を求めるとともに、前記極短時間高速フーリエ変換の操作毎にそれぞれ求められたクロススペクトルを、前記振幅値より加重平均した加重平均クロススペクトルを求め、
前記到達時間差算出手段は、前記加重平均クロススペクトルから前記各マイクロフォン間の音の到達時間差Ｄ13，Ｄ24，Ｄ51〜Ｄ54を算出することを特徴とする音源方向推定装置。
【請求項４】
互いに交わる２つの直線上にそれぞれ所定の間隔で配置された第１及び第２のマイクロフォン対と前記２組のマイクロフォン対の作る平面上にない第５のマイクロフォンとを備えた音採取手段と音源方向の映像を撮影する撮影手段とを備え、前記音採取手段で採取した音源から伝播される音の音圧信号と前記音圧信号と前記撮影手段で撮影された音源の方向の映像信号とから、音源の方向を示す図形が描画された画像である音源推定用画像を作成する音源推定用画像の作成装置であって、
前記各マイクロフォンで採取した音圧信号と撮影手段で撮影した映像信号とをそれぞれデジタル信号に変換するＡ／Ｄ変換器と、
前記デジタル信号に変換された音圧信号である音圧波形データをそれぞれ高速フーリエ変換する高速フーリエ変換器と、
前記高速フーリエ変換された音圧波形データのうちの前記第１のマイクロフォン対を構成する２つのマイクロフォンで採取された音の音圧波形データのクロススペクトルと、前記第２のマイクロフォン対を構成する２つのマイクロフォンで採取された音の音圧波形データのクロススペクトルと、前記第５のマイクロフォンと前記第１及び第２のマイクロフォン対を構成する４つのマイクロフォンのそれぞれで採取された音の音圧波形データとのクロススペクトルとを演算するクロススペクトル演算手段と、
前記クロススペクトルから前記第１及び第２のマイクロフォン対をそれぞれ構成するマイクロフォン間の音の到達時間差Ｄ13，Ｄ24と前記第５のマイクロフォンと前記２組のマイクロフォン対を構成する４個のマイクロフォン間の音の到達時間差Ｄ51〜Ｄ54とを算出する到達時間差算出手段と、
前記算出された到達時間差Ｄ13，Ｄ24，Ｄ51〜Ｄ54を用いて音源方向を推定する音源方向推定手段と、
前記推定された音源方向のデータと前記デジタル信号に変換された映像信号である画像データとを合成して、前記推定された音源方向を示す図形が描画された画像である音源推定用画像を作成する音源推定用画像作成手段とを備え、
前記高速フーリエ変換器は、解析区間の長さが０．１ｍｓｅｃ．〜１０ｍｓｅｃ．である極短時間高速フーリエ変換を連続して多数回行うか、もしくは、前記解析区間の一部を重複させて多数回行い、
前記クロススペクトル演算手段は、前記極短時間高速フーリエ変換の操作毎にそれぞれ求められたクロススペクトルの振幅値を求めるとともに、前記極短時間高速フーリエ変換の操作毎にそれぞれ求められたクロススペクトルを、前記振幅値より加重平均した加重平均クロススペクトルを求め、
前記到達時間差算出手段は、前記加重平均クロススペクトルから前記各マイクロフォン間の音の到達時間差Ｄ13，Ｄ24，Ｄ51〜Ｄ54を算出することを特徴とする音源推定用画像の作成装置。
【請求項５】
前記作成された音源推定用画像を表示する表示画面を有する表示手段を備えたことを特徴とする請求項４に記載の音源推定用画像の作成装置。
【請求項１】
複数のマイクロフォンで採取した音の音圧信号から音源の方向を推定する方法であって、
互いに交わる２つの直線上にそれぞれ所定の間隔で配置された第１及び第２のマイクロフォン対を用いて到来した音の音圧信号を採取するステップと、
前記第１のマイクロフォン対を構成するマイクロフォンＭ１，Ｍ３で採取された音圧信号と第２のマイクロフォン対を構成するマイクロフォンＭ２，Ｍ４で採取された音圧信号とをそれぞれＡ／Ｄ変換して前記４つのマイクロフォンＭ１〜Ｍ４で採取された音の音圧波形データをそれぞれ求めるステップと、
前記各音圧波形データを高速フーリエ変換するステップと、
前記高速フーリエ変換された前記マイクロフォンＭ１，Ｍ３の音圧波形データのクロススペクトルと前記マイクロフォンＭ２，Ｍ４の音圧波形データのクロススペクトルとを求めてマイクロフォンＭ１，Ｍ３間の音の到達時間差Ｄ13と前記マイクロフォンＭ２，Ｍ４間の音の到達時間差Ｄ24をそれぞれ算出するステップと、
前記算出された第１のマイクロフォン対における到達時間差Ｄ13と第２のマイクロフォン対における到達時間差Ｄ24とから前記到来した音の音源方向を推定するステップと、
を備え、
前記高速フーリエ変換するステップでは、解析区間の長さが０．１ｍｓｅｃ．〜１０ｍｓｅｃ．である極短時間高速フーリエ変換を連続して多数回行うか、もしくは、前記解析区間の一部を重複させて多数回行い、
前記到達時間差を算出するステップは、
前記極短時間高速フーリエ変換の操作毎にそれぞれ求められたクロススペクトルの振幅値を求めるステップと、
前記極短時間高速フーリエ変換の操作毎にそれぞれ求められたクロススペクトルを、前記振幅値より加重平均した加重平均クロススペクトルを求めるステップと、
前記加重平均クロススペクトルから前記各マイクロフォン間の音の到達時間差Ｄ13，Ｄ24を算出するステップと、
を備えることを特徴とする音源方向推定方法。
【請求項２】
前記４つのマイクロフォンＭ１〜Ｍ４に加えて、前記２組のマイクロフォン対の作る平面上にない第５のマイクロフォンＭ５を設けて到来した音の音圧信号を採取するとともに、前記到達時間差を算出するステップでは、
前記２組のマイクロフォン対を構成するマイクロフォンＭ１，Ｍ３間及びマイクロフォンＭ２，Ｍ４間の到達時間差Ｄ13，Ｄ24と、前記第５のマイクロフォンＭ５と前記４つのマイクロフォンＭ１〜Ｍ４のそれぞれとで構成される４組のマイクロフォン対を構成するマイクロフォン間の到達時間差Ｄ51〜Ｄ54を算出し、
前記音源方向を推定するステップでは、
前記算出された到達時間差Ｄ13，Ｄ24，Ｄ51〜Ｄ54を用いて前記到来した音の音源方向を推定することを特徴とする請求項１に記載の音源方向推定方法。
【請求項３】
互いに交わる２つの直線上にそれぞれ所定の間隔で配置された第１及び第２のマイクロフォン対と前記２組のマイクロフォン対の作る平面上にない第５のマイクロフォンとを有する音採取手段を備え、前記音採取手段で採取した音の音圧信号から、音源の方向を推定する音源方向推定装置であって、
前記各マイクロフォンで採取した音圧信号をそれぞれデジタル信号に変換するＡ／Ｄ変換器と、
前記デジタル信号に変換された音圧信号である音圧波形データを高速フーリエ変換する高速フーリエ変換器と、
前記高速フーリエ変換された音圧波形データのうちの前記第１のマイクロフォン対を構成する２つのマイクロフォンで採取された音の音圧波形データのクロススペクトルと、前記第２のマイクロフォン対を構成する２つのマイクロフォンで採取された音の音圧波形データのクロススペクトルと、前記第５のマイクロフォンと前記第１及び第２のマイクロフォン対を構成する４つのマイクロフォンのそれぞれで採取された音の音圧波形データとのクロススペクトルとを演算するクロススペクトル演算手段と、
前記クロススペクトルから前記第１及び第２のマイクロフォン対をそれぞれ構成するマイクロフォン間の音の到達時間差Ｄ13，Ｄ24と前記第５のマイクロフォンと前記２組のマイクロフォン対を構成する４個のマイクロフォン間の音の到達時間差Ｄ51〜Ｄ54とを算出する到達時間差算出手段と、
前記算出された到達時間差Ｄ13，Ｄ24，Ｄ51〜Ｄ54を用いて音源方向を推定する音源方向推定手段とを備え、
前記高速フーリエ変換器は、解析区間の長さが０．１ｍｓｅｃ．〜１０ｍｓｅｃ．である極短時間高速フーリエ変換を連続して多数回行うか、もしくは、前記解析区間の一部を重複させて多数回行い、
前記クロススペクトル演算手段は、前記極短時間高速フーリエ変換の操作毎にそれぞれ求められたクロススペクトルの振幅値を求めるとともに、前記極短時間高速フーリエ変換の操作毎にそれぞれ求められたクロススペクトルを、前記振幅値より加重平均した加重平均クロススペクトルを求め、
前記到達時間差算出手段は、前記加重平均クロススペクトルから前記各マイクロフォン間の音の到達時間差Ｄ13，Ｄ24，Ｄ51〜Ｄ54を算出することを特徴とする音源方向推定装置。
【請求項４】
互いに交わる２つの直線上にそれぞれ所定の間隔で配置された第１及び第２のマイクロフォン対と前記２組のマイクロフォン対の作る平面上にない第５のマイクロフォンとを備えた音採取手段と音源方向の映像を撮影する撮影手段とを備え、前記音採取手段で採取した音源から伝播される音の音圧信号と前記音圧信号と前記撮影手段で撮影された音源の方向の映像信号とから、音源の方向を示す図形が描画された画像である音源推定用画像を作成する音源推定用画像の作成装置であって、
前記各マイクロフォンで採取した音圧信号と撮影手段で撮影した映像信号とをそれぞれデジタル信号に変換するＡ／Ｄ変換器と、
前記デジタル信号に変換された音圧信号である音圧波形データをそれぞれ高速フーリエ変換する高速フーリエ変換器と、
前記高速フーリエ変換された音圧波形データのうちの前記第１のマイクロフォン対を構成する２つのマイクロフォンで採取された音の音圧波形データのクロススペクトルと、前記第２のマイクロフォン対を構成する２つのマイクロフォンで採取された音の音圧波形データのクロススペクトルと、前記第５のマイクロフォンと前記第１及び第２のマイクロフォン対を構成する４つのマイクロフォンのそれぞれで採取された音の音圧波形データとのクロススペクトルとを演算するクロススペクトル演算手段と、
前記クロススペクトルから前記第１及び第２のマイクロフォン対をそれぞれ構成するマイクロフォン間の音の到達時間差Ｄ13，Ｄ24と前記第５のマイクロフォンと前記２組のマイクロフォン対を構成する４個のマイクロフォン間の音の到達時間差Ｄ51〜Ｄ54とを算出する到達時間差算出手段と、
前記算出された到達時間差Ｄ13，Ｄ24，Ｄ51〜Ｄ54を用いて音源方向を推定する音源方向推定手段と、
前記推定された音源方向のデータと前記デジタル信号に変換された映像信号である画像データとを合成して、前記推定された音源方向を示す図形が描画された画像である音源推定用画像を作成する音源推定用画像作成手段とを備え、
前記高速フーリエ変換器は、解析区間の長さが０．１ｍｓｅｃ．〜１０ｍｓｅｃ．である極短時間高速フーリエ変換を連続して多数回行うか、もしくは、前記解析区間の一部を重複させて多数回行い、
前記クロススペクトル演算手段は、前記極短時間高速フーリエ変換の操作毎にそれぞれ求められたクロススペクトルの振幅値を求めるとともに、前記極短時間高速フーリエ変換の操作毎にそれぞれ求められたクロススペクトルを、前記振幅値より加重平均した加重平均クロススペクトルを求め、
前記到達時間差算出手段は、前記加重平均クロススペクトルから前記各マイクロフォン間の音の到達時間差Ｄ13，Ｄ24，Ｄ51〜Ｄ54を算出することを特徴とする音源推定用画像の作成装置。
【請求項５】
前記作成された音源推定用画像を表示する表示画面を有する表示手段を備えたことを特徴とする請求項４に記載の音源推定用画像の作成装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１３−８８１４１（Ｐ２０１３−８８１４１Ａ）
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願番号】特願２０１１−２２６０２０（Ｐ２０１１−２２６０２０）
【出願日】平成２３年１０月１３日（２０１１．１０．１３）
【出願人】（０００００１３１７）株式会社熊谷組 (551)
【Ｆターム（参考）】
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願日】平成２３年１０月１３日（２０１１．１０．１３）
【出願人】（０００００１３１７）株式会社熊谷組 (551)
【Ｆターム（参考）】
[ Back to top ]