音源推定方法及び音源推定装置
【課題】観測点で採取した音の音圧信号と映像信号とから音源を推定するとともに、推定された音源と観測点との距離をリアルタイムで算出する。
【解決手段】マイクロフォンＭ１〜Ｍ５とカメラとを備えた音・映像採取ユニットを第１の観測点Ｐ1に配置して音圧信号と映像信号とを採取し、マイクロフォンＭ６〜Ｍ９を備えた音採取ユニットを第２の観測点Ｐ2に配置して音圧信号を採取し、これらの音圧信号をＡ／Ｄ変換した音圧波形データを用いて推定した第１の観測点Ｐ1からみた音源方向の水平角θ1及び仰角φ1と第２の観測点Ｐ2からみた音源方向の水平角θ2とから第１の観測点Ｐ1と音源との距離Ｌを求めるとともに、第１の観測点Ｐ1で採取した映像信号をＡ／Ｄ変換した画像データと水平角θ1と仰角φ1とを用いて作成した画像中に音源の方向を示す図形が描画された音源推定用画像Ｇkと距離Ｌのデータとを表示画面に表示するようにした。
【解決手段】マイクロフォンＭ１〜Ｍ５とカメラとを備えた音・映像採取ユニットを第１の観測点Ｐ1に配置して音圧信号と映像信号とを採取し、マイクロフォンＭ６〜Ｍ９を備えた音採取ユニットを第２の観測点Ｐ2に配置して音圧信号を採取し、これらの音圧信号をＡ／Ｄ変換した音圧波形データを用いて推定した第１の観測点Ｐ1からみた音源方向の水平角θ1及び仰角φ1と第２の観測点Ｐ2からみた音源方向の水平角θ2とから第１の観測点Ｐ1と音源との距離Ｌを求めるとともに、第１の観測点Ｐ1で採取した映像信号をＡ／Ｄ変換した画像データと水平角θ1と仰角φ1とを用いて作成した画像中に音源の方向を示す図形が描画された音源推定用画像Ｇkと距離Ｌのデータとを表示画面に表示するようにした。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のマイクロフォンで採取した音の情報と撮影手段で撮影した映像の情報とを用いて音源を推定する方法とその装置に関するもので、特に推定された音源と観測点との距離を求める方法に関する。
【背景技術】
【０００２】
従来、音の到来方向を推定する方法としては、観測点に多数のマイクロフォンを等間隔に配置したマイクロフォンアレーを構築し、基準となるマイクロフォンに対する各マイクロフォンの位相差から音波の到来方向である音源の方向を推定する、いわゆる音響学的手法が考案されている（例えば、非特許文献１参照）。
一方、観測点に配置された複数のマイクロフォンの出力信号の位相差からではなく、複数のマイクロフォンから互いに交わる直線状に配置された複数のマイクロフォン対を構成し、対となる２つのマイクロフォン間の位相差に相当する到達時間差と、他の対となる２つのマイクロフォン間の到達時間差との比から音源の方向を推定する方法が提案されている（例えば、特許文献１〜３参照）。
【０００３】
具体的には、図７に示すように、４個のマイクロフォンＭ１〜Ｍ４を、互いに直交する２直線上にそれぞれ所定の間隔で配置された２組のマイクロフォン対（Ｍ１，Ｍ３）及びマイクロフォン対（Ｍ２，Ｍ４）を構成するように配置し、前記マイクロフォン対（Ｍ１，Ｍ３）を構成するマイクロフォンＭ１，Ｍ３に入力する音圧信号の到達時間差Ｄ13と、前記マイクロフォン対（Ｍ２，Ｍ４）を構成するマイクロフォンＭ２，Ｍ４に入力する音圧信号の到達時間差Ｄ24との比から、観測点と音源の位置との水平角θを推定するとともに、第５のマイクロフォンＭ５を前記マイクロフォンＭ１〜Ｍ４の作る平面上にない位置に配置して、更に４組のマイクロフォン対（Ｍ５, Ｍ１），（Ｍ５, Ｍ２），（Ｍ５, Ｍ３），（Ｍ５, Ｍ４）を構成し、前記各マイクロフォン対を構成するマイクロフォン間の到達時間差Ｄ13，Ｄ24及びＤ5j（ｊ＝１〜４）から、観測点と音源の位置との成す仰角φを推定する。
観測点から測った音源方向は、前記水平角θと前記仰角φとにより表わせる。
【０００４】
これにより、マイクロフォンアレーを用いて音源方向を推定する場合に比較して、少ないマイクロフォン数で音源方向を正確に推定することができる。
また、このとき、ＣＣＤカメラ等の映像採取手段を設けて前記推定された音源方向の画像を撮影した後、この画像データと音源方向のデータとを合成して、映像中に前記推定した音源方向と音圧レベルとを図形で表示した音源推定用画像をディスプレイ等の表示画面に表示するようにすれば、音源を視覚的に把握することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−１８１９１３号公報
【特許文献２】特開２００６−３２４８９５号公報
【特許文献３】特開２００８−２２４２５９号公報
【非特許文献】
【０００６】
【非特許文献１】大賀寿郎，山崎芳男，金田豊；音響システムとディジタル処理，コロナ社，１９９５
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、前記従来の方法では、ディスプレイ等の表示画面に表示された図形からマイクロフォンで採取した音の音源については推定することはできるが、推定された音源と観測点との距離を測定するには、別の観測点にて前記推定された音源の音源方向を推定し、これら２つの観測点で推定された音源方向から音源と観測点との距離を算出しなければならなかった。そのため、移動する音源や間欠的に音を発する音源などについては、音源と観測点との距離をリアルタイムで算出することが困難であった。
【０００８】
本発明は、従来の問題点に鑑みてなされたもので、観測点で観測した音の情報である音圧信号と映像の情報である映像信号とから音源を推定するとともに、推定された音源と観測点との距離をリアルタイムで算出する方法とその装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本願の請求項１に記載の発明は、複数のマイクロフォンと撮影手段とを用いて音の情報である音圧信号と映像の情報である映像信号とを採取し、この採取した音圧信号のデータと画像データとを用いて音源を推定する方法であって、互いに交わる２つの直線上にそれぞれ所定の間隔で配置されて２組のマイクロフォン対を構成する第１〜第４のマイクロフォンと前記２組のマイクロフォン対の作る平面上にない第５のマイクロフォンと撮影手段とを備えた音・映像採取ユニットを第１の観測点に設置し、前記第１〜第４のマイクロフォンと同じ状態に配置された第６〜第９のマイクロフォンを備えた音採取ユニットを前記第１の観測点とは異なる第２の観測点に設置して音の情報である音圧信号と映像の情報である映像信号とを採取するステップ（ａ）と、前記第１の観測点にて採取した音圧信号と映像信号と前記第２の観測点にて採取した音圧信号とをＡ／Ｄ変換してそれぞれ第１の音圧波形データ、画像データ、及び、第２の音圧波形データとして記憶するステップ（ｂ）と、前記第１及び第２の音圧波形データを用いて、前記第１〜第５のマイクロフォンで採取した音圧信号の位相差を算出して前記第１の観測点から見た音源方向の水平角θ1と仰角φ1とを推定するとともに、前記第６〜第９のマイクロフォンで採取した音圧信号の位相差を算出して前記第２の観測点から見た音源方向の水平角θ2を推定するステップ（ｃ）と、予め入力された前記第１の観測点における第１〜第４のマイクロフォンの中心座標と前記第２の観測点における第６〜第９のマイクロフォンの中心座標、及び、前記ステップ（ｃ）で推定された水平角θ1，θ2を用いて、前記第１の観測点と音源との水平距離Ｌxyを求めるステップ（ｄ）と、前記求められた水平距離Ｌxyと前記仰角φ1とを用いて前記第１の観測点と音源との距離Ｌを求めるステップ（ｅ）と、前記ステップ（ｃ）で推定された前記第１の観測点から見た音源方向の水平角θ1と仰角φ1と前記ステップ（ｂ）で記憶した画像データとを合成し、前記推定された音源方向を示す図形が描画された音源推定用画像を作成するステップ（ｆ）と、前記音源推定用画像を表示手段の表示画面に表示して音源を推定するステップ（ｇ）とを有し、前記ステップ（ａ）では、前記第６〜第９のマイクロフォンを、第１〜第４のマイクロフォンと同一平面内で、かつ、前記第１〜第４のマイクロフォンが配列される互いに交わる２つの直線の方向と前記第６〜第９のマイクロフォンが配列される互いに交わる２つの直線の方向とが一致するように前記第２の観測点に設置し、前記ステップ（ｃ）では、前記音・映像採取ユニットの２組のマイクロフォン対を構成するマイクロフォン間の位相差と、前記第５のマイクロフォンと前記２組のマイクロフォン対を構成する４個のマイクロフォンのそれぞれとで構成される４組のマイクロフォン対を構成するマイクロフォン間の位相差とを用いて前記第１の観測点から見た音源方向の水平角θ1と仰角φ1を推定し、前記音採取ユニットの２組のマイクロフォン対を構成するマイクロフォン間の位相差を用いて前記第２の観測点から見た音源方向の水平角θ2を推定することを特徴とする。
このように、第１の観測点にて採取した音圧信号のデータから推定された水平角θ1及び仰角φ1と第１の観測点にて採取した映像信号の画像データとを用いて作成した音源推定用画像から音源を推定するとともに、前記水平角θ1及び仰角φ1と第２の観測点で推定された水平角θ2とから第１の観測点と音源との距離Ｌを求めるようにしたので、音源の推定と推定された音源と観測点との距離とをリアルタイムで計測することができる。
【００１０】
請求項２に記載の発明は、複数のマイクロフォンと撮影手段とを用いて音の情報である音圧信号と映像の情報である映像信号とを採取し、この採取した音圧信号のデータと画像データとを用いて音源を推定する装置であって、互いに交わる２つの直線上にそれぞれ所定の間隔で配置されて２組のマイクロフォン対を構成する第１〜第４のマイクロフォンと前記２組のマイクロフォン対の作る平面上にない第５のマイクロフォンと撮影手段とを備え、第１の観測点に設置されて、音の情報である音圧信号と映像の情報である映像信号とを採取する音・映像採取ユニットと、前記第１〜第４のマイクロフォンと同じ状態に配置された第６〜第９のマイクロフォンを備え、前記第１の観測点とは異なる第２の観測点に設置されて音圧信号を採取する音採取ユニットと、前記第１の観測点にて採取した音圧信号と映像信号と前記第２の観測点にて採取した音圧信号とをＡ／Ｄ変換するＡ／Ｄ変換器と、前記Ａ／Ｄ変換された前記第１の観測点にて採取した音圧信号と、前記第２の観測点にて採取した音圧信号と、前記第１の観測点にて採取した映像信号とを、それぞれ第１の音圧波形データ、第２の音圧波形データ、及び、画像データとして記憶する記憶手段と、前記音・映像採取ユニットの２組のマイクロフォン対を構成するマイクロフォン間の位相差と、前記第５のマイクロフォンと前記第１〜第４のマイクロフォンのそれぞれとで構成される４組のマイクロフォン対を構成するマイクロフォン間の位相差とを用いて前記第１の観測点から見た音源方向の水平角θ1と仰角φ1とを推定し、前記音採取ユニットの２組のマイクロフォン対を構成するマイクロフォン間の位相差を用いて前記第２の観測点から見た音源方向の水平角θ2を推定する音源方向推定手段と、前記推定された第１の観測点から見た音源方向の水平角θ1と仰角φ1と前記記憶手段に記憶されている画像データとを合成し、前記推定された音源の方向を示す図形が描画された音源推定用画像を作成する音源推定用画像作成手段と、前記音源推定用画像を表示画面に表示する表示手段と、予め入力された前記第１の観測点における第１〜第４のマイクロフォンの中心座標と前記第２の観測点における第６〜第９のマイクロフォンの中心座標、及び、前記音源方向推定手段にて推定された水平角θ1，θ2を用いて、前記第１の観測点と前記推定された音源方向にある音源との水平距離Ｌxyを求める水平距離算出手段と、前記求められた水平距離Ｌxyと前記仰角φ1とを用いて前記第１の観測点と音源との距離Ｌを求める距離算出手段とを備え、前記音採取ユニットは、前記第６〜第９のマイクロフォンが前記第１〜第４のマイクロフォンと同一平面内にあり、かつ、前記第１〜第４のマイクロフォンが配列される互いに交わる２つの直線の方向と前記第６〜第９のマイクロフォンが配列される互いに交わる２つの直線の方向とが一致するように、前記第２の観測点に設置されていることを特徴とする。
このような構成を採ることにより、第１の観測点にて採取した音圧信号のデータから推定された水平角θ1及び仰角φ1と第１の観測点にて採取した映像信号の画像データとを用いて作成した音源推定用画像から音源を推定できるとともに、前記水平角θ1及び仰角φ1と第２の観測点で推定された水平角θ2とから第１の観測点と音源との距離Ｌを求めることができるので、音源の推定、及び、音源と観測点との距離をリアルタイムで計測できる。
【００１１】
請求項３に記載の発明は、請求項２に記載の音源推定装置において、前記第１の観測点と音源との水平距離Ｌxyを半径とし、前記水平角θ1を回転角とした音源の水平投影画像を作成する手段を設け、前記表示手段が、前記作成された音源の水平投影画像を前記表示手段に表示することを特徴とする。
このように、第１の観測点と音源との距離Ｌと水平角θ1とを極座標表示した水平投影画像を表示画面に表示すれば、音源が観測点からどの方向にありかつどれだけ離れているのかを容易に把握することができる。
請求項４に記載の発明は、請求項３に記載の音源推定装置において、前記水平投影画像を予め設定した時間間隔毎に作成して前記表示手段に表示するようにしたので、音源が移動している場合でも、音源が観測点からどの方向にどれだけ移動しているかを容易に把握することができる。
【００１２】
なお、前記発明の概要は、本発明の必要な全ての特徴を列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となり得る。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施の形態に係る音源推定システムの構成を示す図である。
【図２】音・映像採取ユニットと音採取ユニットの配置例を示す図である。
【図３】本発明による音源推定方法を示すフローチャートである。
【図４】第１の観測点と音源との水平距離Ｌxyを算出する方法を示す図である。
【図５】第１の観測点と音源との距離Ｌを算出する方法を示す図である。
【図６】表示画面の一例を示す図である。
【図７】従来マイクロフォン対を用いた音源探査方法におけるマイクロフォンの配列を示す図である。
【発明を実施するための形態】
【００１４】
以下、実施の形態を通じて本発明を詳説するが、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また、実施の形態の中で説明される特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１５】
以下、本発明の実施の形態について、図面に基づき説明する。
図１は音源推定システムの構成を示す機能ブロック図である。
本発明の音源推定システムは、音・映像採取ユニット１０と音採取ユニット２０と演算・表示装置３０とを備える。音・映像採取ユニット１０は第１の観測点Ｐ1に設置され、音採取ユニット２０は第１の観測点Ｐ1とは異なる第２の観測点Ｐ２に設置される。
音・映像採取ユニット１０は、図２にも示すように、第１の音採取手段１１と、映像採取手段としてのＣＣＤカメラ（以下、カメラという）１２と、マイクロフォン支持台１３と、カメラ支持部材１４と、回転台１５と、基台１６とを備える。
第１の音採取手段１１は複数のマイクロフォンＭ１〜Ｍ５を備える。
マイクロフォンＭ１〜Ｍ５は、図示しない音源から伝播される音の音圧信号の大きさである音圧レベルをそれぞれ測定する。
マイクロフォンＭ１〜Ｍ５の配置は、図７に示したものと同様で、４個のマイクロフォンＭ１〜Ｍ４を、互いに直交する２直線上にそれぞれ所定の間隔で配置された２組のマイクロフォン対（Ｍ１，Ｍ３）及びマイクロフォン対（Ｍ２，Ｍ４）を構成するように配置するとともに、第５のマイクロフォンＭ５を前記マイクロフォンＭ１〜Ｍ４の作る平面上にない位置、詳細には、マイクロフォンＭ１〜Ｍ４の作る正方形を底面とする四角錐の頂点の位置に配置する。これにより、更に４組のマイクロフォン対（Ｍ５, Ｍ１）〜（Ｍ５, Ｍ４）が構成される。
以下、マイクロフォンＭ１〜Ｍ４は水平面上に設置されるものとし、音・映像採取ユニット１０の向きを図２の矢印Ｄの方向（マイクロフォンＭ３からマイクロフォンＭ１に向かう方向）をｘ方向、矢印Ｄに直交する方向をｙ方向という。
【００１６】
マイクロフォン支持台１３は、第１〜第３の支持板１３１〜１３３と、連結板１３４と、脚部１３５，１３６とを備える。
第１の支持板１３１は、ｘ方向に延長してマイクロフォン対（Ｍ１，Ｍ３）を搭載する棒状の部材で、マイクロフォンＭ１，Ｍ３は第１の支持板１３１の両端部にそれぞれ固定される。第２の支持板１３２は、ｙ方向に延長してマイクロフォン対（Ｍ２，Ｍ４）を搭載する棒状の部材で、マイクロフォンＭ２，Ｍ４は第２の支持板１３２の両端部にそれぞれ固定される。連結板１３４は、第１及び第２の支持板１３１，１３２をその中心にて連結する板状の部材で、第１及び第２の支持板１３１，１３２と連結板１３４とは、マイクロフォンＭ１〜Ｍ４が水平面上に設置されるように一体に構成される。
連結板１３４の中心、すなわち、マイクロフォンＭ１〜Ｍ４の中心点の位置が第１の観測点Ｐ1の位置（ｘ1，ｙ1，ｚ1）である（図２（ｂ）参照）。
第３の支持板１３３は、第２の支持板１３２上で連結板１３４の中心から等距離の位置にそれぞれ立設された脚部１３５，１３６上に取付けられた板状の部材で、この板状の部材の中心に第５のマイクロフォンＭ５が搭載される。
第１の観測点Ｐ1の位置座標をＰ1（ｘ1，ｙ1，ｚ1）＝（０，０，０）とすると、マイクロフォンＭ１〜Ｍ５はそれぞれ、Ｍ１＝（Ｌ/２，０，０）、Ｍ２＝（０，Ｌ/２，０）、Ｍ３＝（−Ｌ/２，０，０）、Ｍ４＝（０，−Ｌ/２，０，０）、Ｍ５＝（０，０，Ｌ/２）となる。Ｌはマイクロフォン対（Ｍ１，Ｍ３），（Ｍ２，Ｍ４）のマイクロフォン間隔で、計測する音の最大波長により決定される値で、本例では、周波数帯域が５０Ｈｚ〜５００Ｈｚの範囲のいわゆる低周波数帯域の音を含む音源を計測するため、Ｌ＝３００ｍｍとした。
【００１７】
カメラ支持部材１４は、第１の支持板１３１のマイクロフォンＭ１が搭載されている端部側で、かつ、マイクロフォンＭ１が搭載されている側とは反対側の面である裏面側に設けられてカメラ１２を支持する。本例では、カメラ１２の撮影方向を音・映像採取ユニット１０の向きである図２の矢印Ｄの方向とし、カメラ１２により、音・映像採取ユニット１０の向きに応じた映像を採取する。
回転台１５は、図示しないモータを内蔵した固定部１５１とモータの出力に連結された回転軸１５２とを備える。回転軸１５２は連結板１３４の中心に連結されている。
基台１６は３脚から成る支持部材で、この基台１６上に回転台１５が設置されている。
したがって、回転台１５の回転軸１５２を回転させることにより、音採取手段１１とカメラ１２とを一体に回転させることができる。
【００１８】
音採取ユニット２０は、第２の音採取手段２１と、マイクロフォン支持台２３と、回転台２５と、基台２６とを備える。
第２の音採取手段２１は複数のマイクロフォンＭ６〜Ｍ９を備える。
マイクロフォンＭ６〜Ｍ９は、図示しない音源から伝播される音の音圧信号の大きさである音圧レベルをそれぞれ測定する。
マイクロフォンＭ６〜Ｍ９の配置はマイクロフォンＭ１〜Ｍ４の配置と同じで、マイクロフォン対（Ｍ１，Ｍ３）とマイクロフォン対（Ｍ６，Ｍ８）とが対応し、マイクロフォン対（Ｍ２，Ｍ４）とマイクロフォン対（Ｍ７，Ｍ９）とが対応する。
マイクロフォンＭ６〜Ｍ９も水平面上に設置される。音採取ユニット２０の向きは音・映像採取ユニット１０の向きと同じく、図２の矢印Ｄの方向である。
音採取ユニット２０は、第５のマイクロフォンとカメラとを有しないこと以外は音・映像ユニット１０と同構成で、マイクロフォン支持台２３は、第１及び第２の支持板２３１，２３２と連結板２３４とを備えている。すなわち、第３の支持板１３３に相当する部材と脚部１３５，１３６に相当する部材とカメラ支持部材１４に相当する部材はなく、回転台１５に相当する部材が回転台２５で、基台１６に相当する部材が基台２６である。
音採取ユニット２０も回転台２５の回転軸２５２を回転させることにより、マイクロフォンＭ６〜Ｍ９を一体に回転させることができる。
連結板２３４の中心、すなわち、マイクロフォンＭ５〜Ｍ９の中心点の位置が第２の観測点Ｐ2となる（図２（ｂ）参照）。
本例では、第２の観測点Ｐ2を、第１の観測点Ｐ1から測って、マイクロフォンＭ４からマイクロフォンＭ２に向かう方向（ｙ方向）に距離をＫだけ離れた箇所に設けている。なお、第１の観測点Ｐ1と第２の観測点Ｐ2とは同じ水平面上に設けられる。すなわち、第１の観測点Ｐ1の位置座標をＰ1（ｘ1，ｙ1，ｚ1）とすると、第２の観測点Ｐ2の位置座標はＰ2（ｘ2，ｙ2，ｚ2）＝（ｘ1，ｙ1＋Ｋ，ｚ1）である。
【００１９】
演算・表示装置３０は、増幅器３１と、Ａ／Ｄ変換器３２と、映像入出力手段３３と、記憶手段３４と、音源方向推定手段３５と、音源距離算出手段３６と、水平投影画像作成手段３７と、音源推定用画像作成手段３８と、表示画像作成手段３９と、表示手段４０とを備える。音源方向推定手段３５から表示画像作成手段３９までの各手段は、例えば、コンピュータのソフトウェアにより構成され、記憶手段３４はコンピュータのハードディスクなどのメモリーが使用される。なお、Ａ／Ｄ変換器３２及び映像入出力手段３３についてもコンピュータに組み込んでもよい。
増幅器３１はローパスフィルタを備え、指令信号が入力されると、マイクロフォンＭ１〜Ｍ５で採取した音の音圧信号とマイクロフォンＭ６〜Ｍ９で採取した音の音圧信号とからそれぞれ高周波ノイズ成分を除去するとともに、前記各音圧信号を増幅してＡ／Ｄ変換器３２に出力する。
Ａ／Ｄ変換器３２は、前記各音圧信号をＡ／Ｄ変換した音圧波形データを作成し、これを所定時間Ｔp（例えば、Ｔp＝１／３０秒）毎に記憶手段３４に送る。音圧波形データは、第１の観測点Ｐ1で観測された音の音圧波形データＡ１と第２の観測点Ｐ２で観測された音の音圧波形データＡ２とが記憶手段３４の別領域にそれぞれ記憶される。
映像入出力手段３３は、カメラ１２で撮影された映像信号を入力してＡ/Ｄ変換し、このＡ/Ｄ変換されたデータである画像データＧ１を前記所定時間Ｔp毎に記憶手段３４に送る。
記憶手段３４には、音圧波形データＡ１，Ａ２と、画像データＧ１とが前記所定時間Ｔp毎に順次保存される。なお、第１の観測点Ｐ1の位置座標Ｐ1（ｘ1，ｙ1，ｚ1）と、第２の観測点Ｐ２の位置座標Ｐ2（ｘ2，ｙ2，ｚ2）も記憶手段３４に保存される。
【００２０】
音源方向推定手段３５は、記憶手段３４から、前記所定時間Ｔp毎に音源方向の推定演算を行うための音圧波形データＡ１を取出して各マイクロフォンＭ１〜Ｍ５間の位相差を求め、求められた位相差から第１の観測点Ｐ1からみた音源方向の水平角θ1と仰角φ1とを演算するとともに、音圧波形データＡ２を取出して各マイクロフォンＭ６〜Ｍ９間の位相差を求め、求められた位相差から第２の観測点Ｐ2からみた音源方向の水平角θ2を演算する。
第１の観測点Ｐ1からみた音源方向の水平角θ1と仰角φ1と第２の観測点Ｐ2からみた音源方向の水平角θ2とが音源距離算出手段３６に出力され、前記水平角θ1と仰角φ1とが音源推定用画像作成手段３８に出力される。また、前記水平角θ1は水平投影画像作成手段３７に出力される。
音源距離算出手段３６は水平距離算出部３６ａと音源距離算出部３６ｂとを備える。
水平距離算出部３６ａは、第１の観測点Ｐ1からみた音源方向の水平角θ1と第２の観測点Ｐ2からみた音源方向の水平角θ2とから音源の位置座標の水平成分（ｘk，ｙk）を求め、求められた水平成分（ｘk，ｙk）と第１の観測点Ｐ1の位置座標の水平成分（ｘ1，ｙ1）とから第１の観測点Ｐ1と音源との水平距離Ｌxyを算出する。水平距離Ｌxyは水平投影画像作成手段３７に出力される。
音源距離算出部３６ｂは、前記水平距離Ｌxyと第１の観測点Ｐ1からみた音源方向の仰角φ1とから第１の観測点Ｐ1と音源との距離Ｌを算出する。距離Ｌは表示画像作成手段３９に出力される。
【００２１】
水平投影画像作成手段３７は、音源方向推定手段３５で推定された第１の観測点Ｐ1からみた音源方向の水平角θ1と音源距離算出手段３６の水平距離算出部３６ａで算出された第１の観測点Ｐ1と音源との水平距離Ｌxyとから、水平距離Ｌxyと水平角θ1とを極座標表示した水平投影画像Ｒkを作成して表示画像作成手段３９に出力する。水平投影画像においては、半径方向の長さが水平距離Ｌxyで回転角が水平角θ1である。
音源推定用画像作成手段３８は、記憶手段３４に記憶された画像データＧ１と音源方向推定手段３５で推定された第１の観測点Ｐ1からみた音源方向の水平角θ1と仰角φ1とから画像中に音源の方向を示す図形が描画された音源推定用画像Ｇkを作成して表示画像作成手段３９に出力する。
表示画像作成手段３９は、音源距離算出手段３６で算出された第１の観測点Ｐ1と音源との距離Ｌを表示する距離表示画像Ｌkを作成するとともに、この距離表示画像Ｌkと水平投影画像Ｒkと音源推定用画像Ｇkとを組み合わせた表示画像Ｍkを表示手段４０に出力する。
表示手段４０は、ディスプレイなどの表示画面４０Ｍを備え、表示画像作成手段３９で作成された表示画像Ｍkを表示画面４０Ｍに表示する。
【００２２】
次に、本発明による音源推定方法について、図３のフローチャートを参照して説明する。
まず、音・映像採取ユニット１０を第１の観測点Ｐ1にセットし、音採取ユニット２０を第２の観測点Ｐ2にセットするとともに、第１の観測点Ｐ1の位置座標Ｐ1（ｘ1，ｙ1，ｚ1）と第２の観測点Ｐ2の位置座標Ｐ2（ｘ2，ｙ2，ｚ2）とを演算・表示装置３０に入力して記憶手段３４に記憶させる（ステップＳ１０）。
このとき、音・映像採取ユニット１０と音採取ユニット２０とを、所定距離Ｋだけ離して、同じ水平面上に設置するとともに、音・映像採取ユニット１０の向きと音採取ユニット２０との向きを一致させることが肝要である。マイクロフォンＭ１〜Ｍ４の高さと水平度は基台１６の脚の長さを調整して確保し、マイクロフォンＭ６〜Ｍ９の高さと水平度は基台２６の脚の長さを調整して確保する。また、音・映像採取ユニット１０の向きと音採取ユニット２０の向きとは回転台１５と回転台２５とをそれぞれ調整して確保する。マイクロフォン支持台１３の第２の支持板１３２とマイクロフォン支持台２３の第２の支持板２３２とを一直線上にかつ同じ方向に配置するにはレーザー墨出し器を用い、音・映像採取ユニット１０と音採取ユニット２０との距離Ｋを確認するにはレーザー距離計を用いると、音・映像採取ユニット１０と音採取ユニット２０とを精度よく配置することができる。なお、カメラ１２はマイクロフォン支持台１３の第１の支持板１３１に取付けられているので、特に調整の必要はない。
【００２３】
次に、マイクロフォンＭ１〜Ｍ５にて第１の観測点Ｐ1に到達した音の音圧信号を採取するとともに、カメラ１２にて第１の観測点Ｐ1から測定場所の映像を採取する。このとき、同時に、マイクロフォンＭ６〜Ｍ９にて第２の観測点Ｐ2に到達した音の音圧信号を採取する（ステップＳ１１）。
マイクロフォンＭ１〜Ｍ５で採取された音圧信号とマイクロフォンＭ６〜Ｍ９で採取された音圧信号は、増幅器３１で増幅された後、Ａ／Ｄ変換器３２でＡ／Ｄ変換される。一方、カメラ１２で採取された映像信号は映像入出力手段３３でＡ／Ｄ変換される（ステップＳ１２）。
Ａ／Ｄ変換された音圧信号と映像信号とは、それぞれ、記憶手段３４に、音圧波形データＡ１，Ａ２、及び、画像データＧ１として保存される（ステップＳ１３）。
次に、音源方向推定手段３５にて音圧波形データＡ１を取出してＦＦＴにて周波数解析し、各マイクロフォンＭ１〜Ｍ４間の位相差を求め、求められた位相差から第１の観測点Ｐ1からみた音源方向の水平角θ1を演算する（ステップＳ１４）とともに、音圧波形データＡ２を取出してＦＦＴにて周波数解析し、各マイクロフォンＭ６〜Ｍ９間の位相差を求め、求められた位相差から第２の観測点Ｐ2からみた音源方向の水平角θ2を演算する（ステップＳ１５）。ステップＳ１６では、各マイクロフォンＭ１〜Ｍ５間の位相差から第１の観測点Ｐ1からみた音源方向の仰角φ1を演算する。ステップＳ１４〜ステップＳ１６の各処理は並列に行ってもよいし、ステップ順に行ってもよい。なお、本例では、位相差に代えて、位相差に比例する物理量である到達時間差Ｄijを用いて水平角θ及び仰角φを求めている。
このステップＳ１４〜ステップＳ１６における水平角θ及び仰角φの計算方法については後述する。
【００２４】
次に、ステップＳ１７で、図４に示すように、第１の観測点Ｐ1からみた音源方向の水平角θ1と第１の観測点Ｐ1の位置座標の水平成分ｐ1（ｘ1，ｙ1）とを用いて、第１の観測点Ｐ1を通り傾きが水平角θ1に等しい直線ｌ1の式を求め、ステップＳ１８で、第２の観測点Ｐ2からみた音源方向の水平角θ2と第２の観測点Ｐ2の位置座標の水平成分ｐ2（ｘ2，ｙ2）とを用いて、第２の観測点Ｐ2を通り傾きが水平角θ2に等しい直線ｌ2の式を求める。
ステップＳ１９では、直線ｌ1と直線ｌ2との交点ｐkの座標を求めて、第１の観測点Ｐ1と音源Ｐkとの水平距離Ｌxyを算出する。交点ｐkの座標ｐk（ｘk，ｙk）が音源Ｐkの位置座標の水平成分であるので、この音源Ｐkの位置座標の水平成分ｐk（ｘk，ｙk）と第１の観測点Ｐ1の位置座標の水平成分ｐ1（ｘ1，ｙ1）とから、第１の観測点Ｐ1と音源Ｐkとの水平距離Ｌxyを算出することができる。
ステップＳ２０では、図５に示すように、第１の観測点Ｐ1と音源Ｐkとの水平距離ＬxyとステップＳ１６で推定した第１の観測点Ｐ1からみた音源方向の仰角φ1とを用いて、第１の観測点Ｐ1と音源Ｐkとの距離Ｌを算出する。なお、同図において、Ｐ’kは音源ＰkのマイクロフォンＭ１〜Ｍ４の作る平面への正射影である。
【００２５】
ステップ２１では、図６の右下の円形のグラフに示すような、水平投影画像用の極座標画像を作成し、この極座標画像上に、ステップＳ１９で算出した第１の観測点Ｐ1と音源との水平距離ＬxyとステップＳ１４で推定された第１の観測点Ｐ1からみた音源方向の水平角θ1とを成分とする点（ｒ，θ）＝（Ｌxy，θ1）を描画した水平投影画像Ｒkを作成する。
また、ステップ２２では、ステップＳ１４，Ｓ１６で推定した第１の観測点Ｐ1からみた音源方向の水平角θ1と仰角φ1、ステップＳ１３で保存した画像データＧ１とを合成し、図６の中央上側に示すような、合成された画像中に網目模様の丸印などの周波数毎の音源の方向を示す図形Ｃが描画された音源推定用画像Ｇkを作成する。この図形Ｃの模様は周波数を示し大きさは音圧信号の大きさを表すので、大きな図形Ｃがある領域で、かつ、図形Ｃの重なりの重心位置を算出し、この重心位置を音源Ｐkの位置とし、音源推定用画像Ｇk上に描画する。図６の映像は、建設現場に導入されたショベルカーを撮影したもので、ショベルカーのエンジン付近での音が最も大きい。なお、図には示していないが、ショベルカーが移動しているときには、キャタピラ近傍の振動音も観測される。
ステップ２１とステップ２２の処理が終了すると、ステップＳ２３に進み、表示画面４０Ｍの水平投影画像表示欄４０ａに水平投影画像Ｒkを表示し、音源推定用画像表示欄４０ｂに音源推定用画像Ｇkを表示するとともに、音源データ表示欄４０ｃに音源Ｐkの位置データである水平角θ1と仰角φ1と距離Ｌとを表示する。
なお、前記処理を保存された音圧波形データＡ１，Ａ２及び画像データＧ１について、所定時間Ｔp毎に行って、水平投影画像Ｒkと音源推定用画像Ｇkとを作成して表示するとともに、水平角θ1と仰角φ1と距離Ｌとを表示するようにすれば、音源Ｐkが移動している場合や音源Ｐkが間欠的に音を発する音源である場合でも、音源Ｐkと観測点との距離をリアルタイムで把握することができる。
【００２６】
ステップＳ１４〜ステップＳ１６における水平角θ及び仰角φの計算方法は以下の通りである。
各マイクロフォン対（Ｍｉ, Ｍｊ）のマイクロフォンＭｉとマイクロフォンＭｊとの間の到達時間差をＤijとすると、音の入射方向の水平角θは以下の式（１）で表わせるので、マイクロフォンＭ１〜Ｍ４の出力信号、及び、マイクロフォンＭ６〜Ｍ９の出力信号をＦＦＴを用いて周波数分析し、対象となる周波数ｆにおける各マイクロフォンＭｉ，Ｍｊ間の到達時間差Ｄijを算出することにより、第１の観測点Ｐ1からみた音源方向の水平角θ1及び第２の観測点Ｐ2からみた音源方向の水平角θ2を推定することができる。
また、音の入射方向の仰角φは以下の式（２）で表わせるので、マイクロフォンＭ１〜Ｍ５の出力信号をＦＦＴを用いて周波数分析し、対象となる周波数ｆにおける各マイクロフォンＭｉ，Ｍｊ間の到達時間差Ｄijを算出することにより、第１の観測点Ｐ1からみた音源方向の水平角φ1を推定することができる。
【数１】
すなわち、互いに直交する２直線上にそれぞれ所定の間隔で配置された２組のマイクロフォン対（Ｍ１，Ｍ３）及びマイクロフォン対（Ｍ２，Ｍ４）を構成するマイクロフォンＭ１，Ｍ３に入力する音圧信号の到達時間差Ｄ13と、前記マイクロフォン対（Ｍ２，Ｍ４）を構成するマイクロフォンＭ２，Ｍ４に入力する音圧信号の到達時間差Ｄ24との比から、第１の観測点Ｐ1からみた音源方向の水平角θ1を推定することができる。第２の観測点Ｐ2からみた音源方向の水平角θ2の推定も水平角θ1の推定と同様に行うことができる。
また、マイクロフォンＭ１〜Ｍ５間の到達時間差Ｄijから第１の観測点Ｐ1からみた音源方向の仰角φ1を推定することができる。
なお、前記到達時間差Ｄijは、２つのマイクロフォン対（Ｍｉ，Ｍｊ）に入力される信号のクロススペクトルＰij（ｆ）を求め、更に、対象とする前記周波数ｆの位相角情報Ψ（ｒａｄ）を用いて、以下の式（３）を用いて算出される。
【数２】
【００２７】
このように、本実施の形態では、複数のマイクロフォンＭ１〜Ｍ５とカメラ１２とを備えた音・映像採取ユニット１０を第１の観測点Ｐ1に配置して音圧信号と映像信号とを採取するとともに、複数のマイクロフォンＭ６〜Ｍ９を備えた音採取ユニット２０を第２の観測点Ｐ2に配置して音圧信号を採取し、これらの音圧信号をＡ／Ｄ変換した第１及び第２の観測点Ｐ1，Ｐ2の音圧波形データＡ１，Ａ２を用いて第１の観測点Ｐ1からみた音源Ｐkの水平角θ1及び仰角φ1と第２の観測点Ｐ2からみた音源Ｐkの水平角θ2を求めた後、水平角θ1，θ2と第１及び第２の観測点Ｐ1，Ｐ2の位置座標から音源Ｐkと第１の観測点Ｐ1との水平距離Ｌxyを求め、この水平距離Ｌxyと水平角θ1とを極座標表示した水平投影画像Ｒkを作成するとともに、第１の観測点Ｐ1で採取した映像信号をＡ／Ｄ変換した画像データＧ１と水平角θ1及び仰角φ1とから、画像中に音源Ｐkの方向を示す図形が描画された音源推定用画像Ｇkを作成し、水平投影画像Ｒkと音源推定用画像Ｇkと距離Ｌのデータとを表示手段４０の表示画面４０Ｍに表示するようにしたので、音源Ｐkを確実に把握できるとともに、音源Ｐkが移動している場合や音源Ｐkが間欠的に音を発する音源である場合でも、音源Ｐk及び音源Ｐkと観測点との距離をリアルタイムで把握することができる。
【００２８】
なお、前記実施の形態では、低周波数帯域の音源を計測する音源推定システムについて説明したが、これに限るものではなく、注目する音の周波数帯域により、マイクロフォンの間隔を変更することで、任意の周波数帯域の音を含む音源を計測することが可能である。
また、前記例では、音・映像採取ユニット１０と音採取ユニット２０とを用いたが、２台の音・映像採取ユニット１０を用いてもよい。この場合には、装置の備品点数は増えるが、音源Ｐkが中央に映っている方の画像データを用いて音源推定用画像Ｇkを作成できるという利点がある。また、音源Ｐkが移動している場合には、音源推定用画像Ｇkを切換えるなどできるので、音源Ｐkを確実に把握できる。
【００２９】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は前記実施の形態に記載の範囲には限定されない。前記実施の形態に、多様な変更または改良を加えることが可能であることが当業者にも明らかである。そのような変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲から明らかである。
【産業上の利用可能性】
【００３０】
以上説明したように、本発明によれば、観測点で採取した音の音圧信号と映像信号とから音源を推定するとともに、推定された音源と観測点との距離を算出することができるので、音源を確実にかつリアルタイムで把握することができる。
【符号の説明】
【００３１】
１０ 音・映像採取ユニット、１１ 第１の音採取手段、
１２ ＣＣＤカメラ（カメラ）、１３，２３ マイクロフォン支持台、
１３１〜１３３ 支持板、１３４ 連結板、
１３５，１３６ 脚部、１４ カメラ支持部材、１５，２５ 回転台、１５１ 固定部、
１５２ 回転軸、１６，２６ 基台、
Ｍ１〜Ｍ５ 音・映像採取ユニットのマイクロフォン、
２０ 音採取ユニット、２１ 第２の音採取手段、
Ｍ６〜Ｍ９ 音採取ユニットのマイクロフォン、
３０ 演算・表示装置、３１ 増幅器、３２ Ａ／Ｄ変換器、３３ 映像入出力手段、
３４ 記憶手段、３５ 音源方向推定手段、３６ 音源距離算出手段、
３６ａ 水平距離算出部、３６ｂ 音源距離算出部、３７ 水平投影画像作成手段、
３８ 音源推定用画像作成手段、３９ 表示画像作成手段、４０ 表示手段、
４０Ｍ 表示画面。
【技術分野】
【０００１】
本発明は、複数のマイクロフォンで採取した音の情報と撮影手段で撮影した映像の情報とを用いて音源を推定する方法とその装置に関するもので、特に推定された音源と観測点との距離を求める方法に関する。
【背景技術】
【０００２】
従来、音の到来方向を推定する方法としては、観測点に多数のマイクロフォンを等間隔に配置したマイクロフォンアレーを構築し、基準となるマイクロフォンに対する各マイクロフォンの位相差から音波の到来方向である音源の方向を推定する、いわゆる音響学的手法が考案されている（例えば、非特許文献１参照）。
一方、観測点に配置された複数のマイクロフォンの出力信号の位相差からではなく、複数のマイクロフォンから互いに交わる直線状に配置された複数のマイクロフォン対を構成し、対となる２つのマイクロフォン間の位相差に相当する到達時間差と、他の対となる２つのマイクロフォン間の到達時間差との比から音源の方向を推定する方法が提案されている（例えば、特許文献１〜３参照）。
【０００３】
具体的には、図７に示すように、４個のマイクロフォンＭ１〜Ｍ４を、互いに直交する２直線上にそれぞれ所定の間隔で配置された２組のマイクロフォン対（Ｍ１，Ｍ３）及びマイクロフォン対（Ｍ２，Ｍ４）を構成するように配置し、前記マイクロフォン対（Ｍ１，Ｍ３）を構成するマイクロフォンＭ１，Ｍ３に入力する音圧信号の到達時間差Ｄ13と、前記マイクロフォン対（Ｍ２，Ｍ４）を構成するマイクロフォンＭ２，Ｍ４に入力する音圧信号の到達時間差Ｄ24との比から、観測点と音源の位置との水平角θを推定するとともに、第５のマイクロフォンＭ５を前記マイクロフォンＭ１〜Ｍ４の作る平面上にない位置に配置して、更に４組のマイクロフォン対（Ｍ５, Ｍ１），（Ｍ５, Ｍ２），（Ｍ５, Ｍ３），（Ｍ５, Ｍ４）を構成し、前記各マイクロフォン対を構成するマイクロフォン間の到達時間差Ｄ13，Ｄ24及びＤ5j（ｊ＝１〜４）から、観測点と音源の位置との成す仰角φを推定する。
観測点から測った音源方向は、前記水平角θと前記仰角φとにより表わせる。
【０００４】
これにより、マイクロフォンアレーを用いて音源方向を推定する場合に比較して、少ないマイクロフォン数で音源方向を正確に推定することができる。
また、このとき、ＣＣＤカメラ等の映像採取手段を設けて前記推定された音源方向の画像を撮影した後、この画像データと音源方向のデータとを合成して、映像中に前記推定した音源方向と音圧レベルとを図形で表示した音源推定用画像をディスプレイ等の表示画面に表示するようにすれば、音源を視覚的に把握することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−１８１９１３号公報
【特許文献２】特開２００６−３２４８９５号公報
【特許文献３】特開２００８−２２４２５９号公報
【非特許文献】
【０００６】
【非特許文献１】大賀寿郎，山崎芳男，金田豊；音響システムとディジタル処理，コロナ社，１９９５
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、前記従来の方法では、ディスプレイ等の表示画面に表示された図形からマイクロフォンで採取した音の音源については推定することはできるが、推定された音源と観測点との距離を測定するには、別の観測点にて前記推定された音源の音源方向を推定し、これら２つの観測点で推定された音源方向から音源と観測点との距離を算出しなければならなかった。そのため、移動する音源や間欠的に音を発する音源などについては、音源と観測点との距離をリアルタイムで算出することが困難であった。
【０００８】
本発明は、従来の問題点に鑑みてなされたもので、観測点で観測した音の情報である音圧信号と映像の情報である映像信号とから音源を推定するとともに、推定された音源と観測点との距離をリアルタイムで算出する方法とその装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本願の請求項１に記載の発明は、複数のマイクロフォンと撮影手段とを用いて音の情報である音圧信号と映像の情報である映像信号とを採取し、この採取した音圧信号のデータと画像データとを用いて音源を推定する方法であって、互いに交わる２つの直線上にそれぞれ所定の間隔で配置されて２組のマイクロフォン対を構成する第１〜第４のマイクロフォンと前記２組のマイクロフォン対の作る平面上にない第５のマイクロフォンと撮影手段とを備えた音・映像採取ユニットを第１の観測点に設置し、前記第１〜第４のマイクロフォンと同じ状態に配置された第６〜第９のマイクロフォンを備えた音採取ユニットを前記第１の観測点とは異なる第２の観測点に設置して音の情報である音圧信号と映像の情報である映像信号とを採取するステップ（ａ）と、前記第１の観測点にて採取した音圧信号と映像信号と前記第２の観測点にて採取した音圧信号とをＡ／Ｄ変換してそれぞれ第１の音圧波形データ、画像データ、及び、第２の音圧波形データとして記憶するステップ（ｂ）と、前記第１及び第２の音圧波形データを用いて、前記第１〜第５のマイクロフォンで採取した音圧信号の位相差を算出して前記第１の観測点から見た音源方向の水平角θ1と仰角φ1とを推定するとともに、前記第６〜第９のマイクロフォンで採取した音圧信号の位相差を算出して前記第２の観測点から見た音源方向の水平角θ2を推定するステップ（ｃ）と、予め入力された前記第１の観測点における第１〜第４のマイクロフォンの中心座標と前記第２の観測点における第６〜第９のマイクロフォンの中心座標、及び、前記ステップ（ｃ）で推定された水平角θ1，θ2を用いて、前記第１の観測点と音源との水平距離Ｌxyを求めるステップ（ｄ）と、前記求められた水平距離Ｌxyと前記仰角φ1とを用いて前記第１の観測点と音源との距離Ｌを求めるステップ（ｅ）と、前記ステップ（ｃ）で推定された前記第１の観測点から見た音源方向の水平角θ1と仰角φ1と前記ステップ（ｂ）で記憶した画像データとを合成し、前記推定された音源方向を示す図形が描画された音源推定用画像を作成するステップ（ｆ）と、前記音源推定用画像を表示手段の表示画面に表示して音源を推定するステップ（ｇ）とを有し、前記ステップ（ａ）では、前記第６〜第９のマイクロフォンを、第１〜第４のマイクロフォンと同一平面内で、かつ、前記第１〜第４のマイクロフォンが配列される互いに交わる２つの直線の方向と前記第６〜第９のマイクロフォンが配列される互いに交わる２つの直線の方向とが一致するように前記第２の観測点に設置し、前記ステップ（ｃ）では、前記音・映像採取ユニットの２組のマイクロフォン対を構成するマイクロフォン間の位相差と、前記第５のマイクロフォンと前記２組のマイクロフォン対を構成する４個のマイクロフォンのそれぞれとで構成される４組のマイクロフォン対を構成するマイクロフォン間の位相差とを用いて前記第１の観測点から見た音源方向の水平角θ1と仰角φ1を推定し、前記音採取ユニットの２組のマイクロフォン対を構成するマイクロフォン間の位相差を用いて前記第２の観測点から見た音源方向の水平角θ2を推定することを特徴とする。
このように、第１の観測点にて採取した音圧信号のデータから推定された水平角θ1及び仰角φ1と第１の観測点にて採取した映像信号の画像データとを用いて作成した音源推定用画像から音源を推定するとともに、前記水平角θ1及び仰角φ1と第２の観測点で推定された水平角θ2とから第１の観測点と音源との距離Ｌを求めるようにしたので、音源の推定と推定された音源と観測点との距離とをリアルタイムで計測することができる。
【００１０】
請求項２に記載の発明は、複数のマイクロフォンと撮影手段とを用いて音の情報である音圧信号と映像の情報である映像信号とを採取し、この採取した音圧信号のデータと画像データとを用いて音源を推定する装置であって、互いに交わる２つの直線上にそれぞれ所定の間隔で配置されて２組のマイクロフォン対を構成する第１〜第４のマイクロフォンと前記２組のマイクロフォン対の作る平面上にない第５のマイクロフォンと撮影手段とを備え、第１の観測点に設置されて、音の情報である音圧信号と映像の情報である映像信号とを採取する音・映像採取ユニットと、前記第１〜第４のマイクロフォンと同じ状態に配置された第６〜第９のマイクロフォンを備え、前記第１の観測点とは異なる第２の観測点に設置されて音圧信号を採取する音採取ユニットと、前記第１の観測点にて採取した音圧信号と映像信号と前記第２の観測点にて採取した音圧信号とをＡ／Ｄ変換するＡ／Ｄ変換器と、前記Ａ／Ｄ変換された前記第１の観測点にて採取した音圧信号と、前記第２の観測点にて採取した音圧信号と、前記第１の観測点にて採取した映像信号とを、それぞれ第１の音圧波形データ、第２の音圧波形データ、及び、画像データとして記憶する記憶手段と、前記音・映像採取ユニットの２組のマイクロフォン対を構成するマイクロフォン間の位相差と、前記第５のマイクロフォンと前記第１〜第４のマイクロフォンのそれぞれとで構成される４組のマイクロフォン対を構成するマイクロフォン間の位相差とを用いて前記第１の観測点から見た音源方向の水平角θ1と仰角φ1とを推定し、前記音採取ユニットの２組のマイクロフォン対を構成するマイクロフォン間の位相差を用いて前記第２の観測点から見た音源方向の水平角θ2を推定する音源方向推定手段と、前記推定された第１の観測点から見た音源方向の水平角θ1と仰角φ1と前記記憶手段に記憶されている画像データとを合成し、前記推定された音源の方向を示す図形が描画された音源推定用画像を作成する音源推定用画像作成手段と、前記音源推定用画像を表示画面に表示する表示手段と、予め入力された前記第１の観測点における第１〜第４のマイクロフォンの中心座標と前記第２の観測点における第６〜第９のマイクロフォンの中心座標、及び、前記音源方向推定手段にて推定された水平角θ1，θ2を用いて、前記第１の観測点と前記推定された音源方向にある音源との水平距離Ｌxyを求める水平距離算出手段と、前記求められた水平距離Ｌxyと前記仰角φ1とを用いて前記第１の観測点と音源との距離Ｌを求める距離算出手段とを備え、前記音採取ユニットは、前記第６〜第９のマイクロフォンが前記第１〜第４のマイクロフォンと同一平面内にあり、かつ、前記第１〜第４のマイクロフォンが配列される互いに交わる２つの直線の方向と前記第６〜第９のマイクロフォンが配列される互いに交わる２つの直線の方向とが一致するように、前記第２の観測点に設置されていることを特徴とする。
このような構成を採ることにより、第１の観測点にて採取した音圧信号のデータから推定された水平角θ1及び仰角φ1と第１の観測点にて採取した映像信号の画像データとを用いて作成した音源推定用画像から音源を推定できるとともに、前記水平角θ1及び仰角φ1と第２の観測点で推定された水平角θ2とから第１の観測点と音源との距離Ｌを求めることができるので、音源の推定、及び、音源と観測点との距離をリアルタイムで計測できる。
【００１１】
請求項３に記載の発明は、請求項２に記載の音源推定装置において、前記第１の観測点と音源との水平距離Ｌxyを半径とし、前記水平角θ1を回転角とした音源の水平投影画像を作成する手段を設け、前記表示手段が、前記作成された音源の水平投影画像を前記表示手段に表示することを特徴とする。
このように、第１の観測点と音源との距離Ｌと水平角θ1とを極座標表示した水平投影画像を表示画面に表示すれば、音源が観測点からどの方向にありかつどれだけ離れているのかを容易に把握することができる。
請求項４に記載の発明は、請求項３に記載の音源推定装置において、前記水平投影画像を予め設定した時間間隔毎に作成して前記表示手段に表示するようにしたので、音源が移動している場合でも、音源が観測点からどの方向にどれだけ移動しているかを容易に把握することができる。
【００１２】
なお、前記発明の概要は、本発明の必要な全ての特徴を列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となり得る。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施の形態に係る音源推定システムの構成を示す図である。
【図２】音・映像採取ユニットと音採取ユニットの配置例を示す図である。
【図３】本発明による音源推定方法を示すフローチャートである。
【図４】第１の観測点と音源との水平距離Ｌxyを算出する方法を示す図である。
【図５】第１の観測点と音源との距離Ｌを算出する方法を示す図である。
【図６】表示画面の一例を示す図である。
【図７】従来マイクロフォン対を用いた音源探査方法におけるマイクロフォンの配列を示す図である。
【発明を実施するための形態】
【００１４】
以下、実施の形態を通じて本発明を詳説するが、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また、実施の形態の中で説明される特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１５】
以下、本発明の実施の形態について、図面に基づき説明する。
図１は音源推定システムの構成を示す機能ブロック図である。
本発明の音源推定システムは、音・映像採取ユニット１０と音採取ユニット２０と演算・表示装置３０とを備える。音・映像採取ユニット１０は第１の観測点Ｐ1に設置され、音採取ユニット２０は第１の観測点Ｐ1とは異なる第２の観測点Ｐ２に設置される。
音・映像採取ユニット１０は、図２にも示すように、第１の音採取手段１１と、映像採取手段としてのＣＣＤカメラ（以下、カメラという）１２と、マイクロフォン支持台１３と、カメラ支持部材１４と、回転台１５と、基台１６とを備える。
第１の音採取手段１１は複数のマイクロフォンＭ１〜Ｍ５を備える。
マイクロフォンＭ１〜Ｍ５は、図示しない音源から伝播される音の音圧信号の大きさである音圧レベルをそれぞれ測定する。
マイクロフォンＭ１〜Ｍ５の配置は、図７に示したものと同様で、４個のマイクロフォンＭ１〜Ｍ４を、互いに直交する２直線上にそれぞれ所定の間隔で配置された２組のマイクロフォン対（Ｍ１，Ｍ３）及びマイクロフォン対（Ｍ２，Ｍ４）を構成するように配置するとともに、第５のマイクロフォンＭ５を前記マイクロフォンＭ１〜Ｍ４の作る平面上にない位置、詳細には、マイクロフォンＭ１〜Ｍ４の作る正方形を底面とする四角錐の頂点の位置に配置する。これにより、更に４組のマイクロフォン対（Ｍ５, Ｍ１）〜（Ｍ５, Ｍ４）が構成される。
以下、マイクロフォンＭ１〜Ｍ４は水平面上に設置されるものとし、音・映像採取ユニット１０の向きを図２の矢印Ｄの方向（マイクロフォンＭ３からマイクロフォンＭ１に向かう方向）をｘ方向、矢印Ｄに直交する方向をｙ方向という。
【００１６】
マイクロフォン支持台１３は、第１〜第３の支持板１３１〜１３３と、連結板１３４と、脚部１３５，１３６とを備える。
第１の支持板１３１は、ｘ方向に延長してマイクロフォン対（Ｍ１，Ｍ３）を搭載する棒状の部材で、マイクロフォンＭ１，Ｍ３は第１の支持板１３１の両端部にそれぞれ固定される。第２の支持板１３２は、ｙ方向に延長してマイクロフォン対（Ｍ２，Ｍ４）を搭載する棒状の部材で、マイクロフォンＭ２，Ｍ４は第２の支持板１３２の両端部にそれぞれ固定される。連結板１３４は、第１及び第２の支持板１３１，１３２をその中心にて連結する板状の部材で、第１及び第２の支持板１３１，１３２と連結板１３４とは、マイクロフォンＭ１〜Ｍ４が水平面上に設置されるように一体に構成される。
連結板１３４の中心、すなわち、マイクロフォンＭ１〜Ｍ４の中心点の位置が第１の観測点Ｐ1の位置（ｘ1，ｙ1，ｚ1）である（図２（ｂ）参照）。
第３の支持板１３３は、第２の支持板１３２上で連結板１３４の中心から等距離の位置にそれぞれ立設された脚部１３５，１３６上に取付けられた板状の部材で、この板状の部材の中心に第５のマイクロフォンＭ５が搭載される。
第１の観測点Ｐ1の位置座標をＰ1（ｘ1，ｙ1，ｚ1）＝（０，０，０）とすると、マイクロフォンＭ１〜Ｍ５はそれぞれ、Ｍ１＝（Ｌ/２，０，０）、Ｍ２＝（０，Ｌ/２，０）、Ｍ３＝（−Ｌ/２，０，０）、Ｍ４＝（０，−Ｌ/２，０，０）、Ｍ５＝（０，０，Ｌ/２）となる。Ｌはマイクロフォン対（Ｍ１，Ｍ３），（Ｍ２，Ｍ４）のマイクロフォン間隔で、計測する音の最大波長により決定される値で、本例では、周波数帯域が５０Ｈｚ〜５００Ｈｚの範囲のいわゆる低周波数帯域の音を含む音源を計測するため、Ｌ＝３００ｍｍとした。
【００１７】
カメラ支持部材１４は、第１の支持板１３１のマイクロフォンＭ１が搭載されている端部側で、かつ、マイクロフォンＭ１が搭載されている側とは反対側の面である裏面側に設けられてカメラ１２を支持する。本例では、カメラ１２の撮影方向を音・映像採取ユニット１０の向きである図２の矢印Ｄの方向とし、カメラ１２により、音・映像採取ユニット１０の向きに応じた映像を採取する。
回転台１５は、図示しないモータを内蔵した固定部１５１とモータの出力に連結された回転軸１５２とを備える。回転軸１５２は連結板１３４の中心に連結されている。
基台１６は３脚から成る支持部材で、この基台１６上に回転台１５が設置されている。
したがって、回転台１５の回転軸１５２を回転させることにより、音採取手段１１とカメラ１２とを一体に回転させることができる。
【００１８】
音採取ユニット２０は、第２の音採取手段２１と、マイクロフォン支持台２３と、回転台２５と、基台２６とを備える。
第２の音採取手段２１は複数のマイクロフォンＭ６〜Ｍ９を備える。
マイクロフォンＭ６〜Ｍ９は、図示しない音源から伝播される音の音圧信号の大きさである音圧レベルをそれぞれ測定する。
マイクロフォンＭ６〜Ｍ９の配置はマイクロフォンＭ１〜Ｍ４の配置と同じで、マイクロフォン対（Ｍ１，Ｍ３）とマイクロフォン対（Ｍ６，Ｍ８）とが対応し、マイクロフォン対（Ｍ２，Ｍ４）とマイクロフォン対（Ｍ７，Ｍ９）とが対応する。
マイクロフォンＭ６〜Ｍ９も水平面上に設置される。音採取ユニット２０の向きは音・映像採取ユニット１０の向きと同じく、図２の矢印Ｄの方向である。
音採取ユニット２０は、第５のマイクロフォンとカメラとを有しないこと以外は音・映像ユニット１０と同構成で、マイクロフォン支持台２３は、第１及び第２の支持板２３１，２３２と連結板２３４とを備えている。すなわち、第３の支持板１３３に相当する部材と脚部１３５，１３６に相当する部材とカメラ支持部材１４に相当する部材はなく、回転台１５に相当する部材が回転台２５で、基台１６に相当する部材が基台２６である。
音採取ユニット２０も回転台２５の回転軸２５２を回転させることにより、マイクロフォンＭ６〜Ｍ９を一体に回転させることができる。
連結板２３４の中心、すなわち、マイクロフォンＭ５〜Ｍ９の中心点の位置が第２の観測点Ｐ2となる（図２（ｂ）参照）。
本例では、第２の観測点Ｐ2を、第１の観測点Ｐ1から測って、マイクロフォンＭ４からマイクロフォンＭ２に向かう方向（ｙ方向）に距離をＫだけ離れた箇所に設けている。なお、第１の観測点Ｐ1と第２の観測点Ｐ2とは同じ水平面上に設けられる。すなわち、第１の観測点Ｐ1の位置座標をＰ1（ｘ1，ｙ1，ｚ1）とすると、第２の観測点Ｐ2の位置座標はＰ2（ｘ2，ｙ2，ｚ2）＝（ｘ1，ｙ1＋Ｋ，ｚ1）である。
【００１９】
演算・表示装置３０は、増幅器３１と、Ａ／Ｄ変換器３２と、映像入出力手段３３と、記憶手段３４と、音源方向推定手段３５と、音源距離算出手段３６と、水平投影画像作成手段３７と、音源推定用画像作成手段３８と、表示画像作成手段３９と、表示手段４０とを備える。音源方向推定手段３５から表示画像作成手段３９までの各手段は、例えば、コンピュータのソフトウェアにより構成され、記憶手段３４はコンピュータのハードディスクなどのメモリーが使用される。なお、Ａ／Ｄ変換器３２及び映像入出力手段３３についてもコンピュータに組み込んでもよい。
増幅器３１はローパスフィルタを備え、指令信号が入力されると、マイクロフォンＭ１〜Ｍ５で採取した音の音圧信号とマイクロフォンＭ６〜Ｍ９で採取した音の音圧信号とからそれぞれ高周波ノイズ成分を除去するとともに、前記各音圧信号を増幅してＡ／Ｄ変換器３２に出力する。
Ａ／Ｄ変換器３２は、前記各音圧信号をＡ／Ｄ変換した音圧波形データを作成し、これを所定時間Ｔp（例えば、Ｔp＝１／３０秒）毎に記憶手段３４に送る。音圧波形データは、第１の観測点Ｐ1で観測された音の音圧波形データＡ１と第２の観測点Ｐ２で観測された音の音圧波形データＡ２とが記憶手段３４の別領域にそれぞれ記憶される。
映像入出力手段３３は、カメラ１２で撮影された映像信号を入力してＡ/Ｄ変換し、このＡ/Ｄ変換されたデータである画像データＧ１を前記所定時間Ｔp毎に記憶手段３４に送る。
記憶手段３４には、音圧波形データＡ１，Ａ２と、画像データＧ１とが前記所定時間Ｔp毎に順次保存される。なお、第１の観測点Ｐ1の位置座標Ｐ1（ｘ1，ｙ1，ｚ1）と、第２の観測点Ｐ２の位置座標Ｐ2（ｘ2，ｙ2，ｚ2）も記憶手段３４に保存される。
【００２０】
音源方向推定手段３５は、記憶手段３４から、前記所定時間Ｔp毎に音源方向の推定演算を行うための音圧波形データＡ１を取出して各マイクロフォンＭ１〜Ｍ５間の位相差を求め、求められた位相差から第１の観測点Ｐ1からみた音源方向の水平角θ1と仰角φ1とを演算するとともに、音圧波形データＡ２を取出して各マイクロフォンＭ６〜Ｍ９間の位相差を求め、求められた位相差から第２の観測点Ｐ2からみた音源方向の水平角θ2を演算する。
第１の観測点Ｐ1からみた音源方向の水平角θ1と仰角φ1と第２の観測点Ｐ2からみた音源方向の水平角θ2とが音源距離算出手段３６に出力され、前記水平角θ1と仰角φ1とが音源推定用画像作成手段３８に出力される。また、前記水平角θ1は水平投影画像作成手段３７に出力される。
音源距離算出手段３６は水平距離算出部３６ａと音源距離算出部３６ｂとを備える。
水平距離算出部３６ａは、第１の観測点Ｐ1からみた音源方向の水平角θ1と第２の観測点Ｐ2からみた音源方向の水平角θ2とから音源の位置座標の水平成分（ｘk，ｙk）を求め、求められた水平成分（ｘk，ｙk）と第１の観測点Ｐ1の位置座標の水平成分（ｘ1，ｙ1）とから第１の観測点Ｐ1と音源との水平距離Ｌxyを算出する。水平距離Ｌxyは水平投影画像作成手段３７に出力される。
音源距離算出部３６ｂは、前記水平距離Ｌxyと第１の観測点Ｐ1からみた音源方向の仰角φ1とから第１の観測点Ｐ1と音源との距離Ｌを算出する。距離Ｌは表示画像作成手段３９に出力される。
【００２１】
水平投影画像作成手段３７は、音源方向推定手段３５で推定された第１の観測点Ｐ1からみた音源方向の水平角θ1と音源距離算出手段３６の水平距離算出部３６ａで算出された第１の観測点Ｐ1と音源との水平距離Ｌxyとから、水平距離Ｌxyと水平角θ1とを極座標表示した水平投影画像Ｒkを作成して表示画像作成手段３９に出力する。水平投影画像においては、半径方向の長さが水平距離Ｌxyで回転角が水平角θ1である。
音源推定用画像作成手段３８は、記憶手段３４に記憶された画像データＧ１と音源方向推定手段３５で推定された第１の観測点Ｐ1からみた音源方向の水平角θ1と仰角φ1とから画像中に音源の方向を示す図形が描画された音源推定用画像Ｇkを作成して表示画像作成手段３９に出力する。
表示画像作成手段３９は、音源距離算出手段３６で算出された第１の観測点Ｐ1と音源との距離Ｌを表示する距離表示画像Ｌkを作成するとともに、この距離表示画像Ｌkと水平投影画像Ｒkと音源推定用画像Ｇkとを組み合わせた表示画像Ｍkを表示手段４０に出力する。
表示手段４０は、ディスプレイなどの表示画面４０Ｍを備え、表示画像作成手段３９で作成された表示画像Ｍkを表示画面４０Ｍに表示する。
【００２２】
次に、本発明による音源推定方法について、図３のフローチャートを参照して説明する。
まず、音・映像採取ユニット１０を第１の観測点Ｐ1にセットし、音採取ユニット２０を第２の観測点Ｐ2にセットするとともに、第１の観測点Ｐ1の位置座標Ｐ1（ｘ1，ｙ1，ｚ1）と第２の観測点Ｐ2の位置座標Ｐ2（ｘ2，ｙ2，ｚ2）とを演算・表示装置３０に入力して記憶手段３４に記憶させる（ステップＳ１０）。
このとき、音・映像採取ユニット１０と音採取ユニット２０とを、所定距離Ｋだけ離して、同じ水平面上に設置するとともに、音・映像採取ユニット１０の向きと音採取ユニット２０との向きを一致させることが肝要である。マイクロフォンＭ１〜Ｍ４の高さと水平度は基台１６の脚の長さを調整して確保し、マイクロフォンＭ６〜Ｍ９の高さと水平度は基台２６の脚の長さを調整して確保する。また、音・映像採取ユニット１０の向きと音採取ユニット２０の向きとは回転台１５と回転台２５とをそれぞれ調整して確保する。マイクロフォン支持台１３の第２の支持板１３２とマイクロフォン支持台２３の第２の支持板２３２とを一直線上にかつ同じ方向に配置するにはレーザー墨出し器を用い、音・映像採取ユニット１０と音採取ユニット２０との距離Ｋを確認するにはレーザー距離計を用いると、音・映像採取ユニット１０と音採取ユニット２０とを精度よく配置することができる。なお、カメラ１２はマイクロフォン支持台１３の第１の支持板１３１に取付けられているので、特に調整の必要はない。
【００２３】
次に、マイクロフォンＭ１〜Ｍ５にて第１の観測点Ｐ1に到達した音の音圧信号を採取するとともに、カメラ１２にて第１の観測点Ｐ1から測定場所の映像を採取する。このとき、同時に、マイクロフォンＭ６〜Ｍ９にて第２の観測点Ｐ2に到達した音の音圧信号を採取する（ステップＳ１１）。
マイクロフォンＭ１〜Ｍ５で採取された音圧信号とマイクロフォンＭ６〜Ｍ９で採取された音圧信号は、増幅器３１で増幅された後、Ａ／Ｄ変換器３２でＡ／Ｄ変換される。一方、カメラ１２で採取された映像信号は映像入出力手段３３でＡ／Ｄ変換される（ステップＳ１２）。
Ａ／Ｄ変換された音圧信号と映像信号とは、それぞれ、記憶手段３４に、音圧波形データＡ１，Ａ２、及び、画像データＧ１として保存される（ステップＳ１３）。
次に、音源方向推定手段３５にて音圧波形データＡ１を取出してＦＦＴにて周波数解析し、各マイクロフォンＭ１〜Ｍ４間の位相差を求め、求められた位相差から第１の観測点Ｐ1からみた音源方向の水平角θ1を演算する（ステップＳ１４）とともに、音圧波形データＡ２を取出してＦＦＴにて周波数解析し、各マイクロフォンＭ６〜Ｍ９間の位相差を求め、求められた位相差から第２の観測点Ｐ2からみた音源方向の水平角θ2を演算する（ステップＳ１５）。ステップＳ１６では、各マイクロフォンＭ１〜Ｍ５間の位相差から第１の観測点Ｐ1からみた音源方向の仰角φ1を演算する。ステップＳ１４〜ステップＳ１６の各処理は並列に行ってもよいし、ステップ順に行ってもよい。なお、本例では、位相差に代えて、位相差に比例する物理量である到達時間差Ｄijを用いて水平角θ及び仰角φを求めている。
このステップＳ１４〜ステップＳ１６における水平角θ及び仰角φの計算方法については後述する。
【００２４】
次に、ステップＳ１７で、図４に示すように、第１の観測点Ｐ1からみた音源方向の水平角θ1と第１の観測点Ｐ1の位置座標の水平成分ｐ1（ｘ1，ｙ1）とを用いて、第１の観測点Ｐ1を通り傾きが水平角θ1に等しい直線ｌ1の式を求め、ステップＳ１８で、第２の観測点Ｐ2からみた音源方向の水平角θ2と第２の観測点Ｐ2の位置座標の水平成分ｐ2（ｘ2，ｙ2）とを用いて、第２の観測点Ｐ2を通り傾きが水平角θ2に等しい直線ｌ2の式を求める。
ステップＳ１９では、直線ｌ1と直線ｌ2との交点ｐkの座標を求めて、第１の観測点Ｐ1と音源Ｐkとの水平距離Ｌxyを算出する。交点ｐkの座標ｐk（ｘk，ｙk）が音源Ｐkの位置座標の水平成分であるので、この音源Ｐkの位置座標の水平成分ｐk（ｘk，ｙk）と第１の観測点Ｐ1の位置座標の水平成分ｐ1（ｘ1，ｙ1）とから、第１の観測点Ｐ1と音源Ｐkとの水平距離Ｌxyを算出することができる。
ステップＳ２０では、図５に示すように、第１の観測点Ｐ1と音源Ｐkとの水平距離ＬxyとステップＳ１６で推定した第１の観測点Ｐ1からみた音源方向の仰角φ1とを用いて、第１の観測点Ｐ1と音源Ｐkとの距離Ｌを算出する。なお、同図において、Ｐ’kは音源ＰkのマイクロフォンＭ１〜Ｍ４の作る平面への正射影である。
【００２５】
ステップ２１では、図６の右下の円形のグラフに示すような、水平投影画像用の極座標画像を作成し、この極座標画像上に、ステップＳ１９で算出した第１の観測点Ｐ1と音源との水平距離ＬxyとステップＳ１４で推定された第１の観測点Ｐ1からみた音源方向の水平角θ1とを成分とする点（ｒ，θ）＝（Ｌxy，θ1）を描画した水平投影画像Ｒkを作成する。
また、ステップ２２では、ステップＳ１４，Ｓ１６で推定した第１の観測点Ｐ1からみた音源方向の水平角θ1と仰角φ1、ステップＳ１３で保存した画像データＧ１とを合成し、図６の中央上側に示すような、合成された画像中に網目模様の丸印などの周波数毎の音源の方向を示す図形Ｃが描画された音源推定用画像Ｇkを作成する。この図形Ｃの模様は周波数を示し大きさは音圧信号の大きさを表すので、大きな図形Ｃがある領域で、かつ、図形Ｃの重なりの重心位置を算出し、この重心位置を音源Ｐkの位置とし、音源推定用画像Ｇk上に描画する。図６の映像は、建設現場に導入されたショベルカーを撮影したもので、ショベルカーのエンジン付近での音が最も大きい。なお、図には示していないが、ショベルカーが移動しているときには、キャタピラ近傍の振動音も観測される。
ステップ２１とステップ２２の処理が終了すると、ステップＳ２３に進み、表示画面４０Ｍの水平投影画像表示欄４０ａに水平投影画像Ｒkを表示し、音源推定用画像表示欄４０ｂに音源推定用画像Ｇkを表示するとともに、音源データ表示欄４０ｃに音源Ｐkの位置データである水平角θ1と仰角φ1と距離Ｌとを表示する。
なお、前記処理を保存された音圧波形データＡ１，Ａ２及び画像データＧ１について、所定時間Ｔp毎に行って、水平投影画像Ｒkと音源推定用画像Ｇkとを作成して表示するとともに、水平角θ1と仰角φ1と距離Ｌとを表示するようにすれば、音源Ｐkが移動している場合や音源Ｐkが間欠的に音を発する音源である場合でも、音源Ｐkと観測点との距離をリアルタイムで把握することができる。
【００２６】
ステップＳ１４〜ステップＳ１６における水平角θ及び仰角φの計算方法は以下の通りである。
各マイクロフォン対（Ｍｉ, Ｍｊ）のマイクロフォンＭｉとマイクロフォンＭｊとの間の到達時間差をＤijとすると、音の入射方向の水平角θは以下の式（１）で表わせるので、マイクロフォンＭ１〜Ｍ４の出力信号、及び、マイクロフォンＭ６〜Ｍ９の出力信号をＦＦＴを用いて周波数分析し、対象となる周波数ｆにおける各マイクロフォンＭｉ，Ｍｊ間の到達時間差Ｄijを算出することにより、第１の観測点Ｐ1からみた音源方向の水平角θ1及び第２の観測点Ｐ2からみた音源方向の水平角θ2を推定することができる。
また、音の入射方向の仰角φは以下の式（２）で表わせるので、マイクロフォンＭ１〜Ｍ５の出力信号をＦＦＴを用いて周波数分析し、対象となる周波数ｆにおける各マイクロフォンＭｉ，Ｍｊ間の到達時間差Ｄijを算出することにより、第１の観測点Ｐ1からみた音源方向の水平角φ1を推定することができる。
【数１】
すなわち、互いに直交する２直線上にそれぞれ所定の間隔で配置された２組のマイクロフォン対（Ｍ１，Ｍ３）及びマイクロフォン対（Ｍ２，Ｍ４）を構成するマイクロフォンＭ１，Ｍ３に入力する音圧信号の到達時間差Ｄ13と、前記マイクロフォン対（Ｍ２，Ｍ４）を構成するマイクロフォンＭ２，Ｍ４に入力する音圧信号の到達時間差Ｄ24との比から、第１の観測点Ｐ1からみた音源方向の水平角θ1を推定することができる。第２の観測点Ｐ2からみた音源方向の水平角θ2の推定も水平角θ1の推定と同様に行うことができる。
また、マイクロフォンＭ１〜Ｍ５間の到達時間差Ｄijから第１の観測点Ｐ1からみた音源方向の仰角φ1を推定することができる。
なお、前記到達時間差Ｄijは、２つのマイクロフォン対（Ｍｉ，Ｍｊ）に入力される信号のクロススペクトルＰij（ｆ）を求め、更に、対象とする前記周波数ｆの位相角情報Ψ（ｒａｄ）を用いて、以下の式（３）を用いて算出される。
【数２】
【００２７】
このように、本実施の形態では、複数のマイクロフォンＭ１〜Ｍ５とカメラ１２とを備えた音・映像採取ユニット１０を第１の観測点Ｐ1に配置して音圧信号と映像信号とを採取するとともに、複数のマイクロフォンＭ６〜Ｍ９を備えた音採取ユニット２０を第２の観測点Ｐ2に配置して音圧信号を採取し、これらの音圧信号をＡ／Ｄ変換した第１及び第２の観測点Ｐ1，Ｐ2の音圧波形データＡ１，Ａ２を用いて第１の観測点Ｐ1からみた音源Ｐkの水平角θ1及び仰角φ1と第２の観測点Ｐ2からみた音源Ｐkの水平角θ2を求めた後、水平角θ1，θ2と第１及び第２の観測点Ｐ1，Ｐ2の位置座標から音源Ｐkと第１の観測点Ｐ1との水平距離Ｌxyを求め、この水平距離Ｌxyと水平角θ1とを極座標表示した水平投影画像Ｒkを作成するとともに、第１の観測点Ｐ1で採取した映像信号をＡ／Ｄ変換した画像データＧ１と水平角θ1及び仰角φ1とから、画像中に音源Ｐkの方向を示す図形が描画された音源推定用画像Ｇkを作成し、水平投影画像Ｒkと音源推定用画像Ｇkと距離Ｌのデータとを表示手段４０の表示画面４０Ｍに表示するようにしたので、音源Ｐkを確実に把握できるとともに、音源Ｐkが移動している場合や音源Ｐkが間欠的に音を発する音源である場合でも、音源Ｐk及び音源Ｐkと観測点との距離をリアルタイムで把握することができる。
【００２８】
なお、前記実施の形態では、低周波数帯域の音源を計測する音源推定システムについて説明したが、これに限るものではなく、注目する音の周波数帯域により、マイクロフォンの間隔を変更することで、任意の周波数帯域の音を含む音源を計測することが可能である。
また、前記例では、音・映像採取ユニット１０と音採取ユニット２０とを用いたが、２台の音・映像採取ユニット１０を用いてもよい。この場合には、装置の備品点数は増えるが、音源Ｐkが中央に映っている方の画像データを用いて音源推定用画像Ｇkを作成できるという利点がある。また、音源Ｐkが移動している場合には、音源推定用画像Ｇkを切換えるなどできるので、音源Ｐkを確実に把握できる。
【００２９】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は前記実施の形態に記載の範囲には限定されない。前記実施の形態に、多様な変更または改良を加えることが可能であることが当業者にも明らかである。そのような変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲から明らかである。
【産業上の利用可能性】
【００３０】
以上説明したように、本発明によれば、観測点で採取した音の音圧信号と映像信号とから音源を推定するとともに、推定された音源と観測点との距離を算出することができるので、音源を確実にかつリアルタイムで把握することができる。
【符号の説明】
【００３１】
１０ 音・映像採取ユニット、１１ 第１の音採取手段、
１２ ＣＣＤカメラ（カメラ）、１３，２３ マイクロフォン支持台、
１３１〜１３３ 支持板、１３４ 連結板、
１３５，１３６ 脚部、１４ カメラ支持部材、１５，２５ 回転台、１５１ 固定部、
１５２ 回転軸、１６，２６ 基台、
Ｍ１〜Ｍ５ 音・映像採取ユニットのマイクロフォン、
２０ 音採取ユニット、２１ 第２の音採取手段、
Ｍ６〜Ｍ９ 音採取ユニットのマイクロフォン、
３０ 演算・表示装置、３１ 増幅器、３２ Ａ／Ｄ変換器、３３ 映像入出力手段、
３４ 記憶手段、３５ 音源方向推定手段、３６ 音源距離算出手段、
３６ａ 水平距離算出部、３６ｂ 音源距離算出部、３７ 水平投影画像作成手段、
３８ 音源推定用画像作成手段、３９ 表示画像作成手段、４０ 表示手段、
４０Ｍ 表示画面。
【特許請求の範囲】
【請求項１】
互いに交わる２つの直線上にそれぞれ所定の間隔で配置されて２組のマイクロフォン対を構成する第１〜第４のマイクロフォンと前記２組のマイクロフォン対の作る平面上にない第５のマイクロフォンと撮影手段とを備えた音・映像採取ユニットを第１の観測点に設置し、前記第１〜第４のマイクロフォンと同じ状態に配置された第６〜第９のマイクロフォンを備えた音採取ユニットを前記第１の観測点とは異なる第２の観測点に設置して音の情報である音圧信号と映像の情報である映像信号とを採取するステップ（ａ）と、
前記第１の観測点にて採取した音圧信号と映像信号と前記第２の観測点にて採取した音圧信号とをＡ／Ｄ変換してそれぞれ第１の音圧波形データ、画像データ、及び、第２の音圧波形データとして記憶するステップ（ｂ）と、
前記第１及び第２の音圧波形データを用いて、前記第１〜第５のマイクロフォンで採取した音圧信号の位相差を算出して前記第１の観測点から見た音源方向の水平角θ1と仰角φ1とを推定するとともに、前記第６〜第９のマイクロフォンで採取した音圧信号の位相差を算出して前記第２の観測点から見た音源方向の水平角θ2を推定するステップ（ｃ）と、
予め入力された前記第１の観測点における第１〜第４のマイクロフォンの中心座標と前記第２の観測点における第６〜第９のマイクロフォンの中心座標、及び、前記ステップ（ｃ）で推定された水平角θ1，θ2を用いて、前記第１の観測点と音源との水平距離Ｌxyを求めるステップ（ｄ）と、
前記求められた水平距離Ｌxyと前記仰角φ1とを用いて前記第１の観測点と音源との距離Ｌを求めるステップ（ｅ）と、
前記ステップ（ｃ）で推定された前記第１の観測点から見た音源方向の水平角θ1と仰角φ1と前記ステップ（ｂ）で記憶した画像データとを合成し、前記推定された音源方向を示す図形が描画された音源推定用画像を作成するステップ（ｆ）と、
前記音源推定用画像を表示手段の表示画面に表示して音源を推定するステップ（ｇ）と、を有し、
前記ステップ（ａ）では、前記第６〜第９のマイクロフォンを、第１〜第４のマイクロフォンと同一平面内で、かつ、前記第１〜第４のマイクロフォンが配列される互いに交わる２つの直線の方向と前記第６〜第９のマイクロフォンが配列される互いに交わる２つの直線の方向とが一致するように前記第２の観測点に設置し、
前記ステップ（ｃ）では、
前記音・映像採取ユニットの２組のマイクロフォン対を構成するマイクロフォン間の位相差と、前記第５のマイクロフォンと前記２組のマイクロフォン対を構成する４個のマイクロフォンのそれぞれとで構成される４組のマイクロフォン対を構成するマイクロフォン間の位相差とを用いて前記第１の観測点から見た音源方向の水平角θ1と仰角φ1とを推定し、前記音採取ユニットの２組のマイクロフォン対を構成するマイクロフォン間の位相差を用いて前記第２の観測点から見た音源方向の水平角θ2を推定することを特徴とする音源推定方法。
【請求項２】
互いに交わる２つの直線上にそれぞれ所定の間隔で配置されて２組のマイクロフォン対を構成する第１〜第４のマイクロフォンと前記２組のマイクロフォン対の作る平面上にない第５のマイクロフォンと撮影手段とを備え、第１の観測点に設置されて、音の情報である音圧信号と映像の情報である映像信号とを採取する音・映像採取ユニットと、
前記第１〜第４のマイクロフォンと同じ状態に配置された第６〜第９のマイクロフォンを備え、前記第１の観測点とは異なる第２の観測点に設置されて音圧信号を採取する音採取ユニットと、
前記第１の観測点にて採取した音圧信号と映像信号と前記第２の観測点にて採取した音圧信号とをＡ／Ｄ変換するＡ／Ｄ変換器と、
前記Ａ／Ｄ変換された前記第１の観測点にて採取した音圧信号と、前記第２の観測点にて採取した音圧信号と、前記第１の観測点にて採取した映像信号とを、それぞれ第１の音圧波形データ、第２の音圧波形データ、及び、画像データとして記憶する記憶手段と、
前記音・映像採取ユニットの２組のマイクロフォン対を構成するマイクロフォン間の位相差と、前記第５のマイクロフォンと前記第１〜第４のマイクロフォンのそれぞれとで構成される４組のマイクロフォン対を構成するマイクロフォン間の位相差とを用いて前記第１の観測点から見た音源方向の水平角θ1と仰角φ1とを推定し、前記音採取ユニットの２組のマイクロフォン対を構成するマイクロフォン間の位相差を用いて前記第２の観測点から見た音源方向の水平角θ2を推定する音源方向推定手段と、
前記推定された第１の観測点から見た音源方向の水平角θ1と仰角φ1と前記記憶手段に記憶されている画像データとを合成し、前記推定された音源の方向を示す図形が描画された音源推定用画像を作成する音源推定用画像作成手段と、
前記音源推定用画像を表示画面に表示する表示手段と、
予め入力された前記第１の観測点における第１〜第４のマイクロフォンの中心座標と前記第２の観測点における第６〜第９のマイクロフォンの中心座標、及び、前記音源方向推定手段にて推定された水平角θ1，θ2を用いて、前記第１の観測点と前記推定された音源方向にある音源との水平距離Ｌxyを求める水平距離算出手段と、
前記求められた水平距離Ｌxyと前記仰角φ1とを用いて前記第１の観測点と音源との距離Ｌを求める距離算出手段と、
を備え、
前記音採取ユニットは、前記第６〜第９のマイクロフォンが前記第１〜第４のマイクロフォンと同一平面内にあり、かつ、前記第１〜第４のマイクロフォンが配列される互いに交わる２つの直線の方向と前記第６〜第９のマイクロフォンが配列される互いに交わる２つの直線の方向とが一致するように、前記第２の観測点に設置されていることを特徴とする音源推定装置。
【請求項３】
前記第１の観測点と音源との水平距離Ｌxyを半径とし、前記水平角θ1を回転角とした音源の水平投影画像を作成する手段を設け、
前記表示手段は、前記作成された音源の水平投影画像を前記表示手段に表示することを特徴とする請求項２に記載の音源推定装置。
【請求項４】
前記水平投影画像を予め設定した時間間隔毎に作成して前記表示手段に表示することを特徴とする請求項３に記載の音源推定装置。
【請求項１】
互いに交わる２つの直線上にそれぞれ所定の間隔で配置されて２組のマイクロフォン対を構成する第１〜第４のマイクロフォンと前記２組のマイクロフォン対の作る平面上にない第５のマイクロフォンと撮影手段とを備えた音・映像採取ユニットを第１の観測点に設置し、前記第１〜第４のマイクロフォンと同じ状態に配置された第６〜第９のマイクロフォンを備えた音採取ユニットを前記第１の観測点とは異なる第２の観測点に設置して音の情報である音圧信号と映像の情報である映像信号とを採取するステップ（ａ）と、
前記第１の観測点にて採取した音圧信号と映像信号と前記第２の観測点にて採取した音圧信号とをＡ／Ｄ変換してそれぞれ第１の音圧波形データ、画像データ、及び、第２の音圧波形データとして記憶するステップ（ｂ）と、
前記第１及び第２の音圧波形データを用いて、前記第１〜第５のマイクロフォンで採取した音圧信号の位相差を算出して前記第１の観測点から見た音源方向の水平角θ1と仰角φ1とを推定するとともに、前記第６〜第９のマイクロフォンで採取した音圧信号の位相差を算出して前記第２の観測点から見た音源方向の水平角θ2を推定するステップ（ｃ）と、
予め入力された前記第１の観測点における第１〜第４のマイクロフォンの中心座標と前記第２の観測点における第６〜第９のマイクロフォンの中心座標、及び、前記ステップ（ｃ）で推定された水平角θ1，θ2を用いて、前記第１の観測点と音源との水平距離Ｌxyを求めるステップ（ｄ）と、
前記求められた水平距離Ｌxyと前記仰角φ1とを用いて前記第１の観測点と音源との距離Ｌを求めるステップ（ｅ）と、
前記ステップ（ｃ）で推定された前記第１の観測点から見た音源方向の水平角θ1と仰角φ1と前記ステップ（ｂ）で記憶した画像データとを合成し、前記推定された音源方向を示す図形が描画された音源推定用画像を作成するステップ（ｆ）と、
前記音源推定用画像を表示手段の表示画面に表示して音源を推定するステップ（ｇ）と、を有し、
前記ステップ（ａ）では、前記第６〜第９のマイクロフォンを、第１〜第４のマイクロフォンと同一平面内で、かつ、前記第１〜第４のマイクロフォンが配列される互いに交わる２つの直線の方向と前記第６〜第９のマイクロフォンが配列される互いに交わる２つの直線の方向とが一致するように前記第２の観測点に設置し、
前記ステップ（ｃ）では、
前記音・映像採取ユニットの２組のマイクロフォン対を構成するマイクロフォン間の位相差と、前記第５のマイクロフォンと前記２組のマイクロフォン対を構成する４個のマイクロフォンのそれぞれとで構成される４組のマイクロフォン対を構成するマイクロフォン間の位相差とを用いて前記第１の観測点から見た音源方向の水平角θ1と仰角φ1とを推定し、前記音採取ユニットの２組のマイクロフォン対を構成するマイクロフォン間の位相差を用いて前記第２の観測点から見た音源方向の水平角θ2を推定することを特徴とする音源推定方法。
【請求項２】
互いに交わる２つの直線上にそれぞれ所定の間隔で配置されて２組のマイクロフォン対を構成する第１〜第４のマイクロフォンと前記２組のマイクロフォン対の作る平面上にない第５のマイクロフォンと撮影手段とを備え、第１の観測点に設置されて、音の情報である音圧信号と映像の情報である映像信号とを採取する音・映像採取ユニットと、
前記第１〜第４のマイクロフォンと同じ状態に配置された第６〜第９のマイクロフォンを備え、前記第１の観測点とは異なる第２の観測点に設置されて音圧信号を採取する音採取ユニットと、
前記第１の観測点にて採取した音圧信号と映像信号と前記第２の観測点にて採取した音圧信号とをＡ／Ｄ変換するＡ／Ｄ変換器と、
前記Ａ／Ｄ変換された前記第１の観測点にて採取した音圧信号と、前記第２の観測点にて採取した音圧信号と、前記第１の観測点にて採取した映像信号とを、それぞれ第１の音圧波形データ、第２の音圧波形データ、及び、画像データとして記憶する記憶手段と、
前記音・映像採取ユニットの２組のマイクロフォン対を構成するマイクロフォン間の位相差と、前記第５のマイクロフォンと前記第１〜第４のマイクロフォンのそれぞれとで構成される４組のマイクロフォン対を構成するマイクロフォン間の位相差とを用いて前記第１の観測点から見た音源方向の水平角θ1と仰角φ1とを推定し、前記音採取ユニットの２組のマイクロフォン対を構成するマイクロフォン間の位相差を用いて前記第２の観測点から見た音源方向の水平角θ2を推定する音源方向推定手段と、
前記推定された第１の観測点から見た音源方向の水平角θ1と仰角φ1と前記記憶手段に記憶されている画像データとを合成し、前記推定された音源の方向を示す図形が描画された音源推定用画像を作成する音源推定用画像作成手段と、
前記音源推定用画像を表示画面に表示する表示手段と、
予め入力された前記第１の観測点における第１〜第４のマイクロフォンの中心座標と前記第２の観測点における第６〜第９のマイクロフォンの中心座標、及び、前記音源方向推定手段にて推定された水平角θ1，θ2を用いて、前記第１の観測点と前記推定された音源方向にある音源との水平距離Ｌxyを求める水平距離算出手段と、
前記求められた水平距離Ｌxyと前記仰角φ1とを用いて前記第１の観測点と音源との距離Ｌを求める距離算出手段と、
を備え、
前記音採取ユニットは、前記第６〜第９のマイクロフォンが前記第１〜第４のマイクロフォンと同一平面内にあり、かつ、前記第１〜第４のマイクロフォンが配列される互いに交わる２つの直線の方向と前記第６〜第９のマイクロフォンが配列される互いに交わる２つの直線の方向とが一致するように、前記第２の観測点に設置されていることを特徴とする音源推定装置。
【請求項３】
前記第１の観測点と音源との水平距離Ｌxyを半径とし、前記水平角θ1を回転角とした音源の水平投影画像を作成する手段を設け、
前記表示手段は、前記作成された音源の水平投影画像を前記表示手段に表示することを特徴とする請求項２に記載の音源推定装置。
【請求項４】
前記水平投影画像を予め設定した時間間隔毎に作成して前記表示手段に表示することを特徴とする請求項３に記載の音源推定装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−１５００５９（Ｐ２０１２−１５００５９Ａ）
【公開日】平成２４年８月９日（２０１２．８．９）
【国際特許分類】
【出願番号】特願２０１１−１０１８４（Ｐ２０１１−１０１８４）
【出願日】平成２３年１月２０日（２０１１．１．２０）
【出願人】（０００２１３２９７）中部電力株式会社 (811)
【出願人】（０００００１３１７）株式会社熊谷組 (551)
【Ｆターム（参考）】
【公開日】平成２４年８月９日（２０１２．８．９）
【国際特許分類】
【出願日】平成２３年１月２０日（２０１１．１．２０）
【出願人】（０００２１３２９７）中部電力株式会社 (811)
【出願人】（０００００１３１７）株式会社熊谷組 (551)
【Ｆターム（参考）】
[ Back to top ]