説明

音源方向推定装置及びプログラム

【課題】 ハードウェア規模が小さく、かつ推定精度が高い音源方向推定装置を提供する。
【解決手段】 音を採取する複数のマイクを備える。また、ある位置に音源があった場合に、各マイク位置にその音源からの音が伝達する際の空間伝達関数の逆特性を、異なる複数の位置について予め保持しておく。そして、各マイクが採取した音信号に対し、そのマイクについて保持されている、複数の位置の空間伝達関数の逆特性を適用して、採取した音信号の音源位置(未知である)の音信号を推定する。そして、異なるマイクについて、推定された音源位置での音信号が一致する(音信号の相関が高い)ものを探索し、未知音源の少なくとも方向の情報を得る。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は音源方向推定装置及びプログラムに関し、例えば、頭部等の身体部位に対する音源の向きを推定する場合に適用し得るものである。
【背景技術】
【0002】
人間は、左右の耳で聴く音の違いから、音源の方向、距離を認知する。左右の耳で聴く音の違いは、音源から左右の耳までの距離の違い、すなわち、音が空間を伝播する際に与えられる特性(周波数特性、位相特性、音量など)の違いに起因する。ある音源からの信号に対して、この特性の違いを意図的に付加することにより、任意の方向、距離に認識させることができる。音源が耳まで到達する際に付加される特性を表すものとして、HRTF(頭部伝達関数)と呼ばれるものが良く知られている。予め音源から耳までのHRTFを測定し、これを音源信号に付加することにより、音源から音が聴こえるように認識させることができる。更に、頭部の動きを検知して、頭部が右に回転した場合には音源位置を左に移動させたり、頭部が左に回転した場合には音源位置を右に移動させたりすることにより、恰も一定の場所に音源があるかのように認識させることができる。
【0003】
音源に対する頭部の向きや動きを検知する方法として、GPS(全地球測位システム)を用いる手法(特許文献1参照)、加速度センサを用いる手法(特許文献2参照)、地磁気センサを用いる手法(特許文献3参照)などが従来から存在する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2002−267737
【特許文献2】特開2003−139536
【特許文献3】特開2003−167039
【発明の概要】
【発明が解決しようとする課題】
【0005】
上述した特許文献1〜特許文献3に記載の方法は、いずれも専用のハードウェアが必要であり、装置規模やコストが増大してしまうという課題があった。
【0006】
本発明は、上述の課題に鑑みてなされたものであり、ハードウェア規模が小さく、かつ推定精度が高い音源方向推定装置及びプログラムを提供しようとするものである。
【課題を解決するための手段】
【0007】
第1の本発明の音源方向推定装置は、(1)音を採取する複数の音採取手段と、(2)ある位置に音源があった場合に、上記各音採取手段の位置にその音源からの音が伝達する際の空間伝達関数の逆特性を、異なる複数の位置について予め保持している逆特性保持手段と、(3)上記各音採取手段が採取した音信号に対し、その音採取手段について保持されている、複数の位置の空間伝達関数の逆特性を適用して、採取した音信号の音源位置での音信号を推定する音源位置音信号推定手段と、(4)異なる採取音信号を利用して推定された複数の、音源位置での音信号の一致性を各位置毎に表す判定用関数を得る判定用関数生成手段と、(5)生成された判定用関数に基づき、複数の上記音採取手段と、採取された音に係る音源とを結ぶ方向の情報を得る方向情報取得手段とを備えることを特徴とする。
【0008】
第2の本発明の音源方向推定プログラムは、複数の音採取手段が採取した音信号が与えられるコンピュータを、(1)ある位置に音源があった場合に、上記各音採取手段の位置にその音源からの音が伝達する際の空間伝達関数の逆特性を、異なる複数の位置について予め保持している逆特性保持手段と、(2)上記各音採取手段が採取した音信号に対し、その音採取手段について保持されている、複数の位置の空間伝達関数の逆特性を適用して、採取した音信号の音源位置での音信号を推定する音源位置音信号推定手段と、(3)異なる採取音信号を利用して推定された複数の、音源位置での音信号の一致性を各位置毎に表す判定用関数を得る判定用関数生成手段と、(4)生成された判定用関数に基づき、複数の上記音採取手段と、採取された音に係る音源とを結ぶ方向の情報を得る方向情報取得手段として機能させることを特徴とする。
【発明の効果】
【0009】
本発明によれば、ハードウェア規模が小さく、かつ推定精度が高い音源方向推定装置及びプログラムを提供することができる。
【図面の簡単な説明】
【0010】
【図1】第1の実施形態における推定原理を説明するために、一対のマイクの取付けの様子を示す説明図である。
【図2】第1の実施形態における推定原理を説明するために、音源と空間伝達関数の経路との関係を示す説明図である。
【図3】第1の実施形態の音源方向推定装置の構成を示すブロック図である。
【図4】第1の実施形態における音場関数c(m)の一例を示す説明図である。
【図5】第2の実施形態における推定原理の説明図である。
【図6】第2の実施形態の音源方向推定装置の構成を示すブロック図である。
【図7】第1の実施形態に係る音源方向推定装置の用途例を示すブロック図である。
【発明を実施するための形態】
【0011】
(A)第1の実施形態
以下、本発明による音源方向推定装置及びプログラムを、頭部から見た音源の相対的な方向の推定に適用した第1の実施形態を、図面を参照しながら詳述する。
【0012】
(A−1)第1の実施形態における推定原理
まず、第1の実施形態の音源方向推定装置が適用している、頭部から見た音源の向きの推定原理を説明する。なお、音源は、音声や音響を発音するものだけでなく、雑音を発音するものであっても良い。
【0013】
今、図1に示すように、左右の耳の位置にマイクロフォン(以下、マイクと呼ぶ)101R及び101Lが設けられ、右耳用マイク101Rで採取された信号をyr(n)、左耳用マイク101Lで採取された信号をyl(n)とする。また、図2に示すように、正面(0度)にある音源の信号をx0(n)、正面にある音源から右耳までの空間伝達関数(頭部伝達関数)をH0R(z)、正面にある音源から左耳までの空間伝達関数をH0L(z)のように定義する。
【0014】
このとき、(1)式及び(2)式に示すような関係が成り立つ。但し、(1)式及び(2)式において、YR(z)はyr(n)をz変換したものであり、YL(z)はyl(n)をz変換したものである。なお、各パラメータにおける数字「0」は角度0(正面)に対応しており、以下のように、この数字部分に他の角度を表す数字を含むパラメータも存在する。
【0015】
YR(z)=H0R(z)・x0(z) …(1)
YL(z)=H0L(z)・x0(z) …(2)
(1)式及び(2)式はそれぞれ、(3)式及び(4)式に示すように変形することができる。
【0016】
x0(z)=H0R(z)−1・YR(z) …(3)
x0(z)=H0L(z)−1・YL(z) …(4)
ここで、上付きの−1は空間伝達関数のインバース(逆特性)を表し、(5)式及び(6)式の関係が成り立つ。
【0017】
H0R(z)・H0R(z)−1=1 …(5)
H0L(z)・H0L(z)−1=1 …(6)
(3)式及び(4)式からは、音源の向き(角度)が分かれば、採取した信号に対して、その角度に応じた空間伝達関数の逆特性を施すことにより、音源での信号(以下、音源信号と呼ぶ)が推定でき、しかも、右採取信号から推定した音源信号と左採取信号から推定した音源信号は一致することが分かる。2つの音源信号が一致することは、相関から見れば、非常に高い相関を示していることになる。
【0018】
一方、音源との角度と異なる空間伝達関数の逆特性を適用した場合には、右採取信号から推定した音源信号と左採取信号から推定した音源信号とは一致しない(すなわち、低い相関を示す)。例えば、音源が正面(0度)にある場合において、角度が45度の空間伝達関数の逆特性を適用した場合には、右採取信号から推定した音源信号と左採取信号から推定した音源信号とは一致しない。(7)式〜(9)式は、このような場合を示している。(7)式〜(9)式において、H45R(z)−1は正面から左45度にある音源から右耳までの空間伝達関数の逆特性、H45L(z)−1は正面から左45度にある音源から左耳までの空間伝達関数の逆特性、x45R(z)は右採取音声から角度45度として推定した音源信号、x45L(z)は左採取音声から角度45度として推定した音源信号である。H45R(z)−1・H0R(z)やH45L(z)−1・H0L(z)は1にはならない。
【0019】
x45R(z)=H45R(z)−1・YR(z)
=H45R(z)−1・H0R(z)・x0(z) …(7)
x45L(z)=H45L(z)−1・YL(z)
=H45L(z)−1・H0L(z)・x0(z) …(8)
x45R(z)≠x45L(z) …(9)
今、音源との角度が不明な状態で採取された右採取信号、左採取信号があったとする。これらの信号に対して、全ての角度(0度〜359度)の推定音源信号を得、右推定音源信号と左推定音源信号の相関をc(m)で表す(但し、m=0〜359)。このc(m)を音場関数と定義すると、実際の音源との角度(角度=M度)近傍の角度に対応する音場関数(c(M)、及びc(M)の近傍)の値は大きくなり、それ以外のものは値が小さくなる特性を示す。すなわち、音場関数の値が大きくなる角度が実際の音源との角度であり、音場関数から実際の音源との角度を推定することができる。
【0020】
(A−2)第1の実施形態の構成
図3は、上述した原理に従っている第1の実施形態の音源方向推定装置の機能的構成を示すブロック図である。
【0021】
第1の実施形態の音源方向推定装置100は、右耳用マイク101R、左耳用マイク101L、右耳用音源推定回路102R、左耳用音源推定回路102L、音場生成回路103及び音源方向推定回路104を有する。ここで、右耳用マイク101R及び左耳用マイク101L以外の部分は、CPUやDSP(コンピュータに搭載されたものを含む)と、そのCPUやDSPが実行する音源方向推定プログラムとによって実現することができる。
【0022】
右耳用マイク101R及び左耳用マイク101Lはそれぞれ、上述したように、音源からの信号を採取(捕捉)するものである。
【0023】
右耳用音源推定回路102Rは、右耳用マイク101Rが採取した信号yr(n)と、内部記憶している右耳用の各角度の空間伝達関数の逆特性とから、(3)式に示すような演算を実行し、全ての角度に対する右耳推定音源信号x0r(n)〜x359r(n)を得るものである。
【0024】
左耳用音源推定回路102Lは、左耳用マイク101Lが採取した信号yl(n)と、内部記憶している左耳用の各角度の空間伝達関数の逆特性とから、(4)式に示すような演算を実行し、全ての角度に対する左耳推定音源信号x0l(n)〜x359l(n)を得るものである。
【0025】
音場生成回路103は、右耳推定音源信号xmr(n)と左耳音源推定信号xml(n)とから、上述した音場関数c(m)を生成するものである。
【0026】
音源方向推定回路104は、音場関数c(m)の値に基づき、音源の方向を推定するものである。1つの音源を推定対象としている場合であれば、音源方向推定回路104は、例えば、音場関数c(m)の値が最も大きくなる角度θを取り出し、それを音源の方向と推定する。複数の音源を推定対象としている場合であれば、音源方向推定回路104は、例えば、図4に示すような音場関数c(m)の曲線上で極大値(但し、所定閾値以上であることを要する)を与える角度を全て取り出し、それぞれを異なる音源の方向と推定する。(A−3)第1の実施形態の動作
次に、第1の実施形態に係る音源方向推定装置100の動作を説明する。
【0027】
音源からの信号(音声又は音響)は、右耳用マイク101R及び左耳用マイク101Lによってそれぞれ、採取(捕捉)される。
【0028】
右耳用マイク101Rによる採取信号yr(n)は、右耳用音源推定回路102Rによって、右耳用音源推定回路102Rが内部記憶している右耳用の各角度の空間伝達関数の逆特性が乗算され、全ての角度に対する右耳推定音源信号x0r(n)〜x359r(n)が得られる。また、左耳用マイク101Lによる採取信号yl(n)は、左耳用音源推定回路102Lによって、左耳用音源推定回路102Lが内部記憶している左耳用の各角度の空間伝達関数の逆特性が乗算され、全ての角度に対する左耳推定音源信号x0l(n)〜x359l(n)が得られる。
【0029】
その後、音場生成回路103によって、右耳推定音源信号xmr(n)と左耳音源推定信号xml(n)とから、音場関数c(m)が生成される。
【0030】
音場関数c(m)の最大値若しくは極大値が、音源方向推定回路104によって検出され、最大値若しくは極大値に係る角度が、音源の方向を表すものとして推定される。
【0031】
(A−4)第1の実施形態の効果
第1の実施形態によれば、左右のマイクが採取した音声信号若しくは音響信号のみを用いた演算処理により音源方向を推定するため、必ずしも、専用若しくは複雑なハードウェアを必要とせず、装置規模、コストが小さくても、高精度の推定を可能とすることができる。
【0032】
(A−5)第1の実施形態の変形実施形態
第1の実施形態は、音源と、右耳用マイク101R及び左耳用マイク101Lとの距離が概ね一定であることを前提としている。
【0033】
音源と、右耳用マイク101R及び左耳用マイク101Lとの距離が不明の場合には、以下のようにすれば良い。すなわち、左右の耳用の各角度の空間伝達関数の逆特性として、複数の距離(例えば、50cmずつ異なる)のものを用意しておき、各距離毎に、音源の方向の推定動作を行う。この推定動作で最大値や極大値が検出された場合、所定の閾値を超えていて始めて、その距離のその方向に音源が存在すると推定する。
【0034】
(B)第2の実施形態
次に、本発明による音源方向推定装置及びプログラムを、頭部方位(頭部の向き)の推定に適用した第2の実施形態を、図面を参照しながら詳述する。
【0035】
(B−1)第2の実施形態における推定原理
まず、第2の実施形態の音源方向推定装置が適用している、頭部方位(頭部の向き)の推定原理を説明する。なお、第2の実施形態の場合、音源が固定若しくはほぼ固定されているものである。このような固定は短時間の間であっても良い。
【0036】
図5は、第2の実施形態における推定原理を説明するための図面である。時刻nにおいて、音源位置が正面(角度0)であった場合の音場関数c(m)はc(0)近傍の値が大きくなるような特性を示す。音場関数c(m)の表記における「n」は時刻nを表している。時刻n+1において頭部が時刻nより右に45度だけ回転したとする。このとき、その音場関数cn+1(m)は、cn+1(45)近傍の値が大きくなるような特性を示す。
【0037】
ここで、時刻nの音場関数c(m)と時刻n+1の音場関数c(m)との間には、(10)式に示すような関係が成立する。
【0038】
n+1(0)=c(315)
:
n+1(44)=c(359)
n+1(45)=c(0)
:
n+1(359)=c(314) …(10)
つまり、時刻n+1の音場関数cn+1(m)は、時刻nの音場関数c(m)を左に45度だけ回転させたように見える。このことから、音場関数の時間変化を観測すれば、頭部はそれと逆方向に動いていると推定できることが分かる。
【0039】
(B−2)第2の実施形態の構成及び動作
図6は、上述した原理に従っている第2の実施形態の音源方向推定装置の機能的構成を示すブロック図であり、第1の実施形態に係る図3との同一、対応部分には同一、対応符号を付して示している。
【0040】
図6において、第2の実施形態の音源方向推定装置100Aは、第1の実施形態における音源方向推定回路104に代えて、頭部方位推定回路105を設けたものである。
【0041】
頭部方位推定回路105は、前時刻n−1の音場関数cn−1(m)を記憶しており、新たな時刻nの音場関数c(m)が音場生成回路103から与えられたときには、上述した(10)式に示すような関係が成立する角度のずれDを求め、この角度Dを、前時刻n−1からの頭部の方位変化として推定するものである。
【0042】
(10)式に示すような関係が成立する角度ずれDの探索は、例えば、以下のように実行すれば良い。音場関数cn−1(m)及びc(m)のそれぞれについて、複数の極大値(最大値を含む)を複数求めると共に、前後の極大値間の角度差を求める。前後の極大値間の角度差を参照しつつ、一方の音場関数cn−1(m)における各極大値と他方の音場関数c(m)の各極大値とを対応付ける。対応付けた極大値間の角度のずれの平均を求めると共に、極大値以外の角度でも、この角度ずれで対応できることを確認し、(10)式に示すような関係が成立する角度ずれDを得る。
【0043】
(B−3)第2の実施形態の効果
第2の実施形態によれば、左右のマイクが採取した音声信号若しくは音響信号のみを用いた演算処理により音場関数を求めると共にその時間変化を観測して頭部の方位変化が推定できるため、必ずしも、専用若しくは複雑なハードウェアを必要とせず、装置規模、コストが小さくても、高精度の推定を可能とすることができる。
【0044】
(B−4)第2の実施形態の変形実施形態
上記第2の実施形態では、音源が固定で頭部が回動する場合を示したが、逆に、頭部方位が固定で、頭部を中心として音源が回動する場合の回動角を推定する場合にも、第2の実施形態の技術思想を適用することができる。
【0045】
(C)他の実施形態
上記でも、変形実施形態に言及したが、さらに、以下に例示するような変形実施形態を挙げることができる。
【0046】
上記では、一対(2つ)のマイクが左右の耳の近傍に位置するものを示したが、マイクの位置はこれに限定されるものではない。例えば、左右の肩にマイクを取り付け、胸部に係る方向や方位を推定するようにしても良い。
【0047】
上記では、一対(2つ)のマイクを利用し、2つのマイクと音源位置とを含む平面上で所望する方向や方位を捉えるものを示したが、3つ以上のマイクを利用して所望する方向や方位を捉えるようにしても良い。例えば、3つのマイクを三角形の頂点位置に配置し、第1及び第2のマイクの採取信号から、第1及び第2のマイクと音源位置とを含む第1の平面上で所望する方向や方位を捉え、第2及び第3のマイクの採取信号から、第2及び第3のマイクと音源位置とを含む第2の平面上で所望する方向や方位を捉え、第3及び第1のマイクの採取信号から、第3及び第1のマイクと音源位置とを含む第3の平面上で所望する方向や方位を捉え、得られた3種類の方向や方位を整理して、最終的に3次元上の方向や方位を推定するようにしても良い。
【0048】
上記各実施形態では、音源方向推定装置の用途に言及しなかったが、本発明の用途は限定されるものではない。
【0049】
図7は、第1の実施形態に係る音源方向推定装置100の用途の一例を示すブロック図である。
【0050】
図7において、符号200R及び200Lが付与された部材は、ヘッドフォンの右耳用及び左耳用のイヤーパッドを表しており、その内部は、右耳用のイヤーパッド200Rについて詳細に示すように、スピーカ201R、201L、マイク202R、202L、ミキシング回路203R、203L、増幅・減衰回路204R、204Lを含んでいる。携帯電話回路210は通話中か否かを表す状態信号Vを増幅・減衰回路204R及び204Lに与えると共に、通話中の受話音声信号を立体音響回路211に与える。立体音響回路211は、受話音声信号に対して、頭部伝達関数を適用して、左右の耳に対して正面の所定距離にある仮想音源位置からの左右の耳用の受話音声信号sr及びslを形成して、対応するミキシング回路203R、203Lに与える。各マイク202R、202Lが採取した採取信号は、音源方向推定装置100に与えられる。音源方向推定装置100は、音源の方向を上述したように推定すると共に、(3)式及び(4)式に示すような演算によってその音源信号も得る。
【0051】
通話中でない場合には、各増幅・減衰回路204R、204Lは、対応するマイク202R、202Lが採取した信号をそのまま若しくは多少増幅して、ミキシング回路203R、203L経由で対応するスピーカ201R、201Lに与えて発音出力させる。従って、ヘッドフォンの装着状態においても、周囲音をユーザは聴取することができる。
【0052】
通話中の場合には、各増幅・減衰回路204R、204Lは、音源方向推定装置100から与えられた周囲音音源の方向とその音源位置での音源信号とに基づき、左右の耳に対する正面から、所定角度範囲内にある周囲音音源からの音源信号を大きく減衰させ、若しくは、除去し、所定角度範囲を超えた方向の周囲音音源からの音源信号はさほど減衰させずに、ミキシング回路203R、203L経由で対応するスピーカ201R、201Lに与えて発音出力させる。従って、受話音声信号の仮想音源に近い位置を音源位置とする周囲音は通話中には聴取されず、受話音声信号の仮想音源と音源方向が大きく異なる周囲音は通話中にも聴取される。
【符号の説明】
【0053】
100、100A…音源方向推定装置、101R…右耳用マイク、101L…左耳用マイク、102R…右耳用音源推定回路、102L…左耳用音源推定回路、103…音場生成回路、104…音源方向推定回路、105…頭部方位推定回路。

【特許請求の範囲】
【請求項1】
音を採取する複数の音採取手段と、
ある位置に音源があった場合に、上記各音採取手段の位置にその音源からの音が伝達する際の空間伝達関数の逆特性を、異なる複数の位置について予め保持している逆特性保持手段と、
上記各音採取手段が採取した音信号に対し、その音採取手段について保持されている、複数の位置の空間伝達関数の逆特性を適用して、採取した音信号の音源位置での音信号を推定する音源位置音信号推定手段と、
異なる採取音信号を利用して推定された複数の、音源位置での音信号の一致性を各位置毎に表す判定用関数を得る判定用関数生成手段と、
生成された判定用関数に基づき、複数の上記音採取手段と、採取された音に係る音源とを結ぶ方向の情報を得る方向情報取得手段と
を備えることを特徴とする音源方向推定装置。
【請求項2】
上記方向情報取得手段は、生成された判定用関数において一致性が大きい位置を探索することにより、複数の上記音採取手段の配置を基準とした、未知音源の方向を取得することを特徴とする請求項1に記載の音源方向推定装置。
【請求項3】
上記方向情報取得手段は、生成された判定用関数の時間変化に基づき、採取した音信号の音源に対する、複数の上記音採取手段を取り付けた取付体の向きの変化を取得することを特徴とする請求項1に記載の音源方向推定装置。
【請求項4】
複数の音採取手段が採取した音信号が与えられるコンピュータを、
ある位置に音源があった場合に、上記各音採取手段の位置にその音源からの音が伝達する際の空間伝達関数の逆特性を、異なる複数の位置について予め保持している逆特性保持手段と、
上記各音採取手段が採取した音信号に対し、その音採取手段について保持されている、複数の位置の空間伝達関数の逆特性を適用して、採取した音信号の音源位置での音信号を推定する音源位置音信号推定手段と、
異なる採取音信号を利用して推定された複数の、音源位置での音信号の一致性を各位置毎に表す判定用関数を得る判定用関数生成手段と、
生成された判定用関数に基づき、複数の上記音採取手段と、採取された音に係る音源とを結ぶ方向の情報を得る方向情報取得手段と
して機能させることを特徴とする音源方向推定プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate