移動音像提示装置
【課題】 刻々と移り変わる位置情報のみを与えれば、ドップラー効果を含む演出効果が得られ、現実感・定位感の良い移動音像提示装置を提供する。
【解決手段】 頭部伝達関数を初期遅延と主応答に分離し、遅延についてはドップラー効果と共に処理をし、スペクトル成分は主応答部分で後からレンダリングをするようにしてドップラー効果を付加したので、レンダリング方法がより物理現象に近く(アプリケーション作成者に使用しやすく)、現実感がよいという効果が得られる。また、個人別により一致した頭部伝達関数を選択して使用することで、不特定多数の聴取者に対して現実感・定位感の良い移動音像を提示できるという効果が得られる。
【解決手段】 頭部伝達関数を初期遅延と主応答に分離し、遅延についてはドップラー効果と共に処理をし、スペクトル成分は主応答部分で後からレンダリングをするようにしてドップラー効果を付加したので、レンダリング方法がより物理現象に近く(アプリケーション作成者に使用しやすく)、現実感がよいという効果が得られる。また、個人別により一致した頭部伝達関数を選択して使用することで、不特定多数の聴取者に対して現実感・定位感の良い移動音像を提示できるという効果が得られる。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、三次元空間内で刻々と位置が変化する音像をパラメータ(音源・聴取者の位置情報,モノラル音源)と頭部伝達インパルス応答 (HRIR:Head Related Impulse Response 以後HRIRと記す)より演算処理を施し、聴取者に対して仮想現実的に移動音像を提示する移動音像提示装置の構成に関する。
【背景技術】
【0002】
三次元空間内で発せられた音は、反射、回折を始めとする様々な物理現象を経て最終的に両耳に届く。このような現象を聴衆者に擬似的に知覚させるには、原音を演出(レンダリング)を加える必要がある。
【0003】
考え得るレンダリングの種類は音源位置情報、初期反射音、後部残響音、回折音、ドップラー効果などがあるが、特に音がその位置を動的に変化させる場合、特に位置情報とドップラー効果が重要である。
【0004】
音源の位置をレンダリングするには、主に頭部伝達関数合成法が用いられている。このような技術は、例えば特許文献1に開示されている。特許文献1では、あらかじめ複数の位置で観測しておいた頭部音響伝達関数を用い、頭部音響伝達関数を近似するディジタルフィルターに距離減衰を加えることで任意の位置に音像を定位させる方法が示されている。しかしこの方法ではドップラー効果を得られないため、音像の定位感や現実感が十分ではない。
【0005】
従来の移動音像提示装置でのドップラー効果を伴う位置移動のレンダリングでは、予め周波数を必要なだけ上下にシフトさせた上で、位置を付加させるように二段でレンダリングさせている。
【0006】
【特許文献1】特開平8−265900号公報
【発明の開示】
【発明が解決しようとする課題】
【0007】
このように従来の技術では、距離に応じた音圧減衰で音像定位を行うため、実世界で存在する音源・聴取者の相対位置移動に伴うドップラー効果が考慮されておらず、現実感が足りないという問題があった。また、予め周波数をシフトさせる方法ではレンダリングが二段になるため物理現象との整合性が薄く、使用者及びアプリケーション開発者に煩雑な作業を要求するために使用しにくいという問題があった。
【0008】
また、頭部伝達関数は聴取者ごとに異なるため、予め実測した頭部伝達関数と聴取者の頭部伝達関数が異なると、音像の現実感・定位感が失われ、不特定多数の聴取者が使用するには難しいという問題がある。
【0009】
本発明は、位置情報のみを刻々と与えれば、位置情報とドップラー効果の両方が付加され、さらに個人間で異なる頭部伝達関数をより一致させることで、音像の現実感・定位感のよい移動音源提示装置を提供することを目的としている。
【課題を解決するための手段】
【0010】
本発明によれば、空間内の多数の点で測定したHRIRを記憶するHRIR記憶手段と、前記HRIRより遅延を取り除く遅延無HRTF演算手段と、前記遅延無しHRTF演算手段により計算されたHRIRを記憶するHRIR記憶手段と、両耳それぞれに生じるドップラー効果を演算する両耳到達波面算出手段と、畳み込み演算手段と、アプリケーション・聴取者との時間差を調整するパラメータ補間手段を具備し、音源・聴取者の位置・頭部の角度及びドップラー効果による両耳に到達する音波面の精密な模擬を行うことによって、聴取者に仮想現実的な三次元音像を提示することを特徴とした移動音像提示装置が得られる。
【0011】
また本発明の遅延無HRIR演算手段は、空間内の多数の点で測定したHRIRを記憶するHRIR記憶手段と、アップサンプリング手段と、HRIRの二つのペアに対して相互相関係数を演算し、その値が最大になるように片方のHRIRを遅延させるHRIR遅延手段と、一連の遅延処理を前記HRIR記憶手段に記憶している全HRIRに施した後、全てのHRIRから同一量の遅延を除去する遅延除去手段と、使用するサンプリング周波数に戻すためのダウンサンプリング手段から構成されることを特徴とする、遅延成分を取り除いたHRIRの算出方法及びHRIT算出手段を提供する。
【0012】
また本発明の両耳到達波面算出手段は、頭部の回折を考慮した伝達距離算出手段と、左右の伝達距離算出手段より算出された距離に対しアプリケーションによるパラメータ更新までにパラメータ補間を行い、毎補間ごとの距離差を補間間隔で除し左右それぞれの耳に到達する音の相対速度を算出する相対速度算出手段と、算出した相対速度から遅延線の音サンプル読み出し位置を決定する遅延時間成長率の算出手段と、遅延線からの音サンプル読み込みの際のポインタ補間手段と、伝達距離に応じた音の減衰を表現する距離減衰付加手段から構成され、遅延線からの音サンプル読み込み位置を遅延時間成長率に従い刻々と変化させることで、両耳に到達する波面を模擬し、両耳間時間差と両耳それぞれのドップラー効果の付加を可能にしたことを特徴とする移動音像提示装置を提供する。
【0013】
また本発明のHRIR記憶手段は、複数の人間から採取したHRIR情報を記憶してあり、HRIR選択手段によって聴取者個人により適合したHRIRを選択して使用することを特徴とした移動音像提示装置を提供する。
【0014】
また本発明のHRIR選択手段は、複数のHRTFより特定の軌道を持った仮想的な移動音像を作成し、あらかじめ聴取者に作成した移動音像の軌道を教示した上で二つの移動音源提示し、どちらの移動音源が教示した軌道と一致するかをトーナメント方式で次々に行い、聴取者個人に一番合致したHRTFを選択することによって、HRTFを個人化し、より定位感の高い三次元音像の提示を特徴とした移動音像提示装置を提供する。
【発明の効果】
【0015】
本発明によれば、頭部伝達関数を初期遅延と主応答に分離し、遅延についてはドップラー効果と共に処理をし、スペクトル成分は主応答部分で後からレンダリングをするようにしてドップラー効果を付加したので、レンダリング方法がより物理現象に近く(アプリケーション作成者に使用しやすく)、現実感がよいという効果が得られる。また、個人別により一致した頭部伝達関数を選択して使用することで、不特定多数の聴取者に対して提示する移動音像の現実感・定位感が向上するという効果が得られる。
【発明を実施するための最良の形態】
【0016】
以下、本発明の実施の形態について図面を参照しながら説明する。
【0017】
図1は本発明の実施の形態による移動音源提示装置の概略構成を示すブロック図である。図1を参照すると、移動音源提示装置300はアプリケーション100からの情報(音源位置101,聴取者位置102,モノラル音源データ103)を受け取って、それに基づいて演出(レンダリング)を施し、聴取者に装着されたヘッドホン200に伝達することで、聴取者に仮想現実的な音像を提示するものである。
【0018】
図1の移動音源提示装置300は、空間内の多数の点で測定したHRIRを記憶するHRIR記憶手段1と、聴視者に一番適合した個人化HRIRを選択する個人化HRIR選択手段2と、前記HRIRより遅延を取り除く遅延無HRTF演算手段3と、前記遅延無しHRTF演算手段3により計算されたHRIRを記憶する遅延無HRIR記憶手段4と、両耳それぞれに生じるドップラー効果を演算する両耳到達波面算出手段5と、畳み込み演算手段7と、アプリケーション・聴取者との時間差を調整するパラメータ補間手段6とから構成されている。
【0019】
図2は本発明における遅延無HRIR演算手段3の詳細を説明するための構成図である。
【0020】
図2において、本発明における個人化HRIR選択手段2は、すでに選択したものとして省略して記す。
【0021】
HRIR記憶手段1に予め空間内の多数の点で測定して記憶し、HRIR選択手段2で選択したHRIRは、アップサンプリング手段3aにおいて8倍のアップサンプリングが施される。この状態で、二つのHRIRに対して相互相関係数検査手段3bで相互相関関数を演算し、その値が最大になるように片方のHRIRをHRIR遅延手段3cで遅延させる。一連の遅延処理を前記HRIR記憶手段に記憶している全HRIRに施した後、初期遅延除去手段3dで全てのHRIRから同一量の遅延を除去する。
【0022】
なお、本実施例では8倍アップサンプリングとしたが、それ以外の数値も選択できる。
【0023】
図1の両耳到達波面計算手段5における伝達距離算出手段5aは、音源より発せられた音波が聴取者の両耳を通るまでに辿る経路を考えた算出手段である。本発明では図4のように2つの場合に分けた算出を行う。図4(a)のように、音源から球状を仮定した頭部に引いた接線の接点位置が両耳を結んだ直線(以後、耳軸と記す)をまたがない位置に存在する場合、音源から接点までの直線距離と接点から耳までの曲線距離を伝達距離とする。この場合、右耳への伝達距離は図中のR1+R2、左耳への伝達距離はL1+L2となる。これに対し図4(b)のように、接点が耳軸をまたいだ位置に存在する場合、片方の耳までの伝達距離は音源との直線距離により算出し、他方の耳は、前記と同様に音源と接点までの直線距離と接点から耳までの曲線距離により算出する。この場合、音源側の耳の到達距離は図中のD1、音源に対して影になる側の耳への到達距離はS1+S2となる。以上のように、本発明の実施例における移動音像提示装置の伝達距離算出手段は、単に音源と耳との直線距離を考えるのみでなく、回折を考慮した算出手法としている。
【0024】
相対速度算出手段5bは、前記伝達距離算出手段に示したように、回折経路を考慮したものにする必要がある。最も単純な算出手段として、音源及び聴取者の速度ベクトルを両耳方向に分解する方法があるが、この方法は、相対速度が音源から両耳への直線経路に依存したものとなる。そこで、本発明の移動音像提示装置では、微少時間における相対位置の変化に基づき相対速度を算出する。相対速度をνr、ある時間における一方の耳と音源との経路距離をγn、次の時刻における距離をγn+1とすると、補間間隔Δt時間における相対速度を次の数1式によって算出する。
【0025】
【数1】
【0026】
この方法により、相対速度は回折経路を考慮したものになる。
【0027】
遅延線5d1は、両耳に到達する音サンプルの読み出しをそれぞれの耳に対し独立に行うために用意する。アプリケーション100より得た音源サンプル103は単位時間あたりに1サンプルずつ左右の遅延線5d1に入れる。これに対し遅延線5d1から音サンプルを読み出す際は、前記の相対速度算出手段5bから伝達経路を考慮した相対速度を算出し、遅延時間成長率を算出し、音サンプル読み込み位置を動的に変化させ、ある時刻における両耳への到達音サンプルを算出する。
【0028】
前記のように、遅延線からの音サンプル読み出し位置の制御に遅延時間成長率を使用する。遅延時間成長率は、音源の速度をνsl、聴取者の速度をνlsとし、次の数2式
【数2】
により算出する。この遅延時間成長率を用いて、単位時間あたりに読み出し位置を次の数2−1式
【数2−1】
ずつインクリメントすることにより、両耳到達音波の模擬が可能になる。
【0029】
ポインタ補間手段5d2は、遅延線5d1上の読み出し位置が、整数値の遅延線インデックスを示していない場合に用いる。読み込み位置が整数インデックスを示す場合は、そのインデックスに格納されている音サンプル値を出力する。整数インデックスを示さない場合の補間は、ラグランジェ補間により、読み出し位置に対応する音サンプル値の算出を行う。ラグランジェ補間は、曲線の関数上の点を補間する方法であり、n+1点の座標(x0,y0)〜(xn,yn)が与えられたとき、このn+1を通るn次多項式を次の数3式により算出する。
【0030】
【数3】
【0031】
本装置では、前後それぞれ2サンプルずつのデータから3次の補間多項式を用いて所望の音サンプル値を算出する。
【0032】
距離減衰付加手段5eは、前記の手段を用いて求めた出力サンプルに対し、伝達距離に応じた音の減衰を付加する手段を指す。本装置では、無限大バフル内の振動体を仮定し、音源と各耳との距離をρ、音源の半径をσとし、次の数4式
【数4】
による減衰量を音サンプルに対し加える。
【0033】
以上の構成要素により移動音像提示装置は構成される。本装置を用いて、シミュレーションを行った結果を示す。シミュレーションの条件は、
・音源:4kHzを中心周波数とするオクターブバンドノイズ
・軌道:前方50m,左1.5mの方向から,後方に直線移動
・速度:1cm/ms (約時速36km)
・HRIR:ダミーヘッドを用いて録音されたもの
である。時間と周波数の関係として、音源のスペクトログラムを図4に、装置の左出力のスペクトログラムを図5に示す。
【0034】
図5が4kHzを中心としたオクターブバンド帯域における成分が定常的に優勢であるのに対し、図6では、時間によって、優勢な帯域が変化している。これにより、ドップラー効果が付加されていることが分かる。
【0035】
また、時間と音源位置との関係を調べるために、横軸を時間、縦軸を頭部中心からの音源角度として、時間と音源角度の関係を調べた。音源角度は、出力音の両耳間レベル差(ILD:Interaural Level Difference,以後ILDとする)とHRIRにおけるILDとの対応を調べることによって算出した。この結果を図7に示す。
【0036】
この音源角度は、正面方向を0度とし、半時計回りで増加する。図7を見ると、左前方から左後方に移動する軌道に応じた音源角度の変化をしていることがわかる。
【0037】
以上の結果から、本発明の実施例における移動音像提示装置は、位置とドップラー効果の同時模擬を実現していることがわかる。
【0038】
図3は本発明の一実施例におけるHRTF個人化手段2の具体的な音像提示位置を示す概念図である。
【0039】
HRTF個人化は下記の手順によって行う。
(1)予め複数の人間(本実施例では16人)からHRTFを計測して用意しておく。
(2)上記複数のHRTFを用いて、図3bに示される矢状面の軌道を持った仮想的な移動音像を作成する。
(3)聴取者に作成した移動音像の軌道を教示する。
(4)聴取者に二つずつ移動音像を提示し、どちらの音像があらかじめ教示した音像の軌道とイメージが合致していたかを比較・選択させる。
(5)この比較をトーナメント方式で行い、最終的に成績が良かったHRTFを決定し選択する。
【0040】
移動音像の軌道は、図3(a)に示されるような水平面に提示すると、左右の時間差のみで正確にHRTFの結果を反映し難いので、図3(b)のような矢状面が望ましい。
【0041】
(5)の手順で用いるトーナメントは、スイス式トーナメントを絞り込みに使用することでより厳密に個人化を行うことができるだけでなく、第二の候補や第三の候補となる聴覚ディスプレイの個人化HRTFを求めることができる。
【0042】
予め用意する音像の数は複数で多いほど良いが、トーナメントの性格上2の倍数または2の乗数がのぞましい。本実施例では初めに32個のHRTFを16組にわけ、それぞれどちらのHRTFを用いた場合の定位感が良いかを選択する。定位感の良いほうは一勝を獲得し悪いほうは一敗となる。次に同じ勝ち数のHRTF同士で16組をつくり選択する。
【0043】
無敗のHRTFが1つになるまでこれを繰り返す。
【0044】
このスイス式トーナメントを使用すれば、本来優秀な(より個人に合致した)HRTFが、早い段階で敗退して選択されないことを避けることができる。
【0045】
図8は、本発明による移動音像提示装置を、音空間訓練装置に適用した例である。
【0046】
聴取者に取り付けられる位置センサ付ヘッドホンと、同様に位置センサを具備したハンマー型コントローラと、移動音像提示装置からなる。
【0047】
移動音像提示装置では、音空間訓練アプリケーションにより指定された位置とヘッドホンに具備された位置センサによる頭部姿勢情報から仮想的な移動音像を提示する。
【0048】
聴取者は、提示された音像の場所をコントローラで指し示す。
【0049】
指し示す位置は、コントローラに具備された位置センサにより検出され、指し示した位置と提示音像の位置が同一だった場合には得点とする。
【0050】
このようなアプリケーションを用いることで、提示された移動音像を正確に把握して指し示す訓練を行うことができる。
【産業上の利用可能性】
【0051】
本発明に係る音源提示装置は、視覚障害者に三次元的な音像を提示して、音の位置を認識する訓練をおこなう訓練装置や、三次元的に提示される音像を操縦する娯楽機器等の様々な分野に適用できる。
【0052】
また本発明によって製造された移動音像提示装置は高精度聴覚ディスプレイとして広く用いることが出来る。
【図面の簡単な説明】
【0053】
【図1】本発明による移動音像提示装置の一実施例を示すブロック図である。
【図2】本発明の一実施例における移動音像提示装置の、遅延HRIR算出手段の詳細構成を示すブロック図である。
【図3】本発明の一実施例における移動音像提示装置の、個人化HRIR選択手段において、聴視者に提示する音像の軌道を示す図である。
【図4】本発明の一実施例における移動音像提示装置において、両耳までの伝達距離の算出手段を説明する概念図である。
【図5】本発明の移動音像提示装置の効果を説明するための音源のスペクトログラムを示す図である。
【図6】本発明の移動音像提示装置の効果を説明するための装置出力音のスペクトログラムを示す図である。
【図7】本発明の移動音像提示装置の効果を説明するための時間と音源角度との関係を示す図である。
【図8】本発明の移動音像提示装置の一実施例を訓練装置に応用したときの一実施例を示す図である。
【符号の説明】
【0054】
1 HRIR記憶手段
2 個人化HRIR選択手段
3 遅延無HRIR算出手段
4 遅延無HRIR記憶手段
5 両耳到達差波面算出手段
5a 伝達距離算出手段
5b 相対速度算出手段
5c 遅延時間成長率算出手段
5d 時変遅延回路
5d1 遅延線
5d2 ポインタ補間手段
5e 距離減衰付加手段
6a パラメータ補間手段
6b パラメータ補間手段
7 畳み込み演算手段
100 アプリケーション
101 音源位置
102 聴取者位置
103 モノラル音源データ
200 ヘッドホン
300 移動音像提示装置
【技術分野】
【0001】
本発明は、三次元空間内で刻々と位置が変化する音像をパラメータ(音源・聴取者の位置情報,モノラル音源)と頭部伝達インパルス応答 (HRIR:Head Related Impulse Response 以後HRIRと記す)より演算処理を施し、聴取者に対して仮想現実的に移動音像を提示する移動音像提示装置の構成に関する。
【背景技術】
【0002】
三次元空間内で発せられた音は、反射、回折を始めとする様々な物理現象を経て最終的に両耳に届く。このような現象を聴衆者に擬似的に知覚させるには、原音を演出(レンダリング)を加える必要がある。
【0003】
考え得るレンダリングの種類は音源位置情報、初期反射音、後部残響音、回折音、ドップラー効果などがあるが、特に音がその位置を動的に変化させる場合、特に位置情報とドップラー効果が重要である。
【0004】
音源の位置をレンダリングするには、主に頭部伝達関数合成法が用いられている。このような技術は、例えば特許文献1に開示されている。特許文献1では、あらかじめ複数の位置で観測しておいた頭部音響伝達関数を用い、頭部音響伝達関数を近似するディジタルフィルターに距離減衰を加えることで任意の位置に音像を定位させる方法が示されている。しかしこの方法ではドップラー効果を得られないため、音像の定位感や現実感が十分ではない。
【0005】
従来の移動音像提示装置でのドップラー効果を伴う位置移動のレンダリングでは、予め周波数を必要なだけ上下にシフトさせた上で、位置を付加させるように二段でレンダリングさせている。
【0006】
【特許文献1】特開平8−265900号公報
【発明の開示】
【発明が解決しようとする課題】
【0007】
このように従来の技術では、距離に応じた音圧減衰で音像定位を行うため、実世界で存在する音源・聴取者の相対位置移動に伴うドップラー効果が考慮されておらず、現実感が足りないという問題があった。また、予め周波数をシフトさせる方法ではレンダリングが二段になるため物理現象との整合性が薄く、使用者及びアプリケーション開発者に煩雑な作業を要求するために使用しにくいという問題があった。
【0008】
また、頭部伝達関数は聴取者ごとに異なるため、予め実測した頭部伝達関数と聴取者の頭部伝達関数が異なると、音像の現実感・定位感が失われ、不特定多数の聴取者が使用するには難しいという問題がある。
【0009】
本発明は、位置情報のみを刻々と与えれば、位置情報とドップラー効果の両方が付加され、さらに個人間で異なる頭部伝達関数をより一致させることで、音像の現実感・定位感のよい移動音源提示装置を提供することを目的としている。
【課題を解決するための手段】
【0010】
本発明によれば、空間内の多数の点で測定したHRIRを記憶するHRIR記憶手段と、前記HRIRより遅延を取り除く遅延無HRTF演算手段と、前記遅延無しHRTF演算手段により計算されたHRIRを記憶するHRIR記憶手段と、両耳それぞれに生じるドップラー効果を演算する両耳到達波面算出手段と、畳み込み演算手段と、アプリケーション・聴取者との時間差を調整するパラメータ補間手段を具備し、音源・聴取者の位置・頭部の角度及びドップラー効果による両耳に到達する音波面の精密な模擬を行うことによって、聴取者に仮想現実的な三次元音像を提示することを特徴とした移動音像提示装置が得られる。
【0011】
また本発明の遅延無HRIR演算手段は、空間内の多数の点で測定したHRIRを記憶するHRIR記憶手段と、アップサンプリング手段と、HRIRの二つのペアに対して相互相関係数を演算し、その値が最大になるように片方のHRIRを遅延させるHRIR遅延手段と、一連の遅延処理を前記HRIR記憶手段に記憶している全HRIRに施した後、全てのHRIRから同一量の遅延を除去する遅延除去手段と、使用するサンプリング周波数に戻すためのダウンサンプリング手段から構成されることを特徴とする、遅延成分を取り除いたHRIRの算出方法及びHRIT算出手段を提供する。
【0012】
また本発明の両耳到達波面算出手段は、頭部の回折を考慮した伝達距離算出手段と、左右の伝達距離算出手段より算出された距離に対しアプリケーションによるパラメータ更新までにパラメータ補間を行い、毎補間ごとの距離差を補間間隔で除し左右それぞれの耳に到達する音の相対速度を算出する相対速度算出手段と、算出した相対速度から遅延線の音サンプル読み出し位置を決定する遅延時間成長率の算出手段と、遅延線からの音サンプル読み込みの際のポインタ補間手段と、伝達距離に応じた音の減衰を表現する距離減衰付加手段から構成され、遅延線からの音サンプル読み込み位置を遅延時間成長率に従い刻々と変化させることで、両耳に到達する波面を模擬し、両耳間時間差と両耳それぞれのドップラー効果の付加を可能にしたことを特徴とする移動音像提示装置を提供する。
【0013】
また本発明のHRIR記憶手段は、複数の人間から採取したHRIR情報を記憶してあり、HRIR選択手段によって聴取者個人により適合したHRIRを選択して使用することを特徴とした移動音像提示装置を提供する。
【0014】
また本発明のHRIR選択手段は、複数のHRTFより特定の軌道を持った仮想的な移動音像を作成し、あらかじめ聴取者に作成した移動音像の軌道を教示した上で二つの移動音源提示し、どちらの移動音源が教示した軌道と一致するかをトーナメント方式で次々に行い、聴取者個人に一番合致したHRTFを選択することによって、HRTFを個人化し、より定位感の高い三次元音像の提示を特徴とした移動音像提示装置を提供する。
【発明の効果】
【0015】
本発明によれば、頭部伝達関数を初期遅延と主応答に分離し、遅延についてはドップラー効果と共に処理をし、スペクトル成分は主応答部分で後からレンダリングをするようにしてドップラー効果を付加したので、レンダリング方法がより物理現象に近く(アプリケーション作成者に使用しやすく)、現実感がよいという効果が得られる。また、個人別により一致した頭部伝達関数を選択して使用することで、不特定多数の聴取者に対して提示する移動音像の現実感・定位感が向上するという効果が得られる。
【発明を実施するための最良の形態】
【0016】
以下、本発明の実施の形態について図面を参照しながら説明する。
【0017】
図1は本発明の実施の形態による移動音源提示装置の概略構成を示すブロック図である。図1を参照すると、移動音源提示装置300はアプリケーション100からの情報(音源位置101,聴取者位置102,モノラル音源データ103)を受け取って、それに基づいて演出(レンダリング)を施し、聴取者に装着されたヘッドホン200に伝達することで、聴取者に仮想現実的な音像を提示するものである。
【0018】
図1の移動音源提示装置300は、空間内の多数の点で測定したHRIRを記憶するHRIR記憶手段1と、聴視者に一番適合した個人化HRIRを選択する個人化HRIR選択手段2と、前記HRIRより遅延を取り除く遅延無HRTF演算手段3と、前記遅延無しHRTF演算手段3により計算されたHRIRを記憶する遅延無HRIR記憶手段4と、両耳それぞれに生じるドップラー効果を演算する両耳到達波面算出手段5と、畳み込み演算手段7と、アプリケーション・聴取者との時間差を調整するパラメータ補間手段6とから構成されている。
【0019】
図2は本発明における遅延無HRIR演算手段3の詳細を説明するための構成図である。
【0020】
図2において、本発明における個人化HRIR選択手段2は、すでに選択したものとして省略して記す。
【0021】
HRIR記憶手段1に予め空間内の多数の点で測定して記憶し、HRIR選択手段2で選択したHRIRは、アップサンプリング手段3aにおいて8倍のアップサンプリングが施される。この状態で、二つのHRIRに対して相互相関係数検査手段3bで相互相関関数を演算し、その値が最大になるように片方のHRIRをHRIR遅延手段3cで遅延させる。一連の遅延処理を前記HRIR記憶手段に記憶している全HRIRに施した後、初期遅延除去手段3dで全てのHRIRから同一量の遅延を除去する。
【0022】
なお、本実施例では8倍アップサンプリングとしたが、それ以外の数値も選択できる。
【0023】
図1の両耳到達波面計算手段5における伝達距離算出手段5aは、音源より発せられた音波が聴取者の両耳を通るまでに辿る経路を考えた算出手段である。本発明では図4のように2つの場合に分けた算出を行う。図4(a)のように、音源から球状を仮定した頭部に引いた接線の接点位置が両耳を結んだ直線(以後、耳軸と記す)をまたがない位置に存在する場合、音源から接点までの直線距離と接点から耳までの曲線距離を伝達距離とする。この場合、右耳への伝達距離は図中のR1+R2、左耳への伝達距離はL1+L2となる。これに対し図4(b)のように、接点が耳軸をまたいだ位置に存在する場合、片方の耳までの伝達距離は音源との直線距離により算出し、他方の耳は、前記と同様に音源と接点までの直線距離と接点から耳までの曲線距離により算出する。この場合、音源側の耳の到達距離は図中のD1、音源に対して影になる側の耳への到達距離はS1+S2となる。以上のように、本発明の実施例における移動音像提示装置の伝達距離算出手段は、単に音源と耳との直線距離を考えるのみでなく、回折を考慮した算出手法としている。
【0024】
相対速度算出手段5bは、前記伝達距離算出手段に示したように、回折経路を考慮したものにする必要がある。最も単純な算出手段として、音源及び聴取者の速度ベクトルを両耳方向に分解する方法があるが、この方法は、相対速度が音源から両耳への直線経路に依存したものとなる。そこで、本発明の移動音像提示装置では、微少時間における相対位置の変化に基づき相対速度を算出する。相対速度をνr、ある時間における一方の耳と音源との経路距離をγn、次の時刻における距離をγn+1とすると、補間間隔Δt時間における相対速度を次の数1式によって算出する。
【0025】
【数1】
【0026】
この方法により、相対速度は回折経路を考慮したものになる。
【0027】
遅延線5d1は、両耳に到達する音サンプルの読み出しをそれぞれの耳に対し独立に行うために用意する。アプリケーション100より得た音源サンプル103は単位時間あたりに1サンプルずつ左右の遅延線5d1に入れる。これに対し遅延線5d1から音サンプルを読み出す際は、前記の相対速度算出手段5bから伝達経路を考慮した相対速度を算出し、遅延時間成長率を算出し、音サンプル読み込み位置を動的に変化させ、ある時刻における両耳への到達音サンプルを算出する。
【0028】
前記のように、遅延線からの音サンプル読み出し位置の制御に遅延時間成長率を使用する。遅延時間成長率は、音源の速度をνsl、聴取者の速度をνlsとし、次の数2式
【数2】
により算出する。この遅延時間成長率を用いて、単位時間あたりに読み出し位置を次の数2−1式
【数2−1】
ずつインクリメントすることにより、両耳到達音波の模擬が可能になる。
【0029】
ポインタ補間手段5d2は、遅延線5d1上の読み出し位置が、整数値の遅延線インデックスを示していない場合に用いる。読み込み位置が整数インデックスを示す場合は、そのインデックスに格納されている音サンプル値を出力する。整数インデックスを示さない場合の補間は、ラグランジェ補間により、読み出し位置に対応する音サンプル値の算出を行う。ラグランジェ補間は、曲線の関数上の点を補間する方法であり、n+1点の座標(x0,y0)〜(xn,yn)が与えられたとき、このn+1を通るn次多項式を次の数3式により算出する。
【0030】
【数3】
【0031】
本装置では、前後それぞれ2サンプルずつのデータから3次の補間多項式を用いて所望の音サンプル値を算出する。
【0032】
距離減衰付加手段5eは、前記の手段を用いて求めた出力サンプルに対し、伝達距離に応じた音の減衰を付加する手段を指す。本装置では、無限大バフル内の振動体を仮定し、音源と各耳との距離をρ、音源の半径をσとし、次の数4式
【数4】
による減衰量を音サンプルに対し加える。
【0033】
以上の構成要素により移動音像提示装置は構成される。本装置を用いて、シミュレーションを行った結果を示す。シミュレーションの条件は、
・音源:4kHzを中心周波数とするオクターブバンドノイズ
・軌道:前方50m,左1.5mの方向から,後方に直線移動
・速度:1cm/ms (約時速36km)
・HRIR:ダミーヘッドを用いて録音されたもの
である。時間と周波数の関係として、音源のスペクトログラムを図4に、装置の左出力のスペクトログラムを図5に示す。
【0034】
図5が4kHzを中心としたオクターブバンド帯域における成分が定常的に優勢であるのに対し、図6では、時間によって、優勢な帯域が変化している。これにより、ドップラー効果が付加されていることが分かる。
【0035】
また、時間と音源位置との関係を調べるために、横軸を時間、縦軸を頭部中心からの音源角度として、時間と音源角度の関係を調べた。音源角度は、出力音の両耳間レベル差(ILD:Interaural Level Difference,以後ILDとする)とHRIRにおけるILDとの対応を調べることによって算出した。この結果を図7に示す。
【0036】
この音源角度は、正面方向を0度とし、半時計回りで増加する。図7を見ると、左前方から左後方に移動する軌道に応じた音源角度の変化をしていることがわかる。
【0037】
以上の結果から、本発明の実施例における移動音像提示装置は、位置とドップラー効果の同時模擬を実現していることがわかる。
【0038】
図3は本発明の一実施例におけるHRTF個人化手段2の具体的な音像提示位置を示す概念図である。
【0039】
HRTF個人化は下記の手順によって行う。
(1)予め複数の人間(本実施例では16人)からHRTFを計測して用意しておく。
(2)上記複数のHRTFを用いて、図3bに示される矢状面の軌道を持った仮想的な移動音像を作成する。
(3)聴取者に作成した移動音像の軌道を教示する。
(4)聴取者に二つずつ移動音像を提示し、どちらの音像があらかじめ教示した音像の軌道とイメージが合致していたかを比較・選択させる。
(5)この比較をトーナメント方式で行い、最終的に成績が良かったHRTFを決定し選択する。
【0040】
移動音像の軌道は、図3(a)に示されるような水平面に提示すると、左右の時間差のみで正確にHRTFの結果を反映し難いので、図3(b)のような矢状面が望ましい。
【0041】
(5)の手順で用いるトーナメントは、スイス式トーナメントを絞り込みに使用することでより厳密に個人化を行うことができるだけでなく、第二の候補や第三の候補となる聴覚ディスプレイの個人化HRTFを求めることができる。
【0042】
予め用意する音像の数は複数で多いほど良いが、トーナメントの性格上2の倍数または2の乗数がのぞましい。本実施例では初めに32個のHRTFを16組にわけ、それぞれどちらのHRTFを用いた場合の定位感が良いかを選択する。定位感の良いほうは一勝を獲得し悪いほうは一敗となる。次に同じ勝ち数のHRTF同士で16組をつくり選択する。
【0043】
無敗のHRTFが1つになるまでこれを繰り返す。
【0044】
このスイス式トーナメントを使用すれば、本来優秀な(より個人に合致した)HRTFが、早い段階で敗退して選択されないことを避けることができる。
【0045】
図8は、本発明による移動音像提示装置を、音空間訓練装置に適用した例である。
【0046】
聴取者に取り付けられる位置センサ付ヘッドホンと、同様に位置センサを具備したハンマー型コントローラと、移動音像提示装置からなる。
【0047】
移動音像提示装置では、音空間訓練アプリケーションにより指定された位置とヘッドホンに具備された位置センサによる頭部姿勢情報から仮想的な移動音像を提示する。
【0048】
聴取者は、提示された音像の場所をコントローラで指し示す。
【0049】
指し示す位置は、コントローラに具備された位置センサにより検出され、指し示した位置と提示音像の位置が同一だった場合には得点とする。
【0050】
このようなアプリケーションを用いることで、提示された移動音像を正確に把握して指し示す訓練を行うことができる。
【産業上の利用可能性】
【0051】
本発明に係る音源提示装置は、視覚障害者に三次元的な音像を提示して、音の位置を認識する訓練をおこなう訓練装置や、三次元的に提示される音像を操縦する娯楽機器等の様々な分野に適用できる。
【0052】
また本発明によって製造された移動音像提示装置は高精度聴覚ディスプレイとして広く用いることが出来る。
【図面の簡単な説明】
【0053】
【図1】本発明による移動音像提示装置の一実施例を示すブロック図である。
【図2】本発明の一実施例における移動音像提示装置の、遅延HRIR算出手段の詳細構成を示すブロック図である。
【図3】本発明の一実施例における移動音像提示装置の、個人化HRIR選択手段において、聴視者に提示する音像の軌道を示す図である。
【図4】本発明の一実施例における移動音像提示装置において、両耳までの伝達距離の算出手段を説明する概念図である。
【図5】本発明の移動音像提示装置の効果を説明するための音源のスペクトログラムを示す図である。
【図6】本発明の移動音像提示装置の効果を説明するための装置出力音のスペクトログラムを示す図である。
【図7】本発明の移動音像提示装置の効果を説明するための時間と音源角度との関係を示す図である。
【図8】本発明の移動音像提示装置の一実施例を訓練装置に応用したときの一実施例を示す図である。
【符号の説明】
【0054】
1 HRIR記憶手段
2 個人化HRIR選択手段
3 遅延無HRIR算出手段
4 遅延無HRIR記憶手段
5 両耳到達差波面算出手段
5a 伝達距離算出手段
5b 相対速度算出手段
5c 遅延時間成長率算出手段
5d 時変遅延回路
5d1 遅延線
5d2 ポインタ補間手段
5e 距離減衰付加手段
6a パラメータ補間手段
6b パラメータ補間手段
7 畳み込み演算手段
100 アプリケーション
101 音源位置
102 聴取者位置
103 モノラル音源データ
200 ヘッドホン
300 移動音像提示装置
【特許請求の範囲】
【請求項1】
三次元空間内で刻々と位置が変化する音像をパラメータ(音源・聴取者の位置情報,モノラル音源)と頭部伝達インパルス応答 (HRIR:Head Related Impulse Response 以後HRIRと記す)より演算処理を施し聴取者に対して提示する移動音像提示装置において、
空間内の多数の点で測定したHRIRを記憶するHRIR記憶手段と、前記HRIRより遅延を取り除く遅延無HRTF演算手段と、前記遅延無しHRTF演算手段により計算されたHRIRを記憶するHRIR記憶手段と、両耳それぞれに生じるドップラー効果を演算する両耳到達波面算出手段と、畳み込み演算手段と、アプリケーション・聴取者との時間差を調整するパラメータ補間手段を具備し、音源・聴取者の位置・頭部の角度及びドップラー効果による両耳に到達する音波面の精密な模擬を行うことによって、聴取者に仮想現実的な三次元音像を提示することを特徴とした移動音像提示装置。
【請求項2】
前記請求項1記載の遅延無HRIR演算手段は、空間内の多数の点で測定したHRIRを記憶するHRIR記憶手段と、アップサンプリング手段と、HRIRの二つのペアに対して相互相関係数を演算し、その値が最大になるように片方のHRIRを遅延させるHRIR遅延手段と、一連の遅延処理を前記HRIR記憶手段に記憶している全HRIRに施した後、全てのHRIRから同一量の遅延を除去する遅延除去手段と、使用するサンプリング周波数に戻すためのダウンサンプリング手段から構成されることを特徴とする、遅延成分を取り除いたHRIRの算出方法及びHRIR算出手段。
【請求項3】
前記請求項1の両耳到達波面算出手段は、頭部の回折を考慮した伝達距離算出手段と、左右の伝達距離算出手段より算出された距離に対しアプリケーションによるパラメータ更新までにパラメータ補間を行い、毎補間ごとの距離差を補間間隔で除し左右それぞれの耳に到達する音の相対速度を算出する相対速度算出手段と、算出した相対速度から遅延線の音サンプル読み出し位置を決定する遅延時間成長率の算出手段と、遅延線からの音サンプル読み込みの際のポインタ補間手段と、伝達距離に応じた音の減衰を表現する距離減衰付加手段から構成され、遅延線からの音サンプル読み込み位置を遅延時間成長率に従い刻々と変化させることで、両耳に到達する波面を模擬し、両耳間時間差と両耳それぞれのドップラー効果の付加を可能にしたことを特徴とする移動音像提示装置。
【請求項4】
前記請求項1のHRIR記憶手段は、複数の人間から採取したHRIR情報を記憶してあり、HRIR選択手段によって聴取者個人により適合したHRIRを選択して使用することを特徴とした移動音像提示装置。
【請求項5】
前記請求項4のHRIR選択手段は、複数のHRTFより特定の軌道を持った仮想的な移動音源を作成し、あらかじめ聴取者に作成した移動音像の軌道を教示した上で二つの移動音源提示し、どちらの移動音源が教示した軌道と一致するかをトーナメント方式で次々に行い、聴取者個人に一番合致したHRTFを選択することによって、HRTFを個人化し、より定位感の良い三次元音像を提示できるようにした特徴とした移動音像提示装置。
【請求項1】
三次元空間内で刻々と位置が変化する音像をパラメータ(音源・聴取者の位置情報,モノラル音源)と頭部伝達インパルス応答 (HRIR:Head Related Impulse Response 以後HRIRと記す)より演算処理を施し聴取者に対して提示する移動音像提示装置において、
空間内の多数の点で測定したHRIRを記憶するHRIR記憶手段と、前記HRIRより遅延を取り除く遅延無HRTF演算手段と、前記遅延無しHRTF演算手段により計算されたHRIRを記憶するHRIR記憶手段と、両耳それぞれに生じるドップラー効果を演算する両耳到達波面算出手段と、畳み込み演算手段と、アプリケーション・聴取者との時間差を調整するパラメータ補間手段を具備し、音源・聴取者の位置・頭部の角度及びドップラー効果による両耳に到達する音波面の精密な模擬を行うことによって、聴取者に仮想現実的な三次元音像を提示することを特徴とした移動音像提示装置。
【請求項2】
前記請求項1記載の遅延無HRIR演算手段は、空間内の多数の点で測定したHRIRを記憶するHRIR記憶手段と、アップサンプリング手段と、HRIRの二つのペアに対して相互相関係数を演算し、その値が最大になるように片方のHRIRを遅延させるHRIR遅延手段と、一連の遅延処理を前記HRIR記憶手段に記憶している全HRIRに施した後、全てのHRIRから同一量の遅延を除去する遅延除去手段と、使用するサンプリング周波数に戻すためのダウンサンプリング手段から構成されることを特徴とする、遅延成分を取り除いたHRIRの算出方法及びHRIR算出手段。
【請求項3】
前記請求項1の両耳到達波面算出手段は、頭部の回折を考慮した伝達距離算出手段と、左右の伝達距離算出手段より算出された距離に対しアプリケーションによるパラメータ更新までにパラメータ補間を行い、毎補間ごとの距離差を補間間隔で除し左右それぞれの耳に到達する音の相対速度を算出する相対速度算出手段と、算出した相対速度から遅延線の音サンプル読み出し位置を決定する遅延時間成長率の算出手段と、遅延線からの音サンプル読み込みの際のポインタ補間手段と、伝達距離に応じた音の減衰を表現する距離減衰付加手段から構成され、遅延線からの音サンプル読み込み位置を遅延時間成長率に従い刻々と変化させることで、両耳に到達する波面を模擬し、両耳間時間差と両耳それぞれのドップラー効果の付加を可能にしたことを特徴とする移動音像提示装置。
【請求項4】
前記請求項1のHRIR記憶手段は、複数の人間から採取したHRIR情報を記憶してあり、HRIR選択手段によって聴取者個人により適合したHRIRを選択して使用することを特徴とした移動音像提示装置。
【請求項5】
前記請求項4のHRIR選択手段は、複数のHRTFより特定の軌道を持った仮想的な移動音源を作成し、あらかじめ聴取者に作成した移動音像の軌道を教示した上で二つの移動音源提示し、どちらの移動音源が教示した軌道と一致するかをトーナメント方式で次々に行い、聴取者個人に一番合致したHRTFを選択することによって、HRTFを個人化し、より定位感の良い三次元音像を提示できるようにした特徴とした移動音像提示装置。
【図1】
【図2】
【図3】
【図4】
【図7】
【図8】
【図5】
【図6】
【図2】
【図3】
【図4】
【図7】
【図8】
【図5】
【図6】
【公開番号】特開2006−222801(P2006−222801A)
【公開日】平成18年8月24日(2006.8.24)
【国際特許分類】
【出願番号】特願2005−35047(P2005−35047)
【出願日】平成17年2月10日(2005.2.10)
【新規性喪失の例外の表示】特許法第30条第1項適用申請有り 2004年8月13日 社団法人電子情報通信学会発行の「電子情報通信学会技術研究報告 信学技報Vol.104 No.247」に発表
【出願人】(000134257)NECトーキン株式会社 (1,832)
【出願人】(504157024)国立大学法人東北大学 (2,297)
【出願人】(000215202)通研電気工業株式会社 (9)
【出願人】(000204424)大井電気株式会社 (25)
【出願人】(300004049)株式会社ピー・ソフトハウス (1)
【Fターム(参考)】
【公開日】平成18年8月24日(2006.8.24)
【国際特許分類】
【出願日】平成17年2月10日(2005.2.10)
【新規性喪失の例外の表示】特許法第30条第1項適用申請有り 2004年8月13日 社団法人電子情報通信学会発行の「電子情報通信学会技術研究報告 信学技報Vol.104 No.247」に発表
【出願人】(000134257)NECトーキン株式会社 (1,832)
【出願人】(504157024)国立大学法人東北大学 (2,297)
【出願人】(000215202)通研電気工業株式会社 (9)
【出願人】(000204424)大井電気株式会社 (25)
【出願人】(300004049)株式会社ピー・ソフトハウス (1)
【Fターム(参考)】
[ Back to top ]