説明

音響システム及びその仮想音源の設定方法

【課題】部屋の壁面等の反射面と被聴者との間の空間に仮想音源を設定し、より正確な音像定位を可能にする音響システムを提供する。
【解決手段】本発明の音響システム10は、可聴帯域の信号波を生成する信号源21と、超音波帯域の搬送波を生成するとともに、この搬送波を前記信号波によって変調した変調波を放射する複数の超音波スピーカSPと、超音波スピーカSPから放射された前記変調波を反射する反射面と被聴者との間の空間における前記変調波の伝達経路中の所定位置に前記信号波の仮想音源SSを設定するべく、当該所定位置における音圧を制御する制御部(フィルタ処理部)22と、を備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、主として複合現実感システムに好適に利用することができる音響システム及びその仮想音源の設定方法に関する。
【背景技術】
【0002】
近年、カメラによって撮影された現実環境(現実空間)の画像にCG(コンピュータグラフィックス)画像や文字等の仮想情報を重畳表示することによって、現実環境の情報を増幅・拡張する複合現実感(MR:Mixed Reality)技術に関する研究、開発が盛んに行われている。
【0003】
また、このような視覚的な複合現実感技術に対して聴覚的な要素を組合せ、現実環境に重畳表示された仮想情報から音が発生しているように、当該音の発生源の方向や距離を定位(音像定位)させることによって、より高い現実感を得ようとする試みもなされている。例えば、特許文献1には、被聴者が装着するヘッドホンの内部に複数の音発生源を設け、音を発生している音発生源の位置により被聴者に音像を定位させる技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平5−336599号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1の技術では、被聴者によるヘッドホンの装着が前提条件とされているので、そのヘッドホンを装着した単独人しか仮想環境を体感することができず、また、頭部伝達関数の個人差によって音像定位精度が低下するという問題もある。さらに、被聴者がヘッドホンを装着する煩わしさも伴う。
【0006】
本発明は、上記のような実情に鑑みてなされたものであり、部屋の壁面等の反射面と被聴者との間の空間に仮想音源を設定し、ヘッドホンを装着することなく正確な音像定位を可能にする音響システム及びその構築方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の音響システムは、可聴帯域の信号波を生成する信号源と、超音波帯域の搬送波を生成するとともに、この搬送波を前記信号波によって変調した変調波を放射する複数の超音波スピーカと、前記超音波スピーカから放射された前記変調波を反射する反射面と被聴者との間の空中における前記変調波の伝達経路の所定位置に前記信号波の仮想音源を設定するべく、当該所定位置における音圧を制御する制御部と、を備えていることを特徴とする。
【0008】
本発明の音響システムにおける仮想音源の設定方法は、超音波帯域の搬送波を可聴帯域の信号波により変調した変調波を超音波スピーカにより放射し、放射された前記変調波を反射面で反射させ、この反射面と被聴者との間の空中における前記変調波の伝達経路に制御点を設定し、この制御点における音圧を制御することによって前記信号波の仮想音源を設定することを特徴とする。
【0009】
本発明の音響システム及びその仮想音源の設定方法では、超音波帯域の搬送波を信号波により変調して変調波を生成するとともに放射し、この変調波を反射面に反射させ、変調波から生じる可聴音(信号波)を被聴者に伝達する。また、反射面と被聴者との間に可聴音の仮想音源を設定する。このため、実際の音源の位置とは異なる空中の位置及び方向から音が発生しているような感覚を被聴者に与えることができ、ヘッドホン等を装着しなくても正確な音像定位を行うことが可能となる。
【0010】
また、上記音響システムにおいて、前記制御部は、前記伝達経路中に設定した複数の制御点のいずれかを仮想音源に設定するために、当該複数の制御点における音圧の相対関係を所定に設定するフィルタを備えていることが好ましい。
【0011】
また、上記の仮想音源の設定方法は、前記伝達経路中に複数の制御点を設定し、この複数の制御点における音圧の相対関係を設定することによって、いずれかの制御点を仮想音源に設定することが好ましい。
【0012】
このように変調波の伝達経路中に複数の制御点を設定し、これら制御点における音圧の相対関係を所定に設定することにより、仮想音源を適切に設定することができる。例えば、一の制御点における音圧を他の制御点における音圧よりも高く設定すれば、被聴者は、当該一の制御点から音が発生しているような感覚を得ることができ、当該一の制御点を仮想音源として認識することができる。
【図面の簡単な説明】
【0013】
【図1】本発明の実施形態に係る音響システムの使用形態を示す概略図である。
【図2】音響システムのブロック図である。
【図3】フィルタの特性を設定するための音響伝達系モデルを示す説明図である。
【図4】音響伝達系の基本モデルを示す説明図である。
【図5】入出力と伝達関数及びフィルタとの関係を示す図である。
【図6】フィルタを使用しない場合の出力結果を示す音圧レベル−周波数特性のグラフである。
【図7】条件1によりフィルタを設定した場合の出力結果を示す音圧レベル−周波数特性のグラフである。
【図8】条件2によりフィルタを設定した場合の出力結果を示す音圧レベル−周波数特性のグラフである。
【図9】条件3によりフィルタを設定した場合の出力結果を示す音圧レベル−周波数特性のグラフである。
【図10】音響システムに入力する原信号の音圧レベル−周波数特性のグラフである。
【図11】(a)は、被聴者による主観的な仮想音源の音像定位の評価結果を示すグラフ、(b)は同評価結果を示す表である。
【図12】(a)は、他の実施形態に係る反射面(反射部材)を部屋の壁面に設けた場合の音響システムの使用形態を示す概略平面図、(b)は、反射部材の斜視図である。
【図13】更に他の実施形態に係る反射面(反射部材)を部屋の壁面に設けた場合の音響システムの使用形態を示す概略平面図である。
【図14】他の実施形態に係る超音波スピーカを示す斜視図である。
【図15】図14に示される超音波スピーカの使用形態を示す概略平面図である。
【発明を実施するための形態】
【0014】
《音響システムの構成》
図1は、本発明の実施形態に係る音響システムの使用形態を示す概略図である。
本実施形態の音響システム10は、部屋Rの特定の場所にいる被聴者Hに対して、部屋の内部にあるスピーカSPから放射した音を伝達し、その音源が、実際のスピーカSPの位置ではなく室内空間に設定された仮想音源SSから発せられているように音像を定位させるものである。したがって、この音響システム10は、現実空間に仮想空間を重畳表示する複合現実感(MR)技術と組み合わせて使用することで、例えばスピーカSPから放射された音があたかも空中に重畳表示された仮想画像から生じているかのような感覚を被聴者Hに与えることが可能となっている。
【0015】
本実施形態では、スピーカSPとして超音波スピーカが使用されている。超音波スピーカは、20kHz以上の高い周波数で人間が音として知覚できない超音波を搬送波とし、音声等の可聴帯域の信号波で拡幅変調された変調波を、非線形性が生じる大きな振幅で空気中に放射するものである。変調波は、空気中を伝播する過程で空気の非線形性により歪を生じるため、この歪によって可聴音である信号波が自己復調し、指向性の高い音場が形成されるようになっている。
また、本実施形態では、部屋Rの壁面(反射面)Wによって反射された変調波の伝達経路中に仮想音源SSが設定されている。
【0016】
図2は、音響システムのブロック図である。
本実施形態の音響システム10は、信号源21、フィルタ処理部22、搬送波生成部23、変調部24、増幅部25、及び発振器26を備えている。このうち、搬送波生成部23,変調部24,増幅部25、及び発振器26が本実施形態の超音波スピーカ(超音波スピーカシステム)SPの構成要素となる。
信号源21は、音声信号やオーディオ信号等の可聴帯域の信号波を生成し、フィルタ処理部22に出力する。フィルタ処理部22は、室内の空間中に仮想音源SSを設定するためのフィルタを備え、このフィルタによって信号波に所定の特性を付与したうえで当該信号波を変調部24に出力する。したがって、本実施形態では、フィルタ処理部22が本発明の制御部を構成することになる。
【0017】
搬送波生成部23は、所定の周波数の超音波から成る搬送波を生成し、変調部24に出力する。
変調部24は、フィルタ処理部22から入力された信号波によって、搬送波生成部23から入力された搬送波を拡幅変調し、変調波を生成する。そして、この変調波は、増幅部25によって増幅された状態で、発振器26から放射される。
【0018】
本実施形態の信号源21、フィルタ処理部22、搬送波生成部23、及び変調部24は、CPU等の演算部やメモリ、HDD等の記憶部、その他、入出力インターフェース等を備えたパーソナルコンピュータから構成されている。そして、このパーソナルコンピュータにインストールされたソフトウエアを実行することにより、パーソナルコンピュータが信号源21、フィルタ処理部22、搬送波生成部23、及び変調部24として機能する。
【0019】
《フィルタの設定方法》
次に、フィルタ処理部22に備えられたフィルタの設定方法について説明するが、それ先だって、音響伝達系の基本的なモデルを例に音源と受音点との間の音の伝わり方について説明する。
(音響伝達系の基本モデル)
図4は、音響伝達系の基本モデルを示す説明図である。この基本モデルでは、部屋Rの内部に一つの音源(スピーカ)SPと一つの受音点(マイクロフォン)MICとが設置されている。スピーカSPには信号x(t)が入力され、マイクロフォンMICはスピーカSPから放射された信号を収音して信号y(t)を出力する。
【0020】
図4において、G(z)は、スピーカSPとマイクロフォンMICとの間の音の伝わり方を表す伝達関数である。この伝達関数G(z)は、マイクロフォンMICで観測されるインパルス応答を標本化して得られる離散数列g(0),g(1),g(2),・・・をz変換したものである。そして、信号x(t)、y(t)をそれぞれz変換したものを、それぞれX(z)、Y(z)とすると、これらの間には、式(1)に示す関係がある。
【0021】
【数1】

【0022】
一方、このような音響伝達系に対してX(z)=1の入力を与えると、次式(2)を得ることができる。
【0023】
【数2】

【0024】
したがって、入力X(z)=1によって取得される出力Y(z)を求めることで、伝達関数G(z)を取得することが可能となる。そして、本実施形態では、以下に説明するように、入出力X(z),Y(z)、伝達関数G(z)の関係を利用してフィルタの特性を設定する。
【0025】
(実施形態の音響伝達系モデル)
図3は、フィルタの特性を設定するための音響伝達系モデルの説明図である。超音波スピーカSPから放射され、反射面Wで反射した変調波の伝達経路上に仮想音源SSを設定するには、当該伝達経路上に複数の制御点を設定し、この制御点の音圧をフィルタにより制御する。本実施形態では、変調波の伝達経路上に3個の制御点を設定し、各制御点にマイクロフォンMIC〜MICを設けている。
【0026】
N個の制御点の音圧は、(N+1)個以上のスピーカを使用することによって制御可能であることが、「MINT(Multiple input/output Inverse Theorem)理論」によって確立されている。したがって、本実施形態においてもこの「MINT理論」に基づき、3個の制御点MIC〜MICに対して、4個の超音波スピーカSP〜SPを使用する。
【0027】
そして、4個の超音波スピーカSP〜SPに原信号X(z)を入力し、この超音波スピーカSP〜SPから放射された変調波を反射面Wで反射させ、この変調波の自己復調音(可聴音)を制御点(受音点)に配置された複数のマイクロフォンMIC,MIC,MICによって収音する。このマイクロフォンMIC,MIC,MICの出力をそれぞれY(z),Y(z),Y(z)とする。そして、各制御点MIC〜MICにおいて所望の出力Y(z)〜Y(z)を取得することができるように、入力X(z)がフィルタH(z),H(z),H(z),H(z)によって所定の特性に処理される。
【0028】
図5は、入出力信号と伝達関数及びフィルタとの関係を示す図である。
入力X(z)が4つのフィルタH(z)〜H(z)により処理されたあとに超音波スピーカSP〜SPから放射され、1つのマイクロフォンMICにより収音される場合、超音波スピーカSP〜SPとマイクロフォンMICとの間の音の伝わり方を表す伝達関数は、G1,1(z),G1,2(z),G1,3(z),G1,4(z)で表すことができる。この伝達関数G1,1(z)〜G1,4(z)は、基本モデル(図4)を参照して求めた上述の手法と同様の手法により求めることができる。そして、マイクロフォンMICの出力Y(z)は、この伝達関数G1,1(z)〜G1,4(z)を用いて、式(3)に示すように表すことができる。
また、出力Y(z)、出力Y(z)についても同様に、伝達関数G2,1〜G2,4,G3,1〜G3,4を用いて式(4)、式(5)に示すように表すことができる。
【0029】
【数3】

【0030】
ここで、出力Y(z)、伝達関数G(z)、フィルタH(z)をそれぞれ式(6)〜(8)のように行列として表すと、上記の式(3)〜(5)は、式(9)のように表現することができる。
【0031】
【数4】

【0032】
【数5】

【0033】
【数6】

【0034】
【数7】

【0035】
そして、フィルタを設計する際は、入力X(z)=1を入力し、式(10)を得る。そして、伝達関数G(z)の逆行列G−1(z)を用いることで、式(11)のように、フィルタH(z)を求めることが可能となる。
【0036】
【数8】

【0037】
式(11)を用いてフィルタを設計するに当たり、マイクロフォンMIC〜MICの出力Y(z)〜Y(z)の値及びこれらの相対的な関係を設定する必要がある。ここで、被聴者Hに最も遠い位置にあるマイクロフォンMICの位置を仮想音源SSに設定しようとする場合(条件1)には、このマイクロフォンMICにおいて、原音である信号波が再生されるようにY(z)の値を決定する。そして、各マイクロフォンMIC〜MICの音圧の相対的な関係を次の式(12)に示すように設定する。
【0038】
(条件1) Y(z)>Y(z)>Y(z) …… (12)
【0039】
すなわち、被聴者Hから最も遠いマイクロフォンMICの位置における音圧が最も大きくなるように設定し、次いで、マイクロフォンMIC,マイクロフォンMICの順で音圧が小さくなるように設定する。このように各出力Y(z)〜Y(z)の関係を設定することで、被聴者Hは、マイクロフォンMICの位置で生じる可聴音を最も大きく感じ取ることができ、この位置から可聴音が発生しているように音像を定位することが可能となる。
【0040】
マイクロフォンMICの位置を仮想音源SSに設定する場合(条件2)には、このマイクロフォンMICにおいて、原音である信号波が再生されるように出力Y(z)の値を決定する。そして、出力Y(z)と、他の出力Y(z),Y(z)との関係を式(13)に示すように設定する。
(条件2) Y(z)=Y(z)>Y(z) …… (13)
【0041】
ここで、Y(z)=Y(z)としたのは、マイクロフォンMICの位置における出力Y(z)が、マイクロフォンMICの位置における出力Y(z)と同じであったとしても、マイクロフォンMICは被聴者Hから離れているために、当該位置における可聴音は被聴者Hに伝わるまでに減衰し、音圧が低下するからである。したがって、上記のようにマイクロフォンMIC〜MICの各出力Y(z)〜Y(z)を設定することで、被聴者Hは、マイクロフォンMICの位置で生じる可聴音を最も大きく感じ取ることができ、この位置から可聴音が発生しているように音像を定位することができる。
【0042】
同様に、マイクロフォンMICの位置を仮想音源SSに設定する場合(条件3)には、このマイクロフォンMICにおいて、原音である信号波が再生されるように出力Y(z)の値を決定するとともに、この出力Y(z)と他の出力Y(z)、Y(z)との関係を式(14)に示すように設定する。
(条件3) Y(z)=Y(z)=Y(z) …… (14)
【0043】
この場合も、上記と同様に、マイクロフォンMIC,MICにおける出力Y(z),Y(z)が、マイクロフォンMICにおける出力Y(z)と同じであっても、マイクロフォンMIC,MICは被聴者Hから離れているために、当該位置における可聴音は被聴者Hに伝わるまでに減衰し、音圧が低下する。そのため、上記のようにマイクロフォンMIC〜MICの各出力Y(z)〜Y(z)を設定することで、被聴者Hは、マイクロフォンMICの位置で生じる可聴音を最も大きく感じ取ることができ、この位置から可聴音が発生しているように音像を定位することができる。
【0044】
(出力の測定結果)
以上のような手法でフィルタを設定することによって取得されたマイクロフォンMIC〜MICの出力結果を図7〜図9に示す。
図7〜図9は、フィルタを使用した場合の出力を示す音圧レベル−周波数特性のグラフである。また、図6は比較例であり、フィルタを使用しない場合の出力を示す音圧レベル−周波数特性のグラフである。入力は、図10に示す音圧レベル−周波数特性を有するホワイトノイズとした。
【0045】
図7は、上述の(条件1)によりフィルタを設定した場合の出力結果である。この場合、MICの位置が仮想音源SSとされる。この場合、MICの出力が高く、MICの出力はMICに比べて平均して1.8dB程度抑圧され、MICの出力は平均して4.6dB程度抑圧されている。
【0046】
図8は、上述の(条件2)によりフィルタを設定した場合の出力結果である。この場合、MICの位置が仮想音源SSとされる。この場合、MIC,MICの出力が高く、MICの出力は、MIC,MICに比べて平均して4.0dB程度抑圧されている。
【0047】
図9は、上述の(条件3)によりフィルタを設定した場合の出力結果である。この場合、MICの位置が仮想音源SSとされる。この場合、MIC〜MICの音圧レベルの差がほとんど無いことが分かる。
【0048】
したがって、フィルタH(z)〜H(z)を使用することによって各マイクロフォンMIC〜MICの位置における音圧を適切に制御可能であることが分かる。
【0049】
(音像定位結果)
図11(a)は、被聴者による主観的な仮想音源の音像定位の評価結果を示すグラフ、(b)は同評価結果を示す表である。この評価は、以上のように設定したフィルタH(z)〜H(z)を使用して、図3に示すように、室内の空間に仮想音源SSを設定し、数人の被聴者がその仮想音源SSを正確に定位できるか否かを評価したものである。仮想音源SSは、壁面Wから距離(提示距離)L1〜L3だけ離れた位置に設定し、被聴者は、壁面Wから距離L4だけ離れた位置で評価を行った。仮想音源SSの位置は、壁面Wから60cm(=L1)、100cm(=L2)、140cm(=L3)とし、被聴者Hの位置は、壁面Wから150cm(=L4)とした。そして、各被聴者Hが定位した仮想音源SSの位置から壁面Wまでの距離を計測し、その平均回答距離を得た。
【0050】
図11に示す結果から、フィルタを使用して設定された仮想音源SSの位置と、被聴者Hが定位した仮想音源の位置とは厳密には一致はしないものの、壁面Wから仮想音源SSまでの距離が長くなるに従って、被聴者が定位した壁面Wから仮想音源までの距離も長くなっている。したがって、フィルタを使用することによって、壁面Wからの距離の長短を区別できる程度に仮想音源SSを設定できることが確認することができた。また、フィルタを使用しない場合は、最も壁面Wに近い位置に仮想音源SSがあるものと定位されることが分かった。
【0051】
《反射面の他の実施形態》
図12(a)は、他の実施形態に係る反射面(反射部材)を部屋の壁面に設けた状態を示す概略平面図、図12(b)は、反射部材の斜視図である。上述した音響システム10では、室内の壁面Wを反射面にして変調波を反射させる例を示したが、図12(b)に示すように、複数の反射面を備えた反射部材31を部屋Rの壁面に対して設けてもよい。この反射部材31は、正方形の底面と正三角形の側面とを有する正四角錐に形成されたものである。そして、このような反射部材31を使用することにより、変調波の反射方向を所望に設定することが可能となる。例えば、図12(a)に示すように、異なる方向に指向する複数の超音波スピーカSPを1箇所に纏めて設置し、各スピーカSPから放射された自己復調波(信号波)を被聴者Hに対して集中して伝達することができる。
【0052】
図13は、更に他の実施形態に係る反射面(反射部材)を部屋の壁面に設けた場合の音響システムの使用形態を示す概略平面図である。この反射部材31は、半球形状に形成されている。このような反射部材31を用いることにより、反射後の変調波をある程度拡散させる(指向範囲を拡げる)ことが可能となる。そのため、自己復調波の可聴領域を拡げ、被聴者Hの移動にも対応することが可能となる。
【0053】
《超音波スピーカの他の実施形態》
図14は、他の実施形態に係る超音波スピーカを示す斜視図である。この超音波スピーカSPは、多面体からなる筐体41に複数の発振器26を備えたものである。図示例では、正20面体に含まれる複数の面に対して発振器26が設けられている。各発振器26は、変調波の放射方向を調整することができるように角度調整自在に筐体41に取り付けられている。
【0054】
このような超音波スピーカSPを用いることによって、部屋Rの中の一箇所からあらゆる方向に変調波を放射することができ、部屋R中のあらゆる箇所に仮想音源を設定することが可能となる。
また、図15に示すように、この超音波スピーカSPと反射部材31とを組み合わせて使用することによって部屋Rの特定箇所に集中して変調波を伝達することが可能となっている。また、図3に示す音響システム10において、複数の超音波スピーカSP〜SPを、図14に示す超音波スピーカSPによって構成することも可能である。
【0055】
なお、超音波スピーカSPを構成する筐体41は、正二十面体に限らず、これとは異なる多面体であってもよく、また、発振器26は、筐体41の各面ではなく、各頂点に設けられていてもよい。
【0056】
本発明は上記実施形態に限定されるものではなく、特許請求の範囲に記載された範囲内において適宜変更可能である。
例えば、本発明の音響システムは、複合現実感システムと共に使用するに限定されず、展示場やコンサートホール等に設置される音響システムとしても使用することが可能である。
【符号の説明】
【0057】
10 音響システム
21 信号源
22 フィルタ処理部
H 被聴者
MIC〜MIC マイクロフォン(制御点)
SP〜SP 超音波スピーカ
SS 仮想音源

【特許請求の範囲】
【請求項1】
可聴帯域の信号波を生成する信号源と、
超音波帯域の搬送波を生成するとともに、この搬送波を前記信号波によって変調した変調波を放射する複数の超音波スピーカと、
前記超音波スピーカから放射された前記変調波を反射する反射面と被聴者との間の空中における前記変調波の伝達経路の所定位置に前記信号波の仮想音源を設定するべく、当該所定位置における音圧を制御する制御部と、
を備えている音響システム。
【請求項2】
前記制御部は、前記伝達経路中に設定した複数の制御点のいずれかを仮想音源に設定するために、当該複数の制御点における音圧の相対関係を所定に設定するフィルタを備えている請求項1に記載の音響システム。
【請求項3】
超音波帯域の搬送波を可聴帯域の信号波により変調した変調波を超音波スピーカにより放射し、放射された前記変調波を反射面で反射させ、この反射面と被聴者との間の空中における前記変調波の伝達経路中に制御点を設定し、この制御点における音圧を制御することによって前記信号波の仮想音源を設定することを特徴とする音響システムにおける仮想音源の設定方法。
【請求項4】
前記伝達経路中に複数の制御点を設定し、この複数の制御点における音圧の相対関係を設定することによって、いずれかの制御点を仮想音源に設定する請求項3に記載の音響システムにおける仮想音源の設定方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate