音源の位置検出方法及びシステム
【課題】家庭用テレビゲーム機ユーザの位置を検出する方法及びシステムを提供すること。
【解決手段】リモコンに装着したスピーカ５０６を用いて所定の再生音の信号を再生し、この再生音をテレビ画面近傍に適宜設ける２つのマイクロホンでそれぞれ観測し、それぞれ観測した観測音の信号と当該再生音の信号とのＣＳＰ（白色化相互相関）係数を算出して、リモコン内のスピーカと各マイクロホンとの距離を計算することにより、マイクロホンアレイに対するリモコンの前後及び左右方向の絶対位置を取得する。環境音等の妨害音声又は雑音等は、相関計算により排除される。
【解決手段】リモコンに装着したスピーカ５０６を用いて所定の再生音の信号を再生し、この再生音をテレビ画面近傍に適宜設ける２つのマイクロホンでそれぞれ観測し、それぞれ観測した観測音の信号と当該再生音の信号とのＣＳＰ（白色化相互相関）係数を算出して、リモコン内のスピーカと各マイクロホンとの距離を計算することにより、マイクロホンアレイに対するリモコンの前後及び左右方向の絶対位置を取得する。環境音等の妨害音声又は雑音等は、相関計算により排除される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声信号を利用して音源の位置を検出する方法及びシステムに関する。特に、家庭用テレビゲーム機のリモートコントローラから再生音を発して観測することによりユーザの位置情報を検出する方法及びシステムに関する。
【背景技術】
【０００２】
従来、付属のリモコンを、手に持って振り回したり、画面に向けたりすることで、ゲームを操作できる家庭用のゲーム機が登場し、人気を呼んでいる（非特許文献１）。例えば、リモートコントローラ（以下、リモコンと略称）に内蔵したモーションセンサが加速度を検出し、テレビ装置の近傍に設置される発光手段（センサバーと呼称）からの光を、リモートコントローラ内のポインタ（赤外線ＣＭＯＳセンサ）により受光することにより、テレビ装置に対するリモコンの向きと距離を検出することができる。
【０００３】
また、従来、位置検出のために音声信号を利用する、マイクロホンアレイの技術が知られている（特許文献１）。例えば、目的音源の方向は、２つのマイクロホンで観測した音声間のＣＳＰ(Ｃross power-Ｓpectrum Ｐhase、白色化相互相関)係数を算出することにより推定され得る（非特許文献２）。さらに、音源にテストパターンを用いる技術（特許文献２）、音源ごとに異なる周波数帯域を用いる技術（特許文献３）、複数のマイクロホンアレイを用いて２次元又は３次元の位置推定を行う技術（特許文献４）等が知られている。
【特許文献１】特開２０００−１３４６８８号公報
【特許文献２】特開２００７−１１０３５７号公報
【特許文献３】特開２００５−１８１０８８号公報
【特許文献４】特開２００３−１５６５５２号公報
【非特許文献１】「Wiiのコントローラ」[online]、平成２０年６月２５日、［平成２０年６月３０日検索］、インターネット、<URL:http://ja.wikipedia.org/wiki/Wii%E3%81%AE%E3%82%B3%E3%83%B3%E3%83%88%E3%83%AD%E3%83%BC%E3%83%A9>
【非特許文献２】T.Nishiura，T.Yamada，S.Nakamura，K.Shikano，”Localization of multiple sound sources based on a CSP analysis with a microphone array”，Proceedings of the Acoustics Speech and Signal Processing 2000，IEEE International Conference，Volume 02
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来のテレビゲーム機の技術に用いられるセンサにおいては、リモコンの絶対的な位置、換言すれば左右の方向に加えて前後の距離を検出することはできない。従って、例えばボーリングゲームでは、ユーザの立ち位置や、画面に対する腕の振り方向は検出できない。そのため、絶対的な位置を検出できるセンサの搭載が期待されているが、画像処理、超音波、磁気といった従来の位置センサは、いずれも高コストであり、安価なゲーム機という枠組みの中で提供することは難しかった。
【０００５】
また、マイクロホンアレイを用いて位置検出する方法においては、強い雑音源が存在する状況では推定精度が劣化し、さらに、目的音源と雑音源とを区別することは困難であった。また、マイクロホンの数が２個である場合には、目的音源の位置の方向を取得することはできても、前後方向の距離を取得することは困難であった。
【０００６】
本発明は、家庭用テレビゲーム機等のリモコンを用いてユーザの位置を検出する位置センサの技術分野において、目的音源の位置の方向を取得することに加えて、前後方向の距離を取得することを目的とする。本発明の目的には、リモコンを操作するユーザの絶対的な位置を検出することも含まれる。また、本発明の目的には、再生音と観測音との相関を計算し、この相関を用いてリモコンの位置を検出することにより、強い雑音が混入する環境において、目的音源の位置を検出することも含まれる。
【課題を解決するための手段】
【０００７】
本発明は、上記課題に鑑み、以下のような解決手段を提供する。なお、本願明細書に用いる用語「音声」「音響」は典型的にはスピーカ等からの再生音を含む空気の振動を指す。用語「信号」「音声信号」「観測信号」は典型的にはマイクロホン等を用いて音響を電気信号に変換した信号、デジタル信号発生器等により生成した任意の電気信号、又はコンピュータ処理可能な符号化された電気信号を指す。
【０００８】
本発明の実施例では、リモコンに装着したスピーカを用いて既知の効果音等の所定の再生音を再生し、この再生音をテレビ画面近傍に適宜設ける２つのマイクロホンで観測し、観測した当該再生音を用いて、リモコンに装着したスピーカに対する前後及び左右方向の絶対位置を取得する。本発明の実施例においては、スピーカから再生する再生音の信号が既知であることを利用し、この既知である所定の再生音の信号とマイクロホンで観測した観測音の信号との間のＣＳＰ係数を算出する。マイクロホンを２個用いて独立に観測することにより、１つの再生音に対して２つのＣＳＰ係数が算出される。ＣＳＰ係数のピーク位置は、それぞれのマイクロホンからスピーカまでの距離に相当する。従って、２つのＣＳＰ係数を得ることにより、リモコン及び２つのマイクロホンを３頂点とする三角測量を実施し、リモコンの絶対的な位置の検出が可能になる。さらに、本発明の実施例においては、所定の再生音の信号と観測音の信号との相関を用いることにより、雑音源への耐性を強化し得る。
【０００９】
本発明の実施例に係る位置検出の実施には、家庭用ゲーム機のコンピュータ装置等を用い得る。当該コンピュータ装置は、所定の再生音の再生、再生された当該再生音の観測、観測された観測音の信号に対するＣＳＰ係数の算出等、音源の位置検出のための諸段階を実施可能なものを任意に用い得る。
【００１０】
本発明は、ユーザの体の動きに基づいて動作する家庭用テレビゲーム機用ソフトウェア技術、位置検出のためのマイクロホンアレイ技術、位置検出のための音声信号生成技術等の、既存の技術と組み合わせることができ、そのように組み合わせた技術もまた、本発明の技術範囲に含まれる。同様に、本発明の技法を含む音源の位置検出システム、本発明の技法を含み特定の物体からの反射音を用いる音響位置検出システム、本発明の技法を含む複数の物体の位置を検出するための音響位置検出システム等も、本発明の技術範囲に含まれる。さらに、本発明の技法は、音源の位置検出のための諸段階を、ＦＰＧＡ（現場でプログラム可能なゲートアレイ）、ＡＳＩＣ（特定用途向け集積回路）、これらと同等のハードウェアロジック素子、プログラム可能な集積回路、又はこれらの組み合わせが記憶し得るプログラムの形態、すなわちプログラム製品として提供し得る。具体的には、データ入出力、データバス、メモリバス、システムバス等を備えるカスタムＬＳＩ（大規模集積回路）の形態として、本発明に係る音源の位置検出装置等を提供でき、そのように集積回路に記憶されたプログラム製品の形態も、本発明の技術範囲に含まれる。
【発明の効果】
【００１１】
本発明の実施例によれば、家庭用テレビゲーム機等のリモコン内の目的音源について、位置としての左右方向に加えて、前後方向の距離を取得し得る。これにより、本発明の実施例においては、リモコンを操作するユーザの絶対的な位置を検出することが可能になる。また、本発明の実施例は、再生音の信号と観測音の信号との相関を計算し、この相関を用いてリモコンの位置を検出することにより、強い雑音が混入する環境においても、目的音源の位置を検出し得る。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施形態について図を参照しながら説明する。なお、これらはあくまでも一例であって、本発明の技術的範囲はこれらに限られるものではない。
【００１３】
［音響位置検出装置の構成図］
図１に、本発明の一実施形態に係る、音響位置検出装置５００の構成を示す。音響位置検出装置５００は、音響信号受付部１（５１１）、音響信号受付部２（５１２）、再生信号受付部５１４、メモリ５２０、位置推定部５３０、通信部５４０、制御部５５０等を備え、マイクロホンアレイ５０５、リモコン５０８等と接続する。さらに、マイクロホンアレイ５０５はマイクロホン１（５０２）及びマイクロホン２（５０４）を備え、リモコン５０８はスピーカ５０６を備える。マイクロホンアレイ５０５は、好適には音響位置検出装置５００に有線接続されるがこれに限定せず、無線接続でもよい。マイクロホンアレイ５０５により観測した音源であるリモコン５０８のスピーカからの再生音の信号は、典型的には電気信号として音響位置検出装置５００に送られる。リモコン５０８は、通信部５４０を介して、音響位置検出装置５００に双方向通信可能に接続される。好適には、リモコン５０８と通信部５４０との通信は無線である。例えば、リモコン５０８に内蔵される加速度センサ（図示せず）の検出信号等がリモコン５０８から音響位置検出装置５００に送信され、スピーカ５０６から再生される効果音等の再生音及び再生するタイミングの情報等が音響位置検出装置５００からリモコン５０８に送信される。
【００１４】
本発明に係る音響位置検出装置５００の動作においては、制御部５５０を用いて既知の効果音等の所定の再生音の信号が選択される。選択された効果音等の再生音の信号は再生信号受付部５１４及び通信部５４０に送られる。再生信号受付部５１４に送られた再生音の信号は、さらに位置推定部５３０に送られ、相関計算に用いられる。通信部５４０に送られる再生音の信号は、さらにリモコン５０８に送信され、リモコン５０８内のスピーカ５０６から再生される。再生された効果音等は、音源からの信号としてマイクロホン１（５０２）及びマイクロホン２（５０４）で観測する。観測した音源からの信号は、それぞれのマイクロホンごとに音響信号受付部１及び音響信号受付部２によりコンピュータ処理可能なデジタル符号に変換され、位置推定部５３０に送られる。位置推定部５３０は、それぞれのマイクロホンごとに観測した音源からの信号と、前述の再生信号受付部５１４を介して受け付けた効果音等の再生音の信号との相関計算等を実施し、ＣＳＰ係数を算出する。位置推定部５３０の動作の諸段階において、適宜メモリ５２０が計算のために用いられる。
【００１５】
一実施形態において、マイクロホンアレイ５０５は、マイクロホン１（５０２）及びマイクロホン２（５０４）を共通の筐体に組み込んで構成され得る。音響を電気信号に変換した音声信号等を、適宜Ａ／Ｄ変換器等を用いてコンピュータ処理可能なデジタル符号に変換することは、当技術分野において公知である。マイクロホンアレイ５０５は、マイクロホン１（５０２）及びマイクロホン２（５０４）が観測する音源からの信号のそれぞれをアナログ音声信号としてゲーム機本体５１０に送ってもよく、マイクロホンアレイ５０５に適宜Ａ／Ｄ変換器（図示せず）等を備え、デジタル符号化した音声信号を音響位置検出装置５００に送ってもよい。別の実施形態において、マイクロホンアレイ５０５は、家庭用テレビゲーム機等が適宜備えるセンサーバー等の、リモコンの方向を検出し得る付属機器に内蔵され得る。
【００１６】
一実施形態において、本発明に係る音響位置検出装置５００は、家庭用テレビゲーム機を用いて構成され、適宜マイクロホンアレイ５０５、音響信号受付部１（５０２）、音響信号受付部２（５０４）等を追加し得る。制御部５５０と位置推定部５３０のそれぞれの機能は、共通のハードウェアを用いてもよい。例えば、当該効果音は、ボーリングゲーム等において、投球動作の腕の振りに対応した効果音等であり得る。これに限らず、当該効果音は一般的な背景音楽（バックグラウンドミュージック、ＢＧＭと略称）等でもよい。
【００１７】
このように動作することにより、本発明に係る音響位置検出装置５００においては、家庭用テレビゲーム機等の装置構成又は外観に大規模な変更を加えることなく、音源の位置検出のための装置を構成し得る。
【００１８】
［音源の位置検出方法のフロー図］
図２に、本発明の一実施形態に係る、音源の位置検出方法のフロー図を示す。諸段階における計算式の詳細は後述する。
【００１９】
まず、本発明に係る音源の位置検出方法は、音声信号取得ステップ（Ｓ１００）において、観測音の信号及び既知の音声信号等の再生音の信号を、後続の諸段階のために取得する。一実施形態において、観測音の信号は、既知の音声信号が適宜１のスピーカ等を用いて音響として再生され、これを２つのマイクロホンを同時に用いて観測し、電気信号に変換した、独立した２つの音声信号であり得る。典型的には、ステップＳ１００において、２つの観測音の信号及び１の既知の再生音の信号の、合計３つの音声信号が取得される。取得された音声信号は、コンピュータ処理可能なデジタル符号に変換され得る。一実施形態において、当該デジタル符号の態様は、サンプリング周波数２２ｋＨｚで標本化され、１６ビットのワード長を有する時間領域のデータである。好適には、取得された音声信号は、１０ミリ秒等に設定された時間の幅を１フレームとして、フレーム単位のデータの集まりとして扱われる。既知の音声信号等の再生音の信号は、観測音の信号と同じフレームに含まれるように適宜遅延してもよい。
【００２０】
次いで、本発明に係る音源の位置検出方法は、スペクトル変換ステップ（Ｓ１１０）において、観測音の信号及び既知の音声信号等の再生音の信号のそれぞれをフレーム単位に離散フーリエ変換し、複素スペクトルを得る。一実施形態において、２つの観測音の信号及び１の既知の音声信号等の再生音の信号の、合計３つの信号がそれぞれ複素スペクトルに変換され得る。
【００２１】
次いで、本発明に係る音源の位置検出方法は、ＣＳＰ計算ステップ（Ｓ１２０）において、観測音の信号の複素スペクトルと、既知の音声信号等の再生音の信号の複素スペクトルとを用いてＣＳＰ係数を計算する。一実施形態において、２つの観測音の信号の複素スペクトルのそれぞれについて、既知の音声信号等の再生音の信号の複素スペクトルを共通に用いてＣＳＰ係数が計算される。すなわち、２つのＣＳＰ係数が得られる。具体的には、２つのマイクロホンを用いて観測した２つの観測音の信号について計算されたＣＳＰ係数のうち、一方は１つのマイクロホンに係る観測音の信号の情報を含み、他方は他の１つのマイクロホンに係る観測音の信号の情報を含む。
【００２２】
次いで、本発明に係る音源の位置検出方法は、スムージングステップ（Ｓ１３０）において、得られたそれぞれのＣＳＰ係数の時間方向、すなわち、複数フレームにわたって、重み付け平均を求める。一実施形態において、複数フレームは１０フレームである。
【００２３】
次いで、本発明に係る音源の位置検出方法は、ピーク検出ステップ（Ｓ１４０）において、それぞれのスムージングされたＣＳＰ係数の極大値を追跡し、ピーク位置の情報を取得し得る。これにより、２つのマイクロホンを用いて観測した２つの観測音の信号のそれぞれについて、時間を変数とするピーク位置の情報が得られる。極大値の追跡には、当技術分野の公知の手法を用い得る。好適には、Ｄｙｎａｍｉｃ Ｐｒｏｇｒａｍｍｉｎｇ（ＤＰと略称）により極大値が追跡される。
【００２４】
次いで、本発明に係る音源の位置検出方法は、座標変換ステップ（Ｓ１５０）において、前述の時間を変数とする極大値の情報を、時間を変数とする距離の情報に変換し得る。これにより、既知の効果音等の信号の再生に用いられた１のスピーカ等と、２つのマイクロホンとの距離が、時間を変数として得られる。２つのマイクロホンの間隔が既知であれば、三角測量により、当該１のスピーカの絶対的な位置、すなわち２つのマイクロホンと当該１のスピーカを含む平面内の座標系における、当該１のスピーカの座標を知ることができる。
【００２５】
次いで、本発明に係る音源の位置検出方法は、最終データであるか否かを判定するステップ（Ｓ１６０）において、位置検出を終了するための情報を検出し得る。判定が論理値の偽である場合はステップＳ１００に戻り、真である場合は位置検出の諸段階の動作を終了する。位置検出を終了するための情報としては、観測音の信号の強度が所定の値を下回ること、ゲームプログラム等が位置検出を終了するために所定の音声信号を用いること、又はゲームプログラム等が位置検出を終了するためにゲーム機等のコンピュータ装置の特定のメモリ領域に終了のための情報を書き込むこと等を、適宜設計し得る。
【００２６】
これらの諸段階を用いることにより、本発明に係る音源の位置検出方法においては、既知の音声信号に基づくＣＳＰ係数の計算により、スピーカを備えるリモコン等の２次元の位置情報を検出し得る。計算される距離は、２つのマイクロホン及び１つのスピーカの間の距離を用いる三角測量であるため、本発明に係る音源の位置検出方法においては、音源の前後及び左右の距離を含む絶対的な位置情報を検出することができる。
【００２７】
［位置推定部５３０の構成］
図３に、本発明の一実施形態に係る、音響位置検出装置５００の位置推定部５３０の構成を示す。位置推定部５３０は、観測音の信号１（１２１）、観測音の信号２（１２２）及び既知の音声信号１２３を入力として受け付け、ＤＦＴ部１０２、ＣＳＰ計算部１０４、スムージング部１０６、ピーク検出部１０８、座標変換部１１０、遅延部１１２を含む。
【００２８】
位置推定部５３０に含まれる、ＤＦＴ部１０２、ＣＳＰ計算部１０４、スムージング部１０６、ピーク検出部１０８の動作においては、好適には、時間領域の音声信号をフレーム分割し、分割したそれぞれの音声信号ごとに各段階の処理を実施する。典型的には、音声信号は１０〜２０ミリ秒単位のフレームに分割され得る。
【００２９】
まず、既知の効果音等の再生音の信号をｒ（ｔ）とおく。これは、図１に示した再生信号受付部５１４を介して位置推定部５３０に送られる音声信号であり得る。次いで、マイクロホンアレイ５０５により観測した観測音の信号をｍ１（ｔ）、ｍ２（ｔ）とおく。例えば、観測音の信号ｍ１（ｔ）はマイクロホン１（５０２）により観測した信号であり、観測音の信号ｍ２（ｔ）はマイクロホン２（５０４）により観測した信号であり得る。典型的には、ｒ（ｔ）、ｍ１（ｔ）、ｍ２（ｔ）のそれぞれはコンピュータ処理可能な符号化された信号であり得る。
【００３０】
再生音の信号ｒ（ｔ）は、観測音の信号ｍ１（ｔ）、ｍ２（ｔ）よりも早く到着するので、遅延部１１２を用いて適宜時間を遅延させることにより、再生音の信号は観測音の信号と同期し得る。この同期は、例えば、後続の諸段階を時間フレーム単位に実施する場合に、後続の諸段階の１つのフレーム内に遅延した再生音の信号と観測音の信号とが収まればよい。スピーカとマイクロホンの距離、すなわちプレイヤとＴＶ画面の距離がほぼ決まっているならば、この遅延の量は固定で与えてもよく、そうでなければ、ゲームの開始時や、プレイヤの動作開始時等の時点において、同期をとるように遅延の量を与えてもよい。遅延の量の調節においては、遅延の量は一方のマイクロホンによる観測音の信号と再生音の信号の相関が最大になるように決めてもよい。遅延の量をτとすると、遅延された再生音の信号はｒ（ｔ＋τ）と表される。
【００３１】
次いで、ＤＦＴ部１０２において、遅延部１１２の出力、観測音の信号ｍ１（ｔ）、ｍ２（ｔ）のそれぞれをフレーム単位に離散フーリエ変換し、複素スペクトルに変換する。これらの複素スペクトルを、Ｔをフレーム番号として、再生音のスペクトルＲ（Ｔ）、観測音のスペクトルＭ１（Ｔ）、Ｍ２（Ｔ）と表す。
【００３２】
次いで、ＣＳＰ計算部１０４にて、次式のように２つのＣＳＰ係数を算出する。
【数１】
【数２】
ここに、ｉＤＦＴは逆離散フーリエ変換、＊は共役複素数を表す。φ１ｒ、φ２ｒはベクトルで、各要素は２つの信号の遅れ時間又は進み時間に対応する相関値である。
【００３３】
図４に、本発明の一実施形態に係る、１フレーム内の観測音の信号及び再生音の信号に基づくＣＳＰ係数の例を示す。横軸は１フレーム内の時間（２３０）であり、縦軸は相関値である。図４のように、ＣＳＰ係数は観測音の信号及び再生音の信号の時間差に相当する主たるピークを持つ。すなわち、スピーカがマイクロホンに近づいたり離れたりすれば、このピークがそれに応じて位置が移動する。なお、ｉＤＦＴの計算においては帯域を制限してもよい。すなわち、低周波領域と高周波領域をカットしてもよい。
【００３４】
次いで、スムージング部１０６において、この２つのＣＳＰ係数φ１ｒ、φ２ｒを時間方向、すなわち、複数フレームにわたって、次式のように重み付き平均する。
【数３】
【数４】
ここに、ｗ（ｌ）は任意の重み、Ｌはスムージング幅である。これにより、より安定した表現を得ることができる。典型的なＬの値は１０であるが、これに限らず、適宜設計し得る。
【００３５】
次いで、ピーク検出部１０８において、前述の２つのスムージング後のＣＳＰ係数の極大値を追跡することにより、ピーク位置ｄ１（Ｔ）、ｄ２（Ｔ）を取得する。極大値の追跡には、Ｄｙｎａｍｉｃ Ｐｒｏｇｒａｍｍｉｎｇ（ＤＰと略称）、カルマンフィルタ、Ｐａｒｔｉｃｌｅ Ｆｉｌｔｅｒｉｎｇ等の当技術分野に公知の手法を用い得る。
【００３６】
一実施形態において、ピーク検出部１０８における極大値の追跡には、ＤＰを使用し得る。前述の
のｋ番目の要素を
とすると、評価関数Ψ１、Ψ２は、次式のように与えられる。
【数５】
【数６】
ここで、Ｌ（ｊ，ｋ）は、ｊからｋへの遷移コストである。ここでは両者の差が小さいものほど大きく設定する。ピーク位置の時系列ｄ１（Ｔ）、ｄ２（Ｔ）は、上記評価関数Ψ１、Ψ２をそれぞれ最大にするようなｋの履歴として与えられる。ＤＰを使用することにより、単純に、Ｔごとに
の最大値を与えるｋを取得するよりも、連続性のある時系列を得ることができる。
【００３７】
次いで、座標変換部１１０において、ｄ１（Ｔ）、ｄ２（Ｔ）をもとに、よりわかりやすい座標表現に変換する。今、ｄ１（Ｔ）、ｄ２（Ｔ）を、参照信号に対して観測音の信号が進んで観測される（伝播時間が短い）方向を正にとったと仮定すると、スピーカから、２つの各マイクロホンまでの距離は、次式のように推定できる。
【数７】
【数８】
ここで、τ０は、観測音の信号が空気中を伝播した分に相当する遅延量である。観測音の信号はオーディオデバイスを経由するが、一般にオーディオデバイスにはデータを一時記憶するバッファが介在し、それに伴う遅延量τＤが発生する。この遅延量τＤは予め調べておくことができるので、前述の遅延の量τから、τＤを差し引くことにより、τ０を求めることができる。これにより、ｄ１（Ｔ）、ｄ２（Ｔ）は、２次元のマップ上の位置に変換することができる。この２次元のマップ上の位置の情報は、例えば家庭用ゲーム機等の動作において、リモコンを操作するユーザの位置の変化を画面に表示して興趣を向上させるゲームソフトウェア等に利用することが可能である。
【００３８】
好適には、この２次元マップは、本発明に係る音源の位置検出方法の実施装置等が使用される空間の、水平面内にマッピングされ得る。このようにして、本発明に係る音源の位置検出方法においては、ＣＳＰ係数に基づいて計算される到達時間を、テレビ装置の前方等にマッピングされる２次元座標に置き換え、リモコン内のスピーカに対する２次元の位置検出を実施し得る。
【００３９】
図５に、本発明の一実施形態に係る、２つのマイクロホンからの距離に基づく音源の位置検出方法のための座標の例を示す。図５は、典型的には、水平に並べて配置されるマイクロホン１（５０２）及びマイクロホン２（５０４）を上方から眺める状況を表す。これらのマイクロホンのそれぞれを中心とし、ＣＳＰ係数に基づいて算出される到達時間を換算した距離に対応する半径を有する複数の同心円を考える。
【００４０】
例えば、マイクロホン１（５０２）を中心とするマイクロホン１からの距離ＲＭ１（２２２）、及びマイクロホン２（５０４）を中心とするマイクロホン２からの距離ＲＭ２（２２４）を設定し、さらに、これらの距離を要素とする２次元座標（ＲＭ１，ＲＭ２）を設定する。この２次元座標においては、例えば、図５に示すＰ点は２次元座標（３，７）に位置し、Ｑ点は２次元座標（８，５）として表される。
【００４１】
例えば、スピーカ５０６からの音響をマイクロホン１（５０２）及びマイクロホン２（５０４）で観測し、本発明に係る音源の位置検出方法を用いて距離ＲＭ１＝７、距離ＲＭ２＝８と算出されるときに、このスピーカ５０６の位置は２次元座標（７，８）である。このようにして、２つのマイクロホンからの距離に基づいて、スピーカ５０６等の発音源の前後及び左右の絶対的な位置を２次元座標として得られる。
【００４２】
図５に示す座標の値は、マイクロホン１（５０２）及びマイクロホン２（５０４）の前後方向に対称性を有する。しかしながら、これらのマイクロホンとして前方に感度を有する指向性マイクロホン等を用いることにより、後方から到達する音響に対する感度は著しく低下し得る。従って、マイクロホンの指向性を利用することにより、座標の値の対称性は位置検出において問題にならない。
【００４３】
［ピーク検出部１０８の拡張］
図３を用いて前述した本発明に係る音源の位置検出方法においては、既知の再生音の信号及び２つのマイクロホンの観測音の信号との間で、ＣＳＰ係数を算出し、音源の位置検出に用いる。すなわち、図３、数式１及び数式２に示したΦ１ｒ及びΦ２ｒが、ＣＳＰ係数の計算に用いられる。さらに、本発明に係る音源の位置検出方法においては、２つのマイクロホンの観測音の信号の間でＣＳＰ係数を計算し、音源の位置検出に用い得る。
【００４４】
図６に、本発明の一実施形態に係る、マイクロホンとＣＳＰ係数との関係を例示する。スピーカ５０６は、再生信号２１０として既知の効果音等を発しながら、例えば図示の実線の矢印の方向等に移動し得る。図３を用いて前述した音源の位置検出においては、ＣＳＰ係数としてΦ１ｒ（５１２）及びΦ２ｒ（５１４）が計算される。さらに、本発明においては、ＣＳＰ係数としてΦ１２（５１６）も、同時に用い得る。
【００４５】
図７に、音響位置検出装置５００における別の実施形態としての位置推定部５３５の構成を示す。位置推定部５３５においては、再生している信号そのものとそれぞれのマイクロホンを介する観測音の信号との間（図３におけるΦ１ｒ及びΦ２ｒ）に加えて、２つのマイクロホンの観測音の信号間のＣＳＰ係数（Φ１２）を用いる。図３に示した位置推定部５３０から大きな変更はないが、Φ１２に関する処理が、以下のように追加、変更される。
【００４６】
一実施形態において、本発明に係る音響位置検出装置５００の位置推定部５３５は、ＣＳＰ計算部１０４において、次のＣＳＰ係数の算出を追加する。
【数９】
スムージング部１０６では、次の追加の処理を行う。
【数１０】
ピーク検出部１０８は、
と
と
を同時に使用して、最適なピーク追跡を実施し得る。
【００４７】
一実施形態において、本発明に係る音源の位置検出方法の実施装置等のピーク検出部１０８は、ピーク検出にＤＰを用い得る。この場合の評価関数Ψは、次式のように与えられる。
【数１１】
ここで、Ｃ１ｒ、Ｃ２ｒ、Ｃ１２は、各項の重みを調整するための定数である。Ｌ（ｊ，ｋ）は、ｊからｋへの遷移コストであり、両者の差が小さいものほど大きく設定する。ピーク位置の時系列ｄ１（Ｔ）、ｄ２（Ｔ）は、上記評価関数Ψを最大にするようなｋ１、ｋ２の履歴として与えられる。
【実施例】
【００４８】
本発明に係る音源の位置検出方法の実施例として、妨害音源の存在下における信号音源の位置検出の例を示す。以下の実施例においては、妨害音源として男性話者の話声を用い、信号音源としてホワイトノイズを用いた。まず、妨害音源及び信号音源を個別に観測してそれぞれ取得した後、所定のＳＮ比（約−１５ｄＢ、妨害音源の方が振幅が大きい）となるように、取得した各音源の振幅を調整し、２つのチャンネルごとに音声を混合した。
【００４９】
表１に、本発明の一実施形態に係る、音響位置検出装置を用いる位置検出の実験条件を示す。表２に、各実験例におけるスピーカ位置の一覧を示す。
【表１】
【表２】
【００５０】
以下の図８から図１１においては、位置検出のための信号音源及び２つのマイクロホンを含む平面内に、左右及び前後の座標を表すための直交座標を設定し、検出した位置をこれらの座標軸を有する平面内に配置する。座標軸の原点は、２つのマイクロホンを結ぶ線分の中点にとり、マイクロホンから信号音源に向かって前後方向の距離をとるものとする。信号音源はスピーカ２０６（図８〜図１１のそれぞれにおいて２０６−１、２０６−２、２０６−３、２０６−４）から再生されるホワイトノイズであり、妨害音源はスピーカ２０７から再生される男性話者の話声である。
【００５１】
［位置検出の実験例（１）：信号音源を固定した場合］
図８に、マイクロホンアレイ５０５の正面方向に約２ｍの距離を隔てて、信号音源のスピーカ（２０６−１）を固定した場合の、本発明に係る音源の位置検出方法による位置検出の結果を示す。妨害音源のスピーカ２０７からの妨害音源が存在する状況において、信号音源は、座標平面２３４内においてマイクロホンアレイ５０５から約２ｍの距離のほぼ定点に検出され、実験時の信号音源の位置が再現された。
【００５２】
［位置検出の実験例（２）：信号音源を左右に移動した場合］
図９に、マイクロホンアレイ５０５の正面方向に約２ｍの距離を隔てて、信号音源のスピーカ（２０６−２）を左右方向に移動した場合の、本発明に係る音源の位置検出方法による位置検出の結果を示す。妨害音源のスピーカ２０７からの妨害音源が存在する状況において、検出された信号音源の位置は、座標平面２３４内のマイクロホンアレイ５０５から約１．７〜１．８ｍの距離を隔て、左右方向に約±５０ｃｍの範囲に１０点の空間分解能を有して検出され、実験時の信号音源の位置が再現された。
【００５３】
［位置検出の実験例（３）：信号音源を前後に移動した場合］
図１０に、マイクロホンアレイ５０５の正面方向に約２ｍの距離を隔てて、信号音源のスピーカ（２０６−３）を前後方向に移動した場合の、本発明に係る音源の位置検出方法による位置検出の結果を示す。妨害音源のスピーカ２０７からの妨害音源が存在する状況において、検出された信号音源の位置は、座標平面２３４内のマイクロホンアレイ５０５から前後方向に約０．８〜２ｍの距離の範囲に約８０点の空間分解能を有して検出され、実験時の信号音源の位置が再現された。
【００５４】
［位置検出の実験例（４）：信号音源を円を描くように移動した場合］
図１１に、マイクロホンアレイ５０５の正面方向に約２ｍの距離を隔てて、信号音源のスピーカ（２０６−４）を円を描くように移動した場合の、本発明に係る音源の位置検出方法による位置検出の結果を示す。妨害音源のスピーカ２０７からの妨害音源が存在する状況において、信号音源は、座標平面２３４内においてマイクロホンアレイ５０５から左右方向に約−１００〜＋４０ｃｍの範囲に約１５点の空間分解能を有し、前後方向に約６５点の空間分解能を有して検出され、実験時の信号音源の位置が再現された。
【００５５】
本発明に係る音源の位置検出方法においては、これらの実験例に示すように、妨害音声が存在する状況においても、前後及び左右の動きを追跡し得る。
【００５６】
［実施例：周波数帯域の分割による複数プレイヤ対応］
本発明に係る音源の位置検出方法においては、使用する周波数帯域を分割することにより、１つの音源の位置検出装置を用いて、複数のプレイヤのそれぞれの位置を検出し得る。
図１２に、本発明の一実施形態に係る、音源の位置検出方法における周波数帯域の分割を例示する。図１２（ａ）、（ｂ）のそれぞれにおいて、縦方向は周波数の高低に対応する。好適には、分割された周波数帯域のそれぞれは他の周波数帯域に対して実質的に重複せず、特定のプレイヤの位置検出のために用いられる。
【００５７】
図１２（ａ）は、ゲームソフトウェア等のユーザが１人のみの場合に、本発明に係る音源の位置検出方法に係る位置検出のための既知の音声信号として帯域Ｆ（２８２）、換言すれば低周波から高周波までの任意の帯域を用い得ることを示す。
【００５８】
図１２（ｂ）は、位置検出のための既知の音声信号を複数の周波数帯域に分割することを表す。すなわち、ゲームソフトウェア等のユーザが３人等の場合に、本発明に係る音源の位置検出方法に係る位置検出のための既知の音声信号として、プレイヤＡは帯域Ａ１（２８３）、Ａ２（２８６）及びＡ３（２８９）を用い、プレイヤＢは帯域Ｂ１（２８４）、Ｂ２（２８７）及びＢ３（２９０）を用い、プレイヤＣは帯域Ｃ１（２８５）、Ｃ２（２８８）及びＣ３（２９１）を用い得る。これらの複数の周波数帯域に振り分けられた位置検出のための音声信号のそれぞれは、例えば、図３に示したＤＦＴ部１０２により周波数スペクトルに変換され、異なる周波数成分を有する音声信号として区別され得る。さらに、図３に示したＣＳＰ計算部１０４において、それぞれのユーザに適した帯域制限を実施し得る。ユーザの人数は３人に限らず、適宜設定し得る。
【００５９】
［実施例：時間領域の分割による複数プレイヤ対応］
【００６０】
図１３に、本発明の一実施形態に係る、音源の位置検出方法における時間領域の分割を例示する。図１３（ａ）〜（ｄ）は、本発明に係る音源の位置検出方法を用いるそれぞれのユーザが、時間分割して、図１２（ｂ）に示した周波数帯域を用い得ることを示す。すなわち、図１３（ａ）は１人プレイにおける周波数帯域の使用状況を表し、これに対して図１３（ｂ）〜（ｄ）は３人プレイにおいて周波数帯域の使用が時間分割される状況を表す。
【００６１】
例えば、ある時間分割された時間領域１（２９５）は、プレイヤＡが帯域Ａ１（２８３）、Ａ２（２８６）及びＡ３（２８９）を用いるために割り当てられる。引き続く時間領域２（２９６）は、プレイヤＢが帯域Ｂ１（２８４）、Ｂ２（２８７）及びＢ３（２９０）を用いるために用いられる。さらに引き続く時間領域３（２９７）は、プレイヤＣが帯域Ｃ１（２８５）、Ｃ２（２８８）及びＣ３（２９１）を用いるために用いられる。
【００６２】
図１３に示した時間領域の分割は、図１２に示した周波数帯域の分割と併用してもよい。例えば、時間領域１（２９５）に、プレイヤＡが使用していない周波数帯域、換言すれば、帯域Ｆ（２８２）の範囲内において、帯域Ａ１（２８３）、Ａ２（２８６）及びＡ３（２８９）と重複しない任意の周波数帯域を用いて、本発明に係る音源の位置検出方法を実施し得る。
【００６３】
このように本発明に係る音源の位置検出方法においては、周波数帯域の分割だけでなく、時間領域の分割を用いることにより、より多くのユーザが本発明に係る音源の位置検出方法の実施装置等を同時に利用することが可能になる。
【００６４】
［位置検出に用いない背景音の再生方法］
図１４に、本発明の一実施形態に係る、位置検出に用いない背景音の再生方法を例示する。ここで、位置検出に用いない背景音には、ゲームソフトウェアの動作状況等に基づいて再生されるＢＧＭ等の音楽、ゲームのキャラクタの動き等の効果音又はゲーム場面に含まれる仮想的な河川や野原等の環境音等を適宜含む。これらの位置検出に用いない背景音は、位置検出のための既知の音声信号とは異なる、検出誤りを増大する可能性のある妨害音声に含まれる。
【００６５】
図１４においては、本発明に係る音源の位置検出方法の実施装置等は、位置検出のための所定の再生音の信号に基づく音源２７０の空間位置を検出するためにマイクロホンアレイ５０５を用いる。ここで、マイクロホンアレイ５０５は、マイクロホン１（５０２）及びマイクロホン２（５０４）を含む。ＢＧＭ等の再生音は、左スピーカ２４２及び右スピーカ２４６から再生され得る。音源２７０は、マイクロホン１（５０２）及びマイクロホン２（５０４）を結ぶ線分と中点で直行する直線に対して、音源位置の角度θ（２６０）を有する。音源位置の角度θ（２６０）は、好適には±４５°以下、より好適には±３０°以下、最も好適には±２０°以下である。
【００６６】
一実施形態において、本発明に係る音源の位置検出方法のユーザは、マイクロホンアレイ５０５から見て中央付近に位置し、リモコンの位置検出を用いるゲームソフトウェア等を利用する。本発明に係る音源の位置検出方法においては、位置検出に用いない背景音を、左スピーカ２４２及び右スピーカ２４６を用いて再生されるモノラル音声とし、一方のスピーカの再生音を他方のスピーカよりも所定の時間だけ遅延又は先行させる。好適には、遅延又は先行の時間は数ミリ秒から数十ミリ秒であり得る。
【００６７】
別の実施形態において、本発明に係る音源の位置検出方法のユーザは、同様にマイクロホンアレイから見て中央付近に位置する。本発明に係る音源の位置検出方法においては、位置検出に用いない背景音を、左スピーカ２４２及び右スピーカ２４６を用いて再生されるモノラル音声とし、一方のスピーカの再生音の位相を他方のスピーカの再生音の位相に対して反転させる。
【００６８】
また別の実施形態において、本発明に係る音源の位置検出方法の実施装置等は、ゲームソフトウェア等がユーザの位置検出を用いる期間に再生する背景音に対して、前述のように背景音を２つのモノラル音声の形態とし、一方を所定の時間だけ遅延又は先行させ、あるいは一方の背景音の位相を他方の背景音の位相に対して反転させ得る。当該ゲームソフトウェア等がユーザの位置検出を用いない期間に再生する背景音に対しては、このような処理を省略し、例えば背景音をステレオ音声の形態で再生してもよい。
【００６９】
これらのようにすることにより、本発明に係る音源の位置検出方法においては、位置検出に用いない背景音は、２つのマイクロホンの中央付近に定位しない。従って、ユーザがマイクロホンアレイから見て中央付近に位置し、本発明に係る音源の位置検出方法が主としてマイクロホンの中央付近の音源位置を検出する場合に、位置検出に用いない背景音が妨害となることを避けられる。
【００７０】
［音源の位置検出のためのハードウェア構成］
図１５は、本発明の一実施形態に係る、音源の位置検出のためのハードウェア構成を示す図である。図１５においては、音響位置検出装置を情報処理装置１０００とし、そのハードウェア構成を例示する。以下は、コンピュータを典型とする情報処理装置として全般的な構成を説明するが、その環境に応じて必要最小限な構成を選択できることはいうまでもない。
【００７１】
情報処理装置１０００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１０、バスライン１００５、通信インタフェース（Ｉ／Ｆ）１０４０、メインメモリ１０５０、ＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）１０６０、グラフィックコントローラ１０２０、ＶＲＡＭ１０２４、音声プロセッサ１０３０、Ｉ／Ｏコントローラ１０７０、及び、適宜拡張インタフェース１１００等を備える。Ｉ／Ｏコントローラ１０７０には、ゲームカートリッジインタフェース（Ｉ／Ｆ）１０７２、ハードディスク１０７４、光ディスクドライブ１０７６、半導体メモリ１０７８等の記憶手段を接続することができる。
【００７２】
一実施形態において、音声プロセッサ１０３０には、マイクロホン１０３６、１０３７、及びテレビ装置１０２２の外部音声入力手段等が接続される。また、グラフィックコントローラ１０２０には、テレビ装置１０２２の外部映像入力手段等が接続されている。すなわち、テレビ装置１０２２からは、ゲームソフトウェア等の動作に従って音声及び映像がユーザに提供され得る。
【００７３】
音声プロセッサ１０３０に接続されるマイクロホン１０３６、１０３７は、前述の図１に示したマイクロホンアレイ５０５に含まれるマイクロホン１（５０２）、マイクロホン２（５０４）であり得る。例えば、これらのマイクロホン１０３６、１０３７は、テレビ装置１０２２の筐体上部又は近傍等に設置され、リモコン１０３２の位置を検出するための音声信号の受信に用いられる。
【００７４】
別の実施形態において、マイクロホン１０３６、１０３７は、適宜Ａ／Ｄ変換器（図示せず）と共にデジタル符号化された音声信号を出力可能なマイクロホンアレイ装置等（図示せず）に含まれ、拡張Ｉ／Ｆ１１００又はゲームカートリッジＩ／Ｆ１０７２等を介して、情報処理装置１０００に接続され得る。このように構成することで、本発明に係る音源の位置検出方法の実施装置等のユーザは、音源の位置検出方法の使用を所望するときに、適宜ゲームカートリッジＩ／Ｆ１０７２等にマイクロホンアレイからの接続ケーブル等を接続し、使用しない場合は接続ケーブル等を撤去し得る。
【００７５】
通信Ｉ／Ｆ１０４０は、リモコン１０３２と無線又は有線通信により接続し、ＣＰＵ１０１０が実行するゲームソフトウェア等の動作に従って、ユーザによる操作の情報等を受信し、リモコン１０３２に内蔵されるスピーカ１０３４への音声信号を送信し、又は所定の音声信号を再生するタイミング等の制御信号を送信する。好適には、通信Ｉ／Ｆ１０４０とリモコン１０３２との接続は無線である。さらに、通信Ｉ／Ｆ１０４０は、適宜インターネット等のネットワーク１０４２に接続してもよい。
【００７６】
ＢＩＯＳ１０６０は、情報処理装置１０００の起動時にＣＰＵ１０１０が実行するブートプログラムや、情報処理装置１０００のハードウェアに依存するプログラム等を格納する。ゲームカートリッジＩ／Ｆ１０７２は、ゲームカートリッジ１０７１からプログラム又はデータを読み取り、Ｉ／Ｏコントローラ１０７０を介してメインメモリ１０５０又はハードディスク１０７４に提供する。図１５には、情報処理装置１０００の内部にハードディスク１０７４が含まれる例を示したが、バスライン１００５又はＩ／Ｏコントローラ１０７０に外部機器接続用インタフェース（図示せず）を接続し、情報処理装置１０００の外部にハードディスクを接続又は増設してもよい。
【００７７】
光ディスクドライブ１０７６としては、例えば、ＤＶＤ−ＲＯＭドライブ、ＣＤ−ＲＯＭドライブ、ＤＶＤ−ＲＡＭドライブ、ＣＤ−ＲＡＭドライブ等を使用することができる。この際は各ドライブに対応した光ディスク１０７７を使用する必要がある。光ディスクドライブ１０７６は光ディスク１０７７からプログラム又はデータを読み取り、Ｉ／Ｏコントローラ１０７０を介してメインメモリ１０５０又はハードディスク１０７４に提供することもできる。
【００７８】
情報処理装置１０００に提供されるコンピュータプログラムは、ゲームカートリッジ１０７１、光ディスク１０７７、又はメモリーカード等の記録媒体に格納されて利用者によって提供される。このコンピュータプログラムは、Ｉ／Ｏコントローラ１０７０を介して、記録媒体から読み出され、又は通信Ｉ／Ｆ１０４０を介してネットワーク１０４２からダウンロードされることによって、情報処理装置１０００にインストールされ実行される。コンピュータプログラムが情報処理装置に働きかけて行わせる動作は、既に説明した装置における動作と同一であるので省略する。
【００７９】
前述のコンピュータプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としてはゲームカートリッジ１０７１、光ディスク１０７７、又はメモリーカードの他に、ＭＤ等の光磁気記録媒体、テープ媒体を用いることができる。また、専用通信回線やインターネットに接続されたサーバシステムに設けたハードディスク又は光ディスクライブラリ等の記憶装置を記録媒体として使用し、通信回線を介してコンピュータプログラムを情報処理装置１０００に提供してもよい。
【００８０】
以上の例は、情報処理装置１０００について主に説明したが、コンピュータに、情報処理装置で説明した機能を有するプログラムをインストールして、そのコンピュータを情報処理装置として動作させることにより上記で説明した情報処理装置と同様な機能を実現することができる。
【００８１】
本装置は、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの組み合わせとして実現可能である。ハードウェアとソフトウェアの組み合わせによる実施では、所定のプログラムを有するコンピュータシステムでの実施が典型的な例として挙げられる。かかる場合、該所定のプログラムが該コンピュータシステムにロードされ実行されることにより、該プログラムは、コンピュータシステムに本発明にかかる処理を実行させる。このプログラムは、任意の言語、コード、又は表記によって表現可能な命令群から構成される。そのような命令群は、システムが特定の機能を直接実行すること、又は（１）他の言語、コード、もしくは表記への変換、（２）他の媒体への複製、のいずれか一方もしくは双方が行われた後に、実行することを可能にするものである。もちろん、本発明は、そのようなプログラム自体のみならず、プログラムを記録した媒体を含むプログラム製品もその範囲に含むものである。本発明の機能を実行するためのプログラムは、フレキシブルディスク、ＭＯ、ＣＤ−ＲＯＭ、ＤＶＤ、ハードディスク装置、ＲＯＭ、ＭＲＡＭ、ＲＡＭ、フラッシュメモリ等の任意のコンピュータ可読媒体に格納することができる。かかるプログラムは、コンピュータ可読媒体への格納のために、通信回線で接続する他のコンピュータシステムからダウンロードしたり、他の媒体から複製したりすることができる。また、かかるプログラムは、圧縮し、又は複数に分割して、単一又は複数の記録媒体に格納することもできる。
【００８２】
以上、本発明を実施形態に則して説明したが、本発明は上述した実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態又は実施例に記載されたものに限定されるものではない。
【図面の簡単な説明】
【００８３】
【図１】本発明の一実施形態に係る、音響位置検出装置５００の構成を示す図である。
【図２】本発明の一実施形態に係る、音源の位置検出方法のフロー図である。
【図３】本発明の一実施形態に係る、音響位置検出装置５００の位置推定部５３０の構成を示す図である。
【図４】本発明の一実施形態に係る、１フレーム内の観測音の信号及び再生音の信号に基づくＣＳＰ係数の例を示す図である。
【図５】本発明の一実施形態に係る、２つのマイクロホンからの距離に基づく音源の位置検出方法のための座標の例を示す図である。
【図６】本発明の一実施形態に係る、マイクロホンとＣＳＰ係数との関係を例示する図である。
【図７】本発明の一実施形態に係る、音響位置検出装置５００における別の実施形態としての位置推定部５３５の構成を示す図である。
【図８】本発明の一実施形態に係る、信号音源の位置を固定する場合の、本発明に係る音源の位置検出方法による位置検出の結果の例を示す図である。
【図９】本発明の一実施形態に係る、信号音源の位置を左右に移動する場合の、本発明に係る音源の位置検出方法による位置検出の結果の例を示す図である。
【図１０】本発明の一実施形態に係る、信号音源の位置を前後に移動する場合の、本発明に係る音源の位置検出方法による位置検出の結果の例を示す図である。
【図１１】本発明の一実施形態に係る、円を描くように信号音源の位置を移動する場合の、本発明に係る音源の位置検出方法による位置検出の結果の例を示す図である。
【図１２】本発明の一実施形態に係る、音源の位置検出方法における周波数帯域の分割を例示する図である。
【図１３】本発明の一実施形態に係る、音源の位置検出方法における時間領域の分割を例示する図である。
【図１４】本発明の一実施形態に係る、ＢＧＭ再生の方法を例示する図である。
【図１５】本発明の一実施形態に係る、音源の位置検出のためのハードウェア構成を示す図である。
【符号の説明】
【００８４】
１０２ ＤＦＴ部
１０４ ＣＳＰ計算部
１０６ スムージング部
１０８ ピーク検出部
１１０ 座標変換部
１１２ 遅延部
５００ 音響位置検出装置
５０２、５０４ マイクロホン
５０５ マイクロホンアレイ
５０６ スピーカ
５０８ リモコン
５１１、５１２ 音響信号受付部
５１４ 再生信号受付部
５２０ メモリ
５３０、５３５ 位置推定部
５４０ 通信部
５５０ 制御部
【技術分野】
【０００１】
本発明は、音声信号を利用して音源の位置を検出する方法及びシステムに関する。特に、家庭用テレビゲーム機のリモートコントローラから再生音を発して観測することによりユーザの位置情報を検出する方法及びシステムに関する。
【背景技術】
【０００２】
従来、付属のリモコンを、手に持って振り回したり、画面に向けたりすることで、ゲームを操作できる家庭用のゲーム機が登場し、人気を呼んでいる（非特許文献１）。例えば、リモートコントローラ（以下、リモコンと略称）に内蔵したモーションセンサが加速度を検出し、テレビ装置の近傍に設置される発光手段（センサバーと呼称）からの光を、リモートコントローラ内のポインタ（赤外線ＣＭＯＳセンサ）により受光することにより、テレビ装置に対するリモコンの向きと距離を検出することができる。
【０００３】
また、従来、位置検出のために音声信号を利用する、マイクロホンアレイの技術が知られている（特許文献１）。例えば、目的音源の方向は、２つのマイクロホンで観測した音声間のＣＳＰ(Ｃross power-Ｓpectrum Ｐhase、白色化相互相関)係数を算出することにより推定され得る（非特許文献２）。さらに、音源にテストパターンを用いる技術（特許文献２）、音源ごとに異なる周波数帯域を用いる技術（特許文献３）、複数のマイクロホンアレイを用いて２次元又は３次元の位置推定を行う技術（特許文献４）等が知られている。
【特許文献１】特開２０００−１３４６８８号公報
【特許文献２】特開２００７−１１０３５７号公報
【特許文献３】特開２００５−１８１０８８号公報
【特許文献４】特開２００３−１５６５５２号公報
【非特許文献１】「Wiiのコントローラ」[online]、平成２０年６月２５日、［平成２０年６月３０日検索］、インターネット、<URL:http://ja.wikipedia.org/wiki/Wii%E3%81%AE%E3%82%B3%E3%83%B3%E3%83%88%E3%83%AD%E3%83%BC%E3%83%A9>
【非特許文献２】T.Nishiura，T.Yamada，S.Nakamura，K.Shikano，”Localization of multiple sound sources based on a CSP analysis with a microphone array”，Proceedings of the Acoustics Speech and Signal Processing 2000，IEEE International Conference，Volume 02
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来のテレビゲーム機の技術に用いられるセンサにおいては、リモコンの絶対的な位置、換言すれば左右の方向に加えて前後の距離を検出することはできない。従って、例えばボーリングゲームでは、ユーザの立ち位置や、画面に対する腕の振り方向は検出できない。そのため、絶対的な位置を検出できるセンサの搭載が期待されているが、画像処理、超音波、磁気といった従来の位置センサは、いずれも高コストであり、安価なゲーム機という枠組みの中で提供することは難しかった。
【０００５】
また、マイクロホンアレイを用いて位置検出する方法においては、強い雑音源が存在する状況では推定精度が劣化し、さらに、目的音源と雑音源とを区別することは困難であった。また、マイクロホンの数が２個である場合には、目的音源の位置の方向を取得することはできても、前後方向の距離を取得することは困難であった。
【０００６】
本発明は、家庭用テレビゲーム機等のリモコンを用いてユーザの位置を検出する位置センサの技術分野において、目的音源の位置の方向を取得することに加えて、前後方向の距離を取得することを目的とする。本発明の目的には、リモコンを操作するユーザの絶対的な位置を検出することも含まれる。また、本発明の目的には、再生音と観測音との相関を計算し、この相関を用いてリモコンの位置を検出することにより、強い雑音が混入する環境において、目的音源の位置を検出することも含まれる。
【課題を解決するための手段】
【０００７】
本発明は、上記課題に鑑み、以下のような解決手段を提供する。なお、本願明細書に用いる用語「音声」「音響」は典型的にはスピーカ等からの再生音を含む空気の振動を指す。用語「信号」「音声信号」「観測信号」は典型的にはマイクロホン等を用いて音響を電気信号に変換した信号、デジタル信号発生器等により生成した任意の電気信号、又はコンピュータ処理可能な符号化された電気信号を指す。
【０００８】
本発明の実施例では、リモコンに装着したスピーカを用いて既知の効果音等の所定の再生音を再生し、この再生音をテレビ画面近傍に適宜設ける２つのマイクロホンで観測し、観測した当該再生音を用いて、リモコンに装着したスピーカに対する前後及び左右方向の絶対位置を取得する。本発明の実施例においては、スピーカから再生する再生音の信号が既知であることを利用し、この既知である所定の再生音の信号とマイクロホンで観測した観測音の信号との間のＣＳＰ係数を算出する。マイクロホンを２個用いて独立に観測することにより、１つの再生音に対して２つのＣＳＰ係数が算出される。ＣＳＰ係数のピーク位置は、それぞれのマイクロホンからスピーカまでの距離に相当する。従って、２つのＣＳＰ係数を得ることにより、リモコン及び２つのマイクロホンを３頂点とする三角測量を実施し、リモコンの絶対的な位置の検出が可能になる。さらに、本発明の実施例においては、所定の再生音の信号と観測音の信号との相関を用いることにより、雑音源への耐性を強化し得る。
【０００９】
本発明の実施例に係る位置検出の実施には、家庭用ゲーム機のコンピュータ装置等を用い得る。当該コンピュータ装置は、所定の再生音の再生、再生された当該再生音の観測、観測された観測音の信号に対するＣＳＰ係数の算出等、音源の位置検出のための諸段階を実施可能なものを任意に用い得る。
【００１０】
本発明は、ユーザの体の動きに基づいて動作する家庭用テレビゲーム機用ソフトウェア技術、位置検出のためのマイクロホンアレイ技術、位置検出のための音声信号生成技術等の、既存の技術と組み合わせることができ、そのように組み合わせた技術もまた、本発明の技術範囲に含まれる。同様に、本発明の技法を含む音源の位置検出システム、本発明の技法を含み特定の物体からの反射音を用いる音響位置検出システム、本発明の技法を含む複数の物体の位置を検出するための音響位置検出システム等も、本発明の技術範囲に含まれる。さらに、本発明の技法は、音源の位置検出のための諸段階を、ＦＰＧＡ（現場でプログラム可能なゲートアレイ）、ＡＳＩＣ（特定用途向け集積回路）、これらと同等のハードウェアロジック素子、プログラム可能な集積回路、又はこれらの組み合わせが記憶し得るプログラムの形態、すなわちプログラム製品として提供し得る。具体的には、データ入出力、データバス、メモリバス、システムバス等を備えるカスタムＬＳＩ（大規模集積回路）の形態として、本発明に係る音源の位置検出装置等を提供でき、そのように集積回路に記憶されたプログラム製品の形態も、本発明の技術範囲に含まれる。
【発明の効果】
【００１１】
本発明の実施例によれば、家庭用テレビゲーム機等のリモコン内の目的音源について、位置としての左右方向に加えて、前後方向の距離を取得し得る。これにより、本発明の実施例においては、リモコンを操作するユーザの絶対的な位置を検出することが可能になる。また、本発明の実施例は、再生音の信号と観測音の信号との相関を計算し、この相関を用いてリモコンの位置を検出することにより、強い雑音が混入する環境においても、目的音源の位置を検出し得る。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施形態について図を参照しながら説明する。なお、これらはあくまでも一例であって、本発明の技術的範囲はこれらに限られるものではない。
【００１３】
［音響位置検出装置の構成図］
図１に、本発明の一実施形態に係る、音響位置検出装置５００の構成を示す。音響位置検出装置５００は、音響信号受付部１（５１１）、音響信号受付部２（５１２）、再生信号受付部５１４、メモリ５２０、位置推定部５３０、通信部５４０、制御部５５０等を備え、マイクロホンアレイ５０５、リモコン５０８等と接続する。さらに、マイクロホンアレイ５０５はマイクロホン１（５０２）及びマイクロホン２（５０４）を備え、リモコン５０８はスピーカ５０６を備える。マイクロホンアレイ５０５は、好適には音響位置検出装置５００に有線接続されるがこれに限定せず、無線接続でもよい。マイクロホンアレイ５０５により観測した音源であるリモコン５０８のスピーカからの再生音の信号は、典型的には電気信号として音響位置検出装置５００に送られる。リモコン５０８は、通信部５４０を介して、音響位置検出装置５００に双方向通信可能に接続される。好適には、リモコン５０８と通信部５４０との通信は無線である。例えば、リモコン５０８に内蔵される加速度センサ（図示せず）の検出信号等がリモコン５０８から音響位置検出装置５００に送信され、スピーカ５０６から再生される効果音等の再生音及び再生するタイミングの情報等が音響位置検出装置５００からリモコン５０８に送信される。
【００１４】
本発明に係る音響位置検出装置５００の動作においては、制御部５５０を用いて既知の効果音等の所定の再生音の信号が選択される。選択された効果音等の再生音の信号は再生信号受付部５１４及び通信部５４０に送られる。再生信号受付部５１４に送られた再生音の信号は、さらに位置推定部５３０に送られ、相関計算に用いられる。通信部５４０に送られる再生音の信号は、さらにリモコン５０８に送信され、リモコン５０８内のスピーカ５０６から再生される。再生された効果音等は、音源からの信号としてマイクロホン１（５０２）及びマイクロホン２（５０４）で観測する。観測した音源からの信号は、それぞれのマイクロホンごとに音響信号受付部１及び音響信号受付部２によりコンピュータ処理可能なデジタル符号に変換され、位置推定部５３０に送られる。位置推定部５３０は、それぞれのマイクロホンごとに観測した音源からの信号と、前述の再生信号受付部５１４を介して受け付けた効果音等の再生音の信号との相関計算等を実施し、ＣＳＰ係数を算出する。位置推定部５３０の動作の諸段階において、適宜メモリ５２０が計算のために用いられる。
【００１５】
一実施形態において、マイクロホンアレイ５０５は、マイクロホン１（５０２）及びマイクロホン２（５０４）を共通の筐体に組み込んで構成され得る。音響を電気信号に変換した音声信号等を、適宜Ａ／Ｄ変換器等を用いてコンピュータ処理可能なデジタル符号に変換することは、当技術分野において公知である。マイクロホンアレイ５０５は、マイクロホン１（５０２）及びマイクロホン２（５０４）が観測する音源からの信号のそれぞれをアナログ音声信号としてゲーム機本体５１０に送ってもよく、マイクロホンアレイ５０５に適宜Ａ／Ｄ変換器（図示せず）等を備え、デジタル符号化した音声信号を音響位置検出装置５００に送ってもよい。別の実施形態において、マイクロホンアレイ５０５は、家庭用テレビゲーム機等が適宜備えるセンサーバー等の、リモコンの方向を検出し得る付属機器に内蔵され得る。
【００１６】
一実施形態において、本発明に係る音響位置検出装置５００は、家庭用テレビゲーム機を用いて構成され、適宜マイクロホンアレイ５０５、音響信号受付部１（５０２）、音響信号受付部２（５０４）等を追加し得る。制御部５５０と位置推定部５３０のそれぞれの機能は、共通のハードウェアを用いてもよい。例えば、当該効果音は、ボーリングゲーム等において、投球動作の腕の振りに対応した効果音等であり得る。これに限らず、当該効果音は一般的な背景音楽（バックグラウンドミュージック、ＢＧＭと略称）等でもよい。
【００１７】
このように動作することにより、本発明に係る音響位置検出装置５００においては、家庭用テレビゲーム機等の装置構成又は外観に大規模な変更を加えることなく、音源の位置検出のための装置を構成し得る。
【００１８】
［音源の位置検出方法のフロー図］
図２に、本発明の一実施形態に係る、音源の位置検出方法のフロー図を示す。諸段階における計算式の詳細は後述する。
【００１９】
まず、本発明に係る音源の位置検出方法は、音声信号取得ステップ（Ｓ１００）において、観測音の信号及び既知の音声信号等の再生音の信号を、後続の諸段階のために取得する。一実施形態において、観測音の信号は、既知の音声信号が適宜１のスピーカ等を用いて音響として再生され、これを２つのマイクロホンを同時に用いて観測し、電気信号に変換した、独立した２つの音声信号であり得る。典型的には、ステップＳ１００において、２つの観測音の信号及び１の既知の再生音の信号の、合計３つの音声信号が取得される。取得された音声信号は、コンピュータ処理可能なデジタル符号に変換され得る。一実施形態において、当該デジタル符号の態様は、サンプリング周波数２２ｋＨｚで標本化され、１６ビットのワード長を有する時間領域のデータである。好適には、取得された音声信号は、１０ミリ秒等に設定された時間の幅を１フレームとして、フレーム単位のデータの集まりとして扱われる。既知の音声信号等の再生音の信号は、観測音の信号と同じフレームに含まれるように適宜遅延してもよい。
【００２０】
次いで、本発明に係る音源の位置検出方法は、スペクトル変換ステップ（Ｓ１１０）において、観測音の信号及び既知の音声信号等の再生音の信号のそれぞれをフレーム単位に離散フーリエ変換し、複素スペクトルを得る。一実施形態において、２つの観測音の信号及び１の既知の音声信号等の再生音の信号の、合計３つの信号がそれぞれ複素スペクトルに変換され得る。
【００２１】
次いで、本発明に係る音源の位置検出方法は、ＣＳＰ計算ステップ（Ｓ１２０）において、観測音の信号の複素スペクトルと、既知の音声信号等の再生音の信号の複素スペクトルとを用いてＣＳＰ係数を計算する。一実施形態において、２つの観測音の信号の複素スペクトルのそれぞれについて、既知の音声信号等の再生音の信号の複素スペクトルを共通に用いてＣＳＰ係数が計算される。すなわち、２つのＣＳＰ係数が得られる。具体的には、２つのマイクロホンを用いて観測した２つの観測音の信号について計算されたＣＳＰ係数のうち、一方は１つのマイクロホンに係る観測音の信号の情報を含み、他方は他の１つのマイクロホンに係る観測音の信号の情報を含む。
【００２２】
次いで、本発明に係る音源の位置検出方法は、スムージングステップ（Ｓ１３０）において、得られたそれぞれのＣＳＰ係数の時間方向、すなわち、複数フレームにわたって、重み付け平均を求める。一実施形態において、複数フレームは１０フレームである。
【００２３】
次いで、本発明に係る音源の位置検出方法は、ピーク検出ステップ（Ｓ１４０）において、それぞれのスムージングされたＣＳＰ係数の極大値を追跡し、ピーク位置の情報を取得し得る。これにより、２つのマイクロホンを用いて観測した２つの観測音の信号のそれぞれについて、時間を変数とするピーク位置の情報が得られる。極大値の追跡には、当技術分野の公知の手法を用い得る。好適には、Ｄｙｎａｍｉｃ Ｐｒｏｇｒａｍｍｉｎｇ（ＤＰと略称）により極大値が追跡される。
【００２４】
次いで、本発明に係る音源の位置検出方法は、座標変換ステップ（Ｓ１５０）において、前述の時間を変数とする極大値の情報を、時間を変数とする距離の情報に変換し得る。これにより、既知の効果音等の信号の再生に用いられた１のスピーカ等と、２つのマイクロホンとの距離が、時間を変数として得られる。２つのマイクロホンの間隔が既知であれば、三角測量により、当該１のスピーカの絶対的な位置、すなわち２つのマイクロホンと当該１のスピーカを含む平面内の座標系における、当該１のスピーカの座標を知ることができる。
【００２５】
次いで、本発明に係る音源の位置検出方法は、最終データであるか否かを判定するステップ（Ｓ１６０）において、位置検出を終了するための情報を検出し得る。判定が論理値の偽である場合はステップＳ１００に戻り、真である場合は位置検出の諸段階の動作を終了する。位置検出を終了するための情報としては、観測音の信号の強度が所定の値を下回ること、ゲームプログラム等が位置検出を終了するために所定の音声信号を用いること、又はゲームプログラム等が位置検出を終了するためにゲーム機等のコンピュータ装置の特定のメモリ領域に終了のための情報を書き込むこと等を、適宜設計し得る。
【００２６】
これらの諸段階を用いることにより、本発明に係る音源の位置検出方法においては、既知の音声信号に基づくＣＳＰ係数の計算により、スピーカを備えるリモコン等の２次元の位置情報を検出し得る。計算される距離は、２つのマイクロホン及び１つのスピーカの間の距離を用いる三角測量であるため、本発明に係る音源の位置検出方法においては、音源の前後及び左右の距離を含む絶対的な位置情報を検出することができる。
【００２７】
［位置推定部５３０の構成］
図３に、本発明の一実施形態に係る、音響位置検出装置５００の位置推定部５３０の構成を示す。位置推定部５３０は、観測音の信号１（１２１）、観測音の信号２（１２２）及び既知の音声信号１２３を入力として受け付け、ＤＦＴ部１０２、ＣＳＰ計算部１０４、スムージング部１０６、ピーク検出部１０８、座標変換部１１０、遅延部１１２を含む。
【００２８】
位置推定部５３０に含まれる、ＤＦＴ部１０２、ＣＳＰ計算部１０４、スムージング部１０６、ピーク検出部１０８の動作においては、好適には、時間領域の音声信号をフレーム分割し、分割したそれぞれの音声信号ごとに各段階の処理を実施する。典型的には、音声信号は１０〜２０ミリ秒単位のフレームに分割され得る。
【００２９】
まず、既知の効果音等の再生音の信号をｒ（ｔ）とおく。これは、図１に示した再生信号受付部５１４を介して位置推定部５３０に送られる音声信号であり得る。次いで、マイクロホンアレイ５０５により観測した観測音の信号をｍ１（ｔ）、ｍ２（ｔ）とおく。例えば、観測音の信号ｍ１（ｔ）はマイクロホン１（５０２）により観測した信号であり、観測音の信号ｍ２（ｔ）はマイクロホン２（５０４）により観測した信号であり得る。典型的には、ｒ（ｔ）、ｍ１（ｔ）、ｍ２（ｔ）のそれぞれはコンピュータ処理可能な符号化された信号であり得る。
【００３０】
再生音の信号ｒ（ｔ）は、観測音の信号ｍ１（ｔ）、ｍ２（ｔ）よりも早く到着するので、遅延部１１２を用いて適宜時間を遅延させることにより、再生音の信号は観測音の信号と同期し得る。この同期は、例えば、後続の諸段階を時間フレーム単位に実施する場合に、後続の諸段階の１つのフレーム内に遅延した再生音の信号と観測音の信号とが収まればよい。スピーカとマイクロホンの距離、すなわちプレイヤとＴＶ画面の距離がほぼ決まっているならば、この遅延の量は固定で与えてもよく、そうでなければ、ゲームの開始時や、プレイヤの動作開始時等の時点において、同期をとるように遅延の量を与えてもよい。遅延の量の調節においては、遅延の量は一方のマイクロホンによる観測音の信号と再生音の信号の相関が最大になるように決めてもよい。遅延の量をτとすると、遅延された再生音の信号はｒ（ｔ＋τ）と表される。
【００３１】
次いで、ＤＦＴ部１０２において、遅延部１１２の出力、観測音の信号ｍ１（ｔ）、ｍ２（ｔ）のそれぞれをフレーム単位に離散フーリエ変換し、複素スペクトルに変換する。これらの複素スペクトルを、Ｔをフレーム番号として、再生音のスペクトルＲ（Ｔ）、観測音のスペクトルＭ１（Ｔ）、Ｍ２（Ｔ）と表す。
【００３２】
次いで、ＣＳＰ計算部１０４にて、次式のように２つのＣＳＰ係数を算出する。
【数１】
【数２】
ここに、ｉＤＦＴは逆離散フーリエ変換、＊は共役複素数を表す。φ１ｒ、φ２ｒはベクトルで、各要素は２つの信号の遅れ時間又は進み時間に対応する相関値である。
【００３３】
図４に、本発明の一実施形態に係る、１フレーム内の観測音の信号及び再生音の信号に基づくＣＳＰ係数の例を示す。横軸は１フレーム内の時間（２３０）であり、縦軸は相関値である。図４のように、ＣＳＰ係数は観測音の信号及び再生音の信号の時間差に相当する主たるピークを持つ。すなわち、スピーカがマイクロホンに近づいたり離れたりすれば、このピークがそれに応じて位置が移動する。なお、ｉＤＦＴの計算においては帯域を制限してもよい。すなわち、低周波領域と高周波領域をカットしてもよい。
【００３４】
次いで、スムージング部１０６において、この２つのＣＳＰ係数φ１ｒ、φ２ｒを時間方向、すなわち、複数フレームにわたって、次式のように重み付き平均する。
【数３】
【数４】
ここに、ｗ（ｌ）は任意の重み、Ｌはスムージング幅である。これにより、より安定した表現を得ることができる。典型的なＬの値は１０であるが、これに限らず、適宜設計し得る。
【００３５】
次いで、ピーク検出部１０８において、前述の２つのスムージング後のＣＳＰ係数の極大値を追跡することにより、ピーク位置ｄ１（Ｔ）、ｄ２（Ｔ）を取得する。極大値の追跡には、Ｄｙｎａｍｉｃ Ｐｒｏｇｒａｍｍｉｎｇ（ＤＰと略称）、カルマンフィルタ、Ｐａｒｔｉｃｌｅ Ｆｉｌｔｅｒｉｎｇ等の当技術分野に公知の手法を用い得る。
【００３６】
一実施形態において、ピーク検出部１０８における極大値の追跡には、ＤＰを使用し得る。前述の
のｋ番目の要素を
とすると、評価関数Ψ１、Ψ２は、次式のように与えられる。
【数５】
【数６】
ここで、Ｌ（ｊ，ｋ）は、ｊからｋへの遷移コストである。ここでは両者の差が小さいものほど大きく設定する。ピーク位置の時系列ｄ１（Ｔ）、ｄ２（Ｔ）は、上記評価関数Ψ１、Ψ２をそれぞれ最大にするようなｋの履歴として与えられる。ＤＰを使用することにより、単純に、Ｔごとに
の最大値を与えるｋを取得するよりも、連続性のある時系列を得ることができる。
【００３７】
次いで、座標変換部１１０において、ｄ１（Ｔ）、ｄ２（Ｔ）をもとに、よりわかりやすい座標表現に変換する。今、ｄ１（Ｔ）、ｄ２（Ｔ）を、参照信号に対して観測音の信号が進んで観測される（伝播時間が短い）方向を正にとったと仮定すると、スピーカから、２つの各マイクロホンまでの距離は、次式のように推定できる。
【数７】
【数８】
ここで、τ０は、観測音の信号が空気中を伝播した分に相当する遅延量である。観測音の信号はオーディオデバイスを経由するが、一般にオーディオデバイスにはデータを一時記憶するバッファが介在し、それに伴う遅延量τＤが発生する。この遅延量τＤは予め調べておくことができるので、前述の遅延の量τから、τＤを差し引くことにより、τ０を求めることができる。これにより、ｄ１（Ｔ）、ｄ２（Ｔ）は、２次元のマップ上の位置に変換することができる。この２次元のマップ上の位置の情報は、例えば家庭用ゲーム機等の動作において、リモコンを操作するユーザの位置の変化を画面に表示して興趣を向上させるゲームソフトウェア等に利用することが可能である。
【００３８】
好適には、この２次元マップは、本発明に係る音源の位置検出方法の実施装置等が使用される空間の、水平面内にマッピングされ得る。このようにして、本発明に係る音源の位置検出方法においては、ＣＳＰ係数に基づいて計算される到達時間を、テレビ装置の前方等にマッピングされる２次元座標に置き換え、リモコン内のスピーカに対する２次元の位置検出を実施し得る。
【００３９】
図５に、本発明の一実施形態に係る、２つのマイクロホンからの距離に基づく音源の位置検出方法のための座標の例を示す。図５は、典型的には、水平に並べて配置されるマイクロホン１（５０２）及びマイクロホン２（５０４）を上方から眺める状況を表す。これらのマイクロホンのそれぞれを中心とし、ＣＳＰ係数に基づいて算出される到達時間を換算した距離に対応する半径を有する複数の同心円を考える。
【００４０】
例えば、マイクロホン１（５０２）を中心とするマイクロホン１からの距離ＲＭ１（２２２）、及びマイクロホン２（５０４）を中心とするマイクロホン２からの距離ＲＭ２（２２４）を設定し、さらに、これらの距離を要素とする２次元座標（ＲＭ１，ＲＭ２）を設定する。この２次元座標においては、例えば、図５に示すＰ点は２次元座標（３，７）に位置し、Ｑ点は２次元座標（８，５）として表される。
【００４１】
例えば、スピーカ５０６からの音響をマイクロホン１（５０２）及びマイクロホン２（５０４）で観測し、本発明に係る音源の位置検出方法を用いて距離ＲＭ１＝７、距離ＲＭ２＝８と算出されるときに、このスピーカ５０６の位置は２次元座標（７，８）である。このようにして、２つのマイクロホンからの距離に基づいて、スピーカ５０６等の発音源の前後及び左右の絶対的な位置を２次元座標として得られる。
【００４２】
図５に示す座標の値は、マイクロホン１（５０２）及びマイクロホン２（５０４）の前後方向に対称性を有する。しかしながら、これらのマイクロホンとして前方に感度を有する指向性マイクロホン等を用いることにより、後方から到達する音響に対する感度は著しく低下し得る。従って、マイクロホンの指向性を利用することにより、座標の値の対称性は位置検出において問題にならない。
【００４３】
［ピーク検出部１０８の拡張］
図３を用いて前述した本発明に係る音源の位置検出方法においては、既知の再生音の信号及び２つのマイクロホンの観測音の信号との間で、ＣＳＰ係数を算出し、音源の位置検出に用いる。すなわち、図３、数式１及び数式２に示したΦ１ｒ及びΦ２ｒが、ＣＳＰ係数の計算に用いられる。さらに、本発明に係る音源の位置検出方法においては、２つのマイクロホンの観測音の信号の間でＣＳＰ係数を計算し、音源の位置検出に用い得る。
【００４４】
図６に、本発明の一実施形態に係る、マイクロホンとＣＳＰ係数との関係を例示する。スピーカ５０６は、再生信号２１０として既知の効果音等を発しながら、例えば図示の実線の矢印の方向等に移動し得る。図３を用いて前述した音源の位置検出においては、ＣＳＰ係数としてΦ１ｒ（５１２）及びΦ２ｒ（５１４）が計算される。さらに、本発明においては、ＣＳＰ係数としてΦ１２（５１６）も、同時に用い得る。
【００４５】
図７に、音響位置検出装置５００における別の実施形態としての位置推定部５３５の構成を示す。位置推定部５３５においては、再生している信号そのものとそれぞれのマイクロホンを介する観測音の信号との間（図３におけるΦ１ｒ及びΦ２ｒ）に加えて、２つのマイクロホンの観測音の信号間のＣＳＰ係数（Φ１２）を用いる。図３に示した位置推定部５３０から大きな変更はないが、Φ１２に関する処理が、以下のように追加、変更される。
【００４６】
一実施形態において、本発明に係る音響位置検出装置５００の位置推定部５３５は、ＣＳＰ計算部１０４において、次のＣＳＰ係数の算出を追加する。
【数９】
スムージング部１０６では、次の追加の処理を行う。
【数１０】
ピーク検出部１０８は、
と
と
を同時に使用して、最適なピーク追跡を実施し得る。
【００４７】
一実施形態において、本発明に係る音源の位置検出方法の実施装置等のピーク検出部１０８は、ピーク検出にＤＰを用い得る。この場合の評価関数Ψは、次式のように与えられる。
【数１１】
ここで、Ｃ１ｒ、Ｃ２ｒ、Ｃ１２は、各項の重みを調整するための定数である。Ｌ（ｊ，ｋ）は、ｊからｋへの遷移コストであり、両者の差が小さいものほど大きく設定する。ピーク位置の時系列ｄ１（Ｔ）、ｄ２（Ｔ）は、上記評価関数Ψを最大にするようなｋ１、ｋ２の履歴として与えられる。
【実施例】
【００４８】
本発明に係る音源の位置検出方法の実施例として、妨害音源の存在下における信号音源の位置検出の例を示す。以下の実施例においては、妨害音源として男性話者の話声を用い、信号音源としてホワイトノイズを用いた。まず、妨害音源及び信号音源を個別に観測してそれぞれ取得した後、所定のＳＮ比（約−１５ｄＢ、妨害音源の方が振幅が大きい）となるように、取得した各音源の振幅を調整し、２つのチャンネルごとに音声を混合した。
【００４９】
表１に、本発明の一実施形態に係る、音響位置検出装置を用いる位置検出の実験条件を示す。表２に、各実験例におけるスピーカ位置の一覧を示す。
【表１】
【表２】
【００５０】
以下の図８から図１１においては、位置検出のための信号音源及び２つのマイクロホンを含む平面内に、左右及び前後の座標を表すための直交座標を設定し、検出した位置をこれらの座標軸を有する平面内に配置する。座標軸の原点は、２つのマイクロホンを結ぶ線分の中点にとり、マイクロホンから信号音源に向かって前後方向の距離をとるものとする。信号音源はスピーカ２０６（図８〜図１１のそれぞれにおいて２０６−１、２０６−２、２０６−３、２０６−４）から再生されるホワイトノイズであり、妨害音源はスピーカ２０７から再生される男性話者の話声である。
【００５１】
［位置検出の実験例（１）：信号音源を固定した場合］
図８に、マイクロホンアレイ５０５の正面方向に約２ｍの距離を隔てて、信号音源のスピーカ（２０６−１）を固定した場合の、本発明に係る音源の位置検出方法による位置検出の結果を示す。妨害音源のスピーカ２０７からの妨害音源が存在する状況において、信号音源は、座標平面２３４内においてマイクロホンアレイ５０５から約２ｍの距離のほぼ定点に検出され、実験時の信号音源の位置が再現された。
【００５２】
［位置検出の実験例（２）：信号音源を左右に移動した場合］
図９に、マイクロホンアレイ５０５の正面方向に約２ｍの距離を隔てて、信号音源のスピーカ（２０６−２）を左右方向に移動した場合の、本発明に係る音源の位置検出方法による位置検出の結果を示す。妨害音源のスピーカ２０７からの妨害音源が存在する状況において、検出された信号音源の位置は、座標平面２３４内のマイクロホンアレイ５０５から約１．７〜１．８ｍの距離を隔て、左右方向に約±５０ｃｍの範囲に１０点の空間分解能を有して検出され、実験時の信号音源の位置が再現された。
【００５３】
［位置検出の実験例（３）：信号音源を前後に移動した場合］
図１０に、マイクロホンアレイ５０５の正面方向に約２ｍの距離を隔てて、信号音源のスピーカ（２０６−３）を前後方向に移動した場合の、本発明に係る音源の位置検出方法による位置検出の結果を示す。妨害音源のスピーカ２０７からの妨害音源が存在する状況において、検出された信号音源の位置は、座標平面２３４内のマイクロホンアレイ５０５から前後方向に約０．８〜２ｍの距離の範囲に約８０点の空間分解能を有して検出され、実験時の信号音源の位置が再現された。
【００５４】
［位置検出の実験例（４）：信号音源を円を描くように移動した場合］
図１１に、マイクロホンアレイ５０５の正面方向に約２ｍの距離を隔てて、信号音源のスピーカ（２０６−４）を円を描くように移動した場合の、本発明に係る音源の位置検出方法による位置検出の結果を示す。妨害音源のスピーカ２０７からの妨害音源が存在する状況において、信号音源は、座標平面２３４内においてマイクロホンアレイ５０５から左右方向に約−１００〜＋４０ｃｍの範囲に約１５点の空間分解能を有し、前後方向に約６５点の空間分解能を有して検出され、実験時の信号音源の位置が再現された。
【００５５】
本発明に係る音源の位置検出方法においては、これらの実験例に示すように、妨害音声が存在する状況においても、前後及び左右の動きを追跡し得る。
【００５６】
［実施例：周波数帯域の分割による複数プレイヤ対応］
本発明に係る音源の位置検出方法においては、使用する周波数帯域を分割することにより、１つの音源の位置検出装置を用いて、複数のプレイヤのそれぞれの位置を検出し得る。
図１２に、本発明の一実施形態に係る、音源の位置検出方法における周波数帯域の分割を例示する。図１２（ａ）、（ｂ）のそれぞれにおいて、縦方向は周波数の高低に対応する。好適には、分割された周波数帯域のそれぞれは他の周波数帯域に対して実質的に重複せず、特定のプレイヤの位置検出のために用いられる。
【００５７】
図１２（ａ）は、ゲームソフトウェア等のユーザが１人のみの場合に、本発明に係る音源の位置検出方法に係る位置検出のための既知の音声信号として帯域Ｆ（２８２）、換言すれば低周波から高周波までの任意の帯域を用い得ることを示す。
【００５８】
図１２（ｂ）は、位置検出のための既知の音声信号を複数の周波数帯域に分割することを表す。すなわち、ゲームソフトウェア等のユーザが３人等の場合に、本発明に係る音源の位置検出方法に係る位置検出のための既知の音声信号として、プレイヤＡは帯域Ａ１（２８３）、Ａ２（２８６）及びＡ３（２８９）を用い、プレイヤＢは帯域Ｂ１（２８４）、Ｂ２（２８７）及びＢ３（２９０）を用い、プレイヤＣは帯域Ｃ１（２８５）、Ｃ２（２８８）及びＣ３（２９１）を用い得る。これらの複数の周波数帯域に振り分けられた位置検出のための音声信号のそれぞれは、例えば、図３に示したＤＦＴ部１０２により周波数スペクトルに変換され、異なる周波数成分を有する音声信号として区別され得る。さらに、図３に示したＣＳＰ計算部１０４において、それぞれのユーザに適した帯域制限を実施し得る。ユーザの人数は３人に限らず、適宜設定し得る。
【００５９】
［実施例：時間領域の分割による複数プレイヤ対応］
【００６０】
図１３に、本発明の一実施形態に係る、音源の位置検出方法における時間領域の分割を例示する。図１３（ａ）〜（ｄ）は、本発明に係る音源の位置検出方法を用いるそれぞれのユーザが、時間分割して、図１２（ｂ）に示した周波数帯域を用い得ることを示す。すなわち、図１３（ａ）は１人プレイにおける周波数帯域の使用状況を表し、これに対して図１３（ｂ）〜（ｄ）は３人プレイにおいて周波数帯域の使用が時間分割される状況を表す。
【００６１】
例えば、ある時間分割された時間領域１（２９５）は、プレイヤＡが帯域Ａ１（２８３）、Ａ２（２８６）及びＡ３（２８９）を用いるために割り当てられる。引き続く時間領域２（２９６）は、プレイヤＢが帯域Ｂ１（２８４）、Ｂ２（２８７）及びＢ３（２９０）を用いるために用いられる。さらに引き続く時間領域３（２９７）は、プレイヤＣが帯域Ｃ１（２８５）、Ｃ２（２８８）及びＣ３（２９１）を用いるために用いられる。
【００６２】
図１３に示した時間領域の分割は、図１２に示した周波数帯域の分割と併用してもよい。例えば、時間領域１（２９５）に、プレイヤＡが使用していない周波数帯域、換言すれば、帯域Ｆ（２８２）の範囲内において、帯域Ａ１（２８３）、Ａ２（２８６）及びＡ３（２８９）と重複しない任意の周波数帯域を用いて、本発明に係る音源の位置検出方法を実施し得る。
【００６３】
このように本発明に係る音源の位置検出方法においては、周波数帯域の分割だけでなく、時間領域の分割を用いることにより、より多くのユーザが本発明に係る音源の位置検出方法の実施装置等を同時に利用することが可能になる。
【００６４】
［位置検出に用いない背景音の再生方法］
図１４に、本発明の一実施形態に係る、位置検出に用いない背景音の再生方法を例示する。ここで、位置検出に用いない背景音には、ゲームソフトウェアの動作状況等に基づいて再生されるＢＧＭ等の音楽、ゲームのキャラクタの動き等の効果音又はゲーム場面に含まれる仮想的な河川や野原等の環境音等を適宜含む。これらの位置検出に用いない背景音は、位置検出のための既知の音声信号とは異なる、検出誤りを増大する可能性のある妨害音声に含まれる。
【００６５】
図１４においては、本発明に係る音源の位置検出方法の実施装置等は、位置検出のための所定の再生音の信号に基づく音源２７０の空間位置を検出するためにマイクロホンアレイ５０５を用いる。ここで、マイクロホンアレイ５０５は、マイクロホン１（５０２）及びマイクロホン２（５０４）を含む。ＢＧＭ等の再生音は、左スピーカ２４２及び右スピーカ２４６から再生され得る。音源２７０は、マイクロホン１（５０２）及びマイクロホン２（５０４）を結ぶ線分と中点で直行する直線に対して、音源位置の角度θ（２６０）を有する。音源位置の角度θ（２６０）は、好適には±４５°以下、より好適には±３０°以下、最も好適には±２０°以下である。
【００６６】
一実施形態において、本発明に係る音源の位置検出方法のユーザは、マイクロホンアレイ５０５から見て中央付近に位置し、リモコンの位置検出を用いるゲームソフトウェア等を利用する。本発明に係る音源の位置検出方法においては、位置検出に用いない背景音を、左スピーカ２４２及び右スピーカ２４６を用いて再生されるモノラル音声とし、一方のスピーカの再生音を他方のスピーカよりも所定の時間だけ遅延又は先行させる。好適には、遅延又は先行の時間は数ミリ秒から数十ミリ秒であり得る。
【００６７】
別の実施形態において、本発明に係る音源の位置検出方法のユーザは、同様にマイクロホンアレイから見て中央付近に位置する。本発明に係る音源の位置検出方法においては、位置検出に用いない背景音を、左スピーカ２４２及び右スピーカ２４６を用いて再生されるモノラル音声とし、一方のスピーカの再生音の位相を他方のスピーカの再生音の位相に対して反転させる。
【００６８】
また別の実施形態において、本発明に係る音源の位置検出方法の実施装置等は、ゲームソフトウェア等がユーザの位置検出を用いる期間に再生する背景音に対して、前述のように背景音を２つのモノラル音声の形態とし、一方を所定の時間だけ遅延又は先行させ、あるいは一方の背景音の位相を他方の背景音の位相に対して反転させ得る。当該ゲームソフトウェア等がユーザの位置検出を用いない期間に再生する背景音に対しては、このような処理を省略し、例えば背景音をステレオ音声の形態で再生してもよい。
【００６９】
これらのようにすることにより、本発明に係る音源の位置検出方法においては、位置検出に用いない背景音は、２つのマイクロホンの中央付近に定位しない。従って、ユーザがマイクロホンアレイから見て中央付近に位置し、本発明に係る音源の位置検出方法が主としてマイクロホンの中央付近の音源位置を検出する場合に、位置検出に用いない背景音が妨害となることを避けられる。
【００７０】
［音源の位置検出のためのハードウェア構成］
図１５は、本発明の一実施形態に係る、音源の位置検出のためのハードウェア構成を示す図である。図１５においては、音響位置検出装置を情報処理装置１０００とし、そのハードウェア構成を例示する。以下は、コンピュータを典型とする情報処理装置として全般的な構成を説明するが、その環境に応じて必要最小限な構成を選択できることはいうまでもない。
【００７１】
情報処理装置１０００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１０、バスライン１００５、通信インタフェース（Ｉ／Ｆ）１０４０、メインメモリ１０５０、ＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）１０６０、グラフィックコントローラ１０２０、ＶＲＡＭ１０２４、音声プロセッサ１０３０、Ｉ／Ｏコントローラ１０７０、及び、適宜拡張インタフェース１１００等を備える。Ｉ／Ｏコントローラ１０７０には、ゲームカートリッジインタフェース（Ｉ／Ｆ）１０７２、ハードディスク１０７４、光ディスクドライブ１０７６、半導体メモリ１０７８等の記憶手段を接続することができる。
【００７２】
一実施形態において、音声プロセッサ１０３０には、マイクロホン１０３６、１０３７、及びテレビ装置１０２２の外部音声入力手段等が接続される。また、グラフィックコントローラ１０２０には、テレビ装置１０２２の外部映像入力手段等が接続されている。すなわち、テレビ装置１０２２からは、ゲームソフトウェア等の動作に従って音声及び映像がユーザに提供され得る。
【００７３】
音声プロセッサ１０３０に接続されるマイクロホン１０３６、１０３７は、前述の図１に示したマイクロホンアレイ５０５に含まれるマイクロホン１（５０２）、マイクロホン２（５０４）であり得る。例えば、これらのマイクロホン１０３６、１０３７は、テレビ装置１０２２の筐体上部又は近傍等に設置され、リモコン１０３２の位置を検出するための音声信号の受信に用いられる。
【００７４】
別の実施形態において、マイクロホン１０３６、１０３７は、適宜Ａ／Ｄ変換器（図示せず）と共にデジタル符号化された音声信号を出力可能なマイクロホンアレイ装置等（図示せず）に含まれ、拡張Ｉ／Ｆ１１００又はゲームカートリッジＩ／Ｆ１０７２等を介して、情報処理装置１０００に接続され得る。このように構成することで、本発明に係る音源の位置検出方法の実施装置等のユーザは、音源の位置検出方法の使用を所望するときに、適宜ゲームカートリッジＩ／Ｆ１０７２等にマイクロホンアレイからの接続ケーブル等を接続し、使用しない場合は接続ケーブル等を撤去し得る。
【００７５】
通信Ｉ／Ｆ１０４０は、リモコン１０３２と無線又は有線通信により接続し、ＣＰＵ１０１０が実行するゲームソフトウェア等の動作に従って、ユーザによる操作の情報等を受信し、リモコン１０３２に内蔵されるスピーカ１０３４への音声信号を送信し、又は所定の音声信号を再生するタイミング等の制御信号を送信する。好適には、通信Ｉ／Ｆ１０４０とリモコン１０３２との接続は無線である。さらに、通信Ｉ／Ｆ１０４０は、適宜インターネット等のネットワーク１０４２に接続してもよい。
【００７６】
ＢＩＯＳ１０６０は、情報処理装置１０００の起動時にＣＰＵ１０１０が実行するブートプログラムや、情報処理装置１０００のハードウェアに依存するプログラム等を格納する。ゲームカートリッジＩ／Ｆ１０７２は、ゲームカートリッジ１０７１からプログラム又はデータを読み取り、Ｉ／Ｏコントローラ１０７０を介してメインメモリ１０５０又はハードディスク１０７４に提供する。図１５には、情報処理装置１０００の内部にハードディスク１０７４が含まれる例を示したが、バスライン１００５又はＩ／Ｏコントローラ１０７０に外部機器接続用インタフェース（図示せず）を接続し、情報処理装置１０００の外部にハードディスクを接続又は増設してもよい。
【００７７】
光ディスクドライブ１０７６としては、例えば、ＤＶＤ−ＲＯＭドライブ、ＣＤ−ＲＯＭドライブ、ＤＶＤ−ＲＡＭドライブ、ＣＤ−ＲＡＭドライブ等を使用することができる。この際は各ドライブに対応した光ディスク１０７７を使用する必要がある。光ディスクドライブ１０７６は光ディスク１０７７からプログラム又はデータを読み取り、Ｉ／Ｏコントローラ１０７０を介してメインメモリ１０５０又はハードディスク１０７４に提供することもできる。
【００７８】
情報処理装置１０００に提供されるコンピュータプログラムは、ゲームカートリッジ１０７１、光ディスク１０７７、又はメモリーカード等の記録媒体に格納されて利用者によって提供される。このコンピュータプログラムは、Ｉ／Ｏコントローラ１０７０を介して、記録媒体から読み出され、又は通信Ｉ／Ｆ１０４０を介してネットワーク１０４２からダウンロードされることによって、情報処理装置１０００にインストールされ実行される。コンピュータプログラムが情報処理装置に働きかけて行わせる動作は、既に説明した装置における動作と同一であるので省略する。
【００７９】
前述のコンピュータプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としてはゲームカートリッジ１０７１、光ディスク１０７７、又はメモリーカードの他に、ＭＤ等の光磁気記録媒体、テープ媒体を用いることができる。また、専用通信回線やインターネットに接続されたサーバシステムに設けたハードディスク又は光ディスクライブラリ等の記憶装置を記録媒体として使用し、通信回線を介してコンピュータプログラムを情報処理装置１０００に提供してもよい。
【００８０】
以上の例は、情報処理装置１０００について主に説明したが、コンピュータに、情報処理装置で説明した機能を有するプログラムをインストールして、そのコンピュータを情報処理装置として動作させることにより上記で説明した情報処理装置と同様な機能を実現することができる。
【００８１】
本装置は、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの組み合わせとして実現可能である。ハードウェアとソフトウェアの組み合わせによる実施では、所定のプログラムを有するコンピュータシステムでの実施が典型的な例として挙げられる。かかる場合、該所定のプログラムが該コンピュータシステムにロードされ実行されることにより、該プログラムは、コンピュータシステムに本発明にかかる処理を実行させる。このプログラムは、任意の言語、コード、又は表記によって表現可能な命令群から構成される。そのような命令群は、システムが特定の機能を直接実行すること、又は（１）他の言語、コード、もしくは表記への変換、（２）他の媒体への複製、のいずれか一方もしくは双方が行われた後に、実行することを可能にするものである。もちろん、本発明は、そのようなプログラム自体のみならず、プログラムを記録した媒体を含むプログラム製品もその範囲に含むものである。本発明の機能を実行するためのプログラムは、フレキシブルディスク、ＭＯ、ＣＤ−ＲＯＭ、ＤＶＤ、ハードディスク装置、ＲＯＭ、ＭＲＡＭ、ＲＡＭ、フラッシュメモリ等の任意のコンピュータ可読媒体に格納することができる。かかるプログラムは、コンピュータ可読媒体への格納のために、通信回線で接続する他のコンピュータシステムからダウンロードしたり、他の媒体から複製したりすることができる。また、かかるプログラムは、圧縮し、又は複数に分割して、単一又は複数の記録媒体に格納することもできる。
【００８２】
以上、本発明を実施形態に則して説明したが、本発明は上述した実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態又は実施例に記載されたものに限定されるものではない。
【図面の簡単な説明】
【００８３】
【図１】本発明の一実施形態に係る、音響位置検出装置５００の構成を示す図である。
【図２】本発明の一実施形態に係る、音源の位置検出方法のフロー図である。
【図３】本発明の一実施形態に係る、音響位置検出装置５００の位置推定部５３０の構成を示す図である。
【図４】本発明の一実施形態に係る、１フレーム内の観測音の信号及び再生音の信号に基づくＣＳＰ係数の例を示す図である。
【図５】本発明の一実施形態に係る、２つのマイクロホンからの距離に基づく音源の位置検出方法のための座標の例を示す図である。
【図６】本発明の一実施形態に係る、マイクロホンとＣＳＰ係数との関係を例示する図である。
【図７】本発明の一実施形態に係る、音響位置検出装置５００における別の実施形態としての位置推定部５３５の構成を示す図である。
【図８】本発明の一実施形態に係る、信号音源の位置を固定する場合の、本発明に係る音源の位置検出方法による位置検出の結果の例を示す図である。
【図９】本発明の一実施形態に係る、信号音源の位置を左右に移動する場合の、本発明に係る音源の位置検出方法による位置検出の結果の例を示す図である。
【図１０】本発明の一実施形態に係る、信号音源の位置を前後に移動する場合の、本発明に係る音源の位置検出方法による位置検出の結果の例を示す図である。
【図１１】本発明の一実施形態に係る、円を描くように信号音源の位置を移動する場合の、本発明に係る音源の位置検出方法による位置検出の結果の例を示す図である。
【図１２】本発明の一実施形態に係る、音源の位置検出方法における周波数帯域の分割を例示する図である。
【図１３】本発明の一実施形態に係る、音源の位置検出方法における時間領域の分割を例示する図である。
【図１４】本発明の一実施形態に係る、ＢＧＭ再生の方法を例示する図である。
【図１５】本発明の一実施形態に係る、音源の位置検出のためのハードウェア構成を示す図である。
【符号の説明】
【００８４】
１０２ ＤＦＴ部
１０４ ＣＳＰ計算部
１０６ スムージング部
１０８ ピーク検出部
１１０ 座標変換部
１１２ 遅延部
５００ 音響位置検出装置
５０２、５０４ マイクロホン
５０５ マイクロホンアレイ
５０６ スピーカ
５０８ リモコン
５１１、５１２ 音響信号受付部
５１４ 再生信号受付部
５２０ メモリ
５３０、５３５ 位置推定部
５４０ 通信部
５５０ 制御部
【特許請求の範囲】
【請求項１】
少なくとも２つのマイクロホンを用いて音源の位置を検出する位置検出方法であって、
前記音源から所定の再生音を発して前記マイクロホンごとに観測するステップと、
前記所定の再生音の信号及び前記観測した観測音の信号のそれぞれを周波数スペクトルに変換するステップと、
前記変換した前記所定の再生音の信号の周波数スペクトル及び前記変換した前記観測音の信号の周波数スペクトルのＣＳＰ係数を計算するステップと、
前記計算したＣＳＰ係数に基づいて前記音源の位置と前記マイクロホンの位置との距離を算出するステップと、
を含む、前記位置検出方法。
【請求項２】
前記マイクロホンは、前記音源の位置を含む１つの２次元平面内で２箇所に配置される、請求項１に記載の位置検出方法。
【請求項３】
さらに、前記算出された距離を座標変換するステップを含む、請求項１に記載の位置検出方法。
【請求項４】
さらに、少なくとも２つの前記音源を用い、
前記音源に基づく所定の再生音の信号に対して前記音源の数又はそれ以上の数の所定の分割される周波数帯域を割り当てるステップと、
前記分割される周波数帯域と前記音源が発する再生音とを関連付けるステップとを含み、
前記関連付けた周波数帯域ごとに前記所定の再生音及び前記音源が発する再生音のそれぞれに対して、マイクロホンごとに観測するステップ、周波数スペクトルに変換するステップ、ＣＳＰ係数を計算するステップ、距離を算出するステップの各ステップを実施する、
請求項１に記載の位置検出方法。
【請求項５】
さらに、少なくとも２つの前記音源を用い、
所定の時間に分割した時間領域において、特定の音源と前記分割した時間領域とを関連付けるステップを含み、
前記関連付けた時間領域ごとに前記所定の再生音及び前記音源が発する再生音のそれぞれに対して、マイクロホンごとに観測するステップ、周波数スペクトルに変換するステップ、ＣＳＰ係数を計算するステップ、距離を算出するステップの各ステップを実施する、
請求項１に記載の位置検出方法。
【請求項６】
さらに、所定の間隔を隔てて２つ配置されるスピーカを用いてモノラル音声を再生し、
前記２つのスピーカを結ぶ線分の中点で直交する直線の近傍に、前記音源の再生音を発する手段を配置し、
前記モノラル音声は、一方が他方に対して所定の遅延時間を有し、又は一方は他方と逆位相を有して再生される、
請求項１に記載の位置検出方法。
【請求項７】
請求項１から６のいずれか１項に記載の方法の各ステップを、コンピュータを用いて実行するためのコンピュータプログラム。
【請求項８】
少なくとも２つのマイクロホンを用いて音源の位置を検出する位置検出システムであって、
前記音源から所定の再生音を発して前記マイクロホンごとに観測する観測手段と、
前記所定の再生音の信号及び前記観測した観測音の信号のそれぞれを周波数スペクトルに変換する周波数スペクトル変換手段と、
前記変換した前記所定の再生音の信号の周波数スペクトル及び前記変換した前記観測音の信号の周波数スペクトルのＣＳＰ係数を計算するＣＳＰ計算手段と、
前記計算したＣＳＰ係数に基づいて前記音源の位置と前記マイクロホンの位置との距離を算出する距離算出手段と、
を含む、前記位置検出システム。
【請求項９】
少なくとも２つのマイクロホンを用いて所定の再生音を発する音源の位置を検出する位置検出装置であって、
前記音源において所定の再生音を生成する再生音生成部と、
前記音源からの前記所定の再生音を前記マイクロホンごとに観測する観測部と、
前記所定の再生音の信号及び前記観測した観測音の信号のそれぞれを周波数スペクトルに変換する周波数スペクトル変換部と、
前記変換した前記所定の再生音の信号の周波数スペクトル及び前記変換した前記観測音の信号の周波数スペクトルのＣＳＰ係数を計算するＣＳＰ計算部と、
前記計算したＣＳＰ係数に基づいて前記音源の位置と前記マイクロホンの位置との距離を算出する距離算出部と、
を含む、前記位置検出装置。
【請求項１】
少なくとも２つのマイクロホンを用いて音源の位置を検出する位置検出方法であって、
前記音源から所定の再生音を発して前記マイクロホンごとに観測するステップと、
前記所定の再生音の信号及び前記観測した観測音の信号のそれぞれを周波数スペクトルに変換するステップと、
前記変換した前記所定の再生音の信号の周波数スペクトル及び前記変換した前記観測音の信号の周波数スペクトルのＣＳＰ係数を計算するステップと、
前記計算したＣＳＰ係数に基づいて前記音源の位置と前記マイクロホンの位置との距離を算出するステップと、
を含む、前記位置検出方法。
【請求項２】
前記マイクロホンは、前記音源の位置を含む１つの２次元平面内で２箇所に配置される、請求項１に記載の位置検出方法。
【請求項３】
さらに、前記算出された距離を座標変換するステップを含む、請求項１に記載の位置検出方法。
【請求項４】
さらに、少なくとも２つの前記音源を用い、
前記音源に基づく所定の再生音の信号に対して前記音源の数又はそれ以上の数の所定の分割される周波数帯域を割り当てるステップと、
前記分割される周波数帯域と前記音源が発する再生音とを関連付けるステップとを含み、
前記関連付けた周波数帯域ごとに前記所定の再生音及び前記音源が発する再生音のそれぞれに対して、マイクロホンごとに観測するステップ、周波数スペクトルに変換するステップ、ＣＳＰ係数を計算するステップ、距離を算出するステップの各ステップを実施する、
請求項１に記載の位置検出方法。
【請求項５】
さらに、少なくとも２つの前記音源を用い、
所定の時間に分割した時間領域において、特定の音源と前記分割した時間領域とを関連付けるステップを含み、
前記関連付けた時間領域ごとに前記所定の再生音及び前記音源が発する再生音のそれぞれに対して、マイクロホンごとに観測するステップ、周波数スペクトルに変換するステップ、ＣＳＰ係数を計算するステップ、距離を算出するステップの各ステップを実施する、
請求項１に記載の位置検出方法。
【請求項６】
さらに、所定の間隔を隔てて２つ配置されるスピーカを用いてモノラル音声を再生し、
前記２つのスピーカを結ぶ線分の中点で直交する直線の近傍に、前記音源の再生音を発する手段を配置し、
前記モノラル音声は、一方が他方に対して所定の遅延時間を有し、又は一方は他方と逆位相を有して再生される、
請求項１に記載の位置検出方法。
【請求項７】
請求項１から６のいずれか１項に記載の方法の各ステップを、コンピュータを用いて実行するためのコンピュータプログラム。
【請求項８】
少なくとも２つのマイクロホンを用いて音源の位置を検出する位置検出システムであって、
前記音源から所定の再生音を発して前記マイクロホンごとに観測する観測手段と、
前記所定の再生音の信号及び前記観測した観測音の信号のそれぞれを周波数スペクトルに変換する周波数スペクトル変換手段と、
前記変換した前記所定の再生音の信号の周波数スペクトル及び前記変換した前記観測音の信号の周波数スペクトルのＣＳＰ係数を計算するＣＳＰ計算手段と、
前記計算したＣＳＰ係数に基づいて前記音源の位置と前記マイクロホンの位置との距離を算出する距離算出手段と、
を含む、前記位置検出システム。
【請求項９】
少なくとも２つのマイクロホンを用いて所定の再生音を発する音源の位置を検出する位置検出装置であって、
前記音源において所定の再生音を生成する再生音生成部と、
前記音源からの前記所定の再生音を前記マイクロホンごとに観測する観測部と、
前記所定の再生音の信号及び前記観測した観測音の信号のそれぞれを周波数スペクトルに変換する周波数スペクトル変換部と、
前記変換した前記所定の再生音の信号の周波数スペクトル及び前記変換した前記観測音の信号の周波数スペクトルのＣＳＰ係数を計算するＣＳＰ計算部と、
前記計算したＣＳＰ係数に基づいて前記音源の位置と前記マイクロホンの位置との距離を算出する距離算出部と、
を含む、前記位置検出装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１０−２１８５４（Ｐ２０１０−２１８５４Ａ）
【公開日】平成２２年１月２８日（２０１０．１．２８）
【国際特許分類】
【出願番号】特願２００８−１８１５１４（Ｐ２００８−１８１５１４）
【出願日】平成２０年７月１１日（２００８．７．１１）
【出願人】（３９０００９５３１）インターナショナル・ビジネス・マシーンズ・コーポレーション (4,084)
【氏名又は名称原語表記】ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＢＵＳＩＮＥＳＳ ＭＡＳＣＨＩＮＥＳ ＣＯＲＰＯＲＡＴＩＯＮ
【復代理人】
【識別番号】１００１０６００２
【弁理士】
【氏名又は名称】正林 真之
【Ｆターム（参考）】
【公開日】平成２２年１月２８日（２０１０．１．２８）
【国際特許分類】
【出願日】平成２０年７月１１日（２００８．７．１１）
【出願人】（３９０００９５３１）インターナショナル・ビジネス・マシーンズ・コーポレーション (4,084)
【氏名又は名称原語表記】ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＢＵＳＩＮＥＳＳ ＭＡＳＣＨＩＮＥＳ ＣＯＲＰＯＲＡＴＩＯＮ
【復代理人】
【識別番号】１００１０６００２
【弁理士】
【氏名又は名称】正林 真之
【Ｆターム（参考）】
[ Back to top ]