計測装置、計測方法、音声信号処理装置
【課題】スピーカから出力したテスト信号をマイクロフォンにより収音した結果に基づき、上記スピーカから上記マイクロフォンまでの音声到達遅延時間を計測する場合において、装置のハードウェアリソースによって計測可能な遅延時間が制限されないようにする。
【解決手段】上記テスト信号が時間軸方向に引き延ばされて上記スピーカから出力されるようにする。これによれば、テスト信号を時間軸方向に引き延ばした分だけより長い遅延時間の計測が可能となる。つまり、テスト信号のサンプル数に依らず、より長い遅延時間を計測することができる。
【解決手段】上記テスト信号が時間軸方向に引き延ばされて上記スピーカから出力されるようにする。これによれば、テスト信号を時間軸方向に引き延ばした分だけより長い遅延時間の計測が可能となる。つまり、テスト信号のサンプル数に依らず、より長い遅延時間を計測することができる。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、スピーカから出力したテスト信号をマイクロフォンにより収音した結果に基づき、上記スピーカから上記マイクロフォンまでの音声到達遅延時間を計測する計測装置とその方法に関する。また、このような音声到達遅延時間についての計測機能を有する音声信号処理装置に関する。
【背景技術】
【0002】
従来より、特にオーディオ信号をマルチチャンネル出力するオーディオシステムなどでは、例えば正弦波やTSP(Time Streched Pulse)信号等としてのテスト信号をスピーカから出力して、これを別途設けたマイクロフォンにより収音した結果に基づき、上記スピーカから上記マイクロフォンに音声が到達するまでの遅延時間(音声到達遅延時間)を計測するということが行われている。
【0003】
図12に、その手法の一例を示す。
ここで、この図12では、上記テスト信号としてTSP信号を用いる場合を示す。周知のようにTSP信号は、図中に示すようなインパルス信号の位相をずらして生成したものとなる。従って、スピーカから出力しマイクロフォンで収音したTSP信号は、FFT(Fast Fourier Transform:高速フーリエ変換)を行った上でそのTSP信号作成時にずらした分位相を戻し、且つIFFT(Inverse Fast Fourier Transform:高速フーリエ逆変換)を行うことで元のインパルス信号に復元できる。
このように復元されるインパルス信号(インパルス応答)は、スピーカから出力されマイクロフォンに到達するまでの遅延時間の情報を含んでいるものとなる。具体的に、スピーカとマイクロフォンとの距離が「0」でなければ、収音されたTSP信号から復元したインパルス信号の立ち上がり位置は、スピーカから出力されるTSP信号が基としたインパルス信号の立ち上がり位置よりも遅れた位置となっており、これらの差を計測することで音声到達遅延時間(図中遅延時間DT)を求めることができる。
【0004】
上記説明を踏まえた上で図12について説明すると、先ずスピーカからは、図中の出力信号として、TSP信号が複数周期分繰り返し出力されるようにして、所定時間にわたるTSP信号の出力が行われる。
一方、このようなTSP信号出力の開始から所定時間経過後に、図示する収音信号として、マイクロフォンによるTSP信号の収音を開始する。このようなマイクロフォンによる収音としても、複数周期のTSP信号が収音されるようにして所定時間にわたって行われる。
この際、収音の開始タイミングは、図示するようにして出力信号としてのTSP信号の1周期の開始タイミングに同期するようにされる。スピーカからは、図示するように1周期の開始位置からTSP信号出力が開始されるので、このように収音開始タイミングをTSP信号の1周期の開始タイミングと同期させることで、出力されるTSP信号と収音されるTSP信号との位相ずれは、収音信号から復元されるインパルス信号の立ち上がり位置を1周期の開始位置(0クロック目)から計測することで容易に得ることができる。
【0005】
図12の手法では、このような双方のTSP信号の位相ずれを、上述のようなインパルス信号の立ち上がり位置のずれとして計測するようにされているものである。
具体的には、先ず収音された複数周期分のTSP信号を、図示するようにして加算平均する。そして、この加算平均結果について、上述したFFT→位相変換→IFFTを行ってインパルス信号を復元した上で、この復元されたインパルス信号の立ち上がり位置と、出力前の元のインパルス信号の立ち上がり位置とのずれを計測することで、音声到達遅延時間としての図示する遅延時間DTを計測する。
なお、この場合は上記のようにして収音開始タイミングを出力されるTSP信号の開始位置と同期させているので、復元したインパルス信号に基づく上記遅延時間DTの計測としては、実際にはその立ち上がり位置が何クロック目であるかを計測することで行われるものとなる。
【0006】
なお、関連する従来技術については以下の特許文献を挙げることができる。
【特許文献1】特開2000−097763号公報
【特許文献2】特開平04−295727号公報
【発明の開示】
【発明が解決しようとする課題】
【0007】
このようにして、スピーカから出力したテスト信号をマイクロフォンにより収音した結果に基づき、スピーカからマイクロフォンまでの音声到達遅延時間を計測することができる。
但し、このようなテスト信号を用いた従来の計測手法では、最大でテスト信号の1周期分の長さしか遅延時間を計測できないという制限がある。
【0008】
ここで、図12に示したような従来の手法では、上述もしたように出力されるテスト信号と収音されるテスト信号との位相差に基づき遅延時間を計測していることに相当するものである。従って、例えば次の図13に示されるように、遅延時間が図12に示した場合からちょうど1周期分前であったとしても、計測結果としては同じ結果が得られてしまう。
このことからも理解されるように、図12に示すような従来手法は、遅延時間がテスト信号の1周期内の長さとなっていない場合には適正に遅延時間を計測することができないものとなる。つまりは、従来の手法は、遅延時間が1周期内であることが予めわかっている場合(すなわち、スピーカとマイクロフォンとの距離が1周期分の遅延時間に応じた距離内であることがわかっている場合)を前提として採ることのできる手法なのである。
【0009】
このように計測可能な遅延時間がテスト信号の1周期内に限られることを踏まえ、現状では、より長い遅延時間の計測が可能となるようにするために、テスト信号のサンプル数を増やすということが行われている。
つまり、スピーカから出力するテスト信号としては、実際には或る一定のクロック(例えば44.1kHzなど)に従って1値ずつ出力するようにされるので、このようにテスト信号のサンプル数を増やせば、その分テスト信号の1周期分の時間長を長くでき、より長い遅延時間を計測することが可能となるものである。
【0010】
しかしながら、このようにテスト信号のサンプル数を増やした場合は、当然のことながらテスト信号としてのデータ量が増えるわけで、その分テスト信号データを格納するメモリ容量の増大化につながる。すなわち、メモリ資源の乏しい機器には不適な手法となる。
さらに、テスト信号としてTSP信号を用いる場合は特に、サンプル数が増えることでその分インパルス信号復元のためのFFT・IFFTでのサンプル数も増え、処理負担の増大化につながる。すなわち、この点でもハードウェアリソースの乏しい機器には不適な手法となってしまう。
【課題を解決するための手段】
【0011】
本発明では以上のような問題点に鑑み、スピーカから出力したテスト信号をマイクロフォンにより収音した結果に基づき、上記スピーカから上記マイクロフォンまでの音声到達遅延時間を計測する場合において、装置のハードウェアリソースによって計測可能な遅延時間が制限されないようにすることを目的とする。
このため、本発明では計測装置として以下のように構成することとした。
つまり、本発明の計測装置は、スピーカから出力したテスト信号をマイクロフォンにより収音した結果に基づき、上記スピーカから上記マイクロフォンまでの音声到達遅延時間を計測する計測装置であって、上記テスト信号が時間軸方向に引き延ばされて上記スピーカから出力されるように制御する制御手段を備えるようにしたものである。
【0012】
また、本発明では音声信号処理装置として以下のように構成することとした。
つまり、本発明の音声信号処理装置は、スピーカから出力したテスト信号をマイクロフォンにより収音した結果に基づき、上記スピーカから上記マイクロフォンまでの音声到達遅延時間を計測する計測機能を備えた音声信号処理装置であって、先ず、上記テスト信号が時間軸方向に引き延ばされて上記スピーカから出力されるように制御する制御手段を備える。
また、上記スピーカから出力される上記時間軸方向に引き延ばされたテスト信号と、このテスト信号の上記マイクロフォンによる収音結果に基づき得た信号との位相差に基づいて計測した遅延時間に基づき、引き延ばし計測遅延時間としての上記音声到達遅延時間を得る遅延時間計測手段を備える。
また、上記遅延時間計測手段により得られた上記音声到達遅延時間に基づき、上記スピーカから出力されるべき音声信号についての遅延時間を調整する遅延時間調整手段を備えるようにしたものである。
【0013】
このような本発明によれば、テスト信号を時間軸方向に引き延ばした分だけより長い遅延時間の計測が可能となる。つまり、テスト信号のサンプル数に依らず、より長い遅延時間を計測することができる。
【発明の効果】
【0014】
このようにして本発明によれば、テスト信号を時間軸方向に引き延ばした分だけより長い遅延時間の計測が可能であることから、テスト信号のサンプル数に依らずより長い遅延時間の計測ができる。
これにより、スピーカから出力したテスト信号をマイクロフォンにより収音した結果に基づき上記スピーカから上記マイクロフォンまでの音声到達遅延時間を計測する場合において、装置のハードウェアリソースによって計測可能な遅延時間が制限されないようにすることができる。
【0015】
また、本発明の音声信号処理装置によれば、このような本発明の手法によって計測される遅延時間に基づいて、上記スピーカから出力されるべき音声信号についての遅延時間を調整することができる。
【発明を実施するための最良の形態】
【0016】
以下、発明を実施するための最良の形態(以下実施の形態とする)について説明していく。
図1は、本発明における実施の形態の音声信号処理としての再生装置2の内部構成と、この再生装置2を含むオーディオシステム1の構成を示す図である。
図1において、実施の形態の再生装置2は、図示するメディア再生部15を備え、例えばCD(Compact Disc)やDVD(Digital Versatile Disc)、或いはブルーレイディスク(Blu-Ray Disc)などの光ディスク記録媒体や、MD(Mini Disc:光磁気ディスク)、ハードディスクなどの磁気ディスク、半導体メモリを内蔵した記録媒体など、所要の記録媒体についての再生が可能とされる。
実施の形態のオーディオシステム1としては、この再生装置2のメディア再生部15によって再生されるオーディオ信号(音声信号)を音声出力するための、図示する複数のスピーカSP(SP1、SP2、SP3、SP4)を備える。また、後述する遅延時間計測を行うために必要な、図示するマイクロフォン(MIC)M1も備える。
【0017】
このような実施の形態のオーディオシステム1としては、例えばカーオーディオシステムや、5.1chなどのサラウンドシステムとして適用することができる。
なお、ここではスピーカSPの数は4つとしているが、これはあくまでオーディオシステム1が備えるスピーカSPの数が複数であることを象徴しているものに過ぎず、備えられるスピーカSPの数について限定するものではない。
【0018】
再生装置2には、上記マイクロフォンM1により収音された音声信号を入力するための音声入力端子Tinが備えられ、この音声出力端子Tinを介してマイクロフォンM1と接続される。
また、再生装置2には、上記複数のスピーカSP1〜SP4の数に応じた複数の音声出力端子Tout1〜Tout4が備えられ、これら出力端子Tout1〜Tout4を介してスピーカSP1〜SP4と接続される。
【0019】
上記音声出力端子Tinを介して上記マイクロフォンM1から入力された収音信号は、A/Dコンバータ13を介して制御部10に入力される。
また、制御部10からは、この場合のスピーカSPの数に応じた複数系統の音声信号が、D/Aコンバータ14を介してそれぞれ上記した音声出力端子Tout1〜Tout4のうちの対応する端子に供給されるようになっている。
【0020】
制御部10は、例えばDSP(Digital Signal Processor)又はCPU(Central Processing Unit)で構成され、後述する各種機能動作を実現するように構成される。
この制御部10に対しては、図示するようにROM11とRAM12が備えられる。ROM11は、制御部10が各種制御処理を実行するためのプログラムや係数、パラメータ等が格納される。また、特に実施の形態の場合、このROM11内には後述する遅延時間計測で用いられる、データとしてのテスト信号11aも格納される。実施の形態の場合、テスト信号としてはTSP(Time Streched Pulse)信号を用いる。
また、RAM12は、制御部10の作業データなどが一時格納され、ワーク領域として利用される。
【0021】
メディア再生部15は、上述もしたように記録媒体についての再生を行う。
例えば、記録媒体として光ディスク記録媒体やMDなどに対応する場合には、光学ヘッド、スピンドルモータ、再生信号処理部、サーボ回路等を備え、装填されたディスク状記録媒体に対してレーザ光の照射により信号の再生を行うように構成される。
そして、このような再生動作により得られたオーディオ信号を制御部10に対して供給するようにされる。
【0022】
図2は、制御部10により実現される各種機能動作について説明するための図である。なお、この図2では制御部10の各種機能動作をブロック化して示している。また、この図では図1に示したメディア再生部15、ROM11、RAM12も示している。
図2において、制御部10としては、図示するようにテスト信号出力部10a、テスト信号サンプリング部10b、加算平均部10c、インパルス信号復元部10d、遅延時間計測部10e、音声信号処理部10fとしての機能を備える。
実施の形態では、制御部10がこれらの各種機能動作をソフトウエア処理に実現する場合を例示するが、これらの機能ブロックをハードウエアで構成して実現することもできる。
【0023】
テスト信号出力部10aは、後述する遅延時間計測においてスピーカSPから出力すべきテスト信号(この場合はTSP信号)を、ROM11内に格納されたデータとしてのテスト信号11aに基づいて出力する。すなわち、動作クロックに基づいてテスト信号11aの各値を順次出力する。このように出力されるテスト信号(TSP信号)の各値は、図1に示したD/Aコンバータ14→音声出力端子Toutを介してスピーカSPに供給され、これによってスピーカSPからはテスト信号11aに基づく音声信号が実音声として出力される。
この場合もテスト信号の出力は、後述もするように複数周期分が出力されるようにして所定時間にわたって行うようにされる。
【0024】
ところで、遅延時間計測は、各スピーカSPについて行われるものである。これに応じ当該テスト信号出力部10aは、テスト信号の出力を、1つのスピーカチャンネルごとに切り替えて出力することが可能とされる。つまり、スピーカSP1のチャンネルが選択されることに応じては、テスト信号11aの各値を音声出力端子Tout1に接続されるラインに対して出力し、スピーカSP2のチャンネルが選択されることに応じては音声出力端子Tout2に接続されるラインに対し出力するようにされる。同様に、スピーカSP3のチャンネルが選択されることに応じては、テスト信号の各値を音声出力端子Tout3に接続されるラインに対して出力し、スピーカSP4のチャンネルが選択されることに応じては音声出力端子Tout4に接続されるラインに対し出力するようにされる。
【0025】
テスト信号サンプリング部10bは、スピーカSPから出力されたTSP信号についての収音信号として、図1に示したA/Dコンバータ13から供給されるマイクロフォンM1による収音信号を入力し、これを動作クロックに基づいてサンプリングする。サンプリングしたTSP信号としてのデータ(TSPデータとも呼ぶ)はRAM12に保持するようにされる。
収音信号のサンプリングとしても、テスト信号の複数周期が取得されるように所定時間にわたって行われる。
【0026】
加算平均部10cは、上記のようなサンプリングによりRAM12に保持された複数周期分のTSPデータについて加算平均処理を行う。加算平均処理後のTSPデータについてもRAM12に保持される。
【0027】
インパルス信号復元部10dは、RAM12に保持された加算平均後のTSPデータに基づいて、インパルス信号を復元する。このインパルス信号復元部10dとしては、先ず上記TSPデータに対しFFT(Fast Fourier Transform:高速フーリエ変換)を行う。さらに、このようにFFTが行われたTSPデータについて、信号作成時にずらした分位相を戻し(位相変換)、その上でIFFT(Inverse Fast Fourier Transform:高速フーリエ逆変換)を行ってインパルス信号を復元する。
【0028】
遅延時間計測部10eは、復元されたインパルス信号と、格納されるテスト信号11aとしてのTSP信号の作成の基となったインパルス信号とについて、それぞれの立ち上がり位置のずれ(遅延サンプル数)を計測することによって遅延時間を計測する。
後述もするように 実施の形態においても、インパルス信号の立ち上がり位置が0クロック目となるようにTSP信号を出力し、且つ収音信号のサンプリング開始タイミングを、出力されるTSP信号の1周期の開始位置と同期したタイミングとなるようにしているので、上記のような復元したインパルス信号に基づく上記遅延時間DTの計測としては、実際にはその立ち上がり位置がTSP信号の1周期の開始位置から何クロック目であるかを計測することで行われるものとなる。
なお、実施の形態の遅延時間計測では、このような復元したインパルス信号の遅延サンプル数の計測(計時)によって得た遅延時間の情報(第1の遅延時間DT1)を基に、後述する処理(図6、図10)を行うことで最終的な遅延時間の情報を得るようにされる(後述する遅延時間DT2、遅延時間DT4)。
【0029】
音声信号処理部10fは、図示するようにしてch(チャンネル)分配処理、音場・音響処理、chごとのディレイ処理などを行う。
ch分配処理は、メディア再生部15からの入力に基づく複数のオーディオ信号について、それぞれを対応するスピーカSP(つまり対応する音声出力端子Tout)に接続されるラインに分配して出力する。例えば、当該オーディオシステム1がカーオーディオシステムであった場合、メディア再生部15から再生されるLch、Rchの2系統のオーディオ信号を、それぞれLch、Rchに対応するスピーカSP(Lch、Rchに対応する音声出力端子Tout)に接続されるラインに対して分配出力する。
或いは、当該オーディオシステム1が5.1chサラウンドシステムであって、メディア再生部15からLch、Rchの2系統のオーディオ信号が再生される場合は、これら2系統のオーディオ信号から5.1chに対応した6系統のオーディオ信号を生成する。そして、これらをそれぞれ対応する音声出力端子Toutに接続されるラインに分配して出力する。
また、上記音場・音響処理は、例えばイコライジング処理により各種音響効果を与えるための処理やデジタルリバーブなどの音場効果を与えるための処理などを指す。
また、上記chごとのディレイ処理は、先の遅延時間計測部10eによって計測される各スピーカSPごと(各chごと)の遅延時間DT(後述する遅延時間DT2、遅延時間DT4)に基づき、それぞれのスピーカSPから出力されるべきオーディオ信号についてのディレイ時間を設定して、この設定したディレイ時間に応じて各オーディオ信号にディレイ処理を施す処理である。すなわち、計測された遅延時間DTに応じてオーディオ信号のディレイ時間を調整するものである。
このようなchごとのディレイ時間の調整は、各スピーカSPから出力される音声がマイクロフォンM1に同時に到達するようにして行われる。これによってマイクロフォンM1の配置位置を聴取位置とした場合に、この聴取位置に各スピーカSPからの音声を同時に到達させることができる。
なお、このように各スピーカSPごとに計測された遅延時間に応じて各スピーカSPから出力される音声信号を遅延させて出力する具体的手法については、既に各種の技術が提案されているのでここで特に限定はしない。
【0030】
ここで、上記説明によれば、本実施の形態としても遅延時間の計測にあたっては、出力したテスト信号と収音したテスト信号との位相差に基づく計測を行っていることがわかる。
但し、先にも説明したように、この手法は最大でもテスト信号の1周期分の時間長までしか遅延時間を計測できないという制限がある。
このため現状では、先にも述べたようにテスト信号のサンプル数を増やすことでより長い遅延時間の測定が可能となるようにすることが行われている。
【0031】
しかしながら、このようにテスト信号のサンプル数を増やした場合は、当然のことながらテスト信号としてのデータ量が増えるわけで、その分テスト信号データ(テスト信号11a)を格納するメモリ容量(この場合はROM11)の増大化につながる。すなわち、メモリ資源の乏しい機器には不適な手法となる。
さらに、本例のようにテスト信号としてTSP信号を用いる場合は特に、サンプル数が増えることでその分インパルス信号復元のためのFFT・IFFTでのサンプル数も増え、処理負担の増大化につながる。すなわち、この点でもハードウェアリソースの乏しい機器には不適な手法となってしまう。
【0032】
そこで実施の形態では、テスト信号を時間軸方向に引き延ばしてスピーカSPから出力する。つまり、このようにして時間軸方向に引き延ばすことで、テスト信号の1周期の時間長を長くすることができ、これによってテスト信号を引き延ばした分だけより長い遅延時間を計測することができるようになるものである。
このような手法として、以下、第1の実施の形態と第2の実施の形態とを提案する。
【0033】
<第1の実施の形態>
図3は、第1の実施の形態としての遅延時間計測動作について説明するための図である。
この図では、図中の時間軸Tを基準として、TSP信号と、このTSP信号の作成時に基としたインパルス信号と、TSP信号に基づきスピーカSPから出力される本実施の形態の場合の出力信号と、この出力信号に基づきマイクロフォンM1にて収音される収音信号の各波形を示している。
なお、図中の各波形を囲うそれぞれの枠は、テスト信号としてのTSP信号の1周期ごとの区切りを表している。
また、以下の説明では、便宜上、1つのスピーカSPの遅延時間計測動作のみについて説明を行うが、各スピーカSPごとの遅延時間を計測するにあたっては、スピーカSPごとに同様の計測動作を繰り返し行うものとすればよい。
【0034】
図3において、先ず図中のTSP信号波形は、図1(及び図2)に示したROM11内に格納されるテスト信号11aとしての、データによるTSP信号の各値を1クロックずつ出力したときの波形を示している。つまり、通常出力したときのTSP信号波形を示しているものである。
【0035】
これに対し、本実施の形態では、図中の出力信号として示されているように、TSP信号を時間軸方向に所定倍引き延ばして出力するものとしている。例えばこの場合は、時間軸方向に4倍引き延ばして出力するものとする。
【0036】
ここで確認のために、上記通常出力によるTSP信号としては、次の図4(a)に示されるようなものとなる。すなわち、テスト信号11aとして格納されるTSP信号のサンプル数がnとすると、0〜nサンプル目までの各値を1クロックずつ出力したものである。
この場合、図示するようにTSP信号のサンプル数nは「512」であるとする。これに応じこの場合のTSP信号の1周期長は512クロックとなる。
例えば、この場合の動作クロックが44.1kHzであるとすれば、TSP信号の1周期長は512÷44100secとなる。
【0037】
そして、このようなTSP信号の時間軸方向への引き延ばしとして、本実施の形態では、次の図4(b)に示されるように、テスト信号11aとして格納されるTSP信号(データ)をアップサンプリングして出力するようにされる。つまり、図のようにしてTSP信号の各値を、それぞれ所定複数クロックにわたって出力するようにしたものである。
この場合、時間軸方向への引き延ばし倍率は4倍とされるので、TSP信号の各値を4クロックにわたってそれぞれ出力する。これによって出力されるTSP信号の1周期長は、図示するようにして512×4クロックとなり、44.1kHzの動作クロックの下では1048×44100secとなる。
【0038】
図3に戻り、上記のようなTSP信号の時間軸方向への引き延ばし出力は、引き延ばし信号が所定複数周期分出力されるようにして予め設定された所定の時間長にわたって行う。この図では、引き延ばし信号を3周期分出力するものとする。
【0039】
そして、このような引き延ばし信号の出力と並行して、収音信号のサンプリングを行う。すなわち、スピーカSPから出力されてマイクロフォンM1により収音される引き延ばし信号についてサンプリングを行う。
この場合、収音信号のサンプリングは、出力される引き延ばし信号の1周期の開始タイミングに同期したタイミングで開始する。この図では、図示の都合上、収音信号の開始タイミングと出力信号(引き延ばし信号)の2周期目の開始タイミングとが同期しているように示しているが、実際にマイクロフォンM1でスピーカSPからの引き延ばし信号が収音され始めるのは、当然のことながらスピーカSP−マイクロフォンM1間の距離に応じた時間(音声到達遅延時間)経過後となる。
【0040】
ここで、本実施の形態の場合、このような収音信号についてのサンプリングとしては、上述のようにしてTSP信号を引き延ばしたことに応じて、引き延ばした倍率に応じた分ダウンサンプリングを行うものとしている。具体的には、この場合はTSP信号を4倍引き延ばして出力したので、1/4にダウンサンプリングする。つまり、収音信号としての引き延ばし信号を4クロックに1回だけサンプリングする。これにより、この場合に取得される信号の1周期長は、引き延ばし出力前の元の1周期長(この場合は512クロック)と同じになる。
このような収音信号のダウンサンプリングについても、収音信号としての引き延ばし信号の複数周期分について行われるようにして予め定められた所定時間にわたって行うようにされる。この図の例では、図示するように収音信号としての引き延ばし信号の2周期分についてダウンサンプリングを行うようにされ、これに伴い2周期分のTSP信号が取得される例が示されている。
【0041】
このようにして、収音信号としての複数周期分の引き延ばし信号についてダウンサンプリングを行って複数周期分のTSP信号を取得すると、これら複数周期分のTSP信号を加算平均して、1周期分のTSP信号を得る。
その上で、このように加算平均して得られたTSP信号からインパルス信号を復元する。すなわち、先の図2においてインパルス信号復元部10dとして説明したように、加算平均結果としてのTSPデータに対しFFTを行った上で、TSP信号作成時に基としたインパルス信号からずらした位相分を戻し(位相変換)、且つIFFTを行ってインパルス信号を復元する。
【0042】
インパルス信号を復元すると、この復元したインパルス信号の立ち上がり位置と、スピーカSPから出力されるTSP信号が基としたインパルス信号の立ち上がり位置とのずれを計測することで、図示するような遅延時間DT1(第1の遅延時間)を計測する。
【0043】
ここで、実施の形態では、上記のようにして引き延ばした倍率に応じて収音信号をダウンサンプリングし、これによって出力前の元のTSP信号と同じ1周期長のTSP信号を取得するので、このように復元したインパルス信号と出力前の元のTSP信号のインパルス信号とを従来通り比較して上記遅延時間DT1を計測することができる。
このようにして計測される遅延時間DT1は、引き延ばしたTSP信号の1周期長(つまりこの場合は512×4クロック)を基準としたときの遅延量を反映した数値となっているが、この遅延時間DT1としては上記のようにしてダウンサンプリングして取得したTSP信号に基づき計測したものであるので、適正な尺度で遅延時間を表しているものではない。すなわち、具体的にこの場合の遅延時間DT1としては、設定されたダウンサンプリングの倍率に応じた1/4の尺度で遅延時間を表すものとなっている。
【0044】
そこで実施の形態では、計測された遅延時間DT1を、TSP信号の出力時に引き延ばしを行った倍率に応じて倍数化する(図中アップサンプリング)。具体的に、この場合は遅延時間DT1を4倍する。
これにより、引き延ばされたTSP信号の1周期長に応じた尺度での遅延時間DT2(引き延ばし計測遅延時間)を求めることができる。第1の実施の形態では、この遅延時間DT2を、スピーカSPから出力された音声がマイクロフォンM1に到達するまでの遅延時間(音声到達遅延時間)としての、最終的な遅延時間の情報として取得する。
【0045】
このような第1の実施の形態としての計測手法と、従来の計測手法とを比較してみると、先にも説明したように従来手法では、TSP信号のサンプル数に応じた長さしか遅延時間を計測できないものとされていた。すなわち、図3の例では、TSP信号のサンプル数に基づく512クロック分の時間長内でしか遅延時間を計測することができないものである。
これに対し上記第1の実施の形態の手法によれば、TSP信号のサンプル数の4倍の時間長まで計測することができる。また、TSP信号を引き延ばす倍率としては4倍に限るものではなく、例えば5倍や10倍を設定した場合にも同様の手法によって5倍、10倍の長さの遅延時間を計測することができる。すなわち、このような第1の実施の形態によれば、出力するTSP信号を引き延ばす倍率に応じて、より長い遅延時間を計測することができるものである。
【0046】
このようにして、TSP信号を時間軸方向に引き延ばした分だけより長い遅延時間の計測が可能であることから、TSP信号のサンプル数に依らずより長い遅延時間の計測を行うことができる。
これによって、スピーカから出力したTSP信号をマイクロフォンにより収音した結果に基づき、上記スピーカから上記マイクロフォンまでの音声到達遅延時間を計測する場合において、装置のハードウェアリソースによって計測可能な遅延時間が制限されないようにすることができる。
【0047】
続いて、図5、図6のフローチャートを参照して、上記により説明した第1の実施の形態としての計測動作を実現するために行われるべき処理動作について説明する。
なお、これらの図に示される処理動作は、図1(及び図2)に示した制御部10が例えばROM11に格納されるプログラムに従って実行するものである。
【0048】
先ず図5は、第1の実施の形態としての遅延時間計測動作として、テスト信号(引き延ばし信号)の出力時に対応して行われるべき処理動作について示している。この図に示す処理動作は、先の図2に示した機能ブロックで言えば、テスト信号出力部10aとしての動作に相当するものである。
図5において、先ずステップS101では、出力値識別カウント値iを0リセットする。この出力値識別カウント値iは、後のステップS103においてROM11に格納されるデータとしてのテスト信号11aの何サンプル目を出力すべきかを識別するための値である。
【0049】
また、ステップS102では、出力回数識別カウント値jを0リセットする。この出力回数識別カウント値jは、次のステップS103により出力されるテスト信号の値の1値を何回出力したかを識別するための値である。
【0050】
ステップS103では、テスト信号のiサンプル目を出力する。つまり、ROM11内に格納されるテスト信号11aとしてのTSP信号(データ)の各値のうち、上記した出力値識別カウント値iにより特定される値を図1に示したD/Aコンバータ14に出力するようにされる。
【0051】
続くステップS104では、出力回数カウント値jが倍率値Kとなったか否かについて判別処理を行う。この倍率値Kは、TSP信号を引き延ばす倍率値であり、例えば先の図3の例では「4」が設定される。
出力回数カウント値jが上記倍率値Kになっていないとして否定結果が得られた場合は、ステップS105に進み出力回数カウント値jをカウントアップ(j+1)した後、ステップS103に戻り再度テスト信号のiサンプル目を出力するようにされる。つまり、このようなステップS104→S105→S103→S104の処理が繰り返されることで、テスト信号(TSP信号)の各値が、それぞれ倍率値Kに応じた複数クロックにわたって出力されるようになっている。
【0052】
また、上記ステップS104において、出力回数カウント値jが上記倍率値Kになったとして肯定結果が得られた場合は、ステップS106に進んで出力回数カウント値jを0リセットした後、ステップS107において、出力値識別カウント値iがサンプル値nとなったか否かについて判別処理を行う。
このサンプル値nは、テスト信号11aのサンプル数の値である。つまり、このステップS107によって、TSP信号を1周期分出力したか否か、言い換えればTSP信号の全ての値を出力したか否かが判別される。
【0053】
ステップS107において、出力値識別カウント値iがサンプル値nにはなっていないとして否定結果が得られた場合は、ステップS108に進んで出力値識別カウント値iをカウントアップ(i+1)した後、先のステップS103に戻り再度テスト信号のiサンプル目を出力するようにされる。
【0054】
またステップS107において、出力値識別カウント値iがサンプル値nになったとして肯定結果が得られた場合は、ステップS109において、引き延ばし信号出力を終了すべき状態となったか否かについて判別処理を行う。
先の図3にて述べたように、実施の形態において引き延ばし信号の出力は、複数周期分(この場合は例えば3周期分)行うようにされる。このステップS109では、予め設定された所定の周期数だけ引き延ばし信号の出力を行ったか否かについて判別処理を行う。
【0055】
ステップS109において、出力した引き延ばし信号の周期数が予め設定された周期数になっていないとして否定結果が得られた場合は、図示するようにステップS101に戻るようにされ、これによって再度1周期分の引き延ばし信号の出力が行われる。つまり、次の1周期分の引き延ばし信号出力が行われる。
またステップS109において、出力した引き延ばし信号の周期数が予め設定された周期数になったとして肯定結果が得られた場合は、この図に示される出力処理を終了する。
【0056】
また、図6は、第1の実施の形態の遅延時間計測動作として、特に収音信号のサンプリングから遅延時間(引き延ばし計測遅延時間)の取得までに対応して行われるべき処理動作を示している。
なお、確認のために述べておくと、この図6に示す処理動作は、図5に示した処理動作と並行して行われるものである。また、この図6に示される処理動作は、先の図2に示した機能ブロックで言えば、テスト信号サンプリング部10b、加算平均部10c、インパルス信号復元部10d、遅延時間計測部10eとしての動作に相当するものである。
【0057】
図6において、先ずステップS201では、引き延ばし信号が所定周期分出力されるのを待機する。そして、引き延ばし信号が所定周期分出力された場合は、ステップS202において、引き延ばし信号をサンプリングする。すなわち、マイクロフォンM1により収音され、A/Dコンバータ13を介して入力される収音信号をサンプリングする。
ここで、先の図3において説明したように、本実施の形態において収音信号のサンプリング開始タイミングは、出力される引き延ばし信号の1周期の開始タイミングと同期させるものとしている。具体的には、出力される引き延ばし信号の2周期目の開始タイミング(512×4+1クロック目)に同期させるものとしている。
つまり、上記のようにしてステップS201において引き延ばし信号を所定周期分(つまりこの場合は1周期分)出力されるのを待機し、その後にステップS202にてサンプリングを開始することで、このように収音信号(引き延ばし信号)のサンプリング開始タイミングと、出力した引き延ばし信号の1周期の開始タイミングとが同期するようにされているものである。
【0058】
なお、このようにして実施の形態では収音信号のサンプリング開始タイミングを出力される引き延ばし信号の1周期の開始タイミングと同期させるものとしているが、これによって復元されたインパルス信号に基づく遅延時間(DT1)の計測は、当該インパルス信号の先頭位置から立ち上がり位置までの遅延クロック数を計測するのみで容易に行うことができる。
但し、このような容易性を考慮しない場合などには、必ずしも収音信号のサンプリング開始タイミングを出力される引き延ばし信号の1周期の開始タイミングと同期させる必要はない。つまり、このようにそれぞれの開始タイミングを同期させずとも、予めそれぞれの開始タイミングのずれ量がわかっていれば、復元したインパルス信号の先頭位置から同様に計測した遅延時間に対し、このずれ量を加算(または減算)することで、同じ計測結果を得ることができるからである。
【0059】
続いて、ステップS203においては、引き延ばし信号の所定周期分をサンプリングしたか否かについて判別処理を行う。すなわち、A/Dコンバータ13から供給される収音信号としての引き延ばし信号を、予め定められた所定周期分サンプリングしたか否かを判別する。
先の図3の説明によれば、この場合は引き延ばし信号の2周期分についてサンプリングを行うものとされるので、引き延ばし信号の2周期分をサンプリングしたか否かを判別するようにされる。具体的には、サンプリング開始から512×4×2クロック目のサンプリングを行ったか否かを判別することになる。
【0060】
上記ステップS203において、未だ引き延ばし信号の所定周期分をサンプリングしていないとして否定結果が得られた場合は、ステップS204に進んでK−1クロックだけ待機するようにされる。そして、先のステップS202に戻り、再度引き延ばし信号(収音信号)をサンプリングするようにされる。
上記ステップS204の待機処理が設けられることにより、図3にて説明したようなダウンサンプリングが実現される。
【0061】
そして、上記ステップS203において、引き延ばし信号の所定周期分をサンプリングしたとして肯定結果が得られた場合は、ステップS205において、サンプリングした引き延ばし信号を加算平均する。つまり、ダウンサンプリングにより得られた複数周期分の引き延ばし信号(TSP信号)を加算平均する。
さらに、続くステップS206においては加算平均結果からインパルス信号を復元し、次のステップS207では復元したインパルス信号から遅延時間DT1を計測する。つまり、復元したインパルス信号の先頭クロック(0クロック目)からその立ち上がりタイミングまでの遅延サンプル数を計測する。
その上で、ステップS208においては、上記遅延時間DT1×倍数値Kによる演算を行って、引き延ばし計測遅延時間としての遅延時間DT2を取得する。
【0062】
なお、これら図5、図6では、1つのスピーカSPについての遅延時間計測動作のみについて説明したが、各スピーカについての遅延時間DT2を計測するのにあたっては、複数のスピーカSP(この場合はSP1〜SP4)のうちから順次1つのスピーカSPを選択して、この選択したスピーカSPについて図5、図6に示した処理を順次行うようにする。これによって各スピーカSPについての遅延時間DT2を得ることができる。
【0063】
このようにして取得された各スピーカSPについての遅延時間DT2は、先の図2において音声信号処理部10fによるchごとのディレイ処理として説明したような、制御部10が行う各スピーカchごとのディレイ時間の調整に用いられる。つまり、制御部10は、各スピーカSPごとに計測した遅延時間DT2に基づき、メディア再生部15にて再生され、それぞれのスピーカSPから出力されるべきオーディオ信号についてのディレイ時間を設定して、この設定したディレイ時間に応じて各オーディオ信号にディレイ処理を施すものである。
このとき、各chごとのディレイ時間としては、先にも述べたように各スピーカSPからマイクロフォンM1までの音声到達時間が同じとなるように設定される。これによってマイクロフォンM1の配置位置を聴取位置とした場合に、各スピーカSPから出力される音声を聴取位置に同時に到達させることができる。
【0064】
また、これまでの説明では、テスト信号としてのTSP信号を引き延ばす倍率は固定としたが、引き延ばし倍率は可変的に設定できるように構成することもできる。
その一例としては、例えば引き延ばし倍率設定用のユーザインタフェースを設けて、ユーザ操作に応じて設定することが考えられる。
【0065】
或いは、次の図7に示されるようにして、先ず始めに倍率をMAXなどの所定の高倍率に設定して計測を行って、大まかな遅延時間を得た上で、その結果に応じてより近い倍率を設定し直して再度の遅延時間計測を行うことも考えられる。
図7は、同じスピーカSPとマイクロフォンM1間での遅延時間について、例えば倍率50倍で計測した遅延時間DT2と倍率10を設定して計測した遅延時間DT2とを、先の図3に示したような復元インパルス信号を引き延ばしたかたちで表している。
ここで、第1の実施の形態の手法によると、倍率を上げれば上げるほどより長い遅延時間(つまりより長いスピーカ−マイク間の距離)を計測することが可能となるが、倍率を上げた分だけ計測精度も粗くなる。これは、実施の形態としての遅延時間DT2を求めるにあたっては、ダウンサンプリング結果に基づき計測した測定時間DT1を引き延ばし倍率に応じた分だけ倍数化して戻しているからである。
このことを踏まえた上で、上記のようにして始めは高倍率で大まかな遅延時間を得た上で、その結果に応じてより近い倍率で遅延時間を再計測するものとすれば、そのときの遅延時間に応じてより精度の良い計測を行うことができることになる。
なお、さらなる高精度化を図るために、再度の計測において得られた遅延時間からさらに近い倍率を設定して再計測を行う、という動作を繰り返し行って、最終的に最も近い倍率を設定して遅延時間の計測を行うようにすることもできる。
【0066】
<第2の実施の形態>
上記のようにして、第1の実施の形態の手法を採る場合において計測精度を向上させる手法としては、高倍率での計測結果からより近い倍率を設定して再計測を行う手法も有効であるが、何れにしても最終的に計測される遅延時間DT2としては、TSP信号を引き延ばした上で得られたものとなるので、従来のような1クロック単位での高精度な計測までは行うことができないことになる。
そこで、第1の実施の形態のように設定倍率に応じたより長い遅延時間の計測を可能とした上で、従来のような1クロック単位での高精度な計測が可能となるようにしたのが、次に説明する第2の実施の形態である。
【0067】
先ず、第2の実施の形態の手法について理解するために、従来の手法の問題点について再考してみると、従来の手法は、先の図12と図13とを比較して説明したように、テスト信号の1周期分を超える遅延時間については、何周期目かかが特定できないためにこれを計測することができないものとされていた。つまり、これを換言すれば、従来の手法においてこの何周期目かを特定できさえすれば、テスト信号の1周期分を超える遅延時間を高精度に計測することができるものとなる。
【0068】
ここで、先の第1の実施の形態の手法によれば、精度が粗くはなるもののテスト信号の1周期分を超える長い遅延時間について計測することができる。つまり、この点に着目すれば、第1の実施の形態の手法により計測する遅延時間(引き延ばし計測遅延時間)の情報は、遅延時間が従来手法でのテスト信号周期で何周期目にあたるかの情報として利用することができる。
【0069】
このことを踏まえ、第2の実施の形態としては、次の図8に示されるようにして、第1の実施の形態の手法と従来の手法とを組み合わせて最終的な遅延時間の情報を得ることで、設定倍率に応じたより長い遅延時間の計測と、1クロック単位での高精度な計測との両立が計られるようにする。
つまり、先ず第2の実施の形態の計測動作としては、図8(a)に示されるようにして、先に説明した第1の実施の形態の手法によって遅延時間DT2を得る。この遅延時間DT2によって、TSP信号の各値を1クロックずつ出力した場合(つまり従来の手法の場合)において、遅延時間がTSP信号の何周期目(図中n1、n2、n3、n4、n5・・・のうち何れか)にあたるかのおおまかな情報を得ることができるものである。
この図では、計測した遅延時間DT2から、遅延時間がTSP信号の3周期目(n3)にあたることが特定された場合が示されている。
【0070】
そして、このような第1の実施の形態としての遅延時間DT2の計測と共に、図8(b)に示されるようにして従来の計測手法により遅延時間を計測する。このように従来手法により計測された遅延時間については、遅延時間DT3(通常計測遅延時間)と呼ぶ。
なお、この図8(b)では、図13に示した従来手法の計測動作のうち、加算平均結果からインパルス信号の復元を行って、この復元したインパルス信号から遅延時間を計測する動作のみを抽出して示している。
【0071】
その上で、このようにして従来手法により計測した遅延時間DT3と、図8(a)にて取得した何周期目かの情報とに基づき、スピーカSPからマイクロフォンM1までの音声到達遅延時間を示す最終的な遅延時間(遅延時間DT4)を求める。
つまり、この場合において遅延時間DT2に基づき特定されたのは上記のようにTSP信号の3周期目であるので、例えばその直前の2周期目までのクロック数に対し、遅延時間DT2としてのクロック数を加算することで、上記音声到達遅延時間としての遅延時間DT4を得ることができる。
このようにして第1の実施の形態の手法により計測した遅延時間DT2(引き延ばし計測遅延時間)と、従来手法により計測した遅延時間DT3(通常計測遅延時間)とに基づき、最終的な音声到達遅延時間としての遅延時間DT4を取得することができる。
【0072】
図9、図10は、上記のような第2の実施の形態としての計測動作を実現するために行われるべき処理動作について示したフローチャートである。なお、これらの図に示される処理動作としても、図1(及び図2)に示した制御部10が例えばROM11に格納されるプログラムに従って実行するものである。
【0073】
図9は、第2の実施の形態としての遅延時間計測動作として、テスト信号の出力時に対応して行われるべき処理動作について示している。
なお、第2の実施の形態としては、上記もしているように第1の実施の形態の計測動作と従来手法の計測動作との双方を行うようにされるものである。従って第2の実施の形態のテスト信号の出力時に対応した処理動作としては、先の図5に示した第1の実施の形態としての引き延ばし信号の出力動作(ステップS301〜S309)に続けて、従来のテスト信号(TSP信号)出力のための処理を実行するようにされる。
なお、ステップS301〜S309の処理動作については先の図5におけるステップS101〜S109と同様の処理動作となるので、ここでの改めての説明は省略する。
【0074】
図5において、ステップS309の判別処理により、第1の実施の形態の手法による引き延ばし信号出力を終了すべき状態となったとして肯定結果が得られた場合は、ステップS310に進み、出力値識別カウント値iを0リセットする。先にも述べたように、この出力値識別カウント値iは、テスト信号11a(TSPデータ)の何サンプル目を出力すべきかを識別するための値である。
【0075】
続くステップS311では、テスト信号のiサンプル目を出力する。つまり、ROM11内に格納されるテスト信号11aとしてのTSP信号の各値のうち、上記出力値識別カウント値iにより特定される値を図1に示したD/Aコンバータ14に出力するようにされる。
【0076】
ステップS312では、出力値識別カウント値iがサンプル値nとなったか否かについて判別処理を行う。このサンプル値nとしても、テスト信号11aのサンプル数を示す値である。つまり、このステップS312によって、TSP信号を1周期分出力したか否か、言い換えればTSP信号の全ての値を出力したか否かが判別される。
【0077】
ステップS312において、出力値識別カウント値iがサンプル値nにはなっていないとして否定結果が得られた場合は、ステップS313に進んで出力値識別カウント値iをカウントアップ(i+1)した後、先のステップS311に戻り再度テスト信号のiサンプル目を出力するようにされる。
これまでで説明したステップS311→S312→S313→S311の処理が繰り返されることで、この場合のテスト信号11aとしてのTSP信号は、その各値が1クロックずつ出力される。つまり、TSP信号は引き延ばされずに通常出力される。
【0078】
また、上記ステップS312において、出力値識別カウント値iがサンプル値nになったとして肯定結果が得られた場合は、ステップS314において、通常テスト信号出力を終了すべき状態となったか否かについて判別処理を行う。
第2の実施の形態において、上記のような1クロックずつの通常テスト信号出力としても、引き延ばし信号出力の場合と同様に、予め定められた複数周期分(この場合は先の図12の場合と同様の12周期分)行うようにされる。このステップS314では、このようにして予め設定された所定周期数だけ通常テスト信号出力を行ったか否かについて判別処理を行う。
【0079】
そして、このステップS314において、出力したテスト信号の周期数が予め設定された周期数になっていないとして否定結果が得られた場合は、図示するようにステップS310に戻るようにされ、これによって再度1周期分のテスト信号の出力が行われる。
またステップS314において、出力したテスト信号の周期数が予め設定された周期数になったとして肯定結果が得られた場合はこの図に示される出力処理を終了する。
【0080】
続いて、図10は、第2の実施の形態の遅延時間計測動作として、収音信号のサンプリングから遅延時間の取得までに対応して行われるべき処理動作を示している。この図10に示す処理動作は、図9に示した処理動作と並行して行われるものである。
なお、この場合に行われるべき引き延ばし信号についての収音信号のサンプリング〜遅延時間DT2の計測に対応した処理動作(ステップS401〜S408)については、先の図6に示したステップS201〜S208と同様となるので、ここでの改めての説明は省略する。従ってこの図10では、ステップS408において遅延時間DT2を取得した後において行われるべき処理動作(ステップS409〜S415)について説明する。
【0081】
ステップS409〜S414では、図9に示したステップS310〜S314によって所定複数周期分出力される通常出力によるテスト信号についてのサンプリング〜遅延時間DT3の計測に対応した処理動作となる。すなわち、従来手法による遅延時間計測に対応した処理となる。
先ずステップS409では、テスト信号が所定周期分出力されるのを待機する。そして、テスト信号が所定周期分出力された場合は、ステップS410において、テスト信号(の収音信号)をサンプリングする。
ここで、第2の実施の形態において、従来手法による通常出力テスト信号についてのサンプリング開始タイミングとしても、出力されるテスト信号の1周期の開始タイミングと同期させるものとしている。具体的には、先の図12の場合と同様に、出力されるテスト信号の5周期目の開始タイミング(512×4+1クロック目)に同期させるものとしている。
つまり、上記のようにしてステップS409においてテスト信号を所定周期分(つまりこの場合は4周期分)出力されるのを待機し、その後にステップS410にてサンプリングを開始することで、このように収音信号のサンプリング開始タイミングと、通常出力されるテスト信号の1周期の開始タイミングとが同期するようにされている。
【0082】
なお、このような従来手法による通常出力のテスト信号についてのサンプリング開始タイミングとしても、出力されるテスト信号の1周期の開始タイミングと必ずしも同期させる必要はないものである。その理由については先の引き延ばし信号のサンプリング開始タイミングについて述べたものと同様である。
【0083】
続いて、ステップS411においては、テスト信号の所定周期分をサンプリングしたか否かについて判別処理を行う。すなわち、A/Dコンバータ13から供給される収音信号としてのテスト信号を、予め定められた所定周期分サンプリングしたか否かを判別する。
この場合も通常出力によるテスト信号(TSP信号)のサンプリングとしては、例えば先の図12の場合と同様に8周期分行うものとする。従ってこのステップS411では、テスト信号の8周期分をサンプリングしたか(具体的に、この場合はサンプリング開始から512×8クロック目のサンプリングを行ったか)否かを判別するようにされる。
【0084】
上記ステップS411において、未だテスト信号の所定周期分をサンプリングしていないとして否定結果が得られた場合は、先のステップS410に戻り、再度テスト信号(収音信号)をサンプリングするようにされる。
つまり、これによって通常出力として1クロックずつ各値を出力したテスト信号を、1クロックずつサンプリング(通常サンプリング)するようにされる。
【0085】
そして、上記ステップS411において、テスト信号の所定周期分をサンプリングしたとして肯定結果が得られた場合は、ステップS412において、サンプリングしたテスト信号を加算平均する。
さらに、続くステップS413においては加算平均結果からインパルス信号を復元し、次のステップS414では復元したインパルス信号から遅延時間DT3を計測する。つまり、これによって従来手法としての遅延時間計測に依る遅延時間DT3(通常計測遅延時間)が計測される。
【0086】
その上で、ステップS415においては、先のステップS408と上記ステップS414において得られた遅延時間DT2と遅延時間DT3とに基づき、最終的な音声到達遅延時間としての遅延時間DT4を算出する。つまり、先に説明したように、例えば遅延時間DT2により特定される周期目の直前の周期目までのクロック数に対し、遅延時間DT2としてのクロック数を加算することで、上記音声到達遅延時間としての遅延時間DT4を得ることができる。
【0087】
なお、これら図9、図10としても1つのスピーカSPについての遅延時間計測動作のみについて説明したが、各スピーカについての遅延時間DT4を計測するのにあたっては、複数のスピーカSPのうちから順次1つのスピーカSPを選択して、この選択したスピーカSPについて図9、図10に示した処理を順次行うようにする。これによって各スピーカSPについて遅延時間DT4を計測することができる。
このようにして取得される各スピーカSPについての遅延時間DT4としても、先の図2においてchごとのディレイ処理として説明したような、制御部10が行う各スピーカchごとのディレイ時間の調整に用いられる。つまり、制御部10は、各スピーカSPごとに計測した遅延時間DT4に基づき、メディア再生部15にて再生され、それぞれのスピーカSPから出力されるべきオーディオ信号についてのディレイ時間を設定して、この設定したディレイ時間に応じて各オーディオ信号にディレイ処理を施すようにされる。これによってマイクロフォンM1の配置位置を聴取位置とした場合に、各スピーカSPから出力される音声を聴取位置に同時に到達させることができる。
そして、第2の実施の形態の場合は、先の第1の実施の形態の場合よりも高精度に各遅延時間DT4を計測できるので、より厳密に各スピーカSPから出力される音声を聴取位置に同時に到達させることができる。
【0088】
なお、第2の実施の形態では、引き延ばし信号の出力・サンプリング・遅延時間DT2の計測後に、従来手法としての1クロックずつのテスト信号出力・サンプリング・遅延時間DT3の計測を行って最終的な遅延時間DT4の計測を行うものとしたが、逆に従来手法での遅延時間DT3の計測後に、第1の実施の形態としての引き延ばし信号出力に基づく遅延時間DT2の計測を行って最終的な遅延時間DT4の計測を行うようにすることもできる。
【0089】
以上、本発明の実施の形態について説明したが、本発明としてはこれまでに説明した実施の形態に限定されるべきものではない。
例えば実施の形態では、引き延ばし信号の出力として所定複数クロックにわたって同じ信号値を出力するものとしたが、所定の複数クロックおきに(つまり実施の形態の場合は4クロックおきに)それぞれの値を出力し、それ以外の区間は直線補間することもできる。或いは、0補間することもできる。
何れの場合も、実施の形態のように収音信号をダウンサンプリングするようにされる場合においては、TSP信号を時間軸方向に引き延ばし、これを引き延ばした倍率に応じてダウンサンプリングしたことに変わりはない。
【0090】
また、先の図4(b)にて示したようにテスト信号をアップサンプリングにより引き延ばして出力する場合、実際には引き延ばし後の信号に高周波ノイズが発生することが懸念される。特に、このようなノイズ問題は、引き延ばす倍率が大きくなるほど顕著となることが予想される。
そこで、再生装置2としては、次の図11に示されるようにしてテスト信号の出力系、又はテスト信号の収音・サンプリング系に対してローパスフィルタ(LPF)20を挿入することもできる。すなわち、このようなローパスフィルタ20としては、例えば図示する音声入力端子TinとA/Dコンバータ13との間、A/Dコンバータ13と制御部10との間、制御部10内部、制御部10とD/Aコンバータ14との間、D/Aコンバータ14と音声出力端子Toutとの間の何れかの位置に対して挿入する。
これによって、引き延ばし信号に生じる高周波ノイズを効果的に抑制して、より正確な遅延時間DT2(引き延ばし計測遅延時間)を得ることができる。
【0091】
また、実施の形態では、テスト信号としてTSP信号を用いる場合を例示したが、これに代えて例えばパルス信号や疑似ランダムノイズ信号、或いは正弦波信号などを用いることもできる。つまりは、スピーカから出力した信号と、これをマイクロフォンで収音しサンプリングした信号との位相差に基づき、スピーカ−マイクロフォン間の音声到達遅延時間を比較できる信号であれば、本発明でのテスト信号として用いることができる。
具体的に、これらのTSP信号以外のテスト信号(例えば正弦波信号)を用いる場合、引き延ばし計測遅延時間としての遅延時間DT2については、引き延ばし出力したテスト信号と、その収音信号を通常サンプリングして取得した信号との位相差に基づき計測することができる。つまり、この場合はTSP信号を用いる場合のようにダウンサンプリングや引き延ばし倍率に応じた倍数化は不要とすることができる。
また、このようにTSP信号以外のテスト信号を用いた場合としても、第2の実施の形態の場合と同様に、引き延ばし計測遅延時間DT2と、従来手法により計測した通常計測遅延時間DT3とに基づき1クロック刻みでの高精度な遅延時間DT4を求めるようにすることができる。
【0092】
また、図1において、メディア再生部15としては、記録媒体からオーディオ信号を再生するものとしたが、AM・FM放送などを受信復調してオーディオ信号を出力するAM・FMチューナとして構成することもできる。
【0093】
また、再生装置2としてはオーディオ信号の再生(受信復調も含む)を行う場合を例示したが、オーディオ信号と共にビデオ信号が記録される記録媒体、又はテレビジョン放送等に対応して、ビデオ信号についての再生も可能となるように構成することもできる。この場合、再生装置2としては、オーディオ信号と同期したビデオ信号出力を行うように構成すればよい。
【0094】
或いは、本発明の音声信号処理装置としては、このようなメディア再生部15を備えて記録媒体についての再生機能、または放送信号の受信機能を有するように構成される以外にも、例えばアンプ装置などとして、外部で再生(受信)された音声信号を入力し、この入力音声信号に対し、計測された遅延時間に基づく遅延時間調整を行うように構成することもできる。
【図面の簡単な説明】
【0095】
【図1】本発明における実施の形態としての音声信号処理装置の内部構成と、この音声信号処理装置とスピーカ及びマイクロフォンを備えて構成されるオーディオシステムの構成を示したブロック図である。
【図2】実施の形態の音声信号処理装置が備える制御部が行う各種機能動作について説明するための図である。
【図3】第1の実施の形態としての遅延時間計測動作について説明するための図である。
【図4】テスト信号の通常出力と引き延ばし出力とを比較して示した図である。
【図5】第1の実施の形態としての遅延時間計測動作として、テスト信号(引き延ばし信号)の出力時に対応して行われるべき処理動作について示したフローチャートである。
【図6】第1の実施の形態の遅延時間計測動作として、特に収音信号のサンプリングから遅延時間(引き延ばし計測遅延時間)の取得までに対応して行われるべき処理動作について示したフローチャートである。
【図7】第1の実施の形態の変形例について説明するための図である。
【図8】第2の実施の形態としての遅延時間計測動作について説明するための図である。
【図9】第2の実施の形態としての遅延時間計測動作として、テスト信号の出力時に対応して行われるべき処理動作について示したフローチャートである。
【図10】第2の実施の形態の遅延時間計測動作として、特に収音信号のサンプリングから遅延時間の取得までに対応して行われるべき処理動作について示したフローチャートである。
【図11】実施の形態の音声信号処理装置の変形例としての構成について示したブロック図である。
【図12】従来の遅延時間計測について説明するための図である。
【図13】図12に示す場合よりも遅延時間がテスト信号の1周期分長い場合での出力信号と収音信号との関係について主に示す図である。
【符号の説明】
【0096】
1 オーディオシステム、2 再生装置、10 制御部、10a テスト信号出力部、10b テスト信号サンプリング部、10c 加算平均部、10d インパルス信号復元部、10e 遅延時間計測部、10f 音声信号処理部、11 ROM、11a テスト信号、12 RAM、13 A/Dコンバータ、14 D/Aコンバータ、15 メディア再生部、Tin 音声入力端子、Tout1、Tout2、Tout3、Tout4 音声出力端子、SP1、SP2、SP3、SP4 スピーカ、M1 マイクロフォン(MIC)、20 ローパスフィルタ(LPF)
【技術分野】
【0001】
本発明は、スピーカから出力したテスト信号をマイクロフォンにより収音した結果に基づき、上記スピーカから上記マイクロフォンまでの音声到達遅延時間を計測する計測装置とその方法に関する。また、このような音声到達遅延時間についての計測機能を有する音声信号処理装置に関する。
【背景技術】
【0002】
従来より、特にオーディオ信号をマルチチャンネル出力するオーディオシステムなどでは、例えば正弦波やTSP(Time Streched Pulse)信号等としてのテスト信号をスピーカから出力して、これを別途設けたマイクロフォンにより収音した結果に基づき、上記スピーカから上記マイクロフォンに音声が到達するまでの遅延時間(音声到達遅延時間)を計測するということが行われている。
【0003】
図12に、その手法の一例を示す。
ここで、この図12では、上記テスト信号としてTSP信号を用いる場合を示す。周知のようにTSP信号は、図中に示すようなインパルス信号の位相をずらして生成したものとなる。従って、スピーカから出力しマイクロフォンで収音したTSP信号は、FFT(Fast Fourier Transform:高速フーリエ変換)を行った上でそのTSP信号作成時にずらした分位相を戻し、且つIFFT(Inverse Fast Fourier Transform:高速フーリエ逆変換)を行うことで元のインパルス信号に復元できる。
このように復元されるインパルス信号(インパルス応答)は、スピーカから出力されマイクロフォンに到達するまでの遅延時間の情報を含んでいるものとなる。具体的に、スピーカとマイクロフォンとの距離が「0」でなければ、収音されたTSP信号から復元したインパルス信号の立ち上がり位置は、スピーカから出力されるTSP信号が基としたインパルス信号の立ち上がり位置よりも遅れた位置となっており、これらの差を計測することで音声到達遅延時間(図中遅延時間DT)を求めることができる。
【0004】
上記説明を踏まえた上で図12について説明すると、先ずスピーカからは、図中の出力信号として、TSP信号が複数周期分繰り返し出力されるようにして、所定時間にわたるTSP信号の出力が行われる。
一方、このようなTSP信号出力の開始から所定時間経過後に、図示する収音信号として、マイクロフォンによるTSP信号の収音を開始する。このようなマイクロフォンによる収音としても、複数周期のTSP信号が収音されるようにして所定時間にわたって行われる。
この際、収音の開始タイミングは、図示するようにして出力信号としてのTSP信号の1周期の開始タイミングに同期するようにされる。スピーカからは、図示するように1周期の開始位置からTSP信号出力が開始されるので、このように収音開始タイミングをTSP信号の1周期の開始タイミングと同期させることで、出力されるTSP信号と収音されるTSP信号との位相ずれは、収音信号から復元されるインパルス信号の立ち上がり位置を1周期の開始位置(0クロック目)から計測することで容易に得ることができる。
【0005】
図12の手法では、このような双方のTSP信号の位相ずれを、上述のようなインパルス信号の立ち上がり位置のずれとして計測するようにされているものである。
具体的には、先ず収音された複数周期分のTSP信号を、図示するようにして加算平均する。そして、この加算平均結果について、上述したFFT→位相変換→IFFTを行ってインパルス信号を復元した上で、この復元されたインパルス信号の立ち上がり位置と、出力前の元のインパルス信号の立ち上がり位置とのずれを計測することで、音声到達遅延時間としての図示する遅延時間DTを計測する。
なお、この場合は上記のようにして収音開始タイミングを出力されるTSP信号の開始位置と同期させているので、復元したインパルス信号に基づく上記遅延時間DTの計測としては、実際にはその立ち上がり位置が何クロック目であるかを計測することで行われるものとなる。
【0006】
なお、関連する従来技術については以下の特許文献を挙げることができる。
【特許文献1】特開2000−097763号公報
【特許文献2】特開平04−295727号公報
【発明の開示】
【発明が解決しようとする課題】
【0007】
このようにして、スピーカから出力したテスト信号をマイクロフォンにより収音した結果に基づき、スピーカからマイクロフォンまでの音声到達遅延時間を計測することができる。
但し、このようなテスト信号を用いた従来の計測手法では、最大でテスト信号の1周期分の長さしか遅延時間を計測できないという制限がある。
【0008】
ここで、図12に示したような従来の手法では、上述もしたように出力されるテスト信号と収音されるテスト信号との位相差に基づき遅延時間を計測していることに相当するものである。従って、例えば次の図13に示されるように、遅延時間が図12に示した場合からちょうど1周期分前であったとしても、計測結果としては同じ結果が得られてしまう。
このことからも理解されるように、図12に示すような従来手法は、遅延時間がテスト信号の1周期内の長さとなっていない場合には適正に遅延時間を計測することができないものとなる。つまりは、従来の手法は、遅延時間が1周期内であることが予めわかっている場合(すなわち、スピーカとマイクロフォンとの距離が1周期分の遅延時間に応じた距離内であることがわかっている場合)を前提として採ることのできる手法なのである。
【0009】
このように計測可能な遅延時間がテスト信号の1周期内に限られることを踏まえ、現状では、より長い遅延時間の計測が可能となるようにするために、テスト信号のサンプル数を増やすということが行われている。
つまり、スピーカから出力するテスト信号としては、実際には或る一定のクロック(例えば44.1kHzなど)に従って1値ずつ出力するようにされるので、このようにテスト信号のサンプル数を増やせば、その分テスト信号の1周期分の時間長を長くでき、より長い遅延時間を計測することが可能となるものである。
【0010】
しかしながら、このようにテスト信号のサンプル数を増やした場合は、当然のことながらテスト信号としてのデータ量が増えるわけで、その分テスト信号データを格納するメモリ容量の増大化につながる。すなわち、メモリ資源の乏しい機器には不適な手法となる。
さらに、テスト信号としてTSP信号を用いる場合は特に、サンプル数が増えることでその分インパルス信号復元のためのFFT・IFFTでのサンプル数も増え、処理負担の増大化につながる。すなわち、この点でもハードウェアリソースの乏しい機器には不適な手法となってしまう。
【課題を解決するための手段】
【0011】
本発明では以上のような問題点に鑑み、スピーカから出力したテスト信号をマイクロフォンにより収音した結果に基づき、上記スピーカから上記マイクロフォンまでの音声到達遅延時間を計測する場合において、装置のハードウェアリソースによって計測可能な遅延時間が制限されないようにすることを目的とする。
このため、本発明では計測装置として以下のように構成することとした。
つまり、本発明の計測装置は、スピーカから出力したテスト信号をマイクロフォンにより収音した結果に基づき、上記スピーカから上記マイクロフォンまでの音声到達遅延時間を計測する計測装置であって、上記テスト信号が時間軸方向に引き延ばされて上記スピーカから出力されるように制御する制御手段を備えるようにしたものである。
【0012】
また、本発明では音声信号処理装置として以下のように構成することとした。
つまり、本発明の音声信号処理装置は、スピーカから出力したテスト信号をマイクロフォンにより収音した結果に基づき、上記スピーカから上記マイクロフォンまでの音声到達遅延時間を計測する計測機能を備えた音声信号処理装置であって、先ず、上記テスト信号が時間軸方向に引き延ばされて上記スピーカから出力されるように制御する制御手段を備える。
また、上記スピーカから出力される上記時間軸方向に引き延ばされたテスト信号と、このテスト信号の上記マイクロフォンによる収音結果に基づき得た信号との位相差に基づいて計測した遅延時間に基づき、引き延ばし計測遅延時間としての上記音声到達遅延時間を得る遅延時間計測手段を備える。
また、上記遅延時間計測手段により得られた上記音声到達遅延時間に基づき、上記スピーカから出力されるべき音声信号についての遅延時間を調整する遅延時間調整手段を備えるようにしたものである。
【0013】
このような本発明によれば、テスト信号を時間軸方向に引き延ばした分だけより長い遅延時間の計測が可能となる。つまり、テスト信号のサンプル数に依らず、より長い遅延時間を計測することができる。
【発明の効果】
【0014】
このようにして本発明によれば、テスト信号を時間軸方向に引き延ばした分だけより長い遅延時間の計測が可能であることから、テスト信号のサンプル数に依らずより長い遅延時間の計測ができる。
これにより、スピーカから出力したテスト信号をマイクロフォンにより収音した結果に基づき上記スピーカから上記マイクロフォンまでの音声到達遅延時間を計測する場合において、装置のハードウェアリソースによって計測可能な遅延時間が制限されないようにすることができる。
【0015】
また、本発明の音声信号処理装置によれば、このような本発明の手法によって計測される遅延時間に基づいて、上記スピーカから出力されるべき音声信号についての遅延時間を調整することができる。
【発明を実施するための最良の形態】
【0016】
以下、発明を実施するための最良の形態(以下実施の形態とする)について説明していく。
図1は、本発明における実施の形態の音声信号処理としての再生装置2の内部構成と、この再生装置2を含むオーディオシステム1の構成を示す図である。
図1において、実施の形態の再生装置2は、図示するメディア再生部15を備え、例えばCD(Compact Disc)やDVD(Digital Versatile Disc)、或いはブルーレイディスク(Blu-Ray Disc)などの光ディスク記録媒体や、MD(Mini Disc:光磁気ディスク)、ハードディスクなどの磁気ディスク、半導体メモリを内蔵した記録媒体など、所要の記録媒体についての再生が可能とされる。
実施の形態のオーディオシステム1としては、この再生装置2のメディア再生部15によって再生されるオーディオ信号(音声信号)を音声出力するための、図示する複数のスピーカSP(SP1、SP2、SP3、SP4)を備える。また、後述する遅延時間計測を行うために必要な、図示するマイクロフォン(MIC)M1も備える。
【0017】
このような実施の形態のオーディオシステム1としては、例えばカーオーディオシステムや、5.1chなどのサラウンドシステムとして適用することができる。
なお、ここではスピーカSPの数は4つとしているが、これはあくまでオーディオシステム1が備えるスピーカSPの数が複数であることを象徴しているものに過ぎず、備えられるスピーカSPの数について限定するものではない。
【0018】
再生装置2には、上記マイクロフォンM1により収音された音声信号を入力するための音声入力端子Tinが備えられ、この音声出力端子Tinを介してマイクロフォンM1と接続される。
また、再生装置2には、上記複数のスピーカSP1〜SP4の数に応じた複数の音声出力端子Tout1〜Tout4が備えられ、これら出力端子Tout1〜Tout4を介してスピーカSP1〜SP4と接続される。
【0019】
上記音声出力端子Tinを介して上記マイクロフォンM1から入力された収音信号は、A/Dコンバータ13を介して制御部10に入力される。
また、制御部10からは、この場合のスピーカSPの数に応じた複数系統の音声信号が、D/Aコンバータ14を介してそれぞれ上記した音声出力端子Tout1〜Tout4のうちの対応する端子に供給されるようになっている。
【0020】
制御部10は、例えばDSP(Digital Signal Processor)又はCPU(Central Processing Unit)で構成され、後述する各種機能動作を実現するように構成される。
この制御部10に対しては、図示するようにROM11とRAM12が備えられる。ROM11は、制御部10が各種制御処理を実行するためのプログラムや係数、パラメータ等が格納される。また、特に実施の形態の場合、このROM11内には後述する遅延時間計測で用いられる、データとしてのテスト信号11aも格納される。実施の形態の場合、テスト信号としてはTSP(Time Streched Pulse)信号を用いる。
また、RAM12は、制御部10の作業データなどが一時格納され、ワーク領域として利用される。
【0021】
メディア再生部15は、上述もしたように記録媒体についての再生を行う。
例えば、記録媒体として光ディスク記録媒体やMDなどに対応する場合には、光学ヘッド、スピンドルモータ、再生信号処理部、サーボ回路等を備え、装填されたディスク状記録媒体に対してレーザ光の照射により信号の再生を行うように構成される。
そして、このような再生動作により得られたオーディオ信号を制御部10に対して供給するようにされる。
【0022】
図2は、制御部10により実現される各種機能動作について説明するための図である。なお、この図2では制御部10の各種機能動作をブロック化して示している。また、この図では図1に示したメディア再生部15、ROM11、RAM12も示している。
図2において、制御部10としては、図示するようにテスト信号出力部10a、テスト信号サンプリング部10b、加算平均部10c、インパルス信号復元部10d、遅延時間計測部10e、音声信号処理部10fとしての機能を備える。
実施の形態では、制御部10がこれらの各種機能動作をソフトウエア処理に実現する場合を例示するが、これらの機能ブロックをハードウエアで構成して実現することもできる。
【0023】
テスト信号出力部10aは、後述する遅延時間計測においてスピーカSPから出力すべきテスト信号(この場合はTSP信号)を、ROM11内に格納されたデータとしてのテスト信号11aに基づいて出力する。すなわち、動作クロックに基づいてテスト信号11aの各値を順次出力する。このように出力されるテスト信号(TSP信号)の各値は、図1に示したD/Aコンバータ14→音声出力端子Toutを介してスピーカSPに供給され、これによってスピーカSPからはテスト信号11aに基づく音声信号が実音声として出力される。
この場合もテスト信号の出力は、後述もするように複数周期分が出力されるようにして所定時間にわたって行うようにされる。
【0024】
ところで、遅延時間計測は、各スピーカSPについて行われるものである。これに応じ当該テスト信号出力部10aは、テスト信号の出力を、1つのスピーカチャンネルごとに切り替えて出力することが可能とされる。つまり、スピーカSP1のチャンネルが選択されることに応じては、テスト信号11aの各値を音声出力端子Tout1に接続されるラインに対して出力し、スピーカSP2のチャンネルが選択されることに応じては音声出力端子Tout2に接続されるラインに対し出力するようにされる。同様に、スピーカSP3のチャンネルが選択されることに応じては、テスト信号の各値を音声出力端子Tout3に接続されるラインに対して出力し、スピーカSP4のチャンネルが選択されることに応じては音声出力端子Tout4に接続されるラインに対し出力するようにされる。
【0025】
テスト信号サンプリング部10bは、スピーカSPから出力されたTSP信号についての収音信号として、図1に示したA/Dコンバータ13から供給されるマイクロフォンM1による収音信号を入力し、これを動作クロックに基づいてサンプリングする。サンプリングしたTSP信号としてのデータ(TSPデータとも呼ぶ)はRAM12に保持するようにされる。
収音信号のサンプリングとしても、テスト信号の複数周期が取得されるように所定時間にわたって行われる。
【0026】
加算平均部10cは、上記のようなサンプリングによりRAM12に保持された複数周期分のTSPデータについて加算平均処理を行う。加算平均処理後のTSPデータについてもRAM12に保持される。
【0027】
インパルス信号復元部10dは、RAM12に保持された加算平均後のTSPデータに基づいて、インパルス信号を復元する。このインパルス信号復元部10dとしては、先ず上記TSPデータに対しFFT(Fast Fourier Transform:高速フーリエ変換)を行う。さらに、このようにFFTが行われたTSPデータについて、信号作成時にずらした分位相を戻し(位相変換)、その上でIFFT(Inverse Fast Fourier Transform:高速フーリエ逆変換)を行ってインパルス信号を復元する。
【0028】
遅延時間計測部10eは、復元されたインパルス信号と、格納されるテスト信号11aとしてのTSP信号の作成の基となったインパルス信号とについて、それぞれの立ち上がり位置のずれ(遅延サンプル数)を計測することによって遅延時間を計測する。
後述もするように 実施の形態においても、インパルス信号の立ち上がり位置が0クロック目となるようにTSP信号を出力し、且つ収音信号のサンプリング開始タイミングを、出力されるTSP信号の1周期の開始位置と同期したタイミングとなるようにしているので、上記のような復元したインパルス信号に基づく上記遅延時間DTの計測としては、実際にはその立ち上がり位置がTSP信号の1周期の開始位置から何クロック目であるかを計測することで行われるものとなる。
なお、実施の形態の遅延時間計測では、このような復元したインパルス信号の遅延サンプル数の計測(計時)によって得た遅延時間の情報(第1の遅延時間DT1)を基に、後述する処理(図6、図10)を行うことで最終的な遅延時間の情報を得るようにされる(後述する遅延時間DT2、遅延時間DT4)。
【0029】
音声信号処理部10fは、図示するようにしてch(チャンネル)分配処理、音場・音響処理、chごとのディレイ処理などを行う。
ch分配処理は、メディア再生部15からの入力に基づく複数のオーディオ信号について、それぞれを対応するスピーカSP(つまり対応する音声出力端子Tout)に接続されるラインに分配して出力する。例えば、当該オーディオシステム1がカーオーディオシステムであった場合、メディア再生部15から再生されるLch、Rchの2系統のオーディオ信号を、それぞれLch、Rchに対応するスピーカSP(Lch、Rchに対応する音声出力端子Tout)に接続されるラインに対して分配出力する。
或いは、当該オーディオシステム1が5.1chサラウンドシステムであって、メディア再生部15からLch、Rchの2系統のオーディオ信号が再生される場合は、これら2系統のオーディオ信号から5.1chに対応した6系統のオーディオ信号を生成する。そして、これらをそれぞれ対応する音声出力端子Toutに接続されるラインに分配して出力する。
また、上記音場・音響処理は、例えばイコライジング処理により各種音響効果を与えるための処理やデジタルリバーブなどの音場効果を与えるための処理などを指す。
また、上記chごとのディレイ処理は、先の遅延時間計測部10eによって計測される各スピーカSPごと(各chごと)の遅延時間DT(後述する遅延時間DT2、遅延時間DT4)に基づき、それぞれのスピーカSPから出力されるべきオーディオ信号についてのディレイ時間を設定して、この設定したディレイ時間に応じて各オーディオ信号にディレイ処理を施す処理である。すなわち、計測された遅延時間DTに応じてオーディオ信号のディレイ時間を調整するものである。
このようなchごとのディレイ時間の調整は、各スピーカSPから出力される音声がマイクロフォンM1に同時に到達するようにして行われる。これによってマイクロフォンM1の配置位置を聴取位置とした場合に、この聴取位置に各スピーカSPからの音声を同時に到達させることができる。
なお、このように各スピーカSPごとに計測された遅延時間に応じて各スピーカSPから出力される音声信号を遅延させて出力する具体的手法については、既に各種の技術が提案されているのでここで特に限定はしない。
【0030】
ここで、上記説明によれば、本実施の形態としても遅延時間の計測にあたっては、出力したテスト信号と収音したテスト信号との位相差に基づく計測を行っていることがわかる。
但し、先にも説明したように、この手法は最大でもテスト信号の1周期分の時間長までしか遅延時間を計測できないという制限がある。
このため現状では、先にも述べたようにテスト信号のサンプル数を増やすことでより長い遅延時間の測定が可能となるようにすることが行われている。
【0031】
しかしながら、このようにテスト信号のサンプル数を増やした場合は、当然のことながらテスト信号としてのデータ量が増えるわけで、その分テスト信号データ(テスト信号11a)を格納するメモリ容量(この場合はROM11)の増大化につながる。すなわち、メモリ資源の乏しい機器には不適な手法となる。
さらに、本例のようにテスト信号としてTSP信号を用いる場合は特に、サンプル数が増えることでその分インパルス信号復元のためのFFT・IFFTでのサンプル数も増え、処理負担の増大化につながる。すなわち、この点でもハードウェアリソースの乏しい機器には不適な手法となってしまう。
【0032】
そこで実施の形態では、テスト信号を時間軸方向に引き延ばしてスピーカSPから出力する。つまり、このようにして時間軸方向に引き延ばすことで、テスト信号の1周期の時間長を長くすることができ、これによってテスト信号を引き延ばした分だけより長い遅延時間を計測することができるようになるものである。
このような手法として、以下、第1の実施の形態と第2の実施の形態とを提案する。
【0033】
<第1の実施の形態>
図3は、第1の実施の形態としての遅延時間計測動作について説明するための図である。
この図では、図中の時間軸Tを基準として、TSP信号と、このTSP信号の作成時に基としたインパルス信号と、TSP信号に基づきスピーカSPから出力される本実施の形態の場合の出力信号と、この出力信号に基づきマイクロフォンM1にて収音される収音信号の各波形を示している。
なお、図中の各波形を囲うそれぞれの枠は、テスト信号としてのTSP信号の1周期ごとの区切りを表している。
また、以下の説明では、便宜上、1つのスピーカSPの遅延時間計測動作のみについて説明を行うが、各スピーカSPごとの遅延時間を計測するにあたっては、スピーカSPごとに同様の計測動作を繰り返し行うものとすればよい。
【0034】
図3において、先ず図中のTSP信号波形は、図1(及び図2)に示したROM11内に格納されるテスト信号11aとしての、データによるTSP信号の各値を1クロックずつ出力したときの波形を示している。つまり、通常出力したときのTSP信号波形を示しているものである。
【0035】
これに対し、本実施の形態では、図中の出力信号として示されているように、TSP信号を時間軸方向に所定倍引き延ばして出力するものとしている。例えばこの場合は、時間軸方向に4倍引き延ばして出力するものとする。
【0036】
ここで確認のために、上記通常出力によるTSP信号としては、次の図4(a)に示されるようなものとなる。すなわち、テスト信号11aとして格納されるTSP信号のサンプル数がnとすると、0〜nサンプル目までの各値を1クロックずつ出力したものである。
この場合、図示するようにTSP信号のサンプル数nは「512」であるとする。これに応じこの場合のTSP信号の1周期長は512クロックとなる。
例えば、この場合の動作クロックが44.1kHzであるとすれば、TSP信号の1周期長は512÷44100secとなる。
【0037】
そして、このようなTSP信号の時間軸方向への引き延ばしとして、本実施の形態では、次の図4(b)に示されるように、テスト信号11aとして格納されるTSP信号(データ)をアップサンプリングして出力するようにされる。つまり、図のようにしてTSP信号の各値を、それぞれ所定複数クロックにわたって出力するようにしたものである。
この場合、時間軸方向への引き延ばし倍率は4倍とされるので、TSP信号の各値を4クロックにわたってそれぞれ出力する。これによって出力されるTSP信号の1周期長は、図示するようにして512×4クロックとなり、44.1kHzの動作クロックの下では1048×44100secとなる。
【0038】
図3に戻り、上記のようなTSP信号の時間軸方向への引き延ばし出力は、引き延ばし信号が所定複数周期分出力されるようにして予め設定された所定の時間長にわたって行う。この図では、引き延ばし信号を3周期分出力するものとする。
【0039】
そして、このような引き延ばし信号の出力と並行して、収音信号のサンプリングを行う。すなわち、スピーカSPから出力されてマイクロフォンM1により収音される引き延ばし信号についてサンプリングを行う。
この場合、収音信号のサンプリングは、出力される引き延ばし信号の1周期の開始タイミングに同期したタイミングで開始する。この図では、図示の都合上、収音信号の開始タイミングと出力信号(引き延ばし信号)の2周期目の開始タイミングとが同期しているように示しているが、実際にマイクロフォンM1でスピーカSPからの引き延ばし信号が収音され始めるのは、当然のことながらスピーカSP−マイクロフォンM1間の距離に応じた時間(音声到達遅延時間)経過後となる。
【0040】
ここで、本実施の形態の場合、このような収音信号についてのサンプリングとしては、上述のようにしてTSP信号を引き延ばしたことに応じて、引き延ばした倍率に応じた分ダウンサンプリングを行うものとしている。具体的には、この場合はTSP信号を4倍引き延ばして出力したので、1/4にダウンサンプリングする。つまり、収音信号としての引き延ばし信号を4クロックに1回だけサンプリングする。これにより、この場合に取得される信号の1周期長は、引き延ばし出力前の元の1周期長(この場合は512クロック)と同じになる。
このような収音信号のダウンサンプリングについても、収音信号としての引き延ばし信号の複数周期分について行われるようにして予め定められた所定時間にわたって行うようにされる。この図の例では、図示するように収音信号としての引き延ばし信号の2周期分についてダウンサンプリングを行うようにされ、これに伴い2周期分のTSP信号が取得される例が示されている。
【0041】
このようにして、収音信号としての複数周期分の引き延ばし信号についてダウンサンプリングを行って複数周期分のTSP信号を取得すると、これら複数周期分のTSP信号を加算平均して、1周期分のTSP信号を得る。
その上で、このように加算平均して得られたTSP信号からインパルス信号を復元する。すなわち、先の図2においてインパルス信号復元部10dとして説明したように、加算平均結果としてのTSPデータに対しFFTを行った上で、TSP信号作成時に基としたインパルス信号からずらした位相分を戻し(位相変換)、且つIFFTを行ってインパルス信号を復元する。
【0042】
インパルス信号を復元すると、この復元したインパルス信号の立ち上がり位置と、スピーカSPから出力されるTSP信号が基としたインパルス信号の立ち上がり位置とのずれを計測することで、図示するような遅延時間DT1(第1の遅延時間)を計測する。
【0043】
ここで、実施の形態では、上記のようにして引き延ばした倍率に応じて収音信号をダウンサンプリングし、これによって出力前の元のTSP信号と同じ1周期長のTSP信号を取得するので、このように復元したインパルス信号と出力前の元のTSP信号のインパルス信号とを従来通り比較して上記遅延時間DT1を計測することができる。
このようにして計測される遅延時間DT1は、引き延ばしたTSP信号の1周期長(つまりこの場合は512×4クロック)を基準としたときの遅延量を反映した数値となっているが、この遅延時間DT1としては上記のようにしてダウンサンプリングして取得したTSP信号に基づき計測したものであるので、適正な尺度で遅延時間を表しているものではない。すなわち、具体的にこの場合の遅延時間DT1としては、設定されたダウンサンプリングの倍率に応じた1/4の尺度で遅延時間を表すものとなっている。
【0044】
そこで実施の形態では、計測された遅延時間DT1を、TSP信号の出力時に引き延ばしを行った倍率に応じて倍数化する(図中アップサンプリング)。具体的に、この場合は遅延時間DT1を4倍する。
これにより、引き延ばされたTSP信号の1周期長に応じた尺度での遅延時間DT2(引き延ばし計測遅延時間)を求めることができる。第1の実施の形態では、この遅延時間DT2を、スピーカSPから出力された音声がマイクロフォンM1に到達するまでの遅延時間(音声到達遅延時間)としての、最終的な遅延時間の情報として取得する。
【0045】
このような第1の実施の形態としての計測手法と、従来の計測手法とを比較してみると、先にも説明したように従来手法では、TSP信号のサンプル数に応じた長さしか遅延時間を計測できないものとされていた。すなわち、図3の例では、TSP信号のサンプル数に基づく512クロック分の時間長内でしか遅延時間を計測することができないものである。
これに対し上記第1の実施の形態の手法によれば、TSP信号のサンプル数の4倍の時間長まで計測することができる。また、TSP信号を引き延ばす倍率としては4倍に限るものではなく、例えば5倍や10倍を設定した場合にも同様の手法によって5倍、10倍の長さの遅延時間を計測することができる。すなわち、このような第1の実施の形態によれば、出力するTSP信号を引き延ばす倍率に応じて、より長い遅延時間を計測することができるものである。
【0046】
このようにして、TSP信号を時間軸方向に引き延ばした分だけより長い遅延時間の計測が可能であることから、TSP信号のサンプル数に依らずより長い遅延時間の計測を行うことができる。
これによって、スピーカから出力したTSP信号をマイクロフォンにより収音した結果に基づき、上記スピーカから上記マイクロフォンまでの音声到達遅延時間を計測する場合において、装置のハードウェアリソースによって計測可能な遅延時間が制限されないようにすることができる。
【0047】
続いて、図5、図6のフローチャートを参照して、上記により説明した第1の実施の形態としての計測動作を実現するために行われるべき処理動作について説明する。
なお、これらの図に示される処理動作は、図1(及び図2)に示した制御部10が例えばROM11に格納されるプログラムに従って実行するものである。
【0048】
先ず図5は、第1の実施の形態としての遅延時間計測動作として、テスト信号(引き延ばし信号)の出力時に対応して行われるべき処理動作について示している。この図に示す処理動作は、先の図2に示した機能ブロックで言えば、テスト信号出力部10aとしての動作に相当するものである。
図5において、先ずステップS101では、出力値識別カウント値iを0リセットする。この出力値識別カウント値iは、後のステップS103においてROM11に格納されるデータとしてのテスト信号11aの何サンプル目を出力すべきかを識別するための値である。
【0049】
また、ステップS102では、出力回数識別カウント値jを0リセットする。この出力回数識別カウント値jは、次のステップS103により出力されるテスト信号の値の1値を何回出力したかを識別するための値である。
【0050】
ステップS103では、テスト信号のiサンプル目を出力する。つまり、ROM11内に格納されるテスト信号11aとしてのTSP信号(データ)の各値のうち、上記した出力値識別カウント値iにより特定される値を図1に示したD/Aコンバータ14に出力するようにされる。
【0051】
続くステップS104では、出力回数カウント値jが倍率値Kとなったか否かについて判別処理を行う。この倍率値Kは、TSP信号を引き延ばす倍率値であり、例えば先の図3の例では「4」が設定される。
出力回数カウント値jが上記倍率値Kになっていないとして否定結果が得られた場合は、ステップS105に進み出力回数カウント値jをカウントアップ(j+1)した後、ステップS103に戻り再度テスト信号のiサンプル目を出力するようにされる。つまり、このようなステップS104→S105→S103→S104の処理が繰り返されることで、テスト信号(TSP信号)の各値が、それぞれ倍率値Kに応じた複数クロックにわたって出力されるようになっている。
【0052】
また、上記ステップS104において、出力回数カウント値jが上記倍率値Kになったとして肯定結果が得られた場合は、ステップS106に進んで出力回数カウント値jを0リセットした後、ステップS107において、出力値識別カウント値iがサンプル値nとなったか否かについて判別処理を行う。
このサンプル値nは、テスト信号11aのサンプル数の値である。つまり、このステップS107によって、TSP信号を1周期分出力したか否か、言い換えればTSP信号の全ての値を出力したか否かが判別される。
【0053】
ステップS107において、出力値識別カウント値iがサンプル値nにはなっていないとして否定結果が得られた場合は、ステップS108に進んで出力値識別カウント値iをカウントアップ(i+1)した後、先のステップS103に戻り再度テスト信号のiサンプル目を出力するようにされる。
【0054】
またステップS107において、出力値識別カウント値iがサンプル値nになったとして肯定結果が得られた場合は、ステップS109において、引き延ばし信号出力を終了すべき状態となったか否かについて判別処理を行う。
先の図3にて述べたように、実施の形態において引き延ばし信号の出力は、複数周期分(この場合は例えば3周期分)行うようにされる。このステップS109では、予め設定された所定の周期数だけ引き延ばし信号の出力を行ったか否かについて判別処理を行う。
【0055】
ステップS109において、出力した引き延ばし信号の周期数が予め設定された周期数になっていないとして否定結果が得られた場合は、図示するようにステップS101に戻るようにされ、これによって再度1周期分の引き延ばし信号の出力が行われる。つまり、次の1周期分の引き延ばし信号出力が行われる。
またステップS109において、出力した引き延ばし信号の周期数が予め設定された周期数になったとして肯定結果が得られた場合は、この図に示される出力処理を終了する。
【0056】
また、図6は、第1の実施の形態の遅延時間計測動作として、特に収音信号のサンプリングから遅延時間(引き延ばし計測遅延時間)の取得までに対応して行われるべき処理動作を示している。
なお、確認のために述べておくと、この図6に示す処理動作は、図5に示した処理動作と並行して行われるものである。また、この図6に示される処理動作は、先の図2に示した機能ブロックで言えば、テスト信号サンプリング部10b、加算平均部10c、インパルス信号復元部10d、遅延時間計測部10eとしての動作に相当するものである。
【0057】
図6において、先ずステップS201では、引き延ばし信号が所定周期分出力されるのを待機する。そして、引き延ばし信号が所定周期分出力された場合は、ステップS202において、引き延ばし信号をサンプリングする。すなわち、マイクロフォンM1により収音され、A/Dコンバータ13を介して入力される収音信号をサンプリングする。
ここで、先の図3において説明したように、本実施の形態において収音信号のサンプリング開始タイミングは、出力される引き延ばし信号の1周期の開始タイミングと同期させるものとしている。具体的には、出力される引き延ばし信号の2周期目の開始タイミング(512×4+1クロック目)に同期させるものとしている。
つまり、上記のようにしてステップS201において引き延ばし信号を所定周期分(つまりこの場合は1周期分)出力されるのを待機し、その後にステップS202にてサンプリングを開始することで、このように収音信号(引き延ばし信号)のサンプリング開始タイミングと、出力した引き延ばし信号の1周期の開始タイミングとが同期するようにされているものである。
【0058】
なお、このようにして実施の形態では収音信号のサンプリング開始タイミングを出力される引き延ばし信号の1周期の開始タイミングと同期させるものとしているが、これによって復元されたインパルス信号に基づく遅延時間(DT1)の計測は、当該インパルス信号の先頭位置から立ち上がり位置までの遅延クロック数を計測するのみで容易に行うことができる。
但し、このような容易性を考慮しない場合などには、必ずしも収音信号のサンプリング開始タイミングを出力される引き延ばし信号の1周期の開始タイミングと同期させる必要はない。つまり、このようにそれぞれの開始タイミングを同期させずとも、予めそれぞれの開始タイミングのずれ量がわかっていれば、復元したインパルス信号の先頭位置から同様に計測した遅延時間に対し、このずれ量を加算(または減算)することで、同じ計測結果を得ることができるからである。
【0059】
続いて、ステップS203においては、引き延ばし信号の所定周期分をサンプリングしたか否かについて判別処理を行う。すなわち、A/Dコンバータ13から供給される収音信号としての引き延ばし信号を、予め定められた所定周期分サンプリングしたか否かを判別する。
先の図3の説明によれば、この場合は引き延ばし信号の2周期分についてサンプリングを行うものとされるので、引き延ばし信号の2周期分をサンプリングしたか否かを判別するようにされる。具体的には、サンプリング開始から512×4×2クロック目のサンプリングを行ったか否かを判別することになる。
【0060】
上記ステップS203において、未だ引き延ばし信号の所定周期分をサンプリングしていないとして否定結果が得られた場合は、ステップS204に進んでK−1クロックだけ待機するようにされる。そして、先のステップS202に戻り、再度引き延ばし信号(収音信号)をサンプリングするようにされる。
上記ステップS204の待機処理が設けられることにより、図3にて説明したようなダウンサンプリングが実現される。
【0061】
そして、上記ステップS203において、引き延ばし信号の所定周期分をサンプリングしたとして肯定結果が得られた場合は、ステップS205において、サンプリングした引き延ばし信号を加算平均する。つまり、ダウンサンプリングにより得られた複数周期分の引き延ばし信号(TSP信号)を加算平均する。
さらに、続くステップS206においては加算平均結果からインパルス信号を復元し、次のステップS207では復元したインパルス信号から遅延時間DT1を計測する。つまり、復元したインパルス信号の先頭クロック(0クロック目)からその立ち上がりタイミングまでの遅延サンプル数を計測する。
その上で、ステップS208においては、上記遅延時間DT1×倍数値Kによる演算を行って、引き延ばし計測遅延時間としての遅延時間DT2を取得する。
【0062】
なお、これら図5、図6では、1つのスピーカSPについての遅延時間計測動作のみについて説明したが、各スピーカについての遅延時間DT2を計測するのにあたっては、複数のスピーカSP(この場合はSP1〜SP4)のうちから順次1つのスピーカSPを選択して、この選択したスピーカSPについて図5、図6に示した処理を順次行うようにする。これによって各スピーカSPについての遅延時間DT2を得ることができる。
【0063】
このようにして取得された各スピーカSPについての遅延時間DT2は、先の図2において音声信号処理部10fによるchごとのディレイ処理として説明したような、制御部10が行う各スピーカchごとのディレイ時間の調整に用いられる。つまり、制御部10は、各スピーカSPごとに計測した遅延時間DT2に基づき、メディア再生部15にて再生され、それぞれのスピーカSPから出力されるべきオーディオ信号についてのディレイ時間を設定して、この設定したディレイ時間に応じて各オーディオ信号にディレイ処理を施すものである。
このとき、各chごとのディレイ時間としては、先にも述べたように各スピーカSPからマイクロフォンM1までの音声到達時間が同じとなるように設定される。これによってマイクロフォンM1の配置位置を聴取位置とした場合に、各スピーカSPから出力される音声を聴取位置に同時に到達させることができる。
【0064】
また、これまでの説明では、テスト信号としてのTSP信号を引き延ばす倍率は固定としたが、引き延ばし倍率は可変的に設定できるように構成することもできる。
その一例としては、例えば引き延ばし倍率設定用のユーザインタフェースを設けて、ユーザ操作に応じて設定することが考えられる。
【0065】
或いは、次の図7に示されるようにして、先ず始めに倍率をMAXなどの所定の高倍率に設定して計測を行って、大まかな遅延時間を得た上で、その結果に応じてより近い倍率を設定し直して再度の遅延時間計測を行うことも考えられる。
図7は、同じスピーカSPとマイクロフォンM1間での遅延時間について、例えば倍率50倍で計測した遅延時間DT2と倍率10を設定して計測した遅延時間DT2とを、先の図3に示したような復元インパルス信号を引き延ばしたかたちで表している。
ここで、第1の実施の形態の手法によると、倍率を上げれば上げるほどより長い遅延時間(つまりより長いスピーカ−マイク間の距離)を計測することが可能となるが、倍率を上げた分だけ計測精度も粗くなる。これは、実施の形態としての遅延時間DT2を求めるにあたっては、ダウンサンプリング結果に基づき計測した測定時間DT1を引き延ばし倍率に応じた分だけ倍数化して戻しているからである。
このことを踏まえた上で、上記のようにして始めは高倍率で大まかな遅延時間を得た上で、その結果に応じてより近い倍率で遅延時間を再計測するものとすれば、そのときの遅延時間に応じてより精度の良い計測を行うことができることになる。
なお、さらなる高精度化を図るために、再度の計測において得られた遅延時間からさらに近い倍率を設定して再計測を行う、という動作を繰り返し行って、最終的に最も近い倍率を設定して遅延時間の計測を行うようにすることもできる。
【0066】
<第2の実施の形態>
上記のようにして、第1の実施の形態の手法を採る場合において計測精度を向上させる手法としては、高倍率での計測結果からより近い倍率を設定して再計測を行う手法も有効であるが、何れにしても最終的に計測される遅延時間DT2としては、TSP信号を引き延ばした上で得られたものとなるので、従来のような1クロック単位での高精度な計測までは行うことができないことになる。
そこで、第1の実施の形態のように設定倍率に応じたより長い遅延時間の計測を可能とした上で、従来のような1クロック単位での高精度な計測が可能となるようにしたのが、次に説明する第2の実施の形態である。
【0067】
先ず、第2の実施の形態の手法について理解するために、従来の手法の問題点について再考してみると、従来の手法は、先の図12と図13とを比較して説明したように、テスト信号の1周期分を超える遅延時間については、何周期目かかが特定できないためにこれを計測することができないものとされていた。つまり、これを換言すれば、従来の手法においてこの何周期目かを特定できさえすれば、テスト信号の1周期分を超える遅延時間を高精度に計測することができるものとなる。
【0068】
ここで、先の第1の実施の形態の手法によれば、精度が粗くはなるもののテスト信号の1周期分を超える長い遅延時間について計測することができる。つまり、この点に着目すれば、第1の実施の形態の手法により計測する遅延時間(引き延ばし計測遅延時間)の情報は、遅延時間が従来手法でのテスト信号周期で何周期目にあたるかの情報として利用することができる。
【0069】
このことを踏まえ、第2の実施の形態としては、次の図8に示されるようにして、第1の実施の形態の手法と従来の手法とを組み合わせて最終的な遅延時間の情報を得ることで、設定倍率に応じたより長い遅延時間の計測と、1クロック単位での高精度な計測との両立が計られるようにする。
つまり、先ず第2の実施の形態の計測動作としては、図8(a)に示されるようにして、先に説明した第1の実施の形態の手法によって遅延時間DT2を得る。この遅延時間DT2によって、TSP信号の各値を1クロックずつ出力した場合(つまり従来の手法の場合)において、遅延時間がTSP信号の何周期目(図中n1、n2、n3、n4、n5・・・のうち何れか)にあたるかのおおまかな情報を得ることができるものである。
この図では、計測した遅延時間DT2から、遅延時間がTSP信号の3周期目(n3)にあたることが特定された場合が示されている。
【0070】
そして、このような第1の実施の形態としての遅延時間DT2の計測と共に、図8(b)に示されるようにして従来の計測手法により遅延時間を計測する。このように従来手法により計測された遅延時間については、遅延時間DT3(通常計測遅延時間)と呼ぶ。
なお、この図8(b)では、図13に示した従来手法の計測動作のうち、加算平均結果からインパルス信号の復元を行って、この復元したインパルス信号から遅延時間を計測する動作のみを抽出して示している。
【0071】
その上で、このようにして従来手法により計測した遅延時間DT3と、図8(a)にて取得した何周期目かの情報とに基づき、スピーカSPからマイクロフォンM1までの音声到達遅延時間を示す最終的な遅延時間(遅延時間DT4)を求める。
つまり、この場合において遅延時間DT2に基づき特定されたのは上記のようにTSP信号の3周期目であるので、例えばその直前の2周期目までのクロック数に対し、遅延時間DT2としてのクロック数を加算することで、上記音声到達遅延時間としての遅延時間DT4を得ることができる。
このようにして第1の実施の形態の手法により計測した遅延時間DT2(引き延ばし計測遅延時間)と、従来手法により計測した遅延時間DT3(通常計測遅延時間)とに基づき、最終的な音声到達遅延時間としての遅延時間DT4を取得することができる。
【0072】
図9、図10は、上記のような第2の実施の形態としての計測動作を実現するために行われるべき処理動作について示したフローチャートである。なお、これらの図に示される処理動作としても、図1(及び図2)に示した制御部10が例えばROM11に格納されるプログラムに従って実行するものである。
【0073】
図9は、第2の実施の形態としての遅延時間計測動作として、テスト信号の出力時に対応して行われるべき処理動作について示している。
なお、第2の実施の形態としては、上記もしているように第1の実施の形態の計測動作と従来手法の計測動作との双方を行うようにされるものである。従って第2の実施の形態のテスト信号の出力時に対応した処理動作としては、先の図5に示した第1の実施の形態としての引き延ばし信号の出力動作(ステップS301〜S309)に続けて、従来のテスト信号(TSP信号)出力のための処理を実行するようにされる。
なお、ステップS301〜S309の処理動作については先の図5におけるステップS101〜S109と同様の処理動作となるので、ここでの改めての説明は省略する。
【0074】
図5において、ステップS309の判別処理により、第1の実施の形態の手法による引き延ばし信号出力を終了すべき状態となったとして肯定結果が得られた場合は、ステップS310に進み、出力値識別カウント値iを0リセットする。先にも述べたように、この出力値識別カウント値iは、テスト信号11a(TSPデータ)の何サンプル目を出力すべきかを識別するための値である。
【0075】
続くステップS311では、テスト信号のiサンプル目を出力する。つまり、ROM11内に格納されるテスト信号11aとしてのTSP信号の各値のうち、上記出力値識別カウント値iにより特定される値を図1に示したD/Aコンバータ14に出力するようにされる。
【0076】
ステップS312では、出力値識別カウント値iがサンプル値nとなったか否かについて判別処理を行う。このサンプル値nとしても、テスト信号11aのサンプル数を示す値である。つまり、このステップS312によって、TSP信号を1周期分出力したか否か、言い換えればTSP信号の全ての値を出力したか否かが判別される。
【0077】
ステップS312において、出力値識別カウント値iがサンプル値nにはなっていないとして否定結果が得られた場合は、ステップS313に進んで出力値識別カウント値iをカウントアップ(i+1)した後、先のステップS311に戻り再度テスト信号のiサンプル目を出力するようにされる。
これまでで説明したステップS311→S312→S313→S311の処理が繰り返されることで、この場合のテスト信号11aとしてのTSP信号は、その各値が1クロックずつ出力される。つまり、TSP信号は引き延ばされずに通常出力される。
【0078】
また、上記ステップS312において、出力値識別カウント値iがサンプル値nになったとして肯定結果が得られた場合は、ステップS314において、通常テスト信号出力を終了すべき状態となったか否かについて判別処理を行う。
第2の実施の形態において、上記のような1クロックずつの通常テスト信号出力としても、引き延ばし信号出力の場合と同様に、予め定められた複数周期分(この場合は先の図12の場合と同様の12周期分)行うようにされる。このステップS314では、このようにして予め設定された所定周期数だけ通常テスト信号出力を行ったか否かについて判別処理を行う。
【0079】
そして、このステップS314において、出力したテスト信号の周期数が予め設定された周期数になっていないとして否定結果が得られた場合は、図示するようにステップS310に戻るようにされ、これによって再度1周期分のテスト信号の出力が行われる。
またステップS314において、出力したテスト信号の周期数が予め設定された周期数になったとして肯定結果が得られた場合はこの図に示される出力処理を終了する。
【0080】
続いて、図10は、第2の実施の形態の遅延時間計測動作として、収音信号のサンプリングから遅延時間の取得までに対応して行われるべき処理動作を示している。この図10に示す処理動作は、図9に示した処理動作と並行して行われるものである。
なお、この場合に行われるべき引き延ばし信号についての収音信号のサンプリング〜遅延時間DT2の計測に対応した処理動作(ステップS401〜S408)については、先の図6に示したステップS201〜S208と同様となるので、ここでの改めての説明は省略する。従ってこの図10では、ステップS408において遅延時間DT2を取得した後において行われるべき処理動作(ステップS409〜S415)について説明する。
【0081】
ステップS409〜S414では、図9に示したステップS310〜S314によって所定複数周期分出力される通常出力によるテスト信号についてのサンプリング〜遅延時間DT3の計測に対応した処理動作となる。すなわち、従来手法による遅延時間計測に対応した処理となる。
先ずステップS409では、テスト信号が所定周期分出力されるのを待機する。そして、テスト信号が所定周期分出力された場合は、ステップS410において、テスト信号(の収音信号)をサンプリングする。
ここで、第2の実施の形態において、従来手法による通常出力テスト信号についてのサンプリング開始タイミングとしても、出力されるテスト信号の1周期の開始タイミングと同期させるものとしている。具体的には、先の図12の場合と同様に、出力されるテスト信号の5周期目の開始タイミング(512×4+1クロック目)に同期させるものとしている。
つまり、上記のようにしてステップS409においてテスト信号を所定周期分(つまりこの場合は4周期分)出力されるのを待機し、その後にステップS410にてサンプリングを開始することで、このように収音信号のサンプリング開始タイミングと、通常出力されるテスト信号の1周期の開始タイミングとが同期するようにされている。
【0082】
なお、このような従来手法による通常出力のテスト信号についてのサンプリング開始タイミングとしても、出力されるテスト信号の1周期の開始タイミングと必ずしも同期させる必要はないものである。その理由については先の引き延ばし信号のサンプリング開始タイミングについて述べたものと同様である。
【0083】
続いて、ステップS411においては、テスト信号の所定周期分をサンプリングしたか否かについて判別処理を行う。すなわち、A/Dコンバータ13から供給される収音信号としてのテスト信号を、予め定められた所定周期分サンプリングしたか否かを判別する。
この場合も通常出力によるテスト信号(TSP信号)のサンプリングとしては、例えば先の図12の場合と同様に8周期分行うものとする。従ってこのステップS411では、テスト信号の8周期分をサンプリングしたか(具体的に、この場合はサンプリング開始から512×8クロック目のサンプリングを行ったか)否かを判別するようにされる。
【0084】
上記ステップS411において、未だテスト信号の所定周期分をサンプリングしていないとして否定結果が得られた場合は、先のステップS410に戻り、再度テスト信号(収音信号)をサンプリングするようにされる。
つまり、これによって通常出力として1クロックずつ各値を出力したテスト信号を、1クロックずつサンプリング(通常サンプリング)するようにされる。
【0085】
そして、上記ステップS411において、テスト信号の所定周期分をサンプリングしたとして肯定結果が得られた場合は、ステップS412において、サンプリングしたテスト信号を加算平均する。
さらに、続くステップS413においては加算平均結果からインパルス信号を復元し、次のステップS414では復元したインパルス信号から遅延時間DT3を計測する。つまり、これによって従来手法としての遅延時間計測に依る遅延時間DT3(通常計測遅延時間)が計測される。
【0086】
その上で、ステップS415においては、先のステップS408と上記ステップS414において得られた遅延時間DT2と遅延時間DT3とに基づき、最終的な音声到達遅延時間としての遅延時間DT4を算出する。つまり、先に説明したように、例えば遅延時間DT2により特定される周期目の直前の周期目までのクロック数に対し、遅延時間DT2としてのクロック数を加算することで、上記音声到達遅延時間としての遅延時間DT4を得ることができる。
【0087】
なお、これら図9、図10としても1つのスピーカSPについての遅延時間計測動作のみについて説明したが、各スピーカについての遅延時間DT4を計測するのにあたっては、複数のスピーカSPのうちから順次1つのスピーカSPを選択して、この選択したスピーカSPについて図9、図10に示した処理を順次行うようにする。これによって各スピーカSPについて遅延時間DT4を計測することができる。
このようにして取得される各スピーカSPについての遅延時間DT4としても、先の図2においてchごとのディレイ処理として説明したような、制御部10が行う各スピーカchごとのディレイ時間の調整に用いられる。つまり、制御部10は、各スピーカSPごとに計測した遅延時間DT4に基づき、メディア再生部15にて再生され、それぞれのスピーカSPから出力されるべきオーディオ信号についてのディレイ時間を設定して、この設定したディレイ時間に応じて各オーディオ信号にディレイ処理を施すようにされる。これによってマイクロフォンM1の配置位置を聴取位置とした場合に、各スピーカSPから出力される音声を聴取位置に同時に到達させることができる。
そして、第2の実施の形態の場合は、先の第1の実施の形態の場合よりも高精度に各遅延時間DT4を計測できるので、より厳密に各スピーカSPから出力される音声を聴取位置に同時に到達させることができる。
【0088】
なお、第2の実施の形態では、引き延ばし信号の出力・サンプリング・遅延時間DT2の計測後に、従来手法としての1クロックずつのテスト信号出力・サンプリング・遅延時間DT3の計測を行って最終的な遅延時間DT4の計測を行うものとしたが、逆に従来手法での遅延時間DT3の計測後に、第1の実施の形態としての引き延ばし信号出力に基づく遅延時間DT2の計測を行って最終的な遅延時間DT4の計測を行うようにすることもできる。
【0089】
以上、本発明の実施の形態について説明したが、本発明としてはこれまでに説明した実施の形態に限定されるべきものではない。
例えば実施の形態では、引き延ばし信号の出力として所定複数クロックにわたって同じ信号値を出力するものとしたが、所定の複数クロックおきに(つまり実施の形態の場合は4クロックおきに)それぞれの値を出力し、それ以外の区間は直線補間することもできる。或いは、0補間することもできる。
何れの場合も、実施の形態のように収音信号をダウンサンプリングするようにされる場合においては、TSP信号を時間軸方向に引き延ばし、これを引き延ばした倍率に応じてダウンサンプリングしたことに変わりはない。
【0090】
また、先の図4(b)にて示したようにテスト信号をアップサンプリングにより引き延ばして出力する場合、実際には引き延ばし後の信号に高周波ノイズが発生することが懸念される。特に、このようなノイズ問題は、引き延ばす倍率が大きくなるほど顕著となることが予想される。
そこで、再生装置2としては、次の図11に示されるようにしてテスト信号の出力系、又はテスト信号の収音・サンプリング系に対してローパスフィルタ(LPF)20を挿入することもできる。すなわち、このようなローパスフィルタ20としては、例えば図示する音声入力端子TinとA/Dコンバータ13との間、A/Dコンバータ13と制御部10との間、制御部10内部、制御部10とD/Aコンバータ14との間、D/Aコンバータ14と音声出力端子Toutとの間の何れかの位置に対して挿入する。
これによって、引き延ばし信号に生じる高周波ノイズを効果的に抑制して、より正確な遅延時間DT2(引き延ばし計測遅延時間)を得ることができる。
【0091】
また、実施の形態では、テスト信号としてTSP信号を用いる場合を例示したが、これに代えて例えばパルス信号や疑似ランダムノイズ信号、或いは正弦波信号などを用いることもできる。つまりは、スピーカから出力した信号と、これをマイクロフォンで収音しサンプリングした信号との位相差に基づき、スピーカ−マイクロフォン間の音声到達遅延時間を比較できる信号であれば、本発明でのテスト信号として用いることができる。
具体的に、これらのTSP信号以外のテスト信号(例えば正弦波信号)を用いる場合、引き延ばし計測遅延時間としての遅延時間DT2については、引き延ばし出力したテスト信号と、その収音信号を通常サンプリングして取得した信号との位相差に基づき計測することができる。つまり、この場合はTSP信号を用いる場合のようにダウンサンプリングや引き延ばし倍率に応じた倍数化は不要とすることができる。
また、このようにTSP信号以外のテスト信号を用いた場合としても、第2の実施の形態の場合と同様に、引き延ばし計測遅延時間DT2と、従来手法により計測した通常計測遅延時間DT3とに基づき1クロック刻みでの高精度な遅延時間DT4を求めるようにすることができる。
【0092】
また、図1において、メディア再生部15としては、記録媒体からオーディオ信号を再生するものとしたが、AM・FM放送などを受信復調してオーディオ信号を出力するAM・FMチューナとして構成することもできる。
【0093】
また、再生装置2としてはオーディオ信号の再生(受信復調も含む)を行う場合を例示したが、オーディオ信号と共にビデオ信号が記録される記録媒体、又はテレビジョン放送等に対応して、ビデオ信号についての再生も可能となるように構成することもできる。この場合、再生装置2としては、オーディオ信号と同期したビデオ信号出力を行うように構成すればよい。
【0094】
或いは、本発明の音声信号処理装置としては、このようなメディア再生部15を備えて記録媒体についての再生機能、または放送信号の受信機能を有するように構成される以外にも、例えばアンプ装置などとして、外部で再生(受信)された音声信号を入力し、この入力音声信号に対し、計測された遅延時間に基づく遅延時間調整を行うように構成することもできる。
【図面の簡単な説明】
【0095】
【図1】本発明における実施の形態としての音声信号処理装置の内部構成と、この音声信号処理装置とスピーカ及びマイクロフォンを備えて構成されるオーディオシステムの構成を示したブロック図である。
【図2】実施の形態の音声信号処理装置が備える制御部が行う各種機能動作について説明するための図である。
【図3】第1の実施の形態としての遅延時間計測動作について説明するための図である。
【図4】テスト信号の通常出力と引き延ばし出力とを比較して示した図である。
【図5】第1の実施の形態としての遅延時間計測動作として、テスト信号(引き延ばし信号)の出力時に対応して行われるべき処理動作について示したフローチャートである。
【図6】第1の実施の形態の遅延時間計測動作として、特に収音信号のサンプリングから遅延時間(引き延ばし計測遅延時間)の取得までに対応して行われるべき処理動作について示したフローチャートである。
【図7】第1の実施の形態の変形例について説明するための図である。
【図8】第2の実施の形態としての遅延時間計測動作について説明するための図である。
【図9】第2の実施の形態としての遅延時間計測動作として、テスト信号の出力時に対応して行われるべき処理動作について示したフローチャートである。
【図10】第2の実施の形態の遅延時間計測動作として、特に収音信号のサンプリングから遅延時間の取得までに対応して行われるべき処理動作について示したフローチャートである。
【図11】実施の形態の音声信号処理装置の変形例としての構成について示したブロック図である。
【図12】従来の遅延時間計測について説明するための図である。
【図13】図12に示す場合よりも遅延時間がテスト信号の1周期分長い場合での出力信号と収音信号との関係について主に示す図である。
【符号の説明】
【0096】
1 オーディオシステム、2 再生装置、10 制御部、10a テスト信号出力部、10b テスト信号サンプリング部、10c 加算平均部、10d インパルス信号復元部、10e 遅延時間計測部、10f 音声信号処理部、11 ROM、11a テスト信号、12 RAM、13 A/Dコンバータ、14 D/Aコンバータ、15 メディア再生部、Tin 音声入力端子、Tout1、Tout2、Tout3、Tout4 音声出力端子、SP1、SP2、SP3、SP4 スピーカ、M1 マイクロフォン(MIC)、20 ローパスフィルタ(LPF)
【特許請求の範囲】
【請求項1】
スピーカから出力したテスト信号をマイクロフォンにより収音した結果に基づき、上記スピーカから上記マイクロフォンまでの音声到達遅延時間を計測する計測装置であって、
上記テスト信号が時間軸方向に引き延ばされて上記スピーカから出力されるように制御する制御手段と、
上記スピーカから出力される上記時間軸方向に引き延ばされたテスト信号と、このテスト信号の上記マイクロフォンによる収音結果に基づき得た信号との位相差に基づいて計測した遅延時間に基づき、引き延ばし計測遅延時間としての上記音声到達遅延時間を得る遅延時間計測手段と、
を備えることを特徴とする計測装置。
【請求項2】
上記制御手段は、
データとして保持される上記テスト信号の各値をそれぞれ所定複数クロックにわたって出力することで、上記テスト信号が時間軸方向に引き延ばされて出力されるように制御する、
ことを特徴とする請求項1に記載の計測装置。
【請求項3】
上記テスト信号はTSP信号であり、
上記遅延時間計測手段は、
上記マイクロフォンにより収音される上記時間軸方向に引き延ばされたTSP信号を引き延ばした倍率に応じてダウンサンプリングして取得した上で、このダウンサンプリングして取得したTSP信号に基づき復元したインパルス信号と、上記スピーカから出力されるTSP信号が基としたインパルス信号との位相差に基づいて第1の遅延時間を計測すると共に、
この第1の遅延時間を、上記TSP信号を引き延ばした倍率に応じて倍数化することで、上記引き延ばし計測遅延時間としての上記音声到達遅延時間を得るようにされる、
ことを特徴とする請求項1に記載の計測装置。
【請求項4】
上記遅延時間計測手段は、さらに、
上記時間軸方向に引き延ばされずに上記スピーカから通常出力されるテスト信号と、上記マイクロフォンにより収音されるこの通常出力によるテスト信号との位相差に基づき通常計測遅延時間を計測すると共に、
この通常計測遅延時間と上記引き延ばし計測遅延時間とに基づき、上記音声到達遅延時間を計測するようにされる、
ことを特徴とする請求項1に記載の計測装置。
【請求項5】
スピーカから出力したテスト信号をマイクロフォンにより収音した結果に基づき、上記スピーカから上記マイクロフォンまでの音声到達遅延時間を計測する計測方法であって、
上記テスト信号が時間軸方向に引き延ばされて上記スピーカから出力されるようにすると共に、上記スピーカから出力される上記時間軸方向に引き延ばされたテスト信号と、このテスト信号の上記マイクロフォンによる収音結果に基づき得た信号との位相差に基づいて計測した遅延時間に基づき、引き延ばし計測遅延時間としての上記音声到達遅延時間を得るようにした、
ことを特徴とする計測方法。
【請求項6】
スピーカから出力したテスト信号をマイクロフォンにより収音した結果に基づき、上記スピーカから上記マイクロフォンまでの音声到達遅延時間を計測する計測機能を備えた音声信号処理装置であって、
上記テスト信号が時間軸方向に引き延ばされて上記スピーカから出力されるように制御する制御手段と、
上記スピーカから出力される上記時間軸方向に引き延ばされたテスト信号と、このテスト信号の上記マイクロフォンによる収音結果に基づき得た信号との位相差に基づいて計測した遅延時間に基づき、引き延ばし計測遅延時間としての上記音声到達遅延時間を得る遅延時間計測手段と、
上記遅延時間計測手段により得られた上記音声到達遅延時間に基づき、上記スピーカから出力されるべき音声信号についての遅延時間を調整する遅延時間調整手段と、
を備えることを特徴とする音声信号処理装置。
【請求項1】
スピーカから出力したテスト信号をマイクロフォンにより収音した結果に基づき、上記スピーカから上記マイクロフォンまでの音声到達遅延時間を計測する計測装置であって、
上記テスト信号が時間軸方向に引き延ばされて上記スピーカから出力されるように制御する制御手段と、
上記スピーカから出力される上記時間軸方向に引き延ばされたテスト信号と、このテスト信号の上記マイクロフォンによる収音結果に基づき得た信号との位相差に基づいて計測した遅延時間に基づき、引き延ばし計測遅延時間としての上記音声到達遅延時間を得る遅延時間計測手段と、
を備えることを特徴とする計測装置。
【請求項2】
上記制御手段は、
データとして保持される上記テスト信号の各値をそれぞれ所定複数クロックにわたって出力することで、上記テスト信号が時間軸方向に引き延ばされて出力されるように制御する、
ことを特徴とする請求項1に記載の計測装置。
【請求項3】
上記テスト信号はTSP信号であり、
上記遅延時間計測手段は、
上記マイクロフォンにより収音される上記時間軸方向に引き延ばされたTSP信号を引き延ばした倍率に応じてダウンサンプリングして取得した上で、このダウンサンプリングして取得したTSP信号に基づき復元したインパルス信号と、上記スピーカから出力されるTSP信号が基としたインパルス信号との位相差に基づいて第1の遅延時間を計測すると共に、
この第1の遅延時間を、上記TSP信号を引き延ばした倍率に応じて倍数化することで、上記引き延ばし計測遅延時間としての上記音声到達遅延時間を得るようにされる、
ことを特徴とする請求項1に記載の計測装置。
【請求項4】
上記遅延時間計測手段は、さらに、
上記時間軸方向に引き延ばされずに上記スピーカから通常出力されるテスト信号と、上記マイクロフォンにより収音されるこの通常出力によるテスト信号との位相差に基づき通常計測遅延時間を計測すると共に、
この通常計測遅延時間と上記引き延ばし計測遅延時間とに基づき、上記音声到達遅延時間を計測するようにされる、
ことを特徴とする請求項1に記載の計測装置。
【請求項5】
スピーカから出力したテスト信号をマイクロフォンにより収音した結果に基づき、上記スピーカから上記マイクロフォンまでの音声到達遅延時間を計測する計測方法であって、
上記テスト信号が時間軸方向に引き延ばされて上記スピーカから出力されるようにすると共に、上記スピーカから出力される上記時間軸方向に引き延ばされたテスト信号と、このテスト信号の上記マイクロフォンによる収音結果に基づき得た信号との位相差に基づいて計測した遅延時間に基づき、引き延ばし計測遅延時間としての上記音声到達遅延時間を得るようにした、
ことを特徴とする計測方法。
【請求項6】
スピーカから出力したテスト信号をマイクロフォンにより収音した結果に基づき、上記スピーカから上記マイクロフォンまでの音声到達遅延時間を計測する計測機能を備えた音声信号処理装置であって、
上記テスト信号が時間軸方向に引き延ばされて上記スピーカから出力されるように制御する制御手段と、
上記スピーカから出力される上記時間軸方向に引き延ばされたテスト信号と、このテスト信号の上記マイクロフォンによる収音結果に基づき得た信号との位相差に基づいて計測した遅延時間に基づき、引き延ばし計測遅延時間としての上記音声到達遅延時間を得る遅延時間計測手段と、
上記遅延時間計測手段により得られた上記音声到達遅延時間に基づき、上記スピーカから出力されるべき音声信号についての遅延時間を調整する遅延時間調整手段と、
を備えることを特徴とする音声信号処理装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2007−116250(P2007−116250A)
【公開日】平成19年5月10日(2007.5.10)
【国際特許分類】
【出願番号】特願2005−302984(P2005−302984)
【出願日】平成17年10月18日(2005.10.18)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
【公開日】平成19年5月10日(2007.5.10)
【国際特許分類】
【出願日】平成17年10月18日(2005.10.18)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
[ Back to top ]