音響再生において聴感上の距離感を制御する装置および方法
【課題】 直接音成分と残響音成分を含む既得のオーディオ信号を加工し、その再生時に聴取者に与える距離感を制御する。
【解決手段】 信号処理部３は、抽出処理３１および合成処理３２を実行する。抽出処理３１では、２チャネルのオーディオ信号ａＬおよびａＲから各チャネルのオーディオ信号の共通ベクトルａｃｏｍを抽出するとともに、各チャネルのオーディオ信号の各ベクトルと共通ベクトルとの差ベクトルａＬ−ｃｏｍおよびａＲ−ｃｏｍを各々抽出する。合成処理３２では、抽出処理３１により得られた共通成分と差成分とを指定された比率ｋで合成して２チャネルのオーディオ信号ｂＬおよびｂＲを生成する。
【解決手段】 信号処理部３は、抽出処理３１および合成処理３２を実行する。抽出処理３１では、２チャネルのオーディオ信号ａＬおよびａＲから各チャネルのオーディオ信号の共通ベクトルａｃｏｍを抽出するとともに、各チャネルのオーディオ信号の各ベクトルと共通ベクトルとの差ベクトルａＬ−ｃｏｍおよびａＲ−ｃｏｍを各々抽出する。合成処理３２では、抽出処理３１により得られた共通成分と差成分とを指定された比率ｋで合成して２チャネルのオーディオ信号ｂＬおよびｂＲを生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、オーディオ信号を音として再生する際に再生音の聴感上の距離感を制御する技術に関する。
【背景技術】
【０００２】
音響再生において聴取者に与える距離感、すなわち、聴取者が再生音から感じる音源までの距離を制御するための技術が各種提案されている。例えば特許文献１は、直接音成分に対して反射音成分の付加されたオーディオ信号を反射音付加回路により生成し、その際の直接音成分と反射音成分とのレベル比および時間間隔を調整することにより聴取者に与える距離感を制御する技術を提案している。また、特許文献２は、直接音用および間接音用の２系統の音響再生系を設け、各音響再生系から再生する直接音と間接音のレベル比を調整することにより聴取者に与える距離感を制御する技術を提案している。
【特許文献１】特開平６−３１５２００号公報
【特許文献２】特開平９−１２１４００号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、上述したように、直接音と反射音または間接音のレベル比の調整により距離感の制御を行うためには、直接音と反射音または間接音の信号が分離された状態で得られなければならない。上述した特許文献１および２の技術は、いずれも音源から得られる直接音の信号に対して所定の信号処理を施すことにより反射音または間接音の信号を生成しているため、このような直接音と反射音または間接音のレベル比の調整を行うことができる。しかし、距離感制御に関しては、残響音場において採取されるような直接音成分と残響音成分とが混ざり合ったオーディオ信号について、それが再生されたときに聴取者に与える距離感を自在に制御したい、という要求もある。このような要求に応える技術は従来提供されていなかった。
【０００４】
この発明は、以上説明した事情に鑑みてなされたものであり、直接音成分と残響音成分を含む既得のオーディオ信号を加工し、その再生時に聴取者に与える距離感を制御することができる技術的手段を提供することを目的としている。
【課題を解決するための手段】
【０００５】
この発明は、複数チャネルのオーディオ信号から各チャネルのオーディオ信号の共通ベクトルを抽出するとともに、各チャネルのオーディオ信号の各ベクトルと前記共通ベクトルとの差ベクトルを各々抽出する抽出手段と、前記抽出手段により得られた共通ベクトル分と差ベクトルとを指定された比率で合成して複数チャネルのオーディオ信号を生成する合成手段とを具備することを特徴とする距離感制御装置を提供する。
かかる距離感制御装置によれば、直接音成分と残響音成分を含む既得のオーディオ信号から、直接音成分に近い共通ベクトルと残響音成分に近い差ベクトルが抽出され、それらが指定された比率で合成され、複数チャネルのオーディオ信号が得られる。その際、共通ベクトルと差ベクトルの比率を適切に調整し、複数チャネルのオーディオ信号の再生により聴取者に与えられる距離感を制御することができる。
【発明を実施するための最良の形態】
【０００６】
以下、図面を参照し、この発明の実施の形態を説明する。
図１はこの発明の一実施形態である距離感制御装置の構成を示すブロック図である。この距離感制御装置において、入力部１は、Ｌチャネルのオーディオ信号ａＬおよびＲチャネルのオーディオ信号ａＲを処理対象として外部から取り込む装置である。この入力部１は、ネットワークを介してオーディオ信号を受け取る装置でもよく、記録媒体に記憶されたオーディオ信号を再生する装置でもよい。第１波形メモリ２は、入力部１により取り込まれたオーディオ信号ａＬおよびａＲを記憶するメモリである。信号処理部３は、この第１波形メモリ２からオーディオ信号ａＬおよびａＲを読み出し、距離感制御のための信号処理を施す装置である。なお、この信号処理の内容については後述する。操作部４は、各種のコマンドや情報をユーザから受け取る装置である。この操作部４を介して入力される情報として、距離感制御のためのパラメータｋがある。信号処理部３が行う信号処理では、このパラメータｋが参照される。第２波形メモリ５は、距離感制御のための信号処理により得られたオーディオ信号ｂＬおよびｂＲを記憶するメモリである。出力部６は、このオーディオ信号ｂＬおよびｂＲを第２波形メモリ５から読み出し、左右のスピーカ（図示略）から音として出力する装置である。
【０００７】
次に本実施形態における距離感制御の原理について説明する。まず、図２に例示するような残響室１００において、音源１０１から音を出力すると、音源１０１から距離ｄだけ離れた受音点にあるマイク１０２Ｌおよび１０２Ｒには、音源１０１からの直接音の他に残響音が届く。この受音点における直接音と残響音のエネルギー比は、音源・受音点間距離ｄに依存する。臨界距離は、この直接音と残響音のエネルギー比が等しくなるような音源・受音点間距離ｄである。
【０００８】
音源・受音点間距離ｄが臨界距離よりも長い場合、受音点では直接音が殆どなく、残響音が支配的である。このため、受音点においてマイク１０２Ｌおよび１０２Ｒに到達する信号は無相関に近くなり、これらのマイクにより収音される音を聴いても距離感を感得することはできない。
【０００９】
これに対し、音源・受音点間距離ｄが臨界距離よりも短い場合には、受音点に充分な強度で同相の直接音が届き、しかも、この直接音の残響音に対するエネルギー比は音源１０１からの距離に応じて小さくなる。このため、受音点のマイク１０２Ｌおよび１０２Ｒにより収音される各音から距離感を感得することができる。従って、仮にこのマイク１０２Ｌおよび１０２Ｒにより得られるオーディオ信号から直接音成分と残響音成分とを分離して取り出し、直接音成分と残響音成分のエネルギー比を調整することができれば、オーディオ信号が聴取者に与える距離感を変化させることができると考えられる。しかし、現在、オーディオ信号から直接音成分と残響音成分を厳密に分離して取り出す方法は提供されていない。
【００１０】
そこで、本実施形態における信号処理部３では、以下説明する抽出処理３１および合成処理３２を実行し、これによりオーディオ信号が聴取者に与える距離感の制御を行っている。まず、図３（ａ）および（ｂ）に例示するような複数サンプルからなるオーディオ信号ａＬおよびａＲが処理対象として与えられている場合において、本実施形態では、各オーディオ信号ａＬおよびａＲを各々ベクトルと考え（以下、ベクトルａＬおよびａＲという。他の信号に対応したベクトルも信号名と同一のベクトル名を用いる。）、各オーディオ信号のサンプルをベクトルの成分と考える。そして、抽出処理３１では、次式に従い、ベクトルａＬおよびａＲの空間的共通成分である共通ベクトルａｃｏｍと、ベクトルａＬおよびａＲと共通ベクトルａｃｏｍとの間の差ベクトルａＬ−ｃｏｍおよびａＲ−ｃｏｍを求める。
Δ＝ａＬ−ａＲ ……（１）
ｚ＝Δ／‖Δ‖ ……（２）
ａｃｏｍ＝ａＬ−＜ａＬ，ｚ＞ｚ＝ａＲ−＜ａＲ，ｚ＞ｚ ……（３）
ａＬ−ｃｏｍ＝ａＬ−ａｃｏｍ＝＜ａＬ，ｚ＞ｚ ……（４）
ａＲ−ｃｏｍ＝ａＲ−ａｃｏｍ＝＜ａＲ，ｚ＞ｚ ……（５）
ただし、上記式（２）において、ｚはベクトルａＬおよびａＲの差ベクトルΔと同一方向の単位ベクトル、式（３）〜（５）における＜ａＬ，ｚ＞等は２つのベクトルの内積を表す。
【００１１】
図３（ｃ）〜（ｅ）は、この抽出処理３１により得られた共通ベクトルａｃｏｍの成分であるサンプル列、差ベクトルａＬ−ｃｏｍの成分であるサンプル列および差ベクトルａＲ−ｃｏｍの成分であるサンプル列を各々例示するものである。また、図４は、元のＬ、Ｒ２チャネルのオーディオ信号に対応したベクトルａＬおよびａＲと、共通ベクトルａｃｏｍと、差ベクトルａＬ−ｃｏｍおよびａＲ−ｃｏｍのベクトル空間内における関係を示している。図４に示すように、共通ベクトルａｃｏｍはベクトルａＬおよびａＲ間の差ベクトルに対して直交するベクトルとなり、差ベクトルａＬ−ｃｏｍおよびａＲ−ｃｏｍはいずれも共通ベクトルａｃｏｍに直交するベクトルとなる。このように抽出処理３１では、元のオーディオ信号ａＬ（ａＲ）を、ベクトル空間内において相互に直交したベクトルである共通ベクトルａｃｏｍと差ベクトルａＬ−ｃｏｍ（ａＲ−ｃｏｍ）に分解する。ここで、共通ベクトルａｃｏｍは、Ｌ、Ｒ両チャネルに共通する音響的特徴を示すものとなるため、受音点において採取される直接音成分に対応していると考えられる。そして、差ベクトルａＬ−ｃｏｍ（ａＲ−ｃｏｍ）は、共通ベクトルａｃｏｍとは異なる音響的特徴を示すものとなるため、受音点において採取される直接音成分以外の音、すなわち、残響室１００の関与のもとで作り出され、直接音成分とは異なった音響的特徴を持った残響音成分に対応していると考えられる。
【００１２】
合成処理３２では、以上説明した抽出処理３１により得られる各ベクトルと操作部４を介して与えられるパラメータｋとを用いて、次式（６）および（７）に従い、ベクトルｂＬおよびｂＲを求める。
ｂＬ＝ａＬ−ｃｏｍ＋ｋ・ａｃｏｍ ……（６）
ｂＲ＝ａＲ−ｃｏｍ＋ｋ・ａｃｏｍ ……（７）
そして、ベクトルｂＬの成分をＬチャネルのオーディオ信号ｂＬのサンプルとし、ベクトルｂＲの成分をＲチャネルのオーディオ信号ｂＲのサンプルとして第２波形メモリ５に書き込む。このＬチャネルおよびＲチャネルの各オーディオ信号のサンプルは所定のレートで第２波形メモリ５から順次読み出され、出力部６により音として出力される。
【００１３】
抽出処理３１および合成処理３２は、処理対象であるオーディオ信号ａＬおよびａＲの時間長に合わせて適切な態様で実行するのが好ましい。処理対象であるオーディオ信号ａＬおよびａＲが、単発的であり、かつ、持続時間の比較的短いものである場合には、各オーディオ信号の全サンプルをベクトルと捉え、上述した抽出処理３１および合成処理３２を実行し、距離感の制御を行えばよい。また、処理対象であるオーディオ信号ａＬおよびａＲが持続時間の長いもの、あるいは複数音連続したようなものである場合には、両オーディオ信号を一定時間長のフレームに区切り、フレーム単位で上述した抽出処理３１および合成処理３２を実行し、距離感の制御を行えばよい。
【００１４】
以上説明した構成において、操作部４から与えるパラメータｋを１とした場合、元のオーディオ信号ａＬ（ａＲ）と同じものがオーディオ信号ｂＬ（ｂＲ）として出力部６により出力される。一方、パラメータｋを１より大きくすると、出力部６により出力されるオーディオ信号ｂＬ（ｂＲ）において、共通ベクトルｋ・ａｃｏｍの差ベクトルａＬ−ｃｏｍ（ａＲ−ｃｏｍ）に対するエネルギー比は、元のオーディオ信号ａＬ（ａＲ）のものよりも大きくなる。従って、聴取者は、元のオーディオ信号ａＬ（ａＲ）と同じものが出力部６により出力された場合（すなわち、ｋ＝１の場合）に比べて音源の位置を近くに感じる。逆にパラメータｋを１より小さくした場合、オーディオ信号ｂＬ（ｂＲ）における共通ベクトルｋ・ａｃｏｍの差ベクトルａＬ−ｃｏｍ（ａＲ−ｃｏｍ）に対するエネルギー比は、元のオーディオ信号ａＬ（ａＲ）のものに比べて小さくなる。従って、聴取者は、ｋ＝１の場合よりも音源位置を遠くに感じる。
【００１５】
本願発明者らは、本実施形態の効果を確認すべく、前掲図２のような直方体形状の残響室１００において、音源・受音点間距離ｄを各種変えながら、音源１０１からインパルス音を出力したときのインパルス応答波形をマイク１０２Ｌおよび１０２Ｒにより採取した。なお、残響室１００のサイズは、５．７ｍ×５．９ｍ×４．７ｍ、残響室１００の残響時間ＴＲは約６．５秒であった。また、マイク１０２Ｌおよび１０２Ｒ間の距離は０．２ｍとし、音源・受音点間距離ｄは、０．１ｍ刻みで０．１ｍから１．５ｍまで変化させた。そして、各種の音源・受音点間距離ｄについて、採取されたＬ、Ｒ２チャネルのインパルス応答波形から上述した抽出処理３１と同じ処理により共通ベクトルと差ベクトルを求め、共通ベクトルと差ベクトルのエネルギー比Ｅｃｏｍ／Ｅｄｅｆを算出した。
【００１６】
図５には、このようにして得られたエネルギー比Ｅｃｏｍ／Ｅｄｅｆと、下記の理論式（８）により算出された直接音と残響音のエネルギー比Ｅｄ／Ｅｒｅｖが示されている。
Ｅｄ／Ｅｒｅｖ＝０．０１Ｖ／（πＴＲｄ２） ……（８）
ただし、上記式（８）において、Ｅｄは受音点における直接音のエネルギー、Ｅｒｅｖは受音点における残響音のエネルギー、Ｖは残響室１００の室容積（この例では５．７ｍ×５．９ｍ×４．７ｍ）、ＴＲは残響室１００の残響時間（この例では６．５秒）、ｄは音源・受音点間距離である。
【００１７】
図５に示すように、直接音と残響音とのエネルギー比Ｅｄ／Ｅｒｅｖが１（＝０ｄＢ）となる臨界距離以内の領域において、共通ベクトルと差ベクトルとのエネルギー比Ｅｃｏｍ／Ｅｄｅｆと直接音と残響音とのエネルギー比Ｅｄ／Ｅｒｅｖはほぼ平行な曲線となる。従って、上述したように共通ベクトルと差ベクトルのエネルギー比を調整することにより、直接音と残響音のエネルギー比を調整した場合と同様に、オーディオ信号が聴取者に与える距離感を制御することができる。
【００１８】
本実施形態に係る距離感制御装置の用途として残響効果装置がある。この残響効果装置の一般的な形態として、各種の残響音場において得られたインパルス応答波形をサンプリングしたフィルタ係数列を記憶し、このフィルタ係数列を入力オーディオ信号のサンプル列に畳み込み、出力オーディオ信号を生成するものがある。このような残響効果装置を利用する場合において、残響効果の付与により得られる音源・受音点間距離がユーザの要求に合わないといったことが起こり得る。すなわち、ユーザの所望の残響空間に対応したフィルタ係数列は、音源・受音点間距離ｄがｄ１である条件の下で採取されたものであるが、ユーザは音源・受音点間距離ｄをｄ２にしたいと望んでいるような場合である。このような場合、ユーザの要求に応えるためには、ユーザの所望の残響音場に赴き、音源・受音点間距離ｄがｄ２の条件でインパルス応答波形を採取し、このインパルス応答波形からフィルタ係数列を得る必要がある。しかし、そのような処理は多大な労力を必要とし、大変である。本実施形態に係る距離感制御装置は、このような問題の解決に役立つものである。
【００１９】
図６は前掲図１の距離感制御装置を用いて構成した残響効果装置の構成を示すブロック図である。この残響効果装置において、第１波形メモリ２には様々な残響音場において採取されたＬ、Ｒ２チャネルのインパルス応答波形のサンプル列が入力部１を介して格納される。ユーザが操作部４の操作により所望の残響音場のインパルス応答波形の選択を指示すると、指示されたＬ、Ｒ２チャネルのインパルス応答波形のサンプル列ａＬおよびａＲが第１波形メモリ２から読み出され、信号処理部３に与えられる。信号処理部３では、サンプル列ａＬおよびａＲを用いて上述した抽出処理３１が行われた後、操作部４から与えられるパラメータｋを用いて合成処理３２が実行される。そして、合成処理３２により得られたインパルス応答波形のサンプル列ｂＬおよびｂＲが第２波形メモリ５に格納される。畳み込み演算部７は、一定のサンプリング周期毎に外部からモノラルの入力オーディオ信号のサンプルを受け取り、受け取った過去一定個数のサンプル列に第２波形メモリ５に記憶されたＬチャネルのサンプル列ｂＬを畳み込んでＬチャネルのオーディオ信号ＣＬを生成し、また、同じ過去一定個数のサンプル列にＲチャネルのサンプル列ｂＲを畳み込んでＲチャネルのオーディオ信号ＣＲを生成する。そして、出力部６は、このようにして生成されるオーディオ信号ＣＬおよびＣＲを音として出力するのである。
【００２０】
ここで、パラメータｋを１より大きくすると、畳み込み演算に用いられるインパルス応答波形のサンプル列ｂＬおよびｂＲにおいて共通ベクトルと差ベクトルのエネルギー比が元のインパルス応答波形のサンプル列ａＬおよびａＲに比べて大きくなる。このため、元のインパルス応答波形のサンプル列ａＬおよびａＲを畳み込み演算に使用して残響効果の付与を行う場合に比べて、聴取者に感じさせる音源・受音点間距離を短くすることができる。これに対し、パラメータｋを１より小さくすると、インパルス応答波形のサンプル列ｂＬおよびｂＲにおける共通ベクトルと差ベクトルのエネルギー比が元のインパルス応答波形のものに比べて小さくなる。このため、元のインパルス応答波形のサンプル列ａＬおよびａＲを畳み込み演算に使用して残響効果の付与を行う場合に比べて、聴取者に感じさせる音源・受音点間距離を長くすることができる。
【００２１】
以上、この発明の一実施形態について説明したが、この発明にはこれ以外にも他の実施形態が考えられる。例えば上記実施形態では、２個のマイクにより得られた２チャネルのオーディオ信号を加工して、距離感の制御を行ったが、それ以上の個数のマイクにより得られたオーディオ信号を加工し、距離感の制御を行うようにしてもよい。
【図面の簡単な説明】
【００２２】
【図１】この発明の一実施形態である距離感制御装置の構成を示すブロック図である。
【図２】同実施形態において処理対象となるオーディオ信号が採取される残響室の例を示す図である。
【図３】同実施形態における信号処理を過程を示す波形図である。
【図４】同実施形態において取り扱われる各種のベクトルの関係を示す図である。
【図５】同実施形態において取り扱う共通ベクトルと差ベクトルのエネルギー比と直接音と残響音のエネルギー比との関係を示す図である。
【図６】この発明の他の実施形態である残響効果装置の構成を示すブロック図である。
【符号の説明】
【００２３】
１……入力部、２……第１波形メモリ、３……信号処理部、３１……抽出処理、３２……合成処理、４……操作部、５……第２波形メモリ、６……出力部、７……畳み込み演算部。
【技術分野】
【０００１】
この発明は、オーディオ信号を音として再生する際に再生音の聴感上の距離感を制御する技術に関する。
【背景技術】
【０００２】
音響再生において聴取者に与える距離感、すなわち、聴取者が再生音から感じる音源までの距離を制御するための技術が各種提案されている。例えば特許文献１は、直接音成分に対して反射音成分の付加されたオーディオ信号を反射音付加回路により生成し、その際の直接音成分と反射音成分とのレベル比および時間間隔を調整することにより聴取者に与える距離感を制御する技術を提案している。また、特許文献２は、直接音用および間接音用の２系統の音響再生系を設け、各音響再生系から再生する直接音と間接音のレベル比を調整することにより聴取者に与える距離感を制御する技術を提案している。
【特許文献１】特開平６−３１５２００号公報
【特許文献２】特開平９−１２１４００号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、上述したように、直接音と反射音または間接音のレベル比の調整により距離感の制御を行うためには、直接音と反射音または間接音の信号が分離された状態で得られなければならない。上述した特許文献１および２の技術は、いずれも音源から得られる直接音の信号に対して所定の信号処理を施すことにより反射音または間接音の信号を生成しているため、このような直接音と反射音または間接音のレベル比の調整を行うことができる。しかし、距離感制御に関しては、残響音場において採取されるような直接音成分と残響音成分とが混ざり合ったオーディオ信号について、それが再生されたときに聴取者に与える距離感を自在に制御したい、という要求もある。このような要求に応える技術は従来提供されていなかった。
【０００４】
この発明は、以上説明した事情に鑑みてなされたものであり、直接音成分と残響音成分を含む既得のオーディオ信号を加工し、その再生時に聴取者に与える距離感を制御することができる技術的手段を提供することを目的としている。
【課題を解決するための手段】
【０００５】
この発明は、複数チャネルのオーディオ信号から各チャネルのオーディオ信号の共通ベクトルを抽出するとともに、各チャネルのオーディオ信号の各ベクトルと前記共通ベクトルとの差ベクトルを各々抽出する抽出手段と、前記抽出手段により得られた共通ベクトル分と差ベクトルとを指定された比率で合成して複数チャネルのオーディオ信号を生成する合成手段とを具備することを特徴とする距離感制御装置を提供する。
かかる距離感制御装置によれば、直接音成分と残響音成分を含む既得のオーディオ信号から、直接音成分に近い共通ベクトルと残響音成分に近い差ベクトルが抽出され、それらが指定された比率で合成され、複数チャネルのオーディオ信号が得られる。その際、共通ベクトルと差ベクトルの比率を適切に調整し、複数チャネルのオーディオ信号の再生により聴取者に与えられる距離感を制御することができる。
【発明を実施するための最良の形態】
【０００６】
以下、図面を参照し、この発明の実施の形態を説明する。
図１はこの発明の一実施形態である距離感制御装置の構成を示すブロック図である。この距離感制御装置において、入力部１は、Ｌチャネルのオーディオ信号ａＬおよびＲチャネルのオーディオ信号ａＲを処理対象として外部から取り込む装置である。この入力部１は、ネットワークを介してオーディオ信号を受け取る装置でもよく、記録媒体に記憶されたオーディオ信号を再生する装置でもよい。第１波形メモリ２は、入力部１により取り込まれたオーディオ信号ａＬおよびａＲを記憶するメモリである。信号処理部３は、この第１波形メモリ２からオーディオ信号ａＬおよびａＲを読み出し、距離感制御のための信号処理を施す装置である。なお、この信号処理の内容については後述する。操作部４は、各種のコマンドや情報をユーザから受け取る装置である。この操作部４を介して入力される情報として、距離感制御のためのパラメータｋがある。信号処理部３が行う信号処理では、このパラメータｋが参照される。第２波形メモリ５は、距離感制御のための信号処理により得られたオーディオ信号ｂＬおよびｂＲを記憶するメモリである。出力部６は、このオーディオ信号ｂＬおよびｂＲを第２波形メモリ５から読み出し、左右のスピーカ（図示略）から音として出力する装置である。
【０００７】
次に本実施形態における距離感制御の原理について説明する。まず、図２に例示するような残響室１００において、音源１０１から音を出力すると、音源１０１から距離ｄだけ離れた受音点にあるマイク１０２Ｌおよび１０２Ｒには、音源１０１からの直接音の他に残響音が届く。この受音点における直接音と残響音のエネルギー比は、音源・受音点間距離ｄに依存する。臨界距離は、この直接音と残響音のエネルギー比が等しくなるような音源・受音点間距離ｄである。
【０００８】
音源・受音点間距離ｄが臨界距離よりも長い場合、受音点では直接音が殆どなく、残響音が支配的である。このため、受音点においてマイク１０２Ｌおよび１０２Ｒに到達する信号は無相関に近くなり、これらのマイクにより収音される音を聴いても距離感を感得することはできない。
【０００９】
これに対し、音源・受音点間距離ｄが臨界距離よりも短い場合には、受音点に充分な強度で同相の直接音が届き、しかも、この直接音の残響音に対するエネルギー比は音源１０１からの距離に応じて小さくなる。このため、受音点のマイク１０２Ｌおよび１０２Ｒにより収音される各音から距離感を感得することができる。従って、仮にこのマイク１０２Ｌおよび１０２Ｒにより得られるオーディオ信号から直接音成分と残響音成分とを分離して取り出し、直接音成分と残響音成分のエネルギー比を調整することができれば、オーディオ信号が聴取者に与える距離感を変化させることができると考えられる。しかし、現在、オーディオ信号から直接音成分と残響音成分を厳密に分離して取り出す方法は提供されていない。
【００１０】
そこで、本実施形態における信号処理部３では、以下説明する抽出処理３１および合成処理３２を実行し、これによりオーディオ信号が聴取者に与える距離感の制御を行っている。まず、図３（ａ）および（ｂ）に例示するような複数サンプルからなるオーディオ信号ａＬおよびａＲが処理対象として与えられている場合において、本実施形態では、各オーディオ信号ａＬおよびａＲを各々ベクトルと考え（以下、ベクトルａＬおよびａＲという。他の信号に対応したベクトルも信号名と同一のベクトル名を用いる。）、各オーディオ信号のサンプルをベクトルの成分と考える。そして、抽出処理３１では、次式に従い、ベクトルａＬおよびａＲの空間的共通成分である共通ベクトルａｃｏｍと、ベクトルａＬおよびａＲと共通ベクトルａｃｏｍとの間の差ベクトルａＬ−ｃｏｍおよびａＲ−ｃｏｍを求める。
Δ＝ａＬ−ａＲ ……（１）
ｚ＝Δ／‖Δ‖ ……（２）
ａｃｏｍ＝ａＬ−＜ａＬ，ｚ＞ｚ＝ａＲ−＜ａＲ，ｚ＞ｚ ……（３）
ａＬ−ｃｏｍ＝ａＬ−ａｃｏｍ＝＜ａＬ，ｚ＞ｚ ……（４）
ａＲ−ｃｏｍ＝ａＲ−ａｃｏｍ＝＜ａＲ，ｚ＞ｚ ……（５）
ただし、上記式（２）において、ｚはベクトルａＬおよびａＲの差ベクトルΔと同一方向の単位ベクトル、式（３）〜（５）における＜ａＬ，ｚ＞等は２つのベクトルの内積を表す。
【００１１】
図３（ｃ）〜（ｅ）は、この抽出処理３１により得られた共通ベクトルａｃｏｍの成分であるサンプル列、差ベクトルａＬ−ｃｏｍの成分であるサンプル列および差ベクトルａＲ−ｃｏｍの成分であるサンプル列を各々例示するものである。また、図４は、元のＬ、Ｒ２チャネルのオーディオ信号に対応したベクトルａＬおよびａＲと、共通ベクトルａｃｏｍと、差ベクトルａＬ−ｃｏｍおよびａＲ−ｃｏｍのベクトル空間内における関係を示している。図４に示すように、共通ベクトルａｃｏｍはベクトルａＬおよびａＲ間の差ベクトルに対して直交するベクトルとなり、差ベクトルａＬ−ｃｏｍおよびａＲ−ｃｏｍはいずれも共通ベクトルａｃｏｍに直交するベクトルとなる。このように抽出処理３１では、元のオーディオ信号ａＬ（ａＲ）を、ベクトル空間内において相互に直交したベクトルである共通ベクトルａｃｏｍと差ベクトルａＬ−ｃｏｍ（ａＲ−ｃｏｍ）に分解する。ここで、共通ベクトルａｃｏｍは、Ｌ、Ｒ両チャネルに共通する音響的特徴を示すものとなるため、受音点において採取される直接音成分に対応していると考えられる。そして、差ベクトルａＬ−ｃｏｍ（ａＲ−ｃｏｍ）は、共通ベクトルａｃｏｍとは異なる音響的特徴を示すものとなるため、受音点において採取される直接音成分以外の音、すなわち、残響室１００の関与のもとで作り出され、直接音成分とは異なった音響的特徴を持った残響音成分に対応していると考えられる。
【００１２】
合成処理３２では、以上説明した抽出処理３１により得られる各ベクトルと操作部４を介して与えられるパラメータｋとを用いて、次式（６）および（７）に従い、ベクトルｂＬおよびｂＲを求める。
ｂＬ＝ａＬ−ｃｏｍ＋ｋ・ａｃｏｍ ……（６）
ｂＲ＝ａＲ−ｃｏｍ＋ｋ・ａｃｏｍ ……（７）
そして、ベクトルｂＬの成分をＬチャネルのオーディオ信号ｂＬのサンプルとし、ベクトルｂＲの成分をＲチャネルのオーディオ信号ｂＲのサンプルとして第２波形メモリ５に書き込む。このＬチャネルおよびＲチャネルの各オーディオ信号のサンプルは所定のレートで第２波形メモリ５から順次読み出され、出力部６により音として出力される。
【００１３】
抽出処理３１および合成処理３２は、処理対象であるオーディオ信号ａＬおよびａＲの時間長に合わせて適切な態様で実行するのが好ましい。処理対象であるオーディオ信号ａＬおよびａＲが、単発的であり、かつ、持続時間の比較的短いものである場合には、各オーディオ信号の全サンプルをベクトルと捉え、上述した抽出処理３１および合成処理３２を実行し、距離感の制御を行えばよい。また、処理対象であるオーディオ信号ａＬおよびａＲが持続時間の長いもの、あるいは複数音連続したようなものである場合には、両オーディオ信号を一定時間長のフレームに区切り、フレーム単位で上述した抽出処理３１および合成処理３２を実行し、距離感の制御を行えばよい。
【００１４】
以上説明した構成において、操作部４から与えるパラメータｋを１とした場合、元のオーディオ信号ａＬ（ａＲ）と同じものがオーディオ信号ｂＬ（ｂＲ）として出力部６により出力される。一方、パラメータｋを１より大きくすると、出力部６により出力されるオーディオ信号ｂＬ（ｂＲ）において、共通ベクトルｋ・ａｃｏｍの差ベクトルａＬ−ｃｏｍ（ａＲ−ｃｏｍ）に対するエネルギー比は、元のオーディオ信号ａＬ（ａＲ）のものよりも大きくなる。従って、聴取者は、元のオーディオ信号ａＬ（ａＲ）と同じものが出力部６により出力された場合（すなわち、ｋ＝１の場合）に比べて音源の位置を近くに感じる。逆にパラメータｋを１より小さくした場合、オーディオ信号ｂＬ（ｂＲ）における共通ベクトルｋ・ａｃｏｍの差ベクトルａＬ−ｃｏｍ（ａＲ−ｃｏｍ）に対するエネルギー比は、元のオーディオ信号ａＬ（ａＲ）のものに比べて小さくなる。従って、聴取者は、ｋ＝１の場合よりも音源位置を遠くに感じる。
【００１５】
本願発明者らは、本実施形態の効果を確認すべく、前掲図２のような直方体形状の残響室１００において、音源・受音点間距離ｄを各種変えながら、音源１０１からインパルス音を出力したときのインパルス応答波形をマイク１０２Ｌおよび１０２Ｒにより採取した。なお、残響室１００のサイズは、５．７ｍ×５．９ｍ×４．７ｍ、残響室１００の残響時間ＴＲは約６．５秒であった。また、マイク１０２Ｌおよび１０２Ｒ間の距離は０．２ｍとし、音源・受音点間距離ｄは、０．１ｍ刻みで０．１ｍから１．５ｍまで変化させた。そして、各種の音源・受音点間距離ｄについて、採取されたＬ、Ｒ２チャネルのインパルス応答波形から上述した抽出処理３１と同じ処理により共通ベクトルと差ベクトルを求め、共通ベクトルと差ベクトルのエネルギー比Ｅｃｏｍ／Ｅｄｅｆを算出した。
【００１６】
図５には、このようにして得られたエネルギー比Ｅｃｏｍ／Ｅｄｅｆと、下記の理論式（８）により算出された直接音と残響音のエネルギー比Ｅｄ／Ｅｒｅｖが示されている。
Ｅｄ／Ｅｒｅｖ＝０．０１Ｖ／（πＴＲｄ２） ……（８）
ただし、上記式（８）において、Ｅｄは受音点における直接音のエネルギー、Ｅｒｅｖは受音点における残響音のエネルギー、Ｖは残響室１００の室容積（この例では５．７ｍ×５．９ｍ×４．７ｍ）、ＴＲは残響室１００の残響時間（この例では６．５秒）、ｄは音源・受音点間距離である。
【００１７】
図５に示すように、直接音と残響音とのエネルギー比Ｅｄ／Ｅｒｅｖが１（＝０ｄＢ）となる臨界距離以内の領域において、共通ベクトルと差ベクトルとのエネルギー比Ｅｃｏｍ／Ｅｄｅｆと直接音と残響音とのエネルギー比Ｅｄ／Ｅｒｅｖはほぼ平行な曲線となる。従って、上述したように共通ベクトルと差ベクトルのエネルギー比を調整することにより、直接音と残響音のエネルギー比を調整した場合と同様に、オーディオ信号が聴取者に与える距離感を制御することができる。
【００１８】
本実施形態に係る距離感制御装置の用途として残響効果装置がある。この残響効果装置の一般的な形態として、各種の残響音場において得られたインパルス応答波形をサンプリングしたフィルタ係数列を記憶し、このフィルタ係数列を入力オーディオ信号のサンプル列に畳み込み、出力オーディオ信号を生成するものがある。このような残響効果装置を利用する場合において、残響効果の付与により得られる音源・受音点間距離がユーザの要求に合わないといったことが起こり得る。すなわち、ユーザの所望の残響空間に対応したフィルタ係数列は、音源・受音点間距離ｄがｄ１である条件の下で採取されたものであるが、ユーザは音源・受音点間距離ｄをｄ２にしたいと望んでいるような場合である。このような場合、ユーザの要求に応えるためには、ユーザの所望の残響音場に赴き、音源・受音点間距離ｄがｄ２の条件でインパルス応答波形を採取し、このインパルス応答波形からフィルタ係数列を得る必要がある。しかし、そのような処理は多大な労力を必要とし、大変である。本実施形態に係る距離感制御装置は、このような問題の解決に役立つものである。
【００１９】
図６は前掲図１の距離感制御装置を用いて構成した残響効果装置の構成を示すブロック図である。この残響効果装置において、第１波形メモリ２には様々な残響音場において採取されたＬ、Ｒ２チャネルのインパルス応答波形のサンプル列が入力部１を介して格納される。ユーザが操作部４の操作により所望の残響音場のインパルス応答波形の選択を指示すると、指示されたＬ、Ｒ２チャネルのインパルス応答波形のサンプル列ａＬおよびａＲが第１波形メモリ２から読み出され、信号処理部３に与えられる。信号処理部３では、サンプル列ａＬおよびａＲを用いて上述した抽出処理３１が行われた後、操作部４から与えられるパラメータｋを用いて合成処理３２が実行される。そして、合成処理３２により得られたインパルス応答波形のサンプル列ｂＬおよびｂＲが第２波形メモリ５に格納される。畳み込み演算部７は、一定のサンプリング周期毎に外部からモノラルの入力オーディオ信号のサンプルを受け取り、受け取った過去一定個数のサンプル列に第２波形メモリ５に記憶されたＬチャネルのサンプル列ｂＬを畳み込んでＬチャネルのオーディオ信号ＣＬを生成し、また、同じ過去一定個数のサンプル列にＲチャネルのサンプル列ｂＲを畳み込んでＲチャネルのオーディオ信号ＣＲを生成する。そして、出力部６は、このようにして生成されるオーディオ信号ＣＬおよびＣＲを音として出力するのである。
【００２０】
ここで、パラメータｋを１より大きくすると、畳み込み演算に用いられるインパルス応答波形のサンプル列ｂＬおよびｂＲにおいて共通ベクトルと差ベクトルのエネルギー比が元のインパルス応答波形のサンプル列ａＬおよびａＲに比べて大きくなる。このため、元のインパルス応答波形のサンプル列ａＬおよびａＲを畳み込み演算に使用して残響効果の付与を行う場合に比べて、聴取者に感じさせる音源・受音点間距離を短くすることができる。これに対し、パラメータｋを１より小さくすると、インパルス応答波形のサンプル列ｂＬおよびｂＲにおける共通ベクトルと差ベクトルのエネルギー比が元のインパルス応答波形のものに比べて小さくなる。このため、元のインパルス応答波形のサンプル列ａＬおよびａＲを畳み込み演算に使用して残響効果の付与を行う場合に比べて、聴取者に感じさせる音源・受音点間距離を長くすることができる。
【００２１】
以上、この発明の一実施形態について説明したが、この発明にはこれ以外にも他の実施形態が考えられる。例えば上記実施形態では、２個のマイクにより得られた２チャネルのオーディオ信号を加工して、距離感の制御を行ったが、それ以上の個数のマイクにより得られたオーディオ信号を加工し、距離感の制御を行うようにしてもよい。
【図面の簡単な説明】
【００２２】
【図１】この発明の一実施形態である距離感制御装置の構成を示すブロック図である。
【図２】同実施形態において処理対象となるオーディオ信号が採取される残響室の例を示す図である。
【図３】同実施形態における信号処理を過程を示す波形図である。
【図４】同実施形態において取り扱われる各種のベクトルの関係を示す図である。
【図５】同実施形態において取り扱う共通ベクトルと差ベクトルのエネルギー比と直接音と残響音のエネルギー比との関係を示す図である。
【図６】この発明の他の実施形態である残響効果装置の構成を示すブロック図である。
【符号の説明】
【００２３】
１……入力部、２……第１波形メモリ、３……信号処理部、３１……抽出処理、３２……合成処理、４……操作部、５……第２波形メモリ、６……出力部、７……畳み込み演算部。
【特許請求の範囲】
【請求項１】
複数チャネルのオーディオ信号から各チャネルのオーディオ信号の共通ベクトルを抽出するとともに、各チャネルのオーディオ信号の各ベクトルと前記共通ベクトルとの差ベクトルを各々抽出する抽出手段と、
前記抽出手段により得られた共通ベクトル分と差ベクトルとを指定された比率で合成して複数チャネルのオーディオ信号を生成する合成手段と
を具備することを特徴とする距離感制御装置。
【請求項２】
請求項１に記載の距離感制御装置と、
前記距離感制御装置の合成手段により得られる複数チャネルのオーディオ信号を用いて入力オーディオ信号に残響効果を付与する効果付与手段と
を具備することを特徴とする残響効果装置。
【請求項３】
複数チャネルのオーディオ信号から各チャネルのオーディオ信号の共通ベクトルを抽出するとともに、各チャネルのオーディオ信号の各ベクトルと前記共通ベクトルとの差ベクトルを各々抽出する抽出過程と、
前記抽出過程により得られた共通ベクトルと差ベクトルとを指定された比率で合成して複数チャネルのオーディオ信号を生成する合成過程と、
を具備することを特徴とする距離感制御方法。
【請求項１】
複数チャネルのオーディオ信号から各チャネルのオーディオ信号の共通ベクトルを抽出するとともに、各チャネルのオーディオ信号の各ベクトルと前記共通ベクトルとの差ベクトルを各々抽出する抽出手段と、
前記抽出手段により得られた共通ベクトル分と差ベクトルとを指定された比率で合成して複数チャネルのオーディオ信号を生成する合成手段と
を具備することを特徴とする距離感制御装置。
【請求項２】
請求項１に記載の距離感制御装置と、
前記距離感制御装置の合成手段により得られる複数チャネルのオーディオ信号を用いて入力オーディオ信号に残響効果を付与する効果付与手段と
を具備することを特徴とする残響効果装置。
【請求項３】
複数チャネルのオーディオ信号から各チャネルのオーディオ信号の共通ベクトルを抽出するとともに、各チャネルのオーディオ信号の各ベクトルと前記共通ベクトルとの差ベクトルを各々抽出する抽出過程と、
前記抽出過程により得られた共通ベクトルと差ベクトルとを指定された比率で合成して複数チャネルのオーディオ信号を生成する合成過程と、
を具備することを特徴とする距離感制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００７−７９１７９（Ｐ２００７−７９１７９Ａ）
【公開日】平成１９年３月２９日（２００７．３．２９）
【国際特許分類】
【出願番号】特願２００５−２６７７１４（Ｐ２００５−２６７７１４）
【出願日】平成１７年９月１４日（２００５．９．１４）
【出願人】（８９９００００６８）学校法人早稲田大学 (602)
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【公開日】平成１９年３月２９日（２００７．３．２９）
【国際特許分類】
【出願日】平成１７年９月１４日（２００５．９．１４）
【出願人】（８９９００００６８）学校法人早稲田大学 (602)
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
[ Back to top ]