マルチチャネルオーディオ再生装置およびマルチチャネルオーディオ再生方法
【課題】音源から受聴者までの距離に拘わらず正しい音源位置の認識を可能とするマルチチャネルオーディオ再生装置を提供する。
【解決手段】入力マルチチャネルオーディオ信号に定位音源が存在する場合に定位音源信号を推定する定位音源推定部１と、入力マルチチャネルオーディオ信号を定位音源信号と定位しない音源信号とに分離する音源信号分離部２と、定位音源を構成する信号成分から音源位置パラメータを算出する音源位置パラメータ算出部３と、音源位置パラメータで示される音源位置が受聴者に近いエリアに存在するか、遠いエリアに存在するかを判定する音源位置判定部１０１と、遠いエリアの場合に音源位置を制御するための再生信号を生成する第１の再生信号生成部１０２と、近いエリアの場合に音源位置を制御するための再生信号を生成する第２の再生信号生成部１０３と、第１と第２の再生信号生成部１０２、１０３を切り替えるスイッチ部１０４を備える。
【解決手段】入力マルチチャネルオーディオ信号に定位音源が存在する場合に定位音源信号を推定する定位音源推定部１と、入力マルチチャネルオーディオ信号を定位音源信号と定位しない音源信号とに分離する音源信号分離部２と、定位音源を構成する信号成分から音源位置パラメータを算出する音源位置パラメータ算出部３と、音源位置パラメータで示される音源位置が受聴者に近いエリアに存在するか、遠いエリアに存在するかを判定する音源位置判定部１０１と、遠いエリアの場合に音源位置を制御するための再生信号を生成する第１の再生信号生成部１０２と、近いエリアの場合に音源位置を制御するための再生信号を生成する第２の再生信号生成部１０３と、第１と第２の再生信号生成部１０２、１０３を切り替えるスイッチ部１０４を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチチャネルオーディオの再生において、高い臨場感を実現するマルチチャネルオーディオ再生装置およびマルチチャネルオーディオ再生方法に関する。
【背景技術】
【０００２】
ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）やＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）などの記録メディアや、ディジタルテレビジョン放送の普及によって、マルチチャネルのオーディオ再生の需要が高まっている。マルチチャネルのオーディオ信号として最も多く用いられるフォーマットは、５．１ｃｈサラウンドと呼ばれ、受聴者の前方にレフトチャネル（Ｌ）、センターチャネル（Ｃ）、ライトチャネル（Ｒ）、また、受聴者の後方にサラウンドレフト（Ｌｓ）およびサラウンドライト（Ｒｓ）の計５チャネルを配置する。また、０．１ｃｈの部分は、ＬＦＥ（Ｌｏｗ Ｆｒｅｑｕｅｎｃｙ Ｅｆｆｅｃｔ）チャネルと呼ばれ、主に数百Ｈｚ以下の低域成分のみを記録し、サブウーハ（ＳＷ）と呼ばれる専用のスピーカを接続する。各オーディオチャネルに対してそれぞれ個別のスピーカを接続し、受聴者を取り囲む同一円周上にスピーカを配置することによって、マルチチャネルのオーディオ再生が実現される。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、一般的なオーディオチャネル数のスピーカを同一円周上に配置するオーディオ再生システムには、最適なスピーカ配置や受聴位置に大きな制限があり、適切でないスピーカ配置を行ったり、最適な視聴位置（スイートスポット）から外れた位置で視聴したりすると、高い臨場感を得ることができない。この問題を解決する一例として、遠方に配置する第１のスピーカ群と、耳元近傍に配置する第２のスピーカ群もしくはヘッドホンの組み合わせによる再生装置が本願発明者らによって開示されている（特願２００９−０８４５５１号）。この再生装置に用いられる技術によれば、前記第１のスピーカ群と第２のスピーカ群の間で信号成分を適切に分配してそれぞれの信号エネルギを制御することによって、生成される音像位置を高い精度で制御し、高い臨場感を実現するマルチチャネルオーディオ再生が可能となる。図６は、従来の第１のスピーカ群と第２のスピーカ群を用いるマルチチャネルオーディオ再生装置の構成の一例を示す図である。第１のスピーカ群として、受聴者から離れた位置に配置される周辺スピーカを用い、受聴者の前方にレフトチャネル（Ｌ）５、センターチャネル（Ｃ）６、ライトチャネル（Ｒ）７、また、受聴者の後方にサラウンドレフトチャネル（Ｌｓ）９およびサラウンドライトチャネル（Ｒｓ）８の計５チャネルを配置する。ＬＦＥチャネルについては、再生システムの低域再生能力を補強するために用いるものであり、音像位置の制御には係わらないので図示しない。また、第２のスピーカ群としてはヘッドホンを用いる。ヘッドホンは左耳用のレフトヘッドホンチャネル（Ｌｈ）１０と右耳用のライトヘッドホンチャネル（Ｒｈ）１１から成る。入力されるマルチチャネルオーディオ信号は、一般的な５ｃｈサラウンド信号であり、Ｌ、Ｃ、Ｒ、Ｌｓ、Ｒｓの各チャネルに対応する信号から構成される。定位音源推定部１は、入力されたマルチチャネルオーディオ信号を分析して、再生される音像位置を制御すべき定位音源が存在するかどうかを判定する。定位音源が存在する場合には、音源信号分離部２において定位音源を構成する信号成分とそれ以外の信号成分が分離される。音源位置パラメータ算出部３は、定位音源を構成する信号成分から、再生音響空間において定位音源が定位する位置を求め、音源位置パラメータを算出する。再生信号生成部４は、算出された音源位置パラメータに基づいて、定位音源の信号成分を周辺スピーカとヘッドホンに配分すると共に、先に分離した定位音源以外の信号成分を合成することによって、周辺スピーカおよびヘッドホンそれぞれに対する出力信号を生成する。ここで、前記音源位置パラメータは、受聴者から見た定位音源の方向角γと受聴者から定位音源までの距離ｒである。
【０００４】
図２は、再生信号生成部４において定位音源の信号を周辺スピーカとヘッドホンに配分する処理を説明する図である。図において、２０１は受聴者の中心位置である受聴点、２０２は定位音源の位置、２０３はＬチャネルスピーカ、２０４はＣチャネルスピーカ、２０５はＲチャネルスピーカ、２０６はＲｓチャネルスピーカ、２０７はＬｓチャネルスピーカ、２０８はＬチャネルヘッドホン、２０９はＲチャネルヘッドホン、２１０は受聴点とＬチャネルスピーカおよびＲチャネルスピーカによって囲まれる扇形の領域である。また、各周辺スピーカは受聴点取り囲む円周上に配置され、ＬチャネルスピーカとＲチャネルスピーカおよび、ＬｓチャネルスピーカとＲｓチャネルスピーカは受聴者正面に対して対称に配置され、その円周半径はｒ０である。また、各周辺スピーカとヘッドホンは、あらかじめ定められたレベルの信号が与えられた時に、それぞれのスピーカおよびヘッドホンから同じ大きさの音が再生されていると受聴者が感じるように出力レベルが調整される。一般的に、マルチチャネルオーディオ信号において、Ｃチャネル信号はダイアログ（せりふ）を中心とする信号成分によって構成されており、その他効果音など受聴者を取り囲む音響空間内に配置される音源は、Ｌ、Ｒ、Ｌｓ、Ｒｓ各チャネルの信号成分によって構成される。よって、定位音源の位置を制御する周辺スピーカとしてＣチャネルを除くＬ、Ｒ、Ｌｓ、Ｒｓの各スピーカを用いるものとする。受聴点および隣り合う２つの周辺スピーカによって作られる扇形の内部に定位音源が存在すれば、各頂点に配置されたスピーカ（受聴点近傍のヘッドホンと２つの周辺スピーカ）から出力される再生信号の合成によって、定位音源の位置が再現される。図２において、定位音源２０２は受聴点２０１とＬチャネルスピーカ２０３およびＲチャネルスピーカ２０５によって囲まれる扇形の領域２１０の中にある。したがって、定位音源２０２の位置を制御するのに用いるスピーカは、受聴点近傍のヘッドホンとＬチャネルスピーカおよびＲチャネルスピーカとなる。定位音源２０２の信号成分をＸとし、受聴者から見た定位音源の方向角γと受聴者から定位音源までの距離ｒが与えられるとき、各スピーカに対する信号の配分は次のとおりである。
【０００５】
まず、定位信号成分Ｘは、式１に示す左側信号Ｘｌと、式２に示す右側信号Ｘｒとに配分される。
【０００６】
【数１】
【０００７】
【数２】
【０００８】
ここで方向角Ａは、受聴者正面に対するＬチャネルスピーカの方向を表す角度である。
【０００９】
続いて、左側信号Ｘｌは、式３に示すＬチャネルスピーカ信号Ｘｌ＿Ｌと、式４に示すＬｈチャネルヘッドホン信号Ｘｌ＿Ｌｈとに配分される。
【００１０】
【数３】
【００１１】
【数４】
【００１２】
同様に、右側信号Ｘｒは、式５に示すＲチャネルスピーカ信号Ｘｒ＿Ｒと、式６に示すＲｈチャネルヘッドホン信号Ｘｒ＿Ｒｈとに配分される。
【００１３】
【数５】
【００１４】
【数６】
【００１５】
以上によって、定位音源２０２が受聴点２０１とＬチャネルスピーカ２０３およびＲチャネルスピーカ２０５によって囲まれる扇形の領域２１０の中にある場合について、扇形の頂点を成す各チャネルのスピーカおよびヘッドホンに配分される信号が算出された。定位音源２０２が他の隣り合う２つの周辺スピーカと受聴点によって囲まれる扇形領域にある場合も、以上の説明と同様にして、扇形の頂点を成す各チャネルのスピーカおよびヘッドホンに配分される信号が算出できる。
【００１６】
各周辺スピーカおよびヘッドホンに配分された定位音源の信号成分は、先に分離された定位しない音源の信号成分と合成された後、各周辺スピーカおよびヘッドホンへ出力される。
【００１７】
従来の遠方に配置する第１のスピーカ群と、耳元近傍に配置する第２のスピーカ群とを用いるマルチチャネルオーディオの再生システムにおいては、前記第１のスピーカ群と第２のスピーカ群のそれぞれから再生される信号エネルギの比率を変化させることによって、定位音源の位置の制御を行っていた。再生される信号エネルギの比率による制御は、音源位置が受聴者から比較的離れている（たとえば、音源位置が受聴者から半径数十ｃｍより外側にある）場合、それぞれのスピーカから再生される信号成分の合成によって仮想音像が生成され、受聴者は音源位置を正しく認識することができる。しかしながら、音源位置が受聴者に非常に近い（たとえば、音源位置が受聴者から半径数十ｃｍより内側にある）場合、再生される信号エネルギの配分は、耳元近傍に配置される第２のスピーカ群への配分が非常に大きくなる。つまり、前記仮想音像の生成において第２のスピーカ群から再生される信号成分が支配的となり、第１のスピーカ群から再生される信号成分の寄与度は非常に小さくなる。受聴者に非常に近いエリアにおいて音源位置を制御するためには、寄与度の小さい第１のスピーカ群からの信号成分量を正しく与える信号エネルギ配分を行わなければならないが、第１のスピーカ群は受聴者から遠方に配置されるスピーカであり、小さな寄与度に対応する細かい信号エネルギ配分の制御を、遠方のスピーカを用いて正しく行うことは非常に困難である。結果として、受聴者に近いエリアの音源位置の制御は精度が低下し、受聴者は正しい音源位置を認識することが困難となる。
【００１８】
本発明は前記課題を解決するものであって、受聴者に近いエリアの音源位置の制御の精度を向上することによって、音源から受聴者までの距離にかかわらず正しい音源位置の認識を可能とし、高い臨場感を実現するマルチチャネルオーディオ再生装置を提供するものである。
【００１９】
また、受聴者に近いエリアの音源位置の制御の精度を向上するために、受聴者から遠いエリアと受聴者に近いエリアの境界で音源位置制御を切り替えると、切り替えによる不連続が発生し、受聴者が違和感を受けることがある。本発明は受聴者に近いエリアの音源位置の制御の精度を向上することによって、音源から受聴者までの距離にかかわらず正しい音源位置の認識を可能とすると共に、受聴者から遠いエリアと受聴者に近いエリアの境界における音源位置制御の切り替えを平滑化することにより、高い臨場感を実現するマルチチャネルオーディオ再生装置を提供するものである。
【課題を解決するための手段】
【００２０】
本発明のマルチチャネルオーディオ再生装置は、マルチチャネルオーディオ信号を入力とし、入力されたマルチチャネルオーディオ信号に定位音源が存在するか否かを判定し、定位音源が存在する場合に定位音源信号を推定する定位音源推定部と、入力マルチチャネルオーディオ信号を定位音源信号と定位しない音源信号のそれぞれの成分に分離する音源信号分離部と、定位音源を構成する信号成分から音源位置パラメータを算出する音源位置パラメータ部と、算出された音源位置パラメータによって示される音源位置が受聴者に近いエリアに存在するか、もしくは遠いエリアに存在するかを判定する音源位置判定部と、音源位置が受聴者から遠いエリアに存在する場合に、音源位置パラメータによって示される音源位置を制御する再生信号を生成する第１の再生信号生成部と、音源位置が受聴者に近いエリアに存在する場合に、音源位置パラメータによって示される音源位置を制御する再生信号を生成する第２の再生信号生成部と、前記第１の再生信号生成部と第２の再生信号生成部を切り替えるスイッチ部とを備える。
【００２１】
また、本発明のマルチチャネルオーディオ再生装置は、マルチチャネルオーディオ信号を入力とし、入力されたマルチチャネルオーディオ信号に定位音源が存在するか否かを判定し、定位音源が存在する場合に定位音源信号を推定する定位音源推定部と、入力マルチチャネルオーディオ信号を定位音源信号と定位しない音源信号のそれぞれの成分に分離する音源信号分離部と、定位音源を構成する信号成分から音源位置パラメータを算出する音源位置パラメータ部と、算出された音源位置パラメータによって示される音源位置が受聴者に近いエリアに存在するか、もしくは遠いエリアに存在するかを判定する音源位置判定部と、音源位置が受聴者から遠いエリアに存在する場合に、音源位置パラメータによって示される音源位置を制御する再生信号を生成する第１の再生信号生成部と、音源位置が受聴者に近いエリアに存在する場合に、音源位置パラメータによって示される音源位置を制御する再生信号を生成する第２の再生信号生成部と、定位音源および定位しない音源信号を分配する信号分配部と、定位音源および定位しない音源信号を前記第１の再生信号生成部のみに入力するか、もしくは信号分配部を通して第１および第２の再生信号生成部の両方に入力するかを切り替えるスイッチ部とを備え、第１の再生信号生成部の出力と第２の再生信号生成部の出力を加算することによって出力再生信号を生成する。
【発明の効果】
【００２２】
本発明を用いることにより、マルチチャネルオーディオ信号に含まれる音源が受聴者から遠いか近いかに係わらず、再生される音源位置を高い精度で制御することができるため、高い臨場感の実現が可能となる。
【図面の簡単な説明】
【００２３】
【図１】本発明の実施の形態１に係るマルチチャネルオーディオ再生装置の構成を示す図である。
【図２】定位音源の信号を周辺スピーカとヘッドホンに配分する処理を説明する図である。
【図３】定位音源の位置の判定法を説明する図である。
【図４】本実施の形態１に係る第２の再生信号生成部における信号処理を説明する図である。
【図５】本発明の実施の形態２に係るマルチチャネルオーディオ再生装置の構成を示す図である。
【図６】従来の再生装置の構成を示す図である。
【発明を実施するための形態】
【００２４】
（実施の形態１）
図１は、本発明の実施の形態１に係るマルチチャネルオーディオ再生装置の構成を示す図である。先に説明した従来のマルチチャネルオーディオ再生装置で用いられる処理部と同じ機能を有する部については、図中において同じ番号を付し詳細な説明は省略する。図１において、本発明のマルチチャネルオーディオ再生装置は、図４に示す従来のマルチチャネルオーディオ再生装置に対して、音源位置判定部１０１を新たに設けると共に、再生信号生成部４を第１の再生信号生成部１０２と第２の再生信号生成部１０３をスイッチ部１０４によって切り替える様に構成したものである。
【００２５】
定位音源推定部１は、入力されたマルチチャネルオーディオ信号を分析して、再生される音像位置を制御すべき定位音源が存在するかどうかを判定する。定位音源が存在する場合には、音源信号分離部２において定位音源を構成する信号成分とそれ以外の信号成分が分離される。音源位置パラメータ算出部３は、定位音源を構成する信号成分から、再生音響空間において定位音源が定位する位置を求め、音源位置パラメータを算出する。音源位置判定部１０１は、算出された音源位置パラメータから、再生音響空間における定位音源の位置が、受聴者から遠いか近いかを判定する。図３は、音源位置判定部１０１が再生音響空間における定位音源の位置が、受聴者から遠いか近いかを判定する方法を説明する図である。先に説明した様に、音源位置パラメータは受聴者から見た定位音源の方向角γと受聴者から定位音源までの距離ｒによって与えられる。再生音響空間は、受聴者の中心である受聴点２０１を中心とする半径ｒ１の円周３０１を境界として、受聴者に近いエリア３０２と受聴者から遠いエリア３０３に分割されている。半径ｒ１として好ましい値の範囲は０．２ｍから１．０ｍ程度である。与えられた定位音源までの距離ｒがｒ１以下であれば、定位音源は受聴者に近いエリアに存在し、逆にｒがｒ１よりも大きければ、定位音源は受聴者から遠いエリアに存在することになる。音源位置判定部は、定位音源が受聴者から遠いエリアにあると判定された場合に第１の再生信号生成部を選択し、定位音源が受聴者から近いエリアにあると判定された場合に第２の再生信号生成部が選択されるように、スイッチ部１０４を制御する。
【００２６】
次に、再生信号生成部の動作について説明する。定位音源が受聴者から遠いエリアにあると判定された場合に選択される第１の再生信号生成部は、従来のマルチチャネルオーディオ再生装置における再生信号生成部と同一の機能を有しており、先に説明した手法に従って入力された定位音源信号を各周辺スピーカおよびヘッドホンに配分した後、定位しない音源信号と合成して出力する。定位音源が受聴者から近いエリアにあると判定された場合に選択される第２の再生信号生成部は、定位音源の信号成分をヘッドホンのみに配分し、人間の聴覚特性に基づく信号処理を適用することによって、定位音源の位置を制御する。
【００２７】
図４は、第２の再生信号生成部における信号処理を説明する図である。定位音源２０２は、受聴点２０１に対して方向角γと距離ｒで示される位置に存在する。定位音源から受聴者の左耳に相当するレフトヘッドホンＬｈへの信号伝達経路は矢印４０１で示され、また定位音源から受聴者の右耳に相当するライトヘッドホンＲｈへの信号伝達経路は矢印４０２で示される。つまり、受聴者は定位音源２０２から発せられた信号に対して、矢印４０１で示される信号伝達経路および矢印４０２で示される伝達経路の両方の伝達特性を付加した信号を受聴していることになる。これらの伝達特性は、頭部伝達関数ＨＲＴＦ（Ｈｅａｄ Ｒｅｌａｔｅｄ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）として知られており、元の音源信号に対して信号処理によってＨＲＴＦの特性を付加することにより、あたかも音源がＨＲＴＦによって示される伝達経路の先にあるように感じさせることができる。一般的にＨＲＴＦは、インパルス応答あるいはＦＩＲフィルタ係数として与えられ、元の音源信号に対してＨＲＴＦの特性を付加する処理は畳み込み演算によって実現される。すなわち、定位音源の信号成分をＸ、矢印４０１で示される伝達経路のＨＲＴＦをＨＬｈ、矢印４０２で示される伝達経路のＨＲＴＦをＨＲｈ、畳み込み演算を表す記号を＊として、レフトチャネルヘッドホンＬｈへの出力信号Ｘ＿ＬｈおよびライトチャネルヘッドホンＲｈへの出力信号Ｘ＿Ｒｈは、それぞれ次の式７および式８のように求められる。
【００２８】
【数７】
【００２９】
【数８】
【００３０】
信号処理において使用するＨＲＴＦは、あらかじめ測定した伝達特性をＲＯＭなどの記憶媒体に保持しておく。ただし、定位音源２０２の位置によってＨＲＴＦの特性は変化するため、必要なすべてのＨＲＴＦを保持しておくことは困難である。しかしながら、一般にＨＲＴＦは方向角γに依存する周波数特性と、受聴点から音源までの距離に依存するゲイン特性に分離することができるため、代表的な方向角γに対する周波数特性のみを保持しておき、受聴点から音源までの距離ｒに応じてゲインを調整することにより、ＨＲＴＦの保持に必要な記憶容量を削減することができる。
【００３１】
さらに、第２の再生信号生成部１０３は、音源信号分離部２において分離された定位しない音源信号の成分を周辺スピーカの各チャネルに配分する。以上の処理によって、受聴者に近いエリアに存在する定位音源はヘッドホンから再生され、それ以外の定位しない音源の信号成分は周辺スピーカから再生される。
【００３２】
以上で説明した構成により、定位音源が受聴者に近いエリアに存在するのか遠いエリアに存在するのかの違いによって、最適な再生信号生成部を用いて再生される音源位置を制御することができる。これにより、音源と受聴者との間の距離に係わらず、精度の高い音源位置の制御が可能となり、高い臨場感が実現される。
【００３３】
なお、本実施の形態においては、受聴者に近いエリア３０２と受聴者から遠いエリア３０３の境界は半径ｒ１の円としているが、方向角γによって半径ｒ１が異なるような境界（例えば楕円）を用いてもよい。なぜならば、人間の聴覚特性は方向角γによって感度や距離感覚が異なるためである。その場合、音源位置判定部は方向角γと距離ｒの両方の音源位置パラメータを参照して、定位音源がどちらのエリアに存在するかを判定する様に構成される。
【００３４】
（実施の形態２）
図５は、本発明の実施の形態２に係るマルチチャネルオーディオ再生装置の構成を示す図である。先に説明した本発明の実施の形態１のマルチチャネルオーディオ再生装置で用いられる処理部と同じ機能を有する部については、図中において同じ番号を付し詳細な説明は省略する。本実施の形態２の構成では、図１に示すマルチメディアオーディオ再生装置の再生信号生成部４に信号分配部１０５を追加し、音源信号分離部２から入力される音源信号を、スイッチ１０４を介して、第１の再生信号生成部１０２のみに入力するか、もしくは、信号分配部１０５を通して第１の再生信号生成部１０２と第２の再生信号生成部１０３のそれぞれに分配して入力するかを切り替える。また、第１の再生信号生成部の出力と第２の再生信号生成部の出力は加算されてから出力される。スイッチ１０４の切り替えの制御は本発明の実施の形態１の構成と同様であり、音源位置判定部１０１によって、音源位置が受聴者から遠いエリアに存在すると判断された場合には、第１の再生信号生成部側に切り替えられ、逆に音源位置が受聴者に近いエリアに存在すると判定された場合には、信号分配部側に切り替えられる。信号分配部１０５は、定位音源の信号成分をあらかじめ定められた比率もしくは、定位音源から受聴者までの距離に基づく比率にしたがって２つの信号に分配し、それぞれを第１の再生信号生成部と第２の再生信号生成部とに入力する。一例として、前記定位音源から受聴者までの距離に基づく比率は、第１の再生信号生成部に対する分配割合をａ、第２の再生信号生成部に対する分配割合をｂ、受聴者から定位音源までの距離をｒ、受聴者から受聴者に近いエリアと受聴者から遠いエリアの境界までの距離をｒ１として、次式で与えられる。
【００３５】
【数９】
【００３６】
また、定位しない音源信号の成分については、分配することなく第１の再生信号生成部に入力する。（第２の再生信号生成部に入力される定位しない音源信号の成分は０となる。）第１の再生信号生成部と第２の再生信号生成部は、それぞれ、先に説明した手順に従って各周辺スピーカおよびヘッドホンへの出力信号を算出する。第１の再生信号生成部からヘッドホンへの出力信号と第２の再生信号生成部からヘッドホンへの出力信号は加算され、最終的なヘッドホンへの出力信号が生成される。同様に、第１の再生信号生成部から各周辺スピーカへの出力信号と第２の再生信号生成部から各周辺スピーカへの出力信号は加算され、最終的な周辺スピーカへの出力信号となる。なお、第１の再生信号生成部と第２の再生信号生成部は共に、入力信号が与えられない、もしくは入力信号が０ならば、出力信号が０となることは自明である。
【００３７】
以上で説明した構成により、定位音源が受聴者に近いエリアに存在するのか遠いエリアに存在するのかの違いによって、最適な再生信号生成部を用いて再生される音源位置を制御すると共に、受聴者から遠いエリアと受聴者に近いエリアの境界における音源位置制御の切り替えを平滑化することが出来る。これにより、音源と受聴者との間の距離に係わらず、精度の高い音源位置の制御が可能となり、高い臨場感が実現される。
【００３８】
なお、（１）上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
【００３９】
（２）上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。
【００４０】
（３）上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。前記ＩＣカードまたは前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカードまたは前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカードまたは前記モジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
【００４１】
（４）本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるディジタル信号であるとしてもよい。
【００４２】
また、本発明は、前記コンピュータプログラムまたは前記ディジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記ディジタル信号であるとしてもよい。
【００４３】
また、本発明は、前記コンピュータプログラムまたは前記ディジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
【００４４】
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。
【００４５】
また、前記プログラムまたは前記ディジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記ディジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
【００４６】
（５）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
【産業上の利用可能性】
【００４７】
本発明は、音源から受聴者までの距離にかかわらず正しい音源位置の認識を可能とし、高い臨場感を実現するマルチチャネルオーディオ再生装置等に適用できる。
【符号の説明】
【００４８】
１ 定位音源推定部
２ 音源信号分離部
３ 音源位置パラメータ算出部
４ 再生信号生成部
５ レフトチャネルスピーカ（Ｌ）
６ センターチャネルスピーカ（Ｃ）
７ ライトチャネルスピーカ（Ｒ）
８ サラウンドライトチャネルスピーカ（Ｒｓ）
９ サラウンドレフトチャネルスピーカ（Ｌｓ）
１０ レフトチャネルヘッドホン（Ｌｈ）
１１ ライトチャネルヘッドホン（Ｒｈ）
１０１ 音源位置判定部
１０２ 第１の再生信号生成部
１０３ 第２の再生信号生成部
１０４ スイッチ部
１０５ 信号分配部
２０１ 受聴点
２０２ 定位音源
２０３ レフトチャネルスピーカ（Ｌ）
２０４ センターチャネルスピーカ（Ｃ）
２０５ ライトチャネルスピーカ（Ｒ）
２０６ サラウンドライトチャネルスピーカ（Ｒｓ）
２０７ サラウンドレフトチャネルスピーカ（Ｌｓ）
２０８ レフトチャネルヘッドホン（Ｌｈ）
２０９ ライトチャネルヘッドホン（Ｒｈ）
３０１ 円周（再生音響空間を分割する境界）
３０２ 受聴者に近いエリア
３０３ 受聴者から遠いエリア
４０１、４０２ 矢印
【技術分野】
【０００１】
本発明は、マルチチャネルオーディオの再生において、高い臨場感を実現するマルチチャネルオーディオ再生装置およびマルチチャネルオーディオ再生方法に関する。
【背景技術】
【０００２】
ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）やＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）などの記録メディアや、ディジタルテレビジョン放送の普及によって、マルチチャネルのオーディオ再生の需要が高まっている。マルチチャネルのオーディオ信号として最も多く用いられるフォーマットは、５．１ｃｈサラウンドと呼ばれ、受聴者の前方にレフトチャネル（Ｌ）、センターチャネル（Ｃ）、ライトチャネル（Ｒ）、また、受聴者の後方にサラウンドレフト（Ｌｓ）およびサラウンドライト（Ｒｓ）の計５チャネルを配置する。また、０．１ｃｈの部分は、ＬＦＥ（Ｌｏｗ Ｆｒｅｑｕｅｎｃｙ Ｅｆｆｅｃｔ）チャネルと呼ばれ、主に数百Ｈｚ以下の低域成分のみを記録し、サブウーハ（ＳＷ）と呼ばれる専用のスピーカを接続する。各オーディオチャネルに対してそれぞれ個別のスピーカを接続し、受聴者を取り囲む同一円周上にスピーカを配置することによって、マルチチャネルのオーディオ再生が実現される。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、一般的なオーディオチャネル数のスピーカを同一円周上に配置するオーディオ再生システムには、最適なスピーカ配置や受聴位置に大きな制限があり、適切でないスピーカ配置を行ったり、最適な視聴位置（スイートスポット）から外れた位置で視聴したりすると、高い臨場感を得ることができない。この問題を解決する一例として、遠方に配置する第１のスピーカ群と、耳元近傍に配置する第２のスピーカ群もしくはヘッドホンの組み合わせによる再生装置が本願発明者らによって開示されている（特願２００９−０８４５５１号）。この再生装置に用いられる技術によれば、前記第１のスピーカ群と第２のスピーカ群の間で信号成分を適切に分配してそれぞれの信号エネルギを制御することによって、生成される音像位置を高い精度で制御し、高い臨場感を実現するマルチチャネルオーディオ再生が可能となる。図６は、従来の第１のスピーカ群と第２のスピーカ群を用いるマルチチャネルオーディオ再生装置の構成の一例を示す図である。第１のスピーカ群として、受聴者から離れた位置に配置される周辺スピーカを用い、受聴者の前方にレフトチャネル（Ｌ）５、センターチャネル（Ｃ）６、ライトチャネル（Ｒ）７、また、受聴者の後方にサラウンドレフトチャネル（Ｌｓ）９およびサラウンドライトチャネル（Ｒｓ）８の計５チャネルを配置する。ＬＦＥチャネルについては、再生システムの低域再生能力を補強するために用いるものであり、音像位置の制御には係わらないので図示しない。また、第２のスピーカ群としてはヘッドホンを用いる。ヘッドホンは左耳用のレフトヘッドホンチャネル（Ｌｈ）１０と右耳用のライトヘッドホンチャネル（Ｒｈ）１１から成る。入力されるマルチチャネルオーディオ信号は、一般的な５ｃｈサラウンド信号であり、Ｌ、Ｃ、Ｒ、Ｌｓ、Ｒｓの各チャネルに対応する信号から構成される。定位音源推定部１は、入力されたマルチチャネルオーディオ信号を分析して、再生される音像位置を制御すべき定位音源が存在するかどうかを判定する。定位音源が存在する場合には、音源信号分離部２において定位音源を構成する信号成分とそれ以外の信号成分が分離される。音源位置パラメータ算出部３は、定位音源を構成する信号成分から、再生音響空間において定位音源が定位する位置を求め、音源位置パラメータを算出する。再生信号生成部４は、算出された音源位置パラメータに基づいて、定位音源の信号成分を周辺スピーカとヘッドホンに配分すると共に、先に分離した定位音源以外の信号成分を合成することによって、周辺スピーカおよびヘッドホンそれぞれに対する出力信号を生成する。ここで、前記音源位置パラメータは、受聴者から見た定位音源の方向角γと受聴者から定位音源までの距離ｒである。
【０００４】
図２は、再生信号生成部４において定位音源の信号を周辺スピーカとヘッドホンに配分する処理を説明する図である。図において、２０１は受聴者の中心位置である受聴点、２０２は定位音源の位置、２０３はＬチャネルスピーカ、２０４はＣチャネルスピーカ、２０５はＲチャネルスピーカ、２０６はＲｓチャネルスピーカ、２０７はＬｓチャネルスピーカ、２０８はＬチャネルヘッドホン、２０９はＲチャネルヘッドホン、２１０は受聴点とＬチャネルスピーカおよびＲチャネルスピーカによって囲まれる扇形の領域である。また、各周辺スピーカは受聴点取り囲む円周上に配置され、ＬチャネルスピーカとＲチャネルスピーカおよび、ＬｓチャネルスピーカとＲｓチャネルスピーカは受聴者正面に対して対称に配置され、その円周半径はｒ０である。また、各周辺スピーカとヘッドホンは、あらかじめ定められたレベルの信号が与えられた時に、それぞれのスピーカおよびヘッドホンから同じ大きさの音が再生されていると受聴者が感じるように出力レベルが調整される。一般的に、マルチチャネルオーディオ信号において、Ｃチャネル信号はダイアログ（せりふ）を中心とする信号成分によって構成されており、その他効果音など受聴者を取り囲む音響空間内に配置される音源は、Ｌ、Ｒ、Ｌｓ、Ｒｓ各チャネルの信号成分によって構成される。よって、定位音源の位置を制御する周辺スピーカとしてＣチャネルを除くＬ、Ｒ、Ｌｓ、Ｒｓの各スピーカを用いるものとする。受聴点および隣り合う２つの周辺スピーカによって作られる扇形の内部に定位音源が存在すれば、各頂点に配置されたスピーカ（受聴点近傍のヘッドホンと２つの周辺スピーカ）から出力される再生信号の合成によって、定位音源の位置が再現される。図２において、定位音源２０２は受聴点２０１とＬチャネルスピーカ２０３およびＲチャネルスピーカ２０５によって囲まれる扇形の領域２１０の中にある。したがって、定位音源２０２の位置を制御するのに用いるスピーカは、受聴点近傍のヘッドホンとＬチャネルスピーカおよびＲチャネルスピーカとなる。定位音源２０２の信号成分をＸとし、受聴者から見た定位音源の方向角γと受聴者から定位音源までの距離ｒが与えられるとき、各スピーカに対する信号の配分は次のとおりである。
【０００５】
まず、定位信号成分Ｘは、式１に示す左側信号Ｘｌと、式２に示す右側信号Ｘｒとに配分される。
【０００６】
【数１】
【０００７】
【数２】
【０００８】
ここで方向角Ａは、受聴者正面に対するＬチャネルスピーカの方向を表す角度である。
【０００９】
続いて、左側信号Ｘｌは、式３に示すＬチャネルスピーカ信号Ｘｌ＿Ｌと、式４に示すＬｈチャネルヘッドホン信号Ｘｌ＿Ｌｈとに配分される。
【００１０】
【数３】
【００１１】
【数４】
【００１２】
同様に、右側信号Ｘｒは、式５に示すＲチャネルスピーカ信号Ｘｒ＿Ｒと、式６に示すＲｈチャネルヘッドホン信号Ｘｒ＿Ｒｈとに配分される。
【００１３】
【数５】
【００１４】
【数６】
【００１５】
以上によって、定位音源２０２が受聴点２０１とＬチャネルスピーカ２０３およびＲチャネルスピーカ２０５によって囲まれる扇形の領域２１０の中にある場合について、扇形の頂点を成す各チャネルのスピーカおよびヘッドホンに配分される信号が算出された。定位音源２０２が他の隣り合う２つの周辺スピーカと受聴点によって囲まれる扇形領域にある場合も、以上の説明と同様にして、扇形の頂点を成す各チャネルのスピーカおよびヘッドホンに配分される信号が算出できる。
【００１６】
各周辺スピーカおよびヘッドホンに配分された定位音源の信号成分は、先に分離された定位しない音源の信号成分と合成された後、各周辺スピーカおよびヘッドホンへ出力される。
【００１７】
従来の遠方に配置する第１のスピーカ群と、耳元近傍に配置する第２のスピーカ群とを用いるマルチチャネルオーディオの再生システムにおいては、前記第１のスピーカ群と第２のスピーカ群のそれぞれから再生される信号エネルギの比率を変化させることによって、定位音源の位置の制御を行っていた。再生される信号エネルギの比率による制御は、音源位置が受聴者から比較的離れている（たとえば、音源位置が受聴者から半径数十ｃｍより外側にある）場合、それぞれのスピーカから再生される信号成分の合成によって仮想音像が生成され、受聴者は音源位置を正しく認識することができる。しかしながら、音源位置が受聴者に非常に近い（たとえば、音源位置が受聴者から半径数十ｃｍより内側にある）場合、再生される信号エネルギの配分は、耳元近傍に配置される第２のスピーカ群への配分が非常に大きくなる。つまり、前記仮想音像の生成において第２のスピーカ群から再生される信号成分が支配的となり、第１のスピーカ群から再生される信号成分の寄与度は非常に小さくなる。受聴者に非常に近いエリアにおいて音源位置を制御するためには、寄与度の小さい第１のスピーカ群からの信号成分量を正しく与える信号エネルギ配分を行わなければならないが、第１のスピーカ群は受聴者から遠方に配置されるスピーカであり、小さな寄与度に対応する細かい信号エネルギ配分の制御を、遠方のスピーカを用いて正しく行うことは非常に困難である。結果として、受聴者に近いエリアの音源位置の制御は精度が低下し、受聴者は正しい音源位置を認識することが困難となる。
【００１８】
本発明は前記課題を解決するものであって、受聴者に近いエリアの音源位置の制御の精度を向上することによって、音源から受聴者までの距離にかかわらず正しい音源位置の認識を可能とし、高い臨場感を実現するマルチチャネルオーディオ再生装置を提供するものである。
【００１９】
また、受聴者に近いエリアの音源位置の制御の精度を向上するために、受聴者から遠いエリアと受聴者に近いエリアの境界で音源位置制御を切り替えると、切り替えによる不連続が発生し、受聴者が違和感を受けることがある。本発明は受聴者に近いエリアの音源位置の制御の精度を向上することによって、音源から受聴者までの距離にかかわらず正しい音源位置の認識を可能とすると共に、受聴者から遠いエリアと受聴者に近いエリアの境界における音源位置制御の切り替えを平滑化することにより、高い臨場感を実現するマルチチャネルオーディオ再生装置を提供するものである。
【課題を解決するための手段】
【００２０】
本発明のマルチチャネルオーディオ再生装置は、マルチチャネルオーディオ信号を入力とし、入力されたマルチチャネルオーディオ信号に定位音源が存在するか否かを判定し、定位音源が存在する場合に定位音源信号を推定する定位音源推定部と、入力マルチチャネルオーディオ信号を定位音源信号と定位しない音源信号のそれぞれの成分に分離する音源信号分離部と、定位音源を構成する信号成分から音源位置パラメータを算出する音源位置パラメータ部と、算出された音源位置パラメータによって示される音源位置が受聴者に近いエリアに存在するか、もしくは遠いエリアに存在するかを判定する音源位置判定部と、音源位置が受聴者から遠いエリアに存在する場合に、音源位置パラメータによって示される音源位置を制御する再生信号を生成する第１の再生信号生成部と、音源位置が受聴者に近いエリアに存在する場合に、音源位置パラメータによって示される音源位置を制御する再生信号を生成する第２の再生信号生成部と、前記第１の再生信号生成部と第２の再生信号生成部を切り替えるスイッチ部とを備える。
【００２１】
また、本発明のマルチチャネルオーディオ再生装置は、マルチチャネルオーディオ信号を入力とし、入力されたマルチチャネルオーディオ信号に定位音源が存在するか否かを判定し、定位音源が存在する場合に定位音源信号を推定する定位音源推定部と、入力マルチチャネルオーディオ信号を定位音源信号と定位しない音源信号のそれぞれの成分に分離する音源信号分離部と、定位音源を構成する信号成分から音源位置パラメータを算出する音源位置パラメータ部と、算出された音源位置パラメータによって示される音源位置が受聴者に近いエリアに存在するか、もしくは遠いエリアに存在するかを判定する音源位置判定部と、音源位置が受聴者から遠いエリアに存在する場合に、音源位置パラメータによって示される音源位置を制御する再生信号を生成する第１の再生信号生成部と、音源位置が受聴者に近いエリアに存在する場合に、音源位置パラメータによって示される音源位置を制御する再生信号を生成する第２の再生信号生成部と、定位音源および定位しない音源信号を分配する信号分配部と、定位音源および定位しない音源信号を前記第１の再生信号生成部のみに入力するか、もしくは信号分配部を通して第１および第２の再生信号生成部の両方に入力するかを切り替えるスイッチ部とを備え、第１の再生信号生成部の出力と第２の再生信号生成部の出力を加算することによって出力再生信号を生成する。
【発明の効果】
【００２２】
本発明を用いることにより、マルチチャネルオーディオ信号に含まれる音源が受聴者から遠いか近いかに係わらず、再生される音源位置を高い精度で制御することができるため、高い臨場感の実現が可能となる。
【図面の簡単な説明】
【００２３】
【図１】本発明の実施の形態１に係るマルチチャネルオーディオ再生装置の構成を示す図である。
【図２】定位音源の信号を周辺スピーカとヘッドホンに配分する処理を説明する図である。
【図３】定位音源の位置の判定法を説明する図である。
【図４】本実施の形態１に係る第２の再生信号生成部における信号処理を説明する図である。
【図５】本発明の実施の形態２に係るマルチチャネルオーディオ再生装置の構成を示す図である。
【図６】従来の再生装置の構成を示す図である。
【発明を実施するための形態】
【００２４】
（実施の形態１）
図１は、本発明の実施の形態１に係るマルチチャネルオーディオ再生装置の構成を示す図である。先に説明した従来のマルチチャネルオーディオ再生装置で用いられる処理部と同じ機能を有する部については、図中において同じ番号を付し詳細な説明は省略する。図１において、本発明のマルチチャネルオーディオ再生装置は、図４に示す従来のマルチチャネルオーディオ再生装置に対して、音源位置判定部１０１を新たに設けると共に、再生信号生成部４を第１の再生信号生成部１０２と第２の再生信号生成部１０３をスイッチ部１０４によって切り替える様に構成したものである。
【００２５】
定位音源推定部１は、入力されたマルチチャネルオーディオ信号を分析して、再生される音像位置を制御すべき定位音源が存在するかどうかを判定する。定位音源が存在する場合には、音源信号分離部２において定位音源を構成する信号成分とそれ以外の信号成分が分離される。音源位置パラメータ算出部３は、定位音源を構成する信号成分から、再生音響空間において定位音源が定位する位置を求め、音源位置パラメータを算出する。音源位置判定部１０１は、算出された音源位置パラメータから、再生音響空間における定位音源の位置が、受聴者から遠いか近いかを判定する。図３は、音源位置判定部１０１が再生音響空間における定位音源の位置が、受聴者から遠いか近いかを判定する方法を説明する図である。先に説明した様に、音源位置パラメータは受聴者から見た定位音源の方向角γと受聴者から定位音源までの距離ｒによって与えられる。再生音響空間は、受聴者の中心である受聴点２０１を中心とする半径ｒ１の円周３０１を境界として、受聴者に近いエリア３０２と受聴者から遠いエリア３０３に分割されている。半径ｒ１として好ましい値の範囲は０．２ｍから１．０ｍ程度である。与えられた定位音源までの距離ｒがｒ１以下であれば、定位音源は受聴者に近いエリアに存在し、逆にｒがｒ１よりも大きければ、定位音源は受聴者から遠いエリアに存在することになる。音源位置判定部は、定位音源が受聴者から遠いエリアにあると判定された場合に第１の再生信号生成部を選択し、定位音源が受聴者から近いエリアにあると判定された場合に第２の再生信号生成部が選択されるように、スイッチ部１０４を制御する。
【００２６】
次に、再生信号生成部の動作について説明する。定位音源が受聴者から遠いエリアにあると判定された場合に選択される第１の再生信号生成部は、従来のマルチチャネルオーディオ再生装置における再生信号生成部と同一の機能を有しており、先に説明した手法に従って入力された定位音源信号を各周辺スピーカおよびヘッドホンに配分した後、定位しない音源信号と合成して出力する。定位音源が受聴者から近いエリアにあると判定された場合に選択される第２の再生信号生成部は、定位音源の信号成分をヘッドホンのみに配分し、人間の聴覚特性に基づく信号処理を適用することによって、定位音源の位置を制御する。
【００２７】
図４は、第２の再生信号生成部における信号処理を説明する図である。定位音源２０２は、受聴点２０１に対して方向角γと距離ｒで示される位置に存在する。定位音源から受聴者の左耳に相当するレフトヘッドホンＬｈへの信号伝達経路は矢印４０１で示され、また定位音源から受聴者の右耳に相当するライトヘッドホンＲｈへの信号伝達経路は矢印４０２で示される。つまり、受聴者は定位音源２０２から発せられた信号に対して、矢印４０１で示される信号伝達経路および矢印４０２で示される伝達経路の両方の伝達特性を付加した信号を受聴していることになる。これらの伝達特性は、頭部伝達関数ＨＲＴＦ（Ｈｅａｄ Ｒｅｌａｔｅｄ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）として知られており、元の音源信号に対して信号処理によってＨＲＴＦの特性を付加することにより、あたかも音源がＨＲＴＦによって示される伝達経路の先にあるように感じさせることができる。一般的にＨＲＴＦは、インパルス応答あるいはＦＩＲフィルタ係数として与えられ、元の音源信号に対してＨＲＴＦの特性を付加する処理は畳み込み演算によって実現される。すなわち、定位音源の信号成分をＸ、矢印４０１で示される伝達経路のＨＲＴＦをＨＬｈ、矢印４０２で示される伝達経路のＨＲＴＦをＨＲｈ、畳み込み演算を表す記号を＊として、レフトチャネルヘッドホンＬｈへの出力信号Ｘ＿ＬｈおよびライトチャネルヘッドホンＲｈへの出力信号Ｘ＿Ｒｈは、それぞれ次の式７および式８のように求められる。
【００２８】
【数７】
【００２９】
【数８】
【００３０】
信号処理において使用するＨＲＴＦは、あらかじめ測定した伝達特性をＲＯＭなどの記憶媒体に保持しておく。ただし、定位音源２０２の位置によってＨＲＴＦの特性は変化するため、必要なすべてのＨＲＴＦを保持しておくことは困難である。しかしながら、一般にＨＲＴＦは方向角γに依存する周波数特性と、受聴点から音源までの距離に依存するゲイン特性に分離することができるため、代表的な方向角γに対する周波数特性のみを保持しておき、受聴点から音源までの距離ｒに応じてゲインを調整することにより、ＨＲＴＦの保持に必要な記憶容量を削減することができる。
【００３１】
さらに、第２の再生信号生成部１０３は、音源信号分離部２において分離された定位しない音源信号の成分を周辺スピーカの各チャネルに配分する。以上の処理によって、受聴者に近いエリアに存在する定位音源はヘッドホンから再生され、それ以外の定位しない音源の信号成分は周辺スピーカから再生される。
【００３２】
以上で説明した構成により、定位音源が受聴者に近いエリアに存在するのか遠いエリアに存在するのかの違いによって、最適な再生信号生成部を用いて再生される音源位置を制御することができる。これにより、音源と受聴者との間の距離に係わらず、精度の高い音源位置の制御が可能となり、高い臨場感が実現される。
【００３３】
なお、本実施の形態においては、受聴者に近いエリア３０２と受聴者から遠いエリア３０３の境界は半径ｒ１の円としているが、方向角γによって半径ｒ１が異なるような境界（例えば楕円）を用いてもよい。なぜならば、人間の聴覚特性は方向角γによって感度や距離感覚が異なるためである。その場合、音源位置判定部は方向角γと距離ｒの両方の音源位置パラメータを参照して、定位音源がどちらのエリアに存在するかを判定する様に構成される。
【００３４】
（実施の形態２）
図５は、本発明の実施の形態２に係るマルチチャネルオーディオ再生装置の構成を示す図である。先に説明した本発明の実施の形態１のマルチチャネルオーディオ再生装置で用いられる処理部と同じ機能を有する部については、図中において同じ番号を付し詳細な説明は省略する。本実施の形態２の構成では、図１に示すマルチメディアオーディオ再生装置の再生信号生成部４に信号分配部１０５を追加し、音源信号分離部２から入力される音源信号を、スイッチ１０４を介して、第１の再生信号生成部１０２のみに入力するか、もしくは、信号分配部１０５を通して第１の再生信号生成部１０２と第２の再生信号生成部１０３のそれぞれに分配して入力するかを切り替える。また、第１の再生信号生成部の出力と第２の再生信号生成部の出力は加算されてから出力される。スイッチ１０４の切り替えの制御は本発明の実施の形態１の構成と同様であり、音源位置判定部１０１によって、音源位置が受聴者から遠いエリアに存在すると判断された場合には、第１の再生信号生成部側に切り替えられ、逆に音源位置が受聴者に近いエリアに存在すると判定された場合には、信号分配部側に切り替えられる。信号分配部１０５は、定位音源の信号成分をあらかじめ定められた比率もしくは、定位音源から受聴者までの距離に基づく比率にしたがって２つの信号に分配し、それぞれを第１の再生信号生成部と第２の再生信号生成部とに入力する。一例として、前記定位音源から受聴者までの距離に基づく比率は、第１の再生信号生成部に対する分配割合をａ、第２の再生信号生成部に対する分配割合をｂ、受聴者から定位音源までの距離をｒ、受聴者から受聴者に近いエリアと受聴者から遠いエリアの境界までの距離をｒ１として、次式で与えられる。
【００３５】
【数９】
【００３６】
また、定位しない音源信号の成分については、分配することなく第１の再生信号生成部に入力する。（第２の再生信号生成部に入力される定位しない音源信号の成分は０となる。）第１の再生信号生成部と第２の再生信号生成部は、それぞれ、先に説明した手順に従って各周辺スピーカおよびヘッドホンへの出力信号を算出する。第１の再生信号生成部からヘッドホンへの出力信号と第２の再生信号生成部からヘッドホンへの出力信号は加算され、最終的なヘッドホンへの出力信号が生成される。同様に、第１の再生信号生成部から各周辺スピーカへの出力信号と第２の再生信号生成部から各周辺スピーカへの出力信号は加算され、最終的な周辺スピーカへの出力信号となる。なお、第１の再生信号生成部と第２の再生信号生成部は共に、入力信号が与えられない、もしくは入力信号が０ならば、出力信号が０となることは自明である。
【００３７】
以上で説明した構成により、定位音源が受聴者に近いエリアに存在するのか遠いエリアに存在するのかの違いによって、最適な再生信号生成部を用いて再生される音源位置を制御すると共に、受聴者から遠いエリアと受聴者に近いエリアの境界における音源位置制御の切り替えを平滑化することが出来る。これにより、音源と受聴者との間の距離に係わらず、精度の高い音源位置の制御が可能となり、高い臨場感が実現される。
【００３８】
なお、（１）上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
【００３９】
（２）上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。
【００４０】
（３）上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。前記ＩＣカードまたは前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカードまたは前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカードまたは前記モジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
【００４１】
（４）本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるディジタル信号であるとしてもよい。
【００４２】
また、本発明は、前記コンピュータプログラムまたは前記ディジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記ディジタル信号であるとしてもよい。
【００４３】
また、本発明は、前記コンピュータプログラムまたは前記ディジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
【００４４】
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。
【００４５】
また、前記プログラムまたは前記ディジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記ディジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
【００４６】
（５）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
【産業上の利用可能性】
【００４７】
本発明は、音源から受聴者までの距離にかかわらず正しい音源位置の認識を可能とし、高い臨場感を実現するマルチチャネルオーディオ再生装置等に適用できる。
【符号の説明】
【００４８】
１ 定位音源推定部
２ 音源信号分離部
３ 音源位置パラメータ算出部
４ 再生信号生成部
５ レフトチャネルスピーカ（Ｌ）
６ センターチャネルスピーカ（Ｃ）
７ ライトチャネルスピーカ（Ｒ）
８ サラウンドライトチャネルスピーカ（Ｒｓ）
９ サラウンドレフトチャネルスピーカ（Ｌｓ）
１０ レフトチャネルヘッドホン（Ｌｈ）
１１ ライトチャネルヘッドホン（Ｒｈ）
１０１ 音源位置判定部
１０２ 第１の再生信号生成部
１０３ 第２の再生信号生成部
１０４ スイッチ部
１０５ 信号分配部
２０１ 受聴点
２０２ 定位音源
２０３ レフトチャネルスピーカ（Ｌ）
２０４ センターチャネルスピーカ（Ｃ）
２０５ ライトチャネルスピーカ（Ｒ）
２０６ サラウンドライトチャネルスピーカ（Ｒｓ）
２０７ サラウンドレフトチャネルスピーカ（Ｌｓ）
２０８ レフトチャネルヘッドホン（Ｌｈ）
２０９ ライトチャネルヘッドホン（Ｒｈ）
３０１ 円周（再生音響空間を分割する境界）
３０２ 受聴者に近いエリア
３０３ 受聴者から遠いエリア
４０１、４０２ 矢印
【特許請求の範囲】
【請求項１】
受聴者の周辺に配置する第１のスピーカ群と、耳元近傍に配置する第２のスピーカ群を用いてマルチチャネルオーディオ信号を再生するマルチチャネルオーディオ再生装置であって、
入力マルチチャネル信号に含まれる定位音源を推定する定位音源推定部と、
定位音源が存在する場合に、入力マルチチャネル信号を定位音源の信号成分とそれ以外の定位しない音源信号の成分に分離する音源信号分離部と、
定位音源の位置を算出してパラメータ化する音源位置パラメータ算出部と、
音源位置パラメータに基づいて、定位音源が受聴者に近いエリアに存在するか、もしくは遠いエリアに存在するかを判定する音源位置判定部と、
定位音源が受聴者から遠いエリアに存在する場合に音源位置を制御する再生信号を生成する第１の再生信号生成部と、
定位音源が受聴者に近いエリアに存在する場合に音源位置を制御する再生信号を生成する第２の再生信号生成部と、
音源位置判定部の判定結果に従って、第１の再生信号生成部と第２の再生信号生成部を切り替えるスイッチ部と
を備えるマルチチャネルオーディオ再生装置。
【請求項２】
前記音源位置パラメータは受聴者に対する定位音源の方向角γと距離ｒであり、前記受聴者に近いエリアと受聴者から遠いエリアの境界は、方向角γに対してあらかじめ定められた距離ｒ１によって規定され、前記音源位置判定部は、方向角γにおける距離ｒと距離ｒ１の大きさを比較することにより、音源位置を判定する
請求項１に記載のマルチチャネルオーディオ再生装置。
【請求項３】
前記第１の再生信号生成部は、前記第１のスピーカ群と前記第２のスピーカ群との間で、定位音源の信号エネルギを受聴者に対する方向角γと距離ｒにしたがって配分することによって再生される音源位置を制御し、
前記第２の再生信号生成部は、音源から受聴者までの伝達特性を付加した音源信号を、前記第２のスピーカ群へ出力することによって再生される音源位置を制御する
請求項１に記載のマルチチャネルオーディオ再生装置。
【請求項４】
前記距離ｒ１は、人間の聴覚特性に合わせて方向角γに対応して定められる値である
請求項２に記載のマルチチャネルオーディオ再生装置。
【請求項５】
前記距離ｒ１は、０．２ｍから１．０ｍ程度の範囲で定められる
請求項２に記載のマルチチャネルオーディオ再生装置。
【請求項６】
受聴者の周辺に配置する第１のスピーカ群と、耳元近傍に配置する第２のスピーカ群を用いてマルチチャネルオーディオ信号を再生するマルチチャネルオーディオ再生装置であって、
入力マルチチャネル信号に含まれる定位音源を推定する定位音源推定部と、
定位音源が存在する場合に、入力マルチチャネル信号を定位音源の信号成分とそれ以外の定位しない音源信号の成分に分離する音源信号分離部と、
定位音源の位置を算出してパラメータ化する音源位置パラメータ算出部と、
音源位置パラメータに基づいて、定位音源が受聴者に近いエリアに存在するか、もしくは遠いエリアに存在するかを判定する音源位置判定部と、
定位音源が受聴者から遠いエリアに存在する場合に音源位置を制御する再生信号を生成する第１の再生信号生成部と、
定位音源が受聴者に近いエリアに存在する場合に音源位置を制御する再生信号を生成する第２の再生信号生成部と、
定位音源の信号成分とそれ以外の定位しない音源信号の成分を分配する信号分配部と、
音源位置判定部の判定結果に従って、定位音源の信号成分とそれ以外の定位しない音源信号の成分を、第１の再生信号生成部にのみ入力するか、もしくは、信号分配部を通して第１の再生信号生成部と第２の再生信号生成部の両方に入力するかを切り替えるスイッチ部と
を備え、
第１の再生信号生成部の出力と第２の再生信号生成部の出力を加算することによって出力再生信号を生成する
マルチチャネルオーディオ再生装置。
【請求項７】
前記信号分配部は、前記定位音源の信号成分を、あらかじめ定められた比率に従って２つの信号に分配し、それぞれを第１の再生信号生成部と第２の再生信号生成部に入力する
請求項６に記載のマルチチャネルオーディオ再生装置。
【請求項８】
前記信号分配部は、前記定位音源の信号成分を、定位音源から受聴者までの距離に基づく比率に従って２つの信号に分配し、それぞれを第１の再生信号生成部と第２の再生信号生成部に入力する
請求項６に記載のマルチチャネルオーディオ再生装置。
【請求項９】
受聴者の周辺に配置する第１のスピーカ群と、耳元近傍に配置する第２のスピーカ群を用いてマルチチャネルオーディオ信号を再生するマルチチャネルオーディオ再生方法であって、
入力マルチチャネル信号に含まれる定位音源を推定するステップと、
定位音源が存在する場合に、入力マルチチャネル信号を定位音源の信号成分とそれ以外の信号の成分に分離するステップと、
定位音源の位置を算出して音源位置パラメータ化するステップと、
音源位置パラメータに基づいて、定位音源が受聴者に近いエリアに存在するか、もしくは遠いエリアに存在するかの音源位置判定を行うステップと、
定位音源が受聴者から遠いエリアに存在する場合に音源位置を制御する再生信号を生成する第１の再生信号生成のステップと、
定位音源が受聴者に近いエリアに存在する場合に音源位置を制御する再生信号を生成する第２の再生信号生成のステップと、
音源位置判定のステップの判定結果に従って、第１の再生信号生成のステップと第２の再生信号生成のステップを切り替えるステップから構成される
マルチチャネルオーディオ再生方法。
【請求項１０】
請求項９に記載のマルチチャネルオーディオ再生方法に含まれる各ステップを、コンピュータに実行させるためのプログラム。
【請求項１】
受聴者の周辺に配置する第１のスピーカ群と、耳元近傍に配置する第２のスピーカ群を用いてマルチチャネルオーディオ信号を再生するマルチチャネルオーディオ再生装置であって、
入力マルチチャネル信号に含まれる定位音源を推定する定位音源推定部と、
定位音源が存在する場合に、入力マルチチャネル信号を定位音源の信号成分とそれ以外の定位しない音源信号の成分に分離する音源信号分離部と、
定位音源の位置を算出してパラメータ化する音源位置パラメータ算出部と、
音源位置パラメータに基づいて、定位音源が受聴者に近いエリアに存在するか、もしくは遠いエリアに存在するかを判定する音源位置判定部と、
定位音源が受聴者から遠いエリアに存在する場合に音源位置を制御する再生信号を生成する第１の再生信号生成部と、
定位音源が受聴者に近いエリアに存在する場合に音源位置を制御する再生信号を生成する第２の再生信号生成部と、
音源位置判定部の判定結果に従って、第１の再生信号生成部と第２の再生信号生成部を切り替えるスイッチ部と
を備えるマルチチャネルオーディオ再生装置。
【請求項２】
前記音源位置パラメータは受聴者に対する定位音源の方向角γと距離ｒであり、前記受聴者に近いエリアと受聴者から遠いエリアの境界は、方向角γに対してあらかじめ定められた距離ｒ１によって規定され、前記音源位置判定部は、方向角γにおける距離ｒと距離ｒ１の大きさを比較することにより、音源位置を判定する
請求項１に記載のマルチチャネルオーディオ再生装置。
【請求項３】
前記第１の再生信号生成部は、前記第１のスピーカ群と前記第２のスピーカ群との間で、定位音源の信号エネルギを受聴者に対する方向角γと距離ｒにしたがって配分することによって再生される音源位置を制御し、
前記第２の再生信号生成部は、音源から受聴者までの伝達特性を付加した音源信号を、前記第２のスピーカ群へ出力することによって再生される音源位置を制御する
請求項１に記載のマルチチャネルオーディオ再生装置。
【請求項４】
前記距離ｒ１は、人間の聴覚特性に合わせて方向角γに対応して定められる値である
請求項２に記載のマルチチャネルオーディオ再生装置。
【請求項５】
前記距離ｒ１は、０．２ｍから１．０ｍ程度の範囲で定められる
請求項２に記載のマルチチャネルオーディオ再生装置。
【請求項６】
受聴者の周辺に配置する第１のスピーカ群と、耳元近傍に配置する第２のスピーカ群を用いてマルチチャネルオーディオ信号を再生するマルチチャネルオーディオ再生装置であって、
入力マルチチャネル信号に含まれる定位音源を推定する定位音源推定部と、
定位音源が存在する場合に、入力マルチチャネル信号を定位音源の信号成分とそれ以外の定位しない音源信号の成分に分離する音源信号分離部と、
定位音源の位置を算出してパラメータ化する音源位置パラメータ算出部と、
音源位置パラメータに基づいて、定位音源が受聴者に近いエリアに存在するか、もしくは遠いエリアに存在するかを判定する音源位置判定部と、
定位音源が受聴者から遠いエリアに存在する場合に音源位置を制御する再生信号を生成する第１の再生信号生成部と、
定位音源が受聴者に近いエリアに存在する場合に音源位置を制御する再生信号を生成する第２の再生信号生成部と、
定位音源の信号成分とそれ以外の定位しない音源信号の成分を分配する信号分配部と、
音源位置判定部の判定結果に従って、定位音源の信号成分とそれ以外の定位しない音源信号の成分を、第１の再生信号生成部にのみ入力するか、もしくは、信号分配部を通して第１の再生信号生成部と第２の再生信号生成部の両方に入力するかを切り替えるスイッチ部と
を備え、
第１の再生信号生成部の出力と第２の再生信号生成部の出力を加算することによって出力再生信号を生成する
マルチチャネルオーディオ再生装置。
【請求項７】
前記信号分配部は、前記定位音源の信号成分を、あらかじめ定められた比率に従って２つの信号に分配し、それぞれを第１の再生信号生成部と第２の再生信号生成部に入力する
請求項６に記載のマルチチャネルオーディオ再生装置。
【請求項８】
前記信号分配部は、前記定位音源の信号成分を、定位音源から受聴者までの距離に基づく比率に従って２つの信号に分配し、それぞれを第１の再生信号生成部と第２の再生信号生成部に入力する
請求項６に記載のマルチチャネルオーディオ再生装置。
【請求項９】
受聴者の周辺に配置する第１のスピーカ群と、耳元近傍に配置する第２のスピーカ群を用いてマルチチャネルオーディオ信号を再生するマルチチャネルオーディオ再生方法であって、
入力マルチチャネル信号に含まれる定位音源を推定するステップと、
定位音源が存在する場合に、入力マルチチャネル信号を定位音源の信号成分とそれ以外の信号の成分に分離するステップと、
定位音源の位置を算出して音源位置パラメータ化するステップと、
音源位置パラメータに基づいて、定位音源が受聴者に近いエリアに存在するか、もしくは遠いエリアに存在するかの音源位置判定を行うステップと、
定位音源が受聴者から遠いエリアに存在する場合に音源位置を制御する再生信号を生成する第１の再生信号生成のステップと、
定位音源が受聴者に近いエリアに存在する場合に音源位置を制御する再生信号を生成する第２の再生信号生成のステップと、
音源位置判定のステップの判定結果に従って、第１の再生信号生成のステップと第２の再生信号生成のステップを切り替えるステップから構成される
マルチチャネルオーディオ再生方法。
【請求項１０】
請求項９に記載のマルチチャネルオーディオ再生方法に含まれる各ステップを、コンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−４９６５２（Ｐ２０１２−４９６５２Ａ）
【公開日】平成２４年３月８日（２０１２．３．８）
【国際特許分類】
【出願番号】特願２０１０−１８７６９２（Ｐ２０１０−１８７６９２）
【出願日】平成２２年８月２４日（２０１０．８．２４）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２４年３月８日（２０１２．３．８）
【国際特許分類】
【出願日】平成２２年８月２４日（２０１０．８．２４）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]