音声信号処理装置および音声信号処理方法
【課題】理想的なサラウンド効果を作り出すことが可能な音声信号処理装置を提供する。
【解決手段】音声信号処理装置は、頭部伝達関数を複数チャンネルの各チャンネルの音声信号に畳み込む処理部を備え、当該処理部は、複数チャンネルのそれぞれについて、リスナの両耳の近傍の位置に、音響電気変換手段を設置し、想定音源位置における、リスナの位置にダミーヘッドまたは人間が存在する状態での頭部伝達関数を、ダミーヘッドまたは前記人間が存在しない素の状態の伝達特性により正規化した正規化頭部伝達関数を、２個のスピーカ位置における、リスナの位置にダミーヘッドまたは人間が存在する状態での頭部伝達関数を、ダミーヘッドまたは人間が存在しない素の状態の伝達特性により正規化した正規化頭部伝達関数を用いて正規化した２重正規化頭部伝達関数のデータを記憶する記憶部と、そのデータを記憶部から読み出して音声信号に畳み込む畳み込み部とを備える。
【解決手段】音声信号処理装置は、頭部伝達関数を複数チャンネルの各チャンネルの音声信号に畳み込む処理部を備え、当該処理部は、複数チャンネルのそれぞれについて、リスナの両耳の近傍の位置に、音響電気変換手段を設置し、想定音源位置における、リスナの位置にダミーヘッドまたは人間が存在する状態での頭部伝達関数を、ダミーヘッドまたは前記人間が存在しない素の状態の伝達特性により正規化した正規化頭部伝達関数を、２個のスピーカ位置における、リスナの位置にダミーヘッドまたは人間が存在する状態での頭部伝達関数を、ダミーヘッドまたは人間が存在しない素の状態の伝達特性により正規化した正規化頭部伝達関数を用いて正規化した２重正規化頭部伝達関数のデータを記憶する記憶部と、そのデータを記憶部から読み出して音声信号に畳み込む畳み込み部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声信号処理装置および音声信号処理方法に関する。本発明は、多チャンネルサラウンド方式などの２チャンネル以上の音声信号を、例えばテレビ装置に配置される２チャンネル用の電気音響再生手段により音響再生させるようにするための音声信号処理を行う音声信号処理装置および音声信号処理方法に関する。特に、テレビ装置に配置される、左右のスピーカなどの電気音響変換手段により音響再生したときに、視聴者（リスナ）の前方位置など、予め想定された位置に音源が仮想的に存在するように聴取できるようにする発明に関する。
【背景技術】
【０００２】
例えば特許文献１（ＷＯ９５／１３６９０号公報）や特許文献２（特開平０３−２１４８９７号公報）には、仮想音像定位と呼ばれる技術が開示されている。
【０００３】
この仮想音像定位は、例えばテレビ装置に配置される左右のスピーカなどで再生したときに、あたかも視聴者（リスナ）の前方の左右位置など、予め想定された位置に音源、例えばスピーカが存在するように再生される（仮想的に当該位置に音像を定位させる）ようにするもので、次のようにして実現される。
【０００４】
図２０は、左右２チャンネルステレオ信号を、例えばテレビ装置に配置される左右のスピーカで再生する場合における仮想音像定位の手法を説明するための図である。
【０００５】
図２０に示すように、例えば視聴者の両耳の近傍の位置（測定点位置）に、マイクロホンＭＬおよびＭＲを設置する。また、仮想音像定位させたい位置にスピーカＳＰＬおよびＳＰＲを配置する。ここで、スピーカは、電気音響変換部の一例であり、マイクロホンは、音響電気変換部の一例である。
【０００６】
そして、ダミーヘッド１（または人間つまり視聴者自体でもよい）が存在する状態で、まず、一方のチャンネル、例えば左チャンネルのスピーカＳＰＬで、例えばインパルスを音響再生する。そして、その音響再生により発せられたインパルスを上記マイクロホンＭＬおよびＭＲのそれぞれでピックアップして、左チャンネル用の頭部伝達関数を測定する。この例の場合、頭部伝達関数は、インパルスレスポンスとして測定する。
【０００７】
この場合、この左チャンネル用の頭部伝達関数としてのインパルスレスポンスには、図２０に示すように、マイクロホンＭＬでピックアップした左チャンネル用のスピーカＳＰＬからの音波のインパルスレスポンス（以下、左主成分のインパルスレスポンスという）ＨＬｄと、マイクロホンＭＲでピックアップした左チャンネル用のスピーカＳＰＬからの音波のインパルスレスポンス（以下、左クロストーク成分のインパルスレスポンスという）ＨＬｃとを含む。
【０００８】
次に、右チャネルのスピーカＳＰＲで同様にインパルスを音響再生し、その再生により発せられたインパルスを上記マイクロホンＭＬおよびＭＲのそれぞれでピックアップする。そして、右チャンネル用の頭部伝達関数、つまり、右チャンネル用のインパルスレスポンスを測定する。
【０００９】
この場合、右チャンネル用の頭部伝達関数としてのインパルスレスポンスには、マイクロホンＭＲでピックアップした右チャンネル用のスピーカＳＰＲからの音波のインパルスレスポンス（以下、右主成分のインパルスレスポンスという）ＨＲｄと、マイクロホンＭＬでピックアップした右チャンネル用のスピーカＳＰＲからの音波のインパルスレスポンス（以下、右クロストーク成分のインパルスレスポンスという）ＨＲｃとを含む。
【００１０】
そして、測定して得た、左チャンネル用の頭部伝達関数および右チャネル用の頭部伝達関数のインパルスレスポンスを、テレビ装置に配置される左右のスピーカのそれぞれに供給する音声信号に、そのまま畳み込むようにする。すなわち、左チャンネルの音声信号に対して、測定して得た左チャンネル用の頭部伝達関数としての左主成分のインパルスレスポンスおよび左クロストーク成分のインパルスレスポンスを、そのまま畳み込む。また、右チャンネルの音声信号に対して、測定して得た右チャンネル用の頭部伝達関数としての右主成分のインパルスレスポンスおよび右クロストーク成分のインパルスレスポンスを、そのまま畳み込む。
【００１１】
このようにすると、テレビ装置に配置される左右のスピーカで音響再生されているにもかかわらず、例えば左右２チャンネルステレオ音声の場合であれば、あたかも視聴者の前方の所望の位置に設置された左右のスピーカで音響再生されているように音像定位（仮想音像定位）させることができる。
【００１２】
以上は、２チャンネルの場合であるが、３チャンネル以上の多チャンネルの場合には、同様にして、それぞれのチャンネルの仮想音像定位位置にスピーカを配置して、例えばインパルスを再生し、それぞれのチャンネル用の頭部伝達関数を測定する。そして、測定して得た頭部伝達関数のインパルスレスポンスを、テレビ装置に配置される左右のスピーカに供給する音声信号に畳み込むようにすればよい。
【００１３】
ところで、最近は、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）の映像再生に伴う音響再生などにおいて、５．１チャンネル、７．１チャンネルなど、多チャンネルサラウンド方式が賞用されている。
【００１４】
このマルチサラウンド方式の音声信号をテレビ装置に配置される左右のスピーカで音響再生する場合においても、上述の仮想音像定位の手法を用いて、各チャンネルに応じた音像定位（仮想音像定位）させるようにすることも提案されている。
【先行技術文献】
【特許文献】
【００１５】
【特許文献１】ＷＯ９５／１３６９０号公報
【特許文献２】特開平０３−２１４８９７号公報
【発明の概要】
【発明が解決しようとする課題】
【００１６】
例えばテレビ装置に配置される左右のスピーカが、周波数特性や位相特性において、フラットな特性を備える場合には、上述のような仮想音像定位の手法により、理論的には、理想的なサラウンド効果を作り出すことができる筈である。
【００１７】
ところが、実際的には、テレビ装置に配置される左右のスピーカは、フラットな特性を備えていないため、上述のような仮想音像定位の手法を用いて作成した音声信号をテレビ装置に配置される左右のスピーカで再生し、その再生音を聴取したときに、所期のサラウンド感が得られないという問題がある。
【００１８】
また、テレビ装置に配置される左右のスピーカや、シアターラックに配置される左右のスピーカで音声信号を再生する場合には、通常、テレビ装置のモニタ画面の中央の位置よりも下側に左右のスピーカが配置されるため、音響再生音がモニタ画面の中央の位置よりも下側から出力されているような音像となる。このため、モニタ画面に表示される映像の中央の位置よりも下側の位置で音声が出力されているように聴取され、視聴者に違和感を与えてしまうという問題がある。
【００１９】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、理想的なサラウンド効果を作り出すことが可能な、新規かつ改良された音声信号処理装置および音声信号処理方法を提供することにある。
【課題を解決するための手段】
【００２０】
上記課題を解決するために、本発明のある観点によれば、２チャンネル以上の複数チャンネルの音声信号から、リスナに向けて設置される２個の電気音響変換部により音響再生する２チャンネルの音声信号を生成して出力する音声信号処理装置であって、前記２個の電気音響変換部で音響再生したときに、前記２チャンネル以上の複数チャンネルの各チャンネルについて想定される仮想音像定位位置に音像が定位するように聴取されるようにするための頭部伝達関数を、前記複数チャンネルの各チャンネルの音声信号に畳み込む頭部伝達関数畳み込み処理部と、前記頭部伝達関数畳み込み処理部からの複数チャンネルの音声信号から、前記２個の電気音響変換部に供給するための２チャンネルの音声信号を生成する２チャンネル信号生成部と、を備え、前記頭部伝達関数畳み込み処理部は、前記複数チャンネルのそれぞれについて、リスナの両耳の近傍の位置に、音響電気変換手段を設置し、前記リスナの位置にダミーヘッドまたは人間が存在する状態で、想定される音源位置で発せられた音波を前記音響電気変換手段でピックアップし、前記音響電気変換手段に直接に届いた音波のみから測定した頭部伝達関数を、前記ダミーヘッドまたは前記人間が存在しない素の状態で、前記想定される音源位置で発せられた音波を前記音響電気変換手段でピックアップし、前記音響電気変換手段に直接に届いた音波のみから測定した素の状態の伝達特性により正規化した正規化頭部伝達関数を、リスナの両耳の近傍の位置に、音響電気変換手段を設置し、前記リスナの位置にダミーヘッドまたは人間が存在する状態で、前記２個の電気音響変換部で別々に発せられた音波を前記音響電気変換手段でピックアップし、前記音響電気変換手段に直接に届いた音波のみから測定した頭部伝達関数を、前記ダミーヘッドまたは前記人間が存在しない素の状態で、前記２個の電気音響変換部で別々に発せられた音波を前記音響電気変換手段でピックアップし、前記音響電気変換手段に直接に届いた音波のみから測定した素の状態の伝達特性により正規化した正規化頭部伝達関数を用いて正規化した２重正規化頭部伝達関数のデータを記憶する記憶部と、前記２重正規化頭部伝達関数のデータを、前記記憶部から読み出して、前記音声信号に畳み込む畳み込み部と、を備える、音声信号処理装置が提供される。
【００２１】
前記頭部伝達関数畳み込み処理部からの前記複数チャンネルの音声信号うちの、左および右チャンネルの音声信号について、左および右チャンネルの２つのチャンネルの音声信号のクロストーク成分のキャンセル処理を施すクロストークキャンセル処理部をさらに備え、前記２チャンネル信号生成部は、前記クロストークキャンセル処理部からの複数チャンネルの音声信号から、前記２個の電気音響変換部に供給するための２チャンネルの音声信号の生成を行ってもよい。
【００２２】
前記クロストークキャンセル処理部は、前記キャンセル処理を施した後の左および右チャンネルの音声信号について、さらに、前記キャンセル処理を施した後の左および右チャンネルの２つのチャンネルの音声信号のクロストーク成分のキャンセル処理を施してもよい。
【００２３】
また、上記課題を解決するために、本発明の別の観点によれば、２チャンネル以上の複数チャンネルの音声信号から、リスナに向けて設置される２個の電気音響変換部により音響再生する２チャンネルの音声信号を生成して出力する音声信号処理装置における音声信号処理方法であって、頭部伝達関数畳み込み処理部が、前記２個の電気音響変換部で音響再生したときに、前記２チャンネル以上の複数チャンネルの各チャンネルについて想定される仮想音像定位位置に音像が定位するように聴取されるようにするための頭部伝達関数を、前記複数チャンネルの各チャンネルの音声信号に畳み込む頭部伝達関数畳み込み処理工程と、２チャンネル信号生成部が、前記頭部伝達関数畳み込み処理工程での処理結果の複数チャンネルの音声信号から、前記２個の電気音響変換部に供給するための２チャンネルの音声信号を生成する２チャンネル信号生成工程と、を有し、前記頭部伝達関数畳み込み処理工程では、前記複数チャンネルのそれぞれについて、リスナの両耳の近傍の位置に、音響電気変換手段を設置し、前記リスナの位置にダミーヘッドまたは人間が存在する状態で、想定される音源位置で発せられた音波を前記音響電気変換手段でピックアップし、前記音響電気変換手段に直接に届いた音波のみから測定した頭部伝達関数を、前記ダミーヘッドまたは前記人間が存在しない素の状態で、前記想定される音源位置で発せられた音波を前記音響電気変換手段でピックアップし、前記音響電気変換手段に直接に届いた音波のみから測定した素の状態の伝達特性により正規化した正規化頭部伝達関数を、リスナの両耳の近傍の位置に、音響電気変換手段を設置し、前記リスナの位置にダミーヘッドまたは人間が存在する状態で、前記２個の電気音響変換部で別々に発せられた音波を前記音響電気変換手段でピックアップし、前記音響電気変換手段に直接に届いた音波のみから測定した頭部伝達関数を、前記ダミーヘッドまたは前記人間が存在しない素の状態で、前記２個の電気音響変換部で別々に発せられた音波を前記音響電気変換手段でピックアップし、前記音響電気変換手段に直接に届いた音波のみから測定した素の状態の伝達特性により正規化した正規化頭部伝達関数を用いて正規化した２重正規化頭部伝達関数のデータが、記憶される記憶部から、前記２重正規化頭部伝達関数のデータを読み出して、前記音声信号に畳み込む畳み込み工程を有する、音声信号処理方法が提供される。
【発明の効果】
【００２４】
以上説明したように本発明によれば、理想的なサラウンド効果を作り出すことができる。
【図面の簡単な説明】
【００２５】
【図１】本発明による音声信号処理装置の実施の形態に用いる頭部伝達関数の算出装置を説明するシステム構成例を示すブロック図である。
【図２】本発明による音声信号処理装置の実施の形態に用いる頭部伝達関数を算出する際の測定位置を説明するための図である。
【図３】本発明の実施の形態において、頭部伝達関数測定手段および素の状態の伝達特性測定手段で得られる測定結果データの特性例を示す図である。
【図４】本発明の実施の形態により得られる正規化頭部伝達関数の特性の例を示す図である。
【図５】本発明の実施の形態により得られる正規化頭部伝達関数の特性と比較する特性例を示す図である。
【図６】本発明の実施の形態により得られる正規化頭部伝達関数の特性と比較する特性例を示す図である。
【図７】（Ａ）は、ＩＴＵ（国際電気通信連合）−Ｒによる７．１チャンネルマルチサラウンドの場合のスピーカ配置例を説明するための説明図であり、（Ｂ）は、ＴＨＸ社の推奨する、７．１チャンネルマルチサラウンドの場合のスピーカ配置例を説明するための説明図である。
【図８】（Ａ）は、ＩＴＵ−Ｒの７．１チャンネルマルチサラウンドのスピーカ配置例において、視聴者位置からテレビ装置方向を見た場合を説明するための説明図であり、（Ｂ）は、ＩＴＵ−Ｒの７．１チャンネルマルチサラウンドのスピーカ配置例において、横方向からテレビ装置を見た場合を説明するための説明図である。
【図９】本発明の実施の形態の音声信号処理装置を用いる音響再生システムのハードウエア構成例を説明するための説明図である。
【図１０】図９におけるＦｒｏｎｔ処理部の内部構成の一例を説明するための説明図である。
【図１１】図９におけるＦｒｏｎｔ処理部の内部構成の他の一例を説明するための説明図である。
【図１２】図９におけるＣｅｎｔｅｒ処理部の内部構成の一例を説明するための説明図である。
【図１３】図９におけるＲｅａｒ処理部の内部構成の一例を説明するための説明図である。
【図１４】図９におけるＢａｃｋ処理部の内部構成の一例を説明するための説明図である。
【図１５】図９におけるＬＦＥ処理部の内部構成の一例を説明するための説明図である。
【図１６】クロストークを説明するために用いる図である。
【図１７】本発明の実施の形態により得られる正規化頭部伝達関数の特性の例を示す図である。
【図１８】本発明の実施の形態における音声信号処理方法に用いる２重正規化頭部伝達関数のデータを取得するための処理手順を実行するシステムの構成の一例を示すブロック図である。
【図１９】スピーカ設置位置と想定音源位置を説明するために用いる図である。
【図２０】頭部伝達関数を説明するために用いる図である。
【発明を実施するための形態】
【００２６】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２７】
なお、説明は以下の順序で行うものとする。
１．実施の形態で用いる頭部伝達関数
２．実施の形態の頭部伝達関数の畳み込み方法の概要
３．スピーカやマイクロホンの特性の影響の除去について：第１の正規化
４．正規化頭部伝達関数を用いることによる効果の検証
５．実施の形態の音声信号処理方法を用いた音響再生システムの例；図７〜図１５
【００２８】
［１．実施の形態で用いる頭部伝達関数］
まず、本発明の実施の形態で用いる頭部伝達関数の生成および取得方法について説明する。
【００２９】
頭部伝達関数の測定を行う場所が反射のない無響室ではないときには、測定された頭部伝達関数には、想定された音源位置（仮想音像定位位置に対応）からの直接波のみではなく、図２０において点線で示したような反射波の成分も、分離できずに含まれる。このため、測定した従来の頭部伝達関数は、反射波による成分のため、測定を行った部屋や場所などの形状や、音波を反射する壁や天井、床などの材質に応じた当該測定場所の特性が含まれたものとなっている。
【００３０】
部屋や場所の特性を除去するためには、床、天井、壁面などからの音波の反射のない無響室で、頭部伝達関数を測定することが考えられる。
【００３１】
しかし、無響室で測定した頭部伝達関数をそのまま音声信号に畳み込んで、仮想音像定位させようとした場合、反射波が存在しないため、仮想音像定位位置や方向性がぼけるという問題がある。
【００３２】
そのため、従来は、音声信号にそのまま畳み込む頭部伝達関数の測定は、無響室では行わず、ある程度の響きが存在するが、特性が良いとされている部屋や場所で行うようにしているのである。そして、例えば、スタジオ、ホール、ラージルームなど、頭部伝達関数を測定した部屋や場所のメニューを提示して、ユーザに、好みの部屋や場所の頭部伝達関数を、上記メニューの中から選択してもらうなどの方策が採られたりしていた。
【００３３】
しかしながら、上述したように、従来は、想定された音源位置の音源からの直接波のみではなく、必ず、反射波を伴うものとして、直接波と反射波のインパルスレスポンスを分離できずに両者を含む頭部伝達関数を測定して得るようにしている。このため、測定された場所や部屋に応じた頭部伝達関数のみしか得られず、望む周囲環境や部屋環境に応じた頭部伝達関数を得て、それを音声信号に畳み込むということが困難であった。
【００３４】
例えば、周囲に壁や障害物がない大平原において、前方にスピーカが配置されたように想定された視聴環境に応じた頭部伝達関数を音声信号に畳み込むことは困難であった。
【００３５】
また、想定された所定の形状や容積、所定の吸音率（音波の減衰率に対応）の壁を備える部屋における頭部伝達関数を得ようとする場合には、従来は、そのような部屋を探したり、作製したりして、その部屋で頭部伝達関数を測定して得るしか方策がなかった。しかし、実際的には、そのような所望の視聴環境や部屋を探し出したり、作製したりすることは困難であり、所望の任意の視聴環境や部屋環境に応じた頭部伝達関数を、音声信号に畳み込むことはできないというのが現状である。
【００３６】
以下に説明する実施の形態では、以上の点にかんがみ、所望の任意の視聴環境や部屋環境に応じた頭部伝達関数であって、所望の仮想音像定位感が得られるようにした頭部伝達関数を音声信号に畳み込むようにしている。
【００３７】
［２．実施の形態の頭部伝達関数の畳み込み方法の概要］
上述したように、従来の頭部伝達関数の畳み込み方法においては、仮想音像定位させたいとして想定された音源位置にスピーカを設置して、直接波と反射波とのインパルスレスポンスを分離できずに両者を含むものとして頭部伝達関数を測定している。そして、当該測定して得た頭部伝達関数をそのまま音声信号に畳み込むようにしていた。
【００３８】
すなわち、従来は、仮想音像定位させたいとして想定された音源位置からの直接波の頭部伝達関数と反射波の頭部伝達関数とを分離して測定してはおらず、両者が含まれる総合的な頭部伝達関数として測定していた。
【００３９】
これに対して、本発明の実施の形態においては、仮想音像定位させたいとして想定された音源位置からの直接波の頭部伝達関数と反射波の頭部伝達関数とを分離して測定しておくようにする。
【００４０】
このため、本実施の形態では、測定点位置から見て、特定の方向に想定される想定音源方向位置からの直接波（つまり、反射波を含まない直接に測定点位置に到達する音波）についての頭部伝達関数を得るようにする。
【００４１】
反射波の頭部伝達関数は、壁などで反射した後の音波の方向を音源方向として、その音源方向からの直接波として測定するようにする。すなわち、所定の壁に反射して測定点位置に入射する反射波を考えた場合、壁で反射した後の壁からの反射音波は、当該壁での反射位置方向に想定した音源からの音波の直接波として考えることができるからである。
【００４２】
本実施の形態では、仮想音像定位させたいとして想定された音源位置からの直接波の頭部伝達関数を測定するときには、当該仮想音像定位させたいとして想定された音源位置に測定用音波の発生手段としての電気音響変換器、例えばスピーカを配置する。また、仮想音像定位させたいとして想定された音源位置からの反射波の頭部伝達関数を測定するときには、測定しようとする反射波の測定点位置への入射方向に、測定用音波の発生手段としての電気音響変換器、例えばスピーカを配置するようにする。
【００４３】
したがって、種々の方向からの反射波についての頭部伝達関数は、それぞれの反射波の測定点位置への入射方向に、測定用音波の発生手段としての電気音響変換器を設置して測定するようにする。
【００４４】
そして、本実施の形態では、以上のようにして測定した直接波および反射波についての頭部伝達関数を音声信号に畳み込むことにより、目的とする再生音響空間における仮想音像定位を得るようにする。ただし、この場合において、反射波の頭部伝達関数は、目的とする再生音響空間に応じて選択した方向の反射波についてのみ、音声信号に畳み込むようにする。
【００４５】
また、本実施の形態では、直接波および反射波についての頭部伝達関数は、測定用音源位置から測定点位置までの音波の経路長に応じた伝播遅延分は、除去して測定するようにする。そして、音声信号に、それぞれの頭部伝達関数を畳み込み処理する際に、測定用音源位置（仮想音像定位位置）から測定点位置（再生用音響再生手段位置）までの音波の経路長に応じた伝播遅延分を考慮するようにする。
【００４６】
これにより、部屋の大きさなどに応じて任意に設定した仮想音像定位位置についての頭部伝達関数を、音声信号に畳み込むことが可能となる。
【００４７】
そして、反射音波の減衰率に関連する壁の材質などによる反射率あるいは吸音率などの特性は、当該壁からの直接波の利得として想定するようにする。すなわち、本実施の形態では、例えば想定音源方向位置からの測定点位置への直接波による頭部伝達関数を、減衰無しで、音声信号に畳み込む。また、壁からの反射音波成分については、その壁の反射位置方向に想定された音源からの直接波による頭部伝達関数を、壁の特性に応じた反射率あるいは吸音率に応じた減衰率（利得）で畳み込むようにする。
【００４８】
このように頭部伝達関数を畳み込んだ音声信号の再生音を聴取するようにすれば、壁の特性に応じた反射率あるいは吸音率により、どのような仮想音像定位の状態になるかを検証することができる。
【００４９】
また、直接波の頭部伝達関数と、選択した反射波についての頭部伝達関数とを、減衰率を考慮しつつ、音声信号に畳み込んで音響再生することで、様々な部屋環境、場所環境における仮想音像定位をシミュレーションすることもできる。これは、想定音源方向位置からの直接波と、反射波とを分離して、頭部伝達関数として測定することにより実現が可能となったものである。
【００５０】
［３．スピーカやマイクロホンの特性の影響の除去について：第１の正規化］
上述したように、特定の音源からの、反射波成分を除く直接波のみについての頭部伝達関数は、例えば無響室で測定することで得ることができる。そこで、無響室において、希望する仮想音像定位位置からの直接波と、想定される複数の反射波について、頭部伝達関数を測定して、畳み込みに用いるようにする。
【００５１】
すなわち、無響室において、視聴者の両耳近傍の測定点位置に、測定用音波を収音する音響電気変換部としてのマイクロホンを設置する。また、上記直接波および上記複数の反射波の方向の位置に測定用音波を発生する音源を設置して、頭部伝達関数の測定をするようにする。
【００５２】
ところで、無響室で頭部伝達関数を得たとしても、頭部伝達関数を測定する測定系のスピーカとマイクロホンの特性は排除することはできない。そのため、測定して得た頭部伝達関数は、測定に用いたスピーカやマイクロホンの特性の影響を受けてしまうという問題がある。
【００５３】
マイクロホンやスピーカの特性の影響を除去するためには、頭部伝達関数の測定に用いるマイクロホンおよびスピーカとして、周波数特性が平坦な、特性の良い高価なマイクロホンおよびスピーカを用いることが考えられる。
【００５４】
しかしながら、高価なマイクロホンやスピーカであっても、理想的な平坦な周波数特性は得られず、これらマイクロホンやスピーカの特性の影響を完全に除去することができず、再生音声の音質の劣化を招いてしまうことがあった。
【００５５】
また、測定系のマイクロホンやスピーカの逆特性を用いて、頭部伝達関数を畳み込んだ後の音声信号に対して補正をすることで、マイクロホンやスピーカの特性の影響を除去するようにすることも考えられる。しかし、その場合には、音声信号再生回路に、当該補正回路を設けなければならず、構成が複雑になると共に、測定系の影響を完全に除去する補正は困難であるという問題がある。
【００５６】
以上の問題点を考慮して、測定する部屋や場所の影響を取り除くために、本実施の形態では、測定に用いるマイクロホンやスピーカの特性の影響を除去するために、以下に説明するような正規化処理を、測定して得た頭部伝達関数に施すようにする。最初に、本実施の形態における頭部伝達関数測定方法の実施の形態を、図を参照しながら説明する。
【００５７】
図１は、本発明の実施の形態における頭部伝達関数測定方法に用いる正規化頭部伝達関数のデータを取得するための処理手順を実行するシステムの構成の一例を示すブロック図である。
【００５８】
頭部伝達関数測定手段１０では、直接波のみの頭部伝達特性を測定するために、この例では、無響室において頭部伝達関数の測定を行う。そして、頭部伝達関数測定手段１０においては、無響室において、上述した図２０のように、視聴者位置にダミーヘッドまたは視聴者（リスナ）としての人間そのものを配置する。そして、当該ダミーヘッドまたは人間の両耳の近傍（測定点位置）に、測定用音波を収音する音響電気変換部としてのマイクロホンを設置する。
【００５９】
そして、視聴者あるいは測定点位置であるマイクロホン位置を基点として、頭部伝達関数を測定しようとする方向に、測定用音波を発生する音源の一例としてのスピーカを設置する。この状態で、このスピーカにより頭部伝達関数の測定用音波、この例ではインパルスを再生して、２個のマイクロホンで、そのインパルスレスポンスをピックアップする。なお、測定用音源としてのスピーカが設置される、頭部伝達関数を測定したい方向の位置を、以下の説明においては、想定音源方向位置と称することにする。
【００６０】
この頭部伝達関数測定手段１０において、２個のマイクロホンから得られるインパルスレスポンスは、頭部伝達関数を表わすものとなっている。
【００６１】
素の状態の伝達特性測定手段２０においては、頭部伝達関数測定手段１０と同一環境において、視聴者位置に上記ダミーヘッドまたは上記人間が存在しない、つまり、測定用音源位置と測定点位置との間に障害物が存在しない素の状態の伝達特性の測定を行う。
【００６２】
すなわち、素の状態の伝達特性測定手段２０においては、無響室において、頭部伝達関数測定手段１０では設置されていたダミーヘッドまたは人間を除去して、想定音源方向位置のスピーカとマイクロホンとの間に障害物がない素の状態にする。
【００６３】
そして、想定音源方向位置のスピーカやマイクロホンの配置は、頭部伝達関数測定手段１０における状態と全く同じ状態として、その状態で、想定音源方向位置のスピーカにより測定用音波、この例ではインパルスを再生する。そして、２個のマイクロホンで、その再生されたインパルスをピックアップする。
【００６４】
この素の状態の伝達特性測定手段２０で２個のマイクロホン出力から得られるインパルスレスポンスは、ダミーヘッドや人間などの障害物が存在しない素の状態における伝達特性を表わすものとなっている。
【００６５】
なお、頭部伝達関数測定手段１０および素の状態の伝達特性測定手段２０においては、直接波について、２個のマイクロホンのそれぞれから上述した左、右主成分の頭部伝達関数および素の状態の伝達特性と、左右のクロストーク成分の頭部伝達関数および素の状態の伝達特性とが得られる。そして、主成分と、左右のクロストーク成分のそれぞれについて、後述する正規化処理が同様になされるものである。
【００６６】
以下の説明では、簡単のため、例えば主成分についてのみの正規化処理についての説明し、クロストーク成分についての正規化処理についての説明は省略する。なお、クロストーク成分についても、同様にして正規化処理が行われるのは言うまでもない。
【００６７】
頭部伝達関数測定手段１０および素の状態の伝達特性測定手段２０で取得したインパルスレスポンスは、この例では、サンプリング周波数が９６ｋＨｚで、８１９２サンプルのデジタルデータとして、出力される。
【００６８】
ここで、頭部伝達関数測定手段１０から得られる頭部伝達関数のデータは、Ｘ（ｍ）、ただし、ｍ＝０，１，２・・・，Ｍ−１（Ｍ=８１９２）と表わすこととする。また、素の状態の伝達特性測定手段２０から得られる素の状態の伝達特性のデータは、Ｘｒｅｆ（ｍ）、ただし、ｍ＝０，１，２・・・，Ｍ−１（Ｍ=８１９２）と表わすこととする。
【００６９】
頭部伝達関数測定手段１０からの頭部伝達関数のデータＸ（ｍ）および素の状態の伝達特性測定手段２０からの素の状態の伝達特性のデータＸｒｅｆ（ｍ）は、それぞれ遅延除去頭詰め部３１および３２に供給される。
【００７０】
遅延除去頭詰め部３１および３２では、想定音源方向位置のスピーカからの音波の、インパルスレスポンス取得用のマイクロホンへの到達時間に相当する遅延時間分だけ、上記スピーカでインパルスが再生開始された時点からの頭の部分のデータが除去される。遅延除去頭詰め部３１および３２では、また、次段（次工程）での時間軸データから周波数軸データへの直交変換の処理が可能なように、データ数が、２のべき乗のデータ数に削減される。
【００７１】
次に、遅延頭詰め部３１および３２でデータ数が削減された頭部伝達関数のデータＸ（ｍ）および素の状態の伝達特性のデータＸｒｅｆ（ｍ）は、それぞれＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）部３３および３４に供給される。ＦＦＴ部３３および３４では、時間軸データから周波数軸データに変換される。なお、本実施の形態では、ＦＦＴ部３３および３４においては、位相を考慮した複素高速フーリエ変換（複素ＦＦＴ）処理を行うものである。
【００７２】
ＦＦＴ部３３での複素ＦＦＴ処理により、頭部伝達関数のデータＸ（ｍ）は、実部Ｒ（ｍ）および虚部ｊＩ（ｍ）からなるＦＦＴデータ、すなわち、Ｒ（ｍ）＋ｊＩ（ｍ）に変換される。
【００７３】
また、ＦＦＴ部３４での複素ＦＦＴ処理により、素の状態の伝達特性のデータＸｒｅｆ（ｍ）は、実部Ｒｒｅｆ（ｍ）および虚部ｊＩｒｅｆ（ｍ）からなるＦＦＴデータ、すなわち、Ｒｒｅｆ（ｍ）＋ｊＩｒｅｆ（ｍ）に変換される。
【００７４】
ＦＦＴ部３３および３４で得られるＦＦＴデータは、Ｘ−Ｙ座標データであるが、本実施の形態では、このＦＦＴデータは、さらに、極座標変換部３５および３６において、極座標のデータに変換される。すなわち、頭部伝達関数のＦＦＴデータＲ（ｍ）＋ｊＩ（ｍ）は、極座標変換部３５により、大きさ成分である動径γ（ｍ）と、角度成分である偏角θ（ｍ）とに変換される。そして、この極座標データである動径γ（ｍ）と、偏角θ（ｍ）とが、正規化およびＸ−Ｙ座標変換部３７に送られる。
【００７５】
また、素の状態の伝達特性のＦＦＴデータＲｒｅｆ（ｍ）＋ｊＩｒｅｆ（ｍ）は、極座標変換部３５により、動径γｒｅｆ（ｍ）と、偏角θｒｅｆ（ｍ）とに変換される。そして、この極座標データである動径γｒｅｆ（ｍ）と、偏角θｒｅｆ（ｍ）とが、正規化およびＸ−Ｙ座標変換部３７に送られる。
【００７６】
正規化およびＸ−Ｙ座標変換部３７では、まず、ダミーヘッドまたは人間を含んで測定された頭部伝達関数を、ダミーヘッドなどの障害物がない素の状態の伝達特性を用いて正規化する。ここで、正規化処理の具体的な演算は、次の通りである。
すなわち、正規化処理後の動径をγｎ（ｍ）、正規化処理後の偏角をθｎ（ｍ）とすると、
γｎ（ｍ）＝γ（ｍ）／γｒｅｆ（ｍ）
θｎ（ｍ）＝θ（ｍ）−θｒｅｆ（ｍ）
・・・（式１）
となる。
【００７７】
そして、正規化およびＸ−Ｙ座標変換部３７では、正規化処理後の極座標系のデータ動径γｎ（ｍ）および偏角θｎ（ｍ）を、Ｘ−Ｙ座標系の実部Ｒｎ（ｍ）および虚部ｊＩｎ（ｍ）（ｍ＝０，１・・・Ｍ／４−１）からなる周波数軸データに変換する。変換後の周波数軸データは正規化頭部伝達関数データである。
【００７８】
このＸ−Ｙ座標系の周波数軸データの正規化頭部伝達関数データは、逆ＦＦＴ部３８で、時間軸の正規化頭部伝達関数データであるインパルスレスポンスＸｎ（ｍ）に変換する。この逆ＦＦＴ部３８では、複素逆高速フーリエ変換（複素逆ＦＦＴ）処理を行う。
すなわち、
Ｘｎ（ｍ）＝ＩＦＦＴ（Ｒｎ（ｍ）＋ｊＩｎ（ｍ））
ただし、ｍ＝０，１，２・・・，Ｍ／２−１
なる演算が逆ＦＦＴ（ＩＦＦＴ（Ｉｎｖｅｒｓｅ Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ））部３８で行われる。こうして、逆ＦＦＴ部３８からは、時間軸の正規化頭部伝達関数データであるインパルスレスポンスＸｎ（ｍ）が得られる。
【００７９】
この逆ＦＦＴ部３８からの正規化頭部伝達関数のデータＸｎ（ｍ）は、ＩＲ（インパルスレスポンス）簡略化部３９において、処理可能（後述する畳み込み可能）なインパルス特性のタップ長に簡略化する。本実施の形態では、６００タップ（逆ＦＦＴ部３８からのデータの頭から６００個のデータ）に簡略化する。
【００８０】
このＩＲ簡略化部３９で簡略化された正規化頭部伝達関数のデータＸｎ（ｍ）（ｍ＝０，１・・・５９９）は、後述する畳み込み処理のために、正規化頭部伝達関数メモリ４０に書き込まれる。なお、この正規化頭部伝達関数メモリ４０に書き込まれる正規化頭部伝達関数は、各想定音源方向位置（仮想音像定位位置）毎のそれぞれにおいて、主成分の正規化頭部伝達関数と、クロストーク成分の正規化頭部伝達関数とを含むことは上述した通りである。
【００８１】
以上の説明は、視聴者位置に対して特定の１方向において、測定点位置（マイクロホン位置）から所定距離だけ離れた１箇所の想定音源方向位置に、測定用音波（例えばインパルス）を再生するスピーカを設置し、当該スピーカ設置位置に対する正規化頭部伝達関数を取得する処理の説明である。
【００８２】
本実施の形態では、測定用音波の例としてのインパルスを再生するスピーカの設置位置である想定音源方向位置を、測定点位置に対して異なる方向に種々変更して、以上と同様にして、各想定音源方向位置に対する正規化頭部伝達関数を取得するようにする。
【００８３】
すなわち、本実施の形態では、仮想音像定位位置からの直接波のみではなく、反射波についての頭部伝達関数を取得するため、反射波の測定点位置への入射方向を考慮して、複数個の位置に想定音源方向位置を設定して、その正規化頭部伝達関数を求める。
【００８４】
ここで、スピーカ設置位置である想定音源方向位置は、水平面内において、測定点位置であるマイクロホン位置あるいは視聴者を中心にした３６０度または１８０度の角範囲を、例えば１０度角間隔毎に変化させて設定するようにする。この設定は、視聴者の左右の壁からの反射波についての正規化頭部伝達関数を求めるために、得ようとする反射波の方向についての必要な分解能を考慮したものである。
【００８５】
同様に、スピーカ設置位置である想定音源方向位置は、垂直面内において、測定点位置であるマイクロホン位置あるいは視聴者を中心にした３６０度または１８０度の角範囲を、例えば１０度角間隔毎に変化させて設定するようにする。この設定は、天井または床からの反射波についての正規化頭部伝達関数を求めるために、得ようとする反射波の方向についての必要な分解能を考慮したものである。
【００８６】
３６０度の角範囲を考慮する場合は、直接波としての仮想音像定位位置が視聴者の後方にも存在する、例えば５，１チャンネル，６．１チャンネル，７．１チャンネルなどのマルチチャンネルサラウンド音声を再生する場合を想定した場合である。また、視聴者の後方の壁からの反射波を考慮する場合にも３６０度の角範囲を考慮する必要がある。
【００８７】
１８０度の角範囲を考慮する場合は、直接波としての仮想音像定位位置が視聴者の前方にのみ存在し、また、視聴者の後方の壁からの反射波を考慮しなくて良い状態を想定した場合である。
【００８８】
図２は、頭部伝達関数および素の状態の伝達特性の測定位置（想定音源方向位置）と、測定点位置としてのマイクロホン設置位置を説明するための図である。
【００８９】
図２（Ａ）は、頭部伝達関数測定手段１０での測定状態を示すもので、視聴者位置にはダミーヘッドまたは人間ＯＢを配置する。そして、想定音源方向位置においてインパルスを再生するスピーカは、図２（Ａ）で丸印Ｐ１、Ｐ２、Ｐ３、・・・で示すような位置に配置する。すなわち、この例では、スピーカは、視聴者位置の中心位置を中心にして、１０度角間隔毎の、頭部伝達関数を測定したい方向の所定位置に配置する。
【００９０】
また、この例においては、２個のマイクロホンＭＬ，ＭＲは、図２（Ａ）に示すように、ダミーヘッドまたは人間の耳の耳殻内位置に設置するようにする。
【００９１】
図２（Ｂ）は、素の状態の伝達特性測定手段２０での測定状態を示すもので、図２（Ａ）におけるダミーヘッドまたは人間ＯＢを除去した測定環境の状態を示している。
【００９２】
上述の正規化処理は、図２（Ａ）において、丸印Ｐ１、Ｐ２、・・・で示す想定音源方向位置のそれぞれにおいて測定した頭部伝達関数を、図２（Ｂ）において、同じ想定音源方向位置Ｐ１、Ｐ２、・・・のそれぞれにおいて測定した素の状態の伝達特性で、それぞれ正規化することによりなされる。つまり、例えば、想定音源方向位置Ｐ１で測定した頭部伝達関数は、同じ想定音源方向位置Ｐ１で測定した素の状態の伝達特性で正規化するようにする。
【００９３】
以上により、正規化頭部伝達関数メモリ４０に書き込まれた正規化頭部伝達関数としては、例えば１０度角間隔ずつ離れた仮想音源位置からの、反射波を除く直接波のみについての頭部伝達関数を得ることができる。
【００９４】
そして、取得された正規化頭部伝達関数は、インパルスを発生したスピーカの特性や、インパルスをピックアップしたマイクロホンの特性が、正規化処理により、排除されたものとなる。
【００９５】
さらに、取得された正規化頭部伝達関数は、この例では、遅延除去頭詰め部３１，３２において、インパルスを発生するスピーカ位置（想定音源方向位置）と、インパルスをピックアップするマイクロホン位置との距離に対応する遅延が除去されたものである。したがって、取得された正規化頭部伝達関数は、この例では、インパルスを発生するスピーカ位置（想定音源方向位置）と、インパルスをピックアップするマイクロホン位置との距離に無関係となる。つまり、取得された正規化頭部伝達関数は、インパルスをピックアップするマイクロホン位置から見て、インパルスを発生するスピーカ位置（想定音源方向位置）の方向のみに応じた頭部伝達関数となる。
【００９６】
そして、直接波について、正規化頭部伝達関数を、音声信号に畳み込むときには、音声信号に対して、仮想音像定位位置とマイクロホン位置との距離に応じた遅延を付与するようにする。すると、この付与された遅延により、マイクロホン位置に対する想定音源方向位置の方向の、上記遅延に応じた距離位置を、仮想音像定位位置として音響再生させることができる。
【００９７】
また、想定音源方向位置方向からの反射波については、仮想音像定位させたい位置から壁などの反射部で反射された後にマイクロホン位置に入射する方向を、反射波についての想定音源方向位置の方向と考える。そして、想定音源方向位置方向からマイクロホン位置に入射するまでの、反射波についての音波の経路長に応じた遅延を音声信号に施して、正規化頭部伝達関数を畳み込むようにする。
【００９８】
つまり、直接波および反射波について、正規化頭部伝達関数を音声信号に畳み込むときには、音声信号に対して、仮想音像定位させたい位置から、マイクロホン位置に入射するまでの音波の経路長に応じた遅延を音声信号に施すようにするものである。
【００９９】
なお、頭部伝達関数測定方法の実施の形態を説明するための図１のブロック図における信号処理は、全てＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）で行うことができる。その場合において、頭部伝達関数測定手段１０および素の状態の伝達特性測定手段２０における頭部伝達関数のデータＸ（ｍ）および素の状態の伝達特性のデータＸｒｅｆ（ｍ）の取得部と、遅延除去頭詰め部３１，３２、ＦＦＴ部３３，３４、極座標変換部３５，３６、正規化およびＸ−Ｙ座標変換部３７、逆ＦＦＴ部３８およびＩＲ簡略部３９は、それぞれをＤＳＰで構成しても良いし、全体の信号処理を、まとめて１個あるいは複数個のＤＳＰで構成するようにしてもよい。
【０１００】
なお、上述の図１の例では、正規化頭部伝達関数や素の状態での伝達特性のデータについては、遅延除去頭詰め部３１，３２で、想定音源方向位置とマイクロホン位置との間の距離に対応する遅延時間分の先頭データを除去して、頭詰めするようにしている。これは、頭部伝達関数の後述する畳み込みの処理量を削減するためであるが、この遅延除去頭詰め部３１，３２でのデータの除去処理を、例えばＤＳＰの内部メモリを用いて行うようにする。しかし、この遅延除去頭詰め処理は行わなくても良い場合は、ＤＳＰでは、元のデータを、そのまま、８１９２サンプルのデータで処理を行うようにする。
【０１０１】
また、ＩＲ簡略部３９は、頭部伝達関数を後述する畳み込みの処理する際における畳み込み処理量を削減するためのもので、これは、省略することもできる。
【０１０２】
さらに、上述の実施の形態において、ＦＦＴ部３３，３４からのＸ−Ｙ座標系の周波数軸データを、極座標系の周波数データに変換したのは、Ｘ−Ｙ座標系の周波数データのままでは、正規化処理ができなかった場合があることを考慮したものである。しかし、理想的な構成であれば、Ｘ−Ｙ座標系の周波数データのままでも正規化処理は可能である。
【０１０３】
なお、上述の例では、種々の仮想音像定位位置およびその反射波のマイクロホン位置への入射方向を想定して、多数の想定音源方向位置についての正規化頭部伝達関数を求めるようにした。このように多数の想定音源方向位置についての正規化頭部伝達関数を求めたのは、後で、必要な想定音源方向位置の方向の頭部伝達関数を、その中から選択することができるようにするためである。
【０１０４】
しかし、予め、仮想音像定位位置が固定されており、かつ、反射波の入射方向も定まっている場合には、その固定された仮想音像定位位置や反射波の入射方向の想定音源方向位置のみに対する正規化頭部伝達関数を求めるようにしても勿論良い。
【０１０５】
なお、複数の想定音源方向位置からの直接波のみについての頭部伝達関数および素の状態の伝達特性を測定するために、上述の実施の形態では、無響室において測定を行うようにした。しかし、無響室ではなく、反射波が含まれる部屋や場所であっても、当該反射波が直接波に対して大きく遅延している場合には、直接波成分のみを時間ウインドーを掛けて、抽出するようにすることもできる。
【０１０６】
また、想定音源方向位置でスピーカで発生する頭部伝達関数の測定用音波を、インパルスではなく、ＴＳＰ（Ｔｉｍｅ Ｓｔｒｅｔｃｈｅｄ Ｐｕｌｓｅ）信号としてもよい。ＴＳＰ信号を用いる場合には、無響室ではなくても、反射波を除去して、直接波のみについての頭部伝達関数および素の状態の伝達特性を測定することができる。
【０１０７】
［４．正規化頭部伝達関数を用いることによる効果の検証］
実際に頭部伝達関数の測定に用いたスピーカおよびマイクロホンを含む測定系の特性を、図３に示す。すなわち、図３（Ａ）は、ダミーヘッドや人間などの障害物を入れない状態で、スピーカにより、０から２０ｋＨｚまでの周波数信号の音を、同じ一定レベルで再生し、マイクロホンでピックアップしたときの、当該マイクロホンからの出力信号の周波数特性である。
【０１０８】
ここで使用したスピーカは、業務用のかなり特性の良いとされるスピーカであるが、それでも、図３（Ａ）に示すような特性を有し、平坦な周波数特性とならない。また、実際にも、この図３（Ａ）の特性は一般的なスピーカの中ではかなりフラットな部類に属される優秀な特性とされている。
【０１０９】
従来は、このスピーカおよびマイクロホンの系の特性が、頭部伝達関数に付加された状態であり、それが除去されないので、頭部伝達関数を畳み込んで得られる音の特性や音質が、そのスピーカおよびマイクロホンの系の特性に左右されてしまうことになる。
【０１１０】
図３（Ｂ）は、同じ条件で、ダミーヘッドや人間などの障害物を入れた状態におけるマイクロホンからの出力信号の周波数特性である。１２００Ｈｚ付近や１０ｋＨｚ付近で大きなディップが生じ、かなり変動する周波数特性となることが分かる。
【０１１１】
図４（Ａ）は、図３（Ａ）の周波数特性と、図３（Ｂ）の周波数特性とを重ねて示した周波数特性図である。
【０１１２】
これに対して図４（Ｂ）は、上述したような実施の形態により、正規化した頭部伝達関数の特性を示すものである。この図４（Ｂ）から、正規化した頭部伝達関数の特性においては、低域においても、ゲインは下がらない特性となっていることが分かる。
【０１１３】
上述した実施の形態においては、複素ＦＦＴ処理を行い、位相成分を考慮した正規化頭部伝達関数を用いるようにしている。このため、位相を考慮せずに、振幅成分のみを用いて正規化した頭部伝達関数を用いた場合に比べて、正規化頭部伝達関数の忠実度が高いという特徴がある。
【０１１４】
すなわち、位相を考慮せずに振幅のみを正規化する処理を行い、最終的に用いるインパルス特性を再度ＦＦＴして特性を取ったものを、図５に示す。
【０１１５】
この図５と、本実施の形態の正規化頭部伝達関数の特性である図４（Ｂ）とを比較参照すると、次のようなことが分かる。すなわち、頭部伝達関数Ｘ（ｍ）と、素の状態の伝達特性Ｘｒｅｆ（ｍ）との特性の差分が、本実施の形態の複素ＦＦＴでは、図４（Ｂ）に示すように正しく得られるが、位相を考慮しない場合は、図５に示すように、本来のものからずれてしまう。
【０１１６】
また、上述の図１の処理手順においては、ＩＲ簡略化部３９により、正規化頭部伝達関数の簡略化を最後に行っているので、最初からデータ数を少なくして処理する場合に比べて、特性のずれが少ないという特徴がある。
【０１１７】
すなわち、頭部伝達関数測定手段１０および素の状態の伝達特性測定手段２０で得られたデータについて、最初に、データ数を少なくする簡略化を行った場合（最終的に必要なインパルス数以降を０として正規化を行う場合）には、正規化頭部伝達関数の特性は、図６に示すようなものとなり、特に、低域の特性にずれが出てきてしまう。これに対して、上述した実施の形態の構成で得た正規化頭部伝達関数の特性は、図４（Ｂ）のようになり、低域においても特性のずれが少ない。
【０１１８】
［５．実施の形態の音声信号処理方法を用いた音響再生システムの例；図７〜図１５］
次に、本発明による音声信号処理装置の実施の形態を、例えばテレビ装置に配置される左右のスピーカを用いてマルチサラウンド音声信号を再生する場合に適用した場合を例に説明する。すなわち、以下に説明する例は、上述した正規化頭部伝達関数を、各チャンネルの音声信号に畳み込むことにより、仮想音像定位を用いた再生を行うことができるようにした場合である。
【０１１９】
図７（Ａ）は、ＩＴＵ（国際電気通信連合）−Ｒによる７．１チャンネルマルチサラウンドの場合のスピーカ配置例を説明するための説明図であり、図７（Ｂ）は、ＴＨＸ社の推奨する、７．１チャンネルマルチサラウンドの場合のスピーカ配置例を説明するための説明図である。
【０１２０】
以下に説明する例は、図７（Ａ）に示す、ＩＴＵ−Ｒによる７．１チャンネルマルチサラウンドの場合のスピーカ配置を想定して、テレビ装置１００に配置される左右のスピーカＳＰＬ，ＳＰＲにより、この７．１チャンネルマルチサラウンドのスピーカ配置位置に、各チャンネルの音声成分が仮想音像定位するように、頭部伝達関数を畳み込むようにする場合である。
【０１２１】
図７（Ａ）に示すように、ＩＴＵ−Ｒの７．１チャンネルマルチサラウンドのスピーカ配置例では、視聴者位置Ｐｎを中心とした円周上に、各チャンネルのスピーカが位置するように定められる。
【０１２２】
図７（Ａ）において、視聴者の正面位置であるＣは、センターチャンネルのスピーカ位置である。センターチャンネルのスピーカ位置Ｃを中心として、その両側において、互いに６０度の角範囲だけ離れた位置であるＬＦおよびＲＦは、それぞれ左前方チャンネルおよび右前方チャンネルのスピーカ位置を示している。
【０１２３】
そして、視聴者の正面位置Ｃの左右６０度から１５０度の範囲において、左側および右側に２個ずつのスピーカ位置ＬＳ，ＬＢおよびＲＳ，ＲＢが設定される。これらスピーカ位置ＬＳ，ＬＢとＲＳ，ＲＢとは、視聴者に対して左右対称の位置に設定されるものである。スピーカ位置ＬＳおよびＲＳは、左側方チャンネルおよび右側方チャンネルのスピーカ位置であり、スピーカ位置ＬＢおよびＲＢは、左後方チャンネルおよび右後方チャンネルのスピーカ位置である。
【０１２４】
図８（Ａ）は、ＩＴＵ−Ｒの７．１チャンネルマルチサラウンドのスピーカ配置例において、視聴者位置からテレビ装置１００方向を見た場合を説明するための説明図であり、図８（Ｂ）は、ＩＴＵ−Ｒの７．１チャンネルマルチサラウンドのスピーカ配置例において、横方向からテレビ装置１００を見た場合を説明するための説明図である。
【０１２５】
図８（Ａ）および図８（Ｂ）に示すように、通常、テレビ装置１００の左右のスピーカＳＰＬ，ＳＰＲはモニタ画面の中央の位置（図８（Ａ）においてはスピーカ位置Ｃの中心）よりも下側に配置される。このため、音響再生音がモニタ画面の中央の位置よりも下側から出力されているような音像となる。
【０１２６】
本実施の形態では、７．１チャンネルのマルチサラウンド音声信号を、この例の左右のスピーカＳＰＬ，ＳＰＲで音響再生したとき、図７（Ａ）、図８（Ａ）および図８（Ｂ）の各スピーカ位置Ｃ，ＬＦ，ＲＦ，ＬＳ，ＲＳ，ＬＢ，ＲＢの方向を仮想音像定位方向として音響再生されるようにする。このため、後述するようにして、７．１チャンネルのマルチサラウンド音声信号の各チャンネルの音声信号に、選択された正規化頭部伝達関数を畳み込むようにする。
【０１２７】
図９は、本発明の実施の形態の音声信号処理装置を用いる音響再生システムのハードウエア構成例を説明するための説明図である。
【０１２８】
この図９に示した例は、電気音響変換部が、左チャンネル用のスピーカＳＰＬと、右チャンネル用のスピーカＳＰＲとを備える場合の例である。
【０１２９】
なお、この図９においては、図７（Ａ）のスピーカ位置Ｃ，ＬＦ，ＲＦ，ＬＳ，ＲＳ，ＬＢ，ＲＢに供給すべき各チャンネルの音声信号は、同じ記号Ｃ，ＬＦ，ＲＦ，ＬＳ，ＲＳ，ＬＢ，ＲＢを用いて示している。ここで、図９において、ＬＦＥ（Ｌｏｗ Ｆｒｅｑｕｅｎｃｙ Ｅｆｆｅｃｔ）チャンネルは、低域効果チャンネルであり、これは、通常、音像定位方向が定まらない音声である。本実施の形態では、センターチャンネルのスピーカ位置Ｃを中心して、その両側において、例えば互いに１５度の角範囲だけ離れた位置に２つのＬＦＥチャンネル用のスピーカが配置される場合を想定している。
【０１３０】
図９に示すように、７．１チャンネルの音声信号ＬＦ，ＲＦのそれぞれは、Ｆｒｏｎｔ処理部７４Ｆに供給される。７．１チャンネルの音声信号Ｃは、Ｃｅｎｔｅｒ処理部７４Ｃに供給される。７．１チャンネルの音声信号ＬＳ，ＲＳのそれぞれは、Ｒｅａｒ処理部７４Ｓに供給される。７．１チャンネルの音声信号ＬＢ，ＲＢのそれぞれは、Ｂａｃｋ処理部７４Ｂに供給される。７．１チャンネルの音声信号ＬＦＥは、ＬＦＥ処理部７４ＬＦＥに供給される。
【０１３１】
Ｆｒｏｎｔ処理部７４Ｆ、Ｃｅｎｔｅｒ処理部７４Ｃ、Ｒｅａｒ処理部７４Ｓ、Ｂａｃｋ処理部７４Ｂ、ＬＦＥ処理部７４ＬＦＥのそれぞれは、この例では、後述するように直接波の正規化頭部伝達関数の畳み込み処理と、各チャンネルのクロストーク成分の正規化頭部伝達関数の畳み込み処理と、クロストークキャンセル処理を行う。
【０１３２】
なお、この例では、Ｆｒｏｎｔ処理部７４Ｆ、Ｃｅｎｔｅｒ処理部７４Ｃ、Ｒｅａｒ処理部７４Ｓ、Ｂａｃｋ処理部７４Ｂ、ＬＦＥ処理部７４ＬＦＥのそれぞれにおいては、反射波については、処理対象としないものとした。
【０１３３】
Ｆｒｏｎｔ処理部７４Ｆ、Ｃｅｎｔｅｒ処理部７４Ｃ、Ｒｅａｒ処理部７４Ｓ、Ｂａｃｋ処理部７４Ｂ、ＬＦＥ処理部７４ＬＦＥのそれぞれからの出力音声信号は、２チャンネル信号生成手段としての加算処理部（図示しない）を構成する、２チャンネルステレオの左チャンネル用加算部（以下、Ｌ用加算部という。）７５Ｌと、右チャンネル用加算部（以下、Ｒ用加算部という。）７５Ｒに供給される。
【０１３４】
Ｌ用加算部７５Ｌは、本来の左チャンネル成分ＬＦ，ＬＳ，ＬＢと、右チャンネル成分ＲＦ，ＲＳ，ＲＢのクロストーク成分と、センターチャンネル成分Ｃおよび低域効果チャンネル成分ＬＦＥとを加算する。
【０１３５】
そして、Ｌ用加算部７５Ｌは、その加算結果を、左チャンネル用のスピーカ用の合成音声信号として、レベル調整部７６Ｌに供給する。
【０１３６】
Ｒ用加算部７５Ｒは、本来の右チャンネル成分ＲＦ，ＲＳ，ＲＢと、左チャンネル成分ＬＦ，ＬＳ，ＬＢのクロストーク成分と、センターチャンネル成分Ｃおよび低域効果チャンネル成分ＬＦＥとを加算する。
【０１３７】
そして、Ｒ用加算部７５Ｒは、その加算結果を、右チャンネル用のスピーカ用の合成音声信号として、レベル調整部７６Ｒに供給する。
【０１３８】
この例では、センターチャンネル成分Ｃおよび低域効果チャンネル成分ＬＦＥは、Ｌ用加算部７５ＬおよびＲ用加算部７５Ｒの両方に供給されて、左チャンネルおよび右チャンネルの両方に加算される。これにより、センターチャンネル方向の音声の定位感をより良くすることができると共に、低域効果チャンネル成分ＬＦＥによる低域音声成分を、より広がり良く再生できるようにしている。
【０１３９】
レベル調整部７６Ｌは、Ｌ用加算部７５Ｌから供給された左チャンネル用のスピーカ用の合成音声信号のレベル調整を行う。レベル調整部７６Ｒは、Ｒ用加算部７５Ｒから供給された右チャンネル用のスピーカ用の合成音声信号のレベル調整を行う。
【０１４０】
レベル調整部７６Ｌおよびレベル調整部７６Ｒからの合成音声信号は、振幅制限部７７Ｌおよび７７Ｒのそれぞれに供給される。
【０１４１】
振幅制限部７７Ｌは、レベル調整部７６Ｌから供給されたレベル調整後の合成音声信号の振幅制限を行う。振幅制限部７７Ｒは、レベル調整部７６Ｒから供給されたレベル調整後の合成音声信号の振幅制限を行う。
【０１４２】
振幅制限部７７Ｌおよび振幅制限部７７Ｒからの合成音声信号は、ノイズ軽減部７８Ｌおよび７８Ｒのそれぞれに供給される。
【０１４３】
ノイズ軽減部７８Ｌは、振幅制限部７７Ｌから供給された振幅制限後の合成音声信号のノイズを軽減する。ノイズ軽減部７８Ｒは、振幅制限部７７Ｒから供給された振幅制限後の合成音声信号のノイズを軽減する。
【０１４４】
そして、ノイズ軽減部７８Ｌおよび７８Ｒの出力音声信号は、左チャンネル用のスピーカＳＰＬおよび右チャンネル用のスピーカＳＰＲに、それぞれ供給されて、音響再生される。
【０１４５】
ところで、例えばテレビ装置に配置される左右のスピーカが、周波数特性や位相特性において、フラットな特性を備える場合には、上述した正規化頭部伝達関数を各チャンネルの音声に畳み込むことにより、理論的には、理想的なサラウンド効果を作り出すことができる筈である。
【０１４６】
しかしながら、実際的には、テレビ装置に配置される左右のスピーカは、フラットな特性を備えていないため、上述のような手法を用いて作成した音声信号をテレビ装置に配置される左右のスピーカで再生し、その再生音を聴取したときに、所期のサラウンド感が得られないという問題がある。
【０１４７】
また、テレビ装置に配置される左右のスピーカや、シアターラックに配置される左右のスピーカで音声信号を再生する場合には、通常、テレビ装置のモニタ画面の中央の位置よりも下側に左右のスピーカが配置されるため、音響再生音がモニタ画面の中央の位置よりも下側から出力されているような音像となる。このため、モニタ画面に表示される映像の中央の位置よりも下側の位置で音声が出力されているように聴取され、視聴者に違和感を与えてしまうという問題がある。
【０１４８】
以上のことにかんがみ、この発明の実施の形態では、Ｆｒｏｎｔ処理部７４Ｆ、Ｃｅｎｔｅｒ処理部７４Ｃ、Ｒｅａｒ処理部７４Ｓ、Ｂａｃｋ処理部７４Ｂ、ＬＦＥ処理部７４ＬＦＥの内部構成例は、図１０〜図１５のようなものとする。
【０１４９】
本実施の形態では、テレビ装置に配置される左右のスピーカの位置からの直接波についての正規化頭部伝達関数「Ｆｒｅｆ」で、全ての正規化頭部伝達関数を正規化する。
【０１５０】
すなわち、図１０〜図１５の例における各チャンネルの畳み込み回路の正規化頭部伝達関数は、正規化頭部伝達関数に１／Ｆｒｅｆを乗算したものとする。
【０１５１】
例えば、図１７（Ａ）に示すように、テレビ装置のスピーカ位置の頭部伝達関数（ＨＴＲＦ）をＨ（ｒｅｆ）とし、仮想音像定位位置のスピーカ位置の頭部伝達関数（ＨＴＲＦ）をＨ（ｆ）とする。この場合、図１７（Ｂ）に示すように、点線がテレビ装置のスピーカ位置の頭部伝達関数（ＨＴＲＦ）をＨ（ｒｅｆ）の特性となり、実線が仮想音像定位位置のスピーカ位置の頭部伝達関数（ＨＴＲＦ）をＨ（ｆ）の特性となる。そして、テレビ装置のスピーカ位置の頭部伝達関数（ＨＴＲＦ）で仮想音像定位位置のスピーカ位置の頭部伝達関数（ＨＴＲＦ）を正規化した特性は、図１７（Ｃ）に示すようになる。
【０１５２】
ここで、この例では、左右チャンネルでは、視聴者の正面と真後ろとを結ぶ線を対称軸として、対称的な関係となるので、同じ正規化頭部伝達関数を用いるようにしている。
【０１５３】
ここで、左右チャンネルを区別せずに、
直接波：Ｆ，Ｓ，Ｂ，Ｃ，ＬＦＥ
頭越しのクロストーク：ｘＦ，ｘＳ，ｘＢ，ｘＬＦＥ
反射波：Ｆｒｅｆ，Ｓｒｅｆ，Ｂｒｅｆ，Ｃｒｅｆ
と表記することとする。
【０１５４】
また、想定しているテレビ装置１００の左右のスピーカＳＰＬ，ＳＰＲの位置から想定している視聴者の位置での上述した第１の正規化処理が施された頭部伝達関数を、
直接波：Ｆｒｅｆ
頭越しのクロストーク：ｘＦｒｅｆ
と表記することとする。
【０１５５】
したがって、図１０〜図１５の例におけるＦｒｏｎｔ処理部７４Ｆ、Ｃｅｎｔｅｒ処理部７４Ｃ、Ｒｅａｒ処理部７４Ｓ、Ｂａｃｋ処理部７４Ｂ、ＬＦＥ処理部７４ＬＦＥで畳み込まれる正規化頭部伝達関数は、次のようになる。
【０１５６】
つまり、
直接波：Ｆ／Ｆｒｅｆ，Ｓ／Ｆｒｅｆ，Ｂ／Ｆｒｅｆ，Ｃ／Ｆｒｅｆ，ＬＦＥ／Ｆｒｅｆ
頭越しのクロストーク：ｘＦ／Ｆｒｅｆ，ｘＳ／Ｆｒｅｆ，ｘＢ／Ｆｒｅｆ，ｘＬＦＥ／Ｆｒｅｆ
となる。
【０１５７】
そして、この表記が正規化頭部伝達関数を表わすとすると、Ｆｒｏｎｔ処理部７４Ｆ、Ｃｅｎｔｅｒ処理部７４Ｃ、Ｒｅａｒ処理部７４Ｓ、Ｂａｃｋ処理部７４Ｂ、ＬＦＥ処理部７４ＬＦＥで畳み込まれる正規化頭部伝達関数は、図１０〜図１５において示すものとなる。
【０１５８】
図１０は、図９におけるＦｒｏｎｔ処理部７４Ｆの内部構成の一例を説明するための説明図である。図１１は、図９におけるＦｒｏｎｔ処理部７４Ｆの内部構成の他の一例を説明するための説明図である。図１２は、図９におけるＣｅｎｔｅｒ処理部７４Ｃの内部構成の一例を説明するための説明図である。図１３は、図９におけるＲｅａｒ処理部７４Ｓの内部構成の一例を説明するための説明図である。図１４は、図９におけるＢａｃｋ処理部７４Ｂの内部構成の一例を説明するための説明図である。図１５は、図９におけるＬＦＥ処理部７４ＬＦＥの内部構成の一例を説明するための説明図である。
【０１５９】
この例では、左チャンネルの成分ＬＦ，ＬＳ，ＬＢおよび右チャンネルの成分ＲＦ，ＲＳ，ＲＢについては、直接波およびそのクロストーク成分の正規化頭部伝達関数の畳み込みを行う。
【０１６０】
また、センターチャンネルＣについては、直接波についての正規化頭部伝達関数の畳み込みを行い、この例では、そのクロストーク成分は考慮しない。
【０１６１】
また、低域効果チャンネルＬＦＥについては、直接波とそのクロストーク成分についての正規化頭部伝達関数の畳み込みを行う。
【０１６２】
図１０において、Ｆｒｏｎｔ処理部７４Ｆは、左前方チャンネル用の頭部伝達関数畳み込み処理部と、右前方チャンネル用の頭部伝達関数畳み込み処理部と、左前方チャンネルの音声信号と右前方チャンネルの音声信号について、それらの音声信号の視聴者位置における物理的なクロストーク成分のキャンセル処理を施すクロストークキャンセル処理部とを備える。
【０１６３】
ここで、クロストークキャンセル処理部を設ける理由としては、図１６に示すように、左チャンネル用のスピーカＳＰＬおよび右チャンネル用のスピーカＳＰＲで音声信号を音響再生すると、それらの音声信号の視聴者位置における物理的なクロストーク成分が生じるためである。
【０１６４】
左前方チャンネル用の頭部伝達関数畳み込み処理部は、２個の遅延回路１０１，１０２と、２個の畳み込み回路１０３，１０４とを備える。右前方チャンネル用の頭部伝達関数畳み込み処理部は、２個の遅延回路１０５，１０６と、２個の畳み込み回路１０７，１０８とを備える。クロストークキャンセル処理部は、８個の遅延回路１０９，１１０，１１１，１１２，１１３，１１４，１１５，１１６と、８個の畳み込み回路１１７，１１８，１１９，１２０，１２１，１２２，１２３，１２４と、６個の加算回路１２５，１２６，１２７，１２８，１２９，１３０とを備える。
【０１６５】
遅延回路１０１と畳み込み回路１０３とは、左前方チャンネルの直接波の信号ＬＦについての畳み込み処理部を構成する。
【０１６６】
遅延回路１０１は、左前方チャンネルの直接波について、仮想音像定位位置から測定点位置まで到達する経路長に応じた遅延時間の遅延回路である。
【０１６７】
畳み込み回路１０３は、左前方チャンネルの直接波についての正規化頭部伝達関数を、テレビ装置に配置される左右のスピーカの位置からの直接波についての正規化頭部伝達関数「Ｆｒｅｆ」で正規化した２重正規化頭部伝達関数を、遅延回路１０１からの左前方チャンネルの音声信号ＬＦに対して畳み込む処理を実行する。なお、２重正規化頭部伝達関数は、上述した図１の正規化頭部伝達関数メモリ４０に記憶されているものとし、畳み込み回路が正規化頭部伝達関数メモリ４０が２重正規化頭部伝達関数を読み出して、畳み込み処理を行うものとする。
【０１６８】
この畳み込み回路１０３からの信号は、クロストークキャンセル処理部に供給される。
【０１６９】
また、遅延回路１０２と畳み込み回路１０４とは、左前方チャンネルの右チャンネルへのクロストーク（左前方チャンネルのクロストークチャンネル）の信号ｘＬＦについての畳み込み処理部を構成する。
【０１７０】
遅延回路１０２は、左前方チャンネルのクロストークチャンネルの直接波について、仮想音像定位位置から測定点位置まで到達する経路長に応じた遅延時間の遅延回路である。
【０１７１】
畳み込み回路１０４は、左前方チャンネルのクロストークチャンネルの直接波についての正規化頭部伝達関数を、テレビ装置に配置される左右のスピーカの位置からの直接波についての正規化頭部伝達関数「Ｆｒｅｆ」で正規化した２重正規化頭部伝達関数を、遅延回路１０２からの左前方チャンネルの音声信号ＬＦに対して畳み込む処理を実行する。
【０１７２】
この畳み込み回路１０４からの信号は、クロストークキャンセル処理部に供給される。
【０１７３】
また、遅延回路１０５と畳み込み回路１０７とは、右前方チャンネルの左チャンネルへのクロストーク（右前方チャンネルのクロストークチャンネル）の信号ｘＲＦについての畳み込み処理部を構成する。
【０１７４】
遅延回路１０５は、右前方チャンネルのクロストークチャンネルの直接波について、仮想音像定位位置から測定点位置まで到達する経路長に応じた遅延時間の遅延回路である。
【０１７５】
畳み込み回路１０７は、右前方チャンネルのクロストークチャンネルの直接波についての正規化頭部伝達関数を、テレビ装置に配置される左右のスピーカの位置からの直接波についての正規化頭部伝達関数「Ｆｒｅｆ」で正規化した２重正規化頭部伝達関数を、遅延回路１０５からの右前方チャンネルの音声信号ＲＦに対して畳み込む処理を実行する。
【０１７６】
この畳み込み回路１０７からの信号は、クロストークキャンセル処理部に供給される。
【０１７７】
遅延回路１０６と畳み込み回路１０８とは、右前方チャンネルの直接波の信号ＲＦについての畳み込み処理部を構成する。
【０１７８】
遅延回路１０６は、右前方チャンネルの直接波について、仮想音像定位位置から測定点位置まで到達する経路長に応じた遅延時間の遅延回路である。
【０１７９】
畳み込み回路１０８は、右前方チャンネルの直接波についての正規化頭部伝達関数を、テレビ装置に配置される左右のスピーカの位置からの直接波についての正規化頭部伝達関数「Ｆｒｅｆ」で正規化した２重正規化頭部伝達関数を、遅延回路１０６からの右前方チャンネルの音声信号ＲＦに対して畳み込む処理を実行する。
【０１８０】
この畳み込み回路１０８からの信号は、クロストークキャンセル処理部に供給される。
【０１８１】
遅延回路１０９〜１１６と畳み込み回路１１７〜１２４と加算回路１２５〜１３０とは、左前方チャンネルの音声信号と右前方チャンネルの音声信号について、それらの音声信号の視聴者位置における物理的なクロストーク成分のキャンセル処理を施すクロストークキャンセル処理部を構成する。
【０１８２】
遅延回路１０９〜１１６は、テレビ装置に配置される左右のスピーカの位置からのクロストークについて、左右のスピーカの位置から測定点位置まで到達する経路長に応じた遅延時間の遅延回路である。
【０１８３】
畳み込み回路１１７〜１２４は、テレビ装置に配置される左右のスピーカの位置からのクロストークについての正規化頭部伝達関数を、テレビ装置に配置される左右のスピーカの位置からの直接波についての正規化頭部伝達関数「Ｆｒｅｆ」で正規化した２重正規化頭部伝達関数を、供給された音声信号に対して畳み込む処理を実行する。
【０１８４】
加算回路１２５〜１３０は、供給された音声信号の加算処理を実行する。
【０１８５】
Ｆｒｏｎｔ処理部７４Ｆにおいて、加算回路１２７から出力される信号は、Ｌ用加算部７５Ｌに供給される。また、Ｆｒｏｎｔ処理部７４Ｆにおいて、加算回路１３０から出力される信号は、Ｒ用加算部７５Ｒに供給される。
【０１８６】
なお、畳み込み回路１０３，１０４，１０７，１０８で畳み込まれる正規化頭部伝達関数には、この例では、距離減衰分の遅延と再生音場での視聴テストによる僅かなレベル調整値が付加されている。
【０１８７】
また、図１０に示すＦｒｏｎｔ処理部７４Ｆから出力される音声信号は、下記式２、式３で表すことができる。
・・・（式２）
・・・（式３）
但し、遅延処理を
とし、
畳み込み処理を
とし、
クロストークキャンセル用の遅延処理、畳み込み処理としての
を
とする。
すなわち、
となる。
【０１８８】
なお、本実施の形態では、クロストークキャンセル処理部でクロストークキャンセル処理を２度、すなわち２次のキャンセルを行っているが、音源スピーカの位置や物理的な部屋などの制約によっては、この次数を変更することもできる。
【０１８９】
また、図１１において、Ｆｒｏｎｔ処理部７４Ｆは、左前方チャンネル用の頭部伝達関数畳み込み処理部と、右前方チャンネル用の頭部伝達関数畳み込み処理部と、左前方チャンネルの音声信号と右前方チャンネルの音声信号について、それらの音声信号の視聴位置における物理的なクロストーク成分のキャンセル処理を施すクロストークキャンセル処理部とを備える。
【０１９０】
左前方チャンネル用の頭部伝達関数畳み込み処理部は、２個の遅延回路１５１，１５２と、２個の畳み込み回路１５３，１５４とを備える。右前方チャンネル用の頭部伝達関数畳み込み処理部は、２個の遅延回路１５５，１５６と、２個の畳み込み回路１５７，１５８とを備える。クロストークキャンセル処理部は、４個の遅延回路１５９，１６０，１６１，１６２と、８個の畳み込み回路１６３，１６４，１６５，１６６と、６個の加算回路１６７，１６８，１６９，１７０，１７１，１７２とを備える。
【０１９１】
Ｆｒｏｎｔ処理部７４Ｆにおいて、加算回路１６９から出力される信号は、Ｌ用加算部７５Ｌに供給される。また、Ｆｒｏｎｔ処理部７４Ｆにおいて、加算回路１７２から出力される信号は、Ｒ用加算部７５Ｒに供給される。
【０１９２】
また、図１１に示すＦｒｏｎｔ処理部７４Ｆから出力される音声信号は、下記式４、式５で表すことができる。
・・・（式４）
・・・（式５）
但し、遅延処理を
とし、
畳み込み処理を
とし、
クロストークキャンセル用の遅延処理、畳み込み処理としての
を
とする。
すなわち、
となる。
【０１９３】
すなわち、図１１に示すＦｒｏｎｔ処理部７４Ｆに示す構成では、図１０に示すＦｒｏｎｔ処理部７４Ｆに示す構成と比較して、計算量を削減することができる。
【０１９４】
また、図１２において、Ｃｅｎｔｅｒ処理部７４Ｃは、センターチャンネル用の頭部伝達関数畳み込み処理部と、センターチャンネルの音声信号の視聴位置における物理的なクロストーク成分のキャンセル処理を施すクロストークキャンセル処理部とを備える。
【０１９５】
センターチャンネル用の頭部伝達関数畳み込み処理部は、１個の遅延回路２０１と、１個の畳み込み回路２０２とを備える。クロストークキャンセル処理部は、２個の遅延回路２０３，２０４と、２個の畳み込み回路２０５，２０６と、４個の加算回路２０７，２０８，２０９，２１０とを備える。
【０１９６】
遅延回路２０１と畳み込み回路２０２とは、センターチャンネルの直接波の信号Ｃについての畳み込み処理部を構成する。
【０１９７】
遅延回路２０１は、センターチャンネルの直接波について、仮想音像定位位置から測定点位置まで到達する経路長に応じた遅延時間の遅延回路である。
【０１９８】
畳み込み回路２０２は、センターチャンネルの直接波についての正規化頭部伝達関数を、テレビ装置に配置される左右のスピーカの位置からの直接波についての正規化頭部伝達関数「Ｆｒｅｆ」で正規化した２重正規化頭部伝達関数を、遅延回路２０１からのセンターチャンネルの音声信号Ｃに対して畳み込む処理を実行する。
【０１９９】
この畳み込み回路２０２からの信号は、クロストークキャンセル処理部に供給される。
【０２００】
遅延回路２０３，２０４と畳み込み回路２０５，２０６と加算回路２０７〜２１０とは、センターチャンネルの音声信号の視聴位置における物理的なクロストーク成分のキャンセル処理を施すクロストークキャンセル処理部を構成する。
【０２０１】
遅延回路２０３，２０４は、テレビ装置に配置される左右のスピーカの位置からのクロストークについて、左右のスピーカの位置から測定点位置まで到達する経路長に応じた遅延時間の遅延回路である。
【０２０２】
畳み込み回路２０５，２０６は、テレビ装置に配置される左右のスピーカの位置からのクロストークについての正規化頭部伝達関数を、テレビ装置に配置される左右のスピーカの位置からの直接波についての正規化頭部伝達関数「Ｆｒｅｆ」で正規化した２重正規化頭部伝達関数を、供給された音声信号に対して畳み込む処理を実行する。
【０２０３】
加算回路２０７〜２１０は、供給された音声信号の加算処理を実行する。
【０２０４】
Ｃｅｎｔｅｒ処理部７４Ｃにおいて、加算回路２０８から出力される信号は、Ｌ用加算部７５Ｌに供給される。また、Ｃｅｎｔｅｒ処理部７４Ｃにおいて、加算回路２１０から出力される信号は、Ｒ用加算部７５Ｒに供給される。
【０２０５】
また、図１３において、Ｒｅａｒ処理部７４Ｓは、左後方チャンネル用の頭部伝達関数畳み込み処理部と、右後方チャンネル用の頭部伝達関数畳み込み処理部と、左後方チャンネルの音声信号と右後方チャンネルの音声信号について、それらの音声信号の視聴位置における物理的なクロストーク成分のキャンセル処理を施すクロストークキャンセル処理部とを備える。
【０２０６】
左後方チャンネル用の頭部伝達関数畳み込み処理部は、２個の遅延回路３０１，３０２と、２個の畳み込み回路３０３，３０４とを備える。右後方チャンネル用の頭部伝達関数畳み込み処理部は、２個の遅延回路３０５，３０６と、２個の畳み込み回路３０７，３０８とを備える。クロストークキャンセル処理部は、８個の遅延回路３０９，３１０，３１１，３１２，３１３，３１４，３１５，３１６と、８個の畳み込み回路３１７，３１８，３１９，３２０，３２１，３２２，３２３，３２４と、８個の加算回路３２５，３２６，３２７，３２８，３２９，３３０，３３１，３３２，３３３，３３４とを備える。
【０２０７】
遅延回路３０１と畳み込み回路３０３とは、左後方チャンネルの直接波の信号ＬＳについての畳み込み処理部を構成する。
【０２０８】
遅延回路３０１は、左後方チャンネルの直接波について、仮想音像定位位置から測定点位置まで到達する経路長に応じた遅延時間の遅延回路である。
【０２０９】
畳み込み回路３０３は、左後方チャンネルの直接波についての正規化頭部伝達関数を、テレビ装置に配置される左右のスピーカの位置からの直接波についての正規化頭部伝達関数「Ｆｒｅｆ」で正規化した２重正規化頭部伝達関数を、遅延回路３０１からの左後方チャンネルの音声信号ＬＳに対して畳み込む処理を実行する。
【０２１０】
この畳み込み回路３０３からの信号は、クロストークキャンセル処理部に供給される。
【０２１１】
また、遅延回路３０２と畳み込み回路３０４とは、左後方チャンネルの右チャンネルへのクロストーク（左後方チャンネルのクロストークチャンネル）の信号ｘＬＳについての畳み込み処理部を構成する。
【０２１２】
遅延回路３０２は、左後方チャンネルのクロストークチャンネルの直接波について、仮想音像定位位置から測定点位置まで到達する経路長に応じた遅延時間の遅延回路である。
【０２１３】
畳み込み回路３０４は、左後方チャンネルのクロストークチャンネルの直接波についての正規化頭部伝達関数を、テレビ装置に配置される左右のスピーカの位置からの直接波についての正規化頭部伝達関数「Ｆｒｅｆ」で正規化した２重正規化頭部伝達関数を、遅延回路３０２からの左後方チャンネルの音声信号ＬＳに対して畳み込む処理を実行する。
【０２１４】
この畳み込み回路３０４からの信号は、クロストークキャンセル処理部に供給される。
【０２１５】
また、遅延回路３０５と畳み込み回路３０７とは、右後方チャンネルの左チャンネルへのクロストーク（右後方チャンネルのクロストークチャンネル）の信号ｘＲＳについての畳み込み処理部を構成する。
【０２１６】
遅延回路３０５は、右後方チャンネルのクロストークチャンネルの直接波について、仮想音像定位位置から測定点位置まで到達する経路長に応じた遅延時間の遅延回路である。
【０２１７】
畳み込み回路３０７は、右後方チャンネルのクロストークチャンネルの直接波についての正規化頭部伝達関数を、テレビ装置に配置される左右のスピーカの位置からの直接波についての正規化頭部伝達関数「Ｆｒｅｆ」で正規化した２重正規化頭部伝達関数を、遅延回路３０５からの右後方チャンネルの音声信号ＲＳに対して畳み込む処理を実行する。
【０２１８】
この畳み込み回路３０７からの信号は、クロストークキャンセル処理部に供給される。
【０２１９】
遅延回路３０６と畳み込み回路３０８とは、右後方チャンネルの直接波の信号ＲＳについての畳み込み処理部を構成する。
【０２２０】
遅延回路３０６は、右後方チャンネルの直接波について、仮想音像定位位置から測定点位置まで到達する経路長に応じた遅延時間の遅延回路である。
【０２２１】
畳み込み回路３０８は、右後方チャンネルの直接波についての正規化頭部伝達関数を、テレビ装置に配置される左右のスピーカの位置からの直接波についての正規化頭部伝達関数「Ｆｒｅｆ」で正規化した２重正規化頭部伝達関数を、遅延回路３０６からの右後方チャンネルの音声信号ＲＳに対して畳み込む処理を実行する。
【０２２２】
この畳み込み回路３０８からの信号は、クロストークキャンセル処理部に供給される。
【０２２３】
遅延回路３０９〜３１６と畳み込み回路３１７〜３２４と加算回路３２５〜３３４とは、左後方チャンネルの音声信号と右後方チャンネルの音声信号について、それらの音声信号の視聴者位置における物理的なクロストーク成分のキャンセル処理を施すクロストークキャンセル処理部を構成する。
【０２２４】
遅延回路３０９〜３１６は、テレビ装置に配置される左右のスピーカの位置からのクロストークについて、左右のスピーカの位置から測定点位置まで到達する経路長に応じた遅延時間の遅延回路である。
【０２２５】
畳み込み回路３１７〜３２４は、テレビ装置に配置される左右のスピーカの位置からのクロストークについての正規化頭部伝達関数を、テレビ装置に配置される左右のスピーカの位置からの直接波についての正規化頭部伝達関数「Ｆｒｅｆ」で正規化した２重正規化頭部伝達関数を、供給された音声信号に対して畳み込む処理を実行する。
【０２２６】
加算回路３２５〜３３４は、供給された音声信号の加算処理を実行する。
【０２２７】
Ｒｅａｒ処理部７４Ｓにおいて、加算回路３２９から出力される信号は、Ｌ用加算部７５Ｌに供給される。また、Ｒｅａｒ処理部７４Ｓにおいて、加算回路３３４から出力される信号は、Ｒ用加算部７５Ｒに供給される。
【０２２８】
なお、本実施の形態では、クロストークキャンセル処理部でクロストークキャンセル処理を４度、すなわち４次のキャンセルを行っているが、音源スピーカの位置や物理的な部屋などの制約によっては、この次数を変更することもできる。
【０２２９】
また、図１４において、Ｂａｃｋ処理部７４Ｂは、左後側チャンネル用の頭部伝達関数畳み込み処理部と、右後側チャンネル用の頭部伝達関数畳み込み処理部と、左後側チャンネルの音声信号と右後側チャンネルの音声信号について、それらの音声信号の視聴位置における物理的なクロストーク成分のキャンセル処理を施すクロストークキャンセル処理部とを備える。
【０２３０】
左後側チャンネル用の頭部伝達関数畳み込み処理部は、２個の遅延回路４０１，４０２と、２個の畳み込み回路４０３，４０４とを備える。右後側チャンネル用の頭部伝達関数畳み込み処理部は、２個の遅延回路４０５，４０６と、２個の畳み込み回路４０７，４０８とを備える。クロストークキャンセル処理部は、８個の遅延回路４０９，４１０，４１１，４１２，４１３，４１４，４１５，４１６と、８個の畳み込み回路４１７，４１８，４１９，４２０，４２１，４２２，４２３，４２４と、８個の加算回路４２５，４２６，４２７，４２８，４２９，４３０，４３１，４３２，４３３，４３４とを備える。
【０２３１】
遅延回路４０１と畳み込み回路４０３とは、左後側チャンネルの直接波の信号ＬＢについての畳み込み処理部を構成する。
【０２３２】
遅延回路４０１は、左後側チャンネルの直接波について、仮想音像定位位置から測定点位置まで到達する経路長に応じた遅延時間の遅延回路である。
【０２３３】
畳み込み回路４０３は、左後側チャンネルの直接波についての正規化頭部伝達関数を、テレビ装置に配置される左右のスピーカの位置からの直接波についての正規化頭部伝達関数「Ｆｒｅｆ」で正規化した２重正規化頭部伝達関数を、遅延回路４０１からの左後側チャンネルの音声信号ＬＢに対して畳み込む処理を実行する。
【０２３４】
この畳み込み回路４０３からの信号は、クロストークキャンセル処理部に供給される。
【０２３５】
また、遅延回路４０２と畳み込み回路４０４とは、左後側チャンネルの右チャンネルへのクロストーク（左後側チャンネルのクロストークチャンネル）の信号ｘＬＢについての畳み込み処理部を構成する。
【０２３６】
遅延回路４０２は、左後側チャンネルのクロストークチャンネルの直接波について、仮想音像定位位置から測定点位置まで到達する経路長に応じた遅延時間の遅延回路である。
【０２３７】
畳み込み回路４０４は、左後側チャンネルのクロストークチャンネルの直接波についての正規化頭部伝達関数を、テレビ装置に配置される左右のスピーカの位置からの直接波についての正規化頭部伝達関数「Ｆｒｅｆ」で正規化した２重正規化頭部伝達関数を、遅延回路４０２からの左後側チャンネルの音声信号ＬＢに対して畳み込む処理を実行する。
【０２３８】
この畳み込み回路４０４からの信号は、クロストークキャンセル処理部に供給される。
【０２３９】
また、遅延回路４０５と畳み込み回路４０７とは、右後側チャンネルの左チャンネルへのクロストーク（右後側チャンネルのクロストークチャンネル）の信号ｘＲＢについての畳み込み処理部を構成する。
【０２４０】
遅延回路４０５は、右後側チャンネルのクロストークチャンネルの直接波について、仮想音像定位位置から測定点位置まで到達する経路長に応じた遅延時間の遅延回路である。
【０２４１】
畳み込み回路４０７は、右後側チャンネルのクロストークチャンネルの直接波についての正規化頭部伝達関数を、テレビ装置に配置される左右のスピーカの位置からの直接波についての正規化頭部伝達関数「Ｆｒｅｆ」で正規化した２重正規化頭部伝達関数を、遅延回路４０５からの右後側チャンネルの音声信号ＲＢに対して畳み込む処理を実行する。
【０２４２】
この畳み込み回路４０７からの信号は、クロストークキャンセル処理部に供給される。
【０２４３】
遅延回路４０６と畳み込み回路４０８とは、右後側チャンネルの直接波の信号ＲＢについての畳み込み処理部を構成する。
【０２４４】
遅延回路４０６は、右後側チャンネルの直接波について、仮想音像定位位置から測定点位置まで到達する経路長に応じた遅延時間の遅延回路である。
【０２４５】
畳み込み回路４０８は、右後側チャンネルの直接波についての正規化頭部伝達関数を、テレビ装置に配置される左右のスピーカの位置からの直接波についての正規化頭部伝達関数「Ｆｒｅｆ」で正規化した２重正規化頭部伝達関数を、遅延回路４０６からの右後側チャンネルの音声信号ＲＢに対して畳み込む処理を実行する。
【０２４６】
この畳み込み回路４０８からの信号は、クロストークキャンセル処理部に供給される。
【０２４７】
遅延回路４０９〜４１６と畳み込み回路４１７〜４２４と加算回路４２５〜４３４とは、左後側チャンネルの音声信号と右後側チャンネルの音声信号について、それらの音声信号の視聴者位置における物理的なクロストーク成分のキャンセル処理を施すクロストークキャンセル処理部を構成する。
【０２４８】
遅延回路４０９〜４１６は、テレビ装置に配置される左右のスピーカの位置からのクロストークについて、左右のスピーカの位置から測定点位置まで到達する経路長に応じた遅延時間の遅延回路である。
【０２４９】
畳み込み回路４１７〜４２４は、テレビ装置に配置される左右のスピーカの位置からのクロストークについての正規化頭部伝達関数を、テレビ装置に配置される左右のスピーカの位置からの直接波についての正規化頭部伝達関数「Ｆｒｅｆ」で正規化した２重正規化頭部伝達関数を、供給された音声信号に対して畳み込む処理を実行する。
【０２５０】
加算回路４２５〜４３４は、供給された音声信号の加算処理を実行する。
【０２５１】
Ｂａｃｋ処理部７４Ｂにおいて、加算回路４２９から出力される信号は、Ｌ用加算部７５Ｌに供給される。また、Ｂａｃｋ処理部７４Ｂにおいて、加算回路４３４から出力される信号は、Ｒ用加算部７５Ｒに供給される。
【０２５２】
また、図１５において、ＬＦＥ処理部７４ＬＦＥは、低域効果チャンネル用の頭部伝達関数畳み込み処理部と、低域効果チャンネルの音声信号の視聴位置における物理的なクロストーク成分のキャンセル処理を施すクロストークキャンセル処理部とを備える。
【０２５３】
低域効果チャンネル用の頭部伝達関数畳み込み処理部は、２個の遅延回路５０１，５０２と、２個の畳み込み回路５０３，５０４とを備える。クロストークキャンセル処理部は、２個の遅延回路５０５，５０６と、２個の畳み込み回路５０７，５０８と、３個の加算回路５０９，５１０，５１１とを備える。
【０２５４】
遅延回路５０１と畳み込み回路５０３とは、低域効果チャンネルの直接波の信号Ｃについての畳み込み処理部を構成する。
【０２５５】
遅延回路５０１は、低域効果チャンネルの直接波について、仮想音像定位位置から測定点位置まで到達する経路長に応じた遅延時間の遅延回路である。
【０２５６】
畳み込み回路５０３は、低域効果チャンネルの直接波についての正規化頭部伝達関数を、テレビ装置に配置される左右のスピーカの位置からの直接波についての正規化頭部伝達関数「Ｆｒｅｆ」で正規化した２重正規化頭部伝達関数を、遅延回路５０１からの低域効果チャンネルの音声信号ＬＦＥに対して畳み込む処理を実行する。
【０２５７】
この畳み込み回路５０３からの信号は、クロストークキャンセル処理部に供給される。
【０２５８】
また、遅延回路５０２は、低域効果チャンネルの直接波のクロストークについて、仮想音像定位位置から測定点位置まで到達する経路長に応じた遅延時間の遅延回路である。
【０２５９】
畳み込み回路５０４は、低域効果チャンネルの直接波のクロストークについての正規化頭部伝達関数を、テレビ装置に配置される左右のスピーカの位置からの直接波についての正規化頭部伝達関数「Ｆｒｅｆ」で正規化した２重正規化頭部伝達関数を、遅延回路５０２からの低域効果チャンネルの音声信号ＬＦＥに対して畳み込む処理を実行する。
【０２６０】
この畳み込み回路５０４からの信号は、クロストークキャンセル処理部に供給される。
【０２６１】
遅延回路５０５，５０６と畳み込み回路５０７，５０８と加算回路５０９〜５１１とは、低域効果チャンネルの音声信号の視聴位置における物理的なクロストーク成分のキャンセル処理を施すクロストークキャンセル処理部を構成する。
【０２６２】
遅延回路５０５，５０６は、テレビ装置に配置される左右のスピーカの位置からのクロストークについて、左右のスピーカの位置から測定点位置まで到達する経路長に応じた遅延時間の遅延回路である。
【０２６３】
畳み込み回路５０７，５０８は、テレビ装置に配置される左右のスピーカの位置からのクロストークについての正規化頭部伝達関数を、テレビ装置に配置される左右のスピーカの位置からの直接波についての正規化頭部伝達関数「Ｆｒｅｆ」で正規化した２重正規化頭部伝達関数を、供給された音声信号に対して畳み込む処理を実行する。
【０２６４】
加算回路５０９〜５１１は、供給された音声信号の加算処理を実行する。
【０２６５】
ＬＦＥ処理部７４ＬＦＥにおいて、加算回路５１１から出力される信号は、Ｌ用加算部７５ＬおよびＲ用加算部７５Ｒに供給される。
【０２６６】
本実施の形態によれば、テレビ装置に配置される左右のスピーカの位置からの直接波についての正規化頭部伝達関数で、全ての正規化頭部伝達関数を正規化して、その２重正規化頭部伝達関数を用いて畳み込み処理を音声信号に施すことにより、理想的なサラウンド効果を作り出すことができる。
【０２６７】
図１８は、本発明の実施の形態における音声信号処理方法に用いる２重正規化頭部伝達関数のデータを取得するための処理手順を実行するシステムの構成の一例を示すブロック図である。
【０２６８】
頭部伝達関数測定手段６０２では、直接波のみの頭部伝達特性を測定するために、この例では、無響室において頭部伝達関数の測定を行う。そして、頭部伝達関数測定手段６０２においては、無響室において、上述した図２０のように、視聴者位置にダミーヘッドまたは視聴者（リスナ）としての人間そのものを配置する。そして、当該ダミーヘッドまたは人間の両耳の近傍（測定点位置）に、測定用音波を収音する音響電気変換部としてのマイクロホンを設置する。
【０２６９】
そして、図１９に示すように、テレビ装置１００のスピーカ設置位置に設置された左右のスピーカにより頭部伝達関数の測定用音波、この例ではインパルスを別々に再生して、２個のマイクロホンで、そのインパルスレスポンスをピックアップする。
【０２７０】
この頭部伝達関数測定手段６０２において、２個のマイクロホンから得られるインパルスレスポンスは、頭部伝達関数を表わすものとなっている。
【０２７１】
素の状態の伝達特性測定手段６０４においては、頭部伝達関数測定手段６０２と同一環境において、視聴者位置に上記ダミーヘッドまたは上記人間が存在しない、つまり、測定用音源位置と測定点位置との間に障害物が存在しない素の状態の伝達特性の測定を行う。
【０２７２】
すなわち、素の状態の伝達特性測定手段６０４においては、無響室において、頭部伝達関数測定手段６０２では設置されていたダミーヘッドまたは人間を除去して、テレビ装置１００のスピーカ設置位置に設置された左右のスピーカとマイクロホンとの間に障害物がない素の状態にする。
【０２７３】
そして、テレビ装置１００のスピーカ設置位置に設置された左右のスピーカやマイクロホンの配置は、頭部伝達関数測定手段６０２における状態と全く同じ状態として、その状態で、テレビ装置１００のスピーカ設置位置に設置された左右のスピーカにより測定用音波、この例ではインパルスを別々に再生する。そして、２個のマイクロホンで、その再生されたインパルスをピックアップする。
【０２７４】
この素の状態の伝達特性測定手段６０４で２個のマイクロホン出力から得られるインパルスレスポンスは、ダミーヘッドや人間などの障害物が存在しない素の状態における伝達特性を表わすものとなっている。
【０２７５】
なお、頭部伝達関数測定手段６０２および素の状態の伝達特性測定手段６０４においては、直接波について、２個のマイクロホンのそれぞれから上述した左、右主成分の頭部伝達関数および素の状態の伝達特性と、左右のクロストーク成分の頭部伝達関数および素の状態の伝達特性とが得られる。そして、主成分と、左右のクロストーク成分のそれぞれについて、後述する正規化処理が同様になされるものである。
【０２７６】
以下の説明では、簡単のため、例えば主成分についてのみの正規化処理についての説明し、クロストーク成分についての正規化処理についての説明は省略する。なお、クロストーク成分についても、同様にして正規化処理が行われるのは言うまでもない。
【０２７７】
正規化部６１０では、頭部伝達関数測定手段６０２で測定された、ダミーヘッドまたは人間を含んで測定された頭部伝達関数を、素の状態の伝達特性測定手段６０４で測定された、ダミーヘッドなどの障害物がない素の状態の伝達特性を用いて正規化する。
【０２７８】
頭部伝達関数測定手段６０６では、直接波のみの頭部伝達特性を測定するために、この例では、無響室において頭部伝達関数の測定を行う。そして、頭部伝達関数測定手段６０６においては、無響室において、上述した図２０のように、視聴者位置にダミーヘッドまたは視聴者（リスナ）としての人間そのものを配置する。そして、当該ダミーヘッドまたは人間の両耳の近傍（測定点位置）に、測定用音波を収音する音響電気変換部としてのマイクロホンを設置する。
【０２７９】
そして、図１９に示すように、想定音源位置に設置された左右のスピーカにより頭部伝達関数の測定用音波、この例ではインパルスを別々に再生して、２個のマイクロホンで、そのインパルスレスポンスをピックアップする。
【０２８０】
この頭部伝達関数測定手段６０６において、２個のマイクロホンから得られるインパルスレスポンスは、頭部伝達関数を表わすものとなっている。
【０２８１】
素の状態の伝達特性測定手段６０８においては、頭部伝達関数測定手段６０６と同一環境において、視聴者位置に上記ダミーヘッドまたは上記人間が存在しない、つまり、測定用音源位置と測定点位置との間に障害物が存在しない素の状態の伝達特性の測定を行う。
【０２８２】
すなわち、素の状態の伝達特性測定手段６０８においては、無響室において、頭部伝達関数測定手段６０６では設置されていたダミーヘッドまたは人間を除去して、図１９に示す想定音源位置に設置された左右のスピーカとマイクロホンとの間に障害物がない素の状態にする。
【０２８３】
そして、図１９に示す想定音源位置に設置された左右のスピーカやマイクロホンの配置は、頭部伝達関数測定手段６０６における状態と全く同じ状態として、その状態で、図１９に示す想定音源位置に設置された左右のスピーカにより測定用音波、この例ではインパルスを別々に再生する。そして、２個のマイクロホンで、その再生されたインパルスをピックアップする。
【０２８４】
この素の状態の伝達特性測定手段６０８で２個のマイクロホン出力から得られるインパルスレスポンスは、ダミーヘッドや人間などの障害物が存在しない素の状態における伝達特性を表わすものとなっている。
【０２８５】
なお、頭部伝達関数測定手段６０６および素の状態の伝達特性測定手段６０８においては、直接波について、２個のマイクロホンのそれぞれから上述した左、右主成分の頭部伝達関数および素の状態の伝達特性と、左右のクロストーク成分の頭部伝達関数および素の状態の伝達特性とが得られる。そして、主成分と、左右のクロストーク成分のそれぞれについて、後述する正規化処理が同様になされるものである。
【０２８６】
以下の説明では、簡単のため、例えば主成分についてのみの正規化処理についての説明し、クロストーク成分についての正規化処理についての説明は省略する。なお、クロストーク成分についても、同様にして正規化処理が行われるのは言うまでもない。
【０２８７】
正規化部６１２では、頭部伝達関数測定手段６０６で測定された、ダミーヘッドまたは人間を含んで測定された頭部伝達関数を、素の状態の伝達特性測定手段６０８で測定された、ダミーヘッドなどの障害物がない素の状態の伝達特性を用いて正規化する。
【０２８８】
そして、正規化部６１４では、正規化部６１２において正規化された想定音源位置での正規化頭部伝達関数を、正規化部６１０において正規化されたスピーカ設置位置での正規化頭部伝達関数を用いて正規化する。このようにして、本実施の形態における音声信号処理方法に用いる２重正規化頭部伝達関数のデータを取得することができる。
【０２８９】
なお、本実施の形態では、サラウンド信号を扱っているが、通常のステレオ信号を扱う場合には、Ｆｒｏｎｔ処理部７４Ｆにそれぞれのステレオ信号を入力して、その他の処理部においては、入力する信号を無信号とするか、または処理を行わないかすることにより対応可能である。この場合においても、ステレオイメージが実際のテレビ装置などのスピーカではなく、想定している画面と同じ位置のテレビ装置よりも広い空間で音像を作ることが可能となる。
【０２９０】
また、本実施の形態によれば、２つの前面の任意のスピーカを用いることにより、良好なサラウンド効果を得ることが可能となる。
【０２９１】
また、テレビ装置、シアターラックなどのスピーカを出力デバイスとして用いている場合には、そのスピーカ位置ではなくて映像の高さに合わせた音像を作ることができる。このため、ステレオ信号の場合は、テレビ装置の左右の映像にあわせた高さのスピーカが配置されているように音場を形成することができ、また、サラウンド信号の場合には、さらにそのスピーカで周りを囲んだような音場を形成することができる。
【０２９２】
また、本実施の形態の音声信号処理装置を小型のラジオカセットレコーダや携帯音楽プレーヤに適用した場合は、それらのドックなどは、その狭いスピーカの間隔よりも広い音場を形成することができる。同様に、携帯型のＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）／ＤＶＤプレーヤ、ノートＰＣなどで映画などを観賞する場合などにおいても、その映像に合わせた音場を形成することができる。
【０２９３】
以上の実施の形態では、所望の任意の視聴環境や部屋環境に応じた頭部伝達関数の畳み込みができ、所望の仮想音像定位感が得られるようにした頭部伝達関数であって、測定用マイクロホンや測定用スピーカの特性を除去するようにした頭部伝達関数を用いた。
【０２９４】
しかし、この発明は、このような特殊な頭部伝達関数を用いる場合に限られるものではなく、一般的な頭部伝達関数を畳み込む場合であっても適用可能である。
【０２９５】
音響再生システムは、マルチサラウンド方式の場合について説明したが、通常の２チャンネルステレオを、仮想音像定位処理をして、例えばテレビ装置に配置されるスピーカに供給する場合にも適用できることは言うまでもない。
【０２９６】
また、７．１チャンネルに限らず、５．１チャンネルや、９．１チャンネルなど、その他のマルチサラウンドの場合にも、同様に適用できることは勿論である。
【０２９７】
また、７．１チャンネルのマルチサラウンドのスピーカ配置は、ＩＴＵ−Ｒスピーカ配置の場合を例に説明したが、ＴＨＸ社の推奨するスピーカ配置の場合にも適用できることは容易に理解できよう。
【０２９８】
また、本発明の目的は、前述した実施の形態の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成される。
【０２９９】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０３００】
また、プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ等の光ディスク、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。または、プログラムコードをネットワークを介してダウンロードしてもよい。
【０３０１】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施の形態の機能が実現されるだけではなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれる。
【０３０２】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その拡張機能を拡張ボードや拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれる。
【０３０３】
以上、添付図面を参照しながら本発明の好適な実施の形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【０３０４】
１０ 頭部伝達関数測定手段
２０ 素の状態の伝達特性測定手段
３１，３２ 遅延除去頭詰め部
３３，３４ ＦＦＴ部
３５，３６ 極座標変換部
３７ 正規化およびＸ−Ｙ座標変換部
３８ 逆ＦＦＴ部
３９ ＩＲ簡略化部
４０ 正規化頭部伝達関数メモリ
７４Ｆ Ｆｒｏｎｔ処理部
７４Ｃ Ｃｅｎｔｅｒ処理部
７４Ｓ Ｒｅａｒ処理部
７４Ｂ Ｂａｃｋ処理部
７４ＬＦＥ ＬＦＥ処理部
７５Ｌ Ｌ用加算部
７５Ｒ Ｒ用加算部
７６Ｌ，７６Ｒ レベル調整部
７７Ｌ，７７Ｒ 振幅制限部
７８Ｌ，７８Ｒ ノイズ軽減部
１００ テレビ装置
【技術分野】
【０００１】
本発明は、音声信号処理装置および音声信号処理方法に関する。本発明は、多チャンネルサラウンド方式などの２チャンネル以上の音声信号を、例えばテレビ装置に配置される２チャンネル用の電気音響再生手段により音響再生させるようにするための音声信号処理を行う音声信号処理装置および音声信号処理方法に関する。特に、テレビ装置に配置される、左右のスピーカなどの電気音響変換手段により音響再生したときに、視聴者（リスナ）の前方位置など、予め想定された位置に音源が仮想的に存在するように聴取できるようにする発明に関する。
【背景技術】
【０００２】
例えば特許文献１（ＷＯ９５／１３６９０号公報）や特許文献２（特開平０３−２１４８９７号公報）には、仮想音像定位と呼ばれる技術が開示されている。
【０００３】
この仮想音像定位は、例えばテレビ装置に配置される左右のスピーカなどで再生したときに、あたかも視聴者（リスナ）の前方の左右位置など、予め想定された位置に音源、例えばスピーカが存在するように再生される（仮想的に当該位置に音像を定位させる）ようにするもので、次のようにして実現される。
【０００４】
図２０は、左右２チャンネルステレオ信号を、例えばテレビ装置に配置される左右のスピーカで再生する場合における仮想音像定位の手法を説明するための図である。
【０００５】
図２０に示すように、例えば視聴者の両耳の近傍の位置（測定点位置）に、マイクロホンＭＬおよびＭＲを設置する。また、仮想音像定位させたい位置にスピーカＳＰＬおよびＳＰＲを配置する。ここで、スピーカは、電気音響変換部の一例であり、マイクロホンは、音響電気変換部の一例である。
【０００６】
そして、ダミーヘッド１（または人間つまり視聴者自体でもよい）が存在する状態で、まず、一方のチャンネル、例えば左チャンネルのスピーカＳＰＬで、例えばインパルスを音響再生する。そして、その音響再生により発せられたインパルスを上記マイクロホンＭＬおよびＭＲのそれぞれでピックアップして、左チャンネル用の頭部伝達関数を測定する。この例の場合、頭部伝達関数は、インパルスレスポンスとして測定する。
【０００７】
この場合、この左チャンネル用の頭部伝達関数としてのインパルスレスポンスには、図２０に示すように、マイクロホンＭＬでピックアップした左チャンネル用のスピーカＳＰＬからの音波のインパルスレスポンス（以下、左主成分のインパルスレスポンスという）ＨＬｄと、マイクロホンＭＲでピックアップした左チャンネル用のスピーカＳＰＬからの音波のインパルスレスポンス（以下、左クロストーク成分のインパルスレスポンスという）ＨＬｃとを含む。
【０００８】
次に、右チャネルのスピーカＳＰＲで同様にインパルスを音響再生し、その再生により発せられたインパルスを上記マイクロホンＭＬおよびＭＲのそれぞれでピックアップする。そして、右チャンネル用の頭部伝達関数、つまり、右チャンネル用のインパルスレスポンスを測定する。
【０００９】
この場合、右チャンネル用の頭部伝達関数としてのインパルスレスポンスには、マイクロホンＭＲでピックアップした右チャンネル用のスピーカＳＰＲからの音波のインパルスレスポンス（以下、右主成分のインパルスレスポンスという）ＨＲｄと、マイクロホンＭＬでピックアップした右チャンネル用のスピーカＳＰＲからの音波のインパルスレスポンス（以下、右クロストーク成分のインパルスレスポンスという）ＨＲｃとを含む。
【００１０】
そして、測定して得た、左チャンネル用の頭部伝達関数および右チャネル用の頭部伝達関数のインパルスレスポンスを、テレビ装置に配置される左右のスピーカのそれぞれに供給する音声信号に、そのまま畳み込むようにする。すなわち、左チャンネルの音声信号に対して、測定して得た左チャンネル用の頭部伝達関数としての左主成分のインパルスレスポンスおよび左クロストーク成分のインパルスレスポンスを、そのまま畳み込む。また、右チャンネルの音声信号に対して、測定して得た右チャンネル用の頭部伝達関数としての右主成分のインパルスレスポンスおよび右クロストーク成分のインパルスレスポンスを、そのまま畳み込む。
【００１１】
このようにすると、テレビ装置に配置される左右のスピーカで音響再生されているにもかかわらず、例えば左右２チャンネルステレオ音声の場合であれば、あたかも視聴者の前方の所望の位置に設置された左右のスピーカで音響再生されているように音像定位（仮想音像定位）させることができる。
【００１２】
以上は、２チャンネルの場合であるが、３チャンネル以上の多チャンネルの場合には、同様にして、それぞれのチャンネルの仮想音像定位位置にスピーカを配置して、例えばインパルスを再生し、それぞれのチャンネル用の頭部伝達関数を測定する。そして、測定して得た頭部伝達関数のインパルスレスポンスを、テレビ装置に配置される左右のスピーカに供給する音声信号に畳み込むようにすればよい。
【００１３】
ところで、最近は、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）の映像再生に伴う音響再生などにおいて、５．１チャンネル、７．１チャンネルなど、多チャンネルサラウンド方式が賞用されている。
【００１４】
このマルチサラウンド方式の音声信号をテレビ装置に配置される左右のスピーカで音響再生する場合においても、上述の仮想音像定位の手法を用いて、各チャンネルに応じた音像定位（仮想音像定位）させるようにすることも提案されている。
【先行技術文献】
【特許文献】
【００１５】
【特許文献１】ＷＯ９５／１３６９０号公報
【特許文献２】特開平０３−２１４８９７号公報
【発明の概要】
【発明が解決しようとする課題】
【００１６】
例えばテレビ装置に配置される左右のスピーカが、周波数特性や位相特性において、フラットな特性を備える場合には、上述のような仮想音像定位の手法により、理論的には、理想的なサラウンド効果を作り出すことができる筈である。
【００１７】
ところが、実際的には、テレビ装置に配置される左右のスピーカは、フラットな特性を備えていないため、上述のような仮想音像定位の手法を用いて作成した音声信号をテレビ装置に配置される左右のスピーカで再生し、その再生音を聴取したときに、所期のサラウンド感が得られないという問題がある。
【００１８】
また、テレビ装置に配置される左右のスピーカや、シアターラックに配置される左右のスピーカで音声信号を再生する場合には、通常、テレビ装置のモニタ画面の中央の位置よりも下側に左右のスピーカが配置されるため、音響再生音がモニタ画面の中央の位置よりも下側から出力されているような音像となる。このため、モニタ画面に表示される映像の中央の位置よりも下側の位置で音声が出力されているように聴取され、視聴者に違和感を与えてしまうという問題がある。
【００１９】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、理想的なサラウンド効果を作り出すことが可能な、新規かつ改良された音声信号処理装置および音声信号処理方法を提供することにある。
【課題を解決するための手段】
【００２０】
上記課題を解決するために、本発明のある観点によれば、２チャンネル以上の複数チャンネルの音声信号から、リスナに向けて設置される２個の電気音響変換部により音響再生する２チャンネルの音声信号を生成して出力する音声信号処理装置であって、前記２個の電気音響変換部で音響再生したときに、前記２チャンネル以上の複数チャンネルの各チャンネルについて想定される仮想音像定位位置に音像が定位するように聴取されるようにするための頭部伝達関数を、前記複数チャンネルの各チャンネルの音声信号に畳み込む頭部伝達関数畳み込み処理部と、前記頭部伝達関数畳み込み処理部からの複数チャンネルの音声信号から、前記２個の電気音響変換部に供給するための２チャンネルの音声信号を生成する２チャンネル信号生成部と、を備え、前記頭部伝達関数畳み込み処理部は、前記複数チャンネルのそれぞれについて、リスナの両耳の近傍の位置に、音響電気変換手段を設置し、前記リスナの位置にダミーヘッドまたは人間が存在する状態で、想定される音源位置で発せられた音波を前記音響電気変換手段でピックアップし、前記音響電気変換手段に直接に届いた音波のみから測定した頭部伝達関数を、前記ダミーヘッドまたは前記人間が存在しない素の状態で、前記想定される音源位置で発せられた音波を前記音響電気変換手段でピックアップし、前記音響電気変換手段に直接に届いた音波のみから測定した素の状態の伝達特性により正規化した正規化頭部伝達関数を、リスナの両耳の近傍の位置に、音響電気変換手段を設置し、前記リスナの位置にダミーヘッドまたは人間が存在する状態で、前記２個の電気音響変換部で別々に発せられた音波を前記音響電気変換手段でピックアップし、前記音響電気変換手段に直接に届いた音波のみから測定した頭部伝達関数を、前記ダミーヘッドまたは前記人間が存在しない素の状態で、前記２個の電気音響変換部で別々に発せられた音波を前記音響電気変換手段でピックアップし、前記音響電気変換手段に直接に届いた音波のみから測定した素の状態の伝達特性により正規化した正規化頭部伝達関数を用いて正規化した２重正規化頭部伝達関数のデータを記憶する記憶部と、前記２重正規化頭部伝達関数のデータを、前記記憶部から読み出して、前記音声信号に畳み込む畳み込み部と、を備える、音声信号処理装置が提供される。
【００２１】
前記頭部伝達関数畳み込み処理部からの前記複数チャンネルの音声信号うちの、左および右チャンネルの音声信号について、左および右チャンネルの２つのチャンネルの音声信号のクロストーク成分のキャンセル処理を施すクロストークキャンセル処理部をさらに備え、前記２チャンネル信号生成部は、前記クロストークキャンセル処理部からの複数チャンネルの音声信号から、前記２個の電気音響変換部に供給するための２チャンネルの音声信号の生成を行ってもよい。
【００２２】
前記クロストークキャンセル処理部は、前記キャンセル処理を施した後の左および右チャンネルの音声信号について、さらに、前記キャンセル処理を施した後の左および右チャンネルの２つのチャンネルの音声信号のクロストーク成分のキャンセル処理を施してもよい。
【００２３】
また、上記課題を解決するために、本発明の別の観点によれば、２チャンネル以上の複数チャンネルの音声信号から、リスナに向けて設置される２個の電気音響変換部により音響再生する２チャンネルの音声信号を生成して出力する音声信号処理装置における音声信号処理方法であって、頭部伝達関数畳み込み処理部が、前記２個の電気音響変換部で音響再生したときに、前記２チャンネル以上の複数チャンネルの各チャンネルについて想定される仮想音像定位位置に音像が定位するように聴取されるようにするための頭部伝達関数を、前記複数チャンネルの各チャンネルの音声信号に畳み込む頭部伝達関数畳み込み処理工程と、２チャンネル信号生成部が、前記頭部伝達関数畳み込み処理工程での処理結果の複数チャンネルの音声信号から、前記２個の電気音響変換部に供給するための２チャンネルの音声信号を生成する２チャンネル信号生成工程と、を有し、前記頭部伝達関数畳み込み処理工程では、前記複数チャンネルのそれぞれについて、リスナの両耳の近傍の位置に、音響電気変換手段を設置し、前記リスナの位置にダミーヘッドまたは人間が存在する状態で、想定される音源位置で発せられた音波を前記音響電気変換手段でピックアップし、前記音響電気変換手段に直接に届いた音波のみから測定した頭部伝達関数を、前記ダミーヘッドまたは前記人間が存在しない素の状態で、前記想定される音源位置で発せられた音波を前記音響電気変換手段でピックアップし、前記音響電気変換手段に直接に届いた音波のみから測定した素の状態の伝達特性により正規化した正規化頭部伝達関数を、リスナの両耳の近傍の位置に、音響電気変換手段を設置し、前記リスナの位置にダミーヘッドまたは人間が存在する状態で、前記２個の電気音響変換部で別々に発せられた音波を前記音響電気変換手段でピックアップし、前記音響電気変換手段に直接に届いた音波のみから測定した頭部伝達関数を、前記ダミーヘッドまたは前記人間が存在しない素の状態で、前記２個の電気音響変換部で別々に発せられた音波を前記音響電気変換手段でピックアップし、前記音響電気変換手段に直接に届いた音波のみから測定した素の状態の伝達特性により正規化した正規化頭部伝達関数を用いて正規化した２重正規化頭部伝達関数のデータが、記憶される記憶部から、前記２重正規化頭部伝達関数のデータを読み出して、前記音声信号に畳み込む畳み込み工程を有する、音声信号処理方法が提供される。
【発明の効果】
【００２４】
以上説明したように本発明によれば、理想的なサラウンド効果を作り出すことができる。
【図面の簡単な説明】
【００２５】
【図１】本発明による音声信号処理装置の実施の形態に用いる頭部伝達関数の算出装置を説明するシステム構成例を示すブロック図である。
【図２】本発明による音声信号処理装置の実施の形態に用いる頭部伝達関数を算出する際の測定位置を説明するための図である。
【図３】本発明の実施の形態において、頭部伝達関数測定手段および素の状態の伝達特性測定手段で得られる測定結果データの特性例を示す図である。
【図４】本発明の実施の形態により得られる正規化頭部伝達関数の特性の例を示す図である。
【図５】本発明の実施の形態により得られる正規化頭部伝達関数の特性と比較する特性例を示す図である。
【図６】本発明の実施の形態により得られる正規化頭部伝達関数の特性と比較する特性例を示す図である。
【図７】（Ａ）は、ＩＴＵ（国際電気通信連合）−Ｒによる７．１チャンネルマルチサラウンドの場合のスピーカ配置例を説明するための説明図であり、（Ｂ）は、ＴＨＸ社の推奨する、７．１チャンネルマルチサラウンドの場合のスピーカ配置例を説明するための説明図である。
【図８】（Ａ）は、ＩＴＵ−Ｒの７．１チャンネルマルチサラウンドのスピーカ配置例において、視聴者位置からテレビ装置方向を見た場合を説明するための説明図であり、（Ｂ）は、ＩＴＵ−Ｒの７．１チャンネルマルチサラウンドのスピーカ配置例において、横方向からテレビ装置を見た場合を説明するための説明図である。
【図９】本発明の実施の形態の音声信号処理装置を用いる音響再生システムのハードウエア構成例を説明するための説明図である。
【図１０】図９におけるＦｒｏｎｔ処理部の内部構成の一例を説明するための説明図である。
【図１１】図９におけるＦｒｏｎｔ処理部の内部構成の他の一例を説明するための説明図である。
【図１２】図９におけるＣｅｎｔｅｒ処理部の内部構成の一例を説明するための説明図である。
【図１３】図９におけるＲｅａｒ処理部の内部構成の一例を説明するための説明図である。
【図１４】図９におけるＢａｃｋ処理部の内部構成の一例を説明するための説明図である。
【図１５】図９におけるＬＦＥ処理部の内部構成の一例を説明するための説明図である。
【図１６】クロストークを説明するために用いる図である。
【図１７】本発明の実施の形態により得られる正規化頭部伝達関数の特性の例を示す図である。
【図１８】本発明の実施の形態における音声信号処理方法に用いる２重正規化頭部伝達関数のデータを取得するための処理手順を実行するシステムの構成の一例を示すブロック図である。
【図１９】スピーカ設置位置と想定音源位置を説明するために用いる図である。
【図２０】頭部伝達関数を説明するために用いる図である。
【発明を実施するための形態】
【００２６】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２７】
なお、説明は以下の順序で行うものとする。
１．実施の形態で用いる頭部伝達関数
２．実施の形態の頭部伝達関数の畳み込み方法の概要
３．スピーカやマイクロホンの特性の影響の除去について：第１の正規化
４．正規化頭部伝達関数を用いることによる効果の検証
５．実施の形態の音声信号処理方法を用いた音響再生システムの例；図７〜図１５
【００２８】
［１．実施の形態で用いる頭部伝達関数］
まず、本発明の実施の形態で用いる頭部伝達関数の生成および取得方法について説明する。
【００２９】
頭部伝達関数の測定を行う場所が反射のない無響室ではないときには、測定された頭部伝達関数には、想定された音源位置（仮想音像定位位置に対応）からの直接波のみではなく、図２０において点線で示したような反射波の成分も、分離できずに含まれる。このため、測定した従来の頭部伝達関数は、反射波による成分のため、測定を行った部屋や場所などの形状や、音波を反射する壁や天井、床などの材質に応じた当該測定場所の特性が含まれたものとなっている。
【００３０】
部屋や場所の特性を除去するためには、床、天井、壁面などからの音波の反射のない無響室で、頭部伝達関数を測定することが考えられる。
【００３１】
しかし、無響室で測定した頭部伝達関数をそのまま音声信号に畳み込んで、仮想音像定位させようとした場合、反射波が存在しないため、仮想音像定位位置や方向性がぼけるという問題がある。
【００３２】
そのため、従来は、音声信号にそのまま畳み込む頭部伝達関数の測定は、無響室では行わず、ある程度の響きが存在するが、特性が良いとされている部屋や場所で行うようにしているのである。そして、例えば、スタジオ、ホール、ラージルームなど、頭部伝達関数を測定した部屋や場所のメニューを提示して、ユーザに、好みの部屋や場所の頭部伝達関数を、上記メニューの中から選択してもらうなどの方策が採られたりしていた。
【００３３】
しかしながら、上述したように、従来は、想定された音源位置の音源からの直接波のみではなく、必ず、反射波を伴うものとして、直接波と反射波のインパルスレスポンスを分離できずに両者を含む頭部伝達関数を測定して得るようにしている。このため、測定された場所や部屋に応じた頭部伝達関数のみしか得られず、望む周囲環境や部屋環境に応じた頭部伝達関数を得て、それを音声信号に畳み込むということが困難であった。
【００３４】
例えば、周囲に壁や障害物がない大平原において、前方にスピーカが配置されたように想定された視聴環境に応じた頭部伝達関数を音声信号に畳み込むことは困難であった。
【００３５】
また、想定された所定の形状や容積、所定の吸音率（音波の減衰率に対応）の壁を備える部屋における頭部伝達関数を得ようとする場合には、従来は、そのような部屋を探したり、作製したりして、その部屋で頭部伝達関数を測定して得るしか方策がなかった。しかし、実際的には、そのような所望の視聴環境や部屋を探し出したり、作製したりすることは困難であり、所望の任意の視聴環境や部屋環境に応じた頭部伝達関数を、音声信号に畳み込むことはできないというのが現状である。
【００３６】
以下に説明する実施の形態では、以上の点にかんがみ、所望の任意の視聴環境や部屋環境に応じた頭部伝達関数であって、所望の仮想音像定位感が得られるようにした頭部伝達関数を音声信号に畳み込むようにしている。
【００３７】
［２．実施の形態の頭部伝達関数の畳み込み方法の概要］
上述したように、従来の頭部伝達関数の畳み込み方法においては、仮想音像定位させたいとして想定された音源位置にスピーカを設置して、直接波と反射波とのインパルスレスポンスを分離できずに両者を含むものとして頭部伝達関数を測定している。そして、当該測定して得た頭部伝達関数をそのまま音声信号に畳み込むようにしていた。
【００３８】
すなわち、従来は、仮想音像定位させたいとして想定された音源位置からの直接波の頭部伝達関数と反射波の頭部伝達関数とを分離して測定してはおらず、両者が含まれる総合的な頭部伝達関数として測定していた。
【００３９】
これに対して、本発明の実施の形態においては、仮想音像定位させたいとして想定された音源位置からの直接波の頭部伝達関数と反射波の頭部伝達関数とを分離して測定しておくようにする。
【００４０】
このため、本実施の形態では、測定点位置から見て、特定の方向に想定される想定音源方向位置からの直接波（つまり、反射波を含まない直接に測定点位置に到達する音波）についての頭部伝達関数を得るようにする。
【００４１】
反射波の頭部伝達関数は、壁などで反射した後の音波の方向を音源方向として、その音源方向からの直接波として測定するようにする。すなわち、所定の壁に反射して測定点位置に入射する反射波を考えた場合、壁で反射した後の壁からの反射音波は、当該壁での反射位置方向に想定した音源からの音波の直接波として考えることができるからである。
【００４２】
本実施の形態では、仮想音像定位させたいとして想定された音源位置からの直接波の頭部伝達関数を測定するときには、当該仮想音像定位させたいとして想定された音源位置に測定用音波の発生手段としての電気音響変換器、例えばスピーカを配置する。また、仮想音像定位させたいとして想定された音源位置からの反射波の頭部伝達関数を測定するときには、測定しようとする反射波の測定点位置への入射方向に、測定用音波の発生手段としての電気音響変換器、例えばスピーカを配置するようにする。
【００４３】
したがって、種々の方向からの反射波についての頭部伝達関数は、それぞれの反射波の測定点位置への入射方向に、測定用音波の発生手段としての電気音響変換器を設置して測定するようにする。
【００４４】
そして、本実施の形態では、以上のようにして測定した直接波および反射波についての頭部伝達関数を音声信号に畳み込むことにより、目的とする再生音響空間における仮想音像定位を得るようにする。ただし、この場合において、反射波の頭部伝達関数は、目的とする再生音響空間に応じて選択した方向の反射波についてのみ、音声信号に畳み込むようにする。
【００４５】
また、本実施の形態では、直接波および反射波についての頭部伝達関数は、測定用音源位置から測定点位置までの音波の経路長に応じた伝播遅延分は、除去して測定するようにする。そして、音声信号に、それぞれの頭部伝達関数を畳み込み処理する際に、測定用音源位置（仮想音像定位位置）から測定点位置（再生用音響再生手段位置）までの音波の経路長に応じた伝播遅延分を考慮するようにする。
【００４６】
これにより、部屋の大きさなどに応じて任意に設定した仮想音像定位位置についての頭部伝達関数を、音声信号に畳み込むことが可能となる。
【００４７】
そして、反射音波の減衰率に関連する壁の材質などによる反射率あるいは吸音率などの特性は、当該壁からの直接波の利得として想定するようにする。すなわち、本実施の形態では、例えば想定音源方向位置からの測定点位置への直接波による頭部伝達関数を、減衰無しで、音声信号に畳み込む。また、壁からの反射音波成分については、その壁の反射位置方向に想定された音源からの直接波による頭部伝達関数を、壁の特性に応じた反射率あるいは吸音率に応じた減衰率（利得）で畳み込むようにする。
【００４８】
このように頭部伝達関数を畳み込んだ音声信号の再生音を聴取するようにすれば、壁の特性に応じた反射率あるいは吸音率により、どのような仮想音像定位の状態になるかを検証することができる。
【００４９】
また、直接波の頭部伝達関数と、選択した反射波についての頭部伝達関数とを、減衰率を考慮しつつ、音声信号に畳み込んで音響再生することで、様々な部屋環境、場所環境における仮想音像定位をシミュレーションすることもできる。これは、想定音源方向位置からの直接波と、反射波とを分離して、頭部伝達関数として測定することにより実現が可能となったものである。
【００５０】
［３．スピーカやマイクロホンの特性の影響の除去について：第１の正規化］
上述したように、特定の音源からの、反射波成分を除く直接波のみについての頭部伝達関数は、例えば無響室で測定することで得ることができる。そこで、無響室において、希望する仮想音像定位位置からの直接波と、想定される複数の反射波について、頭部伝達関数を測定して、畳み込みに用いるようにする。
【００５１】
すなわち、無響室において、視聴者の両耳近傍の測定点位置に、測定用音波を収音する音響電気変換部としてのマイクロホンを設置する。また、上記直接波および上記複数の反射波の方向の位置に測定用音波を発生する音源を設置して、頭部伝達関数の測定をするようにする。
【００５２】
ところで、無響室で頭部伝達関数を得たとしても、頭部伝達関数を測定する測定系のスピーカとマイクロホンの特性は排除することはできない。そのため、測定して得た頭部伝達関数は、測定に用いたスピーカやマイクロホンの特性の影響を受けてしまうという問題がある。
【００５３】
マイクロホンやスピーカの特性の影響を除去するためには、頭部伝達関数の測定に用いるマイクロホンおよびスピーカとして、周波数特性が平坦な、特性の良い高価なマイクロホンおよびスピーカを用いることが考えられる。
【００５４】
しかしながら、高価なマイクロホンやスピーカであっても、理想的な平坦な周波数特性は得られず、これらマイクロホンやスピーカの特性の影響を完全に除去することができず、再生音声の音質の劣化を招いてしまうことがあった。
【００５５】
また、測定系のマイクロホンやスピーカの逆特性を用いて、頭部伝達関数を畳み込んだ後の音声信号に対して補正をすることで、マイクロホンやスピーカの特性の影響を除去するようにすることも考えられる。しかし、その場合には、音声信号再生回路に、当該補正回路を設けなければならず、構成が複雑になると共に、測定系の影響を完全に除去する補正は困難であるという問題がある。
【００５６】
以上の問題点を考慮して、測定する部屋や場所の影響を取り除くために、本実施の形態では、測定に用いるマイクロホンやスピーカの特性の影響を除去するために、以下に説明するような正規化処理を、測定して得た頭部伝達関数に施すようにする。最初に、本実施の形態における頭部伝達関数測定方法の実施の形態を、図を参照しながら説明する。
【００５７】
図１は、本発明の実施の形態における頭部伝達関数測定方法に用いる正規化頭部伝達関数のデータを取得するための処理手順を実行するシステムの構成の一例を示すブロック図である。
【００５８】
頭部伝達関数測定手段１０では、直接波のみの頭部伝達特性を測定するために、この例では、無響室において頭部伝達関数の測定を行う。そして、頭部伝達関数測定手段１０においては、無響室において、上述した図２０のように、視聴者位置にダミーヘッドまたは視聴者（リスナ）としての人間そのものを配置する。そして、当該ダミーヘッドまたは人間の両耳の近傍（測定点位置）に、測定用音波を収音する音響電気変換部としてのマイクロホンを設置する。
【００５９】
そして、視聴者あるいは測定点位置であるマイクロホン位置を基点として、頭部伝達関数を測定しようとする方向に、測定用音波を発生する音源の一例としてのスピーカを設置する。この状態で、このスピーカにより頭部伝達関数の測定用音波、この例ではインパルスを再生して、２個のマイクロホンで、そのインパルスレスポンスをピックアップする。なお、測定用音源としてのスピーカが設置される、頭部伝達関数を測定したい方向の位置を、以下の説明においては、想定音源方向位置と称することにする。
【００６０】
この頭部伝達関数測定手段１０において、２個のマイクロホンから得られるインパルスレスポンスは、頭部伝達関数を表わすものとなっている。
【００６１】
素の状態の伝達特性測定手段２０においては、頭部伝達関数測定手段１０と同一環境において、視聴者位置に上記ダミーヘッドまたは上記人間が存在しない、つまり、測定用音源位置と測定点位置との間に障害物が存在しない素の状態の伝達特性の測定を行う。
【００６２】
すなわち、素の状態の伝達特性測定手段２０においては、無響室において、頭部伝達関数測定手段１０では設置されていたダミーヘッドまたは人間を除去して、想定音源方向位置のスピーカとマイクロホンとの間に障害物がない素の状態にする。
【００６３】
そして、想定音源方向位置のスピーカやマイクロホンの配置は、頭部伝達関数測定手段１０における状態と全く同じ状態として、その状態で、想定音源方向位置のスピーカにより測定用音波、この例ではインパルスを再生する。そして、２個のマイクロホンで、その再生されたインパルスをピックアップする。
【００６４】
この素の状態の伝達特性測定手段２０で２個のマイクロホン出力から得られるインパルスレスポンスは、ダミーヘッドや人間などの障害物が存在しない素の状態における伝達特性を表わすものとなっている。
【００６５】
なお、頭部伝達関数測定手段１０および素の状態の伝達特性測定手段２０においては、直接波について、２個のマイクロホンのそれぞれから上述した左、右主成分の頭部伝達関数および素の状態の伝達特性と、左右のクロストーク成分の頭部伝達関数および素の状態の伝達特性とが得られる。そして、主成分と、左右のクロストーク成分のそれぞれについて、後述する正規化処理が同様になされるものである。
【００６６】
以下の説明では、簡単のため、例えば主成分についてのみの正規化処理についての説明し、クロストーク成分についての正規化処理についての説明は省略する。なお、クロストーク成分についても、同様にして正規化処理が行われるのは言うまでもない。
【００６７】
頭部伝達関数測定手段１０および素の状態の伝達特性測定手段２０で取得したインパルスレスポンスは、この例では、サンプリング周波数が９６ｋＨｚで、８１９２サンプルのデジタルデータとして、出力される。
【００６８】
ここで、頭部伝達関数測定手段１０から得られる頭部伝達関数のデータは、Ｘ（ｍ）、ただし、ｍ＝０，１，２・・・，Ｍ−１（Ｍ=８１９２）と表わすこととする。また、素の状態の伝達特性測定手段２０から得られる素の状態の伝達特性のデータは、Ｘｒｅｆ（ｍ）、ただし、ｍ＝０，１，２・・・，Ｍ−１（Ｍ=８１９２）と表わすこととする。
【００６９】
頭部伝達関数測定手段１０からの頭部伝達関数のデータＸ（ｍ）および素の状態の伝達特性測定手段２０からの素の状態の伝達特性のデータＸｒｅｆ（ｍ）は、それぞれ遅延除去頭詰め部３１および３２に供給される。
【００７０】
遅延除去頭詰め部３１および３２では、想定音源方向位置のスピーカからの音波の、インパルスレスポンス取得用のマイクロホンへの到達時間に相当する遅延時間分だけ、上記スピーカでインパルスが再生開始された時点からの頭の部分のデータが除去される。遅延除去頭詰め部３１および３２では、また、次段（次工程）での時間軸データから周波数軸データへの直交変換の処理が可能なように、データ数が、２のべき乗のデータ数に削減される。
【００７１】
次に、遅延頭詰め部３１および３２でデータ数が削減された頭部伝達関数のデータＸ（ｍ）および素の状態の伝達特性のデータＸｒｅｆ（ｍ）は、それぞれＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）部３３および３４に供給される。ＦＦＴ部３３および３４では、時間軸データから周波数軸データに変換される。なお、本実施の形態では、ＦＦＴ部３３および３４においては、位相を考慮した複素高速フーリエ変換（複素ＦＦＴ）処理を行うものである。
【００７２】
ＦＦＴ部３３での複素ＦＦＴ処理により、頭部伝達関数のデータＸ（ｍ）は、実部Ｒ（ｍ）および虚部ｊＩ（ｍ）からなるＦＦＴデータ、すなわち、Ｒ（ｍ）＋ｊＩ（ｍ）に変換される。
【００７３】
また、ＦＦＴ部３４での複素ＦＦＴ処理により、素の状態の伝達特性のデータＸｒｅｆ（ｍ）は、実部Ｒｒｅｆ（ｍ）および虚部ｊＩｒｅｆ（ｍ）からなるＦＦＴデータ、すなわち、Ｒｒｅｆ（ｍ）＋ｊＩｒｅｆ（ｍ）に変換される。
【００７４】
ＦＦＴ部３３および３４で得られるＦＦＴデータは、Ｘ−Ｙ座標データであるが、本実施の形態では、このＦＦＴデータは、さらに、極座標変換部３５および３６において、極座標のデータに変換される。すなわち、頭部伝達関数のＦＦＴデータＲ（ｍ）＋ｊＩ（ｍ）は、極座標変換部３５により、大きさ成分である動径γ（ｍ）と、角度成分である偏角θ（ｍ）とに変換される。そして、この極座標データである動径γ（ｍ）と、偏角θ（ｍ）とが、正規化およびＸ−Ｙ座標変換部３７に送られる。
【００７５】
また、素の状態の伝達特性のＦＦＴデータＲｒｅｆ（ｍ）＋ｊＩｒｅｆ（ｍ）は、極座標変換部３５により、動径γｒｅｆ（ｍ）と、偏角θｒｅｆ（ｍ）とに変換される。そして、この極座標データである動径γｒｅｆ（ｍ）と、偏角θｒｅｆ（ｍ）とが、正規化およびＸ−Ｙ座標変換部３７に送られる。
【００７６】
正規化およびＸ−Ｙ座標変換部３７では、まず、ダミーヘッドまたは人間を含んで測定された頭部伝達関数を、ダミーヘッドなどの障害物がない素の状態の伝達特性を用いて正規化する。ここで、正規化処理の具体的な演算は、次の通りである。
すなわち、正規化処理後の動径をγｎ（ｍ）、正規化処理後の偏角をθｎ（ｍ）とすると、
γｎ（ｍ）＝γ（ｍ）／γｒｅｆ（ｍ）
θｎ（ｍ）＝θ（ｍ）−θｒｅｆ（ｍ）
・・・（式１）
となる。
【００７７】
そして、正規化およびＸ−Ｙ座標変換部３７では、正規化処理後の極座標系のデータ動径γｎ（ｍ）および偏角θｎ（ｍ）を、Ｘ−Ｙ座標系の実部Ｒｎ（ｍ）および虚部ｊＩｎ（ｍ）（ｍ＝０，１・・・Ｍ／４−１）からなる周波数軸データに変換する。変換後の周波数軸データは正規化頭部伝達関数データである。
【００７８】
このＸ−Ｙ座標系の周波数軸データの正規化頭部伝達関数データは、逆ＦＦＴ部３８で、時間軸の正規化頭部伝達関数データであるインパルスレスポンスＸｎ（ｍ）に変換する。この逆ＦＦＴ部３８では、複素逆高速フーリエ変換（複素逆ＦＦＴ）処理を行う。
すなわち、
Ｘｎ（ｍ）＝ＩＦＦＴ（Ｒｎ（ｍ）＋ｊＩｎ（ｍ））
ただし、ｍ＝０，１，２・・・，Ｍ／２−１
なる演算が逆ＦＦＴ（ＩＦＦＴ（Ｉｎｖｅｒｓｅ Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ））部３８で行われる。こうして、逆ＦＦＴ部３８からは、時間軸の正規化頭部伝達関数データであるインパルスレスポンスＸｎ（ｍ）が得られる。
【００７９】
この逆ＦＦＴ部３８からの正規化頭部伝達関数のデータＸｎ（ｍ）は、ＩＲ（インパルスレスポンス）簡略化部３９において、処理可能（後述する畳み込み可能）なインパルス特性のタップ長に簡略化する。本実施の形態では、６００タップ（逆ＦＦＴ部３８からのデータの頭から６００個のデータ）に簡略化する。
【００８０】
このＩＲ簡略化部３９で簡略化された正規化頭部伝達関数のデータＸｎ（ｍ）（ｍ＝０，１・・・５９９）は、後述する畳み込み処理のために、正規化頭部伝達関数メモリ４０に書き込まれる。なお、この正規化頭部伝達関数メモリ４０に書き込まれる正規化頭部伝達関数は、各想定音源方向位置（仮想音像定位位置）毎のそれぞれにおいて、主成分の正規化頭部伝達関数と、クロストーク成分の正規化頭部伝達関数とを含むことは上述した通りである。
【００８１】
以上の説明は、視聴者位置に対して特定の１方向において、測定点位置（マイクロホン位置）から所定距離だけ離れた１箇所の想定音源方向位置に、測定用音波（例えばインパルス）を再生するスピーカを設置し、当該スピーカ設置位置に対する正規化頭部伝達関数を取得する処理の説明である。
【００８２】
本実施の形態では、測定用音波の例としてのインパルスを再生するスピーカの設置位置である想定音源方向位置を、測定点位置に対して異なる方向に種々変更して、以上と同様にして、各想定音源方向位置に対する正規化頭部伝達関数を取得するようにする。
【００８３】
すなわち、本実施の形態では、仮想音像定位位置からの直接波のみではなく、反射波についての頭部伝達関数を取得するため、反射波の測定点位置への入射方向を考慮して、複数個の位置に想定音源方向位置を設定して、その正規化頭部伝達関数を求める。
【００８４】
ここで、スピーカ設置位置である想定音源方向位置は、水平面内において、測定点位置であるマイクロホン位置あるいは視聴者を中心にした３６０度または１８０度の角範囲を、例えば１０度角間隔毎に変化させて設定するようにする。この設定は、視聴者の左右の壁からの反射波についての正規化頭部伝達関数を求めるために、得ようとする反射波の方向についての必要な分解能を考慮したものである。
【００８５】
同様に、スピーカ設置位置である想定音源方向位置は、垂直面内において、測定点位置であるマイクロホン位置あるいは視聴者を中心にした３６０度または１８０度の角範囲を、例えば１０度角間隔毎に変化させて設定するようにする。この設定は、天井または床からの反射波についての正規化頭部伝達関数を求めるために、得ようとする反射波の方向についての必要な分解能を考慮したものである。
【００８６】
３６０度の角範囲を考慮する場合は、直接波としての仮想音像定位位置が視聴者の後方にも存在する、例えば５，１チャンネル，６．１チャンネル，７．１チャンネルなどのマルチチャンネルサラウンド音声を再生する場合を想定した場合である。また、視聴者の後方の壁からの反射波を考慮する場合にも３６０度の角範囲を考慮する必要がある。
【００８７】
１８０度の角範囲を考慮する場合は、直接波としての仮想音像定位位置が視聴者の前方にのみ存在し、また、視聴者の後方の壁からの反射波を考慮しなくて良い状態を想定した場合である。
【００８８】
図２は、頭部伝達関数および素の状態の伝達特性の測定位置（想定音源方向位置）と、測定点位置としてのマイクロホン設置位置を説明するための図である。
【００８９】
図２（Ａ）は、頭部伝達関数測定手段１０での測定状態を示すもので、視聴者位置にはダミーヘッドまたは人間ＯＢを配置する。そして、想定音源方向位置においてインパルスを再生するスピーカは、図２（Ａ）で丸印Ｐ１、Ｐ２、Ｐ３、・・・で示すような位置に配置する。すなわち、この例では、スピーカは、視聴者位置の中心位置を中心にして、１０度角間隔毎の、頭部伝達関数を測定したい方向の所定位置に配置する。
【００９０】
また、この例においては、２個のマイクロホンＭＬ，ＭＲは、図２（Ａ）に示すように、ダミーヘッドまたは人間の耳の耳殻内位置に設置するようにする。
【００９１】
図２（Ｂ）は、素の状態の伝達特性測定手段２０での測定状態を示すもので、図２（Ａ）におけるダミーヘッドまたは人間ＯＢを除去した測定環境の状態を示している。
【００９２】
上述の正規化処理は、図２（Ａ）において、丸印Ｐ１、Ｐ２、・・・で示す想定音源方向位置のそれぞれにおいて測定した頭部伝達関数を、図２（Ｂ）において、同じ想定音源方向位置Ｐ１、Ｐ２、・・・のそれぞれにおいて測定した素の状態の伝達特性で、それぞれ正規化することによりなされる。つまり、例えば、想定音源方向位置Ｐ１で測定した頭部伝達関数は、同じ想定音源方向位置Ｐ１で測定した素の状態の伝達特性で正規化するようにする。
【００９３】
以上により、正規化頭部伝達関数メモリ４０に書き込まれた正規化頭部伝達関数としては、例えば１０度角間隔ずつ離れた仮想音源位置からの、反射波を除く直接波のみについての頭部伝達関数を得ることができる。
【００９４】
そして、取得された正規化頭部伝達関数は、インパルスを発生したスピーカの特性や、インパルスをピックアップしたマイクロホンの特性が、正規化処理により、排除されたものとなる。
【００９５】
さらに、取得された正規化頭部伝達関数は、この例では、遅延除去頭詰め部３１，３２において、インパルスを発生するスピーカ位置（想定音源方向位置）と、インパルスをピックアップするマイクロホン位置との距離に対応する遅延が除去されたものである。したがって、取得された正規化頭部伝達関数は、この例では、インパルスを発生するスピーカ位置（想定音源方向位置）と、インパルスをピックアップするマイクロホン位置との距離に無関係となる。つまり、取得された正規化頭部伝達関数は、インパルスをピックアップするマイクロホン位置から見て、インパルスを発生するスピーカ位置（想定音源方向位置）の方向のみに応じた頭部伝達関数となる。
【００９６】
そして、直接波について、正規化頭部伝達関数を、音声信号に畳み込むときには、音声信号に対して、仮想音像定位位置とマイクロホン位置との距離に応じた遅延を付与するようにする。すると、この付与された遅延により、マイクロホン位置に対する想定音源方向位置の方向の、上記遅延に応じた距離位置を、仮想音像定位位置として音響再生させることができる。
【００９７】
また、想定音源方向位置方向からの反射波については、仮想音像定位させたい位置から壁などの反射部で反射された後にマイクロホン位置に入射する方向を、反射波についての想定音源方向位置の方向と考える。そして、想定音源方向位置方向からマイクロホン位置に入射するまでの、反射波についての音波の経路長に応じた遅延を音声信号に施して、正規化頭部伝達関数を畳み込むようにする。
【００９８】
つまり、直接波および反射波について、正規化頭部伝達関数を音声信号に畳み込むときには、音声信号に対して、仮想音像定位させたい位置から、マイクロホン位置に入射するまでの音波の経路長に応じた遅延を音声信号に施すようにするものである。
【００９９】
なお、頭部伝達関数測定方法の実施の形態を説明するための図１のブロック図における信号処理は、全てＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）で行うことができる。その場合において、頭部伝達関数測定手段１０および素の状態の伝達特性測定手段２０における頭部伝達関数のデータＸ（ｍ）および素の状態の伝達特性のデータＸｒｅｆ（ｍ）の取得部と、遅延除去頭詰め部３１，３２、ＦＦＴ部３３，３４、極座標変換部３５，３６、正規化およびＸ−Ｙ座標変換部３７、逆ＦＦＴ部３８およびＩＲ簡略部３９は、それぞれをＤＳＰで構成しても良いし、全体の信号処理を、まとめて１個あるいは複数個のＤＳＰで構成するようにしてもよい。
【０１００】
なお、上述の図１の例では、正規化頭部伝達関数や素の状態での伝達特性のデータについては、遅延除去頭詰め部３１，３２で、想定音源方向位置とマイクロホン位置との間の距離に対応する遅延時間分の先頭データを除去して、頭詰めするようにしている。これは、頭部伝達関数の後述する畳み込みの処理量を削減するためであるが、この遅延除去頭詰め部３１，３２でのデータの除去処理を、例えばＤＳＰの内部メモリを用いて行うようにする。しかし、この遅延除去頭詰め処理は行わなくても良い場合は、ＤＳＰでは、元のデータを、そのまま、８１９２サンプルのデータで処理を行うようにする。
【０１０１】
また、ＩＲ簡略部３９は、頭部伝達関数を後述する畳み込みの処理する際における畳み込み処理量を削減するためのもので、これは、省略することもできる。
【０１０２】
さらに、上述の実施の形態において、ＦＦＴ部３３，３４からのＸ−Ｙ座標系の周波数軸データを、極座標系の周波数データに変換したのは、Ｘ−Ｙ座標系の周波数データのままでは、正規化処理ができなかった場合があることを考慮したものである。しかし、理想的な構成であれば、Ｘ−Ｙ座標系の周波数データのままでも正規化処理は可能である。
【０１０３】
なお、上述の例では、種々の仮想音像定位位置およびその反射波のマイクロホン位置への入射方向を想定して、多数の想定音源方向位置についての正規化頭部伝達関数を求めるようにした。このように多数の想定音源方向位置についての正規化頭部伝達関数を求めたのは、後で、必要な想定音源方向位置の方向の頭部伝達関数を、その中から選択することができるようにするためである。
【０１０４】
しかし、予め、仮想音像定位位置が固定されており、かつ、反射波の入射方向も定まっている場合には、その固定された仮想音像定位位置や反射波の入射方向の想定音源方向位置のみに対する正規化頭部伝達関数を求めるようにしても勿論良い。
【０１０５】
なお、複数の想定音源方向位置からの直接波のみについての頭部伝達関数および素の状態の伝達特性を測定するために、上述の実施の形態では、無響室において測定を行うようにした。しかし、無響室ではなく、反射波が含まれる部屋や場所であっても、当該反射波が直接波に対して大きく遅延している場合には、直接波成分のみを時間ウインドーを掛けて、抽出するようにすることもできる。
【０１０６】
また、想定音源方向位置でスピーカで発生する頭部伝達関数の測定用音波を、インパルスではなく、ＴＳＰ（Ｔｉｍｅ Ｓｔｒｅｔｃｈｅｄ Ｐｕｌｓｅ）信号としてもよい。ＴＳＰ信号を用いる場合には、無響室ではなくても、反射波を除去して、直接波のみについての頭部伝達関数および素の状態の伝達特性を測定することができる。
【０１０７】
［４．正規化頭部伝達関数を用いることによる効果の検証］
実際に頭部伝達関数の測定に用いたスピーカおよびマイクロホンを含む測定系の特性を、図３に示す。すなわち、図３（Ａ）は、ダミーヘッドや人間などの障害物を入れない状態で、スピーカにより、０から２０ｋＨｚまでの周波数信号の音を、同じ一定レベルで再生し、マイクロホンでピックアップしたときの、当該マイクロホンからの出力信号の周波数特性である。
【０１０８】
ここで使用したスピーカは、業務用のかなり特性の良いとされるスピーカであるが、それでも、図３（Ａ）に示すような特性を有し、平坦な周波数特性とならない。また、実際にも、この図３（Ａ）の特性は一般的なスピーカの中ではかなりフラットな部類に属される優秀な特性とされている。
【０１０９】
従来は、このスピーカおよびマイクロホンの系の特性が、頭部伝達関数に付加された状態であり、それが除去されないので、頭部伝達関数を畳み込んで得られる音の特性や音質が、そのスピーカおよびマイクロホンの系の特性に左右されてしまうことになる。
【０１１０】
図３（Ｂ）は、同じ条件で、ダミーヘッドや人間などの障害物を入れた状態におけるマイクロホンからの出力信号の周波数特性である。１２００Ｈｚ付近や１０ｋＨｚ付近で大きなディップが生じ、かなり変動する周波数特性となることが分かる。
【０１１１】
図４（Ａ）は、図３（Ａ）の周波数特性と、図３（Ｂ）の周波数特性とを重ねて示した周波数特性図である。
【０１１２】
これに対して図４（Ｂ）は、上述したような実施の形態により、正規化した頭部伝達関数の特性を示すものである。この図４（Ｂ）から、正規化した頭部伝達関数の特性においては、低域においても、ゲインは下がらない特性となっていることが分かる。
【０１１３】
上述した実施の形態においては、複素ＦＦＴ処理を行い、位相成分を考慮した正規化頭部伝達関数を用いるようにしている。このため、位相を考慮せずに、振幅成分のみを用いて正規化した頭部伝達関数を用いた場合に比べて、正規化頭部伝達関数の忠実度が高いという特徴がある。
【０１１４】
すなわち、位相を考慮せずに振幅のみを正規化する処理を行い、最終的に用いるインパルス特性を再度ＦＦＴして特性を取ったものを、図５に示す。
【０１１５】
この図５と、本実施の形態の正規化頭部伝達関数の特性である図４（Ｂ）とを比較参照すると、次のようなことが分かる。すなわち、頭部伝達関数Ｘ（ｍ）と、素の状態の伝達特性Ｘｒｅｆ（ｍ）との特性の差分が、本実施の形態の複素ＦＦＴでは、図４（Ｂ）に示すように正しく得られるが、位相を考慮しない場合は、図５に示すように、本来のものからずれてしまう。
【０１１６】
また、上述の図１の処理手順においては、ＩＲ簡略化部３９により、正規化頭部伝達関数の簡略化を最後に行っているので、最初からデータ数を少なくして処理する場合に比べて、特性のずれが少ないという特徴がある。
【０１１７】
すなわち、頭部伝達関数測定手段１０および素の状態の伝達特性測定手段２０で得られたデータについて、最初に、データ数を少なくする簡略化を行った場合（最終的に必要なインパルス数以降を０として正規化を行う場合）には、正規化頭部伝達関数の特性は、図６に示すようなものとなり、特に、低域の特性にずれが出てきてしまう。これに対して、上述した実施の形態の構成で得た正規化頭部伝達関数の特性は、図４（Ｂ）のようになり、低域においても特性のずれが少ない。
【０１１８】
［５．実施の形態の音声信号処理方法を用いた音響再生システムの例；図７〜図１５］
次に、本発明による音声信号処理装置の実施の形態を、例えばテレビ装置に配置される左右のスピーカを用いてマルチサラウンド音声信号を再生する場合に適用した場合を例に説明する。すなわち、以下に説明する例は、上述した正規化頭部伝達関数を、各チャンネルの音声信号に畳み込むことにより、仮想音像定位を用いた再生を行うことができるようにした場合である。
【０１１９】
図７（Ａ）は、ＩＴＵ（国際電気通信連合）−Ｒによる７．１チャンネルマルチサラウンドの場合のスピーカ配置例を説明するための説明図であり、図７（Ｂ）は、ＴＨＸ社の推奨する、７．１チャンネルマルチサラウンドの場合のスピーカ配置例を説明するための説明図である。
【０１２０】
以下に説明する例は、図７（Ａ）に示す、ＩＴＵ−Ｒによる７．１チャンネルマルチサラウンドの場合のスピーカ配置を想定して、テレビ装置１００に配置される左右のスピーカＳＰＬ，ＳＰＲにより、この７．１チャンネルマルチサラウンドのスピーカ配置位置に、各チャンネルの音声成分が仮想音像定位するように、頭部伝達関数を畳み込むようにする場合である。
【０１２１】
図７（Ａ）に示すように、ＩＴＵ−Ｒの７．１チャンネルマルチサラウンドのスピーカ配置例では、視聴者位置Ｐｎを中心とした円周上に、各チャンネルのスピーカが位置するように定められる。
【０１２２】
図７（Ａ）において、視聴者の正面位置であるＣは、センターチャンネルのスピーカ位置である。センターチャンネルのスピーカ位置Ｃを中心として、その両側において、互いに６０度の角範囲だけ離れた位置であるＬＦおよびＲＦは、それぞれ左前方チャンネルおよび右前方チャンネルのスピーカ位置を示している。
【０１２３】
そして、視聴者の正面位置Ｃの左右６０度から１５０度の範囲において、左側および右側に２個ずつのスピーカ位置ＬＳ，ＬＢおよびＲＳ，ＲＢが設定される。これらスピーカ位置ＬＳ，ＬＢとＲＳ，ＲＢとは、視聴者に対して左右対称の位置に設定されるものである。スピーカ位置ＬＳおよびＲＳは、左側方チャンネルおよび右側方チャンネルのスピーカ位置であり、スピーカ位置ＬＢおよびＲＢは、左後方チャンネルおよび右後方チャンネルのスピーカ位置である。
【０１２４】
図８（Ａ）は、ＩＴＵ−Ｒの７．１チャンネルマルチサラウンドのスピーカ配置例において、視聴者位置からテレビ装置１００方向を見た場合を説明するための説明図であり、図８（Ｂ）は、ＩＴＵ−Ｒの７．１チャンネルマルチサラウンドのスピーカ配置例において、横方向からテレビ装置１００を見た場合を説明するための説明図である。
【０１２５】
図８（Ａ）および図８（Ｂ）に示すように、通常、テレビ装置１００の左右のスピーカＳＰＬ，ＳＰＲはモニタ画面の中央の位置（図８（Ａ）においてはスピーカ位置Ｃの中心）よりも下側に配置される。このため、音響再生音がモニタ画面の中央の位置よりも下側から出力されているような音像となる。
【０１２６】
本実施の形態では、７．１チャンネルのマルチサラウンド音声信号を、この例の左右のスピーカＳＰＬ，ＳＰＲで音響再生したとき、図７（Ａ）、図８（Ａ）および図８（Ｂ）の各スピーカ位置Ｃ，ＬＦ，ＲＦ，ＬＳ，ＲＳ，ＬＢ，ＲＢの方向を仮想音像定位方向として音響再生されるようにする。このため、後述するようにして、７．１チャンネルのマルチサラウンド音声信号の各チャンネルの音声信号に、選択された正規化頭部伝達関数を畳み込むようにする。
【０１２７】
図９は、本発明の実施の形態の音声信号処理装置を用いる音響再生システムのハードウエア構成例を説明するための説明図である。
【０１２８】
この図９に示した例は、電気音響変換部が、左チャンネル用のスピーカＳＰＬと、右チャンネル用のスピーカＳＰＲとを備える場合の例である。
【０１２９】
なお、この図９においては、図７（Ａ）のスピーカ位置Ｃ，ＬＦ，ＲＦ，ＬＳ，ＲＳ，ＬＢ，ＲＢに供給すべき各チャンネルの音声信号は、同じ記号Ｃ，ＬＦ，ＲＦ，ＬＳ，ＲＳ，ＬＢ，ＲＢを用いて示している。ここで、図９において、ＬＦＥ（Ｌｏｗ Ｆｒｅｑｕｅｎｃｙ Ｅｆｆｅｃｔ）チャンネルは、低域効果チャンネルであり、これは、通常、音像定位方向が定まらない音声である。本実施の形態では、センターチャンネルのスピーカ位置Ｃを中心して、その両側において、例えば互いに１５度の角範囲だけ離れた位置に２つのＬＦＥチャンネル用のスピーカが配置される場合を想定している。
【０１３０】
図９に示すように、７．１チャンネルの音声信号ＬＦ，ＲＦのそれぞれは、Ｆｒｏｎｔ処理部７４Ｆに供給される。７．１チャンネルの音声信号Ｃは、Ｃｅｎｔｅｒ処理部７４Ｃに供給される。７．１チャンネルの音声信号ＬＳ，ＲＳのそれぞれは、Ｒｅａｒ処理部７４Ｓに供給される。７．１チャンネルの音声信号ＬＢ，ＲＢのそれぞれは、Ｂａｃｋ処理部７４Ｂに供給される。７．１チャンネルの音声信号ＬＦＥは、ＬＦＥ処理部７４ＬＦＥに供給される。
【０１３１】
Ｆｒｏｎｔ処理部７４Ｆ、Ｃｅｎｔｅｒ処理部７４Ｃ、Ｒｅａｒ処理部７４Ｓ、Ｂａｃｋ処理部７４Ｂ、ＬＦＥ処理部７４ＬＦＥのそれぞれは、この例では、後述するように直接波の正規化頭部伝達関数の畳み込み処理と、各チャンネルのクロストーク成分の正規化頭部伝達関数の畳み込み処理と、クロストークキャンセル処理を行う。
【０１３２】
なお、この例では、Ｆｒｏｎｔ処理部７４Ｆ、Ｃｅｎｔｅｒ処理部７４Ｃ、Ｒｅａｒ処理部７４Ｓ、Ｂａｃｋ処理部７４Ｂ、ＬＦＥ処理部７４ＬＦＥのそれぞれにおいては、反射波については、処理対象としないものとした。
【０１３３】
Ｆｒｏｎｔ処理部７４Ｆ、Ｃｅｎｔｅｒ処理部７４Ｃ、Ｒｅａｒ処理部７４Ｓ、Ｂａｃｋ処理部７４Ｂ、ＬＦＥ処理部７４ＬＦＥのそれぞれからの出力音声信号は、２チャンネル信号生成手段としての加算処理部（図示しない）を構成する、２チャンネルステレオの左チャンネル用加算部（以下、Ｌ用加算部という。）７５Ｌと、右チャンネル用加算部（以下、Ｒ用加算部という。）７５Ｒに供給される。
【０１３４】
Ｌ用加算部７５Ｌは、本来の左チャンネル成分ＬＦ，ＬＳ，ＬＢと、右チャンネル成分ＲＦ，ＲＳ，ＲＢのクロストーク成分と、センターチャンネル成分Ｃおよび低域効果チャンネル成分ＬＦＥとを加算する。
【０１３５】
そして、Ｌ用加算部７５Ｌは、その加算結果を、左チャンネル用のスピーカ用の合成音声信号として、レベル調整部７６Ｌに供給する。
【０１３６】
Ｒ用加算部７５Ｒは、本来の右チャンネル成分ＲＦ，ＲＳ，ＲＢと、左チャンネル成分ＬＦ，ＬＳ，ＬＢのクロストーク成分と、センターチャンネル成分Ｃおよび低域効果チャンネル成分ＬＦＥとを加算する。
【０１３７】
そして、Ｒ用加算部７５Ｒは、その加算結果を、右チャンネル用のスピーカ用の合成音声信号として、レベル調整部７６Ｒに供給する。
【０１３８】
この例では、センターチャンネル成分Ｃおよび低域効果チャンネル成分ＬＦＥは、Ｌ用加算部７５ＬおよびＲ用加算部７５Ｒの両方に供給されて、左チャンネルおよび右チャンネルの両方に加算される。これにより、センターチャンネル方向の音声の定位感をより良くすることができると共に、低域効果チャンネル成分ＬＦＥによる低域音声成分を、より広がり良く再生できるようにしている。
【０１３９】
レベル調整部７６Ｌは、Ｌ用加算部７５Ｌから供給された左チャンネル用のスピーカ用の合成音声信号のレベル調整を行う。レベル調整部７６Ｒは、Ｒ用加算部７５Ｒから供給された右チャンネル用のスピーカ用の合成音声信号のレベル調整を行う。
【０１４０】
レベル調整部７６Ｌおよびレベル調整部７６Ｒからの合成音声信号は、振幅制限部７７Ｌおよび７７Ｒのそれぞれに供給される。
【０１４１】
振幅制限部７７Ｌは、レベル調整部７６Ｌから供給されたレベル調整後の合成音声信号の振幅制限を行う。振幅制限部７７Ｒは、レベル調整部７６Ｒから供給されたレベル調整後の合成音声信号の振幅制限を行う。
【０１４２】
振幅制限部７７Ｌおよび振幅制限部７７Ｒからの合成音声信号は、ノイズ軽減部７８Ｌおよび７８Ｒのそれぞれに供給される。
【０１４３】
ノイズ軽減部７８Ｌは、振幅制限部７７Ｌから供給された振幅制限後の合成音声信号のノイズを軽減する。ノイズ軽減部７８Ｒは、振幅制限部７７Ｒから供給された振幅制限後の合成音声信号のノイズを軽減する。
【０１４４】
そして、ノイズ軽減部７８Ｌおよび７８Ｒの出力音声信号は、左チャンネル用のスピーカＳＰＬおよび右チャンネル用のスピーカＳＰＲに、それぞれ供給されて、音響再生される。
【０１４５】
ところで、例えばテレビ装置に配置される左右のスピーカが、周波数特性や位相特性において、フラットな特性を備える場合には、上述した正規化頭部伝達関数を各チャンネルの音声に畳み込むことにより、理論的には、理想的なサラウンド効果を作り出すことができる筈である。
【０１４６】
しかしながら、実際的には、テレビ装置に配置される左右のスピーカは、フラットな特性を備えていないため、上述のような手法を用いて作成した音声信号をテレビ装置に配置される左右のスピーカで再生し、その再生音を聴取したときに、所期のサラウンド感が得られないという問題がある。
【０１４７】
また、テレビ装置に配置される左右のスピーカや、シアターラックに配置される左右のスピーカで音声信号を再生する場合には、通常、テレビ装置のモニタ画面の中央の位置よりも下側に左右のスピーカが配置されるため、音響再生音がモニタ画面の中央の位置よりも下側から出力されているような音像となる。このため、モニタ画面に表示される映像の中央の位置よりも下側の位置で音声が出力されているように聴取され、視聴者に違和感を与えてしまうという問題がある。
【０１４８】
以上のことにかんがみ、この発明の実施の形態では、Ｆｒｏｎｔ処理部７４Ｆ、Ｃｅｎｔｅｒ処理部７４Ｃ、Ｒｅａｒ処理部７４Ｓ、Ｂａｃｋ処理部７４Ｂ、ＬＦＥ処理部７４ＬＦＥの内部構成例は、図１０〜図１５のようなものとする。
【０１４９】
本実施の形態では、テレビ装置に配置される左右のスピーカの位置からの直接波についての正規化頭部伝達関数「Ｆｒｅｆ」で、全ての正規化頭部伝達関数を正規化する。
【０１５０】
すなわち、図１０〜図１５の例における各チャンネルの畳み込み回路の正規化頭部伝達関数は、正規化頭部伝達関数に１／Ｆｒｅｆを乗算したものとする。
【０１５１】
例えば、図１７（Ａ）に示すように、テレビ装置のスピーカ位置の頭部伝達関数（ＨＴＲＦ）をＨ（ｒｅｆ）とし、仮想音像定位位置のスピーカ位置の頭部伝達関数（ＨＴＲＦ）をＨ（ｆ）とする。この場合、図１７（Ｂ）に示すように、点線がテレビ装置のスピーカ位置の頭部伝達関数（ＨＴＲＦ）をＨ（ｒｅｆ）の特性となり、実線が仮想音像定位位置のスピーカ位置の頭部伝達関数（ＨＴＲＦ）をＨ（ｆ）の特性となる。そして、テレビ装置のスピーカ位置の頭部伝達関数（ＨＴＲＦ）で仮想音像定位位置のスピーカ位置の頭部伝達関数（ＨＴＲＦ）を正規化した特性は、図１７（Ｃ）に示すようになる。
【０１５２】
ここで、この例では、左右チャンネルでは、視聴者の正面と真後ろとを結ぶ線を対称軸として、対称的な関係となるので、同じ正規化頭部伝達関数を用いるようにしている。
【０１５３】
ここで、左右チャンネルを区別せずに、
直接波：Ｆ，Ｓ，Ｂ，Ｃ，ＬＦＥ
頭越しのクロストーク：ｘＦ，ｘＳ，ｘＢ，ｘＬＦＥ
反射波：Ｆｒｅｆ，Ｓｒｅｆ，Ｂｒｅｆ，Ｃｒｅｆ
と表記することとする。
【０１５４】
また、想定しているテレビ装置１００の左右のスピーカＳＰＬ，ＳＰＲの位置から想定している視聴者の位置での上述した第１の正規化処理が施された頭部伝達関数を、
直接波：Ｆｒｅｆ
頭越しのクロストーク：ｘＦｒｅｆ
と表記することとする。
【０１５５】
したがって、図１０〜図１５の例におけるＦｒｏｎｔ処理部７４Ｆ、Ｃｅｎｔｅｒ処理部７４Ｃ、Ｒｅａｒ処理部７４Ｓ、Ｂａｃｋ処理部７４Ｂ、ＬＦＥ処理部７４ＬＦＥで畳み込まれる正規化頭部伝達関数は、次のようになる。
【０１５６】
つまり、
直接波：Ｆ／Ｆｒｅｆ，Ｓ／Ｆｒｅｆ，Ｂ／Ｆｒｅｆ，Ｃ／Ｆｒｅｆ，ＬＦＥ／Ｆｒｅｆ
頭越しのクロストーク：ｘＦ／Ｆｒｅｆ，ｘＳ／Ｆｒｅｆ，ｘＢ／Ｆｒｅｆ，ｘＬＦＥ／Ｆｒｅｆ
となる。
【０１５７】
そして、この表記が正規化頭部伝達関数を表わすとすると、Ｆｒｏｎｔ処理部７４Ｆ、Ｃｅｎｔｅｒ処理部７４Ｃ、Ｒｅａｒ処理部７４Ｓ、Ｂａｃｋ処理部７４Ｂ、ＬＦＥ処理部７４ＬＦＥで畳み込まれる正規化頭部伝達関数は、図１０〜図１５において示すものとなる。
【０１５８】
図１０は、図９におけるＦｒｏｎｔ処理部７４Ｆの内部構成の一例を説明するための説明図である。図１１は、図９におけるＦｒｏｎｔ処理部７４Ｆの内部構成の他の一例を説明するための説明図である。図１２は、図９におけるＣｅｎｔｅｒ処理部７４Ｃの内部構成の一例を説明するための説明図である。図１３は、図９におけるＲｅａｒ処理部７４Ｓの内部構成の一例を説明するための説明図である。図１４は、図９におけるＢａｃｋ処理部７４Ｂの内部構成の一例を説明するための説明図である。図１５は、図９におけるＬＦＥ処理部７４ＬＦＥの内部構成の一例を説明するための説明図である。
【０１５９】
この例では、左チャンネルの成分ＬＦ，ＬＳ，ＬＢおよび右チャンネルの成分ＲＦ，ＲＳ，ＲＢについては、直接波およびそのクロストーク成分の正規化頭部伝達関数の畳み込みを行う。
【０１６０】
また、センターチャンネルＣについては、直接波についての正規化頭部伝達関数の畳み込みを行い、この例では、そのクロストーク成分は考慮しない。
【０１６１】
また、低域効果チャンネルＬＦＥについては、直接波とそのクロストーク成分についての正規化頭部伝達関数の畳み込みを行う。
【０１６２】
図１０において、Ｆｒｏｎｔ処理部７４Ｆは、左前方チャンネル用の頭部伝達関数畳み込み処理部と、右前方チャンネル用の頭部伝達関数畳み込み処理部と、左前方チャンネルの音声信号と右前方チャンネルの音声信号について、それらの音声信号の視聴者位置における物理的なクロストーク成分のキャンセル処理を施すクロストークキャンセル処理部とを備える。
【０１６３】
ここで、クロストークキャンセル処理部を設ける理由としては、図１６に示すように、左チャンネル用のスピーカＳＰＬおよび右チャンネル用のスピーカＳＰＲで音声信号を音響再生すると、それらの音声信号の視聴者位置における物理的なクロストーク成分が生じるためである。
【０１６４】
左前方チャンネル用の頭部伝達関数畳み込み処理部は、２個の遅延回路１０１，１０２と、２個の畳み込み回路１０３，１０４とを備える。右前方チャンネル用の頭部伝達関数畳み込み処理部は、２個の遅延回路１０５，１０６と、２個の畳み込み回路１０７，１０８とを備える。クロストークキャンセル処理部は、８個の遅延回路１０９，１１０，１１１，１１２，１１３，１１４，１１５，１１６と、８個の畳み込み回路１１７，１１８，１１９，１２０，１２１，１２２，１２３，１２４と、６個の加算回路１２５，１２６，１２７，１２８，１２９，１３０とを備える。
【０１６５】
遅延回路１０１と畳み込み回路１０３とは、左前方チャンネルの直接波の信号ＬＦについての畳み込み処理部を構成する。
【０１６６】
遅延回路１０１は、左前方チャンネルの直接波について、仮想音像定位位置から測定点位置まで到達する経路長に応じた遅延時間の遅延回路である。
【０１６７】
畳み込み回路１０３は、左前方チャンネルの直接波についての正規化頭部伝達関数を、テレビ装置に配置される左右のスピーカの位置からの直接波についての正規化頭部伝達関数「Ｆｒｅｆ」で正規化した２重正規化頭部伝達関数を、遅延回路１０１からの左前方チャンネルの音声信号ＬＦに対して畳み込む処理を実行する。なお、２重正規化頭部伝達関数は、上述した図１の正規化頭部伝達関数メモリ４０に記憶されているものとし、畳み込み回路が正規化頭部伝達関数メモリ４０が２重正規化頭部伝達関数を読み出して、畳み込み処理を行うものとする。
【０１６８】
この畳み込み回路１０３からの信号は、クロストークキャンセル処理部に供給される。
【０１６９】
また、遅延回路１０２と畳み込み回路１０４とは、左前方チャンネルの右チャンネルへのクロストーク（左前方チャンネルのクロストークチャンネル）の信号ｘＬＦについての畳み込み処理部を構成する。
【０１７０】
遅延回路１０２は、左前方チャンネルのクロストークチャンネルの直接波について、仮想音像定位位置から測定点位置まで到達する経路長に応じた遅延時間の遅延回路である。
【０１７１】
畳み込み回路１０４は、左前方チャンネルのクロストークチャンネルの直接波についての正規化頭部伝達関数を、テレビ装置に配置される左右のスピーカの位置からの直接波についての正規化頭部伝達関数「Ｆｒｅｆ」で正規化した２重正規化頭部伝達関数を、遅延回路１０２からの左前方チャンネルの音声信号ＬＦに対して畳み込む処理を実行する。
【０１７２】
この畳み込み回路１０４からの信号は、クロストークキャンセル処理部に供給される。
【０１７３】
また、遅延回路１０５と畳み込み回路１０７とは、右前方チャンネルの左チャンネルへのクロストーク（右前方チャンネルのクロストークチャンネル）の信号ｘＲＦについての畳み込み処理部を構成する。
【０１７４】
遅延回路１０５は、右前方チャンネルのクロストークチャンネルの直接波について、仮想音像定位位置から測定点位置まで到達する経路長に応じた遅延時間の遅延回路である。
【０１７５】
畳み込み回路１０７は、右前方チャンネルのクロストークチャンネルの直接波についての正規化頭部伝達関数を、テレビ装置に配置される左右のスピーカの位置からの直接波についての正規化頭部伝達関数「Ｆｒｅｆ」で正規化した２重正規化頭部伝達関数を、遅延回路１０５からの右前方チャンネルの音声信号ＲＦに対して畳み込む処理を実行する。
【０１７６】
この畳み込み回路１０７からの信号は、クロストークキャンセル処理部に供給される。
【０１７７】
遅延回路１０６と畳み込み回路１０８とは、右前方チャンネルの直接波の信号ＲＦについての畳み込み処理部を構成する。
【０１７８】
遅延回路１０６は、右前方チャンネルの直接波について、仮想音像定位位置から測定点位置まで到達する経路長に応じた遅延時間の遅延回路である。
【０１７９】
畳み込み回路１０８は、右前方チャンネルの直接波についての正規化頭部伝達関数を、テレビ装置に配置される左右のスピーカの位置からの直接波についての正規化頭部伝達関数「Ｆｒｅｆ」で正規化した２重正規化頭部伝達関数を、遅延回路１０６からの右前方チャンネルの音声信号ＲＦに対して畳み込む処理を実行する。
【０１８０】
この畳み込み回路１０８からの信号は、クロストークキャンセル処理部に供給される。
【０１８１】
遅延回路１０９〜１１６と畳み込み回路１１７〜１２４と加算回路１２５〜１３０とは、左前方チャンネルの音声信号と右前方チャンネルの音声信号について、それらの音声信号の視聴者位置における物理的なクロストーク成分のキャンセル処理を施すクロストークキャンセル処理部を構成する。
【０１８２】
遅延回路１０９〜１１６は、テレビ装置に配置される左右のスピーカの位置からのクロストークについて、左右のスピーカの位置から測定点位置まで到達する経路長に応じた遅延時間の遅延回路である。
【０１８３】
畳み込み回路１１７〜１２４は、テレビ装置に配置される左右のスピーカの位置からのクロストークについての正規化頭部伝達関数を、テレビ装置に配置される左右のスピーカの位置からの直接波についての正規化頭部伝達関数「Ｆｒｅｆ」で正規化した２重正規化頭部伝達関数を、供給された音声信号に対して畳み込む処理を実行する。
【０１８４】
加算回路１２５〜１３０は、供給された音声信号の加算処理を実行する。
【０１８５】
Ｆｒｏｎｔ処理部７４Ｆにおいて、加算回路１２７から出力される信号は、Ｌ用加算部７５Ｌに供給される。また、Ｆｒｏｎｔ処理部７４Ｆにおいて、加算回路１３０から出力される信号は、Ｒ用加算部７５Ｒに供給される。
【０１８６】
なお、畳み込み回路１０３，１０４，１０７，１０８で畳み込まれる正規化頭部伝達関数には、この例では、距離減衰分の遅延と再生音場での視聴テストによる僅かなレベル調整値が付加されている。
【０１８７】
また、図１０に示すＦｒｏｎｔ処理部７４Ｆから出力される音声信号は、下記式２、式３で表すことができる。
・・・（式２）
・・・（式３）
但し、遅延処理を
とし、
畳み込み処理を
とし、
クロストークキャンセル用の遅延処理、畳み込み処理としての
を
とする。
すなわち、
となる。
【０１８８】
なお、本実施の形態では、クロストークキャンセル処理部でクロストークキャンセル処理を２度、すなわち２次のキャンセルを行っているが、音源スピーカの位置や物理的な部屋などの制約によっては、この次数を変更することもできる。
【０１８９】
また、図１１において、Ｆｒｏｎｔ処理部７４Ｆは、左前方チャンネル用の頭部伝達関数畳み込み処理部と、右前方チャンネル用の頭部伝達関数畳み込み処理部と、左前方チャンネルの音声信号と右前方チャンネルの音声信号について、それらの音声信号の視聴位置における物理的なクロストーク成分のキャンセル処理を施すクロストークキャンセル処理部とを備える。
【０１９０】
左前方チャンネル用の頭部伝達関数畳み込み処理部は、２個の遅延回路１５１，１５２と、２個の畳み込み回路１５３，１５４とを備える。右前方チャンネル用の頭部伝達関数畳み込み処理部は、２個の遅延回路１５５，１５６と、２個の畳み込み回路１５７，１５８とを備える。クロストークキャンセル処理部は、４個の遅延回路１５９，１６０，１６１，１６２と、８個の畳み込み回路１６３，１６４，１６５，１６６と、６個の加算回路１６７，１６８，１６９，１７０，１７１，１７２とを備える。
【０１９１】
Ｆｒｏｎｔ処理部７４Ｆにおいて、加算回路１６９から出力される信号は、Ｌ用加算部７５Ｌに供給される。また、Ｆｒｏｎｔ処理部７４Ｆにおいて、加算回路１７２から出力される信号は、Ｒ用加算部７５Ｒに供給される。
【０１９２】
また、図１１に示すＦｒｏｎｔ処理部７４Ｆから出力される音声信号は、下記式４、式５で表すことができる。
・・・（式４）
・・・（式５）
但し、遅延処理を
とし、
畳み込み処理を
とし、
クロストークキャンセル用の遅延処理、畳み込み処理としての
を
とする。
すなわち、
となる。
【０１９３】
すなわち、図１１に示すＦｒｏｎｔ処理部７４Ｆに示す構成では、図１０に示すＦｒｏｎｔ処理部７４Ｆに示す構成と比較して、計算量を削減することができる。
【０１９４】
また、図１２において、Ｃｅｎｔｅｒ処理部７４Ｃは、センターチャンネル用の頭部伝達関数畳み込み処理部と、センターチャンネルの音声信号の視聴位置における物理的なクロストーク成分のキャンセル処理を施すクロストークキャンセル処理部とを備える。
【０１９５】
センターチャンネル用の頭部伝達関数畳み込み処理部は、１個の遅延回路２０１と、１個の畳み込み回路２０２とを備える。クロストークキャンセル処理部は、２個の遅延回路２０３，２０４と、２個の畳み込み回路２０５，２０６と、４個の加算回路２０７，２０８，２０９，２１０とを備える。
【０１９６】
遅延回路２０１と畳み込み回路２０２とは、センターチャンネルの直接波の信号Ｃについての畳み込み処理部を構成する。
【０１９７】
遅延回路２０１は、センターチャンネルの直接波について、仮想音像定位位置から測定点位置まで到達する経路長に応じた遅延時間の遅延回路である。
【０１９８】
畳み込み回路２０２は、センターチャンネルの直接波についての正規化頭部伝達関数を、テレビ装置に配置される左右のスピーカの位置からの直接波についての正規化頭部伝達関数「Ｆｒｅｆ」で正規化した２重正規化頭部伝達関数を、遅延回路２０１からのセンターチャンネルの音声信号Ｃに対して畳み込む処理を実行する。
【０１９９】
この畳み込み回路２０２からの信号は、クロストークキャンセル処理部に供給される。
【０２００】
遅延回路２０３，２０４と畳み込み回路２０５，２０６と加算回路２０７〜２１０とは、センターチャンネルの音声信号の視聴位置における物理的なクロストーク成分のキャンセル処理を施すクロストークキャンセル処理部を構成する。
【０２０１】
遅延回路２０３，２０４は、テレビ装置に配置される左右のスピーカの位置からのクロストークについて、左右のスピーカの位置から測定点位置まで到達する経路長に応じた遅延時間の遅延回路である。
【０２０２】
畳み込み回路２０５，２０６は、テレビ装置に配置される左右のスピーカの位置からのクロストークについての正規化頭部伝達関数を、テレビ装置に配置される左右のスピーカの位置からの直接波についての正規化頭部伝達関数「Ｆｒｅｆ」で正規化した２重正規化頭部伝達関数を、供給された音声信号に対して畳み込む処理を実行する。
【０２０３】
加算回路２０７〜２１０は、供給された音声信号の加算処理を実行する。
【０２０４】
Ｃｅｎｔｅｒ処理部７４Ｃにおいて、加算回路２０８から出力される信号は、Ｌ用加算部７５Ｌに供給される。また、Ｃｅｎｔｅｒ処理部７４Ｃにおいて、加算回路２１０から出力される信号は、Ｒ用加算部７５Ｒに供給される。
【０２０５】
また、図１３において、Ｒｅａｒ処理部７４Ｓは、左後方チャンネル用の頭部伝達関数畳み込み処理部と、右後方チャンネル用の頭部伝達関数畳み込み処理部と、左後方チャンネルの音声信号と右後方チャンネルの音声信号について、それらの音声信号の視聴位置における物理的なクロストーク成分のキャンセル処理を施すクロストークキャンセル処理部とを備える。
【０２０６】
左後方チャンネル用の頭部伝達関数畳み込み処理部は、２個の遅延回路３０１，３０２と、２個の畳み込み回路３０３，３０４とを備える。右後方チャンネル用の頭部伝達関数畳み込み処理部は、２個の遅延回路３０５，３０６と、２個の畳み込み回路３０７，３０８とを備える。クロストークキャンセル処理部は、８個の遅延回路３０９，３１０，３１１，３１２，３１３，３１４，３１５，３１６と、８個の畳み込み回路３１７，３１８，３１９，３２０，３２１，３２２，３２３，３２４と、８個の加算回路３２５，３２６，３２７，３２８，３２９，３３０，３３１，３３２，３３３，３３４とを備える。
【０２０７】
遅延回路３０１と畳み込み回路３０３とは、左後方チャンネルの直接波の信号ＬＳについての畳み込み処理部を構成する。
【０２０８】
遅延回路３０１は、左後方チャンネルの直接波について、仮想音像定位位置から測定点位置まで到達する経路長に応じた遅延時間の遅延回路である。
【０２０９】
畳み込み回路３０３は、左後方チャンネルの直接波についての正規化頭部伝達関数を、テレビ装置に配置される左右のスピーカの位置からの直接波についての正規化頭部伝達関数「Ｆｒｅｆ」で正規化した２重正規化頭部伝達関数を、遅延回路３０１からの左後方チャンネルの音声信号ＬＳに対して畳み込む処理を実行する。
【０２１０】
この畳み込み回路３０３からの信号は、クロストークキャンセル処理部に供給される。
【０２１１】
また、遅延回路３０２と畳み込み回路３０４とは、左後方チャンネルの右チャンネルへのクロストーク（左後方チャンネルのクロストークチャンネル）の信号ｘＬＳについての畳み込み処理部を構成する。
【０２１２】
遅延回路３０２は、左後方チャンネルのクロストークチャンネルの直接波について、仮想音像定位位置から測定点位置まで到達する経路長に応じた遅延時間の遅延回路である。
【０２１３】
畳み込み回路３０４は、左後方チャンネルのクロストークチャンネルの直接波についての正規化頭部伝達関数を、テレビ装置に配置される左右のスピーカの位置からの直接波についての正規化頭部伝達関数「Ｆｒｅｆ」で正規化した２重正規化頭部伝達関数を、遅延回路３０２からの左後方チャンネルの音声信号ＬＳに対して畳み込む処理を実行する。
【０２１４】
この畳み込み回路３０４からの信号は、クロストークキャンセル処理部に供給される。
【０２１５】
また、遅延回路３０５と畳み込み回路３０７とは、右後方チャンネルの左チャンネルへのクロストーク（右後方チャンネルのクロストークチャンネル）の信号ｘＲＳについての畳み込み処理部を構成する。
【０２１６】
遅延回路３０５は、右後方チャンネルのクロストークチャンネルの直接波について、仮想音像定位位置から測定点位置まで到達する経路長に応じた遅延時間の遅延回路である。
【０２１７】
畳み込み回路３０７は、右後方チャンネルのクロストークチャンネルの直接波についての正規化頭部伝達関数を、テレビ装置に配置される左右のスピーカの位置からの直接波についての正規化頭部伝達関数「Ｆｒｅｆ」で正規化した２重正規化頭部伝達関数を、遅延回路３０５からの右後方チャンネルの音声信号ＲＳに対して畳み込む処理を実行する。
【０２１８】
この畳み込み回路３０７からの信号は、クロストークキャンセル処理部に供給される。
【０２１９】
遅延回路３０６と畳み込み回路３０８とは、右後方チャンネルの直接波の信号ＲＳについての畳み込み処理部を構成する。
【０２２０】
遅延回路３０６は、右後方チャンネルの直接波について、仮想音像定位位置から測定点位置まで到達する経路長に応じた遅延時間の遅延回路である。
【０２２１】
畳み込み回路３０８は、右後方チャンネルの直接波についての正規化頭部伝達関数を、テレビ装置に配置される左右のスピーカの位置からの直接波についての正規化頭部伝達関数「Ｆｒｅｆ」で正規化した２重正規化頭部伝達関数を、遅延回路３０６からの右後方チャンネルの音声信号ＲＳに対して畳み込む処理を実行する。
【０２２２】
この畳み込み回路３０８からの信号は、クロストークキャンセル処理部に供給される。
【０２２３】
遅延回路３０９〜３１６と畳み込み回路３１７〜３２４と加算回路３２５〜３３４とは、左後方チャンネルの音声信号と右後方チャンネルの音声信号について、それらの音声信号の視聴者位置における物理的なクロストーク成分のキャンセル処理を施すクロストークキャンセル処理部を構成する。
【０２２４】
遅延回路３０９〜３１６は、テレビ装置に配置される左右のスピーカの位置からのクロストークについて、左右のスピーカの位置から測定点位置まで到達する経路長に応じた遅延時間の遅延回路である。
【０２２５】
畳み込み回路３１７〜３２４は、テレビ装置に配置される左右のスピーカの位置からのクロストークについての正規化頭部伝達関数を、テレビ装置に配置される左右のスピーカの位置からの直接波についての正規化頭部伝達関数「Ｆｒｅｆ」で正規化した２重正規化頭部伝達関数を、供給された音声信号に対して畳み込む処理を実行する。
【０２２６】
加算回路３２５〜３３４は、供給された音声信号の加算処理を実行する。
【０２２７】
Ｒｅａｒ処理部７４Ｓにおいて、加算回路３２９から出力される信号は、Ｌ用加算部７５Ｌに供給される。また、Ｒｅａｒ処理部７４Ｓにおいて、加算回路３３４から出力される信号は、Ｒ用加算部７５Ｒに供給される。
【０２２８】
なお、本実施の形態では、クロストークキャンセル処理部でクロストークキャンセル処理を４度、すなわち４次のキャンセルを行っているが、音源スピーカの位置や物理的な部屋などの制約によっては、この次数を変更することもできる。
【０２２９】
また、図１４において、Ｂａｃｋ処理部７４Ｂは、左後側チャンネル用の頭部伝達関数畳み込み処理部と、右後側チャンネル用の頭部伝達関数畳み込み処理部と、左後側チャンネルの音声信号と右後側チャンネルの音声信号について、それらの音声信号の視聴位置における物理的なクロストーク成分のキャンセル処理を施すクロストークキャンセル処理部とを備える。
【０２３０】
左後側チャンネル用の頭部伝達関数畳み込み処理部は、２個の遅延回路４０１，４０２と、２個の畳み込み回路４０３，４０４とを備える。右後側チャンネル用の頭部伝達関数畳み込み処理部は、２個の遅延回路４０５，４０６と、２個の畳み込み回路４０７，４０８とを備える。クロストークキャンセル処理部は、８個の遅延回路４０９，４１０，４１１，４１２，４１３，４１４，４１５，４１６と、８個の畳み込み回路４１７，４１８，４１９，４２０，４２１，４２２，４２３，４２４と、８個の加算回路４２５，４２６，４２７，４２８，４２９，４３０，４３１，４３２，４３３，４３４とを備える。
【０２３１】
遅延回路４０１と畳み込み回路４０３とは、左後側チャンネルの直接波の信号ＬＢについての畳み込み処理部を構成する。
【０２３２】
遅延回路４０１は、左後側チャンネルの直接波について、仮想音像定位位置から測定点位置まで到達する経路長に応じた遅延時間の遅延回路である。
【０２３３】
畳み込み回路４０３は、左後側チャンネルの直接波についての正規化頭部伝達関数を、テレビ装置に配置される左右のスピーカの位置からの直接波についての正規化頭部伝達関数「Ｆｒｅｆ」で正規化した２重正規化頭部伝達関数を、遅延回路４０１からの左後側チャンネルの音声信号ＬＢに対して畳み込む処理を実行する。
【０２３４】
この畳み込み回路４０３からの信号は、クロストークキャンセル処理部に供給される。
【０２３５】
また、遅延回路４０２と畳み込み回路４０４とは、左後側チャンネルの右チャンネルへのクロストーク（左後側チャンネルのクロストークチャンネル）の信号ｘＬＢについての畳み込み処理部を構成する。
【０２３６】
遅延回路４０２は、左後側チャンネルのクロストークチャンネルの直接波について、仮想音像定位位置から測定点位置まで到達する経路長に応じた遅延時間の遅延回路である。
【０２３７】
畳み込み回路４０４は、左後側チャンネルのクロストークチャンネルの直接波についての正規化頭部伝達関数を、テレビ装置に配置される左右のスピーカの位置からの直接波についての正規化頭部伝達関数「Ｆｒｅｆ」で正規化した２重正規化頭部伝達関数を、遅延回路４０２からの左後側チャンネルの音声信号ＬＢに対して畳み込む処理を実行する。
【０２３８】
この畳み込み回路４０４からの信号は、クロストークキャンセル処理部に供給される。
【０２３９】
また、遅延回路４０５と畳み込み回路４０７とは、右後側チャンネルの左チャンネルへのクロストーク（右後側チャンネルのクロストークチャンネル）の信号ｘＲＢについての畳み込み処理部を構成する。
【０２４０】
遅延回路４０５は、右後側チャンネルのクロストークチャンネルの直接波について、仮想音像定位位置から測定点位置まで到達する経路長に応じた遅延時間の遅延回路である。
【０２４１】
畳み込み回路４０７は、右後側チャンネルのクロストークチャンネルの直接波についての正規化頭部伝達関数を、テレビ装置に配置される左右のスピーカの位置からの直接波についての正規化頭部伝達関数「Ｆｒｅｆ」で正規化した２重正規化頭部伝達関数を、遅延回路４０５からの右後側チャンネルの音声信号ＲＢに対して畳み込む処理を実行する。
【０２４２】
この畳み込み回路４０７からの信号は、クロストークキャンセル処理部に供給される。
【０２４３】
遅延回路４０６と畳み込み回路４０８とは、右後側チャンネルの直接波の信号ＲＢについての畳み込み処理部を構成する。
【０２４４】
遅延回路４０６は、右後側チャンネルの直接波について、仮想音像定位位置から測定点位置まで到達する経路長に応じた遅延時間の遅延回路である。
【０２４５】
畳み込み回路４０８は、右後側チャンネルの直接波についての正規化頭部伝達関数を、テレビ装置に配置される左右のスピーカの位置からの直接波についての正規化頭部伝達関数「Ｆｒｅｆ」で正規化した２重正規化頭部伝達関数を、遅延回路４０６からの右後側チャンネルの音声信号ＲＢに対して畳み込む処理を実行する。
【０２４６】
この畳み込み回路４０８からの信号は、クロストークキャンセル処理部に供給される。
【０２４７】
遅延回路４０９〜４１６と畳み込み回路４１７〜４２４と加算回路４２５〜４３４とは、左後側チャンネルの音声信号と右後側チャンネルの音声信号について、それらの音声信号の視聴者位置における物理的なクロストーク成分のキャンセル処理を施すクロストークキャンセル処理部を構成する。
【０２４８】
遅延回路４０９〜４１６は、テレビ装置に配置される左右のスピーカの位置からのクロストークについて、左右のスピーカの位置から測定点位置まで到達する経路長に応じた遅延時間の遅延回路である。
【０２４９】
畳み込み回路４１７〜４２４は、テレビ装置に配置される左右のスピーカの位置からのクロストークについての正規化頭部伝達関数を、テレビ装置に配置される左右のスピーカの位置からの直接波についての正規化頭部伝達関数「Ｆｒｅｆ」で正規化した２重正規化頭部伝達関数を、供給された音声信号に対して畳み込む処理を実行する。
【０２５０】
加算回路４２５〜４３４は、供給された音声信号の加算処理を実行する。
【０２５１】
Ｂａｃｋ処理部７４Ｂにおいて、加算回路４２９から出力される信号は、Ｌ用加算部７５Ｌに供給される。また、Ｂａｃｋ処理部７４Ｂにおいて、加算回路４３４から出力される信号は、Ｒ用加算部７５Ｒに供給される。
【０２５２】
また、図１５において、ＬＦＥ処理部７４ＬＦＥは、低域効果チャンネル用の頭部伝達関数畳み込み処理部と、低域効果チャンネルの音声信号の視聴位置における物理的なクロストーク成分のキャンセル処理を施すクロストークキャンセル処理部とを備える。
【０２５３】
低域効果チャンネル用の頭部伝達関数畳み込み処理部は、２個の遅延回路５０１，５０２と、２個の畳み込み回路５０３，５０４とを備える。クロストークキャンセル処理部は、２個の遅延回路５０５，５０６と、２個の畳み込み回路５０７，５０８と、３個の加算回路５０９，５１０，５１１とを備える。
【０２５４】
遅延回路５０１と畳み込み回路５０３とは、低域効果チャンネルの直接波の信号Ｃについての畳み込み処理部を構成する。
【０２５５】
遅延回路５０１は、低域効果チャンネルの直接波について、仮想音像定位位置から測定点位置まで到達する経路長に応じた遅延時間の遅延回路である。
【０２５６】
畳み込み回路５０３は、低域効果チャンネルの直接波についての正規化頭部伝達関数を、テレビ装置に配置される左右のスピーカの位置からの直接波についての正規化頭部伝達関数「Ｆｒｅｆ」で正規化した２重正規化頭部伝達関数を、遅延回路５０１からの低域効果チャンネルの音声信号ＬＦＥに対して畳み込む処理を実行する。
【０２５７】
この畳み込み回路５０３からの信号は、クロストークキャンセル処理部に供給される。
【０２５８】
また、遅延回路５０２は、低域効果チャンネルの直接波のクロストークについて、仮想音像定位位置から測定点位置まで到達する経路長に応じた遅延時間の遅延回路である。
【０２５９】
畳み込み回路５０４は、低域効果チャンネルの直接波のクロストークについての正規化頭部伝達関数を、テレビ装置に配置される左右のスピーカの位置からの直接波についての正規化頭部伝達関数「Ｆｒｅｆ」で正規化した２重正規化頭部伝達関数を、遅延回路５０２からの低域効果チャンネルの音声信号ＬＦＥに対して畳み込む処理を実行する。
【０２６０】
この畳み込み回路５０４からの信号は、クロストークキャンセル処理部に供給される。
【０２６１】
遅延回路５０５，５０６と畳み込み回路５０７，５０８と加算回路５０９〜５１１とは、低域効果チャンネルの音声信号の視聴位置における物理的なクロストーク成分のキャンセル処理を施すクロストークキャンセル処理部を構成する。
【０２６２】
遅延回路５０５，５０６は、テレビ装置に配置される左右のスピーカの位置からのクロストークについて、左右のスピーカの位置から測定点位置まで到達する経路長に応じた遅延時間の遅延回路である。
【０２６３】
畳み込み回路５０７，５０８は、テレビ装置に配置される左右のスピーカの位置からのクロストークについての正規化頭部伝達関数を、テレビ装置に配置される左右のスピーカの位置からの直接波についての正規化頭部伝達関数「Ｆｒｅｆ」で正規化した２重正規化頭部伝達関数を、供給された音声信号に対して畳み込む処理を実行する。
【０２６４】
加算回路５０９〜５１１は、供給された音声信号の加算処理を実行する。
【０２６５】
ＬＦＥ処理部７４ＬＦＥにおいて、加算回路５１１から出力される信号は、Ｌ用加算部７５ＬおよびＲ用加算部７５Ｒに供給される。
【０２６６】
本実施の形態によれば、テレビ装置に配置される左右のスピーカの位置からの直接波についての正規化頭部伝達関数で、全ての正規化頭部伝達関数を正規化して、その２重正規化頭部伝達関数を用いて畳み込み処理を音声信号に施すことにより、理想的なサラウンド効果を作り出すことができる。
【０２６７】
図１８は、本発明の実施の形態における音声信号処理方法に用いる２重正規化頭部伝達関数のデータを取得するための処理手順を実行するシステムの構成の一例を示すブロック図である。
【０２６８】
頭部伝達関数測定手段６０２では、直接波のみの頭部伝達特性を測定するために、この例では、無響室において頭部伝達関数の測定を行う。そして、頭部伝達関数測定手段６０２においては、無響室において、上述した図２０のように、視聴者位置にダミーヘッドまたは視聴者（リスナ）としての人間そのものを配置する。そして、当該ダミーヘッドまたは人間の両耳の近傍（測定点位置）に、測定用音波を収音する音響電気変換部としてのマイクロホンを設置する。
【０２６９】
そして、図１９に示すように、テレビ装置１００のスピーカ設置位置に設置された左右のスピーカにより頭部伝達関数の測定用音波、この例ではインパルスを別々に再生して、２個のマイクロホンで、そのインパルスレスポンスをピックアップする。
【０２７０】
この頭部伝達関数測定手段６０２において、２個のマイクロホンから得られるインパルスレスポンスは、頭部伝達関数を表わすものとなっている。
【０２７１】
素の状態の伝達特性測定手段６０４においては、頭部伝達関数測定手段６０２と同一環境において、視聴者位置に上記ダミーヘッドまたは上記人間が存在しない、つまり、測定用音源位置と測定点位置との間に障害物が存在しない素の状態の伝達特性の測定を行う。
【０２７２】
すなわち、素の状態の伝達特性測定手段６０４においては、無響室において、頭部伝達関数測定手段６０２では設置されていたダミーヘッドまたは人間を除去して、テレビ装置１００のスピーカ設置位置に設置された左右のスピーカとマイクロホンとの間に障害物がない素の状態にする。
【０２７３】
そして、テレビ装置１００のスピーカ設置位置に設置された左右のスピーカやマイクロホンの配置は、頭部伝達関数測定手段６０２における状態と全く同じ状態として、その状態で、テレビ装置１００のスピーカ設置位置に設置された左右のスピーカにより測定用音波、この例ではインパルスを別々に再生する。そして、２個のマイクロホンで、その再生されたインパルスをピックアップする。
【０２７４】
この素の状態の伝達特性測定手段６０４で２個のマイクロホン出力から得られるインパルスレスポンスは、ダミーヘッドや人間などの障害物が存在しない素の状態における伝達特性を表わすものとなっている。
【０２７５】
なお、頭部伝達関数測定手段６０２および素の状態の伝達特性測定手段６０４においては、直接波について、２個のマイクロホンのそれぞれから上述した左、右主成分の頭部伝達関数および素の状態の伝達特性と、左右のクロストーク成分の頭部伝達関数および素の状態の伝達特性とが得られる。そして、主成分と、左右のクロストーク成分のそれぞれについて、後述する正規化処理が同様になされるものである。
【０２７６】
以下の説明では、簡単のため、例えば主成分についてのみの正規化処理についての説明し、クロストーク成分についての正規化処理についての説明は省略する。なお、クロストーク成分についても、同様にして正規化処理が行われるのは言うまでもない。
【０２７７】
正規化部６１０では、頭部伝達関数測定手段６０２で測定された、ダミーヘッドまたは人間を含んで測定された頭部伝達関数を、素の状態の伝達特性測定手段６０４で測定された、ダミーヘッドなどの障害物がない素の状態の伝達特性を用いて正規化する。
【０２７８】
頭部伝達関数測定手段６０６では、直接波のみの頭部伝達特性を測定するために、この例では、無響室において頭部伝達関数の測定を行う。そして、頭部伝達関数測定手段６０６においては、無響室において、上述した図２０のように、視聴者位置にダミーヘッドまたは視聴者（リスナ）としての人間そのものを配置する。そして、当該ダミーヘッドまたは人間の両耳の近傍（測定点位置）に、測定用音波を収音する音響電気変換部としてのマイクロホンを設置する。
【０２７９】
そして、図１９に示すように、想定音源位置に設置された左右のスピーカにより頭部伝達関数の測定用音波、この例ではインパルスを別々に再生して、２個のマイクロホンで、そのインパルスレスポンスをピックアップする。
【０２８０】
この頭部伝達関数測定手段６０６において、２個のマイクロホンから得られるインパルスレスポンスは、頭部伝達関数を表わすものとなっている。
【０２８１】
素の状態の伝達特性測定手段６０８においては、頭部伝達関数測定手段６０６と同一環境において、視聴者位置に上記ダミーヘッドまたは上記人間が存在しない、つまり、測定用音源位置と測定点位置との間に障害物が存在しない素の状態の伝達特性の測定を行う。
【０２８２】
すなわち、素の状態の伝達特性測定手段６０８においては、無響室において、頭部伝達関数測定手段６０６では設置されていたダミーヘッドまたは人間を除去して、図１９に示す想定音源位置に設置された左右のスピーカとマイクロホンとの間に障害物がない素の状態にする。
【０２８３】
そして、図１９に示す想定音源位置に設置された左右のスピーカやマイクロホンの配置は、頭部伝達関数測定手段６０６における状態と全く同じ状態として、その状態で、図１９に示す想定音源位置に設置された左右のスピーカにより測定用音波、この例ではインパルスを別々に再生する。そして、２個のマイクロホンで、その再生されたインパルスをピックアップする。
【０２８４】
この素の状態の伝達特性測定手段６０８で２個のマイクロホン出力から得られるインパルスレスポンスは、ダミーヘッドや人間などの障害物が存在しない素の状態における伝達特性を表わすものとなっている。
【０２８５】
なお、頭部伝達関数測定手段６０６および素の状態の伝達特性測定手段６０８においては、直接波について、２個のマイクロホンのそれぞれから上述した左、右主成分の頭部伝達関数および素の状態の伝達特性と、左右のクロストーク成分の頭部伝達関数および素の状態の伝達特性とが得られる。そして、主成分と、左右のクロストーク成分のそれぞれについて、後述する正規化処理が同様になされるものである。
【０２８６】
以下の説明では、簡単のため、例えば主成分についてのみの正規化処理についての説明し、クロストーク成分についての正規化処理についての説明は省略する。なお、クロストーク成分についても、同様にして正規化処理が行われるのは言うまでもない。
【０２８７】
正規化部６１２では、頭部伝達関数測定手段６０６で測定された、ダミーヘッドまたは人間を含んで測定された頭部伝達関数を、素の状態の伝達特性測定手段６０８で測定された、ダミーヘッドなどの障害物がない素の状態の伝達特性を用いて正規化する。
【０２８８】
そして、正規化部６１４では、正規化部６１２において正規化された想定音源位置での正規化頭部伝達関数を、正規化部６１０において正規化されたスピーカ設置位置での正規化頭部伝達関数を用いて正規化する。このようにして、本実施の形態における音声信号処理方法に用いる２重正規化頭部伝達関数のデータを取得することができる。
【０２８９】
なお、本実施の形態では、サラウンド信号を扱っているが、通常のステレオ信号を扱う場合には、Ｆｒｏｎｔ処理部７４Ｆにそれぞれのステレオ信号を入力して、その他の処理部においては、入力する信号を無信号とするか、または処理を行わないかすることにより対応可能である。この場合においても、ステレオイメージが実際のテレビ装置などのスピーカではなく、想定している画面と同じ位置のテレビ装置よりも広い空間で音像を作ることが可能となる。
【０２９０】
また、本実施の形態によれば、２つの前面の任意のスピーカを用いることにより、良好なサラウンド効果を得ることが可能となる。
【０２９１】
また、テレビ装置、シアターラックなどのスピーカを出力デバイスとして用いている場合には、そのスピーカ位置ではなくて映像の高さに合わせた音像を作ることができる。このため、ステレオ信号の場合は、テレビ装置の左右の映像にあわせた高さのスピーカが配置されているように音場を形成することができ、また、サラウンド信号の場合には、さらにそのスピーカで周りを囲んだような音場を形成することができる。
【０２９２】
また、本実施の形態の音声信号処理装置を小型のラジオカセットレコーダや携帯音楽プレーヤに適用した場合は、それらのドックなどは、その狭いスピーカの間隔よりも広い音場を形成することができる。同様に、携帯型のＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）／ＤＶＤプレーヤ、ノートＰＣなどで映画などを観賞する場合などにおいても、その映像に合わせた音場を形成することができる。
【０２９３】
以上の実施の形態では、所望の任意の視聴環境や部屋環境に応じた頭部伝達関数の畳み込みができ、所望の仮想音像定位感が得られるようにした頭部伝達関数であって、測定用マイクロホンや測定用スピーカの特性を除去するようにした頭部伝達関数を用いた。
【０２９４】
しかし、この発明は、このような特殊な頭部伝達関数を用いる場合に限られるものではなく、一般的な頭部伝達関数を畳み込む場合であっても適用可能である。
【０２９５】
音響再生システムは、マルチサラウンド方式の場合について説明したが、通常の２チャンネルステレオを、仮想音像定位処理をして、例えばテレビ装置に配置されるスピーカに供給する場合にも適用できることは言うまでもない。
【０２９６】
また、７．１チャンネルに限らず、５．１チャンネルや、９．１チャンネルなど、その他のマルチサラウンドの場合にも、同様に適用できることは勿論である。
【０２９７】
また、７．１チャンネルのマルチサラウンドのスピーカ配置は、ＩＴＵ−Ｒスピーカ配置の場合を例に説明したが、ＴＨＸ社の推奨するスピーカ配置の場合にも適用できることは容易に理解できよう。
【０２９８】
また、本発明の目的は、前述した実施の形態の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成される。
【０２９９】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０３００】
また、プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ等の光ディスク、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。または、プログラムコードをネットワークを介してダウンロードしてもよい。
【０３０１】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施の形態の機能が実現されるだけではなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれる。
【０３０２】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その拡張機能を拡張ボードや拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれる。
【０３０３】
以上、添付図面を参照しながら本発明の好適な実施の形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【０３０４】
１０ 頭部伝達関数測定手段
２０ 素の状態の伝達特性測定手段
３１，３２ 遅延除去頭詰め部
３３，３４ ＦＦＴ部
３５，３６ 極座標変換部
３７ 正規化およびＸ−Ｙ座標変換部
３８ 逆ＦＦＴ部
３９ ＩＲ簡略化部
４０ 正規化頭部伝達関数メモリ
７４Ｆ Ｆｒｏｎｔ処理部
７４Ｃ Ｃｅｎｔｅｒ処理部
７４Ｓ Ｒｅａｒ処理部
７４Ｂ Ｂａｃｋ処理部
７４ＬＦＥ ＬＦＥ処理部
７５Ｌ Ｌ用加算部
７５Ｒ Ｒ用加算部
７６Ｌ，７６Ｒ レベル調整部
７７Ｌ，７７Ｒ 振幅制限部
７８Ｌ，７８Ｒ ノイズ軽減部
１００ テレビ装置
【特許請求の範囲】
【請求項１】
２チャンネル以上の複数チャンネルの音声信号から、リスナに向けて設置される２個の電気音響変換部により音響再生する２チャンネルの音声信号を生成して出力する音声信号処理装置であって、
前記２個の電気音響変換部で音響再生したときに、前記２チャンネル以上の複数チャンネルの各チャンネルについて想定される仮想音像定位位置に音像が定位するように聴取されるようにするための頭部伝達関数を、前記複数チャンネルの各チャンネルの音声信号に畳み込む頭部伝達関数畳み込み処理部と、
前記頭部伝達関数畳み込み処理部からの複数チャンネルの音声信号から、前記２個の電気音響変換部に供給するための２チャンネルの音声信号を生成する２チャンネル信号生成部と、
を備え、
前記頭部伝達関数畳み込み処理部は、前記複数チャンネルのそれぞれについて、
リスナの両耳の近傍の位置に、音響電気変換手段を設置し、前記リスナの位置にダミーヘッドまたは人間が存在する状態で、想定される音源位置で発せられた音波を前記音響電気変換手段でピックアップし、前記音響電気変換手段に直接に届いた音波のみから測定した頭部伝達関数を、前記ダミーヘッドまたは前記人間が存在しない素の状態で、前記想定される音源位置で発せられた音波を前記音響電気変換手段でピックアップし、前記音響電気変換手段に直接に届いた音波のみから測定した素の状態の伝達特性により正規化した正規化頭部伝達関数を、
リスナの両耳の近傍の位置に、音響電気変換手段を設置し、前記リスナの位置にダミーヘッドまたは人間が存在する状態で、前記２個の電気音響変換部で別々に発せられた音波を前記音響電気変換手段でピックアップし、前記音響電気変換手段に直接に届いた音波のみから測定した頭部伝達関数を、前記ダミーヘッドまたは前記人間が存在しない素の状態で、前記２個の電気音響変換部で別々に発せられた音波を前記音響電気変換手段でピックアップし、前記音響電気変換手段に直接に届いた音波のみから測定した素の状態の伝達特性により正規化した正規化頭部伝達関数を用いて正規化した２重正規化頭部伝達関数のデータを記憶する記憶部と、
前記２重正規化頭部伝達関数のデータを、前記記憶部から読み出して、前記音声信号に畳み込む畳み込み部と、
を備える、音声信号処理装置。
【請求項２】
前記頭部伝達関数畳み込み処理部からの前記複数チャンネルの音声信号うちの、左および右チャンネルの音声信号について、左および右チャンネルの２つのチャンネルの音声信号のクロストーク成分のキャンセル処理を施すクロストークキャンセル処理部をさらに備え、
前記２チャンネル信号生成部は、前記クロストークキャンセル処理部からの複数チャンネルの音声信号から、前記２個の電気音響変換部に供給するための２チャンネルの音声信号の生成を行う、
請求項１に記載の音声信号処理装置。
【請求項３】
前記クロストークキャンセル処理部は、前記キャンセル処理を施した後の左および右チャンネルの音声信号について、さらに、前記キャンセル処理を施した後の左および右チャンネルの２つのチャンネルの音声信号のクロストーク成分のキャンセル処理を施す、
請求項２に記載の音声信号処理装置。
【請求項４】
２チャンネル以上の複数チャンネルの音声信号から、リスナに向けて設置される２個の電気音響変換部により音響再生する２チャンネルの音声信号を生成して出力する音声信号処理装置における音声信号処理方法であって、
頭部伝達関数畳み込み処理部が、前記２個の電気音響変換部で音響再生したときに、前記２チャンネル以上の複数チャンネルの各チャンネルについて想定される仮想音像定位位置に音像が定位するように聴取されるようにするための頭部伝達関数を、前記複数チャンネルの各チャンネルの音声信号に畳み込む頭部伝達関数畳み込み処理工程と、
２チャンネル信号生成部が、前記頭部伝達関数畳み込み処理工程での処理結果の複数チャンネルの音声信号から、前記２個の電気音響変換部に供給するための２チャンネルの音声信号を生成する２チャンネル信号生成工程と、
を有し、
前記頭部伝達関数畳み込み処理工程では、前記複数チャンネルのそれぞれについて、
リスナの両耳の近傍の位置に、音響電気変換手段を設置し、前記リスナの位置にダミーヘッドまたは人間が存在する状態で、想定される音源位置で発せられた音波を前記音響電気変換手段でピックアップし、前記音響電気変換手段に直接に届いた音波のみから測定した頭部伝達関数を、前記ダミーヘッドまたは前記人間が存在しない素の状態で、前記想定される音源位置で発せられた音波を前記音響電気変換手段でピックアップし、前記音響電気変換手段に直接に届いた音波のみから測定した素の状態の伝達特性により正規化した正規化頭部伝達関数を、
リスナの両耳の近傍の位置に、音響電気変換手段を設置し、前記リスナの位置にダミーヘッドまたは人間が存在する状態で、前記２個の電気音響変換部で別々に発せられた音波を前記音響電気変換手段でピックアップし、前記音響電気変換手段に直接に届いた音波のみから測定した頭部伝達関数を、前記ダミーヘッドまたは前記人間が存在しない素の状態で、前記２個の電気音響変換部で別々に発せられた音波を前記音響電気変換手段でピックアップし、前記音響電気変換手段に直接に届いた音波のみから測定した素の状態の伝達特性により正規化した正規化頭部伝達関数を用いて正規化した２重正規化頭部伝達関数のデータが、記憶される記憶部から、前記２重正規化頭部伝達関数のデータを読み出して、前記音声信号に畳み込む畳み込み工程を有する、
音声信号処理方法。
【請求項１】
２チャンネル以上の複数チャンネルの音声信号から、リスナに向けて設置される２個の電気音響変換部により音響再生する２チャンネルの音声信号を生成して出力する音声信号処理装置であって、
前記２個の電気音響変換部で音響再生したときに、前記２チャンネル以上の複数チャンネルの各チャンネルについて想定される仮想音像定位位置に音像が定位するように聴取されるようにするための頭部伝達関数を、前記複数チャンネルの各チャンネルの音声信号に畳み込む頭部伝達関数畳み込み処理部と、
前記頭部伝達関数畳み込み処理部からの複数チャンネルの音声信号から、前記２個の電気音響変換部に供給するための２チャンネルの音声信号を生成する２チャンネル信号生成部と、
を備え、
前記頭部伝達関数畳み込み処理部は、前記複数チャンネルのそれぞれについて、
リスナの両耳の近傍の位置に、音響電気変換手段を設置し、前記リスナの位置にダミーヘッドまたは人間が存在する状態で、想定される音源位置で発せられた音波を前記音響電気変換手段でピックアップし、前記音響電気変換手段に直接に届いた音波のみから測定した頭部伝達関数を、前記ダミーヘッドまたは前記人間が存在しない素の状態で、前記想定される音源位置で発せられた音波を前記音響電気変換手段でピックアップし、前記音響電気変換手段に直接に届いた音波のみから測定した素の状態の伝達特性により正規化した正規化頭部伝達関数を、
リスナの両耳の近傍の位置に、音響電気変換手段を設置し、前記リスナの位置にダミーヘッドまたは人間が存在する状態で、前記２個の電気音響変換部で別々に発せられた音波を前記音響電気変換手段でピックアップし、前記音響電気変換手段に直接に届いた音波のみから測定した頭部伝達関数を、前記ダミーヘッドまたは前記人間が存在しない素の状態で、前記２個の電気音響変換部で別々に発せられた音波を前記音響電気変換手段でピックアップし、前記音響電気変換手段に直接に届いた音波のみから測定した素の状態の伝達特性により正規化した正規化頭部伝達関数を用いて正規化した２重正規化頭部伝達関数のデータを記憶する記憶部と、
前記２重正規化頭部伝達関数のデータを、前記記憶部から読み出して、前記音声信号に畳み込む畳み込み部と、
を備える、音声信号処理装置。
【請求項２】
前記頭部伝達関数畳み込み処理部からの前記複数チャンネルの音声信号うちの、左および右チャンネルの音声信号について、左および右チャンネルの２つのチャンネルの音声信号のクロストーク成分のキャンセル処理を施すクロストークキャンセル処理部をさらに備え、
前記２チャンネル信号生成部は、前記クロストークキャンセル処理部からの複数チャンネルの音声信号から、前記２個の電気音響変換部に供給するための２チャンネルの音声信号の生成を行う、
請求項１に記載の音声信号処理装置。
【請求項３】
前記クロストークキャンセル処理部は、前記キャンセル処理を施した後の左および右チャンネルの音声信号について、さらに、前記キャンセル処理を施した後の左および右チャンネルの２つのチャンネルの音声信号のクロストーク成分のキャンセル処理を施す、
請求項２に記載の音声信号処理装置。
【請求項４】
２チャンネル以上の複数チャンネルの音声信号から、リスナに向けて設置される２個の電気音響変換部により音響再生する２チャンネルの音声信号を生成して出力する音声信号処理装置における音声信号処理方法であって、
頭部伝達関数畳み込み処理部が、前記２個の電気音響変換部で音響再生したときに、前記２チャンネル以上の複数チャンネルの各チャンネルについて想定される仮想音像定位位置に音像が定位するように聴取されるようにするための頭部伝達関数を、前記複数チャンネルの各チャンネルの音声信号に畳み込む頭部伝達関数畳み込み処理工程と、
２チャンネル信号生成部が、前記頭部伝達関数畳み込み処理工程での処理結果の複数チャンネルの音声信号から、前記２個の電気音響変換部に供給するための２チャンネルの音声信号を生成する２チャンネル信号生成工程と、
を有し、
前記頭部伝達関数畳み込み処理工程では、前記複数チャンネルのそれぞれについて、
リスナの両耳の近傍の位置に、音響電気変換手段を設置し、前記リスナの位置にダミーヘッドまたは人間が存在する状態で、想定される音源位置で発せられた音波を前記音響電気変換手段でピックアップし、前記音響電気変換手段に直接に届いた音波のみから測定した頭部伝達関数を、前記ダミーヘッドまたは前記人間が存在しない素の状態で、前記想定される音源位置で発せられた音波を前記音響電気変換手段でピックアップし、前記音響電気変換手段に直接に届いた音波のみから測定した素の状態の伝達特性により正規化した正規化頭部伝達関数を、
リスナの両耳の近傍の位置に、音響電気変換手段を設置し、前記リスナの位置にダミーヘッドまたは人間が存在する状態で、前記２個の電気音響変換部で別々に発せられた音波を前記音響電気変換手段でピックアップし、前記音響電気変換手段に直接に届いた音波のみから測定した頭部伝達関数を、前記ダミーヘッドまたは前記人間が存在しない素の状態で、前記２個の電気音響変換部で別々に発せられた音波を前記音響電気変換手段でピックアップし、前記音響電気変換手段に直接に届いた音波のみから測定した素の状態の伝達特性により正規化した正規化頭部伝達関数を用いて正規化した２重正規化頭部伝達関数のデータが、記憶される記憶部から、前記２重正規化頭部伝達関数のデータを読み出して、前記音声信号に畳み込む畳み込み工程を有する、
音声信号処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２０１１−２４４３１０（Ｐ２０１１−２４４３１０Ａ）
【公開日】平成２３年１２月１日（２０１１．１２．１）
【国際特許分類】
【出願番号】特願２０１０−１１６１５０（Ｐ２０１０−１１６１５０）
【出願日】平成２２年５月２０日（２０１０．５．２０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年１２月１日（２０１１．１２．１）
【国際特許分類】
【出願日】平成２２年５月２０日（２０１０．５．２０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]