【課題】 測定環境で測定された第一閉曲面上の複数の位置のそれぞれまでに対応した伝達関数に基づき、前記測定環境とは別の環境において測定環境での音場を再現する場合において、残響感や音像定位感などの音質の調整を可能とする。
【解決手段】 前記複数の位置に配置した有指向性測定用マイクによる測定結果に基づく通常の伝達関数に対し、同じく前記複数の位置のそれぞれまでに対応して求めた別の伝達関数を指示された割合で足し合わせて生成した合成伝達関数により、再生信号を畳み込んで前記複数の位置のそれぞれに対応した再現用信号を生成する。これによって残響感や音像定位感などといった音質の調整が可能となる。

【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、或る環境の音場を別の環境にて再現するのに好適な音声信号処理方法に関する。また、記録媒体に対する情報記録を行う記録装置と、前記記録媒体に記録された情報に基づいて音場再現を行うための再現用音声信号を生成する音声信号処理装置とを含んで構成される音場再現システムに関する。
【背景技術】
【０００２】
【特許文献１】特開２００２−１８６１００号公報
【０００３】
例えば映画、音楽などのコンテンツを視聴する場合、再生音声に臨場感を与えるために、残響を付加することが行われている。
残響付加処理としては、いわゆるデジタルリバーブ方式が知られている。このデジタルリバーブ方式は、原音に対してランダムなディレイタイムとされるディレイ情報を多数発生させ、さらに、ディレイタイムが長くなるほど音量を小さくしたり、ディレイタイムの長い箇所でフィードバックを掛けて残響時間を長くとる等の信号処理を行うものである。これにより原音に対して人工的に残響効果を生成することができる。しかし、ディレイ情報を生成するためのパラメータは、そのパラメータの設定を行う作業者の聴感に基づいて設定されるので、この設定作業は繁雑なものとなる。また、人工的に残響を作り出すことから原音を定位させるという概念がなく、音場の再現に優れたものではない。
【０００４】
これに対し、実際に音場空間においてインパルス応答の測定を行って、音源の定位などの空間情報に基づいて残響効果を得るための手法として、例えば上記特許文献１に記載の技術が知られている。
この特許文献１に記載の技術では、例えば図１に示されているように、ホールなどの測定環境（測定音場）１に、音源として測定用のスピーカ３を配置する。そして、この測定用スピーカ３にＴＳＰ（Time Stretched Pulse）信号などのインパルス応答測定用の音声信号を供給して、同じ音場内の所要の位置に配置された複数の測定用マイク４ａ〜４ｐに対して、測定用スピーカ３から出力される測定用音声を入力させる。この場合、例えば測定用マイク４ａでは、図１に矢印で示されているように、測定用スピーカ３からの直接音、及び測定用スピーカ３から出力され測定環境としてのホール内で反射した反射音を検出することができる。図示は省略しているが、このことは他の測定用マイク４ｂ、４ｃ、４ｄ、‥‥についても同様である。
そこで、各測定用マイク４ａ〜４ｐにより検出された音声信号に基づき、残響を含むインパルス応答を測定することで、測定用スピーカ３から各測定用マイク４までのそれぞれに対応した伝達関数を求めることができる。
【０００５】
このような伝達関数を用いれば、例えば図３に示されるようにして、図１の場合の各測定用マイク４と同じ位置関係によりスピーカ８ａ〜８ｐを配置した環境で、図１の測定環境での音場を再現することができる。
つまり、上記のようにして各測定用マイク４のそれぞれの配置位置までに対応した伝達関数が求まれば、再生したい音声信号をこれらの伝達関数を用いてそれぞれ畳み込むことで、各スピーカ８の配置位置から出力すべき音声信号が得られる。従ってそれらの音声信号を、対応する位置に配置したスピーカ８からそれぞれ出力することで、これらスピーカ８に囲まれた空間内にて図１の測定環境と同様の残響効果を得ることができる。
このような方式は、実際に測定した伝達関数を用いるので、再生時における音場の再現性に優れたものとなる。また同時に、再生音場における音像定位としてもより明確なものとなる。
【０００６】
なお、このとき重要なのは、図１の測定環境おける測定用マイク４ａ〜４ｐと、図３の再現環境におけるスピーカ８ａ〜８ｐとが幾何学的に同等の位置関係で配置されるようにすることである。このようにすることで、再現環境においてスピーカ８に囲まれた領域（閉曲面）内では、測定音場の音源の定位（音像定位）が明確に再現されるようになり、測定環境の音場を明確に再現することが可能となる。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
このようにして上記特許文献１に記載の手法によれば、ホールなどの測定環境での実際の音声測定結果に基づく音響再生を行うことで、測定環境とは別の空間において、その測定環境での特有の残響感や、仮想音像の定位感を与えることができる。
【０００８】
ところで、オーディオ再生システムとしては、再生音声をユーザの好みの音質に調整可能であることで、より使い勝手のよいシステムとすることができる。例えば、従来のオーディオ再生システムでは、低音を強調したり、再生する楽曲のジャンル（ロックやJazzなど）に合わせた音質調整が可能となるように構成されているものがあり、ユーザは好みの音質を選択して楽曲を楽しむことができるようにされたものがある。
このことに鑑みれば、上記のような音場再現のためのシステムについても、このような音質調整として、例えば上記した残響感や音像の定位感などについて調整が可能となるようにすることで、ユーザの使い勝手を向上させることができ、その実現が要請される。
【課題を解決するための手段】
【０００９】
そこで、本発明では以上のような問題点に鑑み、音声信号処理方法として以下のようにすることとした。
第一の閉曲面の外側における仮想音像位置から音声を有指向性スピーカにより発音する第一の発音工程と、前記第一の閉曲面上における複数の位置において外向きに配置された有指向性マイクロフォンにより前記第一の発音工程で発音された音声を測定した結果に基づき、前記仮想音像位置から前記第一の閉曲面上の前記複数の位置のそれぞれまでに対応した伝達関数としての、有指向性測定伝達関数群を生成する有指向性測定伝達関数生成工程と、前記有指向性測定伝達関数群と、この有指向性測定伝達関数群とは別に前記仮想音像位置から発音され前記第一の閉曲面上の前記複数の位置のそれぞれに到達する音声に基づいて求めた補助伝達関数群とについて、それぞれを指示された割合で足し合わせることで、前記仮想音像位置から前記複数の位置のそれぞれまでに対応した合成伝達関数群としての第一の伝達関数群を生成する第一の伝達関数生成工程と、入力した音声信号に対して、前記第一の伝達関数群に基づく演算処理を施して、前記第一の閉曲面上の前記複数の位置のそれぞれに対応した第一の再現用音声信号を得る第一の再現用音声信号生成工程と、所要の音源を囲うようにして複数方向から有指向性マイクロフォンにより前記音源からの音声を収録する収録工程と、を備え、前記第一の発音工程では、前記有指向性スピーカによって、前記収録工程にて前記音源からの音声を収録した前記複数方向とはそれぞれ逆となる複数方向に音声を発音するようにされ、前記有指向性測定伝達関数生成工程では、前記有指向性スピーカにより発音した前記複数方向ごとに音声を測定した結果に基づき、前記複数方向ごとに、前記有指向性測定伝達関数群を生成すると共に、前記第一の伝達関数生成工程では、前記有指向性測定伝達関数生成工程により生成した前記複数方向ごとの有指向性測定伝達関数群のそれぞれについて、前記補助伝達関数群を指示された割合で足し合わせることで、前記複数方向ごとの前記第一の伝達関数群を生成し、前記第一の再現用音声信号生成工程では、前記収録工程にて収録した音声信号をそれぞれ対応する方向の前記第一の伝達関数群に基づき演算処理を施すことで、前記第一の閉曲面上の前記複数の位置のそれぞれに対応した再現用音声信号として、前記複数方向分の再現用音声信号を得るようにされると共に、それら再現用音声信号を前記第一の閉曲面上の前記複数の位置ごとに足し合わせることで、前記第一の再現用音声信号を得るようにされる。
【００１０】
また、本発明は、記録媒体に対する情報記録を行う記録装置と、前記記録媒体に記録された情報に基づいて音場再現を行うための再現用音声信号を生成する音声信号処理装置とを含んで構成される音場再現システムであって、前記記録装置は、第一の閉曲面の外側における仮想音像位置から発音した音声を前記第一の閉曲面上における複数の位置において外向きに配置された有指向性マイクロフォンにより測定した結果に基づき生成された、前記仮想音像位置から前記第一の閉曲面上の前記複数の位置のそれぞれまでに対応した有指向性測定伝達関数群と、所要の音源から収録した収録音声信号とを前記記録媒体に対して記録する記録手段を備え、前記音声信号処理装置は、前記記録媒体に記録された前記有指向性測定伝達関数群と前記収録音声信号とを入力する入力手段と、前記有指向性測定伝達関数群と、この有指向性測定伝達関数群とは別に前記仮想音像位置から発音され前記第一の閉曲面上の前記複数の位置のそれぞれに到達する音声に基づいて求められた補助伝達関数群とについて、それぞれを指示された割合で足し合わせることで、前記仮想音像位置から前記複数の位置のそれぞれまでに対応した合成伝達関数群としての第一の伝達関数群を生成する第一の伝達関数生成手段と、入力した音声信号に対して、前記第一の伝達関数群に基づく演算処理を施して、前記第一の閉曲面上の前記複数の位置のそれぞれに対応した第一の再現用音声信号を得る第一の再現用音声信号生成手段とを備え、前記記録装置において、前記記録手段は、前記記録媒体に対し、前記仮想音像位置から発音した音声を前記複数の位置で外向きに配置した無指向性マイクロフォンにより測定した結果に基づき生成された無指向性測定伝達関数群をさらに記録するようにされ、前記音声信号処理装置において、前記入力手段は、さらに前記記録媒体に記録された前記無指向性測定伝達関数群も入力するように構成され、前記第一の伝達関数生成手段は、前記有指向性測定伝達関数群の個々から、前記仮想音像位置から発音され前記第一の閉曲面上の前記複数の位置のそれぞれに到達する音声についての前記第一の閉曲面上の前記複数の位置ごとの音声遅延時間及び音声レベルの情報を抽出すると共に、これら音声遅延時間及び音声レベルの情報と前記入力手段により入力された前記無指向性測定伝達関数群とを前記補助伝達関数として、前記有指向性測定伝達関数群に対して指示された割合でそれぞれ足し合わせることで、前記第一の伝達関数群を生成するように構成される。
【発明の効果】
【００１１】
このようにして本発明によれば、或る環境での音場を別の環境にて再現する場合において、再現音場の音質についての調整を行うことができ、この点でユーザの使い勝手の向上を図ることができる。
【図面の簡単な説明】
【００１２】
【図１】測定環境について説明するための模式図である。
【図２】再現環境における再現音声の再生系の基本的な構成について示したブロック図である。
【図３】再現環境について説明するための模式図である。
【図４】複数の仮想音像位置を再現する場合での測定環境における測定用の様子を模式的に示した図である。
【図５】複数の仮想音像位置を再現する場合に対応した再現信号生成装置の構成について示した図である。
【図６】複数の仮想音像位置を再現する場合での再現環境について模式的に示した図である。
【図７】第二閉曲面での音場再現を行う場合での測定環境における測定の様子を模式的に示した図である。
【図８】第二閉曲面での音場再現を行う場合での再現信号生成装置の構成を示したブロック図である。
【図９】再生環境において第二閉曲面内を聴取位置とした場合の残響音場、及び音像定位を説明する図である。
【図１０】実施の形態としての音場再現として、無指向性測定伝達関数を用いた音質調整を行う場合における測定環境での測定の様子を模式的に示した図である。
【図１１】実施の形態としての音場再現として、無指向性測定伝達関数を用いた音質調整を行う場合における音質調整系の構成について示したブロック図である。
【図１２】実施の形態としての音場再現として、無指向性測定伝達関数を用いた音質調整を行う場合における再現信号生成装置の構成について示したブロック図である。
【図１３】有指向性測定伝達関数から抽出される音声遅延時間及び音声レベルの情報について説明するための図である。
【図１４】有指向性測定伝達関数から音声遅延時間及び音声レベルの情報を抽出する手法について説明するための図である。
【図１５】実施の形態としての音場再現として、音声遅延時間及び音声レベルの情報を用いた音質調整を行う場合における調整系の構成について示したブロック図である。
【図１６】音質調整のイメージについて説明するための図である。
【図１７】音質調整の一例について説明するための図である。
【図１８】特定の指向性方向を再現する場合における測定環境での測定の様子として、有指向性測定伝達関数の測定の様子について模式的に示した図である。
【図１９】特定の指向性方向を再現する場合における測定環境での測定の様子として、無指向性測定伝達関数の測定の様子について模式的に示した図である。
【図２０】再生環境において特定の指向性方向を再現する手法について説明するための模式図である。
【図２１】演奏形態のシミュレートを行う場合での測定環境での測定の様子を模式的に示した図である。
【図２２】演奏形態のシミュレートを行う場合に対応した再現信号生成装置の構成について示すブロック図である。
【図２３】有指向性測定伝達関数についてのDirection・伝達関数対応情報のデータ構造例を示すデータ構造図である。
【図２４】無指向性測定伝達関数についてのDirection・伝達関数対応情報のデータ構造例を示すデータ構造図である。
【図２５】１つの仮想音像位置につきＲｃｈとＬｃｈとの２つの音源を再現する場合での、測定環境の様子を模式的に示した図である。
【図２６】１つの仮想音像位置につきＲｃｈとＬｃｈとの２つの音源を再現する場合に対応した再現信号生成装置の構成について示すブロック図である。
【図２７】音源の指向性と指向方向ごとの放音特性を考慮した音場再現を行う場合の音源の収録手法について説明するための図である。
【図２８】音源の指向性と指向方向ごとの放音特性を考慮した音場再現を行う場合に対応した再現信号生成装置の構成について示すブロック図である。
【図２９】音源を立体的に囲って音声収録を行う手法について説明するための図である。
【図３０】音源を立体的に囲って音声収録を行った場合に対応した音場再現を行う場合での、測定環境での測定の様子を模式的に示した図である。
【図３１】測定環境におけるアンビエンス収録の様子を模式的に示した図である。
【図３２】アンビエンスを用いて音場再現を行う場合に対応した再現信号生成装置の構成について示すブロック図である。
【図３３】カメラアングルに応じた音場再現を行う場合での測定環境での測定手法について説明するための図である。
【図３４】実施の形態としての音場再現システムにおける制作側で行われるべき作業工程、及び記録装置の構成について示した図である。
【図３５】実施の形態としての音場再現システムにおける再現信号生成装置の構成を示したブロック図である。
【図３６】有指向性測定伝達関数についてのアングル／Direction・伝達関数対応情報のデータ構造例について示したデータ構造図である。
【図３７】無指向性測定伝達関数についてのアングル／Direction・伝達関数対応情報のデータ構造例について示したデータ構造図である。
【発明を実施するための形態】
【００１３】
以下、発明を実施するための最良の形態（以下実施の形態とする）について説明していく。なお、説明は以下の順序で行うものとする。
＜１．基本的構成＞
１−１．１つの音像位置の再現
１−２．複数の音像位置の再現
１−３．第二閉曲面での音場再現
＜２．実施の形態としての音場再現＞
２−１．無指向性測定伝達関数を用いた調整
２−２．音声遅延時間及び音声レベルの情報を用いた調整
＜３．追加構成例＞
３−１．音源の指向方向の再現
３−２．演奏形態のシミュレート
３−３．ステレオエフェクタの再現
３−４．音源の指向性と指向方向ごとの放音特性の再現
３−５．アンビエンスデータの追加
３−６．カメラ視点に応じた音場再現
＜４．実施の形態としての音場再現システム＞
４−１．システム構成例
【００１４】
なお、本明細書において、特に断らなければ、音声信号に対する「伝達関数に基づく演算処理」とは、音声信号に対して伝達関数を畳み込み積分処理を施すことや、伝達関数をフィルタ係数として設定したＦＩＲ（Finite Impulse Response）フィルタによって音声信号にフィルタ処理を施すことを指すものとする。
【００１５】
＜１．基本的構成＞
１−１．１つの音像位置の再現
図１は、音場再現にあたっての測定環境を模式的に示した図である。
なお、この「１．基本的構成」にて説明する音場再現技術は、後に説明する本実施の形態としての音場再現を実現するにあたってその基とする技術であり、この内容は本出願人の先の出願である「特開２００２−１８６１００号公報」にも記載されている。
【００１６】
図１において、測定環境１は、後に説明する再生環境において再現しようとする音場であり、この場合は例えばコンサートホールやライブ会場などとして考えればよい。
この測定環境１には、例えば当該測定環境１の壁に近接しない位置に、半径Ｒ＿ｂｎｄとなる円周上に、測定用マイク（マイクロフォン）４ａ、４ｂ、４ｃ、４ｄ、４ｅ、４ｆ、４ｇ、４ｈ、４ｉ、４ｊ、４ｋ、４ｌ、４ｍ、４ｎ、４ｏ、４ｐを配置する。
なお、以下において、このような半径Ｒ＿ｂｎｄとなる円周のことを、第一閉曲面１０と呼ぶ。
【００１７】
各測定用マイク４ａ〜４ｐは、その指向性を第一閉曲面１０の法線方向において外側に向けるものとする。なお、本明細書における以降の説明においてもマイクロフォンに示される矢印は、その指向性の主方向を示すものとする。
また、第一閉曲面１０の中心から半径Ｒ＿ｓｐとなる位置に、仮想音源として測定用スピーカ３を配置する。この測定用スピーカ３に対しては、測定用信号再生部２から測定用信号が供給される。この測定用信号としては、後述するインパルス応答測定のためのＴＳＰ（Time Stretched Pulse：時間引き延ばしパルス）信号を出力するようにされる。
なお、測定用スピーカ３は、後述する再生環境における仮想スピーカを再現するために備えられることから、その指向性や周波数特性は、再生環境における聴取者に対する聴感を想定したものとすることが望ましい。
【００１８】
この測定環境１における測定は、測定用スピーカ３に測定信号ＴＳＰを供給して、測定用スピーカ３から出力された測定用音声を各測定用マイク４ａ〜４ｐ入力させるようにするが、図１においては、測定用スピーカ３から測定用マイク４ａに至る音声の経路のみを模式的に示している。
各測定用マイク４ａ〜４ｐで検出された音声信号は、図示していないインパルス応答測定装置に供給され、ここでは各測定用マイク４で検出された音声の音圧に基づいて、測定用スピーカ３から各測定マイク４ａ〜４ｐに対応したインパルス応答が測定される。このインパルス応答は、大きなホールなどでは５〜１０秒程度であることもあるが、小さなホールや響きの少ないホールなどではより短い時間長となることもある。この測定により、各インパルス応答に基づいた伝達関数を求めることができる。すなわち、図１には、測定用マイク４ａに対応した伝達関数Ｈａを求める場合の音声の経路が示されている。また、図示していないが、測定用マイク４ｂ〜測定用マイク４ｐについても、同様にそれぞれに対応した伝達関数Ｈｂ〜Ｈｐを求めることができる。
なお、インパルス応答の測定は、各測定用マイク毎に行ってもよいし、全ての測定用マイク４ａ〜４ｐに対して同時に行うようにしてもよい。また、測定用信号はＴＳＰ信号に限らず、擬似ランダム雑音や音楽信号などを用いてもよい。
また、以降の説明においても、測定環境１における測定用スピーカから測定用マイクまでの伝達関数は「Ｈ」により表す。
【００１９】
このようにして、測定環境１においては各測定用マイク４ａ、４ｂ、４ｃ、４ｄ・・・４ｐに対応した伝達関数Ｈａ、Ｈｂ、Ｈｃ、Ｈｄ・・・Ｈｐを求めることができる。そして、これらの伝達関数Ｈａ〜Ｈｐを用いることにより、測定環境１とは別の環境（再現環境）で当該測定環境１の音場を再現することができるようになる。
【００２０】
図２は、再現環境における再現音声の再生系（再現信号生成装置）の構成について示している。
再現信号生成装置５において、音声再生部６は、任意の音声信号Ｓを出力することができるようにされている。この音声再生部６から出力された音声信号Ｓは、演算部７ａ、７ｂ、７ｃ、７ｄ・・・７ｎ、７ｏ、７ｐに供給される。個々の演算部７ａ〜７ｐには、それぞれ上記のようにして測定用マイク４ａ〜４ｐ対応に測定された伝達関数Ｈａ〜Ｈｐのうち、同じ添え字（アルファベット）の付される伝達関数Ｈが設定されており、各演算部７は、供給された音声信号Ｓに対してそれぞれ設定された伝達関数Ｈに基づく演算処理を施す。これにより、各演算部７ａ〜７ｐからは、音声信号Ｓに対して伝達関数に対応するインパルス応答が畳み込まれた再現信号ＳＨａ、ＳＨｂ、ＳＨｃ、ＳＨｄ・・・ＳＨｎ、ＳＨｏ、ＳＨｐが出力される。
なお、先にも述べたが、各演算部７の動作は、それぞれ設定された伝達関数（インパルス応答）をフィルタ係数として設定したＦＩＲフィルタによっても実現することができる。このことは、後述する全ての「演算部」についても同様である。
【００２１】
各再現信号ＳＨａ〜ＳＨｐは、再生環境に配置されている再現用スピーカ８ａ、８ｂ、８ｃ、８ｄ・・・８ｎ、８ｏ、８ｐに供給される。これにより、各再現用スピーカ８ａ〜８ｐからは、測定環境１における伝達関数Ｈａ〜Ｈｐに基づいた再現信号ＳＨａ〜ＳＨｐによる音声が出力される。
【００２２】
図３は再現環境について説明する模式図である。
再現環境１１は、例えば無響室や、残響の少ないスタジオなどとされる。
この再現環境１１に、図２に示した再現用スピーカ８ａ〜８ｐを配置する。この場合、再現用スピーカ８ａ〜８ｐは、図１に示した測定用マイク４ａ〜４ｐの配置位置に対応させ、半径Ｒ＿ｂｎｄで形成される第一閉曲面１０の外周上に内側に向けて配置される。つまり、再現用スピーカ８ａ〜８ｐ、測定用マイク４ａ〜４ｐにおいて同一の添え字（アルファベット）を付したもの配置位置どうしが対応している。
なお、測定環境１における第一閉曲面１０と再現環境１１における第一閉曲面１０とは、それぞれ別々の空間に存在する閉曲面ではあるが、ここでは同一半径により形成される幾何学的に同等の閉曲面ということで、便宜上同一の符号を付している。
【００２３】
そして、これら再現用スピーカ８ａ〜８ｐから、先の図２に示したようにして上記再現信号ＳＨａ〜ＳＨｐを供給して出力することで、第一閉曲面１２の内側に居る聴取者は、図１に示した測定用スピーカ３から音声信号Ｓを再生した場合の音場が第一閉曲面１０の外側に擬似的に再現されているように感じることができる。
【００２４】
ここで、或る閉曲面内に音源がない場合、その音場を別の場所で正確に再現するためには、原音場と再生音場とで閉曲面の外周の音圧と法線方向の粒子速度を一致させればよいということが知られている（公知文献：電子情報通信学会編「音響システムとディジタル処理」（コロナ杜）を参照）。具体的には、閉曲面上に双指向性マイクロフォンを無数個設置し、それぞれの設置点における音圧と粒子速度を測定する。このため、測定環境１における第一閉曲面１０では無数個の測定用マイクを法線方向に外向きに設置し、再現環境１１における第一閉曲面１０においてはこれらの測定用マイクに対応した無数個の再現用スピーカを配置することで、再現環境１１での第一閉曲面１０の内側を視聴位置とした場合、聴取者は測定環境１の第一閉曲面１０内に居る場合と同様の定位感や残響感を得ることができ、さらに、再現環境１１にはない測定用スピーカ３の位置に仮想音像を知覚することができるようになる。つまり、再現環境１１の第一閉曲面１０の内側のいずれの聴取位置においても、その外側に測定環境１と同等の音場感を得ることができる。
しかし、上記のように、無数個のマイクロフォンと再現用スピーカを必要とすることは、実際にこれを実現することは困難である。そこで、本出願人は、指向性マイクロフォン、例えば単一指向性マイクロフォンの出力に音圧及び粒子速度成分が含まれることに着目して、有限個数の指向性マイクロフォンと、それに対応する数の再現用スピーカでほぼ同様な音響効果が得られることを実験により確かめた。
【００２５】
このようにして、例えばホールなどの測定環境１における音場を、無響室などとされる再現環境１１において再現することができる。
ここで、このことによれば、図１に示したように測定環境１におけるインパルス応答の測定を１回行っておけば、その後、これら測定データ（伝達関数）を用いることで、再現環境１１など測定環境１以外の環境で、随時測定環境１の音場を擬似的に再現することができるようになる。
そして、この場合、先の図２の構成によれば、このように再現される音場で再生する音声としては任意の音声とすることができるので、測定を行ったホールで任意の音声が再生された（任意の演奏が行われた）ものとして再現することができる。
【００２６】
１−２．複数の音像位置の再現
上記説明では、測定環境１において１つの測定用スピーカ３から各測定用マイク４ａ〜４ｐまでのインパルス応答を測定した結果に基づき、再現環境１１において１つの音像位置を再現するものとしたが、この技術を応用することで、次の図４に示されるようにして配置した複数の測定用スピーカ３、つまり複数の音像位置を再現することが可能となる。
【００２７】
図４において、先ずこの場合は、先の図１と同様の測定用マイク４ａ〜４ｐを配置した測定環境１において、図示するように複数の測定用スピーカ３−１、３−２、３−３、３−４を、第一閉曲面１０の外側におけるそれぞれ別々の場所に配置する。ここでは、測定用スピーカ３−１の配置位置をPosition1とし、測定用スピーカ３−２の配置位置をPosition2と表している。同様に測定用スピーカ３−３、測定用スピーカ３−４の配置位置は、それぞれPosition3、Position4とする。
【００２８】
この場合の測定環境１における測定は、測定用スピーカ３ごとに測定用信号ＴＳＰを供給して行う。このとき、各測定用マイク４ａ〜４ｐにおいては、各測定用スピーカ３ごとの出力音声信号について検出するようにされる。各測定用マイク４にて得られたこれら測定用スピーカ３ごとの音声信号は、この場合も図示しないインパルス応答測定装置に供給され、これによって各測定用スピーカ３（３−１〜３−４）から各測定マイク４ａ〜４ｐまでのそれぞれに対応したインパルス応答が測定され、その結果に基づき、各測定用スピーカ３から各測定マイク４までのそれぞれに対応した伝達関数を求めることができる。
例えば図４では、測定用スピーカ３−１から測定用マイク４ａまでに対応した伝達関数Ｈａ−１、測定用スピーカ３−１から測定用マイク４ｂまでに対応した伝達関数Ｈｂ−１を得る経路を模式的に示している。また、同じように測定用スピーカ３−３から測定用マイク４ａまでに対応した伝達関数Ｈａ−３、測定用スピーカ３−３から測定用マイク４ｏまでに対応した伝達関数Ｈｏ−３を求める経路についても模式的に示している。
【００２９】
このようにして、測定用スピーカ３ごとに出力した測定用信号ＴＳＰに応じて、測定用スピーカ３−１から各測定用マイク４ａ〜ｐまでに対応した伝達関数Ｈａ−１〜Ｈｐ−１、測定用スピーカ３−２から各測定用マイク４ａ〜ｐに対応した伝達関数Ｈａ−２〜Ｈｐ−２、測定用スピーカ３−３から各測定用マイク４ａ〜ｐまでに対応した伝達関数Ｈａ−３〜Ｈｐ−３、測定用スピーカ３−４から各測定用マイク４ａ〜ｐまでに対応した伝達関数Ｈａ−４〜Ｈｐ−４を求めることができる。
この場合のインパルス応答の測定は、異なるPositionの測定用スピーカ３からの音声が混在しないように、１つの測定用スピーカ３ごとに測定用信号ＴＳＰを出力して行うことが望ましい。また、複数の測定用スピーカ３を配置する以外にも、１つの測定用スピーカ３を順次各Positionに配置して行うようにすることもできる。
【００３０】
図５は、これら各伝達関数Ｈａ−１〜Ｈｐ−１、Ｈａ−２〜Ｈｐ−２、Ｈａ−３〜Ｈｐ−３、Ｈａ−４〜Ｈｐ−４に基づき、音場再現を行うための再現用音声信号（単に再現信号とも呼ぶ）を生成する再現信号生成装置１５の構成を示している。
この再現信号生成装置１５としては、例えば複数の音像位置（Position1〜Position4）ごとに、それぞれ異なる音声を出力する場合に対応した構成を採る。このために、各Positionに対応した音声再生部６−１、６−２、６−３、６−４の計４つの音声再生部を備えるようにされる。
この場合も各音声再生部６としては、任意の音声信号Ｓを出力することができるようにされている。ここでは、各音声再生部６から出力される音声信号Ｓを、それぞれのPositionの番号に対応させて音声信号Ｓ１、Ｓ２、Ｓ３、Ｓ４と示している。
【００３１】
また、この場合の演算部７としては、Position1〜Position4のそれぞれに対応した４セットを設けるものとしている。すなわち、Position1に対応した演算部７ａ−１〜７ｐ−１、Position2に対応した演算部７ａ−２〜７ｐ−２、Position3に対応した演算部７ａ−３〜７ｐ−３、Position4に対応した演算部７ａ−４〜７ｐ−４が設けられる。
演算部７ａ−１〜７ｐ−１に対しては、図示するように測定用スピーカ３−１（Position1）から各測定用マイク４への出力に応じて得られた伝達関数Ｈａ−１〜Ｈｐ−１が設定される。これら演算部７ａ−１〜７ｐ−１は、それぞれ音声再生部６−１から入力される音声信号Ｓ１に対し、設定された伝達関数Ｈに基づく演算処理を行って、再現信号ＳＨａ−１〜ＳＨｐ−１を出力する。これによって、先ずは測定用スピーカ３−１（Position1）の音像位置を再現するための再現信号が得られる。
また、演算部７ａ−２〜７ｐ−２に対しては、測定用スピーカ３−２（Position2）から各測定用マイク４への出力に応じて得られた伝達関数Ｈａ−２〜Ｈｐ−２が設定され、これら演算部７ａ−２〜７ｐ−２は、それぞれ音声再生部６−２から入力される音声信号Ｓ２に対し設定された伝達関数Ｈに基づく演算処理を行って、再現信号ＳＨａ−２〜ＳＨｐ−２を出力する。これによって測定用スピーカ３−２（Position2）の音像位置を再現するための再現信号が得られる。
同様に、演算部７ａ−３〜７ｐ−３は、測定用スピーカ３−３（Position3）に応じて得られた伝達関数Ｈａ−３〜Ｈｐ−３が設定され、それぞれ音声再生部６−３から入力される音声信号Ｓ３に対し設定された伝達関数Ｈに基づく演算処理を行って、再現信号ＳＨａ−３〜ＳＨｐ−３を出力する。これにより測定用スピーカ３−３（Position3）の音像位置を再現するための再現信号が得られる。
さらに、演算部７ａ−４〜７ｐ−４は、測定用スピーカ３−４（Position4）に応じて得られた伝達関数Ｈａ−４〜Ｈｐ−４が設定され、それぞれ音声再生部６−４から入力される音声信号Ｓ４に対し設定された伝達関数Ｈに基づく演算処理を行って再現信号ＳＨａ−４〜ＳＨｐ−４を出力する。これにより測定用スピーカ３−４（Position4）の音像位置を再現するための再現信号が得られる。
【００３２】
加算器９ａ〜加算器９ｐは、再現用スピーカ８ａ〜８ｐと１対１の関係により設けられ、演算部７ａ−１〜７ｐ−１、演算部７ａ−２〜７ｐ−２、演算部７ａ−３〜７ｐ−３、演算部７ａ−４〜７ｐ−４のうち、対応する添え字（アルファベット）の付された演算部７からの出力を入力し、それらを加算して対応する添え字の付される再現用スピーカ８に供給する。
つまり、例えば加算器９ａは、演算部７ａ−１、７ａ−２、７ａ−３、７ａ−４からの４つの再現信号ＳＨａ−１、ＳＨａ−２、ＳＨａ−３、ＳＨａ−４を入力し、これらを加算して再現用スピーカ８ａに供給する。これによってスピーカ８ａからは、図４に示した全てのPositionから測定用マイク４ａまでの経路に対応した再現音声を出力することができる。
また、加算器９ｐは、演算部７ｐ−１、７ｐ−２、７ｐ−３、７ｐ−４からの４つの再現信号ＳＨｐ−１、ＳＨｐ−２、ＳＨｐ−３、ＳＨｐ−４を入力し、これらを加算して再現用スピーカ８ｐに供給する。これによりスピーカ８ｐからは、図４に示した全てのPositionから測定用マイク４ｐまでの経路に対応した再現音声を出力することができる。
このような再現信号ＳＨの加算が加算器９ｂ〜９ｏにおいて同様に行われることで、それぞれ対応するスピーカ８ｂ〜８ｏにおいても、同様に全てのPositionから該当する測定用マイク４までの経路に対応した再現信号を出力することができる。
この結果、これら再現用スピーカ８ａ〜８ｐにより囲われる、再現環境１１における第一閉曲面１０の内側の聴取者は、図４に示した各測定用スピーカ４（Position1、Position2、Position3、Position4）のそれぞれから音声を再生した場合の音場が第一閉曲面１０の外側に擬似的に再現されているように感じることができる。すなわち、これによってPosition1、Position2、Position3、Position4のそれぞれの位置に、音像を再現（定位、提示）することができる。
【００３３】
図６は、この場合の再現環境１１について模式的に示している。
先の図５に示した再現信号生成装置１５では、Position1、Position2、Position3、Position4ごとに独立して別々の音声を入力できるように構成した。これによれば、各Positionごとに、例えばボーカル、ドラム、ギター、キーボード（鍵盤楽器）などといった異なるPlayerの音声を入力することで、この図６に示されているように、Position1にはボーカル（Player1）、Position2にはドラム（Player2）、Position3にはギター（Player3）、Position4にはキーボード（Player4）などというように、然るべきPositionに然るべきPlayerの音像を提示することができるようになる。
【００３４】
１−３．第二閉曲面での音場再現
ここで、これまでで説明したような音場再現の手法においては、測定用スピーカ４の配置数、再現環境１１での再現用スピーカ８の配置数を増やすほど、音像の定位感（音場の再現度）は増すことができる。このことによれば、再現環境１１としては、なるべく多くの再現用スピーカ８を配置できる環境が望ましいものとなるが、実際の再現環境としては、例えば一般の家庭の部屋などとされることも考えられる。
一般家庭の部屋などの環境では、スピーカの配置数は限られたものとなり、また、このように配置数が制限される以外にも、それぞれの家庭では各スピーカの配置関係が異なるものとなることが予想される。従って、一般家庭での音場再現を想定した場合は、それらの条件に応じて、ホールなどの測定環境において、それぞれの条件に応じた測定用マイク４の配置関係・配置数の別ごとに測定を行う必要がある。
しかし、このことによると、例えば新たなスピーカの個数・配置の条件に対応させるとした場合には、いちいち対象とするホールに出向き、その条件に応じた測定用マイクの配置により測定を行う必要がでてきてしまい、この点で多大な労力と費用を要するものとなってしまう。
【００３５】
ここで、これまでの説明のようにして、再現環境１１における第一閉曲面１０の内側で測定環境１での音場を再現できるということは、この第一閉曲面１０のさらに内側の第二閉曲面においても、第一閉曲面１０上の各スピーカからの伝達関数を用いた演算処理を行えば、測定環境１の音場を再現するための再現信号を得ることができる。
つまり、これによって上記第二閉曲面内において、測定環境１の音場を再現することが可能となる。
これによれば、例えば対象とするホールなどでの測定を１度行っておけば、家庭の部屋などの実際の再現環境への適応のための測定は、いちいち対象とするホールなどに出向かずとも、再現環境１１としての例えば実験施設などにおいて、第一閉曲面１０上の再現用スピーカ８のそれぞれから第二閉曲面１４上のそれぞれの測定用マイクまでについて行えばよいものとできる。
【００３６】
なお、ここで確認のために述べておくと、再現環境１１における第一閉曲面１０での音場再現としては、上記した実験施設などで家庭の部屋などへの適応に供される以外にも多様な用途が想定できる。
例えば、ライブなどのイベントとしては、実際にその会場（ホール）でアーティストが演奏する形態以外にも、所謂フィルムライブなどとして行われるような、実際のライブ会場での映像を映し出すスクリーンを配置した会場においてライブ音声を流すことで行われるものもある。
このようなフィルムライブの会場であれば、比較的多数の再現用スピーカ８を配置することができる（つまり測定時に多数の測定用マイク４を配置できる）ので、実際のライブ会場で測定した情報に基づきこれらの再現用スピーカ８から再現音声を出力すれば、実際のライブ会場さながらの音場を再現することができる。また、このとき、PlayerごとのPositionが予め決まっているのであれば、予め実際の会場にてそのPositionごとに測定を行っておき、再現時にはそのPositionに該当するPlayerの音声をそのPositionでの測定結果（伝達関数）に基づいて演算処理を施すことで、各Playerの音像位置も的確に再現することができる。
【００３７】
図７は、上記のようにして第一閉曲面１０内の第二閉曲面において音場再現を行うにあたっての、インパルス応答の測定手法について説明するための模式図である。
なお、ここでは説明を簡略化するために、測定環境１において測定用スピーカ３を１つのみ配置し、１つの音像位置のみを再現する場合について例示する。
図７において、この場合は、再現環境１１における第一閉曲面１０の内側に、測定用マイク１３Ａ、１３Ｂ、１３Ｃ、１３Ｄ、１３Ｅを配置する。これらの測定用マイク１３Ａ〜１３Ｅは、例えば家庭の部屋などとされる再現環境（後述する再現環境２０）に配置される再現用スピーカに対応した配置状態をとるようにされればよく、その個数及び配置関係は図示するものに限定はされない。
この図では、これら測定用マイク１３Ａ〜１３Ｅを外周として形成される閉曲面を、第二閉曲面１４として表している。この第二閉曲面１４の内側が、家庭の部屋などとされる再現環境における聴取位置になる。
なお、第二閉曲面１４は、第一閉曲面１０の内側に形成される必要があるため、測定環境１において測定を行う場合は、第二閉曲面１４の広さを考慮して第一閉曲面１０を形成することが望ましい。
またこの場合、ホールでの測定はなるべく多くの測定用マイク４を配置して、第一閉曲面１０上のなるべく多くの点までについての伝達関数Ｈを求めておくことが好ましい。これによって測定環境１→再現環境１１ではより高い再現度で対象とした音場を再現できる状態としておくことができ、家庭の部屋などの再現環境への適応としてもより高い再現度を実現できる。
【００３８】
そして、この場合は、図示するように測定用信号再生装置２により、測定用信号ＴＳＰを第一平曲面１０上に配置された各再現用スピーカ８ごとに出力して、各スピーカ８から各測定用マイク１３までに対応したインパルス応答を測定する。これらのインパルス応答から、各スピーカ８→各測定用マイク１３のそれぞれの経路での伝達関数を求めることができる。
【００３９】
このような第一閉曲面１０上に配置された再現用スピーカから第二閉曲面１４上に配置された測定用マイクまでの伝達関数は「Ｅ」により表すものとする。
例えば図７にも示されているように、測定用マイク１３Ａに対する再現用スピーカ８ａからの伝達関数はＥａ−Ａと表す。また、測定用マイク１３Ａに対する再現用スピーカ８ｂからの伝達関数はＥｂ−Ａとし、また再現用スピーカ８ｃからの伝達関数はＥｃ−Ａと表す。
また、図示は省略しているが、上記再現用スピーカ８ａから、残りの測定用マイク１３Ｂ〜１３Ｅへの伝達関数をＥａ−Ｂ、Ｅａ−Ｃ、Ｅａ−Ｄ、Ｅａ−Ｅ、さらに、上記再現用スピーカ８ｂから測定用マイク１３Ｂ〜１３Ｅへの伝達関数をＥｂ−Ｂ、Ｅｂ−Ｃ、Ｅｂ−Ｄ、Ｅｂ−Ｅ、上記再現用スピーカ８ｃから測定用マイク１３Ｂ〜１３Ｅへの伝達関数をＥｃ−Ｂ、Ｅｃ−Ｃ、Ｅｃ−Ｄ、Ｅｃ−Ｅと表す。以下も同様に、小文字アルファベットは測定用スピーカ８の別、ハイフン後の大文字アルファベットは測定用スピーカ１３の別を示すものとして、スピーカ→マイクの対応を示すようにして伝達関数Ｅを表現する。
【００４０】
ここで、上記のようにして求められた伝達関数Ｅを用いれば、第二閉曲面１４内において、第一閉曲面１０の内側で再現される音場を再現することができる。先にも述べたように、再現環境１１における第一閉曲面１０の内側では伝達関数Ｈを用いて測定環境１の音場を再現できるので、これによれば上記第二閉曲面１４内においても、測定環境１の音場を再現できることになる。
【００４１】
図８は、このようにして第二閉曲面１４内において測定環境１の音場を再現するための再現信号生成装置１９の構成を示している。
なお、この図においては、家庭の部屋などとされる実際の再現環境２０に配置される再現用スピーカを、図示するように再現用スピーカ１８Ａ、１８Ｂ・・・１８Ｅとしている。
先ず、音声再生部６からの音声信号Ｓは、先の図２に示したものと同様に伝達関数Ｈａ〜Ｈｐが設定された演算部７ａ〜７ｐのそれぞれに入力される。このように演算部７ａ〜７ｐにより音声信号Ｓがそれぞれ伝達関数Ｈａ〜Ｈｐに基づき演算処理されることで、再現用スピーカ８ａ〜８ｐのそれぞれに対応した再現信号ＳＨａ〜ＳＨｐが得られる。
【００４２】
ここで、先の図７を参照してわかるように、この場合の第一閉曲面１０上の再現用スピーカ８からの出力音声は、第二閉曲面１４上の各マイク１３に対して入力される。そしてこれに伴い、伝達関数Ｅとしては、１つの測定用マイク１３につき、第一閉曲面１０上の再現用スピーカ８ａ〜８ｐに応じた数がそれぞれ得られる。すなわち、測定用マイク１３Ａに対応してはＥａ−Ａ、Ｅｂ−Ａ・・・Ｅｐ−Ａ、測定用マイク１３Ｂに対応してはＥａ−Ｂ、Ｅｂ−Ｂ・・・Ｅｐ−Ｂ、測定用マイク１３Ｃに対応してはＥａ−Ｃ、Ｅｂ−Ｃ・・・Ｅｐ−Ｃが得られる。また、測定用マイク１３Ｄに対応してはＥａ−Ｄ、Ｅｂ−Ｄ・・・Ｅｐ−Ｄ、測定用マイク１３Ｅに対応してはＥａ−Ｅ、Ｅｂ−Ｅ・・・Ｅｐ−Ｅが得られるものである。
従って、第二閉曲面１４上の各測定用マイク１３（つまり実際の再現環境２０における再現用スピーカ１８）の位置ごとに対応する再現信号を得るにあたっては、図示するように測定用マイク１３の位置（Ａ〜Ｅ）ごとに、上述の各マイク１３ごとのａ〜ｐの伝達関数Ｅを設定した、演算部１６Ａ−ａ〜１６Ａ−ｐ、１６Ｂ−ａ〜１６Ｂ−ｐ・・・１６Ｅ−ａ〜１６Ｅ−ｐを設けるようにする。
そして、図示するように、これら演算部１６Ａ−ａ〜１６Ａ−ｐ、１６Ｂ−ａ〜１６Ｂ−ｐ・・・１６Ｅ−ａ〜１６Ｅ−ｐに対し、上記した演算部７ａ〜７ｐからの再現信号ＳＨａ〜ＳＨｐとして、それぞれ対応する添え字の付された再現信号ＳＨを供給し、これにより各演算部１６において、入力される再現信号ＳＨを各々に設定された伝達関数Ｅに基づき演算処理を施すようにする。
【００４３】
このような構成により、測定用マイク１３Ａ〜１３Ｅの配置位置（再現用スピーカ１８Ａ〜１８Ｅの配置位置）ごとに、第一閉曲面１０上の測定用スピーカ８ａ〜８ｐのそれぞれの経路からに応じた伝達関数Ｅにより演算処理された再現信号ＳＨＥを得ることができる。
つまり、例えば測定用マイク１３Ａ（再現用スピーカ１８Ａ）に対応しては、測定用マイク８ａ〜８ｐのそれぞれからの経路に応じた伝達関数Ｅにより演算処理された再現信号ＳＨＥＡ−ａ〜ＳＨＥＡ−ｐが得られる。同様に、測定用マイク１３Ｂ（再現用スピーカ１８Ｂ）に対応しては、測定用マイク８ａ〜８ｐからのそれぞれの経路に応じた伝達関数Ｅにより処理された再現信号ＳＨＥＢ−ａ〜ＳＨＥＢ−ｐが得られるといったものである。
以下同様に、演算部１６Ｃ−ａ〜１６Ｃ−ｐ、１６Ｄ−ａ〜１６Ｄ−ｐ、１６Ｅ−ａ〜１６Ｅ−ｐからの出力は、それぞれＳＨＥＣ−ａ〜ＳＨＥＣ−ｐ、ＳＨＥＤ−ａ〜ＳＨＥＤ−ｐ、ＳＨＥＥ−ａ〜ＳＨＥＥ−ｐと表すものとする。
【００４４】
加算器１７Ａ、１７Ｂ・・・１７Ｅは、再現用スピーカ１８Ａ、１８Ｂ・・・１８Ｅと１対１の関係により設けられる。
図示するように加算器１７Ａ、１７Ｂ・・・１７Ｅは、演算部１６ａ−Ａ〜１６ｐ−ＡからのＳＨＥＡ−ａ〜ｐ、１６ａ−Ｂ〜１６ｐ−ＢからのＳＨＥＢ−ａ〜ｐ・・・１６ａ−Ｅ〜１６ｐ−ＥからのＳＨＥＥ−ａ〜ｐを入力し、それらを加算して再現用スピーカ１８Ａ、１８Ｂ・・・１８Ｅのうちの対応するスピーカ１８に供給する。
上記説明から理解されるように、加算器１７の各々に入力される再現信号ＳＨＥＡａ〜ＳＨＥＥｐは、それぞれ伝達関数Ｈ及び伝達関数Ｅに基づき処理され、且つそれぞれの測定用マイク１３（再現用スピーカ１８）ごとに応じた再現信号となっている。
従って上記のように各加算器１７でそれらを加算して対応する再現用スピーカ１８に供給することで、各再現用スピーカ１８からは、それぞれ測定環境１における音場を再現するための再現信号ＳＨＥ（ＳＨＥＡ、ＳＨＥＢ・・・ＳＨＥＥ）が出力されることになる。すなわち、このような再現用スピーカ１８を第二閉曲面１４上での測定用マイク１３と同様に配置した実際の再現環境２０では、その第二閉曲面１４内において、測定環境１の音場を再現することができるようになる。
【００４５】
図９は、このように第二閉曲面１４にて測定環境１の音場を再現する場合での、実際の再現環境２０と、仮想音場としての測定環境１、及び第一閉曲面１０を模式的に示している。
再生環境２０における再現用スピーカ１８Ａ〜１８Ｅは、先の図７に示した第二閉曲面１４上と同じ半径を有する第二閉曲面１４上において、図７の各測定用マイク１３Ａ〜１３Ｅと同等の位置関係により配置される。つまり、この再現環境２０における各再現用スピーカ１８は、各測定用マイク１３と幾何学的に同等の位置関係により配置される。
そして、図示するようにこれら再現用スピーカ１８Ａ〜１８Ｅは、第二閉曲面１４上において、その内側方向に向けて配置され、再現用スピーカ１８Ａからは再現信号ＳＨＥＡ、再現用スピーカ１８Ｂからは再現信号ＳＨＥＢ、再現用スピーカ１８Ｃからは再現信号ＳＨＥＣ、再現用スピーカ１８Ｄからは再現信号ＳＨＥＤ、再現用スピーカ１８Ｅからは再現信号ＳＨＥＥを出力することで、第二閉曲面１４の内側にいる聴取者にとっては、破線で示す第一閉曲面１０上に配された再現用スピーカ８ａ〜８ｐにより再現される音場と同等な音場を感じることができる。つまりは、破線で示す測定環境１の音場（残響・測定用スピーカ３の音像位置）を擬似的に知覚することができる。従って第二閉曲面１４内を聴取位置とした場合、測定環境１内における残響音場、及び音像定位を得ることができるようになる。これにより、例えば家庭の部屋などに居ながら、例えばホールなどの残響音場及び音像定位により、コンテンツとしての音声を聴取することができるようになる。
【００４６】
なお、ここでは測定環境１において１つの測定用スピーカ３のみが配置されたものとして、１つのPositionのみを想定した場合を例示したが、複数のPositionを想定した場合は、増やしたPositionの数分、先の図８に示した各加算器１７よりも前段の構成を追加すればよい。つまり、例えばPosition1とPosition2との２つのPositionを想定した場合、図８に示した構成に対し、さらにPosition2用の音声再生部６（６−２）、演算部７ａ〜７ｐ（７ａ−２〜７ｐ−２）、演算部１６Ａ−ａ〜１６Ａ−ｐ、１６Ｂ−ａ〜１６Ｂ−ｐ・・・１６Ｅ−ａ〜１６Ｅ−ｐ（１６Ａ−ａ−２〜１６Ａ−ｐ−２、１６Ｂ−ａ−２〜１６Ｂ−ｐ−２・・・１６Ｅ−ａ−２〜１６Ｅ−ｐ−２）を追加する。その上で、追加した演算部１６Ａ−ａ−２〜１６Ａ−ｐ−２、１６Ｂ−ａ−２〜１６Ｂ−ｐ−２・・・１６Ｅ−ａ−２〜１６Ｅ−ｐ−２から出力される再現信号については、この場合も加算器１７Ａ〜１７Ｅが、それぞれ同じ添え字（大文字アルファベット）の付されたものを入力・加算するように構成すればよい。
但しこの場合、測定環境１→第一閉曲面１０での伝達関数Ｈに基づき再生信号Ｓを処理する演算部７ａ〜７ｐと演算部７ａ−２〜７ｐ−２とでは、それぞれに設定される伝達関数Ｈ（ａ〜ｂ）は異なるものとなる。つまり、例えば演算部７ａ〜７ｐで設定される伝達関数Ｈが、Position1から各測定用マイク８に対応したＨａ−１〜Ｈｐ−１だとすると、演算部７ａ−２〜７ｐ−２で設定される伝達関数Ｈは、Position2から各測定用マイク８に対応したＨａ−２〜Ｈｐ−２を測定することになる。
上記構成により、加算器１７Ａ〜１７Ｅの出力としては、測定環境１→第一閉曲面１０の対応ではPosition1及びPosition2の音像位置がそれぞれ加味され、且つ第一閉曲面１０→第二閉曲面１４での対応では伝達関数Ｅにより適応が為された再現信号ＳＨＥＡ〜ＳＨＥＥが得られる。これによって各再現用スピーカ１８Ａ〜１８Ｅからは、Position1及びPosition2の音像位置を再現することのできる再現信号を出力することができ、これにより第二閉曲面１４においても、その内側の聴取者は、仮想音場としての測定環境１におけるPosition1、Position2に、それぞれの音像を知覚することができるようになる。
【００４７】
＜２．実施の形態としての音場再現＞
２−１．無指向性測定伝達関数を用いた調整
これまでで説明した音場再現の技術によれば、実際に測定環境１においてインパルス応答の測定を行った結果に基づく空間情報を用いて残響効果や音像定位効果を得るようにされているので、よりリアルな音場再現を行うことができる。
ところで、オーディオ再生システムとしては、このように音質のリアルさを追求する以外にも、再生音声をユーザの好みの音質に調整可能であることで、より使い勝手のよいシステムとすることができる。例えば、従来のオーディオ再生システムでは、低音を強調したり、再生する楽曲のジャンル（ロックやJazzなど）に合わせた音質調整が可能となるように構成されているものがあり、ユーザは好みの音質を選択して楽曲を楽しむことができるようにされたものがある。
このことに鑑みれば、本実施の形態のような音場再現のためのシステムについても、このような音質調整として、例えば上記した残響感や音像の定位感などについて調整が可能となるようにすることで、ユーザの使い勝手を向上させることができて好ましいものとなる。
【００４８】
そこで、本実施の形態では、このような音場再現システムにおける再生音声の音質の調整の実現のために、以下のような技術を提案する。
先ずは、図１０〜図１２により、有指向性測定伝達関数を用いた音質調整について説明する。
なお、ここでは仮想音像位置としてPosition1の１つのみを想定するものとし、また測定環境１の音場の再現は、先の図３に示したようにして第一閉曲面１０上に再現用スピーカ８ａ〜８ｐを配置した再現環境１１にて行うものとして説明を続ける。
【００４９】
先ずこの場合は、先の図１にて説明したものと同様の手法により、測定環境１の第一閉曲面１０上に配置した測定用マイク４ａ〜４ｐにより、測定用スピーカ３からの出力音声（測定用信号ＴＳＰ）を測定した結果に基づき、これら測定用マイク４ａ〜４ｐのそれぞれまでに対応した伝達関数Ｈａ〜Ｈｐを求める。ここで確認のために述べておくと、測定用マイク４ａ〜４ｐとしては単一指向性（有指向性）マイクを用いるようにされる。これに応じ以下では、このようにして求められた伝達関数Ｈａ〜Ｈｐについては、有指向性測定伝達関数と呼ぶこともある。
【００５０】
そして、このように図１にて説明した手法と同様の手法により有指向性測定伝達関数Ｈａ〜Ｈｐを求めた上で、次の図１０に示される無指向性マイクによる測定結果に基づく無指向性測定伝達関数の生成を行う。
この図１０に示される測定環境１では、測定用スピーカ３からの音声を入力させる測定用マイクとして、無指向性のマイクロフォン（マイク）を用いる。ここでの測定としては、有指向性測定伝達関数Ｈａ〜Ｈｐの生成の際に用いた測定用マイク４ａ〜４ｐと同数で且つ同じ配置関係で配置した無指向性マイクを用いる。この図では、これら無指向性マイクを無指向性測定用マイク２４ａ〜２４ｐとして示している。
そして、この場合としても、図示する測定用信号再生部２からの測定用信号ＴＳＰを、仮想音像位置に配置した測定用スピーカ３により出力して、各無指向性測定用マイク２４ａ〜２４ｐで測定された音声に基づき、各無指向性測定用マイク２４のそれぞれまでに対応したインパルス応答としての伝達関数Ｈａ〜Ｈｐを求める。
ここでは、このようにして無指向性測定用マイク２４の測定の結果得られた伝達関数Ｈのことを無指向性測定伝達関数omniＨ（或いは単に伝達関数omniＨ）と呼ぶ。つまり、上記のようにして各無指向性測定用マイク２４ａ〜２４ｐ対応に得られたそれぞれの伝達関数Ｈａ〜Ｈｐについては、無指向性測定伝達関数omniＨａ〜omniＨｐとする。
【００５１】
ここで、このようにしてインパルス応答の測定に無指向性による測定用マイク２４を用いることによっては、単一指向性による測定用マイク４による測定を行う場合よりも、測定環境１での反響成分をより多く取り入れることができる。従って無指向性測定用マイク２４の測定結果に基づき得られた伝達関数omniＨの成分としては、より残響感を与えることができる成分であることになる。
そこで本実施の形態としては、通常の音場再現で用いる有指向性測定伝達関数Ｈに対し、適宜この無指向性測定伝達関数omniＨを加算して残響成分を増すことで、再現音声の残響感を増す方向での音質調整を行うものとする。
【００５２】
図１１は、このような無指向性測定伝達関数に基づく音質調整を行う場合での、音質調整系の構成について示した図である。
先ず、図示するようにして、無指向性測定伝達関数omniＨａ〜omniＨｐと、有指向性測定伝達関数Ｈａ〜Ｈｐとを、それぞれどの割合で加算するを設定するためのバランスパラメータ設定部２１ａ〜２１ｐ、バランスパラメータ設定部２２ａ〜２２ｐが設けられる。
バランスパラメータ設定部２１ａ〜２１ｐのそれぞれは、無指向性測定伝達関数omniＨａ〜omniＨｐのうち、同じ添え字の付された伝達関数omniＨを入力する。
また、バランスパラメータ設定部２２ａ〜２２ｐのそれぞれは、有指向性測定伝達関数Ｈａ〜Ｈｐのうち同じ添え字の付された伝達関数Ｈを入力する。
【００５３】
そして、これらバランスパラメータ設定部２１、２２におけるバランスパラメータの調整は、図示するコントローラ２５が、操作部２６からの操作入力に応じて行うようにされる。
ここでは図示の都合上、コントローラ２５と各バランスパラメータ設定部２１、各バランスパラメータ設定部２２とは、１つの制御線のみで接続されるものとして示しているが、コントローラ２５は、各バランスパラメータ設定部２１ａ〜２１ｐ、各バランスパラメータ設定部２２ａ〜２２ｐに対し、それぞれ独立してバランスパラメータの値を供給できるようにされている。
ユーザは、操作部２６を操作することにより、設定部に設定すべきバランスパラメータの値を独立して指示入力することができるようにされている。コントローラ２５はこの指示入力に基づき、各バランスパラメータ設定部２１、各バランスパラメータ設定部２２に設定されるべきバランスパラメータをそれぞれ供給する。
【００５４】
加算器２３は、測定時に第一閉曲面１０上に配置した測定用マイク４（測定用マイク２４）と同数の２３ａ〜２３ｐが設けられ、これら加算器２３ａ〜２３ｐは、それぞれ同じ添え字の付されたバランスパラメータ設定部２１、バランスパラメータ設定部２２の出力を入力し、それらを加算するようにされる。
これにより、例えば加算器２３ａにおいては、バランスパラメータ設定部２１ａでバランスパラメータが与えられた無指向性測定伝達関数omniＨａと、バランスパラメータ設定部２２ａでバランスパラメータが与えられた有指向性測定伝達関数Ｈａとが合成された、合成伝達関数coefＨａが得られる。同様に、加算器２３ｂにおいては、バランスパラメータ設定部２１ｂでバランスパラメータが与えられた無指向性測定伝達関数omniＨｂと、バランスパラメータ設定部２２ｂでバランスパラメータが与えられた有指向性測定伝達関数Ｈｂとが合成された、合成伝達関数coefＨｂが得られる。
同様に、他の加算器２３ｃ〜２３ｐで得られる合成伝達関数coefＨについては、合成伝達関数coefＨｃ〜coefＨｐと呼ぶ。
【００５５】
上記構成により、ユーザは有指向性測定伝達関数Ｈと無指向性測定伝達関数omniＨについて、それぞれを加算する割合を調整することができる。これによれば、有指向性測定伝達関数Ｈについての割合を少なくし、無指向性測定伝達関数omniＨについての割合を多く設定することで、残響感を増す方向に音質を調整することのできる合成伝達関数coefＨを得ることができる。また、逆の設定を行うことで、残響感を少なくする方向に音質を調整することのできる合成伝達関数coefＨを得ることができる。
【００５６】
図１２は、このような調整系の構成を備えて無指向性測定伝達関数に基づく音質調整を行う場合に対応した再現信号生成装置２８の構成を示している。なお、この場合としても再現用スピーカ８ａ〜８ｐは、再現環境１１における第一閉曲面１０上に配置されているものとする。
先ず、この場合の再現信号生成装置２８には、先の図１１に示した接続形態によるバランスパラメータ設定部２１ａ〜２１ｐ、バランスパラメータ設定部２２ａ〜２２ｐ、加算器２３ａ〜２３ｐとしての、coefＨ生成部２７が備えられる。また、この場合も図１１に示したコントローラ２５と操作部２６とが備えられている。
【００５７】
メモリ部２９は、コントローラ２５が備えるＲＯＭやＲＡＭ、ハードディスクなどの記憶装置を包括的に示している。先の図１、及び図１０にて説明した手法による測定に基づき得られた有指向性測定伝達関数Ｈａ〜Ｈｐ、及び無指向性測定伝達関数omniＨａ〜omniＨｐは、予めこのメモリ部２９内に格納するようにされる。
この場合のコントローラ２５は、メモリ部２９内に格納された無指向性測定伝達関数omniＨａ〜omniＨｐを、coefＨ生成部２７内の同じ添え字の付されるバランスパラメータ設定部２１にそれぞれ供給する。また、有指向性測定伝達関数Ｈａ〜Ｈｐについては、同じ添え字の付されるバランスパラメータ設定部２２に対しそれぞれ供給する。
そしてこの場合もコントローラ２５は、操作部２６からの操作入力に応じて、coefＨ生成部２７内の各バランスパラメータ設定部２１、各バランスパラメータ設定部２２に設定されるべきバランスパラメータを供給する。
この場合、操作部２６には、各バランスパラメータ設定部２１及び各バランスパラメータ設定部２２対応につまみ操作子（例えばスライド操作子など）などパラメータ設定のための操作子が設けられ、ユーザはこれらを操作することで各バランスパラメータ設定部２１及び各バランスパラメータ設定部２２対応に、それぞれ設定すべきバランスパラメータの値を指示することができるようにされる。
或いは、各バランスパラメータの調整は、図示されない表示ディスプレイの画面上に表示した操作パネルを用いて行うことも可能であり、その場合操作部２６はマウスなどの操作子とされ、例えばユーザは画面上のカーソルをマウス操作によって上記操作パネル上に移動させ、この操作パネル上に設けられたパラメータ調整のためのつまみ操作子アイコンをドラッグ操作するなどして、各バランスパラメータ設定部２１及び各バランスパラメータ設定部２２対応にそれぞれ設定すべきバランスパラメータの値を指示することができるようにされる。
【００５８】
coefＨ生成部２７にて生成された合成伝達関数coefＨａ〜coefＨｐは、図示するようにして音声再生部６からの音声信号Ｓをそれぞれ入力する演算部７ａ〜７ｐのうちの対応するものに供給され、それぞれ設定される。つまり、演算部７ａに対しては合成伝達関数coefＨａが、また演算部７ｂに対しては合成伝達関数coefＨｂが、また演算部７ｐには合成伝達関数coefＨｐが設定されるというように、演算部７に対してはそれぞれ同じ添え字の付される合成伝達関数coefＨがcoefＨ生成部２７から供給され設定される。
そして、この場合も各演算部７（ａ〜ｐ）は、設定された伝達関数に基づき音声信号Ｓに対する演算処理を施し、その結果得られた再現信号をそれぞれ同じ添え字の付される再現用スピーカ８に供給するようにされる。
【００５９】
このような構成により、ユーザ操作に基づく割合で足し合わされた有指向性測定伝達関数Ｈと無指向性測定伝達関数omniＨとによる合成伝達関数coefＨに基づく再現信号を得ることができる。つまり、これによって再現用スピーカ８から出力される再現信号によって再現される音場について、ユーザは再生音声の残響感についての調整を行うことができる。
【００６０】
ここで確認のために述べておくと、この場合での音質（残響感）調整は、測定環境１において実測したインパルス応答に基づき行うものであるので、測定環境１に特有の残響感を増す（或いは減らす）ように調整を行うことができる。つまり、この点において、従来のデジタルエコーやデジタルリバーブ方式のような擬似的に残響を作り出す手法での調整を行う場合とは異なるものである。
【００６１】
２−２．音声遅延時間及び音声レベルの情報を用いた調整
上記のようにして無指向性測定伝達関数omniＨを合成した伝達関数を用いることによっては、残響感についての調整を行うことができるが、この無指向性測定伝達関数omniＨの成分の割合を多く設定して残響感を増す方向の調整を行った場合には、仮想音像位置の定位感が不明確になる可能性もある。
そこで、この点を考慮し、本実施の形態では、有指向性測定伝達関数Ｈに対して合成する伝達関数として、残響成分を含まない直接音に対応する成分についても調整可能とし、これによって音像位置の定位感をより明確にする（音像をよりシャープにする）方向にも調整ができるようにする。
【００６２】
ここで、仮想音像の定位感は、測定環境１における測定用スピーカ３の配置位置から、第一閉曲面１０上のそれぞれの測定用マイクに直接的に入力される音声（直接音）の成分によってもたらされるので、再生音声に対し畳み込む伝達関数の成分としてこの直接音の成分を増すことで、音像をよりシャープにすることができる。
このような各測定用マイクまでの直接音に対応する伝達関数は、測定用スピーカ３から発音され各測定用マイクに直接的に到達する音声についての遅延時間とその音声レベル（波形エネルギー）とによって表すことができる。ここでは、このような各測定用マイクまでの直接音に対応する伝達関数としての、各測定用マイクに直接的に到達する音声の遅延時間とそのレベルとの情報を、有指向性測定伝達関数Ｈａ〜Ｈｐよりそれぞれ抽出するものとする。
その手法を次の図１３、図１４を用いて説明する。
【００６３】
先ず図１３（ａ）では、有指向性測定伝達関数Ｈとしてのインパルス応答の波形成分を模式的に示している。この図１３（ａ）に示されるような各有指向性測定伝達関数Ｈの成分から、図１３（ｂ）に示されるようにして、音声遅延時間と音声レベルとの情報を抽出する。
ここでは、有指向性測定伝達関数Ｈａ〜Ｈｐのそれぞれから抽出した、それぞれの音声遅延時間・音声レベルの情報を、遅延ドライ系伝達関数dryＨａ〜dryＨｐと呼ぶ。
【００６４】
ここで、このような音声遅延時間と音声レベルの情報との抽出の手法としては、次の図１４に示されるようにして行う。
図１４（ａ）では、或る有指向性測定伝達関数Ｈとしての、インパルス応答の波形成分を模式的に示し、図１４（ｂ）ではこのインパルス応答に基づいて抽出される遅延ドライ系伝達関数dryＨの波形成分を模式的に示している。
この場合、先ずは図１４（ａ）に示されるように有指向性測定伝達関数Ｈとしてのインパルス応答について、その波形の立ち上がり地点Ｔ１を検出する。そして、この検出された波形立ち上がり地点Ｔ１から、別途設定されたプリディレイ分だけ時間的に前方にシフトさせた位置を求め、この位置を図１４（ｂ）に示される遅延ドライ系伝達関数dryＨの波形立ち上がり位置に設定する。
その上で、図１４（ａ）において、上記検出された波形立ち上がり地点Ｔ１を起点としたエネルギー換算窓ＥＷ（図では矩形）を設定し、この窓内でのエネルギー値を求め、次いで図１４（ｂ）において、このエネルギー値に対する一定比例量を先の遅延ドライ系伝達関数dryＨの波形立ち上がり位置の波形振幅値として設定する（図中エネルギー比例量）。
このような手法により、各遅延ドライ系伝達関数dryＨ（ａ〜ｐ）としては、各有指向性測定伝達関数Ｈ（ａ〜ｐ）から直接音についての音声遅延時間と音声レベルの情報とを抽出した成分を得ることができる。
なお、このようにしてインパルス応答から音声遅延時間と音声レベルの情報とを得るための手法については、先に本出願人が提案した「特願２００５−６７４１３」にも記載されているので、詳しくはそちらを参照されたい。
【００６５】
なお、上記手法では、遅延ドライ系伝達関数dryＨの波形成分の立ち上がりタイミングは別途設定したプリディレイ分だけシフトさせたタイミングとしたが、このようなプリディレイの期間は設けずに有指向性測定伝達関数Ｈとしてのインパルス応答波形の立ち上がり地点Ｔ１をそのまま波形立ち上がりタイミングとすることもできる。
但し、このようなプリディレイを設けて、その期間を可変設定できるように構成すれば、音質調整の幅が広がり好ましいものとなる。その場合、プリディレイの期間長は、例えば比較的短い０ms〜２０ms程度の範囲内で可変設定できるようにすればよい。
【００６６】
図１５は、このような遅延ドライ系伝達関数dryＨを用いて音質調整を行う場合に対応した調整系の構成を示している。
先ずこの場合も、無指向性測定伝達関数omniＨａ〜omniＨｐを入力して、個々のバランスパラメータを設定するためのバランスパラメータ設定部２１ａ〜２１ｐが設けられる。また、同様に有指向性測定伝達関数Ｈａ〜Ｈｐを入力して個々のバランスパラメータを設定するためのバランスパラメータ設定部２２ａ〜２２ｐが設けられる。
但しこの場合、バランスパラメータ設定部２２ａ〜２２ｐに入力される有指向性測定伝達関数Ｈａ〜Ｈｐは、図示する波形エネルギー算出及び空間ディレイ検出部３１に対しても分岐して供給される。
【００６７】
この波形エネルギー算出及び空間ディレイ検出部３１は、先の図１４に示した手法により各有指向性測定伝達関数Ｈａ〜Ｈｐからそれぞれ音声遅延時間・音声レベルの情報成分を抽出し、遅延ドライ系伝達関数dryＨａ〜dryＨｐを生成する。
そして、この場合は、これら遅延ドライ系伝達関数dryＨａ〜dryＨｐを入力して、個々のバランスパラメータを設定するためのバランスパラメータ設定部３２ａ〜３２ｐが設けられる。これらバランスパラメータ設定部３２ａ〜３２ｐには、それぞれ同じ添え字が付された遅延ドライ系伝達関数dryＨａ〜dryＨｐのうち、それぞれ同じ添え字が付された遅延ドライ系伝達関数dryＨが入力される。各バランスパラメータ設定部３２では、入力された遅延ドライ系伝達関数dryＨに対し、図示するコントローラ２５から供給されるバランスパラメータとしての係数を与える。
【００６８】
この場合のコントローラ２５は、操作部２６からの操作入力に応じて、各バランスパラメータ設定部３２ａ〜３２ｐに設定すべきバランスパラメータの値を個別に供給することができるようにされる。
つまりこの場合、操作部２６とコントローラ２５とによっては、ユーザが、これらバランスパラメータ設定部３２ａ〜３２ｐに設定すべきバランスパラメータの値を個別に調整できるようにされている。そのためには、例えば先の図１２にて説明した操作部２６に対し、さらに各バランスパラメータ設定部３２に設定すべきバランスパラメータの値を調整するためのつまみ操作子などが追加されればよい。或いは、先にも述べたように表示画面上に表示した操作パネルによる操作を可能とする場合には、この操作パネル上にこれらバランスパラメータ設定部３２に設定すべきバランスパラメータの値を個別に調整するための操作つまみアイコンを追加表示して行えばよい。
なお、ここでも図示の都合上、コントローラ２５と各バランスパラメータ設定部２１、２２、３２とは、１つの制御線のみで接続されるものとして示しているが、これらバランスパラメータ設定部２１、２２、３２の個々に対しては、この場合もそれぞれ独立してバランスパラメータの値を供給できるようにされている。
【００６９】
加算器３３ａ〜加算器３３ｐは、バランスパラメータ設定部２１ａ〜２１ｐ、バランスパラメータ設定部２２ａ〜２２ｐ、バランスパラメータ設定部３２ａ〜３２ｐから出力される無指向性測定伝達関数omniＨａ〜omniＨｐ、有指向性測定伝達関数Ｈａ〜Ｈｐ、遅延ドライ系伝達関数dryＨａ〜dryＨｐについて、それぞれ同じ添え字の付される無指向性測定伝達関数omniＨ、有指向性測定伝達関数Ｈ、遅延ドライ系伝達関数dryＨを入力・加算する。
これによって例えば加算器３３ａにおいては、バランスパラメータ設定部２１ａでバランスパラメータが与えられた無指向性測定伝達関数omniＨａと、バランスパラメータ設定部２２ａでバランスパラメータが与えられた有指向性測定伝達関数Ｈａと、さらにバランスパラメータ設定部３３ａにてバランスパラメータが与えられた遅延ドライ系伝達関数dryＨａとが合成された、合成伝達関数coefＨａが得られる。同様に、加算器３３ｂにおいては、バランスパラメータ設定部２１ｂでバランスパラメータが与えられた無指向性測定伝達関数omniＨｂと、バランスパラメータ設定部２２ｂでバランスパラメータが与えられた有指向性測定伝達関数Ｈｂと、さらにバランスパラメータ設定部３３ｂにてバランスパラメータが与えられた遅延ドライ系伝達関数dryＨｂとが合成された、合成伝達関数coefＨｂが得られる。
同様に、他の加算器３３ｃ〜３３ｐで得られる合成伝達関数coefＨについては、合成伝達関数coefＨｃ〜coefＨｐと呼ぶ。
【００７０】
上記構成により、この場合は合成伝達関数coefＨａ〜coefＨｐとして、さらに遅延ドライ系伝達関数dryＨａ〜dryＨｐを足し合わせることができる。また、これと共に、このように足し合わせる遅延ドライ系伝達関数dryＨａ〜dryＨｐの割合についても調整することができる。
これによれば、無指向性測定伝達関数omniＨについての割合を調整することで残響感についての調整が可能となると共に、さらにこのような遅延ドライ系伝達関数dryＨの割合の調整による音像の定位感についての調整も行うことができる。
なお、図１５にも示されているように、このようにして遅延ドライ系伝達関数dryＨを用いた音質調整を行う場合に対応した、合成伝達関数coefＨ生成のための波形エネルギー算出及び空間ディレイ検出部３１、バランスパラメータ設定部２１ａ〜２１ｐ、バランスパラメータ設定部２２ａ〜２２ｐ、バランスパラメータ設定部３２ａ〜３２ｐ、及び加算器３３ａ〜３３ｐの構成については、coefＨ生成部３０と呼ぶ。
【００７１】
ここで、図示は省略するが、このような遅延ドライ系伝達関数dryＨを用いた音質調整を行う場合に対応した再現信号生成装置の構成としては、基本的には先の図１２に示した構成において備えていたcoefＨ生成部２７に代えて、図１５に示したcoefＨ生成部３０を設ければよい。但し、先にも述べたように、この場合のコントローラ２５と操作部２６としては、coefＨ生成部３０内の各バランスパラメータ設定部３２に設定されるべきバランスパラメータの値を個別に設定できるように構成されることになる。
なお、確認のために述べておくと、図１５にも示されているように、遅延ドライ系伝達関数dryＨは、有指向性測定伝達関数Ｈに基づき生成されるので、この場合の再現信号生成装置におけるコントローラ２５としても、coefＨ生成部３０に対して、メモリ部２９内に格納された有指向性測定伝達関数Ｈａ〜Ｈｐと無指向性測定伝達関数omniＨａ〜omniＨｐのみを供給するように構成されていればよいことになる。
つまりは、遅延ドライ系伝達関数dryＨとしては、有指向性測定伝達関数Ｈに基づき装置側で自動的に生成されるので、この場合の測定環境１における測定としても、有指向性測定伝達関数Ｈと無指向性測定伝達関数omniＨとについてのみ行えばよいものである。
【００７２】
ここで確認のために、次の図１６には音質調整のイメージを示しておく。
図示するように有指向性測定伝達関数Ｈの成分を増加させることによっては、通常方式（単一指向性の測定用マイク４により測定した通常の伝達関数を用いた方式）でのボリュームがアップするように調整することができる。
また、無指向性測定伝達関数omniＨの成分を増加させることによっては、先にも説明したように残響成分を増加させる方向に調整を行うことができる。さらには、遅延ドライ系伝達関数dryＨの成分を増加させることによっては、音像定位感を明確化して音像をシャープ化するように調整することができる。
【００７３】
図１７は、実際の調整として想定される各バランスパラメータの設定例について示している。
例えば図１７（ａ）に示されるように、再現環境１１において再現する仮想音像の位置が１つの側のみである場合などには、この仮想音像の位置（図中Position1）に近い側（前方側）では遅延ドライ系伝達関数dryＨ成分増加領域として音像の定位感を明確化し、逆に仮想音像の位置からは遠い側（後方側）となる領域は無指向性測定伝達関数omniＨ増加領域として、ホールなどでの残響感を多く響かせるといった調整を行うことが考えられる。
図１７（ｂ）は、この場合に対応した各バランスパラメータの設定例を示している。この場合、有指向性測定伝達関数Ｈの成分は全ての領域でフラットとすればよく、図示するように再現用スピーカ８ａ〜８ｐのすべてについて（つまり図１５に示したバランスパラメータ設定部２２ａ〜２２ｐのすべてについて）例えばバランスパラメータ’１’を設定すればよい。
また、無指向性測定伝達関数omniＨの成分としては、後方側の領域における再現用スピーカ８（例えば８ｆ〜８ｌ）、つまりバランスパラメータ設定部２１ｆ〜２１ｌについて、最も後方側に位置する再現用スピーカ８ｉ（バランスパラメータ設定部２１ｉ）でのバランスパラメータの値を最も高く（この場合は’２’に）設定し、この再現用スピーカ８ｉから領域両端の再現用スピーカ８ｆ、再現用スピーカ８ｌにかけて徐々にバランスパラメータの値を低くしていくように設定する。それ以外の領域（バランスパラメータ設定部２１ｍ〜２１ｅ）について設定すべきバランスパラメータの値としては、図示するように例えば’０’を設定する。
さらに、遅延ドライ系伝達関数dryＨの成分としては、上記した前方側の再現用スピーカ８（例えば８ｏ〜８ｃまで）については、最も前方側となる再現用スピーカ８ａについて最も高い値（例えば’２’）によるバランスパラメータを設定し、この再現用スピーカ８ａから領域両側となる再現用スピーカ８ｏ、再現用スピーカ８ｃにかけて徐々にバランスパラメータの値を低くしていくように設定する。すなわち、バランスパラメータ設定部３２ａのバランスパラメータを’２’とし、このバランスパラメータ設定部３２ａからバランスパラメータ設定部３２ｏ、バランスパラメータ設定部３２ｃのそれぞれにかけては、設定する値を徐々に低くなるようにする。そして、他の領域（再現用スピーカ８ｄ〜再現用スピーカ８ｎ、つまりバランスパラメータ設定部３２ｄ〜３２ｎ）については、バランスパラメータの値として’０’を設定する。
【００７４】
ここで、先の図１５にて説明したようにして、ここでは各バランスパラメータ設定部２１ａ〜２１ｐ、各バランスパラメータ設定部２２ａ〜２２ｐ、各バランスパラメータ設定部３２ａ〜３２ｐに対し、個別にバランスパラメータの値を供給できるように構成したことで、上記のようにして有指向性測定伝達関数Ｈ、無指向性測定伝達関数omniＨ、遅延ドライ系伝達関数dryＨごとの、さらに各再現用スピーカ８ａ〜８ｐの配置位置ごとにそれぞれのバランスパラメータの値を調整することができる。
なお、このように各再現用スピーカ８の配置位置ごとに個別にバランスパラメータの値を調整できるように構成する以外にも、単に有指向性測定伝達関数Ｈ、無指向性測定伝達関数omniＨ、遅延ドライ系伝達関数dryＨごとにバランスパラメータの値の調整ができるように構成することもできる。つまり、この場合のコントローラ２５としては、バランスパラメータ設定部２１ａ〜２１ｐ、バランスパラメータ設定部２２ａ〜２２ｐ、バランスパラメータ設定部３２ａ〜３２ｐの区切りで、バランスパラメータを供給するように構成されるものである。
【００７５】
なお、ここでは仮想音像位置としてPosition1のみを想定した場合に対応する構成を説明したが、例えば複数のPositionに対応する場合としては、先の図４にて説明したものと同様の手法により、各Positionごとに、有指向性測定伝達関数Ｈａ〜Ｈｐ及び無指向性測定伝達関数omniＨａ〜omniＨｐについて測定を行う。そして、再現信号生成装置としては、このように測定された各Positionごとの有指向性測定伝達関数Ｈ（ａ〜ｐ）、無指向性測定伝達関数omniＨａ〜omniＨｐに基づき、各Positionごとに合成伝達関数coefＨａ〜coefＨｐを生成するように構成されればよい。
なお、このようにして複数のPositionに対応するとした場合の再現信号生成装置の構成については後述する。
また、この場合としても、第二閉曲面１４への適応も可能である。なお、この場合の再現信号生成装置の構成についても後述する。
【００７６】
また、ここでは、音質調整にあたって通常の音場再現に用いる有指向性測定伝達関数Ｈに足し合わせる伝達関数として、無指向性測定伝達関数、及び遅延ドライ系伝達関数dryＨを用いる場合を例示したが、他の伝達関数を足し合わせて音質調整を行うことも考えられる。
例えば、測定環境１において第一閉曲面１０上に同様に配置した双指向性マイク（ａ〜ｐ）での測定結果に基づく伝達関数を有指向性測定伝達関数Ｈに足し合わせれば、再現音場における再生音声として、残響感や音像の定位感についての調整を行うことができる。
つまりこの場合、有指向性測定伝達関数Ｈに対しては、この有指向性測定伝達関数Ｈと同様に第一閉曲面１０のそれぞれの測定用マイクの配置位置対応で求めた別の伝達関数を足し合わせることで、再生音場での再生音声についての音質調整を行うことができ、従って音質調整のために通常の伝達関数Ｈに足し合わせる上記別の伝達関数（補助伝達関数）としては、無指向性測定伝達関数omniＨ、遅延ドライ系伝達関数dryＨに限定されるものではない。
なお、確認のために述べておくと、遅延ドライ系伝達関数dryＨａ〜dryＨｐとしては、有指向性測定伝達関数Ｈａ〜Ｈｐのそれぞれから求めたものであるので、第一閉曲面１０上のそれぞれの測定用マイクの配置位置対応に求めた伝達関数であることに変わりはない。
【００７７】
＜３．追加構成例＞
３−１．音源の指向方向の再現
ここで、これまでで説明した音場再現の手法では、測定環境１において測定用信号を出力する測定用スピーカ３としては無指向性のものとし、これによってある１点から空間全体へ音の放出が可能となるようにして、測定空間の広さや壁、床、天井の材質、幾何学構造等を要因とする響きを表現するための情報（測定環境１の空間情報）を測定するようにされていた。
しかしながら実際において、測定用スピーカ３の配置位置に仮想音像として再現しようとする音源としては、指向性を有するものも想定できる。このような場合において、上記のように無指向性による測定用スピーカ３を用いてインパルス応答の測定を行った結果に基づき音場再現を行ったのでは、音源の指向性までは再現しきれないことになる。
【００７８】
そこで、本実施の形態としては、測定環境１において測定用信号を出力する測定用スピーカとして、有指向性のスピーカを用い、これを所要の方向に向けてインパルス応答を測定した結果に基づき、音場を再現する。
図１８、図１９は、この場合の音場再現として、先ずは音源の特定の指向方向を再現する場合における測定環境１での測定の様子を模式的に示している。
これら図１８、図１９からわかるように、この場合としても、有指向性測定伝達関数Ｈと、無指向性測定伝達関数omniＨとの双方についての測定を行うようにされる。
先ず図１８では、有指向性測定伝達関数Ｈについての測定の様子を示している。
この場合も測定環境１では、第一閉曲面１０上においてそれぞれ外向きに測定用マイク４ａ〜４ｐを配置する。その上でこの場合は、有指向性の測定用スピーカとして、単一指向性の測定用スピーカ３５を、図示するように或る特定の方向に向けた状態で測定用信号ＴＳＰの出力を行い、以降はこれまでと同様に測定用マイク４ａ〜４ｐまでに対応したインパルス応答の測定を行って伝達関数Ｈを求める。
ここで、図１８において測定用スピーカ３５が向けられた方向はDirection2とし、また測定用スピーカ３５の配置位置はPosition1とする。
そして、このDirection2に向けた状態で上記のようにして各測定用マイク４ａ〜４ｐごとに得られた伝達関数Ｈは、測定用マイク４ａ、４ｂ、４ｃ・・・４ｐの順に、それぞれ伝達関数Ｈａ-dir2、Ｈｂ-dir2、Ｈｃ-dir2・・・Ｈｐ-dir2と表す。
【００７９】
また、図１９では無指向性測定伝達関数omniＨについての測定の様子を示しているが、この場合としても無指向性測定伝達関数omniＨの測定は、有指向性測定伝達関数Ｈの測定の場合（図１８の場合）と同様の配置関係で無指向性測定用マイク２４ａ〜２４ｐを配置して行う。すなわち、この場合もPosition1に配置した測定用スピーカ３５をDirection2に向けた状態で測定用信号ＴＳＰを出力し、これを第一閉曲面１０上のそれぞれの無指向性測定用マイク２４ａ〜２４ｐで測定した結果に基づき、無指向性測定伝達関数omniＨを求める。
このようにしてDirection2に向けた状態で各測定用マイク２４ａ〜２４ｐごとに得られた無指向性測定伝達関数omniＨについては、測定用マイク２４ａ、２４ｂ、２４ｃ・・・２４ｐの順に、それぞれ無指向性測定伝達関数omniＨａ-dir2、omniＨｂ-dir2、omniＨｃ-dir2・・・omniＨｐ-dir2と表す。
【００８０】
図２０は、このようにして得られた有指向性測定伝達関数Ｈ、無指向性測定伝達関数omniＨに基づき、再現環境１１にて測定環境１の音場を再現する様子を模式的に示している。
先ず、この図に示される合成伝達関数coefＨａ-dir2〜coefＨｐ−dir2は、図１８、図１９の測定によりそれぞれ得られた有指向性測定伝達関数Ｈａ-dir2〜Ｈｐ-dir2と無指向性測定伝達関数omniＨａ-dir2〜Ｈｐ-dir2と、さらに上記有指向性測定伝達関数Ｈａ-dir2〜Ｈｐ-dir2のそれぞれから抽出した遅延ドライ系伝達関数dryＨａ-dir2〜dryＨｐ-dir2とについて、それぞれ同じ添え字（ａ〜ｐ）のものを足し合わせて生成したものである。
またこの場合、音源としては、図示するライン収録音源（Player1）３６を想定している。このライン収録音源３６とは、対象とするPlayerから直接的に収録した音源であり、例えばボーカルではマイクによって検出した電気信号を取り込んだものであり、またギターやキーボードなどの電気楽器では音声出力端子からの電気信号を直接的に取り込んだものとなる。
確認のために述べておくと、ここで言う「Player」とは、再現しようとする仮想音像位置（Position）の１つ１つに対応するものであり、先の図６にも示したように、例えばボーカル、ドラム、ギター、キーボードなどの各演奏者の別に対応するものとなる。ここでは、Player1はボーカルであるとして、その仮想音像を破線により示している。
【００８１】
そして、図示するようにこの場合も再現環境１１においては、第一閉曲面１０上に、測定環境１での測定用マイク４ａ〜４ｐ（つまり測定用マイク２４ａ〜２４ｐ）と同様の位置関係により再現用スピーカ８ａ〜８ｐが配置される。
そして、ライン収録音源３６からのライン収録データとしての音声信号を、上述のようにして音源の指向方向が加味された合成伝達関数coefＨａ-dir2、coefＨｂ-dir2、coefＨｃ-dir2・・・coefＨｐ-dir2の各々に基づき演算処理し、それらを対応する再現用スピーカ８からそれぞれ出力する。
これにより、第一閉曲面１０内における聴取者は、測定環境１におけるPosition1の仮想音像位置において、Player1が図中の矢印により示した指向方向に向けて放音しているものとして知覚することができる。すなわち、これにより再現環境１１において、測定環境１におけるPosition1の仮想音像位置から特定の指向方向に向けて放音した場合の音場を再現することができる。
なお、この場合の各スピーカ８a〜８ｐが出力すべき再現信号を生成する再現信号生成装置の構成としては、先の図１２に示した構成について、メモリ部２９に有指向性測定伝達関数Ｈａ-dir2〜Ｈｐ-dir2と無指向性測定伝達関数omniＨａ〜omniＨｐを格納し、さらにcoefＨ生成部２７に代え図１５に示したcoefＨ生成部３０を設けるようにすればよい。これによって演算部７ａ〜７ｐには、上記のように指向方向を加味した合成伝達関数coefＨａ-dir2〜coefＨｐ-dir2が設定されるようになる。
【００８２】
３−２．演奏形態のシミュレート
このようにして、特定の指向方向を表現できれば、例えばボーカルやギターなどのPlayerが演奏中に振り返る、また楽器を回すなどの演奏形態のシミュレートを行うことができる。以下、その手法について説明する。
図２１は、このようにして演奏形態のシミュレートを実現するにあたっての測定環境１の様子を模式的に示した図である。
なお、以下の説明においても、測定環境１での測定は有指向性測定伝達関数Ｈと共に無指向性測定伝達関数omniＨについても行うものである。これらの測定の違いは、第一閉曲面１０上に配置する測定用マイクが単一指向性の測定用マイク４であるか無指向性の測定用マイク２４であるかの違いだけであるので、以下では有指向性測定伝達関数Ｈについての測定の様子のみを示し、無指向性測定伝達関数Ｈについての測定については図示は省略する。
【００８３】
先ずこの場合は、仮想音像位置を中心として各方向に測定用スピーカ３５を向けてインパルス応答の測定を行う。ここでは、測定用スピーカ３５として指向性６０°のスピーカを用いて、音源の指向方向として６つの方向（Direction1、Direction2・・・Direction6）を定義する。
そして、図示するように第一閉曲面１０上に配置された各測定用マイク４ａ〜４ｐにより、測定用スピーカ３５を各Directionに向けたときのインパルス応答を測定し、測定用スピーカ３５→各測定用マイク４に対応した伝達関数Ｈを各Directionごとに得る。
このとき、Direction１としたときの各測定用マイク４ａ〜４ｐまでの伝達関数Ｈは、「Ｈａ-dir1、Ｈｂ-dir1・・・Ｈｐ-dir1」と表す。同様にDirection2、Direction3、Direction4、Direction5、Direction6としたときの各測定用マイク４ａ〜４ｐまでの伝達関数は、それぞれ「Ｈａ-dir2、Ｈｂ-dir2・・・Ｈｐ-dir2」、「Ｈａ-dir3、Ｈｂ-dir3・・・Ｈｐ-dir3」、「Ｈａ-dir4、Ｈｂ-dir4・・・Ｈｐ-dir4」、「Ｈａ-dir5、Ｈｂ-dir5・・・Ｈｐ-dir5」、「Ｈａ-dir6、Ｈｂ-dir6・・・Ｈｐ-dir6」と表す。
【００８４】
また、上記もしたように図示は省略するが、無指向性測定伝達関数omniＨについては、Direction１としたときの各測定用マイク２４ａ〜２４ｐまでの伝達関数omniＨは、「omniＨａ-dir1、omniＨｂ-dir1・・・omniＨｐ-dir1」と表す。同様にDirection2、Direction3、Direction4、Direction5、Direction6としたときの各測定用マイク２４ａ〜２４ｐまでの伝達関数omniＨは、それぞれ「omniＨａ-dir2、omniＨｂ-dir2・・・omniＨｐ-dir2」、「omniＨａ-dir3、omniＨｂ-dir3・・・omniＨｐ-dir3」、「omniＨａ-dir4、omniＨｂ-dir4・・・omniＨｐ-dir4」、「omniＨａ-dir5、omniＨｂ-dir5・・・omniＨｐ-dir5」、「omniＨａ-dir6、omniＨｂ-dir6・・・omniＨｐ-dir6」と表す。
【００８５】
また、上記のように各Directionごとの有指向性測定伝達関数Ｈが得られることで、この場合もそれぞれから遅延ドライ系伝達関数dryＨを抽出することで、各Directionごとの遅延ドライ系伝達関数dryＨを得ることができる。
上記に倣い、Direction１としたときの各測定用マイク４ａ〜４ｐまでに対応した遅延ドライ系伝達関数dryＨは、「dryＨａ-dir1、dryＨｂ-dir1・・・dryＨｐ-dir1」と表す。同様にDirection2、Direction3、Direction4、Direction5、Direction6としたときの各測定用マイク４ａ〜４ｐまでに対応した伝達関数dryＨは、それぞれ「dryＨａ-dir2、dryＨｂ-dir2・・・dryＨｐ-dir2」、「dryＨａ-dir3、dryＨｂ-dir3・・・dryＨｐ-dir3」、「dryＨａ-dir4、dryＨｂ-dir4・・・dryＨｐ-dir4」、「dryＨａ-dir5、dryＨｂ-dir5・・・dryＨｐ-dir5」、「dryＨａ-dir6、dryＨｂ-dir6・・・dryＨｐ-dir6」と表す。
【００８６】
このようにして各Directionごとの有指向性測定伝達関数Ｈ、無指向性測定伝達関数omniＨ、遅延ドライ系伝達関数dryＨが得られることで、各Directionごとの合成伝達関数coefＨを得ることができる。
つまり、Direction1に対応しては、合成伝達関数coefＨａ-dir1、coefＨｂ-dir1・・・coefＨｐ-dir1」が得られる。同様にDirection2、Direction3、Direction4、Direction5、Direction6に対応しては、それぞれ「coefＨａ-dir2、coefＨｂ-dir2・・・coefＨｐ-dir2」、「coefＨａ-dir3、coefＨｂ-dir3・・・coefＨｐ-dir3」、「coefＨａ-dir4、coefＨｂ-dir4・・・coefＨｐ-dir4」、「coefＨａ-dir5、coefＨｂ-dir5・・・coefＨｐ-dir5」、「coefＨａ-dir6、coefＨｂ-dir6・・・coefＨｐ-dir6」が得られる。
このことに応じ、入力音声信号に対する演算処理を、時間経過と共に異なるDirectionによる合成伝達関数coefＨに変更しながら行うことで、音源から発せられる音声の指向方向が順次異なるようにすることができる。例えば、演算処理に用いる合成伝達関数coefＨを順次Direction1→Direction2→Direction3・・・→Direction6に対応するものに変更してくことで、仮想音像位置におけるPlayerがDirection1→Direction2→Direction3・・・→Direction6の方向に回転しながら発音している状態を再現することができる。
【００８７】
図２２は、このような指向方向の制御を行う場合の再現信号生成装置３７の構成を示している。
なお、この図では、先の図４〜図６にて説明したようにして測定環境１における複数のPosition（Position1〜Position4）を再現する場合に対応した構成を示す。
このようにPositionを複数想定したとき、伝達関数Ｈ、伝達関数omniＨは、各Positionに配置した測定用スピーカ３５（３５−１〜３５−４）について、先の図２１にて説明したものと同様の手法によりインパルス応答の測定を行った結果に基づき求めることができる。
【００８８】
図２２において、先ずこの場合の再現信号生成装置３７としては、このように複数のPosition（１〜４）に対応するものとしたことから、先の図５に示したものと同様に、各Positionごとの音声再生部（６−１〜６−４）と、各Positionごとの演算部とが設けられる。
この場合も各Position（各Player）に対応した音声再生部は、Position1から順に音声再生部６−１、６−２、６−３、６−４として示している。また、各Positionごとの演算部については、Position1から順に演算部４６ａ−１〜４６ｐ−１、４６ａ−２〜４６ｐ−２、４６ａ−３〜４６ｐ−３、４６ａ−４〜４６ｐ−４とする。
さらに、この場合としても再現用スピーカ８ａ〜８ｐと１対１の関係により設けられる加算器４７ａ〜加算器４７ｐが備えられる。これら加算器４７ａ〜４７ｐは、演算部４６ａ−１〜４６ｐ−１、演算部４６ａ−２〜４６ｐ−２、演算部４６ａ−３〜４６ｐ−３、演算部４６ａ−４〜４６ｐ−４のうち、対応する添え字（アルファベット）の付された演算部４６からの出力を入力し、それらを加算して対応する再現用スピーカ８に供給する。これにより各再現用スピーカ８からは、各Positionの音像位置を表現する再現信号を出力することができる。
【００８９】
その上でこの場合には、上記のようにして各Directionごとに求められる合成伝達関数を逐次変更設定して指向方向を制御するための構成として、coefＨ生成部３０−１、３０−２、３０−３、３０−４、コントローラ４０、メモリ部３８、操作部３９が設けられる。
【００９０】
先ず、メモリ部３８内には、予め測定環境１における測定の結果得られた、各Positionごと、及び各Directionごとの伝達関数の情報として、有指向性測定伝達関数ＨについてのDirection・伝達関数Ｈ対応情報３８ａ、無指向性測定伝達関数omniＨについてはDirection・伝達関数omniＨ対応情報３８ｂが格納される。
図２３は、メモリ部３８内に格納される上記Direction・伝達関数Ｈ対応情報３８ａのデータ構造を示し、図２４は、Direction・伝達関数omniＨ対応情報３８ｂのデータ構造を示している。
これらの図に示されるように、この場合は各Positionごとに、測定用スピーカ３５をそれぞれのDirectionに向けたときの伝達関数Ｈ、伝達関数omniＨの情報がそれぞれ格納される。
図２３では、各測定用マイク４ａ〜４ｐまでに対応した伝達関数Ｈａ〜Ｈｐについて、その直後に付す数字によりPositionの別を表している。さらに、その後に付す「-dir」の数字により各Directionを表している。例えば、Position１の測定用スピーカ２１をDirection2の方向に向けたときの、測定用マイク４ａへの伝達関数Ｈは、「Ｈａ１-dir2」と表し、またPosition3の測定用スピーカ２１をDirection6の方向に向けたときの、測定用マイク４ｂへの伝達関数Ｈは「Ｈｂ３-dir6」と表すといったものである。
また、図２４では伝達関数omniＨａ〜omniＨｐについて、同様にその直後に付す数字によりPositionの別を表し、さらにその後に付す「-dir」の数字により各Directionを表している。
【００９１】
また、図２２において、coefＨ生成部３０−１、３０−２、３０−３、３０−４は、それぞれ図１５に示したcoefＨ生成部３０と同様の構成とされる。この場合、coefＨ生成部３０−１はコントローラ４０によってメモリ部３８内から読み出されたPosition1（Player1）についての伝達関数Ｈと伝達関数omniＨが供給されて、Player1についての合成伝達関数coefＨを生成するようにされる。また、coefＨ生成部３０−２としては、コントローラ４０によってメモリ部３８内から読み出されたPosition2についての伝達関数Ｈと伝達関数omniＨが供給されて、Player2についての合成伝達関数coefＨを生成するようにされる。さらに、coefＨ生成部３０−３、３０−４は、コントローラ４０によってメモリ部３８内から読み出されたPosition3、Position4についての伝達関数Ｈと伝達関数omniＨが供給されて、それぞれPlayer3、Player4についての合成伝達関数coefＨを生成するようにされる。
coefＨ生成部３０−１により生成されたPlayer1についての合成伝達関数coefＨａ〜coefＨｐは、Player1についての再生信号Ｓ１が供給される演算部４６ａ−１〜４６ｐ−１のうち、同じ添え字の付される演算部４６に対し供給されて設定される。
同様にcoefＨ生成部３０−２により生成されたPlayer2についての合成伝達関数coefＨａ〜coefＨｐは、Player2についての再生信号Ｓ２が供給される演算部４６ａ−２〜４６ｐ−２のうち同じ添え字の付される演算部４６に対し供給されて設定される。さらにcoefＨ生成部３０−３により生成されたPlayer3についての合成伝達関数coefＨａ〜coefＨｐは再生信号Ｓ３が供給される演算部４６ａ−３〜４６ｐ−３のうち同じ添え字の付される演算部４６に対し供給されて設定され、またcoefＨ生成部３０−４により生成されたPlayer4についての合成伝達関数coefＨａ〜coefＨｐは再生信号Ｓ４が供給される演算部４６ａ−４〜４６ｐ−４のうち同じ添え字の付される演算部４６に対し供給されて設定される。
【００９２】
そしてこの場合のコントローラ４０は、上記coefＨ生成部３０−１、３０−２、３０−３、３０−４にそれぞれ供給する伝達関数Ｈと伝達関数omniＨについて、メモリ部３８内に格納される各Directionごとの伝達関数Ｈと伝達関数omniＨのうちから選択的に供給することで、各演算部４６に設定される合成伝達関数coefＨが可変設定されるようにし、これによって各Positionから発せられる音声の指向方向を制御する。
例えば、Position1についての指向方向をDirection1→Direction2→Direction3方向に回転させるとした場合には、メモリ部３８内に格納されるPosition1についての伝達関数Ｈ、伝達関数omniＨのうちから、伝達関数Ｈａ１-dir1〜Ｈｐ１-dir1→Ｈａ１-dir2〜Ｈｐ１-dir2→Ｈａ１-dir3〜Ｈｐ１-dir3、及び伝達関数omniＨａ１-dir1〜omniＨｐ１-dir1→omniＨａ１-dir2〜omniＨｐ１-dir2→omniＨａ１-dir3〜omniＨｐ１-dir3を順次読み出し、これらをcoefＨ生成部３０−１に対し順次供給する。これによってcoefＨ生成部３０−１からは、合成伝達関数coefＨとしてcoefＨａ１-dir1〜coefＨｐ１-dir1→coefＨａ１-dir2〜coefＨｐ１-dir2→coefＨａ１-dir3〜Ｈｐ１-dir3が順次出力され、これが演算部４６ａ−１〜４６ｐ−１に対して順次設定される。これによりPosition1についての指向方向は、時間経過と共に順にDirection1→Direction2→Direction3へと回転させることができる。
また、例えばPosition4についての指向方向をDirection4→Direction3→Direction2方向に回転させるとした場合には、メモリ部３８内に格納されるPosition4についての伝達関数Ｈ、伝達関数omniＨのうちから、伝達関数Ｈａ４-dir4〜Ｈｐ４-dir4→Ｈａ４-dir3〜Ｈｐ４-dir3→Ｈａ４-dir2〜Ｈｐ４-dir2、及び伝達関数omniＨａ４-dir4〜omniＨｐ４-dir4→omniＨａ４-dir3〜omniＨｐ４-dir3→omniＨａ４-dir2〜omniＨｐ４-dir2を順次読み出し、これらをcoefＨ生成部３０−４に対し順次供給する。これによってcoefＨ生成部３０−４からは、合成伝達関数coefＨとしてcoefＨａ４-dir4〜coefＨｐ４-dir4→coefＨａ４-dir3〜coefＨｐ４-dir3→coefＨａ４-dir2〜Ｈｐ４-dir2が順次出力され、これが演算部４６ａ−４〜４６ｐ−４に対して順次設定される。これによりPosition4についての指向方向は、時間経過と共に順にDirection4→Direction3→Direction2へと回転させることができる。
【００９３】
ここで、よりスムーズな回転を表現するにあたっては、変更するDirectionの間隔を可能な限り短くすることが必要となる。このためには、さらに細かいDirectionの区切りを定義してより多くのDirectionについて伝達関数Ｈ及び伝達関数omniＨを求めておくことが考えられる。
しかし、これは測定回数の増加を招き現実的ではないので、実際に回転を表現するにあたっては、隣接するDirection同士の伝達関数Ｈ及び伝達関数omniＨを補間してさらに細かい区切りによるDirectionごとの伝達関数Ｈ及び伝達関数omniＨを生成し、これらを時間経過に応じて順次変更設定していくようにする。これによれば、比較的少ないDirectionを定義した場合にもスムーズな回転を表現することができる。
【００９４】
また、この場合のコントローラ４０及び操作部３９によっても、先の図１５にて説明したコントローラ２５と操作部２６とによるものと同様に、各coefＨ生成部３０における各バランスパラメータ設定部（２１ａ〜２１ｐ、２２ａ〜２２ｐ、３２ａ〜３２ｐ）に対しては、個別にバランスパラメータの値を可変設定できるように構成される。これによって、この場合は各Playerごとの、さらに各再現用スピーカ８ａ〜８ｐの配置位置ごとに、伝達関数Ｈ／伝達関数omniＨ／遅延ドライ系伝達関数dryＨの成分の調整を行うことができる。
なお、この場合の操作部３９としては、Playerが４つに増えたことに応じて、その分のつまみ操作子を増やすようにされればよい。或いはコントローラ４０は、画面上に表示する操作パネル上の操作つまみアイコンの表示数を増やせばよい。
【００９５】
なお、ここでは、コントローラ４０に対して指向方向の変化態様を指示するための構成については説明しなかったが、このような指向方向の変化態様の指示は、例えば操作部３９に別途操作子を追加してユーザ操作に基づいて行うことや、音声信号の再生時間軸上のどのタイミングでどのDirectionを設定すべきかを指示するための指示情報を予め与えておくことにより行うことができる。
また、このことは、指向方向制御の対象とする音源（Position）の指定についても同様となる。
【００９６】
ちなみに、この図２２に示す構成において、音源の指向方向制御を行わないとした場合（つまり単に音場調整を行う場合において複数のPositionに対応させる場合）の構成としては、メモリ部３８内には、無指向性の測定用スピーカ３を各Positionに配置したときの測定結果に基づく、各Positionごとの伝達関数Ｈ及び伝達関数omniＨを格納しておき、コントローラ４０は、これらの伝達関数Ｈ及び伝達関数omniＨのうち、Position1の伝達関数Ｈ及び伝達関数omniＨについてはcoefＨ生成部３０−１、Position2の伝達関数Ｈ及び伝達関数omniＨについてはcoefＨ生成部３０−２、Position3の伝達関数Ｈ及び伝達関数omniＨについてはcoefＨ生成部３０−３、Position4の伝達関数Ｈ及び伝達関数omniＨについてはcoefＨ生成部３０−４にそれぞれ供給するように構成すればよい。
【００９７】
３−３．ステレオエフェクタの再現
ところで、これまでの説明においては、入力音声信号がモノラル音声信号であることを前提としたが、入力音声信号としてはステレオ音声信号である場合もあり得る。例えば、エレキギターなどの電気楽器としては、その出力音声自体はモノラルであるが、これを演出加工するいわゆるエフェクタを通した場合、モノラル信号が加工されてステレオ信号として出力される場合がある。
このようなエフェクタによる演出効果をそのまま再現したいとした場合には、１つの仮想音像位置につき、Ｒｃｈ（チャンネル）とＬｃｈとの２つの音源を再現することが考えられる。ここでは、このようなＲｃｈとＬｃｈとの再現を、これまでで説明した音源の指向方向の概念を利用して行う例を挙げる。
【００９８】
図２５は、このように１つの仮想音像位置につきＲｃｈとＬｃｈとの２つの音源を再現する場合での、測定環境１の様子を模式的に示している。
ここで、それぞれの音源がＲｃｈとＬｃｈに基づくものであれば、これらの音源に対応する指向方向としては逆とするか、或いは少なくとも同方向とならないようにすればよい。そこでこの場合としては、図示するようにＲｃｈ音源の指向方向についてはDirection6を定義し、Ｌｃｈ音源の指向方向についてはDirection2を定義する。
そして、これに対応して、この場合の測定としては、Ｒｃｈ音源に対応したDirection6方向に測定用スピーカ３５を向けたときの各測定用マイク４（各測定用マイク２４）へのインパルス応答と、Ｌｃｈ音源に対応したDirection2方向に測定用スピーカ２１を向けたときの各測定用マイク４（各測定用マイク２４）へのインパルス応答を測定し、これによってＲｃｈ音源、Ｌｃｈ音源に対応したそれぞれの伝達関数Ｈ及び伝達関数omniＨを求めるようにする。
この場合も、測定用スピーカ３５の配置位置をPosition1であるとすると、上記のようにDirection6に向けたときに各マイク４ごとに得られる伝達関数Ｈは「Ｈａ１-dir6、Ｈｂ１-dir6・・・Ｈｐ１-dir6」と示す。同様に、Direction2に向けたときに各マイク４ごとに得られる伝達関数Ｈは「Ｈａ１-dir2、Ｈｂ１-dir2・・・Ｈｐ１-dir2」と示す。
また、Direction6に向けたときに各マイク２４ごとに得られる伝達関数omniＨは「omniＨａ１-dir6、omniＨｂ１-dir6・・・omniＨｐ１-dir6」と示す。同様に、Direction2に向けたときに各マイク２４ごとに得られる伝達関数omniＨは「omniＨａ１-dir2、omniＨｂ１-dir2・・・omniＨｐ１-dir2」と示す。
【００９９】
図２６は、このように１つの仮想音像位置につきＲｃｈとＬｃｈとの２つの音源を再現する場合に、再現環境１１において各再現用スピーカ８ａ〜８ｐから出力すべき再現信号を生成するための再現信号生成装置５０の構成を示している。
音声再生部６からの再生信号Ｓは、ステレオエフェクト処理部５１に入力される。このステレオエフェクト処理部５１は、入力されるモノラル音声信号に対し、いわゆるフランジャーやデジタルディレイなどといったデジタルエフェクト処理を施してＲｃｈ、Ｌｃｈによるステレオ音声信号を生成する。
なお、ここではステレオエフェクタを内蔵する構成を示しているが、外部のエフェクタにおいてステレオエフェクト処理されて得られたＲｃｈ音声信号とＬｃｈ音声信号とを直接入力する構成とすることもできる。
【０１００】
演算部５１ａ−Ｌ、５１ｂ−Ｌ・・・５１ｐ−Ｌは、それぞれ入力されるＬｃｈ音声信号に対し設定された伝達関数Ｈに基づく演算処理を行う。同様に、演算部５１ａ−Ｒ、５１ｂ−Ｒ・・・５１ｐ−Ｒとしては、それぞれ入力されるＲｃｈ音声信号に対し、設定された合成伝達関数coefＨに基づく演算処理を行う。
【０１０１】
これら演算部５１ａ−Ｌ、５１ｂ−Ｌ・・・５１ｐ−Ｌ、及び演算部５１ａ−Ｒ、５１ｂ−Ｒ・・・５１ｐ−Ｒのそれぞれに設定される合成伝達関数coefＨは、図示するcoefＨ生成部３０−Ｌ、coefＨ生成部３０−Ｒによって生成される。これらcoefＨ生成部３０−Ｌ、coefＨ生成部３０−Ｒとしても、その構成は図１５に示したcoefＨ生成部３０と同様である。この場合も各演算部に対して設定されるべき合成伝達関数coefＨは、これらcoefＨ生成部３０に対し、図示するコントローラ５３が対応する伝達関数Ｈ及び伝達関数omniＨを供給することで生成できる。
【０１０２】
この場合、コントローラ５３が備えるメモリ部５５には、先に説明した測定環境１での測定結果に基づき得られた、Direction2に対応した伝達関数Ｈａ１-dir2〜Ｈｐ-dir2及び伝達関数omniＨａ-dir2〜omniＨｐ-dir2と、Direction6に対応した伝達関数Ｈａ１-dir6〜Ｈｐ-dir6及び伝達関数omniＨａ-dir6〜omniＨｐ-dir6とが格納される。コントローラ５３は、メモリ部５５に格納される伝達関数Ｈａ１-dir2〜Ｈｐ-dir2及び伝達関数omniＨａ-dir2〜omniＨｐ-dir2を読み出してこれをＬｃｈに対応するcoefＨ生成部３０−Ｌに供給する。これによってcoefＨ生成部３０−Ｌからは、Direction2に対応した合成伝達関数coefＨ（coefＨａ１-dir2〜coefＨｐ-dir2）が生成され、これらが演算部５１ａ−Ｌ〜５１ｐ−Ｌのうちの同一の添え字（ａ〜ｐ）が付される演算部５１に対してそれぞれ供給されて設定される。
また、コントローラ５３は、メモリ部５５に格納された伝達関数Ｈａ１-dir6〜Ｈｐ-dir6及び伝達関数omniＨａ-dir6〜omniＨｐ-dir6を読み出してこれをＲｃｈに対応するcoefＨ生成部３０−Ｒに供給する。これによってcoefＨ生成部３０−ＲからはDirection6に対応した合成伝達関数coefＨ（coefＨａ１-dir6〜coefＨｐ-dir6）が生成され、これらが演算部５１ａ−Ｒ〜５１ｐ−Ｒのうちの同一の添え字が付される演算部５１に対してそれぞれ供給されて設定される。
これによって演算部５１ａ−Ｌ、５１ｂ−Ｌ・・・５１ｐ−Ｌにおいては、Direction2の指向方向を有するＬｃｈ音源を再現するために各再現用スピーカ８から出力すべき再現信号が得られる。
同様に、演算部５１ａ−Ｒ、５１ｂ−Ｒ・・・５１ｐ−Ｒでは、Direction6の指向方向を有するＲｃｈ音源を再現するために各再現用スピーカ８から出力すべき再現信号が得られる。
【０１０３】
なお、この場合のコントローラ５３としても、coefＨ生成部３０−Ｌ及びcoefＨ生成部３０−Ｒ内の各バランスパラメータ設定部（２１ａ〜２１ｐ、２２ａ〜２２ｐ、３２ａ〜３２ｐ）に対し、それぞれ個別にバランスパラメータの値を可変設定できるように構成される。この場合も操作部５４は、これら個別のバランスパラメータの調整のために設けられる。
【０１０４】
加算器５２ａ〜５２ｐは、それぞれ演算部５１ａ−Ｌ〜５１ｐ−Ｌ、演算部５１ａ−Ｒ〜５１ｐ−Ｒのうち、同じ添え字の付された演算部５１からの再現信号を入力・加算して、その結果を同じく同一の添え字の付された再現用スピーカ８に供給する。
このようにして、Ｌｃｈ音源の指向方向を再現するための再現信号と、Ｒｃｈ音源の指向方向を再現するための再現信号とがそれぞれ加算されて対応する再現用スピーカ８から出力される。これにより、これら再現用スピーカ８が配置された再現環境１１における第一閉曲面１０内において、Ｒｃｈ音源の指向方向とＬｃｈ音源の指向方向とを表現したかたちで測定環境１の音場を再現することができる。
【０１０５】
３−４．音源の指向性と指向方向ごとの放音特性の再現
ここで、ピアノやバイオリン、ドラムなどといった電気楽器ではないいわゆるアコースティック楽器としては、それぞれの楽器で多少なりともその指向性と指向方向ごとの放音特性が異なるものとなる。厳密に言えば、このような楽器（音源）ごとの指向性や指向方向ごとの放音特性が、ホール等の音響空間全体に対して個別に影響を与えてその音源の音響特性を形づくるものとなるので、よりリアルにその音源としての仮想音像を再現するとした場合には、その指向性と指向方向ごとの放音特性を考慮したかたちで音場再現を行うことが有効である。
【０１０６】
このように音源の指向性と指向方向ごとの放音特性を考慮したかたちで音場再現を行うとした場合の手法を、次の図２７〜図３０を参照して説明する。
図２７は、この場合の音源の収録の様子を模式的に示した図であり、図２７（ａ）ではその斜視図を、また図２７（ｂ）ではその上視図を示している。
この場合、先ずは所要の音源５６を或る平面上で円形状に囲う音源収録面ＳＲを定義する。そして、この音源収録面ＳＲ上において、音源５６を取り囲むようにして複数の収録用マイク５７（有指向性マイク）を配置する。この場合も各マイク５７に記した矢印の方向は指向性方向を示しており、これら矢印からわかるように各マイク５７は音源５６と向き合う方向に配置する。このように配置した複数の有指向性マイクごとに音源５６からの音声を収録することで、それぞれの収録音声には、音源５６の指向性と指向方向ごとの放音特性とを反映させることができる。
ここでは、音源収録面ＳＲ上においてそれぞれ指向性６０°の収録用マイク５７を６つ配置し、Direction1〜Direction6の６つのDirectionを定義する例を示している。図示するようにDirection1の収録用マイク５７は収録用マイク５７−１、Direction2の収録用マイク５７は収録用マイク５７−２というように、収録用マイク５７の符号はハイフン以下の数字により配置されるDirectionの別を示す。
このように音源５６を６方向から囲うことによって、この場合は音源５６についての指向方向として６つの方向が定義されたことになる。さらには、このように６方向に配置した各収録用マイク５７により音声を収録することで、これら各収録用マイク５７ごとの収録音声としては、音源５６の６つの指向方向ごとの放音特性をそれぞれ反映したものとすることができる。
【０１０７】
このことによれば、この場合に各収録用マイク５７で収録された音声を、それぞれのDirectionごとに外向きに放音すれば、音源５６の指向性と指向方向ごとの放音特性とを再現することができる。
つまり、図２７において各Directionごとに配置される各収録用マイク５７の位置に同じ指向性６０°の有指向性スピーカを外向きに配置し、これらのスピーカからそれぞれ対応する収録用マイク５７による収録音声を出力することで、音源５６の指向性と指向方向ごとの放音特性とを反映したかたちで音源５６を再現することができる。
なお、この場合において、各収録用マイク５７による音源５６の収録は、収録現場での空間情報が含まれないようにするために、なるべく音源５６に近接した状態（いわゆる「オン」の状態）で行われることが好ましい。
【０１０８】
このようにして、音源５６を囲うようにして各Directionから音声を収録し、同じDirectionの関係となるように配置した有指向性スピーカによってそれぞれの収録音声を出力することで、音源５６の指向性と指向方向ごとの放音特性を再現することができるが、本実施の形態としては、このような音源５６が配置された測定環境１としての音場を、別の環境である再現環境１１にて再現しようとするものである。
ここで、再現環境１１において測定環境１に配置された音源５６のDirection1〜Direction6の指向方向を表現するためには、先にも説明したように、これらDirectionごとに伝達関数Ｈ及び伝達関数omniＨ（つまり合成伝達関数coefＨ）を求めるようにすればよい。この場合には、音源５６からの収録音声は各Directionごとに存在するので、これら各Directionの収録音声を、各Directionについて求めた合成伝達関数coefＨのうちの同じDirectionの合成伝達関数coefＨにより畳み込むことで、各Directionごとの再現信号を得ることができる。
【０１０９】
なお、ここでは音源５６についての指向方向として６つを定義しているので、各Directionごとの伝達関数Ｈ・伝達関数omniＨを求める手法としては、この場合も先の図２１において説明したように、測定環境１における測定用スピーカ３５を各Direction（Direction1〜Direction6）に向けたときの、各測定用マイク４ａ〜４ｐ（２４ａ〜２４ｐ）までに対応したインパルス応答を測定して行えばよい。
すなわち、例えば音源５６の測定環境１での配置位置を仮にPosition1（Player1）とした場合、Direction1に対応した伝達関数Ｈついては、伝達関数Ｈａ１-dir1、Ｈｂ１-dir1・・・Ｈｐ１-dir1、Direction2については伝達関数Ｈａ１-dir2、Ｈｂ１-dir2・・・Ｈｐ１-dir2を求める。同様に、Direction3については伝達関数Ｈａ１-dir3、Ｈｂ１-dir3・・・Ｈｐ１-dir3、Direction4については伝達関数Ｈａ１-dir4、Ｈｂ１-dir4・・・Ｈｐ１-dir4、Direction5については伝達関数Ｈａ１-dir5、Ｈｂ１-dir5・・・Ｈｐ１-dir5、Direction6については伝達関数Ｈａ１-dir6、Ｈｂ１-dir6・・・Ｈｐ１-dir6を求めるといったものである。
【０１１０】
図２８は、音源の指向性と指向方向ごとの放音特性とを考慮した音場再現を行う場合に対応した、再現信号生成装置６０の構成を示している。
なお、この図においては便宜上、各演算部６１に設定されるべき合成伝達関数coefＨを生成するための構成については図示を省略するものとする。この場合もその構成は、図２２に示したもの（coefＨ生成部３０−１〜３０−４、コントローラ４０、メモリ部３８、操作部３９）とほぼ同様となる。
【０１１１】
但し、この場合は、対応するPosition数（Player数）が図２２の場合の４つから６つに増えたものとして捉えることができるので、図２８における演算部６１−１−１ａ〜６１−１−１ｐ、演算部６１−１−２ａ〜６１−１−２ｐ、演算部６１−１−３ａ〜６１−１−３ｐ、演算部６１−１−４ａ〜６１−１−４ｐ、演算部６１−１−５ａ〜６１−１−５ｐ、演算部６１−１−６ａ〜６１−１−６ｐに、それぞれ対応する合成伝達関数coefＨａ〜coefＨｐを供給するcoefＨ生成部３０としては、coefＨ生成部３０−１、３０−２、３０−３、３０−４に加え、さらにcoefＨ生成部３０−５、３０−６を設ける。
さらに、この場合のメモリ部３８には、Direction・伝達関数Ｈ対応情報３８ａ、Direction・伝達関数omniＨ対応情報３８ｂとして、先の図２３、図２４に示したもののうちのPosition1の各Directionについての伝達関数Ｈ、伝達関数omniＨとを格納しておけばよい。その上でこの場合のコントローラ４０としては、Direction1についての伝達関数Ｈ及び伝達関数omniＨをcoefＨ生成部３０−１、Direction2についての伝達関数Ｈ及び伝達関数omniＨをcoefＨ生成部３０−２、Direction3についての伝達関数Ｈ及び伝達関数omniＨをcoefＨ生成部３０−３、Direction4についての伝達関数Ｈ及び伝達関数omniＨをcoefＨ生成部３０−４、Direction5についての伝達関数Ｈ及び伝達関数omniＨをcoefＨ生成部３０−５、Direction6についての伝達関数Ｈ及び伝達関数omniＨをcoefＨ生成部３０−６に供給するように構成される。
【０１１２】
図２８において、この場合、音声再生部６にて再生する音声は、各Directionごとに収録した音声信号である。ここでは、Direction1に配置された収録用マイク５７−１て収録された音声を再生する音声再生部６を、音声再生部６−１−１とし、またDirection2に配置された収録用マイク５７−２て収録された音声を再生する音声再生部６を音声再生部６−１−２と示している。同様に、収録用マイク５７−３、５７−４、５７−５、５７−６で収録された音声信号を再生する音声再生部６を、音声再生部６−１−３、６−１−４、６−１−５、６−１−６と示している。
なお、この場合の音声再生部に付した符号について、１つ目のハイフン後の数字は、音源５６が仮にPosition1に配置されたPlayer1であると仮定した場合に対応させた数字であり、例えばPosition2に配置されたPlayer2である場合には「２」が付されるといったものである。また、このことは、以下で説明する各部の符号についても同様である。
【０１１３】
そして、これら各Directionごとに収録した音声信号を、各Directionごとに生成した合成伝達関数coefＨに基づきそれぞれ処理するための、演算部６１−１−１ａ〜６１−１−１ｐ、演算部６１−１−２ａ〜６１−１−２ｐ、演算部６１−１−３ａ〜６１−１−３ｐ、演算部６１−１−４ａ〜６１−１−４ｐ、演算部６１−１−５ａ〜６１−１−５ｐ、演算部６１−１−６ａ〜６１−１−６ｐが備えられる。
演算部６１−１−１ａ〜６１−１−１ｐには、測定用スピーカ３５をDirection1に向けたときの測定結果に応じた合成伝達関数coefＨ（coefＨａ１-dir1〜coefＨｐ１-dir1）が設定されており、各々は、音声再生部６−１−１から供給される音声信号を、設定された合成伝達関数coefＨに基づき処理する。これにより、先ずはDirection1の収録音声については、Direction1方向に放音されたものとして表現するために各再現用スピーカ８ａ〜８ｐから出力すべき再現信号を得ることができる。
また、演算部６１−１−２ａ〜６１−１−２ｐには、合成伝達関数coefＨａ１-dir2〜coefＨｐ１-dir2が設定され、各々音声再生部６−１−２から再生されるDirection2の収録音声信号について上記設定された合成伝達関数coefＨに基づき演算処理を行うことで、Direction2の収録音声がDirection2方向に放音されたものとして表現するために各再現用スピーカ８から出力すべき再現信号を得ることができる。
同様に、演算部６１−１−３ａ〜６１−１−３ｐ、演算部６１−１−４ａ〜６１−１−４ｐ、演算部６１−１−５ａ〜６１−１−５ｐ、演算部６１−１−６ａ〜６１−１−６ｐには、合成伝達関数coefＨａ１-dir3〜coefＨｐ１-dir3、合成伝達関数coefＨａ１-dir4〜coefＨｐ１-dir4、合成伝達関数coefＨａ１-dir5〜coefＨｐ１-dir5、合成伝達関数coefＨａ１-dir6〜coefＨｐ１-dir6が設定され、それぞれ音声再生部６−１−３、６−１−４、６−１−５、６−１−６からの音声信号を、設定された合成伝達関数coefＨに基づき処理する。これにより、演算部６１−１−３ａ〜６１−１−３ｐではDirection3の収録音声、演算部６１−１−４ａ〜６１−１−４ｐではDirection4の収録音声、演算部６１−１−５ａ〜６１−１−５ｐではDirection5の収録音声、演算部６１−１−６ａ〜６１−１−６ｐではDirection6の収録音声について、それぞれ各再現用スピーカ８ａ〜８ｐから出力すべき再現信号が得られる。
【０１１４】
加算器６２ａ、６２ｂ・・・６２ｐは、再現用スピーカ８ａ、８ｂ・・・８ｐと１対１の関係で設けられており、それぞれ対応する添え字の付された演算部６１からの再現信号を入力・加算して、その結果を同一の添え字の付された再現用スピーカ８に供給する。
これにより、上記のようにして各Directionごとに得られた、各再現用スピーカ８ごとに出力すべき再現信号は、再現用スピーカ８ごとに加算されて対応する再現用スピーカ８から出力されるものとなる。
【０１１５】
このような再現信号生成装置６０の構成により、例えばDirection1での収録音声は、測定環境１においてDirection1の指向方向で出力されたものとして再現でき、また同様にDirection2での収録音声は、測定環境１においてDirection2の指向方向で出力されたものとして再現環境１１において再現することができる。また、他のDirectionでの収録音声についても、同様にそれぞれ対応するDirectionの指向方向により出力されたものとして再現することができる。
この結果、再現環境１１の第一閉曲面１０内において、音源の指向性と指向方向ごとの放音特性とを反映したかたちで、よりリアルに測定環境１における仮想音像を再現することができる。
【０１１６】
なお、ここでは指向性６０°の収録用マイク５７を６つ用いることで６つのDirectionを定義したとしたことから、合成伝達関数coefＨとしては、先の図２１と同様の６つのDirectionの測定結果を用いる例を挙げたが、例えば指向性２０°の収録用マイク５７により１８のDirectionの指向方向を定義するなど異なる数の指向方向を定義した場合には、その定義した指向方向ごとに測定を行って伝達関数を求めるようにすればよい。或いは、実際に定義した全ての方向について伝達関数の測定を行わずとも、より少ない方向について測定を行って伝達関数を求めておき、それらのうち隣接するDirectionの伝達関数同士を補間することで、定義したDirectionに応じた伝達関数を求めるようにしてもよい。これによって測定回数を削減することができる。
【０１１７】
また、ここでは、音源からの音声収録は平面的で行う場合を例示したが、例えば次の図２９に示されるように、音源を立体的に囲んで音声収録を行うことも考えられる。
図２９においては、音源を円筒状に囲む例を示してる。
この場合の音源の収録は、図のように円筒を上段、中段、下段の円形平面により区切り、それぞれの円形平面上に複数の収録用マイク７１を配置して行う。
ここでは、上段、中段、下段の円形平面を、それぞれ円形平面７０−１、円形平面７０−２、円形平面７０−３と示している。そして、上段の円形平面７０−１の外周上に配置される収録用マイク７１を７１−１、中段の円形平面７０−２の外周上に配置される収録用マイク７１を７１−２、下段の円形平面７０−３の外周上に配置される収録用マイク７１を７１−３と表す。 この場合もそれぞれの円形平面上では、収録用マイク７１は指向性６０°のものを使用し、Direction1〜Direction６の６つのDirectionを定義する。この場合、各収録用マイク７１のDirectionは、２番目のハイフン後の数字によって表す。例えば、上段のDirection2に配置された収録用マイク７１は収録用マイク７１−１−２、下段のDirection6に配置された収録用マイク７１は７１−３−６と表すといったものである。
【０１１８】
このように音源を立体的に囲って各収録用マイク７１により音声収録を行った場合には、例えば音源が人間である場合を想定すると、衣服が擦れる音、手のアクションで生じる音や足音など、声以外にも複数の音源をその指向性・指向方向ごとの放音特性を含めて収録することが可能となる。
つまりは、図２９に示す収録用マイク７１と幾何学的に同等の配置位置で、同じ指向性６０°の再現用スピーカを外向きに配置し、それらから対応する収録用マイク７１で収録された音声を出力することで、円形平面７１−１〜７１−３で囲まれる空間内に収録対象となった人間が存在するように知覚させることができるものである。
【０１１９】
図３０は、このように立体的に囲んだ音源を再現環境１１にて再現するとしたときの、測定環境１の様子を模式的に示した図である。
先ず、この場合は立体的な再現を行うものとされることから、第一閉曲面１０としても、立体的な空間を想定する。この場合は、第一閉曲面１０としては直方体による空間を想定し、測定用マイクはこの直方体による第一閉曲面１０を覆う所要の位置において外向きとなるように配置する。このように立体的に配置された測定用マイクについては、図示するように７３ａ〜７３ｘと示す。なお、このことは、必ずしもこれまでの平面による第一閉曲面１０の場合と配置する測定用マイクの個数が異なることを意味するものではなく、測定用マイクとしてはａ〜ｐまでとすることもできる。
なお、先の説明では第一閉曲面１０は円形であるとしたが、ここでは便宜上、立体による閉曲面についても同一の符号を付した。
【０１２０】
そして、この場合の測定は、上記立体による第一閉曲面１０の外側において、円形平面７０−１、７０−２、７０−３を想定し、これら円形平面上に収録時と同じDirectionごとに測定用スピーカ７２を配置して行う。つまり、先の図２９に示した収録用マイク７１と幾何学的に同等となる配置関係により測定用スピーカ７２を配置して行う。
これら測定用スピーカ７２としても指向性６０°の有指向性スピーカを用いる。また、この場合としても各測定用スピーカ７２の符号は、最初のハイフン後の数字は配置される円形平面７０−１、７０−２、７０−３の別を示し、２番目のハイフン後の数字はDirection1からDirection6の別を表している。
その上で、各測定用スピーカ７２ごとに、図示は省略した測定用信号再生装置２からの測定用信号ＴＳＰの出力を行い、このとき第一閉曲面１０上に配置した各測定用マイク７３ａ〜７３ｘまでに対応して得られるインパルス応答（伝達関数Ｈ、伝達関数omniＨ）の測定を行う。
例えば、ここでは第一閉曲面１０上の測定用マイク７３はｘ個であり、また測定用スピーカ７２は６×３＝１８個であるので、合計で１８×ｘ個の伝達関数（Ｈ及びomniＨ）が得られることになる。
【０１２１】
図示は省略するが、この場合の再現環境１１においては、測定環境１において第一閉曲面１０を直方体として想定したことに応じて、同じ直方体による第一閉曲面１０を想定し、この場合も測定環境１において配置した測定用マイク７３と幾何学的に同等の配置関係により再現用スピーカ８ａ〜８ｘを配置する。
そして、これら再現用スピーカ８ａ〜８ｘにより出力すべき再現信号を生成するための再現信号生成装置の構成としては、基本的には先の図２８において説明した構成と同様となる。つまり、この場合も１つの円形平面７０について見れば、Direction1〜Direction6までの６つのDirectionについて、それぞれの収録音声を対応する合成伝達関数coefＨで畳み込んで各再現用スピーカ８から出力すべき再現信号を得ることに変わりはないので、そのための構成（つまり６つの音声再生部６と６セットの演算部６１（１ａ〜１ｐ、２ａ〜２ｐ・・・６ａ〜６ｐ））をさらに２つ増やしたものとして捉えることができる。
但し、この場合は測定用マイク７３をａ〜ｘまでとしたので、測定用スピーカ７２ごとに得られる合成伝達関数coefＨは、coefＨａ〜coefＨｘまでとなる。つまり、各収録音声ごとに設けられる１セットの演算部６１としては、それぞれcoefＨａ〜coefＨｘを設定したものを設けることになる。同様に、再現用スピーカ８としてもａ〜ｘまでとなるので、加算器６２としても各再現用スピーカ８対応にａ〜ｘまで設けることになる。この場合も各加算器６２は、同一の添え字の付された演算部６１からの再現信号を入力・加算し、その結果を同一の添え字の付された再現用スピーカ８に供給するように構成する。
【０１２２】
このような構成により、各再現用スピーカ８からは、各収録用マイク７１による収録音声が各円形平面７０−１、７０−２、７０−３における各Directionごとに向けて放音されたものとして再現することのできる再現信号が出力される。
これによって、再現用スピーカ８が配置された再現環境１１における第一閉曲面１０内の聴取者は、測定環境１における仮想音像位置としての円筒空間内に、この場合の収録対象としての人間が存在するものとして感じることができるようになる。換言すれば、再現環境１１の第一閉曲面１０内において、測定環境１の仮想音像位置としての円筒空間内に収録対象としての人間が居るように再現することができる。
【０１２３】
このような手法は、例えばアニメーションやＣＧなどのアフレコ（アフターレコーディング）の手法として採用して好適である。つまりは、声優を収録対象としてこれを円筒状に囲って収録を行うことで、声の他にも衣服の擦れる音や足音などの音声も含めた収録を行っておく。そして、用いる伝達関数としては、例えばそのシーンにおいてキャラクターが存在する位置とそれを取り囲む空間との関係に応じる等して、測定環境１の選定、さらにその中での仮想音像位置と第一閉曲面１０との配置関係を選定して測定する。
これにより再現環境１１において、想定した空間内の想定した仮想音像位置としての円筒空間内に、そのキャラクターが存在するかのように再現することができる。
【０１２４】
なお、ここでは音源を立体的に囲む例として円筒状に囲む例を示したが、例えば球形に囲むようにすることもできる。つまり、この場合は音源を囲む球面上において、任意に定義したDirectionごとに収録用マイク７１を配置して音声収録を行う。
この際、測定環境１においては、同等の球面上に各収録用マイク７１の配置位置と幾何学的に同等となる位置に測定用スピーカ７２を配置して同様のインパルス応答の測定を行えばよい。
また、再現信号生成装置の構成としては、収録用マイク７１と測定用マイク７３（つまり測定用スピーカ７２と再現用スピーカ８）とについての配置数を同じとした場合は、先に説明したものと同様の構成となる。
【０１２５】
また、ここでは測定用スピーカ７２を複数配置してインパルス応答の測定を行う場合を例示したが、測定環境１でのインパルス応答の測定は実際に測定用スピーカ７２を複数配置しなくとも、１つの測定用スピーカ７２を順次各円形平面７０の外周上の各位置で各Directionに向けて行うことも可能である。
なお、この場合も隣接するDirectionでの伝達関数を補間することで、測定回数を減らすことも可能である。
【０１２６】
３−５．アンビエンスデータの追加
ここで、ライブなどのイベントでの臨場感をよりリアルに再現するにあたっては、観客の声援や拍手などの、その会場で生じる演奏音以外の音（アンビエンス）を付加することが有効である。ここでは、このようなアンビエンスを追加してより臨場感のある音場再現を行う場合の手法について説明する。
【０１２７】
図３１は、このようなアンビエンスについて収録する場合の測定環境１の様子を模式的に示している。
先ず、この場合は、第一閉曲面１０上において、インパルス応答の測定を行ったときと同数・同位置に収録用マイク８４ａ〜８４ｐを配置する。これら収録用マイク８４ａ〜８４ｐとしても、有指向性マイクを使用する。
なお、同じ測定環境１の第一閉曲面１０上の同位置に配置するマイクとして、この収録用マイク８４と測定用マイク４とでは異なる符号を付しているが、同一のマイクを使用するものとしてもよい。
【０１２８】
その上で、図示するようにして第一閉曲面１０外の所要位置に、複数のエキストラとしての人物を複数配置して、歓声や拍手などのアンビエンスとしての所定の音声を発しさせ、各収録用マイク８４によりその音声の収録を行う。これによって、各収録用マイク８４ａ〜８４ｐでは、測定環境１の空間情報を含んだかたちでアンビエンスの収録を行うことができる。ここでは、各収録用マイク８４ａ、８４ｂ・・８４ｐでそれぞれ得られたアンビエンスの収録音声信号は、アンビエンス−ａ、アンビエンス−ｂ・・・アンビエンス−ｐと呼ぶ。
【０１２９】
再現環境１１においては、第一閉曲面１０上に配置した再現用スピーカ８ａ、８ｂ・・・８ｐにより、アンビエンス−ａ、アンビエンス−ｂ・・・アンビエンス−ｐを音声出力することで、第一閉曲面１０の内側に居る聴取者は、測定環境１における第一閉曲面１０の外側に観客が居るものとして感じることができる。
【０１３０】
図３２は、このようなアンビエンスを付加する場合の再現信号生成装置８０の構成を示している。
なお、この図では、先の図２８に示した音源の指向性と指向方向ごとの放音特性とを考慮した音場再現を行う場合に対応させた再現信号生成装置の構成について示している。
この図に示されるようにして、測定環境１にて収録されたアンビエンス−ａ、アンビエンス−ｂ・・・アンビエンス−ｐについては、それぞれ再生部８１ａ、８１ｂ・・・８１ｐにより再生出力する。この場合は、各再現用スピーカ８ａ〜８ｐと１対１の関係で設けられた加算器６２ａ〜６２ｐの後段に対して、さらに加算器８２ａ〜８２ｐが設けられ、上記再生部８１ａ、８１ｂ・・・８１ｐは、これら加算器８２ａ、８２ｂ・・・８２ｐに対し、アンビエンス−ａ、アンビエンス−ｂ・・・アンビエンス−ｐを供給する。
【０１３１】
このようにしてアンビエンス−ａ、アンビエンス−ｂ・・・アンビエンス−ｐは、各再現用スピーカ８ａ、８ｂ・・・８ｐの再現信号の供給ラインに対して加算されて出力される。つまり、測定環境１において収録用マイク８４ａ、８４ｂ・・・８４ｐにより収録されたアンビエンス−ａ、アンビエンス−ｂ・・・アンビエンス−ｐは、再現環境１１における幾何学的に同等の位置に配置された再現用スピーカ８ａ、８ｂ・・・８ｐにより第一閉曲面１０内側にそれぞれ出力されるものとなる。
これにより、再現環境１１における第一閉曲面１０の内側に居る聴取者は、第一閉曲面１０の外側に測定環境１における観客が居るものとして感じることができ、よりリアルな臨場感を与えることができる。
【０１３２】
なお、ここではアンビエンスデータの追加を、先の図２８に示したような音源の指向性と指向方向ごとの放音特性とを考慮した音場再現を行う再現信号生成装置に適用した場合の構成を例示したが、このようなアンビエンスデータの追加は、先の図１２に示したような単に音質調整を行うとした場合の再現信号生成装置に対しても好適に適用できる。その場合としても各アンビエンス（ａ〜ｐ）は、各再現用スピーカ８ａ、８ｂ・・・８ｐの再現信号の供給ラインに対して加算されるようにすればよい。
【０１３３】
３−６．カメラ視点に応じた音場再現
これまでは、再現環境１１において主に音声のみを再生する場合について述べてきたが、例えば或るアーティストのライブイベントを収録したコンテンツとしては、ＡＶ（Audio and Video）コンテンツとすることも考えられる。つまり、これに応じて再現環境１１においては、ライブの収録音声とこれと同期した収録映像とを再生するといったものである。
ここで、ライブ映像を収録したＡＶコンテンツとしては、終始１つの視点（１アングル）のみで被写体（アーティスト）を捉えるのではなく、多数のアングルから捉えるようにされたものがある。このように複数のアングルから被写体を捉える映像がある場合においては、そのアングルごとに応じた音場再現を行うようにすることで、カメラアングルごとに応じた臨場感を与えることができる。
【０１３４】
図３３は、その手法について模式的に示した図である。
この図３３では、実際にライブなどのイベントが行われるホールとしての測定環境１の様子を示しており、図３３（ａ）は実際にライブが行われているときのカメラ８５による映像収録の様子を模式的に示し、図３３（ｂ）ではカメラアングルに応じた測定の様子について模式的に示している。なお、ここではステージ８６上のPlayerは複数居る場合を想定し、その位置を図示するPosition1〜Position4により示している。
例えば図３３（ａ）に示すようにカメラ８５がステージ８６上のアーティストを捉えた場合に対応しては、図２３（ｂ）に示す同じ測定環境１としてのホール内において、同じアングルでステージ８６を捉えるようにして配置した測定用マイク８８ａ〜８８ｘにより、ステージ８６上の各Positionごとでのインパルス応答の測定を行う。
図３３（ｂ）において、この場合の測定環境１における第一閉曲面１０としては、先の図３０と同様に立体空間を想定し、また図３０の場合と同様のａ〜ｘの測定用マイク８８を配置している。そして、このような第一閉曲面１０による立体空間をステージ８６に対して図３３（ａ）でのカメラアングルと同等の角度に傾けた状態となるようにして、それぞれのPositionごとに配置した測定用スピーカ８７（８７−１〜８７−４）ごとに出力した測定用信号ＴＳＰについて、各測定用マイク８８ごとのインパルス応答の測定を行う。
これによって、各測定用スピーカ８７から各測定用マイク８８までに対応したｘ×４個の伝達関数Ｈ及び伝達関数omniＨを求めるようにする。
【０１３５】
そして、再現環境１１における再現時には、そのアングルのシーンに対応させて、これらの伝達関数Ｈ及び伝達関数omniＨから生成した合成伝達関数coefＨを使用して再生音声信号を畳み込み、これによって得られた再現信号を、測定環境１において、測定用マイク８８ａ〜８８ｘと幾何学的に同等の位置関係となるように配置した再現用スピーカ８ａ〜８ｘにより出力すればよい。
これによって再現環境１１における上記再現用スピーカ８ａ〜８ｘで囲まれた第一閉曲面１０内の視聴者は、図３３に示したアングルでステージ８６上を捉えた映像が再生されるときに、同じアングルでステージ８６を見た場合での音場を感じることができるようになる。
【０１３６】
さらに、このような手法による音場再現を、想定される複数のカメラアングルについて行うことで、カメラアングルごとにそれぞれのアングルでステージ８６を見た場合での音場を知覚させるようにすることができる。
つまり、この場合には、想定される複数のアングルについて、図３３（ｂ）にて説明したものと同様の手法により伝達関数Ｈ・伝達関数omniＨについての測定を行っておき、カメラアングルと伝達関数Ｈとの対応情報、カメラアングルと伝達関数omniＨとの対応情報を作成しておく。
このとき、映像信号については、シーンごとのカメラアングルの情報を例えばメタデータなどとして埋め込んでおく。
そして、収録した映像と音声との再生時においては、上記映像信号中に埋め込まれたアングル情報に基づき、上記アングル・伝達関数Ｈの対応情報、上記アングル・伝達関数omniＨの対応情報のそれぞれから、該当する伝達関数Ｈ及び伝達関数omniＨを選択して合成伝達関数coefＨを生成し、これを随時演算部に対して設定して再生音声信号を演算処理して再現用スピーカ８ａ〜８ｘから出力する。これにより、映像中の複数のカメラアングルごとに、そのアングルでステージ８６を見た場合での音場を知覚させるようにすることができる。
このようなカメラアングルごとに応じた音場再現を行うことができれば、娯楽性を増すことができて好ましい。
【０１３７】
なお、ここではカメラアングルごとの伝達関数Ｈ及び伝達関数omniＨについての測定にあたり、第一閉曲面１０として立体を想定したが、これに代えて平面とすることもできる。
また、図３３（ｂ）では、測定用信号ＴＳＰを出力する測定用スピーカ、及び第一閉曲面１０上に配置される測定用マイクはそれぞれ測定用スピーカ８７、測定用マイク８８と符号を付したが、これらはそれぞれ測定用スピーカ３５、測定用マイク４（又は測定用マイク２４）と同等のものである。
【０１３８】
＜４．実施の形態としての音場再現システム＞
４−１．システム構成例
以上では、本実施の形態の音場再現システムとしての個々の機能を実現するための方法及び構成について説明してきたが、これらの機能を実現するための手法及び再現システム全体の構成について以下で説明する。
なお、ここでは説明の便宜上、先の図２７〜図３０にて説明したような音源の指向性と指向方向ごとの放音特性については考慮せず、また図２５〜図２６で説明したステレオエフェクタには対応しない場合の構成について説明する。これらにも対応するとした場合の追加構成については後述する。
また、ここでは、実際に音場の再現を行う再現環境としては家庭の部屋などとしての再現環境２０を想定し、第二閉曲面１４での音場再現を行う場合での構成について説明する。
さらにこの場合、仮想音像位置として提示するPlayer（Position）はPlayer1〜Player3の３つとし、また、各Positionでの音源の指向方向としては６つのDirectionを定義するものとする。
【０１３９】
先ず、前提として、本実施の形態の音場再現システムとしては、ライブ映像とその音声とを含むＡＶコンテンツ作成のために各種音声・映像の収録を行うと共に、仮想音像位置を再現するための伝達関数についての測定などを行う制作側と、実際に再現環境１１において音場を再現する側としてのユーザ側とに分けられる。
この場合、上記制作側は、収録した映像・音声、及び伝達関数などを所要のメディアに記録し、ユーザ側では、後述する再現信号生成装置により、そのメディアに記録された情報に基づいて音場再現が行われるものとする。
【０１４０】
図３４は、この場合の制作側において行われるべき作業工程と、これらの作業工程により得られた情報をメディア９８に対して記録するための記録装置９０の構成とについて示した図である。
先ず、この場合の記録装置９０は、図中の作業工程Ｓ１〜Ｓ５によって得られた情報からそれぞれアングル／Direction・伝達関数Ｈ対応情報、アングル／Direction・伝達関数omniＨ対応情報、再生環境・伝達関数対応情報、アンビエンスデータ、各Playerのライン収録データを生成する、アングル／Direction・伝達関数Ｈ対応情報生成部９１、アングル／Direction・伝達関数omniＨ対応情報生成部９２、再生環境・伝達関数対応情報生成部９３、アンビエンスデータ生成部９４、各Playerのライン収録データ生成部９５を備える。また、図中作業工程Ｓ６により得られる収録映像に対してアングル情報・Direction指示情報を追加するアングル情報・Direction指示情報追加部９６を備える。
さらには、これらアングル／Direction・伝達関数Ｈ対応情報生成部９１、アングル／Direction・伝達関数omniＨ対応情報生成部９２、再生環境・伝達関数対応情報生成部９３、アンビエンスデータ生成部９４、各Playerのライン収録データ生成部９５により得られた各データと、上記アングル情報・Direction指示情報追加部９６によりアングル情報・Direction指示情報が追加された映像データとを、例えば光ディスク記録媒体などとされるメディア９８に記録する記録部９７を備えている。
この記録装置９０としては、例えばパーソナルコンピュータにより実現される。
【０１４１】
図３４において、先ず作業工程Ｓ１では、アングル／Directionを変えながら各Positionごとに伝達関数Ｈについての測定を行う。これは、先の図２１〜図２４にて説明した仮想音像の指向性方向の制御と、図３３にて説明したカメラアングルに応じた音場再現を実現するために必要な作業となる。
この作業工程Ｓ１では、ホールなどの測定環境１において、仮想音像位置として想定する各Position（この場合はPosition1〜Position3の３位置）にそれぞれ有指向性の測定用スピーカ３５を配置すると共に、第一閉曲面１０上に所定数の測定用マイク８８（測定用マイク４）を所定の配置関係により配置する。
このとき、各測定用スピーカ３５からの測定用信号ＴＳＰの出力は、１つのPositionごとに、測定用スピーカ３５の向きをDirection1、Direction2・・・Direction6と変えながら行う。一方、各測定用マイク８８による上記測定用信号ＴＳＰの検出結果に基づくインパルス応答の測定は、想定されるカメラアングルの１つ１つに対応させて、先の図３３（ｂ）に示したように測定用マイク８８を配置した第一閉曲面１０の角度（アングル）を変化させながら行う。
これによって、各測定用マイク８８までに対応した伝達関数Ｈとしては、それぞれのPositionごとに、それぞれのDirection・アングルとしたときの複数が求められる。つまりこの場合、Position数×Direction数×想定したアングル数の分、各測定用マイク８８までに対応した伝達関数Ｈが得られる。
【０１４２】
なお、ここでは説明の便宜上、測定環境１の第一閉曲面１０上に配置する測定用マイク８８（測定用マイク４）の数は図３３で示したａ〜ｘではなく、ａ〜ｐまでであるとする。
また、この場合も測定用スピーカ３５は各Positionごとに１つずつ配置するものとしたが、１つの測定用スピーカ３５を順次各Positionに配置して測定用信号ＴＳＰの出力を行ってもよい。
【０１４３】
記録装置９０において、アングル／Direction・伝達関数Ｈ対応情報生成部９１は、このような作業工程Ｓ１により得られた各伝達関数Ｈの情報に基づき、次の図３６に示すようなアングル／Direction・伝達関数Ｈ対応情報を生成する。
つまり、この図３６に示されるようにして、仮想音像位置として想定した各Positionごとに、各アングル及び各Directionとしたときに各測定用マイク８８対応に得られた伝達関数Ｈの情報を格納したものである。
ここでも、伝達関数Ｈの添え字（ａ〜ｐ）は、測定用マイク８８ａ〜８８ｐの何れに対応するかを示している。また、この添え字に続く数字により、Positionの別を表している。さらに、続く「ang」の数字によりアングルの別を表し、最後の「dir」の数字によりDirectionの別を表している。
【０１４４】
また、図３４において、作業工程Ｓ２では、アングル／Directionを変えながら各Positionごとに伝達関数omniＨについての測定を行う。この作業工程Ｓ２としては、上記した作業工程Ｓ１とは測定用マイク８８として用いるマイクを無指向性測定用マイク２４とする以外は同等の測定を行う。これによってそれぞれのPositionごとに、それぞれのDirection・アングルとしたときの複数の伝達関数omniＨが得られる。
【０１４５】
記録装置９０のアングル／Direction・伝達関数omniＨ対応情報生成部９２は、この作業工程Ｓ２により得られた各伝達関数omniＨに基づき、図３７に示すようなアングル／Direction・伝達関数omniＨ対応情報を生成する。この場合も伝達関数omniＨの添え字（ａ〜ｐ）は、測定用マイク２４ａ〜２４ｐの何れに対応するかを示し、またこの添え字に続く数字によりPositionの別を示している。さらに続く「ang」の数字によりアングルの別を表し、最後の「dir」の数字によりDirectionの別を表している。
【０１４６】
また、図３４において、作業工程Ｓ３では、第二閉曲面１４の測定用マイク１３の個数／配置を変えながら、伝達関数Ｅについての測定を行う。
この作業工程Ｓ３では、先の図７にて示したようにして、再現環境１１における第一閉曲面１０上において、測定環境１での第一閉曲面１０で配置した各測定用マイク８８（４又は２４）と幾何学的に同じ配置関係が得られるようにして再現用スピーカ８を配置する。そして、この再現環境１１における第一閉曲面１０内において、実際の再現環境（再現環境２０）での再現用スピーカ１８の配置数・配置関係として想定したそれぞれの配置数・配置関係となるように、第二閉曲面１４上に配置する測定用マイク１３の配置数・配置関係を変えながら、各再現用スピーカ８ごとに出力した測定用信号ＴＳＰについてのインパルス応答の測定を行う。これによって、各配置数・配置関係のパターンごとに、各測定用マイク１３までに対応した伝達関数Ｅを求める。
なお、この作業工程Ｓ３としても、測定用マイク１３としては１つのみを用い、これを第二閉曲面１４上の想定される配置位置に順次配置してインパルス応答の測定を行うこともできる。
【０１４７】
再生環境・伝達関数対応情報生成部９３は、この作業工程Ｓ３により得られた測定用マイク１３の各配置数・配置関係ごとの伝達関数Ｅの情報を、それぞれの配置数・配置関係の情報と対応づけた再生環境・伝達関数対応情報を生成する。
【０１４８】
続いて、作業工程Ｓ４では、アンビエンス収録を行う。すなわち、先の図３１に示したように、測定環境１における第一閉曲面１０の外側にエキストラとしての人物を配置して、歓声や拍手などといったアンビエンスとしての所定の音声を発しさせる。この音声を、先の作業工程Ｓ１で第一閉曲面１０上に配置した各測定用スピーカ８８と同じ位置に配置した各収録用マイク８４により収録する。
つまり、先にも説明したように各アンビエンスはインパルス応答の測定時に配置した各測定用マイク８８の位置で収録する必要があるもので、従って上記収録用マイク８４としては測定用マイク８８と同数を用い、且つそれぞれの収録用マイク８４は、測定時に配置したそれぞれの測定用マイク８８と同じ位置に配置する必要がある。
この場合、測定用マイク８８としては、先にも述べたように測定用マイク８８ａ〜８８ｐを用いるので、収録用マイク８４としても収録用マイク８４ａ〜８４ｐを用いる。なお、測定用マイク８８と収録用マイク８４とはそれぞれ異なる符号を付しているが、同一のマイクを用いることもできる。
【０１４９】
アンビエンスデータ生成部９４は、この作業工程Ｓ４で収録した各アンビエンスの収録音声信号に基づき、アンビエンスデータを生成する。つまり、この場合は収録用マイク８４ａ〜８４ｐによりそれぞれ収録されたアンビエンス−ａ〜アンビエンス−ｐがそれぞれ個別のデータとして管理されたアンビエンスデータを生成する。
【０１５０】
作業工程Ｓ５では、各Playerのライン収録を行う。つまり、例えばPlayerが演奏する楽器が電気楽器であれば、電気的に出力される音声信号を収録する。或いは、ボーカル、ドラムなどの電気楽器以外の場合には、音源に近接して配置したマイクによって音声収録を行えばよい。
【０１５１】
各Playerのライン収録データ生成部９５は、この作業工程Ｓ５での各収録音声に基づき、各Playerごとのライン収録データを生成する。つまり、この場合はPlayer1〜Player3のライン収録音声信号が、それぞれ個別のデータとして管理される各Playerごとのライン収録データを生成する。
【０１５２】
作業工程Ｓ６では、映像収録を行う。すなわち、実際に測定対象としたホールなどの測定環境１において行われるイベントを、ビデオカメラによって映像収録する。
アングル情報・Direction指示情報追加部９６は、作業工程Ｓ６で得られた収録映像データに対し、伝達関数Ｈ及び伝達関数omniＨとしてどのアングルに対応したものを選択すべきかを示すためのアングル情報と、同じく伝達関数Ｈ及び伝達関数omniＨとして、PlayerごとにどのDirectionに対応したものを選択すべきかについて指示するためのDirection指示情報とを、メタデータとして追加する。
この場合、アングル情報は、実際には収録映像を再生してみて、各シーンがどのカメラアングルに該当するかを制作側の人間が判断して決定する。上記アングル情報・Direction指示情報追加部９６は、このようにして決定された各シーンとそれに対応するアングルの情報とに基づき、収録映像データに対するアングル情報の追加を行う。同様にDirection指示情報としても、実際に収録映像を再生してみてPlayerが振り返えるシーンなどがあった場合に、制作側の人間がそのPlayerの動きに応じた指向方向が表現されるようなDirectionを判断して決定する。そしてアングル情報・Direction指示情報追加部９６では、このようにして決定されたDirection指示情報が指定されたシーンに追加されるようにして、収録映像データに対するDirection指示情報の追加を行う。
【０１５３】
記録部９７は、アングル／Direction・伝達関数Ｈ対応情報生成部９１、アングル／Direction・伝達関数omniＨ対応情報生成部９２、再生環境・伝達関数対応情報生成部９３、アンビエンスデータ生成部９４、各Playerのライン収録データ生成部９５により得られた各データと、上記アングル情報・Direction指示情報追加部９６によりアングル情報・Direction指示情報が追加された映像データとを、メディア９８に対して記録する。
この際、アンビエンスデータとしては、アンビエンス−ａ〜アンビエンス−ｐまでの複数の音声信号が存在するので、これらがそれぞれ別々のトラックに分かれて収録されるようにメディア９８に記録する。同様に、各Playerのライン収録データについても、Playerごとのライン収録音声信号がそれぞれ別々のトラックに収録されるようにする。
【０１５４】
なお、ここで確認のために述べておくと、この図３４において各作業工程に付した工程番号は必ずしも各工程を行うべき順序を示したものではない。
【０１５５】
図３５は、ユーザ側の再現環境２０において音場再現に用いる再現信号生成装置１００の構成について示している。
なお、図示は省略するが、この場合の再現環境２０としては、先の図９に示した再現環境２０において第二閉曲面１４上において５つ配置されていた再現用スピーカ１８を、再現用スピーカ１８Ａ、１８Ｂ、１８Ｃの３つにしたものと考えればよい。また、この場合、仮想音像位置としてはPosition１〜Position3の３つを想定しているので、図９においては破線による測定用スピーカ３として示した１つの仮想音像位置は３つとなる。
さらにこの場合は、メディア９８に記録されたＡＶコンテンツを再生して映像出力を行うので、そのためのディスプレイ装置を再現環境２０において配置することになるが、このディスプレイ装置は第二閉曲面１４の内側、或いは外側において、第二閉曲面１４内の視聴者（聴取者）から見て仮想音像位置側となる位置に配置すればよい。このように仮想音像位置側に配置すれば、画面上で各Playerが表示される位置と仮想音像位置との方向を一致させることができ、各Playerの表示位置と再現される仮想音像位置との一体感を増すことができる。
なお、図３５においては、上記ディスプレイ装置の図示は省略している。
【０１５６】
図３５において、この場合の再現信号生成装置１００には、先の図２２にて説明したものと同様の演算部４６ａ−１〜４６ｐ−１、演算部４６ａ−２〜４６ｐ−２、演算部４６ａ−３〜４６ｐ−３が設けられる。ここではPlayer1〜Player3までを想定しているため、図２２ではPlayer4までの４セット備えられていたうちの、Player3までの３セットが備えられている。
そして、これら演算部４６ａ−１〜４６ｐ−１、演算部４６ａ−２〜４６ｐ−２、演算部４６ａ−３〜４６ｐ−３に対し、合成伝達関数coefＨを設定するためのcoefＨ生成部３０−１、coefＨ生成部３０−２、coefＨ生成部３０−３が設けられる。このcoefＨ生成部３０としても、図２２ではPlayer4までの４セット備えられていたうちの、Player3までの３セットを備えるようにしている。
この場合もcoefＨ生成部３０−１、３０−２、３０−２に対しては、後述するコントローラ１０３からそれぞれのPositionに対応した伝達関数Ｈ及び伝達関数omniＨが供給され、これに応じて伝達関数Ｈ、伝達関数omniＨ、及び遅延ドライ系伝達関数dryＨが足し合わされた合成伝達関数coefＨを生成する。
この場合もcoefＨ３０としては、ハイフン後の符号が各Positionの別を示しており、coefＨ３０−１はPosition1に対応した伝達関数Ｈ及びomniＨの供給を受けてPosition1に対応した合成伝達関数coefＨを生成するようにされる。そして、これを演算部４６ａ−１〜４６ｐ−１に対して設定するようにされる。
また、coefＨ生成部３０−２はPosition2に対応した伝達関数Ｈ及びomniＨの供給を受けてPosition2に対応した合成伝達関数coefＨを生成するようにされ、これを演算部４６ａ−２〜４６ｐ−２に対して設定するようにされる。さらに、coefＨ生成部３０−３はPosition3に対応した伝達関数Ｈ及びomniＨの供給を受けてPosition3に対応した合成伝達関数coefＨを生成し、これを演算部４６ａ−３〜４６ｐ−３に対して設定するようにされる。
【０１５７】
そして、このようにしてそれぞれ対応する合成伝達関数coefＨが設定される演算部４６ａ−１〜４６ｐ−１、演算部４６ａ−２〜４６ｐ−２、演算部４６ａ−３〜４６ｐ−３の後段には、加算器４７ａ〜４７ｐが設けられる。これら加算器４７ａ〜４７ｐとしては、先の図２２にて説明したものと同様に、上記各演算部４６のうちの同じ添え字の付された演算部４６からの出力を加算するようにされ、これによって第一閉曲面１０上の再現用スピーカ８ａ〜８ｐのそれぞれの配置位置に対応した再現信号を得るようにされている。
【０１５８】
さらに、これら加算器４７ａ〜４７ｐと１対１の関係となるようにして設けた加算器８２ａ〜８２ｐが設けられる。これら加算器８２ａ〜８２ｐは、先の図３２にて示したものと同様のものであり、それぞれ対応するアンビエンスとしての音声信号を加算するために設けられる。
【０１５９】
そして、その後段には、演算部１０６Ａ−ａ〜１０６Ａ−ｐ、演算部１０６Ｂ−ａ〜１０６Ｂ−ｐ、演算部１０６Ｃ−ａ〜１０６Ｃ−ｐが設けられる。
これら演算部１０６は、基本的には先の図８に示したものと同様に、第一閉曲面１０上に配置した再現用スピーカ８ａ〜８ｐの各々から、第二閉曲面１４上に配置した各々の測定用マイク１３までに対応して得られた伝達関数Ｅが設定されるものであるが、ここでは再生環境整合処理として実際の第二閉曲面１４上の再現用スピーカ１８の配置数・配置関係に対応させるために、各演算部１０６には後述するコントローラ１０３からそれぞれ対応する伝達関数Ｅが設定されるものとなる。
【０１６０】
演算部１０６Ａ−ａ〜１０６Ａ−ｐ、演算部１０６Ｂ−ａ〜１０６Ｂ−ｐ、演算部１０６Ｃ−ａ〜１０６Ｃ−ｐは、上記した加算器８２ａ〜８２ｐのうち、同じ添え字（ａ〜ｐ）の付された加算器８２からの出力を入力し、これを設定された伝達関数Ｅに基づき処理する。
これによって演算部１０６Ａ−ａ〜１０６Ａ−ｐでは、再現環境１１における第一閉曲面１０上の再現用スピーカ８ａ〜８ｐのそれぞれから第二閉曲面１４上の測定用マイク１３Ａ（再現用スピーカ１８Ａ）までに対応した再現信号（ＳＨＥＡ-a〜ＳＨＥＡ-p）が得られ、演算部１０６Ｂ−ａ〜１０６Ｂ−ｐでは再現用スピーカ８ａ〜８ｐのそれぞれから再現用スピーカ１８Ｂまでに対応した再現信号（ＳＨＥＢ-a〜ＳＨＥＢ-p）が得られる。また、演算部１０６Ｃ−ａ〜１０６Ｃ−ｐでは、再現用スピーカ８ａ〜８ｐのそれぞれから再現用スピーカ１８Ｃまでに対応した再現信号（ＳＨＥＣ-a〜ＳＨＥＣ-p）が得られる。
【０１６１】
加算器１７Ａ、１７Ｂ、１７Ｃは、先の図８に示したものと同様に第二閉曲面１４上に配置される再現用スピーカ１８（この場合は１８Ａ、１８Ｂ、１８Ｃ）と１対１の関係となるようにして設けられる。加算器１７Ａは、演算部１０６Ａ−ａ〜１０６Ａ−ｐのそれぞれからの出力を入力・加算し、その結果を再現用スピーカ１８Ａに供給する。また、加算器１７Ｂは演算部１０６Ｂ−ａ〜１０６Ｂ−ｐのそれぞれからの出力を入力・加算し、その結果を再現用スピーカ１８Ｂに供給し、さらに加算器１７Ｃは演算部１０６Ｃ−ａ〜１０６Ｃ−ｐのそれぞれからの出力を入力・加算してその結果を再現用スピーカ１８Ｃに供給する。
【０１６２】
そして、この場合の再現信号生成装置１００に対しては、メディア９８に記録された各種情報を再生し、これに基づく制御を行うための構成として、メディア読出部１０１、バッファメモリ１０２、コントローラ１０３、メモリ部１０４、映像再生系１０５、操作部１０７を備えている。
メディア読出部１０１は、当該再現信号生成装置１００に装填されたメディア９８に記録された各種情報の読み出しを行い、これをバッファメモリ１０２に供給する。バッファメモリ１０２は、コントローラ１０３の制御に基づき、読み出しデータのバッファリング及びバッファリングデータの読み出しを行う。
【０１６３】
コントローラ１０３はマイクロコンピュータにより構成され、当該再現信号生成装置１００の全体制御を行う。メモリ部１０４はコントローラ１０３が備えるＲＯＭ、ＲＡＭ、ハードディスクなどの記憶装置を包括的に示しており、図示は省略したがここには各種の制御プログラムが格納され、コントローラ１０３はこの制御プログラムに基づいて各部の制御を実行するようにされている。
ここで、先の図３４にて説明したように、メディア９８に対しては、アングル／Direction・伝達関数Ｈ対応情報、アングル／Direction・伝達関数omniＨ対応情報、再生環境・伝達関数対応情報、アンビエンス収録データ、各Playerのライン収録データ、及びアングル情報とDirection指示情報とが埋め込まれた映像データが記録されている。
コントローラ１０３は、メディア読出部１０１によってこれらの情報のうちからアングル／Direction・伝達関数Ｈ対応情報、アングル／Direction・伝達関数omniＨ対応情報、再生環境・伝達関数対応情報の読み出しを実行させ、これらを図示するようにメモリ部１０４内にアングル／Direction・伝達関数Ｈ対応情報１０４ａ、アングル／Direction・伝達関数omniＨ対応情報１０４ｂ、再生環境・伝達関数対応情報１０４ｃとして格納する。
【０１６４】
さらにコントローラ１０３は、同じくメディア読出部１０１にアンビエンス収録データ、各Playerのライン収録データ、及びアングル情報とDirection指示情報とが埋め込まれた映像データの読み出しを実行させ、これをバッファメモリ１０２にバッファリングさせる。
図示するようにして、このバッファメモリ１０２からは、アンビエンス収録データとしてのアンビエンス−ａ、アンビエンス−ｂ・・・アンビエンス−ｐが、上記した加算器８２ａ、８２ｂ・・・８２ｐに供給されるようになっている。
同様に、各Playerのライン収録データについても、Player1の収録音声信号、Player2の収録音声信号、Player3の収録音声信号が、演算部４６ａ−１〜４６ｐ−１、演算部４６ａ−２〜４６ｐ−２、演算部４６ａ−３〜４６ｐ−３に供給されるようになっている。
さらに、アングル情報とDirection指示情報とが埋め込まれた映像データについては、映像再生系１０５に供給されるようになっている。
【０１６５】
ここで、バッファメモリ１０２に対しては、メディア９８に記録されている全てのアンビエンス収録データ、各Playerのライン収録データ、及びアングル情報とDirection指示情報とが埋め込まれた映像データを読み出してバッファリングするものとし、コントローラ１０３は、バッファリングされたこれらのデータが連続的に対応する各部に供給されるようにバッファメモリ１０２の読み出し動作を制御することも考えられる。
しかしながら、実際において、このようにメディア９８から全てのデータを読み出してバッファリングするのには非常に多くの時間を要するので、各データは時分割的に必要なデータ量だけをメディア９８から逐次読み出し、これを順次各部に供給するようにバッファメモリ１０２の読み出し動作を制御するように構成することもできる。
【０１６６】
映像再生系１０５は、映像データについての圧縮伸張デコーダやエラー訂正処理部などの再生系の構成を包括的に示している。この映像再生系１０５は、バッファメモリ１０２から供給される映像データについて上記圧縮伸張デコーダやエラー訂正処理部などによる再生処理を施すことで、再現環境２０において配置される図示されないディスプレイ装置にて映像表示を行うための映像信号を生成し、これを図示する映像出力としてディスプレイ装置に供給する。
また、この場合の映像再生系１０５としては、映像データに対してメタデータとして付加されているアングル情報とDirection指示情報とを抽出し、これらをコントローラ１０３に対して供給するようにされている。
【０１６７】
コントローラ１０３は、このようにして映像再生系１０５から供給されるアングル情報、Direction指示情報に基づき、先に説明したようにメモリ部１０４内に格納したアングル／Direction・伝達関数Ｈ対応情報１０４ａ及びアングル／Direction・伝達関数omniＨ対応情報１０４ｂのうちから、上記したcoefＨ生成部３０−１、３０−２、３０−３に供給すべき伝達関数Ｈ、伝達関数omniＨを変更するアングル・Direction変更部１０３ａを備えている。
このアングル・Direction変更部１０３ａとしては、入力されるアングル情報とDirection指示情報とによって特定される伝達関数Ｈ・伝達関数omniＨを、メモリ部１０４内のアングル／Direction・伝達関数Ｈ対応情報１０４ａ・アングル／Direction・伝達関数omniＨ対応情報１０４ｂから読み出し、これを対応するcoefＨ生成部３０に対して設定する。
例えば、アングル情報が「アングル１」を示すものであり、Direction指示情報としてはPlayer1（Position1）がDirection1、Player2（Position2）がDirection2、Player3（Position3）がDirection6を指示するものであった場合には、アングル／Direction・伝達関数Ｈ対応情報１０４ａ・アングル／Direction・伝達関数omniＨ対応情報１０４ｂから、Player1については「Ｈａ１-ang1-dir1〜Ｈｐ１-ang1-dir1及びomniＨａ１-ang1-dir1〜omniＨｐ１-ang1-dir1」、Player2については「Ｈａ２-ang1-dir2〜Ｈｐ２-ang1-dir2及びomniＨａ２-ang1-dir2〜omniＨｐ２-ang1-dir2」、Player3については「Ｈａ３-ang1-dir6〜Ｈｐ３-ang1-dir6及びomniＨａ３-ang1-dir6〜omniＨｐ３-ang1-dir6」を読み出す。そして、上記「Ｈａ１-ang1-dir1〜Ｈｐ１-ang1-dir1及びomniＨａ１-ang1-dir1〜omniＨｐ１-ang1-dir1」についてはcoefＨ生成部３０−１に供給し、「Ｈａ２-ang1-dir2〜Ｈｐ２-ang1-dir2及びomniＨａ２-ang1-dir2〜omniＨｐ２-ang1-dir2」についてはcoefＨ生成部３０−２に供給し、さらに「Ｈａ３-ang1-dir6〜Ｈｐ３-ang1-dir6及びomniＨａ３-ang1-dir6〜omniＨｐ３-ang1-dir6」についてはcoefＨ生成部３０−３に供給する、といったものである。
このようなアングル・Direction変更部１０３の動作により、演算部４６ａ−１〜４６ｐ−１、演算部４６ａ−２〜４６ｐ−２、演算部４６ａ−３〜４６ｐ−３のそれぞれには、アングル情報、Direction指示情報として新たなアングル・Directionが指示されるごとにそれらアングル・Directionに応じた合成伝達関数coefＨが逐次設定されるようになる。これによってアングルの変更に応じた音場再現、及び指定されたPlayerの指向性方向の制御を行うことができる。
【０１６８】
なお、確認のために述べておくと、上記アングル・Direction変更部１０３ａとしてはコントローラ１０３の機能をブロック化して示すもので、実際にはコントローラ１０３のソフトウエア処理により実現されるものである。このことは、次に説明するパラメータ調整部１０３ｂ、再生環境整合処理部１０３ｃについても同様である。
【０１６９】
また、コントローラ１０３は、図示するパラメータ調整部１０３ｂを備え、図示する操作部１０７からの操作入力に応じて、coefＨ生成部３０−１、３０−２、３０−３内の各バランスパラメータ設定部（２１ａ〜２１ｐ、２２ａ〜２２ｐ、３２ａ〜３２ｐ）に設定されるべきバランスパラメータの値を個別に調整する。
この場合としても上記操作部１０７には、各バランスパラメータ設定部対応につまみ操作子などパラメータ調整のための操作子が設けられ、ユーザはこれらを操作することで各バランスパラメータ対応に、それぞれ設定すべきバランスパラメータの値を指示することができるようにされる。或いは、各バランスパラメータの調整は、図示されない表示ディスプレイの画面上に表示した操作パネルを用いて行うことも可能であり、その場合操作部１０７はマウスなどの操作子とされ、例えばユーザは画面上のカーソルをマウス操作によって上記操作パネル上に移動させ、この操作パネル上に設けられたパラメータ調整のためのつまみ操作子アイコンをドラッグ操作するなどして、各バランスパラメータ設定部対応にそれぞれ設定すべきバランスパラメータの値を指示することができるようにされる。
パラメータ調整部１０３ｂは、このような操作部１０７からの操作入力に基づく指示に応じて、各バランスパラメータ設定部対応に設定されるべきバランスパラメータの値を調整する。
なお、ここでも図示の都合上、コントローラ１０３から各coefＨ生成部３０への制御線は１つのみで示したが、実際には各coefＨ生成部３０ごとの各バランスパラメータ設定部（２１ａ〜２１ｐ、２２ａ〜２２ｐ、３２ａ〜３２ｐ）対応にそれぞれ独立してバランスパラメータの値を供給できるようにされている。
【０１７０】
このようなパラメータ調整部１０３ｂの調整動作によれば、先の図１７においても説明したように、第一閉曲面１０上の各スピーカ８の配置位置の段階では、伝達関数dryＨ系増加領域としての音像をシャープ化する領域と、伝達関数omniＨ系増加領域として残響感を増大させる領域とに分けるといった音質調整が可能となる。そして、この場合には、第二閉曲面１４上に配置した各再現用スピーカ１８に囲まれた音場においても、このような第一閉曲面１０上の各スピーカ８の配置位置の段階での音場が再現されるので、第二閉曲面１４内においても、聴取者は同様の音質調整が行われたものとして知覚することができる。つまり、例えば図１７（ｂ）の調整を例に挙げれば、第二閉曲面１４内においても、前方側で音像がシャープ化し、後方側で残響感が増しているように知覚することができる。
【０１７１】
また、コントローラ１０３は、メモリ部１０４に格納した再生環境・伝達関数対応情報１０４ｃと、同じメモリ部１０４に対して予め格納された配置パターン情報１０４ｄとに基づき、実際の再現用スピーカ１８の配置数と配置関係とに適合した伝達関数Ｅの設定を行う再生環境整合処理を行うための再生環境整合処理部１０３ｃを備える。
ここで、上記配置パターン情報１０４ｄは、当該再現信号生成装置１００が対応するとして予め設定された再現用スピーカ１８の配置数・配置関係のパターンを示す情報である。再生環境整合処理部１０３ｃでは、このような配置パターン情報１０４ｄに示される配置数・配置関係のパターン情報に基づき、再生環境・伝達関数対応情報１０４ｃ中から該当するパターンに対応づけれて格納される伝達関数Ｅ（Ｅａ−Ａ〜Ｅｐ−Ａ、Ｅａ−Ｂ〜Ｅｐ−Ｂ、Ｅａ−Ｃ〜Ｅｐ−Ｃ）を読み出し、これらをそれぞれ対応する演算部１０６に設定する。
これによって各演算部１０６には、実際の再現環境２０における再現用スピーカ１８の配置数・配置関係に応じた伝達関数Ｅが設定され、この結果実際の再現環境２０における再現用スピーカ１８の配置数・配置関係に応じた適正な音場再現を行うことができる。
【０１７２】
なお、再現信号生成装置１００が複数パターンの配置数・配置関係に対応可能な場合には、操作部１０７に対して別途操作子を設け、それらのパターンの中から該当するパターンをユーザが選択できるように構成することもできる。
【０１７３】
ここで、先にも述べたように、上記音場再現システムの構成は、音源の指向性と指向方向ごとの放音特性は考慮せず、またステレオエフェクタについては対応しない場合の構成を説明したものであるが、これらに対応した構成とする場合は、記録装置９０、再現信号生成装置１００として以下のように構成すればよい。
なお、ここでは一例として、Player1のみについて音源の指向性と指向方向ごとの放音特性について考慮した音場再現を行うものとし、また、Player2のライン収録データをステレオエフェクタを介したものとする場合を例示する。
【０１７４】
この場合、制作側においては、作業工程Ｓ５において、Player1については先の図２７に示したようにして例えばDirection1〜Direction6の６方向から囲むように配置した収録用マイク５７で音声を収録する。また、Player2については、ライン収録データをステレオエフェクタに通したものを記録装置９０に入力する。
つまりこの場合、各Playerのライン収録データ生成部９５では、Player1についてはDirection1〜Direction6の６つの収録データを生成するようにされ、Player2についてはＬchとＲchとによる２つの収録データを生成するようにされる。そして記録部９７は、これらの収録データをメディア９８に対して記録するようにされる。
【０１７５】
再現信号生成装置１００としては、この場合はPlayer1の収録データがDirection1〜Direction6に対応した６つが存在することに応じて、演算部４６としては、Player1のDirection1に応じた収録データをそれぞれ入力する演算部４６ａ−１−１〜４６ｐ−１−１と、同じくDirection2に応じた収録データをそれぞれ入力する演算部４６ａ−１−２〜４６ｐ−１−２を追加する。また、同様にDirection3、Direction4、Direction5、Direction6の収録データについても、演算部４６ａ−１−３〜４６ｐ−１−３、演算部４６ａ−１−４〜４６ｐ−１−４、演算部４６ａ−１−５〜４６ｐ−１−５、演算部４６ａ−１−６〜４６ｐ−１−６を追加する。
さらに、これら演算部４６ａ−１−１〜４６ｐ−１−１、演算部４６ａ−１−２〜４６ｐ−１−２、演算部４６ａ−１−３〜４６ｐ−１−３、演算部４６ａ−１−４〜４６ｐ−１−４、演算部４６ａ−１−５〜４６ｐ−１−５、演算部４６ａ−１−６〜４６ｐ−１−６に対し、それぞれ対応する合成伝達関数coefＨを設定するために、Player1に対応したcoefＨ生成部３０−１としては、coefＨ生成部３０−１−１、３０−１−２、３０−１−３、３０−１−４、３０−１−５、３０−１−６の６つを設ける。
【０１７６】
この場合、上記演算部４６ａ−１−１〜４６ｐ−１−１、演算部４６ａ−１−２〜４６ｐ−１−２、演算部４６ａ−１−３〜４６ｐ−１−３、演算部４６ａ−１−４〜４６ｐ−１−４、演算部４６ａ−１−５〜４６ｐ−１−５、演算部４６ａ−１−６〜４６ｐ−１−６に対しては、アングル情報に応じてのみ、設定する合成伝達関数coefＨを変更するように構成する。換言すれば、演算部４６ａ−１−１〜４６ｐ−１−１には「-dir1」、演算部４６ａ−１−２〜４６ｐ−１−２には「-dir2」、演算部４６ａ−１−３〜４６ｐ−１−３には「-dir3」、演算部４６ａ−１−４〜４６ｐ−１−４には「-dir4」、演算部４６ａ−１−５〜４６ｐ−１−５には「-dir5」、演算部４６ａ−１−６〜４６ｐ−１−６には「-dir6」による合成伝達関数coefＨを常に設定するようにされるものである。
このために、コントローラ１０３内のアングル・Direction変更部１０３ａとしては、上記したcoefＨ生成部３０−１−１、３０−１−２、３０−１−３、３０−１−４、３０−１−５、３０−１−６に対しては、「-dir1」、「-dir2」、「-dir3」、「-dir4」、「-dir5」、「-dir6」の伝達関数Ｈ・伝達関数omniＨのうち、アングル情報により指示されたアングルによる伝達関数Ｈ・伝達関数omniＨを逐次供給するようにされる。
【０１７７】
演算部４６ａ−１−１〜４６ｐ−１−１、演算部４６ａ−１−２〜４６ｐ−１−２、演算部４６ａ−１−３〜４６ｐ−１−３、演算部４６ａ−１−４〜４６ｐ−１−４、演算部４６ａ−１−５〜４６ｐ−１−５、演算部４６ａ−１−６〜４６ｐ−１−６の出力としても、それぞれ同じ添え字（ａ〜ｐ）が付された加算器４７に供給されるように構成する。
【０１７８】
また、Player2の収録データをそれぞれ入力する演算部４６としては、ＬchとＲchに対応した２セットの演算部４６（ａ〜ｐ）を設けるようにする。つまり、演算部４６ａ−２−Ｌ〜４６ｐ−２−Ｌ、演算部４６ａ−２−Ｒ〜４６ｐ−２−Ｒを設ける。さらに、これら演算部４６ａ−２−Ｌ〜４６ｐ−２−Ｌ、演算部４６ａ−２−Ｒ〜４６ｐ−２−Ｒのそれぞれに対応する合成伝達関数coefＨを設定するためのPlayer2に対応したcoefＨ生成部３０−２としては、coefＨ生成部３０−２−Ｌ、３０−２−Ｒを設ける。
これらcoefＨ生成部３０−２−Ｌ、３０−２−Ｒに対しても、アングル・Direction変更部１０３ａは、アングル情報のみに応じて伝達関数Ｈ・伝達関数omniＨを設定変更する。例えば先の図２５に示したようにＬchとしてDirection2、ＲchとしてDirection6を定義した場合、coefＨ生成部３０−２−Ｌには「-dir2」、coefＨ生成部３０−２−Ｒには「-dir6」による伝達関数Ｈ・伝達関数omniＨが常に設定されるようにするものである。これに応じ演算部４６ａ−２−Ｌ〜４６ｐ−２−Ｌ、演算部４６ａ−２−Ｒ〜４６ｐ−２−Ｒに設定される合成伝達関数coefＨとしては、それぞれ「-dir2」、「-dir6」とされた上で、アングル情報に応じた合成伝達関数coefＨが可変設定されるようになる。
これら演算部４６ａ−２−Ｌ〜４６ｐ−２−Ｌ、演算部４６ａ−２−Ｒ〜４６ｐ−２−Ｒからの出力としても、それぞれ同じ添え字（ａ〜ｐ）が付された加算器４７に供給されるように構成する。
【０１７９】
なお、これまでの図３４〜図３７の説明では、本実施の形態の音場再現システムの前提として、制作側は音場再現のために必要な各種情報を記録したメディア９８を販売し、このメディア９８を基にユーザ側で音場再現を行うものとした。
しかしながら音場再現のために必要な各種の情報は、メディア９８を介してユーザ側に提供する以外にも、例えばネットワーク経由で提供するようにもできる。
この場合、制作側では、上記音場再現に必要な各種情報を所要の記録媒体に記録・保持すると共に、保持された上記各種情報をネットワークを介して外部装置に送信することが可能に構成された情報処理装置を備えるようにする。一方、ユーザ側の再現信号生成装置１００としては、上記ネットワークを介したデータ通信が可能となるように構成する。
このようにネットワークを介して音場再現のための各種情報の提供が可能となることで、制作側からユーザ側にリアルタイムで上記各種情報の提供を行うことができ、これによれば再現環境２０においてリアルタイムに測定環境１での音場を再現することも可能となる。
【０１８０】
また、上記説明では、ユーザ側（再現信号生成装置１００側）において、各再現用スピーカ１８から出力すべき再現信号を生成するものとしたが、これに代え、制作側（記録装置９０側）で図３５に示す再現信号生成のための構成を備えるようにすることで、メディア９８には各再現用スピーカ１８から出力すべき再現信号を記録するものとし、ユーザ側では、メディア９８からこれらの再現信号を再生するだけで音場再現が行えるように構成することもできる。
これによれば、ユーザ側で備える装置の構成を簡易化することができる。しかしながら、一方で制作側では、実際の再現環境２０で想定される再現用スピーカ１８の配置数・配置関係のパターンに応じた分の複数種類のメディア９８を作成・販売しなければならなくなってしまうことになる。
これに対し、上記により説明した本例の音場再現システムによれば、制作側で作成するメディア９８は１種のみとでき、この点での効率化が図られることになる。
【０１８１】
また、図３４、図３５の説明では、メディア９８に対しPlayerごとの収録データ及び映像データと共に、各アングル／Direction・伝達関数対応情報、及び再生環境・伝達関数対応情報を記録するものとしたが、メディア９８にはPlayerごとの収録データ及び映像データのみを記録し、各アングル／Direction・伝達関数対応情報、及び再生環境・伝達関数対応情報についてはネットワーク経由で提供するなど、音場再現に必要な情報のうちの一部をネットワーク経由で提供するように構成することもできる。
特に、再生環境・伝達関数対応情報については、演算部１０６に設定する以外の情報は全て不要な情報となる。そこで、例えばネットワーク上の所要のサーバ装置に再生環境・伝達関数対応情報を保持させておき、ユーザ側は、音場再現にあたって先ずはこのサーバ装置にアクセスするようにしておき、該当する再現用スピーカ１８の配置数・配置関係のパターンに応じた伝達関数Ｅをダウンロードするように構成する。
これによってメディア９８の記録情報量を削減できると共に、再現信号生成装置１００においても不要な情報を保持する必要がなくなることで、無駄な読み出し動作の省略及びコントローラ１０３の処理負担の軽減などが図られる。
【０１８２】
また、図３５では、演算部４６、coefＨ生成部３０、加算器４７、加算器８２、演算部１０６、加算器１７をハードウエアにより構成するものとして示したが、これら各部の機能をコントローラ１０３のソフトウエア処理により実現するように構成することもできる。
【０１８３】
また、図３５では、再現信号生成装置１００がメディア９８の読出部を備える構成とした場合を例示したが、再現信号生成装置１００としては、外部においてメディア９８から読み出された各情報を入力し、以降はこの各情報に基づいて同様の動作を行うＡＶアンプとして構成することもできる。
【０１８４】
また、上記説明では、メディア９８は光ディスク記録媒体としたが、他のディスクメディア（ハードディスクなどの磁気ディスクや光磁気ディスク）とすることもできる。或いは、半導体メモリを使用した記録媒体など、ディスクメディア以外とすることもできる。
【０１８５】
また、これまでの説明では、再現信号生成装置において、それぞれの伝達関数（Ｈ、omniＨ、dryＨ）を足し合わせた合成伝達関数coefＨを生成した上で、この合成伝達関数coefＨに基づいて再生信号に演算処理を施すものとしたが、これに代え、それぞれの伝達関数（Ｈ、omniＨ、dryＨ）で個別に再生信号を畳み込み、それらにバランスパラメータを付与したものを再現用スピーカ８ａ〜８ｐごとに加算することによっても同様の音場再現を実現できる。
なお本発明では、このようにそれぞれの伝達関数で個別に再生信号を畳み込んだものを再現用スピーカ８ａ〜８ｐごとに加算する手法としても、同様の結果が得られることから合成伝達関数で畳み込んだものとして見なす。
【０１８６】
以上、本発明の実施の形態について説明したが、本発明としてはこれに限定されるべきものではない。
例えば実施の形態では、フィルムライブの会場や家庭の部屋などにおいて音声を再生する場合の音場再現に本発明を適用する場合を例示したが、例えばカーオーディオシステムにおいて音声の再生を行う場合にも適用することができる。或いは、例えば臨場感、没入感を与えるアミューズメント、ゲームのようなバーチャルリアリティー産業機器に対しても好適に適用することができる。
【符号の説明】
【０１８７】
１ 測定環境、２ 測定用信号再生部、３、３５、７２、８７ 測定用スピーカ、４、１３、２４、７３、８８ 測定用マイク、５、１５、１９、２８、３７、５０、６０、８０、１００ 再現信号生成装置、６ 音声再生部、７、１６、４６、５１、６１、１０６ 演算部、８、１８ 再現用スピーカ、９、１７、２３、３３、４７、５２、６２、８２ 加算器、１０ 第一閉曲面、１１、２０ 再現環境、１４ 第二閉曲面、２１、２２、３２ バランスパラメータ設定部、２５、４０、５３、１０３ コントローラ、２６、３９、５４、１０７ 操作部、２７、３０ coefＨ生成部、２９、３８、５５、１０４ メモリ部、３１ 波形エネルギー算出及び空間ディレイ検出部、３８ａ Direction・伝達関数Ｈ対応情報、３８ｂ Direction・伝達関数omniＨ対応情報、５１ ステレオエフェクト処理部、ＳＲ 音源収録面、５６ 音源、５７、７１、８４ 収録用マイク、７０ 円形平面、８１ａ〜８１ｐ 再生部、８５ カメラ、８６ ステージ、９０ 記録装置、９１ アングル／Direction・伝達関数Ｈ対応情報生成部、９２ アングル／Direction・伝達関数omniＨ対応情報生成部、９３ 再生環境・伝達関数対応情報生成部、９４ アンビエンスデータ生成部、９５ 各Playerのライン収録データ生成部、９６ アングル情報・Direction指示情報付加部、９７ 記録部、９８ メディア、１０１ メディア読出部、１０２ バッファメモリ、１０３ コントローラ、１０３ａ アングル・Direction変更部、１０３ｂ パラメータ調整部、１０３ｃ 再生環境整合処理部、１０４ メモリ部、１０４ａ アングル／Direction・伝達関数Ｈ対応情報、１０４ｂ アングル／Direction・伝達関数omniＨ対応情報、１０４ｃ 再生環境・伝達関数対応情報、１０４ｄ 配置パターン情報、１０５ 映像再生系

【特許請求の範囲】
【請求項１】
第一の閉曲面の外側における仮想音像位置から音声を有指向性スピーカにより発音する第一の発音工程と、
前記第一の閉曲面上における複数の位置において外向きに配置された有指向性マイクロフォンにより前記第一の発音工程で発音された音声を測定した結果に基づき、前記仮想音像位置から前記第一の閉曲面上の前記複数の位置のそれぞれまでに対応した伝達関数としての、有指向性測定伝達関数群を生成する有指向性測定伝達関数生成工程と、
前記有指向性測定伝達関数群と、この有指向性測定伝達関数群とは別に前記仮想音像位置から発音され前記第一の閉曲面上の前記複数の位置のそれぞれに到達する音声に基づいて求めた補助伝達関数群とについて、それぞれを指示された割合で足し合わせることで、前記仮想音像位置から前記複数の位置のそれぞれまでに対応した合成伝達関数群としての第一の伝達関数群を生成する第一の伝達関数生成工程と、
入力した音声信号に対して、前記第一の伝達関数群に基づく演算処理を施して、前記第一の閉曲面上の前記複数の位置のそれぞれに対応した第一の再現用音声信号を得る第一の再現用音声信号生成工程と、
所要の音源を囲うようにして複数方向から有指向性マイクロフォンにより前記音源からの音声を収録する収録工程と、
を備え、
前記第一の発音工程では、
前記有指向性スピーカによって、前記収録工程にて前記音源からの音声を収録した前記複数方向とはそれぞれ逆となる複数方向に音声を発音するようにされ、
前記有指向性測定伝達関数生成工程では、
前記有指向性スピーカにより発音した前記複数方向ごとに音声を測定した結果に基づき、前記複数方向ごとに、前記有指向性測定伝達関数群を生成すると共に、
前記第一の伝達関数生成工程では、
前記有指向性測定伝達関数生成工程により生成した前記複数方向ごとの有指向性測定伝達関数群のそれぞれについて、前記補助伝達関数群を指示された割合で足し合わせることで、前記複数方向ごとの前記第一の伝達関数群を生成し、
前記第一の再現用音声信号生成工程では、
前記収録工程にて収録した音声信号をそれぞれ対応する方向の前記第一の伝達関数群に基づき演算処理を施すことで、前記第一の閉曲面上の前記複数の位置のそれぞれに対応した再現用音声信号として、前記複数方向分の再現用音声信号を得るようにされると共に、それら再現用音声信号を前記第一の閉曲面上の前記複数の位置ごとに足し合わせることで、前記第一の再現用音声信号を得るようにされる
音声信号処理方法。
【請求項２】
前記収録工程では、
前記音源を前記有指向性マイクロフォンにより平面的に囲うようにして音声を収録することを特徴とする請求項１に記載の音声信号処理方法。
【請求項３】
前記収録工程では、
前記音源を前記有指向性マイクロフォンにより立体的に囲うようにして音声を収録することを特徴とする請求項１に記載の音声信号処理方法。
【請求項４】
記録媒体に対する情報記録を行う記録装置と、前記記録媒体に記録された情報に基づいて音場再現を行うための再現用音声信号を生成する音声信号処理装置とを含んで構成される音場再現システムであって、
前記記録装置は、
第一の閉曲面の外側における仮想音像位置から発音した音声を前記第一の閉曲面上における複数の位置において外向きに配置された有指向性マイクロフォンにより測定した結果に基づき生成された、前記仮想音像位置から前記第一の閉曲面上の前記複数の位置のそれぞれまでに対応した有指向性測定伝達関数群と、所要の音源から収録した収録音声信号とを前記記録媒体に対して記録する記録手段を備え、
前記音声信号処理装置は、
前記記録媒体に記録された前記有指向性測定伝達関数群と前記収録音声信号とを入力する入力手段と、
前記有指向性測定伝達関数群と、この有指向性測定伝達関数群とは別に前記仮想音像位置から発音され前記第一の閉曲面上の前記複数の位置のそれぞれに到達する音声に基づいて求められた補助伝達関数群とについて、それぞれを指示された割合で足し合わせることで、前記仮想音像位置から前記複数の位置のそれぞれまでに対応した合成伝達関数群としての第一の伝達関数群を生成する第一の伝達関数生成手段と、
入力した音声信号に対して、前記第一の伝達関数群に基づく演算処理を施して、前記第一の閉曲面上の前記複数の位置のそれぞれに対応した第一の再現用音声信号を得る第一の再現用音声信号生成手段とを備え、
前記記録装置において、
前記記録手段は、
前記記録媒体に対し、前記仮想音像位置から発音した音声を前記複数の位置で外向きに配置した無指向性マイクロフォンにより測定した結果に基づき生成された無指向性測定伝達関数群をさらに記録するようにされ、
前記音声信号処理装置において、
前記入力手段は、
さらに前記記録媒体に記録された前記無指向性測定伝達関数群も入力するように構成され、
前記第一の伝達関数生成手段は、
前記有指向性測定伝達関数群の個々から、前記仮想音像位置から発音され前記第一の閉曲面上の前記複数の位置のそれぞれに到達する音声についての前記第一の閉曲面上の前記複数の位置ごとの音声遅延時間及び音声レベルの情報を抽出すると共に、これら音声遅延時間及び音声レベルの情報と前記入力手段により入力された前記無指向性測定伝達関数群とを前記補助伝達関数として、前記有指向性測定伝達関数群に対して指示された割合でそれぞれ足し合わせることで、前記第一の伝達関数群を生成するように構成される
音場再現システム。

【図１】

【図２】

【図３】

【図４】

【図５】

【図６】

【図７】

【図８】

【図９】

【図１０】

【図１１】

【図１２】

【図１３】

【図１４】

【図１５】

【図１６】

【図１７】

【図１８】

【図１９】

【図２０】

【図２１】

【図２２】

【図２３】

【図２４】

【図２５】

【図２６】

【図２７】

【図２８】

【図２９】

【図３０】

【図３１】

【図３２】

【図３３】

【図３４】

【図３５】

【図３６】

【図３７】

【公開番号】特開２０１０−１５４５４９（Ｐ２０１０−１５４５４９Ａ）
【公開日】平成２２年７月８日（２０１０．７．８）
【国際特許分類】
【出願番号】特願２０１０−３０４１２（Ｐ２０１０−３０４１２）
【出願日】平成２２年２月１５日（２０１０．２．１５）
【分割の表示】特願２００５−２２３４３７（Ｐ２００５−２２３４３７）の分割
【原出願日】平成１７年８月１日（２００５．８．１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】