説明

波面合成信号変換装置および波面合成信号変換方法

【課題】想定されていたスピーカ数やスピーカ間隔のスペックから、実際に使用する再生装置に応じて波面合成再生信号を演算し、合成音場を再生する波面合成信号変換装置を提供すること。
【解決手段】少なくとも再生スピーカ配置情報を含む波面合成再生信号の再生条件である波面合成再生条件情報を入力する波面合成再生条件情報入力部と、複数のチャネルの波面合成再生信号を入力する波面合成再生信号入力部と、波面合成再生条件情報から得た各チャネルの再生スピーカ位置を波面合成の1次音源位置として、波面合成再生条件とは異なる各チャネルのスピーカ配置を有する新たな波面合成スピーカのための波面合成再生信号に変換する波面合成再生信号変換部と、を含むことを特徴とする、波面合成信号変換装置が提供される。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、波面合成信号変換装置および波面合成信号変換方法に関する。
【背景技術】
【0002】
臨場感のある音を再生するために、複数のスピーカを用いて多チャンネルの音声信号を再生するステレオ再生システムが広く知られている。例えば、5.1チャンネルサラウンドシステムは、5つのスピーカと1つのサブウーファースピーカを用いて音の再生を行う。ITU−R BS775(International Telecommunication Union Radiocommunications Sector)の規定に従ってスピーカを配置し、それぞれのチャンネルに対応するスピーカから異なる音波が出力され、それを受聴者が耳にすることによって、受聴者は臨場感のある音を楽しむことができる。
【0003】
5.1チャンネルサラウンドシステムのようなステレオ再生システムは、所定の受聴位置においては、目的となる音像定位を得ることができる。しかし、このようなステレオ再生システムは、目的となる音像定位を得られる範囲が狭いため、所定の受聴位置以外の場所においては、受聴者が耳にする再生音が、所定の受聴位置で耳にする再生音と比較して大きく異なってしまう。
【0004】
そこで、本来の音源が存在した音場そのものを、空間に物理的に再現することを目的とするマルチチャンネルオーディオシステムがある。マルチチャンネルオーディオシステムは、原音場で音源が作る波面を収録し、収録した波面を基に現音場とは別の空間に波面を再現するものである。マルチチャンネルオーディオシステムは、音場合成技術である波面合成技術を用いるものであり、複数のスピーカからなるアレイスピーカから音波が出力される。出力される音波は、干渉のない波となって受聴者に伝わる。その音波を受聴者が耳にすることによって、受聴者は臨場感のある音を楽しむことができる。
【0005】
波面を広帯域に再現するためには、波面を収録するためのマイクロホンアレイのマイクロホン間隔と、波面を再現するためのアレイスピーカのスピーカ間隔を、数センチ以下に狭くする必要がある。スピーカ間隔に関しては、特許文献1に開示された技術によって、ある程度広げることができる。また、受聴者の後方から到来する反射音のような音を再現する場合には、受聴者の受聴領域を取り囲むように再生用のアレイスピーカを配置する必要があるが、特許文献2に開示された技術によって、受聴者の前方に配置されたアレイスピーカのみで受聴者の後方から到来する音を再現することができる。
【0006】
波面合成技術を用いたマルチチャンネルオーディオシステムでは、実際の音場で波面
情報の収録を行わずに、現音場となる音源とそれが存在する室内での音場を架空のものとして、楽器演奏などを単独で収録した複数の信号を、架空の室内に仮想音源として配置して波面合成を行うこともできる。このように波面合成を行うことで、これらの音源が作るであろう音場を現実の室内に再現することができる。
【0007】
5.1チャンネルサラウンドシステムのスピーカ配置の場合であっても、擬似的に波面合成を行う技術が、例えば特許文献3に開示されている。特許文献3に開示された技術は、複数のラウドスピーカを介してオリジナルの音場の空間高調波と実質的に正確に一致する空間高調波によって音場を再生する、複数のモノホニックまたは指向性サウンド信号から、音場を記録または伝送する方法である。この技術では、空間高調波を保存するため、モノホニック音源はマスタリングによって全てのスピーカチャネルが音場合成に寄与するように処理される。そして、スピーカの構成がマスタリングの際に想定されていたものと異なる構成であった場合には、スピーカ信号は、異なるスピーカ構成により再生される音場の空間高調波がオリジナルの音場の空間高調波と一致するように、再生場所(家庭等)で再処理される。このように再処理されることで擬似的に波面合成を行う、オリジナルの音場を再現することができる。
【0008】
【特許文献1】特開2005−80079号公報
【特許文献2】特開2007−184818号公報
【特許文献3】特表2003−531555号公報
【発明の開示】
【発明が解決しようとする課題】
【0009】
しかし、5.1チャンネルサラウンドシステムにおいては、ITU−R BS775で定められたように、受聴者は並べられたスピーカの中央で音を聴く必要がある。従って、中央以外の場所で受聴する他の受聴者に対しては、臨場感のある音を再現することはできない問題があった。また、5.1チャンネルサラウンドシステムは本来の音源が存在した音場そのものを物理的に再現しておらず、両耳で聞いたときに臨場感があるように、受聴者の聴覚心理現象を利用して知覚させることを目指している。そのため、受聴者によってはその効果が異なる問題もあった。
【0010】
また、波面合成技術による再生の場合、音を出力するアレイスピーカのスピーカ間隔や配置、構成に併せて音の収録と波面合成の信号処理を行う必要がある。そのため、ある特定のスピーカ間隔、配置および構成用に作られたマルチチャネル信号は、他のスピーカ間隔、配置および構成を有するマルチチャンネルオーディオシステムでは想定したように再生できない問題があった。
【0011】
5.1チャンネルサラウンドシステムで擬似的に波面合成を行う特許文献3の技術では、数学的には、音源位置を表す空間インパルスは多数の次数により正確に表されるが、この方式の場合では数台のスピーカのみを用いることを前提としている。そのため、再生された音場に含まれうる空間高調波の数には限界があり、波面合成の制度は非常に悪いものとなる。従って、従来の5.1チャンネルサラウンドシステムよりは音が到来する方向に対する方向知覚や臨場感が多少改善されるものの、あたかも原音場において受聴者から近いところまたは遠いところで楽器が鳴っているような臨場感を得ることができず、また中央以外の場所で受聴する受聴者に対して臨場感を体験させることも困難であった。
【0012】
音源位置、音源信号および想定される受聴領域の情報(スピーカ数やスピーカ間隔)が分かれば、それらの情報に基づいて、再生システムの仕様、例えば信号処理能力、スピーカ数およびスピーカ間隔に合わせて、音源位置や音源信号を変換して波面合成再生信号を作成する技術も提案されている。しかし、この技術の場合は音源位置、音源信号および想定される受聴領域の情報(スピーカ数やスピーカ間隔)が予め全て分かっていないと、再生用の波面合成再生信号を演算することができない問題があった。
【0013】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、例えば波面合成技術を用いて臨場感のある音場を再生する場合に、波面合成コンテンツを制作したときに想定されていたスピーカ数やスピーカ間隔のスペックから、実際に使用する再生装置に応じて波面合成再生信号を演算し、合成音場を再生することが可能な、新規かつ改良された波面合成信号変換装置および波面合成信号変換方法を提供することにある。
【課題を解決するための手段】
【0014】
上記課題を解決するために、本発明のある観点によれば、波面合成再生条件が指定されている波面合成再生信号を異なる波面合成再生条件に適するように変換する波面合成信号変換装置であって、少なくとも再生スピーカ配置情報を含む波面合成再生信号の再生条件である波面合成再生条件情報を入力する波面合成再生条件情報入力部と、複数のチャネルの波面合成再生信号を入力する波面合成再生信号入力部と、波面合成再生条件情報から得た各チャネルの再生スピーカ位置を波面合成の1次音源位置として、波面合成再生信号入力部から入力された波面合成再生信号を、波面合成再生条件とは異なる各チャネルのスピーカ配置を有する新たな波面合成スピーカのための波面合成再生信号に変換する波面合成再生信号変換部と、を含むことを特徴とする、波面合成信号変換装置が提供される。
【0015】
かかる構成によれば、波面合成再生条件情報入力部は少なくとも再生スピーカ配置情報を含む波面合成再生信号の再生条件である波面合成再生条件情報を入力し、波面合成再生信号入力部は複数のチャネルの波面合成再生信号を入力し、波面合成再生信号変換部は、波面合成再生条件情報から得た各チャネルの再生スピーカ位置を波面合成の1次音源位置として、波面合成再生信号入力部から入力された波面合成再生信号を、波面合成再生条件とは異なる各チャネルのスピーカ配置を有する新たな波面合成スピーカのための波面合成再生信号に変換する。その結果、波面合成再生信号に指定された波面合成再生条件と異なる仕様のスピーカで再生しても、改めて波面合成信号を作り直す必要なく、所定の再生音場を再現することができる。
【0016】
新たな波面合成スピーカは直線型アレイスピーカであり、波面合成再生信号変換部は、1次音源位置からの波面を波面合成再生条件とは異なる各チャネルのスピーカ配置をもつ新たな波面合成スピーカで再生するための波面合成フィルタ係数を算出し、波面合成再生信号入力部から入力された複数のチャネルの波面合成再生信号に対してフィルタリングする。その結果、波面合成再生信号に指定された波面合成再生条件と異なる仕様のスピーカで再生しても、所定の再生音場を再現できるので、改めて波面合成信号を作り直す必要なく、所定の再生音場を再現することができる。
【0017】
波面合成再生条件情報入力部は、入力される複数のチャネルの波面合成再生信号の再生情報として、スピーカチャネル数とスピーカ間隔とを入力する。その結果、入力される複数のチャネルの波面合成再生信号の再生情報としてのスピーカチャネル数とスピーカ間隔と異なる再生装置であっても、所望するような音場を合成することができる。
【0018】
波面合成再生信号変換部は、波面合成再生信号入力部によって入力された複数のチャネルの波面合成再生信号から新たな波面合成スピーカのスピーカ配置での波面合成可能上限周波数を超える周波数成分を分離する高域周波数分離部と、高域周波数分離部で分離された波面合成信号成分を新たな波面合成スピーカのチャネルに割り当てる高域周波数成分チャネル割当部と、波面合成再生信号変換部により変換された各チャネルの波面合成再生信号と高域周波数成分チャネル割り当て部によって各チャネルに割り当てられた高域周波数成分信号とを混合する信号混合部と、を含む。その結果、波面合成周波数帯域の音像知覚を乱さないように波面合成が可能な上限周波数よりも高い周波数成分を含む信号を付加することができるので、より自然な音色を再現することができる。
【0019】
また、上記課題を解決するために、本発明の別の観点によれば、波面合成再生条件が指定されている波面合成再生信号を再生する波面合成再生装置であって、少なくとも再生スピーカ配置情報を含む波面合成再生信号の再生条件情報を入力する波面合成再生条件情報入力部と、複数のチャネルの波面合成再生信号を入力する波面合成再生信号入力部と、波面合成再生条件情報から得た各チャネルの再生スピーカ位置を波面合成の1次音源位置として、波面合成再生条件とは異なる各チャネルのスピーカ配置をもつ新たな波面合成スピーカのための波面合成再生信号に変換する波面合成再生信号変換部と、波面合成再生信号変換部で変換された信号を音響信号に変換して出力する波面合成スピーカと、波面合成再生信号入力部で得た複数のチャネルの波面合成再生信号の再生を制御する波面合成再生制御部と、を含み、波面合成再生制御部は、波面合成再生条件情報入力部で得た波面合成再生信号の再生条件情報のうち、スピーカチャネル数およびスピーカ間隔が波面合成スピーカのスピーカチャネル数およびスピーカ間隔と一致しない場合は、波面合成再生信号入力部で得た複数のチャネルの波面合成再生信号を波面合成再生信号変換部によって当該波面合成再生装置に適するように再合成してから波面合成スピーカに送るように制御し、波面合成スピーカのスピーカチャネル数およびスピーカ間隔と一致する場合には、波面合成再生信号入力部で得た複数のチャネルの波面合成再生信号を再合成することなく波面合成スピーカに送るように制御することを特徴とする、波面合成再生装置が提供される。
【0020】
かかる構成によれば、波面合成再生条件情報入力部は少なくとも再生スピーカ配置情報を含む波面合成再生信号の再生条件情報を入力し、波面合成再生信号入力部は複数のチャネルの波面合成再生信号を入力し、波面合成再生信号変換部は、波面合成再生条件情報から得た各チャネルの再生スピーカ位置を波面合成の1次音源位置として、波面合成再生条件とは異なる各チャネルのスピーカ配置をもつ新たな波面合成スピーカのための波面合成再生信号に変換する。そして波面合成再生制御部は、波面合成スピーカの仕様と波面合成再生条件情報とを比較して、条件が異なっていれば波面合成再生信号を波面合成再生信号変換部で変換するように制御する。その結果、波面合成再生信号に対する再生条件と波面合成再生装置の仕様とを比較して、必要に応じて波面合成再生信号の変換を行なうことができる。
【0021】
波面合成再生信号変換部は、波面合成再生信号入力部によって入力された複数のチャネルの波面合成再生信号から新たな波面合成スピーカのスピーカ配置での波面合成可能上限周波数を超える周波数成分を分離する高域周波数分離部と、高域周波数分離部で分離された波面合成信号成分を新たな波面合成スピーカのチャネルに割り当てる高域周波数成分チャネル割当部と、波面合成再生信号変換部により変換された各チャネルの波面合成再生信号と高域周波数成分チャネル割り当て部によって各チャネルに割り当てられた高域周波数成分信号とを混合する信号混合部と、を含む。その結果、波面合成周波数帯域の音像知覚を乱さないように波面合成が可能な上限周波数よりも高い周波数成分を含む信号を付加することができるので、より自然な音色を再現することができる。
【0022】
その結果、波面合成再生信号に指定された波面合成再生条件と異なる仕様のスピーカで再生しても、所定の再生音場を再現できるので、改めて波面合成信号を作り直す必要が無くなる。
【0023】
また、上記課題を解決するために、本発明のさらに別の観点によれば、波面合成再生条件が指定されている波面合成再生信号を異なる波面合成再生条件に適するように変換する波面合成信号変換方法であって、少なくとも再生スピーカ配置情報を含む波面合成再生信号の再生条件である波面合成再生条件情報を入力する波面合成再生条件情報入力ステップと、複数のチャネルの波面合成再生信号を入力する波面合成再生信号入力ステップと、波面合成再生条件情報から得た各チャネルの再生スピーカ位置を波面合成の1次音源位置として、波面合成再生信号入力ステップで入力された波面合成再生信号を、波面合成再生条件とは異なる各チャネルのスピーカ配置を有する新たな波面合成スピーカのための波面合成再生信号に変換する波面合成再生信号変換ステップと、を含むことを特徴とする、波面合成信号変換方法が提供される。
【0024】
かかる構成によれば、波面合成再生条件情報入力ステップは少なくとも再生スピーカ配置情報を含む波面合成再生信号の再生条件である波面合成再生条件情報を入力し、波面合成再生信号入力部ステップは複数のチャネルの波面合成再生信号を入力し、波面合成再生信号変換ステップは、波面合成再生条件情報から得た各チャネルの再生スピーカ位置を波面合成の1次音源位置として、波面合成再生信号入力ステップで入力された波面合成再生信号を、波面合成再生条件とは異なる各チャネルのスピーカ配置を有する新たな波面合成スピーカのための波面合成再生信号に変換する。その結果、波面合成再生信号に指定された波面合成再生条件と異なる仕様のスピーカで再生しても、改めて波面合成信号を作り直す必要なく、所定の再生音場を再現することができる。
【発明の効果】
【0025】
以上説明したように本発明によれば、波面合成技術を用いて臨場感のある音場を再生する場合に、波面合成コンテンツを制作したときに想定されていたスピーカ数やスピーカ間隔のスペックから、実際に使用する再生装置に応じて波面合成再生信号を演算し、合成音場を再生することが可能な、新規かつ改良された波面合成信号変換装置および波面合成信号変換方法を提供することができる。
【発明を実施するための最良の形態】
【0026】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0027】
まずアレイスピーカを用いた波面合成技術について説明する。アレイスピーカを用いて波面合成によって音場を再生するには、複数のスピーカユニットからなるアレイスピーカシステムに供給するための多チャンネルの再生信号(波面合成再生信号)を生成し、多チャンネルの再生信号に従って個々のスピーカユニットから音を出力する。個々のスピーカユニットから出力された音は、空間上で合成され、目的の音源の方向から音波が受聴者へ到来するように再生される。
【0028】
つまり、多チャンネルの再生信号はアレイスピーカシステムから音が出力された場合に波面を再現できるように作られており、例えば、武田他,“多チャンネルスピーカ再生を用いた波面合成に関する検討”日本音響学会講演論文集、pp407−408、2000年9月、に記載されているような方法で作成された信号を多チャンネル信号として用いることができる。そして、音源から到来する波面が受聴領域に再現されることになるので、音像については、広い受聴範囲で所定の位置への音像定位を得ることができる。
【0029】
図1は、映像や音声(以下、映像や音声を総称して「コンテンツ」とも称する)を制作するコンテンツ製作者が想定した波面合成再生用のアレイスピーカおよび標準受聴位置の例について説明する説明図である。図1では、波面合成再生用のアレイスピーカ1として、24チャネル、8cm間隔のアレイスピーカを例に挙げて説明している。また、コンテンツ製作者が想定した標準受聴位置2を、アレイスピーカ1の中央から2m離れた位置としている。
【0030】
コンテンツ製作者は、図1に示したようなアレイスピーカ1に適するように、楽器の演奏音などを1次音源として配置して、波面合成によって臨場感のある音場を再生するコンテンツを制作する。
【0031】
通常は、1次音源を、標準受聴位置2とアレイスピーカ1の端のスピーカユニットとを通る線の内側であって、アレイスピーカ1から、受聴者側より1m以遠の位置に配置する。例えば、図1に示した例では、1次音源を配置する領域を図1の符号3で示した点線の内側の領域に定めている。図1では、奥行き方向にも1次音源を配置する領域を制限したような領域設定となっている。これは人間の聴覚による距離知覚の性質上、3〜5m程度音源から離れると波面情報の距離知覚への影響は小さくなり、近くされる距離は到来音のレベルや反射・残響音の程度に依存するようになるので、波面合成によって音場を再生する場合の音源は標準受聴位置2から3〜5m程度離れた位置までに配置し、それよりも遠方の音源は、レベル調整や反射・残響音の付加の調整で対処できるためである。
【0032】
なお、1次音源には、受聴者に直接到来する音の他に、仮想的に設けた壁面からの反射音や残響音も、波面合成で再現する音源として含めることができる。例えば、1次音源として音源a(符号4a)を配置した場合、別の音源a’(符号4a’)を音源aがステージの背後の壁面から反射してきたものとして配置することができる。この場合、音源a’は、音源aに時間遅延や残響処理を加えたものを配置する。
【0033】
図2は、コンテンツ製作者が想定した波面合成再生用のアレイスピーカ(例えば図1に示したアレイスピーカ1)とは異なるアレイスピーカの例について説明する説明図である。図2では、波面合成再生用のアレイスピーカ1aとして、16チャネル、6cm間隔のアレイスピーカを例に挙げて説明している。
【0034】
図2に示したアレイスピーカ1aは、コンテンツ製作者が想定したアレイスピーカ1と構成が異なるため、図1に示したアレイスピーカおよび標準受聴位置を想定して制作されたコンテンツをそのまま再生することはできない。
【0035】
図3は、コンテンツ製作者が想定した波面合成再生用のアレイスピーカ(例えば図1に示したアレイスピーカ1)とは異なるアレイスピーカの別の例について説明する説明図である。図3では、波面合成再生用のアレイスピーカ1bとして、8チャネル、6cm間隔のアレイスピーカを例に挙げて説明している。
【0036】
図3に示したアレイスピーカ1bも、図2に示したアレイスピーカ1aと同様に、コンテンツ製作者が想定したアレイスピーカ1と構成が異なるため、図1に示したアレイスピーカおよび標準受聴位置を想定して制作されたコンテンツをそのまま再生することはできない。
【0037】
本実施形態では、図1に示したアレイスピーカおよび標準受聴位置を想定して制作されたコンテンツを、図2や図3のように想定したものとは異なるアレイスピーカで再生するために、波面合成再生信号を変換することで、想定したアレイスピーカと異なるアレイスピーカで再生するための波面合成信号変換装置および波面合成信号変換方法について説明する。
【0038】
図2および図3に示したアレイスピーカ1a、1bと、図1に示したアレイスピーカ1との位置関係を示すために、図2および図3では、アレイスピーカ1を点線で示している。このような位置関係を設定することによって、標準受聴位置2ではあたかも本来のアレイスピーカ1が存在し、アレイスピーカ1から波面合成による音が放射されているかのような音場が合成され、コンテンツ製作者が想定した本来の1次音源から出ているような音を聴くことができる。
【0039】
このような場合、波面合成用の本来のアレイスピーカ1の各スピーカチャネルの位置を新たな1次音源位置として、この新たな1次音源位置から放射される音波面を、実際に使用するアレイスピーカ1a、1bからの音波面の合成で再現する。そのために、アレイスピーカ1a、1bからの音波面の合成で再現するような波面合成フィルタを波面合成再生スピーカ変換フィルタとして、アレイスピーカ1a、1bの前に挿入する。
【0040】
図4は、本発明の一実施形態にかかる波面合成フィルタの設定について説明する説明図である。図4では、図2に示したアレイスピーカ1aで、コンテンツ製作者が想定した本来の1次音源から出ているような音場を再現するための波面合成フィルタの生成方法について説明するものである。具体的には、アレイスピーカ1の各チャネルのスピーカユニットu、u、・・・、u24を1次音源として、それぞれのスピーカユニットから放射される波面を、アレイスピーカ1aを使って再現するための波面合成フィルタh1.1,h1.2,・・・,h1.16,h2.1,h2.2,・・・,h2.16,・・・,h24.1,h24.2,・・・,h24.16の生成方法について説明する。
【0041】
1次音源、例えばuから、アレイスピーカ1aの前面に設けられた制御エリア内の制御点jまでの伝達特性をa1.jとすると、1次音源uによる制御点jでの応答はu・a1.jで表される(図4(a)参照)。
【0042】
他方、16個のスピーカユニットw、w、・・・、w16からなるアレイスピーカ1aが制御点jに作る応答は、スピーカユニットw、w、・・・、w16から制御点jまでの伝達特性をcj.1、cj.2、・・・、cj.16とすると、u・h1.1・cj.1+・・・+u・h1.k・cj.k+・・・+u・h1.16・cj.16となる(図4(b)参照)。
【0043】
1次音源uに関する波面合成フィルタは、制御エリア内の全ての制御点に対して、元の音場(原音場)の応答と波面合成による応答の差、すなわち再現エラーが最小となるように演算する。詳細は、例えば前掲した、武田他,“多チャンネルスピーカ再生を用いた波面合成に関する検討”日本音響学会講演論文集、pp407−408、2000年9月、に記載されているような方法で作成することができる。
【0044】
このように波面合成フィルタを作成することで、標準受聴位置2ではあたかも本来のアレイスピーカ1が存在し、アレイスピーカ1から波面合成による音が放射されているかのような音場が合成され、コンテンツ製作者が想定した本来の1次音源から出ているような音を聴くことができる。
【0045】
上述した変換処理は、波面合成が精度良く行える波面合成上限周波数よりも低い周波数成分についてのみ当てはまる。波面合成が精度良く行える波長は、スピーカユニット間隔が1/2波長よりも短い場合、つまりスピーカ間隔の2倍よりも長い波長の場合である。従って、波面合成上限周波数fは、音速を340m/秒とすると、f={(340/2)/スピーカユニット間隔}[Hz]で算出される。
【0046】
なお、実際には、音の波面とアレイスピーカとの角度θは、図1に示したように1次音源の配置範囲が制限されれば、θ値の上限も制限されることになる。従って、図10に示したように、波面合成上限周波数fは1/sinθ倍に上昇する。つまり、θが90度の場合はsinθ=1になるので、波面合成上限周波数fh90はfh90={(340/2)/スピーカユニット間隔}[Hz]となり、それ以外の角度での波面合成上限周波数fは、f=fh90×1/sinθ[Hz]となる。
【0047】
従って、実際の波面合成による音源は、波面合成上限周波数よりも高い周波数もアレイスピーカから出力するように作られていることが多い。
【0048】
図5は、波面合成上限周波数よりも高い周波数成分の音をアレイスピーカから出力する場合の一例について説明する説明図である。図5に示した例では、高域周波数成分についてはアレイスピーカ1の両端に位置するスピーカユニットを用いて、インテンシティステレオと同様に左右のレベル差を制御している。
【0049】
また、図2や図3に示したアレイスピーカ1a、1bであっても、同様に両端のスピーカユニットを用いて、インテンシティステレオと同様に左右のレベル差を制御してもよい。これらの場合、波面合成を行う波面合成周波数帯域成分と、高域周波数成分とが同期して標準受聴位置2に到達するように、標準としているアレイスピーカ1との位置の違いを下に、時間軸の調整を行うことが望ましい。
【0050】
なお、厳密には想定された標準受聴位置2から離れた受聴位置では、波面合成周波数帯域成分と高域周波数成分との時間差が生じてしまうが、音像定位判断に重要で、かつ、エネルギーが大きい中・低域周波数成分が波面合成で正確に音場合成できており、音場合成により音像知覚がなされるので、波面合成周波数帯域成分と高域周波数成分との時間差が音像を不自然にすることはない。
【0051】
図6は、波面合成上限周波数よりも高い周波数成分の音をアレイスピーカから出力する場合の別の例について説明する説明図である。図6に示した例では、高域周波数成分を含む1次音源について、標準受聴位置2から見て1次音源方向に最も近い方向にあるアレイスピーカのスピーカユニットから高域周波数成分を出力する場合について説明するものである。
【0052】
例えば、図6に示したように高域周波数成分を含む1次音源A、B、Cがある場合、コンテンツ製作者が標準として想定した24チャネルのアレイスピーカ1の内、5番のスピーカユニットから1次音源Aの高域周波数成分を出力する。同様に、9番のスピーカユニットから1次音源Bの高域周波数成分を出力し、21番のスピーカユニットから1次音源Cの高域周波数成分を出力する。
【0053】
同様に、標準として想定したものとは異なるアレイスピーカ1a、1bの場合であっても、標準受聴位置2から見て1次音源方向に最も近い方向にあるアレイスピーカのスピーカユニットから高域周波数成分を出力する。例えば、16チャネルのアレイスピーカ1aであれば、4番のスピーカユニットから1次音源Aの高域周波数成分を出力し、6番のスピーカユニットから1次音源Bの高域周波数成分を出力し、14番のスピーカユニットから1次音源Cの高域周波数成分を出力する。また、8チャネルのアレイスピーカ1bであれば、2番のスピーカユニットから1次音源Aの高域周波数成分を出力し、同様に、3番のスピーカユニットから1次音源Bの高域周波数成分を出力し、7番のスピーカユニットから1次音源Cの高域周波数成分を出力する。
【0054】
図6では、本来の1次音源A、B、Cの場所が分かっている。しかし、波面合成用の24チャネルの信号からは、本来の1次音源の位置を知ることは難しい。このような場合では、標準としている24チャネルのスピーカユニットを新たな1次音源として、標準受聴位置2から24チャネルのスピーカユニットが見える方向ができるだけ同じになるように、16チャネルや8チャネルのそれぞれのスピーカユニットに信号を割り当てる。
【0055】
図7は、波面合成周波数帯域を越える高域周波数成分を担当するスピーカユニットの割り当てについて説明する説明図である。図7のアレイスピーカ1a、1bの各スピーカユニットに付された数字は、アレイスピーカ1の各スピーカユニットの番号を表している。
【0056】
図7を用いて高域周波数成分を担当するスピーカユニットの割り当てについて説明すると、16チャネルのアレイスピーカ1aの場合、左から1番目のスピーカユニットにアレイスピーカ1の1番のスピーカユニットを割り当てる。以下、2番目のスピーカユニットにアレイスピーカ1の2番および3番のスピーカユニット、3番目のスピーカユニットにアレイスピーカ1の4番のスピーカユニット、・・・と順次割り当てていく。同様に、8チャネルのアレイスピーカ1bの場合、左から1番目のスピーカユニットにアレイスピーカ1の1番および2番のスピーカユニットを割り当てる。以下、2番目のスピーカユニットにアレイスピーカ1の3番〜5番のスピーカユニット、3番目のスピーカユニットにアレイスピーカ1の6〜9番のスピーカユニット、・・・と順次割り当てていく。
【0057】
このとき、波面合成周波数帯域成分とのタイミングを合わせるために、標準としているアレイスピーカ1との位置の違いを基に時間軸を調整する。このように、波面合成周波数帯域を越える高域周波数成分を担当するスピーカユニットを割り当てていくことで、標準とは異なるアレイスピーカから音を出力する場合であっても、波面合成によって音場を合成して再生することができる。
【0058】
実際の波面合成音源が、上述した2つの例のどちらを用いているのかは、波面合成によって再生されるコンテンツの全てのチャネルを周波数分析すれば分かる。従って、コンテンツ再生前に周波数分析を行うことで、どちらの例を用いて高域周波数に対する処理を行っているかを判断することで、高域周波数に対する処理を設定することができる。
【0059】
本発明の一実施形態にかかる波面合成信号変換装置および波面合成信号変換方法は、このような技術的思想を基にしたものである。以下、本発明の一実施形態にかかる波面合成信号変換装置および波面合成信号変換方法について詳細に説明する。
【0060】
次に、本発明の一実施形態にかかる波面合成信号変換装置および波面合成信号変換方法の詳細について説明する。図8は、本発明の一実施形態にかかる音場再生装置10について説明する説明図である。以下、図8を用いて本発明の一実施形態にかかる音場再生装置10の構成について説明する。
【0061】
図8に示したように、本発明の一実施形態にかかる音場再生装置10は、データ入力部110と、データ復号部112と、逆多重化部114と、音声データデコード部120と、メタデータデコード部122と、波面合成再生信号変換部130と、音声出力部150と、字幕データデコード部170と、字幕再生部172と、映像データデコード部180と、映像再生部182と、字幕スーパーインポーズ部190と、表示部192と、を含んで構成される。音声出力部150は、アンプ152と、アレイスピーカ154と、を含んで構成される。
【0062】
データ入力部110は、音場再生装置10で再生するコンテンツデータ(映像データ及び音声データ)の入力を行うものである。コンテンツデータの入力元は、例えばCD−ROM、DVD−ROM、その他の数百メガ〜数ギガバイト以上の大容量を有する光ディスクであっても良く、ネットワーク経由で受信したデータであってもよい。データ入力部110に入力されるコンテンツデータは、所定の符号化方式で符号化されており、容量が圧縮されている。データ入力部110で入力されたコンテンツデータはデータ復号部112に送られる。
【0063】
データ復号部112は、データ入力部110で入力されたコンテンツデータを受け取り、所定の符号化方式で符号化されたデータを、その符号化方式に対応する復号方式によって復号して出力するものである。データ復号部112で復号されたデータは逆多重化部114に送られる。
【0064】
逆多重化部114は、データ復号部112で復号したデータに対して逆多重化処理を施し、映像データ、音声データ、字幕データおよびメタデータを抽出するものである。抽出したそれぞれのデータは、音声データデコード部120、メタデータデコード部122、字幕データデコード部170、映像データデコード部に送られる。
【0065】
音声データデコード部120は、逆多重化部114で逆多重化した信号から音声データをデコードして抽出する。音声データデコード部120で抽出する音声データには、仮想音源を形成するためのmチャネルの音声情報および音源位置情報が含まれる。音声情報には、各仮想音源の種類や出力レベル、音の持続時間等の情報を含めることができる。音声データデコード部120で抽出される音声データに関する信号を波面合成再生信号と称する。
【0066】
メタデータデコード部122は、逆多重化部114で逆多重化した信号から、コンテンツデータに付随する、音声データを再生するためのメタデータをデコードして抽出する。メタデータデコード部122で抽出するメタデータには、コンテンツ製作者が想定した標準再生条件データが含まれる。標準再生条件データとしては、スピーカのチャネル数、アレイスピーカを構成するスピーカユニットの間隔、標準受聴位置の情報が含まれる。
【0067】
標準受聴位置の情報は、アレイスピーカの中心位置からの絶対距離で設定してもよく、スピーカユニットの間隔とスピーカのチャネル数との積から算出されるアレイスピーカの全長を基準としたアレイスピーカの中心位置からの距離で設定してもよい。標準受聴位置の情報をアレイスピーカの全長を基準としたアレイスピーカの中心位置からの距離で設定する場合には、例えば、アレイスピーカの中心位置からの距離をアレイスピーカの全長の1倍から2倍の間に設定してもよい。
【0068】
波面合成再生信号変換部130は、音声データデコード部120およびメタデータデコード部122から出力されるデータを受け取って、音場再生装置10の構成に適した波面合成再生信号に変換して出力するものである。
【0069】
波面合成再生信号変換部130には、音場再生装置10のスピーカのチャネル数およびアレイスピーカを構成するスピーカユニットの間隔(以下、音場再生装置10のスピーカのチャネル数およびアレイスピーカを構成するスピーカユニットの間隔を総称して「実再生条件」とも称する)が、音声出力部150から送られる。コンテンツ製作者が想定した再生条件と、実再生条件とを用いることで、想定された再生条件と実再生条件とが異なっている場合には、上述したように、想定された再生条件におけるスピーカユニット位置を、実際に再生する音場再生装置10での1次音源位置とする波面合成フィルタが算出できる。波面合成フィルタの算出によって、波面合成再生信号変換部130において実際の再生環境に適した波面合成再生信号を得るための波面合成再生信号の変換処理を行うことができる。
【0070】
なお、想定された再生条件と実再生条件とが一致している場合には、波面合成再生信号変換部130では波面合成再生信号の変換処理を行わずに、音声データデコード部120で抽出された波面合成再生信号をそのまま音声出力部150に入力してもよい。
【0071】
アンプ152は、波面合成再生信号変換部130で生成された波面合成再生信号を、アレイスピーカ154での再生のために増幅するものである。アレイスピーカ154は、n個のスピーカユニット(図示せず)から音声を出力するものである。アレイスピーカ154から出力される音声は、波面合成されて波面を形成する。また、アレイスピーカ154から波面合成によって音声を出力することで、空間上に仮想的に音源を配し、その音源から音声が発せられているような音場を再生することができる。
【0072】
字幕データデコード部170は、逆多重化部114で逆多重化した信号から字幕データをデコードして抽出する。字幕再生部172は、字幕データデコード部170で抽出した字幕データの再生を行う。映像データデコード部180は、逆多重化部114で逆多重化した信号から映像データをデコードして抽出する。映像再生部182は、映像データデコード部180で抽出した映像データの再生を行う。字幕スーパーインポーズ部190は、映像データに字幕データを重ね合わせる処理を行う。表示部192は、字幕データが重ね合わされた映像データを表示する。
【0073】
本発明の一実施形態にかかる音場再生装置10は、アレイスピーカ154のスピーカユニットの個数やスピーカユニット間の間隔が、コンテンツ製作者が想定したものと異なっている場合には、波面合成再生信号変換部130で実際の再生環境に適した波面合成再生信号を得るための波面合成再生信号の変換処理を行うことにより、コンテンツ製作者が想定したような音場を再現することができる。
【0074】
なお、本実施形態では、表示部192は音場再生装置10の一部として構成したが、液晶ディスプレイやプラズマディスプレイ等の外部の映像表示装置に対して字幕スーパーインポーズ部190からのデータを出力するようにしてもよい。
【0075】
以上、図8を用いて本発明の一実施形態にかかる音場再生装置10の構成について説明した。次に、本発明の一実施形態にかかる波面合成再生信号変換部130の構成について説明する。
【0076】
図9は、本発明の一実施形態にかかる波面合成再生信号変換部130の構成について説明する説明図である。以下、図9を用いて本発明の一実施形態にかかる波面合成再生信号変換部130の構成について説明する。
【0077】
図9に示したように、本発明の一実施形態にかかる波面合成再生信号変換部130は、周波数分析部132と、周波数帯域分離部134と、フィルタ係数作成部136と、高域周波数成分チャネル割当部138と、波面合成再生信号生成部140と、信号混合部142と、を含んで構成される。
【0078】
周波数分析部132は、音声データデコード部120で抽出される音声データを入力し、再生される音声の周波数を分析するものである。分析した結果は高域周波数成分チャネル割当部138に送られる。
【0079】
周波数帯域分離部134は、音声データデコード部120で抽出される音声データと、音声出力部150から送られる実再生条件データとを入力し、波面合成上限周波数より高い周波数の成分と低い周波数の成分とに分離して出力するものである。波面合成上限周波数より高い周波数帯域の成分は高域周波数成分チャネル割当部138に送られ、波面合成上限周波数より低い周波数帯域(波面合成帯域)の成分は波面合成再生信号生成部140に送られる。
【0080】
波面合成上限周波数は、上述したように、アレイスピーカ面と波面との角度θによっても変化するが(図10参照)、既に波面合成再生用に作られた多チャネル音源からはオリジナルの1次音源の位置が分からないことが多く、そのためにθの上限値も分からない。そこで本実施形態では常識的な音源配置としてθを25度〜40度程度と考えて、{(340/2)/スピーカユニット間隔}[Hz]で算出される値の約1.5倍(≒1/sin40°)〜2.3倍(≒1/sin25°)程度の値を、周波数帯域分離部134で分離するための波面合成上限周波数とする。
【0081】
フィルタ係数作成部136は、メタデータデコード部122で抽出されるメタデータに含まれる標準再生条件データと、音声出力部150から送られる実再生条件データとを入力し、標準再生条件を実再生条件に変換するための波面合成フィルタのフィルタ係数を作成するものである。
【0082】
標準再生条件を実条件に変換するための波面合成フィルタ係数の作成は、図2や図3の標準再生でのスピーカ位置(アレイスピーカ1の位置)を1次音源位置としたときの波面合成フィルタ係数を、図4に示したような考え方で算出したものである。波面合成フィルタ係数は、例えば前掲した、武田他,“多チャンネルスピーカ再生を用いた波面合成に関する検討”日本音響学会講演論文集、pp407−408、2000年9月、に記載されているような方法で作成することができる。
【0083】
高域周波数成分チャネル割当部138は、周波数分析部132での分析結果と、周波数帯域分離部134で分離したmチャネルの高域周波数帯域の信号とを入力し、高域周波数帯域を出力するチャネルの割り当てと時間軸の調整を行うものである。高域周波数成分チャネル割当部138で出力する信号は、実再生条件に合わせるためにnチャネルの信号となる。
【0084】
波面合成再生信号生成部140は、周波数帯域分離部134で分離した波面合成帯域の信号と、フィルタ係数作成部136で作成された波面合成フィルタのフィルタ係数を入力し、実再生条件で波面合成を行うための波面合成信号を生成するものである。
【0085】
波面合成再生信号生成部140では、各チャネル信号と波面合成フィルタとの畳み込みにより、標準再生条件での各チャネルを1次音源として、実再生条件で波面合成するための波面合成信号を生成する。波面合成再生信号生成部140で生成されたnチャネルの波面合成信号は信号混合部142に送られる。
【0086】
信号混合部142は、波面合成再生信号生成部140で生成されたnチャネルの波面合成信号と、高域周波数成分チャネル割当部138から出力されたnチャネルの信号とを、実再生条件のスピーカユニットのチャネルごとに混合して出力するものである。信号混合部142においてnチャネルの波面合成帯域と高域周波数帯域とをチャネルごとに混合することによって、最終的な実再生条件でのnチャネル波面合成再生信号が生成される。
【0087】
以上、図9を用いて本発明の一実施形態にかかる波面合成再生信号変換部130の構成について説明した。このように波面合成再生信号変換部130を構成することによって、コンテンツ製作者がコンテンツを作成したときに想定したアレイスピーカと異なっている場合には、波面合成再生信号変換部130において実環境に合わせるように波面合成再生信号を変換することができる。
【0088】
なお、上述した処理は、音場再生装置の内部に記憶部を設け、記憶部に記憶されたコンピュータプログラムを順次呼び出して実行されるようにしてもよい。記憶部として、各種のROM(Read Only Memory)を用いてもよい。
【0089】
以上説明したように、本実施形態によれば、音場合成の際の再生用アレイスピーカが、コンテンツ製作者がコンテンツを作成したときに想定したアレイスピーカと異なっている場合であっても、波面合成再生信号を実環境に合わせて変換することで、コンテンツを初めから作り直す必要は無くなり、コンテンツの流用やコンテンツ制作条件の標準化をすることができる。
【0090】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【0091】
例えば、上記実施形態では、直線型のアレイスピーカから音声を出力する場合について説明したが、本発明はかかる例に限定されない。波面合成は直線型のアレイスピーカ以外のスピーカ配置でも行なうことができるので、アレイスピーカが直線状以外の円弧状、L字型、コの字型の間の変換でも、標準としたアレイスピーカのユニットを新たな1次音源として実際のアレイスピーカで波面合成し、さらに、高域周波数成分は標準としたアレイスピーカユニットを見通す方向のスピーカユニットに割り当てることで、上記実施形態と同様に、コンテンツ製作者が想定した環境と異なる環境であっても、実際に使用する再生装置に応じて波面合成再生信号を演算し、合成音場を再生することができる。
【図面の簡単な説明】
【0092】
【図1】コンテンツ製作者が想定した波面合成再生用のアレイスピーカおよび標準受聴位置の例について説明する説明図である。
【図2】コンテンツ製作者が想定した波面合成再生用のアレイスピーカとは異なるアレイスピーカの例について説明する説明図である。
【図3】コンテンツ製作者が想定した波面合成再生用のアレイスピーカとは異なるアレイスピーカの別の例について説明する説明図である。
【図4】本発明の一実施形態にかかる波面合成フィルタの設定について説明する説明図である。
【図5】波面合成上限周波数よりも高い周波数成分の音をアレイスピーカから出力する場合の一例について説明する説明図である。
【図6】波面合成上限周波数よりも高い周波数成分の音をアレイスピーカから出力する場合の別の例について説明する説明図である。
【図7】波面合成周波数帯域を越える高域周波数成分を担当するスピーカユニットの割り当てについて説明する説明図である。
【図8】本発明の一実施形態にかかる音場再生装置10について説明する説明図である。
【図9】本発明の一実施形態にかかる波面合成再生信号変換部130の構成について説明する説明図である。
【図10】波面合成上限周波数の変化について説明する説明図である。
【符号の説明】
【0093】
1、1a、1b アレイスピーカ
2 標準受聴位置
10 音場再生装置
110 データ入力部
112 データ復号部
114 逆多重化部
120 音声データデコード部
122 メタデータデコード部
130 波面合成再生信号変換部
132 周波数分析部
134 周波数帯域分離部
136 フィルタ係数作成部
138 チャネル割当部
140 波面合成再生信号生成部
142 信号混合部
150 音声出力部
152 アンプ
154 アレイスピーカ
170 字幕データデコード部
172 字幕再生部
180 映像データデコード部
182 映像再生部
190 字幕スーパーインポーズ部
192 表示部


【特許請求の範囲】
【請求項1】
波面合成再生条件が指定されている波面合成再生信号を異なる波面合成再生条件に適するように変換する波面合成信号変換装置であって、
少なくとも再生スピーカ配置情報を含む波面合成再生信号の再生条件である波面合成再生条件情報を入力する波面合成再生条件情報入力部と;
複数のチャネルの波面合成再生信号を入力する波面合成再生信号入力部と;
前記波面合成再生条件情報から得た各チャネルの再生スピーカ位置を波面合成の1次音源位置として、前記波面合成再生信号入力部から入力された前記波面合成再生信号を、前記波面合成再生条件とは異なる各チャネルのスピーカ配置を有する新たな波面合成スピーカのための波面合成再生信号に変換する波面合成再生信号変換部と;
を含むことを特徴とする、波面合成信号変換装置。
【請求項2】
前記新たな波面合成スピーカは直線型アレイスピーカであり、
前記波面合成再生信号変換部は、前記1次音源位置からの波面を前記波面合成再生条件とは異なる各チャネルのスピーカ配置をもつ新たな波面合成スピーカで再生するための波面合成フィルタ係数を算出し、前記波面合成再生信号入力部から入力された複数のチャネルの波面合成再生信号に対してフィルタリングすることを特徴とする、請求項1に記載の波面合成信号変換装置。
【請求項3】
前記波面合成再生条件情報入力部は、入力される複数のチャネルの前記波面合成再生信号の再生情報として、スピーカチャネル数とスピーカ間隔とを入力することを特徴とする、請求項2に記載の波面合成信号変換装置。
【請求項4】
前記波面合成再生信号変換部は、
前記波面合成再生信号入力部によって入力された複数のチャネルの波面合成再生信号から新たな波面合成スピーカのスピーカ配置での波面合成可能上限周波数を超える周波数成分を分離する高域周波数分離部と;
前記高域周波数分離部で分離された波面合成信号成分を新たな波面合成スピーカのチャネルに割り当てる高域周波数成分チャネル割り当て部と;
前記波面合成再生信号変換部により変換された各チャネルの波面合成再生信号と前記高域周波数成分チャネル割り当て部によって各チャネルに割り当てられた高域周波数成分信号とを混合する信号混合部と;
を含むことを特徴とする、請求項1に記載の波面合成信号変換装置。
【請求項5】
波面合成再生条件が指定されている波面合成再生信号を再生する波面合成再生装置であって、
少なくとも再生スピーカ配置情報を含む波面合成再生信号の再生条件情報を入力する波面合成再生条件情報入力部と;
複数のチャネルの前記波面合成再生信号を入力する波面合成再生信号入力部と;
前記波面合成再生条件情報から得た各チャネルの再生スピーカ位置を波面合成の1次音源位置として、前記波面合成再生条件とは異なる各チャネルのスピーカ配置をもつ新たな波面合成スピーカのための波面合成再生信号に変換する波面合成再生信号変換部と;
前記波面合成再生信号変換部で変換された信号を音響信号に変換して出力する波面合成スピーカと;
前記波面合成再生信号入力部で得た複数のチャネルの波面合成再生信号の再生を制御する波面合成再生制御部と;
を含み、
前記波面合成再生制御部は、前記波面合成再生条件情報入力部で得た波面合成再生信号の再生条件情報のうち、スピーカチャネル数およびスピーカ間隔が前記波面合成スピーカのスピーカチャネル数およびスピーカ間隔と一致しない場合は、前記波面合成再生信号入力部で得た複数のチャネルの波面合成再生信号を前記波面合成再生信号変換部によって当該波面合成再生装置に適するように再合成してから前記波面合成スピーカに送るように制御し、前記波面合成スピーカのスピーカチャネル数およびスピーカ間隔と一致する場合には、前記波面合成再生信号入力部で得た複数のチャネルの波面合成再生信号を再合成することなく前記波面合成スピーカに送るように制御することを特徴とする、波面合成再生装置。
【請求項6】
前記波面合成再生信号変換部は、
前記波面合成再生信号入力部によって入力された複数のチャネルの波面合成再生信号から新たな波面合成スピーカのスピーカ配置での波面合成可能上限周波数を超える周波数成分を分離する高域周波数分離部と;
前記高域周波数分離部で分離された波面合成信号成分を新たな波面合成スピーカのチャネルに割り当てる高域周波数成分チャネル割り当て部と、
前記波面合成再生信号変換部により変換された各チャネルの波面合成再生信号と前記高域周波数成分チャネル割り当て部によって各チャネルに割り当てられた高域周波数成分信号とを混合する信号混合部と;
を含むことを特徴とする、請求項5に記載の波面合成信号変換装置。
【請求項7】
波面合成再生条件が指定されている波面合成再生信号を異なる波面合成再生条件に適するように変換する波面合成信号変換方法であって、
少なくとも再生スピーカ配置情報を含む波面合成再生信号の再生条件である波面合成再生条件情報を入力する波面合成再生条件情報入力ステップと;
複数のチャネルの前記波面合成再生信号を入力する波面合成再生信号入力ステップと;
前記波面合成再生条件情報から得た各チャネルの再生スピーカ位置を波面合成の1次音源位置として、前記波面合成再生信号入力ステップで入力された前記波面合成再生信号を、前記波面合成再生条件とは異なる各チャネルのスピーカ配置を有する新たな波面合成スピーカのための波面合成再生信号に変換する波面合成再生信号変換ステップと;
を含むことを特徴とする、波面合成信号変換方法。


【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate