説明

音響信号変換装置およびそのプログラム、ならびに、3次元音響パンニング装置およびそのプログラム

【課題】3次元音響再生の基本単位となる再生側の3つのチャンネルを自動的に選択して、原音響信号をチャンネル数が異なる再生音響信号に変換することが可能な音響信号変換装置を提供する。
【解決手段】音響信号変換装置1は、3つの再生スピーカの方向で特定される方向領域に原スピーカの方向を包含する再生スピーカを決定する再生チャンネル決定手段42と、原スピーカの位置と、決定された再生スピーカの各位置とに基づいて、原音響信号の受音点における音響物理量と、決定された再生スピーカに対応する再生音響信号の受音点における音響物理量とが一致する各再生スピーカに対する原音響信号の分配比率を重み係数として計算する重み係数計算手段43と、原音響信号を重み係数に基づいて分配して、再生スピーカに対応したチャンネル数の再生音響信号を生成する音響信号分配手段50と、を備えることを特徴とする。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、あるチャンネル数に対応する音響信号を、そのチャンネル数と異なるチャンネル数に対応する音響信号に変換する音響信号変換装置およびそのプログラム、ならびに、3次元音響パンニング装置およびそのプログラムに関する。
【背景技術】
【0002】
従来、5.1チャンネルサラウンドシステム用の音響信号を、2チャンネルステレオシステム用の音響信号に変換するダウンミックス法については、ITU−R(国際電気通信連合 無線通信部門)の規格で定められている。
【0003】
また、これ以外に、ある音響システム用に制作されたコンテンツ(音響信号)を、チャンネル数やスピーカ数が異なる他の音響システム用のコンテンツ(音響信号)に変換する技術が種々開示されている(例えば、特許文献1参照)。
この特許文献1に記載された発明は、原音場での音響信号(原音響信号)の物理量を成分とする原音場ベクトルと、再生音場での音響信号(再生音響信号)の物理量を成分とする原音場ベクトルとの二乗誤差が最小となる変換行列を求め、原音響信号を、再生音場における予め定めたスピーカ(チャンネル)に対応する再生音響信号に変換するものである。
【0004】
また、近年、複数のスピーカを用いて、仮想音像を、上下方向、左右方向、前後方向の3次元的にパンニングする技術が種々開示されている(例えば、特許文献2参照)。
この特許文献2に記載された発明は、受音点における音圧の方向を示す音圧ベクトル等の音響物理量ベクトルを、音声エンジニアが想定する仮想音像と、実際の3次元音響システムにおいて複数のスピーカにより形成される音像とで一致させることで、音響信号を予め定めた複数のスピーカに対応する音響信号に変換するものである。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2009−218655号公報
【特許文献2】特開2007−194900号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
前記した従来の技術によれば、音響信号のチャンネル数を任意に変換でき、例えば、スーパーハイビジョン用の22.2マルチチャンネルシステムや、WFS(Wave Field Synthesis)など、多数のスピーカを用いる音響システム用のコンテンツを、家庭などの少ないスピーカ数で再生可能なコンテンツに変換することができる。また、例えば、22.2マルチチャンネルシステムのコンテンツを制作する際に、5.1チャンネルサラウンドシステム用に制作されたコンテンツを利用することができる。
【0007】
しかし、従来の技術は、元のチャンネルの音響信号ごとに、音響信号を分配するための変換後の複数のチャンネル(スピーカ)を予め定めておく必要があった。すなわち、従来の技術は、チャンネル数やスピーカ数が異なる他の音響システム用の音響信号に変換する場合、臨場感を損なわずに、予め定めたチャンネル(スピーカ)の再生音響信号に変換することはできるが、多数のチャンネル(スピーカ)の中から、3次元音響再生の基本単位となる3つのチャンネルを自動的に選択する手法が開示されていなかった。
【0008】
また、このように、あるチャンネル数に対応する音響信号を、そのチャンネル数と異なるチャンネル数に対応する音響信号に変換する際に、変換後のチャンネルを自動的に選択する技術は、従来存在せず、その自動化が強く要望されていた。
【0009】
本発明は、以上のような要望に鑑みてなされたものであり、あるチャンネル数に対応する音響信号を、チャンネル数が異なる音響信号に変換する際に、再生側のチャンネルの中から、3次元音響再生の基本単位となる3つのチャンネルを自動的に選択することが可能な音響信号変換装置およびそのプログラム、ならびに、3次元音響パンニング装置およびそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【0010】
本発明は、前記課題を解決するために創案されたものであり、まず、請求項1に記載の音響信号変換装置は、1以上のチャンネル数の原音響信号をチャンネル数の異なる再生音響信号に変換する音響信号変換装置において、記憶手段と、再生チャンネル決定手段と、重み係数計算手段と、音響信号分配手段と、を備える構成とした。
【0011】
かかる構成において、音響信号変換装置は、記憶手段に、原音響信号のチャンネルに対応する原スピーカの位置と、再生音響信号のチャンネルに対応する再生スピーカの位置とを記憶する。これらの位置は、3次元音響空間における受音点を原点とした座標位置である。
そして、音響信号変換装置は、再生チャンネル決定手段によって、記憶手段に記憶されている各スピーカの位置に基づいて、原スピーカごとに、3次元音響空間における受音点を原点として、3つの再生スピーカの方向で特定される方向領域に、当該原スピーカの方向を包含する3つの再生スピーカの組を決定する。これによって、1つの原スピーカの原音響信号を3次元空間上で再生可能な3つの再生スピーカが選択されることになる。
【0012】
そして、音響信号変換装置は、重み係数計算手段によって、原スピーカの位置と、当該原スピーカに対して再生チャンネル決定手段で決定された再生スピーカの組の各位置とに基づいて、原スピーカに対応する原音響信号の受音点における音響物理量と、決定された再生スピーカの組に対応する再生音響信号の受音点における音響物理量とが一致するように予め定めた演算式により、再生スピーカの組の各再生スピーカに対する原音響信号の分配比率を、重み係数として計算する。なお、この分配比率は、1つの原スピーカの位置と、3つの再生スピーカの位置とが特定されれば、受音点において音響物理量が一致する条件のものとで、原スピーカに対応する原音響信号に対する各再生チャンネルの分配比率(重み係数)は一意に特定されることになる。
そして、音響信号変換装置は、音響信号分配手段によって、1以上のチャンネル数の原音響信号を、重み係数計算手段で計算された原スピーカに対する再生スピーカへの重み係数に基づいて分配して、再生スピーカに対応したチャンネル数の再生音響信号を生成する。
【0013】
また、請求項2に記載の音響信号変換装置は、請求項1に記載の音響信号変換装置において、再生チャンネル決定手段が、原スピーカごとに、受音点を原点とした仮想球面において、原点から当該原スピーカの方向が、3つの再生スピーカの方向で特定される球面三角形に包含されるか否かを判定し、当該原スピーカの方向を包含する球面三角形を構成する3つの再生スピーカの方向を複数選択する包含関係判定手段と、この包含関係判定手段で選択された3つの再生スピーカの方向で特定される球面三角形の面積が最小となる球面三角形を構成する3つの再生スピーカの組を選択する球面三角形選択手段と、を備える構成とした。
【0014】
かかる構成において、音響信号変換装置は、包含関係判定手段によって、原スピーカの方向を包含する球面三角形を構成する3つの再生スピーカの方向を複数選択する。この1方向を含む球面三角形は複数存在する。そこで、音響信号変換装置は、球面三角形選択手段によって、球面三角形の面積が最小となる球面三角形を構成する3つの再生スピーカの組を選択する。この球面三角形の面積が大きいと、3つの再生スピーカによる音像定位が不明瞭になる可能性があるからである。
【0015】
また、請求項3に記載の音響信号変換装置は、請求項1に記載の音響信号変換装置において、再生チャンネル決定手段が、原スピーカごとに、受音点を原点とした仮想球面において、原点から当該原スピーカの方向が、3つの再生スピーカの方向で特定される球面三角形に包含されるか否かを判定し、当該原スピーカの方向を包含する球面三角形を構成する3つの再生スピーカの方向を複数選択する包含関係判定手段と、この包含関係判定手段で選択された3つの再生スピーカの方向で特定される球面三角形の面積の小さい順に予め定めた数の球面三角形を構成する3つの再生スピーカの組を複数選択する球面三角形選択手段と、を備える構成とした。
【0016】
かかる構成において、音響信号変換装置は、包含関係判定手段によって、原スピーカの方向を包含する球面三角形を構成する3つの再生スピーカの方向を複数選択し、球面三角形選択手段によって、面積の小さい順に予め定めた数の球面三角形を構成する3つの再生スピーカの組を選択する。
【0017】
そして、音響信号変換装置は、重み係数計算手段によって、3つの再生スピーカごとに計算した重み係数を仮の重み係数とし、さらに、球面三角形選択手段で選択された球面三角形の面積の逆数に応じた比率を、当該仮の重み係数に乗算することで、再生スピーカに対する原音響信号の重み係数を計算する。これによって、1チャンネル分の原音響信号が3つの再生スピーカを組とする予め定めた組数の再生スピーカに分配されることになる。
【0018】
さらに、請求項4に記載の音響信号変換プログラムは、1以上のチャンネル数の原音響信号をチャンネル数の異なる再生音響信号に変換するために、コンピュータを、再生チャンネル決定手段、重み係数計算手段、音響信号分配手段、として機能させる構成とした。
【0019】
かかる構成において、音響信号変換プログラムは、再生チャンネル決定手段によって、原スピーカごとに、3次元音響空間における受音点を原点として、3つの再生スピーカの方向で特定される方向領域に、当該原スピーカの方向を包含する3つの再生スピーカの組を決定する。
【0020】
そして、音響信号変換プログラムは、重み係数計算手段によって、原スピーカの位置と、当該原スピーカに対して再生チャンネル決定手段で決定された再生スピーカの組の各位置とに基づいて、原スピーカに対応する原音響信号の受音点における音響物理量と、決定された再生スピーカの組に対応する再生音響信号の受音点における音響物理量とが一致するように予め定めた演算式により、再生スピーカの組の各再生スピーカに対する原音響信号の分配比率を、重み係数として計算する。
そして、音響信号変換プログラムは、音響信号分配手段によって、1以上のチャンネル数の原音響信号を、重み係数計算手段で計算された原スピーカに対する再生スピーカへの重み係数に基づいて分配して、再生スピーカに対応したチャンネル数の再生音響信号を生成する。
【0021】
また、請求項5に記載の3次元音響パンニング装置は、音源となる原音響信号を指定された定位位置に音像として定位させる複数チャンネルの再生音響信号を生成する3次元音響パンニング装置において、記憶手段と、再生チャンネル決定手段と、重み係数計算手段と、音響信号分配手段と、を備える構成とした。
【0022】
かかる構成において、音響信号変換装置は、記憶手段に、再生音響信号のチャンネルに対応する再生スピーカの位置を記憶する。この位置は、3次元音響空間における受音点を原点とした座標位置である。
そして、3次元音響パンニング装置は、再生チャンネル決定手段によって、記憶手段に記憶されている再生スピーカの位置と指定された定位位置とに基づいて、3次元音響空間における受音点を原点として、3つの再生スピーカの方向で特定される方向領域に、定位位置の方向を包含する3つの再生スピーカの組を決定する。これによって、音源となる原音響信号を3次元空間上の定位位置で再生可能な3つの再生スピーカが選択されることになる。
【0023】
そして、3次元音響パンニング装置は、重み係数計算手段によって、定位位置と、当該定位位置に対して再生チャンネル決定手段で決定された再生スピーカの組の各位置とに基づいて、原音響信号の受音点における音響物理量と、決定された再生スピーカの組に対応する再生音響信号の受音点における音響物理量とが一致するように予め定めた演算式により、再生スピーカの組の各再生スピーカに対する原音響信号の分配比率を、重み係数として計算する。
そして、3次元音響パンニング装置は、音響信号分配手段によって、原音響信号を、重み係数計算手段で計算された重み係数に基づいて分配して、再生スピーカごとの再生音響信号を生成する。
【0024】
また、請求項6に記載の音響信号変換装置は、請求項5に記載の3次元音響パンニング装置において、再生チャンネル決定手段が、受音点を原点とした仮想球面において、原点から定位位置の方向が、3つの再生スピーカの方向で特定される球面三角形に包含されるか否かを判定し、当該定位位置の方向を包含する球面三角形を構成する3つの再生スピーカの方向を複数選択する包含関係判定手段と、この包含関係判定手段で選択された3つの再生スピーカの方向で特定される球面三角形の面積が最小となる球面三角形を構成する3つの再生スピーカの組を選択する球面三角形選択手段と、を備える構成とした。
【0025】
かかる構成において、3次元音響パンニング装置は、包含関係判定手段によって、定位位置の方向を包含する球面三角形を構成する3つの再生スピーカの方向を複数選択する。そして、3次元音響パンニング装置は、球面三角形選択手段によって、球面三角形の面積が最小となる球面三角形を構成する3つの再生スピーカの組を選択する。これによって、原音響信号が分配される3つの再生スピーカが特定されることになる。
【0026】
また、請求項7に記載の3次元音響パンニング装置は、請求項5に記載の3次元音響パンニング装置において、再生チャンネル決定手段が、受音点を原点とした仮想球面において、原点から定位位置の方向が、3つの再生スピーカの方向で特定される球面三角形に包含されるか否かを判定し、当該定位位置の方向を包含する球面三角形を構成する3つの再生スピーカの方向を複数選択する包含関係判定手段と、この包含関係判定手段で選択された3つの再生スピーカの方向で特定される球面三角形の面積の小さい順に予め定めた数の球面三角形を構成する3つの再生スピーカの組を複数選択する球面三角形選択手段と、を備える構成とした。
【0027】
かかる構成において、3次元音響パンニング装置は、包含関係判定手段によって、定位位置の方向を包含する球面三角形を構成する3つの再生スピーカの方向を複数選択し、球面三角形選択手段によって、面積の小さい順に予め定めた数の球面三角形を構成する3つの再生スピーカの組を選択する。
そして、3次元音響パンニング装置は、重み係数計算手段によって、3つの再生スピーカごとに計算した重み係数を仮の重み係数とし、さらに、球面三角形選択手段で選択された球面三角形の面積の逆数に応じた比率を、当該仮の重み係数に乗算することで、再生スピーカに対する原音響信号の重み係数を計算する。これによって、原音響信号が3つの再生スピーカを組とする予め定めた組数の再生スピーカに分配されることになる。
【0028】
さらに、請求項8に記載の3次元音響パンニングプログラムは、音源となる原音響信号を指定された定位位置に音像として定位させる複数チャンネルの再生音響信号を生成するために、コンピュータを、再生チャンネル決定手段、重み係数計算手段、音響信号分配手段、として機能させる構成とした。
【0029】
かかる構成において、3次元音響パンニングプログラムは、再生チャンネル決定手段によって、3次元音響空間における受音点を原点として、3つの再生スピーカの方向で特定される方向領域に、定位位置の方向を包含する3つの再生スピーカの組を決定する。
【0030】
そして、3次元音響パンニングプログラムは、重み係数計算手段によって、定位位置と、当該定位位置に対して再生チャンネル決定手段で決定された再生スピーカの組の各位置とに基づいて、原音響信号の受音点における音響物理量と、決定された再生スピーカの組に対応する再生音響信号の受音点における音響物理量とが一致するように予め定めた演算式により、再生スピーカの組の各再生スピーカに対する原音響信号の分配比率を、重み係数として計算する。
そして、3次元音響パンニングプログラムは、音響信号分配手段によって、原音響信号を、重み係数計算手段で計算された重み係数に基づいて分配して、再生スピーカごとの再生音響信号を生成する。
【発明の効果】
【0031】
本発明は、以下に示す優れた効果を奏するものである。
請求項1,4に記載の発明によれば、あるチャンネル数に対応する原音響信号を、そのチャンネル数と異なるチャンネル数に対応する再生音響信号に変換する際に、スピーカの位置さえ設定すれば、原音響信号をどの再生スピーカに割り当てるのかを人手を介さずに求めることができる。これによって、本発明は、臨場感を保ったまま、自動的に原音響信号を、チャンネル数の異なる再生音響信号に変換することができる。
【0032】
請求項2,3に記載の発明によれば、あるチャンネル数に対応する原音響信号を、そのチャンネル数と異なるチャンネル数に対応する再生音響信号に変換する際に、スピーカの位置さえ設定すれば、人手を介さず自動的に少ないチャンネル数の再生音響信号に変換することができる。これによって、本発明は、原音響信号を、少ないチャンネル数で明瞭に音像を再生させることが可能な再生音響信号に変換することができる。
【0033】
請求項5,8に記載の発明によれば、音源となる原音響信号を指定された定位位置に音像として定位させる複数チャンネルの再生音響信号を生成する際に、定位位置と、スピーカの位置さえ設定すれば、原音響信号をどの再生スピーカに割り当てるのかを人手を介さずに求めることができる。これによって、本発明は、臨場感を保ったまま、自動的に原音響信号を、指定された位置に定位可能な再生音響信号を生成することができる。
請求項6,7に記載の発明によれば、音源となる原音響信号を指定された定位位置に音像として定位させる複数チャンネルの再生音響信号を生成する際に、定位位置と、スピーカの位置さえ設定すれば、人手を介さず自動的に少ないチャンネル数の再生音響信号に変換することができる。これによって、本発明は、原音響信号を、少ないチャンネル数で明瞭に音像を再生させることが可能な再生音響信号に変換することができる。
【図面の簡単な説明】
【0034】
【図1】本発明の第1実施形態に係る音響信号変換装置の構成を示すブロック構成図である。
【図2】球面三角形の包含関係を説明するための図である。
【図3】球面三角形の面積を説明するための図である。
【図4】本発明の第1実施形態に係る音響信号変換装置の動作を示すフローチャートである。
【図5】受音点において音響物理量を一致させる原理を説明するための説明図である。
【図6】22.2チャンネルスピーカ(LFEは除く)の配置例を示す図である。
【図7】10チャンネルスピーカの配置例を示す図である。
【図8】図6のスピーカ配置の音響信号から図7のスピーカ配置の音響信号に変換する際の重み係数を示す図である。
【図9】本発明の第2実施形態に係る3次元音響パンニング装置の構成を示すブロック構成図である。
【図10】本発明の第2実施形態に係る3次元音響パンニング装置の動作を示すフローチャートである。
【発明を実施するための形態】
【0035】
以下、本発明の実施形態について図面を参照して説明する。
<第1実施形態>
[音響信号変換装置の構成]
最初に、図1を参照して、本発明の第1実施形態に係る音響信号変換装置の構成について説明する。音響信号変換装置1は、あるチャンネル数(nチャンネル)の音響信号を、そのチャンネル数とは異なるチャンネル数(mチャンネル)の音響信号に変換するものである。なお、以下の説明において、入力されるnチャンネルの音響信号を、n次元ベクトル信号s(t)=(s(t) s(t) … s(t))と表記することとし、出力されるmチャンネルの音響信号を、m次元ベクトル信号q(t)=(q(t) q(t) … q(t))と表記する。なお、Tはベクトルの転置を示す。また、入力される音響信号(原音響信号)のチャンネルを原音チャンネル、出力される音響信号(再生音響信号)のチャンネルを再生チャンネルと呼ぶこととする。
【0036】
ここでは、音響信号変換装置1は、フーリエ変換手段10と、スピーカ位置入力手段20と、記憶手段30と、重み行列演算手段40と、音響信号分配手段50と、フーリエ逆変換手段60と、を備えている。
【0037】
フーリエ変換手段10は、1以上のチャンネル(nチャンネル)を有する音響システム用の音響信号を時系列に入力し、それぞれのチャンネルの音響信号に対してフーリエ変換を行うものである。このように、音響信号をフーリエ変換することで、フーリエ変換手段10は、音響信号を周波数領域で表した信号に変換する。このフーリエ変換された音響信号は、音響信号分配手段50に出力される。なお、ここでは、入力される音響信号を時間領域の関数s(t)と表記するのに対し、フーリエ変換後の音響信号を周波数領域の関数として、s(ω)=(s(ω) s(ω) … s(ω))と表記する。
【0038】
このフーリエ変換手段10に入力される音響信号のチャンネルの数は、特に限定するものではないが、例えば、スーパーハイビジョン用22.2マルチチャンネルシステムの音響信号であれば、低域効果音のチャンネルであるLFE(Low Frequency Effect)チャンネルを除く22チャンネルである。
【0039】
スピーカ位置入力手段20は、チャンネル(原音チャンネル、再生チャンネル)に対応する3次元音響空間上の位置を示す位置情報(スピーカ位置情報)を入力するものである。なお、スピーカ位置情報は、3次元音響空間上の受音点r=(x y z)を原点(Tはベクトルの転置)とする3次元座標で示される情報である。
【0040】
ここでは、スピーカ位置情報を、受音点を原点とする極座標で表し、原音チャンネルのスピーカ(原スピーカ)の位置(原スピーカ位置情報)を、ξ=(σ,θ,φ),i=1,2,…,nと表記し、再生チャンネルのスピーカ(再生スピーカ)の位置(再生スピーカ位置情報)を、ζ=(σ′,θ′,φ′),j=1,2,…,mと表記する。なお、σおよびσ′は受音点rからの距離、θおよびθ′は方位角、φおよびφ′は仰角である。
このスピーカ位置入力手段20は、入力されたスピーカ位置情報を記憶手段30に書き込み記憶する。
【0041】
記憶手段30は、スピーカ位置入力手段20で入力されたスピーカ位置情報(原スピーカ位置情報、再生スピーカ位置情報)を記憶するものであって、ハードディスク、メモリ等の一般的な記憶媒体である。
この記憶手段30には、原スピーカ位置情報ξ=(σ,θ,φ)が、識別情報i=1,2,…,nに対応付けられて記憶され、再生スピーカ位置情報ζ=(σ′,θ′,φ′)が、識別情報j=1,2,…,mに対応付けられて記憶される。
【0042】
重み行列演算手段40は、原音チャンネルの音響信号を、再生チャンネルの音響信号に変換するための行列(重み行列)を演算するものである。この重み行列演算手段40は、演算により求めた重み行列Wを音響信号分配手段50に出力する。
ここでは、重み行列演算手段40は、原音チャンネル選択手段41と、再生チャンネル決定手段42と、重み係数計算手段43と、を備えている。
【0043】
原音チャンネル選択手段41は、記憶手段30に記憶されている原スピーカ位置情報から、順次、1チャンネルごとに原音チャンネルを選択するものである。ここでは、原音チャンネル選択手段41は、i=1,2,…,nの順に原スピーカの位置を選択し、再生チャンネル決定手段42に出力する。
【0044】
再生チャンネル決定手段42は、原音チャンネル選択手段41で選択された原音チャンネル(原スピーカ)に対して、音響信号を分配する再生チャンネル(再生スピーカ)を決定するものである。この再生チャンネル決定手段42は、原スピーカごとに、3次元音響空間における受音点を原点として、3つの再生スピーカの方向で特定される方向領域に、当該原スピーカの方向を包含する3つの再生スピーカの組を決定する。
このとき、再生チャンネル決定手段42は、受音点を原点とした仮想球面において、受音点からの原スピーカ方向を含み、受音点から3つの再生スピーカ方向によって構成される仮想球面上の球面三角形の中で、面積が最小となる3つの再生スピーカ方向に存在する再生スピーカを、1つの原音チャンネルに対する再生チャンネルとして特定する。これによって、原音チャンネルの音響信号を分配する3つの再生チャンネルを特定することが可能になる。
ここでは、再生チャンネル決定手段42は、包含関係判定手段42aと、球面三角形選択手段42bと、を備えている。
【0045】
包含関係判定手段42aは、原音チャンネル選択手段41で選択されたチャンネルの原スピーカ方向が、3つの再生スピーカ方向で特定される球面三角形内に包含されるか否かを判定し、当該原スピーカ方向を包含する3つの再生スピーカ方向を特定するものである。なお、原スピーカ方向を包含する3つの再生スピーカ方向は複数存在する。そこで、包含関係判定手段42aは、1つの原スピーカ方向に対して、任意の3つの再生スピーカ方向の組を複数選択し、球面三角形選択手段42bに出力する。
【0046】
ここで、原スピーカ方向が、3つの再生スピーカ方向で特定される球面三角形内に包含されるか否かは、図2に示すように受音点rを始点として、各再生スピーカ方向ζ,j=1,2,3に延びる半直線が仮想球面と交差する3つの頂点で構成される球面三角形の内部に、受音点rを始点として、原スピーカ方向ξに延びる半直線が仮想球面と交差する点が含まれるか否かによる。
【0047】
ここで、包含関係判定手段42aが行う包含関係の判定手法について説明する。受音点を原点とした球面を、単位長の半径を持つ球(仮想球面)としたとき、原スピーカ方向ξは、ξ=(1,θ,φ)で表すことができ、3つの再生スピーカ方向ζ,j=1,2,3は、ζ=(1,θ′,φ′),j=1,2,3で表すことができる。なお、以降において、方向のみを表す場合、動径成分“1”を省略して、方向ξ=(θ,φ)、方向ζ=(θ′,φ′),j=1,2,3と表すこととする。
このとき、原スピーカ方向ξが、3つの再生スピーカ方向ζ,j=1,2,3に含まれるか否かは、ベクトル積を用いて判定することができる。
ここで、3つのベクトル積を、以下の(1)式で定義する。
【0048】
【数1】

【0049】
原スピーカ方向ξが3つの再生スピーカ方向ζ,j=1,2,3で特定される球面三角形に含まれる場合、(1)式の3つのベクトルV,V,Vは、同じ方向(各要素の符号が同一)を向くことになる。
そこで、包含関係判定手段42aは、以下の(2)式に示す論理式が満たされる場合に、原スピーカ方向ξが3つの再生スピーカ方向ζに含まれていると判定する。
【0050】
【数2】

【0051】
つまり、包含関係判定手段42aは、3つのベクトルV,V,Vが同じ方向を向いている場合に、3つの再生スピーカ方向ζで特定される球面三角形を構成する3つの再生スピーカの方向を複数選択する。
このように、包含関係判定手段42aは、この(2)式を満たす、原スピーカ方向ξに対する3つの再生スピーカ方向ζ,j=1,2,3の組を複数特定し、球面三角形選択手段42bに出力する。
【0052】
球面三角形選択手段42bは、包含関係判定手段42aで特定された3つの再生スピーカ方向の複数の組において、3つの再生スピーカ方向で特定される球面三角形の面積が最小となる組を選択するものである。すなわち、球面三角形選択手段42bは、1つの原スピーカ方向ごとに、予め定めた半径において、球面三角形の面積が最小となる3つの再生スピーカ方向の組を選択することで、当該方向に存在する3つの再生スピーカの組の各位置を選択する。このように選択された3つの再生スピーカの位置は、重み係数計算手段43に出力される。
【0053】
ここで、球面三角形選択手段42bが行う球面三角形の面積の演算方法について説明する。球面三角形の各辺は、2点を球の大円(球の中心を通る円)上で結んだ弧となる。この弧の長さは、半径“1”の球面上では、2つの方向のなす角度(ラジアン)に等しい。ところで、球の中心(受音点)から、2つの方向を(θ,φ),(θ,φ)、2つの方向のなす角をajkとしたとき、これら2方向のベクトルの内積によって、以下の(3)式が成立する。
【0054】
【数3】

【0055】
従って、角ajk(すなわち、2方向を大円で結んだ弧の長さ)は、以下の(4)式で表すことができる。
【0056】
【数4】

【0057】
ここで、球面三角形を、図3のように、方向ζ=(θ,φ),ζ=(θ,φ),ζ=(θ,φ)において、各辺A,B,Cの長さをそれぞれajk,akl,ajlとし、辺A,Bのなす角をαjl、辺B,Cのなす角をαjk、辺C,Aのなす角をαklとしたとき、球面三角形の面積Sは、以下の(5)式で与えられる。
【0058】
【数5】

【0059】
また、球面三角形の基本公式より、以下の(6)式が成り立つ。
【0060】
【数6】

【0061】
よって、球面三角形の面積Sは、以下の(7)式で算出することができる。
【0062】
【数7】

【0063】
すなわち、球面三角形選択手段42bは、包含関係判定手段42aで特定された3つの再生スピーカ方向の複数の組において、3つの再生スピーカ方向で特定される球面三角形の面積を前記(7)式で算出し、面積が最小となる3つの再生スピーカ方向を示す3つの再生スピーカの位置を選択する。
なお、再生チャンネル決定手段42は、原音チャンネル選択手段41から、順次原音チャンネルが選択されるたびに、順次当該原音チャンネルに対応した3つの再生チャンネルを決定する。
【0064】
これによって、再生チャンネル決定手段42は、1つの原音チャンネルを、3つの再生チャンネルに音響信号を分配する際に、面積最小の球面三角形で特定される再生スピーカの組を選択するため、記憶手段30に記憶されている再生スピーカの中から、音像をより明確に定位させる再生スピーカを決定することができる。
【0065】
重み係数計算手段43は、個々の原音チャンネル(原スピーカ)の音響信号を、再生チャンネル決定手段42によって決定された3つの再生チャンネル(再生スピーカ)に分配するための重み(重み係数)を計算するものである。この重み係数計算手段43は、計算により求めた重み係数を、音響信号分配手段50に出力する。
【0066】
具体的には、重み係数計算手段43は、原音チャンネルで特定される原スピーカの位置を(σ,θ,φ)、再生スピーカの位置を(σ′,θ′,φ′),j=1,2,3としたとき、各再生スピーカに対する重み係数w=(wを、以下の(8)式により計算する。
【0067】
【数8】

【0068】
ここで、eは自然対数の底、iは虚数単位、kは波数(位相定数、波長定数)であって、k=2π/λ(λは音波の波長)で表される係数である。また、D′,D′,D′,Dは、以下の(9)式に示す値である。
【0069】
【数9】

【0070】
なお、前記(8)式に示した重み係数wは、nチャンネルを有する音響システムの受音点と、mチャンネルを有する音響システムの受音点とで、音響物理量が一致するように予め定めた係数である。この重み係数によって、受音点において音響物理量が一致する原理については、後で詳細に説明する。
このように、重み係数計算手段43は、1つの原スピーカが再生する音響信号を、3つの再生スピーカで再生するための各スピーカへの分配比率(重み係数)を、原スピーカの数だけ計算する。
【0071】
ここでは、重み係数計算手段43は、以下の(10)式に示すように、n個の原音チャンネル(原スピーカ)の各音響信号を、m個の再生チャンネル(再生スピーカ)の各音響信号へ変換するためのm(行)×n(列)の重み行列Wを生成することとする。
【0072】
【数10】

【0073】
ここで、各列(w1n2n … wmnは、n番目の原音チャンネルに対するm個の再生チャンネルへの重み係数を示している。なお、ここでは、1つの原音チャンネルの音響信号を3つの再生チャンネルの音響信号に分配するため、n番目の原音チャンネルが、例えば、1〜3番目(m=1〜3)の再生チャンネルに分配される場合、w1n,w2n,w3nに重み係数が設定されることになり、他のw4n〜wmnについては、重み係数“0”が設定されることになる。
これによって、重み係数計算手段43は、nチャンネルの音響信号を、mチャンネルの音響信号に変換するための重み行例Wを生成する。
【0074】
音響信号分配手段50は、nチャンネルの原音音響信号を、重み行列演算手段40で生成された重み係数(重み行列)を用いて分配(重み付き加算演算)して、mチャンネルの再生音響信号を生成するものである。
【0075】
ここでは、音響信号分配手段50は、以下の(11)式に示すように、フーリエ変換手段10でフーリエ変換された音響信号s(ω)=(s(ω) s(ω) … s(ω))に、重み行列演算手段40で生成された重み行列W(前記(9)式)を用いて、行列の積を演算することで、mチャンネルの再生チャンネルの音響信号q(ω)=(q(ω) q(ω) … q(ω))を生成する。
【0076】
【数11】

【0077】
このように生成されたmチャンネルの音響信号は、フーリエ逆変換手段60に出力される。
【0078】
フーリエ逆変換手段60は、音響信号分配手段50で生成された周波数領域のmチャンネルの音響信号に対して、フーリエ変換手段10で行ったフーリエ変換の逆変換を行うものである。このように、音響信号をフーリエ逆変換することで、フーリエ逆変換手段60は、音響信号を時間領域で表した信号に変換する。このフーリエ逆変換された音響信号は、生成対象のmチャンネルの音響信号q(t)=(q(t) q(t) … q(t))として外部に出力される。
【0079】
以上説明したように音響信号変換装置1を構成することで、あるチャンネル数に対応する音響信号を、そのチャンネル数と異なるチャンネル数に対応する音響信号に変換する際に、多数のチャンネルの中から、3次元音響再生の基本単位となる3つのチャンネルを選択することができる。
これによって、音響信号変換装置1は、スピーカの位置情報さえ入力されれば、元の音響信号に基づく臨場感を保ったまま、異なるチャンネル数の音響信号に変換することができる。
また、音響信号変換装置1は、一般的なコンピュータを前記した各手段として機能させるプログラム(音響信号変換プログラム)により動作させることができる。
【0080】
[音響信号変換装置の動作]
次に、図4を参照(構成については適宜図1参照)して、本発明の第1実施形態に係る音響信号変換装置の動作について説明する。
【0081】
まず、音響信号変換装置1は、スピーカ位置入力手段20によって、原音チャンネルのスピーカ(原スピーカ)の位置(原スピーカ位置情報)ξ=(σ,θ,φ),i=1,2,…,nと、再生チャンネルのスピーカ(再生スピーカ)の位置(再生スピーカ位置情報)ζ=(σ′,θ′,φ′),j=1,2,…,mとを入力する(ステップS1)。そして、スピーカ位置入力手段20は、入力したスピーカ位置情報(原スピーカ位置情報、再生スピーカ位置情報)を記憶手段30に書き込み記憶する。
【0082】
その後、音響信号変換装置1は、原音チャンネル選択手段41によって、記憶手段30に記憶されている原スピーカ位置情報から、原音チャンネル(原スピーカの位置)を1つ選択する(ステップS2)。なお、この選択は、原スピーカを特定する予め対応付けられた識別情報の順番に行えばよい。
【0083】
そして、音響信号変換装置1は、再生チャンネル決定手段42によって、ステップS2で選択された原音チャンネルに対して、音響信号を分配する再生チャンネルを決定する。すなわち、音響信号変換装置1は、包含関係判定手段42aによって、受音点を原点とした仮想球面において、3つの再生スピーカ方向で特定される複数の球面三角形で、ステップS2で選択された原音チャンネルの原スピーカ方向を包含するか否かを判定し、原スピーカ方向を包含する球面三角形、すなわち、球面三角形の各頂点の方向に位置する3つの再生スピーカの位置の組を複数選択する(ステップS3)。
【0084】
その後、音響信号変換装置1は、再生チャンネル決定手段42の球面三角形選択手段42bによって、ステップS3で選択された球面三角形の面積を算出(前記(7)式参照)し、面積が最小となる球面三角形を構成する3つの再生スピーカ方向に存在する3つの再生スピーカを特定する(ステップS4)。
【0085】
そして、音響信号変換装置1は、重み係数計算手段43によって、ステップS4で特定された3つの再生スピーカの位置と、ステップS2で選択された原スピーカの位置とに基づいて、原音チャンネル(原スピーカ)の音響信号を、3つの再生チャンネル(再生スピーカ)に分配するための重み(重み係数)を計算(前記(8)式参照)する(ステップS5)。
【0086】
ここで、原音チャンネル選択手段41が、すべての原音チャンネルを選択したか否かを判定する(ステップS6)。そして、すべての原音チャンネルを選択した場合(ステップS6でYes)、音響信号変換装置1は、ステップS7に動作を進める。一方、すべての原音チャンネルを選択していない場合(ステップS6でNo)、音響信号変換装置1は、ステップS2に戻って、他の原音チャンネル(原スピーカ)を選択し、すべての原音チャンネルに対して、再生チャンネル(再生スピーカ)に分配するための重みを計算する。これによって、nチャンネルの音響信号を、mチャンネルの音響信号に変換する重み行列を生成することができる。
【0087】
その後、音響信号変換装置1は、フーリエ変換手段10によって、外部から入力したnチャンネルの音響信号(s(t) s(t) … s(t))をフーリエ変換する(ステップS7)。これによって、音響信号を周波数領域で表した音響信号に変換する。
そして、音響信号変換装置1は、音響信号分配手段50によって、ステップS2〜S6で生成された重み(重み係数)を用いて、nチャンネルの音響信号の各周波数成分に対して重み加算演算を行うことで音響信号を分配し、mチャンネルの音響信号を生成する(ステップS8)。
【0088】
そして、音響信号変換装置1は、フーリエ逆変換手段60によって、ステップS8で生成されたmチャンネルの音響信号を、フーリエ逆変換することで、音響信号を時間領域で表した音響信号(q(t) q(t) … q(t))に変換し、外部に出力する(ステップS9)。
以上の動作によって、音響信号変換装置1は、スピーカの位置を設定するだけで、nチャンネルの音響信号を、チャンネル数の異なるmチャンネルの音響信号に変換することができる。
【0089】
[重み係数について]
次に、図5を参照して、前記(8)式により、受音点において音響物理量が一致する原理について説明する。図5は、nチャンネルの音響信号を、m×nの重み行列Wを用いて、mチャンネルの音響信号に変換した際の受音点における音響物理量を一致させる重み係数を説明するための図である。
【0090】
ここで、nチャンネルの音響信号をmチャンネルの音響信号に変換するには、受音点において、音圧や粒子速度といった音響物理量を一致させる必要がある。
すなわち、図5に示すように、nチャンネルの音響信号s(t)をフーリエ変換した後の音響信号s(ω)を原スピーカ位置に基づく音場の音響伝搬により伝搬した際の受音点での音響物理量と、音響信号s(ω)にm×n重み行列Wを掛けることで生成したmチャンネルの音響信号q(ω)を再生スピーカ位置に基づく音場の音響伝搬により伝搬した際の受音点での音響物理量とが一致すればよい。
【0091】
以下、受音点において音響物理量を一致させる原理について具体的に説明する。
ここで、(a)〜(e)の仮定をおく。
(a)各スピーカは点音源で近似できる。
(b)スピーカから単位距離の点における音圧は、スピーカ入力信号の音圧に比例する(ここで、比例係数をGとする)。
(c)スピーカからの進行波のみを考慮する。
(d)室内での反射音は、スピーカからの直接音に比べ無視できるものとする。
(e)kσmin≪1と仮定する(kは波数であり、σminはスピーカと受音点との距離のうち最小のものを表す)。
【0092】
一般に、音の振る舞いは、音圧と粒子速度といった音響物理量によって規定される。音圧は、時間と位置とを変数とするスカラ量であり、粒子速度は、時間と位置とを変数とする3次元ベクトル量である。
ここで、受音点を原点とする極座標を用いて、スピーカの位置(σ,θ,φ)を表す。また、スピーカの方向はσを省略し(θ,φ)と表す。なお、σは受音点からの距離、θは方位角、φは仰角である。
【0093】
この位置(σ,θ,φ)におかれた変換前の音響システムのスピーカ(原スピーカ)に音響信号s(t)を入力した場合、受音点における音圧のフーリエ変換p(ω)と、粒子速度のフーリエ変換u(ω)は、前記(a)〜(e)の仮定のもとで、以下の(12)式、(13)式で表される。
【0094】
【数12】

【0095】
【数13】

【0096】
ここで、eは自然対数の底、iは虚数単位、kは波数、ρは空気密度、cは音波の伝搬速度である。また、hは以下の(14)式で定義したベクトルである。
【0097】
【数14】

【0098】
一方、方向(θ′,φ′),j=1,2,3におかれた変換後の3つのスピーカ(再生スピーカ)に音響信号s(t)に重みw=(w,w,wのそれぞれの重みを乗じた信号ws(t),ws(t),ws(t)を入力した場合、受音点における音圧のフーリエ変換p′(ω)と、粒子速度のフーリエ変換u′(ω)は、前記(a)〜(e)の仮定のもとで、以下の(15)式、(16)式で表される。
【0099】
【数15】

【0100】
【数16】

【0101】
ここで、H′は以下の(17)式で定義した行列である。
【0102】
【数17】

【0103】
従って、受音点で音圧を一致させる条件は、前記(12)式および(15)式より、以下の(18)式となる。
【0104】
【数18】

【0105】
また、受音点で粒子速度を一致させる条件は、前記(13)式および(16)式より、以下の(19)式となる。
【0106】
【数19】

【0107】
この(19)式から、粒子速度を一致させる重みwは、以下の(20)式に示すように解析的に解くことができる。
【0108】
【数20】

【0109】
ここで、D′,D′,D′,D′は、以下の(21)式で示す値である。
【0110】
【数21】

【0111】
さらに、前記(20)式を、条件(18)式を満足するように変形すると、重みwは、以下の(22)式(前記(8)式と同じ)で与えられる。
【0112】
【数22】

【0113】
ここで、Dは以下の(23)式に示す値である。
【0114】
【数23】

【0115】
このように、重み係数計算手段43(図1参照)は、重み(重み係数)を(22)式により求めることで、受音点において、nチャンネルの音響信号と、mチャンネルの音響信号との音響物理量を一致させることができ、臨場感を保ったまま、音響信号の変換を行うことができる。
【0116】
なお、音響物理量を一致させる場合、厳密に音圧と粒子速度をそれぞれ一致させる必要はなく、例えば、粒子速度のみを一致させることとしてもよい。その場合、重み係数計算手段43(図1参照)は、前記(20)式を用いて重み係数を計算することとしてもよい。
【0117】
[音響信号変換例]
次に、図6〜図8を参照して、スーパーハイビジョン用22.2マルチチャンネルシステムの音響信号のうち、LFEチャンネルを除いた22チャンネルの音響信号を、10チャンネルの音響信号に変換する例について説明する。
【0118】
図6は、音響信号変換前のスーパーハイビジョン用22.2マルチチャンネルシステムのスピーカ位置を図示したものである。図6中、○印は受音点の位置を示し、●印はスピーカ(原スピーカ)の位置を示している。ここでは、仰角0°で方位角が0°,30°,60°,90°,120°,150°,180°,225°,270°,315°の方向に10個、仰角45°で方位角が0°,45°,90°,135°,180°,225°,270°,315°の方向に8個、仰角90°の方向に1個,仰角−30°で方位角が45°,90°,135°の方向に3個、計22個のスピーカを配置した例を示している。
【0119】
図7は、10チャンネルのマルチチャンネルシステムのスピーカ位置を図示したものである。図7中、○印は受音点の位置を示し、●印はスピーカ(再生スピーカ)の位置を示している。ここでは、仰角0°で方位角が30°,75°,105°,150°,210°,330°の方向に6個、仰角45°で方位角が90°,202.5°,337.5°の方向に3個、仰角−30°で方位角が90°の方向に1個、計22個のスピーカを配置した例を示している。
なお、図6,図7は、各スピーカを、受音点から、同一距離、すなわち、同一球面上に配置した例を示している。
【0120】
このように、図6に示した22チャンネルの音響信号を、図7に示した10チャンネルの音響信号に変換した結果を図8に示す。
図8に示した表のうち、左欄は、原音響空間のスピーカ(原スピーカ)の方向、すなわち、図6に示した22.2マルチチャンネルシステムの原スピーカ位置の方向を示している。また、右欄のうち、上欄は、左欄の原スピーカの音響信号を分配する3つの再生音響空間のスピーカ(再生スピーカ)の方向、すなわち、図7に示した10チャンネルの再生スピーカ位置の方向のうち3つの方向を示している。また、右欄のうち、下欄は、上欄の各再生スピーカ方向に対して左欄の原スピーカに対する音響信号を分配する重み係数を示している。
【0121】
例えば、図6の方向(0,0)の原スピーカを基準にした場合、当該原スピーカに対する音響信号は、図7の方向(30,0),(330,0),(337.5,45)の各再生スピーカに対して、それぞれ“0.500”,“0.500”,“0.000”の重み係数が乗算されて分配されることになる。
【0122】
また、例えば、図7の方向(30,0)の再生スピーカを基準にした場合、当該再生スピーカに分配される音響信号は、図6の方向(0,0)の原スピーカの音響信号に重み係数“0.500”を乗算した音響信号と、方向(30,0)の原スピーカの音響信号に重み係数“1.000”を乗算した音響信号と、方向(60,0)の原スピーカの音響信号に重み係数“0.341”を乗算した音響信号と、方向(45,−30)の原スピーカの音響信号に重み係数“0.059”を乗算した音響信号とを加算した音響信号となる。
【0123】
<第2実施形態>
[3次元音響パンニング装置の構成]
次に、図9を参照して、本発明の第2実施形態に係る3次元音響パンニング装置(音響信号変換装置)の構成について説明する。3次元音響パンニング装置2は、音源となる1チャンネルの音響信号を、複数のチャンネル数の音響信号に変換するものである。すなわち、3次元音響パンニング装置2は、1チャンネルの音響信号を、3次元音響空間において、複数のチャンネル(スピーカ)によって音像として定位させる音響信号を生成するものである。
【0124】
この3次元音響パンニング装置2は、図1で説明した音響信号変換装置1において、入力する音響信号が1チャンネルの音響信号であって、原スピーカ位置が、音像を定位させたい位置に相当する。
【0125】
ここでは、3次元音響パンニング装置2は、フーリエ変換手段10と、スピーカ位置入力手段20Bと、記憶手段30Bと、重み行列演算手段40Bと、音響信号分配手段50と、フーリエ逆変換手段60と、定位位置入力手段70と、を備えている。スピーカ位置入力手段20B、記憶手段30B、重み行列演算手段40Bおよび定位位置入力手段70以外の構成については、図1で説明した音響信号変換装置1と同一の構成であるため、同一の符号を付して説明を省略する。
【0126】
スピーカ位置入力手段20Bは、再生チャンネルに対応する3次元音響空間上の位置を示す位置情報(スピーカ位置情報)を入力するものである。
ここでは、スピーカ位置情報を、受音点を原点とする極座標で表し、再生チャンネルのスピーカ(再生スピーカ)の位置(再生スピーカ位置情報)を、ζ=(σ′,θ′,φ′),j=1,2,…,mと表記する。なお、σ′は受音点からの距離、θ′は方位角、φ′は仰角である。このスピーカ位置入力手段20Bは、入力したスピーカ位置情報を記憶手段30Bに書き込み記憶する。
【0127】
記憶手段30Bは、スピーカ位置入力手段20Bで入力されたスピーカ位置情報(再生スピーカ位置情報)を記憶するものであって、ハードディスク、メモリ等の一般的な記憶媒体である。この記憶手段30Bには、再生スピーカ位置情報ζ=(σ′,θ′,φ′)が、識別情報j=1,2,…,mに対応付けられて記憶される。
【0128】
重み行列演算手段40Bは、入力された音響信号を、再生チャンネルの音響信号に変換するための行列(重み行列)を演算するものである。ここでは、入力される音響信号は1チャンネルであるため、重み行列演算手段40Bは、図1で説明した重み行列演算手段40から、原音チャンネル選択手段41を省略して構成している。
また、入力される音響信号は1チャンネルであるため、再生チャンネル(再生スピーカ)の数がm個であれば、重み行列演算手段40Bは、重み係数計算手段43において、前記(10)式で、m(行)×1(列)の重み行列Wを生成することになる。
重み行列演算手段40B内部の他の構成については、重み行列演算手段40と同一であるため、説明を省略する。
【0129】
定位位置入力手段70は、音像を定位させたい3次元音響空間上の位置を示す位置情報(定位位置情報)を入力するものである。なお、この定位位置情報は、図1で説明した音響信号変換装置1において、入力する音響信号が1チャンネルの音響信号の場合の音源となる原スピーカ位置と同じ位置情報である。ここでは、定位位置情報を、受音点を原点とする極座標で表し、ξ=(σ,θ,φ)と表記する。なお、σは受音点からの距離、θは方位角、φは仰角である。
この定位位置入力手段70は、入力された定位位置情報を重み行列演算手段40Bに出力する。
【0130】
そして、重み行列演算手段40Bが、複数の再生チャンネルの音響信号によって、入力された音響信号s(t)の音像を定位位置に定位させるための重み行列を演算する。なお、再生チャンネル決定手段42は、図1において説明した原スピーカ位置の方向の換わりに、定位位置の方向によって、球面三角形の包含関係を判定し、球面三角形を選択すればよい。
【0131】
これによって、3次元音響パンニング装置2は、音像の定位位置情報と、再生用のスピーカの位置情報さえ入力されれば、複数のチャンネル数の音響信号によって、指定された位置に音像を定位させる音響信号を生成することができる。
【0132】
また、3次元音響パンニング装置2は、一般的なコンピュータを前記した各手段として機能させるプログラム(3次元音響パンニングプログラム)により動作させることができる。
【0133】
[3次元音響パンニング装置の動作]
次に、図10を参照(構成については適宜図9参照)して、本発明の第2実施形態に係る3次元音響パンニング装置の動作について説明する。
【0134】
まず、3次元音響パンニング装置2は、スピーカ位置入力手段20Bによって、再生チャンネルのスピーカ(再生スピーカ)の位置(再生スピーカ位置情報)ζ=(σ′,θ′,φ′),j=1,2,…,mを入力する(ステップS1B)。そして、スピーカ位置入力手段20Bは、入力したスピーカ位置情報(再生スピーカ位置情報)を記憶手段30Bに書き込み記憶する。
【0135】
そして、3次元音響パンニング装置2は、定位位置入力手段70によって、音像を定位させたい3次元音響空間上の位置を示す位置情報(定位位置情報)ξ=(σ,θ,φ)を入力する(ステップS2B)。
【0136】
そして、3次元音響パンニング装置2は、再生チャンネル決定手段42によって、ステップS2Bで入力された定位位置に音像を定位させるために、入力する音響信号を分配する再生チャンネルを決定する。すなわち、3次元音響パンニング装置2は、包含関係判定手段42aによって、受音点を原点とした仮想球面において、すべての3つの再生スピーカ方向で特定される球面三角形で、ステップS2Bで入力された定位位置の方向を包含するか否かを判定し、定位位置方向を包含する球面三角形、すなわち、球面三角形の各頂点の方向に位置する3つの再生スピーカの位置の組を複数選択する(ステップS3B)。
【0137】
以降の動作であるステップS4,S5,S7〜S9の動作については、図4で説明した音響信号変換装置1の動作と同一であるため説明を省略する。
以上の動作によって、3次元音響パンニング装置2は、音像の定位位置およびスピーカの位置を設定するだけで、1チャンネルの音源の音響信号を、音像を定位させる複数のチャンネルの音響信号に変換することができる。
【0138】
[変形例]
以上、本発明の実施形態に係る音響信号変換装置1および3次元音響パンニング装置2の構成および動作について説明したが、本発明はこの実施形態に限定されるものではない。
例えば、ここでは、重み行列演算手段40,40Bは、包含関係判定手段42aによって、原スピーカ方向(定位位置方向)が、3つの再生スピーカ方向に包含されるか否かを、ベクトル積を用いた論理式(前記(2)式参照)で求めた。
【0139】
しかし、重み行列演算手段40,40Bは、包含関係判定手段42aによって、原スピーカ方向(定位位置方向)と、すべての3つの再生スピーカ方向の組とから、すべての球面三角形ごとに、当該球面三角形を構成する再生スピーカに対する重みを前記(8)式または前記(20)式により演算し、すべての重みが非負の値である場合に、原スピーカ方向(定位位置方向)が当該球面三角形で特定される3つの再生スピーカ方向に包含されると判定することとしてもよい。この場合、すでに各再生スピーカへの重みは計算されているため、重み係数計算手段43は、包含関係判定手段42aの内部処理として組み込まれることになる。
【0140】
また、ここでは、重み行列演算手段40,40Bは、球面三角形選択手段42bによって、面積最小の球面三角形を構成する再生スピーカと特定し、重み係数計算手段43によって、3つの再生スピーカに対する重み係数を計算した。
【0141】
しかし、重み行列演算手段40,40Bは、球面三角形選択手段42bによって、予め定めた数の球面三角形を選択することとしてもよい。例えば、面積が小さい順に2つの球面三角形を構成する最大6つ(2つの球面三角形の頂点が共通する場合、“6”から共通の頂点数を引いた数がスピーカ数となる)の再生スピーカを特定し、重み係数計算手段43によって、最大6つの再生スピーカに対する重み係数を計算してもよい。
【0142】
この場合、重み係数計算手段43は、2つの球面三角形に対してそれぞれ求めた重み係数を仮の重み係数として、2つの球面三角形の面積の逆数に応じた値を乗算することで、それぞれの再生スピーカに対する重み係数とする。もちろん、選択する球面三角形の数が3以上であっても同様に球面三角形の面積の逆数に応じて、重み係数を求めることができることはいうまでもない。
【0143】
また、ここでは、重み行列演算手段40,40Bは、球面三角形選択手段42bによって、面積最小の球面三角形を構成する再生スピーカを選択した。
しかし、重み行列演算手段40,40Bは、球面三角形選択手段42bによって、仮想球面上において、原スピーカ方向に対応する位置と、この位置を包含する球面三角形を構成する3つの再生スピーカ方向に対応する位置との距離をそれぞれ計算し、この3つの距離の総和が最小となる球面三角形を選択することとしてもよい。
【0144】
また、このとき、球面三角形選択手段42bは、球面三角形を選択する際に、前記したように、予め定めた数の球面三角形を選択することとしてもよい。例えば、3つの距離の総和が小さい順、あるいは、3つの距離の最小距離が小さい順に2つの球面三角形を選択することとしてもよい。この場合、重み係数計算手段43は、前記したように、2つの球面三角形に対してそれぞれ求めた重み係数を仮の重み係数として、2つの球面三角形の面積の逆数に応じた値を乗算することで、それぞれの再生スピーカに対する重み係数とすればよい。
【符号の説明】
【0145】
1 音響信号変換装置
2 3次元音響パンニング装置
10 フーリエ変換手段
20,20B スピーカ位置入力手段
30,30B 記憶手段
40,40B 重み行列演算手段
41 原音チャンネル選択手段
42 再生チャンネル決定手段
42a 包含関係判定手段
42b 球面三角形選択手段
43 重み係数計算手段
50 音響信号分配手段
60 フーリエ逆変換手段
70 定位位置入力手段

【特許請求の範囲】
【請求項1】
1以上のチャンネル数の原音響信号をチャンネル数の異なる再生音響信号に変換する音響信号変換装置において、
前記原音響信号のチャンネルに対応する原スピーカの位置と、前記再生音響信号のチャンネルに対応する再生スピーカの位置とを記憶する記憶手段と、
この記憶手段に記憶されている各スピーカの位置に基づいて、前記原スピーカごとに、3次元音響空間における受音点を原点として、3つの再生スピーカの方向で特定される方向領域に、当該原スピーカの方向を包含する前記3つの再生スピーカの組を決定する再生チャンネル決定手段と、
前記原スピーカの位置と、当該原スピーカに対して前記再生チャンネル決定手段で決定された再生スピーカの組の各位置とに基づいて、前記原スピーカに対応する原音響信号の前記受音点における音響物理量と、前記決定された再生スピーカの組に対応する再生音響信号の前記受音点における音響物理量とが一致するように予め定めた演算式により、前記再生スピーカの組の各再生スピーカに対する前記原音響信号の分配比率を、重み係数として計算する重み係数計算手段と、
前記1以上のチャンネル数の原音響信号を、前記重み係数計算手段で計算された原スピーカに対する再生スピーカへの重み係数に基づいて分配して、前記再生スピーカに対応したチャンネル数の再生音響信号を生成する音響信号分配手段と、
を備えることを特徴とする音響信号変換装置。
【請求項2】
前記再生チャンネル決定手段は、
前記原スピーカごとに、前記受音点を原点とした仮想球面において、前記原点から当該原スピーカの方向が、3つの再生スピーカの方向で特定される球面三角形に包含されるか否かを判定し、当該原スピーカの方向を包含する球面三角形を構成する3つの再生スピーカの方向を複数選択する包含関係判定手段と、
この包含関係判定手段で選択された3つの再生スピーカの方向で特定される前記球面三角形の面積が最小となる球面三角形を構成する3つの再生スピーカの組を選択する球面三角形選択手段と、
を備えることを特徴とする請求項1に記載の音響信号変換装置。
【請求項3】
前記再生チャンネル決定手段は、
前記原スピーカごとに、前記受音点を原点とした仮想球面において、前記原点から当該原スピーカの方向が、3つの再生スピーカの方向で特定される球面三角形に包含されるか否かを判定し、当該原スピーカの方向を包含する球面三角形を構成する3つの再生スピーカの方向を複数選択する包含関係判定手段と、
この包含関係判定手段で選択された3つの再生スピーカの方向で特定される前記球面三角形の面積の小さい順に予め定めた数の球面三角形を構成する3つの再生スピーカの組を複数選択する球面三角形選択手段と、を備え、
前記重み係数計算手段が、前記3つの再生スピーカごとに計算した前記重み係数を仮の重み係数とし、さらに、前記球面三角形選択手段で選択された球面三角形の面積の逆数に応じた比率を、当該仮の重み係数に乗算することで、前記再生スピーカに対する原音響信号の重み係数を計算することを特徴とする請求項1に記載の音響信号変換装置。
【請求項4】
1以上のチャンネル数の原音響信号をチャンネル数の異なる再生音響信号に変換するために、コンピュータを、
前記原音響信号のチャンネルに対応する原スピーカごとに、3次元音響空間における受音点を原点として、前記再生音響信号のチャンネルに対応する再生スピーカの中で3つの再生スピーカの方向で特定される方向領域に、当該原スピーカの方向を包含する前記3つの再生スピーカの組を決定する再生チャンネル決定手段、
前記原スピーカの位置と、当該原スピーカに対して前記再生チャンネル決定手段で決定された再生スピーカの組の各位置とに基づいて、前記原スピーカに対応する原音響信号の前記受音点における音響物理量と、前記決定された再生スピーカの組に対応する再生音響信号の前記受音点における音響物理量とが一致するように予め定めた演算式により、前記再生スピーカの組のそれぞれに対する前記原音響信号の分配比率を、重み係数として計算する重み係数計算手段、
前記1以上のチャンネル数の原音響信号を、前記重み係数計算手段で計算された原スピーカに対する再生スピーカへの重み係数に基づいて分配して、前記再生スピーカに対応したチャンネル数の再生音響信号を生成する音響信号分配手段、
として機能させることを特徴とする音響信号変換プログラム。
【請求項5】
音源となる原音響信号を指定された定位位置に音像として定位させる複数チャンネルの再生音響信号を生成する3次元音響パンニング装置において、
前記再生音響信号のチャンネルに対応する再生スピーカの位置を記憶する記憶手段と、
この記憶手段に記憶されている再生スピーカの位置と指定された定位位置とに基づいて、3次元音響空間における受音点を原点として、3つの再生スピーカの方向で特定される方向領域に、前記定位位置の方向を包含する前記3つの再生スピーカの組を決定する再生チャンネル決定手段と、
前記定位位置と、当該定位位置に対して前記再生チャンネル決定手段で決定された再生スピーカの組の各位置とに基づいて、前記原音響信号の前記受音点における音響物理量と、前記決定された再生スピーカの組に対応する再生音響信号の前記受音点における音響物理量とが一致するように予め定めた演算式により、前記再生スピーカの組の各再生スピーカに対する前記原音響信号の分配比率を、重み係数として計算する重み係数計算手段と、
前記原音響信号を、前記重み係数計算手段で計算された重み係数に基づいて分配して、前記再生スピーカごとの再生音響信号を生成する音響信号分配手段と、
を備えることを特徴とする3次元音響パンニング装置。
【請求項6】
前記再生チャンネル決定手段は、
前記受音点を原点とした仮想球面において、前記原点から前記定位位置の方向が、3つの再生スピーカの方向で特定される球面三角形に包含されるか否かを判定し、当該定位位置の方向を包含する球面三角形を構成する3つの再生スピーカの方向を複数選択する包含関係判定手段と、
この包含関係判定手段で選択された3つの再生スピーカの方向で特定される前記球面三角形の面積が最小となる球面三角形を構成する3つの再生スピーカの組を選択する球面三角形選択手段と、
を備えることを特徴とする請求項5に記載の3次元音響パンニング装置。
【請求項7】
前記再生チャンネル決定手段は、
前記受音点を原点とした仮想球面において、前記原点から前記定位位置の方向が、3つの再生スピーカの方向で特定される球面三角形に包含されるか否かを判定し、当該定位位置の方向を包含する球面三角形を構成する3つの再生スピーカの方向を複数選択する包含関係判定手段と、
この包含関係判定手段で選択された3つの再生スピーカの方向で特定される前記球面三角形の面積の小さい順に予め定めた数の球面三角形を構成する3つの再生スピーカの組を複数選択する球面三角形選択手段と、を備え、
前記重み係数計算手段が、前記3つの再生スピーカごとに計算した前記重み係数を仮の重み係数とし、さらに、前記球面三角形選択手段で選択された球面三角形の面積の逆数に応じた比率を、当該仮の重み係数に乗算することで、前記再生スピーカに対する原音響信号の重み係数を計算することを特徴とする請求項5に記載の3次元音響パンニング装置。
【請求項8】
音源となる原音響信号を指定された定位位置に音像として定位させる複数チャンネルの再生音響信号を生成するために、コンピュータを、
3次元音響空間における受音点を原点として、前記再生音響信号のチャンネルに対応する再生スピーカの中で3つの再生スピーカの方向で特定される方向領域に、前記定位位置の方向を包含する前記3つの再生スピーカの組を決定する再生チャンネル決定手段、
前記定位位置と、当該定位位置に対して前記再生チャンネル決定手段で決定された再生スピーカの組に各位置とに基づいて、前記原音響信号の前記受音点における音響物理量と、前記決定された再生スピーカの組に対応する再生音響信号の前記受音点における音響物理量とが一致するように予め定めた演算式により、前記再生スピーカの組の各再生スピーカに対する前記原音響信号の分配比率を、重み係数として計算する重み係数計算手段、
前記原音響信号を、前記重み係数計算手段で計算された重み係数に基づいて分配して、前記再生スピーカごとの再生音響信号を生成する音響信号分配手段、
として機能させることを特徴とする3次元音響パンニングプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate


【公開番号】特開2012−49967(P2012−49967A)
【公開日】平成24年3月8日(2012.3.8)
【国際特許分類】
【出願番号】特願2010−192244(P2010−192244)
【出願日】平成22年8月30日(2010.8.30)
【出願人】(000004352)日本放送協会 (2,206)
【Fターム(参考)】