説明

音信号擬似定位システム、方法、音信号擬似定位復号装置及びプログラム

【課題】多地点通信会議システム等において、臨場感を損なうことなく多地点からの音声信号を加算する。
【解決手段】MS変換部3が、第一入力信号と第二入力信号とを加算してM信号とし、第一入力信号から第二入力信号を減算してS信号とする。拡張擬似定位付与部1が、地点数N≧2を定位を与えることができる方向の総数、地点情報nを定位を与える方向の番号、M信号をS(t)、S信号をS(t)として、S(t)=S(t)、S(t)=(N−2n−1)*S(t)/N+(1/N)*S(t)により定義される復号M信号S(t)及び復号S信号S(t)を計算する。LR変換部2が、復号M信号と復号S信号とを加算して2で割って第一出力信号を生成し、復号M信号から復号S信号を減算して2で割って第二出力信号を生成する。

【発明の詳細な説明】
【技術分野】
【0001】
この発明は、音声信号を含む音信号に擬似的に立体的な効果を与える技術に関する。
【背景技術】
【0002】
多地点通信会議システムにおいて、各地点でステレオ収音された音声信号をそのまま加算する技術が知られている。先行技術文献は存在しない。
【発明の概要】
【発明が解決しようとする課題】
【0003】
しかしながら、各地点でステレオ収音された音声信号をそのまま加算すると、加算の結果得られた音声信号で再現される仮想的音源位置が地点間で重なるため、通信者に不自然な印象を与え、会議の臨場感を損なうという課題がある。
【課題を解決するための手段】
【0004】
上記の課題を解決するために、請求項1に記載された音信号擬似定位システムは、第一入力信号と第二入力信号とを加算してM信号とし、上記第一入力信号から上記第二入力信号を減算してS信号とするMS変換部と、地点数N≧2を定位を与えることができる方向の総数、地点情報nを定位を与える方向の番号、上記M信号をS(t)、上記S信号をS(t)として、S(t)=S(t)、S(t)=(N−2n−1)*S(t)/N+(1/N)*S(t)により定義される復号M信号S(t)及び復号S信号S(t)を計算する拡張擬似定位付与部と、上記復号M信号と上記復号S信号とを加算して2で割って第一出力信号を生成し、上記復号M信号から上記復号S信号を減算して2で割って第二出力信号を生成するLR変換部とを含む。
【発明の効果】
【0005】
地点ごとに異なる音源位置を定めることが可能となるため、会議等における臨場感を損なうことがなくなる。
【図面の簡単な説明】
【0006】
【図1】第一実施形態の音信号擬似定位システムの例の機能ブロック図。
【図2】第二実施形態の音信号擬似定位システムの例の機能ブロック図。
【図3】第三実施形態の音信号擬似定位システムの例の機能ブロック図。
【図4】第三実施形態の音信号擬似定位システムの例の機能ブロック図。
【図5】第四実施形態の音信号擬似定位システムの例の機能ブロック図。
【図6】第四実施形態の音信号擬似定位システムのミキサの例の機能ブロック図。
【図7】第四実施形態の音信号擬似定位システムの復号装置の例の機能ブロック図。
【図8】第五実施形態の音信号擬似定位システムのミキサの例の機能ブロック図。
【図9】第五実施形態の音信号擬似定位システムの符号化装置の例の機能ブロック図。
【図10】第五実施形態の音信号擬似定位システムの拡張符号化部の例の機能ブロック図。
【図11】第五実施形態の音信号擬似定位システムの拡張符号化部の例の機能ブロック図。
【図12】第五実施形態の音信号擬似定位システムの拡張符号化部の例の機能ブロック図。
【図13】第五実施形態の音信号擬似定位システムの復号装置の例の機能ブロック図。
【図14】第一実施形態の音信号擬似定位方法の例の流れ図。
【図15】第二実施形態の音信号擬似定位方法の例の流れ図。
【図16】第三実施形態の音信号擬似定位方法の例の流れ図。
【図17】第四実施形態の音信号擬似定位方法の例の流れ図。
【図18】第五実施形態の音信号擬似定位方法の例の流れ図。
【図19】第五実施形態の音信号擬似定位方法の例の流れ図。
【図20】帯域分割を例示する図。
【図21】帯域分割を例示する図。
【発明を実施するための形態】
【0007】
[第一実施形態]
第一実施形態の音信号擬似定位装置は、拡張擬似定位付与部1、LR変換部2及びMS変換部3を含む。
【0008】
第一入力信号S(t)及び第二入力信号S(t)がMS変換部3に入力される。Lチャネルの音声信号が第一入力信号S(t)とされ、Rチャネルの音声信号が第二入力信号S(t)とされる。tはサンプル番号である。
【0009】
MS変換部3は、第一入力信号S(t)及び第二入力信号S(t)を下式(1),(2)に従いM信号S(t)及びS信号S(t)に変換する(ステップS1、図14)。すなわち、第一入力信号S(t)と第二入力信号S(t)とを加算してM信号S(t)とし、第一入力信号S(t)から第二入力信号S(t)を減算してS信号S(t)とする。変換されたM信号S(t)及びS信号S(t)は、拡張擬似定位付与部1に送られる。
(t)=S(t)+S(t) …(1)
(t)=S(t)−S(t) …(2)
【0010】
拡張擬似定位付与部1は、下式(3),(4)に従い復号M信号S(t)と復号S信号S(t)を出力する(ステップS2)。復号M信号S(t)及び復号S信号S(t)は、LR変換部2に送られる。Nは地点数であり定位を与えることができる方向の総数である。Nは2以上の整数である。nは定位を与えようとする地点情報であり、この例では定位を与える方向の番号である。nは0以上N−1以下の整数である。
(t)=S(t) …(3)
(t)=(N−2n−1)*S(t)/N+(1/N)*S(t) …(4)
【0011】
なお、地点数Nは通信を開始する際のプロトコルで取得して音信号擬似定位システムを構成する各装置に記憶しておいてもよいし、パケットのヘッダ情報に組み込んでおいてもよいし、別途符号の一部に組み込んでおいてもよい。地点数Nを予め定めておいてもよい。
【0012】
定位を与える方向の番号は0からN−1の間で任意に決めることができるが、通信開始時のプロトコルで取得できる地点番号を用いてもよい。もちろん、地点番号が重複しないようにするために、nは既に定位を与えた地点の地点番号以外の地点番号の中から選択される。
【0013】
LR変換部2は、復号M信号S(t)及び復号S信号S(t)を用いて、下式(5),(6)に従い第一出力信号S(t)及び第二出力信号S(t)を生成し出力する(ステップS3)。すなわち、LR変換部2は、復号M信号S(t)と復号S信号S(t)とを加算して2で割って第一出力信号を生成し、復号M信号S(t)から復号S信号S(t)を減算して2で割って第二出力信号を生成する。
(t)=(S(t)+S(t))/2 …(5)
(t)=(S(t)−S(t))/2 …(6)
このように、地点情報nに応じた信号処理をM信号及びS信号に対して行うことにより、地点ごとに異なる音源位置を定めることが可能となる。
【0014】
[第二実施形態]
第二実施形態の音信号擬似定位装置は、図2に例示するように、符号化装置100及び復号装置200を含む。符号化装置100は、MS変換部3、第一符号化部4及び第二符号化部5を含む。復号装置200は、拡張擬似定位付与部1、LR変換部2、第一復号部6及び第二復号部7を含む。
【0015】
符号化装置100のMS変換部3は、第一実施形態と同様にして、第一入力信号と第二入力信号とを加算してM信号とし、第一入力信号から第二入力信号を減算してS信号とする(ステップS1、図15)。生成されたM信号は第一符号化部4に送られ、生成されたS信号は第二符号化部5に送られる。
【0016】
第一符号化部4は、M信号を符号化してM符号とする(ステップS4)。例えば、G.711.1、G.711に規定された手法により、符号化することができる。この発明において「符号化」すると言った場合には同様である。
第二符号化部5は、S信号を符号化してS符号とする(ステップS5)。
M符号及びS符号は復号装置200に送られる。
【0017】
復号装置200の第一復号部6は、第一符号化部4による符号化に対応する復号方法によりM符号を復号して、仮復号M信号を生成する。仮復号M信号は拡張擬似定位付与部1に送られる(ステップS6)。
【0018】
第二復号部7は、第二符号化部5による符号化に対応する復号方法によりS符号を復号して、仮復号S信号を生成する。仮復号S信号は拡張擬似定位付与部1に送られる(ステップS7)。
【0019】
拡張擬似定位付与部1は、仮復号M信号をS(t)、仮復号S信号をS(t)として、第一実施形態の拡張擬似定位付与部1と同様に、上記式(3),(4)に従い復号M信号S(t)と復号S信号S(t)を出力する(ステップS2)。復号M信号S(t)及び復号S信号S(t)は、LR変換部2に送られる。
【0020】
LR変換部2は、第一実施形態のLR変換部2と同様に、復号M信号S(t)及び復号S信号S(t)を用いて、上記式(5),(6)に従い第一出力信号S(t)及び第二出力信号S(t)を生成し出力する(ステップS3)。
【0021】
このように、M信号及びS信号を符号化する場合においても、地点情報nに応じた信号処理を復号したM信号及びS信号に対して行うことにより、地点ごとに異なる音源位置を定めることが可能となる。
【0022】
[第三実施形態]
第三実施形態の音信号擬似定位システムは、符号化装置100及び復号装置200を含む。符号化装置100は、図3に例示するように、MS変換部3、第一信号符号化部41、第二信号符号化部51、第一ゲイン符号化部42、第二ゲイン符号化部52、第一符号多重化部43及び第二符号多重化部53を含む。復号装置200は、図4に例示するように、第一符号分離部91、第二符号分離部92、第一部分復号部61、第二部分復号部62、第一ゲイン復号部81、第二ゲイン復号部82、第一乗算部101、第二乗算部102、第三乗算部103、加算部111及びLR変換部2を含む。
【0023】
符号化装置100のMS変換部3は、第一実施形態と同様にして、第一入力信号と第二入力信号とを加算してM信号とし、第一入力信号から第二入力信号を減算してS信号とする(ステップS1、図16)。生成されたM信号は第一信号符号化部41及び第一ゲイン符号化部42に送られ、生成されたS信号は第二信号符号化部51及び第二ゲイン符号化部52に送られる。
【0024】
第一ゲイン符号化部42は、M信号S(t)のゲインgを次式に従い算出し、算出されたゲインgを量子化してMゲイン符号Cgmとする(ステップS8)。ゲインgは、入力された信号の大きさを表わす代表値である。ゲインとして1フレームを構成するサンプルの平均値を用いている。次式に示した方法以外にもスカラ量子化を用いることもできる。
g=(1/K)*ΣK−1t=0(S(t)) (ゲインの算出)
gm=(1/2)*[log(g)]−const (ゲインの量子化)
【0025】
Kは1フレームのサンプルの数であり、[・]は・の整数部分を出力する関数であり、constは音信号擬似定位装置に求められる性能や仕様に応じて適宜定められる任意の定数である。第一ゲイン符号化部42は、Mゲイン符号Cgmを、次式に従い逆量子化して復号MゲインA’mを求め、第一信号符号化部41に入力する。
A’m=2Cgm+const
【0026】
第一信号符号化部41は、M信号S(t)を復号MゲインA’mで正規化したのち、ベクトル量子化などを用いて符号化し、正規化M信号符号とする(ステップS9)。例えば、S(t)/A’mとすることにより正規化を行う。
【0027】
第一符号多重化部43は、Mゲイン符号Cgm及び正規化M信号符号を含む拡張M符号を生成する(ステップS10)。例えば、Mゲイン符号Cgm及び正規化M信号符号を所定の順序で並べて拡張M符号とする。ネットワークを通じて拡張M符号を伝送する必要がある場合は、ヘッダ情報などを付加してもよい。生成された拡張M符号は、復号装置200に送られる。
【0028】
第二ゲイン符号化部52は、第一ゲイン符号化部42と同様に、S信号S(t)のゲインgを(ゲインの算出)の式に従い算出し、算出されたゲインgを(ゲインの量子化)の式に従い量子化してSゲイン符号Cgsとする(ステップS11)。また、第二ゲイン符号化部52は、Sゲイン符号Cgsを、次式に従い逆量子化して復号SゲインA’sを求め、第二信号符号化部51に入力する。
A’=2Cgs+const
【0029】
第二信号符号化部51は、第一信号符号化部41と同様に、S信号S(t)を復号SゲインA’sで正規化したのち、ベクトル量子化などを用いて符号化し、正規化S信号符号とする(ステップS12)。
【0030】
第二符号多重化部53は、第一符号多重化部43と同様に、Sゲイン符号Cgs及び正規化S信号符号を含む拡張S符号を生成する(ステップS13)。
【0031】
復号装置200の第一符号分離部91(図4)は、拡張M符号からMゲイン符号Cgm及び正規化M信号符号を分離する(ステップS14)。Mゲイン符号は第一ゲイン復号部81に送られ、正規化M信号符号は第一部分復号部61に送られる。
【0032】
第一部分復号部61は、分離された正規化M信号符号を例えば逆量子化することにより復号して復号正規化M信号S’(t)とする(ステップS15)。復号正規化M信号S’(t)は、第一乗算部101に送られる。
【0033】
第一ゲイン復号部81は、Mゲイン符号Cgmを例えば次式により逆量子化することにより復号して復号MゲインA’mを得る(ステップS16)。復号MゲインA’mは、第一乗算部101に送られる。
A’m=2Cgm+const
【0034】
第一乗算部101は、復号正規化M信号S’(t)と復号MゲインA’mとを乗算して、復号M信号を生成する(ステップS17)。復号M信号は、LR変換部2及び第二乗算部102に送られる。
【0035】
第二符号分離部92は、拡張S符号からSゲイン符号Cgs及び正規化S信号符号を分離する(ステップS18)。Sゲイン符号は第二ゲイン復号部82に送られ、正規化S信号符号は第二部分復号部62に送られる。
【0036】
第二部分復号部62は、分離された正規化S信号符号を例えば逆量子化することにより復号して復号正規化S信号S’(t)とする(ステップS19)。復号正規化S信号S’(t)は、第三乗算部103に送られる。
【0037】
第二ゲイン復号部82は、Sゲイン符号Cgsを例えば次式により逆量子化することにより復号して復号SゲインA’sを得る(ステップS20)。復号SゲインA’sは、拡張擬似定位ゲイン演算部11に送られる。
A’s=2Cgs+const
【0038】
拡張擬似定位ゲイン演算部11は、次式により定義される第一擬似SゲインA及び第二擬似SゲインAを計算する(ステップS21)。第一擬似SゲインAは第二乗算部102に送られ、第二擬似SゲインAは第三乗算部103に送られる。
=(N−2n−1)/N
=A’s/N
ここで、第一実施形態と同様に、地点数N≧2は定位を与えることができる方向の総数である、地点情報nは定位を与える方向の番号である。
【0039】
第二乗算部102は、復号M信号と第一擬似Sゲインとを乗算して第一定位S信号とする(ステップS22)。第一定位S信号は加算部111に送られる。
第三乗算部103は、復号正規化S信号と第二擬似Sゲインとを乗算して第二定位S信号とする(ステップS23)。第二定位S信号は加算部111に送られる。
【0040】
加算部111は、第一定位S信号と第二定位S信号とを加算して復号S信号S(t)とする(ステップS24’)。復号S信号は、LR変換部2に送られる。
LR変換部2は、第一実施形態のLR変換部2と同様に、復号M信号S(t)及び復号S信号S(t)を用いて、上記式(5),(6)に従い第一出力信号S(t)及び第二出力信号S(t)を生成し出力する(ステップS3)。
【0041】
このように、符号化装置がゲイン符号化を含む符号化方法を用いる場合においても、地点情報nに応じた信号処理を復号したM信号及びS信号に対して行うことにより、地点ごとに異なる音源位置を定めることが可能となる。
また、第三実施形態のように、ミキサ300でゲインのみを復号して、そのゲインを用いて擬似定位を与えることにより、ミキサの処理量が従来よりも小さくなる。ミキサ300で、音信号全体を復号しないためである。
【0042】
[第四実施形態]
第四実施形態の音信号擬似定位システムは、図5に例示するように、符号化装置100、復号装置200及びミキサ300を含む。
【0043】
符号化装置100は、第三実施形態の符号化装置100と同様に図3に例示するように、MS変換部3、第一信号符号化部41、第二信号符号化部51、第一ゲイン符号化部42、第二ゲイン符号化部52、第一符号多重化部43、第二符号多重化部53を含む。ミキサ300は、図6に例示するように、符号分離部9、ゲイン復号部8、ゲイン符号化部12、第一拡張擬似定位ゲイン演算部161及び符号多重化部13を例えば含む。復号装置200は、図7に例示するように、第一符号分離部91、第二符号分離部92、第一部分復号部61、第二部分復号部62、第一ゲイン復号部81、第二ゲイン復号部82、第一乗算部101、第二乗算部104、第三乗算部105、第二拡張擬似定位ゲイン演算部162、加算部112及びLR変換部2を含む。
【0044】
符号化装置100は第三実施形態の符号化装置100と同様であり、図17に例示したステップS1からステップS13の処理を行う。符号化装置100により生成された拡張M符号は復号装置200に送られ、拡張S符号はミキサ300に送られる。拡張M符号はミキサ300を介して復号装置200に送られてもよい。
【0045】
ミキサ300の符号分離部9(図6)は、拡張S符号からSゲイン符号及び正規化S信号符号を分離する(ステップS18)。正規化S信号符号は符号多重化部13に送られ、Sゲイン符号はゲイン復号部8に送られる。
ゲイン復号部8は、Sゲイン符号Cgsを例えば次式により逆量子化することにより復号して復号SゲインA’sを得る(ステップS20)。復号SゲインA’sは、第一拡張擬似定位ゲイン演算部161に送られる。
A’s=2Cgs+const
【0046】
第一拡張擬似定位ゲイン演算部161は、次式により定義される擬似SゲインApseudoを計算する(ステップS24)。地点数N≧2は、定位を与えることができる方向の総数である。擬似SゲインApseudoは、ゲイン符号化部12に送られる。
pseudo=A’s/N
【0047】
ゲイン符号化部12は、擬似SゲインApseudoを符号化してSゲイン符号とする(ステップS25)。Sゲイン符号は、符号多重化部13に送られる。
符号多重化部13は、正規化S信号符号及びゲイン符号化部12により生成されたSゲイン符号を含むS符号を生成する(ステップS26)。生成されたS符号は、復号装置200に送られる。
【0048】
復号装置200の第一符号分離部91(図7)は、拡張M符号からMゲイン符号Cgm及び正規化M信号符号を分離する(ステップS14)。Mゲイン符号は第一ゲイン復号部81に送られ、正規化M信号符号は第一部分復号部61に送られる。
【0049】
第一部分復号部61は、分離された正規化M信号符号を例えば逆量子化することにより復号して復号正規化M信号S’(t)とする(ステップS15)。復号正規化M信号S’(t)は、乗算部101に送られる。
【0050】
第一ゲイン復号部81は、Mゲイン符号Cgmを例えば次式により逆量子化することにより復号して復号MゲインA’mを得る(ステップS16)。復号MゲインA’mは、第一乗算部101に送られる。
A’m=2Cgm+const
【0051】
第一乗算部101は、復号正規化M信号S’(t)と復号MゲインA’mとを乗算して、復号M信号を生成する(ステップS17)。復号M信号は、LR変換部2及び第三乗算部105に送られる。
【0052】
第二符号分離部92は、S符号からSゲイン符号Cgs及び正規化S信号符号を分離する(ステップS18’)。Sゲイン符号は第二ゲイン復号部82に送られ、正規化S信号符号は第二部分復号部62に送られる。
【0053】
第二部分復号部62は、分離された正規化S信号符号を例えば逆量子化することにより復号して復号正規化S信号S’(t)とする(ステップS19)。復号正規化S信号S’(t)は、第二乗算部104に送られる。
【0054】
第二ゲイン復号部82は、Sゲイン符号Cgsを例えば次式により逆量子化することにより復号して復号SゲインA’sを得る(ステップS20)。復号SゲインA’sは、第二乗算部104に送られる。
A’s=2Cgs+const
【0055】
第二乗算部104は、復号正規化S信号S’(t)と復号SゲインA’sとを乗算して、第一復号S信号を生成する(ステップS27)。第一復号S信号は、加算部112に送られる。
第二拡張擬似定位ゲイン演算部162は、次式により定義される擬似Mゲインgm2を計算する(ステップS28)。擬似Mゲインgm2は、第三乗算部105に送られる。
gm2=(N−2*n−1)/N
【0056】
第三乗算部105は、復号M信号と擬似Mゲインgm2とを乗算して第二復号M信号とする(ステップS29)。第二復号M信号は、加算部112に送られる。
加算部112は、第一復号S信号と第二復号M信号とを加算して復号S信号とする(ステップS30)。復号S信号は、LR変換部2に送られる。
【0057】
LR変換部2は、第一実施形態のLR変換部2と同様に、復号M信号S(t)及び復号S信号S(t)を用いて、上記式(5),(6)に従い第一出力信号S(t)及び第二出力信号S(t)を生成し出力する(ステップS3)。
このように、符号化装置がゲイン符号化を含む符号化方法を用いる場合においても、地点情報nに応じた信号処理を復号したM信号及びS信号に対して行うことにより、地点ごとに異なる音源位置を定めることが可能となる。
【0058】
[第五実施形態]
第五実施形態の音信号擬似定位システムは、3つ地点で通信を行うものである。以下、第一地点及び第二地点の符号化装置から送信された音信号符号に対してミキシングを行い、第三地点の符号化装置に送信する動作を説明する。
【0059】
まず、重要度や発話状態に応じて、3つの符号化装置の何れかが主地点として選択されるとする。例えば、パワーが最も大きい音信号を符号化する符号化装置が主地点として選択される。また、特許第4033840号公報に記載されたVAD(Voice Activity Detector)等の手法により、主地点となる符号化装置が選択されてもよい。この例では、第一地点の符号化装置が主地点として選択されたとする。
【0060】
ミキサ300の拡張信号混合部171(図8)に主地点として選択された符号化装置が送信した拡張M符号及び拡張S符号が入力される。拡張信号混合部172には主地点として選択されなかった符号化装置が送信した拡張M符号及び拡張S符号が入力される。
【0061】
拡張M符号は、符号化装置に入力された第一入力信号と第二入力信号とを加算したM信号の大きさを表す代表値であるMゲインを符号化したMゲイン符号と、上記M信号を上記Mゲインで正規化した正規化M信号を符号化した正規化M信号符号と、復号化される音信号の品質を向上させるための付加情報を符号化した品質拡張M符号とを含む符号である。拡張S符号は、符号化装置に入力された第一入力信号から第二入力信号を減算したS信号の大きさを表す代表値であるSゲインを符号化したSゲイン符号と、S信号をSゲインで正規化した正規化S信号を符号化した正規化S信号符号と、復号化される音信号の品質を向上させるための付加情報を符号化した品質拡張S符号とを含む符号である。
【0062】
拡張M符号及び拡張S符号は、後述する図9に例示する構成を含む符号化装置100により例えば生成される。
第一符号分離部93は、拡張信号混合部171に入力された拡張M符号からMゲイン符号、正規化M信号符号及び品質拡張M符号を分離する(ステップA1、図18)。Mゲイン符号は第一ゲイン復号部81に送られ、分離された正規化M信号符号は、第一符号多重化部131に送られ、品質拡張M符号は第一品質拡張復号部141に送られる。
【0063】
第一品質拡張復号部141は、品質拡張M符号を復号して第一品質拡張M信号とする(ステップA2)。第一品質拡張M信号は、第一乗算部106及び第三加算部115に送られる。
第二符号分離部94は、拡張信号混合部171に入力された拡張S符号からSゲイン符号、正規化S信号符号及び品質拡張S符号を分離する(ステップA3)。Sゲイン符号は第二ゲイン復号部82に送られ、分離された正規化S信号符号は、第二符号多重化部132に送られ、品質拡張S符号は第二品質拡張復号部142に送られる。
【0064】
第二品質拡張復号部142は、品質拡張S符号を復号して第一品質拡張S信号とする(ステップA4)。第一品質拡張S信号は、第二乗算部107に送られる。
【0065】
第一拡張擬似定位ゲイン演算部163は、第一擬似Mゲインを(2n+1−N)/Nとし、第一擬似Sゲインを1/Nとする(ステップA5)。N≧2は地点数であり与えることができる方向の総数であり、地点情報nは主地点として選択された符号化装置で収音された音信号に定位を与える方向の番号である。第一擬似Mゲインは第一乗算部106及び第五乗算部1010に送られる。第一擬似Sゲインは、第二乗算部107及び第六乗算部1011に送られる。
【0066】
第一乗算部106は、第一品質拡張M信号と第一擬似Mゲインとを乗算して第一擬似定位M信号とする(ステップA6)。第一擬似定位M信号は、第一加算部113に送られる。
第二乗算部107は、第一品質拡張S信号と第一擬似Sゲインとを乗算して第一擬似定位S信号とする(ステップA7)。第一擬似定位S信号は、第一加算部113に送られる。
第一加算部113は、第一擬似定位M信号と第一擬似定位S信号とを加算して第一定位変換S信号とする(ステップA8)。第一定位変換S信号は、第四加算部116に送られる。
【0067】
第三符号分離部95は、拡張信号混合部172に入力された拡張M符号から品質拡張M符号を分離する(ステップA9)。品質拡張M符号は第三品質拡張復号部143に送られる。
第三品質拡張復号部143は、品質拡張M符号を復号して第二品質拡張M信号とする(ステップA10)。第三品質拡張M信号は、第三乗算部108及び第二加算部115に送られる。
【0068】
第四符号分離部96は、拡張信号混合部172に入力された拡張S符号から品質拡張S符号を分離する(ステップA11)。品質拡張S符号は第四品質拡張復号部144に送られる。
第四品質拡張復号部144は、品質拡張S符号を復号して第二品質拡張S信号とする(ステップA12)。第二品質拡張S信号は、第四乗算部109に送られる。
【0069】
第二拡張擬似定位ゲイン演算部164は、第二擬似Mゲインを(2n+1−N)/Nとし、第二擬似Sゲインを1/Nとする(ステップA13)。N≧2は地点数であり与えることができる方向の総数であり、地点情報nは主地点として選択されなかった符号化装置で収音された音信号に定位を与える方向の番号である。第二擬似Mゲインは第三乗算部108に送られる。第二擬似Sゲインは、第四乗算部109に送られる。
【0070】
第三乗算部108は、第二品質拡張M信号と第二擬似Mゲインとを乗算して第二擬似定位M信号とする(ステップA14)。第二擬似定位M信号は、第二加算部114に送られる。
第四乗算部109は、第二品質拡張S信号と第二擬似Sゲインとを乗算して第二擬似定位S信号とする(ステップA15)。第二擬似定位S信号は、第二加算部114に送られる。
【0071】
第二加算部114は、第二擬似定位M信号と第二擬似定位S信号とを加算して第二定位変換S信号とする(ステップA16)。第二定位変換S信号は、第四加算部116に送られる。
第三加算部115は、第一品質拡張M信号と第二品質拡張M信号とを加算して定位混合M信号とする(ステップA17)。定位混合M信号は、第一品質拡張符号化部151に送られる。
【0072】
第一品質拡張符号化部151は、定位混合M信号を符号化して定位混合M符号とする(ステップA18)。定位混合M符号は、第一符号多重化部131に送られる。
第一ゲイン復号部81は、第一符号分離部93で分離されたMゲイン符号を復号して復号Mゲインとする(ステップA19)。復号Mゲインは、第五乗算部1010に送られる。
【0073】
第五乗算部1010は、復号Mゲインと第一擬似Mゲインとを乗算して定位Mゲインとする(ステップA20)。定位Mゲインは、第一ゲイン符号化部121に送られる。
【0074】
第一ゲイン符号化部121は、定位Mゲインを符号化して定位Mゲイン符号とする(ステップA21)。定位Mゲイン符号は、第一符号多重化部131に送られる。
第一符号多重化部131は、定位混合M符号と定位Mゲイン符号と第一符号分離部93で分離された正規化M信号符号とを含む拡張M符号を生成する(ステップA22)。拡張M符号は、復号装置200に送られる。
【0075】
第四加算部116は、第一定位変換S信号と第二定位変換S信号とを加算して定位混合S信号とする(ステップA23)。定位混合S信号は、第二品質拡張符号化部153に送られる。
第二品質拡張符号化部153は、定位混合S信号を符号化して定位混合S符号とする(ステップA24)。定位混合S符号は、第二符号多重化部132に送られる。
第二ゲイン復号部82は、第二符号分離部94で分離されたSゲイン符号を復号して復号Sゲインとする(ステップA25)。復号Sゲインは、第六乗算部1011に送られる。
【0076】
第六乗算部1011は、復号Sゲインと第一擬似Sゲインとを乗算して定位Sゲインとする(ステップA26)。定位Sゲインは、第二ゲイン符号化部122に送られる。
第二ゲイン符号化部122は、定位Sゲインを符号化して定位Sゲイン符号とする(ステップA27)。定位Sゲイン符号は、第二符号多重化部132に送られる。
第二符号多重化部132は、定位混合S符号と定位Sゲイン符号と第二符号分離部94で分離された正規化S信号符号とを含む拡張S符号を生成する(ステップA28)。拡張S符号は、復号装置200に送られる。
【0077】
復号装置200には、ミキサ300が生成した拡張M符号及び拡張S符号が入力される。復号装置200は、図13に例示する構成を含み、拡張M符号及び拡張S信号から分離した定位混合M符号、正規化M信号符号、定位Mゲイン符号、定位混合S符号、正規化S信号及び定位Sゲイン符号を復号し、符号化装置に入力された第一入力信号及び第二入力信号を混合した音信号を生成する。
【0078】
以下、図9を参照して第五実施形態の符号化装置100の例について説明する。図9の符号化装置100は、MS変換部3、第一拡張符号化部44及び第二拡張符号化部45を例えば含む。
【0079】
MS変換部3は、第一実施形態と同様にして、第一入力信号と第二入力信号とを加算してM信号とし、第一入力信号から第二入力信号を減算してS信号とする(ステップC1)。生成されたM信号は第一拡張符号化部44に送られ、生成されたS信号は第二拡張符号化部45に送られる。
【0080】
第一拡張符号化部44は、入力されたM信号を用いて、拡張M符号を生成し出力する(ステップC2)。拡張M符号は、ミキサ300に送られる。
第二拡張符号化部45は、入力されたS信号を用いて、拡張S符号を生成し出力する(ステップC3)。拡張S符号は、ミキサ300に送られる。
第一拡張符号化部44及び第二拡張符号化部45として、例えば図10、図11、図12に記載された拡張符号化部46,47,48を用いることができる。
図10の拡張符号化部46は、帯域分割部461、信号符号化部462、ゲイン符号化部463、品質拡張符号化部464、符号多重化部465を例えば含む。
【0081】
帯域分割部461は、入力された信号(M信号又はS信号)の帯域を2つに分けて、一方を第一帯域信号とし、他方を第二帯域信号とする。第一帯域信号は信号符号化部462及びゲイン符号化部463に送られ、第二帯域信号は品質拡張符号化部464に送られる。
例えば、図20に例示するように信号を低域信号(1)と高域信号(2)とに分割し、低域信号(1)を第一帯域信号とし、高域信号(2)を第二帯域信号とする。低域信号(1)を第二帯域信号とし、高域信号(2)を第一帯域信号としてもよい。低域信号(1)と高域信号(2)に割り当てるビット数は同じである必要はない。例えば、図21に例示するように、低域信号(1)に割り当てるビット数を高域信号(2)に割り当てるビット数よりも多くしてもよい。
【0082】
ゲイン符号化部463は、第一帯域信号の大きさを表わす代表値であるゲイン(Mゲイン又はSゲイン)を計算し符号化してゲイン符号(Mゲイン符号又はSゲイン符号)とする。ゲイン符号は符号多重化部465に送られる。例えば、第一帯域信号の1フレームのサンプル値の平均値をゲインとして計算する。また、ゲイン符号化部463は、生成したゲイン符号を復号して復号ゲイン(復号Mゲイン又は復号Sゲイン)とし、復号ゲインを信号符号化部462に送る。
【0083】
信号符号化部462は、第一帯域信号を復号ゲインを用いて正規化し符号化して正規化信号符号(正規化M信号符号又は正規化S信号符号)とする。正規化信号符号は、符号多重化部465に送られる。
品質拡張符号化部464は、第二帯域信号を符号化して品質拡張符号(品質拡張M符号又は品質拡張S符号)とする。品質拡張符号は符号多重化部465に送られる。
符号多重化部465は、正規化信号符号、ゲイン符号及び品質拡張符号を含む拡張符号(拡張M符号又は拡張S符号)を生成する。
【0084】
図11の拡張符号化部47は、信号符号化部471、ゲイン符号化部472、部分復号部473、ゲイン復号部474、乗算部475、減算部476、品質拡張符号化部477及び符号多重化部478を例えば含む。
【0085】
ゲイン符号化部472は、入力された信号(M信号又はS信号)のゲイン(Mゲイン又はSゲイン)を計算し符号化してゲイン符号(Mゲイン符号又はSゲイン符号)とする。ゲイン符号は、符号多重化部478及びゲイン復号部474に送られる。また、ゲイン符号化部472は、生成したゲイン符号を復号して復号ゲイン(復号Mゲイン)とし、復号ゲインを乗算部475に送る。
【0086】
信号符号化部471は、入力された信号を復号ゲインを用いて正規化し符号化して、正規化信号符号(正規化M信号符号又は正規化S信号符号)とする。正規化信号符号は、符号多重化部478及び部分復号部473に送られる。
【0087】
部分復号部473は、正規化信号符号を復号して正規化復号信号(正規化復号M信号又は正規化復号S信号)とする。正規化復号信号は、乗算部475に送られる。
【0088】
乗算部475は、正規化復号信号と復号ゲインとを乗算して、第一帯域復号信号とする。第一帯域復号信号は、減算部476に送られる。減算部476は、入力された信号から第一帯域復号信号を減算して残差信号(残差M信号又は残差S信号)とする。残差信号は、品質拡張符号化部477に送られる。
【0089】
品質拡張符号化部477は、残差信号を符号化して品質拡張符号(品質拡張M符号又は品質拡張S符号)とする。品質拡張符号は、符号多重化部478に送られる。
符号多重化部478は、正規化信号符号、ゲイン符号及び品質拡張符号を含む拡張符号(拡張M符号又は拡張S符号)を生成する。
【0090】
図12の拡張符号化部48は、品質拡張符号化部481、品質拡張復号部482、減算部483、ゲイン符号化部484、部分符号化部485及び符号多重化部486を含む。
【0091】
品質拡張符号化部481は、入力された信号(M信号又はS信号)を符号化して品質拡張符号(品質拡張M符号又は品質拡張S符号)とする。品質拡張符号は、符号多重化部486及び品質拡張復号部482に送られる。
品質拡張復号部482は、品質拡張符号を復号して第二帯域復号信号とする。第二帯域復号信号は、減算部483に送られる。
【0092】
減算部は、入力された信号から第二帯域復号信号を減算して残差信号とする。残差信号は、ゲイン符号化部484及び部分符号化部485に送られる。
【0093】
ゲイン符号化部484は、残差信号の大きさを表すゲインを計算し符号化してゲイン符号(ゲインM符号又はゲインS符号)とする。ゲイン符号は、符号多重化部486に送られる。例えば、残差信号の1フレームのサンプル値の平均値をゲインとする。また、ゲイン符号化部484は、生成したゲイン符号を復号化して復号ゲイン(復号Mゲイン又は復号Sゲイン)として、部分符号化部485に送る。
【0094】
部分符号化部485は、復号ゲインを用いて、残差信号を正規化して符号化して正規化信号符号(正規化M信号符号又は正規化S信号符号)とする。正規化信号符号は、符号多重化部486に送られる。
符号多重化部486は、品質拡張符号、ゲイン符号及び正規化信号符号を含む拡張符号(拡張M符号又は拡張S符号)を生成する。
【0095】
第五実施形態の音信号擬似定位システムの復号装置200の例について図13を参照して説明する。第一符合分離部641は、ミキサが生成した拡張M符号から、正規化M信号符号、定位Mゲイン符号及び定位混合M符号を分離する(ステップD1)。正規化M信号符号は第一信号復号部642に送られ、定位Mゲイン符号は第一ゲイン復号部643に送られ、定位混合M符号は第一品質拡張復号部644に送られる。
【0096】
第一信号復号部642は、正規化M信号符号を復号して正規化復号M信号とする(ステップD2)。正規化復号M信号は、第一乗算部645に送られる。
第一ゲイン復号部643は、定位Mゲイン符号を復号して復号Mゲインとする(ステップD3)。復号ゲインは、第一乗算部645に送られる。
第一乗算部645は、正規化復号M信号と復号Mゲインとを乗算して第一復号M信号とする(ステップD4)。第一復号M信号は、第一加算部646及び第三乗算部6413に送られる。
第一品質拡張復号部644は、定位混合M符号を復号して第二復号M信号とする(ステップD5)。第二復号M信号は、第一加算部646に送られる。
【0097】
第一加算部646は、第一復号M信号と第二復号M信号とを合わせて復号M信号とする(ステップD6)。復号M信号は、LR変換部6415に送られる。符号化装置100の第一拡張符号化部44及び第二拡張符号化部45が図10の拡張符号化部46である場合には、第一復号M信号が第一帯域信号に対応し、第二復号M信号が第二帯域信号に対応する。この場合、第一加算部646は、第一復号M信号の帯域と第二復号M信号の帯域とを合成した信号を復号M信号とする。符号化装置100の第一拡張符号化部44及び第二拡張符号化部45が図11の拡張符号化部47又は図12の拡張符号化部48である場合には、第二復号M信号又は第一復号M信号が残差信号に対応する。この場合、第一加算部646は、第一復号M信号と第二復号M信号とを加算した信号を復号M信号とする。
【0098】
第二符号分離部647は、ミキサが生成した拡張S符号から、正規化S信号符号、定位Sゲイン符号及び定位混合S符号を分離する(ステップD7)。正規化S信号符号は第二信号復号部648に送られ、定位Sゲイン符号は第二ゲイン復号部649に送られ、定位混合S符号は第二品質拡張復号部6410に送られる。
【0099】
第二信号復号部648は、正規化S信号符号を復号して正規化復号S信号とする(ステップD8)。正規化復号S信号は、第二乗算部6411に送られる。
第二ゲイン復号部649は、定位Sゲイン符号を復号して復号Sゲインとする(ステップD9)。復号Sゲインは、第二乗算部6411に送られる。
第二乗算部6411は、正規化復号S信号と復号Sゲインとを乗算して仮第一復号S信号とする(ステップD10)。仮第一復号S信号は、第二加算部6412に送られる。
第二品質拡張復号部6410は、定位混合S符号を復号して第二復号S信号とする(ステップD11)。第二復号S信号は、第三加算部6414に送られる。
【0100】
第二拡張擬似定位ゲイン算出部6416は、擬似ゲイン(N−2n−1)/Nを算出する(ステップD12)。擬似ゲインは、第三乗算部6413に送られる。地点情報nは主地点として選択された符号化装置で収音された音信号に定位を与える方向の番号である。地点情報nは、ミキサ300から復号装置200に送られる。例えば、第一符号多重化部131又は第二符号多重化部132により生成される拡張M符号又は拡張S符号に地点情報nを含めてもよいし、拡張M符号又は拡張S符号を送信する際のヘッダに含めてもよい。
【0101】
第三乗算部6413は、第一復号M信号と擬似ゲインとを乗算して仮第二復号S信号とする(ステップD13)。仮第二復号S信号は、第二加算部6412に送られる。
第二加算部6412は、仮第一復号S信号と仮第二復号S信号とを加算して第一復号S信号とする(ステップD14)。第一復号S信号は、第三加算部6414に送られる。
第三加算部6414は、第一復号S信号と第二復号S信号とを合わせて復号S信号とする(ステップD15)。復号S信号は、LR変換部6415に送られる。
【0102】
LR変換部2は、第一実施形態のLR変換部2と同様に、復号M信号S(t)及び復号S信号S(t)を用いて、上記式(5),(6)に従い第一出力信号S(t)及び第二出力信号S(t)を生成し出力する(ステップD16)。
【0103】
音信号擬似定位システムの各装置(第一実施形態においては音信号擬似定位システムそのもの、他の実施形態においては符号化装置100、復号装置200、ミキサ300)は、コンピュータによって実現することができる。この場合、この装置が有すべき各部の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、この装置における各部が、コンピュータ上で実現される。
【0104】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、これらの装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【0105】
この発明は、上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。

【特許請求の範囲】
【請求項1】
第一入力信号と第二入力信号とを加算してM信号とし、上記第一入力信号から上記第二入力信号を減算してS信号とするMS変換部と、
地点数N≧2を定位を与えることができる方向の総数、地点情報nを定位を与える方向の番号、上記M信号をS(t)、上記S信号をS(t)として、S(t)=S(t)、S(t)=(N−2n−1)*S(t)/N+(1/N)*S(t)により定義される復号M信号S(t)及び復号S信号S(t)を計算する拡張擬似定位付与部と、
上記復号M信号と上記復号S信号とを加算して2で割って第一出力信号を生成し、上記復号M信号から上記復号S信号を減算して2で割って第二出力信号を生成するLR変換部と、
を含む音信号擬似定位システム。
【請求項2】
第一入力信号と第二入力信号とを加算してM信号とし、上記第一入力信号から上記第二入力信号を減算してS信号とするMS変換部と、上記M信号を符号化してM符号とする第一符号化部と、上記S信号を符号化するS符号とする第二符号化部とを含む符号化装置と、
上記M符号を復号して復号M信号とする第一復号部と、上記S符号を復号して復号S信号とする第二復号部と、地点数N≧2を定位を与えることができる方向の総数、地点情報nを定位を与える方向の番号、上記仮復号M信号をS(t)、上記仮復号S信号をS(t)として、S(t)=S(t)、S(t)=(N−2n−1)*S(t)/N+(1/N)*S(t)により定義される復号M信号S(t)及び復号S信号S(t)を計算する拡張擬似定位付与部と、上記復号M信号と上記復号S信号とを加算して2で割って第一出力信号を生成し、上記復号M信号から上記復号S信号を減算して2で割って第二出力信号を生成するLR変換部とを含む復号装置と、
を含む音信号擬似定位システム。
【請求項3】
第一入力信号と第二入力信号とを加算してM信号とし、上記第一入力信号から上記第二入力信号を減算してS信号とするMS変換部と、上記M信号の大きさを表わす代表値であるゲインを計算し符号化してMゲイン符号とする第一ゲイン符号化部と、上記M信号を上記Mゲイン符号を復号することにより得られた復号Mゲインで正規化し符号化して正規化M信号符号とする第一信号符号化部と、上記Mゲイン符号及び上記正規化M信号符号を含む拡張M符号を生成する第一符号多重化部と、上記S信号の大きさを表わす代表値であるゲインを計算し符号化してSゲイン符号とする第二ゲイン符号化部と、上記S信号を上記Sゲイン符号を復号することにより得られた復号Sゲインで正規化し符号化して正規化S信号符号とする第二信号符号化部と、上記Sゲイン符号及び上記正規化S信号符号を含む拡張S符号を生成する第二符号多重化部とを含む符号化装置と、
上記拡張M符号からMゲイン符号及び正規化M信号符号を分離する第一符号分離部と、上記分離された正規化M信号符号を復号して復号正規化M信号とする第一部分復号部と、上記分離されたMゲイン符号を復号して復号Mゲインを生成する第一ゲイン復号部と、上記復号正規化M信号と上記復号Mゲインとを乗算して復号M信号とする第一乗算部と、上記拡張S符号からSゲイン符号及び正規化S信号符号を分離する第二符号分離部と、上記分離された正規化S信号符号を復号して復号正規化S信号とする第二部分復号部と、上記分離されたSゲイン符号を復号して復号Sゲインを生成する第二ゲイン復号部と、地点数N≧2を定位を与えることができる方向の総数、地点情報nを定位を与える方向の番号、復号SゲインをA’sとして、A=(N−2n−1)/N、A=A’s/Nにより定義される第一擬似SゲインA及び第二擬似SゲインAを計算する拡張擬似定位ゲイン演算部と、上記復号M信号と上記第一擬似Sゲインとを乗算して第一定位S信号とする第二乗算部と、上記復号正規化S信号と上記第二擬似Sゲインとを乗算して第二定位S信号とする第三乗算部と、上記第一定位S信号と上記第二定位S信号とを加算して復号S信号とする加算部と、上記復号M信号と上記復号S信号とを加算して2で割って第一出力信号を生成し、上記復号M信号から上記復号S信号を減算して2で割って第二出力信号を生成するLR変換部とを含む復号装置と、
を含む音信号擬似定位システム。
【請求項4】
第一入力信号と第二入力信号とを加算してM信号とし、上記第一入力信号から上記第二入力信号を減算してS信号とするMS変換部と、上記M信号の大きさを表わす代表値であるゲインを計算し符号化してMゲイン符号とする第一ゲイン符号化部と、上記M信号を上記Mゲイン符号を復号することにより得られた復号Mゲインで正規化し符号化して正規化M信号符号とする第一信号符号化部と、上記Mゲイン符号及び上記正規化M信号符号を含む拡張M符号を生成する第一符号多重化部と、上記S信号の大きさを表わす代表値であるゲインを計算し符号化して第一Sゲイン符号とする第二ゲイン符号化部と、上記S信号を上記第一Sゲイン符号を復号することにより得られた復号Sゲインで正規化し符号化して正規化S信号符号とする第二信号符号化部と、上記第一Sゲイン符号及び上記正規化S信号符号を含む拡張S符号を生成する第二符号多重化部とを含む符号化装置と、
上記拡張S符号からSゲイン符号及び正規化S信号符号を分離する符号分離部と、上記分離されたSゲイン符号を復号して復号Sゲインを生成するゲイン復号部と、定位を変えるための擬似SゲインApseudoを計算する第一拡張擬似定位ゲイン演算部と、上記擬似SゲインApseudoを符号化して第二Sゲイン符号とするゲイン符号化部と、上記分離された正規化S信号符号及び上記第二Sゲイン符号を含むS符号を生成する符号多重化部とを含むミキサと、
上記拡張M符号から正規化M信号符号及びMゲイン符号を分離する第一符号分離部と、上記分離された正規化M信号符号を復号して復号正規化M信号を生成する第一部分復号部と、上記分離されたMゲイン符号を復号して復号Mゲインを生成する第一ゲイン復号部と、上記復号正規化M信号と上記復号Mゲインとを乗算して復号M信号とする第一乗算部と、上記S符号から正規化S信号符号及びSゲイン符号を分離する第二符号分離部と、上記分離された正規化S信号符号を復号して復号正規化S信号を生成する第二部分復号部と、上記分離されたSゲイン符号を復号して復号Sゲインを生成する第二ゲイン復号部と、上記復号正規化S信号と上記復号Sゲインとを乗算して第一復号S信号とする第二乗算部と、地点情報nを定位を与える方向の番号として、gm2=(N−2*n−1)/Nにより定義される擬似Mゲインgm2を計算する第二拡張擬似定位ゲイン演算部と、上記復号M信号と上記擬似Mゲインgm2とを乗算して第二復号M信号とする第三乗算部と、上記第一復号S信号と上記第二復号M信号とを加算して復号S信号とする加算部と、上記復号M信号と上記復号S信号とを加算して2で割って第一出力信号を生成し、上記復号M信号から上記復号S信号を減算して2で割って第二出力信号を生成するLR変換部とを含む復号装置と、
を含む音信号擬似定位システム。
【請求項5】
入力された第一入力信号と第二入力信号とを加算したM信号の大きさを表す代表値であるMゲインを符号化したMゲイン符号と、上記M信号を上記Mゲインで正規化した正規化M信号を符号化した正規化M信号符号と、復号化される音信号の品質を向上させるための付加情報を符号化した品質拡張M符号とを含む拡張M符号、及び、上記第一入力信号から上記第二入力信号を減算したS信号の大きさを表す代表値であるSゲインを符号化したSゲイン符号と、上記S信号を上記Sゲインで正規化した正規化S信号を符号化した正規化S信号符号と、復号化される音信号の品質を向上させるための付加情報を符号化した品質拡張S符号とを含む拡張S符号を生成する2つの符号化装置と、
上記2つの符号化装置の一方が生成した拡張M符号からMゲイン符号、正規化M信号符号及び品質拡張M符号を分離する第一符号分離部と、その品質拡張M符号を復号して第一品質拡張M信号とする第一品質拡張復号部と、上記一方の符号化装置が生成した拡張S符号からSゲイン符号、正規化S信号符号及び品質拡張S符号を分離する第二符号分離部と、その品質拡張S符号を復号して第一品質拡張S信号とする第二品質拡張復号部と、地点数N≧2を定位を与えることができる方向の総数、地点情報nを定位を与える方向の番号として、第一擬似Mゲインを(2n+1−N)/Nとし、第一擬似Sゲインを1/Nとする第一拡張擬似定位ゲイン演算部と、上記第一品質拡張M信号と上記第一擬似Mゲインとを乗算して第一擬似定位M信号とする第一乗算部と、上記第一品質拡張S信号と上記第一擬似Sゲインとを乗算して第一擬似定位S信号とする第二乗算部と、上記第一擬似定位M信号と上記第一擬似定位S信号とを加算して第一定位変換S信号とする第一加算部と、上記2つの符号化装置の他方が生成した拡張M符号から品質拡張M符号を分離する第三符号分離部と、その品質拡張M符号を復号して第二品質拡張M信号とする第三品質拡張復号部と、上記他方の符号化装置が生成した拡張S符号から品質拡張S符号を分離する第四符号分離部と、その品質拡張S符号を復号して第二品質拡張S信号とする第四品質拡張復号部と、地点情報nを定位を与える方向の番号、第二擬似Mゲインを(2n+1−N)/Nとし、第二擬似Sゲインを1/Nとする第二拡張擬似定位ゲイン演算部と、上記第二品質拡張M信号と上記第二擬似Mゲインとを乗算して第二擬似定位M信号とする第三乗算部と、上記第二品質拡張S信号と上記第二擬似Sゲインとを乗算して第二擬似定位S信号とする第四乗算部と、上記第二擬似定位M信号と上記第二擬似定位S信号とを加算して第二定位変換S信号とする第二加算部と、上記第一品質拡張M信号と上記第二品質拡張M信号とを加算して定位混合M信号とする第三加算部と、上記定位混合M信号を符号化して定位混合M符号とする第一品質拡張符号化部と、上記分離されたMゲイン符号を復号して復号Mゲインとする第一ゲイン復号部と、上記復号Mゲインと第一擬似Mゲインとを乗算して定位Mゲインとする第五乗算部と、上記定位Mゲインを符号化して定位Mゲイン符号とする第一ゲイン符号化部と、上記定位混合M符号と上記定位Mゲイン符号と上記分離された正規化M信号符号とを含む拡張M符号を生成する第一符号多重化部と、上記第一定位変換S信号と上記第二定位変換S信号とを加算して定位混合S信号とする第四加算部と、上記定位混合S信号を符号化して定位混合S符号とする第二品質拡張符号化部と、上記分離されたSゲイン符号を復号して復号Sゲインとする第二ゲイン復号部と、上記復号Sゲインと上記第一擬似Sゲインとを乗算して定位Sゲインとする第六乗算部と、上記定位Sゲインを符号化して定位Sゲイン符号とする第二ゲイン符号化部と、上記定位混合S符号と上記定位Sゲイン符号と上記分離された正規化S信号符号とを含む拡張S符号を生成する第二符号多重化部とを含むミキサと、
上記ミキサが生成した拡張M符号から、正規化M信号符号、定位Mゲイン符号及び定位混合M符号を分離する第一符合分離部と、上記正規化M信号符号を復号して正規化復号M信号とする第一信号復号部と、上記定位Mゲイン符号を復号して復号Mゲインとする第一ゲイン復号部と、上記正規化復号M信号と上記復号Mゲインとを乗算して第一復号M信号とする第一乗算部と、上記定位混合M符号を復号して第二復号M信号とする第一品質拡張復号部と、上記第一復号M信号と上記第二復号M信号とを合わせて復号M信号とする第一加算部と、上記ミキサが生成した拡張S符号から、正規化S信号符号、定位Sゲイン符号及び定位混合S符号を分離する第二符号分離部と、上記正規化S信号符号を復号して正規化復号S信号とする第二信号復号部と、上記定位Sゲイン符号を復号して復号Sゲインとする第二ゲイン復号部と、上記正規化復号S信号と上記復号Sゲインとを乗算して仮第一復号S信号とする第二乗算部と、上記定位混合S符号を復号して第二復号S信号とする第二品質拡張復号部と、擬似ゲイン(N−2n−1)/Nを算出する第二拡張擬似定位ゲイン算出部と、上記第一復号M信号と上記擬似ゲインとを乗算して仮第二復号S信号とする第三乗算部と、上記仮第一復号S信号と上記仮第二復号S信号とを加算して第一復号S信号とする第二加算部と、上記第一復号S信号と上記第二復号S信号とを合わせて復号S信号とする第三加算部と、上記復号M信号と上記復号S信号とを加算して2で割って第一出力信号を生成し、上記復号M信号から上記復号S信号を減算して2で割って第二出力信号を生成するLR変換部とを含む復号装置と、
を含む音信号擬似定位システム。
【請求項6】
M符号を、入力された入力された第一入力信号と第二入力信号とを加算したM信号を符号化した符号とし、
S符号を、上記第一入力信号から上記第二入力信号を減算したS信号を符号化した符号とし、
入力されたM符号を復号して復号M信号とする第一復号部と、入力されたS符号を復号して復号S信号とする第二復号部と、
地点数N≧2を定位を与えることができる方向の総数、地点情報nを定位を与える方向の番号、上記仮復号M信号をS(t)、上記仮復号S信号をS(t)として、S(t)=S(t)、S(t)=(N−2n−1)*S(t)/N+(1/N)*S(t)により定義される復号M信号S(t)及び復号S信号S(t)を計算する拡張擬似定位付与部と、
上記復号M信号と上記復号S信号とを加算して2で割って第一出力信号を生成し、上記復号M信号から上記復号S信号を減算して2で割って第二出力信号を生成するLR変換部と、
を含む音信号擬似定位復号装置。
【請求項7】
拡張M符号を、入力された入力された第一入力信号と第二入力信号とを加算したM信号の大きさを表す代表値であるMゲインを符号化したMゲイン符号と、上記M信号を上記Mゲインで正規化した正規化M信号を符号化した正規化M信号符号とを含む符号とし、
拡張S符号を、上記第一入力信号から上記第二入力信号を減算したS信号の大きさを表す代表値であるSゲインを符号化したSゲイン符号と、上記信号を上記Sゲインで正規化した正規化S信号を符号化した正規化S信号符号とを含む符号とし、
入力された上記拡張M符号からMゲイン符号及び正規化M信号符号を分離する第一符号分離部と、
上記分離された正規化M信号符号を復号して復号正規化M信号とする第一部分復号部と、
上記分離されたMゲイン符号を復号して復号Mゲインを生成する第一ゲイン復号部と、
上記復号正規化M信号と上記復号Mゲインとを乗算して復号定位M信号とする第一乗算部と、
入力された拡張S符号からSゲイン符号及び正規化S信号符号を分離する第二符号分離部と、
上記分離された正規化S信号符号を復号して復号正規化S信号とする第二部分復号部と、
上記分離されたSゲイン符号を復号して復号Sゲインを生成する第二ゲイン復号部と、
地点数N≧2を定位を与えることができる方向の総数、地点情報nを定位を与える方向の番号、復号SゲインをA’sとして、A=(N−2n−1)/N、A=A’s/Nにより定義される第一擬似SゲインA及び第二擬似SゲインAを計算する拡張擬似定位ゲイン演算部と、
上記復号M信号と上記第一擬似Sゲインとを乗算して第一定位S信号とする第二乗算部と、
上記復号正規化S信号と上記第二擬似Sゲインとを乗算して第二定位S信号とする第三乗算部と、
上記第一定位S信号と上記第二定位S信号とを加算して復号S信号とする加算部と、
上記復号M信号と上記復号S信号とを加算して2で割って第一出力信号を生成し、上記復号M信号から上記復号S信号を減算して2で割って第二出力信号を生成するLR変換部と、
を含む音信号擬似定位復号装置。
【請求項8】
MS変換部が、第一入力信号と第二入力信号とを加算してM信号とし、上記第一入力信号から上記第二入力信号を減算してS信号とするMS変換ステップと、
拡張擬似定位付与部が、地点数N≧2を定位を与えることができる方向の総数、地点情報nを定位を与える方向の番号、上記M信号をS(t)、上記S信号をS(t)として、S(t)=S(t)、S(t)=(N−2n−1)*S(t)/N+(1/N)*S(t)により定義される復号M信号S(t)及び復号S信号S(t)を計算する拡張擬似定位付与ステップと、
LR変換部が、上記復号M信号と上記復号S信号とを加算して2で割って第一出力信号を生成し、上記復号M信号から上記復号S信号を減算して2で割って第二出力信号を生成するLR変換ステップと、
を含む音信号擬似定位方法。
【請求項9】
M符号を、入力された入力された第一入力信号と第二入力信号とを加算したM信号を符号化した符号とし、
S符号を、上記第一入力信号から上記第二入力信号を減算したS信号を符号化した符号とし、
第二復号部が、入力されたM符号を復号して復号M信号とする第一復号部と、入力されたS符号を復号して復号S信号とする第二復号ステップと、
拡張擬似定位付与部が、地点数N≧2を定位を与えることができる方向の総数、地点情報nを定位を与える方向の番号、上記仮復号M信号をS(t)、上記仮復号S信号をS(t)として、S(t)=S(t)、S(t)=(N−2n−1)*S(t)/N+(1/N)*S(t)により定義される復号M信号S(t)及び復号S信号S(t)を計算する拡張擬似定位付与ステップと、
LR変換部が、上記復号M信号と上記復号S信号とを加算して2で割って第一出力信号を生成し、上記復号M信号から上記復号S信号を減算して2で割って第二出力信号を生成するLR変換ステップと、
を含む音信号擬似定位復号方法。
【請求項10】
拡張M符号を、入力された入力された第一入力信号と第二入力信号とを加算したM信号の大きさを表す代表値であるMゲインを符号化したMゲイン符号と、上記M信号を上記Mゲインで正規化した正規化M信号を符号化した正規化M信号符号とを含む符号とし、
拡張S符号を、上記第一入力信号から上記第二入力信号を減算したS信号の大きさを表す代表値であるSゲインを符号化したSゲイン符号と、上記信号を上記Sゲインで正規化した正規化S信号を符号化した正規化S信号符号とを含む符号とし、
第一符号分離部が、入力された上記拡張M符号からMゲイン符号及び正規化M信号符号を分離する第一符号分離ステップと、
第一部分復号部が、上記分離された正規化M信号符号を復号して復号正規化M信号とする第一部分復号ステップと、
第一ゲイン復号部が、上記分離されたMゲイン符号を復号して復号Mゲインを生成する第一ゲイン復号ステップと、
第一乗算部が、上記復号正規化M信号と上記復号Mゲインとを乗算して復号M信号とする第一乗算ステップと、
第二符号分離部が、入力された拡張S符号からSゲイン符号及び正規化S信号符号を分離する第二符号分離ステップと、
第二部分復号部が、上記分離された正規化S信号符号を復号して復号正規化S信号とする第二部分復号ステップと、
第二ゲイン復号部が、上記分離されたSゲイン符号を復号して復号Sゲインを生成する第二ゲイン復号ステップと、
拡張擬似定位ゲイン演算部が、地点数N≧2を定位を与えることができる方向の総数、地点情報nを定位を与える方向の番号、復号SゲインをA’sとして、A=(N−2n−1)/N、A=A’s/Nにより定義される第一擬似SゲインA及び第二擬似SゲインAを計算する拡張擬似定位ゲイン演算ステップと、
第二乗算部が、上記復号M信号と上記第一擬似Sゲインとを乗算して第一定位S信号とする第二乗算ステップと、
第三乗算部が、上記復号正規化S信号と上記第二擬似Sゲインとを乗算して第二定位S信号とする第三乗算ステップと、
加算部が、上記第一定位S信号と上記第二定位S信号とを加算して復号S信号とする加算ステップと、
LR変換部が、上記復号M信号と上記復号S信号とを加算して2で割って第一出力信号を生成し、上記復号M信号から上記復号S信号を減算して2で割って第二出力信号を生成するLR変換ステップと、
を含む音信号擬似定位復号方法。
【請求項11】
符号化装置が、第一入力信号と第二入力信号とを加算してM信号とし、上記第一入力信号から上記第二入力信号を減算してS信号とするMS変換ステップと、
符号化装置が、上記M信号の大きさを表わす代表値であるゲインを計算し符号化してMゲイン符号とする第一ゲイン符号化ステップと、
符号化装置が、上記M信号を上記Mゲイン符号を復号することにより得られた復号Mゲインで正規化し符号化して正規化M信号符号とする第一信号符号化ステップと、
符号化装置が、上記Mゲイン符号及び上記正規化M信号符号を含む拡張M符号を生成する第一符号多重化ステップと、
符号化装置が、上記S信号の大きさを表わす代表値であるゲインを計算し符号化して第一Sゲイン符号とする第二ゲイン符号化ステップと、
符号化装置が、上記S信号を上記第一Sゲイン符号を復号することにより得られた復号Sゲインで正規化し符号化して正規化S信号符号とする第二信号符号化ステップと、
符号化装置が、上記第一Sゲイン符号及び上記正規化S信号符号を含む拡張S符号を生成する第二符号多重化ステップと、
ミキサが、上記拡張S符号からSゲイン符号及び正規化S信号符号を分離する符号分離ステップと、
ミキサが、上記分離されたSゲイン符号を復号して復号Sゲインを生成するゲイン復号ステップと、
ミキサが、定位を変えるための擬似SゲインApseudoを計算する第一拡張擬似定位ゲイン演算ステップと、
ミキサが、上記擬似SゲインApseudoを符号化して第二Sゲイン符号とするゲイン符号化ステップと、
ミキサが、上記分離された正規化S信号符号及び上記第二Sゲイン符号を含むS符号を生成する符号多重化ステップと、
復号装置が、上記拡張M符号から正規化M信号符号及びMゲイン符号を分離する第一符号分離ステップと、
復号装置が、上記分離された正規化M信号符号を復号して復号正規化M信号を生成する第一部分復号ステップと、
復号装置が、上記分離されたMゲイン符号を復号して復号Mゲインを生成する第一ゲイン復号ステップと、
復号装置が、上記復号正規化M信号と上記復号Mゲインとを乗算して復号M信号とする第一乗算ステップと、
復号装置が、上記S符号から正規化S信号符号及びSゲイン符号を分離する第二符号分離ステップと、
復号装置が、上記分離された正規化S信号符号を復号して復号正規化S信号を生成する第二部分復号ステップと、
復号装置が、上記分離されたSゲイン符号を復号して復号Sゲインを生成する第二ゲイン復号ステップと、
復号装置が、上記復号正規化S信号と上記復号Sゲインとを乗算して第一復号S信号とする第二乗算ステップと、
復号装置が、地点情報nを定位を与える方向の番号として、gm2=(N−2*n−1)/Nにより定義される擬似Mゲインgm2を計算する第二拡張擬似定位ゲイン演算ステップと、
復号装置が、上記復号M信号と上記擬似Mゲインgm2とを乗算して第二復号M信号とする第三乗算ステップと、
復号装置が、上記第一復号S信号と上記第二復号M信号とを加算して復号S信号とする加算ステップと、
復号装置が、上記復号M信号と上記復号S信号とを加算して2で割って第一出力信号を生成し、上記復号M信号から上記復号S信号を減算して2で割って第二出力信号を生成するLR変換ステップと、
を含む音信号擬似定位方法。
【請求項12】
第一符号化装置が、入力された第一入力信号と第二入力信号とを加算したM信号の大きさを表す代表値であるMゲインを符号化したMゲイン符号と、上記M信号を上記Mゲインで正規化した正規化M信号を符号化した正規化M信号符号と、復号化される音信号の品質を向上させるための付加情報を符号化した品質拡張M符号とを含む拡張M符号、及び、上記第一入力信号から上記第二入力信号を減算したS信号の大きさを表す代表値であるSゲインを符号化したSゲイン符号と、上記S信号を上記Sゲインで正規化した正規化S信号を符号化した正規化S信号符号と、復号化される音信号の品質を向上させるための付加情報を符号化した品質拡張S符号とを含む拡張S符号を生成する第一符号化ステップと、
第二符号化装置が、入力された第一入力信号と第二入力信号とを加算したM信号の大きさを表す代表値であるMゲインを符号化したMゲイン符号と、上記M信号を上記Mゲインで正規化した正規化M信号を符号化した正規化M信号符号と、復号化される音信号の品質を向上させるための付加情報を符号化した品質拡張M符号とを含む拡張M符号、及び、上記第一入力信号から上記第二入力信号を減算したS信号の大きさを表す代表値であるSゲインを符号化したSゲイン符号と、上記S信号を上記Sゲインで正規化した正規化S信号を符号化した正規化S信号符号と、復号化される音信号の品質を向上させるための付加情報を符号化した品質拡張S符号とを含む拡張S符号を生成する第二符号化ステップと、
ミキサが、上記2つの符号化装置の一方が生成した拡張M符号からMゲイン符号、正規化M信号符号及び品質拡張M符号を分離する第一符号分離ステップと、
ミキサが、その品質拡張M符号を復号して第一品質拡張M信号とする第一品質拡張復号ステップと、
ミキサが、上記一方の符号化装置が生成した拡張S符号からSゲイン符号、正規化S信号符号及び品質拡張S符号を分離する第二符号分離ステップと、
ミキサが、その品質拡張S符号を復号して第一品質拡張S信号とする第二品質拡張復号部と、地点数N≧2を定位を与えることができる方向の総数、地点情報nを定位を与える方向の番号として、第一擬似Mゲインを(2n+1−N)/Nとし、第一擬似Sゲインを1/Nとする第一拡張擬似定位ゲイン演算ステップと、
ミキサが、上記第一品質拡張M信号と上記第一擬似Mゲインとを乗算して第一擬似定位M信号とする第一乗算ステップと、
ミキサが、上記第一品質拡張S信号と上記第一擬似Sゲインとを乗算して第一擬似定位S信号とする第二乗算ステップと、
ミキサが、上記第一擬似定位M信号と上記第一擬似定位S信号とを加算して第一定位変換S信号とする第一加算ステップと、
ミキサが、上記2つの符号化装置の他方が生成した拡張M符号から品質拡張M符号を分離する第三符号分離ステップと、
ミキサが、その品質拡張M符号を復号して第二品質拡張M信号とする第三品質拡張復号ステップと、
ミキサが、上記他方の符号化装置が生成した拡張S符号から品質拡張S符号を分離する第四符号分離ステップと、
ミキサが、その品質拡張S符号を復号して第二品質拡張S信号とする第四品質拡張復号ステップと、
ミキサが、地点情報nを定位を与える方向の番号、第二擬似Mゲインを(2n+1−N)/Nとし、第二擬似Sゲインを1/Nとする第二拡張擬似定位ゲイン演算ステップと、
ミキサが、上記第二品質拡張M信号と上記第二擬似Mゲインとを乗算して第二擬似定位M信号とする第三乗算ステップと、
ミキサが、上記第二品質拡張S信号と上記第二擬似Sゲインとを乗算して第二擬似定位S信号とする第四乗算ステップと、
ミキサが、上記第二擬似定位M信号と上記第二擬似定位S信号とを加算して第二定位変換S信号とする第二加算ステップと、
ミキサが、上記第一品質拡張M信号と上記第二品質拡張M信号とを加算して定位混合M信号とする第三加算ステップと、
ミキサが、上記定位混合M信号を符号化して定位混合M符号とする第一品質拡張符号化ステップと、
ミキサが、上記分離されたMゲイン符号を復号して復号Mゲインとする第一ゲイン復号ステップと、
ミキサが、上記復号Mゲインと第一擬似Mゲインとを乗算して定位Mゲインとする第五乗算ステップと、
ミキサが、上記定位Mゲインを符号化して定位Mゲイン符号とする第一ゲイン符号化ステップと、
ミキサが、上記定位混合M符号と上記定位Mゲイン符号と上記分離された正規化M信号符号とを含む拡張M符号を生成する第一符号多重化ステップと、
ミキサが、上記第一定位変換S信号と上記第二定位変換S信号とを加算して定位混合S信号とする第四加算ステップと、
ミキサが、上記定位混合S信号を符号化して定位混合S符号とする第二品質拡張符号化ステップと、
ミキサが、上記分離されたSゲイン符号を復号して復号Sゲインとする第二ゲイン復号ステップと、
ミキサが、上記復号Sゲインと上記第一擬似Sゲインとを乗算して定位Sゲインとする第六乗算ステップと、
ミキサが、上記定位Sゲインを符号化して定位Sゲイン符号とする第二ゲイン符号化ステップと
ミキサが、上記定位混合S符号と上記定位Sゲイン符号と上記分離された正規化S信号符号とを含む拡張S符号を生成する第二符号多重化ステップと、
復号装置が、上記ミキサが生成した拡張M符号から、正規化M信号符号、定位Mゲイン符号及び定位混合M符号を分離する第一符合分離ステップと、
復号装置が、上記正規化M信号符号を復号して正規化復号M信号とする第一信号復号ステップと、
復号装置が、上記定位Mゲイン符号を復号して復号Mゲインとする第一ゲイン復号ステップと、
復号装置が、上記正規化復号M信号と上記復号Mゲインとを乗算して第一復号M信号とする第一乗算ステップと、
復号装置が、上記定位混合M符号を復号して第二復号M信号とする第一品質拡張復号ステップと、
復号装置が、上記第一復号M信号と上記第二復号M信号とを合わせて復号M信号とする第一加算ステップと、
復号装置が、上記ミキサが生成した拡張S符号から、正規化S信号符号、定位Sゲイン符号及び定位混合S符号を分離する第二符号分離ステップと、
復号装置が、上記正規化S信号符号を復号して正規化復号S信号とする第二信号復号ステップと、
復号装置が、上記定位Sゲイン符号を復号して復号Sゲインとする第二ゲイン復号ステップと、
復号装置が、上記正規化復号S信号と上記復号Sゲインとを乗算して仮第一復号S信号とする第二乗算ステップと、
復号装置が、上記定位混合S符号を復号して第二復号S信号とする第二品質拡張復号ステップと、
復号装置が、擬似ゲイン(N−2n−1)/Nを算出する第二拡張擬似定位ゲイン算出ステップと、
復号装置が、上記第一復号M信号と上記擬似ゲインとを乗算して仮第二復号S信号とする第三乗算ステップと、
復号装置が、上記仮第一復号S信号と上記仮第二復号S信号とを加算して第一復号S信号とする第二加算ステップと、
復号装置が、上記第一復号S信号と上記第二復号S信号とを合わせて復号S信号とする第三加算ステップと、
復号装置が、上記復号M信号と上記復号S信号とを加算して2で割って第一出力信号を生成し、上記復号M信号から上記復号S信号を減算して2で割って第二出力信号を生成するLR変換ステップ部と、
を含む音信号擬似定位方法。
【請求項13】
請求項1に記載された音信号擬似定位システムの各部、請求項6に記載された音信号擬似定位復号装置の各部又は請求項7に記載された音信号擬似定位復号装置の各部としてコンピュータを機能させるためのプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate


【公開番号】特開2011−182142(P2011−182142A)
【公開日】平成23年9月15日(2011.9.15)
【国際特許分類】
【出願番号】特願2010−43457(P2010−43457)
【出願日】平成22年2月26日(2010.2.26)
【出願人】(000004226)日本電信電話株式会社 (13,992)
【Fターム(参考)】