オーディオ信号ミキシング装置およびそのプログラム、ならびに、オーディオ信号復元装置およびそのプログラム
【課題】元のデジタルオーディオ信号を復元可能にミキシングすることが可能なオーディオ信号ミキシング装置を提供する。
【解決手段】オーディオ信号ミキシング装置１は、入力チャンネルに対して割り当てられた出力チャンネルごとのパンニング係数に基づいてデジタルオーディオ信号をミキシングするミキシング手段１０と、出力チャンネルごとに、当該出力チャンネルに割り当てられた入力チャンネルのパンニング係数を、予め定めた周波数以上であって入力チャンネルごとに異なる予め定めた周波数に割り当て、当該パンニング係数を振幅としたパイロット信号を生成するパイロット信号生成手段１１と、ミキシング手段１０でミキシングされた出力チャンネルのデジタルオーディオ信号にパイロット信号を加算する加算手段１２と、を備えることを特徴とする。
【解決手段】オーディオ信号ミキシング装置１は、入力チャンネルに対して割り当てられた出力チャンネルごとのパンニング係数に基づいてデジタルオーディオ信号をミキシングするミキシング手段１０と、出力チャンネルごとに、当該出力チャンネルに割り当てられた入力チャンネルのパンニング係数を、予め定めた周波数以上であって入力チャンネルごとに異なる予め定めた周波数に割り当て、当該パンニング係数を振幅としたパイロット信号を生成するパイロット信号生成手段１１と、ミキシング手段１０でミキシングされた出力チャンネルのデジタルオーディオ信号にパイロット信号を加算する加算手段１２と、を備えることを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のオーディオ信号をミキシングしたマルチチャンネルの音響信号から、ミキシングされる前のオーディオ信号を復元する技術に関する。
【背景技術】
【０００２】
一般に、オーディオコンテンツの作成時には、個別に収録した音源のデジタルデータを素材にしたミキシングが行われている。
また、近年では、アナログ音源の音響信号から、デジタル音源の音響信号に変換するデジタル・リマスタリングが盛んに行われている。このとき、デジタル・リマスタリングは、すでにミキシングされたアナログ音源を編集することで行われている。
【０００３】
ここで、ミキシングには、振幅ゲイン、時間遅延、パンニング、リバーブレータ等の効果を与えるフィルタ係数といったパラメータ（ミキシングパラメータ）が用いられる。特に多チャンネルのミキシングにおいて音像の定位感を聴視者に与えるには、各出力チャンネルの音の大きさ、すなわち、各スピーカから出力される相対的な音の大きさを示すパンニング係数が重要となる。
例えば、このパンニング係数を用いて、多チャンネルのオーディオ信号の音像を、所望の位置に定位させるパンニング装置（３次元音響パンニング装置）が存在する（特許文献１参照）。
【０００４】
このミキシングを行った後の音響信号からミキシングに用いたパラメータを推定することができれば、ミキシング前のデジタルオーディオ信号の復元が可能となり、元のデジタル音源によるリミックスやアップミックス、元の音源の圧縮符号化が可能になる。
しかし、すでにミキシングされた音響信号から、元の音源のオーディオ信号を忠実に復元することは困難である。基本的に、ミキシングされた音響信号は、元の音源情報を失っているからである。
【０００５】
そこで、従来、予めミキシング処理をモデル化した上で、マルチチャンネルのデジタルオーディオ信号をミキシングし、元の音源のオーディオ信号を復元するために、ミキシングされた音響信号から、最小二乗法等を用いて、モデル化した処理との相違を最小限とするように、ミキシング前のデジタルオーディオ信号を復元するリバースエンジニアリングの技術が開示されている（非特許文献１参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−３２９７４６号公報
【非特許文献】
【０００７】
【非特許文献１】D. Barchiesi and J. D. Reiss, Reverse Engineering the Mix, Journal of the Audio Engineering Society, Volume 58 Issue 78 pp. 563-576, July 2010.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、従来の手法は、デジタルオーディオ信号を復元する場合、予めミキシング処理をモデル化して、最小二乗法等を用いて、ミキシング前のデジタルオーディオ信号に近似した信号を求めているに過ぎない。すなわち、従来の手法では、デジタルオーディオ信号を復元する場合、その復元された信号は、あくまで、元の信号の近似信号でしかないため、元の信号とは異なるノイズ成分が重畳されてしまうという問題がある。
【０００９】
本発明は、以上のような問題点に鑑みてなされたものであり、元のオーディオ信号を復元可能にミキシングすることが可能なオーディオ信号ミキシング装置およびそのプログラム、ならびに、元のオーディオ信号を復元することが可能なオーディオ信号復元装置およびそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【００１０】
本発明は、前記課題を解決するために創案されたものであり、まず、請求項１に記載のオーディオ信号ミキシング装置は、複数の入力チャンネルのデジタルオーディオ信号をミキシングするとともに、ミキシング前のデジタルオーディオ信号に復元可能とする信号を、ミキシング後の出力チャンネルのデジタルオーディオ信号に付加するオーディオ信号ミキシング装置であって、ミキシング手段と、パイロット信号生成手段と、加算手段と、を備える構成とした。
【００１１】
かかる構成において、オーディオ信号ミキシング装置は、ミキシング手段によって、複数の入力チャンネルに対してそれぞれ割り当てられた出力チャンネルごとのデジタルオーディオ信号の強度を示すパンニング係数に基づいて、入力チャンネルのデジタルオーディオ信号をミキシングする。すなわち、ミキシング手段は、パンニング係数に応じて、入力チャンネルの信号を出力チャンネルに分配することで、アップミックスや、ダウンミックスルといった、入力チャンネルとは異なるチャンネル数のデジタルオーディオ信号に変換する。
【００１２】
そして、オーディオ信号ミキシング装置は、パイロット信号生成手段によって、出力チャンネルごとに、当該出力チャンネルに割り当てられた入力チャンネルのパンニング係数を示す信号（パイロット信号）を生成する。このとき、パイロット信号生成手段は、出力チャンネルに割り当てられた入力チャンネルのパンニング係数を、予め定めた周波数以上であって入力チャンネルごとに異なる予め定めた周波数に割り当て、当該パンニング係数の大きさを振幅としたパイロット信号を生成する。これによって、パイロット信号生成手段は、高周波の周波数領域において、入力チャンネルごとに異なる周波数で、かつ、パンニング係数の大きさが振幅として表された正弦波信号としてパンニング信号が生成されることになる。
【００１３】
そして、オーディオ信号ミキシング装置は、加算手段によって、パイロット信号生成手段で生成された出力チャンネルごとのパイロット信号を、ミキシング手段でミキシングされた出力チャンネルのデジタルオーディオ信号に加算する。これによって、ミキシング後のデジタルオーディオ信号の高周波成分に、パンニング係数を示す信号が付加されることになる。
【００１４】
このように、ミキシング後のデジタルオーディオ信号にパンニング係数を示す信号を付加しておくことで、元のデジタルオーディオ信号を復元する場合に、ミキシング後のデジタルオーディオ信号からパンニング係数を検出し、ミキシングの逆の処理（逆ミキシング）を行うことで、元の音源を復元することが可能になる。
【００１５】
また、請求項２に記載のオーディオ信号ミキシング装置は、請求項１に記載のオーディオ信号ミキシング装置において、前記入力チャンネルのデジタルオーディオ信号は、音源であるアナログオーディオ信号をアンチエイリアシングフィルタの遮断周波数でフィルタリングした後に、予め定めたサンプリング周波数でデジタル信号に変換された信号であって、前記パイロット信号生成手段は、前記遮断周波数以上で、かつ、前記サンプリング周波数の２分の１の周波数未満の周波数帯域に、前記パンニング係数を割り当てることを特徴とする。
【００１６】
かかる構成において、オーディオ信号ミキシング装置は、パイロット信号生成手段によって、遮断周波数以上、サンプリング周波数の２分の１（ナイキスト周波数）未満の周波数帯域に、パンニング係数を割り当てることで、実際の音響とは重ならない周波数領域にパンニング係数を付加することができる。また、パンニング係数を割り当てる周波数を遮断周波数以上、ナイキスト周波数未満とすることで、元のデジタルオーディオ信号を復元する際に、パンニング係数を検出するために参照する周波数領域を特定の範囲に限定することができる。
【００１７】
また、請求項３に記載のオーディオ信号ミキシング装置は、請求項１または請求項２に記載のオーディオ信号ミキシング装置において、ミキシング手段の前段にパラメータ調整手段を備える構成とした。
【００１８】
かかる構成において、オーディオ信号ミキシング装置は、パラメータ調整手段によって、入力チャンネルに対応するデジタルオーディオ信号を個別に調整するパラメータにより、当該デジタルオーディオ信号のレベルを調整する。このパラメータ調整手段は、例えば、デジタルオーディオ信号のゲインを個別に調整するものである。
そして、オーディオ信号ミキシング装置は、パイロット信号生成手段によって、パラメータ調整手段で用いた入力チャンネルごとのパラメータを、当該入力チャンネルに対応したパンニング係数に乗算する。これによって、新たなパンニング係数には、デジタルオーディオ信号を個別に調整するパラメータの情報が付加されることになり、当該パンニング係数は、ミキシング前の信号を復元するための信号として利用することができる。
【００１９】
さらに、請求項４に記載のオーディオ信号ミキシングプログラムは、複数の入力チャンネルのデジタルオーディオ信号をミキシングするとともに、ミキシング前のデジタルオーディオ信号に復元可能とする信号を、ミキシング後の出力チャンネルのデジタルオーディオ信号に付加するために、オーディオ信号ミキシング装置のコンピュータを、ミキシング手段、パイロット信号生成手段、加算手段、として機能させる構成とした。
【００２０】
かかる構成において、オーディオ信号ミキシングプログラムは、ミキシング手段によって、複数の入力チャンネルに対してそれぞれ割り当てられた出力チャンネルごとのデジタルオーディオ信号の強度を示すパンニング係数に基づいて、入力チャンネルのデジタルオーディオ信号をミキシングする。
【００２１】
そして、オーディオ信号ミキシングプログラムは、パイロット信号生成手段によって、出力チャンネルごとに、当該出力チャンネルに割り当てられた入力チャンネルのパンニング係数を示す信号（パイロット信号）を生成する。このとき、パイロット信号生成手段は、出力チャンネルに割り当てられた入力チャンネルのパンニング係数を、予め定めた周波数以上であって入力チャンネルごとに異なる予め定めた周波数に割り当て、当該パンニング係数の大きさを振幅としたパイロット信号を生成する。
【００２２】
そして、オーディオ信号ミキシングプログラムは、加算手段によって、パイロット信号生成手段で生成された出力チャンネルごとのパイロット信号を、ミキシング手段でミキシングされた出力チャンネルのデジタルオーディオ信号に加算する。
【００２３】
これによって、ミキシング後のデジタルオーディオ信号の高周波成分に、パンニング係数の大きさを示す信号が付加されることになり、ミキシング前の信号を復元するために利用することが可能になる。
【００２４】
また、請求項５に記載のオーディオ信号復元装置は、複数の入力チャンネルに対してそれぞれ割り当てられた出力チャンネルごとのデジタルオーディオ信号の強度を示すパンニング係数に基づいて前記入力チャンネルのデジタルオーディオ信号をミキシングする際に、前記パンニング係数を予め定めた周波数以上であって前記入力チャンネルごとに異なる予め定めた周波数に割り当て、当該パンニング係数の大きさを振幅としたパイロット信号を前記出力チャンネルのデジタルオーディオ信号に加算することで生成されたミキシング後のデジタルオーディオ信号から、ミキシング前の信号を復元するオーディオ信号復元装置であって、ブロック切出手段と、帯域制限手段と、周波数解析手段と、係数検出手段と、逆ミキシング手段と、を備える構成とした。
【００２５】
かかる構成において、オーディオ信号復元装置は、ブロック切出手段によって、ミキシング後のデジタルオーディオ信号から、予め定めた一定時間長ごとのブロックで信号を切り出す。このブロックにおいて、パンニング係数が同一であるとみなして以降の処理を行う。
すなわち、オーディオ信号復元装置は、帯域制限手段によって、ブロックごとに、パイロット信号が加算された周波数領域の信号を除去する。これによって、実際の音響のみの信号が生成されることになる。
【００２６】
また、オーディオ信号復元装置は、周波数解析手段によって、ブロックの周波数解析を行う。例えば、周波数解析手段は、フーリエ変換によって、ブロックごとの時間信号を、周波数領域で表された信号に変換する。そして、オーディオ信号復元装置は、係数検出手段によって、周波数解析手段で解析された周波数のうちで、予め定めた周波数以上の振幅から、周波数ごとに予め割り当てられているパンニング係数を検出する。これによって、ミキシングされたときのパンニング係数が抽出されることになる。
【００２７】
そして、オーディオ信号復元装置は、逆ミキシング手段によって、係数検出手段で検出されたパンニング係数に基づいて、帯域制限手段でパイロット信号が除去された信号に対して、ミキシングの逆変換を行うことで、時系列のブロックごとに、順次、ミキシング前のデジタルオーディオ信号を復元する。
【００２８】
また、請求項６に記載のオーディオ信号復元装置は、請求項５に記載のオーディオ信号復元装置において、前記逆ミキシング手段が、前記係数検出手段で検出されたパンニング係数を要素とする前記入力チャンネルから前記出力チャンネルへの変換行列において、当該変換行列が正方行列であれば当該変換行列の逆行列を用い、当該変換行列が正方行列でなければ当該変換行列の擬似逆行列を用いて、前記ミキシング前のデジタルオーディオ信号を逆変換して復元することを特徴とする。
【００２９】
かかる構成において、オーディオ信号復元装置は、逆ミキシング手段によって、係数検出手段で検出されたパンニング係数を要素とする変換行列が正方行列であるか否かにより、逆変換に用いる行列を逆行列または擬似逆行列とする。これによって、逆ミキシング手段は、ミキシングを行った際の行列演算として用いられた変換行列（パンニング係数行列）が正方行列でない場合、すなわち、入力チャンネル数と出力チャンネル数とが異なる場合であっても、元のデジタルオーディオ信号を復元することができる。
【００３０】
さらに、請求項７に記載のオーディオ信号復元プログラムは、複数の入力チャンネルに対してそれぞれ割り当てられた出力チャンネルごとのデジタルオーディオ信号の強度を示すパンニング係数に基づいて前記入力チャンネルのデジタルオーディオ信号をミキシングする際に、前記パンニング係数を予め定めた周波数以上であって前記入力チャンネルごとに異なる予め定めた周波数に割り当て、当該パンニング係数の大きさを振幅としたパイロット信号を前記出力チャンネルのデジタルオーディオ信号に加算することで生成されたミキシング後のデジタルオーディオ信号から、ミキシング前の信号を復元するために、オーディオ信号復元装置のコンピュータを、ブロック切出手段、帯域制限手段、周波数解析手段、係数検出手段、逆ミキシング手段、として機能させる構成とした。
【００３１】
かかる構成において、オーディオ信号復元プログラムは、ブロック切出手段によって、ミキシング後のデジタルオーディオ信号から、予め定めた一定時間長ごとのブロックで信号を切り出す。
そして、オーディオ信号復元プログラムは、帯域制限手段によって、ブロックごとに、パイロット信号が加算された周波数領域の信号を除去する。
【００３２】
また、オーディオ信号復元プログラムは、周波数解析手段によって、ブロックの周波数解析を行う。そして、オーディオ信号復元プログラムは、係数検出手段によって、周波数解析手段で解析された周波数のうちで、予め定めた周波数以上の振幅から、周波数ごとに予め割り当てられているパンニング係数を検出する。
【００３３】
そして、オーディオ信号復元プログラムは、逆ミキシング手段によって、係数検出手段で検出されたパンニング係数に基づいて、帯域制限手段でパイロット信号が除去された信号に対して、ミキシングの逆変換を行うことで、時系列のブロックごとに、順次、ミキシング前のデジタルオーディオ信号を復元する。
【発明の効果】
【００３４】
本発明は、以下に示す優れた効果を奏するものである。
請求項１，４に記載の発明によれば、多チャンネルのデジタルオーディオ信号をミキシングする際に、ミキシング後のデジタルオーディオ信号にパンニング係数の大きさを表した信号を付加することができる。これによって、ミキシング前のデジタルオーディオ信号を復元可能なように、デジタルオーディオ信号をミキシングすることができる。
【００３５】
請求項２に記載の発明によれば、実際の音響用の信号として使用しない予め定めた高周波成分の領域に限定してパンニング係数を割り当てるため、実際の音響そのものに影響を与えることがない。また、元のデジタルオーディオ信号を復元する際に、限定した周波数帯域から高速にパンニング係数を検出することができる。
【００３６】
請求項３に記載の発明によれば、個々の入力チャンネルのパラメータを調整することができる。なお、この場合であっても、個々の入力チャンネルで調整されたパラメータは、パンニング係数に重畳されてミキシングされるため、元のデジタルオーディオ信号を復元することが可能となる。
【００３７】
請求項５，７に記載の発明によれば、デジタルオーディオ信号に付加されたパンニング係数を検出し、そのパンニング係数を用いて、ミキシング前のデジタルオーディオ信号を忠実に復元することができる。
また、請求項５，７に記載の発明によれば、複数回異なるミキシングを行われたデジタルオーディオ信号であっても、パンニング係数の情報が、順次、ミキシング後のデジタルオーディオ信号に加算されているため、そのパンニング係数を用いることで、元のデジタルオーディオ信号を復元することができる。
【００３８】
請求項６に記載の発明によれば、入力チャンネル数と出力チャンネル数が異なるようにミキシングされたデジタルオーディオ信号であっても、元のデジタルオーディオ信号を復元することができる。これによって、本発明は、多チャンネルのデジタルオーディオ信号がアップミックス、あるいは、ダウンミックスされた場合であっても、元のデジタルオーディオ信号を復元することができる。
【図面の簡単な説明】
【００３９】
【図１】本発明の第１実施形態に係るオーディオ信号ミキシング装置の構成を示すブロック構成図である。
【図２】本発明の第１実施形態に係るオーディオ信号ミキシング装置が生成するある出力チャンネルのデジタルオーディオ信号の周波数分布を示すグラフ図である。
【図３】本発明の第１実施形態に係るオーディオ信号復元装置の構成を示すブロック構成図である。
【図４】本発明の第１実施形態に係るオーディオ信号ミキシング装置の動作を示すフローチャートである。
【図５】本発明の第１実施形態に係るオーディオ信号復元装置の動作を示すフローチャートである。
【図６】本発明の第２実施形態に係るオーディオ信号ミキシング装置の構成を示すブロック構成図である。
【図７】本発明の第２実施形態に係るオーディオ信号ミキシング装置の動作を示すフローチャートである。
【図８】本発明の第１実施形態に係るオーディオ信号ミキシング装置において、本発明の第２実施形態に係るオーディオ信号ミキシング装置でミキシングされたデジタルオーディオ信号を復元する動作を示すフローチャートである。
【図９】デジタルオーディオ信号を複数回ミキシングした後に、元のデジタルオーディオ信号を復元する動作を説明するための説明図である。
【発明を実施するための形態】
【００４０】
以下、本発明の実施形態について図面を参照して説明する。
［第１実施形態］
〔オーディオ信号ミキシング装置の構成〕
まず、図１を参照して、本発明の第１実施形態に係るオーディオ信号ミキシング装置の構成について説明する。
オーディオ信号ミキシング装置１は、ミキシングパラメータであるパンニング係数（振幅パンニング係数）に基づいて、多チャンネルのデジタルオーディオ信号をミキシングするものである。
このオーディオ信号ミキシング装置１は、パンニング係数に基づいて、予め設定された入力チャンネル数の多チャンネル（ここでは、Ｋチャンネル）のオーディオ信号を、同じく予め設定された出力チャンネル数の多チャンネル（ここでは、Ｎチャンネル）の音響信号にミキシングする。
【００４１】
ここで、パンニング係数とは、入力チャンネルごとの各オーディオ信号を、出力チャンネルごとにどれだけの強度（振幅）でミキシングするのかを示す係数である。このパンニング係数は、例えば、図示を省略したミキシングコンソールのパンポッド等によって設定される値であって、予め“０”から“１”の範囲で正規化されているものとする。
【００４２】
なお、オーディオ信号ミキシング装置１に入力されるデジタルオーディオ信号は、予め定めた周波数以上には、信号成分が存在しないものとする。これは、後で詳細に説明するが、オーディオ信号ミキシング装置１が、信号成分が存在しない高周波成分の領域に、パンニング係数の大きさを示す信号を付加するためである。
【００４３】
一般に、デジタルオーディオ信号は、図示を省略したオーディオ信号変換装置によって、アナログ音源のオーディオ信号からＡ／Ｄ変換によって生成される。このとき、折り返し歪み除去（アンチエイリアシング）のため、Ａ／Ｄ変換前にサンプリング周波数に応じたローパスフィルタ（アンチエイリアシングフィルタ）で帯域制限が行われる。例えば、サンプリング周波数を４８ｋＨｚ（ナイキスト周波数２４ｋＨｚ）としたとき、ローパスフィルタの遮断周波数を２０ｋＨｚとする。これによって、遮断周波数（２０ｋＨｚ）からナイキスト周波数（２４ｋＨｚ）の範囲に、パンニング係数の大きさを示す信号を付加する領域が確保されることになる。このサンプリング周波数は、その値が高いほど、パンニング係数の大きさを示す信号を付加する領域が広く確保されることになる。
【００４４】
もちろん、オーディオ信号ミキシング装置１に入力されるデジタルオーディオ信号は、アナログ音源から生成されたものに限らず、予め定めた高周波成分の領域（前記したローパスフィルタの遮断周波数以上の周波数領域）に信号成分を有さない信号であれば、予めデジタル信号として生成されたオーディオ信号であっても構わない。
【００４５】
図１に示すように、オーディオ信号ミキシング装置１は、ミキシング手段１０と、パイロット信号生成手段１１と、加算手段１２と、を備えている。
【００４６】
ミキシング手段１０は、入力される各チャンネルのデジタルオーディオ信号を、パンニング係数に基づいてミキシングするものである。すなわち、ミキシング手段１０は、入力チャンネルごとのデジタルオーディオ信号Ｔｉ（ｔ）（ｉ＝１，２，…，Ｋ）を、パンニング係数に応じた振幅で出力チャンネルに割り当て、出力チャンネルごとに加算することで、ミキシング後のデジタルオーディオ信号Ｃｊ（ｔ）（ｊ＝１，２，…，Ｎ）を生成する。なお、以下の説明において、入力チャンネルごとの時間信号であるデジタルオーディオ信号Ｔｉ（ｔ）を単にＴｉ、出力チャンネルごとの時間信号であるデジタルオーディオ信号Ｃｊ（ｔ）を単にＣｊと記載する。
【００４７】
このミキシング手段１０で行う処理は、“０”から“１”の範囲で正規化されたパンニング係数ａｊｉ（ｊは出力チャンネル、ｉは入力チャンネルの番号を示す）を用いると、出力信号であるデジタルオーディオ信号Ｃｊは、以下の（１）式のように表すことができる。
【００４８】
【数１】
【００４９】
また、以下の（２）式に示すように、デジタルオーディオ信号Ｔｉ，Ｃｊをそれぞれ行列Ｔ，Ｃで表し、パンニング係数ａｊｉをＮ行Ｋ列の行列（パンニング係数行列；変換行列）Ａで表すと、ミキシング手段１０は、以下の（３）式に示す行列演算を行うことに等しい。
【００５０】
【数２】
【００５１】
【数３】
【００５２】
このミキシング手段１０でミキシングされたデジタルオーディオ信号Ｃｊ（ｊ＝１，２，…，Ｎ）は、加算手段１２に出力される。
【００５３】
パイロット信号生成手段１１は、ミキシング手段１０において用いられたそれぞれのパンニング係数の大きさを振幅とし、それぞれのパンニング係数に予め定めた周波数を割り当てたパイロット信号を生成するものである。なお、パンニング係数に割り当てる周波数は、それ以上の周波数にはデジタルオーディオ信号の信号成分が存在しない予め定めた遮断周波数よりも高い周波数であって、デジタルオーディオ信号のサンプリング周波数のナイキスト周波数未満の周波数の範囲で予め定めておく。
【００５４】
すなわち、パイロット信号生成手段１１は、ミキシング手段１０でミキシングされたデジタルオーディオ信号Ｃｊ（ｊ＝１，２，…，Ｎ）ごとに、以下の（４）式に示すように、振幅をパンニング係数ａｊｉ（ｉ＝１，２，…，Ｋ）（より正確には、Ｋの値で正規化したパンニング係数ａｊｉ）とし、周波数をそれぞれのパンニング係数ａｊｉに予め定めた周波数ｆｊとした時刻ｔにおける正弦波信号ｐｊｉを生成する。
【００５５】
【数４】
【００５６】
なお、周波数ｆｊは、例えば、遮断周波数を２０ｋＨｚ、ナイキスト周波数（サンプリング周波数の１／２）を２４ｋＨｚとしたとき、２０ｋＨｚよりも高く、２４ｋＨｚ未満の周波数範囲で定めておく。例えば、ｆ１＝２０．２ｋＨｚ、ｆ２＝２０．４ｋＨｚ、ｆ３＝２０．６ｋＨｚのように予め定めた間隔で周波数を定めておく。
また、（４）式中、位相φｉは、“−π”から“π”までの間で任意の値を用いればよい。
【００５７】
そして、パイロット信号生成手段１１は、この（４）式の正弦波信号ｐｊｉを以下の（５）式に示すように、ｉ＝１からＫまで足し合わすことで、出力チャンネルに対応したデジタルオーディオ信号Ｃｊ（ｊ＝１，２，…，Ｎ）ごとのパイロット信号を生成する。
【００５８】
【数５】
【００５９】
このパイロット信号生成手段１１で生成されたパイロット信号は、加算手段１２に出力される。
【００６０】
加算手段１２は、ミキシング手段１０でミキシングされた出力チャンネルのデジタルオーディオ信号に対して、パイロット信号生成手段１１で生成されたパイロット信号を加算するものである。すなわち、加算手段１２は、ｊ番目の出力チャンネルのデジタルオーディオ信号Ｃｊ（ｊ＝１，２，…，Ｎ）に、前記（５）式で示したパイロット信号を加算する。この加算手段１２でパイロット信号が加算されたデジタルオーディオ信号Ｃｊｐ（ｊ＝１，２，…，Ｎ）は、ミキシング前のデジタルオーディオ信号を復元するための音源となり、図示を省略したハードディスク等の記憶手段に記憶、あるいは、伝送路を介して外部に出力される。
【００６１】
この加算手段１２で生成されたデジタルオーディオ信号Ｃｊｐ（ｊ＝１，２，…，Ｎ）は、図示を省略した音響再生装置（あるいは、その前処理を行う装置）において、高周波成分に付加されたパイロット信号を除去することで、再生信号として使用することができる。この場合、音響再生装置等（不図示）は、デジタルオーディオ信号Ｃｊｐ（ｊ＝１，２，…，Ｎ）に対して、パイロット信号を加算した高周波成分を遮断するローパスフィルタによって帯域制限を行えばよい。
なお、一般に、２０ｋＨｚを超える高周波成分は、人間の耳には聞こえないため、このデジタルオーディオ信号Ｃｊｐ（ｊ＝１，２，…，Ｎ）を、そのまま再生信号として使用することも可能である。
【００６２】
あるいは、オーディオ信号ミキシング装置１は、パイロット信号を加算する前の信号、すなわち、ミキシング手段１０によって生成されたデジタルオーディオ信号Ｃｊ（ｔ）（ｊ＝１，２，…，Ｎ）を、別経路で再生用のオーディオ信号として出力することとしてもよい。
【００６３】
ここで、図２を参照して、オーディオ信号ミキシング装置１が生成するパイロット信号が加算されたデジタルオーディオ信号Ｃｊｐの周波数分布について説明する。
図２は、オーディオ信号ミキシング装置１が生成するある出力チャンネルのデジタルオーディオ信号の周波数分布を示すグラフ図であって、縦軸は振幅、横軸は周波数を示している。なお、ここでは、オーディオ信号ミキシング装置１に入力されるデジタルオーディオ信号が、アナログ信号をローパスフィルタの遮断周波数によって帯域制限した後に、Ａ／Ｄ変換された信号であるとする。そして、遮断周波数を２０ｋＨｚ、Ａ／Ｄ変換のサンプリング周波数を４８ｋＨｚ（すなわち、ナイキスト周波数を２４ｋＨｚ）としたときの例を示している。
【００６４】
この図２に示すように、ローパスフィルタ（アンチエイリアシングフィルタ）の周波数特性によって、デジタルオーディオ信号は、２０ｋＨｚ以上の高周波成分が遮断される。
また、遮断周波数である２０ｋＨｚから、ナイキスト周波数である２４ｋＨｚまでの範囲に、当該デジタルオーディオ信号をミキシングする際に用いた入力チャンネルのデジタルオーディオ信号に対応したパンニング係数が予め定めた周波数ごとにパイロット信号として分布する。
【００６５】
このパンニング係数は、出力チャンネル（ミキシング後）のデジタルオーディオ信号から、入力チャンネル（ミキシング前）のデジタルオーディオ信号を復元するための情報として利用されることになる。なお、デジタルオーディオ信号の復元については、後で詳細に説明する。
【００６６】
以上説明した構成により、オーディオ信号ミキシング装置１は、デジタルオーディオ信号に、ミキシングに用いたパンニング係数の情報を付加することで、ミキシング前のデジタルオーディオ信号を復元可能に多チャンネルのオーディオ信号をミキシングすることができる。
【００６７】
また、オーディオ信号ミキシング装置１は、図示を省略したＣＰＵやメモリを搭載した一般的なコンピュータで実現することができる。このとき、オーディオ信号ミキシング装置１は、前記した各手段としてコンピュータを機能させるプログラム（オーディオ信号ミキシングプログラム）によって動作する。
【００６８】
なお、ここでは、入力されるデジタルオーディオ信号が、予め定めた高周波成分の領域に信号成分を有さない信号として説明したが、これは、オーディオ信号ミキシング装置１において、最初の音源からオーディオ信号のミキシングを行う場合である。すなわち、オーディオ信号ミキシング装置１においてミキシングを行った後のデジタルオーディオ信号に対して、再度、ミキシングを行う場合、オーディオ信号ミキシング装置１に入力されるデジタルオーディオ信号には、予め定めた高周波成分の領域にパイロット信号が付加されている。このように、オーディオ信号ミキシング装置１を多段に処理することが可能な点については、後で詳細に説明する。
【００６９】
〔オーディオ信号復元装置の構成〕
次に、図３を参照して、本発明の第１実施形態に係るオーディオ信号復元装置の構成について説明する。
【００７０】
オーディオ信号復元装置２は、ミキシングされた多チャンネルのオーディオ信号から、当該オーディオ信号に予め付加されているパンニング係数の情報に基づいて、ミキシング前のオーディオ信号を復元するものである。すなわち、オーディオ信号復元装置２は、オーディオ信号ミキシング装置１（図１参照）でミキシングされ、パンニング係数の情報がパイロット信号として加算されたデジタルオーディオ信号Ｃｊｐ（ｊ＝１，２，…，Ｎ）を、ミキシング前のデジタルオーディオ信号Ｔｉ（ｉ＝１，２，…，Ｋ）に復元するものである。
【００７１】
図３に示すように、オーディオ信号復元装置２は、ブロック切出手段２０と、帯域制限手段２１と、周波数解析手段２２、係数検出手段２３、逆ミキシング手段２４と、を備えている。
【００７２】
ブロック切出手段２０は、パンニング係数の情報がパイロット信号として加算されたチャンネルごとのデジタルオーディオ信号Ｃｊｐ（ｊ＝１，２，…，Ｎ）から、予め定めた一定時間長ごとのブロックで信号を切り出すものである。この時間長は、例えば、２０ｍｓとする。以降の処理においては、このブロック単位で処理が行われる。
このブロック切出手段２０で切り出されたチャンネルごとのデジタルオーディオ信号（ブロック信号）は、帯域制限手段２１および周波数解析手段２２に出力される。
【００７３】
帯域制限手段２１は、ブロック切出手段２０で切り出されたデジタルオーディオ信号（ブロック信号）から、予め定めた周波数（遮断周波数）以上の高周波成分を除去するものである。この帯域制限手段２１は、一般的なローパスフィルタで実現することができる。この帯域が制限された各チャンネルのデジタルオーディオ信号（ブロック信号）Ｃｊ（ｊ＝１，２，…，Ｎ）は、逆ミキシング手段２４に出力される。
【００７４】
なお、帯域制限手段２１における遮断周波数は、オーディオ信号ミキシング装置１（図１参照）において付加されたパイロット信号の周波数領域を遮断する周波数であればよい。例えば、オーディオ信号ミキシング装置１（図１参照）において、２０ＫＨｚ以上の周波数領域にパイロット信号を付加する場合、帯域制限手段２１は、２０ｋＨｚを遮断周波数とすればよい。
【００７５】
周波数解析手段２２は、ブロック切出手段２０で切り出されたチャンネルごとのデジタルオーディオ信号（ブロック信号）を、チャンネルごとに周波数解析するものである。
例えば、周波数解析手段２２は、デジタルオーディオ信号（ブロック信号）に対して、フーリエ変換を行うことで、時間信号であるデジタルオーディオ信号を、周波数領域で表された信号に変換する。このフーリエ変換の時間窓は、ハニング窓、ハミング窓等を用いることができる。なお、周波数解析手段２２は、一般的な周波数解析手法を実現するものであれば、その手法は限定されない。例えば、フーリエ変換以外にも、最大エントロピ法等を用いることもできる。
【００７６】
これによって、パイロット信号の周波数ごとに、パイロット信号として加算されているパンニング係数の大きさを示す振幅が求められることになる。この周波数解析された信号は、係数検出手段２３に出力される。
【００７７】
係数検出手段２３は、周波数解析手段２２で得られた周波数領域で表された信号から、パンニング係数を検出するものである。
この係数検出手段２３は、チャンネルごとに、周波数解析手段２２で得られた周波数領域で表された信号において、遮断周波数からサンプリング周波数の１／２（ナイキスト周波数）までの範囲の高周波成分から、前記（５）式のパイロット信号における一定の周波数間隔の振幅（すなわち、パンニング係数）を検出する。なお、遮断周波数、サンプリング周波数、および、パイロット信号の周波数間隔は、オーディオ信号ミキシング装置１（図１参照）と同一であり、既知であるものとする。
【００７８】
そして、係数検出手段２３は、正弦波信号ｐｊｉの振幅が、予め定めた閾値以下の場合、その値を“０”とみなす。そして、係数検出手段２３は、すべてのチャンネルｊ＝１，２，…，Ｎ）においてパンニング係数を検出し、パンニング係数を要素とするＫ′列の行列Ｘ（以下の（６）式）を求める。
【００７９】
【数６】
【００８０】
ここで、Ｋ′は、パイロット信号として付加されたパンニング係数の数であるため、Ｋとなる。
すなわち、係数検出手段２３は、この（６）式の行列Ｘにより、前記（２）式のＮ行Ｋ列のパンニング係数行列Ａのパンニング係数ａｊｉを検出できたことになる。
このように検出されたパンニング係数ａｊｉからなるパンニング係数行列Ａ（＝Ｘ）は、逆ミキシング手段２４に出力される。
【００８１】
なお、前記（２）式において、例えば、Ｋ列目のパンニング係数の値がすべて“０”であった場合、前記（６）式のＫ′の値は、（Ｋ−１）となってしまう。しかし、このように、Ｋ列目のパンニング係数の値がすべて“０”であることは現実的ではなく、通常、Ｋ′＝Ｋとなる。
【００８２】
もちろん、これを考慮して、係数検出手段２３は、パンニング係数検出中に逐次Ｋ′の値を記憶手段（不図示）に保持し、Ｋ′の値が前回のブロックにおける値を下回った場合、前記（６）式の行列Ｘにおいて、検出されなかったＫ′列までのパンニング係数の値を“０”とすればよい。逆に、Ｋ′の値が前回のブロックにおける値を上回った場合、係数検出手段２３は、その旨の警告を表示手段（不図示）に表示し、Ｋ′の最大値を一旦計測し、記憶手段（不図示）に保持する。そして、オーディオ信号復元装置２は、係数検出手段２３において、Ｋ′の値を保持しておいた最大値に固定して、再度、オーディオ信号の復元を行えばよい。
【００８３】
なお、このミキシング前のチャンネル数を示すＫの値は、オーディオ信号ミキシング装置１で生成されたデジタルオーディオ信号を多重化する際に、例えば、ＡＲＩＢ（電波産業会）のＢＴＡ Ｆ−１００２で規定されているＡＥＳ／ＥＢＵ（Audio Engineering Society / European Broadcasting Union）デジタル音声信号における付加データ（Auxiliary Data）の領域に多重化して、オーディオ信号復元装置２（図３参照）に通知することとしてもよい。
【００８４】
逆ミキシング手段２４は、帯域制限手段２１において帯域制限されたブロック単位のデジタルオーディオ信号Ｃｊ（ｊ＝１，２，…，Ｎ）を、係数検出手段２３で検出されたパンニング係数（パンニング係数行列Ａ（＝Ｘ））に基づいてミキシング前のデジタルオーディオ信号に変換するものである。すなわち、逆ミキシング手段２４は、前記（３）式の逆変換を行うことで、ミキシング前のデジタルオーディオ信号Ｔｉ（ｉ＝１，２，…，Ｋ）をブロック単位で復元する。
【００８５】
ただし、パンニング係数行列Ａ（＝Ｘ）は、一般に正方行列とは限らない。そこで、逆ミキシング手段２４は、パンニング係数行列Ａが正方行列であれば逆行列、正方行列でなければ擬似逆行列を用いて、以下の（７）式に示すように、ブロック単位にデジタルオーディオ信号Ｔｉ（ｉ＝１，２，…，Ｋ）を生成する。ここで、Ａｔは行列Ａの転置行列を表している。
【００８６】
【数７】
【００８７】
このように、逆ミキシング手段２４は、デジタルオーディオ信号から切り出されたブロック内において、パンニング係数が一定であるとみなすことで、行列演算によるデジタルオーディオ信号の復元を可能にしている。
【００８８】
そして、逆ミキシング手段２４は、ブロック単位で復元されたチャンネルごとの信号を、順次、チャンネルごとに出力する。これによって、チャンネルごとに、時間方向に連結され、復元されたデジタルオーディオ信号Ｔｉ（ｉ＝１，２，…，Ｋ）が、外部に出力されることになる。
【００８９】
以上説明した構成により、オーディオ信号復元装置２は、ミキシングに用いたパンニング係数の情報を付加されたデジタルオーディオ信号から、ミキシング前のデジタルオーディオ信号を復元することができる。
【００９０】
また、オーディオ信号復元装置２は、図示を省略したＣＰＵやメモリを搭載した一般的なコンピュータで実現することができる。このとき、オーディオ信号復元装置２は、前記した各手段としてコンピュータを機能させるプログラム（オーディオ信号復元プログラム）によって動作する。
【００９１】
〔オーディオ信号ミキシング装置の動作〕
次に、図４を参照（構成については適宜図１参照）して、本発明の第１実施形態に係るオーディオ信号ミキシング装置の動作について説明する。
なお、ここでは、オーディオ信号ミキシング装置１に入力されるデジタルオーディオ信号を生成する手順として、アナログ音源のオーディオ信号（アナログオーディオ信号）からデジタルオーディオ信号に変換するオーディオ信号変換装置（不図示）の動作を含めて説明する。
【００９２】
まず、オーディオ信号変換装置の帯域制限手段（不図示）が、アナログオーディオ信号に対してアンチエイリアシング処理を行う（ステップＳ１）。すなわち、オーディオ信号変換装置は、折り返し歪み除去のため、予め定めた遮断周波数以上の周波数成分を除去する。
【００９３】
そして、オーディオ信号変換装置のＡ／Ｄ変換手段（不図示）が、ステップＳ１でアンチエイリアシング処理が行われたアナログオーディオ信号に対して、予め定めたサンプリング周波数でＡ／Ｄ変換を行う（ステップＳ２）。
これによって、パンニング係数をパイロット信号として付加する領域が確保されたデジタルオーディオ信号が生成されることになる。
【００９４】
なお、このステップＳ１，Ｓ２は、パイロット信号の領域を確保した信号を、予めデジタルオーディオ信号として生成する場合は不要である。また、すでに、オーディオ信号ミキシング装置１においてミキシングされた後のデジタルオーディオ信号を再ミキシングする場合も不要である。
【００９５】
このように処理されたデジタルオーディオ信号を入力したオーディオ信号ミキシング装置１は、ミキシング手段１０によって、入力チャンネルごとのデジタルオーディオ信号Ｔｉ（ｉ＝１，２，…，Ｋ）を、パンニング係数に応じた振幅で出力チャンネルに割り当て、出力チャンネルごとに加算することで、ミキシング後のデジタルオーディオ信号Ｃｊ（ｊ＝１，２，…，Ｎ）を生成する（ステップＳ３）。
【００９６】
そして、オーディオ信号ミキシング装置１は、パイロット信号生成手段１１によって、ステップＳ３で用いたパンニング係数を含んだパイロット信号を出力チャンネルごとに生成する（ステップＳ４）。このとき、パイロット信号生成手段１１は、パンニング係数の大きさを振幅で表し、それぞれのパンニング係数に予め定めた周波数を割り当てたパイロット信号を出力チャンネルごとに生成する（ステップＳ４）。
【００９７】
そして、オーディオ信号ミキシング装置１は、加算手段１２によって、ステップＳ３で生成されたデジタルオーディオ信号Ｃｊ（ｊ＝１，２，…，Ｎ）に対して、ステップＳ４で生成された出力チャンネルごとのパイロット信号を加算することで、デジタルオーディオ信号Ｃｊｐ（ｊ＝１，２，…，Ｎ）を生成する（ステップＳ５）。
【００９８】
以上の動作によって、オーディオ信号ミキシング装置１は、デジタルオーディオ信号をミキシングするとともに、ミキシング後の信号に、ミキシング前のデジタルオーディオ信号を復元することが可能なように、パンニング係数の情報を付加することができる。
【００９９】
〔オーディオ信号復元装置の動作〕
次に、図５を参照（構成については適宜図３参照）して、本発明の第１実施形態に係るオーディオ信号復元装置の動作について説明する。
なお、このオーディオ信号復元装置２に入力されるデジタルオーディオ信号は、オーディオ信号ミキシング装置１（図１参照）でミキシングされたデジタルオーディオ信号である。
【０１００】
まず、オーディオ信号復元装置２は、ブロック切出手段２０によって、入力チャンネルごとに、デジタルオーディオ信号Ｃｊｐ（ｊ＝１，２，…，Ｎ）から、予め定めた一定時間長ごとのブロックに信号（ブロック信号）を切り出す（ステップＳ１０）。
【０１０１】
そして、オーディオ信号復元装置２は、周波数解析手段２２によって、ステップＳ１０で切り出されたデジタルオーディオ信号（ブロック信号）を、チャンネルごとに周波数解析（例えば、フーリエ変換）する（ステップＳ１１）。これによって、パイロット信号の周波数ごとに、パイロット信号として加算されているパンニング係数の大きさを示す振幅が求められることになる。
【０１０２】
そして、オーディオ信号復元装置２は、係数検出手段２３によって、ステップＳ１１で得られた周波数領域で表された信号において、遮断周波数からサンプリング周波数の１／２（ナイキスト周波数）までの範囲の高周波成分から、一定の周波数間隔に配置された正弦波信号の振幅（すなわち、パンニング係数）を検出し、パンニング係数行列を生成する（ステップＳ１２）。
【０１０３】
すなわち、係数検出手段２３は、前記（５）式のパイロット信号において、一定の周波数間隔の振幅（すなわち、パンニング係数）を検出する。そして、係数検出手段２３は、前記（２）式のパンニング係数行列Ａに相当する行列Ｘを前記（６）式により生成する。
【０１０４】
また、オーディオ信号復元装置２は、帯域制限手段２１によって、ステップＳ１０で切り出されたデジタルオーディオ信号（ブロック信号）に対して、予め定めた周波数（ステップＳ１（図４参照）における遮断周波数に相当）以上の高周波成分を除去する（ステップＳ１３）。これによって、デジタルオーディオ信号（ブロック信号）に付加されているパイロット信号が除去されることになる。
【０１０５】
そして、オーディオ信号復元装置２は、逆ミキシング手段２４によって、ステップＳ１３で生成されたデジタルオーディオ信号（ブロック信号）を、ステップＳ１２で生成されたパンニング係数（パンニング係数行列）を用いた逆行列または擬似逆行列（前記（７）式参照）により、ミキシング前の信号に復元する（ステップＳ１４）。
以上の動作によって、オーディオ信号復元装置２は、オーディオ信号ミキシング装置１でミキシングされた元の音源となるデジタルオーディオ信号を復元することができる。
【０１０６】
［第２実施形態］
〔オーディオ信号ミキシング装置の構成〕
次に、図６を参照して、本発明の第２実施形態に係るオーディオ信号ミキシング装置の構成について説明する。
【０１０７】
オーディオ信号ミキシング装置１Ｂは、ミキシングパラメータであるパンニング係数と、入力チャンネルごとのパラメータとに基づいて、多チャンネルのデジタルオーディオ信号をミキシングするものである。
【０１０８】
図１で説明したオーディオ信号ミキシング装置１は、ミキシングを行う際にパンニング係数のみを考慮したが、オーディオ信号ミキシング装置１Ｂは、さらに、入力チャンネルごとに調整を行うパラメータを考慮して、元のデジタルオーディオ信号を復元可能にミキシングする点が異なっている。
【０１０９】
図６に示すように、オーディオ信号ミキシング装置１Ｂは、パラメータ調整手段１３と、ミキシング手段１０と、パイロット信号生成手段１１Ｂと、加算手段１２と、を備えている。ミキシング手段１０および加算手段１２は、図１で説明したオーディオ信号ミキシング装置１と同一の構成であるため、同一の符号を付して説明を省略する。
【０１１０】
パラメータ調整手段１３は、入力されるデジタルオーディオ信号を、チャンネルごとに個別に、入力されるパラメータ（重み係数）に基づいて信号のレベルを調整するものである。具体的には、パラメータ調整手段１３は、パラメータとして例えばゲイン（利得）によって、チャンネルごとの個々のデジタルオーディオ信号の信号レベルを調整する。なお、ここでは、チャンネルごとのパラメータ（重み係数）ｇｉ（ｉ＝１，２，…，Ｋ）は、予め“０”から“１”の範囲で正規化されているものとする。
【０１１１】
このパラメータ調整手段１３は、入力チャンネルごとのデジタルオーディオ信号Ｔｉ（ｉ＝１，２，…，Ｋ）に、それぞれ個別に、重み係数ｇｉ（ｉ＝１，２，…，Ｋ）を乗算し、デジタルオーディオ信号Ｓｉ（ｉ＝１，２，…，Ｋ）として、ミキシング手段１０に出力する。
【０１１２】
パイロット信号生成手段１１Ｂは、入力チャンネルごとのデジタルオーディオ信号を調整したパラメータ（重み係数）と、ミキシング手段１０において用いられたそれぞれのパンニング係数との積を振幅とし、それぞれのパンニング係数に応じて予め定めた周波数を割り当てたパイロット信号を生成するものである。
【０１１３】
ここで、数式を用いて、パイロット信号生成手段１１Ｂが生成するパイロット信号について説明する。
パラメータ調整手段１３で調整されたデジタルオーディオ信号Ｓｉ（ｉ＝１，２，…，Ｋ）は、入力チャンネルごとのデジタルオーディオ信号Ｔｉ（ｉ＝１，２，…，Ｋ）に、“０”から“１”の範囲で正規化された重み係数ｇｉ（ｉ＝１，２，…，Ｋ）を乗算したもので、以下の（８）式で表すことができる。
【０１１４】
【数８】
【０１１５】
これを、前記（１）式に当てはめると、ミキシング手段１０でミキシングされたデジタルオーディオ信号Ｃｊ（ｊ＝１，２，…，Ｎ）は、以下の（９）式で表すことができる。
【０１１６】
【数９】
【０１１７】
この（９）式におけるａｊｉｇｉをひとつの係数とみなせば、パイロット信号生成手段１１Ｂは、前記（４）式と同様に、以下の（１０）式に示すように、振幅をパンニング係数ａｊｉに重み係数ｇｉを乗算した係数とし、周波数をそれぞれのパンニング係数ａｊｉに予め定めた周波数ｆｊとした時刻ｔにおける正弦波信号ｐｊｉを生成することになる。
【０１１８】
【数１０】
【０１１９】
そして、パイロット信号生成手段１１Ｂは、この（１０）式の正弦波信号ｐｊｉを以下の（１１）式に示すように、ｉ＝１からＫまで足し合わすことで、デジタルオーディオ信号Ｃｊ（ｊ＝１，２，…，Ｎ）ごとのパイロット信号を生成する。
【０１２０】
【数１１】
【０１２１】
このパイロット信号生成手段１１Ｂで生成されたパイロット信号は、加算手段１２に出力される。
以上説明した構成により、オーディオ信号ミキシング装置１Ｂは、デジタルオーディオ信号に、ミキシングに用いたパンニング係数とパラメータの情報を付加することで、ミキシング前のデジタルオーディオ信号を復元可能に多チャンネルのオーディオ信号をミキシングすることができる。
【０１２２】
また、オーディオ信号ミキシング装置１Ｂは、図示を省略したＣＰＵやメモリを搭載した一般的なコンピュータで実現することができる。このとき、オーディオ信号ミキシング装置１は、前記した各手段としてコンピュータを機能させるプログラム（オーディオ信号ミキシングプログラム）によって動作する。
【０１２３】
〔オーディオ信号復元装置の構成〕
次に、本発明の第２実施形態に係るオーディオ信号ミキシング装置１Ｂ（図６参照）によってミキシングされたデジタルオーディオ信号から、ミキシング前のデジタルオーディオ信号を復元するオーディオ信号復元装置の構成について説明する。
【０１２４】
オーディオ信号ミキシング装置１Ｂ（図６参照）に対応するオーディオ信号復元装置は、図３で説明したオーディオ信号復元装置２と同じ構成で実現することができる。
なお、オーディオ信号ミキシング装置１Ｂ（図６参照）のパイロット信号生成手段１１Ｂでは、パイロット信号として、前記（１０）式に示したように、パンニング係数ａｊｉに重み係数ｇｉを乗算した係数によって正弦波信号ｐｊｉの振幅が特定されている。
【０１２５】
このとき、係数検出手段２３において検出される係数は、パンニング係数のみではなく、パンニング係数ａｊｉに重み係数ｇｉを乗算した値となる。
すなわち、係数検出手段２３が逆ミキシング手段２４に出力する係数の行列は、前記（６）式の代わりに、以下の（１２）式の行列Ｘとなる。
【０１２６】
【数１２】
【０１２７】
そして、逆ミキシング手段２４が、この（１２）式に示した行列Ｘを係数行列（変換行列）Ａとして、前記（７）式の変換を行うことで、ミキシング前のデジタルオーディオ信号Ｔｉ（ｉ＝１，２，…，Ｋ）をブロック単位で復元する。
このように、オーディオ信号復元装置２は、ミキシングに用いたパンニング係数と重み係数の情報を付加されたデジタルオーディオ信号から、ミキシング前のデジタルオーディオ信号を復元することができる。
【０１２８】
〔オーディオ信号ミキシング装置の動作〕
次に、図７を参照（構成については適宜図６参照）して、本発明の第２実施形態に係るオーディオ信号ミキシング装置の動作について説明する。
なお、基本的な動作は、図４で説明したオーディオ信号ミキシング装置１（図１参照）と同じであるため、異なる動作についてのみ説明する。
【０１２９】
ステップＳ１，Ｓ２によって、パイロット信号を付加する領域が確保されたデジタルオーディオ信号に対し、オーディオ信号ミキシング装置１Ｂは、パラメータ調整手段１３によって、各チャンネルのデジタルオーディオ信号を、入力されるパラメータ（重み係数）に基づいて調整する（ステップＳ３Ａ）。例えば、パラメータ調整手段１３は、入力チャンネルごとのデジタルオーディオ信号Ｔｉ（ｉ＝１，２，…，Ｋ）に、それぞれ個別に、ゲインを“０”から“１”の範囲で予め正規化したパラメータである重み係数ｇｉ（ｉ＝１，２，…，Ｋ）を乗算することで、ゲイン調整を行う。
【０１３０】
そして、パンニング係数に基づいてデジタルオーディオ信号をミキシングするステップＳ３の動作の後、オーディオ信号ミキシング装置１Ｂは、パイロット信号生成手段１１Ｂによって、ステップＳ３で用いたパンニング係数に、ステップＳ３Ａで用いたパラメータ（重み係数）を乗算した値を振幅で表し、それぞれのパンニング係数に予め定めた周波数を割り当てたパイロット信号をチャンネルごとに生成する（ステップＳ４Ｂ）。
以降の動作は、オーディオ信号ミキシング装置１（図１参照）と同じである。
【０１３１】
〔オーディオ信号復元装置の動作〕
次に、図８を参照（構成については適宜図３参照）して、本発明の第２実施形態に係るオーディオ信号ミキシング装置１Ｂ（図６参照）によってミキシングされたデジタルオーディオ信号から、ミキシング前のデジタルオーディオ信号を復元するオーディオ信号復元装置の動作について説明する。
なお、この動作は、途中で生成される情報（係数）が異なるだけで、図５で説明した動作と同じであるため、異なる情報を処理する動作についてのみ説明する。
【０１３２】
図５のステップＳ１２では、係数検出手段２３によって、ステップＳ１１で得られた周波数領域で表された信号において、高周波成分から、一定の周波数間隔の正弦波信号の振幅により、パンニング係数を検出し、パンニング係数行列を生成した。しかし、この第２実施形態においては、正弦波信号の振幅により検出されるのが、パンニング係数に重み係数ｇｉを乗算した係数であって、係数検出手段２３は、その係数からなる係数行列を生成する（ステップＳ１２Ｂ）。
【０１３３】
また、図５のステップＳ１４では、デジタルオーディオ信号（ブロック信号）を、ステップＳ１２で生成されたパンニング係数行列を用いてミキシング前の信号に復元した。しかし、この第２実施形態においては、ステップＳ１２Ｂで生成された係数行列を用いてミキシング前の信号に復元する（ステップＳ１４Ｂ）。
【０１３４】
このように、オーディオ信号ミキシング装置１Ｂ（図６参照）によってミキシングされたデジタルオーディオ信号は、第１実施形態で説明したオーディオ信号復元装置２によって、ミキシング前のデジタルオーディオ信号に復元することができる。
【０１３５】
以上、本発明の実施形態について説明したが、本発明は、オーディオ信号ミキシング装置１，１Ｂによって、１回のミキシングによって生成されたデジタルオーディオ信号を、オーディオ信号復元装置２でミキシング前のデジタルオーディオ信号に復元することができるのみならず、多段階のミキシング処理を行った場合であっても、元のデジタルオーディオ信号に復元することができる。
【０１３６】
［多段ミキシングされたデジタルオーディオ信号の復元について］
以下、オーディオ信号ミキシング装置１，１Ｂによって、複数のミキシングが行われた場合でも、オーディオ信号復元装置２において、元の音源であるデジタルオーディオ信号が復元可能であることを、数式を用いて説明する。
【０１３７】
ここでは、説明を簡略化するため、図９（ａ）に示すように、ミキシング処理として、オーディオ信号ミキシング装置１によって、Ｋチャンネルのデジタルオーディオ信号Ｔｉ（ｉ＝１，２，…，Ｋ）が、Ｎチャンネルのデジタルオーディオ信号Ｃｊｐ（ｊ＝１，２，…，Ｎ）にミキシングされた後、Ｍチャンネルのデジタルオーディオ信号Ｄｍｐ（ｍ＝１，２，…，Ｍ）に再ミキシングされたものとする。
【０１３８】
ここで、再ミキシングにおけるパンニング係数をｂｍｊ（ｍ＝１，２，…，Ｍ、ｊ＝１，２，…，Ｎ）とすると、デジタルオーディオ信号Ｃｊは、前記（１）式で表されることから、再ミキシングされたデジタルオーディオ信号Ｄｍは、以下の（１３）式のように表すことができる。
【０１３９】
【数１３】
【０１４０】
すなわち、以下の（１４）式に示すように、デジタルオーディオ信号Ｔｉ，Ｄｍをそれぞれ行列Ｔ，Ｄで表し、Ｍ行Ｋ列の係数行列をＹとしたとき、以下の（１５）式の関係が成り立つ。
【０１４１】
【数１４】
【０１４２】
【数１５】
【０１４３】
また、再ミキシングにより、すでに付加されているパイロット信号は、以下の（１６）式に示すように混合される。
【０１４４】
【数１６】
【０１４５】
これは、再ミキシング後の出力信号であるデジタルオーディオ信号Ｄｍに、以下の（１７）式に示す新たなパイロット信号が埋め込まれたことに等しい。
【０１４６】
【数１７】
【０１４７】
また、前記（１６）式に示すように、ｐｍｉの振幅は、前記（１４）式の係数行列Ｙの各要素に比例したものとなる。
よって、第１実施形態で説明した前記（７）式と同様に、オーディオ信号復元装置２の逆ミキシング手段２４によって、前記（１５）式から、係数行列Ｙの逆行列または擬似逆行列を用いた逆変換を行うことで、デジタルオーディオ信号Ｔｉ（ｉ＝１，２，…，Ｋ）を復元することができる。
【０１４８】
このように、図９（ｂ）に示すように、図９（ａ）において再ミキシングされたＭチャンネルのデジタルオーディオ信号Ｄｍｐ（ｍ＝１，２，…，Ｍ）は、オーディオ信号復元装置２によって、元のＫチャンネルのデジタルオーディオ信号Ｔｉ（ｉ＝１，２，…，Ｋ）に復元されることになる。
【０１４９】
以上、オーディオ信号ミキシング装置１が２回のミキシングを行った場合であっても、オーディオ信号復元装置２が元のデジタルオーディオ信号を復元可能であることを、数式を用いて説明した。しかし、このミキシング回数は、２回に限定されるものではない。
【０１５０】
すなわち、オーディオ信号ミキシング装置１において、３回以上デジタルオーディオ信号がミキシングされる場合であっても、前記（１６）式に示すように、振幅の大きさが変化するだけで、前記（１５）式に示した関係が成立するため、１回の復元処理によって、元のデジタルオーディオ信号を復元することができる。
【０１５１】
また、ここでは、パンニング係数のみを考慮したが、第２実施形態で説明したように、チャンネルごとに個別のパラメータ（ゲイン）を設定した場合であっても、前記（１２）式で示したように、係数行列の各要素にパラメータが乗算されているだけであるため、前記（１５）式から、元のデジタルオーディオ信号を復元する際には影響がない。
【０１５２】
このように、本発明は、オーディオ信号ミキシング装置１，１Ｂにおいて、デジタルオーディオ信号をミキシングする際に、パンニング係数を含んだ信号を順次付加することで、オーディオ信号復元装置２において、１回の復元処理で元のデジタルオーディオ信号を復元することができる。
【符号の説明】
【０１５３】
１ オーディオ信号ミキシング装置
１０ ミキシング手段
１１ パイロット信号生成手段
１２ 加算手段
１３ パラメータ調整手段
２ オーディオ信号復元装置
２０ ブロック切出手段
２１ 帯域制限手段
２２ 周波数解析手段
２３ 係数検出手段
２４ 逆ミキシング手段
【技術分野】
【０００１】
本発明は、複数のオーディオ信号をミキシングしたマルチチャンネルの音響信号から、ミキシングされる前のオーディオ信号を復元する技術に関する。
【背景技術】
【０００２】
一般に、オーディオコンテンツの作成時には、個別に収録した音源のデジタルデータを素材にしたミキシングが行われている。
また、近年では、アナログ音源の音響信号から、デジタル音源の音響信号に変換するデジタル・リマスタリングが盛んに行われている。このとき、デジタル・リマスタリングは、すでにミキシングされたアナログ音源を編集することで行われている。
【０００３】
ここで、ミキシングには、振幅ゲイン、時間遅延、パンニング、リバーブレータ等の効果を与えるフィルタ係数といったパラメータ（ミキシングパラメータ）が用いられる。特に多チャンネルのミキシングにおいて音像の定位感を聴視者に与えるには、各出力チャンネルの音の大きさ、すなわち、各スピーカから出力される相対的な音の大きさを示すパンニング係数が重要となる。
例えば、このパンニング係数を用いて、多チャンネルのオーディオ信号の音像を、所望の位置に定位させるパンニング装置（３次元音響パンニング装置）が存在する（特許文献１参照）。
【０００４】
このミキシングを行った後の音響信号からミキシングに用いたパラメータを推定することができれば、ミキシング前のデジタルオーディオ信号の復元が可能となり、元のデジタル音源によるリミックスやアップミックス、元の音源の圧縮符号化が可能になる。
しかし、すでにミキシングされた音響信号から、元の音源のオーディオ信号を忠実に復元することは困難である。基本的に、ミキシングされた音響信号は、元の音源情報を失っているからである。
【０００５】
そこで、従来、予めミキシング処理をモデル化した上で、マルチチャンネルのデジタルオーディオ信号をミキシングし、元の音源のオーディオ信号を復元するために、ミキシングされた音響信号から、最小二乗法等を用いて、モデル化した処理との相違を最小限とするように、ミキシング前のデジタルオーディオ信号を復元するリバースエンジニアリングの技術が開示されている（非特許文献１参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−３２９７４６号公報
【非特許文献】
【０００７】
【非特許文献１】D. Barchiesi and J. D. Reiss, Reverse Engineering the Mix, Journal of the Audio Engineering Society, Volume 58 Issue 78 pp. 563-576, July 2010.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、従来の手法は、デジタルオーディオ信号を復元する場合、予めミキシング処理をモデル化して、最小二乗法等を用いて、ミキシング前のデジタルオーディオ信号に近似した信号を求めているに過ぎない。すなわち、従来の手法では、デジタルオーディオ信号を復元する場合、その復元された信号は、あくまで、元の信号の近似信号でしかないため、元の信号とは異なるノイズ成分が重畳されてしまうという問題がある。
【０００９】
本発明は、以上のような問題点に鑑みてなされたものであり、元のオーディオ信号を復元可能にミキシングすることが可能なオーディオ信号ミキシング装置およびそのプログラム、ならびに、元のオーディオ信号を復元することが可能なオーディオ信号復元装置およびそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【００１０】
本発明は、前記課題を解決するために創案されたものであり、まず、請求項１に記載のオーディオ信号ミキシング装置は、複数の入力チャンネルのデジタルオーディオ信号をミキシングするとともに、ミキシング前のデジタルオーディオ信号に復元可能とする信号を、ミキシング後の出力チャンネルのデジタルオーディオ信号に付加するオーディオ信号ミキシング装置であって、ミキシング手段と、パイロット信号生成手段と、加算手段と、を備える構成とした。
【００１１】
かかる構成において、オーディオ信号ミキシング装置は、ミキシング手段によって、複数の入力チャンネルに対してそれぞれ割り当てられた出力チャンネルごとのデジタルオーディオ信号の強度を示すパンニング係数に基づいて、入力チャンネルのデジタルオーディオ信号をミキシングする。すなわち、ミキシング手段は、パンニング係数に応じて、入力チャンネルの信号を出力チャンネルに分配することで、アップミックスや、ダウンミックスルといった、入力チャンネルとは異なるチャンネル数のデジタルオーディオ信号に変換する。
【００１２】
そして、オーディオ信号ミキシング装置は、パイロット信号生成手段によって、出力チャンネルごとに、当該出力チャンネルに割り当てられた入力チャンネルのパンニング係数を示す信号（パイロット信号）を生成する。このとき、パイロット信号生成手段は、出力チャンネルに割り当てられた入力チャンネルのパンニング係数を、予め定めた周波数以上であって入力チャンネルごとに異なる予め定めた周波数に割り当て、当該パンニング係数の大きさを振幅としたパイロット信号を生成する。これによって、パイロット信号生成手段は、高周波の周波数領域において、入力チャンネルごとに異なる周波数で、かつ、パンニング係数の大きさが振幅として表された正弦波信号としてパンニング信号が生成されることになる。
【００１３】
そして、オーディオ信号ミキシング装置は、加算手段によって、パイロット信号生成手段で生成された出力チャンネルごとのパイロット信号を、ミキシング手段でミキシングされた出力チャンネルのデジタルオーディオ信号に加算する。これによって、ミキシング後のデジタルオーディオ信号の高周波成分に、パンニング係数を示す信号が付加されることになる。
【００１４】
このように、ミキシング後のデジタルオーディオ信号にパンニング係数を示す信号を付加しておくことで、元のデジタルオーディオ信号を復元する場合に、ミキシング後のデジタルオーディオ信号からパンニング係数を検出し、ミキシングの逆の処理（逆ミキシング）を行うことで、元の音源を復元することが可能になる。
【００１５】
また、請求項２に記載のオーディオ信号ミキシング装置は、請求項１に記載のオーディオ信号ミキシング装置において、前記入力チャンネルのデジタルオーディオ信号は、音源であるアナログオーディオ信号をアンチエイリアシングフィルタの遮断周波数でフィルタリングした後に、予め定めたサンプリング周波数でデジタル信号に変換された信号であって、前記パイロット信号生成手段は、前記遮断周波数以上で、かつ、前記サンプリング周波数の２分の１の周波数未満の周波数帯域に、前記パンニング係数を割り当てることを特徴とする。
【００１６】
かかる構成において、オーディオ信号ミキシング装置は、パイロット信号生成手段によって、遮断周波数以上、サンプリング周波数の２分の１（ナイキスト周波数）未満の周波数帯域に、パンニング係数を割り当てることで、実際の音響とは重ならない周波数領域にパンニング係数を付加することができる。また、パンニング係数を割り当てる周波数を遮断周波数以上、ナイキスト周波数未満とすることで、元のデジタルオーディオ信号を復元する際に、パンニング係数を検出するために参照する周波数領域を特定の範囲に限定することができる。
【００１７】
また、請求項３に記載のオーディオ信号ミキシング装置は、請求項１または請求項２に記載のオーディオ信号ミキシング装置において、ミキシング手段の前段にパラメータ調整手段を備える構成とした。
【００１８】
かかる構成において、オーディオ信号ミキシング装置は、パラメータ調整手段によって、入力チャンネルに対応するデジタルオーディオ信号を個別に調整するパラメータにより、当該デジタルオーディオ信号のレベルを調整する。このパラメータ調整手段は、例えば、デジタルオーディオ信号のゲインを個別に調整するものである。
そして、オーディオ信号ミキシング装置は、パイロット信号生成手段によって、パラメータ調整手段で用いた入力チャンネルごとのパラメータを、当該入力チャンネルに対応したパンニング係数に乗算する。これによって、新たなパンニング係数には、デジタルオーディオ信号を個別に調整するパラメータの情報が付加されることになり、当該パンニング係数は、ミキシング前の信号を復元するための信号として利用することができる。
【００１９】
さらに、請求項４に記載のオーディオ信号ミキシングプログラムは、複数の入力チャンネルのデジタルオーディオ信号をミキシングするとともに、ミキシング前のデジタルオーディオ信号に復元可能とする信号を、ミキシング後の出力チャンネルのデジタルオーディオ信号に付加するために、オーディオ信号ミキシング装置のコンピュータを、ミキシング手段、パイロット信号生成手段、加算手段、として機能させる構成とした。
【００２０】
かかる構成において、オーディオ信号ミキシングプログラムは、ミキシング手段によって、複数の入力チャンネルに対してそれぞれ割り当てられた出力チャンネルごとのデジタルオーディオ信号の強度を示すパンニング係数に基づいて、入力チャンネルのデジタルオーディオ信号をミキシングする。
【００２１】
そして、オーディオ信号ミキシングプログラムは、パイロット信号生成手段によって、出力チャンネルごとに、当該出力チャンネルに割り当てられた入力チャンネルのパンニング係数を示す信号（パイロット信号）を生成する。このとき、パイロット信号生成手段は、出力チャンネルに割り当てられた入力チャンネルのパンニング係数を、予め定めた周波数以上であって入力チャンネルごとに異なる予め定めた周波数に割り当て、当該パンニング係数の大きさを振幅としたパイロット信号を生成する。
【００２２】
そして、オーディオ信号ミキシングプログラムは、加算手段によって、パイロット信号生成手段で生成された出力チャンネルごとのパイロット信号を、ミキシング手段でミキシングされた出力チャンネルのデジタルオーディオ信号に加算する。
【００２３】
これによって、ミキシング後のデジタルオーディオ信号の高周波成分に、パンニング係数の大きさを示す信号が付加されることになり、ミキシング前の信号を復元するために利用することが可能になる。
【００２４】
また、請求項５に記載のオーディオ信号復元装置は、複数の入力チャンネルに対してそれぞれ割り当てられた出力チャンネルごとのデジタルオーディオ信号の強度を示すパンニング係数に基づいて前記入力チャンネルのデジタルオーディオ信号をミキシングする際に、前記パンニング係数を予め定めた周波数以上であって前記入力チャンネルごとに異なる予め定めた周波数に割り当て、当該パンニング係数の大きさを振幅としたパイロット信号を前記出力チャンネルのデジタルオーディオ信号に加算することで生成されたミキシング後のデジタルオーディオ信号から、ミキシング前の信号を復元するオーディオ信号復元装置であって、ブロック切出手段と、帯域制限手段と、周波数解析手段と、係数検出手段と、逆ミキシング手段と、を備える構成とした。
【００２５】
かかる構成において、オーディオ信号復元装置は、ブロック切出手段によって、ミキシング後のデジタルオーディオ信号から、予め定めた一定時間長ごとのブロックで信号を切り出す。このブロックにおいて、パンニング係数が同一であるとみなして以降の処理を行う。
すなわち、オーディオ信号復元装置は、帯域制限手段によって、ブロックごとに、パイロット信号が加算された周波数領域の信号を除去する。これによって、実際の音響のみの信号が生成されることになる。
【００２６】
また、オーディオ信号復元装置は、周波数解析手段によって、ブロックの周波数解析を行う。例えば、周波数解析手段は、フーリエ変換によって、ブロックごとの時間信号を、周波数領域で表された信号に変換する。そして、オーディオ信号復元装置は、係数検出手段によって、周波数解析手段で解析された周波数のうちで、予め定めた周波数以上の振幅から、周波数ごとに予め割り当てられているパンニング係数を検出する。これによって、ミキシングされたときのパンニング係数が抽出されることになる。
【００２７】
そして、オーディオ信号復元装置は、逆ミキシング手段によって、係数検出手段で検出されたパンニング係数に基づいて、帯域制限手段でパイロット信号が除去された信号に対して、ミキシングの逆変換を行うことで、時系列のブロックごとに、順次、ミキシング前のデジタルオーディオ信号を復元する。
【００２８】
また、請求項６に記載のオーディオ信号復元装置は、請求項５に記載のオーディオ信号復元装置において、前記逆ミキシング手段が、前記係数検出手段で検出されたパンニング係数を要素とする前記入力チャンネルから前記出力チャンネルへの変換行列において、当該変換行列が正方行列であれば当該変換行列の逆行列を用い、当該変換行列が正方行列でなければ当該変換行列の擬似逆行列を用いて、前記ミキシング前のデジタルオーディオ信号を逆変換して復元することを特徴とする。
【００２９】
かかる構成において、オーディオ信号復元装置は、逆ミキシング手段によって、係数検出手段で検出されたパンニング係数を要素とする変換行列が正方行列であるか否かにより、逆変換に用いる行列を逆行列または擬似逆行列とする。これによって、逆ミキシング手段は、ミキシングを行った際の行列演算として用いられた変換行列（パンニング係数行列）が正方行列でない場合、すなわち、入力チャンネル数と出力チャンネル数とが異なる場合であっても、元のデジタルオーディオ信号を復元することができる。
【００３０】
さらに、請求項７に記載のオーディオ信号復元プログラムは、複数の入力チャンネルに対してそれぞれ割り当てられた出力チャンネルごとのデジタルオーディオ信号の強度を示すパンニング係数に基づいて前記入力チャンネルのデジタルオーディオ信号をミキシングする際に、前記パンニング係数を予め定めた周波数以上であって前記入力チャンネルごとに異なる予め定めた周波数に割り当て、当該パンニング係数の大きさを振幅としたパイロット信号を前記出力チャンネルのデジタルオーディオ信号に加算することで生成されたミキシング後のデジタルオーディオ信号から、ミキシング前の信号を復元するために、オーディオ信号復元装置のコンピュータを、ブロック切出手段、帯域制限手段、周波数解析手段、係数検出手段、逆ミキシング手段、として機能させる構成とした。
【００３１】
かかる構成において、オーディオ信号復元プログラムは、ブロック切出手段によって、ミキシング後のデジタルオーディオ信号から、予め定めた一定時間長ごとのブロックで信号を切り出す。
そして、オーディオ信号復元プログラムは、帯域制限手段によって、ブロックごとに、パイロット信号が加算された周波数領域の信号を除去する。
【００３２】
また、オーディオ信号復元プログラムは、周波数解析手段によって、ブロックの周波数解析を行う。そして、オーディオ信号復元プログラムは、係数検出手段によって、周波数解析手段で解析された周波数のうちで、予め定めた周波数以上の振幅から、周波数ごとに予め割り当てられているパンニング係数を検出する。
【００３３】
そして、オーディオ信号復元プログラムは、逆ミキシング手段によって、係数検出手段で検出されたパンニング係数に基づいて、帯域制限手段でパイロット信号が除去された信号に対して、ミキシングの逆変換を行うことで、時系列のブロックごとに、順次、ミキシング前のデジタルオーディオ信号を復元する。
【発明の効果】
【００３４】
本発明は、以下に示す優れた効果を奏するものである。
請求項１，４に記載の発明によれば、多チャンネルのデジタルオーディオ信号をミキシングする際に、ミキシング後のデジタルオーディオ信号にパンニング係数の大きさを表した信号を付加することができる。これによって、ミキシング前のデジタルオーディオ信号を復元可能なように、デジタルオーディオ信号をミキシングすることができる。
【００３５】
請求項２に記載の発明によれば、実際の音響用の信号として使用しない予め定めた高周波成分の領域に限定してパンニング係数を割り当てるため、実際の音響そのものに影響を与えることがない。また、元のデジタルオーディオ信号を復元する際に、限定した周波数帯域から高速にパンニング係数を検出することができる。
【００３６】
請求項３に記載の発明によれば、個々の入力チャンネルのパラメータを調整することができる。なお、この場合であっても、個々の入力チャンネルで調整されたパラメータは、パンニング係数に重畳されてミキシングされるため、元のデジタルオーディオ信号を復元することが可能となる。
【００３７】
請求項５，７に記載の発明によれば、デジタルオーディオ信号に付加されたパンニング係数を検出し、そのパンニング係数を用いて、ミキシング前のデジタルオーディオ信号を忠実に復元することができる。
また、請求項５，７に記載の発明によれば、複数回異なるミキシングを行われたデジタルオーディオ信号であっても、パンニング係数の情報が、順次、ミキシング後のデジタルオーディオ信号に加算されているため、そのパンニング係数を用いることで、元のデジタルオーディオ信号を復元することができる。
【００３８】
請求項６に記載の発明によれば、入力チャンネル数と出力チャンネル数が異なるようにミキシングされたデジタルオーディオ信号であっても、元のデジタルオーディオ信号を復元することができる。これによって、本発明は、多チャンネルのデジタルオーディオ信号がアップミックス、あるいは、ダウンミックスされた場合であっても、元のデジタルオーディオ信号を復元することができる。
【図面の簡単な説明】
【００３９】
【図１】本発明の第１実施形態に係るオーディオ信号ミキシング装置の構成を示すブロック構成図である。
【図２】本発明の第１実施形態に係るオーディオ信号ミキシング装置が生成するある出力チャンネルのデジタルオーディオ信号の周波数分布を示すグラフ図である。
【図３】本発明の第１実施形態に係るオーディオ信号復元装置の構成を示すブロック構成図である。
【図４】本発明の第１実施形態に係るオーディオ信号ミキシング装置の動作を示すフローチャートである。
【図５】本発明の第１実施形態に係るオーディオ信号復元装置の動作を示すフローチャートである。
【図６】本発明の第２実施形態に係るオーディオ信号ミキシング装置の構成を示すブロック構成図である。
【図７】本発明の第２実施形態に係るオーディオ信号ミキシング装置の動作を示すフローチャートである。
【図８】本発明の第１実施形態に係るオーディオ信号ミキシング装置において、本発明の第２実施形態に係るオーディオ信号ミキシング装置でミキシングされたデジタルオーディオ信号を復元する動作を示すフローチャートである。
【図９】デジタルオーディオ信号を複数回ミキシングした後に、元のデジタルオーディオ信号を復元する動作を説明するための説明図である。
【発明を実施するための形態】
【００４０】
以下、本発明の実施形態について図面を参照して説明する。
［第１実施形態］
〔オーディオ信号ミキシング装置の構成〕
まず、図１を参照して、本発明の第１実施形態に係るオーディオ信号ミキシング装置の構成について説明する。
オーディオ信号ミキシング装置１は、ミキシングパラメータであるパンニング係数（振幅パンニング係数）に基づいて、多チャンネルのデジタルオーディオ信号をミキシングするものである。
このオーディオ信号ミキシング装置１は、パンニング係数に基づいて、予め設定された入力チャンネル数の多チャンネル（ここでは、Ｋチャンネル）のオーディオ信号を、同じく予め設定された出力チャンネル数の多チャンネル（ここでは、Ｎチャンネル）の音響信号にミキシングする。
【００４１】
ここで、パンニング係数とは、入力チャンネルごとの各オーディオ信号を、出力チャンネルごとにどれだけの強度（振幅）でミキシングするのかを示す係数である。このパンニング係数は、例えば、図示を省略したミキシングコンソールのパンポッド等によって設定される値であって、予め“０”から“１”の範囲で正規化されているものとする。
【００４２】
なお、オーディオ信号ミキシング装置１に入力されるデジタルオーディオ信号は、予め定めた周波数以上には、信号成分が存在しないものとする。これは、後で詳細に説明するが、オーディオ信号ミキシング装置１が、信号成分が存在しない高周波成分の領域に、パンニング係数の大きさを示す信号を付加するためである。
【００４３】
一般に、デジタルオーディオ信号は、図示を省略したオーディオ信号変換装置によって、アナログ音源のオーディオ信号からＡ／Ｄ変換によって生成される。このとき、折り返し歪み除去（アンチエイリアシング）のため、Ａ／Ｄ変換前にサンプリング周波数に応じたローパスフィルタ（アンチエイリアシングフィルタ）で帯域制限が行われる。例えば、サンプリング周波数を４８ｋＨｚ（ナイキスト周波数２４ｋＨｚ）としたとき、ローパスフィルタの遮断周波数を２０ｋＨｚとする。これによって、遮断周波数（２０ｋＨｚ）からナイキスト周波数（２４ｋＨｚ）の範囲に、パンニング係数の大きさを示す信号を付加する領域が確保されることになる。このサンプリング周波数は、その値が高いほど、パンニング係数の大きさを示す信号を付加する領域が広く確保されることになる。
【００４４】
もちろん、オーディオ信号ミキシング装置１に入力されるデジタルオーディオ信号は、アナログ音源から生成されたものに限らず、予め定めた高周波成分の領域（前記したローパスフィルタの遮断周波数以上の周波数領域）に信号成分を有さない信号であれば、予めデジタル信号として生成されたオーディオ信号であっても構わない。
【００４５】
図１に示すように、オーディオ信号ミキシング装置１は、ミキシング手段１０と、パイロット信号生成手段１１と、加算手段１２と、を備えている。
【００４６】
ミキシング手段１０は、入力される各チャンネルのデジタルオーディオ信号を、パンニング係数に基づいてミキシングするものである。すなわち、ミキシング手段１０は、入力チャンネルごとのデジタルオーディオ信号Ｔｉ（ｔ）（ｉ＝１，２，…，Ｋ）を、パンニング係数に応じた振幅で出力チャンネルに割り当て、出力チャンネルごとに加算することで、ミキシング後のデジタルオーディオ信号Ｃｊ（ｔ）（ｊ＝１，２，…，Ｎ）を生成する。なお、以下の説明において、入力チャンネルごとの時間信号であるデジタルオーディオ信号Ｔｉ（ｔ）を単にＴｉ、出力チャンネルごとの時間信号であるデジタルオーディオ信号Ｃｊ（ｔ）を単にＣｊと記載する。
【００４７】
このミキシング手段１０で行う処理は、“０”から“１”の範囲で正規化されたパンニング係数ａｊｉ（ｊは出力チャンネル、ｉは入力チャンネルの番号を示す）を用いると、出力信号であるデジタルオーディオ信号Ｃｊは、以下の（１）式のように表すことができる。
【００４８】
【数１】
【００４９】
また、以下の（２）式に示すように、デジタルオーディオ信号Ｔｉ，Ｃｊをそれぞれ行列Ｔ，Ｃで表し、パンニング係数ａｊｉをＮ行Ｋ列の行列（パンニング係数行列；変換行列）Ａで表すと、ミキシング手段１０は、以下の（３）式に示す行列演算を行うことに等しい。
【００５０】
【数２】
【００５１】
【数３】
【００５２】
このミキシング手段１０でミキシングされたデジタルオーディオ信号Ｃｊ（ｊ＝１，２，…，Ｎ）は、加算手段１２に出力される。
【００５３】
パイロット信号生成手段１１は、ミキシング手段１０において用いられたそれぞれのパンニング係数の大きさを振幅とし、それぞれのパンニング係数に予め定めた周波数を割り当てたパイロット信号を生成するものである。なお、パンニング係数に割り当てる周波数は、それ以上の周波数にはデジタルオーディオ信号の信号成分が存在しない予め定めた遮断周波数よりも高い周波数であって、デジタルオーディオ信号のサンプリング周波数のナイキスト周波数未満の周波数の範囲で予め定めておく。
【００５４】
すなわち、パイロット信号生成手段１１は、ミキシング手段１０でミキシングされたデジタルオーディオ信号Ｃｊ（ｊ＝１，２，…，Ｎ）ごとに、以下の（４）式に示すように、振幅をパンニング係数ａｊｉ（ｉ＝１，２，…，Ｋ）（より正確には、Ｋの値で正規化したパンニング係数ａｊｉ）とし、周波数をそれぞれのパンニング係数ａｊｉに予め定めた周波数ｆｊとした時刻ｔにおける正弦波信号ｐｊｉを生成する。
【００５５】
【数４】
【００５６】
なお、周波数ｆｊは、例えば、遮断周波数を２０ｋＨｚ、ナイキスト周波数（サンプリング周波数の１／２）を２４ｋＨｚとしたとき、２０ｋＨｚよりも高く、２４ｋＨｚ未満の周波数範囲で定めておく。例えば、ｆ１＝２０．２ｋＨｚ、ｆ２＝２０．４ｋＨｚ、ｆ３＝２０．６ｋＨｚのように予め定めた間隔で周波数を定めておく。
また、（４）式中、位相φｉは、“−π”から“π”までの間で任意の値を用いればよい。
【００５７】
そして、パイロット信号生成手段１１は、この（４）式の正弦波信号ｐｊｉを以下の（５）式に示すように、ｉ＝１からＫまで足し合わすことで、出力チャンネルに対応したデジタルオーディオ信号Ｃｊ（ｊ＝１，２，…，Ｎ）ごとのパイロット信号を生成する。
【００５８】
【数５】
【００５９】
このパイロット信号生成手段１１で生成されたパイロット信号は、加算手段１２に出力される。
【００６０】
加算手段１２は、ミキシング手段１０でミキシングされた出力チャンネルのデジタルオーディオ信号に対して、パイロット信号生成手段１１で生成されたパイロット信号を加算するものである。すなわち、加算手段１２は、ｊ番目の出力チャンネルのデジタルオーディオ信号Ｃｊ（ｊ＝１，２，…，Ｎ）に、前記（５）式で示したパイロット信号を加算する。この加算手段１２でパイロット信号が加算されたデジタルオーディオ信号Ｃｊｐ（ｊ＝１，２，…，Ｎ）は、ミキシング前のデジタルオーディオ信号を復元するための音源となり、図示を省略したハードディスク等の記憶手段に記憶、あるいは、伝送路を介して外部に出力される。
【００６１】
この加算手段１２で生成されたデジタルオーディオ信号Ｃｊｐ（ｊ＝１，２，…，Ｎ）は、図示を省略した音響再生装置（あるいは、その前処理を行う装置）において、高周波成分に付加されたパイロット信号を除去することで、再生信号として使用することができる。この場合、音響再生装置等（不図示）は、デジタルオーディオ信号Ｃｊｐ（ｊ＝１，２，…，Ｎ）に対して、パイロット信号を加算した高周波成分を遮断するローパスフィルタによって帯域制限を行えばよい。
なお、一般に、２０ｋＨｚを超える高周波成分は、人間の耳には聞こえないため、このデジタルオーディオ信号Ｃｊｐ（ｊ＝１，２，…，Ｎ）を、そのまま再生信号として使用することも可能である。
【００６２】
あるいは、オーディオ信号ミキシング装置１は、パイロット信号を加算する前の信号、すなわち、ミキシング手段１０によって生成されたデジタルオーディオ信号Ｃｊ（ｔ）（ｊ＝１，２，…，Ｎ）を、別経路で再生用のオーディオ信号として出力することとしてもよい。
【００６３】
ここで、図２を参照して、オーディオ信号ミキシング装置１が生成するパイロット信号が加算されたデジタルオーディオ信号Ｃｊｐの周波数分布について説明する。
図２は、オーディオ信号ミキシング装置１が生成するある出力チャンネルのデジタルオーディオ信号の周波数分布を示すグラフ図であって、縦軸は振幅、横軸は周波数を示している。なお、ここでは、オーディオ信号ミキシング装置１に入力されるデジタルオーディオ信号が、アナログ信号をローパスフィルタの遮断周波数によって帯域制限した後に、Ａ／Ｄ変換された信号であるとする。そして、遮断周波数を２０ｋＨｚ、Ａ／Ｄ変換のサンプリング周波数を４８ｋＨｚ（すなわち、ナイキスト周波数を２４ｋＨｚ）としたときの例を示している。
【００６４】
この図２に示すように、ローパスフィルタ（アンチエイリアシングフィルタ）の周波数特性によって、デジタルオーディオ信号は、２０ｋＨｚ以上の高周波成分が遮断される。
また、遮断周波数である２０ｋＨｚから、ナイキスト周波数である２４ｋＨｚまでの範囲に、当該デジタルオーディオ信号をミキシングする際に用いた入力チャンネルのデジタルオーディオ信号に対応したパンニング係数が予め定めた周波数ごとにパイロット信号として分布する。
【００６５】
このパンニング係数は、出力チャンネル（ミキシング後）のデジタルオーディオ信号から、入力チャンネル（ミキシング前）のデジタルオーディオ信号を復元するための情報として利用されることになる。なお、デジタルオーディオ信号の復元については、後で詳細に説明する。
【００６６】
以上説明した構成により、オーディオ信号ミキシング装置１は、デジタルオーディオ信号に、ミキシングに用いたパンニング係数の情報を付加することで、ミキシング前のデジタルオーディオ信号を復元可能に多チャンネルのオーディオ信号をミキシングすることができる。
【００６７】
また、オーディオ信号ミキシング装置１は、図示を省略したＣＰＵやメモリを搭載した一般的なコンピュータで実現することができる。このとき、オーディオ信号ミキシング装置１は、前記した各手段としてコンピュータを機能させるプログラム（オーディオ信号ミキシングプログラム）によって動作する。
【００６８】
なお、ここでは、入力されるデジタルオーディオ信号が、予め定めた高周波成分の領域に信号成分を有さない信号として説明したが、これは、オーディオ信号ミキシング装置１において、最初の音源からオーディオ信号のミキシングを行う場合である。すなわち、オーディオ信号ミキシング装置１においてミキシングを行った後のデジタルオーディオ信号に対して、再度、ミキシングを行う場合、オーディオ信号ミキシング装置１に入力されるデジタルオーディオ信号には、予め定めた高周波成分の領域にパイロット信号が付加されている。このように、オーディオ信号ミキシング装置１を多段に処理することが可能な点については、後で詳細に説明する。
【００６９】
〔オーディオ信号復元装置の構成〕
次に、図３を参照して、本発明の第１実施形態に係るオーディオ信号復元装置の構成について説明する。
【００７０】
オーディオ信号復元装置２は、ミキシングされた多チャンネルのオーディオ信号から、当該オーディオ信号に予め付加されているパンニング係数の情報に基づいて、ミキシング前のオーディオ信号を復元するものである。すなわち、オーディオ信号復元装置２は、オーディオ信号ミキシング装置１（図１参照）でミキシングされ、パンニング係数の情報がパイロット信号として加算されたデジタルオーディオ信号Ｃｊｐ（ｊ＝１，２，…，Ｎ）を、ミキシング前のデジタルオーディオ信号Ｔｉ（ｉ＝１，２，…，Ｋ）に復元するものである。
【００７１】
図３に示すように、オーディオ信号復元装置２は、ブロック切出手段２０と、帯域制限手段２１と、周波数解析手段２２、係数検出手段２３、逆ミキシング手段２４と、を備えている。
【００７２】
ブロック切出手段２０は、パンニング係数の情報がパイロット信号として加算されたチャンネルごとのデジタルオーディオ信号Ｃｊｐ（ｊ＝１，２，…，Ｎ）から、予め定めた一定時間長ごとのブロックで信号を切り出すものである。この時間長は、例えば、２０ｍｓとする。以降の処理においては、このブロック単位で処理が行われる。
このブロック切出手段２０で切り出されたチャンネルごとのデジタルオーディオ信号（ブロック信号）は、帯域制限手段２１および周波数解析手段２２に出力される。
【００７３】
帯域制限手段２１は、ブロック切出手段２０で切り出されたデジタルオーディオ信号（ブロック信号）から、予め定めた周波数（遮断周波数）以上の高周波成分を除去するものである。この帯域制限手段２１は、一般的なローパスフィルタで実現することができる。この帯域が制限された各チャンネルのデジタルオーディオ信号（ブロック信号）Ｃｊ（ｊ＝１，２，…，Ｎ）は、逆ミキシング手段２４に出力される。
【００７４】
なお、帯域制限手段２１における遮断周波数は、オーディオ信号ミキシング装置１（図１参照）において付加されたパイロット信号の周波数領域を遮断する周波数であればよい。例えば、オーディオ信号ミキシング装置１（図１参照）において、２０ＫＨｚ以上の周波数領域にパイロット信号を付加する場合、帯域制限手段２１は、２０ｋＨｚを遮断周波数とすればよい。
【００７５】
周波数解析手段２２は、ブロック切出手段２０で切り出されたチャンネルごとのデジタルオーディオ信号（ブロック信号）を、チャンネルごとに周波数解析するものである。
例えば、周波数解析手段２２は、デジタルオーディオ信号（ブロック信号）に対して、フーリエ変換を行うことで、時間信号であるデジタルオーディオ信号を、周波数領域で表された信号に変換する。このフーリエ変換の時間窓は、ハニング窓、ハミング窓等を用いることができる。なお、周波数解析手段２２は、一般的な周波数解析手法を実現するものであれば、その手法は限定されない。例えば、フーリエ変換以外にも、最大エントロピ法等を用いることもできる。
【００７６】
これによって、パイロット信号の周波数ごとに、パイロット信号として加算されているパンニング係数の大きさを示す振幅が求められることになる。この周波数解析された信号は、係数検出手段２３に出力される。
【００７７】
係数検出手段２３は、周波数解析手段２２で得られた周波数領域で表された信号から、パンニング係数を検出するものである。
この係数検出手段２３は、チャンネルごとに、周波数解析手段２２で得られた周波数領域で表された信号において、遮断周波数からサンプリング周波数の１／２（ナイキスト周波数）までの範囲の高周波成分から、前記（５）式のパイロット信号における一定の周波数間隔の振幅（すなわち、パンニング係数）を検出する。なお、遮断周波数、サンプリング周波数、および、パイロット信号の周波数間隔は、オーディオ信号ミキシング装置１（図１参照）と同一であり、既知であるものとする。
【００７８】
そして、係数検出手段２３は、正弦波信号ｐｊｉの振幅が、予め定めた閾値以下の場合、その値を“０”とみなす。そして、係数検出手段２３は、すべてのチャンネルｊ＝１，２，…，Ｎ）においてパンニング係数を検出し、パンニング係数を要素とするＫ′列の行列Ｘ（以下の（６）式）を求める。
【００７９】
【数６】
【００８０】
ここで、Ｋ′は、パイロット信号として付加されたパンニング係数の数であるため、Ｋとなる。
すなわち、係数検出手段２３は、この（６）式の行列Ｘにより、前記（２）式のＮ行Ｋ列のパンニング係数行列Ａのパンニング係数ａｊｉを検出できたことになる。
このように検出されたパンニング係数ａｊｉからなるパンニング係数行列Ａ（＝Ｘ）は、逆ミキシング手段２４に出力される。
【００８１】
なお、前記（２）式において、例えば、Ｋ列目のパンニング係数の値がすべて“０”であった場合、前記（６）式のＫ′の値は、（Ｋ−１）となってしまう。しかし、このように、Ｋ列目のパンニング係数の値がすべて“０”であることは現実的ではなく、通常、Ｋ′＝Ｋとなる。
【００８２】
もちろん、これを考慮して、係数検出手段２３は、パンニング係数検出中に逐次Ｋ′の値を記憶手段（不図示）に保持し、Ｋ′の値が前回のブロックにおける値を下回った場合、前記（６）式の行列Ｘにおいて、検出されなかったＫ′列までのパンニング係数の値を“０”とすればよい。逆に、Ｋ′の値が前回のブロックにおける値を上回った場合、係数検出手段２３は、その旨の警告を表示手段（不図示）に表示し、Ｋ′の最大値を一旦計測し、記憶手段（不図示）に保持する。そして、オーディオ信号復元装置２は、係数検出手段２３において、Ｋ′の値を保持しておいた最大値に固定して、再度、オーディオ信号の復元を行えばよい。
【００８３】
なお、このミキシング前のチャンネル数を示すＫの値は、オーディオ信号ミキシング装置１で生成されたデジタルオーディオ信号を多重化する際に、例えば、ＡＲＩＢ（電波産業会）のＢＴＡ Ｆ−１００２で規定されているＡＥＳ／ＥＢＵ（Audio Engineering Society / European Broadcasting Union）デジタル音声信号における付加データ（Auxiliary Data）の領域に多重化して、オーディオ信号復元装置２（図３参照）に通知することとしてもよい。
【００８４】
逆ミキシング手段２４は、帯域制限手段２１において帯域制限されたブロック単位のデジタルオーディオ信号Ｃｊ（ｊ＝１，２，…，Ｎ）を、係数検出手段２３で検出されたパンニング係数（パンニング係数行列Ａ（＝Ｘ））に基づいてミキシング前のデジタルオーディオ信号に変換するものである。すなわち、逆ミキシング手段２４は、前記（３）式の逆変換を行うことで、ミキシング前のデジタルオーディオ信号Ｔｉ（ｉ＝１，２，…，Ｋ）をブロック単位で復元する。
【００８５】
ただし、パンニング係数行列Ａ（＝Ｘ）は、一般に正方行列とは限らない。そこで、逆ミキシング手段２４は、パンニング係数行列Ａが正方行列であれば逆行列、正方行列でなければ擬似逆行列を用いて、以下の（７）式に示すように、ブロック単位にデジタルオーディオ信号Ｔｉ（ｉ＝１，２，…，Ｋ）を生成する。ここで、Ａｔは行列Ａの転置行列を表している。
【００８６】
【数７】
【００８７】
このように、逆ミキシング手段２４は、デジタルオーディオ信号から切り出されたブロック内において、パンニング係数が一定であるとみなすことで、行列演算によるデジタルオーディオ信号の復元を可能にしている。
【００８８】
そして、逆ミキシング手段２４は、ブロック単位で復元されたチャンネルごとの信号を、順次、チャンネルごとに出力する。これによって、チャンネルごとに、時間方向に連結され、復元されたデジタルオーディオ信号Ｔｉ（ｉ＝１，２，…，Ｋ）が、外部に出力されることになる。
【００８９】
以上説明した構成により、オーディオ信号復元装置２は、ミキシングに用いたパンニング係数の情報を付加されたデジタルオーディオ信号から、ミキシング前のデジタルオーディオ信号を復元することができる。
【００９０】
また、オーディオ信号復元装置２は、図示を省略したＣＰＵやメモリを搭載した一般的なコンピュータで実現することができる。このとき、オーディオ信号復元装置２は、前記した各手段としてコンピュータを機能させるプログラム（オーディオ信号復元プログラム）によって動作する。
【００９１】
〔オーディオ信号ミキシング装置の動作〕
次に、図４を参照（構成については適宜図１参照）して、本発明の第１実施形態に係るオーディオ信号ミキシング装置の動作について説明する。
なお、ここでは、オーディオ信号ミキシング装置１に入力されるデジタルオーディオ信号を生成する手順として、アナログ音源のオーディオ信号（アナログオーディオ信号）からデジタルオーディオ信号に変換するオーディオ信号変換装置（不図示）の動作を含めて説明する。
【００９２】
まず、オーディオ信号変換装置の帯域制限手段（不図示）が、アナログオーディオ信号に対してアンチエイリアシング処理を行う（ステップＳ１）。すなわち、オーディオ信号変換装置は、折り返し歪み除去のため、予め定めた遮断周波数以上の周波数成分を除去する。
【００９３】
そして、オーディオ信号変換装置のＡ／Ｄ変換手段（不図示）が、ステップＳ１でアンチエイリアシング処理が行われたアナログオーディオ信号に対して、予め定めたサンプリング周波数でＡ／Ｄ変換を行う（ステップＳ２）。
これによって、パンニング係数をパイロット信号として付加する領域が確保されたデジタルオーディオ信号が生成されることになる。
【００９４】
なお、このステップＳ１，Ｓ２は、パイロット信号の領域を確保した信号を、予めデジタルオーディオ信号として生成する場合は不要である。また、すでに、オーディオ信号ミキシング装置１においてミキシングされた後のデジタルオーディオ信号を再ミキシングする場合も不要である。
【００９５】
このように処理されたデジタルオーディオ信号を入力したオーディオ信号ミキシング装置１は、ミキシング手段１０によって、入力チャンネルごとのデジタルオーディオ信号Ｔｉ（ｉ＝１，２，…，Ｋ）を、パンニング係数に応じた振幅で出力チャンネルに割り当て、出力チャンネルごとに加算することで、ミキシング後のデジタルオーディオ信号Ｃｊ（ｊ＝１，２，…，Ｎ）を生成する（ステップＳ３）。
【００９６】
そして、オーディオ信号ミキシング装置１は、パイロット信号生成手段１１によって、ステップＳ３で用いたパンニング係数を含んだパイロット信号を出力チャンネルごとに生成する（ステップＳ４）。このとき、パイロット信号生成手段１１は、パンニング係数の大きさを振幅で表し、それぞれのパンニング係数に予め定めた周波数を割り当てたパイロット信号を出力チャンネルごとに生成する（ステップＳ４）。
【００９７】
そして、オーディオ信号ミキシング装置１は、加算手段１２によって、ステップＳ３で生成されたデジタルオーディオ信号Ｃｊ（ｊ＝１，２，…，Ｎ）に対して、ステップＳ４で生成された出力チャンネルごとのパイロット信号を加算することで、デジタルオーディオ信号Ｃｊｐ（ｊ＝１，２，…，Ｎ）を生成する（ステップＳ５）。
【００９８】
以上の動作によって、オーディオ信号ミキシング装置１は、デジタルオーディオ信号をミキシングするとともに、ミキシング後の信号に、ミキシング前のデジタルオーディオ信号を復元することが可能なように、パンニング係数の情報を付加することができる。
【００９９】
〔オーディオ信号復元装置の動作〕
次に、図５を参照（構成については適宜図３参照）して、本発明の第１実施形態に係るオーディオ信号復元装置の動作について説明する。
なお、このオーディオ信号復元装置２に入力されるデジタルオーディオ信号は、オーディオ信号ミキシング装置１（図１参照）でミキシングされたデジタルオーディオ信号である。
【０１００】
まず、オーディオ信号復元装置２は、ブロック切出手段２０によって、入力チャンネルごとに、デジタルオーディオ信号Ｃｊｐ（ｊ＝１，２，…，Ｎ）から、予め定めた一定時間長ごとのブロックに信号（ブロック信号）を切り出す（ステップＳ１０）。
【０１０１】
そして、オーディオ信号復元装置２は、周波数解析手段２２によって、ステップＳ１０で切り出されたデジタルオーディオ信号（ブロック信号）を、チャンネルごとに周波数解析（例えば、フーリエ変換）する（ステップＳ１１）。これによって、パイロット信号の周波数ごとに、パイロット信号として加算されているパンニング係数の大きさを示す振幅が求められることになる。
【０１０２】
そして、オーディオ信号復元装置２は、係数検出手段２３によって、ステップＳ１１で得られた周波数領域で表された信号において、遮断周波数からサンプリング周波数の１／２（ナイキスト周波数）までの範囲の高周波成分から、一定の周波数間隔に配置された正弦波信号の振幅（すなわち、パンニング係数）を検出し、パンニング係数行列を生成する（ステップＳ１２）。
【０１０３】
すなわち、係数検出手段２３は、前記（５）式のパイロット信号において、一定の周波数間隔の振幅（すなわち、パンニング係数）を検出する。そして、係数検出手段２３は、前記（２）式のパンニング係数行列Ａに相当する行列Ｘを前記（６）式により生成する。
【０１０４】
また、オーディオ信号復元装置２は、帯域制限手段２１によって、ステップＳ１０で切り出されたデジタルオーディオ信号（ブロック信号）に対して、予め定めた周波数（ステップＳ１（図４参照）における遮断周波数に相当）以上の高周波成分を除去する（ステップＳ１３）。これによって、デジタルオーディオ信号（ブロック信号）に付加されているパイロット信号が除去されることになる。
【０１０５】
そして、オーディオ信号復元装置２は、逆ミキシング手段２４によって、ステップＳ１３で生成されたデジタルオーディオ信号（ブロック信号）を、ステップＳ１２で生成されたパンニング係数（パンニング係数行列）を用いた逆行列または擬似逆行列（前記（７）式参照）により、ミキシング前の信号に復元する（ステップＳ１４）。
以上の動作によって、オーディオ信号復元装置２は、オーディオ信号ミキシング装置１でミキシングされた元の音源となるデジタルオーディオ信号を復元することができる。
【０１０６】
［第２実施形態］
〔オーディオ信号ミキシング装置の構成〕
次に、図６を参照して、本発明の第２実施形態に係るオーディオ信号ミキシング装置の構成について説明する。
【０１０７】
オーディオ信号ミキシング装置１Ｂは、ミキシングパラメータであるパンニング係数と、入力チャンネルごとのパラメータとに基づいて、多チャンネルのデジタルオーディオ信号をミキシングするものである。
【０１０８】
図１で説明したオーディオ信号ミキシング装置１は、ミキシングを行う際にパンニング係数のみを考慮したが、オーディオ信号ミキシング装置１Ｂは、さらに、入力チャンネルごとに調整を行うパラメータを考慮して、元のデジタルオーディオ信号を復元可能にミキシングする点が異なっている。
【０１０９】
図６に示すように、オーディオ信号ミキシング装置１Ｂは、パラメータ調整手段１３と、ミキシング手段１０と、パイロット信号生成手段１１Ｂと、加算手段１２と、を備えている。ミキシング手段１０および加算手段１２は、図１で説明したオーディオ信号ミキシング装置１と同一の構成であるため、同一の符号を付して説明を省略する。
【０１１０】
パラメータ調整手段１３は、入力されるデジタルオーディオ信号を、チャンネルごとに個別に、入力されるパラメータ（重み係数）に基づいて信号のレベルを調整するものである。具体的には、パラメータ調整手段１３は、パラメータとして例えばゲイン（利得）によって、チャンネルごとの個々のデジタルオーディオ信号の信号レベルを調整する。なお、ここでは、チャンネルごとのパラメータ（重み係数）ｇｉ（ｉ＝１，２，…，Ｋ）は、予め“０”から“１”の範囲で正規化されているものとする。
【０１１１】
このパラメータ調整手段１３は、入力チャンネルごとのデジタルオーディオ信号Ｔｉ（ｉ＝１，２，…，Ｋ）に、それぞれ個別に、重み係数ｇｉ（ｉ＝１，２，…，Ｋ）を乗算し、デジタルオーディオ信号Ｓｉ（ｉ＝１，２，…，Ｋ）として、ミキシング手段１０に出力する。
【０１１２】
パイロット信号生成手段１１Ｂは、入力チャンネルごとのデジタルオーディオ信号を調整したパラメータ（重み係数）と、ミキシング手段１０において用いられたそれぞれのパンニング係数との積を振幅とし、それぞれのパンニング係数に応じて予め定めた周波数を割り当てたパイロット信号を生成するものである。
【０１１３】
ここで、数式を用いて、パイロット信号生成手段１１Ｂが生成するパイロット信号について説明する。
パラメータ調整手段１３で調整されたデジタルオーディオ信号Ｓｉ（ｉ＝１，２，…，Ｋ）は、入力チャンネルごとのデジタルオーディオ信号Ｔｉ（ｉ＝１，２，…，Ｋ）に、“０”から“１”の範囲で正規化された重み係数ｇｉ（ｉ＝１，２，…，Ｋ）を乗算したもので、以下の（８）式で表すことができる。
【０１１４】
【数８】
【０１１５】
これを、前記（１）式に当てはめると、ミキシング手段１０でミキシングされたデジタルオーディオ信号Ｃｊ（ｊ＝１，２，…，Ｎ）は、以下の（９）式で表すことができる。
【０１１６】
【数９】
【０１１７】
この（９）式におけるａｊｉｇｉをひとつの係数とみなせば、パイロット信号生成手段１１Ｂは、前記（４）式と同様に、以下の（１０）式に示すように、振幅をパンニング係数ａｊｉに重み係数ｇｉを乗算した係数とし、周波数をそれぞれのパンニング係数ａｊｉに予め定めた周波数ｆｊとした時刻ｔにおける正弦波信号ｐｊｉを生成することになる。
【０１１８】
【数１０】
【０１１９】
そして、パイロット信号生成手段１１Ｂは、この（１０）式の正弦波信号ｐｊｉを以下の（１１）式に示すように、ｉ＝１からＫまで足し合わすことで、デジタルオーディオ信号Ｃｊ（ｊ＝１，２，…，Ｎ）ごとのパイロット信号を生成する。
【０１２０】
【数１１】
【０１２１】
このパイロット信号生成手段１１Ｂで生成されたパイロット信号は、加算手段１２に出力される。
以上説明した構成により、オーディオ信号ミキシング装置１Ｂは、デジタルオーディオ信号に、ミキシングに用いたパンニング係数とパラメータの情報を付加することで、ミキシング前のデジタルオーディオ信号を復元可能に多チャンネルのオーディオ信号をミキシングすることができる。
【０１２２】
また、オーディオ信号ミキシング装置１Ｂは、図示を省略したＣＰＵやメモリを搭載した一般的なコンピュータで実現することができる。このとき、オーディオ信号ミキシング装置１は、前記した各手段としてコンピュータを機能させるプログラム（オーディオ信号ミキシングプログラム）によって動作する。
【０１２３】
〔オーディオ信号復元装置の構成〕
次に、本発明の第２実施形態に係るオーディオ信号ミキシング装置１Ｂ（図６参照）によってミキシングされたデジタルオーディオ信号から、ミキシング前のデジタルオーディオ信号を復元するオーディオ信号復元装置の構成について説明する。
【０１２４】
オーディオ信号ミキシング装置１Ｂ（図６参照）に対応するオーディオ信号復元装置は、図３で説明したオーディオ信号復元装置２と同じ構成で実現することができる。
なお、オーディオ信号ミキシング装置１Ｂ（図６参照）のパイロット信号生成手段１１Ｂでは、パイロット信号として、前記（１０）式に示したように、パンニング係数ａｊｉに重み係数ｇｉを乗算した係数によって正弦波信号ｐｊｉの振幅が特定されている。
【０１２５】
このとき、係数検出手段２３において検出される係数は、パンニング係数のみではなく、パンニング係数ａｊｉに重み係数ｇｉを乗算した値となる。
すなわち、係数検出手段２３が逆ミキシング手段２４に出力する係数の行列は、前記（６）式の代わりに、以下の（１２）式の行列Ｘとなる。
【０１２６】
【数１２】
【０１２７】
そして、逆ミキシング手段２４が、この（１２）式に示した行列Ｘを係数行列（変換行列）Ａとして、前記（７）式の変換を行うことで、ミキシング前のデジタルオーディオ信号Ｔｉ（ｉ＝１，２，…，Ｋ）をブロック単位で復元する。
このように、オーディオ信号復元装置２は、ミキシングに用いたパンニング係数と重み係数の情報を付加されたデジタルオーディオ信号から、ミキシング前のデジタルオーディオ信号を復元することができる。
【０１２８】
〔オーディオ信号ミキシング装置の動作〕
次に、図７を参照（構成については適宜図６参照）して、本発明の第２実施形態に係るオーディオ信号ミキシング装置の動作について説明する。
なお、基本的な動作は、図４で説明したオーディオ信号ミキシング装置１（図１参照）と同じであるため、異なる動作についてのみ説明する。
【０１２９】
ステップＳ１，Ｓ２によって、パイロット信号を付加する領域が確保されたデジタルオーディオ信号に対し、オーディオ信号ミキシング装置１Ｂは、パラメータ調整手段１３によって、各チャンネルのデジタルオーディオ信号を、入力されるパラメータ（重み係数）に基づいて調整する（ステップＳ３Ａ）。例えば、パラメータ調整手段１３は、入力チャンネルごとのデジタルオーディオ信号Ｔｉ（ｉ＝１，２，…，Ｋ）に、それぞれ個別に、ゲインを“０”から“１”の範囲で予め正規化したパラメータである重み係数ｇｉ（ｉ＝１，２，…，Ｋ）を乗算することで、ゲイン調整を行う。
【０１３０】
そして、パンニング係数に基づいてデジタルオーディオ信号をミキシングするステップＳ３の動作の後、オーディオ信号ミキシング装置１Ｂは、パイロット信号生成手段１１Ｂによって、ステップＳ３で用いたパンニング係数に、ステップＳ３Ａで用いたパラメータ（重み係数）を乗算した値を振幅で表し、それぞれのパンニング係数に予め定めた周波数を割り当てたパイロット信号をチャンネルごとに生成する（ステップＳ４Ｂ）。
以降の動作は、オーディオ信号ミキシング装置１（図１参照）と同じである。
【０１３１】
〔オーディオ信号復元装置の動作〕
次に、図８を参照（構成については適宜図３参照）して、本発明の第２実施形態に係るオーディオ信号ミキシング装置１Ｂ（図６参照）によってミキシングされたデジタルオーディオ信号から、ミキシング前のデジタルオーディオ信号を復元するオーディオ信号復元装置の動作について説明する。
なお、この動作は、途中で生成される情報（係数）が異なるだけで、図５で説明した動作と同じであるため、異なる情報を処理する動作についてのみ説明する。
【０１３２】
図５のステップＳ１２では、係数検出手段２３によって、ステップＳ１１で得られた周波数領域で表された信号において、高周波成分から、一定の周波数間隔の正弦波信号の振幅により、パンニング係数を検出し、パンニング係数行列を生成した。しかし、この第２実施形態においては、正弦波信号の振幅により検出されるのが、パンニング係数に重み係数ｇｉを乗算した係数であって、係数検出手段２３は、その係数からなる係数行列を生成する（ステップＳ１２Ｂ）。
【０１３３】
また、図５のステップＳ１４では、デジタルオーディオ信号（ブロック信号）を、ステップＳ１２で生成されたパンニング係数行列を用いてミキシング前の信号に復元した。しかし、この第２実施形態においては、ステップＳ１２Ｂで生成された係数行列を用いてミキシング前の信号に復元する（ステップＳ１４Ｂ）。
【０１３４】
このように、オーディオ信号ミキシング装置１Ｂ（図６参照）によってミキシングされたデジタルオーディオ信号は、第１実施形態で説明したオーディオ信号復元装置２によって、ミキシング前のデジタルオーディオ信号に復元することができる。
【０１３５】
以上、本発明の実施形態について説明したが、本発明は、オーディオ信号ミキシング装置１，１Ｂによって、１回のミキシングによって生成されたデジタルオーディオ信号を、オーディオ信号復元装置２でミキシング前のデジタルオーディオ信号に復元することができるのみならず、多段階のミキシング処理を行った場合であっても、元のデジタルオーディオ信号に復元することができる。
【０１３６】
［多段ミキシングされたデジタルオーディオ信号の復元について］
以下、オーディオ信号ミキシング装置１，１Ｂによって、複数のミキシングが行われた場合でも、オーディオ信号復元装置２において、元の音源であるデジタルオーディオ信号が復元可能であることを、数式を用いて説明する。
【０１３７】
ここでは、説明を簡略化するため、図９（ａ）に示すように、ミキシング処理として、オーディオ信号ミキシング装置１によって、Ｋチャンネルのデジタルオーディオ信号Ｔｉ（ｉ＝１，２，…，Ｋ）が、Ｎチャンネルのデジタルオーディオ信号Ｃｊｐ（ｊ＝１，２，…，Ｎ）にミキシングされた後、Ｍチャンネルのデジタルオーディオ信号Ｄｍｐ（ｍ＝１，２，…，Ｍ）に再ミキシングされたものとする。
【０１３８】
ここで、再ミキシングにおけるパンニング係数をｂｍｊ（ｍ＝１，２，…，Ｍ、ｊ＝１，２，…，Ｎ）とすると、デジタルオーディオ信号Ｃｊは、前記（１）式で表されることから、再ミキシングされたデジタルオーディオ信号Ｄｍは、以下の（１３）式のように表すことができる。
【０１３９】
【数１３】
【０１４０】
すなわち、以下の（１４）式に示すように、デジタルオーディオ信号Ｔｉ，Ｄｍをそれぞれ行列Ｔ，Ｄで表し、Ｍ行Ｋ列の係数行列をＹとしたとき、以下の（１５）式の関係が成り立つ。
【０１４１】
【数１４】
【０１４２】
【数１５】
【０１４３】
また、再ミキシングにより、すでに付加されているパイロット信号は、以下の（１６）式に示すように混合される。
【０１４４】
【数１６】
【０１４５】
これは、再ミキシング後の出力信号であるデジタルオーディオ信号Ｄｍに、以下の（１７）式に示す新たなパイロット信号が埋め込まれたことに等しい。
【０１４６】
【数１７】
【０１４７】
また、前記（１６）式に示すように、ｐｍｉの振幅は、前記（１４）式の係数行列Ｙの各要素に比例したものとなる。
よって、第１実施形態で説明した前記（７）式と同様に、オーディオ信号復元装置２の逆ミキシング手段２４によって、前記（１５）式から、係数行列Ｙの逆行列または擬似逆行列を用いた逆変換を行うことで、デジタルオーディオ信号Ｔｉ（ｉ＝１，２，…，Ｋ）を復元することができる。
【０１４８】
このように、図９（ｂ）に示すように、図９（ａ）において再ミキシングされたＭチャンネルのデジタルオーディオ信号Ｄｍｐ（ｍ＝１，２，…，Ｍ）は、オーディオ信号復元装置２によって、元のＫチャンネルのデジタルオーディオ信号Ｔｉ（ｉ＝１，２，…，Ｋ）に復元されることになる。
【０１４９】
以上、オーディオ信号ミキシング装置１が２回のミキシングを行った場合であっても、オーディオ信号復元装置２が元のデジタルオーディオ信号を復元可能であることを、数式を用いて説明した。しかし、このミキシング回数は、２回に限定されるものではない。
【０１５０】
すなわち、オーディオ信号ミキシング装置１において、３回以上デジタルオーディオ信号がミキシングされる場合であっても、前記（１６）式に示すように、振幅の大きさが変化するだけで、前記（１５）式に示した関係が成立するため、１回の復元処理によって、元のデジタルオーディオ信号を復元することができる。
【０１５１】
また、ここでは、パンニング係数のみを考慮したが、第２実施形態で説明したように、チャンネルごとに個別のパラメータ（ゲイン）を設定した場合であっても、前記（１２）式で示したように、係数行列の各要素にパラメータが乗算されているだけであるため、前記（１５）式から、元のデジタルオーディオ信号を復元する際には影響がない。
【０１５２】
このように、本発明は、オーディオ信号ミキシング装置１，１Ｂにおいて、デジタルオーディオ信号をミキシングする際に、パンニング係数を含んだ信号を順次付加することで、オーディオ信号復元装置２において、１回の復元処理で元のデジタルオーディオ信号を復元することができる。
【符号の説明】
【０１５３】
１ オーディオ信号ミキシング装置
１０ ミキシング手段
１１ パイロット信号生成手段
１２ 加算手段
１３ パラメータ調整手段
２ オーディオ信号復元装置
２０ ブロック切出手段
２１ 帯域制限手段
２２ 周波数解析手段
２３ 係数検出手段
２４ 逆ミキシング手段
【特許請求の範囲】
【請求項１】
複数の入力チャンネルのデジタルオーディオ信号をミキシングするとともに、ミキシング前のデジタルオーディオ信号に復元可能とする信号を、ミキシング後の出力チャンネルのデジタルオーディオ信号に付加するオーディオ信号ミキシング装置であって、
前記複数の入力チャンネルに対してそれぞれ割り当てられた出力チャンネルごとのデジタルオーディオ信号の強度を示すパンニング係数に基づいて、前記入力チャンネルのデジタルオーディオ信号をミキシングするミキシング手段と、
前記出力チャンネルごとに、当該出力チャンネルに割り当てられた前記入力チャンネルのパンニング係数を、予め定めた周波数以上であって前記入力チャンネルごとに異なる予め定めた周波数に割り当て、当該パンニング係数の大きさを振幅としたパイロット信号を生成するパイロット信号生成手段と、
このパイロット信号生成手段で生成された出力チャンネルごとのパイロット信号を、前記ミキシング手段でミキシングされた出力チャンネルのデジタルオーディオ信号に加算する加算手段と、
を備えることを特徴とするオーディオ信号ミキシング装置。
【請求項２】
前記入力チャンネルのデジタルオーディオ信号は、音源であるアナログオーディオ信号をアンチエイリアシングフィルタの遮断周波数でフィルタリングした後に、予め定めたサンプリング周波数でデジタル信号に変換された信号であって、
前記パイロット信号生成手段は、前記遮断周波数以上で、かつ、前記サンプリング周波数の２分の１の周波数未満の周波数帯域に、前記パンニング係数を割り当てることを特徴とする請求項１に記載のオーディオ信号ミキシング装置。
【請求項３】
前記入力チャンネルに対応するデジタルオーディオ信号を個別に調整するパラメータによって、当該デジタルオーディオ信号のレベルを調整するパラメータ調整手段を、前記ミキシング手段の前段に備え、
前記パイロット信号生成手段が、前記パラメータ調整手段で用いた入力チャンネルごとのパラメータを、当該入力チャンネルに対応した前記パンニング係数に乗算することを特徴とする請求項１または請求項２に記載のオーディオ信号ミキシング装置。
【請求項４】
複数の入力チャンネルのデジタルオーディオ信号をミキシングするとともに、ミキシング前のデジタルオーディオ信号に復元可能とする信号を、ミキシング後の出力チャンネルのデジタルオーディオ信号に付加するために、オーディオ信号ミキシング装置のコンピュータを、
前記複数の入力チャンネルに対してそれぞれ割り当てられた出力チャンネルごとのデジタルオーディオ信号の強度を示すパンニング係数に基づいて、前記入力チャンネルのデジタルオーディオ信号をミキシングするミキシング手段、
前記出力チャンネルごとに、当該出力チャンネルに割り当てられた前記入力チャンネルのパンニング係数を、予め定めた周波数以上であって前記入力チャンネルごとに異なる予め定めた周波数に割り当て、当該パンニング係数の大きさを振幅としたパイロット信号を生成するパイロット信号生成手段、
このパイロット信号生成手段で生成された出力チャンネルごとのパイロット信号を、前記ミキシング手段でミキシングされた出力チャンネルのデジタルオーディオ信号に加算する加算手段、
として機能させることを特徴とするオーディオ信号ミキシングプログラム。
【請求項５】
複数の入力チャンネルに対してそれぞれ割り当てられた出力チャンネルごとのデジタルオーディオ信号の強度を示すパンニング係数に基づいて前記入力チャンネルのデジタルオーディオ信号をミキシングする際に、前記パンニング係数を予め定めた周波数以上であって前記入力チャンネルごとに異なる予め定めた周波数に割り当て、当該パンニング係数の大きさを振幅としたパイロット信号を前記出力チャンネルのデジタルオーディオ信号に加算することで生成されたミキシング後のデジタルオーディオ信号から、ミキシング前の信号を復元するオーディオ信号復元装置であって、
前記ミキシング後のデジタルオーディオ信号から、予め定めた一定時間長ごとのブロックで信号を切り出すブロック切出手段と、
このブロック切出手段で切り出されたブロックごとに、前記パイロット信号が加算された周波数領域の信号を除去する帯域制限手段と、
前記ブロック切出手段で切り出されたブロックの周波数解析を行う周波数解析手段と、
この周波数解析手段で解析された周波数のうちで、予め定めた周波数以上の振幅から、周波数ごとに予め割り当てられている前記パンニング係数を検出する係数検出手段と、
この係数検出手段で検出されたパンニング係数に基づいて、前記帯域制限手段でパイロット信号が除去された信号に対して、前記ミキシングの逆変換を行うことで、前記ブロックごとに、前記ミキシング前のデジタルオーディオ信号を復元する逆ミキシング手段と、
を備えることを特徴とするオーディオ信号復元装置。
【請求項６】
前記逆ミキシング手段は、前記係数検出手段で検出されたパンニング係数を要素とする前記入力チャンネルから前記出力チャンネルへの変換行列において、
当該変換行列が正方行列であれば当該変換行列の逆行列を用い、当該変換行列が正方行列でなければ当該変換行列の擬似逆行列を用いて、前記ミキシング前のデジタルオーディオ信号を逆変換して復元することを特徴とする請求項５に記載のオーディオ信号復元装置。
【請求項７】
複数の入力チャンネルに対してそれぞれ割り当てられた出力チャンネルごとのデジタルオーディオ信号の強度を示すパンニング係数に基づいて前記入力チャンネルのデジタルオーディオ信号をミキシングする際に、前記パンニング係数を予め定めた周波数以上であって前記入力チャンネルごとに異なる予め定めた周波数に割り当て、当該パンニング係数の大きさを振幅としたパイロット信号を前記出力チャンネルのデジタルオーディオ信号に加算することで生成されたミキシング後のデジタルオーディオ信号から、ミキシング前の信号を復元するために、オーディオ信号復元装置のコンピュータを、
前記ミキシング後のデジタルオーディオ信号から、予め定めた一定時間長ごとのブロックで信号を切り出すブロック切出手段、
このブロック切出手段で切り出されたブロックごとに、前記パイロット信号が加算された周波数領域の信号を除去する帯域制限手段、
前記ブロック切出手段で切り出されたブロックの周波数解析を行う周波数解析手段、
この周波数解析手段で解析された周波数のうちで、予め定めた周波数以上の振幅から、周波数ごとに予め割り当てられている前記パンニング係数を検出する係数検出手段、
この係数検出手段で検出されたパンニング係数に基づいて、前記帯域制限手段でパイロット信号が除去された信号に対して、前記ミキシングの逆変換を行うことで、前記ブロックごとに、前記ミキシング前のデジタルオーディオ信号を復元する逆ミキシング手段、
として機能させることを特徴とするオーディオ信号復元プログラム。
【請求項１】
複数の入力チャンネルのデジタルオーディオ信号をミキシングするとともに、ミキシング前のデジタルオーディオ信号に復元可能とする信号を、ミキシング後の出力チャンネルのデジタルオーディオ信号に付加するオーディオ信号ミキシング装置であって、
前記複数の入力チャンネルに対してそれぞれ割り当てられた出力チャンネルごとのデジタルオーディオ信号の強度を示すパンニング係数に基づいて、前記入力チャンネルのデジタルオーディオ信号をミキシングするミキシング手段と、
前記出力チャンネルごとに、当該出力チャンネルに割り当てられた前記入力チャンネルのパンニング係数を、予め定めた周波数以上であって前記入力チャンネルごとに異なる予め定めた周波数に割り当て、当該パンニング係数の大きさを振幅としたパイロット信号を生成するパイロット信号生成手段と、
このパイロット信号生成手段で生成された出力チャンネルごとのパイロット信号を、前記ミキシング手段でミキシングされた出力チャンネルのデジタルオーディオ信号に加算する加算手段と、
を備えることを特徴とするオーディオ信号ミキシング装置。
【請求項２】
前記入力チャンネルのデジタルオーディオ信号は、音源であるアナログオーディオ信号をアンチエイリアシングフィルタの遮断周波数でフィルタリングした後に、予め定めたサンプリング周波数でデジタル信号に変換された信号であって、
前記パイロット信号生成手段は、前記遮断周波数以上で、かつ、前記サンプリング周波数の２分の１の周波数未満の周波数帯域に、前記パンニング係数を割り当てることを特徴とする請求項１に記載のオーディオ信号ミキシング装置。
【請求項３】
前記入力チャンネルに対応するデジタルオーディオ信号を個別に調整するパラメータによって、当該デジタルオーディオ信号のレベルを調整するパラメータ調整手段を、前記ミキシング手段の前段に備え、
前記パイロット信号生成手段が、前記パラメータ調整手段で用いた入力チャンネルごとのパラメータを、当該入力チャンネルに対応した前記パンニング係数に乗算することを特徴とする請求項１または請求項２に記載のオーディオ信号ミキシング装置。
【請求項４】
複数の入力チャンネルのデジタルオーディオ信号をミキシングするとともに、ミキシング前のデジタルオーディオ信号に復元可能とする信号を、ミキシング後の出力チャンネルのデジタルオーディオ信号に付加するために、オーディオ信号ミキシング装置のコンピュータを、
前記複数の入力チャンネルに対してそれぞれ割り当てられた出力チャンネルごとのデジタルオーディオ信号の強度を示すパンニング係数に基づいて、前記入力チャンネルのデジタルオーディオ信号をミキシングするミキシング手段、
前記出力チャンネルごとに、当該出力チャンネルに割り当てられた前記入力チャンネルのパンニング係数を、予め定めた周波数以上であって前記入力チャンネルごとに異なる予め定めた周波数に割り当て、当該パンニング係数の大きさを振幅としたパイロット信号を生成するパイロット信号生成手段、
このパイロット信号生成手段で生成された出力チャンネルごとのパイロット信号を、前記ミキシング手段でミキシングされた出力チャンネルのデジタルオーディオ信号に加算する加算手段、
として機能させることを特徴とするオーディオ信号ミキシングプログラム。
【請求項５】
複数の入力チャンネルに対してそれぞれ割り当てられた出力チャンネルごとのデジタルオーディオ信号の強度を示すパンニング係数に基づいて前記入力チャンネルのデジタルオーディオ信号をミキシングする際に、前記パンニング係数を予め定めた周波数以上であって前記入力チャンネルごとに異なる予め定めた周波数に割り当て、当該パンニング係数の大きさを振幅としたパイロット信号を前記出力チャンネルのデジタルオーディオ信号に加算することで生成されたミキシング後のデジタルオーディオ信号から、ミキシング前の信号を復元するオーディオ信号復元装置であって、
前記ミキシング後のデジタルオーディオ信号から、予め定めた一定時間長ごとのブロックで信号を切り出すブロック切出手段と、
このブロック切出手段で切り出されたブロックごとに、前記パイロット信号が加算された周波数領域の信号を除去する帯域制限手段と、
前記ブロック切出手段で切り出されたブロックの周波数解析を行う周波数解析手段と、
この周波数解析手段で解析された周波数のうちで、予め定めた周波数以上の振幅から、周波数ごとに予め割り当てられている前記パンニング係数を検出する係数検出手段と、
この係数検出手段で検出されたパンニング係数に基づいて、前記帯域制限手段でパイロット信号が除去された信号に対して、前記ミキシングの逆変換を行うことで、前記ブロックごとに、前記ミキシング前のデジタルオーディオ信号を復元する逆ミキシング手段と、
を備えることを特徴とするオーディオ信号復元装置。
【請求項６】
前記逆ミキシング手段は、前記係数検出手段で検出されたパンニング係数を要素とする前記入力チャンネルから前記出力チャンネルへの変換行列において、
当該変換行列が正方行列であれば当該変換行列の逆行列を用い、当該変換行列が正方行列でなければ当該変換行列の擬似逆行列を用いて、前記ミキシング前のデジタルオーディオ信号を逆変換して復元することを特徴とする請求項５に記載のオーディオ信号復元装置。
【請求項７】
複数の入力チャンネルに対してそれぞれ割り当てられた出力チャンネルごとのデジタルオーディオ信号の強度を示すパンニング係数に基づいて前記入力チャンネルのデジタルオーディオ信号をミキシングする際に、前記パンニング係数を予め定めた周波数以上であって前記入力チャンネルごとに異なる予め定めた周波数に割り当て、当該パンニング係数の大きさを振幅としたパイロット信号を前記出力チャンネルのデジタルオーディオ信号に加算することで生成されたミキシング後のデジタルオーディオ信号から、ミキシング前の信号を復元するために、オーディオ信号復元装置のコンピュータを、
前記ミキシング後のデジタルオーディオ信号から、予め定めた一定時間長ごとのブロックで信号を切り出すブロック切出手段、
このブロック切出手段で切り出されたブロックごとに、前記パイロット信号が加算された周波数領域の信号を除去する帯域制限手段、
前記ブロック切出手段で切り出されたブロックの周波数解析を行う周波数解析手段、
この周波数解析手段で解析された周波数のうちで、予め定めた周波数以上の振幅から、周波数ごとに予め割り当てられている前記パンニング係数を検出する係数検出手段、
この係数検出手段で検出されたパンニング係数に基づいて、前記帯域制限手段でパイロット信号が除去された信号に対して、前記ミキシングの逆変換を行うことで、前記ブロックごとに、前記ミキシング前のデジタルオーディオ信号を復元する逆ミキシング手段、
として機能させることを特徴とするオーディオ信号復元プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１３−１７０２２（Ｐ２０１３−１７０２２Ａ）
【公開日】平成２５年１月２４日（２０１３．１．２４）
【国際特許分類】
【出願番号】特願２０１１−１４８２４５（Ｐ２０１１−１４８２４５）
【出願日】平成２３年７月４日（２０１１．７．４）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
【公開日】平成２５年１月２４日（２０１３．１．２４）
【国際特許分類】
【出願日】平成２３年７月４日（２０１１．７．４）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
[ Back to top ]