ダウンミックスオーディオ信号をアップミックスするためのアップミキサー、方法、および、コンピュータ・プログラム
一つ以上のアップミックスされたオーディオチャンネルを表しているアップミックスされたオーディオ信号にダウンミックスオーディオ信号をアップミックスするためのアップミキサーは、アップミックスされたオーディオ信号を得るために、ダウンミックスオーディオ信号をアップミックスするためにアップミキシングパラメータを適用するように構成されたパラメータ適用器を含む。パラメータ適用器は、非相関信号を位相シフトに修正されないままにする一方で、ダウンミックスオーディオ信号の位相シフトされたバージョンを得るために位相シフトをダウンミックスオーディオ信号に適用するように構成される。パラメータ適用器は、アップミックスされたオーディオ信号を得るためにダウンミックスオーディオ信号の位相シフトされたバージョンを非相関信号と結合するように更に構成される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明による実施形態は、一つ以上のアップミックスされたオーディオチャンネルを表しているアップミックスされたオーディオ信号にダウンミックスオーディオ信号をアップミックスするためのアップミキサーに関する。本発明によるいくつかの実施形態は、ダウンミックスオーディオ信号をアップミックスするための方法に、そして、コンピュータ・プログラムに関する。
【０００２】
本発明によるいくつかの実施形態は、パラメトリックマルチチャンネルオーディオ符号化のための改善された位相処理に関する。
【背景技術】
【０００３】
以下に、短い概要が与えられ、そして、本発明の背景が説明される。パラメトリックオーディオ符号化の領域における最近の開発は、補助情報ストリームを加えた１つ（又はそれ以上）のダウンミックスチャンネルにマルチチャンネルオーディオ信号（例えば５．１）を一緒に符号化するための技術を供給する。これらの技術は、バイノーラルキュー符号化（Ｂｉｎａｕｒａｌ Ｃｕｅ Ｃｏｄｉｎｇ）、パラメトリックステレオ（Ｐａｒａｍｅｔｒｉｃ Ｓｔｅｒｅｏ）およびＭＰＥＧサラウンド（ＭＰＥＧ Ｓｕｒｒｏｕｎｄ）などとして知られる。
【０００４】
例えば参照［１］［２］［３］［４］［５］などの多くの刊行物は、いわゆる「バイノーラルキュー符号化」というパラメトリックマルチチャンネル符号化アプローチを説明している。
【０００５】
「パラメトリックステレオ」は、パラメータ補助情報を加えた送信されたモノフォニック信号に基づいた２チャンネルステレオ信号のパラメトリック符号化のための関連した技術である。詳細は、参照［６］および［７］を参照することができる。
【０００６】
「ＭＰＥＧサラウンド」は、パラメトリックマルチチャンネル符号化のためのＩＳＯ（国際標準化機構）基準である。詳細のため、参照［８］を参照することができる。
【０００７】
これらの技術は、関連したモノラルまたはステレオダウンミックス信号と共に、簡潔な形で人間の空間聴覚のための関連した知覚キューをレシーバに送信することに基づく。典型的なキューは、チャンネル間時間差（ＩＴＤ）およびチャンネル間位相差（ＩＰＤ）の他に、チャンネル間レベル差（ＩＬＤ）、チャンネル間相関またはコヒーレンス（ＩＣＣ）でありうる。
【０００８】
これらのパラメータは、人の聴覚分解能に適用された、周波数および時間分解能において送信される。
【０００９】
元の信号の特性を再現するために、復号器は、送信されたダウンミックス信号の一つ以上の非相関バージョンを生成しうる。加えて、出力信号の位相回転は、元のチャンネル間位相関係を復元するために、復号器において実行されうる。
【００１０】
「図４の例バイノーラルキュー符号化システム」
以下に、一般的なバイノーラルキュー符号化スキームは、図４を参照にして説明される。図４は、バイノーラルキュー符号化送信システム４００のブロック略図を示す。そして、それはバイノーラルキュー符号化符号器４１０およびバイノーラルキュー符号化復号器４２０を含む。例えば、バイノーラルキュー符号化符号器４１０は、複数のオーディオ信号４１２ａ、４１２ｂおよび４１２ｃを受けうる。更に、バイノーラルキュー符号化符号器４１０は、例えば和信号でありうるダウンミックス信号４１６を得るために、ダウンミキサー４１４を使用してオーディオ入力信号４１２ａ〜４１２ｃをダウンミックスするように構成される。更に、バイノーラルキュー符号化符号器４１０は、補助情報信号４１９を得るために、解析器４１８を使用してオーディオ入力信号４１２ａ〜４１２ｃを解析するように構成されうる。和信号４１６および補助情報信号４１９は、バイノーラルキュー符号化符号器４１０からバイノーラルキュー符号化復号器４２０へ送られる。バイノーラルキュー符号化復号器４２０は、例えば、和信号４１６およびチャンネル間キュー４２４に基づいて、オーディオチャンネルｙ１、ｙ２、…、ｙNを含んでいるマルチチャンネルオーディオ出力信号を合成するように構成されうる。この目的のために、バイノーラルキュー符号化復号器４２０は、和信号４１６およびチャンネル間キュー４２４を受けるバイノーラルキュー符号化合成器４２２を含み、オーディオ信号ｙ１、ｙ２、…、ｙNを供給しうる。バイノーラルキュー符号化復号器４２０は、補助情報４１９および、任意選択的に、ユーザー入力４２７を受けるように構成される補助情報処理装置４２６を更に含む。補助情報処理装置４２６は、補助情報４１９および任意選択のユーザー入力４２７に基づいて、チャンネル間キュー４２４を供給するように構成される。
【００１１】
要約すると、オーディオ入力信号は、ＢＣＣ符号器４１０で、解析されて、ダウンミックスされる。和信号さらに補助情報は、ＢＣＣ復号器４２０に発信される。チャンネル間キューは、補助情報およびローカル・ユーザー入力から生成される。バイノーラルキュー符号化合成器は、マルチチャンネルオーディオ出力信号を生成する。
【００１２】
詳細のために、Ｃ．ファーラー、Ｆ．バウムガルテ著の論文「バイノーラルキュー符号化 −パート２：方式及び応用例」（音声及びオーディオ処理、ＩＥＥＥ会報、１１巻、Ｎｏ．６、２００３年１１月に掲載）を参照することができる。
【先行技術文献】
【非特許文献】
【００１３】
【非特許文献１】Ｃ．ファーラー、Ｆ．バウムガルテ、「知覚的なパラメータ表示を用いた空間オーディオ符号化の効率的表現」、ＩＥＥＥ会報、ＷＡＳＰＡＡ、モホンク、ニューヨーク、２００１年１０月（Ｃ．Ｆａｌｌｅｒ ａｎｄ Ｆ．Ｂａｕｍｇａｒｔｅ，“Ｅｆｆｉｃｉｅｎｔ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｏｆ ｓｐａｔｉａｌ ａｕｄｉｏ ｕｓｉｎｇ ｐｅｒｃｅｐｔｕａｌ ｐａｒａｍｅｔｅｒｉｚａｔｉｏｎ”，ＩＥＥＥ ＷＡＳＰＡＡ，Ｍｏｈｏｎｋ，ＮＹ，Ｏｃｔｏｂｅｒ ２００１）
【非特許文献２】Ｆ．バウムガルテ、Ｃ．ファーラー、「バイノーラルキュー符号化のための聴覚空間キューの推定」、ＩＣＡＳＳＰ論文、フロリダ州オーランド、２００２年５月（Ｆ．Ｂａｕｍｇａｒｔｅ ａｎｄ Ｃ．Ｆａｌｌｅｒ，“Ｅｓｔｉｍａｔｉｏｎ ｏｆ ａｕｄｉｔｏｒｙ ｓｐａｔｉａｌ ｃｕｅｓ ｆｏｒ ｂｉｎａｕｒａｌ ｃｕｅ ｃｏｄｉｎｇ”，ＩＣＡＳＳＰ，Ｏｒｌａｎｄｏ，ＦＬ，Ｍａｙ ２００２）
【非特許文献３】Ｃ．ファーラー、Ｆ．バウムガルテ、「バイノーラルキュー符号化：空間オーディオの新規で効率的な表現」、ＩＣＡＳＳＰ論文、フロリダ州オーランド、２００２年５月（Ｃ．Ｆａｌｌｅｒ ａｎｄ Ｆ．Ｂａｕｍｇａｒｔｅ，“Ｂｉｎａｕｒａｌ ｃｕｅ ｃｏｄｉｎｇ：ａ ｎｏｖｅｌ ａｎｄ ｅｆｆｉｃｉｅｎｔ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｏｆ ｓｐａｔｉａｌ ａｕｄｉｏ，”ＩＣＡＳＳＰ，Ｏｒｌａｎｄｏ，ＦＬ，Ｍａｙ ２００２）
【非特許文献４】Ｃ．ファーラー、Ｆ．バウムガルテ、「フレキシブルレンダリングを用いたオーディオ圧縮に応用されるバイノーラルキュー符号化」、ＡＥＳ第１１３回コンベンション、予稿集５６８６、ロサンゼルス、２００２年１０月（Ｃ．Ｆａｌｌｅｒ ａｎｄ Ｆ．Ｂａｕｍｇａｒｔｅ，“Ｂｉｎａｕｒａｌ ｃｕｅ ｃｏｄｉｎｇ ａｐｐｌｉｅｄ ｔｏ ａｕｄｉｏ ｃｏｍｐｒｅｓｓｉｏｎ ｗｉｔｈ ｆｌｅｘｉｂｌｅ ｒｅｎｄｅｒｉｎｇ”，ＡＥＳ １１３ｔｈ Ｃｏｎｖｅｎｔｉｏｎ，Ｌｏｓ Ａｎｇｅｌｅｓ，Ｐｒｅｐｒｉｎｔ ５６８６，Ｏｃｔｏｂｅｒ ２００２）
【非特許文献５】Ｃ．ファーラー、Ｆ．バウムガルテ、「バイノーラルキュー符号化 −パート２：方式及び応用例」、音声及びオーディオ処理、ＩＥＥＥ会報、 １１巻、Ｎｏ．６、２００３年１１月（Ｃ．Ｆａｌｌｅｒ ａｎｄ Ｆ．Ｂａｕｍｇａｒｔｅ，“Ｂｉｎａｕｒａｌ Ｃｕｅ Ｃｏｄｉｎｇ − Ｐａｒｔ ＩＩ： Ｓｃｈｅｍｅｓ ａｎｄ ａｐｐｌｉｃａｔｉｏｎｓ，”ＩＥＥＥ Ｔｒａｎｓ，ｏｎ Ｓｐｅｅｃｈ ａｎｄ Ａｕｄｉｏ Ｐｒｏｃ．，ｖｏｌ．１１，ｎｏ．６，Ｎｏｖ． ２００３）
【非特許文献６】Ｊ．ブリーバールト、Ｓ．ファン・デ・パール、Ａ．コーラウシュ、Ｅ．シュイヤース、「低ビットレートでの高品質パラメトリック空間オーディオ符号化」、ＡＥＳ第１１６回コンベンション、予稿集６０７２、ベルリン、２００４年５月（Ｊ．Ｂｒｅｅｂａａｒｔ， Ｓ．ｖａｎ ｄｅ Ｐａｒ， Ａ．Ｋｏｈｌｒａｕｓｃｈ， Ｅ．Ｓｃｈｕｉｊｅｒｓ，“Ｈｉｇｈ−Ｑｕａｌｉｔｙ Ｐａｒａｍｅｔｒｉｃ Ｓｐａｔｉａｌ Ａｕｄｉｏ Ｃｏｄｉｎｇ ａｔ Ｌｏｗ Ｂｉｔｒａｔｅｓ”， ＡＥＳ １１６ｔｈ Ｃｏｎｖｅｎｔｉｏｎ， Ｂｅｒｌｉｎ， Ｐｒｅｐｒｉｎｔ ６０７２， Ｍａｙ ２００４）
【非特許文献７】Ｅ．シュイヤース、Ｊ．ブリーバールト、Ｈ．プルンハーゲン、Ｊ．エングデガルト、「低煩雑性パラメトリックステレオ符号化」、ＡＥＳ第１１６回コンベンション、予稿集６０７３、ベルリン、２００４年５月（Ｅ．Ｓｃｈｕｉｊｅｒｓ， Ｊ．Ｂｒｅｅｂａａｒｔ， Ｈ．Ｐｕｒｎｈａｇｅｎ， Ｊ．Ｅｎｇｄｅｇａｒｄ，“Ｌｏｗ Ｃｏｍｐｌｅｘｉｔｙ Ｐａｒａｍｅｔｒｉｃ Ｓｔｅｒｅｏ Ｃｏｄｉｎｇ”， ＡＥＳ １１６ｔｈ Ｃｏｎｖｅｎｔｉｏｎ， Ｂｅｒｌｉｎ， Ｐｒｅｐｒｉｎｔ ６０７３， Ｍａｙ ２００４）
【非特許文献８】ＩＳＯ／ＩＥＣ ＪＴＣ １／ＳＣ ２９／ＷＧ １１、２３００３―１、ＭＰＥＧサラウンド（ＩＳＯ／ＩＥＣ ＪＴＣ １／ＳＣ ２９／ＷＧ １１， ２３００３−１， ＭＰＥＧ Ｓｕｒｒｏｕｎｄ）
【非特許文献９】Ｊ．ブラウエルト、空間聴覚：人間の音の定位の精神物理学、修正編集．ケンブリッジ、マサチューセッツ州、Ｔｈｅ ＭＩＴ Ｐｒｅｓｓ、１９９７（Ｊ． Ｂｌａｕｅｒｔ， Ｓｐａｔｉａｌ Ｈｅａｒｉｎｇ：Ｔｈｅ Ｐｓｙｃｈｏｐｈｙｓｉｃｓ ｏｆ Ｈｕｍａｎ Ｓｏｕｎｄ Ｌｏｃａｌｉｚａｔｉｏｎ， Ｔｈｅ ＭＩＴ Ｐｒｅｓｓ， Ｃａｍｂｒｉｄｇｅ， ＭＡ， ｒｅｖｉｓｅｄ ｅｄｉｔｉｏｎ １９９７）
【発明の概要】
【発明が解決しようとする課題】
【００１４】
上記のアプローチにおいて、適切にチャンネル間関係を制御することは、困難である。
【００１５】
したがって、チャンネル間関係に関してより良い正確さを供給する、ダウンミックス信号をアップミックスするための構想を創作することは望ましい。
【課題を解決するための手段】
【００１６】
本発明による実施形態は、ダウンミックスオーディオ信号を、一つ以上のアップミックスされたオーディオチャンネルを表しているアップミックスされたオーディオ信号にアップミックスするためのアップミキサーを創作する。アップミキサーは、アップミックスされたオーディオ信号を得るために、ダウンミックスオーディオ信号をアップミックスするためのアップミキシングパラメータを適用するように構成されたパラメータ適用器を含む。パラメータ適用器は、位相シフトに非相関信号を修正されないままにする一方で、ダウンミックスオーディオ信号の位相シフトされたバージョンを得るために、位相シフトをダウンミックスオーディオ信号に適用するように構成される。パラメータ適用器は、アップミックス信号を得るために、ダウンミックスオーディオ信号の位相シフトされたバージョンを非相関信号と結合するようにも構成される。
【００１７】
本発明によるいくつかの実施形態は、異なるアップミックスされたオーディオ信号間のチャンネル間相関が、位相シフト（例えば、空間キューに依存する時間可変の位相シフト）を非相関信号に適用することによって、低下させられるという発見に基づく。したがって、異なるアップミックスされたオーディオチャンネル間で適当なチャンネル間位相シフトを得るためにダウンミックス信号に適用される位相シフトに非相関信号を修正されないままにすることが望ましいことが分かっている。
【００１８】
したがって、本発明による改善された位相処理は、非相関信号部分を位相シフトすることにより生じるであろう（アップミックスされたオーディオチャンネルの）誤った出力チャンネル間相関を防止することに貢献する。
【００１９】
好ましい実施形態において、アップミキサーは、非相関信号がダウンミックスオーディオ信号の非相関バージョンであるように、非相関信号を得るように構成される。このように、非相関信号は、ダウンミックス信号から容易に得ることができる。しかし、いくつかの他の実施形態において、異なる構想は、非相関信号を得るために使用されうる。非常にシンプルな解決策において、雑音信号が非相関信号として使用されうる。
【００２０】
好ましい実施形態において、アップミキサーは、ダウンミックスオーディオ信号を、複数のアップミックスされたオーディオチャンネルを表しているアップミックスされたオーディオ信号にアップミックスするように構成される。この場合、パラメータ適用器は、第１のアップミックスされたオーディオチャンネル信号および第２のアップミックスされたオーディオチャンネル信号を得るために、非相関信号を使用してダウンミックスオーディオ信号をアップミックスするために、アップミキシングパラメータを適用するように構成される。パラメータ適用器は、互いに関して時間的位相シフトを含んでいるダウンミックスオーディオ信号の少なくとも２つのバージョンを得るために、時間的位相シフトをダウンミックスオーディオ信号に適用するように構成される。パラメータ適用器は、非相関信号が時間的位相シフトに影響を受けないままであるように、少なくとも２つのアップミックスされたオーディオチャンネル信号を得るために、ダウンミックスオーディオ信号の少なくとも２つのバージョンを非相関信号と結合するようにも構成される。したがって、アップミックスされたオーディオ信号の複数のチャンネル信号を得ることができ、（アップミックスされたオーディオ信号の）複数のアップミックスされたチャンネルの中の非相関信号部分は、その相関している信号部分間に導入された相対的な位相シフトに影響を受けない。従って、アップミックスされたオーディオチャンネル間のチャンネル間相関は、より良い正確さで制御できる。
【００２１】
実施形態において、非相関信号を示している第１のアップミックスされたオーディオチャンネル信号の信号部分および非相関信号を示している第２のアップミックスされたオーディオチャンネル信号の信号部分が、時間的に一定の位相関係、例えば互いに関して同相または１８０°逆位相にあるように、ダウンミックスオーディオ信号の少なくとも２つのバージョンを、非相関信号と結合するように構成される。従って、非相関信号を示している信号部分は、アップミックスされたオーディオチャンネル信号の相関を調整するのに効果的に働くことができる。対照的に、非相関信号を示している信号部分が、異なるアップミックスされたオーディオチャンネル信号において、互いに関して任意選択的に、または、可変的に位相シフトされる場合、所望のチャンネル間相関の調整は低下させられる、または、防止されさえするだろう。
【００２２】
本発明による実施形態において、パラメータ適用器は、非相関信号が時間的位相シフトに影響を受けないままにされる非相関信号と、（互いに関して時間的位相シフトを含んでいる）ダウンミックスオーディオ信号の少なくとも２つのバージョンを結合する前に、互いに関して時間的位相シフトを含んでいるダウンミックスオーディオ信号の少なくとも２つのバージョンを得るように構成される。その結果生じたものを非相関信号と結合する前に時間的位相シフトを適用することによって、非相関信号は、時間的位相シフトに影響を受けないままにされる。従って、結果として生じるアップミックスされたオーディオチャンネル信号の相関特性は、正確に調整できる。
【００２３】
本発明による実施形態において、アップミキサーは、チャンネル間位相差パラメータに基づいて、ダウンミックスオーディオ信号に適用される位相シフトを決定するように構成されるパラメータ決定器を含む。したがって、位相シフトは、所望の人のヒアリング印象に合うように適合される。
【００２４】
本発明による実施形態において、パラメータ適用器は、ダウンミックス信号の一つ以上のサンプルおよび非相関信号の一つ以上のサンプルを示している入力ベクトルを、アップミックスパラメータを示しているマトリクスエントリを含んでいるマトリクスと掛けるように構成されたマトリクスベクトル乗算器を含む。その乗算は、結果として、第１のアップミックスされたオーディオ信号チャンネルの一つ以上のサンプルおよび第２のアップミックスされたオーディオ信号チャンネルの一つ以上のサンプルを示している出力ベクトルを得るために実行される。アップミキサーは、ダウンミックスオーディオ信号と関連した空間キューに基づいて、マトリクスエントリを得るように構成されたパラメータ決定器を含む。パラメータ決定器は、非相関信号の一つ以上のサンプルに適用されるマトリクスエントリの位相を、時変の位相回転に影響を受けないままにする一方で、時変の位相回転をダウンミックス信号の一つ以上のサンプルに適用されるマトリクスエントリだけに適用するように構成される。いくつかのマトリクスエントリ、すなわち、非相関信号に適用されるものを時変の位相回転に影響を受けないままにすることによって、本発明概念の効率的な実施を得ることができる。必要とされるコンピュータの作業量は、固定した位相値（または、例えば、空間キューとは独立した実数値でありうる）を含むいくつかのマトリクス要素を有することによって低減できる。加えて、位相値が一定である場合、マトリクスエントリの決定は、当然に比較的単純である。
【００２５】
実施形態において、マトリクスベクトル乗算器は、ダウンミックスオーディオ信号のサンプルおよび非相関信号のサンプルを複素数値の表現で受けるように構成される。加えて、マトリクスベクトル乗算器は、位相シフトを適用するために複素数値のマトリクスエントリを入力ベクトルに適用し、そして、複素数値の表現でアップミックスされたオーディオ信号チャンネルのサンプルを得るように構成される。この場合、パラメータ決定器は、ダウンミックスオーディオ信号と関連したチャンネル間レベル差パラメータおよび／またはチャンネル間相関パラメータおよび／またはチャンネル間コヒーレンスパラメータ（またはチャンネル間相関またはコヒーレンスパラメータ）に基づいて、マトリクスエントリの実数値または強度値を計算するように構成される。加えて、パラメータ決定器は、ダウンミックスオーディオ信号と関連したチャンネル間位相差パラメータに基づいて、ダウンミックス信号の一つ以上のサンプルに適用されるマトリクスエントリの位相値を計算するように構成される。加えて、パラメータ決定器は、ダウンミックス信号の一つ以上のサンプルに適用されるマトリクスエントリを得るために、対応する位相値に応じてダウンミックス信号の一つ以上のサンプルに適用されるマトリクスエントリの強度値に複素回転を適用するように構成される。したがって、マトリクスエントリの効率的な多段階決定を実行できる。マトリクスエントリの実数値または強度値は、チャンネル間位相差を考慮せずに算出できる。同様に、マトリクスエントリの位相値は、チャンネル間レベル差パラメータまたはチャンネル間相関／コヒーレンスパラメータを考慮せずに得ることができる。そして、そのことは計算の任意の並列化を可能にさせる。加えて、アップミックスされたオーディオチャンネル信号のチャンネル間相関がより良い正確さで調整できるように、マトリクスエントリは効率よく構成できる。
【００２６】
本発明による実施形態は、ダウンミックスオーディオ信号を、アップミックスされたオーディオ信号にアップミックスするための方法を創作する。
【００２７】
本発明による他の実施形態は、本発明の方法の機能を実行するためのコンピュータ・プログラムを含む。
【００２８】
本発明による実施形態は、同封された図を参照として、以下に説明される。
【図面の簡単な説明】
【００２９】
【図１】図１は、本発明の一実施形態によるダウンミックスオーディオ信号をアップミックスされたオーディオ信号にアップミックスするためのアップミキサーのブロック略図を示す。
【図２】図２は、本発明の他の実施形態によるダウンミックスオーディオ信号をアップミックスされたオーディオ信号にアップミックスするためのアップミキサーの詳細なブロック略図を示す。
【図３ａ】図３ａは、本発明の一実施形態によるダウンミックスオーディオ信号をアップミックスされたオーディオ信号にアップミックスする方法のフローチャートを示す。
【図３ｂ】図３ｂは、本発明の一実施形態による一組のアップミックスパラメータを得るための方法のブロック略図を示す。
【図４】図４は、従来の一般的なバイノーラルキュー符号化スキームのブロック略図を示す。
【発明を実施するための形態】
【００３０】
「図１による実施形態」
図１は、本発明の一実施形態によるアップミキサー１００のブロック略図を示す。図１は、簡単のため、単一チャンネルをアップミックスすることを示す。当然、本願明細書において開示された構想は、例えば、図２に関して、後述するように、マルチチャンネルシステムにも適用できる。
【００３１】
アップミキサー１００は、ダウンミックスオーディオ信号１１０を受け、ダウンミックスオーディオ信号１１０を、一つ以上のアップミックスされたオーディオチャンネルを表しているアップミックスされたオーディオ信号１２０にアップミックスするように構成される。
【００３２】
アップミキサーは、アップミックスされたオーディオ信号１２０を得るために、ダウンミックスオーディオ信号１１０をアップミックスするためのアップミキシングパラメータを適用するように構成されるパラメータ適用器１３０を含む。パラメータ適用器１３０は、非相関信号１５０を位相シフトに修正されないままにする一方で、ダウンミックスオーディオ信号１１０の位相シフトされたバージョン１４２を得るために、位相シフト（参照番号１４０で示される）をダウンミックスオーディオ信号１１０に適用するように構成される。パラメータ適用器１３０は、アップミックスされたオーディオ信号１２０を得るために、ダウンミックスオーディオ信号１１０の位相シフトされたバージョン１４２を非相関信号１５０と結合（参照番号１６０で示される）するように更に構成される。
【００３３】
位相シフトをダウンミックスオーディオ信号１１０だけに適用し、非相関信号１５０（それは、例えば、ダウンミックスオーディオ信号１１０の非相関バージョンでありうる）には適用しないことによって、アップミックスされたオーディオ信号１２０は非相関部分を含む。そこにおいて、アップミックスされたオーディオ信号１２０の非相関部分は非相関信号１５０に基づき、そして、非相関部分の位相はダウンミックスオーディオ信号１１０に適用された位相シフトに影響を受けないままにされる。したがって、ダウンミックスオーディオ信号１１０と相関しているアップミックスされたオーディオ信号１２０の信号部分は、適用された位相シフトに応じて、（例えば時変の方法で）位相シフトされる。その一方で、ダウンミックスオーディオ信号１１０とは非相関である一部のアップミックスされたオーディオ信号１２０は位相シフトに影響を受けないままにされる。したがって、（更なるアップミックスされたオーディオ信号に関して）アップミックスされたオーディオ信号のチャンネル間相関特性の調整は、ダウンミックスオーディオ信号に適用された時変の位相シフトを考慮する必要性を有さずに、高い正確性をもって実行できる。
【００３４】
「図２ａおよび図２ｂによる実施形態」
図２ａおよび図２ｂは、本発明の他の実施形態による装置２００の詳細なブロック略図を示す。
【００３５】
装置２００は、ダウンミックスオーディオ信号２１０を受けて、ダウンミックスオーディオ信号２１０をアップミックスされたオーディオ信号２２０にアップミックスするように構成される。アップミックスされたオーディオ信号２２０は、例えば、第１のアップミックスされたオーディオチャンネル２２２ａおよび第２のアップミックスされたオーディオチャンネル２２２ｂを表す。
【００３６】
ダウンミックスオーディオ信号２１０は、例えば、空間オーディオ符号器によって供給された和信号（例えばバイノーラルキュー符号化符号器４１０によって供給された和信号４１６）でありうる。ダウンミックスオーディオ信号２１０は、例えば、複素数値の周波数分解の形で示されうる。例えば、ダウンミックスオーディオ信号は、（時間的インデックスｋによって示された）オーディオサンプル更新間隔ごとに、（複数の周波数バンドのうち）周波数バンドごとに１つのサンプルを含みうる。
【００３７】
以下に、１つの周波数バンドにおけるサンプルの処理について、説明される。しかし、他の周波数バンドのオーディオサンプルは、同様に処理できる。換言すれば、本発明によるいくつかの実施形態において、異なる周波数バンドは、独立に処理されうる。
【００３８】
同様に、第１のアップミックスされたオーディオチャンネル信号２２２ａが、複素数値のサンプルの形で、アップミックスされたオーディオ信号２２０の特定の周波数バンドのオーディオ内容を示すと仮定される。同様に、第２のアップミックスされたオーディオチャンネル信号２２２ｂが、複素数値のサンプルの形で、考慮の対象の特定の周波数バンドのオーディオ内容を示すと仮定される。しかし、異なる周波数バンドに対するアップミックスされたオーディオチャンネル信号は、本願明細書において説明された同じ構想により得られうる。
【００３９】
装置２００の周波数バンド処理（すなわち、単一の周波数バンドのためのアップミックス信号の生成）は、従って、考慮の対象の周波数バンドのオーディオ内容の続く複素数値のサンプルのシーケンスを表しているストリームｘ（ｋ）を受けるように構成される。この表現法において、ｋは時間インデックスとして働く。以下では、ｘ（ｋ）は、簡潔に「ダウンミックスオーディオ信号」として表される。そして、ｘ（ｋ）が全体の（多重周波数バンドの）ダウンミックスオーディオ信号のうちの考慮の対象の一つの周波数バンドのオーディオ内容を単に表しているだけであることに留意する。
【００４０】
周波数バンド処理は、ダウンミックスオーディオ信号ｘ（ｋ）を受け、それに基づいて、ダウンミックスオーディオ信号ｘ（ｋ）の非相関バージョンｑ（ｋ）を供給するように構成される非相関器２３０を含む。非相関バージョンｑ（ｋ）は、複素数値のサンプルのシーケンスによって示されうる。周波数バンド処理はまた、ダウンミックスオーディオ信号ｘ（ｋ）およびダウンミックスオーディオ信号の非相関バージョンｑ（ｋ）を受けて、それに基づいて、第１のアップミックスされたオーディオチャンネル信号２２２ａおよび第２のアップミックスされたオーディオチャンネル信号２２２ｂを供給するように構成されるパラメータ適用器２４０を含む。
【００４１】
図２の実施形態において、パラメータ適用器２４０は、アップミックスされたオーディオチャンネル信号２２２ａ、２２２ｂを得るために、ダウンミックスオーディオ信号ｘ（ｋ）およびダウンミックスオーディオ信号の非相関バージョンｑ（ｋ）の重み付けされた線形結合を実行するように構成されるマトリクスベクトル乗算器２４２（または他の適切な手段）を含む。ｘ（ｋ）およびｑ（ｋ）の重み付けは、重み付けマトリクスＨ（ｋ）のエントリにより決定される。そこにおいて、重み付けマトリクスエントリは、時間的でありうる（すなわち、時間インデックスｋに依存している）。以下に詳述するように、一般に、重み付けマトリクスＨ（ｋ）のエントリのいくつかは、複素数値でありうる。
【００４２】
図２の実施形態において、第１のアップミックスされたオーディオチャンネル信号２２２ａのサンプルｙ1（ｋ）は、複素数値のマトリクスエントリＨ11により重み付けされたダウンミックスオーディオ信号のサンプルｘ（ｋ）と（一般的に、必ずではないが、実数値の）マトリクスエントリＨ12で重み付けされた非相関信号の時間的に対応しているサンプルｑ（ｋ）を足すことにより得られる。同様に、第２のアップミックスされたオーディオチャンネル信号２２２ｂのサンプルｙ2（ｋ）は、複素数値のマトリクスエントリＨ21により重み付けされたダウンミックスオーディオ信号のサンプルｘ（ｋ）と（一般的に実数値の）マトリクスエントリＨ22で重み付けされた非相関信号の時間的に対応しているサンプルｑ（ｋ）を足すことにより得られる。
【００４３】
したがって、位相シフトまたは位相回転は、アップミックスされたオーディオチャンネル信号２２２ａ、２２２ｂのサンプルｙ1（ｋ）、ｙ2（ｋ）をそこから導き出すとき、（相関する）ダウンミックスオーディオ信号のサンプルｘ（ｋ）に適用される。対照的に、アップミックスされたオーディオチャンネル信号２２２ａ、２２２ｂのサンプルへの非相関信号のサンプルｑ（ｋ）の寄与を算出するときに、位相シフトまたは位相回転の適用は回避される。
【００４４】
以下に、マトリクスＨのマトリクスエントリＨ11、Ｈ12、Ｈ21、Ｈ22をどのように得ることができるかについて、説明する。
【００４５】
この目的のために、装置２００は、アップミックスパラメータを表している補助情報２６２を受けるように構成される補助情報処理装置２６０を含む。補助情報２６２は、例えば、チャンネル間レベル差パラメータ、チャンネル間相関又はコヒーレンスパラメータ、チャンネル間時間差パラメータ、あるいは、チャンネル間位相差パラメータのような空間キューを含みうる。前記パラメータＩＬＤ、ＩＣＣ、ＩＴＤ、ＩＰＤは、空間符号化の当該技術分野でよく知られており、ここでは詳述しない。
【００４６】
補助情報処理装置２６０は、マトリクスベクトル乗算器２４２（それは、参照番号２６４で示される）に（全部の）マトリクスエントリＨ11、Ｈ12、Ｈ21、Ｈ22を供給するように構成される。従って、補助情報処理装置２６０を「パラメータ決定器」とみなすこともできる。
【００４７】
【００４８】
補助情報処理装置２６０は、アップミックスされたオーディオチャンネル信号２２２ａ、２２２ｂの異なる信号成分間の位相シフトを示している空間キューを受けるように構成されるアップミックスパラメータ位相シフト角決定器２８０を含む。例えば、アップミックスパラメータ位相シフト角度決定器２８０は、チャンネル間位相差パラメータ２８２を受けるように構成される。アップミックスパラメータ位相シフト角度決定器２８０は、２８４でも表される、ダウンミックスオーディオ信号と関連した位相シフト角度値α1、α2を供給するようにも構成される。チャンネル間位相差パラメータ２８２に基づいた位相シフト角度値の計算は、当該技術分野においてよく知られている。そうであるので、詳細な説明はここで省略される。例えば、節「参照」中で引用された文書や、また、当業者によく知られた他の刊行物を参照することができる。
【００４９】
補助情報処理装置２６０は、実数値のマトリクスエントリ２７２および位相シフト角度値２８４を受けて、それに基づいて、マトリクスＨ（また、時間依存性を示すために、Ｈ（ｋ）とも表される）の（全部の）マトリクスエントリを計算するように構成されるマトリクスエントリ回転器２９０を更に含む。この目的のために、マトリクスエントリ回転器２９０は、位相シフト角度値α1、α2を、ダウンミックスオーディオ信号ｘ（ｋ）への適用を目的としたそれら実数値のマトリクスエントリ２７２（および、好ましくは、それらのみ）に適用するように構成されうる。対照的に、マトリクスエントリ回転器２９０は、非相関信号ｑ（ｋ）のサンプルに適用されることを目的とするそれら実数値のマトリクスエントリを位相シフト角度値α1、α2に影響を受けないままにするように好ましくは構成される。従って、非相関信号ｑ（ｋ）のサンプルに（マトリクスベクトル乗算器２４２によって）適用されることを目的とするそれらマトリクスエントリは、アップミックスパラメータ実数値決定器２７０によって供給されたように実数値のままである。しかし、いくつかの実施形態において、符号の逆変換は生じうる。
【００５０】
【００５１】
したがって、マトリクスエントリ回転器２９０は、マトリクスＨの（全部の）マトリクスエントリを導き出し、マトリクスベクトル乗算器２４２にこれらの（全部の）マトリクスエントリを供給するように構成される。
【００５２】
通常通り、マトリクスＨのマトリクスエントリは、装置２００の演算の間、更新されうる。例えば、補助情報２６２の新規な一組が、装置２００によって受け取られるときはいつでも、マトリクスＨのマトリクスエントリ２６４は、更新されうる。他の実施形態において、補間は、実行されうる。このように、マトリクスエントリ２６４は、補間が適用されうるいくつかの実施形態において、オーディオサンプル更新間隔ｋごとに、一回更新されうる。
【００５３】
以下では、図２ａおよび図２ｂに関して詳述された本発明の構想が、簡潔に要約される。本発明による実施形態は、非相関信号の一部の位相をシフトすることによって生じる誤った出力チャンネル間相関を防止する改善された位相処理によって、アップミキシング技術を強化する。
【００５４】
説明を簡単にするため、図２に示された実施形態、並びに以下の説明は、１から２チャンネルへのアップミックスだけに限定する。例えば１から２チャンネルへの復号器のアップミックス処置は、アップミックスマトリクスＨを用いた、「ドライ信号」と呼ばれるダウンミックス信号ｘ、および、「ウェット信号」と呼ばれるダウンミックス信号ｑの非相関バージョンから成るベクトルのマトリクス乗算によって実行される。ウェット信号ｑは、（非相関器２３０の形の）非相関フィルタを介してダウンミックス信号ｘを送ることによって生成されうる。出力信号ｙは、出力（例えば第１のアップミックスオーディオチャンネル信号２２２ａおよび第２のアップミックスオーディオチャンネル２２２ｂ）の第１および第２のチャンネルを含んでいるベクトルである。
【００５５】
【００５６】
マトリクスベクトル乗算器２４２によって実行されうる前記マトリクス演算はまた、図２に示される。そこにおいて、時間インデックスｋは、入力サンプルｘ、ｙ、アップミックスされた出力サンプルｙ1、ｙ2、更にはアップミックスマトリクスＨが、一般的に時変であることを示す。
【００５７】
アップミックスマトリクスＨの係数（又はマトリクスエントリ）Ｈ11、Ｈ12、Ｈ21、Ｈ22は、例えば補助情報処理装置２６０を使用して、空間キューから導き出される。マトリクスベクトル乗算器２４２によって実行されるマトリクス演算は、ＩＣＣによるドライ信号ｘとウェット信号ｑのミキシング、および、ＩＬＤによる出力チャンネル２２２ａ、２２２ｂの重み付けを適用する。複素数値の係数を使用することにより、ＩＰＤによる更なる位相シフトは、（以下に説明されるように）適用できる。
【００５８】
ウェット信号ｑは、ｘとｑ間の相関が十分にゼロに近い方法で設計される非相関性フィルタ（例えば非相関器２３０）にダウンミックス信号ｘを通すことによって生成される。送られたＩＣＣによって表される２チャンネル間の元の相関度を再現するために、信号ｘおよびｑは、２つの出力チャンネル２２２ａ、２２２ｂに対して異なってミックスされる。ミキシング係数（例えばマトリクスＨのマトリクスエントリ）は、出力チャンネルの相関が送信されたＩＣＣと整合する方法で算出される。
【００５９】
送信されたＩＰＤによって表される２チャンネル間の位相関係は、位相シフトを出力信号に適用することによって再現される。２つの信号は、通常、異なる角度で回転される。
【００６０】
従来の復号器は、位相シフトを全部の出力信号に適用する。そして、そのことは、ドライおよびウェットの信号成分が処理されることを意味する。
【００６１】
送信されたＩＰＤは、２チャンネル間の位相角の差を表す。無相関の信号に対して定めることのできる位相差はないので、ＩＰＤ値は、相関している信号成分に常に基づくことが分かっている。従って、位相回転を出力チャンネルのウェット信号の一部に適用することは必要でないことが分かっている。更に、ドライおよびウェットのミキシングの計算は、同じ非相関信号が両方のチャンネルにミックスされるという仮定に基づきうるので、２チャンネル（非相関信号部分を含む）への異なる位相シフトの適用により、結果として誤った出力相関度が生じうることが分かっている。
【００６２】
ドライおよびウェット信号のミキシングのための一般のアプローチは、両方のチャンネルに同じ量のウェット信号を異なる符号でミックスすることである。異なる位相シフトが、（例えば、ドライ信号ｘおよびウェット信号ｑを結合した後に）出力チャンネルに適用される場合、ウェット信号部分のこの異相特性が破壊され、そして、結果として非相関性の損失となることが分かっている。
【００６３】
対照的に、本発明の解決案は、所望の非相関度を維持するのに役立つ。
【００６４】
以下では、上記の実施形態に関する更なる詳細が説明される。本発明による実施形態において、（従来のアップミックス技術と比較したとき）修正されたアップミックスは、チャンネル間位相差（ＩＰＤ）によるこの回転によって非相関性の損失を回避するために使用される。上述の通り、ウェット信号部分の位相シフトが、結果として非相関性の損失をもたらしうるし、チャンネル間の元の位相関係の再構成のために必要でないことが分かっている。複素係数を使用してアップミックスマトリクスＨの位相シフトを適用するときに、その処理はドライ信号によって乗算されたそれらの係数の回転しかしないことによってドライ信号に限定できる。
【００６５】
以下に、アップミックスマトリクスＨまたはアップミックスパラメータ（例えばアップミックスマトリクスＨのエントリ）を得るために使用できる方法は説明される。
【００６６】
【００６７】
（第１ステップと並列に、または、「第１ステップ」の前にさえ、任意選択で実行されうる）次のステップにおいて、例えば２出力チャンネルα1およびα2のための位相シフト角度は、通常通り、送信されたＩＰＤから（例えば、アップミックスパラメータ位相シフト決定器２８０において）算出される。
【００６８】
【００６９】
この修正されたアップミックスマトリクスを使用して、位相回転は、（例えば、マトリクスＨを適用しているマトリクスベクトル乗算器２４２によって）ドライ信号部分に適用されるだけであり、その一方で、ウェット信号部分は修正されず、そして、正しい非相関性は保持される。
【００７０】
「図３ａによる方法」
図３ａは、ダウンミックスオーディオ信号を、一つ以上のアップミックスされたオーディオチャンネルを表しているアップミックスされたオーディオ信号にアップミックスするための方法３００のフローチャートを示す。方法３００は、一般に、アップミックスされたオーディオ信号を得るために、アップミックスダウンミックスオーディオ信号をアップミックスするためのアップミキシングパラメータを適用するステップ３１０を含む。アップミキシングパラメータを適用するステップ３１０は、非相関信号を位相シフトに修正されないままにする一方で、ダウンミックスオーディオ信号の位相シフトされたバージョンを得るために、位相シフトをダウンミックスオーディオ信号に適用するステップ３２０を含む。アップミキシングパラメータを適用するステップ３１０は、アップミックスされたオーディオを得るために、ダウンミックスオーディオ信号の位相シフトされたバージョンを非相関信号と結合するステップ３３０を更に含む。
【００７１】
方法３００が本願明細書において説明された機能のいずれかによって補充できる点に留意する必要があり、本発明の装置に関しても同様である。
【００７２】
「図３ｂによる方法」
本発明の一実施形態によれば、図３ｂは、一組のアップミックスパラメータを得るための方法３５０を示す。方法３５０は、寄与のインテンシティを示している一つ以上の空間キュー（例えばＩＬＤ、ＩＣＣ）に応じて、アップミックスされたオーディオチャンネル信号（例えばｙ1、ｙ2）へのダウンミックス信号（例えば信号ｘ）および非相関信号（例えば信号ｑ）の所望の寄与のインテンシティを表している実数値のアップミックスパラメータ（例えば実数値のマトリクスエントリ）を得る第１のステップ３６０を含む。方法３５０は、チャンネル間位相シフト（例えばＩＰＤ）を示している一つ以上の空間キューに応じて、異なるアップミックスされたオーディオチャンネル信号（例えばｙ1、ｙ2）のダウンミックスオーディオ信号の要素間の所望の位相シフトを表している位相シフト値（例えばα1、α2）を得る第２のステップ３７０を更に含む。方法３５０は、アップミックスパラメータの組の全部のアップミックスパラメータを得るために、非相関信号に適用されることを目的とする実数値のアップミックスパラメータを、位相シフト角度値に影響を受けないままにする一方で、位相シフト角度値に応じて、ダウンミックスオーディオ信号に適用されることを目的とした実数値のアップミックスパラメータを回転させる（位相シフトさせる）ステップ３８０を更に含む。
【００７３】
方法３５０は、本願明細書において説明された特徴および機能のいずれによっても補充でき、本発明の装置に関しても同様である。
【００７４】
「コンピュータ・プログラム実施例」
特定の実現要求に応じて、本発明の実施形態は、ハードウェアにおいて、または、ソフトウェアにおいて実施できる。その実施は、各方法が実施されるように、プログラミング可能なコンピュータシステムと協動する（または協動できる）、それに格納された電子的に読み込み可能な制御信号を有するデジタル記憶媒体、例えばフロッピー（登録商標）ディスク、ＤＶＤ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭまたはＦＬＡＳＨメモリを使用して実施できる。
【００７５】
本発明によるいくつかの実施形態は、本願明細書において説明された方法のうちの１つが実施されるように、プログラミング可能なコンピュータシステムと協動できる電子的に読み込み可能な制御信号を有するデータキャリアを含む。
【００７６】
通常、本発明の実施形態は、プログラムコードを有するコンピュータ・プログラム製品として実施でき、そして、コンピュータ・プログラム製品がコンピュータ上で動作するときに、プログラムコードがその方法のうちの１つを実施するために働く。プログラムコードは、例えば、機械読み取り可能なキャリアに格納できる。
【００７７】
他の実施形態は、機械読み取り可能なキャリアに格納された、本願明細書において説明された方法のうちの１つを実施するためのコンピュータ・プログラムを含む。換言すれば、本発明の方法の実施形態は、従って、コンピュータ・プログラムはコンピュータ上で動作するときに本願明細書において説明された方法のうちの１つを実施するためのプログラムコードを有するコンピュータ・プログラムである。
【００７８】
従って、本発明の方法の更なる実施形態は、それに記録され、本願明細書において説明された方法のうちの１つを実施するためのコンピュータ・プログラムを含んでいるデータキャリア（またはデジタル記憶媒体またはコンピュータ読み取り媒体）である。
【００７９】
従って、本発明の方法の更なる実施形態は、本願明細書において説明された方法のうちの１つを実施するためのコンピュータ・プログラムを示しているデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、データ通信接続を介して、例えばインターネットを介して、送信されるように例えば構成されうる。
【００８０】
更なる実施形態は、本願明細書において説明された方法のうちの１つを実施するように構成された、又は、適合された処理手段、例えばコンピュータまたはプログラミング可能な論理回路を含む。
【００８１】
更なる実施形態は、本願明細書において説明された方法のうちの１つを実施するためのコンピュータ・プログラムをインストールしているコンピュータを含む。
【００８２】
いくつかの実施形態において、プログラミング可能な論理回路（例えばフィールド・プログラマブル・ゲート・アレイ）は、本願明細書において説明された方法の機能のいくつかまたは全てを実施するために使用されうる。いくつかの実施形態において、フィールド・プログラマブル・ゲート・アレイは、本願明細書において説明された方法のうちの１つを実施するために、マイクロプロセッサと協動しうる。
【００８３】
「結論」
上記を要約すると、正しい非相関性を保持する一方で、元のチャンネル間位相差を再現するための改善されたアップミキシング方法が説明された。本発明による実施形態は、非相関器出力の不必要な位相処理によって生じる出力信号の非相関性の損失を防止することによって、他の技術に取って代わる。
【００８４】
「参照」
［１］Ｃ．ファーラー、Ｆ．バウムガルテ、「知覚的なパラメータ表示を用いた空間オーディオ符号化の効率的表現」、ＩＥＥＥ会報、ＷＡＳＰＡＡ、モホンク、ニューヨーク、２００１年１０月
［２］Ｆ．バウムガルテ、Ｃ．ファーラー、「バイノーラルキュー符号化のための聴覚空間キューの推定」、ＩＣＡＳＳＰ論文、フロリダ州オーランド、２００２年５月
［３］Ｃ．ファーラー、Ｆ．バウムガルテ、「バイノーラルキュー符号化：空間オーディオの新規で効率的な表現」、ＩＣＡＳＳＰ論文、フロリダ州オーランド、２００２年５月
［４］Ｃ．ファーラー、Ｆ．バウムガルテ、「フレキシブルレンダリングを用いたオーディオ圧縮に応用されるバイノーラルキュー符号化」、ＡＥＳ第１１３回コンベンション、予稿集５６８６、ロサンゼルス、２００２年１０月
［５］Ｃ．ファーラー、Ｆ．バウムガルテ、「バイノーラルキュー符号化 −パート２：方式及び応用例」、音声及びオーディオ処理、ＩＥＥＥ会報、１１巻、Ｎｏ．６、２００３年１１月
［６］Ｊ．ブリーバールト、Ｓ．ファン・デ・パール、Ａ．コーラウシュ、Ｅ．シュイヤース、「低ビットレートでの高品質パラメトリック空間オーディオ符号化」、ＡＥＳ第１１６回コンベンション、予稿集６０７２、ベルリン、２００４年５月
［７］Ｅ．シュイヤース、Ｊ．ブリーバールト、Ｈ．プルンハーゲン、Ｊ．エングデガルト、「低煩雑性パラメトリックステレオ符号化」、ＡＥＳ第１１６回コンベンション、予稿集６０７３、ベルリン、２００４年５月
［８］ＩＳＯ／ＩＥＣ ＪＴＣ １／ＳＣ ２９／ＷＧ １１、２３００３―１、ＭＰＥＧサラウンド
［９］Ｊ．ブラウエルト、空間聴覚：人間の音の定位の精神物理学、修正編集．ケンブリッジ、マサチューセッツ州、Ｔｈｅ ＭＩＴ Ｐｒｅｓｓ、１９９７
【技術分野】
【０００１】
本発明による実施形態は、一つ以上のアップミックスされたオーディオチャンネルを表しているアップミックスされたオーディオ信号にダウンミックスオーディオ信号をアップミックスするためのアップミキサーに関する。本発明によるいくつかの実施形態は、ダウンミックスオーディオ信号をアップミックスするための方法に、そして、コンピュータ・プログラムに関する。
【０００２】
本発明によるいくつかの実施形態は、パラメトリックマルチチャンネルオーディオ符号化のための改善された位相処理に関する。
【背景技術】
【０００３】
以下に、短い概要が与えられ、そして、本発明の背景が説明される。パラメトリックオーディオ符号化の領域における最近の開発は、補助情報ストリームを加えた１つ（又はそれ以上）のダウンミックスチャンネルにマルチチャンネルオーディオ信号（例えば５．１）を一緒に符号化するための技術を供給する。これらの技術は、バイノーラルキュー符号化（Ｂｉｎａｕｒａｌ Ｃｕｅ Ｃｏｄｉｎｇ）、パラメトリックステレオ（Ｐａｒａｍｅｔｒｉｃ Ｓｔｅｒｅｏ）およびＭＰＥＧサラウンド（ＭＰＥＧ Ｓｕｒｒｏｕｎｄ）などとして知られる。
【０００４】
例えば参照［１］［２］［３］［４］［５］などの多くの刊行物は、いわゆる「バイノーラルキュー符号化」というパラメトリックマルチチャンネル符号化アプローチを説明している。
【０００５】
「パラメトリックステレオ」は、パラメータ補助情報を加えた送信されたモノフォニック信号に基づいた２チャンネルステレオ信号のパラメトリック符号化のための関連した技術である。詳細は、参照［６］および［７］を参照することができる。
【０００６】
「ＭＰＥＧサラウンド」は、パラメトリックマルチチャンネル符号化のためのＩＳＯ（国際標準化機構）基準である。詳細のため、参照［８］を参照することができる。
【０００７】
これらの技術は、関連したモノラルまたはステレオダウンミックス信号と共に、簡潔な形で人間の空間聴覚のための関連した知覚キューをレシーバに送信することに基づく。典型的なキューは、チャンネル間時間差（ＩＴＤ）およびチャンネル間位相差（ＩＰＤ）の他に、チャンネル間レベル差（ＩＬＤ）、チャンネル間相関またはコヒーレンス（ＩＣＣ）でありうる。
【０００８】
これらのパラメータは、人の聴覚分解能に適用された、周波数および時間分解能において送信される。
【０００９】
元の信号の特性を再現するために、復号器は、送信されたダウンミックス信号の一つ以上の非相関バージョンを生成しうる。加えて、出力信号の位相回転は、元のチャンネル間位相関係を復元するために、復号器において実行されうる。
【００１０】
「図４の例バイノーラルキュー符号化システム」
以下に、一般的なバイノーラルキュー符号化スキームは、図４を参照にして説明される。図４は、バイノーラルキュー符号化送信システム４００のブロック略図を示す。そして、それはバイノーラルキュー符号化符号器４１０およびバイノーラルキュー符号化復号器４２０を含む。例えば、バイノーラルキュー符号化符号器４１０は、複数のオーディオ信号４１２ａ、４１２ｂおよび４１２ｃを受けうる。更に、バイノーラルキュー符号化符号器４１０は、例えば和信号でありうるダウンミックス信号４１６を得るために、ダウンミキサー４１４を使用してオーディオ入力信号４１２ａ〜４１２ｃをダウンミックスするように構成される。更に、バイノーラルキュー符号化符号器４１０は、補助情報信号４１９を得るために、解析器４１８を使用してオーディオ入力信号４１２ａ〜４１２ｃを解析するように構成されうる。和信号４１６および補助情報信号４１９は、バイノーラルキュー符号化符号器４１０からバイノーラルキュー符号化復号器４２０へ送られる。バイノーラルキュー符号化復号器４２０は、例えば、和信号４１６およびチャンネル間キュー４２４に基づいて、オーディオチャンネルｙ１、ｙ２、…、ｙNを含んでいるマルチチャンネルオーディオ出力信号を合成するように構成されうる。この目的のために、バイノーラルキュー符号化復号器４２０は、和信号４１６およびチャンネル間キュー４２４を受けるバイノーラルキュー符号化合成器４２２を含み、オーディオ信号ｙ１、ｙ２、…、ｙNを供給しうる。バイノーラルキュー符号化復号器４２０は、補助情報４１９および、任意選択的に、ユーザー入力４２７を受けるように構成される補助情報処理装置４２６を更に含む。補助情報処理装置４２６は、補助情報４１９および任意選択のユーザー入力４２７に基づいて、チャンネル間キュー４２４を供給するように構成される。
【００１１】
要約すると、オーディオ入力信号は、ＢＣＣ符号器４１０で、解析されて、ダウンミックスされる。和信号さらに補助情報は、ＢＣＣ復号器４２０に発信される。チャンネル間キューは、補助情報およびローカル・ユーザー入力から生成される。バイノーラルキュー符号化合成器は、マルチチャンネルオーディオ出力信号を生成する。
【００１２】
詳細のために、Ｃ．ファーラー、Ｆ．バウムガルテ著の論文「バイノーラルキュー符号化 −パート２：方式及び応用例」（音声及びオーディオ処理、ＩＥＥＥ会報、１１巻、Ｎｏ．６、２００３年１１月に掲載）を参照することができる。
【先行技術文献】
【非特許文献】
【００１３】
【非特許文献１】Ｃ．ファーラー、Ｆ．バウムガルテ、「知覚的なパラメータ表示を用いた空間オーディオ符号化の効率的表現」、ＩＥＥＥ会報、ＷＡＳＰＡＡ、モホンク、ニューヨーク、２００１年１０月（Ｃ．Ｆａｌｌｅｒ ａｎｄ Ｆ．Ｂａｕｍｇａｒｔｅ，“Ｅｆｆｉｃｉｅｎｔ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｏｆ ｓｐａｔｉａｌ ａｕｄｉｏ ｕｓｉｎｇ ｐｅｒｃｅｐｔｕａｌ ｐａｒａｍｅｔｅｒｉｚａｔｉｏｎ”，ＩＥＥＥ ＷＡＳＰＡＡ，Ｍｏｈｏｎｋ，ＮＹ，Ｏｃｔｏｂｅｒ ２００１）
【非特許文献２】Ｆ．バウムガルテ、Ｃ．ファーラー、「バイノーラルキュー符号化のための聴覚空間キューの推定」、ＩＣＡＳＳＰ論文、フロリダ州オーランド、２００２年５月（Ｆ．Ｂａｕｍｇａｒｔｅ ａｎｄ Ｃ．Ｆａｌｌｅｒ，“Ｅｓｔｉｍａｔｉｏｎ ｏｆ ａｕｄｉｔｏｒｙ ｓｐａｔｉａｌ ｃｕｅｓ ｆｏｒ ｂｉｎａｕｒａｌ ｃｕｅ ｃｏｄｉｎｇ”，ＩＣＡＳＳＰ，Ｏｒｌａｎｄｏ，ＦＬ，Ｍａｙ ２００２）
【非特許文献３】Ｃ．ファーラー、Ｆ．バウムガルテ、「バイノーラルキュー符号化：空間オーディオの新規で効率的な表現」、ＩＣＡＳＳＰ論文、フロリダ州オーランド、２００２年５月（Ｃ．Ｆａｌｌｅｒ ａｎｄ Ｆ．Ｂａｕｍｇａｒｔｅ，“Ｂｉｎａｕｒａｌ ｃｕｅ ｃｏｄｉｎｇ：ａ ｎｏｖｅｌ ａｎｄ ｅｆｆｉｃｉｅｎｔ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｏｆ ｓｐａｔｉａｌ ａｕｄｉｏ，”ＩＣＡＳＳＰ，Ｏｒｌａｎｄｏ，ＦＬ，Ｍａｙ ２００２）
【非特許文献４】Ｃ．ファーラー、Ｆ．バウムガルテ、「フレキシブルレンダリングを用いたオーディオ圧縮に応用されるバイノーラルキュー符号化」、ＡＥＳ第１１３回コンベンション、予稿集５６８６、ロサンゼルス、２００２年１０月（Ｃ．Ｆａｌｌｅｒ ａｎｄ Ｆ．Ｂａｕｍｇａｒｔｅ，“Ｂｉｎａｕｒａｌ ｃｕｅ ｃｏｄｉｎｇ ａｐｐｌｉｅｄ ｔｏ ａｕｄｉｏ ｃｏｍｐｒｅｓｓｉｏｎ ｗｉｔｈ ｆｌｅｘｉｂｌｅ ｒｅｎｄｅｒｉｎｇ”，ＡＥＳ １１３ｔｈ Ｃｏｎｖｅｎｔｉｏｎ，Ｌｏｓ Ａｎｇｅｌｅｓ，Ｐｒｅｐｒｉｎｔ ５６８６，Ｏｃｔｏｂｅｒ ２００２）
【非特許文献５】Ｃ．ファーラー、Ｆ．バウムガルテ、「バイノーラルキュー符号化 −パート２：方式及び応用例」、音声及びオーディオ処理、ＩＥＥＥ会報、 １１巻、Ｎｏ．６、２００３年１１月（Ｃ．Ｆａｌｌｅｒ ａｎｄ Ｆ．Ｂａｕｍｇａｒｔｅ，“Ｂｉｎａｕｒａｌ Ｃｕｅ Ｃｏｄｉｎｇ − Ｐａｒｔ ＩＩ： Ｓｃｈｅｍｅｓ ａｎｄ ａｐｐｌｉｃａｔｉｏｎｓ，”ＩＥＥＥ Ｔｒａｎｓ，ｏｎ Ｓｐｅｅｃｈ ａｎｄ Ａｕｄｉｏ Ｐｒｏｃ．，ｖｏｌ．１１，ｎｏ．６，Ｎｏｖ． ２００３）
【非特許文献６】Ｊ．ブリーバールト、Ｓ．ファン・デ・パール、Ａ．コーラウシュ、Ｅ．シュイヤース、「低ビットレートでの高品質パラメトリック空間オーディオ符号化」、ＡＥＳ第１１６回コンベンション、予稿集６０７２、ベルリン、２００４年５月（Ｊ．Ｂｒｅｅｂａａｒｔ， Ｓ．ｖａｎ ｄｅ Ｐａｒ， Ａ．Ｋｏｈｌｒａｕｓｃｈ， Ｅ．Ｓｃｈｕｉｊｅｒｓ，“Ｈｉｇｈ−Ｑｕａｌｉｔｙ Ｐａｒａｍｅｔｒｉｃ Ｓｐａｔｉａｌ Ａｕｄｉｏ Ｃｏｄｉｎｇ ａｔ Ｌｏｗ Ｂｉｔｒａｔｅｓ”， ＡＥＳ １１６ｔｈ Ｃｏｎｖｅｎｔｉｏｎ， Ｂｅｒｌｉｎ， Ｐｒｅｐｒｉｎｔ ６０７２， Ｍａｙ ２００４）
【非特許文献７】Ｅ．シュイヤース、Ｊ．ブリーバールト、Ｈ．プルンハーゲン、Ｊ．エングデガルト、「低煩雑性パラメトリックステレオ符号化」、ＡＥＳ第１１６回コンベンション、予稿集６０７３、ベルリン、２００４年５月（Ｅ．Ｓｃｈｕｉｊｅｒｓ， Ｊ．Ｂｒｅｅｂａａｒｔ， Ｈ．Ｐｕｒｎｈａｇｅｎ， Ｊ．Ｅｎｇｄｅｇａｒｄ，“Ｌｏｗ Ｃｏｍｐｌｅｘｉｔｙ Ｐａｒａｍｅｔｒｉｃ Ｓｔｅｒｅｏ Ｃｏｄｉｎｇ”， ＡＥＳ １１６ｔｈ Ｃｏｎｖｅｎｔｉｏｎ， Ｂｅｒｌｉｎ， Ｐｒｅｐｒｉｎｔ ６０７３， Ｍａｙ ２００４）
【非特許文献８】ＩＳＯ／ＩＥＣ ＪＴＣ １／ＳＣ ２９／ＷＧ １１、２３００３―１、ＭＰＥＧサラウンド（ＩＳＯ／ＩＥＣ ＪＴＣ １／ＳＣ ２９／ＷＧ １１， ２３００３−１， ＭＰＥＧ Ｓｕｒｒｏｕｎｄ）
【非特許文献９】Ｊ．ブラウエルト、空間聴覚：人間の音の定位の精神物理学、修正編集．ケンブリッジ、マサチューセッツ州、Ｔｈｅ ＭＩＴ Ｐｒｅｓｓ、１９９７（Ｊ． Ｂｌａｕｅｒｔ， Ｓｐａｔｉａｌ Ｈｅａｒｉｎｇ：Ｔｈｅ Ｐｓｙｃｈｏｐｈｙｓｉｃｓ ｏｆ Ｈｕｍａｎ Ｓｏｕｎｄ Ｌｏｃａｌｉｚａｔｉｏｎ， Ｔｈｅ ＭＩＴ Ｐｒｅｓｓ， Ｃａｍｂｒｉｄｇｅ， ＭＡ， ｒｅｖｉｓｅｄ ｅｄｉｔｉｏｎ １９９７）
【発明の概要】
【発明が解決しようとする課題】
【００１４】
上記のアプローチにおいて、適切にチャンネル間関係を制御することは、困難である。
【００１５】
したがって、チャンネル間関係に関してより良い正確さを供給する、ダウンミックス信号をアップミックスするための構想を創作することは望ましい。
【課題を解決するための手段】
【００１６】
本発明による実施形態は、ダウンミックスオーディオ信号を、一つ以上のアップミックスされたオーディオチャンネルを表しているアップミックスされたオーディオ信号にアップミックスするためのアップミキサーを創作する。アップミキサーは、アップミックスされたオーディオ信号を得るために、ダウンミックスオーディオ信号をアップミックスするためのアップミキシングパラメータを適用するように構成されたパラメータ適用器を含む。パラメータ適用器は、位相シフトに非相関信号を修正されないままにする一方で、ダウンミックスオーディオ信号の位相シフトされたバージョンを得るために、位相シフトをダウンミックスオーディオ信号に適用するように構成される。パラメータ適用器は、アップミックス信号を得るために、ダウンミックスオーディオ信号の位相シフトされたバージョンを非相関信号と結合するようにも構成される。
【００１７】
本発明によるいくつかの実施形態は、異なるアップミックスされたオーディオ信号間のチャンネル間相関が、位相シフト（例えば、空間キューに依存する時間可変の位相シフト）を非相関信号に適用することによって、低下させられるという発見に基づく。したがって、異なるアップミックスされたオーディオチャンネル間で適当なチャンネル間位相シフトを得るためにダウンミックス信号に適用される位相シフトに非相関信号を修正されないままにすることが望ましいことが分かっている。
【００１８】
したがって、本発明による改善された位相処理は、非相関信号部分を位相シフトすることにより生じるであろう（アップミックスされたオーディオチャンネルの）誤った出力チャンネル間相関を防止することに貢献する。
【００１９】
好ましい実施形態において、アップミキサーは、非相関信号がダウンミックスオーディオ信号の非相関バージョンであるように、非相関信号を得るように構成される。このように、非相関信号は、ダウンミックス信号から容易に得ることができる。しかし、いくつかの他の実施形態において、異なる構想は、非相関信号を得るために使用されうる。非常にシンプルな解決策において、雑音信号が非相関信号として使用されうる。
【００２０】
好ましい実施形態において、アップミキサーは、ダウンミックスオーディオ信号を、複数のアップミックスされたオーディオチャンネルを表しているアップミックスされたオーディオ信号にアップミックスするように構成される。この場合、パラメータ適用器は、第１のアップミックスされたオーディオチャンネル信号および第２のアップミックスされたオーディオチャンネル信号を得るために、非相関信号を使用してダウンミックスオーディオ信号をアップミックスするために、アップミキシングパラメータを適用するように構成される。パラメータ適用器は、互いに関して時間的位相シフトを含んでいるダウンミックスオーディオ信号の少なくとも２つのバージョンを得るために、時間的位相シフトをダウンミックスオーディオ信号に適用するように構成される。パラメータ適用器は、非相関信号が時間的位相シフトに影響を受けないままであるように、少なくとも２つのアップミックスされたオーディオチャンネル信号を得るために、ダウンミックスオーディオ信号の少なくとも２つのバージョンを非相関信号と結合するようにも構成される。したがって、アップミックスされたオーディオ信号の複数のチャンネル信号を得ることができ、（アップミックスされたオーディオ信号の）複数のアップミックスされたチャンネルの中の非相関信号部分は、その相関している信号部分間に導入された相対的な位相シフトに影響を受けない。従って、アップミックスされたオーディオチャンネル間のチャンネル間相関は、より良い正確さで制御できる。
【００２１】
実施形態において、非相関信号を示している第１のアップミックスされたオーディオチャンネル信号の信号部分および非相関信号を示している第２のアップミックスされたオーディオチャンネル信号の信号部分が、時間的に一定の位相関係、例えば互いに関して同相または１８０°逆位相にあるように、ダウンミックスオーディオ信号の少なくとも２つのバージョンを、非相関信号と結合するように構成される。従って、非相関信号を示している信号部分は、アップミックスされたオーディオチャンネル信号の相関を調整するのに効果的に働くことができる。対照的に、非相関信号を示している信号部分が、異なるアップミックスされたオーディオチャンネル信号において、互いに関して任意選択的に、または、可変的に位相シフトされる場合、所望のチャンネル間相関の調整は低下させられる、または、防止されさえするだろう。
【００２２】
本発明による実施形態において、パラメータ適用器は、非相関信号が時間的位相シフトに影響を受けないままにされる非相関信号と、（互いに関して時間的位相シフトを含んでいる）ダウンミックスオーディオ信号の少なくとも２つのバージョンを結合する前に、互いに関して時間的位相シフトを含んでいるダウンミックスオーディオ信号の少なくとも２つのバージョンを得るように構成される。その結果生じたものを非相関信号と結合する前に時間的位相シフトを適用することによって、非相関信号は、時間的位相シフトに影響を受けないままにされる。従って、結果として生じるアップミックスされたオーディオチャンネル信号の相関特性は、正確に調整できる。
【００２３】
本発明による実施形態において、アップミキサーは、チャンネル間位相差パラメータに基づいて、ダウンミックスオーディオ信号に適用される位相シフトを決定するように構成されるパラメータ決定器を含む。したがって、位相シフトは、所望の人のヒアリング印象に合うように適合される。
【００２４】
本発明による実施形態において、パラメータ適用器は、ダウンミックス信号の一つ以上のサンプルおよび非相関信号の一つ以上のサンプルを示している入力ベクトルを、アップミックスパラメータを示しているマトリクスエントリを含んでいるマトリクスと掛けるように構成されたマトリクスベクトル乗算器を含む。その乗算は、結果として、第１のアップミックスされたオーディオ信号チャンネルの一つ以上のサンプルおよび第２のアップミックスされたオーディオ信号チャンネルの一つ以上のサンプルを示している出力ベクトルを得るために実行される。アップミキサーは、ダウンミックスオーディオ信号と関連した空間キューに基づいて、マトリクスエントリを得るように構成されたパラメータ決定器を含む。パラメータ決定器は、非相関信号の一つ以上のサンプルに適用されるマトリクスエントリの位相を、時変の位相回転に影響を受けないままにする一方で、時変の位相回転をダウンミックス信号の一つ以上のサンプルに適用されるマトリクスエントリだけに適用するように構成される。いくつかのマトリクスエントリ、すなわち、非相関信号に適用されるものを時変の位相回転に影響を受けないままにすることによって、本発明概念の効率的な実施を得ることができる。必要とされるコンピュータの作業量は、固定した位相値（または、例えば、空間キューとは独立した実数値でありうる）を含むいくつかのマトリクス要素を有することによって低減できる。加えて、位相値が一定である場合、マトリクスエントリの決定は、当然に比較的単純である。
【００２５】
実施形態において、マトリクスベクトル乗算器は、ダウンミックスオーディオ信号のサンプルおよび非相関信号のサンプルを複素数値の表現で受けるように構成される。加えて、マトリクスベクトル乗算器は、位相シフトを適用するために複素数値のマトリクスエントリを入力ベクトルに適用し、そして、複素数値の表現でアップミックスされたオーディオ信号チャンネルのサンプルを得るように構成される。この場合、パラメータ決定器は、ダウンミックスオーディオ信号と関連したチャンネル間レベル差パラメータおよび／またはチャンネル間相関パラメータおよび／またはチャンネル間コヒーレンスパラメータ（またはチャンネル間相関またはコヒーレンスパラメータ）に基づいて、マトリクスエントリの実数値または強度値を計算するように構成される。加えて、パラメータ決定器は、ダウンミックスオーディオ信号と関連したチャンネル間位相差パラメータに基づいて、ダウンミックス信号の一つ以上のサンプルに適用されるマトリクスエントリの位相値を計算するように構成される。加えて、パラメータ決定器は、ダウンミックス信号の一つ以上のサンプルに適用されるマトリクスエントリを得るために、対応する位相値に応じてダウンミックス信号の一つ以上のサンプルに適用されるマトリクスエントリの強度値に複素回転を適用するように構成される。したがって、マトリクスエントリの効率的な多段階決定を実行できる。マトリクスエントリの実数値または強度値は、チャンネル間位相差を考慮せずに算出できる。同様に、マトリクスエントリの位相値は、チャンネル間レベル差パラメータまたはチャンネル間相関／コヒーレンスパラメータを考慮せずに得ることができる。そして、そのことは計算の任意の並列化を可能にさせる。加えて、アップミックスされたオーディオチャンネル信号のチャンネル間相関がより良い正確さで調整できるように、マトリクスエントリは効率よく構成できる。
【００２６】
本発明による実施形態は、ダウンミックスオーディオ信号を、アップミックスされたオーディオ信号にアップミックスするための方法を創作する。
【００２７】
本発明による他の実施形態は、本発明の方法の機能を実行するためのコンピュータ・プログラムを含む。
【００２８】
本発明による実施形態は、同封された図を参照として、以下に説明される。
【図面の簡単な説明】
【００２９】
【図１】図１は、本発明の一実施形態によるダウンミックスオーディオ信号をアップミックスされたオーディオ信号にアップミックスするためのアップミキサーのブロック略図を示す。
【図２】図２は、本発明の他の実施形態によるダウンミックスオーディオ信号をアップミックスされたオーディオ信号にアップミックスするためのアップミキサーの詳細なブロック略図を示す。
【図３ａ】図３ａは、本発明の一実施形態によるダウンミックスオーディオ信号をアップミックスされたオーディオ信号にアップミックスする方法のフローチャートを示す。
【図３ｂ】図３ｂは、本発明の一実施形態による一組のアップミックスパラメータを得るための方法のブロック略図を示す。
【図４】図４は、従来の一般的なバイノーラルキュー符号化スキームのブロック略図を示す。
【発明を実施するための形態】
【００３０】
「図１による実施形態」
図１は、本発明の一実施形態によるアップミキサー１００のブロック略図を示す。図１は、簡単のため、単一チャンネルをアップミックスすることを示す。当然、本願明細書において開示された構想は、例えば、図２に関して、後述するように、マルチチャンネルシステムにも適用できる。
【００３１】
アップミキサー１００は、ダウンミックスオーディオ信号１１０を受け、ダウンミックスオーディオ信号１１０を、一つ以上のアップミックスされたオーディオチャンネルを表しているアップミックスされたオーディオ信号１２０にアップミックスするように構成される。
【００３２】
アップミキサーは、アップミックスされたオーディオ信号１２０を得るために、ダウンミックスオーディオ信号１１０をアップミックスするためのアップミキシングパラメータを適用するように構成されるパラメータ適用器１３０を含む。パラメータ適用器１３０は、非相関信号１５０を位相シフトに修正されないままにする一方で、ダウンミックスオーディオ信号１１０の位相シフトされたバージョン１４２を得るために、位相シフト（参照番号１４０で示される）をダウンミックスオーディオ信号１１０に適用するように構成される。パラメータ適用器１３０は、アップミックスされたオーディオ信号１２０を得るために、ダウンミックスオーディオ信号１１０の位相シフトされたバージョン１４２を非相関信号１５０と結合（参照番号１６０で示される）するように更に構成される。
【００３３】
位相シフトをダウンミックスオーディオ信号１１０だけに適用し、非相関信号１５０（それは、例えば、ダウンミックスオーディオ信号１１０の非相関バージョンでありうる）には適用しないことによって、アップミックスされたオーディオ信号１２０は非相関部分を含む。そこにおいて、アップミックスされたオーディオ信号１２０の非相関部分は非相関信号１５０に基づき、そして、非相関部分の位相はダウンミックスオーディオ信号１１０に適用された位相シフトに影響を受けないままにされる。したがって、ダウンミックスオーディオ信号１１０と相関しているアップミックスされたオーディオ信号１２０の信号部分は、適用された位相シフトに応じて、（例えば時変の方法で）位相シフトされる。その一方で、ダウンミックスオーディオ信号１１０とは非相関である一部のアップミックスされたオーディオ信号１２０は位相シフトに影響を受けないままにされる。したがって、（更なるアップミックスされたオーディオ信号に関して）アップミックスされたオーディオ信号のチャンネル間相関特性の調整は、ダウンミックスオーディオ信号に適用された時変の位相シフトを考慮する必要性を有さずに、高い正確性をもって実行できる。
【００３４】
「図２ａおよび図２ｂによる実施形態」
図２ａおよび図２ｂは、本発明の他の実施形態による装置２００の詳細なブロック略図を示す。
【００３５】
装置２００は、ダウンミックスオーディオ信号２１０を受けて、ダウンミックスオーディオ信号２１０をアップミックスされたオーディオ信号２２０にアップミックスするように構成される。アップミックスされたオーディオ信号２２０は、例えば、第１のアップミックスされたオーディオチャンネル２２２ａおよび第２のアップミックスされたオーディオチャンネル２２２ｂを表す。
【００３６】
ダウンミックスオーディオ信号２１０は、例えば、空間オーディオ符号器によって供給された和信号（例えばバイノーラルキュー符号化符号器４１０によって供給された和信号４１６）でありうる。ダウンミックスオーディオ信号２１０は、例えば、複素数値の周波数分解の形で示されうる。例えば、ダウンミックスオーディオ信号は、（時間的インデックスｋによって示された）オーディオサンプル更新間隔ごとに、（複数の周波数バンドのうち）周波数バンドごとに１つのサンプルを含みうる。
【００３７】
以下に、１つの周波数バンドにおけるサンプルの処理について、説明される。しかし、他の周波数バンドのオーディオサンプルは、同様に処理できる。換言すれば、本発明によるいくつかの実施形態において、異なる周波数バンドは、独立に処理されうる。
【００３８】
同様に、第１のアップミックスされたオーディオチャンネル信号２２２ａが、複素数値のサンプルの形で、アップミックスされたオーディオ信号２２０の特定の周波数バンドのオーディオ内容を示すと仮定される。同様に、第２のアップミックスされたオーディオチャンネル信号２２２ｂが、複素数値のサンプルの形で、考慮の対象の特定の周波数バンドのオーディオ内容を示すと仮定される。しかし、異なる周波数バンドに対するアップミックスされたオーディオチャンネル信号は、本願明細書において説明された同じ構想により得られうる。
【００３９】
装置２００の周波数バンド処理（すなわち、単一の周波数バンドのためのアップミックス信号の生成）は、従って、考慮の対象の周波数バンドのオーディオ内容の続く複素数値のサンプルのシーケンスを表しているストリームｘ（ｋ）を受けるように構成される。この表現法において、ｋは時間インデックスとして働く。以下では、ｘ（ｋ）は、簡潔に「ダウンミックスオーディオ信号」として表される。そして、ｘ（ｋ）が全体の（多重周波数バンドの）ダウンミックスオーディオ信号のうちの考慮の対象の一つの周波数バンドのオーディオ内容を単に表しているだけであることに留意する。
【００４０】
周波数バンド処理は、ダウンミックスオーディオ信号ｘ（ｋ）を受け、それに基づいて、ダウンミックスオーディオ信号ｘ（ｋ）の非相関バージョンｑ（ｋ）を供給するように構成される非相関器２３０を含む。非相関バージョンｑ（ｋ）は、複素数値のサンプルのシーケンスによって示されうる。周波数バンド処理はまた、ダウンミックスオーディオ信号ｘ（ｋ）およびダウンミックスオーディオ信号の非相関バージョンｑ（ｋ）を受けて、それに基づいて、第１のアップミックスされたオーディオチャンネル信号２２２ａおよび第２のアップミックスされたオーディオチャンネル信号２２２ｂを供給するように構成されるパラメータ適用器２４０を含む。
【００４１】
図２の実施形態において、パラメータ適用器２４０は、アップミックスされたオーディオチャンネル信号２２２ａ、２２２ｂを得るために、ダウンミックスオーディオ信号ｘ（ｋ）およびダウンミックスオーディオ信号の非相関バージョンｑ（ｋ）の重み付けされた線形結合を実行するように構成されるマトリクスベクトル乗算器２４２（または他の適切な手段）を含む。ｘ（ｋ）およびｑ（ｋ）の重み付けは、重み付けマトリクスＨ（ｋ）のエントリにより決定される。そこにおいて、重み付けマトリクスエントリは、時間的でありうる（すなわち、時間インデックスｋに依存している）。以下に詳述するように、一般に、重み付けマトリクスＨ（ｋ）のエントリのいくつかは、複素数値でありうる。
【００４２】
図２の実施形態において、第１のアップミックスされたオーディオチャンネル信号２２２ａのサンプルｙ1（ｋ）は、複素数値のマトリクスエントリＨ11により重み付けされたダウンミックスオーディオ信号のサンプルｘ（ｋ）と（一般的に、必ずではないが、実数値の）マトリクスエントリＨ12で重み付けされた非相関信号の時間的に対応しているサンプルｑ（ｋ）を足すことにより得られる。同様に、第２のアップミックスされたオーディオチャンネル信号２２２ｂのサンプルｙ2（ｋ）は、複素数値のマトリクスエントリＨ21により重み付けされたダウンミックスオーディオ信号のサンプルｘ（ｋ）と（一般的に実数値の）マトリクスエントリＨ22で重み付けされた非相関信号の時間的に対応しているサンプルｑ（ｋ）を足すことにより得られる。
【００４３】
したがって、位相シフトまたは位相回転は、アップミックスされたオーディオチャンネル信号２２２ａ、２２２ｂのサンプルｙ1（ｋ）、ｙ2（ｋ）をそこから導き出すとき、（相関する）ダウンミックスオーディオ信号のサンプルｘ（ｋ）に適用される。対照的に、アップミックスされたオーディオチャンネル信号２２２ａ、２２２ｂのサンプルへの非相関信号のサンプルｑ（ｋ）の寄与を算出するときに、位相シフトまたは位相回転の適用は回避される。
【００４４】
以下に、マトリクスＨのマトリクスエントリＨ11、Ｈ12、Ｈ21、Ｈ22をどのように得ることができるかについて、説明する。
【００４５】
この目的のために、装置２００は、アップミックスパラメータを表している補助情報２６２を受けるように構成される補助情報処理装置２６０を含む。補助情報２６２は、例えば、チャンネル間レベル差パラメータ、チャンネル間相関又はコヒーレンスパラメータ、チャンネル間時間差パラメータ、あるいは、チャンネル間位相差パラメータのような空間キューを含みうる。前記パラメータＩＬＤ、ＩＣＣ、ＩＴＤ、ＩＰＤは、空間符号化の当該技術分野でよく知られており、ここでは詳述しない。
【００４６】
補助情報処理装置２６０は、マトリクスベクトル乗算器２４２（それは、参照番号２６４で示される）に（全部の）マトリクスエントリＨ11、Ｈ12、Ｈ21、Ｈ22を供給するように構成される。従って、補助情報処理装置２６０を「パラメータ決定器」とみなすこともできる。
【００４７】
【００４８】
補助情報処理装置２６０は、アップミックスされたオーディオチャンネル信号２２２ａ、２２２ｂの異なる信号成分間の位相シフトを示している空間キューを受けるように構成されるアップミックスパラメータ位相シフト角決定器２８０を含む。例えば、アップミックスパラメータ位相シフト角度決定器２８０は、チャンネル間位相差パラメータ２８２を受けるように構成される。アップミックスパラメータ位相シフト角度決定器２８０は、２８４でも表される、ダウンミックスオーディオ信号と関連した位相シフト角度値α1、α2を供給するようにも構成される。チャンネル間位相差パラメータ２８２に基づいた位相シフト角度値の計算は、当該技術分野においてよく知られている。そうであるので、詳細な説明はここで省略される。例えば、節「参照」中で引用された文書や、また、当業者によく知られた他の刊行物を参照することができる。
【００４９】
補助情報処理装置２６０は、実数値のマトリクスエントリ２７２および位相シフト角度値２８４を受けて、それに基づいて、マトリクスＨ（また、時間依存性を示すために、Ｈ（ｋ）とも表される）の（全部の）マトリクスエントリを計算するように構成されるマトリクスエントリ回転器２９０を更に含む。この目的のために、マトリクスエントリ回転器２９０は、位相シフト角度値α1、α2を、ダウンミックスオーディオ信号ｘ（ｋ）への適用を目的としたそれら実数値のマトリクスエントリ２７２（および、好ましくは、それらのみ）に適用するように構成されうる。対照的に、マトリクスエントリ回転器２９０は、非相関信号ｑ（ｋ）のサンプルに適用されることを目的とするそれら実数値のマトリクスエントリを位相シフト角度値α1、α2に影響を受けないままにするように好ましくは構成される。従って、非相関信号ｑ（ｋ）のサンプルに（マトリクスベクトル乗算器２４２によって）適用されることを目的とするそれらマトリクスエントリは、アップミックスパラメータ実数値決定器２７０によって供給されたように実数値のままである。しかし、いくつかの実施形態において、符号の逆変換は生じうる。
【００５０】
【００５１】
したがって、マトリクスエントリ回転器２９０は、マトリクスＨの（全部の）マトリクスエントリを導き出し、マトリクスベクトル乗算器２４２にこれらの（全部の）マトリクスエントリを供給するように構成される。
【００５２】
通常通り、マトリクスＨのマトリクスエントリは、装置２００の演算の間、更新されうる。例えば、補助情報２６２の新規な一組が、装置２００によって受け取られるときはいつでも、マトリクスＨのマトリクスエントリ２６４は、更新されうる。他の実施形態において、補間は、実行されうる。このように、マトリクスエントリ２６４は、補間が適用されうるいくつかの実施形態において、オーディオサンプル更新間隔ｋごとに、一回更新されうる。
【００５３】
以下では、図２ａおよび図２ｂに関して詳述された本発明の構想が、簡潔に要約される。本発明による実施形態は、非相関信号の一部の位相をシフトすることによって生じる誤った出力チャンネル間相関を防止する改善された位相処理によって、アップミキシング技術を強化する。
【００５４】
説明を簡単にするため、図２に示された実施形態、並びに以下の説明は、１から２チャンネルへのアップミックスだけに限定する。例えば１から２チャンネルへの復号器のアップミックス処置は、アップミックスマトリクスＨを用いた、「ドライ信号」と呼ばれるダウンミックス信号ｘ、および、「ウェット信号」と呼ばれるダウンミックス信号ｑの非相関バージョンから成るベクトルのマトリクス乗算によって実行される。ウェット信号ｑは、（非相関器２３０の形の）非相関フィルタを介してダウンミックス信号ｘを送ることによって生成されうる。出力信号ｙは、出力（例えば第１のアップミックスオーディオチャンネル信号２２２ａおよび第２のアップミックスオーディオチャンネル２２２ｂ）の第１および第２のチャンネルを含んでいるベクトルである。
【００５５】
【００５６】
マトリクスベクトル乗算器２４２によって実行されうる前記マトリクス演算はまた、図２に示される。そこにおいて、時間インデックスｋは、入力サンプルｘ、ｙ、アップミックスされた出力サンプルｙ1、ｙ2、更にはアップミックスマトリクスＨが、一般的に時変であることを示す。
【００５７】
アップミックスマトリクスＨの係数（又はマトリクスエントリ）Ｈ11、Ｈ12、Ｈ21、Ｈ22は、例えば補助情報処理装置２６０を使用して、空間キューから導き出される。マトリクスベクトル乗算器２４２によって実行されるマトリクス演算は、ＩＣＣによるドライ信号ｘとウェット信号ｑのミキシング、および、ＩＬＤによる出力チャンネル２２２ａ、２２２ｂの重み付けを適用する。複素数値の係数を使用することにより、ＩＰＤによる更なる位相シフトは、（以下に説明されるように）適用できる。
【００５８】
ウェット信号ｑは、ｘとｑ間の相関が十分にゼロに近い方法で設計される非相関性フィルタ（例えば非相関器２３０）にダウンミックス信号ｘを通すことによって生成される。送られたＩＣＣによって表される２チャンネル間の元の相関度を再現するために、信号ｘおよびｑは、２つの出力チャンネル２２２ａ、２２２ｂに対して異なってミックスされる。ミキシング係数（例えばマトリクスＨのマトリクスエントリ）は、出力チャンネルの相関が送信されたＩＣＣと整合する方法で算出される。
【００５９】
送信されたＩＰＤによって表される２チャンネル間の位相関係は、位相シフトを出力信号に適用することによって再現される。２つの信号は、通常、異なる角度で回転される。
【００６０】
従来の復号器は、位相シフトを全部の出力信号に適用する。そして、そのことは、ドライおよびウェットの信号成分が処理されることを意味する。
【００６１】
送信されたＩＰＤは、２チャンネル間の位相角の差を表す。無相関の信号に対して定めることのできる位相差はないので、ＩＰＤ値は、相関している信号成分に常に基づくことが分かっている。従って、位相回転を出力チャンネルのウェット信号の一部に適用することは必要でないことが分かっている。更に、ドライおよびウェットのミキシングの計算は、同じ非相関信号が両方のチャンネルにミックスされるという仮定に基づきうるので、２チャンネル（非相関信号部分を含む）への異なる位相シフトの適用により、結果として誤った出力相関度が生じうることが分かっている。
【００６２】
ドライおよびウェット信号のミキシングのための一般のアプローチは、両方のチャンネルに同じ量のウェット信号を異なる符号でミックスすることである。異なる位相シフトが、（例えば、ドライ信号ｘおよびウェット信号ｑを結合した後に）出力チャンネルに適用される場合、ウェット信号部分のこの異相特性が破壊され、そして、結果として非相関性の損失となることが分かっている。
【００６３】
対照的に、本発明の解決案は、所望の非相関度を維持するのに役立つ。
【００６４】
以下では、上記の実施形態に関する更なる詳細が説明される。本発明による実施形態において、（従来のアップミックス技術と比較したとき）修正されたアップミックスは、チャンネル間位相差（ＩＰＤ）によるこの回転によって非相関性の損失を回避するために使用される。上述の通り、ウェット信号部分の位相シフトが、結果として非相関性の損失をもたらしうるし、チャンネル間の元の位相関係の再構成のために必要でないことが分かっている。複素係数を使用してアップミックスマトリクスＨの位相シフトを適用するときに、その処理はドライ信号によって乗算されたそれらの係数の回転しかしないことによってドライ信号に限定できる。
【００６５】
以下に、アップミックスマトリクスＨまたはアップミックスパラメータ（例えばアップミックスマトリクスＨのエントリ）を得るために使用できる方法は説明される。
【００６６】
【００６７】
（第１ステップと並列に、または、「第１ステップ」の前にさえ、任意選択で実行されうる）次のステップにおいて、例えば２出力チャンネルα1およびα2のための位相シフト角度は、通常通り、送信されたＩＰＤから（例えば、アップミックスパラメータ位相シフト決定器２８０において）算出される。
【００６８】
【００６９】
この修正されたアップミックスマトリクスを使用して、位相回転は、（例えば、マトリクスＨを適用しているマトリクスベクトル乗算器２４２によって）ドライ信号部分に適用されるだけであり、その一方で、ウェット信号部分は修正されず、そして、正しい非相関性は保持される。
【００７０】
「図３ａによる方法」
図３ａは、ダウンミックスオーディオ信号を、一つ以上のアップミックスされたオーディオチャンネルを表しているアップミックスされたオーディオ信号にアップミックスするための方法３００のフローチャートを示す。方法３００は、一般に、アップミックスされたオーディオ信号を得るために、アップミックスダウンミックスオーディオ信号をアップミックスするためのアップミキシングパラメータを適用するステップ３１０を含む。アップミキシングパラメータを適用するステップ３１０は、非相関信号を位相シフトに修正されないままにする一方で、ダウンミックスオーディオ信号の位相シフトされたバージョンを得るために、位相シフトをダウンミックスオーディオ信号に適用するステップ３２０を含む。アップミキシングパラメータを適用するステップ３１０は、アップミックスされたオーディオを得るために、ダウンミックスオーディオ信号の位相シフトされたバージョンを非相関信号と結合するステップ３３０を更に含む。
【００７１】
方法３００が本願明細書において説明された機能のいずれかによって補充できる点に留意する必要があり、本発明の装置に関しても同様である。
【００７２】
「図３ｂによる方法」
本発明の一実施形態によれば、図３ｂは、一組のアップミックスパラメータを得るための方法３５０を示す。方法３５０は、寄与のインテンシティを示している一つ以上の空間キュー（例えばＩＬＤ、ＩＣＣ）に応じて、アップミックスされたオーディオチャンネル信号（例えばｙ1、ｙ2）へのダウンミックス信号（例えば信号ｘ）および非相関信号（例えば信号ｑ）の所望の寄与のインテンシティを表している実数値のアップミックスパラメータ（例えば実数値のマトリクスエントリ）を得る第１のステップ３６０を含む。方法３５０は、チャンネル間位相シフト（例えばＩＰＤ）を示している一つ以上の空間キューに応じて、異なるアップミックスされたオーディオチャンネル信号（例えばｙ1、ｙ2）のダウンミックスオーディオ信号の要素間の所望の位相シフトを表している位相シフト値（例えばα1、α2）を得る第２のステップ３７０を更に含む。方法３５０は、アップミックスパラメータの組の全部のアップミックスパラメータを得るために、非相関信号に適用されることを目的とする実数値のアップミックスパラメータを、位相シフト角度値に影響を受けないままにする一方で、位相シフト角度値に応じて、ダウンミックスオーディオ信号に適用されることを目的とした実数値のアップミックスパラメータを回転させる（位相シフトさせる）ステップ３８０を更に含む。
【００７３】
方法３５０は、本願明細書において説明された特徴および機能のいずれによっても補充でき、本発明の装置に関しても同様である。
【００７４】
「コンピュータ・プログラム実施例」
特定の実現要求に応じて、本発明の実施形態は、ハードウェアにおいて、または、ソフトウェアにおいて実施できる。その実施は、各方法が実施されるように、プログラミング可能なコンピュータシステムと協動する（または協動できる）、それに格納された電子的に読み込み可能な制御信号を有するデジタル記憶媒体、例えばフロッピー（登録商標）ディスク、ＤＶＤ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭまたはＦＬＡＳＨメモリを使用して実施できる。
【００７５】
本発明によるいくつかの実施形態は、本願明細書において説明された方法のうちの１つが実施されるように、プログラミング可能なコンピュータシステムと協動できる電子的に読み込み可能な制御信号を有するデータキャリアを含む。
【００７６】
通常、本発明の実施形態は、プログラムコードを有するコンピュータ・プログラム製品として実施でき、そして、コンピュータ・プログラム製品がコンピュータ上で動作するときに、プログラムコードがその方法のうちの１つを実施するために働く。プログラムコードは、例えば、機械読み取り可能なキャリアに格納できる。
【００７７】
他の実施形態は、機械読み取り可能なキャリアに格納された、本願明細書において説明された方法のうちの１つを実施するためのコンピュータ・プログラムを含む。換言すれば、本発明の方法の実施形態は、従って、コンピュータ・プログラムはコンピュータ上で動作するときに本願明細書において説明された方法のうちの１つを実施するためのプログラムコードを有するコンピュータ・プログラムである。
【００７８】
従って、本発明の方法の更なる実施形態は、それに記録され、本願明細書において説明された方法のうちの１つを実施するためのコンピュータ・プログラムを含んでいるデータキャリア（またはデジタル記憶媒体またはコンピュータ読み取り媒体）である。
【００７９】
従って、本発明の方法の更なる実施形態は、本願明細書において説明された方法のうちの１つを実施するためのコンピュータ・プログラムを示しているデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、データ通信接続を介して、例えばインターネットを介して、送信されるように例えば構成されうる。
【００８０】
更なる実施形態は、本願明細書において説明された方法のうちの１つを実施するように構成された、又は、適合された処理手段、例えばコンピュータまたはプログラミング可能な論理回路を含む。
【００８１】
更なる実施形態は、本願明細書において説明された方法のうちの１つを実施するためのコンピュータ・プログラムをインストールしているコンピュータを含む。
【００８２】
いくつかの実施形態において、プログラミング可能な論理回路（例えばフィールド・プログラマブル・ゲート・アレイ）は、本願明細書において説明された方法の機能のいくつかまたは全てを実施するために使用されうる。いくつかの実施形態において、フィールド・プログラマブル・ゲート・アレイは、本願明細書において説明された方法のうちの１つを実施するために、マイクロプロセッサと協動しうる。
【００８３】
「結論」
上記を要約すると、正しい非相関性を保持する一方で、元のチャンネル間位相差を再現するための改善されたアップミキシング方法が説明された。本発明による実施形態は、非相関器出力の不必要な位相処理によって生じる出力信号の非相関性の損失を防止することによって、他の技術に取って代わる。
【００８４】
「参照」
［１］Ｃ．ファーラー、Ｆ．バウムガルテ、「知覚的なパラメータ表示を用いた空間オーディオ符号化の効率的表現」、ＩＥＥＥ会報、ＷＡＳＰＡＡ、モホンク、ニューヨーク、２００１年１０月
［２］Ｆ．バウムガルテ、Ｃ．ファーラー、「バイノーラルキュー符号化のための聴覚空間キューの推定」、ＩＣＡＳＳＰ論文、フロリダ州オーランド、２００２年５月
［３］Ｃ．ファーラー、Ｆ．バウムガルテ、「バイノーラルキュー符号化：空間オーディオの新規で効率的な表現」、ＩＣＡＳＳＰ論文、フロリダ州オーランド、２００２年５月
［４］Ｃ．ファーラー、Ｆ．バウムガルテ、「フレキシブルレンダリングを用いたオーディオ圧縮に応用されるバイノーラルキュー符号化」、ＡＥＳ第１１３回コンベンション、予稿集５６８６、ロサンゼルス、２００２年１０月
［５］Ｃ．ファーラー、Ｆ．バウムガルテ、「バイノーラルキュー符号化 −パート２：方式及び応用例」、音声及びオーディオ処理、ＩＥＥＥ会報、１１巻、Ｎｏ．６、２００３年１１月
［６］Ｊ．ブリーバールト、Ｓ．ファン・デ・パール、Ａ．コーラウシュ、Ｅ．シュイヤース、「低ビットレートでの高品質パラメトリック空間オーディオ符号化」、ＡＥＳ第１１６回コンベンション、予稿集６０７２、ベルリン、２００４年５月
［７］Ｅ．シュイヤース、Ｊ．ブリーバールト、Ｈ．プルンハーゲン、Ｊ．エングデガルト、「低煩雑性パラメトリックステレオ符号化」、ＡＥＳ第１１６回コンベンション、予稿集６０７３、ベルリン、２００４年５月
［８］ＩＳＯ／ＩＥＣ ＪＴＣ １／ＳＣ ２９／ＷＧ １１、２３００３―１、ＭＰＥＧサラウンド
［９］Ｊ．ブラウエルト、空間聴覚：人間の音の定位の精神物理学、修正編集．ケンブリッジ、マサチューセッツ州、Ｔｈｅ ＭＩＴ Ｐｒｅｓｓ、１９９７
【特許請求の範囲】
【請求項１】
ダウンミックスオーディオ信号（１１０；２１０）を、一つ以上のアップミックスされたオーディオチャンネル（２２２ａ、２２ｂ）を表しているアップミックスされたオーディオ信号（１２０；２２０）にアップミックスするためのアップミキサー（１００；２００）であって、前記アップミキサーは、
前記アップミックスされたオーディオ信号（１２０；２２０）を得るために、前記ダウンミックスオーディオ信号（１１０；２１０）をアップミックスするためのアップミキシングパラメータ（Ｈ11、Ｈ12、Ｈ21、Ｈ22）を適用するように構成されたパラメータ適用器（１３０；２４０）を含み、
前記パラメータ適用器（１３０；２４０）は、非相関信号（１５０；ｑ）を位相シフトにより修正されないままにする一方で、前記ダウンミックスオーディオ信号の位相シフトされたバージョンを得るために、前記位相シフトを前記ダウンミックスオーディオ信号（１１０；ｘ）に適用するように、および、
前記アップミックスされたオーディオ信号（１２０；２２０）を得るために、前記ダウンミックスオーディオの前記位相シフトされたバージョンを前記非相関信号（１５０；ｑ）と結合するように構成されること、を特徴とする、前記アップミキサー。
【請求項２】
前記アップミキサーは、前記非相関信号が前記ダウンミックスオーディオ信号（１１０；ｘ）の非相関バージョンであるように、前記非相関信号（１５０；ｑ）を得るように構成されること、を特徴とする、請求項１に記載のアップミキサー（１００；２００）。
【請求項３】
前記アップミキサー（１００；２００）は、前記ダウンミックスオーディオ信号（１１０；ｘ）を、複数のアップミックスされたオーディオチャンネル（２２２ａ、２２２ｂ）を表しているアップミックスされたオーディオ信号（１２０；２２０）にアップミックスするように構成されること、
前記パラメータ適用器（１３０；２４０）は、第１のアップミックスされたオーディオチャンネル信号（ｙ1）および第２のアップミックスされたオーディオチャンネル信号（ｙ2）を得るために、前記非相関信号（１５０；ｑ）を使用して前記ダウンミックスオーディオ信号（１１０；ｘ）をアップミックスするための前記アップミキシングパラメータ（Ｈ11、Ｈ12、Ｈ21、Ｈ22）を適用するように構成されること、
前記パラメータ適用器（１３０；２４０）は、互いに関して時間的位相シフト（α1−α2）を含んでいる前記ダウンミックスオーディオ信号の少なくとも２つのバージョン（Ｈ11 ｘ、Ｈ21 ｘ）を得るために、時間的位相シフト（α1、α2）を前記ダウンミックスオーディオ信号（１１０；ｘ）に適用するように構成されること、および、
前記パラメータ適用器（１３０；２４０）は、前記非相関信号が前記時間的位相シフト（α1−α2）に影響を受けないままであるように、少なくとも２つのアップミックスされたオーディオチャンネル信号（ｙ1、ｙ2）を得るために、前記ダウンミックスオーディオ信号の前記少なくとも２つのバージョンを、前記非相関信号（１５０；ｑ）と結合するように構成されること、を特徴とする、請求項１又は請求項２に記載のアップミキサー（１００；２００）。
【請求項４】
前記パラメータ適用器（１３０；２４０）は、前記非相関信号（１５０；ｑ）を示している前記第１のアップミックスされたオーディオチャンネル信号（ｙ1）の信号部分および前記非相関信号（１５０；ｑ）を示している前記第２のアップミックスされたオーディオチャンネル信号（ｙ2）の信号部分が時間的に一定の位相関係にあるように、前記ダウンミックスオーディオ信号（１１０；ｘ）の前記少なくとも２つのバージョン（Ｈ11 ｘ、Ｈ21 ｘ）を、前記非相関信号（１５０；ｑ）と結合するように構成されること、を特徴とする、請求項３に記載のアップミキサー（１００；２００）。
【請求項５】
前記パラメータ適用器（１３０；２４０）は、前記非相関信号（１５０；ｑ）を示している前記第１のアップミックスされたオーディオチャンネル信号（ｙ1）の信号部分および前記非相関信号（１５０；ｑ）を示している前記第２のアップミックスされたオーディオチャンネル信号（ｙ2）の信号部分が互いに関して同相又は１８０°逆位相にあるように、前記ダウンミックスオーディオ信号（１１０；ｘ）の前記少なくとも２つのバージョン（Ｈ11 ｘ、Ｈ21 ｘ）を、前記非相関信号（１５０；ｑ）と結合するように構成されること、を特徴とする、請求項３または請求項４に記載のアップミキサー（１００；２００）。
【請求項６】
前記パラメータ適用器（１３０；２４０）は、前記ダウンミックスオーディオ信号の前記少なくとも２つのバージョン（Ｈ11 ｘ、Ｈ21 ｘ）を、非相関信号が前記時間的位相シフトに影響を受けないままである前記非相関信号（１５０；ｑ）と結合する前に、互いに関して時間的位相シフトを含んでいる前記ダウンミックスオーディオ信号の前記少なくとも２つのバージョン（Ｈ11 ｘ、Ｈ21 ｘ）を得るように構成されること、を特徴とする、請求項３〜請求項５のうちの１つに記載のアップミキサー（１００；２００）。
【請求項７】
前記アップミキサーは、チャンネル間位相差パラメータ（２８２）に基づいて、前記位相シフト（α1、α2）を決定するように構成されたパラメータ決定器（２６０）を含むこと、を特徴とする、請求項１〜請求項６のうち１つに記載のアップミキサー（１００；２００）。
【請求項８】
前記パラメータ適用器（１３０；２４０）は、結果として、第１のアップミックスされたオーディオチャンネル信号（２２２ａ）の一つ以上のサンプル（ｙ1）および第２のアップミックスされたオーディオチャンネル信号（２２２ｂ）の一つ以上のサンプル（ｙ2）を示している出力ベクトルを得るために、前記ダウンミックスオーディオ信号（１１０；２１０）の一つ以上のサンプル（ｘ）および前記非相関信号（１５０；ｑ）の一つ以上のサンプル（ｑ）を示している入力ベクトルに、前記アップミックスパラメータを示しているマトリクスエントリ（Ｈ11、Ｈ12、Ｈ21、Ｈ22）を含んでいるマトリクス（Ｈ）を掛けるように構成された、マトリクスベクトル乗算器（２４２）を含むこと、
前記アップミキサーは、前記ダウンミックスオーディオ信号（１１０；２１０）と関連した空間キューに基づいて前記マトリクスエントリ（Ｈ11、Ｈ12、Ｈ21、Ｈ22）を得るように構成されたアップミックスパラメータ決定器（２６０）を含むこと、および、
前記アップミックスパラメータ決定器（２６０）は、前記非相関信号（ｑ）の前記一つ以上のサンプルに適用されるマトリクスエントリ（Ｈ12、Ｈ22）の位相を時間的位相回転に影響を受けないままにする一方で、前記時間的位相回転を、前記ダウンミックス信号（ｘ）の一つ以上のサンプルに適用されるマトリクスエントリ（Ｈ11、Ｈ21）にのみ適用するように構成されること、を特徴とする、請求項１〜請求項７のうちの１つに記載のアップミキサー（１００；２００）。
【請求項９】
【請求項１０】
【請求項１１】
【請求項１２】
アップミックスパラメータの前記組は、アップミックスマトリクスによって示されること、
前記実数値のアップミックスパラメータは、実数値のマトリクスエントリであること、および、
前記全部のアップミックスパラメータは、全部のマトリクスエントリであること、および、
前記装置は、前記非相関信号に適用されるアップミックスパラメータが、空間キューと独立している所定の位相値を含む一方で、前記ダウンミックス信号に適用されるアップミックスパラメータが、前記装置によって受け取られた前記空間キューに依存している位相を含むように、前記全部のアップミックスパラメータを得るように構成されること、を特徴とする、請求項１１に記載の装置（２６０）。
【請求項１３】
ダウンミックスオーディオ信号を、一つ以上のアップミックスされたオーディオチャンネルを表しているアップミックスされたオーディオ信号にアップミックスするための方法（３００）であって、前記方法は、
前記アップミックスされたオーディオ信号を得るために、前記ダウンミックスオーディオ信号をアップミックスするためのアップミキシングパラメータを適用するステップ（３１０）を含み、
アップミキシングパラメータを適用するステップ（３１０）は、非相関信号を位相シフトに修正されないままにする一方で、前記ダウンミックスオーディオ信号の位相シフトされたバージョンを得るために、前記位相シフトを前記ダウンミックスオーディオ信号に適用するステップ（３２０）を含むこと、および、
前記アップミキシングパラメータを適用するステップ（３１０）は、前記アップミックスされたオーディオ信号を得るために、前記ダウンミックスオーディオ信号の前記位相シフトされたバージョンを前記非相関信号と結合するステップ（３３０）を含むこと、を特徴とする、方法。
【請求項１４】
ダウンミックスオーディオ信号を、複数のアップミックスされたオーディオ信号を表しているアップミックスされたオーディオ信号にアップミックスするための一組のアップミックスパラメータを得るための方法（３５０）であって、前記方法は、
寄与のインテンシティを示している一つ以上の空間キューに応じて、前記アップミックスされたオーディオチャンネル信号への前記ダウンミックス信号のおよび前記非相関信号の前記寄与の所望の前記インテンシティを表している実数値のアップミックスパラメータを得るステップ（３６０）、
チャンネル間位相差を示している一つ以上の空間キューに応じて、異なるアップミックスされたオーディオチャンネル信号においてダウンミックスオーディオ信号要素間の所望の位相シフトを表している位相シフト角度値を得るステップ（３７０）、および、
アップミックスパラメータの前記組の全部のアップミックスパラメータを得るために、
前記非相関信号に適用されることを目的とした実数値のアップミックスパラメータを前記位相シフト角度値に影響を受けないままにする一方で、前記位相シフト角度値に応じて、前記ダウンミックスオーディオ信号に適用されることを目的とした実数値のアップミックスパラメータを回転させるステップ（３８０）、を含むこと、を特徴とした、方法。
【請求項１５】
コンピュータ・プログラムがコンピュータ上で動作するときに、請求項１３または請求項１４に記載の方法を実施するための前記コンピュータ・プログラム。
【請求項１】
ダウンミックスオーディオ信号（１１０；２１０）を、一つ以上のアップミックスされたオーディオチャンネル（２２２ａ、２２ｂ）を表しているアップミックスされたオーディオ信号（１２０；２２０）にアップミックスするためのアップミキサー（１００；２００）であって、前記アップミキサーは、
前記アップミックスされたオーディオ信号（１２０；２２０）を得るために、前記ダウンミックスオーディオ信号（１１０；２１０）をアップミックスするためのアップミキシングパラメータ（Ｈ11、Ｈ12、Ｈ21、Ｈ22）を適用するように構成されたパラメータ適用器（１３０；２４０）を含み、
前記パラメータ適用器（１３０；２４０）は、非相関信号（１５０；ｑ）を位相シフトにより修正されないままにする一方で、前記ダウンミックスオーディオ信号の位相シフトされたバージョンを得るために、前記位相シフトを前記ダウンミックスオーディオ信号（１１０；ｘ）に適用するように、および、
前記アップミックスされたオーディオ信号（１２０；２２０）を得るために、前記ダウンミックスオーディオの前記位相シフトされたバージョンを前記非相関信号（１５０；ｑ）と結合するように構成されること、を特徴とする、前記アップミキサー。
【請求項２】
前記アップミキサーは、前記非相関信号が前記ダウンミックスオーディオ信号（１１０；ｘ）の非相関バージョンであるように、前記非相関信号（１５０；ｑ）を得るように構成されること、を特徴とする、請求項１に記載のアップミキサー（１００；２００）。
【請求項３】
前記アップミキサー（１００；２００）は、前記ダウンミックスオーディオ信号（１１０；ｘ）を、複数のアップミックスされたオーディオチャンネル（２２２ａ、２２２ｂ）を表しているアップミックスされたオーディオ信号（１２０；２２０）にアップミックスするように構成されること、
前記パラメータ適用器（１３０；２４０）は、第１のアップミックスされたオーディオチャンネル信号（ｙ1）および第２のアップミックスされたオーディオチャンネル信号（ｙ2）を得るために、前記非相関信号（１５０；ｑ）を使用して前記ダウンミックスオーディオ信号（１１０；ｘ）をアップミックスするための前記アップミキシングパラメータ（Ｈ11、Ｈ12、Ｈ21、Ｈ22）を適用するように構成されること、
前記パラメータ適用器（１３０；２４０）は、互いに関して時間的位相シフト（α1−α2）を含んでいる前記ダウンミックスオーディオ信号の少なくとも２つのバージョン（Ｈ11 ｘ、Ｈ21 ｘ）を得るために、時間的位相シフト（α1、α2）を前記ダウンミックスオーディオ信号（１１０；ｘ）に適用するように構成されること、および、
前記パラメータ適用器（１３０；２４０）は、前記非相関信号が前記時間的位相シフト（α1−α2）に影響を受けないままであるように、少なくとも２つのアップミックスされたオーディオチャンネル信号（ｙ1、ｙ2）を得るために、前記ダウンミックスオーディオ信号の前記少なくとも２つのバージョンを、前記非相関信号（１５０；ｑ）と結合するように構成されること、を特徴とする、請求項１又は請求項２に記載のアップミキサー（１００；２００）。
【請求項４】
前記パラメータ適用器（１３０；２４０）は、前記非相関信号（１５０；ｑ）を示している前記第１のアップミックスされたオーディオチャンネル信号（ｙ1）の信号部分および前記非相関信号（１５０；ｑ）を示している前記第２のアップミックスされたオーディオチャンネル信号（ｙ2）の信号部分が時間的に一定の位相関係にあるように、前記ダウンミックスオーディオ信号（１１０；ｘ）の前記少なくとも２つのバージョン（Ｈ11 ｘ、Ｈ21 ｘ）を、前記非相関信号（１５０；ｑ）と結合するように構成されること、を特徴とする、請求項３に記載のアップミキサー（１００；２００）。
【請求項５】
前記パラメータ適用器（１３０；２４０）は、前記非相関信号（１５０；ｑ）を示している前記第１のアップミックスされたオーディオチャンネル信号（ｙ1）の信号部分および前記非相関信号（１５０；ｑ）を示している前記第２のアップミックスされたオーディオチャンネル信号（ｙ2）の信号部分が互いに関して同相又は１８０°逆位相にあるように、前記ダウンミックスオーディオ信号（１１０；ｘ）の前記少なくとも２つのバージョン（Ｈ11 ｘ、Ｈ21 ｘ）を、前記非相関信号（１５０；ｑ）と結合するように構成されること、を特徴とする、請求項３または請求項４に記載のアップミキサー（１００；２００）。
【請求項６】
前記パラメータ適用器（１３０；２４０）は、前記ダウンミックスオーディオ信号の前記少なくとも２つのバージョン（Ｈ11 ｘ、Ｈ21 ｘ）を、非相関信号が前記時間的位相シフトに影響を受けないままである前記非相関信号（１５０；ｑ）と結合する前に、互いに関して時間的位相シフトを含んでいる前記ダウンミックスオーディオ信号の前記少なくとも２つのバージョン（Ｈ11 ｘ、Ｈ21 ｘ）を得るように構成されること、を特徴とする、請求項３〜請求項５のうちの１つに記載のアップミキサー（１００；２００）。
【請求項７】
前記アップミキサーは、チャンネル間位相差パラメータ（２８２）に基づいて、前記位相シフト（α1、α2）を決定するように構成されたパラメータ決定器（２６０）を含むこと、を特徴とする、請求項１〜請求項６のうち１つに記載のアップミキサー（１００；２００）。
【請求項８】
前記パラメータ適用器（１３０；２４０）は、結果として、第１のアップミックスされたオーディオチャンネル信号（２２２ａ）の一つ以上のサンプル（ｙ1）および第２のアップミックスされたオーディオチャンネル信号（２２２ｂ）の一つ以上のサンプル（ｙ2）を示している出力ベクトルを得るために、前記ダウンミックスオーディオ信号（１１０；２１０）の一つ以上のサンプル（ｘ）および前記非相関信号（１５０；ｑ）の一つ以上のサンプル（ｑ）を示している入力ベクトルに、前記アップミックスパラメータを示しているマトリクスエントリ（Ｈ11、Ｈ12、Ｈ21、Ｈ22）を含んでいるマトリクス（Ｈ）を掛けるように構成された、マトリクスベクトル乗算器（２４２）を含むこと、
前記アップミキサーは、前記ダウンミックスオーディオ信号（１１０；２１０）と関連した空間キューに基づいて前記マトリクスエントリ（Ｈ11、Ｈ12、Ｈ21、Ｈ22）を得るように構成されたアップミックスパラメータ決定器（２６０）を含むこと、および、
前記アップミックスパラメータ決定器（２６０）は、前記非相関信号（ｑ）の前記一つ以上のサンプルに適用されるマトリクスエントリ（Ｈ12、Ｈ22）の位相を時間的位相回転に影響を受けないままにする一方で、前記時間的位相回転を、前記ダウンミックス信号（ｘ）の一つ以上のサンプルに適用されるマトリクスエントリ（Ｈ11、Ｈ21）にのみ適用するように構成されること、を特徴とする、請求項１〜請求項７のうちの１つに記載のアップミキサー（１００；２００）。
【請求項９】
【請求項１０】
【請求項１１】
【請求項１２】
アップミックスパラメータの前記組は、アップミックスマトリクスによって示されること、
前記実数値のアップミックスパラメータは、実数値のマトリクスエントリであること、および、
前記全部のアップミックスパラメータは、全部のマトリクスエントリであること、および、
前記装置は、前記非相関信号に適用されるアップミックスパラメータが、空間キューと独立している所定の位相値を含む一方で、前記ダウンミックス信号に適用されるアップミックスパラメータが、前記装置によって受け取られた前記空間キューに依存している位相を含むように、前記全部のアップミックスパラメータを得るように構成されること、を特徴とする、請求項１１に記載の装置（２６０）。
【請求項１３】
ダウンミックスオーディオ信号を、一つ以上のアップミックスされたオーディオチャンネルを表しているアップミックスされたオーディオ信号にアップミックスするための方法（３００）であって、前記方法は、
前記アップミックスされたオーディオ信号を得るために、前記ダウンミックスオーディオ信号をアップミックスするためのアップミキシングパラメータを適用するステップ（３１０）を含み、
アップミキシングパラメータを適用するステップ（３１０）は、非相関信号を位相シフトに修正されないままにする一方で、前記ダウンミックスオーディオ信号の位相シフトされたバージョンを得るために、前記位相シフトを前記ダウンミックスオーディオ信号に適用するステップ（３２０）を含むこと、および、
前記アップミキシングパラメータを適用するステップ（３１０）は、前記アップミックスされたオーディオ信号を得るために、前記ダウンミックスオーディオ信号の前記位相シフトされたバージョンを前記非相関信号と結合するステップ（３３０）を含むこと、を特徴とする、方法。
【請求項１４】
ダウンミックスオーディオ信号を、複数のアップミックスされたオーディオ信号を表しているアップミックスされたオーディオ信号にアップミックスするための一組のアップミックスパラメータを得るための方法（３５０）であって、前記方法は、
寄与のインテンシティを示している一つ以上の空間キューに応じて、前記アップミックスされたオーディオチャンネル信号への前記ダウンミックス信号のおよび前記非相関信号の前記寄与の所望の前記インテンシティを表している実数値のアップミックスパラメータを得るステップ（３６０）、
チャンネル間位相差を示している一つ以上の空間キューに応じて、異なるアップミックスされたオーディオチャンネル信号においてダウンミックスオーディオ信号要素間の所望の位相シフトを表している位相シフト角度値を得るステップ（３７０）、および、
アップミックスパラメータの前記組の全部のアップミックスパラメータを得るために、
前記非相関信号に適用されることを目的とした実数値のアップミックスパラメータを前記位相シフト角度値に影響を受けないままにする一方で、前記位相シフト角度値に応じて、前記ダウンミックスオーディオ信号に適用されることを目的とした実数値のアップミックスパラメータを回転させるステップ（３８０）、を含むこと、を特徴とした、方法。
【請求項１５】
コンピュータ・プログラムがコンピュータ上で動作するときに、請求項１３または請求項１４に記載の方法を実施するための前記コンピュータ・プログラム。
【図１】
【図２】
【図３ａ】
【図３ｂ】
【図４】
【図２】
【図３ａ】
【図３ｂ】
【図４】
【公表番号】特表２０１２−５１６５９６（Ｐ２０１２−５１６５９６Ａ）
【公表日】平成２４年７月１９日（２０１２．７．１９）
【国際特許分類】
【出願番号】特願２０１１−５４６７４５（Ｐ２０１１−５４６７４５）
【出願日】平成２２年１月１２日（２０１０．１．１２）
【国際出願番号】ＰＣＴ／ＥＰ２０１０／０５０２８７
【国際公開番号】ＷＯ２０１０／０８６２１８
【国際公開日】平成２２年８月５日（２０１０．８．５）
【出願人】（５９１０３７２１４）フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ (259)
【Ｆターム（参考）】
【公表日】平成２４年７月１９日（２０１２．７．１９）
【国際特許分類】
【出願日】平成２２年１月１２日（２０１０．１．１２）
【国際出願番号】ＰＣＴ／ＥＰ２０１０／０５０２８７
【国際公開番号】ＷＯ２０１０／０８６２１８
【国際公開日】平成２２年８月５日（２０１０．８．５）
【出願人】（５９１０３７２１４）フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ (259)
【Ｆターム（参考）】
[ Back to top ]