オーディオ入力信号の反響コンテンツを抽出および変更するためのシステム
【課題】入力信号の反響コンテンツを抽出および変更するための好適な方法および装置を提供すること。
【解決手段】反響システムに対するインパルス応答を推定する方法は、反響システムからの信号をブロックのシーケンスにサンプリングするステップであって、この信号は、インパルス応答を有する、ステップと、シーケンスの各ブロックに対し、先のブロックの大きさに応じて、大きさを決定するステップと、決定された大きさを用いて、有限インパルス応答フィルタに対するパラメータとして、インパルス応答の推定を作成するステップと、を含む。
【解決手段】反響システムに対するインパルス応答を推定する方法は、反響システムからの信号をブロックのシーケンスにサンプリングするステップであって、この信号は、インパルス応答を有する、ステップと、シーケンスの各ブロックに対し、先のブロックの大きさに応じて、大きさを決定するステップと、決定された大きさを用いて、有限インパルス応答フィルタに対するパラメータとして、インパルス応答の推定を作成するステップと、を含む。
【発明の詳細な説明】
【技術分野】
【０００１】
（発明の分野）
本発明は、入力信号の反響成分および非反響成分の分解および変更に関し、より詳細には、入力信号の成分の知覚可能性を低減および増大させることに関する。本発明は特に、オーディオ信号における反響を低減または増大させる用途を有している。
【０００２】
信号内に見出される反響がその信号の最終的な使用のためには不適切である場合が多くあるので、反響を変更することが可能な手段が存在することが望ましくあり得る。さらに、反響が録音された音響空間を直接的に測定する必要なしに、この反響を変更することが可能であることが望ましくあり得る。
【背景技術】
【０００３】
（発明の背景）
ほぼ全てのオーディオ信号は、オリジナルのドライ信号（ｄｒｙ ｓｉｇｎａｌ）と反響との組み合わせから構成されている。反響は、反響システムを通るドライ信号に起因する。例えば、コンサートホールで上演している歌手を考える。この例において、歌手の声はドライ信号であり、コンサートホールは反響システムである。コンサートホールのいくつかの位置にマイクロフォンを配置し、結果として生じるサウンドを録音すると、コンサートホールの反響特性が重ね合わされたドライ音声信号が得られるであろう。すなわちマイクロフォンは、歌手に起因する直接的なサウンド成分とコンサートホールを通るサウンドに起因する反響成分との混合物をキャプチャする。
【０００４】
オリジナルのドライ信号が、音響空間の反響特性（オリジナルのドライ信号の上に重ね合わされている）を有している場合に、オリジナルのドライ信号（または直接的な信号成分）を復元することは極めて困難である。同様に、反響成分の特性またはレベルを変更することは極めて困難である。この困難は、部分的に、反響がオリジナルのドライ信号に応じたものであるという事実に起因する。すなわち、反響は、オリジナルのドライ信号から作られる。さらに、典型的には、反響システムに関するいかなる反響情報に対してもアクセスすることができない。コンサートホールにおける歌手の例を用いると、マイクロフォンは、コンサートホールの音響の詳細を直接的に録音しない。むしろマイクロフォンは、歌手の声のサウンド（その上にコンサートホールの音響特性が重ね合わされている）を録音する。
【０００５】
一部の用途（例えば、音楽の録音）においては、特定の量の反響は非常に望ましい。なぜならば、特定の量の反響は、主観的満足（ｓｕｂｊｅｃｔｉｖｅｌｙ ｐｌｅａｓｉｎｇ）をもたらす各音色（ｎｏｔｅ）の伸びと、深さおよび環境の感知とを提供し得るからである。勿論、一部の音響空間（例えば、コンサートホール）は、その他の音響空間よりも主観的満足を与え得る。しかしながら、典型的には、主観的満足を与える音響空間のほとんどに対してはアクセスすることができないので、録音の反響成分は、所望のものほどには良いものではないことがあり得る。すなわち、反響は、その録音のためには完全に適したものではないことがあり得る。この場合において、現在では、録音の反響成分を変更するために行われ得ることは、それほど多くはない。録音の反響エネルギーが不足している場合には、人工反響デバイスを介して録音を処理することによって、より多くの反響エネルギーを追加することができる。しかしながら、これらのデバイスによって生成された反響は、自然なものとして聴こえない傾向があり、録音内に既に存在している反響を相補することは考えられない。逆に、録音が過度に大きな反響を有している場合には、現在では、反響成分のレベルを低減させるために行われ得ることは、それほど多くはない。録音が正しい量の反響を有しているが、正しい特性を有していない場合には、現在では、反響の特性を変更するために行われ得ることは、それほど多くはない。これらの場合の各々において、適切な反響特性を入手するために、直接的なサウンド成分ならびに反響エネルギーのレベルおよび特性を変更することが可能であるならば、非常に有利であり得る。
【０００６】
その他の用途においては、ささやかな（ｍｏｄｅｓｔ）量の反響は適切ではない。なぜならば、ささやかな量の反響は、信号の明確度（ｃｌａｒｉｔｙ）および明瞭度（ｉｎｔｅｌｌｉｇｉｂｉｌｉｔｙ）を低下させるからである。例えば、テレビ会議（ハンドフリー電話がしばしば用いられる）の用途において、オフィスまたは会議室の反響は、スピーチ信号のサウンドを「うつろ（ｈｏｌｌｏｗ）」にする望ましくない影響を有し得る。これはしばしば、レインバレル効果（ｒａｉｎ ｂａｒｒｅｌ ｅｆｆｅｃｔ）と称される。その他の関連する用途（例えば、セキュリティ、監視、科学捜査）において、反響は非常に望ましくない。なぜならば反響は、スピーチ信号の明瞭度を低減させ得るからである。しかしながら、そのような状況においては、典型的には、音響空間の反響特性に対するいかなる制御をも有することは不可能である。スピーチ認識システムにおいて、反響は、単語を正確に識別するシステムの能力を低減させ、ひいては認識率を低減させ得る。認識率が過度に低くなると、スピーチ認識システムは、役に立たなくなり得る。反響は、障害のある人々に対して特有の困難を引き起こし得る。なぜならば、反響の望ましくない影響は、しばしば障害のある人々の聴覚の障害によって、倍加されるからである。スピーチの明瞭度に対する反響の負の影響は、しばしば聴覚の障害を有する人々に対しては、より深刻なものとなる。補聴器の増幅器が音響信号を増幅し、その音響信号をより聴こえるようにするとき、補聴器の増幅器は、直接的なサウンド成分と反響成分との両方を増幅する。したがって、信号を増幅することは、反響の負の影響を克服することには役立たない。これらの増幅の各々においては、直接的なサウンド成分に対して反響成分のレベルが適切なレベルになるように、反響成分のレベルを低減させることが可能であることが、非常に望ましくあり得る。オーディオ信号における反響の量を低減させることを試みるための１つの一般的なアプローチは、指向性マイクロフォンまたはマイクロフォンアレイを用いることである。指向性マイクロフォンおよびマイクロフォンアレイは、特定の方向から到達するサウンドを受け入れ、その他の方向から到達するサウンドを拒絶する。したがって、マイクロフォンが適切な場所に配置された場合、そのマイクロフォンは、所望のドライ信号を受け入れる一方で、反響の一部分を拒絶し得る。
【０００７】
指向性マイクロフォンまたはマイクロフォンアレイを首尾よく用いるには、所望の信号が配置される場所を知っていることが必要である。このアプローチは、その場所が知られていない場合、またはその場所が時間につれて変化する場合に、満足に機能しないことがあり得る。なぜならば、所望の信号が拒絶され得るからである。またこのアプローチは、特定の用途においては、マイクロフォンアレイの物理的なサイズ、必要なハードウェア資源（例えば、マイクロフォン、増幅器、等）の量における増加、そして結果としてもたらされるコストにおける増加が原因で、適切ではないことがあり得る。代わりに、音響空間に関するいかなる知識をも伴わずに、そしてソースの位置に関するいかなる知識をも伴わずに、単一の非指向性マイクロフォンを用いることによって、反響成分のレベルを適切なレベルに低減させることが可能であることが、非常に有利であり得る。
【０００８】
映画およびテレビの製作においては、聴こえてくるサウンド（例えば、台詞およびサウンド効果）が、スクリーン上で見られる画像に適した反響特性を有していることが重要である。例えば、小さな部屋でシーンが撮影されていることを画像が示している場合、サウンドは、実際にはそのサウンドがより大きなサウンドステージで録音されている場合でさえも、小さな部屋の反響特性を有し得る。用語「ルームトーン（ｒｏｏｍ ｔｏｎｅ）」は、しばしば映画およびテレビの製作において、音響空間の音響特性を記述するために用いられる。一般的に、映画およびテレビの製作において、サウンドは、非常にさまざまな場所において録音される。例えば、台詞の一部分が映画の撮影時に録音される一方で、台詞のその他の部分が録音スタジオまたは「ダビング」スタジオにおいて後日録音されることがあり得る。録音スタジオまたはダビングスタジオにおいては、俳優は、ビデオまたは彼らの演技を見ながら、彼らの台詞を朗読する。このプロセスは、自動吹替え（ａｕｔｏｍａｔｉｃ ｄｉａｌｏｇ ｒｅｐｌａｃｅｍｅｎｔ；ＡＤＲ）として公知であり、非常に一般的に行われている。台詞の異なる部分が自然かつ現実的に聴こえるようにするためには、異なる録音のルームトーン（反響特性）を整合させ、台詞の異なる部分が全て同じ音響空間内で録音されたものであるようにする必要がある。さらに通常、サウンドを、それらのサウンドが非常に特殊な音響空間（非常に特殊なルームトーンを有している）において録音されたようにすることが所望されることがある。
【０００９】
ＡＤＲの例において、録音は、しばしば非常にドライである。なぜならば、録音スタジオまたはダビングスタジオは、通常、注意深く制御された音響空間だからである。すなわち、録音内には非常にわずかな反響しかない。この場合、特定の部屋の反響特性を録音の上に重ね合わせることが所望され得る。これは、部屋の音響特性が直接的に入手できない場合には、非常に困難であり得る。しかしながら、その部屋において録音されたその他の録音が入手可能であり得る。この例においては、音響空間の音響特性を録音から抽出することが可能であることが、非常に有用であり得る。さらに、適切な音響空間の反響特性を録音の上に重ね合わせることが可能であることが、有用であり得る。
【００１０】
台詞の異なる部分が、異なる音響空間（その各々は顕著な量の反響を有している）において録音された場合には、異なる録音の反響特性をいかにして整合させるかという問題がある。これを行うためには、第１に、適切な音響空間の反響特性を適用する前に行われた録音において、部屋の反響特性を除去しなければならない。上述のように、これは今日まで満足のいく程度に解決されてはいない困難な問題である。この状況においては、録音の音響特性を除去し、ひいては、適切な音響空間の音響特性を適用することが可能であることが、非常に有用であり得る。
【００１１】
ある部類の状況において、オーディオ信号内に見出される反響は、信号を処理する能力をなんらかの方法で制限するという意味で、不適切なものである。例えば、オーディオデータリダクションシステム（ａｕｄｉｏ ｄａｔａ ｒｅｄｕｃｔｉｏｎ ｓｙｓｔｅｍ）においては、信号を格納または送信するために小さな量のデータが用いられるように、信号を圧縮することが目的である。そのようなシステムは、信号を圧縮するためのエンコーダと、その後に信号を復元するためのデコーダとを用いる。これらのオーディオデータリダクションシステムは、圧縮プロセスの結果として情報が損失されず、その結果、デコーダにおいてオリジナルの信号が完全に復元される場合に、「無損失（ｌｏｓｓｌｅｓｓ）」であり得る。その他のバリエーションは、「損失性（ｌｏｓｓｙ）」なので、デコーダにおいて復元される信号は、オリジナルの入力信号とは同じではない。オーディオデータリダクションシステムは、オーディオ信号において冗長性が高い場所に依存する。すなわち、オーディオデータリダクションシステムは、「予測可能」なオーディオ信号の上で最も良く動作する。しかしながら、オーディオ信号における反響は、オーディオ信号の予測可能性を低減させる。現在では、オーディオデータリダクションシステムの性能を向上させるために、反響の影響を克服するための手段は存在しない。エンコーダにおいて信号を圧縮する前に、信号を直接的なサウンド成分と反響成分とに分解し、その後、圧縮された信号をデコーディングした後に反響信号を抽出することが可能であれば、非常に望ましくあり得る。
【００１２】
信号を処理する能力を反響が制限する別の例は、オーディオ透かし（ａｕｄｉｏ ｗａｔｅｒｍａｒｋｉｎｇ）である。オーディオ透かしにおいては、オーディオ信号の中に情報を隠すことが目的である。この隠された情報は、曲の著作権保護のようなことに用いられ得る。オーディオ透かしシステムは、オーディオ信号に小さな改変を施すことによって動作する。これらの改変は、透かしが成功した場合には、聴こえなくなり得る。オーディオ透かしシステムにおいては、曲の非常に特殊な時点において、改変を施すことが所望され得る。しかしながら、この改変は、直接的なサウンド成分と反響成分とが、改変の結果として、もはや互いに整合しなくなった場合に、聴こえるようになり得る。オーディオ信号の反響成分を除去し、オーディオ透かしを挿入し、そして元の信号の反響成分を追加することが可能であることが、非常望ましくあり得る。
【００１３】
別の部類の状況において、信号内に見出される反響は、なんらかの処理の結果として不適切なものとなり得る。例えば、背景のノイズを除去するために、または信号ダイナミックレンジを変更するために、信号を処理することは一般的である。この処理は、しばしば録音における直接的なサウンド成分と反響成分との間の関係を変更し、その結果、その関係は、もはや適切なものではなくなる。現在では、この処理の後に反響成分を補正するための手段は存在しない。
【００１４】
音響空間の音響特性を測定することは、しばしば手軽ではないか、または不可能である。上述の例を用いると、コンサートホールにおける歌手の録音に対しては容易にアクセスすることができるが、コンサートホールそのものに対しては滅多にアクセスすることができない。また、コンサートホールに対してアクセスできない場合でさえも、録音時の音響条件（例えば、歌手およびマイクロフォンの位置、観衆の存在、等）を再現することができない可能性がある。したがって、反響システム内で行われた録音（またはリアルタイムの信号）から、その反響システムの詳細を抽出することが可能であることが望ましくあり得る。最も重要なことは、反響システムの知覚上関連のある局面の詳細を抽出することが可能であることが望ましくあり得るということである。今日まで、この必要性を十分に満たす方法は存在しない。反響システムのこの詳細は、録音における反響特性を改変または低減するためにシステムの一部として、または録音の上に反響特性を重ね合わせるためにシステムの一部として、反響システムを解析するために用いられ得る。
【００１５】
最初期のオーディオ録音（例えば、映画、音楽、テレビ、等）は、モノラルであった。すなわち、モノラルのオーディオ録音は、１つだけのチャネルの上に録音されていた。ステレオのオーディオ録音は、典型的にはより心地が良い。なぜならば、ステレオのオーディオ録音は、音響空間の反響特性の空間的局面を再現することにおいて、より優れているからである。モノラルの録音をステレオのフォーマットに変換する試みのために、数多くの処理が開発されてきた。これらの技術は、これらの技術が直接的なサウンド成分と反響成分との両方を処理するという事実によって、制限される。これらの技術は、これらの技術が直接的なサウンド成分と反響成分とを別個に処理することができたならば、劇的に向上され得る。現在において、信号を直接的なサウンド成分と反響成分とに分解し、それらが別個に処理され得るようにするための満足のいく方法は存在していない。
【００１６】
マルチチャネルのサウンドシステムは、ますます人気を博してきている。ステレオシステムは２つのチャネル（ゆえに、２つのラウドスピーカ）を有しているが、マルチチャネルのサウンドシステムは、多数のチャネルを有している。典型的なマルチチャネルのサウンドシステムは、５つのチャネル（ゆえに、５つラウドスピーカ）を有している。現在では、マルチチャネルのオーディオ録音の数は、非常に限られている。逆に、非常に多くのモノラル録音およびステレオ録音が入手可能である。モノオーディオ信号またはステレオオーディオ信号を取り、モノオーディオ信号またはステレオオーディオ信号からマルチチャネルのオーディオ信号を生成することが可能であることが、非常に望ましくあり得る。これを行うための現在の方法は、「マトリクスデコーディング（ｍａｔｒｉｘ ｄｅｃｏｄｉｎｇ）」と称されるアプローチを用いる。これらの方法は、ステレオ録音を取り、録音の異なる部分を、マルチチャネルシステムのチャネルの各々に配置する。音楽の録音の場合に、機器の一部は、リスナーの背後に配置されて現れ得る。これは、一部の状況においては、望ましくない結果である。例えば、オーケストラの録音を再生する場合、典型的には、機器の一部がリスナーの背後に配置されて現れることは所望されない。むしろ、典型的には、楽器がリスナーの前方に配置されて現れ、コンサートホールの反響がリスナーの周囲全体から到達するように現れることが所望され得る。
【００１７】
この問題にアプローチするための１つの方法は、前方のラウドスピーカにオリジナルのステレオ信号を送信し、その一方で、人工反響デバイスを介して、ステレオ信号の処理も行うことである。人工反響デバイスの出力は、コンサートホールの反響のシミュレーションを提供することが意図されており、それらの出力は、後方の（サラウンド）ラウドスピーカに送信され得る。このアプローチは、いくつかの理由で満足のいくものではない。第１に、このアプローチは、ステレオ信号内に既に存在している反響の一番上に追加的な反響を追加する。したがって、このアプローチは、その特定の録音に対し、反響の全体の量を不適切なものとし得る。さらに、人工反響デバイスによって追加された反響は、ステレオ録音における反響の特性と整合しない可能性がある。これは、結果として得られるマルチチャネル信号を、不自然に聴こえさせてしまい得る。より良いアプローチは、ステレオ信号を、その直接的なサウンド成分とその反響成分とに分解することである。
【００１８】
オリジナルの信号が直接的な成分と反響成分とに分解されると、マルチチャネルの人工反響デバイスを介して直接的なサウンド成分を処理することによって、マルチチャネルのオーディオ信号を形成することを選択することが可能となる。この方法は、追加的な反響を追加する問題を迂回し得る。なぜならば、信号の反響成分が除去されるからである。この方法はまた、人工的な反響とオリジナルの録音における反響との間の不整合を回避し得る。
【００１９】
代替的に、オリジナルの信号が直接的な成分と反響成分とに分解されると、直接的な成分を前方のラウドスピーカに送信することによって、マルチチャネルのオーディオ信号を形成することを選択することが可能となる。これは、再現された音場における機器の前方の配置を維持し得る。オリジナルの信号の反響成分は、後方のラウドスピーカに送信され得るか、またはその反響成分は、適切な方法で、サブ成分に分解され、ラウドスピーカの全てにわたって分散され得る。このアプローチは、オリジナルの録音の成分からマルチチャネル信号の全体を形成し、その結果より自然に聴こえる結果を形成するという、顕著な利点を有している。信号を直接的な成分と反響成分とに分解し、その結果マルチチャネル信号がこの方法で生成され得ることを可能にする、現在利用可能な方法は存在しない。
【００２０】
一般的に、反響システムにおけるサウンドの録音を有しており、その反響システムの音響特性を何らかの方法によって直接的に測定することができた場合に、反響システムを数学的に逆転（ｉｎｖｅｒｔ）させ、オリジナルのドライサウンドを完全に復元することが可能であることが望ましくあり得る。この処理は、逆フィルタリングとして公知である。しかしながら、逆フィルタリングは、反響システムの完全な音響特性の正確な測定がなくては、行われ得ない。さらに、結果として得られる逆フィルタは、その音響特性の１つのセットに特有のものである。逆フィルタリングを用いることによって、所与の反響システムにおける録音から、異なる反響システムから測定された音響特性を用いてオリジナルのドライ信号を復元することは、不可能である。例えば、部屋における１つの位置に対して導出された逆フィルタは、同じ部屋におけるその他の任意の位置に対しては、有効ではない。逆フィルタに関するその他の問題は、逆フィルタが、計算的な要求が厳しく、結果として得られる信号の上に顕著な遅延を重ね合わせ得るということである。この遅延は、多くのリアルタイムの用途においては、受け入れられないものであり得る。したがって、逆フィルタの利点を達成する一方で、ほとんどの現実世界の用途において逆フィルタを非実用的にしている制限を克服するための手段を有することが望ましくあり得る。現在では、この仕事を適切に行うために利用可能な手段は存在しない。
【発明の概要】
【発明が解決しようとする課題】
【００２１】
上述のように、オーディオ信号内に見出される反響が、そのオーディオ信号の意図された最終的な用途に対して適切ではない多くの状況が存在する。したがって、オーディオ信号の直接的なサウンド成分および／または反響のサウンド成分を改変することが可能であることに対する必要性が存在する。さらに、反響が録音された音響空間を直接的に測定する必要なしに、この反響を改変することが可能であることが望ましくあり得る。これらの問題は、今日までに、満足のいく程度には、解決されていない。
【課題を解決するための手段】
【００２２】
本発明の一局面にしたがうと、本発明は、オーディオ信号の反響成分を識別および変更するための方法および装置を提供することによって、上述の必要性に対処する。
【００２３】
信号の反響成分は、この信号が録音またはキャプチャされた反響システムによって決定される。反響システムの特性は、（音源とマイクロフォンとの間の)そのインパルス応答
によって完全に記述される。インパルス応答はまた、そのフーリエ変換（またはその他のなんらかの変換)を計算することによって、周波数領域において見ることができる。フー
リエ表現は、大きさの応答と位相の応答との両方を提供する。本発明は、反響システムを表すインパルス応答をブロックに分割することに依存しており、各ブロックは、インパルス応答の一部を表している。本発明はさらに、ブロックの各々の周波数領域の表現の大きさの応答の推定によって、インパルス応答を推定することに依存する。人間の聴覚システムは、短い持続時間にわたる位相に対しては比較的鈍感なので、大きさの応答をベースとする表現は、正しいインパルス応答の知覚上適切な推定を形成する。
【００２４】
本発明の一局面にしたがうと、時間および周波数にわたる信号のレベルにおける変化を追跡することに基づいて、インパルス応答の大きさの応答をベースとした表現の、ブロックをベースとした推定を導出するための方法が提供される。この方法は、信号から直接的に、インパルス応答の大きさの応答のブロックをベースとした推定を導出し、インパルス応答の直接的な測定を必要としない。
【００２５】
本方法は、任意の所与の時間において、信号におけるエネルギーが、現在のドライ信号におけるエネルギーと、全ての先の信号の反響成分におけるエネルギーの和とから構成されるという事実に依存する。
【００２６】
本発明は、インパルス応答の大きさの応答のブロックをベースとした推定を用い、信号の反響成分に関連するエネルギーを識別し、抽出する。
【００２７】
本発明の別の局面にしたがうと、信号の反響成分の特性は、インパルス応答の大きさの応答のブロックをベースとした推定を調整することによって、変更され得る。
【００２８】
本発明の別の局面にしたがうと、第１の信号から導出されたソースの反響システムの反響特性は、第２の信号に適用され得る。
【００２９】
本発明の様々な局面は、信号の反響成分が変更され、その結果、その信号をその意図された最終的な用途により適したものとすることを可能にする。
【００３０】
本方法および装置はまた、知覚モデルを含み得る。知覚モデルの主な目的は、処理に起因するアーチファクトの可聴度を低減させることである。これは、反響信号のどの部分が反響信号のその他の部分によってマスクされているかを決定することによって、行われ得る。マスキングは、人間の聴覚システムにおいて起こる現象であり、この現象によって、聴こえる可能性のある信号は、別の信号の存在によって聴こえなくされる。処理内に知覚モデルを含めることによって、反響信号の可聴部分のみが抽出され、その結果、オリジナルの信号の周波数を改変する量が低減される。知覚モデルはまた、時間および周波数にわたる内部パラメータの相互作用を提供し、耳のマスキング特性を反映する。結果として、これらの周波数を改変することに起因するアーチファクトは、低減される。
【００３１】
本方法および装置はまた、１つ以上のソースモデルを含み得る。１つのソースモデルの目的は、オリジナルのドライ音源の音響特性のモデルを提供することである。第２のソースモデルの目的は、反響システムの特性のモデルを提供することである。オリジナルのドライ信号の音響特性と反響システムの音響特性とを知ることによって、入力信号のどの部分がドライ信号に起因しており、どの部分が反響に起因しているかに関するより優れた判断がなされ得る。例えば、ほとんどの反響システム（部屋)は、時間の経過につれて指数
的に減衰するシステムとして、適切にモデル化され得る。
本発明は、例えば、以下を提供する。
（項目１）
反響システムに対するインパルス応答を推定する方法であって、
反響システムからの信号をブロックのシーケンスにサンプリングするステップであって、該信号は、インパルス応答を有する、ステップと、
該シーケンスの各ブロックに対し、先のブロックの大きさに応じて、大きさを決定するステップと、
決定された大きさを用いて、有限インパルス応答フィルタに対するパラメータとして、該インパルス応答の推定を作成するステップと
を包含する、方法。
（項目２）
前記サンプリングするステップは、時間領域をベースとしている、項目１に記載の方法。
（項目３）
前記サンプリングするステップは、周波数領域をベースとしている、項目１に記載の方法。
（項目４）
前記サンプリングするステップは、等しいブロックを提供する、項目１に記載の方法。
（項目５）
前記ブロックは、重なり合っている、項目４に記載の方法。
（項目６）
前記サンプリングするステップは、窓を用いる、項目１に記載の方法。
（項目７）
前記決定するステップは、先の大きさの平方に対する現在の大きさの平方の比を求めるステップを含む、項目１に記載の方法。
（項目８）
前記決定するステップは、先の大きさのｑ乗に対する現在の大きさのｑ乗の比を求めるステップを含み、ｑは正の数である、項目１に記載の方法。
（項目９）
前記サンプリングするステップは、フィルタバンクを用いる、項目１に記載の方法。
（項目１０）
前記推定を作成するステップは、平滑化するステップを含む、項目１に記載の方法。
（項目１１）
反響システムからの信号を分解する方法であって、
反響システムからの信号をブロックのシーケンスにサンプリングするステップであって、該信号は、インパルス応答を有する、ステップと、
該シーケンスの各ブロックに対し、先のブロックの大きさに応じて、大きさを決定するステップと、
決定された大きさを用いて、有限インパルス応答フィルタに対するパラメータとして、該インパルス応答の推定を作成するステップと、
該推定されたインパルス応答の逆を該信号に適用し、直接的な信号成分と反響信号成分とのうちの少なくとも１つを導出するステップと
を包含する、方法。
（項目１２）
前記サンプリングするステップは、時間領域をベースとしている、項目１１に記載の方法。
（項目１３）
前記サンプリングするステップは、周波数領域をベースとしている、項目１１に記載の方法。
（項目１４）
前記サンプリングするステップは、等しいブロックを提供する、項目１１に記載の方法。
（項目１５）
前記ブロックは、重なり合っている、項目１４に記載の方法。
（項目１６）
前記サンプリングするステップは、窓を用いる、項目１１に記載の方法。
（項目１７）
前記決定するステップは、先の大きさの平方に対する現在の大きさの平方の比を求めるステップを含む、項目１１に記載の方法。
（項目１８）
前記決定するステップは、先の大きさのｑ乗に対する現在の大きさのｑ乗の比を求めるステップを含み、ｑは正の数である、項目１１に記載の方法。
（項目１９）
前記サンプリングするステップは、フィルタバンクを用いる、項目１１に記載の方法。
（項目２０）
前記推定を作成するステップは、平滑化するステップを含む、項目１１に記載の方法。
（項目２１）
直接的な信号成分と反響信号成分とのうちの少なくとも１つを改変するステップをさらに含む、項目１１に記載の方法。
（項目２２）
前記改変された直接的な信号成分および前記反響信号成分と、該改変された直接的な信号成分および前記改変された反響信号成分と、該直接的な信号成分および該改変された反響信号成分とのうちの少なくとも１つを再び組み合わせるステップをさらに含む、項目２１に記載の方法。
（項目２３）
前記有限応答フィルタを第２の信号に適用し、人工的な反響信号を生成するステップをさらに含む、項目１に記載の方法。
（項目２４）
反響システムからの信号を分解する方法であって、
反響システムからの信号をブロックのシーケンスにサンプリングするステップであって、該信号は、インパルス応答を有する、ステップと、
該シーケンスの各ブロックに対し、先のブロックの大きさに応じて、大きさを決定するステップと、
決定された大きさを用いて、有限インパルス応答フィルタに対するパラメータとして、該インパルス応答の推定を作成するステップと、
該推定されたインパルス応答の逆を該信号に適用し、直接的な信号成分を導出するステップと、
該有限インパルス応答フィルタと該直接的な信号成分とのうちの少なくとも１つを改変するステップと、
改変された反響信号をそこから再構成するステップと
を包含する、方法。
（項目２５）
前記サンプリングするステップは、時間領域をベースとしている、項目２４に記載の方法。
（項目２６）
前記サンプリングするステップは、周波数領域をベースとしている、項目２４に記載の方法。
（項目２７）
前記サンプリングするステップは、等しいブロックを提供する、項目２４に記載の方法。
（項目２８）
前記ブロックは、重なり合っている、項目２７に記載の方法。
（項目２９）
前記サンプリングするステップは、窓を用いる、項目２４に記載の方法。
（項目３０）
前記決定するステップは、先の大きさの平方に対する現在の大きさの平方の比を求めるステップを含む、項目２４に記載の方法。
（項目３１）
前記決定するステップは、先の大きさのｑ乗に対する現在の大きさのｑ乗の比を求めるステップを含み、ｑは正の数である、項目２４に記載の方法。
（項目３２）
前記サンプリングするステップは、フィルタバンクを用いる、項目２４に記載の方法。
（項目３３）
前記推定を作成するステップは、平滑化するステップを含む。項目２４に記載の方法。
（項目３４）
反響システムからの、少ないチャネルを有する信号を用いてマルチチャネル信号を形成する方法であって、
反響システムからの該信号をブロックのシーケンスにサンプリングするステップであって、該信号は、インパルス応答を有する、ステップと、
該シーケンスの各ブロックに対し、先のブロックの大きさに応じて、大きさを決定するステップと、
決定された大きさを用いて、有限インパルス応答フィルタに対するパラメータとして、該インパルス応答の推定を作成するステップと、
該推定されたインパルス応答の逆を該信号に適用し、直接的な信号成分と反響信号成分とのうちの少なくとも１つを導出するステップと、
該直接的な信号成分と該反響信号成分とを再び組み合わせ、マルチチャネル信号を形成するステップと
を包含する、方法。
（項目３５）
少ないチャネルを有する前記信号は、モノラル信号であり、前記マルチチャネル信号は、ステレオ信号である、項目３４に記載の方法。
（項目３６）
少ないチャネルを有する前記信号は、ステレオ信号であり、前記マルチチャネル信号は、サラウンドサウンド信号である、項目３４に記載の方法。
【図面の簡単な説明】
【００３２】
【図１】図１は、音源および受信マイクロフォンを有する反響室を示している。
【図２】図２は、ブロックベースの分解の表現を用いてインパルス応答の成分を示している。
【図３】図３は、信号プロセッサ５の概略図を示している。
【図４】図４は、時間領域におけるブロックベースの畳み込みを示している。
【図５】図５は、周波数領域におけるブロックベースの畳み込みを示している。
【図６】図６は、ドライ成分および反響成分への信号の周波数領域のブロックベースの分解を示している。
【図７】図７は、再構成プロセッサ３８の周波数領域のブロックベースの畳み込み演算を示している。
【図８】図８は、ステレオ入力信号からマルチチャネル出力信号を形成する手段を示している。
【発明を実施するための形態】
【００３３】
本発明は、信号の反響成分を変更する手段を提供する。これは一般に、第１に、基礎となる反響システムのインパルス応答の周波数領域の表現の知覚上関連のある推定を入手することによって、達成される。インパルス応答のこの推定を用いることにより、信号は、この信号の反響成分を抽出し、そしてドライ信号の推定と反響信号の推定とを入手することができるように、処理される。必要に応じて、さらなる処理が、ドライ信号と反響信号とに適用され得る。
【００３４】
音響空間のインパルス応答は、反響システムの完全な記述を提供する。コンサートホールにおける歌手の上述の例を用いると、反響システム（この場合は、コンサートホール）は、歌手と録音マイクロフォンとの間のインパルス応答によって、完全に記述され得る。様々な音響空間（例えば、風呂場と対比したときのコンサートホール）が、非常に異なって知覚される反響条件を有し得ることは、周知である。これらの差異は、様々な空間のインパルス応答における差異によって記述される。
【００３５】
反響システムのインパルス応答は、反響室２における音源ｓ（ｔ）１と、録音マイクロフォン３とを示している、図１を考えることによってよりよく理解され得る。音源がインパルスサウンドによって構成されている場合、マイクロフォンによって録音されるものは、音源とマイクロフォンとの間の反響システムのインパルス応答であり得る。インパルス応答は、直接的なサウンド成分４を含んでおり、この直接的なサウンド成分は、マイクロフォンに到達する第１のサウンドである（なぜならば、このサウンド成分は、音源とマイクロフォンとの間の最短距離を有しているから）。直接的なサウンド成分の後には、図中で破線によって示されているように、一連の反射されたサウンド（反射）が続き得る。到達時間および反射の振幅は、反響システムの特性を決定する。直接的なサウンド成分の後に到達する反射は、反響成分を構成する。したがって、反響システムの１つの影響は、オリジナルのドライ信号に反響を追加するということである。すなわち、反響は、オリジナルのドライ信号にエネルギーを追加する。数学的には、これは、ｍ（ｔ）＝ｓ（ｔ）＋ｒ（ｔ）と表され、ここでｒ（ｔ）は、インパルス応答ｈ（ｔ）によって記述される反響システムを通る信号ｓ（ｔ）に起因する反響信号成分である。
【００３６】
インパルス応答の例は、図２に与えられている。第１の垂直の線は、直接的なサウンド４を表しており、その一方で、残りの線は反響を示している。各線の高さは、振幅を示しており、時間軸の上での各線の位置は、その到達時間を示している。時間が経過するにつれて、反射の数は、個々の反射を識別することがもはや可能ではなくなる程度にまで増加する。最終的に、反射は、指数的に減衰するシステムになる。これは、典型的には、インパルス応答の反響のテール（ｒｅｖｅｒｂｅｒａｎｔ ｔａｉｌ）１１と称される。
【００３７】
いわゆる早期反射１２は、直接的なサウンド成分の直後に到達し、反響のテールとは異なる知覚上の影響を有している。これらの早期反射は、部屋のサイズや、ソースとマイクロフォンとの間の距離に関する知覚上の手掛かりを提供する。早期反射はまた、それらがサウンドに対して向上された明確度および明瞭度を提供し得るという点で、重要である。反響のテールはまた、音響空間に関する知覚上の手掛かりを提供する。音響空間のインパルス応答を３つの知覚部分（直接的なサウンド４、早期反射１２、および反響のテール１１）に分割することは、一般的である。
【００３８】
音響空間が単一のインパルス応答を有していないことに注目することは重要である。図１の例を用いると、音源１が特定の位置に配置され、マイクロフォン３が所与の位置に配置されたときに、部屋に対するインパルス応答が存在することが分かる。音源またはマイクロフォンが（たとえ小さな量であっても）移動された場合、異なるインパルス応答が得られる。したがって、任意の所与の部屋に対し、実質的に無数の可能性のあるインパルス応答が存在する。なぜならば、１の位置と３の位置との可能性のある組み合わせは実質的に無数だからである。
【００３９】
インパルス応答はまた、そのフーリエ変換（またはその他の変換）を計算することによって、周波数領域において見ることができるので、反響システムは、周波数領域の表現Ｈ（ω）の観点で、完全に記述され得る。変数ωは、周波数を示す。インパルス応答のフーリエ変換は、大きさの応答と位相の応答との両方を提供する。一般的に、大きさの応答は、インパルス応答における異なる周波数成分の相対的なレベルに関する情報を提供し、その一方で、位相の応答は、周波数成分の時間的局面に関する情報を提供する。音源１またはマイクロフォン３を、部屋における１つの位置から近くの位置に移動させることは、大きさの応答に対しては大した影響を与えない傾向があるものの、位相の応答に対しては劇的な影響を与える傾向がある。すなわち、部屋におけるインパルス応答の近くは、同様の大きさの応答を有する傾向があるが、非常に異なる位相の応答を有し得る。
【００４０】
日常の経験は、所与の部屋の中では、我々がインパルス応答における差異に対しては、特に敏感ではないことを教えてくれる。例えば、誰かが話しているのを聞きながら部屋の中を動き回っているとき、動くのに伴ってインパルス応答が連続的に変化している場合でさえも、我々は人間の声のサウンドにおける劇的な変化を聴かない傾向がある。我々が劇的な差異を聞かない理由は、耳が主に、インパルス応答の全体的特徴（ｇｒｏｓｓ ｆｅａｔｕｒｅ）に対して敏感であり、細かい詳細に対しては敏感ではないからである。より詳細には、耳は、インパルス応答の大きさの応答における変化に比べると、位相の応答における変化に対しては遥かに敏感ではない。一般に、耳は短時間にわたる位相に対しては非常に鈍感である。（Ｄ．Ｌ．Ｗａｎｇ ａｎｄ Ｊ．Ｓ．Ｌｉｍ，「Ｔｈｅ ｕｎｉｍｐｏｒｔａｎｃｅ ｏｆ ｐｈａｓｅ ｉｎ ｓｐｅｅｃｈ ｅｎｈａｎｃｅｍｅｎｔ」，ＩＥＥＥ Ｔｒａｎｓ．Ａｃｏｕｓｔ．Ｓｐｅｅｃｈ，Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ，ｖｏｌ．ＡＳＳＰ−３０，ｎｏ４，ｐｐ．６７９−６８１，Ａｕｇ．１９８２）。上述のように、部屋における様々なインパルス応答は、同様の大きさの応答を有する傾向があるが、非常に異なる位相の応答を有し得る。
【００４１】
本発明は、入力信号における反響エネルギーの大きさの推定の周波数領域の推定を生成することによって、機能する。反響エネルギーの大きさのこの推定は、入力信号から差し引かれ、そして入力信号の大きさの推定を提供する。反響の入力信号の位相は、オリジナルのドライ信号を近似するために用いられる。この処理が全体として、全体のインパルス応答を用いて行われる場合、処理される信号内では、シビアな時間領域のアーチファクトが聴こえ得る可能性がある。したがって、本発明においては、全体のインパルス応答の推定は短いブロックに分割され、ブロックをベースとした方法で処理が実行される。ブロックの長さは、処理された出力信号の位相におけるエラーに起因する、いかなる時間領域のアーチファクトをも知覚しないように十分に短く選択される。
【００４２】
一般に、本発明において、信号プロセッサ５は、入力信号ｍ（ｔ） ３に作用し、この入力信号を異なるコンポーネント６に分解する。これらのコンポーネントは、オリジナルのドライ信号ｓ（ｔ）１の推定
【００４３】
【数１】
と、反響成分ｒ（ｔ）の推定
【００４４】
【数２】
とから構成され得る。反響成分の推定
【００４５】
【数３】
は、サブ成分にさらに分解され得、これらのサブ成分は、反響信号の様々な部分の推定
【００４６】
【数４】
を表す。一般に、信号プロセッサ５はまた、ドライ信号成分の推定および反響信号成分の推定のいずれかまたは全てを改変する。本発明は、周波数領域において、ｍ（ｔ）に作用する。入力信号ｍ（ｔ）３は、時間サンプルのブロックに重なり解析窓（ｏｖｅｒｌａｐｐｉｎｇ ａｎａｌｙｓｉｓ ｗｉｎｄｏｗ）２１を適用することによって、周波数領域の表現に変換される。時間−周波数領域プロセッサ２２は、入力の時間サンプルに応答して、入力スペクトルを生成する。時間−周波数領域の変換を達成するために、時間−周波数領域プロセッサは、離散フーリエ変換（ＤＦＴ）、ウェーブレット変換、またはその他の変換を実行し得るか、あるいは解析フィルタバンクによって置換されたり、または解析フィルタバンクを実装したりし得る。この実施形態においては、ＤＦＴが用いられる。入力信号ｍ（ｔ）は、必ずしも図１に示されているようなマイクロフォンから導出される必要はないことに留意されたい。本発明は、任意のオーディオ信号に対し、それがどのように生成されるかに関わらず作用し得る。
【００４７】
インパルス応答推定器２４は、入力信号Ｍ（ω）２５の周波数領域の表現に作用し、インパルス応答Ｈ（ω）の周波数領域の表現の知覚上関連のある推定
【００４８】
【数５】
２３を生成する。一般に、インパルス応答推定器２４は、入力信号に作用し、ブロックをベースとしたＨ（ω）の推定を生成する。このブロックをベースとしたインパルス応答の推定は、複数のブロックの推定
【００４９】
【数６】
１６から構成され、これらのブロックの推定は、図２に示されているようなインパルス応答
【００５０】
【数７】
１５のブロックの周波数領域の推定と対応している。
【００５１】
反響調整プロセッサ２６は、インパルス応答の１つ以上の周波数領域のブロック推定器１６に応答して、入力信号のスペクトルＭ（ω）の周波数成分を調整し、１つ以上の反響が調整された周波数スペクトル２７（入力信号のスペクトルＭ（ω）の調整されたスペクトル成分を含む）を生成するように動作可能である。一般に、反響調整プロセッサ２６は、１つ以上の調整された周波数スペクトル２７を導出し、これは、入力信号の成分がオリジナルのドライ信号の一部分であるか、または反響信号も一部分であるかに基づいて、この入力信号の成分を通過、増幅、または減衰させ得る。
【００５２】
信号改変器２８は、反響が調整された周波数スペクトル２７と入力信号のスペクトル２５との周波数成分を改変および混合し、１つ以上の出力周波数スペクトルＺ１（ω），Ｚ２（ω），・・・，ＺＬ（ω） ２９を生成するように動作する。
【００５３】
周波数−時間領域プロセッサ３０は、出力周波数スペクトルに応答して、時間サンプルｚ１（ｔ），ｚ２（ｔ），・・・，ｚＬ（ｔ） ３２を生成するように動作する。周波数−時間領域プロセッサは、一般に、時間−周波数領域プロセッサ２２の逆の機能を実行する。結果的に、好適な実施形態において、各周波数−時間領域プロセッサは、逆離散フーリエ変換（ＩＤＦＴ）を実行する。
【００５４】
分解プロセッサ３３は、インパルス応答Ｈ（ω）の周波数領域の表現のブロックをベースとした推定
【００５５】
【数８】
２３を用い、入力信号Ｍ（ω）２５の周波数領域の表現に作用し、オリジナルのドライ信号
【００５６】
【数９】
３４の推定と、反響信号の１つ以上の成分の推定
【００５７】
【数１０】
３５とを生成する。
【００５８】
ドライ信号改変器３６は、オリジナルのドライ信号の推定
【００５９】
【数１１】
３４の周波数成分を調整し、オリジナルのドライ信号の改変された推定
【００６０】
【数１２】
を生成するように動作可能である。反響信号改変器３７は、反響信号成分の１つ以上の推定
【００６１】
【数１３】
の周波数成分を独立的に調整し、反響信号成分の改変された推定を生成するように動作可能である。
【００６２】
一般に、再構成プロセッサ３８は、オリジナルのドライ信号の改変された推定
【００６３】
【数１４】
と、反響信号成分の改変された推定
【００６４】
【数１５】
とを取り、１つ以上の反響が調整された周波数スペクトル２７を生成する。
【００６５】
第２の入力信号ｓ２（ｔ）４０は、第２の入力信号に反響を追加するために、再構成プロセッサに提供され得る。入力信号ｓ２（ｔ）４０は、時間サンプルのブロックに重なり解析窓４１を適用することによって、周波数領域の表現に変換される。時間−周波数領域プロセッサ４２は、入力の時間サンプルに応答して、入力スペクトルを生成する。追加された反響の特性は、インパルス応答２３のブロックをベースとした推定によって、決定される。
【００６６】
本発明の性能は、インパルス応答推定器２４に１つ以上のソースモデル４３を含めることによって、向上され得る。ソースモデルは、反響システムの物理的特性を説明するために用いられ得る。例えば、反響システム（部屋）の応答は、時間の経過につれて、指数的に減衰する傾向がある。
【００６７】
インパルス応答推定器２４によって導出されたブロックをベースとした推定は、その後の使用のために、格納され４４、抽出される。インパルス応答改変器４５は、インパルス応答のブロックをベースとした推定の周波数成分を独立的に調整し、インパルス応答の改変されたブロックをベースとした推定を生成するように動作可能である。
【００６８】
分解プロセッサ３３の性能は、ソースモデル４６を含めることによって向上され得る。ソースモデルの１つの目的は、どの程度の所与の周波数帯域が減衰または増幅され得るのかを決定するときに、ドライ音源の物理的特性を説明することであり得る。分解プロセッサ３３の性能はまた、知覚モデル４７を含めることによって向上され得る。知覚モデルの１つの目的は、周波数帯域を改変する量を制限し、その結果、ドライ信号を抽出する際に、望ましくない反響成分がドライ信号によってマスクされる地点までにのみ、その反響成分が減衰されるようにすることである。同様に、反響信号を抽出する際に、望ましくないドライ信号成分は、その成分が反響信号によってマスクされる地点までにのみ、減衰される。実際には、知覚モデルおよびソースモデルの局面は、組み合わされ得る。
【００６９】
再構成プロセッサ３８の性能は、ソースモデル４８を含めることによって、向上される。ソースモデルの１つの目的は、どの程度の所与の周波数帯域が減衰または増幅され得るのかを決定するときに、ドライ音源の物理的特性を説明することであり得る。分解プロセッサ３８の性能はまた、知覚モデル４９を含めることによって向上される。知覚モデルの１つの目的は、周波数帯域を改変する量を制限し、その結果、反響が調整されたスペクトルを導出する際に、ドライ信号および反響信号の望ましくない成分が所与の信号成分によってマスクされる地点までにのみ、それらの成分が減衰されるようにすることである。実際には、知覚モデルおよびソースモデルの局面は、組み合わされ得る。
【００７０】
実際には、ソースモデル４６、４８と知覚モデル４７、４９との局面は組合されたり、分解プロセッサ３３と再構成プロセッサ３８との間で共有されたりし得る。
【００７１】
本発明の様々な部分の動作は、コントローラ５０によって、独立的に制御可能であり得る。
【００７２】
（好適な実施形態）
以下では、入力信号をそのオリジナルのドライ信号成分と反響成分とに分解するための好適な実施形態を記載する。反響成分はさらに、多数のサブ成分に分解される。この好適な実施形態は、数多くの用途（スピーチ信号または音楽信号を変更し、所望の反響特性を入手すること、スピーチ信号の明瞭度を向上させること、ならびにモノラル、ステレオ、またはマルチチャネルの入力信号から、追加的なオーディオチャネルを形成することを含む）に用いられ得る。
【００７３】
入力信号がモノラルである場合について、好適な実施形態が記載される。この実施形態を記載するにあたり、入力信号ｍ（ｔ）３は、ドライ音源ｓ（ｔ）１と反響成分ｒ（ｔ）との組み合わせから構成されることが仮定される。ここでｒ（ｔ）は、ｓ（ｔ）がインパルス応答ｈ（ｔ）を有する反響システムを通る結果である。入力信号３は、その他の手段によって形成され得ることが理解される。
【００７４】
入力信号ｍ（ｔ）は、２２において、周波数領域の表現に変換される。この実施形態においては、離散フーリエ変換（ＤＦＴ）の高速の実装（５０％の重なりのルートハニング窓２１を用いる）が利用される。その他の周波数領域の表現（離散コサイン変換、またはウェーブレット変換を含む）が利用され得ることが、当業者には理解されよう。代替的に、周波数領域の表現を提供するために、フィルタバンクが利用され得る。その他の窓関数が利用され得、重なりの量は５０％までに制限されるということもまた、理解されよう。時間−周波数変換において、時間サンプルのゼロパディングが用いられ得、処理に起因し得る任意の時間的なエイリアシングアーチファクトを低減し得るということが、理解されよう。入力信号の周波数領域の表現は、Ｍ（ω）２５である。
【００７５】
インパルス応答推定器２４は、入力信号の周波数領域の表現に作用し、インパルス応答
【００７６】
【数１６】
２３の周波数領域の表現のブロックをベースとした推定を生成する。図２に示されているように、インパルス応答ｈ（ｔ）は、Ｂ＋１個のブロックに分割され、これらのブロックは、ｈ０（ｔ），ｈ１（ｔ），・・・，ｈＢ（ｔ）１５から構成されており、これらには、周波数領域の表現Ｈ０（ω），Ｈ１（ω），・・・，ＨＢ（ω）１６が対応している。好適な実施形態において、全てのブロックは同じサイズであり、各々は長さＤを有している。インパルス応答推定器は、Ｈ０（ω），Ｈ１（ω），・・・，ＨＢ（ω）の知覚上関連のある推定を生成する。この実施形態において、これらの知覚上関連のある推定
【００７７】
【数１７】
は、Ｈ０（ω），Ｈ１（ω），・・・，ＨＢ（ω）の大きさの推定にそれぞれ基づいている。
【００７８】
当業者には、インパルス応答ｈ（ｔ）が有限インパルス応答（ＦＩＲ）フィルタによって、そのフィルタが十分な長さである場合に、適切に近似され得ることが理解されよう。したがって、信号ｍ（ｔ）は、ｈ（ｔ）に等しいインパルス応答を有するＦＩＲフィルタを介して、ドライ信号ｓ（ｔ）を処理することによって、入手され得る。このフィルタリングまたは畳み込み演算は、インパルス応答のブロックをベースとした表現１５を用いることによって、等しく実装され得る。ブロックをベースとした実装は、図４に示されている。
【００７９】
信号ｓ（ｔ）は、ｈ０（ｔ），ｈ１（ｔ），・・・，ｈＢ（ｔ）に等しいインパルス応答を有するＢ＋１個のＦＩＲフィルタを介して処理される。これらのＦＩＲフィルタの出力を時間整列（ｔｉｍｅ−ａｌｉｇｎ）させるために、信号ｓ（ｔ）は、一連の遅延要素δ（ｔ−Ｄ）１７によって遅延される。各遅延要素は、Ｄサンプルの遅延を提供し、これらのサンプルは、ブロックＦＩＲフィルタの長さに対応する。各遅延要素は、長さＤのＦＩＲフィルタとして実装され得、０に等しい最後のフィルタのタップ以外の全てを有し、最後のフィルタのタップは１に等しい。ブロックをベースとしたＦＩＲフィルタリングの動作は、数学的には
【００８０】
【数１８】
のように、または等価なものとして、
【００８１】
【数１９】
のように記述され得る。ここで＊は、畳み込み演算を表す。
【００８２】
図４において示されているように、この数学的な記述は、直接的な信号成分と反響成分とを明示的に示すように、
【００８３】
【数２０】
のように拡張され得る。ここで、ｓ（ｔ）＊ｈ０（ｔ）は、直接的な信号成分を含み、
【００８４】
【数２１】
は、反響信号成分７である。実際には、ｈ０（ｔ）は長さＤなので、反響信号の最初の部分の一部は、ｓ（ｔ）＊ｈ０（ｔ）にあると期待することができる。これは一般には、Ｄが十分短く選択される場合には、問題とはならない。Ｄが十分短い場合、ｓ（ｔ）＊ｈ０（ｔ）における反響信号の一部は、人間の聴覚システムのマスキング特性によって、聴こえないであろう。したがって、ｓ（ｔ）＊ｈ０（ｔ）は直接的な信号成分の知覚上関連のある表現ではあるが、ｒ（ｔ）は反響信号成分の知覚上関連のある成分であると言うことができる。
【００８５】
当業者には、時間領域における畳み込みは、周波数領域における乗算に等しいということが理解されよう。したがって、図４に示されているブロックをベースとしたＦＩＲフィルタリングの処理は、代替的に、図５に示されているように、周波数領域において実行され得る。図４のＢ＋１個のＦＩＲフィルタｈ０（ｔ），ｈ１（ｔ），・・・，ｈＢ（ｔ）は、ここでは、それらの周波数領域における等価物Ｈ０（ω），Ｈ１（ω），・・・，ＨＢ（ω）によって置換されている。ここでは遅延要素は、Ｚ−Ｄ１８によって示されており、Ｄは遅延の長さを表している。したがって、周波数領域の処理は、
【００８６】
【数２２】
として、または等価なものとして、
【００８７】
【数２３】
によって与えられ得る。
【００８８】
図５に示されているように、この数学的な記述は、直接的な信号成分と反響成分とを明示的に
【００８９】
【数２４】
のように示すために拡張され得る。ここで、Ｓ（ω）Ｈ０（ω）は、直接的な信号成分を含む周波数領域の表現であり、
【００９０】
【数２５】
は、反響信号成分１９の周波数領域の表現である。
【００９１】
当業者には、ＦＩＲフィルタの効果が、適切な無限インパルス応答（ＩＩＲ）フィルタを用いることによって、取り消され得ることが理解できよう。したがって、Ｂ＋１個のＦＩＲフィルタｈ０（ｔ），ｈ１（ｔ），・・・，ｈＢ（ｔ）が正確に知られている場合に、適切なＩＩＲフィルタ構造を用いて、ｍ（ｔ）からオリジナルのドライ信号ｓ（ｔ）を復元することが可能である。オリジナルのドライ信号はまた、ＦＩＲフィルタの周波数領域の表現Ｈ０（ω），Ｈ１（ω），・・・，ＨＢ（ω）が知られている場合に復元され得る。本発明は、この概念を利用する。
【００９２】
多くの状況においては、Ｈ０（ω），Ｈ１（ω），・・・，ＨＢ（ω）の正確な値を測定または導出することは不可能であり、そしてｍ（ｔ）からｓ（ｔ）を復元することは不可能である。本発明において、Ｈ０（ω），Ｈ１（ω），・・・，ＨＢ（ω）の知覚上関連のある推定は、Ｓ（ω）の推定を導出するために用いられる。これらの知覚上関連のある推定
【００９３】
【数２６】
は、Ｈ０（ω），Ｈ１（ω），・・・，ＨＢ（ω）の大きさの推定にそれぞれ基づいている。
【００９４】
インパルス応答
【００９５】
【数２７】
の周波数領域の表現のブロックをベースとした推定２３は、分解プロセッサ３３に提供される。分解プロセッサは、入力信号Ｍ（ω）２５の周波数領域の表現に作用し、直接的な信号成分３４の推定と反響成分３５の推定とを生成する。好適な実施形態においては、分解プロセッサは、図６のように動作する。図面からは、分解プロセッサが、知覚上関連のあるフィルタの推定
【００９６】
【数２８】
を用い、ブロックをベースとしたＩＩＲフィルタ構造を形成するということが分かるであろう。ＩＩＲフィルタ構造は、Ｍ（ω）をその入力として取り、直接的な信号成分
【００９７】
【数２９】
３４のスペクトルの推定と、反響信号成分
【００９８】
【数３０】
３５のスペクトルの推定とを生成する。この処理は、数学的には、
【００９９】
【数３１】
のように記述され得る。
【０１００】
この動作をよりよく理解するためには、入力信号Ｍ０（ω）の所与のブロックに対する処理を考えることが有用である。Ｍ０（ω）は、Ｈ０（ω）を用いて畳み込まれたドライ信号の現在のブロックと、Ｈ１（ω）を用いて畳み込まれたドライ信号の先のブロックと、ドライ信号のＢ個の先のブロック等から構成される。ここでは、ドライ信号のブロックを示す下付き文字を用い、Ｓｉ（ω）はドライ信号成分の先のｉ番目のブロックの周波数領域の表現を表す。これが与えられると、分解プロセッサの動作は、数学的に
【０１０１】
【数３２】
として記述され得る。ここで、
【０１０２】
【数３３】
は、Ｓｉ（ω）の真の値の推定である。好適な実施形態においては、
【０１０３】
【数３４】
は、１に等しいことが仮定されるので、
【０１０４】
【数３５】
が得られる。
【０１０５】
したがって、本発明の好適な実施形態において、ドライ信号成分３４の現在のブロックの推定は、ドライ信号の先のブロックの推定と、反響システムのインパルス応答のブロックをベースとした推定とから入手される。上式の
【０１０６】
【数３６】
が、反響信号成分３５の推定であることに留意されたい。すなわち、
【０１０７】
【数３７】
である。
【０１０８】
好適な実施形態においては、全体の反響信号成分は、
【０１０９】
【数３８】
のように、Ｋ個の反響のサブ成分
【０１１０】
【数３９】
に分割される。
【０１１１】
ここで、ｐｉ，ｋ（ω）［ｉ＝０，・・・，Ｂおよびｋ＝１，・・・，Ｋ］は、周波数に応じたゲインベクトルであり、このゲインベクトルは、全体の反響信号成分が、時間および周波数にわたって、選択的に分割されることを可能にする。これは、インパルス応答の特定の部分によって畳み込まれたドライサウンドに起因する反響信号の一部を選択的に抽出することを可能にする。例えば、早期反射１２に起因する反響信号成分は、反響のテール１１に起因する成分から分離して抽出され得る。同様に、早期反射の異なる部分および／または反響のテールは、分離して抽出され得る。さらに、ｐｉ，ｋ（ω）の値は、反響信号の異なる成分の低周波数と高周波数とを選択的に分離するように選択され得る。
【０１１２】
好適な実施形態において、ブロックをベースとしたインパルス応答は、Ｂ＋１個のブロックの周波数領域の表現の大きさによって、推定される。したがって、上式は、
【０１１３】
【数４０】
のように変形され得る。
【０１１４】
入力信号Ｍ０（ω）の位相は、
【０１１５】
【数４１】
に対する、そして
【０１１６】
【数４２】
に対する位相応答として、用いられる。
【０１１７】
好適な実施形態において、分解プロセッサは、異なるゲインベクトルを入力信号に適用することによって、動作する。
【０１１８】
【数４３】
ドライ信号成分に対するゲインベクトルは、
【０１１９】
【数４４】
によって導出される。周波数に応じたパラメータＭｉｎＧａｉｎ（ω）は、ＧＳ（ω）がなんらかの所望の値を下回ることを妨げる。
【０１２０】
好適な実施形態において、ゲインベクトルは実数値のベクトルなので、ゲインベクトルは、Ｍ０（ω）の大きさのみに影響する。その結果、
【０１２１】
【数４５】
は、Ｍ０（ω）と同じ位相応答を有する。反響信号に対するゲインベクトルは、同様の方法で求められる。
【０１２２】
ゲインベクトル
【０１２３】
【数４６】
は、知覚モデル４７とソースモデル４６とを利用することによって、さらに精密化され得る。知覚モデルが人間の聴覚システムのマスキング特性を説明する一方で、ソースモデルは、音源の物理的特性を説明する。この実施形態において、２つのモデルは組み合わされ、時間および周波数にわたって、ゲインベクトル
【０１２４】
【数４７】
の平滑化を提供する。時間にわたる平滑化は、
【０１２５】
【数４８】
のように遂行される。ここでτは、処理の現在の時間フレームを示す。γ（ω）は、各周波数帯域に対し、時間にわたってゲインベクトル
【０１２６】
【数４９】
に適用される平滑化の量を決定する。γ（ω）の様々な値が、各ゲインベクトルに対して用いられ得ることに留意されたい。またγ（ω）の値が、周波数に伴って変化し得ることにも留意されたい。γ（ω）の値もまた、時間の経過につれて変化し得、これらの値は、入力信号またはゲインベクトルの値に応じたものであり得る。
【０１２７】
人間の聴覚システムの同時のマスキング特性は、周波数にわたる平滑化または拡散の形で見ることができる。この実施形態において、同時のマスキングは、
【０１２８】
【数５０−１】
【０１２９】
【数５０−２】
のように計算される。変数ｓｐｒｅａｄ１（ω）およびｓｐｒｅａｄ２（ω）は、周波数にわたる同時のマスキングの量を決定する。この実施形態において、ｓｐｒｅａｄ１（ω）およびｓｐｒｅａｄ２（ω）は、聴覚フィルタの帯域幅が周波数の増加に伴って増加し、その結果、高周波数においてより多くの拡散が適用されるという事実を説明するように企図される。
【０１３０】
ゲインベクトルは、推定されたマスキングの効果を追加することによって、精密化される。周波数に応じたパラメータμ（ω）は、先に計算されたゲインベクトルの値に対してマスキングの推定が追加されるレベルを決定する。
【０１３１】
【数５１】
このステップは、ゲインベクトルの値が１．０を超過するようにし得る。この実施形態において、最大のゲイン値は、１．０に制限されるが、その他の制限も可能である。
【０１３２】
【数５２】
残りのゲインベクトルに対し、同様の動作が実行される。これらの最終的なゲインベクトルは、入力信号Ｍ（ω）に適用され、ドライ信号成分３４と反響信号成分３５とを生成する。ドライ信号成分３４は、必要に応じて、ドライ信号改変器３６によって改変され得る。この実施形態において、改変は、レベルの調整、周波数フィルタリング、およびダイナミックレンジの処理を含み得るが、これらには限定されない。反響信号成分３５は、反響信号改変器３７によって作用され、この実施形態においては、改変は、レベルの調整、周波数フィルタリング、およびダイナミックレンジの処理を含み得るが、これらには限定されない。
【０１３３】
【数５３】
再構成プロセッサ３８は、改変されたドライサウンドの推定
【０１３４】
【数５４】
と反響信号のサブ成分の改変された推定
【０１３５】
【数５５】
とを組み合わせ、１つ以上の反響が調整された周波数スペクトル２７を生成する。再構成プロセッサによって実行される別の動作は、図７に示されているように、ブロックをベースとしたインパルス応答を信号Ｘ（ω）６０に適用し、出力信号Ｙ（ω）６１を生成することである。ブロックをベースとしたインパルス応答は、インパルス応答推定器２４によって導出されるオリジナル
【０１３６】
【数５６】
または改変バージョン
【０１３７】
【数５７】
６２のいずれかから構成され得る。この処理に対する入力信号Ｘ（ω）は、
【０１３８】
【数５８】
のうちの１つ以上、または２次入力信号Ｓ２（ω）から構成され得る。
【０１３９】
【数５９】
の異なるバージョンが、異なる入力信号に対して用いられ得る。ブロックをベースとしたこの畳み込み処理からの出力信号は、追加的な反響が調整された周波数スペクトル２７を提供する。再構成プロセッサ３８は、ソースモデルと知覚モデルとを含む。この実施形態において、ソースモデル４８および知覚モデル４９は、分解プロセッサ３３のソースモデル４６および知覚モデル４７と組み合わされる。
【０１４０】
未処理の入力信号Ｍ（ω）２５と、反響が調整された周波数スペクトル２７とは、信号改変器２８に提供される。信号改変器は、最終的なＬ個の出力周波数スペクトルＺ１（ω），Ｚ２（ω），・・・，ＺＬ（ω）を生成し、これらは時間領域に変換され、所望の信号ｚ１（ｔ），ｚ２（ｔ），・・・，ｚＬ（ｔ）３２が入手される。この実施形態において、周波数−時間領域変換器３０は、ルートハニング窓３１が後に続く逆離散フーリエ変換（ＩＤＦＴ）の高速の実装から構成されている。
【０１４１】
本発明がモノラル出力信号（すなわち、Ｌ＝１）を形成するために用いられる用途に対しては、信号改変器２８は、反響が調整されたスペクトル２７に作用し、それらを組み合わせて、改変された反響特性を有する入力信号の改変バージョンを形成する。
【０１４２】
本発明がモノラル入力信号から追加的なオーディオチャネルを形成するために用いられる用途に対しては、信号改変器２８の動作は、反響が調整された周波数スペクトル２７に作用し、それらを組み合わせて、２つ以上の一意的な出力周波数スペクトルＺ１（ω），Ｚ２（ω），・・・，ＺＬ（ω）を形成することを含む。
【０１４３】
信号改変器２８が、未処理の入力信号Ｍ（ω）２５または反響が調整された周波数スペクトル２７のいずれをも改変する必要がない一部の用途においては、信号改変器は、これらの信号を単に最終的な出力周波数スペクトルＺ１（ω），Ｚ２（ω），・・・，ＺＬ（ω）へと渡し得る。
【０１４４】
好適な実施形態において、先のステップは、反響システムのインパルス応答の適切なブロックをベースとした推定を必要とし得る。インパルス応答推定器２４は、入力信号Ｍ（ω）２５の周波数領域の表現に作用し、インパルス応答のブロックをベースとした推定
【０１４５】
【数６０】
を生成する。
【０１４６】
２つのファクターが、所与の周波数において反響の入力信号Ｍ（ω）２５が減衰する（または増加する）速度を決定するために、組み合わされる。第１のファクターは、ドライ音源ｓ（ｔ）１の減衰（または増加）の速度であり、第２のファクターは、反響システムの減衰の速度である。所与の周波数における反響システム（例えば、コンサートホール）の減衰の速度は、時間の経過にわたって比較的一定ではあるが、ドライ音源の減衰の速度は、連続的に変化する。歌手についての先の例を用いると、所与の周波数における歌手の声のレベルは、時間の経過につれて、上がったり下がったりし得る。したがって、入力信号Ｍ（ω）２５の減衰の最高速度は、ドライ音源ｓ（ｔ）１が所与の周波数において停止し、信号における減衰の全体が、反響システムの減衰に起因するときに起こる。
【０１４７】
所与の周波数を考えると、
【０１４８】
【数６１】
を推定する最良の機会は、ドライ音源ｓ（ｔ）１がその周波数において停止した、まさにそのときであることが分かる。その時点で信号の反響成分ｒ（ｔ）が後に続き、反響システムの減衰が観察され得る。これが与えられると、先のブロックの大きさ
【０１４９】
【数６２】
に対する現在のブロックの大きさ
【０１５０】
【数６３】
の比を観察し、この比の最小値を推定することによって、推定
【０１５１】
【数６４】
を入手できる。
【０１５２】
【数６５】
ここでＢｉａｓｉ（ω）は、１．０よりも大きいなんらかの値であり、εはなんらかの小さな値である。周波数に応じたパラメータＢｉａｓｉ（ω）は、
【０１５３】
【数６６】
が正しくない最小値にトラップ（ｔｒａｐ）されることを妨げ、εは
【０１５４】
【数６７】
が値ゼロにトラップされることを妨げる。上述の比の最小値は、その周波数における信号減衰の最高速度に対応しているので、これは、その周波数における
【０１５５】
【数６８】
の推定に対応している。この処理は、全てのブロック［ｉ＝１，・・・，Ｂ］に対し、各周波数ωにおいて実行される。
【０１５６】
この実施形態において、ソースモデルは、
【０１５７】
【数６９】
のように実装される。パラメータＭａｘＶａｌｕｅｉ（ω）は、
【０１５８】
【数７０】
ひいては
【０１５９】
【数７１】
が、実際の音響空間において期待されていないであろう、なんらかの値を超過することを妨げる。ＭａｘＶａｌｕｅｉ（ω）は、周波数にわたって、そしてブロックにわたって、変化し得る。時間的な平滑化動作が、
【０１６０】
【数７２】
のより安定な推定を提供するために適用される。
【０１６１】
【数７３】
ここでτは、処理の現在の時間フレームを示し、αｉ（ω）は、時間的な平滑化の量を制御する周波数に応じたパラメータである。αｉ（ω）はまた、時間にわたって、そしてブロックにわたって変化し得、その値は、入力信号の現在のブロックと、入力信号の先のブロックとに応じたものであり得る。
【０１６２】
この実施形態において、周波数にわたる
【０１６３】
【数７４】
の平滑化は、ソースモデルの一部として実行される。平滑化の量は、βｉ（ω）の値によって決定される。βｉ（ω）は、周波数にわたって、そしてブロックにわたって変化し得る。
【０１６４】
【数７５】
ブロックをベースとしたインパルス応答の最終的な推定
【０１６５】
【数７６】
［ｉ＝１，・・・，Ｂ］は、ゲインベクトルを導出するために利用され、これらのゲインベクトルは、ドライサウンドの推定と反響成分の推定とを導出するために用いられる。
【０１６６】
入力信号がモノラルである場合について、好適な実施形態が記載されてきた。本発明は、ステレオ信号およびマルチチャネル信号への作用に直ちに拡張され得るということに留意されたい。入力信号が２つ以上のチャネルを有しているときには、本発明が各チャネルに対して独立的に機能するか、あるいはチャネル上の動作が組み合わされ得、所与のチャネルに関する情報がその他のチャネルを処理する際に用いられ得るということに留意されたい。
【０１６７】
インパルス応答のＢ＋１個のブロック１５、１６は、必ずしも等しいサイズである必要はない。例えば、インパルス応答の早期反射の部分１２に対して、より良い時間分解能を入手するために、より短いブロックを用いて、インパルス応答の最初の部分を表すことが望ましくあり得る。
【０１６８】
インパルス応答のＢ＋１個のブロック１５は、重なり合うか、またはそれらのブロックは、図２に示されているように、いかなる重なりをも有していないことがあり得る。ブロックが重なり合っている場合、ブロックからブロックへの滑らかな遷移を提供するために、窓関数が用いられ得る。好適な実施形態において、ブロックは５０％の重なりを有している。
【０１６９】
好適な実施形態においては、信号およびインパルス応答の周波数領域の表現の大きさの平方
【０１７０】
【数７７】
が、処理に用いられる。大きさのその他の累乗
【０１７１】
【数７８】
も用いられ得ることに留意されたい。
【０１７２】
反響が第２の入力信号ｓ２（ｔ）４０に追加される用途に対し、再構成プロセッサは、図７に示されているようなブロックをベースとした周波数領域のＦＩＲフィルタを含み得る。これらのフィルタは、インパルス応答のブロックの大きさの改変された推定
【０１７３】
【数７９】
から構成される。好適な実施形態において、再構成プロセッサは、ゲインベクトルを入力信号に適用することによって、これを遂行する。
【０１７４】
好適な実施形態において、分解プロセッサ３３および再構成プロセッサ３８は、互いに独立的に動作する。一部の用途において、２つのプロセッサの局面は、組み合わされ得るということに留意されたい。
【０１７５】
本発明は、一般に、入力信号Ｍ（ω）２５に基づいて、追加的なオーディオ信号を形成するために用いられ得る。すなわち、本発明は、Ｕ個のチャネルを有する入力信号Ｍ（ω）２５からＶ個の出力チャネルを形成するために用いられ得る（但しＶ＞Ｕ）。この例は、モノラル入力信号からステレオ信号またはマルチチャネル信号を形成することと、ステレオ入力信号からマルチチャネル信号を形成することと、マルチチャネル入力信号から追加的なチャネルを形成することとを含む。一般にこれは、信号の反響成分を抽出し、異なるサブ成分Ｒ１（ω），Ｒ２（ω），・・・，ＲＫ（ω）３５に分解し、これらを異なる出力チャネルに分散することによって遂行される。反響信号の所与の成分は、２つ以上の出力チャネルに割り当てられ得る。形成されたチャネルはまた、ドライ信号成分
【０１７６】
【数８０】
３４および入力信号Ｍ（ω）２５の推定を含み得る。
【０１７７】
好適な実施形態において、分解プロセッサ３３は、インパルス応答のブロックをベースとした推定
【０１７８】
【数８１】
を利用し、反響のサブ成分の知覚上適した集合を導出するように、入力信号Ｍ（ω）２５に作用する。再構成プロセッサ３８は、ドライ信号
【０１７９】
【数８２】
３４および反響のサブ成分３５の推定に作用し、反響が調整された周波数スペクトル２７の集合を導出する。一部の例においては、信号改変器２８が、反響が調整された周波数スペクトルを、最終的なＶ個の出力周波数スペクトルＺ１（ω），Ｚ２（ω），・・・，ＺＶ（ω） ２９に直接的に割り当て得る。最終的な出力周波数スペクトルは、時間領域３０に変換され、窓関数が施され（ｗｉｎｄｏｗｅｄ）３１、ｚ１（ｔ），ｚ２（ｔ），・・・，ｚＶ（ｔ） ３２から構成されるマルチチャネルのオーディオ信号を提供する。
【０１８０】
その他の例においては、信号改変器２８が、２つ以上の反響が調整された周波数スペクトル２７を選択的に組み合わせ、Ｖ個の出力周波数スペクトルを形成し得る。信号改変器はまた、Ｖ個の出力周波数スペクトルのうちの１つ以上において、未処理の入力信号Ｍ（ω）２５を含み得る。
【０１８１】
例として、ステレオ入力信号（Ｕ＝２）から５個の（Ｖ＝５）チャネルの出力信号を形成するための１つのアプローチは、図８に示されているようなものとして考えられる。左入力信号ＭＬｅｆｔ（ω）７０は、その直接的な信号成分
【０１８２】
【数８３】
と反響信号成分
【０１８３】
【数８４】
とに分解される。左チャネルの直接的な信号成分
【０１８４】
【数８５】
は、左出力チャネル７２に送信され、その一方で、左チャネルの反響信号成分
【０１８５】
【数８６】
は、左サラウンド出力チャネル７５に送信される。同様に、右入力信号ＭＲｉｇｈｔ（ω）７１は分解され、右チャネルの直接的な信号成分
【０１８６】
【数８７】
は、右出力チャネル７３に送信され、その一方で、右チャネルの反響信号成分
【０１８７】
【数８８】
は、右サラウンド出力チャネル７４に送信される。中央の出力チャネル７４は、なんらかの混合物
【０１８８】
【数８９】
から構成され、ここでｇ１、ｇ２、ｇ３およびｇ４は、成分が互いに混合される相対的なレベルを決定する。この例は、本発明が入力信号を分解して追加的なオーディオチャネルを形成するための、ほぼ無数の手段のうちの１つに過ぎないことに、留意されたい。
【０１８９】
（本発明のその他の実施形態）
１．インパルス応答の周波数領域の表現のブロックをベースとした推定を用いて、反響信号を分解することによって、その信号を直接的なサウンド成分および／または１つ以上の反響成分に分解する方法。
【０１９０】
１．１．上記信号は、インパルス応答の周波数領域の表現の大きさの表現のみに基づいて、直接的なサウンド成分および／または１つ以上の反響成分に分解される、クレーム１に記載の方法。
【０１９１】
１．２．上記信号は、変換の表現を用いて、直接的なサウンド成分および／または１つ以上の反響成分に分解される、クレーム１に記載の方法。
【０１９２】
１．３．上記信号は、フィルタバンクの表現を用いて、直接的なサウンド成分および／または１つ以上の反響成分に分解される、クレーム１に記載の方法。
【０１９３】
１．４．上記信号は、直接的なサウンド成分および／または１つ以上の反響成分に分解され、直接的なサウンド成分のみが出力される、クレーム１に記載の方法。
【０１９４】
１．５．上記信号は、直接的なサウンド成分および／または１つ以上の反響成分に分解され、１つ以上の反響成分のみが出力される、クレーム１に記載の方法。
【０１９５】
２．クレーム１に記載の方法を用いて、第１に反響信号を分解し、直接的なサウンド成分および／または１つ以上の反響成分を組み合わせる前に、それらを改変することによって、出力信号を生成する方法。
【０１９６】
２．１．上記処理は、電話機またはテレビ会議機器における反響を低減させるために用いられる、クレーム２に記載の方法。
【０１９７】
２．２．上記処理は、反響スピーチ信号の明瞭度を増加させるために用いられる、クレーム２に記載の方法。
【０１９８】
２．３．上記処理は、反響を低減させ、スピーチ認識システムの認識率を増加させるために用いられる、クレーム２に記載の方法。
【０１９９】
２．４．上記処理は、増幅された信号に起因する反響を低減させることによって、拡声装置（ｐｕｂｌｉｃ ａｄｄｒｅｓｓ ｓｙｓｔｅｍ）における音響フィードバックを低減させるために用いられる、クレーム２に記載の方法。
【０２００】
２．５．上記処理は、補聴器における反響スピーチ信号の明瞭度を増加させるために用いられる、クレーム２に記載の方法。
【０２０１】
２．６．直接的なサウンド成分のみが抽出され、改変される、クレーム２に記載の方法。
【０２０２】
２．７．直接的なサウンド成分は、反響成分のうちの１つ以上を再び組み合わせる前に改変される、クレーム２に記載の方法。
【０２０３】
２．７．１．上記改変は、直接的なサウンド成分にノイズリダクション（ｎｏｉｓｅ ｒｅｄｕｃｔｉｏｎ）を適用することから構成される、クレーム２．７に記載の方法。
【０２０４】
２．７．２．上記改変は、直接的なサウンド成分にオーディオ透かしを追加することから構成される、クレーム２．７に記載の方法。
【０２０５】
２．８．上記反響成分は、直接的なサウンド成分と組み合わせる前に改変される、クレーム２に記載の方法。
【０２０６】
２．９．上記直接的なサウンド成分と１つ以上の反響成分との両方は、成分を組み合わせる前に改変される、クレーム２に記載の方法。
【０２０７】
２．１０．反響サウンドに対する直接的なサウンドの比は、直接的なサウンドと反響成分とを再び組み合わせる前に改変される、クレーム２に記載の方法。
【０２０８】
２．１１．特定の反響成分のみが、直接的なサウンド成分と組み合わせる前に改変される、クレーム２に記載の方法。
【０２０９】
３．インパルス応答の周波数領域の表現のブロックをベースとした推定を用いて、直接的なサウンド成分および／または１つ以上の反響成分から構成される出力信号を形成する方法。
【０２１０】
３．１．上記出力信号は、インパルス応答の周波数領域の表現の大きさの表現のみに基づいて形成される、クレーム３に記載の方法。
【０２１１】
３．２．上記出力信号は、インパルス応答の変換の表現を用いて形成される、クレーム３に記載の方法。
【０２１２】
３．３．上記出力信号は、インパルス応答のフィルタバンクの表現を用いて形成される、クレーム３に記載の方法。
【０２１３】
３．４．上記インパルス応答の周波数領域の表現は、複数の反響出力信号を形成するために改変される、クレーム３に記載の方法。
【０２１４】
３．４．１．上記複数の反響出力信号は、モノラル信号からステレオ信号を形成するために用いられる、クレーム３．４に記載の方法。
【０２１５】
３．４．２．上記複数の反響出力信号は、マルチチャネルのサラウンドサウンドシステムにおいて用いられる、クレーム３．４に記載の方法。
【０２１６】
３．４．３．上記複数の反響出力信号は、３次元ヘッドフォンシステムにおいて用いられる、クレーム３．４に記載の方法。
【０２１７】
３．５．上記出力信号は、第１の信号から導出されたインパルス応答の周波数領域の表現を、第２の信号の直接的なサウンド成分に適用することによって形成される、クレーム３に記載の方法。
【０２１８】
３．５．１．上記第２の信号の直接的なサウンド成分は、クレーム１に記載の方法を用いて導出される、クレーム３．５に記載の方法。
【０２１９】
４．反響信号から反響システムの記述を抽出する方法であって、
基礎となる反響システムの全体のインパルス応答を、インパルス応答の一部を表す一連のブロックに分解することと、
現在のフレームにおける信号の周波数領域の表現と、先のフレームの表現とを比較することによって、各ブロックに対して、インパルス応答の周波数領域の表現の推定を抽出することと
によって行われる、方法。
【０２２０】
４．１．周波数領域の表現の上記比較は、信号の周波数成分の変化率を追跡することに基づく、クレーム４に記載の方法。
【０２２１】
４．１．１．最大の変化率が用いられる、クレーム４．１に記載の方法。
【０２２２】
４．１．１．１．ブロックｉに対する上記周波数領域の表現Ｈｉ（ω）は、ｍｉｎ｛Ｍ０（ω）／Ｍｉ（ω）｝に基づく、クレーム４．１．１に記載の方法。
【０２２３】
４．１．２．上記変化率は、平滑化される、クレーム４．１に記載の方法。
【０２２４】
４．２．各ブロックに対する上記インパルス応答の周波数領域の表現は、物理的なモデルによって拘束される、クレーム４に記載の方法。
【０２２５】
４．２．１．上記反響システムの物理的なモデルは、所与の時間の後の指数的な減衰を仮定する、クレーム４．２に記載の方法。
【０２２６】
４．３．各ブロックに対する上記インパルス応答の周波数領域の表現は、知覚モデルを用いて導出される、クレーム４に記載の方法。
【０２２７】
４．３．１．上記知覚モデルは、耳の周波数に応じた選択性を説明する、クレーム４．３に記載の方法。
【０２２８】
４．４．実際の音響空間の知覚上関連のある反響特性は、その空間のインパルス応答を直接的に測定する必要なしにキャプチャされる、クレーム４に記載の方法。
【０２２９】
５．クレーム１に記載の方法にしたがって信号を分解し、直接的なサウンド成分および／またはインパルス応答の周波数領域の表現の推定に基づくブロックを改変することによって、クレーム３に記載の方法にしたがって出力信号を形成する方法。
【０２３０】
５．１．直接的な信号成分のみが、出力信号を形成する前に改変される、クレーム５に記載の方法。
【０２３１】
５．１．１．上記改変は、直接的なサウンド成分にノイズリダクションを適用することから構成される、クレーム５．１に記載の方法。
【０２３２】
５．１．２．上記改変は、直接的なサウンド成分にオーディオ透かしを適用することから構成される、クレーム５．１に記載の方法。
【０２３３】
５．１．３．上記改変は、オーディオデータリダクションエンコーディングと、直接的なサウンド成分のデコーディングとから構成される、クレーム５．１に記載の方法。
【０２３４】
５．１．３．１．上記分解および圧縮エンコーディングは、１つのデバイスによって実行され、圧縮デコーディングおよび出力信号の形成は、別のデバイスによって実行される、クレーム５．１．３に記載の方法。
【０２３５】
５．１．３．２．上記インパルス応答の周波数領域の表現のブロックをベースとした推定は、圧縮されたオーディオビットストリーム内に含まれる、クレーム５．１．３に記載の方法。
【０２３６】
５．２．上記インパルス応答の周波数領域の表現のブロックをベースとした推定は、クレーム４に記載の方法にしたがって導出される、クレーム５に記載の方法。
【技術分野】
【０００１】
（発明の分野）
本発明は、入力信号の反響成分および非反響成分の分解および変更に関し、より詳細には、入力信号の成分の知覚可能性を低減および増大させることに関する。本発明は特に、オーディオ信号における反響を低減または増大させる用途を有している。
【０００２】
信号内に見出される反響がその信号の最終的な使用のためには不適切である場合が多くあるので、反響を変更することが可能な手段が存在することが望ましくあり得る。さらに、反響が録音された音響空間を直接的に測定する必要なしに、この反響を変更することが可能であることが望ましくあり得る。
【背景技術】
【０００３】
（発明の背景）
ほぼ全てのオーディオ信号は、オリジナルのドライ信号（ｄｒｙ ｓｉｇｎａｌ）と反響との組み合わせから構成されている。反響は、反響システムを通るドライ信号に起因する。例えば、コンサートホールで上演している歌手を考える。この例において、歌手の声はドライ信号であり、コンサートホールは反響システムである。コンサートホールのいくつかの位置にマイクロフォンを配置し、結果として生じるサウンドを録音すると、コンサートホールの反響特性が重ね合わされたドライ音声信号が得られるであろう。すなわちマイクロフォンは、歌手に起因する直接的なサウンド成分とコンサートホールを通るサウンドに起因する反響成分との混合物をキャプチャする。
【０００４】
オリジナルのドライ信号が、音響空間の反響特性（オリジナルのドライ信号の上に重ね合わされている）を有している場合に、オリジナルのドライ信号（または直接的な信号成分）を復元することは極めて困難である。同様に、反響成分の特性またはレベルを変更することは極めて困難である。この困難は、部分的に、反響がオリジナルのドライ信号に応じたものであるという事実に起因する。すなわち、反響は、オリジナルのドライ信号から作られる。さらに、典型的には、反響システムに関するいかなる反響情報に対してもアクセスすることができない。コンサートホールにおける歌手の例を用いると、マイクロフォンは、コンサートホールの音響の詳細を直接的に録音しない。むしろマイクロフォンは、歌手の声のサウンド（その上にコンサートホールの音響特性が重ね合わされている）を録音する。
【０００５】
一部の用途（例えば、音楽の録音）においては、特定の量の反響は非常に望ましい。なぜならば、特定の量の反響は、主観的満足（ｓｕｂｊｅｃｔｉｖｅｌｙ ｐｌｅａｓｉｎｇ）をもたらす各音色（ｎｏｔｅ）の伸びと、深さおよび環境の感知とを提供し得るからである。勿論、一部の音響空間（例えば、コンサートホール）は、その他の音響空間よりも主観的満足を与え得る。しかしながら、典型的には、主観的満足を与える音響空間のほとんどに対してはアクセスすることができないので、録音の反響成分は、所望のものほどには良いものではないことがあり得る。すなわち、反響は、その録音のためには完全に適したものではないことがあり得る。この場合において、現在では、録音の反響成分を変更するために行われ得ることは、それほど多くはない。録音の反響エネルギーが不足している場合には、人工反響デバイスを介して録音を処理することによって、より多くの反響エネルギーを追加することができる。しかしながら、これらのデバイスによって生成された反響は、自然なものとして聴こえない傾向があり、録音内に既に存在している反響を相補することは考えられない。逆に、録音が過度に大きな反響を有している場合には、現在では、反響成分のレベルを低減させるために行われ得ることは、それほど多くはない。録音が正しい量の反響を有しているが、正しい特性を有していない場合には、現在では、反響の特性を変更するために行われ得ることは、それほど多くはない。これらの場合の各々において、適切な反響特性を入手するために、直接的なサウンド成分ならびに反響エネルギーのレベルおよび特性を変更することが可能であるならば、非常に有利であり得る。
【０００６】
その他の用途においては、ささやかな（ｍｏｄｅｓｔ）量の反響は適切ではない。なぜならば、ささやかな量の反響は、信号の明確度（ｃｌａｒｉｔｙ）および明瞭度（ｉｎｔｅｌｌｉｇｉｂｉｌｉｔｙ）を低下させるからである。例えば、テレビ会議（ハンドフリー電話がしばしば用いられる）の用途において、オフィスまたは会議室の反響は、スピーチ信号のサウンドを「うつろ（ｈｏｌｌｏｗ）」にする望ましくない影響を有し得る。これはしばしば、レインバレル効果（ｒａｉｎ ｂａｒｒｅｌ ｅｆｆｅｃｔ）と称される。その他の関連する用途（例えば、セキュリティ、監視、科学捜査）において、反響は非常に望ましくない。なぜならば反響は、スピーチ信号の明瞭度を低減させ得るからである。しかしながら、そのような状況においては、典型的には、音響空間の反響特性に対するいかなる制御をも有することは不可能である。スピーチ認識システムにおいて、反響は、単語を正確に識別するシステムの能力を低減させ、ひいては認識率を低減させ得る。認識率が過度に低くなると、スピーチ認識システムは、役に立たなくなり得る。反響は、障害のある人々に対して特有の困難を引き起こし得る。なぜならば、反響の望ましくない影響は、しばしば障害のある人々の聴覚の障害によって、倍加されるからである。スピーチの明瞭度に対する反響の負の影響は、しばしば聴覚の障害を有する人々に対しては、より深刻なものとなる。補聴器の増幅器が音響信号を増幅し、その音響信号をより聴こえるようにするとき、補聴器の増幅器は、直接的なサウンド成分と反響成分との両方を増幅する。したがって、信号を増幅することは、反響の負の影響を克服することには役立たない。これらの増幅の各々においては、直接的なサウンド成分に対して反響成分のレベルが適切なレベルになるように、反響成分のレベルを低減させることが可能であることが、非常に望ましくあり得る。オーディオ信号における反響の量を低減させることを試みるための１つの一般的なアプローチは、指向性マイクロフォンまたはマイクロフォンアレイを用いることである。指向性マイクロフォンおよびマイクロフォンアレイは、特定の方向から到達するサウンドを受け入れ、その他の方向から到達するサウンドを拒絶する。したがって、マイクロフォンが適切な場所に配置された場合、そのマイクロフォンは、所望のドライ信号を受け入れる一方で、反響の一部分を拒絶し得る。
【０００７】
指向性マイクロフォンまたはマイクロフォンアレイを首尾よく用いるには、所望の信号が配置される場所を知っていることが必要である。このアプローチは、その場所が知られていない場合、またはその場所が時間につれて変化する場合に、満足に機能しないことがあり得る。なぜならば、所望の信号が拒絶され得るからである。またこのアプローチは、特定の用途においては、マイクロフォンアレイの物理的なサイズ、必要なハードウェア資源（例えば、マイクロフォン、増幅器、等）の量における増加、そして結果としてもたらされるコストにおける増加が原因で、適切ではないことがあり得る。代わりに、音響空間に関するいかなる知識をも伴わずに、そしてソースの位置に関するいかなる知識をも伴わずに、単一の非指向性マイクロフォンを用いることによって、反響成分のレベルを適切なレベルに低減させることが可能であることが、非常に有利であり得る。
【０００８】
映画およびテレビの製作においては、聴こえてくるサウンド（例えば、台詞およびサウンド効果）が、スクリーン上で見られる画像に適した反響特性を有していることが重要である。例えば、小さな部屋でシーンが撮影されていることを画像が示している場合、サウンドは、実際にはそのサウンドがより大きなサウンドステージで録音されている場合でさえも、小さな部屋の反響特性を有し得る。用語「ルームトーン（ｒｏｏｍ ｔｏｎｅ）」は、しばしば映画およびテレビの製作において、音響空間の音響特性を記述するために用いられる。一般的に、映画およびテレビの製作において、サウンドは、非常にさまざまな場所において録音される。例えば、台詞の一部分が映画の撮影時に録音される一方で、台詞のその他の部分が録音スタジオまたは「ダビング」スタジオにおいて後日録音されることがあり得る。録音スタジオまたはダビングスタジオにおいては、俳優は、ビデオまたは彼らの演技を見ながら、彼らの台詞を朗読する。このプロセスは、自動吹替え（ａｕｔｏｍａｔｉｃ ｄｉａｌｏｇ ｒｅｐｌａｃｅｍｅｎｔ；ＡＤＲ）として公知であり、非常に一般的に行われている。台詞の異なる部分が自然かつ現実的に聴こえるようにするためには、異なる録音のルームトーン（反響特性）を整合させ、台詞の異なる部分が全て同じ音響空間内で録音されたものであるようにする必要がある。さらに通常、サウンドを、それらのサウンドが非常に特殊な音響空間（非常に特殊なルームトーンを有している）において録音されたようにすることが所望されることがある。
【０００９】
ＡＤＲの例において、録音は、しばしば非常にドライである。なぜならば、録音スタジオまたはダビングスタジオは、通常、注意深く制御された音響空間だからである。すなわち、録音内には非常にわずかな反響しかない。この場合、特定の部屋の反響特性を録音の上に重ね合わせることが所望され得る。これは、部屋の音響特性が直接的に入手できない場合には、非常に困難であり得る。しかしながら、その部屋において録音されたその他の録音が入手可能であり得る。この例においては、音響空間の音響特性を録音から抽出することが可能であることが、非常に有用であり得る。さらに、適切な音響空間の反響特性を録音の上に重ね合わせることが可能であることが、有用であり得る。
【００１０】
台詞の異なる部分が、異なる音響空間（その各々は顕著な量の反響を有している）において録音された場合には、異なる録音の反響特性をいかにして整合させるかという問題がある。これを行うためには、第１に、適切な音響空間の反響特性を適用する前に行われた録音において、部屋の反響特性を除去しなければならない。上述のように、これは今日まで満足のいく程度に解決されてはいない困難な問題である。この状況においては、録音の音響特性を除去し、ひいては、適切な音響空間の音響特性を適用することが可能であることが、非常に有用であり得る。
【００１１】
ある部類の状況において、オーディオ信号内に見出される反響は、信号を処理する能力をなんらかの方法で制限するという意味で、不適切なものである。例えば、オーディオデータリダクションシステム（ａｕｄｉｏ ｄａｔａ ｒｅｄｕｃｔｉｏｎ ｓｙｓｔｅｍ）においては、信号を格納または送信するために小さな量のデータが用いられるように、信号を圧縮することが目的である。そのようなシステムは、信号を圧縮するためのエンコーダと、その後に信号を復元するためのデコーダとを用いる。これらのオーディオデータリダクションシステムは、圧縮プロセスの結果として情報が損失されず、その結果、デコーダにおいてオリジナルの信号が完全に復元される場合に、「無損失（ｌｏｓｓｌｅｓｓ）」であり得る。その他のバリエーションは、「損失性（ｌｏｓｓｙ）」なので、デコーダにおいて復元される信号は、オリジナルの入力信号とは同じではない。オーディオデータリダクションシステムは、オーディオ信号において冗長性が高い場所に依存する。すなわち、オーディオデータリダクションシステムは、「予測可能」なオーディオ信号の上で最も良く動作する。しかしながら、オーディオ信号における反響は、オーディオ信号の予測可能性を低減させる。現在では、オーディオデータリダクションシステムの性能を向上させるために、反響の影響を克服するための手段は存在しない。エンコーダにおいて信号を圧縮する前に、信号を直接的なサウンド成分と反響成分とに分解し、その後、圧縮された信号をデコーディングした後に反響信号を抽出することが可能であれば、非常に望ましくあり得る。
【００１２】
信号を処理する能力を反響が制限する別の例は、オーディオ透かし（ａｕｄｉｏ ｗａｔｅｒｍａｒｋｉｎｇ）である。オーディオ透かしにおいては、オーディオ信号の中に情報を隠すことが目的である。この隠された情報は、曲の著作権保護のようなことに用いられ得る。オーディオ透かしシステムは、オーディオ信号に小さな改変を施すことによって動作する。これらの改変は、透かしが成功した場合には、聴こえなくなり得る。オーディオ透かしシステムにおいては、曲の非常に特殊な時点において、改変を施すことが所望され得る。しかしながら、この改変は、直接的なサウンド成分と反響成分とが、改変の結果として、もはや互いに整合しなくなった場合に、聴こえるようになり得る。オーディオ信号の反響成分を除去し、オーディオ透かしを挿入し、そして元の信号の反響成分を追加することが可能であることが、非常望ましくあり得る。
【００１３】
別の部類の状況において、信号内に見出される反響は、なんらかの処理の結果として不適切なものとなり得る。例えば、背景のノイズを除去するために、または信号ダイナミックレンジを変更するために、信号を処理することは一般的である。この処理は、しばしば録音における直接的なサウンド成分と反響成分との間の関係を変更し、その結果、その関係は、もはや適切なものではなくなる。現在では、この処理の後に反響成分を補正するための手段は存在しない。
【００１４】
音響空間の音響特性を測定することは、しばしば手軽ではないか、または不可能である。上述の例を用いると、コンサートホールにおける歌手の録音に対しては容易にアクセスすることができるが、コンサートホールそのものに対しては滅多にアクセスすることができない。また、コンサートホールに対してアクセスできない場合でさえも、録音時の音響条件（例えば、歌手およびマイクロフォンの位置、観衆の存在、等）を再現することができない可能性がある。したがって、反響システム内で行われた録音（またはリアルタイムの信号）から、その反響システムの詳細を抽出することが可能であることが望ましくあり得る。最も重要なことは、反響システムの知覚上関連のある局面の詳細を抽出することが可能であることが望ましくあり得るということである。今日まで、この必要性を十分に満たす方法は存在しない。反響システムのこの詳細は、録音における反響特性を改変または低減するためにシステムの一部として、または録音の上に反響特性を重ね合わせるためにシステムの一部として、反響システムを解析するために用いられ得る。
【００１５】
最初期のオーディオ録音（例えば、映画、音楽、テレビ、等）は、モノラルであった。すなわち、モノラルのオーディオ録音は、１つだけのチャネルの上に録音されていた。ステレオのオーディオ録音は、典型的にはより心地が良い。なぜならば、ステレオのオーディオ録音は、音響空間の反響特性の空間的局面を再現することにおいて、より優れているからである。モノラルの録音をステレオのフォーマットに変換する試みのために、数多くの処理が開発されてきた。これらの技術は、これらの技術が直接的なサウンド成分と反響成分との両方を処理するという事実によって、制限される。これらの技術は、これらの技術が直接的なサウンド成分と反響成分とを別個に処理することができたならば、劇的に向上され得る。現在において、信号を直接的なサウンド成分と反響成分とに分解し、それらが別個に処理され得るようにするための満足のいく方法は存在していない。
【００１６】
マルチチャネルのサウンドシステムは、ますます人気を博してきている。ステレオシステムは２つのチャネル（ゆえに、２つのラウドスピーカ）を有しているが、マルチチャネルのサウンドシステムは、多数のチャネルを有している。典型的なマルチチャネルのサウンドシステムは、５つのチャネル（ゆえに、５つラウドスピーカ）を有している。現在では、マルチチャネルのオーディオ録音の数は、非常に限られている。逆に、非常に多くのモノラル録音およびステレオ録音が入手可能である。モノオーディオ信号またはステレオオーディオ信号を取り、モノオーディオ信号またはステレオオーディオ信号からマルチチャネルのオーディオ信号を生成することが可能であることが、非常に望ましくあり得る。これを行うための現在の方法は、「マトリクスデコーディング（ｍａｔｒｉｘ ｄｅｃｏｄｉｎｇ）」と称されるアプローチを用いる。これらの方法は、ステレオ録音を取り、録音の異なる部分を、マルチチャネルシステムのチャネルの各々に配置する。音楽の録音の場合に、機器の一部は、リスナーの背後に配置されて現れ得る。これは、一部の状況においては、望ましくない結果である。例えば、オーケストラの録音を再生する場合、典型的には、機器の一部がリスナーの背後に配置されて現れることは所望されない。むしろ、典型的には、楽器がリスナーの前方に配置されて現れ、コンサートホールの反響がリスナーの周囲全体から到達するように現れることが所望され得る。
【００１７】
この問題にアプローチするための１つの方法は、前方のラウドスピーカにオリジナルのステレオ信号を送信し、その一方で、人工反響デバイスを介して、ステレオ信号の処理も行うことである。人工反響デバイスの出力は、コンサートホールの反響のシミュレーションを提供することが意図されており、それらの出力は、後方の（サラウンド）ラウドスピーカに送信され得る。このアプローチは、いくつかの理由で満足のいくものではない。第１に、このアプローチは、ステレオ信号内に既に存在している反響の一番上に追加的な反響を追加する。したがって、このアプローチは、その特定の録音に対し、反響の全体の量を不適切なものとし得る。さらに、人工反響デバイスによって追加された反響は、ステレオ録音における反響の特性と整合しない可能性がある。これは、結果として得られるマルチチャネル信号を、不自然に聴こえさせてしまい得る。より良いアプローチは、ステレオ信号を、その直接的なサウンド成分とその反響成分とに分解することである。
【００１８】
オリジナルの信号が直接的な成分と反響成分とに分解されると、マルチチャネルの人工反響デバイスを介して直接的なサウンド成分を処理することによって、マルチチャネルのオーディオ信号を形成することを選択することが可能となる。この方法は、追加的な反響を追加する問題を迂回し得る。なぜならば、信号の反響成分が除去されるからである。この方法はまた、人工的な反響とオリジナルの録音における反響との間の不整合を回避し得る。
【００１９】
代替的に、オリジナルの信号が直接的な成分と反響成分とに分解されると、直接的な成分を前方のラウドスピーカに送信することによって、マルチチャネルのオーディオ信号を形成することを選択することが可能となる。これは、再現された音場における機器の前方の配置を維持し得る。オリジナルの信号の反響成分は、後方のラウドスピーカに送信され得るか、またはその反響成分は、適切な方法で、サブ成分に分解され、ラウドスピーカの全てにわたって分散され得る。このアプローチは、オリジナルの録音の成分からマルチチャネル信号の全体を形成し、その結果より自然に聴こえる結果を形成するという、顕著な利点を有している。信号を直接的な成分と反響成分とに分解し、その結果マルチチャネル信号がこの方法で生成され得ることを可能にする、現在利用可能な方法は存在しない。
【００２０】
一般的に、反響システムにおけるサウンドの録音を有しており、その反響システムの音響特性を何らかの方法によって直接的に測定することができた場合に、反響システムを数学的に逆転（ｉｎｖｅｒｔ）させ、オリジナルのドライサウンドを完全に復元することが可能であることが望ましくあり得る。この処理は、逆フィルタリングとして公知である。しかしながら、逆フィルタリングは、反響システムの完全な音響特性の正確な測定がなくては、行われ得ない。さらに、結果として得られる逆フィルタは、その音響特性の１つのセットに特有のものである。逆フィルタリングを用いることによって、所与の反響システムにおける録音から、異なる反響システムから測定された音響特性を用いてオリジナルのドライ信号を復元することは、不可能である。例えば、部屋における１つの位置に対して導出された逆フィルタは、同じ部屋におけるその他の任意の位置に対しては、有効ではない。逆フィルタに関するその他の問題は、逆フィルタが、計算的な要求が厳しく、結果として得られる信号の上に顕著な遅延を重ね合わせ得るということである。この遅延は、多くのリアルタイムの用途においては、受け入れられないものであり得る。したがって、逆フィルタの利点を達成する一方で、ほとんどの現実世界の用途において逆フィルタを非実用的にしている制限を克服するための手段を有することが望ましくあり得る。現在では、この仕事を適切に行うために利用可能な手段は存在しない。
【発明の概要】
【発明が解決しようとする課題】
【００２１】
上述のように、オーディオ信号内に見出される反響が、そのオーディオ信号の意図された最終的な用途に対して適切ではない多くの状況が存在する。したがって、オーディオ信号の直接的なサウンド成分および／または反響のサウンド成分を改変することが可能であることに対する必要性が存在する。さらに、反響が録音された音響空間を直接的に測定する必要なしに、この反響を改変することが可能であることが望ましくあり得る。これらの問題は、今日までに、満足のいく程度には、解決されていない。
【課題を解決するための手段】
【００２２】
本発明の一局面にしたがうと、本発明は、オーディオ信号の反響成分を識別および変更するための方法および装置を提供することによって、上述の必要性に対処する。
【００２３】
信号の反響成分は、この信号が録音またはキャプチャされた反響システムによって決定される。反響システムの特性は、（音源とマイクロフォンとの間の)そのインパルス応答
によって完全に記述される。インパルス応答はまた、そのフーリエ変換（またはその他のなんらかの変換)を計算することによって、周波数領域において見ることができる。フー
リエ表現は、大きさの応答と位相の応答との両方を提供する。本発明は、反響システムを表すインパルス応答をブロックに分割することに依存しており、各ブロックは、インパルス応答の一部を表している。本発明はさらに、ブロックの各々の周波数領域の表現の大きさの応答の推定によって、インパルス応答を推定することに依存する。人間の聴覚システムは、短い持続時間にわたる位相に対しては比較的鈍感なので、大きさの応答をベースとする表現は、正しいインパルス応答の知覚上適切な推定を形成する。
【００２４】
本発明の一局面にしたがうと、時間および周波数にわたる信号のレベルにおける変化を追跡することに基づいて、インパルス応答の大きさの応答をベースとした表現の、ブロックをベースとした推定を導出するための方法が提供される。この方法は、信号から直接的に、インパルス応答の大きさの応答のブロックをベースとした推定を導出し、インパルス応答の直接的な測定を必要としない。
【００２５】
本方法は、任意の所与の時間において、信号におけるエネルギーが、現在のドライ信号におけるエネルギーと、全ての先の信号の反響成分におけるエネルギーの和とから構成されるという事実に依存する。
【００２６】
本発明は、インパルス応答の大きさの応答のブロックをベースとした推定を用い、信号の反響成分に関連するエネルギーを識別し、抽出する。
【００２７】
本発明の別の局面にしたがうと、信号の反響成分の特性は、インパルス応答の大きさの応答のブロックをベースとした推定を調整することによって、変更され得る。
【００２８】
本発明の別の局面にしたがうと、第１の信号から導出されたソースの反響システムの反響特性は、第２の信号に適用され得る。
【００２９】
本発明の様々な局面は、信号の反響成分が変更され、その結果、その信号をその意図された最終的な用途により適したものとすることを可能にする。
【００３０】
本方法および装置はまた、知覚モデルを含み得る。知覚モデルの主な目的は、処理に起因するアーチファクトの可聴度を低減させることである。これは、反響信号のどの部分が反響信号のその他の部分によってマスクされているかを決定することによって、行われ得る。マスキングは、人間の聴覚システムにおいて起こる現象であり、この現象によって、聴こえる可能性のある信号は、別の信号の存在によって聴こえなくされる。処理内に知覚モデルを含めることによって、反響信号の可聴部分のみが抽出され、その結果、オリジナルの信号の周波数を改変する量が低減される。知覚モデルはまた、時間および周波数にわたる内部パラメータの相互作用を提供し、耳のマスキング特性を反映する。結果として、これらの周波数を改変することに起因するアーチファクトは、低減される。
【００３１】
本方法および装置はまた、１つ以上のソースモデルを含み得る。１つのソースモデルの目的は、オリジナルのドライ音源の音響特性のモデルを提供することである。第２のソースモデルの目的は、反響システムの特性のモデルを提供することである。オリジナルのドライ信号の音響特性と反響システムの音響特性とを知ることによって、入力信号のどの部分がドライ信号に起因しており、どの部分が反響に起因しているかに関するより優れた判断がなされ得る。例えば、ほとんどの反響システム（部屋)は、時間の経過につれて指数
的に減衰するシステムとして、適切にモデル化され得る。
本発明は、例えば、以下を提供する。
（項目１）
反響システムに対するインパルス応答を推定する方法であって、
反響システムからの信号をブロックのシーケンスにサンプリングするステップであって、該信号は、インパルス応答を有する、ステップと、
該シーケンスの各ブロックに対し、先のブロックの大きさに応じて、大きさを決定するステップと、
決定された大きさを用いて、有限インパルス応答フィルタに対するパラメータとして、該インパルス応答の推定を作成するステップと
を包含する、方法。
（項目２）
前記サンプリングするステップは、時間領域をベースとしている、項目１に記載の方法。
（項目３）
前記サンプリングするステップは、周波数領域をベースとしている、項目１に記載の方法。
（項目４）
前記サンプリングするステップは、等しいブロックを提供する、項目１に記載の方法。
（項目５）
前記ブロックは、重なり合っている、項目４に記載の方法。
（項目６）
前記サンプリングするステップは、窓を用いる、項目１に記載の方法。
（項目７）
前記決定するステップは、先の大きさの平方に対する現在の大きさの平方の比を求めるステップを含む、項目１に記載の方法。
（項目８）
前記決定するステップは、先の大きさのｑ乗に対する現在の大きさのｑ乗の比を求めるステップを含み、ｑは正の数である、項目１に記載の方法。
（項目９）
前記サンプリングするステップは、フィルタバンクを用いる、項目１に記載の方法。
（項目１０）
前記推定を作成するステップは、平滑化するステップを含む、項目１に記載の方法。
（項目１１）
反響システムからの信号を分解する方法であって、
反響システムからの信号をブロックのシーケンスにサンプリングするステップであって、該信号は、インパルス応答を有する、ステップと、
該シーケンスの各ブロックに対し、先のブロックの大きさに応じて、大きさを決定するステップと、
決定された大きさを用いて、有限インパルス応答フィルタに対するパラメータとして、該インパルス応答の推定を作成するステップと、
該推定されたインパルス応答の逆を該信号に適用し、直接的な信号成分と反響信号成分とのうちの少なくとも１つを導出するステップと
を包含する、方法。
（項目１２）
前記サンプリングするステップは、時間領域をベースとしている、項目１１に記載の方法。
（項目１３）
前記サンプリングするステップは、周波数領域をベースとしている、項目１１に記載の方法。
（項目１４）
前記サンプリングするステップは、等しいブロックを提供する、項目１１に記載の方法。
（項目１５）
前記ブロックは、重なり合っている、項目１４に記載の方法。
（項目１６）
前記サンプリングするステップは、窓を用いる、項目１１に記載の方法。
（項目１７）
前記決定するステップは、先の大きさの平方に対する現在の大きさの平方の比を求めるステップを含む、項目１１に記載の方法。
（項目１８）
前記決定するステップは、先の大きさのｑ乗に対する現在の大きさのｑ乗の比を求めるステップを含み、ｑは正の数である、項目１１に記載の方法。
（項目１９）
前記サンプリングするステップは、フィルタバンクを用いる、項目１１に記載の方法。
（項目２０）
前記推定を作成するステップは、平滑化するステップを含む、項目１１に記載の方法。
（項目２１）
直接的な信号成分と反響信号成分とのうちの少なくとも１つを改変するステップをさらに含む、項目１１に記載の方法。
（項目２２）
前記改変された直接的な信号成分および前記反響信号成分と、該改変された直接的な信号成分および前記改変された反響信号成分と、該直接的な信号成分および該改変された反響信号成分とのうちの少なくとも１つを再び組み合わせるステップをさらに含む、項目２１に記載の方法。
（項目２３）
前記有限応答フィルタを第２の信号に適用し、人工的な反響信号を生成するステップをさらに含む、項目１に記載の方法。
（項目２４）
反響システムからの信号を分解する方法であって、
反響システムからの信号をブロックのシーケンスにサンプリングするステップであって、該信号は、インパルス応答を有する、ステップと、
該シーケンスの各ブロックに対し、先のブロックの大きさに応じて、大きさを決定するステップと、
決定された大きさを用いて、有限インパルス応答フィルタに対するパラメータとして、該インパルス応答の推定を作成するステップと、
該推定されたインパルス応答の逆を該信号に適用し、直接的な信号成分を導出するステップと、
該有限インパルス応答フィルタと該直接的な信号成分とのうちの少なくとも１つを改変するステップと、
改変された反響信号をそこから再構成するステップと
を包含する、方法。
（項目２５）
前記サンプリングするステップは、時間領域をベースとしている、項目２４に記載の方法。
（項目２６）
前記サンプリングするステップは、周波数領域をベースとしている、項目２４に記載の方法。
（項目２７）
前記サンプリングするステップは、等しいブロックを提供する、項目２４に記載の方法。
（項目２８）
前記ブロックは、重なり合っている、項目２７に記載の方法。
（項目２９）
前記サンプリングするステップは、窓を用いる、項目２４に記載の方法。
（項目３０）
前記決定するステップは、先の大きさの平方に対する現在の大きさの平方の比を求めるステップを含む、項目２４に記載の方法。
（項目３１）
前記決定するステップは、先の大きさのｑ乗に対する現在の大きさのｑ乗の比を求めるステップを含み、ｑは正の数である、項目２４に記載の方法。
（項目３２）
前記サンプリングするステップは、フィルタバンクを用いる、項目２４に記載の方法。
（項目３３）
前記推定を作成するステップは、平滑化するステップを含む。項目２４に記載の方法。
（項目３４）
反響システムからの、少ないチャネルを有する信号を用いてマルチチャネル信号を形成する方法であって、
反響システムからの該信号をブロックのシーケンスにサンプリングするステップであって、該信号は、インパルス応答を有する、ステップと、
該シーケンスの各ブロックに対し、先のブロックの大きさに応じて、大きさを決定するステップと、
決定された大きさを用いて、有限インパルス応答フィルタに対するパラメータとして、該インパルス応答の推定を作成するステップと、
該推定されたインパルス応答の逆を該信号に適用し、直接的な信号成分と反響信号成分とのうちの少なくとも１つを導出するステップと、
該直接的な信号成分と該反響信号成分とを再び組み合わせ、マルチチャネル信号を形成するステップと
を包含する、方法。
（項目３５）
少ないチャネルを有する前記信号は、モノラル信号であり、前記マルチチャネル信号は、ステレオ信号である、項目３４に記載の方法。
（項目３６）
少ないチャネルを有する前記信号は、ステレオ信号であり、前記マルチチャネル信号は、サラウンドサウンド信号である、項目３４に記載の方法。
【図面の簡単な説明】
【００３２】
【図１】図１は、音源および受信マイクロフォンを有する反響室を示している。
【図２】図２は、ブロックベースの分解の表現を用いてインパルス応答の成分を示している。
【図３】図３は、信号プロセッサ５の概略図を示している。
【図４】図４は、時間領域におけるブロックベースの畳み込みを示している。
【図５】図５は、周波数領域におけるブロックベースの畳み込みを示している。
【図６】図６は、ドライ成分および反響成分への信号の周波数領域のブロックベースの分解を示している。
【図７】図７は、再構成プロセッサ３８の周波数領域のブロックベースの畳み込み演算を示している。
【図８】図８は、ステレオ入力信号からマルチチャネル出力信号を形成する手段を示している。
【発明を実施するための形態】
【００３３】
本発明は、信号の反響成分を変更する手段を提供する。これは一般に、第１に、基礎となる反響システムのインパルス応答の周波数領域の表現の知覚上関連のある推定を入手することによって、達成される。インパルス応答のこの推定を用いることにより、信号は、この信号の反響成分を抽出し、そしてドライ信号の推定と反響信号の推定とを入手することができるように、処理される。必要に応じて、さらなる処理が、ドライ信号と反響信号とに適用され得る。
【００３４】
音響空間のインパルス応答は、反響システムの完全な記述を提供する。コンサートホールにおける歌手の上述の例を用いると、反響システム（この場合は、コンサートホール）は、歌手と録音マイクロフォンとの間のインパルス応答によって、完全に記述され得る。様々な音響空間（例えば、風呂場と対比したときのコンサートホール）が、非常に異なって知覚される反響条件を有し得ることは、周知である。これらの差異は、様々な空間のインパルス応答における差異によって記述される。
【００３５】
反響システムのインパルス応答は、反響室２における音源ｓ（ｔ）１と、録音マイクロフォン３とを示している、図１を考えることによってよりよく理解され得る。音源がインパルスサウンドによって構成されている場合、マイクロフォンによって録音されるものは、音源とマイクロフォンとの間の反響システムのインパルス応答であり得る。インパルス応答は、直接的なサウンド成分４を含んでおり、この直接的なサウンド成分は、マイクロフォンに到達する第１のサウンドである（なぜならば、このサウンド成分は、音源とマイクロフォンとの間の最短距離を有しているから）。直接的なサウンド成分の後には、図中で破線によって示されているように、一連の反射されたサウンド（反射）が続き得る。到達時間および反射の振幅は、反響システムの特性を決定する。直接的なサウンド成分の後に到達する反射は、反響成分を構成する。したがって、反響システムの１つの影響は、オリジナルのドライ信号に反響を追加するということである。すなわち、反響は、オリジナルのドライ信号にエネルギーを追加する。数学的には、これは、ｍ（ｔ）＝ｓ（ｔ）＋ｒ（ｔ）と表され、ここでｒ（ｔ）は、インパルス応答ｈ（ｔ）によって記述される反響システムを通る信号ｓ（ｔ）に起因する反響信号成分である。
【００３６】
インパルス応答の例は、図２に与えられている。第１の垂直の線は、直接的なサウンド４を表しており、その一方で、残りの線は反響を示している。各線の高さは、振幅を示しており、時間軸の上での各線の位置は、その到達時間を示している。時間が経過するにつれて、反射の数は、個々の反射を識別することがもはや可能ではなくなる程度にまで増加する。最終的に、反射は、指数的に減衰するシステムになる。これは、典型的には、インパルス応答の反響のテール（ｒｅｖｅｒｂｅｒａｎｔ ｔａｉｌ）１１と称される。
【００３７】
いわゆる早期反射１２は、直接的なサウンド成分の直後に到達し、反響のテールとは異なる知覚上の影響を有している。これらの早期反射は、部屋のサイズや、ソースとマイクロフォンとの間の距離に関する知覚上の手掛かりを提供する。早期反射はまた、それらがサウンドに対して向上された明確度および明瞭度を提供し得るという点で、重要である。反響のテールはまた、音響空間に関する知覚上の手掛かりを提供する。音響空間のインパルス応答を３つの知覚部分（直接的なサウンド４、早期反射１２、および反響のテール１１）に分割することは、一般的である。
【００３８】
音響空間が単一のインパルス応答を有していないことに注目することは重要である。図１の例を用いると、音源１が特定の位置に配置され、マイクロフォン３が所与の位置に配置されたときに、部屋に対するインパルス応答が存在することが分かる。音源またはマイクロフォンが（たとえ小さな量であっても）移動された場合、異なるインパルス応答が得られる。したがって、任意の所与の部屋に対し、実質的に無数の可能性のあるインパルス応答が存在する。なぜならば、１の位置と３の位置との可能性のある組み合わせは実質的に無数だからである。
【００３９】
インパルス応答はまた、そのフーリエ変換（またはその他の変換）を計算することによって、周波数領域において見ることができるので、反響システムは、周波数領域の表現Ｈ（ω）の観点で、完全に記述され得る。変数ωは、周波数を示す。インパルス応答のフーリエ変換は、大きさの応答と位相の応答との両方を提供する。一般的に、大きさの応答は、インパルス応答における異なる周波数成分の相対的なレベルに関する情報を提供し、その一方で、位相の応答は、周波数成分の時間的局面に関する情報を提供する。音源１またはマイクロフォン３を、部屋における１つの位置から近くの位置に移動させることは、大きさの応答に対しては大した影響を与えない傾向があるものの、位相の応答に対しては劇的な影響を与える傾向がある。すなわち、部屋におけるインパルス応答の近くは、同様の大きさの応答を有する傾向があるが、非常に異なる位相の応答を有し得る。
【００４０】
日常の経験は、所与の部屋の中では、我々がインパルス応答における差異に対しては、特に敏感ではないことを教えてくれる。例えば、誰かが話しているのを聞きながら部屋の中を動き回っているとき、動くのに伴ってインパルス応答が連続的に変化している場合でさえも、我々は人間の声のサウンドにおける劇的な変化を聴かない傾向がある。我々が劇的な差異を聞かない理由は、耳が主に、インパルス応答の全体的特徴（ｇｒｏｓｓ ｆｅａｔｕｒｅ）に対して敏感であり、細かい詳細に対しては敏感ではないからである。より詳細には、耳は、インパルス応答の大きさの応答における変化に比べると、位相の応答における変化に対しては遥かに敏感ではない。一般に、耳は短時間にわたる位相に対しては非常に鈍感である。（Ｄ．Ｌ．Ｗａｎｇ ａｎｄ Ｊ．Ｓ．Ｌｉｍ，「Ｔｈｅ ｕｎｉｍｐｏｒｔａｎｃｅ ｏｆ ｐｈａｓｅ ｉｎ ｓｐｅｅｃｈ ｅｎｈａｎｃｅｍｅｎｔ」，ＩＥＥＥ Ｔｒａｎｓ．Ａｃｏｕｓｔ．Ｓｐｅｅｃｈ，Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ，ｖｏｌ．ＡＳＳＰ−３０，ｎｏ４，ｐｐ．６７９−６８１，Ａｕｇ．１９８２）。上述のように、部屋における様々なインパルス応答は、同様の大きさの応答を有する傾向があるが、非常に異なる位相の応答を有し得る。
【００４１】
本発明は、入力信号における反響エネルギーの大きさの推定の周波数領域の推定を生成することによって、機能する。反響エネルギーの大きさのこの推定は、入力信号から差し引かれ、そして入力信号の大きさの推定を提供する。反響の入力信号の位相は、オリジナルのドライ信号を近似するために用いられる。この処理が全体として、全体のインパルス応答を用いて行われる場合、処理される信号内では、シビアな時間領域のアーチファクトが聴こえ得る可能性がある。したがって、本発明においては、全体のインパルス応答の推定は短いブロックに分割され、ブロックをベースとした方法で処理が実行される。ブロックの長さは、処理された出力信号の位相におけるエラーに起因する、いかなる時間領域のアーチファクトをも知覚しないように十分に短く選択される。
【００４２】
一般に、本発明において、信号プロセッサ５は、入力信号ｍ（ｔ） ３に作用し、この入力信号を異なるコンポーネント６に分解する。これらのコンポーネントは、オリジナルのドライ信号ｓ（ｔ）１の推定
【００４３】
【数１】
と、反響成分ｒ（ｔ）の推定
【００４４】
【数２】
とから構成され得る。反響成分の推定
【００４５】
【数３】
は、サブ成分にさらに分解され得、これらのサブ成分は、反響信号の様々な部分の推定
【００４６】
【数４】
を表す。一般に、信号プロセッサ５はまた、ドライ信号成分の推定および反響信号成分の推定のいずれかまたは全てを改変する。本発明は、周波数領域において、ｍ（ｔ）に作用する。入力信号ｍ（ｔ）３は、時間サンプルのブロックに重なり解析窓（ｏｖｅｒｌａｐｐｉｎｇ ａｎａｌｙｓｉｓ ｗｉｎｄｏｗ）２１を適用することによって、周波数領域の表現に変換される。時間−周波数領域プロセッサ２２は、入力の時間サンプルに応答して、入力スペクトルを生成する。時間−周波数領域の変換を達成するために、時間−周波数領域プロセッサは、離散フーリエ変換（ＤＦＴ）、ウェーブレット変換、またはその他の変換を実行し得るか、あるいは解析フィルタバンクによって置換されたり、または解析フィルタバンクを実装したりし得る。この実施形態においては、ＤＦＴが用いられる。入力信号ｍ（ｔ）は、必ずしも図１に示されているようなマイクロフォンから導出される必要はないことに留意されたい。本発明は、任意のオーディオ信号に対し、それがどのように生成されるかに関わらず作用し得る。
【００４７】
インパルス応答推定器２４は、入力信号Ｍ（ω）２５の周波数領域の表現に作用し、インパルス応答Ｈ（ω）の周波数領域の表現の知覚上関連のある推定
【００４８】
【数５】
２３を生成する。一般に、インパルス応答推定器２４は、入力信号に作用し、ブロックをベースとしたＨ（ω）の推定を生成する。このブロックをベースとしたインパルス応答の推定は、複数のブロックの推定
【００４９】
【数６】
１６から構成され、これらのブロックの推定は、図２に示されているようなインパルス応答
【００５０】
【数７】
１５のブロックの周波数領域の推定と対応している。
【００５１】
反響調整プロセッサ２６は、インパルス応答の１つ以上の周波数領域のブロック推定器１６に応答して、入力信号のスペクトルＭ（ω）の周波数成分を調整し、１つ以上の反響が調整された周波数スペクトル２７（入力信号のスペクトルＭ（ω）の調整されたスペクトル成分を含む）を生成するように動作可能である。一般に、反響調整プロセッサ２６は、１つ以上の調整された周波数スペクトル２７を導出し、これは、入力信号の成分がオリジナルのドライ信号の一部分であるか、または反響信号も一部分であるかに基づいて、この入力信号の成分を通過、増幅、または減衰させ得る。
【００５２】
信号改変器２８は、反響が調整された周波数スペクトル２７と入力信号のスペクトル２５との周波数成分を改変および混合し、１つ以上の出力周波数スペクトルＺ１（ω），Ｚ２（ω），・・・，ＺＬ（ω） ２９を生成するように動作する。
【００５３】
周波数−時間領域プロセッサ３０は、出力周波数スペクトルに応答して、時間サンプルｚ１（ｔ），ｚ２（ｔ），・・・，ｚＬ（ｔ） ３２を生成するように動作する。周波数−時間領域プロセッサは、一般に、時間−周波数領域プロセッサ２２の逆の機能を実行する。結果的に、好適な実施形態において、各周波数−時間領域プロセッサは、逆離散フーリエ変換（ＩＤＦＴ）を実行する。
【００５４】
分解プロセッサ３３は、インパルス応答Ｈ（ω）の周波数領域の表現のブロックをベースとした推定
【００５５】
【数８】
２３を用い、入力信号Ｍ（ω）２５の周波数領域の表現に作用し、オリジナルのドライ信号
【００５６】
【数９】
３４の推定と、反響信号の１つ以上の成分の推定
【００５７】
【数１０】
３５とを生成する。
【００５８】
ドライ信号改変器３６は、オリジナルのドライ信号の推定
【００５９】
【数１１】
３４の周波数成分を調整し、オリジナルのドライ信号の改変された推定
【００６０】
【数１２】
を生成するように動作可能である。反響信号改変器３７は、反響信号成分の１つ以上の推定
【００６１】
【数１３】
の周波数成分を独立的に調整し、反響信号成分の改変された推定を生成するように動作可能である。
【００６２】
一般に、再構成プロセッサ３８は、オリジナルのドライ信号の改変された推定
【００６３】
【数１４】
と、反響信号成分の改変された推定
【００６４】
【数１５】
とを取り、１つ以上の反響が調整された周波数スペクトル２７を生成する。
【００６５】
第２の入力信号ｓ２（ｔ）４０は、第２の入力信号に反響を追加するために、再構成プロセッサに提供され得る。入力信号ｓ２（ｔ）４０は、時間サンプルのブロックに重なり解析窓４１を適用することによって、周波数領域の表現に変換される。時間−周波数領域プロセッサ４２は、入力の時間サンプルに応答して、入力スペクトルを生成する。追加された反響の特性は、インパルス応答２３のブロックをベースとした推定によって、決定される。
【００６６】
本発明の性能は、インパルス応答推定器２４に１つ以上のソースモデル４３を含めることによって、向上され得る。ソースモデルは、反響システムの物理的特性を説明するために用いられ得る。例えば、反響システム（部屋）の応答は、時間の経過につれて、指数的に減衰する傾向がある。
【００６７】
インパルス応答推定器２４によって導出されたブロックをベースとした推定は、その後の使用のために、格納され４４、抽出される。インパルス応答改変器４５は、インパルス応答のブロックをベースとした推定の周波数成分を独立的に調整し、インパルス応答の改変されたブロックをベースとした推定を生成するように動作可能である。
【００６８】
分解プロセッサ３３の性能は、ソースモデル４６を含めることによって向上され得る。ソースモデルの１つの目的は、どの程度の所与の周波数帯域が減衰または増幅され得るのかを決定するときに、ドライ音源の物理的特性を説明することであり得る。分解プロセッサ３３の性能はまた、知覚モデル４７を含めることによって向上され得る。知覚モデルの１つの目的は、周波数帯域を改変する量を制限し、その結果、ドライ信号を抽出する際に、望ましくない反響成分がドライ信号によってマスクされる地点までにのみ、その反響成分が減衰されるようにすることである。同様に、反響信号を抽出する際に、望ましくないドライ信号成分は、その成分が反響信号によってマスクされる地点までにのみ、減衰される。実際には、知覚モデルおよびソースモデルの局面は、組み合わされ得る。
【００６９】
再構成プロセッサ３８の性能は、ソースモデル４８を含めることによって、向上される。ソースモデルの１つの目的は、どの程度の所与の周波数帯域が減衰または増幅され得るのかを決定するときに、ドライ音源の物理的特性を説明することであり得る。分解プロセッサ３８の性能はまた、知覚モデル４９を含めることによって向上される。知覚モデルの１つの目的は、周波数帯域を改変する量を制限し、その結果、反響が調整されたスペクトルを導出する際に、ドライ信号および反響信号の望ましくない成分が所与の信号成分によってマスクされる地点までにのみ、それらの成分が減衰されるようにすることである。実際には、知覚モデルおよびソースモデルの局面は、組み合わされ得る。
【００７０】
実際には、ソースモデル４６、４８と知覚モデル４７、４９との局面は組合されたり、分解プロセッサ３３と再構成プロセッサ３８との間で共有されたりし得る。
【００７１】
本発明の様々な部分の動作は、コントローラ５０によって、独立的に制御可能であり得る。
【００７２】
（好適な実施形態）
以下では、入力信号をそのオリジナルのドライ信号成分と反響成分とに分解するための好適な実施形態を記載する。反響成分はさらに、多数のサブ成分に分解される。この好適な実施形態は、数多くの用途（スピーチ信号または音楽信号を変更し、所望の反響特性を入手すること、スピーチ信号の明瞭度を向上させること、ならびにモノラル、ステレオ、またはマルチチャネルの入力信号から、追加的なオーディオチャネルを形成することを含む）に用いられ得る。
【００７３】
入力信号がモノラルである場合について、好適な実施形態が記載される。この実施形態を記載するにあたり、入力信号ｍ（ｔ）３は、ドライ音源ｓ（ｔ）１と反響成分ｒ（ｔ）との組み合わせから構成されることが仮定される。ここでｒ（ｔ）は、ｓ（ｔ）がインパルス応答ｈ（ｔ）を有する反響システムを通る結果である。入力信号３は、その他の手段によって形成され得ることが理解される。
【００７４】
入力信号ｍ（ｔ）は、２２において、周波数領域の表現に変換される。この実施形態においては、離散フーリエ変換（ＤＦＴ）の高速の実装（５０％の重なりのルートハニング窓２１を用いる）が利用される。その他の周波数領域の表現（離散コサイン変換、またはウェーブレット変換を含む）が利用され得ることが、当業者には理解されよう。代替的に、周波数領域の表現を提供するために、フィルタバンクが利用され得る。その他の窓関数が利用され得、重なりの量は５０％までに制限されるということもまた、理解されよう。時間−周波数変換において、時間サンプルのゼロパディングが用いられ得、処理に起因し得る任意の時間的なエイリアシングアーチファクトを低減し得るということが、理解されよう。入力信号の周波数領域の表現は、Ｍ（ω）２５である。
【００７５】
インパルス応答推定器２４は、入力信号の周波数領域の表現に作用し、インパルス応答
【００７６】
【数１６】
２３の周波数領域の表現のブロックをベースとした推定を生成する。図２に示されているように、インパルス応答ｈ（ｔ）は、Ｂ＋１個のブロックに分割され、これらのブロックは、ｈ０（ｔ），ｈ１（ｔ），・・・，ｈＢ（ｔ）１５から構成されており、これらには、周波数領域の表現Ｈ０（ω），Ｈ１（ω），・・・，ＨＢ（ω）１６が対応している。好適な実施形態において、全てのブロックは同じサイズであり、各々は長さＤを有している。インパルス応答推定器は、Ｈ０（ω），Ｈ１（ω），・・・，ＨＢ（ω）の知覚上関連のある推定を生成する。この実施形態において、これらの知覚上関連のある推定
【００７７】
【数１７】
は、Ｈ０（ω），Ｈ１（ω），・・・，ＨＢ（ω）の大きさの推定にそれぞれ基づいている。
【００７８】
当業者には、インパルス応答ｈ（ｔ）が有限インパルス応答（ＦＩＲ）フィルタによって、そのフィルタが十分な長さである場合に、適切に近似され得ることが理解されよう。したがって、信号ｍ（ｔ）は、ｈ（ｔ）に等しいインパルス応答を有するＦＩＲフィルタを介して、ドライ信号ｓ（ｔ）を処理することによって、入手され得る。このフィルタリングまたは畳み込み演算は、インパルス応答のブロックをベースとした表現１５を用いることによって、等しく実装され得る。ブロックをベースとした実装は、図４に示されている。
【００７９】
信号ｓ（ｔ）は、ｈ０（ｔ），ｈ１（ｔ），・・・，ｈＢ（ｔ）に等しいインパルス応答を有するＢ＋１個のＦＩＲフィルタを介して処理される。これらのＦＩＲフィルタの出力を時間整列（ｔｉｍｅ−ａｌｉｇｎ）させるために、信号ｓ（ｔ）は、一連の遅延要素δ（ｔ−Ｄ）１７によって遅延される。各遅延要素は、Ｄサンプルの遅延を提供し、これらのサンプルは、ブロックＦＩＲフィルタの長さに対応する。各遅延要素は、長さＤのＦＩＲフィルタとして実装され得、０に等しい最後のフィルタのタップ以外の全てを有し、最後のフィルタのタップは１に等しい。ブロックをベースとしたＦＩＲフィルタリングの動作は、数学的には
【００８０】
【数１８】
のように、または等価なものとして、
【００８１】
【数１９】
のように記述され得る。ここで＊は、畳み込み演算を表す。
【００８２】
図４において示されているように、この数学的な記述は、直接的な信号成分と反響成分とを明示的に示すように、
【００８３】
【数２０】
のように拡張され得る。ここで、ｓ（ｔ）＊ｈ０（ｔ）は、直接的な信号成分を含み、
【００８４】
【数２１】
は、反響信号成分７である。実際には、ｈ０（ｔ）は長さＤなので、反響信号の最初の部分の一部は、ｓ（ｔ）＊ｈ０（ｔ）にあると期待することができる。これは一般には、Ｄが十分短く選択される場合には、問題とはならない。Ｄが十分短い場合、ｓ（ｔ）＊ｈ０（ｔ）における反響信号の一部は、人間の聴覚システムのマスキング特性によって、聴こえないであろう。したがって、ｓ（ｔ）＊ｈ０（ｔ）は直接的な信号成分の知覚上関連のある表現ではあるが、ｒ（ｔ）は反響信号成分の知覚上関連のある成分であると言うことができる。
【００８５】
当業者には、時間領域における畳み込みは、周波数領域における乗算に等しいということが理解されよう。したがって、図４に示されているブロックをベースとしたＦＩＲフィルタリングの処理は、代替的に、図５に示されているように、周波数領域において実行され得る。図４のＢ＋１個のＦＩＲフィルタｈ０（ｔ），ｈ１（ｔ），・・・，ｈＢ（ｔ）は、ここでは、それらの周波数領域における等価物Ｈ０（ω），Ｈ１（ω），・・・，ＨＢ（ω）によって置換されている。ここでは遅延要素は、Ｚ−Ｄ１８によって示されており、Ｄは遅延の長さを表している。したがって、周波数領域の処理は、
【００８６】
【数２２】
として、または等価なものとして、
【００８７】
【数２３】
によって与えられ得る。
【００８８】
図５に示されているように、この数学的な記述は、直接的な信号成分と反響成分とを明示的に
【００８９】
【数２４】
のように示すために拡張され得る。ここで、Ｓ（ω）Ｈ０（ω）は、直接的な信号成分を含む周波数領域の表現であり、
【００９０】
【数２５】
は、反響信号成分１９の周波数領域の表現である。
【００９１】
当業者には、ＦＩＲフィルタの効果が、適切な無限インパルス応答（ＩＩＲ）フィルタを用いることによって、取り消され得ることが理解できよう。したがって、Ｂ＋１個のＦＩＲフィルタｈ０（ｔ），ｈ１（ｔ），・・・，ｈＢ（ｔ）が正確に知られている場合に、適切なＩＩＲフィルタ構造を用いて、ｍ（ｔ）からオリジナルのドライ信号ｓ（ｔ）を復元することが可能である。オリジナルのドライ信号はまた、ＦＩＲフィルタの周波数領域の表現Ｈ０（ω），Ｈ１（ω），・・・，ＨＢ（ω）が知られている場合に復元され得る。本発明は、この概念を利用する。
【００９２】
多くの状況においては、Ｈ０（ω），Ｈ１（ω），・・・，ＨＢ（ω）の正確な値を測定または導出することは不可能であり、そしてｍ（ｔ）からｓ（ｔ）を復元することは不可能である。本発明において、Ｈ０（ω），Ｈ１（ω），・・・，ＨＢ（ω）の知覚上関連のある推定は、Ｓ（ω）の推定を導出するために用いられる。これらの知覚上関連のある推定
【００９３】
【数２６】
は、Ｈ０（ω），Ｈ１（ω），・・・，ＨＢ（ω）の大きさの推定にそれぞれ基づいている。
【００９４】
インパルス応答
【００９５】
【数２７】
の周波数領域の表現のブロックをベースとした推定２３は、分解プロセッサ３３に提供される。分解プロセッサは、入力信号Ｍ（ω）２５の周波数領域の表現に作用し、直接的な信号成分３４の推定と反響成分３５の推定とを生成する。好適な実施形態においては、分解プロセッサは、図６のように動作する。図面からは、分解プロセッサが、知覚上関連のあるフィルタの推定
【００９６】
【数２８】
を用い、ブロックをベースとしたＩＩＲフィルタ構造を形成するということが分かるであろう。ＩＩＲフィルタ構造は、Ｍ（ω）をその入力として取り、直接的な信号成分
【００９７】
【数２９】
３４のスペクトルの推定と、反響信号成分
【００９８】
【数３０】
３５のスペクトルの推定とを生成する。この処理は、数学的には、
【００９９】
【数３１】
のように記述され得る。
【０１００】
この動作をよりよく理解するためには、入力信号Ｍ０（ω）の所与のブロックに対する処理を考えることが有用である。Ｍ０（ω）は、Ｈ０（ω）を用いて畳み込まれたドライ信号の現在のブロックと、Ｈ１（ω）を用いて畳み込まれたドライ信号の先のブロックと、ドライ信号のＢ個の先のブロック等から構成される。ここでは、ドライ信号のブロックを示す下付き文字を用い、Ｓｉ（ω）はドライ信号成分の先のｉ番目のブロックの周波数領域の表現を表す。これが与えられると、分解プロセッサの動作は、数学的に
【０１０１】
【数３２】
として記述され得る。ここで、
【０１０２】
【数３３】
は、Ｓｉ（ω）の真の値の推定である。好適な実施形態においては、
【０１０３】
【数３４】
は、１に等しいことが仮定されるので、
【０１０４】
【数３５】
が得られる。
【０１０５】
したがって、本発明の好適な実施形態において、ドライ信号成分３４の現在のブロックの推定は、ドライ信号の先のブロックの推定と、反響システムのインパルス応答のブロックをベースとした推定とから入手される。上式の
【０１０６】
【数３６】
が、反響信号成分３５の推定であることに留意されたい。すなわち、
【０１０７】
【数３７】
である。
【０１０８】
好適な実施形態においては、全体の反響信号成分は、
【０１０９】
【数３８】
のように、Ｋ個の反響のサブ成分
【０１１０】
【数３９】
に分割される。
【０１１１】
ここで、ｐｉ，ｋ（ω）［ｉ＝０，・・・，Ｂおよびｋ＝１，・・・，Ｋ］は、周波数に応じたゲインベクトルであり、このゲインベクトルは、全体の反響信号成分が、時間および周波数にわたって、選択的に分割されることを可能にする。これは、インパルス応答の特定の部分によって畳み込まれたドライサウンドに起因する反響信号の一部を選択的に抽出することを可能にする。例えば、早期反射１２に起因する反響信号成分は、反響のテール１１に起因する成分から分離して抽出され得る。同様に、早期反射の異なる部分および／または反響のテールは、分離して抽出され得る。さらに、ｐｉ，ｋ（ω）の値は、反響信号の異なる成分の低周波数と高周波数とを選択的に分離するように選択され得る。
【０１１２】
好適な実施形態において、ブロックをベースとしたインパルス応答は、Ｂ＋１個のブロックの周波数領域の表現の大きさによって、推定される。したがって、上式は、
【０１１３】
【数４０】
のように変形され得る。
【０１１４】
入力信号Ｍ０（ω）の位相は、
【０１１５】
【数４１】
に対する、そして
【０１１６】
【数４２】
に対する位相応答として、用いられる。
【０１１７】
好適な実施形態において、分解プロセッサは、異なるゲインベクトルを入力信号に適用することによって、動作する。
【０１１８】
【数４３】
ドライ信号成分に対するゲインベクトルは、
【０１１９】
【数４４】
によって導出される。周波数に応じたパラメータＭｉｎＧａｉｎ（ω）は、ＧＳ（ω）がなんらかの所望の値を下回ることを妨げる。
【０１２０】
好適な実施形態において、ゲインベクトルは実数値のベクトルなので、ゲインベクトルは、Ｍ０（ω）の大きさのみに影響する。その結果、
【０１２１】
【数４５】
は、Ｍ０（ω）と同じ位相応答を有する。反響信号に対するゲインベクトルは、同様の方法で求められる。
【０１２２】
ゲインベクトル
【０１２３】
【数４６】
は、知覚モデル４７とソースモデル４６とを利用することによって、さらに精密化され得る。知覚モデルが人間の聴覚システムのマスキング特性を説明する一方で、ソースモデルは、音源の物理的特性を説明する。この実施形態において、２つのモデルは組み合わされ、時間および周波数にわたって、ゲインベクトル
【０１２４】
【数４７】
の平滑化を提供する。時間にわたる平滑化は、
【０１２５】
【数４８】
のように遂行される。ここでτは、処理の現在の時間フレームを示す。γ（ω）は、各周波数帯域に対し、時間にわたってゲインベクトル
【０１２６】
【数４９】
に適用される平滑化の量を決定する。γ（ω）の様々な値が、各ゲインベクトルに対して用いられ得ることに留意されたい。またγ（ω）の値が、周波数に伴って変化し得ることにも留意されたい。γ（ω）の値もまた、時間の経過につれて変化し得、これらの値は、入力信号またはゲインベクトルの値に応じたものであり得る。
【０１２７】
人間の聴覚システムの同時のマスキング特性は、周波数にわたる平滑化または拡散の形で見ることができる。この実施形態において、同時のマスキングは、
【０１２８】
【数５０−１】
【０１２９】
【数５０−２】
のように計算される。変数ｓｐｒｅａｄ１（ω）およびｓｐｒｅａｄ２（ω）は、周波数にわたる同時のマスキングの量を決定する。この実施形態において、ｓｐｒｅａｄ１（ω）およびｓｐｒｅａｄ２（ω）は、聴覚フィルタの帯域幅が周波数の増加に伴って増加し、その結果、高周波数においてより多くの拡散が適用されるという事実を説明するように企図される。
【０１３０】
ゲインベクトルは、推定されたマスキングの効果を追加することによって、精密化される。周波数に応じたパラメータμ（ω）は、先に計算されたゲインベクトルの値に対してマスキングの推定が追加されるレベルを決定する。
【０１３１】
【数５１】
このステップは、ゲインベクトルの値が１．０を超過するようにし得る。この実施形態において、最大のゲイン値は、１．０に制限されるが、その他の制限も可能である。
【０１３２】
【数５２】
残りのゲインベクトルに対し、同様の動作が実行される。これらの最終的なゲインベクトルは、入力信号Ｍ（ω）に適用され、ドライ信号成分３４と反響信号成分３５とを生成する。ドライ信号成分３４は、必要に応じて、ドライ信号改変器３６によって改変され得る。この実施形態において、改変は、レベルの調整、周波数フィルタリング、およびダイナミックレンジの処理を含み得るが、これらには限定されない。反響信号成分３５は、反響信号改変器３７によって作用され、この実施形態においては、改変は、レベルの調整、周波数フィルタリング、およびダイナミックレンジの処理を含み得るが、これらには限定されない。
【０１３３】
【数５３】
再構成プロセッサ３８は、改変されたドライサウンドの推定
【０１３４】
【数５４】
と反響信号のサブ成分の改変された推定
【０１３５】
【数５５】
とを組み合わせ、１つ以上の反響が調整された周波数スペクトル２７を生成する。再構成プロセッサによって実行される別の動作は、図７に示されているように、ブロックをベースとしたインパルス応答を信号Ｘ（ω）６０に適用し、出力信号Ｙ（ω）６１を生成することである。ブロックをベースとしたインパルス応答は、インパルス応答推定器２４によって導出されるオリジナル
【０１３６】
【数５６】
または改変バージョン
【０１３７】
【数５７】
６２のいずれかから構成され得る。この処理に対する入力信号Ｘ（ω）は、
【０１３８】
【数５８】
のうちの１つ以上、または２次入力信号Ｓ２（ω）から構成され得る。
【０１３９】
【数５９】
の異なるバージョンが、異なる入力信号に対して用いられ得る。ブロックをベースとしたこの畳み込み処理からの出力信号は、追加的な反響が調整された周波数スペクトル２７を提供する。再構成プロセッサ３８は、ソースモデルと知覚モデルとを含む。この実施形態において、ソースモデル４８および知覚モデル４９は、分解プロセッサ３３のソースモデル４６および知覚モデル４７と組み合わされる。
【０１４０】
未処理の入力信号Ｍ（ω）２５と、反響が調整された周波数スペクトル２７とは、信号改変器２８に提供される。信号改変器は、最終的なＬ個の出力周波数スペクトルＺ１（ω），Ｚ２（ω），・・・，ＺＬ（ω）を生成し、これらは時間領域に変換され、所望の信号ｚ１（ｔ），ｚ２（ｔ），・・・，ｚＬ（ｔ）３２が入手される。この実施形態において、周波数−時間領域変換器３０は、ルートハニング窓３１が後に続く逆離散フーリエ変換（ＩＤＦＴ）の高速の実装から構成されている。
【０１４１】
本発明がモノラル出力信号（すなわち、Ｌ＝１）を形成するために用いられる用途に対しては、信号改変器２８は、反響が調整されたスペクトル２７に作用し、それらを組み合わせて、改変された反響特性を有する入力信号の改変バージョンを形成する。
【０１４２】
本発明がモノラル入力信号から追加的なオーディオチャネルを形成するために用いられる用途に対しては、信号改変器２８の動作は、反響が調整された周波数スペクトル２７に作用し、それらを組み合わせて、２つ以上の一意的な出力周波数スペクトルＺ１（ω），Ｚ２（ω），・・・，ＺＬ（ω）を形成することを含む。
【０１４３】
信号改変器２８が、未処理の入力信号Ｍ（ω）２５または反響が調整された周波数スペクトル２７のいずれをも改変する必要がない一部の用途においては、信号改変器は、これらの信号を単に最終的な出力周波数スペクトルＺ１（ω），Ｚ２（ω），・・・，ＺＬ（ω）へと渡し得る。
【０１４４】
好適な実施形態において、先のステップは、反響システムのインパルス応答の適切なブロックをベースとした推定を必要とし得る。インパルス応答推定器２４は、入力信号Ｍ（ω）２５の周波数領域の表現に作用し、インパルス応答のブロックをベースとした推定
【０１４５】
【数６０】
を生成する。
【０１４６】
２つのファクターが、所与の周波数において反響の入力信号Ｍ（ω）２５が減衰する（または増加する）速度を決定するために、組み合わされる。第１のファクターは、ドライ音源ｓ（ｔ）１の減衰（または増加）の速度であり、第２のファクターは、反響システムの減衰の速度である。所与の周波数における反響システム（例えば、コンサートホール）の減衰の速度は、時間の経過にわたって比較的一定ではあるが、ドライ音源の減衰の速度は、連続的に変化する。歌手についての先の例を用いると、所与の周波数における歌手の声のレベルは、時間の経過につれて、上がったり下がったりし得る。したがって、入力信号Ｍ（ω）２５の減衰の最高速度は、ドライ音源ｓ（ｔ）１が所与の周波数において停止し、信号における減衰の全体が、反響システムの減衰に起因するときに起こる。
【０１４７】
所与の周波数を考えると、
【０１４８】
【数６１】
を推定する最良の機会は、ドライ音源ｓ（ｔ）１がその周波数において停止した、まさにそのときであることが分かる。その時点で信号の反響成分ｒ（ｔ）が後に続き、反響システムの減衰が観察され得る。これが与えられると、先のブロックの大きさ
【０１４９】
【数６２】
に対する現在のブロックの大きさ
【０１５０】
【数６３】
の比を観察し、この比の最小値を推定することによって、推定
【０１５１】
【数６４】
を入手できる。
【０１５２】
【数６５】
ここでＢｉａｓｉ（ω）は、１．０よりも大きいなんらかの値であり、εはなんらかの小さな値である。周波数に応じたパラメータＢｉａｓｉ（ω）は、
【０１５３】
【数６６】
が正しくない最小値にトラップ（ｔｒａｐ）されることを妨げ、εは
【０１５４】
【数６７】
が値ゼロにトラップされることを妨げる。上述の比の最小値は、その周波数における信号減衰の最高速度に対応しているので、これは、その周波数における
【０１５５】
【数６８】
の推定に対応している。この処理は、全てのブロック［ｉ＝１，・・・，Ｂ］に対し、各周波数ωにおいて実行される。
【０１５６】
この実施形態において、ソースモデルは、
【０１５７】
【数６９】
のように実装される。パラメータＭａｘＶａｌｕｅｉ（ω）は、
【０１５８】
【数７０】
ひいては
【０１５９】
【数７１】
が、実際の音響空間において期待されていないであろう、なんらかの値を超過することを妨げる。ＭａｘＶａｌｕｅｉ（ω）は、周波数にわたって、そしてブロックにわたって、変化し得る。時間的な平滑化動作が、
【０１６０】
【数７２】
のより安定な推定を提供するために適用される。
【０１６１】
【数７３】
ここでτは、処理の現在の時間フレームを示し、αｉ（ω）は、時間的な平滑化の量を制御する周波数に応じたパラメータである。αｉ（ω）はまた、時間にわたって、そしてブロックにわたって変化し得、その値は、入力信号の現在のブロックと、入力信号の先のブロックとに応じたものであり得る。
【０１６２】
この実施形態において、周波数にわたる
【０１６３】
【数７４】
の平滑化は、ソースモデルの一部として実行される。平滑化の量は、βｉ（ω）の値によって決定される。βｉ（ω）は、周波数にわたって、そしてブロックにわたって変化し得る。
【０１６４】
【数７５】
ブロックをベースとしたインパルス応答の最終的な推定
【０１６５】
【数７６】
［ｉ＝１，・・・，Ｂ］は、ゲインベクトルを導出するために利用され、これらのゲインベクトルは、ドライサウンドの推定と反響成分の推定とを導出するために用いられる。
【０１６６】
入力信号がモノラルである場合について、好適な実施形態が記載されてきた。本発明は、ステレオ信号およびマルチチャネル信号への作用に直ちに拡張され得るということに留意されたい。入力信号が２つ以上のチャネルを有しているときには、本発明が各チャネルに対して独立的に機能するか、あるいはチャネル上の動作が組み合わされ得、所与のチャネルに関する情報がその他のチャネルを処理する際に用いられ得るということに留意されたい。
【０１６７】
インパルス応答のＢ＋１個のブロック１５、１６は、必ずしも等しいサイズである必要はない。例えば、インパルス応答の早期反射の部分１２に対して、より良い時間分解能を入手するために、より短いブロックを用いて、インパルス応答の最初の部分を表すことが望ましくあり得る。
【０１６８】
インパルス応答のＢ＋１個のブロック１５は、重なり合うか、またはそれらのブロックは、図２に示されているように、いかなる重なりをも有していないことがあり得る。ブロックが重なり合っている場合、ブロックからブロックへの滑らかな遷移を提供するために、窓関数が用いられ得る。好適な実施形態において、ブロックは５０％の重なりを有している。
【０１６９】
好適な実施形態においては、信号およびインパルス応答の周波数領域の表現の大きさの平方
【０１７０】
【数７７】
が、処理に用いられる。大きさのその他の累乗
【０１７１】
【数７８】
も用いられ得ることに留意されたい。
【０１７２】
反響が第２の入力信号ｓ２（ｔ）４０に追加される用途に対し、再構成プロセッサは、図７に示されているようなブロックをベースとした周波数領域のＦＩＲフィルタを含み得る。これらのフィルタは、インパルス応答のブロックの大きさの改変された推定
【０１７３】
【数７９】
から構成される。好適な実施形態において、再構成プロセッサは、ゲインベクトルを入力信号に適用することによって、これを遂行する。
【０１７４】
好適な実施形態において、分解プロセッサ３３および再構成プロセッサ３８は、互いに独立的に動作する。一部の用途において、２つのプロセッサの局面は、組み合わされ得るということに留意されたい。
【０１７５】
本発明は、一般に、入力信号Ｍ（ω）２５に基づいて、追加的なオーディオ信号を形成するために用いられ得る。すなわち、本発明は、Ｕ個のチャネルを有する入力信号Ｍ（ω）２５からＶ個の出力チャネルを形成するために用いられ得る（但しＶ＞Ｕ）。この例は、モノラル入力信号からステレオ信号またはマルチチャネル信号を形成することと、ステレオ入力信号からマルチチャネル信号を形成することと、マルチチャネル入力信号から追加的なチャネルを形成することとを含む。一般にこれは、信号の反響成分を抽出し、異なるサブ成分Ｒ１（ω），Ｒ２（ω），・・・，ＲＫ（ω）３５に分解し、これらを異なる出力チャネルに分散することによって遂行される。反響信号の所与の成分は、２つ以上の出力チャネルに割り当てられ得る。形成されたチャネルはまた、ドライ信号成分
【０１７６】
【数８０】
３４および入力信号Ｍ（ω）２５の推定を含み得る。
【０１７７】
好適な実施形態において、分解プロセッサ３３は、インパルス応答のブロックをベースとした推定
【０１７８】
【数８１】
を利用し、反響のサブ成分の知覚上適した集合を導出するように、入力信号Ｍ（ω）２５に作用する。再構成プロセッサ３８は、ドライ信号
【０１７９】
【数８２】
３４および反響のサブ成分３５の推定に作用し、反響が調整された周波数スペクトル２７の集合を導出する。一部の例においては、信号改変器２８が、反響が調整された周波数スペクトルを、最終的なＶ個の出力周波数スペクトルＺ１（ω），Ｚ２（ω），・・・，ＺＶ（ω） ２９に直接的に割り当て得る。最終的な出力周波数スペクトルは、時間領域３０に変換され、窓関数が施され（ｗｉｎｄｏｗｅｄ）３１、ｚ１（ｔ），ｚ２（ｔ），・・・，ｚＶ（ｔ） ３２から構成されるマルチチャネルのオーディオ信号を提供する。
【０１８０】
その他の例においては、信号改変器２８が、２つ以上の反響が調整された周波数スペクトル２７を選択的に組み合わせ、Ｖ個の出力周波数スペクトルを形成し得る。信号改変器はまた、Ｖ個の出力周波数スペクトルのうちの１つ以上において、未処理の入力信号Ｍ（ω）２５を含み得る。
【０１８１】
例として、ステレオ入力信号（Ｕ＝２）から５個の（Ｖ＝５）チャネルの出力信号を形成するための１つのアプローチは、図８に示されているようなものとして考えられる。左入力信号ＭＬｅｆｔ（ω）７０は、その直接的な信号成分
【０１８２】
【数８３】
と反響信号成分
【０１８３】
【数８４】
とに分解される。左チャネルの直接的な信号成分
【０１８４】
【数８５】
は、左出力チャネル７２に送信され、その一方で、左チャネルの反響信号成分
【０１８５】
【数８６】
は、左サラウンド出力チャネル７５に送信される。同様に、右入力信号ＭＲｉｇｈｔ（ω）７１は分解され、右チャネルの直接的な信号成分
【０１８６】
【数８７】
は、右出力チャネル７３に送信され、その一方で、右チャネルの反響信号成分
【０１８７】
【数８８】
は、右サラウンド出力チャネル７４に送信される。中央の出力チャネル７４は、なんらかの混合物
【０１８８】
【数８９】
から構成され、ここでｇ１、ｇ２、ｇ３およびｇ４は、成分が互いに混合される相対的なレベルを決定する。この例は、本発明が入力信号を分解して追加的なオーディオチャネルを形成するための、ほぼ無数の手段のうちの１つに過ぎないことに、留意されたい。
【０１８９】
（本発明のその他の実施形態）
１．インパルス応答の周波数領域の表現のブロックをベースとした推定を用いて、反響信号を分解することによって、その信号を直接的なサウンド成分および／または１つ以上の反響成分に分解する方法。
【０１９０】
１．１．上記信号は、インパルス応答の周波数領域の表現の大きさの表現のみに基づいて、直接的なサウンド成分および／または１つ以上の反響成分に分解される、クレーム１に記載の方法。
【０１９１】
１．２．上記信号は、変換の表現を用いて、直接的なサウンド成分および／または１つ以上の反響成分に分解される、クレーム１に記載の方法。
【０１９２】
１．３．上記信号は、フィルタバンクの表現を用いて、直接的なサウンド成分および／または１つ以上の反響成分に分解される、クレーム１に記載の方法。
【０１９３】
１．４．上記信号は、直接的なサウンド成分および／または１つ以上の反響成分に分解され、直接的なサウンド成分のみが出力される、クレーム１に記載の方法。
【０１９４】
１．５．上記信号は、直接的なサウンド成分および／または１つ以上の反響成分に分解され、１つ以上の反響成分のみが出力される、クレーム１に記載の方法。
【０１９５】
２．クレーム１に記載の方法を用いて、第１に反響信号を分解し、直接的なサウンド成分および／または１つ以上の反響成分を組み合わせる前に、それらを改変することによって、出力信号を生成する方法。
【０１９６】
２．１．上記処理は、電話機またはテレビ会議機器における反響を低減させるために用いられる、クレーム２に記載の方法。
【０１９７】
２．２．上記処理は、反響スピーチ信号の明瞭度を増加させるために用いられる、クレーム２に記載の方法。
【０１９８】
２．３．上記処理は、反響を低減させ、スピーチ認識システムの認識率を増加させるために用いられる、クレーム２に記載の方法。
【０１９９】
２．４．上記処理は、増幅された信号に起因する反響を低減させることによって、拡声装置（ｐｕｂｌｉｃ ａｄｄｒｅｓｓ ｓｙｓｔｅｍ）における音響フィードバックを低減させるために用いられる、クレーム２に記載の方法。
【０２００】
２．５．上記処理は、補聴器における反響スピーチ信号の明瞭度を増加させるために用いられる、クレーム２に記載の方法。
【０２０１】
２．６．直接的なサウンド成分のみが抽出され、改変される、クレーム２に記載の方法。
【０２０２】
２．７．直接的なサウンド成分は、反響成分のうちの１つ以上を再び組み合わせる前に改変される、クレーム２に記載の方法。
【０２０３】
２．７．１．上記改変は、直接的なサウンド成分にノイズリダクション（ｎｏｉｓｅ ｒｅｄｕｃｔｉｏｎ）を適用することから構成される、クレーム２．７に記載の方法。
【０２０４】
２．７．２．上記改変は、直接的なサウンド成分にオーディオ透かしを追加することから構成される、クレーム２．７に記載の方法。
【０２０５】
２．８．上記反響成分は、直接的なサウンド成分と組み合わせる前に改変される、クレーム２に記載の方法。
【０２０６】
２．９．上記直接的なサウンド成分と１つ以上の反響成分との両方は、成分を組み合わせる前に改変される、クレーム２に記載の方法。
【０２０７】
２．１０．反響サウンドに対する直接的なサウンドの比は、直接的なサウンドと反響成分とを再び組み合わせる前に改変される、クレーム２に記載の方法。
【０２０８】
２．１１．特定の反響成分のみが、直接的なサウンド成分と組み合わせる前に改変される、クレーム２に記載の方法。
【０２０９】
３．インパルス応答の周波数領域の表現のブロックをベースとした推定を用いて、直接的なサウンド成分および／または１つ以上の反響成分から構成される出力信号を形成する方法。
【０２１０】
３．１．上記出力信号は、インパルス応答の周波数領域の表現の大きさの表現のみに基づいて形成される、クレーム３に記載の方法。
【０２１１】
３．２．上記出力信号は、インパルス応答の変換の表現を用いて形成される、クレーム３に記載の方法。
【０２１２】
３．３．上記出力信号は、インパルス応答のフィルタバンクの表現を用いて形成される、クレーム３に記載の方法。
【０２１３】
３．４．上記インパルス応答の周波数領域の表現は、複数の反響出力信号を形成するために改変される、クレーム３に記載の方法。
【０２１４】
３．４．１．上記複数の反響出力信号は、モノラル信号からステレオ信号を形成するために用いられる、クレーム３．４に記載の方法。
【０２１５】
３．４．２．上記複数の反響出力信号は、マルチチャネルのサラウンドサウンドシステムにおいて用いられる、クレーム３．４に記載の方法。
【０２１６】
３．４．３．上記複数の反響出力信号は、３次元ヘッドフォンシステムにおいて用いられる、クレーム３．４に記載の方法。
【０２１７】
３．５．上記出力信号は、第１の信号から導出されたインパルス応答の周波数領域の表現を、第２の信号の直接的なサウンド成分に適用することによって形成される、クレーム３に記載の方法。
【０２１８】
３．５．１．上記第２の信号の直接的なサウンド成分は、クレーム１に記載の方法を用いて導出される、クレーム３．５に記載の方法。
【０２１９】
４．反響信号から反響システムの記述を抽出する方法であって、
基礎となる反響システムの全体のインパルス応答を、インパルス応答の一部を表す一連のブロックに分解することと、
現在のフレームにおける信号の周波数領域の表現と、先のフレームの表現とを比較することによって、各ブロックに対して、インパルス応答の周波数領域の表現の推定を抽出することと
によって行われる、方法。
【０２２０】
４．１．周波数領域の表現の上記比較は、信号の周波数成分の変化率を追跡することに基づく、クレーム４に記載の方法。
【０２２１】
４．１．１．最大の変化率が用いられる、クレーム４．１に記載の方法。
【０２２２】
４．１．１．１．ブロックｉに対する上記周波数領域の表現Ｈｉ（ω）は、ｍｉｎ｛Ｍ０（ω）／Ｍｉ（ω）｝に基づく、クレーム４．１．１に記載の方法。
【０２２３】
４．１．２．上記変化率は、平滑化される、クレーム４．１に記載の方法。
【０２２４】
４．２．各ブロックに対する上記インパルス応答の周波数領域の表現は、物理的なモデルによって拘束される、クレーム４に記載の方法。
【０２２５】
４．２．１．上記反響システムの物理的なモデルは、所与の時間の後の指数的な減衰を仮定する、クレーム４．２に記載の方法。
【０２２６】
４．３．各ブロックに対する上記インパルス応答の周波数領域の表現は、知覚モデルを用いて導出される、クレーム４に記載の方法。
【０２２７】
４．３．１．上記知覚モデルは、耳の周波数に応じた選択性を説明する、クレーム４．３に記載の方法。
【０２２８】
４．４．実際の音響空間の知覚上関連のある反響特性は、その空間のインパルス応答を直接的に測定する必要なしにキャプチャされる、クレーム４に記載の方法。
【０２２９】
５．クレーム１に記載の方法にしたがって信号を分解し、直接的なサウンド成分および／またはインパルス応答の周波数領域の表現の推定に基づくブロックを改変することによって、クレーム３に記載の方法にしたがって出力信号を形成する方法。
【０２３０】
５．１．直接的な信号成分のみが、出力信号を形成する前に改変される、クレーム５に記載の方法。
【０２３１】
５．１．１．上記改変は、直接的なサウンド成分にノイズリダクションを適用することから構成される、クレーム５．１に記載の方法。
【０２３２】
５．１．２．上記改変は、直接的なサウンド成分にオーディオ透かしを適用することから構成される、クレーム５．１に記載の方法。
【０２３３】
５．１．３．上記改変は、オーディオデータリダクションエンコーディングと、直接的なサウンド成分のデコーディングとから構成される、クレーム５．１に記載の方法。
【０２３４】
５．１．３．１．上記分解および圧縮エンコーディングは、１つのデバイスによって実行され、圧縮デコーディングおよび出力信号の形成は、別のデバイスによって実行される、クレーム５．１．３に記載の方法。
【０２３５】
５．１．３．２．上記インパルス応答の周波数領域の表現のブロックをベースとした推定は、圧縮されたオーディオビットストリーム内に含まれる、クレーム５．１．３に記載の方法。
【０２３６】
５．２．上記インパルス応答の周波数領域の表現のブロックをベースとした推定は、クレーム４に記載の方法にしたがって導出される、クレーム５に記載の方法。
【特許請求の範囲】
【請求項１】
オーディオ信号の反響成分を識別および抽出する装置であって、
前記装置は、
オーディオ信号を受信および処理するように構成された信号プロセッサと、
前記オーディオ信号に含まれる推定されたインパルス応答の表現を前記オーディオ信号から生成するように前記信号プロセッサを用いて実行可能なインパルス応答推定器と、
前記推定されたインパルス応答の表現を用いて、前記オーディオ信号を、推定されたオリジナルのドライ信号成分と推定された反響信号成分とに分解するように前記信号プロセッサを用いて実行可能な分解プロセッサと、
前記オーディオ信号の推定されたオリジナルのドライ信号成分および推定された反響信号成分のうちの少なくとも１つの信号成分を独立的に改変するように前記信号プロセッサを用いて実行可能な改変器と、
前記オーディオ信号の推定されたオリジナルのドライ信号成分および推定された反響信号成分のうちの改変された少なくとも１つの信号成分を組み合わせて、１つ以上の調整された周波数スペクトルを生成するように前記信号プロセッサを用いて実行可能な再構成プロセッサと
を備える、装置。
【請求項２】
前記再構成プロセッサは、前記オーディオ信号に異なるゲインベクトルを適用することにより、前記オーディオ信号の推定されたオリジナルのドライ信号成分および推定された反響信号成分を導出するように前記信号プロセッサを用いて実行可能である、請求項１に記載の装置。
【請求項３】
前記推定されたインパルス応答の表現は、複数の推定されたインパルス応答を含み、前記複数の推定されたインパルス応答は、前記推定されたインパルス応答の各々のそれぞれの大きさの推定に基づいて生成される、請求項１または２に記載の装置。
【請求項４】
前記インパルス応答推定器は、複数のブロックを含む前記推定されたインパルス応答のブロックブロックベースの推定を生成するように前記信号プロセッサを用いて実行可能であり、各ブロックは、前記推定されたインパルス応答の成分を含む、請求項１〜３のいずれか一項に記載の装置。
【請求項５】
各ブロックの前記推定されたインパルス応答は、前記オーディオ信号に含まれるドライ音源の変化率と、前記オーディオ信号に含まれる反響成分の減衰の速度とに基づいて推定される、請求項４に記載の装置。
【請求項６】
前記インパルス応答推定器は、前記ブロックのそれぞれの周波数成分を独立的に調整して、前記推定されたインパルス応答の改変されたブロックベースの推定を生成するようにさらに実行可能である、請求項４に記載の装置。
【請求項７】
前記ゲインベクトルは、知覚モデルおよびソースモデルを含むモデルを用いて前記信号プロセッサにより平滑化され、前記知覚モデルは、前記推定された反響信号成分からの前記オーディオ信号の聴こえない部分の除外により人間の聴覚システムのマスキング特性を説明するように構成され、前記ソースモデルは、前記オーディオ信号に表わされた音源の物理的特性を説明するように構成される、請求項１〜６のいずれか一項に記載の装置。
【請求項８】
前記オーディオ信号は、音響空間の反響特性が重ね合わされたオリジナルのドライオーディオ信号を含み、前記反響特性は、前記オリジナルのドライオーディオ信号から生成される、請求項１〜７のいずれか一項に記載の装置。
【請求項９】
前記オーディオ信号はモノラルオーディオ信号である、請求項１〜８のいずれか一項に記載の装置。
【請求項１０】
前記オーディオ信号はマルチチャネルオーディオ信号である、請求項１〜８のいずれか一項に記載の装置。
【請求項１１】
オーディオ信号の反響成分を識別および抽出する装置であって、
前記装置は、
音響空間の反響特性が重ね合わされたドライオーディオ信号を表わすオーディオ信号を受信および処理するように構成された信号プロセッサと、
前記ドライオーディオ信号の音響特性のモデルおよび前記オーディオ信号から推定された前記音響空間の推定されたインパルス応答に基づいて、前記オーディオ信号を、推定されたオリジナルのドライ信号成分と推定された反響信号成分とに分解するように前記信号プロセッサを用いて実行可能な分解プロセッサと、
前記推定されたオリジナルのドライ信号成分および前記推定された反響信号成分から１つ以上の周波数スペクトルを生成するように前記信号プロセッサを用いて実行可能な再構成プロセッサと
を備える、装置。
【請求項１２】
前記再構成プロセッサは、前記推定された反響信号成分の推定された位相に基づいて前記推定されたオリジナルのドライ信号成分の位相を推定するようにさらに実行可能である、請求項１１に記載の装置。
【請求項１３】
前記再構成プロセッサは、前記推定された反響信号成分を前記推定された反響信号成分の複数のサブ成分に分解するようにさらに実行可能である、請求項１１または１２に記載の装置。
【請求項１４】
前記推定されたインパルス応答は、前記音響空間のインパルス応答のブロックベースの推定である、請求項１１〜１３のいずれか一項に記載の装置。
【請求項１５】
それぞれのブロックの前記推定されたインパルス応答の大きさおよび前記オーディオ信号に基づいて前記音響空間のブロックベースの推定されたインパルス応答を生成するように前記信号プロセッサにより実行可能なインパルス応答推定器をさらに備える、請求項１４に記載の装置。
【請求項１６】
前記推定されたオリジナルのドライ信号および推定されたインパルス応答は、ブロックベースの推定であり、前記推定されたオリジナルのドライ信号の現在のブロックは、前記推定されたオリジナルのドライ信号の先のブロックに基づいて生成される、請求項１１〜１５のいずれか一項に記載の装置。
【請求項１７】
前記オーディオ信号の推定されたオリジナルのドライ信号成分および推定された反響信号成分のうちの少なくとも１つの信号成分を独立的に改変するように前記信号プロセッサを用いて実行可能な改変器をさらに備える、請求項１１〜１６のいずれか一項に記載の装置。
【請求項１８】
前記改変器は、前記推定されたオリジナルのドライ信号成分のレベルの調整、周波数フィルタリング、およびダイナミックレンジの処理のうちの少なくとも１つを実行するように実行可能であり、前記推定された反響信号成分の周波数成分の改変を独立的に実行するようにさらに実行可能である、請求項１７に記載の装置。
【請求項１９】
前記再構成プロセッサは、前記オーディオ信号の推定されたオリジナルのドライ信号成分および推定された反響信号成分のうちの少なくとも１つの信号成分にブロックベースのインパルス応答を適用して、１つ以上の反響調整された周波数スペクトルを生成するようにさらに実行可能である、請求項１１〜１８のいずれか一項に記載の装置。
【請求項２０】
前記１つ以上の周波数スペクトルの受信および前記オーディオ信号の受信に基づいて最終的な出力周波数スペクトルを生成するように前記信号プロセッサを用いて実行可能な信号改変器をさらに備える、請求項１１〜１９のいずれか一項に記載の装置。
【請求項２１】
前記オーディオ信号はマルチチャネルオーディオ信号であり、前記信号改変器は、前記１つ以上の周波数スペクトルを、出力チャネルを表わす複数の異なる出力周波数スペクトルに選択的に割り当てるようにさらに実行可能であり、前記出力チャネルの数は、前記マルチチャネルオーディオ信号に含まれるチャネルの数よりも大きい、請求項２０に記載の装置。
【請求項２２】
前記オーディオ信号はモノラルオーディオ信号である、請求項１１〜２０のいずれか一項に記載の装置。
【請求項２３】
前記再構成プロセッサは、前記オーディオ信号の人間に聴こえない部分を前記推定された反響信号成分から除外するようにさらに実行可能である、請求項１１〜２２のいずれか一項に記載の装置。
【請求項２４】
オーディオ信号の反響成分を識別および抽出する方法であって、
前記方法は、
オーディオ信号プロセッサを用いてオーディオ信号を受信および処理することであって、前記オーディオ信号は、音響空間の反響特性が重ね合わされたドライオーディオ信号を表わす、ことと、
前記オーディオ信号プロセッサを用いて、前記オーディオ信号を、推定されたオリジナルのドライ信号成分と推定された反響信号成分とに分解することであって、前記オーディオ信号は、前記ドライオーディオ信号の音響特性のモデルおよび前記オーディオ信号から導出される前記音響空間の推定されたインパルス応答に基づいて分解される、ことと、
前記オーディオ信号プロセッサが、前記オーディオ信号の人間に聴こえない部分を前記推定された反響信号成分から除外することと、
前記オーディオ信号プロセッサを用いて、前記オーディオ信号の前記推定されたオリジナルのドライ信号成分および前記推定された反響信号成分を再び組み合わせることにより１つ以上の周波数スペクトルを生成することと
を含む、方法。
【請求項２５】
前記音響空間の前記推定されたインパルス応答を、ブロックベースの推定されたインパルス応答として生成することをさらに含み、
前記推定されたオリジナルのドライ信号成分および前記推定された反響信号成分を分解することは、前記推定されたインパルス応答のそれぞれのブロックの大きさの表現に基づく、請求項２４に記載の方法。
【請求項２６】
前記オーディオ信号はモノラルオーディオ信号である、請求項２４または２５に記載の方法。
【請求項２７】
前記オーディオ信号はマルチチャネルオーディオ信号である、請求項２４または２５に記載の方法。
【請求項１】
オーディオ信号の反響成分を識別および抽出する装置であって、
前記装置は、
オーディオ信号を受信および処理するように構成された信号プロセッサと、
前記オーディオ信号に含まれる推定されたインパルス応答の表現を前記オーディオ信号から生成するように前記信号プロセッサを用いて実行可能なインパルス応答推定器と、
前記推定されたインパルス応答の表現を用いて、前記オーディオ信号を、推定されたオリジナルのドライ信号成分と推定された反響信号成分とに分解するように前記信号プロセッサを用いて実行可能な分解プロセッサと、
前記オーディオ信号の推定されたオリジナルのドライ信号成分および推定された反響信号成分のうちの少なくとも１つの信号成分を独立的に改変するように前記信号プロセッサを用いて実行可能な改変器と、
前記オーディオ信号の推定されたオリジナルのドライ信号成分および推定された反響信号成分のうちの改変された少なくとも１つの信号成分を組み合わせて、１つ以上の調整された周波数スペクトルを生成するように前記信号プロセッサを用いて実行可能な再構成プロセッサと
を備える、装置。
【請求項２】
前記再構成プロセッサは、前記オーディオ信号に異なるゲインベクトルを適用することにより、前記オーディオ信号の推定されたオリジナルのドライ信号成分および推定された反響信号成分を導出するように前記信号プロセッサを用いて実行可能である、請求項１に記載の装置。
【請求項３】
前記推定されたインパルス応答の表現は、複数の推定されたインパルス応答を含み、前記複数の推定されたインパルス応答は、前記推定されたインパルス応答の各々のそれぞれの大きさの推定に基づいて生成される、請求項１または２に記載の装置。
【請求項４】
前記インパルス応答推定器は、複数のブロックを含む前記推定されたインパルス応答のブロックブロックベースの推定を生成するように前記信号プロセッサを用いて実行可能であり、各ブロックは、前記推定されたインパルス応答の成分を含む、請求項１〜３のいずれか一項に記載の装置。
【請求項５】
各ブロックの前記推定されたインパルス応答は、前記オーディオ信号に含まれるドライ音源の変化率と、前記オーディオ信号に含まれる反響成分の減衰の速度とに基づいて推定される、請求項４に記載の装置。
【請求項６】
前記インパルス応答推定器は、前記ブロックのそれぞれの周波数成分を独立的に調整して、前記推定されたインパルス応答の改変されたブロックベースの推定を生成するようにさらに実行可能である、請求項４に記載の装置。
【請求項７】
前記ゲインベクトルは、知覚モデルおよびソースモデルを含むモデルを用いて前記信号プロセッサにより平滑化され、前記知覚モデルは、前記推定された反響信号成分からの前記オーディオ信号の聴こえない部分の除外により人間の聴覚システムのマスキング特性を説明するように構成され、前記ソースモデルは、前記オーディオ信号に表わされた音源の物理的特性を説明するように構成される、請求項１〜６のいずれか一項に記載の装置。
【請求項８】
前記オーディオ信号は、音響空間の反響特性が重ね合わされたオリジナルのドライオーディオ信号を含み、前記反響特性は、前記オリジナルのドライオーディオ信号から生成される、請求項１〜７のいずれか一項に記載の装置。
【請求項９】
前記オーディオ信号はモノラルオーディオ信号である、請求項１〜８のいずれか一項に記載の装置。
【請求項１０】
前記オーディオ信号はマルチチャネルオーディオ信号である、請求項１〜８のいずれか一項に記載の装置。
【請求項１１】
オーディオ信号の反響成分を識別および抽出する装置であって、
前記装置は、
音響空間の反響特性が重ね合わされたドライオーディオ信号を表わすオーディオ信号を受信および処理するように構成された信号プロセッサと、
前記ドライオーディオ信号の音響特性のモデルおよび前記オーディオ信号から推定された前記音響空間の推定されたインパルス応答に基づいて、前記オーディオ信号を、推定されたオリジナルのドライ信号成分と推定された反響信号成分とに分解するように前記信号プロセッサを用いて実行可能な分解プロセッサと、
前記推定されたオリジナルのドライ信号成分および前記推定された反響信号成分から１つ以上の周波数スペクトルを生成するように前記信号プロセッサを用いて実行可能な再構成プロセッサと
を備える、装置。
【請求項１２】
前記再構成プロセッサは、前記推定された反響信号成分の推定された位相に基づいて前記推定されたオリジナルのドライ信号成分の位相を推定するようにさらに実行可能である、請求項１１に記載の装置。
【請求項１３】
前記再構成プロセッサは、前記推定された反響信号成分を前記推定された反響信号成分の複数のサブ成分に分解するようにさらに実行可能である、請求項１１または１２に記載の装置。
【請求項１４】
前記推定されたインパルス応答は、前記音響空間のインパルス応答のブロックベースの推定である、請求項１１〜１３のいずれか一項に記載の装置。
【請求項１５】
それぞれのブロックの前記推定されたインパルス応答の大きさおよび前記オーディオ信号に基づいて前記音響空間のブロックベースの推定されたインパルス応答を生成するように前記信号プロセッサにより実行可能なインパルス応答推定器をさらに備える、請求項１４に記載の装置。
【請求項１６】
前記推定されたオリジナルのドライ信号および推定されたインパルス応答は、ブロックベースの推定であり、前記推定されたオリジナルのドライ信号の現在のブロックは、前記推定されたオリジナルのドライ信号の先のブロックに基づいて生成される、請求項１１〜１５のいずれか一項に記載の装置。
【請求項１７】
前記オーディオ信号の推定されたオリジナルのドライ信号成分および推定された反響信号成分のうちの少なくとも１つの信号成分を独立的に改変するように前記信号プロセッサを用いて実行可能な改変器をさらに備える、請求項１１〜１６のいずれか一項に記載の装置。
【請求項１８】
前記改変器は、前記推定されたオリジナルのドライ信号成分のレベルの調整、周波数フィルタリング、およびダイナミックレンジの処理のうちの少なくとも１つを実行するように実行可能であり、前記推定された反響信号成分の周波数成分の改変を独立的に実行するようにさらに実行可能である、請求項１７に記載の装置。
【請求項１９】
前記再構成プロセッサは、前記オーディオ信号の推定されたオリジナルのドライ信号成分および推定された反響信号成分のうちの少なくとも１つの信号成分にブロックベースのインパルス応答を適用して、１つ以上の反響調整された周波数スペクトルを生成するようにさらに実行可能である、請求項１１〜１８のいずれか一項に記載の装置。
【請求項２０】
前記１つ以上の周波数スペクトルの受信および前記オーディオ信号の受信に基づいて最終的な出力周波数スペクトルを生成するように前記信号プロセッサを用いて実行可能な信号改変器をさらに備える、請求項１１〜１９のいずれか一項に記載の装置。
【請求項２１】
前記オーディオ信号はマルチチャネルオーディオ信号であり、前記信号改変器は、前記１つ以上の周波数スペクトルを、出力チャネルを表わす複数の異なる出力周波数スペクトルに選択的に割り当てるようにさらに実行可能であり、前記出力チャネルの数は、前記マルチチャネルオーディオ信号に含まれるチャネルの数よりも大きい、請求項２０に記載の装置。
【請求項２２】
前記オーディオ信号はモノラルオーディオ信号である、請求項１１〜２０のいずれか一項に記載の装置。
【請求項２３】
前記再構成プロセッサは、前記オーディオ信号の人間に聴こえない部分を前記推定された反響信号成分から除外するようにさらに実行可能である、請求項１１〜２２のいずれか一項に記載の装置。
【請求項２４】
オーディオ信号の反響成分を識別および抽出する方法であって、
前記方法は、
オーディオ信号プロセッサを用いてオーディオ信号を受信および処理することであって、前記オーディオ信号は、音響空間の反響特性が重ね合わされたドライオーディオ信号を表わす、ことと、
前記オーディオ信号プロセッサを用いて、前記オーディオ信号を、推定されたオリジナルのドライ信号成分と推定された反響信号成分とに分解することであって、前記オーディオ信号は、前記ドライオーディオ信号の音響特性のモデルおよび前記オーディオ信号から導出される前記音響空間の推定されたインパルス応答に基づいて分解される、ことと、
前記オーディオ信号プロセッサが、前記オーディオ信号の人間に聴こえない部分を前記推定された反響信号成分から除外することと、
前記オーディオ信号プロセッサを用いて、前記オーディオ信号の前記推定されたオリジナルのドライ信号成分および前記推定された反響信号成分を再び組み合わせることにより１つ以上の周波数スペクトルを生成することと
を含む、方法。
【請求項２５】
前記音響空間の前記推定されたインパルス応答を、ブロックベースの推定されたインパルス応答として生成することをさらに含み、
前記推定されたオリジナルのドライ信号成分および前記推定された反響信号成分を分解することは、前記推定されたインパルス応答のそれぞれのブロックの大きさの表現に基づく、請求項２４に記載の方法。
【請求項２６】
前記オーディオ信号はモノラルオーディオ信号である、請求項２４または２５に記載の方法。
【請求項２７】
前記オーディオ信号はマルチチャネルオーディオ信号である、請求項２４または２５に記載の方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−１４５９６２（Ｐ２０１２−１４５９６２Ａ）
【公開日】平成２４年８月２日（２０１２．８．２）
【国際特許分類】
【出願番号】特願２０１２−７４００７（Ｐ２０１２−７４００７）
【出願日】平成２４年３月２８日（２０１２．３．２８）
【分割の表示】特願２００９−５０１８０６（Ｐ２００９−５０１８０６）の分割
【原出願日】平成１９年９月１７日（２００７．９．１７）
【出願人】（５９２０５１４５３）ハーマン インターナショナル インダストリーズ インコーポレイテッド (91)
【公開日】平成２４年８月２日（２０１２．８．２）
【国際特許分類】
【出願日】平成２４年３月２８日（２０１２．３．２８）
【分割の表示】特願２００９−５０１８０６（Ｐ２００９−５０１８０６）の分割
【原出願日】平成１９年９月１７日（２００７．９．１７）
【出願人】（５９２０５１４５３）ハーマン インターナショナル インダストリーズ インコーポレイテッド (91)
[ Back to top ]