メディア信号の処理方法及び装置
【解決手段】空間情報を用いてサラウンド信号に変換することができるメディア信号の処理装置及び方法を開示する。本発明は、マルチソース間の特徴を表す空間情報を用いてソース別に対応するソースマッピング情報を生成する段階と、ソースマッピング情報及びサラウンド効果を与えるフィルター情報を用いてレンダリング情報を生成する段階と、少なくとも一つのレンダリング情報の隣接したレンダリング情報を用いて平滑化する段階と、を含むことを特徴とする信号処理方法を提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、メディア信号の処理方法及び装置に関し、より詳細には、メディア信号の空間情報を用いてサラウンド信号を生成する信号処理方法及び装置に関する。
【背景技術】
【０００２】
一般に、メディア信号をモノ又はステレオ信号をダウンミックスして生成されたダウンミックス信号と、このメディア信号の空間情報とを用いてマルチチャンネルメディア信号を生成する方法及び装置が多く用いられてきている。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記のような方法及び装置は、マルチチャンネル信号を生成出できない環境、例えば、ステレオ信号のみ生成可能な装置では用いられることができない。すなわち、マルチチャンネル信号を生成できない環境で、メディア信号の空間情報を用いてマルチチャンネル信号の効果を出せるサラウンド信号を生成する方法及び装置は存在していない。したがって、モノ又はステレオ信号のみ生成可能な装置ではサラウンド信号を生成する方法及び装置が存在しておらず、メディア信号を效率的に処理する上で多くの問題点があった。
【０００４】
本発明は上記の問題点を解決するためのもので、その目的は、メディア信号の空間情報を用いてメディア信号をサラウンド信号に変換するメディア信号の処理方法及び装置を提供することにある。
【課題を解決するための手段】
【０００５】
上記の目的を達成するために、本発明は、マルチソース間の特徴を表す空間情報を用いてソース別に対応するソースマッピング情報を生成する段階と、前記ソースマッピング情報にサラウンド効果を与えるフィルター情報をソース別に適用し、サブレンダリング情報を生成する段階と、少なくとも一つの前記サブレンダリング情報を合成し、サラウンド信号を生成するためのレンダリング情報を生成する段階と、前記レンダリング情報を、前記マルチソースをダウンミックスして生成されたダウンミックス信号に適用し、サラウンド信号を生成する段階と、を含むことを特徴とする信号処理方法を提供する。
【０００６】
また、前記目的を達成するために、本発明は、マルチソース間の特徴を表す空間情報を用いてソース別に対応するソースマッピング情報を生成するソースマッピング部と、前記ソースマッピング情報にサラウンド効果を与えるフィルター情報をソース別に適用し、サブレンダリング情報を生成するサブレンダリング情報生成部と、少なくとも一つの前記サブレンダリング情報を合成し、サラウンド信号を生成するためのレンダリング情報を生成する合成部と、前記レンダリング情報を、前記マルチソースをダウンミックスして生成されたダウンミックス信号に適用し、サラウンド信号を生成するレンダリング部と、を含むことを特徴とする信号処理装置を提供する。
【０００７】
以下、上記の目的を具体的に実現できる本発明の好適な実施例を、添付の図面を参照しつつ説明する。本発明で使われる用語は、可能なかぎり現在広く使われている一般的な用語を選択したが、特定の場合は、の出願人が任意に選定した用語もある。この場合には発明の詳細な説明でその意味を記載したので、単純な用語の名称ではなく用語が持つ意味として本発明を把握すべきである。以下、本発明は、便宜上、オーディオ信号を取り上げて記述されるが、本発明がオーディオ信号に限定されることはない。
【発明の効果】
【０００８】
本発明に係る信号処理方法及び装置によれば、マルチチャンネル信号をダウンミックスして生成されたダウンミックス信号及び前記マルチチャンネル信号の空間情報を含むビットストリームを受信したデコーディング装置が、マルチチャンネル信号を復元できない環境においも、サラウンド効果を持つ信号を生成することが可能になる。
【発明を実施するための最良の形態】
【０００９】
図１は、本発明の一実施例によるオーディオ信号の符号化装置及び復号化装置を示すブロック図である。図１を参照すると、符号化装置１０は、ダウンミックス部１００、空間情報生成部２００、ダウンミックス信号符号化部３００、空間情報符号化部４００及び多重化部５００を含む。
【００１０】
マルチソースオーディオ信号Ｘ１，Ｘ２，…，Ｘｎがダウンミックス部１００に入力されると、ダウンミックス部１００は、マルチソースオーディオ信号をダウンミックスしてダウンミックス信号を生成する。ダウンミックス信号は、モノ、ステレオ又はマルチソースオーディオ信号を含む。ここで、ソースはチャンネルを含み、便宜上、以下ではチャンネルと記述する。本明細書では、モノ又はステレオダウンミックス信号を基準として説明するが、本発明がモノ又はステレオダウンミックス信号に限定されることはない。また、符号化装置１０は、選択的に外部から直接提供される任意のダウンミックス信号を用いることができる。空間情報生成部２００は、マルチチャンネルオーディオ信号から空間情報を生成する。この空間情報をダウンミックス過程中に生成することができる。生成されたダウンミックス信号及び空間情報はそれぞれ、ダウンミックス信号符号化部３００及び空間情報符号化部４００に符号化された後、多重化部５００に転送される。
【００１１】
本発明でいう「空間情報とは、符号化装置でマルチチャンネル信号をダウンミックスし、生成されたダウンミックス信号を復号化装置で転送し、このダウンミックス信号を復号化装置がアップミックスしてマルチチャンネル信号を生成するのに必要な情報のことを意味する。空間情報は、空間パラメータを含む。空間パラメータには、チャンネル間のエネルギー差を意味するＣＬＤ（チャンネルレベル差）、チャンネル間の相関関係を意味するＩＣＣ（チャンネル間の信号相関）、２チャンネルから３チャンネルを生成する時に用いられるＣＰＣ（チャンネル予測係数）などがある。
【００１２】
本発明でいう「ダウンミックス信号符号化部」又は「ダウンミックス信号復号化部」とは、空間情報でないオーディオ信号を符号化又は復号化するコーデックのことを意味する。本明細書は、空間情報でないオーディオ信号としてダウンミックスオーディオ信号を取り上げて記述する。また、ダウンミックス信号符号化部又はダウンミックス信号復号化部は、ＭＰ３、ＡＣ−３、ＤＴＳ又はＡＡＣを含むことができる。オーディオ信号にコーデック機能を行うものであれば、既存に開発されたコーデックの他、今後開発されるコーデックをも含むことができる。
【００１３】
多重化部５００は、ダウンミックス信号及び空間情報を多重化してビットストリームを生成し、生成されたビットストリームを復号化装置２０に転送する。このビットストリームの構造は、図２で説明される。
【００１４】
デコーディング装置２０は、逆多重化部６００、ダウンミックス信号復号化部７００、空間情報復号化部８００、レンダリング部９００及び空間情報変換部１０００を含む。逆多重化部６００は、ビットストリームを受信し、該ビットストリームから符号化されたダウンミックス信号と符号化された空間情報とを分離する。その後、ダウンミックス信号復号化部７００は、符号化されたダウンミックス信号を復号化し、空間情報復号化部８００は、符号化された空間情報を復号化する。空間情報変換部１０００は、復号化された空間情報及びフィルター情報用いてダウンミックス信号に適用させられるレンダリング情報を生成する。このレンダリング情報は、ダウンミックス信号に適用されてサラウンド信号を生成できる。
【００１５】
サラウンド信号を生成する、例えば、符号化装置１０でマルチチャンネルオーディオ信号からダウンミックス信号を生成する過程を、ＯＴＴ（１対２）ボックス又はＴＴＴ（３対３）ボックスなどを用いて多段階で行うことができる。この時、段階ごとに空間情報を生成することができる。この空間情報は、復号化装置２０に転送され、復号化装置２０は、受信した空間情報を変換した後、変換された空間情報をダウンミックス信号にレンダリングすることによってサラウンド信号を生成することができる。本発明は、ダウンミックス信号をアップミックスしてマルチチャンネル信号を生成するのではなく、アップミックス段階別に空間情報のみを抽出し、抽出された空間情報を用いてレンダリングを行う方法に関する。レンダリング方法には、例えば、ＨＲＴＦ（頭部伝達関数）フィルターリングを用いることができる。
【００１６】
この時、空間情報は、ハイブリッドドメインで適用可能な値である。レンダリングは、ドメインによって下記のような種類がありうる。
その第一は、ハイブリッドフィルターバンクにダウンミックス信号を通過させ、ハイブリッドドメインでレンダリングを行う方法である。この時、空間情報に対するドメインの変換は不要である。
【００１７】
その第二は、時間ドメインでレンダリングを行う方法である。この方法は、ＨＲＴＦフィルターが、時間ドメインでＦＩＲ（有限逆応答）フィルター又はＩＩＲ（無限逆応答）フィルターとしてモデリングされる点を用い、空間情報を時間ドメインのフィルター係数に変換する過程が必要とされる。
【００１８】
その第三は、異なる周波数ドメインでレンダリングを行う方法である。例えば、ＤＦＴ（離散フーリエ変換）ドメインでレンダリングを行う方法である。この第三の方法は、空間情報を該当のドメインへと変換する過程を必要とする。また、この方法は、時間ドメインにおけるフィルターリングを周波数ドメインにおける演算に置換することによって高速演算が可能である。
【００１９】
本発明でいうフィルター情報は、オーディオ信号を処理するためのフィルターに関する情報を意味し、特定フィルターが持つフィルター係数を含む。このフィルター情報の例には、次のようなものがある。プロトタイプフィルター情報は、特定フィルターが持つ元来のフィルター情報を意味し、ＧＬ＿Ｌなどで表現可能である。変換フィルター情報は、プロトタイプフィルタ情報が変形された後のフィルター係数を意味し、ＧＬ＿Ｌ'などで表現可能である。サブレンダリング情報は、サラウンド信号を生成するためにプロトタイプフィルタ情報を空間化したフィルター情報を意味し、ＦＬ＿Ｌ1等で表現可能である。レンダリング情報は、レンダリングを行うために必要なフィルター情報を意味し、ＨＬ＿Ｌなどで表現可能だ。補間／平滑化されたレンダリング情報は、レンダリング情報を補間及び／又は平滑化したフィルター情報を意味し、ＨＬ＿Ｌ'などで表現可能である。本明細書は、上記のフィルター情報を取り上げて記述するが、これらのフィルター情報の名称に本発明が限定されるわけではない。特に、フィルター情報は、ＨＲＴＦを取り上げて説明するが、本発明がこのＨＲＴＦに限定されることはない。
【００２０】
その後、レンダリング部９００は、復号化されたダウンミックス信号及びレンダリング情報を受信し、これら復号化されたダウンミックス信号及びレンダリング情報を用いてサラウンド信号を生成する。このサラウンド信号は、ステレオ信号のみ生成可能なオーディオ・システムにサラウンド効果を提供する信号になりうる。本発明は、ステレオ信号のみ生成可能なオーディオ・システムの他にも適用可能である。
【００２１】
図２は、本発明の一実施例によるオーディオ信号ビットストリームの構造を示す図である。このビットストリームは、符号化されたダウンミックス信号及び符号化された空間情報を含む。図２を参照すると、１フレームオーディオペイロードは、ダウンミックス信号フィールド及び補助データフィールドを含む。この補助データフィールドに、符号化された空間情報を保存することができる。例えば、オーディオペイロードが４８〜１２８ｋｂｐｓの時、空間情報は５〜３２ｋｂｐｓ程度の範囲を持つことができるが、このオーディオペイロード及び空間情報の範囲に特に制限はない。
【００２２】
図３は、本発明の一実施例による空間情報変換部を示す詳細ブロック図である。図３を参照すると、空間情報変換部１０００は、ソースマッピング部１０１０、サブレンダリング情報生成部１０２０、統合部１０３０、処理部１０４０、ドメイン変換部１０５０を含む。
【００２３】
ソースマッピング部１０１０は、空間情報を用いてソースマッピング過程を行うことによって、オーディオ信号の各ソースに対応するソースマッピング情報を生成する。ソースマッピング情報とは、オーディオ信号の各ソースに対応するように空間情報などを用いて生成された各ソース別情報のことを指す。ソースはチャンネルを含み、この場合に各チャンネルに対応するソースマッピング情報が生成される。ソースマッピング情報は、係数形態で表現されることができる。ソースマッピング過程についての詳細な説明は、後ほど図４及び図５を参照して記述する。
【００２４】
サブレンダリング情報生成部１０２０は、ソースマッピング情報及びフィルター情報を用いて各ソースに対応するサブレンダリング情報を生成する。例えば、レンダリング部９００がＨＲＴＦフィルターである場合、サブレンダリング情報生成部１０２０は、ＨＲＴＦフィルター情報を用いてサブレンダリング情報を生成することができる。
【００２５】
統合部１０３０は、サブレンダリング情報をダウンミックス信号のソースに対応するように統合し、レンダリング情報を生成する。レンダリング情報とは、空間情報及びフィルター情報を用いて生成された情報で、ダウンミックス信号に適用されてサラウンド信号を生成する情報のことを指す。レンダリング情報は、フィルター係数形態を含む。統合は、レンダリング過程の演算量を減らすために省略しても良い。その後、レンダリング情報は、プロセシング部１０４２に転送される。プロセシング部１０４２は、補間部１０４１及び／又は平滑化部１０４２を含む。レンダリング情報は補間部１０４１及び／又は平滑化部１０４２で補間及び／又は平滑化される。その後、ドメイン変換部１０５０は、レンダリング情報のドメインを、レンダリング部９００で用いられるダウンミックス信号のドメインに変換する。このドメイン変換部１００５は、図３に示す位置以外にも様々な位置に適用されることができる。したがって、レンダリング情報がレンダリング部９００と同じドメインで生成された場合、ドメイン変換部１０５０を省略しても良い。ドメイン変換されたレンダリング情報は、レンダリング部９００に転送される。
【００２６】
また、空間情報変換部１０００は、フィルター情報変換部１０６０を含むことができる。図３で、フィルター情報変換部１０６０は、空間情報変換部１０００の内部に含まれているが、空間情報変換部１０００の外部に存在しても良い。フィルター情報変換部１０６０は、任意のフィルター情報、例えば、ＨＲＴＦを、サブレンダリング情報又はレンダリング情報を生成するのに適合するように変換する。このフィルター情報の変換過程は、下記のような過程を含むことができる。
【００２７】
先ず、適用するドメインを合わせる過程が含まれる。フィルター情報の持っているドメインとレンダリングの行われるドメインとが一致しない場合、これらのドメインを合わせる過程が必要である。例えば、時間ドメインＨＲＴＦを、レンダリング情報が生成されるＤＦＴ、ＱＭＦ又はハイブリッドドメインに変換する過程が必要である。
【００２８】
次に、ドメイン変換されたＨＲＴＦを保存し、空間情報に適用するのを容易にするよう、係数減少過程を含むことができる。例えば、プロトタイプＨＲＴＦフィルター係数が長いタブ数（長さ）の応答を持つ場合では、５．１チャンネルの場合、合計１０個の該当長さだけの応答に対応するメモリーに該当の係数を保存しなければならない。これは、メモリーへの負担とともに演算量を増加させる要因となる。このような問題を防ぐために、ドメイン変換過程でフィルターの特性を維持しながら保存されなければならないフィルター係数については、減少する方法を考慮することができる。例えば、ＨＲＴＦ応答を少数個のパラメータ値に変換することができる。この時、適用されるドメインによってパラメータ生成過程及び値が異なることができる。
【００２９】
ダウンミックス信号は、レンダリング部９００でレンダリング情報とレンダリングされる前に、ドメイン変換部１１００及び／又はデコリレーティング部１２００を通過する。ドメイン変換部１１００は、レンダリング情報のドメインとダウンミックス信号のドメインとが異なる場合、両ドメインを一致させるためにダウンミックス信号のドメイン変換を行う。
【００３０】
デコリレーティング部１２００は、ドメイン変換されたダウンミックス信号に適用される。レンダリング情報にデコリレータを適用する方法に比べて、ダウンミックス信号に適用するという点で演算量は相対的に高いが、レンダリング情報生成過程で生じる歪曲を防ぐことができる。デコリレーティング部１２００は、演算量が許容する範囲でそれぞれ異なる特性を持つ複数のデコリレータ含むことができる。また、デコリレーティング部１２００は、ダウンミックス信号がステレオ信号である場合には適用されなくて良い。図３では、ドメイン変換されたモノダウンミックス信号、すなわち、周波数ドメイン、ハイブリッドドメイン、ＱＭＦドメイン又はＤＦＴドメインにおけるモノダウンミックス信号がレンダリング過程に用いられる場合、該当のドメインにおけるデコリレータを用いる例を示す。また、本発明は、時間ドメインにおいて用いられるデコリレータも含む。この時は、ドメイン変換部１１００以前のモノダウンミックス信号が直接デコリレーティング部１２００に入力される。前記デコリレータとして一次以上のＩＩＲフィルター（又は、ＦＩＲフィルター）を用いることができる。
【００３１】
その後、レンダリング部９００は、ダウンミックス信号、デコリレートされたダウンミックス信号及びレンダリング情報を用いてサラウンド信号を生成する。ダウンミックス信号がステレオ信号である場合、デコリレートされたダウンミックス信号を用いなくて良い。レンダリング過程についての詳細な説明は、後ほど図６〜図９を参照して記述する。サラウンド信号は、逆ドメイン変換部１３００で時間ドメインに変換されて出力される。これで、使用者はステレオ信号が聞けるイヤホンなどでマルチチャンネル効果を持つ音を聞くことができる。
【００３２】
図４及び５は、本発明の一実施例によるソースマッピング過程で用いられるチャンネル構成を示す。ソースマッピング過程は、空間情報を用いてオーディオ信号の各ソースに対応するソースマッピング情報を生成する過程である。前述したように、ソースは、チャンネルを含み、図４及び図５に示すチャンネルに対応するようにソースマッピング情報を生成することができる。ソースマッピング情報は、レンダリング過程に適合した形態で生成される。例えば、ダウンミックス信号がモノ信号である場合、ＣＬＤ１〜ＣＬＤ５、ＩＣＣ１〜ＩＣＣ５などの空間情報を用いてソースマッピング情報を生成することができる。このソースマッピング情報を、Ｄ＿Ｌ（＝ＤL）、Ｄ＿Ｒ（＝ＤR）、Ｄ＿Ｃ（＝ＤC）、Ｄ＿ＬＦＥ（＝ＤLFE）、Ｄ＿Ｌｓ（＝ＤLs）、Ｄ＿Ｒｓ（＝ＤRs）などの値で表現することができる。この時、ソースマッピング情報を生成する過程は、空間情報に対応するツリー構造及び使われる空間情報の範囲などによって変化しうる。本明細書ではダウンミックス信号がモノである場合を取り上げて説明するが、本発明がこれに限定されるわけではない。
【００３３】
レンダリング部９００から出力された左右チャンネル出力を、下の［数式１］のように表現することができる。
【００３４】
【数１】
【００３５】
ここで、演算子＊は、ＤＦＴドメインでは積であり、ＱＭＦ及び時間ドメインでは畳み込みに置換することができる。本発明は、前記Ｌ、Ｃ、Ｒ、Ｌｓ、Ｒｓを、空間情報を用いたソースマッピング情報又は空間情報及びフィルター情報を用いたソースマッピング情報により生成する方法を含む。例えば、ソースマッピング情報を、空間情報のＣＬＤのみを用いて又は空間情報のＣＬＤ及びＩＣＣを用いて生成することができる。ＣＬＤのみを用いてソースマッピング情報を生成する方法は、下記の通りである。ツリー構造が図４のような構造である場合、ＣＬＤのみを用いてソースマッピング情報を得る第１方法を、下の［数式２］のように表現することができる。
【００３６】
【数２】
であり、ｍはモノダウンミックス信号である。
【００３７】
ツリー構造が図５のような構造である場合、ＣＬＤのみを用いてソースマッピング情報を得る第２方法を、下の［数式３］のように表現することができる。
【００３８】
【数３】
【００３９】
ＣＬＤのみを用いてソースマッピング情報を生成する場合、３次元の影響を減少することができる。したがって、ＩＣＣ及び／又はデコリレータを用いてソースマッピング情報を生成することができる。デコリレータ出力信号ｄｘ(ｍ)を用いて生成するマルチチャンネル信号は、以下の［数式４］のように表現されることができる。
【００４０】
【数４】
【００４１】
ここで、Ａ、Ｂ、Ｃは、ＣＬＤ及びＩＣＣで表現できる値であり、ｄ0〜ｄ3はデコリレータであり、ｍはモノダウンミックス信号である。この方法はＤ＿Ｌ、Ｄ＿Ｒなどのソースマッピング情報を生成することができない。
【００４２】
したがって、ダウンミックス信号に対してＣＬＤ、ＩＣＣ及び／又はデコリレータを用いてソースマッピング情報を生成する第１方法は、ｄｘ(ｍ)（ｘ＝０，１，２）をそれぞれ独立した入力として見なす。この場合、ｄｘを、下記の［数式５］のようにサブレンダリングフィルター情報の生成過程に用いることができる。
【００４３】
【数５】
【００４４】
レンダリング情報を、上記［数式５］の結果を用いて下記の［数式６］のように生成することができる。
【００４５】
【数６】
【００４６】
上記レンダリング情報の生成過程についての詳細は、後述される。上記ＣＬＤ、ＩＣＣ及び／又はデコリレータを用いてソースマッピング情報を生成する第１方法は、ｄｘ出力値、すなわち、ｄｘ(ｍ)を独立した入力として処理するので、演算量を増加することができる。
【００４７】
ＣＬＤ、ＩＣＣ及び／又はデコリレータを用いてソースマッピング情報を生成する第２方法は、周波数ドメインで適用されるデコリレータを用いる。この場合に、ソースマッピング情報を、下記の［数式７］のように表現することができる。
【００４８】
【数７】
【００４９】
この場合に、周波数ドメインでデコリレータを適用することによって、デコリレータを適用する前と同じＤ＿Ｌ、Ｄ＿Ｒなどのソースマッピング情報を生成できるので、簡単に実現可能である。
【００５０】
ＣＬＤ、ＩＣＣ及び／又はデコリレータを用いてソースマッピング情報を生成する第３方法は、上記第２方法のデコリレータとして全域通過特性を持つデコリレータを使用する。全域通過特性とは、大きさは一定で、位相変化のみを有することを意味する。また、本発明は、上記第１方法のデコリレータとして全域通過特性を持つデコリレータを使用するものを含む。
【００５１】
ＣＬＤ、ＩＣＣ及び／又はデコリレータを用いてソースマッピング情報を生成する第４方法は、上記第２方法でｄ0〜ｄ3を用いてデコリレーションを行うのではなく、各チャンネル（例えば、Ｌ、Ｒ、Ｃ、Ｌｓ、Ｒｓ等）に対するそれぞれのデコリレータを使用してデコリレーションを行う。この場合、ソースマッピング情報を、下記の［数式８］のように表現することができる。
【００５２】
【数８】
【００５３】
ここで、Ｋは、ＣＬＤ及びＩＣＣ値から決定されるデコリレーションされた信号のエネルギー値であり、ｄ＿Ｌ、ｄ＿Ｒ、ｄ＿Ｃ、ｄ＿Ｌｓ及びｄ＿Ｒｓは、チャンネル別に適用されるデコリレータである。
【００５４】
ＣＬＤ、ＩＣＣ及び／又はデコリレータを用いてソースマッピング情報を生成する第５方法は、上記第４方法でｄ＿Ｌとｄ＿Ｒとを対称に構成し、ｄ＿Ｌｓとｄ＿Ｒｓとを対称に構成することによって、デコリレーション効果を極大化する。すなわち、ｄ＿Ｒ＝ｆ（ｄ＿Ｌ）、ｄ＿Ｒｓ＝ｆ（ｄ＿Ｌｓ）といえるので、ｄ＿Ｌ、ｄ＿Ｃ及びｄ＿Ｌｓのみを設計すればよい。
【００５５】
ＣＬＤ、ＩＣＣ及び／又はデコリレータを用いてソースマッピング情報を生成する第６方法は、上記第５方法でｄ＿Ｌとｄ＿Ｌｓとが相関関係を持つように構成する。また、ｄ＿Ｌとｄ＿Ｃも相関関係を持つように構成することができる。
【００５６】
ＣＬＤ、ＩＣＣ及び／又はデコリレータを用いてソースマッピング情報を生成する第７方法は、上記第３方法でデコリレータを全域通過フィルターの直列構造又はネスト化された（ｎｅｓｔｅｄ）構造として使用する。この第７方法は、全域通過フィルターが特性上、直列構造で用いられても全域通過の特性が維持され、重複構造で使用されても全域通過の特性が維持されるという点を利用するのである。直列構造又はネスト化された構造で使用される場合、より様々な形態の位相応答（を得ることができるので、デコリレーション効果を極大化させることができる。
【００５７】
ＣＬＤ、ＩＣＣ及び／又はデコリレータを用いてソースマッピング情報を生成する第８方法は、従来のデコリレータと上記第２方法の周波数ドメインデコリレータとを共に使用する。この場合、マルチチャンネル信号を、下記の［数式９］のように表現することができる。
【００５８】
【数９】
【００５９】
この場合に、フィルター係数生成過程は、ＡがＡ＋Ｋｄに変更される以外は上記第１方法と同様になる。
【００６０】
ＣＬＤ、ＩＣＣ及び／又はデコリレータを用いてソースマッピング情報を生成する第９方法は、従来のデコリレータを用いる場合、従来のデコリレータ出力に周波数ドメインデコリレータを適用することによって、さらにデコリレーションされた値を生成する。したがって、周波数ドメインデコリレータが持つ限界を克服しながら、少ない演算量でソースマッピング情報を生成することができる。
【００６１】
上記のＣＬＤ、ＩＣＣ及び／又はデコリレータを用いてソースマッピング情報を生成する第１０方法を、下記の［数式１０］のように表現することができる。
【００６２】
【数１０】
【００６３】
ここで、ｄｉ＿（ｍ）（ｉ＝Ｌ、Ｒ、Ｃ、Ｌｓ、Ｒｓ）は、ｉチャンネルに適用されるデコリレータ出力値であり、この出力値を、時間ドメイン、周波数ドメイン、ＱＭＦドメイン又はハイブリッドドメインなどで処理することができる。現在のプロセスが進行中のドメインと異なるドメインで処理されたものであれば、当該出力値をドメイン変換を通じて変換することができる。また、演算量減少を目的にｄ＿Ｌ、ｄ＿Ｒ、ｄ＿Ｃ、ｄ＿Ｌｓ、ｄ＿Ｒｓに同じｄを使用することができ、この場合に、上記［数式１０］を非常に簡単に表現することができる。
【００６４】
［数式１０］を［数式１］に適用すると、上記［数式１］を下記の［数式１１］のように表現することができる。
【００６５】
【数１１】
【００６６】
ここで、レンダリング情報ＨＭ＿Ｌは、入力ｍを用いてサラウンド信号Ｌｏを作るための空間情報とフィルター情報との組み合わせ値であり、レンダリング情報ＨＭ＿Ｒは、入力ｍを用いてサラウンド信号Ｒｏを作るための空間情報とフィルター情報との組み合わせ値である。ｄ(ｍ)は、任意のドメインでデコリレータ出力値を現在のドメインに移した値又は現在のドメインで処理されて生成されたデコリレータ出力値である。レンダリング情報ＨＭＤ＿Ｌは、デコリレータ出力値であるｄ(ｍ)がレンダリングされる時、Ｌｏに加えられる程度を表す値であり、空間情報とフィルター情報との組み合わせ値である。レンダリング情報ＨＭＤ＿Ｒは、ｄ(ｍ)がＲｏに加えられる程度を表す値である。
【００６７】
上記のように、本発明は、モノダウンミックス信号へとレンダリング過程を行うために、空間情報とフィルター情報（例えば、ＨＲＴＦフィルター係数）とを組み合わせて生成したレンダリング情報をダウンミックス信号及びデコリレートされたダウンミックス信号にレンダリングし、サラウンド信号を生成する方法を提案する。このレンダリング過程は、ドメインによらず行われることができる。ｄ(ｍ)を、周波数ドメインで実行されるｄ＊ｍ（積演算子）で表現することができるならば、［数式１１］を、下記の［数式１２］のように表現することができる。
【００６８】
【数１２】
【００６９】
このように、周波数ドメインでダウンミックス信号にレンダリング過程を行う場合に、空間情報、フィルター情報及びデコリレータが適宜組み合わせられた値を積の形態で表現することによって、演算量を最小化することができる。
【００７０】
図６及び図７は、本発明の一実施例によるステレオダウンミックス信号に対するレンダリング部の詳細ブロック図である。図６を参照すると、レンダリング部９００は、第Ａレンダリング部９１０及び第Ｂレンダリング部９２０を含む。ダウンミックス信号がステレオ信号である場合、空間情報変換部１０００は、ダウンミックス信号の左及び右チャンネルに適用されるレンダリング情報を生成する。第Ａレンダリング部９１０は、ダウンミックス信号の左チャンネルに対するレンダリング情報を、該ダウンミックス信号の左チャンネルにレンダリングし、サラウンド信号を生成する。第Ｂレンダリング部９２０は、ダウンミックス信号の右チャンネルに対するレンダリング情報を、当該ダウンミックス信号の右チャンネルにレンダリングし、サラウンド信号を生成する。これら各チャンネルの名称は例示的なもので、本発明はこれらのチャンネルの名称に制限されない。
【００７１】
また、レンダリング情報は、それぞれのチャンネルから自己チャンネルに伝達されるレンダリング情報と相手側のチャンネルに伝達されるレンダリング情報を含むことができる。例えば、空間情報変換部１０００は、ダウンミックス信号の左チャンネルに対するレンダリング部に入力され、自己チャンネル出力である左出力に伝達されるレンダリング情報（ＨＬ＿Ｌ）と、相手側のチャンネルである右出力に伝達されるレンダリング情報（ＨＬ＿Ｒ）とを生成できる。そして、空間情報変換部１０００は、ダウンミックス信号の右チャンネルに対するレンダリング部に入力され、自己チャンネル出力である右出力に伝達するレンダリング情報（ＨＲ＿Ｒ）と、相手側のチャンネルである左出力に伝達するレンダリング情報（ＨＲ＿Ｌ）とを生成できる。
【００７２】
図７を参照すると、レンダリング部９００は、第１Ａレンダリング部９１１、第２Ａレンダリング部９１２、第１Ｂレンダリング部９２１及び第２Ｂレンダリング部９２２を含む。このレンダリング部９００は、ステレオダウンミックス信号を受信し、空間情報変換部１０００からレンダリング情報を受信する。その後、レンダリング部９００は、受信したレンダリング情報をステレオダウンミックス信号にレンダリングし、サラウンド信号を生成する。
【００７３】
より詳細には、第１Ａレンダリング部９１１は、ダウンミックス信号の左チャンネルに対するレンダリング情報のうち、自己チャンネルに伝達されるレンダリング情報（ＨＬ＿Ｌ）を用いてレンダリングを行い、第２Ａレンダリング部９１２は、ダウンミックス信号の左チャンネルに対するレンダリング情報のうち、相手側のチャンネルに伝達されるレンダリング情報（ＨＬ＿Ｒ）を用いてレンダリングを行う。また、第１Ｂレンダリング部９２１は、ダウンミックス信号の右チャンネルに対するレンダリング情報のうち、自己チャンネルに伝達されるレンダリング情報（ＨＲ＿Ｒ）を用いてレンダリングを行い、第２Ｂレンダリング部９２２は、ダウンミックス信号の右チャンネルに対するレンダリング情報のうち、相手側のチャンネルに伝達されるレンダリング情報（ＨＲ＿Ｌ）を用いてレンダリングを行う。以下では、相手側のチャンネルに伝達されるレンダリング情報を「クロスレンダリング情報」という。このクロスレンダリング情報ＨＬ＿Ｒ及びＨＲ＿Ｌは、自己チャンネルに適用された後、加算器で相手側のチャンネルに加えられる。この時、場合によっては、クロスレンダリング情報ＨＬ＿Ｒ及び／又はＨＲ＿Ｌが‘０’になりうる。クロスレンダリング情報ＨＬ＿Ｒ及び／又はＨＲ＿Ｌが‘０’になるというのは、該当のパスに何らの寄与もしないという意味である。
【００７４】
図６及び図７に示すサラウンド信号の生成方法の一例について説明すると、次の通りである。ダウンミックス信号がステレオ信号である場合、ダウンミックス信号をｘ、空間情報を用いて生成されたソースマッピング情報をＤ、プロトタイプフィルタ情報をＧ、マルチチャンネル信号をｐ、サラウンド信号をｙと定義し、これを行列式にすると、下記の［数式１３］のように表現することができる。
【００７５】
【数１３】
【００７６】
ここで、各値が周波数ドメインの値であれば、下記のような形態に展開することができる。まず、マルチチャンネル信号ｐを、下記の［数式１４］のように、空間情報を用いて生成されたソースマッピング情報Ｄとダウンミックス信号ｘとの積で表すことができる。
【００７７】
【数１４】
【００７８】
そして、サラウンド信号ｙを、下記の［数式１５］のように、マルチチャンネル信号ｐにプロトタイプフィルタ情報Ｇをレンダリングして生成することができる。
【００７９】
【数１５】
【００８０】
ここで、ｐに［数式１４］を代入すると、下記の［数式１６］を生成することができる。
【００８１】
【数１６】
【００８２】
この時、レンダリング情報ＨをＨ＝ＧＤと定義すると、サラウンド信号ｙとダウンミックス信号ｘは、下記の［数式１７］のような関係を持つ。
【００８３】
【数１７】
【００８４】
したがって、フィルター情報とソースマッピング情報間の積を処理することによってレンダリング情報Ｈを生成した後、ダウンミックス信号ｘにレンダリング情報Ｈを乗じ、サラウンド信号ｙを生成できる。
【００８５】
レンダリング情報Ｈに関する上記定義によると、レンダリング情報Ｈを、下記の［数式１８］のように表現することができる。
【００８６】
【数１８】
【００８７】
図８及び９は、本発明の一実施例によるモノダウンミックス信号に対するレンダリング部の詳細ブロック図である。図８を参照すると、レンダリング部９００は、第Ａレンダリング部９３０及び第Ｂレンダリング部９４０を含む。ダウンミックス信号がモノ信号である場合、空間情報変換部１０００は、モノ信号を左チャンネルにレンダリングするのに使用するレンダリング情報ＨＭ＿Ｌとモノ信号を右チャンネルにレンダリングするのに使用するレンダリング情報ＨＭ＿Ｒを生成する。第Ａレンダリング部９３０は、レンダリング情報ＨＭ＿Ｌをモノダウンミックス信号に適用して左チャンネルのサラウンド信号を生成し、第Ｂレンダリング部９４０は、レンダリング情報ＨＭ＿Ｒをモノダウンミックス信号に適用して右チャンネルのサラウンド信号を生成する。レンダリング部９００は、デコリレータが用いられない場合を取り上げるが、第Ａレンダリング部９３０及び第Ｂレンダリング部９４０がそれぞれ、［数式１２］で定義したレンダリング情報ＨＭｏｖｅｒａｌｌ＿Ｒ及びＨＭｏｖｅｒａｌｌ＿Ｌを用いてレンダリングを行うと、デコリレータの適用された形態の出力を得ることができる。
【００８８】
一方、モノダウンミックス信号への上記のレンダリング後の出力信号を、サラウンド信号ではなくステレオ信号のような形態の出力としたい場合には、次のような２通りの方法が可能である。その一つは、レンダリング部９００でサラウンド効果のためのレンダリング情報を使用するのではなく、ステレオ出力時に使用する値を用いる方法である。この場合に、図３に示す構造でレンダリング情報のみを変更し、ステレオ信号を得ることができる。もう一つは、ダウンミックス信号及び空間情報を用いてマルチチャンネル信号を生成するデコーディング過程で、所望のチャンネル数を得るために該当の段階までのみ復号化を進行することによってステレオ信号を得る方法である。
【００８９】
図９を参照すると、レンダリング部９００は、デコリレートされた信号が一つで表現された場合、すなわち、［数式１１］に対応する。このレンダリング部９００は、第１Ａレンダリング部９３１、第２Ａレンダリング部９３２、第１Ｂレンダリング部９４１及び第２Ｂレンダリング部９４２を含む。レンダリング部９００は、デコリレートされた信号に対するレンダリング部９４１，９４２を含む以外は、ステレオダウンミックス信号に対するレンダリング過程と略同様である。ステレオダウンミックス信号である場合は、２信号間デコリレーションが行われたものと解析できるので、別のデコリレータを必要とせず、上に定義したＨＬ＿Ｌ、ＨＬ＿Ｒなどの４つのレンダリング情報を用いてレンダリング過程を行うことができる。特に、第１Ａレンダリング部９３１は、レンダリング情報ＨＭ＿Ｌをモノダウンミックス信号に適用し、自己チャンネルに伝達される信号を生成し、第２Ａレンダリング部９３２は、レンダリング情報ＨＭ＿Ｒをモノダウンミックス信号に適用し、相手側のチャンネルに伝達される信号を生成する。また、第１Ｂレンダリング部９４１は、レンダリング情報ＨＭＤ＿Ｒをデコリレートされた信号に適用し、自己チャンネルに伝達される信号を生成し、第２Ｂレンダリング部９４２は、レンダリング情報ＨＭＤ＿Ｌをデコリレートされた信号に適用し、相手側のチャンネルに伝達される信号を生成する。
【００９０】
ダウンミックス信号がモノ信号である場合、ダウンミックス信号をｘと定義し、空間情報を用いたソースチャンネル情報をＤと定義し、プロトタイプフィルタ情報をＧと定義し、マルチチャンネル信号をｐと定義し、サラウンド信号をｙと定義し、これを行列式にすると、下記の［数式１９］のように表現することができる。
【００９１】
【数１９】
【００９２】
ここで、各行列式の関係は、ダウンミックス信号がステレオ信号である場合と類似しているので、具体的な説明は省略する。
【００９３】
図４及び５を参照して説明したソースマッピング情報及び／又は該ソースマッピング情報を用いて生成されたレンダリング情報は、周波数バンド別、パラメータバンド別及び／又は転送されたタイムスロット別に異なる値を持つ。この時、隣接するバンド間及び境界となるタイムスロット間においてソースマッピング情報及び／又はレンダリング情報の値に大きく差が出る場合、レンダリング過程で歪曲が発生しうる。この歪曲を防ぐためには、周波数及び／又は時間ドメインでの平滑化過程が必要である。周波数ドメインでの平滑化及び／又は時間ドメインでの平滑化の他に、レンダリングに適合する他の平滑化方法を用いることができる。また、ソースマッピング情報及び／又はレンダリング情報のそれぞれに特定ゲインを生じた値を用いることができる。
【００９４】
図１０及び図１１は、本発明の一実施例による平滑化部及び拡張部が適用される位置を示すブロック図である。図１０及び図１１に示すように、本発明による平滑化方法を、レンダリング情報及び／又はソースマッピング情報に適用することができるが、他の形態の情報にも適用することができる。以下では、周波数ドメインでの平滑化について説明するが、本発明は、上記周波数ドメインでの平滑化に制限されず、時間ドメインでの平滑化も含む。
【００９５】
図１０及び図１１を参照すると、平滑化部１０４２は、レンダリング情報及び／又はソースマッピング情報への平滑化を行うことができる。この平滑化が起きる位置の詳細例は、図１８〜図２０を参照して後ほど説明する。平滑化部１０４２は、平滑化されたレンダリング情報及び／又はソースマッピング情報を、パラメータバンドよりも広い範囲、例えば、フィルターバンドに拡張する拡張部１０４３と共に構成することができる。例えば、ソースマッピング情報は、サブレンダリング情報生成部１０２０でフィルター情報（例えば、ＨＲＴＦフィルター係数）に乗じられるために、当該フィルター情報に対応する周波数解像度（例えば、フィルターバンド）に拡張することができる。本発明による平滑化を、前述した拡張前に行ない又は拡張と共に行うことができる。この拡張と共に使われる平滑化としては、図１２〜図１６に示す方法を用いることができる。
【００９６】
図１２は、本発明の一実施例による第１平滑化方法を説明するグラフである。この第１平滑化方法は、周波数ドメインで直接平滑化を行わず、各パラメータバンドでの空間情報と同じ大きさの値を使用する。この時、適当な平滑化関数を用いて平滑化効果を得ることができる。
【００９７】
図１３は、本発明の一実施例による第２平滑化方法を説明するグラフである。この第２平滑化方法は、各パラメータバンドの代表位置間を連結して平滑化効果を得る。この代表位置は、各パラメータバンドの真中央であるか、ログスケール（ｌｏｇ ｓｃａｌｅ）／バークスケール（ｂａｒｋ ｓｃａｌｅ）などに比例した中心位置、最も低い周波数値又は他の方法によりあらかじめ定められた位置になりうる。
【００９８】
図１４は、本発明の一実施例による第３平滑化方法を説明するグラフである。この第３平滑化方法は、各パラメータの境界を滑らかにつなぐ曲線（又は、直線）の形態で平滑化を行う。この時、第３平滑化方法は、あらかじめ定められた境界平滑化曲線又は一次以上のＩＩＲフィルター（又は、ＦＩＲフィルター）によるローパスフィルターリングを用いることができる。
【００９９】
図１５は、本発明の一実施例による第４平滑化方法を説明するグラフである。この第４平滑化方法は、ランダムノイズのような信号を空間情報輪郭線に加えることによって平滑化効果を得る。ランダムノイズは、チャンネル別及び帯域別に異なる値を使用することができる。周波数ドメインでランダムノイズを加える場合、位相値はそのままとし、大きさ値のみを合算することができる。この第４平滑化方法によれば、周波数ドメインでの平滑化効果だけでなく、各チャンネル間のデコリレーション効果も得ることができる。
【０１００】
図１６は、本発明の一実施例による第５平滑化方法を説明するグラフである。この第５平滑化方法は、上記第２平滑化方法乃至第４平滑化方法を組み合わせて用いるものである。例えば、各パラメータバンドの代表位置を連結した後に、ランダムノイズを加え、ローパスフィルターリングを適用することができる。この時、順序を変えることができる。この第５平滑化方法によれば、周波数ドメインでの不連続点は最小化し、チャンネル間のデコリレーション効果は向上するという結果を得ることができる。上記第１平滑化方法乃至第５平滑化方法において、各チャンネル別各周波数ドメインにおける空間情報（例えば、ＣＬＤ）値に対するパワー（ｐｏｗｅｒ）の和は定数と一定になる必要がある。このためには、各チャンネル別に上記平滑化方法を行った後、パワー正規化（ｐｏｗｅｒ ｎｏｒｍａｌｉｚａｔｉｏｎ）過程を行う必要がある。例えば、ダウンミックス信号がモノ信号である場合、各チャンネルのレベル値は、下記の［数式２０］の関係を満足しなければならない。
【０１０１】
【数２０】
【０１０２】
ここで、ｐｂ＝０〜全体パラメータバンド数−１であり、Ｃは任意の定数である。
【０１０３】
図１７は、各チャンネル別プロトタイプフィルタ情報を説明するための図である。レンダリングのために、左チャンネルソースに対してＧＬ＿Ｌフィルターを通過した信号は左出力に送られ、ＧＬ＿Ｒフィルターを通過した信号は右出力に送られる。その後、左最終出力（例えば、Ｌｏ）及び右最終出力（例えば、Ｒｏ）は、各チャンネルから受信した信号を全部合わせて生成される。特に、レンダリングされた左／右チャンネル出力を、下記の［数式２１］のように表現することができる。
【０１０４】
【数２１】
【０１０５】
本発明では、空間情報を用いてダウンミックス信号をマルチチャンネル信号に復号化して生成されたＬ、Ｒ、Ｃ、Ｌｓ、Ｒｓを用いて、レンダリングされた左／右チャンネル出力を生成し、空間情報及びフィルター情報を用いて生成されたレンダリング情報を用いて、Ｌ、Ｒ、Ｃ、Ｌｓ、Ｒｓを生成することなくレンダリングされた左／右チャンネル出力を生成することができる。空間情報を用いたレンダリング情報の生成過程について、図１８〜図２０を参照して説明する。
【０１０６】
図１８は、本発明の一実施例による空間情報変換部９００でレンダリング情報を生成する第１方法を示すブロック図である。前述のように、空間情報変換部９００は、ソースマッピング部１０１０、サブレンダリング情報生成部１０２０、統合部１０３０、プロセシング部１０４０及びドメイン変換部１０５０を含む。空間情報変換部９００は、図３に示すものと同一である。ここで、サブレンダリング情報生成部１０２０は、一つ以上のサブレンダリング情報生成部（第１サブレンダリング情報生成部、第２サブレンダリング情報生成部、…、第Ｎサブレンダリング情報生成部）を含む。
【０１０７】
サブレンダリング情報生成部１０２０は、空間情報を用いて生成されたソースマッピング情報及びフィルター情報を用いてサブレンダリング情報を生成する。例えば、ダウンミックス信号がモノ信号である場合、第１サブレンダリング情報生成部は、マルチチャンネル上の左チャンネルに対応するサブレンダリング情報を生成できる。このサブレンダリング情報を、ソースマッピング情報Ｄ＿Ｌ及び変形されたフィルター情報ＧＬ＿Ｌ’及びＧＬ＿Ｒ’を用いて下記の［数式２２］のように表現することができる。
【０１０８】
【数２２】
【０１０９】
ここで、Ｄ＿Ｌは、ソースマッピング部１０１０で空間情報を用いて生成された値である。ただし、Ｄ＿Ｌを生成する過程は、ツリー構造によって異なることができる。第２サブレンダリング情報生成部は、マルチチャンネル上の右チャンネルに対応するサブレンダリング情報ＦＲ＿Ｌ及びＦＲ＿Ｒを生成でき、第Ｎサブレンダリング情報生成部は、マルチチャンネル上の右サラウンドチャンネルに対応するサブレンダリング情報ＦＲｓ＿Ｌ及びＦＲｓ＿Ｒを生成することができる。
【０１１０】
ダウンミックス信号がステレオ信号である場合、第１サブレンダリング情報生成部は、マルチチャンネル上の左チャンネルに対応するサブレンダリング情報を生成できる。このサブレンダリング情報は、ソースマッピング情報Ｄ＿Ｌ１、Ｄ＿Ｌ２を用いて下記の［数式２３］のように表現することができる。
【０１１１】
【数２３】
【０１１２】
ここで、ＦＬ＿Ｒ１を取り上げて［数式２３］を説明すると、ＦＬ＿Ｒ１で、Ｌはマルチチャンネルの位置を表し、Ｒはサラウンド信号の出力チャンネルを表し、１はダウンミックス信号のチャンネルを表す。すなわち、ＦＬ＿Ｒ１は、ダウンミックス信号の左チャンネルからサラウンド信号の右出力チャンネルを生成するのに用いられるサブレンダリング情報を表す。Ｄ＿Ｌ１、Ｄ＿Ｌ２は、ソースマッピング部１０１０で空間情報を用いて生成された値である。ダウンミックス信号がステレオ信号である場合、ダウンミックス信号がモノ信号である場合と同じ方法で１つ以上のサブレンダリング情報生成部で複数のサブレンダリング情報を生成することができる。複数のサブレンダリング情報生成部が生成するサブレンダリング情報の種類は例示的なもので、これらのサブレンダリング情報の種類に本発明が制限されることはない。
【０１１３】
サブレンダリング情報生成部１０２０で生成されたサブレンダリング情報は、統合部１０３０、処理部１０４０及びドメイン変換部１０５０を経てレンダリング部９００に転送される。統合部１０３０は、チャンネル別に生成されたサブレンダリング情報を統合して、レンダリング過程のためのレンダリング情報（例えば、ＨＬ＿Ｌ、ＨＬ＿Ｒ、ＨＲ＿Ｌ、ＨＲ＿Ｒ）にする。この統合部１０３０での統合過程を、ダウンミックス信号がモノ信号である場合とステレオ信号である場合とに分けて説明すると、次の通りである。ダウンミックス信号がモノ信号である場合、レンダリング情報を、下記の［数式２４］のように表現することができる。
【０１１４】
【数２４】
【０１１５】
ダウンミックス信号がステレオ信号である場合、レンダリング情報を、下記の［数式２５］のように表現することができる。
【０１１６】
【数２５】
【０１１７】
その後、プロセシング部１０４０は、補間部１０４１及び／又は平滑化部１０４２を含み、当該レンダリング情報に補間及び平滑化を行うことができる。この補間及び平滑化を、時間ドメイン、周波数ドメイン又はＱＭＦドメインで行うことができる。本明細書は、時間ドメインを挙げて記述しているが、この時間ドメインに本発明が限定されることはない。
【０１１８】
補間は、転送されたレンダリング情報が時間ドメインで広い間隔を有する場合、これらレンダリング情報間に存在しないレンダリング情報を得るために行われる。例えば、ｎ番目のタイムスロットとｎ＋ｋ番目のタイムスロットでレンダリング情報が存在するとする時（ｋ＞１）、生成されたレンダリング情報（例えば、ＨＬ＿Ｌ、ＨＲ＿Ｌ、ＨＬ＿Ｒ、ＨＲ＿Ｒ）を用いて、転送されなかったタイムスロット上で線形補間を行うことができる。補間によって生成されたレンダリング情報は、ダウンミックス信号がモノ信号である場合とステレオ信号である場合とに分けて説明すると、次の通りである。ダウンミックス信号がモノ信号である場合、補間されたレンダリング情報を、下記の［数式２６］のように表現することができる。
【０１１９】
【数２６】
【０１２０】
ダウンミックス信号がステレオ信号である場合、補間されたレンダリング情報を、下記の［数式２７］のように表現することができる。
【０１２１】
【数２７】
【０１２２】
ここで、０＜ｊ＜ｋであり、ｊ、ｋはそれぞれ整数であり、ａは０＜ａ＜１の実数でであり、下記の［数式２８］のように表現することができる。
【０１２３】
【数２８】
【０１２４】
上記［数式２７］又は［数式２８］によって２つのタイムスロットにおける値を直線で連結した線上で、転送されなかったタイムスロットに対応する値を得ることができる。補間についての詳細は、図２２及び図２３を参照して後述する。
【０１２５】
時間ドメインにおいて隣接するタイムスロット間でフィルター係数値が急に変化する場合、平滑化部１０４２は、不連続点が発生して歪曲を招くという問題を防ぐために平滑化を行う。時間ドメイン上の平滑化を、図１２〜図１６を参照して記述した平滑化方法によって行うことができる。また、この平滑化を拡張とともに行うことができ、適用される位置によって平滑化方法を異ならせることができる。ダウンミックス信号がモノ信号である場合、時間ドメイン平滑化を、下記の［数式２９］のように表現することができる。
【０１２６】
【数２９】
【０１２７】
すなわち、以前のタイムスロット（ｎ−１）で平滑化処理されたレンダリング情報ＨＭ＿Ｌ(ｎ−１)'又はＨＭ＿Ｒ(ｎ−１)'に（１−ｂ）を乗じ、現在タイムスロット（ｎ）で生成されたレンダリング情報ＨＭ＿Ｌ(ｎ)又はＨＭ＿Ｒ(ｎ)にｂを乗じ、これらを合算することによって、１−ｐｏｌｅ ＩＩＲフィルター形態の平滑化を行うことができる。ここで、ｂは、０＜ｂ＜１の定数値であり、ｂ値が小さいほど平滑化効果が大きくなり、ｂ値が大きいほど平滑化効果は小さくなる。また、残りのフィルターも同じ方法で適用することができる。
【０１２８】
上記時間ドメイン平滑化に対する［数式２９］を用いることによって、下記の［数式３０］のように表現されるように補間及び平滑化を一つの式にすることができる。
【０１２９】
【数３０】
【０１３０】
補間部１０４１及び／又は平滑化部１０４２で補間及び／又は平滑化を行うと、プロトタイプレンダリング情報が持つエネルギーと異なるエネルギー値を持つレンダリング情報を得ることができる。このような問題を防止するためのエネルギー正規化をさらに行うことができる。
【０１３１】
ドメイン変換部１０５０は、レンダリングを行うためのドメインに対してレンダリング情報のドメイン変換を行う。レンダリングを行うためのドメインとレンダリング情報の適用ドメインとが同じ場合には、ドメイン変換を行わなくて良い。その後、ドメイン変換されたレンダリング情報は、レンダリング部９００に転送される。
【０１３２】
図１９は、本発明の一実施例による空間情報変換部でレンダリング情報を生成する第２方法を示すブロック図である。この第２方法は、空間情報変換部１０００が、ソースマッピング部１０１０、サブレンダリング情報生成部１０２０、統合部１０３０、処理部１０４０及びドメイン変換部１０５０を含み、サブレンダリング情報生成部１０２０は、一つ以上のサブレンダリング情報生成部を含むという点で、レンダリング情報を生成する上記第１方法と類似している。
【０１３３】
図１９を参照すると、レンダリング情報を生成する第２方法とレンダリング情報を生成する第１方法との差異は、処理部１０４０の位置にある。したがって、サブレンダリング情報生成部１０２０で各チャンネル別に生成されたサブレンダリング情報（例えば、モノ信号である場合はＦＬ＿Ｌ、ＦＬ＿Ｒ、ステレオ信号である場合はＦＬ＿Ｌ１、ＦＬ＿Ｌ２、ＦＬ＿Ｒ１、ＦＬ＿Ｒ２）に対してチャンネル別に補間及び／又は平滑化を行うことができる。その後、併合部１０３０は、補間及び／又は平滑化の行われたサブレンダリング情報を併合し、レンダリング情報を生成する。生成されたレンダリング情報は、ドメイン変換部１０５０を経てレンダリング部９００に転送される。
【０１３４】
図２０は、本発明の一実施例による空間情報変換部１０００でレンダリング情報を生成する第３方法を示すブロック図である。この第３方法は、空間情報変換部１０００が、ソースマッピング部１０１０、サブレンダリング情報生成部１０２０、併合部１０３０、処理部１０４０及びドメイン変換部１０５０を含み、サブレンダリング情報生成部１０２０は、一つ以上のサブレンダリング情報生成部を含むという点で、レンダリング情報を生成する上記第１方法及び第２方法と似ている。
【０１３５】
図２０を参照すると、レンダリング情報を生成する第３方法とレンダリング情報を生成する第１方法及び第２方法との差異は、プロセシング部１０４０がソースマッピング部１０１０の次に位置するということにある。したがって、ソースマッピング部１０１０で空間情報を用いて生成されたソースマッピング情報を、それぞれのチャンネル別に補間及び／又は平滑化が行うことができる。その後、サブレンダリング情報生成部１０２０は、補間及び／又は平滑化されたソースマッピング情報及びフィルター情報を用いてサブレンダリング情報を生成する。これらサブレンダリング情報は、併合部１０３０で併合されてレンダリング情報となり、ドメイン変換部１０５０を経てレンダリング部９００に転送される。
【０１３６】
図２１は、本発明の一実施例によるレンダリング過程で行われるレンダリング情報処理方法を示す。図２１は、ＤＦＴドメインでレンダリング過程を行う場合を示すが、他のドメインでも類似な方法で具現されることができる。また、図２１は、入力信号がモノダウンミックス信号である場合を示すが、ステレオダウンミックス信号などの他の入力チャンネルにも同じ方法で適用可能である。
【０１３７】
図２１を参照すると、時間ドメインのモノダウンミックス信号は、ドメイン変換部でオーバーラップ区間ＯＬを持つウィンドイングをまず行う。図２１は、５０％オーバーラップを使用した場合を示すが、本発明は他のオーバーラップを使用した場合も含む。このウィンドイングを行う窓関数は、時間ドメインで不連続が発生せずにシームレス連結されながら、ＤＦＴドメインの周波数選択性に優れた関数を用いることができる。例えば、窓関数としてサイン二乗窓関数を使用することができる。その後、ウィンドイングによって得られた長さＯＬ＊２のモノダウンミックス信号は、ドメイン変換部で変換されたレンダリング情報ＨＬ＿Ｌ'を用いるレンダリングフィルターのタブ長さだけ（正確にはタブ長さ−１）のゼロパッディングＺＬをした後、ＤＦＴドメインへとドメイン変換を行う。図２０は、ｋブロックダウンミックス信号がＤＦＴドメインへとドメイン変換されたものを示す。
【０１３８】
ドメイン変換されたダウンミックス信号は、レンダリング部でレンダリング情報を用いるレンダリングフィルターによりレンダリングされる。このレンダリング過程を、周波数ドメインでダウンミックス信号とレンダリング情報との積で表現することができる。レンダリングされたダウンミックス信号は、逆ドメイン変換部でＩＤＦＴ（離散逆フーリエ変換）を行った後、以前に長さＯＬの遅延で実行されたダウンミックス信号（図２０で、ｋ−１ブロック）にオーバーラップし、サラウンド信号を生成する。このようなレンダリング過程が行われる各ブロックで補間を行うことができるが、以下、この補間方法について説明する。
【０１３９】
図２２は、本発明の一実施例による第１補間方法を示す。本発明による補間を、様々な位置で行うことができる。例えば、図１８〜図２０に示す空間情報変換部内の様々な位置で行うことができ、レンダリング部でも行うことができる。補間される値は、空間情報、ソースマッピング情報、レンダリング情報、フィルター情報などになりうる。本明細書では、空間情報を基準に説明されるが、この空間情報に本発明が限定されるわけではない。また、補間を、より広いバンドに拡張された後又はより広いバンドに拡張されるのと共に行うことができる。
【０１４０】
図２２を参照すると、符号化装置から転送される空間情報を、タイムスロットごとに転送するのではなく、任意の位置で転送することができる。一つの空間フレームには複数の空間情報セット（例えば、図２２のパラメータセットｎ、ｎ＋１）を転送することができ、ビットレートが低い場合には、一つの空間フレームに一つの新しい空間情報セットを転送することができる。したがって、転送されないタイムスロットに対しては隣接する転送された空間情報セットの値を用いて補間を行う。レンダリングを行うウィンド間の間隔はタイムスロットと常に一致するのではないので、図２２のようにレンダリング窓（Ｋ−１、Ｋ、Ｋ＋１、Ｋ＋２等）の中央における補間値を探し、この値を用いることができる。図２２は、空間情報セットが存在するタイムスロット間を線形補間する場合を示すが、この補間方法に本発明が限定されことはない。例えば、空間情報セットが存在しないタイムスロットは、補間をせず、以前の値を使用し又はあらかじめ定められた値を使用することができる。
【０１４１】
図２３は、本発明の一実施例による第２補間方法を示す。図２３を参照すると、第２補間方法は、以前の値を使用する区間、あらかじめ定められたデフォルト値を使用する区間などを組み合わせた形態である。例えば、一つの空間フレームの一定区間で以前の値を維持する方法、あらかじめ定められたデフォルト値を使用する方法及び線形補間を行う方法のうち少なくとも一つを使用し、補間を行うことができる。一つの窓に二つ以上の新しい空間情報セットが存在する場合には歪曲が生じうるが、この歪曲を防止するためのブロックスイッチングについて以下に説明する。
【０１４２】
図２４は、本発明の一実施例によるブロックスイッチングを示す図である。図２４の（ａ）に示すように、窓長さがタイムスロットの長さよりも大きいので、一つの窓区間に二つ以上の空間情報セット（例えば、図２４のパラメータセットｎ、ｎ＋１）が存在する場合がありうる。この場合に、それぞれの空間情報セットを、それぞれ異なるタイムスロットに適用する必要があり、二つ以上の空間情報セットを補間した一つの値が適用されると、歪曲の発生につながることがある。すなわち、窓長さによる時間解像度不足による歪曲が発生することがある。
【０１４３】
この問題を解決するために、窓の大きさをタイムスロットの解像度に合うように可変にする切替方法を使用することができる。例えば、図２４の（ｂ）に示すように、高い解像度が要求される区間では、より短い長さの窓を使用するように切り替えることができる。この時、切り替えられた窓の時間ドメインで継ぎ目が生じないように、切り替えられる部分の開始部及び終了部には連結形態の窓を使用する。この窓長さを、別の付加情報として転送するのではなく、復号化装置で空間情報を用いて決定することができる。例えば、空間情報が更新されるタイムスロットの間隔を用いて窓長さを決定することができる。すなわち、前記空間情報の更新される間隔が狭いと、短い長さの窓関数を用い、空間情報の更新される間隔が広いと、長い長さの窓関数を用いることができる。この場合、レンダリング時に可変窓を使用することによって、窓長さ情報を別途に送るのに必要なビットを使用しなくて済むという長所がある。また、図２４の（ｂ）に示すように、窓長さは単に２種類のみ使用するのではなく、空間情報の転送頻度及び関係によって様々な長さの窓を使用することができる。決定された窓長さ情報は、サラウンド信号を生成する様々な段階に適用されることができるが、この窓長さ情報が適用される段階について以下に説明する。
【０１４４】
図２５は、本発明の一実施例による窓長さ決定部で決定された窓長さが適用される位置を示すブロック図である。図２５を参照すると、窓長さ決め部１４００は、空間情報を用いて窓長さを決定することができる。決定された窓長さに関する情報は、ソースマッピング部１０１０、統合部１０３０、処理部１０４０、ドメイン変換部１０５０、１１００、逆ドメイン変換部１３００に適用されることができる。図２５は、ステレオダウンミックス信号が用いられる場合を示すが、このステレオダウンミックス信号に本発明が制限されることはない。上記のように、窓の長さを短くするとしても、フィルターのタブ数によって決定されるゼロパッディングの長さは調節されないという問題点がある。以下、この問題点の解決方法について説明する。
【０１４５】
図２６は、本発明の一実施例による様々な長さを持つフィルター処理方法を示す図である。前述のように、フィルターのタブ数によって決定されるゼロパッディングの長さが調節されない場合、実際に該当の長さだけの重複が発生し、依然として時間解像度が不足するという問題点が生じうる。この問題点の解決方法は、短い長さの窓を使用する場合、フィルタータブの長さを制限し、ゼロパッディングの長さを短くすることである。このゼロパッディングの長さを短くする方法は、フィルター応答の後部分（例えば、残響に対応する拡散区間）を切り捨てることによって実現可能である。この場合、たとえフィルター応答の後部分を切り捨てない場合に比べて不正確なレンダリング過程となるが、時間ドメインでのフィルター係数値は非常に小さな値で、主として残響に影響を与えるから、省略しても音質に大きな差はない。
【０１４６】
図２６を参照すると、４種類のフィルターが用いられることができる。４種類のフィルターを、ＤＦＴドメインで用いることができるが、本発明が、ＤＦＴドメインで用いられるフィルターに限定されるわけではない。Ｎ１フィルターは、長いフィルター長（ＦＬ）及びフィルタータブ数を制限しない長いゼロパッディングの長さ（２＊ＯＬ）を持つフィルターを表す。Ｎ２フィルターは、Ｎ１フィルターとフィルター長（ＦＬ）は同一であるが、フィルターのタブ数を制限し、ゼロパッディングの長さ（２＊ＯＬ'）が短いフィルターを表す。Ｎ３フィルターは、Ｎ１フィルターに比べてフィルター長（ＦＬ'）は短いが、フィルターのタブ数を制限せず、ゼロパッディングの長さ（２＊ＯＬ）は長いフィルターを表す。Ｎ４フィルターは、Ｎ１フィルターと比べてウィンド長（ＦＬ'）も短く、フィルターのタブ数を制限してゼロパッディングの長さ（２＊ＯＬ'）も短いフィルターを表す。本発明は、上記例示された４種類のフィルターを用いて時間解像度問題を解決することができる。また、フィルター応答の後部分に対して、ドメイン別に異なるフィルター係数を用いることができる。
【０１４７】
図２７は、本発明の一実施例による複数個のサブフィルターでオーディオ信号を処理する方法を示す。一つのフィルターを、異なるフィルター係数を持つサブフィルターに分離することができる。サブフィルターを用いてオーディオ信号を処理した後、処理結果を加える方法が用いられることができる。エネルギーの小さいフィルター応答の後部分に空間情報を適用する場合、すなわち、長いフィルタータブを持つレンダリングをする場合、定められた長さ単位にオーディオ信号を分割して処理する機能を提供する。例えば、フィルター応答の後部分は、各チャンネルに対応するＨＲＴＦ別に大きく変化しない部分であるので、複数の窓に対する共通の係数を抽出してレンダリングすることができる。本明細書では、ＤＦＴドメインで実施される場合について説明するが、本発明はＤＦＴドメインに限定されない。
【０１４８】
図２７を参照すると、一つのフィルター（ＦＬ）を複数個のサブ領域に分離した後、それぞれのサブ領域を、異なるフィルター係数を持つ複数個のサブフィルター（フィルターＡ及びフィルターＢ）で処理することができる。その後、フィルターＡで処理された出力及びフィルターＢで処理された出力を互いに結合する。例えば、フィルターＡで処理された出力及びフィルターＢで処理された出力のそれぞれに対してＩＤＦＴ（離散逆フーリエ変換）をし、時間ドメインの信号を生成した後、それぞれの信号は互いに加えられる。この時、フィルターＢにより処理された出力は、フィルターＡにより処理された出力に比べてＦＬ'だけ時間遅延された位置に加えられる。このように複数のサブフィルターで処理された信号は、一つのフィルターで処理される場合と同じ効果を得ることができる。また、本発明は、フィルターＢで処理された出力を別途にダウンミックス信号にレンダリングする方法を含む。この時、空間情報から抽出された係数などを用いたり、空間情報を部分的に用いたり、又は、空間情報を用いず、直接ダウンミックス信号に対する出力にレンダリングすることができる。
【０１４９】
上記方法は、フィルターのタブ数（長さ）が長い場合にこれを分割して適用でき、エネルギーの小さい後部分は、空間情報を用いた変換を行うことなく適用できるという特徴を持つ。この時、空間情報を用いた変換を行わない場合、処理された窓ごとに異なるフィルターを適用するのではないので、ブロックスイッチングのような手法を適用しなくてもよい。図２６では、２個のドメインに分割する場合を示すが、本発明はこれに限定されず、複数個の領域に分割しても良い。
【０１５０】
図２８は、本発明の一実施例による複数個のサブフィルターを用いてフィルター係数をモノダウンミックス信号に分割レンダリングする方法を示す。図２８は、一つのレンダリング係数に関連する。この方法を、レンダリング係数別に行う。図２８を参照すると、図２７のフィルターＡ情報が第１分割レンダリング情報ＨＭ＿Ｌ＿Ａに該当し、図２７のフィルターＢ情報が第２分割レンダリング情報ＨＭ＿Ｌ＿Ｂに該当する。図２８は、二つのサブフィルターに分割して行われる実施例を示すが、二つのサブフィルターに本発明が限定されるわけではない。二つのサブフィルターは、空間情報変換部１０００で生成されたレンダリング情報ＨＭ＿Ｌを用い、二つのサブフィルターを、分配器１５００を介して得ることができる。二つのサブフィルターを、プロトタイプＨＲＴＦ情報又は使用者の選択によって決定された情報を用いて得ることができる。使用者の選択によって決定された情報は、例えば、使用者の好みによって選択された空間情報になりうる。ここで、ＨＭ＿Ｌ＿Ａは、受信した空間情報に基づいたレンダリング情報であり、ＨＭ＿Ｌ＿Ｂを、信号に共通して適用される空間感を与えるためのレンダリング情報と見なすことができる。
【０１５１】
前述のように、複数個のサブフィルターでの処理は、ＤＦＴドメインの他に時間及びＱＭＦドメインでも適用されることができる。すなわち、フィルターＡとフィルターＢに分離された係数値がそれぞれ、時間又はＱＭＦドメインレンダリングを通じてダウンミックス信号に適用された後に加えられて、最終信号を生成することができる。レンダリング部９００は、第１分割レンダリング部９５０及び第２分割レンダリング部９６０を含み、第１分割レンダリング部９５０はＨＭ＿Ｌ＿Ａを用いてレンダリング過程を行い、第２分割レンダリング部９６０はＨＭ＿Ｌ＿Ｂを用いてレンダリング過程を行う。
【０１５２】
図２７のように、フィルターＡ及びフィルターＢが時間的に従った同一フィルターの分割である場合、当該時間間隔に対応する適切な遅延を反映することができる。図２８は、モノダウンミックス信号である場合を取り上げているが、モノダウンミックス信号であり且つデコリレータ使用する場合、フィルターＢに該当する部分はデコリレータに適用せず、直接モノダウンミックス信号にのみ適用することも可能である。
【０１５３】
図２９は、本発明の一実施例による複数個のサブフィルターを用いてフィルター係数をステレオ信号に分割レンダリングする方法のブロック図である。図２９に示す分割レンダリング過程は、二つのサブフィルターを、空間情報変換部１０００で生成されたレンダリング情報、プロトタイプＨＲＴＦフィルター情報又は使用者決定情報を用いて分配器１５００を介して得ることができるという点で、図２８と似ている。ただし、図２８と違い、フィルターＢに対応する分割レンダリング過程がＬ／Ｒ信号に共通して適用される。すなわち、分配器１５００でフィルターＡ情報に該当する第１分割レンダリング情報、第２分割レンダリング情報及びフィルターＢ情報に該当する第３分割レンダリング情報が生成される。この時、第３分割レンダリング情報を、Ｌ／Ｒ信号に共通して適用されうるフィルター情報又は空間情報を用いて生成することができる。図２９を参照すると、レンダリング部９００は、第１分割レンダリング部９７０、第２分割レンダリング部９８０及び第３分割レンダリング部９９０を含む。第３分割レンダリング情報は、第３分割レンダリング部９９０でＬ／Ｒ信号の和信号に適用されて一つの出力信号を生成する。その後、第１分割レンダリング部９７０及び第２分割レンダリング部９８０で、フィルターＡ１及びＡ２によりそれぞれ独立してレンダリングされたＬ／Ｒ出力信号に加えられ、サラウンド信号を生成する。この時、第３分割レンダリング部９９０の出力信号を、適切な遅延後に加えることができる。図２９では便宜上、Ｌ／Ｒ入力から相手側のチャンネルに適用されるクロスレンダリング情報の表現を省略した。
【０１５４】
図３０は、本発明の一実施例によるダウンミックス信号の第１ドメイン変換方法のブロック図である。以上ではＤＦＴドメインで行われるレンダリング過程について説明した。前述のように、レンダリング過程を、ＤＦＴドメインだけでなく、他のドメインでも行うことができるが、図３０は、ＤＦＴドメインで行われるレンダリング過程を示す。ドメイン変換部１１００は、ＱＭＦ及びＤＦＴフィルターを含み、逆ドメイン変換部１３００は、ＩＤＦＴ及びＩＱＭＦフィルターを含む。図３０は、モノダウンミックス信号に対して示すが、本発明はこれに制限されない。
【０１５５】
図３０を参照すると、Ｐサンプルの時間ドメインダウンミックス信号がＱＭＦフィルターを通過すると、Ｐ個のサブバンドサンプルが生成される。バンド別に再びＷ個のサンプルを集めてウィンドイングを行った後、ゼロパッディングしてＭ−ポイントＤＦＴ（ＦＦＴ）を行う。この時のＤＦＴは、前述した形態のウィンドイングによる処理が可能である。Ｍ−ポイントＤＦＴを介して得られるバンド別Ｍ／２個の周波数ドメイン値を再びＰバンドに連結した値は、Ｍ／２＊Ｐ−ポイントＤＦＴを介して得た周波数スペクトルの近似値と見ることができる。したがって、Ｍ／２＊Ｐ−ポイントＤＦＴドメインで表現されたフィルター係数を周波数スペクトルに乗じると、前述のＤＦＴドメインにおけるレンダリング過程と同じ効果が得られる。
【０１５６】
この時、ＱＭＦフィルターを通過した信号は、隣接するバンド間に漏洩（ｌｅａｋａｇｅ）、例えば、エイリアシングを有する。すなわち、現在のバンドに隣接するバンドに該当する値がしみ込んでおり、現在のバンドに存在する値の一部は隣接するバンドを超えている状態が存在する。この状態でＱＭＦ統合を行うとＱＭＦの特性によって元の信号が復元されるが、本発明のように、該当バンドの信号にフィルターリングなどの処理を行うと、漏洩の影響で信号に歪曲が発生する。このような問題を最小化するために、ドメイン変換部１１００でＱＭＦ後に各バンド別ＤＦＴを行う前に、最小漏洩バタフライＢを通過させ、逆ドメイン変換部１３００でＩＤＦＴ後にその逆過程Ｃを行い、元の信号を復元する処理をすることができる。
【０１５７】
一方、空間情報変換部１０００で生成されるレンダリング情報の生成過程をダウンミックス信号の生成過程と一致させるために、はじめからＭ／２＊Ｐ−ポイントＤＦＴを行うのではなく、プロトタイプフィルタ情報に対するＱＭＦ通過信号をＤＦＴして処理する方法も可能である。この場合には、ＱＭＦフィルターによる遅延及びデータ広がりが存在しうる。
【０１５８】
図３１は、本発明の一実施例によるダウンミックス信号の第２ドメイン変換を示すブロック図である。図３１は、ＱＭＦドメインで行われるレンダリング過程を示す。ドメイン変換部１１００はＱＭＦドメイン変換部を含み、逆ドメイン変換部１３００はＩＱＭＦを含む。図３１は、ドメイン変換部がＱＭＦフィルターである以外は、処理構造がＤＦＴのみを用いる場合と同一である。以下、ＱＭＦは、同じ帯域幅を持つＱＭＦ及びハイブリッドＱＭＦを含むＱＭＦとする。ＤＦＴのみを利用する場合との差異は、レンダラーＭ３０１２で行われるレンダリング過程がＱＭＦドメインで実施されるので、レンダリング情報の生成もＱＭＦドメインで行われ、レンダリング過程がＤＦＴドメインでのように積で表現されず、畳み込みで表現されるという点である。
【０１５９】
ＱＭＦフィルターがＢ個のバンドを持つとすれば、フィルター係数を、Ｂ個のバンドに対してそれぞれ異なる特性（異なる係数値）を持つフィルター係数の集合で表現することができる。場合によって、フィルターのタブ数が１次になる場合（すなわち、定数が乗じられる場合）、Ｂ個周波数スペクトルを持つＤＦＴドメインでのレンダリング過程と演算処理が一致する。下記の［数式３１］は、ＨＭ＿Ｌレンダリング情報を用いてレンダリング過程が行われる一つの経路に対し、一つのＱＭＦバンド（ｂ）で行われるレンダリング過程を表す。
【０１６０】
【数３１】
【０１６１】
ここで、ｋは、ＱＭＦバンドでの時間順序、すなわち、タイムスロット単位を意味する。このＱＭＦドメインで行われるレンダリング過程は、実際転送された空間情報がＱＭＦドメインで適用可能な値である場合、該当のデータを最も適用しやすく、適用過程における歪曲を最小化できるという利点を有する。ただし、プロトタイプフィルタ情報（例えば、プロトタイプＨＲＴＦフィルター係数）の変換過程でＱＭＦドメインに変換した時、変換された値を適用する過程が多い演算量を必要とする。この場合に、フィルター情報の変換過程でＨＲＴＦ係数をパラメータ化する方法を通じて演算量を最小化することができる。
【０１６２】
以上では具体的な実施例に挙げて本発明を説明してきたが、これらの実施例は、本発明を例示するためのもので、本発明の範囲を制限するためのものではない。したがって、当業者にとっては本発明の技術的思想の範囲内で様々な変形が可能であるということは明らかであり、本発明の範囲は、添付の特許請求の範囲によって解析されるべきである。
【産業上の利用可能性】
【０１６３】
本発明による信号処理方法及び装置は、符号化装置で提供された空間情報を用いて、マルチチャンネルを生成できない復号化装置でもＨＲＴＦフィルター情報又は使用者によるフィルター情報を用いてサラウンド信号を生成することができる。特に、本発明を、ステレオ信号のみ再生可能な多くの復号化装置に有用に用いることができる。
【図面の簡単な説明】
【０１６４】
【図１】本発明の一実施例によるオーディオ信号の符号化装置及び復号化装置を示すブロック図である。
【図２】本発明の一実施例によるオーディオ信号のビットストリーム構造を示す図である。
【図３】本発明の一実施例による空間情報変換部を示す詳細ブロック図である。
【図４】本発明の一実施例によるソースマッピング過程で用いられるチャンネル構成を示す図である。
【図５】本発明の一実施例によるソースマッピング過程で用いられるチャンネル構成を示す図である。
【図６】本発明の一実施例によるステレオダウンミックス信号に対するレンダリング部の詳細ブロック図である。
【図７】本発明の一実施例によるステレオダウンミックス信号に対するレンダリング部の詳細ブロック図である。
【図８】本発明の一実施例によるモノダウンミックス信号に対するレンダリング部の詳細ブロック図である。
【図９】本発明の一実施例によるモノダウンミックス信号に対するレンダリング部の詳細ブロック図である。
【図１０】本発明の一実施例による平滑化部及び拡張部が適用される位置を示すブロック図である。
【図１１】本発明の一実施例による平滑化部及び拡張部が適用される位置めを示すブロック図である。
【図１２】本発明の一実施例による第１平滑化方法を説明するグラフである。
【図１３】本発明の一実施例による第２平滑化方法を説明するグラフである。
【図１４】本発明の一実施例による第３平滑化方法を説明するグラフである。
【図１５】本発明の一実施例による第４平滑化方法を説明するグラフである。
【図１６】本発明の一実施例による第５平滑化方法を説明するグラフである。
【図１７】チャンネル別プロトタイプフィルタ情報を説明するための図である。
【図１８】本発明の一実施例による空間情報変換部でレンダリングフィルター情報を生成する第１方法を示すブロック図である。
【図１９】本発明の一実施例による空間情報変換部でレンダリングフィルター情報を生成する第２方法を示すブロック図である。
【図２０】本発明の一実施例による空間情報変換部でレンダリングフィルター情報を生成する第３方法を示すブロック図である。
【図２１】本発明の一実施例によるレンダリング部でレンダリング情報を用いてサラウンド信号を生成する方法を示す図である。
【図２２】本発明の一実施例による第１補間方法を示す図である。
【図２３】本発明の一実施例による第２補間方法を示す図である。
【図２４】本発明の一実施例によるブロックスイッチング方法を示す図である。
【図２５】本発明の一実施例による窓長さ決め部で決定された窓長さが適用される位置を示すブロック図である。
【図２６】本発明の一実施例によるオーディオ信号を処理するのに用いられる様々な長さのフィルターを示す図である。
【図２７】本発明の一実施例による複数個のサブフィルターでオーディオ信号を処理する方法を示す図である。
【図２８】本発明の一実施例による複数個のサブフィルターを用いて生成された分割レンダリング情報をモノダウンミックス信号にレンダリングする方法を示すブロック図である。
【図２９】本発明の一実施例による複数個のサブフィルターを用いて生成された分割レンダリング情報をステレオダウンミックス信号にレンダリングする方法を示すブロック図である。
【図３０】本発明の一実施例によるダウンミックス信号の第１ドメイン変換方法を示すブロック図である。
【図３１】本発明の一実施例によるダウンミックス信号の第２ドメイン変換方法を示すブロック図である。
【技術分野】
【０００１】
本発明は、メディア信号の処理方法及び装置に関し、より詳細には、メディア信号の空間情報を用いてサラウンド信号を生成する信号処理方法及び装置に関する。
【背景技術】
【０００２】
一般に、メディア信号をモノ又はステレオ信号をダウンミックスして生成されたダウンミックス信号と、このメディア信号の空間情報とを用いてマルチチャンネルメディア信号を生成する方法及び装置が多く用いられてきている。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記のような方法及び装置は、マルチチャンネル信号を生成出できない環境、例えば、ステレオ信号のみ生成可能な装置では用いられることができない。すなわち、マルチチャンネル信号を生成できない環境で、メディア信号の空間情報を用いてマルチチャンネル信号の効果を出せるサラウンド信号を生成する方法及び装置は存在していない。したがって、モノ又はステレオ信号のみ生成可能な装置ではサラウンド信号を生成する方法及び装置が存在しておらず、メディア信号を效率的に処理する上で多くの問題点があった。
【０００４】
本発明は上記の問題点を解決するためのもので、その目的は、メディア信号の空間情報を用いてメディア信号をサラウンド信号に変換するメディア信号の処理方法及び装置を提供することにある。
【課題を解決するための手段】
【０００５】
上記の目的を達成するために、本発明は、マルチソース間の特徴を表す空間情報を用いてソース別に対応するソースマッピング情報を生成する段階と、前記ソースマッピング情報にサラウンド効果を与えるフィルター情報をソース別に適用し、サブレンダリング情報を生成する段階と、少なくとも一つの前記サブレンダリング情報を合成し、サラウンド信号を生成するためのレンダリング情報を生成する段階と、前記レンダリング情報を、前記マルチソースをダウンミックスして生成されたダウンミックス信号に適用し、サラウンド信号を生成する段階と、を含むことを特徴とする信号処理方法を提供する。
【０００６】
また、前記目的を達成するために、本発明は、マルチソース間の特徴を表す空間情報を用いてソース別に対応するソースマッピング情報を生成するソースマッピング部と、前記ソースマッピング情報にサラウンド効果を与えるフィルター情報をソース別に適用し、サブレンダリング情報を生成するサブレンダリング情報生成部と、少なくとも一つの前記サブレンダリング情報を合成し、サラウンド信号を生成するためのレンダリング情報を生成する合成部と、前記レンダリング情報を、前記マルチソースをダウンミックスして生成されたダウンミックス信号に適用し、サラウンド信号を生成するレンダリング部と、を含むことを特徴とする信号処理装置を提供する。
【０００７】
以下、上記の目的を具体的に実現できる本発明の好適な実施例を、添付の図面を参照しつつ説明する。本発明で使われる用語は、可能なかぎり現在広く使われている一般的な用語を選択したが、特定の場合は、の出願人が任意に選定した用語もある。この場合には発明の詳細な説明でその意味を記載したので、単純な用語の名称ではなく用語が持つ意味として本発明を把握すべきである。以下、本発明は、便宜上、オーディオ信号を取り上げて記述されるが、本発明がオーディオ信号に限定されることはない。
【発明の効果】
【０００８】
本発明に係る信号処理方法及び装置によれば、マルチチャンネル信号をダウンミックスして生成されたダウンミックス信号及び前記マルチチャンネル信号の空間情報を含むビットストリームを受信したデコーディング装置が、マルチチャンネル信号を復元できない環境においも、サラウンド効果を持つ信号を生成することが可能になる。
【発明を実施するための最良の形態】
【０００９】
図１は、本発明の一実施例によるオーディオ信号の符号化装置及び復号化装置を示すブロック図である。図１を参照すると、符号化装置１０は、ダウンミックス部１００、空間情報生成部２００、ダウンミックス信号符号化部３００、空間情報符号化部４００及び多重化部５００を含む。
【００１０】
マルチソースオーディオ信号Ｘ１，Ｘ２，…，Ｘｎがダウンミックス部１００に入力されると、ダウンミックス部１００は、マルチソースオーディオ信号をダウンミックスしてダウンミックス信号を生成する。ダウンミックス信号は、モノ、ステレオ又はマルチソースオーディオ信号を含む。ここで、ソースはチャンネルを含み、便宜上、以下ではチャンネルと記述する。本明細書では、モノ又はステレオダウンミックス信号を基準として説明するが、本発明がモノ又はステレオダウンミックス信号に限定されることはない。また、符号化装置１０は、選択的に外部から直接提供される任意のダウンミックス信号を用いることができる。空間情報生成部２００は、マルチチャンネルオーディオ信号から空間情報を生成する。この空間情報をダウンミックス過程中に生成することができる。生成されたダウンミックス信号及び空間情報はそれぞれ、ダウンミックス信号符号化部３００及び空間情報符号化部４００に符号化された後、多重化部５００に転送される。
【００１１】
本発明でいう「空間情報とは、符号化装置でマルチチャンネル信号をダウンミックスし、生成されたダウンミックス信号を復号化装置で転送し、このダウンミックス信号を復号化装置がアップミックスしてマルチチャンネル信号を生成するのに必要な情報のことを意味する。空間情報は、空間パラメータを含む。空間パラメータには、チャンネル間のエネルギー差を意味するＣＬＤ（チャンネルレベル差）、チャンネル間の相関関係を意味するＩＣＣ（チャンネル間の信号相関）、２チャンネルから３チャンネルを生成する時に用いられるＣＰＣ（チャンネル予測係数）などがある。
【００１２】
本発明でいう「ダウンミックス信号符号化部」又は「ダウンミックス信号復号化部」とは、空間情報でないオーディオ信号を符号化又は復号化するコーデックのことを意味する。本明細書は、空間情報でないオーディオ信号としてダウンミックスオーディオ信号を取り上げて記述する。また、ダウンミックス信号符号化部又はダウンミックス信号復号化部は、ＭＰ３、ＡＣ−３、ＤＴＳ又はＡＡＣを含むことができる。オーディオ信号にコーデック機能を行うものであれば、既存に開発されたコーデックの他、今後開発されるコーデックをも含むことができる。
【００１３】
多重化部５００は、ダウンミックス信号及び空間情報を多重化してビットストリームを生成し、生成されたビットストリームを復号化装置２０に転送する。このビットストリームの構造は、図２で説明される。
【００１４】
デコーディング装置２０は、逆多重化部６００、ダウンミックス信号復号化部７００、空間情報復号化部８００、レンダリング部９００及び空間情報変換部１０００を含む。逆多重化部６００は、ビットストリームを受信し、該ビットストリームから符号化されたダウンミックス信号と符号化された空間情報とを分離する。その後、ダウンミックス信号復号化部７００は、符号化されたダウンミックス信号を復号化し、空間情報復号化部８００は、符号化された空間情報を復号化する。空間情報変換部１０００は、復号化された空間情報及びフィルター情報用いてダウンミックス信号に適用させられるレンダリング情報を生成する。このレンダリング情報は、ダウンミックス信号に適用されてサラウンド信号を生成できる。
【００１５】
サラウンド信号を生成する、例えば、符号化装置１０でマルチチャンネルオーディオ信号からダウンミックス信号を生成する過程を、ＯＴＴ（１対２）ボックス又はＴＴＴ（３対３）ボックスなどを用いて多段階で行うことができる。この時、段階ごとに空間情報を生成することができる。この空間情報は、復号化装置２０に転送され、復号化装置２０は、受信した空間情報を変換した後、変換された空間情報をダウンミックス信号にレンダリングすることによってサラウンド信号を生成することができる。本発明は、ダウンミックス信号をアップミックスしてマルチチャンネル信号を生成するのではなく、アップミックス段階別に空間情報のみを抽出し、抽出された空間情報を用いてレンダリングを行う方法に関する。レンダリング方法には、例えば、ＨＲＴＦ（頭部伝達関数）フィルターリングを用いることができる。
【００１６】
この時、空間情報は、ハイブリッドドメインで適用可能な値である。レンダリングは、ドメインによって下記のような種類がありうる。
その第一は、ハイブリッドフィルターバンクにダウンミックス信号を通過させ、ハイブリッドドメインでレンダリングを行う方法である。この時、空間情報に対するドメインの変換は不要である。
【００１７】
その第二は、時間ドメインでレンダリングを行う方法である。この方法は、ＨＲＴＦフィルターが、時間ドメインでＦＩＲ（有限逆応答）フィルター又はＩＩＲ（無限逆応答）フィルターとしてモデリングされる点を用い、空間情報を時間ドメインのフィルター係数に変換する過程が必要とされる。
【００１８】
その第三は、異なる周波数ドメインでレンダリングを行う方法である。例えば、ＤＦＴ（離散フーリエ変換）ドメインでレンダリングを行う方法である。この第三の方法は、空間情報を該当のドメインへと変換する過程を必要とする。また、この方法は、時間ドメインにおけるフィルターリングを周波数ドメインにおける演算に置換することによって高速演算が可能である。
【００１９】
本発明でいうフィルター情報は、オーディオ信号を処理するためのフィルターに関する情報を意味し、特定フィルターが持つフィルター係数を含む。このフィルター情報の例には、次のようなものがある。プロトタイプフィルター情報は、特定フィルターが持つ元来のフィルター情報を意味し、ＧＬ＿Ｌなどで表現可能である。変換フィルター情報は、プロトタイプフィルタ情報が変形された後のフィルター係数を意味し、ＧＬ＿Ｌ'などで表現可能である。サブレンダリング情報は、サラウンド信号を生成するためにプロトタイプフィルタ情報を空間化したフィルター情報を意味し、ＦＬ＿Ｌ1等で表現可能である。レンダリング情報は、レンダリングを行うために必要なフィルター情報を意味し、ＨＬ＿Ｌなどで表現可能だ。補間／平滑化されたレンダリング情報は、レンダリング情報を補間及び／又は平滑化したフィルター情報を意味し、ＨＬ＿Ｌ'などで表現可能である。本明細書は、上記のフィルター情報を取り上げて記述するが、これらのフィルター情報の名称に本発明が限定されるわけではない。特に、フィルター情報は、ＨＲＴＦを取り上げて説明するが、本発明がこのＨＲＴＦに限定されることはない。
【００２０】
その後、レンダリング部９００は、復号化されたダウンミックス信号及びレンダリング情報を受信し、これら復号化されたダウンミックス信号及びレンダリング情報を用いてサラウンド信号を生成する。このサラウンド信号は、ステレオ信号のみ生成可能なオーディオ・システムにサラウンド効果を提供する信号になりうる。本発明は、ステレオ信号のみ生成可能なオーディオ・システムの他にも適用可能である。
【００２１】
図２は、本発明の一実施例によるオーディオ信号ビットストリームの構造を示す図である。このビットストリームは、符号化されたダウンミックス信号及び符号化された空間情報を含む。図２を参照すると、１フレームオーディオペイロードは、ダウンミックス信号フィールド及び補助データフィールドを含む。この補助データフィールドに、符号化された空間情報を保存することができる。例えば、オーディオペイロードが４８〜１２８ｋｂｐｓの時、空間情報は５〜３２ｋｂｐｓ程度の範囲を持つことができるが、このオーディオペイロード及び空間情報の範囲に特に制限はない。
【００２２】
図３は、本発明の一実施例による空間情報変換部を示す詳細ブロック図である。図３を参照すると、空間情報変換部１０００は、ソースマッピング部１０１０、サブレンダリング情報生成部１０２０、統合部１０３０、処理部１０４０、ドメイン変換部１０５０を含む。
【００２３】
ソースマッピング部１０１０は、空間情報を用いてソースマッピング過程を行うことによって、オーディオ信号の各ソースに対応するソースマッピング情報を生成する。ソースマッピング情報とは、オーディオ信号の各ソースに対応するように空間情報などを用いて生成された各ソース別情報のことを指す。ソースはチャンネルを含み、この場合に各チャンネルに対応するソースマッピング情報が生成される。ソースマッピング情報は、係数形態で表現されることができる。ソースマッピング過程についての詳細な説明は、後ほど図４及び図５を参照して記述する。
【００２４】
サブレンダリング情報生成部１０２０は、ソースマッピング情報及びフィルター情報を用いて各ソースに対応するサブレンダリング情報を生成する。例えば、レンダリング部９００がＨＲＴＦフィルターである場合、サブレンダリング情報生成部１０２０は、ＨＲＴＦフィルター情報を用いてサブレンダリング情報を生成することができる。
【００２５】
統合部１０３０は、サブレンダリング情報をダウンミックス信号のソースに対応するように統合し、レンダリング情報を生成する。レンダリング情報とは、空間情報及びフィルター情報を用いて生成された情報で、ダウンミックス信号に適用されてサラウンド信号を生成する情報のことを指す。レンダリング情報は、フィルター係数形態を含む。統合は、レンダリング過程の演算量を減らすために省略しても良い。その後、レンダリング情報は、プロセシング部１０４２に転送される。プロセシング部１０４２は、補間部１０４１及び／又は平滑化部１０４２を含む。レンダリング情報は補間部１０４１及び／又は平滑化部１０４２で補間及び／又は平滑化される。その後、ドメイン変換部１０５０は、レンダリング情報のドメインを、レンダリング部９００で用いられるダウンミックス信号のドメインに変換する。このドメイン変換部１００５は、図３に示す位置以外にも様々な位置に適用されることができる。したがって、レンダリング情報がレンダリング部９００と同じドメインで生成された場合、ドメイン変換部１０５０を省略しても良い。ドメイン変換されたレンダリング情報は、レンダリング部９００に転送される。
【００２６】
また、空間情報変換部１０００は、フィルター情報変換部１０６０を含むことができる。図３で、フィルター情報変換部１０６０は、空間情報変換部１０００の内部に含まれているが、空間情報変換部１０００の外部に存在しても良い。フィルター情報変換部１０６０は、任意のフィルター情報、例えば、ＨＲＴＦを、サブレンダリング情報又はレンダリング情報を生成するのに適合するように変換する。このフィルター情報の変換過程は、下記のような過程を含むことができる。
【００２７】
先ず、適用するドメインを合わせる過程が含まれる。フィルター情報の持っているドメインとレンダリングの行われるドメインとが一致しない場合、これらのドメインを合わせる過程が必要である。例えば、時間ドメインＨＲＴＦを、レンダリング情報が生成されるＤＦＴ、ＱＭＦ又はハイブリッドドメインに変換する過程が必要である。
【００２８】
次に、ドメイン変換されたＨＲＴＦを保存し、空間情報に適用するのを容易にするよう、係数減少過程を含むことができる。例えば、プロトタイプＨＲＴＦフィルター係数が長いタブ数（長さ）の応答を持つ場合では、５．１チャンネルの場合、合計１０個の該当長さだけの応答に対応するメモリーに該当の係数を保存しなければならない。これは、メモリーへの負担とともに演算量を増加させる要因となる。このような問題を防ぐために、ドメイン変換過程でフィルターの特性を維持しながら保存されなければならないフィルター係数については、減少する方法を考慮することができる。例えば、ＨＲＴＦ応答を少数個のパラメータ値に変換することができる。この時、適用されるドメインによってパラメータ生成過程及び値が異なることができる。
【００２９】
ダウンミックス信号は、レンダリング部９００でレンダリング情報とレンダリングされる前に、ドメイン変換部１１００及び／又はデコリレーティング部１２００を通過する。ドメイン変換部１１００は、レンダリング情報のドメインとダウンミックス信号のドメインとが異なる場合、両ドメインを一致させるためにダウンミックス信号のドメイン変換を行う。
【００３０】
デコリレーティング部１２００は、ドメイン変換されたダウンミックス信号に適用される。レンダリング情報にデコリレータを適用する方法に比べて、ダウンミックス信号に適用するという点で演算量は相対的に高いが、レンダリング情報生成過程で生じる歪曲を防ぐことができる。デコリレーティング部１２００は、演算量が許容する範囲でそれぞれ異なる特性を持つ複数のデコリレータ含むことができる。また、デコリレーティング部１２００は、ダウンミックス信号がステレオ信号である場合には適用されなくて良い。図３では、ドメイン変換されたモノダウンミックス信号、すなわち、周波数ドメイン、ハイブリッドドメイン、ＱＭＦドメイン又はＤＦＴドメインにおけるモノダウンミックス信号がレンダリング過程に用いられる場合、該当のドメインにおけるデコリレータを用いる例を示す。また、本発明は、時間ドメインにおいて用いられるデコリレータも含む。この時は、ドメイン変換部１１００以前のモノダウンミックス信号が直接デコリレーティング部１２００に入力される。前記デコリレータとして一次以上のＩＩＲフィルター（又は、ＦＩＲフィルター）を用いることができる。
【００３１】
その後、レンダリング部９００は、ダウンミックス信号、デコリレートされたダウンミックス信号及びレンダリング情報を用いてサラウンド信号を生成する。ダウンミックス信号がステレオ信号である場合、デコリレートされたダウンミックス信号を用いなくて良い。レンダリング過程についての詳細な説明は、後ほど図６〜図９を参照して記述する。サラウンド信号は、逆ドメイン変換部１３００で時間ドメインに変換されて出力される。これで、使用者はステレオ信号が聞けるイヤホンなどでマルチチャンネル効果を持つ音を聞くことができる。
【００３２】
図４及び５は、本発明の一実施例によるソースマッピング過程で用いられるチャンネル構成を示す。ソースマッピング過程は、空間情報を用いてオーディオ信号の各ソースに対応するソースマッピング情報を生成する過程である。前述したように、ソースは、チャンネルを含み、図４及び図５に示すチャンネルに対応するようにソースマッピング情報を生成することができる。ソースマッピング情報は、レンダリング過程に適合した形態で生成される。例えば、ダウンミックス信号がモノ信号である場合、ＣＬＤ１〜ＣＬＤ５、ＩＣＣ１〜ＩＣＣ５などの空間情報を用いてソースマッピング情報を生成することができる。このソースマッピング情報を、Ｄ＿Ｌ（＝ＤL）、Ｄ＿Ｒ（＝ＤR）、Ｄ＿Ｃ（＝ＤC）、Ｄ＿ＬＦＥ（＝ＤLFE）、Ｄ＿Ｌｓ（＝ＤLs）、Ｄ＿Ｒｓ（＝ＤRs）などの値で表現することができる。この時、ソースマッピング情報を生成する過程は、空間情報に対応するツリー構造及び使われる空間情報の範囲などによって変化しうる。本明細書ではダウンミックス信号がモノである場合を取り上げて説明するが、本発明がこれに限定されるわけではない。
【００３３】
レンダリング部９００から出力された左右チャンネル出力を、下の［数式１］のように表現することができる。
【００３４】
【数１】
【００３５】
ここで、演算子＊は、ＤＦＴドメインでは積であり、ＱＭＦ及び時間ドメインでは畳み込みに置換することができる。本発明は、前記Ｌ、Ｃ、Ｒ、Ｌｓ、Ｒｓを、空間情報を用いたソースマッピング情報又は空間情報及びフィルター情報を用いたソースマッピング情報により生成する方法を含む。例えば、ソースマッピング情報を、空間情報のＣＬＤのみを用いて又は空間情報のＣＬＤ及びＩＣＣを用いて生成することができる。ＣＬＤのみを用いてソースマッピング情報を生成する方法は、下記の通りである。ツリー構造が図４のような構造である場合、ＣＬＤのみを用いてソースマッピング情報を得る第１方法を、下の［数式２］のように表現することができる。
【００３６】
【数２】
であり、ｍはモノダウンミックス信号である。
【００３７】
ツリー構造が図５のような構造である場合、ＣＬＤのみを用いてソースマッピング情報を得る第２方法を、下の［数式３］のように表現することができる。
【００３８】
【数３】
【００３９】
ＣＬＤのみを用いてソースマッピング情報を生成する場合、３次元の影響を減少することができる。したがって、ＩＣＣ及び／又はデコリレータを用いてソースマッピング情報を生成することができる。デコリレータ出力信号ｄｘ(ｍ)を用いて生成するマルチチャンネル信号は、以下の［数式４］のように表現されることができる。
【００４０】
【数４】
【００４１】
ここで、Ａ、Ｂ、Ｃは、ＣＬＤ及びＩＣＣで表現できる値であり、ｄ0〜ｄ3はデコリレータであり、ｍはモノダウンミックス信号である。この方法はＤ＿Ｌ、Ｄ＿Ｒなどのソースマッピング情報を生成することができない。
【００４２】
したがって、ダウンミックス信号に対してＣＬＤ、ＩＣＣ及び／又はデコリレータを用いてソースマッピング情報を生成する第１方法は、ｄｘ(ｍ)（ｘ＝０，１，２）をそれぞれ独立した入力として見なす。この場合、ｄｘを、下記の［数式５］のようにサブレンダリングフィルター情報の生成過程に用いることができる。
【００４３】
【数５】
【００４４】
レンダリング情報を、上記［数式５］の結果を用いて下記の［数式６］のように生成することができる。
【００４５】
【数６】
【００４６】
上記レンダリング情報の生成過程についての詳細は、後述される。上記ＣＬＤ、ＩＣＣ及び／又はデコリレータを用いてソースマッピング情報を生成する第１方法は、ｄｘ出力値、すなわち、ｄｘ(ｍ)を独立した入力として処理するので、演算量を増加することができる。
【００４７】
ＣＬＤ、ＩＣＣ及び／又はデコリレータを用いてソースマッピング情報を生成する第２方法は、周波数ドメインで適用されるデコリレータを用いる。この場合に、ソースマッピング情報を、下記の［数式７］のように表現することができる。
【００４８】
【数７】
【００４９】
この場合に、周波数ドメインでデコリレータを適用することによって、デコリレータを適用する前と同じＤ＿Ｌ、Ｄ＿Ｒなどのソースマッピング情報を生成できるので、簡単に実現可能である。
【００５０】
ＣＬＤ、ＩＣＣ及び／又はデコリレータを用いてソースマッピング情報を生成する第３方法は、上記第２方法のデコリレータとして全域通過特性を持つデコリレータを使用する。全域通過特性とは、大きさは一定で、位相変化のみを有することを意味する。また、本発明は、上記第１方法のデコリレータとして全域通過特性を持つデコリレータを使用するものを含む。
【００５１】
ＣＬＤ、ＩＣＣ及び／又はデコリレータを用いてソースマッピング情報を生成する第４方法は、上記第２方法でｄ0〜ｄ3を用いてデコリレーションを行うのではなく、各チャンネル（例えば、Ｌ、Ｒ、Ｃ、Ｌｓ、Ｒｓ等）に対するそれぞれのデコリレータを使用してデコリレーションを行う。この場合、ソースマッピング情報を、下記の［数式８］のように表現することができる。
【００５２】
【数８】
【００５３】
ここで、Ｋは、ＣＬＤ及びＩＣＣ値から決定されるデコリレーションされた信号のエネルギー値であり、ｄ＿Ｌ、ｄ＿Ｒ、ｄ＿Ｃ、ｄ＿Ｌｓ及びｄ＿Ｒｓは、チャンネル別に適用されるデコリレータである。
【００５４】
ＣＬＤ、ＩＣＣ及び／又はデコリレータを用いてソースマッピング情報を生成する第５方法は、上記第４方法でｄ＿Ｌとｄ＿Ｒとを対称に構成し、ｄ＿Ｌｓとｄ＿Ｒｓとを対称に構成することによって、デコリレーション効果を極大化する。すなわち、ｄ＿Ｒ＝ｆ（ｄ＿Ｌ）、ｄ＿Ｒｓ＝ｆ（ｄ＿Ｌｓ）といえるので、ｄ＿Ｌ、ｄ＿Ｃ及びｄ＿Ｌｓのみを設計すればよい。
【００５５】
ＣＬＤ、ＩＣＣ及び／又はデコリレータを用いてソースマッピング情報を生成する第６方法は、上記第５方法でｄ＿Ｌとｄ＿Ｌｓとが相関関係を持つように構成する。また、ｄ＿Ｌとｄ＿Ｃも相関関係を持つように構成することができる。
【００５６】
ＣＬＤ、ＩＣＣ及び／又はデコリレータを用いてソースマッピング情報を生成する第７方法は、上記第３方法でデコリレータを全域通過フィルターの直列構造又はネスト化された（ｎｅｓｔｅｄ）構造として使用する。この第７方法は、全域通過フィルターが特性上、直列構造で用いられても全域通過の特性が維持され、重複構造で使用されても全域通過の特性が維持されるという点を利用するのである。直列構造又はネスト化された構造で使用される場合、より様々な形態の位相応答（を得ることができるので、デコリレーション効果を極大化させることができる。
【００５７】
ＣＬＤ、ＩＣＣ及び／又はデコリレータを用いてソースマッピング情報を生成する第８方法は、従来のデコリレータと上記第２方法の周波数ドメインデコリレータとを共に使用する。この場合、マルチチャンネル信号を、下記の［数式９］のように表現することができる。
【００５８】
【数９】
【００５９】
この場合に、フィルター係数生成過程は、ＡがＡ＋Ｋｄに変更される以外は上記第１方法と同様になる。
【００６０】
ＣＬＤ、ＩＣＣ及び／又はデコリレータを用いてソースマッピング情報を生成する第９方法は、従来のデコリレータを用いる場合、従来のデコリレータ出力に周波数ドメインデコリレータを適用することによって、さらにデコリレーションされた値を生成する。したがって、周波数ドメインデコリレータが持つ限界を克服しながら、少ない演算量でソースマッピング情報を生成することができる。
【００６１】
上記のＣＬＤ、ＩＣＣ及び／又はデコリレータを用いてソースマッピング情報を生成する第１０方法を、下記の［数式１０］のように表現することができる。
【００６２】
【数１０】
【００６３】
ここで、ｄｉ＿（ｍ）（ｉ＝Ｌ、Ｒ、Ｃ、Ｌｓ、Ｒｓ）は、ｉチャンネルに適用されるデコリレータ出力値であり、この出力値を、時間ドメイン、周波数ドメイン、ＱＭＦドメイン又はハイブリッドドメインなどで処理することができる。現在のプロセスが進行中のドメインと異なるドメインで処理されたものであれば、当該出力値をドメイン変換を通じて変換することができる。また、演算量減少を目的にｄ＿Ｌ、ｄ＿Ｒ、ｄ＿Ｃ、ｄ＿Ｌｓ、ｄ＿Ｒｓに同じｄを使用することができ、この場合に、上記［数式１０］を非常に簡単に表現することができる。
【００６４】
［数式１０］を［数式１］に適用すると、上記［数式１］を下記の［数式１１］のように表現することができる。
【００６５】
【数１１】
【００６６】
ここで、レンダリング情報ＨＭ＿Ｌは、入力ｍを用いてサラウンド信号Ｌｏを作るための空間情報とフィルター情報との組み合わせ値であり、レンダリング情報ＨＭ＿Ｒは、入力ｍを用いてサラウンド信号Ｒｏを作るための空間情報とフィルター情報との組み合わせ値である。ｄ(ｍ)は、任意のドメインでデコリレータ出力値を現在のドメインに移した値又は現在のドメインで処理されて生成されたデコリレータ出力値である。レンダリング情報ＨＭＤ＿Ｌは、デコリレータ出力値であるｄ(ｍ)がレンダリングされる時、Ｌｏに加えられる程度を表す値であり、空間情報とフィルター情報との組み合わせ値である。レンダリング情報ＨＭＤ＿Ｒは、ｄ(ｍ)がＲｏに加えられる程度を表す値である。
【００６７】
上記のように、本発明は、モノダウンミックス信号へとレンダリング過程を行うために、空間情報とフィルター情報（例えば、ＨＲＴＦフィルター係数）とを組み合わせて生成したレンダリング情報をダウンミックス信号及びデコリレートされたダウンミックス信号にレンダリングし、サラウンド信号を生成する方法を提案する。このレンダリング過程は、ドメインによらず行われることができる。ｄ(ｍ)を、周波数ドメインで実行されるｄ＊ｍ（積演算子）で表現することができるならば、［数式１１］を、下記の［数式１２］のように表現することができる。
【００６８】
【数１２】
【００６９】
このように、周波数ドメインでダウンミックス信号にレンダリング過程を行う場合に、空間情報、フィルター情報及びデコリレータが適宜組み合わせられた値を積の形態で表現することによって、演算量を最小化することができる。
【００７０】
図６及び図７は、本発明の一実施例によるステレオダウンミックス信号に対するレンダリング部の詳細ブロック図である。図６を参照すると、レンダリング部９００は、第Ａレンダリング部９１０及び第Ｂレンダリング部９２０を含む。ダウンミックス信号がステレオ信号である場合、空間情報変換部１０００は、ダウンミックス信号の左及び右チャンネルに適用されるレンダリング情報を生成する。第Ａレンダリング部９１０は、ダウンミックス信号の左チャンネルに対するレンダリング情報を、該ダウンミックス信号の左チャンネルにレンダリングし、サラウンド信号を生成する。第Ｂレンダリング部９２０は、ダウンミックス信号の右チャンネルに対するレンダリング情報を、当該ダウンミックス信号の右チャンネルにレンダリングし、サラウンド信号を生成する。これら各チャンネルの名称は例示的なもので、本発明はこれらのチャンネルの名称に制限されない。
【００７１】
また、レンダリング情報は、それぞれのチャンネルから自己チャンネルに伝達されるレンダリング情報と相手側のチャンネルに伝達されるレンダリング情報を含むことができる。例えば、空間情報変換部１０００は、ダウンミックス信号の左チャンネルに対するレンダリング部に入力され、自己チャンネル出力である左出力に伝達されるレンダリング情報（ＨＬ＿Ｌ）と、相手側のチャンネルである右出力に伝達されるレンダリング情報（ＨＬ＿Ｒ）とを生成できる。そして、空間情報変換部１０００は、ダウンミックス信号の右チャンネルに対するレンダリング部に入力され、自己チャンネル出力である右出力に伝達するレンダリング情報（ＨＲ＿Ｒ）と、相手側のチャンネルである左出力に伝達するレンダリング情報（ＨＲ＿Ｌ）とを生成できる。
【００７２】
図７を参照すると、レンダリング部９００は、第１Ａレンダリング部９１１、第２Ａレンダリング部９１２、第１Ｂレンダリング部９２１及び第２Ｂレンダリング部９２２を含む。このレンダリング部９００は、ステレオダウンミックス信号を受信し、空間情報変換部１０００からレンダリング情報を受信する。その後、レンダリング部９００は、受信したレンダリング情報をステレオダウンミックス信号にレンダリングし、サラウンド信号を生成する。
【００７３】
より詳細には、第１Ａレンダリング部９１１は、ダウンミックス信号の左チャンネルに対するレンダリング情報のうち、自己チャンネルに伝達されるレンダリング情報（ＨＬ＿Ｌ）を用いてレンダリングを行い、第２Ａレンダリング部９１２は、ダウンミックス信号の左チャンネルに対するレンダリング情報のうち、相手側のチャンネルに伝達されるレンダリング情報（ＨＬ＿Ｒ）を用いてレンダリングを行う。また、第１Ｂレンダリング部９２１は、ダウンミックス信号の右チャンネルに対するレンダリング情報のうち、自己チャンネルに伝達されるレンダリング情報（ＨＲ＿Ｒ）を用いてレンダリングを行い、第２Ｂレンダリング部９２２は、ダウンミックス信号の右チャンネルに対するレンダリング情報のうち、相手側のチャンネルに伝達されるレンダリング情報（ＨＲ＿Ｌ）を用いてレンダリングを行う。以下では、相手側のチャンネルに伝達されるレンダリング情報を「クロスレンダリング情報」という。このクロスレンダリング情報ＨＬ＿Ｒ及びＨＲ＿Ｌは、自己チャンネルに適用された後、加算器で相手側のチャンネルに加えられる。この時、場合によっては、クロスレンダリング情報ＨＬ＿Ｒ及び／又はＨＲ＿Ｌが‘０’になりうる。クロスレンダリング情報ＨＬ＿Ｒ及び／又はＨＲ＿Ｌが‘０’になるというのは、該当のパスに何らの寄与もしないという意味である。
【００７４】
図６及び図７に示すサラウンド信号の生成方法の一例について説明すると、次の通りである。ダウンミックス信号がステレオ信号である場合、ダウンミックス信号をｘ、空間情報を用いて生成されたソースマッピング情報をＤ、プロトタイプフィルタ情報をＧ、マルチチャンネル信号をｐ、サラウンド信号をｙと定義し、これを行列式にすると、下記の［数式１３］のように表現することができる。
【００７５】
【数１３】
【００７６】
ここで、各値が周波数ドメインの値であれば、下記のような形態に展開することができる。まず、マルチチャンネル信号ｐを、下記の［数式１４］のように、空間情報を用いて生成されたソースマッピング情報Ｄとダウンミックス信号ｘとの積で表すことができる。
【００７７】
【数１４】
【００７８】
そして、サラウンド信号ｙを、下記の［数式１５］のように、マルチチャンネル信号ｐにプロトタイプフィルタ情報Ｇをレンダリングして生成することができる。
【００７９】
【数１５】
【００８０】
ここで、ｐに［数式１４］を代入すると、下記の［数式１６］を生成することができる。
【００８１】
【数１６】
【００８２】
この時、レンダリング情報ＨをＨ＝ＧＤと定義すると、サラウンド信号ｙとダウンミックス信号ｘは、下記の［数式１７］のような関係を持つ。
【００８３】
【数１７】
【００８４】
したがって、フィルター情報とソースマッピング情報間の積を処理することによってレンダリング情報Ｈを生成した後、ダウンミックス信号ｘにレンダリング情報Ｈを乗じ、サラウンド信号ｙを生成できる。
【００８５】
レンダリング情報Ｈに関する上記定義によると、レンダリング情報Ｈを、下記の［数式１８］のように表現することができる。
【００８６】
【数１８】
【００８７】
図８及び９は、本発明の一実施例によるモノダウンミックス信号に対するレンダリング部の詳細ブロック図である。図８を参照すると、レンダリング部９００は、第Ａレンダリング部９３０及び第Ｂレンダリング部９４０を含む。ダウンミックス信号がモノ信号である場合、空間情報変換部１０００は、モノ信号を左チャンネルにレンダリングするのに使用するレンダリング情報ＨＭ＿Ｌとモノ信号を右チャンネルにレンダリングするのに使用するレンダリング情報ＨＭ＿Ｒを生成する。第Ａレンダリング部９３０は、レンダリング情報ＨＭ＿Ｌをモノダウンミックス信号に適用して左チャンネルのサラウンド信号を生成し、第Ｂレンダリング部９４０は、レンダリング情報ＨＭ＿Ｒをモノダウンミックス信号に適用して右チャンネルのサラウンド信号を生成する。レンダリング部９００は、デコリレータが用いられない場合を取り上げるが、第Ａレンダリング部９３０及び第Ｂレンダリング部９４０がそれぞれ、［数式１２］で定義したレンダリング情報ＨＭｏｖｅｒａｌｌ＿Ｒ及びＨＭｏｖｅｒａｌｌ＿Ｌを用いてレンダリングを行うと、デコリレータの適用された形態の出力を得ることができる。
【００８８】
一方、モノダウンミックス信号への上記のレンダリング後の出力信号を、サラウンド信号ではなくステレオ信号のような形態の出力としたい場合には、次のような２通りの方法が可能である。その一つは、レンダリング部９００でサラウンド効果のためのレンダリング情報を使用するのではなく、ステレオ出力時に使用する値を用いる方法である。この場合に、図３に示す構造でレンダリング情報のみを変更し、ステレオ信号を得ることができる。もう一つは、ダウンミックス信号及び空間情報を用いてマルチチャンネル信号を生成するデコーディング過程で、所望のチャンネル数を得るために該当の段階までのみ復号化を進行することによってステレオ信号を得る方法である。
【００８９】
図９を参照すると、レンダリング部９００は、デコリレートされた信号が一つで表現された場合、すなわち、［数式１１］に対応する。このレンダリング部９００は、第１Ａレンダリング部９３１、第２Ａレンダリング部９３２、第１Ｂレンダリング部９４１及び第２Ｂレンダリング部９４２を含む。レンダリング部９００は、デコリレートされた信号に対するレンダリング部９４１，９４２を含む以外は、ステレオダウンミックス信号に対するレンダリング過程と略同様である。ステレオダウンミックス信号である場合は、２信号間デコリレーションが行われたものと解析できるので、別のデコリレータを必要とせず、上に定義したＨＬ＿Ｌ、ＨＬ＿Ｒなどの４つのレンダリング情報を用いてレンダリング過程を行うことができる。特に、第１Ａレンダリング部９３１は、レンダリング情報ＨＭ＿Ｌをモノダウンミックス信号に適用し、自己チャンネルに伝達される信号を生成し、第２Ａレンダリング部９３２は、レンダリング情報ＨＭ＿Ｒをモノダウンミックス信号に適用し、相手側のチャンネルに伝達される信号を生成する。また、第１Ｂレンダリング部９４１は、レンダリング情報ＨＭＤ＿Ｒをデコリレートされた信号に適用し、自己チャンネルに伝達される信号を生成し、第２Ｂレンダリング部９４２は、レンダリング情報ＨＭＤ＿Ｌをデコリレートされた信号に適用し、相手側のチャンネルに伝達される信号を生成する。
【００９０】
ダウンミックス信号がモノ信号である場合、ダウンミックス信号をｘと定義し、空間情報を用いたソースチャンネル情報をＤと定義し、プロトタイプフィルタ情報をＧと定義し、マルチチャンネル信号をｐと定義し、サラウンド信号をｙと定義し、これを行列式にすると、下記の［数式１９］のように表現することができる。
【００９１】
【数１９】
【００９２】
ここで、各行列式の関係は、ダウンミックス信号がステレオ信号である場合と類似しているので、具体的な説明は省略する。
【００９３】
図４及び５を参照して説明したソースマッピング情報及び／又は該ソースマッピング情報を用いて生成されたレンダリング情報は、周波数バンド別、パラメータバンド別及び／又は転送されたタイムスロット別に異なる値を持つ。この時、隣接するバンド間及び境界となるタイムスロット間においてソースマッピング情報及び／又はレンダリング情報の値に大きく差が出る場合、レンダリング過程で歪曲が発生しうる。この歪曲を防ぐためには、周波数及び／又は時間ドメインでの平滑化過程が必要である。周波数ドメインでの平滑化及び／又は時間ドメインでの平滑化の他に、レンダリングに適合する他の平滑化方法を用いることができる。また、ソースマッピング情報及び／又はレンダリング情報のそれぞれに特定ゲインを生じた値を用いることができる。
【００９４】
図１０及び図１１は、本発明の一実施例による平滑化部及び拡張部が適用される位置を示すブロック図である。図１０及び図１１に示すように、本発明による平滑化方法を、レンダリング情報及び／又はソースマッピング情報に適用することができるが、他の形態の情報にも適用することができる。以下では、周波数ドメインでの平滑化について説明するが、本発明は、上記周波数ドメインでの平滑化に制限されず、時間ドメインでの平滑化も含む。
【００９５】
図１０及び図１１を参照すると、平滑化部１０４２は、レンダリング情報及び／又はソースマッピング情報への平滑化を行うことができる。この平滑化が起きる位置の詳細例は、図１８〜図２０を参照して後ほど説明する。平滑化部１０４２は、平滑化されたレンダリング情報及び／又はソースマッピング情報を、パラメータバンドよりも広い範囲、例えば、フィルターバンドに拡張する拡張部１０４３と共に構成することができる。例えば、ソースマッピング情報は、サブレンダリング情報生成部１０２０でフィルター情報（例えば、ＨＲＴＦフィルター係数）に乗じられるために、当該フィルター情報に対応する周波数解像度（例えば、フィルターバンド）に拡張することができる。本発明による平滑化を、前述した拡張前に行ない又は拡張と共に行うことができる。この拡張と共に使われる平滑化としては、図１２〜図１６に示す方法を用いることができる。
【００９６】
図１２は、本発明の一実施例による第１平滑化方法を説明するグラフである。この第１平滑化方法は、周波数ドメインで直接平滑化を行わず、各パラメータバンドでの空間情報と同じ大きさの値を使用する。この時、適当な平滑化関数を用いて平滑化効果を得ることができる。
【００９７】
図１３は、本発明の一実施例による第２平滑化方法を説明するグラフである。この第２平滑化方法は、各パラメータバンドの代表位置間を連結して平滑化効果を得る。この代表位置は、各パラメータバンドの真中央であるか、ログスケール（ｌｏｇ ｓｃａｌｅ）／バークスケール（ｂａｒｋ ｓｃａｌｅ）などに比例した中心位置、最も低い周波数値又は他の方法によりあらかじめ定められた位置になりうる。
【００９８】
図１４は、本発明の一実施例による第３平滑化方法を説明するグラフである。この第３平滑化方法は、各パラメータの境界を滑らかにつなぐ曲線（又は、直線）の形態で平滑化を行う。この時、第３平滑化方法は、あらかじめ定められた境界平滑化曲線又は一次以上のＩＩＲフィルター（又は、ＦＩＲフィルター）によるローパスフィルターリングを用いることができる。
【００９９】
図１５は、本発明の一実施例による第４平滑化方法を説明するグラフである。この第４平滑化方法は、ランダムノイズのような信号を空間情報輪郭線に加えることによって平滑化効果を得る。ランダムノイズは、チャンネル別及び帯域別に異なる値を使用することができる。周波数ドメインでランダムノイズを加える場合、位相値はそのままとし、大きさ値のみを合算することができる。この第４平滑化方法によれば、周波数ドメインでの平滑化効果だけでなく、各チャンネル間のデコリレーション効果も得ることができる。
【０１００】
図１６は、本発明の一実施例による第５平滑化方法を説明するグラフである。この第５平滑化方法は、上記第２平滑化方法乃至第４平滑化方法を組み合わせて用いるものである。例えば、各パラメータバンドの代表位置を連結した後に、ランダムノイズを加え、ローパスフィルターリングを適用することができる。この時、順序を変えることができる。この第５平滑化方法によれば、周波数ドメインでの不連続点は最小化し、チャンネル間のデコリレーション効果は向上するという結果を得ることができる。上記第１平滑化方法乃至第５平滑化方法において、各チャンネル別各周波数ドメインにおける空間情報（例えば、ＣＬＤ）値に対するパワー（ｐｏｗｅｒ）の和は定数と一定になる必要がある。このためには、各チャンネル別に上記平滑化方法を行った後、パワー正規化（ｐｏｗｅｒ ｎｏｒｍａｌｉｚａｔｉｏｎ）過程を行う必要がある。例えば、ダウンミックス信号がモノ信号である場合、各チャンネルのレベル値は、下記の［数式２０］の関係を満足しなければならない。
【０１０１】
【数２０】
【０１０２】
ここで、ｐｂ＝０〜全体パラメータバンド数−１であり、Ｃは任意の定数である。
【０１０３】
図１７は、各チャンネル別プロトタイプフィルタ情報を説明するための図である。レンダリングのために、左チャンネルソースに対してＧＬ＿Ｌフィルターを通過した信号は左出力に送られ、ＧＬ＿Ｒフィルターを通過した信号は右出力に送られる。その後、左最終出力（例えば、Ｌｏ）及び右最終出力（例えば、Ｒｏ）は、各チャンネルから受信した信号を全部合わせて生成される。特に、レンダリングされた左／右チャンネル出力を、下記の［数式２１］のように表現することができる。
【０１０４】
【数２１】
【０１０５】
本発明では、空間情報を用いてダウンミックス信号をマルチチャンネル信号に復号化して生成されたＬ、Ｒ、Ｃ、Ｌｓ、Ｒｓを用いて、レンダリングされた左／右チャンネル出力を生成し、空間情報及びフィルター情報を用いて生成されたレンダリング情報を用いて、Ｌ、Ｒ、Ｃ、Ｌｓ、Ｒｓを生成することなくレンダリングされた左／右チャンネル出力を生成することができる。空間情報を用いたレンダリング情報の生成過程について、図１８〜図２０を参照して説明する。
【０１０６】
図１８は、本発明の一実施例による空間情報変換部９００でレンダリング情報を生成する第１方法を示すブロック図である。前述のように、空間情報変換部９００は、ソースマッピング部１０１０、サブレンダリング情報生成部１０２０、統合部１０３０、プロセシング部１０４０及びドメイン変換部１０５０を含む。空間情報変換部９００は、図３に示すものと同一である。ここで、サブレンダリング情報生成部１０２０は、一つ以上のサブレンダリング情報生成部（第１サブレンダリング情報生成部、第２サブレンダリング情報生成部、…、第Ｎサブレンダリング情報生成部）を含む。
【０１０７】
サブレンダリング情報生成部１０２０は、空間情報を用いて生成されたソースマッピング情報及びフィルター情報を用いてサブレンダリング情報を生成する。例えば、ダウンミックス信号がモノ信号である場合、第１サブレンダリング情報生成部は、マルチチャンネル上の左チャンネルに対応するサブレンダリング情報を生成できる。このサブレンダリング情報を、ソースマッピング情報Ｄ＿Ｌ及び変形されたフィルター情報ＧＬ＿Ｌ’及びＧＬ＿Ｒ’を用いて下記の［数式２２］のように表現することができる。
【０１０８】
【数２２】
【０１０９】
ここで、Ｄ＿Ｌは、ソースマッピング部１０１０で空間情報を用いて生成された値である。ただし、Ｄ＿Ｌを生成する過程は、ツリー構造によって異なることができる。第２サブレンダリング情報生成部は、マルチチャンネル上の右チャンネルに対応するサブレンダリング情報ＦＲ＿Ｌ及びＦＲ＿Ｒを生成でき、第Ｎサブレンダリング情報生成部は、マルチチャンネル上の右サラウンドチャンネルに対応するサブレンダリング情報ＦＲｓ＿Ｌ及びＦＲｓ＿Ｒを生成することができる。
【０１１０】
ダウンミックス信号がステレオ信号である場合、第１サブレンダリング情報生成部は、マルチチャンネル上の左チャンネルに対応するサブレンダリング情報を生成できる。このサブレンダリング情報は、ソースマッピング情報Ｄ＿Ｌ１、Ｄ＿Ｌ２を用いて下記の［数式２３］のように表現することができる。
【０１１１】
【数２３】
【０１１２】
ここで、ＦＬ＿Ｒ１を取り上げて［数式２３］を説明すると、ＦＬ＿Ｒ１で、Ｌはマルチチャンネルの位置を表し、Ｒはサラウンド信号の出力チャンネルを表し、１はダウンミックス信号のチャンネルを表す。すなわち、ＦＬ＿Ｒ１は、ダウンミックス信号の左チャンネルからサラウンド信号の右出力チャンネルを生成するのに用いられるサブレンダリング情報を表す。Ｄ＿Ｌ１、Ｄ＿Ｌ２は、ソースマッピング部１０１０で空間情報を用いて生成された値である。ダウンミックス信号がステレオ信号である場合、ダウンミックス信号がモノ信号である場合と同じ方法で１つ以上のサブレンダリング情報生成部で複数のサブレンダリング情報を生成することができる。複数のサブレンダリング情報生成部が生成するサブレンダリング情報の種類は例示的なもので、これらのサブレンダリング情報の種類に本発明が制限されることはない。
【０１１３】
サブレンダリング情報生成部１０２０で生成されたサブレンダリング情報は、統合部１０３０、処理部１０４０及びドメイン変換部１０５０を経てレンダリング部９００に転送される。統合部１０３０は、チャンネル別に生成されたサブレンダリング情報を統合して、レンダリング過程のためのレンダリング情報（例えば、ＨＬ＿Ｌ、ＨＬ＿Ｒ、ＨＲ＿Ｌ、ＨＲ＿Ｒ）にする。この統合部１０３０での統合過程を、ダウンミックス信号がモノ信号である場合とステレオ信号である場合とに分けて説明すると、次の通りである。ダウンミックス信号がモノ信号である場合、レンダリング情報を、下記の［数式２４］のように表現することができる。
【０１１４】
【数２４】
【０１１５】
ダウンミックス信号がステレオ信号である場合、レンダリング情報を、下記の［数式２５］のように表現することができる。
【０１１６】
【数２５】
【０１１７】
その後、プロセシング部１０４０は、補間部１０４１及び／又は平滑化部１０４２を含み、当該レンダリング情報に補間及び平滑化を行うことができる。この補間及び平滑化を、時間ドメイン、周波数ドメイン又はＱＭＦドメインで行うことができる。本明細書は、時間ドメインを挙げて記述しているが、この時間ドメインに本発明が限定されることはない。
【０１１８】
補間は、転送されたレンダリング情報が時間ドメインで広い間隔を有する場合、これらレンダリング情報間に存在しないレンダリング情報を得るために行われる。例えば、ｎ番目のタイムスロットとｎ＋ｋ番目のタイムスロットでレンダリング情報が存在するとする時（ｋ＞１）、生成されたレンダリング情報（例えば、ＨＬ＿Ｌ、ＨＲ＿Ｌ、ＨＬ＿Ｒ、ＨＲ＿Ｒ）を用いて、転送されなかったタイムスロット上で線形補間を行うことができる。補間によって生成されたレンダリング情報は、ダウンミックス信号がモノ信号である場合とステレオ信号である場合とに分けて説明すると、次の通りである。ダウンミックス信号がモノ信号である場合、補間されたレンダリング情報を、下記の［数式２６］のように表現することができる。
【０１１９】
【数２６】
【０１２０】
ダウンミックス信号がステレオ信号である場合、補間されたレンダリング情報を、下記の［数式２７］のように表現することができる。
【０１２１】
【数２７】
【０１２２】
ここで、０＜ｊ＜ｋであり、ｊ、ｋはそれぞれ整数であり、ａは０＜ａ＜１の実数でであり、下記の［数式２８］のように表現することができる。
【０１２３】
【数２８】
【０１２４】
上記［数式２７］又は［数式２８］によって２つのタイムスロットにおける値を直線で連結した線上で、転送されなかったタイムスロットに対応する値を得ることができる。補間についての詳細は、図２２及び図２３を参照して後述する。
【０１２５】
時間ドメインにおいて隣接するタイムスロット間でフィルター係数値が急に変化する場合、平滑化部１０４２は、不連続点が発生して歪曲を招くという問題を防ぐために平滑化を行う。時間ドメイン上の平滑化を、図１２〜図１６を参照して記述した平滑化方法によって行うことができる。また、この平滑化を拡張とともに行うことができ、適用される位置によって平滑化方法を異ならせることができる。ダウンミックス信号がモノ信号である場合、時間ドメイン平滑化を、下記の［数式２９］のように表現することができる。
【０１２６】
【数２９】
【０１２７】
すなわち、以前のタイムスロット（ｎ−１）で平滑化処理されたレンダリング情報ＨＭ＿Ｌ(ｎ−１)'又はＨＭ＿Ｒ(ｎ−１)'に（１−ｂ）を乗じ、現在タイムスロット（ｎ）で生成されたレンダリング情報ＨＭ＿Ｌ(ｎ)又はＨＭ＿Ｒ(ｎ)にｂを乗じ、これらを合算することによって、１−ｐｏｌｅ ＩＩＲフィルター形態の平滑化を行うことができる。ここで、ｂは、０＜ｂ＜１の定数値であり、ｂ値が小さいほど平滑化効果が大きくなり、ｂ値が大きいほど平滑化効果は小さくなる。また、残りのフィルターも同じ方法で適用することができる。
【０１２８】
上記時間ドメイン平滑化に対する［数式２９］を用いることによって、下記の［数式３０］のように表現されるように補間及び平滑化を一つの式にすることができる。
【０１２９】
【数３０】
【０１３０】
補間部１０４１及び／又は平滑化部１０４２で補間及び／又は平滑化を行うと、プロトタイプレンダリング情報が持つエネルギーと異なるエネルギー値を持つレンダリング情報を得ることができる。このような問題を防止するためのエネルギー正規化をさらに行うことができる。
【０１３１】
ドメイン変換部１０５０は、レンダリングを行うためのドメインに対してレンダリング情報のドメイン変換を行う。レンダリングを行うためのドメインとレンダリング情報の適用ドメインとが同じ場合には、ドメイン変換を行わなくて良い。その後、ドメイン変換されたレンダリング情報は、レンダリング部９００に転送される。
【０１３２】
図１９は、本発明の一実施例による空間情報変換部でレンダリング情報を生成する第２方法を示すブロック図である。この第２方法は、空間情報変換部１０００が、ソースマッピング部１０１０、サブレンダリング情報生成部１０２０、統合部１０３０、処理部１０４０及びドメイン変換部１０５０を含み、サブレンダリング情報生成部１０２０は、一つ以上のサブレンダリング情報生成部を含むという点で、レンダリング情報を生成する上記第１方法と類似している。
【０１３３】
図１９を参照すると、レンダリング情報を生成する第２方法とレンダリング情報を生成する第１方法との差異は、処理部１０４０の位置にある。したがって、サブレンダリング情報生成部１０２０で各チャンネル別に生成されたサブレンダリング情報（例えば、モノ信号である場合はＦＬ＿Ｌ、ＦＬ＿Ｒ、ステレオ信号である場合はＦＬ＿Ｌ１、ＦＬ＿Ｌ２、ＦＬ＿Ｒ１、ＦＬ＿Ｒ２）に対してチャンネル別に補間及び／又は平滑化を行うことができる。その後、併合部１０３０は、補間及び／又は平滑化の行われたサブレンダリング情報を併合し、レンダリング情報を生成する。生成されたレンダリング情報は、ドメイン変換部１０５０を経てレンダリング部９００に転送される。
【０１３４】
図２０は、本発明の一実施例による空間情報変換部１０００でレンダリング情報を生成する第３方法を示すブロック図である。この第３方法は、空間情報変換部１０００が、ソースマッピング部１０１０、サブレンダリング情報生成部１０２０、併合部１０３０、処理部１０４０及びドメイン変換部１０５０を含み、サブレンダリング情報生成部１０２０は、一つ以上のサブレンダリング情報生成部を含むという点で、レンダリング情報を生成する上記第１方法及び第２方法と似ている。
【０１３５】
図２０を参照すると、レンダリング情報を生成する第３方法とレンダリング情報を生成する第１方法及び第２方法との差異は、プロセシング部１０４０がソースマッピング部１０１０の次に位置するということにある。したがって、ソースマッピング部１０１０で空間情報を用いて生成されたソースマッピング情報を、それぞれのチャンネル別に補間及び／又は平滑化が行うことができる。その後、サブレンダリング情報生成部１０２０は、補間及び／又は平滑化されたソースマッピング情報及びフィルター情報を用いてサブレンダリング情報を生成する。これらサブレンダリング情報は、併合部１０３０で併合されてレンダリング情報となり、ドメイン変換部１０５０を経てレンダリング部９００に転送される。
【０１３６】
図２１は、本発明の一実施例によるレンダリング過程で行われるレンダリング情報処理方法を示す。図２１は、ＤＦＴドメインでレンダリング過程を行う場合を示すが、他のドメインでも類似な方法で具現されることができる。また、図２１は、入力信号がモノダウンミックス信号である場合を示すが、ステレオダウンミックス信号などの他の入力チャンネルにも同じ方法で適用可能である。
【０１３７】
図２１を参照すると、時間ドメインのモノダウンミックス信号は、ドメイン変換部でオーバーラップ区間ＯＬを持つウィンドイングをまず行う。図２１は、５０％オーバーラップを使用した場合を示すが、本発明は他のオーバーラップを使用した場合も含む。このウィンドイングを行う窓関数は、時間ドメインで不連続が発生せずにシームレス連結されながら、ＤＦＴドメインの周波数選択性に優れた関数を用いることができる。例えば、窓関数としてサイン二乗窓関数を使用することができる。その後、ウィンドイングによって得られた長さＯＬ＊２のモノダウンミックス信号は、ドメイン変換部で変換されたレンダリング情報ＨＬ＿Ｌ'を用いるレンダリングフィルターのタブ長さだけ（正確にはタブ長さ−１）のゼロパッディングＺＬをした後、ＤＦＴドメインへとドメイン変換を行う。図２０は、ｋブロックダウンミックス信号がＤＦＴドメインへとドメイン変換されたものを示す。
【０１３８】
ドメイン変換されたダウンミックス信号は、レンダリング部でレンダリング情報を用いるレンダリングフィルターによりレンダリングされる。このレンダリング過程を、周波数ドメインでダウンミックス信号とレンダリング情報との積で表現することができる。レンダリングされたダウンミックス信号は、逆ドメイン変換部でＩＤＦＴ（離散逆フーリエ変換）を行った後、以前に長さＯＬの遅延で実行されたダウンミックス信号（図２０で、ｋ−１ブロック）にオーバーラップし、サラウンド信号を生成する。このようなレンダリング過程が行われる各ブロックで補間を行うことができるが、以下、この補間方法について説明する。
【０１３９】
図２２は、本発明の一実施例による第１補間方法を示す。本発明による補間を、様々な位置で行うことができる。例えば、図１８〜図２０に示す空間情報変換部内の様々な位置で行うことができ、レンダリング部でも行うことができる。補間される値は、空間情報、ソースマッピング情報、レンダリング情報、フィルター情報などになりうる。本明細書では、空間情報を基準に説明されるが、この空間情報に本発明が限定されるわけではない。また、補間を、より広いバンドに拡張された後又はより広いバンドに拡張されるのと共に行うことができる。
【０１４０】
図２２を参照すると、符号化装置から転送される空間情報を、タイムスロットごとに転送するのではなく、任意の位置で転送することができる。一つの空間フレームには複数の空間情報セット（例えば、図２２のパラメータセットｎ、ｎ＋１）を転送することができ、ビットレートが低い場合には、一つの空間フレームに一つの新しい空間情報セットを転送することができる。したがって、転送されないタイムスロットに対しては隣接する転送された空間情報セットの値を用いて補間を行う。レンダリングを行うウィンド間の間隔はタイムスロットと常に一致するのではないので、図２２のようにレンダリング窓（Ｋ−１、Ｋ、Ｋ＋１、Ｋ＋２等）の中央における補間値を探し、この値を用いることができる。図２２は、空間情報セットが存在するタイムスロット間を線形補間する場合を示すが、この補間方法に本発明が限定されことはない。例えば、空間情報セットが存在しないタイムスロットは、補間をせず、以前の値を使用し又はあらかじめ定められた値を使用することができる。
【０１４１】
図２３は、本発明の一実施例による第２補間方法を示す。図２３を参照すると、第２補間方法は、以前の値を使用する区間、あらかじめ定められたデフォルト値を使用する区間などを組み合わせた形態である。例えば、一つの空間フレームの一定区間で以前の値を維持する方法、あらかじめ定められたデフォルト値を使用する方法及び線形補間を行う方法のうち少なくとも一つを使用し、補間を行うことができる。一つの窓に二つ以上の新しい空間情報セットが存在する場合には歪曲が生じうるが、この歪曲を防止するためのブロックスイッチングについて以下に説明する。
【０１４２】
図２４は、本発明の一実施例によるブロックスイッチングを示す図である。図２４の（ａ）に示すように、窓長さがタイムスロットの長さよりも大きいので、一つの窓区間に二つ以上の空間情報セット（例えば、図２４のパラメータセットｎ、ｎ＋１）が存在する場合がありうる。この場合に、それぞれの空間情報セットを、それぞれ異なるタイムスロットに適用する必要があり、二つ以上の空間情報セットを補間した一つの値が適用されると、歪曲の発生につながることがある。すなわち、窓長さによる時間解像度不足による歪曲が発生することがある。
【０１４３】
この問題を解決するために、窓の大きさをタイムスロットの解像度に合うように可変にする切替方法を使用することができる。例えば、図２４の（ｂ）に示すように、高い解像度が要求される区間では、より短い長さの窓を使用するように切り替えることができる。この時、切り替えられた窓の時間ドメインで継ぎ目が生じないように、切り替えられる部分の開始部及び終了部には連結形態の窓を使用する。この窓長さを、別の付加情報として転送するのではなく、復号化装置で空間情報を用いて決定することができる。例えば、空間情報が更新されるタイムスロットの間隔を用いて窓長さを決定することができる。すなわち、前記空間情報の更新される間隔が狭いと、短い長さの窓関数を用い、空間情報の更新される間隔が広いと、長い長さの窓関数を用いることができる。この場合、レンダリング時に可変窓を使用することによって、窓長さ情報を別途に送るのに必要なビットを使用しなくて済むという長所がある。また、図２４の（ｂ）に示すように、窓長さは単に２種類のみ使用するのではなく、空間情報の転送頻度及び関係によって様々な長さの窓を使用することができる。決定された窓長さ情報は、サラウンド信号を生成する様々な段階に適用されることができるが、この窓長さ情報が適用される段階について以下に説明する。
【０１４４】
図２５は、本発明の一実施例による窓長さ決定部で決定された窓長さが適用される位置を示すブロック図である。図２５を参照すると、窓長さ決め部１４００は、空間情報を用いて窓長さを決定することができる。決定された窓長さに関する情報は、ソースマッピング部１０１０、統合部１０３０、処理部１０４０、ドメイン変換部１０５０、１１００、逆ドメイン変換部１３００に適用されることができる。図２５は、ステレオダウンミックス信号が用いられる場合を示すが、このステレオダウンミックス信号に本発明が制限されることはない。上記のように、窓の長さを短くするとしても、フィルターのタブ数によって決定されるゼロパッディングの長さは調節されないという問題点がある。以下、この問題点の解決方法について説明する。
【０１４５】
図２６は、本発明の一実施例による様々な長さを持つフィルター処理方法を示す図である。前述のように、フィルターのタブ数によって決定されるゼロパッディングの長さが調節されない場合、実際に該当の長さだけの重複が発生し、依然として時間解像度が不足するという問題点が生じうる。この問題点の解決方法は、短い長さの窓を使用する場合、フィルタータブの長さを制限し、ゼロパッディングの長さを短くすることである。このゼロパッディングの長さを短くする方法は、フィルター応答の後部分（例えば、残響に対応する拡散区間）を切り捨てることによって実現可能である。この場合、たとえフィルター応答の後部分を切り捨てない場合に比べて不正確なレンダリング過程となるが、時間ドメインでのフィルター係数値は非常に小さな値で、主として残響に影響を与えるから、省略しても音質に大きな差はない。
【０１４６】
図２６を参照すると、４種類のフィルターが用いられることができる。４種類のフィルターを、ＤＦＴドメインで用いることができるが、本発明が、ＤＦＴドメインで用いられるフィルターに限定されるわけではない。Ｎ１フィルターは、長いフィルター長（ＦＬ）及びフィルタータブ数を制限しない長いゼロパッディングの長さ（２＊ＯＬ）を持つフィルターを表す。Ｎ２フィルターは、Ｎ１フィルターとフィルター長（ＦＬ）は同一であるが、フィルターのタブ数を制限し、ゼロパッディングの長さ（２＊ＯＬ'）が短いフィルターを表す。Ｎ３フィルターは、Ｎ１フィルターに比べてフィルター長（ＦＬ'）は短いが、フィルターのタブ数を制限せず、ゼロパッディングの長さ（２＊ＯＬ）は長いフィルターを表す。Ｎ４フィルターは、Ｎ１フィルターと比べてウィンド長（ＦＬ'）も短く、フィルターのタブ数を制限してゼロパッディングの長さ（２＊ＯＬ'）も短いフィルターを表す。本発明は、上記例示された４種類のフィルターを用いて時間解像度問題を解決することができる。また、フィルター応答の後部分に対して、ドメイン別に異なるフィルター係数を用いることができる。
【０１４７】
図２７は、本発明の一実施例による複数個のサブフィルターでオーディオ信号を処理する方法を示す。一つのフィルターを、異なるフィルター係数を持つサブフィルターに分離することができる。サブフィルターを用いてオーディオ信号を処理した後、処理結果を加える方法が用いられることができる。エネルギーの小さいフィルター応答の後部分に空間情報を適用する場合、すなわち、長いフィルタータブを持つレンダリングをする場合、定められた長さ単位にオーディオ信号を分割して処理する機能を提供する。例えば、フィルター応答の後部分は、各チャンネルに対応するＨＲＴＦ別に大きく変化しない部分であるので、複数の窓に対する共通の係数を抽出してレンダリングすることができる。本明細書では、ＤＦＴドメインで実施される場合について説明するが、本発明はＤＦＴドメインに限定されない。
【０１４８】
図２７を参照すると、一つのフィルター（ＦＬ）を複数個のサブ領域に分離した後、それぞれのサブ領域を、異なるフィルター係数を持つ複数個のサブフィルター（フィルターＡ及びフィルターＢ）で処理することができる。その後、フィルターＡで処理された出力及びフィルターＢで処理された出力を互いに結合する。例えば、フィルターＡで処理された出力及びフィルターＢで処理された出力のそれぞれに対してＩＤＦＴ（離散逆フーリエ変換）をし、時間ドメインの信号を生成した後、それぞれの信号は互いに加えられる。この時、フィルターＢにより処理された出力は、フィルターＡにより処理された出力に比べてＦＬ'だけ時間遅延された位置に加えられる。このように複数のサブフィルターで処理された信号は、一つのフィルターで処理される場合と同じ効果を得ることができる。また、本発明は、フィルターＢで処理された出力を別途にダウンミックス信号にレンダリングする方法を含む。この時、空間情報から抽出された係数などを用いたり、空間情報を部分的に用いたり、又は、空間情報を用いず、直接ダウンミックス信号に対する出力にレンダリングすることができる。
【０１４９】
上記方法は、フィルターのタブ数（長さ）が長い場合にこれを分割して適用でき、エネルギーの小さい後部分は、空間情報を用いた変換を行うことなく適用できるという特徴を持つ。この時、空間情報を用いた変換を行わない場合、処理された窓ごとに異なるフィルターを適用するのではないので、ブロックスイッチングのような手法を適用しなくてもよい。図２６では、２個のドメインに分割する場合を示すが、本発明はこれに限定されず、複数個の領域に分割しても良い。
【０１５０】
図２８は、本発明の一実施例による複数個のサブフィルターを用いてフィルター係数をモノダウンミックス信号に分割レンダリングする方法を示す。図２８は、一つのレンダリング係数に関連する。この方法を、レンダリング係数別に行う。図２８を参照すると、図２７のフィルターＡ情報が第１分割レンダリング情報ＨＭ＿Ｌ＿Ａに該当し、図２７のフィルターＢ情報が第２分割レンダリング情報ＨＭ＿Ｌ＿Ｂに該当する。図２８は、二つのサブフィルターに分割して行われる実施例を示すが、二つのサブフィルターに本発明が限定されるわけではない。二つのサブフィルターは、空間情報変換部１０００で生成されたレンダリング情報ＨＭ＿Ｌを用い、二つのサブフィルターを、分配器１５００を介して得ることができる。二つのサブフィルターを、プロトタイプＨＲＴＦ情報又は使用者の選択によって決定された情報を用いて得ることができる。使用者の選択によって決定された情報は、例えば、使用者の好みによって選択された空間情報になりうる。ここで、ＨＭ＿Ｌ＿Ａは、受信した空間情報に基づいたレンダリング情報であり、ＨＭ＿Ｌ＿Ｂを、信号に共通して適用される空間感を与えるためのレンダリング情報と見なすことができる。
【０１５１】
前述のように、複数個のサブフィルターでの処理は、ＤＦＴドメインの他に時間及びＱＭＦドメインでも適用されることができる。すなわち、フィルターＡとフィルターＢに分離された係数値がそれぞれ、時間又はＱＭＦドメインレンダリングを通じてダウンミックス信号に適用された後に加えられて、最終信号を生成することができる。レンダリング部９００は、第１分割レンダリング部９５０及び第２分割レンダリング部９６０を含み、第１分割レンダリング部９５０はＨＭ＿Ｌ＿Ａを用いてレンダリング過程を行い、第２分割レンダリング部９６０はＨＭ＿Ｌ＿Ｂを用いてレンダリング過程を行う。
【０１５２】
図２７のように、フィルターＡ及びフィルターＢが時間的に従った同一フィルターの分割である場合、当該時間間隔に対応する適切な遅延を反映することができる。図２８は、モノダウンミックス信号である場合を取り上げているが、モノダウンミックス信号であり且つデコリレータ使用する場合、フィルターＢに該当する部分はデコリレータに適用せず、直接モノダウンミックス信号にのみ適用することも可能である。
【０１５３】
図２９は、本発明の一実施例による複数個のサブフィルターを用いてフィルター係数をステレオ信号に分割レンダリングする方法のブロック図である。図２９に示す分割レンダリング過程は、二つのサブフィルターを、空間情報変換部１０００で生成されたレンダリング情報、プロトタイプＨＲＴＦフィルター情報又は使用者決定情報を用いて分配器１５００を介して得ることができるという点で、図２８と似ている。ただし、図２８と違い、フィルターＢに対応する分割レンダリング過程がＬ／Ｒ信号に共通して適用される。すなわち、分配器１５００でフィルターＡ情報に該当する第１分割レンダリング情報、第２分割レンダリング情報及びフィルターＢ情報に該当する第３分割レンダリング情報が生成される。この時、第３分割レンダリング情報を、Ｌ／Ｒ信号に共通して適用されうるフィルター情報又は空間情報を用いて生成することができる。図２９を参照すると、レンダリング部９００は、第１分割レンダリング部９７０、第２分割レンダリング部９８０及び第３分割レンダリング部９９０を含む。第３分割レンダリング情報は、第３分割レンダリング部９９０でＬ／Ｒ信号の和信号に適用されて一つの出力信号を生成する。その後、第１分割レンダリング部９７０及び第２分割レンダリング部９８０で、フィルターＡ１及びＡ２によりそれぞれ独立してレンダリングされたＬ／Ｒ出力信号に加えられ、サラウンド信号を生成する。この時、第３分割レンダリング部９９０の出力信号を、適切な遅延後に加えることができる。図２９では便宜上、Ｌ／Ｒ入力から相手側のチャンネルに適用されるクロスレンダリング情報の表現を省略した。
【０１５４】
図３０は、本発明の一実施例によるダウンミックス信号の第１ドメイン変換方法のブロック図である。以上ではＤＦＴドメインで行われるレンダリング過程について説明した。前述のように、レンダリング過程を、ＤＦＴドメインだけでなく、他のドメインでも行うことができるが、図３０は、ＤＦＴドメインで行われるレンダリング過程を示す。ドメイン変換部１１００は、ＱＭＦ及びＤＦＴフィルターを含み、逆ドメイン変換部１３００は、ＩＤＦＴ及びＩＱＭＦフィルターを含む。図３０は、モノダウンミックス信号に対して示すが、本発明はこれに制限されない。
【０１５５】
図３０を参照すると、Ｐサンプルの時間ドメインダウンミックス信号がＱＭＦフィルターを通過すると、Ｐ個のサブバンドサンプルが生成される。バンド別に再びＷ個のサンプルを集めてウィンドイングを行った後、ゼロパッディングしてＭ−ポイントＤＦＴ（ＦＦＴ）を行う。この時のＤＦＴは、前述した形態のウィンドイングによる処理が可能である。Ｍ−ポイントＤＦＴを介して得られるバンド別Ｍ／２個の周波数ドメイン値を再びＰバンドに連結した値は、Ｍ／２＊Ｐ−ポイントＤＦＴを介して得た周波数スペクトルの近似値と見ることができる。したがって、Ｍ／２＊Ｐ−ポイントＤＦＴドメインで表現されたフィルター係数を周波数スペクトルに乗じると、前述のＤＦＴドメインにおけるレンダリング過程と同じ効果が得られる。
【０１５６】
この時、ＱＭＦフィルターを通過した信号は、隣接するバンド間に漏洩（ｌｅａｋａｇｅ）、例えば、エイリアシングを有する。すなわち、現在のバンドに隣接するバンドに該当する値がしみ込んでおり、現在のバンドに存在する値の一部は隣接するバンドを超えている状態が存在する。この状態でＱＭＦ統合を行うとＱＭＦの特性によって元の信号が復元されるが、本発明のように、該当バンドの信号にフィルターリングなどの処理を行うと、漏洩の影響で信号に歪曲が発生する。このような問題を最小化するために、ドメイン変換部１１００でＱＭＦ後に各バンド別ＤＦＴを行う前に、最小漏洩バタフライＢを通過させ、逆ドメイン変換部１３００でＩＤＦＴ後にその逆過程Ｃを行い、元の信号を復元する処理をすることができる。
【０１５７】
一方、空間情報変換部１０００で生成されるレンダリング情報の生成過程をダウンミックス信号の生成過程と一致させるために、はじめからＭ／２＊Ｐ−ポイントＤＦＴを行うのではなく、プロトタイプフィルタ情報に対するＱＭＦ通過信号をＤＦＴして処理する方法も可能である。この場合には、ＱＭＦフィルターによる遅延及びデータ広がりが存在しうる。
【０１５８】
図３１は、本発明の一実施例によるダウンミックス信号の第２ドメイン変換を示すブロック図である。図３１は、ＱＭＦドメインで行われるレンダリング過程を示す。ドメイン変換部１１００はＱＭＦドメイン変換部を含み、逆ドメイン変換部１３００はＩＱＭＦを含む。図３１は、ドメイン変換部がＱＭＦフィルターである以外は、処理構造がＤＦＴのみを用いる場合と同一である。以下、ＱＭＦは、同じ帯域幅を持つＱＭＦ及びハイブリッドＱＭＦを含むＱＭＦとする。ＤＦＴのみを利用する場合との差異は、レンダラーＭ３０１２で行われるレンダリング過程がＱＭＦドメインで実施されるので、レンダリング情報の生成もＱＭＦドメインで行われ、レンダリング過程がＤＦＴドメインでのように積で表現されず、畳み込みで表現されるという点である。
【０１５９】
ＱＭＦフィルターがＢ個のバンドを持つとすれば、フィルター係数を、Ｂ個のバンドに対してそれぞれ異なる特性（異なる係数値）を持つフィルター係数の集合で表現することができる。場合によって、フィルターのタブ数が１次になる場合（すなわち、定数が乗じられる場合）、Ｂ個周波数スペクトルを持つＤＦＴドメインでのレンダリング過程と演算処理が一致する。下記の［数式３１］は、ＨＭ＿Ｌレンダリング情報を用いてレンダリング過程が行われる一つの経路に対し、一つのＱＭＦバンド（ｂ）で行われるレンダリング過程を表す。
【０１６０】
【数３１】
【０１６１】
ここで、ｋは、ＱＭＦバンドでの時間順序、すなわち、タイムスロット単位を意味する。このＱＭＦドメインで行われるレンダリング過程は、実際転送された空間情報がＱＭＦドメインで適用可能な値である場合、該当のデータを最も適用しやすく、適用過程における歪曲を最小化できるという利点を有する。ただし、プロトタイプフィルタ情報（例えば、プロトタイプＨＲＴＦフィルター係数）の変換過程でＱＭＦドメインに変換した時、変換された値を適用する過程が多い演算量を必要とする。この場合に、フィルター情報の変換過程でＨＲＴＦ係数をパラメータ化する方法を通じて演算量を最小化することができる。
【０１６２】
以上では具体的な実施例に挙げて本発明を説明してきたが、これらの実施例は、本発明を例示するためのもので、本発明の範囲を制限するためのものではない。したがって、当業者にとっては本発明の技術的思想の範囲内で様々な変形が可能であるということは明らかであり、本発明の範囲は、添付の特許請求の範囲によって解析されるべきである。
【産業上の利用可能性】
【０１６３】
本発明による信号処理方法及び装置は、符号化装置で提供された空間情報を用いて、マルチチャンネルを生成できない復号化装置でもＨＲＴＦフィルター情報又は使用者によるフィルター情報を用いてサラウンド信号を生成することができる。特に、本発明を、ステレオ信号のみ再生可能な多くの復号化装置に有用に用いることができる。
【図面の簡単な説明】
【０１６４】
【図１】本発明の一実施例によるオーディオ信号の符号化装置及び復号化装置を示すブロック図である。
【図２】本発明の一実施例によるオーディオ信号のビットストリーム構造を示す図である。
【図３】本発明の一実施例による空間情報変換部を示す詳細ブロック図である。
【図４】本発明の一実施例によるソースマッピング過程で用いられるチャンネル構成を示す図である。
【図５】本発明の一実施例によるソースマッピング過程で用いられるチャンネル構成を示す図である。
【図６】本発明の一実施例によるステレオダウンミックス信号に対するレンダリング部の詳細ブロック図である。
【図７】本発明の一実施例によるステレオダウンミックス信号に対するレンダリング部の詳細ブロック図である。
【図８】本発明の一実施例によるモノダウンミックス信号に対するレンダリング部の詳細ブロック図である。
【図９】本発明の一実施例によるモノダウンミックス信号に対するレンダリング部の詳細ブロック図である。
【図１０】本発明の一実施例による平滑化部及び拡張部が適用される位置を示すブロック図である。
【図１１】本発明の一実施例による平滑化部及び拡張部が適用される位置めを示すブロック図である。
【図１２】本発明の一実施例による第１平滑化方法を説明するグラフである。
【図１３】本発明の一実施例による第２平滑化方法を説明するグラフである。
【図１４】本発明の一実施例による第３平滑化方法を説明するグラフである。
【図１５】本発明の一実施例による第４平滑化方法を説明するグラフである。
【図１６】本発明の一実施例による第５平滑化方法を説明するグラフである。
【図１７】チャンネル別プロトタイプフィルタ情報を説明するための図である。
【図１８】本発明の一実施例による空間情報変換部でレンダリングフィルター情報を生成する第１方法を示すブロック図である。
【図１９】本発明の一実施例による空間情報変換部でレンダリングフィルター情報を生成する第２方法を示すブロック図である。
【図２０】本発明の一実施例による空間情報変換部でレンダリングフィルター情報を生成する第３方法を示すブロック図である。
【図２１】本発明の一実施例によるレンダリング部でレンダリング情報を用いてサラウンド信号を生成する方法を示す図である。
【図２２】本発明の一実施例による第１補間方法を示す図である。
【図２３】本発明の一実施例による第２補間方法を示す図である。
【図２４】本発明の一実施例によるブロックスイッチング方法を示す図である。
【図２５】本発明の一実施例による窓長さ決め部で決定された窓長さが適用される位置を示すブロック図である。
【図２６】本発明の一実施例によるオーディオ信号を処理するのに用いられる様々な長さのフィルターを示す図である。
【図２７】本発明の一実施例による複数個のサブフィルターでオーディオ信号を処理する方法を示す図である。
【図２８】本発明の一実施例による複数個のサブフィルターを用いて生成された分割レンダリング情報をモノダウンミックス信号にレンダリングする方法を示すブロック図である。
【図２９】本発明の一実施例による複数個のサブフィルターを用いて生成された分割レンダリング情報をステレオダウンミックス信号にレンダリングする方法を示すブロック図である。
【図３０】本発明の一実施例によるダウンミックス信号の第１ドメイン変換方法を示すブロック図である。
【図３１】本発明の一実施例によるダウンミックス信号の第２ドメイン変換方法を示すブロック図である。
【特許請求の範囲】
【請求項１】
マルチソース間の特徴を表す空間情報を用いてソース別に対応するソースマッピング情報を生成する段階と、
前記ソースマッピング情報及びサラウンド効果を与えるフィルター情報を用いてレンダリング情報を生成する段階と、
少なくとも一つの前記レンダリング情報の隣接したレンダリング情報を用いて平滑化する段階と、
を含むことを特徴とする信号処理方法。
【請求項２】
前記平滑化は、時間ドメイン又は周波数ドメインで行われることを特徴とする、請求項１に記載の信号処理方法。
【請求項３】
前記平滑化は、前記レンダリング情報にランダムノイズを加えることによってなることを特徴とする、請求項２に記載の信号処理方法。
【請求項４】
前記ランダムノイズは、前記平滑化が行われる帯域別に、前記レンダリング情報に異なる値が加えられることを特徴とする、請求項３に記載の信号処理方法。
【請求項５】
前記平滑化は、前記平滑化が行われる帯域の代表位置におけるレンダリング情報を補間することによってなることを特徴とする、請求項１に記載の信号処理方法。
【請求項６】
前記代表位置は、前記平滑化が行われる帯域の中心、最も低い位置又はログスケール／バークスケールに比例した中心位置であることを特徴とする、請求項５に記載の信号処理方法。
【請求項７】
前記平滑化は、前記レンダリング情報を連結する曲線形態で行われることを特徴とする、請求項１に記載の信号処理方法。
【請求項８】
前記平滑化は、あらかじめ定められた平滑化曲線又は一次以上のローパスフィルターを用いることによって行われることを特徴とする、請求項７に記載の信号処理方法。
【請求項９】
前記平滑化は、前記平滑化が行われる帯域の代表位置でレンダリング情報を補間し、前記レンダリング情報にランダムノイズを加えた後にローパスフィルターリングを行うことによって行われることを特徴とする、請求項１に記載の信号処理方法。
【請求項１０】
前記レンダリング情報が生成された第１周波数帯域から第２周波数帯域に前記レンダリング情報を拡散する段階をさらに含むことを特徴とする、請求項１に記載の信号処理方法。
【請求項１１】
前記拡散する段階は、前記第１周波数帯域のレンダリング情報と同じ値を用いて行われることを特徴とする、請求項１０に記載の信号処理方法。
【請求項１２】
前記平滑化に用いられるフィルターは、１次ＩＩＲフィルターであることを特徴とする、請求項１に記載の信号処理方法。
【請求項１３】
前記平滑化過程が行われたレンダリング情報を、前記マルチソースをダウンミックスして生成されたダウンミックス信号に適用し、サラウンド信号を生成する段階をさらに含むことを特徴とする、請求項１に記載の信号処理方法。
【請求項１４】
前記フィルター情報は、ＨＲＴＦフィルター情報又は使用者の選択によって決定された値を含むことを特徴とする、請求項１３に記載の信号処理方法。
【請求項１５】
前記フィルター情報は、前記サラウンド信号を生成するドメインへとドメイン変換されたフィルター情報であることを特徴とする、請求項１４に記載の信号処理方法。
【請求項１６】
前記フィルター情報は、前記ＨＲＴＦフィルター情報をパラメータに変換することによって生成されることを特徴とする、請求項１５に記載の信号処理方法。
【請求項１７】
マルチソース間の特徴を表す空間情報を用いてソース別に対応するソースマッピング情報を生成するソースマッピング部と、
前記ソースマッピング情報及びサラウンド効果を与えるフィルター情報を用いてレンダリング情報を生成する合成部と、
前記レンダリング情報の隣接したレンダリング情報を用いて平滑化を行う平滑化部と、
を含むことを特徴とする信号処理装置。
【請求項１８】
前記平滑化が行われたレンダリング情報を、前記マルチソースをダウンミックスして生成されたダウンミックス信号に適用してサラウンド信号を生成するレンダリング部をさらに含むことを特徴とする、請求項１７に記載の信号処理装置。
【請求項１９】
ＨＲＴＦフィルター情報又は使用者の選択によって決定された値を含むフィルター情報を、前記サラウンド信号を生成するドメインへとドメイン変換するフィルター情報変換部をさらに含むことを特徴とする、請求項１８に記載の信号処理装置。
【請求項１】
マルチソース間の特徴を表す空間情報を用いてソース別に対応するソースマッピング情報を生成する段階と、
前記ソースマッピング情報及びサラウンド効果を与えるフィルター情報を用いてレンダリング情報を生成する段階と、
少なくとも一つの前記レンダリング情報の隣接したレンダリング情報を用いて平滑化する段階と、
を含むことを特徴とする信号処理方法。
【請求項２】
前記平滑化は、時間ドメイン又は周波数ドメインで行われることを特徴とする、請求項１に記載の信号処理方法。
【請求項３】
前記平滑化は、前記レンダリング情報にランダムノイズを加えることによってなることを特徴とする、請求項２に記載の信号処理方法。
【請求項４】
前記ランダムノイズは、前記平滑化が行われる帯域別に、前記レンダリング情報に異なる値が加えられることを特徴とする、請求項３に記載の信号処理方法。
【請求項５】
前記平滑化は、前記平滑化が行われる帯域の代表位置におけるレンダリング情報を補間することによってなることを特徴とする、請求項１に記載の信号処理方法。
【請求項６】
前記代表位置は、前記平滑化が行われる帯域の中心、最も低い位置又はログスケール／バークスケールに比例した中心位置であることを特徴とする、請求項５に記載の信号処理方法。
【請求項７】
前記平滑化は、前記レンダリング情報を連結する曲線形態で行われることを特徴とする、請求項１に記載の信号処理方法。
【請求項８】
前記平滑化は、あらかじめ定められた平滑化曲線又は一次以上のローパスフィルターを用いることによって行われることを特徴とする、請求項７に記載の信号処理方法。
【請求項９】
前記平滑化は、前記平滑化が行われる帯域の代表位置でレンダリング情報を補間し、前記レンダリング情報にランダムノイズを加えた後にローパスフィルターリングを行うことによって行われることを特徴とする、請求項１に記載の信号処理方法。
【請求項１０】
前記レンダリング情報が生成された第１周波数帯域から第２周波数帯域に前記レンダリング情報を拡散する段階をさらに含むことを特徴とする、請求項１に記載の信号処理方法。
【請求項１１】
前記拡散する段階は、前記第１周波数帯域のレンダリング情報と同じ値を用いて行われることを特徴とする、請求項１０に記載の信号処理方法。
【請求項１２】
前記平滑化に用いられるフィルターは、１次ＩＩＲフィルターであることを特徴とする、請求項１に記載の信号処理方法。
【請求項１３】
前記平滑化過程が行われたレンダリング情報を、前記マルチソースをダウンミックスして生成されたダウンミックス信号に適用し、サラウンド信号を生成する段階をさらに含むことを特徴とする、請求項１に記載の信号処理方法。
【請求項１４】
前記フィルター情報は、ＨＲＴＦフィルター情報又は使用者の選択によって決定された値を含むことを特徴とする、請求項１３に記載の信号処理方法。
【請求項１５】
前記フィルター情報は、前記サラウンド信号を生成するドメインへとドメイン変換されたフィルター情報であることを特徴とする、請求項１４に記載の信号処理方法。
【請求項１６】
前記フィルター情報は、前記ＨＲＴＦフィルター情報をパラメータに変換することによって生成されることを特徴とする、請求項１５に記載の信号処理方法。
【請求項１７】
マルチソース間の特徴を表す空間情報を用いてソース別に対応するソースマッピング情報を生成するソースマッピング部と、
前記ソースマッピング情報及びサラウンド効果を与えるフィルター情報を用いてレンダリング情報を生成する合成部と、
前記レンダリング情報の隣接したレンダリング情報を用いて平滑化を行う平滑化部と、
を含むことを特徴とする信号処理装置。
【請求項１８】
前記平滑化が行われたレンダリング情報を、前記マルチソースをダウンミックスして生成されたダウンミックス信号に適用してサラウンド信号を生成するレンダリング部をさらに含むことを特徴とする、請求項１７に記載の信号処理装置。
【請求項１９】
ＨＲＴＦフィルター情報又は使用者の選択によって決定された値を含むフィルター情報を、前記サラウンド信号を生成するドメインへとドメイン変換するフィルター情報変換部をさらに含むことを特徴とする、請求項１８に記載の信号処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【公表番号】特表２００９−５２４３３６（Ｐ２００９−５２４３３６Ａ）
【公表日】平成２１年６月２５日（２００９．６．２５）
【国際特許分類】
【出願番号】特願２００８−５５１１９３（Ｐ２００８−５５１１９３）
【出願日】平成１９年１月１９日（２００７．１．１９）
【国際出願番号】ＰＣＴ／ＫＲ２００７／０００３４０
【国際公開番号】ＷＯ２００７／０８３９５２
【国際公開日】平成１９年７月２６日（２００７．７．２６）
【出願人】（５０２０３２１０５）エルジー エレクトロニクス インコーポレイティド (2,269)
【Ｆターム（参考）】
【公表日】平成２１年６月２５日（２００９．６．２５）
【国際特許分類】
【出願日】平成１９年１月１９日（２００７．１．１９）
【国際出願番号】ＰＣＴ／ＫＲ２００７／０００３４０
【国際公開番号】ＷＯ２００７／０８３９５２
【国際公開日】平成１９年７月２６日（２００７．７．２６）
【出願人】（５０２０３２１０５）エルジー エレクトロニクス インコーポレイティド (2,269)
【Ｆターム（参考）】
[ Back to top ]