音声合成と空間化との結合方法
本発明は、ａ）振幅を示す少なくとも一つのパラメータ（ｐｉ）を各ソースに割り当てる段階と、ｂ）複数のチャンネルへの符号化を実行する空間化段階であって、各振幅パラメータ（ｐｉ）は、空間利得（ｇｉｍ）で乗算されるよう複製され、各空間利得は、一方では符号化チャンネル（ｐｇｍ）に関して決定され、他方では空間化されるソース（Ｓｉ）に関して決定される、段階と、ｃ）チャンネル（ｐｇｍ）毎に全てのソース（Ｓｉ）に前記乗算されたパラメータ（ｐｉｍ）の合計を適用することによって、各チャンネル（ｐｇ１、．．．、ｐｇＭ）に、利得により乗算されたパラメータ（ｐｉｍ）をまとめてグループ化（Ｒ）する段階と、ｄ）各チャンネル（ｐｇｍ）に適用されるパラメータ合成段階（ＳＹＮＴＨ（１）、．．．、ＳＹＮＴＨ（Ｍ））とを具備する、関連する空間位置の複数の音声ソースを一緒に合成及び空間化するための方法に関する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声処理に関し、具体的には、合成音声ソースの３次元空間化に関する。
【背景技術】
【０００２】
現在、合成音声ソースに対する空間化は多くの場合、音声生成モード、即ち音声が合成される方法を考慮することなく行われる。故に、多数のモデル、特にパラメータが合成のために提案されてきた。同時に、多くの空間化技術も、一方で合成のために選択された技術との比較検討が提案されることなく、提案されてきた。
【０００３】
いわゆる“非パラメータ”方法が合成技術において知られている。メモリに予め記憶されたサンプルを修正するために、特定のパラメータは、もともと使用されない。これら方法の最も良く知られた代表的なものは、従来のウェーブテーブル合成である。
【０００４】
このタイプの技術と対照的なのは、“パラメータ”合成方法であって、非パラメータ方法で生成された信号サンプルの数と比べて低減された数のパラメータを扱うモデルの使用に依存する。パラメータ合成技術は通常、加算的、減算的、ソース／フィルタ又は非線形モデルに依存する。
【０００５】
これらパラメータ方法において、用語“相互”は、異なる音声ソースに対応するパラメータを結合的に扱い、その後全てのソースを除いて単一の合成処理のみ用いることが可能な方法を指すのに使用されうる。いわゆる“正弦関数”方法では通常、周波数スペクトルは、ソースの全音声スペクトルの各部分的要素に対する振幅及び周波数等のパラメータから構成される。実際、逆フーリエ変換の実行後に追加／重複を実行することで、同時に複数の音声ソースに対するかなり効果的な合成をもたらす。
【０００６】
音声ソースの空間化に関して、別の技術が現在知られている。いくつかの技術（“トランスオーラル”又は“バイノーラル”）は、ＨＲＴＦ伝達関数（頭部伝達関数）の考慮に基づき、その関数は、個人の形態学による音波の妨害を表し、これらＨＲＴＦ関数は、その個人に特有である。音声の再生は、通常２つの遠隔ラウドスピーカ上（トランスオーラル）で、又はヘッドセットの２つのイヤーピース（バイノーラル）から、聞き手のＨＲＴＦに適合される。他の技術、例えば“アンビオフォニック”又は“マルチチャンネル”（５．１から１０．１又はそれ以上）は、２つより多いラウドスピーカ上での再生にさらに適合される。
【０００７】
具体的に、特定のＨＲＴＦベースの技術は、ＨＲＴＦの“周波数”及び“位置”変数の分離を用いるので、（統計的変数が周波数である、ＨＲＴＦの共分散行列に固有な第１のｐ値に相当する）一組のｐ基本フィルタを与え、これらフィルタは、（ＨＲＴＦを基本フィルタに投影して求まる）空間関数によって重み付けされている。その後、空間関数は、文献ＵＳ５５００９００に記載のように補間することができる。
【０００８】
複数の音声ソースに対する空間化は、各音声ソースの信号に適用されるマルチチャンネルの実装を用いて実行することができる。空間化チャンネルの利得は、多くの場合時間領域に（場合により周波数領域にも）記述されている、信号の音声サンプルに直接適用される。これら音声サンプルは、これらサンプルの始点とは別に、（前述の位置に対する関数である利得を適用して）空間化アルゴリズムによって処理される。故に、提案された空間化は、ナチュラル音声へ、及び合成音声へ等しく適用可能である。
【０００９】
他方で、各音声ソースは、別個の空間利得を使用できるようにするため、（求めた時間又は周波数信号で）別個に合成する必要がある。従って、Ｎ個の音声ソースに対して、Ｎ回の合成計算をする必要がある。
【００１０】
他方で、音声サンプルに利得を適用することは、時間又は周波数領域から導出するかに関らず、サンプルと同数の乗算を要する。従って、Ｑ個のサンプルからなるブロックに対して、少なくともＮ．Ｍ．Ｑ個の利得を用いる必要があり、Ｍは中間チャンネル（例えばアンビオフォニックチャンネル）の数であり、Ｎはソースの数である。
【００１１】
故に、この技術は、複数の音声ソースを空間化する場合に高い計算コストを伴う。
【００１２】
アンビオフォニック技術の中で、いわゆる“仮想ラウドスピーカ”方法は、利得、特に予め計算されたフィルタによる符号化信号の畳み込みによって実行される復号化を、信号に適用することによって、信号が空間化されるよう符号化できるようにする（Jerome Daniel, [Representation of acoustic field, application to the transmission and reproduction of complex sound scenes in a multimedia context], doctoral thesis, 2000）。
【００１３】
合成及び空間化を組み合わせた、かなり有望な技術は、文献ＷＯ０５／０６９２７２に提示されている。
【００１４】
それは、音声ソースを示す信号に割り当てる振幅を決定して、合成すべきソースの音声強度（例えば“音量”）と、このソースの空間利得との両方を定めることである。この文献は、遅延及び利得（即ち“空間関数”）を考慮したバイノーラル空間化、特に、合成されたソースを空間符号化部分に混合することを明確に開示する。
【００１５】
より具体的に、この文献ＷＯ０５／０６９２７２が意図する、“トーン”からなる構成周波数（例えば基本周波数及びその高調波）に振幅を関連付けることによりソースが合成される、例示的な実施形態は、周波数に適用される連続的な空間化を目的として、合成信号を提供して同一の周波数でまとめてグループ化する。
【００１６】
この例示的な実施形態は、図１に示される。合成ブロックＳＹＮＴＨ（破線）では、合成されたＳ１、．．．、ＳＮに対する各ソースの周波数ｆ０、ｆ１、ｆ２、．．．、ｆｐに、各振幅ａ０１、ａ１１、．．．、ａｐ１、．．．ａｉｊ、．．．、ａ０Ｎ、ａ１Ｎ、．．．、ａｐＮが割り当てられ、一般記号ａｉｊにおいて、ｊは１とＮとの間のソース記号であり、ｉは、０とｐとの間の周波数記号である。明らかに、同一のソースｊに割り当てられる一組のａ０ｊ、ａ１ｊ、．．．、ａｐｊからなる特定の振幅は、対応する周波数がこのソースｊのトーンに現れない場合、ゼロでもよい。
【００１７】
各周波数ｆｉに関する振幅ａｉ１、．．．、ａｉＮは、（バイノーラルに、例えば各ソースに適用すべきインターオーラル遅延をその後提供することによって）周波数に符号化を適用する空間ブロックＳＰＡＴへ周波数毎に適用されるように、まとめてグループ化（“混合”）される。空間ブロックＳＰＡＴから導かれるチャンネルｃ１、．．．、ｃｋからなる信号は、その後一つ以上のネットワークを介して送信されるよう意図され、又は後ほど（適切な空間復号化により必要に応じて先に）再生することを目的として記憶、さもなければ処理される。
【００１８】
この技術は、かなり有望であるが、最適化も保証する。
【００１９】
一般に、現在の方法は、複数の合成された音声ソースを空間化するのにかなりの計算電力を要する。
【発明の開示】
【課題を解決するための手段】
【００２０】
本発明はこの状況を改善する。
【００２１】
このために、本発明は、関連する空間位置にある複数の音声ソースを一緒に合成及び空間化するための方法であって、
ａ）振幅を示す少なくとも一つのパラメータを各ソースに割り当てる段階と、
ｂ）複数のチャンネルへの符号化を実行する空間化段階であって、各振幅パラメータは、空間利得で乗算されるよう複製され、各空間利得は、一方では符号化チャンネルに関して決定され、他方では空間化されるソースに関して決定される、段階と、
ｃ）チャンネル毎に全てのソースに前記乗算されたパラメータの合計を適用することによって、各チャンネルに、利得により乗算されたパラメータをまとめてグループ化する段階と、
ｄ）各チャンネルに適用されるパラメータ合成段階と
を具備する方法を提案する。
【００２２】
故に、本発明はこのために、空間符号化を先ず適用し、次に“疑似合成”を適用することを提案し、用語“疑似”は、通常の合成音声信号にではなく、空間化から導かれる、符号化されたパラメータに合成が特に適用されるという事実に関する。実際、本発明が提案する特徴は、ソースに直接対応する信号の空間符号化を実行することよりむしろ、少数の合成パラメータの空間符号化である。この空間符号化は、振幅を示す合成パラメータに特に適用され、有利には、ソースの各々所望の位置に基づき計算される空間利得をこれら少数の合成パラメータに適用することにある。故に、段階ｂ）において利得で乗算されたパラメータと、段階ｃ）においてまとめてグループ化されたパラメータとは実際に、前述した一般的な先行技術のような音声信号ではないことが分かる。
【００２３】
故に、本発明は、パラメータのうち１つが振幅の次元を有する相互パラメータ合成を用いる。従来技術とは異なり、本発明は故に、空間化を実行するためにそのような合成の利点を採用する。ソース毎に得られた一組の合成パラメータの組合せは、相互パラメータ合成符号化ブロックを全体として有利に制御することができる。
【００２４】
また、本発明は、パラメータ合成モデルからの複数の合成された音声ソースを同時に、及び別個に空間化することができ、空間利得は、時間又は周波数領域のサンプルよりむしろ、合成パラメータに適用される。その後、この実施形態は、低い計算コストを含むので、必要とされる計算電力に実質的な節約を提供する。
【００２５】
本発明が提供する１つの利点によると、合成における段階の数は、ソースの数と独立に成されるので、中間チャンネル毎に単に１つの合成が適用可能である。音声ソースの数に関係なく、合成計算の一定数Ｍのみが提供される。通常、ソースの数Ｎが中間チャンネルの数Ｍより増大する時、本発明は、従来技術による一般的な技法より少ない計算を必要とする。例えば、アンビオフォニックオーダが１で２次元（即ち３つの中間チャンネル）の場合、本発明は、空間化すべき４つのソースのみに対する計算利得を提供するだけである。
【００２６】
また、本発明は、適用すべき利得数を低減することができる。実際、利得は、合成パラメータに適用され、音声サンプルには適用されない。音量のようなパラメータの更新は、信号のサンプリング周波数よりもあまり頻繁でないので、故に計算の節約が得られる。例えば、２００Ｈｚのパラメータ更新周波数（特に音量等）に対して、乗算上の実質的な節約は、４４ １００Ｈｚの信号のサンプリング周波数のために得られる（約２００の割合で）。
【００２７】
本発明を適用する分野は、音楽分野（特に携帯電話の和音着メロ）、マルチメディア分野（特にビデオゲームのサウンドトラック）、仮想現実分野（音楽場面の演出）、シミュレータ（エンジンノイズ合成）、及びその他の分野に等しく関わることができる。
【発明を実施するための最良の形態】
【００２８】
図２を参照すると、振幅を示す少なくとも一つのパラメータｐｉは、合成及び空間化されるように複数のソースＳ１、．．．、ＳＮの中からソースＳｉに割り当てられる（ｉは１とＮとの間）。各パラメータｐｉは、空間ブロックＳＰＡＴに提供されている空間チャンネルと同じ数だけ複製される。Ｍ個の符号化チャンネルが空間化のために提供されることを示す例において、各パラメータｐｉは、各空間利得ｇｉ１、．．．、ｇｉＭを適用するためにＭ倍に複製される（ｉはソースの参照記号Ｓｉを示す）。
【００２９】
その後、それぞれ利得によって乗算されたＮ．Ｍ個のパラメータｐ１ｇ１１、．．．、ｐ１ｇ１Ｍ、．．．、ｐｉｇｉ１、．．．、ｐｉｇｉＭ、．．．、ｐＮｇＮ１、．．．、ｐＮｇＮＭが得られる。
【００３０】
これら乗算されたパラメータはその後、空間チャンネル（全部でＭ個のチャンネル）上でまとめてグループ化され（図２の参照記号Ｒ）即ち、
−ｐ１ｇ１１、．．．、ｐｉｇｉ１、．．．、ｐＮｇＮ１は第１の空間チャンネルｐｇ１にまとめてグループ化され
−ｐ１ｇ１Ｍ、．．．、ｐｉｇｉＭ、．．．、ｐＮｇＮＭは第Ｍの空間チャンネルｐｇＭにまとめてグループ化され、指数記号ｇは、用語“グローバル”を意味する。
【００３１】
故に、新たなパラメータｐｉｍ（ｉは１からＮまで、ｍは１からＭまで変化）は、各ソースの位置から得られるパラメータｐｉを符号化利得ｇｉｍで乗算することにより計算される。パラメータｐｉｍは、（一例では加算により）結合され、パラメータｐｇｍを提供し、パラメータｐｇｍは、Ｍ個の相互パラメータ合成ブロックに送られる。これらＭ個のブロック（図２の参照記号ＳＹＮＴＨ（１）からＳＹＮＴＨ（Ｍ））は、合成モジュールＳＹＮＴＨを構成し、パラメータｐｇｍからの合成により得られたＭ個の時間又は周波数信号ｓｓｍを供給する（ｍは１からＭまで変化）。これらの信号ｓｓｍはその後、図３を参照して以下に説明するように、従来の空間復号化ブロックへ送ることができる。
【００３２】
特定の実施形態において使用される合成は、逆フーリエ変換（ＩＦＦＴ）を用いた加算合成である。
【００３３】
このために、一組のＮ個のソースは、複数のパラメータｐｉ，ｋによって特徴付けられ、そのパラメータは、ｉ番目のソースＳｉに対するｋ番目の周波数要素の周波数領域における振幅を示す。
【００３４】
このソースＳｉに対応する時間信号ｓｉ（ｎ）は、他のソースとは別に合成される場合、以下の式により与えられる。
【００３５】
【数１】
ここで、瞬間ｎにおいて、ｐｉ，ｋは、周波数要素ｆｉ，ｋの振幅であり、φｉ，ｋは、ソースＳｉに対する位相である。
【００３６】
例えば文献ＦＲ−２ ６７９６８９に説明された技術を用いて、与えられたパラメータｐｉ，ｋ、ｆｉ，ｋ及びφｉ，ｋのみから周波数領域の加算合成を供給することができる。
【００３７】
パラメータｐｉ，ｋは、所定のソースＳｉに対して与えられた周波数要素ｋの振幅を示す。故に、パラメータｐｍｉ，ｋは、以下の関係を用いて、各ソース及び各Ｍ個のチャンネルについてそこから推定することができる。
ｐｍｉ，ｋ＝ｇｍｉ・ｐｉ，ｋ、ｍは１からＭまで変化
【００３８】
利得ｇｍｉは、ソースＳｉの所望の位置について、選択された空間符号化に従って、予め定められる。
【００３９】
例えばアンビオフォニック符号化（ambiophonic encoding）の場合、これら利得は、球面調和関数に対応し、ｇｍｉ＝Ｙｍ（θｉ、δｉ）と表現でき、
−Ｙｍはｍ番目の球面調和関数であり
−θｉ及びδｉはそれぞれ、ソースＳｉに対する所望の方位角及び位置である。
【００４０】
パラメータｐｍｉ，ｋはその後、単一のグローバルパラメータ
【００４１】
【数２】
を求めるために周波数毎に結合され、ここでｋ´は、全ソースＳｉに存する全周波数ｆｉ，ｋを記述する。
【００４２】
実際、共通周波数が同時に複数のソースを特徴付けできるので、ｋ´の値は、ｋ．ｉより低い。一つの実施形態において、特定のソース周波数に対する特定の振幅パラメータがゼロの場合、同一のグローバルな一組の周波数を全ソースに関連付けるような仮定が可能である。
【００４３】
この場合、ｋ及びｋ´の値は同じで、前述の関係式は簡単に以下のように表せる。
【００４４】
【数３】
【００４５】
合成段階は、これらパラメータｐｍｇ，ｋ（ｍは１からＭまで変化）を用いて、合成モジュールＳＹＮＴＨから導出されるＭ個の周波数スペクトルｓｓｍ（ω）の各々を合成することにある。このために、時間窓のフーリエ変換（例えばハニング）に対応し、周波数ｆｋ上で予めサンプル化され、集計され、中央に置かれ、その後以下の式で表す、ｐｍｇ，ｋで重み付けされるスペクトル包絡線を繰返し追加することによって、ＦＲ−２ ６７９６８９に記載の技術を適用するような仮定が可能であり、ここでｅｎｖｋ（ω）は、周波数ｆｋ上で中央に置かれたスペクトル包絡線である。
【００４６】
【数４】
【００４７】
この実施形態は、図４に図示される。Ｋ個の振幅パラメータｐｉ，ｋは、各ソースＳｉに割り当てられる。ソースの指数ｉは、１とＮとの間である。周波数の指数ｋは、１とＫとの間である。ソースＳｉ毎に、これらＫ個のパラメータは、空間利得ｇｉｍによって各々乗算されるようＭ倍に複製される。空間符号化チャンネルの指数ｍは１とＭとの間である。
【００４８】
各チャンネルｍにおいて、積ｇｉｍ・ｐｉ，ｋに対するＫ個の結果は、以下の式に従い周波数毎にまとめてグループ化される。
【００４９】
【数５】
ここで、ｋは各チャンネルｍにおいて１からＫまで変化し、ｍは１からＭまでグローバルに変化する。
【００５０】
故に各チャンネルｍにおいて、サブチャンネルｐｍｇ，ｋが提供され、それぞれ周波数要素ｋに関連付けられ、指数ｇは用語“グローバル”を意味する。
【００５１】
その後の処理は継続し、全てのＫ個のサブチャンネル（ｋは１とＫとの間）について、及びグローバルに、全てのＭ個のチャンネル（ｍは１とＭとの間）について、この周波数ｆｋ上で中央に置かれたスペクトル包絡線ｅｎｖｋ（ω）によって、周波数ｆｋに関連付けられた各サブチャンネルｐｍｇ，ｋのグローバルパラメータを乗算する。その後、Ｋ個のサブチャンネルは、以下の関係式に従い各チャンネルｍについて合計される。
【００５２】
【数６】
ここでｍは、全体で１からＭ個のチャンネルに及ぶ。
【００５３】
その後、信号ｓｓｍ（ω）が求められ、その空間化に関して符号化され、本発明に従い合成される。それらは周波数領域で表される。
【００５４】
これらＭ個の信号を時間領域（即ちＳＳｍ（ｎ））に至らしめるには、逆フーリエ変換（ＩＦＦＴ）をそれらにその後適用することができる。
ＳＳｍ（ｎ）＝ＩＦＦＴ（ＳＳｍ（ω））
【００５５】
連続フレームによる処理は、従来の追加／重複技術により実行可能である。
【００５６】
Ｍ個の時間信号ＳＳｍ（ｎ）の各々はその後、空間復号化ブロックに供給可能である。
【００５７】
このために、例えば図３に示すように、各信号ＳＳｍ（ｎ）について一対の整合フィルタＦｇｍ（ｎ）、Ｆｄｍ（ｎ）を畳み込みで使用し、左右両チャンネルを備えたバイノーラル再生にアンビオフォニック符号化を適合するよう提供可能である。
【００５８】
アンビオフォニック／バイノーラル移行のようなこれらフィルタは、前述の仮想ラウドスピーカ技術を用いて求めることができる。
【００５９】
図３の空間復号化ブロックＤＥＣＯＤが実行する処理は、以下のタイプでもよい。
ＳＳｍｇ（ｎ）＝（ＳＳｍ＊Ｆｇｍ）（ｎ）
ＳＳｍｄ（ｎ）＝（ＳＳｍ＊Ｆｄｍ）（ｎ）
【００６０】
フィルタリング後、左右の耳に向けられた全信号は、各々合計され、故に一対のバイノーラル信号が求められる。
【００６１】
【数７】
その後、２つのイヤーピースを備えたヘッドセットのスピーカに送られる。
【００６２】
ここで、以下により有利な実施形態の変形について記載する。バイノーラル形式にアンビオフォニックフォーマットを適合するフィルタは、周波数領域で直接用いられるので、時間領域の畳み込みと対応する計算費用とを回避することができる。
【００６３】
このために、Ｍ個の周波数スペクトルＳＳｍ（ω）の各々は、時間フィルタの各フーリエ変換（一定数のポイントを有するよう調節された）Ｆｇｍ（ω）及びＦｄｍ（ω）によって直接乗算され、以下のように表せる。
ＳＳｍｇ（ω）＝ＳＳｍ（ω）．Ｆｇｍ（ω）
ＳＳｍｄ（ω）＝ＳＳｍ（ω）．Ｆｄｍ（ω）
【００６４】
その後、スペクトルは、逆フーリエ変換の実行と追加／重複の動作との前に各耳について合計され、即ち以下のようになる。
【００６５】
【数８】
【００６６】
その後、時間領域で再生装置に送られる信号を表すために、逆フーリエ変換が使用される。
Ｓｇ（ｎ）＝ＩＦＦＴ（Ｓｇ（ω））
Ｓｄ（ｎ）＝ＩＦＦＴ（Ｓｄ（ω））
【００６７】
また、本発明は、コンピュータプログラム製品に向けられ、中央ユニットの、もしくは端末のメモリに、又は特にこの中央ユニットのドライブと協働する取り外し可能な媒体（ＣＤ−ＲＯＭ、ディスケット、その他）上に記憶可能であり、又は通信ネットワークを介してもダウンロード可能である。このプログラムは、特に前述の方法と、そのような方法の段階を要約した図５に一例として示しうるフロー図と、を実行するための命令を含む。
【００６８】
段階ａ）は、各ソースＳｉに振幅を示すパラメータを割り当てることを対象とする。例では、パラメータｐｉ，ｋは、前述のような各周波数要素ｆｋに割り当てられる。
【００６９】
段階ｂ）は、符号化チャンネルの利得ｇｉｍによるこれらパラメータの複製とその乗算とを対象とする。
【００７０】
段階ｃ）は、特に全てのソースＳｉに対するその合計の計算に、段階ｂ）で求めた積をまとめてグループ化することを対象とする。
【００７１】
段階ｄ）は、前述のようなスペクトル包絡線ｅｎｖｋによる乗算を用いたパラメータ合成を行ってから、全周波数要素に対する加算をチャンネル毎に適用することによりサブチャンネルをまとめてグループ化することを対象とする（指数ｋは１からＫに及ぶ）。
【００７２】
段階ｅ）は、２つのラウドスピーカ上で再生するために、例えばバイノーラル形式において、周波数領域で合成、空間化及び表現される、各チャンネルから導かれる信号ｓｓｍの空間復号化を対象とする。
【００７３】
また、本発明は、プロセッサと、具体的には前述のコンピュータプログラム製品の命令を専用に記憶するワーキングメモリとを特に含む、合成され空間化された音声を生成するための装置を対象とする。
【００７４】
もちろん、本発明は、一例であって前述の実施形態に限定されず、他の変形実施形態にも及ぶ。
【００７５】
故に、アンビオフォニック形式の空間符号化は、一例として前述され、図２のモジュールＳＰＡＴによって実行され、次にアンビオフォニック形式からバイノーラル形式に適合される。その変形として、例えばバイノーラル形式に符号化を直接用いるような仮定が可能である。
【００７６】
また、パラメータ合成のスペクトル包絡線による乗算は、一例として前述され、他の形式も変形実施形態として提供できる。
【図面の簡単な説明】
【００７７】
【図１】図１は、従来技術に関する。
【図２】図２は、本発明による方法で提供された一般的な空間化及び合成処理を示す。
【図３】図３は、再生することを目的とした空間復号化のために、空間化及び合成された信号を処理することを示す。
【図４】図４は、各々が周波数要素に関連付けられた複数の振幅パラメータが各ソースに割り当てられている特定の実施形態を示す。
【図５】図５は、本発明による方法の段階を示し、本発明を実行するためのコンピュータプログラムのフロー図に対応することができる。
【技術分野】
【０００１】
本発明は、音声処理に関し、具体的には、合成音声ソースの３次元空間化に関する。
【背景技術】
【０００２】
現在、合成音声ソースに対する空間化は多くの場合、音声生成モード、即ち音声が合成される方法を考慮することなく行われる。故に、多数のモデル、特にパラメータが合成のために提案されてきた。同時に、多くの空間化技術も、一方で合成のために選択された技術との比較検討が提案されることなく、提案されてきた。
【０００３】
いわゆる“非パラメータ”方法が合成技術において知られている。メモリに予め記憶されたサンプルを修正するために、特定のパラメータは、もともと使用されない。これら方法の最も良く知られた代表的なものは、従来のウェーブテーブル合成である。
【０００４】
このタイプの技術と対照的なのは、“パラメータ”合成方法であって、非パラメータ方法で生成された信号サンプルの数と比べて低減された数のパラメータを扱うモデルの使用に依存する。パラメータ合成技術は通常、加算的、減算的、ソース／フィルタ又は非線形モデルに依存する。
【０００５】
これらパラメータ方法において、用語“相互”は、異なる音声ソースに対応するパラメータを結合的に扱い、その後全てのソースを除いて単一の合成処理のみ用いることが可能な方法を指すのに使用されうる。いわゆる“正弦関数”方法では通常、周波数スペクトルは、ソースの全音声スペクトルの各部分的要素に対する振幅及び周波数等のパラメータから構成される。実際、逆フーリエ変換の実行後に追加／重複を実行することで、同時に複数の音声ソースに対するかなり効果的な合成をもたらす。
【０００６】
音声ソースの空間化に関して、別の技術が現在知られている。いくつかの技術（“トランスオーラル”又は“バイノーラル”）は、ＨＲＴＦ伝達関数（頭部伝達関数）の考慮に基づき、その関数は、個人の形態学による音波の妨害を表し、これらＨＲＴＦ関数は、その個人に特有である。音声の再生は、通常２つの遠隔ラウドスピーカ上（トランスオーラル）で、又はヘッドセットの２つのイヤーピース（バイノーラル）から、聞き手のＨＲＴＦに適合される。他の技術、例えば“アンビオフォニック”又は“マルチチャンネル”（５．１から１０．１又はそれ以上）は、２つより多いラウドスピーカ上での再生にさらに適合される。
【０００７】
具体的に、特定のＨＲＴＦベースの技術は、ＨＲＴＦの“周波数”及び“位置”変数の分離を用いるので、（統計的変数が周波数である、ＨＲＴＦの共分散行列に固有な第１のｐ値に相当する）一組のｐ基本フィルタを与え、これらフィルタは、（ＨＲＴＦを基本フィルタに投影して求まる）空間関数によって重み付けされている。その後、空間関数は、文献ＵＳ５５００９００に記載のように補間することができる。
【０００８】
複数の音声ソースに対する空間化は、各音声ソースの信号に適用されるマルチチャンネルの実装を用いて実行することができる。空間化チャンネルの利得は、多くの場合時間領域に（場合により周波数領域にも）記述されている、信号の音声サンプルに直接適用される。これら音声サンプルは、これらサンプルの始点とは別に、（前述の位置に対する関数である利得を適用して）空間化アルゴリズムによって処理される。故に、提案された空間化は、ナチュラル音声へ、及び合成音声へ等しく適用可能である。
【０００９】
他方で、各音声ソースは、別個の空間利得を使用できるようにするため、（求めた時間又は周波数信号で）別個に合成する必要がある。従って、Ｎ個の音声ソースに対して、Ｎ回の合成計算をする必要がある。
【００１０】
他方で、音声サンプルに利得を適用することは、時間又は周波数領域から導出するかに関らず、サンプルと同数の乗算を要する。従って、Ｑ個のサンプルからなるブロックに対して、少なくともＮ．Ｍ．Ｑ個の利得を用いる必要があり、Ｍは中間チャンネル（例えばアンビオフォニックチャンネル）の数であり、Ｎはソースの数である。
【００１１】
故に、この技術は、複数の音声ソースを空間化する場合に高い計算コストを伴う。
【００１２】
アンビオフォニック技術の中で、いわゆる“仮想ラウドスピーカ”方法は、利得、特に予め計算されたフィルタによる符号化信号の畳み込みによって実行される復号化を、信号に適用することによって、信号が空間化されるよう符号化できるようにする（Jerome Daniel, [Representation of acoustic field, application to the transmission and reproduction of complex sound scenes in a multimedia context], doctoral thesis, 2000）。
【００１３】
合成及び空間化を組み合わせた、かなり有望な技術は、文献ＷＯ０５／０６９２７２に提示されている。
【００１４】
それは、音声ソースを示す信号に割り当てる振幅を決定して、合成すべきソースの音声強度（例えば“音量”）と、このソースの空間利得との両方を定めることである。この文献は、遅延及び利得（即ち“空間関数”）を考慮したバイノーラル空間化、特に、合成されたソースを空間符号化部分に混合することを明確に開示する。
【００１５】
より具体的に、この文献ＷＯ０５／０６９２７２が意図する、“トーン”からなる構成周波数（例えば基本周波数及びその高調波）に振幅を関連付けることによりソースが合成される、例示的な実施形態は、周波数に適用される連続的な空間化を目的として、合成信号を提供して同一の周波数でまとめてグループ化する。
【００１６】
この例示的な実施形態は、図１に示される。合成ブロックＳＹＮＴＨ（破線）では、合成されたＳ１、．．．、ＳＮに対する各ソースの周波数ｆ０、ｆ１、ｆ２、．．．、ｆｐに、各振幅ａ０１、ａ１１、．．．、ａｐ１、．．．ａｉｊ、．．．、ａ０Ｎ、ａ１Ｎ、．．．、ａｐＮが割り当てられ、一般記号ａｉｊにおいて、ｊは１とＮとの間のソース記号であり、ｉは、０とｐとの間の周波数記号である。明らかに、同一のソースｊに割り当てられる一組のａ０ｊ、ａ１ｊ、．．．、ａｐｊからなる特定の振幅は、対応する周波数がこのソースｊのトーンに現れない場合、ゼロでもよい。
【００１７】
各周波数ｆｉに関する振幅ａｉ１、．．．、ａｉＮは、（バイノーラルに、例えば各ソースに適用すべきインターオーラル遅延をその後提供することによって）周波数に符号化を適用する空間ブロックＳＰＡＴへ周波数毎に適用されるように、まとめてグループ化（“混合”）される。空間ブロックＳＰＡＴから導かれるチャンネルｃ１、．．．、ｃｋからなる信号は、その後一つ以上のネットワークを介して送信されるよう意図され、又は後ほど（適切な空間復号化により必要に応じて先に）再生することを目的として記憶、さもなければ処理される。
【００１８】
この技術は、かなり有望であるが、最適化も保証する。
【００１９】
一般に、現在の方法は、複数の合成された音声ソースを空間化するのにかなりの計算電力を要する。
【発明の開示】
【課題を解決するための手段】
【００２０】
本発明はこの状況を改善する。
【００２１】
このために、本発明は、関連する空間位置にある複数の音声ソースを一緒に合成及び空間化するための方法であって、
ａ）振幅を示す少なくとも一つのパラメータを各ソースに割り当てる段階と、
ｂ）複数のチャンネルへの符号化を実行する空間化段階であって、各振幅パラメータは、空間利得で乗算されるよう複製され、各空間利得は、一方では符号化チャンネルに関して決定され、他方では空間化されるソースに関して決定される、段階と、
ｃ）チャンネル毎に全てのソースに前記乗算されたパラメータの合計を適用することによって、各チャンネルに、利得により乗算されたパラメータをまとめてグループ化する段階と、
ｄ）各チャンネルに適用されるパラメータ合成段階と
を具備する方法を提案する。
【００２２】
故に、本発明はこのために、空間符号化を先ず適用し、次に“疑似合成”を適用することを提案し、用語“疑似”は、通常の合成音声信号にではなく、空間化から導かれる、符号化されたパラメータに合成が特に適用されるという事実に関する。実際、本発明が提案する特徴は、ソースに直接対応する信号の空間符号化を実行することよりむしろ、少数の合成パラメータの空間符号化である。この空間符号化は、振幅を示す合成パラメータに特に適用され、有利には、ソースの各々所望の位置に基づき計算される空間利得をこれら少数の合成パラメータに適用することにある。故に、段階ｂ）において利得で乗算されたパラメータと、段階ｃ）においてまとめてグループ化されたパラメータとは実際に、前述した一般的な先行技術のような音声信号ではないことが分かる。
【００２３】
故に、本発明は、パラメータのうち１つが振幅の次元を有する相互パラメータ合成を用いる。従来技術とは異なり、本発明は故に、空間化を実行するためにそのような合成の利点を採用する。ソース毎に得られた一組の合成パラメータの組合せは、相互パラメータ合成符号化ブロックを全体として有利に制御することができる。
【００２４】
また、本発明は、パラメータ合成モデルからの複数の合成された音声ソースを同時に、及び別個に空間化することができ、空間利得は、時間又は周波数領域のサンプルよりむしろ、合成パラメータに適用される。その後、この実施形態は、低い計算コストを含むので、必要とされる計算電力に実質的な節約を提供する。
【００２５】
本発明が提供する１つの利点によると、合成における段階の数は、ソースの数と独立に成されるので、中間チャンネル毎に単に１つの合成が適用可能である。音声ソースの数に関係なく、合成計算の一定数Ｍのみが提供される。通常、ソースの数Ｎが中間チャンネルの数Ｍより増大する時、本発明は、従来技術による一般的な技法より少ない計算を必要とする。例えば、アンビオフォニックオーダが１で２次元（即ち３つの中間チャンネル）の場合、本発明は、空間化すべき４つのソースのみに対する計算利得を提供するだけである。
【００２６】
また、本発明は、適用すべき利得数を低減することができる。実際、利得は、合成パラメータに適用され、音声サンプルには適用されない。音量のようなパラメータの更新は、信号のサンプリング周波数よりもあまり頻繁でないので、故に計算の節約が得られる。例えば、２００Ｈｚのパラメータ更新周波数（特に音量等）に対して、乗算上の実質的な節約は、４４ １００Ｈｚの信号のサンプリング周波数のために得られる（約２００の割合で）。
【００２７】
本発明を適用する分野は、音楽分野（特に携帯電話の和音着メロ）、マルチメディア分野（特にビデオゲームのサウンドトラック）、仮想現実分野（音楽場面の演出）、シミュレータ（エンジンノイズ合成）、及びその他の分野に等しく関わることができる。
【発明を実施するための最良の形態】
【００２８】
図２を参照すると、振幅を示す少なくとも一つのパラメータｐｉは、合成及び空間化されるように複数のソースＳ１、．．．、ＳＮの中からソースＳｉに割り当てられる（ｉは１とＮとの間）。各パラメータｐｉは、空間ブロックＳＰＡＴに提供されている空間チャンネルと同じ数だけ複製される。Ｍ個の符号化チャンネルが空間化のために提供されることを示す例において、各パラメータｐｉは、各空間利得ｇｉ１、．．．、ｇｉＭを適用するためにＭ倍に複製される（ｉはソースの参照記号Ｓｉを示す）。
【００２９】
その後、それぞれ利得によって乗算されたＮ．Ｍ個のパラメータｐ１ｇ１１、．．．、ｐ１ｇ１Ｍ、．．．、ｐｉｇｉ１、．．．、ｐｉｇｉＭ、．．．、ｐＮｇＮ１、．．．、ｐＮｇＮＭが得られる。
【００３０】
これら乗算されたパラメータはその後、空間チャンネル（全部でＭ個のチャンネル）上でまとめてグループ化され（図２の参照記号Ｒ）即ち、
−ｐ１ｇ１１、．．．、ｐｉｇｉ１、．．．、ｐＮｇＮ１は第１の空間チャンネルｐｇ１にまとめてグループ化され
−ｐ１ｇ１Ｍ、．．．、ｐｉｇｉＭ、．．．、ｐＮｇＮＭは第Ｍの空間チャンネルｐｇＭにまとめてグループ化され、指数記号ｇは、用語“グローバル”を意味する。
【００３１】
故に、新たなパラメータｐｉｍ（ｉは１からＮまで、ｍは１からＭまで変化）は、各ソースの位置から得られるパラメータｐｉを符号化利得ｇｉｍで乗算することにより計算される。パラメータｐｉｍは、（一例では加算により）結合され、パラメータｐｇｍを提供し、パラメータｐｇｍは、Ｍ個の相互パラメータ合成ブロックに送られる。これらＭ個のブロック（図２の参照記号ＳＹＮＴＨ（１）からＳＹＮＴＨ（Ｍ））は、合成モジュールＳＹＮＴＨを構成し、パラメータｐｇｍからの合成により得られたＭ個の時間又は周波数信号ｓｓｍを供給する（ｍは１からＭまで変化）。これらの信号ｓｓｍはその後、図３を参照して以下に説明するように、従来の空間復号化ブロックへ送ることができる。
【００３２】
特定の実施形態において使用される合成は、逆フーリエ変換（ＩＦＦＴ）を用いた加算合成である。
【００３３】
このために、一組のＮ個のソースは、複数のパラメータｐｉ，ｋによって特徴付けられ、そのパラメータは、ｉ番目のソースＳｉに対するｋ番目の周波数要素の周波数領域における振幅を示す。
【００３４】
このソースＳｉに対応する時間信号ｓｉ（ｎ）は、他のソースとは別に合成される場合、以下の式により与えられる。
【００３５】
【数１】
ここで、瞬間ｎにおいて、ｐｉ，ｋは、周波数要素ｆｉ，ｋの振幅であり、φｉ，ｋは、ソースＳｉに対する位相である。
【００３６】
例えば文献ＦＲ−２ ６７９６８９に説明された技術を用いて、与えられたパラメータｐｉ，ｋ、ｆｉ，ｋ及びφｉ，ｋのみから周波数領域の加算合成を供給することができる。
【００３７】
パラメータｐｉ，ｋは、所定のソースＳｉに対して与えられた周波数要素ｋの振幅を示す。故に、パラメータｐｍｉ，ｋは、以下の関係を用いて、各ソース及び各Ｍ個のチャンネルについてそこから推定することができる。
ｐｍｉ，ｋ＝ｇｍｉ・ｐｉ，ｋ、ｍは１からＭまで変化
【００３８】
利得ｇｍｉは、ソースＳｉの所望の位置について、選択された空間符号化に従って、予め定められる。
【００３９】
例えばアンビオフォニック符号化（ambiophonic encoding）の場合、これら利得は、球面調和関数に対応し、ｇｍｉ＝Ｙｍ（θｉ、δｉ）と表現でき、
−Ｙｍはｍ番目の球面調和関数であり
−θｉ及びδｉはそれぞれ、ソースＳｉに対する所望の方位角及び位置である。
【００４０】
パラメータｐｍｉ，ｋはその後、単一のグローバルパラメータ
【００４１】
【数２】
を求めるために周波数毎に結合され、ここでｋ´は、全ソースＳｉに存する全周波数ｆｉ，ｋを記述する。
【００４２】
実際、共通周波数が同時に複数のソースを特徴付けできるので、ｋ´の値は、ｋ．ｉより低い。一つの実施形態において、特定のソース周波数に対する特定の振幅パラメータがゼロの場合、同一のグローバルな一組の周波数を全ソースに関連付けるような仮定が可能である。
【００４３】
この場合、ｋ及びｋ´の値は同じで、前述の関係式は簡単に以下のように表せる。
【００４４】
【数３】
【００４５】
合成段階は、これらパラメータｐｍｇ，ｋ（ｍは１からＭまで変化）を用いて、合成モジュールＳＹＮＴＨから導出されるＭ個の周波数スペクトルｓｓｍ（ω）の各々を合成することにある。このために、時間窓のフーリエ変換（例えばハニング）に対応し、周波数ｆｋ上で予めサンプル化され、集計され、中央に置かれ、その後以下の式で表す、ｐｍｇ，ｋで重み付けされるスペクトル包絡線を繰返し追加することによって、ＦＲ−２ ６７９６８９に記載の技術を適用するような仮定が可能であり、ここでｅｎｖｋ（ω）は、周波数ｆｋ上で中央に置かれたスペクトル包絡線である。
【００４６】
【数４】
【００４７】
この実施形態は、図４に図示される。Ｋ個の振幅パラメータｐｉ，ｋは、各ソースＳｉに割り当てられる。ソースの指数ｉは、１とＮとの間である。周波数の指数ｋは、１とＫとの間である。ソースＳｉ毎に、これらＫ個のパラメータは、空間利得ｇｉｍによって各々乗算されるようＭ倍に複製される。空間符号化チャンネルの指数ｍは１とＭとの間である。
【００４８】
各チャンネルｍにおいて、積ｇｉｍ・ｐｉ，ｋに対するＫ個の結果は、以下の式に従い周波数毎にまとめてグループ化される。
【００４９】
【数５】
ここで、ｋは各チャンネルｍにおいて１からＫまで変化し、ｍは１からＭまでグローバルに変化する。
【００５０】
故に各チャンネルｍにおいて、サブチャンネルｐｍｇ，ｋが提供され、それぞれ周波数要素ｋに関連付けられ、指数ｇは用語“グローバル”を意味する。
【００５１】
その後の処理は継続し、全てのＫ個のサブチャンネル（ｋは１とＫとの間）について、及びグローバルに、全てのＭ個のチャンネル（ｍは１とＭとの間）について、この周波数ｆｋ上で中央に置かれたスペクトル包絡線ｅｎｖｋ（ω）によって、周波数ｆｋに関連付けられた各サブチャンネルｐｍｇ，ｋのグローバルパラメータを乗算する。その後、Ｋ個のサブチャンネルは、以下の関係式に従い各チャンネルｍについて合計される。
【００５２】
【数６】
ここでｍは、全体で１からＭ個のチャンネルに及ぶ。
【００５３】
その後、信号ｓｓｍ（ω）が求められ、その空間化に関して符号化され、本発明に従い合成される。それらは周波数領域で表される。
【００５４】
これらＭ個の信号を時間領域（即ちＳＳｍ（ｎ））に至らしめるには、逆フーリエ変換（ＩＦＦＴ）をそれらにその後適用することができる。
ＳＳｍ（ｎ）＝ＩＦＦＴ（ＳＳｍ（ω））
【００５５】
連続フレームによる処理は、従来の追加／重複技術により実行可能である。
【００５６】
Ｍ個の時間信号ＳＳｍ（ｎ）の各々はその後、空間復号化ブロックに供給可能である。
【００５７】
このために、例えば図３に示すように、各信号ＳＳｍ（ｎ）について一対の整合フィルタＦｇｍ（ｎ）、Ｆｄｍ（ｎ）を畳み込みで使用し、左右両チャンネルを備えたバイノーラル再生にアンビオフォニック符号化を適合するよう提供可能である。
【００５８】
アンビオフォニック／バイノーラル移行のようなこれらフィルタは、前述の仮想ラウドスピーカ技術を用いて求めることができる。
【００５９】
図３の空間復号化ブロックＤＥＣＯＤが実行する処理は、以下のタイプでもよい。
ＳＳｍｇ（ｎ）＝（ＳＳｍ＊Ｆｇｍ）（ｎ）
ＳＳｍｄ（ｎ）＝（ＳＳｍ＊Ｆｄｍ）（ｎ）
【００６０】
フィルタリング後、左右の耳に向けられた全信号は、各々合計され、故に一対のバイノーラル信号が求められる。
【００６１】
【数７】
その後、２つのイヤーピースを備えたヘッドセットのスピーカに送られる。
【００６２】
ここで、以下により有利な実施形態の変形について記載する。バイノーラル形式にアンビオフォニックフォーマットを適合するフィルタは、周波数領域で直接用いられるので、時間領域の畳み込みと対応する計算費用とを回避することができる。
【００６３】
このために、Ｍ個の周波数スペクトルＳＳｍ（ω）の各々は、時間フィルタの各フーリエ変換（一定数のポイントを有するよう調節された）Ｆｇｍ（ω）及びＦｄｍ（ω）によって直接乗算され、以下のように表せる。
ＳＳｍｇ（ω）＝ＳＳｍ（ω）．Ｆｇｍ（ω）
ＳＳｍｄ（ω）＝ＳＳｍ（ω）．Ｆｄｍ（ω）
【００６４】
その後、スペクトルは、逆フーリエ変換の実行と追加／重複の動作との前に各耳について合計され、即ち以下のようになる。
【００６５】
【数８】
【００６６】
その後、時間領域で再生装置に送られる信号を表すために、逆フーリエ変換が使用される。
Ｓｇ（ｎ）＝ＩＦＦＴ（Ｓｇ（ω））
Ｓｄ（ｎ）＝ＩＦＦＴ（Ｓｄ（ω））
【００６７】
また、本発明は、コンピュータプログラム製品に向けられ、中央ユニットの、もしくは端末のメモリに、又は特にこの中央ユニットのドライブと協働する取り外し可能な媒体（ＣＤ−ＲＯＭ、ディスケット、その他）上に記憶可能であり、又は通信ネットワークを介してもダウンロード可能である。このプログラムは、特に前述の方法と、そのような方法の段階を要約した図５に一例として示しうるフロー図と、を実行するための命令を含む。
【００６８】
段階ａ）は、各ソースＳｉに振幅を示すパラメータを割り当てることを対象とする。例では、パラメータｐｉ，ｋは、前述のような各周波数要素ｆｋに割り当てられる。
【００６９】
段階ｂ）は、符号化チャンネルの利得ｇｉｍによるこれらパラメータの複製とその乗算とを対象とする。
【００７０】
段階ｃ）は、特に全てのソースＳｉに対するその合計の計算に、段階ｂ）で求めた積をまとめてグループ化することを対象とする。
【００７１】
段階ｄ）は、前述のようなスペクトル包絡線ｅｎｖｋによる乗算を用いたパラメータ合成を行ってから、全周波数要素に対する加算をチャンネル毎に適用することによりサブチャンネルをまとめてグループ化することを対象とする（指数ｋは１からＫに及ぶ）。
【００７２】
段階ｅ）は、２つのラウドスピーカ上で再生するために、例えばバイノーラル形式において、周波数領域で合成、空間化及び表現される、各チャンネルから導かれる信号ｓｓｍの空間復号化を対象とする。
【００７３】
また、本発明は、プロセッサと、具体的には前述のコンピュータプログラム製品の命令を専用に記憶するワーキングメモリとを特に含む、合成され空間化された音声を生成するための装置を対象とする。
【００７４】
もちろん、本発明は、一例であって前述の実施形態に限定されず、他の変形実施形態にも及ぶ。
【００７５】
故に、アンビオフォニック形式の空間符号化は、一例として前述され、図２のモジュールＳＰＡＴによって実行され、次にアンビオフォニック形式からバイノーラル形式に適合される。その変形として、例えばバイノーラル形式に符号化を直接用いるような仮定が可能である。
【００７６】
また、パラメータ合成のスペクトル包絡線による乗算は、一例として前述され、他の形式も変形実施形態として提供できる。
【図面の簡単な説明】
【００７７】
【図１】図１は、従来技術に関する。
【図２】図２は、本発明による方法で提供された一般的な空間化及び合成処理を示す。
【図３】図３は、再生することを目的とした空間復号化のために、空間化及び合成された信号を処理することを示す。
【図４】図４は、各々が周波数要素に関連付けられた複数の振幅パラメータが各ソースに割り当てられている特定の実施形態を示す。
【図５】図５は、本発明による方法の段階を示し、本発明を実行するためのコンピュータプログラムのフロー図に対応することができる。
【特許請求の範囲】
【請求項１】
関連する空間位置の複数の音声ソースを一緒に合成及び空間化するための方法であって、
ａ）振幅を示す少なくとも一つのパラメータ（ｐｉ）を各ソースに割り当てる段階と、
ｂ）複数のチャンネルへの符号化を実行する空間化段階であって、各振幅パラメータ（ｐｉ）は、空間利得（ｇｉｍ）で乗算されるよう複製され、各空間利得は、一方では符号化チャンネル（ｐｇｍ）に関して決定され、他方では空間化されるソース（Ｓｉ）に関して決定される、段階と、
ｃ）チャンネル（ｐｇｍ）毎に全てのソース（Ｓｉ）に前記乗算されたパラメータ（ｐｉｍ）の合計を適用することによって、各チャンネル（ｐｇ１、．．．、ｐｇＭ）に、利得により乗算されたパラメータ（ｐｉｍ）をまとめてグループ化（Ｒ）する段階と、
ｄ）各チャンネル（ｐｇｍ）に適用されるパラメータ合成段階（ＳＹＮＴＨ（１）、．．．、ＳＹＮＴＨ（Ｍ））と
を具備することを特徴とする方法。
【請求項２】
ａ）各ソース（Ｓｉ）は、周波数要素（ｆｋ）の振幅を各々示す複数のパラメータ（ｐｉ，ｋ）が割り当てられ、
ｂ）周波数要素（ｆｋ）を示す各振幅パラメータ（ｐｉ，ｋ）は、空間利得（ｇｉｍ）で乗算されるよう複製され、各空間利得は、一方では符号化チャンネル（ｐｇｍ）に関して決定され、他方では空間化されるソース（Ｓｉ）に関して決定され、
ｃ）各チャンネルにおいて、周波数要素（ｆｋ）に各々関連付けられたサブチャンネル（ｐｇ，ｋｍ）に、利得（ｇｉｍ）によるパラメータ（ｐｉ，ｋ）の積を周波数要素毎にまとめてグループ化する
ことを特徴とする請求項１に記載の方法。
【請求項３】
ｄ１）周波数要素（ｆｋ）に関連付けられた各サブチャンネルの出力を、前記周波数要素（ｆｋ）に対応する周波数上で中央に置かれたスペクトル包絡線（ｅｎｖｋ）によって乗算する過程と、
ｄ２）過程ｄ１）から求まる積を、周波数要素（ｆｋ）にわたる合計によってまとめてグループ化する過程と
によって合成が各チャンネルで行われ、空間的に符号化及び合成された、各チャンネルから導かれた信号（ｓｓｍ）を過程ｄ２）の次に求めることを特徴とする請求項２に記載の方法。
【請求項４】
空間化は、アンビオフォニック符号化により行われ、ソースに割り当てられる振幅を示すパラメータは、球面調和振幅（Ｙｍ）に対応することを特徴とする請求項１〜３のうち何れか１項に記載の方法。
【請求項５】
アンビオフォニック符号化から復号化へ切換えてバイノーラル空間化モードで再生するために、過程ｄ２）の後に各チャンネルから導かれる積の結果に対して、処理が周波数領域で直接適用されることを特徴とする、請求項３と組み合わせて、請求項４に記載の方法。
【請求項６】
中央ユニットの、若しくは端末のメモリに、及び／又は前記中央ユニットのドライブと特に協働する取り外し可能媒体に記憶され、及び／又は通信ネットワークを介してダウンロード可能であり、請求項１〜５のうち何れか１項に記載の方法を実行するための命令を含むことを特徴とするコンピュータプログラム製品。
【請求項７】
空間化された合成音声を生成し、プロセッサを特に具備し、請求項６に記載のコンピュータプログラム製品の命令を記憶するワーキングメモリをさらに具備することを特徴とするモジュール。
【請求項１】
関連する空間位置の複数の音声ソースを一緒に合成及び空間化するための方法であって、
ａ）振幅を示す少なくとも一つのパラメータ（ｐｉ）を各ソースに割り当てる段階と、
ｂ）複数のチャンネルへの符号化を実行する空間化段階であって、各振幅パラメータ（ｐｉ）は、空間利得（ｇｉｍ）で乗算されるよう複製され、各空間利得は、一方では符号化チャンネル（ｐｇｍ）に関して決定され、他方では空間化されるソース（Ｓｉ）に関して決定される、段階と、
ｃ）チャンネル（ｐｇｍ）毎に全てのソース（Ｓｉ）に前記乗算されたパラメータ（ｐｉｍ）の合計を適用することによって、各チャンネル（ｐｇ１、．．．、ｐｇＭ）に、利得により乗算されたパラメータ（ｐｉｍ）をまとめてグループ化（Ｒ）する段階と、
ｄ）各チャンネル（ｐｇｍ）に適用されるパラメータ合成段階（ＳＹＮＴＨ（１）、．．．、ＳＹＮＴＨ（Ｍ））と
を具備することを特徴とする方法。
【請求項２】
ａ）各ソース（Ｓｉ）は、周波数要素（ｆｋ）の振幅を各々示す複数のパラメータ（ｐｉ，ｋ）が割り当てられ、
ｂ）周波数要素（ｆｋ）を示す各振幅パラメータ（ｐｉ，ｋ）は、空間利得（ｇｉｍ）で乗算されるよう複製され、各空間利得は、一方では符号化チャンネル（ｐｇｍ）に関して決定され、他方では空間化されるソース（Ｓｉ）に関して決定され、
ｃ）各チャンネルにおいて、周波数要素（ｆｋ）に各々関連付けられたサブチャンネル（ｐｇ，ｋｍ）に、利得（ｇｉｍ）によるパラメータ（ｐｉ，ｋ）の積を周波数要素毎にまとめてグループ化する
ことを特徴とする請求項１に記載の方法。
【請求項３】
ｄ１）周波数要素（ｆｋ）に関連付けられた各サブチャンネルの出力を、前記周波数要素（ｆｋ）に対応する周波数上で中央に置かれたスペクトル包絡線（ｅｎｖｋ）によって乗算する過程と、
ｄ２）過程ｄ１）から求まる積を、周波数要素（ｆｋ）にわたる合計によってまとめてグループ化する過程と
によって合成が各チャンネルで行われ、空間的に符号化及び合成された、各チャンネルから導かれた信号（ｓｓｍ）を過程ｄ２）の次に求めることを特徴とする請求項２に記載の方法。
【請求項４】
空間化は、アンビオフォニック符号化により行われ、ソースに割り当てられる振幅を示すパラメータは、球面調和振幅（Ｙｍ）に対応することを特徴とする請求項１〜３のうち何れか１項に記載の方法。
【請求項５】
アンビオフォニック符号化から復号化へ切換えてバイノーラル空間化モードで再生するために、過程ｄ２）の後に各チャンネルから導かれる積の結果に対して、処理が周波数領域で直接適用されることを特徴とする、請求項３と組み合わせて、請求項４に記載の方法。
【請求項６】
中央ユニットの、若しくは端末のメモリに、及び／又は前記中央ユニットのドライブと特に協働する取り外し可能媒体に記憶され、及び／又は通信ネットワークを介してダウンロード可能であり、請求項１〜５のうち何れか１項に記載の方法を実行するための命令を含むことを特徴とするコンピュータプログラム製品。
【請求項７】
空間化された合成音声を生成し、プロセッサを特に具備し、請求項６に記載のコンピュータプログラム製品の命令を記憶するワーキングメモリをさらに具備することを特徴とするモジュール。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公表番号】特表２００９−５３０８８３（Ｐ２００９−５３０８８３Ａ）
【公表日】平成２１年８月２７日（２００９．８．２７）
【国際特許分類】
【出願番号】特願２００８−５５８８５７（Ｐ２００８−５５８８５７）
【出願日】平成１９年３月１日（２００７．３．１）
【国際出願番号】ＰＣＴ／ＦＲ２００７／０５０８６８
【国際公開番号】ＷＯ２００７／１０４８７７
【国際公開日】平成１９年９月２０日（２００７．９．２０）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．着メロ
【出願人】（５９１０３４１５４）フランス テレコム (290)
【Ｆターム（参考）】
【公表日】平成２１年８月２７日（２００９．８．２７）
【国際特許分類】
【出願日】平成１９年３月１日（２００７．３．１）
【国際出願番号】ＰＣＴ／ＦＲ２００７／０５０８６８
【国際公開番号】ＷＯ２００７／１０４８７７
【国際公開日】平成１９年９月２０日（２００７．９．２０）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．着メロ
【出願人】（５９１０３４１５４）フランス テレコム (290)
【Ｆターム（参考）】
[ Back to top ]