倍音ロッキングを使用してオーディオ信号を変更する装置及び方法
オーディオ信号変更装置は、フィルターバンク処理部、基音決定部、倍音決定部、信号処理部及び結合部を含む。フィルターバンク処理部はオーディオ信号に基づき複数のバンドパス信号を生成し、基音決定部は、基音バンドパス信号を得るために、複数のバンドパス信号のうちから一つのバンドパス信号を選択する、さらに、倍音決定部は、選択された基音バンドパス信号に関連する倍音バンドパス信号を得るために、複数のバンドパス信号のうちから、選択された基音バンドパス信号に関する倍音基準を満たす一つのバンドパス信号を識別する。信号処理部は選択された基音バンドパス信号を所定の変更目標に基づき変更する。信号処理部は、また、選択された基音バンドパス信号に関連して識別された倍音バンドパス信号を、選択された基音バンドパス信号に対する変更に応じて変更する。さらに、結合部は、変更後のオーディオ信号を得るために、複数のバンドパス信号を結合する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明に係る実施形態はオーディオ処理に関し、特にオーディオ信号を変更する装置及び方法に関する。
【背景技術】
【０００２】
以前に記録されたオーディオ信号、例えばデータベースから取り出したオーディオ信号を新たな音楽コンテキストに適合させるための膨大な信号処理の必要性に対応できるデジタル信号処理技術に対する要求が高まっている。そうするためには、ピッチ、音楽キー、スケールモードのような高レベルの意味的信号特性を適合させる必要がある。これらの操作の全てに共通していることは、主観的な音質をできる限り良い状態に保ちながら、元のオーディオ資料の音楽的特性を実質的に変更することを目標としていることである。換言すれば、これらの編集はオーディオ資料の音楽的内容を大きく変えるものであるが、それにもかかわらず、処理されたオーディオサンプルの本質を保持し、従って信憑性を保持することが求められる。これにより、理想的には、多声混合音楽内容を含む異なる種類の信号に対して幅広く応用できる信号処理方法が求められる。
【０００３】
今日、オーディオ信号を変更するための多くの考えが知られている。これらの考えのうちのいくつかは、ボコーダーに基づくものである。
【０００４】
例えば、Ｓ．ディッシュ（Ｄｉｓｃｈ）とＢ．エドラー（Ｅｄｌｅｒ）による「オーディオ信号処理のための振幅・周波数変調ボコーダー」（デジタルオーディオ効果（ＤＡＦｘ）国際学会２００８の会報）、Ｓ．ディッシュ（Ｄｉｓｃｈ）とＢ．エドラー（Ｅｄｌｅｒ）による「オーディオ信号のマルチバンド感覚的変調解析、処理及び合成」（ＩＥＥＥ−ＩＣＡＳＳＰ２００９の会報）、Ｓ．ディッシュ（Ｄｉｓｃｈ）とＢ．エドラー（Ｅｄｌｅｒ）による「推定局所的重心に応じた、オーディオ信号スペクトルのための相互作用セグメンテーションアルゴリズム」（デジタルオーディオ効果（ＤＡＦｘ）第１２回国際学会２００９の会報）の中で、変調ボコーダー（ＭＯＶＯＣ）の概念が紹介され、多声音楽内容に関して意味のある選択的な転置を行うというこの変調ボコーダーの一般的な機能が論じられている。これは、以前に記録されたＰＣＭ音楽サンプルのキーモードを変換するという目的への応用を可能にするものである（Ｓ．ディッシュ（Ｄｉｓｃｈ）とＢ．エドラー（Ｅｄｌｅｒ）による「オーディオ信号のマルチバンド感覚的変調解析、処理及び合成」（ＩＥＥＥ−ＩＣＡＳＳＰ２００９の会報参照）。また、このような多声音楽の操作課題に対処できる最初の市販のソフトウェア（セレモニー（Ｃｅｌｅｍｏｎｙ）によるメロダイン（Ｍｅｌｏｄｙｎｅ）エディター）が入手可能である。このソフトウェアは、ディレクト・ノート・アクセス（ＤＮＡ）というブランド名が付けられ販売されてきた技術を実施するものである。最近、特許出願（ＥＰ２０９９０２４、Ｐ．ニューベッカー（Ｎｅｕｂaｃｋｅｒ）、「多声音楽録音の音響のオブジェクト指向解析及び音符のオブジェクト指向処理方法」２００９年９月）が公開され、おそらく、これがＤＮＡの基本的な機能をカバーし、開示していると思われる。オーディオ信号の変更に使用される方法とは別に、感覚的に高い質のオーディオ信号を得ることが求められている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、オーディオ信号を変更するための改良された考えを提供することであり、これによれば、変更後のオーディオ信号の知覚的質を高めることができる。
【課題を解決するための手段】
【０００６】
この目的は、クレーム１に係る装置、クレーム１４に係る方法またはクレーム１５に係るコンピュータプログラムで達成できる。
【０００７】
本発明の一実施形態は、フィルターバンク処理部、基音決定部、倍音決定部、信号処理部及び結合部を含むオーディオ信号変更装置を提供する。フィルターバンク処理部は、オーディオ信号に基づき複数のバンドパス信号を生成するように構成されている。さらに、基音決定部は、基音バンドパス信号を得るために、複数のバンドパス信号から一つのバンドパス信号を選択するように構成されている。倍音決定部は、選択された基音バンドパス信号に関連する倍音バンドパス信号を得るために、複数のバンドパス信号のうち、選択された基音バンドパス信号に関する倍音基準を満たす一つのバンドパス信号を識別するように構成されている。さらに、信号処理部は、選択された基音バンドパス信号を所定の変更目標に基づき変更するように構成されている。また、信号処理部は、選択された基音バンドパス信号に関連づけて識別された倍音バンドパス信号を、選択された基音バンドパス信号への変更に応じて変更するように構成されている。さらに、結合部は、変更後のオーディオ信号を得るために、複数のバンドパス信号を結合するように構成されている。
【０００８】
基本周波数の倍音を識別し、これらの倍音を基音に対するのと同じように変更することにより、基音とそれらの倍音との間での異なる変更を避けることができ、その結果、変更後のオーディオ信号の音色が元のオーディオ信号に対してより正確に保持され得る。このようにして、変更後のオーディオ信号の感覚的な質を大きく向上することができる。例えば、選択的ピッチ転置をしようとする際（例えば、与えられた音楽信号のキーモードをＣメジャーからＣマイナーに変更する場合）、識別された倍音バンドパス信号に対する変更は、基音バンドパス信号に対する変更に関連して行われる。これとは対照的に、周知の方法では、倍音を示すバンドパス信号の周波数領域を、基音バンドパス信号とは違う方法で変更する。換言すれば、識別された倍音バンドパス信号は、上記方法により、基音バンドパス信号にロック（固定）される。
【０００９】
本発明のいくつかの実施形態によれば、基音バンドパス信号の周波数を複数のバンドパス信号のうちの一つのバンドパス信号と比較することにより、基音バンドパス信号のエネルギー量を複数のバンドパス信号のうちの一つのバンドパス信号と比較することにより、及び／または基音バンドパス信号の時間的エンベロープと複数のバンドパス信号のうちの一つのバンドパス信号のエンベロープとの関連性を判断することによって、倍音バンドパス信号を識別してもよい。この方法において、倍音識別の間違いを最小限に抑えるために、一つまたはそれ以上の倍音基準を設定してもよい。
【００１０】
本発明に係るいくつかの実施形態は、複数のバンドパス信号からの基音バンドパス信号の決定と倍音バンドパス信号の識別とを反復的に行うことに関する。既に選択された基音バンドパス信号と既に識別された倍音バンドパス信号をサーチ範囲から排除してもよく、換言すれば、これらを、更なる基音バンドパス信号の決定または更なる倍音バンドパス信号の決定の際の考慮には入れなくてもよい。このようにして、複数のバンドパス信号のうちの各バンドパス信号は、基音バンドパス信号として（従って他の基音バンドパス信号とは独立して変更されてもよく）または倍音バンドパス信号として（従ってそれに関連する基音バンドパス信号に応じて変更されてもよい）。
【００１１】
本発明の別の実施形態は、エンベロープ形状決定部、フィルターバンク処理部、信号処理部、結合部、及びエンベロープ成形部を含むオーディオ信号変更装置を提供する。エンベロープ形状決定部は、時間領域入力オーディオ信号を示す周波数領域オーディオ信号に基づき、エンベロープ形状係数を決定するように構成されている。さらに、フィルターバンク処理部は、周波数領域オーディオ信号に基づき、サブバンド領域で複数のバンドパス信号を生成するように構成されている。信号処理部は、複数のサブバンド領域バンドパス信号のうちの一つのサブバンド領域バンドパス信号を、所定の変更目標に基づき変更するように構成されている。さらに、結合器は、時間領域オーディオ信号を得るために、複数のサブバンド領域バンドパス信号の少なくとも一部を合成するように構成されている。また、エンベロープ成形部は、成形されたオーディオ信号を得るために、時間領域オーディオ信号のエンベロープをエンベロープ形状係数に基づき成形するように、または、変形後のサブバンド領域バンドパス信号を含む複数のサブバンド領域バンドパス信号のエンベロープをエンベロープ形状係数に基づき成形するように、または、サブバンド領域バンドパス信号が信号処理部によって変更される前に、複数のサブバンド領域バンドパス信号のエンベロープをエンベロープ形状係数に基づき成形するように構成されている。
【００１２】
周波数領域オーディオ信号が複数のサブバンド領域バンドパス信号に分けられる前に周波数領域オーディオ信号のエンベロープ形状係数を決定することにより、オーディオ信号のスペクトルコヒーレンスに関する情報が保持され、一つまたはそれ以上のサブバンド領域バンドパス信号が変更された後も、時間領域オーディオ信号のエンベロープ成形に使用され得る。このようにして、いくつかの（または一つの）サブバンド領域バンドパス信号のみが変更されるか、またはサブバンド領域バンドパス信号が互いに異なる方法で変更され、オーディオ信号のスペクトルコヒーレンスを損なう可能性があるにも関わらず、変更後のオーディオ信号のスペクトルコヒーレンスはより正確に保持できる。これにより、変更後のオーディオ信号の感覚的な質を大きく向上させることができる。
【００１３】
本発明に係るいくつかの実施形態は、複数のサブバンド領域バンドパス信号のうちの第２のサブバンド領域バンドパス信号を、第２の所定の変更目標に基づき変更するように構成された信号処理部に関する。前記所定の変更目標とこの第２の所定の変更目標とは異なるものである。バンドパス信号が別々に変更されるにも関わらず、バンドパス信号のそれぞれの変更後にエンベロープ成形を行うことにより、変更後のオーディオ信号のスペクトルコヒーレンスはより正確に保持できる。
【図面の簡単な説明】
【００１４】
【図１】オーディオ信号変更装置のブロック図である。
【図２】オーディオ信号変更装置のブロック図である。
【図３】オーディオ信号変更方法のフローチャートである。
【図４】倍音ロッキングを用いた変調ボコーダーの一部を示すブロック図である。
【図５】オーディオ信号変更方法のフローチャートである。
【図６Ａ】オーディオ信号変更装置のブロック図である。
【図６Ｂ】オーディオ信号変更装置のブロック図である。
【図６Ｃ】オーディオ信号変更装置のブロック図である。
【図６Ｄ】オーディオ信号変更装置のブロック図である。
【図７】フィルターバンク処理部のブロック図である。
【図８】エンベロープ成形部のブロック図である。
【図９】エンベロープ成形を用いた変調解析の略図である。
【図１０】エンベロープ成形を用いた変調解析の略図である。
【図１１】オーディオ信号変更方法のフローチャートである。
【図１２】オーディオ信号変更方法のフローチャートである。
【図１３】変調解析の略図である。
【図１４】変調解析の実施例の略図である。
【図１５】変調合成の略図である。
【図１６】変調ボコーダー成分の選択的な転置の略図である。
【図１７】選択的ピッチ転置のための変調ボコーダー処理の主観的な品質評価のためのテストセットを生成する過程を示す略図である。
【図１８】選択的ピッチ転置を処理するリスニングテストの絶対ＭＵＳＨＩＲＡスコアと９５％の信頼区間を示す図である。
【図１９】変調ボコーダーの条件によりＭＵＳＨＩＲＡスコアが異なることと、選択的ピッチ転置を処理するリスニングテストの９５％の信頼区間を示す図である。
【図２０】ＤＮＡ条件によりＭＵＳＨＩＲＡスコアが異なることと、選択的ピッチ転置を処理するリスニングテストの９５％の信頼区間を示す図である。
【発明を実施するための形態】
【００１５】
添付図面を参照しながら、本発明に係る実施形態を以下に説明する。
【００１６】
以下、同じまたは類似の機能特性を有する部品や機能ユニットには同じ参照符号が部分的に使用され、実施形態の説明での繰り返しを低減するために、一つの図面に関して行われるこれらの部品やユニットの説明が他の図面にも適用される。
【００１７】
選択的ピッチ転置とも呼ばれる選択的な周波数帯域変更は、例えばボコーダーまたは変調ボコーダーによって実現され得る。
【００１８】
マルチバンド変調分解（例えば、Ｓ．ディッシュ（Ｄｉｓｃｈ）とＢ．エドラー（Ｅｄｌｅｒ）による「オーディオ信号のマルチバンド感覚的変調解析、処理及び合成」（ＩＥＥＥ−ＩＣＡＳＳＰ２００９の会報）を参照）は、オーディオ信号を、（解析的）バンドパス信号の信号適応セットに分解し、バンドパス信号のそれぞれはさらに、正弦波搬送波と、その振幅変調（ＡＭ）と周波数変調（ＦＭ）とに分けられる。このバンドパスフィルターセットは、一方では全領域が切れ目なくカバーされ、他方ではフィルターが例えば総重心（ＣＯＧ）に合わせて並べられるように算出される。また、例えばＥＲＢ基準（例えば、Ｂ．Ｃ．Ｊ．ムーア（Ｍｏｏｒｅ）とＢ．Ｒ．グラスバーグ（Ｇｌａｓｂｅｒｇ）による「ツイッカーのラウドネスモデルの逆転」（Ａｃｔａ Ａｃｕｓｔｉｃａ，第８２巻、３３５〜３４５ページ、１９９６年）参照）のような感覚的基準に合うように、フィルターの帯域幅を選択することで人間の聴覚を考慮してもよい。
【００１９】
例えば、局所的ＣＯＧは、その周波数域におけるスペクトルの寄与により、リスナーによって感知される中間周波数に相当する。さらに、中心が局所的ＣＯＧ位置にある帯域は、典型的な位相ボコーダーの影響に基づく位相ロッキング範囲に相当し得る（例えば、Ｌ．ラローシュ（Ｌａｒｏｃｈｅ）とＭ．ドルソン（Ｄｏｌｓｏｎ）による「改良された位相ボコーダーによるオーディオのタイムスケール変更」（スピーチ及びオーディオ処理に関するＩＥＥＥ議事録、第７巻、第３番、３２３〜３３２ページ、１９９９年）、またはＣ．デュクスバリー（Ｄｕｘｂｕｒｙ）、Ｍ．デビーズ（Ｄａｖｉｅｓ）及びＭ．サンドラー（Ｓａｎｄｌｅｒ）による「過渡信号での位相ロッキングを用いた音楽的オーディオの改良タイムスケーリング」（第１１２回ＡＥＳ学会、２００２年）参照）。バンドパス信号のエンベロープと影響位相ロッキングの従来の領域は、どちらもバンドパス信号の時間的エンベロープを保持する。これは本質的なものであるか、あるいは後者の場合、合成の間に局所的スペクトルの位相コヒーレンスを確実なものにすることによって達成される。推定局所的ＣＯＧに相当する周波数の正弦波搬送波に関して、ＡＭとＦＭのどちらもが、それぞれ解析バンドパス信号の振幅エンベロープとヘテロダイン位相に捉えられる。専用の合成方法により、搬送波周波数ＡＭ，ＦＭから出力信号が提供される。
【００２０】
信号の搬送波信号への分解とそれに関連する変調部品の実施例１３００のブロック図を図１３に示す。図１３において、マルチバンド成分（バンドパス信号）から一つの成分を抽出するためのシグナルフローが概略的に示されている。他の全ての成分も同様に得られる。まず、ブロードバンド入力信号ｘが、信号に適応して出力信号を生成するよう設計されたバンドパスフィルターに送られる。次に、式（１）に基づくヒルベルト変換により、解析信号が生成される。
【００２１】
【数１】
【００２２】
ＡＭ（振幅変調信号）はの振幅エンベロープによって与えられる。
【００２３】
【数２】
【００２４】
ＦＭ（周波数変調信号）は、各周波数ωcを有する固定の正弦波搬送波によって周波数変換処理された解析信号の位相導関数によって得られる。搬送波周波数は局所的ＣＯＧの見積もりとして決定される。従って、ＦＭは搬送波周波数ｆｃにおけるＩＦ（瞬間周波数）の変動として理解できる。
【００２５】
【数３】
【００２６】
局所的ＣＯＧの見積もりとフロントエンドフィルターバンクの信号適応設計については、専門の出版物（例えば、Ｓ．ディッシュ（Ｄｉｓｃｈ）とＢ．エドラー（Ｅｄｌｅｒ）による「推定局所的重心に応じた、オーディオ信号スペクトルのための相互作用セグメンテーションアルゴリズム」（デジタルオーディオ効果（ＤＡＦｘ）第１２回国際学会２００９の会報）で説明されている。
実用的には、離散時間システムにおいて、図１４に示すように、全ての成分に関して成分抽出が一緒に行われてもよい。この処理により、リアルタイムの計算が可能となる。ある時間ブロックの処理は、前のブロックのパラメータに依存しているだけである。従って、全体的な処理の遅延をできる限り抑えるために先読みが必要となるわけではない。この処理は、例えば７５％の解析ブロック重複とそれぞれのウィンドウ処理後の信号ブロックに対する離散フーリエ変換の応用とにより、ブロックごとに計算が行われる。ウィンドウは、式（４）に基づく上部が平らなウィンドウである。これにより、次の５０％重複を用いた変調合成に受け渡される中央のＮ／２個のサンプルは解析ウィンドウの裾野によって影響を受けないで済む。計算はより複雑化するが、正確性向上のために高次の重複を使用してもよい。
【００２７】
【数４】
【００２８】
スペクトル表示が与えられ、次に局所的ＣＯＧ位置に合わせた一組の信号適応スペクトルバンドパス重み付け関数が算出される。スペクトルに対するバンドパス重み付け処理を行った後、信号は時間領域に変換され、ヒルベルト変換により解析信号が導き出される。これら二つの処理ステップは、各バンドパス信号に関する片面ＩＤＦＴの計算により効率的に組み合わせることができる。離散時間バンドパス信号が与えられ、式（３）によるＩＦの見積もりが、式（５）（＊は複素共役を示す）で定義されるような位相差分により実施される。この式は位相の曖昧さと位相接続法の必要性を避けるので、便宜的に使用される。
【００２９】
【数５】
【００３０】
信号は、全ての成分の付加に基づき合成される。連続するブロックは、合成メカニズムによって制御される重複追加（ＯＬＡ）により混ぜ合わされる。この成分結合によれば、成分が変調領域処理により実質的に変更されても、隣接するブロックの境界間の円滑な移行が確実になる。この合成は、前のブロックを考慮に入れるだけなので、リアルタイム処理が実現できる。合成は基本的に、現在のブロックの成分と前のブロックのそれぞれに相当する先行するものとの間のペアごとの組み合わせを行う。また、合成は、現在のブロックの絶対的成分位相を前のブロックのものに揃える。異なる時間ブロックを超えて適合するものがない成分に関しては、それぞれ、フェードインまたはフェードアウトが行われる。
【００３１】
一つの成分に関する処理過程を図１５に示す。まず、ＦＭ信号が固定搬送波周波数に付加され、その結果生じた信号はＯＬＡ段階に送られ、続いて、そこからの出力が時間的に積分される。その結果生じた位相信号は正弦波振動子に送られる。ＡＭ信号は第２ＯＬＡ段階で処理される。次に、その成分が出力信号に対してさらに別の寄与をもたらすように、振動子の出力はＡＭ信号によって振幅変調される。最後のステップでは、出力信号ｙを得るために、全成分からの寄与が合計される。
【００３２】
図１３，１４は変調アナライザ１３００を示している。変調アナライザ１３００は、好ましくは、バンドパス信号を出力するバンドパスフィルター１３２０ａを含む。ブロック１３２０ｂの出力はＡＭ情報とＦＭ情報を算出するために使用される。ＡＭ情報を算出するために、解析信号の振幅がブロック１３２０ｃによって算出される。解析信号ブロック１３２０ｂの出力は乗算器１３２０ｄに入力される。乗算器１３２０ｄは、他方の入力として、振動子１３２０ｅからの振動信号を受信し、振動子１３２０ｅはバンドパス１３２０ａの実際の搬送波周波数ｆｃ１３１０によって制御される。そして、乗算器の出力の位相はブロック１３２０ｆで決定される。最終的にＦＭ情報を得るために、ブロック１３２０ｇで瞬間位相が微分される。さらに、図１４は、オーディオ信号のＤＦＴスペクトルを生成するプリプロセッサ１４１０を示している。
【００３３】
マルチバンド変調分解は、オーディオ信号を適応可能な一組の（解析）バンドパス信号に分解し、それぞれのバンドパス信号は、さらに正弦波搬送波と、その振幅変調（ＡＭ）と周波数変調（ＦＭ）に分けられる。バンドパスフィルターセットは、一方では全帯域スペクトルが切れ目なくカバーされるように、また他方ではフィルターがそれぞれ局所的ＣＯＧに沿って並べられるように算出される。また、例えばＥＲＢ基準のような感覚的基準に合うようにフィルターの帯域を選択することによって、人間の聴覚が考慮に入れられる（Ｂ．Ｃ．Ｊ．ムーア（Ｍｏｏｒｅ）とＢ．Ｒ．グラスバーグ（Ｇｌａｓｂｅｒｇ）による「ツイッカーのラウドネスモデルの逆転」（Ａｃｔａ Ａｃｕｓｔｉｃａ，第８２巻、３３５〜３４５ページ、１９９６年）参照）。
【００３４】
局所的ＣＯＧは、その周波数領域へのスペクトルの寄与により、リスナーによって知覚される中心周波数に一致する。さらに、中心が局所的ＣＯＧにある帯域は、典型的な位相ボコーダーの影響に基づく位相ロッキング範囲に相当し得る（例えば、Ｌ．ラローシュ（Ｌａｒｏｃｈｅ）とＭ．ドルソン（Ｄｏｌｓｏｎ）による「改良された位相ボコーダーによるオーディオのタイムスケール変更」（スピーチ及びオーディオ処理に関するＩＥＥＥ議事録、第７巻、第３番、３２３〜３３２ページ、１９９９年）、またはＣ．デュクスバリー（Ｄｕｘｂｕｒｙ）、Ｍ．デビーズ（Ｄａｖｉｅｓ）及びＭ．サンドラー（Ｓａｎｄｌｅｒ）による「過渡信号での位相ロッキングを用いた音楽的オーディオの改良タイムスケーリング」（第１１２回ＡＥＳ学会、２００２年）、Ａ．リューベル（Ｒoｂｅｌ）による「位相ボコーダーにおける過渡処理への新規なアプローチ」（デジタルオーディオ効果（ＤＡＦｘ）に関する国際学会の会報、３４４〜３４９ページ、２００３年）、Ａ．リューベル（Ｒoｂｅｌ）による「位相ボコーダーにおける過渡の検知と保持」（国際コンピュータ音楽学会（ＩＣＭＣ’０３）、２４７〜２５０ページ、２００３年）参照）。バンドパス信号のエンベロープと影響位相ロッキングの従来の領域は、どちらもバンドパス信号の時間的エンベロープを保持する。これは本質的なものであるか、あるいは後者の場合、合成の間に局所的スペクトルの位相コヒーレンスを確実なものにすることによって達成される。推定局所的ＣＯＧに相当する周波数の正弦波搬送波に関して、ＡＭとＦＭのどちらもが、それぞれ解析バンドパス信号の振幅エンベロープとヘテロダイン位相に捉えられる。専用の合成方法により、搬送波周波数ＡＭ，ＦＭから出力信号が提供される。
【００３５】
信号から搬送波信号への分解とこれに関する変調部品のブロック図を図１２に示す。この図は、一つの成分の抽出のためのシグナルフローの略図である。他の全ての成分も同様に得られる。実際、抽出は全ての成分に関してブロックごとに一緒に行われ、例えば４８ｋＨｚのサンプリング周波数と７５％の解析重複でＮ＝２14のブロックサイズで（つまり、大体３４０ｍｓの時間間隔と８５ｍｓの幅で）、ウィンドウ処理後のそれぞれのブロックに対する離散フーリエ変換（ＤＦＴ）の応用により行われる。ウィンドウは式（ａ）に基づく「上部が平らな」ウィンドウであってもよい。これにより、次の変調合成に受け渡される中央のＮ／２個のサンプルは解析ウィンドウの傾きによって影響を受けないで済む。計算はより複雑化するが、正確性向上のために高次の重複を使用してもよい。
【００３６】
【数６】
【００３７】
スペクトル表示が与えられ、次に局所的ＣＯＧ位置に合わせた一組の信号適応スペクトルバンドパス重み付け関数が（搬送波周波数の概算または多重搬送波ＣＯＧ周波数の概算に関して、搬送波周波数決定部１３３０によって）算出される。スペクトルに対するバンドパス重み付け処理を行った後、信号は時間領域に変換され、ヒルベルト変換により解析信号が導き出される。これら二つの処理ステップは、各バンドパス信号に関する片面ＩＤＦＴの計算により効率的に組み合わせることができる。最後に、信号はさらに振幅エンベロープと瞬間周波数（ＩＦ）トラックに分解され、それらは位相導関数を算出することによって得られ、望ましいＡＭ及びＦＭ信号を出力する（Ｓ．ディッシュ（Ｄｉｓｃｈ）とＢ．エドラー（Ｅｄｌｅｒ）による「オーディオ信号処理のための振幅・周波数変調ボコーダー」（デジタルオーディオ効果（ＤＡＦｘ）国際学会２００８の会報参照）。
【００３８】
図１５は変更合成部１５００を示し、オーディオ信号パラメータ化表示である。例えば、有利な実施は、変調領域、つまり時間領域バンドパス信号を生成する前の領域での重複計算（ＯＬＡ）に基づくものである。入力信号はビットストリームであってもよく、またアナライザや変更子に直接接続されていてもよいものであるが、この入力信号はＡＭ成分１５０２とＦＭ成分１５０４と搬送波周波数成分１５０６とに分けられる。ＡＭ合成部は好ましくは重複加算器１５１０とさらに成分合成制御部１５２０とを含む。この成分合成制御部１５２０は、ブロック１５１０だけでなく、ＦＭ合成部内の重複加算器であるブロック１５３０をも含むことが好ましい。ＦＭ合成部はさらに、周波数重複加算器１５３０と瞬間周波数積分器１５３２と位相合成部１５３４とを含み、この位相合成部１５３４もまた、前のブロックからの一つの信号の位相が現在のブロックの位相に接続するように、ブロックからブロックへの定位相を再生するために成分合成制御部１５２０によって制御され得る一般的な加算器と移相器１５３６として実施されてもよい。従って、これらの部品１５３４，１５３６における位相加算は、アナライザ側の図１３におけるブロック１５２０ｇでの微分の間に失われてしまった定数の再生に相当すると言える。感覚領域における情報損失の観点からは、これ、つまり、図１３における微分部１３２０ｇによる定数部分の損失が唯一の情報損失である。この損失は、成分合成部１５２０によって決定される定位相を加算することによって補うことができる。
【００３９】
重複加算（ＯＬＡ）は、隣接する時間ブロック間のうなり作用を避けるために、容易に合成された信号よりもむしろパラメータ領域に適用される。ＯＬＡはスペクトルの周辺（ＥＲＢスケールで測定した）によって導かれ、現在のブロックの成分と前のブロックのこれら成分に相当するものとのペアごとの組み合わせを行う成分合成メカニズムによって制御される。また、この合成は現在のブロックの絶対成分移相を前のブロックのものに合わせる。
【００４０】
詳しくは、まずＦＭ信号が搬送波周波数に付加され、その結果はＯＬＡ段階に送られ、その後ＯＬＡ段階の出力が積分される。その結果生じた位相信号は正弦波振動子１５４０に送られる。ＡＭ信号は第２ＯＬＡ段階で処理される。最後に、その成分が出力信号１５６０へ付加的に寄与するように、振動子の出力が結果として生じたＡＭ信号によって振幅変調される（１５５０）。
【００４１】
変調解析における信号の適切なスペクトル区分は、その後の変調パラメータ処理において説得力のある結果を得るために最も重要なことである。従って、ここで、適切な区分アルゴリズムを説明する。
【００４２】
図１６は、多声キーモード変更のための適用例１６００を示す。図１６は変調ボコーダー素子の選択的な転置を示す。搬送波周波数は、適当なＭＩＤＩ楽譜上にマッピングされるＭＩＤＩ音符に量子化される。これらのマッピングされた成分をオリジナルと変更後の搬送波周波数との比で掛けることによって、相対的なＦＭ変調が保たれる。
【００４３】
元の再生スピードを保ちながらオーディオ信号の転置を行うことは、困難な課題である。ここで提案するシステムを使用すれば、全ての搬送波成分に一定の係数を掛けることで、この課題を簡単に達成できる。入力信号の時間的構造は完全にＡＭ信号によって捕えられているので、搬送波のスペクトル間隔の引き伸ばしに影響を受けることはない。
【００４４】
選択的な処理によって、もっと望ましい効果が得られる。一曲の音楽のキーモードを、例えばマイナーからメジャーにまたはその逆に変更可能である。従って、ある既定の周波数間隔に相当する搬送波の一部のみが適当な新しい値にマッピングされる。これを達成するために、搬送波周波数はＭＩＤＩピッチに量子化され（１６７０）、その後、（処理されるべき音楽のモードとキーの先験的な知識を使用して）適当な新しいＭＩＤＩピッチ上にマッピングされる（１６７２）。
【００４５】
そして、マッピングされたＭＩＤＩ音符は、合成に使用される変調搬送波周波数を得るために、元に戻すように変換される（１５７４）。時間的特徴は主に変更されていないＡＭによって表され保持されているので、一つのＭＩＤＩ音符の発現と消失だけを検知するための専用素子は必要ではない。任意のマッピング表が規定され、これにより他のマイナーの趣（例えばハーモニックマイナー）からのまたはそれへの変換が可能となる。
【００４６】
オーディオ効果の分野への応用は、オーディオ信号の全体的な転置である。このオーディオ効果に必要な処理は、搬送波を一定の転置係数で掛けることだけである。さらにＦＭ信号をも同じ係数で掛けることにより、各成分において、相対的なＦＭ変調度が確実に保持される。入力信号の時間的構造は完全にＡＭ信号によって捕えられているので、この処理によって影響を受けることはない。全体的な転置は、元のテンポを保ちながら、音楽信号の元のキーを目標とするキーに（例えばＣメジャーからＧメジャーへ）変更する。
【００４７】
しかし、ここで提案する変調解析は信号適応性を有するので、変調ボコーダーはこの課題以上のことを行う可能性がある。今や、倍音音楽の選択された成分の転置でさえ実現可能となり、例えば与えられた音楽信号のキーモードを変更する（例えばＣメジャーからＣマイナーへ）ための応用が可能となる（Ｓ．ディッシュ（Ｄｉｓｃｈ）とＢ．エドラー（Ｅｄｌｅｒ）による「オーディオ信号のマルチバンド感覚的変調解析、処理及び合成」（ＩＥＥＥ−ＩＣＡＳＳＰ２００９の会報参照）。これは、各成分搬送波がそのスペクトル領域での知覚されるピッチに密接に対応しているという事実により、可能である。あるオリジナルのピッチに関連する搬送波だけを新しく目標とする値に置き換えることで、キーモードによって決定される全体的な音楽的特徴を操作できる。
【００４８】
前述したように、ＭＯＤＶＯＣ成分に関する必要な処理が図１６に示されている。ＭＯＤＶＯＣ解析領域内において、搬送波周波数はＭＩＤＩ音符に量子化され、それらはその後相当するＭＩＤＩ楽譜上にマッピングされる。ミディのピッチと音符名の意味のある配置転換のためには、オリジナルの音楽のモードとキーの先験的知識が必要となる場合がある。いかなるＡＭもピッチ情報をまったく含まないので、いかなる成分のＡＭも全く影響を及ぼさない。
【００４９】
特に、成分の搬送波周波数ｆはその成分のピッチを表しているが、式（６）に基づき、ＭＩＤＩピッチ値ｍに変換される。式（６）において、ｆstdはＭＩＤＩピッチ６９、音符Ａ０に相当する標準ピッチを示す。
【００５０】
【数７】
【００５１】
続いて、ＭＩＤＩピッチはＭＩＤＩ音符ｎ（ｆ）に量子化され、さらに、各音符のピッチの補正値ｏ（ｆ）が決定される。キーとオリジナルのモードと目標とするモードに応じたＭＩＤＩ音符マッピング表を使用することで、これらのＭＩＤＩ音符は適切な目標とする値ｎ’に変換される。下記表に、Ｃのキーをメジャーからナチュラルマイナーに変換するためのマッピングの典型例を示す。この表は、ＣメジャーからＣナチュラルマイナーへのスケールモード変換のためのＭＩＤＩ音符マッピング表である。このマッピングは全オクターブの音符に適用される。
【００５２】
【表１】
【００５３】
最後に、合成（式７）に使用される変更後の搬送波周波数を得るために、ピッチ補正値を含むマッピングされたＭＩＤＩ音符は周波数ｆ’に戻るように変換される。また、相対的なＦＭ変調度を保つために、マッピングされた成分のＦＭに、オリジナルと変更後の搬送波周波数の比として得られる個々のピッチ転置係数を掛ける。時間的特徴は主に変更されていないＡＭによって表され保持されているので、一つのＭＩＤＩ音符の発現と消失だけを検知するための専用素子は必要ではない。
【００５４】
上述した変調ボコーダーは、オーディオ信号の異なる周波数領域（バンドパス信号）を別々に変更するための一つの可能性であり、選択的なピッチ転置として説明した。本発明の概念により、このような変更後のオーディオ信号の感覚的質を高めることが可能になる。本発明のいくつかの実施形態はボコーダーまたは変調ボコーダーに関して説明しているが、本発明は、ボコーダーの使用とは関係なく、変更後のオーディオ信号の感覚的質を向上させるために広く使用されてもよい。
【００５５】
図１は、本発明の一実施形態に係る、オーディオ信号１０２を変更するための装置１００のブロック図である。装置１００は、フィルターバンク処理部１１０、基音決定部１２０、倍音決定部１３０、信号処理部１４０、及び合成部１５０を含む。フィルターバンク処理部１１０は基音決定部１２０と倍音決定部１３０と信号処理部１４０とに接続され、基音決定部１２０は基音決定部１２０と倍音決定部１３０とに接続されている。さらに、倍音決定部１３０は信号処理部１４０に接続され、信号処理部１４０は合成部１５０に接続されている。フィルターバンク処理部１１０は、オーディオ信号１０２に基づき複数のバンドパス信号１１２を生成する。さらに、基音決定部１２０は、基音バンドパス信号１２２を得るために、複数のバンドパス信号から一つのバンドパス信号１１２を選択する。倍音決定部１３０は、選択された基音バンドパス信号１２２に関連する倍音バンドパス信号１３２を得るために、複数のバンドパス信号１１２のうちから、選択された基音バンドパス信号１２２に関する倍音基準を満たす一つのバンドパス信号を識別する。さらに、信号処理部１４０は、既定の変更目標に基づき、選択された基音バンドパス信号１２２を変更する。また、信号処理部１４０は、選択された基音バンドパス信号１２２の変更に応じて、選択された基音バンドパス信号１２２に関連して識別された倍音バンドパス信号１３２を変更する。合成部１５０は、変更後のオーディオ信号１５２を得るために、選択・変更された基音バンドパス信号と識別・変更された倍音バンドパス信号を含む複数のバンドパス信号を合成する。
【００５６】
基音バンドパス信号１２２と基音バンドパス信号１２２に関連して識別された倍音バンドパス信号１３２を同じように変更することにより（複数のバンドパス信号のうちの他のものは異なる方法で変更してもよいが）、これらの倍音の一般的なふるまいが保持され得る。これにより、オリジナルのオーディオ信号１０２の音色がより正確に保持され、変更後のオーディオ信号の感覚的質が大きく向上される。例えば、ほとんどの楽器は、一つの基本周波数とその倍音から成る調和した音を発生させる。基本周波数部分が変更される場合、上述した概念に基づく倍音同士の相関性のある変更が、変更後のオーディオ信号の感覚的質を非常に向上させる結果となり得る。さらに、全てのオーディオ信号に関する先験的情報（例えば全ての多声音楽のタイトル）を必ずしも必要とはしないので、オーディオ信号はリアルタイムで変更できる。
【００５７】
オーディオ信号１０２は、例えば時間領域入力オーディオ信号、または時間領域入力オーディオ信号を表す周波数領域入力オーディオ信号であってもよい。
【００５８】
基音決定部１２０は、選択された基音バンドパス信号１２２を変更のために信号処理部１４０に送ってもよいし、あるいは、信号処理部１４０に複数のバンドパス信号から選択されたバンドパス信号の既定の変更目標に応じた変更を開始させるように、トリガー信号１２２（例えば選択された基音バンドパス信号の指標ｉ∈［０…Ｉ−１］（Ｉは複数のバンドパス信号の個数））を送ってもよい。倍音決定部１３０もまた、識別された倍音バンドパス信号１３２を変更のために信号処理部１４０に送ってもよいし、あるいは、信号処理部１４０に複数のバンドパス信号から識別されたバンドパス信号の変更を開始させるように、トリガー信号１３２（例えば複数のバンドパス信号から倍音バンドパス信号として識別されたバンドパス信号の指標）を送ってもよい。
【００５９】
倍音基準は、基音の倍音を識別するための一つまたはそれ以上の規定を含んでいてもよい。複数のバンドパス信号から選択された基音バンドパス信号１２２の倍音として識別するのに満たされるべき倍音基準は一つまたはそれ以上存在し得る。
【００６０】
既定の変更目標は、異なる周波数域を含むバンドパス信号ごとに異なっていてもよいし、また、要求されているオーディオ信号１０２の変更に応じたものであってもよい。例えば、オーディオ信号の元のキーが目標のキーに変更される場合を考える。Ｃのキーをメジャーからナチュラルマイナーへ変更するために、上記表によるマッピングの典型例が挙げられた。例えば、複数のバンドパス信号のうちの一つのバンドパス信号の周波数域がオリジナルの音符Ｃに相当する場合、目標音符もまたＣであり、このバンドパス信号は変更されない（変更された基音バンドパス信号に関連する倍音バンドパス信号であると認識される場合は除いて）。この場合、変更目標は、このバンドパス信号を変更しないままで保つことである。他方、複数のバンドパス信号のうち、オリジナルの音符Ａと相関関係のある周波数域を含む一つのバンドパス信号は変更され、変更後のバンドパス信号は目標音符Ａ♭と相関関係のある周波数域を含み得る（この場合を除いて、バンドパス信号は、別の変更目標に応じて変更されるべき基音バンドパス信号の倍音バンドパス信号として認識される）。さらに、識別された倍音バンドパス信号（オリジナルの音符Ａの倍音と相関関係のある周波数域を含むバンドパス信号）は、変更後の倍音バンドパス信号が目標音符Ａ♭の倍音と相関関係のある周波数域を含むように変更され得る。
【００６１】
複数のバンドパス信号１１２の全てが搬送波周波数を含んでいてもよい。搬送波周波数は、例えばバンドパス信号の周波数域の中心周波数、周波数域の上部カットオフ周波数、周波数域の下部カットオフ周波数または周波数域の重心として一つのバンドパス信号によって表されるかまたはバンドパス信号に含まれる周波数域の特性周波数であってもよい。バンドパス信号の搬送波周波数は、バンドパス信号ごとに互いに異なっていてもよい。これらの搬送波周波数は、倍音バンドパス信号を識別するために倍音決定部１３０によって使用されてもよい。例えば、倍音決定部１３０は、複数のバンドパス信号のうちの一つのバンドパス信号１１２の搬送波周波数を、選択された基音バンドパス信号１２２の搬送波周波数と比較してもよい。倍音は基音の周波数の大体倍数であるので、あるバンドパス信号１１２の搬送波周波数が選択された基音バンドパス信号１２２の倍数であるならば（例えば１００Ｈｚ、５０Ｈｚ、２０Ｈｚまたはそれ以下の既定の搬送波周波数の許容範囲で）、倍音基準が満たされていることになる。換言すれば、倍音基準は、例えば、バンドパス信号１１２の搬送波周波数が既定の搬送波周波数の許容範囲内で選択された基音バンドパス信号１２２の倍数であることであってもよい。
【００６２】
倍音決定部１３０は付加的にまたは選択的に、複数のうちの一つのバンドパス信号１１２のエネルギー量を、選択された基音バンドパス信号１２２のエネルギー量と比較してもよい。この例では、バンドパス信号１１２のエネルギー量の選択された基音バンドパス信号１２２のエネルギー量に対する比が規定のエネルギー許容範囲内であるならば、倍音基準が満たされたことになる。この倍音基準は、倍音は通常基音よりも低いエネルギーを示すことを考慮に入れている。既定のエネルギー許容範囲は、例えば０．３〜０．９、０．５〜０．８、０．６〜０．７または他の範囲であってもよい。このエネルギー量に基づく倍音基準と、上述の搬送波周波数に基づく倍音基準とを組み合わせてもよい。
【００６３】
倍音決定部１３０は付加的にまたは選択的に、複数のうちの一つのバンドパス信号１１２の時間的エンベロープと、選択された基音バンドパス信号１２２の時間的エンベロープとの相関関係を示す相関値を算出してもよい。この場合、この相関値が既定の相関閾値よりも高ければ、倍音基準を満たしていることになる。この倍音基準は、基音とその倍音は類似の時間的エンベロープを共有しているという事実を考慮するものである。既定の相関閾値は、例えば０．２、０．３、０．４またはそれ以上であってもよい。このような相関関係による倍音基準は、前述の搬送周波数による倍音基準及び／またはエネルギー量による倍音基準と組み合わせてもよい。
【００６４】
基音決定部１２０は、既に選択された基音バンドパス信号１２２と既に識別された倍音バンドパス信号１３２を全く考慮することなく、複数のバンドパス信号からさらに別のバンドパス信号１１２を選択してもよい。つまり、基音決定部１２０は、まだ基音バンドパス信号として選択されてもいないし倍音バンドパス信号１３２として識別されてもいないバンドパス信号を含む一組のバンドパス信号から、基音バンドパス信号を繰り返し洗濯してもよい。複数のバンドパス信号のうちの全てのバンドパス信号が、基音バンドパス信号として選択されるか、またはある基音バンドパス信号の倍音として識別されるまで、これが行われてもよい。それ故に、倍音決定部１３０は、既に識別された倍音バンドパス信号１３２と既に選択された基音バンドパス信号１２２を全く考慮することなく、前記さらに選択された基音バンドパス信号に関する倍音基準を満たすバンドパス信号１１２を複数のバンドパス信号から識別してもよい。
【００６５】
さらに、信号処理部１４０は、前記さらに別の基音バンドパス信号１２２を、別の所定の変更目標に基づき、また他の全ての選択された基音バンドパス信号からは独立して変更してもよい。つまり、各基音バンドパス信号またはいくつかの選択された基音バンドパス信号に関して、別々の変更目標が設定されていてもよい。例えば、変更目標は、前述のような一つのキー音符から別のものへの変換を示す表によって規定されていてもよい。基音バンドパス信号は互いに独立して変更できるので、例えば、ある楽器の基音と倍音のみが選択的に、この楽器のキーモードまたは音量を変えるように変更されてもよい。
【００６６】
基音決定部１２０は、バンドパス信号１１２をエネルギー基準に基づき選択してもよい。例えば、最大エネルギー量またはいくつかの最大エネルギー量のうちの一つを有する（例えば、他のバンドパス信号と比べて７０％以上高い）バンドパス信号が選択されてもよい。この例では、選択されるべき基音バンドパス信号のエネルギー量を示すエネルギー量パラメータを０に設定することで、既に選択した基音バンドパス信号をその後の選択から排除することができる。バンドパス信号の選択に関して、感覚的に重要なバンドパス信号の選択を強調するために、各バンドパス信号のエネルギー量（例えば基音決定部によって決定されたエネルギー量パラメータによって示される）が重み付け（例えばＡ重み付け）されてもよい。
【００６７】
信号処理部１４０は、選択された基音バンドパス信号１３２とそれに関連する倍音バンドパス信号１３２を、多様な方法で変更できる。例えば、信号処理部１４０は、選択された基音バンドパス信号１２２の搬送波周波数を転置係数（例えばキーモード変換に応じたもの）で掛けることで、あるいは選択された基音バンドパス信号１２２の搬送波周波数に転置周波数を加算することで、選択された基音バンドパス信号１２２を変更してもよい。さらに、信号処理部１４０は、識別された倍音バンドパス信号１３２の搬送波周波数を転置係数（例えば２０％、１０％、５％、１％またはそれ以下の許容範囲を有するもの）で掛けることで、あるいは識別された倍音バンドパス信号１３２の搬送波周波数に転置周波数の倍数（例えば２０％、１０％、５％、１％またはそれ以下の許容範囲を有するもの）を加算することで、識別された倍音バンドパス信号１３２を変更してもよい。換言すれば、例えば、基音とそれに関連する倍音を同じ転置係数で掛けることで、あるいは基音に転置周波数を加算し、その倍音にその転置周波数の倍数を加算することで、キーモード変換が達成され得る。このようにして、識別された倍音バンドパス信号１３２は、選択された基音バンドパス信号１２２に応じて（基音バンドパス信号１２２と同じ方法で）変更される。
【００６８】
図２は、本発明の一実施形態に係る、オーディオ信号１０２を変更するための装置２００のブロック図である。この装置２００は図１に示した装置と同様のものであるが、搬送波周波数決定部２６０をさらに含むものである。また、フィルターバンク処理部１１０は、フィルターバンク２１２と信号変換器２１４とを含んでいる。フィルターバンク２１２は信号変換器２１４に接続され、信号変換器２１４は信号処理部１４０に接続されている。この任意の搬送周波数決定部２６０は、フィルターバンク処理部１１０のフィルターバンク２１２と信号処理部１４０とに接続されている。
【００６９】
フィルターバンク２１２はオーディオ信号１０２に基づきバンドパス信号を生成してもよく、信号変換器２１４は、基音決定部１２０、倍音決定部１３０及び信号処理部１４０に送るべき複数のバンドパス信号を得るために、この生成されたバンドパス信号をサブバンド領域に変換してもよい。信号変換器２１４は、例えば片側逆転離散フーリエ変換ユニットとして実施してもよく、これにより複数のバンドパス信号１２２のうちのそれぞれが解析信号を示すことになる。このサブバンド領域において、基音決定部１２０は、基音バンドパス信号１２２を得るために、複数のバンドパス信号からこれらのサブバンド領域バンドパス信号のうちの一つを選択してもよい。さらに、倍音決定部１３０は、複数のバンドパス信号からこれらのサブバンド領域バンドパス信号のうちの一つを識別してもよい。
【００７０】
さらに、搬送波周波数決定部２６０はオーディオ信号１０２に基づき複数の搬送波周波数を決定してもよく、フィルターバンク処理部１１０のフィルターバンク２１２はバンドパス信号を生成してもよい。そして、複数の搬送波周波数のそれぞれ２６２に関連するバンドパス信号を得るために、各バンドパス信号は複数の搬送波周波数のうちの別の搬送波周波数２６２を含む周波数域を含む。つまり、フィルターバンク２１２によって生成されたバンドパス信号の帯域幅と中心周波数は搬送波周波数決定部２６０によって制御されてもよい。これは多様な方法で行うことができ、例えば、前述のように、オーディオ信号１０２の重心（ＣＯＧ）を算出することにより行ってもよい。
【００７１】
既に述べたように、バンドパス信号１１２は様々な方法で変更可能である。例えば、信号処理部１４０は、複数のバンドパス信号の各バンドパス信号１１２に関して振幅変調信号（ＡＭ）と周波数変調信号（ＦＭ）を生成してもよい。各バンドパス信号はサブバンド領域の解析信号であるので、信号処理部１４０は、例えば変調ボコーダーに関連して、前述のような振幅変調信号と周波数変調信号を生成してもよい。さらに、信号処理部１４０は、選択された基音バンドパス信号１２２の振幅変調信号または周波数変調信号を既定の変更目標に基づき変更してもよく、また識別された倍音バンドパス信号１３２の振幅変調信号または周波数変調信号を基音バンドパス信号１２２の変更に応じて変更してもよい。
【００７２】
フィルターバンク処理部１１０、基音決定部１２０、倍音決定部１３０、信号処理部１４０、結合部１５０及び／または周波数決定部２６０は、例えば、それぞれ個別のハードウェアユニットあるいはデジタル信号処理装置、コンピュータまたはマイクロコントローラの一部であってもよく、またデジタル信号処理装置、コンピュータまたはマイクロコントローラ上で動作するよう構成されたコンピュータプログラムまたはソフトウェア製品の一部であってもよい。
【００７３】
本発明に係るいくつかの実施形態は、本発明に係るオーディオ信号変更方法３００に関するものである。この方法３００は、基音バンドパス信号を得るために、オーディオ信号に基づき複数のバンドパス信号を生成すること３１０と、複数のバンドパス信号から一つのバンドパス信号を選択すること３２０とを含んでいてもよい。さらに、方法３００は、選択された基音バンドパス信号１２２に関連する倍音バンドパス信号を得るために、複数のバンドパス信号から、選択された基音バンドパス信号に関する倍音基準を満たす一つのバンドパス信号を識別すること３３０を含んでいてもよい。さらに、選択された基音バンドパス信号は既定の変更目標に基づき変更され（３４０）、識別された倍音バンドパス信号は、前記選択された基音バンドパス信号の変更に応じて変更される（３５０）。さらに、方法３００は、変更後のオーディオ信号を得るために、選択及び変更された基音バンドパス信号と識別及び変更された倍音バンドパス信号とを含む複数のバンドパス信号を結合すること３６０を含んでいてもよい。
【００７４】
方法３００は、上述のまたは以下に説明する本発明の概念の任意の特徴を表す付加的なステップをさらに含んでいてもよい。
【００７５】
以下に、変調ボコーダーを使用した実施例を挙げて上述の概念を詳細に説明するが、ここで提案する概念はもっと一般的に他の実施形態にも使用できる。
【００７６】
ほとんどの楽器は、基音周波数部分と、その基音周波数の約整数倍である倍音とから成る調和音を発生させる。音程は対数尺度に従うので、それぞれの倍音は異なる音程と基音（及びそのオクターブ）に関して共通点がある。下記の表は、最初の７つの倍音に関して倍音番号と音程の対応を示している。
【００７７】
下記の表に、基音とそのオクターブに関する倍音番号と音程を示す。
【００７８】
【表２】
【００７９】
課題が多声音楽の選択的な転置である場合、ＭＯＤＶＯＣ成分の音楽的機能に関して特有の曖昧さが存在する。その成分が基音に由来する場合、望ましいスケールマッピングに応じて転置されなければならず、それが基音に起因する倍音によって特徴付けられている場合、その音の音色を最良に保持するためにはこの基音と共に転置されなければならない。このことから、最適な転置係数を選択するために、それぞれのＭＯＤＶＯＣ成分（バンドパス信号）を割り当てる必要性が出てくる。
【００８０】
これを達成するために、上述した簡単な処理方法が倍音ロッキング機能によって拡大された。倍音ロッキングは、全ての成分に関して、転置の前に、各成分（バンドパス信号）が基音に起因するものであるかまたは独立した構成要素と見なすべきものであるかについて調べる。これは反復的なアルゴリズムによって行われる。このアルゴリズムのフローチャートを図５に示す。このアルゴリズムは、５１０において、一つのテスト成分ｔ（基音バンドパス信号）のｉＥ［０…Ｉ−１］／ｔ（Ｉは成分の総数（複数のバンドパス信号の数）を示す）で示される他の全ての成分（バンドパス信号）に対する周波数比、エネルギー比及びエンベロープの相互相関を評価する。反復の間の５２０において、一連のテスト成分（基音バンドパス信号）は、評価順序がエネルギーが小さくなっていく順番になるように、Ａ重み付けされたエネルギーによって決定される。Ａ重み付け（米国規格協会「アンシ規格 ｓｌ．４−１９８３」１９８３年）、（米国規格協会「アンシ規格 ｓｌ．４２−２００１」２００１年）は、音量に関して各成分の感覚的な隆起を具現化するために応用される（例えば、Ｈ．フレッチャー（Ｆｌｅｔｃｈｅｒ）とＷ．Ａ．マンソン（Ｍｕｎｓｏｎ）による「音量、その定義、測定及び算出」米国音響教会、第５巻、８２~１０８ページ、１９３３年参照）。
【００８１】
倍音搬送波周波数の一致、倍音搬送波周波数の不一致、成分のエネルギー及び／またはゼロ遅延での正規化振幅エンベロープ相関関係が閾値化によって調べられてもよい。
【００８２】
周波数の一致及び不一致は以下の式（８）に基づき規定されてもよい。式（８）において、ｆtはテスト成分の搬送波周波数（選択された基音バンドパス信号の搬送波周波数）、ｆiは指標ｉの成分（複数のバンドパス信号のうちの一つ）である。周波数の一致に関して、１よりも大きいすべての倍数が潜在的な倍音である。潜在的な倍音として許容される周波数の不一致のための適切な閾値（搬送波周波数閾値）は例えば２２Ｈｚである。
【００８３】
【数８】
【００８４】
Ａ重み付けされた成分の倍音の基音に対するエネルギー比（式（９））は、ほとんどの楽器に関して、倍音は基音よりも低いエネルギーを有するという事実を反映して、所定の閾値よりも小さいことを必要条件としてもよい。適切な閾値（エネルギー許容範囲）は、例えば比で０．６である。
【００８５】
【数９】
【００８６】
テスト成分のエンベロープｅｎｖtと指標ｉの成分のエンベロープｅｎｖiとの正規化ゼロ遅延振幅エンベロープ相関関係は式（１０）によって定義される。この方策は、一つの基音とその倍音は、Ｍ以内のブロック長でかなり類似の時間的エンベロープを共有しているという事実を利用するものである。適切な閾値（相関閾値）は、非公式の実験によって０．４と決定された。
【００８７】
【数１０】
【００８８】
調査の結果、５７０で全ての閾値条件を満たした全ての成分ｉは、５８０で、そのテスト成分に関して倍音として分類され、その後調査から除外される。次に、そのテスト成分も、５４２でそのエネルギーを０に設定することにより、その後の反復処理から除外される。このアルゴリズムは、全ての成分が割り当てられるまで、つまり、最大の成分エネルギーがゼロで示されるようになるまで繰り返される。
【００８９】
図４は、倍音ロッキングを含むＭＯＤＶＯＣによる選択的転置の改良処理スキームを示す。図１６とは対照的に、ロックされた成分が第２段階でそれらが帰属する基音に用いられたのと同じ転置係数で変更されている間に、ロックされていない成分だけが転置段階に入ってくる。
【００９０】
つまり、図５は上述の倍音ロッキング（オーディオ信号変更方法５００）のフローチャートを示している。テスト基音（選択された基音バンドパス信号）の倍音の条件に一致する成分が繰り返し分類され、サーチ範囲から除かれる。このために、複数のバンドパス信号のそれぞれは搬送波周波数とエネルギー量と時間的エンベロープを持っているか、あるいは５１０で、複数のバンドパス信号のそれぞれに関して、搬送波周波数、エネルギー量及び／または時間的エンベロープ（時間的エンベロープパラメータ）が決定される。さらに、各バンドパス信号のエネルギー量（エネルギー量パラメータ）は５２０でＡ重み付けされる。そして５３０で、最大エネルギー（最大エネルギー量パラメータ）を有する基音バンドパス信号（テスト基音ｆt）が選択される。既に選択された基音バンドパス信号は全て０にセットされ、既に識別された倍音バンドパス信号は全てサーチ範囲から除外されているので、選択された基音バンドパス信号は０に等しいエネルギー量パラメータを有している可能性があり、この時点でこの反復的なアルゴリズムは終了する（５４０）。そうでなければ、５６０で、選択された基音バンドパス信号と複数のバンドパス信号のうちの残りのものとの周波数の一致（または不一致）、エネルギー量及び／または時間的エンベロープの相関関係を比較する。５７０で一つまたはいくつかあるいは全ての条件（倍音基準）が満たされた場合、５８０で、それら各々のバンドパス信号は倍音バンドパス信号として識別され、この識別された倍音バンドパス信号をサーチ範囲から除外すると共に、倍音ロッキングデータを生成してもよい（例えば、倍音リストに識別されたバンドパス信号の指標を記録する）。この倍音ロッキングデータは、５９０で、選択された基音バンドパス信号と関連して保存されてもよい。選択された基音バンドパス信号の全ての倍音バンドパス信号を識別した後、５９２で、選択された基音バンドパス信号のエネルギー（エネルギー量パラメータ）を０にセットし、５３０で、次の基音バンドパス信号として最大エネルギーを有するものを選択する。
【００９１】
信号処理部は、バンドパス信号の変更のために倍音ロッキングデータを使用してもよい。可能な実施例を図４に示す。この例では、例えば、信号処理部はＭＩＤＩマッパー１６００と倍音変更器４００を含む。ＭＩＤＩマッパー１６００は、それぞれの選択された基音バンドパス信号の搬送波周波数を、個々の変更目標に応じて変更する（基音が変更されない場合も含み得る）。ＭＩＤＩマッパー１６００は、例えば図１６に示すように実施されてもよい。倍音変更器４００は倍音変更コントローラ４１０、倍音乗算器４２０及び倍音変更供給器４３０を含んでいてもよい。倍音変更コントローラ４１０は倍音乗算器４２０と倍音変更供給器４３０とに接続されていてもよく、倍音乗算器４２０は倍音変更供給器４３０に接続されていてもよい。倍音乗算器４２０は、識別された倍音バンドパス信号の搬送波周波数ｆに、関連する基音バンドパス信号に掛けられたものと同じ転置係数（前述の許容範囲を有する）を掛けてもよく、倍音変更供給器４３０に変更後の搬送波周波数ｆ’を送る。倍音変更器４００が識別された倍音バンドパス信号の搬送波周波数を認識した場合（例えば倍音ロッキングデータに基づき）、倍音変更コントローラ４１０は倍音変更供給器４３０に対して、識別された倍音バンドパス信号の変更後の搬送波周波数を供給するよう始動させてもよい。そうでなければ、倍音変更供給器４３０はＭＩＤＩマッパー１６００の出力を供給してもよい。さらに、図４はここで提案する概念のボコーダーでの実施を示し、バンドパス信号の搬送波周波数に加えて、それに対応する周波数変調（ＦＭ）信号も、変更前の搬送波周波数と変更後の搬送波周波数との比で掛けられることで変更される。周波数変調の代わりにまたは周波数変調に加えて、オーディオ信号の音量がバンドパス信号選択的に変更されてもよい。このために、バンドパス信号の振幅変調（ＡＭ）信号が変更されてもよい。
【００９２】
つまり、図４は、倍音ロッキングを使用した（識別された倍音バンドパス信号をそれに関連する基音バンドパス信号の変更に応じて変更する）変調ボコーダー成分（バンドパス信号）の改良された選択的転置を示すものである。ロックされていない搬送波周波数（基音バンドパス信号であり得る）のみがＭＩＤＩ音符に量子化され、適切な対応するＭＩＤＩ楽譜上にマッピングされる（それぞれの変更目標に応じて）。ロックされた成分（識別された倍音バンドパス信号）は、帰属の基音（関連する基音バンドパス信号）の元の搬送波周波数と変更後の搬送波周波数との比で掛けることによって転置されてもよい。
【００９３】
図６Ａは、本発明の一実施形態に係るオーディオ信号変更装置６００のブロック図である。この装置６００は、エンベロープ形状決定部６１０、フィルターバンク処理部６２０、信号処理部６３０、結合部６４０及びエンベロープ成形部６５０を含む。エンベロープ形状決定部６１０はエンベロープ成形部６５０に接続され、フィルターバンク処理部６２０は信号処理部６３０に接続され、信号処理部６３０は結合部６４０に接続され、結合部６４０はエンベロープ成形部６５０に接続されている。エンベロープ形状決定部６１０は、時間領域入力オーディオ信号を表す周波数領域オーディオ信号６０２に基づき、エンベロープ形状係数６１２を決定する。さらに、フィルターバンク処理部６２０は、周波数領域オーディオ信号６０２に基づき、サブバンド領域の複数のバンドパス信号６２２を生成する。信号処理部６３０は、所定の変更目標に基づき、複数のサブバンド領域バンドパス信号のうちの一つ６２２を変更する。さらに、結合部６４０は、時間領域オーディオ信号６４２を得るために、複数のサブバンド領域バンドパス信号の少なくとも一部（例えば変更後のサブバンド領域バンドパス信号を含む）を結合する。エンベロープ成形部６５０は、成形されたオーディオ信号６５２を得るために、時間領域オーディオ信号６４２のエンベロープをエンベロープ形状係数６１２に基づき成形する。
【００９４】
あるいは、エンベロープ成形部６５０は、信号処理部６３０と結合部６４０の間に配置されていてもよく（信号処理部６３０はエンベロープ成形部６５０に接続され、エンベロープ成形部６５０は結合部６４０に接続される）、変更後のサブバンド領域バンドパス信号を含む複数のサブバンド領域バンドパス信号のエンベロープを、エンベロープ形状係数６１２に基づき成形してもよい。
【００９５】
オーディオ信号を処理する前にエンベロープ形状係数６１２を抽出し、一つまたはそれ以上のバンドパス信号を変更した後にそのエンベロープ形状係数６１２を使用してオーディオ信号のエンベロープを成形することにより、違う方法で変更されたバンドパス信号のスペクトルのコヒーレンスがより正確に保たれ得る。さらに、過渡信号に関して、時間とともに広がる量子化ノイズもエンベロープ成形部６５０によって成形し得る。このようにして、変更後のオーディオ信号の感覚的質をかなり向上することができる。さらに、オーディオ信号全体に関する先験的な情報（例えば多声音楽の全体のタイトル）は必要ではないので、オーディオ信号のリアルタイムの変更が可能である。
【００９６】
また別の方法として、エンベロープ成形部６５０は信号処理部６３０とフィルターバンク処理部６２０の間に配置されてもよく（フィルターバンク処理部６２０はエンベロープ成形部６５０に接続され、エンベロープ成形部６５０は信号処理部６３０に接続される）、成形されたオーディオ信号６５２を得るために、サブバンド領域バンドパス信号が信号処理部６３０によって変更される前に、複数のサブバンド領域バンドパス信号のエンベロープをエンベロープ形状係数６１２に基づき成形してもよい。
【００９７】
オーディオ信号を処理する前にエンベロープ形状係数６１２を抽出し、フィルターバンク処理部６２０によって複数のバンドパス信号６２２がサブバンド領域で生成された後にそのエンベロープ形状係数６１２を使用してその複数のバンドパス信号６２２のエンベロープを成形することにより、適応フィルターバンクが実現でき、特に過渡信号に関して局所的なコヒーレンスを向上させることができる（例えば、Ｊ．ヘレ（Ｈｅｒｒｅ）とＪ．Ｄ．ジョンストン（Ｊｏｈｎｓｔｏｎ）による「感覚的高品質オーディオコーディングのための断続的信号適応フィルターバンク」（信号処理のオーディオ及び音響への応用に関するＩＥＥＥのＡＳＳＰワークショップ、モーホンク、１９９７年）を参照）。この場合、変更後の信号（変更後のバンドパス信号）が成形されるのではなく、変更の前に、生成されたバンドパス信号の質が過渡信号の再生という点で向上され得る。
【００９８】
周波数領域オーディオ信号６０２は、例えば、時間領域入力信号に基づき（例えば離散フーリエ変換によって）周波数領域オーディオ信号６０２を生成する前処理部から与えられてもよいし、記憶ユニットから与えられてもよい。エンベロープ形状決定部１０によって決定されるエンベロープ形状係数６１２は、例えば、線形予測係数であるかまたは周波数領域オーディオ信号６０２のスペクトルをパラメータ化する他の係数であってもよい。
【００９９】
信号処理部６３０は、複数のサブバンド領域バンドパス信号のうちの一つ、一部または全部の信号６２２を変更可能である。所定の変更目標は、例えば全部のサブバンド領域バンドパス信号に対する場合と一部のサブバンド領域バンドパス信号に対する場合とで異なる。例えば、オーディオ信号のキーモードを変換するためのサブバンド領域バンドパス信号の所定の変更目標は、上記の表を参照して前述したようなものであってもよい。
【０１００】
周波数領域オーディオ信号６０２は、例えばフーリエ変換で得られるスペクトル線を含んでいてもよい。周波数領域オーディオ信号のスペクトル線（バンドパス信号とみなすこともできる）とフィルターバンク処理部６２０によって生成されるバンドパス信号との違いは、周波数領域オーディオ信号のスペクトル線は、フィルターバンク処理部６２０によって生成されるサブバンド領域バンドパス信号によって表される帯域幅よりも狭い帯域幅を表すということである。例えば、周波数領域オーディオ信号６０２は離散フーリエ変換によって得られる周波数スペクトルを示しているが、それはフィルターバンク処理部６２０によって複数のバンドパス信号に分解される。そして、この複数のバンドパス信号の信号数（例えば１０、１６、２０またはそれ以上）は、周波数スペクトルのスペクトル値の個数またはスペクトル線の個数（例えば５１２個またはそれ以上の個数のスペクトル値）よりも非常に少ない。
【０１０１】
エンベロープ形状決定部６１０は周波数領域オーディオ信号６０２の周波数に関する予測に基づきエンベロープ形状係数を決定するが、これは例えば前述したような線形予測係数の決定により実行されてもよい。
【０１０２】
フィルターバンク処理部６２０は複数のバンドパス信号を出力するが、これらの各バンドパス信号６２２は周波数領域オーディオ信号６０２の特定の周波数領域を表すものであってもよい。あるいは、図７に示すように、フィルターバンク処理部６２０は、予測フィルター７１０と信号減算器７２０とフィルターバンク７３０とを含み、残余オーディオ信号７２２に基づき複数のバンドパス信号６２２を得るためのものであってもよい。このために、予測フィルター７１０は周波数領域オーディオ信号６０２とエンベロープ形状係数６１２に基づき予測オーディオ信号７１２を生成してもよい。さらに、信号減算器７２０は周波数領域オーディオ信号６０２から予測オーディオ信号７１２を差し引いて残余オーディオ信号７２２を得てもよい。複数のバンドパス信号を得るために、この残余オーディオ信号７２２は、フィルターバンク７３０がバンドパス信号を生成するのに使用されてもよい。
【０１０３】
さらに、フィルターバンク処理部６２０は任意の信号変換器を含んでいてもよい。この信号変換器（例えば片側逆転離散フーリエ変換器）は、複数のバンドパス信号６２２を得るために、フィルターバンク７３０によって生成されたバンドパス信号をサブバンド領域に変換してもよい。あるいは、この信号変換器は信号処理部６３０の一部であってもよい。
【０１０４】
本発明に係るいくつかの実施形態において、変更後のオーディオ信号の低周波部分でのアーチファクト生成を避けるために、入力オーディオ信号の低周波部分を変更から除外してもよい。このために、オーディオ信号変更装置６８０は、例えば図６Ｂに示すように、高域／低域フィルターを含んでいてもよい。高域／低域フィルター６６０は時間領域入力信号または時間領域入力信号を表す周波数領域オーディオ信号を高域フィルタリングし、そして、エンベロープ形状決定部６１０は高域周波数領域オーディオ信号６０２に基づきエンベロープ形状係数６１２を決定し、フィルターバンク処理部６２０は高域周波数領域オーディオ信号６０２に基づきサブバンド領域の複数のバンドパス信号を生成する。さらに、高域／低域フィルター６６０は時間領域入力信号または時間領域入力信号を表す周波数領域オーディオ信号を低域フィルタリングし、低域オーディオ信号６６２を得る。さらに、装置６８０は、フルバンドオーディオ信号を得るために、成形されたオーディオ信号６５２と低域オーディオ信号６６２を結合するように構成されたフルバンド信号供給器６７０を備えている。つまり、高域／低域フィルター６６０は、時間領域入力信号または時間領域入力信号を表す周波数領域オーディオ信号を高域オーディオ信号と低域オーディオ信号とに分けるものであってもよい。高域オーディオ信号あるいは高域オーディオ信号の周波数領域表示が、エンベロープ形状決定部６１０及びフィルターバンク処理部６２０に与えられてもよい。これは、高域／低域フィルタリングが時間領域で実施され、続いて信号処理部が高域オーディオ信号に基づき周波数領域オーディオ信号を生成するのか、あるいは高域／低域フィルターが時間領域入力信号を表す周波数領域オーディオ信号を既に受信して、高域／低域フィルタリングを周波数領域で実施するのかによって、決定される。
【０１０５】
高域／低域フィルター６６０は時間領域入力信号または時間領域入力信号を表す周波数領域オーディオ信号をフィルタリングし、その結果、低域オーディオ信号は所定の閾値周波数（例えば１００Ｈｚまたはそれ以上）までの周波数を含むことになる。従って、高域オーディオ信号は閾値周波数以上の周波数を含む。つまり、低域オーディオ信号６６２を供給するためには、所定の閾値周波数よりも高い周波数が高域／低域フィルター６６０によって減衰され、高域オーディオ信号を供給するためには、所定の閾値周波数よりも低い周波数が高域／低域フィルター６６０によって減衰され得る。
【０１０６】
別の例においては、図６Ｃに示すように、エンベロープ成形部６５０が信号処理部６３０と結合部６４０の間に配置されている。この場合、高域／低域フィルター６６０は低域オーディオ信号を結合部６４０に送る。結合部６４０は、時間領域入力信号６４２を得るために、変更後のサブバンド領域バンドパス信号を含む複数のサブバンド領域バンドパス信号を結合する。この場合、エンベロープ成形部６５０は、（例えば各サブバンド領域バンドパス信号の一部である周波数域に相当する）各サブバンド領域バンドパス信号に関して、エンベロープ形状係数６１２に基づき（例えば係数変換器８１０によって）一組のバンドパスエンベロープ形状係数を決定してもよい。そして、例えば、サブバンド領域バンドパス信号の各時間サンプルに、対応する一組のエンベロープ形状係数のうちの一つのバンドパスエンベロープ形状係数を掛けることができる。例えば図１５に示すボコーダーの例において、エンベロープ成形部６５０は乗算器１５５０と結合部１５６０との間に配置してもよい。
【０１０７】
さらに別の例において、エンベロープ成形部６５０は信号処理部６３０とフィルターバンク処理部６２０との間に配置してもよく（フィルターバンク処理部６２０はエンベロープ成形部６５０に接続され、エンベロープ成形部６５０は信号処理部６３０に接続される）、成形されたオーディオ信号６５２を得るために、サブバンド領域バンドパス信号が信号処理部６３０によって変更される前に、複数のサブバンド領域バンドパス信号のエンベロープをエンベロープ形状係数６１２に基づき成形してもよい。
【０１０８】
本発明に係るいくつかの実施形態において、変更後のオーディオ信号の低周波部分でのアーチファクト生成を避けるために、入力オーディオ信号の低周波部分をエンビロープ成形から除外してもよい。このために、オーディオ信号変更装置６８０は、例えば図６Ｄに示すように、高域／低域フィルターを含んでいてもよい。高域／低域フィルター６６０は時間領域入力信号または時間領域入力信号を表す周波数領域オーディオ信号を高域フィルタリングする。さらに、高域／低域フィルター６６０は時間領域入力信号または時間領域入力信号を表す周波数領域オーディオ信号を低域フィルタリングし、低域オーディオ信号６６２を得る。エンベロープ形状決定部６１０は、高域周波数領域オーディオ信号６０２に基づき、低域オーディオ信号６２２を考慮することなく、エンベロープ形状係数６１２を決定する。フィルターバンク処理部６２０は、高域周波数領域オーディオ信号６０２と低周波域オーディオ信号６２２に基づき、サブバンド領域の複数のバンドパス信号６２２を生成する。例えば図７に示すように、予測フィルターが使用されている場合には、高域残余オーディオ信号を得るために、高域周波数領域オーディオ信号６０２のみが予測フィルターと信号減算器に与えられる。低域オーディオ信号６２２は、サブバンド領域バンドパス信号を生成するフィルターバンクに直接与えられてもよい。信号処理部６３０は、高域周波数領域オーディオ信号６０２または低域オーディオ信号６２２に相当するサブバンド領域バンドパス信号を変更してもよい。あるいは、信号処理部６３０は、高域周波数領域オーディオ信号６０２に相当するサブバンド領域バンドパス信号と低域オーディオ信号６２２に相当するサブバンド領域バンドパス信号を変更してもよい。結合部６４０は高周波域オーディオ信号６０２に相当するサブバンド領域バンドパス信号のみを結合してもよく、その結果、高域周波数領域オーディオ信号６０２に相当するサブバンド領域バンドパス信号のみがエンベロープ成形部６５０によって成形されてもよい（低域オーディオ信号６２２に相当するサブバンド領域バンドパス信号は成形されない）。
【０１０９】
さらに、装置６８０は、フルバンドオーディオ信号を得るために、成形されたオーディオ信号６５２と低域オーディオ信号６６２に相当するサブバンド領域バンドパス信号を結合するよう構成されたフルバンド信号供給器６７０を含む。このために、信号処理部６３０はフルバンド信号供給器６７０に、低域オーディオ信号６６２に相当するサブバンド領域バンドパス信号を与えてもよい。
【０１１０】
別の例では、エンベロープ成形部６５０は信号処理部６３０と結合部６４０の間に配置されている。この場合、信号処理部６３０は結合部６４０に、低域オーディオ信号６６２に相当するサブバンド領域バンドパス信号を与えてもよい。結合部６４０は、時間領域オーディオ信号を得るために、変更後のサブバンド領域バンドパス信号を含む複数のサブバンド領域バンドパス信号（低域オーディオ信号６６２に相当するサブバンド領域バンドパス信号及び高域周波数領域オーディオ信号６０２に相当するサブバンド領域バンドパス信号）を結合する。この場合、エンベロープ成形部６５０は、高域周波数領域オーディオ信号６０２に相当するサブバンド領域バンドパス信号の（例えば各サブバンド領域バンドパス信号の一部である周波数域に相当する）各サブバンド領域バンドパス信号に関して、エンベロープ形状係数６１２に基づき（例えば係数変換器８１０によって）一組のバンドパスエンベロープ形状係数を決定してもよい。そして、例えば、サブバンド領域バンドパス信号の各時間サンプルに、対応する一組のエンベロープ形状係数のうちの一つのバンドパスエンベロープ形状係数を掛けることができる。例えば図１５に示すボコーダーの例において、エンベロープ成形部６５０は乗算器１５５０と結合部１５６０との間に配置してもよい。
【０１１１】
さらに別の例では、エンベロープ成形部６５０は信号処理部６３０とフィルターバンク処理部６２０の間に配置されていてもよく（フィルターバンク処理部６２０はエンベロープ成形部６５０に接続され、エンベロープ成形部６５０は信号処理部６３０に接続される）、成形されたオーディオ信号６５２を得るために、サブバンド領域バンドパス信号が信号処理部６３０によって変更される前に、高域周波数領域オーディオ信号６０２に相当するサブバンド領域バンドパス信号のエンベロープをエンベロープ形状係数６１２に基づき成形してもよい。
【０１１２】
このようにして入力オーディオ信号の低周波部はエンベロープ成形から除外されてもよい。しかし、この低周波部は他の処理には（例えばサブバンド領域バンドパス信号の変更）送られる。さらに、予測フィルター（例えば図７に示すようなもの）は所定の閾値周波数よりも高いものだけに適用されてもよい。あるいは、高域／低域分離が既に解析側で行われている場合、高域信号のエンベロープはエンベロープ形状係数の逆数により時間領域で変更してもよい。例えば選択的転置のための適用において、ＡＭは変更されなくてもよいので、上記の配置は処理後の配置と同じ結果をもたらす。
【０１１３】
本発明の一側面によると、エンベロープ成形部６５０は周波数領域オーディオ信号６０２のエネルギー量ＥFDASと残余オーディオ信号７２２のエネルギー量ＥRASとのエネルギー比を決定してもよい。このエネルギー比に基づき、このエネルギー比が所定のエネルギー閾値ＰＥＴ（０．１、０．２、０．５、０．８、１．２またはそれ以上あるいはそれ以下）よりも小さい場合には、エンベロープ成形部６５０は時間領域オーディオ信号６４２のエンベロープ成形を中断してもよい。
【０１１４】
【数１１】
【０１１５】
つまり、エンベロープ成形の動作は予測の良好性に応じてオン／オフされてもよい。予測の良好性は信号（周波数領域オーディオ信号）と予測エラー（残余オーディオ信号）とのエネルギー比として定義されてもよい予測ゲインによって測定できる。時間領域オーディオ信号６４２のエンベロープ成形が中断された場合、成形されたオーディオ信号６５２は、結合部６４０によって出力される時間領域オーディオ信号６４２と等しくなる。
【０１１６】
エンベロープ成形部６５０は様々な方法で実施され得る。その一つの例を図８に示す。エンベロープ成形部６５０は係数変換器８１０と乗算器８２０を含んでいてもよい。係数変換器８１０はエンベロープ形状係数６１２を時間領域に変換され、そして変換後のエンベロープ形状係数８１２は、時間領域オーディオ信号の時間的エンベロープを成形し、成形されたオーディオ信号６５２を得るために、時間領域オーディオ信号６４２に掛けられる。これは乗算器８２０によって行われてもよい。例えば、時間領域オーディオ信号６４２の時間ブロックは５１２個（またはそれ以上の個数）時間サンプルを含んでいてもよく、係数変換器８１０は、各時間サンプルに変換後のエンベロープ形状係数８１２を掛けるために、５１２個（またはそれ以上の個数）の変換後のエンベロープ形状係数８１２を出力してもよい。
【０１１７】
既に述べたように、装置６００は異なるサブバンド領域バンドパス信号を異なる方法で変更してもよい。より一般的には、信号処理部６３０は、複数のサブバンド領域バンドパス信号の二番目またはそれ以降の信号６２２を二番目またはそれ以降の所定の変更目標に基づき変更してもよいということである。前述のような最初の所定の変更目標と、二番目またはそれ以降の所定の変更目標とは異なっていてもよい。
【０１１８】
いくつかの実施形態において、上述の概念はボコーダーあるいは変調ボコーダーに関して利用可能である。この場合、信号処理部６３０は、複数のサブバンド領域バンドパス信号の各信号６２２に関する振幅変調信号（ＡＭ）と周波数変調信号（ＦＭ）を生成してもよい。さらに、信号処理部６３０はサブバンド領域バンドパス信号の振幅変調信号と周波数変調信号を所定の変更目標に基づき変更してもよい。
【０１１９】
さらに装置６００は、図２に示した装置２００に関して既に説明したように、任意に搬送波周波数決定部を含んでいてもよい。搬送波周波数決定部は、周波数領域オーディオ信号６０２に基づき複数の搬送波周波数を決定してもよい。これらの決定された搬送波周波数は、サブバンド領域バンドパス信号を生成するために、フィルターバンク処理部６２０によって、または図７に示すような実施例の場合にはフィルターバンク処理部６２０のフィルターバンク７３０によって使用されてもよく、これにより、各サブバンド領域バンドパス信号は複数の搬送波周波数のうちの異なる搬送波周波数を有する周波数域を含み、複数の搬送波周波数のうちのそれぞれに関連したサブバンド領域バンドパス信号を得ることになる。これは、例えば、上述したように周波数領域オーディオ信号の重心を決定することによって行われてもよい。
【０１２０】
エンベロープ形状決定部６１０、フィルターバンク処理部６２０、信号処理部６３０、結合部６４０及び／またはエンベロープ成形部６５０は、例えば、それぞれ個別のハードウェアユニットあるいはデジタル信号処理装置、コンピュータまたはマイクロコントローラの一部であってもよく、また、デジタル信号処理装置、コンピュータまたはマイクロコントローラ上で動作するよう構成されたコンピュータプログラムまたはソフトウェア製品の一部であってもよい。
【０１２１】
本発明のいくつかの実施形態は上述の概念の変調ボコーダー適用に関する。これに関して、以下でより詳細に説明する。上述の特徴は他の実施例や応用にも使用できる。
【０１２２】
ＭＯＤＶＯＣ処理は搬送波位置周辺のバンドパス範囲におけるスペクトルコヒーレンスを保持するということを前に述べた。しかし、広帯域の全体的なスペクトルコヒーレンスは保持されない。準定常信号に関しては、このことは合成信号の感覚的質に対してわずかな影響を与えるにすぎない。もし信号がドラムビートやカスタネットなどの際立った過渡信号を含むものである場合、全体的なコヒーレンスの保持はこれらの信号の再生品質を大きく向上させることができる。
【０１２３】
全体的なコヒーレンスの保持は、スペクトル領域における線形予測によって向上させることができる。いくつかの方法が、例えばＭＰＥＧ２／４改良オーディオ符号化（ＡＡＣ）の時間的ノイズ成形（ＴＮＳ）装置（例えば、Ｊ．ヘレ（Ｈｅｒｒｅ）とＪ．Ｄ．ジョンストン（Ｊｏｈｎｓｔｏｎ）による「時間的ノイズ成形（ＴＮＳ）の使用による感覚的オーディオコーダーの性能向上」（第１０１回ＡＥＳ学会、ロサンゼルス、原稿番号４３８４、１９９６年参照））により、オーディオコーデックに活用される。Ｊ．ヘレ（Ｈｅｒｒｅ）とＪ．Ｄ．ジョンストン（Ｊｏｈｎｓｔｏｎ）による「感覚的高品質オーディオコーディングのための断続的信号適応フィルターバンク」（信号処理のオーディオ及び音響への応用に関するＩＥＥＥのＡＳＳＰワークショップ、モーホンク、１９９７年）において、高解像時間−周波数変換とスペクトル予測の組み合わせが、本質的に信号適応変換に相当すると示されている。
【０１２４】
図９は、上述の概念のＭＯＤＶＯＣ処理スキームへの統合を示している。解析段階において、入力信号ｘの最初のＤＦＴに引き続き、インパルス応答ｈ（ｗ）を有する周波数に平行してその先の予測部の線形予測係数（ＬＰＣ）が、例えば最小二乗の点で予測エラーを最小化する自動相関法によって導き出される。次に、このフィルターはスペクトル値に適用され、残余信号はＭＯＤＶＯＣアルゴリズムによってさらに処理される。フィルター係数は全体的なエンベロープを表すものであるが、これらの係数は合成段階に送られる。合成段階において、単位円上の予測フィルターの見積もり|Ｈ（ｅjt）|によって導き出された全体的なエンベロープは、それを合計信号に乗法適用することで元の状態に戻され、図１０に示すように出力信号ｙが生成される。
【０１２５】
つまり、図９，１０は上述の概念の変調ボコーダーにおける実施を示している。図９は前処理部９１０を含む変調解析部を示す。前処理部９１０は、例えば、時間領域オーディオ信号の離散フーリエ変換を行って周波数領域オーディオ信号６０２を得て、その周波数領域オーディオ信号６０２をエンベロープ形状決定部６１０、予測フィルター７１０（例えばＬＰＣフィルターｈ（ω））、信号減算器７２０及び搬送波周波数決定部９２０に送る。信号減算器７２０は残余オーディオ信号７２２をフィルターバンク７３０に与えてもよい。搬送波周波数決定部９２０は、多重搬送波重心周波数を見積もり、これらの搬送波周波数を、バンドパススペクトルの重みを制御するためのフィルターバンク７３０に送ってもよい。フィルターバンク７３０はバンドパス信号を信号変換器９３０に与えてもよく、この信号変換器９３０は、各バンドパス信号に関して片側逆離散フーリエ変換を行い、複数のサブバンド領域バンドパス信号を信号処理部に送る。変調ボコーダーのこれらの部品に関しては既に詳細に説明した。図１０は変調ボコーダーの合成部を示す。合成部は結合部６４０、及び係数変換器８１０と乗算器８２９とを含むエンベロープ成形部を含む。変調ボコーダーのこれらの備品とエンベロープ成形部に関しては既に詳細に説明した。
【０１２６】
図１１は、本発明の一実施形態に係るオーディオ信号変更方法１１００のフローチャートを示している。この方法１１００は、時間領域入力オーディオ信号を表す周波数領域オーディオ信号に基づき、エンベロープ形状係数を決定すること（１１１０）と、周波数領域オーディオ信号に基づきサブバンド領域で複数のバンドパス信号を生成すること（１１２０）を含む。さらに、方法１１００は、複数のサブバンド領域バンドパス信号のうちの一つの信号を所定の変更目標に基づき変更すること（１１３０）を含む。また、複数のサブバンド領域バンドパス信号の少なくとも一部は、時間領域オーディオ信号を得るために結合される（１１４０）。さらに、方法１１００は、時間領域オーディオ信号のエンベロープをエンベロープ形状係数に基づき成形すること（１１５０）、変更後のサブバンド領域バンドパス信号を含むサブバンド領域バンドパス信号のエンベロープをエンベロープ形状係数に基づき成形すること（１１５０）、または、サブバンド領域バンドパス信号が信号処理部によって成形されたオーディオ信号を得るために変更される前に、サブバンド領域バンドパス信号のエンベロープをエンベロープ形状係数に基づき成形すること（１１５０）を含む。
【０１２７】
この方法１１００は、さらに任意に、上述の概念の特徴を表すステップを含んでいてもよい。
【０１２８】
本発明に係るいくつかの実施形態はオーディオ信号変更装置であり、図１または図２に示した装置の特徴と図６に示した装置の特徴を組み合わせたものに関する。図１２は、本発明の一実施形態に係る装置１２００のブロック図である。
【０１２９】
図１に示した装置を基に、装置１２００はさらにエンベロープ形状決定部６１０及びエンベロープ成形部６５０を含む。これに関して、オーディオ信号は時間領域入力オーディオ信号を表す周波数領域オーディオ信号であってもよく、エンベロープ形状決定部はこの周波数領域オーディオ信号に基づきエンベロープ形状係数を決定する。さらに、フィルターバンクによって生成される複数のバンドパス信号は、周波数領域オーディオ信号に基づきサブバンド領域で生成されてもよい。選択及び変更後の基音バンドパス信号と識別及び変更後の倍音バンドパス信号を含むサブバンド領域バンドパス信号を結合した後、得られた時間領域オーディオ信号１５２，６４２はエンベロープ成形部６５０に送られてもよい。エンベロープ成形部６５０は、成形されたオーディオ信号６５２を得るために、時間領域オーディオ信号のエンベロープをエンベロープ形状係数６１２に基づき成形してもよい。
【０１３０】
あるいは、図６に示した装置を基に、装置１２００はさらに、図１に示した装置に関して説明したような基音決定部１２０と倍音決定部１３０を含む。基音決定部１２０は、基音バンドパス信号１２２を得るために、複数のサブバンド領域バンドパス信号のうちから一つの信号を選択してもよい。さらに、倍音決定部１３０は、選択された基音バンドパス信号１２２に関連する倍音バンドパス信号を得るために、複数のサブバンド領域バンドパス信号のうちから、選択された基音バンドパス信号１２２に関する倍音標準を満たす一つの信号１１２を識別してもよい。信号処理部１４０，６３０は、選択された基音バンドパス信号１２２を所定の変更目標に基づき変更し、選択されたその基音バンドパス信号１２２に関連して識別された倍音バンドパス信号１３２を、上述したように、選択されたその基音バンドパス信号１２２の変更に応じて変更してもよい。
【０１３１】
このように、オーディオ信号の変更中、基音とその倍音は同じように取り扱われ、複数のバンドパス信号のスペクトルコヒーレンスは、変更後の時間領域オーディオ信号を変更前のバンドパス信号から導き出されたエンベロープ形状係数に基づき成形することにより、非常に正確に保持することができる。このようにして、変更後のオーディオ信号の感覚的質をかなり向上させることができる。
【０１３２】
装置１２００は上述の様々な実施例の更なる特徴を実現するものであってもよい。
【０１３３】
以下のように、変更後のオーディオ信号の感覚的質に関する向上はリスニングテストの結果によって示される。このリスニングテストのために、変調ボコーダー（ＭＯＤＶＯＣ）を基にした実施例が使用されたが、その結果はここで提案している概念全般に当てはまる。
【０１３４】
選択的ピッチ変換という応用のための変調ボコーダー（ＭＯＤＶＯＣ）の主観的なオーディオ品質と、さらに基本的なＭＯＤＶＯＣの原理に対してここで提案する改良の利点を見積もるために、一例として、一組のオーディオファイルが作成され、処理された。また、ＭＯＤＶＯＣ技術は、市場で入手可能な多声オーディオ操作のためのオーディオソフトウェア、２００９年終わり頃から市場で入手可能なセレモニー（Ｃｅｌｅｍｏｎｙ）によるメロダイン（Ｍｅｌｏｄｙｎｅ）エディターと比較される。
【０１３５】
テストにおける処理は信号のオーディオ内容を大きく変えるものであるので、オリジナルと処理後の信号の直接的な比較（標準的なリスニングテストにおいては、通常、固有の部分であるが）は、この場合には目的にかなったものではないように思われる。それでもなお、対象となるオーディオ品質を意義深い方法で測定するために、特別なリスニングテスト方法が適用されてきた。このリスニングテスト装置は、高品質ＭＩＤＩエクスパンダーを使用して波形にされる記号ＭＩＤＩデータに由来する。この方法により、テストにおいて同様に変更されたオーディオファイル同士の直接的な比較が可能となり、単独での選択的ピッチ処理の効果に関する調査が可能となる。このテスト装置を作成する方法を図１７に示す。オリジナルのテスト信号は記号ＭＩＤＩデータ表記で作成される（左上部）。これらの信号の第２バージョンは、波形にされたオリジナルオーディオに関するテストにおける目標処理に似た記号ＭＩＤＩ処理によって生成される（右上部）。次に、これらの信号対は高品質ＭＩＤＩエクスパンダーによって波形（ＷＡＶ）ファイルに変換される（左右下部）。このリスニングテストにおいて、処理後のＭＩＤＩファイルから変換された波形と、オリジナルのＭＩＤＩファイルから波形変換されたものを変調ボコーダー（ＭＯＤＶＯＣ）で処理したいくつかのバージョンとを比較する（右下部）。さらに、ＭＯＤＶＯＣの出力をメロダインエディターの出力と比較する。
【０１３６】
ＭＯＤＶＯＣで処理された状態のものとは別に、このテストには、この種のオーディオ操作を行うためのものであり、現在では唯一市場に出ているアプリケーションであるメロダインエディターによって得られた状態のものが含まれている。メロダインエディターは最初にオーディオファイル全体の解析を自動的に行う。この初期段階の後、メロダインはオーディオファイルの分解を提案する。ユーザーとの意思疎通により、この分解をさらに精密化することも可能である。ＭＯＤＶＯＣ処理の結果との正当な比較のために、評価はこの自動初期解析の結果に基づき行われる。キーや標準ピッチという先験的知識は別として、ＭＯＤＶＯＣの分解もまた全て自動で行われるからである。
【０１３７】
このリスニングテスト装置は、ＩＴＵ（国際電気通信連合）推薦のＢＳ．１５３４（ＩＴＵ−Ｒ（国際電気通信連合無線通信部門）、「中音質の主観的評価方法（ｍｕｓｈｒａ）」２００１年）に準じた標準的なＭＵＳＨＲＡテストに基づくものである。ＭＵＳＨＲＡは目隠しをした状態で行うリスニングテストである。テストの被験者は一度に一人だけである。各音楽に関して、テストでは、隠れ基準とローパスフィルターを通した隠れアンカーと共に、全ての条件によるテスト音がリスナーに順番に与えられる。隠れ基準と劣化アンカーは、リスナーの信頼性をチェックするために入れられている。リスニングの間にこれらのテスト音を切り替えることが認められており、ＢＳ．１１１６−１で提案され（ＩＴＵ−Ｒ（国際電気通信連合無線通信部門）、「多重チャンネルサウンドシステムを含むオーディオシステムにおけるわずかな障害に対する主観的評価方法」１９９４〜１９９７年）、ＭＵＳＨＲＡテストにも適用できるような、その音楽の任意に選択できる区分に対してループが設けられている。一つの楽曲の評価をして次の楽曲に進む前に、被験者は無制限に何度も繰り返して聞くことができるので、様々な条件によるテスト音の間の非常に緻密な比較とそれらの徹底的な調査が可能となる。これらのテスト音の感覚的質は、「優良」（１００ポイント）から、「良」、「普通」を介して「劣悪」（０ポイント）までの基準で評価される。楽曲の順番はランダムであり、さらに、各楽曲のテスト音の順番もランダムである。
【０１３８】
８つのテスト楽曲が、シートミュージックを無料で一般に提供するＭＵＴＯＰＩＡプロジェクトから入手した。単楽器（例えばＧ，Ｅ）とフルオーケストラ（例えばＦ）を含むクラシック音楽の様々な曲から、最長約２０秒の適切な部分が抜粋された。また、他の楽器の伴奏が付いた主要楽器のソロによるメロディー（例えばＣ）がテストの組に含まれている。いくつかの楽曲には、短時間準定常調性部分だけでなく打楽器部分も含まれており（Ｃではギターの出だしとＧではピアノの出だし）、これはこのシステムの過渡応答に関する特別なチャレンジを提示するものである。以下の表にこれら全ての楽曲を示す。
【０１３９】
【表３】
【０１４０】
オリジナルの転置信号を得るためのＭＩＤＩ処理は、ケイクウォーク（Ｃａｋｅｗａｌｋ）製造のＳｏｎａｒ８で行われ、高品質波形レンダリングは、サウンドライブラリーバージョン１．０．１Ｒ３でネイティブ・インスツルメンツ（Ｎａｔｉｖｅ Ｉｎｓｔｒｕｍｅｎｔｓ）からのバンドスタンド（Ｂａｎｄｓｔａｎｄ）を使用して行われた。ＭＯＤＶＯＣ処理は、倍音ロッキングとエンベロープ成形という二つの改良された処理ステップとの三つの異なる組み合わせで評価された。メロダインエディターとの比較のために、バージョン１．０．１１が使用された。これら全てのテスト音の条件を以下の表に示す。
【０１４１】
【表４】
【０１４２】
主観リスニングテストは、「理想的な」リビングルームに類似した環境で高質なリスニングテストが行えるように設計された防音リスニングラボで行われた。リスナー達は、アップル（Ａｐｐｌｅ）のＭＡＣミニに接続されたエディロール（ＥＤＩＲＯＬ）のＵＳＢサウンドインターフェースから引き出されたＳＴＡＸ静電ヘッドフォンを装着した。リスニングテストのソフトウェアはフラウンホファーのＩＩＳによってＷＡＶ変換され、ＭＵＳＨＲＡモードで作動され、テストを行う際にリスナーをサポートするための簡単なＧＵＩを提供するものであった。リスナー達は、プレイアウトの間、基準音（１）と別の様々なテスト音（２〜７）の間で切り換えることができる。各リスナーは、各楽曲及び各テスト音をどれくらいの時間聞くのかは、個別に決定することができる。実際の切り換えの際には、音は弱まる。ＧＵＩにおいて、仮想バーが各テスト音の評価を視覚化する。一方ではプレエコーやポストエコーまたは過渡信号の分散のような典型的な信号処理のアーチファクトに関して、また他方ではスペクトルピッチやメロディーや音色のような音楽的パラメータに関して知識に基づいた判断が得られるように、オーディオコーディングに精通し、音楽に関する経歴のある経験豊富なリスナー達が選ばれた。リスナー達は、さらに、彼らの見解や印象を非公式に述べるように依頼された。
【０１４３】
合計１５人の被験者がこのテスト結果に貢献した。一人のリスナーは、隠れオリジナルを識別するのに失敗したことが明らかであった（オリジナルに対して６４ポイントの評価をした）ため、後で除外された。
【０１４４】
図１８はこのリスニングテストの結果をまとめたものである。選択的ピッチ転置によって処理された楽曲の感覚的質は、「普通」から「良」の範囲にある。劣化アンカーは「不良」と「劣悪」の間に評価づけられ、前記処理された楽曲とアンカーとの間の隔たりは約４０ＭＵＳＨＲＡポイントにもなる。
【０１４５】
絶対的なスコアは、各楽曲の（各テスト音での）感覚的質を定量化する情報を提供し、従ってそのテストセット中の楽曲間の質の違いを暗に評価するものであるが、そのリスニングテスト内の様々なテスト音を比較するのには適切ではない。これらのテスト音の評価は独立したものではないからである。異なる選択的転置処理方法により得られたテスト音を直接的に比較するために、スコアの違いは以下のように考慮される。
【０１４６】
図１９は、改良ＭＯＤＶＯＣの様々な結果（条件４，５によるテスト音）のスコアを単純なＭＯＤＶＯＣの結果（条件３によるテスト音）のスコアに基づき算出された結果を示す。ここでは、改良ＭＯＤＶＯＣの結果の全てのスコアが単純なＭＯＤＶＯＣの結果のスコアよりもかなり良い（改良ＭＯＤＶＯＣの結果の全てのスコアは０よりも上に位置している）。楽曲Ａ，Ｃに対して倍音ロッキングを適用した場合を除く全ての楽曲とテスト音に関して、９５％の信頼性で有意性がある。
【０１４７】
図２０は、条件６（メロダインエディター）によるテスト音に対するスコアの違いを表示したものである。楽曲Ｃに関して、条件５でのＭＯＤＶＯＣ結果のスコアはメロダインエディターによる結果よりもかなり良いのに対し、条件４での結果はわずかに良いが、条件３は９５％の信頼区間で（信頼区間の重複が全くない状態で）不確定である。楽曲Ｂのテスト音２、Ｆ，Ｇのテスト音５に関しても、全く何の優位性のある結果も得られなかった。しかし、楽曲Ｃのテスト音４と楽曲Ｆのテスト音４，５に関しても、ＭＯＤＶＯＣの良好な性能が見られる。他の全ての場合においては、ＭＯＤＶＯＣのスコアはメロダインエディターよりもかなり悪い。
【０１４８】
このスコアは、プレエコーまたはポストエコーによる過渡信号の品質低下のような不自然な音のアーチファクト、ピッチの精密さ、メロディーの正確さ及び音色の保持というような面を含む全体的な質に関する判断を反映している。この結果をより詳細に解釈するために、リスナー達は実際のスコアを記載する際に、彼らの非公式な見解も記載するよう依頼された。これらの見解から、音色の保持と不自然な音のアーチファクトの無さは、例えばメロディーの良好な保持よりも、延滞的なスコアによりよくあらわされていることがわかった。さらに、リスナーがあるメロディーを知らなかった場合、そのリスナー（被験者）はテストの間にすぐさま基準メロディーを覚えることができず、正しいメロディーを確信することができなかったようである。これが、音色、特に一つの楽器による音の保持に関する高い忠実性を有するメロダインエディターで処理された楽曲に対する評価の方が高かった説明であり得る。しかし、たぶん分類の間違いにより起こり得る大きなメロディーの間違いを偶然に引き起こす代償を支払うことになる。ＭＯＤＶＯＣは分類技術に基づく特性に主に頼っているわけではないので、この点においてより堅固である。
【０１４９】
本発明に係るいくつかの実施形態はピッチの選択的転置のための改良変調ボコーダーに関する。変調ボコーダー（ＭＯＤＶＯＣ）の概念はもう既に紹介されており、多声音楽に関する選択的転置を行うことができるその一般的な機能が取り上げられてきた。これは、前もって録音されたＰＣＭ音楽サンプルのキーモードを変換することを目的とする応用を可能にする。ＭＯＤＶＯＣによる選択的ピッチ転置のために、ここで、二つの改良技術を提案する。選択的転置の性能とこれらの技術の長所は、オリジナルのオーディオ刺激に関して、ピッチの点で非常に大きな変化をもたらすことができる特別に指定されたリスニングテスト手順から得られた結果によって評価される。この主観的な感覚的質の評価結果は、ＭＯＤＶＯＣとさらにまたこの課題を達成可能な最初に市販されたソフトウェアによって、マイナーキーとメジャーキーとの間でモード変換された楽曲に関して提示される。
【０１５０】
ここで言及すべきことは、メロダインエディターはいかなる操作をも可能にする前に最初にオーディオファイル全体の自動解析を行うのに対し、ＭＯＤＶＯＣはブロックごとに処理を行うのでリアルタイム処理が可能であるということである。
【０１５１】
ピッチの選択的転置のための変調ボコーダー（ＭＯＤＶＯＣ）の改良技術を提案してきた。ＭＩＤＩからもたらされたテスト信号に対するリスニングテストの結果から、単純なＭＯＤＶＯＣの感覚的質は、倍音ロッキングとエンベロープ成形により確かに改善されることが結論付けられる。全ての楽曲に関して、１０ＭＵＳＨＵＲＡポイントもの増加が見込まれる。この向上は主に倍音ロッキングに起因するものである。
【０１５２】
また、ＭＯＤＶＯＣと市販されているソフトウェア（メロダインエディター）の比較から、現時点において選択的ピッチ転置で達成可能な一般的な質のレベルは「まあまあ」と「良い」の間に位置するであろう。ＭＯＤＶＯＣは本質的に分類の決定に主に頼るものではないので、メロディーの誤った解釈に関してはより確実なものである。
【０１５３】
操作の前にオーディオファイル全体に対してメロダインエディターが行うマルチパス解析とは対照的に、ＭＯＤＶＯＣはもっぱらシングルパスのブロックごとの処理に基づくものであり、潜在的にストリーミングつまりリアルタイム処理が可能である。
【０１５４】
上述の概念のいくつかの側面を一つの装置に関して説明してきたが、これらの側面は、これに対応する方法（ブロックや装置は方法ステップや方法ステップの特徴に対応する）の説明でもあることは明らかである。同様に、方法ステップに関して説明した側面は、これに対応する装置の相応のブロック、部品または特徴の説明でもある。
【０１５５】
本発明により符号化されたオーディオ信号は、デジタル記憶媒体に記憶可能であり、またインターネットのような無線通信媒体や有線通信媒体のような通信媒体上で通信可能である。
【０１５６】
実施条件に応じて、本発明の実施形態はハードウェアでまたはソフトウェアで実施できる。このような実施は、例えばフロッピーディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、またはＦＬＡＳＨメモリーなどのコンピュータ上で読み取り可能な制御信号を記憶しているデジタル記憶媒体を使用して行うことができ、これは、それぞれの方法が実行されるようにプログラム可能なコンピュータシステムと協働する（協働可能な）ものである。従って、このデジタル記憶媒体はコンピュータ上で読み取り可能なものであってもよい。
【０１５７】
本発明に係るいくつかの実施形態は、コンピュータ上で読み取り可能な制御信号を有するデータキャリアを含み、このデータキャリアはプログラム可能なコンピュータシステムと協働可能であり、ここで説明してきた方法のうちの一つが実行される。
【０１５８】
概して、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実施でき、このコンピュータプログラム製品がコンピュータ上で起動されると、このプログラムコードは上述の方法の一つを実行するように働く。このプログラムコードは、例えば、機械で読み取り可能なキャリアに記憶されていてもよい。
【０１５９】
他の実施形態は、ここで説明してきた方法のうちの一つを実行するためのコンピュータプログラムであり、機械で読み取り可能なキャリアに記憶されているものを含む。
【０１６０】
つまり、本発明の方法の一つの実施形態は、コンピュータ上で起動された際に、ここで説明してきた方法のうちの一つを実行するためのプログラムコードを有するコンピュータプログラムである。
【０１６１】
本発明の方法の別の実施形態は、ここで説明してきた方法のうちの一つを実行するためのコンピュータプログラムを記憶したデータキャリア（デジタル記憶媒体またはコンピュータで読み取り可能な媒体）である。
【０１６２】
本発明の方法のさらに別の実施形態は、ここで説明してきた方法のうちの一つを実行するためのコンピュータプログラムを表すデータストリームまたは一連の信号である。このデータストリームまたは一連の信号は、例えばインターネットのようなデータ通信接続を介して送受信されるように構成されていてもよい。
【０１６３】
さらに別の実施形態は、ここで説明してきた方法のうちの一つを実行するよう構成された例えばコンピュータやプログラム制御可能な論理素子のような処理手段を含む。
【０１６４】
さらに別の実施形態は、ここで説明してきた方法のうちの一つを実行するためのコンピュータプログラムがインストールされたコンピュータを含む。
【０１６５】
いくつかの実施形態において、プログラム制御可能な論理素子（例えばフィールド・プログラマブル・ゲート・アレイ）は、ここで説明してきた方法の機能のうちのいくつかを実行するためにあるいは全部を実行するために使用できる。いくつかの実施形態において、フィールド・プログラマブル・ゲート・アレイは、ここで説明してきた方法のうちの一つを実行するために、マイクロプロセッサと協働してもよい。概して、これらの方法は何らかのハードウェア装置によって実行されることが好ましい。
【０１６６】
上述の実施形態は、単に本発明の原理を説明するためのものである。当業者にとっては、ここで説明してきた配置や詳細に対する様々な変更が容易であろうと思われる。従って、本発明は特許請求項の範囲によってのみ制限され、ここでの説明により提示された具体的詳細によっては制限されない。
【技術分野】
【０００１】
本発明に係る実施形態はオーディオ処理に関し、特にオーディオ信号を変更する装置及び方法に関する。
【背景技術】
【０００２】
以前に記録されたオーディオ信号、例えばデータベースから取り出したオーディオ信号を新たな音楽コンテキストに適合させるための膨大な信号処理の必要性に対応できるデジタル信号処理技術に対する要求が高まっている。そうするためには、ピッチ、音楽キー、スケールモードのような高レベルの意味的信号特性を適合させる必要がある。これらの操作の全てに共通していることは、主観的な音質をできる限り良い状態に保ちながら、元のオーディオ資料の音楽的特性を実質的に変更することを目標としていることである。換言すれば、これらの編集はオーディオ資料の音楽的内容を大きく変えるものであるが、それにもかかわらず、処理されたオーディオサンプルの本質を保持し、従って信憑性を保持することが求められる。これにより、理想的には、多声混合音楽内容を含む異なる種類の信号に対して幅広く応用できる信号処理方法が求められる。
【０００３】
今日、オーディオ信号を変更するための多くの考えが知られている。これらの考えのうちのいくつかは、ボコーダーに基づくものである。
【０００４】
例えば、Ｓ．ディッシュ（Ｄｉｓｃｈ）とＢ．エドラー（Ｅｄｌｅｒ）による「オーディオ信号処理のための振幅・周波数変調ボコーダー」（デジタルオーディオ効果（ＤＡＦｘ）国際学会２００８の会報）、Ｓ．ディッシュ（Ｄｉｓｃｈ）とＢ．エドラー（Ｅｄｌｅｒ）による「オーディオ信号のマルチバンド感覚的変調解析、処理及び合成」（ＩＥＥＥ−ＩＣＡＳＳＰ２００９の会報）、Ｓ．ディッシュ（Ｄｉｓｃｈ）とＢ．エドラー（Ｅｄｌｅｒ）による「推定局所的重心に応じた、オーディオ信号スペクトルのための相互作用セグメンテーションアルゴリズム」（デジタルオーディオ効果（ＤＡＦｘ）第１２回国際学会２００９の会報）の中で、変調ボコーダー（ＭＯＶＯＣ）の概念が紹介され、多声音楽内容に関して意味のある選択的な転置を行うというこの変調ボコーダーの一般的な機能が論じられている。これは、以前に記録されたＰＣＭ音楽サンプルのキーモードを変換するという目的への応用を可能にするものである（Ｓ．ディッシュ（Ｄｉｓｃｈ）とＢ．エドラー（Ｅｄｌｅｒ）による「オーディオ信号のマルチバンド感覚的変調解析、処理及び合成」（ＩＥＥＥ−ＩＣＡＳＳＰ２００９の会報参照）。また、このような多声音楽の操作課題に対処できる最初の市販のソフトウェア（セレモニー（Ｃｅｌｅｍｏｎｙ）によるメロダイン（Ｍｅｌｏｄｙｎｅ）エディター）が入手可能である。このソフトウェアは、ディレクト・ノート・アクセス（ＤＮＡ）というブランド名が付けられ販売されてきた技術を実施するものである。最近、特許出願（ＥＰ２０９９０２４、Ｐ．ニューベッカー（Ｎｅｕｂaｃｋｅｒ）、「多声音楽録音の音響のオブジェクト指向解析及び音符のオブジェクト指向処理方法」２００９年９月）が公開され、おそらく、これがＤＮＡの基本的な機能をカバーし、開示していると思われる。オーディオ信号の変更に使用される方法とは別に、感覚的に高い質のオーディオ信号を得ることが求められている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、オーディオ信号を変更するための改良された考えを提供することであり、これによれば、変更後のオーディオ信号の知覚的質を高めることができる。
【課題を解決するための手段】
【０００６】
この目的は、クレーム１に係る装置、クレーム１４に係る方法またはクレーム１５に係るコンピュータプログラムで達成できる。
【０００７】
本発明の一実施形態は、フィルターバンク処理部、基音決定部、倍音決定部、信号処理部及び結合部を含むオーディオ信号変更装置を提供する。フィルターバンク処理部は、オーディオ信号に基づき複数のバンドパス信号を生成するように構成されている。さらに、基音決定部は、基音バンドパス信号を得るために、複数のバンドパス信号から一つのバンドパス信号を選択するように構成されている。倍音決定部は、選択された基音バンドパス信号に関連する倍音バンドパス信号を得るために、複数のバンドパス信号のうち、選択された基音バンドパス信号に関する倍音基準を満たす一つのバンドパス信号を識別するように構成されている。さらに、信号処理部は、選択された基音バンドパス信号を所定の変更目標に基づき変更するように構成されている。また、信号処理部は、選択された基音バンドパス信号に関連づけて識別された倍音バンドパス信号を、選択された基音バンドパス信号への変更に応じて変更するように構成されている。さらに、結合部は、変更後のオーディオ信号を得るために、複数のバンドパス信号を結合するように構成されている。
【０００８】
基本周波数の倍音を識別し、これらの倍音を基音に対するのと同じように変更することにより、基音とそれらの倍音との間での異なる変更を避けることができ、その結果、変更後のオーディオ信号の音色が元のオーディオ信号に対してより正確に保持され得る。このようにして、変更後のオーディオ信号の感覚的な質を大きく向上することができる。例えば、選択的ピッチ転置をしようとする際（例えば、与えられた音楽信号のキーモードをＣメジャーからＣマイナーに変更する場合）、識別された倍音バンドパス信号に対する変更は、基音バンドパス信号に対する変更に関連して行われる。これとは対照的に、周知の方法では、倍音を示すバンドパス信号の周波数領域を、基音バンドパス信号とは違う方法で変更する。換言すれば、識別された倍音バンドパス信号は、上記方法により、基音バンドパス信号にロック（固定）される。
【０００９】
本発明のいくつかの実施形態によれば、基音バンドパス信号の周波数を複数のバンドパス信号のうちの一つのバンドパス信号と比較することにより、基音バンドパス信号のエネルギー量を複数のバンドパス信号のうちの一つのバンドパス信号と比較することにより、及び／または基音バンドパス信号の時間的エンベロープと複数のバンドパス信号のうちの一つのバンドパス信号のエンベロープとの関連性を判断することによって、倍音バンドパス信号を識別してもよい。この方法において、倍音識別の間違いを最小限に抑えるために、一つまたはそれ以上の倍音基準を設定してもよい。
【００１０】
本発明に係るいくつかの実施形態は、複数のバンドパス信号からの基音バンドパス信号の決定と倍音バンドパス信号の識別とを反復的に行うことに関する。既に選択された基音バンドパス信号と既に識別された倍音バンドパス信号をサーチ範囲から排除してもよく、換言すれば、これらを、更なる基音バンドパス信号の決定または更なる倍音バンドパス信号の決定の際の考慮には入れなくてもよい。このようにして、複数のバンドパス信号のうちの各バンドパス信号は、基音バンドパス信号として（従って他の基音バンドパス信号とは独立して変更されてもよく）または倍音バンドパス信号として（従ってそれに関連する基音バンドパス信号に応じて変更されてもよい）。
【００１１】
本発明の別の実施形態は、エンベロープ形状決定部、フィルターバンク処理部、信号処理部、結合部、及びエンベロープ成形部を含むオーディオ信号変更装置を提供する。エンベロープ形状決定部は、時間領域入力オーディオ信号を示す周波数領域オーディオ信号に基づき、エンベロープ形状係数を決定するように構成されている。さらに、フィルターバンク処理部は、周波数領域オーディオ信号に基づき、サブバンド領域で複数のバンドパス信号を生成するように構成されている。信号処理部は、複数のサブバンド領域バンドパス信号のうちの一つのサブバンド領域バンドパス信号を、所定の変更目標に基づき変更するように構成されている。さらに、結合器は、時間領域オーディオ信号を得るために、複数のサブバンド領域バンドパス信号の少なくとも一部を合成するように構成されている。また、エンベロープ成形部は、成形されたオーディオ信号を得るために、時間領域オーディオ信号のエンベロープをエンベロープ形状係数に基づき成形するように、または、変形後のサブバンド領域バンドパス信号を含む複数のサブバンド領域バンドパス信号のエンベロープをエンベロープ形状係数に基づき成形するように、または、サブバンド領域バンドパス信号が信号処理部によって変更される前に、複数のサブバンド領域バンドパス信号のエンベロープをエンベロープ形状係数に基づき成形するように構成されている。
【００１２】
周波数領域オーディオ信号が複数のサブバンド領域バンドパス信号に分けられる前に周波数領域オーディオ信号のエンベロープ形状係数を決定することにより、オーディオ信号のスペクトルコヒーレンスに関する情報が保持され、一つまたはそれ以上のサブバンド領域バンドパス信号が変更された後も、時間領域オーディオ信号のエンベロープ成形に使用され得る。このようにして、いくつかの（または一つの）サブバンド領域バンドパス信号のみが変更されるか、またはサブバンド領域バンドパス信号が互いに異なる方法で変更され、オーディオ信号のスペクトルコヒーレンスを損なう可能性があるにも関わらず、変更後のオーディオ信号のスペクトルコヒーレンスはより正確に保持できる。これにより、変更後のオーディオ信号の感覚的な質を大きく向上させることができる。
【００１３】
本発明に係るいくつかの実施形態は、複数のサブバンド領域バンドパス信号のうちの第２のサブバンド領域バンドパス信号を、第２の所定の変更目標に基づき変更するように構成された信号処理部に関する。前記所定の変更目標とこの第２の所定の変更目標とは異なるものである。バンドパス信号が別々に変更されるにも関わらず、バンドパス信号のそれぞれの変更後にエンベロープ成形を行うことにより、変更後のオーディオ信号のスペクトルコヒーレンスはより正確に保持できる。
【図面の簡単な説明】
【００１４】
【図１】オーディオ信号変更装置のブロック図である。
【図２】オーディオ信号変更装置のブロック図である。
【図３】オーディオ信号変更方法のフローチャートである。
【図４】倍音ロッキングを用いた変調ボコーダーの一部を示すブロック図である。
【図５】オーディオ信号変更方法のフローチャートである。
【図６Ａ】オーディオ信号変更装置のブロック図である。
【図６Ｂ】オーディオ信号変更装置のブロック図である。
【図６Ｃ】オーディオ信号変更装置のブロック図である。
【図６Ｄ】オーディオ信号変更装置のブロック図である。
【図７】フィルターバンク処理部のブロック図である。
【図８】エンベロープ成形部のブロック図である。
【図９】エンベロープ成形を用いた変調解析の略図である。
【図１０】エンベロープ成形を用いた変調解析の略図である。
【図１１】オーディオ信号変更方法のフローチャートである。
【図１２】オーディオ信号変更方法のフローチャートである。
【図１３】変調解析の略図である。
【図１４】変調解析の実施例の略図である。
【図１５】変調合成の略図である。
【図１６】変調ボコーダー成分の選択的な転置の略図である。
【図１７】選択的ピッチ転置のための変調ボコーダー処理の主観的な品質評価のためのテストセットを生成する過程を示す略図である。
【図１８】選択的ピッチ転置を処理するリスニングテストの絶対ＭＵＳＨＩＲＡスコアと９５％の信頼区間を示す図である。
【図１９】変調ボコーダーの条件によりＭＵＳＨＩＲＡスコアが異なることと、選択的ピッチ転置を処理するリスニングテストの９５％の信頼区間を示す図である。
【図２０】ＤＮＡ条件によりＭＵＳＨＩＲＡスコアが異なることと、選択的ピッチ転置を処理するリスニングテストの９５％の信頼区間を示す図である。
【発明を実施するための形態】
【００１５】
添付図面を参照しながら、本発明に係る実施形態を以下に説明する。
【００１６】
以下、同じまたは類似の機能特性を有する部品や機能ユニットには同じ参照符号が部分的に使用され、実施形態の説明での繰り返しを低減するために、一つの図面に関して行われるこれらの部品やユニットの説明が他の図面にも適用される。
【００１７】
選択的ピッチ転置とも呼ばれる選択的な周波数帯域変更は、例えばボコーダーまたは変調ボコーダーによって実現され得る。
【００１８】
マルチバンド変調分解（例えば、Ｓ．ディッシュ（Ｄｉｓｃｈ）とＢ．エドラー（Ｅｄｌｅｒ）による「オーディオ信号のマルチバンド感覚的変調解析、処理及び合成」（ＩＥＥＥ−ＩＣＡＳＳＰ２００９の会報）を参照）は、オーディオ信号を、（解析的）バンドパス信号の信号適応セットに分解し、バンドパス信号のそれぞれはさらに、正弦波搬送波と、その振幅変調（ＡＭ）と周波数変調（ＦＭ）とに分けられる。このバンドパスフィルターセットは、一方では全領域が切れ目なくカバーされ、他方ではフィルターが例えば総重心（ＣＯＧ）に合わせて並べられるように算出される。また、例えばＥＲＢ基準（例えば、Ｂ．Ｃ．Ｊ．ムーア（Ｍｏｏｒｅ）とＢ．Ｒ．グラスバーグ（Ｇｌａｓｂｅｒｇ）による「ツイッカーのラウドネスモデルの逆転」（Ａｃｔａ Ａｃｕｓｔｉｃａ，第８２巻、３３５〜３４５ページ、１９９６年）参照）のような感覚的基準に合うように、フィルターの帯域幅を選択することで人間の聴覚を考慮してもよい。
【００１９】
例えば、局所的ＣＯＧは、その周波数域におけるスペクトルの寄与により、リスナーによって感知される中間周波数に相当する。さらに、中心が局所的ＣＯＧ位置にある帯域は、典型的な位相ボコーダーの影響に基づく位相ロッキング範囲に相当し得る（例えば、Ｌ．ラローシュ（Ｌａｒｏｃｈｅ）とＭ．ドルソン（Ｄｏｌｓｏｎ）による「改良された位相ボコーダーによるオーディオのタイムスケール変更」（スピーチ及びオーディオ処理に関するＩＥＥＥ議事録、第７巻、第３番、３２３〜３３２ページ、１９９９年）、またはＣ．デュクスバリー（Ｄｕｘｂｕｒｙ）、Ｍ．デビーズ（Ｄａｖｉｅｓ）及びＭ．サンドラー（Ｓａｎｄｌｅｒ）による「過渡信号での位相ロッキングを用いた音楽的オーディオの改良タイムスケーリング」（第１１２回ＡＥＳ学会、２００２年）参照）。バンドパス信号のエンベロープと影響位相ロッキングの従来の領域は、どちらもバンドパス信号の時間的エンベロープを保持する。これは本質的なものであるか、あるいは後者の場合、合成の間に局所的スペクトルの位相コヒーレンスを確実なものにすることによって達成される。推定局所的ＣＯＧに相当する周波数の正弦波搬送波に関して、ＡＭとＦＭのどちらもが、それぞれ解析バンドパス信号の振幅エンベロープとヘテロダイン位相に捉えられる。専用の合成方法により、搬送波周波数ＡＭ，ＦＭから出力信号が提供される。
【００２０】
信号の搬送波信号への分解とそれに関連する変調部品の実施例１３００のブロック図を図１３に示す。図１３において、マルチバンド成分（バンドパス信号）から一つの成分を抽出するためのシグナルフローが概略的に示されている。他の全ての成分も同様に得られる。まず、ブロードバンド入力信号ｘが、信号に適応して出力信号を生成するよう設計されたバンドパスフィルターに送られる。次に、式（１）に基づくヒルベルト変換により、解析信号が生成される。
【００２１】
【数１】
【００２２】
ＡＭ（振幅変調信号）はの振幅エンベロープによって与えられる。
【００２３】
【数２】
【００２４】
ＦＭ（周波数変調信号）は、各周波数ωcを有する固定の正弦波搬送波によって周波数変換処理された解析信号の位相導関数によって得られる。搬送波周波数は局所的ＣＯＧの見積もりとして決定される。従って、ＦＭは搬送波周波数ｆｃにおけるＩＦ（瞬間周波数）の変動として理解できる。
【００２５】
【数３】
【００２６】
局所的ＣＯＧの見積もりとフロントエンドフィルターバンクの信号適応設計については、専門の出版物（例えば、Ｓ．ディッシュ（Ｄｉｓｃｈ）とＢ．エドラー（Ｅｄｌｅｒ）による「推定局所的重心に応じた、オーディオ信号スペクトルのための相互作用セグメンテーションアルゴリズム」（デジタルオーディオ効果（ＤＡＦｘ）第１２回国際学会２００９の会報）で説明されている。
実用的には、離散時間システムにおいて、図１４に示すように、全ての成分に関して成分抽出が一緒に行われてもよい。この処理により、リアルタイムの計算が可能となる。ある時間ブロックの処理は、前のブロックのパラメータに依存しているだけである。従って、全体的な処理の遅延をできる限り抑えるために先読みが必要となるわけではない。この処理は、例えば７５％の解析ブロック重複とそれぞれのウィンドウ処理後の信号ブロックに対する離散フーリエ変換の応用とにより、ブロックごとに計算が行われる。ウィンドウは、式（４）に基づく上部が平らなウィンドウである。これにより、次の５０％重複を用いた変調合成に受け渡される中央のＮ／２個のサンプルは解析ウィンドウの裾野によって影響を受けないで済む。計算はより複雑化するが、正確性向上のために高次の重複を使用してもよい。
【００２７】
【数４】
【００２８】
スペクトル表示が与えられ、次に局所的ＣＯＧ位置に合わせた一組の信号適応スペクトルバンドパス重み付け関数が算出される。スペクトルに対するバンドパス重み付け処理を行った後、信号は時間領域に変換され、ヒルベルト変換により解析信号が導き出される。これら二つの処理ステップは、各バンドパス信号に関する片面ＩＤＦＴの計算により効率的に組み合わせることができる。離散時間バンドパス信号が与えられ、式（３）によるＩＦの見積もりが、式（５）（＊は複素共役を示す）で定義されるような位相差分により実施される。この式は位相の曖昧さと位相接続法の必要性を避けるので、便宜的に使用される。
【００２９】
【数５】
【００３０】
信号は、全ての成分の付加に基づき合成される。連続するブロックは、合成メカニズムによって制御される重複追加（ＯＬＡ）により混ぜ合わされる。この成分結合によれば、成分が変調領域処理により実質的に変更されても、隣接するブロックの境界間の円滑な移行が確実になる。この合成は、前のブロックを考慮に入れるだけなので、リアルタイム処理が実現できる。合成は基本的に、現在のブロックの成分と前のブロックのそれぞれに相当する先行するものとの間のペアごとの組み合わせを行う。また、合成は、現在のブロックの絶対的成分位相を前のブロックのものに揃える。異なる時間ブロックを超えて適合するものがない成分に関しては、それぞれ、フェードインまたはフェードアウトが行われる。
【００３１】
一つの成分に関する処理過程を図１５に示す。まず、ＦＭ信号が固定搬送波周波数に付加され、その結果生じた信号はＯＬＡ段階に送られ、続いて、そこからの出力が時間的に積分される。その結果生じた位相信号は正弦波振動子に送られる。ＡＭ信号は第２ＯＬＡ段階で処理される。次に、その成分が出力信号に対してさらに別の寄与をもたらすように、振動子の出力はＡＭ信号によって振幅変調される。最後のステップでは、出力信号ｙを得るために、全成分からの寄与が合計される。
【００３２】
図１３，１４は変調アナライザ１３００を示している。変調アナライザ１３００は、好ましくは、バンドパス信号を出力するバンドパスフィルター１３２０ａを含む。ブロック１３２０ｂの出力はＡＭ情報とＦＭ情報を算出するために使用される。ＡＭ情報を算出するために、解析信号の振幅がブロック１３２０ｃによって算出される。解析信号ブロック１３２０ｂの出力は乗算器１３２０ｄに入力される。乗算器１３２０ｄは、他方の入力として、振動子１３２０ｅからの振動信号を受信し、振動子１３２０ｅはバンドパス１３２０ａの実際の搬送波周波数ｆｃ１３１０によって制御される。そして、乗算器の出力の位相はブロック１３２０ｆで決定される。最終的にＦＭ情報を得るために、ブロック１３２０ｇで瞬間位相が微分される。さらに、図１４は、オーディオ信号のＤＦＴスペクトルを生成するプリプロセッサ１４１０を示している。
【００３３】
マルチバンド変調分解は、オーディオ信号を適応可能な一組の（解析）バンドパス信号に分解し、それぞれのバンドパス信号は、さらに正弦波搬送波と、その振幅変調（ＡＭ）と周波数変調（ＦＭ）に分けられる。バンドパスフィルターセットは、一方では全帯域スペクトルが切れ目なくカバーされるように、また他方ではフィルターがそれぞれ局所的ＣＯＧに沿って並べられるように算出される。また、例えばＥＲＢ基準のような感覚的基準に合うようにフィルターの帯域を選択することによって、人間の聴覚が考慮に入れられる（Ｂ．Ｃ．Ｊ．ムーア（Ｍｏｏｒｅ）とＢ．Ｒ．グラスバーグ（Ｇｌａｓｂｅｒｇ）による「ツイッカーのラウドネスモデルの逆転」（Ａｃｔａ Ａｃｕｓｔｉｃａ，第８２巻、３３５〜３４５ページ、１９９６年）参照）。
【００３４】
局所的ＣＯＧは、その周波数領域へのスペクトルの寄与により、リスナーによって知覚される中心周波数に一致する。さらに、中心が局所的ＣＯＧにある帯域は、典型的な位相ボコーダーの影響に基づく位相ロッキング範囲に相当し得る（例えば、Ｌ．ラローシュ（Ｌａｒｏｃｈｅ）とＭ．ドルソン（Ｄｏｌｓｏｎ）による「改良された位相ボコーダーによるオーディオのタイムスケール変更」（スピーチ及びオーディオ処理に関するＩＥＥＥ議事録、第７巻、第３番、３２３〜３３２ページ、１９９９年）、またはＣ．デュクスバリー（Ｄｕｘｂｕｒｙ）、Ｍ．デビーズ（Ｄａｖｉｅｓ）及びＭ．サンドラー（Ｓａｎｄｌｅｒ）による「過渡信号での位相ロッキングを用いた音楽的オーディオの改良タイムスケーリング」（第１１２回ＡＥＳ学会、２００２年）、Ａ．リューベル（Ｒoｂｅｌ）による「位相ボコーダーにおける過渡処理への新規なアプローチ」（デジタルオーディオ効果（ＤＡＦｘ）に関する国際学会の会報、３４４〜３４９ページ、２００３年）、Ａ．リューベル（Ｒoｂｅｌ）による「位相ボコーダーにおける過渡の検知と保持」（国際コンピュータ音楽学会（ＩＣＭＣ’０３）、２４７〜２５０ページ、２００３年）参照）。バンドパス信号のエンベロープと影響位相ロッキングの従来の領域は、どちらもバンドパス信号の時間的エンベロープを保持する。これは本質的なものであるか、あるいは後者の場合、合成の間に局所的スペクトルの位相コヒーレンスを確実なものにすることによって達成される。推定局所的ＣＯＧに相当する周波数の正弦波搬送波に関して、ＡＭとＦＭのどちらもが、それぞれ解析バンドパス信号の振幅エンベロープとヘテロダイン位相に捉えられる。専用の合成方法により、搬送波周波数ＡＭ，ＦＭから出力信号が提供される。
【００３５】
信号から搬送波信号への分解とこれに関する変調部品のブロック図を図１２に示す。この図は、一つの成分の抽出のためのシグナルフローの略図である。他の全ての成分も同様に得られる。実際、抽出は全ての成分に関してブロックごとに一緒に行われ、例えば４８ｋＨｚのサンプリング周波数と７５％の解析重複でＮ＝２14のブロックサイズで（つまり、大体３４０ｍｓの時間間隔と８５ｍｓの幅で）、ウィンドウ処理後のそれぞれのブロックに対する離散フーリエ変換（ＤＦＴ）の応用により行われる。ウィンドウは式（ａ）に基づく「上部が平らな」ウィンドウであってもよい。これにより、次の変調合成に受け渡される中央のＮ／２個のサンプルは解析ウィンドウの傾きによって影響を受けないで済む。計算はより複雑化するが、正確性向上のために高次の重複を使用してもよい。
【００３６】
【数６】
【００３７】
スペクトル表示が与えられ、次に局所的ＣＯＧ位置に合わせた一組の信号適応スペクトルバンドパス重み付け関数が（搬送波周波数の概算または多重搬送波ＣＯＧ周波数の概算に関して、搬送波周波数決定部１３３０によって）算出される。スペクトルに対するバンドパス重み付け処理を行った後、信号は時間領域に変換され、ヒルベルト変換により解析信号が導き出される。これら二つの処理ステップは、各バンドパス信号に関する片面ＩＤＦＴの計算により効率的に組み合わせることができる。最後に、信号はさらに振幅エンベロープと瞬間周波数（ＩＦ）トラックに分解され、それらは位相導関数を算出することによって得られ、望ましいＡＭ及びＦＭ信号を出力する（Ｓ．ディッシュ（Ｄｉｓｃｈ）とＢ．エドラー（Ｅｄｌｅｒ）による「オーディオ信号処理のための振幅・周波数変調ボコーダー」（デジタルオーディオ効果（ＤＡＦｘ）国際学会２００８の会報参照）。
【００３８】
図１５は変更合成部１５００を示し、オーディオ信号パラメータ化表示である。例えば、有利な実施は、変調領域、つまり時間領域バンドパス信号を生成する前の領域での重複計算（ＯＬＡ）に基づくものである。入力信号はビットストリームであってもよく、またアナライザや変更子に直接接続されていてもよいものであるが、この入力信号はＡＭ成分１５０２とＦＭ成分１５０４と搬送波周波数成分１５０６とに分けられる。ＡＭ合成部は好ましくは重複加算器１５１０とさらに成分合成制御部１５２０とを含む。この成分合成制御部１５２０は、ブロック１５１０だけでなく、ＦＭ合成部内の重複加算器であるブロック１５３０をも含むことが好ましい。ＦＭ合成部はさらに、周波数重複加算器１５３０と瞬間周波数積分器１５３２と位相合成部１５３４とを含み、この位相合成部１５３４もまた、前のブロックからの一つの信号の位相が現在のブロックの位相に接続するように、ブロックからブロックへの定位相を再生するために成分合成制御部１５２０によって制御され得る一般的な加算器と移相器１５３６として実施されてもよい。従って、これらの部品１５３４，１５３６における位相加算は、アナライザ側の図１３におけるブロック１５２０ｇでの微分の間に失われてしまった定数の再生に相当すると言える。感覚領域における情報損失の観点からは、これ、つまり、図１３における微分部１３２０ｇによる定数部分の損失が唯一の情報損失である。この損失は、成分合成部１５２０によって決定される定位相を加算することによって補うことができる。
【００３９】
重複加算（ＯＬＡ）は、隣接する時間ブロック間のうなり作用を避けるために、容易に合成された信号よりもむしろパラメータ領域に適用される。ＯＬＡはスペクトルの周辺（ＥＲＢスケールで測定した）によって導かれ、現在のブロックの成分と前のブロックのこれら成分に相当するものとのペアごとの組み合わせを行う成分合成メカニズムによって制御される。また、この合成は現在のブロックの絶対成分移相を前のブロックのものに合わせる。
【００４０】
詳しくは、まずＦＭ信号が搬送波周波数に付加され、その結果はＯＬＡ段階に送られ、その後ＯＬＡ段階の出力が積分される。その結果生じた位相信号は正弦波振動子１５４０に送られる。ＡＭ信号は第２ＯＬＡ段階で処理される。最後に、その成分が出力信号１５６０へ付加的に寄与するように、振動子の出力が結果として生じたＡＭ信号によって振幅変調される（１５５０）。
【００４１】
変調解析における信号の適切なスペクトル区分は、その後の変調パラメータ処理において説得力のある結果を得るために最も重要なことである。従って、ここで、適切な区分アルゴリズムを説明する。
【００４２】
図１６は、多声キーモード変更のための適用例１６００を示す。図１６は変調ボコーダー素子の選択的な転置を示す。搬送波周波数は、適当なＭＩＤＩ楽譜上にマッピングされるＭＩＤＩ音符に量子化される。これらのマッピングされた成分をオリジナルと変更後の搬送波周波数との比で掛けることによって、相対的なＦＭ変調が保たれる。
【００４３】
元の再生スピードを保ちながらオーディオ信号の転置を行うことは、困難な課題である。ここで提案するシステムを使用すれば、全ての搬送波成分に一定の係数を掛けることで、この課題を簡単に達成できる。入力信号の時間的構造は完全にＡＭ信号によって捕えられているので、搬送波のスペクトル間隔の引き伸ばしに影響を受けることはない。
【００４４】
選択的な処理によって、もっと望ましい効果が得られる。一曲の音楽のキーモードを、例えばマイナーからメジャーにまたはその逆に変更可能である。従って、ある既定の周波数間隔に相当する搬送波の一部のみが適当な新しい値にマッピングされる。これを達成するために、搬送波周波数はＭＩＤＩピッチに量子化され（１６７０）、その後、（処理されるべき音楽のモードとキーの先験的な知識を使用して）適当な新しいＭＩＤＩピッチ上にマッピングされる（１６７２）。
【００４５】
そして、マッピングされたＭＩＤＩ音符は、合成に使用される変調搬送波周波数を得るために、元に戻すように変換される（１５７４）。時間的特徴は主に変更されていないＡＭによって表され保持されているので、一つのＭＩＤＩ音符の発現と消失だけを検知するための専用素子は必要ではない。任意のマッピング表が規定され、これにより他のマイナーの趣（例えばハーモニックマイナー）からのまたはそれへの変換が可能となる。
【００４６】
オーディオ効果の分野への応用は、オーディオ信号の全体的な転置である。このオーディオ効果に必要な処理は、搬送波を一定の転置係数で掛けることだけである。さらにＦＭ信号をも同じ係数で掛けることにより、各成分において、相対的なＦＭ変調度が確実に保持される。入力信号の時間的構造は完全にＡＭ信号によって捕えられているので、この処理によって影響を受けることはない。全体的な転置は、元のテンポを保ちながら、音楽信号の元のキーを目標とするキーに（例えばＣメジャーからＧメジャーへ）変更する。
【００４７】
しかし、ここで提案する変調解析は信号適応性を有するので、変調ボコーダーはこの課題以上のことを行う可能性がある。今や、倍音音楽の選択された成分の転置でさえ実現可能となり、例えば与えられた音楽信号のキーモードを変更する（例えばＣメジャーからＣマイナーへ）ための応用が可能となる（Ｓ．ディッシュ（Ｄｉｓｃｈ）とＢ．エドラー（Ｅｄｌｅｒ）による「オーディオ信号のマルチバンド感覚的変調解析、処理及び合成」（ＩＥＥＥ−ＩＣＡＳＳＰ２００９の会報参照）。これは、各成分搬送波がそのスペクトル領域での知覚されるピッチに密接に対応しているという事実により、可能である。あるオリジナルのピッチに関連する搬送波だけを新しく目標とする値に置き換えることで、キーモードによって決定される全体的な音楽的特徴を操作できる。
【００４８】
前述したように、ＭＯＤＶＯＣ成分に関する必要な処理が図１６に示されている。ＭＯＤＶＯＣ解析領域内において、搬送波周波数はＭＩＤＩ音符に量子化され、それらはその後相当するＭＩＤＩ楽譜上にマッピングされる。ミディのピッチと音符名の意味のある配置転換のためには、オリジナルの音楽のモードとキーの先験的知識が必要となる場合がある。いかなるＡＭもピッチ情報をまったく含まないので、いかなる成分のＡＭも全く影響を及ぼさない。
【００４９】
特に、成分の搬送波周波数ｆはその成分のピッチを表しているが、式（６）に基づき、ＭＩＤＩピッチ値ｍに変換される。式（６）において、ｆstdはＭＩＤＩピッチ６９、音符Ａ０に相当する標準ピッチを示す。
【００５０】
【数７】
【００５１】
続いて、ＭＩＤＩピッチはＭＩＤＩ音符ｎ（ｆ）に量子化され、さらに、各音符のピッチの補正値ｏ（ｆ）が決定される。キーとオリジナルのモードと目標とするモードに応じたＭＩＤＩ音符マッピング表を使用することで、これらのＭＩＤＩ音符は適切な目標とする値ｎ’に変換される。下記表に、Ｃのキーをメジャーからナチュラルマイナーに変換するためのマッピングの典型例を示す。この表は、ＣメジャーからＣナチュラルマイナーへのスケールモード変換のためのＭＩＤＩ音符マッピング表である。このマッピングは全オクターブの音符に適用される。
【００５２】
【表１】
【００５３】
最後に、合成（式７）に使用される変更後の搬送波周波数を得るために、ピッチ補正値を含むマッピングされたＭＩＤＩ音符は周波数ｆ’に戻るように変換される。また、相対的なＦＭ変調度を保つために、マッピングされた成分のＦＭに、オリジナルと変更後の搬送波周波数の比として得られる個々のピッチ転置係数を掛ける。時間的特徴は主に変更されていないＡＭによって表され保持されているので、一つのＭＩＤＩ音符の発現と消失だけを検知するための専用素子は必要ではない。
【００５４】
上述した変調ボコーダーは、オーディオ信号の異なる周波数領域（バンドパス信号）を別々に変更するための一つの可能性であり、選択的なピッチ転置として説明した。本発明の概念により、このような変更後のオーディオ信号の感覚的質を高めることが可能になる。本発明のいくつかの実施形態はボコーダーまたは変調ボコーダーに関して説明しているが、本発明は、ボコーダーの使用とは関係なく、変更後のオーディオ信号の感覚的質を向上させるために広く使用されてもよい。
【００５５】
図１は、本発明の一実施形態に係る、オーディオ信号１０２を変更するための装置１００のブロック図である。装置１００は、フィルターバンク処理部１１０、基音決定部１２０、倍音決定部１３０、信号処理部１４０、及び合成部１５０を含む。フィルターバンク処理部１１０は基音決定部１２０と倍音決定部１３０と信号処理部１４０とに接続され、基音決定部１２０は基音決定部１２０と倍音決定部１３０とに接続されている。さらに、倍音決定部１３０は信号処理部１４０に接続され、信号処理部１４０は合成部１５０に接続されている。フィルターバンク処理部１１０は、オーディオ信号１０２に基づき複数のバンドパス信号１１２を生成する。さらに、基音決定部１２０は、基音バンドパス信号１２２を得るために、複数のバンドパス信号から一つのバンドパス信号１１２を選択する。倍音決定部１３０は、選択された基音バンドパス信号１２２に関連する倍音バンドパス信号１３２を得るために、複数のバンドパス信号１１２のうちから、選択された基音バンドパス信号１２２に関する倍音基準を満たす一つのバンドパス信号を識別する。さらに、信号処理部１４０は、既定の変更目標に基づき、選択された基音バンドパス信号１２２を変更する。また、信号処理部１４０は、選択された基音バンドパス信号１２２の変更に応じて、選択された基音バンドパス信号１２２に関連して識別された倍音バンドパス信号１３２を変更する。合成部１５０は、変更後のオーディオ信号１５２を得るために、選択・変更された基音バンドパス信号と識別・変更された倍音バンドパス信号を含む複数のバンドパス信号を合成する。
【００５６】
基音バンドパス信号１２２と基音バンドパス信号１２２に関連して識別された倍音バンドパス信号１３２を同じように変更することにより（複数のバンドパス信号のうちの他のものは異なる方法で変更してもよいが）、これらの倍音の一般的なふるまいが保持され得る。これにより、オリジナルのオーディオ信号１０２の音色がより正確に保持され、変更後のオーディオ信号の感覚的質が大きく向上される。例えば、ほとんどの楽器は、一つの基本周波数とその倍音から成る調和した音を発生させる。基本周波数部分が変更される場合、上述した概念に基づく倍音同士の相関性のある変更が、変更後のオーディオ信号の感覚的質を非常に向上させる結果となり得る。さらに、全てのオーディオ信号に関する先験的情報（例えば全ての多声音楽のタイトル）を必ずしも必要とはしないので、オーディオ信号はリアルタイムで変更できる。
【００５７】
オーディオ信号１０２は、例えば時間領域入力オーディオ信号、または時間領域入力オーディオ信号を表す周波数領域入力オーディオ信号であってもよい。
【００５８】
基音決定部１２０は、選択された基音バンドパス信号１２２を変更のために信号処理部１４０に送ってもよいし、あるいは、信号処理部１４０に複数のバンドパス信号から選択されたバンドパス信号の既定の変更目標に応じた変更を開始させるように、トリガー信号１２２（例えば選択された基音バンドパス信号の指標ｉ∈［０…Ｉ−１］（Ｉは複数のバンドパス信号の個数））を送ってもよい。倍音決定部１３０もまた、識別された倍音バンドパス信号１３２を変更のために信号処理部１４０に送ってもよいし、あるいは、信号処理部１４０に複数のバンドパス信号から識別されたバンドパス信号の変更を開始させるように、トリガー信号１３２（例えば複数のバンドパス信号から倍音バンドパス信号として識別されたバンドパス信号の指標）を送ってもよい。
【００５９】
倍音基準は、基音の倍音を識別するための一つまたはそれ以上の規定を含んでいてもよい。複数のバンドパス信号から選択された基音バンドパス信号１２２の倍音として識別するのに満たされるべき倍音基準は一つまたはそれ以上存在し得る。
【００６０】
既定の変更目標は、異なる周波数域を含むバンドパス信号ごとに異なっていてもよいし、また、要求されているオーディオ信号１０２の変更に応じたものであってもよい。例えば、オーディオ信号の元のキーが目標のキーに変更される場合を考える。Ｃのキーをメジャーからナチュラルマイナーへ変更するために、上記表によるマッピングの典型例が挙げられた。例えば、複数のバンドパス信号のうちの一つのバンドパス信号の周波数域がオリジナルの音符Ｃに相当する場合、目標音符もまたＣであり、このバンドパス信号は変更されない（変更された基音バンドパス信号に関連する倍音バンドパス信号であると認識される場合は除いて）。この場合、変更目標は、このバンドパス信号を変更しないままで保つことである。他方、複数のバンドパス信号のうち、オリジナルの音符Ａと相関関係のある周波数域を含む一つのバンドパス信号は変更され、変更後のバンドパス信号は目標音符Ａ♭と相関関係のある周波数域を含み得る（この場合を除いて、バンドパス信号は、別の変更目標に応じて変更されるべき基音バンドパス信号の倍音バンドパス信号として認識される）。さらに、識別された倍音バンドパス信号（オリジナルの音符Ａの倍音と相関関係のある周波数域を含むバンドパス信号）は、変更後の倍音バンドパス信号が目標音符Ａ♭の倍音と相関関係のある周波数域を含むように変更され得る。
【００６１】
複数のバンドパス信号１１２の全てが搬送波周波数を含んでいてもよい。搬送波周波数は、例えばバンドパス信号の周波数域の中心周波数、周波数域の上部カットオフ周波数、周波数域の下部カットオフ周波数または周波数域の重心として一つのバンドパス信号によって表されるかまたはバンドパス信号に含まれる周波数域の特性周波数であってもよい。バンドパス信号の搬送波周波数は、バンドパス信号ごとに互いに異なっていてもよい。これらの搬送波周波数は、倍音バンドパス信号を識別するために倍音決定部１３０によって使用されてもよい。例えば、倍音決定部１３０は、複数のバンドパス信号のうちの一つのバンドパス信号１１２の搬送波周波数を、選択された基音バンドパス信号１２２の搬送波周波数と比較してもよい。倍音は基音の周波数の大体倍数であるので、あるバンドパス信号１１２の搬送波周波数が選択された基音バンドパス信号１２２の倍数であるならば（例えば１００Ｈｚ、５０Ｈｚ、２０Ｈｚまたはそれ以下の既定の搬送波周波数の許容範囲で）、倍音基準が満たされていることになる。換言すれば、倍音基準は、例えば、バンドパス信号１１２の搬送波周波数が既定の搬送波周波数の許容範囲内で選択された基音バンドパス信号１２２の倍数であることであってもよい。
【００６２】
倍音決定部１３０は付加的にまたは選択的に、複数のうちの一つのバンドパス信号１１２のエネルギー量を、選択された基音バンドパス信号１２２のエネルギー量と比較してもよい。この例では、バンドパス信号１１２のエネルギー量の選択された基音バンドパス信号１２２のエネルギー量に対する比が規定のエネルギー許容範囲内であるならば、倍音基準が満たされたことになる。この倍音基準は、倍音は通常基音よりも低いエネルギーを示すことを考慮に入れている。既定のエネルギー許容範囲は、例えば０．３〜０．９、０．５〜０．８、０．６〜０．７または他の範囲であってもよい。このエネルギー量に基づく倍音基準と、上述の搬送波周波数に基づく倍音基準とを組み合わせてもよい。
【００６３】
倍音決定部１３０は付加的にまたは選択的に、複数のうちの一つのバンドパス信号１１２の時間的エンベロープと、選択された基音バンドパス信号１２２の時間的エンベロープとの相関関係を示す相関値を算出してもよい。この場合、この相関値が既定の相関閾値よりも高ければ、倍音基準を満たしていることになる。この倍音基準は、基音とその倍音は類似の時間的エンベロープを共有しているという事実を考慮するものである。既定の相関閾値は、例えば０．２、０．３、０．４またはそれ以上であってもよい。このような相関関係による倍音基準は、前述の搬送周波数による倍音基準及び／またはエネルギー量による倍音基準と組み合わせてもよい。
【００６４】
基音決定部１２０は、既に選択された基音バンドパス信号１２２と既に識別された倍音バンドパス信号１３２を全く考慮することなく、複数のバンドパス信号からさらに別のバンドパス信号１１２を選択してもよい。つまり、基音決定部１２０は、まだ基音バンドパス信号として選択されてもいないし倍音バンドパス信号１３２として識別されてもいないバンドパス信号を含む一組のバンドパス信号から、基音バンドパス信号を繰り返し洗濯してもよい。複数のバンドパス信号のうちの全てのバンドパス信号が、基音バンドパス信号として選択されるか、またはある基音バンドパス信号の倍音として識別されるまで、これが行われてもよい。それ故に、倍音決定部１３０は、既に識別された倍音バンドパス信号１３２と既に選択された基音バンドパス信号１２２を全く考慮することなく、前記さらに選択された基音バンドパス信号に関する倍音基準を満たすバンドパス信号１１２を複数のバンドパス信号から識別してもよい。
【００６５】
さらに、信号処理部１４０は、前記さらに別の基音バンドパス信号１２２を、別の所定の変更目標に基づき、また他の全ての選択された基音バンドパス信号からは独立して変更してもよい。つまり、各基音バンドパス信号またはいくつかの選択された基音バンドパス信号に関して、別々の変更目標が設定されていてもよい。例えば、変更目標は、前述のような一つのキー音符から別のものへの変換を示す表によって規定されていてもよい。基音バンドパス信号は互いに独立して変更できるので、例えば、ある楽器の基音と倍音のみが選択的に、この楽器のキーモードまたは音量を変えるように変更されてもよい。
【００６６】
基音決定部１２０は、バンドパス信号１１２をエネルギー基準に基づき選択してもよい。例えば、最大エネルギー量またはいくつかの最大エネルギー量のうちの一つを有する（例えば、他のバンドパス信号と比べて７０％以上高い）バンドパス信号が選択されてもよい。この例では、選択されるべき基音バンドパス信号のエネルギー量を示すエネルギー量パラメータを０に設定することで、既に選択した基音バンドパス信号をその後の選択から排除することができる。バンドパス信号の選択に関して、感覚的に重要なバンドパス信号の選択を強調するために、各バンドパス信号のエネルギー量（例えば基音決定部によって決定されたエネルギー量パラメータによって示される）が重み付け（例えばＡ重み付け）されてもよい。
【００６７】
信号処理部１４０は、選択された基音バンドパス信号１３２とそれに関連する倍音バンドパス信号１３２を、多様な方法で変更できる。例えば、信号処理部１４０は、選択された基音バンドパス信号１２２の搬送波周波数を転置係数（例えばキーモード変換に応じたもの）で掛けることで、あるいは選択された基音バンドパス信号１２２の搬送波周波数に転置周波数を加算することで、選択された基音バンドパス信号１２２を変更してもよい。さらに、信号処理部１４０は、識別された倍音バンドパス信号１３２の搬送波周波数を転置係数（例えば２０％、１０％、５％、１％またはそれ以下の許容範囲を有するもの）で掛けることで、あるいは識別された倍音バンドパス信号１３２の搬送波周波数に転置周波数の倍数（例えば２０％、１０％、５％、１％またはそれ以下の許容範囲を有するもの）を加算することで、識別された倍音バンドパス信号１３２を変更してもよい。換言すれば、例えば、基音とそれに関連する倍音を同じ転置係数で掛けることで、あるいは基音に転置周波数を加算し、その倍音にその転置周波数の倍数を加算することで、キーモード変換が達成され得る。このようにして、識別された倍音バンドパス信号１３２は、選択された基音バンドパス信号１２２に応じて（基音バンドパス信号１２２と同じ方法で）変更される。
【００６８】
図２は、本発明の一実施形態に係る、オーディオ信号１０２を変更するための装置２００のブロック図である。この装置２００は図１に示した装置と同様のものであるが、搬送波周波数決定部２６０をさらに含むものである。また、フィルターバンク処理部１１０は、フィルターバンク２１２と信号変換器２１４とを含んでいる。フィルターバンク２１２は信号変換器２１４に接続され、信号変換器２１４は信号処理部１４０に接続されている。この任意の搬送周波数決定部２６０は、フィルターバンク処理部１１０のフィルターバンク２１２と信号処理部１４０とに接続されている。
【００６９】
フィルターバンク２１２はオーディオ信号１０２に基づきバンドパス信号を生成してもよく、信号変換器２１４は、基音決定部１２０、倍音決定部１３０及び信号処理部１４０に送るべき複数のバンドパス信号を得るために、この生成されたバンドパス信号をサブバンド領域に変換してもよい。信号変換器２１４は、例えば片側逆転離散フーリエ変換ユニットとして実施してもよく、これにより複数のバンドパス信号１２２のうちのそれぞれが解析信号を示すことになる。このサブバンド領域において、基音決定部１２０は、基音バンドパス信号１２２を得るために、複数のバンドパス信号からこれらのサブバンド領域バンドパス信号のうちの一つを選択してもよい。さらに、倍音決定部１３０は、複数のバンドパス信号からこれらのサブバンド領域バンドパス信号のうちの一つを識別してもよい。
【００７０】
さらに、搬送波周波数決定部２６０はオーディオ信号１０２に基づき複数の搬送波周波数を決定してもよく、フィルターバンク処理部１１０のフィルターバンク２１２はバンドパス信号を生成してもよい。そして、複数の搬送波周波数のそれぞれ２６２に関連するバンドパス信号を得るために、各バンドパス信号は複数の搬送波周波数のうちの別の搬送波周波数２６２を含む周波数域を含む。つまり、フィルターバンク２１２によって生成されたバンドパス信号の帯域幅と中心周波数は搬送波周波数決定部２６０によって制御されてもよい。これは多様な方法で行うことができ、例えば、前述のように、オーディオ信号１０２の重心（ＣＯＧ）を算出することにより行ってもよい。
【００７１】
既に述べたように、バンドパス信号１１２は様々な方法で変更可能である。例えば、信号処理部１４０は、複数のバンドパス信号の各バンドパス信号１１２に関して振幅変調信号（ＡＭ）と周波数変調信号（ＦＭ）を生成してもよい。各バンドパス信号はサブバンド領域の解析信号であるので、信号処理部１４０は、例えば変調ボコーダーに関連して、前述のような振幅変調信号と周波数変調信号を生成してもよい。さらに、信号処理部１４０は、選択された基音バンドパス信号１２２の振幅変調信号または周波数変調信号を既定の変更目標に基づき変更してもよく、また識別された倍音バンドパス信号１３２の振幅変調信号または周波数変調信号を基音バンドパス信号１２２の変更に応じて変更してもよい。
【００７２】
フィルターバンク処理部１１０、基音決定部１２０、倍音決定部１３０、信号処理部１４０、結合部１５０及び／または周波数決定部２６０は、例えば、それぞれ個別のハードウェアユニットあるいはデジタル信号処理装置、コンピュータまたはマイクロコントローラの一部であってもよく、またデジタル信号処理装置、コンピュータまたはマイクロコントローラ上で動作するよう構成されたコンピュータプログラムまたはソフトウェア製品の一部であってもよい。
【００７３】
本発明に係るいくつかの実施形態は、本発明に係るオーディオ信号変更方法３００に関するものである。この方法３００は、基音バンドパス信号を得るために、オーディオ信号に基づき複数のバンドパス信号を生成すること３１０と、複数のバンドパス信号から一つのバンドパス信号を選択すること３２０とを含んでいてもよい。さらに、方法３００は、選択された基音バンドパス信号１２２に関連する倍音バンドパス信号を得るために、複数のバンドパス信号から、選択された基音バンドパス信号に関する倍音基準を満たす一つのバンドパス信号を識別すること３３０を含んでいてもよい。さらに、選択された基音バンドパス信号は既定の変更目標に基づき変更され（３４０）、識別された倍音バンドパス信号は、前記選択された基音バンドパス信号の変更に応じて変更される（３５０）。さらに、方法３００は、変更後のオーディオ信号を得るために、選択及び変更された基音バンドパス信号と識別及び変更された倍音バンドパス信号とを含む複数のバンドパス信号を結合すること３６０を含んでいてもよい。
【００７４】
方法３００は、上述のまたは以下に説明する本発明の概念の任意の特徴を表す付加的なステップをさらに含んでいてもよい。
【００７５】
以下に、変調ボコーダーを使用した実施例を挙げて上述の概念を詳細に説明するが、ここで提案する概念はもっと一般的に他の実施形態にも使用できる。
【００７６】
ほとんどの楽器は、基音周波数部分と、その基音周波数の約整数倍である倍音とから成る調和音を発生させる。音程は対数尺度に従うので、それぞれの倍音は異なる音程と基音（及びそのオクターブ）に関して共通点がある。下記の表は、最初の７つの倍音に関して倍音番号と音程の対応を示している。
【００７７】
下記の表に、基音とそのオクターブに関する倍音番号と音程を示す。
【００７８】
【表２】
【００７９】
課題が多声音楽の選択的な転置である場合、ＭＯＤＶＯＣ成分の音楽的機能に関して特有の曖昧さが存在する。その成分が基音に由来する場合、望ましいスケールマッピングに応じて転置されなければならず、それが基音に起因する倍音によって特徴付けられている場合、その音の音色を最良に保持するためにはこの基音と共に転置されなければならない。このことから、最適な転置係数を選択するために、それぞれのＭＯＤＶＯＣ成分（バンドパス信号）を割り当てる必要性が出てくる。
【００８０】
これを達成するために、上述した簡単な処理方法が倍音ロッキング機能によって拡大された。倍音ロッキングは、全ての成分に関して、転置の前に、各成分（バンドパス信号）が基音に起因するものであるかまたは独立した構成要素と見なすべきものであるかについて調べる。これは反復的なアルゴリズムによって行われる。このアルゴリズムのフローチャートを図５に示す。このアルゴリズムは、５１０において、一つのテスト成分ｔ（基音バンドパス信号）のｉＥ［０…Ｉ−１］／ｔ（Ｉは成分の総数（複数のバンドパス信号の数）を示す）で示される他の全ての成分（バンドパス信号）に対する周波数比、エネルギー比及びエンベロープの相互相関を評価する。反復の間の５２０において、一連のテスト成分（基音バンドパス信号）は、評価順序がエネルギーが小さくなっていく順番になるように、Ａ重み付けされたエネルギーによって決定される。Ａ重み付け（米国規格協会「アンシ規格 ｓｌ．４−１９８３」１９８３年）、（米国規格協会「アンシ規格 ｓｌ．４２−２００１」２００１年）は、音量に関して各成分の感覚的な隆起を具現化するために応用される（例えば、Ｈ．フレッチャー（Ｆｌｅｔｃｈｅｒ）とＷ．Ａ．マンソン（Ｍｕｎｓｏｎ）による「音量、その定義、測定及び算出」米国音響教会、第５巻、８２~１０８ページ、１９３３年参照）。
【００８１】
倍音搬送波周波数の一致、倍音搬送波周波数の不一致、成分のエネルギー及び／またはゼロ遅延での正規化振幅エンベロープ相関関係が閾値化によって調べられてもよい。
【００８２】
周波数の一致及び不一致は以下の式（８）に基づき規定されてもよい。式（８）において、ｆtはテスト成分の搬送波周波数（選択された基音バンドパス信号の搬送波周波数）、ｆiは指標ｉの成分（複数のバンドパス信号のうちの一つ）である。周波数の一致に関して、１よりも大きいすべての倍数が潜在的な倍音である。潜在的な倍音として許容される周波数の不一致のための適切な閾値（搬送波周波数閾値）は例えば２２Ｈｚである。
【００８３】
【数８】
【００８４】
Ａ重み付けされた成分の倍音の基音に対するエネルギー比（式（９））は、ほとんどの楽器に関して、倍音は基音よりも低いエネルギーを有するという事実を反映して、所定の閾値よりも小さいことを必要条件としてもよい。適切な閾値（エネルギー許容範囲）は、例えば比で０．６である。
【００８５】
【数９】
【００８６】
テスト成分のエンベロープｅｎｖtと指標ｉの成分のエンベロープｅｎｖiとの正規化ゼロ遅延振幅エンベロープ相関関係は式（１０）によって定義される。この方策は、一つの基音とその倍音は、Ｍ以内のブロック長でかなり類似の時間的エンベロープを共有しているという事実を利用するものである。適切な閾値（相関閾値）は、非公式の実験によって０．４と決定された。
【００８７】
【数１０】
【００８８】
調査の結果、５７０で全ての閾値条件を満たした全ての成分ｉは、５８０で、そのテスト成分に関して倍音として分類され、その後調査から除外される。次に、そのテスト成分も、５４２でそのエネルギーを０に設定することにより、その後の反復処理から除外される。このアルゴリズムは、全ての成分が割り当てられるまで、つまり、最大の成分エネルギーがゼロで示されるようになるまで繰り返される。
【００８９】
図４は、倍音ロッキングを含むＭＯＤＶＯＣによる選択的転置の改良処理スキームを示す。図１６とは対照的に、ロックされた成分が第２段階でそれらが帰属する基音に用いられたのと同じ転置係数で変更されている間に、ロックされていない成分だけが転置段階に入ってくる。
【００９０】
つまり、図５は上述の倍音ロッキング（オーディオ信号変更方法５００）のフローチャートを示している。テスト基音（選択された基音バンドパス信号）の倍音の条件に一致する成分が繰り返し分類され、サーチ範囲から除かれる。このために、複数のバンドパス信号のそれぞれは搬送波周波数とエネルギー量と時間的エンベロープを持っているか、あるいは５１０で、複数のバンドパス信号のそれぞれに関して、搬送波周波数、エネルギー量及び／または時間的エンベロープ（時間的エンベロープパラメータ）が決定される。さらに、各バンドパス信号のエネルギー量（エネルギー量パラメータ）は５２０でＡ重み付けされる。そして５３０で、最大エネルギー（最大エネルギー量パラメータ）を有する基音バンドパス信号（テスト基音ｆt）が選択される。既に選択された基音バンドパス信号は全て０にセットされ、既に識別された倍音バンドパス信号は全てサーチ範囲から除外されているので、選択された基音バンドパス信号は０に等しいエネルギー量パラメータを有している可能性があり、この時点でこの反復的なアルゴリズムは終了する（５４０）。そうでなければ、５６０で、選択された基音バンドパス信号と複数のバンドパス信号のうちの残りのものとの周波数の一致（または不一致）、エネルギー量及び／または時間的エンベロープの相関関係を比較する。５７０で一つまたはいくつかあるいは全ての条件（倍音基準）が満たされた場合、５８０で、それら各々のバンドパス信号は倍音バンドパス信号として識別され、この識別された倍音バンドパス信号をサーチ範囲から除外すると共に、倍音ロッキングデータを生成してもよい（例えば、倍音リストに識別されたバンドパス信号の指標を記録する）。この倍音ロッキングデータは、５９０で、選択された基音バンドパス信号と関連して保存されてもよい。選択された基音バンドパス信号の全ての倍音バンドパス信号を識別した後、５９２で、選択された基音バンドパス信号のエネルギー（エネルギー量パラメータ）を０にセットし、５３０で、次の基音バンドパス信号として最大エネルギーを有するものを選択する。
【００９１】
信号処理部は、バンドパス信号の変更のために倍音ロッキングデータを使用してもよい。可能な実施例を図４に示す。この例では、例えば、信号処理部はＭＩＤＩマッパー１６００と倍音変更器４００を含む。ＭＩＤＩマッパー１６００は、それぞれの選択された基音バンドパス信号の搬送波周波数を、個々の変更目標に応じて変更する（基音が変更されない場合も含み得る）。ＭＩＤＩマッパー１６００は、例えば図１６に示すように実施されてもよい。倍音変更器４００は倍音変更コントローラ４１０、倍音乗算器４２０及び倍音変更供給器４３０を含んでいてもよい。倍音変更コントローラ４１０は倍音乗算器４２０と倍音変更供給器４３０とに接続されていてもよく、倍音乗算器４２０は倍音変更供給器４３０に接続されていてもよい。倍音乗算器４２０は、識別された倍音バンドパス信号の搬送波周波数ｆに、関連する基音バンドパス信号に掛けられたものと同じ転置係数（前述の許容範囲を有する）を掛けてもよく、倍音変更供給器４３０に変更後の搬送波周波数ｆ’を送る。倍音変更器４００が識別された倍音バンドパス信号の搬送波周波数を認識した場合（例えば倍音ロッキングデータに基づき）、倍音変更コントローラ４１０は倍音変更供給器４３０に対して、識別された倍音バンドパス信号の変更後の搬送波周波数を供給するよう始動させてもよい。そうでなければ、倍音変更供給器４３０はＭＩＤＩマッパー１６００の出力を供給してもよい。さらに、図４はここで提案する概念のボコーダーでの実施を示し、バンドパス信号の搬送波周波数に加えて、それに対応する周波数変調（ＦＭ）信号も、変更前の搬送波周波数と変更後の搬送波周波数との比で掛けられることで変更される。周波数変調の代わりにまたは周波数変調に加えて、オーディオ信号の音量がバンドパス信号選択的に変更されてもよい。このために、バンドパス信号の振幅変調（ＡＭ）信号が変更されてもよい。
【００９２】
つまり、図４は、倍音ロッキングを使用した（識別された倍音バンドパス信号をそれに関連する基音バンドパス信号の変更に応じて変更する）変調ボコーダー成分（バンドパス信号）の改良された選択的転置を示すものである。ロックされていない搬送波周波数（基音バンドパス信号であり得る）のみがＭＩＤＩ音符に量子化され、適切な対応するＭＩＤＩ楽譜上にマッピングされる（それぞれの変更目標に応じて）。ロックされた成分（識別された倍音バンドパス信号）は、帰属の基音（関連する基音バンドパス信号）の元の搬送波周波数と変更後の搬送波周波数との比で掛けることによって転置されてもよい。
【００９３】
図６Ａは、本発明の一実施形態に係るオーディオ信号変更装置６００のブロック図である。この装置６００は、エンベロープ形状決定部６１０、フィルターバンク処理部６２０、信号処理部６３０、結合部６４０及びエンベロープ成形部６５０を含む。エンベロープ形状決定部６１０はエンベロープ成形部６５０に接続され、フィルターバンク処理部６２０は信号処理部６３０に接続され、信号処理部６３０は結合部６４０に接続され、結合部６４０はエンベロープ成形部６５０に接続されている。エンベロープ形状決定部６１０は、時間領域入力オーディオ信号を表す周波数領域オーディオ信号６０２に基づき、エンベロープ形状係数６１２を決定する。さらに、フィルターバンク処理部６２０は、周波数領域オーディオ信号６０２に基づき、サブバンド領域の複数のバンドパス信号６２２を生成する。信号処理部６３０は、所定の変更目標に基づき、複数のサブバンド領域バンドパス信号のうちの一つ６２２を変更する。さらに、結合部６４０は、時間領域オーディオ信号６４２を得るために、複数のサブバンド領域バンドパス信号の少なくとも一部（例えば変更後のサブバンド領域バンドパス信号を含む）を結合する。エンベロープ成形部６５０は、成形されたオーディオ信号６５２を得るために、時間領域オーディオ信号６４２のエンベロープをエンベロープ形状係数６１２に基づき成形する。
【００９４】
あるいは、エンベロープ成形部６５０は、信号処理部６３０と結合部６４０の間に配置されていてもよく（信号処理部６３０はエンベロープ成形部６５０に接続され、エンベロープ成形部６５０は結合部６４０に接続される）、変更後のサブバンド領域バンドパス信号を含む複数のサブバンド領域バンドパス信号のエンベロープを、エンベロープ形状係数６１２に基づき成形してもよい。
【００９５】
オーディオ信号を処理する前にエンベロープ形状係数６１２を抽出し、一つまたはそれ以上のバンドパス信号を変更した後にそのエンベロープ形状係数６１２を使用してオーディオ信号のエンベロープを成形することにより、違う方法で変更されたバンドパス信号のスペクトルのコヒーレンスがより正確に保たれ得る。さらに、過渡信号に関して、時間とともに広がる量子化ノイズもエンベロープ成形部６５０によって成形し得る。このようにして、変更後のオーディオ信号の感覚的質をかなり向上することができる。さらに、オーディオ信号全体に関する先験的な情報（例えば多声音楽の全体のタイトル）は必要ではないので、オーディオ信号のリアルタイムの変更が可能である。
【００９６】
また別の方法として、エンベロープ成形部６５０は信号処理部６３０とフィルターバンク処理部６２０の間に配置されてもよく（フィルターバンク処理部６２０はエンベロープ成形部６５０に接続され、エンベロープ成形部６５０は信号処理部６３０に接続される）、成形されたオーディオ信号６５２を得るために、サブバンド領域バンドパス信号が信号処理部６３０によって変更される前に、複数のサブバンド領域バンドパス信号のエンベロープをエンベロープ形状係数６１２に基づき成形してもよい。
【００９７】
オーディオ信号を処理する前にエンベロープ形状係数６１２を抽出し、フィルターバンク処理部６２０によって複数のバンドパス信号６２２がサブバンド領域で生成された後にそのエンベロープ形状係数６１２を使用してその複数のバンドパス信号６２２のエンベロープを成形することにより、適応フィルターバンクが実現でき、特に過渡信号に関して局所的なコヒーレンスを向上させることができる（例えば、Ｊ．ヘレ（Ｈｅｒｒｅ）とＪ．Ｄ．ジョンストン（Ｊｏｈｎｓｔｏｎ）による「感覚的高品質オーディオコーディングのための断続的信号適応フィルターバンク」（信号処理のオーディオ及び音響への応用に関するＩＥＥＥのＡＳＳＰワークショップ、モーホンク、１９９７年）を参照）。この場合、変更後の信号（変更後のバンドパス信号）が成形されるのではなく、変更の前に、生成されたバンドパス信号の質が過渡信号の再生という点で向上され得る。
【００９８】
周波数領域オーディオ信号６０２は、例えば、時間領域入力信号に基づき（例えば離散フーリエ変換によって）周波数領域オーディオ信号６０２を生成する前処理部から与えられてもよいし、記憶ユニットから与えられてもよい。エンベロープ形状決定部１０によって決定されるエンベロープ形状係数６１２は、例えば、線形予測係数であるかまたは周波数領域オーディオ信号６０２のスペクトルをパラメータ化する他の係数であってもよい。
【００９９】
信号処理部６３０は、複数のサブバンド領域バンドパス信号のうちの一つ、一部または全部の信号６２２を変更可能である。所定の変更目標は、例えば全部のサブバンド領域バンドパス信号に対する場合と一部のサブバンド領域バンドパス信号に対する場合とで異なる。例えば、オーディオ信号のキーモードを変換するためのサブバンド領域バンドパス信号の所定の変更目標は、上記の表を参照して前述したようなものであってもよい。
【０１００】
周波数領域オーディオ信号６０２は、例えばフーリエ変換で得られるスペクトル線を含んでいてもよい。周波数領域オーディオ信号のスペクトル線（バンドパス信号とみなすこともできる）とフィルターバンク処理部６２０によって生成されるバンドパス信号との違いは、周波数領域オーディオ信号のスペクトル線は、フィルターバンク処理部６２０によって生成されるサブバンド領域バンドパス信号によって表される帯域幅よりも狭い帯域幅を表すということである。例えば、周波数領域オーディオ信号６０２は離散フーリエ変換によって得られる周波数スペクトルを示しているが、それはフィルターバンク処理部６２０によって複数のバンドパス信号に分解される。そして、この複数のバンドパス信号の信号数（例えば１０、１６、２０またはそれ以上）は、周波数スペクトルのスペクトル値の個数またはスペクトル線の個数（例えば５１２個またはそれ以上の個数のスペクトル値）よりも非常に少ない。
【０１０１】
エンベロープ形状決定部６１０は周波数領域オーディオ信号６０２の周波数に関する予測に基づきエンベロープ形状係数を決定するが、これは例えば前述したような線形予測係数の決定により実行されてもよい。
【０１０２】
フィルターバンク処理部６２０は複数のバンドパス信号を出力するが、これらの各バンドパス信号６２２は周波数領域オーディオ信号６０２の特定の周波数領域を表すものであってもよい。あるいは、図７に示すように、フィルターバンク処理部６２０は、予測フィルター７１０と信号減算器７２０とフィルターバンク７３０とを含み、残余オーディオ信号７２２に基づき複数のバンドパス信号６２２を得るためのものであってもよい。このために、予測フィルター７１０は周波数領域オーディオ信号６０２とエンベロープ形状係数６１２に基づき予測オーディオ信号７１２を生成してもよい。さらに、信号減算器７２０は周波数領域オーディオ信号６０２から予測オーディオ信号７１２を差し引いて残余オーディオ信号７２２を得てもよい。複数のバンドパス信号を得るために、この残余オーディオ信号７２２は、フィルターバンク７３０がバンドパス信号を生成するのに使用されてもよい。
【０１０３】
さらに、フィルターバンク処理部６２０は任意の信号変換器を含んでいてもよい。この信号変換器（例えば片側逆転離散フーリエ変換器）は、複数のバンドパス信号６２２を得るために、フィルターバンク７３０によって生成されたバンドパス信号をサブバンド領域に変換してもよい。あるいは、この信号変換器は信号処理部６３０の一部であってもよい。
【０１０４】
本発明に係るいくつかの実施形態において、変更後のオーディオ信号の低周波部分でのアーチファクト生成を避けるために、入力オーディオ信号の低周波部分を変更から除外してもよい。このために、オーディオ信号変更装置６８０は、例えば図６Ｂに示すように、高域／低域フィルターを含んでいてもよい。高域／低域フィルター６６０は時間領域入力信号または時間領域入力信号を表す周波数領域オーディオ信号を高域フィルタリングし、そして、エンベロープ形状決定部６１０は高域周波数領域オーディオ信号６０２に基づきエンベロープ形状係数６１２を決定し、フィルターバンク処理部６２０は高域周波数領域オーディオ信号６０２に基づきサブバンド領域の複数のバンドパス信号を生成する。さらに、高域／低域フィルター６６０は時間領域入力信号または時間領域入力信号を表す周波数領域オーディオ信号を低域フィルタリングし、低域オーディオ信号６６２を得る。さらに、装置６８０は、フルバンドオーディオ信号を得るために、成形されたオーディオ信号６５２と低域オーディオ信号６６２を結合するように構成されたフルバンド信号供給器６７０を備えている。つまり、高域／低域フィルター６６０は、時間領域入力信号または時間領域入力信号を表す周波数領域オーディオ信号を高域オーディオ信号と低域オーディオ信号とに分けるものであってもよい。高域オーディオ信号あるいは高域オーディオ信号の周波数領域表示が、エンベロープ形状決定部６１０及びフィルターバンク処理部６２０に与えられてもよい。これは、高域／低域フィルタリングが時間領域で実施され、続いて信号処理部が高域オーディオ信号に基づき周波数領域オーディオ信号を生成するのか、あるいは高域／低域フィルターが時間領域入力信号を表す周波数領域オーディオ信号を既に受信して、高域／低域フィルタリングを周波数領域で実施するのかによって、決定される。
【０１０５】
高域／低域フィルター６６０は時間領域入力信号または時間領域入力信号を表す周波数領域オーディオ信号をフィルタリングし、その結果、低域オーディオ信号は所定の閾値周波数（例えば１００Ｈｚまたはそれ以上）までの周波数を含むことになる。従って、高域オーディオ信号は閾値周波数以上の周波数を含む。つまり、低域オーディオ信号６６２を供給するためには、所定の閾値周波数よりも高い周波数が高域／低域フィルター６６０によって減衰され、高域オーディオ信号を供給するためには、所定の閾値周波数よりも低い周波数が高域／低域フィルター６６０によって減衰され得る。
【０１０６】
別の例においては、図６Ｃに示すように、エンベロープ成形部６５０が信号処理部６３０と結合部６４０の間に配置されている。この場合、高域／低域フィルター６６０は低域オーディオ信号を結合部６４０に送る。結合部６４０は、時間領域入力信号６４２を得るために、変更後のサブバンド領域バンドパス信号を含む複数のサブバンド領域バンドパス信号を結合する。この場合、エンベロープ成形部６５０は、（例えば各サブバンド領域バンドパス信号の一部である周波数域に相当する）各サブバンド領域バンドパス信号に関して、エンベロープ形状係数６１２に基づき（例えば係数変換器８１０によって）一組のバンドパスエンベロープ形状係数を決定してもよい。そして、例えば、サブバンド領域バンドパス信号の各時間サンプルに、対応する一組のエンベロープ形状係数のうちの一つのバンドパスエンベロープ形状係数を掛けることができる。例えば図１５に示すボコーダーの例において、エンベロープ成形部６５０は乗算器１５５０と結合部１５６０との間に配置してもよい。
【０１０７】
さらに別の例において、エンベロープ成形部６５０は信号処理部６３０とフィルターバンク処理部６２０との間に配置してもよく（フィルターバンク処理部６２０はエンベロープ成形部６５０に接続され、エンベロープ成形部６５０は信号処理部６３０に接続される）、成形されたオーディオ信号６５２を得るために、サブバンド領域バンドパス信号が信号処理部６３０によって変更される前に、複数のサブバンド領域バンドパス信号のエンベロープをエンベロープ形状係数６１２に基づき成形してもよい。
【０１０８】
本発明に係るいくつかの実施形態において、変更後のオーディオ信号の低周波部分でのアーチファクト生成を避けるために、入力オーディオ信号の低周波部分をエンビロープ成形から除外してもよい。このために、オーディオ信号変更装置６８０は、例えば図６Ｄに示すように、高域／低域フィルターを含んでいてもよい。高域／低域フィルター６６０は時間領域入力信号または時間領域入力信号を表す周波数領域オーディオ信号を高域フィルタリングする。さらに、高域／低域フィルター６６０は時間領域入力信号または時間領域入力信号を表す周波数領域オーディオ信号を低域フィルタリングし、低域オーディオ信号６６２を得る。エンベロープ形状決定部６１０は、高域周波数領域オーディオ信号６０２に基づき、低域オーディオ信号６２２を考慮することなく、エンベロープ形状係数６１２を決定する。フィルターバンク処理部６２０は、高域周波数領域オーディオ信号６０２と低周波域オーディオ信号６２２に基づき、サブバンド領域の複数のバンドパス信号６２２を生成する。例えば図７に示すように、予測フィルターが使用されている場合には、高域残余オーディオ信号を得るために、高域周波数領域オーディオ信号６０２のみが予測フィルターと信号減算器に与えられる。低域オーディオ信号６２２は、サブバンド領域バンドパス信号を生成するフィルターバンクに直接与えられてもよい。信号処理部６３０は、高域周波数領域オーディオ信号６０２または低域オーディオ信号６２２に相当するサブバンド領域バンドパス信号を変更してもよい。あるいは、信号処理部６３０は、高域周波数領域オーディオ信号６０２に相当するサブバンド領域バンドパス信号と低域オーディオ信号６２２に相当するサブバンド領域バンドパス信号を変更してもよい。結合部６４０は高周波域オーディオ信号６０２に相当するサブバンド領域バンドパス信号のみを結合してもよく、その結果、高域周波数領域オーディオ信号６０２に相当するサブバンド領域バンドパス信号のみがエンベロープ成形部６５０によって成形されてもよい（低域オーディオ信号６２２に相当するサブバンド領域バンドパス信号は成形されない）。
【０１０９】
さらに、装置６８０は、フルバンドオーディオ信号を得るために、成形されたオーディオ信号６５２と低域オーディオ信号６６２に相当するサブバンド領域バンドパス信号を結合するよう構成されたフルバンド信号供給器６７０を含む。このために、信号処理部６３０はフルバンド信号供給器６７０に、低域オーディオ信号６６２に相当するサブバンド領域バンドパス信号を与えてもよい。
【０１１０】
別の例では、エンベロープ成形部６５０は信号処理部６３０と結合部６４０の間に配置されている。この場合、信号処理部６３０は結合部６４０に、低域オーディオ信号６６２に相当するサブバンド領域バンドパス信号を与えてもよい。結合部６４０は、時間領域オーディオ信号を得るために、変更後のサブバンド領域バンドパス信号を含む複数のサブバンド領域バンドパス信号（低域オーディオ信号６６２に相当するサブバンド領域バンドパス信号及び高域周波数領域オーディオ信号６０２に相当するサブバンド領域バンドパス信号）を結合する。この場合、エンベロープ成形部６５０は、高域周波数領域オーディオ信号６０２に相当するサブバンド領域バンドパス信号の（例えば各サブバンド領域バンドパス信号の一部である周波数域に相当する）各サブバンド領域バンドパス信号に関して、エンベロープ形状係数６１２に基づき（例えば係数変換器８１０によって）一組のバンドパスエンベロープ形状係数を決定してもよい。そして、例えば、サブバンド領域バンドパス信号の各時間サンプルに、対応する一組のエンベロープ形状係数のうちの一つのバンドパスエンベロープ形状係数を掛けることができる。例えば図１５に示すボコーダーの例において、エンベロープ成形部６５０は乗算器１５５０と結合部１５６０との間に配置してもよい。
【０１１１】
さらに別の例では、エンベロープ成形部６５０は信号処理部６３０とフィルターバンク処理部６２０の間に配置されていてもよく（フィルターバンク処理部６２０はエンベロープ成形部６５０に接続され、エンベロープ成形部６５０は信号処理部６３０に接続される）、成形されたオーディオ信号６５２を得るために、サブバンド領域バンドパス信号が信号処理部６３０によって変更される前に、高域周波数領域オーディオ信号６０２に相当するサブバンド領域バンドパス信号のエンベロープをエンベロープ形状係数６１２に基づき成形してもよい。
【０１１２】
このようにして入力オーディオ信号の低周波部はエンベロープ成形から除外されてもよい。しかし、この低周波部は他の処理には（例えばサブバンド領域バンドパス信号の変更）送られる。さらに、予測フィルター（例えば図７に示すようなもの）は所定の閾値周波数よりも高いものだけに適用されてもよい。あるいは、高域／低域分離が既に解析側で行われている場合、高域信号のエンベロープはエンベロープ形状係数の逆数により時間領域で変更してもよい。例えば選択的転置のための適用において、ＡＭは変更されなくてもよいので、上記の配置は処理後の配置と同じ結果をもたらす。
【０１１３】
本発明の一側面によると、エンベロープ成形部６５０は周波数領域オーディオ信号６０２のエネルギー量ＥFDASと残余オーディオ信号７２２のエネルギー量ＥRASとのエネルギー比を決定してもよい。このエネルギー比に基づき、このエネルギー比が所定のエネルギー閾値ＰＥＴ（０．１、０．２、０．５、０．８、１．２またはそれ以上あるいはそれ以下）よりも小さい場合には、エンベロープ成形部６５０は時間領域オーディオ信号６４２のエンベロープ成形を中断してもよい。
【０１１４】
【数１１】
【０１１５】
つまり、エンベロープ成形の動作は予測の良好性に応じてオン／オフされてもよい。予測の良好性は信号（周波数領域オーディオ信号）と予測エラー（残余オーディオ信号）とのエネルギー比として定義されてもよい予測ゲインによって測定できる。時間領域オーディオ信号６４２のエンベロープ成形が中断された場合、成形されたオーディオ信号６５２は、結合部６４０によって出力される時間領域オーディオ信号６４２と等しくなる。
【０１１６】
エンベロープ成形部６５０は様々な方法で実施され得る。その一つの例を図８に示す。エンベロープ成形部６５０は係数変換器８１０と乗算器８２０を含んでいてもよい。係数変換器８１０はエンベロープ形状係数６１２を時間領域に変換され、そして変換後のエンベロープ形状係数８１２は、時間領域オーディオ信号の時間的エンベロープを成形し、成形されたオーディオ信号６５２を得るために、時間領域オーディオ信号６４２に掛けられる。これは乗算器８２０によって行われてもよい。例えば、時間領域オーディオ信号６４２の時間ブロックは５１２個（またはそれ以上の個数）時間サンプルを含んでいてもよく、係数変換器８１０は、各時間サンプルに変換後のエンベロープ形状係数８１２を掛けるために、５１２個（またはそれ以上の個数）の変換後のエンベロープ形状係数８１２を出力してもよい。
【０１１７】
既に述べたように、装置６００は異なるサブバンド領域バンドパス信号を異なる方法で変更してもよい。より一般的には、信号処理部６３０は、複数のサブバンド領域バンドパス信号の二番目またはそれ以降の信号６２２を二番目またはそれ以降の所定の変更目標に基づき変更してもよいということである。前述のような最初の所定の変更目標と、二番目またはそれ以降の所定の変更目標とは異なっていてもよい。
【０１１８】
いくつかの実施形態において、上述の概念はボコーダーあるいは変調ボコーダーに関して利用可能である。この場合、信号処理部６３０は、複数のサブバンド領域バンドパス信号の各信号６２２に関する振幅変調信号（ＡＭ）と周波数変調信号（ＦＭ）を生成してもよい。さらに、信号処理部６３０はサブバンド領域バンドパス信号の振幅変調信号と周波数変調信号を所定の変更目標に基づき変更してもよい。
【０１１９】
さらに装置６００は、図２に示した装置２００に関して既に説明したように、任意に搬送波周波数決定部を含んでいてもよい。搬送波周波数決定部は、周波数領域オーディオ信号６０２に基づき複数の搬送波周波数を決定してもよい。これらの決定された搬送波周波数は、サブバンド領域バンドパス信号を生成するために、フィルターバンク処理部６２０によって、または図７に示すような実施例の場合にはフィルターバンク処理部６２０のフィルターバンク７３０によって使用されてもよく、これにより、各サブバンド領域バンドパス信号は複数の搬送波周波数のうちの異なる搬送波周波数を有する周波数域を含み、複数の搬送波周波数のうちのそれぞれに関連したサブバンド領域バンドパス信号を得ることになる。これは、例えば、上述したように周波数領域オーディオ信号の重心を決定することによって行われてもよい。
【０１２０】
エンベロープ形状決定部６１０、フィルターバンク処理部６２０、信号処理部６３０、結合部６４０及び／またはエンベロープ成形部６５０は、例えば、それぞれ個別のハードウェアユニットあるいはデジタル信号処理装置、コンピュータまたはマイクロコントローラの一部であってもよく、また、デジタル信号処理装置、コンピュータまたはマイクロコントローラ上で動作するよう構成されたコンピュータプログラムまたはソフトウェア製品の一部であってもよい。
【０１２１】
本発明のいくつかの実施形態は上述の概念の変調ボコーダー適用に関する。これに関して、以下でより詳細に説明する。上述の特徴は他の実施例や応用にも使用できる。
【０１２２】
ＭＯＤＶＯＣ処理は搬送波位置周辺のバンドパス範囲におけるスペクトルコヒーレンスを保持するということを前に述べた。しかし、広帯域の全体的なスペクトルコヒーレンスは保持されない。準定常信号に関しては、このことは合成信号の感覚的質に対してわずかな影響を与えるにすぎない。もし信号がドラムビートやカスタネットなどの際立った過渡信号を含むものである場合、全体的なコヒーレンスの保持はこれらの信号の再生品質を大きく向上させることができる。
【０１２３】
全体的なコヒーレンスの保持は、スペクトル領域における線形予測によって向上させることができる。いくつかの方法が、例えばＭＰＥＧ２／４改良オーディオ符号化（ＡＡＣ）の時間的ノイズ成形（ＴＮＳ）装置（例えば、Ｊ．ヘレ（Ｈｅｒｒｅ）とＪ．Ｄ．ジョンストン（Ｊｏｈｎｓｔｏｎ）による「時間的ノイズ成形（ＴＮＳ）の使用による感覚的オーディオコーダーの性能向上」（第１０１回ＡＥＳ学会、ロサンゼルス、原稿番号４３８４、１９９６年参照））により、オーディオコーデックに活用される。Ｊ．ヘレ（Ｈｅｒｒｅ）とＪ．Ｄ．ジョンストン（Ｊｏｈｎｓｔｏｎ）による「感覚的高品質オーディオコーディングのための断続的信号適応フィルターバンク」（信号処理のオーディオ及び音響への応用に関するＩＥＥＥのＡＳＳＰワークショップ、モーホンク、１９９７年）において、高解像時間−周波数変換とスペクトル予測の組み合わせが、本質的に信号適応変換に相当すると示されている。
【０１２４】
図９は、上述の概念のＭＯＤＶＯＣ処理スキームへの統合を示している。解析段階において、入力信号ｘの最初のＤＦＴに引き続き、インパルス応答ｈ（ｗ）を有する周波数に平行してその先の予測部の線形予測係数（ＬＰＣ）が、例えば最小二乗の点で予測エラーを最小化する自動相関法によって導き出される。次に、このフィルターはスペクトル値に適用され、残余信号はＭＯＤＶＯＣアルゴリズムによってさらに処理される。フィルター係数は全体的なエンベロープを表すものであるが、これらの係数は合成段階に送られる。合成段階において、単位円上の予測フィルターの見積もり|Ｈ（ｅjt）|によって導き出された全体的なエンベロープは、それを合計信号に乗法適用することで元の状態に戻され、図１０に示すように出力信号ｙが生成される。
【０１２５】
つまり、図９，１０は上述の概念の変調ボコーダーにおける実施を示している。図９は前処理部９１０を含む変調解析部を示す。前処理部９１０は、例えば、時間領域オーディオ信号の離散フーリエ変換を行って周波数領域オーディオ信号６０２を得て、その周波数領域オーディオ信号６０２をエンベロープ形状決定部６１０、予測フィルター７１０（例えばＬＰＣフィルターｈ（ω））、信号減算器７２０及び搬送波周波数決定部９２０に送る。信号減算器７２０は残余オーディオ信号７２２をフィルターバンク７３０に与えてもよい。搬送波周波数決定部９２０は、多重搬送波重心周波数を見積もり、これらの搬送波周波数を、バンドパススペクトルの重みを制御するためのフィルターバンク７３０に送ってもよい。フィルターバンク７３０はバンドパス信号を信号変換器９３０に与えてもよく、この信号変換器９３０は、各バンドパス信号に関して片側逆離散フーリエ変換を行い、複数のサブバンド領域バンドパス信号を信号処理部に送る。変調ボコーダーのこれらの部品に関しては既に詳細に説明した。図１０は変調ボコーダーの合成部を示す。合成部は結合部６４０、及び係数変換器８１０と乗算器８２９とを含むエンベロープ成形部を含む。変調ボコーダーのこれらの備品とエンベロープ成形部に関しては既に詳細に説明した。
【０１２６】
図１１は、本発明の一実施形態に係るオーディオ信号変更方法１１００のフローチャートを示している。この方法１１００は、時間領域入力オーディオ信号を表す周波数領域オーディオ信号に基づき、エンベロープ形状係数を決定すること（１１１０）と、周波数領域オーディオ信号に基づきサブバンド領域で複数のバンドパス信号を生成すること（１１２０）を含む。さらに、方法１１００は、複数のサブバンド領域バンドパス信号のうちの一つの信号を所定の変更目標に基づき変更すること（１１３０）を含む。また、複数のサブバンド領域バンドパス信号の少なくとも一部は、時間領域オーディオ信号を得るために結合される（１１４０）。さらに、方法１１００は、時間領域オーディオ信号のエンベロープをエンベロープ形状係数に基づき成形すること（１１５０）、変更後のサブバンド領域バンドパス信号を含むサブバンド領域バンドパス信号のエンベロープをエンベロープ形状係数に基づき成形すること（１１５０）、または、サブバンド領域バンドパス信号が信号処理部によって成形されたオーディオ信号を得るために変更される前に、サブバンド領域バンドパス信号のエンベロープをエンベロープ形状係数に基づき成形すること（１１５０）を含む。
【０１２７】
この方法１１００は、さらに任意に、上述の概念の特徴を表すステップを含んでいてもよい。
【０１２８】
本発明に係るいくつかの実施形態はオーディオ信号変更装置であり、図１または図２に示した装置の特徴と図６に示した装置の特徴を組み合わせたものに関する。図１２は、本発明の一実施形態に係る装置１２００のブロック図である。
【０１２９】
図１に示した装置を基に、装置１２００はさらにエンベロープ形状決定部６１０及びエンベロープ成形部６５０を含む。これに関して、オーディオ信号は時間領域入力オーディオ信号を表す周波数領域オーディオ信号であってもよく、エンベロープ形状決定部はこの周波数領域オーディオ信号に基づきエンベロープ形状係数を決定する。さらに、フィルターバンクによって生成される複数のバンドパス信号は、周波数領域オーディオ信号に基づきサブバンド領域で生成されてもよい。選択及び変更後の基音バンドパス信号と識別及び変更後の倍音バンドパス信号を含むサブバンド領域バンドパス信号を結合した後、得られた時間領域オーディオ信号１５２，６４２はエンベロープ成形部６５０に送られてもよい。エンベロープ成形部６５０は、成形されたオーディオ信号６５２を得るために、時間領域オーディオ信号のエンベロープをエンベロープ形状係数６１２に基づき成形してもよい。
【０１３０】
あるいは、図６に示した装置を基に、装置１２００はさらに、図１に示した装置に関して説明したような基音決定部１２０と倍音決定部１３０を含む。基音決定部１２０は、基音バンドパス信号１２２を得るために、複数のサブバンド領域バンドパス信号のうちから一つの信号を選択してもよい。さらに、倍音決定部１３０は、選択された基音バンドパス信号１２２に関連する倍音バンドパス信号を得るために、複数のサブバンド領域バンドパス信号のうちから、選択された基音バンドパス信号１２２に関する倍音標準を満たす一つの信号１１２を識別してもよい。信号処理部１４０，６３０は、選択された基音バンドパス信号１２２を所定の変更目標に基づき変更し、選択されたその基音バンドパス信号１２２に関連して識別された倍音バンドパス信号１３２を、上述したように、選択されたその基音バンドパス信号１２２の変更に応じて変更してもよい。
【０１３１】
このように、オーディオ信号の変更中、基音とその倍音は同じように取り扱われ、複数のバンドパス信号のスペクトルコヒーレンスは、変更後の時間領域オーディオ信号を変更前のバンドパス信号から導き出されたエンベロープ形状係数に基づき成形することにより、非常に正確に保持することができる。このようにして、変更後のオーディオ信号の感覚的質をかなり向上させることができる。
【０１３２】
装置１２００は上述の様々な実施例の更なる特徴を実現するものであってもよい。
【０１３３】
以下のように、変更後のオーディオ信号の感覚的質に関する向上はリスニングテストの結果によって示される。このリスニングテストのために、変調ボコーダー（ＭＯＤＶＯＣ）を基にした実施例が使用されたが、その結果はここで提案している概念全般に当てはまる。
【０１３４】
選択的ピッチ変換という応用のための変調ボコーダー（ＭＯＤＶＯＣ）の主観的なオーディオ品質と、さらに基本的なＭＯＤＶＯＣの原理に対してここで提案する改良の利点を見積もるために、一例として、一組のオーディオファイルが作成され、処理された。また、ＭＯＤＶＯＣ技術は、市場で入手可能な多声オーディオ操作のためのオーディオソフトウェア、２００９年終わり頃から市場で入手可能なセレモニー（Ｃｅｌｅｍｏｎｙ）によるメロダイン（Ｍｅｌｏｄｙｎｅ）エディターと比較される。
【０１３５】
テストにおける処理は信号のオーディオ内容を大きく変えるものであるので、オリジナルと処理後の信号の直接的な比較（標準的なリスニングテストにおいては、通常、固有の部分であるが）は、この場合には目的にかなったものではないように思われる。それでもなお、対象となるオーディオ品質を意義深い方法で測定するために、特別なリスニングテスト方法が適用されてきた。このリスニングテスト装置は、高品質ＭＩＤＩエクスパンダーを使用して波形にされる記号ＭＩＤＩデータに由来する。この方法により、テストにおいて同様に変更されたオーディオファイル同士の直接的な比較が可能となり、単独での選択的ピッチ処理の効果に関する調査が可能となる。このテスト装置を作成する方法を図１７に示す。オリジナルのテスト信号は記号ＭＩＤＩデータ表記で作成される（左上部）。これらの信号の第２バージョンは、波形にされたオリジナルオーディオに関するテストにおける目標処理に似た記号ＭＩＤＩ処理によって生成される（右上部）。次に、これらの信号対は高品質ＭＩＤＩエクスパンダーによって波形（ＷＡＶ）ファイルに変換される（左右下部）。このリスニングテストにおいて、処理後のＭＩＤＩファイルから変換された波形と、オリジナルのＭＩＤＩファイルから波形変換されたものを変調ボコーダー（ＭＯＤＶＯＣ）で処理したいくつかのバージョンとを比較する（右下部）。さらに、ＭＯＤＶＯＣの出力をメロダインエディターの出力と比較する。
【０１３６】
ＭＯＤＶＯＣで処理された状態のものとは別に、このテストには、この種のオーディオ操作を行うためのものであり、現在では唯一市場に出ているアプリケーションであるメロダインエディターによって得られた状態のものが含まれている。メロダインエディターは最初にオーディオファイル全体の解析を自動的に行う。この初期段階の後、メロダインはオーディオファイルの分解を提案する。ユーザーとの意思疎通により、この分解をさらに精密化することも可能である。ＭＯＤＶＯＣ処理の結果との正当な比較のために、評価はこの自動初期解析の結果に基づき行われる。キーや標準ピッチという先験的知識は別として、ＭＯＤＶＯＣの分解もまた全て自動で行われるからである。
【０１３７】
このリスニングテスト装置は、ＩＴＵ（国際電気通信連合）推薦のＢＳ．１５３４（ＩＴＵ−Ｒ（国際電気通信連合無線通信部門）、「中音質の主観的評価方法（ｍｕｓｈｒａ）」２００１年）に準じた標準的なＭＵＳＨＲＡテストに基づくものである。ＭＵＳＨＲＡは目隠しをした状態で行うリスニングテストである。テストの被験者は一度に一人だけである。各音楽に関して、テストでは、隠れ基準とローパスフィルターを通した隠れアンカーと共に、全ての条件によるテスト音がリスナーに順番に与えられる。隠れ基準と劣化アンカーは、リスナーの信頼性をチェックするために入れられている。リスニングの間にこれらのテスト音を切り替えることが認められており、ＢＳ．１１１６−１で提案され（ＩＴＵ−Ｒ（国際電気通信連合無線通信部門）、「多重チャンネルサウンドシステムを含むオーディオシステムにおけるわずかな障害に対する主観的評価方法」１９９４〜１９９７年）、ＭＵＳＨＲＡテストにも適用できるような、その音楽の任意に選択できる区分に対してループが設けられている。一つの楽曲の評価をして次の楽曲に進む前に、被験者は無制限に何度も繰り返して聞くことができるので、様々な条件によるテスト音の間の非常に緻密な比較とそれらの徹底的な調査が可能となる。これらのテスト音の感覚的質は、「優良」（１００ポイント）から、「良」、「普通」を介して「劣悪」（０ポイント）までの基準で評価される。楽曲の順番はランダムであり、さらに、各楽曲のテスト音の順番もランダムである。
【０１３８】
８つのテスト楽曲が、シートミュージックを無料で一般に提供するＭＵＴＯＰＩＡプロジェクトから入手した。単楽器（例えばＧ，Ｅ）とフルオーケストラ（例えばＦ）を含むクラシック音楽の様々な曲から、最長約２０秒の適切な部分が抜粋された。また、他の楽器の伴奏が付いた主要楽器のソロによるメロディー（例えばＣ）がテストの組に含まれている。いくつかの楽曲には、短時間準定常調性部分だけでなく打楽器部分も含まれており（Ｃではギターの出だしとＧではピアノの出だし）、これはこのシステムの過渡応答に関する特別なチャレンジを提示するものである。以下の表にこれら全ての楽曲を示す。
【０１３９】
【表３】
【０１４０】
オリジナルの転置信号を得るためのＭＩＤＩ処理は、ケイクウォーク（Ｃａｋｅｗａｌｋ）製造のＳｏｎａｒ８で行われ、高品質波形レンダリングは、サウンドライブラリーバージョン１．０．１Ｒ３でネイティブ・インスツルメンツ（Ｎａｔｉｖｅ Ｉｎｓｔｒｕｍｅｎｔｓ）からのバンドスタンド（Ｂａｎｄｓｔａｎｄ）を使用して行われた。ＭＯＤＶＯＣ処理は、倍音ロッキングとエンベロープ成形という二つの改良された処理ステップとの三つの異なる組み合わせで評価された。メロダインエディターとの比較のために、バージョン１．０．１１が使用された。これら全てのテスト音の条件を以下の表に示す。
【０１４１】
【表４】
【０１４２】
主観リスニングテストは、「理想的な」リビングルームに類似した環境で高質なリスニングテストが行えるように設計された防音リスニングラボで行われた。リスナー達は、アップル（Ａｐｐｌｅ）のＭＡＣミニに接続されたエディロール（ＥＤＩＲＯＬ）のＵＳＢサウンドインターフェースから引き出されたＳＴＡＸ静電ヘッドフォンを装着した。リスニングテストのソフトウェアはフラウンホファーのＩＩＳによってＷＡＶ変換され、ＭＵＳＨＲＡモードで作動され、テストを行う際にリスナーをサポートするための簡単なＧＵＩを提供するものであった。リスナー達は、プレイアウトの間、基準音（１）と別の様々なテスト音（２〜７）の間で切り換えることができる。各リスナーは、各楽曲及び各テスト音をどれくらいの時間聞くのかは、個別に決定することができる。実際の切り換えの際には、音は弱まる。ＧＵＩにおいて、仮想バーが各テスト音の評価を視覚化する。一方ではプレエコーやポストエコーまたは過渡信号の分散のような典型的な信号処理のアーチファクトに関して、また他方ではスペクトルピッチやメロディーや音色のような音楽的パラメータに関して知識に基づいた判断が得られるように、オーディオコーディングに精通し、音楽に関する経歴のある経験豊富なリスナー達が選ばれた。リスナー達は、さらに、彼らの見解や印象を非公式に述べるように依頼された。
【０１４３】
合計１５人の被験者がこのテスト結果に貢献した。一人のリスナーは、隠れオリジナルを識別するのに失敗したことが明らかであった（オリジナルに対して６４ポイントの評価をした）ため、後で除外された。
【０１４４】
図１８はこのリスニングテストの結果をまとめたものである。選択的ピッチ転置によって処理された楽曲の感覚的質は、「普通」から「良」の範囲にある。劣化アンカーは「不良」と「劣悪」の間に評価づけられ、前記処理された楽曲とアンカーとの間の隔たりは約４０ＭＵＳＨＲＡポイントにもなる。
【０１４５】
絶対的なスコアは、各楽曲の（各テスト音での）感覚的質を定量化する情報を提供し、従ってそのテストセット中の楽曲間の質の違いを暗に評価するものであるが、そのリスニングテスト内の様々なテスト音を比較するのには適切ではない。これらのテスト音の評価は独立したものではないからである。異なる選択的転置処理方法により得られたテスト音を直接的に比較するために、スコアの違いは以下のように考慮される。
【０１４６】
図１９は、改良ＭＯＤＶＯＣの様々な結果（条件４，５によるテスト音）のスコアを単純なＭＯＤＶＯＣの結果（条件３によるテスト音）のスコアに基づき算出された結果を示す。ここでは、改良ＭＯＤＶＯＣの結果の全てのスコアが単純なＭＯＤＶＯＣの結果のスコアよりもかなり良い（改良ＭＯＤＶＯＣの結果の全てのスコアは０よりも上に位置している）。楽曲Ａ，Ｃに対して倍音ロッキングを適用した場合を除く全ての楽曲とテスト音に関して、９５％の信頼性で有意性がある。
【０１４７】
図２０は、条件６（メロダインエディター）によるテスト音に対するスコアの違いを表示したものである。楽曲Ｃに関して、条件５でのＭＯＤＶＯＣ結果のスコアはメロダインエディターによる結果よりもかなり良いのに対し、条件４での結果はわずかに良いが、条件３は９５％の信頼区間で（信頼区間の重複が全くない状態で）不確定である。楽曲Ｂのテスト音２、Ｆ，Ｇのテスト音５に関しても、全く何の優位性のある結果も得られなかった。しかし、楽曲Ｃのテスト音４と楽曲Ｆのテスト音４，５に関しても、ＭＯＤＶＯＣの良好な性能が見られる。他の全ての場合においては、ＭＯＤＶＯＣのスコアはメロダインエディターよりもかなり悪い。
【０１４８】
このスコアは、プレエコーまたはポストエコーによる過渡信号の品質低下のような不自然な音のアーチファクト、ピッチの精密さ、メロディーの正確さ及び音色の保持というような面を含む全体的な質に関する判断を反映している。この結果をより詳細に解釈するために、リスナー達は実際のスコアを記載する際に、彼らの非公式な見解も記載するよう依頼された。これらの見解から、音色の保持と不自然な音のアーチファクトの無さは、例えばメロディーの良好な保持よりも、延滞的なスコアによりよくあらわされていることがわかった。さらに、リスナーがあるメロディーを知らなかった場合、そのリスナー（被験者）はテストの間にすぐさま基準メロディーを覚えることができず、正しいメロディーを確信することができなかったようである。これが、音色、特に一つの楽器による音の保持に関する高い忠実性を有するメロダインエディターで処理された楽曲に対する評価の方が高かった説明であり得る。しかし、たぶん分類の間違いにより起こり得る大きなメロディーの間違いを偶然に引き起こす代償を支払うことになる。ＭＯＤＶＯＣは分類技術に基づく特性に主に頼っているわけではないので、この点においてより堅固である。
【０１４９】
本発明に係るいくつかの実施形態はピッチの選択的転置のための改良変調ボコーダーに関する。変調ボコーダー（ＭＯＤＶＯＣ）の概念はもう既に紹介されており、多声音楽に関する選択的転置を行うことができるその一般的な機能が取り上げられてきた。これは、前もって録音されたＰＣＭ音楽サンプルのキーモードを変換することを目的とする応用を可能にする。ＭＯＤＶＯＣによる選択的ピッチ転置のために、ここで、二つの改良技術を提案する。選択的転置の性能とこれらの技術の長所は、オリジナルのオーディオ刺激に関して、ピッチの点で非常に大きな変化をもたらすことができる特別に指定されたリスニングテスト手順から得られた結果によって評価される。この主観的な感覚的質の評価結果は、ＭＯＤＶＯＣとさらにまたこの課題を達成可能な最初に市販されたソフトウェアによって、マイナーキーとメジャーキーとの間でモード変換された楽曲に関して提示される。
【０１５０】
ここで言及すべきことは、メロダインエディターはいかなる操作をも可能にする前に最初にオーディオファイル全体の自動解析を行うのに対し、ＭＯＤＶＯＣはブロックごとに処理を行うのでリアルタイム処理が可能であるということである。
【０１５１】
ピッチの選択的転置のための変調ボコーダー（ＭＯＤＶＯＣ）の改良技術を提案してきた。ＭＩＤＩからもたらされたテスト信号に対するリスニングテストの結果から、単純なＭＯＤＶＯＣの感覚的質は、倍音ロッキングとエンベロープ成形により確かに改善されることが結論付けられる。全ての楽曲に関して、１０ＭＵＳＨＵＲＡポイントもの増加が見込まれる。この向上は主に倍音ロッキングに起因するものである。
【０１５２】
また、ＭＯＤＶＯＣと市販されているソフトウェア（メロダインエディター）の比較から、現時点において選択的ピッチ転置で達成可能な一般的な質のレベルは「まあまあ」と「良い」の間に位置するであろう。ＭＯＤＶＯＣは本質的に分類の決定に主に頼るものではないので、メロディーの誤った解釈に関してはより確実なものである。
【０１５３】
操作の前にオーディオファイル全体に対してメロダインエディターが行うマルチパス解析とは対照的に、ＭＯＤＶＯＣはもっぱらシングルパスのブロックごとの処理に基づくものであり、潜在的にストリーミングつまりリアルタイム処理が可能である。
【０１５４】
上述の概念のいくつかの側面を一つの装置に関して説明してきたが、これらの側面は、これに対応する方法（ブロックや装置は方法ステップや方法ステップの特徴に対応する）の説明でもあることは明らかである。同様に、方法ステップに関して説明した側面は、これに対応する装置の相応のブロック、部品または特徴の説明でもある。
【０１５５】
本発明により符号化されたオーディオ信号は、デジタル記憶媒体に記憶可能であり、またインターネットのような無線通信媒体や有線通信媒体のような通信媒体上で通信可能である。
【０１５６】
実施条件に応じて、本発明の実施形態はハードウェアでまたはソフトウェアで実施できる。このような実施は、例えばフロッピーディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、またはＦＬＡＳＨメモリーなどのコンピュータ上で読み取り可能な制御信号を記憶しているデジタル記憶媒体を使用して行うことができ、これは、それぞれの方法が実行されるようにプログラム可能なコンピュータシステムと協働する（協働可能な）ものである。従って、このデジタル記憶媒体はコンピュータ上で読み取り可能なものであってもよい。
【０１５７】
本発明に係るいくつかの実施形態は、コンピュータ上で読み取り可能な制御信号を有するデータキャリアを含み、このデータキャリアはプログラム可能なコンピュータシステムと協働可能であり、ここで説明してきた方法のうちの一つが実行される。
【０１５８】
概して、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実施でき、このコンピュータプログラム製品がコンピュータ上で起動されると、このプログラムコードは上述の方法の一つを実行するように働く。このプログラムコードは、例えば、機械で読み取り可能なキャリアに記憶されていてもよい。
【０１５９】
他の実施形態は、ここで説明してきた方法のうちの一つを実行するためのコンピュータプログラムであり、機械で読み取り可能なキャリアに記憶されているものを含む。
【０１６０】
つまり、本発明の方法の一つの実施形態は、コンピュータ上で起動された際に、ここで説明してきた方法のうちの一つを実行するためのプログラムコードを有するコンピュータプログラムである。
【０１６１】
本発明の方法の別の実施形態は、ここで説明してきた方法のうちの一つを実行するためのコンピュータプログラムを記憶したデータキャリア（デジタル記憶媒体またはコンピュータで読み取り可能な媒体）である。
【０１６２】
本発明の方法のさらに別の実施形態は、ここで説明してきた方法のうちの一つを実行するためのコンピュータプログラムを表すデータストリームまたは一連の信号である。このデータストリームまたは一連の信号は、例えばインターネットのようなデータ通信接続を介して送受信されるように構成されていてもよい。
【０１６３】
さらに別の実施形態は、ここで説明してきた方法のうちの一つを実行するよう構成された例えばコンピュータやプログラム制御可能な論理素子のような処理手段を含む。
【０１６４】
さらに別の実施形態は、ここで説明してきた方法のうちの一つを実行するためのコンピュータプログラムがインストールされたコンピュータを含む。
【０１６５】
いくつかの実施形態において、プログラム制御可能な論理素子（例えばフィールド・プログラマブル・ゲート・アレイ）は、ここで説明してきた方法の機能のうちのいくつかを実行するためにあるいは全部を実行するために使用できる。いくつかの実施形態において、フィールド・プログラマブル・ゲート・アレイは、ここで説明してきた方法のうちの一つを実行するために、マイクロプロセッサと協働してもよい。概して、これらの方法は何らかのハードウェア装置によって実行されることが好ましい。
【０１６６】
上述の実施形態は、単に本発明の原理を説明するためのものである。当業者にとっては、ここで説明してきた配置や詳細に対する様々な変更が容易であろうと思われる。従って、本発明は特許請求項の範囲によってのみ制限され、ここでの説明により提示された具体的詳細によっては制限されない。
【特許請求の範囲】
【請求項１】
オーディオ信号（１０２）を変更するための装置（１００，２００）であり、
オーディオ信号（１０２）に基づき、複数のバンドパス信号（１１２）を生成するよう構成されたフィルターバンク処理部（１１０）と、
基音バンドパス信号（１２２）を得るために、複数のバンドパス信号のうちから一つのバンドパス信号（１１２）を選択するよう構成された基音決定部（１２０）と、
選択された基音バンドパス信号（１２２）に関連する倍音バンドパス信号（１３２）を得るために、複数のバンドパス信号のうちから、選択された基音バンドパス信号（１２２）に関する倍音基準を満たす一つのバンドパス信号（１１２）を識別するよう構成された倍音決定部（１３０）と、
選択された基音バンドパス信号（１１２）を所定の変更目標に基づき変更するよう構成され、選択された基音バンドパス信号（１２２）に関連して識別された倍音バンドパス信号（１３２）を、選択された基音バンドパス信号（１２２）に対する変更に応じて変更するよう構成された信号処理部（１４０）と、
変更後のオーディオ信号（１５２）を得るために、複数のバンドパス信号を結合するよう構成された結合部（１５０）を含む、
オーディオ信号変更装置（１００，２００）。
【請求項２】
請求項１に記載の装置であり、
複数のバンドパス信号のうちの各バンドパス信号（１１２）は搬送周波数を有し、
倍音決定部（１３０）は、複数のバンドパス信号のうちの一つのバンドパス信号（１１２）の搬送波周波数を選択された基音バンドパス信号（１２２）の搬送波周波数と比較するよう構成され、
前記バンドパス信号（１１２）の搬送波周波数が、選択された基音バンドパス信号（１２２）の周波数の所定の搬送波周波数許容誤差での倍数である場合、倍音基準が満たされる。
【請求項３】
請求項１または２に記載の装置であり、
倍音決定部（１３０）は、複数のバンドパス信号のうちの一つのバンドパス信号（１１２）のエネルギー量を選択された基音バンドパス信号（１２２）のエネルギー量と比較するよう構成され、
前記バンドパス信号（１１２）のエネルギー量と選択された基音バンドパス信号（１２２）のエネルギー量との比が所定の許容誤差範囲内である場合、倍音基準が満たされる。
【請求項４】
請求項１、２または３に記載の装置であり、
倍音決定部（１３０）は、複数のバンドパス信号のうちの一つのバンドパス信号（１１２）の時間的エンベロープと選択された基音バンドパス信号（１２２）の時間的エンベロープとの相関関係を示す相関値を算出するよう構成され、
前記相関値が所定の相関閾値よりも高い場合、倍音基準が満たされる。
【請求項５】
請求項１、２、３または４に記載の装置であり、
基音決定部（１２０）は、さらに別の基音バンドパス信号（１２２）を得るために、既に選択された基音バンドパス信号（１２２）と既に識別された倍音バンドパス信号（１３２）を全く考慮せず、複数のバンドパス信号のうちからもう一つ別のバンドパス信号（１１２）を選択するよう構成されている。
【請求項６】
請求項５に記載の装置であり、
倍音決定部（１３０）は、前記さらに別に選択された基音バンドパス信号（１２２）に関連する倍音バンドパス信号（１３２）を得るために、既に識別された倍音バンドパス信号（１３２）を全く考慮せず、複数のバンドパス信号のうちから、前記さらに別に選択された基音バンドパス信号（１２２）に関する倍音基準を満たす一つのバンドパス信号（１１２）を識別するよう構成されている。
【請求項７】
請求項５または６に記載の装置であり、
信号処理部（１４０）は、前記さらに別に選択された基音バンドパス信号（１２２）をさらに別の変更目標に基づき変更するよう構成されている。
【請求項８】
請求項１、２、３、４、５、６または７に記載の装置であり、
基音決定部（１２０）はエネルギー基準に基づきバンドパス信号（１１２）を選択するよう構成されている。
【請求項９】
請求項１、２、３、４、５、６、７または８に記載の装置であり、
基音決定部（１２０）は、複数のバンドパス信号のうちの各バンドパス信号（１１２）のＡ重み付け処理されたエネルギー量を決定し、基音バンドパス信号（１２２）を得るために、Ａ重み付け処理されたエネルギー量が最大であるバンドパス信号（１１２）を選択するよう構成されている。
【請求項１０】
請求項１、２、３、４、５、６、７、８または９に記載の装置であり、
該装置はさらに搬送周波数決定部（２６０）を含み、
フィルターバンク処理部（１１０）はフィルターバンク（２１２）と信号変換器（２１４）とを含み、
フィルターバンク（２１２）はオーディオ信号（１０２）に基づきバンドパス信号を生成するよう構成され、
信号変換器（２１４）は、複数のバンドパス信号を得るために、前記生成されたバンドパス信号をサブバンド領域に変換するよう構成され、
搬送波周波数決定部（２６０）はオーディオ信号（１０２）に基づき複数の搬送波周波数を決定するよう構成され、
フィルターバンク処理部（１１０）のフィルターバンク（２１２）は、複数の搬送波周波数のうちの各搬送波周波数に関連するバンドパス信号を得るために、各バンドパス信号が複数の搬送波周波数のうちの異なる搬送波周波数を含む周波数域を有するように、バンドパス信号を生成するよう構成されている。
【請求項１１】
請求項１、２、３、４、５、６、７、８、９または１０に記載の装置であり、
信号処理部（１４０）は、複数のバンドパス信号のうちの各バンドパス信号（１１２）に関して、振幅変調信号（ＡＭ）と周波数変調信号（ＦＭ）を生成するよう構成され、
信号処理部（１４０）は、選択された基音バンドパス信号（１２２）の振幅変調信号（ＡＭ）または周波数変調信号（ＦＭ）を所定の変更目標に基づき変更するよう構成され、
信号処理部（１４０）は、選択された基音バンドパス信号（１２２）に関連して識別された倍音バンドパス信号（１３２）の振幅変調信号（ＡＭ）または周波数変調信号（ＦＭ）を、選択された基音バンドパス信号（１２２）に対する変更に応じて変更するよう構成されている。
【請求項１２】
請求項１、２、３、４、５、６、７、８、９、１０または１１に記載の装置であり、
信号処理部（１４０）は、選択された基音バンドパス信号（１２２）を、該選択された基音バンドパス信号（１２２）の搬送波周波数を転置係数で掛けるか、または該選択された基音バンドパス信号（１２２）の搬送波周波数に転置周波数を加算するかにより、変更するよう構成され、
信号処理部（１４０）は、識別された倍音バンドパス信号（１３２）を、該識別された倍音バンドパス信号（１３２）の搬送波周波数を１０％の許容誤差を有する転置係数で掛けるか、または該識別された基音バンドパス信号（１２２）の搬送波周波数に１０％の許容誤差を有する転置周波数を加算するかにより、変更するよう構成されている。
【請求項１３】
請求項１、２、３、４、５、６、７、８、９、１０、１１または１２に記載の装置であり、
該装置はさらにエンベロープ形状決定部とエンベロープ成形部を含み、
エンベロープ形状決定部はオーディオ信号（１０２）に基づきエンベロープ形状係数を決定するよう構成され、
前記オーディオ信号（１０２）は時間領域入力信号を表す周波数領域オーディオ信号であり、
フィルターバンク処理部（１１０）は、前記周波数領域オーディオ信号に基づき複数のパンドパス信号をサブバンド領域で生成するよう構成され、
結合器は、時間領域オーディオ信号を表す変更後のオーディオ信号を得るために、複数のバンドパス信号のうちの少なくとも一部を結合するよう構成され、
エンベロープ成形器は、時間領域オーディオ信号のエンベロープをエンベロープ形状係数に基づき成形するよう、または変更後のサブバンド領域バンドパス信号を含む複数のサブバンド領域バンドパス信号のエンベロープをエンベロープ形状係数に基づき変更するよう、またはサブバンド領域バンドパス信号が信号処理部によって成形されたオーディオ信号を得るために変更される前に、複数のサブバンド領域バンドパス信号のエンベロープをエンベロープ形状係数に基づき成形するよう構成されている。
【請求項１４】
オーディオ信号を変更する方法（３００）であり、
オーディオ信号に基づき、複数のバンドパス信号（１１２）を生成すること（３１０）と、
基音バンドパス信号を得るために、複数のバンドパス信号のうちから一つのバンドパス信号を選択すること（３２０）と、
選択された基音バンドパス信号に関連する倍音バンドパス信号を得るために、複数のバンドパス信号のうちから、選択された基音バンドパス信号に関する倍音基準を満たす一つのバンドパス信号を識別すること（３３０）と、
選択された基音バンドパス信号を所定の変更目標に基づき変更すること（３４０）と、
選択された基音バンドパス信号に関連して識別された倍音バンドパス信号を、選択された基音バンドパス信号に対する変更に応じて変更すること（３５０）と、
変更後のオーディオ信号を得るために、複数のバンドパス信号を結合すること（３６０）を含む、
オーディオ信号変更方法（３００）。
【請求項１５】
請求項１４に記載の方法を実行するためのプログラムコードを有するコンピュータプログラムであり、デジタル信号処理装置、コンピュータまたはマイクロコントローラ上での動作に伴い、請求項１４に記載の方法を実行する。
【請求項１】
オーディオ信号（１０２）を変更するための装置（１００，２００）であり、
オーディオ信号（１０２）に基づき、複数のバンドパス信号（１１２）を生成するよう構成されたフィルターバンク処理部（１１０）と、
基音バンドパス信号（１２２）を得るために、複数のバンドパス信号のうちから一つのバンドパス信号（１１２）を選択するよう構成された基音決定部（１２０）と、
選択された基音バンドパス信号（１２２）に関連する倍音バンドパス信号（１３２）を得るために、複数のバンドパス信号のうちから、選択された基音バンドパス信号（１２２）に関する倍音基準を満たす一つのバンドパス信号（１１２）を識別するよう構成された倍音決定部（１３０）と、
選択された基音バンドパス信号（１１２）を所定の変更目標に基づき変更するよう構成され、選択された基音バンドパス信号（１２２）に関連して識別された倍音バンドパス信号（１３２）を、選択された基音バンドパス信号（１２２）に対する変更に応じて変更するよう構成された信号処理部（１４０）と、
変更後のオーディオ信号（１５２）を得るために、複数のバンドパス信号を結合するよう構成された結合部（１５０）を含む、
オーディオ信号変更装置（１００，２００）。
【請求項２】
請求項１に記載の装置であり、
複数のバンドパス信号のうちの各バンドパス信号（１１２）は搬送周波数を有し、
倍音決定部（１３０）は、複数のバンドパス信号のうちの一つのバンドパス信号（１１２）の搬送波周波数を選択された基音バンドパス信号（１２２）の搬送波周波数と比較するよう構成され、
前記バンドパス信号（１１２）の搬送波周波数が、選択された基音バンドパス信号（１２２）の周波数の所定の搬送波周波数許容誤差での倍数である場合、倍音基準が満たされる。
【請求項３】
請求項１または２に記載の装置であり、
倍音決定部（１３０）は、複数のバンドパス信号のうちの一つのバンドパス信号（１１２）のエネルギー量を選択された基音バンドパス信号（１２２）のエネルギー量と比較するよう構成され、
前記バンドパス信号（１１２）のエネルギー量と選択された基音バンドパス信号（１２２）のエネルギー量との比が所定の許容誤差範囲内である場合、倍音基準が満たされる。
【請求項４】
請求項１、２または３に記載の装置であり、
倍音決定部（１３０）は、複数のバンドパス信号のうちの一つのバンドパス信号（１１２）の時間的エンベロープと選択された基音バンドパス信号（１２２）の時間的エンベロープとの相関関係を示す相関値を算出するよう構成され、
前記相関値が所定の相関閾値よりも高い場合、倍音基準が満たされる。
【請求項５】
請求項１、２、３または４に記載の装置であり、
基音決定部（１２０）は、さらに別の基音バンドパス信号（１２２）を得るために、既に選択された基音バンドパス信号（１２２）と既に識別された倍音バンドパス信号（１３２）を全く考慮せず、複数のバンドパス信号のうちからもう一つ別のバンドパス信号（１１２）を選択するよう構成されている。
【請求項６】
請求項５に記載の装置であり、
倍音決定部（１３０）は、前記さらに別に選択された基音バンドパス信号（１２２）に関連する倍音バンドパス信号（１３２）を得るために、既に識別された倍音バンドパス信号（１３２）を全く考慮せず、複数のバンドパス信号のうちから、前記さらに別に選択された基音バンドパス信号（１２２）に関する倍音基準を満たす一つのバンドパス信号（１１２）を識別するよう構成されている。
【請求項７】
請求項５または６に記載の装置であり、
信号処理部（１４０）は、前記さらに別に選択された基音バンドパス信号（１２２）をさらに別の変更目標に基づき変更するよう構成されている。
【請求項８】
請求項１、２、３、４、５、６または７に記載の装置であり、
基音決定部（１２０）はエネルギー基準に基づきバンドパス信号（１１２）を選択するよう構成されている。
【請求項９】
請求項１、２、３、４、５、６、７または８に記載の装置であり、
基音決定部（１２０）は、複数のバンドパス信号のうちの各バンドパス信号（１１２）のＡ重み付け処理されたエネルギー量を決定し、基音バンドパス信号（１２２）を得るために、Ａ重み付け処理されたエネルギー量が最大であるバンドパス信号（１１２）を選択するよう構成されている。
【請求項１０】
請求項１、２、３、４、５、６、７、８または９に記載の装置であり、
該装置はさらに搬送周波数決定部（２６０）を含み、
フィルターバンク処理部（１１０）はフィルターバンク（２１２）と信号変換器（２１４）とを含み、
フィルターバンク（２１２）はオーディオ信号（１０２）に基づきバンドパス信号を生成するよう構成され、
信号変換器（２１４）は、複数のバンドパス信号を得るために、前記生成されたバンドパス信号をサブバンド領域に変換するよう構成され、
搬送波周波数決定部（２６０）はオーディオ信号（１０２）に基づき複数の搬送波周波数を決定するよう構成され、
フィルターバンク処理部（１１０）のフィルターバンク（２１２）は、複数の搬送波周波数のうちの各搬送波周波数に関連するバンドパス信号を得るために、各バンドパス信号が複数の搬送波周波数のうちの異なる搬送波周波数を含む周波数域を有するように、バンドパス信号を生成するよう構成されている。
【請求項１１】
請求項１、２、３、４、５、６、７、８、９または１０に記載の装置であり、
信号処理部（１４０）は、複数のバンドパス信号のうちの各バンドパス信号（１１２）に関して、振幅変調信号（ＡＭ）と周波数変調信号（ＦＭ）を生成するよう構成され、
信号処理部（１４０）は、選択された基音バンドパス信号（１２２）の振幅変調信号（ＡＭ）または周波数変調信号（ＦＭ）を所定の変更目標に基づき変更するよう構成され、
信号処理部（１４０）は、選択された基音バンドパス信号（１２２）に関連して識別された倍音バンドパス信号（１３２）の振幅変調信号（ＡＭ）または周波数変調信号（ＦＭ）を、選択された基音バンドパス信号（１２２）に対する変更に応じて変更するよう構成されている。
【請求項１２】
請求項１、２、３、４、５、６、７、８、９、１０または１１に記載の装置であり、
信号処理部（１４０）は、選択された基音バンドパス信号（１２２）を、該選択された基音バンドパス信号（１２２）の搬送波周波数を転置係数で掛けるか、または該選択された基音バンドパス信号（１２２）の搬送波周波数に転置周波数を加算するかにより、変更するよう構成され、
信号処理部（１４０）は、識別された倍音バンドパス信号（１３２）を、該識別された倍音バンドパス信号（１３２）の搬送波周波数を１０％の許容誤差を有する転置係数で掛けるか、または該識別された基音バンドパス信号（１２２）の搬送波周波数に１０％の許容誤差を有する転置周波数を加算するかにより、変更するよう構成されている。
【請求項１３】
請求項１、２、３、４、５、６、７、８、９、１０、１１または１２に記載の装置であり、
該装置はさらにエンベロープ形状決定部とエンベロープ成形部を含み、
エンベロープ形状決定部はオーディオ信号（１０２）に基づきエンベロープ形状係数を決定するよう構成され、
前記オーディオ信号（１０２）は時間領域入力信号を表す周波数領域オーディオ信号であり、
フィルターバンク処理部（１１０）は、前記周波数領域オーディオ信号に基づき複数のパンドパス信号をサブバンド領域で生成するよう構成され、
結合器は、時間領域オーディオ信号を表す変更後のオーディオ信号を得るために、複数のバンドパス信号のうちの少なくとも一部を結合するよう構成され、
エンベロープ成形器は、時間領域オーディオ信号のエンベロープをエンベロープ形状係数に基づき成形するよう、または変更後のサブバンド領域バンドパス信号を含む複数のサブバンド領域バンドパス信号のエンベロープをエンベロープ形状係数に基づき変更するよう、またはサブバンド領域バンドパス信号が信号処理部によって成形されたオーディオ信号を得るために変更される前に、複数のサブバンド領域バンドパス信号のエンベロープをエンベロープ形状係数に基づき成形するよう構成されている。
【請求項１４】
オーディオ信号を変更する方法（３００）であり、
オーディオ信号に基づき、複数のバンドパス信号（１１２）を生成すること（３１０）と、
基音バンドパス信号を得るために、複数のバンドパス信号のうちから一つのバンドパス信号を選択すること（３２０）と、
選択された基音バンドパス信号に関連する倍音バンドパス信号を得るために、複数のバンドパス信号のうちから、選択された基音バンドパス信号に関する倍音基準を満たす一つのバンドパス信号を識別すること（３３０）と、
選択された基音バンドパス信号を所定の変更目標に基づき変更すること（３４０）と、
選択された基音バンドパス信号に関連して識別された倍音バンドパス信号を、選択された基音バンドパス信号に対する変更に応じて変更すること（３５０）と、
変更後のオーディオ信号を得るために、複数のバンドパス信号を結合すること（３６０）を含む、
オーディオ信号変更方法（３００）。
【請求項１５】
請求項１４に記載の方法を実行するためのプログラムコードを有するコンピュータプログラムであり、デジタル信号処理装置、コンピュータまたはマイクロコントローラ上での動作に伴い、請求項１４に記載の方法を実行する。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６Ａ】
【図６Ｂ】
【図６Ｃ】
【図６Ｄ】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６Ａ】
【図６Ｂ】
【図６Ｃ】
【図６Ｄ】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公表番号】特表２０１３−５２０６９７（Ｐ２０１３−５２０６９７Ａ）
【公表日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願番号】特願２０１２−５５４３５４（Ｐ２０１２−５５４３５４）
【出願日】平成２３年２月２５日（２０１１．２．２５）
【国際出願番号】ＰＣＴ／ＥＰ２０１１／０５２８３４
【国際公開番号】ＷＯ２０１１／１０４３５４
【国際公開日】平成２３年９月１日（２０１１．９．１）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．フロッピー
【出願人】（５００３４１７７９）フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン (75)
【Ｆターム（参考）】
【公表日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願日】平成２３年２月２５日（２０１１．２．２５）
【国際出願番号】ＰＣＴ／ＥＰ２０１１／０５２８３４
【国際公開番号】ＷＯ２０１１／１０４３５４
【国際公開日】平成２３年９月１日（２０１１．９．１）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．フロッピー
【出願人】（５００３４１７７９）フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン (75)
【Ｆターム（参考）】
[ Back to top ]