階層型復号化構造におけるデジタル音声信号の伝送エラーの隠蔽
本発明は異なる時間期間と関連付けられた複数の連続するフレームに分割されたデジタル信号の伝送エラーを隠蔽する方法であり、受信する際に信号が消去されたフレーム及びフレーム損失の隠蔽に関連する情報を含む有効フレームを含み得る方法に関連する。方法は、コア復号化を用いた階層型復号化の間及びコア復号化に対するフレーム未満の時間遅れを付加する低遅延窓を用いた変換復号化の間に実行される。有効フレームの出現以前に消去された少なくとも最後のフレームを交換するために、方法は、第1の時間期間に実行される消去されたフレームに関する欠落したサンプルの第1のセットを隠蔽するステップ(23)、第2の時間期間に実行される、前記有効フレームの情報を考慮しながら欠落したサンプルの第2のセットを隠蔽するステップ(25)、欠落したフレームの少なくとも一部を獲得するための欠落したサンプルの第1と第2のセットとの間の遷移ステップ(29)を含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電気通信の分野におけるデジタル信号の処理に関係する。これらの信号は、例えば音声信号、音楽信号であり得る。
【０００２】
本発明は、そのような信号の送信／受信に適している符号化／復号化システムに介在する。更に特に、本発明は、データブロックの損失がある場合の復号化された信号の品質を改善することを可能にする受信の際の処理と関係がある。
【背景技術】
【０００３】
様々な技術が、音声信号をデジタル形式に変換すると共に、デジタル音声信号を圧縮するために存在する。最も一般的な技術は、−ＰＣＭ（パルス符号変調）符号化、及びＡＤＰＣＭ（適応差分パルス符号変調）符号化のような波形符号化方式、−ＣＥＬＰ（符号励振線形予測）符号化のような合成による分析に基づくパラメトリック符号化方式（parametric coding scheme）、及び−サブバンドもしくは変換型の知覚符号化方式、である。
【０００４】
これらの技術は、逐次的方法で、サンプルごとに（ＰＣＭ、またはＡＤＰＣＭ）、または“フレーム”と称されるサンプルのブロック単位で（ＣＥＬＰ、及び変換符号化（transform-based coding））、入力信号を処理する。全てのこれらの符号器のために、符号化された値は、その後送信チャネル上で送信される２進信号列に変換される。
【０００５】
このチャネルの品質及び伝送の種類に応じて、外乱が、送信された信号に影響を及ぼすと共に、復号器において受信された２進信号列にエラーを発生させる可能性がある。これらのエラーは、２進信号列においては分離して発生し得るが、しかしバーストにおいては非常に頻繁に発生し得る。その場合に、それは、エラーがあるか、または受信されない完全な信号部分に対応するビットのパケットになる。例えば、携帯電話ネットワークに関する伝送において、この種類の問題に遭遇する。同様に、パケットネットワークを介した伝送において、及び特にインターネットタイプのネットワークを介した伝送において、この種類の問題に遭遇する。
【０００６】
受信に関与する伝送システムまたは伝送モジュールが、（例えば携帯電話ネットワークにおいて）受信されたデータに非常にエラーがあること、または、（例えばパケット通信システムの場合に）データのブロックが受信されなかったか、またはバイナリエラーによって破損したこと、を検出するのを可能にするとき、その場合に、エラーを隠蔽するための手続きが実行される。
【０００７】
その場合に、復号化されるべき現在のフレームは、消去されたと宣言される（“悪いフレーム”）。これらの手続きは、前のフレームから生じる信号及びデータに基づいて、復号器において、欠落した信号のサンプルを推定することを可能にする。
【０００８】
そのような技術は、主として、パラメトリック符号器及び予測符号器の場合に実装された（消去されたフレームの復元／隠蔽の技術）。それらは、消去されたフレームがある場合に、復号器において認識された信号の本質的な劣化を非常に制限することを可能にする。これらのアルゴリズムは、符号器及び復号器に関して使用される技術を当てにすると共に、実際には、復号器の拡張を構成する。消去されたフレームを隠蔽するための装置の目標は、有効であると考えられた最後の前のフレームに基づいて、消去されたフレームのパラメータを推定することである。
【０００９】
予測符号器によって処理されるか、もしくは符号化される、あるパラメータは、スペクトル包絡線を表す高いフレーム間相関パラメータ（ＬＰＣ（線形予測符号化）の場合）、及び信号（例えば有声音）の周期性を表すＬＴＰ（Long Term Prediction：長期予測）パラメータを示す。この相関のために、消去されたフレームを合成するのに、誤ったパラメータまたは任意のパラメータを使用することより、最後の有効フレームのパラメータを再使用することの方が、更に有利である。
【００１０】
ＣＥＬＰ復号化に照らしてみると、消去されたフレームのパラメータは、以下のとおりに、習慣的に獲得される。
【００１１】
復元されるべきフレームのＬＰＣパラメータは、パラメータを単にコピーすることによって、または、さもなければいくらかのダンピング（damping：減衰）（例えばＧ７２３．１の標準化された符号器において使用される技術）を付加することによって、最後の有効フレームのＬＰＣパラメータに基づいて獲得される。その後、消去されたフレームレベルにおける信号の調和性（harmonicity）を判定するために、音声信号内の有声音または無声音が検出される。
【００１２】
もしその信号が無声の信号であるならば、励振信号は、任意の方法で（過去の励振から符号語を抽出することによって、過去の励振の利得のわずかなダンピング（damping：減衰）によって、過去の励振からの無作為の抽出によって、もしくは完全に誤っているかもしれない送信されたコードを同じく利用することによって）生成され得る。
【００１３】
もしその信号が有声の信号であるならば、ピッチ周期（“ＬＴＰ遅延”とも言われる）は、一般的に、任意にわずかな“ジッタ”を有する、前のフレームに関して計算されたピッチ周期である（連続したエラーフレームに関してＬＴＰ遅延の値は増すと共に、ＬＴＰ利得は１に非常に近い値をとるか、または１に等しい。）。励振信号は、従って、過去の励振に基づいて行われた長期予測に制限される。
【００１４】
消去されたフレームのこの種類の推定（extrapolation）を計算することの複雑度は、一般的に、有効フレーム（または良いフレーム）の復号化の計算の複雑度に匹敵し、過去に基づいて推定されると共に、任意に僅かに修正されたパラメータが、パラメータの復号化及び逆量子化の代わりに使用され、その場合に、復元された信号は、このように獲得されたパラメータを使用して、有効フレームと同じ方法で合成される。
【００１５】
コア符号化に関してＣＥＬＰタイプの技術を使用し、エラー信号を符号化するために変換符号化の技術を使用する階層型符号化構造において、消去されたフレームの隠蔽のために、この階層型復号化システムによって生成された時間ずれを使用することは、有益であり得る。
【先行技術文献】
【特許文献】
【００１６】
【特許文献１】仏国特許出願番号ＦＲ ０７６０２５８号明細書
【非特許文献】
【００１７】
【非特許文献１】B. KOVESI及びD. Massaloux、「Method of packet errors cancellation suitable for any speech and sound compression scheme」、ISIVC-2004
【非特許文献２】T. Vaillancourt等、「Efficient frame erasure concealment in predictive speech codecs using glotal pulse resynchronisation」、ICASSP 2007
【非特許文献３】M. Jelinek及びR. Salami、「Wideband Speech Coding Advances in VMR-WV Standard」、IEEE Transactions on audio, speech and language processing、２００７年５月
【非特許文献４】J. Hilpert等、「Real-Time Implementation of the MPEG-4 Low-Delay Advanced Audio Coding Algorithm (AAC-LD) on Motorola's DSP56300」、the 108th AES convention、２０００年２月
【発明の概要】
【発明が解決しようとする課題】
【００１８】
図１ａは、ＣＥＬＰフレームＣ０からＣ５の階層型符号化、及びこれらのフレームに適用された変換Ｍ１からＭ５を例証する。これらのフレームの対応する復号器への伝送中に、ハッチングされたフレームＣ３及びＣ４、そして変換Ｍ３とＭ４が消去される。
【００１９】
従って、図１ｂを参照すると、復号器において、参照符号１０を付与されたラインはフレームの受信に対応し、参照符号１１を付与されたラインはＣＥＬＰ合成に対応し、そして参照符号１２を付与されたラインはＭＤＣＴ変換後の全体の合成に対応する。
【００２０】
フレーム１（ＣＥＬＰ符号化Ｃ１及び変換符号化Ｍ１）の受信中に、その復号器が、次のフレームを得るために全体の合成信号を計算するのに使用されることになるＣＥＬＰフレームＣ１を合成すると共に、ＣＥＬＰ合成Ｃ０、そして変換Ｍ０及び変換Ｍ１に基づいて、現在のフレームＯ１（ライン１２）に関する全体の合成信号を計算することは、注目に値し得る。全体の合成におけるこの追加の遅延は、変換符号化に照らして良く知られている。
【００２１】
この場合、２進信号列にエラーがある場合に、その復号器は、以下のとおりに動作する。
【００２２】
２進信号列における第１のエラーに関して、その復号器は、メモリに、前のフレームのＣＥＬＰ合成を含んでいる。従って、図１ｂにおいて、フレーム３（Ｃ３＋Ｍ３）にエラーがあるとき、その復号器は、前のフレームで復号化されたＣＥＬＰ合成Ｃ２を使用する。
【００２３】
エラーのあるフレーム（Ｃ３）の交換は、次の出力（Ｏ４）を生成するために必要であり、これを行うために、例えば“B. KOVESI”及び“D. Massaloux”によって“ISIVC-2004”において開示された“Method of packet errors cancellation suitable for any speech and sound compression scheme”と題名が付けられた論文において説明されたような、ＦＥＣ（Frame Erasure Concealment：フレーム消失隠蔽）とも呼ばれる消去されたフレームを隠蔽するための技術が使用される。
【００２４】
“T. Vaillancourt”等により“ICASSP 2007”において開示された“Efficient frame erasure concealment in predictive speech codecs using glotal pulse resynchronisation”において説明されるように、エラーのあるフレームの検出と対応する信号を合成する必要性との間のこの時間ずれは、前のＣＥＬＰフレームに関するエラー訂正情報を伝送するための技術を使用することを可能にする。
【００２５】
この論文において、有効フレームは、消去されたフレームの隠蔽、及び消去されたフレームと有効フレームとの間の再同期を向上させるための前のフレームに関する情報を含む。
【００２６】
従って、図１ｂにおいて、２つのエラーのあるフレーム（フレーム３及び４）の検出の後のフレーム５（Ｃ５＋Ｍ５）の受信と同時に、その復号器は、フレーム５の２進信号列において、前のフレームの性質に関する情報（例えば分類表示、スペクトル包絡線に関する情報）を受信する。分類情報は、有声音、無声音、アタック（attack：音の立ち上がり）等に関する情報を意味すると理解される。
【００２７】
この種類の２進信号列における情報は、例えば“M. Jelinek”及び“R. Salami”によって２００７年５月の“IEEE Transactions on audio, speech and language processing”において開示された論文“Wideband Speech Coding Advances in VMR-WV Standard”において説明されている。
【００２８】
従って、その復号器は、フレーム５によって受信された情報から利益を得る消去されたフレームを隠蔽するための技術を使用して、ＣＥＬＰ信号Ｃ５を合成する前に、前のエラーのあるフレーム（フレーム４）を合成する。
【００２９】
更に、階層型符号化技術は、２つの符号化ステージの間の時間ずれを減少させるために開発された。従って、時間ずれを半フレームに減少する低遅延の変換が存在する。そのようなものは、例えば“J. Hilpert”等によって２０００年２月の“the 108th AES convention”において刊行された“Real-Time Implementation of the MPEG-4 Low-Delay Advanced Audio Coding Algorithm (AAC-LD) on Motorola's DSP56300”に提示された“Low-Overlap”と呼ばれる窓を使用した場合である。
【００３０】
時間ずれがフレームより少ない以前に示された技術に関して言えば、これらの低遅延変換技術において、消去されたフレームの欠落したサンプルを生成するために、有効な現在のフレームの情報で利益を得ることは、その場合に、もはや可能ではない。エラーのあるフレームの場合の信号の品質は、その結果、更に低くなる。
【００３１】
従って、低遅延の階層型復号化システムにおける消去されたフレームの隠蔽の品質を、しかしながら追加の時間遅れを付加することなく改善するための要求が存在する。
【００３２】
本発明は、その状況を改善する。
【課題を解決するための手段】
【００３３】
本発明は、この目的のために、異なる時間期間と関連付けられている複数の連続するフレームに分割されたデジタル信号における伝送エラーを隠蔽する方法であって、受信する際に、前記信号が、消去されたフレーム、及びフレーム損失の隠蔽に関連する情報（ｉｎｆ．）を含む有効フレームを含み得る方法を提案する。前記方法は、それが、コア復号化を用いた階層型復号化の間、及びコア復号化に対するフレーム未満の時間遅れを付加する低遅延窓を用いた変換復号化の間に実行され、有効フレームの出現以前に消去された少なくとも最後のフレームを交換するために、前記方法が、−第１の時間期間に実行される、消去されたフレームに関する欠落したサンプルの第１のセットを隠蔽するステップと、−第２の時間期間に実行される、前記有効フレームの情報を考慮しながら消去されたフレームに関する欠落したサンプルの第２のセットを隠蔽するステップと、−欠落したフレームの少なくとも一部を獲得するための、前記欠落したサンプルの第１のセットと前記欠落したサンプルの第２のセットとの間の遷移のステップとを含むことを特徴とする。
【００３４】
従って、前の消去されたフレームの欠落したサンプルの第２のセットを生成するための有効フレームに存在する情報の使用は、欠落したサンプルを最もよく適応させることによって、復号化された音声信号の品質を向上させることを可能にする。前記欠落したサンプルの第１のセットと前記欠落したサンプルの第２のセットとの間の遷移のステップは、生成された欠落したサンプルにおける連続性を保証することを可能にする。
【００３５】
この遷移ステップは、有利に重複部分付加ステップであり得る。
【００３６】
第２の実施例において、この遷移ステップは、前記欠落したサンプルの第２のセットを生成するために、遷移点において、前記第１の隠蔽ステップの間に保存されたフィルタメモリを用いる線形予測合成フィルタリングステップによって保証され得る。
【００３７】
この場合、遷移点における合成フィルタのメモリは、前記第１の隠蔽ステップにおいて保存される。第２の隠蔽ステップの間に、受信された情報に応じて励振が決定される。その合成は、一方では獲得された励振を使用することによって、他方では保存された合成フィルタメモリを使用することによって、遷移点に基づいて実行される。
【００３８】
特定の実施例において、前記サンプルの第１のセットは、前記消去されたフレームの前記欠落したサンプルの全体であり、前記サンプルの第２のセットは、前記消去されたフレームの前記欠落したサンプルの一部である。
【００３９】
従って、２つの異なる時間期間の間のサンプルの生成の分散、及び第２の時間期間においてサンプルの一部のみ生成する事実は、有効フレームに対応する時間期間にあり得る複雑度のピークを減少させることを可能にする。実際には、この時間期間に、復号器は、全く同じ時に前のフレームの欠落したサンプルを生成し、遷移ステップを実行し、そして有効フレームを復号化しなければならない。従って、復号化の複雑度のピークはこの時間期間に存在する。
【００４０】
有効フレームに存在する前記情報は、例えば、前記信号の分類に関する情報、及び／または前記信号のスペクトル包絡線に関する情報である。
【００４１】
前記信号の分類についての情報項目は、例えば、前記欠落したサンプルの第２のセットを隠蔽するステップが、前記消去されたフレームに対応する前記信号に関する励振信号の高調波部分及び前記励振信号の任意の部分のそれぞれの利得を適応させることを可能にする。
【００４２】
この情報は、従って、隠蔽ステップによって生成された欠落したサンプルの更に良い適応を保証する。
【００４３】
特定の実施例において、前記第１の時間期間は、消去された前記最後のフレームに関連付けられると共に、前記第２の時間期間は、前記有効フレームに関連付けられ、欠落したサンプルを全く生成しない、前記欠落したサンプルの第２のセットを隠蔽する前記ステップを準備するステップは、前記第１の時間期間に実行される。
【００４４】
従って、前記欠落したサンプルの第２のセットを隠蔽する前記ステップを準備するステップは、有効フレームの復号化に対応する時間期間と異なる時間期間に実行される。その結果、これは、サンプルの第２のセットを隠蔽するステップの計算負荷を分散すると共に、従って最初の有効フレームの受信に対応する時間期間における複雑度のピークを減少させることを可能にする。上述のように、実際には、有効フレームに対応するこの時間期間に、復号化の複雑度のピークまたは複雑度の更に悪い状態が位置している。
【００４５】
このように行われた複雑度の分散は、複雑度の最も悪い状態に応じて寸法が決められる伝送エラー隠蔽装置のプロセッサの寸法を、下方に修正することを可能にする。
【００４６】
特定の実施例において、前記準備するステップは、前記消去されたフレームに対応する前記信号に関する前記励振信号の高調波部分を生成するステップと、前記消去されたフレームに対応する前記信号に関する前記励振信号の任意の部分を生成するステップとを含む。
【００４７】
本発明は、更に、異なる時間期間と関連付けられている複数の連続するフレームに分割されたデジタル信号における伝送エラーを隠蔽するための装置であって、受信する際に、前記信号が、消去されたフレーム、及びフレーム損失の隠蔽に関連する情報（ｉｎｆ．）を含む有効フレームを含み得る装置を意図している。前記装置は、それが、コア復号化を用いた階層型復号化の間、及びコア復号化に対するフレーム未満の時間遅れを付加する低遅延窓を用いた変換復号化の間に介在し、前記装置が、−第１の時間期間の間に、有効フレームの出現以前に消去された少なくとも最後のフレームに関する欠落したサンプルの第１のセットを生成することができると共に、第２の時間期間の間に、前記有効フレームの情報を考慮しながら前記消去されたフレームに関する欠落したサンプルの第２のセットを生成することができる隠蔽モジュールと、−欠落したフレームの少なくとも一部を獲得するために、前記欠落したサンプルの第１のセットと前記欠落したサンプルの第２のセットとの間の遷移を実行することができる遷移モジュールとを備えることを特徴とする。
【００４８】
この装置は、上述のような隠蔽方法のステップを実行する。
【００４９】
本発明は、更に、本発明による伝送エラー隠蔽装置を備えるデジタル信号復号器を意図している。
【００５０】
最終的に、本発明は、伝送エラー隠蔽装置のメモリに格納されることを目的としているコンピュータプログラムと関係がある。このコンピュータプログラムは、それが、前記伝送エラー隠蔽装置のプロセッサによって実行された場合に、本発明によるエラー隠蔽方法のステップを実施するためのコード命令を備えることを特徴とする。
【００５１】
それは、コンピュータによって、もしくはプロセッサによって読み取り可能な、任意に装置に統合され、上述のようなコンピュータプログラムを格納している記憶媒体に関連する。
【図面の簡単な説明】
【００５２】
【図１ａ】階層型符号化に照らしてエラーのあるフレームを隠蔽するための従来技術の手法を例証する図である。
【図１ｂ】階層型符号化に照らしてエラーのあるフレームを隠蔽するための従来技術の手法を例証する図である。
【図２】第１の実施例における本発明による隠蔽方法を例証する図である。
【図３】第２の実施例における本発明による隠蔽方法を例証する図である。
【図４ａ】本発明による隠蔽方法を使用することによる復元の同期化を例証する図である。
【図４ｂ】本発明による隠蔽方法を使用することによる復元の同期化を例証する図である。
【図５】本発明の枠組の中で使用され得る代表的な階層型符号器を例証する図である。
【図６】本発明による階層型復号器を例証する図である。
【図７】本発明による隠蔽装置を例証する図である。
【発明を実施するための形態】
【００５３】
本発明の他の利点及び特性は、一例として以下に与えられた詳細な説明、及び添付された図面を分析することによって明白になる。
【００５４】
図２を参照すると、本発明の第１の実施例による伝送エラー隠蔽方法が、これから説明される。この例において、復号器において受信されたフレームＮは消去される。
【００５５】
復号器において受信された有効フレームＮ−１は、逆多重化モジュールＤＥＭＵＸによってステップ２０において処理されると共に、通常は、復号化モジュールＤＥ−ＮＯによってステップ２１において復号化される。復号化された信号は、従って、ステップ２２の間に、バッファメモリＭＥＭに保存される。この保存された復号化された信号の少なくとも一部は、フレームＮ−１の復号器出力として、サウンドカード３０に送信され、バッファメモリに残存する復号化された信号は、次のフレームの復号化の後にサウンドカード３０に送信されるように、保持される。
【００５６】
従って、消去されたフレームＮを検出すると、この欠落したフレームに関するサンプルの第１のセットを隠蔽するステップが、エラーを隠蔽するためのモジュールＤＥ−ＤＩＳＳの助けを借りて、そして前のフレームの復号化された信号を使用することによって、ステップ２３において実行される。従って、推定された信号は、ステップ２４の間にメモリＭＥＭに保存される。
【００５７】
この保存された推定された信号の少なくとも一部は、保存された状態を維持するフレームＮ−１の復号化された信号と一緒に、フレームＮの復号器出力としてサウンドカード３０に送信される。バッファメモリに残存する推定された信号は、次のフレームの復号化の後にサウンドカード３０に送信されるように、保持される。
【００５８】
有効フレームＮ＋１を受信すると、消去されたフレームＮに関する欠落したサンプルの第２のセットを隠蔽するステップが、エラーを隠蔽するためのモジュールＤＥ−ＭＩＳＳによって符号２５において実行される。このステップは、有効フレームＮ＋１に存在する情報を使用すると共に、その情報は、逆多重化モジュールＤＥＭＵＸによってフレームＮ＋１の逆多重化のステップ２６の間に獲得される。
【００５９】
有効フレームに存在する情報は、２進信号列の前のフレームに関する情報を含む。それは、特に、信号の分類に関する情報（有声の信号、無声の信号、過渡信号）、あるいは、さもなければ信号のスペクトル包絡線に関する情報である。
【００６０】
この情報は、例えば励振信号の高調波部分及び励振信号の任意の部分のそれぞれの利得を計算することによって、エラーを隠蔽するステップを最もよく適応させることを可能にすることになる。高調波励振は、前のフレームの信号のピッチ値（基本周波数の逆数に対応する期間におけるサンプルの数）に基づいて計算された励振を意味すると理解され、励振信号の高調波部分は、従って、ピッチの遅延に対応する瞬間における過去の励振をコピーすることによって獲得される。任意の励振は、任意信号生成器に基づいて獲得された、または過去の励振の符号語の任意の抽選によって獲得された、または辞書から獲得された励振信号を意味すると理解される。
【００６１】
従って、信号の分類が有声のフレームを示す場合に、より重要な利得が、励振の高調波部分に関して計算され、信号の分類が無声のフレームを示す場合に、より重要な利得が、励振の任意の部分に関して計算される。
【００６２】
更に、有声と無声との間の遷移である場合に、高調波励振の部分は完全に誤っている。この場合、その復号器が正常な励振、ひいては合格品質を回復する前に、いくらかのフレームが必要であり得る。従って、高調波励振の新しい人工的なバージョンが、復号器が更に速く通常動作を回復することを可能にするために使用され得る。
【００６３】
スペクトル包絡線に関する情報は、ＬＰＣ線形予測フィルタの安定性に関する情報であり得る。従って、もしこの情報が、前のフレームと現在の（有効な）フレームとの間でそのフィルタが安定していることを示すならば、欠落したサンプルの第２のセットを隠蔽するステップは、有効フレームの線形予測フィルタを使用する。反対の場合において、過去から生じるフィルタが使用される。
【００６４】
遷移モジュールＴＲＡＮＳによる遷移のステップ２９が実行される。このモジュールは、第１のセットと第２のセットとの間の穏やかな遷移を獲得するために、まだサウンドカード上で再生されていないステップ２３において生成されたサンプルの第１のセットと、ステップ２５において生成されたサンプルの第２のセットとを考慮する。一実施例において、この遷移ステップは、消去されたフレームの欠落したサンプルを獲得するために、第１のセットにおいて推定された信号の重みを次第に減少させ、第２のセットにおいて推定された信号の重みを次第に増加させることから構成される、クロスフェーディング（crossfading）ステップまたは重複部分付加ステップである。
【００６５】
例えば、このクロスフェーディングステップは、フレームＮにおける保存された推定された信号の全てのサンプルと１から０に次第に減少する重み関数との乗算、及び、この加重された信号と、保存された信号の重み関数に対して補足的である重み関数と乗算された、フレームＮ＋１における推定された信号のサンプルとの加算に対応する。補足的な重み関数は、前の重み関数による１の引き算、すなわち（１−前の重み関数）を実行することによって獲得される関数を意味すると理解される。
【００６６】
この実施例の変形において、このクロスフェーディングステップは、まさしく保存された信号の一部（少なくとも１つのサンプル）に実行される。
【００６７】
別の実施例において、この遷移ステップは、線形予測合成フィルタリングによって保証される。この場合、遷移点における合成フィルタのメモリは、第１の隠蔽ステップにおいて保存される。第２の隠蔽ステップの間に、受信された情報に応じて励振が決定される。その合成は、一方では獲得された励振を使用することによって、他方では保存された合成フィルタメモリを使用することによって、遷移点に基づいて実行される。
【００６８】
同じ時間期間において、有効フレームは、従って、ステップ２６において、逆多重化されると共に、通常は、ステップ２７において、復号化され、そして復号化された信号は、ステップ２８において、バッファメモリＭＥＭに保存される。遷移モジュールＴＲＡＮＳから生じる信号は、フレームＮ＋１の復号化された信号と一緒に、フレームＮ＋１の復号器出力としてサウンドカード３０に送信される。
【００６９】
サウンドカード３０によって受信された信号は、ラウドスピーカータイプ３１の再生手段によって再生されることを意図している。
【００７０】
本発明による方法の一実施例において、サンプルの第１のセット、及びサンプルの第２のセットは、欠落したフレームのサンプルのセットである。各時間期間において、消去されたフレームに対応する信号が生成され、従って、欠落したフレームのサンプルを獲得するために、クロスフェーディングが、消去されたフレームの後半（ハーフフレーム：half-frame）に対応する２つの信号の一部に対して実行される。この実施例は、全てのフレームで機能する習慣的なエラー隠蔽機構を更に容易に使用するという利点を有する。
【００７１】
別の実施例では、消去されたフレームに対応する時間期間に、隠蔽ステップは、欠落したフレームの全サンプルを生成し（これらのサンプルは、次のフレームが同様に消去されるならば必要になる）、一方、有効フレームの復号化に対応する時間期間に、隠蔽ステップは、サンプルの第２の部分、例えば欠落したフレームのサンプルの後半だけを生成する。重複部分付加ステップは、欠落したフレームのサンプルのこの後半に対する遷移を保証するために実行される。
【００７２】
この別の実施例において、有効フレームに対応する時間期間に欠落したフレームに関して生成されたサンプルの数は、上述の第１の実施例の場合よりも重要ではない。この時間期間の復号化の複雑度が、従って減らされる。
【００７３】
実際には、複雑度の最も悪い状態はこの時間期間になる。実際には、この時間期間において、全く同じ時に、有効フレームの復号化が実行されるが、しかし更にサンプルの第２セットを隠蔽するステップも実行される。生成されるべきサンプルの数を減少させることによって、その結果ＤＳＰ（Digital Signal Processor）タイプのプロセッサの寸法を決定するように、複雑度の最も悪い状態は縮小される。
【００７４】
本発明の第２の実施例において、しかしながら平均の複雑度を増加させることなく、その上更に複雑度の最も悪い状態を縮小することを可能にする複雑度の分散が実行される。
【００７５】
従って、図３を参照すると、復号器で受信されたフレームＮが消去される場合の、本発明による方法の第２の実施例が例証される。
【００７６】
この例において、サンプルの第２のセットを隠蔽するステップは、２つのステップに分割される。欠落したサンプルを全く生成しないと共に、有効フレームから生じる情報を使用しない、準備の第１のステップＥ１は、前の時間期間に実行される。欠落したサンプルを生成すると共に、有効フレームから生じる情報を使用する、第２のステップＥ２は、有効フレームに対応する時間期間に実行される。
【００７７】
従って、復号器において受信されたフレームＮ−１に関して、図２を参照して説明された操作と同じ操作、すなわち逆多重化の操作２０、通常の復号化の操作２１、及び記憶の操作２２が実行される。
【００７８】
消去されたフレームＮに対応する時間期間において、参照符号３２を付与された準備ステップＥ１が実行される。この準備ステップは、例えば、前のフレームのＬＴＰ遅延の値を使用して、励振の高調波部分を獲得するステップ、及びＣＥＬＰ復号化構造における励振の任意の部分を獲得するステップである。
【００７９】
この準備ステップは、メモリＭＥＭに保存された前のフレームのパラメータを使用する。消去されたフレームの分類情報または消去されたフレームのスペクトル包絡線に関する情報を使用することは、このステップにとって有益ではない。
【００８０】
消去されたフレームに対応する同じこの時間期間において、図２を参照して説明されたようなサンプルの第１のセットを隠蔽するステップ２３が、更に実行される。そこから生じる推定された信号は、ステップ２４において、メモリＭＥＭに保存される。少なくとも、この保存された推定された信号の一部は、保存された状態を維持するフレームＮ−１の復号化された信号と一緒に、フレームＮの復号器出力としてサウンドカード３０に送信される。バッファメモリに残存する推定された信号は、次のフレームの復号化の後にサウンドカード３０に送信されるように、保持される。
【００８１】
消去されたフレームＮに対応する欠落したサンプルの第２のセットの推定を含む、参照符号３３を付与された隠蔽のステップＥ２は、復号器において受信されたフレームＮ＋１に対応する時間期間に実行される。このステップは、有効フレームＮ＋１に含まれると共にフレームＮに関係する情報を考慮することを含む。
【００８２】
この特定の実施例において、隠蔽ステップは、その場合に、励振の２つの部分に関連付けられた利得の計算、及び、任意に、高調波励振の位相の修正に対応する。最初の有効フレームにおいて受信された分類情報に応じて、励振の２つの部分のそれぞれの利得は適応させられる。従って、例えば、消去されたフレームの前に受信された最後の有効フレームの分類に関する情報、及び受信された分類情報に応じて、隠蔽ステップは、フレームのクラスを最もよく表すために、励振及び関連する利得の選択を適応させる。これにおいて、隠蔽ステップの間に生成された信号の品質は、受信された情報から利益を得ることによって向上する。
【００８３】
例えば、もしその情報がフレームＮは有声の信号フレームであるというものならば、ステップＥ２は、任意の励振よりむしろ準備ステップＥ１において獲得された高調波励振を選ぶと共に、無声の信号フレームに関して、逆もまた同様である。
【００８４】
その情報が過渡のフレームＮを示す場合において、ステップＥ２は、過渡の状態（有声から無声または無声から有声）の正確な分類に応じて欠落したサンプルを生成することになる。
【００８５】
図２を参照して説明される重複部分付加またはクロスフェーディングステップ２９は、従って、ステップ２３において生成されたサンプルの第１のセットと、ステップ３３において生成されたサンプルの第２のセットとの間で実行される。
【００８６】
有効フレームＮ＋１に対応する時間期間の間、フレームＮ＋１は、逆多重化モジュールＤＥＭＵＸによって処理され、図２を参照して以前に説明されたように、ステップ２７において復号化され、そしてステップ２８において保存される。クロスフェーディングステップ２９によって獲得された推定された信号及びフレームＮ＋１の復号化された信号は、フレームＮ＋１の復号器出力としてサウンドカード３０に一緒に送信される。
【００８７】
図４ａ及び図４ｂは、この方法の実施、及びＣＥＬＰタイプの復号化と、仏国特許出願番号ＦＲ ０７６０２５８号明細書において説明されたような窓の形式で表された低遅延窓を使用する変換符号化との間の同期化を例証する。
【００８８】
この階層型復号化に照らして、図４ａは、ＣＥＬＰフレームＣ０〜Ｃ５の階層型符号化、及びこれらのフレームに適用された低遅延変換Ｍ１〜Ｍ５を例証する。
【００８９】
対応する復号器へのこれらのフレームの伝送に基づいて、ハッチングされたフレームＣ３及びＣ４が消去される。
【００９０】
図４ｂは、フレームＣ０〜Ｃ５の復号化を例証する。ライン４０は、復号器において受信された信号を例証し、ライン４１は、第１の復号化ステージにおけるＣＥＬＰ合成を例証し、ライン４２は、低遅延（ＭＤＣＴ）変換を使用した全体の合成を例証する。
【００９１】
この例において、２つの復号化ステージの間の時間ずれがフレームより小さいと共に、ここでは、簡単化の目的で、フレームの半分の時間ずれで表されるということが、明らかに理解される。
【００９２】
従って、復号器のフレームＯ１（ライン４２）を復号化するために、前のフレームのＣＥＬＰ合成Ｃ０及び変換Ｍ０の一部が、現在のフレームのＣＥＬＰ合成Ｃ１及び変換Ｍ１の一部と同様に、使用される。
【００９３】
同じことがフレームＯ２に関して成立し、それは、フレーム１のＣＥＬＰ合成（Ｃ１）及び変換Ｍ１の一部、そしてフレーム２のＣＥＬＰ合成（Ｃ２）及び変換Ｍ２の一部を使用する。
【００９４】
最初の消去されたフレーム（Ｃ３＋Ｍ３）の検出に基づいて、その復号器は、全体の合成信号（Ｏ３）を組み立てるために、前のフレーム２のＣＥＬＰ合成（Ｃ２）を使用する。同様に、エラー隠蔽アルゴリズムに基づいて、フレーム３のＣＥＬＰ合成（Ｃ３）に対応する信号を生成することが必要である。
【００９５】
この再生された信号は、図４ｂにおいてＦＥＣ−Ｃ３と名前が付けられている。復号器Ｏ３からの出力信号は、従って、信号Ｃ２の後半と推定された信号ＦＥＣ−Ｃ３の前半とから構成される。
【００９６】
２番目のエラーのあるフレームＣ４の間に、欠落したフレームＣ４に対応するサンプルを生成するために、フレームＣ４に関する隠蔽ステップが実行される。ＦＥＣ１−Ｃ４と表示されたサンプルの第１のセットが、従って、欠落したフレームＣ４に関して獲得される。
【００９７】
このように、復号器からのフレーム４の出力Ｏ４は、Ｃ３に関して推定されたサンプル（ＦＥＣ−Ｃ３）の一部、及びＣ４に関して推定されたサンプルの第１のセット（ＦＥＣ１−Ｃ４）の一部を用いて組み立てられる。
【００９８】
最初の有効フレーム（Ｃ５＋Ｍ５）の受信の間に、フレームＣ４に関するサンプルの第２のセットを隠蔽するステップが実行される。このステップは、有効フレームＣ５に存在する、フレームＣ４に関する情報Ｉ５を使用する。サンプルのこの第２のセットは、ＦＥＣ２−Ｃ４という参照符号が付与されている。
【００９９】
消去されたフレームＣ４の後半の欠落したサンプルＦＥＣ−Ｃ４を獲得するために、サンプルの第１のセットＦＥＣ１−Ｃ４とサンプルの第２のセットＦＥＣ２−Ｃ４との間の遷移ステップが、重複部分付加またはクロスフェーディングによって、実行される。
【０１００】
復号器からのフレーム５の出力Ｏ５は、クロスフェーディングステップから生じるサンプルの一部（ＦＥＣ−Ｃ４）、及び有効フレームＣ５に関して復号化されたサンプルの一部を用いて組み立てられる。
【０１０１】
この実施例の変形において、フレームＣ４に関するサンプルの第２のセットを隠蔽するステップの間に、複雑度を減少させるために、欠落したサンプルＦＥＣ２−Ｃ４の後半のみが生成される。クロスフェーディングステップは、この後半に対して実行される。
【０１０２】
本発明は、ここで、コア復号化がＣＥＬＰタイプの復号化である代表的な実施例によって説明された。このコア復号化は、他の種類の復号化であり得る。例えば、それは（例えばＧ．７２２の標準化された符号器／復号器のような）ＡＤＰＣＭタイプの復号器と交換され得る。この実施例において、ＣＥＬＰ復号化のためのものと異なり、２つのフレームの間の連続性は、線形予測合成フィルタリング（ＬＰＣ）によって必ずしも保証されるとは限らない。従って、１つ以上の消去されたフレームの後の最初の有効フレームの受信の際に、その方法は、消去されたフレームを推定する信号の延長のステップと、最初の有効フレームの少なくとも一部の信号と推定信号のこの延長部分の信号との間の重複部分付加のステップとを更に含む。
【０１０３】
図５を参照して、変換符号化ステージを有する代表的な階層型符号器が説明される。
【０１０４】
符号器の入力信号Ｓは、高域通過フィルタＨＰ５０によってフィルタ処理される。第１の符号化ステージにおいて、このフィルタ処理された信号は、その後ＡＣＥＬＰ符号化方式によって符号化されるように、モジュール５１により、ＡＣＥＬＰ（Algebraic Code Excited Linear Prediction）符号器の周波数にアンダーサンプリング（undersampling）される。この符号化ステージから生じる信号は、その後多重化モジュール５６において多重化される。前のフレームに関する情報アイテム（ｉｎｆ．）が、更に、２進信号列Ｔを形成するために、多重化モジュールに送信される。
【０１０５】
ＡＣＥＬＰ符号化から生じる信号は、更に、モジュール５３によって、原信号に対応するサンプリング周波数でオーバーサンプリングされる。モジュール５５においてＭＤＣＴ変換が実行される第２の符号化ステージに入力するために、このオーバーサンプリングされた信号は、符号５４において、フィルタ処理された信号から減算される。その信号は、その後モジュール５７において量子化されると共に、２進信号列Ｔを形成するために、多重化モジュールＭＵＸによって多重化される。
【０１０６】
図６を参照して、本発明による復号器が説明される。それは、入って来る２進信号列Ｔを処理することができる逆多重化モジュール６０を備える。第１のＡＣＥＬＰ復号化ステージ６１が実行される。このように復号化された信号は、モジュール６２により、信号の周波数でオーバーサンプリングされる。それは、その後ＭＤＣＴ変換モジュール６３によって処理される。ここで使用される変換は、２０００年２月の“the 108th AES convention”において刊行された“Real-Time Implementation of the MPEG-4 Low-Delay Advanced Audio Coding Algorithm (AAC-LD) on Motorola's DSP56300”に提示された、“J. Hilpert”等による論文“Low-Overlap”において説明されたような、あるいは、さもなければ仏国特許出願番号ＦＲ ０７６０２５８号明細書において説明されたような低遅延変換である。
【０１０７】
第１のＡＣＥＬＰ復号化ステージと変換のステージとの間の時間ずれは、従ってフレームの半分（半フレーム）である。
【０１０８】
逆多重化モジュールの出力において、その信号は、第２の復号化ステージ内で、モジュール６８において逆量子化されると共に、符号６７において変換から生じる信号に加算される。その後、符号６４において、逆変換が適用される。そこから生じる信号は、その後モジュール６２から生じる信号を使用して符号６５により後処理（ＰＦ）されて、次に、復号器からの出力信号Ｓｓを供給する高域通過フィルタＨＰにより符号６６においてフィルタ処理される。
【０１０９】
その復号器は、消去されたフレーム情報アイテムｂｆｉ．を逆多重化モジュールから受信する伝送エラー隠蔽装置７０を備える。この装置は、有効フレームの復号化の間に、フレーム損失の隠蔽に関する情報ｉｎｆ．を受信する、本発明による隠蔽モジュール７１を備える。
【０１１０】
このモジュールは、第１の時間期間に、消去されたフレームのサンプルの第１のセットの隠蔽を実行し、そして有効フレームの復号化に対応する時間期間に、消去されたフレームのサンプルの第２のセットの隠蔽を実行する。
【０１１１】
装置７０は、更に、消去されたフレームのサンプルの少なくとも一部を提供するために、サンプルの第１のセットとサンプルの第２のセットとの間の遷移を実行することができる遷移モジュール７２（ＴＲＡＮＳ）を備える。
【０１１２】
階層型復号器のコアからの出力信号は、ＡＣＥＬＰ復号器６１から生じる信号か、または隠蔽モジュール７０から生じる信号のいずれかである。２つの信号の間の連続性は、それらがＬＰＣ線形予測フィルタの合成メモリを共有するという事実によって保証される。
【０１１３】
本発明による伝送エラー隠蔽装置７０は、例えば図７において例証されたようなものである。ハードウェアの観点で、本発明の意義の範囲内で、この装置は、典型的に、復号化されて時間ずれと共に送信されるフレームを格納するための手段である前述のバッファメモリＭＥＭと同様に、記憶装置及び／または作業メモリを含むメモリブロックＢＭと連携するプロセッサμＰを備える。この装置は、デジタル信号Ｓｅの連続するフレームを入力として受信すると共に、消去されたフレームのサンプルを含む合成された信号Ｓｓを供給する。
【０１１４】
メモリブロックＢＭは、装置のプロセッサμＰによって実行されるときに本発明による方法のステップを実施するための、そして特に、第１の時間期間に実行される、消去されたフレームに関する欠落したサンプルの第１のセットを隠蔽するステップと、第２の時間期間に実行される、前記有効フレームの情報を考慮しながら消去されたフレームに関する欠落したサンプルの第２のセットを隠蔽するステップと、欠落したフレーム（の少なくとも一部）を獲得するための、前記欠落したサンプルの第１のセットと前記欠落したサンプルの第２のセットとの間の重複部分付加のステップとを実行するための、コード命令を備えるコンピュータプログラムを含むことができる。
【０１１５】
図２及び図３は、そのようなコンピュータプログラムのアルゴリズムを例証し得る。
【０１１６】
本発明によるこの隠蔽装置は、デジタル信号復号器から独立しているか、またはデジタル信号復号器に統合されている。
【符号の説明】
【０１１７】
３０ サウンドカード
３１ ラウドスピーカータイプ
５０ 高域通過フィルタＨＰ
５１ アンダーサンプリングモジュール
５２ ＡＣＥＬＰ符号化ステージ（ＡＣＥＬＰ符号器）
５３ オーバーサンプリングモジュール
５４ 減算モジュール
５５ ＭＤＣＴ変換モジュール
５６ 多重化モジュールＭＵＸ
５７ 量子化モジュール
６０ 逆多重化モジュールＤＥＭＵＸ
６１ ＡＣＥＬＰ復号化ステージ（ＡＣＥＬＰ復号器）
６２ オーバーサンプリングモジュール
６３ ＭＤＣＴ変換モジュール
６４ ＭＤＣＴ逆変換モジュール
６５ 後処理モジュールＰＦ
６６ 高域通過フィルタＨＰ
６７ 加算モジュール
６８ 逆量子化モジュール
７０ 伝送エラー隠蔽装置
７１ 隠蔽モジュール（ＤＥ−ＤＩＳＳ）
７２ 遷移モジュール（ＴＲＡＮＳ）
ＢＭ メモリブロック
μＰ プロセッサ
【技術分野】
【０００１】
本発明は、電気通信の分野におけるデジタル信号の処理に関係する。これらの信号は、例えば音声信号、音楽信号であり得る。
【０００２】
本発明は、そのような信号の送信／受信に適している符号化／復号化システムに介在する。更に特に、本発明は、データブロックの損失がある場合の復号化された信号の品質を改善することを可能にする受信の際の処理と関係がある。
【背景技術】
【０００３】
様々な技術が、音声信号をデジタル形式に変換すると共に、デジタル音声信号を圧縮するために存在する。最も一般的な技術は、−ＰＣＭ（パルス符号変調）符号化、及びＡＤＰＣＭ（適応差分パルス符号変調）符号化のような波形符号化方式、−ＣＥＬＰ（符号励振線形予測）符号化のような合成による分析に基づくパラメトリック符号化方式（parametric coding scheme）、及び−サブバンドもしくは変換型の知覚符号化方式、である。
【０００４】
これらの技術は、逐次的方法で、サンプルごとに（ＰＣＭ、またはＡＤＰＣＭ）、または“フレーム”と称されるサンプルのブロック単位で（ＣＥＬＰ、及び変換符号化（transform-based coding））、入力信号を処理する。全てのこれらの符号器のために、符号化された値は、その後送信チャネル上で送信される２進信号列に変換される。
【０００５】
このチャネルの品質及び伝送の種類に応じて、外乱が、送信された信号に影響を及ぼすと共に、復号器において受信された２進信号列にエラーを発生させる可能性がある。これらのエラーは、２進信号列においては分離して発生し得るが、しかしバーストにおいては非常に頻繁に発生し得る。その場合に、それは、エラーがあるか、または受信されない完全な信号部分に対応するビットのパケットになる。例えば、携帯電話ネットワークに関する伝送において、この種類の問題に遭遇する。同様に、パケットネットワークを介した伝送において、及び特にインターネットタイプのネットワークを介した伝送において、この種類の問題に遭遇する。
【０００６】
受信に関与する伝送システムまたは伝送モジュールが、（例えば携帯電話ネットワークにおいて）受信されたデータに非常にエラーがあること、または、（例えばパケット通信システムの場合に）データのブロックが受信されなかったか、またはバイナリエラーによって破損したこと、を検出するのを可能にするとき、その場合に、エラーを隠蔽するための手続きが実行される。
【０００７】
その場合に、復号化されるべき現在のフレームは、消去されたと宣言される（“悪いフレーム”）。これらの手続きは、前のフレームから生じる信号及びデータに基づいて、復号器において、欠落した信号のサンプルを推定することを可能にする。
【０００８】
そのような技術は、主として、パラメトリック符号器及び予測符号器の場合に実装された（消去されたフレームの復元／隠蔽の技術）。それらは、消去されたフレームがある場合に、復号器において認識された信号の本質的な劣化を非常に制限することを可能にする。これらのアルゴリズムは、符号器及び復号器に関して使用される技術を当てにすると共に、実際には、復号器の拡張を構成する。消去されたフレームを隠蔽するための装置の目標は、有効であると考えられた最後の前のフレームに基づいて、消去されたフレームのパラメータを推定することである。
【０００９】
予測符号器によって処理されるか、もしくは符号化される、あるパラメータは、スペクトル包絡線を表す高いフレーム間相関パラメータ（ＬＰＣ（線形予測符号化）の場合）、及び信号（例えば有声音）の周期性を表すＬＴＰ（Long Term Prediction：長期予測）パラメータを示す。この相関のために、消去されたフレームを合成するのに、誤ったパラメータまたは任意のパラメータを使用することより、最後の有効フレームのパラメータを再使用することの方が、更に有利である。
【００１０】
ＣＥＬＰ復号化に照らしてみると、消去されたフレームのパラメータは、以下のとおりに、習慣的に獲得される。
【００１１】
復元されるべきフレームのＬＰＣパラメータは、パラメータを単にコピーすることによって、または、さもなければいくらかのダンピング（damping：減衰）（例えばＧ７２３．１の標準化された符号器において使用される技術）を付加することによって、最後の有効フレームのＬＰＣパラメータに基づいて獲得される。その後、消去されたフレームレベルにおける信号の調和性（harmonicity）を判定するために、音声信号内の有声音または無声音が検出される。
【００１２】
もしその信号が無声の信号であるならば、励振信号は、任意の方法で（過去の励振から符号語を抽出することによって、過去の励振の利得のわずかなダンピング（damping：減衰）によって、過去の励振からの無作為の抽出によって、もしくは完全に誤っているかもしれない送信されたコードを同じく利用することによって）生成され得る。
【００１３】
もしその信号が有声の信号であるならば、ピッチ周期（“ＬＴＰ遅延”とも言われる）は、一般的に、任意にわずかな“ジッタ”を有する、前のフレームに関して計算されたピッチ周期である（連続したエラーフレームに関してＬＴＰ遅延の値は増すと共に、ＬＴＰ利得は１に非常に近い値をとるか、または１に等しい。）。励振信号は、従って、過去の励振に基づいて行われた長期予測に制限される。
【００１４】
消去されたフレームのこの種類の推定（extrapolation）を計算することの複雑度は、一般的に、有効フレーム（または良いフレーム）の復号化の計算の複雑度に匹敵し、過去に基づいて推定されると共に、任意に僅かに修正されたパラメータが、パラメータの復号化及び逆量子化の代わりに使用され、その場合に、復元された信号は、このように獲得されたパラメータを使用して、有効フレームと同じ方法で合成される。
【００１５】
コア符号化に関してＣＥＬＰタイプの技術を使用し、エラー信号を符号化するために変換符号化の技術を使用する階層型符号化構造において、消去されたフレームの隠蔽のために、この階層型復号化システムによって生成された時間ずれを使用することは、有益であり得る。
【先行技術文献】
【特許文献】
【００１６】
【特許文献１】仏国特許出願番号ＦＲ ０７６０２５８号明細書
【非特許文献】
【００１７】
【非特許文献１】B. KOVESI及びD. Massaloux、「Method of packet errors cancellation suitable for any speech and sound compression scheme」、ISIVC-2004
【非特許文献２】T. Vaillancourt等、「Efficient frame erasure concealment in predictive speech codecs using glotal pulse resynchronisation」、ICASSP 2007
【非特許文献３】M. Jelinek及びR. Salami、「Wideband Speech Coding Advances in VMR-WV Standard」、IEEE Transactions on audio, speech and language processing、２００７年５月
【非特許文献４】J. Hilpert等、「Real-Time Implementation of the MPEG-4 Low-Delay Advanced Audio Coding Algorithm (AAC-LD) on Motorola's DSP56300」、the 108th AES convention、２０００年２月
【発明の概要】
【発明が解決しようとする課題】
【００１８】
図１ａは、ＣＥＬＰフレームＣ０からＣ５の階層型符号化、及びこれらのフレームに適用された変換Ｍ１からＭ５を例証する。これらのフレームの対応する復号器への伝送中に、ハッチングされたフレームＣ３及びＣ４、そして変換Ｍ３とＭ４が消去される。
【００１９】
従って、図１ｂを参照すると、復号器において、参照符号１０を付与されたラインはフレームの受信に対応し、参照符号１１を付与されたラインはＣＥＬＰ合成に対応し、そして参照符号１２を付与されたラインはＭＤＣＴ変換後の全体の合成に対応する。
【００２０】
フレーム１（ＣＥＬＰ符号化Ｃ１及び変換符号化Ｍ１）の受信中に、その復号器が、次のフレームを得るために全体の合成信号を計算するのに使用されることになるＣＥＬＰフレームＣ１を合成すると共に、ＣＥＬＰ合成Ｃ０、そして変換Ｍ０及び変換Ｍ１に基づいて、現在のフレームＯ１（ライン１２）に関する全体の合成信号を計算することは、注目に値し得る。全体の合成におけるこの追加の遅延は、変換符号化に照らして良く知られている。
【００２１】
この場合、２進信号列にエラーがある場合に、その復号器は、以下のとおりに動作する。
【００２２】
２進信号列における第１のエラーに関して、その復号器は、メモリに、前のフレームのＣＥＬＰ合成を含んでいる。従って、図１ｂにおいて、フレーム３（Ｃ３＋Ｍ３）にエラーがあるとき、その復号器は、前のフレームで復号化されたＣＥＬＰ合成Ｃ２を使用する。
【００２３】
エラーのあるフレーム（Ｃ３）の交換は、次の出力（Ｏ４）を生成するために必要であり、これを行うために、例えば“B. KOVESI”及び“D. Massaloux”によって“ISIVC-2004”において開示された“Method of packet errors cancellation suitable for any speech and sound compression scheme”と題名が付けられた論文において説明されたような、ＦＥＣ（Frame Erasure Concealment：フレーム消失隠蔽）とも呼ばれる消去されたフレームを隠蔽するための技術が使用される。
【００２４】
“T. Vaillancourt”等により“ICASSP 2007”において開示された“Efficient frame erasure concealment in predictive speech codecs using glotal pulse resynchronisation”において説明されるように、エラーのあるフレームの検出と対応する信号を合成する必要性との間のこの時間ずれは、前のＣＥＬＰフレームに関するエラー訂正情報を伝送するための技術を使用することを可能にする。
【００２５】
この論文において、有効フレームは、消去されたフレームの隠蔽、及び消去されたフレームと有効フレームとの間の再同期を向上させるための前のフレームに関する情報を含む。
【００２６】
従って、図１ｂにおいて、２つのエラーのあるフレーム（フレーム３及び４）の検出の後のフレーム５（Ｃ５＋Ｍ５）の受信と同時に、その復号器は、フレーム５の２進信号列において、前のフレームの性質に関する情報（例えば分類表示、スペクトル包絡線に関する情報）を受信する。分類情報は、有声音、無声音、アタック（attack：音の立ち上がり）等に関する情報を意味すると理解される。
【００２７】
この種類の２進信号列における情報は、例えば“M. Jelinek”及び“R. Salami”によって２００７年５月の“IEEE Transactions on audio, speech and language processing”において開示された論文“Wideband Speech Coding Advances in VMR-WV Standard”において説明されている。
【００２８】
従って、その復号器は、フレーム５によって受信された情報から利益を得る消去されたフレームを隠蔽するための技術を使用して、ＣＥＬＰ信号Ｃ５を合成する前に、前のエラーのあるフレーム（フレーム４）を合成する。
【００２９】
更に、階層型符号化技術は、２つの符号化ステージの間の時間ずれを減少させるために開発された。従って、時間ずれを半フレームに減少する低遅延の変換が存在する。そのようなものは、例えば“J. Hilpert”等によって２０００年２月の“the 108th AES convention”において刊行された“Real-Time Implementation of the MPEG-4 Low-Delay Advanced Audio Coding Algorithm (AAC-LD) on Motorola's DSP56300”に提示された“Low-Overlap”と呼ばれる窓を使用した場合である。
【００３０】
時間ずれがフレームより少ない以前に示された技術に関して言えば、これらの低遅延変換技術において、消去されたフレームの欠落したサンプルを生成するために、有効な現在のフレームの情報で利益を得ることは、その場合に、もはや可能ではない。エラーのあるフレームの場合の信号の品質は、その結果、更に低くなる。
【００３１】
従って、低遅延の階層型復号化システムにおける消去されたフレームの隠蔽の品質を、しかしながら追加の時間遅れを付加することなく改善するための要求が存在する。
【００３２】
本発明は、その状況を改善する。
【課題を解決するための手段】
【００３３】
本発明は、この目的のために、異なる時間期間と関連付けられている複数の連続するフレームに分割されたデジタル信号における伝送エラーを隠蔽する方法であって、受信する際に、前記信号が、消去されたフレーム、及びフレーム損失の隠蔽に関連する情報（ｉｎｆ．）を含む有効フレームを含み得る方法を提案する。前記方法は、それが、コア復号化を用いた階層型復号化の間、及びコア復号化に対するフレーム未満の時間遅れを付加する低遅延窓を用いた変換復号化の間に実行され、有効フレームの出現以前に消去された少なくとも最後のフレームを交換するために、前記方法が、−第１の時間期間に実行される、消去されたフレームに関する欠落したサンプルの第１のセットを隠蔽するステップと、−第２の時間期間に実行される、前記有効フレームの情報を考慮しながら消去されたフレームに関する欠落したサンプルの第２のセットを隠蔽するステップと、−欠落したフレームの少なくとも一部を獲得するための、前記欠落したサンプルの第１のセットと前記欠落したサンプルの第２のセットとの間の遷移のステップとを含むことを特徴とする。
【００３４】
従って、前の消去されたフレームの欠落したサンプルの第２のセットを生成するための有効フレームに存在する情報の使用は、欠落したサンプルを最もよく適応させることによって、復号化された音声信号の品質を向上させることを可能にする。前記欠落したサンプルの第１のセットと前記欠落したサンプルの第２のセットとの間の遷移のステップは、生成された欠落したサンプルにおける連続性を保証することを可能にする。
【００３５】
この遷移ステップは、有利に重複部分付加ステップであり得る。
【００３６】
第２の実施例において、この遷移ステップは、前記欠落したサンプルの第２のセットを生成するために、遷移点において、前記第１の隠蔽ステップの間に保存されたフィルタメモリを用いる線形予測合成フィルタリングステップによって保証され得る。
【００３７】
この場合、遷移点における合成フィルタのメモリは、前記第１の隠蔽ステップにおいて保存される。第２の隠蔽ステップの間に、受信された情報に応じて励振が決定される。その合成は、一方では獲得された励振を使用することによって、他方では保存された合成フィルタメモリを使用することによって、遷移点に基づいて実行される。
【００３８】
特定の実施例において、前記サンプルの第１のセットは、前記消去されたフレームの前記欠落したサンプルの全体であり、前記サンプルの第２のセットは、前記消去されたフレームの前記欠落したサンプルの一部である。
【００３９】
従って、２つの異なる時間期間の間のサンプルの生成の分散、及び第２の時間期間においてサンプルの一部のみ生成する事実は、有効フレームに対応する時間期間にあり得る複雑度のピークを減少させることを可能にする。実際には、この時間期間に、復号器は、全く同じ時に前のフレームの欠落したサンプルを生成し、遷移ステップを実行し、そして有効フレームを復号化しなければならない。従って、復号化の複雑度のピークはこの時間期間に存在する。
【００４０】
有効フレームに存在する前記情報は、例えば、前記信号の分類に関する情報、及び／または前記信号のスペクトル包絡線に関する情報である。
【００４１】
前記信号の分類についての情報項目は、例えば、前記欠落したサンプルの第２のセットを隠蔽するステップが、前記消去されたフレームに対応する前記信号に関する励振信号の高調波部分及び前記励振信号の任意の部分のそれぞれの利得を適応させることを可能にする。
【００４２】
この情報は、従って、隠蔽ステップによって生成された欠落したサンプルの更に良い適応を保証する。
【００４３】
特定の実施例において、前記第１の時間期間は、消去された前記最後のフレームに関連付けられると共に、前記第２の時間期間は、前記有効フレームに関連付けられ、欠落したサンプルを全く生成しない、前記欠落したサンプルの第２のセットを隠蔽する前記ステップを準備するステップは、前記第１の時間期間に実行される。
【００４４】
従って、前記欠落したサンプルの第２のセットを隠蔽する前記ステップを準備するステップは、有効フレームの復号化に対応する時間期間と異なる時間期間に実行される。その結果、これは、サンプルの第２のセットを隠蔽するステップの計算負荷を分散すると共に、従って最初の有効フレームの受信に対応する時間期間における複雑度のピークを減少させることを可能にする。上述のように、実際には、有効フレームに対応するこの時間期間に、復号化の複雑度のピークまたは複雑度の更に悪い状態が位置している。
【００４５】
このように行われた複雑度の分散は、複雑度の最も悪い状態に応じて寸法が決められる伝送エラー隠蔽装置のプロセッサの寸法を、下方に修正することを可能にする。
【００４６】
特定の実施例において、前記準備するステップは、前記消去されたフレームに対応する前記信号に関する前記励振信号の高調波部分を生成するステップと、前記消去されたフレームに対応する前記信号に関する前記励振信号の任意の部分を生成するステップとを含む。
【００４７】
本発明は、更に、異なる時間期間と関連付けられている複数の連続するフレームに分割されたデジタル信号における伝送エラーを隠蔽するための装置であって、受信する際に、前記信号が、消去されたフレーム、及びフレーム損失の隠蔽に関連する情報（ｉｎｆ．）を含む有効フレームを含み得る装置を意図している。前記装置は、それが、コア復号化を用いた階層型復号化の間、及びコア復号化に対するフレーム未満の時間遅れを付加する低遅延窓を用いた変換復号化の間に介在し、前記装置が、−第１の時間期間の間に、有効フレームの出現以前に消去された少なくとも最後のフレームに関する欠落したサンプルの第１のセットを生成することができると共に、第２の時間期間の間に、前記有効フレームの情報を考慮しながら前記消去されたフレームに関する欠落したサンプルの第２のセットを生成することができる隠蔽モジュールと、−欠落したフレームの少なくとも一部を獲得するために、前記欠落したサンプルの第１のセットと前記欠落したサンプルの第２のセットとの間の遷移を実行することができる遷移モジュールとを備えることを特徴とする。
【００４８】
この装置は、上述のような隠蔽方法のステップを実行する。
【００４９】
本発明は、更に、本発明による伝送エラー隠蔽装置を備えるデジタル信号復号器を意図している。
【００５０】
最終的に、本発明は、伝送エラー隠蔽装置のメモリに格納されることを目的としているコンピュータプログラムと関係がある。このコンピュータプログラムは、それが、前記伝送エラー隠蔽装置のプロセッサによって実行された場合に、本発明によるエラー隠蔽方法のステップを実施するためのコード命令を備えることを特徴とする。
【００５１】
それは、コンピュータによって、もしくはプロセッサによって読み取り可能な、任意に装置に統合され、上述のようなコンピュータプログラムを格納している記憶媒体に関連する。
【図面の簡単な説明】
【００５２】
【図１ａ】階層型符号化に照らしてエラーのあるフレームを隠蔽するための従来技術の手法を例証する図である。
【図１ｂ】階層型符号化に照らしてエラーのあるフレームを隠蔽するための従来技術の手法を例証する図である。
【図２】第１の実施例における本発明による隠蔽方法を例証する図である。
【図３】第２の実施例における本発明による隠蔽方法を例証する図である。
【図４ａ】本発明による隠蔽方法を使用することによる復元の同期化を例証する図である。
【図４ｂ】本発明による隠蔽方法を使用することによる復元の同期化を例証する図である。
【図５】本発明の枠組の中で使用され得る代表的な階層型符号器を例証する図である。
【図６】本発明による階層型復号器を例証する図である。
【図７】本発明による隠蔽装置を例証する図である。
【発明を実施するための形態】
【００５３】
本発明の他の利点及び特性は、一例として以下に与えられた詳細な説明、及び添付された図面を分析することによって明白になる。
【００５４】
図２を参照すると、本発明の第１の実施例による伝送エラー隠蔽方法が、これから説明される。この例において、復号器において受信されたフレームＮは消去される。
【００５５】
復号器において受信された有効フレームＮ−１は、逆多重化モジュールＤＥＭＵＸによってステップ２０において処理されると共に、通常は、復号化モジュールＤＥ−ＮＯによってステップ２１において復号化される。復号化された信号は、従って、ステップ２２の間に、バッファメモリＭＥＭに保存される。この保存された復号化された信号の少なくとも一部は、フレームＮ−１の復号器出力として、サウンドカード３０に送信され、バッファメモリに残存する復号化された信号は、次のフレームの復号化の後にサウンドカード３０に送信されるように、保持される。
【００５６】
従って、消去されたフレームＮを検出すると、この欠落したフレームに関するサンプルの第１のセットを隠蔽するステップが、エラーを隠蔽するためのモジュールＤＥ−ＤＩＳＳの助けを借りて、そして前のフレームの復号化された信号を使用することによって、ステップ２３において実行される。従って、推定された信号は、ステップ２４の間にメモリＭＥＭに保存される。
【００５７】
この保存された推定された信号の少なくとも一部は、保存された状態を維持するフレームＮ−１の復号化された信号と一緒に、フレームＮの復号器出力としてサウンドカード３０に送信される。バッファメモリに残存する推定された信号は、次のフレームの復号化の後にサウンドカード３０に送信されるように、保持される。
【００５８】
有効フレームＮ＋１を受信すると、消去されたフレームＮに関する欠落したサンプルの第２のセットを隠蔽するステップが、エラーを隠蔽するためのモジュールＤＥ−ＭＩＳＳによって符号２５において実行される。このステップは、有効フレームＮ＋１に存在する情報を使用すると共に、その情報は、逆多重化モジュールＤＥＭＵＸによってフレームＮ＋１の逆多重化のステップ２６の間に獲得される。
【００５９】
有効フレームに存在する情報は、２進信号列の前のフレームに関する情報を含む。それは、特に、信号の分類に関する情報（有声の信号、無声の信号、過渡信号）、あるいは、さもなければ信号のスペクトル包絡線に関する情報である。
【００６０】
この情報は、例えば励振信号の高調波部分及び励振信号の任意の部分のそれぞれの利得を計算することによって、エラーを隠蔽するステップを最もよく適応させることを可能にすることになる。高調波励振は、前のフレームの信号のピッチ値（基本周波数の逆数に対応する期間におけるサンプルの数）に基づいて計算された励振を意味すると理解され、励振信号の高調波部分は、従って、ピッチの遅延に対応する瞬間における過去の励振をコピーすることによって獲得される。任意の励振は、任意信号生成器に基づいて獲得された、または過去の励振の符号語の任意の抽選によって獲得された、または辞書から獲得された励振信号を意味すると理解される。
【００６１】
従って、信号の分類が有声のフレームを示す場合に、より重要な利得が、励振の高調波部分に関して計算され、信号の分類が無声のフレームを示す場合に、より重要な利得が、励振の任意の部分に関して計算される。
【００６２】
更に、有声と無声との間の遷移である場合に、高調波励振の部分は完全に誤っている。この場合、その復号器が正常な励振、ひいては合格品質を回復する前に、いくらかのフレームが必要であり得る。従って、高調波励振の新しい人工的なバージョンが、復号器が更に速く通常動作を回復することを可能にするために使用され得る。
【００６３】
スペクトル包絡線に関する情報は、ＬＰＣ線形予測フィルタの安定性に関する情報であり得る。従って、もしこの情報が、前のフレームと現在の（有効な）フレームとの間でそのフィルタが安定していることを示すならば、欠落したサンプルの第２のセットを隠蔽するステップは、有効フレームの線形予測フィルタを使用する。反対の場合において、過去から生じるフィルタが使用される。
【００６４】
遷移モジュールＴＲＡＮＳによる遷移のステップ２９が実行される。このモジュールは、第１のセットと第２のセットとの間の穏やかな遷移を獲得するために、まだサウンドカード上で再生されていないステップ２３において生成されたサンプルの第１のセットと、ステップ２５において生成されたサンプルの第２のセットとを考慮する。一実施例において、この遷移ステップは、消去されたフレームの欠落したサンプルを獲得するために、第１のセットにおいて推定された信号の重みを次第に減少させ、第２のセットにおいて推定された信号の重みを次第に増加させることから構成される、クロスフェーディング（crossfading）ステップまたは重複部分付加ステップである。
【００６５】
例えば、このクロスフェーディングステップは、フレームＮにおける保存された推定された信号の全てのサンプルと１から０に次第に減少する重み関数との乗算、及び、この加重された信号と、保存された信号の重み関数に対して補足的である重み関数と乗算された、フレームＮ＋１における推定された信号のサンプルとの加算に対応する。補足的な重み関数は、前の重み関数による１の引き算、すなわち（１−前の重み関数）を実行することによって獲得される関数を意味すると理解される。
【００６６】
この実施例の変形において、このクロスフェーディングステップは、まさしく保存された信号の一部（少なくとも１つのサンプル）に実行される。
【００６７】
別の実施例において、この遷移ステップは、線形予測合成フィルタリングによって保証される。この場合、遷移点における合成フィルタのメモリは、第１の隠蔽ステップにおいて保存される。第２の隠蔽ステップの間に、受信された情報に応じて励振が決定される。その合成は、一方では獲得された励振を使用することによって、他方では保存された合成フィルタメモリを使用することによって、遷移点に基づいて実行される。
【００６８】
同じ時間期間において、有効フレームは、従って、ステップ２６において、逆多重化されると共に、通常は、ステップ２７において、復号化され、そして復号化された信号は、ステップ２８において、バッファメモリＭＥＭに保存される。遷移モジュールＴＲＡＮＳから生じる信号は、フレームＮ＋１の復号化された信号と一緒に、フレームＮ＋１の復号器出力としてサウンドカード３０に送信される。
【００６９】
サウンドカード３０によって受信された信号は、ラウドスピーカータイプ３１の再生手段によって再生されることを意図している。
【００７０】
本発明による方法の一実施例において、サンプルの第１のセット、及びサンプルの第２のセットは、欠落したフレームのサンプルのセットである。各時間期間において、消去されたフレームに対応する信号が生成され、従って、欠落したフレームのサンプルを獲得するために、クロスフェーディングが、消去されたフレームの後半（ハーフフレーム：half-frame）に対応する２つの信号の一部に対して実行される。この実施例は、全てのフレームで機能する習慣的なエラー隠蔽機構を更に容易に使用するという利点を有する。
【００７１】
別の実施例では、消去されたフレームに対応する時間期間に、隠蔽ステップは、欠落したフレームの全サンプルを生成し（これらのサンプルは、次のフレームが同様に消去されるならば必要になる）、一方、有効フレームの復号化に対応する時間期間に、隠蔽ステップは、サンプルの第２の部分、例えば欠落したフレームのサンプルの後半だけを生成する。重複部分付加ステップは、欠落したフレームのサンプルのこの後半に対する遷移を保証するために実行される。
【００７２】
この別の実施例において、有効フレームに対応する時間期間に欠落したフレームに関して生成されたサンプルの数は、上述の第１の実施例の場合よりも重要ではない。この時間期間の復号化の複雑度が、従って減らされる。
【００７３】
実際には、複雑度の最も悪い状態はこの時間期間になる。実際には、この時間期間において、全く同じ時に、有効フレームの復号化が実行されるが、しかし更にサンプルの第２セットを隠蔽するステップも実行される。生成されるべきサンプルの数を減少させることによって、その結果ＤＳＰ（Digital Signal Processor）タイプのプロセッサの寸法を決定するように、複雑度の最も悪い状態は縮小される。
【００７４】
本発明の第２の実施例において、しかしながら平均の複雑度を増加させることなく、その上更に複雑度の最も悪い状態を縮小することを可能にする複雑度の分散が実行される。
【００７５】
従って、図３を参照すると、復号器で受信されたフレームＮが消去される場合の、本発明による方法の第２の実施例が例証される。
【００７６】
この例において、サンプルの第２のセットを隠蔽するステップは、２つのステップに分割される。欠落したサンプルを全く生成しないと共に、有効フレームから生じる情報を使用しない、準備の第１のステップＥ１は、前の時間期間に実行される。欠落したサンプルを生成すると共に、有効フレームから生じる情報を使用する、第２のステップＥ２は、有効フレームに対応する時間期間に実行される。
【００７７】
従って、復号器において受信されたフレームＮ−１に関して、図２を参照して説明された操作と同じ操作、すなわち逆多重化の操作２０、通常の復号化の操作２１、及び記憶の操作２２が実行される。
【００７８】
消去されたフレームＮに対応する時間期間において、参照符号３２を付与された準備ステップＥ１が実行される。この準備ステップは、例えば、前のフレームのＬＴＰ遅延の値を使用して、励振の高調波部分を獲得するステップ、及びＣＥＬＰ復号化構造における励振の任意の部分を獲得するステップである。
【００７９】
この準備ステップは、メモリＭＥＭに保存された前のフレームのパラメータを使用する。消去されたフレームの分類情報または消去されたフレームのスペクトル包絡線に関する情報を使用することは、このステップにとって有益ではない。
【００８０】
消去されたフレームに対応する同じこの時間期間において、図２を参照して説明されたようなサンプルの第１のセットを隠蔽するステップ２３が、更に実行される。そこから生じる推定された信号は、ステップ２４において、メモリＭＥＭに保存される。少なくとも、この保存された推定された信号の一部は、保存された状態を維持するフレームＮ−１の復号化された信号と一緒に、フレームＮの復号器出力としてサウンドカード３０に送信される。バッファメモリに残存する推定された信号は、次のフレームの復号化の後にサウンドカード３０に送信されるように、保持される。
【００８１】
消去されたフレームＮに対応する欠落したサンプルの第２のセットの推定を含む、参照符号３３を付与された隠蔽のステップＥ２は、復号器において受信されたフレームＮ＋１に対応する時間期間に実行される。このステップは、有効フレームＮ＋１に含まれると共にフレームＮに関係する情報を考慮することを含む。
【００８２】
この特定の実施例において、隠蔽ステップは、その場合に、励振の２つの部分に関連付けられた利得の計算、及び、任意に、高調波励振の位相の修正に対応する。最初の有効フレームにおいて受信された分類情報に応じて、励振の２つの部分のそれぞれの利得は適応させられる。従って、例えば、消去されたフレームの前に受信された最後の有効フレームの分類に関する情報、及び受信された分類情報に応じて、隠蔽ステップは、フレームのクラスを最もよく表すために、励振及び関連する利得の選択を適応させる。これにおいて、隠蔽ステップの間に生成された信号の品質は、受信された情報から利益を得ることによって向上する。
【００８３】
例えば、もしその情報がフレームＮは有声の信号フレームであるというものならば、ステップＥ２は、任意の励振よりむしろ準備ステップＥ１において獲得された高調波励振を選ぶと共に、無声の信号フレームに関して、逆もまた同様である。
【００８４】
その情報が過渡のフレームＮを示す場合において、ステップＥ２は、過渡の状態（有声から無声または無声から有声）の正確な分類に応じて欠落したサンプルを生成することになる。
【００８５】
図２を参照して説明される重複部分付加またはクロスフェーディングステップ２９は、従って、ステップ２３において生成されたサンプルの第１のセットと、ステップ３３において生成されたサンプルの第２のセットとの間で実行される。
【００８６】
有効フレームＮ＋１に対応する時間期間の間、フレームＮ＋１は、逆多重化モジュールＤＥＭＵＸによって処理され、図２を参照して以前に説明されたように、ステップ２７において復号化され、そしてステップ２８において保存される。クロスフェーディングステップ２９によって獲得された推定された信号及びフレームＮ＋１の復号化された信号は、フレームＮ＋１の復号器出力としてサウンドカード３０に一緒に送信される。
【００８７】
図４ａ及び図４ｂは、この方法の実施、及びＣＥＬＰタイプの復号化と、仏国特許出願番号ＦＲ ０７６０２５８号明細書において説明されたような窓の形式で表された低遅延窓を使用する変換符号化との間の同期化を例証する。
【００８８】
この階層型復号化に照らして、図４ａは、ＣＥＬＰフレームＣ０〜Ｃ５の階層型符号化、及びこれらのフレームに適用された低遅延変換Ｍ１〜Ｍ５を例証する。
【００８９】
対応する復号器へのこれらのフレームの伝送に基づいて、ハッチングされたフレームＣ３及びＣ４が消去される。
【００９０】
図４ｂは、フレームＣ０〜Ｃ５の復号化を例証する。ライン４０は、復号器において受信された信号を例証し、ライン４１は、第１の復号化ステージにおけるＣＥＬＰ合成を例証し、ライン４２は、低遅延（ＭＤＣＴ）変換を使用した全体の合成を例証する。
【００９１】
この例において、２つの復号化ステージの間の時間ずれがフレームより小さいと共に、ここでは、簡単化の目的で、フレームの半分の時間ずれで表されるということが、明らかに理解される。
【００９２】
従って、復号器のフレームＯ１（ライン４２）を復号化するために、前のフレームのＣＥＬＰ合成Ｃ０及び変換Ｍ０の一部が、現在のフレームのＣＥＬＰ合成Ｃ１及び変換Ｍ１の一部と同様に、使用される。
【００９３】
同じことがフレームＯ２に関して成立し、それは、フレーム１のＣＥＬＰ合成（Ｃ１）及び変換Ｍ１の一部、そしてフレーム２のＣＥＬＰ合成（Ｃ２）及び変換Ｍ２の一部を使用する。
【００９４】
最初の消去されたフレーム（Ｃ３＋Ｍ３）の検出に基づいて、その復号器は、全体の合成信号（Ｏ３）を組み立てるために、前のフレーム２のＣＥＬＰ合成（Ｃ２）を使用する。同様に、エラー隠蔽アルゴリズムに基づいて、フレーム３のＣＥＬＰ合成（Ｃ３）に対応する信号を生成することが必要である。
【００９５】
この再生された信号は、図４ｂにおいてＦＥＣ−Ｃ３と名前が付けられている。復号器Ｏ３からの出力信号は、従って、信号Ｃ２の後半と推定された信号ＦＥＣ−Ｃ３の前半とから構成される。
【００９６】
２番目のエラーのあるフレームＣ４の間に、欠落したフレームＣ４に対応するサンプルを生成するために、フレームＣ４に関する隠蔽ステップが実行される。ＦＥＣ１−Ｃ４と表示されたサンプルの第１のセットが、従って、欠落したフレームＣ４に関して獲得される。
【００９７】
このように、復号器からのフレーム４の出力Ｏ４は、Ｃ３に関して推定されたサンプル（ＦＥＣ−Ｃ３）の一部、及びＣ４に関して推定されたサンプルの第１のセット（ＦＥＣ１−Ｃ４）の一部を用いて組み立てられる。
【００９８】
最初の有効フレーム（Ｃ５＋Ｍ５）の受信の間に、フレームＣ４に関するサンプルの第２のセットを隠蔽するステップが実行される。このステップは、有効フレームＣ５に存在する、フレームＣ４に関する情報Ｉ５を使用する。サンプルのこの第２のセットは、ＦＥＣ２−Ｃ４という参照符号が付与されている。
【００９９】
消去されたフレームＣ４の後半の欠落したサンプルＦＥＣ−Ｃ４を獲得するために、サンプルの第１のセットＦＥＣ１−Ｃ４とサンプルの第２のセットＦＥＣ２−Ｃ４との間の遷移ステップが、重複部分付加またはクロスフェーディングによって、実行される。
【０１００】
復号器からのフレーム５の出力Ｏ５は、クロスフェーディングステップから生じるサンプルの一部（ＦＥＣ−Ｃ４）、及び有効フレームＣ５に関して復号化されたサンプルの一部を用いて組み立てられる。
【０１０１】
この実施例の変形において、フレームＣ４に関するサンプルの第２のセットを隠蔽するステップの間に、複雑度を減少させるために、欠落したサンプルＦＥＣ２−Ｃ４の後半のみが生成される。クロスフェーディングステップは、この後半に対して実行される。
【０１０２】
本発明は、ここで、コア復号化がＣＥＬＰタイプの復号化である代表的な実施例によって説明された。このコア復号化は、他の種類の復号化であり得る。例えば、それは（例えばＧ．７２２の標準化された符号器／復号器のような）ＡＤＰＣＭタイプの復号器と交換され得る。この実施例において、ＣＥＬＰ復号化のためのものと異なり、２つのフレームの間の連続性は、線形予測合成フィルタリング（ＬＰＣ）によって必ずしも保証されるとは限らない。従って、１つ以上の消去されたフレームの後の最初の有効フレームの受信の際に、その方法は、消去されたフレームを推定する信号の延長のステップと、最初の有効フレームの少なくとも一部の信号と推定信号のこの延長部分の信号との間の重複部分付加のステップとを更に含む。
【０１０３】
図５を参照して、変換符号化ステージを有する代表的な階層型符号器が説明される。
【０１０４】
符号器の入力信号Ｓは、高域通過フィルタＨＰ５０によってフィルタ処理される。第１の符号化ステージにおいて、このフィルタ処理された信号は、その後ＡＣＥＬＰ符号化方式によって符号化されるように、モジュール５１により、ＡＣＥＬＰ（Algebraic Code Excited Linear Prediction）符号器の周波数にアンダーサンプリング（undersampling）される。この符号化ステージから生じる信号は、その後多重化モジュール５６において多重化される。前のフレームに関する情報アイテム（ｉｎｆ．）が、更に、２進信号列Ｔを形成するために、多重化モジュールに送信される。
【０１０５】
ＡＣＥＬＰ符号化から生じる信号は、更に、モジュール５３によって、原信号に対応するサンプリング周波数でオーバーサンプリングされる。モジュール５５においてＭＤＣＴ変換が実行される第２の符号化ステージに入力するために、このオーバーサンプリングされた信号は、符号５４において、フィルタ処理された信号から減算される。その信号は、その後モジュール５７において量子化されると共に、２進信号列Ｔを形成するために、多重化モジュールＭＵＸによって多重化される。
【０１０６】
図６を参照して、本発明による復号器が説明される。それは、入って来る２進信号列Ｔを処理することができる逆多重化モジュール６０を備える。第１のＡＣＥＬＰ復号化ステージ６１が実行される。このように復号化された信号は、モジュール６２により、信号の周波数でオーバーサンプリングされる。それは、その後ＭＤＣＴ変換モジュール６３によって処理される。ここで使用される変換は、２０００年２月の“the 108th AES convention”において刊行された“Real-Time Implementation of the MPEG-4 Low-Delay Advanced Audio Coding Algorithm (AAC-LD) on Motorola's DSP56300”に提示された、“J. Hilpert”等による論文“Low-Overlap”において説明されたような、あるいは、さもなければ仏国特許出願番号ＦＲ ０７６０２５８号明細書において説明されたような低遅延変換である。
【０１０７】
第１のＡＣＥＬＰ復号化ステージと変換のステージとの間の時間ずれは、従ってフレームの半分（半フレーム）である。
【０１０８】
逆多重化モジュールの出力において、その信号は、第２の復号化ステージ内で、モジュール６８において逆量子化されると共に、符号６７において変換から生じる信号に加算される。その後、符号６４において、逆変換が適用される。そこから生じる信号は、その後モジュール６２から生じる信号を使用して符号６５により後処理（ＰＦ）されて、次に、復号器からの出力信号Ｓｓを供給する高域通過フィルタＨＰにより符号６６においてフィルタ処理される。
【０１０９】
その復号器は、消去されたフレーム情報アイテムｂｆｉ．を逆多重化モジュールから受信する伝送エラー隠蔽装置７０を備える。この装置は、有効フレームの復号化の間に、フレーム損失の隠蔽に関する情報ｉｎｆ．を受信する、本発明による隠蔽モジュール７１を備える。
【０１１０】
このモジュールは、第１の時間期間に、消去されたフレームのサンプルの第１のセットの隠蔽を実行し、そして有効フレームの復号化に対応する時間期間に、消去されたフレームのサンプルの第２のセットの隠蔽を実行する。
【０１１１】
装置７０は、更に、消去されたフレームのサンプルの少なくとも一部を提供するために、サンプルの第１のセットとサンプルの第２のセットとの間の遷移を実行することができる遷移モジュール７２（ＴＲＡＮＳ）を備える。
【０１１２】
階層型復号器のコアからの出力信号は、ＡＣＥＬＰ復号器６１から生じる信号か、または隠蔽モジュール７０から生じる信号のいずれかである。２つの信号の間の連続性は、それらがＬＰＣ線形予測フィルタの合成メモリを共有するという事実によって保証される。
【０１１３】
本発明による伝送エラー隠蔽装置７０は、例えば図７において例証されたようなものである。ハードウェアの観点で、本発明の意義の範囲内で、この装置は、典型的に、復号化されて時間ずれと共に送信されるフレームを格納するための手段である前述のバッファメモリＭＥＭと同様に、記憶装置及び／または作業メモリを含むメモリブロックＢＭと連携するプロセッサμＰを備える。この装置は、デジタル信号Ｓｅの連続するフレームを入力として受信すると共に、消去されたフレームのサンプルを含む合成された信号Ｓｓを供給する。
【０１１４】
メモリブロックＢＭは、装置のプロセッサμＰによって実行されるときに本発明による方法のステップを実施するための、そして特に、第１の時間期間に実行される、消去されたフレームに関する欠落したサンプルの第１のセットを隠蔽するステップと、第２の時間期間に実行される、前記有効フレームの情報を考慮しながら消去されたフレームに関する欠落したサンプルの第２のセットを隠蔽するステップと、欠落したフレーム（の少なくとも一部）を獲得するための、前記欠落したサンプルの第１のセットと前記欠落したサンプルの第２のセットとの間の重複部分付加のステップとを実行するための、コード命令を備えるコンピュータプログラムを含むことができる。
【０１１５】
図２及び図３は、そのようなコンピュータプログラムのアルゴリズムを例証し得る。
【０１１６】
本発明によるこの隠蔽装置は、デジタル信号復号器から独立しているか、またはデジタル信号復号器に統合されている。
【符号の説明】
【０１１７】
３０ サウンドカード
３１ ラウドスピーカータイプ
５０ 高域通過フィルタＨＰ
５１ アンダーサンプリングモジュール
５２ ＡＣＥＬＰ符号化ステージ（ＡＣＥＬＰ符号器）
５３ オーバーサンプリングモジュール
５４ 減算モジュール
５５ ＭＤＣＴ変換モジュール
５６ 多重化モジュールＭＵＸ
５７ 量子化モジュール
６０ 逆多重化モジュールＤＥＭＵＸ
６１ ＡＣＥＬＰ復号化ステージ（ＡＣＥＬＰ復号器）
６２ オーバーサンプリングモジュール
６３ ＭＤＣＴ変換モジュール
６４ ＭＤＣＴ逆変換モジュール
６５ 後処理モジュールＰＦ
６６ 高域通過フィルタＨＰ
６７ 加算モジュール
６８ 逆量子化モジュール
７０ 伝送エラー隠蔽装置
７１ 隠蔽モジュール（ＤＥ−ＤＩＳＳ）
７２ 遷移モジュール（ＴＲＡＮＳ）
ＢＭ メモリブロック
μＰ プロセッサ
【特許請求の範囲】
【請求項１】
異なる時間期間と関連付けられている複数の連続するフレームに分割されたデジタル信号における伝送エラーを隠蔽する方法であって、
受信する際に、前記信号が、消去されたフレーム、及びフレーム損失の隠蔽に関連する情報（ｉｎｆ．）を含む有効フレームを含み得ると共に、
前記方法は、それが、コア復号化を用いた階層型復号化の間、及びコア復号化に対するフレーム未満の時間遅れを付加する低遅延窓を用いた変換復号化の間に実行されることを特徴とし、
有効フレームの出現以前に消去された少なくとも最後のフレームを交換するために、前記方法が、
−第１の時間期間に実行される、消去されたフレームに関する欠落したサンプルの第１のセットを隠蔽するステップ（２３）と、
−第２の時間期間に実行される、前記有効フレームの情報を考慮しながら消去されたフレームに関する欠落したサンプルの第２のセットを隠蔽するステップ（２５）と、
−欠落したフレームの少なくとも一部を獲得するための、前記欠落したサンプルの第１のセットと前記欠落したサンプルの第２のセットとの間の遷移のステップ（２９）とを含む
ことを特徴とする方法。
【請求項２】
前記欠落したサンプルの第１のセットと前記欠落したサンプルの第２のセットとの間の遷移の前記ステップが、重複部分付加ステップによって保証される
ことを特徴とする請求項１に記載の方法。
【請求項３】
前記欠落したサンプルの第１のセットと前記欠落したサンプルの第２のセットとの間の遷移の前記ステップが、前記欠落したサンプルの第２のセットを生成するために、遷移点において、前記第１の隠蔽ステップの間に保存されたフィルタメモリを用いる線形予測合成フィルタリングステップによって保証される
ことを特徴とする請求項１に記載の方法。
【請求項４】
前記サンプルの第１のセットが、前記消去されたフレームの前記欠落したサンプルの全体であり、
前記サンプルの第２のセットが、前記消去されたフレームの前記欠落したサンプルの一部である
ことを特徴とする請求項１に記載の方法。
【請求項５】
有効フレームのフレーム損失の隠蔽に関連する前記情報が、前記信号の分類に関する情報、及び／または前記信号のスペクトル包絡線に関する情報である
ことを特徴とする請求項１に記載の方法。
【請求項６】
前記欠落したサンプルの第２のセットを隠蔽する前記ステップが、前記消去されたフレームに対応する前記信号に関する励振信号の高調波部分及び前記励振信号の任意の部分のそれぞれの利得を適応させるために、前記信号の分類についての情報項目を使用する
ことを特徴とする請求項１に記載の方法。
【請求項７】
前記第１の時間期間が、消去された前記最後のフレームに関連付けられると共に、前記第２の時間期間が、前記有効フレームに関連付けられ、
欠落したサンプルを全く生成しない、前記欠落したサンプルの第２のセットを隠蔽する前記ステップを準備するステップが、前記第１の時間期間に実行される
ことを特徴とする請求項１に記載の方法。
【請求項８】
前記準備するステップが、前記消去されたフレームに対応する前記信号に関する前記励振信号の高調波部分を生成するステップと、前記消去されたフレームに対応する前記信号に関する前記励振信号の任意の部分を生成するステップとを含む
ことを特徴とする請求項７に記載の方法。
【請求項９】
異なる時間期間と関連付けられている複数の連続するフレームに分割されたデジタル信号における伝送エラーを隠蔽するための装置であって、
受信する際に、前記信号が、消去されたフレーム、及びフレーム損失の隠蔽に関連する情報（ｉｎｆ．）を含む有効フレームを含み得ると共に、
前記装置は、それが、コア復号化を用いた階層型復号化の間、及びコア復号化に対するフレーム未満の時間遅れを付加する低遅延窓を用いた変換復号化の間に介在することを特徴とし、
前記装置が、
−第１の時間期間の間に、有効フレームの出現以前に消去された少なくとも最後のフレームに関する欠落したサンプルの第１のセットを生成することができると共に、第２の時間期間の間に、前記有効フレームの情報を考慮しながら前記消去されたフレームに関する欠落したサンプルの第２のセットを生成することができる隠蔽モジュール（ＤＥ−ＤＩＳＳ）と、
−欠落したフレームの少なくとも一部を獲得するために、前記欠落したサンプルの第１のセットと前記欠落したサンプルの第２のセットとの間の遷移を実行することができる遷移モジュール（ＴＲＡＮＳ）とを備える
ことを特徴とする装置。
【請求項１０】
請求項９に記載の伝送エラー隠蔽装置を備える
ことを特徴とするデジタル信号復号器。
【請求項１１】
伝送エラー隠蔽装置のメモリに格納されることを目的としているコンピュータプログラムであって、
前記伝送エラー隠蔽装置のプロセッサによって実行された場合に、請求項１から請求項８のいずれか一項に記載の方法のステップを実施するためのコード命令を備える
ことを特徴とするコンピュータプログラム。
【請求項１】
異なる時間期間と関連付けられている複数の連続するフレームに分割されたデジタル信号における伝送エラーを隠蔽する方法であって、
受信する際に、前記信号が、消去されたフレーム、及びフレーム損失の隠蔽に関連する情報（ｉｎｆ．）を含む有効フレームを含み得ると共に、
前記方法は、それが、コア復号化を用いた階層型復号化の間、及びコア復号化に対するフレーム未満の時間遅れを付加する低遅延窓を用いた変換復号化の間に実行されることを特徴とし、
有効フレームの出現以前に消去された少なくとも最後のフレームを交換するために、前記方法が、
−第１の時間期間に実行される、消去されたフレームに関する欠落したサンプルの第１のセットを隠蔽するステップ（２３）と、
−第２の時間期間に実行される、前記有効フレームの情報を考慮しながら消去されたフレームに関する欠落したサンプルの第２のセットを隠蔽するステップ（２５）と、
−欠落したフレームの少なくとも一部を獲得するための、前記欠落したサンプルの第１のセットと前記欠落したサンプルの第２のセットとの間の遷移のステップ（２９）とを含む
ことを特徴とする方法。
【請求項２】
前記欠落したサンプルの第１のセットと前記欠落したサンプルの第２のセットとの間の遷移の前記ステップが、重複部分付加ステップによって保証される
ことを特徴とする請求項１に記載の方法。
【請求項３】
前記欠落したサンプルの第１のセットと前記欠落したサンプルの第２のセットとの間の遷移の前記ステップが、前記欠落したサンプルの第２のセットを生成するために、遷移点において、前記第１の隠蔽ステップの間に保存されたフィルタメモリを用いる線形予測合成フィルタリングステップによって保証される
ことを特徴とする請求項１に記載の方法。
【請求項４】
前記サンプルの第１のセットが、前記消去されたフレームの前記欠落したサンプルの全体であり、
前記サンプルの第２のセットが、前記消去されたフレームの前記欠落したサンプルの一部である
ことを特徴とする請求項１に記載の方法。
【請求項５】
有効フレームのフレーム損失の隠蔽に関連する前記情報が、前記信号の分類に関する情報、及び／または前記信号のスペクトル包絡線に関する情報である
ことを特徴とする請求項１に記載の方法。
【請求項６】
前記欠落したサンプルの第２のセットを隠蔽する前記ステップが、前記消去されたフレームに対応する前記信号に関する励振信号の高調波部分及び前記励振信号の任意の部分のそれぞれの利得を適応させるために、前記信号の分類についての情報項目を使用する
ことを特徴とする請求項１に記載の方法。
【請求項７】
前記第１の時間期間が、消去された前記最後のフレームに関連付けられると共に、前記第２の時間期間が、前記有効フレームに関連付けられ、
欠落したサンプルを全く生成しない、前記欠落したサンプルの第２のセットを隠蔽する前記ステップを準備するステップが、前記第１の時間期間に実行される
ことを特徴とする請求項１に記載の方法。
【請求項８】
前記準備するステップが、前記消去されたフレームに対応する前記信号に関する前記励振信号の高調波部分を生成するステップと、前記消去されたフレームに対応する前記信号に関する前記励振信号の任意の部分を生成するステップとを含む
ことを特徴とする請求項７に記載の方法。
【請求項９】
異なる時間期間と関連付けられている複数の連続するフレームに分割されたデジタル信号における伝送エラーを隠蔽するための装置であって、
受信する際に、前記信号が、消去されたフレーム、及びフレーム損失の隠蔽に関連する情報（ｉｎｆ．）を含む有効フレームを含み得ると共に、
前記装置は、それが、コア復号化を用いた階層型復号化の間、及びコア復号化に対するフレーム未満の時間遅れを付加する低遅延窓を用いた変換復号化の間に介在することを特徴とし、
前記装置が、
−第１の時間期間の間に、有効フレームの出現以前に消去された少なくとも最後のフレームに関する欠落したサンプルの第１のセットを生成することができると共に、第２の時間期間の間に、前記有効フレームの情報を考慮しながら前記消去されたフレームに関する欠落したサンプルの第２のセットを生成することができる隠蔽モジュール（ＤＥ−ＤＩＳＳ）と、
−欠落したフレームの少なくとも一部を獲得するために、前記欠落したサンプルの第１のセットと前記欠落したサンプルの第２のセットとの間の遷移を実行することができる遷移モジュール（ＴＲＡＮＳ）とを備える
ことを特徴とする装置。
【請求項１０】
請求項９に記載の伝送エラー隠蔽装置を備える
ことを特徴とするデジタル信号復号器。
【請求項１１】
伝送エラー隠蔽装置のメモリに格納されることを目的としているコンピュータプログラムであって、
前記伝送エラー隠蔽装置のプロセッサによって実行された場合に、請求項１から請求項８のいずれか一項に記載の方法のステップを実施するためのコード命令を備える
ことを特徴とするコンピュータプログラム。
【図１ａ】
【図１ｂ】
【図２】
【図３】
【図４ａ】
【図４ｂ】
【図５】
【図６】
【図７】
【図１ｂ】
【図２】
【図３】
【図４ａ】
【図４ｂ】
【図５】
【図６】
【図７】
【公表番号】特表２０１１−５１５７１２（Ｐ２０１１−５１５７１２Ａ）
【公表日】平成２３年５月１９日（２０１１．５．１９）
【国際特許分類】
【出願番号】特願２０１１−５０１２７４（Ｐ２０１１−５０１２７４）
【出願日】平成２１年３月２０日（２００９．３．２０）
【国際出願番号】ＰＣＴ／ＦＲ２００９／０５０４８９
【国際公開番号】ＷＯ２００９／１２５１１４
【国際公開日】平成２１年１０月１５日（２００９．１０．１５）
【出願人】（５９１０３４１５４）フランス・テレコム (290)
【公表日】平成２３年５月１９日（２０１１．５．１９）
【国際特許分類】
【出願日】平成２１年３月２０日（２００９．３．２０）
【国際出願番号】ＰＣＴ／ＦＲ２００９／０５０４８９
【国際公開番号】ＷＯ２００９／１２５１１４
【国際公開日】平成２１年１０月１５日（２００９．１０．１５）
【出願人】（５９１０３４１５４）フランス・テレコム (290)
[ Back to top ]