修正離散コサイン変換ドメインのオーディオフレーム損失補償器及び補償方法
本発明は修正離散コサイン変換ドメインのオーディオフレーム損失補償方法を提供し、現在損失フレームが第pフレームである際に、予測待ちの周波数点集合を取得し、該集合におけるそれぞれの周波数点に対して第p-1フレームの前の複数のフレームが修正離散コサイン変換−修正離散サイン変換MDCT-MDSTドメインでの位相と振幅を用いて予測し、第pフレームの位相と振幅を取り得て、予測して得た位相と振幅を用いて第pフレームがそれぞれの周波数点でのMDCT係数を取り得るステップaと、1つのフレーム内に該集合の以外の周波数点に対して、第pフレームの前の複数のフレームのMDCT係数値を用いて第pフレームが該周波数点でのMDCT係数値を計算するステップbと、第pフレームのすべての周波数点でのMDCT係数に修正離散コサイン逆変換IMDCTを行い、第pフレームの時間領域信号を取り得るステップcを含む。本発明はフレーム損失補償器をさらに提供する。本発明は無遅延、計算量メモリ量が小さく、実現しやすいメリットを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はオーディオ復号分野に関し、具体的に無遅延、低複雑さのMDCT (Modified Discrete Cosine Transform、修正離散コサイン変換)ドメインのオーディオフレーム損失補償器及び補償方法に関する。
【背景技術】
【０００２】
ネットワーク通信において、パケット技術が十分に幅広くアプリケーションされ、各種の形式の情報、例えば音声或いはオーディオ等のデータは符号化された後、パケット技術を採用してネットワークにおいて伝送し、例えばVoIP（ネットワーク電話）等である。情報送信側の送信容量が制限され、または予定遅延時間内にパケット情報フレームが受信側バッファエリアに到達しなく、またはネットワークの輻輳等による音声オーディオフレーム情報が損失し、復号側に合成音声オーディオの品質が急激に低下することを引き起こすため、いくつかの技術を採用してフレーム損失のデータを補償する必要がある。フレーム損失補償器はフレーム損失による音声オーディオ品質の下降の現象を軽減する技術である。従来、フレーム損失の補償の技術が多いが、これらのフレーム損失の補償技術における大部分が音声のフレーム損失補償だけに適用し、オーディオのフレーム損失補償に対して関連の技術が少ない。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
従来のオーディオフレーム損失補償方法は最も簡単であるのは前のフレームのMDCT信号を繰り返し或いはミュート静音の代替の方法を採用し、該方法は簡単で且つ遅延がないが、補償効果が著しくなく、他の補償方式、例えばGAPES（ギャップデータ振幅位相の推定技術）はMDCT係数をDSTFT（Discrete Short-Time Fourier Transform、離散短時間フーリエ変換）係数に転化し、該方法の演算の複雑さが高く、メモリの消耗が多く、3GPPはノイズシェーピング挿入技術を採用してオーディオフレーム損失補償を行い、該方法の擬似雑音信号の補償効果がよく、マルチ高調波オーディオ信号への補償効果が極めて悪い。
【０００４】
以上のように、開示されたオーディオフレーム損失補償技術の大部分の効果が著しくなくまたは演算の複雑さが高く且つ遅延時間が長い。
【０００５】
本発明は補償効果がよく、複雑さが低く且つ無遅延であるMDCTドメインオーディオフレーム損失補償器及び補償方法を提供することを解決しようとする技術問題とする。
【課題を解決するための手段】
【０００６】
上述問題を解決するために、本発明は修正離散コサイン変換ドメインのオーディオフレーム損失補償方法であって、
現在損失フレームが第pフレームである際に、予測待ちの周波数点集合を取得し、前記予測待ちの周波数点集合におけるそれぞれの周波数点に対して第p-1フレームの前の複数のフレームが修正離散コサイン変換−修正離散サイン変換MDCT-MDSTドメインでの位相と振幅を用いて予測し、第pフレームがMDCT-MDSTドメインでの位相と振幅を取り得て、予測して得た前記第pフレームがMDCT-MDSTドメインでの位相と振幅を用いて第pフレームが前記それぞれの周波数点での修正離散コサイン変換ドメインMDCT係数を取り得て、その中、前記第p-1フレームが第pフレームの前の1つのフレームであるステップaと、
1つのフレーム内における前記予測待ちの周波数点集合の以外の周波数点に対して、第pフレームの前の複数のフレームのMDCT係数値を用いて第pフレームが該周波数点でのMDCT係数値を計算するステップbと、
第pフレームのすべての周波数点でのMDCT係数を修正離散コサイン逆変換IMDCTを行い、第pフレームの時間領域信号を取り得るステップcとを含む。
【０００７】
前記の方法はさらに、前記ステップaの前に、現在フレームが損失することを検出する際に、現在損失フレームのタイプを判断し、現在損失フレームがマルチ高調波フレームであると、ステップaを実行することをさらに含む特徴を備えてもよい。
【０００８】
前記の方法はさらに、前記該現在損失フレームのタイプを判断するステップは、
現在損失フレームの前Kのフレームの毎フレームのスペクトラムフラットネスを計算し、該Kフレームにおいて、スペクトラムフラットネスがあるしきい値より小さいフレームの個数はK0より小さいまたはそれに等しいと、現在損失フレームが非マルチ高調波フレームであり、スペクトラムフラットネスが該しきい値より小さいフレームの個数はK0より大きいと、現在損失フレームがマルチ高調波フレームであり、その中、K0<=K、K0、Kが自然数であることを含む特徴を備えてもよい。
【０００９】
前記の方法はさらに、前記ステップaにおいて、予測待ちの周波数点集合を取得する際に、第pフレームの前の複数のフレームのMDCT-MDSTドメイン複素数信号及び/またはMDCT係数を用いて予測待ちの周波数点集合SCを取得し、或いは、直接に1つのフレーム内のすべての周波数点を前記予測待ちの周波数点集合SCに入れることを含む特徴を備えてもよい。
【００１０】
前記の方法はさらに、第pフレームの前の複数のフレームのMDCT-MDSTドメイン複素数信号及び/またはMDCT係数を用いて予測待ちの周波数点集合SCを取得することは、具体的に、
前記第pフレームの前の複数のフレームをL1フレームとし、前記L1フレームにおいて各周波数点のパワーを計算し、該L1フレームにおいて各フレームのピーク周波数点からなるL1個の集合S1,…,SL1を取得し、各集合における対応の周波数点数がN1,…,NL1であることと、
前記L1個の集合S1,…,SL1から1つの集合Siを選択し、Siにおけるそれぞれのピーク周波数点 mjに対して、j=1…Ni、mj, mj±1,…,mj±kにおいて同時に他のすべてのピーク周波数点集合に属する周波数点が存在するかどうかを判断し、存在すると、mj, mj±1,…,mj±kをいずれも周波数点集合SCに入れることと、
Siにおけるそれぞれのピーク周波数点mjに対して、j=1…Ni、mj, mj±1,…,mj±kにおいて同時に他のすべてのピーク周波数点集合に属する周波数点がないと、直接に1つのフレーム内のすべての周波数点をいずれも周波数点集合SCに入れることとを含み、
その中、前記kが非負の整数である特徴を備えてもよい。
【００１１】
前記の方法はさらに、前記ピーク周波数点とはパワーがそれと隣接する2つの周波数点でのパワーより大きい周波数点である特徴を備えてもよい。
【００１２】
前記の方法はさらに、前記L1フレームには第p-1フレームを含む際に、第p-1フレームにおける各周波数点のパワーは次のように計算し、
【００１３】
【数１】
、その中、
【数２】
は第p-1フレームが周波数点mでのパワーであり、cp-1(m)は第p-1フレームが周波数点mでのMDCT係数であり、cp-1(m+1)は第p-1フレームが周波数点m＋1でのMDCT係数であり、cp-1(m-1)は第p-1フレームが周波数点m−1でのMDCT係数である特徴を備えてもよい。
【００１４】
前記の方法はさらに、前記ステップaにおいて、前記の第pフレームがMDCT-MDSTドメインでの位相と振幅を予測して得るステップは、予測待ちの周波数点に対して、第p-1フレームの前のL2フレームが該周波数点のMDCT-MDSTドメインでの位相を用いて線形外挿または線形フィットを行い、第pフレームが該周波数点のMDCT-MDSTドメインでの位相を取り得ることと、該L2フレームにおいて1つのフレームが該周波数点でのMDCT-MDSTドメインの振幅から第pフレームが該周波数点でのMDCT-MDSTドメインの振幅を取り得て、その中、L2>1であることを含む特徴を備えてもよい。
【００１５】
前記の方法はさらに、L2＝2である際に、第t1フレーム、第t2フレームでこのフレームをそれぞれ表し、次のように第pフレームのMDCT-MDSTドメインの位相を予測し、予測待ちの周波数点mに対して、
【数３】
、前記
【数４】
は第pフレームが周波数点mのMDCT-MDSTドメインでの位相の予測値であり、前記
【数５】
は第t1フレームが周波数点mのMDCT-MDSTドメインでの位相であり、前記
【数６】
は第t2フレームが周波数点mのMDCT-MDSTドメインでの位相である特徴を備えてもよい。
【００１６】
前記の方法はさらに、L2>2である際に、予測待ちの周波数点に対して、選択した該L2フレームが該周波数点のMDCT-MDSTドメインでの位相に線形フィットを行い、第pフレームが該周波数点のMDCT-MDSTドメインでの位相を取り得る特徴を備えてもよい。
【００１７】
前記の方法はさらに、前記ステップaにおいて、第p-2フレーム、第p-3フレームのMDCT-MDSTドメイン複素数信号と第p-1フレームのMDCT係数を用いて予測待ちの周波数点集合を取得し、該周波数点集合におけるそれぞれの周波数点に対して、第p-2フレーム、第p-3フレームがMDCT-MDSTドメインでの位相と振幅を用いて予測し、第pフレームがMDCT-MDSTドメインでの位相と振幅を取り得る特徴を備えてもよい。
【００１８】
前記の方法はさらに、前記ステップbにおいて、第p-1フレームのMDCT係数値の半分を採用して第pフレームのMDCT係数値とする特徴を備えてもよい。
【００１９】
本発明はさらに、修正離散コサイン変換ドメインのオーディオフレーム損失補償器であって、前記フレーム損失補償器はマルチ高調波フレーム損失補償モジュール、第2補償モジュール及びIMDCTモジュールを備え、その中、
前記マルチ高調波フレーム損失補償モジュールは、現在損失フレームが第pフレームである際に、予測待ちの周波数点集合を取得し、前記予測待ちの周波数点集合におけるそれぞれの周波数点に対して、第p-1フレームの前の複数のフレームがMDCT-MDSTドメインでの位相と振幅を用いて予測し、第pフレームがMDCT-MDSTドメインでの位相と振幅を取り得て、前記予測して得た第pフレームがMDCT-MDSTドメインでの位相と振幅を用いて第pフレームが前記それぞれの周波数点でのMDCT係数を取り得て、該MDCT係数を第2補償モジュールに送信し、前記第p-1フレームが第pフレームの前1つのフレームであるように設置され、
前記第2補償モジュールは、1つのフレーム内における前記予測待ちの周波数点集合の以外の周波数点に対して、第pフレームの前の複数のフレームのMDCT係数値を用いて第pフレームが該周波数点でのMDCT係数値を計算し、第pフレームのすべての周波数点でのMDCT係数をIMDCTモジュールに送信するように設置され、
前記IMDCTモジュールは、第pフレームのすべての周波数点でのMDCT係数をIMDCT変換を行い、第pフレームの時間領域信号を取り得るように設置される。
【００２０】
上述フレーム損失補償器はさらに、前記フレーム損失補償器はフレームタイプ検出モジュールをさらに含み、その中、
前記フレームタイプ検出モジュールは、損失フレームを検出する際に、現在損失フレームのタイプを判断し、マルチ高調波フレームであると、前記マルチ高調波フレーム損失補償モジュールを指示して補償するように設置される特徴を備えてもよい。
【００２１】
前記フレーム損失補償器は、前記フレームタイプ検出モジュールが、次のように現在損失フレームのタイプを判断し、現在損失フレームの前Kフレームの毎フレームのスペクトラムフラットネスを計算し、該Kフレームにおいて、スペクトラムフラットネスがあるしきい値より小さいフレームの個数はK0より小さいまたはそれと等しいと、現在損失フレームが非マルチ高調波フレームであり、スペクトラムフラットネスが該しきい値より小さいフレームの個数はK0より大きいと、現在損失フレームがマルチ高調波フレームであり、その中、K0<=K、K0、Kが自然数であるように設置される特徴を備えてもよい。
【００２２】
前記フレーム損失補償器は、前記マルチ高調波フレーム損失補償モジュールは周波数点集合生成ユニットを含み、前記マルチ高調波フレーム損失補償モジュールは、前記周波数点集合生成ユニットが第pフレームの前の複数のフレームのMDCT-MDSTドメイン複素数信号及び/またはMDCT係数を用いることによって予測待ちの周波数点集合SCを取得し、或いは、直接に1つのフレーム内のすべての周波数点を前記予測待ちの周波数点集合SCに入れるように設置される特徴を備えてもよい。
【００２３】
前記フレーム損失補償器は、
前記周波数点集合生成ユニットは、次のように第pフレームの前の複数のフレームのMDCT-MDSTドメイン複素数信号及び/またはMDCT係数を用いて予測待ちの周波数点集合SCを取得し、
前記第pフレームの前の複数のフレームをL1フレームとし、前記L1フレームにおいて各周波数点のパワーを計算し、該L1フレームにおいて各フレームのピーク周波数点からなるL1個の集合S1,…,SL1を取得し、各集合における対応の周波数点数がそれぞれN1,…,NL1であり、
前記L1個の集合S1,…,SL1から1つの集合Siを選択し、Siにおけるそれぞれのピーク周波数点mjに対して、j=1…Ni、mj, mj±1,…,mj±kにおいて同時に他のすべてのピーク周波数点集合に属する周波数点が存在するかどうかを判断し、存在すると、mj, mj±1,…,mj±kをいずれも周波数点集合SCに入れ、
Siにおけるそれぞれのピーク周波数点mjに対して、j=1…Ni、mj, mj±1,…,mj±kにおいて同時に他のすべてのピーク周波数点集合に属する周波数点がないと、直接に1つのフレーム内のすべての周波数点をいずれも周波数点集合SCに入れ、その中、kが非負の整数であるように設置される特徴を備えてもよい。
【００２４】
前記フレーム損失補償器は、前記ピーク周波数点とはパワーがそれと隣接する2つの周波数点でのパワーより大きい周波数点である特徴を備えてもよい。
【００２５】
前記フレーム損失補償器は、前記周波数点集合生成ユニットが、前記L1フレームには第p-1フレームを含む際に、第p-1フレームにおける各周波数点のパワーは次のように計算し、
【数７】
、その中、
【数８】
は第p-1フレームが周波数点mでのパワーであり、cp-1(m)は第p-1フレームが周波数点mでのMDCT係数であり、cp-1(m+1)は第p-1フレームが周波数点m＋1でのMDCT係数であり、cp-1(m-1)は第p-1フレームが周波数点m−1でのMDCT係数であるように設置される特徴を備えてもよい。
【００２６】
前記フレーム損失補償器は、
前記マルチ高調波フレーム損失補償モジュールは係数生成ユニットをさらに含み、前記マルチ高調波フレーム損失補償モジュールは、前記係数生成ユニットが第p-1フレームの前のL2フレームがMDCT-MDSTドメインでの位相と振幅を用いることによって予測し、第pフレームにおいて前記予測待ちの周波数点集合に属する各周波数点の位相と振幅を取り得て、予測して得た第pフレームの位相と振幅を用いて第pフレームが対応の前記それぞれの周波数点でのMDCT係数のMDCT係数を取り得て、該MDCT係数を第2補償モジュールに送信し、その中、L2>1であるように設置され、
前記係数生成ユニットは位相予測サブユニットと振幅予測サブユニットを含み、その中、
前記位相予測サブユニットは、予測待ちの周波数点に対して、選択した該L2フレームが該周波数点のMDCT-MDSTドメインでの位相を用いて線形外挿または線形フィットを行い、第pフレームが該周波数点のMDCT-MDSTドメインでの位相を取り得るように設置され、
前記振幅予測サブユニットは、該L2フレームにおける1つのフレームが該周波数点でのMDCT-MDSTドメインの振幅から第pフレームが該周波数点でのMDCT-MDSTドメインの振幅を取り得るように設置される特徴を備えてもよい。
【００２７】
前記フレーム損失補償器は、前記位相予測サブユニットが、L2＝2である際に、次のように第pフレームのMDCT-MDSTドメインの位相を予測し、予測待ちの周波数点mに対して、
【数９】
、その中、第t1フレーム、第t2フレームは第p-1フレームの前の2つのフレームをそれぞれ表し、前記
【数１０】
は第pフレームが周波数点mのMDCT-MDSTドメインでの位相の予測値であり、前記
【数１１】
は第t1フレームが周波数点mのMDCT-MDSTドメインでの位相であり、前記
【数１２】
は第t2フレームが周波数点mのMDCT-MDSTドメインでの位相であるように設置される特徴を備えてもよい。
【００２８】
前記フレーム損失補償器は、前記位相予測サブユニットが、L2>2である際に、次のように第pフレームのMDCT-MDSTドメインの位相を予測し、予測待ちの周波数点に対して、選択した該L2フレームが該周波数点のMDCT-MDSTドメインでの位相に線形フィットを行い、第pフレームが該周波数点のMDCT-MDSTドメインでの位相を取り得るように設置される特徴を備えてもよい。
【００２９】
前記フレーム損失補償器は、前記マルチ高調波フレーム損失補償モジュールが、第p-2フレーム、第p-3フレームのMDCT-MDSTドメイン複素数信号と第p-1フレームのMDCT係数を用いて予測待ちの周波数点集合を取得し、該周波数点集合におけるそれぞれの周波数点に対して、第p-2フレーム、第p-3フレームがMDCT-MDSTドメインでの位相と振幅予測を用いて第pフレームがMDCT-MDSTドメインでの位相と振幅を取り得るように設置される特徴を備えてもよい。
【００３０】
前記フレーム損失補償器は、前記第2補償モジュールが、第p-1フレームのMDCT係数値の半分を採用して第pフレームが前記予測待ちの周波数点集合の以外の周波数点のMDCT係数値とするように設置される特徴を備えてもよい。
【発明の効果】
【００３１】
本発明が提出するMDCTドメインオーディオフレーム損失補償器及び補償方法は、非マルチ高調波フレームに対して、現在損失フレーム的MDCT係数がその前の複数のフレームのMDCT係数値を用いて計算して得られ、マルチ高調波フレームに対して、それがMDCT-MDSTドメインでの特性を利用して現在損失フレームのMDCT係数を取り得る。従来技術に対して、本発明が無遅延、計算量メモリ量が小さく、実現しやすい等のメリットを有する。
【図面の簡単な説明】
【００３２】
【図１】本発明におけるフレーム順序模式図である。
【図２】本発明におけるMDCTドメインのオーディオフレーム損失補償方法のフローチャートである。
【図３】本発明におけるマルチ高調波/非マルチ高調波フレームの判断フローチャートである。
【図４】本発明におけるマルチ高調波フレームのフレーム損失補償方法のフローチャートである。
【図５】本発明の実施例1におけるマルチ高調波フレーム損失補償MDCT係数の計算方法のフローチャートである。
【図６】本発明におけるMDCTドメインのオーディオフレーム損失補償器ブロック図である。
【図７】本発明のほかの実施例におけるMDCTドメインのオーディオフレーム損失補償器のブロック図である。
【図８】本発明のまた他の実施例におけるMDCTドメインのオーディオフレーム損失補償器のブロック図である。
【発明を実施するための形態】
【００３３】
本発明は、高調波信号がMDCT-MDSTドメインでの位相が線形を呈する特徴を利用し、現在損失フレームの前の複数のフレームの情報を用いて予測し、現在損失フレームのMDCT-MDSTドメインの位相と振幅を取り得て、さらに、現在損失フレームのMDCT係数を取り得て、現在損失フレームのMDCT係数によって現在損失フレームの時間領域信号を取り得る主な思想とする。
【００３４】
本発明はMDCTドメインのオーディオフレーム損失補償方法を提案し、図2に示すように、以下のステップを含む。
【００３５】
ステップS1、復号側に現在フレームのデータパケットが損失することを発見すると、該現在フレームを現在損失フレームと称し、該現在損失フレームのタイプを判断し、現在損失フレームが非マルチ高調波フレームであると、ステップS2を実行し、ではないと、ステップS3を実行し、
その中、該現在損失フレームのタイプを判断するには現在損失フレームの前KのフレームのMDCT係数によって判断し、図3に示すように、
1a)現在損失フレームの前Kのフレームにおけるそれぞれのフレームに対して、該フレームのスペクトラムフラットネスを計算し、そのスペクトラムフラットネスが1つの予め設置したしきいより小さい際に、該フレームが主にマルチ高調波からなり、マルチ高調波定常状態信号フレームであると考えることと、
1b) 上記前Kのフレームにおいてマルチ高調波定常状態信号フレームの数目がK0フレームより小さいまたはそれと等しいと、現在損失フレームが非マルチ高調波フレームであり、ないと、マルチ高調波フレーム（例えば音楽フレーム）であると考え、その中、K0<=K 、K0、Kが予め設置された値であることを含む。
【００３６】
本発明は、現在損失フレームのタイプを判断するには図3に示すような方法に限られなく、他の方法によって判断してもよく、例えば、ゼロ交差レートによって判断し、本発明がこれに限られない。
【００３７】
ステップS2、現在損失フレームが非マルチ高調波フレームであると判断し、1つのフレーム内のすべての周波数点に対して、現在損失フレームの前の複数のフレームのMDCT係数値を用いて現在損失フレームのMDCT係数値を計算し、次に、ステップS4を実行する。
【００３８】
例えば、現在損失フレームの前1つのフレームのMDCT係数値の半分または他の割合を採用して現在損失フレームのMDCT係数値とする。
【００３９】
ステップS3、現在損失フレームがマルチ高調波フレームであると判断し、無遅延マルチ高調波フレーム損失補償アルゴリズムで推定して現在損失フレームのMDCT係数を取り得て、図4に示すように、具体的に、
3a）第pフレームのデータパケットが損失すると、即ち現在損失フレームが第pフレームであり、第pフレームの前にL1フレームを取ることを含む。
【００４０】
該L1フレームにおいて第p-1フレームを含む際に、現在損失フレームの前フレームが復号して得たMDCT係数によって、FMDST (Fast Modified Discrete Sine Transform、高速修正離散サイン変換)アルゴリズムで該L1フレームにおいて第p-1フレームの以外のL1-1フレームのMDST（Modified Discrete Sine Transform、修正離散サイン変換）係数を取り得る。該L1-1フレームにおけるそれぞれのフレームに対して、毎フレームのMDST係数とMDCT係数を該フレームのMDCT-MDSTドメイン複素数信号に組成し、その中、MDCT係数が実部パラメータであり、MDST係数が虚部パラメータである。
【００４１】
該L1フレームには第p-1フレームを含まない際に、現在損失フレームの前フレームが復号して得たMDCT係数によって、FMDSTアルゴリズムで該L1フレームのMDST係数を取り得て、該L1フレームにおけるそれぞれのフレームに対して、毎フレームのMDST係数とMDCT係数を該フレームのMDCT-MDSTドメイン複素数信号に組成し、その中、MDCT係数が実部パラメータであり、MDST係数が虚部パラメータである。
【００４２】
その中、MDST係数を計算する方法は次の通りである。
【００４３】
第p-1フレームと第p-2フレームのMDCT係数によって逆MDCT変換して第p-2フレームの時間領域信号を取り得て、第p-2フレームと第p-3フレームのMDCT係数によって逆MDCT変換して第p-3フレームの時間領域信号を取り得て、以上の通りであり、
第p-2フレームと第p-3フレームの時間領域信号によってFMDSTアルゴリズムで第p-2フレームのMDST係数を取り得て、第p-3フレームと第p-4フレームの時間領域信号によってFMDSTアルゴリズムで第p-3フレームのMDST係数を取り得て、以上の通りである。
【００４４】
その中、第pフレーム、第p-1フレーム等の各フレームの順序は図1に示す。
【００４５】
3b）上記L1フレームに対して毎フレームのピーク周波数点集合を求める。
【００４６】
このL1フレームには第p-1フレームを含むと、
第p-1フレームに対して、第p-1フレームのMDCT係数によって第p-1フレームにおいて各周波数点的パワーを計算し、該フレームにおいてパワーが最大である前の複数のピーク周波数点からなる集合を取得し、
第p-1フレームの以外のそれぞれのフレームに対して、該フレームのMDCT-MDSTドメイン複素数信号によって該フレームにおいて各周波数点のパワーを計算し、該フレームにおいてパワーが最大である前の複数のピーク周波数点からなる集合を取得し、その中、ピーク周波数点とはパワーがそれと隣接する2つの周波数点でのパワーより大きい周波数点である。
【００４７】
このL1フレームには第p-1フレームを含まないと、
該L1フレームにおけるそれぞれのフレームに対して、いずれもそのMDCT-MDSTドメイン複素数信号によって該フレームにおいてパワーが最大である前の複数のピーク周波数点からなる集合を取得する。
【００４８】
このL1個の集合における周波数点数が同様でまたは異なってもよい。
【００４９】
他の方式でこのL1個の集合を取得しても良く、例えば、それぞれのフレームに対して直接にパワーが1つの設定された閾値より大きいピーク周波数点からなる集合を取って、それぞれのフレームが取った閾値は同様でまたは異なってもよい。
【００５０】
3c）L1>1であると、仮にこのL1個の周波数点集合がS1,…,SL1と言われ、集合における対応の周波数点数がN1,…,NL1であると、1つの集合Siを選択し、Siにおけるそれぞれのピーク周波数点mjに対して、（j=1…Ni）、mj, mj±1,…,mj±k（kが非負の整数であり、普通にk＝0または1を取る）において同時に他のすべてのピーク周波数点集合に属する周波数点が存在するかどうかを判断し、存在すると、mj, mj±1,…,mj±kをいずれも周波数点集合SCに入れることと、
Siにおけるそれぞれのピーク周波数点mjに対して、（j=1…Ni）、mj, mj±1,…,mj±kにおいて同時に他のすべてのピーク周波数点集合に属する周波数点がないと、直接に1つのフレーム内のすべての周波数点をいずれも周波数点集合SCに入れる。
【００５１】
L1＝1であると、仮にこの周波数点集合がS1と言われ、その対応の周波数点数がN1であり、ピーク周波数点集合S1におけるそれぞれのピーク周波数点 mi（i=1…N1）に対して、mi, mi±1,…,mi±k kが非負の整数であり、普通にk＝0または1を取る）をいずれも周波数点集合SCに入れる。
【００５２】
ステップ3a、3b及びステップ3cの以上部分を実行しなくてもよく、直接に1つのフレーム内のすべての周波数点をいずれも周波数点集合SCに入れる。
【００５３】
3d）第p-1フレームの前にL2（L2>1）フレームを取って、該L2フレームを取り得るMDCT-MDSTドメイン複素数信号（具体的な計算方法はステップ3aにおける方法と同様である）を計算する。周波数点集合SCにおけるそれぞれの周波数点に対して、該L2フレームがMDCT-MDSTドメインでの位相を用いて予測し、現在損失フレームがMDCT-MDSTドメインでの位相を取り得て、該L2フレームがMDCT-MDSTドメインでの振幅を用いて予測し、現在損失フレームがMDCT-MDSTドメインでの振幅を取り得て、現在損失フレームの位相と振幅によってさらに現在損失フレームが対応の上記それぞれの周波数点でのMDCT係数を取り得る。
【００５４】
L2＝2であると、周波数点集合SCにおけるすべての周波数点に対して、それぞれの予測待ちの周波数点を選択したこの2つのフレームが該周波数点での位相を用いて線形外挿し、現在損失フレームが該周波数点でのMDCT-MDSTドメイン複素数信号位相を取り得て、この2つのフレームにおいて1つのフレームが該周波数点でのMDCT-MDSTドメインの振幅から現在損失フレームが該周波数点でのMDCT-MDSTドメイン複素数信号の振幅を取り得て、即ち該2つのフレームにおいて1つのフレームが該周波数点でのMDCT-MDSTドメインの振幅を現在損失フレームが該周波数点でのMDCT-MDSTドメインの振幅とする。
【００５５】
線形外挿の1つの方法は次の通りである。
【００５６】
L2＝2である際に、第t1フレーム、第t2フレームでこの2つのフレームをそれぞれ表し、次のように第pフレームのMDCT-MDSTドメインの位相を予測し、予測待ちの周波数点mに対して、
【数１３】
、上記
【数１４】
は第pフレームが周波数点mのMDCT-MDSTドメインでの位相の予測値であり、上記
【数１５】
は第t1フレームが周波数点mのMDCT-MDSTドメインでの位相であり、前記
【数１６】
は第t2フレームが周波数点mのMDCT-MDSTドメインでの位相である。
【００５７】
L2>2であると、集合SCにおけるすべての周波数点に対して、それぞれの予測待ちの周波数点にこのL2フレームが該周波数点のMDCT-MDSTドメインでの位相を用いて線形フィットを行い、現在損失フレームが該周波数点でのMDCT-MDSTドメインの複素数信号位相を取り得て、このL2フレームにおける1つのフレームが該周波数点でのMDCT-MDSTドメインの振幅から現在損失フレームが該周波数点でのMDCT-MDSTドメイン複素数信号の振幅を取り得て、即ち該L2フレームにおける1つのフレームが該周波数点でのMDCT-MDSTドメインの振幅を現在損失フレームが該周波数点でのMDCT-MDSTドメインの振幅とする。
【００５８】
3e）上記周波数点集合SCの他の周波数点に第pフレームの前の複数のフレームのMDCT係数値を用いて第pフレームのMDCT係数値を計算する。例えば、現在損失フレームの前1つのフレームのMDCT係数値の半分を現在損失フレームのMDCT係数値とする。
【００５９】
本発明の他の実施例において、ステップS3では、ステップ3aの前に、「1つのフレーム内のすべての周波数点に第pフレームの前の複数のフレームのMDCT係数値を用いて第pフレームのMDCT係数値を計算する」ステップを実行し、次に、ステップ3a、3b、3c及び3dを実行した後ステップ3eをスキップしてステップS4に進入しても良く、或いは、ステップ3dの前に「1つのフレーム内のすべての周波数点に第pフレームの前の複数のフレームのMDCT係数値を用いて第pフレームのMDCT係数値を計算する」こと実行し、次に、ステップ3dを実行した後ステップ3eをスキップしてステップS4に進入してもよい。
【００６０】
他の変形を加えてもよく、例えば、ステップ3eはステップ3cの後ステップS4の前に実行すればよく、即ち周波数点集合SCを取り得た後実行できる。
【００６１】
ステップS4、上記現在損失フレームがすべての周波数点でのMDCT係数にIMDCT（Inverse MDCT、修正離散コサイン逆変換）変換を行い、現在損失フレームの時間領域信号を取り得る。
【００６２】
上述実施例は以下のように変化しても良く、先に初期補償を行い、即ち先に1つのフレーム内のすべての周波数点に第pフレームの前の複数のフレーム的のMDCT係数値を用いて第pフレームのMDCT係数値を計算し、さらに、現在損失フレームのタイプを判断し、現在損失フレームのタイプによって異なるステップを実行し、非マルチ高調波フレームであると、直接にステップS4を実行し、マルチ高調波フレームであると、ステップS3におけるステップ3a、3b、3c及び3dを実行した後ステップ3eをスキップして直接にステップS4を実行してもよい。
【００６３】
以下で、2つの具体的な実施例を参照して本発明についてさらに説明する。
【００６４】
[実施例1]
ステップ110、復号側に現在フレームのデータパケットが損失することを発見し、現在フレーム（即ち現在損失フレーム）が非マルチ高調波フレームであるか或いはマルチ高調波フレーム（例えば多種の高調波からなる音楽フレーム）であるかを判断し、非マルチ高調波フレームであると、ステップ120を実行し、ではないと、ステップ130を実行し、
具体的な判断方法は、
現在損失フレームの前10フレームのスペクトラムフラットネスを計算し、スペクトラムフラットネスが0.1より小さい際に、該フレームがマルチ高調波定常状態信号フレームであると考える。損失フレームの前10フレームには8フレームより大きいものはマルチ高調波定常状態信号フレームである際に、現在損失フレームがマルチ高調波フレームであると考え、ではないと、非マルチ高調波フレームであると考え、スペクトラムフラットネスの計算方法は次の通りである。
【００６５】
第iフレームのスペクトラムフラットネスSFMiは第iフレーム信号の変換ドメインで信号振幅の幾何平均値と算術平均値の比に定義され、
【数１７】
その中、
【数１８】
は第iフレーム信号振幅の幾何平均であり、
【数１９】
は第iフレーム信号振幅の算術平均であり、ci(m)は第iフレームが周波数点mでのMDCT係数であり、MがMDCTドメイン信号フレームの長さである。
【００６６】
ステップ120、現在損失フレームが非マルチ高調波フレームであると判断すると、1つのフレーム内のすべての周波数点に現在損失フレームの前1つのフレームのMDCT係数値の半分を用いて現在損失フレームのMDCT係数値とし、即ち、
【数２０】
【００６７】
次に、ステップ140を実行する。
【００６８】
ステップ130、現在損失フレームがマルチ高調波フレームであると判断すると、無遅延マルチ高調波フレーム損失補償アルゴリズムで現在損失フレームのMDCT係数を取り得て、ステップ140を実行し、
具体的に無遅延マルチ高調波フレーム損失補償アルゴリズムで現在損失フレームMDCT係数を取り得る方法は図5に示すように、第pフレームのデータパケットが損失する際に、
まず、1つのフレーム内のすべての周波数点に第p-1フレームが該周波数点でのMDCT係数値の半分を用いて第pフレームが該周波数点でのMDCT係数値とし、式(2)に示すように、
次に、現在損失フレームの前フレームが復号して取り得たMDCT係数によって、FMDSTアルゴリズムで第p-2フレームと第p-3フレームのMDST係数sp-2(m)とsp-3(m) を取り得る。取り得た第p-2フレームと第p-3フレームのMDST係数及び第p-2フレームと第p-3フレームのMDCT係数cp-2(m)及びcp-3(m)をMDCT-MDSTドメインの複素数信号に組成し、
【数２１】
その中、jが虚数符号である。
【００６９】
第p-2フレームと第p-3フレームにおいて各周波数点のパワーを計算し、第p-2フレームと第p-3フレームにおいてパワーが最大である前10個のピーク周波数点（いずれかのフレームにおけるピーク周波数点が10個より少ないと、該フレームにおけるすべてのピーク周波数点を取る）をそれぞれ取って周波数点集合mp-2,mp-3に組成する。
【００７０】
第p-1フレームのMDCT係数によって第p-1フレームにおける各周波数点のパワーを推定する。
【００７１】
【数２２】
その中、
【数２３】
は第p-1フレームが周波数点mでのパワーであり、cp-1(m)は第p-1フレームが周波数点mでのMDCT係数であり、ほかには同様である。
【００７２】
第p-1フレームにおいてパワーが最大での前10個のピーク周波数点mip-1,i=1…10を求める。該フレームにおけるピーク周波数点数Np-1が10より小さいと、該フレームにおけるすべてのピーク周波数点mip-1,i=1…Np-1を取る。
【００７３】
それぞれのmip-1に対して、mip-1、mip-1±1（ピーク周波数点の付近の周波数点にそのパワーは大きい可能性があるため、それを第p-1フレームのピーク周波数点の集合に加える）に同時に集合mp-2,mp-3に属する周波数点が存在するかどうかを判断する。同時に集合mp-2,mp-3に属すると、下式（6）−（11）によって第pフレームが周波数点mip-1、mip-1±1（mip-1、mip-1±1において1つの点が同時に集合mp-2,mp-3に属すれば、mip-1、mip-1±1この3つの周波数点に次のように計算する）のMDCT-MDSTドメインでの複素数信号の位相と振幅を求め、
【数２４】
【００７４】
【数２５】
、Aは位相と振幅をそれぞれ表す。例えば、
【数２６】
は第pフレームが周波数点mでの位相であり、
【数２７】
は第p-2フレームが周波数点mでの位相であり、
【数２８】
は第p-3フレームが周波数点mでの位相であり、
【数２９】
は第pフレームが周波数点mでの振幅であり、Ap-2(m)は第p-2フレームが周波数点mでの振幅であり、他には同様である。
【００７５】
従って、補償して取り得た第pフレームが周波数点mでのMDCT係数は、
【数３０】
【００７６】
すべてのmip-1、mip-1±1において同時に集合mp-2,mp-3に属する周波数点がないと、現在損失フレーム内すべての周波数点を式(6)-(12)によってMDCT係数を推定する。
【００７７】
予測する必要な周波数点を求めなく、直接に現在損失フレーム内すべての周波数点を式(6)-(12)によってMDCT係数を推定してもよい。
【００７８】
ステップ140、現在損失フレームがすべての周波数点でのMDCT係数をIMDCT変換を行い、現在損失フレームの時間領域信号を取り得る。
【００７９】
[実施例2]
ステップ210、復号側に現在フレームのデータパケットが損失することを発見し、現在フレーム（即ち現在損失フレーム）が非マルチ高調波フレームであるか或いはマルチ高調波フレーム（例えば多種の高調波からなる音楽フレーム）であるかを判断し、非マルチ高調波フレームであると、ステップ220を実行し、ではないと、ステップ230を実行し、
現在損失フレームが非マルチ高調波フレームであるか或いはマルチ高調波フレームであるかを具体的に判断する方法は、
現在損失フレームの前10フレームのスペクトラムフラットネスを計算し、それぞれのフレームに対して、該フレームのスペクトラムフラットネスが0.1より小さい際に、該フレームがマルチ高調波定常状態信号フレームであると考える。損失フレームの前10フレームには8フレームより大きいものはマルチ高調波定常状態信号フレームである際に、現在損失フレームがマルチ高調波フレームであると考え、ではないと、非マルチ高調波フレームであると考える。その中、の計算方法は次の通りである。
【００８０】
第iフレームのスペクトラムフラットネスSFMiは第iフレーム信号の変換ドメインで信号振幅の幾何平均値と算術平均値の比に定義され、
【数３１】
その中、
【数３２】
は第iフレーム信号振幅の幾何平均であり、
【数３３】
は第iフレーム信号振幅の算術平均であり、ci(m)は第iフレームが周波数点mでのMDCT係数であり、MがMDCTドメイン信号フレームの長さである。
【００８１】
ステップ220、現在損失フレームが非マルチ高調波フレームであると判断すると、1つのフレーム内のすべての周波数点に現在損失フレームの前1つのフレームのMDCT係数値の半分を用いて現在損失フレームのMDCT係数値とし、即ち、
【数３４】
【００８２】
次に、ステップ240を実行する。
【００８３】
ステップ230、現在損失フレームがマルチ高調波フレームであると判断すると、無遅延マルチ高調波フレーム損失補償アルゴリズムで現在損失フレームのMDCT係数を取り得て、ステップ240を実行し、
具体的に無遅延マルチ高調波フレーム損失補償アルゴリズムで現在損失フレームMDCT係数を取り得る方法は、第pフレームのデータパケットが損失する際に、現在損失フレームの前フレームが復号して取り得たMDCT係数によって、FMDSTアルゴリズムで第p-2フレーム、第p-3フレーム及び第p-4フレームのMDST係数sp-2(m)、sp-3(m) 及びsp-4(m) を取り得る。取り得た第p-2フレーム、第p-3フレーム及び第p-4フレームのMDST係数と第p-2フレーム、第p-3フレーム及び第p-4フレームのMDCT係数cp-2(m)、cp-3(m) 及びcp-4(m) をMDCT-MDSTドメインの複素数信号に組成し、
【数３５】
【００８４】
その中、jが虚数符号である。
【００８５】
第p-2フレーム、第p-3フレーム及び第p-4フレームにおいて各周波数点のパワーを計算し、第p-2フレーム、第p-3フレーム及び第p-4フレームにおいてパワーが最大である前10個のピーク周波数点（いずれかのフレームにおけるピーク周波数点が10個より少ないと、該フレームにおけるすべてのピーク周波数点を取る）をそれぞれ取って周波数点集合mp-2,mp-3,mp-4に組成する。
【００８６】
周波数点集合mp-4におけるそれぞれの周波数点mip-4に対して、mip-4、mip-4±1（ピーク周波数点の付近の周波数点にそのパワーは大きい可能性があるため、それを第p-4フレームのピーク周波数点の集合に加える）においてに同時に集合mp-2,mp-3に属する周波数点が存在するかどうかを判断する。同時に集合mp-2,mp-3に属する周波数点が存在すると、下式（18）−（27）によって第pフレームが周波数点mip-1、mip-1±1（mip-1、mip-1±1において1つの点が同時に集合mp-2,mp-3に属すれば、mip-1、mip-1±1この3つの周波数点に次のように計算する）のMDCT-MDSTドメインでの複素数信号の位相と振幅を求め、
【数３６】
【数３７】
、Aは位相と振幅をそれぞれ表す。例えば、
【数３８】
は第pフレームが周波数点mでの位相であり、
【数３９】
は第p-2フレームが周波数点mでの位相であり、
【数４０】
は第p-3フレームが周波数点mでの位相であり、
【数４１】
は第pフレームが周波数点mでの振幅であり、Ap-2(m)は第p-2フレームが周波数点mでの振幅であり、他には同様である。
以下で、最小二乗法で異なるフレームが同一の周波数点での位相の線形フィット関数
【数４２】
を求め、
その中、xがフレーム番号を表し、a0,a1が求めたい線形フィット関数の係数を表す。
【００８７】
最小二乗準則でフィット誤差を測定する方法によって、方程式
【数４３】
からa0,a1を解する。他の実施例において、最小二乗準則と異なるほかの準則でフィット誤差を測定し、フィット係数を推定する。解したa0,a1によれば第pフレームが周波数点mでの位相
【数４４】
を推定して取り得ることができ、
従って、補償して取り得た第pフレームが周波数点mでのMDCT係数が
【数４５】
であり、
すべてのmip-4、mip-4±1において同時に集合mp-2,mp-3に属する周波数点が存在すると、SCで上記のすべての式(18)-(28)によって補償する周波数点からなる集合を表し、1つのフレーム内が周波数点集合SCの外での周波数点に現在損失フレームの前1つのフレームのMDCT係数値の半分を用いて現在損失フレームのMDCT係数値とする。
【００８８】
すべてのmip-4、mip-4±1において同時に集合mp-2,mp-3に属する周波数点がないと、現在損失フレーム内のすべての周波数点を式(18)-(28)によってMDCT係数を推定する。
【００８９】
予測する必要な周波数点を求めなく、直接に現在損失フレーム内すべての周波数点を式(18)-(28)によってMDCT係数を推定してもよい。
【００９０】
ステップ240、現在損失フレームがすべての周波数点でのMDCT係数にIMDCT変換を行い、現在損失フレームの時間領域信号を取り得る。
【００９１】
本発明はさらにMDCTドメインのオーディオフレーム損失補償器を提供し、フレームタイプ検出モジュール、非マルチ高調波フレーム損失補償モジュール、マルチ高調波フレーム損失補償モジュール、第2補償モジュール及びIMDCTモジュールを備え、図6に示すように、その中、
上記フレームタイプ検出モジュールは、損失フレームを検出する際に、現在損失フレームのタイプを判断し、非マルチ高調波フレームであると、非マルチ高調波フレーム損失補償モジュールを指示して補償し、マルチ高調波フレームであると、上記マルチ高調波フレーム損失補償モジュールを指示して補償するように設置され、現在損失フレームのタイプを具体的に判断する方法は以上の通りであり、ここで説明しない。
【００９２】
上記非マルチ高調波フレーム損失補償モジュールは、1つのフレーム内のすべての周波数点に現在損失フレームの前の複数のフレームのMDCT係数値を用いて現在損失フレームのMDCT係数値を計算し、該MDCT係数をIMDCTモジュールに送信するように設置され、
上記マルチ高調波フレーム損失補償モジュールは、現在損失フレームが第pフレームである際に、予測待ちの周波数点集合を取得し、上記予測待ちの周波数点集合におけるそれぞれの周波数点に第p-1フレームの前の複数のフレームがMDCT-MDSTドメインでの位相と振幅を用いて予測し、第pフレームがMDCT-MDSTドメインでの位相と振幅を取り得て、前記予測して得た第pフレームがMDCT-MDSTドメインでの位相と振幅を用いて第pフレームが対応の上記それぞれの周波数点でのMDCT係数を取り得て、該MDCT係数を第2補償モジュールに送信し、上記第p-1フレームが第pフレームの前1つのフレームであるように設置され、
上記マルチ高調波フレーム損失補償モジュールは、第p-2フレーム、第p-3フレームのMDCT-MDSTドメイン複素数信号と第p-1フレームのMDCT係数を用いて予測待ちの周波数点集合を取得し、該周波数点集合におけるそれぞれの周波数点に第p-2フレーム、第p-3フレームがMDCT-MDSTドメインでの位相と振幅を用いて予測し、第pフレームがMDCT-MDSTドメインでの位相と振幅を取り得るように設置される。
【００９３】
上記マルチ高調波フレーム損失補償モジュールは予測待ちの周波数点集合を取得する際に、第pフレームの前の複数のフレーム的MDCT-MDSTドメイン複素数信号及び/またはMDCT係数を用いて予測待ちの周波数点集合を取得し、或いは、直接に1つのフレーム内のすべての周波数点を上記周波数点集合に入れる。
【００９４】
上記第2補償モジュールは、1つのフレーム内に上記予測待ちの周波数点集合以外の周波数点に第pフレームの前の複数のフレームのMDCT係数値を用いて第pフレームが該周波数点でのMDCT係数値を計算し、第pフレームのすべての周波数点でのMDCT係数をIMDCTモジュールに送信し、さらに、上記第2補償モジュールは第p-1フレームのMDCT係数値の半分を用いて第pフレームが上記予測待ちの周波数点集合の以外の周波数点のMDCT係数値とするように設置される。
【００９５】
上記マルチ高調波フレーム損失補償モジュールは周波数点集合生成ユニットと係数生成ユニットをさらに含み、その中、
上記周波数点集合生成ユニットは、予測待ちの周波数点集合SCを生成するように設置され、
上記係数生成ユニットは、第p-1フレームの前のL2フレームがMDCT-MDSTドメインでの位相と振幅を用いて予測し、第pフレームにおいて周波数点集合SCに属する各周波数点の位相と振幅を取り得て、上記予測して得た第pフレームがMDCT-MDSTドメインでの位相と振幅を用いて、第pフレームが対応の上記それぞれの周波数点でのMDCT係数を取り得て、該MDCT係数を第2補償モジュールに送信し、その中、L2>1であるように設置される。
【００９６】
上記周波数点集合生成ユニットは、次のように予測待ちの周波数点集合SCを生成し、上記第pフレームの前の複数のフレームをL1フレームとし、上記L1フレームにおいて各周波数点のパワーを計算し、該L1フレームにおいて各フレームのピーク周波数点からなる集合S1,…,SL1を取得し、各集合における対応の周波数点数がN1,…,NL1であり、
上記L1個の集合S1,…,SL1から1つの集合Siを選択し、Siにおけるそれぞれのピーク周波数点mj mjに対して、j=1…Ni、mj, mj±1,…,mj±kにおいて同時に他のすべてのピーク周波数点集合に属する周波数点が存在するかどうかを判断し、存在すると、mj, mj±1,…,mj±kをいずれも周波数点集合SCに入れ、
Siにおけるそれぞれのピーク周波数点mjに対して、j=1…Ni、mj, mj±1,…,mj±kにおいて同時に他のすべてのピーク周波数点集合に属する周波数点がないと、直接に1つのフレーム内のすべての周波数点をいずれも周波数点集合SCに入れるように設置され、
その中、kが非負の整数である。上記ピーク周波数点とはパワーがそれと隣接する2つの周波数点でのパワーより大きい周波数点である。
【００９７】
上記L1フレームには第p-1フレームを含む際に、上記周波数点集合生成ユニットが、第p-1フレームにおける各周波数点のパワーは次のように計算し、
【数４６】
、その中、
【数４７】
は第p-1フレームが周波数点mでのパワーであり、cp-1(m)は第p-1フレームが周波数点mでのMDCT係数であり、cp-1(m+1)は第p-1フレームが周波数点m＋1でのMDCT係数であり、cp-1(m-1)は第p-1フレームが周波数点m−1でのMDCT係数である。
【００９８】
上記係数生成ユニットは位相予測サブユニットと振幅予測サブユニットをさらに含み、その中、
上記位相予測サブユニットは、予測待ちの周波数点に選択した該L2フレームが該周波数点のMDCT-MDSTドメインでの位相を用いて線形外挿または線形フィットを行い、第pフレームが該周波数点のMDCT-MDSTドメインでの位相を取り得るように設置され、
上記振幅予測サブユニットは、該L2フレームにおける1つのフレームが該周波数点のMDCT-MDSTドメインでの振幅から第pフレームが該周波数点のMDCT-MDSTドメインでの振幅を取り得るように設置される。
【００９９】
L2＝2である際に、第t1フレーム、第t2フレームでこのフレームをそれぞれ表し、上記位相予測サブユニットは第pフレームのMDCT-MDSTドメインの位相を次のように予測し、予測待ちの周波数点mに対して、
【数４８】
、上記
【数４９】
は第pフレームが周波数点mのMDCT-MDSTドメインでの位相の予測値であり、上記
【数５０】
は第t1フレームが周波数点mのMDCT-MDSTドメインでの位相であり、上記
【数５１】
は第t2フレームが周波数点mのMDCT-MDSTドメインでの位相である。
【０１００】
L2>2である際に、上記位相予測サブユニットは第pフレームのMDCT-MDSTドメインの位相を次のように予測し、予測待ちの周波数点に対して、選択した該L2フレームが該周波数点のMDCT-MDSTドメインでの位相を線形フィットし、第pフレームが該周波数点のMDCT-MDSTドメインでの位相を取り得る。
【０１０１】
上記IMDCTモジュールは、上記現在損失フレームがすべての周波数点でのMDCT係数をIMDCT変換を行い、第pフレームの時間領域信号を取り得るように設置される。
【０１０２】
図6に示すように、MDCTドメインのオーディオフレーム損失補償器は変更しても良く、図7に示すように、フレームタイプ検出モジュール、非マルチ高調波フレーム損失補償モジュール、マルチ高調波フレーム損失補償モジュール、第2補償モジュール及びIMDCTモジュールを備え、第2補償モジュールとフレームタイプ検出モジュールはマルチ高調波フレーム損失補償モジュールに接続し、マルチ高調波フレーム損失補償モジュールがIMDCTモジュールに接続し、その中、
上記第2補償モジュールは、1つのフレーム内のすべての周波数点に現在損失フレームの前の複数のフレームのMDCT係数値を用いて現在損失フレームのMDCT係数値を計算し、該MDCT係数をマルチ高調波フレーム損失補償モジュールに送信するように設置され、
上記マルチ高調波フレーム損失補償モジュールは、予測待ちの周波数点集合を取得し、第pフレームが予測待ちの周波数点集合において各周波数点のMDCT係数を取り得て、具体的な方法は図6にはマルチ高調波フレーム損失補償モジュールと同様であり、予測待ちの周波数点集合の外の各周波数点に第2補償モジュールから取り得たMDCT係数を用いて第pフレームが該周波数点でのMDCT係数とし、第pフレームのすべての周波数点でのMDCT係数をIMDCTモジュールに送信するように設置される。
【０１０３】
他の各モジュール機能は図6には各モジュールと同様で、ここで説明しない。
【０１０４】
図8に示すように、本発明のもう1つのMDCTドメインのオーディオフレーム損失補償器ブロック図であり、その中、MDCTドメインのオーディオフレーム損失補償器は非マルチ高調波フレーム損失補償モジュール、フレームタイプ検出モジュール、マルチ高調波フレーム損失補償モジュール及びIMDCTモジュールを備え、その中、
上記非マルチ高調波フレーム損失補償モジュールは、損失フレームを検出する際に、1つのフレーム内のすべての周波数点に現在損失フレームの前の複数のフレームのMDCT係数値を用いて現在損失フレームのMDCT係数値を計算し、該MDCT係数をフレームタイプ検出モジュールに送信するように設置され、
上記フレームタイプ検出モジュールは、現在損失フレームのタイプを判断し、非マルチ高調波フレームであると、非マルチ高調波フレーム損失補償モジュールから受信したMDCT係数をIMDCTモジュールに送信し、マルチ高調波フレームであると、該MDCT係数をマルチ高調波フレーム損失補償モジュールに送信するように設置され、現在損失フレームのタイプを具体的に判断する方法は以上の通りであり、ここで説明しない。
【０１０５】
上記マルチ高調波フレーム損失補償モジュールは、予測待ちの周波数点集合を取得し、第pフレームが予測待ちの周波数点集合において各周波数点のMDCT係数を取り得て、具体的な方法は図6にはマルチ高調波フレーム損失補償モジュールと同様であり、予測待ちの周波数点集合の外の各周波数点にフレームタイプ検出モジュールから取り得たMDCT係数を用いて第pフレームが該周波数点でのMDCT係数とし、第pフレームのすべての周波数点でのMDCT係数をIMDCTモジュールに送信するように設置され、
上記IMDCTモジュールは、上記現在損失フレームがすべての周波数点でのMDCT係数にIMDCT変換を行い、第pフレームの時間領域信号を取り得るように設置される。
【０１０６】
本発明が提案するフレーム損失補償方法及びフレーム損失補償器は、
リアルタイムかつ双方向の通信、例えば、無線、IP会議テレビ及びリアルタイム放送サービスのIPTV、モバイルストリーミングメディア、モバイルTV等の分野のオーディオフレーム損失補償問題に適用でき、トランスポートストリームの誤り耐性の能力を向上するようにする。本発明は補償操作によって音声オーディオネットワーク伝送のパケット損失による音質の下降をよく避け、パケット損失後の音声オーディオ品質の快適度を向上し、良好な主観的な聴覚効果を取得することができる。
【産業上の利用可能性】
【０１０７】
従来技術に比べ、本発明が提案するMDCTドメインのオーディオフレーム損失補償器及び補償方法は、無遅延、計算量メモリ量が小さく、実現やすい等のメリットを有する。
【技術分野】
【０００１】
本発明はオーディオ復号分野に関し、具体的に無遅延、低複雑さのMDCT (Modified Discrete Cosine Transform、修正離散コサイン変換)ドメインのオーディオフレーム損失補償器及び補償方法に関する。
【背景技術】
【０００２】
ネットワーク通信において、パケット技術が十分に幅広くアプリケーションされ、各種の形式の情報、例えば音声或いはオーディオ等のデータは符号化された後、パケット技術を採用してネットワークにおいて伝送し、例えばVoIP（ネットワーク電話）等である。情報送信側の送信容量が制限され、または予定遅延時間内にパケット情報フレームが受信側バッファエリアに到達しなく、またはネットワークの輻輳等による音声オーディオフレーム情報が損失し、復号側に合成音声オーディオの品質が急激に低下することを引き起こすため、いくつかの技術を採用してフレーム損失のデータを補償する必要がある。フレーム損失補償器はフレーム損失による音声オーディオ品質の下降の現象を軽減する技術である。従来、フレーム損失の補償の技術が多いが、これらのフレーム損失の補償技術における大部分が音声のフレーム損失補償だけに適用し、オーディオのフレーム損失補償に対して関連の技術が少ない。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
従来のオーディオフレーム損失補償方法は最も簡単であるのは前のフレームのMDCT信号を繰り返し或いはミュート静音の代替の方法を採用し、該方法は簡単で且つ遅延がないが、補償効果が著しくなく、他の補償方式、例えばGAPES（ギャップデータ振幅位相の推定技術）はMDCT係数をDSTFT（Discrete Short-Time Fourier Transform、離散短時間フーリエ変換）係数に転化し、該方法の演算の複雑さが高く、メモリの消耗が多く、3GPPはノイズシェーピング挿入技術を採用してオーディオフレーム損失補償を行い、該方法の擬似雑音信号の補償効果がよく、マルチ高調波オーディオ信号への補償効果が極めて悪い。
【０００４】
以上のように、開示されたオーディオフレーム損失補償技術の大部分の効果が著しくなくまたは演算の複雑さが高く且つ遅延時間が長い。
【０００５】
本発明は補償効果がよく、複雑さが低く且つ無遅延であるMDCTドメインオーディオフレーム損失補償器及び補償方法を提供することを解決しようとする技術問題とする。
【課題を解決するための手段】
【０００６】
上述問題を解決するために、本発明は修正離散コサイン変換ドメインのオーディオフレーム損失補償方法であって、
現在損失フレームが第pフレームである際に、予測待ちの周波数点集合を取得し、前記予測待ちの周波数点集合におけるそれぞれの周波数点に対して第p-1フレームの前の複数のフレームが修正離散コサイン変換−修正離散サイン変換MDCT-MDSTドメインでの位相と振幅を用いて予測し、第pフレームがMDCT-MDSTドメインでの位相と振幅を取り得て、予測して得た前記第pフレームがMDCT-MDSTドメインでの位相と振幅を用いて第pフレームが前記それぞれの周波数点での修正離散コサイン変換ドメインMDCT係数を取り得て、その中、前記第p-1フレームが第pフレームの前の1つのフレームであるステップaと、
1つのフレーム内における前記予測待ちの周波数点集合の以外の周波数点に対して、第pフレームの前の複数のフレームのMDCT係数値を用いて第pフレームが該周波数点でのMDCT係数値を計算するステップbと、
第pフレームのすべての周波数点でのMDCT係数を修正離散コサイン逆変換IMDCTを行い、第pフレームの時間領域信号を取り得るステップcとを含む。
【０００７】
前記の方法はさらに、前記ステップaの前に、現在フレームが損失することを検出する際に、現在損失フレームのタイプを判断し、現在損失フレームがマルチ高調波フレームであると、ステップaを実行することをさらに含む特徴を備えてもよい。
【０００８】
前記の方法はさらに、前記該現在損失フレームのタイプを判断するステップは、
現在損失フレームの前Kのフレームの毎フレームのスペクトラムフラットネスを計算し、該Kフレームにおいて、スペクトラムフラットネスがあるしきい値より小さいフレームの個数はK0より小さいまたはそれに等しいと、現在損失フレームが非マルチ高調波フレームであり、スペクトラムフラットネスが該しきい値より小さいフレームの個数はK0より大きいと、現在損失フレームがマルチ高調波フレームであり、その中、K0<=K、K0、Kが自然数であることを含む特徴を備えてもよい。
【０００９】
前記の方法はさらに、前記ステップaにおいて、予測待ちの周波数点集合を取得する際に、第pフレームの前の複数のフレームのMDCT-MDSTドメイン複素数信号及び/またはMDCT係数を用いて予測待ちの周波数点集合SCを取得し、或いは、直接に1つのフレーム内のすべての周波数点を前記予測待ちの周波数点集合SCに入れることを含む特徴を備えてもよい。
【００１０】
前記の方法はさらに、第pフレームの前の複数のフレームのMDCT-MDSTドメイン複素数信号及び/またはMDCT係数を用いて予測待ちの周波数点集合SCを取得することは、具体的に、
前記第pフレームの前の複数のフレームをL1フレームとし、前記L1フレームにおいて各周波数点のパワーを計算し、該L1フレームにおいて各フレームのピーク周波数点からなるL1個の集合S1,…,SL1を取得し、各集合における対応の周波数点数がN1,…,NL1であることと、
前記L1個の集合S1,…,SL1から1つの集合Siを選択し、Siにおけるそれぞれのピーク周波数点 mjに対して、j=1…Ni、mj, mj±1,…,mj±kにおいて同時に他のすべてのピーク周波数点集合に属する周波数点が存在するかどうかを判断し、存在すると、mj, mj±1,…,mj±kをいずれも周波数点集合SCに入れることと、
Siにおけるそれぞれのピーク周波数点mjに対して、j=1…Ni、mj, mj±1,…,mj±kにおいて同時に他のすべてのピーク周波数点集合に属する周波数点がないと、直接に1つのフレーム内のすべての周波数点をいずれも周波数点集合SCに入れることとを含み、
その中、前記kが非負の整数である特徴を備えてもよい。
【００１１】
前記の方法はさらに、前記ピーク周波数点とはパワーがそれと隣接する2つの周波数点でのパワーより大きい周波数点である特徴を備えてもよい。
【００１２】
前記の方法はさらに、前記L1フレームには第p-1フレームを含む際に、第p-1フレームにおける各周波数点のパワーは次のように計算し、
【００１３】
【数１】
、その中、
【数２】
は第p-1フレームが周波数点mでのパワーであり、cp-1(m)は第p-1フレームが周波数点mでのMDCT係数であり、cp-1(m+1)は第p-1フレームが周波数点m＋1でのMDCT係数であり、cp-1(m-1)は第p-1フレームが周波数点m−1でのMDCT係数である特徴を備えてもよい。
【００１４】
前記の方法はさらに、前記ステップaにおいて、前記の第pフレームがMDCT-MDSTドメインでの位相と振幅を予測して得るステップは、予測待ちの周波数点に対して、第p-1フレームの前のL2フレームが該周波数点のMDCT-MDSTドメインでの位相を用いて線形外挿または線形フィットを行い、第pフレームが該周波数点のMDCT-MDSTドメインでの位相を取り得ることと、該L2フレームにおいて1つのフレームが該周波数点でのMDCT-MDSTドメインの振幅から第pフレームが該周波数点でのMDCT-MDSTドメインの振幅を取り得て、その中、L2>1であることを含む特徴を備えてもよい。
【００１５】
前記の方法はさらに、L2＝2である際に、第t1フレーム、第t2フレームでこのフレームをそれぞれ表し、次のように第pフレームのMDCT-MDSTドメインの位相を予測し、予測待ちの周波数点mに対して、
【数３】
、前記
【数４】
は第pフレームが周波数点mのMDCT-MDSTドメインでの位相の予測値であり、前記
【数５】
は第t1フレームが周波数点mのMDCT-MDSTドメインでの位相であり、前記
【数６】
は第t2フレームが周波数点mのMDCT-MDSTドメインでの位相である特徴を備えてもよい。
【００１６】
前記の方法はさらに、L2>2である際に、予測待ちの周波数点に対して、選択した該L2フレームが該周波数点のMDCT-MDSTドメインでの位相に線形フィットを行い、第pフレームが該周波数点のMDCT-MDSTドメインでの位相を取り得る特徴を備えてもよい。
【００１７】
前記の方法はさらに、前記ステップaにおいて、第p-2フレーム、第p-3フレームのMDCT-MDSTドメイン複素数信号と第p-1フレームのMDCT係数を用いて予測待ちの周波数点集合を取得し、該周波数点集合におけるそれぞれの周波数点に対して、第p-2フレーム、第p-3フレームがMDCT-MDSTドメインでの位相と振幅を用いて予測し、第pフレームがMDCT-MDSTドメインでの位相と振幅を取り得る特徴を備えてもよい。
【００１８】
前記の方法はさらに、前記ステップbにおいて、第p-1フレームのMDCT係数値の半分を採用して第pフレームのMDCT係数値とする特徴を備えてもよい。
【００１９】
本発明はさらに、修正離散コサイン変換ドメインのオーディオフレーム損失補償器であって、前記フレーム損失補償器はマルチ高調波フレーム損失補償モジュール、第2補償モジュール及びIMDCTモジュールを備え、その中、
前記マルチ高調波フレーム損失補償モジュールは、現在損失フレームが第pフレームである際に、予測待ちの周波数点集合を取得し、前記予測待ちの周波数点集合におけるそれぞれの周波数点に対して、第p-1フレームの前の複数のフレームがMDCT-MDSTドメインでの位相と振幅を用いて予測し、第pフレームがMDCT-MDSTドメインでの位相と振幅を取り得て、前記予測して得た第pフレームがMDCT-MDSTドメインでの位相と振幅を用いて第pフレームが前記それぞれの周波数点でのMDCT係数を取り得て、該MDCT係数を第2補償モジュールに送信し、前記第p-1フレームが第pフレームの前1つのフレームであるように設置され、
前記第2補償モジュールは、1つのフレーム内における前記予測待ちの周波数点集合の以外の周波数点に対して、第pフレームの前の複数のフレームのMDCT係数値を用いて第pフレームが該周波数点でのMDCT係数値を計算し、第pフレームのすべての周波数点でのMDCT係数をIMDCTモジュールに送信するように設置され、
前記IMDCTモジュールは、第pフレームのすべての周波数点でのMDCT係数をIMDCT変換を行い、第pフレームの時間領域信号を取り得るように設置される。
【００２０】
上述フレーム損失補償器はさらに、前記フレーム損失補償器はフレームタイプ検出モジュールをさらに含み、その中、
前記フレームタイプ検出モジュールは、損失フレームを検出する際に、現在損失フレームのタイプを判断し、マルチ高調波フレームであると、前記マルチ高調波フレーム損失補償モジュールを指示して補償するように設置される特徴を備えてもよい。
【００２１】
前記フレーム損失補償器は、前記フレームタイプ検出モジュールが、次のように現在損失フレームのタイプを判断し、現在損失フレームの前Kフレームの毎フレームのスペクトラムフラットネスを計算し、該Kフレームにおいて、スペクトラムフラットネスがあるしきい値より小さいフレームの個数はK0より小さいまたはそれと等しいと、現在損失フレームが非マルチ高調波フレームであり、スペクトラムフラットネスが該しきい値より小さいフレームの個数はK0より大きいと、現在損失フレームがマルチ高調波フレームであり、その中、K0<=K、K0、Kが自然数であるように設置される特徴を備えてもよい。
【００２２】
前記フレーム損失補償器は、前記マルチ高調波フレーム損失補償モジュールは周波数点集合生成ユニットを含み、前記マルチ高調波フレーム損失補償モジュールは、前記周波数点集合生成ユニットが第pフレームの前の複数のフレームのMDCT-MDSTドメイン複素数信号及び/またはMDCT係数を用いることによって予測待ちの周波数点集合SCを取得し、或いは、直接に1つのフレーム内のすべての周波数点を前記予測待ちの周波数点集合SCに入れるように設置される特徴を備えてもよい。
【００２３】
前記フレーム損失補償器は、
前記周波数点集合生成ユニットは、次のように第pフレームの前の複数のフレームのMDCT-MDSTドメイン複素数信号及び/またはMDCT係数を用いて予測待ちの周波数点集合SCを取得し、
前記第pフレームの前の複数のフレームをL1フレームとし、前記L1フレームにおいて各周波数点のパワーを計算し、該L1フレームにおいて各フレームのピーク周波数点からなるL1個の集合S1,…,SL1を取得し、各集合における対応の周波数点数がそれぞれN1,…,NL1であり、
前記L1個の集合S1,…,SL1から1つの集合Siを選択し、Siにおけるそれぞれのピーク周波数点mjに対して、j=1…Ni、mj, mj±1,…,mj±kにおいて同時に他のすべてのピーク周波数点集合に属する周波数点が存在するかどうかを判断し、存在すると、mj, mj±1,…,mj±kをいずれも周波数点集合SCに入れ、
Siにおけるそれぞれのピーク周波数点mjに対して、j=1…Ni、mj, mj±1,…,mj±kにおいて同時に他のすべてのピーク周波数点集合に属する周波数点がないと、直接に1つのフレーム内のすべての周波数点をいずれも周波数点集合SCに入れ、その中、kが非負の整数であるように設置される特徴を備えてもよい。
【００２４】
前記フレーム損失補償器は、前記ピーク周波数点とはパワーがそれと隣接する2つの周波数点でのパワーより大きい周波数点である特徴を備えてもよい。
【００２５】
前記フレーム損失補償器は、前記周波数点集合生成ユニットが、前記L1フレームには第p-1フレームを含む際に、第p-1フレームにおける各周波数点のパワーは次のように計算し、
【数７】
、その中、
【数８】
は第p-1フレームが周波数点mでのパワーであり、cp-1(m)は第p-1フレームが周波数点mでのMDCT係数であり、cp-1(m+1)は第p-1フレームが周波数点m＋1でのMDCT係数であり、cp-1(m-1)は第p-1フレームが周波数点m−1でのMDCT係数であるように設置される特徴を備えてもよい。
【００２６】
前記フレーム損失補償器は、
前記マルチ高調波フレーム損失補償モジュールは係数生成ユニットをさらに含み、前記マルチ高調波フレーム損失補償モジュールは、前記係数生成ユニットが第p-1フレームの前のL2フレームがMDCT-MDSTドメインでの位相と振幅を用いることによって予測し、第pフレームにおいて前記予測待ちの周波数点集合に属する各周波数点の位相と振幅を取り得て、予測して得た第pフレームの位相と振幅を用いて第pフレームが対応の前記それぞれの周波数点でのMDCT係数のMDCT係数を取り得て、該MDCT係数を第2補償モジュールに送信し、その中、L2>1であるように設置され、
前記係数生成ユニットは位相予測サブユニットと振幅予測サブユニットを含み、その中、
前記位相予測サブユニットは、予測待ちの周波数点に対して、選択した該L2フレームが該周波数点のMDCT-MDSTドメインでの位相を用いて線形外挿または線形フィットを行い、第pフレームが該周波数点のMDCT-MDSTドメインでの位相を取り得るように設置され、
前記振幅予測サブユニットは、該L2フレームにおける1つのフレームが該周波数点でのMDCT-MDSTドメインの振幅から第pフレームが該周波数点でのMDCT-MDSTドメインの振幅を取り得るように設置される特徴を備えてもよい。
【００２７】
前記フレーム損失補償器は、前記位相予測サブユニットが、L2＝2である際に、次のように第pフレームのMDCT-MDSTドメインの位相を予測し、予測待ちの周波数点mに対して、
【数９】
、その中、第t1フレーム、第t2フレームは第p-1フレームの前の2つのフレームをそれぞれ表し、前記
【数１０】
は第pフレームが周波数点mのMDCT-MDSTドメインでの位相の予測値であり、前記
【数１１】
は第t1フレームが周波数点mのMDCT-MDSTドメインでの位相であり、前記
【数１２】
は第t2フレームが周波数点mのMDCT-MDSTドメインでの位相であるように設置される特徴を備えてもよい。
【００２８】
前記フレーム損失補償器は、前記位相予測サブユニットが、L2>2である際に、次のように第pフレームのMDCT-MDSTドメインの位相を予測し、予測待ちの周波数点に対して、選択した該L2フレームが該周波数点のMDCT-MDSTドメインでの位相に線形フィットを行い、第pフレームが該周波数点のMDCT-MDSTドメインでの位相を取り得るように設置される特徴を備えてもよい。
【００２９】
前記フレーム損失補償器は、前記マルチ高調波フレーム損失補償モジュールが、第p-2フレーム、第p-3フレームのMDCT-MDSTドメイン複素数信号と第p-1フレームのMDCT係数を用いて予測待ちの周波数点集合を取得し、該周波数点集合におけるそれぞれの周波数点に対して、第p-2フレーム、第p-3フレームがMDCT-MDSTドメインでの位相と振幅予測を用いて第pフレームがMDCT-MDSTドメインでの位相と振幅を取り得るように設置される特徴を備えてもよい。
【００３０】
前記フレーム損失補償器は、前記第2補償モジュールが、第p-1フレームのMDCT係数値の半分を採用して第pフレームが前記予測待ちの周波数点集合の以外の周波数点のMDCT係数値とするように設置される特徴を備えてもよい。
【発明の効果】
【００３１】
本発明が提出するMDCTドメインオーディオフレーム損失補償器及び補償方法は、非マルチ高調波フレームに対して、現在損失フレーム的MDCT係数がその前の複数のフレームのMDCT係数値を用いて計算して得られ、マルチ高調波フレームに対して、それがMDCT-MDSTドメインでの特性を利用して現在損失フレームのMDCT係数を取り得る。従来技術に対して、本発明が無遅延、計算量メモリ量が小さく、実現しやすい等のメリットを有する。
【図面の簡単な説明】
【００３２】
【図１】本発明におけるフレーム順序模式図である。
【図２】本発明におけるMDCTドメインのオーディオフレーム損失補償方法のフローチャートである。
【図３】本発明におけるマルチ高調波/非マルチ高調波フレームの判断フローチャートである。
【図４】本発明におけるマルチ高調波フレームのフレーム損失補償方法のフローチャートである。
【図５】本発明の実施例1におけるマルチ高調波フレーム損失補償MDCT係数の計算方法のフローチャートである。
【図６】本発明におけるMDCTドメインのオーディオフレーム損失補償器ブロック図である。
【図７】本発明のほかの実施例におけるMDCTドメインのオーディオフレーム損失補償器のブロック図である。
【図８】本発明のまた他の実施例におけるMDCTドメインのオーディオフレーム損失補償器のブロック図である。
【発明を実施するための形態】
【００３３】
本発明は、高調波信号がMDCT-MDSTドメインでの位相が線形を呈する特徴を利用し、現在損失フレームの前の複数のフレームの情報を用いて予測し、現在損失フレームのMDCT-MDSTドメインの位相と振幅を取り得て、さらに、現在損失フレームのMDCT係数を取り得て、現在損失フレームのMDCT係数によって現在損失フレームの時間領域信号を取り得る主な思想とする。
【００３４】
本発明はMDCTドメインのオーディオフレーム損失補償方法を提案し、図2に示すように、以下のステップを含む。
【００３５】
ステップS1、復号側に現在フレームのデータパケットが損失することを発見すると、該現在フレームを現在損失フレームと称し、該現在損失フレームのタイプを判断し、現在損失フレームが非マルチ高調波フレームであると、ステップS2を実行し、ではないと、ステップS3を実行し、
その中、該現在損失フレームのタイプを判断するには現在損失フレームの前KのフレームのMDCT係数によって判断し、図3に示すように、
1a)現在損失フレームの前Kのフレームにおけるそれぞれのフレームに対して、該フレームのスペクトラムフラットネスを計算し、そのスペクトラムフラットネスが1つの予め設置したしきいより小さい際に、該フレームが主にマルチ高調波からなり、マルチ高調波定常状態信号フレームであると考えることと、
1b) 上記前Kのフレームにおいてマルチ高調波定常状態信号フレームの数目がK0フレームより小さいまたはそれと等しいと、現在損失フレームが非マルチ高調波フレームであり、ないと、マルチ高調波フレーム（例えば音楽フレーム）であると考え、その中、K0<=K 、K0、Kが予め設置された値であることを含む。
【００３６】
本発明は、現在損失フレームのタイプを判断するには図3に示すような方法に限られなく、他の方法によって判断してもよく、例えば、ゼロ交差レートによって判断し、本発明がこれに限られない。
【００３７】
ステップS2、現在損失フレームが非マルチ高調波フレームであると判断し、1つのフレーム内のすべての周波数点に対して、現在損失フレームの前の複数のフレームのMDCT係数値を用いて現在損失フレームのMDCT係数値を計算し、次に、ステップS4を実行する。
【００３８】
例えば、現在損失フレームの前1つのフレームのMDCT係数値の半分または他の割合を採用して現在損失フレームのMDCT係数値とする。
【００３９】
ステップS3、現在損失フレームがマルチ高調波フレームであると判断し、無遅延マルチ高調波フレーム損失補償アルゴリズムで推定して現在損失フレームのMDCT係数を取り得て、図4に示すように、具体的に、
3a）第pフレームのデータパケットが損失すると、即ち現在損失フレームが第pフレームであり、第pフレームの前にL1フレームを取ることを含む。
【００４０】
該L1フレームにおいて第p-1フレームを含む際に、現在損失フレームの前フレームが復号して得たMDCT係数によって、FMDST (Fast Modified Discrete Sine Transform、高速修正離散サイン変換)アルゴリズムで該L1フレームにおいて第p-1フレームの以外のL1-1フレームのMDST（Modified Discrete Sine Transform、修正離散サイン変換）係数を取り得る。該L1-1フレームにおけるそれぞれのフレームに対して、毎フレームのMDST係数とMDCT係数を該フレームのMDCT-MDSTドメイン複素数信号に組成し、その中、MDCT係数が実部パラメータであり、MDST係数が虚部パラメータである。
【００４１】
該L1フレームには第p-1フレームを含まない際に、現在損失フレームの前フレームが復号して得たMDCT係数によって、FMDSTアルゴリズムで該L1フレームのMDST係数を取り得て、該L1フレームにおけるそれぞれのフレームに対して、毎フレームのMDST係数とMDCT係数を該フレームのMDCT-MDSTドメイン複素数信号に組成し、その中、MDCT係数が実部パラメータであり、MDST係数が虚部パラメータである。
【００４２】
その中、MDST係数を計算する方法は次の通りである。
【００４３】
第p-1フレームと第p-2フレームのMDCT係数によって逆MDCT変換して第p-2フレームの時間領域信号を取り得て、第p-2フレームと第p-3フレームのMDCT係数によって逆MDCT変換して第p-3フレームの時間領域信号を取り得て、以上の通りであり、
第p-2フレームと第p-3フレームの時間領域信号によってFMDSTアルゴリズムで第p-2フレームのMDST係数を取り得て、第p-3フレームと第p-4フレームの時間領域信号によってFMDSTアルゴリズムで第p-3フレームのMDST係数を取り得て、以上の通りである。
【００４４】
その中、第pフレーム、第p-1フレーム等の各フレームの順序は図1に示す。
【００４５】
3b）上記L1フレームに対して毎フレームのピーク周波数点集合を求める。
【００４６】
このL1フレームには第p-1フレームを含むと、
第p-1フレームに対して、第p-1フレームのMDCT係数によって第p-1フレームにおいて各周波数点的パワーを計算し、該フレームにおいてパワーが最大である前の複数のピーク周波数点からなる集合を取得し、
第p-1フレームの以外のそれぞれのフレームに対して、該フレームのMDCT-MDSTドメイン複素数信号によって該フレームにおいて各周波数点のパワーを計算し、該フレームにおいてパワーが最大である前の複数のピーク周波数点からなる集合を取得し、その中、ピーク周波数点とはパワーがそれと隣接する2つの周波数点でのパワーより大きい周波数点である。
【００４７】
このL1フレームには第p-1フレームを含まないと、
該L1フレームにおけるそれぞれのフレームに対して、いずれもそのMDCT-MDSTドメイン複素数信号によって該フレームにおいてパワーが最大である前の複数のピーク周波数点からなる集合を取得する。
【００４８】
このL1個の集合における周波数点数が同様でまたは異なってもよい。
【００４９】
他の方式でこのL1個の集合を取得しても良く、例えば、それぞれのフレームに対して直接にパワーが1つの設定された閾値より大きいピーク周波数点からなる集合を取って、それぞれのフレームが取った閾値は同様でまたは異なってもよい。
【００５０】
3c）L1>1であると、仮にこのL1個の周波数点集合がS1,…,SL1と言われ、集合における対応の周波数点数がN1,…,NL1であると、1つの集合Siを選択し、Siにおけるそれぞれのピーク周波数点mjに対して、（j=1…Ni）、mj, mj±1,…,mj±k（kが非負の整数であり、普通にk＝0または1を取る）において同時に他のすべてのピーク周波数点集合に属する周波数点が存在するかどうかを判断し、存在すると、mj, mj±1,…,mj±kをいずれも周波数点集合SCに入れることと、
Siにおけるそれぞれのピーク周波数点mjに対して、（j=1…Ni）、mj, mj±1,…,mj±kにおいて同時に他のすべてのピーク周波数点集合に属する周波数点がないと、直接に1つのフレーム内のすべての周波数点をいずれも周波数点集合SCに入れる。
【００５１】
L1＝1であると、仮にこの周波数点集合がS1と言われ、その対応の周波数点数がN1であり、ピーク周波数点集合S1におけるそれぞれのピーク周波数点 mi（i=1…N1）に対して、mi, mi±1,…,mi±k kが非負の整数であり、普通にk＝0または1を取る）をいずれも周波数点集合SCに入れる。
【００５２】
ステップ3a、3b及びステップ3cの以上部分を実行しなくてもよく、直接に1つのフレーム内のすべての周波数点をいずれも周波数点集合SCに入れる。
【００５３】
3d）第p-1フレームの前にL2（L2>1）フレームを取って、該L2フレームを取り得るMDCT-MDSTドメイン複素数信号（具体的な計算方法はステップ3aにおける方法と同様である）を計算する。周波数点集合SCにおけるそれぞれの周波数点に対して、該L2フレームがMDCT-MDSTドメインでの位相を用いて予測し、現在損失フレームがMDCT-MDSTドメインでの位相を取り得て、該L2フレームがMDCT-MDSTドメインでの振幅を用いて予測し、現在損失フレームがMDCT-MDSTドメインでの振幅を取り得て、現在損失フレームの位相と振幅によってさらに現在損失フレームが対応の上記それぞれの周波数点でのMDCT係数を取り得る。
【００５４】
L2＝2であると、周波数点集合SCにおけるすべての周波数点に対して、それぞれの予測待ちの周波数点を選択したこの2つのフレームが該周波数点での位相を用いて線形外挿し、現在損失フレームが該周波数点でのMDCT-MDSTドメイン複素数信号位相を取り得て、この2つのフレームにおいて1つのフレームが該周波数点でのMDCT-MDSTドメインの振幅から現在損失フレームが該周波数点でのMDCT-MDSTドメイン複素数信号の振幅を取り得て、即ち該2つのフレームにおいて1つのフレームが該周波数点でのMDCT-MDSTドメインの振幅を現在損失フレームが該周波数点でのMDCT-MDSTドメインの振幅とする。
【００５５】
線形外挿の1つの方法は次の通りである。
【００５６】
L2＝2である際に、第t1フレーム、第t2フレームでこの2つのフレームをそれぞれ表し、次のように第pフレームのMDCT-MDSTドメインの位相を予測し、予測待ちの周波数点mに対して、
【数１３】
、上記
【数１４】
は第pフレームが周波数点mのMDCT-MDSTドメインでの位相の予測値であり、上記
【数１５】
は第t1フレームが周波数点mのMDCT-MDSTドメインでの位相であり、前記
【数１６】
は第t2フレームが周波数点mのMDCT-MDSTドメインでの位相である。
【００５７】
L2>2であると、集合SCにおけるすべての周波数点に対して、それぞれの予測待ちの周波数点にこのL2フレームが該周波数点のMDCT-MDSTドメインでの位相を用いて線形フィットを行い、現在損失フレームが該周波数点でのMDCT-MDSTドメインの複素数信号位相を取り得て、このL2フレームにおける1つのフレームが該周波数点でのMDCT-MDSTドメインの振幅から現在損失フレームが該周波数点でのMDCT-MDSTドメイン複素数信号の振幅を取り得て、即ち該L2フレームにおける1つのフレームが該周波数点でのMDCT-MDSTドメインの振幅を現在損失フレームが該周波数点でのMDCT-MDSTドメインの振幅とする。
【００５８】
3e）上記周波数点集合SCの他の周波数点に第pフレームの前の複数のフレームのMDCT係数値を用いて第pフレームのMDCT係数値を計算する。例えば、現在損失フレームの前1つのフレームのMDCT係数値の半分を現在損失フレームのMDCT係数値とする。
【００５９】
本発明の他の実施例において、ステップS3では、ステップ3aの前に、「1つのフレーム内のすべての周波数点に第pフレームの前の複数のフレームのMDCT係数値を用いて第pフレームのMDCT係数値を計算する」ステップを実行し、次に、ステップ3a、3b、3c及び3dを実行した後ステップ3eをスキップしてステップS4に進入しても良く、或いは、ステップ3dの前に「1つのフレーム内のすべての周波数点に第pフレームの前の複数のフレームのMDCT係数値を用いて第pフレームのMDCT係数値を計算する」こと実行し、次に、ステップ3dを実行した後ステップ3eをスキップしてステップS4に進入してもよい。
【００６０】
他の変形を加えてもよく、例えば、ステップ3eはステップ3cの後ステップS4の前に実行すればよく、即ち周波数点集合SCを取り得た後実行できる。
【００６１】
ステップS4、上記現在損失フレームがすべての周波数点でのMDCT係数にIMDCT（Inverse MDCT、修正離散コサイン逆変換）変換を行い、現在損失フレームの時間領域信号を取り得る。
【００６２】
上述実施例は以下のように変化しても良く、先に初期補償を行い、即ち先に1つのフレーム内のすべての周波数点に第pフレームの前の複数のフレーム的のMDCT係数値を用いて第pフレームのMDCT係数値を計算し、さらに、現在損失フレームのタイプを判断し、現在損失フレームのタイプによって異なるステップを実行し、非マルチ高調波フレームであると、直接にステップS4を実行し、マルチ高調波フレームであると、ステップS3におけるステップ3a、3b、3c及び3dを実行した後ステップ3eをスキップして直接にステップS4を実行してもよい。
【００６３】
以下で、2つの具体的な実施例を参照して本発明についてさらに説明する。
【００６４】
[実施例1]
ステップ110、復号側に現在フレームのデータパケットが損失することを発見し、現在フレーム（即ち現在損失フレーム）が非マルチ高調波フレームであるか或いはマルチ高調波フレーム（例えば多種の高調波からなる音楽フレーム）であるかを判断し、非マルチ高調波フレームであると、ステップ120を実行し、ではないと、ステップ130を実行し、
具体的な判断方法は、
現在損失フレームの前10フレームのスペクトラムフラットネスを計算し、スペクトラムフラットネスが0.1より小さい際に、該フレームがマルチ高調波定常状態信号フレームであると考える。損失フレームの前10フレームには8フレームより大きいものはマルチ高調波定常状態信号フレームである際に、現在損失フレームがマルチ高調波フレームであると考え、ではないと、非マルチ高調波フレームであると考え、スペクトラムフラットネスの計算方法は次の通りである。
【００６５】
第iフレームのスペクトラムフラットネスSFMiは第iフレーム信号の変換ドメインで信号振幅の幾何平均値と算術平均値の比に定義され、
【数１７】
その中、
【数１８】
は第iフレーム信号振幅の幾何平均であり、
【数１９】
は第iフレーム信号振幅の算術平均であり、ci(m)は第iフレームが周波数点mでのMDCT係数であり、MがMDCTドメイン信号フレームの長さである。
【００６６】
ステップ120、現在損失フレームが非マルチ高調波フレームであると判断すると、1つのフレーム内のすべての周波数点に現在損失フレームの前1つのフレームのMDCT係数値の半分を用いて現在損失フレームのMDCT係数値とし、即ち、
【数２０】
【００６７】
次に、ステップ140を実行する。
【００６８】
ステップ130、現在損失フレームがマルチ高調波フレームであると判断すると、無遅延マルチ高調波フレーム損失補償アルゴリズムで現在損失フレームのMDCT係数を取り得て、ステップ140を実行し、
具体的に無遅延マルチ高調波フレーム損失補償アルゴリズムで現在損失フレームMDCT係数を取り得る方法は図5に示すように、第pフレームのデータパケットが損失する際に、
まず、1つのフレーム内のすべての周波数点に第p-1フレームが該周波数点でのMDCT係数値の半分を用いて第pフレームが該周波数点でのMDCT係数値とし、式(2)に示すように、
次に、現在損失フレームの前フレームが復号して取り得たMDCT係数によって、FMDSTアルゴリズムで第p-2フレームと第p-3フレームのMDST係数sp-2(m)とsp-3(m) を取り得る。取り得た第p-2フレームと第p-3フレームのMDST係数及び第p-2フレームと第p-3フレームのMDCT係数cp-2(m)及びcp-3(m)をMDCT-MDSTドメインの複素数信号に組成し、
【数２１】
その中、jが虚数符号である。
【００６９】
第p-2フレームと第p-3フレームにおいて各周波数点のパワーを計算し、第p-2フレームと第p-3フレームにおいてパワーが最大である前10個のピーク周波数点（いずれかのフレームにおけるピーク周波数点が10個より少ないと、該フレームにおけるすべてのピーク周波数点を取る）をそれぞれ取って周波数点集合mp-2,mp-3に組成する。
【００７０】
第p-1フレームのMDCT係数によって第p-1フレームにおける各周波数点のパワーを推定する。
【００７１】
【数２２】
その中、
【数２３】
は第p-1フレームが周波数点mでのパワーであり、cp-1(m)は第p-1フレームが周波数点mでのMDCT係数であり、ほかには同様である。
【００７２】
第p-1フレームにおいてパワーが最大での前10個のピーク周波数点mip-1,i=1…10を求める。該フレームにおけるピーク周波数点数Np-1が10より小さいと、該フレームにおけるすべてのピーク周波数点mip-1,i=1…Np-1を取る。
【００７３】
それぞれのmip-1に対して、mip-1、mip-1±1（ピーク周波数点の付近の周波数点にそのパワーは大きい可能性があるため、それを第p-1フレームのピーク周波数点の集合に加える）に同時に集合mp-2,mp-3に属する周波数点が存在するかどうかを判断する。同時に集合mp-2,mp-3に属すると、下式（6）−（11）によって第pフレームが周波数点mip-1、mip-1±1（mip-1、mip-1±1において1つの点が同時に集合mp-2,mp-3に属すれば、mip-1、mip-1±1この3つの周波数点に次のように計算する）のMDCT-MDSTドメインでの複素数信号の位相と振幅を求め、
【数２４】
【００７４】
【数２５】
、Aは位相と振幅をそれぞれ表す。例えば、
【数２６】
は第pフレームが周波数点mでの位相であり、
【数２７】
は第p-2フレームが周波数点mでの位相であり、
【数２８】
は第p-3フレームが周波数点mでの位相であり、
【数２９】
は第pフレームが周波数点mでの振幅であり、Ap-2(m)は第p-2フレームが周波数点mでの振幅であり、他には同様である。
【００７５】
従って、補償して取り得た第pフレームが周波数点mでのMDCT係数は、
【数３０】
【００７６】
すべてのmip-1、mip-1±1において同時に集合mp-2,mp-3に属する周波数点がないと、現在損失フレーム内すべての周波数点を式(6)-(12)によってMDCT係数を推定する。
【００７７】
予測する必要な周波数点を求めなく、直接に現在損失フレーム内すべての周波数点を式(6)-(12)によってMDCT係数を推定してもよい。
【００７８】
ステップ140、現在損失フレームがすべての周波数点でのMDCT係数をIMDCT変換を行い、現在損失フレームの時間領域信号を取り得る。
【００７９】
[実施例2]
ステップ210、復号側に現在フレームのデータパケットが損失することを発見し、現在フレーム（即ち現在損失フレーム）が非マルチ高調波フレームであるか或いはマルチ高調波フレーム（例えば多種の高調波からなる音楽フレーム）であるかを判断し、非マルチ高調波フレームであると、ステップ220を実行し、ではないと、ステップ230を実行し、
現在損失フレームが非マルチ高調波フレームであるか或いはマルチ高調波フレームであるかを具体的に判断する方法は、
現在損失フレームの前10フレームのスペクトラムフラットネスを計算し、それぞれのフレームに対して、該フレームのスペクトラムフラットネスが0.1より小さい際に、該フレームがマルチ高調波定常状態信号フレームであると考える。損失フレームの前10フレームには8フレームより大きいものはマルチ高調波定常状態信号フレームである際に、現在損失フレームがマルチ高調波フレームであると考え、ではないと、非マルチ高調波フレームであると考える。その中、の計算方法は次の通りである。
【００８０】
第iフレームのスペクトラムフラットネスSFMiは第iフレーム信号の変換ドメインで信号振幅の幾何平均値と算術平均値の比に定義され、
【数３１】
その中、
【数３２】
は第iフレーム信号振幅の幾何平均であり、
【数３３】
は第iフレーム信号振幅の算術平均であり、ci(m)は第iフレームが周波数点mでのMDCT係数であり、MがMDCTドメイン信号フレームの長さである。
【００８１】
ステップ220、現在損失フレームが非マルチ高調波フレームであると判断すると、1つのフレーム内のすべての周波数点に現在損失フレームの前1つのフレームのMDCT係数値の半分を用いて現在損失フレームのMDCT係数値とし、即ち、
【数３４】
【００８２】
次に、ステップ240を実行する。
【００８３】
ステップ230、現在損失フレームがマルチ高調波フレームであると判断すると、無遅延マルチ高調波フレーム損失補償アルゴリズムで現在損失フレームのMDCT係数を取り得て、ステップ240を実行し、
具体的に無遅延マルチ高調波フレーム損失補償アルゴリズムで現在損失フレームMDCT係数を取り得る方法は、第pフレームのデータパケットが損失する際に、現在損失フレームの前フレームが復号して取り得たMDCT係数によって、FMDSTアルゴリズムで第p-2フレーム、第p-3フレーム及び第p-4フレームのMDST係数sp-2(m)、sp-3(m) 及びsp-4(m) を取り得る。取り得た第p-2フレーム、第p-3フレーム及び第p-4フレームのMDST係数と第p-2フレーム、第p-3フレーム及び第p-4フレームのMDCT係数cp-2(m)、cp-3(m) 及びcp-4(m) をMDCT-MDSTドメインの複素数信号に組成し、
【数３５】
【００８４】
その中、jが虚数符号である。
【００８５】
第p-2フレーム、第p-3フレーム及び第p-4フレームにおいて各周波数点のパワーを計算し、第p-2フレーム、第p-3フレーム及び第p-4フレームにおいてパワーが最大である前10個のピーク周波数点（いずれかのフレームにおけるピーク周波数点が10個より少ないと、該フレームにおけるすべてのピーク周波数点を取る）をそれぞれ取って周波数点集合mp-2,mp-3,mp-4に組成する。
【００８６】
周波数点集合mp-4におけるそれぞれの周波数点mip-4に対して、mip-4、mip-4±1（ピーク周波数点の付近の周波数点にそのパワーは大きい可能性があるため、それを第p-4フレームのピーク周波数点の集合に加える）においてに同時に集合mp-2,mp-3に属する周波数点が存在するかどうかを判断する。同時に集合mp-2,mp-3に属する周波数点が存在すると、下式（18）−（27）によって第pフレームが周波数点mip-1、mip-1±1（mip-1、mip-1±1において1つの点が同時に集合mp-2,mp-3に属すれば、mip-1、mip-1±1この3つの周波数点に次のように計算する）のMDCT-MDSTドメインでの複素数信号の位相と振幅を求め、
【数３６】
【数３７】
、Aは位相と振幅をそれぞれ表す。例えば、
【数３８】
は第pフレームが周波数点mでの位相であり、
【数３９】
は第p-2フレームが周波数点mでの位相であり、
【数４０】
は第p-3フレームが周波数点mでの位相であり、
【数４１】
は第pフレームが周波数点mでの振幅であり、Ap-2(m)は第p-2フレームが周波数点mでの振幅であり、他には同様である。
以下で、最小二乗法で異なるフレームが同一の周波数点での位相の線形フィット関数
【数４２】
を求め、
その中、xがフレーム番号を表し、a0,a1が求めたい線形フィット関数の係数を表す。
【００８７】
最小二乗準則でフィット誤差を測定する方法によって、方程式
【数４３】
からa0,a1を解する。他の実施例において、最小二乗準則と異なるほかの準則でフィット誤差を測定し、フィット係数を推定する。解したa0,a1によれば第pフレームが周波数点mでの位相
【数４４】
を推定して取り得ることができ、
従って、補償して取り得た第pフレームが周波数点mでのMDCT係数が
【数４５】
であり、
すべてのmip-4、mip-4±1において同時に集合mp-2,mp-3に属する周波数点が存在すると、SCで上記のすべての式(18)-(28)によって補償する周波数点からなる集合を表し、1つのフレーム内が周波数点集合SCの外での周波数点に現在損失フレームの前1つのフレームのMDCT係数値の半分を用いて現在損失フレームのMDCT係数値とする。
【００８８】
すべてのmip-4、mip-4±1において同時に集合mp-2,mp-3に属する周波数点がないと、現在損失フレーム内のすべての周波数点を式(18)-(28)によってMDCT係数を推定する。
【００８９】
予測する必要な周波数点を求めなく、直接に現在損失フレーム内すべての周波数点を式(18)-(28)によってMDCT係数を推定してもよい。
【００９０】
ステップ240、現在損失フレームがすべての周波数点でのMDCT係数にIMDCT変換を行い、現在損失フレームの時間領域信号を取り得る。
【００９１】
本発明はさらにMDCTドメインのオーディオフレーム損失補償器を提供し、フレームタイプ検出モジュール、非マルチ高調波フレーム損失補償モジュール、マルチ高調波フレーム損失補償モジュール、第2補償モジュール及びIMDCTモジュールを備え、図6に示すように、その中、
上記フレームタイプ検出モジュールは、損失フレームを検出する際に、現在損失フレームのタイプを判断し、非マルチ高調波フレームであると、非マルチ高調波フレーム損失補償モジュールを指示して補償し、マルチ高調波フレームであると、上記マルチ高調波フレーム損失補償モジュールを指示して補償するように設置され、現在損失フレームのタイプを具体的に判断する方法は以上の通りであり、ここで説明しない。
【００９２】
上記非マルチ高調波フレーム損失補償モジュールは、1つのフレーム内のすべての周波数点に現在損失フレームの前の複数のフレームのMDCT係数値を用いて現在損失フレームのMDCT係数値を計算し、該MDCT係数をIMDCTモジュールに送信するように設置され、
上記マルチ高調波フレーム損失補償モジュールは、現在損失フレームが第pフレームである際に、予測待ちの周波数点集合を取得し、上記予測待ちの周波数点集合におけるそれぞれの周波数点に第p-1フレームの前の複数のフレームがMDCT-MDSTドメインでの位相と振幅を用いて予測し、第pフレームがMDCT-MDSTドメインでの位相と振幅を取り得て、前記予測して得た第pフレームがMDCT-MDSTドメインでの位相と振幅を用いて第pフレームが対応の上記それぞれの周波数点でのMDCT係数を取り得て、該MDCT係数を第2補償モジュールに送信し、上記第p-1フレームが第pフレームの前1つのフレームであるように設置され、
上記マルチ高調波フレーム損失補償モジュールは、第p-2フレーム、第p-3フレームのMDCT-MDSTドメイン複素数信号と第p-1フレームのMDCT係数を用いて予測待ちの周波数点集合を取得し、該周波数点集合におけるそれぞれの周波数点に第p-2フレーム、第p-3フレームがMDCT-MDSTドメインでの位相と振幅を用いて予測し、第pフレームがMDCT-MDSTドメインでの位相と振幅を取り得るように設置される。
【００９３】
上記マルチ高調波フレーム損失補償モジュールは予測待ちの周波数点集合を取得する際に、第pフレームの前の複数のフレーム的MDCT-MDSTドメイン複素数信号及び/またはMDCT係数を用いて予測待ちの周波数点集合を取得し、或いは、直接に1つのフレーム内のすべての周波数点を上記周波数点集合に入れる。
【００９４】
上記第2補償モジュールは、1つのフレーム内に上記予測待ちの周波数点集合以外の周波数点に第pフレームの前の複数のフレームのMDCT係数値を用いて第pフレームが該周波数点でのMDCT係数値を計算し、第pフレームのすべての周波数点でのMDCT係数をIMDCTモジュールに送信し、さらに、上記第2補償モジュールは第p-1フレームのMDCT係数値の半分を用いて第pフレームが上記予測待ちの周波数点集合の以外の周波数点のMDCT係数値とするように設置される。
【００９５】
上記マルチ高調波フレーム損失補償モジュールは周波数点集合生成ユニットと係数生成ユニットをさらに含み、その中、
上記周波数点集合生成ユニットは、予測待ちの周波数点集合SCを生成するように設置され、
上記係数生成ユニットは、第p-1フレームの前のL2フレームがMDCT-MDSTドメインでの位相と振幅を用いて予測し、第pフレームにおいて周波数点集合SCに属する各周波数点の位相と振幅を取り得て、上記予測して得た第pフレームがMDCT-MDSTドメインでの位相と振幅を用いて、第pフレームが対応の上記それぞれの周波数点でのMDCT係数を取り得て、該MDCT係数を第2補償モジュールに送信し、その中、L2>1であるように設置される。
【００９６】
上記周波数点集合生成ユニットは、次のように予測待ちの周波数点集合SCを生成し、上記第pフレームの前の複数のフレームをL1フレームとし、上記L1フレームにおいて各周波数点のパワーを計算し、該L1フレームにおいて各フレームのピーク周波数点からなる集合S1,…,SL1を取得し、各集合における対応の周波数点数がN1,…,NL1であり、
上記L1個の集合S1,…,SL1から1つの集合Siを選択し、Siにおけるそれぞれのピーク周波数点mj mjに対して、j=1…Ni、mj, mj±1,…,mj±kにおいて同時に他のすべてのピーク周波数点集合に属する周波数点が存在するかどうかを判断し、存在すると、mj, mj±1,…,mj±kをいずれも周波数点集合SCに入れ、
Siにおけるそれぞれのピーク周波数点mjに対して、j=1…Ni、mj, mj±1,…,mj±kにおいて同時に他のすべてのピーク周波数点集合に属する周波数点がないと、直接に1つのフレーム内のすべての周波数点をいずれも周波数点集合SCに入れるように設置され、
その中、kが非負の整数である。上記ピーク周波数点とはパワーがそれと隣接する2つの周波数点でのパワーより大きい周波数点である。
【００９７】
上記L1フレームには第p-1フレームを含む際に、上記周波数点集合生成ユニットが、第p-1フレームにおける各周波数点のパワーは次のように計算し、
【数４６】
、その中、
【数４７】
は第p-1フレームが周波数点mでのパワーであり、cp-1(m)は第p-1フレームが周波数点mでのMDCT係数であり、cp-1(m+1)は第p-1フレームが周波数点m＋1でのMDCT係数であり、cp-1(m-1)は第p-1フレームが周波数点m−1でのMDCT係数である。
【００９８】
上記係数生成ユニットは位相予測サブユニットと振幅予測サブユニットをさらに含み、その中、
上記位相予測サブユニットは、予測待ちの周波数点に選択した該L2フレームが該周波数点のMDCT-MDSTドメインでの位相を用いて線形外挿または線形フィットを行い、第pフレームが該周波数点のMDCT-MDSTドメインでの位相を取り得るように設置され、
上記振幅予測サブユニットは、該L2フレームにおける1つのフレームが該周波数点のMDCT-MDSTドメインでの振幅から第pフレームが該周波数点のMDCT-MDSTドメインでの振幅を取り得るように設置される。
【００９９】
L2＝2である際に、第t1フレーム、第t2フレームでこのフレームをそれぞれ表し、上記位相予測サブユニットは第pフレームのMDCT-MDSTドメインの位相を次のように予測し、予測待ちの周波数点mに対して、
【数４８】
、上記
【数４９】
は第pフレームが周波数点mのMDCT-MDSTドメインでの位相の予測値であり、上記
【数５０】
は第t1フレームが周波数点mのMDCT-MDSTドメインでの位相であり、上記
【数５１】
は第t2フレームが周波数点mのMDCT-MDSTドメインでの位相である。
【０１００】
L2>2である際に、上記位相予測サブユニットは第pフレームのMDCT-MDSTドメインの位相を次のように予測し、予測待ちの周波数点に対して、選択した該L2フレームが該周波数点のMDCT-MDSTドメインでの位相を線形フィットし、第pフレームが該周波数点のMDCT-MDSTドメインでの位相を取り得る。
【０１０１】
上記IMDCTモジュールは、上記現在損失フレームがすべての周波数点でのMDCT係数をIMDCT変換を行い、第pフレームの時間領域信号を取り得るように設置される。
【０１０２】
図6に示すように、MDCTドメインのオーディオフレーム損失補償器は変更しても良く、図7に示すように、フレームタイプ検出モジュール、非マルチ高調波フレーム損失補償モジュール、マルチ高調波フレーム損失補償モジュール、第2補償モジュール及びIMDCTモジュールを備え、第2補償モジュールとフレームタイプ検出モジュールはマルチ高調波フレーム損失補償モジュールに接続し、マルチ高調波フレーム損失補償モジュールがIMDCTモジュールに接続し、その中、
上記第2補償モジュールは、1つのフレーム内のすべての周波数点に現在損失フレームの前の複数のフレームのMDCT係数値を用いて現在損失フレームのMDCT係数値を計算し、該MDCT係数をマルチ高調波フレーム損失補償モジュールに送信するように設置され、
上記マルチ高調波フレーム損失補償モジュールは、予測待ちの周波数点集合を取得し、第pフレームが予測待ちの周波数点集合において各周波数点のMDCT係数を取り得て、具体的な方法は図6にはマルチ高調波フレーム損失補償モジュールと同様であり、予測待ちの周波数点集合の外の各周波数点に第2補償モジュールから取り得たMDCT係数を用いて第pフレームが該周波数点でのMDCT係数とし、第pフレームのすべての周波数点でのMDCT係数をIMDCTモジュールに送信するように設置される。
【０１０３】
他の各モジュール機能は図6には各モジュールと同様で、ここで説明しない。
【０１０４】
図8に示すように、本発明のもう1つのMDCTドメインのオーディオフレーム損失補償器ブロック図であり、その中、MDCTドメインのオーディオフレーム損失補償器は非マルチ高調波フレーム損失補償モジュール、フレームタイプ検出モジュール、マルチ高調波フレーム損失補償モジュール及びIMDCTモジュールを備え、その中、
上記非マルチ高調波フレーム損失補償モジュールは、損失フレームを検出する際に、1つのフレーム内のすべての周波数点に現在損失フレームの前の複数のフレームのMDCT係数値を用いて現在損失フレームのMDCT係数値を計算し、該MDCT係数をフレームタイプ検出モジュールに送信するように設置され、
上記フレームタイプ検出モジュールは、現在損失フレームのタイプを判断し、非マルチ高調波フレームであると、非マルチ高調波フレーム損失補償モジュールから受信したMDCT係数をIMDCTモジュールに送信し、マルチ高調波フレームであると、該MDCT係数をマルチ高調波フレーム損失補償モジュールに送信するように設置され、現在損失フレームのタイプを具体的に判断する方法は以上の通りであり、ここで説明しない。
【０１０５】
上記マルチ高調波フレーム損失補償モジュールは、予測待ちの周波数点集合を取得し、第pフレームが予測待ちの周波数点集合において各周波数点のMDCT係数を取り得て、具体的な方法は図6にはマルチ高調波フレーム損失補償モジュールと同様であり、予測待ちの周波数点集合の外の各周波数点にフレームタイプ検出モジュールから取り得たMDCT係数を用いて第pフレームが該周波数点でのMDCT係数とし、第pフレームのすべての周波数点でのMDCT係数をIMDCTモジュールに送信するように設置され、
上記IMDCTモジュールは、上記現在損失フレームがすべての周波数点でのMDCT係数にIMDCT変換を行い、第pフレームの時間領域信号を取り得るように設置される。
【０１０６】
本発明が提案するフレーム損失補償方法及びフレーム損失補償器は、
リアルタイムかつ双方向の通信、例えば、無線、IP会議テレビ及びリアルタイム放送サービスのIPTV、モバイルストリーミングメディア、モバイルTV等の分野のオーディオフレーム損失補償問題に適用でき、トランスポートストリームの誤り耐性の能力を向上するようにする。本発明は補償操作によって音声オーディオネットワーク伝送のパケット損失による音質の下降をよく避け、パケット損失後の音声オーディオ品質の快適度を向上し、良好な主観的な聴覚効果を取得することができる。
【産業上の利用可能性】
【０１０７】
従来技術に比べ、本発明が提案するMDCTドメインのオーディオフレーム損失補償器及び補償方法は、無遅延、計算量メモリ量が小さく、実現やすい等のメリットを有する。
【特許請求の範囲】
【請求項１】
修正離散コサイン変換ドメインのオーディオフレーム損失補償方法であって、
現在損失フレームが第pフレームである際に、予測待ちの周波数点集合を取得し、前記予測待ちの周波数点集合におけるそれぞれの周波数点に対して第p-1フレームの前の複数のフレームが修正離散コサイン変換−修正離散サイン変換MDCT-MDSTドメインでの位相と振幅を用いて予測し、第pフレームがMDCT-MDSTドメインでの位相と振幅を取り得て、予測して得た前記第pフレームがMDCT-MDSTドメインでの位相と振幅を用いて第pフレームが前記それぞれの周波数点での修正離散コサイン変換ドメインMDCT係数を取り得て、その中、前記第p-1フレームが第pフレームの前の1つのフレームであるステップaと、
1つのフレーム内における前記予測待ちの周波数点集合の以外の周波数点に対して、第pフレームの前の複数のフレームのMDCT係数値を用いて第pフレームが該周波数点でのMDCT係数値を計算するステップbと、
第pフレームのすべての周波数点でのMDCT係数に修正離散コサイン逆変換IMDCTを行い、第pフレームの時間領域信号を取り得るステップcを含む。
【請求項２】
前記ステップaの前に、現在フレームが損失することを検出する際に、現在損失フレームのタイプを判断し、現在損失フレームがマルチ高調波フレームであると、ステップaを実行することをさらに含む請求項1に記載の方法。
【請求項３】
現在損失フレームのタイプを判断するステップは、
現在損失フレームの前Kのフレームの毎フレームのスペクトラムフラットネスを計算し、該Kフレームにおいて、スペクトラムフラットネスがあるしきい値より小さいフレームの個数はK0より小さいまたはそれに等しいと、現在損失フレームが非マルチ高調波フレームであり、スペクトラムフラットネスが該しきい値より小さいフレームの個数はK0より大きいと、現在損失フレームがマルチ高調波フレームであり、その中、K0<=K、K0、Kが自然数であることを含む請求項2に記載の方法。
【請求項４】
前記ステップaにおいて、予測待ちの周波数点集合を取得するステップはさらに、
第pフレームの前の複数のフレームのMDCT-MDSTドメイン複素数信号及び/またはMDCT係数を用いて予測待ちの周波数点集合SCを取得し、或いは、直接に1つのフレーム内のすべての周波数点を前記予測待ちの周波数点集合SCに入れることを含む請求項1に記載の方法。
【請求項５】
第pフレームの前の複数のフレームのMDCT-MDSTドメイン複素数信号及び/またはMDCT係数を用いて予測待ちの周波数点集合SCを取得するステップは、
前記第pフレームの前の複数のフレームをL1フレームとし、前記L1フレームにおいて各周波数点のパワーを計算し、該L1フレームにおいて各フレームのピーク周波数点からなるL1個の集合S1,…,SL1を取得し、各集合が対応する周波数点数がN1,…,NL1であることと、
前記L1個の集合S1,…,SL1から1つの集合Siを選択し、Siにおけるそれぞれのピーク周波数点 mjに対して、j=1…Ni、mj, mj±1,…,mj±kにおいて同時に他のすべてのピーク周波数点集合に属する周波数点が存在するかどうかを判断し、
存在すると、mj, mj±1,…,mj±kをいずれも周波数点集合SCに入れることと、
同時に他のすべてのピーク周波数点集合に属する周波数点がないと、直接に1つのフレーム内のすべての周波数点をいずれも周波数点集合SCに入れ、
その中、前記kが非負の整数であることを含む請求項4に記載の方法。
【請求項６】
前記ピーク周波数点とはパワーがそれと隣接する2つの周波数点でのパワーより大きい周波数点である請求項5に記載の方法。
【請求項７】
前記L1フレームには第p-1フレームを含む際に、第p-1フレームにおける各周波数点のパワーは次のように計算し、
【数１】
、その中、
【数２】
は第p-1フレームが周波数点mでのパワーであり、cp-1(m)は第p-1フレームが周波数点mでのMDCT係数であり、cp-1(m+1)は第p-1フレームが周波数点m＋1でのMDCT係数であり、cp-1(m-1)は第p-1フレームが周波数点m−1でのMDCT係数である請求項5に記載の方法。
【請求項８】
前記ステップaにおいて第pフレームがMDCT-MDSTドメインでの位相と振幅を予測して得るステップは、第p-1フレームの前のL2フレームが該周波数点のMDCT-MDSTドメインでの位相を用いて線形外挿または線形フィットを行い、第pフレームが該周波数点のMDCT-MDSTドメインでの位相を取り得ること、及び
該L2フレームにおいて1つのフレームが該周波数点でのMDCT-MDSTドメインの振幅から第pフレームが該周波数点でのMDCT-MDSTドメインの振幅を取り得て、その中、L2>1であることを含む請求項1〜7のいずれか１項に記載の方法。
【請求項９】
L2＝2である際に、第p-1フレームの前のL2フレームが該周波数点のMDCT-MDSTドメインでの位相を用いて線形外挿または線形フィットを行い、第pフレームが該周波数点のMDCT-MDSTドメインでの位相を取り得るステップは、
下記公式
【数３】
によって第pフレームのMDCT-MDSTドメインの位相を取り得て、
その中、第t1フレーム、第t2フレームは第p-1フレームの前の2つのフレームをそれぞれ表し、mが予測待ちの周波数点であり、
【数４】
は第t1フレームが周波数点mのMDCT-MDSTドメインでの位相であり、
【数５】
は第t2フレームが周波数点mのMDCT-MDSTドメインでの位相であることを含む請求項8に記載の方法。
【請求項１０】
L2>2である際に、第p-1フレームの前のL2フレームが該周波数点のMDCT-MDSTドメインでの位相を用いて線形外挿または線形フィットを行い、第pフレームが該周波数点のMDCT-MDSTドメインでの位相を取り得るステップは、
予測待ちの周波数点に対して、第p-1フレームの前のL2フレームが該周波数点のMDCT-MDSTドメインでの位相に線形フィットを行い、第pフレームが該周波数点のMDCT-MDSTドメインでの位相を取り得ることを含む請求項8に記載の方法。
【請求項１１】
第pフレームの前の複数のフレームのMDCT-MDSTドメイン複素数信号及び/またはMDCT係数を用いて予測待ちの周波数点集合SCを取得するステップは、第p-2フレーム、第p-3フレームのMDCT-MDSTドメイン複素数信号と第p-1フレームのMDCT係数を用いて予測待ちの周波数点集合SCを取得することを含み、
第p-1フレームの前の複数のフレームがMDCT-MDSTドメインでの位相と振幅を用いて予測し、第pフレームがMDCT-MDSTドメインでの位相と振幅を取り得るステップは、
前記周波数点集合SCにおけるそれぞれの周波数点に第p-2フレーム、第p-3フレームがMDCT-MDSTドメインでの位相と振幅を用いて予測し、第pフレームがMDCT-MDSTドメインでの位相と振幅を取り得ることを含む請求項4に記載の方法。
【請求項１２】
第pフレームの前の複数のフレームのMDCT係数を用いて第pフレームが該周波数点でのMDCT係数を計算するステップは、
第p-1フレームのMDCT係数の半分を用いて第pフレームのMDCT係数とすることを含む請求項1〜7のいずれか１項に記載の方法。
【請求項１３】
修正離散コサイン変換ドメインのオーディオフレーム損失補償器であって、前記フレーム損失補償器はマルチ高調波フレーム損失補償モジュール、第2補償モジュール及びIMDCTモジュールを備え、
前記マルチ高調波フレーム損失補償モジュールは、現在損失フレームが第pフレームである際に、予測待ちの周波数点集合を取得し、前記予測待ちの周波数点集合におけるそれぞれの周波数点に対して、第p-1フレームの前の複数のフレームがMDCT-MDSTドメインでの位相と振幅を用いて予測し、第pフレームがMDCT-MDSTドメインでの位相と振幅を取り得て、前記予測して得た第pフレームがMDCT-MDSTドメインでの位相と振幅を用いて第pフレームが前記それぞれの周波数点でのMDCT係数を取り得て、該MDCT係数を第2補償モジュールに送信し、その中、前記第p-1フレームが第pフレームの前1つのフレームであるように設置され、
前記第2補償モジュールは、1つのフレーム内における前記予測待ちの周波数点集合の以外の周波数点に対して、第pフレームの前の複数のフレームのMDCT係数値を用いて第pフレームが該周波数点でのMDCT係数値を計算し、第pフレームのすべての周波数点でのMDCT係数をIMDCTモジュールに送信するように設置され、
前記IMDCTモジュールは、第pフレームのすべての周波数点でのMDCT係数にIMDCT変換を行い、第pフレームの時間領域信号を取り得るように設置される修正離散コサイン変換ドメインのオーディオフレーム損失補償器。
【請求項１４】
フレームタイプ検出モジュールをさらに含み、前記フレームタイプ検出モジュールは、損失フレームを検出する際に、現在損失フレームのタイプを判断し、マルチ高調波フレームであると、前記マルチ高調波フレーム損失補償モジュールを指示して補償するように設置される請求項13に記載のフレーム損失補償器。
【請求項１５】
前記フレームタイプ検出モジュールは、次のように現在損失フレームのタイプを判断し、現在損失フレームの前Kフレームの毎フレームのスペクトラムフラットネスを計算し、該Kフレームにおいて、スペクトラムフラットネスがあるしきい値より小さいフレームの個数はK0より小さいまたはそれに等しいと、現在損失フレームが非マルチ高調波フレームであり、スペクトラムフラットネスが該しきい値より小さいフレームの個数はK0より大きいと、現在損失フレームがマルチ高調波フレームであり、その中、K0<=K、K0、Kが自然数であるように設置される請求項14に記載のフレーム損失補償器。
【請求項１６】
前記マルチ高調波フレーム損失補償モジュールは周波数点集合生成ユニットを含み、前記マルチ高調波フレーム損失補償モジュールは、前記周波数点集合生成ユニットが第pフレームの前の複数のフレームのMDCT-MDSTドメイン複素数信号及び/またはMDCT係数を用いることによって予測待ちの周波数点集合SCを取得し、或いは、直接に1つのフレーム内のすべての周波数点を前記予測待ちの周波数点集合SCに入れるように設置される請求項13に記載のフレーム損失補償器。
【請求項１７】
前記周波数点集合生成ユニットは、次のように第pフレームの前の複数のフレームのMDCT-MDSTドメイン複素数信号及び/またはMDCT係数を用いて予測待ちの周波数点集合SCを取得し、
前記第pフレームの前の複数のフレームをL1フレームとし、前記L1フレームにおいて各周波数点のパワーを計算し、該L1フレームにおいて各フレームのピーク周波数点からなるL1個の集合S1,…,SL1を取得し、各集合における対応の周波数点数がそれぞれN1,…,NL1であり、
前記L1個の集合S1,…,SL1から1つの集合Siを選択し、Siにおけるそれぞれのピーク周波数点mjに対して、j=1…Ni、mj, mj±1,…,mj±kにおいて同時に他のすべてのピーク周波数点集合に属する周波数点が存在するかどうかを判断し、存在すると、mj, mj±1,…,mj±kをいずれも周波数点集合SCに入れ、
Siにおけるそれぞれのピーク周波数点mjに対して、j=1…Ni、mj, mj±1,…,mj±kにおいて同時に他のすべてのピーク周波数点集合に属する周波数点がないと、直接に1つのフレーム内のすべての周波数点をいずれも周波数点集合SCに入れ、その中、kが非負の整数であるように設置される請求項16に記載のフレーム損失補償器。
【請求項１８】
前記ピーク周波数点とはパワーがそれと隣接する2つの周波数点でのパワーより大きい周波数点である請求項17に記載のフレーム損失補償器。
【請求項１９】
前記周波数点集合生成ユニットは、前記L1フレームには第p-1フレームを含む際に、第p-1フレームにおける各周波数点のパワーは次のように計算し、
【数６】
、その中、
【数７】
は第p-1フレームが周波数点mでのパワーであり、cp-1(m)は第p-1フレームが周波数点mでのMDCT係数であり、cp-1(m+1)は第p-1フレームが周波数点m＋1でのMDCT係数であり、cp-1(m-1)は第p-1フレームが周波数点m−1でのMDCT係数であるように設置される請求項17に記載のフレーム損失補償器。
【請求項２０】
前記マルチ高調波フレーム損失補償モジュールは係数生成ユニットをさらに含み、前記マルチ高調波フレーム損失補償モジュールは、前記係数生成ユニットが第p-1フレームの前のL2フレームがMDCT-MDSTドメインでの位相と振幅を用いることによって予測し、第pフレームにおいて前記予測待ちの周波数点集合に属する各周波数点の位相と振幅を取り得て、予測して得た第pフレームの位相と振幅を用いて第pフレームが対応の前記それぞれの周波数点でのMDCT係数のMDCT係数を取り得て、該MDCT係数を第2補償モジュールに送信し、その中、L2>1であるように設置され、
前記係数生成ユニットは位相予測サブユニットと振幅予測サブユニットを含み、
前記位相予測サブユニットは、予測待ちの周波数点に対して、選択した該L2フレームが該周波数点のMDCT-MDSTドメインでの位相を用いて線形外挿または線形フィットを行い、第pフレームが該周波数点のMDCT-MDSTドメインでの位相を取り得るように設置され、
前記振幅予測サブユニットは、該L2フレームにおける1つのフレームが該周波数点でのMDCT-MDSTドメインの振幅から第pフレームが該周波数点でのMDCT-MDSTドメインの振幅を取り得るように設置される請求項13〜19のいずれか１項に記載のフレーム損失補償器。
【請求項２１】
前記位相予測サブユニットは、L2＝2である際に、下記の公式
【数８】
によって第pフレームのMDCT-MDSTドメインの位相を予測し、
その中、第t1フレーム、第t2フレームは第p-1フレームの前の2つのフレームをそれぞれ表し、mが予測待ちの周波数点であり、
【数９】
は第pフレームが周波数点mのMDCT-MDSTドメインでの位相の予測値であり、前記
【数１０】
は第t1フレームが周波数点mのMDCT-MDSTドメインでの位相であり、
【数１１】
は第t2フレームが周波数点mのMDCT-MDSTドメインでの位相であるように設置される請求項20に記載のフレーム損失補償器。
【請求項２２】
L2>2である際に、次のように第pフレームのMDCT-MDSTドメインの位相を予測し、予測待ちの周波数点に対して、選択した該L2フレームが該周波数点のMDCT-MDSTドメインでの位相に線形フィットを行い、第pフレームが該周波数点のMDCT-MDSTドメインでの位相を取り得るように設置される請求項20に記載のフレーム損失補償器。
【請求項２３】
前記マルチ高調波フレーム損失補償モジュールは、第p-2フレーム、第p-3フレームのMDCT-MDSTドメイン複素数信号と第p-1フレームのMDCT係数を用いて予測待ちの周波数点集合を取得し、及び該周波数点集合におけるそれぞれの周波数点に対して、第p-2フレーム、第p-3フレームがMDCT-MDSTドメインでの位相と振幅予測を用いて第pフレームがMDCT-MDSTドメインでの位相と振幅を取り得るように設置される請求項16に記載のフレーム損失補償器。
【請求項２４】
前記第2補償モジュールは、第p-1フレームのMDCT係数の半分を採用して第pフレームが前記予測待ちの周波数点集合の以外の周波数点のMDCT係数とするように設置される請求項13〜19のいずれか１項に記載のフレーム損失補償器。
【請求項１】
修正離散コサイン変換ドメインのオーディオフレーム損失補償方法であって、
現在損失フレームが第pフレームである際に、予測待ちの周波数点集合を取得し、前記予測待ちの周波数点集合におけるそれぞれの周波数点に対して第p-1フレームの前の複数のフレームが修正離散コサイン変換−修正離散サイン変換MDCT-MDSTドメインでの位相と振幅を用いて予測し、第pフレームがMDCT-MDSTドメインでの位相と振幅を取り得て、予測して得た前記第pフレームがMDCT-MDSTドメインでの位相と振幅を用いて第pフレームが前記それぞれの周波数点での修正離散コサイン変換ドメインMDCT係数を取り得て、その中、前記第p-1フレームが第pフレームの前の1つのフレームであるステップaと、
1つのフレーム内における前記予測待ちの周波数点集合の以外の周波数点に対して、第pフレームの前の複数のフレームのMDCT係数値を用いて第pフレームが該周波数点でのMDCT係数値を計算するステップbと、
第pフレームのすべての周波数点でのMDCT係数に修正離散コサイン逆変換IMDCTを行い、第pフレームの時間領域信号を取り得るステップcを含む。
【請求項２】
前記ステップaの前に、現在フレームが損失することを検出する際に、現在損失フレームのタイプを判断し、現在損失フレームがマルチ高調波フレームであると、ステップaを実行することをさらに含む請求項1に記載の方法。
【請求項３】
現在損失フレームのタイプを判断するステップは、
現在損失フレームの前Kのフレームの毎フレームのスペクトラムフラットネスを計算し、該Kフレームにおいて、スペクトラムフラットネスがあるしきい値より小さいフレームの個数はK0より小さいまたはそれに等しいと、現在損失フレームが非マルチ高調波フレームであり、スペクトラムフラットネスが該しきい値より小さいフレームの個数はK0より大きいと、現在損失フレームがマルチ高調波フレームであり、その中、K0<=K、K0、Kが自然数であることを含む請求項2に記載の方法。
【請求項４】
前記ステップaにおいて、予測待ちの周波数点集合を取得するステップはさらに、
第pフレームの前の複数のフレームのMDCT-MDSTドメイン複素数信号及び/またはMDCT係数を用いて予測待ちの周波数点集合SCを取得し、或いは、直接に1つのフレーム内のすべての周波数点を前記予測待ちの周波数点集合SCに入れることを含む請求項1に記載の方法。
【請求項５】
第pフレームの前の複数のフレームのMDCT-MDSTドメイン複素数信号及び/またはMDCT係数を用いて予測待ちの周波数点集合SCを取得するステップは、
前記第pフレームの前の複数のフレームをL1フレームとし、前記L1フレームにおいて各周波数点のパワーを計算し、該L1フレームにおいて各フレームのピーク周波数点からなるL1個の集合S1,…,SL1を取得し、各集合が対応する周波数点数がN1,…,NL1であることと、
前記L1個の集合S1,…,SL1から1つの集合Siを選択し、Siにおけるそれぞれのピーク周波数点 mjに対して、j=1…Ni、mj, mj±1,…,mj±kにおいて同時に他のすべてのピーク周波数点集合に属する周波数点が存在するかどうかを判断し、
存在すると、mj, mj±1,…,mj±kをいずれも周波数点集合SCに入れることと、
同時に他のすべてのピーク周波数点集合に属する周波数点がないと、直接に1つのフレーム内のすべての周波数点をいずれも周波数点集合SCに入れ、
その中、前記kが非負の整数であることを含む請求項4に記載の方法。
【請求項６】
前記ピーク周波数点とはパワーがそれと隣接する2つの周波数点でのパワーより大きい周波数点である請求項5に記載の方法。
【請求項７】
前記L1フレームには第p-1フレームを含む際に、第p-1フレームにおける各周波数点のパワーは次のように計算し、
【数１】
、その中、
【数２】
は第p-1フレームが周波数点mでのパワーであり、cp-1(m)は第p-1フレームが周波数点mでのMDCT係数であり、cp-1(m+1)は第p-1フレームが周波数点m＋1でのMDCT係数であり、cp-1(m-1)は第p-1フレームが周波数点m−1でのMDCT係数である請求項5に記載の方法。
【請求項８】
前記ステップaにおいて第pフレームがMDCT-MDSTドメインでの位相と振幅を予測して得るステップは、第p-1フレームの前のL2フレームが該周波数点のMDCT-MDSTドメインでの位相を用いて線形外挿または線形フィットを行い、第pフレームが該周波数点のMDCT-MDSTドメインでの位相を取り得ること、及び
該L2フレームにおいて1つのフレームが該周波数点でのMDCT-MDSTドメインの振幅から第pフレームが該周波数点でのMDCT-MDSTドメインの振幅を取り得て、その中、L2>1であることを含む請求項1〜7のいずれか１項に記載の方法。
【請求項９】
L2＝2である際に、第p-1フレームの前のL2フレームが該周波数点のMDCT-MDSTドメインでの位相を用いて線形外挿または線形フィットを行い、第pフレームが該周波数点のMDCT-MDSTドメインでの位相を取り得るステップは、
下記公式
【数３】
によって第pフレームのMDCT-MDSTドメインの位相を取り得て、
その中、第t1フレーム、第t2フレームは第p-1フレームの前の2つのフレームをそれぞれ表し、mが予測待ちの周波数点であり、
【数４】
は第t1フレームが周波数点mのMDCT-MDSTドメインでの位相であり、
【数５】
は第t2フレームが周波数点mのMDCT-MDSTドメインでの位相であることを含む請求項8に記載の方法。
【請求項１０】
L2>2である際に、第p-1フレームの前のL2フレームが該周波数点のMDCT-MDSTドメインでの位相を用いて線形外挿または線形フィットを行い、第pフレームが該周波数点のMDCT-MDSTドメインでの位相を取り得るステップは、
予測待ちの周波数点に対して、第p-1フレームの前のL2フレームが該周波数点のMDCT-MDSTドメインでの位相に線形フィットを行い、第pフレームが該周波数点のMDCT-MDSTドメインでの位相を取り得ることを含む請求項8に記載の方法。
【請求項１１】
第pフレームの前の複数のフレームのMDCT-MDSTドメイン複素数信号及び/またはMDCT係数を用いて予測待ちの周波数点集合SCを取得するステップは、第p-2フレーム、第p-3フレームのMDCT-MDSTドメイン複素数信号と第p-1フレームのMDCT係数を用いて予測待ちの周波数点集合SCを取得することを含み、
第p-1フレームの前の複数のフレームがMDCT-MDSTドメインでの位相と振幅を用いて予測し、第pフレームがMDCT-MDSTドメインでの位相と振幅を取り得るステップは、
前記周波数点集合SCにおけるそれぞれの周波数点に第p-2フレーム、第p-3フレームがMDCT-MDSTドメインでの位相と振幅を用いて予測し、第pフレームがMDCT-MDSTドメインでの位相と振幅を取り得ることを含む請求項4に記載の方法。
【請求項１２】
第pフレームの前の複数のフレームのMDCT係数を用いて第pフレームが該周波数点でのMDCT係数を計算するステップは、
第p-1フレームのMDCT係数の半分を用いて第pフレームのMDCT係数とすることを含む請求項1〜7のいずれか１項に記載の方法。
【請求項１３】
修正離散コサイン変換ドメインのオーディオフレーム損失補償器であって、前記フレーム損失補償器はマルチ高調波フレーム損失補償モジュール、第2補償モジュール及びIMDCTモジュールを備え、
前記マルチ高調波フレーム損失補償モジュールは、現在損失フレームが第pフレームである際に、予測待ちの周波数点集合を取得し、前記予測待ちの周波数点集合におけるそれぞれの周波数点に対して、第p-1フレームの前の複数のフレームがMDCT-MDSTドメインでの位相と振幅を用いて予測し、第pフレームがMDCT-MDSTドメインでの位相と振幅を取り得て、前記予測して得た第pフレームがMDCT-MDSTドメインでの位相と振幅を用いて第pフレームが前記それぞれの周波数点でのMDCT係数を取り得て、該MDCT係数を第2補償モジュールに送信し、その中、前記第p-1フレームが第pフレームの前1つのフレームであるように設置され、
前記第2補償モジュールは、1つのフレーム内における前記予測待ちの周波数点集合の以外の周波数点に対して、第pフレームの前の複数のフレームのMDCT係数値を用いて第pフレームが該周波数点でのMDCT係数値を計算し、第pフレームのすべての周波数点でのMDCT係数をIMDCTモジュールに送信するように設置され、
前記IMDCTモジュールは、第pフレームのすべての周波数点でのMDCT係数にIMDCT変換を行い、第pフレームの時間領域信号を取り得るように設置される修正離散コサイン変換ドメインのオーディオフレーム損失補償器。
【請求項１４】
フレームタイプ検出モジュールをさらに含み、前記フレームタイプ検出モジュールは、損失フレームを検出する際に、現在損失フレームのタイプを判断し、マルチ高調波フレームであると、前記マルチ高調波フレーム損失補償モジュールを指示して補償するように設置される請求項13に記載のフレーム損失補償器。
【請求項１５】
前記フレームタイプ検出モジュールは、次のように現在損失フレームのタイプを判断し、現在損失フレームの前Kフレームの毎フレームのスペクトラムフラットネスを計算し、該Kフレームにおいて、スペクトラムフラットネスがあるしきい値より小さいフレームの個数はK0より小さいまたはそれに等しいと、現在損失フレームが非マルチ高調波フレームであり、スペクトラムフラットネスが該しきい値より小さいフレームの個数はK0より大きいと、現在損失フレームがマルチ高調波フレームであり、その中、K0<=K、K0、Kが自然数であるように設置される請求項14に記載のフレーム損失補償器。
【請求項１６】
前記マルチ高調波フレーム損失補償モジュールは周波数点集合生成ユニットを含み、前記マルチ高調波フレーム損失補償モジュールは、前記周波数点集合生成ユニットが第pフレームの前の複数のフレームのMDCT-MDSTドメイン複素数信号及び/またはMDCT係数を用いることによって予測待ちの周波数点集合SCを取得し、或いは、直接に1つのフレーム内のすべての周波数点を前記予測待ちの周波数点集合SCに入れるように設置される請求項13に記載のフレーム損失補償器。
【請求項１７】
前記周波数点集合生成ユニットは、次のように第pフレームの前の複数のフレームのMDCT-MDSTドメイン複素数信号及び/またはMDCT係数を用いて予測待ちの周波数点集合SCを取得し、
前記第pフレームの前の複数のフレームをL1フレームとし、前記L1フレームにおいて各周波数点のパワーを計算し、該L1フレームにおいて各フレームのピーク周波数点からなるL1個の集合S1,…,SL1を取得し、各集合における対応の周波数点数がそれぞれN1,…,NL1であり、
前記L1個の集合S1,…,SL1から1つの集合Siを選択し、Siにおけるそれぞれのピーク周波数点mjに対して、j=1…Ni、mj, mj±1,…,mj±kにおいて同時に他のすべてのピーク周波数点集合に属する周波数点が存在するかどうかを判断し、存在すると、mj, mj±1,…,mj±kをいずれも周波数点集合SCに入れ、
Siにおけるそれぞれのピーク周波数点mjに対して、j=1…Ni、mj, mj±1,…,mj±kにおいて同時に他のすべてのピーク周波数点集合に属する周波数点がないと、直接に1つのフレーム内のすべての周波数点をいずれも周波数点集合SCに入れ、その中、kが非負の整数であるように設置される請求項16に記載のフレーム損失補償器。
【請求項１８】
前記ピーク周波数点とはパワーがそれと隣接する2つの周波数点でのパワーより大きい周波数点である請求項17に記載のフレーム損失補償器。
【請求項１９】
前記周波数点集合生成ユニットは、前記L1フレームには第p-1フレームを含む際に、第p-1フレームにおける各周波数点のパワーは次のように計算し、
【数６】
、その中、
【数７】
は第p-1フレームが周波数点mでのパワーであり、cp-1(m)は第p-1フレームが周波数点mでのMDCT係数であり、cp-1(m+1)は第p-1フレームが周波数点m＋1でのMDCT係数であり、cp-1(m-1)は第p-1フレームが周波数点m−1でのMDCT係数であるように設置される請求項17に記載のフレーム損失補償器。
【請求項２０】
前記マルチ高調波フレーム損失補償モジュールは係数生成ユニットをさらに含み、前記マルチ高調波フレーム損失補償モジュールは、前記係数生成ユニットが第p-1フレームの前のL2フレームがMDCT-MDSTドメインでの位相と振幅を用いることによって予測し、第pフレームにおいて前記予測待ちの周波数点集合に属する各周波数点の位相と振幅を取り得て、予測して得た第pフレームの位相と振幅を用いて第pフレームが対応の前記それぞれの周波数点でのMDCT係数のMDCT係数を取り得て、該MDCT係数を第2補償モジュールに送信し、その中、L2>1であるように設置され、
前記係数生成ユニットは位相予測サブユニットと振幅予測サブユニットを含み、
前記位相予測サブユニットは、予測待ちの周波数点に対して、選択した該L2フレームが該周波数点のMDCT-MDSTドメインでの位相を用いて線形外挿または線形フィットを行い、第pフレームが該周波数点のMDCT-MDSTドメインでの位相を取り得るように設置され、
前記振幅予測サブユニットは、該L2フレームにおける1つのフレームが該周波数点でのMDCT-MDSTドメインの振幅から第pフレームが該周波数点でのMDCT-MDSTドメインの振幅を取り得るように設置される請求項13〜19のいずれか１項に記載のフレーム損失補償器。
【請求項２１】
前記位相予測サブユニットは、L2＝2である際に、下記の公式
【数８】
によって第pフレームのMDCT-MDSTドメインの位相を予測し、
その中、第t1フレーム、第t2フレームは第p-1フレームの前の2つのフレームをそれぞれ表し、mが予測待ちの周波数点であり、
【数９】
は第pフレームが周波数点mのMDCT-MDSTドメインでの位相の予測値であり、前記
【数１０】
は第t1フレームが周波数点mのMDCT-MDSTドメインでの位相であり、
【数１１】
は第t2フレームが周波数点mのMDCT-MDSTドメインでの位相であるように設置される請求項20に記載のフレーム損失補償器。
【請求項２２】
L2>2である際に、次のように第pフレームのMDCT-MDSTドメインの位相を予測し、予測待ちの周波数点に対して、選択した該L2フレームが該周波数点のMDCT-MDSTドメインでの位相に線形フィットを行い、第pフレームが該周波数点のMDCT-MDSTドメインでの位相を取り得るように設置される請求項20に記載のフレーム損失補償器。
【請求項２３】
前記マルチ高調波フレーム損失補償モジュールは、第p-2フレーム、第p-3フレームのMDCT-MDSTドメイン複素数信号と第p-1フレームのMDCT係数を用いて予測待ちの周波数点集合を取得し、及び該周波数点集合におけるそれぞれの周波数点に対して、第p-2フレーム、第p-3フレームがMDCT-MDSTドメインでの位相と振幅予測を用いて第pフレームがMDCT-MDSTドメインでの位相と振幅を取り得るように設置される請求項16に記載のフレーム損失補償器。
【請求項２４】
前記第2補償モジュールは、第p-1フレームのMDCT係数の半分を採用して第pフレームが前記予測待ちの周波数点集合の以外の周波数点のMDCT係数とするように設置される請求項13〜19のいずれか１項に記載のフレーム損失補償器。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公表番号】特表２０１２−５３３０９４（Ｐ２０１２−５３３０９４Ａ）
【公表日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願番号】特願２０１２−５１９８７２（Ｐ２０１２−５１９８７２）
【出願日】平成２２年２月２５日（２０１０．２．２５）
【国際出願番号】ＰＣＴ／ＣＮ２０１０／０７０７４０
【国際公開番号】ＷＯ２０１１／００６３６９
【国際公開日】平成２３年１月２０日（２０１１．１．２０）
【出願人】（５０６０７３９１５）中興通訊股▲ふん▼有限公司 (105)
【Ｆターム（参考）】
【公表日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願日】平成２２年２月２５日（２０１０．２．２５）
【国際出願番号】ＰＣＴ／ＣＮ２０１０／０７０７４０
【国際公開番号】ＷＯ２０１１／００６３６９
【国際公開日】平成２３年１月２０日（２０１１．１．２０）
【出願人】（５０６０７３９１５）中興通訊股▲ふん▼有限公司 (105)
【Ｆターム（参考）】
[ Back to top ]