オーディオ信号を処理する方法及び装置
【課題】フレームごとに異なる符号化方式を適用するオーディオ信号の処理方法及び装置を提供すること。
【解決手段】本発明の信号処理方法は、第1ブロックの第1データ及び第2ブロックの第2データを含むオーディオ信号を受信することと、前記第2ブロックに該当する補償信号を受信することと、前記第2データ、前記補償信号、及び前記第2ブロックのウィンドウに基づいて前記第2ブロックに対する復元された信号を取得することとを含み、前記第1データが長方形符号化方式で符号化され、前記第2ブロックのウィンドウが遷移ウィンドウクラスに属する場合、前記第2ブロックのウィンドウは、第1傾斜の上昇ラインを有し、前記第1傾斜は第2傾斜より緩やかであることを特徴とする。
【解決手段】本発明の信号処理方法は、第1ブロックの第1データ及び第2ブロックの第2データを含むオーディオ信号を受信することと、前記第2ブロックに該当する補償信号を受信することと、前記第2データ、前記補償信号、及び前記第2ブロックのウィンドウに基づいて前記第2ブロックに対する復元された信号を取得することとを含み、前記第1データが長方形符号化方式で符号化され、前記第2ブロックのウィンドウが遷移ウィンドウクラスに属する場合、前記第2ブロックのウィンドウは、第1傾斜の上昇ラインを有し、前記第1傾斜は第2傾斜より緩やかであることを特徴とする。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、オーディオ信号を符号化又は復号できるオーディオ信号処理方法及び装置に関するものである。
【背景技術】
【0002】
一般に、音楽信号などのオーディオ信号に対してはオーディオ特性に基づいた符号化方式を適用し、音声信号に対しては音声特性に基づいた符号化方式を適用する。
【0003】
オーディオ特性と音声特性とが混在している信号に対していずれか一つの符号化方式を適用する場合、オーディオ符号化効率が低下したり、音質が悪くなったりするという問題がある。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明は、上記のような問題を解決するためになされたものである。
【0005】
本発明の目的は、一つのフレーム(又はサブフレーム)に対して、二つの以上の符号化方式のうち一つの符号化方式を適用するオーディオ信号処理方法及び装置を提供することにある。
【0006】
本発明の更に他の目的は、一連のフレームで構成されたオーディオ信号に対して、フレーム(又はサブフレーム)ごとに互いに異なる符号化方式を適用する際に、各符号化方式に対応するウィンドウの形状が互いに非対称であることから発生するミスマッチを解決するオーディオ信号処理方法及び装置を提供することにある。
【0007】
本発明の更に他の目的は、長方形ウィンドウと非長方形ウィンドウとが接触したとき、折り返し歪み(aliasing)などを解消するためのオーディオ信号処理方法及び装置を提供することにある。
【0008】
本発明の更に他の目的は、線形予測ドメイン方式が適用されたフレームの後に周波数ドメイン方式が適用されたフレームが現れる場合、ウィンドウの長さの差を補償するためのウィンドウ遷移過程を省略できるオーディオ信号処理方法及び装置を提供することにある。
【0009】
本発明の更に他の目的は、次のフレームの符号化方式に従って現在のフレームに対応するウィンドウの形状を切り替え、ウィンドウの形状の非対称によるミスマッチを解消できるオーディオ信号処理方法及び装置を提供することにある。
【0010】
本発明の更に他の目的は、線形予測ドメイン方式のフレームにおいて、以前のフレームが周波数ドメイン方式のフレームであるかどうかによって、長期予測を選択的に適用し、ビット効率を高めるためのオーディオ信号処理方法及び装置を提供することにある。
【課題を解決するための手段】
【0011】
本願発明の更なる特徴及び利点は以降の説明において述べられ、また一部は説明から明白であるか、本願発明を実践することによって会得されるであろう。本願発明の目的及び他の利点は、添付の図面のほか、詳細な説明及び特許請求の範囲において特に指摘する構成によって実現され、達成されるであろう。
【0012】
上記のような目的を達成するために、本発明に係るオーディオ処理方法は、オーディオ処理装置によって、長方形符号化方式で符号化された第1ブロックの第1データ、及び非長方形符号化方式で符号化された第2ブロックの第2データを含むオーディオ信号を受信すること、上記第2ブロックに対応する補償信号を受信すること、上記第1データを用いて折り返し歪み部分の予測値を推定すること、及び、上記第2データ、上記補償信号、及び上記折り返し歪み部分の予測値に基づいて上記第2ブロックの復元された信号を取得することを含む。
【0013】
本発明によると、上記長方形符号化方式は、長方形ウィンドウを用いて符号化又は復号する方式であり、上記非長方形符号化方式は、非長方形ウィンドウを用いて符号化又は復号する方式である。
【0014】
本発明によると、上記補償信号は、補正部分及び折り返し歪み部分の誤差に基づいて生成されたもので、上記補正部分は、長方形ウィンドウと非長方形ウィンドウとの間の非対称性と関連した差に対応し、上記折り返し歪み部分の誤差は、上記折り返し歪み部分と上記折り返し歪み部分の予測値との間の差に対応する。
【0015】
本発明によると、上記折り返し歪み部分は、非長方形符号化方式に使用される非長方形ウィンドウと上記第1ブロックとの間の重複部分に対応する。
【0016】
本発明によると、上記予測値を推定することは、上記長方形ウィンドウ方式に基づいて第1ブロックの第1データを用いて第1ブロックの出力信号を生成すること、及び、上記第1ブロックの上記出力信号及び上記非長方形ウィンドウを用いて上記折り返し歪み部分の予測値を取得することを含む。
【0017】
本発明によると、上記の復元された信号は、上記非長方形符号化方式に使用される非長方形ウィンドウとは異なる長方形ウィンドウを用いて処理された信号に近似したものである。
【0018】
本発明によると、上記の復元された信号を取得することは、時間ドメイン第2信号を生成するために、上記第2データを逆周波数変換すること、時間ドメイン補償信号を生成するために、上記補償信号を逆周波数変換すること、及び、上記時間ドメイン補償信号を上記時間ドメイン第2信号及び上記折り返し歪み部分の予測値に加えることによって、上記の復元された信号を生成することを含む。
【0019】
本発明によると、上記第1ブロックはフレーム及びサブフレームのうち一つに対応し、上記第2ブロックはフレーム及びサブフレームのうち一つに対応する。
【0020】
本発明の更に他の態様によると、長方形符号化方式で符号化された第1ブロックの第1データ、及び非長方形符号化方式で符号化された第2ブロックの第2データを含むオーディオ信号を受信し、上記第2ブロックに対応する補償信号を受信するデ―マルチプレクサ、上記第1データを用いて折り返し歪み部分の予測値を推定する長方形復号ユニット、及び、上記第2データ、上記補償信号、及び上記折り返し歪み部分の予測値に基づいて上記第2ブロックの復元された信号を取得する非長方形復号ユニットを含むオーディオ信号処理装置が提供される。
【0021】
本発明によると、上記長方形符号化方式は、長方形ウィンドウを用いて符号化又は復号する方式であり、上記非長方形符号化方式は、非長方形ウィンドウを用いて符号化又は復号する方式である。
【0022】
本発明によると、上記補償信号は、補正部分及び折り返し歪み部分の誤差に基づいて生成されたもので、上記補正部分は、長方形ウィンドウと非長方形ウィンドウとの間の非対称性と関連した差に対応し、上記折り返し歪み部分の誤差は、上記折り返し歪み部分と上記折り返し歪み部分の予測値との間の差に対応する。
【0023】
本発明によると、上記折り返し歪み部分は、上記非長方形符号化方式に使用される非長方形ウィンドウと上記第1ブロックとの間の重複部分に対応する。
【0024】
本発明によると、上記長方形復号ユニットは、上記長方形ウィンドウ方式に基づいて第1ブロックの第1データを用いて第1ブロックの出力信号を生成し、上記第1ブロックの上記出力信号及び上記非長方形ウィンドウを用いて上記折り返し歪み部分の予測値を取得する。
【0025】
本発明によると、上記の復元された信号は、上記非長方形符号化方式に使用される非長方形ウィンドウとは異なる長方形ウィンドウを用いて処理された信号に近似したものである。
【0026】
本発明によると、上記非長方形符号化ユニットは、時間ドメイン第2信号を生成するために、上記第2データを逆周波数変換し、時間ドメイン補償信号を生成するために、上記補償信号を逆周波数変換し、上記時間ドメイン補償信号を上記時間ドメイン第2信号及び上記折り返し歪み部分の予測値に加えることによって、上記の復元された信号を生成するものである。
【0027】
本発明によると、上記第1ブロックはフレーム及びサブフレームのうち一つに対応し、上記第2ブロックはフレーム及びサブフレームのうち一つに対応する。
【0028】
本発明の更に他の態様によると、オーディオ処理装置によって、現在のフレームに対して第1符号化方式又は第2符号化方式の適用可否を指示する符号化識別情報を受信すること、上記符号化識別情報が現在のフレームに対して第2符号化方式を指示する場合、上記現在のフレームに対して複数のウィンドウのうち特定のウィンドウを指示するウィンドウタイプ情報を受信すること、上記ウィンドウタイプ情報に基づいて現在のウィンドウがロング_スタートウィンドウであることを識別することであって、上記ロング―スタートウィンドウは以前のフレームのオンリー―ロングウィンドウの次に位置し、上記ロング―スタートウィンドウは緩やかなロング―スタートウィンドウ及び急なロング―スタートウィンドウを含み、かつ以後のフレームに上記第1符号化方式が適用されるとき、上記緩やかなロング―スタートウィンドウを現在のフレームに適用することを含み、上記緩やかなロング―スタートウィンドウは第1傾斜の下降ラインを含み、上記急なロング―スタートウィンドウは第2傾斜の下降ラインを含み、上記第1傾斜は上記第2傾斜より緩やかであることを特徴とするオーディオ信号処理方法が提供される。
【0029】
本発明によると、上記第1傾斜の幅は上記第2傾斜の幅の2倍である。
【0030】
本発明によると、上記第1傾斜の幅はN/4(ここで、Nはフレーム長)に対応する。
【0031】
本発明によると、上記第1傾斜の幅は256サンプルに対応し、上記第1傾斜の幅は上記ロング―スタートウィンドウの長さの1/8と同一である。
【0032】
本発明によると、上記オンリー―ロングウィンドウは左右対称であり、上記ロング―スタートウィンドウは左右非対称であり、上記ロング―スタートウィンドウは右半分にゼロ区間を含む。
【0033】
本発明によると、上記第1傾斜又は上記第2傾斜を有する上記下降ラインの中央点は、上記ロング―スタートウィンドウの開始点から3N/2(Nはフレーム長)だけ離れた点である。
【0034】
本発明によると、上記第1符号化方式は周波数ドメインをベースとし、上記第2符号化方式は線形―予測ドメインをベースとする。
【0035】
本発明の更に他の態様によると、オーディオ処理装置によって、現在のフレームに対して第1符号化方式又は第2符号化方式の適用可否を指示する符号化識別情報を受信し、上記符号化識別情報が現在のフレームに対して第2符号化方式を指示する場合、上記現在のフレームに対して複数のウィンドウのうち特定のウィンドウを指示するウィンドウタイプ情報を受信するデ―マルチプレクサ、及び、上記ウィンドウタイプ情報に基づいて現在のウィンドウがロング_スタートウィンドウであることを識別する第2符号化ユニットを含み、ここで、上記ロング―スタートウィンドウは以前のフレームのオンリー―ロングウィンドウの次に位置し、上記ロング―スタートウィンドウは緩やかなロング―スタートウィンドウ及び急なロング―スタートウィンドウを含み、以後のフレームに上記第1符号化方式が適用されるとき、上記緩やかなロング―スタートウィンドウを現在のフレームに適用し、上記緩やかなロング―スタートウィンドウは第1傾斜の下降ラインを含み、上記急なロング―スタートウィンドウは第2傾斜の下降ラインを含み、上記第1傾斜は上記第2傾斜より緩やかであることを特徴とするオーディオ信号処理装置が提供される。
【0036】
本発明によると、上記第1傾斜の幅は上記第2傾斜の幅の2倍である。
【0037】
本発明によると、上記第1傾斜の幅はN/4(ここで、Nは現在のフレーム長)に対応する。
【0038】
本発明によると、上記第1傾斜の幅は256サンプルに対応し、上記第1傾斜の幅は上記ロング―スタートウィンドウの長さの1/8と同一である。
【0039】
本発明によると、上記オンリー―ロングウィンドウは左右対称であり、上記ロング―スタートウィンドウは左右非対称であり、上記ロング―スタートウィンドウは右半分にゼロ区間を含む。
【0040】
本発明によると、上記第1傾斜又は上記第2傾斜を有する上記下降ラインの中央点は、上記ロング―スタートウィンドウの開始点から3N/2(Nはフレーム長)だけ離れた点である。
【0041】
本発明によると、上記第1符号化方式は周波数ドメインをベースとし、上記第2符号化方式は線形―予測ドメインをベースとする。
【0042】
本発明の更に他の態様によると、オーディオ処理装置によって、第1ブロックの第1データ及び第2ブロックの第2データを含むオーディオ信号を受信すること、上記第2ブロックに対応する補償信号を受信すること、及び、上記第2データ、上記補償信号、及び上記第2ブロックのウィンドウに基づいて上記第2ブロックに対する復元された信号を取得することを含み、上記第1データが長方形符号化方式で符号化され、上記第2ブロックのウィンドウが遷移ウィンドウクラスに属する場合、上記第2ブロックのウィンドウは、第1傾斜の上昇ラインを有し、上記第1傾斜は第2傾斜より緩やかであることを特徴とするオーディオ信号処理方法が提供される。
【0043】
本発明によると、上記第1データが非長方形符号化方式で符号化され、上記第2ブロックのウィンドウが上記遷移ウィンドウクラスに属する場合、上記第2ブロックのウィンドウは、上記第2傾斜の上昇ラインを有する。
【0044】
本発明によると、上記遷移ウィンドウクラスがロング―ストップウィンドウ、ロング―スタートウィンドウ及びスタート―ストップウィンドウを含む場合、上記ロング―ストップウィンドウ及び上記ロング―スタートウィンドウは左右非対称性を有し、左半分にゼロ区間を有する。
【0045】
本発明によると、上記補償信号は、上記第1データが上記長方形符号化方式で符号化された場合に受信されるものである。
【0046】
本発明によると、上記補償信号は、長方形ウィンドウと非長方形ウィンドウとの間の非対称性と関連した差、及び上記折り返し歪み部分と折り返し歪み部分の予測値との間の差のうち一つ以上に基づいて生成されたものである。
【0047】
本発明の更に他の態様によると、第1ブロックの第1データ及び第2ブロックの第2データを含むオーディオ信号を受信し、上記第2ブロックに対応する補償信号を受信するデ―マルチプレクサ、及び、上記第2データ、上記補償信号、及び上記第2ブロックのウィンドウに基づいて、上記第2ブロックに対する復元された信号を取得する非長方形復号ユニットを含み、上記第1データが長方形符号化方式で符号化され、上記第2ブロックのウィンドウが遷移ウィンドウクラスに属する場合、上記第2ブロックのウィンドウは、第1傾斜の上昇ラインを有し、上記第1傾斜は第2傾斜より緩やかであることを特徴とするオーディオ信号処理装置を提供する。
【0048】
本発明によると、上記第1データが非長方形符号化方式で符号化され、上記第2ブロックのウィンドウが上記遷移ウィンドウクラスに属する場合、上記第2ブロックのウィンドウは、上記第2傾斜の上昇ラインを有する。
【0049】
本発明によると、上記遷移ウィンドウクラスがロング―ストップウィンドウ、ロング―スタートウィンドウ及びスタート―ストップウィンドウを含む場合、上記ロング―ストップウィンドウ及び上記ロング―スタートウィンドウは、左右非対称性を有し、左半分にゼロ区間を有する。
【0050】
本発明によると、上記補償信号は、上記第1データが上記長方形符号化方式で符号化された場合に受信されるものである。
【0051】
本発明によると、上記補償信号は、長方形ウィンドウと非長方形ウィンドウとの間の非対称性と関連した差、及び上記折り返し歪み部分と折り返し歪み部分の予測値との間の差のうち一つ以上に基づいて生成されたものである。
【0052】
本発明の更に他の態様によると、オーディオ処理装置によって、第1ブロックの第1データ及び第2ブロックの第2データを含むオーディオ信号を受信すること、上記第2ブロックに対応する補償信号を受信すること、及び、上記第2データ、上記補償信号、及び上記第2ブロックのウィンドウに基づいて上記第2ブロックに対する復元された信号を取得することを含み、上記第1データが長方形符号化方式で符号化され、上記第2ブロックのウィンドウが遷移ウィンドウクラスに属する場合、上記第2ブロックのウィンドウは、第1傾斜の上昇ラインを有し、上記第1傾斜は第2傾斜より緩やかであることを特徴とするオーディオ信号処理方法が提供される。
【0053】
本発明によると、上記第1データが非長方形符号化方式で符号化され、上記第2ブロックのウィンドウが上記遷移ウィンドウクラスに属する場合、上記第2ブロックのウィンドウは、上記第2傾斜の上昇ラインを有する。
【0054】
本発明によると、上記遷移ウィンドウクラスがロング―ストップウィンドウ、ロング―スタートウィンドウ及びスタート―ストップウィンドウを含む場合、上記ロング―ストップウィンドウ及び上記ロング―スタートウィンドウは左右非対称性を有し、左半分にゼロ区間を有する。
【0055】
本発明によると、上記補償信号は、上記第1データが上記長方形符号化方式で符号化された場合に受信されるものである。
【0056】
本発明によると、上記補償信号は、長方形ウィンドウと非長方形ウィンドウとの間の非対称性と関連した差、及び上記折り返し歪み部分と折り返し歪み部分の予測値との間の差のうち一つ以上に基づいて生成されたものである。
【0057】
本発明の更に他の態様によると、第1ブロックの第1データ及び第2ブロックの第2データを含むオーディオ信号を受信し、上記第2ブロックに対応する補償信号を受信するデ―マルチプレクサ、及び、上記第2データ、上記補償信号、及び上記第2ブロックのウィンドウに基づいて、上記第2ブロックに対する復元された信号を取得する非長方形復号ユニットを含み、上記第1データが長方形符号化方式で符号化され、上記第2ブロックのウィンドウが遷移ウィンドウクラスに属する場合、上記第2ブロックのウィンドウは、第1傾斜の上昇ラインを有し、上記第1傾斜は第2傾斜より緩やかであることを特徴とするオーディオ信号処理装置を提供する。
【0058】
本発明によると、上記第1データが非長方形符号化方式で符号化され、上記第2ブロックのウィンドウが上記遷移ウィンドウクラスに属する場合、上記第2ブロックのウィンドウは、上記第2傾斜の上昇ラインを有する。
【0059】
本発明によると、上記遷移ウィンドウクラスがロング―ストップウィンドウ、ロング―スタートウィンドウ及びスタート―ストップウィンドウを含む場合、上記ロング―ストップウィンドウ及び上記ロング―スタートウィンドウは、左右非対称性を有し、左半分にゼロ区間を有する。
【0060】
本発明によると、上記補償信号は、上記第1データが上記長方形符号化方式で符号化された場合に受信されるものである。
【0061】
本発明によると、上記補償信号は、長方形ウィンドウと非長方形ウィンドウとの間の非対称性と関連した差、及び上記折り返し歪み部分と折り返し歪み部分の予測値との間の差のうち一つ以上に基づいて生成されたものである。
【0062】
本発明の更に他の態様によると、オーディオ処理装置によって、第2符号化方式が現在のフレームに適用される場合、複数のウィンドウのうち現在のフレームに対して特定のウィンドウを指示するウィンドウタイプ情報を受信すること、及び上記ウィンドウタイプ情報に基づいて、現在のウィンドウを上記現在のフレームに適用することを含み、第1符号化方式が以前のフレームに適用される場合、上記複数のウィンドウはショートウィンドウ、第1遷移ウィンドウ及び第2遷移ウィンドウで構成され、上記ショートウィンドウは、その幅がN/8(Nはフレーム長)である上昇ラインを一つ以上有し、上記第1遷移ウィンドウ及び上記第2遷移ウィンドウは、その幅がN/4(Nはフレーム長)である上昇ラインを有することを特徴とするオーディオ信号処理方法が提供される。
【0063】
本発明によると、ショートウィンドウ、上記第1遷移ウィンドウ及び上記第2遷移ウィンドウの長さは2Nである。
【0064】
本発明によると、ショートウィンドウ、上記第1遷移ウィンドウ及び上記第2遷移ウィンドウの左半分は1024サンプルに対応する。
【0065】
本発明によると、上記現在のウィンドウと以前のウィンドウとの交点は、上記現在のウィンドウからN/2だけ離れた点である。
【0066】
本発明によると、上記第1遷移ウィンドウは右半分にゼロ区間を有しておらず、上記第2遷移ウィンドウは、右半分にゼロ区間を有し、上記ショートウィンドウは互いに重複した複数のショート部分を有し、そのショート部分は上記上昇ライン及び下降ラインを有する。
【0067】
本発明の更に他の態様によると、オーディオ処理装置によって、第1符号化方式で符号化された現在のフレーム、及び第2符号化方式で符号化された以後のフレームを含むオーディオ信号を受信すること、上記現在のフレームの一つ以上のブロックが長方形符号化方式又は非長方形符号化方式で符号化されたかを指示する副符号化識別情報を受信すること、上記現在のフレームの少なくとも最後のブロックが上記非長方形符号化方式で符号化されたことを上記副符号化識別情報が指示する場合、以後のフレームの以後のウィンドウがショートウィンドウであるかどうかによって、現在のフレームに対して第1形状及び第2形状を含むウィンドウの形状を決定すること、及び、上記の決定されたウィンドウの形状の上記現在のウィンドウを上記現在のフレームに適用することを含み、上記第1形状は第1傾斜の下降ラインを含み、上記第2形状は第2傾斜の下降ラインを含み、上記第1傾斜は上記第2傾斜より緩やかであることを特徴とするオーディオ信号処理方法が提供される。
【0068】
本発明によると、上記第1傾斜の幅は256サンプル又はN/4(Nはフレーム長)に対応し、上記第2傾斜の幅は128サンプル又はN/8(Nはフレーム長)に対応する。
【0069】
本発明によると、上記現在のウィンドウと次のウィンドウとの間の交点は、上記次のウィンドウの開始点からN/2だけ離れた点である。
【0070】
本発明によると、上記第1傾斜は非ショートウィンドウでの上昇ラインの傾斜と一致し、上記第2傾斜は上記ショートウィンドウでの上昇ラインの傾斜と一致する。
【0071】
本発明の更に他の態様によると、第2符号化方式が現在のフレームに適用される場合、複数のウィンドウのうち現在のフレームに対して特定のウィンドウを指示するウィンドウタイプ情報を受信するデマルチプレクサ、及び、上記ウィンドウタイプ情報に基づいて、現在のウィンドウを上記現在のフレームに適用する第2符号化ユニットを含み、第1符号化方式が以前のフレームに適用される場合、上記複数のウィンドウはショートウィンドウ、第1遷移ウィンドウ及び第2遷移ウィンドウで構成され、上記ショートウィンドウは、その幅がN/8(Nはフレーム長)である上昇ラインを一つ以上有し、上記第1遷移ウィンドウ及び上記第2遷移ウィンドウは、その幅がN/4(Nはフレーム長)である上昇ラインを有することを特徴とするオーディオ信号処理装置が提供される。
【0072】
本発明によると、ショートウィンドウ、上記第1遷移ウィンドウ及び上記第2遷移ウィンドウの長さは2Nである。
【0073】
本発明によると、ショートウィンドウ、上記第1遷移ウィンドウ及び上記第2遷移ウィンドウの左半分は1024サンプルに対応する。
【0074】
本発明によると、上記現在のウィンドウと以前のウィンドウとの交点は、上記現在のウィンドウからN/2だけ離れた点である。
【0075】
本発明によると、上記第1遷移ウィンドウは右半分にゼロ区間を有しておらず、上記第2遷移ウィンドウは、右半分にゼロ区間を有し、上記ショートウィンドウは互いに重複した複数のショート部分を有し、そのショート部分は上記上昇ライン及び下降ラインを有する。
【0076】
本発明の更に他の態様によると、第1符号化方式で符号化された現在のフレーム、及び第2符号化方式で符号化された以後のフレームを含むオーディオ信号を受信し、上記現在のフレームの一つ以上のブロックが長方形符号化方式又は非長方形符号化方式で符号化されたかを指示する副符号化識別情報を受信すること、上記現在のフレームの少なくとも最後のブロックが上記非長方形符号化方式で符号化されたことを上記副符号化識別情報が指示する場合、以後のフレームの以後のウィンドウがショートウィンドウであるかどうかによって、現在のフレームに対して第1形状及び第2形状を含むウィンドウの形状を決定すること、及び、上記の決定されたウィンドウの形状の上記現在のウィンドウを上記現在のフレームに適用することを含み、上記第1形状は第1傾斜の下降ラインを含み、上記第2形状は第2傾斜の下降ラインを含み、上記第1傾斜は上記第2傾斜より緩やかであることを特徴とするオーディオ信号処理装置が提供される。
【0077】
本発明によると、上記第1傾斜の幅は256サンプル又はN/4(Nはフレーム長)に対応し、上記第2傾斜の幅は128サンプル又はN/8(Nはフレーム長)に対応する。
【0078】
本発明によると、上記現在のウィンドウと次のウィンドウとの間の交点は、上記次のウィンドウの開始点からN/2だけ離れた点である。
【0079】
本発明によると、上記第1傾斜は非ショートウィンドウでの上昇ラインの傾斜と一致し、上記第2傾斜は上記ショートウィンドウでの上昇ラインの傾斜と一致する。
【発明の効果】
【0080】
上述の一般的な説明及び以降の詳細な説明は例示かつ説明目的であり、本願の特許請求の範囲に記載された本発明の更なる説明を提供するものであることを理解されたい。
【0081】
本発明は、次のような効果と利点を提供する。
【0082】
第一に、各ウィンドウ間の非対称(例えば、長方形ウィンドウと非長方形ウィンドウ)による折り返し歪みなどの欠陥を補償できるので、オーディオ信号の音質が著しく向上する。
【0083】
第二に、上記折り返し歪みなどを補償するためのスキームを適用することによって、長方形ウィンドウと非長方形ウィンドウとの間の100%重複が必要でなくなるので、非長方形ウィンドウは緩やかな傾斜の下降ラインを維持することができる。
【0084】
第三に、緩やかな傾斜の下降ラインを有する非長方形ウィンドウを適用することによって、同種ウィンドウ(非長方形ウィンドウと非長方形ウィンドウとの)間の交点と、異種ウィンドウ(例えば、非長方形ウィンドウと長方形ウィンドウとの)間の交点とが同一になるという効果がある。
【0085】
第四に、同種ウィンドウの交点と異種ウィンドウの交点が同一になることによって、ウィンドウの長さの差を補償するための遷移ウィンドウが不必要になり、第1符号化方式(例えば、線形予測ドメイン方式)と第2符号化方式(例えば、周波数ドメイン方式)との間の直接的な遷移が可能になる。
【0086】
第五に、上記直接的な遷移が可能になることによって、不一致の解決のためのウィンドウを使用せずに、該当のブロックのオーディオ信号特性に適したウィンドウを適用できるので、音質が大きく向上するという効果がある。
【0087】
第六に、以前又は以後のブロックでショートウィンドウが存在するかどうかによって、非長方形ウィンドウ方式に該当するウィンドウの形状を変化させることによって、TDAC条件が充足され、音質が向上する。
【0088】
添付の図面は本発明の更なる理解を助けるために含めたものであり、本願の一部を成し、本願発明の原理を説明するための説明と共に、本願発明の実施形状を図示するものである。
【図面の簡単な説明】
【0089】
【図1】本発明に係るオーディオ信号処理装置の概略的な構成図である。
【図2】本発明の第1実施例に係るエンコーダの構成図である。
【図3】本発明の第1実施例に係るデコーダの構成図である。
【図4】ブロック単位で構成されたオーディオ信号及び、フレーム(又はサブフレーム)別に異なる符号化方式が適用される例を示した図である。
【図5】異種符号化方式(長方形符号化方式及び非長方形符号化方式)への変化を説明するための図である。
【図6】長方形ウィンドウと非長方形ウィンドウが重複したときの特性を説明するための図である。
【図7】補正部分(CP)及び折り返し歪み部分(AP)、及び非補償信号を説明するための図である。
【図8】対称性を有する非長方形ウィンドウの特性を説明するための図(TDACのためのウィンドウの条件)である。
【図9】補正部分及び/又は折り返し歪み部分を補償するための補償信号の各実施例を示す図である。
【図10】図6に示した異種ウィンドウ(長方形ウィンドウと非長方形ウィンドウ)間の結合のうち、非長方形ウィンドウの各例を説明するための図である。
【図11】非長方形ウィンドウ以後に長方形ウィンドウが重複した場合を示す図である。
【図12】本発明の第2実施例に係るエンコーダの構成図である。
【図13】本発明の第2実施例に係るデコーダの構成図である。
【図14】以前のブロックが長方形符号化方式であるかどうかによる遷移ウィンドウの形状を示す図である。
【図15】本発明の第3の実施例に係るエンコーダの構成図である。
【図16】本発明の第3の実施例に係るデコーダの構成図である。
【図17】ロング―スタートウィンドウが第1方式符号化ウィンドウ及び第2符号化方式ウィンドウ(ショートウィンドウ)とそれぞれ結合された場合の形状を示す図である。
【図18】ショートウィンドウが第1符号化方式のウィンドウ及び第2符号化方式のウィンドウ(ロング_ストップウィンドウ)とそれぞれ重複した場合を示す図である。
【図19】本発明の第4の実施例に係るエンコーダの構成図である。
【図20】本発明の第4の実施例に係るデコーダの構成図である。
【図21】ウィンドウ間の経路又は遷移を示す表である。
【図22】第1符号化方式でロング―ストップウィンドウに遷移される場合を示す図である。
【図23】第1符号化方式でショートウィンドウに遷移される場合を示す図である。
【図24】第1符号化方式及び新しい形状のショートウィンドウが重複した場合を示す図である。
【図25】本発明の第5の実施例に係るエンコーダの構成図である。
【図26】本発明の第6の実施例に係るデコーダの構成図である。
【図27】第1符号化方式(例えば、TCX)に対応するウィンドウとショートウィンドウ(又はロング_ストップウィンドウ)が重複した場合を示す図である。
【図28】形状1〜形状4に変化する第1符号化方式のうち非長方形方式のウィンドウを示す表である。
【図29】本発明の第6の実施例に係るエンコーダの構成図である。
【図30】本発明の第6の実施例に係るデコーダの構成図である。
【図31】ブロック(フレーム又はサブフレーム)別符号化方式の各例を示す図である。
【図32】長期予測値と関連した信号波形の例を示す図である。
【図33】本発明の実施例に係るエンコーダが適用されたオーディオ信号符号化装置の一例を示す図である。
【図34】本発明の実施例に係るデコーダが適用されたオーディオ信号復号装置の一例を示す図である。
【図35】本発明に係るオーディオ信号処理装置が具現された製品の概略的な構成図である。
【図36】本発明に係るオーディオ信号処理装置が具現された各製品の関係図である。
【発明を実施するための形態】
【0090】
本願発明の更なる特徴及び利点は以降の説明において述べられ、また一部は説明から明白であるか、本願発明を実践することによって会得されるであろう。本願発明の目的及び他の利点は、添付の図面のほか、詳細な説明及び特許請求の範囲において特に指摘する構成によって実現され、達成されるであろう。
【0091】
種々の利点を達成するため、実施例が概略説明された本発明の目的に従って、本発明を以降詳細に説明する。
【0092】
更に種々の利点を達成するため、本願発明の目的に従って、本発明を以降詳細に説明する。
【0093】
上述の一般的な説明及び以降の詳細な説明は例示かつ説明目的であり、本願の特許請求の範囲に記載された本発明の更なる説明を提供するものであることを理解されたい。
【0094】
以下、添付の図面を参照して本発明の好適な実施例を詳細に説明する。ここで、本明細書及び特許請求の範囲に使用された用語や単語は、通常的又は辞典的な意味に限定して解釈してはならなく、発明者は、自分の発明を最も最善の方法で説明するために用語の概念を適宜定義できるとの原則に立脚して、本発明の技術的思想に符合する意味と概念で解釈しなければならない。したがって、本明細書に記載した実施例と図面に示した構成は、本発明の最も好適な一実施例に過ぎなく、本発明の技術的思想をすべて代弁するものではないので、本出願時点において、これらに取って代わる多様な均等物と変形例があり得ることを理解しなければならない。
【0095】
本発明で、次の用語は次のような基準で解釈することができ、記載されていない用語も下記の趣旨によって解釈することができる。符号化(coding)は、場合に応じて符号化(encoding)又は復号(decoding)と解釈することができ、情報は、値、パラメータ、係数、成分などを含む用語であり、場合に応じては異なる意味で解釈可能であるが、本発明がこれに限定されることはない。
【0096】
ここで、オーディオ信号とは、広義では、ビデオ信号と区分される概念であって、再生時に聴覚で識別可能な信号を称し、狭義では、音声信号と区分される概念であって、音声特性がないか少ない信号を意味する。本発明でのオーディオ信号は、広義で解釈しなければならなく、音声信号と区分されて使用されるとき、狭義のオーディオ信号と理解することができる。
【0097】
また、符号化とは、符号化だけを称することもできるが、符号化及び復号をすべて含む概念として使用することもできる。
【0098】
図1は、本発明に係るオーディオ信号処理装置の概略的な構成を示す図である。
【0099】
図1を参照すると、本発明に係るオーディオ信号処理装置のうちエンコーダ100は、二つの符号化ユニット(長方形符号化ユニット120R及び非長方形符号化ユニット120N)(又は第1符号化ユニット120―1及び第2符号化ユニット120―2)を含み、信号分類部110及びマルチプレクサ130を更に含むことができる。
【0100】
一方、長方形符号化ユニット120Rは、長方形符号化方式が適用される符号化ユニットであるが、長方形符号化方式とは、長方形形状のウィンドウが適用される符号化方式を示し、非長方形符号化方式とは、非長方形形状のウィンドウが適用される符号化方式を示す。
【0101】
一方、第1符号化ユニット120―1及び第2符号化ユニット120―2は、互いに異なるドメインをベースとする第1符号化方式及び第2符号化方式がそれぞれ適用されるユニットである。上記ドメインには、線形予測ドメイン、周波数ドメイン、時間ドメインなどが該当し得る。例えば、第1符号化方式が線形予測ドメインベースの符号化方式に対応し、第2符号化方式が周波数ドメインベースの方式に対応し得るが、ドメインの類型による定義及び特性は後で具体的に説明する。
【0102】
エンコーダ100は3個の特定の符号化ユニット(すなわち、A符号化ユニット120A〜C符号化ユニット120C)を含むことができる。A符号化ユニット120Aに適用されるA符号化方式は、図1に一例として示したように、長方形符号化方式であると同時に第1符号化方式に対応し、B符号化ユニット120Bに適用されるB符号化方式は、非長方形符号化方式であると同時に第1符号化方式に対応し、C符号化方式は、非長方形符号化方式であると同時に第2符号化方式に対応し得る。これは、上述したように、図1に示した一例に過ぎず、本発明がこれに限定されることはない。ただし、以下では、説明の便宜上、図1に示した例を基準にして説明する。
【0103】
一方、A符号化方式は代数符号励起線形予測(ACELP)方式、B符号化方式は変換符号化励起(TCX)、C符号化方式は修正離散コサイン変換(MDCT)に対応し得るが、本発明がこれに限定されることはない。A符号化方式〜C符号化方式に対する具体的な説明は、上記長方形符号化方式/非長方形符号化方式、及び第1符号化方式/第2符号化方式に対する具体的な説明と共に後で説明する。
【0104】
信号分類部110は、入力オーディオ信号の特性を分析し、その特性に基づいて現在のフレーム(又はサブフレーム)が上記の言及した二つ以上の符号化方式のうちどの符号化方式を適用するかを決定し、その決定に従って符号化方式情報を生成する。二つ以上の符号化方式は、上述したように、長方形方式/非長方形方式、第1符号化方式/第2符号化方式、又はA符号化方式〜C符号化方式に対応し得るが、本発明がこれに限定されることはない。
【0105】
例えば、図1に示した例の場合、符号化方式情報は、符号化識別情報及び副符号化識別情報を含むことができる。ここで、符号化識別情報は、現在のフレームに対して第1符号化方式又は第2符号化方式のうち一つを示す。上記副符号化識別情報とは、現在のフレームが第1符号化方式に対応する場合、そのうちA符号化方式であるか、それともB符号化方式であるかをフレーム別に(又はサブフレーム別に)示す情報である。
【0106】
信号分類部110は、上記符号化方式情報を生成してマルチプレクサ130に伝達する。
【0107】
一方、入力信号は、信号分類部110の制御によって、フレーム又はサブフレーム別に分けられて長方形符号化ユニット120R又は非長方形符号化ユニット120Nに入力されるか、又は第1符号化ユニット120―1及び第2符号化ユニット120―2に入力される。図1に示した例の場合、入力信号は、A符号化ユニット120A〜C符号化ユニット120Cのうち一つに入力することができる。
【0108】
図1に示した例の場合、A符号化ユニット120A〜C符号化ユニット120Cは、それぞれの符号化方式に従って入力信号を符号化した結果であるデータをマルチプレクサ130に伝達する。
【0109】
マルチプレクサ130は、符号化方式情報及び、各ユニットによって符号化された結果であるデータを多重化することによって、一つ又はそれ以上のビットストリームを生成する。
【0110】
本発明に係るオーディオ信号処理装置のうちデコーダ200は、二つ以上の復号ユニット220R、220N(又は220―1、220―2)を含み、デマルチプレクサ210を更に含むことができる。二つ以上の復号ユニットは、上述した二つ以上の符号化ユニットに対応する復号態様の構成要素であって、長方形復号ユニット220R及び非長方形復号ユニット220N、又は第1復号ユニット220―1及び第2復号ユニット220―2に対応する。上述したエンコーダ100の説明と同様に、図1に示したように、少なくとも二つの復号ユニットは、A復号ユニット220A〜C復号ユニット220Cを含むことができる。
【0111】
長方形復号ユニット220Rで適用される長方形符号化方式、及び非長方形復号ユニット220Nで適用される非長方形符号化方式も、上述した通りである。第1復号ユニット220―1で適用される第1符号化方式、及び第2復号ユニット220―2で適用される第2符号化方式も同様である。上述したように、図1に示した例のようにA復号ユニット220A〜C復号ユニット220Cを含む場合、各ユニットで使用されるA符号化方式〜C符号化方式については、後で具体的に説明する。
【0112】
デマルチプレクサ210は、一つ又はそれ以上のビットストリームから符号化方式情報及び各フレーム(又はサブフレーム別)に対するデータを抽出する。各データは、符号化方式情報によって、該当の復号ユニット(例えば、220A〜220C)に伝達される。各復号ユニットは、各復号方式に従ってデータを復号することによって出力オーディオ信号を生成する。
【0113】
以下では、図1に示した本発明に係るオーディオ信号処理装置の各実施例について順次説明する。
【0114】
図2は、本発明の第1実施例に対応するオーディオ信号処理装置のうちエンコーダ100Aの構成を示す図で、図3は、デコーダの構成を示す図である。すなわち、第1実施例は、長方形符号化方式で符号化されたブロックと非長方形符号化方式で符号化されたブロックが互いに接触しているとき、折り返し歪みなどの欠陥を補償するための実施例に対応する。
【0115】
図2を参照すると、第1実施例に係るエンコーダ100Aは、図1に示したエンコーダ100と同様に、長方形符号化ユニット120R及び非長方形符号化ユニット120Nを含み、マルチプレクサ130を更に含むことができる。詳細に説明すると、長方形符号化ユニット120Rは、長方形方式符号化部122及び長方形方式合成部分124を含み、非長方形符号化ユニット120Nは、補償情報生成部分128を含み、非長方形方式符号化部126を更に含むことができる。
【0116】
まず、入力信号は、ブロック単位で分けられた後、ブロック別に長方形符号化ユニット120R又は非長方形符号化ユニット120Nに入力される。ここで、ブロックとは、フレーム又はサブフレームに対応する単位である。
【0117】
以下、図4及び図5を参照してフレーム別符号化方式(長方形符号化方式/非長方形符号化方式)について説明し、図6〜図11を参照して異種符号化方式(長方形符号化方式/非長方形符号化方式)への変化で発生する欠陥(折り返し歪みなど)を補償する多様な方法について説明する。図4〜図11について具体的に説明した後、再び図2及び図3の各構成要素について説明する。
【0118】
図4は、オーディオ信号の構成単位、及び構成単位別符号化方式の例である。
【0119】
図4を参照すると、オーディオ信号がi番目のフレーム(frame i)及びi+1番目のフレーム(frame i+1)を含む一連のフレームで構成されることが分かる。ここで、一つのフレームは複数(例えば、4個)のサブフレームからなることが分かる。また、図4は、フレーム別又はサブフレーム別に互いに異なる符号化方式が適用され得ることを示す。具体的に、三つの符号化方式、すなわち、A符号化方式(ACELP)、B符号化方式(TCX)、C符号化方式(FD)が存在する場合の例である。フレームは複数のサブフレーム(例えば、4個のサブフレーム)で構成することができる。そして、A符号化方式(例えば、ACELP)は、図4の(A)のi番目のフレームに示したようにサブフレーム別に適用することができる。B符号化方式(例えば、TCX)は、(B)のi番目のフレーム、及び(D)のi番目のフレーム及びi+1番目のフレームに示したように、1個のサブフレーム、2個の連続したサブフレーム、4個の連続したサブフレーム(すなわち、一つのフレーム)に適用することができる。C符号化方式(例えば、FD)は、(A)及び(C)に示したように、サブフレームでないフレーム単位で適用可能であるが、本発明がこれに限定されることはない。
【0120】
図5は、異種符号化方式(長方形符号化方式及び非長方形符号化方式)への変化を説明するための図である。
【0121】
図5の(A―1)を参照すると、N番目のブロックは長方形符号化方式に、N+1番目のブロックは非長方形符号化方式に変化した例を示し、(A―2)はその反対の場合を示している。ここで、ブロックとは、上述したフレーム又はサブフレームに対応し得る。すなわち、N番目のブロック及びN+1番目のブロックのそれぞれは、フレーム又はサブフレームになり得る。すなわち、フレーム―フレーム/フレーム―サブフレーム/サブフレーム―フレーム/サブフレーム―サブフレームの合計4個の組み合わせがすべて可能である。
【0122】
図5の(A―1)のように、長方形符号化方式から非長方形符号化方式に変化した例を図4の(A)〜(D)の場合から探すことができる。
【0123】
図1に対する説明で言及したように、A符号化方式(ACELP)が長方形符号化方式に対応し、B符号化方式(TCX)及びC符号化方式(FD)が非長方形符号化方式に対応し得るが、長方形符号化方式から非長方形符号化方式に変化した場合(図5の(A―1)では、A符号化方式(ACELP)からB符号化方式(TCX)(又はC符号化方式(FD))に変化した場合)は、図5の(B―1)〜(B―4)のうち点線で表示されている各部分に対応する。
【0124】
一方、非長方形符号化方式から長方形符号化方式に変化した場合、すなわち、B符号化方式(TCX)(又はC符号化方式(FD))からA符号化方式(ACELP)に変化した場合(図5の(A―2))は、その表示が(B―1)〜(B―4)で省略されているが、2〜3ヶ所程度(例えば、図5の(B―2)で1番目及び2番目のブロックなど)から探すことができる。
【0125】
このように長方形ウィンドウと非長方形ウィンドウが接触する点では、その非対称性によって折り返し歪みなどの欠陥が発生し得るが、この欠陥を補償するための方法は図6〜図9を参照して説明する。
【0126】
図6は、長方形ウィンドウと非長方形ウィンドウが重複したときの特性を説明するための図である。図7は、補正部分(CP)及び折り返し歪み部分(AP)、及び非補償信号を説明するための図である。図6は、長方形ウィンドウの次に非長方形ウィンドウが現れる場合に対応し、その反対に、非長方形ウィンドウ以後に長方形ウィンドウが重複される場合については後で説明する。
【0127】
図6を参照すると、まず、長方形ウィンドウと非長方形ウィンドウが重複されていることが分かる。ブロックA〜Fを含むオーディオ信号に対して、長方形ウィンドウはブロックB及びブロックCに適用されており、非長方形ウィンドウはブロックC〜ブロックFに適用されていることが分かる。すなわち、ブロックC部分で長方形ウィンドウと非長方形ウィンドウが重複されている。図6の(a)〜(d)は、ブロックA〜Fに対してウィンドウ処理、折り畳み、展開、ウィンドウ処理が適用された結果を順次示している。ウィンドウ処理、折り畳み、展開、ウィンドウ処理は、非長方形ウィンドウと関連して時間ドメイン折り返し歪み除去(TDAC)技術を適用するために、各ブロックに順次適用される過程である。
【0128】
まず、図6の(a)を参照すると、ブロックB及びCに長方形ウィンドウが適用された結果(ドットで表示されたブロック)と、その下側のブロックC〜ブロックFに非長方形ウィンドウが適用された結果が表示されている。C(L1)は、ブロックCに非長方形ウィンドウのL1部分が適用された結果であり、D(L2)は、ブロックDに非長方形ウィンドウのL2部分が適用された結果である。その後、非長方形ウィンドウが適用された結果に対して折り畳みを行うと、図6の(b)のようになる。Er及びDrなどは、ブロック境界を基準にして折り畳みが行われて反転されたことを意味する。その後、展開が行われると、図6の(c)のようになる。その後、再び展開されたブロックに非長方形ウィンドウを適用すると、図6の(d)に示すような結果が出る。
【0129】
すなわち、原信号のブロックDに対応する非補償信号、すなわち、伝送されたデータだけとして取得された信号は、図6に示した通りである。
(式1)
非補償信号=(−Cr(L1)r+D(L2))(L2)
【0130】
ここで、C、DはブロックC及びブロックDに対応するデータを示し、rは反転を示し、L1及びL2は非長方形ウィンドウのL1部分又はL2部分が適用された結果を示す。
【0131】
以下では、図7〜図9を参照しながら、非補償信号を原信号と同一に又は類似する形で補償する方法について説明する。まず、図7を参照すると、上述した式1に対応する非補償信号が示されている。
【0132】
一方、非長方形ウィンドウは対称性を有するが、この非長方形ウィンドウが有する特性は、図8に示したように、次のように説明される。図8は、上述したTDACのためのウィンドウの条件でもある。
(式2)
Li2+Ri2=1(i=1,2)
L1r=R2、
L2r=R1
【0133】
ここで、L1は左側の1番目の部分を示し、L2は左側の2番目の部分を示し、R1は右側の1番目の部分を示し、R2は右側の2番目の部分を示す。
【0134】
したがって、非長方形ウィンドウが有する上記特性を適用すると、式1は次のように整理することができる。
(式3)
非補償信号=(−Cr(L1)r+D(L2))(L2)=D(L2)2−Cr(R2L2)(L1r=R2であるため)
【0135】
したがって、非補償信号が原信号Dと同一になるために、すなわち、完全な補償のために必要な信号は、図7に示したように、次のように表現することができる。
(式4―1)
完全な補償のために必要な信号=原信号−非補償信号
=D−(D(L2)2−Cr(R2L2))
【0136】
一方、ここで、上記式2に開示された特性を用いると、次のように整理される。
(式4―2)
完全な補償のために必要な信号=D(R2)2+Cr(R2L2)(1−L22=R22であるため)
【0137】
このとき、式4―2の1番目の項(D(R2)2)は補正部分に対応し、2番目の項(Cr(R2L2))は折り返し歪み部分と称することができる。
【0138】
補正部分(CP)及び折り返し歪み部分(AP)は、同種ウィンドウ(非長方形ウィンドウと非長方形ウィンドウ)が重複した場合、時間ドメイン折り返し歪み除去(TDAC)が行われて合算されることによって削除される部分に対応する。換言すると、補正部分(CP)と折り返し歪み部分(AP)は、異種ウィンドウ(長方形ウィンドウと非長方形ウィンドウ)が重複したことから、除去できずに残っている誤差である。
【0139】
特に、補正部分(CP)は、現在のブロック(例えば、ブロックD)(ウィンドウ交点以後のブロック)に非長方形ウィンドウ(そのうちR2)が適用された部分に対応する。一方、折り返し歪み部分(AP)は、以前のブロック(例えば、ブロックC)(すなわち、ウィンドウ交点以前のブロック)(長方形ウィンドウと非長方形ウィンドウが重複したブロック)に非長方形ウィンドウ(そのうちR2、L2)が適用された部分に対応する。
【0140】
一方、以前のブロック(例えば、ブロックC)は、以前のブロックのデータを用いてデコーダで復元できるので、復元された以前のブロックを用いて折り返し歪み部分の予測値を生成できるが、これは、次の式のように表現することができる。
(式5)
折り返し歪み部分の予測値=qCr(R2L2)
【0141】
一方、折り返し歪み部分の予測値と原折り返し歪み部分との差(又は量子化誤差)である折り返し歪み部分の誤差は、次のように表現することができる。
(式6)
折り返し歪み部分の誤差=er(R2L2)=Cr(R2L2)−qCr(R2L2)
【0142】
上記式5及び式6を用いて式4―2を整理すると、次の式のように表現することができる。
(式7)
完全な補償のために必要な信号=D(R2)2+Cr(R2L2)=D(R2)2+(qCr+er)(R2L2)
【0143】
ここで、D(R2)2は補正部分(CP)を示し、qCr(R2L2)は折り返し歪み部分(AP)の予測値を示し、er(R2L2)は折り返し歪み部分の誤差を示す。
【0144】
すなわち、完全な補償のために必要な信号は、式7のように、補正部分(CP)と折り返し歪み部分(AP)の和である。
【0145】
このように補正部分(CP)及び折り返し歪み部分(AP)を補償するための三つの方法について図9を参照しながら説明する。
【0146】
図9は、補正部分及び/又は折り返し歪み部分を補償するための補償信号の各実施例を説明するための図である。
【0147】
図9の(A)に示した第1実施例の補償信号は、補正部分(CP)及び折り返し歪み部分の誤差を含み、図9の(B)の第2実施例に係る補償信号は補正部分(CP)だけを含む。図9の(B)の第3の実施例では、補償信号がデコーダに伝送されず、デコーダで補正部分(CP)及び折り返し歪み部分(AP)を推定する。
(式8―1)
方法A:補償信号=D(R2)2+er(R2L2)、ここで、復元信号はDである。
【0148】
第1実施例に係る補償信号の場合、式5と共に説明したように、折り返し歪み部分(AP)の予測値は、エンコーダからデコーダに伝送されないとしても、以前のブロック(すなわち、長方形ウィンドウと非長方形ウィンドウとの重複部分に対応するブロック)のデータに基づいてデコーダで取得することができる。したがって、補償信号が補正部分(CP)及び折り返し歪み部分の誤差を含むとしても、デコーダでは折り返し歪み部分の予測値を生成できるので、完全な補償のための信号(上記式7)を取得することができる。第1実施例は、折り返し歪み部分(AP)自体でない誤差だけを伝送することによって、ビット数を節約することができ、折り返し歪み部分(AP)の誤差まで補償することによって、完全に補償された信号を取得できるという長所を有する。
【0149】
第2実施例の場合、補償信号が補正部分(CP)に対応する信号だけを含む。
(式8―2)
方法B:補償信号=D(R2)2、ここで、復元信号はD−er(R2L2)である。
【0150】
デコーダでは、上述したように(又は第1実施例と同様に)折り返し歪み部分(AP)の予測値を生成し、この予測値と共に、補正部分(CP)に対応する補償信号を用いて補償された信号を取得する。第2実施例は、折り返し歪み部分(AP)の誤差が補償された信号に残存し得るので、復元率又は音質が多少低くなり得るが、第1実施例の場合よりは補償信号の圧縮率を高めることができるという効果を有する。
【0151】
第3の実施例は、補償信号が伝送されず、デコーダで補正部分(CP)及び折り返し歪み部分(AP)を推定するものである。
(式8―3)
方法C:補償信号=伝送されず、デコーダで生成された補償信号=qCr(L2R2)+D(R2)2、ここで、復元信号はD―er(R2)/(L2)である。
【0152】
上述したように(又は第1実施例及び第2実施例と同様に)、折り返し歪み部分(AP)の予測値はデコーダで生成することができる。一方、補正部分(CP)は、現在のブロック(例えば、ブロックD)に対応する信号に対してウィンドウの形状を補償することによって生成することができる。具体的に、以前のブロックのデータ(qC)を用いてqCr(L2R2)を生成し、これを式1のような非補償信号に加算する。そうすると、D(L2)2−er(L2R2)が生成されるが、この信号を(L2)2で除すことによって(具体的に、D(R2)2を生成して加算する過程であり得る)D−er(R2)/(L2)が得られる。ただし、式8―3では、現在のブロック(ブロックD)に対する量子化誤差は表現されなかった。
【0153】
第3の実施例は、第1実施例及び第2実施例に比べて復元率が多少低下し得るが、補償信号を伝送するためのビットが全く必要でないので、圧縮率が非常に高い。
【0154】
図10は、図6に示した異種ウィンドウ(長方形ウィンドウと非長方形ウィンドウとの)間の結合のうち、非長方形ウィンドウの各例を説明するための図である。非長方形ウィンドウの各例は、図10の(A)〜(C)に示したように、コーナーが直角でなく、傾斜のある上昇ラインを有する。図10の(A)〜(C)に対応するそれぞれの非長方形ウィンドウの形状は、次の表のように示すことができる。
【表1】
【0155】
ここで、Nはフレーム長を示し、数字はサンプルの個数(例えば、256は、256サンプル)を示す。
【0156】
表1及び図10に示したように、上記の三つのタイプのウィンドウは、いずれも上昇ライン及び下降ラインの幅がN/4(Nフレーム長)であり得る。
【0157】
一方、(A)〜(C)に示した非長方形ウィンドウは、B方式(例えば、TCX)のモード1、モード2、モード3に対応する各ウィンドウに対応し得るが、本発明がこれに限定されることはない。ここで、モード1は、図4で言及したように、1個のサブフレームにB方式が適用されるときのウィンドウに対応し、モード2は、2個の連続したサブフレームにB方式が適用されるときのウィンドウに対応し、モード3は、4個の連続したサブフレーム(すなわち、1個のフレーム)の場合のウィンドウに対応し得る。
【0158】
一方、図10では、B方式に対応する非長方形ウィンドウの各例を説明したが、C方式(例えば、MDCT)に対応する非長方形ウィンドウの各例は、後で第2実施例に係るオーディオ信号処理装置と共に説明する。
【0159】
図11は、非長方形ウィンドウ以後に長方形ウィンドウが重複した場合を示す図である。図6は、長方形ウィンドウ以後に非長方形ウィンドウが表れる場合を示す一方、図11は、非長方形ウィンドウ以後に長方形ウィンドウが重複される場合を示す。
【0160】
図11の(A)を参照すると、図6の場合と同様に、この場合にも、非長方形ウィンドウに対応するブロックで補正部分(CP)及び折り返し歪み部分(AP)が発生することが分かる。非長方形ウィンドウと長方形ウィンドウが重複されるブロックが、図6の場合と異なり、以前のブロックでなく以後のブロックであるので、以後のブロックのデータを用いて折り返し歪み部分(AP)の予測値を生成することができる。また、図9と共に説明した多様な実施例に対応する補償信号を伝送することによって、非長方形ウィンドウと長方形ウィンドウとの間の重複によって発生する欠陥(補正部分(CP)及び折り返し歪み部分(AP))を解決することができる。
【0161】
一方、図11の(B)を参照すると、長方形ウィンドウの埋め込み部分(EP)は、非長方形ウィンドウに対応する符号化方式(例えば、B方式又はC方式)によって符号化されたデータに折り返し歪み部分(AP)として埋め込まれる。したがって、長方形ウィンドウに対応する全体の信号をDとし、埋め込み部分(EP)をCrwとしたとき、次の式のように表現することができる。
(式9)
Crw=Cr(R1)r+D(R2)
【0162】
参考までに、上記信号は、デコーダ側でウィンドウを適用する前の信号である。
【0163】
すなわち、上記埋め込み部分(EP)(Crw)は、デコーダで計算することができる。長方形符号化方式に従ってD全体を符号化するよりは、D−Crwだけ(図面の伝送部分(TP))を符号化して伝送することができる。伝送部分(TP)は、次のように表現することができる。
(式10)
TP=D−Crw=−Cr(R1)r−D(1−R2)
【0164】
デコーダは、非長方形符号化方式に対応する展開されたデータと、長方形符号化方式に対応するデータとを重複させ、元の信号を復元することができる。
【0165】
図4〜図11を参照しながら、異種符号化方式及び異種ウィンドウ(長方形ウィンドウ及び非長方形ウィンドウ)が重複した場合の欠陥を補償するための内容について具体的に説明したが、再び図2及び図3を参照しながら、第1実施例に係るオーディオ信号処理装置及び方法について説明する。
【0166】
再び図2を参照しながら、N番目のブロックが長方形符号化方式に対応するブロックであり、N+1番目のブロックが非長方形符号化方式に対応するブロックである場合について説明するが、その反対の場合(すなわち、N番目のブロックが非長方形符号化方式であり、N+1番目のブロックが長方形符号化方式である場合)も、図10の(A)を参照しながら言及したように適用可能であることは当然である。
【0167】
長方形方式符号化部122は、入力信号のうちN番目のブロックを長方形符号化方式に従って符号化し、その符号化されたデータ(便宜上、第1データと略称する)を長方形方式合成部分124及びマルチプレクサ130に伝達する。ここで、長方形符号化方式は、上述したように長方形ウィンドウが適用される符号化方式であって、ACELPがこれに属し得るが、本発明がこれに限定されることはない。長方形方式符号化部122は、例えば、図6のブロックB及びブロックCをA符号化方式で長方形ウィンドウを適用して符号化した結果であり得る。
【0168】
長方形方式合成部分124は、符号化されたデータ(第1データ)を用いて折り返し歪み部分(AP)の予測値を生成する。具体的に、まず、長方形符号化方式で復号することによって出力信号を生成する。例えば、A符号化方式に従ってブロックC(及びブロックB)を元通りに復元する。この出力信号及び非長方形ウィンドウを用いて折り返し歪み部分の予測値を取得する。ここで、折り返し歪み部分の予測値は、上記式5に示す通りである。式5で、qCは出力信号に対応し、R2L2は非長方形ウィンドウに対応する。この折り返し歪み部分の予測値は補償情報生成部分128に入力される。
【0169】
非長方形方式符号化部126は、N+1番目のブロックを非長方形符号化方式で符号化することによって、符号化されたデータ(便宜上、第2データ)を生成する。例えば、第2データは、図6のブロックC〜Fに対して非長方形ウィンドウを適用した後、折り畳みした結果に対応し得る。非長方形符号化方式は、上述したように、B符号化方式(例えば、TCX)又はC符号化方式(例えば、MDCT)に対応し得るが、本発明がこれに限定されることはない。この第2データはマルチプレクサ130に伝達される。
【0170】
補償情報生成部分124は、折り返し歪み部分の予測値と原入力信号を用いて補償信号を生成する。補償信号は、図9に示したように、三つの方式に従って生成することができる。方法Aの場合、折り返し歪み部分の予測値と原入力信号をすべて利用し、方法Bの場合、原入力信号だけを利用することができる。方法Cの場合は、補償信号を生成しない場合である。上記の三つの方式は、全体のフレーム又はサブフレームに対して同一の方式が適用されることもあるが、各フレームのビット効率を考慮して、フレームごとに異なる方式が適用されることもある。補償信号の定義及び生成過程については、図6〜図9と共に詳細に説明したので、それに対する具体的な説明は省略する。補償情報生成部分124で生成された補償信号はマルチプレクサ130に伝達される。
【0171】
マルチプレクサ130は、上記第1データ(例えば、N番目のブロックのデータ)、第2データ(例えば、N+1番目のブロックのデータ)及び補償信号を多重化することによって、一つ以上のビットストリームを生成してエンコーダに伝送する。もちろん、図1のマルチプレクサ130と同様に、符号化方式情報などをビットストリームに含ませることができる。
【0172】
図3を参照すると、第1実施例に係るデコーダ200Aは、第1デコーダ200と同様に、長方形復号ユニット220及び非長方形復号ユニット220Nを含み、デマルチプレクサ210を更に含むことができるが、上記非長方形復号ユニット228は、補償部分228を含む。より詳細に、長方形復号ユニット220Rは、長方形方式復号部222及び折り返し歪み予測部分224を更に含むことができ、非長方形復号ユニット220Nは、非長方形方式復号部226を更に含むことができる。
【0173】
デマルチプレクサ210は、一つ以上のビットストリームから第1データ(長方形符号化方式で符号化されたデータ)(例えば、N番目のブロックのデータ)、第2データ(非長方形符号化方式で符号化されたデータ)(例えば、N+1番目のブロックのデータ)、及び補償信号を抽出する。補償信号は、図9と共に説明した三つの類型のうち一つに該当し得る。
【0174】
長方形方式復号部222は、第1データを長方形符号化方式で復号して出力信号を生成する。図6のブロックC(及びブロックB)を取得するのと同様である。
【0175】
折り返し歪み予測部分224は、図2の長方形方式合成部分124と同様に、出力信号と非長方形ウィンドウを用いて折り返し歪み部分の予測値を生成する。折り返し歪み部分の予測値は、上記式5に該当し得る。
【0176】
非長方形方式復号部226は、第2データを非長方形符号化方式で復号して信号を生成する。この信号は、折り返し歪みなどが補償される前の信号であるので、上述した非補償信号に該当し、上記の式1に表現された信号と同一であり得る。
【0177】
補償部分228は、デマルチプレクサ210から伝達された補償信号、折り返し歪み予測値部分224で取得された折り返し歪み部分の予測値、及び非長方形方式復号部226で生成された非補償信号を用いて復元された信号を生成する。ここで、復元された信号は、図9及び式8―1〜式8―3を参照して説明した通りである。
【0178】
以下では、図12〜図13を参照しながら、第2実施例に係るオーディオ信号処理装置を説明する。
【0179】
第1実施例は、N番目のブロックが長方形符号化方式(例えば、A符号化方式)に対応し、N+1番目のブロックが非長方形符号化方式(例えば、B符号化方式又はC符号化方式)に対応する場合(又は反対の順序)である。その一方、第2実施例は、N+1番目のブロックがC符号化方式であるとき、N番目のブロックが長方形符号化方式(例えば、A符号化方式)であるかどうかによって、C符号化方式のウィンドウタイプが変わる例(N番目のブロックとN+1番目のブロックの順序は変わり得る)である。
【0180】
図12は、本発明の第2実施例によるエンコーダのブロック図である。
【0181】
図12を参照すると、第2実施例に係るエンコーダ100Bは、第1実施例と同様に、長方形符号化ユニット120R及び非長方形符号化ユニット120Nを含む。ただし、非長方形符号化ユニット120Nがウィンドウタイプ決定部127を更に含む。その他の構成要素(長方形方式符号化部122、長方形方式合成部分124、非長方形方式符号化部126、及び補償情報生成部分128は、第1実施例の同一名称の各構成要素の機能と同一であり得るが、同一の部分についての具体的な説明は省略する。
【0182】
ウィンドウタイプ決定部127は、第2ブロック(現在のブロック)が非長方形符号化方式で符号化された場合、第1ブロック(例えば、以前のブロック又は以後のブロック)が長方形符号化方式で符号化されたかどうかによって、第2ブロックのウィンドウのタイプを決定する。具体的に、第2ブロックが非長方形符号化方式のうちC符号化方式で符号化され、第2ブロックに適用されたウィンドウが遷移ウィンドウクラスに属する場合、第1ブロックが長方形符号化方式で符号化されたかどうかによって、第2ブロックのウィンドウのタイプ(及び形状)を決定する。ウィンドウのタイプの例は、次の表1に示す通りである。
【表2】
(ここで、Nは、フレーム長、1024サンプル又は960サンプルなどに対応する。)
【0183】
表に示したように、合計5個のウィンドウのうち2、4、5番のウィンドウ(ロング―スタートウィンドウ、ロング―ストップウィンドウ、及びストップ―スタートウィンドウ)が遷移ウィンドウクラスに属する。遷移ウィンドウクラスに属するウィンドウは、表に示したように、以前又は以後のブロックが長方形ウィンドウに対応するかどうかによってウィンドウの形状が変わる。長方形符号化方式に該当する場合、上昇ライン(又は下降ライン)の幅がN/4である一方、非長方形符号化方式(そのうちC符号化方式)に該当する場合の遷移ウィンドウのクラスは、上昇ライン(又は下降ライン)の幅がN/8になることが分かる。
【0184】
図13は、本発明の第2実施例に従うデコーダのブロック図である。
【0185】
図14は、以前のブロックが長方形符号化方式であるかどうかによる遷移ウィンドウの形状を示す図である。図14の(A)及び(B)に示した右側の非長方形ウィンドウは表1のロング―ストップウィンドウに対応するが、ロング―スタートウィンドウ及びストップ―スタートウィンドウに置き替えることもできる。
【0186】
図14の(A)は、以前のブロックが長方形ウィンドウに対応する場合、現在のブロックの遷移ウィンドウの上昇ラインが第1傾斜を有することを示し、図14の(B)は、以前のブロックが長方形ウィンドウに対応しないとき(具体的に、C符号化方式のウィンドウに対応する場合)、現在のブロックの遷移ウィンドウの上昇ラインが第2傾斜を有することを示している。このとき、第1傾斜は第2傾斜より緩やかである。第1傾斜の幅は第2傾斜の幅の2倍に対応し得る。第1傾斜の幅がN/4に対応し、第2傾斜の幅がN/8に対応し得る。
【0187】
換言すると、ウィンドウタイプ決定部127は、まず、現在のブロックに対応するウィンドウのタイプを決定し、複数のウィンドウのうち現在のブロック(フレーム又はサブフレーム)に適用された特定のウィンドウを指定する(すなわち、ウィンドウタイプを指示する)ウィンドウタイプ情報を生成してマルチプレクサ130に伝達する。そして、現在のブロックに対応するウィンドウのタイプが遷移ウィンドウに分類される場合、以前のブロック又は以後のブロックが長方形符号化方式に対応するかどうかによって、ウィンドウの形状、具体的に、上昇ライン又は下降ラインの幅(及びそれによるトップライン、及び左側(右側)のゼロ区間の長さ)を決定し、その決定されたウィンドウの形状を現在のブロックに適用する。
【0188】
一方、補償情報生成部分128は、第1実施例の補償情報生成部分128と同様に、異種ウィンドウ(非長方形ウィンドウと長方形ウィンドウ)が重複したとき(例えば、図14の(A)に対応する場合)、補償信号を生成する。
【0189】
上述したように補償信号を用いると、異種ウィンドウが重複した場合の欠陥を補完できるので、異種ウィンドウが100%重複される必要はなく、50%だけが重複され得る。したがって、100%重複される必要がないので、遷移ウィンドウに分類される各ウィンドウの上昇ライン(又は下降ライン)の幅を狭めなくてもよく、100%重複されるべき場合よりも相対的に緩やかな傾斜を有するウィンドウを有することができる。
【0190】
図13を参照すると、第2実施例に係るデコーダ200Bは、第1実施例に比べて非長方形復号ユニット220Nがウィンドウ形状決定部127を更に含む。第1実施例の構成要素と同一名称の構成要素については、その具体的な説明を省略する。
【0191】
ウィンドウ形状決定部127は、現在のブロック(又は第2ブロック)が非長方形符号化方式(特に、C符号化方式)に対応する場合、デマルチプレクサ210から伝達されたウィンドウタイプ情報に基づいて、複数のウィンドウのうち現在のブロックに適用される特定のウィンドウ(すなわち、ウィンドウタイプ)を決定する。現在のブロックのウィンドウが遷移ウィンドウクラスに属する場合、以前/以後のブロック(第1ブロック)が長方形符号化方式で符号化されたかどうかによって、決定されたウィンドウタイプのうちウィンドウの形状を決定する。具体的に、以前/以後のブロックが長方形符号化方式で符号化され、現在のブロックのウィンドウが遷移ウィンドウクラスに属する場合、上述したように、第2傾斜より緩やかな第1傾斜の上昇ライン(又は下降ライン)を有するようにウィンドウの形状を決定する。例えば、ロング―スタートウィンドウの場合、表1での緩やかなロング―スタートウィンドウ(第1傾斜(例えば、N/4)の下降ラインを有する)と決定し、ロング―ストップウィンドウの場合、表1での緩やかなロング―ストップウィンドウ(例えば、第1傾斜(N/4)の上昇ライン)と決定する。ストップ―スタートウィンドウの場合も同様である。ここで、第1傾斜(例えば、N/4)は、上述したように、第2傾斜より緩やかな傾斜であるが、第2傾斜は急な遷移ウィンドウ(急なロング―ストップウィンドウなど)の上昇ライン又は下降ラインの傾斜である。
【0192】
このように決定されたウィンドウタイプ及びウィンドウの形状は、非長方形方式復号部226に伝達され、非長方形方式復号部226は、決定されたウィンドウタイプ及びウィンドウの形状によって、現在のブロックを非長方形方式で復号することによって、非補償信号を生成する。
【0193】
補償部分228は、第1実施例と同様に、異種ウィンドウ(長方形ウィンドウ/非長方形ウィンドウ)の重複が発生した場合、非補償信号及び補償信号(及び折り返し歪み部分の予測値)を用いて復元された信号を生成する。
【0194】
以下、図15及び図16と共に第3の実施例に係るオーディオ信号処理装置について説明する。第3の実施例は、図1のオーディオ信号処理装置のうち第1符号化ユニット120―1及び第2符号化ユニット120―2と、第1復号ユニット220―1及び第2復号ユニット220―2を含む実施例である。具体的に、現在のブロック(例えば、N番目のブロック)が第2符号化方式(C符号化方式)で符号化され、以後のブロック(例えば、N+1番目のブロック)が第1符号化方式(A符号化方式又はB符号化方式)で符号化されたかどうかによって、現在のブロックに対応する現在のウィンドウの形状が決定されることに対応する実施例である。
【0195】
図15は、本発明の第3実施例に従うエンコーダのブロック図である。
【0196】
図15を参照すると、第3の実施例に係るエンコーダ100Cのうち第1符号化ユニット120―1は、第1方式符号化部122―1を含み、第2符号化ユニット120―2は、第2方式符号化部126―2及びウィンドウタイプ決定部127―2を含む。上記エンコーダ100Cは、マルチプレクサ130を更に含むことができる。入力信号は、ブロック(フレーム又はサブフレーム)単位で第1符号化ユニット120―1又は第2符号化ユニット120―2に入力される。
【0197】
第1方式符号化部122―1は、第1符号化方式に従って入力信号を符号化し、第2方式符号化部126―2は、第2符号化方式に従って入力信号を符号化するが、第1符号化方式又は第2符号化方式とは、図1と共に説明した通りである。すなわち、第1符号化方式が線形予測ドメインベースの符号化方式に対応し、第2符号化方式が周波数ドメインベースの方式に対応し得る。一方、第1符号化方式は、図1と共に説明したように、長方形ウィンドウ方式に対応するA符号化方式(例えば、ACELP)、及び非長方形ウィンドウ方式に対応するB符号化方式(例えば、TCX)を含むことができ、第2符号化方式は、非長方形ウィンドウ方式に対応するC符号化方式(例えば、MDCT)を含むことができる。
【0198】
ウィンドウタイプ決定部127―2は、入力信号が第2符号化方式に対応する場合、以前のブロック又は以後のブロックの信号の特性(及びウィンドウタイプ)を参照して現在のブロックのウィンドウタイプ及び形状を決定し、現在のブロック(フレーム/サブフレーム)に対応するウィンドウタイプを指示するウィンドウタイプ情報を生成してマルチプレクサ130に伝達する。
【0199】
以下では、表1を参照しながら、ウィンドウタイプについて具体的に説明した後、図17及び図18を参照しながら、以前のブロック/以後のブロックの符号化方式による現在のブロックのウィンドウタイプ及び形状について説明した後、再び図15及び図16の各構成要素について説明する。
【0200】
第2符号化方式に対応するウィンドウタイプの一例は、上述した表1と同一であり得る。表1を参照すると、合計5個のタイプのウィンドウ(オンリー―ロング、ロング―スタート、ショート、ロング―ストップ、ストップ―スタート)が存在する。ここで、オンリー―ロングウィンドウは、信号の特性が固定的(stationary)であるため、ロングウィンドウに適した信号に適用されるウィンドウであり、ショートウィンドウは、信号の特性が一時的(transient)であるため、ショートウィンドウに適した信号に適用されるウィンドウである。そして、遷移ウィンドウに分類されるロング―スタート、ロング―ストップ、ストップ―スタートは、オンリー―ロングウィンドウからショートウィンドウ(又は第1符号化方式のウィンドウ)に遷移される過程のために(ロング―スタート)、又はショートウィンドウからオンリー―ロングウィンドウ(又は第1符号化方式のウィンドウ)に遷移される過程のために(ロング―ストップ)必要なウィンドウである。ストップ―スタートは、現在のブロック又はフレームにロングウィンドウが適しているが、以前のフレーム及び以後のフレームがショートウィンドウ(又は第1符号化方式のウィンドウ)であるときに使用されるウィンドウである。
【0201】
表1に示した5個のタイプのウィンドウの形状を更に説明すると、オンリー―ロングウィンドウ、ショートウィンドウ、ストップ―スタートウィンドウは左右対称であり、残りのウィンドウは左右非対称である。ロング―スタートウィンドウは、右側部分だけにゼロ区間を含み、ロング―ストップウィンドウは、左側部分だけにゼロ区間を含む。
【0202】
以下、以前のフレーム又は以後のフレームによって現在のフレームのウィンドウ形状が決定される過程について具体的に説明する。以前のフレームがオンリー―ロングウィンドウで、現在のフレームがロング―スタートウィンドウである場合、以後のフレームがショートウィンドウに対応するか、それとも第1符号化方式のウィンドウに対応するかによって、現在のロング―スタートウィンドウの形状を決定することができる。具体的に、ロング―スタートウィンドウの下降ラインの傾斜が変わり得るが、下降ラインの傾斜が緩やかな形状のロング―スタートウィンドウを緩やかなロング―スタートウィンドウ(gentle long―start window)と称し(表1の形状別名称を参照)、下降ラインの傾斜が急な形状のロング―スタートウィンドウを急なロング―スタートウィンドウ(steep long―start window)と称することにする。これについて、図17を参照しながらより具体的に説明する。
【0203】
図17は、ロング―スタートウィンドウが第1方式符号化ウィンドウ及びショートウィンドウとそれぞれ結合された場合の形状を示す図である。図17の(A―1)及び(A―2)は、ロング―スタートウィンドウと第1符号化方式のウィンドウの結合に対応し、(B)は、ロング―スタートウィンドウとショートウィンドウの結合に対応する。
【0204】
具体的に、図17の(A―1)に示した第1符号化方式のウィンドウは、A方式(長方形ウィンドウ方式)に対応するウィンドウである。図17の(A―2)は、第1符号化方式ウィンドウのうちB方式(非長方形ウィンドウ方式)に対応するウィンドウである。図17の(A―1)及び(A―2)に示したように、以後のフレームが第1符号化方式に対応する場合、現在のロング―スタートウィンドウは第1傾斜を有する下降ラインを含み、図17の(B)に示したように以後のフレームが第2符号化方式(すなわち、ショートウィンドウ)に対応する場合、現在のロング―スタートウィンドウは第2傾斜を有する下降ラインを含む。第1傾斜の幅は第2下降ラインの幅の2倍であり、第1傾斜の幅はN/4(Nはフレーム長)に対応し得る。一方、第1傾斜の幅は、256サンプルに対応し、ロング―スタートの全体長さの1/8に対応し得る。
【0205】
図17の(A―1)の場合のように、ロング―スタートウィンドウ以後に長方形ウィンドウが重複した場合、上述した第1実施例及び第2実施例で説明したように、受信された補償信号を用いることによって、補正部分(CP)及び折り返し歪み部分(AP)の補償が可能である。このように補償しない場合、ロング―スタートウィンドウが長方形ウィンドウと100%重複されなければならないので、ビットの浪費を防止するためには、長方形ウィンドウと重複される下降ラインの傾斜を急にするしかなかった。しかし、上記のような補償が可能になることによって、長方形ウィンドウと50%重複しても音質が歪まないので、下降ラインの傾斜を図17の(A―1)のように第1傾斜に維持することができる。このように下降ラインを第1傾斜に緩やかに維持することによって、二つのウィンドウの交点が3N/2の点になる。100%重複しなければならない場合、二つのウィンドウの交点は3N/2−N/16になるしかない。すなわち、50%重複される図17の(A―1)の場合より交点がN/16ほど前方にあるしかない。
【0206】
換言すると、以後のウィンドウが第1符号化方式に対応するウィンドウである場合、50%だけが重複されてもよいので、ロング―スタートウィンドウの下降ラインは第1傾斜に緩やかに維持され、この結果、交点の位置は、以後のブロックが第1符号化方式に従うか、それとも第2符号化方式に従うかとは関係なく、同一の位置(例えば、ウィンドウ開始点から3N/2の点)になる。このように交点が同一になることによって、ウィンドウ間の遷移が変わるが、これについては、後で第4の実施例と共に説明する。
【0207】
図17の(B)の場合、第2傾斜は、次のフレーム(第2符号化方式)に対応するウィンドウの上昇ラインの傾斜とマッチングされることによってTDACの条件が満足される。マッチングされることは、傾斜の絶対値が同一であり得ることを意味する。すなわち、下降ラインの傾斜及び次のフレームの上昇ラインの傾斜の幅は、図面に示したようにすべてN/4であり得る。
【0208】
一方、表1を再び参照すると、ショートウィンドウは、以前のブロック又は以後のブロックの符号化方式とは関係なく形状が一つであるが、これについて図18を参照しながら説明する。図18の(A)及び(B)は、ショートウィンドウが第1符号化方式のウィンドウ及び第2符号化方式のウィンドウとそれぞれ重複した場合を示す図である。図18の(A―1)は、ショートウィンドウ以後に、第1符号化方式のうち、特に長方形符号化方式(例えば、A符号化方式)が登場した場合を示し、図18の(A―2)は、第1符号化方式のうち、特に非長方形符号化方式(例えば、B符号化方式)が登場した場合を示す。図18の(A―1)及び(A―2)のようにショートウィンドウの次に第1符号化方式のウィンドウが重複した場合、又は図18の(B)のようにショートウィンドウの次に第2符号化方式のウィンドウ(具体的にロング―ストップウィンドウ)が重複した場合のいずれにおいても、ショートウィンドウの下降ラインの傾斜(図面の傾斜Aを参照)は同一である。このように同一形状のショートウィンドウが可能な理由は、まず、第1実施例と第2実施例と共に説明したように、ショートウィンドウ以後に長方形符号化方式が登場するとしても、補償信号を用いて補正部分(CP)及び折り返し歪み部分(AP)を補償できるためである(図18の(A―1))。したがって、50%だけが重複されても可能であるので、ショートウィンドウに含まれた8個のショート部分(三角形状)のうち最後のショート部分の下降ラインも急な傾斜をなす必要がない。したがって、図18の(A―1)に示したように(図17の(A―1)の場合と同様に)、図18の(A―1)のように上昇ラインの傾斜と同一の水準で比較的緩やかに(傾斜A)(例えば、幅がN/8、Nはフレーム長)維持することができる。これによって、以後のブロックが第1符号化方式であるか、それとも第2符号化方式であるかとは関係なく、同一形状のショートウィンドウを用いることができる。
【0209】
一方、現在のフレームがロング―ストップウィンドウで、以後のフレームがオンリー―ロングウィンドウである場合、以前のフレームが第1符号化方式のウィンドウに対応するかによって、現在のロング―ストップウィンドウの形状が決定されることもあるが、これについては、第4の実施例で具体的に説明する。
【0210】
再び図15を参照すると、ウィンドウタイプ決定部127―2は、上述した表1と共に説明したように、複数のウィンドウのうち現在のブロックに適用される特定のウィンドウを決定し、この特定のウィンドウを指示するウィンドウタイプ情報を生成してマルチプレクサ130に伝達する。
【0211】
マルチプレクサ130は、第1符号化方式に従って符号化されたデータ(例えば、N+1番目のブロックのデータ)、第2符号化方式に従って符号化されたデータ(例えば、N番目のブロックのデータ)、及びウィンドウタイプ情報を多重化することによって一つ以上のビットストリームを生成する。
【0212】
図16を参照すると、本発明の第3の実施例に係るデコーダ200Cは、第1復号ユニット220―1及び第2復号ユニット220―2を含み、デマルチプレクサ210を更に含むことができる。第1復号ユニット220―1は第1方式復号部222―1を含み、第2復号ユニット220―2は、第2方式復号部226―2及びウィンドウ形状決定部227―2を含む。
【0213】
デマルチプレクサ210は、図1と共に説明した符号化方式情報(例えば、符号化識別情報及び副符号化識別情報)を受信し、これに基づいてデータをブロック別に第1復号ユニット220―1又は第2復号ユニット220―2に伝達する。また、上述したウィンドウタイプ情報を抽出してウィンドウ形状決定部227―2に伝達する。ここで、ウィンドウタイプ情報は、上述した表1に対応する5個のウィンドウタイプのうち一つを指示する情報であり得る。しかし、5個のウィンドウタイプがすべて可能ではなく、上述したように、以前のブロック又は以後のブロックの符号化方式やウィンドウタイプなどで現在のブロックのウィンドウタイプを制限することができる。したがって、ウィンドウタイプ情報は、合計5個のうち一つを指示する情報ではなく、不可能なウィンドウタイプを除いて2個又は3個のタイプのうち一つを指示する情報であり得る。このような遷移制限については、後で第4の実施例と共に追加的に説明する。
【0214】
第1方式復号部222―1は、第1方式符号化部122―1の逆過程を行う構成要素であって、第1符号化方式(例えば、ACELP、TCX)に従ってデータを復号することによって出力信号(例えば、N+1番目のブロックの出力信号)を生成し、第2方式復号部226―2は、第2符号化方式(例えば、MDCT)に従ってデータを復号することによって出力信号(例えば、N番目のブロックの出力信号)を生成する。
【0215】
ウィンドウ形状決定部227―2は、ウィンドウタイプ情報に基づいて現在のブロックのウィンドウタイプを識別し、以前のブロック又は以後のブロックの符号化方式に従って上記ウィンドウタイプのうちウィンドウの形状を決定する。図17と共に詳細に説明したように、現在のウィンドウがロング―スタートウィンドウで、以前のウィンドウがオンリー―ロングウィンドウである場合、以後のウィンドウが第1符号化方式であるか、それとも第2符号化方式であるかによって、急なロング―スタートウィンドウ及び緩やかなロング―スタートウィンドウのうち一つを選択することによってウィンドウの形状を決定する。図18と共に説明した例では、現在のブロックがショートウィンドウである場合、以後のブロックのウィンドウタイプとは関係なく、同一形状のショートウィンドウを決定する。
【0216】
第2方式復号部226―2は、ウィンドウ形状決定部227―2によって決定された形状のウィンドウを現在のブロックに適用する。
【0217】
以下、図19〜図23を参照しながら、本発明の第4の実施例について説明する。第3の実施例では、以後のブロックの符号化方式に従って現在のブロックのウィンドウ形状が決定される一方、第4の実施例では、以前のブロックの符号化方式に従って現在のブロックのウィンドウ形状が決定される。この点だけで差があり、他の点ではすべて第3の実施例と同一であるので、この同一部分についての説明は省略する。
【0218】
図19は、本発明の第4実施例によるエンコーダのブロック図であり、図20は、本発明の第4実施例によるデコーダのブロック図である。
【0219】
図19及び図20を参照すると、第4の実施例に係るエンコーダ100D及びデコーダ200Dは、N番目のブロックが第1符号化方式で符号化され、N+1番目のブロックが第2符号化方式で符号化されるという点で差があるだけで、第3の実施例に係るエンコーダ100C及びデコーダ200Cの各構成要素(図15及び図16に示した)とはほぼ同一であるので、同一の部分は、図15及び図16を参照しながら説明した内容で置き替えることができる。
【0220】
ウィンドウタイプ決定部127―2は、ブロック間のウィンドウの遷移を考慮して、現在のブロックのウィンドウを決定する。具体的に、以前のブロック(N番目のブロック)が第1符号化方式で符号化されたかどうかによって、現在のブロック(N+1番目のブロック)のウィンドウタイプ/及び形状を決定する。具体的に、以前のブロックが第1符号化方式で符号化された場合、表1に示した5個のタイプのうち、オンリー―ロングウィンドウ及びロング―スタートウィンドウを除いた3個のタイプ(ショートウィンドウ、ロング―ストップウィンドウ、ストップ―スタートウィンドウ)のうち一つと決定する。すなわち、第1符号化方式で符号化方式間の遷移に必要な遷移ウィンドウを経ることなく、第2符号化方式内で使用されるショートウィンドウや、ショートウィンドウとロングウィンドウとの間の遷移のために使用される遷移ウィンドウ(ロング―ストップウィンドウ及びストップ―スタートウィンドウ)に直ぐ移動することができる。
【0221】
このようなウィンドウ間の経路を図21に示している。図21を参照すると、行方向は以前のブロックに対応するウィンドウを示し、列方向は現在のブロックに対応するウィンドウを示し、丸印又は星印部分は、可能なウィンドウ遷移経路を示す。例えば、以前のブロックがオンリー―ロングウィンドウである場合、現在のブロックには、オンリー―ロング又はロング―スタートウィンドウだけが可能である。
【0222】
星印を参照すると、以前のブロックが第1符号化方式(例えば、ACELP又はTCX))に対応するブロックである場合、現在のブロックは、上述したように、第2符号化方式に対応するウィンドウのうち、ショートウィンドウ、ロング―ストップウィンドウ、ストップ―スタートウィンドウのうち一つになり得る。すなわち、第1符号化方式から第2符号化方式への遷移のために別途に設けられたウィンドウ(例えば、1152サンプルに対応するウィンドウ)を経る必要がないが、この理由は、上述した第3の実施例と共に説明したように、交点が符号化方式とは関係なく一致するためである。以下では、図22〜図23を参照しながら説明する。
【0223】
図22は、第1符号化方式でロング―ストップウィンドウに遷移される場合を示し、図21の星印(1)(★(1))に対応し、図23は、第1符号化方式でショートウィンドウに遷移される場合を示し、図21の星印(2)(★(2))に対応する。
【0224】
まず、図22を参照すると、図22の(A)は、第1符号化方式のうち長方形符号化方式(例えば、ACELP)に対応するウィンドウとロング―ストップウィンドウとの交差を示し、図22の(B)は、第1符号化方式のうち非長方形符号化方式(例えば、TCX)に該当するウィンドウとロング―ストップウィンドウとの交差を示している。図22の(A)及び(B)の場合、いずれにおいても第1符号化方式に対応するブロックから直ぐロング_ストップウィンドウへの遷移が可能であることが分かる。
【0225】
図22の(A)に長方形ウィンドウを示しているので、上述した第1実施例及び第2実施例と共に説明したように、補償信号を用いて、長方形ウィンドウ及び非長方形ウィンドウの重複による誤差である補正部分(CP)及び折り返し歪み部分(AP)を補償することができる。したがって、50%重複だけで十分になり、ロング_ストップウィンドウの上昇ラインが、上述した図14の(A)で説明したように、緩やかな傾斜(例えば、幅がN/4)を有するようになった。これによって、ウィンドウ間の交点が開始点からN/2の距離だけ離れた場所に位置するので、100%重複が要求される場合とは異なり、1024サンプルに対応するか、又は2N(Nはフレーム)の長さに対応するロング_ストップウィンドウに直ぐ連結することができる。
【0226】
図21の3番目の場合(すなわち、ストップ_スタートウィンドウへの遷移)は、図面に示してはいないが、ロング_ストップウィンドウ及びショートウィンドウの場合と同様に、ストップ_スタートウィンドウは1024サンプルに対応するか、又は2Nの長さを有し、第1符号化方式に対応するウィンドウから直ぐストップ_スタートウィンドウに遷移することができる。
【0227】
一方、図22の(A)の場合、ロング_ストップウィンドウの上昇ラインの傾斜について、第2実施例に加えて説明する。現在のフレームがロング―ストップウィンドウで、以後のフレームがオンリー―ロングウィンドウである場合、以前のフレームが第1符号化方式のウィンドウに対応するかどうかによって、現在のロング―ストップウィンドウの形状を決定することができる。これは、図14と共に説明した通りである。すなわち、図14の(A)の場合のように以前のフレームが第1符号化方式(図14の(A)はA符号化方式(長方形符号化方式))に対応する場合、現在のロング―ストップウィンドウの上昇ラインは第1傾斜を有し、図14の(B)の場合のように以前のフレームが第2符号化方式(C符号化方式(非長方形符号化方式))に対応する場合、現在のロング―ストップウィンドウの上昇ラインは第2傾斜を有する。第1傾斜は第2傾斜より緩やかである。
【0228】
再び第4の実施例を説明すると、図21と関連して説明したように、以前のブロックが第1符号化方式に対応し、現在のブロックが第2符号化方式である場合、ショートウィンドウ、ロング_ストップウィンドウ、ストップ_スタートウィンドウのうち一つを決定する。
【0229】
図19のウィンドウタイプ決定部127―2は、以前のブロック及び以後のブロックの符号化方式及びウィンドウタイプを参照して現在のブロックのウィンドウタイプを決定するが、上記のように説明した経路の制限(例えば、図21に記載した経路)によって決定する。場合に応じては、以前のブロック及び以後のブロックの符号化方式によって現在のブロックのウィンドウの形状も決定する。そして、この決定されたウィンドウタイプを指示するウィンドウタイプ情報をマルチプレクサ130に伝達する。
【0230】
第2方式符号化部126―2は、上記のように決定されたウィンドウタイプ及び形状を用いて現在のブロックを第2符号化方式に従って符号化する。マルチプレクサ130は、以前のブロックのデータ及び現在のブロックのデータ、現在のブロックのウィンドウタイプ情報を多重化し、一つ以上のビットストリームを生成する。
【0231】
図20を参照すると、ウィンドウ形状決定部127―2を除いた他の構成要素は、図16に対応する各構成要素とその機能又は役割が類似するので、それについての具体的な説明は省略する。
【0232】
ウィンドウ形状決定部227―2は、まず、ウィンドウタイプ情報に基づいて、複数のウィンドウのうち現在のブロックに対する特定のウィンドウを決定する。このとき、図21に開示した遷移制限に符合するかどうかを考慮して、複数のウィンドウのうち一つを決定することができる。以下では、この過程についてより具体的に説明する。
【0233】
図21を参照すると、以前のブロックのウィンドウタイプによって、現在のブロックが第2符号化方式に対応するとき、可能なウィンドウタイプは、いずれの場合においても合計3個を超えないので(上から順に2個、3個、3個、2個、3個、3個)、ウィンドウタイプ情報は2ビットで符号化することができる。このようなウィンドウタイプ情報の一例は、次のように示すことができる。
【表3】
【0234】
ウィンドウタイプ情報が1であると、ロング_スタートウィンドウとストップ_スタートウィンドウ、すなわち、二つの場合をすべて指示する。一方、図21に開示した遷移制限によると、以前のブロックが第1符号化方式である場合、現在のブロックにはショートウィンドウ、ロング_ストップウィンドウ、ストップ_スタートウィンドウだけが可能であるので、二つの場合は、制限に違反する一つの場合(すなわち、ロング_スタートウィンドウ)を除いてストップ_スタートウィンドウを現在のブロックのウィンドウと決定する。
【0235】
ウィンドウ形状決定部227―2は、上記のように決定されたウィンドウタイプによって、以前のブロック又は以後のブロックの符号化方式(及びウィンドウタイプ)に基づいて現在のブロックの上昇ライン又は下降ラインの傾斜などのウィンドウの形状を決定する。以上、第4の実施例について説明したので、図24と共に、第1符号化方式と第2符号化方式との間のウィンドウ遷移問題を解決するための他の方法について説明する。
【0236】
図24は、第1符号化方式及び新しい形状のショートウィンドウが重複した場合を示す。上述したように、第1符号化方式のブロック及び第2符号化方式のブロックが隣接している場合、50%重複が可能でなく、10%だけ重複しなければならないので、交点がN/2の点より前方に位置していた。このようなミスマッチを解決するために、第1符号化方式のブロックと第2符号化方式のブロックとの間に1152の長さを有する遷移ブロックが必要であった。具体的に、第1符号化方式のブロック以後に第2符号化方式のうちショートウィンドウに移る必要があるとしても、1152の長さを有するロングウィンドウを経るべきである。したがって、この場合、ショートウィンドウで処理されるべき現在のブロックにはロングウィンドウが適用され、以後のブロックになったときにショートウィンドウが適用される。すなわち、ショートウィンドウで処理されるべき現在のブロックが遷移問題のためにロングウィンドウで処理されるので、音質に歪みが生じるという問題が発生した。
【0237】
このように1152の長さを有するロングウィンドウに加えて、図24のように1152の長さを有するショートウィンドウ(付加的なショート部分を含んで合計9個のショート部分を含む)を使用する場合、上記のような音質歪みが生じるという問題が減少する。しかし、図24に示した1152の長さのショートウィンドウは、上述したように、50%重複による交点の変化、及びこれによる直接遷移(第3の実施例及び第4の実施例)が不可能な場合だけに適用可能なものである。
【0238】
その後、図25及び図26を参照しながら本発明の第5の実施例について説明する。第5の実施例は、現在のブロック(N番目のブロック)が第1符号化方式のうち非長方形符号化方式(例えば、TCX)に対応する場合、以前又は以後のブロック(N−1番目又はN+1番目のブロック)が第2符号化方式のショートウィンドウであるかどうかによって、現在のブロックのウィンドウ形状を決定する。図25を参照すると、第5の実施例に係るエンコーダ100Eは、モード決定部123―1を除いては第3の実施例及び第4の実施例のエンコーダ100C、100Dとほぼ同一であるので、この部分についての説明は省略する。
【0239】
モード決定部123―1は、まず、現在のブロックが第1符号化方式に対応するとき、現在のブロックが長方形符号化方式(例えば、ACELP)であるか、それとも非長方形符号化方式(例えば、TCX)であるかを区分し、非長方形符号化方式である場合、モード1〜モード3のうち一つを決定する。モード1〜モード3は、非長方形符号化方式が適用される長さに対応し得るが、一つのサブフレーム、二つの連続したサブフレーム、4個の連続したサブフレーム(すなわち、一つのフレーム)のうち一つを決定することができる。図28に示したように、その長さを256、512、1024サンプルのうち一つに決定することもできる。
【0240】
このように非長方形符号化方式の場合、モードを決定した後、以前のブロック又は以後のブロックのウィンドウがショートウィンドウであるかどうかによって、現在のブロックのウィンドウの形状を決定する。この過程については、図27及び図28と共に具体的に説明する。
【0241】
図27の(A)は、第1符号化方式(例えば、TCX)に対応するウィンドウとショートウィンドウが重複した場合を示し、図27の(B)は、ショートウィンドウの代わりにロング_ストップウィンドウが重複した場合を示している。特に、図27の(A)及び(B)は、いずれも第1符号化方式のウィンドウのうちモード1(図28の形状1、2を参照)に対応するウィンドウである。詳細に見ると、図27の(A)は図23の(B)と同一であり、図27の(B)は図22の(B)と同一である。
【0242】
図27の(B)のようにロング_ストップウィンドウと重複した場合、第1符号化方式に対応するウィンドウは形状1に対応するが、ロング_ストップウィンドウの上昇ラインの幅(例えば、N/4)と同じ幅の下降ラインを有するようになる。すなわち、形状1の下降ラインの第1傾斜は、次のフレームの非ショートウィンドウ(例えば、ロング_ストップウィンドウ)の上昇ラインの傾斜とマッチングされる。ここで、マッチングされることは、傾斜の絶対値が同一であることを意味し得る。
【0243】
一方、図27の(A)のようにショートウィンドウと重複した場合、第1符号化方式のウィンドウは形状2に対応するが、ショートウィンドウの上昇ラインの幅(例えば、N/5)と同じ幅の下降ラインを有する。すなわち、形状2の下降ラインの第2傾斜は、次のフレームのショートウィンドウの上昇ラインの傾斜とマッチングされる。
【0244】
このように以前又は以後のブロックがショートウィンドウであるかどうかによって下降ライン又は上昇ラインの幅が変わり得るが、この幅を同一にすることによって、図8と共に説明したTDAC条件を満足する。TDAC条件に満足することによって、音質歪みが著しく減少するという効果がある。
【0245】
図28は、形状1〜形状4の中で変化する第1符号化方式のうちの非長方形方式に対応するウィンドウの表である。
【0246】
図28を参照すると、以前のブロック及び/又は以後のブロックがショートウィンドウであるかどうかによって、第1符号化方式のうち非長方形方式のウィンドウの形状が形状1から形状4に変わることが分かる。形状1は、以前のブロック及び以後のブロックがすべてショートウィンドウでない場合、上昇ライン(L)及び下降ライン(R)の幅がすべて256サンプル(N/4)に対応する場合を示す。形状2は、以後のブロックだけがショートウィンドウに対応する場合であるので、下降ライン(R)の幅だけが128に減少し、トップライン(M)及び右側ゼロ区間(ZR)がそれぞれ64ずつ増加することが分かる。形状3は、以前のブロックだけがショートウィンドウに対応する場合であるので、上昇ライン(L)の幅だけが128に減少し、左側ゼロ区間(ZL)及びトップライン(M)の長さが形状1よりそれぞれ64ずつ増加した形状である。形状4は、以前のブロック及び以後のブロックがすべてショートウィンドウに対応する場合であり、上昇ライン(L)及び下降ライン(R)がすべてモードとは関係なく(モード1、2、3)128に対応する。
【0247】
参考までに、第1形状のモード1〜モード3に対応する各ウィンドウは、図10の(A)、(B)、(C)のそれぞれと同一であり得る。
【0248】
また、以前のブロックは、以前のフレームの少なくとも最後のサブフレームに対応し、以後のブロックは、以後のフレームの少なくとも1番目のサブフレームに対応し得る。
【0249】
再び図25を参照すると、モード決定部123―1、すなわち、第1符号化方式(特に非長方形符号化方式)が適用される場合、図28のモード1、2、3のような複数のモードのうち一つを決定する。このモードに対応する情報は、上述した副符号化識別情報と共に符号化することができる。例えば、副符号化識別情報が0である場合、A符号化方式(第1符号化方式であると同時に長方形符号化方式である)を示し、副符号化識別情報が1〜3である場合、B符号化方式(すなわち、第1符号化方式であると同時に非長方形符号化方式である)の上記モード1〜モード3を示すものである。
【0250】
モード決定部123―1は、上記モードが決定されると、以前のブロック及び/又は以後のブロックがショートウィンドウであるかどうかによって、形状1〜形状4のうち、上述したようにウィンドウの形状を決定する。
【0251】
マルチプレクサ130は、副符号化識別情報、現在のブロックのデータ、以前又は以後のブロックのデータを多重化することによって一つ以上のビットストリームを生成する。
【0252】
図26を参照すると、ウィンドウ形状決定部223―2は、副符号化識別情報を用いて現在のブロックが第1符号化方式のうちA符号化方式(長方形符号化方式)で符号化されたか、それともB符号化方式(非長方形符号化方式)で符号化されたかを識別する。さらに、副符号化識別情報を用いて、B符号化方式である場合に上記モード1〜モード3のうち一つのモードを識別する。
【0253】
ウィンドウ形状決定部223―2は、決定されたモードに対して、以前のブロック及び/又は以後のブロックがショートウィンドウであるかどうかを判断し、上記形状1〜形状4のうち一つを識別することによってウィンドウの形状を決定する。
【0254】
残りの構成要素に対する具体的な説明は省略する。
【0255】
以下、図29〜図32を参照しながら、本発明の第6の実施例に係るエンコーダ100F及びデコーダ200Fについて説明する。第6の実施例は、以前のブロックの符号化方式に従って、長期予測値(LTP)を行うかどうかを決定する。
【0256】
図29は、本発明の第6実施例に従うエンコーダのブロック図であり、図30は、本発明の第6実施例に従うデコーダのブロック図である。
【0257】
図29及び図30を参照すると、第6の実施例に係るエンコーダ100F及びデコーダ200Fは、第5の実施例のエンコーダ100E及びデコーダ200Eと類似するが、ロング予測値決定部121―1及びロング予測値制御部221―2が存在するという点で差がある。ロング予測値決定部121―2は、以前のブロックに第1符号化方式(例えば、ACELP又はTCX)が適用されたか、それとも第2符号化方式(例えば、MDCT)が適用されたかによって、現在のブロックに長期予測値を行うかどうかを決定する。これについて、図31及び図32を参照しながら具体的に説明する。
【0258】
図31を参照すると、ブロック(フレーム又はサブフレーム)別符号化方式の各例を示している。図31の(A)〜(B―3)は、いずれも第2符号化方式(例えば、MDCT)が適用されたブロック以後に第1符号化方式(例えば、ACELP)が適用されたブロックが登場する各例である。このように符号化方式の変化が生じる場合(モードスイッチ)、第1符号化方式(例えば、ACELP)での長期予測値の効率が大きく低下するおそれがある。図32は、長期予測値と関連して、信号波形の例を示している。図32の(A)は、信号の特性によって、以前のブロックには第2符号化方式(例えば、MDCT)を適用し、以後のブロックには第1符号化方式のうち長方形符号化方式(例えば、ACELP)を適用する例を示している。図32の(B)は、第1符号化方式に対応するブロックの信号、及び長期予測値(LTP)を行った結果である信号の波形の一例を示している。第2符号化方式以後のブロックに対して、以前のメモリには線形予測が行われた結果であるレジデュアル信号でない原信号が存在するしかない。したがって、長期予測値は、波形の相関性に基づいているので、上記のような場合に長期予測値を適用すると、符号化効率が非常に低下するしかない。図32の(B)を参照すると、長期予測値を行った結果と原信号との間に波形上の大きな差がないことが分かる。したがって、この場合、符号化効率が非常に低下する長期予測値を適用せずに、長期予測値に割り当てられたビットを節約することができる。
【0259】
図31の(B―1)に示したように、第2符号化方式(例えば、MDCT)を適用した後、最初に登場するブロックに対しては無条件に長期予測値(LTP)を適用しないこともある。また、図31の(B―2)に示したように、場合に応じて適応的に長期予測値(LTP)を適用することができる。例えば、長期予測値(LTP)を適用したとき、符号化効率が良い場合だけに長期予測値(LTP)を行う。このように条件的に長期予測値を行う場合、長期予測値(LTP)の遂行可否を指示する長期フラグ(LTP flag)をセットすることができる。また、図31の(B―3)に示したように、1番目に登場するブロック以外のブロック(例えば、2番目〜4番目)にも無条件に長期予測値を行わないか、条件的に長期予測値を行わないこともある。このように条件的に長期予測値を使用しない場合、第2符号化方式に対応するブロックとの境界だけで長期フラグをセットするのではなく、長期予測値の効果が少ない任意のブロックに対して長期フラグをセットすることができる。例えば、第1符号化方式で符号化されるとしても、ピッチが存在しない無声音、黙音、その他の音楽区間で長期予測値を行わないことがある。
【0260】
再び図29を参照すると、ロング予測値決定部121―1は、上述したように、以前のブロックの符号化方式に基づいて長期予測値の遂行可否をブロック単位で決定し、条件的に長期予測値が行われない場合、上記長期フラグをマルチプレクサ130に伝達する。
【0261】
第1方式符号化部122―1は、上記のように第1符号化方式に対応するブロックでありながら、長期予測値(LTP)を行わない場合、長期予測値が行われないことによって節約されるビットだけの新しい情報を生成する。新しい情報の例は、次のように示すことができる。
【0262】
1)励起コードブックに活用することができる。すなわち、既存のコードブックより多いコードブックをデザインしたり、余剰ビットの大きさの専用コードブックを使用することができる。専用コードブックを使用する場合、元のコードブックによる励起と追加コードブックによる励起との組み合わせによって励起信号を生成する。専用コードブックの場合、長期予測値の機能のように、ピッチ成分をよく符号化できる形状のコードブックを使用することが可能である。
【0263】
2)線形予測符号化(LPC)に追加ビットを割り当て、LPC係数の量子化性能を向上させることができる。
【0264】
3)第1実施例及び第2実施例の補償信号(すなわち、第2符号化方式の非長方形ウィンドウと第1符号化方式の長方形ウィンドウとの重複によって発生する補正部分及び折り返し歪み部分を補償するための信号)を符号化するためにビットを割り当てることができる。
【0265】
4)節約されたビットだけ伝送しない。換言すると、オーディオ符号化の場合、フレームだけビット使用量を可変できるので、節約されたビットを他のフレームで活用できるようにする。
【0266】
第1方式符号化部122―1は、長期予測値が行われないブロックに対して上記新しい情報を符号化することによって追加ビットをマルチプレクサ130に伝達する。
【0267】
マルチプレクサ130は、長期フラグ、上記新しい情報に対応する追加ビット、各ブロックに対応するデータを多重化することによって一つ以上のビットストリームを生成する。
【0268】
図30を参照すると、マルチプレクサ210は、条件的に長期予測値が行われない場合、長期フラグを抽出して長期予測値制御部221―2に伝達する。長期予測値制御部221―2は、以前のブロックの符号化方式を考慮して無条件的に長期予測値が行われない場合、以前のブロックが第2符号化方式に対応するかどうかによって長期予測値の遂行可否を決定する。以前のブロックの符号化方式が第2符号化方式に対応するとしても、条件的に長期予測値が行われない場合、上記マルチプレクサ130から伝達された長期フラグ(LTP)に基づいて長期予測値の遂行可否を決定する。
【0269】
そうすると、第1方式復号部222―1は、ロング予測値制御部222―1で決定されたように、長期予測値の対象になるブロックだけに対して長期予測値を行う。また、追加ビットが伝送される場合、その追加ビットに対応する上記新しい情報を抽出し、これに基づいて対応のブロックの復号を行う。
【0270】
以下では、図1及び図2で説明した本発明に係るエンコーダ及びデコーダの応用について説明する。
【0271】
図33及び図34は、本発明に係るエンコーダ及びデコーダが適用されたオーディオ信号符号化装置及び復号装置の一例であるが、これは、本発明に係るエンコーダ100又はデコーダ200を含む。
【0272】
まず、図33を参照すると、オーディオ信号符号化装置300は、本発明に係るエンコーダ100の他に、複数のチャネルエンコーダ310、帯域拡張符号化ユニット320及びマルチプレクサ330を含むことができる。ここで、マルチプレクサ330は、図1で説明したマルチプレクサ130を含む概念であり得る。
【0273】
複数のチャネルエンコーダ310は、複数のチャネル信号(二つ以上のチャネル信号)(以下、マルチチャネル信号)の入力を受け、ダウンミックスを行うことによってモノ又はステレオのダウンミックス信号を生成し、ダウンミックス信号をマルチチャネル信号にアップミックスするために必要な空間情報を生成する。ここで、空間情報は、チャネルレベル差情報、チャネル間相関情報、チャネル予測係数、及びダウンミックス利得情報などを含むことができる。オーディオ信号符号化装置300がモノ信号を受信する場合、複数のチャネルエンコーダ310は、モノ信号に対してダウンミックスを行わずにバイパスすることも可能である。
【0274】
帯域拡張エンコーダ320は、複数のチャネルエンコーダ310の出力であるダウンミックス信号に帯域拡張方式を適用し、低周波帯域に対応するスペクトルデータ、及び高周波帯域拡張のための帯域拡張情報を生成することができる。すなわち、ダウンミックス信号の一部帯域(例えば、高周波帯域)のスペクトルデータが除外され、この除外されたデータを復元するための帯域拡張情報を生成することができる。
【0275】
帯域拡張符号化ユニット320を通して生成された信号は、信号分類部(図示せず)(例えば、図1の信号分類部110)で生成された符号化方式情報によってA符号化ユニット120A〜C符号化ユニット120Bに入力される。
【0276】
A符号化ユニット120A〜C符号化ユニット120Cは、図1と共に説明した通りであるので、重複する同一内容についての説明は省略し、追加的な内容だけについて説明する。
【0277】
A符号化ユニット120Aは、ダウンミックス信号の特定のフレーム又は特定のセグメントが大きな音声特性を有する場合、A符号化方式(すなわち、第1符号化方式のうち長方形符号化方式)に従ってダウンミックス信号を符号化する。ここで、A符号化方式は、適応複数速度広帯域(AMR―WB)標準に従うものであり得るが、本発明がこれに限定されることはない。一方、A符号化ユニット120Aは、線形予測符号化(LPC)方式を更に用いることができる。高調波信号が時間軸上で高い重複性を有する場合、過去の信号から現在の信号を予測する線形予測によってモデル化できるが、この場合、線形予測符号化方式を採択すると、符号化効率を高めることができる。一方、A符号化ユニット120Aは、時間ドメインエンコーダに対応し得る。
【0278】
B符号化ユニット120Bは、ダウンミックス信号の特定のフレーム又は特定のセグメントにオーディオ特性及び音声特性が混在している場合、B符号化方式(第1符号化方式でありながら非長方形符号化方式である)に従ってダウンミックス信号を符号化する。ここで、B符号化方式は、TCXに対応し得るが、本発明がこれに限定されることはない。TCXは、線形予測(LPC)を行うことによって取得された励起信号に対して周波数変換を行う方式であり得る。ここで、周波数変換は、MDCTによって行うことができる。
【0279】
一方、C符号化ユニット120Cは、ダウンミックス信号の特定のフレーム又は特定のセグメントが大きなオーディオ特性を有する場合、C符号化方式(第2符号化方式のうち非長方形符号化方式)によってダウンミックス信号を符号化する。ここで、C符号化方式は、高度音響符号化(AAC)標準又は高能率AAC(HE―AAC)標準に従うものであり得るが、本発明がこれに限定されることはない。一方、C符号化ユニット120Cは、MDCTエンコーダに対応し得る。
【0280】
マルチプレクサ330は、空間情報、帯域拡張情報、A符号化ユニット120A〜C符号化ユニット120Cのそれぞれによって符号化された信号などを多重化することによって、一つ以上のビットストリームを生成する。
【0281】
図34を参照すると、オーディオ信号復号装置400は、デマルチプレクサ410、A復号ユニット220A〜C復号ユニット220C、帯域拡張復号ユニット420及び複数のチャネルデコーダ430を含む。
【0282】
デマルチプレクサ410は、オーディオ信号ビットストリームからA符号化方式〜C符号化方式に従って符号化されたデータ、帯域拡張情報、空間情報などを抽出する。
【0283】
A復号ユニット220A〜C復号ユニット220Cは、上記A符号化ユニット120A〜C符号化ユニット120Cの逆過程が行われる構成要素に対応するので、これについての具体的な説明は省略する。
【0284】
帯域拡張復号ユニット420は、A復号ユニット220A〜C復号ユニット220Cの出力信号に対して帯域拡張復号方式を行うことによって、帯域拡張情報に基づいて高周波帯域の信号を復元する。
【0285】
複数のチャネルデコーダ430は、復号されたオーディオ信号がダウンミックスである場合、空間情報を用いてマルチチャネル信号(ステレオ信号を含む)の出力チャネル信号を生成する。
【0286】
本発明に係るオーディオ信号処理装置は、多様な製品に含ませて用いることができる。このような製品は、大きくスタンドアロン群とポータブル群とに分けられるが、スタンドアロン群は、TV、モニタ、セットトップボックスなどを含むことができ、ポータブル群は、PMP、携帯電話、ナビゲーションなどを含むことができる。
【0287】
図35は、本発明に係るオーディオ信号処理装置が具現された製品の概略的な構成を示す図である。
【0288】
まず、図35を参照すると、有線・無線通信部510は、有線・無線通信方式を通してビットストリームを受信する。具体的に、有線・無線通信部510は、有線通信部510A、赤外線通信部510B、ブルートゥース(登録商標)部510C、無線LAN通信部510Dのうち一つ以上を含むことができる。
【0289】
ユーザ認証部520は、ユーザ情報の入力を受けて、ユーザ認証を行うものであって、指紋認識部520A、虹彩認識部520B、顔認識部520C、及び音声認識部520Dのうち一つ以上を含むことができるが、それぞれ指紋、虹彩情報、顔輪郭情報、音声情報の入力を受けてユーザ情報に変換し、ユーザ情報と既存に登録されているユーザデータとの一致可否を判断することによってユーザ認証を行うことができる。
【0290】
入力部530は、ユーザが多くの種類の命令を入力できるようにする入力装置であって、キーパッド部530A、タッチパッド部530B、リモコン部530Cのうち一つ以上を含むことができるが、本発明がこれに限定されることはない。
【0291】
信号符号化ユニット540は、有線・無線通信部510を介して受信されたオーディオ信号及び/又はビデオ信号に対して符号化又は復号を行い、時間ドメインのオーディオ信号を出力する。また、信号符号化ユニット540は、オーディオ信号処理装置545を含むが、これは、上述した本発明に係るエンコーダ100(第1実施例〜第6の実施例を含む)又はデコーダ200(第1実施例〜第6の実施例を含む)に対応するものであって、このようなオーディオ処理装置545及びこれを含む信号符号化ユニットは一つ以上のプロセッサによって具現することができる。
【0292】
制御部550は、各入力装置から入力信号を受信し、信号復号部540と出力部560のすべてのプロセスを制御する。出力部560は、信号復号部540によって生成された出力信号などが出力される構成要素であって、スピーカ部560A及び表示部560Bを含むことができる。出力信号がオーディオ信号であるとき、出力信号はスピーカに出力され、出力信号がビデオ信号であるとき、出力信号はディスプレイを通して出力される。
【0293】
図36は、本発明に係るオーディオ信号処理装置が具現された各製品の関係図である。
【0294】
図36は、図35に示した製品に対応する端末とサーバとの関係を示したもので、図36の(A)を参照すると、第1端末500.1及び第2端末500.2が有線・無線通信部を介してデータ及びビットストリームを双方向で通信可能であることが分かる。図36の(B)を参照すると、サーバ600及び第1端末500.1も互いに有線・無線通信を行えることが分かる。
【0295】
本発明に係るオーディオ信号処理方法は、コンピュータで実行するためのプログラムに製作され、コンピュータ読み取り可能な記録媒体に記憶することができ、本発明に係るデータ構造を有するマルチメディアデータもコンピュータ読み取り可能な記録媒体に記憶することができる。上記コンピュータ読み取り可能な記録媒体は、コンピュータシステムによって読まれるデータが記憶されるすべての種類の記憶装置を含む。コンピュータ読取り可能な記録媒体の例としては、ROM、RAM、CD―ROM、磁気テープ、フロッピー(登録商標)ディスク、光データ記憶装置などがあり、また、搬送波(例えば、インターネットを介した伝送)の形状で具現されるものも含む。また、上記符号化方法によって生成されたビットストリームは、コンピュータ読み取り可能な記録媒体に記憶したり、有線・無線通信網を用いて伝送したりすることができる。
【産業上の利用可能性】
【0296】
本発明は、オーディオ信号を処理して出力するために適用することができる。
【0297】
以上のように、本発明は、限定された実施例と図面に基づいて説明されたが、これによって限定されるものではなく、本発明の属する技術分野で通常の知識を有する者によって本発明の技術思想及び下記に記載する特許請求の範囲の均等範囲内で多様な修正及び変形が可能であることは当然である。
【技術分野】
【0001】
本発明は、オーディオ信号を符号化又は復号できるオーディオ信号処理方法及び装置に関するものである。
【背景技術】
【0002】
一般に、音楽信号などのオーディオ信号に対してはオーディオ特性に基づいた符号化方式を適用し、音声信号に対しては音声特性に基づいた符号化方式を適用する。
【0003】
オーディオ特性と音声特性とが混在している信号に対していずれか一つの符号化方式を適用する場合、オーディオ符号化効率が低下したり、音質が悪くなったりするという問題がある。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明は、上記のような問題を解決するためになされたものである。
【0005】
本発明の目的は、一つのフレーム(又はサブフレーム)に対して、二つの以上の符号化方式のうち一つの符号化方式を適用するオーディオ信号処理方法及び装置を提供することにある。
【0006】
本発明の更に他の目的は、一連のフレームで構成されたオーディオ信号に対して、フレーム(又はサブフレーム)ごとに互いに異なる符号化方式を適用する際に、各符号化方式に対応するウィンドウの形状が互いに非対称であることから発生するミスマッチを解決するオーディオ信号処理方法及び装置を提供することにある。
【0007】
本発明の更に他の目的は、長方形ウィンドウと非長方形ウィンドウとが接触したとき、折り返し歪み(aliasing)などを解消するためのオーディオ信号処理方法及び装置を提供することにある。
【0008】
本発明の更に他の目的は、線形予測ドメイン方式が適用されたフレームの後に周波数ドメイン方式が適用されたフレームが現れる場合、ウィンドウの長さの差を補償するためのウィンドウ遷移過程を省略できるオーディオ信号処理方法及び装置を提供することにある。
【0009】
本発明の更に他の目的は、次のフレームの符号化方式に従って現在のフレームに対応するウィンドウの形状を切り替え、ウィンドウの形状の非対称によるミスマッチを解消できるオーディオ信号処理方法及び装置を提供することにある。
【0010】
本発明の更に他の目的は、線形予測ドメイン方式のフレームにおいて、以前のフレームが周波数ドメイン方式のフレームであるかどうかによって、長期予測を選択的に適用し、ビット効率を高めるためのオーディオ信号処理方法及び装置を提供することにある。
【課題を解決するための手段】
【0011】
本願発明の更なる特徴及び利点は以降の説明において述べられ、また一部は説明から明白であるか、本願発明を実践することによって会得されるであろう。本願発明の目的及び他の利点は、添付の図面のほか、詳細な説明及び特許請求の範囲において特に指摘する構成によって実現され、達成されるであろう。
【0012】
上記のような目的を達成するために、本発明に係るオーディオ処理方法は、オーディオ処理装置によって、長方形符号化方式で符号化された第1ブロックの第1データ、及び非長方形符号化方式で符号化された第2ブロックの第2データを含むオーディオ信号を受信すること、上記第2ブロックに対応する補償信号を受信すること、上記第1データを用いて折り返し歪み部分の予測値を推定すること、及び、上記第2データ、上記補償信号、及び上記折り返し歪み部分の予測値に基づいて上記第2ブロックの復元された信号を取得することを含む。
【0013】
本発明によると、上記長方形符号化方式は、長方形ウィンドウを用いて符号化又は復号する方式であり、上記非長方形符号化方式は、非長方形ウィンドウを用いて符号化又は復号する方式である。
【0014】
本発明によると、上記補償信号は、補正部分及び折り返し歪み部分の誤差に基づいて生成されたもので、上記補正部分は、長方形ウィンドウと非長方形ウィンドウとの間の非対称性と関連した差に対応し、上記折り返し歪み部分の誤差は、上記折り返し歪み部分と上記折り返し歪み部分の予測値との間の差に対応する。
【0015】
本発明によると、上記折り返し歪み部分は、非長方形符号化方式に使用される非長方形ウィンドウと上記第1ブロックとの間の重複部分に対応する。
【0016】
本発明によると、上記予測値を推定することは、上記長方形ウィンドウ方式に基づいて第1ブロックの第1データを用いて第1ブロックの出力信号を生成すること、及び、上記第1ブロックの上記出力信号及び上記非長方形ウィンドウを用いて上記折り返し歪み部分の予測値を取得することを含む。
【0017】
本発明によると、上記の復元された信号は、上記非長方形符号化方式に使用される非長方形ウィンドウとは異なる長方形ウィンドウを用いて処理された信号に近似したものである。
【0018】
本発明によると、上記の復元された信号を取得することは、時間ドメイン第2信号を生成するために、上記第2データを逆周波数変換すること、時間ドメイン補償信号を生成するために、上記補償信号を逆周波数変換すること、及び、上記時間ドメイン補償信号を上記時間ドメイン第2信号及び上記折り返し歪み部分の予測値に加えることによって、上記の復元された信号を生成することを含む。
【0019】
本発明によると、上記第1ブロックはフレーム及びサブフレームのうち一つに対応し、上記第2ブロックはフレーム及びサブフレームのうち一つに対応する。
【0020】
本発明の更に他の態様によると、長方形符号化方式で符号化された第1ブロックの第1データ、及び非長方形符号化方式で符号化された第2ブロックの第2データを含むオーディオ信号を受信し、上記第2ブロックに対応する補償信号を受信するデ―マルチプレクサ、上記第1データを用いて折り返し歪み部分の予測値を推定する長方形復号ユニット、及び、上記第2データ、上記補償信号、及び上記折り返し歪み部分の予測値に基づいて上記第2ブロックの復元された信号を取得する非長方形復号ユニットを含むオーディオ信号処理装置が提供される。
【0021】
本発明によると、上記長方形符号化方式は、長方形ウィンドウを用いて符号化又は復号する方式であり、上記非長方形符号化方式は、非長方形ウィンドウを用いて符号化又は復号する方式である。
【0022】
本発明によると、上記補償信号は、補正部分及び折り返し歪み部分の誤差に基づいて生成されたもので、上記補正部分は、長方形ウィンドウと非長方形ウィンドウとの間の非対称性と関連した差に対応し、上記折り返し歪み部分の誤差は、上記折り返し歪み部分と上記折り返し歪み部分の予測値との間の差に対応する。
【0023】
本発明によると、上記折り返し歪み部分は、上記非長方形符号化方式に使用される非長方形ウィンドウと上記第1ブロックとの間の重複部分に対応する。
【0024】
本発明によると、上記長方形復号ユニットは、上記長方形ウィンドウ方式に基づいて第1ブロックの第1データを用いて第1ブロックの出力信号を生成し、上記第1ブロックの上記出力信号及び上記非長方形ウィンドウを用いて上記折り返し歪み部分の予測値を取得する。
【0025】
本発明によると、上記の復元された信号は、上記非長方形符号化方式に使用される非長方形ウィンドウとは異なる長方形ウィンドウを用いて処理された信号に近似したものである。
【0026】
本発明によると、上記非長方形符号化ユニットは、時間ドメイン第2信号を生成するために、上記第2データを逆周波数変換し、時間ドメイン補償信号を生成するために、上記補償信号を逆周波数変換し、上記時間ドメイン補償信号を上記時間ドメイン第2信号及び上記折り返し歪み部分の予測値に加えることによって、上記の復元された信号を生成するものである。
【0027】
本発明によると、上記第1ブロックはフレーム及びサブフレームのうち一つに対応し、上記第2ブロックはフレーム及びサブフレームのうち一つに対応する。
【0028】
本発明の更に他の態様によると、オーディオ処理装置によって、現在のフレームに対して第1符号化方式又は第2符号化方式の適用可否を指示する符号化識別情報を受信すること、上記符号化識別情報が現在のフレームに対して第2符号化方式を指示する場合、上記現在のフレームに対して複数のウィンドウのうち特定のウィンドウを指示するウィンドウタイプ情報を受信すること、上記ウィンドウタイプ情報に基づいて現在のウィンドウがロング_スタートウィンドウであることを識別することであって、上記ロング―スタートウィンドウは以前のフレームのオンリー―ロングウィンドウの次に位置し、上記ロング―スタートウィンドウは緩やかなロング―スタートウィンドウ及び急なロング―スタートウィンドウを含み、かつ以後のフレームに上記第1符号化方式が適用されるとき、上記緩やかなロング―スタートウィンドウを現在のフレームに適用することを含み、上記緩やかなロング―スタートウィンドウは第1傾斜の下降ラインを含み、上記急なロング―スタートウィンドウは第2傾斜の下降ラインを含み、上記第1傾斜は上記第2傾斜より緩やかであることを特徴とするオーディオ信号処理方法が提供される。
【0029】
本発明によると、上記第1傾斜の幅は上記第2傾斜の幅の2倍である。
【0030】
本発明によると、上記第1傾斜の幅はN/4(ここで、Nはフレーム長)に対応する。
【0031】
本発明によると、上記第1傾斜の幅は256サンプルに対応し、上記第1傾斜の幅は上記ロング―スタートウィンドウの長さの1/8と同一である。
【0032】
本発明によると、上記オンリー―ロングウィンドウは左右対称であり、上記ロング―スタートウィンドウは左右非対称であり、上記ロング―スタートウィンドウは右半分にゼロ区間を含む。
【0033】
本発明によると、上記第1傾斜又は上記第2傾斜を有する上記下降ラインの中央点は、上記ロング―スタートウィンドウの開始点から3N/2(Nはフレーム長)だけ離れた点である。
【0034】
本発明によると、上記第1符号化方式は周波数ドメインをベースとし、上記第2符号化方式は線形―予測ドメインをベースとする。
【0035】
本発明の更に他の態様によると、オーディオ処理装置によって、現在のフレームに対して第1符号化方式又は第2符号化方式の適用可否を指示する符号化識別情報を受信し、上記符号化識別情報が現在のフレームに対して第2符号化方式を指示する場合、上記現在のフレームに対して複数のウィンドウのうち特定のウィンドウを指示するウィンドウタイプ情報を受信するデ―マルチプレクサ、及び、上記ウィンドウタイプ情報に基づいて現在のウィンドウがロング_スタートウィンドウであることを識別する第2符号化ユニットを含み、ここで、上記ロング―スタートウィンドウは以前のフレームのオンリー―ロングウィンドウの次に位置し、上記ロング―スタートウィンドウは緩やかなロング―スタートウィンドウ及び急なロング―スタートウィンドウを含み、以後のフレームに上記第1符号化方式が適用されるとき、上記緩やかなロング―スタートウィンドウを現在のフレームに適用し、上記緩やかなロング―スタートウィンドウは第1傾斜の下降ラインを含み、上記急なロング―スタートウィンドウは第2傾斜の下降ラインを含み、上記第1傾斜は上記第2傾斜より緩やかであることを特徴とするオーディオ信号処理装置が提供される。
【0036】
本発明によると、上記第1傾斜の幅は上記第2傾斜の幅の2倍である。
【0037】
本発明によると、上記第1傾斜の幅はN/4(ここで、Nは現在のフレーム長)に対応する。
【0038】
本発明によると、上記第1傾斜の幅は256サンプルに対応し、上記第1傾斜の幅は上記ロング―スタートウィンドウの長さの1/8と同一である。
【0039】
本発明によると、上記オンリー―ロングウィンドウは左右対称であり、上記ロング―スタートウィンドウは左右非対称であり、上記ロング―スタートウィンドウは右半分にゼロ区間を含む。
【0040】
本発明によると、上記第1傾斜又は上記第2傾斜を有する上記下降ラインの中央点は、上記ロング―スタートウィンドウの開始点から3N/2(Nはフレーム長)だけ離れた点である。
【0041】
本発明によると、上記第1符号化方式は周波数ドメインをベースとし、上記第2符号化方式は線形―予測ドメインをベースとする。
【0042】
本発明の更に他の態様によると、オーディオ処理装置によって、第1ブロックの第1データ及び第2ブロックの第2データを含むオーディオ信号を受信すること、上記第2ブロックに対応する補償信号を受信すること、及び、上記第2データ、上記補償信号、及び上記第2ブロックのウィンドウに基づいて上記第2ブロックに対する復元された信号を取得することを含み、上記第1データが長方形符号化方式で符号化され、上記第2ブロックのウィンドウが遷移ウィンドウクラスに属する場合、上記第2ブロックのウィンドウは、第1傾斜の上昇ラインを有し、上記第1傾斜は第2傾斜より緩やかであることを特徴とするオーディオ信号処理方法が提供される。
【0043】
本発明によると、上記第1データが非長方形符号化方式で符号化され、上記第2ブロックのウィンドウが上記遷移ウィンドウクラスに属する場合、上記第2ブロックのウィンドウは、上記第2傾斜の上昇ラインを有する。
【0044】
本発明によると、上記遷移ウィンドウクラスがロング―ストップウィンドウ、ロング―スタートウィンドウ及びスタート―ストップウィンドウを含む場合、上記ロング―ストップウィンドウ及び上記ロング―スタートウィンドウは左右非対称性を有し、左半分にゼロ区間を有する。
【0045】
本発明によると、上記補償信号は、上記第1データが上記長方形符号化方式で符号化された場合に受信されるものである。
【0046】
本発明によると、上記補償信号は、長方形ウィンドウと非長方形ウィンドウとの間の非対称性と関連した差、及び上記折り返し歪み部分と折り返し歪み部分の予測値との間の差のうち一つ以上に基づいて生成されたものである。
【0047】
本発明の更に他の態様によると、第1ブロックの第1データ及び第2ブロックの第2データを含むオーディオ信号を受信し、上記第2ブロックに対応する補償信号を受信するデ―マルチプレクサ、及び、上記第2データ、上記補償信号、及び上記第2ブロックのウィンドウに基づいて、上記第2ブロックに対する復元された信号を取得する非長方形復号ユニットを含み、上記第1データが長方形符号化方式で符号化され、上記第2ブロックのウィンドウが遷移ウィンドウクラスに属する場合、上記第2ブロックのウィンドウは、第1傾斜の上昇ラインを有し、上記第1傾斜は第2傾斜より緩やかであることを特徴とするオーディオ信号処理装置を提供する。
【0048】
本発明によると、上記第1データが非長方形符号化方式で符号化され、上記第2ブロックのウィンドウが上記遷移ウィンドウクラスに属する場合、上記第2ブロックのウィンドウは、上記第2傾斜の上昇ラインを有する。
【0049】
本発明によると、上記遷移ウィンドウクラスがロング―ストップウィンドウ、ロング―スタートウィンドウ及びスタート―ストップウィンドウを含む場合、上記ロング―ストップウィンドウ及び上記ロング―スタートウィンドウは、左右非対称性を有し、左半分にゼロ区間を有する。
【0050】
本発明によると、上記補償信号は、上記第1データが上記長方形符号化方式で符号化された場合に受信されるものである。
【0051】
本発明によると、上記補償信号は、長方形ウィンドウと非長方形ウィンドウとの間の非対称性と関連した差、及び上記折り返し歪み部分と折り返し歪み部分の予測値との間の差のうち一つ以上に基づいて生成されたものである。
【0052】
本発明の更に他の態様によると、オーディオ処理装置によって、第1ブロックの第1データ及び第2ブロックの第2データを含むオーディオ信号を受信すること、上記第2ブロックに対応する補償信号を受信すること、及び、上記第2データ、上記補償信号、及び上記第2ブロックのウィンドウに基づいて上記第2ブロックに対する復元された信号を取得することを含み、上記第1データが長方形符号化方式で符号化され、上記第2ブロックのウィンドウが遷移ウィンドウクラスに属する場合、上記第2ブロックのウィンドウは、第1傾斜の上昇ラインを有し、上記第1傾斜は第2傾斜より緩やかであることを特徴とするオーディオ信号処理方法が提供される。
【0053】
本発明によると、上記第1データが非長方形符号化方式で符号化され、上記第2ブロックのウィンドウが上記遷移ウィンドウクラスに属する場合、上記第2ブロックのウィンドウは、上記第2傾斜の上昇ラインを有する。
【0054】
本発明によると、上記遷移ウィンドウクラスがロング―ストップウィンドウ、ロング―スタートウィンドウ及びスタート―ストップウィンドウを含む場合、上記ロング―ストップウィンドウ及び上記ロング―スタートウィンドウは左右非対称性を有し、左半分にゼロ区間を有する。
【0055】
本発明によると、上記補償信号は、上記第1データが上記長方形符号化方式で符号化された場合に受信されるものである。
【0056】
本発明によると、上記補償信号は、長方形ウィンドウと非長方形ウィンドウとの間の非対称性と関連した差、及び上記折り返し歪み部分と折り返し歪み部分の予測値との間の差のうち一つ以上に基づいて生成されたものである。
【0057】
本発明の更に他の態様によると、第1ブロックの第1データ及び第2ブロックの第2データを含むオーディオ信号を受信し、上記第2ブロックに対応する補償信号を受信するデ―マルチプレクサ、及び、上記第2データ、上記補償信号、及び上記第2ブロックのウィンドウに基づいて、上記第2ブロックに対する復元された信号を取得する非長方形復号ユニットを含み、上記第1データが長方形符号化方式で符号化され、上記第2ブロックのウィンドウが遷移ウィンドウクラスに属する場合、上記第2ブロックのウィンドウは、第1傾斜の上昇ラインを有し、上記第1傾斜は第2傾斜より緩やかであることを特徴とするオーディオ信号処理装置を提供する。
【0058】
本発明によると、上記第1データが非長方形符号化方式で符号化され、上記第2ブロックのウィンドウが上記遷移ウィンドウクラスに属する場合、上記第2ブロックのウィンドウは、上記第2傾斜の上昇ラインを有する。
【0059】
本発明によると、上記遷移ウィンドウクラスがロング―ストップウィンドウ、ロング―スタートウィンドウ及びスタート―ストップウィンドウを含む場合、上記ロング―ストップウィンドウ及び上記ロング―スタートウィンドウは、左右非対称性を有し、左半分にゼロ区間を有する。
【0060】
本発明によると、上記補償信号は、上記第1データが上記長方形符号化方式で符号化された場合に受信されるものである。
【0061】
本発明によると、上記補償信号は、長方形ウィンドウと非長方形ウィンドウとの間の非対称性と関連した差、及び上記折り返し歪み部分と折り返し歪み部分の予測値との間の差のうち一つ以上に基づいて生成されたものである。
【0062】
本発明の更に他の態様によると、オーディオ処理装置によって、第2符号化方式が現在のフレームに適用される場合、複数のウィンドウのうち現在のフレームに対して特定のウィンドウを指示するウィンドウタイプ情報を受信すること、及び上記ウィンドウタイプ情報に基づいて、現在のウィンドウを上記現在のフレームに適用することを含み、第1符号化方式が以前のフレームに適用される場合、上記複数のウィンドウはショートウィンドウ、第1遷移ウィンドウ及び第2遷移ウィンドウで構成され、上記ショートウィンドウは、その幅がN/8(Nはフレーム長)である上昇ラインを一つ以上有し、上記第1遷移ウィンドウ及び上記第2遷移ウィンドウは、その幅がN/4(Nはフレーム長)である上昇ラインを有することを特徴とするオーディオ信号処理方法が提供される。
【0063】
本発明によると、ショートウィンドウ、上記第1遷移ウィンドウ及び上記第2遷移ウィンドウの長さは2Nである。
【0064】
本発明によると、ショートウィンドウ、上記第1遷移ウィンドウ及び上記第2遷移ウィンドウの左半分は1024サンプルに対応する。
【0065】
本発明によると、上記現在のウィンドウと以前のウィンドウとの交点は、上記現在のウィンドウからN/2だけ離れた点である。
【0066】
本発明によると、上記第1遷移ウィンドウは右半分にゼロ区間を有しておらず、上記第2遷移ウィンドウは、右半分にゼロ区間を有し、上記ショートウィンドウは互いに重複した複数のショート部分を有し、そのショート部分は上記上昇ライン及び下降ラインを有する。
【0067】
本発明の更に他の態様によると、オーディオ処理装置によって、第1符号化方式で符号化された現在のフレーム、及び第2符号化方式で符号化された以後のフレームを含むオーディオ信号を受信すること、上記現在のフレームの一つ以上のブロックが長方形符号化方式又は非長方形符号化方式で符号化されたかを指示する副符号化識別情報を受信すること、上記現在のフレームの少なくとも最後のブロックが上記非長方形符号化方式で符号化されたことを上記副符号化識別情報が指示する場合、以後のフレームの以後のウィンドウがショートウィンドウであるかどうかによって、現在のフレームに対して第1形状及び第2形状を含むウィンドウの形状を決定すること、及び、上記の決定されたウィンドウの形状の上記現在のウィンドウを上記現在のフレームに適用することを含み、上記第1形状は第1傾斜の下降ラインを含み、上記第2形状は第2傾斜の下降ラインを含み、上記第1傾斜は上記第2傾斜より緩やかであることを特徴とするオーディオ信号処理方法が提供される。
【0068】
本発明によると、上記第1傾斜の幅は256サンプル又はN/4(Nはフレーム長)に対応し、上記第2傾斜の幅は128サンプル又はN/8(Nはフレーム長)に対応する。
【0069】
本発明によると、上記現在のウィンドウと次のウィンドウとの間の交点は、上記次のウィンドウの開始点からN/2だけ離れた点である。
【0070】
本発明によると、上記第1傾斜は非ショートウィンドウでの上昇ラインの傾斜と一致し、上記第2傾斜は上記ショートウィンドウでの上昇ラインの傾斜と一致する。
【0071】
本発明の更に他の態様によると、第2符号化方式が現在のフレームに適用される場合、複数のウィンドウのうち現在のフレームに対して特定のウィンドウを指示するウィンドウタイプ情報を受信するデマルチプレクサ、及び、上記ウィンドウタイプ情報に基づいて、現在のウィンドウを上記現在のフレームに適用する第2符号化ユニットを含み、第1符号化方式が以前のフレームに適用される場合、上記複数のウィンドウはショートウィンドウ、第1遷移ウィンドウ及び第2遷移ウィンドウで構成され、上記ショートウィンドウは、その幅がN/8(Nはフレーム長)である上昇ラインを一つ以上有し、上記第1遷移ウィンドウ及び上記第2遷移ウィンドウは、その幅がN/4(Nはフレーム長)である上昇ラインを有することを特徴とするオーディオ信号処理装置が提供される。
【0072】
本発明によると、ショートウィンドウ、上記第1遷移ウィンドウ及び上記第2遷移ウィンドウの長さは2Nである。
【0073】
本発明によると、ショートウィンドウ、上記第1遷移ウィンドウ及び上記第2遷移ウィンドウの左半分は1024サンプルに対応する。
【0074】
本発明によると、上記現在のウィンドウと以前のウィンドウとの交点は、上記現在のウィンドウからN/2だけ離れた点である。
【0075】
本発明によると、上記第1遷移ウィンドウは右半分にゼロ区間を有しておらず、上記第2遷移ウィンドウは、右半分にゼロ区間を有し、上記ショートウィンドウは互いに重複した複数のショート部分を有し、そのショート部分は上記上昇ライン及び下降ラインを有する。
【0076】
本発明の更に他の態様によると、第1符号化方式で符号化された現在のフレーム、及び第2符号化方式で符号化された以後のフレームを含むオーディオ信号を受信し、上記現在のフレームの一つ以上のブロックが長方形符号化方式又は非長方形符号化方式で符号化されたかを指示する副符号化識別情報を受信すること、上記現在のフレームの少なくとも最後のブロックが上記非長方形符号化方式で符号化されたことを上記副符号化識別情報が指示する場合、以後のフレームの以後のウィンドウがショートウィンドウであるかどうかによって、現在のフレームに対して第1形状及び第2形状を含むウィンドウの形状を決定すること、及び、上記の決定されたウィンドウの形状の上記現在のウィンドウを上記現在のフレームに適用することを含み、上記第1形状は第1傾斜の下降ラインを含み、上記第2形状は第2傾斜の下降ラインを含み、上記第1傾斜は上記第2傾斜より緩やかであることを特徴とするオーディオ信号処理装置が提供される。
【0077】
本発明によると、上記第1傾斜の幅は256サンプル又はN/4(Nはフレーム長)に対応し、上記第2傾斜の幅は128サンプル又はN/8(Nはフレーム長)に対応する。
【0078】
本発明によると、上記現在のウィンドウと次のウィンドウとの間の交点は、上記次のウィンドウの開始点からN/2だけ離れた点である。
【0079】
本発明によると、上記第1傾斜は非ショートウィンドウでの上昇ラインの傾斜と一致し、上記第2傾斜は上記ショートウィンドウでの上昇ラインの傾斜と一致する。
【発明の効果】
【0080】
上述の一般的な説明及び以降の詳細な説明は例示かつ説明目的であり、本願の特許請求の範囲に記載された本発明の更なる説明を提供するものであることを理解されたい。
【0081】
本発明は、次のような効果と利点を提供する。
【0082】
第一に、各ウィンドウ間の非対称(例えば、長方形ウィンドウと非長方形ウィンドウ)による折り返し歪みなどの欠陥を補償できるので、オーディオ信号の音質が著しく向上する。
【0083】
第二に、上記折り返し歪みなどを補償するためのスキームを適用することによって、長方形ウィンドウと非長方形ウィンドウとの間の100%重複が必要でなくなるので、非長方形ウィンドウは緩やかな傾斜の下降ラインを維持することができる。
【0084】
第三に、緩やかな傾斜の下降ラインを有する非長方形ウィンドウを適用することによって、同種ウィンドウ(非長方形ウィンドウと非長方形ウィンドウとの)間の交点と、異種ウィンドウ(例えば、非長方形ウィンドウと長方形ウィンドウとの)間の交点とが同一になるという効果がある。
【0085】
第四に、同種ウィンドウの交点と異種ウィンドウの交点が同一になることによって、ウィンドウの長さの差を補償するための遷移ウィンドウが不必要になり、第1符号化方式(例えば、線形予測ドメイン方式)と第2符号化方式(例えば、周波数ドメイン方式)との間の直接的な遷移が可能になる。
【0086】
第五に、上記直接的な遷移が可能になることによって、不一致の解決のためのウィンドウを使用せずに、該当のブロックのオーディオ信号特性に適したウィンドウを適用できるので、音質が大きく向上するという効果がある。
【0087】
第六に、以前又は以後のブロックでショートウィンドウが存在するかどうかによって、非長方形ウィンドウ方式に該当するウィンドウの形状を変化させることによって、TDAC条件が充足され、音質が向上する。
【0088】
添付の図面は本発明の更なる理解を助けるために含めたものであり、本願の一部を成し、本願発明の原理を説明するための説明と共に、本願発明の実施形状を図示するものである。
【図面の簡単な説明】
【0089】
【図1】本発明に係るオーディオ信号処理装置の概略的な構成図である。
【図2】本発明の第1実施例に係るエンコーダの構成図である。
【図3】本発明の第1実施例に係るデコーダの構成図である。
【図4】ブロック単位で構成されたオーディオ信号及び、フレーム(又はサブフレーム)別に異なる符号化方式が適用される例を示した図である。
【図5】異種符号化方式(長方形符号化方式及び非長方形符号化方式)への変化を説明するための図である。
【図6】長方形ウィンドウと非長方形ウィンドウが重複したときの特性を説明するための図である。
【図7】補正部分(CP)及び折り返し歪み部分(AP)、及び非補償信号を説明するための図である。
【図8】対称性を有する非長方形ウィンドウの特性を説明するための図(TDACのためのウィンドウの条件)である。
【図9】補正部分及び/又は折り返し歪み部分を補償するための補償信号の各実施例を示す図である。
【図10】図6に示した異種ウィンドウ(長方形ウィンドウと非長方形ウィンドウ)間の結合のうち、非長方形ウィンドウの各例を説明するための図である。
【図11】非長方形ウィンドウ以後に長方形ウィンドウが重複した場合を示す図である。
【図12】本発明の第2実施例に係るエンコーダの構成図である。
【図13】本発明の第2実施例に係るデコーダの構成図である。
【図14】以前のブロックが長方形符号化方式であるかどうかによる遷移ウィンドウの形状を示す図である。
【図15】本発明の第3の実施例に係るエンコーダの構成図である。
【図16】本発明の第3の実施例に係るデコーダの構成図である。
【図17】ロング―スタートウィンドウが第1方式符号化ウィンドウ及び第2符号化方式ウィンドウ(ショートウィンドウ)とそれぞれ結合された場合の形状を示す図である。
【図18】ショートウィンドウが第1符号化方式のウィンドウ及び第2符号化方式のウィンドウ(ロング_ストップウィンドウ)とそれぞれ重複した場合を示す図である。
【図19】本発明の第4の実施例に係るエンコーダの構成図である。
【図20】本発明の第4の実施例に係るデコーダの構成図である。
【図21】ウィンドウ間の経路又は遷移を示す表である。
【図22】第1符号化方式でロング―ストップウィンドウに遷移される場合を示す図である。
【図23】第1符号化方式でショートウィンドウに遷移される場合を示す図である。
【図24】第1符号化方式及び新しい形状のショートウィンドウが重複した場合を示す図である。
【図25】本発明の第5の実施例に係るエンコーダの構成図である。
【図26】本発明の第6の実施例に係るデコーダの構成図である。
【図27】第1符号化方式(例えば、TCX)に対応するウィンドウとショートウィンドウ(又はロング_ストップウィンドウ)が重複した場合を示す図である。
【図28】形状1〜形状4に変化する第1符号化方式のうち非長方形方式のウィンドウを示す表である。
【図29】本発明の第6の実施例に係るエンコーダの構成図である。
【図30】本発明の第6の実施例に係るデコーダの構成図である。
【図31】ブロック(フレーム又はサブフレーム)別符号化方式の各例を示す図である。
【図32】長期予測値と関連した信号波形の例を示す図である。
【図33】本発明の実施例に係るエンコーダが適用されたオーディオ信号符号化装置の一例を示す図である。
【図34】本発明の実施例に係るデコーダが適用されたオーディオ信号復号装置の一例を示す図である。
【図35】本発明に係るオーディオ信号処理装置が具現された製品の概略的な構成図である。
【図36】本発明に係るオーディオ信号処理装置が具現された各製品の関係図である。
【発明を実施するための形態】
【0090】
本願発明の更なる特徴及び利点は以降の説明において述べられ、また一部は説明から明白であるか、本願発明を実践することによって会得されるであろう。本願発明の目的及び他の利点は、添付の図面のほか、詳細な説明及び特許請求の範囲において特に指摘する構成によって実現され、達成されるであろう。
【0091】
種々の利点を達成するため、実施例が概略説明された本発明の目的に従って、本発明を以降詳細に説明する。
【0092】
更に種々の利点を達成するため、本願発明の目的に従って、本発明を以降詳細に説明する。
【0093】
上述の一般的な説明及び以降の詳細な説明は例示かつ説明目的であり、本願の特許請求の範囲に記載された本発明の更なる説明を提供するものであることを理解されたい。
【0094】
以下、添付の図面を参照して本発明の好適な実施例を詳細に説明する。ここで、本明細書及び特許請求の範囲に使用された用語や単語は、通常的又は辞典的な意味に限定して解釈してはならなく、発明者は、自分の発明を最も最善の方法で説明するために用語の概念を適宜定義できるとの原則に立脚して、本発明の技術的思想に符合する意味と概念で解釈しなければならない。したがって、本明細書に記載した実施例と図面に示した構成は、本発明の最も好適な一実施例に過ぎなく、本発明の技術的思想をすべて代弁するものではないので、本出願時点において、これらに取って代わる多様な均等物と変形例があり得ることを理解しなければならない。
【0095】
本発明で、次の用語は次のような基準で解釈することができ、記載されていない用語も下記の趣旨によって解釈することができる。符号化(coding)は、場合に応じて符号化(encoding)又は復号(decoding)と解釈することができ、情報は、値、パラメータ、係数、成分などを含む用語であり、場合に応じては異なる意味で解釈可能であるが、本発明がこれに限定されることはない。
【0096】
ここで、オーディオ信号とは、広義では、ビデオ信号と区分される概念であって、再生時に聴覚で識別可能な信号を称し、狭義では、音声信号と区分される概念であって、音声特性がないか少ない信号を意味する。本発明でのオーディオ信号は、広義で解釈しなければならなく、音声信号と区分されて使用されるとき、狭義のオーディオ信号と理解することができる。
【0097】
また、符号化とは、符号化だけを称することもできるが、符号化及び復号をすべて含む概念として使用することもできる。
【0098】
図1は、本発明に係るオーディオ信号処理装置の概略的な構成を示す図である。
【0099】
図1を参照すると、本発明に係るオーディオ信号処理装置のうちエンコーダ100は、二つの符号化ユニット(長方形符号化ユニット120R及び非長方形符号化ユニット120N)(又は第1符号化ユニット120―1及び第2符号化ユニット120―2)を含み、信号分類部110及びマルチプレクサ130を更に含むことができる。
【0100】
一方、長方形符号化ユニット120Rは、長方形符号化方式が適用される符号化ユニットであるが、長方形符号化方式とは、長方形形状のウィンドウが適用される符号化方式を示し、非長方形符号化方式とは、非長方形形状のウィンドウが適用される符号化方式を示す。
【0101】
一方、第1符号化ユニット120―1及び第2符号化ユニット120―2は、互いに異なるドメインをベースとする第1符号化方式及び第2符号化方式がそれぞれ適用されるユニットである。上記ドメインには、線形予測ドメイン、周波数ドメイン、時間ドメインなどが該当し得る。例えば、第1符号化方式が線形予測ドメインベースの符号化方式に対応し、第2符号化方式が周波数ドメインベースの方式に対応し得るが、ドメインの類型による定義及び特性は後で具体的に説明する。
【0102】
エンコーダ100は3個の特定の符号化ユニット(すなわち、A符号化ユニット120A〜C符号化ユニット120C)を含むことができる。A符号化ユニット120Aに適用されるA符号化方式は、図1に一例として示したように、長方形符号化方式であると同時に第1符号化方式に対応し、B符号化ユニット120Bに適用されるB符号化方式は、非長方形符号化方式であると同時に第1符号化方式に対応し、C符号化方式は、非長方形符号化方式であると同時に第2符号化方式に対応し得る。これは、上述したように、図1に示した一例に過ぎず、本発明がこれに限定されることはない。ただし、以下では、説明の便宜上、図1に示した例を基準にして説明する。
【0103】
一方、A符号化方式は代数符号励起線形予測(ACELP)方式、B符号化方式は変換符号化励起(TCX)、C符号化方式は修正離散コサイン変換(MDCT)に対応し得るが、本発明がこれに限定されることはない。A符号化方式〜C符号化方式に対する具体的な説明は、上記長方形符号化方式/非長方形符号化方式、及び第1符号化方式/第2符号化方式に対する具体的な説明と共に後で説明する。
【0104】
信号分類部110は、入力オーディオ信号の特性を分析し、その特性に基づいて現在のフレーム(又はサブフレーム)が上記の言及した二つ以上の符号化方式のうちどの符号化方式を適用するかを決定し、その決定に従って符号化方式情報を生成する。二つ以上の符号化方式は、上述したように、長方形方式/非長方形方式、第1符号化方式/第2符号化方式、又はA符号化方式〜C符号化方式に対応し得るが、本発明がこれに限定されることはない。
【0105】
例えば、図1に示した例の場合、符号化方式情報は、符号化識別情報及び副符号化識別情報を含むことができる。ここで、符号化識別情報は、現在のフレームに対して第1符号化方式又は第2符号化方式のうち一つを示す。上記副符号化識別情報とは、現在のフレームが第1符号化方式に対応する場合、そのうちA符号化方式であるか、それともB符号化方式であるかをフレーム別に(又はサブフレーム別に)示す情報である。
【0106】
信号分類部110は、上記符号化方式情報を生成してマルチプレクサ130に伝達する。
【0107】
一方、入力信号は、信号分類部110の制御によって、フレーム又はサブフレーム別に分けられて長方形符号化ユニット120R又は非長方形符号化ユニット120Nに入力されるか、又は第1符号化ユニット120―1及び第2符号化ユニット120―2に入力される。図1に示した例の場合、入力信号は、A符号化ユニット120A〜C符号化ユニット120Cのうち一つに入力することができる。
【0108】
図1に示した例の場合、A符号化ユニット120A〜C符号化ユニット120Cは、それぞれの符号化方式に従って入力信号を符号化した結果であるデータをマルチプレクサ130に伝達する。
【0109】
マルチプレクサ130は、符号化方式情報及び、各ユニットによって符号化された結果であるデータを多重化することによって、一つ又はそれ以上のビットストリームを生成する。
【0110】
本発明に係るオーディオ信号処理装置のうちデコーダ200は、二つ以上の復号ユニット220R、220N(又は220―1、220―2)を含み、デマルチプレクサ210を更に含むことができる。二つ以上の復号ユニットは、上述した二つ以上の符号化ユニットに対応する復号態様の構成要素であって、長方形復号ユニット220R及び非長方形復号ユニット220N、又は第1復号ユニット220―1及び第2復号ユニット220―2に対応する。上述したエンコーダ100の説明と同様に、図1に示したように、少なくとも二つの復号ユニットは、A復号ユニット220A〜C復号ユニット220Cを含むことができる。
【0111】
長方形復号ユニット220Rで適用される長方形符号化方式、及び非長方形復号ユニット220Nで適用される非長方形符号化方式も、上述した通りである。第1復号ユニット220―1で適用される第1符号化方式、及び第2復号ユニット220―2で適用される第2符号化方式も同様である。上述したように、図1に示した例のようにA復号ユニット220A〜C復号ユニット220Cを含む場合、各ユニットで使用されるA符号化方式〜C符号化方式については、後で具体的に説明する。
【0112】
デマルチプレクサ210は、一つ又はそれ以上のビットストリームから符号化方式情報及び各フレーム(又はサブフレーム別)に対するデータを抽出する。各データは、符号化方式情報によって、該当の復号ユニット(例えば、220A〜220C)に伝達される。各復号ユニットは、各復号方式に従ってデータを復号することによって出力オーディオ信号を生成する。
【0113】
以下では、図1に示した本発明に係るオーディオ信号処理装置の各実施例について順次説明する。
【0114】
図2は、本発明の第1実施例に対応するオーディオ信号処理装置のうちエンコーダ100Aの構成を示す図で、図3は、デコーダの構成を示す図である。すなわち、第1実施例は、長方形符号化方式で符号化されたブロックと非長方形符号化方式で符号化されたブロックが互いに接触しているとき、折り返し歪みなどの欠陥を補償するための実施例に対応する。
【0115】
図2を参照すると、第1実施例に係るエンコーダ100Aは、図1に示したエンコーダ100と同様に、長方形符号化ユニット120R及び非長方形符号化ユニット120Nを含み、マルチプレクサ130を更に含むことができる。詳細に説明すると、長方形符号化ユニット120Rは、長方形方式符号化部122及び長方形方式合成部分124を含み、非長方形符号化ユニット120Nは、補償情報生成部分128を含み、非長方形方式符号化部126を更に含むことができる。
【0116】
まず、入力信号は、ブロック単位で分けられた後、ブロック別に長方形符号化ユニット120R又は非長方形符号化ユニット120Nに入力される。ここで、ブロックとは、フレーム又はサブフレームに対応する単位である。
【0117】
以下、図4及び図5を参照してフレーム別符号化方式(長方形符号化方式/非長方形符号化方式)について説明し、図6〜図11を参照して異種符号化方式(長方形符号化方式/非長方形符号化方式)への変化で発生する欠陥(折り返し歪みなど)を補償する多様な方法について説明する。図4〜図11について具体的に説明した後、再び図2及び図3の各構成要素について説明する。
【0118】
図4は、オーディオ信号の構成単位、及び構成単位別符号化方式の例である。
【0119】
図4を参照すると、オーディオ信号がi番目のフレーム(frame i)及びi+1番目のフレーム(frame i+1)を含む一連のフレームで構成されることが分かる。ここで、一つのフレームは複数(例えば、4個)のサブフレームからなることが分かる。また、図4は、フレーム別又はサブフレーム別に互いに異なる符号化方式が適用され得ることを示す。具体的に、三つの符号化方式、すなわち、A符号化方式(ACELP)、B符号化方式(TCX)、C符号化方式(FD)が存在する場合の例である。フレームは複数のサブフレーム(例えば、4個のサブフレーム)で構成することができる。そして、A符号化方式(例えば、ACELP)は、図4の(A)のi番目のフレームに示したようにサブフレーム別に適用することができる。B符号化方式(例えば、TCX)は、(B)のi番目のフレーム、及び(D)のi番目のフレーム及びi+1番目のフレームに示したように、1個のサブフレーム、2個の連続したサブフレーム、4個の連続したサブフレーム(すなわち、一つのフレーム)に適用することができる。C符号化方式(例えば、FD)は、(A)及び(C)に示したように、サブフレームでないフレーム単位で適用可能であるが、本発明がこれに限定されることはない。
【0120】
図5は、異種符号化方式(長方形符号化方式及び非長方形符号化方式)への変化を説明するための図である。
【0121】
図5の(A―1)を参照すると、N番目のブロックは長方形符号化方式に、N+1番目のブロックは非長方形符号化方式に変化した例を示し、(A―2)はその反対の場合を示している。ここで、ブロックとは、上述したフレーム又はサブフレームに対応し得る。すなわち、N番目のブロック及びN+1番目のブロックのそれぞれは、フレーム又はサブフレームになり得る。すなわち、フレーム―フレーム/フレーム―サブフレーム/サブフレーム―フレーム/サブフレーム―サブフレームの合計4個の組み合わせがすべて可能である。
【0122】
図5の(A―1)のように、長方形符号化方式から非長方形符号化方式に変化した例を図4の(A)〜(D)の場合から探すことができる。
【0123】
図1に対する説明で言及したように、A符号化方式(ACELP)が長方形符号化方式に対応し、B符号化方式(TCX)及びC符号化方式(FD)が非長方形符号化方式に対応し得るが、長方形符号化方式から非長方形符号化方式に変化した場合(図5の(A―1)では、A符号化方式(ACELP)からB符号化方式(TCX)(又はC符号化方式(FD))に変化した場合)は、図5の(B―1)〜(B―4)のうち点線で表示されている各部分に対応する。
【0124】
一方、非長方形符号化方式から長方形符号化方式に変化した場合、すなわち、B符号化方式(TCX)(又はC符号化方式(FD))からA符号化方式(ACELP)に変化した場合(図5の(A―2))は、その表示が(B―1)〜(B―4)で省略されているが、2〜3ヶ所程度(例えば、図5の(B―2)で1番目及び2番目のブロックなど)から探すことができる。
【0125】
このように長方形ウィンドウと非長方形ウィンドウが接触する点では、その非対称性によって折り返し歪みなどの欠陥が発生し得るが、この欠陥を補償するための方法は図6〜図9を参照して説明する。
【0126】
図6は、長方形ウィンドウと非長方形ウィンドウが重複したときの特性を説明するための図である。図7は、補正部分(CP)及び折り返し歪み部分(AP)、及び非補償信号を説明するための図である。図6は、長方形ウィンドウの次に非長方形ウィンドウが現れる場合に対応し、その反対に、非長方形ウィンドウ以後に長方形ウィンドウが重複される場合については後で説明する。
【0127】
図6を参照すると、まず、長方形ウィンドウと非長方形ウィンドウが重複されていることが分かる。ブロックA〜Fを含むオーディオ信号に対して、長方形ウィンドウはブロックB及びブロックCに適用されており、非長方形ウィンドウはブロックC〜ブロックFに適用されていることが分かる。すなわち、ブロックC部分で長方形ウィンドウと非長方形ウィンドウが重複されている。図6の(a)〜(d)は、ブロックA〜Fに対してウィンドウ処理、折り畳み、展開、ウィンドウ処理が適用された結果を順次示している。ウィンドウ処理、折り畳み、展開、ウィンドウ処理は、非長方形ウィンドウと関連して時間ドメイン折り返し歪み除去(TDAC)技術を適用するために、各ブロックに順次適用される過程である。
【0128】
まず、図6の(a)を参照すると、ブロックB及びCに長方形ウィンドウが適用された結果(ドットで表示されたブロック)と、その下側のブロックC〜ブロックFに非長方形ウィンドウが適用された結果が表示されている。C(L1)は、ブロックCに非長方形ウィンドウのL1部分が適用された結果であり、D(L2)は、ブロックDに非長方形ウィンドウのL2部分が適用された結果である。その後、非長方形ウィンドウが適用された結果に対して折り畳みを行うと、図6の(b)のようになる。Er及びDrなどは、ブロック境界を基準にして折り畳みが行われて反転されたことを意味する。その後、展開が行われると、図6の(c)のようになる。その後、再び展開されたブロックに非長方形ウィンドウを適用すると、図6の(d)に示すような結果が出る。
【0129】
すなわち、原信号のブロックDに対応する非補償信号、すなわち、伝送されたデータだけとして取得された信号は、図6に示した通りである。
(式1)
非補償信号=(−Cr(L1)r+D(L2))(L2)
【0130】
ここで、C、DはブロックC及びブロックDに対応するデータを示し、rは反転を示し、L1及びL2は非長方形ウィンドウのL1部分又はL2部分が適用された結果を示す。
【0131】
以下では、図7〜図9を参照しながら、非補償信号を原信号と同一に又は類似する形で補償する方法について説明する。まず、図7を参照すると、上述した式1に対応する非補償信号が示されている。
【0132】
一方、非長方形ウィンドウは対称性を有するが、この非長方形ウィンドウが有する特性は、図8に示したように、次のように説明される。図8は、上述したTDACのためのウィンドウの条件でもある。
(式2)
Li2+Ri2=1(i=1,2)
L1r=R2、
L2r=R1
【0133】
ここで、L1は左側の1番目の部分を示し、L2は左側の2番目の部分を示し、R1は右側の1番目の部分を示し、R2は右側の2番目の部分を示す。
【0134】
したがって、非長方形ウィンドウが有する上記特性を適用すると、式1は次のように整理することができる。
(式3)
非補償信号=(−Cr(L1)r+D(L2))(L2)=D(L2)2−Cr(R2L2)(L1r=R2であるため)
【0135】
したがって、非補償信号が原信号Dと同一になるために、すなわち、完全な補償のために必要な信号は、図7に示したように、次のように表現することができる。
(式4―1)
完全な補償のために必要な信号=原信号−非補償信号
=D−(D(L2)2−Cr(R2L2))
【0136】
一方、ここで、上記式2に開示された特性を用いると、次のように整理される。
(式4―2)
完全な補償のために必要な信号=D(R2)2+Cr(R2L2)(1−L22=R22であるため)
【0137】
このとき、式4―2の1番目の項(D(R2)2)は補正部分に対応し、2番目の項(Cr(R2L2))は折り返し歪み部分と称することができる。
【0138】
補正部分(CP)及び折り返し歪み部分(AP)は、同種ウィンドウ(非長方形ウィンドウと非長方形ウィンドウ)が重複した場合、時間ドメイン折り返し歪み除去(TDAC)が行われて合算されることによって削除される部分に対応する。換言すると、補正部分(CP)と折り返し歪み部分(AP)は、異種ウィンドウ(長方形ウィンドウと非長方形ウィンドウ)が重複したことから、除去できずに残っている誤差である。
【0139】
特に、補正部分(CP)は、現在のブロック(例えば、ブロックD)(ウィンドウ交点以後のブロック)に非長方形ウィンドウ(そのうちR2)が適用された部分に対応する。一方、折り返し歪み部分(AP)は、以前のブロック(例えば、ブロックC)(すなわち、ウィンドウ交点以前のブロック)(長方形ウィンドウと非長方形ウィンドウが重複したブロック)に非長方形ウィンドウ(そのうちR2、L2)が適用された部分に対応する。
【0140】
一方、以前のブロック(例えば、ブロックC)は、以前のブロックのデータを用いてデコーダで復元できるので、復元された以前のブロックを用いて折り返し歪み部分の予測値を生成できるが、これは、次の式のように表現することができる。
(式5)
折り返し歪み部分の予測値=qCr(R2L2)
【0141】
一方、折り返し歪み部分の予測値と原折り返し歪み部分との差(又は量子化誤差)である折り返し歪み部分の誤差は、次のように表現することができる。
(式6)
折り返し歪み部分の誤差=er(R2L2)=Cr(R2L2)−qCr(R2L2)
【0142】
上記式5及び式6を用いて式4―2を整理すると、次の式のように表現することができる。
(式7)
完全な補償のために必要な信号=D(R2)2+Cr(R2L2)=D(R2)2+(qCr+er)(R2L2)
【0143】
ここで、D(R2)2は補正部分(CP)を示し、qCr(R2L2)は折り返し歪み部分(AP)の予測値を示し、er(R2L2)は折り返し歪み部分の誤差を示す。
【0144】
すなわち、完全な補償のために必要な信号は、式7のように、補正部分(CP)と折り返し歪み部分(AP)の和である。
【0145】
このように補正部分(CP)及び折り返し歪み部分(AP)を補償するための三つの方法について図9を参照しながら説明する。
【0146】
図9は、補正部分及び/又は折り返し歪み部分を補償するための補償信号の各実施例を説明するための図である。
【0147】
図9の(A)に示した第1実施例の補償信号は、補正部分(CP)及び折り返し歪み部分の誤差を含み、図9の(B)の第2実施例に係る補償信号は補正部分(CP)だけを含む。図9の(B)の第3の実施例では、補償信号がデコーダに伝送されず、デコーダで補正部分(CP)及び折り返し歪み部分(AP)を推定する。
(式8―1)
方法A:補償信号=D(R2)2+er(R2L2)、ここで、復元信号はDである。
【0148】
第1実施例に係る補償信号の場合、式5と共に説明したように、折り返し歪み部分(AP)の予測値は、エンコーダからデコーダに伝送されないとしても、以前のブロック(すなわち、長方形ウィンドウと非長方形ウィンドウとの重複部分に対応するブロック)のデータに基づいてデコーダで取得することができる。したがって、補償信号が補正部分(CP)及び折り返し歪み部分の誤差を含むとしても、デコーダでは折り返し歪み部分の予測値を生成できるので、完全な補償のための信号(上記式7)を取得することができる。第1実施例は、折り返し歪み部分(AP)自体でない誤差だけを伝送することによって、ビット数を節約することができ、折り返し歪み部分(AP)の誤差まで補償することによって、完全に補償された信号を取得できるという長所を有する。
【0149】
第2実施例の場合、補償信号が補正部分(CP)に対応する信号だけを含む。
(式8―2)
方法B:補償信号=D(R2)2、ここで、復元信号はD−er(R2L2)である。
【0150】
デコーダでは、上述したように(又は第1実施例と同様に)折り返し歪み部分(AP)の予測値を生成し、この予測値と共に、補正部分(CP)に対応する補償信号を用いて補償された信号を取得する。第2実施例は、折り返し歪み部分(AP)の誤差が補償された信号に残存し得るので、復元率又は音質が多少低くなり得るが、第1実施例の場合よりは補償信号の圧縮率を高めることができるという効果を有する。
【0151】
第3の実施例は、補償信号が伝送されず、デコーダで補正部分(CP)及び折り返し歪み部分(AP)を推定するものである。
(式8―3)
方法C:補償信号=伝送されず、デコーダで生成された補償信号=qCr(L2R2)+D(R2)2、ここで、復元信号はD―er(R2)/(L2)である。
【0152】
上述したように(又は第1実施例及び第2実施例と同様に)、折り返し歪み部分(AP)の予測値はデコーダで生成することができる。一方、補正部分(CP)は、現在のブロック(例えば、ブロックD)に対応する信号に対してウィンドウの形状を補償することによって生成することができる。具体的に、以前のブロックのデータ(qC)を用いてqCr(L2R2)を生成し、これを式1のような非補償信号に加算する。そうすると、D(L2)2−er(L2R2)が生成されるが、この信号を(L2)2で除すことによって(具体的に、D(R2)2を生成して加算する過程であり得る)D−er(R2)/(L2)が得られる。ただし、式8―3では、現在のブロック(ブロックD)に対する量子化誤差は表現されなかった。
【0153】
第3の実施例は、第1実施例及び第2実施例に比べて復元率が多少低下し得るが、補償信号を伝送するためのビットが全く必要でないので、圧縮率が非常に高い。
【0154】
図10は、図6に示した異種ウィンドウ(長方形ウィンドウと非長方形ウィンドウとの)間の結合のうち、非長方形ウィンドウの各例を説明するための図である。非長方形ウィンドウの各例は、図10の(A)〜(C)に示したように、コーナーが直角でなく、傾斜のある上昇ラインを有する。図10の(A)〜(C)に対応するそれぞれの非長方形ウィンドウの形状は、次の表のように示すことができる。
【表1】
【0155】
ここで、Nはフレーム長を示し、数字はサンプルの個数(例えば、256は、256サンプル)を示す。
【0156】
表1及び図10に示したように、上記の三つのタイプのウィンドウは、いずれも上昇ライン及び下降ラインの幅がN/4(Nフレーム長)であり得る。
【0157】
一方、(A)〜(C)に示した非長方形ウィンドウは、B方式(例えば、TCX)のモード1、モード2、モード3に対応する各ウィンドウに対応し得るが、本発明がこれに限定されることはない。ここで、モード1は、図4で言及したように、1個のサブフレームにB方式が適用されるときのウィンドウに対応し、モード2は、2個の連続したサブフレームにB方式が適用されるときのウィンドウに対応し、モード3は、4個の連続したサブフレーム(すなわち、1個のフレーム)の場合のウィンドウに対応し得る。
【0158】
一方、図10では、B方式に対応する非長方形ウィンドウの各例を説明したが、C方式(例えば、MDCT)に対応する非長方形ウィンドウの各例は、後で第2実施例に係るオーディオ信号処理装置と共に説明する。
【0159】
図11は、非長方形ウィンドウ以後に長方形ウィンドウが重複した場合を示す図である。図6は、長方形ウィンドウ以後に非長方形ウィンドウが表れる場合を示す一方、図11は、非長方形ウィンドウ以後に長方形ウィンドウが重複される場合を示す。
【0160】
図11の(A)を参照すると、図6の場合と同様に、この場合にも、非長方形ウィンドウに対応するブロックで補正部分(CP)及び折り返し歪み部分(AP)が発生することが分かる。非長方形ウィンドウと長方形ウィンドウが重複されるブロックが、図6の場合と異なり、以前のブロックでなく以後のブロックであるので、以後のブロックのデータを用いて折り返し歪み部分(AP)の予測値を生成することができる。また、図9と共に説明した多様な実施例に対応する補償信号を伝送することによって、非長方形ウィンドウと長方形ウィンドウとの間の重複によって発生する欠陥(補正部分(CP)及び折り返し歪み部分(AP))を解決することができる。
【0161】
一方、図11の(B)を参照すると、長方形ウィンドウの埋め込み部分(EP)は、非長方形ウィンドウに対応する符号化方式(例えば、B方式又はC方式)によって符号化されたデータに折り返し歪み部分(AP)として埋め込まれる。したがって、長方形ウィンドウに対応する全体の信号をDとし、埋め込み部分(EP)をCrwとしたとき、次の式のように表現することができる。
(式9)
Crw=Cr(R1)r+D(R2)
【0162】
参考までに、上記信号は、デコーダ側でウィンドウを適用する前の信号である。
【0163】
すなわち、上記埋め込み部分(EP)(Crw)は、デコーダで計算することができる。長方形符号化方式に従ってD全体を符号化するよりは、D−Crwだけ(図面の伝送部分(TP))を符号化して伝送することができる。伝送部分(TP)は、次のように表現することができる。
(式10)
TP=D−Crw=−Cr(R1)r−D(1−R2)
【0164】
デコーダは、非長方形符号化方式に対応する展開されたデータと、長方形符号化方式に対応するデータとを重複させ、元の信号を復元することができる。
【0165】
図4〜図11を参照しながら、異種符号化方式及び異種ウィンドウ(長方形ウィンドウ及び非長方形ウィンドウ)が重複した場合の欠陥を補償するための内容について具体的に説明したが、再び図2及び図3を参照しながら、第1実施例に係るオーディオ信号処理装置及び方法について説明する。
【0166】
再び図2を参照しながら、N番目のブロックが長方形符号化方式に対応するブロックであり、N+1番目のブロックが非長方形符号化方式に対応するブロックである場合について説明するが、その反対の場合(すなわち、N番目のブロックが非長方形符号化方式であり、N+1番目のブロックが長方形符号化方式である場合)も、図10の(A)を参照しながら言及したように適用可能であることは当然である。
【0167】
長方形方式符号化部122は、入力信号のうちN番目のブロックを長方形符号化方式に従って符号化し、その符号化されたデータ(便宜上、第1データと略称する)を長方形方式合成部分124及びマルチプレクサ130に伝達する。ここで、長方形符号化方式は、上述したように長方形ウィンドウが適用される符号化方式であって、ACELPがこれに属し得るが、本発明がこれに限定されることはない。長方形方式符号化部122は、例えば、図6のブロックB及びブロックCをA符号化方式で長方形ウィンドウを適用して符号化した結果であり得る。
【0168】
長方形方式合成部分124は、符号化されたデータ(第1データ)を用いて折り返し歪み部分(AP)の予測値を生成する。具体的に、まず、長方形符号化方式で復号することによって出力信号を生成する。例えば、A符号化方式に従ってブロックC(及びブロックB)を元通りに復元する。この出力信号及び非長方形ウィンドウを用いて折り返し歪み部分の予測値を取得する。ここで、折り返し歪み部分の予測値は、上記式5に示す通りである。式5で、qCは出力信号に対応し、R2L2は非長方形ウィンドウに対応する。この折り返し歪み部分の予測値は補償情報生成部分128に入力される。
【0169】
非長方形方式符号化部126は、N+1番目のブロックを非長方形符号化方式で符号化することによって、符号化されたデータ(便宜上、第2データ)を生成する。例えば、第2データは、図6のブロックC〜Fに対して非長方形ウィンドウを適用した後、折り畳みした結果に対応し得る。非長方形符号化方式は、上述したように、B符号化方式(例えば、TCX)又はC符号化方式(例えば、MDCT)に対応し得るが、本発明がこれに限定されることはない。この第2データはマルチプレクサ130に伝達される。
【0170】
補償情報生成部分124は、折り返し歪み部分の予測値と原入力信号を用いて補償信号を生成する。補償信号は、図9に示したように、三つの方式に従って生成することができる。方法Aの場合、折り返し歪み部分の予測値と原入力信号をすべて利用し、方法Bの場合、原入力信号だけを利用することができる。方法Cの場合は、補償信号を生成しない場合である。上記の三つの方式は、全体のフレーム又はサブフレームに対して同一の方式が適用されることもあるが、各フレームのビット効率を考慮して、フレームごとに異なる方式が適用されることもある。補償信号の定義及び生成過程については、図6〜図9と共に詳細に説明したので、それに対する具体的な説明は省略する。補償情報生成部分124で生成された補償信号はマルチプレクサ130に伝達される。
【0171】
マルチプレクサ130は、上記第1データ(例えば、N番目のブロックのデータ)、第2データ(例えば、N+1番目のブロックのデータ)及び補償信号を多重化することによって、一つ以上のビットストリームを生成してエンコーダに伝送する。もちろん、図1のマルチプレクサ130と同様に、符号化方式情報などをビットストリームに含ませることができる。
【0172】
図3を参照すると、第1実施例に係るデコーダ200Aは、第1デコーダ200と同様に、長方形復号ユニット220及び非長方形復号ユニット220Nを含み、デマルチプレクサ210を更に含むことができるが、上記非長方形復号ユニット228は、補償部分228を含む。より詳細に、長方形復号ユニット220Rは、長方形方式復号部222及び折り返し歪み予測部分224を更に含むことができ、非長方形復号ユニット220Nは、非長方形方式復号部226を更に含むことができる。
【0173】
デマルチプレクサ210は、一つ以上のビットストリームから第1データ(長方形符号化方式で符号化されたデータ)(例えば、N番目のブロックのデータ)、第2データ(非長方形符号化方式で符号化されたデータ)(例えば、N+1番目のブロックのデータ)、及び補償信号を抽出する。補償信号は、図9と共に説明した三つの類型のうち一つに該当し得る。
【0174】
長方形方式復号部222は、第1データを長方形符号化方式で復号して出力信号を生成する。図6のブロックC(及びブロックB)を取得するのと同様である。
【0175】
折り返し歪み予測部分224は、図2の長方形方式合成部分124と同様に、出力信号と非長方形ウィンドウを用いて折り返し歪み部分の予測値を生成する。折り返し歪み部分の予測値は、上記式5に該当し得る。
【0176】
非長方形方式復号部226は、第2データを非長方形符号化方式で復号して信号を生成する。この信号は、折り返し歪みなどが補償される前の信号であるので、上述した非補償信号に該当し、上記の式1に表現された信号と同一であり得る。
【0177】
補償部分228は、デマルチプレクサ210から伝達された補償信号、折り返し歪み予測値部分224で取得された折り返し歪み部分の予測値、及び非長方形方式復号部226で生成された非補償信号を用いて復元された信号を生成する。ここで、復元された信号は、図9及び式8―1〜式8―3を参照して説明した通りである。
【0178】
以下では、図12〜図13を参照しながら、第2実施例に係るオーディオ信号処理装置を説明する。
【0179】
第1実施例は、N番目のブロックが長方形符号化方式(例えば、A符号化方式)に対応し、N+1番目のブロックが非長方形符号化方式(例えば、B符号化方式又はC符号化方式)に対応する場合(又は反対の順序)である。その一方、第2実施例は、N+1番目のブロックがC符号化方式であるとき、N番目のブロックが長方形符号化方式(例えば、A符号化方式)であるかどうかによって、C符号化方式のウィンドウタイプが変わる例(N番目のブロックとN+1番目のブロックの順序は変わり得る)である。
【0180】
図12は、本発明の第2実施例によるエンコーダのブロック図である。
【0181】
図12を参照すると、第2実施例に係るエンコーダ100Bは、第1実施例と同様に、長方形符号化ユニット120R及び非長方形符号化ユニット120Nを含む。ただし、非長方形符号化ユニット120Nがウィンドウタイプ決定部127を更に含む。その他の構成要素(長方形方式符号化部122、長方形方式合成部分124、非長方形方式符号化部126、及び補償情報生成部分128は、第1実施例の同一名称の各構成要素の機能と同一であり得るが、同一の部分についての具体的な説明は省略する。
【0182】
ウィンドウタイプ決定部127は、第2ブロック(現在のブロック)が非長方形符号化方式で符号化された場合、第1ブロック(例えば、以前のブロック又は以後のブロック)が長方形符号化方式で符号化されたかどうかによって、第2ブロックのウィンドウのタイプを決定する。具体的に、第2ブロックが非長方形符号化方式のうちC符号化方式で符号化され、第2ブロックに適用されたウィンドウが遷移ウィンドウクラスに属する場合、第1ブロックが長方形符号化方式で符号化されたかどうかによって、第2ブロックのウィンドウのタイプ(及び形状)を決定する。ウィンドウのタイプの例は、次の表1に示す通りである。
【表2】
(ここで、Nは、フレーム長、1024サンプル又は960サンプルなどに対応する。)
【0183】
表に示したように、合計5個のウィンドウのうち2、4、5番のウィンドウ(ロング―スタートウィンドウ、ロング―ストップウィンドウ、及びストップ―スタートウィンドウ)が遷移ウィンドウクラスに属する。遷移ウィンドウクラスに属するウィンドウは、表に示したように、以前又は以後のブロックが長方形ウィンドウに対応するかどうかによってウィンドウの形状が変わる。長方形符号化方式に該当する場合、上昇ライン(又は下降ライン)の幅がN/4である一方、非長方形符号化方式(そのうちC符号化方式)に該当する場合の遷移ウィンドウのクラスは、上昇ライン(又は下降ライン)の幅がN/8になることが分かる。
【0184】
図13は、本発明の第2実施例に従うデコーダのブロック図である。
【0185】
図14は、以前のブロックが長方形符号化方式であるかどうかによる遷移ウィンドウの形状を示す図である。図14の(A)及び(B)に示した右側の非長方形ウィンドウは表1のロング―ストップウィンドウに対応するが、ロング―スタートウィンドウ及びストップ―スタートウィンドウに置き替えることもできる。
【0186】
図14の(A)は、以前のブロックが長方形ウィンドウに対応する場合、現在のブロックの遷移ウィンドウの上昇ラインが第1傾斜を有することを示し、図14の(B)は、以前のブロックが長方形ウィンドウに対応しないとき(具体的に、C符号化方式のウィンドウに対応する場合)、現在のブロックの遷移ウィンドウの上昇ラインが第2傾斜を有することを示している。このとき、第1傾斜は第2傾斜より緩やかである。第1傾斜の幅は第2傾斜の幅の2倍に対応し得る。第1傾斜の幅がN/4に対応し、第2傾斜の幅がN/8に対応し得る。
【0187】
換言すると、ウィンドウタイプ決定部127は、まず、現在のブロックに対応するウィンドウのタイプを決定し、複数のウィンドウのうち現在のブロック(フレーム又はサブフレーム)に適用された特定のウィンドウを指定する(すなわち、ウィンドウタイプを指示する)ウィンドウタイプ情報を生成してマルチプレクサ130に伝達する。そして、現在のブロックに対応するウィンドウのタイプが遷移ウィンドウに分類される場合、以前のブロック又は以後のブロックが長方形符号化方式に対応するかどうかによって、ウィンドウの形状、具体的に、上昇ライン又は下降ラインの幅(及びそれによるトップライン、及び左側(右側)のゼロ区間の長さ)を決定し、その決定されたウィンドウの形状を現在のブロックに適用する。
【0188】
一方、補償情報生成部分128は、第1実施例の補償情報生成部分128と同様に、異種ウィンドウ(非長方形ウィンドウと長方形ウィンドウ)が重複したとき(例えば、図14の(A)に対応する場合)、補償信号を生成する。
【0189】
上述したように補償信号を用いると、異種ウィンドウが重複した場合の欠陥を補完できるので、異種ウィンドウが100%重複される必要はなく、50%だけが重複され得る。したがって、100%重複される必要がないので、遷移ウィンドウに分類される各ウィンドウの上昇ライン(又は下降ライン)の幅を狭めなくてもよく、100%重複されるべき場合よりも相対的に緩やかな傾斜を有するウィンドウを有することができる。
【0190】
図13を参照すると、第2実施例に係るデコーダ200Bは、第1実施例に比べて非長方形復号ユニット220Nがウィンドウ形状決定部127を更に含む。第1実施例の構成要素と同一名称の構成要素については、その具体的な説明を省略する。
【0191】
ウィンドウ形状決定部127は、現在のブロック(又は第2ブロック)が非長方形符号化方式(特に、C符号化方式)に対応する場合、デマルチプレクサ210から伝達されたウィンドウタイプ情報に基づいて、複数のウィンドウのうち現在のブロックに適用される特定のウィンドウ(すなわち、ウィンドウタイプ)を決定する。現在のブロックのウィンドウが遷移ウィンドウクラスに属する場合、以前/以後のブロック(第1ブロック)が長方形符号化方式で符号化されたかどうかによって、決定されたウィンドウタイプのうちウィンドウの形状を決定する。具体的に、以前/以後のブロックが長方形符号化方式で符号化され、現在のブロックのウィンドウが遷移ウィンドウクラスに属する場合、上述したように、第2傾斜より緩やかな第1傾斜の上昇ライン(又は下降ライン)を有するようにウィンドウの形状を決定する。例えば、ロング―スタートウィンドウの場合、表1での緩やかなロング―スタートウィンドウ(第1傾斜(例えば、N/4)の下降ラインを有する)と決定し、ロング―ストップウィンドウの場合、表1での緩やかなロング―ストップウィンドウ(例えば、第1傾斜(N/4)の上昇ライン)と決定する。ストップ―スタートウィンドウの場合も同様である。ここで、第1傾斜(例えば、N/4)は、上述したように、第2傾斜より緩やかな傾斜であるが、第2傾斜は急な遷移ウィンドウ(急なロング―ストップウィンドウなど)の上昇ライン又は下降ラインの傾斜である。
【0192】
このように決定されたウィンドウタイプ及びウィンドウの形状は、非長方形方式復号部226に伝達され、非長方形方式復号部226は、決定されたウィンドウタイプ及びウィンドウの形状によって、現在のブロックを非長方形方式で復号することによって、非補償信号を生成する。
【0193】
補償部分228は、第1実施例と同様に、異種ウィンドウ(長方形ウィンドウ/非長方形ウィンドウ)の重複が発生した場合、非補償信号及び補償信号(及び折り返し歪み部分の予測値)を用いて復元された信号を生成する。
【0194】
以下、図15及び図16と共に第3の実施例に係るオーディオ信号処理装置について説明する。第3の実施例は、図1のオーディオ信号処理装置のうち第1符号化ユニット120―1及び第2符号化ユニット120―2と、第1復号ユニット220―1及び第2復号ユニット220―2を含む実施例である。具体的に、現在のブロック(例えば、N番目のブロック)が第2符号化方式(C符号化方式)で符号化され、以後のブロック(例えば、N+1番目のブロック)が第1符号化方式(A符号化方式又はB符号化方式)で符号化されたかどうかによって、現在のブロックに対応する現在のウィンドウの形状が決定されることに対応する実施例である。
【0195】
図15は、本発明の第3実施例に従うエンコーダのブロック図である。
【0196】
図15を参照すると、第3の実施例に係るエンコーダ100Cのうち第1符号化ユニット120―1は、第1方式符号化部122―1を含み、第2符号化ユニット120―2は、第2方式符号化部126―2及びウィンドウタイプ決定部127―2を含む。上記エンコーダ100Cは、マルチプレクサ130を更に含むことができる。入力信号は、ブロック(フレーム又はサブフレーム)単位で第1符号化ユニット120―1又は第2符号化ユニット120―2に入力される。
【0197】
第1方式符号化部122―1は、第1符号化方式に従って入力信号を符号化し、第2方式符号化部126―2は、第2符号化方式に従って入力信号を符号化するが、第1符号化方式又は第2符号化方式とは、図1と共に説明した通りである。すなわち、第1符号化方式が線形予測ドメインベースの符号化方式に対応し、第2符号化方式が周波数ドメインベースの方式に対応し得る。一方、第1符号化方式は、図1と共に説明したように、長方形ウィンドウ方式に対応するA符号化方式(例えば、ACELP)、及び非長方形ウィンドウ方式に対応するB符号化方式(例えば、TCX)を含むことができ、第2符号化方式は、非長方形ウィンドウ方式に対応するC符号化方式(例えば、MDCT)を含むことができる。
【0198】
ウィンドウタイプ決定部127―2は、入力信号が第2符号化方式に対応する場合、以前のブロック又は以後のブロックの信号の特性(及びウィンドウタイプ)を参照して現在のブロックのウィンドウタイプ及び形状を決定し、現在のブロック(フレーム/サブフレーム)に対応するウィンドウタイプを指示するウィンドウタイプ情報を生成してマルチプレクサ130に伝達する。
【0199】
以下では、表1を参照しながら、ウィンドウタイプについて具体的に説明した後、図17及び図18を参照しながら、以前のブロック/以後のブロックの符号化方式による現在のブロックのウィンドウタイプ及び形状について説明した後、再び図15及び図16の各構成要素について説明する。
【0200】
第2符号化方式に対応するウィンドウタイプの一例は、上述した表1と同一であり得る。表1を参照すると、合計5個のタイプのウィンドウ(オンリー―ロング、ロング―スタート、ショート、ロング―ストップ、ストップ―スタート)が存在する。ここで、オンリー―ロングウィンドウは、信号の特性が固定的(stationary)であるため、ロングウィンドウに適した信号に適用されるウィンドウであり、ショートウィンドウは、信号の特性が一時的(transient)であるため、ショートウィンドウに適した信号に適用されるウィンドウである。そして、遷移ウィンドウに分類されるロング―スタート、ロング―ストップ、ストップ―スタートは、オンリー―ロングウィンドウからショートウィンドウ(又は第1符号化方式のウィンドウ)に遷移される過程のために(ロング―スタート)、又はショートウィンドウからオンリー―ロングウィンドウ(又は第1符号化方式のウィンドウ)に遷移される過程のために(ロング―ストップ)必要なウィンドウである。ストップ―スタートは、現在のブロック又はフレームにロングウィンドウが適しているが、以前のフレーム及び以後のフレームがショートウィンドウ(又は第1符号化方式のウィンドウ)であるときに使用されるウィンドウである。
【0201】
表1に示した5個のタイプのウィンドウの形状を更に説明すると、オンリー―ロングウィンドウ、ショートウィンドウ、ストップ―スタートウィンドウは左右対称であり、残りのウィンドウは左右非対称である。ロング―スタートウィンドウは、右側部分だけにゼロ区間を含み、ロング―ストップウィンドウは、左側部分だけにゼロ区間を含む。
【0202】
以下、以前のフレーム又は以後のフレームによって現在のフレームのウィンドウ形状が決定される過程について具体的に説明する。以前のフレームがオンリー―ロングウィンドウで、現在のフレームがロング―スタートウィンドウである場合、以後のフレームがショートウィンドウに対応するか、それとも第1符号化方式のウィンドウに対応するかによって、現在のロング―スタートウィンドウの形状を決定することができる。具体的に、ロング―スタートウィンドウの下降ラインの傾斜が変わり得るが、下降ラインの傾斜が緩やかな形状のロング―スタートウィンドウを緩やかなロング―スタートウィンドウ(gentle long―start window)と称し(表1の形状別名称を参照)、下降ラインの傾斜が急な形状のロング―スタートウィンドウを急なロング―スタートウィンドウ(steep long―start window)と称することにする。これについて、図17を参照しながらより具体的に説明する。
【0203】
図17は、ロング―スタートウィンドウが第1方式符号化ウィンドウ及びショートウィンドウとそれぞれ結合された場合の形状を示す図である。図17の(A―1)及び(A―2)は、ロング―スタートウィンドウと第1符号化方式のウィンドウの結合に対応し、(B)は、ロング―スタートウィンドウとショートウィンドウの結合に対応する。
【0204】
具体的に、図17の(A―1)に示した第1符号化方式のウィンドウは、A方式(長方形ウィンドウ方式)に対応するウィンドウである。図17の(A―2)は、第1符号化方式ウィンドウのうちB方式(非長方形ウィンドウ方式)に対応するウィンドウである。図17の(A―1)及び(A―2)に示したように、以後のフレームが第1符号化方式に対応する場合、現在のロング―スタートウィンドウは第1傾斜を有する下降ラインを含み、図17の(B)に示したように以後のフレームが第2符号化方式(すなわち、ショートウィンドウ)に対応する場合、現在のロング―スタートウィンドウは第2傾斜を有する下降ラインを含む。第1傾斜の幅は第2下降ラインの幅の2倍であり、第1傾斜の幅はN/4(Nはフレーム長)に対応し得る。一方、第1傾斜の幅は、256サンプルに対応し、ロング―スタートの全体長さの1/8に対応し得る。
【0205】
図17の(A―1)の場合のように、ロング―スタートウィンドウ以後に長方形ウィンドウが重複した場合、上述した第1実施例及び第2実施例で説明したように、受信された補償信号を用いることによって、補正部分(CP)及び折り返し歪み部分(AP)の補償が可能である。このように補償しない場合、ロング―スタートウィンドウが長方形ウィンドウと100%重複されなければならないので、ビットの浪費を防止するためには、長方形ウィンドウと重複される下降ラインの傾斜を急にするしかなかった。しかし、上記のような補償が可能になることによって、長方形ウィンドウと50%重複しても音質が歪まないので、下降ラインの傾斜を図17の(A―1)のように第1傾斜に維持することができる。このように下降ラインを第1傾斜に緩やかに維持することによって、二つのウィンドウの交点が3N/2の点になる。100%重複しなければならない場合、二つのウィンドウの交点は3N/2−N/16になるしかない。すなわち、50%重複される図17の(A―1)の場合より交点がN/16ほど前方にあるしかない。
【0206】
換言すると、以後のウィンドウが第1符号化方式に対応するウィンドウである場合、50%だけが重複されてもよいので、ロング―スタートウィンドウの下降ラインは第1傾斜に緩やかに維持され、この結果、交点の位置は、以後のブロックが第1符号化方式に従うか、それとも第2符号化方式に従うかとは関係なく、同一の位置(例えば、ウィンドウ開始点から3N/2の点)になる。このように交点が同一になることによって、ウィンドウ間の遷移が変わるが、これについては、後で第4の実施例と共に説明する。
【0207】
図17の(B)の場合、第2傾斜は、次のフレーム(第2符号化方式)に対応するウィンドウの上昇ラインの傾斜とマッチングされることによってTDACの条件が満足される。マッチングされることは、傾斜の絶対値が同一であり得ることを意味する。すなわち、下降ラインの傾斜及び次のフレームの上昇ラインの傾斜の幅は、図面に示したようにすべてN/4であり得る。
【0208】
一方、表1を再び参照すると、ショートウィンドウは、以前のブロック又は以後のブロックの符号化方式とは関係なく形状が一つであるが、これについて図18を参照しながら説明する。図18の(A)及び(B)は、ショートウィンドウが第1符号化方式のウィンドウ及び第2符号化方式のウィンドウとそれぞれ重複した場合を示す図である。図18の(A―1)は、ショートウィンドウ以後に、第1符号化方式のうち、特に長方形符号化方式(例えば、A符号化方式)が登場した場合を示し、図18の(A―2)は、第1符号化方式のうち、特に非長方形符号化方式(例えば、B符号化方式)が登場した場合を示す。図18の(A―1)及び(A―2)のようにショートウィンドウの次に第1符号化方式のウィンドウが重複した場合、又は図18の(B)のようにショートウィンドウの次に第2符号化方式のウィンドウ(具体的にロング―ストップウィンドウ)が重複した場合のいずれにおいても、ショートウィンドウの下降ラインの傾斜(図面の傾斜Aを参照)は同一である。このように同一形状のショートウィンドウが可能な理由は、まず、第1実施例と第2実施例と共に説明したように、ショートウィンドウ以後に長方形符号化方式が登場するとしても、補償信号を用いて補正部分(CP)及び折り返し歪み部分(AP)を補償できるためである(図18の(A―1))。したがって、50%だけが重複されても可能であるので、ショートウィンドウに含まれた8個のショート部分(三角形状)のうち最後のショート部分の下降ラインも急な傾斜をなす必要がない。したがって、図18の(A―1)に示したように(図17の(A―1)の場合と同様に)、図18の(A―1)のように上昇ラインの傾斜と同一の水準で比較的緩やかに(傾斜A)(例えば、幅がN/8、Nはフレーム長)維持することができる。これによって、以後のブロックが第1符号化方式であるか、それとも第2符号化方式であるかとは関係なく、同一形状のショートウィンドウを用いることができる。
【0209】
一方、現在のフレームがロング―ストップウィンドウで、以後のフレームがオンリー―ロングウィンドウである場合、以前のフレームが第1符号化方式のウィンドウに対応するかによって、現在のロング―ストップウィンドウの形状が決定されることもあるが、これについては、第4の実施例で具体的に説明する。
【0210】
再び図15を参照すると、ウィンドウタイプ決定部127―2は、上述した表1と共に説明したように、複数のウィンドウのうち現在のブロックに適用される特定のウィンドウを決定し、この特定のウィンドウを指示するウィンドウタイプ情報を生成してマルチプレクサ130に伝達する。
【0211】
マルチプレクサ130は、第1符号化方式に従って符号化されたデータ(例えば、N+1番目のブロックのデータ)、第2符号化方式に従って符号化されたデータ(例えば、N番目のブロックのデータ)、及びウィンドウタイプ情報を多重化することによって一つ以上のビットストリームを生成する。
【0212】
図16を参照すると、本発明の第3の実施例に係るデコーダ200Cは、第1復号ユニット220―1及び第2復号ユニット220―2を含み、デマルチプレクサ210を更に含むことができる。第1復号ユニット220―1は第1方式復号部222―1を含み、第2復号ユニット220―2は、第2方式復号部226―2及びウィンドウ形状決定部227―2を含む。
【0213】
デマルチプレクサ210は、図1と共に説明した符号化方式情報(例えば、符号化識別情報及び副符号化識別情報)を受信し、これに基づいてデータをブロック別に第1復号ユニット220―1又は第2復号ユニット220―2に伝達する。また、上述したウィンドウタイプ情報を抽出してウィンドウ形状決定部227―2に伝達する。ここで、ウィンドウタイプ情報は、上述した表1に対応する5個のウィンドウタイプのうち一つを指示する情報であり得る。しかし、5個のウィンドウタイプがすべて可能ではなく、上述したように、以前のブロック又は以後のブロックの符号化方式やウィンドウタイプなどで現在のブロックのウィンドウタイプを制限することができる。したがって、ウィンドウタイプ情報は、合計5個のうち一つを指示する情報ではなく、不可能なウィンドウタイプを除いて2個又は3個のタイプのうち一つを指示する情報であり得る。このような遷移制限については、後で第4の実施例と共に追加的に説明する。
【0214】
第1方式復号部222―1は、第1方式符号化部122―1の逆過程を行う構成要素であって、第1符号化方式(例えば、ACELP、TCX)に従ってデータを復号することによって出力信号(例えば、N+1番目のブロックの出力信号)を生成し、第2方式復号部226―2は、第2符号化方式(例えば、MDCT)に従ってデータを復号することによって出力信号(例えば、N番目のブロックの出力信号)を生成する。
【0215】
ウィンドウ形状決定部227―2は、ウィンドウタイプ情報に基づいて現在のブロックのウィンドウタイプを識別し、以前のブロック又は以後のブロックの符号化方式に従って上記ウィンドウタイプのうちウィンドウの形状を決定する。図17と共に詳細に説明したように、現在のウィンドウがロング―スタートウィンドウで、以前のウィンドウがオンリー―ロングウィンドウである場合、以後のウィンドウが第1符号化方式であるか、それとも第2符号化方式であるかによって、急なロング―スタートウィンドウ及び緩やかなロング―スタートウィンドウのうち一つを選択することによってウィンドウの形状を決定する。図18と共に説明した例では、現在のブロックがショートウィンドウである場合、以後のブロックのウィンドウタイプとは関係なく、同一形状のショートウィンドウを決定する。
【0216】
第2方式復号部226―2は、ウィンドウ形状決定部227―2によって決定された形状のウィンドウを現在のブロックに適用する。
【0217】
以下、図19〜図23を参照しながら、本発明の第4の実施例について説明する。第3の実施例では、以後のブロックの符号化方式に従って現在のブロックのウィンドウ形状が決定される一方、第4の実施例では、以前のブロックの符号化方式に従って現在のブロックのウィンドウ形状が決定される。この点だけで差があり、他の点ではすべて第3の実施例と同一であるので、この同一部分についての説明は省略する。
【0218】
図19は、本発明の第4実施例によるエンコーダのブロック図であり、図20は、本発明の第4実施例によるデコーダのブロック図である。
【0219】
図19及び図20を参照すると、第4の実施例に係るエンコーダ100D及びデコーダ200Dは、N番目のブロックが第1符号化方式で符号化され、N+1番目のブロックが第2符号化方式で符号化されるという点で差があるだけで、第3の実施例に係るエンコーダ100C及びデコーダ200Cの各構成要素(図15及び図16に示した)とはほぼ同一であるので、同一の部分は、図15及び図16を参照しながら説明した内容で置き替えることができる。
【0220】
ウィンドウタイプ決定部127―2は、ブロック間のウィンドウの遷移を考慮して、現在のブロックのウィンドウを決定する。具体的に、以前のブロック(N番目のブロック)が第1符号化方式で符号化されたかどうかによって、現在のブロック(N+1番目のブロック)のウィンドウタイプ/及び形状を決定する。具体的に、以前のブロックが第1符号化方式で符号化された場合、表1に示した5個のタイプのうち、オンリー―ロングウィンドウ及びロング―スタートウィンドウを除いた3個のタイプ(ショートウィンドウ、ロング―ストップウィンドウ、ストップ―スタートウィンドウ)のうち一つと決定する。すなわち、第1符号化方式で符号化方式間の遷移に必要な遷移ウィンドウを経ることなく、第2符号化方式内で使用されるショートウィンドウや、ショートウィンドウとロングウィンドウとの間の遷移のために使用される遷移ウィンドウ(ロング―ストップウィンドウ及びストップ―スタートウィンドウ)に直ぐ移動することができる。
【0221】
このようなウィンドウ間の経路を図21に示している。図21を参照すると、行方向は以前のブロックに対応するウィンドウを示し、列方向は現在のブロックに対応するウィンドウを示し、丸印又は星印部分は、可能なウィンドウ遷移経路を示す。例えば、以前のブロックがオンリー―ロングウィンドウである場合、現在のブロックには、オンリー―ロング又はロング―スタートウィンドウだけが可能である。
【0222】
星印を参照すると、以前のブロックが第1符号化方式(例えば、ACELP又はTCX))に対応するブロックである場合、現在のブロックは、上述したように、第2符号化方式に対応するウィンドウのうち、ショートウィンドウ、ロング―ストップウィンドウ、ストップ―スタートウィンドウのうち一つになり得る。すなわち、第1符号化方式から第2符号化方式への遷移のために別途に設けられたウィンドウ(例えば、1152サンプルに対応するウィンドウ)を経る必要がないが、この理由は、上述した第3の実施例と共に説明したように、交点が符号化方式とは関係なく一致するためである。以下では、図22〜図23を参照しながら説明する。
【0223】
図22は、第1符号化方式でロング―ストップウィンドウに遷移される場合を示し、図21の星印(1)(★(1))に対応し、図23は、第1符号化方式でショートウィンドウに遷移される場合を示し、図21の星印(2)(★(2))に対応する。
【0224】
まず、図22を参照すると、図22の(A)は、第1符号化方式のうち長方形符号化方式(例えば、ACELP)に対応するウィンドウとロング―ストップウィンドウとの交差を示し、図22の(B)は、第1符号化方式のうち非長方形符号化方式(例えば、TCX)に該当するウィンドウとロング―ストップウィンドウとの交差を示している。図22の(A)及び(B)の場合、いずれにおいても第1符号化方式に対応するブロックから直ぐロング_ストップウィンドウへの遷移が可能であることが分かる。
【0225】
図22の(A)に長方形ウィンドウを示しているので、上述した第1実施例及び第2実施例と共に説明したように、補償信号を用いて、長方形ウィンドウ及び非長方形ウィンドウの重複による誤差である補正部分(CP)及び折り返し歪み部分(AP)を補償することができる。したがって、50%重複だけで十分になり、ロング_ストップウィンドウの上昇ラインが、上述した図14の(A)で説明したように、緩やかな傾斜(例えば、幅がN/4)を有するようになった。これによって、ウィンドウ間の交点が開始点からN/2の距離だけ離れた場所に位置するので、100%重複が要求される場合とは異なり、1024サンプルに対応するか、又は2N(Nはフレーム)の長さに対応するロング_ストップウィンドウに直ぐ連結することができる。
【0226】
図21の3番目の場合(すなわち、ストップ_スタートウィンドウへの遷移)は、図面に示してはいないが、ロング_ストップウィンドウ及びショートウィンドウの場合と同様に、ストップ_スタートウィンドウは1024サンプルに対応するか、又は2Nの長さを有し、第1符号化方式に対応するウィンドウから直ぐストップ_スタートウィンドウに遷移することができる。
【0227】
一方、図22の(A)の場合、ロング_ストップウィンドウの上昇ラインの傾斜について、第2実施例に加えて説明する。現在のフレームがロング―ストップウィンドウで、以後のフレームがオンリー―ロングウィンドウである場合、以前のフレームが第1符号化方式のウィンドウに対応するかどうかによって、現在のロング―ストップウィンドウの形状を決定することができる。これは、図14と共に説明した通りである。すなわち、図14の(A)の場合のように以前のフレームが第1符号化方式(図14の(A)はA符号化方式(長方形符号化方式))に対応する場合、現在のロング―ストップウィンドウの上昇ラインは第1傾斜を有し、図14の(B)の場合のように以前のフレームが第2符号化方式(C符号化方式(非長方形符号化方式))に対応する場合、現在のロング―ストップウィンドウの上昇ラインは第2傾斜を有する。第1傾斜は第2傾斜より緩やかである。
【0228】
再び第4の実施例を説明すると、図21と関連して説明したように、以前のブロックが第1符号化方式に対応し、現在のブロックが第2符号化方式である場合、ショートウィンドウ、ロング_ストップウィンドウ、ストップ_スタートウィンドウのうち一つを決定する。
【0229】
図19のウィンドウタイプ決定部127―2は、以前のブロック及び以後のブロックの符号化方式及びウィンドウタイプを参照して現在のブロックのウィンドウタイプを決定するが、上記のように説明した経路の制限(例えば、図21に記載した経路)によって決定する。場合に応じては、以前のブロック及び以後のブロックの符号化方式によって現在のブロックのウィンドウの形状も決定する。そして、この決定されたウィンドウタイプを指示するウィンドウタイプ情報をマルチプレクサ130に伝達する。
【0230】
第2方式符号化部126―2は、上記のように決定されたウィンドウタイプ及び形状を用いて現在のブロックを第2符号化方式に従って符号化する。マルチプレクサ130は、以前のブロックのデータ及び現在のブロックのデータ、現在のブロックのウィンドウタイプ情報を多重化し、一つ以上のビットストリームを生成する。
【0231】
図20を参照すると、ウィンドウ形状決定部127―2を除いた他の構成要素は、図16に対応する各構成要素とその機能又は役割が類似するので、それについての具体的な説明は省略する。
【0232】
ウィンドウ形状決定部227―2は、まず、ウィンドウタイプ情報に基づいて、複数のウィンドウのうち現在のブロックに対する特定のウィンドウを決定する。このとき、図21に開示した遷移制限に符合するかどうかを考慮して、複数のウィンドウのうち一つを決定することができる。以下では、この過程についてより具体的に説明する。
【0233】
図21を参照すると、以前のブロックのウィンドウタイプによって、現在のブロックが第2符号化方式に対応するとき、可能なウィンドウタイプは、いずれの場合においても合計3個を超えないので(上から順に2個、3個、3個、2個、3個、3個)、ウィンドウタイプ情報は2ビットで符号化することができる。このようなウィンドウタイプ情報の一例は、次のように示すことができる。
【表3】
【0234】
ウィンドウタイプ情報が1であると、ロング_スタートウィンドウとストップ_スタートウィンドウ、すなわち、二つの場合をすべて指示する。一方、図21に開示した遷移制限によると、以前のブロックが第1符号化方式である場合、現在のブロックにはショートウィンドウ、ロング_ストップウィンドウ、ストップ_スタートウィンドウだけが可能であるので、二つの場合は、制限に違反する一つの場合(すなわち、ロング_スタートウィンドウ)を除いてストップ_スタートウィンドウを現在のブロックのウィンドウと決定する。
【0235】
ウィンドウ形状決定部227―2は、上記のように決定されたウィンドウタイプによって、以前のブロック又は以後のブロックの符号化方式(及びウィンドウタイプ)に基づいて現在のブロックの上昇ライン又は下降ラインの傾斜などのウィンドウの形状を決定する。以上、第4の実施例について説明したので、図24と共に、第1符号化方式と第2符号化方式との間のウィンドウ遷移問題を解決するための他の方法について説明する。
【0236】
図24は、第1符号化方式及び新しい形状のショートウィンドウが重複した場合を示す。上述したように、第1符号化方式のブロック及び第2符号化方式のブロックが隣接している場合、50%重複が可能でなく、10%だけ重複しなければならないので、交点がN/2の点より前方に位置していた。このようなミスマッチを解決するために、第1符号化方式のブロックと第2符号化方式のブロックとの間に1152の長さを有する遷移ブロックが必要であった。具体的に、第1符号化方式のブロック以後に第2符号化方式のうちショートウィンドウに移る必要があるとしても、1152の長さを有するロングウィンドウを経るべきである。したがって、この場合、ショートウィンドウで処理されるべき現在のブロックにはロングウィンドウが適用され、以後のブロックになったときにショートウィンドウが適用される。すなわち、ショートウィンドウで処理されるべき現在のブロックが遷移問題のためにロングウィンドウで処理されるので、音質に歪みが生じるという問題が発生した。
【0237】
このように1152の長さを有するロングウィンドウに加えて、図24のように1152の長さを有するショートウィンドウ(付加的なショート部分を含んで合計9個のショート部分を含む)を使用する場合、上記のような音質歪みが生じるという問題が減少する。しかし、図24に示した1152の長さのショートウィンドウは、上述したように、50%重複による交点の変化、及びこれによる直接遷移(第3の実施例及び第4の実施例)が不可能な場合だけに適用可能なものである。
【0238】
その後、図25及び図26を参照しながら本発明の第5の実施例について説明する。第5の実施例は、現在のブロック(N番目のブロック)が第1符号化方式のうち非長方形符号化方式(例えば、TCX)に対応する場合、以前又は以後のブロック(N−1番目又はN+1番目のブロック)が第2符号化方式のショートウィンドウであるかどうかによって、現在のブロックのウィンドウ形状を決定する。図25を参照すると、第5の実施例に係るエンコーダ100Eは、モード決定部123―1を除いては第3の実施例及び第4の実施例のエンコーダ100C、100Dとほぼ同一であるので、この部分についての説明は省略する。
【0239】
モード決定部123―1は、まず、現在のブロックが第1符号化方式に対応するとき、現在のブロックが長方形符号化方式(例えば、ACELP)であるか、それとも非長方形符号化方式(例えば、TCX)であるかを区分し、非長方形符号化方式である場合、モード1〜モード3のうち一つを決定する。モード1〜モード3は、非長方形符号化方式が適用される長さに対応し得るが、一つのサブフレーム、二つの連続したサブフレーム、4個の連続したサブフレーム(すなわち、一つのフレーム)のうち一つを決定することができる。図28に示したように、その長さを256、512、1024サンプルのうち一つに決定することもできる。
【0240】
このように非長方形符号化方式の場合、モードを決定した後、以前のブロック又は以後のブロックのウィンドウがショートウィンドウであるかどうかによって、現在のブロックのウィンドウの形状を決定する。この過程については、図27及び図28と共に具体的に説明する。
【0241】
図27の(A)は、第1符号化方式(例えば、TCX)に対応するウィンドウとショートウィンドウが重複した場合を示し、図27の(B)は、ショートウィンドウの代わりにロング_ストップウィンドウが重複した場合を示している。特に、図27の(A)及び(B)は、いずれも第1符号化方式のウィンドウのうちモード1(図28の形状1、2を参照)に対応するウィンドウである。詳細に見ると、図27の(A)は図23の(B)と同一であり、図27の(B)は図22の(B)と同一である。
【0242】
図27の(B)のようにロング_ストップウィンドウと重複した場合、第1符号化方式に対応するウィンドウは形状1に対応するが、ロング_ストップウィンドウの上昇ラインの幅(例えば、N/4)と同じ幅の下降ラインを有するようになる。すなわち、形状1の下降ラインの第1傾斜は、次のフレームの非ショートウィンドウ(例えば、ロング_ストップウィンドウ)の上昇ラインの傾斜とマッチングされる。ここで、マッチングされることは、傾斜の絶対値が同一であることを意味し得る。
【0243】
一方、図27の(A)のようにショートウィンドウと重複した場合、第1符号化方式のウィンドウは形状2に対応するが、ショートウィンドウの上昇ラインの幅(例えば、N/5)と同じ幅の下降ラインを有する。すなわち、形状2の下降ラインの第2傾斜は、次のフレームのショートウィンドウの上昇ラインの傾斜とマッチングされる。
【0244】
このように以前又は以後のブロックがショートウィンドウであるかどうかによって下降ライン又は上昇ラインの幅が変わり得るが、この幅を同一にすることによって、図8と共に説明したTDAC条件を満足する。TDAC条件に満足することによって、音質歪みが著しく減少するという効果がある。
【0245】
図28は、形状1〜形状4の中で変化する第1符号化方式のうちの非長方形方式に対応するウィンドウの表である。
【0246】
図28を参照すると、以前のブロック及び/又は以後のブロックがショートウィンドウであるかどうかによって、第1符号化方式のうち非長方形方式のウィンドウの形状が形状1から形状4に変わることが分かる。形状1は、以前のブロック及び以後のブロックがすべてショートウィンドウでない場合、上昇ライン(L)及び下降ライン(R)の幅がすべて256サンプル(N/4)に対応する場合を示す。形状2は、以後のブロックだけがショートウィンドウに対応する場合であるので、下降ライン(R)の幅だけが128に減少し、トップライン(M)及び右側ゼロ区間(ZR)がそれぞれ64ずつ増加することが分かる。形状3は、以前のブロックだけがショートウィンドウに対応する場合であるので、上昇ライン(L)の幅だけが128に減少し、左側ゼロ区間(ZL)及びトップライン(M)の長さが形状1よりそれぞれ64ずつ増加した形状である。形状4は、以前のブロック及び以後のブロックがすべてショートウィンドウに対応する場合であり、上昇ライン(L)及び下降ライン(R)がすべてモードとは関係なく(モード1、2、3)128に対応する。
【0247】
参考までに、第1形状のモード1〜モード3に対応する各ウィンドウは、図10の(A)、(B)、(C)のそれぞれと同一であり得る。
【0248】
また、以前のブロックは、以前のフレームの少なくとも最後のサブフレームに対応し、以後のブロックは、以後のフレームの少なくとも1番目のサブフレームに対応し得る。
【0249】
再び図25を参照すると、モード決定部123―1、すなわち、第1符号化方式(特に非長方形符号化方式)が適用される場合、図28のモード1、2、3のような複数のモードのうち一つを決定する。このモードに対応する情報は、上述した副符号化識別情報と共に符号化することができる。例えば、副符号化識別情報が0である場合、A符号化方式(第1符号化方式であると同時に長方形符号化方式である)を示し、副符号化識別情報が1〜3である場合、B符号化方式(すなわち、第1符号化方式であると同時に非長方形符号化方式である)の上記モード1〜モード3を示すものである。
【0250】
モード決定部123―1は、上記モードが決定されると、以前のブロック及び/又は以後のブロックがショートウィンドウであるかどうかによって、形状1〜形状4のうち、上述したようにウィンドウの形状を決定する。
【0251】
マルチプレクサ130は、副符号化識別情報、現在のブロックのデータ、以前又は以後のブロックのデータを多重化することによって一つ以上のビットストリームを生成する。
【0252】
図26を参照すると、ウィンドウ形状決定部223―2は、副符号化識別情報を用いて現在のブロックが第1符号化方式のうちA符号化方式(長方形符号化方式)で符号化されたか、それともB符号化方式(非長方形符号化方式)で符号化されたかを識別する。さらに、副符号化識別情報を用いて、B符号化方式である場合に上記モード1〜モード3のうち一つのモードを識別する。
【0253】
ウィンドウ形状決定部223―2は、決定されたモードに対して、以前のブロック及び/又は以後のブロックがショートウィンドウであるかどうかを判断し、上記形状1〜形状4のうち一つを識別することによってウィンドウの形状を決定する。
【0254】
残りの構成要素に対する具体的な説明は省略する。
【0255】
以下、図29〜図32を参照しながら、本発明の第6の実施例に係るエンコーダ100F及びデコーダ200Fについて説明する。第6の実施例は、以前のブロックの符号化方式に従って、長期予測値(LTP)を行うかどうかを決定する。
【0256】
図29は、本発明の第6実施例に従うエンコーダのブロック図であり、図30は、本発明の第6実施例に従うデコーダのブロック図である。
【0257】
図29及び図30を参照すると、第6の実施例に係るエンコーダ100F及びデコーダ200Fは、第5の実施例のエンコーダ100E及びデコーダ200Eと類似するが、ロング予測値決定部121―1及びロング予測値制御部221―2が存在するという点で差がある。ロング予測値決定部121―2は、以前のブロックに第1符号化方式(例えば、ACELP又はTCX)が適用されたか、それとも第2符号化方式(例えば、MDCT)が適用されたかによって、現在のブロックに長期予測値を行うかどうかを決定する。これについて、図31及び図32を参照しながら具体的に説明する。
【0258】
図31を参照すると、ブロック(フレーム又はサブフレーム)別符号化方式の各例を示している。図31の(A)〜(B―3)は、いずれも第2符号化方式(例えば、MDCT)が適用されたブロック以後に第1符号化方式(例えば、ACELP)が適用されたブロックが登場する各例である。このように符号化方式の変化が生じる場合(モードスイッチ)、第1符号化方式(例えば、ACELP)での長期予測値の効率が大きく低下するおそれがある。図32は、長期予測値と関連して、信号波形の例を示している。図32の(A)は、信号の特性によって、以前のブロックには第2符号化方式(例えば、MDCT)を適用し、以後のブロックには第1符号化方式のうち長方形符号化方式(例えば、ACELP)を適用する例を示している。図32の(B)は、第1符号化方式に対応するブロックの信号、及び長期予測値(LTP)を行った結果である信号の波形の一例を示している。第2符号化方式以後のブロックに対して、以前のメモリには線形予測が行われた結果であるレジデュアル信号でない原信号が存在するしかない。したがって、長期予測値は、波形の相関性に基づいているので、上記のような場合に長期予測値を適用すると、符号化効率が非常に低下するしかない。図32の(B)を参照すると、長期予測値を行った結果と原信号との間に波形上の大きな差がないことが分かる。したがって、この場合、符号化効率が非常に低下する長期予測値を適用せずに、長期予測値に割り当てられたビットを節約することができる。
【0259】
図31の(B―1)に示したように、第2符号化方式(例えば、MDCT)を適用した後、最初に登場するブロックに対しては無条件に長期予測値(LTP)を適用しないこともある。また、図31の(B―2)に示したように、場合に応じて適応的に長期予測値(LTP)を適用することができる。例えば、長期予測値(LTP)を適用したとき、符号化効率が良い場合だけに長期予測値(LTP)を行う。このように条件的に長期予測値を行う場合、長期予測値(LTP)の遂行可否を指示する長期フラグ(LTP flag)をセットすることができる。また、図31の(B―3)に示したように、1番目に登場するブロック以外のブロック(例えば、2番目〜4番目)にも無条件に長期予測値を行わないか、条件的に長期予測値を行わないこともある。このように条件的に長期予測値を使用しない場合、第2符号化方式に対応するブロックとの境界だけで長期フラグをセットするのではなく、長期予測値の効果が少ない任意のブロックに対して長期フラグをセットすることができる。例えば、第1符号化方式で符号化されるとしても、ピッチが存在しない無声音、黙音、その他の音楽区間で長期予測値を行わないことがある。
【0260】
再び図29を参照すると、ロング予測値決定部121―1は、上述したように、以前のブロックの符号化方式に基づいて長期予測値の遂行可否をブロック単位で決定し、条件的に長期予測値が行われない場合、上記長期フラグをマルチプレクサ130に伝達する。
【0261】
第1方式符号化部122―1は、上記のように第1符号化方式に対応するブロックでありながら、長期予測値(LTP)を行わない場合、長期予測値が行われないことによって節約されるビットだけの新しい情報を生成する。新しい情報の例は、次のように示すことができる。
【0262】
1)励起コードブックに活用することができる。すなわち、既存のコードブックより多いコードブックをデザインしたり、余剰ビットの大きさの専用コードブックを使用することができる。専用コードブックを使用する場合、元のコードブックによる励起と追加コードブックによる励起との組み合わせによって励起信号を生成する。専用コードブックの場合、長期予測値の機能のように、ピッチ成分をよく符号化できる形状のコードブックを使用することが可能である。
【0263】
2)線形予測符号化(LPC)に追加ビットを割り当て、LPC係数の量子化性能を向上させることができる。
【0264】
3)第1実施例及び第2実施例の補償信号(すなわち、第2符号化方式の非長方形ウィンドウと第1符号化方式の長方形ウィンドウとの重複によって発生する補正部分及び折り返し歪み部分を補償するための信号)を符号化するためにビットを割り当てることができる。
【0265】
4)節約されたビットだけ伝送しない。換言すると、オーディオ符号化の場合、フレームだけビット使用量を可変できるので、節約されたビットを他のフレームで活用できるようにする。
【0266】
第1方式符号化部122―1は、長期予測値が行われないブロックに対して上記新しい情報を符号化することによって追加ビットをマルチプレクサ130に伝達する。
【0267】
マルチプレクサ130は、長期フラグ、上記新しい情報に対応する追加ビット、各ブロックに対応するデータを多重化することによって一つ以上のビットストリームを生成する。
【0268】
図30を参照すると、マルチプレクサ210は、条件的に長期予測値が行われない場合、長期フラグを抽出して長期予測値制御部221―2に伝達する。長期予測値制御部221―2は、以前のブロックの符号化方式を考慮して無条件的に長期予測値が行われない場合、以前のブロックが第2符号化方式に対応するかどうかによって長期予測値の遂行可否を決定する。以前のブロックの符号化方式が第2符号化方式に対応するとしても、条件的に長期予測値が行われない場合、上記マルチプレクサ130から伝達された長期フラグ(LTP)に基づいて長期予測値の遂行可否を決定する。
【0269】
そうすると、第1方式復号部222―1は、ロング予測値制御部222―1で決定されたように、長期予測値の対象になるブロックだけに対して長期予測値を行う。また、追加ビットが伝送される場合、その追加ビットに対応する上記新しい情報を抽出し、これに基づいて対応のブロックの復号を行う。
【0270】
以下では、図1及び図2で説明した本発明に係るエンコーダ及びデコーダの応用について説明する。
【0271】
図33及び図34は、本発明に係るエンコーダ及びデコーダが適用されたオーディオ信号符号化装置及び復号装置の一例であるが、これは、本発明に係るエンコーダ100又はデコーダ200を含む。
【0272】
まず、図33を参照すると、オーディオ信号符号化装置300は、本発明に係るエンコーダ100の他に、複数のチャネルエンコーダ310、帯域拡張符号化ユニット320及びマルチプレクサ330を含むことができる。ここで、マルチプレクサ330は、図1で説明したマルチプレクサ130を含む概念であり得る。
【0273】
複数のチャネルエンコーダ310は、複数のチャネル信号(二つ以上のチャネル信号)(以下、マルチチャネル信号)の入力を受け、ダウンミックスを行うことによってモノ又はステレオのダウンミックス信号を生成し、ダウンミックス信号をマルチチャネル信号にアップミックスするために必要な空間情報を生成する。ここで、空間情報は、チャネルレベル差情報、チャネル間相関情報、チャネル予測係数、及びダウンミックス利得情報などを含むことができる。オーディオ信号符号化装置300がモノ信号を受信する場合、複数のチャネルエンコーダ310は、モノ信号に対してダウンミックスを行わずにバイパスすることも可能である。
【0274】
帯域拡張エンコーダ320は、複数のチャネルエンコーダ310の出力であるダウンミックス信号に帯域拡張方式を適用し、低周波帯域に対応するスペクトルデータ、及び高周波帯域拡張のための帯域拡張情報を生成することができる。すなわち、ダウンミックス信号の一部帯域(例えば、高周波帯域)のスペクトルデータが除外され、この除外されたデータを復元するための帯域拡張情報を生成することができる。
【0275】
帯域拡張符号化ユニット320を通して生成された信号は、信号分類部(図示せず)(例えば、図1の信号分類部110)で生成された符号化方式情報によってA符号化ユニット120A〜C符号化ユニット120Bに入力される。
【0276】
A符号化ユニット120A〜C符号化ユニット120Cは、図1と共に説明した通りであるので、重複する同一内容についての説明は省略し、追加的な内容だけについて説明する。
【0277】
A符号化ユニット120Aは、ダウンミックス信号の特定のフレーム又は特定のセグメントが大きな音声特性を有する場合、A符号化方式(すなわち、第1符号化方式のうち長方形符号化方式)に従ってダウンミックス信号を符号化する。ここで、A符号化方式は、適応複数速度広帯域(AMR―WB)標準に従うものであり得るが、本発明がこれに限定されることはない。一方、A符号化ユニット120Aは、線形予測符号化(LPC)方式を更に用いることができる。高調波信号が時間軸上で高い重複性を有する場合、過去の信号から現在の信号を予測する線形予測によってモデル化できるが、この場合、線形予測符号化方式を採択すると、符号化効率を高めることができる。一方、A符号化ユニット120Aは、時間ドメインエンコーダに対応し得る。
【0278】
B符号化ユニット120Bは、ダウンミックス信号の特定のフレーム又は特定のセグメントにオーディオ特性及び音声特性が混在している場合、B符号化方式(第1符号化方式でありながら非長方形符号化方式である)に従ってダウンミックス信号を符号化する。ここで、B符号化方式は、TCXに対応し得るが、本発明がこれに限定されることはない。TCXは、線形予測(LPC)を行うことによって取得された励起信号に対して周波数変換を行う方式であり得る。ここで、周波数変換は、MDCTによって行うことができる。
【0279】
一方、C符号化ユニット120Cは、ダウンミックス信号の特定のフレーム又は特定のセグメントが大きなオーディオ特性を有する場合、C符号化方式(第2符号化方式のうち非長方形符号化方式)によってダウンミックス信号を符号化する。ここで、C符号化方式は、高度音響符号化(AAC)標準又は高能率AAC(HE―AAC)標準に従うものであり得るが、本発明がこれに限定されることはない。一方、C符号化ユニット120Cは、MDCTエンコーダに対応し得る。
【0280】
マルチプレクサ330は、空間情報、帯域拡張情報、A符号化ユニット120A〜C符号化ユニット120Cのそれぞれによって符号化された信号などを多重化することによって、一つ以上のビットストリームを生成する。
【0281】
図34を参照すると、オーディオ信号復号装置400は、デマルチプレクサ410、A復号ユニット220A〜C復号ユニット220C、帯域拡張復号ユニット420及び複数のチャネルデコーダ430を含む。
【0282】
デマルチプレクサ410は、オーディオ信号ビットストリームからA符号化方式〜C符号化方式に従って符号化されたデータ、帯域拡張情報、空間情報などを抽出する。
【0283】
A復号ユニット220A〜C復号ユニット220Cは、上記A符号化ユニット120A〜C符号化ユニット120Cの逆過程が行われる構成要素に対応するので、これについての具体的な説明は省略する。
【0284】
帯域拡張復号ユニット420は、A復号ユニット220A〜C復号ユニット220Cの出力信号に対して帯域拡張復号方式を行うことによって、帯域拡張情報に基づいて高周波帯域の信号を復元する。
【0285】
複数のチャネルデコーダ430は、復号されたオーディオ信号がダウンミックスである場合、空間情報を用いてマルチチャネル信号(ステレオ信号を含む)の出力チャネル信号を生成する。
【0286】
本発明に係るオーディオ信号処理装置は、多様な製品に含ませて用いることができる。このような製品は、大きくスタンドアロン群とポータブル群とに分けられるが、スタンドアロン群は、TV、モニタ、セットトップボックスなどを含むことができ、ポータブル群は、PMP、携帯電話、ナビゲーションなどを含むことができる。
【0287】
図35は、本発明に係るオーディオ信号処理装置が具現された製品の概略的な構成を示す図である。
【0288】
まず、図35を参照すると、有線・無線通信部510は、有線・無線通信方式を通してビットストリームを受信する。具体的に、有線・無線通信部510は、有線通信部510A、赤外線通信部510B、ブルートゥース(登録商標)部510C、無線LAN通信部510Dのうち一つ以上を含むことができる。
【0289】
ユーザ認証部520は、ユーザ情報の入力を受けて、ユーザ認証を行うものであって、指紋認識部520A、虹彩認識部520B、顔認識部520C、及び音声認識部520Dのうち一つ以上を含むことができるが、それぞれ指紋、虹彩情報、顔輪郭情報、音声情報の入力を受けてユーザ情報に変換し、ユーザ情報と既存に登録されているユーザデータとの一致可否を判断することによってユーザ認証を行うことができる。
【0290】
入力部530は、ユーザが多くの種類の命令を入力できるようにする入力装置であって、キーパッド部530A、タッチパッド部530B、リモコン部530Cのうち一つ以上を含むことができるが、本発明がこれに限定されることはない。
【0291】
信号符号化ユニット540は、有線・無線通信部510を介して受信されたオーディオ信号及び/又はビデオ信号に対して符号化又は復号を行い、時間ドメインのオーディオ信号を出力する。また、信号符号化ユニット540は、オーディオ信号処理装置545を含むが、これは、上述した本発明に係るエンコーダ100(第1実施例〜第6の実施例を含む)又はデコーダ200(第1実施例〜第6の実施例を含む)に対応するものであって、このようなオーディオ処理装置545及びこれを含む信号符号化ユニットは一つ以上のプロセッサによって具現することができる。
【0292】
制御部550は、各入力装置から入力信号を受信し、信号復号部540と出力部560のすべてのプロセスを制御する。出力部560は、信号復号部540によって生成された出力信号などが出力される構成要素であって、スピーカ部560A及び表示部560Bを含むことができる。出力信号がオーディオ信号であるとき、出力信号はスピーカに出力され、出力信号がビデオ信号であるとき、出力信号はディスプレイを通して出力される。
【0293】
図36は、本発明に係るオーディオ信号処理装置が具現された各製品の関係図である。
【0294】
図36は、図35に示した製品に対応する端末とサーバとの関係を示したもので、図36の(A)を参照すると、第1端末500.1及び第2端末500.2が有線・無線通信部を介してデータ及びビットストリームを双方向で通信可能であることが分かる。図36の(B)を参照すると、サーバ600及び第1端末500.1も互いに有線・無線通信を行えることが分かる。
【0295】
本発明に係るオーディオ信号処理方法は、コンピュータで実行するためのプログラムに製作され、コンピュータ読み取り可能な記録媒体に記憶することができ、本発明に係るデータ構造を有するマルチメディアデータもコンピュータ読み取り可能な記録媒体に記憶することができる。上記コンピュータ読み取り可能な記録媒体は、コンピュータシステムによって読まれるデータが記憶されるすべての種類の記憶装置を含む。コンピュータ読取り可能な記録媒体の例としては、ROM、RAM、CD―ROM、磁気テープ、フロッピー(登録商標)ディスク、光データ記憶装置などがあり、また、搬送波(例えば、インターネットを介した伝送)の形状で具現されるものも含む。また、上記符号化方法によって生成されたビットストリームは、コンピュータ読み取り可能な記録媒体に記憶したり、有線・無線通信網を用いて伝送したりすることができる。
【産業上の利用可能性】
【0296】
本発明は、オーディオ信号を処理して出力するために適用することができる。
【0297】
以上のように、本発明は、限定された実施例と図面に基づいて説明されたが、これによって限定されるものではなく、本発明の属する技術分野で通常の知識を有する者によって本発明の技術思想及び下記に記載する特許請求の範囲の均等範囲内で多様な修正及び変形が可能であることは当然である。
【特許請求の範囲】
【請求項1】
オーディオ処理装置によって、第1のブロックの第1のデータ及び第2のブロックの第2のデータを含むオーディオ信号を受信するステップと、
前記第2のブロックに対応する補償信号を受信するステップと、
前記第2のデータ、前記補償信号、及び前記第2のブロックのウィンドウに基づいて前記第2のブロックに対する復元された信号を取得するステップと、を含み、
前記第1のデータが長方形符号化方式で符号化され、前記第2のブロックのウィンドウが遷移ウィンドウクラスに属する場合、前記第2のブロックのウィンドウは、第1の傾斜の上昇ラインを有し、
前記第1の傾斜は第2の傾斜より緩やかであることを特徴とするオーディオ信号処理方法。
【請求項2】
前記第1のデータが非長方形符号化方式で符号化され、前記第2のブロックのウィンドウが前記遷移ウィンドウクラスに属する場合、前記第2のブロックのウィンドウは、前記第2の傾斜の上昇ラインを有することを特徴とする、請求項1に記載のオーディオ信号処理方法。
【請求項3】
前記遷移ウィンドウクラスがロング―ストップウィンドウ、ロング―スタートウィンドウ及びスタート―ストップウィンドウを含む場合、前記ロング―ストップウィンドウ及び前記ロング―スタートウィンドウは左右非対称性を有し、左半分でゼロ区間を有することを特徴とする、請求項1に記載のオーディオ信号処理方法。
【請求項4】
前記補償信号は、
前記第1のデータが前記長方形符号化方式で符号化された場合に受信されることを特徴とする、請求項1に記載のオーディオ信号処理方法。
【請求項5】
前記補償信号は、
長方形ウィンドウと非長方形ウィンドウとの間の非対称性と関連した差、及び
前記折り返し歪み部分と折り返し歪み部分の予測値との間の差のうち一つ以上に基づいて生成されたことを特徴とする、請求項1に記載のオーディオ信号処理方法。
【請求項6】
第1のブロックの第1のデータ及び第2のブロックの第2のデータを含むオーディオ信号を受信し、前記第2のブロックに対応する補償信号を受信するデ―マルチプレクサと、
前記第2のデータ、前記補償信号、及び前記第2のブロックのウィンドウに基づいて前記第2のブロックに対する復元された信号を取得する非長方形復号ユニットと、を含み、
前記第1のデータが長方形符号化方式で符号化され、前記第2のブロックのウィンドウが遷移ウィンドウクラスに属する場合、前記第2のブロックのウィンドウは、第1の傾斜の上昇ラインを有し、
前記第1の傾斜は第2の傾斜より緩やかであることを特徴とするオーディオ信号処理装置。
【請求項7】
前記第1のデータが非長方形符号化方式で符号化され、前記第2のブロックのウィンドウが前記遷移ウィンドウクラスに属する場合、前記第2のブロックのウィンドウは、前記第2の傾斜の上昇ラインを有することを特徴とする、請求項6に記載のオーディオ信号処理装置。
【請求項8】
前記遷移ウィンドウクラスがロング―ストップウィンドウ、ロング―スタートウィンドウ及びスタート―ストップウィンドウを含む場合、前記ロング―ストップウィンドウ及び前記ロング―スタートウィンドウは左右非対称性を有し、左半分でゼロ区間を有することを特徴とする、請求項6に記載のオーディオ信号処理装置。
【請求項9】
前記補償信号は、
前記第1のデータが前記長方形符号化方式で符号化された場合に受信されることを特徴とする、請求項6に記載のオーディオ信号処理装置。
【請求項10】
前記補償信号は、
長方形ウィンドウと非長方形ウィンドウとの間の非対称性と関連した差、及び
前記折り返し歪み部分と折り返し歪み部分の予測値との間の差のうち一つ以上に基づいて生成されたことを特徴とする、請求項6に記載のオーディオ信号処理装置。
【請求項1】
オーディオ処理装置によって、第1のブロックの第1のデータ及び第2のブロックの第2のデータを含むオーディオ信号を受信するステップと、
前記第2のブロックに対応する補償信号を受信するステップと、
前記第2のデータ、前記補償信号、及び前記第2のブロックのウィンドウに基づいて前記第2のブロックに対する復元された信号を取得するステップと、を含み、
前記第1のデータが長方形符号化方式で符号化され、前記第2のブロックのウィンドウが遷移ウィンドウクラスに属する場合、前記第2のブロックのウィンドウは、第1の傾斜の上昇ラインを有し、
前記第1の傾斜は第2の傾斜より緩やかであることを特徴とするオーディオ信号処理方法。
【請求項2】
前記第1のデータが非長方形符号化方式で符号化され、前記第2のブロックのウィンドウが前記遷移ウィンドウクラスに属する場合、前記第2のブロックのウィンドウは、前記第2の傾斜の上昇ラインを有することを特徴とする、請求項1に記載のオーディオ信号処理方法。
【請求項3】
前記遷移ウィンドウクラスがロング―ストップウィンドウ、ロング―スタートウィンドウ及びスタート―ストップウィンドウを含む場合、前記ロング―ストップウィンドウ及び前記ロング―スタートウィンドウは左右非対称性を有し、左半分でゼロ区間を有することを特徴とする、請求項1に記載のオーディオ信号処理方法。
【請求項4】
前記補償信号は、
前記第1のデータが前記長方形符号化方式で符号化された場合に受信されることを特徴とする、請求項1に記載のオーディオ信号処理方法。
【請求項5】
前記補償信号は、
長方形ウィンドウと非長方形ウィンドウとの間の非対称性と関連した差、及び
前記折り返し歪み部分と折り返し歪み部分の予測値との間の差のうち一つ以上に基づいて生成されたことを特徴とする、請求項1に記載のオーディオ信号処理方法。
【請求項6】
第1のブロックの第1のデータ及び第2のブロックの第2のデータを含むオーディオ信号を受信し、前記第2のブロックに対応する補償信号を受信するデ―マルチプレクサと、
前記第2のデータ、前記補償信号、及び前記第2のブロックのウィンドウに基づいて前記第2のブロックに対する復元された信号を取得する非長方形復号ユニットと、を含み、
前記第1のデータが長方形符号化方式で符号化され、前記第2のブロックのウィンドウが遷移ウィンドウクラスに属する場合、前記第2のブロックのウィンドウは、第1の傾斜の上昇ラインを有し、
前記第1の傾斜は第2の傾斜より緩やかであることを特徴とするオーディオ信号処理装置。
【請求項7】
前記第1のデータが非長方形符号化方式で符号化され、前記第2のブロックのウィンドウが前記遷移ウィンドウクラスに属する場合、前記第2のブロックのウィンドウは、前記第2の傾斜の上昇ラインを有することを特徴とする、請求項6に記載のオーディオ信号処理装置。
【請求項8】
前記遷移ウィンドウクラスがロング―ストップウィンドウ、ロング―スタートウィンドウ及びスタート―ストップウィンドウを含む場合、前記ロング―ストップウィンドウ及び前記ロング―スタートウィンドウは左右非対称性を有し、左半分でゼロ区間を有することを特徴とする、請求項6に記載のオーディオ信号処理装置。
【請求項9】
前記補償信号は、
前記第1のデータが前記長方形符号化方式で符号化された場合に受信されることを特徴とする、請求項6に記載のオーディオ信号処理装置。
【請求項10】
前記補償信号は、
長方形ウィンドウと非長方形ウィンドウとの間の非対称性と関連した差、及び
前記折り返し歪み部分と折り返し歪み部分の予測値との間の差のうち一つ以上に基づいて生成されたことを特徴とする、請求項6に記載のオーディオ信号処理装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【公表番号】特表2013−500506(P2013−500506A)
【公表日】平成25年1月7日(2013.1.7)
【国際特許分類】
【出願番号】特願2012−522756(P2012−522756)
【出願日】平成22年7月27日(2010.7.27)
【国際出願番号】PCT/KR2010/004921
【国際公開番号】WO2011/013983
【国際公開日】平成23年2月3日(2011.2.3)
【出願人】(502032105)エルジー エレクトロニクス インコーポレイティド (2,269)
【出願人】(506263491)インダストリー−アカデミック コーペレイション ファウンデイション, ヨンセイ ユニバーシティ (18)
【公表日】平成25年1月7日(2013.1.7)
【国際特許分類】
【出願日】平成22年7月27日(2010.7.27)
【国際出願番号】PCT/KR2010/004921
【国際公開番号】WO2011/013983
【国際公開日】平成23年2月3日(2011.2.3)
【出願人】(502032105)エルジー エレクトロニクス インコーポレイティド (2,269)
【出願人】(506263491)インダストリー−アカデミック コーペレイション ファウンデイション, ヨンセイ ユニバーシティ (18)
[ Back to top ]