信号処理方法及び装置
第１信号及び第２信号のうち一つ以上を受信する段階と、モード情報を受信する段階と、該モード情報に基づいて第１コーディング方式及び第２コーディング方式のうち一つ以上を用いて前記第１信号及び第２信号のうち一つ以上をコーディングする段階と、を含み、前記モード情報は、所定のモードが少なくとも３つのモードのうちどのモードに該当するかを表す信号処理方法が開示される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号処理方法及び装置に係り、より詳細には、信号の特性に応じて適切な方式で信号をコーディングまたはデコーディングすることができる信号処理方法及び装置に関するものである。
【背景技術】
【０００２】
一般に、オーディオエンコーダは、４８ｋｂｐｓ以上の高いビット率で高音質のオーディオ信号を提供することができるが、音声エンコーダは、１２ｋｂｐｓ以下の低いビット率で音声信号を效果的にコーディングすることができる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
従来のオーディオエンコーダは、音声信号を処理するには非効率的であり、従来の音声エンコーダは、オーディオ信号を処理するには不充分であるいう問題点があった。
【課題を解決するための手段】
【０００４】
従って、本発明は信号を処理するための装置、及びその方法を対象としており、従来技術の制約、不利点による１つ以上の問題を実質的に取り除く。
【０００５】
本発明の目的は、音声信号、オーディオ信号などのように互いに異なる特性を有する信号を、その特性に応じて最適の方式で処理できる信号処理方法及び装置を提供することにある。
【０００６】
本発明の他の目的は、音声信号の特性とオーディオ信号の特性を同時に有する信号を最適の方式で処理できる信号処理方法及び装置を提供することにある。
【０００７】
本発明のさらに他の目的は、音声信号、オーディオ信号などの様々な信号を全て效率的に処理できる信号処理方法及び装置を提供することにある。
【発明の効果】
【０００８】
本発明は、下記のような効果と利点を提供する。
【０００９】
第一に、音声信号の特性を有する信号は音声コーディング方式でデコーディングし、オーディオ信号の特性を有する信号はオーディオコーディング方式でデコーディングするため、各信号特性に符合するデコーディング方式を適応的に選択することができる。
【００１０】
第二に、音声信号の特性とオーディオ信号の特性を同時に有する信号に対して、特性の比重によって、コーディング方式に対応するビットレートが割り当てられるため、適応的に最適のデコーディング方式を選択することができる。
【００１１】
第三に、各フレーム別にモードが変化するため、デコーディング方式及びデコーディング方式に割り当てられるビットレートが時間的な流れにしたがって適応的に変化する。
【００１２】
第四に、デコーディング方式が自動的に変化するため、最適のビット率を割り当てることができ、コーディング品質を向上させることができる。
【００１３】
本発明の更なる理解を提供するために包含され、並びに本明細書の一部に組み込まれ、及び一部を構成する図面は、本発明の原理を説明するために提供される明細書と共に、本発明の実施例を説明する。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施例による信号エンコーディング装置の構成図である。
【図２】変調周波数分析過程を概略的に説明するための図である。
【図３】変調スペクトログラムに関する図である。
【図４】コーディング方式に関するモードを説明するための図である。
【図５】フレーム間のモード変化を説明するための図である。
【図６】本発明の実施例によるエンコーディング方法のフローチャートである。
【図７】本発明の実施例によるコーディング性能を説明するための図である。
【図８】本発明の実施例による信号デコーディング装置の構成図である。
【図９】本発明の実施例による信号デコーディング方法のフローチャートである。
【発明を実施するための形態】
【００１５】
本発明の更なる特徴、及び利点は下記明細書で説明され、一部分は、明細書から明らかとなり、又は本発明の実施から知ることができる。本発明の目的、及びその他の利点は、明細書、特許請求の範囲、図面において、特に指摘される構成により実現され、達成される。
【００１６】
上記のような目的を達成するための本発明に係る信号処理方法は、第１信号及び第２信号のうち一つ以上を受信する段階；モード情報を受信する段階；及び、前記モード情報によって第１コーディング方式及び第２コーディング方式のうち一つ以上を用いて、前記第１信号及び前記第２信号のうち一つ以上をコーディングする段階を含み、前記モード情報は３つ以上のモードのうちどのモードに該当するかを表す情報である。
【００１７】
本発明によれば、前記モードは、前記第１コーディング方式を用いる第１モード、前記第１コーディング方式及び前記第２コーディング方式の両方を用いる第２モード、及び前記第２コーディング方式を用いる第３モードを含むことができる。
【００１８】
本発明によれば、前記モード情報は、２つ以上のフラグ情報として表現されることができる。
【００１９】
本発明によれば、前記モード情報は、第１コーディング方式及び第２コーディング方式にそれぞれ割り当てられるビットレート情報をさらに含み、複数のフーリエ変換を通じて決定されることができる。
【００２０】
本発明によれば、前記第１コーディング方式はスピーチコーディング方式に該当し、前記第２コーディング方式はオーディオコーディング方式に該当することができる。
【００２１】
本発明によれば、前記第１信号は高調波（harmonic）信号に該当し、前記第２信号は残余（residual）信号に該当し、前記第２信号は、入力信号から前記第１信号を減算した信号から獲得されることができる。
【００２２】
本発明によれば、前記モード情報は、第１フレームに対するモード情報である第１フレームモード、及び第２フレームに対するモード情報である第２フレームモードを含み、前記第１フレームモードが第１モードであり、前記第２フレームモードが第３モードである場合、または、前記第１フレームモードが前記第３モードであり、前記第２フレームモードが前記第１モードである場合、前記第１フレームモード及び前記第２フレームモードのうち一つ以上を第２モードに変換する段階をさらに含むことができる。
【００２３】
本発明のさらに他の側面によれば、第１信号及び第２信号のうち一つ以上を受信し、モード情報を受信する受信部；及び、前記モード情報によって第１コーディング方式及び第２コーディング方式のうち一つ以上を用いて、前記第１信号及び前記第２信号のうち一つ以上をコーディングするコーディング部を含み、前記モード情報は、３つ以上のモードのうちどのモードに該当するかを表す情報である信号処理装置が提供される。
【００２４】
本発明によれば、前記モードは、前記第１コーディング方式を用いる第１モード、前記第１コーディング方式及び前記第２コーディング方式の両方を用いる第２モード、及び前記第２コーディング方式を用いる第３モードを含むことができる。
【００２５】
本発明によれば、前記モード情報は、２つ以上のフラグ情報として表現されることができる。
【００２６】
本発明によれば、前記モード情報は、第１コーディング方式及び第２コーディング方式にそれぞれ割り当てられるビットレート情報をさらに含み、複数のフーリエ変換を通じて決定されることができる。
【００２７】
本発明によれば、前記第１コーディング方式はスピーチコーディング方式に該当し、前記第２コーディング方式はオーディオコーディング方式に該当することができる。
【００２８】
本発明によれば、前記第１信号は高調波信号に該当し、前記第２信号は残余信号に該当し、前記第２信号は、入力信号から前記第１信号を減算した信号から獲得されることができる。
【００２９】
本発明によれば、前記モード情報は、第１フレームに対するモード情報である第１フレームモード、及び第２フレームに対するモード情報である第２フレームモードを含み、前記コーディング部は、前記第１フレームモードが第１モードであり、前記第２フレームモードが第３モードである場合、または、前記第１フレームモードが前記第３モードであり、前記第２フレームモードが前記第１モードである場合、前記第１フレームモード及び前記第２フレームモードのうち一つ以上を第２モードに変換することができる。
【００３０】
本発明のさらに他の側面によれば、入力信号から第１信号を抽出する段階；前記入力信号及び前記第１信号からモード情報を決定する段階；前記入力信号及び前記第１信号に基づいて第２信号を生成する段階；及び、前記モード情報によって第１コーディング方式を用いて前記第１信号をエンコーディングし、第２コーディング方式を用いて前記第２信号をエンコーディングする段階を含む信号処理方法が提供される。
【００３１】
本発明のさらに他の側面によれば、第１モード、第２モード及び第３モードを含むモードのうちどのモードに該当するかを表す情報として、第１フレームモード及び第２フレームモードを含むモード情報を受信する段階を含み、前記第２フレームモードが前記第１モードである場合、前記第１フレームモードが前記第１モード及び前記第２モードのいずれか一方に該当し、前記第２フレームモードが前記第３モードである場合、前記第１フレームモードが前記第３モード及び前記第２モードのいずれか一方に該当する信号処理方法が提供される。
【００３２】
本発明によれば、前記第１モードは、第１コーディング方式を用いるモードに該当し、前記第３モードは、第２コーディング方式を用いるモードに該当し、前記第２モードは、前記第１モード及び前記第３モードを連結するためのモードに該当することができる。
【００３３】
本発明によれば、前記第２モードは、順方向連結モード、及び逆方向連結モードを含むことができる。
【００３４】
本発明によれば、前記第２フレームモードが第１モードである場合、前記第１フレームモードが第１モード及び前記逆方向連結モードのいずれか一方に該当し、前記第２フレームモードが第３モードである場合、前記第１フレームモードが第３モード及び前記順方向連結モードのいずれか一方に該当することができる。
【００３５】
本発明によれば、前記第１コーディング方式はスピーチコーディング方式に該当し、前記第２コーディング方式はオーディオコーディング方式に該当することができる。
【００３６】
本発明によれば、前記第２モードは、前記第１コーディング方式及び前記第２コーディング方式の両方を用いるモードに該当することができる。
【００３７】
本発明によれば、第１信号及び第２信号のうち一つ以上を受信する段階；及び、前記モード情報によって第１コーディング方式及び第２コーディング方式のうち一つ以上を用いて、前記第１信号及び前記第２信号のうち一つ以上をコーディングする段階をさらに含むことができる。
【００３８】
本発明のさらに他の側面によれば、第１モード、第２モード及び第３モードを含むモードのうちどのモードに該当するかを表す情報として、第１フレームモード及び第２フレームモードを含むモード情報を受信する受信部を含み、前記第２フレームモードが前記第１モードである場合、前記第１フレームモードが前記第１モード及び前記第２モードのいずれか一方に該当し、前記第２フレームモードが前記第３モードである場合、前記第１フレームモードが前記第３モード及び前記第２モードのいずれか一方に該当する信号処理装置が提供される。
【００３９】
本発明によれば、前記第１モードは、第１コーディング方式を用いるモードに該当し、前記第３モードは、第２コーディング方式を用いるモードに該当し、前記第２モードは、前記第１モード及び前記第３モードを連結するためのモードに該当することができる。
【００４０】
本発明によれば、前記第２モードは、順方向連結モード及び逆方向連結モードを含むことができる。
【００４１】
本発明によれば、前記第２フレームモードが第１モードである場合、前記第１フレームモードが、第１モード及び前記逆方向連結モードのいずれか一方に該当し、前記第２フレームモードが第３モードである場合、前記第１フレームモードが、第３モード及び前記順方向連結モードのいずれか一方に該当することができる。
【００４２】
本発明によれば、前記第１コーディング方式はスピーチコーディング方式に該当し、前記第２コーディング方式はオーディオコーディング方式に該当することができる。
【００４３】
本発明によれば、前記第２モードは、前記第１コーディング方式及び前記第２コーディング方式の両方を用いるモードに該当することができる。
【００４４】
本発明によれば、前記受信部は、第１信号及び第２信号のうち一つ以上を受信し、前記モード情報によって第１コーディング方式及び第２コーディング方式のうち一つ以上を用いて、前記第１信号及び前記第２信号のうち一つ以上をコーディングするコーディング部をさらに含むことができる。
【００４５】
本発明のさらに他の側面によれば、第１モード、第２モード及び第３モードを含むモードのうちどのモードに該当するかを表す情報として、第１フレームモード及び第２フレームモードを含むモード情報を決定する段階；前記第２フレームモードが前記第１モードである場合、前記第１フレームモードを前記第１モード及び前記第２モードのいずれかに変換する段階；及び、前記第２フレームモードが前記第３モードである場合、前記第１フレームモードを前記第３モード及び前記第２モードのいずれかに変換する段階を含む信号処理方法が提供される。
【００４６】
当然であるが、上記の一般的な記載、及び下記の詳細な説明は、例示的なもの、及び説明のためのものであり、請求項に記載された本発明の更なる説明を与えることを目的とする。
【００４７】
以下、本発明の好適な実施例を詳細に記載し、それらの実例を図面により説明する。
【００４８】
本発明でいうコーディングは、エンコーディング及びデコーディングの両方を含む概念として理解すべきである。
【００４９】
図１は、本発明の実施例による信号エンコーディング装置の構成を示す図である。図１を参照すると、高調波信号分離部１１０、第１エンコーダ１２０、電力比算出部１３０、モード決定部１４０、第１合成部１５０、減算器１６０、第２エンコーダ１７０、伝送部１８０を含む。ここで、第１エンコーダ１１０は音声エンコーダにし、第２エンコーダ１７０はオーディオエンコーダにすることができる。
【００５０】
高調波信号分離部１１０は、入力信号ｘ(ｎ)から高調波信号ｘh(ｎ)(または、周波数高調波信号)を抽出する。この時、ショートタイムフーリエ変換（short-time Fourier Transform（STFT））及び変調周波数分析（Modulation Frequency Analysis）を行うことができるが、この過程についての具体的な説明は、図２及び図３で後述する。
【００５１】
第１エンコーダ１２０は、高調波信号ｘh(ｎ)を第１コーディング方式を通じてエンコーディングし、エンコーディングされた高調波信号を生成する。この時、第１コーディング方式は、音声コーディング方式（speech coding scheme）に該当することができる。この音声コーディング方式は、ＡＭＲ−ＷＢ（Adaptive multi-rate Wide-Band）標準にしたがうものとすることができるが、本発明はこれに限定されない。一方、第１エンコーダ１２０は、線形予測符号化（LPC: Linear Prediction Coding）方式をさらに用いることができる。高調波信号が時間軸上で高い冗長性（redundancy）を有する場合、過去信号から現在信号を予測する線形予測によりモデリングすることができるが、この場合、線形予測符号化方式を採択することによって符号化効率を向上させることができる。一方、第１エンコーダ１２０は、タイムドメインエンコーダに該当することができる。
【００５２】
電力比算出部１３０は、入力信号ｘ(ｎ)及び高調波信号ｘh(ｎ)を用いて電力比を算出する。ここにいう電力比は、入力信号の電力に対する高調波信号の電力の比率であり、下記の数式で定義できる。
【００５３】
【数１】
【００５４】
ここで、ｎは時間インデックス、ｘ(ｎ)は入力信号、ｘh(ｎ)は高調波信号を表す。
【００５５】
モード決定部１４０は、電力比算出部１３０により算出された電力比に基づいて、入力信号ｘ(ｎ)のコーディング方式に関するモード情報を決定する。ここで、モード情報は、３つ以上のモードのうちどのモードに該当するかを表す情報である。ここでいう３つのモードは、第１モード、第２モード、第３モードでありうる。第１モードは第１コーディング方式を用いるモードに該当し、第３モードは第２コーディング方式を用いるモードに該当する。一方、第２モードは、第１コーディング方式及び第２コーディング方式の両方を用いるモードに該当することもでき、第１モード及び第３モードを連結するためのモードに該当することもできる。後者の場合、第２モードは、第１モードを第３モードに連結するための順方向連結モード、第３モードを第１モードに連結するための逆方向連結モードを含む。
【００５６】
一方、上記第１コーディング方式は、上述した通り、第１エンコーダ１１０で行われる方式に該当し、第２コーディング方式は、第２エンコーダ１７０で行われる方式に該当する。そして、第２モードは、第１コーディング方式及び第２コーディング方式のそれぞれに割り当てられるビットレート別に異なるモードを２つ以上含むことができる。これについての具体的な説明は、図４で後述する。
【００５７】
一方、第１合成部１５０は、第１エンコーダ１１０によりエンコーディングされた高調波信号を第１コーディング方式によって再びデコーディングする。そして、減算器１６０は、入力信号ｘ(ｎ)から第１合成部１５０によりデコーディングされた高調波信号ｘh(ｎ)を減算した残余信号ｘr(ｎ)を生成する。この時、残余信号ｘr(ｎ)は、入力信号から高調波信号を減算した信号そのものであっても良いが、減算した信号から獲得した信号であっても良い。
【００５８】
第２エンコーダ１７０は、残余信号ｘr(ｎ)を第２コーディング方式によってエンコーディングし、エンコーディングされた残余信号を生成する。ここでいう第２コーディング方式は、オーディオコーディング方式（audio coding scheme）に該当することができる。このオーディオコーディング方式は、ＨＥ−ＡＡＣ（High Efficiency Advanced Audio Coding）標準に従うものとすることもできるが、本発明はこれに限定されない。ここで、ＨＥ−ＡＡＣは、ＡＡＣ（Advanced Audio Coding）技術とＳＢＲ（Spectral Band Replication）技術とを結合させたものとすることができる。このＳＢＲは、低いビットレートで特に効率的な技術であり、低いまたは中間周波数帯域(mid-frequency)から高調波信号を移調（transposing）することによって高い周波数帯域のコンテンツを複製（replicate）する技術である。一方、第２エンコーダ１７０は、ＭＤＣＴ（Modified Discrete Transform）エンコーダに該当することができる。
【００５９】
一方、第１エンコーダ１２０によりエンコーディングされた信号と第２エンコーダ１７０によりエンコーディングされた信号はデコーダで同時に処理されなければならず、フレーム長（frame length）が同一でなければならない。したがって、第２エンコーダ１７０におけるフレーム長である１０２４サンプルと同一にするために、第１エンコーダ１２０におけるフレーム長を２５６サンプルにし、連続した４個のフレームを一つの単位として処理する。
【００６０】
伝送部１８０は、エンコーディングされた高調波信号ｘh(ｎ)、モード情報、エンコーディングされた残余信号ｘr(ｎ)を用いて伝送するビットストリームを生成する。この時、モード情報は、２つ以上のフラグ情報として表現されることができる。例えば、まず、第１コーディング方式及び第２コーディング方式のいずれか一方が第１フラグ情報として表現され、第１フラグ情報に応じて、第１コーディング方式（または第２コーディング方式）に割り当てられるビットレート情報、技術種類、ウインドタイプなどが第２フラグ情報として表現されることができる。
【００６１】
図２は、変調周波数分析過程を概略的に説明するための図であり、図３は、変調スペクトログラムに関する図である。以下、図２及び図３を参照しつつ、入力信号から高調波信号を抽出する過程について具体的に説明する。
【００６２】
まず、図２を参照すると、サブバンドエンベロープ（envelope）検出及びサブバンドエンベロープの周波数検出後のフィルタバンクは、変調周波数分析の構造に該当する。ショートタイムフーリエ変換（ＳＴＦＴ）を用いてフィルタバンクが具現される。離散信号ｘ(ｎ)に対して、ショートタイムフーリエ変換は下記の数式２で表現されることができ、エンベロープ検出及び変調周波数分析は下記の数式３で表現されることができる。
【００６３】
【数２】
【００６４】
ここで、Wk = e-j(2π/K)であり、ｈ(ｎ)はアコースティック（acoustic）周波数分析ウインド、ｍはタイムスロットインデックス、Ｍはウインドｈ(ｎ)のサイズ、ｎは時間インデックス、ｋはアコースティック周波数インデックスを表す。
【００６５】
【数３】
【００６６】
ここで、WI = e-j(2π/I)であり、ｇ(ｎ)は変調周波数分析ウインド、ｌはフレームインデックス、ｍはタイムスロットインデックス、Ｌはウインドｇ(ｎ)のサイズ、ｋはアコースティック周波数インデックス、ｉは変調周波数インデックスを表す。
【００６７】
図２（Ａ）を参照すると、時間領域の信号にアコースティック周波数分析ウインドｈ(ｍＭ−ｎ)がそれぞれ適用されることによって周波数変換が行われることがわかる。このように１次的に周波数変換が行われた結果は、図２（Ｂ）に示すように、タイムスロット（ｍ）軸及びアコースティック周波数（ｋ）軸に対応するデータとなる。図２（Ｂ）に示される結果に再び変調周波数分析ウインドｇ(ｌＬ−ｍ)を適用することによって、再び変調周波数分析を行うと、図２（Ｃ）に示すように、変調周波数（ｉ）軸及びアコースティック周波数（ｋ）軸に対応するデータＸｌ(ｋ,ｉ)が生成される。
【００６８】
図３を参照すると、（ａ）〜（ｃ）は変調スペクトログラムであり、（ａ）は音声信号、（Ｂ）は音声と音楽とがミックスされた信号、（ｃ）は音楽信号に対するものである。図３（ａ）〜（ｃ）を参照すると、横軸は変調周波数を表し、縦軸はアコースティック周波数を表し、濃淡でエネルギーの強度を表している。一方、図３（ｄ）〜（ｆ）で、横軸は同様に変調周波数を表し、縦軸はアコースティック周波数全体に対するエネルギー和である。高レベルはピッチ（pitch）領域で現れる。図３に示すピーク探索領域（peak searching range）でのピーク点(peak point)は、凸包アルゴリズム（convex hull algorithm）に基づいて計算することができる。獲得されたピーク点にマージン（margin）を許容することによって、高調波成分のピッチ領域を算出することができる。一方、変調周波数インデックスのセットは、下記のように定義できる。
【００６９】
【数４】
【００７０】
ここで、ｆsがサンプリング周波数である時、ｉはピッチ領域Ｐにおける変調周波数インデックスのセットである。
【００７１】
高調波信号のピッチ領域に該当する変調周波数エネルギーは、下記の数式５で表すことができる。
【００７２】
【数５】
【００７３】
下記の数式６のように、非高調波（non-harmonic）信号の範囲は、ピッチ領域の外側領域であると見なされる。
【００７４】
【数６】
【００７５】
各フレームｌ、すなわち、タイムインスタンスｎ＝ｌ(ＬＭ)において、周波数抑圧関数Ｆlは、下記の数式のように高調波領域と残余領域間の比で決定されることができる。
【００７６】
【数７】
ここで、ｋはアコースティック周波数インデックス、ｌはフレームインデックスを表す。
【００７７】
数式７で、Ｅl()は数式５で定義されたとおりであり、Ｅｒ()は、数式６で定義されたとおりである。
【００７８】
上記の数式７から獲得された値は、入力信号の非高調波成分を抑圧するために、上記数式２での各アコースティック周波数の絶対値（大きさ）に乗じる。
【００７９】
図４は、コーディング方式に関するモードを説明するための図である。図１で説明した通り、モード決定部は、数式１で算出した電力比に基づいて、入力信号のコーディング方式に関するモード情報を決定する。例えば、第１コーディング方式がＡＭＲ−ＷＢ標準に従うことができる。ＡＭＲ−ＷＢは、サンプリングレートが１６ｋＨｚであり、最大値２３．８５ｋｂｉｔ／ｓを含めて総９種のモードで構成される。すなわち、６．６、８．８５、１２．６５、１４．２５、１５．８５、１８．２５、１９．８５、２３．０５、及び２３．８５ｋｂｉｔ／ｓのモードが存在する。
【００８０】
一方、第２コーディング方式はＨＥ−ＡＡＣ標準に従うことができる。ＨＥ−ＡＡＣは、サンプリングレートが１６ｋＨｚである場合、ビットレートは２０ｋｂｉｔ／ｓ以下のレートを用いる。
【００８１】
したがって、本発明では、第１コーディング方式及び第２コーディング方式のいずれか一方を用いたり両方を用いるために、例えば１６ｋＨｚサンプリングレートの信号である場合、総ビットレートは１９．８５ｋｂｉｔ／ｓでありうる。総ビットレートが１９．８５ｋｂｉｔ／ｓである場合、上記９種のモードのうち、６．６及び８．８５の２種類のモードが用いられることができる。ＡＭＢ−ＷＢを作動させるモードが決定されると、総ビットレートからＡＭＢ−ＷＢに対応するビットレートを除く残りビットレートがＨＥ−ＡＡＣに割り当てられることができる。
【００８２】
図４を参照すると、まず、モードＡは、電力比ＰＯＷratioが１に近い時、モードＢ及びモードＣは一定値（ＴｈｒA、ＴｈｒB、ＴｈｒC）の間に存在する時、モードＤは０に近い時に該当することがわかる。
【００８３】
まず、モードＡは、第１コーディング方式（例：音声コーディング方式）のみを用い、モードＤは、第２コーディング方式（例：オーディオコーディング方式）のみを用い、モードＢ及びモードＣは両方式を用いることがわかる。モードＡは、電力比が特定臨界値ＴｈｒA及び１の間に存在する場合であり、入力信号の大部分が高調波信号（または周波数高調波信号）で構成されているため、ビットレートの全部が音声コーディング方式に割り当てられ、モードＤは、電力比が０及び特定臨界値ＴｈｒCの間に存在する場合であり、入力信号の大部分が非高調波信号で構成されているため、ビットレートの全部がオーディオコーディング方式に割り当てられる。一方、モードＢの場合は、入力信号のうち高調波信号の比重が相対的に高いため、音声コーディング方式に相対的に高いビットレート（例：８．８５ｋｂｉｔ／ｓ）を割り当て、その残り（１１．０ｂｉｔ／ｓ）をオーディオコーディング方式に割り当てる。モードＣの場合は、入力信号のうち非高調波信号の比重が高いため、音声コーディング方式に比較的少ないビットレート（例：６．６０ｋｂｉｔ／ｓ）を割り当て、残りビットレート（例：１３．２５ｋｂｉｔ／ｓ）をオーディオコーディング方式に割り当てる。
【００８４】
本発明において、これらのモードは特定値のビットレートに限定されない。また、２つ以上のコーディング方式を用いる第２モードとして、２つのモード（モードＢ及びモードＣ）を例にして説明したが、第２モードには３つ以上のモードが存在することもできる。
【００８５】
図５は、フレーム間のモード変化を説明するための図である。一方、２つ以上連続したフレームが存在する時、入力信号の特性によって、２フレームの知覚的不連続（perceivable discontinuity）が発生することがある。具体的に、モードＡからモードＤ変化する時は、第２コーディング方式でのみデコーディングされたフレームから第１コーディング方式でのみデコーディングされたフレームに変化することであるため、知覚的な不連続が生じうる。したがって、モードＡからモードＤへの変化またはモードＤからモードＡへの変化を許容しない場合がある。図５を参照すると、モードＡ及びモードＢ間、モードＢ及びモードＣ間、モードＣ及びモードＤ間、モードＢ及びモードＤ間の相互切換は許容するが、モードＡ及びモードＤ間の切換は許容しない。言い換えると、第１モード（モードＡ）及び第２モード（モードＢ及びモードＣ）、第２モード及び第３モード（モードＤ）間の相互切換は可能であるが、第１モード及び第３モード間の切換は制限されうる。
【００８６】
もし、図１で説明したモード決定部１４０が連続したフレームのモードを決定するにあたり、上記のように制限されたモード変化が感知される場合、強制的にモードを切り換えることができる。具体的に、第１フレームモードが第１モードであり、第２フレームモードが第３モードである場合、第１フレームモードが第３モードであり、第２フレームモードが第１モードである場合、第１フレームモードを第２モードに切り換えたり、第２フレームモードを第２モードに切り換える。もちろん、第１フレームモード、第２フレームモード両方を第２モードに切り換えることもできる。言い換えると、第２フレームモードが第１モードである場合、第１フレームモードを第１モードまたは第２モード（特に、逆方向連結モード）にし、第２フレームモードが第３モードである場合、第１フレームモードを第３モードまたは第２モード（特に、順方向連結モード）にする。
【００８７】
図６は、本発明の実施例によるエンコーディング方法を示すフローチャートである。
【００８８】
図６を参照すると、まず、入力信号から高調波信号を分離する（Ｓ１１０段階）。そして入力信号に対する高調波信号の電力比を算出する（Ｓ１２０段階）。この電力比に基づいてコーディング方式に関する情報であるモード情報を決定する（Ｓ１３０段階）。上述の通り、モード情報は、３つ以上のモードのうちどのモードに該当するかを表す情報であり、この３つのモードは、第１コーディング方式のみを用いる第１モード、第２コーディング方式のみを用いる第３モードを含む。また、第２モードも含まれるが、これは、第１コーディング方式及び第２コーディング方式を用いるモードに該当することもでき、第１モード及び第３モードを連結するためのモードに該当することもできる。後者の場合、第２モードは順方向連結モード及び逆方向連結モードを含む。
【００８９】
モード情報に基づいて高調波信号を第１コーディング方式でエンコーディングする（Ｓ１４０段階）。そして、入力信号と高調波信号を用いて残余信号を生成する（Ｓ１５０段階）。ここで、高調波信号は、第１コーディング方式でエンコーディングした後、再び第１コーディング方式でデコーディングされた信号でありうる。その後、残余信号を第２コーディング方式でエンコーディングする（Ｓ１６０段階）。そして、エンコーディングされた高調波信号、エンコーディングされた残余信号、モード情報を用いてビットストリームを生成する（Ｓ１７０段階）。
【００９０】
図７は、本発明の実施例によるコーディング性能を説明するための図である。
【００９１】
図７を参照すると、下端に列挙した総７個のサンプル信号を様々なコーディング方式によってコーディングした場合における品質がわかる。性能評価のためのテスト条件は、サンプリングレートが１６ｋＨｚであり、数式２及び数式３でＭ＝１６、Ｋ＝５１２、Ｌ＝３２、及びＩ＝５１２である。一方、ｈ(ｎ)は、４８ポイントハニング（Hanning）ウインドであり、ｇ(ｎ)は、６４ポイントハニングウインドである。ピッチ探索領域は、ＡＭＲ−ＷＢコーダのピッチ探索間隔を考慮して７０Ｈｚ〜４８５Ｈｚとする。ピッチ領域を探索するためのマージンは２０Ｈｚであり、上記の図４における臨界値ＴｈｒA＝０．５、ＴｈｒB＝０．４、及びＴｈｒC＝０．５である。
【００９２】
具体的に、本発明による方式（ｂ）、オーディオコーディング方式（ｃ）、音声コーディング方式（ｄ）のそれぞれでコーディングした時の品質を、オリジナル（ａ）の品質と比較することができる。音声と音楽信号が順次にミックスされた信号（サンプル１、及びサンプル２）及び同時にミックスされた信号（サンプル４、及びサンプル６）において、特に本発明による方式（ｂ）が相対的に他の方式に比べて良い品質を示している。一方、サンプル７の場合は、純粋な音楽信号であるにもかかわらず、オーディオコーディング方式（三角印参照）を用いる場合に比べて本発明による方式がより良い品質を示している。
【００９３】
図８は、本発明の実施例による信号デコーディング装置の構成を示す図であり、図９は、本発明の実施例による信号デコーディング方法を示すフローチャートである。図８を参照すると、本発明の実施例による信号デコーディング装置２００は、受信部２１０、モード切換部２２０、第１デコーダ２３０、第２デコーダ２４０、合成部２５０を含む。
【００９４】
受信部２１０は、ビットストリームを受信し、ビットストリームからエンコーディングされた高調波信号ｘh(ｎ)及びエンコーディングされた残余信号ｘr(ｎ)のうち一つ以上、及びモード情報を抽出する。ここで、モード情報は、上述の通り、３つ以上のモードのうちのどのモードなのかを表す情報である。このモードは、図４に示すように、第１コーディング方式を用いる第１モード、及び第２コーディング方式を用いる第３モードを含む。また、第２モードも含むが、この第２モードは、第１コーディング方式及び第２コーディング方式を用いるモードに該当することもでき、第１モード及び第３モードを連結するためのモードに該当することもできる。後者の場合、第２モードは、順方向連結モード及び逆方向連結モードを含む。一方、モード情報は、図４に示すように、各デコーダのビットレート情報をさらに含むことができる。
【００９５】
一方、ビットストリームに含まれたモード情報は、第１フレームモード及び第２フレームモードを含むことができる。もし、第２フレームモードが第１モードである場合、第１フレームモードは第１モードまたは第２モード（特に、逆方向連結モード）に該当し、第２フレームモードが第３モードである場合、第１フレームモードは第３モードまたは第２モード（特に、順方向連結モード）に該当する。
【００９６】
モード切換部２２０は、２つ以上のフレームのモード情報に対して、制限されたモード変化が感知される場合、強制的に受信されたモードを切り換える。例えば、第１フレームモード及び第２フレームモードが存在する時、第１フレームモードが第１モードであり、第２フレームモードが第３モードである場合、第１フレームモードが第３モードであり、第２フレームモードが第１モードである場合、第１フレームモード及び第２フレームモードのうち一つ以上を第２モードに切り換える。このように変換されたモード情報は、第１デコーダ２３０及び第２デコーダ２４０に伝達される。もし、モード切換部２２０は制限されたモード変化が感知されない場合、受信したモード情報をそのまま第１デコーダ２３０及び／または第２デコーダ２４０に伝達する。
【００９７】
受信したモード情報または変換されたモード情報が第１モード乃至第３モードのうちどのモードかによって、高調波信号及び残余信号のうち一つ以上が第１デコーダ２３０及び／または第２デコーダ２４０でデコーディングされる。具体的に、第１モードである場合、高調波信号が第１デコーダ２３０でデコーディングされる。第２モードである場合、高調波信号が第１デコーダ２３０でデコーディングされ、残余信号は第２デコーダ２４０でデコーディングされる。第３モードである場合、残余信号が第２デコーダ２４０でデコーディングされる。
【００９８】
第１デコーダ２３０は、モード情報に基づいて第１コーディング方式で高調波信号をデコーディングするものであり、ここで、第１コーディング方式は音声コーディング方式に該当することができる。音声コーディング方式は、ＡＭＲ−ＷＢ標準に従うものとすることもできるが、本発明はこれに限定されない。また、第１デコーダ２３０は、タイムドメインデコーダに該当することができる。
【００９９】
第２デコーダ２４０は、モード情報に基づいて第２コーディング方式で残余信号をデコーディングするが、ここで、第２コーディング方式はオーディオコーディング方式に該当することができる。オーディオコーディング方式は、ＨＥ−ＡＡＣ標準に従うものとすることもできるが、本発明はこれに限定されない。第１デコーダ２３０は、高調波信号が線形予測符号化（ＬＰＣ）方式で符号化された場合、線形予測係数から線形予測を行って高調波信号をデコーディングする。また、第２デコーダ２４０はＭＤＣＴ（Modified Discrete Transform）デコーダにすることができる。
【０１００】
合成部２５０は、第１デコーダ２３０及び第２デコーダ２４０でデコーディングされた信号を合成して出力信号を生成する。この時、デコーディングされた高調波信号及びデコーディングされた残余信号は同時に処理されなければならず、よって、フレーム長を同一にしなければならない。したがって、高調波信号のフレーム長が２５６サンプルであり、残余信号のフレーム長が１０２４サンプルである場合、高調波信号の４つのフレームを一つの単位として処理する。
【０１０１】
図９を参照すると、デコーディング装置は、エンコーダで生成されたビットストリームを受信する（Ｓ２１０段階）。ビットストリームから高調波信号及び残余信号のうち一つ以上、及びモード情報が抽出される（Ｓ２２０段階）。現在フレームに該当するモード情報が第１モードである場合（Ｓ２３０段階の「yes」）、まず、以前フレームのモードが第３モードなのか否か判断し、以前フレームのモード及び現在フレームのモードのいずれか一方を訂正する（Ｓ２４０段階）。例えば、以前フレームのモードが第３モードである場合、以前フレームのモードを第３モードから第２モードに切り換えたり、現在フレームのモードを第１モードから第２モードに切り換えることができる。その後、第１コーディング方式で高調波信号をデコーディングする（Ｓ２４５段階）。
【０１０２】
もし、現在フレームに該当するモード情報が第２モードである場合（Ｓ２５０段階の「yes」）、第１コーディング方式で高調波信号をデコーディングし、第２コーディング方式で残余信号をデコーディングする（Ｓ２６０段階）。その後、デコーディングされた高調波信号及びデコーディングされた残余信号を合成して出力信号を生成する（Ｓ２７０段階）。もし、モード情報が各コーディング方式に割り当てられたビットレート情報をさらに含む場合、ビットレート情報に基づいて各信号をデコーディングする。例えば、６．６０ｋｂｐｓで高調波信号をデコーディングし、１３．２５ｋｂｐｓで残余信号をデコーディングすることができる。
【０１０３】
一方、現在フレームに該当するモード情報が第３モードである場合（Ｓ２８０段階の「yes」）、以前フレームのモードが第１モードであることを条件としてモード情報を訂正する（Ｓ２９０段階）。例えば、以前フレームのモードが第１モードであり、現在フレームのモードが第３モードである場合、以前フレームのモードを第１モードから第２モードに切り換えたり、現在フレームのモードを第３モードから第２モードに強制に切り換えることができる。その後、第２コーディング方式で残余信号をデコーディングする（Ｓ２９５段階）。
【０１０４】
本発明はさらに、コンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードとして具現することも可能である。コンピュータ読み取り可能な記録媒体は、コンピュータシステムで読み込み可能なデータを記憶できるあらゆる記録装置を含むことができる。コンピュータ読み取り可能な記録媒体の例には、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ記憶装置などがあり、また、キャリアウェーブ（例えば、インターネットを通じた伝送）の形態で具現されるものも含む。
【０１０５】
以上では具体的な実施例及び図面に挙げて本発明を説明してきたが、本発明はそれら具体的な実施例に限定されず、本発明の属する技術分野における通常の知識を有する者にとっては、本発明の技術思想と添付の特許請求の範囲とその均等範囲内で様々な修正及び変形が可能であることが明らかである。
【産業上の利用可能性】
【０１０６】
本発明は、オーディオ信号またはビデオ信号をエンコーディング及びデコーディングするのに適用することができる。
【技術分野】
【０００１】
本発明は、信号処理方法及び装置に係り、より詳細には、信号の特性に応じて適切な方式で信号をコーディングまたはデコーディングすることができる信号処理方法及び装置に関するものである。
【背景技術】
【０００２】
一般に、オーディオエンコーダは、４８ｋｂｐｓ以上の高いビット率で高音質のオーディオ信号を提供することができるが、音声エンコーダは、１２ｋｂｐｓ以下の低いビット率で音声信号を效果的にコーディングすることができる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
従来のオーディオエンコーダは、音声信号を処理するには非効率的であり、従来の音声エンコーダは、オーディオ信号を処理するには不充分であるいう問題点があった。
【課題を解決するための手段】
【０００４】
従って、本発明は信号を処理するための装置、及びその方法を対象としており、従来技術の制約、不利点による１つ以上の問題を実質的に取り除く。
【０００５】
本発明の目的は、音声信号、オーディオ信号などのように互いに異なる特性を有する信号を、その特性に応じて最適の方式で処理できる信号処理方法及び装置を提供することにある。
【０００６】
本発明の他の目的は、音声信号の特性とオーディオ信号の特性を同時に有する信号を最適の方式で処理できる信号処理方法及び装置を提供することにある。
【０００７】
本発明のさらに他の目的は、音声信号、オーディオ信号などの様々な信号を全て效率的に処理できる信号処理方法及び装置を提供することにある。
【発明の効果】
【０００８】
本発明は、下記のような効果と利点を提供する。
【０００９】
第一に、音声信号の特性を有する信号は音声コーディング方式でデコーディングし、オーディオ信号の特性を有する信号はオーディオコーディング方式でデコーディングするため、各信号特性に符合するデコーディング方式を適応的に選択することができる。
【００１０】
第二に、音声信号の特性とオーディオ信号の特性を同時に有する信号に対して、特性の比重によって、コーディング方式に対応するビットレートが割り当てられるため、適応的に最適のデコーディング方式を選択することができる。
【００１１】
第三に、各フレーム別にモードが変化するため、デコーディング方式及びデコーディング方式に割り当てられるビットレートが時間的な流れにしたがって適応的に変化する。
【００１２】
第四に、デコーディング方式が自動的に変化するため、最適のビット率を割り当てることができ、コーディング品質を向上させることができる。
【００１３】
本発明の更なる理解を提供するために包含され、並びに本明細書の一部に組み込まれ、及び一部を構成する図面は、本発明の原理を説明するために提供される明細書と共に、本発明の実施例を説明する。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施例による信号エンコーディング装置の構成図である。
【図２】変調周波数分析過程を概略的に説明するための図である。
【図３】変調スペクトログラムに関する図である。
【図４】コーディング方式に関するモードを説明するための図である。
【図５】フレーム間のモード変化を説明するための図である。
【図６】本発明の実施例によるエンコーディング方法のフローチャートである。
【図７】本発明の実施例によるコーディング性能を説明するための図である。
【図８】本発明の実施例による信号デコーディング装置の構成図である。
【図９】本発明の実施例による信号デコーディング方法のフローチャートである。
【発明を実施するための形態】
【００１５】
本発明の更なる特徴、及び利点は下記明細書で説明され、一部分は、明細書から明らかとなり、又は本発明の実施から知ることができる。本発明の目的、及びその他の利点は、明細書、特許請求の範囲、図面において、特に指摘される構成により実現され、達成される。
【００１６】
上記のような目的を達成するための本発明に係る信号処理方法は、第１信号及び第２信号のうち一つ以上を受信する段階；モード情報を受信する段階；及び、前記モード情報によって第１コーディング方式及び第２コーディング方式のうち一つ以上を用いて、前記第１信号及び前記第２信号のうち一つ以上をコーディングする段階を含み、前記モード情報は３つ以上のモードのうちどのモードに該当するかを表す情報である。
【００１７】
本発明によれば、前記モードは、前記第１コーディング方式を用いる第１モード、前記第１コーディング方式及び前記第２コーディング方式の両方を用いる第２モード、及び前記第２コーディング方式を用いる第３モードを含むことができる。
【００１８】
本発明によれば、前記モード情報は、２つ以上のフラグ情報として表現されることができる。
【００１９】
本発明によれば、前記モード情報は、第１コーディング方式及び第２コーディング方式にそれぞれ割り当てられるビットレート情報をさらに含み、複数のフーリエ変換を通じて決定されることができる。
【００２０】
本発明によれば、前記第１コーディング方式はスピーチコーディング方式に該当し、前記第２コーディング方式はオーディオコーディング方式に該当することができる。
【００２１】
本発明によれば、前記第１信号は高調波（harmonic）信号に該当し、前記第２信号は残余（residual）信号に該当し、前記第２信号は、入力信号から前記第１信号を減算した信号から獲得されることができる。
【００２２】
本発明によれば、前記モード情報は、第１フレームに対するモード情報である第１フレームモード、及び第２フレームに対するモード情報である第２フレームモードを含み、前記第１フレームモードが第１モードであり、前記第２フレームモードが第３モードである場合、または、前記第１フレームモードが前記第３モードであり、前記第２フレームモードが前記第１モードである場合、前記第１フレームモード及び前記第２フレームモードのうち一つ以上を第２モードに変換する段階をさらに含むことができる。
【００２３】
本発明のさらに他の側面によれば、第１信号及び第２信号のうち一つ以上を受信し、モード情報を受信する受信部；及び、前記モード情報によって第１コーディング方式及び第２コーディング方式のうち一つ以上を用いて、前記第１信号及び前記第２信号のうち一つ以上をコーディングするコーディング部を含み、前記モード情報は、３つ以上のモードのうちどのモードに該当するかを表す情報である信号処理装置が提供される。
【００２４】
本発明によれば、前記モードは、前記第１コーディング方式を用いる第１モード、前記第１コーディング方式及び前記第２コーディング方式の両方を用いる第２モード、及び前記第２コーディング方式を用いる第３モードを含むことができる。
【００２５】
本発明によれば、前記モード情報は、２つ以上のフラグ情報として表現されることができる。
【００２６】
本発明によれば、前記モード情報は、第１コーディング方式及び第２コーディング方式にそれぞれ割り当てられるビットレート情報をさらに含み、複数のフーリエ変換を通じて決定されることができる。
【００２７】
本発明によれば、前記第１コーディング方式はスピーチコーディング方式に該当し、前記第２コーディング方式はオーディオコーディング方式に該当することができる。
【００２８】
本発明によれば、前記第１信号は高調波信号に該当し、前記第２信号は残余信号に該当し、前記第２信号は、入力信号から前記第１信号を減算した信号から獲得されることができる。
【００２９】
本発明によれば、前記モード情報は、第１フレームに対するモード情報である第１フレームモード、及び第２フレームに対するモード情報である第２フレームモードを含み、前記コーディング部は、前記第１フレームモードが第１モードであり、前記第２フレームモードが第３モードである場合、または、前記第１フレームモードが前記第３モードであり、前記第２フレームモードが前記第１モードである場合、前記第１フレームモード及び前記第２フレームモードのうち一つ以上を第２モードに変換することができる。
【００３０】
本発明のさらに他の側面によれば、入力信号から第１信号を抽出する段階；前記入力信号及び前記第１信号からモード情報を決定する段階；前記入力信号及び前記第１信号に基づいて第２信号を生成する段階；及び、前記モード情報によって第１コーディング方式を用いて前記第１信号をエンコーディングし、第２コーディング方式を用いて前記第２信号をエンコーディングする段階を含む信号処理方法が提供される。
【００３１】
本発明のさらに他の側面によれば、第１モード、第２モード及び第３モードを含むモードのうちどのモードに該当するかを表す情報として、第１フレームモード及び第２フレームモードを含むモード情報を受信する段階を含み、前記第２フレームモードが前記第１モードである場合、前記第１フレームモードが前記第１モード及び前記第２モードのいずれか一方に該当し、前記第２フレームモードが前記第３モードである場合、前記第１フレームモードが前記第３モード及び前記第２モードのいずれか一方に該当する信号処理方法が提供される。
【００３２】
本発明によれば、前記第１モードは、第１コーディング方式を用いるモードに該当し、前記第３モードは、第２コーディング方式を用いるモードに該当し、前記第２モードは、前記第１モード及び前記第３モードを連結するためのモードに該当することができる。
【００３３】
本発明によれば、前記第２モードは、順方向連結モード、及び逆方向連結モードを含むことができる。
【００３４】
本発明によれば、前記第２フレームモードが第１モードである場合、前記第１フレームモードが第１モード及び前記逆方向連結モードのいずれか一方に該当し、前記第２フレームモードが第３モードである場合、前記第１フレームモードが第３モード及び前記順方向連結モードのいずれか一方に該当することができる。
【００３５】
本発明によれば、前記第１コーディング方式はスピーチコーディング方式に該当し、前記第２コーディング方式はオーディオコーディング方式に該当することができる。
【００３６】
本発明によれば、前記第２モードは、前記第１コーディング方式及び前記第２コーディング方式の両方を用いるモードに該当することができる。
【００３７】
本発明によれば、第１信号及び第２信号のうち一つ以上を受信する段階；及び、前記モード情報によって第１コーディング方式及び第２コーディング方式のうち一つ以上を用いて、前記第１信号及び前記第２信号のうち一つ以上をコーディングする段階をさらに含むことができる。
【００３８】
本発明のさらに他の側面によれば、第１モード、第２モード及び第３モードを含むモードのうちどのモードに該当するかを表す情報として、第１フレームモード及び第２フレームモードを含むモード情報を受信する受信部を含み、前記第２フレームモードが前記第１モードである場合、前記第１フレームモードが前記第１モード及び前記第２モードのいずれか一方に該当し、前記第２フレームモードが前記第３モードである場合、前記第１フレームモードが前記第３モード及び前記第２モードのいずれか一方に該当する信号処理装置が提供される。
【００３９】
本発明によれば、前記第１モードは、第１コーディング方式を用いるモードに該当し、前記第３モードは、第２コーディング方式を用いるモードに該当し、前記第２モードは、前記第１モード及び前記第３モードを連結するためのモードに該当することができる。
【００４０】
本発明によれば、前記第２モードは、順方向連結モード及び逆方向連結モードを含むことができる。
【００４１】
本発明によれば、前記第２フレームモードが第１モードである場合、前記第１フレームモードが、第１モード及び前記逆方向連結モードのいずれか一方に該当し、前記第２フレームモードが第３モードである場合、前記第１フレームモードが、第３モード及び前記順方向連結モードのいずれか一方に該当することができる。
【００４２】
本発明によれば、前記第１コーディング方式はスピーチコーディング方式に該当し、前記第２コーディング方式はオーディオコーディング方式に該当することができる。
【００４３】
本発明によれば、前記第２モードは、前記第１コーディング方式及び前記第２コーディング方式の両方を用いるモードに該当することができる。
【００４４】
本発明によれば、前記受信部は、第１信号及び第２信号のうち一つ以上を受信し、前記モード情報によって第１コーディング方式及び第２コーディング方式のうち一つ以上を用いて、前記第１信号及び前記第２信号のうち一つ以上をコーディングするコーディング部をさらに含むことができる。
【００４５】
本発明のさらに他の側面によれば、第１モード、第２モード及び第３モードを含むモードのうちどのモードに該当するかを表す情報として、第１フレームモード及び第２フレームモードを含むモード情報を決定する段階；前記第２フレームモードが前記第１モードである場合、前記第１フレームモードを前記第１モード及び前記第２モードのいずれかに変換する段階；及び、前記第２フレームモードが前記第３モードである場合、前記第１フレームモードを前記第３モード及び前記第２モードのいずれかに変換する段階を含む信号処理方法が提供される。
【００４６】
当然であるが、上記の一般的な記載、及び下記の詳細な説明は、例示的なもの、及び説明のためのものであり、請求項に記載された本発明の更なる説明を与えることを目的とする。
【００４７】
以下、本発明の好適な実施例を詳細に記載し、それらの実例を図面により説明する。
【００４８】
本発明でいうコーディングは、エンコーディング及びデコーディングの両方を含む概念として理解すべきである。
【００４９】
図１は、本発明の実施例による信号エンコーディング装置の構成を示す図である。図１を参照すると、高調波信号分離部１１０、第１エンコーダ１２０、電力比算出部１３０、モード決定部１４０、第１合成部１５０、減算器１６０、第２エンコーダ１７０、伝送部１８０を含む。ここで、第１エンコーダ１１０は音声エンコーダにし、第２エンコーダ１７０はオーディオエンコーダにすることができる。
【００５０】
高調波信号分離部１１０は、入力信号ｘ(ｎ)から高調波信号ｘh(ｎ)(または、周波数高調波信号)を抽出する。この時、ショートタイムフーリエ変換（short-time Fourier Transform（STFT））及び変調周波数分析（Modulation Frequency Analysis）を行うことができるが、この過程についての具体的な説明は、図２及び図３で後述する。
【００５１】
第１エンコーダ１２０は、高調波信号ｘh(ｎ)を第１コーディング方式を通じてエンコーディングし、エンコーディングされた高調波信号を生成する。この時、第１コーディング方式は、音声コーディング方式（speech coding scheme）に該当することができる。この音声コーディング方式は、ＡＭＲ−ＷＢ（Adaptive multi-rate Wide-Band）標準にしたがうものとすることができるが、本発明はこれに限定されない。一方、第１エンコーダ１２０は、線形予測符号化（LPC: Linear Prediction Coding）方式をさらに用いることができる。高調波信号が時間軸上で高い冗長性（redundancy）を有する場合、過去信号から現在信号を予測する線形予測によりモデリングすることができるが、この場合、線形予測符号化方式を採択することによって符号化効率を向上させることができる。一方、第１エンコーダ１２０は、タイムドメインエンコーダに該当することができる。
【００５２】
電力比算出部１３０は、入力信号ｘ(ｎ)及び高調波信号ｘh(ｎ)を用いて電力比を算出する。ここにいう電力比は、入力信号の電力に対する高調波信号の電力の比率であり、下記の数式で定義できる。
【００５３】
【数１】
【００５４】
ここで、ｎは時間インデックス、ｘ(ｎ)は入力信号、ｘh(ｎ)は高調波信号を表す。
【００５５】
モード決定部１４０は、電力比算出部１３０により算出された電力比に基づいて、入力信号ｘ(ｎ)のコーディング方式に関するモード情報を決定する。ここで、モード情報は、３つ以上のモードのうちどのモードに該当するかを表す情報である。ここでいう３つのモードは、第１モード、第２モード、第３モードでありうる。第１モードは第１コーディング方式を用いるモードに該当し、第３モードは第２コーディング方式を用いるモードに該当する。一方、第２モードは、第１コーディング方式及び第２コーディング方式の両方を用いるモードに該当することもでき、第１モード及び第３モードを連結するためのモードに該当することもできる。後者の場合、第２モードは、第１モードを第３モードに連結するための順方向連結モード、第３モードを第１モードに連結するための逆方向連結モードを含む。
【００５６】
一方、上記第１コーディング方式は、上述した通り、第１エンコーダ１１０で行われる方式に該当し、第２コーディング方式は、第２エンコーダ１７０で行われる方式に該当する。そして、第２モードは、第１コーディング方式及び第２コーディング方式のそれぞれに割り当てられるビットレート別に異なるモードを２つ以上含むことができる。これについての具体的な説明は、図４で後述する。
【００５７】
一方、第１合成部１５０は、第１エンコーダ１１０によりエンコーディングされた高調波信号を第１コーディング方式によって再びデコーディングする。そして、減算器１６０は、入力信号ｘ(ｎ)から第１合成部１５０によりデコーディングされた高調波信号ｘh(ｎ)を減算した残余信号ｘr(ｎ)を生成する。この時、残余信号ｘr(ｎ)は、入力信号から高調波信号を減算した信号そのものであっても良いが、減算した信号から獲得した信号であっても良い。
【００５８】
第２エンコーダ１７０は、残余信号ｘr(ｎ)を第２コーディング方式によってエンコーディングし、エンコーディングされた残余信号を生成する。ここでいう第２コーディング方式は、オーディオコーディング方式（audio coding scheme）に該当することができる。このオーディオコーディング方式は、ＨＥ−ＡＡＣ（High Efficiency Advanced Audio Coding）標準に従うものとすることもできるが、本発明はこれに限定されない。ここで、ＨＥ−ＡＡＣは、ＡＡＣ（Advanced Audio Coding）技術とＳＢＲ（Spectral Band Replication）技術とを結合させたものとすることができる。このＳＢＲは、低いビットレートで特に効率的な技術であり、低いまたは中間周波数帯域(mid-frequency)から高調波信号を移調（transposing）することによって高い周波数帯域のコンテンツを複製（replicate）する技術である。一方、第２エンコーダ１７０は、ＭＤＣＴ（Modified Discrete Transform）エンコーダに該当することができる。
【００５９】
一方、第１エンコーダ１２０によりエンコーディングされた信号と第２エンコーダ１７０によりエンコーディングされた信号はデコーダで同時に処理されなければならず、フレーム長（frame length）が同一でなければならない。したがって、第２エンコーダ１７０におけるフレーム長である１０２４サンプルと同一にするために、第１エンコーダ１２０におけるフレーム長を２５６サンプルにし、連続した４個のフレームを一つの単位として処理する。
【００６０】
伝送部１８０は、エンコーディングされた高調波信号ｘh(ｎ)、モード情報、エンコーディングされた残余信号ｘr(ｎ)を用いて伝送するビットストリームを生成する。この時、モード情報は、２つ以上のフラグ情報として表現されることができる。例えば、まず、第１コーディング方式及び第２コーディング方式のいずれか一方が第１フラグ情報として表現され、第１フラグ情報に応じて、第１コーディング方式（または第２コーディング方式）に割り当てられるビットレート情報、技術種類、ウインドタイプなどが第２フラグ情報として表現されることができる。
【００６１】
図２は、変調周波数分析過程を概略的に説明するための図であり、図３は、変調スペクトログラムに関する図である。以下、図２及び図３を参照しつつ、入力信号から高調波信号を抽出する過程について具体的に説明する。
【００６２】
まず、図２を参照すると、サブバンドエンベロープ（envelope）検出及びサブバンドエンベロープの周波数検出後のフィルタバンクは、変調周波数分析の構造に該当する。ショートタイムフーリエ変換（ＳＴＦＴ）を用いてフィルタバンクが具現される。離散信号ｘ(ｎ)に対して、ショートタイムフーリエ変換は下記の数式２で表現されることができ、エンベロープ検出及び変調周波数分析は下記の数式３で表現されることができる。
【００６３】
【数２】
【００６４】
ここで、Wk = e-j(2π/K)であり、ｈ(ｎ)はアコースティック（acoustic）周波数分析ウインド、ｍはタイムスロットインデックス、Ｍはウインドｈ(ｎ)のサイズ、ｎは時間インデックス、ｋはアコースティック周波数インデックスを表す。
【００６５】
【数３】
【００６６】
ここで、WI = e-j(2π/I)であり、ｇ(ｎ)は変調周波数分析ウインド、ｌはフレームインデックス、ｍはタイムスロットインデックス、Ｌはウインドｇ(ｎ)のサイズ、ｋはアコースティック周波数インデックス、ｉは変調周波数インデックスを表す。
【００６７】
図２（Ａ）を参照すると、時間領域の信号にアコースティック周波数分析ウインドｈ(ｍＭ−ｎ)がそれぞれ適用されることによって周波数変換が行われることがわかる。このように１次的に周波数変換が行われた結果は、図２（Ｂ）に示すように、タイムスロット（ｍ）軸及びアコースティック周波数（ｋ）軸に対応するデータとなる。図２（Ｂ）に示される結果に再び変調周波数分析ウインドｇ(ｌＬ−ｍ)を適用することによって、再び変調周波数分析を行うと、図２（Ｃ）に示すように、変調周波数（ｉ）軸及びアコースティック周波数（ｋ）軸に対応するデータＸｌ(ｋ,ｉ)が生成される。
【００６８】
図３を参照すると、（ａ）〜（ｃ）は変調スペクトログラムであり、（ａ）は音声信号、（Ｂ）は音声と音楽とがミックスされた信号、（ｃ）は音楽信号に対するものである。図３（ａ）〜（ｃ）を参照すると、横軸は変調周波数を表し、縦軸はアコースティック周波数を表し、濃淡でエネルギーの強度を表している。一方、図３（ｄ）〜（ｆ）で、横軸は同様に変調周波数を表し、縦軸はアコースティック周波数全体に対するエネルギー和である。高レベルはピッチ（pitch）領域で現れる。図３に示すピーク探索領域（peak searching range）でのピーク点(peak point)は、凸包アルゴリズム（convex hull algorithm）に基づいて計算することができる。獲得されたピーク点にマージン（margin）を許容することによって、高調波成分のピッチ領域を算出することができる。一方、変調周波数インデックスのセットは、下記のように定義できる。
【００６９】
【数４】
【００７０】
ここで、ｆsがサンプリング周波数である時、ｉはピッチ領域Ｐにおける変調周波数インデックスのセットである。
【００７１】
高調波信号のピッチ領域に該当する変調周波数エネルギーは、下記の数式５で表すことができる。
【００７２】
【数５】
【００７３】
下記の数式６のように、非高調波（non-harmonic）信号の範囲は、ピッチ領域の外側領域であると見なされる。
【００７４】
【数６】
【００７５】
各フレームｌ、すなわち、タイムインスタンスｎ＝ｌ(ＬＭ)において、周波数抑圧関数Ｆlは、下記の数式のように高調波領域と残余領域間の比で決定されることができる。
【００７６】
【数７】
ここで、ｋはアコースティック周波数インデックス、ｌはフレームインデックスを表す。
【００７７】
数式７で、Ｅl()は数式５で定義されたとおりであり、Ｅｒ()は、数式６で定義されたとおりである。
【００７８】
上記の数式７から獲得された値は、入力信号の非高調波成分を抑圧するために、上記数式２での各アコースティック周波数の絶対値（大きさ）に乗じる。
【００７９】
図４は、コーディング方式に関するモードを説明するための図である。図１で説明した通り、モード決定部は、数式１で算出した電力比に基づいて、入力信号のコーディング方式に関するモード情報を決定する。例えば、第１コーディング方式がＡＭＲ−ＷＢ標準に従うことができる。ＡＭＲ−ＷＢは、サンプリングレートが１６ｋＨｚであり、最大値２３．８５ｋｂｉｔ／ｓを含めて総９種のモードで構成される。すなわち、６．６、８．８５、１２．６５、１４．２５、１５．８５、１８．２５、１９．８５、２３．０５、及び２３．８５ｋｂｉｔ／ｓのモードが存在する。
【００８０】
一方、第２コーディング方式はＨＥ−ＡＡＣ標準に従うことができる。ＨＥ−ＡＡＣは、サンプリングレートが１６ｋＨｚである場合、ビットレートは２０ｋｂｉｔ／ｓ以下のレートを用いる。
【００８１】
したがって、本発明では、第１コーディング方式及び第２コーディング方式のいずれか一方を用いたり両方を用いるために、例えば１６ｋＨｚサンプリングレートの信号である場合、総ビットレートは１９．８５ｋｂｉｔ／ｓでありうる。総ビットレートが１９．８５ｋｂｉｔ／ｓである場合、上記９種のモードのうち、６．６及び８．８５の２種類のモードが用いられることができる。ＡＭＢ−ＷＢを作動させるモードが決定されると、総ビットレートからＡＭＢ−ＷＢに対応するビットレートを除く残りビットレートがＨＥ−ＡＡＣに割り当てられることができる。
【００８２】
図４を参照すると、まず、モードＡは、電力比ＰＯＷratioが１に近い時、モードＢ及びモードＣは一定値（ＴｈｒA、ＴｈｒB、ＴｈｒC）の間に存在する時、モードＤは０に近い時に該当することがわかる。
【００８３】
まず、モードＡは、第１コーディング方式（例：音声コーディング方式）のみを用い、モードＤは、第２コーディング方式（例：オーディオコーディング方式）のみを用い、モードＢ及びモードＣは両方式を用いることがわかる。モードＡは、電力比が特定臨界値ＴｈｒA及び１の間に存在する場合であり、入力信号の大部分が高調波信号（または周波数高調波信号）で構成されているため、ビットレートの全部が音声コーディング方式に割り当てられ、モードＤは、電力比が０及び特定臨界値ＴｈｒCの間に存在する場合であり、入力信号の大部分が非高調波信号で構成されているため、ビットレートの全部がオーディオコーディング方式に割り当てられる。一方、モードＢの場合は、入力信号のうち高調波信号の比重が相対的に高いため、音声コーディング方式に相対的に高いビットレート（例：８．８５ｋｂｉｔ／ｓ）を割り当て、その残り（１１．０ｂｉｔ／ｓ）をオーディオコーディング方式に割り当てる。モードＣの場合は、入力信号のうち非高調波信号の比重が高いため、音声コーディング方式に比較的少ないビットレート（例：６．６０ｋｂｉｔ／ｓ）を割り当て、残りビットレート（例：１３．２５ｋｂｉｔ／ｓ）をオーディオコーディング方式に割り当てる。
【００８４】
本発明において、これらのモードは特定値のビットレートに限定されない。また、２つ以上のコーディング方式を用いる第２モードとして、２つのモード（モードＢ及びモードＣ）を例にして説明したが、第２モードには３つ以上のモードが存在することもできる。
【００８５】
図５は、フレーム間のモード変化を説明するための図である。一方、２つ以上連続したフレームが存在する時、入力信号の特性によって、２フレームの知覚的不連続（perceivable discontinuity）が発生することがある。具体的に、モードＡからモードＤ変化する時は、第２コーディング方式でのみデコーディングされたフレームから第１コーディング方式でのみデコーディングされたフレームに変化することであるため、知覚的な不連続が生じうる。したがって、モードＡからモードＤへの変化またはモードＤからモードＡへの変化を許容しない場合がある。図５を参照すると、モードＡ及びモードＢ間、モードＢ及びモードＣ間、モードＣ及びモードＤ間、モードＢ及びモードＤ間の相互切換は許容するが、モードＡ及びモードＤ間の切換は許容しない。言い換えると、第１モード（モードＡ）及び第２モード（モードＢ及びモードＣ）、第２モード及び第３モード（モードＤ）間の相互切換は可能であるが、第１モード及び第３モード間の切換は制限されうる。
【００８６】
もし、図１で説明したモード決定部１４０が連続したフレームのモードを決定するにあたり、上記のように制限されたモード変化が感知される場合、強制的にモードを切り換えることができる。具体的に、第１フレームモードが第１モードであり、第２フレームモードが第３モードである場合、第１フレームモードが第３モードであり、第２フレームモードが第１モードである場合、第１フレームモードを第２モードに切り換えたり、第２フレームモードを第２モードに切り換える。もちろん、第１フレームモード、第２フレームモード両方を第２モードに切り換えることもできる。言い換えると、第２フレームモードが第１モードである場合、第１フレームモードを第１モードまたは第２モード（特に、逆方向連結モード）にし、第２フレームモードが第３モードである場合、第１フレームモードを第３モードまたは第２モード（特に、順方向連結モード）にする。
【００８７】
図６は、本発明の実施例によるエンコーディング方法を示すフローチャートである。
【００８８】
図６を参照すると、まず、入力信号から高調波信号を分離する（Ｓ１１０段階）。そして入力信号に対する高調波信号の電力比を算出する（Ｓ１２０段階）。この電力比に基づいてコーディング方式に関する情報であるモード情報を決定する（Ｓ１３０段階）。上述の通り、モード情報は、３つ以上のモードのうちどのモードに該当するかを表す情報であり、この３つのモードは、第１コーディング方式のみを用いる第１モード、第２コーディング方式のみを用いる第３モードを含む。また、第２モードも含まれるが、これは、第１コーディング方式及び第２コーディング方式を用いるモードに該当することもでき、第１モード及び第３モードを連結するためのモードに該当することもできる。後者の場合、第２モードは順方向連結モード及び逆方向連結モードを含む。
【００８９】
モード情報に基づいて高調波信号を第１コーディング方式でエンコーディングする（Ｓ１４０段階）。そして、入力信号と高調波信号を用いて残余信号を生成する（Ｓ１５０段階）。ここで、高調波信号は、第１コーディング方式でエンコーディングした後、再び第１コーディング方式でデコーディングされた信号でありうる。その後、残余信号を第２コーディング方式でエンコーディングする（Ｓ１６０段階）。そして、エンコーディングされた高調波信号、エンコーディングされた残余信号、モード情報を用いてビットストリームを生成する（Ｓ１７０段階）。
【００９０】
図７は、本発明の実施例によるコーディング性能を説明するための図である。
【００９１】
図７を参照すると、下端に列挙した総７個のサンプル信号を様々なコーディング方式によってコーディングした場合における品質がわかる。性能評価のためのテスト条件は、サンプリングレートが１６ｋＨｚであり、数式２及び数式３でＭ＝１６、Ｋ＝５１２、Ｌ＝３２、及びＩ＝５１２である。一方、ｈ(ｎ)は、４８ポイントハニング（Hanning）ウインドであり、ｇ(ｎ)は、６４ポイントハニングウインドである。ピッチ探索領域は、ＡＭＲ−ＷＢコーダのピッチ探索間隔を考慮して７０Ｈｚ〜４８５Ｈｚとする。ピッチ領域を探索するためのマージンは２０Ｈｚであり、上記の図４における臨界値ＴｈｒA＝０．５、ＴｈｒB＝０．４、及びＴｈｒC＝０．５である。
【００９２】
具体的に、本発明による方式（ｂ）、オーディオコーディング方式（ｃ）、音声コーディング方式（ｄ）のそれぞれでコーディングした時の品質を、オリジナル（ａ）の品質と比較することができる。音声と音楽信号が順次にミックスされた信号（サンプル１、及びサンプル２）及び同時にミックスされた信号（サンプル４、及びサンプル６）において、特に本発明による方式（ｂ）が相対的に他の方式に比べて良い品質を示している。一方、サンプル７の場合は、純粋な音楽信号であるにもかかわらず、オーディオコーディング方式（三角印参照）を用いる場合に比べて本発明による方式がより良い品質を示している。
【００９３】
図８は、本発明の実施例による信号デコーディング装置の構成を示す図であり、図９は、本発明の実施例による信号デコーディング方法を示すフローチャートである。図８を参照すると、本発明の実施例による信号デコーディング装置２００は、受信部２１０、モード切換部２２０、第１デコーダ２３０、第２デコーダ２４０、合成部２５０を含む。
【００９４】
受信部２１０は、ビットストリームを受信し、ビットストリームからエンコーディングされた高調波信号ｘh(ｎ)及びエンコーディングされた残余信号ｘr(ｎ)のうち一つ以上、及びモード情報を抽出する。ここで、モード情報は、上述の通り、３つ以上のモードのうちのどのモードなのかを表す情報である。このモードは、図４に示すように、第１コーディング方式を用いる第１モード、及び第２コーディング方式を用いる第３モードを含む。また、第２モードも含むが、この第２モードは、第１コーディング方式及び第２コーディング方式を用いるモードに該当することもでき、第１モード及び第３モードを連結するためのモードに該当することもできる。後者の場合、第２モードは、順方向連結モード及び逆方向連結モードを含む。一方、モード情報は、図４に示すように、各デコーダのビットレート情報をさらに含むことができる。
【００９５】
一方、ビットストリームに含まれたモード情報は、第１フレームモード及び第２フレームモードを含むことができる。もし、第２フレームモードが第１モードである場合、第１フレームモードは第１モードまたは第２モード（特に、逆方向連結モード）に該当し、第２フレームモードが第３モードである場合、第１フレームモードは第３モードまたは第２モード（特に、順方向連結モード）に該当する。
【００９６】
モード切換部２２０は、２つ以上のフレームのモード情報に対して、制限されたモード変化が感知される場合、強制的に受信されたモードを切り換える。例えば、第１フレームモード及び第２フレームモードが存在する時、第１フレームモードが第１モードであり、第２フレームモードが第３モードである場合、第１フレームモードが第３モードであり、第２フレームモードが第１モードである場合、第１フレームモード及び第２フレームモードのうち一つ以上を第２モードに切り換える。このように変換されたモード情報は、第１デコーダ２３０及び第２デコーダ２４０に伝達される。もし、モード切換部２２０は制限されたモード変化が感知されない場合、受信したモード情報をそのまま第１デコーダ２３０及び／または第２デコーダ２４０に伝達する。
【００９７】
受信したモード情報または変換されたモード情報が第１モード乃至第３モードのうちどのモードかによって、高調波信号及び残余信号のうち一つ以上が第１デコーダ２３０及び／または第２デコーダ２４０でデコーディングされる。具体的に、第１モードである場合、高調波信号が第１デコーダ２３０でデコーディングされる。第２モードである場合、高調波信号が第１デコーダ２３０でデコーディングされ、残余信号は第２デコーダ２４０でデコーディングされる。第３モードである場合、残余信号が第２デコーダ２４０でデコーディングされる。
【００９８】
第１デコーダ２３０は、モード情報に基づいて第１コーディング方式で高調波信号をデコーディングするものであり、ここで、第１コーディング方式は音声コーディング方式に該当することができる。音声コーディング方式は、ＡＭＲ−ＷＢ標準に従うものとすることもできるが、本発明はこれに限定されない。また、第１デコーダ２３０は、タイムドメインデコーダに該当することができる。
【００９９】
第２デコーダ２４０は、モード情報に基づいて第２コーディング方式で残余信号をデコーディングするが、ここで、第２コーディング方式はオーディオコーディング方式に該当することができる。オーディオコーディング方式は、ＨＥ−ＡＡＣ標準に従うものとすることもできるが、本発明はこれに限定されない。第１デコーダ２３０は、高調波信号が線形予測符号化（ＬＰＣ）方式で符号化された場合、線形予測係数から線形予測を行って高調波信号をデコーディングする。また、第２デコーダ２４０はＭＤＣＴ（Modified Discrete Transform）デコーダにすることができる。
【０１００】
合成部２５０は、第１デコーダ２３０及び第２デコーダ２４０でデコーディングされた信号を合成して出力信号を生成する。この時、デコーディングされた高調波信号及びデコーディングされた残余信号は同時に処理されなければならず、よって、フレーム長を同一にしなければならない。したがって、高調波信号のフレーム長が２５６サンプルであり、残余信号のフレーム長が１０２４サンプルである場合、高調波信号の４つのフレームを一つの単位として処理する。
【０１０１】
図９を参照すると、デコーディング装置は、エンコーダで生成されたビットストリームを受信する（Ｓ２１０段階）。ビットストリームから高調波信号及び残余信号のうち一つ以上、及びモード情報が抽出される（Ｓ２２０段階）。現在フレームに該当するモード情報が第１モードである場合（Ｓ２３０段階の「yes」）、まず、以前フレームのモードが第３モードなのか否か判断し、以前フレームのモード及び現在フレームのモードのいずれか一方を訂正する（Ｓ２４０段階）。例えば、以前フレームのモードが第３モードである場合、以前フレームのモードを第３モードから第２モードに切り換えたり、現在フレームのモードを第１モードから第２モードに切り換えることができる。その後、第１コーディング方式で高調波信号をデコーディングする（Ｓ２４５段階）。
【０１０２】
もし、現在フレームに該当するモード情報が第２モードである場合（Ｓ２５０段階の「yes」）、第１コーディング方式で高調波信号をデコーディングし、第２コーディング方式で残余信号をデコーディングする（Ｓ２６０段階）。その後、デコーディングされた高調波信号及びデコーディングされた残余信号を合成して出力信号を生成する（Ｓ２７０段階）。もし、モード情報が各コーディング方式に割り当てられたビットレート情報をさらに含む場合、ビットレート情報に基づいて各信号をデコーディングする。例えば、６．６０ｋｂｐｓで高調波信号をデコーディングし、１３．２５ｋｂｐｓで残余信号をデコーディングすることができる。
【０１０３】
一方、現在フレームに該当するモード情報が第３モードである場合（Ｓ２８０段階の「yes」）、以前フレームのモードが第１モードであることを条件としてモード情報を訂正する（Ｓ２９０段階）。例えば、以前フレームのモードが第１モードであり、現在フレームのモードが第３モードである場合、以前フレームのモードを第１モードから第２モードに切り換えたり、現在フレームのモードを第３モードから第２モードに強制に切り換えることができる。その後、第２コーディング方式で残余信号をデコーディングする（Ｓ２９５段階）。
【０１０４】
本発明はさらに、コンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードとして具現することも可能である。コンピュータ読み取り可能な記録媒体は、コンピュータシステムで読み込み可能なデータを記憶できるあらゆる記録装置を含むことができる。コンピュータ読み取り可能な記録媒体の例には、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ記憶装置などがあり、また、キャリアウェーブ（例えば、インターネットを通じた伝送）の形態で具現されるものも含む。
【０１０５】
以上では具体的な実施例及び図面に挙げて本発明を説明してきたが、本発明はそれら具体的な実施例に限定されず、本発明の属する技術分野における通常の知識を有する者にとっては、本発明の技術思想と添付の特許請求の範囲とその均等範囲内で様々な修正及び変形が可能であることが明らかである。
【産業上の利用可能性】
【０１０６】
本発明は、オーディオ信号またはビデオ信号をエンコーディング及びデコーディングするのに適用することができる。
【特許請求の範囲】
【請求項１】
所定モードが第１モード、第２モード及び第３モードのどのモードに該当するかを表す情報として、第１フレームモード及び第２フレームモードを含むモード情報を受信する段階を有し、
前記第２フレームモードが前記第１モードである場合、前記第１フレームモードが前記第１モード及び前記第２モードのいずれか一方に該当し、
前記第２フレームモードが前記第３モードである場合、前記第１フレームモードが前記第３モード及び前記第２モードのいずれか一方に該当する、信号処理方法。
【請求項２】
前記第１モードは、第１コーディング方式を用いるモードに該当し、前記第３モードは、第２コーディング方式を用いるモードに該当し、前記第２モードは、前記第１モード及び前記第３モードを連結するためのモードに該当する、請求項１に記載の信号処理方法。
【請求項３】
前記第２モードは、順方向連結モード、及び逆方向連結モードを有する、請求項２に記載の信号処理方法。
【請求項４】
前記第２フレームモードが第１モードである場合、前記第１フレームモードが第１モード及び前記逆方向連結モードのいずれか一方に該当し、前記第２フレームモードが第３モードである場合、前記第１フレームモードが第３モード及び前記順方向連結モードのいずれか一方に該当する、請求項３に記載の信号処理方法。
【請求項５】
前記第１コーディング方式はスピーチコーディング方式に該当し、前記第２コーディング方式はオーディオコーディング方式に該当する、請求項２に記載の信号処理方法。
【請求項６】
前記第２モードは、前記第１コーディング方式及び前記第２コーディング方式の両方を用いるモードに該当する、請求項１に記載の信号処理方法。
【請求項７】
第１信号及び第２信号のうち少なくとも１つを受信する段階と、
前記モード情報によって第１コーディング方式及び第２コーディング方式の少なくとも１つを用いて、前記第１信号及び前記第２信号の少なくとも１つをコーディングする段階、
をさらに有する、請求項１に記載の信号処理方法。
【請求項８】
所定モードが第１モード、第２モード及び第３モードのどのモードに該当するかを表す情報として、第１フレームモード及び第２フレームモードを含むモード情報を受信する受信部を有し、
前記第２フレームモードが前記第１モードである場合、前記第１フレームモードが前記第１モード及び前記第２モードのいずれか一方に該当し、
前記第２フレームモードが前記第３モードである場合、前記第１フレームモードが前記第３モード及び前記第２モードのいずれか一方に該当する、信号処理装置。
【請求項９】
前記第１モードは、第１コーディング方式を用いるモードに該当し、前記第３モードは、第２コーディング方式を用いるモードに該当し、前記第２モードは、前記第１モード及び前記第３モードを連結するためのモードに該当する、請求項８に記載の信号処理装置。
【請求項１０】
前記第２モードは、順方向連結モード及び逆方向連結モードを有する、請求項９に記載の信号処理装置。
【請求項１１】
前記第２フレームモードが第１モードである場合、前記第１フレームモードが第１モード及び前記逆方向連結モードのいずれか一方に該当し、前記第２フレームモードが第３モードである場合、前記第１フレームモードが第３モード及び前記順方向連結モードのいずれか一方に該当する、請求項１０に記載の信号処理装置。
【請求項１２】
前記第１コーディング方式はスピーチコーディング方式に該当し、前記第２コーディング方式はオーディオコーディング方式に該当する、請求項９に記載の信号処理装置。
【請求項１３】
前記第２モードは、前記第１コーディング方式及び前記第２コーディング方式の両方を用いるモードに該当する、請求項８に記載の信号処理装置。
【請求項１４】
前記受信部は、第１信号及び第２信号のうち少なくとも１つを受信し、前記モード情報によって第１コーディング方式及び第２コーディング方式のうち少なくとも１つを用いて、前記第１信号及び前記第２信号のうち少なくとも１つをコーディングするコーディング部をさらに有する、請求項８に記載の信号処理装置。
【請求項１５】
所定モードが第１モード、第２モード及び第３モードのどのモードに該当するかを表す情報として、第１フレームモード及び第２フレームモードを含むモード情報を決定する段階と、
前記第２フレームモードが前記第１モードである場合、前記第１フレームモードを前記第１モード及び前記第２モードのいずれかに切り換える段階と、
前記第２フレームモードが前記第３モードである場合、前記第１フレームモードを前記第３モード及び前記第２モードのいずれかに切り換える段階と、
を有する、信号処理方法。
【請求項１】
所定モードが第１モード、第２モード及び第３モードのどのモードに該当するかを表す情報として、第１フレームモード及び第２フレームモードを含むモード情報を受信する段階を有し、
前記第２フレームモードが前記第１モードである場合、前記第１フレームモードが前記第１モード及び前記第２モードのいずれか一方に該当し、
前記第２フレームモードが前記第３モードである場合、前記第１フレームモードが前記第３モード及び前記第２モードのいずれか一方に該当する、信号処理方法。
【請求項２】
前記第１モードは、第１コーディング方式を用いるモードに該当し、前記第３モードは、第２コーディング方式を用いるモードに該当し、前記第２モードは、前記第１モード及び前記第３モードを連結するためのモードに該当する、請求項１に記載の信号処理方法。
【請求項３】
前記第２モードは、順方向連結モード、及び逆方向連結モードを有する、請求項２に記載の信号処理方法。
【請求項４】
前記第２フレームモードが第１モードである場合、前記第１フレームモードが第１モード及び前記逆方向連結モードのいずれか一方に該当し、前記第２フレームモードが第３モードである場合、前記第１フレームモードが第３モード及び前記順方向連結モードのいずれか一方に該当する、請求項３に記載の信号処理方法。
【請求項５】
前記第１コーディング方式はスピーチコーディング方式に該当し、前記第２コーディング方式はオーディオコーディング方式に該当する、請求項２に記載の信号処理方法。
【請求項６】
前記第２モードは、前記第１コーディング方式及び前記第２コーディング方式の両方を用いるモードに該当する、請求項１に記載の信号処理方法。
【請求項７】
第１信号及び第２信号のうち少なくとも１つを受信する段階と、
前記モード情報によって第１コーディング方式及び第２コーディング方式の少なくとも１つを用いて、前記第１信号及び前記第２信号の少なくとも１つをコーディングする段階、
をさらに有する、請求項１に記載の信号処理方法。
【請求項８】
所定モードが第１モード、第２モード及び第３モードのどのモードに該当するかを表す情報として、第１フレームモード及び第２フレームモードを含むモード情報を受信する受信部を有し、
前記第２フレームモードが前記第１モードである場合、前記第１フレームモードが前記第１モード及び前記第２モードのいずれか一方に該当し、
前記第２フレームモードが前記第３モードである場合、前記第１フレームモードが前記第３モード及び前記第２モードのいずれか一方に該当する、信号処理装置。
【請求項９】
前記第１モードは、第１コーディング方式を用いるモードに該当し、前記第３モードは、第２コーディング方式を用いるモードに該当し、前記第２モードは、前記第１モード及び前記第３モードを連結するためのモードに該当する、請求項８に記載の信号処理装置。
【請求項１０】
前記第２モードは、順方向連結モード及び逆方向連結モードを有する、請求項９に記載の信号処理装置。
【請求項１１】
前記第２フレームモードが第１モードである場合、前記第１フレームモードが第１モード及び前記逆方向連結モードのいずれか一方に該当し、前記第２フレームモードが第３モードである場合、前記第１フレームモードが第３モード及び前記順方向連結モードのいずれか一方に該当する、請求項１０に記載の信号処理装置。
【請求項１２】
前記第１コーディング方式はスピーチコーディング方式に該当し、前記第２コーディング方式はオーディオコーディング方式に該当する、請求項９に記載の信号処理装置。
【請求項１３】
前記第２モードは、前記第１コーディング方式及び前記第２コーディング方式の両方を用いるモードに該当する、請求項８に記載の信号処理装置。
【請求項１４】
前記受信部は、第１信号及び第２信号のうち少なくとも１つを受信し、前記モード情報によって第１コーディング方式及び第２コーディング方式のうち少なくとも１つを用いて、前記第１信号及び前記第２信号のうち少なくとも１つをコーディングするコーディング部をさらに有する、請求項８に記載の信号処理装置。
【請求項１５】
所定モードが第１モード、第２モード及び第３モードのどのモードに該当するかを表す情報として、第１フレームモード及び第２フレームモードを含むモード情報を決定する段階と、
前記第２フレームモードが前記第１モードである場合、前記第１フレームモードを前記第１モード及び前記第２モードのいずれかに切り換える段階と、
前記第２フレームモードが前記第３モードである場合、前記第１フレームモードを前記第３モード及び前記第２モードのいずれかに切り換える段階と、
を有する、信号処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公表番号】特表２０１１−５０１２１６（Ｐ２０１１−５０１２１６Ａ）
【公表日】平成２３年１月６日（２０１１．１．６）
【国際特許分類】
【出願番号】特願２０１０−５２９８６１（Ｐ２０１０−５２９８６１）
【出願日】平成２０年１０月１５日（２００８．１０．１５）
【国際出願番号】ＰＣＴ／ＫＲ２００８／００６０７８
【国際公開番号】ＷＯ２００９／０５１４０４
【国際公開日】平成２１年４月２３日（２００９．４．２３）
【出願人】（５０２０３２１０５）エルジー エレクトロニクス インコーポレイティド (2,269)
【出願人】（５０６２６３４９１）インダストリー−アカデミック コーペレイション ファウンデイション， ヨンセイ ユニバーシティ (18)
【Ｆターム（参考）】
【公表日】平成２３年１月６日（２０１１．１．６）
【国際特許分類】
【出願日】平成２０年１０月１５日（２００８．１０．１５）
【国際出願番号】ＰＣＴ／ＫＲ２００８／００６０７８
【国際公開番号】ＷＯ２００９／０５１４０４
【国際公開日】平成２１年４月２３日（２００９．４．２３）
【出願人】（５０２０３２１０５）エルジー エレクトロニクス インコーポレイティド (2,269)
【出願人】（５０６２６３４９１）インダストリー−アカデミック コーペレイション ファウンデイション， ヨンセイ ユニバーシティ (18)
【Ｆターム（参考）】
[ Back to top ]