学習装置および学習方法、並びにプログラムおよび記録媒体
【課題】符号化データを、高画質の画像や高音質の音声に復号するタップ係数を学習する。
【解決手段】教師データ生成部１６１は、学習用のデータから、タップ係数の学習の教師となる教師データを生成し、生徒データ生成部１６３は、学習用のデータから、タップ係数の学習の生徒となる生徒データを生成し、符号化部１２は、学習用のデータを符号化し、そのデータについての特性データを含む学習用の符号化データをミスマッチ検出部１３に出力する。ミスマッチ検出部１３は、学習用の符号化データに含まれる特性データの正しさを判定し、その判定結果を表すミスマッチ情報を適応学習部１６０に出力し、適応学習部１６０は、ミスマッチ情報に基づき、教師データと生徒データを用いて、タップ係数を学習する。本発明は、例えば、学習装置に適用できる。
【解決手段】教師データ生成部１６１は、学習用のデータから、タップ係数の学習の教師となる教師データを生成し、生徒データ生成部１６３は、学習用のデータから、タップ係数の学習の生徒となる生徒データを生成し、符号化部１２は、学習用のデータを符号化し、そのデータについての特性データを含む学習用の符号化データをミスマッチ検出部１３に出力する。ミスマッチ検出部１３は、学習用の符号化データに含まれる特性データの正しさを判定し、その判定結果を表すミスマッチ情報を適応学習部１６０に出力し、適応学習部１６０は、ミスマッチ情報に基づき、教師データと生徒データを用いて、タップ係数を学習する。本発明は、例えば、学習装置に適用できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、学習装置および学習方法、並びにプログラムおよび記録媒体に関し、特に、例えば、画像や音声等を符号化した符号化データを、高品質（高画質または高音質）の画像や音声に復号することができるようにするタップ係数を学習する学習装置および学習方法、並びにプログラムおよび記録媒体に関する。
【背景技術】
【０００２】
画像（動画像）データの高能率符号化方式としては、例えば、ＭＰＥＧ(Moving Picture Experts Group)方式が知られており、ＭＰＥＧ方式では、画像データが、横×縦が８×８画素のブロック単位で、水平および垂直の２方向について２次元ＤＣＴ（Discrete Cosine Transform）変換され、さらに量子化される。
【０００３】
このように、ＭＰＥＧ方式では、画像データが２次元ＤＣＴ変換されるが、例えば、ＭＰＥＧ２では、２次元ＤＣＴ変換の対象となるブロックのＤＣＴタイプを、マクロブロック単位で、フレームＤＣＴモードとフィールドＤＣＴモードに切り替えることができる。フレームＤＣＴモードでは、ブロックが、同一フレームの画素から構成され、そのようなブロックの画素値が２次元ＤＣＴ変換される。また、フィールドＤＣＴモードでは、ブロックが、同一フィールドの画素から構成され、そのようなブロックの画素値が２次元ＤＣＴ変換される。
【０００４】
ＤＣＴタイプを、フレームＤＣＴモードまたはフィールドＤＣＴモードのうちのいずれとするかは、基本的には、例えば、画像の動きや、周辺のマクロブロックとの連続性等の画像の特性に基づき、復号画像におけるブロック歪みモスキートノイズ等を低減するように決定される。即ち、例えば、動きの大きい画像については、フィールドＤＣＴモードが選択され、動きのほとんどない画像については、フレームＤＣＴモードが選択される。
【０００５】
ここで、画像をＭＰＥＧ符号化することにより得られる符号化データには、画像を２次元ＤＣＴ変換して量子化することにより得られる２次元ＤＣＴ係数の他、ＤＣＴタイプ等も含まれるが、このＤＣＴタイプは、上述のように、画像の動きなどに基づいて決定されるので、画像の特性を表しているということができる。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところで、ＭＰＥＧ符号化においては、デコーダ側においてオーバーフローおよびアンダーフローが生じないように、符号化データのデータレートが制限される。そして、この符号化データのデータレートを制限するために、本来、フレームＤＣＴモードまたはフィールドＤＣＴモードに設定すべきＤＣＴタイプが、フィールドＤＣＴモードまたはフレームＤＣＴモードに、いわば不適切に設定されることがある。
【０００７】
しかしながら、このような不適切なＤＣＴタイプが設定された場合であっても、デコーダ側では、その不適切なＤＣＴタイプにしたがって、符号化データを復号しなければならず、復号画像の画質が劣化する課題があった。
【０００８】
本発明は、このような状況に鑑みてなされたものであり、符号化データを、高品質の画像や音声に復号することができるタップ係数を学習するようにするものである。
【課題を解決するための手段】
【０００９】
本発明の学習装置は、学習用のデータから、タップ係数の学習の教師となる教師データを生成して出力する教師データ生成手段と、学習用のデータから、タップ係数の学習の生徒となる生徒データを生成して出力する生徒データ生成手段と、学習用のデータを符号化し、そのデータについての特性データを含む学習用の符号化データを出力する符号化手段と、学習用の符号化データに含まれる特性データの正しさを判定し、その判定結果を表すミスマッチ情報を出力する判定手段と、ミスマッチ情報に基づき、教師データと生徒データを用いて、タップ係数を学習する学習手段とを備えることを特徴とする。
【００１０】
本発明の学習方法は、学習用のデータから、タップ係数の学習の教師となる教師データを生成して出力する教師データ生成ステップと、学習用のデータから、タップ係数の学習の生徒となる生徒データを生成して出力する生徒データ生成ステップと、学習用のデータを符号化し、そのデータについての特性データを含む学習用の符号化データを出力する符号化ステップと、学習用の符号化データに含まれる特性データの正しさを判定し、その判定結果を表すミスマッチ情報を出力する判定ステップと、ミスマッチ情報に基づき、教師データと生徒データを用いて、タップ係数を学習する学習ステップとを備えることを特徴とする。
【００１１】
本発明のプログラムは、学習用のデータから、タップ係数の学習の教師となる教師データを生成して出力する教師データ生成ステップと、学習用のデータから、タップ係数の学習の生徒となる生徒データを生成して出力する生徒データ生成ステップと、学習用のデータを符号化し、そのデータについての特性データを含む学習用の符号化データを出力する符号化ステップと、学習用の符号化データに含まれる特性データの正しさを判定し、その判定結果を表すミスマッチ情報を出力する判定ステップと、ミスマッチ情報に基づき、教師データと生徒データを用いて、タップ係数を学習する学習ステップとを含む学習処理を、コンピュータに行わせることを特徴とする。
【００１２】
本発明の記録媒体は、学習用のデータから、タップ係数の学習の教師となる教師データを生成して出力する教師データ生成ステップと、学習用のデータから、タップ係数の学習の生徒となる生徒データを生成して出力する生徒データ生成ステップと、学習用のデータを符号化し、そのデータについての特性データを含む学習用の符号化データを出力する符号化ステップと、学習用の符号化データに含まれる特性データの正しさを判定し、その判定結果を表すミスマッチ情報を出力する判定ステップと、ミスマッチ情報に基づき、教師データと生徒データを用いて、タップ係数を学習する学習ステップとを含む学習処理を、コンピュータに行わせるプログラムが記録されていることを特徴とする。
【００１３】
本発明の学習装置および学習方法、並びにプログラムおよび記録媒体においては、学習用のデータから、タップ係数の学習の教師となる教師データと、生徒となる生徒データが生成されて出力される。さらに、学習用のデータが符号化され、そのデータについての特性データを含む学習用の符号化データが出力される。そして、学習用の符号化データに含まれる特性データの正しさが判定され、その判定結果を表すミスマッチ情報に基づき、教師データと生徒データを用いて、タップ係数の学習が行われる。
【発明の効果】
【００１４】
本発明の学習装置および学習方法、並びにプログラムおよび記録媒体によれば、符号化データを、高品質のデータに復号することが可能となるタップ係数を学習することができる。
【発明を実施するための最良の形態】
【００１５】
図１は、本発明を適用した復号装置の一実施の形態の構成例を示している。
【００１６】
復号装置には、図示せぬ記録媒体（例えば、光ディスクや、光磁気ディスク、相変化ディスク、磁気テープ、半導体メモリ等）から再生された符号化データ、または伝送媒体（例えば、インターネットや、ＣＡＴＶ網、衛星回線、地上波等）を介して伝送されてくる符号化データが、復号対象として入力されるようになっている。ここで、符号化データは、所定のデータを所定の符号化方式で符号化して得られるもので、少なくとも、所定のデータの特性を表す特性データを含んでいる。
【００１７】
なお、符号化データとしては、例えば、後述するように、音声データをＣＥＬＰ(Code Excited Liner Prediction coding)方式で符号化したものや、画像データをＭＰＥＧ２方式で符号化したもの等を採用することができる。
【００１８】
ここで、符号化データが、音声データをＣＥＬＰ方式で符号化したものである場合には、その符号化データには、ラグを表すＬコードが含まれる。このラグは、符号化された音声データのピッチ周期に対応し、従って、ピッチ周期という音声データの特性を表すから、特性データということができる。
【００１９】
また、符号化データが、画像データをＭＰＥＧ２方式で符号化したものである場合には、前述したように、その符号化データには、ＤＣＴタイプが含まれ、このＤＣＴタイプは、画像の動きなどに基づいて決定されるので、画像の特性を表しており、やはり、特性データということができる。
【００２０】
なお、復号装置において復号対象とする符号化データは、上述のようなＣＥＬＰ方式で符号化された音声データや、ＭＰＥＧ２方式で符号化された画像データに限定されるものではない。
【００２１】
復号装置に入力された符号化データは、ミスマッチ検出部１と復号処理部２に供給されるようになっている。
【００２２】
ミスマッチ検出部１は、符号化データからミスマッチ情報を検出する。即ち、ミスマッチ検出部１は、符号化データに含まれる特性データの正しさを判定し、その判定結果を表すミスマッチ情報を、復号処理部２に出力する。復号処理部２は、ミスマッチ検出部１から供給されるミスマッチ情報に基づいて、符号化データを復号し、その結果得られる復号データを出力する。
【００２３】
次に、図２のフローチャートを参照して、図１の復号装置の処理（復号処理）について説明する。
【００２４】
ミスマッチ検出部１と復号処理部２には、符号化データが供給され、ミスマッチ検出部１は、まず最初に、ステップＳ１において、符号化データからミスマッチ情報を検出し、復号処理部２に供給して、ステップＳ２に進む。ステップＳ２では、復号処理部２が、ミスマッチ検出部１から供給されるミスマッチ情報に基づいて、そのミスマッチ情報が検出された符号化データを復号し、復号データを出力して、ステップＳ３に進む。ステップＳ３では、ミスマッチ検出部１または復号処理部２が、復号すべき符号化データが、まだ存在するかどうかを判定する。ステップＳ３において、復号すべき符号化データが、まだ存在すると判定された場合、ステップＳ１に戻り、以下、同様の処理が繰り返される。
【００２５】
また、ステップＳ３において、復号すべき符号化データが存在しないと判定された場合、処理を終了する。
【００２６】
次に、図３は、本発明を適用した復号装置の他の実施の形態の構成例を示している。なお、図中、図１における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図３の復号装置は、パラメータ記憶部３が、新たに設けられている他は、基本的に、図１の復号装置と同様に構成されている。
【００２７】
パラメータ記憶部３は、後述する学習装置による学習によって得られたパラメータを記憶しており、復号処理部２は、パラメータ記憶部３に記憶されたパラメータを用いて、そこに供給される符号化データを復号する。
【００２８】
従って、図３の復号装置では、復号処理部２において、符号化データの復号が、パラメータ記憶部３に記憶されたパラメータを用いて行われる他は、図１の復号装置と同様の処理が行われるため、その処理についての説明は省略する。
【００２９】
次に、図４は、図３のパラメータ記憶部３に記憶させるパラメータを学習する学習装置の一実施の形態の構成例を示している。
【００３０】
学習用データ記憶部１１は、パラメータの学習に用いられるデータである学習用データを記憶している。
【００３１】
符号化部１２は、学習用データ記憶部１１に記憶されている学習用データを読み出し、図３の復号装置で復号対象とする符号化データと同一の符号化方式で、学習用データを符号化する。学習用データを符号化することにより得られる符号化データ（以下、適宜、学習用符号化データという）は、符号化部１２からミスマッチ検出部１３に供給されるようになっている。
【００３２】
ミスマッチ検出部１３は、図３のミスマッチ検出部１と同様に構成され、符号化部１２から供給される符号化データから、ミスマッチ情報を検出し、学習処理部１４に供給する。
【００３３】
学習処理部１４は、学習用データ記憶部１１に記憶されている学習用データを読み出し、その学習用データから、パラメータについての学習の教師となる教師データと、その学習の生徒となる生徒データを生成する。さらに、学習処理部１４は、ミスマッチ検出部１３から供給されるミスマッチ情報に基づき、生成した教師データと生徒データを用いて、パラメータを学習する。
【００３４】
次に、図５のフローチャートを参照して、図４の学習装置の処理（学習処理）について説明する。
【００３５】
まず最初に、ステップＳ１１において、符号化部１２は、学習用データ記憶部１１に記憶されている学習用データを読み出して符号化し、その結果得られる学習用符号化データを、ミスマッチ検出部１３に供給して、ステップＳ１２に進む。ステップＳ１２では、ミスマッチ検出部１３が、符号化部１２から供給される符号化データから、ミスマッチ情報を検出し、学習処理部１４に供給して、ステップＳ１３に進む。
【００３６】
ステップＳ１３では、学習処理部１４が、学習用データ記憶部１１から、学習用データを読み出し、その学習用データから、教師データと生徒データを生成する。さらに、学習処理部１４は、ミスマッチ検出部１３から供給されるミスマッチ情報に基づき、生成した教師データと生徒データを用いて、パラメータを学習する。
【００３７】
即ち、学習処理部１４は、ミスマッチ情報に基づき、生徒データから、対応する教師データを得ることができるようにするのに最適なパラメータを算出することができるようにするための処理（学習）を行う。
【００３８】
そして、ステップＳ１４に進み、符号化部１２または学習処理部１４が、まだ処理していない学習用データが、学習用データ記憶部１１に記憶されているかどうかを判定する。ステップＳ１４において、まだ処理していない学習用データが、学習用データ記憶部１１に記憶されていると判定された場合、ステップＳ１１に戻り、その、まだ処理していない学習用データを対象に、以下、同様の処理が繰り返される。
【００３９】
また、ステップＳ１４において、まだ処理していない学習用データが、学習用データ記憶部１１に記憶されていないと判定された場合、即ち、学習用データ記憶部１１に記憶された学習用データすべてを用いて学習を行った場合、ステップＳ１５に進み、学習処理部１４は、ステップＳ１３の学習結果に基づき、パラメータを算出し、処理を終了する。
【００４０】
次に、符号化データが、音声データをＣＥＬＰ方式で符号化したものである場合の復号装置と学習装置の詳細について説明する。なお、本実施の形態では、復号装置および学習装置は、本件出願人が先に提案したクラス分類適応処理を利用したものとなっている。
【００４１】
クラス分類適応処理は、クラス分類処理と適応処理とからなり、クラス分類処理によって、データが、その性質に基づいてクラス分けされ、各クラスごとに適応処理が施される。
【００４２】
ここで、適応処理について、低音質の音声（以下、適宜、低音質音声という）を、高音質の音声（以下、適宜、高音質音声という）に変換する場合を例に説明する。
【００４３】
この場合、適応処理では、低音質音声を構成する音声サンプル（以下、適宜、低音質音声サンプルという）と、所定のタップ係数との線形結合により、その低音質音声の音質を向上させた高音質音声の音声サンプルの予測値を求めることで、その低音質音声の音質を高くした音声が得られる。
【００４４】
具体的には、例えば、いま、ある高音質音声データを教師データとするとともに、その高音質音声の音質を劣化させた低音質音声データを生徒データとして、高音質音声を構成する音声サンプル（以下、適宜、高音質音声サンプルという）ｙの予測値Ｅ［ｙ］を、幾つかの低音質音声サンプル（低音質音声を構成する音声サンプル）ｘ1，ｘ2，・・・の集合と、所定のタップ係数ｗ1，ｗ2，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【００４５】
Ｅ［ｙ］＝ｗ1ｘ1＋ｗ2ｘ2＋・・・
・・・（１）
【００４６】
式（１）を一般化するために、タップ係数ｗjの集合でなる行列Ｗ、生徒データｘijの集合でなる行列Ｘ、および予測値Ｅ［ｙj］の集合でなる行列Ｙ’を、
【数１】
で定義すると、次のような観測方程式が成立する。
【００４７】
ＸＷ＝Ｙ’
・・・（２）
【００４８】
ここで、行列Ｘの成分ｘijは、ｉ件目の生徒データの集合（ｉ件目の教師データｙiの予測に用いる生徒データの集合）の中のｊ番目の生徒データを意味し、行列Ｗの成分ｗjは、生徒データの集合の中のｊ番目の生徒データとの積が演算されるタップ係数を表す。また、ｙiは、ｉ件目の教師データを表し、従って、Ｅ［ｙi］は、ｉ件目の教師データの予測値を表す。なお、式（１）の左辺におけるｙは、行列Ｙの成分ｙiのサフィックスｉを省略したものであり、また、式（１）の右辺におけるｘ1，ｘ2，・・・も、行列Ｘの成分ｘijのサフィックスｉを省略したものである。
【００４９】
式（２）の観測方程式に最小自乗法を適用して、高音質音声サンプルｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、教師データとなる高音質音声サンプルの真値ｙの集合でなる行列Ｙ、および高音質音声サンプルｙの予測値Ｅ［ｙ］の残差（真値ｙに対する誤差）ｅの集合でなる行列Ｅを、
【数２】
で定義すると、式（２）から、次のような残差方程式が成立する。
【００５０】
ＸＷ＝Ｙ＋Ｅ
・・・（３）
【００５１】
この場合、高音質音声サンプルｙに近い予測値Ｅ［ｙ］を求めるためのタップ係数ｗjは、自乗誤差
【数３】
を最小にすることで求めることができる。
【００５２】
従って、上述の自乗誤差をタップ係数ｗjで微分したものが０になる場合、即ち、次式を満たすタップ係数ｗjが、高音質音声サンプルｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【００５３】
【数４】
・・・（４）
【００５４】
そこで、まず、式（３）を、タップ係数ｗjで微分することにより、次式が成立する。
【００５５】
【数５】
・・・（５）
【００５６】
式（４）および（５）より、式（６）が得られる。
【００５７】
【数６】
・・・（６）
【００５８】
さらに、式（３）の残差方程式における生徒データｘij、タップ係数ｗj、教師データｙi、および残差ｅiの関係を考慮すると、式（６）から、次のような正規方程式を得ることができる。
【００５９】
【数７】
・・・（７）
【００６０】
なお、式（７）に示した正規方程式は、行列（共分散行列）Ａおよびベクトルｖを、
【数８】
で定義するとともに、ベクトルＷを、数１で示したように定義すると、式
ＡＷ＝ｖ
・・・（８）で表すことができる。
【００６１】
式（７）における各正規方程式は、生徒データｘijおよび教師データｙiのセットを、ある程度の数だけ用意することで、求めるべきタップ係数ｗjの数Ｊと同じ数だけたてることができ、従って、式（８）を、ベクトルＷについて解くことで（但し、式（８）を解くには、式（８）における行列Ａが正則である必要がある）、最適なタップ係数ｗjを求めることができる。なお、式（８）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることが可能である。
【００６２】
以上のように、生徒データと教師データを用いて、最適なタップ係数（ここでは、生徒データから教師データの予測値を求めた場合に、その予測値の自乗誤差の総和を最小にするタップ係数）ｗjを求める学習をしておき、さらに、そのタップ係数ｗjを用い、式（１）により、教師データｙに近い予測値Ｅ［ｙ］を求めるのが適応処理である。
【００６３】
なお、適応処理は、低音質音声には含まれていないが、高音質音声に含まれる成分が再現される点で、単なる補間とは異なる。即ち、適応処理では、式（１）だけを見る限りは、いわゆる補間フィルタを用いての単なる補間と同一に見えるが、その補間フィルタのタップ係数に相当するタップ係数ｗが、教師データｙを用いての、いわば学習により求められるため、高音質音声に含まれる成分を再現することができる。このことから、適応処理は、いわば音声の創造作用がある処理ということができる。
【００６４】
また、上述の場合には、教師データとして、高音質の音声データを用いるとともに、生徒データとして、教師データとしての音声データを低音質にした音声データを用いるようにしたが、その他、例えば、教師データとして、高画質の画像データを用いるとともに、生徒データとして、教師データとしての画像データに対して間引きを行ったり、ノイズを加えたり、あるいは、ローパスフィルタによるフィルタリングを施す等して低画質にしたものを用いるようにすることが可能である。この場合、低画質の画像を、高画質の画像（の予測値）に変換するタップ係数を得ることができる。
【００６５】
さらに、例えば、教師データとして、高画質の画像データを用いるとともに、生徒データとして、教師データとしての画像データを２次元ＤＣＴ変換し、さらに量子化、逆量子化して得られる２次元ＤＣＴ係数を用いるようにすることも可能である。この場合、２次元ＤＣＴ係数を、高画質の画像（の予測値）に変換するタップ係数を得ることができる。
【００６６】
また、上述の場合には、高音質音声の予測値を、線形１次予測するようにしたが、その他、予測値は、２次以上の式によって予測することも可能である。
【００６７】
図６は、上述のようなクラス分類適応処理によって、低音質音声データを高音質音声データに変換する音声データ処理装置の構成例を示している。
【００６８】
低音質音声データは、ピッチ検出部２１、並びにタップ抽出部２２および２３に供給されるようになっている。
【００６９】
ピッチ検出部２１は、そこに供給される低音質音声データのピッチ周期を検出し、タップ抽出部２２および２３に供給する。
【００７０】
タップ抽出部２２は、高音質音声データの音声サンプルを、順次、注目データとし、さらに、その注目データを予測するのに用いる低音質音声データの幾つかの音声サンプルを、予測タップとして抽出する。また、タップ抽出部２３は、注目データをクラス分類するのに用いる低音質音声データの幾つかの音声サンプルを、クラスタップとして抽出する。
【００７１】
ここで、タップ抽出部２２は、低音質音声データの音声サンプルのうち、注目データに対応する音声サンプルに近い位置にある幾つかの音声サンプルを、予測タップとして抽出する。また、タップ抽出部２２は、ピッチ検出部２１から供給される注目データに対応する位置のピッチ周期にしたがい、予測タップの構造を変更する。即ち、タップ抽出部２２は、ピッチ周期に応じて、予測タップとする低音質音声データの音声サンプルを変更する。具体的には、例えば、ピッチ周期が長い場合には、タップ抽出部２２は、低音質音声データの音声サンプルのうち、注目データに対応する音声サンプルから比較的広い範囲にわたって、所定数の音声サンプルを、予測タップとして抽出する。また、例えば、ピッチ周期が短い場合には、タップ抽出部２２は、低音質音声データの音声サンプルのうち、注目データに対応する音声サンプルから比較的狭い範囲にわたって、所定数の音声サンプルを、予測タップとして抽出する。
【００７２】
タップ抽出部２３も、タップ抽出部２２と同様にして、低音質音声データから、クラスタップを抽出する。
【００７３】
なお、ここでは、予測タップとクラスタップは、説明を簡単にするために、同一のタップ構造を有するものとする。但し、予測タップとクラスタップとは、異なるタップ構造とすることが可能である。
【００７４】
タップ抽出部２２で得られた予測タップは、予測部２６に供給され、タップ抽出部２３で得られたクラスタップは、クラス分類部２４に供給される。
【００７５】
クラス分類部２４は、タップ抽出部２３からのクラスタップに基づき、注目データをクラス分類し、その結果得られるクラスに対応するクラスコードを、係数メモリ２５に出力する。
【００７６】
ここで、クラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)等を採用することができる。
【００７７】
ADRCを用いる方法では、クラスタップを構成する音声サンプルが、ADRC処理され、その結果得られるADRCコードにしたがって、注目データのクラスが決定される。
【００７８】
なお、KビットADRCにおいては、例えば、クラスタップを構成する音声サンプルの最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する音声サンプルがKビットに再量子化される。即ち、クラスタップを構成する各音声サンプルから、最小値MINが減算され、その減算値がDR/2Kで除算（量子化）される。そして、以上のようにして得られる、クラスタップを構成するKビットの各音声サンプルを、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、クラスタップが、例えば、１ビットADRC処理された場合には、そのクラスタップを構成する各音声サンプルは、最小値MINが減算された後に、最大値MAXと最小値MINとの平均値で除算され（小数点以下切り捨て）、これにより、各音声サンプルが１ビットとされる（２値化される）。そして、その１ビットの音声サンプルを所定の順番で並べたビット列が、ADRCコードとして出力される。
【００７９】
なお、クラス分類部２４には、例えば、クラスタップを構成する音声サンプルのレベル分布のパターンを、そのままクラスコードとして出力させることも可能である。しかしながら、この場合、クラスタップが、Ｎ個の音声サンプルで構成され、各音声サンプルに、Ｋビットが割り当てられているとすると、クラス分類部２４が出力するクラスコードの場合の数は、（２N）K通りとなり、音声サンプルのビット数Ｋに指数的に比例した膨大な数となる。
【００８０】
従って、クラス分類部２４においては、クラスタップの情報量を、上述のADRC処理や、あるいはベクトル量子化等によって圧縮することにより、クラス分類を行うのが好ましい。
【００８１】
係数メモリ２５は、各クラスコードに対応するアドレスに、そのクラスコードに対応するクラスのタップ係数を記憶しており、クラス分類部２４から供給されるクラスコードに対応するアドレスに記憶されているタップ係数を、予測部２６に供給する。
【００８２】
予測部２６は、タップ抽出部２２が出力する予測タップと、係数メモリ２５が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、式（１）に示した線形予測演算を行う。これにより、予測部２６は、注目データとしての高音質音声データ（の予測値）を求めて出力する。
【００８３】
次に、図７は、図６の係数メモリ２５に記憶させるタップ係数を学習する学習装置の構成例を示している。
【００８４】
学習装置には、高音質音声データが、学習用音声データとして入力されるようになっており、この学習用音声データは、時間間引きフィルタ３１に供給されるとともに、教師データとして、足し込み部３６に供給される。
【００８５】
時間間引きフィルタ３１は、学習用音声データとしての高音質音声データの音声サンプルを、所定の間引き率で間引き、これにより、低音質音声データを生成し、生徒データとして、ピッチ検出部３２、並びにタップ抽出部３３および３４に供給する。
【００８６】
ピッチ検出部３２は、そこに供給される生徒データとしての低音質音声データのピッチ周期を検出し、タップ抽出部３３および３４に供給する。
【００８７】
タップ抽出部３３は、教師データとしての高音質音声データの音声サンプルを、順次、注目データとし、その注目データについて、図６のタップ抽出部２２が構成するのと同一構造の予測タップを、そこに供給される生徒データとしての低音質音声データから、幾つかの音声サンプルを抽出することにより構成する。タップ抽出部３４も、注目データについて、図６のタップ抽出部２３が構成するのと同一構造のクラスタップを、そこに供給される生徒データとしての低音質音声データから、幾つかの音声サンプルを抽出することにより構成する。
【００８８】
なお、タップ抽出部３３と３４は、それぞれ、図６のタップ抽出部２２と２３と同様に、ピッチ検出部３２から供給される、注目データに対応する位置のピッチ周期に応じて、予測タップとクラスタップのタップ構造を変更するようになっている。
【００８９】
タップ抽出部３３で得られた予測タップは、足し込み部３６に供給され、タップ抽出部３４で得られたクラスタップは、クラス分類部３５に供給される。
【００９０】
クラス分類部３５は、図６のクラス分類部２４における場合と同様に、タップ抽出部３３からのクラスタップに基づき、注目データをクラス分類し、その結果得られるクラスに対応するクラスコードを、足し込み部３６に出力する。
【００９１】
足し込み部３６は、そこに供給される教師データのうち、注目データとなっている教師データと、タップ抽出部３３から供給される予測タップを構成する生徒データを対象とした足し込みを、クラス分類部３５から供給されるクラスコードごとに行う。
【００９２】
即ち、足し込み部３６は、クラス分類部３５から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）を用い、式（８）の行列Ａにおける各コンポーネントとなっている、生徒データどうしの乗算（ｘinｘim）と、サメーション（Σ）に相当する演算を行う。
【００９３】
さらに、足し込み部３６は、やはり、クラス分類部３５から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）および注目データ（教師データ）を用い、式（８）のベクトルｖにおける各コンポーネントとなっている、生徒データと教師データの乗算（ｘinｙi）と、サメーション（Σ）に相当する演算を行う。
【００９４】
即ち、足し込み部３６は、前回、注目データとされた教師データについて求められた式（８）における行列Ａのコンポーネントと、ベクトルｖのコンポーネントを、その内蔵するメモリ（図示せず）に記憶しており、その行列Ａまたはベクトルｖの各コンポーネントに対して、新たに注目データとされた教師データについて、その教師データｙiおよび生徒データxin(xim)を用いて計算される、対応するコンポーネントｘinｘimまたはｘinｙiを足し込む（行列Ａ、ベクトルｖにおけるサメーションで表される加算を行う）。
【００９５】
そして、足し込み部３６は、そこに供給される教師データすべてを注目データとして、上述の足し込みを行うことにより、各クラスについて、式（８）に示した正規方程式をたて、タップ係数算出部３７に供給する。
【００９６】
タップ係数算出部３７は、足し込み部３６から供給されるクラスごとの正規方程式を解くことにより、各クラスごとのタップ係数を求めて出力する。図６の係数メモリ２５には、このようにして求められたクラスごとのタップ係数が記憶されている。
【００９７】
なお、入力される学習用音声データのサンプル数が十分でないこと等に起因して、タップ係数を求めるのに必要な数の正規方程式が得られないクラスが生じることがあり得るが、そのようなクラスについては、タップ係数算出部３７は、例えば、デフォルトのタップ係数を出力するようになっている。
【００９８】
次に、図８および図９を参照して、ＣＥＬＰ方式による音声データの符号化と復号について説明する。なお、ＣＥＬＰ方式としては、広義には、ＶＳＥＬＰ(Vector Sum Excited Liner Prediction)，ＰＳＩ−ＣＥＬＰ(Pitch Synchronous Innovation CELP)，ＣＳ−ＡＣＥＬＰ(Conjugate Structure Algebraic CELP)等があるが、ここでは、例えば、ＶＳＥＬＰ方式を例に説明する。
【００９９】
図８は、音声データを、ＶＳＥＬＰ方式により符号化するＶＳＥＬＰ符号化装置の構成例を示している。
【０１００】
符号化対象の音声は、マイク（マイクロフォン）４１に入力され、そこで、電気信号としての音声信号に変換され、Ａ／Ｄ(Analog/Digital)変換部４２に供給される。Ａ／Ｄ変換部４２は、マイク４１からのアナログの音声信号を、例えば、８ｋＨｚ等のサンプリング周波数でサンプリングすることにより、ディジタルの音声信号にＡ／Ｄ変換し、さらに、所定のビット数で量子化を行って、演算器４３とＬＰＣ(Liner Prediction Coefficient)分析部４４に供給する。
【０１０１】
ＬＰＣ分析部４４は、Ａ／Ｄ変換部４２からの音声信号を、例えば、１６０サンプル分の長さのフレームごとにＬＰＣ分析し、Ｐ次の線形予測係数α1，α2，・・・，αPを求める。そして、ＬＰＣ分析部４４は、このＰ次の線形予測係数αp（ｐ＝１，２，・・・，Ｐ）を要素とするベクトルを、音声の特徴ベクトルとして、ベクトル量子化部４５に供給する。
【０１０２】
ベクトル量子化部４５は、線形予測係数を要素とするコードベクトルとコードとを対応付けたコードブックを記憶しており、そのコードブックに基づいて、ＬＰＣ分析部４４からの特徴ベクトルαをベクトル量子化し、そのベクトル量子化の結果得られるコード（以下、適宜、Ａコード(A_code)という）を、コード決定部５５に供給する。
【０１０３】
さらに、ベクトル量子化部４５は、コード決定部５５に出力したＡコードに対応するコードベクトルα’を構成する要素となっている線形予測係数α1’，α2’，・・・，αP’を、音声合成フィルタ４６に供給する。
【０１０４】
音声合成フィルタ４６は、例えば、ＩＩＲ(Infinite Impulse Response)型のディジタルフィルタで、ベクトル量子化部４５からの線形予測係数αp’（ｐ＝１，２，・・・，Ｐ）をＩＩＲフィルタのフィルタ係数（タップ係数）とするとともに、演算器５４から供給される残差信号ｅを入力信号として、音声合成を行う。
【０１０５】
即ち、ＬＰＣ分析部４４で行われるＬＰＣ分析は、現在時刻ｎの音声信号（のサンプル値）ｓn、およびこれに隣接する過去のＰ個のサンプル値ｓn-1，ｓn-2，・・・，ｓn-Pに、式
ｓn＋α1ｓn-1＋α2ｓn-2＋・・・＋αPｓn-P＝en
・・・（９）で示す線形１次結合が成立すると仮定し、現在時刻ｎのサンプル値ｓnの予測値（線形予測値）ｓn’を、過去のＰ個のサンプル値ｓn-1，ｓn-2，・・・，ｓn-Pを用いて、式
ｓn’＝−（α1ｓn-1＋α2ｓn-2＋・・・＋αPｓn-P）
・・・（１０）
によって線形予測したときに、実際のサンプル値ｓnと線形予測値ｓn’との間の自乗誤差を最小にする線形予測係数αpを求めるものである。
【０１０６】
ここで、式（９）において、｛en｝（・・・，en-1，en，en+1，・・・）は、平均値が０で、分散が所定値σ2の互いに無相関な確率変数である。
【０１０７】
式（９）から、サンプル値ｓnは、式
ｓn＝en−（α1ｓn-1＋α2ｓn-2＋・・・＋αPｓn-P）
・・・（１１）で表すことができ、これを、Ｚ変換すると、次式が成立する。
【０１０８】
Ｓ＝Ｅ／（１＋α1ｚ-1＋α2ｚ-2＋・・・＋αPｚ-P）
・・・（１２）
但し、式（１２）において、ＳとＥは、式（１１）におけるｓnとｅnのＺ変換を、それぞれ表す。
【０１０９】
ここで、式（９）および（１０）から、ｅnは、式
ｅn＝ｓn−ｓn’
・・・（１３）で表すことができ、実際のサンプル値ｓnと線形予測値ｓn’との間の残差信号と呼ばれる。
【０１１０】
従って、式（１２）から、線形予測係数αpをＩＩＲフィルタのタップ係数とするとともに、残差信号ｅnをＩＩＲフィルタの入力信号とすることにより、音声信号ｓnを求めることができる。
【０１１１】
そこで、音声合成フィルタ４６は、上述したように、ベクトル量子化部４５からの線形予測係数αp’をタップ係数とするとともに、演算器５４から供給される残差信号ｅを入力信号として、式（１２）を演算し（残差信号ｅをフィルタリングし）、音声信号（合成音信号）ｓｓを求める。
【０１１２】
なお、音声合成フィルタ４６では、ＬＰＣ分析部４４によるＬＰＣ分析の結果得られる線形予測係数αpではなく、そのベクトル量子化の結果得られるコードに対応するコードベクトルとしての線形予測係数αp’が、フィルタ係数として用いられるため、音声合成フィルタ４６が出力する合成音信号は、Ａ／Ｄ変換部４２が出力する音声信号とは、基本的に同一にはならない。
【０１１３】
音声合成フィルタ４６が出力する合成音信号ｓｓは、演算器４３に供給される。演算器４３は、音声合成フィルタ４６からの合成音信号ｓｓから、Ａ／Ｄ変換部４２が出力する音声信号ｓを減算し、その減算値を、自乗誤差演算部４７に供給する。自乗誤差演算部４７は、演算器４３からの減算値の自乗和（第ｋフレームのサンプル値についての自乗和）を演算し、その結果得られる自乗誤差を、自乗誤差最小判定部４８に供給する。
【０１１４】
自乗誤差最小判定部４８は、自乗誤差演算部４７が出力する自乗誤差に対応付けて、ラグを表すコードとしてのＬコード(L_code)、ゲインを表すコードとしてのＧコード(G_code)、および符号語を表すコードとしてのＩコード(I_code)を記憶しており、自乗誤差演算部４７が出力する自乗誤差に対応するＬコード、Ｇコード、およびＬコードを出力する。Ｌコードは、適応コードブック記憶部４９に、Ｇコードは、ゲイン復号器５０に、Ｉコードは、励起コードブック記憶部５１に、それぞれ供給される。さらに、Ｌコード、Ｇコード、およびＩコードは、コード決定部５５にも供給される。
【０１１５】
適応コードブック記憶部４９は、例えば７ビットのＬコードと、所定の遅延時間（ラグ）とを対応付けた適応コードブックを記憶しており、演算器５４から供給される残差信号ｅを、自乗誤差最小判定部４８から供給されるＬコードに対応付けられた遅延時間だけ遅延して、演算器５２に出力する。
【０１１６】
ここで、適応コードブック記憶部４９は、残差信号ｅを、Ｌコードに対応する時間だけ遅延して出力することから、その出力信号は、その遅延時間を周期とする周期信号に近い信号となる。この信号は、線形予測係数を用いた音声合成において、主として、有声音の合成音を生成するための駆動信号となる。従って、Ｌコードに対応する時間は、有声音のピッチ周期を表すことになる。
【０１１７】
ゲイン復号器５０は、Ｇコードと、所定のゲインβおよびγとを対応付けたテーブルを記憶しており、自乗誤差最小判定部４８から供給されるＧコードに対応付けられたゲインβおよびγを出力する。ゲインβとγは、演算器５２と５３に、それぞれ供給される。
【０１１８】
励起コードブック記憶部５１は、例えば９ビットのＩコードと、所定の励起信号とを対応付けた励起コードブックを記憶しており、自乗誤差最小判定部４８から供給されるＩコードに対応付けられた励起信号を、演算器５３に出力する。
【０１１９】
ここで、励起コードブックに記憶されている励起信号は、例えば、ホワイトノイズ等に近い信号であり、線形予測係数を用いた音声合成において、主として、無声音の合成音を生成するための駆動信号となる。
【０１２０】
演算器５２は、適応コードブック記憶部４９の出力信号と、ゲイン復号器５０が出力するゲインβとを乗算し、その乗算値ｌを、演算器５４に供給する。演算器５３は、励起コードブック記憶部５１の出力信号と、ゲイン復号器５０が出力するゲインγとを乗算し、その乗算値ｎを、演算器５４に供給する。演算器５４は、演算器５２からの乗算値ｌと、演算器５３からの乗算値ｎとを加算し、その加算値を、残差信号ｅとして、音声合成フィルタ４６に供給する。
【０１２１】
音声合成フィルタ４６では、以上のようにして、演算器５４から供給される残差信号ｅが、ベクトル量子化部４５から供給される線形予測係数αp’をタップ係数とするＩＩＲフィルタでフィルタリングされ、その結果得られる合成音信号が、演算器４３に供給される。そして、演算器４３および自乗誤差演算部４７において、上述の場合と同様の処理が行われ、その結果得られる自乗誤差が、自乗誤差最小判定部４８に供給される。
【０１２２】
自乗誤差最小判定部４８は、自乗誤差演算部４７からの自乗誤差が最小（極小）になったかどうかを判定する。そして、自乗誤差最小判定部４８は、自乗誤差が最小になっていないと判定した場合、上述のように、その自乗誤差に対応するＬコード、Ｇコード、およびＬコードを出力し、以下、同様の処理が繰り返される。
【０１２３】
一方、自乗誤差最小判定部４８は、自乗誤差が最小になったと判定した場合（例えば、自乗誤差が、所定の閾値以下となった場合）、確定信号を、コード決定部５５に出力する。コード決定部５５は、ベクトル量子化部４５から供給されるＡコードをラッチするとともに、自乗誤差最小判定部４８から供給されるＬコード、Ｇコード、およびＩコードを順次ラッチするようになっており、自乗誤差最小判定部４８から確定信号を受信すると、そのときラッチしているＡコード、Ｌコード、Ｇコード、およびＩコードを、チャネルエンコーダ５６に供給する。チャネルエンコーダ５６は、コード決定部５５からのＡコード、Ｌコード、Ｇコード、およびＩコードを多重化し、符号化データとして出力する。
【０１２４】
なお、以下では、説明を簡単にするため、Ａコード、Ｌコード、Ｇコード、およびＩコードは、フレームごとに求められるものとする。但し、例えば、１フレームを、４つのサブフレームに分割し、Ｌコード、Ｇコード、およびＩコードは、サブフレームごとに求めるようにすること等が可能である。
【０１２５】
ここで、図８（後述する図９乃至図１１においても同様）では、各変数に、[k]が付され、配列変数とされている。このkは、フレーム数を表すが、明細書中では、その記述は、適宜省略する。
【０１２６】
次に、図９は、図８のＶＳＥＬＰ符号化装置が出力する符号化データを、ＶＳＥＬＰ方式で復号するＶＳＥＬＰ復号装置の構成例を示している。
【０１２７】
図８のＶＳＥＬＰ符号化装置が出力する符号化データは、チャネルデコーダ６１に供給される。チャネルデコーダ６１は、符号化データから、Ｌコード、Ｇコード、Ｉコード、Ａコードを分離し、それぞれを、適応コードブック記憶部６２、ゲイン復号器６３、励起コードブック記憶部６４、フィルタ係数復号器６５に供給する。
【０１２８】
適応コードブック記憶部６２、ゲイン復号器６３、励起コードブック記憶部６４、演算器６６乃至６８は、図８の適応コードブック記憶部４９、ゲイン復号器５０、励起コードブック記憶部５１、演算器５２乃至５４とそれぞれ同様に構成されるもので、図８で説明した場合と同様の処理が行われることにより、Ｌコード、Ｇコード、およびＩコードが、残差信号ｅに復号される。この残差信号ｅは、音声合成フィルタ６９に対して、入力信号として与えられる。
【０１２９】
フィルタ係数復号器６５は、図８のベクトル量子化部４５が記憶しているのと同一のコードブックを記憶しており、Ａコードを、線形予測係数αp’に復号し、音声合成フィルタ６９に供給する。
【０１３０】
音声合成フィルタ６９は、図８の音声合成フィルタ４６と同様に構成されており、フィルタ係数復号器６５からの線形予測係数αp’をフィルタ係数（タップ係数）とするとともに、演算器６８から供給される残差信号ｅを入力信号として、式（１２）を演算し、これにより、図８の自乗誤差最小判定部４８において自乗誤差が最小と判定されたときの合成音信号を生成し、復号音声データとして出力する。
【０１３１】
以上のように、図８のＶＳＥＬＰ符号化装置では、図９のＶＳＥＬＰ復号装置の音声合成フィルタ６９に与えられる残差信号と線形予測係数がコード化されて送信されてくるため、図９のＶＳＥＬＰ復号装置では、そのコードが、残差信号と線形予測係数に復号され、音声合成フィルタ６９に与えられる。
【０１３２】
しかしながら、この復号された残差信号や線形予測係数（以下、適宜、それぞれを、復号残差信号または復号線形予測係数という）には、量子化誤差（ベクトル量子化による誤差）等の誤差が含まれるため、音声をＬＰＣ分析して得られる残差信号と線形予測係数には一致しない。
【０１３３】
このため、図９のＶＳＥＬＰ復号装置の音声合成フィルタ６９が出力する復号音声データは、歪みを有する、音質の劣化したものとなる。
【０１３４】
そこで、ＶＳＥＬＰ復号装置において、上述したクラス分類適応処理を行うようにすることにより、音質を向上させた復号音声データを得ることが可能となる。
【０１３５】
図１０は、そのようなＶＳＥＬＰ復号装置の構成例を示している。なお、図中、図９における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０１３６】
タップ抽出部８１には、音声合成フィルタ６９が出力する復号音声データが供給されるようになっており、タップ抽出部８１は、図６のタップ抽出部２２と同様に、その復号音声データから、予測タップとするもの（サンプル値）を抽出し、予測部８５に供給する。
【０１３７】
タップ抽出部８２にも、音声合成フィルタ６９が出力する復号音声データが供給されるようになっており、タップ抽出部８２は、図６のタップ抽出部２３と同様に、その復号音声データから、クラスタップとするもの（サンプル値）を抽出し、クラス分類部８３に供給する。
【０１３８】
クラス分類部８３は、図６のクラス分類部２４と同様に、タップ抽出部８２から供給されるクラスタップに基づいて、クラス分類を行い、そのクラス分類結果としてのクラスコードを、係数メモリ８４に供給する。
【０１３９】
係数メモリ８４は、後述する図１１の学習装置において学習処理が行われることにより得られる、クラスごとのタップ係数を記憶しており、クラス分類部８３が出力するクラスコードに対応するアドレスに記憶されているタップ係数を、予測部８５に供給する。
【０１４０】
予測部８５は、図６の予測部２６と同様に、タップ抽出部８１が出力する予測タップと、係数メモリ８４が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、式（１）に示した線形予測演算を行う。これにより、予測部８５は、音声合成フィルタ６９が出力する低音質の復号音声データを高音質にした高音質音声データを出力する。
【０１４１】
なお、タップ抽出部８１には、チャネルデコーダ６１が出力する、フレーム（またはサブフレーム）ごとのＬコード、Ｇコード、Ｉコード、およびＡコードが供給されるようになっている。そして、タップ抽出部８１では、Ｌコード、Ｇコード、Ｉコード、またはＡコードからも、予測タップを抽出することができるようになっている。さらに、タップ抽出部８１では、Ｌコード、Ｇコード、Ｉコード、またはＡコードに基づいて、予測タップのタップ構造を変更することも可能となっている。
【０１４２】
タップ抽出部８２にも、チャネルデコーダ６１が出力するＬコード、Ｇコード、Ｉコード、およびＡコードが供給されるようになっており、タップ抽出部８２でも、タップ抽出部８１における場合と同様に、Ｌコード、Ｇコード、Ｉコード、またはＡコードからも、クラスタップを抽出し、さらには、Ｌコード、Ｇコード、Ｉコード、またはＡコードに基づいて、クラスタップのタップ構造を変更することが可能となっている。
【０１４３】
次に、図１１は、図１０の係数メモリ８４に記憶させるタップ係数の学習処理を行う学習装置の構成例を示している。
【０１４４】
演算器９３乃至コード決定部１０５は、図８の演算器４３乃至コード決定部４５とそれぞれ同様に構成される。演算器９３には、学習用音声信号が入力されるようになっており、従って、演算器９３乃至コード決定部１０５では、その学習用音声信号に対して、図８における場合と同様の処理が施される。
【０１４５】
そして、タップ抽出部１１１と１１２には、自乗誤差最小判定部９８において自乗誤差が最小になったと判定されたときの音声合成フィルタ９６が出力する復号音声データが、生徒データとして供給される。また、足し込み部１１４には、学習用音声信号が、そのまま教師データとして供給される。
【０１４６】
タップ抽出部１１１は、音声合成フィルタ９６が出力する復号音声データの音声サンプルから、図１０のタップ抽出部８１と同一構造の予測タップを抽出し、足し込み部１１４に供給する。
【０１４７】
タップ抽出部１１２も、音声合成フィルタ９６が出力する復号音声データの音声サンプルから、図１０のタップ抽出部８２と同一構造のクラスタップを抽出し、クラス分類部１１３に供給する。
【０１４８】
クラス分類部１１３は、タップ抽出部１１２からのクラスタップに基づいて、図１０のクラス分類部８３における場合と同様のクラス分類を行い、その結果得られるクラスコードを、足し込み部１１４に供給する。
【０１４９】
足し込み部１１４は、学習用音声信号を、教師データとして受信するとともに、タップ抽出部１１１からの予測タップを、生徒データとして受信し、その教師データおよび生徒データを対象として、クラス分類部１１３からのクラスコードごとに、図７の足し込み部３６における場合と同様の足し込みを行うことにより、各クラスについて、式（８）に示した正規方程式をたてる。
【０１５０】
タップ係数算出部１１５は、図７のタップ係数算出部３７と同様に、足し込み部１１４においてクラスごとに生成された正規方程式を解くことにより、クラスごとに、タップ係数を求めて出力する。
【０１５１】
図１０の係数メモリ８４には、以上のようにして、タップ係数算出部１１５から出力されるクラスごとのタップ係数が記憶されている。
【０１５２】
従って、図１０の係数メモリ８４に記憶されたタップ係数は、線形予測演算を行うことにより得られる高音質の音声の予測値の予測誤差（自乗誤差）が、統計的に最小になるように学習を行うことにより求められたものであるから、図１０の予測部８５が出力する音声データは、高音質のものとなる。
【０１５３】
なお、タップ抽出部１１１と１１２には、コード決定部１０５が、自乗誤差最小判定部９８から確定信号を受信したときに出力するＬコード、Ｇコード、Ｉコード、およびＡコードが供給されるようになっており、図１０のタップ抽出部８１や８２において、Ｌコード、Ｇコード、Ｉコード、またはＡコードを用いて予測タップやクラスタップが構成される場合には、タップ抽出部１１１や１１２でも、Ｌコード、Ｇコード、Ｉコード、またはＡコードを用いて予測タップやクラスタップが構成されるようになっている。
【０１５４】
次に、図１２は、図３の復号装置の詳細構成例を示している。
【０１５５】
符号化特性情報抽出部１２１には、復号対象の符号化データが供給されるようになっており、符号化特性情報抽出部１２１は、符号化データから、その符号化データに含まれる特性データを抽出して、判定部１２３に供給する。
【０１５６】
実特性抽出部１２２にも、復号対象の符号化データが供給されるようになっており、実特性抽出部１２２は、符号化データに対応する元のデータの実際の特性である実特性を抽出し、判定部１２３に供給する。
【０１５７】
ここで、例えば、符号化データが、音声データを符号化したものである場合には、実特性抽出部１２２は、例えば、その音声データのピッチ周期を、実特性として求める。また、例えば、符号化データが、画像データを符号化したものである場合には、実特性抽出部１２２は、例えば、その画像データの動きを評価する評価値を、実特性として求める。
【０１５８】
判定部１２３は、符号化特性情報抽出部１２１から供給される特性データと、実特性抽出部１２２から供給される実特性とを比較することにより、特性データの正しさを判定する。そして、判定部１２３は、その特性データの正しさの判定結果としてのミスマッチ情報を、復号処理部２に出力する。
【０１５９】
なお、以上の符号化特性情報抽出部１２１、実特性抽出部１２２、および判定部１２３が、ミスマッチ検出部１を構成している。
【０１６０】
前処理部１３１には、復号対象の符号化データが供給されるようになっており、前処理部１３１は、符号化データに対して、所定の前処理を施し、その結果得られる前処理データを、クラス分類適応処理部１３２に供給する。
【０１６１】
クラス分類適応処理部１３２は、前処理部１３１から供給される前処理データから、予測タップおよびクラスタップを構成し、係数メモリ１４１を参照することで、上述したようなクラス分類適応処理を行う。そして、クラス分類適応処理部１３２は、クラス分類適応処理を行うことによって得られるデータ（以下、適宜、適応処理データという）を、後処理部１３３に出力する。
【０１６２】
ここで、クラス分類適応処理部１３２には、ミスマッチ検出部１の判定部１２３が出力するミスマッチ情報が供給されるようになっており、クラス分類適応処理部１３２では、このミスマッチ情報に基づき、クラス分類適応処理が行われるようになっている。
【０１６３】
後処理部１３３は、クラス分類適応処理部１３２が出力するデータに対して、所定の後処理を施し、これにより、符号化データを、高品質の復号データに復号したものを得て出力する。
【０１６４】
なお、以上の前処理部１３１、クラス分類適応処理部１３２、および後処理部１３３が、復号処理部２を構成している。
【０１６５】
係数メモリ１４１は、クラス分類適応処理部１３２がクラス分類適応処理を行うのに用いるクラスごとのタップ係数を記憶している。
【０１６６】
なお、この係数メモリ１４１によって、パラメータ記憶部３が構成されている。
【０１６７】
次に、図１３は、図１２のクラス分類適応処理部１３２の構成例を示している。
【０１６８】
前処理部１３１が出力する前処理データは、タップ抽出部１５１および１５２に供給されるようになっている。
【０１６９】
タップ抽出部１５１は、得ようとしている適応処理データを、注目データとし、さらに、その注目データを予測するのに用いる前処理データの幾つかを、予測タップとして抽出する。また、タップ抽出部１５２は、注目データをクラス分類するのに用いる前処理データの幾つかを、クラスタップとして抽出する。
【０１７０】
ここで、タップ抽出部１５１および１５２には、判定部１２３（図１２）が出力するミスマッチ情報も供給されるようになっている。そして、タップ抽出部１５１と１５２は、ミスマッチ情報に基づき、予測タップとクラスタップの構造を、それぞれ変更するようになっている。
【０１７１】
なお、ここでは、説明を簡単にするために、予測タップとクラスタップは、同一のタップ構造を有するものとする。但し、予測タップとクラスタップとは、異なるタップ構造とすることが可能である。
【０１７２】
タップ抽出部１５１で得られた予測タップは、予測部１５４に供給され、タップ抽出部１５２で得られたクラスタップは、クラス分類部１５３に供給される。
【０１７３】
クラス分類部１５３には、クラスタップの他、ミスマッチ情報も供給されるようになっており、クラス分類部１５３は、タップ抽出部１５２からのクラスタップとミスマッチ情報に基づき、注目データをクラス分類し、その結果得られるクラスに対応するクラスコードを、係数メモリ１４１に供給する。
【０１７４】
係数メモリ１４１は、各クラスコードに対応するアドレスに、そのクラスコードに対応するクラスのタップ係数を記憶しており、クラス分類部１５３から供給されるクラスコードに対応するアドレスに記憶されているタップ係数を、予測部１５４に供給する。
【０１７５】
予測部１５４は、タップ抽出部１５１が出力する予測タップと、係数メモリ１４１が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、式（１）に示した線形予測演算を行う。これにより、予測部１５４は、適応処理データ（の予測値）を求めて出力する。
【０１７６】
次に、図１４のフローチャートを参照して、図１２の復号装置の処理（復号処理）について説明する。
【０１７７】
クラス分類適応処理部１３２（図１３）のタップ抽出部１５１では、得ようとしている適応処理データが、注目データとされ、ステップＳ２１において、ミスマッチ検出部１が、その注目データに対応する符号化データ（以下、適宜、注目符号化データという）から、ミスマッチ情報を生成する。
【０１７８】
即ち、ミスマッチ検出部１では、符号化特性情報抽出部１２１が、注目符号化データから、その注目符号化データに含まれる特性データを抽出し、判定部１２３に供給するとともに、実特性抽出部１２２が、注目符号化データに対応する元のデータの実際の特性である実特性を抽出し、判定部１２３に供給する。そして、判定部１２３は、符号化特性情報抽出部１２１から供給される特性データと、実特性抽出部１２２から供給される実特性とを比較することにより、特性データの正しさを判定し、その判定結果としてのミスマッチ情報を、クラス分類適応処理部１３２に供給する。
【０１７９】
そして、ステップＳ２２に進み、前処理部１３１は、注目データについての予測タップとクラスタップを構成するのに必要な前処理データを得るための符号化データに対して、前処理を施し、その結果得られる前処理データを、クラス分類適応処理部１３２に供給する。
【０１８０】
クラス分類適応処理部１３２（図１３）では、ステップＳ２３において、タップ抽出部１５１と１５２が、前処理部１３１から供給される前処理データを用い、ミスマッチ検出部１からのミスマッチ情報に基づくタップ構造の予測タップとクラスタップを、それぞれ構成する。そして、予測タップは、タップ抽出部１５１から予測部１５４に供給され、クラスタップは、タップ抽出部１５２からクラス分類部１５３に供給される。
【０１８１】
クラス分類部１５３は、タップ抽出部１５２から、注目データについてのクラスタップを受信し、ステップＳ２４において、そのクラスタップと、ミスマッチ検出部１から供給されるミスマッチ情報に基づき、注目データをクラス分類し、注目データのクラスを表すクラスコードを、係数メモリ１４１に出力する。
【０１８２】
係数メモリ１４１は、クラス分類部１５３から供給されるクラスコードに対応するアドレスに記憶されているタップ係数を読み出して出力する。予測部１５４は、ステップＳ２５において、係数メモリ１４１が出力するタップ係数を取得し、ステップＳ２６に進む。
【０１８３】
ステップＳ２６では、予測部１５４が、タップ抽出部１５１が出力する予測タップと、係数メモリ１４１から取得したタップ係数とを用いて、式（１）に示した線形予測演算を行う。これにより、予測部１５４は、注目データとしての適応処理データ（の予測値）を求め、後処理部１３３に供給する。
【０１８４】
後処理部１３３（図１２）は、ステップＳ２７において、クラス分類適応処理部１３２（の予測部１５４）からの注目データに対して、所定の後処理を施し、これにより、復号データを得て出力する。
【０１８５】
その後、ステップＳ２８に進み、まだ、注目データとしていない適応処理データがあるかどうかが判定される。ステップＳ２８において、まだ、注目データとしていない適応処理データがあると判定された場合、その、まだ注目データとされていない適応処理データのうちの１つが、新たに注目データとされ、ステップＳ２１に戻り、以下、同様の処理が繰り返される。
【０１８６】
また、ステップＳ２８において、まだ、注目データとされていない適応処理データがないと判定された場合、処理を終了する。
【０１８７】
次に、図１５は、図１２の係数メモリ１４１に記憶させるタップ係数を学習する場合の、図４の学習装置の詳細構成例を示している。
【０１８８】
図１５の実施の形態において、ミスマッチ検出部１３は、符号化特性情報抽出部１７１、実特性抽出部１７２、および判定部１７３から構成されており、符号化部１２が出力する符号化データは、符号化特性情報抽出部１７１、実特性抽出部１７２に供給されるようになっている。符号化特性情報抽出部１７１、実特性抽出部１７２、または判定部１７３は、図１２の符号化特性情報抽出部１２１、実特性抽出部１２２、または判定部１２３とそれぞれ同様に構成されており、図１２で説明した場合と同様に、後述する注目教師データに対応する符号化データから、ミスマッチ情報を求めて、学習処理部１４に供給する。
【０１８９】
学習処理部１４は、適応学習部１６０、教師データ生成部１６１、および生徒データ生成部１６３から構成されている。
【０１９０】
適応学習部１６０は、教師データ記憶部１６２、生徒データ記憶部１６４、タップ抽出部１６５および１６６、クラス分類部１６７、足し込み部１６８、およびタップ係数算出部１６９から構成され、教師データ生成部１６１は、逆後処理部１６１Ａから構成され、生徒データ生成部１６３は、符号化部１６３Ａおよび前処理部１６３Ｂから構成されている。
【０１９１】
逆後処理部１６１Ａは、学習用データ記憶部１１から学習用データを読み出し、図１２の後処理部１３３が行う処理と相補的な関係にある処理（以下、適宜、逆後処理という）を行う。即ち、例えば、学習用データをｙとするとともに、図１２の後処理部１３３が、適応処理データｘに対して施す後処理を、関数ｆ（ｘ）で表すとすると、逆後処理部１６１Ａは、学習用データｙに対して、関数ｆ-1（ｙ）（ｆ-1（）は、関数ｆ（）の逆関数を表す）で表される処理を逆後処理として施し、その結果得られるデータを、教師データとして、適応学習部１６０に出力する。なお、逆後処理部１６１Ａが出力する教師データは、図１２のクラス分類適応処理部１３２から後処理部１３３に供給される適応データに相当する。
【０１９２】
教師データ記憶部１６２は、教師データ生成部１６１（の逆後処理部１６１Ａ）が出力する教師データを一時記憶する。
【０１９３】
符号化部１６３Ａは、学習用データ記憶部１１から学習用データを読み出し、符号化部１２と同一の符号化方式で符号化して出力する。従って、符号化部１６３Ａは、符号化部１２が出力するのと同一の符号化データを出力する。なお、符号化部１２と１６３Ａとは、１つの符号化部で共用することが可能である。
【０１９４】
前処理部１６３Ｂは、符号化部１６３Ａが出力する符号化データに対して、図１２の前処理部１３１が行うのと同一の前処理を施し、その結果得られる前処理データを、生徒データとして、適応学習部１６０に出力する。なお、前処理部１６３Ｂが出力する生徒データは、図１２の前処理部１３１からクラス分類適応処理部１３２に供給される前処理データに相当する。
【０１９５】
生徒データ記憶部１６４は、生徒データ生成部１６３（の前処理部１６３Ｂ）が出力する生徒データを一時記憶する。
【０１９６】
タップ抽出部１６５は、教師データ記憶部１６２に記憶された教師データを、順次、注目教師データとし、その注目教師データについて、生徒データ記憶部１６４に記憶された生徒データを抽出することにより、図１３のタップ抽出部１５１が構成するのと同一のタップ構造の予測タップを構成して出力する。なお、タップ抽出部１６５には、ミスマッチ検出部１３（の判定部１７３）が出力するミスマッチ情報が供給されるようになっており、タップ抽出部１６５は、図１３のタップ抽出部１５１と同様に、注目教師データについてのミスマッチ情報に基づいて、予測タップのタップ構造を変更するようになっている。
【０１９７】
タップ抽出部１６６は、注目教師データについて、生徒データ記憶部１６４に記憶された生徒データを抽出することにより、図１３のタップ抽出部１５２が構成するのと同一のタップ構造のクラスタップを構成して出力する。なお、タップ抽出部１６６には、ミスマッチ検出部１３が出力するミスマッチ情報が供給されるようになっており、タップ抽出部１６６は、図１３のタップ抽出部１５２と同様に、注目教師データについてのミスマッチ情報に基づいて、クラスタップのタップ構造を変更するようになっている。
【０１９８】
クラス分類部１６７には、タップ抽出部１６６が出力するクラスタップと、ミスマッチ検出部１３が出力するミスマッチ情報が供給されるようになっている。クラス分類部１６７は、注目教師データについてのクラスタップとミスマッチ情報に基づき、図１３のクラス分類部１５３と同一のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部１６８に出力する。
【０１９９】
足し込み部１６８は、教師データ記憶部１６２から、注目教師データを読み出し、その注目教師データと、タップ抽出部１６５から供給される注目教師データについて構成された予測タップを構成する生徒データを対象とした足し込みを、クラス分類部１６７から供給されるクラスコードごとに行う。
【０２００】
即ち、足し込み部１６８は、クラス分類部１６７から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）を用い、式（８）の行列Ａにおける各コンポーネントとなっている、生徒データどうしの乗算（ｘinｘim）と、サメーション（Σ）に相当する演算を行う。
【０２０１】
さらに、足し込み部１６８は、やはり、クラス分類部１６７から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）および教師データを用い、式（８）のベクトルｖにおける各コンポーネントとなっている、生徒データと教師データの乗算（ｘinｙi）と、サメーション（Σ）に相当する演算を行う。
【０２０２】
即ち、足し込み部１６８は、前回、注目教師データとされた教師データについて求められた式（８）における行列Ａのコンポーネントと、ベクトルｖのコンポーネントを、その内蔵するメモリ（図示せず）に記憶しており、その行列Ａまたはベクトルｖの各コンポーネントに対して、新たに注目教師データとされた教師データについて、その教師データｙiおよび生徒データxin(xim)を用いて計算される、対応するコンポーネントｘinｘimまたはｘinｙiを足し込む（行列Ａ、ベクトルｖにおけるサメーションで表される加算を行う）。
【０２０３】
そして、足し込み部１６８は、教師データ記憶部１６２に記憶された教師データすべてを注目教師データとして、上述の足し込みを行うことにより、各クラスについて、式（８）に示した正規方程式をたてると、その正規方程式を、タップ係数算出部１６９に供給する。
【０２０４】
タップ係数算出部１６９は、足し込み部１６８から供給されるクラスごとの正規方程式を解くことにより、各クラスごとのタップ係数を求めて出力する。
【０２０５】
次に、図１６のフローチャートを参照して、図１５の学習装置の処理（学習処理）について、説明する。
【０２０６】
まず最初に、ステップＳ３１において、教師データ生成部１６１と生徒データ生成部１６３が、学習用データ記憶部１１に記憶された学習用データから、教師データと生徒データを、それぞれ生成する。教師データは、教師データ生成部１６１から教師データ記憶部１６２に供給されて記憶され、生徒データは、生徒データ生成部１６３から生徒データ記憶部１６４に供給されて記憶される。
【０２０７】
その後、タップ抽出部１６５は、教師データ記憶部１６２に記憶された教師データのうち、まだ、注目教師データとしていないものを、注目教師データとする。そしてステップＳ３２において、符号化部１２は、学習用データ記憶部１１に記憶された学習用データを符号化し、これにより、注目教師データに対応する符号化データ（注目教師データに対応する学習用データを符号化したもの）を得て、ミスマッチ検出部１３に供給する。
【０２０８】
ミスマッチ検出部１３は、符号化部１２から供給される符号化データから、注目教師データについてのミスマッチ情報を生成し、学習処理部１４のタップ抽出部１６５および１６６、並びにクラス分類部１６７に供給する。
【０２０９】
そして、ステップＳ３４に進み、タップ抽出部１６５が、ミスマッチ情報に基づき、注目教師データについて、生徒データ記憶部１６４に記憶された生徒データを読み出して予測タップを構成し、足し込み部１６８に供給するとともに、タップ抽出部１６６が、やはり、ミスマッチ情報に基づき、注目教師データについて、生徒データ記憶部１６４に記憶された生徒データを読み出してクラスタップを構成し、クラス分類部１６７に供給する。
【０２１０】
クラス分類部１６７は、ステップＳ３５において、注目教師データについてのクラスタップとミスマッチ情報に基づき、注目教師データについてクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部１６８に出力する。
【０２１１】
足し込み部１６８は、ステップＳ３６において、教師データ記憶部１６２から注目教師データを読み出し、その注目教師データと、タップ抽出部１６５からの予測タップを用い、式（８）の行列Ａとベクトルｖのコンポーネントを計算する。さらに、足し込み部１６８は、既に得られている行列Ａとベクトルｖのコンポーネントのうち、クラス分類部１６７からのクラスコードに対応するものに対して、注目データと予測タップから求められた行列Ａとベクトルｖのコンポーネントを足し込み、ステップＳ３７に進む。
【０２１２】
ステップＳ３７では、タップ抽出部１６５が、教師データ記憶部１６２に、まだ、注目教師データとしていない教師データが記憶されているかどうかを判定する。ステップＳ３７において、注目教師データとしていない教師データが、まだ、教師データ記憶部１６２に記憶されていると判定された場合、タップ抽出部１６５は、まだ注目教師データとしていない教師データを、新たに、注目教師データとして、ステップＳ３２に戻り、以下、同様の処理が繰り返される。
【０２１３】
また、ステップＳ３７において、注目教師データとしていない教師データが、教師データ記憶部１６２に記憶されていないと判定された場合、足し込み部１６８は、いままでの処理によって得られたクラスごとの行列Ａおよびベクトルｖのコンポーネントで構成される式（８）の正規方程式を、タップ係数算出部１６９に供給し、ステップＳ３８に進む。
【０２１４】
ステップＳ３８では、タップ係数算出部１６９は、足し込み部１６８から供給される各クラスごとの正規方程式を解くことにより、各クラスごとに、タップ係数を求めて出力し、処理を終了する。
【０２１５】
なお、学習用データ記憶部１１に記憶されているる学習用データの数が十分でないこと等に起因して、タップ係数を求めるのに必要な数の正規方程式が得られないクラスが生じることがあり得るが、そのようなクラスについては、タップ係数算出部１６９は、例えば、デフォルトのタップ係数を出力するようになっている。
【０２１６】
次に、図１７は、符号化データが音声データをＣＥＬＰ方式で符号化したものである場合の、図１２の復号装置の第１の詳細構成例を示している。
【０２１７】
図１７の実施の形態では、符号化特性情報抽出部１２１は、チャネルデコーダ１８１で構成されている。チャネルデコーダ１８１は、例えば、図９のチャネルデコーダ６１と同様に構成されており、符号化データから、Ｌコードを抽出し、特性データとして、判定部１２３に供給する。
【０２１８】
実特性抽出部１２２は、ＶＳＥＬＰ復号装置１８２およびピッチ検出部１８３で構成されている。ＶＳＥＬＰ復号装置１８２は、図９に示したＶＳＥＬＰ復号装置と同様に構成され、符号化データを、ＶＳＥＬＰ方式で復号し、その結果得られる復号音声データを、ピッチ検出部１８３に供給する。
【０２１９】
ピッチ検出部１８３は、ＶＳＥＬＰ復号装置１８２が出力する復号音声データのピッチ周期を検出する。即ち、ピッチ検出部１８３は、例えば、復号音声データの自己相関を計算し、その自己相関に基づいて、ピッチ周期を検出し、実特性として、判定部１２３に供給する。
【０２２０】
判定部１２３は、差分演算部１８４で構成されている。差分演算部１８４は、チャネルデコーダ１８１からのＬコードに対応する時間（音声のピッチ周期を表す時間）と、実際に得られた復号音声データのピッチ周期との差分を演算し、その差分値を、ミスマッチ情報として、クラス分類適応処理部１３２に供給する。
【０２２１】
一方、前処理部１３１は、ＶＳＥＬＰ復号装置１８５で構成されている。ＶＳＥＬＰ復号装置１８５は、ＶＳＥＬＰ復号装置１８２と同様に、符号化データを、ＶＳＥＬＰ方式で復号し、復号音声データを、前処理データとして、クラス分類適応処理部１３２に出力する。
【０２２２】
クラス分類適応処理部１３２では、前処理部１３１のＶＳＥＬＰ復号装置１８５が出力する復号音声データを対象に、クラス分類適応処理が行われ、その結果得られる適応処理データが、後処理部１３３に出力される。後処理部１３３は、クラス分類適応処理部１３２からの適応処理データを、そのまま、高音質音声データとして出力する。
【０２２３】
従って、図１７の実施の形態においては、クラス分類適応処理部１３２では、クラス分類適応処理が行われることにより、前処理部１３１のＶＳＥＬＰ復号装置１８５が出力する、符号化データをＶＳＥＬＰ方式で復号した復号音声データが、高音質音声データに変換されて出力される。
【０２２４】
即ち、クラス分類適応処理部１３２（図１３）では、前処理部１３１のＶＳＥＬＰ復号装置１８５が出力する復号音声データが、タップ抽出部１５１と１５２に供給される。
【０２２５】
タップ抽出部１５１は、まだ、注目データとしていない高音質音声データを注目データとして、その注目データを予測するのに用いる復号音声データの幾つかの音声サンプルを、予測タップとして抽出する。タップ抽出部１５２も、注目データをクラス分類するのに用いる復号音声データの幾つかの音声サンプルを、クラスタップとして抽出する。
【０２２６】
ここで、上述したように、タップ抽出部１５１および１５２には、判定部１２３からミスマッチ情報も供給されるようになっており、タップ抽出部１５１と１５２は、ミスマッチ情報に基づき、予測タップとクラスタップの構造を、それぞれ変更するようになっている。
【０２２７】
即ち、符号化特性情報抽出部１２１（図１７）のチャネルデコーダ１８１では、例えば、注目データに対応する位置の復号音声データを含むサブフレーム（またはフレーム）のＬコードが抽出され、判定部１２３の差分演算部１８４に供給される。
【０２２８】
また、実特性抽出部１２２のＶＳＥＬＰ復号装置１８２では、例えば、注目データに対応する位置の復号音声データ（以下、適宜、注目復号音声データという）を含むフレームの前後それぞれ数１０フレーム等が復号され、その結果得られる復号音声データが、ピッチ検出部１８３に供給される。ピッチ検出部１８３では、ＶＳＥＬＰ復号装置１８２から供給される復号音声データの自己相関が計算され、その自己相関に基づき、注目復号音声データ付近のピッチ周期が検出される。このピッチ周期は、差分演算部１８４に供給される。差分演算部１８４は、チャネルデコーダ１８１から供給されるＬコードに対応する時間Ｔ1と、ピッチ検出部１８３から供給されるピッチ周期Ｔ2との差分を演算し、その差分値△Ｔ（＝Ｔ1−Ｔ2）を、注目データについてのミスマッチ情報として出力する。
【０２２９】
タップ抽出部１５１（図１３）は、以上のような、注目データについてのミスマッチ情報としての差分値△Ｔを受信すると、例えば、その差分値△Ｔの絶対値を、所定の閾値ＴＨTと比較する。
【０２３０】
そして、タップ抽出部１５１は、差分値△Ｔの絶対値が、閾値ＴＨT以下（または未満）である場合、即ち、注目復号音声データを含むサブフレームのＬコードに対応する時間が、注目復号音声データのピッチ周期を正しく表している場合、例えば、注目復号音声データを含むサブフレーム（以下、適宜、注目サブフレームという）の音声サンプルすべてと、注目サブフレームの１つ前のサブフレームの１サンプルおきの音声サンプルと、注目サブフレームの１つ後のサブフレームの１サンプルおきの音声サンプルとを、予測タップとして抽出する。
【０２３１】
また、タップ抽出部１５１は、差分値△Ｔの絶対値が、閾値ＴＨTより大きい（または以上である）場合、即ち、注目復号音声データを含むサブフレームのＬコードに対応する時間が、注目復号音声データのピッチ周期を正しく表していない場合、例えば、注目サブフレームの音声サンプルすべてと、注目サブフレームの１つ前と２つ前のサブフレームの２サンプルおきの音声サンプルと、注目サブフレームの１つ後と２つ後のサブフレームの２サンプルおきの音声サンプルとを、予測タップとして抽出する。
【０２３２】
タップ抽出部１５２も、タップ抽出部１５１と同様に、ミスマッチ情報に基づいてタップ構造を変更したクラスタップを、復号音声データから抽出する。
【０２３３】
なお、ここでは、ミスマッチ情報に基づいて、予測タップとして抽出する音声サンプルの位置を変更するだけで、予測タップを構成する音声サンプルの数は変更しないようにしたが、タップ抽出部１５１では、ミスマッチ情報に基づいて、予測タップを構成する復号音声データの音声サンプルの数を変更するようにすることも可能である。
【０２３４】
また、タップ抽出部１５１では、図１０で説明した場合と同様に、ＶＳＥＬＰ復号装置１８５において得られるＬコード、Ｇコード、Ｉコード、またはＡコードも予測タップとして抽出することが可能であるが、この場合も、予測タップとするＬコード、Ｇコード、Ｉコード、またはＡコードのサブフレームの位置や数を、ミスマッチ情報に基づいて変更することが可能である。
【０２３５】
さらに、ミスマッチ情報には、差分値△Ｔだけでなく、その差分値△Ｔを得るのに用いられたＬコードや復号音声データのピッチ周期Ｔ2、即ち、チャネルデコーダ１８１が出力するＬコードや、ピッチ検出部１８３が出力するピッチ周期Ｔ2を含めることが可能である。この場合、タップ抽出部１５１では、上述のような予測タップのタップ構造の変更を、差分値△Ｔだけでなく、Ｌコードや、復号音声データのピッチ周期Ｔ2にも基づいて行うようにすることが可能である。
【０２３６】
タップ抽出部１５２でも、タップ抽出部１５１における場合と同様にして、クラスタップを構成することができる。
【０２３７】
タップ抽出部１５１で得られた予測タップは、予測部１５４に供給され、タップ抽出部１５２で得られたクラスタップは、クラス分類部１５３に供給される。
【０２３８】
クラス分類部１５３には、クラスタップの他、注目データについてのミスマッチ情報も供給され、クラス分類部１５３では、上述したように、クラスタップとミスマッチ情報に基づき、注目データがクラス分類される。
【０２３９】
即ち、クラス分類部１５３は、例えば、注目データについてのクラスタップに基づき、上述のADRC処理を行うことにより、クラスコードを求める。ここで、クラスタップから得られるクラスコードを、以下、適宜、クラスタップコードという。
【０２４０】
さらに、クラス分類部１５３は、例えば、注目データについてのミスマッチ情報としての差分値△Ｔの絶対値を、所定の閾値ＴＨTと比較することにより、１ビットのクラスコードを求める。
【０２４１】
即ち、クラス分類部１５３は、差分値△Ｔの絶対値が、閾値ＴＨT以下である場合、即ち、注目復号音声データを含むサブフレームのＬコードに対応する時間が、注目復号音声データのピッチ周期を正しく表している場合、０または１のうちの、例えば、１をクラスコードとする。また、クラス分類部１５３は、差分値△Ｔの絶対値が、閾値ＴＨTより大きい場合、即ち、注目復号音声データを含むサブフレームのＬコードに対応する時間が、注目復号音声データのピッチ周期を正しく表していない場合、０または１のうちの、例えば、０をクラスコードとする。ここで、ミスマッチ情報から得られるクラスコードを、以下、適宜、ミスマッチコードという。
【０２４２】
その後、クラス分類部１５３は、例えば、注目データについて得られたクラスタップコードの上位ビットとして、注目データについて得られたミスマッチコードを付加し、このクラスタップコードとミスマッチコードとで構成されるコードを、注目データについての最終的なクラスコードとして出力する。
【０２４３】
このクラスコードは、係数メモリ１４１に供給される。係数メモリ１４１では、そのクラスコードに対応するタップ係数が読み出され、予測部１５４に供給される。
【０２４４】
なお、上述のように、ミスマッチ情報に、差分値△Ｔだけでなく、その差分値△Ｔを得るのに用いられたＬコードや復号音声データのピッチ周期Ｔ2、即ち、チャネルデコーダ１８１が出力するＬコードや、ピッチ検出部１８３が出力するピッチ周期Ｔ2を含める場合には、クラス分類部１５３では、ミスマッチ情報に含まれるＬコードやピッチ周期Ｔ2にも基づいて、クラス分類を行うようにすることが可能である。
【０２４５】
また、上述の場合には、差分値△Ｔの絶対値と閾値ＴＨTとの大小関係に対応して、１ビットのミスマッチコードを決定するようにしたが、ミスマッチコードとしては、その他、例えば、差分値△Ｔの２の補数表示などを採用すること等が可能である。
【０２４６】
予測部１５４は、タップ抽出部１５１が出力する予測タップと、係数メモリ１４１から取得したタップ係数とを用いて、式（１）に示した線形予測演算を行う。これにより、予測部１５４は、注目データ（の予測値）、即ち、高音質音声データを求め、後処理部１３３に供給する。
【０２４７】
後処理部１３３では、上述したように、クラス分類適応処理部１３２（の予測部１５４）の出力、即ち、高音質音声データが、そのまま出力される。
【０２４８】
次に、図１８は、図１７の復号装置の係数メモリ１４１に記憶させるタップ係数を学習する場合の、図１５の学習装置の詳細構成例を示している。
【０２４９】
図１８の実施の形態では、学習用データ記憶部１１に、学習用データとして、高音質の音声データ（学習用音声データ）が記憶されている。
【０２５０】
符号化部１２は、ＶＳＥＬＰ符号化装置１９１で構成されており、ＶＳＥＬＰ符号化装置１９１は、例えば、図８に示したＶＳＥＬＰ符号化装置と同様に構成されている。但し、ＶＳＥＬＰ符号化装置１９１は、図８のＶＳＥＬＰ符号化装置のマイク４１およびＡ／Ｄ変換部４２が設けられていないものとなっている。
【０２５１】
ＶＳＥＬＰ符号化装置１９１は、学習用データ記憶部１１から学習用音声データを読み出して、ＶＳＥＬＰ方式で符号化し、その結果得られる符号化データを、符号化特性情報抽出部１７１および実特性抽出部１７２に供給する。
【０２５２】
符号化特性情報抽出部１７１は、チャネルデコーダ１９２で、実特性抽出部１７２は、ＶＳＥＬＰ復号装置１９３およびピッチ検出部１９４で、判定部１７３は、差分演算部１９５で、それぞれ構成されている。チャネルデコーダ１９２、ＶＳＥＬＰ復号装置１９３、ピッチ検出部１９４、または差分演算部１９５は、図１７のチャネルデコーダ１８１、ＶＳＥＬＰ復号装置１８２、ピッチ検出部１８３、または差分演算部１８４とそれぞれ同様の処理を行い、これにより、注目教師データについてのミスマッチ情報として、図１７で説明した差分値△Ｔを得て、適応学習部１６０に出力する。
【０２５３】
逆後処理部１６１Ａは、学習用データ記憶部１１から学習用音声データを読み出し、そのまま、教師データとして、適応学習部１６０に出力する。適応学習部１６０（図１５）では、教師データ記憶部１６２において、後処理部１６１Ａからの教師データが記憶される。
【０２５４】
符号化部１６３Ａは、ＶＳＥＬＰ符号化装置１９６で構成され、ＶＳＥＬＰ符号化装置１９６は、ＶＳＥＬＰ符号化装置１９１と同様に、学習用データ記憶部１１から学習用音声データを読み出して、ＶＳＥＬＰ方式で符号化し、その結果得られる符号化データを、前処理部１６３Ｂに出力する。
【０２５５】
前処理部１６３Ｂは、図９のＶＳＥＬＰ復号装置と同様に構成されるＶＳＥＬＰ復号装置１９７で構成され、ＶＳＥＬＰ復号装置１９７は、ＶＳＥＬＰ符号化装置１９６からの符号化データを、ＶＳＥＬＰ方式で復号し、その結果得られる復号音声データを、生徒データとして、適応学習部１６０に出力する。適応学習部１６０（図１５）では、生徒データ記憶部１６４において、ＶＳＥＬＰ復号装置１９７からの生徒データが記憶される。
【０２５６】
そして、適応学習部１６０では、教師データおよび生徒データを用い、生徒データから抽出される予測タップとタップ係数から、式（１）の線形予測演算を行うことにより得られる教師データの予測値の予測誤差を統計的に最小にするタップ係数を求める学習が行われる。
【０２５７】
即ち、適応学習部１６０（図１５）では、タップ抽出部１６５が、教師データ記憶部１６２に記憶された教師データのうち、まだ、注目教師データとしていないものを、注目教師データとし、注目教師データについて、生徒データ記憶部１６４に記憶された生徒データから予測タップを構成して、足し込み部１６８に供給する。さらに、タップ抽出部１６６が、注目教師データについて、生徒データ記憶部１６４に記憶された生徒データからクラスタップを構成し、クラス分類部１６７に供給する。
【０２５８】
ここで、チャネルデコーダ１９２、ＶＳＥＬＰ復号装置１９３、ピッチ検出部１９４、または差分演算部１９５では、図１７のチャネルデコーダ１８１、ＶＳＥＬＰ復号装置１８２、ピッチ検出部１８３、または差分演算部１８４とそれぞれ同様の処理が行われ、これにより、注目教師データについてのミスマッチ情報としての差分値△Ｔが、タップ抽出部１６５および１６６、並びにクラス分類部１６７に供給されるようになっている。
【０２５９】
そして、タップ抽出部１６５または１６６では、図１７で説明したタップ抽出部１５１または１５２（図１３）における場合とそれぞれ同様に、ミスマッチ情報に基づいてタップ構造を変更した予測タップまたはクラスタップが、生徒データ記憶部１６４に記憶された生徒データとしての復号音声データから構成される。
【０２６０】
なお、タップ抽出部１６５または１６６では、図１７で説明したタップ抽出部１５１または１５２（図１３）における場合とそれぞれ同一のタップ構造の予測タップまたはクラスタップが構成される。このため、タップ抽出部１５１または１５２において、ＶＳＥＬＰ復号装置１８５で得られるＬコード、Ｇコード、Ｉコード、またはＡコードも用いて、予測タップまたはクラスタップが構成される場合には、タップ抽出部１６５または１６６でも、ＶＳＥＬＰ復号装置１９７で得られるＬコード、Ｇコード、Ｉコード、またはＡコードを用いて、タップ抽出部１５１または１５２における場合とそれぞれ同一のタップ構造の予測タップまたはクラスタップが構成される。
【０２６１】
さらに、タップ抽出部１６５または１６６それぞれでは、ミスマッチ情報に、差分値△Ｔだけでなく、その差分値△Ｔを得るのに用いられたＬコードや復号音声データのピッチ周期Ｔ2が含まれる場合には、図１７で説明したタップ抽出部１５１または１５２（図１３）における場合と同様に、予測タップまたはクラスタップのタップ構造の変更が、差分値△Ｔだけでなく、Ｌコードや、復号音声データのピッチ周期Ｔ2にも基づいて行われる。
【０２６２】
その後、クラス分類部１６７は、注目教師データについてのクラスタップとミスマッチ情報に基づき、注目教師データについて、図１７で説明したクラス分類部１５３（図１３）における場合と同様のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部１６８に出力する。
【０２６３】
足し込み部１６８は、教師データ記憶部１６２から注目教師データを読み出し、その注目教師データと、タップ抽出部１６５からの予測タップを用い、式（８）の行列Ａとベクトルｖのコンポーネントを計算する。さらに、足し込み部１６８は、既に得られている行列Ａとベクトルｖのコンポーネントのうち、クラス分類部１６７からのクラスコードに対応するものに対して、注目教師データと予測タップから求められた行列Ａとベクトルｖのコンポーネントを足し込む。
【０２６４】
以上の処理が、教師データ記憶部１６２に記憶された教師データすべてを、注目教師データとして行われると、足し込み部１６８は、いままでの処理によって得られたクラスごとの行列Ａおよびベクトルｖのコンポーネントで構成される式（８）の正規方程式を、タップ係数算出部１６９に供給し、タップ係数算出部１６９は、その各クラスごとの正規方程式を解くことにより、各クラスごとに、タップ係数を求めて出力する。
【０２６５】
次に、図１９は、符号化データが音声データをＣＥＬＰ方式で符号化したものである場合の、図１２の復号装置の第２の詳細構成例を示している。なお、図中、図１７における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０２６６】
即ち、図１９の復号装置は、後処理部１３３が、図９の音声合成フィルタ６９と同様に構成される音声合成フィルタ２０１で構成されている他は、基本的に、図１７の復号装置と同様に構成されている。
【０２６７】
但し、前処理部１３１のＶＳＥＬＰ復号装置１８５は、図９において、音声合成フィルタ６９が出力する復号音声データではなく、フィルタ係数復号器６５が出力する線形予測係数と、演算器６８が出力する残差信号を、前処理データとして、クラス分類適応処理部１３２に出力するようになっている。
【０２６８】
クラス分類適応処理部１３２では、前処理部１３１のＶＳＥＬＰ復号装置１８５が出力する残差信号（復号残差信号）と線形予測係数（復号線形予測係数）を対象に、クラス分類適応処理が行われ、これにより、音声合成フィルタ２０１において、高音質音声データ（の予測値）を得ることができる残差信号と線形予測係数（以下、適宜、それぞれを、高音質残差信号と高音質線形予測係数という）が、適応処理データとして求められる。
【０２６９】
即ち、クラス分類適応処理部１３２（図１３）では、前処理部１３１のＶＳＥＬＰ復号装置１８５が出力する復号残差信号が、タップ抽出部１５１と１５２に供給される。
【０２７０】
タップ抽出部１５１は、まだ、注目データとしていない高音質残差信号のサンプルを注目データとして、その注目データを予測するのに用いる復号残差信号の幾つかのサンプルを、予測タップとして抽出する。タップ抽出部１５２も、注目データをクラス分類するのに用いる復号残差信号の幾つかのサンプルを、クラスタップとして抽出する。
【０２７１】
なお、タップ抽出部１５１および１５２には、図１７で説明したように、注目データについてのミスマッチ情報が供給されるようになっており、タップ抽出部１５１または１５２では、そのミスマッチ情報に基づいて、図１７で説明したようなタップ構造の予測タップまたはクラスタップが、それぞれ構成される。
【０２７２】
タップ抽出部１５１で得られた予測タップは、予測部１５４に供給され、タップ抽出部１５２で得られたクラスタップは、クラス分類部１５３に供給される。
【０２７３】
クラス分類部１５３には、クラスタップの他、注目データについてのミスマッチ情報も供給され、クラス分類部１５３では、図１７で説明した場合と同様にして、クラスタップとミスマッチ情報に基づき、注目データがクラス分類され、注目データについてのクラスコードが、係数メモリ１４１に供給される。係数メモリ１４１では、注目データについてのクラスコードに対応するタップ係数が読み出され、予測部１５４に供給される。
【０２７４】
予測部１５４は、タップ抽出部１５１が出力する予測タップと、係数メモリ１４１から取得したタップ係数とを用いて、式（１）に示した線形予測演算を行う。これにより、予測部１５４は、注目データ（の予測値）、即ち、高音質残差信号を求め、後処理部１３３に供給する。
【０２７５】
図１９の実施の形態では、クラス分類適応処理部１３２と係数メモリ１４１が２系統設けられており、一方の系統のクラス分類適応処理部１３２および係数メモリ１４１では、復号残差信号が、上述のように処理される。そして、他方の系統のクラス分類適応処理部１３２および係数メモリ１４１では、前処理部１３１のＶＳＥＬＰ復号装置１８５が出力する復号線形予測係数について、復号残差残差信号における場合と同様の処理が行われ、これにより、高音質線形予測係数が求められて、後処理部１３３に供給される。
【０２７６】
後処理部１３３では、音声合成フィルタ２０１において、クラス分類適応処理部１３２からの高音質線形予測係数をフィルタ係数として、同じくクラス分類適応処理部１３２からの高音質復号残差信号がフィルタリングされることにより、高音質音声データが求められて出力される。
【０２７７】
次に、図２０および図２１は、図１９の復号装置の係数メモリ１４１に記憶させるタップ係数を学習する場合の、図１５の学習装置の詳細構成例を示している。なお、図中、図１８における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０２７８】
図２０は、復号残差信号を高音質残差信号に変換するタップ係数を学習する学習装置の構成例を示しており、図２１は、復号線形予測係数を高音質線形予測係数に変換するタップ係数を学習する学習装置の構成例を示している。
【０２７９】
図２０の実施の形態では、逆後処理部１６１Ａが、ＬＰＣ分析部２１１および予測フィルタ２１２で構成されており、また、前処理部１６３Ｂを構成するＶＳＥＬＰ復号装置１９７は、復号残差信号（図９の演算器６８が出力する残差信号）を、生徒データとして、適応学習部１６０に供給するようになっている。
【０２８０】
ＬＰＣ分析部２１１は、学習用データ記憶部１１から学習用音声データを読み出し、図８のＬＰＣ分析部４４における場合と同様に、学習用音声データをＬＰＣ分析することで、Ｐ次の線形予測係数を求めて、予測フィルタ２１２に供給する。
【０２８１】
予測フィルタ２１２は、学習用データ記憶部１１から、ＬＰＣ分析部２１１がＬＰＣ分析を行った学習用データを読み出し、その学習用データと、ＬＰＣ分析部２１１から供給される線形予測係数を用いて、例えば、式（９）にしたがった演算を行うことにより、残差信号を求め、教師データとして、適応学習部１６０に供給する。
【０２８２】
ここで、式（９）における音声データ（音声信号）ｓnと残差信号ｅnのＺ変換を、ＳとＥとそれぞれ表すと、式（９）は、次式のように表すことができる。
【０２８３】
Ｅ＝（１＋α1ｚ-1＋α2ｚ-2＋・・・＋αPｚ-P）Ｓ
・・・（１４）
【０２８４】
式（１４）から、残差信号ｅは、音声データｓと線形予測係数αPとの積和演算で求めることができ、従って、残差信号ｅを求める予測フィルタ２１２は、ＦＩＲ(Finite Impulse Response)型のディジタルフィルタで構成することができる。
【０２８５】
適応学習部１６０（図１５）では、教師データ記憶部１６２において、予測フィルタ２１２から供給される教師データとしての残差信号（上述の高音質残差信号に相当する）が記憶されるとともに、生徒データ記憶部１６４において、ＶＳＥＬＰ復号装置１９７から供給される生徒データとしての復号残差信号が記憶される。
【０２８６】
そして、適応学習部１６０では、図１８で説明した場合と同様に、教師データおよび生徒データを用い、生徒データから抽出される予測タップとタップ係数から、式（１）の線形予測演算を行うことにより得られる教師データの予測値の予測誤差を統計的に最小にするタップ係数を求める学習が行われ、これにより、復号残差信号を高音質残差信号に変換するクラスごとのタップ係数が求められる。
【０２８７】
次に、図２１の実施の形態では、逆後処理部１６１Ａが、ＬＰＣ分析部２２１で構成されており、また、前処理部１６３Ｂを構成するＶＳＥＬＰ復号装置１９７は、復号線形予測係数（図９のフィルタ係数復号器６５が出力する線形予測係数）を、生徒データとして、適応学習部１６０に供給するようになっている。
【０２８８】
ＬＰＣ分析部２２１は、学習用データ記憶部１１から学習用音声データを読み出し、図８のＬＰＣ分析部４４における場合と同様に、学習用音声データをＬＰＣ分析することで、Ｐ次の線形予測係数を求め、教師データとして、適応学習部１６０に供給する。
【０２８９】
適応学習部１６０（図１５）では、教師データ記憶部１６２において、ＬＰＣ分析部２２１から供給される教師データとしての線形予測係数（上述の高音質線形予測係数に相当する）が記憶されるとともに、生徒データ記憶部１６４において、ＶＳＥＬＰ復号装置１９７から供給される生徒データとしての復号線形予測係数が記憶される。
【０２９０】
そして、適応学習部１６０では、図１８で説明した場合と同様に、教師データおよび生徒データを用い、生徒データから抽出される予測タップとタップ係数から、式（１）の線形予測演算を行うことにより得られる教師データの予測値の予測誤差を統計的に最小にするタップ係数を求める学習が行われ、これにより、復号線形予測係数を高音質線形予測係数に変換するクラスごとのタップ係数が求められる。
【０２９１】
次に、図２２は、符号化データが画像データをＭＰＥＧ２方式で符号化したものである場合の、図１２の復号装置の第１の詳細構成例を示している。
【０２９２】
図１７の実施の形態では、符号化特性情報抽出部１２１は、逆ＶＬＣ部２３１で構成されている。逆ＶＬＣ部２３１は、例えば、後述するＭＰＥＧデコーダ２３２を構成する逆ＶＬＣ部２４１（図２３）と同様に構成されており、符号化データから、ＤＣＴタイプを抽出し、特性データとして、判定部１２３に供給する。
【０２９３】
実特性抽出部１２２は、ＭＰＥＧデコーダ２３２および相関演算部２３３で構成されている。ＭＰＥＧデコーダ２３２は、符号化データをＭＰＥＧ方式で復号し、その結果得られる復号画像データを、相関演算部２３３に供給する。
【０２９４】
ここで、図２３は、ＭＰＥＧデコーダ２３２の構成例を示している。
【０２９５】
符号化データは、逆ＶＬＣ部２４１に供給される。逆ＶＬＣ部２４１は、符号化データに含まれる量子化ＤＣＴ係数（量子化された２次元ＤＣＴ係数）のＶＬＣコード（量子化ＤＣＴ係数を可変長符号化したもの）、量子化ステップ、動きベクトル、ピクチャタイプ、テンポラルリファレンス、その他の情報を分離する。
【０２９６】
そして、逆ＶＬＣ部２４１は、量子化ＤＣＴ係数のＶＬＣコードを逆ＶＬＣ処理することで、量子化ＤＣＴ係数に復号し、逆量子化部２４２に供給する。さらに、逆ＶＬＣ部２４１は、量子化ステップを逆量子化部２４２に、動きベクトルを動き補償部２４６に、ピクチャタイプをメモリ２４５に、テンポラルリファレンスをピクチャ選択部２４７に、それぞれ供給する。
【０２９７】
逆量子化部２４２は、逆ＶＬＣ部２４１から供給される量子化ＤＣＴ係数を、同じく逆ＶＬＣ部２４２から供給される量子化ステップで逆量子化し、その結果得られる２次元ＤＣＴ係数を、逆ＤＣＴ変換部２４２に供給する。逆ＤＣＴ変換部２４３は、逆量子化部２４２から供給される２次元ＤＣＴ係数を、２次元逆ＤＣＴ変換し、演算部２４４に供給する。
【０２９８】
演算部２４４には、逆ＤＣＴ変換部２４３の出力の他、動き補償部２４６の出力も供給されるようになっており、演算部２４４は、逆ＤＣＴ変換部２４３の出力に対して、動き補償部２４６の出力を、必要に応じて加算することにより、復号画像データを得て出力する。
【０２９９】
即ち、ＭＰＥＧ符号化では、ピクチャタイプとして、Ｉ，Ｐ，Ｂの３つが定義されており、各ピクチャは、横×縦が８×８画素単位で、２次元ＤＣＴ変換されるが、その際、Ｉピクチャのブロックは、イントラ(intra)符号化され、Ｐピクチャのブロックは、イントラ符号化、または前方予測符号化され、Ｂピクチャのブロックは、イントラ符号化、前方予測符号化、後方予測符号化、または両方向予測符号化される。
【０３００】
ここで、前方予測符号化では、符号化対象のブロックのフレーム（またはフィールド）より時間的に先行するフレーム（またはフィールド）の画像を参照画像として、その参照画像を動き補償することにより得られる、符号化対象のブロックの予測画像と、符号化対象のブロックとの差分が求められ、その差分値（以下、適宜、残差画像という）が２次元ＤＣＴ変換される。
【０３０１】
また、後方予測符号化では、符号化対象のブロックのフレームより時間的に後行するフレームの画像を参照画像として、その参照画像を動き補償することにより得られる、符号化対象のブロックの予測画像と、符号化対象のブロックとの差分が求められ、その差分値（残差画像）が２次元ＤＣＴ変換される。
【０３０２】
さらに、両方向予測符号化では、符号化対象のブロックのフレームより時間的に先行するフレームと後行するフレームの２フレーム（またはフィールド）の画像を参照画像として、その参照画像を動き補償することにより得られる、符号化対象のブロックの予測画像と、符号化対象のブロックとの差分が求められ、その差分値（残差画像）が２次元ＤＣＴ変換される。
【０３０３】
従って、ブロックが、ノンイントラ(non-intra)符号化（前方予測符号化、後方予測符号化、または両方向予測符号化）されている場合、逆ＤＣＴ変換部２４３の出力は、残差画像（元の画像と、その予測画像との差分値）を復号したものとなっており、演算部２４４は、この残差画像の復号結果（以下、適宜、復号残差画像という）と、動き補償部２４６から供給される予測画像とを加算することで、ノンイントラ符号化されたブロックを復号し、その結果得られる復号画像データを出力する。
【０３０４】
一方、逆ＤＣＴ変換部２４３が出力するブロックが、イントラ符号化されたものであった場合には、逆ＤＣＴ変換部２４３の出力は、元の画像を復号したものとなっており、演算部２４４は、逆ＤＣＴ変換部２４３の出力を、そのまま、復号画像データとして出力する。
【０３０５】
演算部２４４が出力する復号画像データは、メモリ２４５とピクチャ選択部２４７に供給される。
【０３０６】
メモリ２４５は、演算部２４４から供給される復号画像データが、ＩピクチャまたはＰピクチャの画像データである場合、その復号画像データを、その後に復号される符号化データの参照画像として一時記憶する。ここで、ＭＰＥＧ２では、Ｂピクチャは参照画像とされないことから、演算部２４４から供給される復号画像が、Ｂピクチャの画像である場合には、メモリ２４５では、Ｂピクチャの復号画像は記憶されない。なお、メモリ２４５は、演算部２４４から供給される復号画像が、Ｉ，Ｐ，Ｂのうちのいずれのピクチャであるかは、逆ＶＬＣ部２４１から供給されるピクチャタイプを参照することにより判断する。
【０３０７】
ピクチャ選択部２４７は、演算部２４４が出力する復号画像、またはメモリ２４５に記憶された復号画像のフレーム（またはフィールド）を、表示順に選択して出力する。即ち、ＭＰＥＧ２方式では、画像のフレーム（またはフィールド）の表示順と復号順（符号化順）とが一致していないため、ピクチャ選択部２４７は、復号順に得られる復号画像のフレーム（またはフィールド）を表示順に並べ替えて出力する。なお、ピクチャ選択部２４７は、表示順を、逆ＶＬＣ部２４１から供給されるテンポラルリファレンスを参照することにより判断する。
【０３０８】
一方、動き補償部２４６は、逆ＶＬＣ部２４１が出力する動きベクトルを受信するとともに、参照画像となるフレーム（またはフィールド）を、メモリ２４５から読み出し、その参照画像に対して、逆ＶＬＣ部２４１からの動きベクトルにしたがった動き補償を施し、その結果得られる予測画像を、演算部２４４に供給する。演算部２４４では、上述したように、動き補償部２４６からの予測画像と、逆ＤＣＴ変換部２４３が出力する残差画像と加算され、これにより、ノンイントラ符号化されたブロックが復号される。
【０３０９】
図２２に戻り、相関演算部２３３は、ＭＰＥＧデコーダ２３２が出力する復号画像データの各ブロックについて、ライン間の相関を演算する。
【０３１０】
即ち、相関演算部２３３は、ブロックにおけるフレームを構成するライン間の相関（以下、適宜、フレームライン相関という）と、フィールドを構成するライン間の相関（以下、適宜、フィールドライン相関という）を計算する。
【０３１１】
具体的には、相関演算部２３３は、図２４に示すように、ブロックにおける隣接する第ｉライン（上からｉ番目のライン）と第ｉ＋１ラインとの間の相関Ｐ（ｉ，ｉ＋１）を、例えば、次式にしたがって求める。
【０３１２】
Ｐ（ｉ，ｉ＋１）＝１／（Σ（ｘ（ｉ，ｊ）−ｘ（ｉ＋１，ｊ））
・・・（１５）
【０３１３】
但し、ｘ（ｉ，ｊ）は、第ｉラインの左からｊ番目（第ｊ列）の画素の画素値を表す。また、Σは、ｊを１乃至８に変えてのサメーションを表す。
【０３１４】
そして、相関演算部２３３は、例えば、相関Ｐ（ｉ，ｉ＋１）の平均値（（Ｐ（１，２）＋Ｐ（２，３）＋Ｐ（３，４）＋Ｐ（４，５）＋Ｐ（５，６）＋Ｐ（６，７）＋Ｐ（７，８））／７）を求め、この平均値を、フレームライン相関として出力する。
【０３１５】
また、相関演算部２３３は、図２４に示すように、ブロックにおける１ラインおきに隣接する第ｉラインと第ｉ＋２ラインとの間の相関Ｐ（ｉ，ｉ＋２）を、例えば、式（１５）にしたがって求める。
【０３１６】
そして、相関演算部２３３は、例えば、相関Ｐ（ｉ，ｉ＋２）の平均値（（Ｐ（１，３）＋Ｐ（２，４）＋Ｐ（３，５）＋Ｐ（４，６）＋Ｐ（５，７）＋Ｐ（６，８））／６）を求め、この平均値を、フィールドライン相関として出力する。
【０３１７】
相関演算部２３３が出力するフレームライン相関とフィールドライン相関は、実特性として、判定部１２３に供給される。
【０３１８】
ここで、あるブロックにおいて、そのブロックにおける画像の動きが比較的小さい場合には、一般に、フレームライン相関が大になり、フィールドライン相関が小になる。また、そのブロックにおける画像の動きが比較的大きい場合には、一般に、フィールドライン相関が大になり、フレームライン相関が小になる。従って、フレームライン相関とフィールドライン相関は、画像の実際の特性（実特性）を表しているということができる。
【０３１９】
判定部１２３は、ブロック特性判定部２３４と比較部２３５で構成されている。ブロック特性判定部２３４は、クラス分類適応処理部１３２における注目データに対応する画素を含むブロック（以下、適宜、注目ブロック）のフレームライン相関とフィールドライン相関に基づき、注目ブロックが、フレームＤＣＴモードまたはフィールドＤＣＴモードのうちのいずれで符号化されるべき特性を有するものであるかを判定し、その判定結果（以下、適宜、実特性タイプという）を、比較部２３５に供給する。
【０３２０】
即ち、ブロック特性判定部２３４は、例えば、注目ブロックのフレームライン相関が、フィールドライン相関より小さい（または以下である）場合には、注目ブロックがフィールドＤＣＴモードで符号化されるべき特性を有するという実特性タイプを、比較部２３５に供給する。また、ブロック特性判定部２３４は、注目ブロックのフレームライン相関が、フィールドライン相関より小さくない場合には、注目ブロックがフレームＤＣＴモードで符号化されるべき特性を有するという実特性タイプを、比較部２３５に供給する。
【０３２１】
比較部２３５は、符号化特性情報抽出部１２１の逆ＶＬＣ部２３１から供給される注目ブロックのＤＣＴタイプ（注目ブロックを含むマクロブロックのＤＣＴタイプ）と、ブロック特性判定部２３４から供給される注目ブロックの実特性タイプとを比較し、その比較結果、即ち、例えば、注目ブロックのＤＣＴタイプを表すフラグと実特性タイプを表すフラグのセットを、ミスマッチ情報として、クラス分類適応処理部１３２に供給する。
【０３２２】
一方、前処理部１３１は、ＭＰＥＧデコーダ２３６で構成されている。ＭＰＥＧデコーダ２３６は、ＭＰＥＧデコーダ２３２と同様に、符号化データを、ＭＰＥＧ方式で復号し、復号画像データを、前処理データとして、クラス分類適応処理部１３２に出力する。
【０３２３】
クラス分類適応処理部１３２では、前処理部１３１のＭＰＥＧデコーダ２３６が出力する復号画像データを対象に、クラス分類適応処理が行われ、その結果得られる適応処理データが、後処理部１３３に出力される。後処理部１３３は、クラス分類適応処理部１３２からの適応処理データを、そのまま、高画質の画像データ（高画質画像データ）として出力する。
【０３２４】
従って、図２２の実施の形態においては、クラス分類適応処理部１３２では、クラス分類適応処理が行われることにより、前処理部１３１のＭＰＥＧデコーダ２３６が出力する、符号化データをＭＰＥＧ方式で復号した復号画像データが、高画質画像データに変換されて出力される。
【０３２５】
即ち、クラス分類適応処理部１３２（図１３）では、前処理部１３１のＭＰＥＧデコーダ２３６が出力する復号画像データが、タップ抽出部１５１と１５２に供給される。
【０３２６】
タップ抽出部１５１は、まだ、注目データとしていない高画質画像データの画素を注目データとして、その注目データ（の画素値）を予測するのに用いる復号画像データの幾つか（の画素）を、予測タップとして抽出する。タップ抽出部１５２も、注目データをクラス分類するのに用いる復号画像データの幾つかを、クラスタップとして抽出する。
【０３２７】
ここで、上述したように、タップ抽出部１５１および１５２には、判定部１２３からミスマッチ情報も供給されるようになっており、タップ抽出部１５１と１５２は、ミスマッチ情報に基づき、予測タップとクラスタップの構造を、それぞれ変更するようになっている。
【０３２８】
即ち、上述したように、判定部１２３（の比較部２３５）からクラス分類適応処理部１３２には、注目ブロックについてのＤＣＴタイプと実特性タイプとのセットが、注目データについてのミスマッチ情報として供給される。
【０３２９】
タップ抽出部１５１は、ミスマッチ情報としての、注目ブロックについてのＤＣＴタイプと実特性タイプとのセットを受信すると、ＭＰＥＧデコーダ２３６から供給される復号画像データから、例えば、図２５に示すようなタップ構造設定テーブルにしたがったタップ構造の予測タップを抽出する。
【０３３０】
即ち、タップ抽出部１５１は、ミスマッチ情報としてのＤＣＴタイプと実特性タイプが、いずれもフィールドＤＣＴモードである場合、後述するフィールドタップのみからなるパターンＡのタップ構造の予測タップを構成する。また、タップ抽出部１５１は、ミスマッチ情報としてのＤＣＴタイプと実特性タイプが、それぞれフィールドＤＣＴモードとフレームＤＣＴモードである場合、フィールドタップの数が、後述するフレームタップの数より多いパターンＢのタップ構造の予測タップを構成する。さらに、タップ抽出部１５１は、ミスマッチ情報としてのＤＣＴタイプと実特性タイプが、それぞれフレームＤＣＴモードとフィールドＤＣＴモードである場合、フレームタップの数が、フィールドタップの数より多いパターンＣのタップ構造の予測タップを構成する。また、タップ抽出部１５１は、ミスマッチ情報としてのＤＣＴタイプと実特性タイプが、いずれもフレームＤＣＴモードである場合、フレームタップのみからなるパターンＤのタップ構造の予測タップを構成する。
【０３３１】
ここで、図２６は、パターンＡ乃至Ｄのタップ構造を示している。なお、図２６において、○印が、復号画像データの画素を表している。また、斜線を付してある○印は、フィールドタップとなっている画素を表し、●印は、フレームタップとなっている画素を表している。
【０３３２】
図２６（Ａ）は、パターンＡのタップ構造を示している。パターンＡのタップ構造は、注目データに対応する復号画像データの画素（以下、適宜、注目画素という）、注目画素の左右それぞれに隣接する２画素、注目画素の上方向に１画素おいて隣接する画素、その画素の左右それぞれに隣接する２画素、注目画素の上方向に３画素おいて隣接する画素、その画素の左右それぞれに隣接する２画素、注目画素の下方向に１画素おいて隣接する画素、その画素の左右それぞれに隣接する２画素、注目画素の下方向に３画素おいて隣接する画素、その画素の左右それぞれに隣接する２画素の合計２５画素で構成される。
【０３３３】
ここで、フィールドタップとは、その上下に隣接する２画素が、いずれもタップ（ここでは、予測タップまたはクラスタップ）となっていない画素を意味する。図２６（Ａ）のパターンＡのタップ構造では、いずれのタップも、その上下に隣接する画素がタップになっていないので、すべてフィールドタップである。
【０３３４】
図２６（Ｂ）は、パターンＢのタップ構造を示している。パターンＢのタップ構造は、注目画素、注目画素の左右それぞれに隣接する２画素、注目画素の上方向に１画素おいて隣接する画素の左右それぞれに隣接する２画素、注目画素の上方向に３画素おいて隣接する画素の左右それぞれに隣接する１画素、注目画素の下方向に１画素おいて隣接する画素の左右それぞれに隣接する２画素、注目画素の下方向に３画素おいて隣接する画素の左右それぞれに隣接する１画素、注目画素の上に隣接する４画素、注目画素の下に隣接する４画素の合計２５画素で構成される。
【０３３５】
ここで、フレームタップとは、その上または下に隣接する画素のうちの少なくとも一方がタップとなっている画素を意味する。図２６（Ｂ）のパターンＢのタップ構造では、注目画素と、注目画素の上下それぞれに隣接する４画素の合計９画素がフレームタップとなっており、残りの１６画素がフィールドタップとなっている。
【０３３６】
図２６（Ｃ）は、パターンＣのタップ構造を示している。パターンＣのタップ構造は、注目画素、注目画素の左右それぞれに隣接する２画素、注目画素の上方向に１画素おいて隣接する画素の左右それぞれに隣接する２画素、注目画素の下方向に１画素おいて隣接する画素の左右それぞれに隣接する２画素、注目画素の上下それぞれに隣接する４画素、注目画素の上に隣接する画素の左右それぞれに隣接する１画素、注目画素の下に隣接する画素の左右それぞれに隣接する１画素の合計２５画素で構成される。
【０３３７】
パターンＣのタップ構造では、注目画素、注目画素の上下それぞれに隣接する４画素、注目画素の左に隣接する画素、その画素の上下それぞれに隣接する２画素、注目画素の右に隣接する画素、その画素の上下それぞれに隣接する２画素の合計１９画素がフレームタップとなっており、残りの６画素がフィールドタップになっている。
【０３３８】
図２６（Ｄ）は、パターンＤのタップ構造を示している。パターンＤのタップ構造は、注目画素を中心として隣接する、横×縦が５×５画素の合計２５画素で構成される。
【０３３９】
パターンＤのタップ構造では、いずれのタップも、その上または下の少なくとも一方の画素がタップとなっているので、すべてフレームタップである。
【０３４０】
タップ抽出部１５１（図１３）は、ミスマッチ情報に基づき、注目データについて、図２６に示したパターンＡ乃至Ｄのうちのいずれかのタップ構造の予測タップを構成する。
【０３４１】
タップ抽出部１５２も、タップ抽出部１５１と同様に、ミスマッチ情報に基づくタップ構造のクラスタップを構成する。
【０３４２】
なお、ここでは、ミスマッチ情報に基づいて、予測タップとして抽出する復号画像データの画素の位置を変更するだけで、予測タップを構成する画素数は、２５画素のまま変更しないようにしたが、タップ抽出部１５１では、ミスマッチ情報に基づいて、予測タップを構成する復号画像データの画素の数を変更するようにすることも可能である。
【０３４３】
また、前処理部１３１のＭＰＥＧデコーダ２３６では、符号化データが、その符号化データに含まれる量子化ＤＣＴ係数以外の動きベクトルや、ＤＣＴタイプ、量子化ステップその他の復号を制御する情報（以下、適宜、復号制御情報という）を用いて、画像に復号されるが、タップ抽出部１５１では、このような復号制御情報も、予測タップに含めることが可能である。さらに、この場合、ミスマッチ情報に基づいて、予測タップとする復号制御情報を変更することも可能である。さらに、タープ抽出部１５１では、符号化データに含まれる量子化ＤＣＴ係数や、その量子化ＤＣＴ係数を逆量子化して得られる２次元ＤＣＴ係数も、予測タップに含めるようにすることが可能である。
【０３４４】
タップ抽出部１５２でも、タップ抽出部１５１における場合と同様にして、クラスタップを構成することができる。
【０３４５】
タップ抽出部１５１で得られた予測タップは、予測部１５４に供給され、タップ抽出部１５２で得られたクラスタップは、クラス分類部１５３に供給される。
【０３４６】
クラス分類部１５３には、クラスタップの他、注目データについてのミスマッチ情報も供給され、クラス分類部１５３では、上述したように、クラスタップとミスマッチ情報に基づき、注目データがクラス分類される。
【０３４７】
即ち、クラス分類部１５３は、例えば、注目データについてのクラスタップに基づき、上述のADRC処理を行うことにより、クラスコード（クラスタップコード）を求める。
【０３４８】
さらに、クラス分類部１５３は、例えば、注目データについてのミスマッチ情報としてのＤＣＴタイプと実特性タイプのセットに基づいて、２ビットのクラスコード（ミスマッチコード）を求める。
【０３４９】
即ち、クラス分類部１５３は、ＤＣＴタイプと実特性タイプが、いずれもフィールドＤＣＴモードの場合には、２ビットのミスマッチコードを、例えば「００」とする。また、クラス分類部１５３は、ＤＣＴタイプと実特性タイプが、それぞれフィールドＤＣＴモードとフレームＤＣＴモードの場合には、２ビットのミスマッチコードを、例えば「０１」とする。さらに、クラス分類部１５３は、ＤＣＴタイプと実特性タイプが、それぞれフレームＤＣＴモードとフィールドＤＣＴモードの場合には、２ビットのミスマッチコードを、例えば「１０」とする。また、クラス分類部１５３は、ＤＣＴタイプと実特性タイプが、いずれもフレームＤＣＴモードの場合には、２ビットのミスマッチコードを、例えば「１１」とする。
【０３５０】
その後、クラス分類部１５３は、例えば、注目データについて得られたクラスタップコードの上位ビットとして、注目データについて得られたミスマッチコードを付加し、このクラスタップコードとミスマッチコードとで構成されるコードを、注目データについての最終的なクラスコードとして出力する。
【０３５１】
なお、クラス分類部１５３では、その他、例えば、復号制御情報にも基づいて、クラス分類を行うようにすることが可能である。
【０３５２】
クラス分類部１５３が出力するクラスコードは、係数メモリ１４１に供給される。係数メモリ１４１では、そのクラスコードに対応するタップ係数が読み出され、予測部１５４に供給される。
【０３５３】
予測部１５４は、タップ抽出部１５１が出力する予測タップと、係数メモリ１４１から取得したタップ係数とを用いて、式（１）に示した線形予測演算を行う。これにより、予測部１５４は、注目データ（の予測値）、即ち、高画質画像データを求め、後処理部１３３に供給する。
【０３５４】
後処理部１３３では、上述したように、クラス分類適応処理部１３２（の予測部１５４）の出力、即ち、高画質画像データが、そのまま出力される。
【０３５５】
なお、図２２の実施の形態では、ブロック特性判定部２３４において、フレームＤＣＴモードとフィールドＤＣＴモードのうちのいずれか一方のみを表す実特性タイプを出力するようにしたが、実特性タイプとしては、その他、例えば、注目ブロックのフレームライン相関とフィールドライン相関を、そのまま用いることも可能である。この場合、比較部２３５においては、注目ブロックのフレームライン相関とフィールドライン相関に基づき、逆ＶＬＣ部２３１が出力する注目ブロックのＤＣＴタイプが、その注目ブロックにとって、どの程度適切であるかを表す評価値を求め、その評価値を、ミスマッチ情報として出力するようにすることが可能である。ここで、注目ブロックのフレームライン相関とフィールドライン相関を、それぞれＦ１とＦ２と表すとすれば、注目ブロックのＤＣＴタイプがフレームＤＣＴモードである場合は、評価値として、例えば、Ｆ１／（Ｆ１＋Ｆ２）を採用し、注目ブロックのＤＣＴタイプがフィールドＤＣＴモードである場合は、評価値として、例えば、Ｆ２／（Ｆ１＋Ｆ２）を採用することが可能である。
【０３５６】
さらに、タップ抽出部１５１や１５２では、ミスマッチ情報としての評価値を、１つ以上の閾値と比較し、その比較結果に基づいて、予測タップやクラスタップのタップ構造を変更するようにすることが可能である。
【０３５７】
また、クラス分類部１５３では、ミスマッチ情報としての評価値を量子化し、その量子化値を、ミスマッチコードとして用いることが可能である。
【０３５８】
さらに、図２２の実施の形態では、注目ブロックのフレームライン相関とフィールドライン相関から、その注目ブロックの実特性タイプを決定するようにしたが、注目ブロックの実特性タイプは、その他、例えば、注目ブロックの周辺のブロックにも基づいて決定することが可能である。即ち、注目ブロックの最終的な実特性タイプは、例えば、注目ブロックのフレームライン相関とフィールドライン相関から決定される実特性タイプと、注目ブロックに隣接する１以上のブロックのフレームライン相関とフィールドライン相関から決定される、それぞれのブロックの実特性タイプとの多数決によって決定することが可能である。
【０３５９】
次に、図２２の実施の形態では、実特性抽出部１２２において、符号化データをＭＰＥＧ方式で復号し、その結果得られる復号画像データから、フレームライン相関とフィールドライン相関を求め、判定部１２３において、そのフレームライン相関とフィールドライン相関から、実特性タイプを求めるようにしたが、判定部１２３では、その他、例えば、符号化データに含まれる２次元ＤＣＴ係数から、実特性タイプを求めることが可能である。
【０３６０】
即ち、実特性抽出部１２２では、例えば、図２７に示すように、符号化データから得られるブロックの２次元ＤＣＴ係数のうちの、水平の横縞を基底とするもの、つまり、ブロックの左端の、ＤＣ(Direct Current)係数を除く７個の２次元ＤＣＴ係数（以下、適宜、横縞２次元ＤＣＴ係数という）（図２７において、斜線を付して示す部分）を実特性として求め、判定部１２３では、その実特性としての横縞２次元ＤＣＴ係数に基づいて、実特性タイプを求めることが可能である。
【０３６１】
また、実特性抽出部１２２では、例えば、符号化データから得られるブロックの２次元ＤＣＴ係数のうちの、任意の横縞２次元ＤＣＴ係数と、横縞２次元ＤＣＴ係数を除く任意のＡＣ(Alternating Current)係数との差（以下、適宜、係数差分という）、または任意の横縞２次元ＤＣＴ係数のパワー（例えば、２次元ＤＣＴ係数を２乗したもの）と、横縞２次元ＤＣＴ係数を除く任意のＡＣ係数のパワーとの差（以下、適宜、パワー差分という）を求め、判定部１２３では、その係数差分またはパワー差分に基づいて、実特性タイプを求めることが可能である。
【０３６２】
そこで、図２８は、係数差分またはパワー差分を完特性タイプとして求める実特性抽出部１２２の構成例を示している。
【０３６３】
符号化データは、逆ＶＬＣ部２５１とＭＰＥＧデコーダ２５４に供給される。
【０３６４】
逆ＶＬＣ部２５１は、符号化データに含まれる量子化ＤＣＴ係数のＶＬＣコード、量子化ステップ、動きベクトル、その他の情報を分離する。そして、逆ＶＬＣ部２５１は、量子化ＤＣＴ係数のＶＬＣコードを逆ＶＬＣ処理することで、量子化ＤＣＴ係数に復号し、逆量子化部２５２に供給する。さらに、逆ＶＬＣ部２５１は、量子化ステップを、逆量子化部２５２に、動きベクトルを、動き補償部２５６に、それぞれ供給する。
【０３６５】
逆量子化部２５２は、逆ＶＬＣ部２５１から供給される量子化ＤＣＴ係数を、同じく逆ＶＬＣ部２５１から供給される量子化ステップで逆量子化し、その結果得られる８×８画素のブロックの２次元ＤＣＴ係数を、演算部２５３に供給する。
【０３６６】
一方、ＭＰＥＧデコーダ２５４では、符号化データが、ＭＰＥＧ方式で符号化され、復号画像データが出力される。ＭＰＥＧデコーダ２５４が出力する復号画像のうち、参照画像とされ得るＩピクチャとＰピクチャは、メモリ２５５に供給されて記憶される。
【０３６７】
そして、動き補償部２５６は、メモリ２５５に記憶された参照画像を読み出し、その参照画像に対して、逆ＶＬＣ部２５１から供給される動きベクトルにしたがい、動き補償を施すことで、逆量子化部２５２から演算部２５３に供給されたブロックの予測画像を生成し、ＤＣＴ変換部２５７に供給する。ＤＣＴ変換部２５７は、動き補償部２５６から供給される予測画像を２次元ＤＣＴ変換し、その結果得られる２次元ＤＣＴ係数を、演算部２５３に供給する。
【０３６８】
演算部２５３は、逆量子化部２５２から供給されるブロックの各２次元ＤＣＴ係数と、ＤＣＴ変換部２５７から供給される、対応する２次元ＤＣＴ係数とを、必要に応じて加算することで、そのブロックの画素値を２次元ＤＣＴ変換した２次元ＤＣＴ係数を求める。
【０３６９】
即ち、逆量子化部２５２から供給されるブロックがイントラ符号化されているものである場合、逆量子化部２５２から供給されるブロックの２次元ＤＣＴ係数は、元の画素値を２次元ＤＣＴ変換したものとなっているから、演算部２５３は、逆量子化部２５２から供給されるブロックの２次元ＤＣＴ係数を、そのまま出力する。
【０３７０】
また、逆量子化部２５２から供給されるブロックがノンイントラ符号化されているものである場合、逆量子化部２５２から供給されるブロックの２次元ＤＣＴ係数は、元の画素値と予測画像との差分値（残差画像）を２次元ＤＣＴ変換したものとなっているから、演算部２５３は、逆量子化部２５２から供給されるブロックの各ＤＣＴ係数と、ＤＣＴ変換部２５７から供給される、予測画像を２次元ＤＣＴ変換して得られる２次元ＤＣＴ係数の対応するものとを加算することにより、元の画素値を２次元ＤＣＴ変換して得られる２次元ＤＣＴ係数を求めて出力する。
【０３７１】
演算部２５３が出力するブロックの２次元ＤＣＴ係数は、ＤＣＴ係数差分演算部２５８に供給される。
【０３７２】
ＤＣＴ係数差分演算部２５８では、ブロックの２次元ＤＣＴ係数を用いて、上述したような係数差分やパワー差分が求められ、実特性として、判定部１２３に供給される。
【０３７３】
なお、この場合、判定部１２３では、例えば、注目ブロックの係数差分またはパワー差分を参照することにより、その係数差分またはパワー差分を求めるのに用いられた横縞２次元ＤＣＴ係数とＡＣ係数の大小関係が判定される。さらに、判定部１２３では、例えば、注目ブロックの係数差分またはパワー差分を求めるのに用いられた横縞２次元ＤＣＴ係数が、ＡＣ係数より小さい（または以下である）場合、実特性タイプがフィールドＤＣＴモードであると認識され、横縞２次元ＤＣＴ係数が、ＡＣ係数より小さくない場合は、実特性タイプがフレームＤＣＴモードであると認識される。なお、注目ブロックの係数差分またはパワー差分を求めるのに用いられた横縞２次元ＤＣＴ係数が、ＡＣ係数より小さい場合には、その注目ブロックの画像が、フィールドＤＣＴモードで符号化すべきものであることを表す他、横縞の多い画像であることも表す。
【０３７４】
ここで、判定部１２３では、係数差分またはパワー差分、さらには、その係数差分またはパワー差分を求めるのに用いられた２次元ＤＣＴ係数を、ミスマッチ情報に含めて出力するようにすることが可能である。そして、この場合、例えば、クラス分類適応処理部１３２（図１３）では、タップ抽出部１５１と１５２それぞれにおいて、ミスマッチ情報に含まれる係数差分またはパワー差分や、２次元ＤＣＴ係数にも基づいて、予測タップとクラスタップのタップ構造を変更し、さらに、クラス分類部１５３においても、ミスマッチ情報に含まれる係数差分またはパワー差分や、２次元ＤＣＴ係数にも基づいて、クラス分類を行うようにすることが可能である。
【０３７５】
次に、注目ブロックのフレームライン相関とフィールドライン相関は、その他、例えば、注目ブロックの１次元ＤＣＴ係数から求めることも可能である。
【０３７６】
ここで、図２９および図３０を参照して、１次元ＤＣＴ係数について説明する。
【０３７７】
ＭＰＥＧやＪＰＥＧ(Joint Photographic Experts Group)等のＤＣＴ変換を利用した画像の符号化方式では、画像データが、水平方向および垂直方向の２次元のＤＣＴ変換（２次元ＤＣＴ変換）／逆ＤＣＴ変換（２次元逆ＤＣＴ変換）が行われる。
【０３７８】
図２９（Ａ）に示すような８×８画素のブロックにおける画素値を、８行×８列の行列Ｘで表すとともに、図２９（Ｂ）に示すような８×８のブロックにおける２次元ＤＣＴ係数を、８行×８列の行列Ｆで表すこととすると、２次元ＤＣＴ変換／２次元逆ＤＣＴ変換は、次式で表すことができる。
【０３７９】
ＣＸＣT＝Ｆ
・・・（１６）
ＣTＦＣ＝Ｘ
・・・（１７）
【０３８０】
ここで、上付のＴは、転置を表す。また、Ｃは、８行×８列のＤＣＴ変換行列で、その第ｉ＋１行第ｊ＋１列のコンポーネントｃijは、次式で表される。
【０３８１】
ｃij＝Ａi×ｃｏｓ（（２ｊ＋１）×ｉ×π／１６）
・・・（１８）
【０３８２】
但し、式（１８）において、ｉ＝０のときは、Ａi＝１／（２√２）であり、ｉ≠０のときは、Ａi＝１／２である。また、ｉとｊは、０乃至７の範囲の整数値である。
【０３８３】
式（１６）は、画素値Ｘを、２次元ＤＣＴ係数Ｆに変換する２次元ＤＣＴ変換を表し、式（１７）は、２次元ＤＣＴ係数Ｆを、画素値Ｘに変換する２次元逆ＤＣＴ変換を表す。
【０３８４】
従って、式（１７）によれば、２次元ＤＣＴ係数Ｆは、その左側から行列ＣTをかけるとともに、その右側から行列Ｃをかけることにより、画素値Ｘに変換されるが、２次元ＤＣＴ係数Ｆに対して、その左側から行列ＣTをかけるだけか、または、その右側から行列Ｃをかけるだけかすることで、１次元ＤＣＴ係数を求めることができる。
【０３８５】
即ち、２次元ＤＣＴ係数Ｆに対して、その左側から行列ＣTだけをかける場合、図２９（Ｃ）に示すように、２次元ＤＣＴ係数Ｆにおける垂直方向が空間領域に変換され、水平方向が周波数領域のままとされる垂直１次元逆ＤＣＴ変換が行われることとなり、その結果、水平方向の空間周波数成分を表す水平１次元ＤＣＴ係数ｖＸｈＦを得ることができる。
【０３８６】
また、２次元ＤＣＴ係数Ｆに対して、その右側から行列Ｃだけをかける場合、図２９（Ｄ）に示すように、２次元ＤＣＴ係数Ｆにおける水平方向が空間領域に変換され、垂直方向が周波数領域のままとされる水平１次元逆ＤＣＴ変換が行われることとなり、その結果、垂直方向の空間周波数成分を表す垂直１次元ＤＣＴ係数ｈＸｖＦを得ることができる。
【０３８７】
なお、横×縦が８×８の２次元ＤＣＴ係数Ｆを、垂直１次元逆ＤＣＴ変換した場合には、８×１の水平１次元ＤＣＴ係数が、８セット（８行分）得られることになる（図２９（Ｃ））。また、２次元ＤＣＴ係数Ｆを、水平１次元逆ＤＣＴ変換した場合には、１×８の垂直１次元ＤＣＴ係数が、８セット（８列分）得られることになる（図２９（Ｄ））。
【０３８８】
そして、ある行における８×１の水平１次元ＤＣＴ係数については、その左端のＤＣＴ係数が、その行の８画素の画素値の直流成分（ＤＣ成分）（８画素の画素値の平均値）を表し、他の７つのＤＣＴ係数が、その行の水平方向の交流成分を表す。また、ある列における１×８の垂直１次元ＤＣＴ係数については、その最上行のＤＣＴ係数が、その列の８画素の画素値の直流成分を表し、他の７つのＤＣＴ係数が、その列の垂直方向の交流成分を表す。
【０３８９】
ここで、式（１６）によれば、水平１次元ＤＣＴ係数は、２次元ＤＣＴ係数Ｆに対応する画素値Ｘに対して、その右側から行列ＣTをかける水平１次元ＤＣＴ変換を行うことによっても求めることができる。また、垂直１次元ＤＣＴ係数は、２次元ＤＣＴ係数Ｆに対応する画素値Ｘに対して、その左側から行列Ｃをかける垂直１次元ＤＣＴ変換を行うことによっても求めることができる。
【０３９０】
図３０は、実際の画像と、その画像についての２次元ＤＣＴ係数、水平１次元ＤＣＴ係数、および垂直１次元ＤＣＴ係数を示している。
【０３９１】
なお、図３０は、８×８ブロックの画像と、その画像についての２次元ＤＣＴ係数、水平１次元ＤＣＴ係数、および垂直１次元ＤＣＴ係数を示している。また、図３０（Ａ）が、実際の画像を、図３０（Ｂ）が、２次元ＤＣＴ係数を、図３０（Ｃ）が、水平１次元ＤＣＴ係数を、図３０（Ｄ）が、垂直１次元ＤＣＴ係数を、それぞれ示している。
【０３９２】
ここで、図３０（Ａ）の画像は、８ビットの画素値を有するものであり、そのような画素値から求められるＤＣＴ係数は、負の値も取り得る。但し、図３０（Ｂ）乃至図３０（Ｄ）の実施の形態では、求められたＤＣＴ係数に対して、１２８（＝２7）を加算し、その加算値が０未満となるものは０にクリップするとともに、加算値が２５６以上となるものは２５５にクリップすることにより、０乃至２５５の範囲のＤＣＴ係数を、図示してある。
【０３９３】
２次元ＤＣＴ係数には、８×８画素のブロック全体の情報が反映されているため、２次元ＤＣＴ係数からでは、ブロック内の特定の画素の情報等の局所的な情報を把握するのは困難である。これに対して、水平１次元ＤＣＴ係数または垂直１次元ＤＣＴ係数には、ブロックのある１行または１列だけの情報が、それぞれ反映されているため、２次元ＤＣＴ係数に比較して、ブロック内の局所的な情報を容易に把握することができる。
【０３９４】
即ち、ブロックのある行の特徴は、その行の８×１の水平１次元ＤＣＴ係数から把握することができ、ある列の特徴は、その列の１×８の垂直１次元ＤＣＴ係数から把握することができる。さらに、ブロックのある画素の特徴は、その画素が位置する行の８×１の水平１次元ＤＣＴ係数と、その画素が位置する列の１×８の垂直１次元ＤＣＴ係数とから把握することができる。
【０３９５】
また、左右に隣接するブロックどうしの境界の状態は、ブロック全体の情報が反映された２次元ＤＣＴ係数よりも、ブロックの境界部分の垂直方向の空間周波数成分を表す垂直１次元ＤＣＴ係数を用いた方が、より正確に把握することができる。さらに、上下に隣接するブロックどうしの境界の状態も、ブロック全体の情報が反映された２次元ＤＣＴ係数よりも、ブロックの境界部分の水平方向の空間周波数成分を表す水平１次元ＤＣＴ係数を用いた方が、より正確に把握することができる。
【０３９６】
実特性抽出部１２２において、上述のような１次元ＤＣＴ係数を用いた注目ブロックのフレームライン相関とフィールドライン相関の演算は、例えば、次のように行われる。
【０３９７】
即ち、実特性抽出部１２２は、図３１に示すように、ブロックにおける隣接する第ｉライン（上からｉ番目のライン）と第ｉ＋１ラインとの間の相関Ｑ（ｉ，ｉ＋１）を、例えば、次式にしたがって求める。
【０３９８】
Ｑ（ｉ，ｉ＋１）＝１／（Σ（ｄH（ｉ，ｊ）−ｄH（ｉ＋１，ｊ））
・・・（１９）
【０３９９】
但し、ｄH（ｉ，ｊ）は、第ｉラインの左からｊ番目（第ｊ列）の水平１次元ＤＣＴ係数を表す。また、Σは、ｊを１乃至８に変えてのサメーションを表す。
【０４００】
そして、実特性抽出部１２２は、例えば、相関Ｑ（ｉ，ｉ＋１）の平均値（（Ｑ（１，２）＋Ｑ（２，３）＋Ｑ（３，４）＋Ｑ（４，５）＋Ｑ（５，６）＋Ｑ（６，７）＋Ｑ（７，８））／７）を求め、この平均値を、フレームライン相関として出力する。
【０４０１】
また、実特性抽出部１２２は、図３１に示すように、ブロックにおける１ラインおきに隣接する第ｉラインと第ｉ＋２ラインとの間の相関Ｑ（ｉ，ｉ＋２）を、例えば、式（１９）にしたがって求める。
【０４０２】
そして、実特性抽出部１２２は、例えば、相関Ｑ（ｉ，ｉ＋２）の平均値（（Ｑ（１，３）＋Ｑ（２，４）＋Ｑ（３，５）＋Ｑ（４，６）＋Ｑ（５，７）＋Ｑ（６，８））／６）を求め、この平均値を、フィールドライン相関として出力する。
【０４０３】
次に、図３２は、上述のように、１次元ＤＣＴ係数を用いてフレームライン相関とフィールドライン相関を求める実特性抽出部１２２の構成例を示している。なお、図中、図２８における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図３２の実特性抽出部１２２は、ＤＣＴ係数差分演算部２５８に代えて、垂直１次元逆ＤＣＴ変換部２６１および相関演算部２６２が設けられている他は、図２８における場合と同様に構成されている。
【０４０４】
垂直１次元逆ＤＣＴ変換部２６１には、演算部２５３が出力するブロックの２次元ＤＣＴ係数が供給されるようになっている。垂直１次元逆ＤＣＴ変換部２６１は、演算部２５３からの２次元ＤＣＴ係数のブロックを、垂直１次元逆ＤＣＴ変換することにより、水平１次元ＤＣＴ係数のブロックを求め、相関演算部２６２に供給する。相関演算部２６２は、垂直１次元逆ＤＣＴ変換部２６１からの水平１次元ＤＣＴ係数から、図３１で説明したように、フレームライン相関とフィールドライン相関を求めて出力する。
【０４０５】
なお、図２８や図３２の実施の形態では、ＭＰＥＧデコーダ２５４が出力する復号画像データから予測画像を生成して、その予測画像を２次元ＤＣＴ係数に変換し、演算部２５３において、符号化データから得られる残差画像の２次元ＤＣＴ係数と、予測画像の２次元ＤＣＴ係数とを加算することにより、元の画像の２次元ＤＣＴ係数を求めるようにしたが、実特性抽出部１２２では、その他、例えば、ＭＰＥＧデコーダ２５４が出力する復号画像データを２次元ＤＣＴ変換し、その結果得られる２次元ＤＣＴ係数を、元の画像の２次元ＤＣＴ係数として用い、図２８のＤＣＴ係数差分演算部２５８や図３２の垂直１次元ＤＣＴ逆ＤＣＴ変換部２６１において、処理を行うことが可能である。
【０４０６】
また、図２８や図３２の実特性抽出部１２２では、ＤＣＴ係数差分演算部２５８や垂直１次元逆ＤＣＴ変換部２６１において、演算部２５３が出力する元の画像の２次元ＤＣＴ係数ではなく、符号化データから得られる残差画像の２次元ＤＣＴ係数（逆量子化部２５２の出力）を用いて処理を行うようにすることが可能である。
【０４０７】
次に、図３３は、図２２の係数メモリ１４１に記憶させるタップ係数を学習する場合の、図１５の学習装置の詳細構成例を示している。
【０４０８】
図３３の実施の形態では、学習用データ記憶部１１に、学習用データとして、高画質の画像データ（学習用画像データ）が記憶されている。
【０４０９】
図３３の実施の形態において、符号化部１２は、ＭＰＥＧエンコーダ２７１で構成されており、ＭＰＥＧエンコーダ２７１は、学習用データ記憶部１１から学習用画像データを読み出して、ＭＰＥＧ２方式で符号化し、その結果られる符号化データを出力する。
【０４１０】
即ち、図３４は、図３３のＭＰＥＧエンコーダ２７１の構成例を示している。
【０４１１】
学習用画像データは、動きベクトル検出部３２１と演算部３２３に供給される。動きベクトル検出部３２１は、学習用画像データを対象に、例えば、ブロックマッチングを行うことにより、学習用画像データの動きベクトルを検出し、動き補償部３２２に供給する。
【０４１２】
また、演算部３２３は、必要に応じて、学習用画像データ（原画像）から、動き補償部３２２から供給される予測画像を減算し、その結果得られる残差画像を、ＤＣＴ変換部３２４に供給する。ＤＣＴ変換部３２４は、演算部３２３からの残差画像を２次元ＤＣＴ変換し、その結果得られる２次元ＤＣＴ係数を、量子化部３２５に供給する。量子化部３２５は、ＤＣＴ変換部３２４から供給される２次元ＤＣＴ係数を、所定の量子化ステップで量子化することにより、量子化ＤＣＴ係数を得て、ＶＬＣ部３２６および逆量子化部３２７に供給する。
【０４１３】
ＶＬＣ部３２６は、量子化部３２５から供給される量子化ＤＣＴ係数をＶＬＣコードに可変長符号化し、さらに、必要な復号制御情報（例えば、動きベクトル検出部３２１で検出された動きベクトルや、量子化部３２５で用いられた量子化ステップなど）を多重化することで、符号化データを得て出力する。
【０４１４】
一方、逆量子化部３２７では、量子化部３２５が出力する量子化ＤＣＴ係数が逆量子化され、２次元ＤＣＴ係数が求められて、逆ＤＣＴ変換部３２８に供給される。逆ＤＣＴ変換部３２８は、逆量子化部３２７からの２次元ＤＣＴ係数を、２次元逆ＤＣＴ変換することにより、残差画像に復号し、演算部３２９に供給する。
【０４１５】
演算部３２９には、逆ＤＣＴ変換部３２８から、残差画像が供給される他、動き補償部３２２から、その残差画像を求めるのに演算部３２３で用いられたのと同一の予測画像が供給されるようになっており、演算部３２９は、残差画像と予測画像とを加算することで、元の画像を復号（ローカルデコード）する。この復号画像は、メモリ３３０に供給され、参照画像として記憶される。
【０４１６】
そして、動き補償部３２２では、メモリ３３０に記憶された参照画像が読み出され、動きベクトル検出部３２１から供給される動きベクトルにしたがって動き補償が施されることにより、予測画像が生成される。この予測画像は、動き補償部３２２から演算部３２３および３２９に供給される。
【０４１７】
上述したように、演算部３２３では、動き補償部３２２からの予測画像を用いて、残差画像が求められ、また、演算部３２９では、動き補償部３２２からの予測画像を用いて、元の画像が復号される。
【０４１８】
図３３に戻り、ＭＰＥＧデコーダ２７１が出力する符号化データは、符号化特性情報抽出部１７１および実特性抽出部１７２に供給される。
【０４１９】
符号化特性情報抽出部１７１は、逆ＶＬＣ部２７２で構成されており、実特性抽出部１７２は、ＭＰＥＧデコーダ２７３および相関演算部２７４で構成されている。逆ＶＬＣ部２７２、ＭＰＥＧデコーダ２７３、または相関演算部２７４は、図２２の逆ＶＬＣ部２３１、ＭＰＥＧデコーダ２３２、または相関演算部２３３とそれぞれ同様の処理を行い、これにより、逆ＶＬＣ部２７２は、注目ブロックのＤＣＴタイプを、相関演算部２７４は、注目ブロックのフレームライン相関およびフィールドライン相関を、それぞれ、判定部１７３に供給する。
【０４２０】
判定部１７３は、ブロック特性判定部２７５および比較部２７６で構成されており、ブロック特性判定部２７５と比較部２７６では、そこに供給される注目ブロックのＤＣＴタイプとフレームライン相関およびフィールドライン相関を用いて、図２２のブロック特性判定部２３４と比較部２３５における場合とそれぞれ同様の処理が行われることにより、適応学習部１６０において注目教師データとされている教師データについてのミスマッチ情報が生成される。このミスマッチ情報は、比較部２７６から適応学習部１６０に供給される。
【０４２１】
なお、図２２の復号装置における符号化特性情報抽出部１２１、実特性抽出部１２２、および判定部１２３において、図２７乃至図３２で説明したようにして、ミスマッチ情報が求められる場合には、図３３の学習装置における符号化特性情報抽出部１７１、実特性抽出部１７２、および判定部１７３でも、同様にして、ミスマッチ情報が求められる。
【０４２２】
逆後処理部１６１Ａは、学習用データ記憶部１１から学習用画像データを読み出し、そのまま、教師データとして、適応学習部１６０に出力する。適応学習部１６０（図１５）では、教師データ記憶部１６２において、後処理部１６１Ａからの教師データが記憶される。
【０４２３】
符号化部１６３Ａは、ＭＰＥＧエンコーダ２７７で構成され、ＭＰＥＧエンコーダ２７７は、ＭＰＥＧエンコーダ２７１と同様に、学習用データ記憶部１１から学習用画像データを読み出して、ＭＰＥＧ２方式で符号化し、その結果得られる符号化データを、前処理部１６３Ｂに出力する。
【０４２４】
前処理部１６３Ｂは、図２３のＭＰＥＧデコーダ２３２と同様に構成されるＭＰＥＧデコーダ２７８で構成され、ＭＰＥＧデコーダ２７８は、ＭＰＥＧエンコーダ２７７からの符号化データを、ＭＰＥＧ２方式で復号し、その結果得られる復号画像データを、生徒データとして、適応学習部１６０に出力する。適応学習部１６０（図１５）では、生徒データ記憶部１６４において、ＭＰＥＧデコーダ２７８からの生徒データが記憶される。
【０４２５】
そして、適応学習部１６０では、教師データおよび生徒データを用い、生徒データから抽出される予測タップとタップ係数から、式（１）の線形予測演算を行うことにより得られる教師データの予測値の予測誤差を統計的に最小にするタップ係数を求める学習が行われる。
【０４２６】
即ち、適応学習部１６０（図１５）では、タップ抽出部１６５が、教師データ記憶部１６２に記憶された教師データのうち、まだ、注目教師データとしていないものを、注目教師データとし、注目教師データについて、生徒データ記憶部１６４に記憶された生徒データから予測タップを構成して、足し込み部１６８に供給する。さらに、タップ抽出部１６６が、注目教師データについて、生徒データ記憶部１６４に記憶された生徒データからクラスタップを構成し、クラス分類部１６７に供給する。
【０４２７】
ここで、タップ抽出部１６５および１６６には、ミスマッチ情報が供給されるようになっており、タップ抽出部１６５または１６６では、ミスマッチ情報に基づき、注目教師データについて、図２２で説明したクラス分類適応処理部１３２のタップ抽出部１５１または１５２（図１３）が構成するのと同一のタップ構造の予測タップまたはクラスタップを構成する。
【０４２８】
従って、例えば、タップ抽出部１５１または１５２において、図２２で説明したように、復号制御情報をも用いて、予測タップまたはクラスタップがそれぞれ構成される場合には、図３３の学習装置でも、タップ抽出部１６５または１６６（図１５）において、復号制御情報をも用いて、予測タップまたはクラスタップがそれぞれ構成される。
【０４２９】
その後、クラス分類部１６７（図１５）では、注目教師データについてのクラスタップとミスマッチ情報に基づき、注目教師データについて、図２２で説明したクラス分類部１５３における場合と同様のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部１６８に出力する。
【０４３０】
足し込み部１６８は、教師データ記憶部１６２から注目教師データを読み出し、その注目教師データと、タップ抽出部１６５からの予測タップを用い、式（８）の行列Ａとベクトルｖのコンポーネントを計算する。さらに、足し込み部１６８は、既に得られている行列Ａとベクトルｖのコンポーネントのうち、クラス分類部１６７からのクラスコードに対応するものに対して、注目教師データと予測タップから求められた行列Ａとベクトルｖのコンポーネントを足し込む。
【０４３１】
以上の処理が、教師データ記憶部１６２に記憶された教師データすべてを、注目教師データとして行われると、足し込み部１６８は、いままでの処理によって得られたクラスごとの行列Ａおよびベクトルｖのコンポーネントで構成される式（８）の正規方程式を、タップ係数算出部１６９に供給し、タップ係数算出部１６９は、その各クラスごとの正規方程式を解くことにより、各クラスごとに、タップ係数を求めて出力する。
【０４３２】
なお、図３３の学習装置では、例えば、符号化部１６３ＡのＭＰＥＧエンコーダ２７７において学習用画像データをＭＰＥＧ符号化する前に、その学習用画像データの画素数を，１／Ｎに間引くようにすることで、適応学習部１６０において、ＭＰＥＧ復号された画像データを、高画質で、かつ画素数をＮ倍にする（解像度を高くする）タップ係数を得ることができる。
【０４３３】
次に、図３５は、符号化データが画像データをＭＰＥＧ２方式で符号化したものである場合の、図１２の復号装置の第２の詳細構成例を示している。なお、図中、図２２における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０４３４】
図３５の実施の形態では、前処理部１３１が、逆ＶＬＣ部２８１、逆量子化部２８２、演算部２８３、ＭＰＥＧデコーダ２８４、メモリ２８５、動き補償部２８６、およびＤＣＴ変換部２８７で構成されている。
【０４３５】
逆ＶＬＣ部２８１、逆量子化部２８２、演算部２８３、ＭＰＥＧデコーダ２８４、メモリ２８５、動き補償部２８６、またはＤＣＴ変換部２８７は、図２８の逆ＶＬＣ部２５１、逆量子化部２５２、演算部２５３、ＭＰＥＧデコーダ２５４、メモリ２５５、動き補償部２５６、またはＤＣＴ変換部２５７とそれぞれ同様に構成されるもので、前処理部１３１に供給される符号化データに対して、図２８で説明した場合と同様の処理を施し、これにより、前処理部１３１では、元の画像の２次元ＤＣＴ係数が求められ、前処理データとして、クラス分類適応処理部１３２に供給される。
【０４３６】
クラス分類適応処理部１３２では、前処理部１３１が出力する２次元ＤＣＴ係数を対象に、クラス分類適応処理が行われ、これにより、高画質画像データ（の予測値）が、適応処理データとして求められる。
【０４３７】
即ち、クラス分類適応処理部１３２（図１３）では、前処理部１３１が出力する２次元ＤＣＴ係数が、タップ抽出部１５１と１５２に供給される。
【０４３８】
タップ抽出部１５１は、まだ、注目データとしていない高画質画像データの画素を注目データとして、その注目データを予測するのに用いる前処理データとしての２次元ＤＣＴ係数の幾つかを、予測タップとして抽出する。タップ抽出部１５２も、注目データをクラス分類するのに用いる前処理データとしての２次元ＤＣＴ係数の幾つかを、クラスタップとして抽出する。
【０４３９】
なお、タップ抽出部１５１または１５２は、注目データについてのミスマッチ情報に基づいて、予測タップまたはクラスタップのタップ構造を、それぞれ変更する。
【０４４０】
即ち、タップ抽出部１５１は、例えば、注目データのブロック（注目ブロック）の２次元ＤＣＴ係数すべての他、注目ブロックの上下左右それぞれに隣接するブロックにおける２次元ＤＣＴ係数を、ミスマッチ情報に応じて抽出して、予測タップを構成する。タップ抽出部１５１も、タップ抽出部１５１と同様にして、クラスタップを構成する。
【０４４１】
そして、タップ抽出部１５１で得られた予測タップは、予測部１５４に供給され、タップ抽出部１５２で得られたクラスタップは、クラス分類部１５３に供給される。
【０４４２】
クラス分類部１５３では、クラスタップと、注目データについてのミスマッチ情報に基づき、図２２で説明した場合と同様にして、注目データがクラス分類され、注目データについてのクラスコードが、係数メモリ１４１に供給される。係数メモリ１４１では、注目データについてのクラスコードに対応するタップ係数が読み出され、予測部１５４に供給される。
【０４４３】
予測部１５４は、タップ抽出部１５１が出力する予測タップと、係数メモリ１４１から取得したタップ係数とを用いて、式（１）に示した線形予測演算を行う。これにより、予測部１５４は、注目データ（の予測値）、即ち、高画質画像データを求め、後処理部１３３に供給する。
【０４４４】
後処理部１３３では、クラス分類適応処理部１３２からの高画質画像データが、そのまま出力される。
【０４４５】
従って、図３５の実施の形態では、クラス分類適応処理部１３２において、２次元ＤＣＴ係数が高画質画像データに変換される。
【０４４６】
次に、図３６は、図３５の復号装置の係数メモリ１４１に記憶させるタップ係数を学習する場合の、図１５の学習装置の詳細構成例を示している。なお、図中、図３３における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０４４７】
図３６の実施の形態では、前処理部１６３Ｂが、逆ＶＬＣ部２９１、逆量子化部２９２、演算部２９３、ＭＰＥＧデコーダ２９４、メモリ２９５、動き補償部２９６、およびＤＣＴ変換部２９７で構成されており、これらの逆ＶＬＣ部２９１乃至ＤＣＴ変換部２９７は、図３５の逆ＶＬＣ部２８１乃至ＤＣＴ変換部２８７とそれぞれ同様に構成されている。
【０４４８】
従って、前処理部１６３Ｂでは、符号化部１６３ＡのＭＰＥＧエンコーダ２７７が出力する符号化データに対して、図３５の前処理部１３１における場合と同様の処理が施され、これにより得られる２次元ＤＣＴ係数が、生徒データとして、適応学習部１６０に供給される。
【０４４９】
適応学習部１６０（図１５）では、生徒データ記憶部１６４において、前処理部１６３Ｂから供給される２次元ＤＣＴ係数が、生徒データとして記憶され、図３３で説明した場合と同様に、教師データおよび生徒データを用い、生徒データから抽出される予測タップとタップ係数から、式（１）の線形予測演算を行うことにより得られる教師データの予測値の予測誤差を統計的に最小にするタップ係数を求める学習が行われ、これにより、生徒データとしての２次元ＤＣＴ係数を、高画質画像データに変換するクラスごとのタップ係数が求められる。
【０４５０】
但し、図３６の実施の形態において、適応学習部１６０（図１５）では、そのタップ抽出部１６５または１６６それぞれにおいて、図３５のクラス分類適応処理部１３２（図１３）におけるタップ抽出部１５１または１５２が構成するのと同一のタップ構造の予測タップまたはクラスタップが、ミスマッチ情報に基づいて構成される。さらに、図３６の適応学習部１６０（図１５）におけるクラス分類部１６７でも、図３５のクラス分類適応処理部１３２（図１３）におけるクラス分類部１５３と同様のクラス分類が行われる。
【０４５１】
次に、図３７は、符号化データが画像データをＭＰＥＧ２方式で符号化したものである場合の、図１２の復号装置の第３の詳細構成例を示している。なお、図中、図３５における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０４５２】
図３７の復号装置は、後処理部１３３が、逆ＤＣＴ変換部３０１で構成されていることを除いて、図３５における場合と同様に構成されている。
【０４５３】
図３７の実施の形態では、クラス分類適応処理部１３２において、前処理部１３１が出力する２次元ＤＣＴ係数を対象に、クラス分類適応処理が行われ、これにより、２次元逆ＤＣＴ変換を行った場合に、高画質画像データを得ることのできる２次元ＤＣＴ係数（以下、適宜、高画質２次元ＤＣＴ係数という）（の予測値）が、適応処理データとして求められる。
【０４５４】
即ち、クラス分類適応処理部１３２（図１３）では、前処理部１３１が出力する前処理データとしての２次元ＤＣＴ係数が、タップ抽出部１５１と１５２に供給される。
【０４５５】
タップ抽出部１５１は、まだ、注目データとしていない高画質２次元ＤＣＴ係数を注目データとして、その注目データを予測するのに用いる前処理データとしての２次元ＤＣＴ係数の幾つかを、予測タップとして抽出する。即ち、タップ抽出部１５１は、ミスマッチ情報に基づき、注目データについて、図３５における場合と同様のタップ構造の予測タップを構成する。タップ抽出部１５２も、ミスマッチ情報に基づき、注目データについて、図３５における場合と同様のタップ構造のクラスタップを構成する。
【０４５６】
そして、タップ抽出部１５１で得られた予測タップは、予測部１５４に供給され、タップ抽出部１５２で得られたクラスタップは、クラス分類部１５３に供給される。
【０４５７】
クラス分類部１５３では、クラスタップと、注目データについてのミスマッチ情報に基づき、図３５における場合と同様にして、注目データがクラス分類され、注目データについてのクラスコードが、係数メモリ１４１に供給される。係数メモリ１４１では、注目データについてのクラスコードに対応するタップ係数が読み出され、予測部１５４に供給される。
【０４５８】
予測部１５４は、タップ抽出部１５１が出力する予測タップと、係数メモリ１４１から取得したタップ係数とを用いて、式（１）に示した線形予測演算を行う。これにより、予測部１５４は、注目データ（の予測値）、即ち、高画質２次元ＤＣＴ係数を求め、後処理部１３３に供給する。
【０４５９】
後処理部１３３では、逆ＤＣＴ変換部３０１において、クラス分類適応処理部１３２が出力する高画質２次元ＤＣＴ係数が、２次元逆ＤＣＴ変換され、これにより、高画質画像データが求められて出力される。
【０４６０】
次に、図３８は、図３７の復号装置の係数メモリ１４１に記憶させるタップ係数を学習する場合の、図１５の学習装置の詳細構成例を示している。なお、図中、図３６における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０４６１】
図３８の学習装置は、逆後処理部１６１Ａが、ＤＣＴ変換部３１１で構成されていることを除いて、図３６における場合と同様に構成されている。
【０４６２】
従って、逆後処理部１６１Ａでは、ＤＣＴ変換部３１１において、学習用データ記憶部１１から読み出された学習用画像データとしての高画質画像データが、ブロック単位で２次元ＤＣＴ変換され、その結果得られる高画質２次元ＤＣＴ係数が、教師データとして、適応学習部１６０に供給される。
【０４６３】
適応学習部１６０（図１５）では、教師データ記憶部１６２において、逆後処理部１６１Ａから供給される高画質２次元ＤＣＴ係数が、教師データとして記憶され、その教師データと、生徒データ記憶部１６４に記憶された生徒データとしての２次元ＤＣＴ係数とを用い、生徒データから抽出される予測タップとタップ係数から、式（１）の線形予測演算を行うことにより得られる教師データの予測値の予測誤差を統計的に最小にするタップ係数を求める学習が行われ、これにより、生徒データとしての２次元ＤＣＴ係数を、高画質２次元ＤＣＴ係数に変換するクラスごとのタップ係数が求められる。
【０４６４】
即ち、いまの場合、生徒データされている２次元ＤＣＴ係数は、前処理部１６３Ｂにおいて、符号化データから求められたものであり、量子化誤差を含んでいるため、その２次元ＤＣＴ係数を２次元逆ＤＣＴ変換して得られる画像は、いわゆるブロック歪み等を有する低画質のものとなる。
【０４６５】
そこで、適応学習部１６０では、上述のように、式（１）の線形予測演算を行うことにより得られる教師データ（学習用画像データを２次元ＤＣＴ変換して得られる高画質２次元ＤＣＴ係数）の予測値の予測誤差を統計的に最小にするタップ係数を求める学習が行われることにより、生徒データされている２次元ＤＣＴ係数を、高画質２次元ＤＣＴ係数に変換するクラスごとのタップ係数が求められる。
【０４６６】
なお、図３８の実施の形態において、適応学習部１６０（図１５）では、そのタップ抽出部１６５または１６６それぞれにおいて、図３７のクラス分類適応処理部１３２（図１３）におけるタップ抽出部１５１または１５２が構成するのと同一のタップ構造の予測タップまたはクラスタップが、ミスマッチ情報に基づいて構成される。さらに、図３８の適応学習部１６０（図１５）におけるクラス分類部１６７でも、図３７のクラス分類適応処理部１３２（図１３）におけるクラス分類部１５３と同様のクラス分類が行われる。
【０４６７】
以上のように、符号化データに含まれる特性データの正しさを判定し、その判定結果を表すミスマッチ情報に基づいて、符号化データの復号、およびその復号に用いるタップ係数の学習等を行うようにしたので、例えば、符号化データに含まれる特性データが、元のデータの特性を正しく表していないものであっても、符号化データを、高品質のデータに復号することが可能となる。
【０４６８】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０４６９】
そこで、図３９は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０４７０】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク４０５やＲＯＭ４０３に予め記録しておくことができる。
【０４７１】
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体４１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体４１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０４７２】
なお、プログラムは、上述したようなリムーバブル記録媒体４１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部４０８で受信し、内蔵するハードディスク４０５にインストールすることができる。
【０４７３】
コンピュータは、CPU(Central Processing Unit)４０２を内蔵している。CPU４０２には、バス４０１を介して、入出力インタフェース４１０が接続されており、CPU４０２は、入出力インタフェース４１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部４０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)４０３に格納されているプログラムを実行する。あるいは、また、CPU４０２は、ハードディスク４０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部４０８で受信されてハードディスク４０５にインストールされたプログラム、またはドライブ４０９に装着されたリムーバブル記録媒体４１１から読み出されてハードディスク４０５にインストールされたプログラムを、RAM(Random Access Memory)４０４にロードして実行する。これにより、CPU４０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU４０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース４１０を介して、LCD(Liquid CryStal Display)やスピーカ等で構成される出力部４０６から出力、あるいは、通信部４０８から送信、さらには、ハードディスク４０５に記録等させる。
【０４７４】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０４７５】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０４７６】
なお、本実施の形態では、画像データをＭＰＥＧ方式で符号化した場合と、音声データをＣＥＬＰ方式で符号化した場合とについて説明したが、本発明は、これらの符号化方式に限定されるものではなく、例えば、音声データをＭＰ３(MPEG-1 Audio Layer 3)方式で符号化した符号化データ等にも適用可能である。
【０４７７】
また、本発明を適用した復号装置および復号方法、並びに第１のプログラムおよび第１の記録媒体によれば、特性データの正しさが判定され、その判定結果を表すミスマッチ情報が出力される。そして、そのミスマッチ情報に基づいて、符号化データが復号される。従って、符号化データを、高品質のデータに復号することが可能となる。
【０４７８】
さらに、本発明を適用した学習装置および学習方法、並びに第２のプログラムおよび第２の記録媒体によれば、学習用のデータから、タップ係数の学習の教師となる教師データと、生徒となる生徒データが生成されて出力される。さらに、学習用のデータが符号化され、そのデータについての特性データを含む学習用の符号化データが出力される。そして、学習用の符号化データに含まれる特性データの正しさが判定され、その判定結果を表すミスマッチ情報に基づき、教師データと生徒データを用いて、タップ係数の学習が行われる。従って、そのタップ係数により、符号化データを、高品質のデータに復号することが可能となる。
【図面の簡単な説明】
【０４７９】
【図１】本発明を適用した復号装置の一実施の形態の構成例を示すブロック図である。
【図２】復号装置の処理を説明するフローチャートである。
【図３】本発明を適用した復号装置の他の一実施の形態の構成例を示すブロック図である。
【図４】本発明を適用した学習装置の一実施の形態の構成例を示すブロック図である。
【図５】学習装置の処理を説明するフローチャートである。
【図６】音声データを、クラス分類適応処理によって、高音質の音声データに変換する音声データ処理装置の構成例を示すブロック図である。
【図７】係数メモリ２５に記憶されるタップ係数を学習する学習装置の構成例を示すブロック図である。
【図８】音声データをＶＳＥＬＰ方式で符号化するＶＳＥＬＰ符号化装置の構成例を示すブロック図である。
【図９】符号化データをＶＳＥＬＰ方式で復号するＶＳＥＬＰ復号装置の構成例を示すブロック図である。
【図１０】クラス分類適応処理を適用したＶＳＥＬＰ復号装置の構成例を示すブロック図である。
【図１１】係数メモリ８４に記憶されるタップ係数を学習する学習装置の構成例を示すブロック図である。
【図１２】本発明を適用した復号装置のより詳細な構成例を示すブロック図である。
【図１３】クラス分類適応処理部１３２の構成例を示すブロック図である。
【図１４】復号装置の処理を説明するフローチャートである。
【図１５】本発明を適用した学習装置のより詳細な構成例を示すブロック図である。
【図１６】学習装置の処理を説明するフローチャートである。
【図１７】ＶＳＥＬＰ方式で符号化された符号化データを復号する復号装置の第１の構成例を示すブロック図である。
【図１８】ＶＳＥＬＰ方式で符号化された符号化データを復号するのに用いられるタップ係数を学習する学習装置の第１の構成例を示すブロック図である。
【図１９】ＶＳＥＬＰ方式で符号化された符号化データを復号する復号装置の第２の構成例を示すブロック図である。
【図２０】ＶＳＥＬＰ方式で符号化された符号化データを復号するのに用いられるタップ係数を学習する学習装置の第２の構成例を示すブロック図である。
【図２１】ＶＳＥＬＰ方式で符号化された符号化データを復号するのに用いられるタップ係数を学習する学習装置の第３の構成例を示すブロック図である。
【図２２】ＭＰＥＧ方式で符号化された符号化データを復号する復号装置の第１の構成例を示すブロック図である。
【図２３】ＭＰＥＧデコーダ２３２の構成例を示すブロック図である。
【図２４】画像データから、フレームライン相関とフィールドライン相関を求める方法を説明するための図である。
【図２５】タップ構造設定テーブルを示す図である。
【図２６】パターンＡ乃至Ｄのタップ構造を示す図である。
【図２７】横縞を基底とするＤＣＴ係数を示す図である。
【図２８】実特性抽出部１２２の構成例を示すブロック図である。
【図２９】１次元ＤＣＴ係数を説明するための図である。
【図３０】１次元ＤＣＴ係数を説明するディスプレイ上に表示された中間階調の写真である。
【図３１】１次元ＤＣＴ係数から、フレームライン相関とフィールドライン相関を求める方法を説明するための図である。
【図３２】実特性抽出部１２２の他の構成例を示すブロック図である。
【図３３】ＭＰＥＧ方式で符号化された符号化データを復号するのに用いられるタップ係数を学習する学習装置の第１の構成例を示すブロック図である。
【図３４】ＭＰＥＧエンコーダ２７１の構成例を示すブロック図である。
【図３５】ＭＰＥＧ方式で符号化された符号化データを復号する復号装置の第２の構成例を示すブロック図である。
【図３６】ＭＰＥＧ方式で符号化された符号化データを復号するのに用いられるタップ係数を学習する学習装置の第２の構成例を示すブロック図である。
【図３７】ＭＰＥＧ方式で符号化された符号化データを復号する復号装置の第３の構成例を示すブロック図である。
【図３８】ＭＰＥＧ方式で符号化された符号化データを復号するのに用いられるタップ係数を学習する学習装置の第３の構成例を示すブロック図である。
【図３９】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
【０４８０】
１ ミスマッチ検出部， ２ 復号処理部， ３ パラメータ記憶部， １１ 学習用データ記憶部， １２ 符号化部， １３ ミスマッチ検出部， １４ 学習処理部， ２１ ピッチ検出部， ２２，２３ タップ抽出部， ２４ クラス分類部， ２５ 係数メモリ， ２６ 予測部， ３１ 時間間引きフィルタ， ３２ ピッチ検出部， ３３，３４ タップ抽出部， ３５ クラス分類部， ３６ 足し込み部， ３７ タップ係数算出部， ４１ マイク， ４２ Ａ／Ｄ変換部， ４３ 演算器， ４４ ＬＰＣ分析部， ４５ ベクトル量子化部， ４６ 音声合成フィルタ， ４７ 自乗誤差演算部， ４８ 自乗誤差最小判定部， ４９ 適応コードブック記憶部， ５０ ゲイン復号器， ５１ 励起コードブック記憶部， ５２乃至５４ 演算器， ５５ コード決定部， ５６ チャネルエンコーダ， ６１ チャネルデコーダ， ６２ 適応コードブック記憶部， ６３ ゲイン復号器， ６４ 励起コードブック記憶部， ６５ フィルタ係数復号器， ６６乃至６８ 演算器， ６９ 音声合成フィルタ， ８１，８２ タップ抽出部， ８３ クラス分類部， ８４ 係数メモリ， ８５ 予測部， ９２ Ａ／Ｄ変換部， ９３ 演算器， ９４ ＬＰＣ分析部， ９５ ベクトル量子化部， ９６ 音声合成フィルタ， ９７ 自乗誤差演算部， ９８ 自乗誤差最小判定部， ９９ 適応コードブック記憶部， １００ ゲイン復号器， １０１ 励起コードブック記憶部， １０２乃至１０４ 演算器， １０５ コード決定部， １１１，１１２ タップ抽出部， １１３ クラス分類部， １１４ 足し込み部， １１５ タップ係数算出部， １２１ 符号化特性情報抽出部， １２２ 実特性抽出部， １２３ 判定部， １３１ 前処理部， １３２ クラス分類適応処理部， １３３ 後処理部， １４１ 係数メモリ， １５１，１５２ タップ抽出部， １５３ クラス分類部， １５４ 予測部， １６０ 適応学習部， １６１ 教師データ生成部， １６１Ａ 逆後処理部， １６２ 教師データ記憶部， １６３ 生徒データ生成部， １６３Ａ 符号化部， １６３Ｂ 前処理部， １６４ 生徒データ記憶部， １６５，１６６ タップ抽出部， １６７ クラス分類部， １６８ 足し込み部， １６９ タップ係数算出部， １７１ 符号化特性情報抽出部， １７２ 実特性抽出部， １７３ 判定部， １８１ チャネルデコーダ， １８２ ＶＳＥＬＰ復号装置， １８３ ピッチ検出部， １８４ 差分演算部， １８５ ＶＳＥＬＰ復号装置， １９１ ＶＳＥＬＰ符号化装置， １９２ チャネルデコーダ， １９３ ＶＳＥＬＰ復号装置， １９４ ピッチ検出部， １９５ 差分演算部， １９６ ＶＳＥＬＰ符号化装置， １９７ ＶＳＥＬＰ復号装置， ２０１ 音声合成フィルタ， ２１１ ＬＰＣ分析部， ２１２ 予測フィルタ， ２２１ ＬＰＣ分析部， ２３１ 逆ＶＬＣ部， ２３２ ＭＰＥＧデコーダ， ２３３ 相関演算部， ２３４ ブロック特性判定部， ２３５ 比較部， ２３６ ＭＰＥＧデコーダ， ２４１ 逆ＶＬＣ部， ２４２ 逆量子化部， ２４３ 逆ＤＣＴ変換部， ２４４ 演算部， ２４５ メモリ， ２４６ 動き補償部， ２４７ ピクチャ選択部， ２５１ 逆ＶＬＣ部， ２５２ 逆量子化部， ２５３ 演算部， ２５４ ＭＰＥＧデコーダ， ２５５ メモリ， ２５６ 動き補償部， ２５７ ＤＣＴ変換部， ２５８ ＤＣＴ係数差分演算部， ２６１ 垂直１次元逆ＤＣＴ変換部， ２６２ 相関演算部， ２７１ ＭＰＥＧエンコーダ， ２７２ 逆ＶＬＣ部， ２７３ ＭＰＥＧデコーダ， ２７４ 相関演算部， ２７５ ブロック特性判定部， ２７６ 比較部， ２７７ ＭＰＥＧエンコーダ， ２７８ ＭＰＥＧデコーダ， ２８１ 逆ＶＬＣ部， ２８２ 逆量子化部， ２８３ 演算部， ２８４ ＭＰＥＧデコーダ， ２８５ メモリ， ２８６ 動き補償部， ２８７ ＤＣＴ変換部， ２９１ 逆ＶＬＣ部， ２９２ 逆量子化部， ２９３ 演算部， ２９４ ＭＰＥＧデコーダ， ２９５ メモリ， ２９６ 動き補償部， ２９７ ＤＣＴ変換部， ３０１ 逆ＤＣＴ変換部， ３１１ ＤＣＴ変換部， ３２１ 動きベクトル検出部， ３２２ 動き補償部， ３２３ 演算部， ３２４ ＤＣＴ変換部， ３２５ 量子化部， ３２６ ＶＬＣ部， ３２７ 逆量子化部， ３２８ 逆ＤＣＴ変換部， ３２９ 演算部， ３３０ メモリ， ４０１ バス， ４０２ CPU， ４０３ ROM， ４０４ RAM， ４０５ ハードディスク， ４０６ 出力部， ４０７ 入力部， ４０８ 通信部， ４０９ ドライブ， ４１０ 入出力インタフェース， ４１１ リムーバブル記録媒体
【技術分野】
【０００１】
本発明は、学習装置および学習方法、並びにプログラムおよび記録媒体に関し、特に、例えば、画像や音声等を符号化した符号化データを、高品質（高画質または高音質）の画像や音声に復号することができるようにするタップ係数を学習する学習装置および学習方法、並びにプログラムおよび記録媒体に関する。
【背景技術】
【０００２】
画像（動画像）データの高能率符号化方式としては、例えば、ＭＰＥＧ(Moving Picture Experts Group)方式が知られており、ＭＰＥＧ方式では、画像データが、横×縦が８×８画素のブロック単位で、水平および垂直の２方向について２次元ＤＣＴ（Discrete Cosine Transform）変換され、さらに量子化される。
【０００３】
このように、ＭＰＥＧ方式では、画像データが２次元ＤＣＴ変換されるが、例えば、ＭＰＥＧ２では、２次元ＤＣＴ変換の対象となるブロックのＤＣＴタイプを、マクロブロック単位で、フレームＤＣＴモードとフィールドＤＣＴモードに切り替えることができる。フレームＤＣＴモードでは、ブロックが、同一フレームの画素から構成され、そのようなブロックの画素値が２次元ＤＣＴ変換される。また、フィールドＤＣＴモードでは、ブロックが、同一フィールドの画素から構成され、そのようなブロックの画素値が２次元ＤＣＴ変換される。
【０００４】
ＤＣＴタイプを、フレームＤＣＴモードまたはフィールドＤＣＴモードのうちのいずれとするかは、基本的には、例えば、画像の動きや、周辺のマクロブロックとの連続性等の画像の特性に基づき、復号画像におけるブロック歪みモスキートノイズ等を低減するように決定される。即ち、例えば、動きの大きい画像については、フィールドＤＣＴモードが選択され、動きのほとんどない画像については、フレームＤＣＴモードが選択される。
【０００５】
ここで、画像をＭＰＥＧ符号化することにより得られる符号化データには、画像を２次元ＤＣＴ変換して量子化することにより得られる２次元ＤＣＴ係数の他、ＤＣＴタイプ等も含まれるが、このＤＣＴタイプは、上述のように、画像の動きなどに基づいて決定されるので、画像の特性を表しているということができる。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところで、ＭＰＥＧ符号化においては、デコーダ側においてオーバーフローおよびアンダーフローが生じないように、符号化データのデータレートが制限される。そして、この符号化データのデータレートを制限するために、本来、フレームＤＣＴモードまたはフィールドＤＣＴモードに設定すべきＤＣＴタイプが、フィールドＤＣＴモードまたはフレームＤＣＴモードに、いわば不適切に設定されることがある。
【０００７】
しかしながら、このような不適切なＤＣＴタイプが設定された場合であっても、デコーダ側では、その不適切なＤＣＴタイプにしたがって、符号化データを復号しなければならず、復号画像の画質が劣化する課題があった。
【０００８】
本発明は、このような状況に鑑みてなされたものであり、符号化データを、高品質の画像や音声に復号することができるタップ係数を学習するようにするものである。
【課題を解決するための手段】
【０００９】
本発明の学習装置は、学習用のデータから、タップ係数の学習の教師となる教師データを生成して出力する教師データ生成手段と、学習用のデータから、タップ係数の学習の生徒となる生徒データを生成して出力する生徒データ生成手段と、学習用のデータを符号化し、そのデータについての特性データを含む学習用の符号化データを出力する符号化手段と、学習用の符号化データに含まれる特性データの正しさを判定し、その判定結果を表すミスマッチ情報を出力する判定手段と、ミスマッチ情報に基づき、教師データと生徒データを用いて、タップ係数を学習する学習手段とを備えることを特徴とする。
【００１０】
本発明の学習方法は、学習用のデータから、タップ係数の学習の教師となる教師データを生成して出力する教師データ生成ステップと、学習用のデータから、タップ係数の学習の生徒となる生徒データを生成して出力する生徒データ生成ステップと、学習用のデータを符号化し、そのデータについての特性データを含む学習用の符号化データを出力する符号化ステップと、学習用の符号化データに含まれる特性データの正しさを判定し、その判定結果を表すミスマッチ情報を出力する判定ステップと、ミスマッチ情報に基づき、教師データと生徒データを用いて、タップ係数を学習する学習ステップとを備えることを特徴とする。
【００１１】
本発明のプログラムは、学習用のデータから、タップ係数の学習の教師となる教師データを生成して出力する教師データ生成ステップと、学習用のデータから、タップ係数の学習の生徒となる生徒データを生成して出力する生徒データ生成ステップと、学習用のデータを符号化し、そのデータについての特性データを含む学習用の符号化データを出力する符号化ステップと、学習用の符号化データに含まれる特性データの正しさを判定し、その判定結果を表すミスマッチ情報を出力する判定ステップと、ミスマッチ情報に基づき、教師データと生徒データを用いて、タップ係数を学習する学習ステップとを含む学習処理を、コンピュータに行わせることを特徴とする。
【００１２】
本発明の記録媒体は、学習用のデータから、タップ係数の学習の教師となる教師データを生成して出力する教師データ生成ステップと、学習用のデータから、タップ係数の学習の生徒となる生徒データを生成して出力する生徒データ生成ステップと、学習用のデータを符号化し、そのデータについての特性データを含む学習用の符号化データを出力する符号化ステップと、学習用の符号化データに含まれる特性データの正しさを判定し、その判定結果を表すミスマッチ情報を出力する判定ステップと、ミスマッチ情報に基づき、教師データと生徒データを用いて、タップ係数を学習する学習ステップとを含む学習処理を、コンピュータに行わせるプログラムが記録されていることを特徴とする。
【００１３】
本発明の学習装置および学習方法、並びにプログラムおよび記録媒体においては、学習用のデータから、タップ係数の学習の教師となる教師データと、生徒となる生徒データが生成されて出力される。さらに、学習用のデータが符号化され、そのデータについての特性データを含む学習用の符号化データが出力される。そして、学習用の符号化データに含まれる特性データの正しさが判定され、その判定結果を表すミスマッチ情報に基づき、教師データと生徒データを用いて、タップ係数の学習が行われる。
【発明の効果】
【００１４】
本発明の学習装置および学習方法、並びにプログラムおよび記録媒体によれば、符号化データを、高品質のデータに復号することが可能となるタップ係数を学習することができる。
【発明を実施するための最良の形態】
【００１５】
図１は、本発明を適用した復号装置の一実施の形態の構成例を示している。
【００１６】
復号装置には、図示せぬ記録媒体（例えば、光ディスクや、光磁気ディスク、相変化ディスク、磁気テープ、半導体メモリ等）から再生された符号化データ、または伝送媒体（例えば、インターネットや、ＣＡＴＶ網、衛星回線、地上波等）を介して伝送されてくる符号化データが、復号対象として入力されるようになっている。ここで、符号化データは、所定のデータを所定の符号化方式で符号化して得られるもので、少なくとも、所定のデータの特性を表す特性データを含んでいる。
【００１７】
なお、符号化データとしては、例えば、後述するように、音声データをＣＥＬＰ(Code Excited Liner Prediction coding)方式で符号化したものや、画像データをＭＰＥＧ２方式で符号化したもの等を採用することができる。
【００１８】
ここで、符号化データが、音声データをＣＥＬＰ方式で符号化したものである場合には、その符号化データには、ラグを表すＬコードが含まれる。このラグは、符号化された音声データのピッチ周期に対応し、従って、ピッチ周期という音声データの特性を表すから、特性データということができる。
【００１９】
また、符号化データが、画像データをＭＰＥＧ２方式で符号化したものである場合には、前述したように、その符号化データには、ＤＣＴタイプが含まれ、このＤＣＴタイプは、画像の動きなどに基づいて決定されるので、画像の特性を表しており、やはり、特性データということができる。
【００２０】
なお、復号装置において復号対象とする符号化データは、上述のようなＣＥＬＰ方式で符号化された音声データや、ＭＰＥＧ２方式で符号化された画像データに限定されるものではない。
【００２１】
復号装置に入力された符号化データは、ミスマッチ検出部１と復号処理部２に供給されるようになっている。
【００２２】
ミスマッチ検出部１は、符号化データからミスマッチ情報を検出する。即ち、ミスマッチ検出部１は、符号化データに含まれる特性データの正しさを判定し、その判定結果を表すミスマッチ情報を、復号処理部２に出力する。復号処理部２は、ミスマッチ検出部１から供給されるミスマッチ情報に基づいて、符号化データを復号し、その結果得られる復号データを出力する。
【００２３】
次に、図２のフローチャートを参照して、図１の復号装置の処理（復号処理）について説明する。
【００２４】
ミスマッチ検出部１と復号処理部２には、符号化データが供給され、ミスマッチ検出部１は、まず最初に、ステップＳ１において、符号化データからミスマッチ情報を検出し、復号処理部２に供給して、ステップＳ２に進む。ステップＳ２では、復号処理部２が、ミスマッチ検出部１から供給されるミスマッチ情報に基づいて、そのミスマッチ情報が検出された符号化データを復号し、復号データを出力して、ステップＳ３に進む。ステップＳ３では、ミスマッチ検出部１または復号処理部２が、復号すべき符号化データが、まだ存在するかどうかを判定する。ステップＳ３において、復号すべき符号化データが、まだ存在すると判定された場合、ステップＳ１に戻り、以下、同様の処理が繰り返される。
【００２５】
また、ステップＳ３において、復号すべき符号化データが存在しないと判定された場合、処理を終了する。
【００２６】
次に、図３は、本発明を適用した復号装置の他の実施の形態の構成例を示している。なお、図中、図１における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図３の復号装置は、パラメータ記憶部３が、新たに設けられている他は、基本的に、図１の復号装置と同様に構成されている。
【００２７】
パラメータ記憶部３は、後述する学習装置による学習によって得られたパラメータを記憶しており、復号処理部２は、パラメータ記憶部３に記憶されたパラメータを用いて、そこに供給される符号化データを復号する。
【００２８】
従って、図３の復号装置では、復号処理部２において、符号化データの復号が、パラメータ記憶部３に記憶されたパラメータを用いて行われる他は、図１の復号装置と同様の処理が行われるため、その処理についての説明は省略する。
【００２９】
次に、図４は、図３のパラメータ記憶部３に記憶させるパラメータを学習する学習装置の一実施の形態の構成例を示している。
【００３０】
学習用データ記憶部１１は、パラメータの学習に用いられるデータである学習用データを記憶している。
【００３１】
符号化部１２は、学習用データ記憶部１１に記憶されている学習用データを読み出し、図３の復号装置で復号対象とする符号化データと同一の符号化方式で、学習用データを符号化する。学習用データを符号化することにより得られる符号化データ（以下、適宜、学習用符号化データという）は、符号化部１２からミスマッチ検出部１３に供給されるようになっている。
【００３２】
ミスマッチ検出部１３は、図３のミスマッチ検出部１と同様に構成され、符号化部１２から供給される符号化データから、ミスマッチ情報を検出し、学習処理部１４に供給する。
【００３３】
学習処理部１４は、学習用データ記憶部１１に記憶されている学習用データを読み出し、その学習用データから、パラメータについての学習の教師となる教師データと、その学習の生徒となる生徒データを生成する。さらに、学習処理部１４は、ミスマッチ検出部１３から供給されるミスマッチ情報に基づき、生成した教師データと生徒データを用いて、パラメータを学習する。
【００３４】
次に、図５のフローチャートを参照して、図４の学習装置の処理（学習処理）について説明する。
【００３５】
まず最初に、ステップＳ１１において、符号化部１２は、学習用データ記憶部１１に記憶されている学習用データを読み出して符号化し、その結果得られる学習用符号化データを、ミスマッチ検出部１３に供給して、ステップＳ１２に進む。ステップＳ１２では、ミスマッチ検出部１３が、符号化部１２から供給される符号化データから、ミスマッチ情報を検出し、学習処理部１４に供給して、ステップＳ１３に進む。
【００３６】
ステップＳ１３では、学習処理部１４が、学習用データ記憶部１１から、学習用データを読み出し、その学習用データから、教師データと生徒データを生成する。さらに、学習処理部１４は、ミスマッチ検出部１３から供給されるミスマッチ情報に基づき、生成した教師データと生徒データを用いて、パラメータを学習する。
【００３７】
即ち、学習処理部１４は、ミスマッチ情報に基づき、生徒データから、対応する教師データを得ることができるようにするのに最適なパラメータを算出することができるようにするための処理（学習）を行う。
【００３８】
そして、ステップＳ１４に進み、符号化部１２または学習処理部１４が、まだ処理していない学習用データが、学習用データ記憶部１１に記憶されているかどうかを判定する。ステップＳ１４において、まだ処理していない学習用データが、学習用データ記憶部１１に記憶されていると判定された場合、ステップＳ１１に戻り、その、まだ処理していない学習用データを対象に、以下、同様の処理が繰り返される。
【００３９】
また、ステップＳ１４において、まだ処理していない学習用データが、学習用データ記憶部１１に記憶されていないと判定された場合、即ち、学習用データ記憶部１１に記憶された学習用データすべてを用いて学習を行った場合、ステップＳ１５に進み、学習処理部１４は、ステップＳ１３の学習結果に基づき、パラメータを算出し、処理を終了する。
【００４０】
次に、符号化データが、音声データをＣＥＬＰ方式で符号化したものである場合の復号装置と学習装置の詳細について説明する。なお、本実施の形態では、復号装置および学習装置は、本件出願人が先に提案したクラス分類適応処理を利用したものとなっている。
【００４１】
クラス分類適応処理は、クラス分類処理と適応処理とからなり、クラス分類処理によって、データが、その性質に基づいてクラス分けされ、各クラスごとに適応処理が施される。
【００４２】
ここで、適応処理について、低音質の音声（以下、適宜、低音質音声という）を、高音質の音声（以下、適宜、高音質音声という）に変換する場合を例に説明する。
【００４３】
この場合、適応処理では、低音質音声を構成する音声サンプル（以下、適宜、低音質音声サンプルという）と、所定のタップ係数との線形結合により、その低音質音声の音質を向上させた高音質音声の音声サンプルの予測値を求めることで、その低音質音声の音質を高くした音声が得られる。
【００４４】
具体的には、例えば、いま、ある高音質音声データを教師データとするとともに、その高音質音声の音質を劣化させた低音質音声データを生徒データとして、高音質音声を構成する音声サンプル（以下、適宜、高音質音声サンプルという）ｙの予測値Ｅ［ｙ］を、幾つかの低音質音声サンプル（低音質音声を構成する音声サンプル）ｘ1，ｘ2，・・・の集合と、所定のタップ係数ｗ1，ｗ2，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【００４５】
Ｅ［ｙ］＝ｗ1ｘ1＋ｗ2ｘ2＋・・・
・・・（１）
【００４６】
式（１）を一般化するために、タップ係数ｗjの集合でなる行列Ｗ、生徒データｘijの集合でなる行列Ｘ、および予測値Ｅ［ｙj］の集合でなる行列Ｙ’を、
【数１】
で定義すると、次のような観測方程式が成立する。
【００４７】
ＸＷ＝Ｙ’
・・・（２）
【００４８】
ここで、行列Ｘの成分ｘijは、ｉ件目の生徒データの集合（ｉ件目の教師データｙiの予測に用いる生徒データの集合）の中のｊ番目の生徒データを意味し、行列Ｗの成分ｗjは、生徒データの集合の中のｊ番目の生徒データとの積が演算されるタップ係数を表す。また、ｙiは、ｉ件目の教師データを表し、従って、Ｅ［ｙi］は、ｉ件目の教師データの予測値を表す。なお、式（１）の左辺におけるｙは、行列Ｙの成分ｙiのサフィックスｉを省略したものであり、また、式（１）の右辺におけるｘ1，ｘ2，・・・も、行列Ｘの成分ｘijのサフィックスｉを省略したものである。
【００４９】
式（２）の観測方程式に最小自乗法を適用して、高音質音声サンプルｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、教師データとなる高音質音声サンプルの真値ｙの集合でなる行列Ｙ、および高音質音声サンプルｙの予測値Ｅ［ｙ］の残差（真値ｙに対する誤差）ｅの集合でなる行列Ｅを、
【数２】
で定義すると、式（２）から、次のような残差方程式が成立する。
【００５０】
ＸＷ＝Ｙ＋Ｅ
・・・（３）
【００５１】
この場合、高音質音声サンプルｙに近い予測値Ｅ［ｙ］を求めるためのタップ係数ｗjは、自乗誤差
【数３】
を最小にすることで求めることができる。
【００５２】
従って、上述の自乗誤差をタップ係数ｗjで微分したものが０になる場合、即ち、次式を満たすタップ係数ｗjが、高音質音声サンプルｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【００５３】
【数４】
・・・（４）
【００５４】
そこで、まず、式（３）を、タップ係数ｗjで微分することにより、次式が成立する。
【００５５】
【数５】
・・・（５）
【００５６】
式（４）および（５）より、式（６）が得られる。
【００５７】
【数６】
・・・（６）
【００５８】
さらに、式（３）の残差方程式における生徒データｘij、タップ係数ｗj、教師データｙi、および残差ｅiの関係を考慮すると、式（６）から、次のような正規方程式を得ることができる。
【００５９】
【数７】
・・・（７）
【００６０】
なお、式（７）に示した正規方程式は、行列（共分散行列）Ａおよびベクトルｖを、
【数８】
で定義するとともに、ベクトルＷを、数１で示したように定義すると、式
ＡＷ＝ｖ
・・・（８）で表すことができる。
【００６１】
式（７）における各正規方程式は、生徒データｘijおよび教師データｙiのセットを、ある程度の数だけ用意することで、求めるべきタップ係数ｗjの数Ｊと同じ数だけたてることができ、従って、式（８）を、ベクトルＷについて解くことで（但し、式（８）を解くには、式（８）における行列Ａが正則である必要がある）、最適なタップ係数ｗjを求めることができる。なお、式（８）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることが可能である。
【００６２】
以上のように、生徒データと教師データを用いて、最適なタップ係数（ここでは、生徒データから教師データの予測値を求めた場合に、その予測値の自乗誤差の総和を最小にするタップ係数）ｗjを求める学習をしておき、さらに、そのタップ係数ｗjを用い、式（１）により、教師データｙに近い予測値Ｅ［ｙ］を求めるのが適応処理である。
【００６３】
なお、適応処理は、低音質音声には含まれていないが、高音質音声に含まれる成分が再現される点で、単なる補間とは異なる。即ち、適応処理では、式（１）だけを見る限りは、いわゆる補間フィルタを用いての単なる補間と同一に見えるが、その補間フィルタのタップ係数に相当するタップ係数ｗが、教師データｙを用いての、いわば学習により求められるため、高音質音声に含まれる成分を再現することができる。このことから、適応処理は、いわば音声の創造作用がある処理ということができる。
【００６４】
また、上述の場合には、教師データとして、高音質の音声データを用いるとともに、生徒データとして、教師データとしての音声データを低音質にした音声データを用いるようにしたが、その他、例えば、教師データとして、高画質の画像データを用いるとともに、生徒データとして、教師データとしての画像データに対して間引きを行ったり、ノイズを加えたり、あるいは、ローパスフィルタによるフィルタリングを施す等して低画質にしたものを用いるようにすることが可能である。この場合、低画質の画像を、高画質の画像（の予測値）に変換するタップ係数を得ることができる。
【００６５】
さらに、例えば、教師データとして、高画質の画像データを用いるとともに、生徒データとして、教師データとしての画像データを２次元ＤＣＴ変換し、さらに量子化、逆量子化して得られる２次元ＤＣＴ係数を用いるようにすることも可能である。この場合、２次元ＤＣＴ係数を、高画質の画像（の予測値）に変換するタップ係数を得ることができる。
【００６６】
また、上述の場合には、高音質音声の予測値を、線形１次予測するようにしたが、その他、予測値は、２次以上の式によって予測することも可能である。
【００６７】
図６は、上述のようなクラス分類適応処理によって、低音質音声データを高音質音声データに変換する音声データ処理装置の構成例を示している。
【００６８】
低音質音声データは、ピッチ検出部２１、並びにタップ抽出部２２および２３に供給されるようになっている。
【００６９】
ピッチ検出部２１は、そこに供給される低音質音声データのピッチ周期を検出し、タップ抽出部２２および２３に供給する。
【００７０】
タップ抽出部２２は、高音質音声データの音声サンプルを、順次、注目データとし、さらに、その注目データを予測するのに用いる低音質音声データの幾つかの音声サンプルを、予測タップとして抽出する。また、タップ抽出部２３は、注目データをクラス分類するのに用いる低音質音声データの幾つかの音声サンプルを、クラスタップとして抽出する。
【００７１】
ここで、タップ抽出部２２は、低音質音声データの音声サンプルのうち、注目データに対応する音声サンプルに近い位置にある幾つかの音声サンプルを、予測タップとして抽出する。また、タップ抽出部２２は、ピッチ検出部２１から供給される注目データに対応する位置のピッチ周期にしたがい、予測タップの構造を変更する。即ち、タップ抽出部２２は、ピッチ周期に応じて、予測タップとする低音質音声データの音声サンプルを変更する。具体的には、例えば、ピッチ周期が長い場合には、タップ抽出部２２は、低音質音声データの音声サンプルのうち、注目データに対応する音声サンプルから比較的広い範囲にわたって、所定数の音声サンプルを、予測タップとして抽出する。また、例えば、ピッチ周期が短い場合には、タップ抽出部２２は、低音質音声データの音声サンプルのうち、注目データに対応する音声サンプルから比較的狭い範囲にわたって、所定数の音声サンプルを、予測タップとして抽出する。
【００７２】
タップ抽出部２３も、タップ抽出部２２と同様にして、低音質音声データから、クラスタップを抽出する。
【００７３】
なお、ここでは、予測タップとクラスタップは、説明を簡単にするために、同一のタップ構造を有するものとする。但し、予測タップとクラスタップとは、異なるタップ構造とすることが可能である。
【００７４】
タップ抽出部２２で得られた予測タップは、予測部２６に供給され、タップ抽出部２３で得られたクラスタップは、クラス分類部２４に供給される。
【００７５】
クラス分類部２４は、タップ抽出部２３からのクラスタップに基づき、注目データをクラス分類し、その結果得られるクラスに対応するクラスコードを、係数メモリ２５に出力する。
【００７６】
ここで、クラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)等を採用することができる。
【００７７】
ADRCを用いる方法では、クラスタップを構成する音声サンプルが、ADRC処理され、その結果得られるADRCコードにしたがって、注目データのクラスが決定される。
【００７８】
なお、KビットADRCにおいては、例えば、クラスタップを構成する音声サンプルの最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する音声サンプルがKビットに再量子化される。即ち、クラスタップを構成する各音声サンプルから、最小値MINが減算され、その減算値がDR/2Kで除算（量子化）される。そして、以上のようにして得られる、クラスタップを構成するKビットの各音声サンプルを、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、クラスタップが、例えば、１ビットADRC処理された場合には、そのクラスタップを構成する各音声サンプルは、最小値MINが減算された後に、最大値MAXと最小値MINとの平均値で除算され（小数点以下切り捨て）、これにより、各音声サンプルが１ビットとされる（２値化される）。そして、その１ビットの音声サンプルを所定の順番で並べたビット列が、ADRCコードとして出力される。
【００７９】
なお、クラス分類部２４には、例えば、クラスタップを構成する音声サンプルのレベル分布のパターンを、そのままクラスコードとして出力させることも可能である。しかしながら、この場合、クラスタップが、Ｎ個の音声サンプルで構成され、各音声サンプルに、Ｋビットが割り当てられているとすると、クラス分類部２４が出力するクラスコードの場合の数は、（２N）K通りとなり、音声サンプルのビット数Ｋに指数的に比例した膨大な数となる。
【００８０】
従って、クラス分類部２４においては、クラスタップの情報量を、上述のADRC処理や、あるいはベクトル量子化等によって圧縮することにより、クラス分類を行うのが好ましい。
【００８１】
係数メモリ２５は、各クラスコードに対応するアドレスに、そのクラスコードに対応するクラスのタップ係数を記憶しており、クラス分類部２４から供給されるクラスコードに対応するアドレスに記憶されているタップ係数を、予測部２６に供給する。
【００８２】
予測部２６は、タップ抽出部２２が出力する予測タップと、係数メモリ２５が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、式（１）に示した線形予測演算を行う。これにより、予測部２６は、注目データとしての高音質音声データ（の予測値）を求めて出力する。
【００８３】
次に、図７は、図６の係数メモリ２５に記憶させるタップ係数を学習する学習装置の構成例を示している。
【００８４】
学習装置には、高音質音声データが、学習用音声データとして入力されるようになっており、この学習用音声データは、時間間引きフィルタ３１に供給されるとともに、教師データとして、足し込み部３６に供給される。
【００８５】
時間間引きフィルタ３１は、学習用音声データとしての高音質音声データの音声サンプルを、所定の間引き率で間引き、これにより、低音質音声データを生成し、生徒データとして、ピッチ検出部３２、並びにタップ抽出部３３および３４に供給する。
【００８６】
ピッチ検出部３２は、そこに供給される生徒データとしての低音質音声データのピッチ周期を検出し、タップ抽出部３３および３４に供給する。
【００８７】
タップ抽出部３３は、教師データとしての高音質音声データの音声サンプルを、順次、注目データとし、その注目データについて、図６のタップ抽出部２２が構成するのと同一構造の予測タップを、そこに供給される生徒データとしての低音質音声データから、幾つかの音声サンプルを抽出することにより構成する。タップ抽出部３４も、注目データについて、図６のタップ抽出部２３が構成するのと同一構造のクラスタップを、そこに供給される生徒データとしての低音質音声データから、幾つかの音声サンプルを抽出することにより構成する。
【００８８】
なお、タップ抽出部３３と３４は、それぞれ、図６のタップ抽出部２２と２３と同様に、ピッチ検出部３２から供給される、注目データに対応する位置のピッチ周期に応じて、予測タップとクラスタップのタップ構造を変更するようになっている。
【００８９】
タップ抽出部３３で得られた予測タップは、足し込み部３６に供給され、タップ抽出部３４で得られたクラスタップは、クラス分類部３５に供給される。
【００９０】
クラス分類部３５は、図６のクラス分類部２４における場合と同様に、タップ抽出部３３からのクラスタップに基づき、注目データをクラス分類し、その結果得られるクラスに対応するクラスコードを、足し込み部３６に出力する。
【００９１】
足し込み部３６は、そこに供給される教師データのうち、注目データとなっている教師データと、タップ抽出部３３から供給される予測タップを構成する生徒データを対象とした足し込みを、クラス分類部３５から供給されるクラスコードごとに行う。
【００９２】
即ち、足し込み部３６は、クラス分類部３５から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）を用い、式（８）の行列Ａにおける各コンポーネントとなっている、生徒データどうしの乗算（ｘinｘim）と、サメーション（Σ）に相当する演算を行う。
【００９３】
さらに、足し込み部３６は、やはり、クラス分類部３５から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）および注目データ（教師データ）を用い、式（８）のベクトルｖにおける各コンポーネントとなっている、生徒データと教師データの乗算（ｘinｙi）と、サメーション（Σ）に相当する演算を行う。
【００９４】
即ち、足し込み部３６は、前回、注目データとされた教師データについて求められた式（８）における行列Ａのコンポーネントと、ベクトルｖのコンポーネントを、その内蔵するメモリ（図示せず）に記憶しており、その行列Ａまたはベクトルｖの各コンポーネントに対して、新たに注目データとされた教師データについて、その教師データｙiおよび生徒データxin(xim)を用いて計算される、対応するコンポーネントｘinｘimまたはｘinｙiを足し込む（行列Ａ、ベクトルｖにおけるサメーションで表される加算を行う）。
【００９５】
そして、足し込み部３６は、そこに供給される教師データすべてを注目データとして、上述の足し込みを行うことにより、各クラスについて、式（８）に示した正規方程式をたて、タップ係数算出部３７に供給する。
【００９６】
タップ係数算出部３７は、足し込み部３６から供給されるクラスごとの正規方程式を解くことにより、各クラスごとのタップ係数を求めて出力する。図６の係数メモリ２５には、このようにして求められたクラスごとのタップ係数が記憶されている。
【００９７】
なお、入力される学習用音声データのサンプル数が十分でないこと等に起因して、タップ係数を求めるのに必要な数の正規方程式が得られないクラスが生じることがあり得るが、そのようなクラスについては、タップ係数算出部３７は、例えば、デフォルトのタップ係数を出力するようになっている。
【００９８】
次に、図８および図９を参照して、ＣＥＬＰ方式による音声データの符号化と復号について説明する。なお、ＣＥＬＰ方式としては、広義には、ＶＳＥＬＰ(Vector Sum Excited Liner Prediction)，ＰＳＩ−ＣＥＬＰ(Pitch Synchronous Innovation CELP)，ＣＳ−ＡＣＥＬＰ(Conjugate Structure Algebraic CELP)等があるが、ここでは、例えば、ＶＳＥＬＰ方式を例に説明する。
【００９９】
図８は、音声データを、ＶＳＥＬＰ方式により符号化するＶＳＥＬＰ符号化装置の構成例を示している。
【０１００】
符号化対象の音声は、マイク（マイクロフォン）４１に入力され、そこで、電気信号としての音声信号に変換され、Ａ／Ｄ(Analog/Digital)変換部４２に供給される。Ａ／Ｄ変換部４２は、マイク４１からのアナログの音声信号を、例えば、８ｋＨｚ等のサンプリング周波数でサンプリングすることにより、ディジタルの音声信号にＡ／Ｄ変換し、さらに、所定のビット数で量子化を行って、演算器４３とＬＰＣ(Liner Prediction Coefficient)分析部４４に供給する。
【０１０１】
ＬＰＣ分析部４４は、Ａ／Ｄ変換部４２からの音声信号を、例えば、１６０サンプル分の長さのフレームごとにＬＰＣ分析し、Ｐ次の線形予測係数α1，α2，・・・，αPを求める。そして、ＬＰＣ分析部４４は、このＰ次の線形予測係数αp（ｐ＝１，２，・・・，Ｐ）を要素とするベクトルを、音声の特徴ベクトルとして、ベクトル量子化部４５に供給する。
【０１０２】
ベクトル量子化部４５は、線形予測係数を要素とするコードベクトルとコードとを対応付けたコードブックを記憶しており、そのコードブックに基づいて、ＬＰＣ分析部４４からの特徴ベクトルαをベクトル量子化し、そのベクトル量子化の結果得られるコード（以下、適宜、Ａコード(A_code)という）を、コード決定部５５に供給する。
【０１０３】
さらに、ベクトル量子化部４５は、コード決定部５５に出力したＡコードに対応するコードベクトルα’を構成する要素となっている線形予測係数α1’，α2’，・・・，αP’を、音声合成フィルタ４６に供給する。
【０１０４】
音声合成フィルタ４６は、例えば、ＩＩＲ(Infinite Impulse Response)型のディジタルフィルタで、ベクトル量子化部４５からの線形予測係数αp’（ｐ＝１，２，・・・，Ｐ）をＩＩＲフィルタのフィルタ係数（タップ係数）とするとともに、演算器５４から供給される残差信号ｅを入力信号として、音声合成を行う。
【０１０５】
即ち、ＬＰＣ分析部４４で行われるＬＰＣ分析は、現在時刻ｎの音声信号（のサンプル値）ｓn、およびこれに隣接する過去のＰ個のサンプル値ｓn-1，ｓn-2，・・・，ｓn-Pに、式
ｓn＋α1ｓn-1＋α2ｓn-2＋・・・＋αPｓn-P＝en
・・・（９）で示す線形１次結合が成立すると仮定し、現在時刻ｎのサンプル値ｓnの予測値（線形予測値）ｓn’を、過去のＰ個のサンプル値ｓn-1，ｓn-2，・・・，ｓn-Pを用いて、式
ｓn’＝−（α1ｓn-1＋α2ｓn-2＋・・・＋αPｓn-P）
・・・（１０）
によって線形予測したときに、実際のサンプル値ｓnと線形予測値ｓn’との間の自乗誤差を最小にする線形予測係数αpを求めるものである。
【０１０６】
ここで、式（９）において、｛en｝（・・・，en-1，en，en+1，・・・）は、平均値が０で、分散が所定値σ2の互いに無相関な確率変数である。
【０１０７】
式（９）から、サンプル値ｓnは、式
ｓn＝en−（α1ｓn-1＋α2ｓn-2＋・・・＋αPｓn-P）
・・・（１１）で表すことができ、これを、Ｚ変換すると、次式が成立する。
【０１０８】
Ｓ＝Ｅ／（１＋α1ｚ-1＋α2ｚ-2＋・・・＋αPｚ-P）
・・・（１２）
但し、式（１２）において、ＳとＥは、式（１１）におけるｓnとｅnのＺ変換を、それぞれ表す。
【０１０９】
ここで、式（９）および（１０）から、ｅnは、式
ｅn＝ｓn−ｓn’
・・・（１３）で表すことができ、実際のサンプル値ｓnと線形予測値ｓn’との間の残差信号と呼ばれる。
【０１１０】
従って、式（１２）から、線形予測係数αpをＩＩＲフィルタのタップ係数とするとともに、残差信号ｅnをＩＩＲフィルタの入力信号とすることにより、音声信号ｓnを求めることができる。
【０１１１】
そこで、音声合成フィルタ４６は、上述したように、ベクトル量子化部４５からの線形予測係数αp’をタップ係数とするとともに、演算器５４から供給される残差信号ｅを入力信号として、式（１２）を演算し（残差信号ｅをフィルタリングし）、音声信号（合成音信号）ｓｓを求める。
【０１１２】
なお、音声合成フィルタ４６では、ＬＰＣ分析部４４によるＬＰＣ分析の結果得られる線形予測係数αpではなく、そのベクトル量子化の結果得られるコードに対応するコードベクトルとしての線形予測係数αp’が、フィルタ係数として用いられるため、音声合成フィルタ４６が出力する合成音信号は、Ａ／Ｄ変換部４２が出力する音声信号とは、基本的に同一にはならない。
【０１１３】
音声合成フィルタ４６が出力する合成音信号ｓｓは、演算器４３に供給される。演算器４３は、音声合成フィルタ４６からの合成音信号ｓｓから、Ａ／Ｄ変換部４２が出力する音声信号ｓを減算し、その減算値を、自乗誤差演算部４７に供給する。自乗誤差演算部４７は、演算器４３からの減算値の自乗和（第ｋフレームのサンプル値についての自乗和）を演算し、その結果得られる自乗誤差を、自乗誤差最小判定部４８に供給する。
【０１１４】
自乗誤差最小判定部４８は、自乗誤差演算部４７が出力する自乗誤差に対応付けて、ラグを表すコードとしてのＬコード(L_code)、ゲインを表すコードとしてのＧコード(G_code)、および符号語を表すコードとしてのＩコード(I_code)を記憶しており、自乗誤差演算部４７が出力する自乗誤差に対応するＬコード、Ｇコード、およびＬコードを出力する。Ｌコードは、適応コードブック記憶部４９に、Ｇコードは、ゲイン復号器５０に、Ｉコードは、励起コードブック記憶部５１に、それぞれ供給される。さらに、Ｌコード、Ｇコード、およびＩコードは、コード決定部５５にも供給される。
【０１１５】
適応コードブック記憶部４９は、例えば７ビットのＬコードと、所定の遅延時間（ラグ）とを対応付けた適応コードブックを記憶しており、演算器５４から供給される残差信号ｅを、自乗誤差最小判定部４８から供給されるＬコードに対応付けられた遅延時間だけ遅延して、演算器５２に出力する。
【０１１６】
ここで、適応コードブック記憶部４９は、残差信号ｅを、Ｌコードに対応する時間だけ遅延して出力することから、その出力信号は、その遅延時間を周期とする周期信号に近い信号となる。この信号は、線形予測係数を用いた音声合成において、主として、有声音の合成音を生成するための駆動信号となる。従って、Ｌコードに対応する時間は、有声音のピッチ周期を表すことになる。
【０１１７】
ゲイン復号器５０は、Ｇコードと、所定のゲインβおよびγとを対応付けたテーブルを記憶しており、自乗誤差最小判定部４８から供給されるＧコードに対応付けられたゲインβおよびγを出力する。ゲインβとγは、演算器５２と５３に、それぞれ供給される。
【０１１８】
励起コードブック記憶部５１は、例えば９ビットのＩコードと、所定の励起信号とを対応付けた励起コードブックを記憶しており、自乗誤差最小判定部４８から供給されるＩコードに対応付けられた励起信号を、演算器５３に出力する。
【０１１９】
ここで、励起コードブックに記憶されている励起信号は、例えば、ホワイトノイズ等に近い信号であり、線形予測係数を用いた音声合成において、主として、無声音の合成音を生成するための駆動信号となる。
【０１２０】
演算器５２は、適応コードブック記憶部４９の出力信号と、ゲイン復号器５０が出力するゲインβとを乗算し、その乗算値ｌを、演算器５４に供給する。演算器５３は、励起コードブック記憶部５１の出力信号と、ゲイン復号器５０が出力するゲインγとを乗算し、その乗算値ｎを、演算器５４に供給する。演算器５４は、演算器５２からの乗算値ｌと、演算器５３からの乗算値ｎとを加算し、その加算値を、残差信号ｅとして、音声合成フィルタ４６に供給する。
【０１２１】
音声合成フィルタ４６では、以上のようにして、演算器５４から供給される残差信号ｅが、ベクトル量子化部４５から供給される線形予測係数αp’をタップ係数とするＩＩＲフィルタでフィルタリングされ、その結果得られる合成音信号が、演算器４３に供給される。そして、演算器４３および自乗誤差演算部４７において、上述の場合と同様の処理が行われ、その結果得られる自乗誤差が、自乗誤差最小判定部４８に供給される。
【０１２２】
自乗誤差最小判定部４８は、自乗誤差演算部４７からの自乗誤差が最小（極小）になったかどうかを判定する。そして、自乗誤差最小判定部４８は、自乗誤差が最小になっていないと判定した場合、上述のように、その自乗誤差に対応するＬコード、Ｇコード、およびＬコードを出力し、以下、同様の処理が繰り返される。
【０１２３】
一方、自乗誤差最小判定部４８は、自乗誤差が最小になったと判定した場合（例えば、自乗誤差が、所定の閾値以下となった場合）、確定信号を、コード決定部５５に出力する。コード決定部５５は、ベクトル量子化部４５から供給されるＡコードをラッチするとともに、自乗誤差最小判定部４８から供給されるＬコード、Ｇコード、およびＩコードを順次ラッチするようになっており、自乗誤差最小判定部４８から確定信号を受信すると、そのときラッチしているＡコード、Ｌコード、Ｇコード、およびＩコードを、チャネルエンコーダ５６に供給する。チャネルエンコーダ５６は、コード決定部５５からのＡコード、Ｌコード、Ｇコード、およびＩコードを多重化し、符号化データとして出力する。
【０１２４】
なお、以下では、説明を簡単にするため、Ａコード、Ｌコード、Ｇコード、およびＩコードは、フレームごとに求められるものとする。但し、例えば、１フレームを、４つのサブフレームに分割し、Ｌコード、Ｇコード、およびＩコードは、サブフレームごとに求めるようにすること等が可能である。
【０１２５】
ここで、図８（後述する図９乃至図１１においても同様）では、各変数に、[k]が付され、配列変数とされている。このkは、フレーム数を表すが、明細書中では、その記述は、適宜省略する。
【０１２６】
次に、図９は、図８のＶＳＥＬＰ符号化装置が出力する符号化データを、ＶＳＥＬＰ方式で復号するＶＳＥＬＰ復号装置の構成例を示している。
【０１２７】
図８のＶＳＥＬＰ符号化装置が出力する符号化データは、チャネルデコーダ６１に供給される。チャネルデコーダ６１は、符号化データから、Ｌコード、Ｇコード、Ｉコード、Ａコードを分離し、それぞれを、適応コードブック記憶部６２、ゲイン復号器６３、励起コードブック記憶部６４、フィルタ係数復号器６５に供給する。
【０１２８】
適応コードブック記憶部６２、ゲイン復号器６３、励起コードブック記憶部６４、演算器６６乃至６８は、図８の適応コードブック記憶部４９、ゲイン復号器５０、励起コードブック記憶部５１、演算器５２乃至５４とそれぞれ同様に構成されるもので、図８で説明した場合と同様の処理が行われることにより、Ｌコード、Ｇコード、およびＩコードが、残差信号ｅに復号される。この残差信号ｅは、音声合成フィルタ６９に対して、入力信号として与えられる。
【０１２９】
フィルタ係数復号器６５は、図８のベクトル量子化部４５が記憶しているのと同一のコードブックを記憶しており、Ａコードを、線形予測係数αp’に復号し、音声合成フィルタ６９に供給する。
【０１３０】
音声合成フィルタ６９は、図８の音声合成フィルタ４６と同様に構成されており、フィルタ係数復号器６５からの線形予測係数αp’をフィルタ係数（タップ係数）とするとともに、演算器６８から供給される残差信号ｅを入力信号として、式（１２）を演算し、これにより、図８の自乗誤差最小判定部４８において自乗誤差が最小と判定されたときの合成音信号を生成し、復号音声データとして出力する。
【０１３１】
以上のように、図８のＶＳＥＬＰ符号化装置では、図９のＶＳＥＬＰ復号装置の音声合成フィルタ６９に与えられる残差信号と線形予測係数がコード化されて送信されてくるため、図９のＶＳＥＬＰ復号装置では、そのコードが、残差信号と線形予測係数に復号され、音声合成フィルタ６９に与えられる。
【０１３２】
しかしながら、この復号された残差信号や線形予測係数（以下、適宜、それぞれを、復号残差信号または復号線形予測係数という）には、量子化誤差（ベクトル量子化による誤差）等の誤差が含まれるため、音声をＬＰＣ分析して得られる残差信号と線形予測係数には一致しない。
【０１３３】
このため、図９のＶＳＥＬＰ復号装置の音声合成フィルタ６９が出力する復号音声データは、歪みを有する、音質の劣化したものとなる。
【０１３４】
そこで、ＶＳＥＬＰ復号装置において、上述したクラス分類適応処理を行うようにすることにより、音質を向上させた復号音声データを得ることが可能となる。
【０１３５】
図１０は、そのようなＶＳＥＬＰ復号装置の構成例を示している。なお、図中、図９における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０１３６】
タップ抽出部８１には、音声合成フィルタ６９が出力する復号音声データが供給されるようになっており、タップ抽出部８１は、図６のタップ抽出部２２と同様に、その復号音声データから、予測タップとするもの（サンプル値）を抽出し、予測部８５に供給する。
【０１３７】
タップ抽出部８２にも、音声合成フィルタ６９が出力する復号音声データが供給されるようになっており、タップ抽出部８２は、図６のタップ抽出部２３と同様に、その復号音声データから、クラスタップとするもの（サンプル値）を抽出し、クラス分類部８３に供給する。
【０１３８】
クラス分類部８３は、図６のクラス分類部２４と同様に、タップ抽出部８２から供給されるクラスタップに基づいて、クラス分類を行い、そのクラス分類結果としてのクラスコードを、係数メモリ８４に供給する。
【０１３９】
係数メモリ８４は、後述する図１１の学習装置において学習処理が行われることにより得られる、クラスごとのタップ係数を記憶しており、クラス分類部８３が出力するクラスコードに対応するアドレスに記憶されているタップ係数を、予測部８５に供給する。
【０１４０】
予測部８５は、図６の予測部２６と同様に、タップ抽出部８１が出力する予測タップと、係数メモリ８４が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、式（１）に示した線形予測演算を行う。これにより、予測部８５は、音声合成フィルタ６９が出力する低音質の復号音声データを高音質にした高音質音声データを出力する。
【０１４１】
なお、タップ抽出部８１には、チャネルデコーダ６１が出力する、フレーム（またはサブフレーム）ごとのＬコード、Ｇコード、Ｉコード、およびＡコードが供給されるようになっている。そして、タップ抽出部８１では、Ｌコード、Ｇコード、Ｉコード、またはＡコードからも、予測タップを抽出することができるようになっている。さらに、タップ抽出部８１では、Ｌコード、Ｇコード、Ｉコード、またはＡコードに基づいて、予測タップのタップ構造を変更することも可能となっている。
【０１４２】
タップ抽出部８２にも、チャネルデコーダ６１が出力するＬコード、Ｇコード、Ｉコード、およびＡコードが供給されるようになっており、タップ抽出部８２でも、タップ抽出部８１における場合と同様に、Ｌコード、Ｇコード、Ｉコード、またはＡコードからも、クラスタップを抽出し、さらには、Ｌコード、Ｇコード、Ｉコード、またはＡコードに基づいて、クラスタップのタップ構造を変更することが可能となっている。
【０１４３】
次に、図１１は、図１０の係数メモリ８４に記憶させるタップ係数の学習処理を行う学習装置の構成例を示している。
【０１４４】
演算器９３乃至コード決定部１０５は、図８の演算器４３乃至コード決定部４５とそれぞれ同様に構成される。演算器９３には、学習用音声信号が入力されるようになっており、従って、演算器９３乃至コード決定部１０５では、その学習用音声信号に対して、図８における場合と同様の処理が施される。
【０１４５】
そして、タップ抽出部１１１と１１２には、自乗誤差最小判定部９８において自乗誤差が最小になったと判定されたときの音声合成フィルタ９６が出力する復号音声データが、生徒データとして供給される。また、足し込み部１１４には、学習用音声信号が、そのまま教師データとして供給される。
【０１４６】
タップ抽出部１１１は、音声合成フィルタ９６が出力する復号音声データの音声サンプルから、図１０のタップ抽出部８１と同一構造の予測タップを抽出し、足し込み部１１４に供給する。
【０１４７】
タップ抽出部１１２も、音声合成フィルタ９６が出力する復号音声データの音声サンプルから、図１０のタップ抽出部８２と同一構造のクラスタップを抽出し、クラス分類部１１３に供給する。
【０１４８】
クラス分類部１１３は、タップ抽出部１１２からのクラスタップに基づいて、図１０のクラス分類部８３における場合と同様のクラス分類を行い、その結果得られるクラスコードを、足し込み部１１４に供給する。
【０１４９】
足し込み部１１４は、学習用音声信号を、教師データとして受信するとともに、タップ抽出部１１１からの予測タップを、生徒データとして受信し、その教師データおよび生徒データを対象として、クラス分類部１１３からのクラスコードごとに、図７の足し込み部３６における場合と同様の足し込みを行うことにより、各クラスについて、式（８）に示した正規方程式をたてる。
【０１５０】
タップ係数算出部１１５は、図７のタップ係数算出部３７と同様に、足し込み部１１４においてクラスごとに生成された正規方程式を解くことにより、クラスごとに、タップ係数を求めて出力する。
【０１５１】
図１０の係数メモリ８４には、以上のようにして、タップ係数算出部１１５から出力されるクラスごとのタップ係数が記憶されている。
【０１５２】
従って、図１０の係数メモリ８４に記憶されたタップ係数は、線形予測演算を行うことにより得られる高音質の音声の予測値の予測誤差（自乗誤差）が、統計的に最小になるように学習を行うことにより求められたものであるから、図１０の予測部８５が出力する音声データは、高音質のものとなる。
【０１５３】
なお、タップ抽出部１１１と１１２には、コード決定部１０５が、自乗誤差最小判定部９８から確定信号を受信したときに出力するＬコード、Ｇコード、Ｉコード、およびＡコードが供給されるようになっており、図１０のタップ抽出部８１や８２において、Ｌコード、Ｇコード、Ｉコード、またはＡコードを用いて予測タップやクラスタップが構成される場合には、タップ抽出部１１１や１１２でも、Ｌコード、Ｇコード、Ｉコード、またはＡコードを用いて予測タップやクラスタップが構成されるようになっている。
【０１５４】
次に、図１２は、図３の復号装置の詳細構成例を示している。
【０１５５】
符号化特性情報抽出部１２１には、復号対象の符号化データが供給されるようになっており、符号化特性情報抽出部１２１は、符号化データから、その符号化データに含まれる特性データを抽出して、判定部１２３に供給する。
【０１５６】
実特性抽出部１２２にも、復号対象の符号化データが供給されるようになっており、実特性抽出部１２２は、符号化データに対応する元のデータの実際の特性である実特性を抽出し、判定部１２３に供給する。
【０１５７】
ここで、例えば、符号化データが、音声データを符号化したものである場合には、実特性抽出部１２２は、例えば、その音声データのピッチ周期を、実特性として求める。また、例えば、符号化データが、画像データを符号化したものである場合には、実特性抽出部１２２は、例えば、その画像データの動きを評価する評価値を、実特性として求める。
【０１５８】
判定部１２３は、符号化特性情報抽出部１２１から供給される特性データと、実特性抽出部１２２から供給される実特性とを比較することにより、特性データの正しさを判定する。そして、判定部１２３は、その特性データの正しさの判定結果としてのミスマッチ情報を、復号処理部２に出力する。
【０１５９】
なお、以上の符号化特性情報抽出部１２１、実特性抽出部１２２、および判定部１２３が、ミスマッチ検出部１を構成している。
【０１６０】
前処理部１３１には、復号対象の符号化データが供給されるようになっており、前処理部１３１は、符号化データに対して、所定の前処理を施し、その結果得られる前処理データを、クラス分類適応処理部１３２に供給する。
【０１６１】
クラス分類適応処理部１３２は、前処理部１３１から供給される前処理データから、予測タップおよびクラスタップを構成し、係数メモリ１４１を参照することで、上述したようなクラス分類適応処理を行う。そして、クラス分類適応処理部１３２は、クラス分類適応処理を行うことによって得られるデータ（以下、適宜、適応処理データという）を、後処理部１３３に出力する。
【０１６２】
ここで、クラス分類適応処理部１３２には、ミスマッチ検出部１の判定部１２３が出力するミスマッチ情報が供給されるようになっており、クラス分類適応処理部１３２では、このミスマッチ情報に基づき、クラス分類適応処理が行われるようになっている。
【０１６３】
後処理部１３３は、クラス分類適応処理部１３２が出力するデータに対して、所定の後処理を施し、これにより、符号化データを、高品質の復号データに復号したものを得て出力する。
【０１６４】
なお、以上の前処理部１３１、クラス分類適応処理部１３２、および後処理部１３３が、復号処理部２を構成している。
【０１６５】
係数メモリ１４１は、クラス分類適応処理部１３２がクラス分類適応処理を行うのに用いるクラスごとのタップ係数を記憶している。
【０１６６】
なお、この係数メモリ１４１によって、パラメータ記憶部３が構成されている。
【０１６７】
次に、図１３は、図１２のクラス分類適応処理部１３２の構成例を示している。
【０１６８】
前処理部１３１が出力する前処理データは、タップ抽出部１５１および１５２に供給されるようになっている。
【０１６９】
タップ抽出部１５１は、得ようとしている適応処理データを、注目データとし、さらに、その注目データを予測するのに用いる前処理データの幾つかを、予測タップとして抽出する。また、タップ抽出部１５２は、注目データをクラス分類するのに用いる前処理データの幾つかを、クラスタップとして抽出する。
【０１７０】
ここで、タップ抽出部１５１および１５２には、判定部１２３（図１２）が出力するミスマッチ情報も供給されるようになっている。そして、タップ抽出部１５１と１５２は、ミスマッチ情報に基づき、予測タップとクラスタップの構造を、それぞれ変更するようになっている。
【０１７１】
なお、ここでは、説明を簡単にするために、予測タップとクラスタップは、同一のタップ構造を有するものとする。但し、予測タップとクラスタップとは、異なるタップ構造とすることが可能である。
【０１７２】
タップ抽出部１５１で得られた予測タップは、予測部１５４に供給され、タップ抽出部１５２で得られたクラスタップは、クラス分類部１５３に供給される。
【０１７３】
クラス分類部１５３には、クラスタップの他、ミスマッチ情報も供給されるようになっており、クラス分類部１５３は、タップ抽出部１５２からのクラスタップとミスマッチ情報に基づき、注目データをクラス分類し、その結果得られるクラスに対応するクラスコードを、係数メモリ１４１に供給する。
【０１７４】
係数メモリ１４１は、各クラスコードに対応するアドレスに、そのクラスコードに対応するクラスのタップ係数を記憶しており、クラス分類部１５３から供給されるクラスコードに対応するアドレスに記憶されているタップ係数を、予測部１５４に供給する。
【０１７５】
予測部１５４は、タップ抽出部１５１が出力する予測タップと、係数メモリ１４１が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、式（１）に示した線形予測演算を行う。これにより、予測部１５４は、適応処理データ（の予測値）を求めて出力する。
【０１７６】
次に、図１４のフローチャートを参照して、図１２の復号装置の処理（復号処理）について説明する。
【０１７７】
クラス分類適応処理部１３２（図１３）のタップ抽出部１５１では、得ようとしている適応処理データが、注目データとされ、ステップＳ２１において、ミスマッチ検出部１が、その注目データに対応する符号化データ（以下、適宜、注目符号化データという）から、ミスマッチ情報を生成する。
【０１７８】
即ち、ミスマッチ検出部１では、符号化特性情報抽出部１２１が、注目符号化データから、その注目符号化データに含まれる特性データを抽出し、判定部１２３に供給するとともに、実特性抽出部１２２が、注目符号化データに対応する元のデータの実際の特性である実特性を抽出し、判定部１２３に供給する。そして、判定部１２３は、符号化特性情報抽出部１２１から供給される特性データと、実特性抽出部１２２から供給される実特性とを比較することにより、特性データの正しさを判定し、その判定結果としてのミスマッチ情報を、クラス分類適応処理部１３２に供給する。
【０１７９】
そして、ステップＳ２２に進み、前処理部１３１は、注目データについての予測タップとクラスタップを構成するのに必要な前処理データを得るための符号化データに対して、前処理を施し、その結果得られる前処理データを、クラス分類適応処理部１３２に供給する。
【０１８０】
クラス分類適応処理部１３２（図１３）では、ステップＳ２３において、タップ抽出部１５１と１５２が、前処理部１３１から供給される前処理データを用い、ミスマッチ検出部１からのミスマッチ情報に基づくタップ構造の予測タップとクラスタップを、それぞれ構成する。そして、予測タップは、タップ抽出部１５１から予測部１５４に供給され、クラスタップは、タップ抽出部１５２からクラス分類部１５３に供給される。
【０１８１】
クラス分類部１５３は、タップ抽出部１５２から、注目データについてのクラスタップを受信し、ステップＳ２４において、そのクラスタップと、ミスマッチ検出部１から供給されるミスマッチ情報に基づき、注目データをクラス分類し、注目データのクラスを表すクラスコードを、係数メモリ１４１に出力する。
【０１８２】
係数メモリ１４１は、クラス分類部１５３から供給されるクラスコードに対応するアドレスに記憶されているタップ係数を読み出して出力する。予測部１５４は、ステップＳ２５において、係数メモリ１４１が出力するタップ係数を取得し、ステップＳ２６に進む。
【０１８３】
ステップＳ２６では、予測部１５４が、タップ抽出部１５１が出力する予測タップと、係数メモリ１４１から取得したタップ係数とを用いて、式（１）に示した線形予測演算を行う。これにより、予測部１５４は、注目データとしての適応処理データ（の予測値）を求め、後処理部１３３に供給する。
【０１８４】
後処理部１３３（図１２）は、ステップＳ２７において、クラス分類適応処理部１３２（の予測部１５４）からの注目データに対して、所定の後処理を施し、これにより、復号データを得て出力する。
【０１８５】
その後、ステップＳ２８に進み、まだ、注目データとしていない適応処理データがあるかどうかが判定される。ステップＳ２８において、まだ、注目データとしていない適応処理データがあると判定された場合、その、まだ注目データとされていない適応処理データのうちの１つが、新たに注目データとされ、ステップＳ２１に戻り、以下、同様の処理が繰り返される。
【０１８６】
また、ステップＳ２８において、まだ、注目データとされていない適応処理データがないと判定された場合、処理を終了する。
【０１８７】
次に、図１５は、図１２の係数メモリ１４１に記憶させるタップ係数を学習する場合の、図４の学習装置の詳細構成例を示している。
【０１８８】
図１５の実施の形態において、ミスマッチ検出部１３は、符号化特性情報抽出部１７１、実特性抽出部１７２、および判定部１７３から構成されており、符号化部１２が出力する符号化データは、符号化特性情報抽出部１７１、実特性抽出部１７２に供給されるようになっている。符号化特性情報抽出部１７１、実特性抽出部１７２、または判定部１７３は、図１２の符号化特性情報抽出部１２１、実特性抽出部１２２、または判定部１２３とそれぞれ同様に構成されており、図１２で説明した場合と同様に、後述する注目教師データに対応する符号化データから、ミスマッチ情報を求めて、学習処理部１４に供給する。
【０１８９】
学習処理部１４は、適応学習部１６０、教師データ生成部１６１、および生徒データ生成部１６３から構成されている。
【０１９０】
適応学習部１６０は、教師データ記憶部１６２、生徒データ記憶部１６４、タップ抽出部１６５および１６６、クラス分類部１６７、足し込み部１６８、およびタップ係数算出部１６９から構成され、教師データ生成部１６１は、逆後処理部１６１Ａから構成され、生徒データ生成部１６３は、符号化部１６３Ａおよび前処理部１６３Ｂから構成されている。
【０１９１】
逆後処理部１６１Ａは、学習用データ記憶部１１から学習用データを読み出し、図１２の後処理部１３３が行う処理と相補的な関係にある処理（以下、適宜、逆後処理という）を行う。即ち、例えば、学習用データをｙとするとともに、図１２の後処理部１３３が、適応処理データｘに対して施す後処理を、関数ｆ（ｘ）で表すとすると、逆後処理部１６１Ａは、学習用データｙに対して、関数ｆ-1（ｙ）（ｆ-1（）は、関数ｆ（）の逆関数を表す）で表される処理を逆後処理として施し、その結果得られるデータを、教師データとして、適応学習部１６０に出力する。なお、逆後処理部１６１Ａが出力する教師データは、図１２のクラス分類適応処理部１３２から後処理部１３３に供給される適応データに相当する。
【０１９２】
教師データ記憶部１６２は、教師データ生成部１６１（の逆後処理部１６１Ａ）が出力する教師データを一時記憶する。
【０１９３】
符号化部１６３Ａは、学習用データ記憶部１１から学習用データを読み出し、符号化部１２と同一の符号化方式で符号化して出力する。従って、符号化部１６３Ａは、符号化部１２が出力するのと同一の符号化データを出力する。なお、符号化部１２と１６３Ａとは、１つの符号化部で共用することが可能である。
【０１９４】
前処理部１６３Ｂは、符号化部１６３Ａが出力する符号化データに対して、図１２の前処理部１３１が行うのと同一の前処理を施し、その結果得られる前処理データを、生徒データとして、適応学習部１６０に出力する。なお、前処理部１６３Ｂが出力する生徒データは、図１２の前処理部１３１からクラス分類適応処理部１３２に供給される前処理データに相当する。
【０１９５】
生徒データ記憶部１６４は、生徒データ生成部１６３（の前処理部１６３Ｂ）が出力する生徒データを一時記憶する。
【０１９６】
タップ抽出部１６５は、教師データ記憶部１６２に記憶された教師データを、順次、注目教師データとし、その注目教師データについて、生徒データ記憶部１６４に記憶された生徒データを抽出することにより、図１３のタップ抽出部１５１が構成するのと同一のタップ構造の予測タップを構成して出力する。なお、タップ抽出部１６５には、ミスマッチ検出部１３（の判定部１７３）が出力するミスマッチ情報が供給されるようになっており、タップ抽出部１６５は、図１３のタップ抽出部１５１と同様に、注目教師データについてのミスマッチ情報に基づいて、予測タップのタップ構造を変更するようになっている。
【０１９７】
タップ抽出部１６６は、注目教師データについて、生徒データ記憶部１６４に記憶された生徒データを抽出することにより、図１３のタップ抽出部１５２が構成するのと同一のタップ構造のクラスタップを構成して出力する。なお、タップ抽出部１６６には、ミスマッチ検出部１３が出力するミスマッチ情報が供給されるようになっており、タップ抽出部１６６は、図１３のタップ抽出部１５２と同様に、注目教師データについてのミスマッチ情報に基づいて、クラスタップのタップ構造を変更するようになっている。
【０１９８】
クラス分類部１６７には、タップ抽出部１６６が出力するクラスタップと、ミスマッチ検出部１３が出力するミスマッチ情報が供給されるようになっている。クラス分類部１６７は、注目教師データについてのクラスタップとミスマッチ情報に基づき、図１３のクラス分類部１５３と同一のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部１６８に出力する。
【０１９９】
足し込み部１６８は、教師データ記憶部１６２から、注目教師データを読み出し、その注目教師データと、タップ抽出部１６５から供給される注目教師データについて構成された予測タップを構成する生徒データを対象とした足し込みを、クラス分類部１６７から供給されるクラスコードごとに行う。
【０２００】
即ち、足し込み部１６８は、クラス分類部１６７から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）を用い、式（８）の行列Ａにおける各コンポーネントとなっている、生徒データどうしの乗算（ｘinｘim）と、サメーション（Σ）に相当する演算を行う。
【０２０１】
さらに、足し込み部１６８は、やはり、クラス分類部１６７から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）および教師データを用い、式（８）のベクトルｖにおける各コンポーネントとなっている、生徒データと教師データの乗算（ｘinｙi）と、サメーション（Σ）に相当する演算を行う。
【０２０２】
即ち、足し込み部１６８は、前回、注目教師データとされた教師データについて求められた式（８）における行列Ａのコンポーネントと、ベクトルｖのコンポーネントを、その内蔵するメモリ（図示せず）に記憶しており、その行列Ａまたはベクトルｖの各コンポーネントに対して、新たに注目教師データとされた教師データについて、その教師データｙiおよび生徒データxin(xim)を用いて計算される、対応するコンポーネントｘinｘimまたはｘinｙiを足し込む（行列Ａ、ベクトルｖにおけるサメーションで表される加算を行う）。
【０２０３】
そして、足し込み部１６８は、教師データ記憶部１６２に記憶された教師データすべてを注目教師データとして、上述の足し込みを行うことにより、各クラスについて、式（８）に示した正規方程式をたてると、その正規方程式を、タップ係数算出部１６９に供給する。
【０２０４】
タップ係数算出部１６９は、足し込み部１６８から供給されるクラスごとの正規方程式を解くことにより、各クラスごとのタップ係数を求めて出力する。
【０２０５】
次に、図１６のフローチャートを参照して、図１５の学習装置の処理（学習処理）について、説明する。
【０２０６】
まず最初に、ステップＳ３１において、教師データ生成部１６１と生徒データ生成部１６３が、学習用データ記憶部１１に記憶された学習用データから、教師データと生徒データを、それぞれ生成する。教師データは、教師データ生成部１６１から教師データ記憶部１６２に供給されて記憶され、生徒データは、生徒データ生成部１６３から生徒データ記憶部１６４に供給されて記憶される。
【０２０７】
その後、タップ抽出部１６５は、教師データ記憶部１６２に記憶された教師データのうち、まだ、注目教師データとしていないものを、注目教師データとする。そしてステップＳ３２において、符号化部１２は、学習用データ記憶部１１に記憶された学習用データを符号化し、これにより、注目教師データに対応する符号化データ（注目教師データに対応する学習用データを符号化したもの）を得て、ミスマッチ検出部１３に供給する。
【０２０８】
ミスマッチ検出部１３は、符号化部１２から供給される符号化データから、注目教師データについてのミスマッチ情報を生成し、学習処理部１４のタップ抽出部１６５および１６６、並びにクラス分類部１６７に供給する。
【０２０９】
そして、ステップＳ３４に進み、タップ抽出部１６５が、ミスマッチ情報に基づき、注目教師データについて、生徒データ記憶部１６４に記憶された生徒データを読み出して予測タップを構成し、足し込み部１６８に供給するとともに、タップ抽出部１６６が、やはり、ミスマッチ情報に基づき、注目教師データについて、生徒データ記憶部１６４に記憶された生徒データを読み出してクラスタップを構成し、クラス分類部１６７に供給する。
【０２１０】
クラス分類部１６７は、ステップＳ３５において、注目教師データについてのクラスタップとミスマッチ情報に基づき、注目教師データについてクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部１６８に出力する。
【０２１１】
足し込み部１６８は、ステップＳ３６において、教師データ記憶部１６２から注目教師データを読み出し、その注目教師データと、タップ抽出部１６５からの予測タップを用い、式（８）の行列Ａとベクトルｖのコンポーネントを計算する。さらに、足し込み部１６８は、既に得られている行列Ａとベクトルｖのコンポーネントのうち、クラス分類部１６７からのクラスコードに対応するものに対して、注目データと予測タップから求められた行列Ａとベクトルｖのコンポーネントを足し込み、ステップＳ３７に進む。
【０２１２】
ステップＳ３７では、タップ抽出部１６５が、教師データ記憶部１６２に、まだ、注目教師データとしていない教師データが記憶されているかどうかを判定する。ステップＳ３７において、注目教師データとしていない教師データが、まだ、教師データ記憶部１６２に記憶されていると判定された場合、タップ抽出部１６５は、まだ注目教師データとしていない教師データを、新たに、注目教師データとして、ステップＳ３２に戻り、以下、同様の処理が繰り返される。
【０２１３】
また、ステップＳ３７において、注目教師データとしていない教師データが、教師データ記憶部１６２に記憶されていないと判定された場合、足し込み部１６８は、いままでの処理によって得られたクラスごとの行列Ａおよびベクトルｖのコンポーネントで構成される式（８）の正規方程式を、タップ係数算出部１６９に供給し、ステップＳ３８に進む。
【０２１４】
ステップＳ３８では、タップ係数算出部１６９は、足し込み部１６８から供給される各クラスごとの正規方程式を解くことにより、各クラスごとに、タップ係数を求めて出力し、処理を終了する。
【０２１５】
なお、学習用データ記憶部１１に記憶されているる学習用データの数が十分でないこと等に起因して、タップ係数を求めるのに必要な数の正規方程式が得られないクラスが生じることがあり得るが、そのようなクラスについては、タップ係数算出部１６９は、例えば、デフォルトのタップ係数を出力するようになっている。
【０２１６】
次に、図１７は、符号化データが音声データをＣＥＬＰ方式で符号化したものである場合の、図１２の復号装置の第１の詳細構成例を示している。
【０２１７】
図１７の実施の形態では、符号化特性情報抽出部１２１は、チャネルデコーダ１８１で構成されている。チャネルデコーダ１８１は、例えば、図９のチャネルデコーダ６１と同様に構成されており、符号化データから、Ｌコードを抽出し、特性データとして、判定部１２３に供給する。
【０２１８】
実特性抽出部１２２は、ＶＳＥＬＰ復号装置１８２およびピッチ検出部１８３で構成されている。ＶＳＥＬＰ復号装置１８２は、図９に示したＶＳＥＬＰ復号装置と同様に構成され、符号化データを、ＶＳＥＬＰ方式で復号し、その結果得られる復号音声データを、ピッチ検出部１８３に供給する。
【０２１９】
ピッチ検出部１８３は、ＶＳＥＬＰ復号装置１８２が出力する復号音声データのピッチ周期を検出する。即ち、ピッチ検出部１８３は、例えば、復号音声データの自己相関を計算し、その自己相関に基づいて、ピッチ周期を検出し、実特性として、判定部１２３に供給する。
【０２２０】
判定部１２３は、差分演算部１８４で構成されている。差分演算部１８４は、チャネルデコーダ１８１からのＬコードに対応する時間（音声のピッチ周期を表す時間）と、実際に得られた復号音声データのピッチ周期との差分を演算し、その差分値を、ミスマッチ情報として、クラス分類適応処理部１３２に供給する。
【０２２１】
一方、前処理部１３１は、ＶＳＥＬＰ復号装置１８５で構成されている。ＶＳＥＬＰ復号装置１８５は、ＶＳＥＬＰ復号装置１８２と同様に、符号化データを、ＶＳＥＬＰ方式で復号し、復号音声データを、前処理データとして、クラス分類適応処理部１３２に出力する。
【０２２２】
クラス分類適応処理部１３２では、前処理部１３１のＶＳＥＬＰ復号装置１８５が出力する復号音声データを対象に、クラス分類適応処理が行われ、その結果得られる適応処理データが、後処理部１３３に出力される。後処理部１３３は、クラス分類適応処理部１３２からの適応処理データを、そのまま、高音質音声データとして出力する。
【０２２３】
従って、図１７の実施の形態においては、クラス分類適応処理部１３２では、クラス分類適応処理が行われることにより、前処理部１３１のＶＳＥＬＰ復号装置１８５が出力する、符号化データをＶＳＥＬＰ方式で復号した復号音声データが、高音質音声データに変換されて出力される。
【０２２４】
即ち、クラス分類適応処理部１３２（図１３）では、前処理部１３１のＶＳＥＬＰ復号装置１８５が出力する復号音声データが、タップ抽出部１５１と１５２に供給される。
【０２２５】
タップ抽出部１５１は、まだ、注目データとしていない高音質音声データを注目データとして、その注目データを予測するのに用いる復号音声データの幾つかの音声サンプルを、予測タップとして抽出する。タップ抽出部１５２も、注目データをクラス分類するのに用いる復号音声データの幾つかの音声サンプルを、クラスタップとして抽出する。
【０２２６】
ここで、上述したように、タップ抽出部１５１および１５２には、判定部１２３からミスマッチ情報も供給されるようになっており、タップ抽出部１５１と１５２は、ミスマッチ情報に基づき、予測タップとクラスタップの構造を、それぞれ変更するようになっている。
【０２２７】
即ち、符号化特性情報抽出部１２１（図１７）のチャネルデコーダ１８１では、例えば、注目データに対応する位置の復号音声データを含むサブフレーム（またはフレーム）のＬコードが抽出され、判定部１２３の差分演算部１８４に供給される。
【０２２８】
また、実特性抽出部１２２のＶＳＥＬＰ復号装置１８２では、例えば、注目データに対応する位置の復号音声データ（以下、適宜、注目復号音声データという）を含むフレームの前後それぞれ数１０フレーム等が復号され、その結果得られる復号音声データが、ピッチ検出部１８３に供給される。ピッチ検出部１８３では、ＶＳＥＬＰ復号装置１８２から供給される復号音声データの自己相関が計算され、その自己相関に基づき、注目復号音声データ付近のピッチ周期が検出される。このピッチ周期は、差分演算部１８４に供給される。差分演算部１８４は、チャネルデコーダ１８１から供給されるＬコードに対応する時間Ｔ1と、ピッチ検出部１８３から供給されるピッチ周期Ｔ2との差分を演算し、その差分値△Ｔ（＝Ｔ1−Ｔ2）を、注目データについてのミスマッチ情報として出力する。
【０２２９】
タップ抽出部１５１（図１３）は、以上のような、注目データについてのミスマッチ情報としての差分値△Ｔを受信すると、例えば、その差分値△Ｔの絶対値を、所定の閾値ＴＨTと比較する。
【０２３０】
そして、タップ抽出部１５１は、差分値△Ｔの絶対値が、閾値ＴＨT以下（または未満）である場合、即ち、注目復号音声データを含むサブフレームのＬコードに対応する時間が、注目復号音声データのピッチ周期を正しく表している場合、例えば、注目復号音声データを含むサブフレーム（以下、適宜、注目サブフレームという）の音声サンプルすべてと、注目サブフレームの１つ前のサブフレームの１サンプルおきの音声サンプルと、注目サブフレームの１つ後のサブフレームの１サンプルおきの音声サンプルとを、予測タップとして抽出する。
【０２３１】
また、タップ抽出部１５１は、差分値△Ｔの絶対値が、閾値ＴＨTより大きい（または以上である）場合、即ち、注目復号音声データを含むサブフレームのＬコードに対応する時間が、注目復号音声データのピッチ周期を正しく表していない場合、例えば、注目サブフレームの音声サンプルすべてと、注目サブフレームの１つ前と２つ前のサブフレームの２サンプルおきの音声サンプルと、注目サブフレームの１つ後と２つ後のサブフレームの２サンプルおきの音声サンプルとを、予測タップとして抽出する。
【０２３２】
タップ抽出部１５２も、タップ抽出部１５１と同様に、ミスマッチ情報に基づいてタップ構造を変更したクラスタップを、復号音声データから抽出する。
【０２３３】
なお、ここでは、ミスマッチ情報に基づいて、予測タップとして抽出する音声サンプルの位置を変更するだけで、予測タップを構成する音声サンプルの数は変更しないようにしたが、タップ抽出部１５１では、ミスマッチ情報に基づいて、予測タップを構成する復号音声データの音声サンプルの数を変更するようにすることも可能である。
【０２３４】
また、タップ抽出部１５１では、図１０で説明した場合と同様に、ＶＳＥＬＰ復号装置１８５において得られるＬコード、Ｇコード、Ｉコード、またはＡコードも予測タップとして抽出することが可能であるが、この場合も、予測タップとするＬコード、Ｇコード、Ｉコード、またはＡコードのサブフレームの位置や数を、ミスマッチ情報に基づいて変更することが可能である。
【０２３５】
さらに、ミスマッチ情報には、差分値△Ｔだけでなく、その差分値△Ｔを得るのに用いられたＬコードや復号音声データのピッチ周期Ｔ2、即ち、チャネルデコーダ１８１が出力するＬコードや、ピッチ検出部１８３が出力するピッチ周期Ｔ2を含めることが可能である。この場合、タップ抽出部１５１では、上述のような予測タップのタップ構造の変更を、差分値△Ｔだけでなく、Ｌコードや、復号音声データのピッチ周期Ｔ2にも基づいて行うようにすることが可能である。
【０２３６】
タップ抽出部１５２でも、タップ抽出部１５１における場合と同様にして、クラスタップを構成することができる。
【０２３７】
タップ抽出部１５１で得られた予測タップは、予測部１５４に供給され、タップ抽出部１５２で得られたクラスタップは、クラス分類部１５３に供給される。
【０２３８】
クラス分類部１５３には、クラスタップの他、注目データについてのミスマッチ情報も供給され、クラス分類部１５３では、上述したように、クラスタップとミスマッチ情報に基づき、注目データがクラス分類される。
【０２３９】
即ち、クラス分類部１５３は、例えば、注目データについてのクラスタップに基づき、上述のADRC処理を行うことにより、クラスコードを求める。ここで、クラスタップから得られるクラスコードを、以下、適宜、クラスタップコードという。
【０２４０】
さらに、クラス分類部１５３は、例えば、注目データについてのミスマッチ情報としての差分値△Ｔの絶対値を、所定の閾値ＴＨTと比較することにより、１ビットのクラスコードを求める。
【０２４１】
即ち、クラス分類部１５３は、差分値△Ｔの絶対値が、閾値ＴＨT以下である場合、即ち、注目復号音声データを含むサブフレームのＬコードに対応する時間が、注目復号音声データのピッチ周期を正しく表している場合、０または１のうちの、例えば、１をクラスコードとする。また、クラス分類部１５３は、差分値△Ｔの絶対値が、閾値ＴＨTより大きい場合、即ち、注目復号音声データを含むサブフレームのＬコードに対応する時間が、注目復号音声データのピッチ周期を正しく表していない場合、０または１のうちの、例えば、０をクラスコードとする。ここで、ミスマッチ情報から得られるクラスコードを、以下、適宜、ミスマッチコードという。
【０２４２】
その後、クラス分類部１５３は、例えば、注目データについて得られたクラスタップコードの上位ビットとして、注目データについて得られたミスマッチコードを付加し、このクラスタップコードとミスマッチコードとで構成されるコードを、注目データについての最終的なクラスコードとして出力する。
【０２４３】
このクラスコードは、係数メモリ１４１に供給される。係数メモリ１４１では、そのクラスコードに対応するタップ係数が読み出され、予測部１５４に供給される。
【０２４４】
なお、上述のように、ミスマッチ情報に、差分値△Ｔだけでなく、その差分値△Ｔを得るのに用いられたＬコードや復号音声データのピッチ周期Ｔ2、即ち、チャネルデコーダ１８１が出力するＬコードや、ピッチ検出部１８３が出力するピッチ周期Ｔ2を含める場合には、クラス分類部１５３では、ミスマッチ情報に含まれるＬコードやピッチ周期Ｔ2にも基づいて、クラス分類を行うようにすることが可能である。
【０２４５】
また、上述の場合には、差分値△Ｔの絶対値と閾値ＴＨTとの大小関係に対応して、１ビットのミスマッチコードを決定するようにしたが、ミスマッチコードとしては、その他、例えば、差分値△Ｔの２の補数表示などを採用すること等が可能である。
【０２４６】
予測部１５４は、タップ抽出部１５１が出力する予測タップと、係数メモリ１４１から取得したタップ係数とを用いて、式（１）に示した線形予測演算を行う。これにより、予測部１５４は、注目データ（の予測値）、即ち、高音質音声データを求め、後処理部１３３に供給する。
【０２４７】
後処理部１３３では、上述したように、クラス分類適応処理部１３２（の予測部１５４）の出力、即ち、高音質音声データが、そのまま出力される。
【０２４８】
次に、図１８は、図１７の復号装置の係数メモリ１４１に記憶させるタップ係数を学習する場合の、図１５の学習装置の詳細構成例を示している。
【０２４９】
図１８の実施の形態では、学習用データ記憶部１１に、学習用データとして、高音質の音声データ（学習用音声データ）が記憶されている。
【０２５０】
符号化部１２は、ＶＳＥＬＰ符号化装置１９１で構成されており、ＶＳＥＬＰ符号化装置１９１は、例えば、図８に示したＶＳＥＬＰ符号化装置と同様に構成されている。但し、ＶＳＥＬＰ符号化装置１９１は、図８のＶＳＥＬＰ符号化装置のマイク４１およびＡ／Ｄ変換部４２が設けられていないものとなっている。
【０２５１】
ＶＳＥＬＰ符号化装置１９１は、学習用データ記憶部１１から学習用音声データを読み出して、ＶＳＥＬＰ方式で符号化し、その結果得られる符号化データを、符号化特性情報抽出部１７１および実特性抽出部１７２に供給する。
【０２５２】
符号化特性情報抽出部１７１は、チャネルデコーダ１９２で、実特性抽出部１７２は、ＶＳＥＬＰ復号装置１９３およびピッチ検出部１９４で、判定部１７３は、差分演算部１９５で、それぞれ構成されている。チャネルデコーダ１９２、ＶＳＥＬＰ復号装置１９３、ピッチ検出部１９４、または差分演算部１９５は、図１７のチャネルデコーダ１８１、ＶＳＥＬＰ復号装置１８２、ピッチ検出部１８３、または差分演算部１８４とそれぞれ同様の処理を行い、これにより、注目教師データについてのミスマッチ情報として、図１７で説明した差分値△Ｔを得て、適応学習部１６０に出力する。
【０２５３】
逆後処理部１６１Ａは、学習用データ記憶部１１から学習用音声データを読み出し、そのまま、教師データとして、適応学習部１６０に出力する。適応学習部１６０（図１５）では、教師データ記憶部１６２において、後処理部１６１Ａからの教師データが記憶される。
【０２５４】
符号化部１６３Ａは、ＶＳＥＬＰ符号化装置１９６で構成され、ＶＳＥＬＰ符号化装置１９６は、ＶＳＥＬＰ符号化装置１９１と同様に、学習用データ記憶部１１から学習用音声データを読み出して、ＶＳＥＬＰ方式で符号化し、その結果得られる符号化データを、前処理部１６３Ｂに出力する。
【０２５５】
前処理部１６３Ｂは、図９のＶＳＥＬＰ復号装置と同様に構成されるＶＳＥＬＰ復号装置１９７で構成され、ＶＳＥＬＰ復号装置１９７は、ＶＳＥＬＰ符号化装置１９６からの符号化データを、ＶＳＥＬＰ方式で復号し、その結果得られる復号音声データを、生徒データとして、適応学習部１６０に出力する。適応学習部１６０（図１５）では、生徒データ記憶部１６４において、ＶＳＥＬＰ復号装置１９７からの生徒データが記憶される。
【０２５６】
そして、適応学習部１６０では、教師データおよび生徒データを用い、生徒データから抽出される予測タップとタップ係数から、式（１）の線形予測演算を行うことにより得られる教師データの予測値の予測誤差を統計的に最小にするタップ係数を求める学習が行われる。
【０２５７】
即ち、適応学習部１６０（図１５）では、タップ抽出部１６５が、教師データ記憶部１６２に記憶された教師データのうち、まだ、注目教師データとしていないものを、注目教師データとし、注目教師データについて、生徒データ記憶部１６４に記憶された生徒データから予測タップを構成して、足し込み部１６８に供給する。さらに、タップ抽出部１６６が、注目教師データについて、生徒データ記憶部１６４に記憶された生徒データからクラスタップを構成し、クラス分類部１６７に供給する。
【０２５８】
ここで、チャネルデコーダ１９２、ＶＳＥＬＰ復号装置１９３、ピッチ検出部１９４、または差分演算部１９５では、図１７のチャネルデコーダ１８１、ＶＳＥＬＰ復号装置１８２、ピッチ検出部１８３、または差分演算部１８４とそれぞれ同様の処理が行われ、これにより、注目教師データについてのミスマッチ情報としての差分値△Ｔが、タップ抽出部１６５および１６６、並びにクラス分類部１６７に供給されるようになっている。
【０２５９】
そして、タップ抽出部１６５または１６６では、図１７で説明したタップ抽出部１５１または１５２（図１３）における場合とそれぞれ同様に、ミスマッチ情報に基づいてタップ構造を変更した予測タップまたはクラスタップが、生徒データ記憶部１６４に記憶された生徒データとしての復号音声データから構成される。
【０２６０】
なお、タップ抽出部１６５または１６６では、図１７で説明したタップ抽出部１５１または１５２（図１３）における場合とそれぞれ同一のタップ構造の予測タップまたはクラスタップが構成される。このため、タップ抽出部１５１または１５２において、ＶＳＥＬＰ復号装置１８５で得られるＬコード、Ｇコード、Ｉコード、またはＡコードも用いて、予測タップまたはクラスタップが構成される場合には、タップ抽出部１６５または１６６でも、ＶＳＥＬＰ復号装置１９７で得られるＬコード、Ｇコード、Ｉコード、またはＡコードを用いて、タップ抽出部１５１または１５２における場合とそれぞれ同一のタップ構造の予測タップまたはクラスタップが構成される。
【０２６１】
さらに、タップ抽出部１６５または１６６それぞれでは、ミスマッチ情報に、差分値△Ｔだけでなく、その差分値△Ｔを得るのに用いられたＬコードや復号音声データのピッチ周期Ｔ2が含まれる場合には、図１７で説明したタップ抽出部１５１または１５２（図１３）における場合と同様に、予測タップまたはクラスタップのタップ構造の変更が、差分値△Ｔだけでなく、Ｌコードや、復号音声データのピッチ周期Ｔ2にも基づいて行われる。
【０２６２】
その後、クラス分類部１６７は、注目教師データについてのクラスタップとミスマッチ情報に基づき、注目教師データについて、図１７で説明したクラス分類部１５３（図１３）における場合と同様のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部１６８に出力する。
【０２６３】
足し込み部１６８は、教師データ記憶部１６２から注目教師データを読み出し、その注目教師データと、タップ抽出部１６５からの予測タップを用い、式（８）の行列Ａとベクトルｖのコンポーネントを計算する。さらに、足し込み部１６８は、既に得られている行列Ａとベクトルｖのコンポーネントのうち、クラス分類部１６７からのクラスコードに対応するものに対して、注目教師データと予測タップから求められた行列Ａとベクトルｖのコンポーネントを足し込む。
【０２６４】
以上の処理が、教師データ記憶部１６２に記憶された教師データすべてを、注目教師データとして行われると、足し込み部１６８は、いままでの処理によって得られたクラスごとの行列Ａおよびベクトルｖのコンポーネントで構成される式（８）の正規方程式を、タップ係数算出部１６９に供給し、タップ係数算出部１６９は、その各クラスごとの正規方程式を解くことにより、各クラスごとに、タップ係数を求めて出力する。
【０２６５】
次に、図１９は、符号化データが音声データをＣＥＬＰ方式で符号化したものである場合の、図１２の復号装置の第２の詳細構成例を示している。なお、図中、図１７における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０２６６】
即ち、図１９の復号装置は、後処理部１３３が、図９の音声合成フィルタ６９と同様に構成される音声合成フィルタ２０１で構成されている他は、基本的に、図１７の復号装置と同様に構成されている。
【０２６７】
但し、前処理部１３１のＶＳＥＬＰ復号装置１８５は、図９において、音声合成フィルタ６９が出力する復号音声データではなく、フィルタ係数復号器６５が出力する線形予測係数と、演算器６８が出力する残差信号を、前処理データとして、クラス分類適応処理部１３２に出力するようになっている。
【０２６８】
クラス分類適応処理部１３２では、前処理部１３１のＶＳＥＬＰ復号装置１８５が出力する残差信号（復号残差信号）と線形予測係数（復号線形予測係数）を対象に、クラス分類適応処理が行われ、これにより、音声合成フィルタ２０１において、高音質音声データ（の予測値）を得ることができる残差信号と線形予測係数（以下、適宜、それぞれを、高音質残差信号と高音質線形予測係数という）が、適応処理データとして求められる。
【０２６９】
即ち、クラス分類適応処理部１３２（図１３）では、前処理部１３１のＶＳＥＬＰ復号装置１８５が出力する復号残差信号が、タップ抽出部１５１と１５２に供給される。
【０２７０】
タップ抽出部１５１は、まだ、注目データとしていない高音質残差信号のサンプルを注目データとして、その注目データを予測するのに用いる復号残差信号の幾つかのサンプルを、予測タップとして抽出する。タップ抽出部１５２も、注目データをクラス分類するのに用いる復号残差信号の幾つかのサンプルを、クラスタップとして抽出する。
【０２７１】
なお、タップ抽出部１５１および１５２には、図１７で説明したように、注目データについてのミスマッチ情報が供給されるようになっており、タップ抽出部１５１または１５２では、そのミスマッチ情報に基づいて、図１７で説明したようなタップ構造の予測タップまたはクラスタップが、それぞれ構成される。
【０２７２】
タップ抽出部１５１で得られた予測タップは、予測部１５４に供給され、タップ抽出部１５２で得られたクラスタップは、クラス分類部１５３に供給される。
【０２７３】
クラス分類部１５３には、クラスタップの他、注目データについてのミスマッチ情報も供給され、クラス分類部１５３では、図１７で説明した場合と同様にして、クラスタップとミスマッチ情報に基づき、注目データがクラス分類され、注目データについてのクラスコードが、係数メモリ１４１に供給される。係数メモリ１４１では、注目データについてのクラスコードに対応するタップ係数が読み出され、予測部１５４に供給される。
【０２７４】
予測部１５４は、タップ抽出部１５１が出力する予測タップと、係数メモリ１４１から取得したタップ係数とを用いて、式（１）に示した線形予測演算を行う。これにより、予測部１５４は、注目データ（の予測値）、即ち、高音質残差信号を求め、後処理部１３３に供給する。
【０２７５】
図１９の実施の形態では、クラス分類適応処理部１３２と係数メモリ１４１が２系統設けられており、一方の系統のクラス分類適応処理部１３２および係数メモリ１４１では、復号残差信号が、上述のように処理される。そして、他方の系統のクラス分類適応処理部１３２および係数メモリ１４１では、前処理部１３１のＶＳＥＬＰ復号装置１８５が出力する復号線形予測係数について、復号残差残差信号における場合と同様の処理が行われ、これにより、高音質線形予測係数が求められて、後処理部１３３に供給される。
【０２７６】
後処理部１３３では、音声合成フィルタ２０１において、クラス分類適応処理部１３２からの高音質線形予測係数をフィルタ係数として、同じくクラス分類適応処理部１３２からの高音質復号残差信号がフィルタリングされることにより、高音質音声データが求められて出力される。
【０２７７】
次に、図２０および図２１は、図１９の復号装置の係数メモリ１４１に記憶させるタップ係数を学習する場合の、図１５の学習装置の詳細構成例を示している。なお、図中、図１８における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０２７８】
図２０は、復号残差信号を高音質残差信号に変換するタップ係数を学習する学習装置の構成例を示しており、図２１は、復号線形予測係数を高音質線形予測係数に変換するタップ係数を学習する学習装置の構成例を示している。
【０２７９】
図２０の実施の形態では、逆後処理部１６１Ａが、ＬＰＣ分析部２１１および予測フィルタ２１２で構成されており、また、前処理部１６３Ｂを構成するＶＳＥＬＰ復号装置１９７は、復号残差信号（図９の演算器６８が出力する残差信号）を、生徒データとして、適応学習部１６０に供給するようになっている。
【０２８０】
ＬＰＣ分析部２１１は、学習用データ記憶部１１から学習用音声データを読み出し、図８のＬＰＣ分析部４４における場合と同様に、学習用音声データをＬＰＣ分析することで、Ｐ次の線形予測係数を求めて、予測フィルタ２１２に供給する。
【０２８１】
予測フィルタ２１２は、学習用データ記憶部１１から、ＬＰＣ分析部２１１がＬＰＣ分析を行った学習用データを読み出し、その学習用データと、ＬＰＣ分析部２１１から供給される線形予測係数を用いて、例えば、式（９）にしたがった演算を行うことにより、残差信号を求め、教師データとして、適応学習部１６０に供給する。
【０２８２】
ここで、式（９）における音声データ（音声信号）ｓnと残差信号ｅnのＺ変換を、ＳとＥとそれぞれ表すと、式（９）は、次式のように表すことができる。
【０２８３】
Ｅ＝（１＋α1ｚ-1＋α2ｚ-2＋・・・＋αPｚ-P）Ｓ
・・・（１４）
【０２８４】
式（１４）から、残差信号ｅは、音声データｓと線形予測係数αPとの積和演算で求めることができ、従って、残差信号ｅを求める予測フィルタ２１２は、ＦＩＲ(Finite Impulse Response)型のディジタルフィルタで構成することができる。
【０２８５】
適応学習部１６０（図１５）では、教師データ記憶部１６２において、予測フィルタ２１２から供給される教師データとしての残差信号（上述の高音質残差信号に相当する）が記憶されるとともに、生徒データ記憶部１６４において、ＶＳＥＬＰ復号装置１９７から供給される生徒データとしての復号残差信号が記憶される。
【０２８６】
そして、適応学習部１６０では、図１８で説明した場合と同様に、教師データおよび生徒データを用い、生徒データから抽出される予測タップとタップ係数から、式（１）の線形予測演算を行うことにより得られる教師データの予測値の予測誤差を統計的に最小にするタップ係数を求める学習が行われ、これにより、復号残差信号を高音質残差信号に変換するクラスごとのタップ係数が求められる。
【０２８７】
次に、図２１の実施の形態では、逆後処理部１６１Ａが、ＬＰＣ分析部２２１で構成されており、また、前処理部１６３Ｂを構成するＶＳＥＬＰ復号装置１９７は、復号線形予測係数（図９のフィルタ係数復号器６５が出力する線形予測係数）を、生徒データとして、適応学習部１６０に供給するようになっている。
【０２８８】
ＬＰＣ分析部２２１は、学習用データ記憶部１１から学習用音声データを読み出し、図８のＬＰＣ分析部４４における場合と同様に、学習用音声データをＬＰＣ分析することで、Ｐ次の線形予測係数を求め、教師データとして、適応学習部１６０に供給する。
【０２８９】
適応学習部１６０（図１５）では、教師データ記憶部１６２において、ＬＰＣ分析部２２１から供給される教師データとしての線形予測係数（上述の高音質線形予測係数に相当する）が記憶されるとともに、生徒データ記憶部１６４において、ＶＳＥＬＰ復号装置１９７から供給される生徒データとしての復号線形予測係数が記憶される。
【０２９０】
そして、適応学習部１６０では、図１８で説明した場合と同様に、教師データおよび生徒データを用い、生徒データから抽出される予測タップとタップ係数から、式（１）の線形予測演算を行うことにより得られる教師データの予測値の予測誤差を統計的に最小にするタップ係数を求める学習が行われ、これにより、復号線形予測係数を高音質線形予測係数に変換するクラスごとのタップ係数が求められる。
【０２９１】
次に、図２２は、符号化データが画像データをＭＰＥＧ２方式で符号化したものである場合の、図１２の復号装置の第１の詳細構成例を示している。
【０２９２】
図１７の実施の形態では、符号化特性情報抽出部１２１は、逆ＶＬＣ部２３１で構成されている。逆ＶＬＣ部２３１は、例えば、後述するＭＰＥＧデコーダ２３２を構成する逆ＶＬＣ部２４１（図２３）と同様に構成されており、符号化データから、ＤＣＴタイプを抽出し、特性データとして、判定部１２３に供給する。
【０２９３】
実特性抽出部１２２は、ＭＰＥＧデコーダ２３２および相関演算部２３３で構成されている。ＭＰＥＧデコーダ２３２は、符号化データをＭＰＥＧ方式で復号し、その結果得られる復号画像データを、相関演算部２３３に供給する。
【０２９４】
ここで、図２３は、ＭＰＥＧデコーダ２３２の構成例を示している。
【０２９５】
符号化データは、逆ＶＬＣ部２４１に供給される。逆ＶＬＣ部２４１は、符号化データに含まれる量子化ＤＣＴ係数（量子化された２次元ＤＣＴ係数）のＶＬＣコード（量子化ＤＣＴ係数を可変長符号化したもの）、量子化ステップ、動きベクトル、ピクチャタイプ、テンポラルリファレンス、その他の情報を分離する。
【０２９６】
そして、逆ＶＬＣ部２４１は、量子化ＤＣＴ係数のＶＬＣコードを逆ＶＬＣ処理することで、量子化ＤＣＴ係数に復号し、逆量子化部２４２に供給する。さらに、逆ＶＬＣ部２４１は、量子化ステップを逆量子化部２４２に、動きベクトルを動き補償部２４６に、ピクチャタイプをメモリ２４５に、テンポラルリファレンスをピクチャ選択部２４７に、それぞれ供給する。
【０２９７】
逆量子化部２４２は、逆ＶＬＣ部２４１から供給される量子化ＤＣＴ係数を、同じく逆ＶＬＣ部２４２から供給される量子化ステップで逆量子化し、その結果得られる２次元ＤＣＴ係数を、逆ＤＣＴ変換部２４２に供給する。逆ＤＣＴ変換部２４３は、逆量子化部２４２から供給される２次元ＤＣＴ係数を、２次元逆ＤＣＴ変換し、演算部２４４に供給する。
【０２９８】
演算部２４４には、逆ＤＣＴ変換部２４３の出力の他、動き補償部２４６の出力も供給されるようになっており、演算部２４４は、逆ＤＣＴ変換部２４３の出力に対して、動き補償部２４６の出力を、必要に応じて加算することにより、復号画像データを得て出力する。
【０２９９】
即ち、ＭＰＥＧ符号化では、ピクチャタイプとして、Ｉ，Ｐ，Ｂの３つが定義されており、各ピクチャは、横×縦が８×８画素単位で、２次元ＤＣＴ変換されるが、その際、Ｉピクチャのブロックは、イントラ(intra)符号化され、Ｐピクチャのブロックは、イントラ符号化、または前方予測符号化され、Ｂピクチャのブロックは、イントラ符号化、前方予測符号化、後方予測符号化、または両方向予測符号化される。
【０３００】
ここで、前方予測符号化では、符号化対象のブロックのフレーム（またはフィールド）より時間的に先行するフレーム（またはフィールド）の画像を参照画像として、その参照画像を動き補償することにより得られる、符号化対象のブロックの予測画像と、符号化対象のブロックとの差分が求められ、その差分値（以下、適宜、残差画像という）が２次元ＤＣＴ変換される。
【０３０１】
また、後方予測符号化では、符号化対象のブロックのフレームより時間的に後行するフレームの画像を参照画像として、その参照画像を動き補償することにより得られる、符号化対象のブロックの予測画像と、符号化対象のブロックとの差分が求められ、その差分値（残差画像）が２次元ＤＣＴ変換される。
【０３０２】
さらに、両方向予測符号化では、符号化対象のブロックのフレームより時間的に先行するフレームと後行するフレームの２フレーム（またはフィールド）の画像を参照画像として、その参照画像を動き補償することにより得られる、符号化対象のブロックの予測画像と、符号化対象のブロックとの差分が求められ、その差分値（残差画像）が２次元ＤＣＴ変換される。
【０３０３】
従って、ブロックが、ノンイントラ(non-intra)符号化（前方予測符号化、後方予測符号化、または両方向予測符号化）されている場合、逆ＤＣＴ変換部２４３の出力は、残差画像（元の画像と、その予測画像との差分値）を復号したものとなっており、演算部２４４は、この残差画像の復号結果（以下、適宜、復号残差画像という）と、動き補償部２４６から供給される予測画像とを加算することで、ノンイントラ符号化されたブロックを復号し、その結果得られる復号画像データを出力する。
【０３０４】
一方、逆ＤＣＴ変換部２４３が出力するブロックが、イントラ符号化されたものであった場合には、逆ＤＣＴ変換部２４３の出力は、元の画像を復号したものとなっており、演算部２４４は、逆ＤＣＴ変換部２４３の出力を、そのまま、復号画像データとして出力する。
【０３０５】
演算部２４４が出力する復号画像データは、メモリ２４５とピクチャ選択部２４７に供給される。
【０３０６】
メモリ２４５は、演算部２４４から供給される復号画像データが、ＩピクチャまたはＰピクチャの画像データである場合、その復号画像データを、その後に復号される符号化データの参照画像として一時記憶する。ここで、ＭＰＥＧ２では、Ｂピクチャは参照画像とされないことから、演算部２４４から供給される復号画像が、Ｂピクチャの画像である場合には、メモリ２４５では、Ｂピクチャの復号画像は記憶されない。なお、メモリ２４５は、演算部２４４から供給される復号画像が、Ｉ，Ｐ，Ｂのうちのいずれのピクチャであるかは、逆ＶＬＣ部２４１から供給されるピクチャタイプを参照することにより判断する。
【０３０７】
ピクチャ選択部２４７は、演算部２４４が出力する復号画像、またはメモリ２４５に記憶された復号画像のフレーム（またはフィールド）を、表示順に選択して出力する。即ち、ＭＰＥＧ２方式では、画像のフレーム（またはフィールド）の表示順と復号順（符号化順）とが一致していないため、ピクチャ選択部２４７は、復号順に得られる復号画像のフレーム（またはフィールド）を表示順に並べ替えて出力する。なお、ピクチャ選択部２４７は、表示順を、逆ＶＬＣ部２４１から供給されるテンポラルリファレンスを参照することにより判断する。
【０３０８】
一方、動き補償部２４６は、逆ＶＬＣ部２４１が出力する動きベクトルを受信するとともに、参照画像となるフレーム（またはフィールド）を、メモリ２４５から読み出し、その参照画像に対して、逆ＶＬＣ部２４１からの動きベクトルにしたがった動き補償を施し、その結果得られる予測画像を、演算部２４４に供給する。演算部２４４では、上述したように、動き補償部２４６からの予測画像と、逆ＤＣＴ変換部２４３が出力する残差画像と加算され、これにより、ノンイントラ符号化されたブロックが復号される。
【０３０９】
図２２に戻り、相関演算部２３３は、ＭＰＥＧデコーダ２３２が出力する復号画像データの各ブロックについて、ライン間の相関を演算する。
【０３１０】
即ち、相関演算部２３３は、ブロックにおけるフレームを構成するライン間の相関（以下、適宜、フレームライン相関という）と、フィールドを構成するライン間の相関（以下、適宜、フィールドライン相関という）を計算する。
【０３１１】
具体的には、相関演算部２３３は、図２４に示すように、ブロックにおける隣接する第ｉライン（上からｉ番目のライン）と第ｉ＋１ラインとの間の相関Ｐ（ｉ，ｉ＋１）を、例えば、次式にしたがって求める。
【０３１２】
Ｐ（ｉ，ｉ＋１）＝１／（Σ（ｘ（ｉ，ｊ）−ｘ（ｉ＋１，ｊ））
・・・（１５）
【０３１３】
但し、ｘ（ｉ，ｊ）は、第ｉラインの左からｊ番目（第ｊ列）の画素の画素値を表す。また、Σは、ｊを１乃至８に変えてのサメーションを表す。
【０３１４】
そして、相関演算部２３３は、例えば、相関Ｐ（ｉ，ｉ＋１）の平均値（（Ｐ（１，２）＋Ｐ（２，３）＋Ｐ（３，４）＋Ｐ（４，５）＋Ｐ（５，６）＋Ｐ（６，７）＋Ｐ（７，８））／７）を求め、この平均値を、フレームライン相関として出力する。
【０３１５】
また、相関演算部２３３は、図２４に示すように、ブロックにおける１ラインおきに隣接する第ｉラインと第ｉ＋２ラインとの間の相関Ｐ（ｉ，ｉ＋２）を、例えば、式（１５）にしたがって求める。
【０３１６】
そして、相関演算部２３３は、例えば、相関Ｐ（ｉ，ｉ＋２）の平均値（（Ｐ（１，３）＋Ｐ（２，４）＋Ｐ（３，５）＋Ｐ（４，６）＋Ｐ（５，７）＋Ｐ（６，８））／６）を求め、この平均値を、フィールドライン相関として出力する。
【０３１７】
相関演算部２３３が出力するフレームライン相関とフィールドライン相関は、実特性として、判定部１２３に供給される。
【０３１８】
ここで、あるブロックにおいて、そのブロックにおける画像の動きが比較的小さい場合には、一般に、フレームライン相関が大になり、フィールドライン相関が小になる。また、そのブロックにおける画像の動きが比較的大きい場合には、一般に、フィールドライン相関が大になり、フレームライン相関が小になる。従って、フレームライン相関とフィールドライン相関は、画像の実際の特性（実特性）を表しているということができる。
【０３１９】
判定部１２３は、ブロック特性判定部２３４と比較部２３５で構成されている。ブロック特性判定部２３４は、クラス分類適応処理部１３２における注目データに対応する画素を含むブロック（以下、適宜、注目ブロック）のフレームライン相関とフィールドライン相関に基づき、注目ブロックが、フレームＤＣＴモードまたはフィールドＤＣＴモードのうちのいずれで符号化されるべき特性を有するものであるかを判定し、その判定結果（以下、適宜、実特性タイプという）を、比較部２３５に供給する。
【０３２０】
即ち、ブロック特性判定部２３４は、例えば、注目ブロックのフレームライン相関が、フィールドライン相関より小さい（または以下である）場合には、注目ブロックがフィールドＤＣＴモードで符号化されるべき特性を有するという実特性タイプを、比較部２３５に供給する。また、ブロック特性判定部２３４は、注目ブロックのフレームライン相関が、フィールドライン相関より小さくない場合には、注目ブロックがフレームＤＣＴモードで符号化されるべき特性を有するという実特性タイプを、比較部２３５に供給する。
【０３２１】
比較部２３５は、符号化特性情報抽出部１２１の逆ＶＬＣ部２３１から供給される注目ブロックのＤＣＴタイプ（注目ブロックを含むマクロブロックのＤＣＴタイプ）と、ブロック特性判定部２３４から供給される注目ブロックの実特性タイプとを比較し、その比較結果、即ち、例えば、注目ブロックのＤＣＴタイプを表すフラグと実特性タイプを表すフラグのセットを、ミスマッチ情報として、クラス分類適応処理部１３２に供給する。
【０３２２】
一方、前処理部１３１は、ＭＰＥＧデコーダ２３６で構成されている。ＭＰＥＧデコーダ２３６は、ＭＰＥＧデコーダ２３２と同様に、符号化データを、ＭＰＥＧ方式で復号し、復号画像データを、前処理データとして、クラス分類適応処理部１３２に出力する。
【０３２３】
クラス分類適応処理部１３２では、前処理部１３１のＭＰＥＧデコーダ２３６が出力する復号画像データを対象に、クラス分類適応処理が行われ、その結果得られる適応処理データが、後処理部１３３に出力される。後処理部１３３は、クラス分類適応処理部１３２からの適応処理データを、そのまま、高画質の画像データ（高画質画像データ）として出力する。
【０３２４】
従って、図２２の実施の形態においては、クラス分類適応処理部１３２では、クラス分類適応処理が行われることにより、前処理部１３１のＭＰＥＧデコーダ２３６が出力する、符号化データをＭＰＥＧ方式で復号した復号画像データが、高画質画像データに変換されて出力される。
【０３２５】
即ち、クラス分類適応処理部１３２（図１３）では、前処理部１３１のＭＰＥＧデコーダ２３６が出力する復号画像データが、タップ抽出部１５１と１５２に供給される。
【０３２６】
タップ抽出部１５１は、まだ、注目データとしていない高画質画像データの画素を注目データとして、その注目データ（の画素値）を予測するのに用いる復号画像データの幾つか（の画素）を、予測タップとして抽出する。タップ抽出部１５２も、注目データをクラス分類するのに用いる復号画像データの幾つかを、クラスタップとして抽出する。
【０３２７】
ここで、上述したように、タップ抽出部１５１および１５２には、判定部１２３からミスマッチ情報も供給されるようになっており、タップ抽出部１５１と１５２は、ミスマッチ情報に基づき、予測タップとクラスタップの構造を、それぞれ変更するようになっている。
【０３２８】
即ち、上述したように、判定部１２３（の比較部２３５）からクラス分類適応処理部１３２には、注目ブロックについてのＤＣＴタイプと実特性タイプとのセットが、注目データについてのミスマッチ情報として供給される。
【０３２９】
タップ抽出部１５１は、ミスマッチ情報としての、注目ブロックについてのＤＣＴタイプと実特性タイプとのセットを受信すると、ＭＰＥＧデコーダ２３６から供給される復号画像データから、例えば、図２５に示すようなタップ構造設定テーブルにしたがったタップ構造の予測タップを抽出する。
【０３３０】
即ち、タップ抽出部１５１は、ミスマッチ情報としてのＤＣＴタイプと実特性タイプが、いずれもフィールドＤＣＴモードである場合、後述するフィールドタップのみからなるパターンＡのタップ構造の予測タップを構成する。また、タップ抽出部１５１は、ミスマッチ情報としてのＤＣＴタイプと実特性タイプが、それぞれフィールドＤＣＴモードとフレームＤＣＴモードである場合、フィールドタップの数が、後述するフレームタップの数より多いパターンＢのタップ構造の予測タップを構成する。さらに、タップ抽出部１５１は、ミスマッチ情報としてのＤＣＴタイプと実特性タイプが、それぞれフレームＤＣＴモードとフィールドＤＣＴモードである場合、フレームタップの数が、フィールドタップの数より多いパターンＣのタップ構造の予測タップを構成する。また、タップ抽出部１５１は、ミスマッチ情報としてのＤＣＴタイプと実特性タイプが、いずれもフレームＤＣＴモードである場合、フレームタップのみからなるパターンＤのタップ構造の予測タップを構成する。
【０３３１】
ここで、図２６は、パターンＡ乃至Ｄのタップ構造を示している。なお、図２６において、○印が、復号画像データの画素を表している。また、斜線を付してある○印は、フィールドタップとなっている画素を表し、●印は、フレームタップとなっている画素を表している。
【０３３２】
図２６（Ａ）は、パターンＡのタップ構造を示している。パターンＡのタップ構造は、注目データに対応する復号画像データの画素（以下、適宜、注目画素という）、注目画素の左右それぞれに隣接する２画素、注目画素の上方向に１画素おいて隣接する画素、その画素の左右それぞれに隣接する２画素、注目画素の上方向に３画素おいて隣接する画素、その画素の左右それぞれに隣接する２画素、注目画素の下方向に１画素おいて隣接する画素、その画素の左右それぞれに隣接する２画素、注目画素の下方向に３画素おいて隣接する画素、その画素の左右それぞれに隣接する２画素の合計２５画素で構成される。
【０３３３】
ここで、フィールドタップとは、その上下に隣接する２画素が、いずれもタップ（ここでは、予測タップまたはクラスタップ）となっていない画素を意味する。図２６（Ａ）のパターンＡのタップ構造では、いずれのタップも、その上下に隣接する画素がタップになっていないので、すべてフィールドタップである。
【０３３４】
図２６（Ｂ）は、パターンＢのタップ構造を示している。パターンＢのタップ構造は、注目画素、注目画素の左右それぞれに隣接する２画素、注目画素の上方向に１画素おいて隣接する画素の左右それぞれに隣接する２画素、注目画素の上方向に３画素おいて隣接する画素の左右それぞれに隣接する１画素、注目画素の下方向に１画素おいて隣接する画素の左右それぞれに隣接する２画素、注目画素の下方向に３画素おいて隣接する画素の左右それぞれに隣接する１画素、注目画素の上に隣接する４画素、注目画素の下に隣接する４画素の合計２５画素で構成される。
【０３３５】
ここで、フレームタップとは、その上または下に隣接する画素のうちの少なくとも一方がタップとなっている画素を意味する。図２６（Ｂ）のパターンＢのタップ構造では、注目画素と、注目画素の上下それぞれに隣接する４画素の合計９画素がフレームタップとなっており、残りの１６画素がフィールドタップとなっている。
【０３３６】
図２６（Ｃ）は、パターンＣのタップ構造を示している。パターンＣのタップ構造は、注目画素、注目画素の左右それぞれに隣接する２画素、注目画素の上方向に１画素おいて隣接する画素の左右それぞれに隣接する２画素、注目画素の下方向に１画素おいて隣接する画素の左右それぞれに隣接する２画素、注目画素の上下それぞれに隣接する４画素、注目画素の上に隣接する画素の左右それぞれに隣接する１画素、注目画素の下に隣接する画素の左右それぞれに隣接する１画素の合計２５画素で構成される。
【０３３７】
パターンＣのタップ構造では、注目画素、注目画素の上下それぞれに隣接する４画素、注目画素の左に隣接する画素、その画素の上下それぞれに隣接する２画素、注目画素の右に隣接する画素、その画素の上下それぞれに隣接する２画素の合計１９画素がフレームタップとなっており、残りの６画素がフィールドタップになっている。
【０３３８】
図２６（Ｄ）は、パターンＤのタップ構造を示している。パターンＤのタップ構造は、注目画素を中心として隣接する、横×縦が５×５画素の合計２５画素で構成される。
【０３３９】
パターンＤのタップ構造では、いずれのタップも、その上または下の少なくとも一方の画素がタップとなっているので、すべてフレームタップである。
【０３４０】
タップ抽出部１５１（図１３）は、ミスマッチ情報に基づき、注目データについて、図２６に示したパターンＡ乃至Ｄのうちのいずれかのタップ構造の予測タップを構成する。
【０３４１】
タップ抽出部１５２も、タップ抽出部１５１と同様に、ミスマッチ情報に基づくタップ構造のクラスタップを構成する。
【０３４２】
なお、ここでは、ミスマッチ情報に基づいて、予測タップとして抽出する復号画像データの画素の位置を変更するだけで、予測タップを構成する画素数は、２５画素のまま変更しないようにしたが、タップ抽出部１５１では、ミスマッチ情報に基づいて、予測タップを構成する復号画像データの画素の数を変更するようにすることも可能である。
【０３４３】
また、前処理部１３１のＭＰＥＧデコーダ２３６では、符号化データが、その符号化データに含まれる量子化ＤＣＴ係数以外の動きベクトルや、ＤＣＴタイプ、量子化ステップその他の復号を制御する情報（以下、適宜、復号制御情報という）を用いて、画像に復号されるが、タップ抽出部１５１では、このような復号制御情報も、予測タップに含めることが可能である。さらに、この場合、ミスマッチ情報に基づいて、予測タップとする復号制御情報を変更することも可能である。さらに、タープ抽出部１５１では、符号化データに含まれる量子化ＤＣＴ係数や、その量子化ＤＣＴ係数を逆量子化して得られる２次元ＤＣＴ係数も、予測タップに含めるようにすることが可能である。
【０３４４】
タップ抽出部１５２でも、タップ抽出部１５１における場合と同様にして、クラスタップを構成することができる。
【０３４５】
タップ抽出部１５１で得られた予測タップは、予測部１５４に供給され、タップ抽出部１５２で得られたクラスタップは、クラス分類部１５３に供給される。
【０３４６】
クラス分類部１５３には、クラスタップの他、注目データについてのミスマッチ情報も供給され、クラス分類部１５３では、上述したように、クラスタップとミスマッチ情報に基づき、注目データがクラス分類される。
【０３４７】
即ち、クラス分類部１５３は、例えば、注目データについてのクラスタップに基づき、上述のADRC処理を行うことにより、クラスコード（クラスタップコード）を求める。
【０３４８】
さらに、クラス分類部１５３は、例えば、注目データについてのミスマッチ情報としてのＤＣＴタイプと実特性タイプのセットに基づいて、２ビットのクラスコード（ミスマッチコード）を求める。
【０３４９】
即ち、クラス分類部１５３は、ＤＣＴタイプと実特性タイプが、いずれもフィールドＤＣＴモードの場合には、２ビットのミスマッチコードを、例えば「００」とする。また、クラス分類部１５３は、ＤＣＴタイプと実特性タイプが、それぞれフィールドＤＣＴモードとフレームＤＣＴモードの場合には、２ビットのミスマッチコードを、例えば「０１」とする。さらに、クラス分類部１５３は、ＤＣＴタイプと実特性タイプが、それぞれフレームＤＣＴモードとフィールドＤＣＴモードの場合には、２ビットのミスマッチコードを、例えば「１０」とする。また、クラス分類部１５３は、ＤＣＴタイプと実特性タイプが、いずれもフレームＤＣＴモードの場合には、２ビットのミスマッチコードを、例えば「１１」とする。
【０３５０】
その後、クラス分類部１５３は、例えば、注目データについて得られたクラスタップコードの上位ビットとして、注目データについて得られたミスマッチコードを付加し、このクラスタップコードとミスマッチコードとで構成されるコードを、注目データについての最終的なクラスコードとして出力する。
【０３５１】
なお、クラス分類部１５３では、その他、例えば、復号制御情報にも基づいて、クラス分類を行うようにすることが可能である。
【０３５２】
クラス分類部１５３が出力するクラスコードは、係数メモリ１４１に供給される。係数メモリ１４１では、そのクラスコードに対応するタップ係数が読み出され、予測部１５４に供給される。
【０３５３】
予測部１５４は、タップ抽出部１５１が出力する予測タップと、係数メモリ１４１から取得したタップ係数とを用いて、式（１）に示した線形予測演算を行う。これにより、予測部１５４は、注目データ（の予測値）、即ち、高画質画像データを求め、後処理部１３３に供給する。
【０３５４】
後処理部１３３では、上述したように、クラス分類適応処理部１３２（の予測部１５４）の出力、即ち、高画質画像データが、そのまま出力される。
【０３５５】
なお、図２２の実施の形態では、ブロック特性判定部２３４において、フレームＤＣＴモードとフィールドＤＣＴモードのうちのいずれか一方のみを表す実特性タイプを出力するようにしたが、実特性タイプとしては、その他、例えば、注目ブロックのフレームライン相関とフィールドライン相関を、そのまま用いることも可能である。この場合、比較部２３５においては、注目ブロックのフレームライン相関とフィールドライン相関に基づき、逆ＶＬＣ部２３１が出力する注目ブロックのＤＣＴタイプが、その注目ブロックにとって、どの程度適切であるかを表す評価値を求め、その評価値を、ミスマッチ情報として出力するようにすることが可能である。ここで、注目ブロックのフレームライン相関とフィールドライン相関を、それぞれＦ１とＦ２と表すとすれば、注目ブロックのＤＣＴタイプがフレームＤＣＴモードである場合は、評価値として、例えば、Ｆ１／（Ｆ１＋Ｆ２）を採用し、注目ブロックのＤＣＴタイプがフィールドＤＣＴモードである場合は、評価値として、例えば、Ｆ２／（Ｆ１＋Ｆ２）を採用することが可能である。
【０３５６】
さらに、タップ抽出部１５１や１５２では、ミスマッチ情報としての評価値を、１つ以上の閾値と比較し、その比較結果に基づいて、予測タップやクラスタップのタップ構造を変更するようにすることが可能である。
【０３５７】
また、クラス分類部１５３では、ミスマッチ情報としての評価値を量子化し、その量子化値を、ミスマッチコードとして用いることが可能である。
【０３５８】
さらに、図２２の実施の形態では、注目ブロックのフレームライン相関とフィールドライン相関から、その注目ブロックの実特性タイプを決定するようにしたが、注目ブロックの実特性タイプは、その他、例えば、注目ブロックの周辺のブロックにも基づいて決定することが可能である。即ち、注目ブロックの最終的な実特性タイプは、例えば、注目ブロックのフレームライン相関とフィールドライン相関から決定される実特性タイプと、注目ブロックに隣接する１以上のブロックのフレームライン相関とフィールドライン相関から決定される、それぞれのブロックの実特性タイプとの多数決によって決定することが可能である。
【０３５９】
次に、図２２の実施の形態では、実特性抽出部１２２において、符号化データをＭＰＥＧ方式で復号し、その結果得られる復号画像データから、フレームライン相関とフィールドライン相関を求め、判定部１２３において、そのフレームライン相関とフィールドライン相関から、実特性タイプを求めるようにしたが、判定部１２３では、その他、例えば、符号化データに含まれる２次元ＤＣＴ係数から、実特性タイプを求めることが可能である。
【０３６０】
即ち、実特性抽出部１２２では、例えば、図２７に示すように、符号化データから得られるブロックの２次元ＤＣＴ係数のうちの、水平の横縞を基底とするもの、つまり、ブロックの左端の、ＤＣ(Direct Current)係数を除く７個の２次元ＤＣＴ係数（以下、適宜、横縞２次元ＤＣＴ係数という）（図２７において、斜線を付して示す部分）を実特性として求め、判定部１２３では、その実特性としての横縞２次元ＤＣＴ係数に基づいて、実特性タイプを求めることが可能である。
【０３６１】
また、実特性抽出部１２２では、例えば、符号化データから得られるブロックの２次元ＤＣＴ係数のうちの、任意の横縞２次元ＤＣＴ係数と、横縞２次元ＤＣＴ係数を除く任意のＡＣ(Alternating Current)係数との差（以下、適宜、係数差分という）、または任意の横縞２次元ＤＣＴ係数のパワー（例えば、２次元ＤＣＴ係数を２乗したもの）と、横縞２次元ＤＣＴ係数を除く任意のＡＣ係数のパワーとの差（以下、適宜、パワー差分という）を求め、判定部１２３では、その係数差分またはパワー差分に基づいて、実特性タイプを求めることが可能である。
【０３６２】
そこで、図２８は、係数差分またはパワー差分を完特性タイプとして求める実特性抽出部１２２の構成例を示している。
【０３６３】
符号化データは、逆ＶＬＣ部２５１とＭＰＥＧデコーダ２５４に供給される。
【０３６４】
逆ＶＬＣ部２５１は、符号化データに含まれる量子化ＤＣＴ係数のＶＬＣコード、量子化ステップ、動きベクトル、その他の情報を分離する。そして、逆ＶＬＣ部２５１は、量子化ＤＣＴ係数のＶＬＣコードを逆ＶＬＣ処理することで、量子化ＤＣＴ係数に復号し、逆量子化部２５２に供給する。さらに、逆ＶＬＣ部２５１は、量子化ステップを、逆量子化部２５２に、動きベクトルを、動き補償部２５６に、それぞれ供給する。
【０３６５】
逆量子化部２５２は、逆ＶＬＣ部２５１から供給される量子化ＤＣＴ係数を、同じく逆ＶＬＣ部２５１から供給される量子化ステップで逆量子化し、その結果得られる８×８画素のブロックの２次元ＤＣＴ係数を、演算部２５３に供給する。
【０３６６】
一方、ＭＰＥＧデコーダ２５４では、符号化データが、ＭＰＥＧ方式で符号化され、復号画像データが出力される。ＭＰＥＧデコーダ２５４が出力する復号画像のうち、参照画像とされ得るＩピクチャとＰピクチャは、メモリ２５５に供給されて記憶される。
【０３６７】
そして、動き補償部２５６は、メモリ２５５に記憶された参照画像を読み出し、その参照画像に対して、逆ＶＬＣ部２５１から供給される動きベクトルにしたがい、動き補償を施すことで、逆量子化部２５２から演算部２５３に供給されたブロックの予測画像を生成し、ＤＣＴ変換部２５７に供給する。ＤＣＴ変換部２５７は、動き補償部２５６から供給される予測画像を２次元ＤＣＴ変換し、その結果得られる２次元ＤＣＴ係数を、演算部２５３に供給する。
【０３６８】
演算部２５３は、逆量子化部２５２から供給されるブロックの各２次元ＤＣＴ係数と、ＤＣＴ変換部２５７から供給される、対応する２次元ＤＣＴ係数とを、必要に応じて加算することで、そのブロックの画素値を２次元ＤＣＴ変換した２次元ＤＣＴ係数を求める。
【０３６９】
即ち、逆量子化部２５２から供給されるブロックがイントラ符号化されているものである場合、逆量子化部２５２から供給されるブロックの２次元ＤＣＴ係数は、元の画素値を２次元ＤＣＴ変換したものとなっているから、演算部２５３は、逆量子化部２５２から供給されるブロックの２次元ＤＣＴ係数を、そのまま出力する。
【０３７０】
また、逆量子化部２５２から供給されるブロックがノンイントラ符号化されているものである場合、逆量子化部２５２から供給されるブロックの２次元ＤＣＴ係数は、元の画素値と予測画像との差分値（残差画像）を２次元ＤＣＴ変換したものとなっているから、演算部２５３は、逆量子化部２５２から供給されるブロックの各ＤＣＴ係数と、ＤＣＴ変換部２５７から供給される、予測画像を２次元ＤＣＴ変換して得られる２次元ＤＣＴ係数の対応するものとを加算することにより、元の画素値を２次元ＤＣＴ変換して得られる２次元ＤＣＴ係数を求めて出力する。
【０３７１】
演算部２５３が出力するブロックの２次元ＤＣＴ係数は、ＤＣＴ係数差分演算部２５８に供給される。
【０３７２】
ＤＣＴ係数差分演算部２５８では、ブロックの２次元ＤＣＴ係数を用いて、上述したような係数差分やパワー差分が求められ、実特性として、判定部１２３に供給される。
【０３７３】
なお、この場合、判定部１２３では、例えば、注目ブロックの係数差分またはパワー差分を参照することにより、その係数差分またはパワー差分を求めるのに用いられた横縞２次元ＤＣＴ係数とＡＣ係数の大小関係が判定される。さらに、判定部１２３では、例えば、注目ブロックの係数差分またはパワー差分を求めるのに用いられた横縞２次元ＤＣＴ係数が、ＡＣ係数より小さい（または以下である）場合、実特性タイプがフィールドＤＣＴモードであると認識され、横縞２次元ＤＣＴ係数が、ＡＣ係数より小さくない場合は、実特性タイプがフレームＤＣＴモードであると認識される。なお、注目ブロックの係数差分またはパワー差分を求めるのに用いられた横縞２次元ＤＣＴ係数が、ＡＣ係数より小さい場合には、その注目ブロックの画像が、フィールドＤＣＴモードで符号化すべきものであることを表す他、横縞の多い画像であることも表す。
【０３７４】
ここで、判定部１２３では、係数差分またはパワー差分、さらには、その係数差分またはパワー差分を求めるのに用いられた２次元ＤＣＴ係数を、ミスマッチ情報に含めて出力するようにすることが可能である。そして、この場合、例えば、クラス分類適応処理部１３２（図１３）では、タップ抽出部１５１と１５２それぞれにおいて、ミスマッチ情報に含まれる係数差分またはパワー差分や、２次元ＤＣＴ係数にも基づいて、予測タップとクラスタップのタップ構造を変更し、さらに、クラス分類部１５３においても、ミスマッチ情報に含まれる係数差分またはパワー差分や、２次元ＤＣＴ係数にも基づいて、クラス分類を行うようにすることが可能である。
【０３７５】
次に、注目ブロックのフレームライン相関とフィールドライン相関は、その他、例えば、注目ブロックの１次元ＤＣＴ係数から求めることも可能である。
【０３７６】
ここで、図２９および図３０を参照して、１次元ＤＣＴ係数について説明する。
【０３７７】
ＭＰＥＧやＪＰＥＧ(Joint Photographic Experts Group)等のＤＣＴ変換を利用した画像の符号化方式では、画像データが、水平方向および垂直方向の２次元のＤＣＴ変換（２次元ＤＣＴ変換）／逆ＤＣＴ変換（２次元逆ＤＣＴ変換）が行われる。
【０３７８】
図２９（Ａ）に示すような８×８画素のブロックにおける画素値を、８行×８列の行列Ｘで表すとともに、図２９（Ｂ）に示すような８×８のブロックにおける２次元ＤＣＴ係数を、８行×８列の行列Ｆで表すこととすると、２次元ＤＣＴ変換／２次元逆ＤＣＴ変換は、次式で表すことができる。
【０３７９】
ＣＸＣT＝Ｆ
・・・（１６）
ＣTＦＣ＝Ｘ
・・・（１７）
【０３８０】
ここで、上付のＴは、転置を表す。また、Ｃは、８行×８列のＤＣＴ変換行列で、その第ｉ＋１行第ｊ＋１列のコンポーネントｃijは、次式で表される。
【０３８１】
ｃij＝Ａi×ｃｏｓ（（２ｊ＋１）×ｉ×π／１６）
・・・（１８）
【０３８２】
但し、式（１８）において、ｉ＝０のときは、Ａi＝１／（２√２）であり、ｉ≠０のときは、Ａi＝１／２である。また、ｉとｊは、０乃至７の範囲の整数値である。
【０３８３】
式（１６）は、画素値Ｘを、２次元ＤＣＴ係数Ｆに変換する２次元ＤＣＴ変換を表し、式（１７）は、２次元ＤＣＴ係数Ｆを、画素値Ｘに変換する２次元逆ＤＣＴ変換を表す。
【０３８４】
従って、式（１７）によれば、２次元ＤＣＴ係数Ｆは、その左側から行列ＣTをかけるとともに、その右側から行列Ｃをかけることにより、画素値Ｘに変換されるが、２次元ＤＣＴ係数Ｆに対して、その左側から行列ＣTをかけるだけか、または、その右側から行列Ｃをかけるだけかすることで、１次元ＤＣＴ係数を求めることができる。
【０３８５】
即ち、２次元ＤＣＴ係数Ｆに対して、その左側から行列ＣTだけをかける場合、図２９（Ｃ）に示すように、２次元ＤＣＴ係数Ｆにおける垂直方向が空間領域に変換され、水平方向が周波数領域のままとされる垂直１次元逆ＤＣＴ変換が行われることとなり、その結果、水平方向の空間周波数成分を表す水平１次元ＤＣＴ係数ｖＸｈＦを得ることができる。
【０３８６】
また、２次元ＤＣＴ係数Ｆに対して、その右側から行列Ｃだけをかける場合、図２９（Ｄ）に示すように、２次元ＤＣＴ係数Ｆにおける水平方向が空間領域に変換され、垂直方向が周波数領域のままとされる水平１次元逆ＤＣＴ変換が行われることとなり、その結果、垂直方向の空間周波数成分を表す垂直１次元ＤＣＴ係数ｈＸｖＦを得ることができる。
【０３８７】
なお、横×縦が８×８の２次元ＤＣＴ係数Ｆを、垂直１次元逆ＤＣＴ変換した場合には、８×１の水平１次元ＤＣＴ係数が、８セット（８行分）得られることになる（図２９（Ｃ））。また、２次元ＤＣＴ係数Ｆを、水平１次元逆ＤＣＴ変換した場合には、１×８の垂直１次元ＤＣＴ係数が、８セット（８列分）得られることになる（図２９（Ｄ））。
【０３８８】
そして、ある行における８×１の水平１次元ＤＣＴ係数については、その左端のＤＣＴ係数が、その行の８画素の画素値の直流成分（ＤＣ成分）（８画素の画素値の平均値）を表し、他の７つのＤＣＴ係数が、その行の水平方向の交流成分を表す。また、ある列における１×８の垂直１次元ＤＣＴ係数については、その最上行のＤＣＴ係数が、その列の８画素の画素値の直流成分を表し、他の７つのＤＣＴ係数が、その列の垂直方向の交流成分を表す。
【０３８９】
ここで、式（１６）によれば、水平１次元ＤＣＴ係数は、２次元ＤＣＴ係数Ｆに対応する画素値Ｘに対して、その右側から行列ＣTをかける水平１次元ＤＣＴ変換を行うことによっても求めることができる。また、垂直１次元ＤＣＴ係数は、２次元ＤＣＴ係数Ｆに対応する画素値Ｘに対して、その左側から行列Ｃをかける垂直１次元ＤＣＴ変換を行うことによっても求めることができる。
【０３９０】
図３０は、実際の画像と、その画像についての２次元ＤＣＴ係数、水平１次元ＤＣＴ係数、および垂直１次元ＤＣＴ係数を示している。
【０３９１】
なお、図３０は、８×８ブロックの画像と、その画像についての２次元ＤＣＴ係数、水平１次元ＤＣＴ係数、および垂直１次元ＤＣＴ係数を示している。また、図３０（Ａ）が、実際の画像を、図３０（Ｂ）が、２次元ＤＣＴ係数を、図３０（Ｃ）が、水平１次元ＤＣＴ係数を、図３０（Ｄ）が、垂直１次元ＤＣＴ係数を、それぞれ示している。
【０３９２】
ここで、図３０（Ａ）の画像は、８ビットの画素値を有するものであり、そのような画素値から求められるＤＣＴ係数は、負の値も取り得る。但し、図３０（Ｂ）乃至図３０（Ｄ）の実施の形態では、求められたＤＣＴ係数に対して、１２８（＝２7）を加算し、その加算値が０未満となるものは０にクリップするとともに、加算値が２５６以上となるものは２５５にクリップすることにより、０乃至２５５の範囲のＤＣＴ係数を、図示してある。
【０３９３】
２次元ＤＣＴ係数には、８×８画素のブロック全体の情報が反映されているため、２次元ＤＣＴ係数からでは、ブロック内の特定の画素の情報等の局所的な情報を把握するのは困難である。これに対して、水平１次元ＤＣＴ係数または垂直１次元ＤＣＴ係数には、ブロックのある１行または１列だけの情報が、それぞれ反映されているため、２次元ＤＣＴ係数に比較して、ブロック内の局所的な情報を容易に把握することができる。
【０３９４】
即ち、ブロックのある行の特徴は、その行の８×１の水平１次元ＤＣＴ係数から把握することができ、ある列の特徴は、その列の１×８の垂直１次元ＤＣＴ係数から把握することができる。さらに、ブロックのある画素の特徴は、その画素が位置する行の８×１の水平１次元ＤＣＴ係数と、その画素が位置する列の１×８の垂直１次元ＤＣＴ係数とから把握することができる。
【０３９５】
また、左右に隣接するブロックどうしの境界の状態は、ブロック全体の情報が反映された２次元ＤＣＴ係数よりも、ブロックの境界部分の垂直方向の空間周波数成分を表す垂直１次元ＤＣＴ係数を用いた方が、より正確に把握することができる。さらに、上下に隣接するブロックどうしの境界の状態も、ブロック全体の情報が反映された２次元ＤＣＴ係数よりも、ブロックの境界部分の水平方向の空間周波数成分を表す水平１次元ＤＣＴ係数を用いた方が、より正確に把握することができる。
【０３９６】
実特性抽出部１２２において、上述のような１次元ＤＣＴ係数を用いた注目ブロックのフレームライン相関とフィールドライン相関の演算は、例えば、次のように行われる。
【０３９７】
即ち、実特性抽出部１２２は、図３１に示すように、ブロックにおける隣接する第ｉライン（上からｉ番目のライン）と第ｉ＋１ラインとの間の相関Ｑ（ｉ，ｉ＋１）を、例えば、次式にしたがって求める。
【０３９８】
Ｑ（ｉ，ｉ＋１）＝１／（Σ（ｄH（ｉ，ｊ）−ｄH（ｉ＋１，ｊ））
・・・（１９）
【０３９９】
但し、ｄH（ｉ，ｊ）は、第ｉラインの左からｊ番目（第ｊ列）の水平１次元ＤＣＴ係数を表す。また、Σは、ｊを１乃至８に変えてのサメーションを表す。
【０４００】
そして、実特性抽出部１２２は、例えば、相関Ｑ（ｉ，ｉ＋１）の平均値（（Ｑ（１，２）＋Ｑ（２，３）＋Ｑ（３，４）＋Ｑ（４，５）＋Ｑ（５，６）＋Ｑ（６，７）＋Ｑ（７，８））／７）を求め、この平均値を、フレームライン相関として出力する。
【０４０１】
また、実特性抽出部１２２は、図３１に示すように、ブロックにおける１ラインおきに隣接する第ｉラインと第ｉ＋２ラインとの間の相関Ｑ（ｉ，ｉ＋２）を、例えば、式（１９）にしたがって求める。
【０４０２】
そして、実特性抽出部１２２は、例えば、相関Ｑ（ｉ，ｉ＋２）の平均値（（Ｑ（１，３）＋Ｑ（２，４）＋Ｑ（３，５）＋Ｑ（４，６）＋Ｑ（５，７）＋Ｑ（６，８））／６）を求め、この平均値を、フィールドライン相関として出力する。
【０４０３】
次に、図３２は、上述のように、１次元ＤＣＴ係数を用いてフレームライン相関とフィールドライン相関を求める実特性抽出部１２２の構成例を示している。なお、図中、図２８における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図３２の実特性抽出部１２２は、ＤＣＴ係数差分演算部２５８に代えて、垂直１次元逆ＤＣＴ変換部２６１および相関演算部２６２が設けられている他は、図２８における場合と同様に構成されている。
【０４０４】
垂直１次元逆ＤＣＴ変換部２６１には、演算部２５３が出力するブロックの２次元ＤＣＴ係数が供給されるようになっている。垂直１次元逆ＤＣＴ変換部２６１は、演算部２５３からの２次元ＤＣＴ係数のブロックを、垂直１次元逆ＤＣＴ変換することにより、水平１次元ＤＣＴ係数のブロックを求め、相関演算部２６２に供給する。相関演算部２６２は、垂直１次元逆ＤＣＴ変換部２６１からの水平１次元ＤＣＴ係数から、図３１で説明したように、フレームライン相関とフィールドライン相関を求めて出力する。
【０４０５】
なお、図２８や図３２の実施の形態では、ＭＰＥＧデコーダ２５４が出力する復号画像データから予測画像を生成して、その予測画像を２次元ＤＣＴ係数に変換し、演算部２５３において、符号化データから得られる残差画像の２次元ＤＣＴ係数と、予測画像の２次元ＤＣＴ係数とを加算することにより、元の画像の２次元ＤＣＴ係数を求めるようにしたが、実特性抽出部１２２では、その他、例えば、ＭＰＥＧデコーダ２５４が出力する復号画像データを２次元ＤＣＴ変換し、その結果得られる２次元ＤＣＴ係数を、元の画像の２次元ＤＣＴ係数として用い、図２８のＤＣＴ係数差分演算部２５８や図３２の垂直１次元ＤＣＴ逆ＤＣＴ変換部２６１において、処理を行うことが可能である。
【０４０６】
また、図２８や図３２の実特性抽出部１２２では、ＤＣＴ係数差分演算部２５８や垂直１次元逆ＤＣＴ変換部２６１において、演算部２５３が出力する元の画像の２次元ＤＣＴ係数ではなく、符号化データから得られる残差画像の２次元ＤＣＴ係数（逆量子化部２５２の出力）を用いて処理を行うようにすることが可能である。
【０４０７】
次に、図３３は、図２２の係数メモリ１４１に記憶させるタップ係数を学習する場合の、図１５の学習装置の詳細構成例を示している。
【０４０８】
図３３の実施の形態では、学習用データ記憶部１１に、学習用データとして、高画質の画像データ（学習用画像データ）が記憶されている。
【０４０９】
図３３の実施の形態において、符号化部１２は、ＭＰＥＧエンコーダ２７１で構成されており、ＭＰＥＧエンコーダ２７１は、学習用データ記憶部１１から学習用画像データを読み出して、ＭＰＥＧ２方式で符号化し、その結果られる符号化データを出力する。
【０４１０】
即ち、図３４は、図３３のＭＰＥＧエンコーダ２７１の構成例を示している。
【０４１１】
学習用画像データは、動きベクトル検出部３２１と演算部３２３に供給される。動きベクトル検出部３２１は、学習用画像データを対象に、例えば、ブロックマッチングを行うことにより、学習用画像データの動きベクトルを検出し、動き補償部３２２に供給する。
【０４１２】
また、演算部３２３は、必要に応じて、学習用画像データ（原画像）から、動き補償部３２２から供給される予測画像を減算し、その結果得られる残差画像を、ＤＣＴ変換部３２４に供給する。ＤＣＴ変換部３２４は、演算部３２３からの残差画像を２次元ＤＣＴ変換し、その結果得られる２次元ＤＣＴ係数を、量子化部３２５に供給する。量子化部３２５は、ＤＣＴ変換部３２４から供給される２次元ＤＣＴ係数を、所定の量子化ステップで量子化することにより、量子化ＤＣＴ係数を得て、ＶＬＣ部３２６および逆量子化部３２７に供給する。
【０４１３】
ＶＬＣ部３２６は、量子化部３２５から供給される量子化ＤＣＴ係数をＶＬＣコードに可変長符号化し、さらに、必要な復号制御情報（例えば、動きベクトル検出部３２１で検出された動きベクトルや、量子化部３２５で用いられた量子化ステップなど）を多重化することで、符号化データを得て出力する。
【０４１４】
一方、逆量子化部３２７では、量子化部３２５が出力する量子化ＤＣＴ係数が逆量子化され、２次元ＤＣＴ係数が求められて、逆ＤＣＴ変換部３２８に供給される。逆ＤＣＴ変換部３２８は、逆量子化部３２７からの２次元ＤＣＴ係数を、２次元逆ＤＣＴ変換することにより、残差画像に復号し、演算部３２９に供給する。
【０４１５】
演算部３２９には、逆ＤＣＴ変換部３２８から、残差画像が供給される他、動き補償部３２２から、その残差画像を求めるのに演算部３２３で用いられたのと同一の予測画像が供給されるようになっており、演算部３２９は、残差画像と予測画像とを加算することで、元の画像を復号（ローカルデコード）する。この復号画像は、メモリ３３０に供給され、参照画像として記憶される。
【０４１６】
そして、動き補償部３２２では、メモリ３３０に記憶された参照画像が読み出され、動きベクトル検出部３２１から供給される動きベクトルにしたがって動き補償が施されることにより、予測画像が生成される。この予測画像は、動き補償部３２２から演算部３２３および３２９に供給される。
【０４１７】
上述したように、演算部３２３では、動き補償部３２２からの予測画像を用いて、残差画像が求められ、また、演算部３２９では、動き補償部３２２からの予測画像を用いて、元の画像が復号される。
【０４１８】
図３３に戻り、ＭＰＥＧデコーダ２７１が出力する符号化データは、符号化特性情報抽出部１７１および実特性抽出部１７２に供給される。
【０４１９】
符号化特性情報抽出部１７１は、逆ＶＬＣ部２７２で構成されており、実特性抽出部１７２は、ＭＰＥＧデコーダ２７３および相関演算部２７４で構成されている。逆ＶＬＣ部２７２、ＭＰＥＧデコーダ２７３、または相関演算部２７４は、図２２の逆ＶＬＣ部２３１、ＭＰＥＧデコーダ２３２、または相関演算部２３３とそれぞれ同様の処理を行い、これにより、逆ＶＬＣ部２７２は、注目ブロックのＤＣＴタイプを、相関演算部２７４は、注目ブロックのフレームライン相関およびフィールドライン相関を、それぞれ、判定部１７３に供給する。
【０４２０】
判定部１７３は、ブロック特性判定部２７５および比較部２７６で構成されており、ブロック特性判定部２７５と比較部２７６では、そこに供給される注目ブロックのＤＣＴタイプとフレームライン相関およびフィールドライン相関を用いて、図２２のブロック特性判定部２３４と比較部２３５における場合とそれぞれ同様の処理が行われることにより、適応学習部１６０において注目教師データとされている教師データについてのミスマッチ情報が生成される。このミスマッチ情報は、比較部２７６から適応学習部１６０に供給される。
【０４２１】
なお、図２２の復号装置における符号化特性情報抽出部１２１、実特性抽出部１２２、および判定部１２３において、図２７乃至図３２で説明したようにして、ミスマッチ情報が求められる場合には、図３３の学習装置における符号化特性情報抽出部１７１、実特性抽出部１７２、および判定部１７３でも、同様にして、ミスマッチ情報が求められる。
【０４２２】
逆後処理部１６１Ａは、学習用データ記憶部１１から学習用画像データを読み出し、そのまま、教師データとして、適応学習部１６０に出力する。適応学習部１６０（図１５）では、教師データ記憶部１６２において、後処理部１６１Ａからの教師データが記憶される。
【０４２３】
符号化部１６３Ａは、ＭＰＥＧエンコーダ２７７で構成され、ＭＰＥＧエンコーダ２７７は、ＭＰＥＧエンコーダ２７１と同様に、学習用データ記憶部１１から学習用画像データを読み出して、ＭＰＥＧ２方式で符号化し、その結果得られる符号化データを、前処理部１６３Ｂに出力する。
【０４２４】
前処理部１６３Ｂは、図２３のＭＰＥＧデコーダ２３２と同様に構成されるＭＰＥＧデコーダ２７８で構成され、ＭＰＥＧデコーダ２７８は、ＭＰＥＧエンコーダ２７７からの符号化データを、ＭＰＥＧ２方式で復号し、その結果得られる復号画像データを、生徒データとして、適応学習部１６０に出力する。適応学習部１６０（図１５）では、生徒データ記憶部１６４において、ＭＰＥＧデコーダ２７８からの生徒データが記憶される。
【０４２５】
そして、適応学習部１６０では、教師データおよび生徒データを用い、生徒データから抽出される予測タップとタップ係数から、式（１）の線形予測演算を行うことにより得られる教師データの予測値の予測誤差を統計的に最小にするタップ係数を求める学習が行われる。
【０４２６】
即ち、適応学習部１６０（図１５）では、タップ抽出部１６５が、教師データ記憶部１６２に記憶された教師データのうち、まだ、注目教師データとしていないものを、注目教師データとし、注目教師データについて、生徒データ記憶部１６４に記憶された生徒データから予測タップを構成して、足し込み部１６８に供給する。さらに、タップ抽出部１６６が、注目教師データについて、生徒データ記憶部１６４に記憶された生徒データからクラスタップを構成し、クラス分類部１６７に供給する。
【０４２７】
ここで、タップ抽出部１６５および１６６には、ミスマッチ情報が供給されるようになっており、タップ抽出部１６５または１６６では、ミスマッチ情報に基づき、注目教師データについて、図２２で説明したクラス分類適応処理部１３２のタップ抽出部１５１または１５２（図１３）が構成するのと同一のタップ構造の予測タップまたはクラスタップを構成する。
【０４２８】
従って、例えば、タップ抽出部１５１または１５２において、図２２で説明したように、復号制御情報をも用いて、予測タップまたはクラスタップがそれぞれ構成される場合には、図３３の学習装置でも、タップ抽出部１６５または１６６（図１５）において、復号制御情報をも用いて、予測タップまたはクラスタップがそれぞれ構成される。
【０４２９】
その後、クラス分類部１６７（図１５）では、注目教師データについてのクラスタップとミスマッチ情報に基づき、注目教師データについて、図２２で説明したクラス分類部１５３における場合と同様のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部１６８に出力する。
【０４３０】
足し込み部１６８は、教師データ記憶部１６２から注目教師データを読み出し、その注目教師データと、タップ抽出部１６５からの予測タップを用い、式（８）の行列Ａとベクトルｖのコンポーネントを計算する。さらに、足し込み部１６８は、既に得られている行列Ａとベクトルｖのコンポーネントのうち、クラス分類部１６７からのクラスコードに対応するものに対して、注目教師データと予測タップから求められた行列Ａとベクトルｖのコンポーネントを足し込む。
【０４３１】
以上の処理が、教師データ記憶部１６２に記憶された教師データすべてを、注目教師データとして行われると、足し込み部１６８は、いままでの処理によって得られたクラスごとの行列Ａおよびベクトルｖのコンポーネントで構成される式（８）の正規方程式を、タップ係数算出部１６９に供給し、タップ係数算出部１６９は、その各クラスごとの正規方程式を解くことにより、各クラスごとに、タップ係数を求めて出力する。
【０４３２】
なお、図３３の学習装置では、例えば、符号化部１６３ＡのＭＰＥＧエンコーダ２７７において学習用画像データをＭＰＥＧ符号化する前に、その学習用画像データの画素数を，１／Ｎに間引くようにすることで、適応学習部１６０において、ＭＰＥＧ復号された画像データを、高画質で、かつ画素数をＮ倍にする（解像度を高くする）タップ係数を得ることができる。
【０４３３】
次に、図３５は、符号化データが画像データをＭＰＥＧ２方式で符号化したものである場合の、図１２の復号装置の第２の詳細構成例を示している。なお、図中、図２２における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０４３４】
図３５の実施の形態では、前処理部１３１が、逆ＶＬＣ部２８１、逆量子化部２８２、演算部２８３、ＭＰＥＧデコーダ２８４、メモリ２８５、動き補償部２８６、およびＤＣＴ変換部２８７で構成されている。
【０４３５】
逆ＶＬＣ部２８１、逆量子化部２８２、演算部２８３、ＭＰＥＧデコーダ２８４、メモリ２８５、動き補償部２８６、またはＤＣＴ変換部２８７は、図２８の逆ＶＬＣ部２５１、逆量子化部２５２、演算部２５３、ＭＰＥＧデコーダ２５４、メモリ２５５、動き補償部２５６、またはＤＣＴ変換部２５７とそれぞれ同様に構成されるもので、前処理部１３１に供給される符号化データに対して、図２８で説明した場合と同様の処理を施し、これにより、前処理部１３１では、元の画像の２次元ＤＣＴ係数が求められ、前処理データとして、クラス分類適応処理部１３２に供給される。
【０４３６】
クラス分類適応処理部１３２では、前処理部１３１が出力する２次元ＤＣＴ係数を対象に、クラス分類適応処理が行われ、これにより、高画質画像データ（の予測値）が、適応処理データとして求められる。
【０４３７】
即ち、クラス分類適応処理部１３２（図１３）では、前処理部１３１が出力する２次元ＤＣＴ係数が、タップ抽出部１５１と１５２に供給される。
【０４３８】
タップ抽出部１５１は、まだ、注目データとしていない高画質画像データの画素を注目データとして、その注目データを予測するのに用いる前処理データとしての２次元ＤＣＴ係数の幾つかを、予測タップとして抽出する。タップ抽出部１５２も、注目データをクラス分類するのに用いる前処理データとしての２次元ＤＣＴ係数の幾つかを、クラスタップとして抽出する。
【０４３９】
なお、タップ抽出部１５１または１５２は、注目データについてのミスマッチ情報に基づいて、予測タップまたはクラスタップのタップ構造を、それぞれ変更する。
【０４４０】
即ち、タップ抽出部１５１は、例えば、注目データのブロック（注目ブロック）の２次元ＤＣＴ係数すべての他、注目ブロックの上下左右それぞれに隣接するブロックにおける２次元ＤＣＴ係数を、ミスマッチ情報に応じて抽出して、予測タップを構成する。タップ抽出部１５１も、タップ抽出部１５１と同様にして、クラスタップを構成する。
【０４４１】
そして、タップ抽出部１５１で得られた予測タップは、予測部１５４に供給され、タップ抽出部１５２で得られたクラスタップは、クラス分類部１５３に供給される。
【０４４２】
クラス分類部１５３では、クラスタップと、注目データについてのミスマッチ情報に基づき、図２２で説明した場合と同様にして、注目データがクラス分類され、注目データについてのクラスコードが、係数メモリ１４１に供給される。係数メモリ１４１では、注目データについてのクラスコードに対応するタップ係数が読み出され、予測部１５４に供給される。
【０４４３】
予測部１５４は、タップ抽出部１５１が出力する予測タップと、係数メモリ１４１から取得したタップ係数とを用いて、式（１）に示した線形予測演算を行う。これにより、予測部１５４は、注目データ（の予測値）、即ち、高画質画像データを求め、後処理部１３３に供給する。
【０４４４】
後処理部１３３では、クラス分類適応処理部１３２からの高画質画像データが、そのまま出力される。
【０４４５】
従って、図３５の実施の形態では、クラス分類適応処理部１３２において、２次元ＤＣＴ係数が高画質画像データに変換される。
【０４４６】
次に、図３６は、図３５の復号装置の係数メモリ１４１に記憶させるタップ係数を学習する場合の、図１５の学習装置の詳細構成例を示している。なお、図中、図３３における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０４４７】
図３６の実施の形態では、前処理部１６３Ｂが、逆ＶＬＣ部２９１、逆量子化部２９２、演算部２９３、ＭＰＥＧデコーダ２９４、メモリ２９５、動き補償部２９６、およびＤＣＴ変換部２９７で構成されており、これらの逆ＶＬＣ部２９１乃至ＤＣＴ変換部２９７は、図３５の逆ＶＬＣ部２８１乃至ＤＣＴ変換部２８７とそれぞれ同様に構成されている。
【０４４８】
従って、前処理部１６３Ｂでは、符号化部１６３ＡのＭＰＥＧエンコーダ２７７が出力する符号化データに対して、図３５の前処理部１３１における場合と同様の処理が施され、これにより得られる２次元ＤＣＴ係数が、生徒データとして、適応学習部１６０に供給される。
【０４４９】
適応学習部１６０（図１５）では、生徒データ記憶部１６４において、前処理部１６３Ｂから供給される２次元ＤＣＴ係数が、生徒データとして記憶され、図３３で説明した場合と同様に、教師データおよび生徒データを用い、生徒データから抽出される予測タップとタップ係数から、式（１）の線形予測演算を行うことにより得られる教師データの予測値の予測誤差を統計的に最小にするタップ係数を求める学習が行われ、これにより、生徒データとしての２次元ＤＣＴ係数を、高画質画像データに変換するクラスごとのタップ係数が求められる。
【０４５０】
但し、図３６の実施の形態において、適応学習部１６０（図１５）では、そのタップ抽出部１６５または１６６それぞれにおいて、図３５のクラス分類適応処理部１３２（図１３）におけるタップ抽出部１５１または１５２が構成するのと同一のタップ構造の予測タップまたはクラスタップが、ミスマッチ情報に基づいて構成される。さらに、図３６の適応学習部１６０（図１５）におけるクラス分類部１６７でも、図３５のクラス分類適応処理部１３２（図１３）におけるクラス分類部１５３と同様のクラス分類が行われる。
【０４５１】
次に、図３７は、符号化データが画像データをＭＰＥＧ２方式で符号化したものである場合の、図１２の復号装置の第３の詳細構成例を示している。なお、図中、図３５における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０４５２】
図３７の復号装置は、後処理部１３３が、逆ＤＣＴ変換部３０１で構成されていることを除いて、図３５における場合と同様に構成されている。
【０４５３】
図３７の実施の形態では、クラス分類適応処理部１３２において、前処理部１３１が出力する２次元ＤＣＴ係数を対象に、クラス分類適応処理が行われ、これにより、２次元逆ＤＣＴ変換を行った場合に、高画質画像データを得ることのできる２次元ＤＣＴ係数（以下、適宜、高画質２次元ＤＣＴ係数という）（の予測値）が、適応処理データとして求められる。
【０４５４】
即ち、クラス分類適応処理部１３２（図１３）では、前処理部１３１が出力する前処理データとしての２次元ＤＣＴ係数が、タップ抽出部１５１と１５２に供給される。
【０４５５】
タップ抽出部１５１は、まだ、注目データとしていない高画質２次元ＤＣＴ係数を注目データとして、その注目データを予測するのに用いる前処理データとしての２次元ＤＣＴ係数の幾つかを、予測タップとして抽出する。即ち、タップ抽出部１５１は、ミスマッチ情報に基づき、注目データについて、図３５における場合と同様のタップ構造の予測タップを構成する。タップ抽出部１５２も、ミスマッチ情報に基づき、注目データについて、図３５における場合と同様のタップ構造のクラスタップを構成する。
【０４５６】
そして、タップ抽出部１５１で得られた予測タップは、予測部１５４に供給され、タップ抽出部１５２で得られたクラスタップは、クラス分類部１５３に供給される。
【０４５７】
クラス分類部１５３では、クラスタップと、注目データについてのミスマッチ情報に基づき、図３５における場合と同様にして、注目データがクラス分類され、注目データについてのクラスコードが、係数メモリ１４１に供給される。係数メモリ１４１では、注目データについてのクラスコードに対応するタップ係数が読み出され、予測部１５４に供給される。
【０４５８】
予測部１５４は、タップ抽出部１５１が出力する予測タップと、係数メモリ１４１から取得したタップ係数とを用いて、式（１）に示した線形予測演算を行う。これにより、予測部１５４は、注目データ（の予測値）、即ち、高画質２次元ＤＣＴ係数を求め、後処理部１３３に供給する。
【０４５９】
後処理部１３３では、逆ＤＣＴ変換部３０１において、クラス分類適応処理部１３２が出力する高画質２次元ＤＣＴ係数が、２次元逆ＤＣＴ変換され、これにより、高画質画像データが求められて出力される。
【０４６０】
次に、図３８は、図３７の復号装置の係数メモリ１４１に記憶させるタップ係数を学習する場合の、図１５の学習装置の詳細構成例を示している。なお、図中、図３６における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０４６１】
図３８の学習装置は、逆後処理部１６１Ａが、ＤＣＴ変換部３１１で構成されていることを除いて、図３６における場合と同様に構成されている。
【０４６２】
従って、逆後処理部１６１Ａでは、ＤＣＴ変換部３１１において、学習用データ記憶部１１から読み出された学習用画像データとしての高画質画像データが、ブロック単位で２次元ＤＣＴ変換され、その結果得られる高画質２次元ＤＣＴ係数が、教師データとして、適応学習部１６０に供給される。
【０４６３】
適応学習部１６０（図１５）では、教師データ記憶部１６２において、逆後処理部１６１Ａから供給される高画質２次元ＤＣＴ係数が、教師データとして記憶され、その教師データと、生徒データ記憶部１６４に記憶された生徒データとしての２次元ＤＣＴ係数とを用い、生徒データから抽出される予測タップとタップ係数から、式（１）の線形予測演算を行うことにより得られる教師データの予測値の予測誤差を統計的に最小にするタップ係数を求める学習が行われ、これにより、生徒データとしての２次元ＤＣＴ係数を、高画質２次元ＤＣＴ係数に変換するクラスごとのタップ係数が求められる。
【０４６４】
即ち、いまの場合、生徒データされている２次元ＤＣＴ係数は、前処理部１６３Ｂにおいて、符号化データから求められたものであり、量子化誤差を含んでいるため、その２次元ＤＣＴ係数を２次元逆ＤＣＴ変換して得られる画像は、いわゆるブロック歪み等を有する低画質のものとなる。
【０４６５】
そこで、適応学習部１６０では、上述のように、式（１）の線形予測演算を行うことにより得られる教師データ（学習用画像データを２次元ＤＣＴ変換して得られる高画質２次元ＤＣＴ係数）の予測値の予測誤差を統計的に最小にするタップ係数を求める学習が行われることにより、生徒データされている２次元ＤＣＴ係数を、高画質２次元ＤＣＴ係数に変換するクラスごとのタップ係数が求められる。
【０４６６】
なお、図３８の実施の形態において、適応学習部１６０（図１５）では、そのタップ抽出部１６５または１６６それぞれにおいて、図３７のクラス分類適応処理部１３２（図１３）におけるタップ抽出部１５１または１５２が構成するのと同一のタップ構造の予測タップまたはクラスタップが、ミスマッチ情報に基づいて構成される。さらに、図３８の適応学習部１６０（図１５）におけるクラス分類部１６７でも、図３７のクラス分類適応処理部１３２（図１３）におけるクラス分類部１５３と同様のクラス分類が行われる。
【０４６７】
以上のように、符号化データに含まれる特性データの正しさを判定し、その判定結果を表すミスマッチ情報に基づいて、符号化データの復号、およびその復号に用いるタップ係数の学習等を行うようにしたので、例えば、符号化データに含まれる特性データが、元のデータの特性を正しく表していないものであっても、符号化データを、高品質のデータに復号することが可能となる。
【０４６８】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０４６９】
そこで、図３９は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０４７０】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク４０５やＲＯＭ４０３に予め記録しておくことができる。
【０４７１】
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体４１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体４１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０４７２】
なお、プログラムは、上述したようなリムーバブル記録媒体４１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部４０８で受信し、内蔵するハードディスク４０５にインストールすることができる。
【０４７３】
コンピュータは、CPU(Central Processing Unit)４０２を内蔵している。CPU４０２には、バス４０１を介して、入出力インタフェース４１０が接続されており、CPU４０２は、入出力インタフェース４１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部４０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)４０３に格納されているプログラムを実行する。あるいは、また、CPU４０２は、ハードディスク４０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部４０８で受信されてハードディスク４０５にインストールされたプログラム、またはドライブ４０９に装着されたリムーバブル記録媒体４１１から読み出されてハードディスク４０５にインストールされたプログラムを、RAM(Random Access Memory)４０４にロードして実行する。これにより、CPU４０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU４０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース４１０を介して、LCD(Liquid CryStal Display)やスピーカ等で構成される出力部４０６から出力、あるいは、通信部４０８から送信、さらには、ハードディスク４０５に記録等させる。
【０４７４】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０４７５】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０４７６】
なお、本実施の形態では、画像データをＭＰＥＧ方式で符号化した場合と、音声データをＣＥＬＰ方式で符号化した場合とについて説明したが、本発明は、これらの符号化方式に限定されるものではなく、例えば、音声データをＭＰ３(MPEG-1 Audio Layer 3)方式で符号化した符号化データ等にも適用可能である。
【０４７７】
また、本発明を適用した復号装置および復号方法、並びに第１のプログラムおよび第１の記録媒体によれば、特性データの正しさが判定され、その判定結果を表すミスマッチ情報が出力される。そして、そのミスマッチ情報に基づいて、符号化データが復号される。従って、符号化データを、高品質のデータに復号することが可能となる。
【０４７８】
さらに、本発明を適用した学習装置および学習方法、並びに第２のプログラムおよび第２の記録媒体によれば、学習用のデータから、タップ係数の学習の教師となる教師データと、生徒となる生徒データが生成されて出力される。さらに、学習用のデータが符号化され、そのデータについての特性データを含む学習用の符号化データが出力される。そして、学習用の符号化データに含まれる特性データの正しさが判定され、その判定結果を表すミスマッチ情報に基づき、教師データと生徒データを用いて、タップ係数の学習が行われる。従って、そのタップ係数により、符号化データを、高品質のデータに復号することが可能となる。
【図面の簡単な説明】
【０４７９】
【図１】本発明を適用した復号装置の一実施の形態の構成例を示すブロック図である。
【図２】復号装置の処理を説明するフローチャートである。
【図３】本発明を適用した復号装置の他の一実施の形態の構成例を示すブロック図である。
【図４】本発明を適用した学習装置の一実施の形態の構成例を示すブロック図である。
【図５】学習装置の処理を説明するフローチャートである。
【図６】音声データを、クラス分類適応処理によって、高音質の音声データに変換する音声データ処理装置の構成例を示すブロック図である。
【図７】係数メモリ２５に記憶されるタップ係数を学習する学習装置の構成例を示すブロック図である。
【図８】音声データをＶＳＥＬＰ方式で符号化するＶＳＥＬＰ符号化装置の構成例を示すブロック図である。
【図９】符号化データをＶＳＥＬＰ方式で復号するＶＳＥＬＰ復号装置の構成例を示すブロック図である。
【図１０】クラス分類適応処理を適用したＶＳＥＬＰ復号装置の構成例を示すブロック図である。
【図１１】係数メモリ８４に記憶されるタップ係数を学習する学習装置の構成例を示すブロック図である。
【図１２】本発明を適用した復号装置のより詳細な構成例を示すブロック図である。
【図１３】クラス分類適応処理部１３２の構成例を示すブロック図である。
【図１４】復号装置の処理を説明するフローチャートである。
【図１５】本発明を適用した学習装置のより詳細な構成例を示すブロック図である。
【図１６】学習装置の処理を説明するフローチャートである。
【図１７】ＶＳＥＬＰ方式で符号化された符号化データを復号する復号装置の第１の構成例を示すブロック図である。
【図１８】ＶＳＥＬＰ方式で符号化された符号化データを復号するのに用いられるタップ係数を学習する学習装置の第１の構成例を示すブロック図である。
【図１９】ＶＳＥＬＰ方式で符号化された符号化データを復号する復号装置の第２の構成例を示すブロック図である。
【図２０】ＶＳＥＬＰ方式で符号化された符号化データを復号するのに用いられるタップ係数を学習する学習装置の第２の構成例を示すブロック図である。
【図２１】ＶＳＥＬＰ方式で符号化された符号化データを復号するのに用いられるタップ係数を学習する学習装置の第３の構成例を示すブロック図である。
【図２２】ＭＰＥＧ方式で符号化された符号化データを復号する復号装置の第１の構成例を示すブロック図である。
【図２３】ＭＰＥＧデコーダ２３２の構成例を示すブロック図である。
【図２４】画像データから、フレームライン相関とフィールドライン相関を求める方法を説明するための図である。
【図２５】タップ構造設定テーブルを示す図である。
【図２６】パターンＡ乃至Ｄのタップ構造を示す図である。
【図２７】横縞を基底とするＤＣＴ係数を示す図である。
【図２８】実特性抽出部１２２の構成例を示すブロック図である。
【図２９】１次元ＤＣＴ係数を説明するための図である。
【図３０】１次元ＤＣＴ係数を説明するディスプレイ上に表示された中間階調の写真である。
【図３１】１次元ＤＣＴ係数から、フレームライン相関とフィールドライン相関を求める方法を説明するための図である。
【図３２】実特性抽出部１２２の他の構成例を示すブロック図である。
【図３３】ＭＰＥＧ方式で符号化された符号化データを復号するのに用いられるタップ係数を学習する学習装置の第１の構成例を示すブロック図である。
【図３４】ＭＰＥＧエンコーダ２７１の構成例を示すブロック図である。
【図３５】ＭＰＥＧ方式で符号化された符号化データを復号する復号装置の第２の構成例を示すブロック図である。
【図３６】ＭＰＥＧ方式で符号化された符号化データを復号するのに用いられるタップ係数を学習する学習装置の第２の構成例を示すブロック図である。
【図３７】ＭＰＥＧ方式で符号化された符号化データを復号する復号装置の第３の構成例を示すブロック図である。
【図３８】ＭＰＥＧ方式で符号化された符号化データを復号するのに用いられるタップ係数を学習する学習装置の第３の構成例を示すブロック図である。
【図３９】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
【０４８０】
１ ミスマッチ検出部， ２ 復号処理部， ３ パラメータ記憶部， １１ 学習用データ記憶部， １２ 符号化部， １３ ミスマッチ検出部， １４ 学習処理部， ２１ ピッチ検出部， ２２，２３ タップ抽出部， ２４ クラス分類部， ２５ 係数メモリ， ２６ 予測部， ３１ 時間間引きフィルタ， ３２ ピッチ検出部， ３３，３４ タップ抽出部， ３５ クラス分類部， ３６ 足し込み部， ３７ タップ係数算出部， ４１ マイク， ４２ Ａ／Ｄ変換部， ４３ 演算器， ４４ ＬＰＣ分析部， ４５ ベクトル量子化部， ４６ 音声合成フィルタ， ４７ 自乗誤差演算部， ４８ 自乗誤差最小判定部， ４９ 適応コードブック記憶部， ５０ ゲイン復号器， ５１ 励起コードブック記憶部， ５２乃至５４ 演算器， ５５ コード決定部， ５６ チャネルエンコーダ， ６１ チャネルデコーダ， ６２ 適応コードブック記憶部， ６３ ゲイン復号器， ６４ 励起コードブック記憶部， ６５ フィルタ係数復号器， ６６乃至６８ 演算器， ６９ 音声合成フィルタ， ８１，８２ タップ抽出部， ８３ クラス分類部， ８４ 係数メモリ， ８５ 予測部， ９２ Ａ／Ｄ変換部， ９３ 演算器， ９４ ＬＰＣ分析部， ９５ ベクトル量子化部， ９６ 音声合成フィルタ， ９７ 自乗誤差演算部， ９８ 自乗誤差最小判定部， ９９ 適応コードブック記憶部， １００ ゲイン復号器， １０１ 励起コードブック記憶部， １０２乃至１０４ 演算器， １０５ コード決定部， １１１，１１２ タップ抽出部， １１３ クラス分類部， １１４ 足し込み部， １１５ タップ係数算出部， １２１ 符号化特性情報抽出部， １２２ 実特性抽出部， １２３ 判定部， １３１ 前処理部， １３２ クラス分類適応処理部， １３３ 後処理部， １４１ 係数メモリ， １５１，１５２ タップ抽出部， １５３ クラス分類部， １５４ 予測部， １６０ 適応学習部， １６１ 教師データ生成部， １６１Ａ 逆後処理部， １６２ 教師データ記憶部， １６３ 生徒データ生成部， １６３Ａ 符号化部， １６３Ｂ 前処理部， １６４ 生徒データ記憶部， １６５，１６６ タップ抽出部， １６７ クラス分類部， １６８ 足し込み部， １６９ タップ係数算出部， １７１ 符号化特性情報抽出部， １７２ 実特性抽出部， １７３ 判定部， １８１ チャネルデコーダ， １８２ ＶＳＥＬＰ復号装置， １８３ ピッチ検出部， １８４ 差分演算部， １８５ ＶＳＥＬＰ復号装置， １９１ ＶＳＥＬＰ符号化装置， １９２ チャネルデコーダ， １９３ ＶＳＥＬＰ復号装置， １９４ ピッチ検出部， １９５ 差分演算部， １９６ ＶＳＥＬＰ符号化装置， １９７ ＶＳＥＬＰ復号装置， ２０１ 音声合成フィルタ， ２１１ ＬＰＣ分析部， ２１２ 予測フィルタ， ２２１ ＬＰＣ分析部， ２３１ 逆ＶＬＣ部， ２３２ ＭＰＥＧデコーダ， ２３３ 相関演算部， ２３４ ブロック特性判定部， ２３５ 比較部， ２３６ ＭＰＥＧデコーダ， ２４１ 逆ＶＬＣ部， ２４２ 逆量子化部， ２４３ 逆ＤＣＴ変換部， ２４４ 演算部， ２４５ メモリ， ２４６ 動き補償部， ２４７ ピクチャ選択部， ２５１ 逆ＶＬＣ部， ２５２ 逆量子化部， ２５３ 演算部， ２５４ ＭＰＥＧデコーダ， ２５５ メモリ， ２５６ 動き補償部， ２５７ ＤＣＴ変換部， ２５８ ＤＣＴ係数差分演算部， ２６１ 垂直１次元逆ＤＣＴ変換部， ２６２ 相関演算部， ２７１ ＭＰＥＧエンコーダ， ２７２ 逆ＶＬＣ部， ２７３ ＭＰＥＧデコーダ， ２７４ 相関演算部， ２７５ ブロック特性判定部， ２７６ 比較部， ２７７ ＭＰＥＧエンコーダ， ２７８ ＭＰＥＧデコーダ， ２８１ 逆ＶＬＣ部， ２８２ 逆量子化部， ２８３ 演算部， ２８４ ＭＰＥＧデコーダ， ２８５ メモリ， ２８６ 動き補償部， ２８７ ＤＣＴ変換部， ２９１ 逆ＶＬＣ部， ２９２ 逆量子化部， ２９３ 演算部， ２９４ ＭＰＥＧデコーダ， ２９５ メモリ， ２９６ 動き補償部， ２９７ ＤＣＴ変換部， ３０１ 逆ＤＣＴ変換部， ３１１ ＤＣＴ変換部， ３２１ 動きベクトル検出部， ３２２ 動き補償部， ３２３ 演算部， ３２４ ＤＣＴ変換部， ３２５ 量子化部， ３２６ ＶＬＣ部， ３２７ 逆量子化部， ３２８ 逆ＤＣＴ変換部， ３２９ 演算部， ３３０ メモリ， ４０１ バス， ４０２ CPU， ４０３ ROM， ４０４ RAM， ４０５ ハードディスク， ４０６ 出力部， ４０７ 入力部， ４０８ 通信部， ４０９ ドライブ， ４１０ 入出力インタフェース， ４１１ リムーバブル記録媒体
【特許請求の範囲】
【請求項１】
データを符号化した符号化データであって、少なくとも、前記データの特性を表す特性データを含む符号化データを復号するのに用いられるタップ係数を学習する学習装置において、
学習用のデータから、前記タップ係数の学習の教師となる教師データを生成して出力する教師データ生成手段と、
前記学習用のデータから、前記タップ係数の学習の生徒となる生徒データを生成して出力する生徒データ生成手段と、
前記学習用のデータを符号化し、そのデータについての前記特性データを含む学習用の符号化データを出力する符号化手段と、
前記学習用の符号化データに含まれる前記特性データの正しさを判定し、その判定結果を表すミスマッチ情報を出力する判定手段と、
前記ミスマッチ情報に基づき、前記教師データと生徒データを用いて、前記タップ係数を学習する学習手段と
を備えることを特徴とする学習装置。
【請求項２】
データを符号化した符号化データであって、少なくとも、前記データの特性を表す特性データを含む符号化データを復号するのに用いられるタップ係数を学習する学習方法において、
学習用のデータから、前記タップ係数の学習の教師となる教師データを生成して出力する教師データ生成ステップと、
前記学習用のデータから、前記タップ係数の学習の生徒となる生徒データを生成して出力する生徒データ生成ステップと、
前記学習用のデータを符号化し、そのデータについての前記特性データを含む学習用の符号化データを出力する符号化ステップと、
前記学習用の符号化データに含まれる前記特性データの正しさを判定し、その判定結果を表すミスマッチ情報を出力する判定ステップと、
前記ミスマッチ情報に基づき、前記教師データと生徒データを用いて、前記タップ係数を学習する学習ステップと
を備えることを特徴とする学習方法。
【請求項３】
データを符号化した符号化データであって、少なくとも、前記データの特性を表す特性データを含む符号化データを復号するのに用いられるタップ係数を学習する学習処理を、コンピュータに行わせるプログラムにおいて、
学習用のデータから、前記タップ係数の学習の教師となる教師データを生成して出力する教師データ生成ステップと、
前記学習用のデータから、前記タップ係数の学習の生徒となる生徒データを生成して出力する生徒データ生成ステップと、
前記学習用のデータを符号化し、そのデータについての前記特性データを含む学習用の符号化データを出力する符号化ステップと、
前記学習用の符号化データに含まれる前記特性データの正しさを判定し、その判定結果を表すミスマッチ情報を出力する判定ステップと、
前記ミスマッチ情報に基づき、前記教師データと生徒データを用いて、前記タップ係数を学習する学習ステップと
を含む学習処理を、コンピュータに行わせることを特徴とするプログラム。
【請求項４】
データを符号化した符号化データであって、少なくとも、前記データの特性を表す特性データを含む符号化データを復号するのに用いられるタップ係数を学習する学習処理を、コンピュータに行わせるプログラムが記録されている記録媒体において、
学習用のデータから、前記タップ係数の学習の教師となる教師データを生成して出力する教師データ生成ステップと、
前記学習用のデータから、前記タップ係数の学習の生徒となる生徒データを生成して出力する生徒データ生成ステップと、
前記学習用のデータを符号化し、そのデータについての前記特性データを含む学習用の符号化データを出力する符号化ステップと、
前記学習用の符号化データに含まれる前記特性データの正しさを判定し、その判定結果を表すミスマッチ情報を出力する判定ステップと、
前記ミスマッチ情報に基づき、前記教師データと生徒データを用いて、前記タップ係数を学習する学習ステップと
を含む学習処理を、コンピュータに行わせるプログラムが記録されている
ことを特徴とする記録媒体。
【請求項１】
データを符号化した符号化データであって、少なくとも、前記データの特性を表す特性データを含む符号化データを復号するのに用いられるタップ係数を学習する学習装置において、
学習用のデータから、前記タップ係数の学習の教師となる教師データを生成して出力する教師データ生成手段と、
前記学習用のデータから、前記タップ係数の学習の生徒となる生徒データを生成して出力する生徒データ生成手段と、
前記学習用のデータを符号化し、そのデータについての前記特性データを含む学習用の符号化データを出力する符号化手段と、
前記学習用の符号化データに含まれる前記特性データの正しさを判定し、その判定結果を表すミスマッチ情報を出力する判定手段と、
前記ミスマッチ情報に基づき、前記教師データと生徒データを用いて、前記タップ係数を学習する学習手段と
を備えることを特徴とする学習装置。
【請求項２】
データを符号化した符号化データであって、少なくとも、前記データの特性を表す特性データを含む符号化データを復号するのに用いられるタップ係数を学習する学習方法において、
学習用のデータから、前記タップ係数の学習の教師となる教師データを生成して出力する教師データ生成ステップと、
前記学習用のデータから、前記タップ係数の学習の生徒となる生徒データを生成して出力する生徒データ生成ステップと、
前記学習用のデータを符号化し、そのデータについての前記特性データを含む学習用の符号化データを出力する符号化ステップと、
前記学習用の符号化データに含まれる前記特性データの正しさを判定し、その判定結果を表すミスマッチ情報を出力する判定ステップと、
前記ミスマッチ情報に基づき、前記教師データと生徒データを用いて、前記タップ係数を学習する学習ステップと
を備えることを特徴とする学習方法。
【請求項３】
データを符号化した符号化データであって、少なくとも、前記データの特性を表す特性データを含む符号化データを復号するのに用いられるタップ係数を学習する学習処理を、コンピュータに行わせるプログラムにおいて、
学習用のデータから、前記タップ係数の学習の教師となる教師データを生成して出力する教師データ生成ステップと、
前記学習用のデータから、前記タップ係数の学習の生徒となる生徒データを生成して出力する生徒データ生成ステップと、
前記学習用のデータを符号化し、そのデータについての前記特性データを含む学習用の符号化データを出力する符号化ステップと、
前記学習用の符号化データに含まれる前記特性データの正しさを判定し、その判定結果を表すミスマッチ情報を出力する判定ステップと、
前記ミスマッチ情報に基づき、前記教師データと生徒データを用いて、前記タップ係数を学習する学習ステップと
を含む学習処理を、コンピュータに行わせることを特徴とするプログラム。
【請求項４】
データを符号化した符号化データであって、少なくとも、前記データの特性を表す特性データを含む符号化データを復号するのに用いられるタップ係数を学習する学習処理を、コンピュータに行わせるプログラムが記録されている記録媒体において、
学習用のデータから、前記タップ係数の学習の教師となる教師データを生成して出力する教師データ生成ステップと、
前記学習用のデータから、前記タップ係数の学習の生徒となる生徒データを生成して出力する生徒データ生成ステップと、
前記学習用のデータを符号化し、そのデータについての前記特性データを含む学習用の符号化データを出力する符号化ステップと、
前記学習用の符号化データに含まれる前記特性データの正しさを判定し、その判定結果を表すミスマッチ情報を出力する判定ステップと、
前記ミスマッチ情報に基づき、前記教師データと生徒データを用いて、前記タップ係数を学習する学習ステップと
を含む学習処理を、コンピュータに行わせるプログラムが記録されている
ことを特徴とする記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【公開番号】特開２００７−２９５５９９（Ｐ２００７−２９５５９９Ａ）
【公開日】平成１９年１１月８日（２００７．１１．８）
【国際特許分類】
【出願番号】特願２００７−１４７７２０（Ｐ２００７−１４７７２０）
【出願日】平成１９年６月４日（２００７．６．４）
【分割の表示】特願２００２−６１４００（Ｐ２００２−６１４００）の分割
【原出願日】平成１４年３月７日（２００２．３．７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成１９年１１月８日（２００７．１１．８）
【国際特許分類】
【出願日】平成１９年６月４日（２００７．６．４）
【分割の表示】特願２００２−６１４００（Ｐ２００２−６１４００）の分割
【原出願日】平成１４年３月７日（２００２．３．７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]