画像処理装置および係数学習装置。
【課題】高画質化処理の対象となる画像の特徴量を、より適確に認識することができるようにする。
【解決手段】回帰係数学習部２１は、生徒画像の注目画素とその周辺の画素値からなる線形特徴量、および注目画素の周辺の画素値の水平微分絶対値および垂直微分絶対値などからなる非線形特徴量により構成されるタップを用いて注目画素に対応する教師画像画素値を予測するための回帰予測演算式の係数を学習する。回帰予測部２３は、生徒画像の注目画素とその周辺の画素値の線形特徴量および非線形特徴量からなるタップを取得して予測値を演算する。回帰係数学習部２１の学習により回帰係数学習部２２においてクラス毎に記憶された回帰係数が、高画質化処理の演算に用いられる。
【解決手段】回帰係数学習部２１は、生徒画像の注目画素とその周辺の画素値からなる線形特徴量、および注目画素の周辺の画素値の水平微分絶対値および垂直微分絶対値などからなる非線形特徴量により構成されるタップを用いて注目画素に対応する教師画像画素値を予測するための回帰予測演算式の係数を学習する。回帰予測部２３は、生徒画像の注目画素とその周辺の画素値の線形特徴量および非線形特徴量からなるタップを取得して予測値を演算する。回帰係数学習部２１の学習により回帰係数学習部２２においてクラス毎に記憶された回帰係数が、高画質化処理の演算に用いられる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および係数学習装置に関し、特に、高画質化処理の対象となる画像の特徴量を、より適確に認識することができるようにする画像処理装置および係数学習装置に関する。
【背景技術】
【０００２】
劣化を含んだ生徒（入力）画像から教師画像を予測する上で、全画面を生徒（入力）画像の線形和で表されるような1つのモデルで処理するには精度に問題がある。そのため、生徒（入力）画像を局所の特徴量に応じてクラス分類し、クラス毎に回帰係数を切り替える手段が行われる。従来より、クラス分類に1bitADRCやK-meansアルゴリズムを用いるものが提案されている。
【０００３】
例えば、標準テレビジョン信号（ＳＤ信号）を高解像度の信号（ＨＤ信号）に変換するために、クラス分類適応処理を用いる手法が提案されている（例えば、特許文献１参照）。
【０００４】
特許文献１の技術により、ＳＤ信号をＨＤ信号に変換する場合、まず、入力ＳＤ信号からなるクラスタップの特徴を、ＡＤＲＣ（適応的ダイナミックレンジ符号化）等を用いて求め、得られたクラスタップの特徴に基づいてクラス分類を行う。そして、そのクラス毎に用意された予測係数と、入力ＳＤ信号からなる予測タップとの演算を行うことによって、ＨＤ信号を得る。
【０００５】
クラス分類は、予測値を求めようとする高Ｓ／Ｎ画素の位置に対応する低Ｓ／Ｎ画像の位置から空間的または時間的に近い位置にある低Ｓ／Ｎ画素の画素値のパターンによって、各高Ｓ／Ｎ画素を、いわばグループ分けするものであり、適応処理は、各グループ（上述のクラスに相当する）ごとに、そのグループに属する高Ｓ／Ｎ画素に対して、より適した予測係数を求めて、その予測係数により、画質の向上を図るものであるから、クラス分類は、基本的には、予測値を求めようとする高Ｓ／Ｎ画素に関係する、より多くの画素からクラスタップを構成して行うのが望ましい。
【０００６】
【特許文献１】特開平７−７９４１８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、例えば、特許文献１のように、画素値のパターンによってグループ分けする方式では、クラス分類が画一的なものとなってしまう。このため、画質の劣化度合いや注目画素の位置によっては、適切にクラス分類ができなくなることがある。特許文献１の技術は、クラス分類によって認識されたクラスに応じた予測係数を用いることで高画質化された画像の画素値を演算するものなので、適切にクラス分類ができなければ、適切な画素値を演算できない。
【０００８】
このように、従来の技術のように、画素値のパターンなどの線形特徴量だけを用いたクラス分類による高画質化処理の限界が懸念される。
【０００９】
本発明はこのような状況に鑑みてなされたものであり、高画質化処理の対象となる画像の特徴量を、より適確に認識することができるようにするものである。
【課題を解決するための手段】
【００１０】
本発明の第１の側面は、第１の画像データの注目画素に対応する線形特徴量、および前記画像データより求められる非線形特徴量を要素として構成されるタップに応じてクラス毎に回帰係数データが格納されている記憶手段と、入力される前記第１の画像の複数の入力データの線形特徴量を所定のクラスに分類する分類手段と、前記分類手段で求めたクラスに対応した前記回帰係数データを前記記憶手段から読み出す読み出し手段と、前記読み出し手段から読み出された前記回帰係数データと入力される前記第１の画像の複数の入力データの前記タップの要素とを用いて積和演算処理を行うことによって、前記第１の画像を高画質化した第２の画像のデータを生成する画像データ生成手段とを備える画像処理装置である。
【００１１】
前記非線形特徴量は、注目画素の周辺画素位置の水平、垂直の微分絶対値であるようにすることができる。
【００１２】
前記非線形特徴量は、注目画素の周辺画素値の最大、最小値であるようにすることができる。
【００１３】
前記非線形特徴量は、注目画素の周辺画素位置の水平、垂直の微分絶対値の最大値であるようにすることができる。
【００１４】
第１の画像データの注目画素に対応する線形特徴量のそれぞれと予め記憶されている判別係数との積和演算により前記注目画素が属する判別クラスを特定するための判別予測値を求める判別予測演算を行う判別予測手段をさらに備え、前記分類手段は、前記判別予測値に基づいて、前記第１の信号の画像の注目画素のそれぞれを、所定のクラスに分類するようにすることができる。
【００１５】
本発明の第１の側面においては、第１の画像データの注目画素に対応する線形特徴量、および前記画像データより求められる非線形特徴量を要素として構成されるタップに応じてクラス毎に回帰係数データが格納され、入力される前記第１の画像の複数の入力データの線形特徴量が所定のクラスに分類され、前記クラスに対応した前記回帰係数データが読み出され、前記読み出された前記回帰係数データと入力される前記第１の画像の複数の入力データの前記タップの要素とを用いて積和演算処理を行うことによって、前記第１の画像を高画質化した第２の画像のデータが生成される。
【００１６】
本発明の第２の側面は、第２の画像の画質を変化させて得られる第１の画像の複数の入力データの注目画素に対応する線形特徴量を所定のクラスに分類する分類手段と、前記分類手段で求めたクラス毎に、前記第２の画像の画素値を求めるための積和演算であって、前記第１の画像の複数の入力データの線形特徴量及び前記複数の入力データより求められる非線形特徴量を要素として構成されるタップと回帰係数とを用いた積和演算の回帰係数を算出する回帰係数算出手段と、前記算出された前記回帰係数を、前記分類されたクラス毎に記憶する記憶手段とを備える係数学習装置である。
【００１７】
前記非線形特徴量は、注目画素の周辺画素位置の水平、垂直の微分絶対値であるようにすることができる。
【００１８】
前記非線形特徴量は、注目画素の周辺画素値の最大、最小値であるようにすることができる。
【００１９】
前記非線形特徴量は、注目画素の周辺画素位置の水平、垂直の微分絶対値の最大値であるようにすることができる。
【００２０】
第１の画像データの注目画素に対応する線形特徴量のそれぞれと予め記憶されている判別係数との積和演算により前記注目画素が属する判別クラスを特定するための判別予測値を求める判別予測演算を行う判別予測手段をさらに備え、前記分類手段は、前記判別予測値に基づいて、前記第１の信号の画像の注目画素のそれぞれを、所定のクラスに分類するようにすることができる。
【００２１】
本発明の第２の側面においては、第２の画像の画質を変化させて得られる第１の画像の複数の入力データの注目画素に対応する線形特徴量が所定のクラスに分類され、前記クラス毎に、前記第２の画像の画素値を求めるための積和演算であって、前記第１の画像の複数の入力データの線形特徴量及び前記複数の入力データより求められる非線形特徴量を要素として構成されるタップと回帰係数とを用いた積和演算の回帰係数が算出され、前記算出された前記回帰係数が、前記分類されたクラス毎に記憶される。
【発明の効果】
【００２２】
本発明によれば、高画質化処理の対象となる画像の特徴量を、より適確に認識することができるようにする。
【図面の簡単な説明】
【００２３】
【図１】本発明の一実施の形態に係る学習装置の構成例を示すブロック図である。
【図２】タップの要素となる画素の例を示す図である。
【図３】水平微分絶対値および垂直微分絶対値の演算に用いられるフィルタの例を示す図である。
【図４】水平微分値の演算例を説明する図である。
【図５】図１のラベリング部の処理を説明するヒストグラムである。
【図６】反復して行われる判別係数の学習を説明する図である。
【図７】反復して行われる判別係数の学習を説明する図である。
【図８】入力画像を図７のようにクラス分類する場合の例を、２分木構造を用いて説明する図である。
【図９】図１の学習装置に対応する画像処理装置の構成例を示すブロック図である。
【図１０】図１の学習装置による判別回帰係数学習処理の例を説明するフローチャートである。
【図１１】ラベリング処理の例を説明するフローチャートである。
【図１２】回帰係数演算処理の例を説明するフローチャートである。
【図１３】判別係数演算処理の例を説明するフローチャートである。
【図１４】図９の画像処理装置による判別回帰予測処理の例を説明するフローチャートである。
【図１５】判別処理の例を説明するフローチャートである。
【図１６】本発明の学習装置と画像処理装置を用いた高画質化処理の効果を説明する図である。
【図１７】従来のクラス分類適応処理のクラスタップの例を説明する図である。
【図１８】本発明の学習装置と画像処理装置を用いた高画質化処理の効果を説明する図である。
【図１９】本発明の学習装置と画像処理装置を用いた高画質化処理の効果を説明する図である。
【図２０】非線形特徴量を加えたタップを用いる場合の高画質化処理における効果について説明する図である。
【図２１】パーソナルコンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００２４】
以下、図面を参照して、本発明の実施の形態について説明する。
【００２５】
図１は、本発明の一実施の形態に係る学習装置の構成例を示すブロック図である。
【００２６】
この学習装置１０は、画像の高画質化処理に用いられる学習装置とされ、入力された生徒画像および教師画像（または教師信号）のデータに基づいて、高画質化処理において用いられる係数を生成するようになされている。ここで、高画質化処理は、例えば、ノイズの含まれる画像からノイズが除去された画像を生成する処理、ぼけのある画像からぼけのない画像を生成する処理、低解像度の画像から高解像度の画像を生成する処理、あるいはそれらの複合問題を解決する処理などとされる。
【００２７】
学習装置１０は、生徒画像を入力画像として、教師画像に近い高画質の画像を出力画像として生成するための係数である回帰係数を学習するようになされている。詳細は後述するが、回帰係数は、入力画像の注目画素に対応する複数の画素の値から得られる特徴量をパラメータとし、高画質化された画像において注目画素に対応する画素の値を演算する線形一次式に用いられる係数とされる。なお、回帰係数は、後述するクラス番号毎に学習される。
【００２８】
また、学習装置１０は、入力画像の注目画素に対応する複数の画素値およびそれらの画素値から得られる特徴量に基づいて、注目画素を、複数のクラスのうちのいずれかにクラス分けする。すなわち、学習装置１０は、入力画像の注目画素のそれぞれが、高画質化処理のためのどのクラスに属する画素であるかを特定するための判別係数を学習するようになされている。詳細は後述するが、判別係数は、入力画像の注目画素に対応する複数の画素の値から得られる特徴量をパラメータとする線形一次式に用いられる係数とされる。
【００２９】
すなわち、学習装置１０により学習された判別係数を用いて、入力画像の注目画素に対応する複数の画素値およびそれらの画素値から得られる特徴量をパラメータとした線形一次式の演算を繰り返し実行することにより、高画質化処理のためのクラスが特定されるようになされている。そして、特定されたクラスに対応する回帰係数を用いて、入力画像の注目画素に対応する複数の画素値およびそれらの画素値から得られる特徴量をパラメータとした線形一次式の演算を実行することにより、高画質化された画像の画素値が演算されるようになされている。
【００３０】
学習装置１０においては、例えば、教師画像としてノイズのない画像を入力され、生徒画像として教師画像に対してノイズを付加した画像が入力される。
【００３１】
生徒画像のデータは、回帰係数学習部２１、回帰予測部２３、判別係数学習部２５、および判別予測部２７に供給される。
【００３２】
回帰係数学習部２１は、生徒画像を構成する画素の中から所定の画素を注目画素として設定する。そして、回帰係数学習部２１は、生徒画像の注目画素とその周辺の画素値から、注目画素に対応する教師画像画素値を予測するための回帰予測演算式の係数を、例えば、最小二乗法を用いて学習する。
【００３３】
教師画像の画素値ti（i＝１，２，．．N）とし、予測値yi（i＝１，２，．．N）とおくと、式（1）が成立する。ここでNは、生徒画像の画素と教師画像の画素との全サンプル数を表すものとする。
【００３４】
【数１】
【００３５】
ここで、εi（i＝１，２，．．N）は、誤差項である。
【００３６】
予測値yiは、回帰係数wを用いた線形モデルを仮定すると、生徒画像の画素値xij（i＝１，２，．．N，j=１，２，・・・M）を用いて、式（2）のように表現できる。
【００３７】
【数２】
【００３８】
なお、wTは、行列式として表されるwの転置行列を表している。ｗoは、バイアスパラメータであり、定数項である。なお、Mの値は、後述するタップの要素数に対応する。
【００３９】
式（２）において、パラメータとして用いられるｘiは、生徒画像の注目画素を中心とする所定の位置の画素の値のそれぞれを要素するベクトルとされる。以下、式（２）において、パラメータとして用いられるｘiを、タップと称することにする。
【００４０】
図２は、タップの要素となる画素の例を示す図である。同図は、水平方向をｘ軸で表し、垂直方向をｙ軸で表した２次元の図であり、注目画素の周辺の２５個の画素（ｘi1乃至xi25）によりタップが構成されている。いまの場合、注目画素は、xi13の画素であり、xi13の画素の位置が、式（２）により予測される教師画像の画素の位置（位相）に対応する。
【００４１】
回帰係数学習部２２は、式（２）の係数wおよびバイアスパラメータｗoを学習して、回帰係数記憶部２２に記憶するようになされている。
【００４２】
上記においては、注目画素の周辺の２５個の画素（ｘi1乃至xi25）の値によりタップが構成される例について説明した。この場合、タップは、生徒画像から得られる線形特徴量により構成されていることになる。
【００４３】
しかしながら、タップに、生徒画像から得られる非線形特徴量が含まれるようにすることで、予測の精度をさらに高めることが可能となる。生徒画像から得られる非線形特徴量の例として、注目画素の周辺の画素値の水平微分絶対値および垂直微分絶対値が挙げられる。
【００４４】
注目画素の周辺の画素値の水平微分絶対値および垂直微分絶対値の演算に用いる式の例を式（３）に示す。
【００４５】
【数３】
【００４６】
式（３）における水平微分絶対値および垂直微分絶対値の演算には、ソーベル演算子が用いられており、ｘijで表される注目画素を中心として、図３に示されるようなフィルタ処理を施すことにより水平微分絶対値および垂直微分絶対値が求められる。
【００４７】
図３は、水平方向をｘ軸で表し、垂直方向をｙ軸で表した２次元の図であり、注目画素の周辺の９個の画素のそれぞれを対象とするフィルタが示されている。図中円で示される部分に示される数値が、それぞれの位置の画素値に乗じられることになる。
【００４８】
図４は、水平微分値の演算の例を説明する図である。同図の例では、ｘi12と記された画素とその周辺の９個の画素それぞれを対象とするフィルタ処理の演算例が示されている。なお、同図では、図中円で示された画素にそれぞれ記されたｘi12などの値が、そのまま画素値を表すものとする。
【００４９】
式（３）により、水平微分絶対値および垂直微分絶対値を求める場合、注目画素を中心としたＭ個の画素のそれぞれに対応する水平微分絶対値および垂直微分絶対値が求められることになる。例えば、図２に示されるように注目画素とその周辺の画素２５個をタップに含める場合、Ｍの値が２５となるから、１つの注目画素に対して水平微分絶対値が２５個、垂直微分絶対値が２５個求められることになる。
【００５０】
また、生徒画像から得られる非線形特徴量の例として、注目画素の周辺の画素値の最大値および最小値、並びに上述した水平微分絶対値の最大値および垂直微分絶対値の最大値が挙げられる。注目画素の周辺の画素値の最大値および最小値、並びに上述した水平微分絶対値の最大値および垂直微分絶対値の最大値は、式（４）により求めることができる。
【００５１】
【数４】
【００５２】
このように、タップに、生徒画像から得られる非線形特徴量が含まれるようにすることで、予測の精度をさらに高めることが可能となる。詳細は後述するが、例えば、ノイズが含まれた入力画像に基づいてノイズのない画像の画素値を予測する場合、タップに、生徒画像から得られる非線形特徴量が含まれるようにすることで、画像のS/N比を０．３から０．５ｄＢ（デシベル）向上させることができる。
【００５３】
回帰予測演算式の係数を、最小二乗法を用いて学習する場合、上述したように構成されるタップを用いて求められた予測値を式（１）に代入し、式（１）の誤差項の全サンプル分の自乗和を式（５）により演算する。
【００５４】
【数５】
【００５５】
そして、式（５）の誤差項の全サンプル分の自乗和Eが最小となるような、回帰係数をつぎのようにして導出する。
【００５６】
【数６】
【００５７】
式（６）のＳ(xx)、Ｓ(xt)は、それぞれ生徒画像、教師画像の分散・共分散を要素とする行列とベクトルであり、各要素は、式（７）により求めることができる。
【００５８】
【数７】
【００５９】
【数８】
【００６０】
また、式（２）のバイアスパラメータｗoは、式（６）を用いて式（９）のように求めることができる。
【００６１】
【数９】
【００６２】
なお、式（２）において定数項であるバイアスパラメータｗoは含まれないようにすることも可能である。
【００６３】
このようにして得られる係数wは、上述したタップの要素数と同じ要素数のベクトルとなる。回帰係数学習部２１により得られた係数wは、回帰予測によって、高画質化された画像の画素値を予測するための演算に用いられる係数であり、回帰係数wと称することにする。なお、バイアスパラメータｗoも広義の回帰係数であるものとし、必要に応じて回帰係数wに対応付けられて記憶されるものとする。
【００６４】
例えば、図２に示されるように、生徒画像から得られる線形特徴量のみによってタップが構成される場合、タップの要素数は２５個となり、回帰係数wのベクトルの要素数も２５個となる。また、図２に示される生徒画像から得られる線形特徴量に、式（３）により得られる、注目画素の周辺の画素値の水平微分絶対値および垂直微分絶対値を非線形特徴量として加えたものをタップとする場合、タップの要素数は７５（＝２５＋２５＋２５）個となるので、回帰係数wのベクトルの要素数も７５個となる。さらに、式（４）により得られる、注目画素の周辺の画素値の最大値および最小値、並びに水平微分絶対値の最大値および垂直微分絶対値の最大値を、非線形特徴量として加えたものをタップとする場合、タップの要素数は７９（＝２５＋２５＋２５＋２＋２）個となるので、回帰係数wのベクトルの要素数も７９個となる。
【００６５】
図１に戻って、回帰係数学習部２１により得られた回帰係数wは、回帰係数記憶部２２に記憶される。
【００６６】
回帰予測部２３は、生徒画像を構成する画素の中から所定の画素を注目画素として設定する。そして、回帰予測部２３は、図２を参照して上述した、注目画素とその周辺の画素値からなるタップ、図２の注目画素とその周辺の画素値、並びに式（３）により求められる注目画素の周辺の画素値の水平微分絶対値および垂直微分絶対値からなるタップ、または、図２の注目画素とその周辺の画素値、式（３）により求められる注目画素の周辺の画素値の水平微分絶対値および垂直微分絶対値、並びに式（４）により求められる注目画素の周辺の画素値の最大値および最小値と、上述した水平微分絶対値の最大値および垂直微分絶対値の最大値とからなるタップを取得する。
【００６７】
回帰予測部２３は、式（２）にタップと回帰係数w（必要に応じてバイアスパラメータｗoも含む）を代入して予測値yiを演算する。
【００６８】
ラベリング部２４は、回帰予測部２３により演算された予測値yiを、教師画像の画素値である真値tiと比較する。ラベリング部２４は、例えば、予測値yiが真値ti以上となった注目画素を判別クラスＡとしてラベリングし、予測値yiが真値ti未満となった注目画素を判別クラスＢとしてラベリングする。すなわち、ラベリング部２４は、回帰予測部２３の演算結果に基づいて、生徒画像の各画素を判別クラスＡと判別クラスＢに分類するのである。
【００６９】
図５は、ラベリング部２４の処理を説明するヒストグラムである。同図の横軸は、予測値yiから真値tiを引いた差分値を表し、縦軸は、その差分値が得られたサンプル（教師画像の画素と生徒画像の画素との組み合わせ）の相対頻度を表している。
【００７０】
同図に示されるように、回帰予測部２３の演算により、予測値yiから真値tiを引いた差分値が０となったサンプルの頻度が最も高くなっている。差分値が０である場合、回帰予測部２３により正確な予測値（＝真値）が演算されたことになり、適切に高画質化の処理がなされたことになる。すなわち、回帰係数学習部２１により回帰係数wが学習されたので、式（２）により正確な予測値が演算される可能性は高いといえる。
【００７１】
しかし、差分値が０以外のものについては、正確な回帰予測がなされたとはいえない。そうであれば、より適切な回帰係数wを学習する余地があると考えられる。
【００７２】
本発明では、例えば、予測値yiが真値ti以上となった注目画素のみを対象として回帰係数wを学習すれば、それらの注目画素に対してより適切な回帰係数wを学習することができ、予測値yiが真値ti未満となった注目画素のみを対象として回帰係数wを学習すれば、それらの注目画素に対してより適切な回帰係数wを学習することができると仮定する。このため、ラベリング部２４は、回帰予測部２３の演算結果に基づいて、生徒画像の各画素を判別クラスＡと判別クラスＢに分類する。
【００７３】
そして、この後、判別係数学習部２５の処理によって、生徒画像の画素値に基づいて、各画素を判別クラスＡと判別クラスＢに分類するための予測演算に用いられる係数が学習されるのである。すなわち、本発明においては、真値が不明であっても、入力画像の画素値に基づいて各画素を判別クラスＡと判別クラスＢに分類できるようにするのである。
【００７４】
ここでは、ラベリング部２４が生徒画像の各画素をラベリングすると説明したが、ラベリングの単位は、正確には教師画像の画素値である真値tiに対応する生徒画像のタップ（注目画素周辺画素値や非線形特徴量を含むベクトル）毎に1個ずつラベリングされることになる。
【００７５】
また、ここでは、予測値yiが真値ti以上となった注目画素と、予測値yiが真値ti未満となった注目画素とを判別してラベリングする例について説明したが、他の方式でラベリングするようにしてもよい。例えば、予測値yiと真値tiの差分絶対値が予め設定された閾値未満の値となった注目画素を判別クラスＡとしてラベリングし、予測値yiと真値tiの差分絶対値が予め設定された閾値以上の値となった注目画素を判別クラスＢとしてラベリングするようにしてもよい。さらに、それ以外の方式で注目画素を判別クラスＡと判別クラスＢにラベリングしてもよい。以下では、予測値yiが真値ti以上となった注目画素と、予測値yiが真値ti未満となった注目画素とを判別してラベリングする場合の例について説明する。
【００７６】
図１に戻って、判別係数学習部２５は、生徒画像を構成する画素の中から所定の画素を注目画素として設定する。そして、判別係数学習部２５は、生徒画像の注目画素とその周辺の画素値から、判別クラスＡと判別クラスＢを判定するための予測値の演算に用いられる係数を、例えば、最小二乗法を用いて学習する。
【００７７】
判別係数の学習においては、生徒画像の注目画素とその周辺の画素値から、判別クラスＡと判別クラスＢを判定するための予測値ｙiが式（１０）により求められるものとする。
【００７８】
【数１０】
【００７９】
なお、zTは、行列式として表されるzの転置行列を表している。zoは、バイアスパラメータであり、定数項である。なお、Mの値は、タップの要素数に対応する。
【００８０】
式（２）の場合と同様に、式（１０）において、パラメータとして用いられるｘiをタップと称する。判別係数の学習におけるタップは、回帰係数の学習におけるタップと同様とする。すなわち、図２を参照して上述した、注目画素とその周辺の画素値からなるタップ、図２の注目画素とその周辺の画素値、並びに式（３）により求められる注目画素の周辺の画素値の水平微分絶対値および垂直微分絶対値からなるタップ、または、図２の注目画素とその周辺の画素値、式（３）により求められる注目画素の周辺の画素値の水平微分絶対値および垂直微分絶対値、並びに式（４）により求められる注目画素の周辺の画素値の最大値および最小値と、上述した水平微分絶対値の最大値および垂直微分絶対値の最大値とからなるタップとされる。
【００８１】
判別係数学習部２５は、式（１０）の係数zおよびバイアスパラメータｚoを学習して、判別係数記憶部２６に記憶するようになされている。
【００８２】
判別予測演算式の係数を、最小二乗法を用いて学習する場合、上述したように構成されるタップを用いて求められた予測値を式（１）に代入し、式（１）の誤差項の全サンプル分の自乗和を式（１１）により演算する。
【００８３】
【数１１】
【００８４】
式（１１）のＳ(AB)は、式（１２）により求められる値を要素とする行列である。
【００８５】
【数１２】
【００８６】
式（１２）のＮAとＮBは、それぞれ判別クラスＡと判別クラスＢに属するサンプルの総数である。
【００８７】
また、式（１２）のＳAjkとＳBjkは、それぞれ判別クラスＡと判別クラスＢに属するサンプル（タップ）を用いて求めた分散・共分散値であり、式（１３）により求められる。
【００８８】
【数１３】
【００８９】
【数１４】
【００９０】
式（１０）のバイアスパラメータｚoは、式（１１）を用いて式（１５）のように求めることができる。
【００９１】
【数１５】
【００９２】
なお、式（１５）において定数項であるバイアスパラメータｚoは含まれないようにすることも可能である。
【００９３】
このようにして得られる係数zは、上述したタップの要素数と同じ要素数のベクトルとなる。判別係数学習部２５により得られた係数zは、所定の注目画素が判別クラスＡまたは判別クラスＢのいずれに属するかを予測するための演算に用いられる係数であり、判別係数zと称することにする。なお、バイアスパラメータｚoも広義の判別係数であるものとし、必要に応じて判別係数zに対応付けられて記憶されるものとする。
【００９４】
例えば、図２に示されるように、生徒画像から得られる線形特徴量のみによってタップが構成される場合、タップの要素数は２５個となり、判別係数zのベクトルの要素数も２５個となる。また、図２に示される生徒画像から得られる線形特徴量に、式（３）により得られる、注目画素の周辺の画素値の水平微分絶対値および垂直微分絶対値を非線形特徴量として加えたものをタップとする場合、タップの要素数は７５（＝２５＋２５＋２５）個となるので、判別係数zのベクトルの要素数も７５個となる。さらに、式（４）により得られる、注目画素の周辺の画素値の最大値および最小値、並びに水平微分絶対値の最大値および垂直微分絶対値の最大値を、非線形特徴量として加えたものをタップとする場合、タップの要素数は７９（＝２５＋２５＋２５＋２＋２）個となるので、判別係数zのベクトルの要素数も７９個となる。
【００９５】
このようにして学習された係数zを用いて判別予測部２７により予測値が演算されて生徒画像の注目画素が判別クラスＡに属するものであるか判別クラスＢに属するものであるかを判定することができる。判別予測部２７は、式（１０）にタップと判別係数z（必要に応じてバイアスパラメータｚoも含む）を代入して予測値yiを演算する。
【００９６】
そして、判別予測部２７による演算の結果、予測値yiが０以上となったタップの注目画素は、判別クラスＡに属する画素であり、予測値yiが０未満となったタップの注目画素は、判別クラスＢに属する画素であるものと推定できる。
【００９７】
しかしながら、判別予測部２７による演算の結果に基づく推定が必ずしも真実であるとは限らない。すなわち、式（１０）にタップと判別係数zを代入して演算された予測値yiは、教師画像の画素値（真値）に係らず、生徒画像の画素値から予測した結果であるから、実際には判別クラスＡに属する画素が判別クラスＢに属する画素として推定されてしまったり、実際には判別クラスＢに属する画素が判別クラスＡに属する画素として推定されてしまうことがある。
【００９８】
そこで、本発明においては、反復して判別係数を学習させることにより、より精度の高い予測を可能とする。
【００９９】
すなわち、クラス分割部２８が、判別予測部２７の予測結果に基づいて、生徒画像を構成する各画素を、判別クラスＡに属する画素と判別クラスＢに属する画素とに分割する。
【０１００】
そして、回帰係数学習部２１が、クラス分割部２８により判別クラスＡに属する画素のみを対象として、上述した場合と同様に回帰係数wを学習して回帰係数記憶部２２に記憶する。回帰予測部２３は、クラス分割部２８により判別クラスＡに属するとされた画素のみを対象として、上述した場合と同様に回帰予測による予測値を演算する。
【０１０１】
このようにして、得られた予測値と真値とを比較して、ラベリング部２４がクラス分割部２８により判別クラスＡに属するとされた画素を、さらに判別クラスＡと判別クラスＢにラベリングする。
【０１０２】
また、回帰係数学習部２１が、クラス分割部２８により判別クラスＢに属するとされた画素のみを対象として、上述した場合と同様に回帰係数wを学習する。回帰予測部２３は、クラス分割部２８により判別クラスＢに属するとされた画素のみを対象として、上述した場合と同様に回帰予測による予測値を演算する。
【０１０３】
このようにして、得られた予測値と真値とを比較して、ラベリング部２４がクラス分割部２８により判別クラスＢに属するとされた画素を、さらに判別クラスＡと判別クラスＢにラベリングする。
【０１０４】
つまり、生徒画像の画素が、４つの集合に分割されることになる。第１の集合は、クラス分割部２８により判別クラスＡに属するとされた画素であって、ラベリング部２４により判別クラスＡにラベリングされた画素の集合とされる。第２の集合は、クラス分割部２８により判別クラスＡに属するとされた画素であって、ラベリング部２４により判別クラスＢにラベリングされた画素の集合とされる。第３の集合は、クラス分割部２８により判別クラスＢに属するとされた画素であって、ラベリング部２４により判別クラスＡにラベリングされた画素の集合とされる。第４の集合は、クラス分割部２８により判別クラスＢに属するとされた画素であって、ラベリング部２４により判別クラスＢにラベリングされた画素の集合とされる。
【０１０５】
この後、判別係数学習部２５は、上述した４つの集合のうち、第１の集合と第２の集合に基づいて、あらためて判別係数zを、上述した場合と同様にして学習する。このとき、例えば、式（１２）のＮAとＮBが、それぞれ第１の集合の画素（サンプル）の総数と第２の集合の画素（サンプル）の総数とされる。また、判別係数学習部２５は、上述した４つの集合のうち、第３の集合と第４の集合に基づいて、あらためて判別係数zを、上述した場合と同様にして学習する。このとき、例えば、式（１２）のＮAとＮBが、それぞれ第３の集合の画素（サンプル）の総数と第４の集合の画素（サンプル）の総数とされる。
【０１０６】
図６と図７は、反復して行われる判別係数の学習を説明する図である。
【０１０７】
図６は、生徒画像から得られたタップ値であって、タップ値１を横軸とし、タップ値２を縦軸として生徒画像のタップのそれぞれを表す空間を示した図である。すなわち、同図においては、説明を簡単にするために、仮想的にタップの要素数を２個として生徒画像において存在し得る全てのタップを２次元空間上に表している。従って、同図においては、タップが２個の要素からなるベクトルであるものと仮定する。
【０１０８】
同図に示される円７１は、ラベリング部２４が最初に判別クラスＡとラベリングした画素に対応するタップの集合を表しており、円７２は、ラベリング部２４が最初に判別クラスＢとラベリングした画素に対応するタップの集合を表している。円７１に示される記号７３は、円７１に含まれるタップの要素の値の平均値の位置を表しており、円７１に示される記号７４は、円７２に含まれるタップの要素の値の平均値の位置を表している。
【０１０９】
同図に示されるように、円７１と円７２は、互いに重なり合っているので、生徒画像から得られたタップの要素の値のみに基づいて、正確に判別クラスＡとラベリングした画素に対応するタップと判別クラスＢとラベリングした画素に対応するタップとを判別することはできなかったことになる。
【０１１０】
しかしながら、記号７３と記号７４とに基づいて、おおよそ２つのクラスを判別するための境界線７５を特定することは可能である。ここで、境界線７５を特定する処理が、判別係数学習部２５により行われる第１回目の学習により得られた判別係数zを用いた判別予測部２７の判別予測の処理に対応することになる。なお、境界線７５上に位置するタップが、式（１０）により演算された予測値ｙiが０となったタップである。
【０１１１】
境界線７５の図中右側に位置するタップの集合を識別するために、クラス分割部２８がそれらのタップに対応する画素にクラスコードビット１を付与する。また、境界線７５の図中左側に位置するタップの集合を識別するために、図１のクラス分割部２８がそれらのタップに対応する画素にクラスコードビット０を付与する。
【０１１２】
なお、第１回目の学習により得られた判別係数zは、第１回目の判別予測に用いられる判別係数であることを表すコードなどに対応付けられて、図１の判別係数記憶部２６に記憶される。また、第１回目の判別予測の結果に基づいて、クラスコードビット１が付与された画素のみに基づいて、あらためて回帰係数wが学習されて回帰予測が行われる。同様に、第１回目の判別予測の結果に基づいて、クラスコードビット０が付与された画素のみに基づいて、あらためて回帰係数wが学習されて回帰予測が行われる。
【０１１３】
そして、クラスコードビット１が付与された画素群と、クラスコードビット０が付与された画素群のそれぞれに基づいて判別係数の学習が繰り返される。その結果、クラスコードビット１が付与された画素群がさらに２つに分割され、クラスコードビット２が付与された画素群もさらに２つに分割されることになる。このときの分割は、判別係数学習部２５により行われる第２回目の学習により得られた判別係数zを用いた判別予測部２７の判別予測によりなされることになる。
【０１１４】
なお、第２回目の学習により得られた判別係数zは、第２回目の判別予測に用いられる判別係数であることを表すコードなどに対応付けられて、図１の判別係数記憶部２６に記憶される。第２回目の学習により得られる判別係数zは、第１回目の判別予測によりクラスコードビット１が付与された画素群と、第１回目の判別予測によりクラスコードビット０が付与された画素群のそれぞれを対象として行われる判別予測に用いられるので、いずれの画素群を対象とする判別予測に用いられるものであるのかを表すコードなどに対応付けられて、図１の判別係数記憶部２６に記憶される。すなわち、第２回目の判別予測に用いられる判別係数zは、２種類記憶されることになる。
【０１１５】
また、第１回目と第２回目の判別予測の結果に基づいて、クラスコードビット１１が付与された画素のみに基づいて、あらためて回帰係数wが学習されて回帰予測が行われることになる。同様に、第１回目と第２回目の判別予測の結果に基づいて、クラスコードビット１０が付与された画素のみに基づいて、あらためて回帰係数wが学習されて回帰予測が行われることになる。さらに、第１回目と第２回目の判別予測の結果に基づいて、クラスコードビット０１が付与された画素のみに基づいて、あらためて回帰係数wが学習されて回帰予測が行われ、クラスコードビット００が付与された画素のみに基づいて、あらためて回帰係数wが学習されて回帰予測が行われることになる。
【０１１６】
このような処理を繰り返すことにより、図６に示される空間が図７に示されるように分割される。
【０１１７】
図７は、図６と同様に、タップ値１を横軸とし、タップ値２を縦軸として生徒画像のタップのそれぞれを表す空間を示した図である。同図では、判別係数学習部２５により３回反復して判別係数の学習が行われた場合の例が示されている。すなわち、第１回目の学習により得られた判別係数zを用いた判別予測により境界線７５が特定され、第２回目の学習により得られた判別係数zを用いた判別予測により境界線７６−１と境界線７６−２が特定される。第３回目の学習により得られた判別係数zを用いた判別予測により境界線７７−１乃至境界線７７−４が特定される。
【０１１８】
図１のクラス分割部２８は、境界線７５により分割されたタップの集合を識別するために、第１ビット目のクラスコードビットを付与し、境界線７６−１と境界線７６−２により分割されたタップの集合を識別するために、第２ビット目のクラスコードビットを付与し、境界線７７−１乃至境界線７７−４により分割されたタップの集合を識別するために、第３ビット目のクラスコードビットを付与する。
【０１１９】
従って、図７に示されるように、生徒画像のタップのそれぞれは、３ビットのクラスコードに基づいて特定されるクラス番号Ｃ0乃至Ｃ7の８つのクラスに分割（分類）されることになる。
【０１２０】
図７に示されるようにクラス分類された場合、図１の判別係数記憶部２６に、第１回目の判別予測に用いられる判別係数zが１種類記憶され、第２回目の判別予測に用いられる判別係数zが２種類記憶され、第３回目の判別予測に用いられる判別係数zが４種類記憶されていることになる。
【０１２１】
また、図７に示されるようにクラス分類された場合、図１の回帰係数記憶部２２に、クラス番号Ｃ0乃至Ｃ7のそれぞれに対応する８種類の回帰係数wが記憶されていることになる。ここで、クラス番号Ｃ0乃至Ｃ7のそれぞれに対応する８種類の回帰係数wは、第３回目の判別予測の結果、クラス番号Ｃ0乃至Ｃ7のそれぞれに分類された生徒画像の注目画素のタップと、注目画素に対応する教師画像の画素値とをサンプルとし、それぞれのクラス番号毎にあらためて回帰係数の学習が行われて記憶される。
【０１２２】
このように、生徒画像と教師画像を用いて予め判別係数zを学習しておき、入力された画像について反復して判別予測を繰り返せば、入力画像の画素をクラス番号Ｃ0乃至Ｃ7の８つのクラスに分類することが可能となる。そして、８つのクラスに分類された画素に対応するタップと、それぞれのクラスに対応する回帰係数wを用いて回帰予測を行えば、適切な高画質化処理を行うことが可能となる。
【０１２３】
図８は、入力画像を図７のようにクラス分類する場合の例を、２分木構造を用いて説明する図である。入力画像の各画素が、第１回目の判別予測によって、第１ビットのクラスコードビット１または０が付与された画素に分類される。このとき、判別予測に用いられる判別係数zは、反復コード１に対応する判別係数zとして図１の判別係数記憶部２６に記憶されているものとする。
【０１２４】
第１ビットのクラスコードビット１が付与された画素は、第２ビットのクラスコードビット１または０が付与された画素にさらに分類される。このとき、判別予測に用いられる判別係数zは、反復コード２１に対応する判別係数zとして図１の判別係数記憶部２６に記憶されているものとする。同様に、第１ビットのクラスコードビット０が付与された画素は、第２ビットのクラスコードビット１または０が付与された画素にさらに分類される。このとき、判別予測に用いられる判別係数zは、反復コード２２に対応する判別係数zとして図１の判別係数記憶部２６に記憶されているものとする。
【０１２５】
第１ビットおよび第２ビットのクラスコードビット１１が付与された画素は、第３ビットのクラスコードビット１または０が付与された画素にさらに分類される。このとき、判別予測に用いられる判別係数zは、反復コード３１に対応する判別係数zとして図１の判別係数記憶部２６に記憶されているものとする。第１ビットおよび第２ビットのクラスコードビット１０が付与された画素は、第３ビットのクラスコードビット１または０が付与された画素にさらに分類される。このとき、判別予測に用いられる判別係数zは、反復コード３２に対応する判別係数zとして図１の判別係数記憶部２６に記憶されているものとする。
【０１２６】
同様に、第１ビットおよび第２ビットのクラスコードビット０１または００が付与された画素も、第３ビットのクラスコードビット１または０が付与された画素にさらに分類される。そして、反復コード３３または反復コード３４に対応する判別係数zが図１の判別係数記憶部２６に記憶されているものとする。
【０１２７】
このように、３回反復して判別を行うことにより、入力画像の画素のそれぞれに３ビットからなるクラスコードが設定され、クラス番号が特定される。そして特定されたクラス番号に対応する回帰係数wも特定される。
【０１２８】
この例では、クラスコードビットを反復回数順に、上位から下位ビットに繋げた値がクラス番号に対応している。従って、最終的なクラスコードに対応するクラス番号Ｃkは、例えば、式（１６）のようにして特定される。
【０１２９】
【数１６】
【０１３０】
また、図８に示されるように，反復回数ｐと最終的なクラス数Ｎcとの関係は、式（１７）により表される。
【０１３１】
【数１７】
【０１３２】
なお、最終的なクラス数Ｎcは、最終的に使用する回帰係数wの総数Ｎmと等しくなる。
【０１３３】
判別係数zの総数Ｎdは、式（１８）により表される。
【０１３４】
【数１８】
【０１３５】
なお、後述する画像処理装置を用いた高画質化処理における判別予測において、適応的に反復回数を減らすことで、処理のロバスト化や高速化を図ることも可能である。そのようにする場合には図８の各分岐において用いられた回帰係数も必要になるので、回帰係数の総数は式（１９）により表されるものとなる。
【０１３６】
【数１９】
【０１３７】
ここでは、主として、判別係数の学習が３回反復して行われる例について説明したが、反復回数は、１回であってもよい。すなわち、第１回目の判別係数の学習が終了した後、判別係数学習部２５による判別係数zの演算、判別予測部２７による判別予測が繰り返し実行されないようにしてもよい。
【０１３８】
図９は、本発明の一実施の形態に係る画像処理装置の構成例を示すブロック図である。
同図の画像処理装置１００は、図１の学習装置１０に対応する画像処理装置とされる。すなわち、画像処理装置１００は、学習装置１０により学習された判別係数を用いて入力画像の各画素のそれぞれのクラスを判別する。そして、画像処理装置１００は、判別されたクラスに対応する回帰係数であって、学習装置１０により学習された判別係数を用いて入力画像から得られるタップの回帰予測演算を行い、入力画像を高画質化する画像処理を行うようになされている。
【０１３９】
すなわち、画像処理装置１００の判別係数記憶部１２２には、学習装置１０の判別係数記憶部２６に記憶されていた判別係数zが予め記憶される。画像処理装置１００の回帰係数記憶部１２４には、学習装置１０の回帰係数記憶部２２に記憶されていた回帰係数wが予め記憶される。
【０１４０】
同図の判別予測部１２１は、入力画像において注目画素を設定し、注目画素に対応するタップを取得して式（１０）を参照して予測した演算を行う。このとき、判別予測部１２１は、反復回数と判別予測の対象とする画素群に基づいて反復コードを特定し、判別係数記憶部１２２から反復コードに対応する判別係数zを読み出すようになされている。
【０１４１】
クラス分割部１２３は、判別予測部１２１の予測結果に基づいて、注目画素にクラスコードビットを付与していくことで、入力画像の画素を２つの集合に分割する。このとき、上述したように、例えば、式（１０）により演算された予測値yiと０との大小比較を行って、注目画素にクラスコードビットが付与される。
【０１４２】
クラス分割部１２３の処理を経て、判別予測部１２１は、反復して判別予測を行い、クラス分割部１２３によってさらなる分割がなされる。判別予測は、予め設定された回数だけ反復して行われる。例えば、判別予測が３回反復して行われる場合、例えば、図７または図８を参照して上述したように、入力画像が３ビットのクラスコードのクラス番号に対応する画素群に分類されることになる。
【０１４３】
なお、画像処理装置１００における判別予測の反復回数は、学習装置１０による判別係数の学習の反復回数と同じとなるように設定される。
【０１４４】
クラス分割部１２３は、入力画像の各画素を特定する情報とその画素のクラス番号とを対応付けて回帰係数記憶部１２４に供給するようになされている。
【０１４５】
回帰予測部１２５は、入力画像において注目画素を設定し、注目画素に対応するタップを取得して式（２）を参照して予測した演算を行う。このとき、回帰予測部１２５は、注目画素を特定する情報を回帰係数記憶部１２４に供給して、その注目画素のクラス番号に対応する回帰係数wを、回帰係数記憶部１２４から読み出すようになされている。
【０１４６】
そして、回帰予測部１２５の演算により得られた予測値を、注目画素に対応する画素の値とする出力画像が生成される。これにより、入力画像が高画質化された出力画像が得られることになる。
【０１４７】
このように、本発明によれば、入力画像に対して判別予測を行うことにより、入力画像を構成する各画素（実際には、注目画素に対応するタップ）を、高画質化処理に適したクラスに分類することができる。
【０１４８】
従来の技術では、例えば、１ビットＡＤＲＣなどを用いた入力画像の局所特徴量だけに応じた決め打ちのクラス分類になってしまうために、入力画像と教師画像の間を結ぶ回帰係数という意味では、必ずしも効率的な分類になっていないという問題があった。
【０１４９】
これに対して、本発明では、ノイズの含まれる画像からノイズが除去された画像を生成する処理、ぼけのある画像からぼけのない画像を生成する処理、低解像度の画像から高解像度の画像を生成する処理など、高画質化処理の目的に応じた適切なクラス分類方式が自動的に学習されるようにすることができる。
【０１５０】
また、本発明では、反復して判別予測を行うことにより、より適切にクラス分類することが可能となる。さらに、反復して行われる判別予測の処理の途中において、入力画像の画素値などに処理を施した中間データなどを生成する必要がないので、処理を高速化することが可能である。すなわち、出力画像を予測する際に，どの画素に対しても高々（ｐ＋１）回の予測式（式（２））の演算で、クラス分類と回帰予測を行うことができるので高速な処理が可能である。また、クラス分類と回帰予測を行う際に、タップの演算の中間データなどを用いることなく、常に入力に対する演算のみで完結しているために、実装においてパイプライン構造を利用することが可能となる。
【０１５１】
次に、図１０のフローチャートを参照して、判別係数回帰係数学習処理の詳細について説明する。この処理は、図１の学習装置１０により実行される。
【０１５２】
ステップＳ１０１において、判別係数学習部２５は、反復コードを特定する。いまの場合、第１回目の学習の処理であるから反復コードは１と特定される。
【０１５３】
ステップＳ１０２において、回帰係数学習部２１乃至ラベリング部２４は、図１１を参照して後述するラベリング処理を実行する。ここで、図１１のフローチャートを参照して図１０のステップＳ１０２のラベリング処理の詳細な例について説明する。
【０１５４】
ステップＳ１３１において、回帰係数学習部２１は、図１２を参照して後述する回帰係数学習処理を実行する。これにより、生徒画像の画素値に基づいて教師画像の画素値を予測するための演算に用いられる回帰係数wが求められる。
【０１５５】
ステップＳ１３２において、回帰予測部２３は、ステップＳ１３１の処理により求められた回帰係数wを用いて回帰予測値を演算する。このとき、例えば、式（２）の演算が行われ、予測値ｙiが求められる。
【０１５６】
ステップＳ１３３において、ラベリング部２４は、ステップＳ１３２の処理により得られた予測値yiを、教師画像の画素値である真値tiと比較する。
【０１５７】
ステップＳ１３４において、ラベリング部２４は、ステップＳ１３３の比較結果に基づいて、注目画素（実際には、注目画素に対応するタップ）を判別クラスＡまたは判別クラスＢにラベリングする。これにより、例えば、図５を参照して上述したように、判別クラスＡまたは判別クラスＢのラベリングがなされる。
【０１５８】
なお、ステップＳ１３２乃至ステップＳ１３４の処理は、反復コードに対応して定まる処理対象の画素のそれぞれを対象として行われる。
【０１５９】
このようにしてラベリング処理が実行される。
【０１６０】
次に、図１２のフローチャートを参照して、図１１のステップＳ１３１の回帰係数演算処理の詳細な例について説明する。
【０１６１】
ステップＳ１５１において、回帰係数学習部２１は、ステップＳ１０１の処理で特定された反復コードに対応するサンプルを特定する。ここでの、サンプルは、生徒画像の注目画素に対応するタップと、その注目画素に対応する教師画像の画素との組み合わせを意味する。例えば、反復コードが１であれば、第１回目の学習の処理なので、生徒画像の全画素のそれぞれを注目画素としてサンプルが特定される。例えば、反復コードが２１であれば、第２回目の学習の処理の一部なので、生徒画像の画素のうち、１回目の学習の処理でクラスコードビット１が付与された画素のそれぞれを注目画素としてサンプルが特定される。例えば、反復コードが３４であれば、第３回目の学習の処理の一部なので、生徒画像の画素のうち、１回目の学習の処理でクラスコードビット０が付与され、２回目の学習の処理でクラスコードビット０が付与された画素のそれぞれを注目画素としてサンプルが特定される。
【０１６２】
ステップＳ１５２において、回帰係数学習部２１は、ステップＳ１５１の処理で特定されたサンプルの足しこみを行う。このとき、例えば、式（１）にサンプルのタップと教師画像の画素値が足しこまれていく。
【０１６３】
ステップＳ１５３において、回帰係数学習部２１は、全サンプルを足しこんだか否かを判定し、全サンプルを足しこんだと判定されるまで、ステップＳ１５２の処理が繰り返し実行される。
【０１６４】
ステップＳ１５４において、回帰係数学習部２１は、式（６）乃至式（９）の演算により回帰係数wを導出する。
【０１６５】
このようにして、回帰係数演算処理が実行される。
【０１６６】
以上により図１０のステップＳ１０２のラベリング処理が終了し、処理は、図１０のステップＳ１０３の判別係数演算処理に進む。
【０１６７】
ステップＳ１０３において、判別係数学習部２５は、図１３を参照して後述する判別係数演算処理を実行する。ここで、図１３のフローチャートを参照して、図１０のステップＳ１０３の判別係数演算処理の詳細な例について説明する。
【０１６８】
ステップＳ１７１において、判別係数学習部２５は、ステップＳ１０１の処理で特定された反復コードに対応するサンプルを特定する。ここでの、サンプルは、生徒画像の注目画素に対応するタップと、注目画素についての判別クラスＡまたは判別クラスＢのラベリングの結果との組み合わせを意味する。例えば、反復コードが１であれば、第１回目の学習の処理なので、生徒画像の全画素のそれぞれを注目画素としてサンプルが特定される。例えば、反復コードが２１であれば、第２回目の学習の処理の一部なので、生徒画像の画素のうち、１回目の学習の処理でクラスコードビット１が付与された画素のそれぞれを注目画素としてサンプルが特定される。例えば、反復コードが３４であれば、第３回目の学習の処理の一部なので、生徒画像の画素のうち、１回目の学習の処理でクラスコードビット０が付与され、２回目の学習の処理でクラスコードビット０が付与された画素のそれぞれを注目画素としてサンプルが特定される。
【０１６９】
ステップＳ１７２において、判別係数学習部２５は、ステップＳ１７１の処理で特定されたサンプルの足しこみを行う。このとき、例えば、式（１１）にサンプルのタップと、判別クラスＡまたは判別クラスＢのラベリングの結果に基づく数値が足しこまれていく。
【０１７０】
ステップＳ１７３において、判別係数学習部２５は、全サンプルを足しこんだか否かを判定し、全サンプルを足しこんだと判定されるまで、ステップＳ１７２の処理が繰り返し実行される。
【０１７１】
ステップＳ１７４において、判別係数学習部２５は、式（１２）乃至式（１５）の演算により判別係数zを導出する。
【０１７２】
このようにして、判別係数演算処理が実行される。
【０１７３】
図１０に戻って、ステップＳ１０４において、判別予測部２３は、ステップＳ１０３の処理により求められた係数zと、生徒画像から得られるタップを用いて、判別予測値を演算する。このとき、例えば、式（１０）の演算が行われ、予測値ｙi（判別予測値）が求められる。
【０１７４】
ステップＳ１０５において、クラス分割部２８は、ステップＳ１０４の処理により求められた判別予測値が０以上であるか否かを判定する。
【０１７５】
ステップＳ１０５において、判別予測値が０以上であると判定された場合、処理は、ステップＳ１０６に進み、当該注目画素（実際にはタップ）にクラスコードビット１が設定される。一方、ステップＳ１０５において、判別予測値が０未満であると判定された場合、処理は、ステップＳ１０７に進み、当該注目画素（実際にはタップ）にクラスコードビット０が設定される。
【０１７６】
なお、ステップＳ１０４乃至ステップＳ１０７の処理は、反復コードに対応して定まる処理対象の画素のそれぞれを対象として行われる。
【０１７７】
ステップＳ１０６、またはステップＳ１０７の処理の後、処理は、ステップＳ１０８に進み、判別係数記憶部２６は、ステップＳ１０３の処理で求められた判別係数zを、ステップＳ１０１で特定された反復コードに対応付けて記憶する。
【０１７８】
ステップＳ１０９において、学習装置１０は、反復が終了したか否かを判定する。例えば、３回反復して学習することが予め設定されている場合、まだ、反復が終了していないと判定され、処理は、ステップＳ１０１に戻る。
【０１７９】
そして、ステップＳ１０１において、あらためて反復コードが特定される。いまの場合、第２回目の学習の最初の処理であるから、反復コードは２１と特定される。
【０１８０】
そして、同様に、ステップＳ１０２乃至Ｓ１０８の処理が実行される。このとき、上述したように、ステップＳ１０２の処理と、ステップＳ１０３の処理では、生徒画像の画素のうち、１回目の学習の処理でクラスコードビット１が付与された画素のそれぞれを注目画素としてサンプルが特定されることになる。
【０１８１】
そして、ステップＳ１０９で反復が終了したか否かが判定される。
【０１８２】
このように、ステップＳ１０９において反復が終了したと判定されるまで、ステップＳ１０１乃至Ｓ１０８の処理が繰り返し実行される。３回反復して学習することが予め設定されている場合、ステップＳ１０１で反復コードは３４であると特定された後、ステップＳ１０２乃至Ｓ１０８の処理が実行され、ステップＳ１０９において、反復は終了したと判定されることになる。
【０１８３】
このように、ステップＳ１０１乃至Ｓ１０９の処理が繰り返し実行されたことにより、図８を参照して上述したように、７種類の判別係数zが、それぞれ反復コードに対応付けられて判別係数記憶部２６に記憶されたことになる。
【０１８４】
ステップＳ１０９において、反復は終了したと判定された場合、処理は、ステップＳ１１０に進む。
【０１８５】
ステップＳ１１０において、回帰係数学習部２１は、回帰係数演算処理を実行する。この処理は、図１２のフローチャートを参照して上述した場合と同様なので、詳細な説明は省略するが、いまの場合、ステップＳ１５１では、反復コードに対応するサンプルが特定されるのではなく、各クラス番号に対応するサンプルがそれぞれ特定される。
【０１８６】
すなわち、ステップＳ１０１乃至Ｓ１０９の処理が繰り返し実行されたことにより、図８を参照して上述したように、生徒画像の各画素は、クラス番号Ｃ0乃至Ｃ7のいずれかのクラスに分類されたことになる。従って、生徒画像のクラス番号Ｃ0の画素を、注目画素としてサンプルが特定されて、第１の回帰係数wが導出される。また、生徒画像のクラス番号Ｃ１の画素を、注目画素としてサンプルが特定されて、第２の回帰係数wが導出され、生徒画像のクラス番号Ｃ２の画素を、注目画素としてサンプルが特定されて、第３の回帰係数wが導出され、・・・生徒画像のクラス番号Ｃ７の画素を、注目画素としてサンプルが特定されて、第８の回帰係数wが導出される。
【０１８７】
つまり、ステップＳ１１０の回帰係数演算処理においては、クラス番号Ｃ0乃至Ｃ7のそれぞれに対応する８種類の回帰係数wが求められることになる。
【０１８８】
ステップＳ１１１において、回帰係数記憶部２２は、ステップＳ１１０の処理により求められた８種類の回帰係数wのそれぞれを、クラス番号に対応付けて記憶する。
【０１８９】
このようにして、判別回帰係数学習処理が実行される。
【０１９０】
なお、ここでは、主として、判別係数の学習が３回反復して行われる例について説明したが、反復回数は、１回であってもよい。すなわち、第１回目の判別係数の学習が終了した後、判別係数学習部２５による判別係数zの演算、判別予測部２７による判別予測が繰り返し実行されないようにしてもよい。
【０１９１】
次に、図１４のフローチャートを参照して、判別回帰予測処理の例について説明する。この処理は、図９の画像処理装置１００により実行される。また、処理の実行に先立って、画像処理装置１００の判別係数記憶部１２２と回帰係数記憶部１２４には、それぞれ、図１０の判別回帰係数学習処理によって、判別係数記憶部２６に記憶された７種類の判別係数zと、回帰係数記憶部２２に記憶された８種類の回帰係数wとが記憶されているものとする。
【０１９２】
ステップＳ１９１において、判別予測部１２１は、反復コードを特定する。いまの場合、第１回目の判別の処理であるから反復コードは１と特定される。
【０１９３】
ステップＳ１９２において、判別予測部１２１は、図１５を参照して後述する判別処理を実行する。ここで、図１５のフローチャートを参照して、図１４のステップＳ１９２の判別処理の詳細な例について説明する。
【０１９４】
ステップＳ２１１において、判別予測部１２１は、反復コードに対応する注目画素を設定する。例えば、反復コードが１であれば、第１回目の判別の処理なので、入力画像の全画素のそれぞれが注目画素として設定される。例えば、反復コードが２１であれば、第２回目の判別の処理の一部なので、入力画像の画素のうち、１回目の判別の処理でクラスコードビット１が付与された画素のそれぞれが注目画素として設定される。例えば、反復コードが３４であれば、第３回目の判別の処理の一部なので、入力画像の画素のうち、１回目の判別の処理でクラスコードビット０が付与され、２回目の判別の処理でクラスコードビット０が付与された画素のそれぞれが注目画素として設定される。
【０１９５】
ステップＳ２１２において、判別予測部１２１は、ステップＳ２１１で設定された注目画素に対応するタップを取得する。
【０１９６】
ステップＳ２１３において、判別予測部１２１は、ステップＳ２１１の処理で特定された反復コードに対応する判別係数zを特定し、判別係数記憶部１２２から読み出す。
【０１９７】
ステップＳ２１４において、判別予測部１２１は、判別予測値を演算する。このとき、例えば、上述した式（１０）の演算が行われることになる。
【０１９８】
ステップＳ２１５において、クラス分割部１２３は、ステップＳ２１４の処理で演算された判別予測値に基づいて、注目画素にクラスコードビットを設定（付与）する。このとき、上述したように、例えば、式（１０）により演算された予測値yiと０との大小比較を行って、注目画素にクラスコードビットが付与される。
【０１９９】
なお、ステップＳ２１１乃至ステップＳ２１５の処理は、反復コードに対応して定まる処理対象の画素のそれぞれを対象として行われる。
【０２００】
このようにして、判別処理が実行される。
【０２０１】
図１４に戻って、ステップＳ１９２の処理の後、ステップＳ１９３において、判別予測部１２１は、反復が終了したか否かを判定する。例えば、３回反復して学習することが予め設定されている場合、まだ、反復が終了していないと判定され、処理は、ステップＳ１９１に戻る。
【０２０２】
この後、ステップＳ１９１では反復コードが２１と特定され、同様に、ステップＳ１９２の処理が実行される。このとき、上述したように、ステップＳ１９２の処理では、入力画像の画素のうち、１回目の判別の処理でクラスコードビット１が付与された画素のそれぞれが注目画素として設定されることになる。
【０２０３】
そして、ステップＳ１９３で反復が終了したか否かが判定される。
【０２０４】
このように、ステップＳ１９３において反復が終了したと判定されるまで、ステップＳ１９１乃至Ｓ１９３の処理が繰り返し実行される。３回反復して学習することが予め設定されている場合、ステップＳ１９１で反復コードは３４であると特定された後、ステップＳ１９２の処理が実行され、ステップＳ１９３において、反復は終了したと判定されることになる。
【０２０５】
ステップＳ１９３においては、反復が終了したと判定された場合、処理は、ステップＳ１９４に進む。なお、ここまでの処理により、図７または図８を参照して上述したように、入力画像が３ビットのクラスコードのクラス番号に対応する画素群に分類されていることになる。また、上述したように、クラス分割部１２３は、入力画像の各画素を特定する情報とその画素のクラス番号とを対応付けて回帰係数記憶部１２４に供給するようになされている。
【０２０６】
ステップＳ１９４において、回帰予測部１２５は、入力画像において注目画素を設定する。
【０２０７】
ステップＳ１９５において、回帰予測部１２５は、ステップＳ１９４で設定された注目画素に対応するタップを取得する。
【０２０８】
ステップＳ１９６において、回帰予測部１２５は、ステップＳ１９４で設定された注目画素を特定する情報を回帰係数記憶部１２４に供給して、その注目画素のクラス番号に対応する回帰係数wを特定し、回帰係数記憶部１２４から読み出す。
【０２０９】
ステップＳ１９７において、回帰予測部１２５は、ステップＳ１９５で取得したタップと、ステップＳ１９６で特定して読み出した回帰係数wを用いて式（２）の演算を行い、回帰予測値を演算する。
【０２１０】
なお、ステップＳ１９１乃至ステップＳ１９７の処理は、入力画像の各画素のそれぞれを対象として行われる。
【０２１１】
そして、回帰予測部１２５の演算により得られた予測値を、注目画素に対応する画素の値とする出力画像が生成される。これにより、入力画像が高画質化された出力画像が得られることになる。
【０２１２】
このようにして判別予測処理が実行される。このようにすることで、画像の高画質化処理を、より効率的で高速に行うことができる
【０２１３】
図１６は、本発明の学習装置１０と画像処理装置１００を用いた高画質化処理の効果を説明する図である。
【０２１４】
同図は、横軸を判別係数の学習および判別予測の反復回数とし、縦軸をS/N比とし、ノイズが付加された画像である入力画像に対して、本発明の画像処理装置１００または従来の画像処理装置による画像処理を施して得られた画像の特性を示した図である。同図の図中三角形の記号でプロットされた点が、本発明の画像処理装置１００による画像処理を施して得られた画像の特性を示し、図中菱形の記号でプロットされた点が、従来の画像処理装置による画像処理を施して得られた画像の特性を示している。
【０２１５】
ここで、従来の画像処理装置による画像処理は、図１７に示されるようなクラスタップを用いて行われるクラス分類適応処理による画像処理である。すなわち、従来の画像処理装置による画像処理は、入力画像について、図１７の図中ハッチングされた円で示される画素を注目画素とし、９（＝３×３）個の画素の画素値に基づく１bitADRC (Adaptive Dynamic Range Coding)コードを算出し、その１bitADRCコード毎にクラス分類するものである。従来のクラス分類適応処理による画像処理については、例えば、特開平７−７９４１８号公報などに詳細に記載されている。
【０２１６】
図１７に示されるようなクラスタップを取得して従来のクラス分類適応処理による画像処理を行う場合、入力画像の各画素は、それぞれ５１２（＝２9）通りのクラスに分類されることになる。本発明の学習装置１０において、９回反復して判別係数の学習を行った場合、入力画像の各画素が５１２通りのクラスに分類されることになるから、同図において、本発明の画像処理装置１００による画像処理の反復回数９回に対応する位置に、従来の画像処理装置による画像処理が施された画像の特性値が記されている。実際には、従来の画像処理装置による画像処理の反復回数は１回のみである（そもそも従来のクラス分類適応処理による画像処理では反復が想定されていない）。
【０２１７】
また、本発明の画像処理装置１００においては、図２に示される線形特徴量に、式（３）により得られる、注目画素の周辺の画素値の水平微分絶対値および垂直微分絶対値、および式（４）により得られる、注目画素の周辺の画素値の最大値および最小値、並びに水平微分絶対値の最大値および垂直微分絶対値の最大値を、非線形特徴量として加えたものをタップとしている。本発明の画像処理装置１００において反復回数ｐの値を９とした場合、判別係数zの種類の数Nd、および回帰係数wの種類の数Nmは、式（２０）により表される。
【０２１８】
【数２０】
【０２１９】
図１６においては、正規乱数ノイズ（σ＝１０.０）のノイズが含まれた入力画像を、それぞれ本発明の画像処理装置１００と、従来の画像処理装置により高画質化処理している。同図のS/N比の値の評価式は、式（２１）を用いている。
【０２２０】
【数２１】
【０２２１】
同図に示されるように、従来の方式と比較して、本発明による画像処理が施された画像の特性は、約１dBほどS/N比の値が改善されている。
【０２２２】
図１８は、やはり、本発明の学習装置１０と画像処理装置１００を用いた高画質化処理の効果を説明する図である。
【０２２３】
同図は、図１６の場合と同様に、横軸を判別係数の学習および判別予測の反復回数とし、縦軸をS/N比とし、ノイズが付加された画像である入力画像に対して、本発明の画像処理装置１００または従来の画像処理装置による画像処理を施して得られた画像の特性を示した図である。同図の図中三角形の記号でプロットされた点が、本発明の画像処理装置１００による画像処理を施して得られた画像の特性を示し、図中菱形の記号でプロットされた点が、従来の画像処理装置による画像処理を施して得られた画像の特性を示している。
【０２２４】
ここで、従来の画像処理装置による画像処理は、図１７を参照して上述した場合と同様である。また、本発明の画像処理装置１００においては、図１６の場合と同様のものをタップとしている。
【０２２５】
図１８においては、空間的な正規分布状のボケ劣化（σ＝１.５）が含まれた入力画像を、それぞれ本発明の画像処理装置１００と、従来の画像処理装置により高画質化処理している。同図のS/N比の値の評価式は、式（２１）を用いている
【０２２６】
同図に示されるように、従来の方式と比較して、本発明による画像処理が施された画像の特性は、約０.５dBほどS/N比の値が改善されている。
【０２２７】
図１９は、やはり、本発明の学習装置１０と画像処理装置１００を用いた高画質化処理の効果を説明する図である。
【０２２８】
同図は、図１６の場合と同様に、横軸を判別係数の学習および判別予測の反復回数とし、縦軸をS/N比とし、ノイズが付加された画像である入力画像に対して、本発明の画像処理装置１００または従来の画像処理装置による画像処理を施して得られた画像の特性を示した図である。同図の図中三角形の記号でプロットされた点が、本発明の画像処理装置１００による画像処理を施して得られた画像の特性を示し、図中菱形の記号でプロットされた点が、従来の画像処理装置による画像処理を施して得られた画像の特性を示している。
【０２２９】
ここで、従来の画像処理装置による画像処理は、図１７を参照して上述した場合と同様である。また、本発明の画像処理装置１００においては、図１６の場合と同様のものをタップとしている。
【０２３０】
図１９においては、空間的に水平／垂直方向に１／３のサイズに縮小されて帯域劣化した入力画像を、それぞれ本発明の画像処理装置１００と、従来の画像処理装置により高画質化処理（いまの場合、画像の拡大処理）している。すなわち、図１９の例は、ダウンコン劣化した画像をアップコン（３×３倍）するものである。同図のS/N比の値の評価式は、式（２１）を用いている
【０２３１】
同図に示されるように、従来の方式と比較して、本発明による画像処理が施された画像の特性は、約０.２dBほどS/N比の値が改善されている。
【０２３２】
図１６、図１８、図１９に示されるように、本発明により、従来と比較してより効果的な高画質化処理を行うことが可能となる。
【０２３３】
すなわち、本発明によれば、正規乱数ノイズ（σ＝１０.０）のノイズが含まれた入力画像の場合、空間的な正規分布状のボケ劣化（σ＝１.５）が含まれた入力画像の場合、ダウンコン劣化した入力画像の場合のいずれにおいても従来の方式よりも適切に高画質化処理を行うことが可能である。また、図１６、図１８、図１９に示した例以外にも、本発明を、画像の高画質化に関係する様々なアプリケーションプログラムなどに応用することが可能である。例えば、本発明を、ノイズ除去、符号化歪除去、ボケ除去、解像度創造、階調創造、デモザイキング、IP変換等に関係する高画質化処理のアプリケーションプログラムなどに適用することが可能である。
【０２３４】
さらに、本発明によれば、ノイズ除去、符号化歪除去、ボケ除去、・・・など画像の劣化原因が複数あった場合でも適切に高画質化処理を行うことができる。例えば、ノイズ、符号化歪、およびボケを含んだ画像であっても、本発明により適切に高画質化処理を施すことが可能である。また、本発明では、このように、画像の劣化原因が複雑化した場合であっても、判別係数zまたは回帰係数wの要素数および種類の数を増やすことなく、適切に高画質化処理を施すことが可能である。
【０２３５】
ところで、本発明においては、上述したように、図２に示される線形特徴量に、式（３）により得られる、注目画素の周辺の画素値の水平微分絶対値および垂直微分絶対値、および式（４）により得られる、注目画素の周辺の画素値の最大値および最小値、並びに水平微分絶対値の最大値および垂直微分絶対値の最大値を、非線形特徴量として加えたものをタップとしている。非線形特徴量を加えたタップを用いる場合の高画質化処理における効果について、図２０を参照して説明する。
【０２３６】
図２０は、やはり、本発明の学習装置１０と画像処理装置１００を用いた高画質化処理の効果を説明する図である。
【０２３７】
同図は、図１６の場合と同様に、横軸を判別係数の学習および判別予測の反復回数とし、縦軸をS/N比とし、ノイズが付加された画像である入力画像に対して、本発明の画像処理装置１００または従来の画像処理装置による画像処理を施して得られた画像の特性を示した図である。同図の図中三角形の記号でプロットされた点が、本発明の画像処理装置１００による画像処理を施して得られた画像の特性を示し、図中四角形（菱形）の記号でプロットされた点が、従来の画像処理装置１００による画像処理を施して得られた画像の特性を示している。
【０２３８】
ここで、従来の画像処理装置による画像処理は、図１７を参照して上述した場合と同様である。また、本発明の画像処理装置１００においては、図１６の場合と同様のものをタップとしている。
【０２３９】
図２０においては、正規乱数ノイズ（σ＝１０.０）のノイズが含まれた入力画像を、それぞれ本発明の画像処理装置１００と、従来の画像処理装置により高画質化処理している。同図のS/N比の値の評価式は、式（２１）を用いている。同図の点線が、図２に示される生徒画像から得られる線形特徴量のみのタップを用いた本発明の画像処理装置１００による高画質化処理により得られた画像の特性を表している。また、同図の実線が、図２に示される生徒画像から得られる線形特徴量に、式（３）により得られる、注目画素の周辺の画素値の水平微分絶対値および垂直微分絶対値、および式（４）により得られる、注目画素の周辺の画素値の最大値および最小値、並びに水平微分絶対値の最大値および垂直微分絶対値の最大値を、非線形特徴量として加えたタップを用いた本発明の画像処理装置１００による高画質化処理により得られた画像の特性を表している。
【０２４０】
同図に示されるように、線形特徴量のみのタップを用いる場合と比較して、非線形特徴量を加えたタップを用いる高画質化処理が施された画像の特性は、約０.５dBほどS/N比の値が改善されている。
【０２４１】
また、図２０の菱形でプロットされた点が、図１７に示される線形特徴量のみのタップを用いた従来の画像処理装置による高画質化処理により得られた画像の特性を表している。また、同図の四角形でプロットされた点が、図１７に示される線形特徴量に、式（３）により得られる、注目画素の周辺の画素値の水平微分絶対値および垂直微分絶対値、および式（４）により得られる、注目画素の周辺の画素値の最大値および最小値、並びに水平微分絶対値の最大値および垂直微分絶対値の最大値を、非線形特徴量として加えたタップを用いた従来の画像処理装置による高画質化処理により得られた画像の特性を表している。
【０２４２】
同図に示されるように、従来の方式においても、線形特徴量のみのタップを用いる場合と比較して、非線形特徴量を加えたタップを用いる高画質化処理が施された画像の特性は、約０.４dBほどS/N比の値が改善されている。
【０２４３】
非線形特徴量を加えたタップを用いる高画質化処理を従来のクラス分類適応処理に適用する場合、例えば、次のような処理となる。
【０２４４】
入力画像において、クラスタップについては、線形特徴量のみのタップを用いる場合と同じように図１７に示されるタップを取得する。そのため、９個の要素の値に基づく１bitADRC (Adaptive Dynamic Range Coding)コードを算出し、算出された１bitADRCコード毎に、注目画素をクラス分類する。
【０２４５】
また、予測タップとしては、図２に示される生徒画像から得られる線形特徴量に、式（３）により得られる、注目画素の周辺の画素値の水平微分絶対値および垂直微分絶対値、および式（４）により得られる、注目画素の周辺の画素値の最大値および最小値、並びに水平微分絶対値の最大値および垂直微分絶対値の最大値を、非線形特徴量として加えたものを用いる。そのタップの要素のそれぞれに回帰係数wを乗じることで、式（２）を参照して上述した回帰演算を行った予測値を演算する。そして、得られた予測値を、注目画素に対応する画素の値とする出力画像が生成される。これにより、入力画像が高画質化された出力画像が得られることになり、その出力画像の特性は、上述したように、線形特徴量のみのタップを用いる場合と比較してS/N比の値が改善されたものとなる。
【０２４６】
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図２１に示されるような汎用のパーソナルコンピュータ７００などに、ネットワークや記録媒体からインストールされる。
【０２４７】
図２１において、CPU（Central Processing Unit）７０１は、ROM（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からRAM（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。RAM７０３にはまた、CPU７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０２４８】
CPU７０１、ROM７０２、およびRAM７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。
【０２４９】
入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、CRT(Cathode Ray Tube)、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７、ハードディスクなどより構成される記憶部７０８、モデム、LANカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。
【０２５０】
入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。
【０２５１】
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。
【０２５２】
なお、この記録媒体は、図２１に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。
【０２５３】
なお、本明細書において上述した一連の処理は、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【符号の説明】
【０２５４】
１０ 学習装置， ２１ 回帰係数学習部， ２２ 回帰係数記憶部， ２３ 回帰予測部， ２４ ラベリング部， ２５ 判別係数学習部， ２６ 判別係数記憶部， ２７ 判別予測部， ２８ クラス分割部， １００ 画像処理装置， １２１ 判別予測部， １２２ 判別係数記憶部， １２３ クラス分割部， １２４ 回帰係数記憶部， １２５ 回帰予測部， ７０１ ＣＰＵ， ７０２ ROM， ７１１ リムーバブルメディア
【技術分野】
【０００１】
本発明は、画像処理装置および係数学習装置に関し、特に、高画質化処理の対象となる画像の特徴量を、より適確に認識することができるようにする画像処理装置および係数学習装置に関する。
【背景技術】
【０００２】
劣化を含んだ生徒（入力）画像から教師画像を予測する上で、全画面を生徒（入力）画像の線形和で表されるような1つのモデルで処理するには精度に問題がある。そのため、生徒（入力）画像を局所の特徴量に応じてクラス分類し、クラス毎に回帰係数を切り替える手段が行われる。従来より、クラス分類に1bitADRCやK-meansアルゴリズムを用いるものが提案されている。
【０００３】
例えば、標準テレビジョン信号（ＳＤ信号）を高解像度の信号（ＨＤ信号）に変換するために、クラス分類適応処理を用いる手法が提案されている（例えば、特許文献１参照）。
【０００４】
特許文献１の技術により、ＳＤ信号をＨＤ信号に変換する場合、まず、入力ＳＤ信号からなるクラスタップの特徴を、ＡＤＲＣ（適応的ダイナミックレンジ符号化）等を用いて求め、得られたクラスタップの特徴に基づいてクラス分類を行う。そして、そのクラス毎に用意された予測係数と、入力ＳＤ信号からなる予測タップとの演算を行うことによって、ＨＤ信号を得る。
【０００５】
クラス分類は、予測値を求めようとする高Ｓ／Ｎ画素の位置に対応する低Ｓ／Ｎ画像の位置から空間的または時間的に近い位置にある低Ｓ／Ｎ画素の画素値のパターンによって、各高Ｓ／Ｎ画素を、いわばグループ分けするものであり、適応処理は、各グループ（上述のクラスに相当する）ごとに、そのグループに属する高Ｓ／Ｎ画素に対して、より適した予測係数を求めて、その予測係数により、画質の向上を図るものであるから、クラス分類は、基本的には、予測値を求めようとする高Ｓ／Ｎ画素に関係する、より多くの画素からクラスタップを構成して行うのが望ましい。
【０００６】
【特許文献１】特開平７−７９４１８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、例えば、特許文献１のように、画素値のパターンによってグループ分けする方式では、クラス分類が画一的なものとなってしまう。このため、画質の劣化度合いや注目画素の位置によっては、適切にクラス分類ができなくなることがある。特許文献１の技術は、クラス分類によって認識されたクラスに応じた予測係数を用いることで高画質化された画像の画素値を演算するものなので、適切にクラス分類ができなければ、適切な画素値を演算できない。
【０００８】
このように、従来の技術のように、画素値のパターンなどの線形特徴量だけを用いたクラス分類による高画質化処理の限界が懸念される。
【０００９】
本発明はこのような状況に鑑みてなされたものであり、高画質化処理の対象となる画像の特徴量を、より適確に認識することができるようにするものである。
【課題を解決するための手段】
【００１０】
本発明の第１の側面は、第１の画像データの注目画素に対応する線形特徴量、および前記画像データより求められる非線形特徴量を要素として構成されるタップに応じてクラス毎に回帰係数データが格納されている記憶手段と、入力される前記第１の画像の複数の入力データの線形特徴量を所定のクラスに分類する分類手段と、前記分類手段で求めたクラスに対応した前記回帰係数データを前記記憶手段から読み出す読み出し手段と、前記読み出し手段から読み出された前記回帰係数データと入力される前記第１の画像の複数の入力データの前記タップの要素とを用いて積和演算処理を行うことによって、前記第１の画像を高画質化した第２の画像のデータを生成する画像データ生成手段とを備える画像処理装置である。
【００１１】
前記非線形特徴量は、注目画素の周辺画素位置の水平、垂直の微分絶対値であるようにすることができる。
【００１２】
前記非線形特徴量は、注目画素の周辺画素値の最大、最小値であるようにすることができる。
【００１３】
前記非線形特徴量は、注目画素の周辺画素位置の水平、垂直の微分絶対値の最大値であるようにすることができる。
【００１４】
第１の画像データの注目画素に対応する線形特徴量のそれぞれと予め記憶されている判別係数との積和演算により前記注目画素が属する判別クラスを特定するための判別予測値を求める判別予測演算を行う判別予測手段をさらに備え、前記分類手段は、前記判別予測値に基づいて、前記第１の信号の画像の注目画素のそれぞれを、所定のクラスに分類するようにすることができる。
【００１５】
本発明の第１の側面においては、第１の画像データの注目画素に対応する線形特徴量、および前記画像データより求められる非線形特徴量を要素として構成されるタップに応じてクラス毎に回帰係数データが格納され、入力される前記第１の画像の複数の入力データの線形特徴量が所定のクラスに分類され、前記クラスに対応した前記回帰係数データが読み出され、前記読み出された前記回帰係数データと入力される前記第１の画像の複数の入力データの前記タップの要素とを用いて積和演算処理を行うことによって、前記第１の画像を高画質化した第２の画像のデータが生成される。
【００１６】
本発明の第２の側面は、第２の画像の画質を変化させて得られる第１の画像の複数の入力データの注目画素に対応する線形特徴量を所定のクラスに分類する分類手段と、前記分類手段で求めたクラス毎に、前記第２の画像の画素値を求めるための積和演算であって、前記第１の画像の複数の入力データの線形特徴量及び前記複数の入力データより求められる非線形特徴量を要素として構成されるタップと回帰係数とを用いた積和演算の回帰係数を算出する回帰係数算出手段と、前記算出された前記回帰係数を、前記分類されたクラス毎に記憶する記憶手段とを備える係数学習装置である。
【００１７】
前記非線形特徴量は、注目画素の周辺画素位置の水平、垂直の微分絶対値であるようにすることができる。
【００１８】
前記非線形特徴量は、注目画素の周辺画素値の最大、最小値であるようにすることができる。
【００１９】
前記非線形特徴量は、注目画素の周辺画素位置の水平、垂直の微分絶対値の最大値であるようにすることができる。
【００２０】
第１の画像データの注目画素に対応する線形特徴量のそれぞれと予め記憶されている判別係数との積和演算により前記注目画素が属する判別クラスを特定するための判別予測値を求める判別予測演算を行う判別予測手段をさらに備え、前記分類手段は、前記判別予測値に基づいて、前記第１の信号の画像の注目画素のそれぞれを、所定のクラスに分類するようにすることができる。
【００２１】
本発明の第２の側面においては、第２の画像の画質を変化させて得られる第１の画像の複数の入力データの注目画素に対応する線形特徴量が所定のクラスに分類され、前記クラス毎に、前記第２の画像の画素値を求めるための積和演算であって、前記第１の画像の複数の入力データの線形特徴量及び前記複数の入力データより求められる非線形特徴量を要素として構成されるタップと回帰係数とを用いた積和演算の回帰係数が算出され、前記算出された前記回帰係数が、前記分類されたクラス毎に記憶される。
【発明の効果】
【００２２】
本発明によれば、高画質化処理の対象となる画像の特徴量を、より適確に認識することができるようにする。
【図面の簡単な説明】
【００２３】
【図１】本発明の一実施の形態に係る学習装置の構成例を示すブロック図である。
【図２】タップの要素となる画素の例を示す図である。
【図３】水平微分絶対値および垂直微分絶対値の演算に用いられるフィルタの例を示す図である。
【図４】水平微分値の演算例を説明する図である。
【図５】図１のラベリング部の処理を説明するヒストグラムである。
【図６】反復して行われる判別係数の学習を説明する図である。
【図７】反復して行われる判別係数の学習を説明する図である。
【図８】入力画像を図７のようにクラス分類する場合の例を、２分木構造を用いて説明する図である。
【図９】図１の学習装置に対応する画像処理装置の構成例を示すブロック図である。
【図１０】図１の学習装置による判別回帰係数学習処理の例を説明するフローチャートである。
【図１１】ラベリング処理の例を説明するフローチャートである。
【図１２】回帰係数演算処理の例を説明するフローチャートである。
【図１３】判別係数演算処理の例を説明するフローチャートである。
【図１４】図９の画像処理装置による判別回帰予測処理の例を説明するフローチャートである。
【図１５】判別処理の例を説明するフローチャートである。
【図１６】本発明の学習装置と画像処理装置を用いた高画質化処理の効果を説明する図である。
【図１７】従来のクラス分類適応処理のクラスタップの例を説明する図である。
【図１８】本発明の学習装置と画像処理装置を用いた高画質化処理の効果を説明する図である。
【図１９】本発明の学習装置と画像処理装置を用いた高画質化処理の効果を説明する図である。
【図２０】非線形特徴量を加えたタップを用いる場合の高画質化処理における効果について説明する図である。
【図２１】パーソナルコンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００２４】
以下、図面を参照して、本発明の実施の形態について説明する。
【００２５】
図１は、本発明の一実施の形態に係る学習装置の構成例を示すブロック図である。
【００２６】
この学習装置１０は、画像の高画質化処理に用いられる学習装置とされ、入力された生徒画像および教師画像（または教師信号）のデータに基づいて、高画質化処理において用いられる係数を生成するようになされている。ここで、高画質化処理は、例えば、ノイズの含まれる画像からノイズが除去された画像を生成する処理、ぼけのある画像からぼけのない画像を生成する処理、低解像度の画像から高解像度の画像を生成する処理、あるいはそれらの複合問題を解決する処理などとされる。
【００２７】
学習装置１０は、生徒画像を入力画像として、教師画像に近い高画質の画像を出力画像として生成するための係数である回帰係数を学習するようになされている。詳細は後述するが、回帰係数は、入力画像の注目画素に対応する複数の画素の値から得られる特徴量をパラメータとし、高画質化された画像において注目画素に対応する画素の値を演算する線形一次式に用いられる係数とされる。なお、回帰係数は、後述するクラス番号毎に学習される。
【００２８】
また、学習装置１０は、入力画像の注目画素に対応する複数の画素値およびそれらの画素値から得られる特徴量に基づいて、注目画素を、複数のクラスのうちのいずれかにクラス分けする。すなわち、学習装置１０は、入力画像の注目画素のそれぞれが、高画質化処理のためのどのクラスに属する画素であるかを特定するための判別係数を学習するようになされている。詳細は後述するが、判別係数は、入力画像の注目画素に対応する複数の画素の値から得られる特徴量をパラメータとする線形一次式に用いられる係数とされる。
【００２９】
すなわち、学習装置１０により学習された判別係数を用いて、入力画像の注目画素に対応する複数の画素値およびそれらの画素値から得られる特徴量をパラメータとした線形一次式の演算を繰り返し実行することにより、高画質化処理のためのクラスが特定されるようになされている。そして、特定されたクラスに対応する回帰係数を用いて、入力画像の注目画素に対応する複数の画素値およびそれらの画素値から得られる特徴量をパラメータとした線形一次式の演算を実行することにより、高画質化された画像の画素値が演算されるようになされている。
【００３０】
学習装置１０においては、例えば、教師画像としてノイズのない画像を入力され、生徒画像として教師画像に対してノイズを付加した画像が入力される。
【００３１】
生徒画像のデータは、回帰係数学習部２１、回帰予測部２３、判別係数学習部２５、および判別予測部２７に供給される。
【００３２】
回帰係数学習部２１は、生徒画像を構成する画素の中から所定の画素を注目画素として設定する。そして、回帰係数学習部２１は、生徒画像の注目画素とその周辺の画素値から、注目画素に対応する教師画像画素値を予測するための回帰予測演算式の係数を、例えば、最小二乗法を用いて学習する。
【００３３】
教師画像の画素値ti（i＝１，２，．．N）とし、予測値yi（i＝１，２，．．N）とおくと、式（1）が成立する。ここでNは、生徒画像の画素と教師画像の画素との全サンプル数を表すものとする。
【００３４】
【数１】
【００３５】
ここで、εi（i＝１，２，．．N）は、誤差項である。
【００３６】
予測値yiは、回帰係数wを用いた線形モデルを仮定すると、生徒画像の画素値xij（i＝１，２，．．N，j=１，２，・・・M）を用いて、式（2）のように表現できる。
【００３７】
【数２】
【００３８】
なお、wTは、行列式として表されるwの転置行列を表している。ｗoは、バイアスパラメータであり、定数項である。なお、Mの値は、後述するタップの要素数に対応する。
【００３９】
式（２）において、パラメータとして用いられるｘiは、生徒画像の注目画素を中心とする所定の位置の画素の値のそれぞれを要素するベクトルとされる。以下、式（２）において、パラメータとして用いられるｘiを、タップと称することにする。
【００４０】
図２は、タップの要素となる画素の例を示す図である。同図は、水平方向をｘ軸で表し、垂直方向をｙ軸で表した２次元の図であり、注目画素の周辺の２５個の画素（ｘi1乃至xi25）によりタップが構成されている。いまの場合、注目画素は、xi13の画素であり、xi13の画素の位置が、式（２）により予測される教師画像の画素の位置（位相）に対応する。
【００４１】
回帰係数学習部２２は、式（２）の係数wおよびバイアスパラメータｗoを学習して、回帰係数記憶部２２に記憶するようになされている。
【００４２】
上記においては、注目画素の周辺の２５個の画素（ｘi1乃至xi25）の値によりタップが構成される例について説明した。この場合、タップは、生徒画像から得られる線形特徴量により構成されていることになる。
【００４３】
しかしながら、タップに、生徒画像から得られる非線形特徴量が含まれるようにすることで、予測の精度をさらに高めることが可能となる。生徒画像から得られる非線形特徴量の例として、注目画素の周辺の画素値の水平微分絶対値および垂直微分絶対値が挙げられる。
【００４４】
注目画素の周辺の画素値の水平微分絶対値および垂直微分絶対値の演算に用いる式の例を式（３）に示す。
【００４５】
【数３】
【００４６】
式（３）における水平微分絶対値および垂直微分絶対値の演算には、ソーベル演算子が用いられており、ｘijで表される注目画素を中心として、図３に示されるようなフィルタ処理を施すことにより水平微分絶対値および垂直微分絶対値が求められる。
【００４７】
図３は、水平方向をｘ軸で表し、垂直方向をｙ軸で表した２次元の図であり、注目画素の周辺の９個の画素のそれぞれを対象とするフィルタが示されている。図中円で示される部分に示される数値が、それぞれの位置の画素値に乗じられることになる。
【００４８】
図４は、水平微分値の演算の例を説明する図である。同図の例では、ｘi12と記された画素とその周辺の９個の画素それぞれを対象とするフィルタ処理の演算例が示されている。なお、同図では、図中円で示された画素にそれぞれ記されたｘi12などの値が、そのまま画素値を表すものとする。
【００４９】
式（３）により、水平微分絶対値および垂直微分絶対値を求める場合、注目画素を中心としたＭ個の画素のそれぞれに対応する水平微分絶対値および垂直微分絶対値が求められることになる。例えば、図２に示されるように注目画素とその周辺の画素２５個をタップに含める場合、Ｍの値が２５となるから、１つの注目画素に対して水平微分絶対値が２５個、垂直微分絶対値が２５個求められることになる。
【００５０】
また、生徒画像から得られる非線形特徴量の例として、注目画素の周辺の画素値の最大値および最小値、並びに上述した水平微分絶対値の最大値および垂直微分絶対値の最大値が挙げられる。注目画素の周辺の画素値の最大値および最小値、並びに上述した水平微分絶対値の最大値および垂直微分絶対値の最大値は、式（４）により求めることができる。
【００５１】
【数４】
【００５２】
このように、タップに、生徒画像から得られる非線形特徴量が含まれるようにすることで、予測の精度をさらに高めることが可能となる。詳細は後述するが、例えば、ノイズが含まれた入力画像に基づいてノイズのない画像の画素値を予測する場合、タップに、生徒画像から得られる非線形特徴量が含まれるようにすることで、画像のS/N比を０．３から０．５ｄＢ（デシベル）向上させることができる。
【００５３】
回帰予測演算式の係数を、最小二乗法を用いて学習する場合、上述したように構成されるタップを用いて求められた予測値を式（１）に代入し、式（１）の誤差項の全サンプル分の自乗和を式（５）により演算する。
【００５４】
【数５】
【００５５】
そして、式（５）の誤差項の全サンプル分の自乗和Eが最小となるような、回帰係数をつぎのようにして導出する。
【００５６】
【数６】
【００５７】
式（６）のＳ(xx)、Ｓ(xt)は、それぞれ生徒画像、教師画像の分散・共分散を要素とする行列とベクトルであり、各要素は、式（７）により求めることができる。
【００５８】
【数７】
【００５９】
【数８】
【００６０】
また、式（２）のバイアスパラメータｗoは、式（６）を用いて式（９）のように求めることができる。
【００６１】
【数９】
【００６２】
なお、式（２）において定数項であるバイアスパラメータｗoは含まれないようにすることも可能である。
【００６３】
このようにして得られる係数wは、上述したタップの要素数と同じ要素数のベクトルとなる。回帰係数学習部２１により得られた係数wは、回帰予測によって、高画質化された画像の画素値を予測するための演算に用いられる係数であり、回帰係数wと称することにする。なお、バイアスパラメータｗoも広義の回帰係数であるものとし、必要に応じて回帰係数wに対応付けられて記憶されるものとする。
【００６４】
例えば、図２に示されるように、生徒画像から得られる線形特徴量のみによってタップが構成される場合、タップの要素数は２５個となり、回帰係数wのベクトルの要素数も２５個となる。また、図２に示される生徒画像から得られる線形特徴量に、式（３）により得られる、注目画素の周辺の画素値の水平微分絶対値および垂直微分絶対値を非線形特徴量として加えたものをタップとする場合、タップの要素数は７５（＝２５＋２５＋２５）個となるので、回帰係数wのベクトルの要素数も７５個となる。さらに、式（４）により得られる、注目画素の周辺の画素値の最大値および最小値、並びに水平微分絶対値の最大値および垂直微分絶対値の最大値を、非線形特徴量として加えたものをタップとする場合、タップの要素数は７９（＝２５＋２５＋２５＋２＋２）個となるので、回帰係数wのベクトルの要素数も７９個となる。
【００６５】
図１に戻って、回帰係数学習部２１により得られた回帰係数wは、回帰係数記憶部２２に記憶される。
【００６６】
回帰予測部２３は、生徒画像を構成する画素の中から所定の画素を注目画素として設定する。そして、回帰予測部２３は、図２を参照して上述した、注目画素とその周辺の画素値からなるタップ、図２の注目画素とその周辺の画素値、並びに式（３）により求められる注目画素の周辺の画素値の水平微分絶対値および垂直微分絶対値からなるタップ、または、図２の注目画素とその周辺の画素値、式（３）により求められる注目画素の周辺の画素値の水平微分絶対値および垂直微分絶対値、並びに式（４）により求められる注目画素の周辺の画素値の最大値および最小値と、上述した水平微分絶対値の最大値および垂直微分絶対値の最大値とからなるタップを取得する。
【００６７】
回帰予測部２３は、式（２）にタップと回帰係数w（必要に応じてバイアスパラメータｗoも含む）を代入して予測値yiを演算する。
【００６８】
ラベリング部２４は、回帰予測部２３により演算された予測値yiを、教師画像の画素値である真値tiと比較する。ラベリング部２４は、例えば、予測値yiが真値ti以上となった注目画素を判別クラスＡとしてラベリングし、予測値yiが真値ti未満となった注目画素を判別クラスＢとしてラベリングする。すなわち、ラベリング部２４は、回帰予測部２３の演算結果に基づいて、生徒画像の各画素を判別クラスＡと判別クラスＢに分類するのである。
【００６９】
図５は、ラベリング部２４の処理を説明するヒストグラムである。同図の横軸は、予測値yiから真値tiを引いた差分値を表し、縦軸は、その差分値が得られたサンプル（教師画像の画素と生徒画像の画素との組み合わせ）の相対頻度を表している。
【００７０】
同図に示されるように、回帰予測部２３の演算により、予測値yiから真値tiを引いた差分値が０となったサンプルの頻度が最も高くなっている。差分値が０である場合、回帰予測部２３により正確な予測値（＝真値）が演算されたことになり、適切に高画質化の処理がなされたことになる。すなわち、回帰係数学習部２１により回帰係数wが学習されたので、式（２）により正確な予測値が演算される可能性は高いといえる。
【００７１】
しかし、差分値が０以外のものについては、正確な回帰予測がなされたとはいえない。そうであれば、より適切な回帰係数wを学習する余地があると考えられる。
【００７２】
本発明では、例えば、予測値yiが真値ti以上となった注目画素のみを対象として回帰係数wを学習すれば、それらの注目画素に対してより適切な回帰係数wを学習することができ、予測値yiが真値ti未満となった注目画素のみを対象として回帰係数wを学習すれば、それらの注目画素に対してより適切な回帰係数wを学習することができると仮定する。このため、ラベリング部２４は、回帰予測部２３の演算結果に基づいて、生徒画像の各画素を判別クラスＡと判別クラスＢに分類する。
【００７３】
そして、この後、判別係数学習部２５の処理によって、生徒画像の画素値に基づいて、各画素を判別クラスＡと判別クラスＢに分類するための予測演算に用いられる係数が学習されるのである。すなわち、本発明においては、真値が不明であっても、入力画像の画素値に基づいて各画素を判別クラスＡと判別クラスＢに分類できるようにするのである。
【００７４】
ここでは、ラベリング部２４が生徒画像の各画素をラベリングすると説明したが、ラベリングの単位は、正確には教師画像の画素値である真値tiに対応する生徒画像のタップ（注目画素周辺画素値や非線形特徴量を含むベクトル）毎に1個ずつラベリングされることになる。
【００７５】
また、ここでは、予測値yiが真値ti以上となった注目画素と、予測値yiが真値ti未満となった注目画素とを判別してラベリングする例について説明したが、他の方式でラベリングするようにしてもよい。例えば、予測値yiと真値tiの差分絶対値が予め設定された閾値未満の値となった注目画素を判別クラスＡとしてラベリングし、予測値yiと真値tiの差分絶対値が予め設定された閾値以上の値となった注目画素を判別クラスＢとしてラベリングするようにしてもよい。さらに、それ以外の方式で注目画素を判別クラスＡと判別クラスＢにラベリングしてもよい。以下では、予測値yiが真値ti以上となった注目画素と、予測値yiが真値ti未満となった注目画素とを判別してラベリングする場合の例について説明する。
【００７６】
図１に戻って、判別係数学習部２５は、生徒画像を構成する画素の中から所定の画素を注目画素として設定する。そして、判別係数学習部２５は、生徒画像の注目画素とその周辺の画素値から、判別クラスＡと判別クラスＢを判定するための予測値の演算に用いられる係数を、例えば、最小二乗法を用いて学習する。
【００７７】
判別係数の学習においては、生徒画像の注目画素とその周辺の画素値から、判別クラスＡと判別クラスＢを判定するための予測値ｙiが式（１０）により求められるものとする。
【００７８】
【数１０】
【００７９】
なお、zTは、行列式として表されるzの転置行列を表している。zoは、バイアスパラメータであり、定数項である。なお、Mの値は、タップの要素数に対応する。
【００８０】
式（２）の場合と同様に、式（１０）において、パラメータとして用いられるｘiをタップと称する。判別係数の学習におけるタップは、回帰係数の学習におけるタップと同様とする。すなわち、図２を参照して上述した、注目画素とその周辺の画素値からなるタップ、図２の注目画素とその周辺の画素値、並びに式（３）により求められる注目画素の周辺の画素値の水平微分絶対値および垂直微分絶対値からなるタップ、または、図２の注目画素とその周辺の画素値、式（３）により求められる注目画素の周辺の画素値の水平微分絶対値および垂直微分絶対値、並びに式（４）により求められる注目画素の周辺の画素値の最大値および最小値と、上述した水平微分絶対値の最大値および垂直微分絶対値の最大値とからなるタップとされる。
【００８１】
判別係数学習部２５は、式（１０）の係数zおよびバイアスパラメータｚoを学習して、判別係数記憶部２６に記憶するようになされている。
【００８２】
判別予測演算式の係数を、最小二乗法を用いて学習する場合、上述したように構成されるタップを用いて求められた予測値を式（１）に代入し、式（１）の誤差項の全サンプル分の自乗和を式（１１）により演算する。
【００８３】
【数１１】
【００８４】
式（１１）のＳ(AB)は、式（１２）により求められる値を要素とする行列である。
【００８５】
【数１２】
【００８６】
式（１２）のＮAとＮBは、それぞれ判別クラスＡと判別クラスＢに属するサンプルの総数である。
【００８７】
また、式（１２）のＳAjkとＳBjkは、それぞれ判別クラスＡと判別クラスＢに属するサンプル（タップ）を用いて求めた分散・共分散値であり、式（１３）により求められる。
【００８８】
【数１３】
【００８９】
【数１４】
【００９０】
式（１０）のバイアスパラメータｚoは、式（１１）を用いて式（１５）のように求めることができる。
【００９１】
【数１５】
【００９２】
なお、式（１５）において定数項であるバイアスパラメータｚoは含まれないようにすることも可能である。
【００９３】
このようにして得られる係数zは、上述したタップの要素数と同じ要素数のベクトルとなる。判別係数学習部２５により得られた係数zは、所定の注目画素が判別クラスＡまたは判別クラスＢのいずれに属するかを予測するための演算に用いられる係数であり、判別係数zと称することにする。なお、バイアスパラメータｚoも広義の判別係数であるものとし、必要に応じて判別係数zに対応付けられて記憶されるものとする。
【００９４】
例えば、図２に示されるように、生徒画像から得られる線形特徴量のみによってタップが構成される場合、タップの要素数は２５個となり、判別係数zのベクトルの要素数も２５個となる。また、図２に示される生徒画像から得られる線形特徴量に、式（３）により得られる、注目画素の周辺の画素値の水平微分絶対値および垂直微分絶対値を非線形特徴量として加えたものをタップとする場合、タップの要素数は７５（＝２５＋２５＋２５）個となるので、判別係数zのベクトルの要素数も７５個となる。さらに、式（４）により得られる、注目画素の周辺の画素値の最大値および最小値、並びに水平微分絶対値の最大値および垂直微分絶対値の最大値を、非線形特徴量として加えたものをタップとする場合、タップの要素数は７９（＝２５＋２５＋２５＋２＋２）個となるので、判別係数zのベクトルの要素数も７９個となる。
【００９５】
このようにして学習された係数zを用いて判別予測部２７により予測値が演算されて生徒画像の注目画素が判別クラスＡに属するものであるか判別クラスＢに属するものであるかを判定することができる。判別予測部２７は、式（１０）にタップと判別係数z（必要に応じてバイアスパラメータｚoも含む）を代入して予測値yiを演算する。
【００９６】
そして、判別予測部２７による演算の結果、予測値yiが０以上となったタップの注目画素は、判別クラスＡに属する画素であり、予測値yiが０未満となったタップの注目画素は、判別クラスＢに属する画素であるものと推定できる。
【００９７】
しかしながら、判別予測部２７による演算の結果に基づく推定が必ずしも真実であるとは限らない。すなわち、式（１０）にタップと判別係数zを代入して演算された予測値yiは、教師画像の画素値（真値）に係らず、生徒画像の画素値から予測した結果であるから、実際には判別クラスＡに属する画素が判別クラスＢに属する画素として推定されてしまったり、実際には判別クラスＢに属する画素が判別クラスＡに属する画素として推定されてしまうことがある。
【００９８】
そこで、本発明においては、反復して判別係数を学習させることにより、より精度の高い予測を可能とする。
【００９９】
すなわち、クラス分割部２８が、判別予測部２７の予測結果に基づいて、生徒画像を構成する各画素を、判別クラスＡに属する画素と判別クラスＢに属する画素とに分割する。
【０１００】
そして、回帰係数学習部２１が、クラス分割部２８により判別クラスＡに属する画素のみを対象として、上述した場合と同様に回帰係数wを学習して回帰係数記憶部２２に記憶する。回帰予測部２３は、クラス分割部２８により判別クラスＡに属するとされた画素のみを対象として、上述した場合と同様に回帰予測による予測値を演算する。
【０１０１】
このようにして、得られた予測値と真値とを比較して、ラベリング部２４がクラス分割部２８により判別クラスＡに属するとされた画素を、さらに判別クラスＡと判別クラスＢにラベリングする。
【０１０２】
また、回帰係数学習部２１が、クラス分割部２８により判別クラスＢに属するとされた画素のみを対象として、上述した場合と同様に回帰係数wを学習する。回帰予測部２３は、クラス分割部２８により判別クラスＢに属するとされた画素のみを対象として、上述した場合と同様に回帰予測による予測値を演算する。
【０１０３】
このようにして、得られた予測値と真値とを比較して、ラベリング部２４がクラス分割部２８により判別クラスＢに属するとされた画素を、さらに判別クラスＡと判別クラスＢにラベリングする。
【０１０４】
つまり、生徒画像の画素が、４つの集合に分割されることになる。第１の集合は、クラス分割部２８により判別クラスＡに属するとされた画素であって、ラベリング部２４により判別クラスＡにラベリングされた画素の集合とされる。第２の集合は、クラス分割部２８により判別クラスＡに属するとされた画素であって、ラベリング部２４により判別クラスＢにラベリングされた画素の集合とされる。第３の集合は、クラス分割部２８により判別クラスＢに属するとされた画素であって、ラベリング部２４により判別クラスＡにラベリングされた画素の集合とされる。第４の集合は、クラス分割部２８により判別クラスＢに属するとされた画素であって、ラベリング部２４により判別クラスＢにラベリングされた画素の集合とされる。
【０１０５】
この後、判別係数学習部２５は、上述した４つの集合のうち、第１の集合と第２の集合に基づいて、あらためて判別係数zを、上述した場合と同様にして学習する。このとき、例えば、式（１２）のＮAとＮBが、それぞれ第１の集合の画素（サンプル）の総数と第２の集合の画素（サンプル）の総数とされる。また、判別係数学習部２５は、上述した４つの集合のうち、第３の集合と第４の集合に基づいて、あらためて判別係数zを、上述した場合と同様にして学習する。このとき、例えば、式（１２）のＮAとＮBが、それぞれ第３の集合の画素（サンプル）の総数と第４の集合の画素（サンプル）の総数とされる。
【０１０６】
図６と図７は、反復して行われる判別係数の学習を説明する図である。
【０１０７】
図６は、生徒画像から得られたタップ値であって、タップ値１を横軸とし、タップ値２を縦軸として生徒画像のタップのそれぞれを表す空間を示した図である。すなわち、同図においては、説明を簡単にするために、仮想的にタップの要素数を２個として生徒画像において存在し得る全てのタップを２次元空間上に表している。従って、同図においては、タップが２個の要素からなるベクトルであるものと仮定する。
【０１０８】
同図に示される円７１は、ラベリング部２４が最初に判別クラスＡとラベリングした画素に対応するタップの集合を表しており、円７２は、ラベリング部２４が最初に判別クラスＢとラベリングした画素に対応するタップの集合を表している。円７１に示される記号７３は、円７１に含まれるタップの要素の値の平均値の位置を表しており、円７１に示される記号７４は、円７２に含まれるタップの要素の値の平均値の位置を表している。
【０１０９】
同図に示されるように、円７１と円７２は、互いに重なり合っているので、生徒画像から得られたタップの要素の値のみに基づいて、正確に判別クラスＡとラベリングした画素に対応するタップと判別クラスＢとラベリングした画素に対応するタップとを判別することはできなかったことになる。
【０１１０】
しかしながら、記号７３と記号７４とに基づいて、おおよそ２つのクラスを判別するための境界線７５を特定することは可能である。ここで、境界線７５を特定する処理が、判別係数学習部２５により行われる第１回目の学習により得られた判別係数zを用いた判別予測部２７の判別予測の処理に対応することになる。なお、境界線７５上に位置するタップが、式（１０）により演算された予測値ｙiが０となったタップである。
【０１１１】
境界線７５の図中右側に位置するタップの集合を識別するために、クラス分割部２８がそれらのタップに対応する画素にクラスコードビット１を付与する。また、境界線７５の図中左側に位置するタップの集合を識別するために、図１のクラス分割部２８がそれらのタップに対応する画素にクラスコードビット０を付与する。
【０１１２】
なお、第１回目の学習により得られた判別係数zは、第１回目の判別予測に用いられる判別係数であることを表すコードなどに対応付けられて、図１の判別係数記憶部２６に記憶される。また、第１回目の判別予測の結果に基づいて、クラスコードビット１が付与された画素のみに基づいて、あらためて回帰係数wが学習されて回帰予測が行われる。同様に、第１回目の判別予測の結果に基づいて、クラスコードビット０が付与された画素のみに基づいて、あらためて回帰係数wが学習されて回帰予測が行われる。
【０１１３】
そして、クラスコードビット１が付与された画素群と、クラスコードビット０が付与された画素群のそれぞれに基づいて判別係数の学習が繰り返される。その結果、クラスコードビット１が付与された画素群がさらに２つに分割され、クラスコードビット２が付与された画素群もさらに２つに分割されることになる。このときの分割は、判別係数学習部２５により行われる第２回目の学習により得られた判別係数zを用いた判別予測部２７の判別予測によりなされることになる。
【０１１４】
なお、第２回目の学習により得られた判別係数zは、第２回目の判別予測に用いられる判別係数であることを表すコードなどに対応付けられて、図１の判別係数記憶部２６に記憶される。第２回目の学習により得られる判別係数zは、第１回目の判別予測によりクラスコードビット１が付与された画素群と、第１回目の判別予測によりクラスコードビット０が付与された画素群のそれぞれを対象として行われる判別予測に用いられるので、いずれの画素群を対象とする判別予測に用いられるものであるのかを表すコードなどに対応付けられて、図１の判別係数記憶部２６に記憶される。すなわち、第２回目の判別予測に用いられる判別係数zは、２種類記憶されることになる。
【０１１５】
また、第１回目と第２回目の判別予測の結果に基づいて、クラスコードビット１１が付与された画素のみに基づいて、あらためて回帰係数wが学習されて回帰予測が行われることになる。同様に、第１回目と第２回目の判別予測の結果に基づいて、クラスコードビット１０が付与された画素のみに基づいて、あらためて回帰係数wが学習されて回帰予測が行われることになる。さらに、第１回目と第２回目の判別予測の結果に基づいて、クラスコードビット０１が付与された画素のみに基づいて、あらためて回帰係数wが学習されて回帰予測が行われ、クラスコードビット００が付与された画素のみに基づいて、あらためて回帰係数wが学習されて回帰予測が行われることになる。
【０１１６】
このような処理を繰り返すことにより、図６に示される空間が図７に示されるように分割される。
【０１１７】
図７は、図６と同様に、タップ値１を横軸とし、タップ値２を縦軸として生徒画像のタップのそれぞれを表す空間を示した図である。同図では、判別係数学習部２５により３回反復して判別係数の学習が行われた場合の例が示されている。すなわち、第１回目の学習により得られた判別係数zを用いた判別予測により境界線７５が特定され、第２回目の学習により得られた判別係数zを用いた判別予測により境界線７６−１と境界線７６−２が特定される。第３回目の学習により得られた判別係数zを用いた判別予測により境界線７７−１乃至境界線７７−４が特定される。
【０１１８】
図１のクラス分割部２８は、境界線７５により分割されたタップの集合を識別するために、第１ビット目のクラスコードビットを付与し、境界線７６−１と境界線７６−２により分割されたタップの集合を識別するために、第２ビット目のクラスコードビットを付与し、境界線７７−１乃至境界線７７−４により分割されたタップの集合を識別するために、第３ビット目のクラスコードビットを付与する。
【０１１９】
従って、図７に示されるように、生徒画像のタップのそれぞれは、３ビットのクラスコードに基づいて特定されるクラス番号Ｃ0乃至Ｃ7の８つのクラスに分割（分類）されることになる。
【０１２０】
図７に示されるようにクラス分類された場合、図１の判別係数記憶部２６に、第１回目の判別予測に用いられる判別係数zが１種類記憶され、第２回目の判別予測に用いられる判別係数zが２種類記憶され、第３回目の判別予測に用いられる判別係数zが４種類記憶されていることになる。
【０１２１】
また、図７に示されるようにクラス分類された場合、図１の回帰係数記憶部２２に、クラス番号Ｃ0乃至Ｃ7のそれぞれに対応する８種類の回帰係数wが記憶されていることになる。ここで、クラス番号Ｃ0乃至Ｃ7のそれぞれに対応する８種類の回帰係数wは、第３回目の判別予測の結果、クラス番号Ｃ0乃至Ｃ7のそれぞれに分類された生徒画像の注目画素のタップと、注目画素に対応する教師画像の画素値とをサンプルとし、それぞれのクラス番号毎にあらためて回帰係数の学習が行われて記憶される。
【０１２２】
このように、生徒画像と教師画像を用いて予め判別係数zを学習しておき、入力された画像について反復して判別予測を繰り返せば、入力画像の画素をクラス番号Ｃ0乃至Ｃ7の８つのクラスに分類することが可能となる。そして、８つのクラスに分類された画素に対応するタップと、それぞれのクラスに対応する回帰係数wを用いて回帰予測を行えば、適切な高画質化処理を行うことが可能となる。
【０１２３】
図８は、入力画像を図７のようにクラス分類する場合の例を、２分木構造を用いて説明する図である。入力画像の各画素が、第１回目の判別予測によって、第１ビットのクラスコードビット１または０が付与された画素に分類される。このとき、判別予測に用いられる判別係数zは、反復コード１に対応する判別係数zとして図１の判別係数記憶部２６に記憶されているものとする。
【０１２４】
第１ビットのクラスコードビット１が付与された画素は、第２ビットのクラスコードビット１または０が付与された画素にさらに分類される。このとき、判別予測に用いられる判別係数zは、反復コード２１に対応する判別係数zとして図１の判別係数記憶部２６に記憶されているものとする。同様に、第１ビットのクラスコードビット０が付与された画素は、第２ビットのクラスコードビット１または０が付与された画素にさらに分類される。このとき、判別予測に用いられる判別係数zは、反復コード２２に対応する判別係数zとして図１の判別係数記憶部２６に記憶されているものとする。
【０１２５】
第１ビットおよび第２ビットのクラスコードビット１１が付与された画素は、第３ビットのクラスコードビット１または０が付与された画素にさらに分類される。このとき、判別予測に用いられる判別係数zは、反復コード３１に対応する判別係数zとして図１の判別係数記憶部２６に記憶されているものとする。第１ビットおよび第２ビットのクラスコードビット１０が付与された画素は、第３ビットのクラスコードビット１または０が付与された画素にさらに分類される。このとき、判別予測に用いられる判別係数zは、反復コード３２に対応する判別係数zとして図１の判別係数記憶部２６に記憶されているものとする。
【０１２６】
同様に、第１ビットおよび第２ビットのクラスコードビット０１または００が付与された画素も、第３ビットのクラスコードビット１または０が付与された画素にさらに分類される。そして、反復コード３３または反復コード３４に対応する判別係数zが図１の判別係数記憶部２６に記憶されているものとする。
【０１２７】
このように、３回反復して判別を行うことにより、入力画像の画素のそれぞれに３ビットからなるクラスコードが設定され、クラス番号が特定される。そして特定されたクラス番号に対応する回帰係数wも特定される。
【０１２８】
この例では、クラスコードビットを反復回数順に、上位から下位ビットに繋げた値がクラス番号に対応している。従って、最終的なクラスコードに対応するクラス番号Ｃkは、例えば、式（１６）のようにして特定される。
【０１２９】
【数１６】
【０１３０】
また、図８に示されるように，反復回数ｐと最終的なクラス数Ｎcとの関係は、式（１７）により表される。
【０１３１】
【数１７】
【０１３２】
なお、最終的なクラス数Ｎcは、最終的に使用する回帰係数wの総数Ｎmと等しくなる。
【０１３３】
判別係数zの総数Ｎdは、式（１８）により表される。
【０１３４】
【数１８】
【０１３５】
なお、後述する画像処理装置を用いた高画質化処理における判別予測において、適応的に反復回数を減らすことで、処理のロバスト化や高速化を図ることも可能である。そのようにする場合には図８の各分岐において用いられた回帰係数も必要になるので、回帰係数の総数は式（１９）により表されるものとなる。
【０１３６】
【数１９】
【０１３７】
ここでは、主として、判別係数の学習が３回反復して行われる例について説明したが、反復回数は、１回であってもよい。すなわち、第１回目の判別係数の学習が終了した後、判別係数学習部２５による判別係数zの演算、判別予測部２７による判別予測が繰り返し実行されないようにしてもよい。
【０１３８】
図９は、本発明の一実施の形態に係る画像処理装置の構成例を示すブロック図である。
同図の画像処理装置１００は、図１の学習装置１０に対応する画像処理装置とされる。すなわち、画像処理装置１００は、学習装置１０により学習された判別係数を用いて入力画像の各画素のそれぞれのクラスを判別する。そして、画像処理装置１００は、判別されたクラスに対応する回帰係数であって、学習装置１０により学習された判別係数を用いて入力画像から得られるタップの回帰予測演算を行い、入力画像を高画質化する画像処理を行うようになされている。
【０１３９】
すなわち、画像処理装置１００の判別係数記憶部１２２には、学習装置１０の判別係数記憶部２６に記憶されていた判別係数zが予め記憶される。画像処理装置１００の回帰係数記憶部１２４には、学習装置１０の回帰係数記憶部２２に記憶されていた回帰係数wが予め記憶される。
【０１４０】
同図の判別予測部１２１は、入力画像において注目画素を設定し、注目画素に対応するタップを取得して式（１０）を参照して予測した演算を行う。このとき、判別予測部１２１は、反復回数と判別予測の対象とする画素群に基づいて反復コードを特定し、判別係数記憶部１２２から反復コードに対応する判別係数zを読み出すようになされている。
【０１４１】
クラス分割部１２３は、判別予測部１２１の予測結果に基づいて、注目画素にクラスコードビットを付与していくことで、入力画像の画素を２つの集合に分割する。このとき、上述したように、例えば、式（１０）により演算された予測値yiと０との大小比較を行って、注目画素にクラスコードビットが付与される。
【０１４２】
クラス分割部１２３の処理を経て、判別予測部１２１は、反復して判別予測を行い、クラス分割部１２３によってさらなる分割がなされる。判別予測は、予め設定された回数だけ反復して行われる。例えば、判別予測が３回反復して行われる場合、例えば、図７または図８を参照して上述したように、入力画像が３ビットのクラスコードのクラス番号に対応する画素群に分類されることになる。
【０１４３】
なお、画像処理装置１００における判別予測の反復回数は、学習装置１０による判別係数の学習の反復回数と同じとなるように設定される。
【０１４４】
クラス分割部１２３は、入力画像の各画素を特定する情報とその画素のクラス番号とを対応付けて回帰係数記憶部１２４に供給するようになされている。
【０１４５】
回帰予測部１２５は、入力画像において注目画素を設定し、注目画素に対応するタップを取得して式（２）を参照して予測した演算を行う。このとき、回帰予測部１２５は、注目画素を特定する情報を回帰係数記憶部１２４に供給して、その注目画素のクラス番号に対応する回帰係数wを、回帰係数記憶部１２４から読み出すようになされている。
【０１４６】
そして、回帰予測部１２５の演算により得られた予測値を、注目画素に対応する画素の値とする出力画像が生成される。これにより、入力画像が高画質化された出力画像が得られることになる。
【０１４７】
このように、本発明によれば、入力画像に対して判別予測を行うことにより、入力画像を構成する各画素（実際には、注目画素に対応するタップ）を、高画質化処理に適したクラスに分類することができる。
【０１４８】
従来の技術では、例えば、１ビットＡＤＲＣなどを用いた入力画像の局所特徴量だけに応じた決め打ちのクラス分類になってしまうために、入力画像と教師画像の間を結ぶ回帰係数という意味では、必ずしも効率的な分類になっていないという問題があった。
【０１４９】
これに対して、本発明では、ノイズの含まれる画像からノイズが除去された画像を生成する処理、ぼけのある画像からぼけのない画像を生成する処理、低解像度の画像から高解像度の画像を生成する処理など、高画質化処理の目的に応じた適切なクラス分類方式が自動的に学習されるようにすることができる。
【０１５０】
また、本発明では、反復して判別予測を行うことにより、より適切にクラス分類することが可能となる。さらに、反復して行われる判別予測の処理の途中において、入力画像の画素値などに処理を施した中間データなどを生成する必要がないので、処理を高速化することが可能である。すなわち、出力画像を予測する際に，どの画素に対しても高々（ｐ＋１）回の予測式（式（２））の演算で、クラス分類と回帰予測を行うことができるので高速な処理が可能である。また、クラス分類と回帰予測を行う際に、タップの演算の中間データなどを用いることなく、常に入力に対する演算のみで完結しているために、実装においてパイプライン構造を利用することが可能となる。
【０１５１】
次に、図１０のフローチャートを参照して、判別係数回帰係数学習処理の詳細について説明する。この処理は、図１の学習装置１０により実行される。
【０１５２】
ステップＳ１０１において、判別係数学習部２５は、反復コードを特定する。いまの場合、第１回目の学習の処理であるから反復コードは１と特定される。
【０１５３】
ステップＳ１０２において、回帰係数学習部２１乃至ラベリング部２４は、図１１を参照して後述するラベリング処理を実行する。ここで、図１１のフローチャートを参照して図１０のステップＳ１０２のラベリング処理の詳細な例について説明する。
【０１５４】
ステップＳ１３１において、回帰係数学習部２１は、図１２を参照して後述する回帰係数学習処理を実行する。これにより、生徒画像の画素値に基づいて教師画像の画素値を予測するための演算に用いられる回帰係数wが求められる。
【０１５５】
ステップＳ１３２において、回帰予測部２３は、ステップＳ１３１の処理により求められた回帰係数wを用いて回帰予測値を演算する。このとき、例えば、式（２）の演算が行われ、予測値ｙiが求められる。
【０１５６】
ステップＳ１３３において、ラベリング部２４は、ステップＳ１３２の処理により得られた予測値yiを、教師画像の画素値である真値tiと比較する。
【０１５７】
ステップＳ１３４において、ラベリング部２４は、ステップＳ１３３の比較結果に基づいて、注目画素（実際には、注目画素に対応するタップ）を判別クラスＡまたは判別クラスＢにラベリングする。これにより、例えば、図５を参照して上述したように、判別クラスＡまたは判別クラスＢのラベリングがなされる。
【０１５８】
なお、ステップＳ１３２乃至ステップＳ１３４の処理は、反復コードに対応して定まる処理対象の画素のそれぞれを対象として行われる。
【０１５９】
このようにしてラベリング処理が実行される。
【０１６０】
次に、図１２のフローチャートを参照して、図１１のステップＳ１３１の回帰係数演算処理の詳細な例について説明する。
【０１６１】
ステップＳ１５１において、回帰係数学習部２１は、ステップＳ１０１の処理で特定された反復コードに対応するサンプルを特定する。ここでの、サンプルは、生徒画像の注目画素に対応するタップと、その注目画素に対応する教師画像の画素との組み合わせを意味する。例えば、反復コードが１であれば、第１回目の学習の処理なので、生徒画像の全画素のそれぞれを注目画素としてサンプルが特定される。例えば、反復コードが２１であれば、第２回目の学習の処理の一部なので、生徒画像の画素のうち、１回目の学習の処理でクラスコードビット１が付与された画素のそれぞれを注目画素としてサンプルが特定される。例えば、反復コードが３４であれば、第３回目の学習の処理の一部なので、生徒画像の画素のうち、１回目の学習の処理でクラスコードビット０が付与され、２回目の学習の処理でクラスコードビット０が付与された画素のそれぞれを注目画素としてサンプルが特定される。
【０１６２】
ステップＳ１５２において、回帰係数学習部２１は、ステップＳ１５１の処理で特定されたサンプルの足しこみを行う。このとき、例えば、式（１）にサンプルのタップと教師画像の画素値が足しこまれていく。
【０１６３】
ステップＳ１５３において、回帰係数学習部２１は、全サンプルを足しこんだか否かを判定し、全サンプルを足しこんだと判定されるまで、ステップＳ１５２の処理が繰り返し実行される。
【０１６４】
ステップＳ１５４において、回帰係数学習部２１は、式（６）乃至式（９）の演算により回帰係数wを導出する。
【０１６５】
このようにして、回帰係数演算処理が実行される。
【０１６６】
以上により図１０のステップＳ１０２のラベリング処理が終了し、処理は、図１０のステップＳ１０３の判別係数演算処理に進む。
【０１６７】
ステップＳ１０３において、判別係数学習部２５は、図１３を参照して後述する判別係数演算処理を実行する。ここで、図１３のフローチャートを参照して、図１０のステップＳ１０３の判別係数演算処理の詳細な例について説明する。
【０１６８】
ステップＳ１７１において、判別係数学習部２５は、ステップＳ１０１の処理で特定された反復コードに対応するサンプルを特定する。ここでの、サンプルは、生徒画像の注目画素に対応するタップと、注目画素についての判別クラスＡまたは判別クラスＢのラベリングの結果との組み合わせを意味する。例えば、反復コードが１であれば、第１回目の学習の処理なので、生徒画像の全画素のそれぞれを注目画素としてサンプルが特定される。例えば、反復コードが２１であれば、第２回目の学習の処理の一部なので、生徒画像の画素のうち、１回目の学習の処理でクラスコードビット１が付与された画素のそれぞれを注目画素としてサンプルが特定される。例えば、反復コードが３４であれば、第３回目の学習の処理の一部なので、生徒画像の画素のうち、１回目の学習の処理でクラスコードビット０が付与され、２回目の学習の処理でクラスコードビット０が付与された画素のそれぞれを注目画素としてサンプルが特定される。
【０１６９】
ステップＳ１７２において、判別係数学習部２５は、ステップＳ１７１の処理で特定されたサンプルの足しこみを行う。このとき、例えば、式（１１）にサンプルのタップと、判別クラスＡまたは判別クラスＢのラベリングの結果に基づく数値が足しこまれていく。
【０１７０】
ステップＳ１７３において、判別係数学習部２５は、全サンプルを足しこんだか否かを判定し、全サンプルを足しこんだと判定されるまで、ステップＳ１７２の処理が繰り返し実行される。
【０１７１】
ステップＳ１７４において、判別係数学習部２５は、式（１２）乃至式（１５）の演算により判別係数zを導出する。
【０１７２】
このようにして、判別係数演算処理が実行される。
【０１７３】
図１０に戻って、ステップＳ１０４において、判別予測部２３は、ステップＳ１０３の処理により求められた係数zと、生徒画像から得られるタップを用いて、判別予測値を演算する。このとき、例えば、式（１０）の演算が行われ、予測値ｙi（判別予測値）が求められる。
【０１７４】
ステップＳ１０５において、クラス分割部２８は、ステップＳ１０４の処理により求められた判別予測値が０以上であるか否かを判定する。
【０１７５】
ステップＳ１０５において、判別予測値が０以上であると判定された場合、処理は、ステップＳ１０６に進み、当該注目画素（実際にはタップ）にクラスコードビット１が設定される。一方、ステップＳ１０５において、判別予測値が０未満であると判定された場合、処理は、ステップＳ１０７に進み、当該注目画素（実際にはタップ）にクラスコードビット０が設定される。
【０１７６】
なお、ステップＳ１０４乃至ステップＳ１０７の処理は、反復コードに対応して定まる処理対象の画素のそれぞれを対象として行われる。
【０１７７】
ステップＳ１０６、またはステップＳ１０７の処理の後、処理は、ステップＳ１０８に進み、判別係数記憶部２６は、ステップＳ１０３の処理で求められた判別係数zを、ステップＳ１０１で特定された反復コードに対応付けて記憶する。
【０１７８】
ステップＳ１０９において、学習装置１０は、反復が終了したか否かを判定する。例えば、３回反復して学習することが予め設定されている場合、まだ、反復が終了していないと判定され、処理は、ステップＳ１０１に戻る。
【０１７９】
そして、ステップＳ１０１において、あらためて反復コードが特定される。いまの場合、第２回目の学習の最初の処理であるから、反復コードは２１と特定される。
【０１８０】
そして、同様に、ステップＳ１０２乃至Ｓ１０８の処理が実行される。このとき、上述したように、ステップＳ１０２の処理と、ステップＳ１０３の処理では、生徒画像の画素のうち、１回目の学習の処理でクラスコードビット１が付与された画素のそれぞれを注目画素としてサンプルが特定されることになる。
【０１８１】
そして、ステップＳ１０９で反復が終了したか否かが判定される。
【０１８２】
このように、ステップＳ１０９において反復が終了したと判定されるまで、ステップＳ１０１乃至Ｓ１０８の処理が繰り返し実行される。３回反復して学習することが予め設定されている場合、ステップＳ１０１で反復コードは３４であると特定された後、ステップＳ１０２乃至Ｓ１０８の処理が実行され、ステップＳ１０９において、反復は終了したと判定されることになる。
【０１８３】
このように、ステップＳ１０１乃至Ｓ１０９の処理が繰り返し実行されたことにより、図８を参照して上述したように、７種類の判別係数zが、それぞれ反復コードに対応付けられて判別係数記憶部２６に記憶されたことになる。
【０１８４】
ステップＳ１０９において、反復は終了したと判定された場合、処理は、ステップＳ１１０に進む。
【０１８５】
ステップＳ１１０において、回帰係数学習部２１は、回帰係数演算処理を実行する。この処理は、図１２のフローチャートを参照して上述した場合と同様なので、詳細な説明は省略するが、いまの場合、ステップＳ１５１では、反復コードに対応するサンプルが特定されるのではなく、各クラス番号に対応するサンプルがそれぞれ特定される。
【０１８６】
すなわち、ステップＳ１０１乃至Ｓ１０９の処理が繰り返し実行されたことにより、図８を参照して上述したように、生徒画像の各画素は、クラス番号Ｃ0乃至Ｃ7のいずれかのクラスに分類されたことになる。従って、生徒画像のクラス番号Ｃ0の画素を、注目画素としてサンプルが特定されて、第１の回帰係数wが導出される。また、生徒画像のクラス番号Ｃ１の画素を、注目画素としてサンプルが特定されて、第２の回帰係数wが導出され、生徒画像のクラス番号Ｃ２の画素を、注目画素としてサンプルが特定されて、第３の回帰係数wが導出され、・・・生徒画像のクラス番号Ｃ７の画素を、注目画素としてサンプルが特定されて、第８の回帰係数wが導出される。
【０１８７】
つまり、ステップＳ１１０の回帰係数演算処理においては、クラス番号Ｃ0乃至Ｃ7のそれぞれに対応する８種類の回帰係数wが求められることになる。
【０１８８】
ステップＳ１１１において、回帰係数記憶部２２は、ステップＳ１１０の処理により求められた８種類の回帰係数wのそれぞれを、クラス番号に対応付けて記憶する。
【０１８９】
このようにして、判別回帰係数学習処理が実行される。
【０１９０】
なお、ここでは、主として、判別係数の学習が３回反復して行われる例について説明したが、反復回数は、１回であってもよい。すなわち、第１回目の判別係数の学習が終了した後、判別係数学習部２５による判別係数zの演算、判別予測部２７による判別予測が繰り返し実行されないようにしてもよい。
【０１９１】
次に、図１４のフローチャートを参照して、判別回帰予測処理の例について説明する。この処理は、図９の画像処理装置１００により実行される。また、処理の実行に先立って、画像処理装置１００の判別係数記憶部１２２と回帰係数記憶部１２４には、それぞれ、図１０の判別回帰係数学習処理によって、判別係数記憶部２６に記憶された７種類の判別係数zと、回帰係数記憶部２２に記憶された８種類の回帰係数wとが記憶されているものとする。
【０１９２】
ステップＳ１９１において、判別予測部１２１は、反復コードを特定する。いまの場合、第１回目の判別の処理であるから反復コードは１と特定される。
【０１９３】
ステップＳ１９２において、判別予測部１２１は、図１５を参照して後述する判別処理を実行する。ここで、図１５のフローチャートを参照して、図１４のステップＳ１９２の判別処理の詳細な例について説明する。
【０１９４】
ステップＳ２１１において、判別予測部１２１は、反復コードに対応する注目画素を設定する。例えば、反復コードが１であれば、第１回目の判別の処理なので、入力画像の全画素のそれぞれが注目画素として設定される。例えば、反復コードが２１であれば、第２回目の判別の処理の一部なので、入力画像の画素のうち、１回目の判別の処理でクラスコードビット１が付与された画素のそれぞれが注目画素として設定される。例えば、反復コードが３４であれば、第３回目の判別の処理の一部なので、入力画像の画素のうち、１回目の判別の処理でクラスコードビット０が付与され、２回目の判別の処理でクラスコードビット０が付与された画素のそれぞれが注目画素として設定される。
【０１９５】
ステップＳ２１２において、判別予測部１２１は、ステップＳ２１１で設定された注目画素に対応するタップを取得する。
【０１９６】
ステップＳ２１３において、判別予測部１２１は、ステップＳ２１１の処理で特定された反復コードに対応する判別係数zを特定し、判別係数記憶部１２２から読み出す。
【０１９７】
ステップＳ２１４において、判別予測部１２１は、判別予測値を演算する。このとき、例えば、上述した式（１０）の演算が行われることになる。
【０１９８】
ステップＳ２１５において、クラス分割部１２３は、ステップＳ２１４の処理で演算された判別予測値に基づいて、注目画素にクラスコードビットを設定（付与）する。このとき、上述したように、例えば、式（１０）により演算された予測値yiと０との大小比較を行って、注目画素にクラスコードビットが付与される。
【０１９９】
なお、ステップＳ２１１乃至ステップＳ２１５の処理は、反復コードに対応して定まる処理対象の画素のそれぞれを対象として行われる。
【０２００】
このようにして、判別処理が実行される。
【０２０１】
図１４に戻って、ステップＳ１９２の処理の後、ステップＳ１９３において、判別予測部１２１は、反復が終了したか否かを判定する。例えば、３回反復して学習することが予め設定されている場合、まだ、反復が終了していないと判定され、処理は、ステップＳ１９１に戻る。
【０２０２】
この後、ステップＳ１９１では反復コードが２１と特定され、同様に、ステップＳ１９２の処理が実行される。このとき、上述したように、ステップＳ１９２の処理では、入力画像の画素のうち、１回目の判別の処理でクラスコードビット１が付与された画素のそれぞれが注目画素として設定されることになる。
【０２０３】
そして、ステップＳ１９３で反復が終了したか否かが判定される。
【０２０４】
このように、ステップＳ１９３において反復が終了したと判定されるまで、ステップＳ１９１乃至Ｓ１９３の処理が繰り返し実行される。３回反復して学習することが予め設定されている場合、ステップＳ１９１で反復コードは３４であると特定された後、ステップＳ１９２の処理が実行され、ステップＳ１９３において、反復は終了したと判定されることになる。
【０２０５】
ステップＳ１９３においては、反復が終了したと判定された場合、処理は、ステップＳ１９４に進む。なお、ここまでの処理により、図７または図８を参照して上述したように、入力画像が３ビットのクラスコードのクラス番号に対応する画素群に分類されていることになる。また、上述したように、クラス分割部１２３は、入力画像の各画素を特定する情報とその画素のクラス番号とを対応付けて回帰係数記憶部１２４に供給するようになされている。
【０２０６】
ステップＳ１９４において、回帰予測部１２５は、入力画像において注目画素を設定する。
【０２０７】
ステップＳ１９５において、回帰予測部１２５は、ステップＳ１９４で設定された注目画素に対応するタップを取得する。
【０２０８】
ステップＳ１９６において、回帰予測部１２５は、ステップＳ１９４で設定された注目画素を特定する情報を回帰係数記憶部１２４に供給して、その注目画素のクラス番号に対応する回帰係数wを特定し、回帰係数記憶部１２４から読み出す。
【０２０９】
ステップＳ１９７において、回帰予測部１２５は、ステップＳ１９５で取得したタップと、ステップＳ１９６で特定して読み出した回帰係数wを用いて式（２）の演算を行い、回帰予測値を演算する。
【０２１０】
なお、ステップＳ１９１乃至ステップＳ１９７の処理は、入力画像の各画素のそれぞれを対象として行われる。
【０２１１】
そして、回帰予測部１２５の演算により得られた予測値を、注目画素に対応する画素の値とする出力画像が生成される。これにより、入力画像が高画質化された出力画像が得られることになる。
【０２１２】
このようにして判別予測処理が実行される。このようにすることで、画像の高画質化処理を、より効率的で高速に行うことができる
【０２１３】
図１６は、本発明の学習装置１０と画像処理装置１００を用いた高画質化処理の効果を説明する図である。
【０２１４】
同図は、横軸を判別係数の学習および判別予測の反復回数とし、縦軸をS/N比とし、ノイズが付加された画像である入力画像に対して、本発明の画像処理装置１００または従来の画像処理装置による画像処理を施して得られた画像の特性を示した図である。同図の図中三角形の記号でプロットされた点が、本発明の画像処理装置１００による画像処理を施して得られた画像の特性を示し、図中菱形の記号でプロットされた点が、従来の画像処理装置による画像処理を施して得られた画像の特性を示している。
【０２１５】
ここで、従来の画像処理装置による画像処理は、図１７に示されるようなクラスタップを用いて行われるクラス分類適応処理による画像処理である。すなわち、従来の画像処理装置による画像処理は、入力画像について、図１７の図中ハッチングされた円で示される画素を注目画素とし、９（＝３×３）個の画素の画素値に基づく１bitADRC (Adaptive Dynamic Range Coding)コードを算出し、その１bitADRCコード毎にクラス分類するものである。従来のクラス分類適応処理による画像処理については、例えば、特開平７−７９４１８号公報などに詳細に記載されている。
【０２１６】
図１７に示されるようなクラスタップを取得して従来のクラス分類適応処理による画像処理を行う場合、入力画像の各画素は、それぞれ５１２（＝２9）通りのクラスに分類されることになる。本発明の学習装置１０において、９回反復して判別係数の学習を行った場合、入力画像の各画素が５１２通りのクラスに分類されることになるから、同図において、本発明の画像処理装置１００による画像処理の反復回数９回に対応する位置に、従来の画像処理装置による画像処理が施された画像の特性値が記されている。実際には、従来の画像処理装置による画像処理の反復回数は１回のみである（そもそも従来のクラス分類適応処理による画像処理では反復が想定されていない）。
【０２１７】
また、本発明の画像処理装置１００においては、図２に示される線形特徴量に、式（３）により得られる、注目画素の周辺の画素値の水平微分絶対値および垂直微分絶対値、および式（４）により得られる、注目画素の周辺の画素値の最大値および最小値、並びに水平微分絶対値の最大値および垂直微分絶対値の最大値を、非線形特徴量として加えたものをタップとしている。本発明の画像処理装置１００において反復回数ｐの値を９とした場合、判別係数zの種類の数Nd、および回帰係数wの種類の数Nmは、式（２０）により表される。
【０２１８】
【数２０】
【０２１９】
図１６においては、正規乱数ノイズ（σ＝１０.０）のノイズが含まれた入力画像を、それぞれ本発明の画像処理装置１００と、従来の画像処理装置により高画質化処理している。同図のS/N比の値の評価式は、式（２１）を用いている。
【０２２０】
【数２１】
【０２２１】
同図に示されるように、従来の方式と比較して、本発明による画像処理が施された画像の特性は、約１dBほどS/N比の値が改善されている。
【０２２２】
図１８は、やはり、本発明の学習装置１０と画像処理装置１００を用いた高画質化処理の効果を説明する図である。
【０２２３】
同図は、図１６の場合と同様に、横軸を判別係数の学習および判別予測の反復回数とし、縦軸をS/N比とし、ノイズが付加された画像である入力画像に対して、本発明の画像処理装置１００または従来の画像処理装置による画像処理を施して得られた画像の特性を示した図である。同図の図中三角形の記号でプロットされた点が、本発明の画像処理装置１００による画像処理を施して得られた画像の特性を示し、図中菱形の記号でプロットされた点が、従来の画像処理装置による画像処理を施して得られた画像の特性を示している。
【０２２４】
ここで、従来の画像処理装置による画像処理は、図１７を参照して上述した場合と同様である。また、本発明の画像処理装置１００においては、図１６の場合と同様のものをタップとしている。
【０２２５】
図１８においては、空間的な正規分布状のボケ劣化（σ＝１.５）が含まれた入力画像を、それぞれ本発明の画像処理装置１００と、従来の画像処理装置により高画質化処理している。同図のS/N比の値の評価式は、式（２１）を用いている
【０２２６】
同図に示されるように、従来の方式と比較して、本発明による画像処理が施された画像の特性は、約０.５dBほどS/N比の値が改善されている。
【０２２７】
図１９は、やはり、本発明の学習装置１０と画像処理装置１００を用いた高画質化処理の効果を説明する図である。
【０２２８】
同図は、図１６の場合と同様に、横軸を判別係数の学習および判別予測の反復回数とし、縦軸をS/N比とし、ノイズが付加された画像である入力画像に対して、本発明の画像処理装置１００または従来の画像処理装置による画像処理を施して得られた画像の特性を示した図である。同図の図中三角形の記号でプロットされた点が、本発明の画像処理装置１００による画像処理を施して得られた画像の特性を示し、図中菱形の記号でプロットされた点が、従来の画像処理装置による画像処理を施して得られた画像の特性を示している。
【０２２９】
ここで、従来の画像処理装置による画像処理は、図１７を参照して上述した場合と同様である。また、本発明の画像処理装置１００においては、図１６の場合と同様のものをタップとしている。
【０２３０】
図１９においては、空間的に水平／垂直方向に１／３のサイズに縮小されて帯域劣化した入力画像を、それぞれ本発明の画像処理装置１００と、従来の画像処理装置により高画質化処理（いまの場合、画像の拡大処理）している。すなわち、図１９の例は、ダウンコン劣化した画像をアップコン（３×３倍）するものである。同図のS/N比の値の評価式は、式（２１）を用いている
【０２３１】
同図に示されるように、従来の方式と比較して、本発明による画像処理が施された画像の特性は、約０.２dBほどS/N比の値が改善されている。
【０２３２】
図１６、図１８、図１９に示されるように、本発明により、従来と比較してより効果的な高画質化処理を行うことが可能となる。
【０２３３】
すなわち、本発明によれば、正規乱数ノイズ（σ＝１０.０）のノイズが含まれた入力画像の場合、空間的な正規分布状のボケ劣化（σ＝１.５）が含まれた入力画像の場合、ダウンコン劣化した入力画像の場合のいずれにおいても従来の方式よりも適切に高画質化処理を行うことが可能である。また、図１６、図１８、図１９に示した例以外にも、本発明を、画像の高画質化に関係する様々なアプリケーションプログラムなどに応用することが可能である。例えば、本発明を、ノイズ除去、符号化歪除去、ボケ除去、解像度創造、階調創造、デモザイキング、IP変換等に関係する高画質化処理のアプリケーションプログラムなどに適用することが可能である。
【０２３４】
さらに、本発明によれば、ノイズ除去、符号化歪除去、ボケ除去、・・・など画像の劣化原因が複数あった場合でも適切に高画質化処理を行うことができる。例えば、ノイズ、符号化歪、およびボケを含んだ画像であっても、本発明により適切に高画質化処理を施すことが可能である。また、本発明では、このように、画像の劣化原因が複雑化した場合であっても、判別係数zまたは回帰係数wの要素数および種類の数を増やすことなく、適切に高画質化処理を施すことが可能である。
【０２３５】
ところで、本発明においては、上述したように、図２に示される線形特徴量に、式（３）により得られる、注目画素の周辺の画素値の水平微分絶対値および垂直微分絶対値、および式（４）により得られる、注目画素の周辺の画素値の最大値および最小値、並びに水平微分絶対値の最大値および垂直微分絶対値の最大値を、非線形特徴量として加えたものをタップとしている。非線形特徴量を加えたタップを用いる場合の高画質化処理における効果について、図２０を参照して説明する。
【０２３６】
図２０は、やはり、本発明の学習装置１０と画像処理装置１００を用いた高画質化処理の効果を説明する図である。
【０２３７】
同図は、図１６の場合と同様に、横軸を判別係数の学習および判別予測の反復回数とし、縦軸をS/N比とし、ノイズが付加された画像である入力画像に対して、本発明の画像処理装置１００または従来の画像処理装置による画像処理を施して得られた画像の特性を示した図である。同図の図中三角形の記号でプロットされた点が、本発明の画像処理装置１００による画像処理を施して得られた画像の特性を示し、図中四角形（菱形）の記号でプロットされた点が、従来の画像処理装置１００による画像処理を施して得られた画像の特性を示している。
【０２３８】
ここで、従来の画像処理装置による画像処理は、図１７を参照して上述した場合と同様である。また、本発明の画像処理装置１００においては、図１６の場合と同様のものをタップとしている。
【０２３９】
図２０においては、正規乱数ノイズ（σ＝１０.０）のノイズが含まれた入力画像を、それぞれ本発明の画像処理装置１００と、従来の画像処理装置により高画質化処理している。同図のS/N比の値の評価式は、式（２１）を用いている。同図の点線が、図２に示される生徒画像から得られる線形特徴量のみのタップを用いた本発明の画像処理装置１００による高画質化処理により得られた画像の特性を表している。また、同図の実線が、図２に示される生徒画像から得られる線形特徴量に、式（３）により得られる、注目画素の周辺の画素値の水平微分絶対値および垂直微分絶対値、および式（４）により得られる、注目画素の周辺の画素値の最大値および最小値、並びに水平微分絶対値の最大値および垂直微分絶対値の最大値を、非線形特徴量として加えたタップを用いた本発明の画像処理装置１００による高画質化処理により得られた画像の特性を表している。
【０２４０】
同図に示されるように、線形特徴量のみのタップを用いる場合と比較して、非線形特徴量を加えたタップを用いる高画質化処理が施された画像の特性は、約０.５dBほどS/N比の値が改善されている。
【０２４１】
また、図２０の菱形でプロットされた点が、図１７に示される線形特徴量のみのタップを用いた従来の画像処理装置による高画質化処理により得られた画像の特性を表している。また、同図の四角形でプロットされた点が、図１７に示される線形特徴量に、式（３）により得られる、注目画素の周辺の画素値の水平微分絶対値および垂直微分絶対値、および式（４）により得られる、注目画素の周辺の画素値の最大値および最小値、並びに水平微分絶対値の最大値および垂直微分絶対値の最大値を、非線形特徴量として加えたタップを用いた従来の画像処理装置による高画質化処理により得られた画像の特性を表している。
【０２４２】
同図に示されるように、従来の方式においても、線形特徴量のみのタップを用いる場合と比較して、非線形特徴量を加えたタップを用いる高画質化処理が施された画像の特性は、約０.４dBほどS/N比の値が改善されている。
【０２４３】
非線形特徴量を加えたタップを用いる高画質化処理を従来のクラス分類適応処理に適用する場合、例えば、次のような処理となる。
【０２４４】
入力画像において、クラスタップについては、線形特徴量のみのタップを用いる場合と同じように図１７に示されるタップを取得する。そのため、９個の要素の値に基づく１bitADRC (Adaptive Dynamic Range Coding)コードを算出し、算出された１bitADRCコード毎に、注目画素をクラス分類する。
【０２４５】
また、予測タップとしては、図２に示される生徒画像から得られる線形特徴量に、式（３）により得られる、注目画素の周辺の画素値の水平微分絶対値および垂直微分絶対値、および式（４）により得られる、注目画素の周辺の画素値の最大値および最小値、並びに水平微分絶対値の最大値および垂直微分絶対値の最大値を、非線形特徴量として加えたものを用いる。そのタップの要素のそれぞれに回帰係数wを乗じることで、式（２）を参照して上述した回帰演算を行った予測値を演算する。そして、得られた予測値を、注目画素に対応する画素の値とする出力画像が生成される。これにより、入力画像が高画質化された出力画像が得られることになり、その出力画像の特性は、上述したように、線形特徴量のみのタップを用いる場合と比較してS/N比の値が改善されたものとなる。
【０２４６】
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図２１に示されるような汎用のパーソナルコンピュータ７００などに、ネットワークや記録媒体からインストールされる。
【０２４７】
図２１において、CPU（Central Processing Unit）７０１は、ROM（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からRAM（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。RAM７０３にはまた、CPU７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０２４８】
CPU７０１、ROM７０２、およびRAM７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。
【０２４９】
入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、CRT(Cathode Ray Tube)、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７、ハードディスクなどより構成される記憶部７０８、モデム、LANカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。
【０２５０】
入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。
【０２５１】
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。
【０２５２】
なお、この記録媒体は、図２１に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。
【０２５３】
なお、本明細書において上述した一連の処理は、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【符号の説明】
【０２５４】
１０ 学習装置， ２１ 回帰係数学習部， ２２ 回帰係数記憶部， ２３ 回帰予測部， ２４ ラベリング部， ２５ 判別係数学習部， ２６ 判別係数記憶部， ２７ 判別予測部， ２８ クラス分割部， １００ 画像処理装置， １２１ 判別予測部， １２２ 判別係数記憶部， １２３ クラス分割部， １２４ 回帰係数記憶部， １２５ 回帰予測部， ７０１ ＣＰＵ， ７０２ ROM， ７１１ リムーバブルメディア
【特許請求の範囲】
【請求項１】
第１の画像データの注目画素に対応する線形特徴量、および前記画像データより求められる非線形特徴量を要素として構成されるタップに応じてクラス毎に回帰係数データが格納されている記憶手段と、
入力される前記第１の画像の複数の入力データの線形特徴量を所定のクラスに分類する分類手段と、
前記分類手段で求めたクラスに対応した前記回帰係数データを前記記憶手段から読み出す読み出し手段と、
前記読み出し手段から読み出された前記回帰係数データと入力される前記第１の画像の複数の入力データの前記タップの要素とを用いて積和演算処理を行うことによって、前記第１の画像を高画質化した第２の画像のデータを生成する画像データ生成手段と
を備える画像処理装置。
【請求項２】
前記非線形特徴量は、注目画素の周辺画素位置の水平、垂直の微分絶対値である
請求項１の画像処理装置。
【請求項３】
前記非線形特徴量は、注目画素の周辺画素値の最大、最小値である
請求項１の画像処理装置。
【請求項４】
前記非線形特徴量は、注目画素の周辺画素位置の水平、垂直の微分絶対値の最大値である
請求項１の画像処理装置。
【請求項５】
第１の画像データの注目画素に対応する線形特徴量のそれぞれと予め記憶されている判別係数との積和演算により前記注目画素が属する判別クラスを特定するための判別予測値を求める判別予測演算を行う判別予測手段をさらに備え、
前記分類手段は、前記判別予測値に基づいて、前記第１の信号の画像の注目画素のそれぞれを、所定のクラスに分類する
請求項１の画像処理装置。
【請求項６】
第２の画像の画質を変化させて得られる第１の画像の複数の入力データの注目画素に対応する線形特徴量を所定のクラスに分類する分類手段と、
前記分類手段で求めたクラス毎に、前記第２の画像の画素値を求めるための積和演算であって、前記第１の画像の複数の入力データの線形特徴量及び前記複数の入力データより求められる非線形特徴量を要素として構成されるタップと回帰係数とを用いた積和演算の回帰係数を算出する回帰係数算出手段と、
前記算出された前記回帰係数を、前記分類されたクラス毎に記憶する記憶手段と
を備える係数学習装置。
【請求項７】
前記非線形特徴量は、注目画素の周辺画素位置の水平、垂直の微分絶対値である
請求項６の係数学習装置。
【請求項８】
前記非線形特徴量は、注目画素の周辺画素値の最大、最小値である
請求項６の係数学習装置。
【請求項９】
前記非線形特徴量は、注目画素の周辺画素位置の水平、垂直の微分絶対値の最大値である
請求項６の係数学習装置。
【請求項１０】
第１の画像データの注目画素に対応する線形特徴量のそれぞれと予め記憶されている判別係数との積和演算により前記注目画素が属する判別クラスを特定するための判別予測値を求める判別予測演算を行う判別予測手段をさらに備え、
前記分類手段は、前記判別予測値に基づいて、前記第１の信号の画像の注目画素のそれぞれを、所定のクラスに分類する
請求項６の係数学習装置。
【請求項１】
第１の画像データの注目画素に対応する線形特徴量、および前記画像データより求められる非線形特徴量を要素として構成されるタップに応じてクラス毎に回帰係数データが格納されている記憶手段と、
入力される前記第１の画像の複数の入力データの線形特徴量を所定のクラスに分類する分類手段と、
前記分類手段で求めたクラスに対応した前記回帰係数データを前記記憶手段から読み出す読み出し手段と、
前記読み出し手段から読み出された前記回帰係数データと入力される前記第１の画像の複数の入力データの前記タップの要素とを用いて積和演算処理を行うことによって、前記第１の画像を高画質化した第２の画像のデータを生成する画像データ生成手段と
を備える画像処理装置。
【請求項２】
前記非線形特徴量は、注目画素の周辺画素位置の水平、垂直の微分絶対値である
請求項１の画像処理装置。
【請求項３】
前記非線形特徴量は、注目画素の周辺画素値の最大、最小値である
請求項１の画像処理装置。
【請求項４】
前記非線形特徴量は、注目画素の周辺画素位置の水平、垂直の微分絶対値の最大値である
請求項１の画像処理装置。
【請求項５】
第１の画像データの注目画素に対応する線形特徴量のそれぞれと予め記憶されている判別係数との積和演算により前記注目画素が属する判別クラスを特定するための判別予測値を求める判別予測演算を行う判別予測手段をさらに備え、
前記分類手段は、前記判別予測値に基づいて、前記第１の信号の画像の注目画素のそれぞれを、所定のクラスに分類する
請求項１の画像処理装置。
【請求項６】
第２の画像の画質を変化させて得られる第１の画像の複数の入力データの注目画素に対応する線形特徴量を所定のクラスに分類する分類手段と、
前記分類手段で求めたクラス毎に、前記第２の画像の画素値を求めるための積和演算であって、前記第１の画像の複数の入力データの線形特徴量及び前記複数の入力データより求められる非線形特徴量を要素として構成されるタップと回帰係数とを用いた積和演算の回帰係数を算出する回帰係数算出手段と、
前記算出された前記回帰係数を、前記分類されたクラス毎に記憶する記憶手段と
を備える係数学習装置。
【請求項７】
前記非線形特徴量は、注目画素の周辺画素位置の水平、垂直の微分絶対値である
請求項６の係数学習装置。
【請求項８】
前記非線形特徴量は、注目画素の周辺画素値の最大、最小値である
請求項６の係数学習装置。
【請求項９】
前記非線形特徴量は、注目画素の周辺画素位置の水平、垂直の微分絶対値の最大値である
請求項６の係数学習装置。
【請求項１０】
第１の画像データの注目画素に対応する線形特徴量のそれぞれと予め記憶されている判別係数との積和演算により前記注目画素が属する判別クラスを特定するための判別予測値を求める判別予測演算を行う判別予測手段をさらに備え、
前記分類手段は、前記判別予測値に基づいて、前記第１の信号の画像の注目画素のそれぞれを、所定のクラスに分類する
請求項６の係数学習装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２０１０−１０２６９６（Ｐ２０１０−１０２６９６Ａ）
【公開日】平成２２年５月６日（２０１０．５．６）
【国際特許分類】
【出願番号】特願２００９−２１１６１３（Ｐ２００９−２１１６１３）
【出願日】平成２１年９月１４日（２００９．９．１４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２２年５月６日（２０１０．５．６）
【国際特許分類】
【出願日】平成２１年９月１４日（２００９．９．１４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]