情報処理装置および方法、並びにプログラム
【課題】高倍密変換時に従来以上に高解像度の画像信号を生成し、またリンギングを低減した画像信号を生成することができるようにする。
【解決手段】装置は、入力された画像信号（Ｓ４１）に対して、ADRCクラスを生成する（Ｓ４３）。装置は、ADRCクラス毎に、入力波形に対して位相をずらした位相シフト波形を生成し、基準波形との相関を取得し（Ｓ４５）、その相関に基づく特徴量に応じて特徴量クラスを生成する。装置は、ADRCクラスと特徴量クラスからクラスコードを生成し（Ｓ４７）、そのクラスコードに対応する予測係数と、予測タップのデータとから、マッピングする（Ｓ４９）．本発明は、例えば高解像度化処理を施すシステムに適用可能である。
【解決手段】装置は、入力された画像信号（Ｓ４１）に対して、ADRCクラスを生成する（Ｓ４３）。装置は、ADRCクラス毎に、入力波形に対して位相をずらした位相シフト波形を生成し、基準波形との相関を取得し（Ｓ４５）、その相関に基づく特徴量に応じて特徴量クラスを生成する。装置は、ADRCクラスと特徴量クラスからクラスコードを生成し（Ｓ４７）、そのクラスコードに対応する予測係数と、予測タップのデータとから、マッピングする（Ｓ４９）．本発明は、例えば高解像度化処理を施すシステムに適用可能である。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置および方法並びにプログラムに関し、特に、高倍密(ズーム)変換時に従来以上に高解像度の(エッジを急峻に立たせた)画像信号を生成し、またリンギングを低減した画像信号を生成することができるようになった、情報処理装置および方法並びにプログラムに関する。
【背景技術】
【０００２】
従来から、標準解像度または低解像度の画像(以下、適宜、SD画像と称する)を、高解像度の画像(以下、適宜、HD画像と称する)に変換したり、また、画像を拡大したりする要望が挙げられていた。かかる要望に応えるべく、従来、いわゆる補間フィルタなどによって、不足している画素の画素値の補間(補償)が行われるようになされていた。
【０００３】
しかしながら、補間フィルタによって画素の補間を行っても、SD画像に含まれていない成分、即ちHD画像の成分(高周波成分)を復元することはできないため、高解像度の画像を得ることは困難であるという問題があった。
【０００４】
そこで、本出願人は、かかる問題を解決すべく、クラス分類適応処理を先に提案している（例えば、特許文献１参照）。クラス分類適応処理は、入力画像の所定の領域の複数の画素の画素値と、教師画像および生徒画像を用いた学習により予め求めておいた係数群との線形１次式（予測演算式）を演算することにより、入力画像から高解像度の出力画像を求める信号処理である。
【０００５】
即ち、クラス分類適応処理を上述の要望に適用すると、SD画像と、所定の予測係数との線形結合により、HD画像の画素の予測値を求める適応処理が実現される。以下、かかる適応処理についてさらに説明する。
【０００６】
例えば、いま、HD画像を構成する画素(以下、適宜、HD 画素と称する)の画素値yの予測値E[y]について次のように求めることを考える。即ち、幾つかのSD 画素(HD画素対して、SD画像を構成する画素を適宜このように称する)の画素値(以下、適宜、学習データという)x1 ，x2 ，・・・と、所定の予測係数w1 ，w2 ，・・・の線形結合により規定される線形1次結合モデルにより、予測値E[y]を求めることを考える。
【０００７】
この場合、予測値E[y]は、次の式（１）のように表すことができる。
【０００８】
【数１】
・・・（１）
【０００９】
そこで、式（１）を一般化するために、学習データの集合でなる行列Xを次の式（２）のように定義する。予測係数wの集合でなる行列Wを次の式（３）のように定義する。予測値E[y]の集合でなる行列Y’を次の式（４）のように定義する。
【００１０】
【数２】
・・・（２）
【数３】
・・・（３）
【数４】
・・・（４）
【００１１】
このように定義することで、次の式（５）のような観測方程式が成立する。
【００１２】
【数５】
・・・（５）
【００１３】
この式（５）の観測方程式に最小自乗法を適用して、HD画素の画素値yに近い予測値E[y]を求めることを考える。この場合、教師データとなるHD画素の真の画素値yの集合でなる行列Yを次の式（６）のように定義する。また、HD画素の画素値yに対する予測値E[y]の残差eの集合でなる行列Eを、次の式（７）のように定義する。
【００１４】
【数６】
・・・（６）
【数７】
・・・（７）
【００１５】
この場合、式（５）から、次の式（８）のような残差方程式が成立する。
【００１６】
【数８】
・・・（８）
【００１７】
この場合、HD画素の画素値yに近い予測値E[y]を求めるための予測係数wiは、例えば、次の式（９）で示される自乗誤差を最小にすることで求めることができる。
【００１８】
【数９】
・・・（９）
【００１９】
従って、式（９）の自乗誤差を予測係数wiで微分したものが0になる場合、即ち、次の式（１０）を満たす予測係数wiが、HD画素の画素値yに近い予測値E[y] を求めるため最適値ということになる。
【００２０】
【数１０】
・・・（１０）
【００２１】
そこで、まず、式（８）を予測係数wiで微分することにより、次の式（１１）が成立する。
【００２２】
【数１１】
・・・（１１）
【００２３】
式（１０），式（１１）から、次の式（１２）が得られる。
【００２４】
【数１２】
・・・（１２）
【００２５】
さらに、式（８）の残差方程式における学習データx、予測係数w、教師データy、および残差e の関係を考慮すると、式（１２）から、次のような正規方程式（１３）を得ることができる。
【００２６】
【数１３】
・・・（１３）
【００２７】
式（１３）の正規方程式は、求めるべき予測係数wの数と同じ数だけたてることができ、従って、式（１３）を解くことで最適な予測係数wを求めることができる。ただし、式（１３）を解くためには、式（１３）において、予測係数wにかかる係数で構成される行列が正則である必要がある。また、式（１３）を解くにあたっては、例えば、掃き出し法(Gauss-Jordan の消去法) などを適用することが可能である。
【００２８】
以上のようにして、最適な予測係数wを求めておき、さらに、その予測係数wを用いて、式（１）に従って、HD画素の画素値yに近い予測値E[y]を求める処理が適応処理である。
【００２９】
なお、適応処理は、SD画像には含まれていない成分、即ちHD画像に含まれる成分が再現される点で、補間処理とは異なる。即ち、適応処理では、式（１）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一に見える。しかしながら、その補間フィルタのタップ係数に相当する予測係数wが、教師データyを用いた学習により求められるため、HD画像に含まれる成分を再現することができるのである。即ち、高解像度の画像を容易に得ることがでるのである。このことから、適応処理は、いわば画像(の解像度)の創造作用がある処理ということができる。
【００３０】
【特許文献１】特開２００２−２１８４１３号公報
【発明の開示】
【発明が解決しようとする課題】
【００３１】
しかしながら、従来の適応処理では、高倍密(ズーム)変換時に解像度感が不足したり、リンギングが発生するなどの問題が生じていた。
【００３２】
本発明は、このような状況に鑑みてなされたものであり、高倍密(ズーム)変換時に従来以上に高解像度の(エッジを急峻に立たせた)画像信号を生成し、またリンギングを低減した画像信号を生成することができるようにするものである。
【課題を解決するための手段】
【００３３】
本発明の一側面の第１の情報処理装置は、所定規則に従って第１の種類のクラスが複数設けられており、第１の画像を構成する各画素を注目画素として、その注目画素を、前記所定規則に基づいて複数の前記第１の種類のクラスのうちの何れかに分類する第１のクラス分類手段と、前記注目画素を含む前記第１の画像の波形に対して位相シフトさせたシフト波形を生成し、そのシフト波形に基づく特徴量を、前記複数の第１の種類のクラス毎に生成する特徴量生成手段と、前記複数の第１の種類のクラス毎に、前記特徴量に応じた第２の種類のクラスが複数設けられており、前記第１の種類のクラス分類が行われた前記注目画素を、さらに、前記特徴量生成手段により生成された特徴量に基づいて複数の前記第２の種類のクラスのうちの何れかに分類する第２のクラス分類手段と、前記第１の種類および前記第２の種類の前記注目画素の各クラスにより特定される係数群と、前記注目画素を含む画素のデータ群とを用いて、第２の画像を構成する画素を予測演算する予測演算手段とを備える。
【００３４】
前記複数の第１の種類のクラス毎に基準波形を生成する基準波形生成手段をさらに備え、前記特徴量生成手段は、前記基準波形と前記シフト波形との相関に基づいて、前記特徴量を生成する。
【００３５】
前記波形生成手段は、前記注目画素を含む前記第１の画像の波形の変曲点を求め、その変曲点が特定の個所にくる波形を前記基準波形として生成する。
【００３６】
前記第１の種類のクラスは、ADRC(Adaptive Dynamic Range Coding)を用いてクラス分類されるクラスである。
【００３７】
本発明の一側面の第１の情報処理方法およびプログラムは、上述した本発明の一側面の第１の情報処理装置に対応する方法およびプログラムである。
【００３８】
本発明の一側面の第１の情報処理装置および方法、並びにプログラムにおいては、所定規則に従って第１の種類のクラスが複数設けられており、第１の画像を構成する各画素を注目画素として、その注目画素が、前記所定規則に基づいて複数の前記第１の種類のクラスのうちの何れかに分類される。前記注目画素を含む前記第１の画像の波形に対して位相シフトさせたシフト波形が生成され、そのシフト波形に基づく特徴量が、前記複数の第１の種類のクラス毎に生成される。前記複数の第１の種類のクラス毎に、前記特徴量に応じた第２の種類のクラスが複数設けられており、前記第１の種類のクラス分類が行われた前記注目画素が、さらに、生成された特徴量に基づいて複数の前記第２の種類のクラスのうちの何れかに分類される。前記第１の種類および前記第２の種類の前記注目画素の各クラスにより特定される係数群と、前記注目画素を含む画素のデータ群とを用いて、第２の画像を構成する画素を予測演算される。
【００３９】
本発明の一側面の第２の情報処理装置は、第１の画像を教師として入力し、前記第１の画像から生徒としての第２の画像を生成する生徒生成手段と、所定規則に従って第１の種類のクラスが複数設けられており、前記第２の画像を構成する各画素を注目画素として、その注目画素を、前記所定規則に基づいて複数の前記第１の種類のクラスのうちの何れかに分類する第１のクラス分類手段と、前記注目画素を含む前記第２の画像の波形に対して位相シフトさせたシフト波形を生成し、そのシフト波形に基づく特徴量を、前記複数の第１の種類のクラス毎に生成する特徴量生成手段と、前記複数の第１の種類のクラス毎に、前記特徴量に応じた第２の種類のクラスが複数設けられており、前記第１の種類のクラス分類が行われた前記注目画素を、さらに、前記特徴量生成手段により生成された特徴量に基づいて複数の前記第２の種類のクラスのうちの何れかに分類する第２のクラス分類手段と、前記第１の種類および前記第２の種類の各種類から特定されるクラスごとに、前記注目画素を含む画素のデータ群から、前記第１の画像を構成する画素を予測演算するために用いる係数群を生成する係数生成手段とを備える。
【００４０】
前記複数の第１の種類のクラス毎に基準波形を生成する基準波形生成手段をさらに備え、前記特徴量生成手段は、前記基準波形と前記シフト波形との相関に基づいて、前記特徴量を生成する。
【００４１】
前記波形生成手段は、前記注目画素を含む前記第１の画像の波形の変曲点を求め、その変曲点が特定の個所にくる波形を前記基準波形として生成する。
【００４２】
前記第１の種類のクラスは、ADRC(Adaptive Dynamic Range Coding)を用いてクラス分類されるクラスである。
【００４３】
本発明の一側面の第２の情報処理方法およびプログラムは、上述した本発明の一側面の第２の情報処理装置に対応する方法およびプログラムである。
【００４４】
本発明の一側面の第２の情報処理装置および方法、並びにプログラムにおいては、第１の画像が教師として入力され、前記第１の画像から生徒としての第２の画像が生成される。所定規則に従って第１の種類のクラスが複数設けられており、前記第２の画像を構成する各画素を注目画素として、その注目画素が、前記所定規則に基づいて複数の前記第１の種類のクラスのうちの何れかに分類される。前記注目画素を含む前記第２の画像の波形に対して位相シフトさせたシフト波形が生成され、そのシフト波形に基づく特徴量が、前記複数の第１の種類のクラス毎に生成される。前記複数の第１の種類のクラス毎に、前記特徴量に応じた第２の種類のクラスが複数設けられており、前記第１の種類のクラス分類が行われた前記注目画素が、さらに、生成された特徴量に基づいて複数の前記第２の種類のクラスのうちの何れかに分類される。前記第１の種類および前記第２の種類の各種類から特定されるクラスごとに、前記注目画素を含む画素のデータ群から、前記第１の画像を構成する画素を予測演算するために用いる係数群を生成される。
【発明の効果】
【００４５】
以上のごとく、本発明によれば、高倍密(ズーム)変換時に従来以上に高解像度(エッジを急峻に立たせた)の画像信号を生成し、またリンギングを低減した画像信号を生成することができる。
【発明を実施するための最良の形態】
【００４６】
初めに、本発明の理解を容易なものとすべく、本発明が適用される手法（以下、本発明の手法と称する）の概要について説明する。
【００４７】
［発明が解決しようとする課題］の欄で説明したように、従来技術の問題点として解像度感不足やリンギングの発生などが存在する。それらの問題点を解決するために、次のような画素以下の特徴量をクラス分類に利用することにより、今まで分類することができていなかった波形パターンを適切に分類することができるようになる。その結果、より似たような波形パターンを集められるので、クラス分類適応処理の性能が向上することになる。
【００４８】
先ず、画素以下の特徴量について説明する。
【００４９】
従来の技術では、入力画素データを用いてクラス分類が行われていた。このことは、画素精度での特徴量を利用していたことを意味する。
【００５０】
これに対して、本発明の手法では、画素精度より細かい情報、即ち、画素以下の情報を用いたクラス分類が行われる。
【００５１】
具体的には、従来の技術では、ADRC(Adaptive Dynamic Range Coding)等を用いてクラス分類を行っていた。即ち、従来の技術では、画像から任意のデータを取得し、その取得したデータ毎のダイナミックレンジ(画素値の最大値と最小値の差分) に応じて、適応的な量子化を行っていた。この従来の技術では、入力の画素データを用いてクラス分類を行っているため、画素精度での特徴量を利用していることになる。
【００５２】
これに対して、本発明の手法では、画素以下の特徴量を用いる次のような第１乃至第３の処理が実行される。即ち、第１の処理とは、入力波形の位相を、位相シフトフィルタを用いてずらす処理である。第２の処理では、どのくらいずらすと基準波形との相関が高いのかについて、位相がずらされた後の波形（以下、位相シフト入力波形と称する）と基準波形とを比較することで求める処理である。第３の処理は、位相シフトフィルタによるずらし量をいくつかに分けて、クラス分類で利用する処理である。即ち、このずらし量が、画素以下の情報となっているのである。
【００５３】
さらに以下、本発明の手法について説明していく。
【００５４】
先ず基準波形について説明する。
【００５５】
上述の如く第２の処理と第３の処理では、とある波形が基準波形となり、この基準波形と位相シフト入力波形とが比較され、その比較の結果に基づいてクラス分類が行われる。
【００５６】
この基準波形として、例えば次の第１乃至第３の波形を採用することが可能である。
【００５７】
第１の波形とは、入力波形の1bitADRCのクラス毎の平均波形をいう。
【００５８】
第２の波形とは、単純な1bitADRCのコードの波形をいう。
【００５９】
第３の波形とは、入力波形から変曲点を求めた場合に、その変曲点が特定の個所にくる波形をいう。
【００６０】
第１の波形、即ち、「入力波形の1bitADRCのクラス毎の平均波形」とは、入力波形を1bitADRCでクラス分類を行ったとき、各クラス毎に入力されるすべての波形の平均を取った結果得られる波形を意味する。ここでいう「平均」とは、いわゆるサンプルを加算していきサンプル数で割るという平均を意味しない。即ち、ここでいう「平均」とは、波形をたとえば0 から1 の値に正規化し、その正規化した波形の平均を意味する。
【００６１】
第２の波形、即ち、「単純な1bitADRCのコードの波形」とは、1bitADRCのクラスのコードが例えば「00111」だとした場合、その「00111」の波形であることを意味する。
【００６２】
第３の波形、即ち、「入力波形から変曲点を求め、変曲点が特定の個所にくる波形」とは、入力波形を1bitADRCでクラス分類を行ったとき、各クラス毎に入力される波形のうち、変曲点がADRCのクラスコードが切り替わる(0 と1) ところの真ん中にくるものの波形の平均を取った結果得られる波形を意味する。なお、「平均」の意味については、第１の波形についての「平均」と同様である。
【００６３】
本実施の形態としては、基準波形として第３の波形を採用する。即ち、以下、特に断りのない限り、基準波形とは第３の波形を意味するものとする。
【００６４】
以下、基準波形の生成手法について説明する。なお、下記の処理の動作主体は、説明の便宜上、装置とする。
【００６５】
先ず、装置は、入力波形から変曲点を求める。
【００６６】
変曲点の求め方の手法自体は特に限定されない。ただし、本実施の形態では、次のような手法を採用するとする。なお、その際、垂直方向と水平方向の2方向に関して変曲点を求めることになる。ただし、ここでは説明の簡略上、水平方向に特化した説明を行う。
【００６７】
例えば装置は、SDサイズの基準波形を作成する場合には、HDサイズの波形を利用して、SDサイズの基準波形を作成する。例えば図1に示されるように、SD、HD、４倍HD（HDの画面サイズの４倍の密度のサイズ）といったように、画面サイズの変化の構造を、以下、階層構造と称することにする。ただし、ここでは、便宜上、SDのデータを、最上位の階層のデータとして、4倍HDのデータを、最下位の階層のデータとする。
【００６８】
この場合、装置は、SDサイズの基準波形を作成するので、その一階層下のデータであるHD サイズのデータを用いて二次微分値を求め、その二次微分値が０になるところを変曲点として求める。なお、二次微分値は、例えば次の式（１４）に従って求められるとする。
【００６９】
【数１４】
・・・（１４）
ただし、式（１４）において、f(x)はx 座標における画素値となっている。
【００７０】
以上のような変曲点の求め方の手法が、本実施の形態では採用されている。
【００７１】
次に、装置は、ADRCコードが切り替わる間で変曲点が存在する波形を集める。そして、装置は、集められた波形の平均を取った結果得られる波形を、基準波形として生成する。
【００７２】
ここで、ADRCコードが切り替わる間の二カ所の間の変曲点の位置を、変曲点位置と称する。この場合、装置は、変曲点位置が0.5となる波形のみを集めて平均すると、基準波形を生成することができる。ただし、変曲点位置が0.5となる波形の数が、平均を取るには少ない場合もある得る。そのような場合、誤差をもたせることにより、装置は、その誤差範囲内で波形を集めて、集められた波形の平均を取った結果得られる波形を、基準波形として生成することができる。
【００７３】
なお、変曲点位置は、次のように算出することができる。即ち、装置は、ADRCコードが切り替わる間の二カ所のｘ座標を求める。なお、求まった二カ所のｘ座標を、x，x+1と記述するとする。そして、そのx,x+1における二次微分値をf”(x),f”(x + 1)と記述するとする。すると、求める変曲点位置は、図２に示される斜め線がｘ座標と交わる位置になる。即ち、変曲点位置は、次の式（１５）によって求められることになる。
【００７４】
【数１５】
・・・（１５）
ただし、式（１５）において、abs(x)は、xの絶対値を返す関数を意味する。
【００７５】
次に、本発明の手法により実現される処理全体の流れについて説明していく。
【００７６】
本発明の手法による処理は、主に、クラス分類を用いて予測係数を学習により生成する処理（以下、学習処理と要する）と、マッピング処理とに大別される。マッピング処理とは、学習処理により得られた予測係数を用いて、SD画像からHD予測画像を得る処理をいう。
【００７７】
以下、学習処理とマッピング処理のそれぞれについて、その順番で説明していく。なお、ここでも、説明の便宜上、動作主体は装置であるとして説明をしていく。また、両処理とも、処理単位は画素であるとする。即ち、画像を構成する各画素が、処理対象として注目すべき注目画素に順次設定されていき、注目画素に対して処理が施されることが繰り返される。ただし、以下、説明の便宜上、この繰り返しの処理の説明については適宜省略する。
【００７８】
図３は、本発明が適用される学習処理の一例を説明するフローチャートである。
【００７９】
ステップＳ１において、装置は、教師画像信号（HD信号）を取得する。
【００８０】
ステップＳ２において、装置は、生徒画像信号(SD信号)を生成する。即ち、装置は、例えば教師画像信号（HD信号）に対して、LPF(LowPassFilter)を用いたダウンコンバート処理を施すことで、生徒画像信号（SD信号）を生成する。
【００８１】
ステップＳ３において、装置は、生徒画像信号(SD信号)からクラスタップのデータを取得する。クラスタップのデータ自体は、クラス分類適応処理ができるデータであれば特に限定されない。例えば本実施の形態では、図４Ａに示されるように、注目画素（黒い丸印で示された画素）を中心に上下左右の画素（灰色の丸印で示された画素）からなるデータがクラスタップとして取得される。
【００８２】
ステップＳ４において、装置は、クラスタップを用いて1bitADRC処理を行うことで、ADRCクラスを生成する。即ち、生徒画像信号（SD信号）に対応する生徒画像の各画素が、ADRCクラスに分類される。
【００８３】
ステップＳ５において、装置は、ADRCクラス毎に基準波形を生成する。基準波形生成手法については、上述した通りである。なお、以下、ステップＳ５の処理を、図３の記載にあわせて、基準波形生成処理と称する。基準波形生成処理の詳細例については、図６を用いて後述する。
【００８４】
ステップＳ６において、装置は、位相シフト入力波形を生成し、基準波形との相関を取得する。ステップＳ７において、装置は、特徴量クラス生成する。ステップＳ８において、装置はクラスコードを生成する。
【００８５】
具体的には例えば、装置は、図５に示されるように、生徒画像信号(SD信号)に対応する生徒画像の水平N 画素分の波形データを、入力波形として取得する。装置は、その入力波形に対して位相シフトフィルタを用いることで、-7/8乃至7/8 位相まで位相をずらした波形データ、即ち、-7/8位相シフト入力波形乃至7/8 位相シフト入力波形を生成する。なお、Nは位相シフトフィルタで用いるデータの数で決定される整数値である。図５の例では、N個の画素の中に注目画素が含まれている。
【００８６】
そして、装置は、図５に示されるように、-7/8位相シフト入力波形乃至7/8 位相シフト入力波形の各５画素分のデータと、ADRCクラス毎にあらかじめ求められている基準波形とを用いて相関を求める。即ち、-7/8位相シフト入力波形乃至7/8 位相シフト入力波形は１５個の波形データからなるので、それら１５個の相関係数が求まる。
【００８７】
よって、装置は、それら１５個の相関係数の中で最も値の大きな位相シフト入力波形を特定し、特定された位相シフト入力波形のシフト（ずらし）位置に基づいて特徴量クラスを生成する。
【００８８】
そして、装置は、ADRCクラスと特徴量クラスから全体のクラスコードを生成する。
【００８９】
このようにして、ステップＳ６乃至Ｓ８の処理が終了すると、処理はステップＳ９に進む。
【００９０】
ステップＳ９において、装置は、教師画像信号(HD信号)から教師タップのデータを取得する。
【００９１】
ステップＳ１０において、装置は、生徒画像信号(SD信号)から予測タップのデータを取得する。例えば本実施の形態では、図４Ｂに示されるように、注目画素（黒い丸印で示された画素）とその周囲８画素（灰色の丸印で示された画素）からなるデータが予測タップとして取得される。
【００９２】
ステップＳ１１において、クラスコード毎に、教師タップおよび予測タップの各データを正規方程式に加算する。
【００９３】
ステップＳ１２において、装置は、データが終了したか否かを判定する。
【００９４】
全サンプル分のデータの処理がまだ終了していない場合、ステップＳ１２においてＮＯであると判定されて、処理はステップＳ１に戻され、それ以降の処理が繰り返される。
【００９５】
その後、ステップＳ１乃至Ｓ１２のループ処理が繰り返し実行されて、全サンプル分の正規方程式への加算が行われると、ステップＳ１２の処理でＹＥＳであると判定されて、処理はステップＳ１３に進む。
【００９６】
ステップＳ１３において、装置は、正規方程式を解くことで予測係数を算出する。予測係数はストアされ、後述する図７のマッピング処理に利用される。
【００９７】
図６は、図３の学習処理のステップＳ５の基準波形生成処理の詳細例を説明するフローチャートである。
【００９８】
ステップＳ２１において、装置は、教師画像信号（HD信号）を取得する。
【００９９】
ステップＳ２２において、装置は、生徒画像信号(SD信号)を生成する。即ち、装置は、例えば教師画像信号（HD信号）に対して、LPFを用いたダウンコンバート処理を施すことで、生徒画像信号（SD信号）を生成する。
【０１００】
ステップＳ２３において、装置は、生徒画像信号(SD信号)からクラスタップのデータを取得する。クラスタップのデータ自体は、クラス分類適応処理ができるデータであれば特に限定されない。ただし図３の学習処理と合わせる必要がある。よって例えば本実施の形態では、図４Ａに示されるデータがクラスタップとして取得される。
【０１０１】
ステップＳ２４において、装置は、クラスタップを用いて1bitADRC処理を行うことで、ADRCクラスを生成する。即ち、生徒画像信号（SD信号）に対応する生徒画像の各画素が、ADRCクラスに分類される。
【０１０２】
ステップＳ２５において、装置は、ADRCクラス毎に特徴量を算出する。例えば上述の例でいえば、上述した式（１５）で示される変曲点位置が特徴量として算出される。
【０１０３】
ステップＳ２６において、装置は、ADRCクラス毎に特徴量を判定する。ステップＳ２７において、装置は、足し込みすべき特徴量であると判定された生徒画像信号(SD信号)の波形を、ADRCクラス毎に足し込む。例えば、上述した例では、変曲点位置が0.5と判定された場合、その波形が足し込まれることになる。
【０１０４】
ステップＳ２８において、装置は、データが終了したか否かを判定する。
【０１０５】
全サンプル分のデータの処理がまだ終了していない場合、ステップＳ２８においてＮＯであると判定されて、処理はステップＳ２１に戻され、それ以降の処理が繰り返される。
【０１０６】
その後、ステップＳ２１乃至Ｓ２８のループ処理が繰り返し実行されて、全サンプル分のADRCクラス毎の波形の足し込みが行われると、ステップＳ２８の処理でＹＥＳであると判定されて、処理はステップＳ２９に進む。
【０１０７】
ステップＳ２９において、装置は、このようにして足し込みが行われた波形について、ADRCクラス毎に平均し、その結果得られるADRCクラス毎の各波形を基準波形とする。
【０１０８】
これにより、基準波形生成処理は終了となる。
【０１０９】
図７は、本発明が適用されるマッピング処理の一例を説明するフローチャートである。
【０１１０】
ステップＳ４１において、装置は、画像信号(SD信号)を入力する。
【０１１１】
ステップＳ４２において、装置は、画像信号(SD信号)からクラスタップのデータを取得する。クラスタップのデータ自体は、クラス分類適応処理ができるデータであれば特に限定されない。ただし、学習処理と対応させる必要がある。そこで、例えば本実施の形態では、上述した図４Ａに示されるデータがクラスタップとして取得される。
【０１１２】
ステップＳ４３において、装置は、クラスタップを用いて1bitADRC処理を行うことで、ADRCクラスを生成する。即ち、生徒画像信号（SD信号）に対応する生徒画像の各画素が、ADRCクラスに分類される。
【０１１３】
ステップＳ４４において、装置は、ADRCクラス毎に基準波形を取得する。なお、基準波形は、図３の学習処理のステップＳ５の処理（図６の処理）で予め生成されている。
【０１１４】
ステップＳ４５において、装置は、位相シフト入力波形を生成し、基準波形との相関を取得する。ステップＳ４６において、装置は、特徴量クラス生成する。ステップＳ４７において、装置はクラスコードを生成する。
【０１１５】
なお、ステップＳ４５乃至Ｓ４７の処理は、図３の学習処理のステップＳ６乃至Ｓ８の処理と基本的に同様である。よって、ステップＳ４５乃至Ｓ４７の処理の詳細については、図３の学習処理のステップＳ６乃至Ｓ８の処理の詳細な説明を参照するとよい。
【０１１６】
ステップＳ４８において、装置は、画像信号(SD信号)から予測タップのデータを取得し、マッピングする。
【０１１７】
例えば本実施の形態では、図４Ｂに示されるデータが予測タップとして取得される。
【０１１８】
装置は、クラスコード毎に、図３の学習処理のステップＳ１３の処理により算出された予測係数と、予測タップの各データを式（１）の予測演算式に代入して演算することで、画像信号（SD信号）からHD予測画像信号（HD信号）を創造する。
【０１１９】
ステップＳ４９において、装置は、データが終了したか否かを判定する。
【０１２０】
画像信号を構成する全データについての処理がまだ終了していない場合、ステップＳ４９の処理でＮＯであると判定されて、処理はステップＳ４１に戻され、それ以降の処理が繰り返される。
【０１２１】
その後、ステップＳ４１乃至Ｓ４９のループ処理が繰り返し実行されて、画像信号を構成する全データについての処理が終了すると、即ち、画像信号（SD信号）の全てに対応するHD予測画像信号（HD信号）が創造されると、ステップＳ４９の処理でＹＥＳであると判定されて、マッピング処理は終了となる。
【０１２２】
ここで、図８乃至図１１を参照して、本発明の手法によりマッピングされた画像（以下、特徴量あり画像と称する）と、従来の手法（ADRCクラス分類のみ）によりマッピングされた画像（以下、特徴量なし画像と称する）とを比較する。特徴量あり画像とは、図７のマッピング処理の結果として得られた画像を意味する。具体的には、波形を評価する定性評価と、SNR(Signal to Noise ratio)を評価する定量評価の結果を用いて比較する。
【０１２３】
図８は、教師画像の一部とその波形を示している。図９は、教師画像に対する特徴量あり画像の一部とその各色画像の波形を示している。図１０は、教師画像に対する特徴量なし画像の一部とその各色画像の波形を示している。
【０１２４】
図８乃至図１０の画像は、本来カラー画像である。そして、その画像内に示される波形は、画像中のバツ印の画素mが存在するラインにおける、RGB(Red-Green-Blue)の各色画像の水平方向の波形R、波形G、及び波形Bである。なお、波形が示されているグラフの縦軸は画素値を示し、横軸は水平方向の画素位置を示している。
【０１２５】
図９と図１０とを比較するに、図９の特徴量あり画像の方が、図１０の特徴量なし画像よりも定性的に波形がくっきりしていることがわかる。即ち、図９の特徴量あり画像の方が、図１０の特徴量なし画像よりも解像度感が向上していることが分かる。また、図９の特徴量あり画像の方が、図１０の特徴量なし画像よりもリンギングに関しても減少していることがわかる。
【０１２６】
次に、定量評価の結果を、図１１を参照して説明する。即ち、図１１は、定量評価の結果の一覧表を示している。
【０１２７】
図１１において、一覧表の第１列には、教師画像の画像番号が示されている。一覧表の第２列には、第１列の教師画像に対する特徴量なし画像のSNRが示されている。一覧表の第３列には、第１列の教師画像に対する特徴量あり画像のSNRが示されている。
【０１２８】
特徴量あり画像のSNRは、特徴量なし画像のSNRと比較して、すべて+方向（増加方向）という結果である。このことは、特徴量あり画像のSNRは、特徴量なし画像のSNRと比較して向上していることを意味する。よって、本発明の手法のように、特徴量クラス分類を追加することで、顕著な効果を奏することがわかる。さらに、この結果は、本発明の手法を水平方向に対してのみ適用した場合の分類結果である。よって、さらに垂直方向に対しての分類も行うことで、その効果はより顕著なものとなる。
【０１２９】
以下、本発明の手法が適用される情報処理装置の実施の形態について説明していく。
【０１３０】
図１２は、学習装置１１の機能的構成例を示す機能ブロック図である。
【０１３１】
学習装置１１は、上述した図３の学習処理を実行することができる。
【０１３２】
学習装置１１は、生徒画像生成部２１、クラスタップ選択部２２、ADRCクラス分類部２３、基準波形生成部２４、位相シフト特徴量算出部２５、特徴量クラス分類部２６、クラスコード生成部２７、教師タップ選択部２８、予測タップ選択部２９、正規方程式加算部３０、及び係数データ生成部３１から構成される。
【０１３３】
学習装置１１には、教師画像信号(HD信号)が入力される。具体的には、教師画像信号(HD信号)は、教師タップ選択部２８、生徒画像生成部２１、および基準波形生成部２４に提供される。即ち、図３のステップＳ１の処理が実行される。
【０１３４】
生徒画像生成部２１は、教師画像信号(HD信号)から生徒画像信号（SD信号）を生成し、クラスタップ選択部２２、基準波形生成部２４、および予測タップ選択部２９に提供する。即ち、生徒画像生成部２１は、図３のステップＳ２の処理を実行する。
【０１３５】
クラスタップ選択部２２は、生徒画像信号(SD信号)からクラスタップを選択し、ADRCクラス分類部２３に提供する。即ち、クラスタップ選択部２２は、図３のステップＳ３の処理を実行する。
【０１３６】
ADRCクラス分類部２３は、クラスタップ選択部２２からのクラスタップを用いて1bitADRC処理を行うことで、ADRCクラスを生成し、基準波形生成部２４、位相シフト特徴量算出部２５、およびクラスコード生成部２７に提供する。即ち、ADRCクラス分類部２３は、ステップＳ４の処理を実行する。
【０１３７】
基準波形生成部２４は、ADRCクラス毎に基準波形を生成し、基準波形メモリ１３に記憶させるとともに、位相シフト特徴量算出部２５に提供する。即ち、基準波形生成部２４は、図３のステップＳ５の処理、即ち図６の基準波形生成処理を実行する。なお、基準波形生成部２４の詳細な構成例については図１３を参照して後述する。
【０１３８】
位相シフト特徴量算出部２５は、位相シフト入力波形を生成し、基準波形との相関を取得し、その相関を特徴量として、特徴量クラス分類部２６に提供する。即ち上述したように、位相シフト特徴量算出部２５は、例えば図５に示されるように、-7/8位相シフト入力波形乃至7/8 位相シフト入力波形の各５画素分のデータと、ADRCクラス毎にあらかじめ求められている基準波形とを用いて相関を求める。即ち、-7/8位相シフト入力波形乃至7/8 位相シフト入力波形は１５個の波形データからなるので、それら１５個の相関係数が特徴量として算出される。このように、位相シフト特徴量算出部２５は、図３のステップＳ６の処理を実行する。
【０１３９】
特徴量クラス分類部２６は、特徴量クラス生成する。具体的には例えば、上述の１５個の相関係数が特徴量として提供されてきた場合、特徴量クラス分類部２６は、それら１５個の相関係数の中で最も値の大きな位相シフト入力波形を特定し、特定された位相シフト入力波形のシフト（ずらし）位置に基づいて特徴量クラスを生成し、クラスコード生成部２７に提供する。即ち、特徴量クラス分類部２６は、図３のステップＳ７の処理を実行する。
【０１４０】
クラスコード生成部２７は、ADRCクラスと特徴量クラスから全体のクラスコードを生成し、正規方程式加算部３０に提供する。即ち、クラスコード生成部２７は、図３のステップＳ８の処理を実行する。
【０１４１】
教師タップ選択部２８は、教師画像信号(HD信号)から教師タップのデータを選択し、正規方程式加算部３０に提供する。即ち、教師タップ選択部２８は、図３のステップＳ９の処理を実行する。
【０１４２】
予測タップ選択部２９は、生徒画像信号(SD信号)から予測タップのデータを取得し、正規方程式加算部３０に提供する。即ち、予測タップ選択部２９は、図３のステップＳ１０の処理を実行する。
【０１４３】
正規方程式加算部３０は、クラスコード毎に、教師タップおよび予測タップの各データを正規方程式に加算する。即ち、正規方程式加算部３０は、図３のステップＳ１１の処理を実行する。正規方程式加算部３０は、全サンプル分の正規方程式への加算を行うと、その結果を係数データ生成部３１に提供する。
【０１４４】
係数データ生成部３１は、正規方程式を解くことで予測係数を算出し、係数メモリ１２に記憶させる。即ち、係数データ生成部３１は、図３のステップＳ１３の処理を実行する。
【０１４５】
図１３は、図１２の学習装置１１のうちの基準波形生成部２４の詳細な機能的構成例を示す機能ブロック図である。
【０１４６】
基準波形生成部２４は、生徒画像生成部４１、クラスタップ選択部４２、ADRCクラス分類部４３、特徴量算出部４４、特徴量判定部４５、正規化生徒波形足し込み部４６、および平均化部４７から構成される。
【０１４７】
基準波形生成部２４の生徒画像生成部４１には、教師画像信号(HD信号)が入力される。生徒画像生成部４１は、教師画像信号(HD信号)から生徒画像信号（SD信号）を生成し、クラスタップ選択部４２、および正規化生徒波形足し込み部４６に提供する。即ち、生徒画像生成部４１は、図６のステップＳ２１，Ｓ２２の処理を実行する。
【０１４８】
クラスタップ選択部４２は、生徒画像信号(SD信号)からクラスタップをのデータを選択し、ADRCクラス分類部４３に提供する。即ち、クラスタップ選択部４２は、図６のステップＳ２３の処理を実行する。
【０１４９】
ADRCクラス分類部４３は、クラスタップ選択部４２からのクラスタップを用いて1bitADRC処理を行うことで、ADRCクラスを生成し、正規化生徒波形足し込み部４６に提供する。即ち、ADRCクラス分類部４３は、図６のステップＳ２３の処理を実行する。
【０１５０】
特徴量算出部４４は、ADRCクラス毎に特徴量を算出し、特徴量判定部４５に提供する。例えば上述の例でいえば、上述した式（１５）で示される変曲点位置が特徴量として算出されて、特徴量判定部４５に提供される。即ち、特徴量算出部４４は、図６のステップＳ２５の処理を実行する。
【０１５１】
特徴量判定部４５は、ADRCクラス毎に特徴量を判定する。正規化生徒波形足し込み部４６は、足し込みすべき特徴量であると特徴量判定部４５により判定された生徒画像信号(SD信号)の波形を、ADRCクラス毎に足し込む。例えば、上述した例では、変曲点位置が0.5と判定された場合、その波形が足し込まれることになる。即ち、特徴量判定部４５は、図６のステップＳ２６の処理を実行する。また、正規化生徒波形足し込み部４６は、図６のステップＳ２７の処理を実行する。
【０１５２】
平均化部４７は、正規化生徒波形足し込み部４６の処理結果について、即ち、足し込みが行われた波形について、ADRCクラス毎に平均し、その結果得られるADRCクラス毎の各波形を基準波形として出力する。
【０１５３】
図１４は、画像信号生成装置１４の機能的構成例を示す機能ブロック図である。
【０１５４】
画像信号生成装置１４は、図７のマッピング処理を実行することができる。
【０１５５】
画像信号生成装置１４は、クラスタップ選択部６１、ADRCクラス分類部６２、基準波形取得部６３、位相シフト特徴量算出部６４、特徴量クラス分類部６５、クラスコード生成部６６、予測タップ選択部６７、係数取得部６８、および積和演算部６９から構成される。
【０１５６】
画像信号生成装置１４には、入力画像信号(SD信号)が入力される。具体的には、入力画像信号(SD信号)は、クラスタップ選択部６１、および予測タップ選択部６７に提供される。即ち、図７のステップＳ４１の処理が実行される。
【０１５７】
クラスタップ選択部６１は、入力画像信号(SD信号)からクラスタップを選択し、ADRCクラス分類部６２に提供する。即ち、クラスタップ選択部６１は、図７のステップＳ４２の処理を実行する。
【０１５８】
ADRCクラス分類部６２は、クラスタップ選択部６１からのクラスタップを用いて1bitADRC処理を行うことで、ADRCクラスを生成し、位相シフト特徴量算出部６４、およびクラスコード生成部６６に提供する。即ち、ADRCクラス分類部６２は、図７のステップＳ４３の処理を実行する。
【０１５９】
基準波形取得部６３は、ADRCクラス毎に基準波形を基準波形メモリ１３から取得して、位相シフト特徴量算出部６４に提供する。即ち、基準波形取得部６３は、図７のステップＳ４４の処理を実行する。
【０１６０】
位相シフト特徴量算出部６４は、位相シフト入力波形を生成し、基準波形との相関を取得し、その相関を特徴量として、特徴量クラス分類部６５に提供する。即ち上述したように、位相シフト特徴量算出部６４は、例えば図５に示されるように、-7/8位相シフト入力波形乃至7/8 位相シフト入力波形の各５画素分のデータと、ADRCクラス毎にあらかじめ求められている基準波形とを用いて相関を求める。即ち、-7/8位相シフト入力波形乃至7/8 位相シフト入力波形は１５個の波形データからなるので、それら１５個の相関係数が特徴量として算出される。このように、位相シフト特徴量算出部６４は、図７のステップＳ４５の処理を実行する。
【０１６１】
特徴量クラス分類部６５は、特徴量クラス生成する。具体的には例えば、上述の１５個の相関係数が特徴量として提供されてきた場合、特徴量クラス分類部６５は、それら１５個の相関係数の中で最も値の大きな位相シフト入力波形を特定し、特定された位相シフト入力波形のシフト（ずらし）位置に基づいて特徴量クラスを生成し、クラスコード生成部６６に提供する。即ち、特徴量クラス分類部６５は、図３のステップＳ４６の処理を実行する。
【０１６２】
クラスコード生成部６６は、ADRCクラスと特徴量クラスから全体のクラスコードを生成し、係数取得部６８に提供する。即ち、クラスコード生成部６６は、図３のステップＳ４７の処理を実行する。
【０１６３】
予測タップ選択部６７は、入力画像信号(SD信号)から予測タップを選択し、積和演算部６９に提供する。係数取得部６８は、クラスコード生成部６６により生成されたクラスコードに対応する予測係数を係数メモリ１２から取得し、積和演算部６９に提供する。積和演算部６９は、係数取得部６８からの予測係数と、予測タップ選択部６７からの予測タップの各データを式（１）の予測演算式に代入して積和演算する。これにより、入力画像信号（SD信号）からHD予測画像信号（HD信号）が創造され、それが出力画像信号として出力される。
【０１６４】
ところで、以上の例では、特徴量クラス分類とともに行われるクラス分類は、ADRCクラス分類が採用された。ただし、特徴量クラス分類とともに行われるクラス分類は、ADRCクラス分類に限定されず、その他の手法のクラス分類、例えばVQ（ベクトル量子化）によるクラス分類等を採用できる。換言すると、これらのクラス分類では画素精度の特徴量を用いているため分類精度が粗く、それゆえ、［発明が解決しようとする課題］の欄で説明した課題が生じていた。即ち、従来の適応処理では、高倍密(ズーム)変換時に解像度感が不足したり、リンギングが発生するなどの問題が生じていた。そこで、本発明の手法では、従来の分類精度が粗いクラス分類を第１選抜のクラス分類とし、その第１選抜のクラス分類をさらに細かく分類すべく、画素以下の特徴量を用いた特徴量クラス分類を採用しているのである。即ち、特徴量クラス分類は第２選抜のクラス分類であるといえる。
【０１６５】
このように、本発明の手法では、第１選抜の後に第２選抜のクラス分類が行われるため、従来よりも精度よくクラス分類が行うことができるようになる。これにより、次の第１の効果乃至第３の効果を奏することが可能になる。
【０１６６】
第１の効果とは、従来のクラス分類適応処理よりも、高解像度(エッジを急峻に立たせた) 画像信号を生成することが可能となるという効果である。
【０１６７】
第２の効果とは、高倍密(ズーム 時に今まで以上に高解像度(エッジを急峻に立たせた) 画像信号を生成することが可能になるという効果である。
【０１６８】
第３の効果とは、リンギングを低減した画像信号を生成することが可能になるという効果である。
【０１６９】
ところで、上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることができる。
【０１７０】
この場合、上述した情報処理装置、例えば図１２の学習装置１１や図１４の画像信号生成装置１４の少なくとも一部として、例えば、図１６に示されるパーソナルコンピュータを採用してもよい。
【０１７１】
図１６において、CPU（Central Processing Unit）１０１は、ROM（Read Only Memory）１０２に記録されているプログラム、または記憶部１０８からRAM（Random Access Memory）１０３にロードされたプログラムに従って各種の処理を実行する。RAM１０３にはまた、CPU１０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１７２】
CPU１０１、ROM１０２、およびRAM１０３は、バス１０４を介して相互に接続されている。このバス１０４にはまた、入出力インタフェース１０５も接続されている。
【０１７３】
入出力インタフェース１０５には、キーボード、マウスなどよりなる入力部１０６、ディスプレイなどよりなる出力部１０７、ハードディスクなどより構成される記憶部１０８、および、モデム、ターミナルアダプタなどより構成される通信部１０９が接続されている。通信部１０９は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
【０１７４】
入出力インタフェース１０５にはまた、必要に応じてドライブ１１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブルメディア１１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部１０８にインストールされる。
【０１７５】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０１７６】
このようなプログラムを含む記録媒体は、図１６に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（ＭＤ（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア（パッケージメディア）１１１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM１０２や、記憶部１０８に含まれるハードディスクなどで構成される。
【０１７７】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【図面の簡単な説明】
【０１７８】
【図１】本発明の手法のうち、変曲点を求める手法の概念を示す図である。
【図２】本発明の手法のうち、変曲点位置を求める手法の概念を示す図である。
【図３】本発明が適用される学習処理例を説明するフローチャートである。
【図４】予測タップとクラスタップのパターン例を示す図である。
【図５】位相入力波形の生成手法、基準波形との比較による特徴量の生成手法の概要を説明する図である。
【図６】図３の学習処理のうちの基準波形生成処理例を説明するフローチャートである。
【図７】本発明が適用されるマッピング処理例を説明するフローチャートである。
【図８】教師画像の一部とその波形を示している。
【図９】教師画像に対して本発明の手法が適用された結果得られた画像、即ち、特徴量あり画像の一部とその各色画像の波形を示している。
【図１０】教師画像に対して従来の手法が適用された結果得られた画像、即ち、特徴量なし画像の一部とその各色画像の波形を示している。
【図１１】定量評価の結果の一覧表を示す図である。
【図１２】本発明が適用される情報処理装置の一実施の形態としての学習装置の機能的構成例を示すブロック図である。
【図１３】図１２の学習装置のうちの基準波形生成部の機能的構成例を示すブロック図である。
【図１４】本発明が適用される情報処理装置の一実施の形態としての画像信号生成装置の機能的構成例を示すブロック図である。
【図１５】本発明が適用される情報処理装置としてのパーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
【０１７９】
１１ 学習装置， １２ 係数メモリ， １３ 基準波形メモリ， ２１ 生徒画像生成部， ２２ クラスタップ選択部， ２３ ADRCクラス分類部， ２４ 基準波形生成部， ２５ 位相シフト特徴量算出部， ２６ 特徴量クラス分類部， ２７ クラスコード生成部， ２８ 教師タップ選択部， ２９ 予測タップ選択部， ３０ 正規方程式加算部， ３１ 係数データ生成部， ４１ 生徒画像生成部， ４２ クラスタップ選択部， ４３ ADRCクラス分類部， ４４ 特徴量算出部， ４５ 特徴量判定部， ４６ 正規化生徒波形足し込み部， ４７ 平均化部， ６１ クラスタップ選択部， ６２ ADRCクラス分類部， ６３ 基準波形取得部， ６４ 位相シフト特徴量算出部， ６５ 特徴量クラス分類部， ６６ クラスコード生成部， ６７ 予測タップ選択部， ６８ 係数取得部， ６９ 積和演算部， １０１ CPU， １０２ ROM， １０３ RAM， １０８ 記憶部， １１１ リムーバブルメディア
【技術分野】
【０００１】
本発明は、情報処理装置および方法並びにプログラムに関し、特に、高倍密(ズーム)変換時に従来以上に高解像度の(エッジを急峻に立たせた)画像信号を生成し、またリンギングを低減した画像信号を生成することができるようになった、情報処理装置および方法並びにプログラムに関する。
【背景技術】
【０００２】
従来から、標準解像度または低解像度の画像(以下、適宜、SD画像と称する)を、高解像度の画像(以下、適宜、HD画像と称する)に変換したり、また、画像を拡大したりする要望が挙げられていた。かかる要望に応えるべく、従来、いわゆる補間フィルタなどによって、不足している画素の画素値の補間(補償)が行われるようになされていた。
【０００３】
しかしながら、補間フィルタによって画素の補間を行っても、SD画像に含まれていない成分、即ちHD画像の成分(高周波成分)を復元することはできないため、高解像度の画像を得ることは困難であるという問題があった。
【０００４】
そこで、本出願人は、かかる問題を解決すべく、クラス分類適応処理を先に提案している（例えば、特許文献１参照）。クラス分類適応処理は、入力画像の所定の領域の複数の画素の画素値と、教師画像および生徒画像を用いた学習により予め求めておいた係数群との線形１次式（予測演算式）を演算することにより、入力画像から高解像度の出力画像を求める信号処理である。
【０００５】
即ち、クラス分類適応処理を上述の要望に適用すると、SD画像と、所定の予測係数との線形結合により、HD画像の画素の予測値を求める適応処理が実現される。以下、かかる適応処理についてさらに説明する。
【０００６】
例えば、いま、HD画像を構成する画素(以下、適宜、HD 画素と称する)の画素値yの予測値E[y]について次のように求めることを考える。即ち、幾つかのSD 画素(HD画素対して、SD画像を構成する画素を適宜このように称する)の画素値(以下、適宜、学習データという)x1 ，x2 ，・・・と、所定の予測係数w1 ，w2 ，・・・の線形結合により規定される線形1次結合モデルにより、予測値E[y]を求めることを考える。
【０００７】
この場合、予測値E[y]は、次の式（１）のように表すことができる。
【０００８】
【数１】
・・・（１）
【０００９】
そこで、式（１）を一般化するために、学習データの集合でなる行列Xを次の式（２）のように定義する。予測係数wの集合でなる行列Wを次の式（３）のように定義する。予測値E[y]の集合でなる行列Y’を次の式（４）のように定義する。
【００１０】
【数２】
・・・（２）
【数３】
・・・（３）
【数４】
・・・（４）
【００１１】
このように定義することで、次の式（５）のような観測方程式が成立する。
【００１２】
【数５】
・・・（５）
【００１３】
この式（５）の観測方程式に最小自乗法を適用して、HD画素の画素値yに近い予測値E[y]を求めることを考える。この場合、教師データとなるHD画素の真の画素値yの集合でなる行列Yを次の式（６）のように定義する。また、HD画素の画素値yに対する予測値E[y]の残差eの集合でなる行列Eを、次の式（７）のように定義する。
【００１４】
【数６】
・・・（６）
【数７】
・・・（７）
【００１５】
この場合、式（５）から、次の式（８）のような残差方程式が成立する。
【００１６】
【数８】
・・・（８）
【００１７】
この場合、HD画素の画素値yに近い予測値E[y]を求めるための予測係数wiは、例えば、次の式（９）で示される自乗誤差を最小にすることで求めることができる。
【００１８】
【数９】
・・・（９）
【００１９】
従って、式（９）の自乗誤差を予測係数wiで微分したものが0になる場合、即ち、次の式（１０）を満たす予測係数wiが、HD画素の画素値yに近い予測値E[y] を求めるため最適値ということになる。
【００２０】
【数１０】
・・・（１０）
【００２１】
そこで、まず、式（８）を予測係数wiで微分することにより、次の式（１１）が成立する。
【００２２】
【数１１】
・・・（１１）
【００２３】
式（１０），式（１１）から、次の式（１２）が得られる。
【００２４】
【数１２】
・・・（１２）
【００２５】
さらに、式（８）の残差方程式における学習データx、予測係数w、教師データy、および残差e の関係を考慮すると、式（１２）から、次のような正規方程式（１３）を得ることができる。
【００２６】
【数１３】
・・・（１３）
【００２７】
式（１３）の正規方程式は、求めるべき予測係数wの数と同じ数だけたてることができ、従って、式（１３）を解くことで最適な予測係数wを求めることができる。ただし、式（１３）を解くためには、式（１３）において、予測係数wにかかる係数で構成される行列が正則である必要がある。また、式（１３）を解くにあたっては、例えば、掃き出し法(Gauss-Jordan の消去法) などを適用することが可能である。
【００２８】
以上のようにして、最適な予測係数wを求めておき、さらに、その予測係数wを用いて、式（１）に従って、HD画素の画素値yに近い予測値E[y]を求める処理が適応処理である。
【００２９】
なお、適応処理は、SD画像には含まれていない成分、即ちHD画像に含まれる成分が再現される点で、補間処理とは異なる。即ち、適応処理では、式（１）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一に見える。しかしながら、その補間フィルタのタップ係数に相当する予測係数wが、教師データyを用いた学習により求められるため、HD画像に含まれる成分を再現することができるのである。即ち、高解像度の画像を容易に得ることがでるのである。このことから、適応処理は、いわば画像(の解像度)の創造作用がある処理ということができる。
【００３０】
【特許文献１】特開２００２−２１８４１３号公報
【発明の開示】
【発明が解決しようとする課題】
【００３１】
しかしながら、従来の適応処理では、高倍密(ズーム)変換時に解像度感が不足したり、リンギングが発生するなどの問題が生じていた。
【００３２】
本発明は、このような状況に鑑みてなされたものであり、高倍密(ズーム)変換時に従来以上に高解像度の(エッジを急峻に立たせた)画像信号を生成し、またリンギングを低減した画像信号を生成することができるようにするものである。
【課題を解決するための手段】
【００３３】
本発明の一側面の第１の情報処理装置は、所定規則に従って第１の種類のクラスが複数設けられており、第１の画像を構成する各画素を注目画素として、その注目画素を、前記所定規則に基づいて複数の前記第１の種類のクラスのうちの何れかに分類する第１のクラス分類手段と、前記注目画素を含む前記第１の画像の波形に対して位相シフトさせたシフト波形を生成し、そのシフト波形に基づく特徴量を、前記複数の第１の種類のクラス毎に生成する特徴量生成手段と、前記複数の第１の種類のクラス毎に、前記特徴量に応じた第２の種類のクラスが複数設けられており、前記第１の種類のクラス分類が行われた前記注目画素を、さらに、前記特徴量生成手段により生成された特徴量に基づいて複数の前記第２の種類のクラスのうちの何れかに分類する第２のクラス分類手段と、前記第１の種類および前記第２の種類の前記注目画素の各クラスにより特定される係数群と、前記注目画素を含む画素のデータ群とを用いて、第２の画像を構成する画素を予測演算する予測演算手段とを備える。
【００３４】
前記複数の第１の種類のクラス毎に基準波形を生成する基準波形生成手段をさらに備え、前記特徴量生成手段は、前記基準波形と前記シフト波形との相関に基づいて、前記特徴量を生成する。
【００３５】
前記波形生成手段は、前記注目画素を含む前記第１の画像の波形の変曲点を求め、その変曲点が特定の個所にくる波形を前記基準波形として生成する。
【００３６】
前記第１の種類のクラスは、ADRC(Adaptive Dynamic Range Coding)を用いてクラス分類されるクラスである。
【００３７】
本発明の一側面の第１の情報処理方法およびプログラムは、上述した本発明の一側面の第１の情報処理装置に対応する方法およびプログラムである。
【００３８】
本発明の一側面の第１の情報処理装置および方法、並びにプログラムにおいては、所定規則に従って第１の種類のクラスが複数設けられており、第１の画像を構成する各画素を注目画素として、その注目画素が、前記所定規則に基づいて複数の前記第１の種類のクラスのうちの何れかに分類される。前記注目画素を含む前記第１の画像の波形に対して位相シフトさせたシフト波形が生成され、そのシフト波形に基づく特徴量が、前記複数の第１の種類のクラス毎に生成される。前記複数の第１の種類のクラス毎に、前記特徴量に応じた第２の種類のクラスが複数設けられており、前記第１の種類のクラス分類が行われた前記注目画素が、さらに、生成された特徴量に基づいて複数の前記第２の種類のクラスのうちの何れかに分類される。前記第１の種類および前記第２の種類の前記注目画素の各クラスにより特定される係数群と、前記注目画素を含む画素のデータ群とを用いて、第２の画像を構成する画素を予測演算される。
【００３９】
本発明の一側面の第２の情報処理装置は、第１の画像を教師として入力し、前記第１の画像から生徒としての第２の画像を生成する生徒生成手段と、所定規則に従って第１の種類のクラスが複数設けられており、前記第２の画像を構成する各画素を注目画素として、その注目画素を、前記所定規則に基づいて複数の前記第１の種類のクラスのうちの何れかに分類する第１のクラス分類手段と、前記注目画素を含む前記第２の画像の波形に対して位相シフトさせたシフト波形を生成し、そのシフト波形に基づく特徴量を、前記複数の第１の種類のクラス毎に生成する特徴量生成手段と、前記複数の第１の種類のクラス毎に、前記特徴量に応じた第２の種類のクラスが複数設けられており、前記第１の種類のクラス分類が行われた前記注目画素を、さらに、前記特徴量生成手段により生成された特徴量に基づいて複数の前記第２の種類のクラスのうちの何れかに分類する第２のクラス分類手段と、前記第１の種類および前記第２の種類の各種類から特定されるクラスごとに、前記注目画素を含む画素のデータ群から、前記第１の画像を構成する画素を予測演算するために用いる係数群を生成する係数生成手段とを備える。
【００４０】
前記複数の第１の種類のクラス毎に基準波形を生成する基準波形生成手段をさらに備え、前記特徴量生成手段は、前記基準波形と前記シフト波形との相関に基づいて、前記特徴量を生成する。
【００４１】
前記波形生成手段は、前記注目画素を含む前記第１の画像の波形の変曲点を求め、その変曲点が特定の個所にくる波形を前記基準波形として生成する。
【００４２】
前記第１の種類のクラスは、ADRC(Adaptive Dynamic Range Coding)を用いてクラス分類されるクラスである。
【００４３】
本発明の一側面の第２の情報処理方法およびプログラムは、上述した本発明の一側面の第２の情報処理装置に対応する方法およびプログラムである。
【００４４】
本発明の一側面の第２の情報処理装置および方法、並びにプログラムにおいては、第１の画像が教師として入力され、前記第１の画像から生徒としての第２の画像が生成される。所定規則に従って第１の種類のクラスが複数設けられており、前記第２の画像を構成する各画素を注目画素として、その注目画素が、前記所定規則に基づいて複数の前記第１の種類のクラスのうちの何れかに分類される。前記注目画素を含む前記第２の画像の波形に対して位相シフトさせたシフト波形が生成され、そのシフト波形に基づく特徴量が、前記複数の第１の種類のクラス毎に生成される。前記複数の第１の種類のクラス毎に、前記特徴量に応じた第２の種類のクラスが複数設けられており、前記第１の種類のクラス分類が行われた前記注目画素が、さらに、生成された特徴量に基づいて複数の前記第２の種類のクラスのうちの何れかに分類される。前記第１の種類および前記第２の種類の各種類から特定されるクラスごとに、前記注目画素を含む画素のデータ群から、前記第１の画像を構成する画素を予測演算するために用いる係数群を生成される。
【発明の効果】
【００４５】
以上のごとく、本発明によれば、高倍密(ズーム)変換時に従来以上に高解像度(エッジを急峻に立たせた)の画像信号を生成し、またリンギングを低減した画像信号を生成することができる。
【発明を実施するための最良の形態】
【００４６】
初めに、本発明の理解を容易なものとすべく、本発明が適用される手法（以下、本発明の手法と称する）の概要について説明する。
【００４７】
［発明が解決しようとする課題］の欄で説明したように、従来技術の問題点として解像度感不足やリンギングの発生などが存在する。それらの問題点を解決するために、次のような画素以下の特徴量をクラス分類に利用することにより、今まで分類することができていなかった波形パターンを適切に分類することができるようになる。その結果、より似たような波形パターンを集められるので、クラス分類適応処理の性能が向上することになる。
【００４８】
先ず、画素以下の特徴量について説明する。
【００４９】
従来の技術では、入力画素データを用いてクラス分類が行われていた。このことは、画素精度での特徴量を利用していたことを意味する。
【００５０】
これに対して、本発明の手法では、画素精度より細かい情報、即ち、画素以下の情報を用いたクラス分類が行われる。
【００５１】
具体的には、従来の技術では、ADRC(Adaptive Dynamic Range Coding)等を用いてクラス分類を行っていた。即ち、従来の技術では、画像から任意のデータを取得し、その取得したデータ毎のダイナミックレンジ(画素値の最大値と最小値の差分) に応じて、適応的な量子化を行っていた。この従来の技術では、入力の画素データを用いてクラス分類を行っているため、画素精度での特徴量を利用していることになる。
【００５２】
これに対して、本発明の手法では、画素以下の特徴量を用いる次のような第１乃至第３の処理が実行される。即ち、第１の処理とは、入力波形の位相を、位相シフトフィルタを用いてずらす処理である。第２の処理では、どのくらいずらすと基準波形との相関が高いのかについて、位相がずらされた後の波形（以下、位相シフト入力波形と称する）と基準波形とを比較することで求める処理である。第３の処理は、位相シフトフィルタによるずらし量をいくつかに分けて、クラス分類で利用する処理である。即ち、このずらし量が、画素以下の情報となっているのである。
【００５３】
さらに以下、本発明の手法について説明していく。
【００５４】
先ず基準波形について説明する。
【００５５】
上述の如く第２の処理と第３の処理では、とある波形が基準波形となり、この基準波形と位相シフト入力波形とが比較され、その比較の結果に基づいてクラス分類が行われる。
【００５６】
この基準波形として、例えば次の第１乃至第３の波形を採用することが可能である。
【００５７】
第１の波形とは、入力波形の1bitADRCのクラス毎の平均波形をいう。
【００５８】
第２の波形とは、単純な1bitADRCのコードの波形をいう。
【００５９】
第３の波形とは、入力波形から変曲点を求めた場合に、その変曲点が特定の個所にくる波形をいう。
【００６０】
第１の波形、即ち、「入力波形の1bitADRCのクラス毎の平均波形」とは、入力波形を1bitADRCでクラス分類を行ったとき、各クラス毎に入力されるすべての波形の平均を取った結果得られる波形を意味する。ここでいう「平均」とは、いわゆるサンプルを加算していきサンプル数で割るという平均を意味しない。即ち、ここでいう「平均」とは、波形をたとえば0 から1 の値に正規化し、その正規化した波形の平均を意味する。
【００６１】
第２の波形、即ち、「単純な1bitADRCのコードの波形」とは、1bitADRCのクラスのコードが例えば「00111」だとした場合、その「00111」の波形であることを意味する。
【００６２】
第３の波形、即ち、「入力波形から変曲点を求め、変曲点が特定の個所にくる波形」とは、入力波形を1bitADRCでクラス分類を行ったとき、各クラス毎に入力される波形のうち、変曲点がADRCのクラスコードが切り替わる(0 と1) ところの真ん中にくるものの波形の平均を取った結果得られる波形を意味する。なお、「平均」の意味については、第１の波形についての「平均」と同様である。
【００６３】
本実施の形態としては、基準波形として第３の波形を採用する。即ち、以下、特に断りのない限り、基準波形とは第３の波形を意味するものとする。
【００６４】
以下、基準波形の生成手法について説明する。なお、下記の処理の動作主体は、説明の便宜上、装置とする。
【００６５】
先ず、装置は、入力波形から変曲点を求める。
【００６６】
変曲点の求め方の手法自体は特に限定されない。ただし、本実施の形態では、次のような手法を採用するとする。なお、その際、垂直方向と水平方向の2方向に関して変曲点を求めることになる。ただし、ここでは説明の簡略上、水平方向に特化した説明を行う。
【００６７】
例えば装置は、SDサイズの基準波形を作成する場合には、HDサイズの波形を利用して、SDサイズの基準波形を作成する。例えば図1に示されるように、SD、HD、４倍HD（HDの画面サイズの４倍の密度のサイズ）といったように、画面サイズの変化の構造を、以下、階層構造と称することにする。ただし、ここでは、便宜上、SDのデータを、最上位の階層のデータとして、4倍HDのデータを、最下位の階層のデータとする。
【００６８】
この場合、装置は、SDサイズの基準波形を作成するので、その一階層下のデータであるHD サイズのデータを用いて二次微分値を求め、その二次微分値が０になるところを変曲点として求める。なお、二次微分値は、例えば次の式（１４）に従って求められるとする。
【００６９】
【数１４】
・・・（１４）
ただし、式（１４）において、f(x)はx 座標における画素値となっている。
【００７０】
以上のような変曲点の求め方の手法が、本実施の形態では採用されている。
【００７１】
次に、装置は、ADRCコードが切り替わる間で変曲点が存在する波形を集める。そして、装置は、集められた波形の平均を取った結果得られる波形を、基準波形として生成する。
【００７２】
ここで、ADRCコードが切り替わる間の二カ所の間の変曲点の位置を、変曲点位置と称する。この場合、装置は、変曲点位置が0.5となる波形のみを集めて平均すると、基準波形を生成することができる。ただし、変曲点位置が0.5となる波形の数が、平均を取るには少ない場合もある得る。そのような場合、誤差をもたせることにより、装置は、その誤差範囲内で波形を集めて、集められた波形の平均を取った結果得られる波形を、基準波形として生成することができる。
【００７３】
なお、変曲点位置は、次のように算出することができる。即ち、装置は、ADRCコードが切り替わる間の二カ所のｘ座標を求める。なお、求まった二カ所のｘ座標を、x，x+1と記述するとする。そして、そのx,x+1における二次微分値をf”(x),f”(x + 1)と記述するとする。すると、求める変曲点位置は、図２に示される斜め線がｘ座標と交わる位置になる。即ち、変曲点位置は、次の式（１５）によって求められることになる。
【００７４】
【数１５】
・・・（１５）
ただし、式（１５）において、abs(x)は、xの絶対値を返す関数を意味する。
【００７５】
次に、本発明の手法により実現される処理全体の流れについて説明していく。
【００７６】
本発明の手法による処理は、主に、クラス分類を用いて予測係数を学習により生成する処理（以下、学習処理と要する）と、マッピング処理とに大別される。マッピング処理とは、学習処理により得られた予測係数を用いて、SD画像からHD予測画像を得る処理をいう。
【００７７】
以下、学習処理とマッピング処理のそれぞれについて、その順番で説明していく。なお、ここでも、説明の便宜上、動作主体は装置であるとして説明をしていく。また、両処理とも、処理単位は画素であるとする。即ち、画像を構成する各画素が、処理対象として注目すべき注目画素に順次設定されていき、注目画素に対して処理が施されることが繰り返される。ただし、以下、説明の便宜上、この繰り返しの処理の説明については適宜省略する。
【００７８】
図３は、本発明が適用される学習処理の一例を説明するフローチャートである。
【００７９】
ステップＳ１において、装置は、教師画像信号（HD信号）を取得する。
【００８０】
ステップＳ２において、装置は、生徒画像信号(SD信号)を生成する。即ち、装置は、例えば教師画像信号（HD信号）に対して、LPF(LowPassFilter)を用いたダウンコンバート処理を施すことで、生徒画像信号（SD信号）を生成する。
【００８１】
ステップＳ３において、装置は、生徒画像信号(SD信号)からクラスタップのデータを取得する。クラスタップのデータ自体は、クラス分類適応処理ができるデータであれば特に限定されない。例えば本実施の形態では、図４Ａに示されるように、注目画素（黒い丸印で示された画素）を中心に上下左右の画素（灰色の丸印で示された画素）からなるデータがクラスタップとして取得される。
【００８２】
ステップＳ４において、装置は、クラスタップを用いて1bitADRC処理を行うことで、ADRCクラスを生成する。即ち、生徒画像信号（SD信号）に対応する生徒画像の各画素が、ADRCクラスに分類される。
【００８３】
ステップＳ５において、装置は、ADRCクラス毎に基準波形を生成する。基準波形生成手法については、上述した通りである。なお、以下、ステップＳ５の処理を、図３の記載にあわせて、基準波形生成処理と称する。基準波形生成処理の詳細例については、図６を用いて後述する。
【００８４】
ステップＳ６において、装置は、位相シフト入力波形を生成し、基準波形との相関を取得する。ステップＳ７において、装置は、特徴量クラス生成する。ステップＳ８において、装置はクラスコードを生成する。
【００８５】
具体的には例えば、装置は、図５に示されるように、生徒画像信号(SD信号)に対応する生徒画像の水平N 画素分の波形データを、入力波形として取得する。装置は、その入力波形に対して位相シフトフィルタを用いることで、-7/8乃至7/8 位相まで位相をずらした波形データ、即ち、-7/8位相シフト入力波形乃至7/8 位相シフト入力波形を生成する。なお、Nは位相シフトフィルタで用いるデータの数で決定される整数値である。図５の例では、N個の画素の中に注目画素が含まれている。
【００８６】
そして、装置は、図５に示されるように、-7/8位相シフト入力波形乃至7/8 位相シフト入力波形の各５画素分のデータと、ADRCクラス毎にあらかじめ求められている基準波形とを用いて相関を求める。即ち、-7/8位相シフト入力波形乃至7/8 位相シフト入力波形は１５個の波形データからなるので、それら１５個の相関係数が求まる。
【００８７】
よって、装置は、それら１５個の相関係数の中で最も値の大きな位相シフト入力波形を特定し、特定された位相シフト入力波形のシフト（ずらし）位置に基づいて特徴量クラスを生成する。
【００８８】
そして、装置は、ADRCクラスと特徴量クラスから全体のクラスコードを生成する。
【００８９】
このようにして、ステップＳ６乃至Ｓ８の処理が終了すると、処理はステップＳ９に進む。
【００９０】
ステップＳ９において、装置は、教師画像信号(HD信号)から教師タップのデータを取得する。
【００９１】
ステップＳ１０において、装置は、生徒画像信号(SD信号)から予測タップのデータを取得する。例えば本実施の形態では、図４Ｂに示されるように、注目画素（黒い丸印で示された画素）とその周囲８画素（灰色の丸印で示された画素）からなるデータが予測タップとして取得される。
【００９２】
ステップＳ１１において、クラスコード毎に、教師タップおよび予測タップの各データを正規方程式に加算する。
【００９３】
ステップＳ１２において、装置は、データが終了したか否かを判定する。
【００９４】
全サンプル分のデータの処理がまだ終了していない場合、ステップＳ１２においてＮＯであると判定されて、処理はステップＳ１に戻され、それ以降の処理が繰り返される。
【００９５】
その後、ステップＳ１乃至Ｓ１２のループ処理が繰り返し実行されて、全サンプル分の正規方程式への加算が行われると、ステップＳ１２の処理でＹＥＳであると判定されて、処理はステップＳ１３に進む。
【００９６】
ステップＳ１３において、装置は、正規方程式を解くことで予測係数を算出する。予測係数はストアされ、後述する図７のマッピング処理に利用される。
【００９７】
図６は、図３の学習処理のステップＳ５の基準波形生成処理の詳細例を説明するフローチャートである。
【００９８】
ステップＳ２１において、装置は、教師画像信号（HD信号）を取得する。
【００９９】
ステップＳ２２において、装置は、生徒画像信号(SD信号)を生成する。即ち、装置は、例えば教師画像信号（HD信号）に対して、LPFを用いたダウンコンバート処理を施すことで、生徒画像信号（SD信号）を生成する。
【０１００】
ステップＳ２３において、装置は、生徒画像信号(SD信号)からクラスタップのデータを取得する。クラスタップのデータ自体は、クラス分類適応処理ができるデータであれば特に限定されない。ただし図３の学習処理と合わせる必要がある。よって例えば本実施の形態では、図４Ａに示されるデータがクラスタップとして取得される。
【０１０１】
ステップＳ２４において、装置は、クラスタップを用いて1bitADRC処理を行うことで、ADRCクラスを生成する。即ち、生徒画像信号（SD信号）に対応する生徒画像の各画素が、ADRCクラスに分類される。
【０１０２】
ステップＳ２５において、装置は、ADRCクラス毎に特徴量を算出する。例えば上述の例でいえば、上述した式（１５）で示される変曲点位置が特徴量として算出される。
【０１０３】
ステップＳ２６において、装置は、ADRCクラス毎に特徴量を判定する。ステップＳ２７において、装置は、足し込みすべき特徴量であると判定された生徒画像信号(SD信号)の波形を、ADRCクラス毎に足し込む。例えば、上述した例では、変曲点位置が0.5と判定された場合、その波形が足し込まれることになる。
【０１０４】
ステップＳ２８において、装置は、データが終了したか否かを判定する。
【０１０５】
全サンプル分のデータの処理がまだ終了していない場合、ステップＳ２８においてＮＯであると判定されて、処理はステップＳ２１に戻され、それ以降の処理が繰り返される。
【０１０６】
その後、ステップＳ２１乃至Ｓ２８のループ処理が繰り返し実行されて、全サンプル分のADRCクラス毎の波形の足し込みが行われると、ステップＳ２８の処理でＹＥＳであると判定されて、処理はステップＳ２９に進む。
【０１０７】
ステップＳ２９において、装置は、このようにして足し込みが行われた波形について、ADRCクラス毎に平均し、その結果得られるADRCクラス毎の各波形を基準波形とする。
【０１０８】
これにより、基準波形生成処理は終了となる。
【０１０９】
図７は、本発明が適用されるマッピング処理の一例を説明するフローチャートである。
【０１１０】
ステップＳ４１において、装置は、画像信号(SD信号)を入力する。
【０１１１】
ステップＳ４２において、装置は、画像信号(SD信号)からクラスタップのデータを取得する。クラスタップのデータ自体は、クラス分類適応処理ができるデータであれば特に限定されない。ただし、学習処理と対応させる必要がある。そこで、例えば本実施の形態では、上述した図４Ａに示されるデータがクラスタップとして取得される。
【０１１２】
ステップＳ４３において、装置は、クラスタップを用いて1bitADRC処理を行うことで、ADRCクラスを生成する。即ち、生徒画像信号（SD信号）に対応する生徒画像の各画素が、ADRCクラスに分類される。
【０１１３】
ステップＳ４４において、装置は、ADRCクラス毎に基準波形を取得する。なお、基準波形は、図３の学習処理のステップＳ５の処理（図６の処理）で予め生成されている。
【０１１４】
ステップＳ４５において、装置は、位相シフト入力波形を生成し、基準波形との相関を取得する。ステップＳ４６において、装置は、特徴量クラス生成する。ステップＳ４７において、装置はクラスコードを生成する。
【０１１５】
なお、ステップＳ４５乃至Ｓ４７の処理は、図３の学習処理のステップＳ６乃至Ｓ８の処理と基本的に同様である。よって、ステップＳ４５乃至Ｓ４７の処理の詳細については、図３の学習処理のステップＳ６乃至Ｓ８の処理の詳細な説明を参照するとよい。
【０１１６】
ステップＳ４８において、装置は、画像信号(SD信号)から予測タップのデータを取得し、マッピングする。
【０１１７】
例えば本実施の形態では、図４Ｂに示されるデータが予測タップとして取得される。
【０１１８】
装置は、クラスコード毎に、図３の学習処理のステップＳ１３の処理により算出された予測係数と、予測タップの各データを式（１）の予測演算式に代入して演算することで、画像信号（SD信号）からHD予測画像信号（HD信号）を創造する。
【０１１９】
ステップＳ４９において、装置は、データが終了したか否かを判定する。
【０１２０】
画像信号を構成する全データについての処理がまだ終了していない場合、ステップＳ４９の処理でＮＯであると判定されて、処理はステップＳ４１に戻され、それ以降の処理が繰り返される。
【０１２１】
その後、ステップＳ４１乃至Ｓ４９のループ処理が繰り返し実行されて、画像信号を構成する全データについての処理が終了すると、即ち、画像信号（SD信号）の全てに対応するHD予測画像信号（HD信号）が創造されると、ステップＳ４９の処理でＹＥＳであると判定されて、マッピング処理は終了となる。
【０１２２】
ここで、図８乃至図１１を参照して、本発明の手法によりマッピングされた画像（以下、特徴量あり画像と称する）と、従来の手法（ADRCクラス分類のみ）によりマッピングされた画像（以下、特徴量なし画像と称する）とを比較する。特徴量あり画像とは、図７のマッピング処理の結果として得られた画像を意味する。具体的には、波形を評価する定性評価と、SNR(Signal to Noise ratio)を評価する定量評価の結果を用いて比較する。
【０１２３】
図８は、教師画像の一部とその波形を示している。図９は、教師画像に対する特徴量あり画像の一部とその各色画像の波形を示している。図１０は、教師画像に対する特徴量なし画像の一部とその各色画像の波形を示している。
【０１２４】
図８乃至図１０の画像は、本来カラー画像である。そして、その画像内に示される波形は、画像中のバツ印の画素mが存在するラインにおける、RGB(Red-Green-Blue)の各色画像の水平方向の波形R、波形G、及び波形Bである。なお、波形が示されているグラフの縦軸は画素値を示し、横軸は水平方向の画素位置を示している。
【０１２５】
図９と図１０とを比較するに、図９の特徴量あり画像の方が、図１０の特徴量なし画像よりも定性的に波形がくっきりしていることがわかる。即ち、図９の特徴量あり画像の方が、図１０の特徴量なし画像よりも解像度感が向上していることが分かる。また、図９の特徴量あり画像の方が、図１０の特徴量なし画像よりもリンギングに関しても減少していることがわかる。
【０１２６】
次に、定量評価の結果を、図１１を参照して説明する。即ち、図１１は、定量評価の結果の一覧表を示している。
【０１２７】
図１１において、一覧表の第１列には、教師画像の画像番号が示されている。一覧表の第２列には、第１列の教師画像に対する特徴量なし画像のSNRが示されている。一覧表の第３列には、第１列の教師画像に対する特徴量あり画像のSNRが示されている。
【０１２８】
特徴量あり画像のSNRは、特徴量なし画像のSNRと比較して、すべて+方向（増加方向）という結果である。このことは、特徴量あり画像のSNRは、特徴量なし画像のSNRと比較して向上していることを意味する。よって、本発明の手法のように、特徴量クラス分類を追加することで、顕著な効果を奏することがわかる。さらに、この結果は、本発明の手法を水平方向に対してのみ適用した場合の分類結果である。よって、さらに垂直方向に対しての分類も行うことで、その効果はより顕著なものとなる。
【０１２９】
以下、本発明の手法が適用される情報処理装置の実施の形態について説明していく。
【０１３０】
図１２は、学習装置１１の機能的構成例を示す機能ブロック図である。
【０１３１】
学習装置１１は、上述した図３の学習処理を実行することができる。
【０１３２】
学習装置１１は、生徒画像生成部２１、クラスタップ選択部２２、ADRCクラス分類部２３、基準波形生成部２４、位相シフト特徴量算出部２５、特徴量クラス分類部２６、クラスコード生成部２７、教師タップ選択部２８、予測タップ選択部２９、正規方程式加算部３０、及び係数データ生成部３１から構成される。
【０１３３】
学習装置１１には、教師画像信号(HD信号)が入力される。具体的には、教師画像信号(HD信号)は、教師タップ選択部２８、生徒画像生成部２１、および基準波形生成部２４に提供される。即ち、図３のステップＳ１の処理が実行される。
【０１３４】
生徒画像生成部２１は、教師画像信号(HD信号)から生徒画像信号（SD信号）を生成し、クラスタップ選択部２２、基準波形生成部２４、および予測タップ選択部２９に提供する。即ち、生徒画像生成部２１は、図３のステップＳ２の処理を実行する。
【０１３５】
クラスタップ選択部２２は、生徒画像信号(SD信号)からクラスタップを選択し、ADRCクラス分類部２３に提供する。即ち、クラスタップ選択部２２は、図３のステップＳ３の処理を実行する。
【０１３６】
ADRCクラス分類部２３は、クラスタップ選択部２２からのクラスタップを用いて1bitADRC処理を行うことで、ADRCクラスを生成し、基準波形生成部２４、位相シフト特徴量算出部２５、およびクラスコード生成部２７に提供する。即ち、ADRCクラス分類部２３は、ステップＳ４の処理を実行する。
【０１３７】
基準波形生成部２４は、ADRCクラス毎に基準波形を生成し、基準波形メモリ１３に記憶させるとともに、位相シフト特徴量算出部２５に提供する。即ち、基準波形生成部２４は、図３のステップＳ５の処理、即ち図６の基準波形生成処理を実行する。なお、基準波形生成部２４の詳細な構成例については図１３を参照して後述する。
【０１３８】
位相シフト特徴量算出部２５は、位相シフト入力波形を生成し、基準波形との相関を取得し、その相関を特徴量として、特徴量クラス分類部２６に提供する。即ち上述したように、位相シフト特徴量算出部２５は、例えば図５に示されるように、-7/8位相シフト入力波形乃至7/8 位相シフト入力波形の各５画素分のデータと、ADRCクラス毎にあらかじめ求められている基準波形とを用いて相関を求める。即ち、-7/8位相シフト入力波形乃至7/8 位相シフト入力波形は１５個の波形データからなるので、それら１５個の相関係数が特徴量として算出される。このように、位相シフト特徴量算出部２５は、図３のステップＳ６の処理を実行する。
【０１３９】
特徴量クラス分類部２６は、特徴量クラス生成する。具体的には例えば、上述の１５個の相関係数が特徴量として提供されてきた場合、特徴量クラス分類部２６は、それら１５個の相関係数の中で最も値の大きな位相シフト入力波形を特定し、特定された位相シフト入力波形のシフト（ずらし）位置に基づいて特徴量クラスを生成し、クラスコード生成部２７に提供する。即ち、特徴量クラス分類部２６は、図３のステップＳ７の処理を実行する。
【０１４０】
クラスコード生成部２７は、ADRCクラスと特徴量クラスから全体のクラスコードを生成し、正規方程式加算部３０に提供する。即ち、クラスコード生成部２７は、図３のステップＳ８の処理を実行する。
【０１４１】
教師タップ選択部２８は、教師画像信号(HD信号)から教師タップのデータを選択し、正規方程式加算部３０に提供する。即ち、教師タップ選択部２８は、図３のステップＳ９の処理を実行する。
【０１４２】
予測タップ選択部２９は、生徒画像信号(SD信号)から予測タップのデータを取得し、正規方程式加算部３０に提供する。即ち、予測タップ選択部２９は、図３のステップＳ１０の処理を実行する。
【０１４３】
正規方程式加算部３０は、クラスコード毎に、教師タップおよび予測タップの各データを正規方程式に加算する。即ち、正規方程式加算部３０は、図３のステップＳ１１の処理を実行する。正規方程式加算部３０は、全サンプル分の正規方程式への加算を行うと、その結果を係数データ生成部３１に提供する。
【０１４４】
係数データ生成部３１は、正規方程式を解くことで予測係数を算出し、係数メモリ１２に記憶させる。即ち、係数データ生成部３１は、図３のステップＳ１３の処理を実行する。
【０１４５】
図１３は、図１２の学習装置１１のうちの基準波形生成部２４の詳細な機能的構成例を示す機能ブロック図である。
【０１４６】
基準波形生成部２４は、生徒画像生成部４１、クラスタップ選択部４２、ADRCクラス分類部４３、特徴量算出部４４、特徴量判定部４５、正規化生徒波形足し込み部４６、および平均化部４７から構成される。
【０１４７】
基準波形生成部２４の生徒画像生成部４１には、教師画像信号(HD信号)が入力される。生徒画像生成部４１は、教師画像信号(HD信号)から生徒画像信号（SD信号）を生成し、クラスタップ選択部４２、および正規化生徒波形足し込み部４６に提供する。即ち、生徒画像生成部４１は、図６のステップＳ２１，Ｓ２２の処理を実行する。
【０１４８】
クラスタップ選択部４２は、生徒画像信号(SD信号)からクラスタップをのデータを選択し、ADRCクラス分類部４３に提供する。即ち、クラスタップ選択部４２は、図６のステップＳ２３の処理を実行する。
【０１４９】
ADRCクラス分類部４３は、クラスタップ選択部４２からのクラスタップを用いて1bitADRC処理を行うことで、ADRCクラスを生成し、正規化生徒波形足し込み部４６に提供する。即ち、ADRCクラス分類部４３は、図６のステップＳ２３の処理を実行する。
【０１５０】
特徴量算出部４４は、ADRCクラス毎に特徴量を算出し、特徴量判定部４５に提供する。例えば上述の例でいえば、上述した式（１５）で示される変曲点位置が特徴量として算出されて、特徴量判定部４５に提供される。即ち、特徴量算出部４４は、図６のステップＳ２５の処理を実行する。
【０１５１】
特徴量判定部４５は、ADRCクラス毎に特徴量を判定する。正規化生徒波形足し込み部４６は、足し込みすべき特徴量であると特徴量判定部４５により判定された生徒画像信号(SD信号)の波形を、ADRCクラス毎に足し込む。例えば、上述した例では、変曲点位置が0.5と判定された場合、その波形が足し込まれることになる。即ち、特徴量判定部４５は、図６のステップＳ２６の処理を実行する。また、正規化生徒波形足し込み部４６は、図６のステップＳ２７の処理を実行する。
【０１５２】
平均化部４７は、正規化生徒波形足し込み部４６の処理結果について、即ち、足し込みが行われた波形について、ADRCクラス毎に平均し、その結果得られるADRCクラス毎の各波形を基準波形として出力する。
【０１５３】
図１４は、画像信号生成装置１４の機能的構成例を示す機能ブロック図である。
【０１５４】
画像信号生成装置１４は、図７のマッピング処理を実行することができる。
【０１５５】
画像信号生成装置１４は、クラスタップ選択部６１、ADRCクラス分類部６２、基準波形取得部６３、位相シフト特徴量算出部６４、特徴量クラス分類部６５、クラスコード生成部６６、予測タップ選択部６７、係数取得部６８、および積和演算部６９から構成される。
【０１５６】
画像信号生成装置１４には、入力画像信号(SD信号)が入力される。具体的には、入力画像信号(SD信号)は、クラスタップ選択部６１、および予測タップ選択部６７に提供される。即ち、図７のステップＳ４１の処理が実行される。
【０１５７】
クラスタップ選択部６１は、入力画像信号(SD信号)からクラスタップを選択し、ADRCクラス分類部６２に提供する。即ち、クラスタップ選択部６１は、図７のステップＳ４２の処理を実行する。
【０１５８】
ADRCクラス分類部６２は、クラスタップ選択部６１からのクラスタップを用いて1bitADRC処理を行うことで、ADRCクラスを生成し、位相シフト特徴量算出部６４、およびクラスコード生成部６６に提供する。即ち、ADRCクラス分類部６２は、図７のステップＳ４３の処理を実行する。
【０１５９】
基準波形取得部６３は、ADRCクラス毎に基準波形を基準波形メモリ１３から取得して、位相シフト特徴量算出部６４に提供する。即ち、基準波形取得部６３は、図７のステップＳ４４の処理を実行する。
【０１６０】
位相シフト特徴量算出部６４は、位相シフト入力波形を生成し、基準波形との相関を取得し、その相関を特徴量として、特徴量クラス分類部６５に提供する。即ち上述したように、位相シフト特徴量算出部６４は、例えば図５に示されるように、-7/8位相シフト入力波形乃至7/8 位相シフト入力波形の各５画素分のデータと、ADRCクラス毎にあらかじめ求められている基準波形とを用いて相関を求める。即ち、-7/8位相シフト入力波形乃至7/8 位相シフト入力波形は１５個の波形データからなるので、それら１５個の相関係数が特徴量として算出される。このように、位相シフト特徴量算出部６４は、図７のステップＳ４５の処理を実行する。
【０１６１】
特徴量クラス分類部６５は、特徴量クラス生成する。具体的には例えば、上述の１５個の相関係数が特徴量として提供されてきた場合、特徴量クラス分類部６５は、それら１５個の相関係数の中で最も値の大きな位相シフト入力波形を特定し、特定された位相シフト入力波形のシフト（ずらし）位置に基づいて特徴量クラスを生成し、クラスコード生成部６６に提供する。即ち、特徴量クラス分類部６５は、図３のステップＳ４６の処理を実行する。
【０１６２】
クラスコード生成部６６は、ADRCクラスと特徴量クラスから全体のクラスコードを生成し、係数取得部６８に提供する。即ち、クラスコード生成部６６は、図３のステップＳ４７の処理を実行する。
【０１６３】
予測タップ選択部６７は、入力画像信号(SD信号)から予測タップを選択し、積和演算部６９に提供する。係数取得部６８は、クラスコード生成部６６により生成されたクラスコードに対応する予測係数を係数メモリ１２から取得し、積和演算部６９に提供する。積和演算部６９は、係数取得部６８からの予測係数と、予測タップ選択部６７からの予測タップの各データを式（１）の予測演算式に代入して積和演算する。これにより、入力画像信号（SD信号）からHD予測画像信号（HD信号）が創造され、それが出力画像信号として出力される。
【０１６４】
ところで、以上の例では、特徴量クラス分類とともに行われるクラス分類は、ADRCクラス分類が採用された。ただし、特徴量クラス分類とともに行われるクラス分類は、ADRCクラス分類に限定されず、その他の手法のクラス分類、例えばVQ（ベクトル量子化）によるクラス分類等を採用できる。換言すると、これらのクラス分類では画素精度の特徴量を用いているため分類精度が粗く、それゆえ、［発明が解決しようとする課題］の欄で説明した課題が生じていた。即ち、従来の適応処理では、高倍密(ズーム)変換時に解像度感が不足したり、リンギングが発生するなどの問題が生じていた。そこで、本発明の手法では、従来の分類精度が粗いクラス分類を第１選抜のクラス分類とし、その第１選抜のクラス分類をさらに細かく分類すべく、画素以下の特徴量を用いた特徴量クラス分類を採用しているのである。即ち、特徴量クラス分類は第２選抜のクラス分類であるといえる。
【０１６５】
このように、本発明の手法では、第１選抜の後に第２選抜のクラス分類が行われるため、従来よりも精度よくクラス分類が行うことができるようになる。これにより、次の第１の効果乃至第３の効果を奏することが可能になる。
【０１６６】
第１の効果とは、従来のクラス分類適応処理よりも、高解像度(エッジを急峻に立たせた) 画像信号を生成することが可能となるという効果である。
【０１６７】
第２の効果とは、高倍密(ズーム 時に今まで以上に高解像度(エッジを急峻に立たせた) 画像信号を生成することが可能になるという効果である。
【０１６８】
第３の効果とは、リンギングを低減した画像信号を生成することが可能になるという効果である。
【０１６９】
ところで、上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることができる。
【０１７０】
この場合、上述した情報処理装置、例えば図１２の学習装置１１や図１４の画像信号生成装置１４の少なくとも一部として、例えば、図１６に示されるパーソナルコンピュータを採用してもよい。
【０１７１】
図１６において、CPU（Central Processing Unit）１０１は、ROM（Read Only Memory）１０２に記録されているプログラム、または記憶部１０８からRAM（Random Access Memory）１０３にロードされたプログラムに従って各種の処理を実行する。RAM１０３にはまた、CPU１０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１７２】
CPU１０１、ROM１０２、およびRAM１０３は、バス１０４を介して相互に接続されている。このバス１０４にはまた、入出力インタフェース１０５も接続されている。
【０１７３】
入出力インタフェース１０５には、キーボード、マウスなどよりなる入力部１０６、ディスプレイなどよりなる出力部１０７、ハードディスクなどより構成される記憶部１０８、および、モデム、ターミナルアダプタなどより構成される通信部１０９が接続されている。通信部１０９は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
【０１７４】
入出力インタフェース１０５にはまた、必要に応じてドライブ１１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブルメディア１１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部１０８にインストールされる。
【０１７５】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０１７６】
このようなプログラムを含む記録媒体は、図１６に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（ＭＤ（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア（パッケージメディア）１１１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM１０２や、記憶部１０８に含まれるハードディスクなどで構成される。
【０１７７】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【図面の簡単な説明】
【０１７８】
【図１】本発明の手法のうち、変曲点を求める手法の概念を示す図である。
【図２】本発明の手法のうち、変曲点位置を求める手法の概念を示す図である。
【図３】本発明が適用される学習処理例を説明するフローチャートである。
【図４】予測タップとクラスタップのパターン例を示す図である。
【図５】位相入力波形の生成手法、基準波形との比較による特徴量の生成手法の概要を説明する図である。
【図６】図３の学習処理のうちの基準波形生成処理例を説明するフローチャートである。
【図７】本発明が適用されるマッピング処理例を説明するフローチャートである。
【図８】教師画像の一部とその波形を示している。
【図９】教師画像に対して本発明の手法が適用された結果得られた画像、即ち、特徴量あり画像の一部とその各色画像の波形を示している。
【図１０】教師画像に対して従来の手法が適用された結果得られた画像、即ち、特徴量なし画像の一部とその各色画像の波形を示している。
【図１１】定量評価の結果の一覧表を示す図である。
【図１２】本発明が適用される情報処理装置の一実施の形態としての学習装置の機能的構成例を示すブロック図である。
【図１３】図１２の学習装置のうちの基準波形生成部の機能的構成例を示すブロック図である。
【図１４】本発明が適用される情報処理装置の一実施の形態としての画像信号生成装置の機能的構成例を示すブロック図である。
【図１５】本発明が適用される情報処理装置としてのパーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
【０１７９】
１１ 学習装置， １２ 係数メモリ， １３ 基準波形メモリ， ２１ 生徒画像生成部， ２２ クラスタップ選択部， ２３ ADRCクラス分類部， ２４ 基準波形生成部， ２５ 位相シフト特徴量算出部， ２６ 特徴量クラス分類部， ２７ クラスコード生成部， ２８ 教師タップ選択部， ２９ 予測タップ選択部， ３０ 正規方程式加算部， ３１ 係数データ生成部， ４１ 生徒画像生成部， ４２ クラスタップ選択部， ４３ ADRCクラス分類部， ４４ 特徴量算出部， ４５ 特徴量判定部， ４６ 正規化生徒波形足し込み部， ４７ 平均化部， ６１ クラスタップ選択部， ６２ ADRCクラス分類部， ６３ 基準波形取得部， ６４ 位相シフト特徴量算出部， ６５ 特徴量クラス分類部， ６６ クラスコード生成部， ６７ 予測タップ選択部， ６８ 係数取得部， ６９ 積和演算部， １０１ CPU， １０２ ROM， １０３ RAM， １０８ 記憶部， １１１ リムーバブルメディア
【特許請求の範囲】
【請求項１】
所定規則に従って第１の種類のクラスが複数設けられており、第１の画像を構成する各画素を注目画素として、その注目画素を、前記所定規則に基づいて複数の前記第１の種類のクラスのうちの何れかに分類する第１のクラス分類手段と、
前記注目画素を含む前記第１の画像の波形に対して位相シフトさせたシフト波形を生成し、そのシフト波形に基づく特徴量を、前記複数の第１の種類のクラス毎に生成する特徴量生成手段と、
前記複数の第１の種類のクラス毎に、前記特徴量に応じた第２の種類のクラスが複数設けられており、前記第１の種類のクラス分類が行われた前記注目画素を、さらに、前記特徴量生成手段により生成された特徴量に基づいて複数の前記第２の種類のクラスのうちの何れかに分類する第２のクラス分類手段と、
前記第１の種類および前記第２の種類の前記注目画素の各クラスにより特定される係数群と、前記注目画素を含む画素のデータ群とを用いて、第２の画像を構成する画素を予測演算する予測演算手段と
を備える情報処理装置。
【請求項２】
前記複数の第１の種類のクラス毎に基準波形を生成する基準波形生成手段をさらに備え、
前記特徴量生成手段は、前記基準波形と前記シフト波形との相関に基づいて、前記特徴量を生成する
請求項１に記載の情報処理装置。
【請求項３】
前記波形生成手段は、前記注目画素を含む前記第１の画像の波形の変曲点を求め、その変曲点が特定の個所にくる波形を前記基準波形として生成する
請求項２に記載の情報処理装置。
【請求項４】
前記第１の種類のクラスは、ADRC(Adaptive Dynamic Range Coding)を用いてクラス分類されるクラスである
請求項１に記載の情報処理装置。
【請求項５】
情報処理装置が実行するステップとして、
所定規則に従って第１の種類のクラスが複数設けられており、第１の画像を構成する各画素を注目画素として、その注目画素を、前記所定規則に基づいて複数の前記第１の種類のクラスのうちの何れかに分類し、
前記注目画素を含む前記第１の画像の波形に対して位相シフトさせたシフト波形を生成し、そのシフト波形に基づく特徴量を、前記複数の第１の種類のクラス毎に生成し、
前記複数の第１の種類のクラス毎に、前記特徴量に応じた第２の種類のクラスが複数設けられており、前記第１の種類のクラス分類が行われた前記注目画素を、さらに、生成された特徴量に基づいて複数の前記第２の種類のクラスのうちの何れかに分類し、
前記第１の種類および前記第２の種類の前記注目画素の各クラスにより特定される係数群と、前記注目画素を含む画素のデータ群とを用いて、第２の画像を構成する画素を予測演算する
ステップを含む情報処理方法。
【請求項６】
コンピュータが実行するステップとして、
所定規則に従って第１の種類のクラスが複数設けられており、第１の画像を構成する各画素を注目画素として、その注目画素を、前記所定規則に基づいて複数の前記第１の種類のクラスのうちの何れかに分類し、
前記注目画素を含む前記第１の画像の波形に対して位相シフトさせたシフト波形を生成し、そのシフト波形に基づく特徴量を、前記複数の第１の種類のクラス毎に生成し、
前記複数の第１の種類のクラス毎に、前記特徴量に応じた第２の種類のクラスが複数設けられており、前記第１の種類のクラス分類が行われた前記注目画素を、さらに、生成された特徴量に基づいて複数の前記第２の種類のクラスのうちの何れかに分類し、
前記第１の種類および前記第２の種類の前記注目画素の各クラスにより特定される係数群と、前記注目画素を含む画素のデータ群とを用いて、第２の画像を構成する画素を予測演算する
ステップを含むプログラム。
【請求項７】
第１の画像を教師として入力し、前記第１の画像から生徒としての第２の画像を生成する生徒生成手段と、
所定規則に従って第１の種類のクラスが複数設けられており、前記第２の画像を構成する各画素を注目画素として、その注目画素を、前記所定規則に基づいて複数の前記第１の種類のクラスのうちの何れかに分類する第１のクラス分類手段と、
前記注目画素を含む前記第２の画像の波形に対して位相シフトさせたシフト波形を生成し、そのシフト波形に基づく特徴量を、前記複数の第１の種類のクラス毎に生成する特徴量生成手段と、
前記複数の第１の種類のクラス毎に、前記特徴量に応じた第２の種類のクラスが複数設けられており、前記第１の種類のクラス分類が行われた前記注目画素を、さらに、前記特徴量生成手段により生成された特徴量に基づいて複数の前記第２の種類のクラスのうちの何れかに分類する第２のクラス分類手段と、
前記第１の種類および前記第２の種類の各種類から特定されるクラスごとに、前記注目画素を含む画素のデータ群から、前記第１の画像を構成する画素を予測演算するために用いる係数群を生成する係数生成手段と
を備える情報処理装置。
【請求項８】
前記複数の第１の種類のクラス毎に基準波形を生成する基準波形生成手段をさらに備え、
前記特徴量生成手段は、前記基準波形と前記シフト波形との相関に基づいて、前記特徴量を生成する
請求項７に記載の情報処理装置。
【請求項９】
前記波形生成手段は、前記注目画素を含む前記第１の画像の波形の変曲点を求め、その変曲点が特定の個所にくる波形を前記基準波形として生成する
請求項８に記載の情報処理装置。
【請求項１０】
前記第１の種類のクラスは、ADRC(Adaptive Dynamic Range Coding)を用いてクラス分類されるクラスである
請求項７に記載の情報処理装置。
【請求項１１】
情報処理装置が実行するステップとして、
第１の画像を教師として入力し、前記第１の画像から生徒としての第２の画像を生成し、
所定規則に従って第１の種類のクラスが複数設けられており、前記第２の画像を構成する各画素を注目画素として、その注目画素を、前記所定規則に基づいて複数の前記第１の種類のクラスのうちの何れかに分類し、
前記注目画素を含む前記第２の画像の波形に対して位相シフトさせたシフト波形を生成し、そのシフト波形に基づく特徴量を、前記複数の第１の種類のクラス毎に生成し、
前記複数の第１の種類のクラス毎に、前記特徴量に応じた第２の種類のクラスが複数設けられており、前記第１の種類のクラス分類が行われた前記注目画素を、さらに、生成された特徴量に基づいて複数の前記第２の種類のクラスのうちの何れかに分類し、
前記第１の種類および前記第２の種類の各種類から特定されるクラスごとに、前記注目画素を含む画素のデータ群から、前記第１の画像を構成する画素を予測演算するために用いる係数群を生成する
ステップを含む情報処理方法。
【請求項１２】
コンピュータが実行するステップとして、
第１の画像を教師として入力し、前記第１の画像から生徒としての第２の画像を生成し、
所定規則に従って第１の種類のクラスが複数設けられており、前記第２の画像を構成する各画素を注目画素として、その注目画素を、前記所定規則に基づいて複数の前記第１の種類のクラスのうちの何れかに分類し、
前記注目画素を含む前記第２の画像の波形に対して位相シフトさせたシフト波形を生成し、そのシフト波形に基づく特徴量を、前記複数の第１の種類のクラス毎に生成し、
前記複数の第１の種類のクラス毎に、前記特徴量に応じた第２の種類のクラスが複数設けられており、前記第１の種類のクラス分類が行われた前記注目画素を、さらに、生成された特徴量に基づいて複数の前記第２の種類のクラスのうちの何れかに分類し、
前記第１の種類および前記第２の種類の各種類から特定されるクラスごとに、前記注目画素を含む画素のデータ群から、前記第１の画像を構成する画素を予測演算するために用いる係数群を生成する
ステップを含むプログラム。
【請求項１】
所定規則に従って第１の種類のクラスが複数設けられており、第１の画像を構成する各画素を注目画素として、その注目画素を、前記所定規則に基づいて複数の前記第１の種類のクラスのうちの何れかに分類する第１のクラス分類手段と、
前記注目画素を含む前記第１の画像の波形に対して位相シフトさせたシフト波形を生成し、そのシフト波形に基づく特徴量を、前記複数の第１の種類のクラス毎に生成する特徴量生成手段と、
前記複数の第１の種類のクラス毎に、前記特徴量に応じた第２の種類のクラスが複数設けられており、前記第１の種類のクラス分類が行われた前記注目画素を、さらに、前記特徴量生成手段により生成された特徴量に基づいて複数の前記第２の種類のクラスのうちの何れかに分類する第２のクラス分類手段と、
前記第１の種類および前記第２の種類の前記注目画素の各クラスにより特定される係数群と、前記注目画素を含む画素のデータ群とを用いて、第２の画像を構成する画素を予測演算する予測演算手段と
を備える情報処理装置。
【請求項２】
前記複数の第１の種類のクラス毎に基準波形を生成する基準波形生成手段をさらに備え、
前記特徴量生成手段は、前記基準波形と前記シフト波形との相関に基づいて、前記特徴量を生成する
請求項１に記載の情報処理装置。
【請求項３】
前記波形生成手段は、前記注目画素を含む前記第１の画像の波形の変曲点を求め、その変曲点が特定の個所にくる波形を前記基準波形として生成する
請求項２に記載の情報処理装置。
【請求項４】
前記第１の種類のクラスは、ADRC(Adaptive Dynamic Range Coding)を用いてクラス分類されるクラスである
請求項１に記載の情報処理装置。
【請求項５】
情報処理装置が実行するステップとして、
所定規則に従って第１の種類のクラスが複数設けられており、第１の画像を構成する各画素を注目画素として、その注目画素を、前記所定規則に基づいて複数の前記第１の種類のクラスのうちの何れかに分類し、
前記注目画素を含む前記第１の画像の波形に対して位相シフトさせたシフト波形を生成し、そのシフト波形に基づく特徴量を、前記複数の第１の種類のクラス毎に生成し、
前記複数の第１の種類のクラス毎に、前記特徴量に応じた第２の種類のクラスが複数設けられており、前記第１の種類のクラス分類が行われた前記注目画素を、さらに、生成された特徴量に基づいて複数の前記第２の種類のクラスのうちの何れかに分類し、
前記第１の種類および前記第２の種類の前記注目画素の各クラスにより特定される係数群と、前記注目画素を含む画素のデータ群とを用いて、第２の画像を構成する画素を予測演算する
ステップを含む情報処理方法。
【請求項６】
コンピュータが実行するステップとして、
所定規則に従って第１の種類のクラスが複数設けられており、第１の画像を構成する各画素を注目画素として、その注目画素を、前記所定規則に基づいて複数の前記第１の種類のクラスのうちの何れかに分類し、
前記注目画素を含む前記第１の画像の波形に対して位相シフトさせたシフト波形を生成し、そのシフト波形に基づく特徴量を、前記複数の第１の種類のクラス毎に生成し、
前記複数の第１の種類のクラス毎に、前記特徴量に応じた第２の種類のクラスが複数設けられており、前記第１の種類のクラス分類が行われた前記注目画素を、さらに、生成された特徴量に基づいて複数の前記第２の種類のクラスのうちの何れかに分類し、
前記第１の種類および前記第２の種類の前記注目画素の各クラスにより特定される係数群と、前記注目画素を含む画素のデータ群とを用いて、第２の画像を構成する画素を予測演算する
ステップを含むプログラム。
【請求項７】
第１の画像を教師として入力し、前記第１の画像から生徒としての第２の画像を生成する生徒生成手段と、
所定規則に従って第１の種類のクラスが複数設けられており、前記第２の画像を構成する各画素を注目画素として、その注目画素を、前記所定規則に基づいて複数の前記第１の種類のクラスのうちの何れかに分類する第１のクラス分類手段と、
前記注目画素を含む前記第２の画像の波形に対して位相シフトさせたシフト波形を生成し、そのシフト波形に基づく特徴量を、前記複数の第１の種類のクラス毎に生成する特徴量生成手段と、
前記複数の第１の種類のクラス毎に、前記特徴量に応じた第２の種類のクラスが複数設けられており、前記第１の種類のクラス分類が行われた前記注目画素を、さらに、前記特徴量生成手段により生成された特徴量に基づいて複数の前記第２の種類のクラスのうちの何れかに分類する第２のクラス分類手段と、
前記第１の種類および前記第２の種類の各種類から特定されるクラスごとに、前記注目画素を含む画素のデータ群から、前記第１の画像を構成する画素を予測演算するために用いる係数群を生成する係数生成手段と
を備える情報処理装置。
【請求項８】
前記複数の第１の種類のクラス毎に基準波形を生成する基準波形生成手段をさらに備え、
前記特徴量生成手段は、前記基準波形と前記シフト波形との相関に基づいて、前記特徴量を生成する
請求項７に記載の情報処理装置。
【請求項９】
前記波形生成手段は、前記注目画素を含む前記第１の画像の波形の変曲点を求め、その変曲点が特定の個所にくる波形を前記基準波形として生成する
請求項８に記載の情報処理装置。
【請求項１０】
前記第１の種類のクラスは、ADRC(Adaptive Dynamic Range Coding)を用いてクラス分類されるクラスである
請求項７に記載の情報処理装置。
【請求項１１】
情報処理装置が実行するステップとして、
第１の画像を教師として入力し、前記第１の画像から生徒としての第２の画像を生成し、
所定規則に従って第１の種類のクラスが複数設けられており、前記第２の画像を構成する各画素を注目画素として、その注目画素を、前記所定規則に基づいて複数の前記第１の種類のクラスのうちの何れかに分類し、
前記注目画素を含む前記第２の画像の波形に対して位相シフトさせたシフト波形を生成し、そのシフト波形に基づく特徴量を、前記複数の第１の種類のクラス毎に生成し、
前記複数の第１の種類のクラス毎に、前記特徴量に応じた第２の種類のクラスが複数設けられており、前記第１の種類のクラス分類が行われた前記注目画素を、さらに、生成された特徴量に基づいて複数の前記第２の種類のクラスのうちの何れかに分類し、
前記第１の種類および前記第２の種類の各種類から特定されるクラスごとに、前記注目画素を含む画素のデータ群から、前記第１の画像を構成する画素を予測演算するために用いる係数群を生成する
ステップを含む情報処理方法。
【請求項１２】
コンピュータが実行するステップとして、
第１の画像を教師として入力し、前記第１の画像から生徒としての第２の画像を生成し、
所定規則に従って第１の種類のクラスが複数設けられており、前記第２の画像を構成する各画素を注目画素として、その注目画素を、前記所定規則に基づいて複数の前記第１の種類のクラスのうちの何れかに分類し、
前記注目画素を含む前記第２の画像の波形に対して位相シフトさせたシフト波形を生成し、そのシフト波形に基づく特徴量を、前記複数の第１の種類のクラス毎に生成し、
前記複数の第１の種類のクラス毎に、前記特徴量に応じた第２の種類のクラスが複数設けられており、前記第１の種類のクラス分類が行われた前記注目画素を、さらに、生成された特徴量に基づいて複数の前記第２の種類のクラスのうちの何れかに分類し、
前記第１の種類および前記第２の種類の各種類から特定されるクラスごとに、前記注目画素を含む画素のデータ群から、前記第１の画像を構成する画素を予測演算するために用いる係数群を生成する
ステップを含むプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２００９−２３９８２６（Ｐ２００９−２３９８２６Ａ）
【公開日】平成２１年１０月１５日（２００９．１０．１５）
【国際特許分類】
【出願番号】特願２００８−８６１４２（Ｐ２００８−８６１４２）
【出願日】平成２０年３月２８日（２００８．３．２８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２１年１０月１５日（２００９．１０．１５）
【国際特許分類】
【出願日】平成２０年３月２８日（２００８．３．２８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]