画像処理装置、画像処理方法、プログラム、及び記録媒体
【課題】より高速かつ最適なアップコンバート画像を生成することができるようにする。
【解決手段】モデルベース処理部は、動き補償処理とダウンサンプル処理を行う観測モデルにより、高解像度画像から推定低解像度画像を生成する。空間特徴量算出部および時間特徴量算出部は、実際に観測された低解像度画像である観測低解像度画像、または、高解像度画像から、空間特徴量または時間特徴量の少なくとも一方の特徴量を算出する。予測部は、観測低解像度画像、推定低解像度画像、及び、予め学習により得られたパラメータであって、算出された特徴量に対応するパラメータを用いて、高解像度画像を高画質化した画像を予測して生成する。本技術は、例えば、高画質化した画像を予測して生成する画像処理装置に適用できる。
【解決手段】モデルベース処理部は、動き補償処理とダウンサンプル処理を行う観測モデルにより、高解像度画像から推定低解像度画像を生成する。空間特徴量算出部および時間特徴量算出部は、実際に観測された低解像度画像である観測低解像度画像、または、高解像度画像から、空間特徴量または時間特徴量の少なくとも一方の特徴量を算出する。予測部は、観測低解像度画像、推定低解像度画像、及び、予め学習により得られたパラメータであって、算出された特徴量に対応するパラメータを用いて、高解像度画像を高画質化した画像を予測して生成する。本技術は、例えば、高画質化した画像を予測して生成する画像処理装置に適用できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置、画像処理方法、プログラム、及び記録媒体に関し、特に、より高速かつ最適なアップコンバート画像を生成することができるようにする画像処理装置、画像処理方法、プログラム、及び記録媒体に関する。
【背景技術】
【０００２】
画像の高画質化処理の一つとして、ガウスザイデル法を用いた超解像処理によって高解像度画像を生成するものが提案されている（例えば、特許文献１参照）。この方法では、超解像処理器により求められたフィードバック値を、バッファに保持されている高解像度画像に加算する処理を所定回数繰り返すことにより、高解像度画像が生成される。
【０００３】
また、その他の高画質化処理の一つとして、複数枚の低解像度画像から高解像度画像を推定する再構成型超解像処理と呼ばれるものがある。再構成型超解像処理は、観測モデル（劣化モデル）を用いて高画質化処理を行うので、モデルベース処理とも呼ばれる。
【０００４】
図１を参照して、モデルベース処理について説明する。
【０００５】
モデルベース処理では、所定の観測モデルが予め構築される。図１の例では、カメラを想定したカメラモデルと、カメラの動き（位置合わせ）を補正するモデルが観測モデルとして構築されている。この観測モデルでは、例えば、ぼけ(光学ぼけ、動きぼけ、PSF)や画素数変換(ダウンコンバート、プログレッシブ-インターレース変換)やノイズがモデル化される。また、観測モデルでは、サブピクセル精度のカメラ動きや被写体動きを推定した位置合わせ処理がモデル化される。
【０００６】
そして、高解像度画像が観測モデルに入力されると、位置合わせ処理後、カメラモデルにより劣化された画像が、推定低解像度画像として出力される。モデルベース処理では、観測モデルが出力する推定低解像度画像と、実際にカメラで観測された低解像度画像（以下、観測低解像度画像という。）との誤差(差分)が小さくなるように、高解像度画像を補正し、観測モデルに補正後の高解像度画像を入力する処理が繰り返し行われる。そして、推定低解像度画像と観測低解像度画像の誤差が十分小さいと判定された場合、高画質の高解像度画像が得られたとして、出力される。
【０００７】
図１において、例えば、観測低解像度画像および推定低解像度画像は、ＳＤ（Standard Definition）ｉ（interlace）信号の画像であり、高解像度画像は、ＨＤ（High Definition）ｐ（（progressive）信号の画像である。
【０００８】
このようなモデルベース処理によれば、観測モデルが正確に分かっている場合には、エイリアシングのない高解像度画像を復元することが可能となる。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００８−１４００１２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、通常、正確な観測モデルを構築することは困難である。観測モデルが正確でない場合には、高解像度画像を適切に補正できないことになり、例えば、エッジやディテールの過強調、オーバーシュート、ノイズの強調などの弊害が発生し、さらには大きな画質破綻へと繋がる。
【００１１】
これらの弊害への対策として、画像の事前情報から画質破綻やノイズの強調を防止する技術が考えられている(再構成型超解像ＭＡＰ法とも称される)。しかし、これらの手法は画像の事前情報に性能が大きく依存し、エイリアシング除去性能の向上、解像度感の向上、オーバーシュートの抑制、ノイズの抑制について、全てを満たす制御を、画素毎（空間毎）または時間ごとに適切に行うのは困難である。
【００１２】
本技術は、このような状況に鑑みてなされたものであり、より高速かつ最適なアップコンバート画像を生成することができるようにするものである。
【課題を解決するための手段】
【００１３】
本技術の一側面の画像処理装置は、動き補償処理とダウンサンプル処理を行う観測モデルにより、高解像度画像から推定低解像度画像を生成するモデルベース処理部と、実際に観測された低解像度画像である観測低解像度画像、または、前記高解像度画像から、空間特徴量または時間特徴量の少なくとも一方の特徴量を算出する特徴量算出部と、前記観測低解像度画像、前記推定低解像度画像、及び、予め学習により得られたパラメータであって、算出された前記特徴量に対応するパラメータを用いて、前記高解像度画像を高画質化した画像を予測して生成する予測演算部とを備える。
【００１４】
本技術の一側面の画像処理方法は、動き補償処理とダウンサンプル処理を行う観測モデルにより、高解像度画像から推定低解像度画像を生成し、実際に観測された低解像度画像である観測低解像度画像、または、前記高解像度画像から、空間特徴量または時間特徴量の少なくとも一方の特徴量を算出し、前記観測低解像度画像、前記推定低解像度画像、及び、予め学習により得られたパラメータであって、算出された前記特徴量に対応するパラメータを用いて、前記高解像度画像を高画質化した画像を予測して生成するステップとを含む。
【００１５】
本技術の一側面のプログラムは、コンピュータに、動き補償処理とダウンサンプル処理を行う観測モデルにより、高解像度画像から推定低解像度画像を生成し、実際に観測された低解像度画像である観測低解像度画像、または、前記高解像度画像から、空間特徴量または時間特徴量の少なくとも一方の特徴量を算出し、前記観測低解像度画像、前記推定低解像度画像、及び、予め学習により得られたパラメータであって、算出された前記特徴量に対応するパラメータを用いて、前記高解像度画像を高画質化した画像を予測して生成する処理を実行させるためのものである。
【００１６】
本技術の一側面においては、動き補償処理とダウンサンプル処理を行う観測モデルにより、高解像度画像から推定低解像度画像が生成され、実際に観測された低解像度画像である観測低解像度画像、または、前記高解像度画像から、空間特徴量または時間特徴量の少なくとも一方の特徴量が算出され、前記観測低解像度画像、前記推定低解像度画像、及び、予め学習により得られたパラメータであって、算出された前記特徴量に対応するパラメータを用いて、前記高解像度画像を高画質化した画像が予測されて生成される。
【００１７】
なお、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【００１８】
画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【発明の効果】
【００１９】
本技術の一側面によれば、より高速かつ最適なアップコンバート画像を生成することができる。
【図面の簡単な説明】
【００２０】
【図１】従来のモデルベース処理について説明する図である。
【図２】従来のモデルベース処理の構成例を示すブロック図である。
【図３】従来のモデルベース処理の概念図である。
【図４】本技術が適用される画像処理装置としての予測装置の概念図である。
【図５】本技術が適用される学習装置の概念図である。
【図６】本技術が適用される学習装置の概略構成を説明する図である。
【図７】本技術が適用される予測装置の概略構成を説明する図である。
【図８】本技術が適用される学習装置の詳細な構成例を示すブロック図である。
【図９】空間特徴量算出部と時間特徴量算出部を説明する図である。
【図１０】空間特徴量算出部を説明する図である。
【図１１】係数学習部の詳細な構成例を示すブロック図である。
【図１２】学習装置による予測係数学習処理を説明するフローチャートである。
【図１３】モデルベース処理の詳細を説明するフローチャートである。
【図１４】サンプル蓄積処理の詳細を説明するフローチャートである。
【図１５】空間特徴量クラス分類処理の詳細を説明するフローチャートである。
【図１６】時間特徴量クラス分類処理の詳細を説明するフローチャートである。
【図１７】本技術が適用される予測装置の詳細な構成例を示すブロック図である。
【図１８】予測処理部の詳細な構成例を示すブロック図である。
【図１９】予測装置による高解像度画像生成処理を説明するフローチャートである。
【図２０】予測処理の詳細を説明するフローチャートである。
【図２１】本技術が適用されたコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００２１】
［従来のモデルベース処理部の構成例］
初めに、［背景技術］の欄で説明したモデルベース処理を行うモデルベース処理部の構成について説明する。
【００２２】
図２は、モデルベース処理を行うモデルベース処理部１０の構成例を示すブロック図である。
【００２３】
モデルベース処理部１０は、動き検出部２０、動き補償部２１、ボケ付加部２２、ダウンサンプラ２３、加算器２４、アップサンプラ２５、ボケ除去部２６、乗算器２７、および加算器２８により構成されている。
【００２４】
動き検出部２０は、加算器２８から供給される（フィードバックされる）高解像度画像を、１単位時間前、例えば、１フレーム前の高解像度画像と比較して、各画素の動き量（動きベクトル）を検出する。
【００２５】
動き補償部２１は、動き検出部２０で検出された動き量に基づく動き補償を行う。なお、動き補償部２１から出力された画像を、適宜、動き補償後の１フレーム前の高解像度画像と称することにする。動き補償後の１フレーム前の高解像度画像は、ボケ付加部２２と加算器２８に供給される。
【００２６】
ボケ付加部２２は、動き補償後の１フレーム前の高解像度画像に、カメラで撮影された場合に生じるようなボケを付加する。ここでは、ボケ付加部２２が、所定の画像に、カメラのPSFや光学ぼけなどを推定（模擬）した画像を生成する処理を、ボケを付加する処理と称している。ボケが付加された動き補償後の１フレーム前の高解像度画像は、ダウンサンプラ２３に供給される。
【００２７】
ダウンサンプラ２３は、ボケが付加された動き補償後の１フレーム前の高解像度画像の画素を間引くなどして解像度の低い画像を生成する。これにより、推定低解像度画像が生成される。
【００２８】
加算器２４は、推定低解像度画像の各画素と観測低解像度画像の各画素との差分値（誤差）を演算する。加算器２４の演算結果である差分情報は、アップサンプラ２５に供給される。
【００２９】
アップサンプラ２５は、加算器２４の演算結果である低解像度の差分情報を、高解像度画像の差分情報にアップサンプルする。即ち、アップサンプラ２５は、低解像度画像の各画素に対応する差分値から、高解像度の各画素に対応する差分値を生成し、ボケ除去部２６に供給する。
【００３０】
ボケ除去部２６は、アップサンプラ２５から供給される高解像度の差分情報に対し、ボケ付加部２２が行う処理と反対のボケ除去処理を行う。即ち、ボケ除去部２６は、ボケ付加部２２で付加されたボケを除去するような処理を、高解像度の差分情報に対して施す。
【００３１】
なお、観測モデルにおいて、ボケを考慮しない場合には、ボケ付加部２２とボケ除去部２６は省略することができる。
【００３２】
乗算器２７は、ボケ除去部２６から出力された高解像度の差分情報に所定のゲインを乗じ、加算器２８に出力する。
【００３３】
加算器２８は、動き補償後の１フレーム前の高解像度画像の各画素の画素値（輝度値）と、乗算器２７の差分情報（差分値）とを加算し、その加算結果を高解像度画像として出力する。また、加算器２８は、生成した高解像度画像を、動き検出部２０にも供給する（フィードバックする）。
【００３４】
上述したモデルベース処理部１０の処理ブロック図は、概念的には、図３に示すように表すことができる。
【００３５】
即ち、モデルベース処理部１０は、差分情報生成部３１と加算部３２とからなり、差分情報生成部３１が、１フレーム前の高解像度画像と、観測低解像度画像とから、高解像度画像を更新するための差分情報を生成する。そして、生成された差分情報を、加算部３２において１フレーム前の高解像度画像に加算することで、更新後の高解像度画像を生成する処理が、繰り返し実行される。
【００３６】
このような従来のモデルベース処理部１０においては、生成される差分情報が、生成される高解像度画像の各画素について一律の値として求められていた。従って、１枚の高解像度画像を画質破綻なく出力するために、ある程度の回数の繰り返し演算を行わなければ、高解像度画像の全ての画素について、推定低解像度画像と観測低解像度画像の誤差が十分小さくなるようなものが得られなかった。
【００３７】
［本技術の予測装置及び学習装置の概念図］
一方、図３の従来のモデルベース処理部１０を概念的に示したブロック図に対応するように、本技術が適用される画像処理装置としての予測装置を示すと図４のようになる。
【００３８】
本技術が適用される予測装置４０は、差分情報予測部５１と加算部５２とからなる。
【００３９】
差分情報生成部５１は、１フレーム前の高解像度画像と観測低解像度画像の時空間特徴量に対応する予測係数を用いて、更新する高解像度画像の画素ごとに最適な差分情報を生成する。そして、生成された画素毎に最適な差分情報が、加算部５２において、１フレーム前の高解像度画像に加算されて、更新後の高解像度画像が生成される。
【００４０】
差分情報生成部５１で使用される予測係数は、後述する図５の学習装置６０で予め学習される。図４の予測装置４０では、１枚の高解像度画像を出力するためには、繰り返し演算は不要であり、画素ごとに１回の加算で高解像度画像を得ることができる。なお、図４の高解像度画像のフィードバックは、１フレーム後の高解像度画像生成のためのものである。
【００４１】
図５は、図４の予測装置４０で使用される予測係数を学習する学習装置を概念的に示したブロック図である。
【００４２】
図５の学習装置６０は、差分情報学習部７１と加算部７２とからなる。
【００４３】
差分情報学習部７１は、教師画像としての理想高解像度画像と、生徒画像としての観測低解像度画像の対データ、及び、生成される高解像度画像を用いて、生成される高解像度画像と理想高解像度画像との誤差を最小とするような予測係数を学習する。予測係数の学習には、予測処理時と同様、高解像度画像と観測低解像度画像の時空間特徴量が使用される。
【００４４】
なお、実際には、学習装置６０は、以下に説明するように、差分情報を最適化するような予測係数を学習するのではなく、１フレーム前の高解像度画像と観測低解像度画像から、注目フレームの高解像度画像そのものを最適化する、即ち、高画質化した高解像度画像を予測するための予測係数を学習する。そして、予測装置４０は、学習装置６０により学習された予測係数を用いて、差分情報を生成するのではなく、出力される高解像度画像を、直接、生成する。
【００４５】
［学習装置の概略構成］
図６は、図１の従来のモデルベース処理に対応させた学習装置６０の概略構成を示している。
【００４６】
初めに、教師画像としての理想高解像度画像と、生徒画像としての観測低解像度画像が用意される。そして、モデルベース処理部の観測モデルにより、１フレーム前の高解像度画像から生成された推定低解像度画像が、教師画像と生徒画像とともに学習処理部８１に入力される。
【００４７】
学習処理部８１は、高解像度画像を生成する予測演算式に含まれる予測係数であって、教師画像である理想高解像度画像との誤差が最小となるような予測係数を算出する。（学習する）。この学習において、予測係数は、複数のクラスに分類したクラスごとに求めることができ、学習処理部８１は、生徒画像の空間特徴量と、１フレーム前の高解像度画像の時間特徴量とに基づいてクラス分類したときのクラスごとに予測係数を算出する。そして、学習処理部８１により算出されたクラスごとの予測係数が、学習データベース８２に記憶される。
【００４８】
［予測装置の概略構成］
図７は、図１の従来のモデルベース処理に対応させた予測装置４０の概略構成を示している。
【００４９】
予測装置４０の学習データベース９１には、図６の学習装置６０で学習されたクラスごとの予測係数が記憶されている。即ち、図７の学習データベース９１は図６の学習データベース８２と同一か、または、学習データベース８２内のデータが学習データベース９１に転送されている。
【００５０】
予測処理部９２は、学習装置６０の学習により得られた予測係数を用いた予測演算式を演算することにより、高解像度画像を生成する。より具体的には、予測処理部９２は、観測低解像度画像の空間特徴量と、１フレーム前の高解像度画像の時間特徴量とに基づいてクラス分類を行う。そして、予測処理部９２は、クラス分類したときの分類結果であるクラスに対応する予測係数を学習データベース９１から取得し、予測演算に使用する。
【００５１】
以下、学習装置６０と予測装置４０のさらに詳細な構成について、順に説明する。
【００５２】
［学習装置６０の詳細構成ブロック図］
図８は、学習装置６０の詳細な構成例を示すブロック図である。図８において、上述した部分と対応する部分については同一の符号を付してあり、その説明は適宜省略する。
【００５３】
学習装置６０は、モデルベース処理部８０、学習処理部８１、および学習データベース８２により構成されている。
【００５４】
モデルベース処理部８０は、基本的に、図２を参照して説明したモデルベース処理部１０と同様の構成を有し、動き補償処理とダウンサンプル処理を行う観測モデルにより、高解像度画像から推定低解像度画像を生成する。ただし、本技術を適用した学習装置６０は、従来のモデルベース処理と異なり、差分情報を一律に１フレーム前の高解像度画像に付与するものではないため、乗算器２７と加算器２８は省略されている。
【００５５】
学習処理部８１は、空間特徴量算出部１０１、時間特徴量算出部１０２、差分情報クラス分類部１０３、および係数学習部１０４により構成される。
【００５６】
空間特徴量算出部１０１と時間特徴量算出部１０２は、生成する高解像度画像に対して設定された注目画素の空間特徴量または時間特徴量を算出し、算出された特徴量に基づいて、注目画素を所定のクラスに分類するクラス分類部として機能する。また、差分情報クラス分類部１０３も、ボケ除去部２６から供給される差分情報に基づいて、注目画素を所定のクラスに分類するクラス分類部の一つである。
【００５７】
空間特徴量算出部１０１には、生徒画像としての観測低解像度画像が供給される。また、時間特徴量算出部１０２には、モデルベース処理部８０の動き検出部２０で検出された動き量が供給されるとともに、係数学習部１０４から、注目画素の処理回数（処理枚数）が供給される。
【００５８】
［空間特徴量算出部１０１と時間特徴量算出部１０２の説明］
図９及び図１０を参照して、空間特徴量算出部１０１と時間特徴量算出部１０２について説明する。
【００５９】
図９は、空間特徴量算出部１０１と時間特徴量算出部１０２の詳細構成例を示すブロック図である。
【００６０】
空間特徴量算出部１０１は、クラスタップ抽出部１１１、波形パターン分類部１１２、および帯域分類部１１３により構成される。
【００６１】
クラスタップ抽出部１１１は、注目画素に対応する生徒画像（観測低解像度画像）の画素の周辺に位置する複数の画素（周辺画素）を、空間特徴量に基づくクラスを設定するためのクラスタップに設定し、抽出する。抽出したクラスタップを示す情報は、波形パターン分類部１１２に供給される。
【００６２】
波形パターン分類部１１２は、クラスタップとして設定された周辺画素の波形パターンに基づいて、注目画素を所定の波形クラスに分類し、分類結果としての波形クラス（を示すクラスコード）を係数学習部１０４（図８）に出力する。
【００６３】
帯域分類部１１３は、注目画素の周辺画素の周波数帯域に基づいて、注目画素を所定の帯域クラスに分類し、分類結果としての帯域クラス（を示すクラスコード）を係数学習部１０４に出力する。
【００６４】
時間特徴量算出部１０２は、動き量分類部１２１と履歴カウンタ分類部１２２により構成される。
【００６５】
動き量分類部１２１は、動き検出部２０から供給される動き量に基づいて、注目画素を所定の動き量クラスに分類し、分類結果としての動き量クラス（を示すクラスコード）を係数学習部１０４（図８）に出力する。
【００６６】
より具体的には、動き量分類部１２１は、動き検出部２０から供給される動き量の画素以下の位相ごとに注目画素をクラス分類する。例えば、動き量の検出精度（検出分解能）が１／４位相（１／４画素）である場合、動き検出部２０から供給される動き量の小数点以下は、”00”，”25”，”50”，”75”の４つの値のいずれかとなるので、動き量分類部１２１は、この４つの値で注目画素をクラス分類する。より具体的には、動き検出部２０から供給される動き量が、0.00,1.00,2.00,・・等である場合にはクラス”０” とされ、0.25,1.25,2.25,・・等である場合にはクラス”１”とされ、0.50,1.50,2.50,・・等である場合にはクラス”２” とされ、0.75,1.75,2.75,・・等である場合にはクラス”３”とされる。動き量の検出精度（検出分解能）が１／N位相（１／N画素）である場合には、動き量クラスはNクラスに分類されることになる。
【００６７】
履歴カウンタ分類部１２２には、注目画素に設定されている画素の位置が、これまでに処理された処理回数（処理枚数）が、係数学習部１０４から供給される。履歴カウンタ分類部１２２は、その供給される処理回数（の値）を、注目画素を所定の履歴クラスに分類した履歴クラス（を示すクラスコード）として、係数学習部１０４に出力する。例えば、まだ処理されていない初回は初期値のクラス”０”とされ、注目画素がこれまでに２フレーム処理されている場合はクラス”２”、３フレーム処理されている場合はクラス”３”とされる。
【００６８】
図１０は、波形パターン分類部１１２と帯域分類部１１３のクラス分類処理の例を説明する図である。
【００６９】
図１０Aは、波形パターン分類部１１２が、波形パターンに基づいて注目画素を所定の波形クラスに分類する波形クラス分類処理として、１ビットADRC処理を行う例を示している。
【００７０】
KビットADRC処理（K≧１）では、周辺画素を構成する画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、周辺画素を構成する画素値がKビットに再量子化される。即ち、周辺画素を構成する各画素の画素値から、最小値MINが減算され、その減算値がDR/2Kで除算（量子化）される。そして、以上のようにして得られる、周辺画素を構成するKビットの各画素の画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。
【００７１】
１ビットADRC処理された場合には、その周辺画素を構成する各画素の画素値は、最大値MAXと最小値MINとの平均値で除算され（小数点以下切り捨て）、各画素の画素値が平均値以上であれば”１”、平均値未満であれば”０”とされる（２値化される）。そして、その１ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力される。
【００７２】
図１０Aに示される例では、クラスタップに設定された５画素が、所定の順に”０”，”０”，”１”，”１”，”１”と判定されたとすると、”00111”＝”７”が、波形クラスのクラスコードとして出力される。
【００７３】
図１０Bは、帯域分類部１１３が、注目画素周辺の９画素を用いて、所定の帯域クラスに分類する例を示している。
【００７４】
帯域分類部１１３は、注目画素周辺の９画素に対して、水平方向の差分絶対値（水平差分）、垂直方向の差分絶対値（垂直差分）、並びに、右上斜め方向および右下斜め方向の差分絶対値（斜め差分）を計算する。そして、帯域分類部１１３は、計算結果の各差分絶対値のなかの最大値を選択し、帯域クラスを示すクラスコードとして、係数学習部１０４に出力する。なお、注目画素を所定の帯域クラスに分類するために選択される注目画素周辺の画素は、図１０Bに示した９画素に限らず、適宜設定することができる。
【００７５】
図８に戻り、以上のように、係数学習部１０４には、注目画素を、波形クラス、帯域クラス、動き量クラス、および履歴クラスのそれぞれにクラス分類した結果であるクラスコードが供給される。
【００７６】
また、差分情報クラス分類部１０３からも、ボケ除去部２６から供給される差分情報（差分値）に基づいて、注目画素を所定の差分クラスに分類した結果である差分クラス（を示すクラスコード）が供給される。
【００７７】
さらに、係数学習部１０４には、モデルベース処理部８０の動き補償部２１から、動き補償後の１フレーム前の高解像度画像が供給される。また、生徒画像としての観測低解像度画像と、教師画像としての理想高解像度画像も供給される。
【００７８】
係数学習部１０４は、教師画像としての理想高解像度画像の各画素を、注目する注目画素に設定し、注目画素に対応する生徒画像の複数の画素を予測タップとして抽出し、その予測タップと予測係数を用いた所定の予測演算により高画質の高解像度画像を求めるための予測係数を算出する（学習する）。
【００７９】
いま、所定の予測演算として、例えば、線形１次予測演算を採用することとすると、時刻ｔ（ｔ番目のフレーム）の高画質の高解像度画像の画素値ｙtは、次の線形１次式によって求められることになる。
【００８０】
【数１】
【００８１】
但し、式（１）において、ｘiは、高解像度画像の注目画素ｙtについての予測タップを構成する、生徒画像のi番目の画素（以下、適宜、生徒画像画素という）の画素値を表し、ｗiは、i番目の生徒画像画素（の画素値）と乗算されるi番目の予測係数を表す。また、ｘjは、高解像度画像の注目画素ｙtについての予測タップを構成する、動き補償後の１フレーム前（ｔ−１番目のフレームの）の高解像度画像のｊ番目の画素（以下、適宜、前高解像度画像画素という）の画素値を表し、ｗjは、ｊ番目の前高解像度画像画素（の画素値）と乗算されるｊ番目の予測係数を表す。なお、式（１）では、予測タップが、生徒画像画素についてはＮ個の生徒画像画素ｘ1，ｘ2，・・・，ｘNで構成され、前高解像度画像画素についてはM個の生徒画像画素ｘ1，ｘ2，・・・，ｘMで構成されるものとしてある。Ｍ，Ｎを大きくすると、予測係数の個数は多くなるが、超解像効果の収束が早くなる、孤立点的な過強調や破綻が軽減する、などの性能向上が見込まれる。
【００８２】
高解像度画像の画素値ｙtは、式（１）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
【００８３】
式（１）は、Ｍ＋Ｎ個の線形１次式であるが、説明を簡単にするため、（Ｍ＋Ｎ）をＮと置き換えて（Ｍ＋Ｎ⇒Ｎ）、式（２）のように単純化するとともに、第ｋサンプルの教師画像画素の画素値の真値をｙkと表すとともに、式（２）によって得られるその真値ｙkの予測値をｙk’と表すと、その予測誤差ｅkは、次式（３）で表される。
【００８４】
【数２】
【００８５】
いま、式（３）の予測値ｙk’は、式（２）にしたがって求められるため、式（３）のｙk’を、式（２）にしたがって置き換えると、次式（４）が得られる。
【００８６】
【数３】
但し、式（４）において、ｘn,kは、第ｋサンプルの教師画像画素についての予測タップを構成するｎ番目の生徒画像画素を表す。
【００８７】
式（４）（または式（３））の予測誤差ｅkを０とする予測係数ｗnが、教師画像画素を予測するのに最適なものとなるが、すべての教師画像画素について、そのような予測係数ｗnを求めることは、一般には困難である。
【００８８】
そこで、予測係数ｗnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適な予測係数ｗnは、次式（５）で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【００８９】
【数４】
但し、式（５）において、Ｋは、教師画像画素ｙkと、その教師画像画素ｙkについての予測タップを構成する生徒画像画素ｘ1,k，ｘ2,k，・・・，ｘN,kとのセットのサンプル数（学習用のサンプルの数）を表す。
【００９０】
式（５）の自乗誤差の総和Ｅの最小値（極小値）は、式（６）に示すように、総和Ｅを予測係数ｗnで偏微分したものを０とするｗnによって与えられる。
【数５】
【００９１】
そこで、上述の式（４）を予測係数ｗnで偏微分すると、次式（７）が得られる。
【数６】
【００９２】
式（６）と式（７）から、次式（８）が得られる。
【数７】
【００９３】
式（８）のｅkに、式（４）を代入することにより、式（８）は、式（９）に示す正規方程式で表すことができる。
【数８】
【００９４】
式（９）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、予測係数ｗnについて解くことができる。式（１）の場合も同様に、予測係数ｗiと予測係数ｗjを求めることができる。さらに、式（９）の正規方程式をクラスごとにたてて解くことにより、最適な予測係数（ここでは、自乗誤差の総和Ｅを最小にする予測係数）ｗiと予測係数ｗjを、クラスごとに求めることもできる。
【００９５】
［係数学習部１０４の詳細構成例］
図１１は、図８における係数学習部１０４の詳細な構成例を示すブロック図である。
【００９６】
係数学習部１０４は、注目画素設定部１３１、教師画像記憶部１３２、生徒画像記憶部１３３、予測タップ抽出部１３４、足し込み部１３５、および予測係数算出部１３６により構成される。
【００９７】
注目画素設定部１３１は、教師画像を構成する各画素を、順次、注目画素に設定する。どこを注目画素に設定したかを示す情報は、係数学習部１０４内の各部に供給される。
【００９８】
教師画像記憶部１３２は、入力される教師画像としての理想高解像度画像を記憶する。生徒画像記憶部１３３は、入力される生徒画像としての観測低解像度画像を記憶する。
【００９９】
予測タップ抽出部１３４は、生徒画像記憶部１３３に記憶された生徒画像を構成する画素のなかから、注目画素に対応する画素周辺の周辺画素を予測タップとして抽出し、足し込み部１３５に供給する。
【０１００】
足し込み部１３５は、教師画像記憶部１３２から注目画素の画素値を読み出し、その注目画素の画素値と、注目画素について構成された予測タップを構成する生徒画像の画素の画素値とを対象とした足し込みを、供給される各クラスコードで特定されるクラスコードごとに行う。クラスコードは、例えば、波形クラス、帯域クラス、動き量クラス、履歴クラス、および差分クラスそれぞれのクラスコードを所定の順番で並べたビット列が、最終的なクラスコードとされる。
【０１０１】
即ち、足し込み部１３５は、供給される各クラスコードに基づいて決定された最終的なクラスコードに対応するクラスごとに、予測タップ（生徒画像）ｘn,kを用い、式（９）の左辺の行列における生徒画像どうしの乗算（ｘn,kｘn',k）と、サメーション（Σ）に相当する演算を行う。
【０１０２】
さらに、足し込み部１３５は、やはり、最終的なクラスコードに対応するクラスごとに、予測タップ（生徒画像）ｘn,kと教師画像ｙkを用い、式（９）の右辺のベクトルにおける生徒画像ｘn,kおよび教師画像ｙkの乗算（ｘn,kｙk）と、サメーション（Σ）に相当する演算を行う。
【０１０３】
即ち、足し込み部１３５は、前回、注目画素とされた教師データについて求められた式（９）における左辺の行列のコンポーネント（Σｘn,kｘn',k）と、右辺のベクトルのコンポーネント（Σｘn,kｙk）を、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネント（Σｘn,kｘn',k）またはベクトルのコンポーネント（Σｘn,kｙk）に対して、新たに注目画素とされた教師画像について、その教師画像ｙk+1および生徒画像ｘn,k+1を用いて計算される、対応するコンポーネントｘn,k+1ｘn',k+1またはｘn,k+1ｙk+1を足し込む（式（９）のサメーションで表される加算を行う）。
【０１０４】
そして、足し込み部１３５は、教師画像記憶部１３２に記憶された教師画像すべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、式（９）に示した正規方程式をたてると、その正規方程式を、予測係数算出部１３６に供給する。
【０１０５】
予測係数算出部１３６は、足し込み部１３５から供給される各クラスについての正規方程式を解くことにより、各クラスについて、式（２）の最適パラメータとしての予測係数ｗn（式（１）の予測係数ｗiとｗj）を求める。得られた各クラスについての予測係数ｗiとｗjは、学習データベース８２（図８）に記憶される。
【０１０６】
［予測係数学習処理のフローチャート］
次に、図１２のフローチャートを参照して、図８の学習装置６０による予測係数学習処理について説明する。なお、この処理の開始前に、教師画像としての理想高解像度画像と、生徒画像としての観測低解像度画像が、教師画像記憶部１３２と生徒画像記憶部１３３に記憶されているものとする。
【０１０７】
初めに、ステップＳ２１において、係数学習部１０４は、高解像度画像の初期値を設定する。式（１）から明らかなように、予測演算式には１つ前のフレームの高解像度画像が必要となるが、処理の開始当初は存在しないため、例えば、生徒画像の低解像度画像をアップコンバートするなどして、初期値としての高解像度画像が生成される。
【０１０８】
ステップＳ２２において、注目画素設定部１３１は、教師画像である高解像度画像の所定の画素を注目画素に設定する。
【０１０９】
ステップＳ２３において、モデルベース処理部８０は、図１３を参照して後述するモデルベース処理を実行する。
【０１１０】
図１３のフローチャートを参照して、図１２のステップＳ２３として行われるモデルベース処理の詳細について説明する。
【０１１１】
ステップＳ４１において、動き検出部２０は、係数学習部１０４から供給される（フィードバックされる）１フレーム前の高解像度画像を、注目フレームと比較して、注目画素の動き量（動きベクトル）を検出する。そして、動き検出部２０は、検出結果の動き量を、学習処理部８１の時間特徴量算出部１０２に供給する。なお、１フレーム前の高解像度画像が存在しない１回目の処理では、検出結果として予め設定した値（例えば、NULL）が出力される。
【０１１２】
ステップＳ４２において、動き補償部２１は、動き検出部２０で検出された動き量に基づき、高解像度画像の動き補償を行う。
【０１１３】
ステップＳ４３において、ボケ付加部２２は、動き補償後の１フレーム前の高解像度画像にカメラで撮影された場合に生じるようなボケを付加する。なお、ここでは、所定の画像に基づいて、カメラのPSFや光学ぼけなどを推定（模擬）した画像を生成することを、ボケを付加すると称している。
【０１１４】
ステップＳ４４において、ダウンサンプラ２３は、ボケが付加された動き補償後の１フレーム前の高解像度画像の画素を間引く（ダウンサンプルする）などして解像度の低い画像を生成する。これにより、推定低解像度画像が生成される。
【０１１５】
ステップＳ４５において、加算器２４は、推定低解像度画像と、生徒画像である観測低解像度画像の対応する画素どうしの差分値を演算する。加算器２４の演算結果である差分情報は、アップサンプラ２５に供給される。
【０１１６】
ステップＳ４６において、アップサンプラ２５は、加算器２４の演算結果である低解像度の差分情報を、高解像度画像の差分情報にアップサンプルする。即ち、アップサンプラ２５は、低解像度画像の各画素に対応する差分値から、高解像度の補間した画素に対応する差分値を生成し、ボケ除去部２６に供給する。
【０１１７】
ステップＳ４７において、ボケ除去部２６は、アップサンプラ２５から供給される高解像度の差分情報に対し、ボケ付加部２２が行う処理と反対のボケ除去処理を行う。即ち、ボケ除去部２６は、ボケ付加部２２で付加されたボケを除去するような処理を、高解像度の差分情報に対して施す。
【０１１８】
以上でモデルベース処理が終了し、処理が図１２に戻り、ステップＳ２４に進む。
【０１１９】
ステップＳ２４において、学習処理部８１は、図１４を参照して後述するサンプル蓄積処理を実行する。
【０１２０】
図１４のフローチャートを参照して、図１２のステップＳ２４として行われるサンプル蓄積処理の詳細について説明する。
【０１２１】
初めに、ステップＳ６１において、差分情報クラス分類部１０３は、ボケ除去部２６から供給される差分情報（差分値）に基づいて、注目画素を所定の差分クラスに分類する。分類結果である差分クラスを示すクラスコードは、係数学習部１０４に供給される。
【０１２２】
ステップＳ６２において、空間特徴量算出部１０１は、注目画素に対して所定のクラスタップを設定し、クラスタップとして抽出された周辺画素を用いた空間特徴量に基づいて、クラス分類を行う空間特徴量クラス分類処理を実行する。
【０１２３】
ステップＳ６３において、時間特徴量算出部１０２は、注目画素の時間特徴量に基づいて、クラス分類を行う時間特徴量クラス分類処理を実行する。
【０１２４】
ここで、図１５および図１６を参照して、ステップＳ６２の空間特徴量クラス分類処理と、ステップＳ６３の時間特徴量クラス分類処理について説明する。
【０１２５】
図１５は、ステップＳ６２の空間特徴量クラス分類処理の詳細なフローチャートを示している。
【０１２６】
初めに、ステップＳ８１において、クラスタップ抽出部１１１は、注目画素に対して、空間特徴量に基づくクラスを設定するためのクラスタップを設定し、抽出する。
【０１２７】
ステップＳ８２において、波形パターン分類部１１２は、クラスタップとして抽出された周辺画素の波形パターンに基づいて、注目画素を所定の波形クラスに分類し、分類結果としての波形クラスを示すクラスコードを係数学習部１０４に出力する。
【０１２８】
ステップＳ８３において、帯域分類部１１３は、注目画素の周辺画素の周波数帯域に基づいて、注目画素を所定の帯域クラスに分類し、分類結果としての帯域クラスを示すクラスコードを係数学習部１０４に出力する。
【０１２９】
以上により、図１４のステップＳ６２の空間特徴量クラス分類処理が終了する。
【０１３０】
図１６は、ステップＳ６３の時間特徴量クラス分類処理の詳細なフローチャートを示している。
【０１３１】
初めに、ステップＳ９１において、動き量分類部１２１は、動き検出部２０から供給される動き量に基づいて、注目画素を所定の動き量クラスに分類し、分類結果としての動き量クラスを示すクラスコードを係数学習部１０４に出力する。
【０１３２】
ステップＳ９２において、履歴カウンタ分類部１２２は、係数学習部１０４から供給された処理回数に基づいて、注目画素を所定の履歴クラスに分類し、分類結果としての履歴クラスを示すクラスコードを係数学習部１０４に出力する。
【０１３３】
以上により、図１４のステップＳ６３の時間特徴量クラス分類処理が終了する。
【０１３４】
図１４に戻り、ステップＳ６４において、足し込み部１３５は、注目画素の画素値と、その注目画素について抽出された予測タップを構成する生徒画像の画素の画素値とを対象とした式（９）に相当する足し込みを、ステップＳ６１乃至Ｓ６３の各クラスコードで特定されるクラスコード（クラス）ごとに行う。
【０１３５】
以上で、図１４のサンプル蓄積処理が終了して図１２に戻り、処理がステップＳ２４からステップＳ２５に進む。
【０１３６】
図１２のステップＳ２５において、係数学習部１０４の注目画素設定部１３１は、まだ注目画素に設定していない画素があるかを判定する。
【０１３７】
ステップＳ２５で、まだ注目画素に設定していない画素があると判定された場合、処理はステップＳ２２に戻り、それ以降の処理が繰り返し実行される。
【０１３８】
一方、ステップＳ２５で、全ての画素を注目画素に設定したと判定された場合、処理はステップＳ２６に進む。
【０１３９】
ステップＳ２６において、係数学習部１０４の予測係数算出部１３６は、足し込み部１３５から供給されるクラスごとの式（９）に相当する正規方程式を解くことにより、クラスごとに予測係数ｗiとｗjを算出する。
【０１４０】
ステップＳ２７において、予測係数算出部１３６は、ステップＳ２６の処理で算出された予測係数ｗiとｗjを、クラスごとに学習データベース８２に記憶させる。
【０１４１】
以上により、予測係数学習処理が終了する。
【０１４２】
［予測装置４０の詳細構成ブロック図］
図１７は、予測装置４０の詳細な構成例を示すブロック図である。図１７において、上述した部分と対応する部分については同一の符号を付してあり、その説明は適宜省略する。
【０１４３】
予測装置４０は、モデルベース処理部８０、学習データベース９１、及び予測処理部９２により構成されている。
【０１４４】
学習データベース９１には、学習装置６０で学習され、学習データベース８２に記憶されたクラスごとの予測係数ｗiとｗjが、コピーされて記憶されている。
【０１４５】
予測処理部９２は、空間特徴量算出部１０１、時間特徴量算出部１０２、差分情報クラス分類部１０３、および予測部１５１により構成される。
【０１４６】
予測処理部９２には、外部から入力された観測低解像度画像が供給される。また、モデルベース処理部８０からは、学習装置６０と同様、動き検出部２０で検出された動き量、動き補償後の１フレーム前の高解像度画像、及び、差分情報が供給される。
【０１４７】
予測部１５１は、生成する高解像度画像の各画素を、注目する注目画素に設定し、注目画素に対応する観測低解像度画像の複数の画素を予測タップとして抽出し、その予測タップと予測係数の積和演算である式（１）の予測演算を行う。これにより、予測部１５１は、予測演算により予測生成した高解像度画像を出力する。
【０１４８】
［予測部１５１の詳細構成例］
図１８は、予測部１５１の詳細な構成例を示すブロック図である。
【０１４９】
予測部１５１は、注目画素設定部１７１、予測係数取得部１７２、予測タップ抽出部１７３、および予測演算部１７４により構成される。
【０１５０】
注目画素設定部１７１は、生成する高解像度画像を構成する各画素を、順次、注目画素に設定する。どこを注目画素に設定したかを示す情報は、予測処理部９２内の各部に供給される。
【０１５１】
予測係数取得部１７２には、空間特徴量算出部１０１、時間特徴量算出部１０２、及び差分情報クラス分類部１０３のそれぞれから、注目画素を所定のクラスに分類した結果であるクラスコードが供給される。
【０１５２】
予測係数取得部１７２は、波形クラス、帯域クラス、動き量クラス、履歴クラス、および差分クラスそれぞれのクラスコードを所定の順番で並べたビット列を、最終的なクラスコードに決定する。そして、予測係数取得部１７２は、注目画素の最終的なクラスコードに対応する予測係数ｗiとｗjを、学習データベース９１から取得し、予測演算部１７４に供給する。
【０１５３】
予測タップ抽出部１７３は、供給された観測低解像度画像を構成する画素のなかから、注目画素に対応する画素周辺の周辺画素を予測タップとして抽出し、予測演算部１７４に供給する。
【０１５４】
予測演算部１７４は、学習時と同一の予測演算、即ち、式（１）の予測演算を行うことにより、注目画素の画素値を予測生成する。
【０１５５】
［高解像度画像生成処理のフローチャート］
次に、図１９のフローチャートを参照して、図１７の予測装置４０による高解像度画像生成処理ついて説明する。なお、この処理が開始される前に、学習装置６０で学習されたクラスごとの予測係数ｗiとｗjが、学習データベース９１に記憶されているものとする。この処理は、例えば、観測低解像度画像が入力されたとき開始される。
【０１５６】
ステップＳ１０１乃至Ｓ１０３の処理は、学習装置６０による図１２のステップＳ２１乃至Ｓ２３と同様である。
【０１５７】
即ち、ステップＳ１０１において、予測部１５１は、高解像度画像の初期値を設定する。
【０１５８】
ステップＳ１０２において、注目画素設定部１７１は、生成する高解像度画像の所定の画素を注目画素に設定する。
【０１５９】
ステップＳ１０３において、モデルベース処理部８０は、図１３を参照して説明したモデルベース処理を実行する。
【０１６０】
そして、ステップＳ１０４において、予測部１５１は、図２０を参照して後述する予測処理を実行する。
【０１６１】
図２０のフローチャートを参照して、図１９のステップＳ１０４として行われる予測処理の詳細について説明する。
【０１６２】
ステップＳ１２１乃至Ｓ１２３は、上述した図１４のステップＳ６１乃至Ｓ６３と同様であるので、その説明は省略する。
【０１６３】
ステップＳ１２４において、予測係数取得部１７２は、空間特徴量算出部１０１、時間特徴量算出部１０２、及び差分情報クラス分類部１０３のそれぞれから供給されたクラスコードから最終的なクラスコードを決定する。そして、予測係数取得部１７２は、注目画素の最終的なクラスコードに対応する予測係数ｗiとｗjを、学習データベース９１から取得し、予測演算部１７４に供給する。
【０１６４】
ステップＳ１２５において、予測タップ抽出部１７３は、注目画素に対応する観測低解像度画像の複数の画素を、予測タップとして抽出する。
【０１６５】
ステップＳ１２６において、予測演算部１７４は、予測タップ抽出部１７３により抽出された予測タップと、注目画素の最終的なクラスコードに対応して学習データベース９１から取得された予測係数ｗiとｗjを用いて、式（１）の予測演算を行う。これにより、注目画素の画素値が得られる。
【０１６６】
以上により予測処理が終了し、図１９に戻り、処理がステップＳ１０４からステップＳ１０５に進む。
【０１６７】
図１９のステップＳ１０５において、予測部１５１は、まだ注目画素に設定していない画素があるかを判定する。
【０１６８】
ステップＳ１０５で、まだ注目画素に設定していない画素があると判定された場合、処理はステップＳ１０２に戻り、それ以降の処理が繰り返し実行される。
【０１６９】
一方、ステップＳ１０５で、全ての画素を注目画素に設定したと判定された場合、処理はステップＳ１０６に進み、予測部１５１の予測演算部１７４は、生成した高解像度画像を出力して、処理を終了する。予測装置４０から出力された高解像度画像は、例えば、LCDディスプレイ等の表示装置に入力され、表示される。
【０１７０】
以上により、高解像度画像生成処理が終了する。
【０１７１】
上述した予測装置４０の高解像度画像生成処理では、注目画素に対して空間特徴量および時間特徴量を算出し、それらの特徴量に基づいて注目画素をクラス分類し、分類されたクラスに対応する、予め学習された予測係数を用いて予測演算を行うことにより、高解像度画像が生成される。
【０１７２】
従来のモデルベース処理部１０のように、生成される差分情報に対して一様に補正をかけるのではなく、各画素の特徴量に基づいて最適な補正をかけることができるので、最適な高解像度画像を生成することができる。具体的には、エイリアシング除去性能および解像度感を向上させた高解像度画像が生成可能である。また、例えば、カメラモデルや位置合わせに推定誤差が生じたとしても、例えば、エッジやディテールの過強調や孤立点的な破綻を防止することができる。カメラモデルや位置合わせに推定誤差が生じたとしても、その推定誤差を含んだ状態から理想画像に近い画像を生成するための予測係数が学習装置６０で学習されているからである。
【０１７３】
また、予め最適に求められた予測係数を用いて画素値を求めるので、従来のモデルベース処理のように所定数繰り返し演算を行わずに、１フレームにつき１回の補正で、最適な高解像度画像を生成することができる。従って、短時間で高解像度画像を得ることができ、高速処理の実現が容易になる。
【０１７４】
従って、本技術が適用された予測装置４０および学習装置６０によれば、より高速かつ最適なアップコンバート画像を生成することができる。
【０１７５】
上述した実施の形態では、注目画素をクラス分類するための特徴量として、観測低解像度画像と推定低解像度画像の差分情報の他、空間特徴量として、波形パターンおよび周波数帯域が、時間特徴量として、動き量および処理回数が、それぞれ使用されていた。
【０１７６】
しかし、これらの空間特徴量及び時間特徴量は、必ずしも全てが必要なわけではなく、上述した特徴量のうちの１つのみを使用したり、所定の２つまたは３つの組合せを用いてもよい。即ち、上述した空間特徴量及び時間特徴量は、少なくとも１つを使用するものであればよい。また、これらの空間特徴量及び時間特徴量以外の異なる特徴量を採用してもよい。
【０１７７】
さらには、予測および学習のアルゴリズムとして、注目画素をクラス分類し、分類結果に応じて適応的に処理するクラス分類適応処理以外のアルゴリズム、例えば、ニューラルネットワークやサポートベクタマシン(ＳＶＭ)などを採用するようにしてもよい。
【０１７８】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１７９】
図２１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１８０】
コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
【０１８１】
バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。
【０１８２】
入力部２０６は、キーボード、マウス、マイクロホンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体２１１を駆動する。
【０１８３】
以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
【０１８４】
コンピュータでは、プログラムは、リムーバブル記録媒体２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
【０１８５】
なお、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる場合はもちろん、必ずしも時系列的に処理されなくとも、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで実行されてもよい。
【０１８６】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１８７】
なお、本技術は以下のような構成も取ることができる。
（１）
動き補償処理とダウンサンプル処理を行う観測モデルにより、高解像度画像から推定低解像度画像を生成するモデルベース処理部と、
実際に観測された低解像度画像である観測低解像度画像、または、前記高解像度画像から、空間特徴量または時間特徴量の少なくとも一方の特徴量を算出する特徴量算出部と、
前記観測低解像度画像、前記推定低解像度画像、及び、予め学習により得られたパラメータであって、算出された前記特徴量に対応するパラメータを用いて、前記高解像度画像を高画質化した画像を予測して生成する予測演算部と
を備える画像処理装置。
（２）
前記予測演算部は、前記観測低解像度画像と前記推定低解像度画像の差分情報、及び、算出された前記特徴量に基づいて、生成する前記画像の画素を所定のクラスにクラス分類したときのクラスに対応する前記パラメータを用いて、前記高解像度画像を高画質化した画像を予測して生成する
前記（１）に記載の画像処理装置。
（３）
前記予測演算部は、前記クラス分類したときのクラスに対応する前記パラメータとしての予測係数と、生成する前記画像の画素に対応して前記観測低解像度画像及び前記高解像度画像から取得される複数の画素の画素値との積和演算により、前記高解像度画像を高画質化した画像を予測して生成する
前記（２）に記載の画像処理装置。
（４）
前記予測演算部は、前記差分情報から得られるクラスコードと、算出された前記特徴量から得られるクラスコードを結合したクラスコードを、生成する前記画像の画素を前記クラス分類したときのクラスのクラスコードとし、そのクラスコードに対応する前記パラメータを用いて、前記高解像度画像を高画質化した画像を予測して生成する
前記（２）または（３）のいずれかに記載の画像処理装置。
（５）
前記特徴量算出部は、前記特徴量として、前記観測低解像度画像から、前記空間特徴量を算出する
前記（１）乃至（４）のいずれかに記載の画像処理装置。
（６）
前記空間特徴量は、前記観測低解像度画像の波形パターンである
前記（５）に記載の画像処理装置。
（７）
前記空間特徴量は、前記観測低解像度画像の周波数帯域である
前記（５）または（６）のいずれかに記載の画像処理装置。
（８）
前記特徴量算出部は、前記特徴量として、前記高解像度画像から、前記時間特徴量を算出する
前記（１）乃至（７）のいずれかに記載の画像処理装置。
（９）
前記時間特徴量は、前記動き補償処理で検出される前記高解像度画像の動き量である
前記（８）に記載の画像処理装置。
（１０）
前記時間特徴量は、前記高解像度画像を高画質化した画像を予測して生成する処理を行った処理回数である
前記（８）または（９）に記載の画像処理装置。
（１１）
前記観測モデルは、ボケを付加するボケ付加処理も行う
前記（１）乃至（１０）のいずれかに記載の画像処理装置。
（１２）
動き補償処理とダウンサンプル処理を行う観測モデルにより、高解像度画像から推定低解像度画像を生成し、
実際に観測された低解像度画像である観測低解像度画像、または、前記高解像度画像から、空間特徴量または時間特徴量の少なくとも一方の特徴量を算出し、
前記観測低解像度画像、前記推定低解像度画像、及び、予め学習により得られたパラメータであって、算出された前記特徴量に対応するパラメータを用いて、前記高解像度画像を高画質化した画像を予測して生成する
ステップを含む画像処理方法。
（１３）
コンピュータに、
動き補償処理とダウンサンプル処理を行う観測モデルにより、高解像度画像から推定低解像度画像を生成し、
実際に観測された低解像度画像である観測低解像度画像、または、前記高解像度画像から、空間特徴量または時間特徴量の少なくとも一方の特徴量を算出し、
前記観測低解像度画像、前記推定低解像度画像、及び、予め学習により得られたパラメータであって、算出された前記特徴量に対応するパラメータを用いて、前記高解像度画像を高画質化した画像を予測して生成する
処理を実行させるためのプログラム。
（１４）
前記（１３）に記載のプログラムが記録されている記録媒体。
【符号の説明】
【０１８８】
２０ 動き検出部， ２１ 動き補償部， ２２ ボケ付加部， ２３ ダウンサンプラ， ４０ 予測装置， ８０ モデルベース処理部， ９１ 学習データベース， ９２ 予測処理部， １０１ 空間特徴量算出部， １０２ 時間特徴量算出部， １０３ 差分情報クラス分類部， １５１ 予測部， １７１ 注目画素設定部， １７２ 予測係数取得部， １７３ 予測タップ抽出部， １７４ 予測演算部
【技術分野】
【０００１】
本技術は、画像処理装置、画像処理方法、プログラム、及び記録媒体に関し、特に、より高速かつ最適なアップコンバート画像を生成することができるようにする画像処理装置、画像処理方法、プログラム、及び記録媒体に関する。
【背景技術】
【０００２】
画像の高画質化処理の一つとして、ガウスザイデル法を用いた超解像処理によって高解像度画像を生成するものが提案されている（例えば、特許文献１参照）。この方法では、超解像処理器により求められたフィードバック値を、バッファに保持されている高解像度画像に加算する処理を所定回数繰り返すことにより、高解像度画像が生成される。
【０００３】
また、その他の高画質化処理の一つとして、複数枚の低解像度画像から高解像度画像を推定する再構成型超解像処理と呼ばれるものがある。再構成型超解像処理は、観測モデル（劣化モデル）を用いて高画質化処理を行うので、モデルベース処理とも呼ばれる。
【０００４】
図１を参照して、モデルベース処理について説明する。
【０００５】
モデルベース処理では、所定の観測モデルが予め構築される。図１の例では、カメラを想定したカメラモデルと、カメラの動き（位置合わせ）を補正するモデルが観測モデルとして構築されている。この観測モデルでは、例えば、ぼけ(光学ぼけ、動きぼけ、PSF)や画素数変換(ダウンコンバート、プログレッシブ-インターレース変換)やノイズがモデル化される。また、観測モデルでは、サブピクセル精度のカメラ動きや被写体動きを推定した位置合わせ処理がモデル化される。
【０００６】
そして、高解像度画像が観測モデルに入力されると、位置合わせ処理後、カメラモデルにより劣化された画像が、推定低解像度画像として出力される。モデルベース処理では、観測モデルが出力する推定低解像度画像と、実際にカメラで観測された低解像度画像（以下、観測低解像度画像という。）との誤差(差分)が小さくなるように、高解像度画像を補正し、観測モデルに補正後の高解像度画像を入力する処理が繰り返し行われる。そして、推定低解像度画像と観測低解像度画像の誤差が十分小さいと判定された場合、高画質の高解像度画像が得られたとして、出力される。
【０００７】
図１において、例えば、観測低解像度画像および推定低解像度画像は、ＳＤ（Standard Definition）ｉ（interlace）信号の画像であり、高解像度画像は、ＨＤ（High Definition）ｐ（（progressive）信号の画像である。
【０００８】
このようなモデルベース処理によれば、観測モデルが正確に分かっている場合には、エイリアシングのない高解像度画像を復元することが可能となる。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００８−１４００１２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、通常、正確な観測モデルを構築することは困難である。観測モデルが正確でない場合には、高解像度画像を適切に補正できないことになり、例えば、エッジやディテールの過強調、オーバーシュート、ノイズの強調などの弊害が発生し、さらには大きな画質破綻へと繋がる。
【００１１】
これらの弊害への対策として、画像の事前情報から画質破綻やノイズの強調を防止する技術が考えられている(再構成型超解像ＭＡＰ法とも称される)。しかし、これらの手法は画像の事前情報に性能が大きく依存し、エイリアシング除去性能の向上、解像度感の向上、オーバーシュートの抑制、ノイズの抑制について、全てを満たす制御を、画素毎（空間毎）または時間ごとに適切に行うのは困難である。
【００１２】
本技術は、このような状況に鑑みてなされたものであり、より高速かつ最適なアップコンバート画像を生成することができるようにするものである。
【課題を解決するための手段】
【００１３】
本技術の一側面の画像処理装置は、動き補償処理とダウンサンプル処理を行う観測モデルにより、高解像度画像から推定低解像度画像を生成するモデルベース処理部と、実際に観測された低解像度画像である観測低解像度画像、または、前記高解像度画像から、空間特徴量または時間特徴量の少なくとも一方の特徴量を算出する特徴量算出部と、前記観測低解像度画像、前記推定低解像度画像、及び、予め学習により得られたパラメータであって、算出された前記特徴量に対応するパラメータを用いて、前記高解像度画像を高画質化した画像を予測して生成する予測演算部とを備える。
【００１４】
本技術の一側面の画像処理方法は、動き補償処理とダウンサンプル処理を行う観測モデルにより、高解像度画像から推定低解像度画像を生成し、実際に観測された低解像度画像である観測低解像度画像、または、前記高解像度画像から、空間特徴量または時間特徴量の少なくとも一方の特徴量を算出し、前記観測低解像度画像、前記推定低解像度画像、及び、予め学習により得られたパラメータであって、算出された前記特徴量に対応するパラメータを用いて、前記高解像度画像を高画質化した画像を予測して生成するステップとを含む。
【００１５】
本技術の一側面のプログラムは、コンピュータに、動き補償処理とダウンサンプル処理を行う観測モデルにより、高解像度画像から推定低解像度画像を生成し、実際に観測された低解像度画像である観測低解像度画像、または、前記高解像度画像から、空間特徴量または時間特徴量の少なくとも一方の特徴量を算出し、前記観測低解像度画像、前記推定低解像度画像、及び、予め学習により得られたパラメータであって、算出された前記特徴量に対応するパラメータを用いて、前記高解像度画像を高画質化した画像を予測して生成する処理を実行させるためのものである。
【００１６】
本技術の一側面においては、動き補償処理とダウンサンプル処理を行う観測モデルにより、高解像度画像から推定低解像度画像が生成され、実際に観測された低解像度画像である観測低解像度画像、または、前記高解像度画像から、空間特徴量または時間特徴量の少なくとも一方の特徴量が算出され、前記観測低解像度画像、前記推定低解像度画像、及び、予め学習により得られたパラメータであって、算出された前記特徴量に対応するパラメータを用いて、前記高解像度画像を高画質化した画像が予測されて生成される。
【００１７】
なお、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【００１８】
画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【発明の効果】
【００１９】
本技術の一側面によれば、より高速かつ最適なアップコンバート画像を生成することができる。
【図面の簡単な説明】
【００２０】
【図１】従来のモデルベース処理について説明する図である。
【図２】従来のモデルベース処理の構成例を示すブロック図である。
【図３】従来のモデルベース処理の概念図である。
【図４】本技術が適用される画像処理装置としての予測装置の概念図である。
【図５】本技術が適用される学習装置の概念図である。
【図６】本技術が適用される学習装置の概略構成を説明する図である。
【図７】本技術が適用される予測装置の概略構成を説明する図である。
【図８】本技術が適用される学習装置の詳細な構成例を示すブロック図である。
【図９】空間特徴量算出部と時間特徴量算出部を説明する図である。
【図１０】空間特徴量算出部を説明する図である。
【図１１】係数学習部の詳細な構成例を示すブロック図である。
【図１２】学習装置による予測係数学習処理を説明するフローチャートである。
【図１３】モデルベース処理の詳細を説明するフローチャートである。
【図１４】サンプル蓄積処理の詳細を説明するフローチャートである。
【図１５】空間特徴量クラス分類処理の詳細を説明するフローチャートである。
【図１６】時間特徴量クラス分類処理の詳細を説明するフローチャートである。
【図１７】本技術が適用される予測装置の詳細な構成例を示すブロック図である。
【図１８】予測処理部の詳細な構成例を示すブロック図である。
【図１９】予測装置による高解像度画像生成処理を説明するフローチャートである。
【図２０】予測処理の詳細を説明するフローチャートである。
【図２１】本技術が適用されたコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００２１】
［従来のモデルベース処理部の構成例］
初めに、［背景技術］の欄で説明したモデルベース処理を行うモデルベース処理部の構成について説明する。
【００２２】
図２は、モデルベース処理を行うモデルベース処理部１０の構成例を示すブロック図である。
【００２３】
モデルベース処理部１０は、動き検出部２０、動き補償部２１、ボケ付加部２２、ダウンサンプラ２３、加算器２４、アップサンプラ２５、ボケ除去部２６、乗算器２７、および加算器２８により構成されている。
【００２４】
動き検出部２０は、加算器２８から供給される（フィードバックされる）高解像度画像を、１単位時間前、例えば、１フレーム前の高解像度画像と比較して、各画素の動き量（動きベクトル）を検出する。
【００２５】
動き補償部２１は、動き検出部２０で検出された動き量に基づく動き補償を行う。なお、動き補償部２１から出力された画像を、適宜、動き補償後の１フレーム前の高解像度画像と称することにする。動き補償後の１フレーム前の高解像度画像は、ボケ付加部２２と加算器２８に供給される。
【００２６】
ボケ付加部２２は、動き補償後の１フレーム前の高解像度画像に、カメラで撮影された場合に生じるようなボケを付加する。ここでは、ボケ付加部２２が、所定の画像に、カメラのPSFや光学ぼけなどを推定（模擬）した画像を生成する処理を、ボケを付加する処理と称している。ボケが付加された動き補償後の１フレーム前の高解像度画像は、ダウンサンプラ２３に供給される。
【００２７】
ダウンサンプラ２３は、ボケが付加された動き補償後の１フレーム前の高解像度画像の画素を間引くなどして解像度の低い画像を生成する。これにより、推定低解像度画像が生成される。
【００２８】
加算器２４は、推定低解像度画像の各画素と観測低解像度画像の各画素との差分値（誤差）を演算する。加算器２４の演算結果である差分情報は、アップサンプラ２５に供給される。
【００２９】
アップサンプラ２５は、加算器２４の演算結果である低解像度の差分情報を、高解像度画像の差分情報にアップサンプルする。即ち、アップサンプラ２５は、低解像度画像の各画素に対応する差分値から、高解像度の各画素に対応する差分値を生成し、ボケ除去部２６に供給する。
【００３０】
ボケ除去部２６は、アップサンプラ２５から供給される高解像度の差分情報に対し、ボケ付加部２２が行う処理と反対のボケ除去処理を行う。即ち、ボケ除去部２６は、ボケ付加部２２で付加されたボケを除去するような処理を、高解像度の差分情報に対して施す。
【００３１】
なお、観測モデルにおいて、ボケを考慮しない場合には、ボケ付加部２２とボケ除去部２６は省略することができる。
【００３２】
乗算器２７は、ボケ除去部２６から出力された高解像度の差分情報に所定のゲインを乗じ、加算器２８に出力する。
【００３３】
加算器２８は、動き補償後の１フレーム前の高解像度画像の各画素の画素値（輝度値）と、乗算器２７の差分情報（差分値）とを加算し、その加算結果を高解像度画像として出力する。また、加算器２８は、生成した高解像度画像を、動き検出部２０にも供給する（フィードバックする）。
【００３４】
上述したモデルベース処理部１０の処理ブロック図は、概念的には、図３に示すように表すことができる。
【００３５】
即ち、モデルベース処理部１０は、差分情報生成部３１と加算部３２とからなり、差分情報生成部３１が、１フレーム前の高解像度画像と、観測低解像度画像とから、高解像度画像を更新するための差分情報を生成する。そして、生成された差分情報を、加算部３２において１フレーム前の高解像度画像に加算することで、更新後の高解像度画像を生成する処理が、繰り返し実行される。
【００３６】
このような従来のモデルベース処理部１０においては、生成される差分情報が、生成される高解像度画像の各画素について一律の値として求められていた。従って、１枚の高解像度画像を画質破綻なく出力するために、ある程度の回数の繰り返し演算を行わなければ、高解像度画像の全ての画素について、推定低解像度画像と観測低解像度画像の誤差が十分小さくなるようなものが得られなかった。
【００３７】
［本技術の予測装置及び学習装置の概念図］
一方、図３の従来のモデルベース処理部１０を概念的に示したブロック図に対応するように、本技術が適用される画像処理装置としての予測装置を示すと図４のようになる。
【００３８】
本技術が適用される予測装置４０は、差分情報予測部５１と加算部５２とからなる。
【００３９】
差分情報生成部５１は、１フレーム前の高解像度画像と観測低解像度画像の時空間特徴量に対応する予測係数を用いて、更新する高解像度画像の画素ごとに最適な差分情報を生成する。そして、生成された画素毎に最適な差分情報が、加算部５２において、１フレーム前の高解像度画像に加算されて、更新後の高解像度画像が生成される。
【００４０】
差分情報生成部５１で使用される予測係数は、後述する図５の学習装置６０で予め学習される。図４の予測装置４０では、１枚の高解像度画像を出力するためには、繰り返し演算は不要であり、画素ごとに１回の加算で高解像度画像を得ることができる。なお、図４の高解像度画像のフィードバックは、１フレーム後の高解像度画像生成のためのものである。
【００４１】
図５は、図４の予測装置４０で使用される予測係数を学習する学習装置を概念的に示したブロック図である。
【００４２】
図５の学習装置６０は、差分情報学習部７１と加算部７２とからなる。
【００４３】
差分情報学習部７１は、教師画像としての理想高解像度画像と、生徒画像としての観測低解像度画像の対データ、及び、生成される高解像度画像を用いて、生成される高解像度画像と理想高解像度画像との誤差を最小とするような予測係数を学習する。予測係数の学習には、予測処理時と同様、高解像度画像と観測低解像度画像の時空間特徴量が使用される。
【００４４】
なお、実際には、学習装置６０は、以下に説明するように、差分情報を最適化するような予測係数を学習するのではなく、１フレーム前の高解像度画像と観測低解像度画像から、注目フレームの高解像度画像そのものを最適化する、即ち、高画質化した高解像度画像を予測するための予測係数を学習する。そして、予測装置４０は、学習装置６０により学習された予測係数を用いて、差分情報を生成するのではなく、出力される高解像度画像を、直接、生成する。
【００４５】
［学習装置の概略構成］
図６は、図１の従来のモデルベース処理に対応させた学習装置６０の概略構成を示している。
【００４６】
初めに、教師画像としての理想高解像度画像と、生徒画像としての観測低解像度画像が用意される。そして、モデルベース処理部の観測モデルにより、１フレーム前の高解像度画像から生成された推定低解像度画像が、教師画像と生徒画像とともに学習処理部８１に入力される。
【００４７】
学習処理部８１は、高解像度画像を生成する予測演算式に含まれる予測係数であって、教師画像である理想高解像度画像との誤差が最小となるような予測係数を算出する。（学習する）。この学習において、予測係数は、複数のクラスに分類したクラスごとに求めることができ、学習処理部８１は、生徒画像の空間特徴量と、１フレーム前の高解像度画像の時間特徴量とに基づいてクラス分類したときのクラスごとに予測係数を算出する。そして、学習処理部８１により算出されたクラスごとの予測係数が、学習データベース８２に記憶される。
【００４８】
［予測装置の概略構成］
図７は、図１の従来のモデルベース処理に対応させた予測装置４０の概略構成を示している。
【００４９】
予測装置４０の学習データベース９１には、図６の学習装置６０で学習されたクラスごとの予測係数が記憶されている。即ち、図７の学習データベース９１は図６の学習データベース８２と同一か、または、学習データベース８２内のデータが学習データベース９１に転送されている。
【００５０】
予測処理部９２は、学習装置６０の学習により得られた予測係数を用いた予測演算式を演算することにより、高解像度画像を生成する。より具体的には、予測処理部９２は、観測低解像度画像の空間特徴量と、１フレーム前の高解像度画像の時間特徴量とに基づいてクラス分類を行う。そして、予測処理部９２は、クラス分類したときの分類結果であるクラスに対応する予測係数を学習データベース９１から取得し、予測演算に使用する。
【００５１】
以下、学習装置６０と予測装置４０のさらに詳細な構成について、順に説明する。
【００５２】
［学習装置６０の詳細構成ブロック図］
図８は、学習装置６０の詳細な構成例を示すブロック図である。図８において、上述した部分と対応する部分については同一の符号を付してあり、その説明は適宜省略する。
【００５３】
学習装置６０は、モデルベース処理部８０、学習処理部８１、および学習データベース８２により構成されている。
【００５４】
モデルベース処理部８０は、基本的に、図２を参照して説明したモデルベース処理部１０と同様の構成を有し、動き補償処理とダウンサンプル処理を行う観測モデルにより、高解像度画像から推定低解像度画像を生成する。ただし、本技術を適用した学習装置６０は、従来のモデルベース処理と異なり、差分情報を一律に１フレーム前の高解像度画像に付与するものではないため、乗算器２７と加算器２８は省略されている。
【００５５】
学習処理部８１は、空間特徴量算出部１０１、時間特徴量算出部１０２、差分情報クラス分類部１０３、および係数学習部１０４により構成される。
【００５６】
空間特徴量算出部１０１と時間特徴量算出部１０２は、生成する高解像度画像に対して設定された注目画素の空間特徴量または時間特徴量を算出し、算出された特徴量に基づいて、注目画素を所定のクラスに分類するクラス分類部として機能する。また、差分情報クラス分類部１０３も、ボケ除去部２６から供給される差分情報に基づいて、注目画素を所定のクラスに分類するクラス分類部の一つである。
【００５７】
空間特徴量算出部１０１には、生徒画像としての観測低解像度画像が供給される。また、時間特徴量算出部１０２には、モデルベース処理部８０の動き検出部２０で検出された動き量が供給されるとともに、係数学習部１０４から、注目画素の処理回数（処理枚数）が供給される。
【００５８】
［空間特徴量算出部１０１と時間特徴量算出部１０２の説明］
図９及び図１０を参照して、空間特徴量算出部１０１と時間特徴量算出部１０２について説明する。
【００５９】
図９は、空間特徴量算出部１０１と時間特徴量算出部１０２の詳細構成例を示すブロック図である。
【００６０】
空間特徴量算出部１０１は、クラスタップ抽出部１１１、波形パターン分類部１１２、および帯域分類部１１３により構成される。
【００６１】
クラスタップ抽出部１１１は、注目画素に対応する生徒画像（観測低解像度画像）の画素の周辺に位置する複数の画素（周辺画素）を、空間特徴量に基づくクラスを設定するためのクラスタップに設定し、抽出する。抽出したクラスタップを示す情報は、波形パターン分類部１１２に供給される。
【００６２】
波形パターン分類部１１２は、クラスタップとして設定された周辺画素の波形パターンに基づいて、注目画素を所定の波形クラスに分類し、分類結果としての波形クラス（を示すクラスコード）を係数学習部１０４（図８）に出力する。
【００６３】
帯域分類部１１３は、注目画素の周辺画素の周波数帯域に基づいて、注目画素を所定の帯域クラスに分類し、分類結果としての帯域クラス（を示すクラスコード）を係数学習部１０４に出力する。
【００６４】
時間特徴量算出部１０２は、動き量分類部１２１と履歴カウンタ分類部１２２により構成される。
【００６５】
動き量分類部１２１は、動き検出部２０から供給される動き量に基づいて、注目画素を所定の動き量クラスに分類し、分類結果としての動き量クラス（を示すクラスコード）を係数学習部１０４（図８）に出力する。
【００６６】
より具体的には、動き量分類部１２１は、動き検出部２０から供給される動き量の画素以下の位相ごとに注目画素をクラス分類する。例えば、動き量の検出精度（検出分解能）が１／４位相（１／４画素）である場合、動き検出部２０から供給される動き量の小数点以下は、”00”，”25”，”50”，”75”の４つの値のいずれかとなるので、動き量分類部１２１は、この４つの値で注目画素をクラス分類する。より具体的には、動き検出部２０から供給される動き量が、0.00,1.00,2.00,・・等である場合にはクラス”０” とされ、0.25,1.25,2.25,・・等である場合にはクラス”１”とされ、0.50,1.50,2.50,・・等である場合にはクラス”２” とされ、0.75,1.75,2.75,・・等である場合にはクラス”３”とされる。動き量の検出精度（検出分解能）が１／N位相（１／N画素）である場合には、動き量クラスはNクラスに分類されることになる。
【００６７】
履歴カウンタ分類部１２２には、注目画素に設定されている画素の位置が、これまでに処理された処理回数（処理枚数）が、係数学習部１０４から供給される。履歴カウンタ分類部１２２は、その供給される処理回数（の値）を、注目画素を所定の履歴クラスに分類した履歴クラス（を示すクラスコード）として、係数学習部１０４に出力する。例えば、まだ処理されていない初回は初期値のクラス”０”とされ、注目画素がこれまでに２フレーム処理されている場合はクラス”２”、３フレーム処理されている場合はクラス”３”とされる。
【００６８】
図１０は、波形パターン分類部１１２と帯域分類部１１３のクラス分類処理の例を説明する図である。
【００６９】
図１０Aは、波形パターン分類部１１２が、波形パターンに基づいて注目画素を所定の波形クラスに分類する波形クラス分類処理として、１ビットADRC処理を行う例を示している。
【００７０】
KビットADRC処理（K≧１）では、周辺画素を構成する画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、周辺画素を構成する画素値がKビットに再量子化される。即ち、周辺画素を構成する各画素の画素値から、最小値MINが減算され、その減算値がDR/2Kで除算（量子化）される。そして、以上のようにして得られる、周辺画素を構成するKビットの各画素の画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。
【００７１】
１ビットADRC処理された場合には、その周辺画素を構成する各画素の画素値は、最大値MAXと最小値MINとの平均値で除算され（小数点以下切り捨て）、各画素の画素値が平均値以上であれば”１”、平均値未満であれば”０”とされる（２値化される）。そして、その１ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力される。
【００７２】
図１０Aに示される例では、クラスタップに設定された５画素が、所定の順に”０”，”０”，”１”，”１”，”１”と判定されたとすると、”00111”＝”７”が、波形クラスのクラスコードとして出力される。
【００７３】
図１０Bは、帯域分類部１１３が、注目画素周辺の９画素を用いて、所定の帯域クラスに分類する例を示している。
【００７４】
帯域分類部１１３は、注目画素周辺の９画素に対して、水平方向の差分絶対値（水平差分）、垂直方向の差分絶対値（垂直差分）、並びに、右上斜め方向および右下斜め方向の差分絶対値（斜め差分）を計算する。そして、帯域分類部１１３は、計算結果の各差分絶対値のなかの最大値を選択し、帯域クラスを示すクラスコードとして、係数学習部１０４に出力する。なお、注目画素を所定の帯域クラスに分類するために選択される注目画素周辺の画素は、図１０Bに示した９画素に限らず、適宜設定することができる。
【００７５】
図８に戻り、以上のように、係数学習部１０４には、注目画素を、波形クラス、帯域クラス、動き量クラス、および履歴クラスのそれぞれにクラス分類した結果であるクラスコードが供給される。
【００７６】
また、差分情報クラス分類部１０３からも、ボケ除去部２６から供給される差分情報（差分値）に基づいて、注目画素を所定の差分クラスに分類した結果である差分クラス（を示すクラスコード）が供給される。
【００７７】
さらに、係数学習部１０４には、モデルベース処理部８０の動き補償部２１から、動き補償後の１フレーム前の高解像度画像が供給される。また、生徒画像としての観測低解像度画像と、教師画像としての理想高解像度画像も供給される。
【００７８】
係数学習部１０４は、教師画像としての理想高解像度画像の各画素を、注目する注目画素に設定し、注目画素に対応する生徒画像の複数の画素を予測タップとして抽出し、その予測タップと予測係数を用いた所定の予測演算により高画質の高解像度画像を求めるための予測係数を算出する（学習する）。
【００７９】
いま、所定の予測演算として、例えば、線形１次予測演算を採用することとすると、時刻ｔ（ｔ番目のフレーム）の高画質の高解像度画像の画素値ｙtは、次の線形１次式によって求められることになる。
【００８０】
【数１】
【００８１】
但し、式（１）において、ｘiは、高解像度画像の注目画素ｙtについての予測タップを構成する、生徒画像のi番目の画素（以下、適宜、生徒画像画素という）の画素値を表し、ｗiは、i番目の生徒画像画素（の画素値）と乗算されるi番目の予測係数を表す。また、ｘjは、高解像度画像の注目画素ｙtについての予測タップを構成する、動き補償後の１フレーム前（ｔ−１番目のフレームの）の高解像度画像のｊ番目の画素（以下、適宜、前高解像度画像画素という）の画素値を表し、ｗjは、ｊ番目の前高解像度画像画素（の画素値）と乗算されるｊ番目の予測係数を表す。なお、式（１）では、予測タップが、生徒画像画素についてはＮ個の生徒画像画素ｘ1，ｘ2，・・・，ｘNで構成され、前高解像度画像画素についてはM個の生徒画像画素ｘ1，ｘ2，・・・，ｘMで構成されるものとしてある。Ｍ，Ｎを大きくすると、予測係数の個数は多くなるが、超解像効果の収束が早くなる、孤立点的な過強調や破綻が軽減する、などの性能向上が見込まれる。
【００８２】
高解像度画像の画素値ｙtは、式（１）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
【００８３】
式（１）は、Ｍ＋Ｎ個の線形１次式であるが、説明を簡単にするため、（Ｍ＋Ｎ）をＮと置き換えて（Ｍ＋Ｎ⇒Ｎ）、式（２）のように単純化するとともに、第ｋサンプルの教師画像画素の画素値の真値をｙkと表すとともに、式（２）によって得られるその真値ｙkの予測値をｙk’と表すと、その予測誤差ｅkは、次式（３）で表される。
【００８４】
【数２】
【００８５】
いま、式（３）の予測値ｙk’は、式（２）にしたがって求められるため、式（３）のｙk’を、式（２）にしたがって置き換えると、次式（４）が得られる。
【００８６】
【数３】
但し、式（４）において、ｘn,kは、第ｋサンプルの教師画像画素についての予測タップを構成するｎ番目の生徒画像画素を表す。
【００８７】
式（４）（または式（３））の予測誤差ｅkを０とする予測係数ｗnが、教師画像画素を予測するのに最適なものとなるが、すべての教師画像画素について、そのような予測係数ｗnを求めることは、一般には困難である。
【００８８】
そこで、予測係数ｗnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適な予測係数ｗnは、次式（５）で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【００８９】
【数４】
但し、式（５）において、Ｋは、教師画像画素ｙkと、その教師画像画素ｙkについての予測タップを構成する生徒画像画素ｘ1,k，ｘ2,k，・・・，ｘN,kとのセットのサンプル数（学習用のサンプルの数）を表す。
【００９０】
式（５）の自乗誤差の総和Ｅの最小値（極小値）は、式（６）に示すように、総和Ｅを予測係数ｗnで偏微分したものを０とするｗnによって与えられる。
【数５】
【００９１】
そこで、上述の式（４）を予測係数ｗnで偏微分すると、次式（７）が得られる。
【数６】
【００９２】
式（６）と式（７）から、次式（８）が得られる。
【数７】
【００９３】
式（８）のｅkに、式（４）を代入することにより、式（８）は、式（９）に示す正規方程式で表すことができる。
【数８】
【００９４】
式（９）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、予測係数ｗnについて解くことができる。式（１）の場合も同様に、予測係数ｗiと予測係数ｗjを求めることができる。さらに、式（９）の正規方程式をクラスごとにたてて解くことにより、最適な予測係数（ここでは、自乗誤差の総和Ｅを最小にする予測係数）ｗiと予測係数ｗjを、クラスごとに求めることもできる。
【００９５】
［係数学習部１０４の詳細構成例］
図１１は、図８における係数学習部１０４の詳細な構成例を示すブロック図である。
【００９６】
係数学習部１０４は、注目画素設定部１３１、教師画像記憶部１３２、生徒画像記憶部１３３、予測タップ抽出部１３４、足し込み部１３５、および予測係数算出部１３６により構成される。
【００９７】
注目画素設定部１３１は、教師画像を構成する各画素を、順次、注目画素に設定する。どこを注目画素に設定したかを示す情報は、係数学習部１０４内の各部に供給される。
【００９８】
教師画像記憶部１３２は、入力される教師画像としての理想高解像度画像を記憶する。生徒画像記憶部１３３は、入力される生徒画像としての観測低解像度画像を記憶する。
【００９９】
予測タップ抽出部１３４は、生徒画像記憶部１３３に記憶された生徒画像を構成する画素のなかから、注目画素に対応する画素周辺の周辺画素を予測タップとして抽出し、足し込み部１３５に供給する。
【０１００】
足し込み部１３５は、教師画像記憶部１３２から注目画素の画素値を読み出し、その注目画素の画素値と、注目画素について構成された予測タップを構成する生徒画像の画素の画素値とを対象とした足し込みを、供給される各クラスコードで特定されるクラスコードごとに行う。クラスコードは、例えば、波形クラス、帯域クラス、動き量クラス、履歴クラス、および差分クラスそれぞれのクラスコードを所定の順番で並べたビット列が、最終的なクラスコードとされる。
【０１０１】
即ち、足し込み部１３５は、供給される各クラスコードに基づいて決定された最終的なクラスコードに対応するクラスごとに、予測タップ（生徒画像）ｘn,kを用い、式（９）の左辺の行列における生徒画像どうしの乗算（ｘn,kｘn',k）と、サメーション（Σ）に相当する演算を行う。
【０１０２】
さらに、足し込み部１３５は、やはり、最終的なクラスコードに対応するクラスごとに、予測タップ（生徒画像）ｘn,kと教師画像ｙkを用い、式（９）の右辺のベクトルにおける生徒画像ｘn,kおよび教師画像ｙkの乗算（ｘn,kｙk）と、サメーション（Σ）に相当する演算を行う。
【０１０３】
即ち、足し込み部１３５は、前回、注目画素とされた教師データについて求められた式（９）における左辺の行列のコンポーネント（Σｘn,kｘn',k）と、右辺のベクトルのコンポーネント（Σｘn,kｙk）を、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネント（Σｘn,kｘn',k）またはベクトルのコンポーネント（Σｘn,kｙk）に対して、新たに注目画素とされた教師画像について、その教師画像ｙk+1および生徒画像ｘn,k+1を用いて計算される、対応するコンポーネントｘn,k+1ｘn',k+1またはｘn,k+1ｙk+1を足し込む（式（９）のサメーションで表される加算を行う）。
【０１０４】
そして、足し込み部１３５は、教師画像記憶部１３２に記憶された教師画像すべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、式（９）に示した正規方程式をたてると、その正規方程式を、予測係数算出部１３６に供給する。
【０１０５】
予測係数算出部１３６は、足し込み部１３５から供給される各クラスについての正規方程式を解くことにより、各クラスについて、式（２）の最適パラメータとしての予測係数ｗn（式（１）の予測係数ｗiとｗj）を求める。得られた各クラスについての予測係数ｗiとｗjは、学習データベース８２（図８）に記憶される。
【０１０６】
［予測係数学習処理のフローチャート］
次に、図１２のフローチャートを参照して、図８の学習装置６０による予測係数学習処理について説明する。なお、この処理の開始前に、教師画像としての理想高解像度画像と、生徒画像としての観測低解像度画像が、教師画像記憶部１３２と生徒画像記憶部１３３に記憶されているものとする。
【０１０７】
初めに、ステップＳ２１において、係数学習部１０４は、高解像度画像の初期値を設定する。式（１）から明らかなように、予測演算式には１つ前のフレームの高解像度画像が必要となるが、処理の開始当初は存在しないため、例えば、生徒画像の低解像度画像をアップコンバートするなどして、初期値としての高解像度画像が生成される。
【０１０８】
ステップＳ２２において、注目画素設定部１３１は、教師画像である高解像度画像の所定の画素を注目画素に設定する。
【０１０９】
ステップＳ２３において、モデルベース処理部８０は、図１３を参照して後述するモデルベース処理を実行する。
【０１１０】
図１３のフローチャートを参照して、図１２のステップＳ２３として行われるモデルベース処理の詳細について説明する。
【０１１１】
ステップＳ４１において、動き検出部２０は、係数学習部１０４から供給される（フィードバックされる）１フレーム前の高解像度画像を、注目フレームと比較して、注目画素の動き量（動きベクトル）を検出する。そして、動き検出部２０は、検出結果の動き量を、学習処理部８１の時間特徴量算出部１０２に供給する。なお、１フレーム前の高解像度画像が存在しない１回目の処理では、検出結果として予め設定した値（例えば、NULL）が出力される。
【０１１２】
ステップＳ４２において、動き補償部２１は、動き検出部２０で検出された動き量に基づき、高解像度画像の動き補償を行う。
【０１１３】
ステップＳ４３において、ボケ付加部２２は、動き補償後の１フレーム前の高解像度画像にカメラで撮影された場合に生じるようなボケを付加する。なお、ここでは、所定の画像に基づいて、カメラのPSFや光学ぼけなどを推定（模擬）した画像を生成することを、ボケを付加すると称している。
【０１１４】
ステップＳ４４において、ダウンサンプラ２３は、ボケが付加された動き補償後の１フレーム前の高解像度画像の画素を間引く（ダウンサンプルする）などして解像度の低い画像を生成する。これにより、推定低解像度画像が生成される。
【０１１５】
ステップＳ４５において、加算器２４は、推定低解像度画像と、生徒画像である観測低解像度画像の対応する画素どうしの差分値を演算する。加算器２４の演算結果である差分情報は、アップサンプラ２５に供給される。
【０１１６】
ステップＳ４６において、アップサンプラ２５は、加算器２４の演算結果である低解像度の差分情報を、高解像度画像の差分情報にアップサンプルする。即ち、アップサンプラ２５は、低解像度画像の各画素に対応する差分値から、高解像度の補間した画素に対応する差分値を生成し、ボケ除去部２６に供給する。
【０１１７】
ステップＳ４７において、ボケ除去部２６は、アップサンプラ２５から供給される高解像度の差分情報に対し、ボケ付加部２２が行う処理と反対のボケ除去処理を行う。即ち、ボケ除去部２６は、ボケ付加部２２で付加されたボケを除去するような処理を、高解像度の差分情報に対して施す。
【０１１８】
以上でモデルベース処理が終了し、処理が図１２に戻り、ステップＳ２４に進む。
【０１１９】
ステップＳ２４において、学習処理部８１は、図１４を参照して後述するサンプル蓄積処理を実行する。
【０１２０】
図１４のフローチャートを参照して、図１２のステップＳ２４として行われるサンプル蓄積処理の詳細について説明する。
【０１２１】
初めに、ステップＳ６１において、差分情報クラス分類部１０３は、ボケ除去部２６から供給される差分情報（差分値）に基づいて、注目画素を所定の差分クラスに分類する。分類結果である差分クラスを示すクラスコードは、係数学習部１０４に供給される。
【０１２２】
ステップＳ６２において、空間特徴量算出部１０１は、注目画素に対して所定のクラスタップを設定し、クラスタップとして抽出された周辺画素を用いた空間特徴量に基づいて、クラス分類を行う空間特徴量クラス分類処理を実行する。
【０１２３】
ステップＳ６３において、時間特徴量算出部１０２は、注目画素の時間特徴量に基づいて、クラス分類を行う時間特徴量クラス分類処理を実行する。
【０１２４】
ここで、図１５および図１６を参照して、ステップＳ６２の空間特徴量クラス分類処理と、ステップＳ６３の時間特徴量クラス分類処理について説明する。
【０１２５】
図１５は、ステップＳ６２の空間特徴量クラス分類処理の詳細なフローチャートを示している。
【０１２６】
初めに、ステップＳ８１において、クラスタップ抽出部１１１は、注目画素に対して、空間特徴量に基づくクラスを設定するためのクラスタップを設定し、抽出する。
【０１２７】
ステップＳ８２において、波形パターン分類部１１２は、クラスタップとして抽出された周辺画素の波形パターンに基づいて、注目画素を所定の波形クラスに分類し、分類結果としての波形クラスを示すクラスコードを係数学習部１０４に出力する。
【０１２８】
ステップＳ８３において、帯域分類部１１３は、注目画素の周辺画素の周波数帯域に基づいて、注目画素を所定の帯域クラスに分類し、分類結果としての帯域クラスを示すクラスコードを係数学習部１０４に出力する。
【０１２９】
以上により、図１４のステップＳ６２の空間特徴量クラス分類処理が終了する。
【０１３０】
図１６は、ステップＳ６３の時間特徴量クラス分類処理の詳細なフローチャートを示している。
【０１３１】
初めに、ステップＳ９１において、動き量分類部１２１は、動き検出部２０から供給される動き量に基づいて、注目画素を所定の動き量クラスに分類し、分類結果としての動き量クラスを示すクラスコードを係数学習部１０４に出力する。
【０１３２】
ステップＳ９２において、履歴カウンタ分類部１２２は、係数学習部１０４から供給された処理回数に基づいて、注目画素を所定の履歴クラスに分類し、分類結果としての履歴クラスを示すクラスコードを係数学習部１０４に出力する。
【０１３３】
以上により、図１４のステップＳ６３の時間特徴量クラス分類処理が終了する。
【０１３４】
図１４に戻り、ステップＳ６４において、足し込み部１３５は、注目画素の画素値と、その注目画素について抽出された予測タップを構成する生徒画像の画素の画素値とを対象とした式（９）に相当する足し込みを、ステップＳ６１乃至Ｓ６３の各クラスコードで特定されるクラスコード（クラス）ごとに行う。
【０１３５】
以上で、図１４のサンプル蓄積処理が終了して図１２に戻り、処理がステップＳ２４からステップＳ２５に進む。
【０１３６】
図１２のステップＳ２５において、係数学習部１０４の注目画素設定部１３１は、まだ注目画素に設定していない画素があるかを判定する。
【０１３７】
ステップＳ２５で、まだ注目画素に設定していない画素があると判定された場合、処理はステップＳ２２に戻り、それ以降の処理が繰り返し実行される。
【０１３８】
一方、ステップＳ２５で、全ての画素を注目画素に設定したと判定された場合、処理はステップＳ２６に進む。
【０１３９】
ステップＳ２６において、係数学習部１０４の予測係数算出部１３６は、足し込み部１３５から供給されるクラスごとの式（９）に相当する正規方程式を解くことにより、クラスごとに予測係数ｗiとｗjを算出する。
【０１４０】
ステップＳ２７において、予測係数算出部１３６は、ステップＳ２６の処理で算出された予測係数ｗiとｗjを、クラスごとに学習データベース８２に記憶させる。
【０１４１】
以上により、予測係数学習処理が終了する。
【０１４２】
［予測装置４０の詳細構成ブロック図］
図１７は、予測装置４０の詳細な構成例を示すブロック図である。図１７において、上述した部分と対応する部分については同一の符号を付してあり、その説明は適宜省略する。
【０１４３】
予測装置４０は、モデルベース処理部８０、学習データベース９１、及び予測処理部９２により構成されている。
【０１４４】
学習データベース９１には、学習装置６０で学習され、学習データベース８２に記憶されたクラスごとの予測係数ｗiとｗjが、コピーされて記憶されている。
【０１４５】
予測処理部９２は、空間特徴量算出部１０１、時間特徴量算出部１０２、差分情報クラス分類部１０３、および予測部１５１により構成される。
【０１４６】
予測処理部９２には、外部から入力された観測低解像度画像が供給される。また、モデルベース処理部８０からは、学習装置６０と同様、動き検出部２０で検出された動き量、動き補償後の１フレーム前の高解像度画像、及び、差分情報が供給される。
【０１４７】
予測部１５１は、生成する高解像度画像の各画素を、注目する注目画素に設定し、注目画素に対応する観測低解像度画像の複数の画素を予測タップとして抽出し、その予測タップと予測係数の積和演算である式（１）の予測演算を行う。これにより、予測部１５１は、予測演算により予測生成した高解像度画像を出力する。
【０１４８】
［予測部１５１の詳細構成例］
図１８は、予測部１５１の詳細な構成例を示すブロック図である。
【０１４９】
予測部１５１は、注目画素設定部１７１、予測係数取得部１７２、予測タップ抽出部１７３、および予測演算部１７４により構成される。
【０１５０】
注目画素設定部１７１は、生成する高解像度画像を構成する各画素を、順次、注目画素に設定する。どこを注目画素に設定したかを示す情報は、予測処理部９２内の各部に供給される。
【０１５１】
予測係数取得部１７２には、空間特徴量算出部１０１、時間特徴量算出部１０２、及び差分情報クラス分類部１０３のそれぞれから、注目画素を所定のクラスに分類した結果であるクラスコードが供給される。
【０１５２】
予測係数取得部１７２は、波形クラス、帯域クラス、動き量クラス、履歴クラス、および差分クラスそれぞれのクラスコードを所定の順番で並べたビット列を、最終的なクラスコードに決定する。そして、予測係数取得部１７２は、注目画素の最終的なクラスコードに対応する予測係数ｗiとｗjを、学習データベース９１から取得し、予測演算部１７４に供給する。
【０１５３】
予測タップ抽出部１７３は、供給された観測低解像度画像を構成する画素のなかから、注目画素に対応する画素周辺の周辺画素を予測タップとして抽出し、予測演算部１７４に供給する。
【０１５４】
予測演算部１７４は、学習時と同一の予測演算、即ち、式（１）の予測演算を行うことにより、注目画素の画素値を予測生成する。
【０１５５】
［高解像度画像生成処理のフローチャート］
次に、図１９のフローチャートを参照して、図１７の予測装置４０による高解像度画像生成処理ついて説明する。なお、この処理が開始される前に、学習装置６０で学習されたクラスごとの予測係数ｗiとｗjが、学習データベース９１に記憶されているものとする。この処理は、例えば、観測低解像度画像が入力されたとき開始される。
【０１５６】
ステップＳ１０１乃至Ｓ１０３の処理は、学習装置６０による図１２のステップＳ２１乃至Ｓ２３と同様である。
【０１５７】
即ち、ステップＳ１０１において、予測部１５１は、高解像度画像の初期値を設定する。
【０１５８】
ステップＳ１０２において、注目画素設定部１７１は、生成する高解像度画像の所定の画素を注目画素に設定する。
【０１５９】
ステップＳ１０３において、モデルベース処理部８０は、図１３を参照して説明したモデルベース処理を実行する。
【０１６０】
そして、ステップＳ１０４において、予測部１５１は、図２０を参照して後述する予測処理を実行する。
【０１６１】
図２０のフローチャートを参照して、図１９のステップＳ１０４として行われる予測処理の詳細について説明する。
【０１６２】
ステップＳ１２１乃至Ｓ１２３は、上述した図１４のステップＳ６１乃至Ｓ６３と同様であるので、その説明は省略する。
【０１６３】
ステップＳ１２４において、予測係数取得部１７２は、空間特徴量算出部１０１、時間特徴量算出部１０２、及び差分情報クラス分類部１０３のそれぞれから供給されたクラスコードから最終的なクラスコードを決定する。そして、予測係数取得部１７２は、注目画素の最終的なクラスコードに対応する予測係数ｗiとｗjを、学習データベース９１から取得し、予測演算部１７４に供給する。
【０１６４】
ステップＳ１２５において、予測タップ抽出部１７３は、注目画素に対応する観測低解像度画像の複数の画素を、予測タップとして抽出する。
【０１６５】
ステップＳ１２６において、予測演算部１７４は、予測タップ抽出部１７３により抽出された予測タップと、注目画素の最終的なクラスコードに対応して学習データベース９１から取得された予測係数ｗiとｗjを用いて、式（１）の予測演算を行う。これにより、注目画素の画素値が得られる。
【０１６６】
以上により予測処理が終了し、図１９に戻り、処理がステップＳ１０４からステップＳ１０５に進む。
【０１６７】
図１９のステップＳ１０５において、予測部１５１は、まだ注目画素に設定していない画素があるかを判定する。
【０１６８】
ステップＳ１０５で、まだ注目画素に設定していない画素があると判定された場合、処理はステップＳ１０２に戻り、それ以降の処理が繰り返し実行される。
【０１６９】
一方、ステップＳ１０５で、全ての画素を注目画素に設定したと判定された場合、処理はステップＳ１０６に進み、予測部１５１の予測演算部１７４は、生成した高解像度画像を出力して、処理を終了する。予測装置４０から出力された高解像度画像は、例えば、LCDディスプレイ等の表示装置に入力され、表示される。
【０１７０】
以上により、高解像度画像生成処理が終了する。
【０１７１】
上述した予測装置４０の高解像度画像生成処理では、注目画素に対して空間特徴量および時間特徴量を算出し、それらの特徴量に基づいて注目画素をクラス分類し、分類されたクラスに対応する、予め学習された予測係数を用いて予測演算を行うことにより、高解像度画像が生成される。
【０１７２】
従来のモデルベース処理部１０のように、生成される差分情報に対して一様に補正をかけるのではなく、各画素の特徴量に基づいて最適な補正をかけることができるので、最適な高解像度画像を生成することができる。具体的には、エイリアシング除去性能および解像度感を向上させた高解像度画像が生成可能である。また、例えば、カメラモデルや位置合わせに推定誤差が生じたとしても、例えば、エッジやディテールの過強調や孤立点的な破綻を防止することができる。カメラモデルや位置合わせに推定誤差が生じたとしても、その推定誤差を含んだ状態から理想画像に近い画像を生成するための予測係数が学習装置６０で学習されているからである。
【０１７３】
また、予め最適に求められた予測係数を用いて画素値を求めるので、従来のモデルベース処理のように所定数繰り返し演算を行わずに、１フレームにつき１回の補正で、最適な高解像度画像を生成することができる。従って、短時間で高解像度画像を得ることができ、高速処理の実現が容易になる。
【０１７４】
従って、本技術が適用された予測装置４０および学習装置６０によれば、より高速かつ最適なアップコンバート画像を生成することができる。
【０１７５】
上述した実施の形態では、注目画素をクラス分類するための特徴量として、観測低解像度画像と推定低解像度画像の差分情報の他、空間特徴量として、波形パターンおよび周波数帯域が、時間特徴量として、動き量および処理回数が、それぞれ使用されていた。
【０１７６】
しかし、これらの空間特徴量及び時間特徴量は、必ずしも全てが必要なわけではなく、上述した特徴量のうちの１つのみを使用したり、所定の２つまたは３つの組合せを用いてもよい。即ち、上述した空間特徴量及び時間特徴量は、少なくとも１つを使用するものであればよい。また、これらの空間特徴量及び時間特徴量以外の異なる特徴量を採用してもよい。
【０１７７】
さらには、予測および学習のアルゴリズムとして、注目画素をクラス分類し、分類結果に応じて適応的に処理するクラス分類適応処理以外のアルゴリズム、例えば、ニューラルネットワークやサポートベクタマシン(ＳＶＭ)などを採用するようにしてもよい。
【０１７８】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１７９】
図２１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１８０】
コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
【０１８１】
バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。
【０１８２】
入力部２０６は、キーボード、マウス、マイクロホンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体２１１を駆動する。
【０１８３】
以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
【０１８４】
コンピュータでは、プログラムは、リムーバブル記録媒体２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
【０１８５】
なお、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる場合はもちろん、必ずしも時系列的に処理されなくとも、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで実行されてもよい。
【０１８６】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１８７】
なお、本技術は以下のような構成も取ることができる。
（１）
動き補償処理とダウンサンプル処理を行う観測モデルにより、高解像度画像から推定低解像度画像を生成するモデルベース処理部と、
実際に観測された低解像度画像である観測低解像度画像、または、前記高解像度画像から、空間特徴量または時間特徴量の少なくとも一方の特徴量を算出する特徴量算出部と、
前記観測低解像度画像、前記推定低解像度画像、及び、予め学習により得られたパラメータであって、算出された前記特徴量に対応するパラメータを用いて、前記高解像度画像を高画質化した画像を予測して生成する予測演算部と
を備える画像処理装置。
（２）
前記予測演算部は、前記観測低解像度画像と前記推定低解像度画像の差分情報、及び、算出された前記特徴量に基づいて、生成する前記画像の画素を所定のクラスにクラス分類したときのクラスに対応する前記パラメータを用いて、前記高解像度画像を高画質化した画像を予測して生成する
前記（１）に記載の画像処理装置。
（３）
前記予測演算部は、前記クラス分類したときのクラスに対応する前記パラメータとしての予測係数と、生成する前記画像の画素に対応して前記観測低解像度画像及び前記高解像度画像から取得される複数の画素の画素値との積和演算により、前記高解像度画像を高画質化した画像を予測して生成する
前記（２）に記載の画像処理装置。
（４）
前記予測演算部は、前記差分情報から得られるクラスコードと、算出された前記特徴量から得られるクラスコードを結合したクラスコードを、生成する前記画像の画素を前記クラス分類したときのクラスのクラスコードとし、そのクラスコードに対応する前記パラメータを用いて、前記高解像度画像を高画質化した画像を予測して生成する
前記（２）または（３）のいずれかに記載の画像処理装置。
（５）
前記特徴量算出部は、前記特徴量として、前記観測低解像度画像から、前記空間特徴量を算出する
前記（１）乃至（４）のいずれかに記載の画像処理装置。
（６）
前記空間特徴量は、前記観測低解像度画像の波形パターンである
前記（５）に記載の画像処理装置。
（７）
前記空間特徴量は、前記観測低解像度画像の周波数帯域である
前記（５）または（６）のいずれかに記載の画像処理装置。
（８）
前記特徴量算出部は、前記特徴量として、前記高解像度画像から、前記時間特徴量を算出する
前記（１）乃至（７）のいずれかに記載の画像処理装置。
（９）
前記時間特徴量は、前記動き補償処理で検出される前記高解像度画像の動き量である
前記（８）に記載の画像処理装置。
（１０）
前記時間特徴量は、前記高解像度画像を高画質化した画像を予測して生成する処理を行った処理回数である
前記（８）または（９）に記載の画像処理装置。
（１１）
前記観測モデルは、ボケを付加するボケ付加処理も行う
前記（１）乃至（１０）のいずれかに記載の画像処理装置。
（１２）
動き補償処理とダウンサンプル処理を行う観測モデルにより、高解像度画像から推定低解像度画像を生成し、
実際に観測された低解像度画像である観測低解像度画像、または、前記高解像度画像から、空間特徴量または時間特徴量の少なくとも一方の特徴量を算出し、
前記観測低解像度画像、前記推定低解像度画像、及び、予め学習により得られたパラメータであって、算出された前記特徴量に対応するパラメータを用いて、前記高解像度画像を高画質化した画像を予測して生成する
ステップを含む画像処理方法。
（１３）
コンピュータに、
動き補償処理とダウンサンプル処理を行う観測モデルにより、高解像度画像から推定低解像度画像を生成し、
実際に観測された低解像度画像である観測低解像度画像、または、前記高解像度画像から、空間特徴量または時間特徴量の少なくとも一方の特徴量を算出し、
前記観測低解像度画像、前記推定低解像度画像、及び、予め学習により得られたパラメータであって、算出された前記特徴量に対応するパラメータを用いて、前記高解像度画像を高画質化した画像を予測して生成する
処理を実行させるためのプログラム。
（１４）
前記（１３）に記載のプログラムが記録されている記録媒体。
【符号の説明】
【０１８８】
２０ 動き検出部， ２１ 動き補償部， ２２ ボケ付加部， ２３ ダウンサンプラ， ４０ 予測装置， ８０ モデルベース処理部， ９１ 学習データベース， ９２ 予測処理部， １０１ 空間特徴量算出部， １０２ 時間特徴量算出部， １０３ 差分情報クラス分類部， １５１ 予測部， １７１ 注目画素設定部， １７２ 予測係数取得部， １７３ 予測タップ抽出部， １７４ 予測演算部
【特許請求の範囲】
【請求項１】
動き補償処理とダウンサンプル処理を行う観測モデルにより、高解像度画像から推定低解像度画像を生成するモデルベース処理部と、
実際に観測された低解像度画像である観測低解像度画像、または、前記高解像度画像から、空間特徴量または時間特徴量の少なくとも一方の特徴量を算出する特徴量算出部と、
前記観測低解像度画像、前記推定低解像度画像、及び、予め学習により得られたパラメータであって、算出された前記特徴量に対応するパラメータを用いて、前記高解像度画像を高画質化した画像を予測して生成する予測演算部と
を備える画像処理装置。
【請求項２】
前記予測演算部は、前記観測低解像度画像と前記推定低解像度画像の差分情報、及び、算出された前記特徴量に基づいて、生成する前記画像の画素を所定のクラスにクラス分類したときのクラスに対応する前記パラメータを用いて、前記高解像度画像を高画質化した画像を予測して生成する
請求項１に記載の画像処理装置。
【請求項３】
前記予測演算部は、前記クラス分類したときのクラスに対応する前記パラメータとしての予測係数と、生成する前記画像の画素に対応して前記観測低解像度画像及び前記高解像度画像から取得される複数の画素の画素値との積和演算により、前記高解像度画像を高画質化した画像を予測して生成する
請求項２に記載の画像処理装置。
【請求項４】
前記予測演算部は、前記差分情報から得られるクラスコードと、算出された前記特徴量から得られるクラスコードを結合したクラスコードを、生成する前記画像の画素を前記クラス分類したときのクラスのクラスコードとし、そのクラスコードに対応する前記パラメータを用いて、前記高解像度画像を高画質化した画像を予測して生成する
請求項２に記載の画像処理装置。
【請求項５】
前記特徴量算出部は、前記特徴量として、前記観測低解像度画像から、前記空間特徴量を算出する
請求項１に記載の画像処理装置。
【請求項６】
前記空間特徴量は、前記観測低解像度画像の波形パターンである
請求項５に記載の画像処理装置。
【請求項７】
前記空間特徴量は、前記観測低解像度画像の周波数帯域である
請求項５に記載の画像処理装置。
【請求項８】
前記特徴量算出部は、前記特徴量として、前記高解像度画像から、前記時間特徴量を算出する
請求項１に記載の画像処理装置。
【請求項９】
前記時間特徴量は、前記動き補償処理で検出される前記高解像度画像の動き量である
請求項８に記載の画像処理装置。
【請求項１０】
前記時間特徴量は、前記高解像度画像を高画質化した画像を予測して生成する処理を行った処理回数である
請求項８に記載の画像処理装置。
【請求項１１】
前記観測モデルは、ボケを付加するボケ付加処理も行う
請求項１に記載の画像処理装置。
【請求項１２】
動き補償処理とダウンサンプル処理を行う観測モデルにより、高解像度画像から推定低解像度画像を生成し、
実際に観測された低解像度画像である観測低解像度画像、または、前記高解像度画像から、空間特徴量または時間特徴量の少なくとも一方の特徴量を算出し、
前記観測低解像度画像、前記推定低解像度画像、及び、予め学習により得られたパラメータであって、算出された前記特徴量に対応するパラメータを用いて、前記高解像度画像を高画質化した画像を予測して生成する
ステップを含む画像処理方法。
【請求項１３】
コンピュータに、
動き補償処理とダウンサンプル処理を行う観測モデルにより、高解像度画像から推定低解像度画像を生成し、
実際に観測された低解像度画像である観測低解像度画像、または、前記高解像度画像から、空間特徴量または時間特徴量の少なくとも一方の特徴量を算出し、
前記観測低解像度画像、前記推定低解像度画像、及び、予め学習により得られたパラメータであって、算出された前記特徴量に対応するパラメータを用いて、前記高解像度画像を高画質化した画像を予測して生成する
処理を実行させるためのプログラム。
【請求項１４】
請求項１３に記載のプログラムが記録されている記録媒体。
【請求項１】
動き補償処理とダウンサンプル処理を行う観測モデルにより、高解像度画像から推定低解像度画像を生成するモデルベース処理部と、
実際に観測された低解像度画像である観測低解像度画像、または、前記高解像度画像から、空間特徴量または時間特徴量の少なくとも一方の特徴量を算出する特徴量算出部と、
前記観測低解像度画像、前記推定低解像度画像、及び、予め学習により得られたパラメータであって、算出された前記特徴量に対応するパラメータを用いて、前記高解像度画像を高画質化した画像を予測して生成する予測演算部と
を備える画像処理装置。
【請求項２】
前記予測演算部は、前記観測低解像度画像と前記推定低解像度画像の差分情報、及び、算出された前記特徴量に基づいて、生成する前記画像の画素を所定のクラスにクラス分類したときのクラスに対応する前記パラメータを用いて、前記高解像度画像を高画質化した画像を予測して生成する
請求項１に記載の画像処理装置。
【請求項３】
前記予測演算部は、前記クラス分類したときのクラスに対応する前記パラメータとしての予測係数と、生成する前記画像の画素に対応して前記観測低解像度画像及び前記高解像度画像から取得される複数の画素の画素値との積和演算により、前記高解像度画像を高画質化した画像を予測して生成する
請求項２に記載の画像処理装置。
【請求項４】
前記予測演算部は、前記差分情報から得られるクラスコードと、算出された前記特徴量から得られるクラスコードを結合したクラスコードを、生成する前記画像の画素を前記クラス分類したときのクラスのクラスコードとし、そのクラスコードに対応する前記パラメータを用いて、前記高解像度画像を高画質化した画像を予測して生成する
請求項２に記載の画像処理装置。
【請求項５】
前記特徴量算出部は、前記特徴量として、前記観測低解像度画像から、前記空間特徴量を算出する
請求項１に記載の画像処理装置。
【請求項６】
前記空間特徴量は、前記観測低解像度画像の波形パターンである
請求項５に記載の画像処理装置。
【請求項７】
前記空間特徴量は、前記観測低解像度画像の周波数帯域である
請求項５に記載の画像処理装置。
【請求項８】
前記特徴量算出部は、前記特徴量として、前記高解像度画像から、前記時間特徴量を算出する
請求項１に記載の画像処理装置。
【請求項９】
前記時間特徴量は、前記動き補償処理で検出される前記高解像度画像の動き量である
請求項８に記載の画像処理装置。
【請求項１０】
前記時間特徴量は、前記高解像度画像を高画質化した画像を予測して生成する処理を行った処理回数である
請求項８に記載の画像処理装置。
【請求項１１】
前記観測モデルは、ボケを付加するボケ付加処理も行う
請求項１に記載の画像処理装置。
【請求項１２】
動き補償処理とダウンサンプル処理を行う観測モデルにより、高解像度画像から推定低解像度画像を生成し、
実際に観測された低解像度画像である観測低解像度画像、または、前記高解像度画像から、空間特徴量または時間特徴量の少なくとも一方の特徴量を算出し、
前記観測低解像度画像、前記推定低解像度画像、及び、予め学習により得られたパラメータであって、算出された前記特徴量に対応するパラメータを用いて、前記高解像度画像を高画質化した画像を予測して生成する
ステップを含む画像処理方法。
【請求項１３】
コンピュータに、
動き補償処理とダウンサンプル処理を行う観測モデルにより、高解像度画像から推定低解像度画像を生成し、
実際に観測された低解像度画像である観測低解像度画像、または、前記高解像度画像から、空間特徴量または時間特徴量の少なくとも一方の特徴量を算出し、
前記観測低解像度画像、前記推定低解像度画像、及び、予め学習により得られたパラメータであって、算出された前記特徴量に対応するパラメータを用いて、前記高解像度画像を高画質化した画像を予測して生成する
処理を実行させるためのプログラム。
【請求項１４】
請求項１３に記載のプログラムが記録されている記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２０１３−２１６３５（Ｐ２０１３−２１６３５Ａ）
【公開日】平成２５年１月３１日（２０１３．１．３１）
【国際特許分類】
【出願番号】特願２０１１−１５５７１１（Ｐ２０１１−１５５７１１）
【出願日】平成２３年７月１４日（２０１１．７．１４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年１月３１日（２０１３．１．３１）
【国際特許分類】
【出願日】平成２３年７月１４日（２０１１．７．１４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]