画像処理装置、画像処理方法、およびプログラム、並びに学習装置
【課題】汎用的に生じる輝度依存性があるノイズを画像から除去する。
【解決手段】ノイズ量タップ抽出部１４は、入力画像より高画質な出力画像内の注目画素の位置およびその周辺の位置に対応する入力画像内の複数の画素値をノイズ量タップとして抽出する。ノイズ量演算部１５は、ノイズ量タップの画素値のそれぞれについて推定ノイズ量を求める。予測係数生成部１６は、予め学習された処理係数と入力画像内のノイズ量タップの画素値のそれぞれについての推定ノイズ量との演算により、予測係数を生成する。予測部１８は、出力画像内の注目画像の位置およびその周辺の位置に対応する入力画像内の複数の画素値からなる予測タップと予測係数との演算により、出力画像内の注目画素の画素値を生成する。本発明は、例えば、ノイズ除去処理を行う画像処理装置に適用することができる。
【解決手段】ノイズ量タップ抽出部１４は、入力画像より高画質な出力画像内の注目画素の位置およびその周辺の位置に対応する入力画像内の複数の画素値をノイズ量タップとして抽出する。ノイズ量演算部１５は、ノイズ量タップの画素値のそれぞれについて推定ノイズ量を求める。予測係数生成部１６は、予め学習された処理係数と入力画像内のノイズ量タップの画素値のそれぞれについての推定ノイズ量との演算により、予測係数を生成する。予測部１８は、出力画像内の注目画像の位置およびその周辺の位置に対応する入力画像内の複数の画素値からなる予測タップと予測係数との演算により、出力画像内の注目画素の画素値を生成する。本発明は、例えば、ノイズ除去処理を行う画像処理装置に適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、およびプログラム、並びに学習装置に関し、特に、汎用的に生じる輝度依存性があるノイズを画像から除去することができるようにした画像処理装置、画像処理方法、およびプログラム、並びに学習装置に関する。
【背景技術】
【０００２】
従来、画像からノイズを除去するノイズ除去処理では、ノイズを白色として扱い、周辺画素を足し合わせることでノイズを除去していた。
【０００３】
これに対して、近年、ノイズ除去処理において、ノイズの色に偏りがあり、ノイズが有色であるものとすることにより、ノイズを白色として扱う場合に比べて、高精度のノイズ除去を行うことが考えられている。
【０００４】
例えば、ノイズ除去処理において、開口部を遮光した黒色画素において生成する黒色画素信号を有効画素から出力される画素信号から減じることにより、製造誤差により混入された固定パターンのノイズ（FPN）を除去することが考案されている（例えば、特許文献１参照）。このノイズ除去処理では、製造誤差によるノイズを除去するため、製品ごとに黒色画素信号を検出する必要がある。
【０００５】
【特許文献１】特開２００７−１１６２９２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
一方、ノイズ除去処理において、例えば製造過程には依存しない、イメージセンサ自体が汎用的に有する輝度依存性があるノイズ（以下、輝度依存性ノイズという）を除去することは考えられていなかった。
【０００７】
本発明は、このような状況に鑑みてなされたものであり、汎用的に生じる輝度依存性があるノイズを画像から除去することができるようにするものである。
【課題を解決するための手段】
【０００８】
本発明の第１の側面の画像処理装置は、第１の画像を、より高画質な第２の画像に変換する画像処理装置において、前記第２の画像内の注目画素の位置およびその周辺の位置に対応する前記第１の画像内の複数の画素値を抽出する第１の画素値抽出手段と、前記第１の画素値抽出手段により抽出された前記複数の画素値のそれぞれについて推定ノイズ量を求める推定ノイズ量演算手段と、前記第１の画像に対応する生徒画像内の画素値の推定ノイズ量と第１の処理係数との演算により求められた第２の処理係数と、前記生徒画像との演算により、その生徒画像よりも高質な前記第２の画像に対応する教師画像を生成する関係式に基づく正規方程式により予め学習された前記第１の処理係数と、前記第１の画像内の前記複数の画素値のそれぞれについての推定ノイズ量との演算により、第２の処理係数を生成する処理係数生成手段と、前記第２の画像内の注目画像の位置およびその周辺の位置に対応する前記第１の画像内の複数の画素値を抽出する第２の画素値抽出手段と、前記第２の画素値抽出手段により抽出された前記複数の画素値と、前記第２の処理係数との演算により、前記第２の画像内の注目画素の画素値を生成する予測手段とを備える。
【０００９】
本発明の第１の側面の画像処理装置において、前記関係式は、前記教師画像内の注目画素の位置およびその周辺の位置に対応する前記生徒画像内のＮ個の画素の画素値から求められるＮ個の前記推定ノイズ量と、Ｎ×Ｎの行列式で表される前記第１の処理係数との行列演算により、Ｎ個の前記第２の処理係数を求め、そのＮ個の第２の処理係数と前記生徒画像内のＮ個の画素の画素値との線形一次結合により、前記教師画像内の注目画素を生成する関係を表す式であるようにすることができる。
【００１０】
本発明の第１の側面の画像処理装置において、前記推定ノイズ量は、前記生徒画像内の画素値の２次式で求められるようにすることができる。
【００１１】
本発明の第１の側面の画像処理装置は、前記第２の画像内の注目画素の位置およびその周辺の位置に対応する前記第１の画像内の複数の画素値としてのクラスタップの特徴に応じて、前記注目画素に対するクラスを生成するクラス分類手段をさらに設け、前記処理係数生成手段は、前記クラスごとの前記正規方程式により予め学習された前記クラスごとの前記第１の処理係数のうちの、前記クラス分類手段により生成された前記クラスの第１の処理係数と、前記第１の画像内の前記複数の画素値のそれぞれについての推定ノイズ量との演算により、前記第２の処理係数を生成することができる。
【００１２】
本発明の第１の側面の画像処理方法は、第１の画像を、より高画質な第２の画像に変換する画像処理装置の画像処理方法において、前記第２の画像内の注目画素の位置およびその周辺の位置に対応する前記第１の画像内の複数の画素値を抽出し、その抽出された前記複数の画素値のそれぞれについて推定ノイズ量を求め、前記第１の画像に対応する生徒画像内の画素値の推定ノイズ量と第１の処理係数との演算により求められた第２の処理係数と、前記生徒画像との演算により、その生徒画像よりも高質な前記第２の画像に対応する教師画像を生成する関係式に基づく正規方程式により予め学習された前記第１の処理係数と、前記第１の画像内の前記複数の画素値のそれぞれについての推定ノイズ量との演算により、第２の処理係数を求め、前記第２の画像内の注目画像の位置およびその周辺の位置に対応する前記第１の画像内の複数の画素値を抽出し、その抽出された前記複数の画素値と、前記第２の処理係数との演算により、前記第２の画像内の注目画素の画素値を生成するステップを含む。
【００１３】
本発明の第２の側面のプログラムは、第１の画像を、より高画質な第２の画像に変換する画像処理を、コンピュータに行わせるプログラムにおいて、前記第２の画像内の注目画素の位置およびその周辺の位置に対応する前記第１の画像内の複数の画素値を抽出し、その抽出された前記複数の画素値のそれぞれについて推定ノイズ量を求め、前記第１の画像に対応する生徒画像内の画素値の推定ノイズ量と第１の処理係数との演算により求められた第２の処理係数と、前記生徒画像との演算により、その生徒画像よりも高質な前記第２の画像に対応する教師画像を生成する関係式に基づく正規方程式により予め学習された前記第１の処理係数と、前記第１の画像内の前記複数の画素値のそれぞれについての推定ノイズ量との演算により、第２の処理係数を求め、前記第２の画像内の注目画像の位置およびその周辺の位置に対応する前記第１の画像内の複数の画素値を抽出し、その抽出された前記複数の画素値と、前記第２の処理係数との演算により、前記第２の画像内の注目画素の画素値を生成するステップを含む画像処理をコンピュータに行わせる。
【００１４】
本発明の第２の側面の学習装置は、輝度依存性があるノイズを含む生徒画像内の画素値より推定ノイズ量を求め、その推定ノイズ量と第１の処理係数との演算により第２の処理係数を求め、その第２の処理係数と前記生徒画像との演算により、その生徒画像よりも高画質な教師画像を生成する関係式を解法するために、前記生徒画像の画素値と前記教師画像の画素値を用いて正規方程式を生成する正規方程式生成手段と、前記正規方程式を解法することにより、前記第１の処理係数を生成する係数生成手段とを備える
【００１５】
本発明の第２の側面の学習装置において、前記関係式は、前記教師画像内の注目画素の位置およびその周辺の位置に対応する前記生徒画像内のＮ個の画素の画素値から求められるＮ個の前記推定ノイズ量と、Ｎ×Ｎの行列式で表される前記第１の処理係数との行列演算により、Ｎ個の前記第２の処理係数を求め、そのＮ個の第２の処理係数と前記生徒画像内のＮ個の画素の画素値との線形一次結合により、前記教師画像内の注目画素を生成する関係を表す式であるようにすることができる。
【００１６】
本発明の第２の側面の学習装置において、前記推定ノイズ量は、前記生徒画像内の画素値の２次式で求められるようにすることができる。
【００１７】
本発明の第２の側面の学習装置は、前記教師画像内の注目画素の位置およびその周辺の位置に対応する前記生徒画像内の複数の画素値としてのクラスタップの特徴に応じて、前記注目画素に対するクラスを生成するクラス分類手段をさらに設け、前記正規方程式生成手段は、前記クラス分類手段により生成されたクラスごとに、前記生徒画像の画素値と前記注目画素の画素値を用いて前記正規方程式を生成することができる。
【００１８】
本発明の第１の側面においては、第１の画像より高画質な第２の画像内の注目画素の位置およびその周辺の位置に対応する第１の画像内の複数の画素値が抽出され、その抽出された複数の画素値のそれぞれについて推定ノイズ量が求められ、第１の画像に対応する生徒画像内の画素値の推定ノイズ量と第１の処理係数との演算により求められた第２の処理係数と、生徒画像との演算により、その生徒画像よりも高質な第２の画像に対応する教師画像を生成する関係式に基づく正規方程式により予め学習された第１の処理係数と、第１の画像内の複数の画素値のそれぞれについての推定ノイズ量との演算により、第２の処理係数が求められ、第２の画像内の注目画像の位置およびその周辺の位置に対応する第１の画像内の複数の画素値が抽出され、その抽出された複数の画素値と、第２の処理係数との演算により、第２の画像内の注目画素の画素値が生成される。
【００１９】
本発明の第２の側面においては、輝度依存性があるノイズを含む生徒画像内の画素値より推定ノイズ量を求め、その推定ノイズ量と第１の処理係数との演算により第２の処理係数を求め、その第２の処理係数と生徒画像との演算により、その生徒画像よりも高画質な教師画像を生成する関係式を解法するために、生徒画像の画素値と教師画像の画素値を用いて正規方程式が生成され、正規方程式を解法することにより、第１の処理係数が生成される。
【発明の効果】
【００２０】
以上のように、本発明の第１の側面によれば、汎用的に生じる輝度依存性があるノイズを画像から除去することができる。
【００２１】
本発明の第２の側面によれば、汎用的に生じる輝度依存性があるノイズを画像から除去するための処理係数を生成することができる。
【発明を実施するための最良の形態】
【００２２】
図１は、本発明を適用した画像処理装置１０の一実施の形態の構成例を示している。
【００２３】
図１の画像処理装置１０は、クラスタップ抽出部１１、クラス分類部１２、係数記憶部１３、ノイズ量タップ抽出部１４、ノイズ量演算部１５、予測係数生成部１６、予測タップ抽出部１７、および予測部１８により構成される。
【００２４】
画像処理装置１０は、これから生成される出力画像の注目画素に対するクラスを生成し、そのクラスの処理係数と、入力画像の輝度依存性ノイズの分散値であるノイズ量の推定値(以下、推定ノイズ量という)とにより求められた予測係数と、入力画像とを用いて、入力画像から、より高画質な出力画像の予測値を生成するクラス分類適応処理を行う。
【００２５】
なお、この画像処理装置１０でクラス分類適応処理に用いられる処理係数は、例えば、輝度依存性ノイズを含む画像と、その輝度依存性ノイズが除去された画像とを用いた学習(詳細は後述する)により求められたものである。従って、画像処理装置１０は、クラス分類適応処理により、輝度依存性ノイズを除去した高画質な画像を生成することができる。このことから、画像処理装置１０におけるクラス分類適応処理は、いわば、入力画像から輝度依存性ノイズを除去するノイズ除去処理であるということができる。
【００２６】
図１の画像処理装置１０において、クラスタップ抽出部１１は、出力画像（この出力画像は、これから生成される画像であり、現段階では存在しないため、仮想的に想定される）を構成する画素を、順次、注目画素として決定する。クラスタップ抽出部１１は、その注目画素をクラスに分類するために用いる、注目画素の位置およびその周辺の位置に対応する入力画像内の複数の画素の画素値を、入力画像からクラスタップとして抽出する。クラスタップ抽出部１１は、クラスタップをクラス分類部１２に供給する。
【００２７】
クラス分類部１２は、クラスタップ抽出部１１から供給されるクラスタップの特徴に応じて、注目画素をクラスに分類することにより、注目画素に対するクラスを生成する。注目画素をクラスに分類する方法としては、例えば、ADRCなどを採用することができる。ADRCを用いる方法では、クラスタップを構成する画素値がADRC処理され、その結果得られるADRCコードにしたがって、注目画素のクラスが決定される。これにより、クラスタップの相関(波形)により、注目画素がクラスに分類される。
【００２８】
なお、KビットADRCにおいては、例えば、クラスタップを構成する画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、クラスタップとしての複数の画素値の集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップとしての複数の画素値それぞれがKビットに再量子化される。即ち、クラスタップとしての各画素値から、最小値MINが減算され、その減算値がDR/2Kで除算（量子化）される。そして、以上のようにして得られる、クラスタップとしてのKビットのデータを、所定の順番で並べたビット列が、ADRCコードとされる。
【００２９】
従って、クラスタップが、例えば、１ビットADRC処理される場合には、そのクラスタップとしての各画素値は、最小値MINが減算された後に、最大値MAXと最小値MINとの差の1/2で除算され（小数点以下切り捨て）、これにより、各データが１ビットとされる（２値化される）。そして、その１ビットのデータを所定の順番で並べたビット列が、ADRCコードとされる。クラス分類部１２により生成された注目画素に対するクラスは、係数記憶部１３に供給される。
【００３０】
係数記憶部１３は、後述する学習によって求められているクラスごとの最適な処理係数を記憶している。係数記憶部１３は、クラス分類部１２から供給されるクラスに対応する処理係数を読み出し、予測係数生成部１６に供給する。
【００３１】
ノイズ量タップ抽出部１４は、クラスタップ抽出部１１と同様に、出力画像を構成する画素を、順次、注目画素として決定する。ノイズ量タップ抽出部１４は、注目画素に対応する推定ノイズ量を演算するために用いる、注目画素の位置およびその周辺の位置に対応する入力画像内の複数の画素の画素値を、入力画像からノイズ量タップとして抽出する。ノイズ量タップ抽出部１４は、ノイズ量タップをノイズ量演算部１５に供給する。
【００３２】
ノイズ量演算部１５は、ノイズ量タップ抽出部１４から供給されるノイズ量タップから、注目画素に対応する推定ノイズ量を演算し、予測係数生成部１６に供給する。
【００３３】
予測係数生成部１６は、係数記憶部１３から供給される処理係数と、ノイズ量演算部１５から供給される推定ノイズ量とを用いて所定の行列演算を行うことにより、予測係数を生成する。予測係数生成部１６は、予測係数を予測部１８に供給する。
【００３４】
予測タップ抽出部１７は、クラスタップ抽出部１１やノイズ量タップ抽出部１４と同様に、出力画像を構成する画素を、順次、注目画素として決定する。予測タップ抽出部１７は、注目画素を予測するために用いる、注目画素の位置およびその周辺の位置に対応する入力画像内の複数の画素の画素値を、入力画像から予測タップとして抽出する。予測タップ抽出部１７は、予測タップを予測部１８に供給する。
【００３５】
予測部１８は、予測係数生成部１６から供給される予測係数と、予測タップ抽出部１７から供給される予測タップとを用いて、注目画素を予測する予測演算を行い、注目画素の画素値の予測値を、出力画像を構成する注目画素の画素値として生成する。予測部１８は、予測演算により求められた画素値から構成される出力画像を出力する。
【００３６】
次に、図２を参照して、図１のノイズ量演算部１５による推定ノイズ量の演算について説明する。
【００３７】
図２のグラフは、２種類のイメージセンサが有するノイズ量の光量（輝度）依存性を示している。なお、図２において、横軸は、総光量、即ち画素値を表し、縦軸は、ノイズ量を表す。
【００３８】
図２に示すように、イメージセンサが有するノイズ量は輝度依存性があり、ノイズ量をσとし、画素値の真値をＬとすると、ノイズ量σは、以下の式（１）に示すように、画素値の真値Ｌの２次式で表すことができる。なお、式（１）において、ａ，ｂ、およびｃは、イメージセンサに固有のパラメータである。
【００３９】
【数１】
【００４０】
式（１）によれば、画素値の真値Ｌから、その画素値の真値Ｌに対応する画素のノイズ量を演算することができる。従って、ノイズ量演算部１５は、式（１）の演算を行うことによりノイズ量を求めればよいが、実際には、画素値の真値、即ち輝度依存性ノイズが含まれない画素値は取得することができないので、ノイズを含む画素値Ｌ´を用いて、以下の式（２）の演算を行うことにより、推定ノイズ量σ´を演算する。
【００４１】
【数２】
【００４２】
次に、図３乃至図５を参照して、図１の画像処理装置１０におけるクラス分類適応処理について説明する。
【００４３】
図１の画像処理装置１０において、予測部１８が、所定の予測演算として、例えば線形１次予測演算を行うものとすると、出力画像を構成する画素値yは、次の線形１次式によって求められる。
【００４４】
【数３】
【００４５】
なお、式（３）において、Ｘは、出力画像の画素値yについての予測タップを構成する入力画像のn個の画素の画素値からなるｎ次元ベクトル（X=（x0,x1,・・・,xn））であり、Ｗは、そのｎ個の画素の画素値のそれぞれと乗算される予測係数からなるｎ次元ベクトル（W=（w0,w1,・・・,wn））を表す。即ち、予測タップを構成する画素の個数と、予測係数Ｗを構成する予測係数の個数は同一である。
【００４６】
ここで、予測係数Ｗは、後述する学習によって最適なものが求められるが、高精度のノイズ除去処理を行うためには、その学習の規範として、以下の２つの項目が必要である。
【００４７】
第１の項目は、予測タップの相関（波形）によって予測係数Ｗを変化させることである。即ち、第１の項目は、予測タップを構成する画素値のうち、注目画素の画素値と近い画素値ほど、その画素値と乗算される予測係数Ｗが大きくなるようにすることである。
【００４８】
例えば、図３に示すように、予測タップが、注目画素の位置に対応する入力画像の画素の画素値x1、その画素値x1と近い画素値x0、および、画素値x1と遠い画素値x2から構成されるとすると、画素値x0と乗算される予測係数w0が、その画素値x0より画素値x1に遠い画素値x2と乗算される予測係数w2に比べて大きくなるように、予測係数Ｗを学習する必要がある。
【００４９】
また、第２の項目は、入力画像の推定ノイズ量σ´によって予測係数Ｗを変化させることである。即ち、第２の項目は、予測タップを構成する画素値のうち、推定ノイズ量σ´の少ない画素値ほど、その画素値と乗算される予測係数Ｗが大きくなるようにすることである。
【００５０】
例えば、図３に示すように、予測タップが、注目画素の位置に対応する入力画像の画素の画素値x1、推定ノイズ量σ0の画素値x0、および、その推定ノイズ量σ0より大きい推定ノイズ量σ2の画素値x2から構成されるとすると、画素値x0と乗算される予測係数w0が、その画素値x0の推定ノイズ量σ0より大きい推定ノイズ量σ2の画素値x2と乗算される予測係数w2に比べて大きくなるように、予測係数Ｗを学習する必要がある。
【００５１】
以上のような規範により最適な予測係数を学習する方法として、クラスタップの相関と推定ノイズ量σ´によって注目画素をクラスに分類し、クラスごとに予測係数を求めるクラス分類学習がある。しかしながら、この場合、クラス数が爆発し、予測係数を学習することが困難である。例えば、図４に示すように、クラスタップが３×３の画素の画素値から構成される場合、クラスタップの相関を各画素の画素値を1ビットADRC処理したもので表し、各画素の推定ノイズ量σ´を3ビットで表すと、総クラス数は約6.9×1010(=512×89)個となる。
【００５２】
そこで、後述する学習では、クラスタップの相関によって分類されたクラスごとの最適な処理係数が求められ、画像処理装置１０は、クラス分類適応処理において、その処理係数を推定ノイズ量σ´に応じて最適化し、それを予測係数Ｗとして予測演算を行う。
【００５３】
即ち、クラス分類学習の最大の意義は、クラスごとに予測係数の値を変更することである。例えば、図５に示すように、２つの異なるクラスにおいて、予測タップ内の各画素値と乗算される予測係数は異なっている。なお、図５において、横軸は、予測タップを構成する画素値に対応する画素の位置を表し、縦軸は、その画素の画素値と乗算される予測係数を表している。
【００５４】
そこで、画像処理装置１０は、以下の式（４）にしたがって、学習により求められたクラスタップの相関によって分類されたクラスごとの最適な処理係数を基に、推定ノイズ量σ´に応じて予測係数Ｗを変化させることにより、クラス数を爆発させずに、クラスタップの相関と推定ノイズ量によって注目画素を分類して学習した場合と同様に、予測係数を最適化する。
【００５５】
【数４】
【００５６】
式（４）において、Ｗ0とＷσ´iは、ｎ次元ベクトルの予測係数Ｗに対応するｎ次元ベクトルの処理係数である。また、ｍは、ノイズ量タップを構成する画素値の個数であり、σ´iは、ノイズ量タップ内のｉ番目の画素値の推定ノイズ量である。なお、ノイズ量タップを構成する画素値の個数ｍは、予測タップを構成する画素値の個数ｎと同一であっても、異なっていてもよい。
【００５７】
また、式（４）を行列式で表すと、以下の式となる。
【００５８】
【数５】
【００５９】
式（５）において、ｗ0,0,ｗ0,1,・・・ｗ0,nは、ｎ次元ベクトルの処理係数Ｗ0のｎ個の要素を表し、ｗσi´,0, ｗσi´,1,・・・,ｗσi´,nは、ｎ次元ベクトルの処理係数Ｗσ´iのｎ個の要素を表している。
４
次に、図６のフローチャートを参照して、図１の画像処理装置１０によるノイズ除去処理について説明する。
【００６０】
ステップＳ１１において、クラスタップ抽出部１１、ノイズ量タップ抽出部１４、および予測タップ抽出部１７は、出力画像を構成する複数の画素のうちのまだ注目画素とされていない１つを、注目画素として決定する。ステップＳ１２において、クラスタップ抽出部１１は、入力画像から注目画素に対応するクラスタップを抽出し、クラス分類部１２に供給する。
【００６１】
ステップＳ１３において、クラス分類部１２は、クラスタップ抽出部１１から供給されるクラスタップの特徴に応じて、注目画素をクラスに分類することにより、注目画素に対するクラスを生成する。そして、クラス分類部１２は、生成された注目画素に対するクラスを係数記憶部１３に供給する。
【００６２】
ステップＳ１４において、ノイズ量タップ抽出部１４は、入力画像から注目画素に対応するノイズ量タップを抽出し、ノイズ量演算部１５に供給する。ステップＳ１５において、ノイズ量演算部１５は、ノイズ量タップ抽出部１４から供給されるノイズ量タップから、式（２）にしたがって注目画素に対応する推定ノイズ量σ´を演算し、予測係数生成部１６に供給する。
【００６３】
ステップＳ１６において、係数記憶部１３は、クラス分類部１２から供給されるクラスに対応する処理係数を読み出し、予測係数生成部１６に供給する。ステップＳ１７において、予測係数生成部１６は、係数記憶部１３から供給される処理係数と、ノイズ量演算部１５から供給される推定ノイズ量σ´とを用いて、上述した式（５）の行列演算を行うことにより、予測係数Ｗを生成する。予測係数生成部１６は、予測係数Ｗを予測部１８に供給する。
【００６４】
ステップＳ１８において、予測タップ抽出部１７は、入力画像から注目画素に対応する予測タップを抽出し、予測部１８に供給する。ステップＳ１９において、予測部１８は、予測係数生成部１６から供給される予測係数Ｗと、予測タップ抽出部１７から供給される予測タップとを用いて、上述した式（３）の予測演算を行い、注目画素の画素値の予測値を、出力画像を構成する注目画素の画素値として生成する。ステップＳ２０において、クラスタップ抽出部１１、ノイズ量タップ抽出部１４、および予測タップ抽出部１７は、出力画像を構成する全ての画素を注目画素に決定したかを判定する。
【００６５】
ステップＳ２０で、出力画像を構成する全ての画素をまだ注目画素に決定していないと判定された場合、処理はステップＳ１１に戻り、上述した処理が繰り返される。
【００６６】
一方、ステップＳ２０で、出力画像を構成する全ての画素を注目画素に決定したと判定された場合、ステップＳ２１において、予測部１８は、予測演算により生成された画素値から構成される出力画像を出力し、処理は終了する。
【００６７】
以上のように、画像処理装置１０は、後述する学習により求められているクラスタップの相関によって分類されたクラスごとの処理係数と、推定ノイズ量σ´とを用いて予測係数Ｗを生成するので、クラス数を爆発させずに、クラスタップの相関と推定ノイズ量σ´に応じた最適な予測係数Ｗを生成することができる。これにより、画像処理装置１０は、予測係数Ｗを用いて高精度のノイズ除去処理を行い、輝度依存性ノイズが除去された高画質の出力画像を生成することができる。
【００６８】
また、実験によると、画像処理装置１０における出力画像のS/N比は、クラスタップの相関と推定ノイズ量σ´とを用いて分類されたクラスごとに学習された予測係数を用いて、従来のクラス分類適応処理により求められた出力画像のS/N比に比べて大きくなる。例えば、予測タップとノイズ量タップを構成する画素値の数が9個である場合、実験では、前者が36.5となり、後者が35.6となった。これにより、画像処理装置１０は、より高画質な出力画像を生成することができることがわかる。
【００６９】
次に、画像処理装置１０で予測係数Ｗの生成に用いられる処理係数の学習について説明する。この処理係数の学習は、例えば、最小自乗法を利用することによって行われる。
【００７０】
具体的には、いま、第kサンプルの出力画像の画素の画素値の真値をykと表し、その第kサンプルの出力画像の画素についての予測タップを構成する入力画像のn次元ベクトルＸをＸk（Ｘk=（xk0,xk1,・・・,xkn））と表し、予測係数Ｗが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最小化関数Qは、以下の式（６）で表される。
【００７１】
【数６】
【００７２】
なお、式（６）において、Ｎは、出力画像の画素値ykと、その画素値ykについての予測タップを構成する入力画像のn次元ベクトルとのセット学習に用いるサンプル数（学習用のサンプルの数）である。
【００７３】
式（６）の最小化関数Qの最小値（極小値）は、最小化関数Qを全ての変数で偏微分したものを0とする処理係数によって与えられる。従って、式（６）の最小化関数Qを全ての変数で偏微分し、その値が0となるように構築された図７の足し込み行列の連立一次方程式を解くことにより、最適な処理係数が求められる。
【００７４】
図７の足し込み行列は、小ブロック（左辺の左側の行列の場合n×n行列からなる小ブロック、左辺の右側の行列と右辺の行列の場合n×1行列からなる小ブロック）に分けられ、左辺の左側の行列および右辺の行列の各小ブロックは、従来のクラス分類適応処理における線形１次予測演算に対応する足し込み行列の各要素に対して、その小ブロックの位置に応じた推定ノイズ量σ´の値を乗算することにより構成される。なお、図７において、iおよびj（0≦i,j≦n）は、予測タップ内の画素値に対応する画素の位置を表している。
【００７５】
図７の足し込み行列は、クラスごとに生成され、最適な処理係数がクラスごとに求められる。
【００７６】
画像処理装置１０のクラス分類適応処理によれば、以上のようにして求められるクラスごとの処理係数を用いて式（５）の行列演算を行うことにより予測係数Ｗが生成され、その予測係数Ｗを用いて式（３）の予測演算を行うことにより、入力画像が出力画像に変換される。
【００７７】
図８は、図１の画像処理装置１０により用いられる処理係数を学習する学習装置３０の構成例を示している。
【００７８】
図８の学習装置３０は、学習対記憶部３１、クラスタップ抽出部３２、クラス分類部３３、ノイズ量タップ抽出部３４、ノイズ量演算部３５、予測タップ抽出部３６、正規方程式生成部３７、係数生成部３８、および係数記憶部３９により構成される。
【００７９】
学習装置３０において、学習対記憶部３１は、処理係数の学習における生徒としての、画像処理装置１０における入力画像に相当する輝度依存性ノイズを含む画像（以下、生徒画像という）と、教師としての、その入力画像から変換された理想的な出力画像に相当する画像（以下、教師画像という）とのセットを、学習対として記憶している。
【００８０】
そして、学習対記憶部３１は、学習対のうちの生徒画像を、クラスタップ抽出部３２、ノイズ量タップ抽出部３４、および予測タップ抽出部３６に出力し、教師画像を正規方程式生成部３７に出力する。
【００８１】
クラスタップ抽出部３２は、図１のクラスタップ抽出部１１と同様に、教師画像を構成する画素のそれぞれを、順次、注目画素として決定する。クラスタップ抽出部３２は、その注目画素をクラスに分類するために用いる、注目画素の位置およびその周辺の位置に対応する生徒画像内の複数の画素の画素値を、生徒画像からクラスタップとして抽出する。クラスタップ抽出部３２は、クラスタップをクラス分類部３３に供給する。
【００８２】
クラス分類部３３は、図１のクラス分類部１２と同様に、クラスタップ抽出部３２から供給されるクラスタップの特徴に応じて、注目画素をクラスに分類することにより、注目画素に対するクラスを生成する。クラス分類部３３は、そのクラスを正規方程式生成部３７に供給する。
【００８３】
ノイズ量タップ抽出部３４は、クラスタップ抽出部３２と同様に、教師画像を構成する画素のそれぞれを、順次、注目画素として決定する。ノイズ量タップ抽出部３４は、図１のノイズ量タップ抽出部１４と同様に、注目画素に対応する推定ノイズ量σ´を演算するために用いる、注目画素の位置およびその周辺の位置に対応する生徒画像内の複数の画素の画素値を、生徒画像からノイズ量タップとして抽出する。ノイズ量タップ抽出部３４は、ノイズ量タップをノイズ量演算部３５に供給する。
【００８４】
ノイズ量演算部３５は、図１のノイズ量演算部１５と同様に、ノイズ量タップ抽出部３４から供給されるノイズ量タップから、式（２）にしたがって注目画素に対応する推定ノイズ量σ´を演算し、正規方程式生成部３７に供給する。
【００８５】
予測タップ抽出部３６は、クラスタップ抽出部３２やノイズ量タップ抽出部３４と同様に、教師画像を構成する画素のそれぞれを、順次、注目画素として決定する。予測タップ抽出部３６は、図１の予測タップ抽出部１７と同様に、注目画素を予測するために用いる、注目画素の位置およびその周辺の位置に対応する生徒画像内の複数の画素の画素値を、生徒画像から予測タップとして抽出する。予測タップ抽出部３６は、その予測タップを正規方程式生成部３７に供給する。
【００８６】
正規方程式生成部３７は、クラス分類部３３から供給されるクラスごとに、ノイズ量演算部３５から供給される推定ノイズ量σ´、予測タップ抽出部３６から供給される予測タップ、および学習対記憶部３１から入力される教師画像を用いて足し込みを行った足し込み行列（図７）を、正規方程式として生成する。
【００８７】
具体的には、正規方程式生成部３７は、クラスごとに、図７の足し込み行列において、第kサンプルの予測タップを構成する生徒画像の各画素値をＸk（Ｘk=（xk0,xk1,・・・,xkn））として代入し、第kサンプルの教師画像の注目画素の画素値をykとして代入し、その注目画素に対応する推定ノイズ量σ´を代入することにより、正規方程式を生成する。
【００８８】
なお、足し込み行列は、上述したように、式（６）の最小化関数を0にするものである。従って、正規方程式生成部３７により生成される正規方程式は、推定ノイズ量σ´と処理係数とにより求められた予測係数Ｗと生徒画像の予測タップとの乗算により、教師画像を生成する式（３）に相当する式を解法して、処理係数を求めるための式であるといえる。正規方程式生成部３７により生成された正規方程式は、係数生成部３８に供給される。
【００８９】
係数生成部３８は、正規方程式生成部３７から供給される正規方程式を解法することにより、処理係数を生成する。係数生成部３８は、その処理係数を係数記憶部３９に記憶させる。以上のようにして学習され、係数生成部３８に記憶された処理係数は、図１の係数記憶部１３に記憶され、画像処理装置１０において用いられる。
【００９０】
次に、図９のフローチャートを参照して、図８の学習装置３０による学習処理について説明する。
【００９１】
ステップＳ３０において、学習対記憶部３１は、記憶している学習対のうちのまだ出力していない学習対を出力する。具体的には、学習対記憶部３１は、学習対のうちの生徒画像を、クラスタップ抽出部３２、ノイズ量タップ抽出部３４、および予測タップ抽出部３６に入力し、教師画像を正規方程式生成部３７に入力する。
【００９２】
ステップＳ３１において、クラスタップ抽出部３２、ノイズ量タップ抽出部３４、および予測タップ抽出部３６は、図１のクラスタップ抽出部１１と同様に、教師画像を構成する複数の画素のうちのまだ注目画素とされていない１つを、注目画素として決定する。
【００９３】
ステップＳ３２において、クラスタップ抽出部３２は、生徒画像から注目画素に対応するクラスタップを抽出し、クラス分類部３３に供給する。ステップＳ３３において、クラス分類部３３は、図１のクラス分類部１２と同様に、クラスタップ抽出部３２から供給されるクラスタップの特徴に応じて、注目画素をクラスに分類することにより、注目画素に対するクラスを生成する。クラス分類部３３は、そのクラスを正規方程式生成部３７に供給する。
【００９４】
ステップＳ３４において、ノイズ量タップ抽出部３４は、図１のノイズ量タップ抽出部１４と同様に、生徒画像から注目画素に対応するノイズ量タップを抽出し、ノイズ量演算部３５に供給する。
【００９５】
ステップＳ３５において、ノイズ量演算部３５は、図１のノイズ量演算部１５と同様に、ノイズ量タップ抽出部３４から供給されるノイズ量タップから、式（２）にしたがって注目画素に対応する推定ノイズ量σ´を演算し、正規方程式生成部３７に供給する。
【００９６】
ステップＳ３６において、予測タップ抽出部３６は、図１の予測タップ抽出部１７と同様に、生徒画像から注目画素に対応する予測タップを抽出し、正規方程式生成部３７に供給する。
【００９７】
ステップＳ３７において、正規方程式生成部３７は、クラス分類部３３から供給されるクラスごとに、ノイズ量演算部３５から供給される推定ノイズ量σ´、予測タップ抽出部３６から供給される予測タップ、および学習対記憶部３１から入力される教師画像を用いて、足し込み行列（図７）に対して足し込みを行う。
【００９８】
ステップＳ３８において、クラスタップ抽出部３２、ノイズ量タップ抽出部３４、および予測タップ抽出部３６は、教師画像を構成する全ての画素を注目画素に決定したかを判定する。ステップＳ３８で、教師画像を構成する全ての画素をまだ注目画素に決定していないと判定された場合、処理はステップＳ３１に戻り、上述した処理が繰り返される。
【００９９】
一方、ステップＳ３８で、教師画像を構成する全ての画素を注目画素に決定したと判定された場合、ステップＳ３９において、学習対記憶部３１は、全ての学習対に対してステップＳ３０乃至Ｓ３８の処理が行われたか、即ち、記憶している全ての学習対を出力したかを判定する。ステップＳ３９で、まだ全ての学習対に対してステップＳ３０乃至Ｓ３８の処理が行われていないと判定された場合、処理はステップＳ３０に戻り、上述した処理が繰り返される。
【０１００】
また、ステップＳ３９で、全ての学習対に対してステップＳ３０乃至Ｓ３８の処理が行われたと判定された場合、正規方程式生成部３７は、ステップＳ３７で足し込みが行われることにより生成された正規方程式を、係数生成部３８に供給する。
【０１０１】
そして、ステップＳ４０において、係数生成部３８は、正規方程式生成部３７から供給される正規方程式を解法することにより、処理係数を生成し、係数記憶部３９に記憶させる。
【０１０２】
以上のように、学習装置３０は、クラスタップの相関によって分類されるクラスごとに、輝度依存性ノイズを含む生徒画像と、輝度依存性ノイズが除去された理想的な画像である教師画像とを用いて最適な処理係数を学習するので、画像処理装置１０は、その処理係数と推定ノイズ量σ´とを用いて予測係数Ｗを生成することにより、クラス数を爆発させずに、クラスタップの相関と推定ノイズ量σ´に応じた、輝度依存性ノイズの除去に最適な予測係数Ｗを生成することができる。その結果、画像処理装置１０は、輝度依存性ノイズが除去された高画質の出力画像を生成することができる。
【０１０３】
なお、上述した説明では、注目画素をクラスタップの相関に応じてクラスに分類したが、クラスに分類しなくてもよい。
【０１０４】
次に、上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１０５】
そこで、図１０は、上述した一連の処理をプログラムにより実行するコンピュータ３００のハードウエア構成例を示している。
【０１０６】
コンピュータ３００において、CPU（Central Processing Unit）３０１，ROM（Read Only Memory）３０２，RAM（Random Access Memory）３０３は、バス３０４により相互に接続されている。
【０１０７】
バス３０４には、さらに、入出力インターフェース３０５が接続されている。入出力インターフェース３０５には、キーボード、マウス、マイクロホン、リモートコントローラから送信されてくる指令を受信する受信部などよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７、ハードディスクや不揮発性のメモリなどよりなる記憶部３０８、ネットワークインタフェースなどよりなる通信部３０９、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３１１を駆動するドライブ３１０が接続されている。
【０１０８】
以上のように構成されるコンピュータ３００では、CPU３０１が、例えば、記憶部３０８に記憶されているプログラムを、入出力インターフェース３０５およびおバス３０４を介して、RAM３０３にロードして実行することにより、上述した一連の処理が行われる。
【０１０９】
コンピュータ３００のCPU３０１が実行するプログラムは、例えば、リムーバブルメディア３１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１１０】
そして、プログラムは、リムーバブルメディア３１１をドライブ３１０に装着することにより、入出力インターフェース３０５を介して、記憶部３０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部３０９で受信し、記憶部３０８にインストールすることができる。その他、プログラムは、ROM３０２や記憶部３０８に、あらかじめインストールしておくことができる。
【０１１１】
なお、コンピュータ３００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１１２】
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１１３】
【図１】本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【図２】２種類のイメージセンサが有するノイズ量の光量依存性を示す図である。
【図３】予測係数の学習の規範について説明する図である。
【図４】３×３の画素の画素値からなるクラスタップを示す図である。
【図５】予測タップを構成する各画素値と乗算される予測係数を示す図である。
【図６】図１の画像処理装置によるノイズ除去処理について説明するフローチャートである。
【図７】足し込み行列を示す図である。
【図８】処理係数を学習する学習装置の構成例を示すブロック図である。
【図９】図８の学習装置による学習処理について説明するフローチャートである。
【図１０】コンピュータのハードウエア構成例を示すブロック図である。
【符号の説明】
【０１１４】
１０ 画像処理装置， １２ クラス分類部， １４ ノイズ量タップ抽出部， １５ ノイズ量演算部， １６ 予測係数生成部， １７ 予測タップ抽出部， １８ 予測部， ３０ 学習装置， ３３ クラス分類部， ３７ 正規方程式生成部， ３８ 係数生成部
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、およびプログラム、並びに学習装置に関し、特に、汎用的に生じる輝度依存性があるノイズを画像から除去することができるようにした画像処理装置、画像処理方法、およびプログラム、並びに学習装置に関する。
【背景技術】
【０００２】
従来、画像からノイズを除去するノイズ除去処理では、ノイズを白色として扱い、周辺画素を足し合わせることでノイズを除去していた。
【０００３】
これに対して、近年、ノイズ除去処理において、ノイズの色に偏りがあり、ノイズが有色であるものとすることにより、ノイズを白色として扱う場合に比べて、高精度のノイズ除去を行うことが考えられている。
【０００４】
例えば、ノイズ除去処理において、開口部を遮光した黒色画素において生成する黒色画素信号を有効画素から出力される画素信号から減じることにより、製造誤差により混入された固定パターンのノイズ（FPN）を除去することが考案されている（例えば、特許文献１参照）。このノイズ除去処理では、製造誤差によるノイズを除去するため、製品ごとに黒色画素信号を検出する必要がある。
【０００５】
【特許文献１】特開２００７−１１６２９２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
一方、ノイズ除去処理において、例えば製造過程には依存しない、イメージセンサ自体が汎用的に有する輝度依存性があるノイズ（以下、輝度依存性ノイズという）を除去することは考えられていなかった。
【０００７】
本発明は、このような状況に鑑みてなされたものであり、汎用的に生じる輝度依存性があるノイズを画像から除去することができるようにするものである。
【課題を解決するための手段】
【０００８】
本発明の第１の側面の画像処理装置は、第１の画像を、より高画質な第２の画像に変換する画像処理装置において、前記第２の画像内の注目画素の位置およびその周辺の位置に対応する前記第１の画像内の複数の画素値を抽出する第１の画素値抽出手段と、前記第１の画素値抽出手段により抽出された前記複数の画素値のそれぞれについて推定ノイズ量を求める推定ノイズ量演算手段と、前記第１の画像に対応する生徒画像内の画素値の推定ノイズ量と第１の処理係数との演算により求められた第２の処理係数と、前記生徒画像との演算により、その生徒画像よりも高質な前記第２の画像に対応する教師画像を生成する関係式に基づく正規方程式により予め学習された前記第１の処理係数と、前記第１の画像内の前記複数の画素値のそれぞれについての推定ノイズ量との演算により、第２の処理係数を生成する処理係数生成手段と、前記第２の画像内の注目画像の位置およびその周辺の位置に対応する前記第１の画像内の複数の画素値を抽出する第２の画素値抽出手段と、前記第２の画素値抽出手段により抽出された前記複数の画素値と、前記第２の処理係数との演算により、前記第２の画像内の注目画素の画素値を生成する予測手段とを備える。
【０００９】
本発明の第１の側面の画像処理装置において、前記関係式は、前記教師画像内の注目画素の位置およびその周辺の位置に対応する前記生徒画像内のＮ個の画素の画素値から求められるＮ個の前記推定ノイズ量と、Ｎ×Ｎの行列式で表される前記第１の処理係数との行列演算により、Ｎ個の前記第２の処理係数を求め、そのＮ個の第２の処理係数と前記生徒画像内のＮ個の画素の画素値との線形一次結合により、前記教師画像内の注目画素を生成する関係を表す式であるようにすることができる。
【００１０】
本発明の第１の側面の画像処理装置において、前記推定ノイズ量は、前記生徒画像内の画素値の２次式で求められるようにすることができる。
【００１１】
本発明の第１の側面の画像処理装置は、前記第２の画像内の注目画素の位置およびその周辺の位置に対応する前記第１の画像内の複数の画素値としてのクラスタップの特徴に応じて、前記注目画素に対するクラスを生成するクラス分類手段をさらに設け、前記処理係数生成手段は、前記クラスごとの前記正規方程式により予め学習された前記クラスごとの前記第１の処理係数のうちの、前記クラス分類手段により生成された前記クラスの第１の処理係数と、前記第１の画像内の前記複数の画素値のそれぞれについての推定ノイズ量との演算により、前記第２の処理係数を生成することができる。
【００１２】
本発明の第１の側面の画像処理方法は、第１の画像を、より高画質な第２の画像に変換する画像処理装置の画像処理方法において、前記第２の画像内の注目画素の位置およびその周辺の位置に対応する前記第１の画像内の複数の画素値を抽出し、その抽出された前記複数の画素値のそれぞれについて推定ノイズ量を求め、前記第１の画像に対応する生徒画像内の画素値の推定ノイズ量と第１の処理係数との演算により求められた第２の処理係数と、前記生徒画像との演算により、その生徒画像よりも高質な前記第２の画像に対応する教師画像を生成する関係式に基づく正規方程式により予め学習された前記第１の処理係数と、前記第１の画像内の前記複数の画素値のそれぞれについての推定ノイズ量との演算により、第２の処理係数を求め、前記第２の画像内の注目画像の位置およびその周辺の位置に対応する前記第１の画像内の複数の画素値を抽出し、その抽出された前記複数の画素値と、前記第２の処理係数との演算により、前記第２の画像内の注目画素の画素値を生成するステップを含む。
【００１３】
本発明の第２の側面のプログラムは、第１の画像を、より高画質な第２の画像に変換する画像処理を、コンピュータに行わせるプログラムにおいて、前記第２の画像内の注目画素の位置およびその周辺の位置に対応する前記第１の画像内の複数の画素値を抽出し、その抽出された前記複数の画素値のそれぞれについて推定ノイズ量を求め、前記第１の画像に対応する生徒画像内の画素値の推定ノイズ量と第１の処理係数との演算により求められた第２の処理係数と、前記生徒画像との演算により、その生徒画像よりも高質な前記第２の画像に対応する教師画像を生成する関係式に基づく正規方程式により予め学習された前記第１の処理係数と、前記第１の画像内の前記複数の画素値のそれぞれについての推定ノイズ量との演算により、第２の処理係数を求め、前記第２の画像内の注目画像の位置およびその周辺の位置に対応する前記第１の画像内の複数の画素値を抽出し、その抽出された前記複数の画素値と、前記第２の処理係数との演算により、前記第２の画像内の注目画素の画素値を生成するステップを含む画像処理をコンピュータに行わせる。
【００１４】
本発明の第２の側面の学習装置は、輝度依存性があるノイズを含む生徒画像内の画素値より推定ノイズ量を求め、その推定ノイズ量と第１の処理係数との演算により第２の処理係数を求め、その第２の処理係数と前記生徒画像との演算により、その生徒画像よりも高画質な教師画像を生成する関係式を解法するために、前記生徒画像の画素値と前記教師画像の画素値を用いて正規方程式を生成する正規方程式生成手段と、前記正規方程式を解法することにより、前記第１の処理係数を生成する係数生成手段とを備える
【００１５】
本発明の第２の側面の学習装置において、前記関係式は、前記教師画像内の注目画素の位置およびその周辺の位置に対応する前記生徒画像内のＮ個の画素の画素値から求められるＮ個の前記推定ノイズ量と、Ｎ×Ｎの行列式で表される前記第１の処理係数との行列演算により、Ｎ個の前記第２の処理係数を求め、そのＮ個の第２の処理係数と前記生徒画像内のＮ個の画素の画素値との線形一次結合により、前記教師画像内の注目画素を生成する関係を表す式であるようにすることができる。
【００１６】
本発明の第２の側面の学習装置において、前記推定ノイズ量は、前記生徒画像内の画素値の２次式で求められるようにすることができる。
【００１７】
本発明の第２の側面の学習装置は、前記教師画像内の注目画素の位置およびその周辺の位置に対応する前記生徒画像内の複数の画素値としてのクラスタップの特徴に応じて、前記注目画素に対するクラスを生成するクラス分類手段をさらに設け、前記正規方程式生成手段は、前記クラス分類手段により生成されたクラスごとに、前記生徒画像の画素値と前記注目画素の画素値を用いて前記正規方程式を生成することができる。
【００１８】
本発明の第１の側面においては、第１の画像より高画質な第２の画像内の注目画素の位置およびその周辺の位置に対応する第１の画像内の複数の画素値が抽出され、その抽出された複数の画素値のそれぞれについて推定ノイズ量が求められ、第１の画像に対応する生徒画像内の画素値の推定ノイズ量と第１の処理係数との演算により求められた第２の処理係数と、生徒画像との演算により、その生徒画像よりも高質な第２の画像に対応する教師画像を生成する関係式に基づく正規方程式により予め学習された第１の処理係数と、第１の画像内の複数の画素値のそれぞれについての推定ノイズ量との演算により、第２の処理係数が求められ、第２の画像内の注目画像の位置およびその周辺の位置に対応する第１の画像内の複数の画素値が抽出され、その抽出された複数の画素値と、第２の処理係数との演算により、第２の画像内の注目画素の画素値が生成される。
【００１９】
本発明の第２の側面においては、輝度依存性があるノイズを含む生徒画像内の画素値より推定ノイズ量を求め、その推定ノイズ量と第１の処理係数との演算により第２の処理係数を求め、その第２の処理係数と生徒画像との演算により、その生徒画像よりも高画質な教師画像を生成する関係式を解法するために、生徒画像の画素値と教師画像の画素値を用いて正規方程式が生成され、正規方程式を解法することにより、第１の処理係数が生成される。
【発明の効果】
【００２０】
以上のように、本発明の第１の側面によれば、汎用的に生じる輝度依存性があるノイズを画像から除去することができる。
【００２１】
本発明の第２の側面によれば、汎用的に生じる輝度依存性があるノイズを画像から除去するための処理係数を生成することができる。
【発明を実施するための最良の形態】
【００２２】
図１は、本発明を適用した画像処理装置１０の一実施の形態の構成例を示している。
【００２３】
図１の画像処理装置１０は、クラスタップ抽出部１１、クラス分類部１２、係数記憶部１３、ノイズ量タップ抽出部１４、ノイズ量演算部１５、予測係数生成部１６、予測タップ抽出部１７、および予測部１８により構成される。
【００２４】
画像処理装置１０は、これから生成される出力画像の注目画素に対するクラスを生成し、そのクラスの処理係数と、入力画像の輝度依存性ノイズの分散値であるノイズ量の推定値(以下、推定ノイズ量という)とにより求められた予測係数と、入力画像とを用いて、入力画像から、より高画質な出力画像の予測値を生成するクラス分類適応処理を行う。
【００２５】
なお、この画像処理装置１０でクラス分類適応処理に用いられる処理係数は、例えば、輝度依存性ノイズを含む画像と、その輝度依存性ノイズが除去された画像とを用いた学習(詳細は後述する)により求められたものである。従って、画像処理装置１０は、クラス分類適応処理により、輝度依存性ノイズを除去した高画質な画像を生成することができる。このことから、画像処理装置１０におけるクラス分類適応処理は、いわば、入力画像から輝度依存性ノイズを除去するノイズ除去処理であるということができる。
【００２６】
図１の画像処理装置１０において、クラスタップ抽出部１１は、出力画像（この出力画像は、これから生成される画像であり、現段階では存在しないため、仮想的に想定される）を構成する画素を、順次、注目画素として決定する。クラスタップ抽出部１１は、その注目画素をクラスに分類するために用いる、注目画素の位置およびその周辺の位置に対応する入力画像内の複数の画素の画素値を、入力画像からクラスタップとして抽出する。クラスタップ抽出部１１は、クラスタップをクラス分類部１２に供給する。
【００２７】
クラス分類部１２は、クラスタップ抽出部１１から供給されるクラスタップの特徴に応じて、注目画素をクラスに分類することにより、注目画素に対するクラスを生成する。注目画素をクラスに分類する方法としては、例えば、ADRCなどを採用することができる。ADRCを用いる方法では、クラスタップを構成する画素値がADRC処理され、その結果得られるADRCコードにしたがって、注目画素のクラスが決定される。これにより、クラスタップの相関(波形)により、注目画素がクラスに分類される。
【００２８】
なお、KビットADRCにおいては、例えば、クラスタップを構成する画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、クラスタップとしての複数の画素値の集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップとしての複数の画素値それぞれがKビットに再量子化される。即ち、クラスタップとしての各画素値から、最小値MINが減算され、その減算値がDR/2Kで除算（量子化）される。そして、以上のようにして得られる、クラスタップとしてのKビットのデータを、所定の順番で並べたビット列が、ADRCコードとされる。
【００２９】
従って、クラスタップが、例えば、１ビットADRC処理される場合には、そのクラスタップとしての各画素値は、最小値MINが減算された後に、最大値MAXと最小値MINとの差の1/2で除算され（小数点以下切り捨て）、これにより、各データが１ビットとされる（２値化される）。そして、その１ビットのデータを所定の順番で並べたビット列が、ADRCコードとされる。クラス分類部１２により生成された注目画素に対するクラスは、係数記憶部１３に供給される。
【００３０】
係数記憶部１３は、後述する学習によって求められているクラスごとの最適な処理係数を記憶している。係数記憶部１３は、クラス分類部１２から供給されるクラスに対応する処理係数を読み出し、予測係数生成部１６に供給する。
【００３１】
ノイズ量タップ抽出部１４は、クラスタップ抽出部１１と同様に、出力画像を構成する画素を、順次、注目画素として決定する。ノイズ量タップ抽出部１４は、注目画素に対応する推定ノイズ量を演算するために用いる、注目画素の位置およびその周辺の位置に対応する入力画像内の複数の画素の画素値を、入力画像からノイズ量タップとして抽出する。ノイズ量タップ抽出部１４は、ノイズ量タップをノイズ量演算部１５に供給する。
【００３２】
ノイズ量演算部１５は、ノイズ量タップ抽出部１４から供給されるノイズ量タップから、注目画素に対応する推定ノイズ量を演算し、予測係数生成部１６に供給する。
【００３３】
予測係数生成部１６は、係数記憶部１３から供給される処理係数と、ノイズ量演算部１５から供給される推定ノイズ量とを用いて所定の行列演算を行うことにより、予測係数を生成する。予測係数生成部１６は、予測係数を予測部１８に供給する。
【００３４】
予測タップ抽出部１７は、クラスタップ抽出部１１やノイズ量タップ抽出部１４と同様に、出力画像を構成する画素を、順次、注目画素として決定する。予測タップ抽出部１７は、注目画素を予測するために用いる、注目画素の位置およびその周辺の位置に対応する入力画像内の複数の画素の画素値を、入力画像から予測タップとして抽出する。予測タップ抽出部１７は、予測タップを予測部１８に供給する。
【００３５】
予測部１８は、予測係数生成部１６から供給される予測係数と、予測タップ抽出部１７から供給される予測タップとを用いて、注目画素を予測する予測演算を行い、注目画素の画素値の予測値を、出力画像を構成する注目画素の画素値として生成する。予測部１８は、予測演算により求められた画素値から構成される出力画像を出力する。
【００３６】
次に、図２を参照して、図１のノイズ量演算部１５による推定ノイズ量の演算について説明する。
【００３７】
図２のグラフは、２種類のイメージセンサが有するノイズ量の光量（輝度）依存性を示している。なお、図２において、横軸は、総光量、即ち画素値を表し、縦軸は、ノイズ量を表す。
【００３８】
図２に示すように、イメージセンサが有するノイズ量は輝度依存性があり、ノイズ量をσとし、画素値の真値をＬとすると、ノイズ量σは、以下の式（１）に示すように、画素値の真値Ｌの２次式で表すことができる。なお、式（１）において、ａ，ｂ、およびｃは、イメージセンサに固有のパラメータである。
【００３９】
【数１】
【００４０】
式（１）によれば、画素値の真値Ｌから、その画素値の真値Ｌに対応する画素のノイズ量を演算することができる。従って、ノイズ量演算部１５は、式（１）の演算を行うことによりノイズ量を求めればよいが、実際には、画素値の真値、即ち輝度依存性ノイズが含まれない画素値は取得することができないので、ノイズを含む画素値Ｌ´を用いて、以下の式（２）の演算を行うことにより、推定ノイズ量σ´を演算する。
【００４１】
【数２】
【００４２】
次に、図３乃至図５を参照して、図１の画像処理装置１０におけるクラス分類適応処理について説明する。
【００４３】
図１の画像処理装置１０において、予測部１８が、所定の予測演算として、例えば線形１次予測演算を行うものとすると、出力画像を構成する画素値yは、次の線形１次式によって求められる。
【００４４】
【数３】
【００４５】
なお、式（３）において、Ｘは、出力画像の画素値yについての予測タップを構成する入力画像のn個の画素の画素値からなるｎ次元ベクトル（X=（x0,x1,・・・,xn））であり、Ｗは、そのｎ個の画素の画素値のそれぞれと乗算される予測係数からなるｎ次元ベクトル（W=（w0,w1,・・・,wn））を表す。即ち、予測タップを構成する画素の個数と、予測係数Ｗを構成する予測係数の個数は同一である。
【００４６】
ここで、予測係数Ｗは、後述する学習によって最適なものが求められるが、高精度のノイズ除去処理を行うためには、その学習の規範として、以下の２つの項目が必要である。
【００４７】
第１の項目は、予測タップの相関（波形）によって予測係数Ｗを変化させることである。即ち、第１の項目は、予測タップを構成する画素値のうち、注目画素の画素値と近い画素値ほど、その画素値と乗算される予測係数Ｗが大きくなるようにすることである。
【００４８】
例えば、図３に示すように、予測タップが、注目画素の位置に対応する入力画像の画素の画素値x1、その画素値x1と近い画素値x0、および、画素値x1と遠い画素値x2から構成されるとすると、画素値x0と乗算される予測係数w0が、その画素値x0より画素値x1に遠い画素値x2と乗算される予測係数w2に比べて大きくなるように、予測係数Ｗを学習する必要がある。
【００４９】
また、第２の項目は、入力画像の推定ノイズ量σ´によって予測係数Ｗを変化させることである。即ち、第２の項目は、予測タップを構成する画素値のうち、推定ノイズ量σ´の少ない画素値ほど、その画素値と乗算される予測係数Ｗが大きくなるようにすることである。
【００５０】
例えば、図３に示すように、予測タップが、注目画素の位置に対応する入力画像の画素の画素値x1、推定ノイズ量σ0の画素値x0、および、その推定ノイズ量σ0より大きい推定ノイズ量σ2の画素値x2から構成されるとすると、画素値x0と乗算される予測係数w0が、その画素値x0の推定ノイズ量σ0より大きい推定ノイズ量σ2の画素値x2と乗算される予測係数w2に比べて大きくなるように、予測係数Ｗを学習する必要がある。
【００５１】
以上のような規範により最適な予測係数を学習する方法として、クラスタップの相関と推定ノイズ量σ´によって注目画素をクラスに分類し、クラスごとに予測係数を求めるクラス分類学習がある。しかしながら、この場合、クラス数が爆発し、予測係数を学習することが困難である。例えば、図４に示すように、クラスタップが３×３の画素の画素値から構成される場合、クラスタップの相関を各画素の画素値を1ビットADRC処理したもので表し、各画素の推定ノイズ量σ´を3ビットで表すと、総クラス数は約6.9×1010(=512×89)個となる。
【００５２】
そこで、後述する学習では、クラスタップの相関によって分類されたクラスごとの最適な処理係数が求められ、画像処理装置１０は、クラス分類適応処理において、その処理係数を推定ノイズ量σ´に応じて最適化し、それを予測係数Ｗとして予測演算を行う。
【００５３】
即ち、クラス分類学習の最大の意義は、クラスごとに予測係数の値を変更することである。例えば、図５に示すように、２つの異なるクラスにおいて、予測タップ内の各画素値と乗算される予測係数は異なっている。なお、図５において、横軸は、予測タップを構成する画素値に対応する画素の位置を表し、縦軸は、その画素の画素値と乗算される予測係数を表している。
【００５４】
そこで、画像処理装置１０は、以下の式（４）にしたがって、学習により求められたクラスタップの相関によって分類されたクラスごとの最適な処理係数を基に、推定ノイズ量σ´に応じて予測係数Ｗを変化させることにより、クラス数を爆発させずに、クラスタップの相関と推定ノイズ量によって注目画素を分類して学習した場合と同様に、予測係数を最適化する。
【００５５】
【数４】
【００５６】
式（４）において、Ｗ0とＷσ´iは、ｎ次元ベクトルの予測係数Ｗに対応するｎ次元ベクトルの処理係数である。また、ｍは、ノイズ量タップを構成する画素値の個数であり、σ´iは、ノイズ量タップ内のｉ番目の画素値の推定ノイズ量である。なお、ノイズ量タップを構成する画素値の個数ｍは、予測タップを構成する画素値の個数ｎと同一であっても、異なっていてもよい。
【００５７】
また、式（４）を行列式で表すと、以下の式となる。
【００５８】
【数５】
【００５９】
式（５）において、ｗ0,0,ｗ0,1,・・・ｗ0,nは、ｎ次元ベクトルの処理係数Ｗ0のｎ個の要素を表し、ｗσi´,0, ｗσi´,1,・・・,ｗσi´,nは、ｎ次元ベクトルの処理係数Ｗσ´iのｎ個の要素を表している。
４
次に、図６のフローチャートを参照して、図１の画像処理装置１０によるノイズ除去処理について説明する。
【００６０】
ステップＳ１１において、クラスタップ抽出部１１、ノイズ量タップ抽出部１４、および予測タップ抽出部１７は、出力画像を構成する複数の画素のうちのまだ注目画素とされていない１つを、注目画素として決定する。ステップＳ１２において、クラスタップ抽出部１１は、入力画像から注目画素に対応するクラスタップを抽出し、クラス分類部１２に供給する。
【００６１】
ステップＳ１３において、クラス分類部１２は、クラスタップ抽出部１１から供給されるクラスタップの特徴に応じて、注目画素をクラスに分類することにより、注目画素に対するクラスを生成する。そして、クラス分類部１２は、生成された注目画素に対するクラスを係数記憶部１３に供給する。
【００６２】
ステップＳ１４において、ノイズ量タップ抽出部１４は、入力画像から注目画素に対応するノイズ量タップを抽出し、ノイズ量演算部１５に供給する。ステップＳ１５において、ノイズ量演算部１５は、ノイズ量タップ抽出部１４から供給されるノイズ量タップから、式（２）にしたがって注目画素に対応する推定ノイズ量σ´を演算し、予測係数生成部１６に供給する。
【００６３】
ステップＳ１６において、係数記憶部１３は、クラス分類部１２から供給されるクラスに対応する処理係数を読み出し、予測係数生成部１６に供給する。ステップＳ１７において、予測係数生成部１６は、係数記憶部１３から供給される処理係数と、ノイズ量演算部１５から供給される推定ノイズ量σ´とを用いて、上述した式（５）の行列演算を行うことにより、予測係数Ｗを生成する。予測係数生成部１６は、予測係数Ｗを予測部１８に供給する。
【００６４】
ステップＳ１８において、予測タップ抽出部１７は、入力画像から注目画素に対応する予測タップを抽出し、予測部１８に供給する。ステップＳ１９において、予測部１８は、予測係数生成部１６から供給される予測係数Ｗと、予測タップ抽出部１７から供給される予測タップとを用いて、上述した式（３）の予測演算を行い、注目画素の画素値の予測値を、出力画像を構成する注目画素の画素値として生成する。ステップＳ２０において、クラスタップ抽出部１１、ノイズ量タップ抽出部１４、および予測タップ抽出部１７は、出力画像を構成する全ての画素を注目画素に決定したかを判定する。
【００６５】
ステップＳ２０で、出力画像を構成する全ての画素をまだ注目画素に決定していないと判定された場合、処理はステップＳ１１に戻り、上述した処理が繰り返される。
【００６６】
一方、ステップＳ２０で、出力画像を構成する全ての画素を注目画素に決定したと判定された場合、ステップＳ２１において、予測部１８は、予測演算により生成された画素値から構成される出力画像を出力し、処理は終了する。
【００６７】
以上のように、画像処理装置１０は、後述する学習により求められているクラスタップの相関によって分類されたクラスごとの処理係数と、推定ノイズ量σ´とを用いて予測係数Ｗを生成するので、クラス数を爆発させずに、クラスタップの相関と推定ノイズ量σ´に応じた最適な予測係数Ｗを生成することができる。これにより、画像処理装置１０は、予測係数Ｗを用いて高精度のノイズ除去処理を行い、輝度依存性ノイズが除去された高画質の出力画像を生成することができる。
【００６８】
また、実験によると、画像処理装置１０における出力画像のS/N比は、クラスタップの相関と推定ノイズ量σ´とを用いて分類されたクラスごとに学習された予測係数を用いて、従来のクラス分類適応処理により求められた出力画像のS/N比に比べて大きくなる。例えば、予測タップとノイズ量タップを構成する画素値の数が9個である場合、実験では、前者が36.5となり、後者が35.6となった。これにより、画像処理装置１０は、より高画質な出力画像を生成することができることがわかる。
【００６９】
次に、画像処理装置１０で予測係数Ｗの生成に用いられる処理係数の学習について説明する。この処理係数の学習は、例えば、最小自乗法を利用することによって行われる。
【００７０】
具体的には、いま、第kサンプルの出力画像の画素の画素値の真値をykと表し、その第kサンプルの出力画像の画素についての予測タップを構成する入力画像のn次元ベクトルＸをＸk（Ｘk=（xk0,xk1,・・・,xkn））と表し、予測係数Ｗが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最小化関数Qは、以下の式（６）で表される。
【００７１】
【数６】
【００７２】
なお、式（６）において、Ｎは、出力画像の画素値ykと、その画素値ykについての予測タップを構成する入力画像のn次元ベクトルとのセット学習に用いるサンプル数（学習用のサンプルの数）である。
【００７３】
式（６）の最小化関数Qの最小値（極小値）は、最小化関数Qを全ての変数で偏微分したものを0とする処理係数によって与えられる。従って、式（６）の最小化関数Qを全ての変数で偏微分し、その値が0となるように構築された図７の足し込み行列の連立一次方程式を解くことにより、最適な処理係数が求められる。
【００７４】
図７の足し込み行列は、小ブロック（左辺の左側の行列の場合n×n行列からなる小ブロック、左辺の右側の行列と右辺の行列の場合n×1行列からなる小ブロック）に分けられ、左辺の左側の行列および右辺の行列の各小ブロックは、従来のクラス分類適応処理における線形１次予測演算に対応する足し込み行列の各要素に対して、その小ブロックの位置に応じた推定ノイズ量σ´の値を乗算することにより構成される。なお、図７において、iおよびj（0≦i,j≦n）は、予測タップ内の画素値に対応する画素の位置を表している。
【００７５】
図７の足し込み行列は、クラスごとに生成され、最適な処理係数がクラスごとに求められる。
【００７６】
画像処理装置１０のクラス分類適応処理によれば、以上のようにして求められるクラスごとの処理係数を用いて式（５）の行列演算を行うことにより予測係数Ｗが生成され、その予測係数Ｗを用いて式（３）の予測演算を行うことにより、入力画像が出力画像に変換される。
【００７７】
図８は、図１の画像処理装置１０により用いられる処理係数を学習する学習装置３０の構成例を示している。
【００７８】
図８の学習装置３０は、学習対記憶部３１、クラスタップ抽出部３２、クラス分類部３３、ノイズ量タップ抽出部３４、ノイズ量演算部３５、予測タップ抽出部３６、正規方程式生成部３７、係数生成部３８、および係数記憶部３９により構成される。
【００７９】
学習装置３０において、学習対記憶部３１は、処理係数の学習における生徒としての、画像処理装置１０における入力画像に相当する輝度依存性ノイズを含む画像（以下、生徒画像という）と、教師としての、その入力画像から変換された理想的な出力画像に相当する画像（以下、教師画像という）とのセットを、学習対として記憶している。
【００８０】
そして、学習対記憶部３１は、学習対のうちの生徒画像を、クラスタップ抽出部３２、ノイズ量タップ抽出部３４、および予測タップ抽出部３６に出力し、教師画像を正規方程式生成部３７に出力する。
【００８１】
クラスタップ抽出部３２は、図１のクラスタップ抽出部１１と同様に、教師画像を構成する画素のそれぞれを、順次、注目画素として決定する。クラスタップ抽出部３２は、その注目画素をクラスに分類するために用いる、注目画素の位置およびその周辺の位置に対応する生徒画像内の複数の画素の画素値を、生徒画像からクラスタップとして抽出する。クラスタップ抽出部３２は、クラスタップをクラス分類部３３に供給する。
【００８２】
クラス分類部３３は、図１のクラス分類部１２と同様に、クラスタップ抽出部３２から供給されるクラスタップの特徴に応じて、注目画素をクラスに分類することにより、注目画素に対するクラスを生成する。クラス分類部３３は、そのクラスを正規方程式生成部３７に供給する。
【００８３】
ノイズ量タップ抽出部３４は、クラスタップ抽出部３２と同様に、教師画像を構成する画素のそれぞれを、順次、注目画素として決定する。ノイズ量タップ抽出部３４は、図１のノイズ量タップ抽出部１４と同様に、注目画素に対応する推定ノイズ量σ´を演算するために用いる、注目画素の位置およびその周辺の位置に対応する生徒画像内の複数の画素の画素値を、生徒画像からノイズ量タップとして抽出する。ノイズ量タップ抽出部３４は、ノイズ量タップをノイズ量演算部３５に供給する。
【００８４】
ノイズ量演算部３５は、図１のノイズ量演算部１５と同様に、ノイズ量タップ抽出部３４から供給されるノイズ量タップから、式（２）にしたがって注目画素に対応する推定ノイズ量σ´を演算し、正規方程式生成部３７に供給する。
【００８５】
予測タップ抽出部３６は、クラスタップ抽出部３２やノイズ量タップ抽出部３４と同様に、教師画像を構成する画素のそれぞれを、順次、注目画素として決定する。予測タップ抽出部３６は、図１の予測タップ抽出部１７と同様に、注目画素を予測するために用いる、注目画素の位置およびその周辺の位置に対応する生徒画像内の複数の画素の画素値を、生徒画像から予測タップとして抽出する。予測タップ抽出部３６は、その予測タップを正規方程式生成部３７に供給する。
【００８６】
正規方程式生成部３７は、クラス分類部３３から供給されるクラスごとに、ノイズ量演算部３５から供給される推定ノイズ量σ´、予測タップ抽出部３６から供給される予測タップ、および学習対記憶部３１から入力される教師画像を用いて足し込みを行った足し込み行列（図７）を、正規方程式として生成する。
【００８７】
具体的には、正規方程式生成部３７は、クラスごとに、図７の足し込み行列において、第kサンプルの予測タップを構成する生徒画像の各画素値をＸk（Ｘk=（xk0,xk1,・・・,xkn））として代入し、第kサンプルの教師画像の注目画素の画素値をykとして代入し、その注目画素に対応する推定ノイズ量σ´を代入することにより、正規方程式を生成する。
【００８８】
なお、足し込み行列は、上述したように、式（６）の最小化関数を0にするものである。従って、正規方程式生成部３７により生成される正規方程式は、推定ノイズ量σ´と処理係数とにより求められた予測係数Ｗと生徒画像の予測タップとの乗算により、教師画像を生成する式（３）に相当する式を解法して、処理係数を求めるための式であるといえる。正規方程式生成部３７により生成された正規方程式は、係数生成部３８に供給される。
【００８９】
係数生成部３８は、正規方程式生成部３７から供給される正規方程式を解法することにより、処理係数を生成する。係数生成部３８は、その処理係数を係数記憶部３９に記憶させる。以上のようにして学習され、係数生成部３８に記憶された処理係数は、図１の係数記憶部１３に記憶され、画像処理装置１０において用いられる。
【００９０】
次に、図９のフローチャートを参照して、図８の学習装置３０による学習処理について説明する。
【００９１】
ステップＳ３０において、学習対記憶部３１は、記憶している学習対のうちのまだ出力していない学習対を出力する。具体的には、学習対記憶部３１は、学習対のうちの生徒画像を、クラスタップ抽出部３２、ノイズ量タップ抽出部３４、および予測タップ抽出部３６に入力し、教師画像を正規方程式生成部３７に入力する。
【００９２】
ステップＳ３１において、クラスタップ抽出部３２、ノイズ量タップ抽出部３４、および予測タップ抽出部３６は、図１のクラスタップ抽出部１１と同様に、教師画像を構成する複数の画素のうちのまだ注目画素とされていない１つを、注目画素として決定する。
【００９３】
ステップＳ３２において、クラスタップ抽出部３２は、生徒画像から注目画素に対応するクラスタップを抽出し、クラス分類部３３に供給する。ステップＳ３３において、クラス分類部３３は、図１のクラス分類部１２と同様に、クラスタップ抽出部３２から供給されるクラスタップの特徴に応じて、注目画素をクラスに分類することにより、注目画素に対するクラスを生成する。クラス分類部３３は、そのクラスを正規方程式生成部３７に供給する。
【００９４】
ステップＳ３４において、ノイズ量タップ抽出部３４は、図１のノイズ量タップ抽出部１４と同様に、生徒画像から注目画素に対応するノイズ量タップを抽出し、ノイズ量演算部３５に供給する。
【００９５】
ステップＳ３５において、ノイズ量演算部３５は、図１のノイズ量演算部１５と同様に、ノイズ量タップ抽出部３４から供給されるノイズ量タップから、式（２）にしたがって注目画素に対応する推定ノイズ量σ´を演算し、正規方程式生成部３７に供給する。
【００９６】
ステップＳ３６において、予測タップ抽出部３６は、図１の予測タップ抽出部１７と同様に、生徒画像から注目画素に対応する予測タップを抽出し、正規方程式生成部３７に供給する。
【００９７】
ステップＳ３７において、正規方程式生成部３７は、クラス分類部３３から供給されるクラスごとに、ノイズ量演算部３５から供給される推定ノイズ量σ´、予測タップ抽出部３６から供給される予測タップ、および学習対記憶部３１から入力される教師画像を用いて、足し込み行列（図７）に対して足し込みを行う。
【００９８】
ステップＳ３８において、クラスタップ抽出部３２、ノイズ量タップ抽出部３４、および予測タップ抽出部３６は、教師画像を構成する全ての画素を注目画素に決定したかを判定する。ステップＳ３８で、教師画像を構成する全ての画素をまだ注目画素に決定していないと判定された場合、処理はステップＳ３１に戻り、上述した処理が繰り返される。
【００９９】
一方、ステップＳ３８で、教師画像を構成する全ての画素を注目画素に決定したと判定された場合、ステップＳ３９において、学習対記憶部３１は、全ての学習対に対してステップＳ３０乃至Ｓ３８の処理が行われたか、即ち、記憶している全ての学習対を出力したかを判定する。ステップＳ３９で、まだ全ての学習対に対してステップＳ３０乃至Ｓ３８の処理が行われていないと判定された場合、処理はステップＳ３０に戻り、上述した処理が繰り返される。
【０１００】
また、ステップＳ３９で、全ての学習対に対してステップＳ３０乃至Ｓ３８の処理が行われたと判定された場合、正規方程式生成部３７は、ステップＳ３７で足し込みが行われることにより生成された正規方程式を、係数生成部３８に供給する。
【０１０１】
そして、ステップＳ４０において、係数生成部３８は、正規方程式生成部３７から供給される正規方程式を解法することにより、処理係数を生成し、係数記憶部３９に記憶させる。
【０１０２】
以上のように、学習装置３０は、クラスタップの相関によって分類されるクラスごとに、輝度依存性ノイズを含む生徒画像と、輝度依存性ノイズが除去された理想的な画像である教師画像とを用いて最適な処理係数を学習するので、画像処理装置１０は、その処理係数と推定ノイズ量σ´とを用いて予測係数Ｗを生成することにより、クラス数を爆発させずに、クラスタップの相関と推定ノイズ量σ´に応じた、輝度依存性ノイズの除去に最適な予測係数Ｗを生成することができる。その結果、画像処理装置１０は、輝度依存性ノイズが除去された高画質の出力画像を生成することができる。
【０１０３】
なお、上述した説明では、注目画素をクラスタップの相関に応じてクラスに分類したが、クラスに分類しなくてもよい。
【０１０４】
次に、上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１０５】
そこで、図１０は、上述した一連の処理をプログラムにより実行するコンピュータ３００のハードウエア構成例を示している。
【０１０６】
コンピュータ３００において、CPU（Central Processing Unit）３０１，ROM（Read Only Memory）３０２，RAM（Random Access Memory）３０３は、バス３０４により相互に接続されている。
【０１０７】
バス３０４には、さらに、入出力インターフェース３０５が接続されている。入出力インターフェース３０５には、キーボード、マウス、マイクロホン、リモートコントローラから送信されてくる指令を受信する受信部などよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７、ハードディスクや不揮発性のメモリなどよりなる記憶部３０８、ネットワークインタフェースなどよりなる通信部３０９、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３１１を駆動するドライブ３１０が接続されている。
【０１０８】
以上のように構成されるコンピュータ３００では、CPU３０１が、例えば、記憶部３０８に記憶されているプログラムを、入出力インターフェース３０５およびおバス３０４を介して、RAM３０３にロードして実行することにより、上述した一連の処理が行われる。
【０１０９】
コンピュータ３００のCPU３０１が実行するプログラムは、例えば、リムーバブルメディア３１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１１０】
そして、プログラムは、リムーバブルメディア３１１をドライブ３１０に装着することにより、入出力インターフェース３０５を介して、記憶部３０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部３０９で受信し、記憶部３０８にインストールすることができる。その他、プログラムは、ROM３０２や記憶部３０８に、あらかじめインストールしておくことができる。
【０１１１】
なお、コンピュータ３００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１１２】
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１１３】
【図１】本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【図２】２種類のイメージセンサが有するノイズ量の光量依存性を示す図である。
【図３】予測係数の学習の規範について説明する図である。
【図４】３×３の画素の画素値からなるクラスタップを示す図である。
【図５】予測タップを構成する各画素値と乗算される予測係数を示す図である。
【図６】図１の画像処理装置によるノイズ除去処理について説明するフローチャートである。
【図７】足し込み行列を示す図である。
【図８】処理係数を学習する学習装置の構成例を示すブロック図である。
【図９】図８の学習装置による学習処理について説明するフローチャートである。
【図１０】コンピュータのハードウエア構成例を示すブロック図である。
【符号の説明】
【０１１４】
１０ 画像処理装置， １２ クラス分類部， １４ ノイズ量タップ抽出部， １５ ノイズ量演算部， １６ 予測係数生成部， １７ 予測タップ抽出部， １８ 予測部， ３０ 学習装置， ３３ クラス分類部， ３７ 正規方程式生成部， ３８ 係数生成部
【特許請求の範囲】
【請求項１】
第１の画像を、より高画質な第２の画像に変換する画像処理装置において、
前記第２の画像内の注目画素の位置およびその周辺の位置に対応する前記第１の画像内の複数の画素値を抽出する第１の画素値抽出手段と、
前記第１の画素値抽出手段により抽出された前記複数の画素値のそれぞれについて推定ノイズ量を求める推定ノイズ量演算手段と、
前記第１の画像に対応する生徒画像内の画素値の推定ノイズ量と第１の処理係数との演算により求められた第２の処理係数と、前記生徒画像との演算により、その生徒画像よりも高質な前記第２の画像に対応する教師画像を生成する関係式に基づく正規方程式により予め学習された前記第１の処理係数と、前記第１の画像内の前記複数の画素値のそれぞれについての推定ノイズ量との演算により、第２の処理係数を生成する処理係数生成手段と、
前記第２の画像内の注目画像の位置およびその周辺の位置に対応する前記第１の画像内の複数の画素値を抽出する第２の画素値抽出手段と、
前記第２の画素値抽出手段により抽出された前記複数の画素値と、前記第２の処理係数との演算により、前記第２の画像内の注目画素の画素値を生成する予測手段と
を備える画像処理装置。
【請求項２】
前記関係式は、前記教師画像内の注目画素の位置およびその周辺の位置に対応する前記生徒画像内のＮ個の画素の画素値から求められるＮ個の前記推定ノイズ量と、Ｎ×Ｎの行列式で表される前記第１の処理係数との行列演算により、Ｎ個の前記第２の処理係数を求め、そのＮ個の第２の処理係数と前記生徒画像内のＮ個の画素の画素値との線形一次結合により、前記教師画像内の注目画素を生成する関係を表す式である
請求項１に記載の画像処理装置。
【請求項３】
前記推定ノイズ量は、前記生徒画像内の画素値の２次式で求められる
請求項１に記載の画像処理装置。
【請求項４】
前記第２の画像内の注目画素の位置およびその周辺の位置に対応する前記第１の画像内の複数の画素値としてのクラスタップの特徴に応じて、前記注目画素に対するクラスを生成するクラス分類手段
をさらに備え、
前記処理係数生成手段は、前記クラスごとの前記正規方程式により予め学習された前記クラスごとの前記第１の処理係数のうちの、前記クラス分類手段により生成された前記クラスの第１の処理係数と、前記第１の画像内の前記複数の画素値のそれぞれについての推定ノイズ量との演算により、前記第２の処理係数を生成する
請求項１に記載の画像処理装置。
【請求項５】
第１の画像を、より高画質な第２の画像に変換する画像処理装置の画像処理方法において、
前記第２の画像内の注目画素の位置およびその周辺の位置に対応する前記第１の画像内の複数の画素値を抽出し、
その抽出された前記複数の画素値のそれぞれについて推定ノイズ量を求め、
前記第１の画像に対応する生徒画像内の画素値の推定ノイズ量と第１の処理係数との演算により求められた第２の処理係数と、前記生徒画像との演算により、その生徒画像よりも高質な前記第２の画像に対応する教師画像を生成する関係式に基づく正規方程式により予め学習された前記第１の処理係数と、前記第１の画像内の前記複数の画素値のそれぞれについての推定ノイズ量との演算により、第２の処理係数を求め、
前記第２の画像内の注目画像の位置およびその周辺の位置に対応する前記第１の画像内の複数の画素値を抽出し、
その抽出された前記複数の画素値と、前記第２の処理係数との演算により、前記第２の画像内の注目画素の画素値を生成する
ステップを含む画像処理方法。
【請求項６】
第１の画像を、より高画質な第２の画像に変換する画像処理を、コンピュータに行わせるプログラムにおいて、
前記第２の画像内の注目画素の位置およびその周辺の位置に対応する前記第１の画像内の複数の画素値を抽出し、
その抽出された前記複数の画素値のそれぞれについて推定ノイズ量を求め、
前記第１の画像に対応する生徒画像内の画素値の推定ノイズ量と第１の処理係数との演算により求められた第２の処理係数と、前記生徒画像との演算により、その生徒画像よりも高質な前記第２の画像に対応する教師画像を生成する関係式に基づく正規方程式により予め学習された前記第１の処理係数と、前記第１の画像内の前記複数の画素値のそれぞれについての推定ノイズ量との演算により、第２の処理係数を求め、
前記第２の画像内の注目画像の位置およびその周辺の位置に対応する前記第１の画像内の複数の画素値を抽出し、
その抽出された前記複数の画素値と、前記第２の処理係数との演算により、前記第２の画像内の注目画素の画素値を生成する
ステップを含む画像処理をコンピュータに行わせるプログラム。
【請求項７】
輝度依存性があるノイズを含む生徒画像内の画素値より推定ノイズ量を求め、その推定ノイズ量と第１の処理係数との演算により第２の処理係数を求め、その第２の処理係数と前記生徒画像との演算により、その生徒画像よりも高画質な教師画像を生成する関係式を解法するために、前記生徒画像の画素値と前記教師画像の画素値を用いて正規方程式を生成する正規方程式生成手段と、
前記正規方程式を解法することにより、前記第１の処理係数を生成する係数生成手段と
を備える学習装置。
【請求項８】
前記関係式は、前記教師画像内の注目画素の位置およびその周辺の位置に対応する前記生徒画像内のＮ個の画素の画素値から求められるＮ個の前記推定ノイズ量と、Ｎ×Ｎの行列式で表される前記第１の処理係数との行列演算により、Ｎ個の前記第２の処理係数を求め、そのＮ個の第２の処理係数と前記生徒画像内のＮ個の画素の画素値との線形一次結合により、前記教師画像内の注目画素を生成する関係を表す式である
請求項７に記載の学習装置。
【請求項９】
前記推定ノイズ量は、前記生徒画像内の画素値の２次式で求められる
請求項７に記載の学習装置。
【請求項１０】
前記教師画像内の注目画素の位置およびその周辺の位置に対応する前記生徒画像内の複数の画素値としてのクラスタップの特徴に応じて、前記注目画素に対するクラスを生成するクラス分類手段
をさらに備え、
前記正規方程式生成手段は、前記クラス分類手段により生成されたクラスごとに、前記生徒画像の画素値と前記注目画素の画素値を用いて前記正規方程式を生成する
請求項７に記載の学習装置。
【請求項１】
第１の画像を、より高画質な第２の画像に変換する画像処理装置において、
前記第２の画像内の注目画素の位置およびその周辺の位置に対応する前記第１の画像内の複数の画素値を抽出する第１の画素値抽出手段と、
前記第１の画素値抽出手段により抽出された前記複数の画素値のそれぞれについて推定ノイズ量を求める推定ノイズ量演算手段と、
前記第１の画像に対応する生徒画像内の画素値の推定ノイズ量と第１の処理係数との演算により求められた第２の処理係数と、前記生徒画像との演算により、その生徒画像よりも高質な前記第２の画像に対応する教師画像を生成する関係式に基づく正規方程式により予め学習された前記第１の処理係数と、前記第１の画像内の前記複数の画素値のそれぞれについての推定ノイズ量との演算により、第２の処理係数を生成する処理係数生成手段と、
前記第２の画像内の注目画像の位置およびその周辺の位置に対応する前記第１の画像内の複数の画素値を抽出する第２の画素値抽出手段と、
前記第２の画素値抽出手段により抽出された前記複数の画素値と、前記第２の処理係数との演算により、前記第２の画像内の注目画素の画素値を生成する予測手段と
を備える画像処理装置。
【請求項２】
前記関係式は、前記教師画像内の注目画素の位置およびその周辺の位置に対応する前記生徒画像内のＮ個の画素の画素値から求められるＮ個の前記推定ノイズ量と、Ｎ×Ｎの行列式で表される前記第１の処理係数との行列演算により、Ｎ個の前記第２の処理係数を求め、そのＮ個の第２の処理係数と前記生徒画像内のＮ個の画素の画素値との線形一次結合により、前記教師画像内の注目画素を生成する関係を表す式である
請求項１に記載の画像処理装置。
【請求項３】
前記推定ノイズ量は、前記生徒画像内の画素値の２次式で求められる
請求項１に記載の画像処理装置。
【請求項４】
前記第２の画像内の注目画素の位置およびその周辺の位置に対応する前記第１の画像内の複数の画素値としてのクラスタップの特徴に応じて、前記注目画素に対するクラスを生成するクラス分類手段
をさらに備え、
前記処理係数生成手段は、前記クラスごとの前記正規方程式により予め学習された前記クラスごとの前記第１の処理係数のうちの、前記クラス分類手段により生成された前記クラスの第１の処理係数と、前記第１の画像内の前記複数の画素値のそれぞれについての推定ノイズ量との演算により、前記第２の処理係数を生成する
請求項１に記載の画像処理装置。
【請求項５】
第１の画像を、より高画質な第２の画像に変換する画像処理装置の画像処理方法において、
前記第２の画像内の注目画素の位置およびその周辺の位置に対応する前記第１の画像内の複数の画素値を抽出し、
その抽出された前記複数の画素値のそれぞれについて推定ノイズ量を求め、
前記第１の画像に対応する生徒画像内の画素値の推定ノイズ量と第１の処理係数との演算により求められた第２の処理係数と、前記生徒画像との演算により、その生徒画像よりも高質な前記第２の画像に対応する教師画像を生成する関係式に基づく正規方程式により予め学習された前記第１の処理係数と、前記第１の画像内の前記複数の画素値のそれぞれについての推定ノイズ量との演算により、第２の処理係数を求め、
前記第２の画像内の注目画像の位置およびその周辺の位置に対応する前記第１の画像内の複数の画素値を抽出し、
その抽出された前記複数の画素値と、前記第２の処理係数との演算により、前記第２の画像内の注目画素の画素値を生成する
ステップを含む画像処理方法。
【請求項６】
第１の画像を、より高画質な第２の画像に変換する画像処理を、コンピュータに行わせるプログラムにおいて、
前記第２の画像内の注目画素の位置およびその周辺の位置に対応する前記第１の画像内の複数の画素値を抽出し、
その抽出された前記複数の画素値のそれぞれについて推定ノイズ量を求め、
前記第１の画像に対応する生徒画像内の画素値の推定ノイズ量と第１の処理係数との演算により求められた第２の処理係数と、前記生徒画像との演算により、その生徒画像よりも高質な前記第２の画像に対応する教師画像を生成する関係式に基づく正規方程式により予め学習された前記第１の処理係数と、前記第１の画像内の前記複数の画素値のそれぞれについての推定ノイズ量との演算により、第２の処理係数を求め、
前記第２の画像内の注目画像の位置およびその周辺の位置に対応する前記第１の画像内の複数の画素値を抽出し、
その抽出された前記複数の画素値と、前記第２の処理係数との演算により、前記第２の画像内の注目画素の画素値を生成する
ステップを含む画像処理をコンピュータに行わせるプログラム。
【請求項７】
輝度依存性があるノイズを含む生徒画像内の画素値より推定ノイズ量を求め、その推定ノイズ量と第１の処理係数との演算により第２の処理係数を求め、その第２の処理係数と前記生徒画像との演算により、その生徒画像よりも高画質な教師画像を生成する関係式を解法するために、前記生徒画像の画素値と前記教師画像の画素値を用いて正規方程式を生成する正規方程式生成手段と、
前記正規方程式を解法することにより、前記第１の処理係数を生成する係数生成手段と
を備える学習装置。
【請求項８】
前記関係式は、前記教師画像内の注目画素の位置およびその周辺の位置に対応する前記生徒画像内のＮ個の画素の画素値から求められるＮ個の前記推定ノイズ量と、Ｎ×Ｎの行列式で表される前記第１の処理係数との行列演算により、Ｎ個の前記第２の処理係数を求め、そのＮ個の第２の処理係数と前記生徒画像内のＮ個の画素の画素値との線形一次結合により、前記教師画像内の注目画素を生成する関係を表す式である
請求項７に記載の学習装置。
【請求項９】
前記推定ノイズ量は、前記生徒画像内の画素値の２次式で求められる
請求項７に記載の学習装置。
【請求項１０】
前記教師画像内の注目画素の位置およびその周辺の位置に対応する前記生徒画像内の複数の画素値としてのクラスタップの特徴に応じて、前記注目画素に対するクラスを生成するクラス分類手段
をさらに備え、
前記正規方程式生成手段は、前記クラス分類手段により生成されたクラスごとに、前記生徒画像の画素値と前記注目画素の画素値を用いて前記正規方程式を生成する
請求項７に記載の学習装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００９−１５３００３（Ｐ２００９−１５３００３Ａ）
【公開日】平成２１年７月９日（２００９．７．９）
【国際特許分類】
【出願番号】特願２００７−３３０４５２（Ｐ２００７−３３０４５２）
【出願日】平成１９年１２月２１日（２００７．１２．２１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２１年７月９日（２００９．７．９）
【国際特許分類】
【出願日】平成１９年１２月２１日（２００７．１２．２１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]