画像処理装置および画像処理方法、学習装置および学習方法、プログラム、並びに記録媒体
【課題】ベイヤ配列の画像からノイズが低減された輝度色差空間の画像を高精度に生成することできるようにする。
【解決手段】予測信号処理部は、輝度成分用の予測係数と輝度予測タップとの演算により、注目画素の輝度成分の画素値を求める。予測信号処理部は、輝度成分用の予測係数に比べてノイズ低減効果の高い色差成分用の予測係数と、色差予測タップとの演算により、注目画素の色差成分の画素値を求める。本技術は、例えば、画像処理装置に適用することができる。
【解決手段】予測信号処理部は、輝度成分用の予測係数と輝度予測タップとの演算により、注目画素の輝度成分の画素値を求める。予測信号処理部は、輝度成分用の予測係数に比べてノイズ低減効果の高い色差成分用の予測係数と、色差予測タップとの演算により、注目画素の色差成分の画素値を求める。本技術は、例えば、画像処理装置に適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置および画像処理方法、学習装置および学習方法、プログラム、並びに記録媒体に関し、特に、ベイヤ配列の画像からノイズが低減された輝度色差空間の画像を高精度に生成することできるようにした画像処理装置および画像処理方法、学習装置および学習方法、プログラム、並びに記録媒体に関する。
【背景技術】
【０００２】
従来、小型化のため、CCD（Charge Coupled Device）やCMOS（Complementary Metal-Oxide Semiconductor）イメージセンサ等の撮像素子を１つだけ備える撮影装置がある。このような撮影装置では、一般的に、撮像素子の各画素に異なるカラーフィルタが施され、画素ごとに、ＲＧＢ等の複数の色のうちのいずれか１つの色の信号が取得される。これにより、撮像素子で取得される画像は、例えば、図１に示すようなカラー配列の画像となる。以下では、図１のカラー配列をベイヤ配列という。
【０００３】
撮像素子により取得されたベイヤ配列の画像は、通常、デモザイク処理と呼ばれる補間処理により、画素ごとにＲＧＢ等の複数の色の成分の画素値を有するカラー画像に変換される。このデモザイク処理として、クラス分類適応処理を用いることにより、カラー画像のノイズを低減させることが考えられている（例えば、特許文献１参照）。
【０００４】
クラス分類適応処理とは、処理後の画像の注目している画素である注目画素を所定のクラスに分類し、そのクラスに対応する学習により求められた予測係数と、注目画素に対応する処理前の画像の画素値との線形結合により注目画素の画素値を予測する処理である。
【０００５】
図２は、デモザイク処理としてクラス分類適応処理を行う画像処理装置の構成の一例を示すブロック図である。
【０００６】
図２の画像処理装置１０は、撮像素子１１と予測信号処理部１２により構成される。
【０００７】
画像処理装置１０の撮像素子１１は、各画素に異なるカラーフィルタが施されている。撮像素子１１は、被写体からの光のＲ成分、Ｇ成分、およびＢ成分のうちのいずれか１つの成分のアナログ信号を画素ごとに取得し、A/D変換等を行うことにより、ベイヤ配列の画像を生成する。撮像素子１１は、生成されたベイヤ配列の画像を予測信号処理部１２に供給する。
【０００８】
予測信号処理部１２は、撮像素子１１からのベイヤ配列の画像に対してクラス分類適応処理を行い、ノイズが低減された、各画素のＲ成分、Ｇ成分、およびＢ成分の画素値からなるカラー画像であるＲＧＢ画像を生成する。
【０００９】
具体的には、予測信号処理部１２は、ＲＧＢ画像の各画素を順に注目画素とし、その注目画素を、その注目画素の周辺のベイヤ配列の画像の画素の画素値を用いて色成分ごとに所定のクラスに分類する。また、予測信号処理部１２は、ベイヤ配列の画像を生徒画像とし、ノイズが低減されたＲＧＢ画像を教師画像とした学習により色成分およびクラスごとに求められた予測係数を予め保持している。そして、予測信号処理部１２は、色成分ごとに、注目画素のクラスに対応する予測係数と、注目画素の周辺のベイヤ配列の画像の画素値との線形結合により注目画素の画素値を予測する。これにより、ノイズが低減されたＲＧＢ画像が生成される。予測信号処理部１２は、ノイズが低減されたＲＧＢ画像を出力画像として出力する。
【００１０】
ところで、図２の予測信号処理部１２におけるクラス分類適応処理では、予測係数が色成分およびクラスごとに求められるので、出力画像におけるノイズ低減の度合を色成分以外の単位で調節することはできない。従って、出力画像におけるノイズ低減の度合を調整した場合であっても、いずれかの色成分におけるノイズ低減の度合が比較的強く、その色成分のノイズ以外の部分にも影響が与えられる場合、エッジ部分において偽色が発生するなどの弊害が発生する。
【００１１】
これに対して、デモザイク処理の結果得られるＲＧＢ画像を輝度色差空間の画像（以下、ＹＵＶ画像という）に変換し、ＹＵＶ画像に対してクラス分類適応処理を行うことによりＹＵＶ画像のノイズを低減する方法がある。この方法では、輝度の鮮鋭感には敏感だが、色差の鮮鋭感には鈍感であるという人間の視覚特性を考慮して、色差成分（Ｃｂ，Ｃｒ成分）におけるノイズ低減の度合が、輝度成分（Ｙ成分）におけるノイズ低減の度合に比べて強められる。これにより、出力画像の色差成分のノイズは低減されるが、輝度成分（Ｙ成分）のノイズ以外の部分は影響を受けないため、鮮鋭感の低減は目で感じにくい。即ち、鮮鋭感の低下を伴わずに色ノイズを低減することが可能となる。
【００１２】
図３は、このような方法を用いてベイヤ配列の画像をノイズが低減されたＹＵＶ画像に変換する画像処理装置の構成の一例を示す図である。
【００１３】
図３に示す構成のうち、図２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【００１４】
図３の画像処理装置２０は、撮像素子１１、デモザイク処理部２１、輝度視差変換部２２、並びに予測信号処理部２３および２４により構成される。
【００１５】
画像処理装置２０のデモザイク処理部２１は、撮像素子１１により生成されるベイヤ配列の画像に対してデモザイク処理を行い、その結果得られるＲＧＢ画像を輝度色差変換部２２に供給する。
【００１６】
輝度色差変換部２２は、デモザイク処理部２１から供給されるＲＧＢ画像をＹＵＶ画像に変換する輝度色差変換処理を行う。輝度色差変換部２２は、その結果得られるＹＵＶ画像のうちの輝度成分を予測信号処理部２３に供給し、輝度成分を予測信号処理部２４に供給する。
【００１７】
予測信号処理部２３は、輝度色差変換部２２から供給されるＹＵＶ画像の輝度成分に対してクラス分類適応処理を行い、ノイズが低減されたＹＵＶ画像の輝度成分を生成する。
【００１８】
具体的には、予測信号処理部２３は、ノイズが低減されたＹＵＶ画像の各画素を順に注目画素とし、その注目画素の輝度成分を、その注目画素の周辺の、輝度色差変換部２２からのノイズ低減前のＹＵＶ画像の画素の画素値を用いて所定のクラスに分類する。また、予測信号処理部２３は、ノイズ低減前のＹＵＶ画像を生徒画像とし、ノイズ低減後のＹＵＶ画像を教師画像とした学習によりクラスごとに求められた輝度成分用の予測係数を予め保持している。そして、予測信号処理部２３は、注目画素の輝度成分のクラスに対応する輝度成分用の予測係数と、注目画素の周辺のノイズ低減前のＹＵＶ画像の画素値との線形結合により注目画素の輝度成分の画素値を予測する。これにより、ノイズが低減されたＹＵＶ画像の輝度成分が生成される。予測信号処理部２３は、ノイズが低減されたＹＵＶ画像の輝度成分を、出力画像の輝度成分として出力する。
【００１９】
予測信号処理部２４は、予測信号処理部２３と同様に、学習によりクラスごとに求められた色差成分用の予測係数を用いて、輝度色差変換部２２から供給されるＹＵＶ画像の色差成分に対してクラス分類適応処理を行う。そして、予測信号処理部２４は、その結果生成されるノイズが低減されたＹＵＶ画像の色差成分を、出力画像の色差成分として出力する。
【００２０】
なお、輝度成分用の予測係数と色差成分用の予測係数は、出力画像の色差成分におけるノイズ低減の度合が、輝度成分におけるノイズ低減の度合に比べて強くなるように学習される。
【先行技術文献】
【特許文献】
【００２１】
【特許文献１】特許４４３３５４５号公報
【発明の概要】
【発明が解決しようとする課題】
【００２２】
図３の画像処理装置２０は、ベイヤ配列の画像に対して、デモザイク処理、輝度色差変換処理、およびクラス分類適応処理の３つの処理を行うので、デモザイク処理等によりベイヤ配列の画像に存在する細線部などの情報が失われると、出力画像の精度が劣化する。
【００２３】
具体的には、デモザイク処理により細線部などの情報が失われ、ＲＧＢ画像が平坦部を有する場合、輝度色差変換部２２では、ＲＧＢ画像の平坦部が、本来存在する平坦部であるか、細線部が失われたことによる平坦部であるかを認識することは困難である。従って、デモザイク処理により細線部などの情報が失われた場合であっても、輝度色差変換部２２は、デモザイク処理部２１から供給されるＲＧＢ画像を、細線部などの情報が失われていないＲＧＢ画像としてＹＵＶ画像に変換する。その結果、出力画像は、デモザイク処理前のベイヤ配列の画像を平滑化した画像に対応するものとなり、出力画像の精度が劣化する。
【００２４】
同様に、デモザイク処理によりベイヤ配列の画像には存在しない色のエッジなどが生成された場合も、出力画像の精度が劣化する。
【００２５】
本技術は、このような状況に鑑みてなされたものであり、ベイヤ配列の画像からノイズが低減されたＹＵＶ画像を高精度に生成することできるようにするものである。
【課題を解決するための手段】
【００２６】
本技術の第１の側面の画像処理装置は、ベイヤ配列の画像の各画素の輝度成分と色差成分の画素値から構成される画像であって、ノイズが低減された画像であるノイズ低減画像に対応する教師画像と、前記ベイヤ配列の画像に対応する生徒画像とを用いて、前記教師画像の各画素の輝度成分の画素値、その画素に対応する前記生徒画像の画素の画素値、および輝度成分用の予測係数の関係を示す式を解くことにより学習された前記輝度成分用の予測係数と、所定のベイヤ配列の画像に対応する所定のノイズ低減画像のうちの注目している画素である注目画素に対応する、前記所定のベイヤ配列の画像の画素の画素値からなる輝度予測タップとの演算により、前記注目画素の輝度成分の画素値を求める輝度予測演算部と、前記教師画像と前記生徒画像を用いて、前記教師画像の各画素の色差成分の画素値、その画素に対応する前記生徒画像の画素の画素値、および色差成分用の予測係数の関係を示す式を解くことにより学習された、前記輝度成分用の予測係数に比べてノイズ低減効果の高い色差成分用の予測係数と、前記所定のノイズ低減画像のうちの前記注目画素に対応する、前記所定のベイヤ配列の画像の画素の画素値からなる色差予測タップとの演算により、前記注目画素の色差成分の画素値を求める色差予測演算部とを備える画像処理装置である。
【００２７】
本技術の第１の側面の画像処理方法、プログラム、および記録媒体に記録されているプログラムは、本技術の第１の側面の画像処理装置に対応する。
【００２８】
本技術の第１の側面においては、ベイヤ配列の画像の各画素の輝度成分と色差成分の画素値から構成される画像であって、ノイズが低減された画像であるノイズ低減画像に対応する教師画像と、前記ベイヤ配列の画像に対応する生徒画像とを用いて、前記教師画像の各画素の輝度成分の画素値、その画素に対応する前記生徒画像の画素の画素値、および輝度成分用の予測係数の関係を示す式を解くことにより学習された前記輝度成分用の予測係数と、所定のベイヤ配列の画像に対応する所定のノイズ低減画像のうちの注目している画素である注目画素に対応する、前記所定のベイヤ配列の画像の画素の画素値からなる輝度予測タップとの演算により、前記注目画素の輝度成分の画素値が求められ、前記教師画像と前記生徒画像を用いて、前記教師画像の各画素の色差成分の画素値、その画素に対応する前記生徒画像の画素の画素値、および色差成分用の予測係数の関係を示す式を解くことにより学習された、前記輝度成分用の予測係数に比べてノイズ低減効果の高い色差成分用の予測係数と、前記所定のノイズ低減画像のうちの前記注目画素に対応する、前記所定のベイヤ配列の画像の画素の画素値からなる色差予測タップとの演算により、前記注目画素の色差成分の画素値が求められる。
【００２９】
本技術の第２の側面の学習装置は、所定のベイヤ配列の画像を、前記所定のベイヤ配列の画像の各画素の輝度成分と色差成分の画素値から構成される画像であって、ノイズが低減された画像である所定のノイズ低減画像に変換するときに用いられる予測係数の学習に用いる、前記所定のノイズ低減画像に対応する教師画像のうちの注目している画素である注目画素に対応する、前記所定のベイヤ配列の画像に対応する生徒画像の画素の画素値からなる予測タップと、前記注目画素の画素値とを用いて、前記教師画像の各画素の画素値、その画素の前記予測タップ、および前記予測係数の関係を示す式を解くことで、前記予測係数を求める学習部を備える学習装置である。
【００３０】
本技術の第２の側面の学習方法、プログラム、および記録媒体に記録されているプログラムは、本技術の第２の側面の学習装置に対応する。
【００３１】
本技術の第２の側面においては、所定のベイヤ配列の画像を、前記所定のベイヤ配列の画像の各画素の輝度成分と色差成分の画素値から構成される画像であって、ノイズが低減された画像である所定のノイズ低減画像に変換するときに用いられる予測係数の学習に用いる、前記所定のノイズ低減画像に対応する教師画像のうちの注目している画素である注目画素に対応する、前記所定のベイヤ配列の画像に対応する生徒画像の画素の画素値からなる予測タップと、前記注目画素の画素値とを用いて、前記教師画像の各画素の画素値、その画素の前記予測タップ、および前記予測係数の関係を示す式を解くことで、前記予測係数が求められる。
【発明の効果】
【００３２】
本技術の第１の側面によれば、ベイヤ配列の画像からノイズが低減されたＹＵＶ画像を高精度に生成することできる。
【００３３】
また、本技術の第２の側面によれば、ベイヤ配列の画像からノイズが低減されたＹＵＶ画像を高精度に生成するための予測係数を学習することができる。
【図面の簡単な説明】
【００３４】
【図１】ベイヤ配列の例を示す図である。
【図２】従来の画像処理装置の構成の一例を示すブロック図である。
【図３】従来の画像処理装置の他の構成の一例を示すブロック図である。
【図４】本技術を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【図５】図４の予測信号処理部の詳細構成例を示すブロック図である。
【図６】クラスタップのタップ構造の例を示す図である。
【図７】予測タップのタップ構造の例を示す図である。
【図８】画像処理装置の画像処理を説明するフローチャートである。
【図９】輝度成分用のクラス分類適応処理の詳細を説明するフローチャートである。
【図１０】学習装置の構成例を示すブロック図である。
【図１１】学習装置の学習処理を説明するフローチャートである。
【図１２】コンピュータの一実施の形態の構成例を示す図である。
【発明を実施するための形態】
【００３５】
＜一実施の形態＞
［画像処理装置の一実施の形態の構成例］
図４は、本技術を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【００３６】
図４に示す構成のうち、図３の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【００３７】
図４の画像処理装置５０は、撮像素子１１、画素欠陥補正部５１、クランプ処理部５２、ホワイトバランス部５３、予測信号処理部５４、予測信号処理部５５、および出力色空間変換部５６により構成される。画像処理装置５０は、クラス分類適応処理を用いて、ベイヤ配列の画像からノイズが低減されたＹＵＶ画像を直接生成する。
【００３８】
画像処理装置５０の画素欠陥補正部５１、クランプ処理部５２、およびホワイトバランス部５３は、出力画像の画質を高めるために、撮像素子１１により生成されるベイヤ配列の画像に対して前処理を行う。
【００３９】
具体的には、画素欠陥補正部５１は、撮像素子１１から供給されるベイヤ配列の画像のうち、撮像素子１１の欠陥のある画素の画素値を検出する。ここで、撮像素子１１の欠陥のある画素とは、何らかの理由で入射光に反応しない素子や常に電荷を蓄えている素子である。画素欠陥補正部５１は、検出された撮像素子１１の欠陥のある画素の画素値を、周囲の欠陥のない画素の画素値などを用いて補正し、補正後のベイヤ配列の画像をクランプ処理部５２に供給する。
【００４０】
クランプ処理部５２は、画素欠陥補正部５１から供給される補正後のベイヤ配列の画像をクランプする。具体的には、撮像素子１１は、負の値が削除されることを防止するため、アナログ信号の信号値を正の方向にシフトした後、A/D変換を行う。従って、クランプ処理部５２は、そのA/D変換時のシフト分を打ち消すように、補正後のベイヤ配列の画像をクランプする。クランプ処理部５２は、クランプ後のベイヤ配列の画像をホワイトバランス部５３に供給する。
【００４１】
ホワイトバランス部５３は、クランプ処理部５２から供給されるベイヤ配列の画像の各色成分のゲインを補正することにより、ホワイトバランスを調整する。ホワイトバランス部５３は、ホワイトバランスが調整されたベイヤ配列の画像を、予測信号処理部５４と予測信号処理部５５に供給する。
【００４２】
予測信号処理部５４は、ユーザにより指定されたノイズ低減の度合を表すノイズパラメータに基づいて、ホワイトバランス部５３からのベイヤ配列の画像に対して輝度成分用のクラス分類適応処理を行い、ノイズが低減されたＹＵＶ画像の輝度成分を生成する。予測信号処理部５４は、ノイズが低減されたＹＵＶ画像の輝度成分を出力色空間変換部５６に供給する。
【００４３】
予測信号処理部５５は、ユーザにより指定されたノイズパラメータに基づいて、ホワイトバランス部５３からのベイヤ配列の画像に対して色差成分用のクラス分類適応処理を行い、ノイズが低減されたＹＵＶ画像の色差成分を生成する。予測信号処理部５５は、ノイズが低減されたＹＵＶ画像の色差成分を出力色空間変換部５６に供給する。
【００４４】
出力色空間変化部５６は、予測信号処理部５４からの輝度成分と予測信号処理部５５からの色差成分からなるＹＵＶ画像を、ＹＵＶ画像またはＲＧＢ画像のうちのユーザにより予め選択された画像に変換し、変換後の画像を出力画像として出力する。
【００４５】
具体的には、ユーザにより予め選択された画像がＹＵＶ画像である場合、出力色空間変換部５６は、予測信号処理部５４からの輝度成分と予測信号処理部５５からの色差成分からなるＹＵＶ画像をそのまま出力画像として出力する。一方、ユーザにより予め選択された画像がＲＧＢ画像である場合、出力色空間変換部５６は、予測信号処理部５４からの輝度成分と予測信号処理部５５からの色差成分からなるＹＵＶ画像を、例えばITU-R BT.601などに準拠してＲＧＢ画像に変換する。そして、出力色空間変換部５６は、そのＲＧＢ画像を出力画像として出力する。
【００４６】
［予測信号処理部の詳細構成例］
図５は、図４の予測信号処理部５４の詳細構成例を示すブロック図である。
【００４７】
図５の予測信号処理部５４は、予測タップ取得部７１、クラスタップ取得部７２、クラス番号発生部７３、係数発生部７４、および予測演算部７５により構成される。
【００４８】
予測信号処理部５４の予測タップ取得部７１は、予測するノイズが低減されたＹＵＶ画像の各画素を順に注目画素とする。予測タップ取得部７１は、図４のホワイトバランス部５３から供給されるベイヤ配列の画像から、注目画素の輝度成分の画素値を予測するために用いる１以上の画素値を予測タップとして取得する。そして、予測タップ取得部７１は、予測タップを予測演算部７５に供給する。
【００４９】
クラスタップ取得部７２は、ホワイトバランス部５３から供給されるベイヤ配列の画像から、注目画素の輝度成分の画素値を１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うために用いる１以上の画素値を、クラスタップとして取得する。そして、クラスタップ取得部７２は、クラスタップをクラス番号発生部７３に供給する。
【００５０】
クラス番号発生部７３は、輝度クラス分類部として機能し、クラスタップ取得部７２から供給されるクラスタップに基づいて、注目画素の輝度成分の画素値をクラス分類する。クラス番号発生部７３は、その結果得られるクラスに対応するクラス番号を発生して、係数発生部７４に供給する。
【００５１】
クラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)を用いる方法を採用することができる。
【００５２】
クラス分類を行う方法としてADRCを用いる方法が採用された場合、クラスタップを構成する画素値がADRC処理され、その結果得られる再量子化コードにしたがって、注目画素のクラス番号が決定される。
【００５３】
具体的には、ADRC処理として、以下の式（１）により、クラスタップの最大値MAXと最小値MINの間を指定されたビット数ｐで均等に分割して再量子化する処理が行われる。
【００５４】
qi=[(ki-MIN+0.5)*2^p/DR]
・・・（１）
【００５５】
なお、式（１）において、［］は、［］内の値の小数点以下を切り捨てることを意味する。また、kiは、クラスタップのi番目の画素値を表し、qiは、クラスタップのi番目の画素値の再量子化コードを表す。また、DRは、ダイナミックレンジであり、MAX-MIN+1である。
【００５６】
そして、このようにして求められた再量子化コードqiを用いて、以下の式（２）により、注目画素のクラス番号classが算出される。
【００５７】
【数１】
【００５８】
なお、式（２）において、ｎは、クラスタップを構成する画素値の数である。
【００５９】
クラス分類を行う方法としては、ADRCを用いる方法の他に、DCT(Discrete Cosine Transform)，VQ(Vector Quantization)，DPCM（differential pulse code modulation）などのデータ圧縮方式を応用し、データ圧縮した結果のデータ量をクラス番号とする方法などを用いることもできる。
【００６０】
係数発生部７４は、図１０および図１１を参照して後述する学習によって求められたクラスおよびノイズパラメータごとの輝度成分用の予測係数を記憶する。係数発生部７４は、記憶している輝度成分用の予測係数のうちの、クラス番号発生部７３からのクラス番号に対応するクラスおよびユーザにより指定されたノイズパラメータに対応する輝度成分用の予測係数を読み出し、予測演算部７５に供給する。
【００６１】
予測演算部７５は、予測タップ取得部７１から供給される予測タップと、係数発生部７４から供給される輝度成分用の予測係数とを用いて、注目画素の輝度成分の画素値の真値の予測値を求める所定の予測演算を行う。これにより、予測演算部７５は、注目画素の輝度成分の画素値の予測値を、ノイズが低減されたＹＵＶ画像の注目画素の輝度成分の画素値として生成し、出力する。
【００６２】
なお、予測信号処理部５５の構成は、予測信号処理部５４の構成と同様であるので、説明は省略する。但し、予測信号処理部５５に記憶される予測係数は、輝度成分用の予測係数ではなく、より強いノイズ低減効果を有する色差成分用の予測係数である。色差成分用の予測係数は、Ｃｂ成分に対するものとＣｒ成分に対するもので異なっていてもよいし、同一であってもよい。
【００６３】
また、本実施の形態では、予測信号処理部５４と予測信号処理部５５におけるクラス分類を行う方法が同一であるものとするが、異なっていてもよい。
【００６４】
［クラスタップのタップ構造の例］
図６は、クラスタップのタップ構造の例を示す図である。なお、クラスタップのタップ構造は、図６の構造以外の構造とすることが可能である。
【００６５】
図６において、正方形はベイヤ配列の画像の各画素を表しており、正方形内のＲ，Ｇ，Ｂは、それぞれ、その正方形が表す画素の画素値がＲ成分、Ｇ成分、Ｂ成分の画素値であることを表している。また、バツ印は、そのバツ印が付された正方形が表す画素が、ＹＵＶ画像内の注目画素の位置と同一のベイヤ配列の画像内の位置の画素（以下、注目対応画素という）であることを表している。丸印は、その丸印が付された正方形が表す画素が、注目画素のクラスタップに対応する画素であることを表している。
【００６６】
図６の例では、注目対応画素を中心として、水平方向および垂直方向に、それぞれ、１画素おいて並ぶ合計５個の画素と、斜め方向に隣接する合計４個の画素とからなる合計９個の画素の画素値がクラスタップとされる。この場合、クラスタップの各画素値に対応する色成分は、注目対応画素に対応する色成分と同一になる。即ち、図６の例では、注目対応画素に対応する色成分がＧ成分であるので、クラスタップの各画素値に対応する色成分もＧ成分である。
【００６７】
［予測タップのタップ構造の例］
図７は、予測タップのタップ構造の例を示す図である。なお、予測タップのタップ構造は、図７の構造以外の構造とすることが可能である。
【００６８】
図７において、正方形はベイヤ配列の画像の各画素を表しており、正方形内のＲ，Ｇ，Ｂは、それぞれ、その正方形が表す画素の画素値がＲ成分、Ｇ成分、Ｂ成分の画素値であることを表している。また、バツ印は、そのバツ印が付された正方形が表す画素が注目対応画素であることを表しており、丸印は、その丸印が付された正方形が表す画素が、注目画素の予測タップに対応する画素であることを表している。
【００６９】
図７の例では、注目対応画素を中心として水平方向および垂直方向に、それぞれ、５個ずつ並ぶ合計９個の画素と、注目対応画素の左右に隣接する２個の画素それぞれと上下に隣接する合計４個の画素とからなる合計１３個の画素の画素値が予測タップとされる。即ち、予測タップを構成する画素値に対応する画素は、いわばひし形状に並んでいる。
【００７０】
なお、本実施の形態では、予測信号処理部５４と予測信号処理部５５における、クラスタップおよび予測タップの構造が同一であるものとするが、異なっていてもよい。
【００７１】
［予測演算の説明］
次に、図５の予測演算部７５における予測演算と、その予測演算に用いられる輝度成分用の予測係数の学習について説明する。
【００７２】
いま、所定の予測演算として、例えば、線形１次予測演算を採用することとすると、ノイズが低減されたＹＵＶ画像の各画素の輝度成分の画素値ｙは、次の線形１次式によって求められることになる。
【００７３】
【数２】
【００７４】
なお、式（３）において、ｘiは、画素値ｙについての予測タップを構成する画素値のうちのｉ番目の画素値を表し、Ｗiは、そのｉ番目の画素値と乗算されるi番目の輝度成分用の予測係数を表す。また、nは、予測タップを構成する画素値の数を表している。
【００７５】
また、第ｋサンプルのノイズが低減されたＹＵＶ画像の画素の輝度成分の画素値の予測値をｙk’と表すと、予測値ｙk’は以下の式（４）で表される。
【００７６】
yk’=W1×xk1＋W2×xk2＋・・・＋Wn×xkn
・・・（４）
【００７７】
なお、式（４）において、ｘkiは、予測値ｙk’の真値についての予測タップを構成する画素値のうちのi番目の画素値を表し、Ｗiは、そのｉ番目の画素値と乗算されるi番目の輝度成分用の予測係数を表す。また、nは、予測タップを構成する画素値の数を表している。
【００７８】
また、予測値ｙk’の真値をｙkと表すと、予測誤差ｅkは、以下の式（５）で表される。
【００７９】
ek=yk-｛W1×xk1＋W2×xk2＋・・・＋Wn×xkn｝
・・・（５）
【００８０】
なお、式（５）において、ｘkiは、予測値ｙk’の真値についての予測タップを構成する画素値のうちのi番目の画素値を表し、Ｗiは、そのｉ番目の画素値と乗算されるi番目の輝度成分用の予測係数を表す。また、nは、予測タップを構成する画素値の数を表している。
【００８１】
式（５）の予測誤差ｅkを０とする輝度成分用の予測係数Ｗiが、真値ｙkを予測するのに最適なものとなるが、学習用のサンプルの数がｎより小さい場合は、輝度成分用の予測係数Ｗiは一意に定まらない。
【００８２】
そこで、輝度成分用の予測係数Ｗiが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適な輝度成分用の予測係数Ｗiは、以下の式（６）で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【００８３】
【数３】
【００８４】
式（６）の自乗誤差の総和Ｅの最小値（極小値）は、以下の式（７）に示すように、総和Ｅを輝度成分用の予測係数Ｗiで偏微分したものを０とするＷiによって与えられる。
【００８５】
【数４】
【００８６】
以下の式（８）および式（９）に示すようにＸjiとＹiを定義すると、式（７）は、以下の式（１０）のように行列式の形で表すことができる。
【００８７】
【数５】
【００８８】
【数６】
【００８９】
【数７】
【００９０】
なお、式（８）乃至（１０）において、ｘkiは、予測値ｙk’の真値ｙkについての予測タップを構成する画素値のうちのi番目の画素値を表し、Ｗiは、そのｉ番目の画素値と乗算されるi番目の輝度成分用の予測係数を表す。また、nは、予測タップを構成する画素値の数を表し、ｍは、学習用のサンプルの数を表している。
【００９１】
式（１０）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などの一般的な行列解法を用いることにより、輝度成分用の予測係数Ｗiについて解くことができる。
【００９２】
以上により、クラスおよびノイズパラメータごとの最適な輝度成分用の予測係数Ｗiの学習は、式（１０）の正規方程式をクラスおよびノイズパラメータごとにたてて解くことにより行うことができる。
【００９３】
なお、画素値ｙは、式（３）に示した線形１次式ではなく、２次以上の高次の式によって求められるようにすることも可能である。
【００９４】
また、説明は省略するが、図４の予測信号処理部５５における予測演算と、その予測演算に用いられるクラスおよびノイズパラメータごとの色差成分用の予測係数の学習も、図５の予測演算部７５における予測演算と、その予測演算に用いられるクラスおよびノイズパラメータごとの輝度成分用の予測係数の学習と同様に行われる。
【００９５】
［画像処理装置の処理の説明］
図８は、図４の画像処理装置５０の画像処理を説明するフローチャートである。この画像処理は、例えば、撮像素子１１からベイヤ配列の画像が供給されたとき、開始される。
【００９６】
図８のステップＳ１１において、画像処理装置５０の画素欠陥補正部５１は、図３の撮像素子１１から供給されるベイヤ配列の画像のうち、撮像素子１１の欠陥のある画素の画素値を検出する。
【００９７】
ステップＳ１２において、画素欠陥補正部５１は、ステップＳ１１で検出された撮像素子１１の欠陥のある画素の画素値を、周囲の欠陥のない画素の画素値などを用いて補正し、補正後のベイヤ配列の画像をクランプ処理部５２に供給する。
【００９８】
ステップＳ１３において、クランプ処理部５２は、画素欠陥補正部５１から供給される補正後のベイヤ配列の画像をクランプする。クランプ処理部５２は、クランプ後のベイヤ配列の画像をホワイトバランス部５３に供給する。
【００９９】
ステップＳ１４において、ホワイトバランス部５３は、クランプ処理部５２から供給されるクランプ後のベイヤ配列の画像の各色成分のゲインを補正することにより、ホワイトバランスを調整する。ホワイトバランス部５３は、ホワイトバランスが調整されたベイヤ配列の画像を予測信号処理部５４と予測信号処理部５５に供給する。
【０１００】
ステップＳ１５において、予測信号処理部５４は輝度成分用のクラス分類適応処理を行い、予測信号処理部５５は色差成分用のクラス分類適応処理を行う。予測信号処理部５４は、輝度成分用のクラス分類適応処理の結果得られるノイズが低減されたＹＵＶ画像の輝度成分を、出力色空間変換部５６に供給する。また、予測信号処理部５５は、色差成分用のクラス分類適応処理の結果得られるノイズが低減されたＹＵＶ画像の色差成分を、出力色空間変換部５６に供給する。
【０１０１】
ステップＳ１６において、出力色空間変換部５６は、予測信号処理部５４からの輝度成分と予測信号処理部５５からの色差成分からなるＹＵＶ画像を、ＹＵＶ画像またはＲＧＢ画像のうちのユーザにより予め選択された画像に変換する。出力色空間変換部５６は、変換後の画像を出力画像として出力し、処理を終了する。
【０１０２】
図９は、図８のステップＳ１５の輝度成分用のクラス分類適応処理の詳細を説明するフローチャートである。
【０１０３】
図９のステップＳ３１において、予測信号処理部５４の予測タップ取得部７１は、予測するノイズが低減されたＹＵＶ画像の画素のうちの、まだ注目画素とされていない画素を注目画素に決定する。
【０１０４】
ステップＳ３２において、予測タップ取得部７１は、図４のホワイトバランス部５３から供給されるベイヤ配列の画像から、注目画素の輝度成分の画素値を予測するために用いる１以上の画素値を予測タップとして取得する。そして、予測タップ取得部７１は、予測タップを予測演算部７５に供給する。
【０１０５】
ステップＳ３３において、クラスタップ取得部７２は、ホワイトバランス部５３から供給されるベイヤ配列の画像から、注目画素の輝度成分の画素値をクラス分類するために用いる１以上の画素値を、クラスタップとして取得する。そして、クラスタップ取得部７２は、クラスタップをクラスタップ取得部７２に供給する。
【０１０６】
ステップＳ３４において、クラス番号発生部７３は、クラスタップ取得部７２から供給されるクラスタップに基づいて、注目画素の輝度成分の画素値をクラス分類する。クラス番号発生部７３は、その結果得られるクラスに対応するクラス番号を発生して、係数発生部７４に供給する。
【０１０７】
ステップＳ３５において、係数発生部７４は、記憶している輝度成分用の予測係数のうちの、クラス番号発生部７３から供給されるクラス番号に対応するクラスおよびユーザにより指定されたノイズパラメータに対応する輝度成分用の予測係数を読み出す。そして、係数発生部７４は、読み出された予測係数を予測演算部７５に供給する。
【０１０８】
ステップＳ３６において、予測演算部７５は、予測タップ取得部７１から供給される予測タップと、係数発生部７４から供給される輝度成分用の予測係数とを用いて、上述した式（３）の演算を所定の予測演算として行う。これにより、予測演算部７５は、注目画素の輝度成分の画素値の予測値を、ノイズが低減されたＹＵＶ画像の注目画素の輝度成分の画素値として生成し、出力する。
【０１０９】
ステップＳ３７において、予測タップ取得部７１は、ノイズが低減されたＹＵＶ画像の全ての画素を注目画素としたかどうかを判定する。ステップＳ３７でノイズが低減されたＹＵＶ画像の全ての画素をまだ注目画素としていないと判定された場合、処理はステップＳ３１に戻り、ノイズが低減されたＹＵＶ画像の全ての画素を注目画素とするまで、ステップＳ３１乃至Ｓ３７の処理を繰り返す。
【０１１０】
一方、ステップＳ３７でノイズが低減されたＹＵＶ画像の全ての画素を注目画素としたと判定された場合、処理は終了する。
【０１１１】
なお、図８のステップＳ１５の色差成分用のクラス分類適応処理は、図９の輝度成分用のクラス分類適応処理における輝度成分用の予測係数が、色差成分用の予測係数に代わること以外同様であるので、説明は省略する。
【０１１２】
以上のように、画像処理装置５０は、ベイヤ配列の画像に対して、輝度成分用の予測係数を用いた所定の予測演算と、輝度成分用の予測係数に比べてノイズ低減効果の高い色差成分用の予測係数を用いた所定の予測演算を行う。これにより、画像処理装置５０は、ベイヤ配列の画像から、鮮鋭感の低下を伴わずに色ノイズが低減されたＹＵＶ画像を直接生成することができる。従って、３回の処理に分けてノイズが低減されたＹＵＶ画像を生成する従来の画像処理装置２０（図３）に比べて、細線部や色のエッジなどが変化した可能性のある１回目の処理結果等を用いて生成が行われないので、ノイズが低減されたＹＵＶ画像を高精度に生成することができる。
【０１１３】
また、従来の画像処理装置２０に比べて、１回目や２回目の処理結果を一時的に記憶する必要がないため、ＹＵＶ画像の精度の劣化を防止することができる。
【０１１４】
具体的には、従来の画像処理装置２０では、３回の処理に分けてノイズが低減されたＹＵＶ画像が生成されるので、１回目の処理結果であるＲＧＢ画像を、少なくとも２回目の処理でＹＵＶ画像の１つの画素を生成するために用いられる画素分だけ図示せぬメモリに蓄えておく必要がある。同様に、２回目の処理結果であるＹＵＶ画像を、少なくとも３回目の処理でノイズが低減されたＹＵＶ画像の１つの画素を生成するために用いられる画素分だけ図示せぬメモリに蓄えておく必要がる。これらのメモリの記憶容量は、現実的には有限であるため、１回目の処理結果であるＲＧＢ画像や２回目の処理結果であるＹＵＶ画像の各画素の画素値のビット数を削減する必要がある場合があり、この場合、ノイズが低減されたＹＵＶ画像の精度が劣化する。
【０１１５】
これに対して、画像処理装置５０は、ベイヤ配列の画像からノイズが低減されたＹＵＶ画像を直接生成するので、処理の途中結果を記憶させておく必要がなく、ノイズが低減されたＹＵＶ画像の精度の劣化を防止することができる。
【０１１６】
さらに、画像処理装置５０は、クラス分類適応処理を行うブロックを輝度成分用と色差成分用に２つだけ備える。従って、図３のデモザイク処理部２１および輝度色差変換部２２がクラス分類適応処理を行うブロックをそれぞれ備える場合、即ち画像処理装置５０がクラス分類適応処理を行うブロックを４つ備える場合に比べて、回路規模を小さくすることができる。
【０１１７】
［学習装置の構成例］
図１０は、図５の係数発生部７４に記憶される輝度成分用の予測係数Ｗiを学習する学習装置１００の構成例を示すブロック図である。
【０１１８】
図１０の学習装置１００は、教師画像記憶部１０１、ノイズ付加部１０２、色空間変換部１０３、間引き処理部１０４、予測タップ取得部１０５、クラスタップ取得部１０６、クラス番号発生部１０７、足し込み部１０８、および予測係数算出部１０９により構成される。
【０１１９】
学習装置１００には、輝度成分用の予測係数Ｗiの学習に用いられる学習用の画像として教師画像が入力される。ここでは、教師画像として、図５の予測信号処理部５４で生成される理想的なＹＵＶ画像、即ちノイズが低減された高精度のＹＵＶ画像が用いられる。
【０１２０】
教師画像記憶部１０１は、教師画像を記憶する。教師画像記憶部１０１は、記憶している教師画像を複数の画素からなるブロックに分割し、各ブロックを順次注目ブロックとする。教師画像記憶部１０１は、注目ブロックの輝度成分の画素値を足し込み部１０８に供給する。
【０１２１】
ノイズ付加部１０２は、ノイズパラメータごとにノイズ量等の異なる所定のノイズを教師画像に付加し、各ノイズパラメータのノイズ付加後の教師画像を色空間変換部１０３に供給する。
【０１２２】
色空間変換部１０３は、ノイズ付加部１０２から供給される各ノイズパラメータのノイズ付加後の教師画像をＲＧＢ画像に変換し、間引き処理部１０４に供給する。
【０１２３】
間引き処理部１０４は、ベイヤ配列にしたがって、色空間変換部１０３から供給される各ノイズパラメータのＲＧＢ画像の各色成分の画素値のうちの所定の色成分の画素値を間引き、各ノイズパラメータのベイヤ配列の画像を生成する。また、色空間変換部１０３は、生成された各ノイズパラメータのベイヤ配列の画像に対して、撮像素子１１が有する図示せぬ光学ローパスフィルタの処理に対応するフィルタ処理を行う。これにより、撮像素子１１で生成されるベイヤ配列の画像により近似したベイヤ配列の画像を生成することができる。色空間変換部１０３は、各ノイズパラメータのフィルタ処理後のベイヤ配列の画像を、教師画像に対応する各ノイズパラメータの生徒画像として、予測タップ取得部１０５とクラスタップ取得部１０６に供給する。
【０１２４】
予測タップ取得部１０５は、注目ブロックの各画素を順に注目画素とする。予測タップ取得部１０５は、間引き処理部１０４から供給される各ノイズパラメータの生徒画像から、図５の予測タップ取得部７１と同様に、注目画素の輝度成分の画素値を予測するために用いる１以上の画素値を予測タップとして取得する。そして、予測タップ取得部１０５は、各ノイズパラメータの注目ブロックの各画素の予測タップを足し込み部１０８に供給する。
【０１２５】
クラスタップ取得部１０６は、間引き処理部１０４から供給される各ノイズパラメータの生徒画像から、図５のクラスタップ取得部７２と同様に、注目画素の輝度成分の画素値をクラス分類するために用いる１以上の画素値を、クラスタップとして取得する。そして、クラスタップ取得部１０６は、各ノイズパラメータの注目ブロックの各画素のクラスタップをクラス番号発生部１０７に供給する。
【０１２６】
クラス番号発生部１０７は、クラス分類部として機能する。クラス番号発生部１７は、クラスタップ取得部１０６から供給される各ノイズパラメータの注目ブロックの各画素のクラスタップに基づいて、ノイズパラメータごとに、図５のクラス番号発生部７３と同様に、注目ブロックの各画素の輝度成分の画素値をクラス分類する。クラス番号発生部１０７は、その結果得られる各ノイズパラメータの注目ブロックの各画素の輝度成分の画素値のクラスに対応するクラス番号を発生して、足し込み部１０８に供給する。
【０１２７】
足し込み部１０８は、教師画像記憶部１０１からの注目ブロックの画素値と、予測タップ取得部１０５からの各ノイズパラメータの注目ブロックの予測タップとを対象とした足し込みを、ノイズパラメータおよびクラス番号発生部１０７からのクラス番号のクラスごとに行う。
【０１２８】
具体的には、足し込み部１０８は、注目ブロックの各画素の予測タップの各画素値をｘkiおよびｘkj（i,j=1,2,・・・,n）として、クラスおよびノイズパラメータごとに、式（１０）の左辺の行列におけるＸijを演算する。
【０１２９】
また、足し込み部１０８は、注目ブロックの各画素の画素値をｙkとして、画素値ｘkiを用いて、クラスおよびノイズパラメータごとに、式（１０）の右辺の行列におけるＹiを演算する。
【０１３０】
そして、足し込み部１０８は、全ての教師画像の全てのブロックを注目ブロックとして足し込みを行うことにより生成された、クラスおよびノイズパラメータごとの式（１０）の正規方程式を、予測係数算出部１０９に供給する。
【０１３１】
予測係数算出部１０９は、学習部として機能し、足し込み部１０８から供給されるクラスおよびノイズパラメータごとの正規方程式を解くことにより、クラスおよびノイズパラメータごとに、最適な輝度成分用の予測係数Ｗiを求めて出力する。このクラスおよびノイズパラメータごとの輝度成分用の予測係数Ｗiは、図５の係数発生部７４に記憶される。
【０１３２】
［学習装置の処理の説明］
図１１は、図１０の学習装置１００の学習処理を説明するフローチャートである。この学習処理は、例えば、教師画像の入力が開始されたとき、開始される。
【０１３３】
図１１のステップＳ４１において、学習装置１００のノイズ付加部１０２は、ノイズパラメータごとにノイズ量等の異なる所定のノイズを教師画像に付加し、各ノイズパラメータのノイズ付加後の教師画像を色空間変換部１０３に供給する。
【０１３４】
ステップＳ４２において、色空間変換部１０３は、ノイズ付加部１０２から供給される各ノイズパラメータのノイズ付加後の教師画像をＲＧＢ画像に変換し、間引き処理部１０４に供給する。
【０１３５】
ステップＳ４３において、間引き処理部１０４は、ベイヤ配列にしたがって、色空間変換部１０３から供給される各ノイズパラメータのＲＧＢ画像の各色成分の画素値のうちの所定の色成分の画素値を間引き、各ノイズパラメータのベイヤ配列の画像を生成する。また、色空間変換部１０３は、生成された各ノイズパラメータのベイヤ配列の画像に対して、撮像素子１１が有する図示せぬ光学ローパスフィルタの処理に対応するフィルタ処理を行う。色空間変換部１０３は、各ノイズパラメータのフィルタ処理後のベイヤ配列の画像を、教師画像に対応する各ノイズパラメータの生徒画像として、予測タップ取得部１０５とクラスタップ取得部１０６に供給する。
【０１３６】
ステップＳ４４において、教師画像記憶部１０１は、入力された教師画像を記憶し、記憶している教師画像を複数の画素からなるブロックに分割し、そのブロックのうちの、まだ注目ブロックとされていないブロックを注目ブロックに決定する。
【０１３７】
ステップＳ４５において、教師画像記憶部１０１は、記憶している注目ブロックの輝度成分の画素値を読み出し、足し込み部１０８に出力する。
【０１３８】
ステップＳ４６において、予測タップ取得部１０５は、間引き処理部１０４から供給される各ノイズパラメータの生徒画像から、各ノイズパラメータの注目ブロックの各画素の予測タップを取得する。そして、予測タップ取得部７１は、各ノイズパラメータの注目ブロックの各画素の予測タップを足し込み部１０８に供給する。
【０１３９】
ステップＳ４７において、クラスタップ取得部１０６は、間引き処理部１０４から供給される各ノイズパラメータの生徒画像から、各ノイズパラメータの注目ブロックの各画素のクラスタップを取得する。そして、クラスタップ取得部１０６は、各ノイズパラメータの注目ブロックの各画素のクラスタップをクラス番号発生部１０７に供給する。
【０１４０】
ステップＳ４８において、クラス番号発生部１０７は、クラスタップ取得部１０６からの各ノイズパラメータの注目ブロックの各画素のクラスタップに基づいて、ノイズパラメータごとに、注目ブロックの各画素の輝度成分の画素値をクラス分類する。クラス番号発生部１０７は、その結果得られる各ノイズパラメータの注目ブロックの各画素の輝度成分の画素値のクラスに対応するクラス番号を発生して、足し込み部１０８に供給する。
【０１４１】
ステップＳ４９において、足し込み部１０８は、教師画像記憶部１０１からの注目ブロックの画素値と、予測タップ取得部１０５からの各ノイズパラメータの注目ブロックの予測タップとを対象とした足し込みを、クラス番号発生部１０７からのクラス番号のクラスおよびノイズパラメータごとに行う。
【０１４２】
ステップＳ５０において、足し込み部１０８は、教師画像の全てのブロックを注目ブロックとしたかどうかを判定する。ステップＳ５０で教師画像の全てのブロックをまだ注目ブロックとしていないと判定された場合、処理はステップＳ４４に戻り、全てのブロックを注目ブロックとするまで、ステップＳ４４乃至Ｓ５０の処理が繰り返される。
【０１４３】
一方、ステップＳ５０で教師画像の全てのブロックを注目ブロックとしたと判定された場合、処理はステップＳ５１に進む。ステップＳ５１において、足し込み部１０８は、教師画像の入力が終了したかどうか、即ち学習装置１００に新たな教師画像が入力されていないかどうかを判定する。
【０１４４】
ステップＳ５１で教師画像の入力が終了していないと判定された場合、即ち学習装置１００に新たな教師画像が入力されている場合、処理はステップＳ４１に戻り、新たな教師画像が入力されなくなるまで、ステップＳ４１乃至Ｓ５１の処理が繰り返される。
【０１４５】
一方、ステップＳ５１で教師画像の入力が終了したと判定された場合、即ち学習装置１００に新たな教師画像が入力されなくなった場合、足し込み部１０８は、ステップＳ４９で足し込みを行うことにより生成された、クラスおよびノイズパラメータごとの式（１０）の正規方程式を、予測係数算出部１０９に供給する。
【０１４６】
そして、ステップＳ５２において、予測係数算出部１０９は、足し込み部１０８から供給されるクラスおよびノイズパラメータごとの式（１０）の正規方程式のうち、所定のクラスの各ノイズパラメータの式（１０）の正規方程式を解く。これにより、予測係数算出部１０９は、所定のクラスの各ノイズパラメータの最適な輝度成分用の予測係数Ｗiを求めて出力する。
【０１４７】
ステップＳ５３において、予測係数算出部１０９は、全てのクラスの各ノイズパラメータの式（１０）の正規方程式を解いたかどうかを判定する。ステップＳ５３で全てのクラスの各ノイズパラメータの式（１０）の正規方程式を解いたと判定された場合、処理はステップＳ５２に戻り、予測係数算出部１０９は、まだ解かれていないクラスの各ノイズパラメータの式（１０）の正規方程式を解き、ステップＳ５３の処理を行う。
【０１４８】
一方、ステップＳ５３で全てのクラスの各ノイズパラメータの式（１０）の正規方程式を解いたと判定された場合、処理は終了する。
【０１４９】
以上のように、学習装置１００は、所定のノイズを含む生徒画像から、教師画像の注目ブロックの各画素の予測タップを生成し、注目ブロックの各画素の画素値と予測タップとを用いて正規方程式を解くことで、輝度成分用の予測係数を求める。これにより、学習装置１００は、図４の予測信号処理部５４においてノイズが低減されたＹＵＶ画像の輝度成分を高精度に生成するための予測係数を学習することができる。
【０１５０】
また、学習装置１００は、ノイズパラメータごとに生徒画像に含めるノイズのノイズ量等を変更するので、図４の予測信号処理部５４において、ユーザは、ノイズパラメータを指定することにより、ノイズ低減の度合を選択することができる。
【０１５１】
さらに、図示は省略するが、色差成分用の予測係数を学習する学習装置も学習装置１００と同様に構成され、同様の処理を行う。但し、色差成分用の予測係数を学習する学習装置のノイズ付加部で付加される各ノイズパラメータのノイズのノイズ量は、ノイズ付加部１０２で付加される各ノイズパラメータのノイズ量に比べて多い。従って、色差成分用の予測係数は、輝度成分用の予測係数に比べて、ノイズ低減効果が高くなる。
【０１５２】
なお、学習装置１００では、注目ブロックごとに足し込みが行われたが、教師画像の各画素を注目画素として、注目画素ごとに足し込みが行われるようにしてもよい。
【０１５３】
また、輝度成分用の予測係数と色差成分用の予測係数は、ニューラルネットワークやサポートベクターマシンを用いた学習装置により、生徒画像と教師画像を用いて求められるようにしてもよい。
【０１５４】
さらに、上述した説明では、撮像素子１１によりベイヤ配列の画像が生成されるものとしたが、撮像素子１１により生成される画像の各色成分の配列は、ベイヤ配列以外であってもよい。
【０１５５】
[本技術を適用したコンピュータの説明]
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０１５６】
そこで、図１２は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０１５７】
プログラムは、コンピュータに内蔵されている記録媒体としての記憶部２０８やROM（Read Only Memory）２０２に予め記録しておくことができる。
【０１５８】
あるいはまた、プログラムは、リムーバブルメディア２１１に格納（記録）しておくことができる。このようなリムーバブルメディア２１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブルメディア２１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０１５９】
なお、プログラムは、上述したようなリムーバブルメディア２１１からドライブ２１０を介してコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵する記憶部２０８にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０１６０】
コンピュータは、CPU(Central Processing Unit)２０１を内蔵しており、CPU２０１には、バス２０４を介して、入出力インタフェース２０５が接続されている。
【０１６１】
CPU２０１は、入出力インタフェース２０５を介して、ユーザによって、入力部２０６が操作等されることにより指令が入力されると、それに従って、ROM２０２に格納されているプログラムを実行する。あるいは、CPU２０１は、記憶部２０８に格納されたプログラムを、RAM(Random Access Memory)２０３にロードして実行する。
【０１６２】
これにより、CPU２０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース２０５を介して、出力部２０７から出力、あるいは、通信部２０９から送信、さらには、記憶部２０８に記録等させる。
【０１６３】
なお、入力部２０６は、キーボードや、マウス、マイク等で構成される。また、出力部２０７は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０１６４】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０１６５】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０１６６】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１６７】
なお、本技術は、以下のような構成もとることができる。
【０１６８】
（１）
ベイヤ配列の画像の各画素の輝度成分と色差成分の画素値から構成される画像であって、ノイズが低減された画像であるノイズ低減画像に対応する教師画像と、前記ベイヤ配列の画像に対応する生徒画像とを用いて、前記教師画像の各画素の輝度成分の画素値、その画素に対応する前記生徒画像の画素の画素値、および輝度成分用の予測係数の関係を示す式を解くことにより学習された前記輝度成分用の予測係数と、所定のベイヤ配列の画像に対応する所定のノイズ低減画像のうちの注目している画素である注目画素に対応する、前記所定のベイヤ配列の画像の画素の画素値からなる輝度予測タップとの演算により、前記注目画素の輝度成分の画素値を求める輝度予測演算部と、
前記教師画像と前記生徒画像を用いて、前記教師画像の各画素の色差成分の画素値、その画素に対応する前記生徒画像の画素の画素値、および色差成分用の予測係数の関係を示す式を解くことにより学習された、前記輝度成分用の予測係数に比べてノイズ低減効果の高い色差成分用の予測係数と、前記所定のノイズ低減画像のうちの前記注目画素に対応する、前記所定のベイヤ配列の画像の画素の画素値からなる色差予測タップとの演算により、前記注目画素の色差成分の画素値を求める色差予測演算部と
を備える画像処理装置。
（２）
前記輝度成分用の予測係数と前記色差成分用の予測係数は、前記所定のノイズ低減画像におけるノイズの低減の度合を表すノイズパラメータごとに学習され、
前記輝度予測演算部は、所定の前記ノイズパラメータに基づいて、そのノイズパラメータの前記輝度成分用の予測係数と前記輝度予測タップとの演算により、前記注目画素の輝度成分の画素値を求め、
前記色差予測演算部は、所定の前記ノイズパラメータに基づいて、そのノイズパラメータの前記色差成分用の予測係数と前記色差予測タップとの演算により、前記注目画素の色差成分の画素値を求める
前記（１）に記載の画像処理装置。
（３）
前記所定のベイヤ配列の画像から前記輝度予測タップを取得する輝度予測タップ取得部と、
前記所定のベイヤ配列の画像から前記色差予測タップを取得する色差予測タップ取得部と
をさらに備える
前記（１）または（２）に記載の画像処理装置。
（４）
前記注目画素に対応する前記所定のベイヤ配列の画像の画素の画素値を、前記注目画素の輝度成分の画素値を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うために用いる輝度クラスタップとして取得する輝度クラスタップ取得部と、
前記輝度クラスタップ取得部により取得された前記輝度クラスタップに基づいて、前記注目画素の輝度成分の画素値をクラス分類する輝度クラス分類部と、
前記注目画素に対応する前記所定のベイヤ配列の画像の画素の画素値を、前記注目画素の色差成分の画素値をクラス分類するために用いる色差クラスタップとして取得する色差クラスタップ取得部と、
前記色差クラスタップ取得部により取得された前記色差クラスタップに基づいて、前記注目画素の色差成分の画素値をクラス分類する色差クラス分類部と
をさらに備え、
前記輝度成分用の予測係数と前記色差成分用の予測係数は、前記クラスごとに学習され、
前記輝度予測演算部は、前記輝度クラス分類部によるクラス分類の結果得られる前記注目画素の輝度成分の画素値のクラスに対応する前記輝度成分用の予測係数と、前記輝度予測タップとの演算により、前記注目画素の輝度成分の画素値を求め、
前記色差予測演算部は、前記色差クラス分類部によるクラス分類の結果得られる前記注目画素の色差成分の画素値のクラスに対応する前記色差成分用の予測係数と、前記色差予測タップとの演算により、前記注目画素の色差成分の画素値を求める
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（５）
画像処理装置が、
ベイヤ配列の画像の各画素の輝度成分と色差成分の画素値から構成される画像であって、ノイズが低減された画像であるノイズ低減画像に対応する教師画像と、前記ベイヤ配列の画像に対応する生徒画像とを用いて、前記教師画像の各画素の輝度成分の画素値、その画素に対応する前記生徒画像の画素の画素値、および輝度成分用の予測係数の関係を示す式を解くことにより学習された前記輝度成分用の予測係数と、所定のベイヤ配列の画像に対応する所定のノイズ低減画像のうちの注目している画素である注目画素に対応する、前記所定のベイヤ配列の画像の画素の画素値からなる輝度予測タップとの演算により、前記注目画素の輝度成分の画素値を求める輝度予測演算ステップと、
前記教師画像と前記生徒画像を用いて、前記教師画像の各画素の色差成分の画素値、その画素に対応する前記生徒画像の画素の画素値、および色差成分用の予測係数の関係を示す式を解くことにより学習された、前記輝度成分用の予測係数に比べてノイズ低減効果の高い色差成分用の予測係数と、前記所定のノイズ低減画像のうちの前記注目画素に対応する、前記所定のベイヤ配列の画像の画素の画素値からなる色差予測タップとの演算により、前記注目画素の色差成分の画素値を求める色差予測演算ステップと
を含む画像処理方法。
（６）
コンピュータに、
ベイヤ配列の画像の各画素の輝度成分と色差成分の画素値から構成される画像であって、ノイズが低減された画像であるノイズ低減画像に対応する教師画像と、前記ベイヤ配列の画像に対応する生徒画像とを用いて、前記教師画像の各画素の輝度成分の画素値、その画素に対応する前記生徒画像の画素の画素値、および輝度成分用の予測係数の関係を示す式を解くことにより学習された前記輝度成分用の予測係数と、所定のベイヤ配列の画像に対応する所定のノイズ低減画像のうちの注目している画素である注目画素に対応する、前記所定のベイヤ配列の画像の画素の画素値からなる輝度予測タップとの演算により、前記注目画素の輝度成分の画素値を求める輝度予測演算ステップと、
前記教師画像と前記生徒画像を用いて、前記教師画像の各画素の色差成分の画素値、その画素に対応する前記生徒画像の画素の画素値、および色差成分用の予測係数の関係を示す式を解くことにより学習された、前記輝度成分用の予測係数に比べてノイズ低減効果の高い色差成分用の予測係数と、前記所定のノイズ低減画像のうちの前記注目画素に対応する、前記所定のベイヤ配列の画像の画素の画素値からなる色差予測タップとの演算により、前記注目画素の色差成分の画素値を求める色差予測演算ステップと
を含む処理を実行させるためのプログラム。
（７）
前記（６）に記載のプログラムが記録されている記録媒体。
（８）
所定のベイヤ配列の画像を、前記所定のベイヤ配列の画像の各画素の輝度成分と色差成分の画素値から構成される画像であって、ノイズが低減された画像である所定のノイズ低減画像に変換するときに用いられる予測係数の学習に用いる、前記所定のノイズ低減画像に対応する教師画像のうちの注目している画素である注目画素に対応する、前記所定のベイヤ配列の画像に対応する生徒画像の画素の画素値からなる予測タップと、前記注目画素の画素値とを用いて、前記教師画像の各画素の画素値、その画素の前記予測タップ、および前記予測係数の関係を示す式を解くことで、前記予測係数を求める学習部
を備える学習装置。
（９）
所定のノイズを前記教師画像に付加するノイズ付加部と、
前記ノイズ付加部により前記所定のノイズが付加された前記教師画像を、前記教師画像の各画素の所定の複数の色成分の画素値からなるカラー画像に変換する色空間変換部と、
前記色空間変換部により変換された前記カラー画像の各画素の前記所定の複数の色成分の画素値から、所定の色成分の画素値を間引き、その結果得られるベイヤ配列の画像を前記生徒画像とする間引き処理部と
をさらに備える
前記（８）に記載の学習装置。
（１０）
前記ノイズ付加部は、前記所定のノイズ低減画像におけるノイズの低減の度合を表すノイズパラメータごとに、そのノイズパラメータに対応する前記所定のノイズを付加し、
前記学習部は、前記ノイズパラメータごとに、そのノイズパラメータに対応する前記生徒画像を構成する、前記注目画素に対応する画素の画素値からなる前記予測タップと、前記注目画素の画素値とを用いて前記式を解くことで、前記ノイズパラメータごとの前記予測係数を求める
前記（９）に記載の学習装置。
（１１）
前記生徒画像から前記予測タップを取得する予測タップ取得部
をさらに備える
前記（８）乃至（１０）のいずれかに記載の学習装置。
（１２）
前記注目画素に対応する前記生徒画像の画素の画素値を、前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うために用いるクラスタップとして取得するクラスタップ取得部と、
前記クラスタップ取得部により取得された前記クラスタップに基づいて、前記注目画素をクラス分類するクラス分類部と
をさらに備え、
前記学習部は、前記注目画素の画素値と前記予測タップとを用いて、前記注目画素のクラスごとに前記式を解くことで、前記クラスごとの予測係数を求める
前記（８）乃至（１１）のいずれかに記載の学習装置。
（１３）
学習装置が、
所定のベイヤ配列の画像を、前記所定のベイヤ配列の画像の各画素の輝度成分と色差成分の画素値から構成される画像であって、ノイズが低減された画像である所定のノイズ低減画像に変換するときに用いられる予測係数の学習に用いる、前記所定のノイズ低減画像に対応する教師画像のうちの注目している画素である注目画素に対応する、前記所定のベイヤ配列の画像に対応する生徒画像の画素の画素値からなる予測タップと、前記注目画素の画素値とを用いて、前記教師画像の各画素の画素値、その画素の前記予測タップ、および前記予測係数の関係を示す式を解くことで、前記予測係数を求める学習ステップ
を含む学習方法。
（１４）
コンピュータに、
所定のベイヤ配列の画像を、前記所定のベイヤ配列の画像の各画素の輝度成分と色差成分の画素値から構成される画像であって、ノイズが低減された画像である所定のノイズ低減画像に変換するときに用いられる予測係数の学習に用いる、前記所定のノイズ低減画像に対応する教師画像のうちの注目している画素である注目画素に対応する、前記所定のベイヤ配列の画像に対応する生徒画像の画素の画素値からなる予測タップと、前記注目画素の画素値とを用いて、前記教師画像の各画素の画素値、その画素の前記予測タップ、および前記予測係数の関係を示す式を解くことで、前記予測係数を求める学習ステップ
を含む処理を実行させるためのプログラム。
（１５）
前記（１４）に記載のプログラムが記録されている記録媒体。
【符号の説明】
【０１６９】
５０ 画像処理装置， ５４，５５ 予測信号処理部， ７１ 予測タップ取得部， ７２ クラスタップ取得部， ７３ クラス番号発生部， ７５ 予測演算部， １００ 学習装置， １０２ ノイズ付加部， １０３ 色空間変換部， １０４ 間引き処理部， １０５ 予測タップ取得部， １０６ クラスタップ取得部， １０７ クラス番号発生部， １０９ 予測係数算出部
【技術分野】
【０００１】
本技術は、画像処理装置および画像処理方法、学習装置および学習方法、プログラム、並びに記録媒体に関し、特に、ベイヤ配列の画像からノイズが低減された輝度色差空間の画像を高精度に生成することできるようにした画像処理装置および画像処理方法、学習装置および学習方法、プログラム、並びに記録媒体に関する。
【背景技術】
【０００２】
従来、小型化のため、CCD（Charge Coupled Device）やCMOS（Complementary Metal-Oxide Semiconductor）イメージセンサ等の撮像素子を１つだけ備える撮影装置がある。このような撮影装置では、一般的に、撮像素子の各画素に異なるカラーフィルタが施され、画素ごとに、ＲＧＢ等の複数の色のうちのいずれか１つの色の信号が取得される。これにより、撮像素子で取得される画像は、例えば、図１に示すようなカラー配列の画像となる。以下では、図１のカラー配列をベイヤ配列という。
【０００３】
撮像素子により取得されたベイヤ配列の画像は、通常、デモザイク処理と呼ばれる補間処理により、画素ごとにＲＧＢ等の複数の色の成分の画素値を有するカラー画像に変換される。このデモザイク処理として、クラス分類適応処理を用いることにより、カラー画像のノイズを低減させることが考えられている（例えば、特許文献１参照）。
【０００４】
クラス分類適応処理とは、処理後の画像の注目している画素である注目画素を所定のクラスに分類し、そのクラスに対応する学習により求められた予測係数と、注目画素に対応する処理前の画像の画素値との線形結合により注目画素の画素値を予測する処理である。
【０００５】
図２は、デモザイク処理としてクラス分類適応処理を行う画像処理装置の構成の一例を示すブロック図である。
【０００６】
図２の画像処理装置１０は、撮像素子１１と予測信号処理部１２により構成される。
【０００７】
画像処理装置１０の撮像素子１１は、各画素に異なるカラーフィルタが施されている。撮像素子１１は、被写体からの光のＲ成分、Ｇ成分、およびＢ成分のうちのいずれか１つの成分のアナログ信号を画素ごとに取得し、A/D変換等を行うことにより、ベイヤ配列の画像を生成する。撮像素子１１は、生成されたベイヤ配列の画像を予測信号処理部１２に供給する。
【０００８】
予測信号処理部１２は、撮像素子１１からのベイヤ配列の画像に対してクラス分類適応処理を行い、ノイズが低減された、各画素のＲ成分、Ｇ成分、およびＢ成分の画素値からなるカラー画像であるＲＧＢ画像を生成する。
【０００９】
具体的には、予測信号処理部１２は、ＲＧＢ画像の各画素を順に注目画素とし、その注目画素を、その注目画素の周辺のベイヤ配列の画像の画素の画素値を用いて色成分ごとに所定のクラスに分類する。また、予測信号処理部１２は、ベイヤ配列の画像を生徒画像とし、ノイズが低減されたＲＧＢ画像を教師画像とした学習により色成分およびクラスごとに求められた予測係数を予め保持している。そして、予測信号処理部１２は、色成分ごとに、注目画素のクラスに対応する予測係数と、注目画素の周辺のベイヤ配列の画像の画素値との線形結合により注目画素の画素値を予測する。これにより、ノイズが低減されたＲＧＢ画像が生成される。予測信号処理部１２は、ノイズが低減されたＲＧＢ画像を出力画像として出力する。
【００１０】
ところで、図２の予測信号処理部１２におけるクラス分類適応処理では、予測係数が色成分およびクラスごとに求められるので、出力画像におけるノイズ低減の度合を色成分以外の単位で調節することはできない。従って、出力画像におけるノイズ低減の度合を調整した場合であっても、いずれかの色成分におけるノイズ低減の度合が比較的強く、その色成分のノイズ以外の部分にも影響が与えられる場合、エッジ部分において偽色が発生するなどの弊害が発生する。
【００１１】
これに対して、デモザイク処理の結果得られるＲＧＢ画像を輝度色差空間の画像（以下、ＹＵＶ画像という）に変換し、ＹＵＶ画像に対してクラス分類適応処理を行うことによりＹＵＶ画像のノイズを低減する方法がある。この方法では、輝度の鮮鋭感には敏感だが、色差の鮮鋭感には鈍感であるという人間の視覚特性を考慮して、色差成分（Ｃｂ，Ｃｒ成分）におけるノイズ低減の度合が、輝度成分（Ｙ成分）におけるノイズ低減の度合に比べて強められる。これにより、出力画像の色差成分のノイズは低減されるが、輝度成分（Ｙ成分）のノイズ以外の部分は影響を受けないため、鮮鋭感の低減は目で感じにくい。即ち、鮮鋭感の低下を伴わずに色ノイズを低減することが可能となる。
【００１２】
図３は、このような方法を用いてベイヤ配列の画像をノイズが低減されたＹＵＶ画像に変換する画像処理装置の構成の一例を示す図である。
【００１３】
図３に示す構成のうち、図２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【００１４】
図３の画像処理装置２０は、撮像素子１１、デモザイク処理部２１、輝度視差変換部２２、並びに予測信号処理部２３および２４により構成される。
【００１５】
画像処理装置２０のデモザイク処理部２１は、撮像素子１１により生成されるベイヤ配列の画像に対してデモザイク処理を行い、その結果得られるＲＧＢ画像を輝度色差変換部２２に供給する。
【００１６】
輝度色差変換部２２は、デモザイク処理部２１から供給されるＲＧＢ画像をＹＵＶ画像に変換する輝度色差変換処理を行う。輝度色差変換部２２は、その結果得られるＹＵＶ画像のうちの輝度成分を予測信号処理部２３に供給し、輝度成分を予測信号処理部２４に供給する。
【００１７】
予測信号処理部２３は、輝度色差変換部２２から供給されるＹＵＶ画像の輝度成分に対してクラス分類適応処理を行い、ノイズが低減されたＹＵＶ画像の輝度成分を生成する。
【００１８】
具体的には、予測信号処理部２３は、ノイズが低減されたＹＵＶ画像の各画素を順に注目画素とし、その注目画素の輝度成分を、その注目画素の周辺の、輝度色差変換部２２からのノイズ低減前のＹＵＶ画像の画素の画素値を用いて所定のクラスに分類する。また、予測信号処理部２３は、ノイズ低減前のＹＵＶ画像を生徒画像とし、ノイズ低減後のＹＵＶ画像を教師画像とした学習によりクラスごとに求められた輝度成分用の予測係数を予め保持している。そして、予測信号処理部２３は、注目画素の輝度成分のクラスに対応する輝度成分用の予測係数と、注目画素の周辺のノイズ低減前のＹＵＶ画像の画素値との線形結合により注目画素の輝度成分の画素値を予測する。これにより、ノイズが低減されたＹＵＶ画像の輝度成分が生成される。予測信号処理部２３は、ノイズが低減されたＹＵＶ画像の輝度成分を、出力画像の輝度成分として出力する。
【００１９】
予測信号処理部２４は、予測信号処理部２３と同様に、学習によりクラスごとに求められた色差成分用の予測係数を用いて、輝度色差変換部２２から供給されるＹＵＶ画像の色差成分に対してクラス分類適応処理を行う。そして、予測信号処理部２４は、その結果生成されるノイズが低減されたＹＵＶ画像の色差成分を、出力画像の色差成分として出力する。
【００２０】
なお、輝度成分用の予測係数と色差成分用の予測係数は、出力画像の色差成分におけるノイズ低減の度合が、輝度成分におけるノイズ低減の度合に比べて強くなるように学習される。
【先行技術文献】
【特許文献】
【００２１】
【特許文献１】特許４４３３５４５号公報
【発明の概要】
【発明が解決しようとする課題】
【００２２】
図３の画像処理装置２０は、ベイヤ配列の画像に対して、デモザイク処理、輝度色差変換処理、およびクラス分類適応処理の３つの処理を行うので、デモザイク処理等によりベイヤ配列の画像に存在する細線部などの情報が失われると、出力画像の精度が劣化する。
【００２３】
具体的には、デモザイク処理により細線部などの情報が失われ、ＲＧＢ画像が平坦部を有する場合、輝度色差変換部２２では、ＲＧＢ画像の平坦部が、本来存在する平坦部であるか、細線部が失われたことによる平坦部であるかを認識することは困難である。従って、デモザイク処理により細線部などの情報が失われた場合であっても、輝度色差変換部２２は、デモザイク処理部２１から供給されるＲＧＢ画像を、細線部などの情報が失われていないＲＧＢ画像としてＹＵＶ画像に変換する。その結果、出力画像は、デモザイク処理前のベイヤ配列の画像を平滑化した画像に対応するものとなり、出力画像の精度が劣化する。
【００２４】
同様に、デモザイク処理によりベイヤ配列の画像には存在しない色のエッジなどが生成された場合も、出力画像の精度が劣化する。
【００２５】
本技術は、このような状況に鑑みてなされたものであり、ベイヤ配列の画像からノイズが低減されたＹＵＶ画像を高精度に生成することできるようにするものである。
【課題を解決するための手段】
【００２６】
本技術の第１の側面の画像処理装置は、ベイヤ配列の画像の各画素の輝度成分と色差成分の画素値から構成される画像であって、ノイズが低減された画像であるノイズ低減画像に対応する教師画像と、前記ベイヤ配列の画像に対応する生徒画像とを用いて、前記教師画像の各画素の輝度成分の画素値、その画素に対応する前記生徒画像の画素の画素値、および輝度成分用の予測係数の関係を示す式を解くことにより学習された前記輝度成分用の予測係数と、所定のベイヤ配列の画像に対応する所定のノイズ低減画像のうちの注目している画素である注目画素に対応する、前記所定のベイヤ配列の画像の画素の画素値からなる輝度予測タップとの演算により、前記注目画素の輝度成分の画素値を求める輝度予測演算部と、前記教師画像と前記生徒画像を用いて、前記教師画像の各画素の色差成分の画素値、その画素に対応する前記生徒画像の画素の画素値、および色差成分用の予測係数の関係を示す式を解くことにより学習された、前記輝度成分用の予測係数に比べてノイズ低減効果の高い色差成分用の予測係数と、前記所定のノイズ低減画像のうちの前記注目画素に対応する、前記所定のベイヤ配列の画像の画素の画素値からなる色差予測タップとの演算により、前記注目画素の色差成分の画素値を求める色差予測演算部とを備える画像処理装置である。
【００２７】
本技術の第１の側面の画像処理方法、プログラム、および記録媒体に記録されているプログラムは、本技術の第１の側面の画像処理装置に対応する。
【００２８】
本技術の第１の側面においては、ベイヤ配列の画像の各画素の輝度成分と色差成分の画素値から構成される画像であって、ノイズが低減された画像であるノイズ低減画像に対応する教師画像と、前記ベイヤ配列の画像に対応する生徒画像とを用いて、前記教師画像の各画素の輝度成分の画素値、その画素に対応する前記生徒画像の画素の画素値、および輝度成分用の予測係数の関係を示す式を解くことにより学習された前記輝度成分用の予測係数と、所定のベイヤ配列の画像に対応する所定のノイズ低減画像のうちの注目している画素である注目画素に対応する、前記所定のベイヤ配列の画像の画素の画素値からなる輝度予測タップとの演算により、前記注目画素の輝度成分の画素値が求められ、前記教師画像と前記生徒画像を用いて、前記教師画像の各画素の色差成分の画素値、その画素に対応する前記生徒画像の画素の画素値、および色差成分用の予測係数の関係を示す式を解くことにより学習された、前記輝度成分用の予測係数に比べてノイズ低減効果の高い色差成分用の予測係数と、前記所定のノイズ低減画像のうちの前記注目画素に対応する、前記所定のベイヤ配列の画像の画素の画素値からなる色差予測タップとの演算により、前記注目画素の色差成分の画素値が求められる。
【００２９】
本技術の第２の側面の学習装置は、所定のベイヤ配列の画像を、前記所定のベイヤ配列の画像の各画素の輝度成分と色差成分の画素値から構成される画像であって、ノイズが低減された画像である所定のノイズ低減画像に変換するときに用いられる予測係数の学習に用いる、前記所定のノイズ低減画像に対応する教師画像のうちの注目している画素である注目画素に対応する、前記所定のベイヤ配列の画像に対応する生徒画像の画素の画素値からなる予測タップと、前記注目画素の画素値とを用いて、前記教師画像の各画素の画素値、その画素の前記予測タップ、および前記予測係数の関係を示す式を解くことで、前記予測係数を求める学習部を備える学習装置である。
【００３０】
本技術の第２の側面の学習方法、プログラム、および記録媒体に記録されているプログラムは、本技術の第２の側面の学習装置に対応する。
【００３１】
本技術の第２の側面においては、所定のベイヤ配列の画像を、前記所定のベイヤ配列の画像の各画素の輝度成分と色差成分の画素値から構成される画像であって、ノイズが低減された画像である所定のノイズ低減画像に変換するときに用いられる予測係数の学習に用いる、前記所定のノイズ低減画像に対応する教師画像のうちの注目している画素である注目画素に対応する、前記所定のベイヤ配列の画像に対応する生徒画像の画素の画素値からなる予測タップと、前記注目画素の画素値とを用いて、前記教師画像の各画素の画素値、その画素の前記予測タップ、および前記予測係数の関係を示す式を解くことで、前記予測係数が求められる。
【発明の効果】
【００３２】
本技術の第１の側面によれば、ベイヤ配列の画像からノイズが低減されたＹＵＶ画像を高精度に生成することできる。
【００３３】
また、本技術の第２の側面によれば、ベイヤ配列の画像からノイズが低減されたＹＵＶ画像を高精度に生成するための予測係数を学習することができる。
【図面の簡単な説明】
【００３４】
【図１】ベイヤ配列の例を示す図である。
【図２】従来の画像処理装置の構成の一例を示すブロック図である。
【図３】従来の画像処理装置の他の構成の一例を示すブロック図である。
【図４】本技術を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【図５】図４の予測信号処理部の詳細構成例を示すブロック図である。
【図６】クラスタップのタップ構造の例を示す図である。
【図７】予測タップのタップ構造の例を示す図である。
【図８】画像処理装置の画像処理を説明するフローチャートである。
【図９】輝度成分用のクラス分類適応処理の詳細を説明するフローチャートである。
【図１０】学習装置の構成例を示すブロック図である。
【図１１】学習装置の学習処理を説明するフローチャートである。
【図１２】コンピュータの一実施の形態の構成例を示す図である。
【発明を実施するための形態】
【００３５】
＜一実施の形態＞
［画像処理装置の一実施の形態の構成例］
図４は、本技術を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【００３６】
図４に示す構成のうち、図３の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【００３７】
図４の画像処理装置５０は、撮像素子１１、画素欠陥補正部５１、クランプ処理部５２、ホワイトバランス部５３、予測信号処理部５４、予測信号処理部５５、および出力色空間変換部５６により構成される。画像処理装置５０は、クラス分類適応処理を用いて、ベイヤ配列の画像からノイズが低減されたＹＵＶ画像を直接生成する。
【００３８】
画像処理装置５０の画素欠陥補正部５１、クランプ処理部５２、およびホワイトバランス部５３は、出力画像の画質を高めるために、撮像素子１１により生成されるベイヤ配列の画像に対して前処理を行う。
【００３９】
具体的には、画素欠陥補正部５１は、撮像素子１１から供給されるベイヤ配列の画像のうち、撮像素子１１の欠陥のある画素の画素値を検出する。ここで、撮像素子１１の欠陥のある画素とは、何らかの理由で入射光に反応しない素子や常に電荷を蓄えている素子である。画素欠陥補正部５１は、検出された撮像素子１１の欠陥のある画素の画素値を、周囲の欠陥のない画素の画素値などを用いて補正し、補正後のベイヤ配列の画像をクランプ処理部５２に供給する。
【００４０】
クランプ処理部５２は、画素欠陥補正部５１から供給される補正後のベイヤ配列の画像をクランプする。具体的には、撮像素子１１は、負の値が削除されることを防止するため、アナログ信号の信号値を正の方向にシフトした後、A/D変換を行う。従って、クランプ処理部５２は、そのA/D変換時のシフト分を打ち消すように、補正後のベイヤ配列の画像をクランプする。クランプ処理部５２は、クランプ後のベイヤ配列の画像をホワイトバランス部５３に供給する。
【００４１】
ホワイトバランス部５３は、クランプ処理部５２から供給されるベイヤ配列の画像の各色成分のゲインを補正することにより、ホワイトバランスを調整する。ホワイトバランス部５３は、ホワイトバランスが調整されたベイヤ配列の画像を、予測信号処理部５４と予測信号処理部５５に供給する。
【００４２】
予測信号処理部５４は、ユーザにより指定されたノイズ低減の度合を表すノイズパラメータに基づいて、ホワイトバランス部５３からのベイヤ配列の画像に対して輝度成分用のクラス分類適応処理を行い、ノイズが低減されたＹＵＶ画像の輝度成分を生成する。予測信号処理部５４は、ノイズが低減されたＹＵＶ画像の輝度成分を出力色空間変換部５６に供給する。
【００４３】
予測信号処理部５５は、ユーザにより指定されたノイズパラメータに基づいて、ホワイトバランス部５３からのベイヤ配列の画像に対して色差成分用のクラス分類適応処理を行い、ノイズが低減されたＹＵＶ画像の色差成分を生成する。予測信号処理部５５は、ノイズが低減されたＹＵＶ画像の色差成分を出力色空間変換部５６に供給する。
【００４４】
出力色空間変化部５６は、予測信号処理部５４からの輝度成分と予測信号処理部５５からの色差成分からなるＹＵＶ画像を、ＹＵＶ画像またはＲＧＢ画像のうちのユーザにより予め選択された画像に変換し、変換後の画像を出力画像として出力する。
【００４５】
具体的には、ユーザにより予め選択された画像がＹＵＶ画像である場合、出力色空間変換部５６は、予測信号処理部５４からの輝度成分と予測信号処理部５５からの色差成分からなるＹＵＶ画像をそのまま出力画像として出力する。一方、ユーザにより予め選択された画像がＲＧＢ画像である場合、出力色空間変換部５６は、予測信号処理部５４からの輝度成分と予測信号処理部５５からの色差成分からなるＹＵＶ画像を、例えばITU-R BT.601などに準拠してＲＧＢ画像に変換する。そして、出力色空間変換部５６は、そのＲＧＢ画像を出力画像として出力する。
【００４６】
［予測信号処理部の詳細構成例］
図５は、図４の予測信号処理部５４の詳細構成例を示すブロック図である。
【００４７】
図５の予測信号処理部５４は、予測タップ取得部７１、クラスタップ取得部７２、クラス番号発生部７３、係数発生部７４、および予測演算部７５により構成される。
【００４８】
予測信号処理部５４の予測タップ取得部７１は、予測するノイズが低減されたＹＵＶ画像の各画素を順に注目画素とする。予測タップ取得部７１は、図４のホワイトバランス部５３から供給されるベイヤ配列の画像から、注目画素の輝度成分の画素値を予測するために用いる１以上の画素値を予測タップとして取得する。そして、予測タップ取得部７１は、予測タップを予測演算部７５に供給する。
【００４９】
クラスタップ取得部７２は、ホワイトバランス部５３から供給されるベイヤ配列の画像から、注目画素の輝度成分の画素値を１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うために用いる１以上の画素値を、クラスタップとして取得する。そして、クラスタップ取得部７２は、クラスタップをクラス番号発生部７３に供給する。
【００５０】
クラス番号発生部７３は、輝度クラス分類部として機能し、クラスタップ取得部７２から供給されるクラスタップに基づいて、注目画素の輝度成分の画素値をクラス分類する。クラス番号発生部７３は、その結果得られるクラスに対応するクラス番号を発生して、係数発生部７４に供給する。
【００５１】
クラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)を用いる方法を採用することができる。
【００５２】
クラス分類を行う方法としてADRCを用いる方法が採用された場合、クラスタップを構成する画素値がADRC処理され、その結果得られる再量子化コードにしたがって、注目画素のクラス番号が決定される。
【００５３】
具体的には、ADRC処理として、以下の式（１）により、クラスタップの最大値MAXと最小値MINの間を指定されたビット数ｐで均等に分割して再量子化する処理が行われる。
【００５４】
qi=[(ki-MIN+0.5)*2^p/DR]
・・・（１）
【００５５】
なお、式（１）において、［］は、［］内の値の小数点以下を切り捨てることを意味する。また、kiは、クラスタップのi番目の画素値を表し、qiは、クラスタップのi番目の画素値の再量子化コードを表す。また、DRは、ダイナミックレンジであり、MAX-MIN+1である。
【００５６】
そして、このようにして求められた再量子化コードqiを用いて、以下の式（２）により、注目画素のクラス番号classが算出される。
【００５７】
【数１】
【００５８】
なお、式（２）において、ｎは、クラスタップを構成する画素値の数である。
【００５９】
クラス分類を行う方法としては、ADRCを用いる方法の他に、DCT(Discrete Cosine Transform)，VQ(Vector Quantization)，DPCM（differential pulse code modulation）などのデータ圧縮方式を応用し、データ圧縮した結果のデータ量をクラス番号とする方法などを用いることもできる。
【００６０】
係数発生部７４は、図１０および図１１を参照して後述する学習によって求められたクラスおよびノイズパラメータごとの輝度成分用の予測係数を記憶する。係数発生部７４は、記憶している輝度成分用の予測係数のうちの、クラス番号発生部７３からのクラス番号に対応するクラスおよびユーザにより指定されたノイズパラメータに対応する輝度成分用の予測係数を読み出し、予測演算部７５に供給する。
【００６１】
予測演算部７５は、予測タップ取得部７１から供給される予測タップと、係数発生部７４から供給される輝度成分用の予測係数とを用いて、注目画素の輝度成分の画素値の真値の予測値を求める所定の予測演算を行う。これにより、予測演算部７５は、注目画素の輝度成分の画素値の予測値を、ノイズが低減されたＹＵＶ画像の注目画素の輝度成分の画素値として生成し、出力する。
【００６２】
なお、予測信号処理部５５の構成は、予測信号処理部５４の構成と同様であるので、説明は省略する。但し、予測信号処理部５５に記憶される予測係数は、輝度成分用の予測係数ではなく、より強いノイズ低減効果を有する色差成分用の予測係数である。色差成分用の予測係数は、Ｃｂ成分に対するものとＣｒ成分に対するもので異なっていてもよいし、同一であってもよい。
【００６３】
また、本実施の形態では、予測信号処理部５４と予測信号処理部５５におけるクラス分類を行う方法が同一であるものとするが、異なっていてもよい。
【００６４】
［クラスタップのタップ構造の例］
図６は、クラスタップのタップ構造の例を示す図である。なお、クラスタップのタップ構造は、図６の構造以外の構造とすることが可能である。
【００６５】
図６において、正方形はベイヤ配列の画像の各画素を表しており、正方形内のＲ，Ｇ，Ｂは、それぞれ、その正方形が表す画素の画素値がＲ成分、Ｇ成分、Ｂ成分の画素値であることを表している。また、バツ印は、そのバツ印が付された正方形が表す画素が、ＹＵＶ画像内の注目画素の位置と同一のベイヤ配列の画像内の位置の画素（以下、注目対応画素という）であることを表している。丸印は、その丸印が付された正方形が表す画素が、注目画素のクラスタップに対応する画素であることを表している。
【００６６】
図６の例では、注目対応画素を中心として、水平方向および垂直方向に、それぞれ、１画素おいて並ぶ合計５個の画素と、斜め方向に隣接する合計４個の画素とからなる合計９個の画素の画素値がクラスタップとされる。この場合、クラスタップの各画素値に対応する色成分は、注目対応画素に対応する色成分と同一になる。即ち、図６の例では、注目対応画素に対応する色成分がＧ成分であるので、クラスタップの各画素値に対応する色成分もＧ成分である。
【００６７】
［予測タップのタップ構造の例］
図７は、予測タップのタップ構造の例を示す図である。なお、予測タップのタップ構造は、図７の構造以外の構造とすることが可能である。
【００６８】
図７において、正方形はベイヤ配列の画像の各画素を表しており、正方形内のＲ，Ｇ，Ｂは、それぞれ、その正方形が表す画素の画素値がＲ成分、Ｇ成分、Ｂ成分の画素値であることを表している。また、バツ印は、そのバツ印が付された正方形が表す画素が注目対応画素であることを表しており、丸印は、その丸印が付された正方形が表す画素が、注目画素の予測タップに対応する画素であることを表している。
【００６９】
図７の例では、注目対応画素を中心として水平方向および垂直方向に、それぞれ、５個ずつ並ぶ合計９個の画素と、注目対応画素の左右に隣接する２個の画素それぞれと上下に隣接する合計４個の画素とからなる合計１３個の画素の画素値が予測タップとされる。即ち、予測タップを構成する画素値に対応する画素は、いわばひし形状に並んでいる。
【００７０】
なお、本実施の形態では、予測信号処理部５４と予測信号処理部５５における、クラスタップおよび予測タップの構造が同一であるものとするが、異なっていてもよい。
【００７１】
［予測演算の説明］
次に、図５の予測演算部７５における予測演算と、その予測演算に用いられる輝度成分用の予測係数の学習について説明する。
【００７２】
いま、所定の予測演算として、例えば、線形１次予測演算を採用することとすると、ノイズが低減されたＹＵＶ画像の各画素の輝度成分の画素値ｙは、次の線形１次式によって求められることになる。
【００７３】
【数２】
【００７４】
なお、式（３）において、ｘiは、画素値ｙについての予測タップを構成する画素値のうちのｉ番目の画素値を表し、Ｗiは、そのｉ番目の画素値と乗算されるi番目の輝度成分用の予測係数を表す。また、nは、予測タップを構成する画素値の数を表している。
【００７５】
また、第ｋサンプルのノイズが低減されたＹＵＶ画像の画素の輝度成分の画素値の予測値をｙk’と表すと、予測値ｙk’は以下の式（４）で表される。
【００７６】
yk’=W1×xk1＋W2×xk2＋・・・＋Wn×xkn
・・・（４）
【００７７】
なお、式（４）において、ｘkiは、予測値ｙk’の真値についての予測タップを構成する画素値のうちのi番目の画素値を表し、Ｗiは、そのｉ番目の画素値と乗算されるi番目の輝度成分用の予測係数を表す。また、nは、予測タップを構成する画素値の数を表している。
【００７８】
また、予測値ｙk’の真値をｙkと表すと、予測誤差ｅkは、以下の式（５）で表される。
【００７９】
ek=yk-｛W1×xk1＋W2×xk2＋・・・＋Wn×xkn｝
・・・（５）
【００８０】
なお、式（５）において、ｘkiは、予測値ｙk’の真値についての予測タップを構成する画素値のうちのi番目の画素値を表し、Ｗiは、そのｉ番目の画素値と乗算されるi番目の輝度成分用の予測係数を表す。また、nは、予測タップを構成する画素値の数を表している。
【００８１】
式（５）の予測誤差ｅkを０とする輝度成分用の予測係数Ｗiが、真値ｙkを予測するのに最適なものとなるが、学習用のサンプルの数がｎより小さい場合は、輝度成分用の予測係数Ｗiは一意に定まらない。
【００８２】
そこで、輝度成分用の予測係数Ｗiが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適な輝度成分用の予測係数Ｗiは、以下の式（６）で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【００８３】
【数３】
【００８４】
式（６）の自乗誤差の総和Ｅの最小値（極小値）は、以下の式（７）に示すように、総和Ｅを輝度成分用の予測係数Ｗiで偏微分したものを０とするＷiによって与えられる。
【００８５】
【数４】
【００８６】
以下の式（８）および式（９）に示すようにＸjiとＹiを定義すると、式（７）は、以下の式（１０）のように行列式の形で表すことができる。
【００８７】
【数５】
【００８８】
【数６】
【００８９】
【数７】
【００９０】
なお、式（８）乃至（１０）において、ｘkiは、予測値ｙk’の真値ｙkについての予測タップを構成する画素値のうちのi番目の画素値を表し、Ｗiは、そのｉ番目の画素値と乗算されるi番目の輝度成分用の予測係数を表す。また、nは、予測タップを構成する画素値の数を表し、ｍは、学習用のサンプルの数を表している。
【００９１】
式（１０）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などの一般的な行列解法を用いることにより、輝度成分用の予測係数Ｗiについて解くことができる。
【００９２】
以上により、クラスおよびノイズパラメータごとの最適な輝度成分用の予測係数Ｗiの学習は、式（１０）の正規方程式をクラスおよびノイズパラメータごとにたてて解くことにより行うことができる。
【００９３】
なお、画素値ｙは、式（３）に示した線形１次式ではなく、２次以上の高次の式によって求められるようにすることも可能である。
【００９４】
また、説明は省略するが、図４の予測信号処理部５５における予測演算と、その予測演算に用いられるクラスおよびノイズパラメータごとの色差成分用の予測係数の学習も、図５の予測演算部７５における予測演算と、その予測演算に用いられるクラスおよびノイズパラメータごとの輝度成分用の予測係数の学習と同様に行われる。
【００９５】
［画像処理装置の処理の説明］
図８は、図４の画像処理装置５０の画像処理を説明するフローチャートである。この画像処理は、例えば、撮像素子１１からベイヤ配列の画像が供給されたとき、開始される。
【００９６】
図８のステップＳ１１において、画像処理装置５０の画素欠陥補正部５１は、図３の撮像素子１１から供給されるベイヤ配列の画像のうち、撮像素子１１の欠陥のある画素の画素値を検出する。
【００９７】
ステップＳ１２において、画素欠陥補正部５１は、ステップＳ１１で検出された撮像素子１１の欠陥のある画素の画素値を、周囲の欠陥のない画素の画素値などを用いて補正し、補正後のベイヤ配列の画像をクランプ処理部５２に供給する。
【００９８】
ステップＳ１３において、クランプ処理部５２は、画素欠陥補正部５１から供給される補正後のベイヤ配列の画像をクランプする。クランプ処理部５２は、クランプ後のベイヤ配列の画像をホワイトバランス部５３に供給する。
【００９９】
ステップＳ１４において、ホワイトバランス部５３は、クランプ処理部５２から供給されるクランプ後のベイヤ配列の画像の各色成分のゲインを補正することにより、ホワイトバランスを調整する。ホワイトバランス部５３は、ホワイトバランスが調整されたベイヤ配列の画像を予測信号処理部５４と予測信号処理部５５に供給する。
【０１００】
ステップＳ１５において、予測信号処理部５４は輝度成分用のクラス分類適応処理を行い、予測信号処理部５５は色差成分用のクラス分類適応処理を行う。予測信号処理部５４は、輝度成分用のクラス分類適応処理の結果得られるノイズが低減されたＹＵＶ画像の輝度成分を、出力色空間変換部５６に供給する。また、予測信号処理部５５は、色差成分用のクラス分類適応処理の結果得られるノイズが低減されたＹＵＶ画像の色差成分を、出力色空間変換部５６に供給する。
【０１０１】
ステップＳ１６において、出力色空間変換部５６は、予測信号処理部５４からの輝度成分と予測信号処理部５５からの色差成分からなるＹＵＶ画像を、ＹＵＶ画像またはＲＧＢ画像のうちのユーザにより予め選択された画像に変換する。出力色空間変換部５６は、変換後の画像を出力画像として出力し、処理を終了する。
【０１０２】
図９は、図８のステップＳ１５の輝度成分用のクラス分類適応処理の詳細を説明するフローチャートである。
【０１０３】
図９のステップＳ３１において、予測信号処理部５４の予測タップ取得部７１は、予測するノイズが低減されたＹＵＶ画像の画素のうちの、まだ注目画素とされていない画素を注目画素に決定する。
【０１０４】
ステップＳ３２において、予測タップ取得部７１は、図４のホワイトバランス部５３から供給されるベイヤ配列の画像から、注目画素の輝度成分の画素値を予測するために用いる１以上の画素値を予測タップとして取得する。そして、予測タップ取得部７１は、予測タップを予測演算部７５に供給する。
【０１０５】
ステップＳ３３において、クラスタップ取得部７２は、ホワイトバランス部５３から供給されるベイヤ配列の画像から、注目画素の輝度成分の画素値をクラス分類するために用いる１以上の画素値を、クラスタップとして取得する。そして、クラスタップ取得部７２は、クラスタップをクラスタップ取得部７２に供給する。
【０１０６】
ステップＳ３４において、クラス番号発生部７３は、クラスタップ取得部７２から供給されるクラスタップに基づいて、注目画素の輝度成分の画素値をクラス分類する。クラス番号発生部７３は、その結果得られるクラスに対応するクラス番号を発生して、係数発生部７４に供給する。
【０１０７】
ステップＳ３５において、係数発生部７４は、記憶している輝度成分用の予測係数のうちの、クラス番号発生部７３から供給されるクラス番号に対応するクラスおよびユーザにより指定されたノイズパラメータに対応する輝度成分用の予測係数を読み出す。そして、係数発生部７４は、読み出された予測係数を予測演算部７５に供給する。
【０１０８】
ステップＳ３６において、予測演算部７５は、予測タップ取得部７１から供給される予測タップと、係数発生部７４から供給される輝度成分用の予測係数とを用いて、上述した式（３）の演算を所定の予測演算として行う。これにより、予測演算部７５は、注目画素の輝度成分の画素値の予測値を、ノイズが低減されたＹＵＶ画像の注目画素の輝度成分の画素値として生成し、出力する。
【０１０９】
ステップＳ３７において、予測タップ取得部７１は、ノイズが低減されたＹＵＶ画像の全ての画素を注目画素としたかどうかを判定する。ステップＳ３７でノイズが低減されたＹＵＶ画像の全ての画素をまだ注目画素としていないと判定された場合、処理はステップＳ３１に戻り、ノイズが低減されたＹＵＶ画像の全ての画素を注目画素とするまで、ステップＳ３１乃至Ｓ３７の処理を繰り返す。
【０１１０】
一方、ステップＳ３７でノイズが低減されたＹＵＶ画像の全ての画素を注目画素としたと判定された場合、処理は終了する。
【０１１１】
なお、図８のステップＳ１５の色差成分用のクラス分類適応処理は、図９の輝度成分用のクラス分類適応処理における輝度成分用の予測係数が、色差成分用の予測係数に代わること以外同様であるので、説明は省略する。
【０１１２】
以上のように、画像処理装置５０は、ベイヤ配列の画像に対して、輝度成分用の予測係数を用いた所定の予測演算と、輝度成分用の予測係数に比べてノイズ低減効果の高い色差成分用の予測係数を用いた所定の予測演算を行う。これにより、画像処理装置５０は、ベイヤ配列の画像から、鮮鋭感の低下を伴わずに色ノイズが低減されたＹＵＶ画像を直接生成することができる。従って、３回の処理に分けてノイズが低減されたＹＵＶ画像を生成する従来の画像処理装置２０（図３）に比べて、細線部や色のエッジなどが変化した可能性のある１回目の処理結果等を用いて生成が行われないので、ノイズが低減されたＹＵＶ画像を高精度に生成することができる。
【０１１３】
また、従来の画像処理装置２０に比べて、１回目や２回目の処理結果を一時的に記憶する必要がないため、ＹＵＶ画像の精度の劣化を防止することができる。
【０１１４】
具体的には、従来の画像処理装置２０では、３回の処理に分けてノイズが低減されたＹＵＶ画像が生成されるので、１回目の処理結果であるＲＧＢ画像を、少なくとも２回目の処理でＹＵＶ画像の１つの画素を生成するために用いられる画素分だけ図示せぬメモリに蓄えておく必要がある。同様に、２回目の処理結果であるＹＵＶ画像を、少なくとも３回目の処理でノイズが低減されたＹＵＶ画像の１つの画素を生成するために用いられる画素分だけ図示せぬメモリに蓄えておく必要がる。これらのメモリの記憶容量は、現実的には有限であるため、１回目の処理結果であるＲＧＢ画像や２回目の処理結果であるＹＵＶ画像の各画素の画素値のビット数を削減する必要がある場合があり、この場合、ノイズが低減されたＹＵＶ画像の精度が劣化する。
【０１１５】
これに対して、画像処理装置５０は、ベイヤ配列の画像からノイズが低減されたＹＵＶ画像を直接生成するので、処理の途中結果を記憶させておく必要がなく、ノイズが低減されたＹＵＶ画像の精度の劣化を防止することができる。
【０１１６】
さらに、画像処理装置５０は、クラス分類適応処理を行うブロックを輝度成分用と色差成分用に２つだけ備える。従って、図３のデモザイク処理部２１および輝度色差変換部２２がクラス分類適応処理を行うブロックをそれぞれ備える場合、即ち画像処理装置５０がクラス分類適応処理を行うブロックを４つ備える場合に比べて、回路規模を小さくすることができる。
【０１１７】
［学習装置の構成例］
図１０は、図５の係数発生部７４に記憶される輝度成分用の予測係数Ｗiを学習する学習装置１００の構成例を示すブロック図である。
【０１１８】
図１０の学習装置１００は、教師画像記憶部１０１、ノイズ付加部１０２、色空間変換部１０３、間引き処理部１０４、予測タップ取得部１０５、クラスタップ取得部１０６、クラス番号発生部１０７、足し込み部１０８、および予測係数算出部１０９により構成される。
【０１１９】
学習装置１００には、輝度成分用の予測係数Ｗiの学習に用いられる学習用の画像として教師画像が入力される。ここでは、教師画像として、図５の予測信号処理部５４で生成される理想的なＹＵＶ画像、即ちノイズが低減された高精度のＹＵＶ画像が用いられる。
【０１２０】
教師画像記憶部１０１は、教師画像を記憶する。教師画像記憶部１０１は、記憶している教師画像を複数の画素からなるブロックに分割し、各ブロックを順次注目ブロックとする。教師画像記憶部１０１は、注目ブロックの輝度成分の画素値を足し込み部１０８に供給する。
【０１２１】
ノイズ付加部１０２は、ノイズパラメータごとにノイズ量等の異なる所定のノイズを教師画像に付加し、各ノイズパラメータのノイズ付加後の教師画像を色空間変換部１０３に供給する。
【０１２２】
色空間変換部１０３は、ノイズ付加部１０２から供給される各ノイズパラメータのノイズ付加後の教師画像をＲＧＢ画像に変換し、間引き処理部１０４に供給する。
【０１２３】
間引き処理部１０４は、ベイヤ配列にしたがって、色空間変換部１０３から供給される各ノイズパラメータのＲＧＢ画像の各色成分の画素値のうちの所定の色成分の画素値を間引き、各ノイズパラメータのベイヤ配列の画像を生成する。また、色空間変換部１０３は、生成された各ノイズパラメータのベイヤ配列の画像に対して、撮像素子１１が有する図示せぬ光学ローパスフィルタの処理に対応するフィルタ処理を行う。これにより、撮像素子１１で生成されるベイヤ配列の画像により近似したベイヤ配列の画像を生成することができる。色空間変換部１０３は、各ノイズパラメータのフィルタ処理後のベイヤ配列の画像を、教師画像に対応する各ノイズパラメータの生徒画像として、予測タップ取得部１０５とクラスタップ取得部１０６に供給する。
【０１２４】
予測タップ取得部１０５は、注目ブロックの各画素を順に注目画素とする。予測タップ取得部１０５は、間引き処理部１０４から供給される各ノイズパラメータの生徒画像から、図５の予測タップ取得部７１と同様に、注目画素の輝度成分の画素値を予測するために用いる１以上の画素値を予測タップとして取得する。そして、予測タップ取得部１０５は、各ノイズパラメータの注目ブロックの各画素の予測タップを足し込み部１０８に供給する。
【０１２５】
クラスタップ取得部１０６は、間引き処理部１０４から供給される各ノイズパラメータの生徒画像から、図５のクラスタップ取得部７２と同様に、注目画素の輝度成分の画素値をクラス分類するために用いる１以上の画素値を、クラスタップとして取得する。そして、クラスタップ取得部１０６は、各ノイズパラメータの注目ブロックの各画素のクラスタップをクラス番号発生部１０７に供給する。
【０１２６】
クラス番号発生部１０７は、クラス分類部として機能する。クラス番号発生部１７は、クラスタップ取得部１０６から供給される各ノイズパラメータの注目ブロックの各画素のクラスタップに基づいて、ノイズパラメータごとに、図５のクラス番号発生部７３と同様に、注目ブロックの各画素の輝度成分の画素値をクラス分類する。クラス番号発生部１０７は、その結果得られる各ノイズパラメータの注目ブロックの各画素の輝度成分の画素値のクラスに対応するクラス番号を発生して、足し込み部１０８に供給する。
【０１２７】
足し込み部１０８は、教師画像記憶部１０１からの注目ブロックの画素値と、予測タップ取得部１０５からの各ノイズパラメータの注目ブロックの予測タップとを対象とした足し込みを、ノイズパラメータおよびクラス番号発生部１０７からのクラス番号のクラスごとに行う。
【０１２８】
具体的には、足し込み部１０８は、注目ブロックの各画素の予測タップの各画素値をｘkiおよびｘkj（i,j=1,2,・・・,n）として、クラスおよびノイズパラメータごとに、式（１０）の左辺の行列におけるＸijを演算する。
【０１２９】
また、足し込み部１０８は、注目ブロックの各画素の画素値をｙkとして、画素値ｘkiを用いて、クラスおよびノイズパラメータごとに、式（１０）の右辺の行列におけるＹiを演算する。
【０１３０】
そして、足し込み部１０８は、全ての教師画像の全てのブロックを注目ブロックとして足し込みを行うことにより生成された、クラスおよびノイズパラメータごとの式（１０）の正規方程式を、予測係数算出部１０９に供給する。
【０１３１】
予測係数算出部１０９は、学習部として機能し、足し込み部１０８から供給されるクラスおよびノイズパラメータごとの正規方程式を解くことにより、クラスおよびノイズパラメータごとに、最適な輝度成分用の予測係数Ｗiを求めて出力する。このクラスおよびノイズパラメータごとの輝度成分用の予測係数Ｗiは、図５の係数発生部７４に記憶される。
【０１３２】
［学習装置の処理の説明］
図１１は、図１０の学習装置１００の学習処理を説明するフローチャートである。この学習処理は、例えば、教師画像の入力が開始されたとき、開始される。
【０１３３】
図１１のステップＳ４１において、学習装置１００のノイズ付加部１０２は、ノイズパラメータごとにノイズ量等の異なる所定のノイズを教師画像に付加し、各ノイズパラメータのノイズ付加後の教師画像を色空間変換部１０３に供給する。
【０１３４】
ステップＳ４２において、色空間変換部１０３は、ノイズ付加部１０２から供給される各ノイズパラメータのノイズ付加後の教師画像をＲＧＢ画像に変換し、間引き処理部１０４に供給する。
【０１３５】
ステップＳ４３において、間引き処理部１０４は、ベイヤ配列にしたがって、色空間変換部１０３から供給される各ノイズパラメータのＲＧＢ画像の各色成分の画素値のうちの所定の色成分の画素値を間引き、各ノイズパラメータのベイヤ配列の画像を生成する。また、色空間変換部１０３は、生成された各ノイズパラメータのベイヤ配列の画像に対して、撮像素子１１が有する図示せぬ光学ローパスフィルタの処理に対応するフィルタ処理を行う。色空間変換部１０３は、各ノイズパラメータのフィルタ処理後のベイヤ配列の画像を、教師画像に対応する各ノイズパラメータの生徒画像として、予測タップ取得部１０５とクラスタップ取得部１０６に供給する。
【０１３６】
ステップＳ４４において、教師画像記憶部１０１は、入力された教師画像を記憶し、記憶している教師画像を複数の画素からなるブロックに分割し、そのブロックのうちの、まだ注目ブロックとされていないブロックを注目ブロックに決定する。
【０１３７】
ステップＳ４５において、教師画像記憶部１０１は、記憶している注目ブロックの輝度成分の画素値を読み出し、足し込み部１０８に出力する。
【０１３８】
ステップＳ４６において、予測タップ取得部１０５は、間引き処理部１０４から供給される各ノイズパラメータの生徒画像から、各ノイズパラメータの注目ブロックの各画素の予測タップを取得する。そして、予測タップ取得部７１は、各ノイズパラメータの注目ブロックの各画素の予測タップを足し込み部１０８に供給する。
【０１３９】
ステップＳ４７において、クラスタップ取得部１０６は、間引き処理部１０４から供給される各ノイズパラメータの生徒画像から、各ノイズパラメータの注目ブロックの各画素のクラスタップを取得する。そして、クラスタップ取得部１０６は、各ノイズパラメータの注目ブロックの各画素のクラスタップをクラス番号発生部１０７に供給する。
【０１４０】
ステップＳ４８において、クラス番号発生部１０７は、クラスタップ取得部１０６からの各ノイズパラメータの注目ブロックの各画素のクラスタップに基づいて、ノイズパラメータごとに、注目ブロックの各画素の輝度成分の画素値をクラス分類する。クラス番号発生部１０７は、その結果得られる各ノイズパラメータの注目ブロックの各画素の輝度成分の画素値のクラスに対応するクラス番号を発生して、足し込み部１０８に供給する。
【０１４１】
ステップＳ４９において、足し込み部１０８は、教師画像記憶部１０１からの注目ブロックの画素値と、予測タップ取得部１０５からの各ノイズパラメータの注目ブロックの予測タップとを対象とした足し込みを、クラス番号発生部１０７からのクラス番号のクラスおよびノイズパラメータごとに行う。
【０１４２】
ステップＳ５０において、足し込み部１０８は、教師画像の全てのブロックを注目ブロックとしたかどうかを判定する。ステップＳ５０で教師画像の全てのブロックをまだ注目ブロックとしていないと判定された場合、処理はステップＳ４４に戻り、全てのブロックを注目ブロックとするまで、ステップＳ４４乃至Ｓ５０の処理が繰り返される。
【０１４３】
一方、ステップＳ５０で教師画像の全てのブロックを注目ブロックとしたと判定された場合、処理はステップＳ５１に進む。ステップＳ５１において、足し込み部１０８は、教師画像の入力が終了したかどうか、即ち学習装置１００に新たな教師画像が入力されていないかどうかを判定する。
【０１４４】
ステップＳ５１で教師画像の入力が終了していないと判定された場合、即ち学習装置１００に新たな教師画像が入力されている場合、処理はステップＳ４１に戻り、新たな教師画像が入力されなくなるまで、ステップＳ４１乃至Ｓ５１の処理が繰り返される。
【０１４５】
一方、ステップＳ５１で教師画像の入力が終了したと判定された場合、即ち学習装置１００に新たな教師画像が入力されなくなった場合、足し込み部１０８は、ステップＳ４９で足し込みを行うことにより生成された、クラスおよびノイズパラメータごとの式（１０）の正規方程式を、予測係数算出部１０９に供給する。
【０１４６】
そして、ステップＳ５２において、予測係数算出部１０９は、足し込み部１０８から供給されるクラスおよびノイズパラメータごとの式（１０）の正規方程式のうち、所定のクラスの各ノイズパラメータの式（１０）の正規方程式を解く。これにより、予測係数算出部１０９は、所定のクラスの各ノイズパラメータの最適な輝度成分用の予測係数Ｗiを求めて出力する。
【０１４７】
ステップＳ５３において、予測係数算出部１０９は、全てのクラスの各ノイズパラメータの式（１０）の正規方程式を解いたかどうかを判定する。ステップＳ５３で全てのクラスの各ノイズパラメータの式（１０）の正規方程式を解いたと判定された場合、処理はステップＳ５２に戻り、予測係数算出部１０９は、まだ解かれていないクラスの各ノイズパラメータの式（１０）の正規方程式を解き、ステップＳ５３の処理を行う。
【０１４８】
一方、ステップＳ５３で全てのクラスの各ノイズパラメータの式（１０）の正規方程式を解いたと判定された場合、処理は終了する。
【０１４９】
以上のように、学習装置１００は、所定のノイズを含む生徒画像から、教師画像の注目ブロックの各画素の予測タップを生成し、注目ブロックの各画素の画素値と予測タップとを用いて正規方程式を解くことで、輝度成分用の予測係数を求める。これにより、学習装置１００は、図４の予測信号処理部５４においてノイズが低減されたＹＵＶ画像の輝度成分を高精度に生成するための予測係数を学習することができる。
【０１５０】
また、学習装置１００は、ノイズパラメータごとに生徒画像に含めるノイズのノイズ量等を変更するので、図４の予測信号処理部５４において、ユーザは、ノイズパラメータを指定することにより、ノイズ低減の度合を選択することができる。
【０１５１】
さらに、図示は省略するが、色差成分用の予測係数を学習する学習装置も学習装置１００と同様に構成され、同様の処理を行う。但し、色差成分用の予測係数を学習する学習装置のノイズ付加部で付加される各ノイズパラメータのノイズのノイズ量は、ノイズ付加部１０２で付加される各ノイズパラメータのノイズ量に比べて多い。従って、色差成分用の予測係数は、輝度成分用の予測係数に比べて、ノイズ低減効果が高くなる。
【０１５２】
なお、学習装置１００では、注目ブロックごとに足し込みが行われたが、教師画像の各画素を注目画素として、注目画素ごとに足し込みが行われるようにしてもよい。
【０１５３】
また、輝度成分用の予測係数と色差成分用の予測係数は、ニューラルネットワークやサポートベクターマシンを用いた学習装置により、生徒画像と教師画像を用いて求められるようにしてもよい。
【０１５４】
さらに、上述した説明では、撮像素子１１によりベイヤ配列の画像が生成されるものとしたが、撮像素子１１により生成される画像の各色成分の配列は、ベイヤ配列以外であってもよい。
【０１５５】
[本技術を適用したコンピュータの説明]
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０１５６】
そこで、図１２は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０１５７】
プログラムは、コンピュータに内蔵されている記録媒体としての記憶部２０８やROM（Read Only Memory）２０２に予め記録しておくことができる。
【０１５８】
あるいはまた、プログラムは、リムーバブルメディア２１１に格納（記録）しておくことができる。このようなリムーバブルメディア２１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブルメディア２１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０１５９】
なお、プログラムは、上述したようなリムーバブルメディア２１１からドライブ２１０を介してコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵する記憶部２０８にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０１６０】
コンピュータは、CPU(Central Processing Unit)２０１を内蔵しており、CPU２０１には、バス２０４を介して、入出力インタフェース２０５が接続されている。
【０１６１】
CPU２０１は、入出力インタフェース２０５を介して、ユーザによって、入力部２０６が操作等されることにより指令が入力されると、それに従って、ROM２０２に格納されているプログラムを実行する。あるいは、CPU２０１は、記憶部２０８に格納されたプログラムを、RAM(Random Access Memory)２０３にロードして実行する。
【０１６２】
これにより、CPU２０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース２０５を介して、出力部２０７から出力、あるいは、通信部２０９から送信、さらには、記憶部２０８に記録等させる。
【０１６３】
なお、入力部２０６は、キーボードや、マウス、マイク等で構成される。また、出力部２０７は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０１６４】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０１６５】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０１６６】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１６７】
なお、本技術は、以下のような構成もとることができる。
【０１６８】
（１）
ベイヤ配列の画像の各画素の輝度成分と色差成分の画素値から構成される画像であって、ノイズが低減された画像であるノイズ低減画像に対応する教師画像と、前記ベイヤ配列の画像に対応する生徒画像とを用いて、前記教師画像の各画素の輝度成分の画素値、その画素に対応する前記生徒画像の画素の画素値、および輝度成分用の予測係数の関係を示す式を解くことにより学習された前記輝度成分用の予測係数と、所定のベイヤ配列の画像に対応する所定のノイズ低減画像のうちの注目している画素である注目画素に対応する、前記所定のベイヤ配列の画像の画素の画素値からなる輝度予測タップとの演算により、前記注目画素の輝度成分の画素値を求める輝度予測演算部と、
前記教師画像と前記生徒画像を用いて、前記教師画像の各画素の色差成分の画素値、その画素に対応する前記生徒画像の画素の画素値、および色差成分用の予測係数の関係を示す式を解くことにより学習された、前記輝度成分用の予測係数に比べてノイズ低減効果の高い色差成分用の予測係数と、前記所定のノイズ低減画像のうちの前記注目画素に対応する、前記所定のベイヤ配列の画像の画素の画素値からなる色差予測タップとの演算により、前記注目画素の色差成分の画素値を求める色差予測演算部と
を備える画像処理装置。
（２）
前記輝度成分用の予測係数と前記色差成分用の予測係数は、前記所定のノイズ低減画像におけるノイズの低減の度合を表すノイズパラメータごとに学習され、
前記輝度予測演算部は、所定の前記ノイズパラメータに基づいて、そのノイズパラメータの前記輝度成分用の予測係数と前記輝度予測タップとの演算により、前記注目画素の輝度成分の画素値を求め、
前記色差予測演算部は、所定の前記ノイズパラメータに基づいて、そのノイズパラメータの前記色差成分用の予測係数と前記色差予測タップとの演算により、前記注目画素の色差成分の画素値を求める
前記（１）に記載の画像処理装置。
（３）
前記所定のベイヤ配列の画像から前記輝度予測タップを取得する輝度予測タップ取得部と、
前記所定のベイヤ配列の画像から前記色差予測タップを取得する色差予測タップ取得部と
をさらに備える
前記（１）または（２）に記載の画像処理装置。
（４）
前記注目画素に対応する前記所定のベイヤ配列の画像の画素の画素値を、前記注目画素の輝度成分の画素値を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うために用いる輝度クラスタップとして取得する輝度クラスタップ取得部と、
前記輝度クラスタップ取得部により取得された前記輝度クラスタップに基づいて、前記注目画素の輝度成分の画素値をクラス分類する輝度クラス分類部と、
前記注目画素に対応する前記所定のベイヤ配列の画像の画素の画素値を、前記注目画素の色差成分の画素値をクラス分類するために用いる色差クラスタップとして取得する色差クラスタップ取得部と、
前記色差クラスタップ取得部により取得された前記色差クラスタップに基づいて、前記注目画素の色差成分の画素値をクラス分類する色差クラス分類部と
をさらに備え、
前記輝度成分用の予測係数と前記色差成分用の予測係数は、前記クラスごとに学習され、
前記輝度予測演算部は、前記輝度クラス分類部によるクラス分類の結果得られる前記注目画素の輝度成分の画素値のクラスに対応する前記輝度成分用の予測係数と、前記輝度予測タップとの演算により、前記注目画素の輝度成分の画素値を求め、
前記色差予測演算部は、前記色差クラス分類部によるクラス分類の結果得られる前記注目画素の色差成分の画素値のクラスに対応する前記色差成分用の予測係数と、前記色差予測タップとの演算により、前記注目画素の色差成分の画素値を求める
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（５）
画像処理装置が、
ベイヤ配列の画像の各画素の輝度成分と色差成分の画素値から構成される画像であって、ノイズが低減された画像であるノイズ低減画像に対応する教師画像と、前記ベイヤ配列の画像に対応する生徒画像とを用いて、前記教師画像の各画素の輝度成分の画素値、その画素に対応する前記生徒画像の画素の画素値、および輝度成分用の予測係数の関係を示す式を解くことにより学習された前記輝度成分用の予測係数と、所定のベイヤ配列の画像に対応する所定のノイズ低減画像のうちの注目している画素である注目画素に対応する、前記所定のベイヤ配列の画像の画素の画素値からなる輝度予測タップとの演算により、前記注目画素の輝度成分の画素値を求める輝度予測演算ステップと、
前記教師画像と前記生徒画像を用いて、前記教師画像の各画素の色差成分の画素値、その画素に対応する前記生徒画像の画素の画素値、および色差成分用の予測係数の関係を示す式を解くことにより学習された、前記輝度成分用の予測係数に比べてノイズ低減効果の高い色差成分用の予測係数と、前記所定のノイズ低減画像のうちの前記注目画素に対応する、前記所定のベイヤ配列の画像の画素の画素値からなる色差予測タップとの演算により、前記注目画素の色差成分の画素値を求める色差予測演算ステップと
を含む画像処理方法。
（６）
コンピュータに、
ベイヤ配列の画像の各画素の輝度成分と色差成分の画素値から構成される画像であって、ノイズが低減された画像であるノイズ低減画像に対応する教師画像と、前記ベイヤ配列の画像に対応する生徒画像とを用いて、前記教師画像の各画素の輝度成分の画素値、その画素に対応する前記生徒画像の画素の画素値、および輝度成分用の予測係数の関係を示す式を解くことにより学習された前記輝度成分用の予測係数と、所定のベイヤ配列の画像に対応する所定のノイズ低減画像のうちの注目している画素である注目画素に対応する、前記所定のベイヤ配列の画像の画素の画素値からなる輝度予測タップとの演算により、前記注目画素の輝度成分の画素値を求める輝度予測演算ステップと、
前記教師画像と前記生徒画像を用いて、前記教師画像の各画素の色差成分の画素値、その画素に対応する前記生徒画像の画素の画素値、および色差成分用の予測係数の関係を示す式を解くことにより学習された、前記輝度成分用の予測係数に比べてノイズ低減効果の高い色差成分用の予測係数と、前記所定のノイズ低減画像のうちの前記注目画素に対応する、前記所定のベイヤ配列の画像の画素の画素値からなる色差予測タップとの演算により、前記注目画素の色差成分の画素値を求める色差予測演算ステップと
を含む処理を実行させるためのプログラム。
（７）
前記（６）に記載のプログラムが記録されている記録媒体。
（８）
所定のベイヤ配列の画像を、前記所定のベイヤ配列の画像の各画素の輝度成分と色差成分の画素値から構成される画像であって、ノイズが低減された画像である所定のノイズ低減画像に変換するときに用いられる予測係数の学習に用いる、前記所定のノイズ低減画像に対応する教師画像のうちの注目している画素である注目画素に対応する、前記所定のベイヤ配列の画像に対応する生徒画像の画素の画素値からなる予測タップと、前記注目画素の画素値とを用いて、前記教師画像の各画素の画素値、その画素の前記予測タップ、および前記予測係数の関係を示す式を解くことで、前記予測係数を求める学習部
を備える学習装置。
（９）
所定のノイズを前記教師画像に付加するノイズ付加部と、
前記ノイズ付加部により前記所定のノイズが付加された前記教師画像を、前記教師画像の各画素の所定の複数の色成分の画素値からなるカラー画像に変換する色空間変換部と、
前記色空間変換部により変換された前記カラー画像の各画素の前記所定の複数の色成分の画素値から、所定の色成分の画素値を間引き、その結果得られるベイヤ配列の画像を前記生徒画像とする間引き処理部と
をさらに備える
前記（８）に記載の学習装置。
（１０）
前記ノイズ付加部は、前記所定のノイズ低減画像におけるノイズの低減の度合を表すノイズパラメータごとに、そのノイズパラメータに対応する前記所定のノイズを付加し、
前記学習部は、前記ノイズパラメータごとに、そのノイズパラメータに対応する前記生徒画像を構成する、前記注目画素に対応する画素の画素値からなる前記予測タップと、前記注目画素の画素値とを用いて前記式を解くことで、前記ノイズパラメータごとの前記予測係数を求める
前記（９）に記載の学習装置。
（１１）
前記生徒画像から前記予測タップを取得する予測タップ取得部
をさらに備える
前記（８）乃至（１０）のいずれかに記載の学習装置。
（１２）
前記注目画素に対応する前記生徒画像の画素の画素値を、前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うために用いるクラスタップとして取得するクラスタップ取得部と、
前記クラスタップ取得部により取得された前記クラスタップに基づいて、前記注目画素をクラス分類するクラス分類部と
をさらに備え、
前記学習部は、前記注目画素の画素値と前記予測タップとを用いて、前記注目画素のクラスごとに前記式を解くことで、前記クラスごとの予測係数を求める
前記（８）乃至（１１）のいずれかに記載の学習装置。
（１３）
学習装置が、
所定のベイヤ配列の画像を、前記所定のベイヤ配列の画像の各画素の輝度成分と色差成分の画素値から構成される画像であって、ノイズが低減された画像である所定のノイズ低減画像に変換するときに用いられる予測係数の学習に用いる、前記所定のノイズ低減画像に対応する教師画像のうちの注目している画素である注目画素に対応する、前記所定のベイヤ配列の画像に対応する生徒画像の画素の画素値からなる予測タップと、前記注目画素の画素値とを用いて、前記教師画像の各画素の画素値、その画素の前記予測タップ、および前記予測係数の関係を示す式を解くことで、前記予測係数を求める学習ステップ
を含む学習方法。
（１４）
コンピュータに、
所定のベイヤ配列の画像を、前記所定のベイヤ配列の画像の各画素の輝度成分と色差成分の画素値から構成される画像であって、ノイズが低減された画像である所定のノイズ低減画像に変換するときに用いられる予測係数の学習に用いる、前記所定のノイズ低減画像に対応する教師画像のうちの注目している画素である注目画素に対応する、前記所定のベイヤ配列の画像に対応する生徒画像の画素の画素値からなる予測タップと、前記注目画素の画素値とを用いて、前記教師画像の各画素の画素値、その画素の前記予測タップ、および前記予測係数の関係を示す式を解くことで、前記予測係数を求める学習ステップ
を含む処理を実行させるためのプログラム。
（１５）
前記（１４）に記載のプログラムが記録されている記録媒体。
【符号の説明】
【０１６９】
５０ 画像処理装置， ５４，５５ 予測信号処理部， ７１ 予測タップ取得部， ７２ クラスタップ取得部， ７３ クラス番号発生部， ７５ 予測演算部， １００ 学習装置， １０２ ノイズ付加部， １０３ 色空間変換部， １０４ 間引き処理部， １０５ 予測タップ取得部， １０６ クラスタップ取得部， １０７ クラス番号発生部， １０９ 予測係数算出部
【特許請求の範囲】
【請求項１】
ベイヤ配列の画像の各画素の輝度成分と色差成分の画素値から構成される画像であって、ノイズが低減された画像であるノイズ低減画像に対応する教師画像と、前記ベイヤ配列の画像に対応する生徒画像とを用いて、前記教師画像の各画素の輝度成分の画素値、その画素に対応する前記生徒画像の画素の画素値、および輝度成分用の予測係数の関係を示す式を解くことにより学習された前記輝度成分用の予測係数と、所定のベイヤ配列の画像に対応する所定のノイズ低減画像のうちの注目している画素である注目画素に対応する、前記所定のベイヤ配列の画像の画素の画素値からなる輝度予測タップとの演算により、前記注目画素の輝度成分の画素値を求める輝度予測演算部と、
前記教師画像と前記生徒画像を用いて、前記教師画像の各画素の色差成分の画素値、その画素に対応する前記生徒画像の画素の画素値、および色差成分用の予測係数の関係を示す式を解くことにより学習された、前記輝度成分用の予測係数に比べてノイズ低減効果の高い色差成分用の予測係数と、前記所定のノイズ低減画像のうちの前記注目画素に対応する、前記所定のベイヤ配列の画像の画素の画素値からなる色差予測タップとの演算により、前記注目画素の色差成分の画素値を求める色差予測演算部と
を備える画像処理装置。
【請求項２】
前記輝度成分用の予測係数と前記色差成分用の予測係数は、前記所定のノイズ低減画像におけるノイズの低減の度合を表すノイズパラメータごとに学習され、
前記輝度予測演算部は、所定の前記ノイズパラメータに基づいて、そのノイズパラメータの前記輝度成分用の予測係数と前記輝度予測タップとの演算により、前記注目画素の輝度成分の画素値を求め、
前記色差予測演算部は、所定の前記ノイズパラメータに基づいて、そのノイズパラメータの前記色差成分用の予測係数と前記色差予測タップとの演算により、前記注目画素の色差成分の画素値を求める
請求項１に記載の画像処理装置。
【請求項３】
前記所定のベイヤ配列の画像から前記輝度予測タップを取得する輝度予測タップ取得部と、
前記所定のベイヤ配列の画像から前記色差予測タップを取得する色差予測タップ取得部と
をさらに備える
請求項１に記載の画像処理装置。
【請求項４】
前記注目画素に対応する前記所定のベイヤ配列の画像の画素の画素値を、前記注目画素の輝度成分の画素値を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うために用いる輝度クラスタップとして取得する輝度クラスタップ取得部と、
前記輝度クラスタップ取得部により取得された前記輝度クラスタップに基づいて、前記注目画素の輝度成分の画素値をクラス分類する輝度クラス分類部と、
前記注目画素に対応する前記所定のベイヤ配列の画像の画素の画素値を、前記注目画素の色差成分の画素値をクラス分類するために用いる色差クラスタップとして取得する色差クラスタップ取得部と、
前記色差クラスタップ取得部により取得された前記色差クラスタップに基づいて、前記注目画素の色差成分の画素値をクラス分類する色差クラス分類部と
をさらに備え、
前記輝度成分用の予測係数と前記色差成分用の予測係数は、前記クラスごとに学習され、
前記輝度予測演算部は、前記輝度クラス分類部によるクラス分類の結果得られる前記注目画素の輝度成分の画素値のクラスに対応する前記輝度成分用の予測係数と、前記輝度予測タップとの演算により、前記注目画素の輝度成分の画素値を求め、
前記色差予測演算部は、前記色差クラス分類部によるクラス分類の結果得られる前記注目画素の色差成分の画素値のクラスに対応する前記色差成分用の予測係数と、前記色差予測タップとの演算により、前記注目画素の色差成分の画素値を求める
請求項１に記載の画像処理装置。
【請求項５】
画像処理装置が、
ベイヤ配列の画像の各画素の輝度成分と色差成分の画素値から構成される画像であって、ノイズが低減された画像であるノイズ低減画像に対応する教師画像と、前記ベイヤ配列の画像に対応する生徒画像とを用いて、前記教師画像の各画素の輝度成分の画素値、その画素に対応する前記生徒画像の画素の画素値、および輝度成分用の予測係数の関係を示す式を解くことにより学習された前記輝度成分用の予測係数と、所定のベイヤ配列の画像に対応する所定のノイズ低減画像のうちの注目している画素である注目画素に対応する、前記所定のベイヤ配列の画像の画素の画素値からなる輝度予測タップとの演算により、前記注目画素の輝度成分の画素値を求める輝度予測演算ステップと、
前記教師画像と前記生徒画像を用いて、前記教師画像の各画素の色差成分の画素値、その画素に対応する前記生徒画像の画素の画素値、および色差成分用の予測係数の関係を示す式を解くことにより学習された、前記輝度成分用の予測係数に比べてノイズ低減効果の高い色差成分用の予測係数と、前記所定のノイズ低減画像のうちの前記注目画素に対応する、前記所定のベイヤ配列の画像の画素の画素値からなる色差予測タップとの演算により、前記注目画素の色差成分の画素値を求める色差予測演算ステップと
を含む画像処理方法。
【請求項６】
コンピュータに、
ベイヤ配列の画像の各画素の輝度成分と色差成分の画素値から構成される画像であって、ノイズが低減された画像であるノイズ低減画像に対応する教師画像と、前記ベイヤ配列の画像に対応する生徒画像とを用いて、前記教師画像の各画素の輝度成分の画素値、その画素に対応する前記生徒画像の画素の画素値、および輝度成分用の予測係数の関係を示す式を解くことにより学習された前記輝度成分用の予測係数と、所定のベイヤ配列の画像に対応する所定のノイズ低減画像のうちの注目している画素である注目画素に対応する、前記所定のベイヤ配列の画像の画素の画素値からなる輝度予測タップとの演算により、前記注目画素の輝度成分の画素値を求める輝度予測演算ステップと、
前記教師画像と前記生徒画像を用いて、前記教師画像の各画素の色差成分の画素値、その画素に対応する前記生徒画像の画素の画素値、および色差成分用の予測係数の関係を示す式を解くことにより学習された、前記輝度成分用の予測係数に比べてノイズ低減効果の高い色差成分用の予測係数と、前記所定のノイズ低減画像のうちの前記注目画素に対応する、前記所定のベイヤ配列の画像の画素の画素値からなる色差予測タップとの演算により、前記注目画素の色差成分の画素値を求める色差予測演算ステップと
を含む処理を実行させるためのプログラム。
【請求項７】
請求項６に記載のプログラムが記録されている記録媒体。
【請求項８】
所定のベイヤ配列の画像を、前記所定のベイヤ配列の画像の各画素の輝度成分と色差成分の画素値から構成される画像であって、ノイズが低減された画像である所定のノイズ低減画像に変換するときに用いられる予測係数の学習に用いる、前記所定のノイズ低減画像に対応する教師画像のうちの注目している画素である注目画素に対応する、前記所定のベイヤ配列の画像に対応する生徒画像の画素の画素値からなる予測タップと、前記注目画素の画素値とを用いて、前記教師画像の各画素の画素値、その画素の前記予測タップ、および前記予測係数の関係を示す式を解くことで、前記予測係数を求める学習部
を備える学習装置。
【請求項９】
所定のノイズを前記教師画像に付加するノイズ付加部と、
前記ノイズ付加部により前記所定のノイズが付加された前記教師画像を、前記教師画像の各画素の所定の複数の色成分の画素値からなるカラー画像に変換する色空間変換部と、
前記色空間変換部により変換された前記カラー画像の各画素の前記所定の複数の色成分の画素値から、所定の色成分の画素値を間引き、その結果得られるベイヤ配列の画像を前記生徒画像とする間引き処理部と
をさらに備える
請求項８に記載の学習装置。
【請求項１０】
前記ノイズ付加部は、前記所定のノイズ低減画像におけるノイズの低減の度合を表すノイズパラメータごとに、そのノイズパラメータに対応する前記所定のノイズを付加し、
前記学習部は、前記ノイズパラメータごとに、そのノイズパラメータに対応する前記生徒画像を構成する、前記注目画素に対応する画素の画素値からなる前記予測タップと、前記注目画素の画素値とを用いて前記式を解くことで、前記ノイズパラメータごとの前記予測係数を求める
請求項９に記載の学習装置。
【請求項１１】
前記生徒画像から前記予測タップを取得する予測タップ取得部
をさらに備える
請求項８に記載の学習装置。
【請求項１２】
前記注目画素に対応する前記生徒画像の画素の画素値を、前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うために用いるクラスタップとして取得するクラスタップ取得部と、
前記クラスタップ取得部により取得された前記クラスタップに基づいて、前記注目画素をクラス分類するクラス分類部と
をさらに備え、
前記学習部は、前記注目画素の画素値と前記予測タップとを用いて、前記注目画素のクラスごとに前記式を解くことで、前記クラスごとの予測係数を求める
請求項８に記載の学習装置。
【請求項１３】
学習装置が、
所定のベイヤ配列の画像を、前記所定のベイヤ配列の画像の各画素の輝度成分と色差成分の画素値から構成される画像であって、ノイズが低減された画像である所定のノイズ低減画像に変換するときに用いられる予測係数の学習に用いる、前記所定のノイズ低減画像に対応する教師画像のうちの注目している画素である注目画素に対応する、前記所定のベイヤ配列の画像に対応する生徒画像の画素の画素値からなる予測タップと、前記注目画素の画素値とを用いて、前記教師画像の各画素の画素値、その画素の前記予測タップ、および前記予測係数の関係を示す式を解くことで、前記予測係数を求める学習ステップ
を含む学習方法。
【請求項１４】
コンピュータに、
所定のベイヤ配列の画像を、前記所定のベイヤ配列の画像の各画素の輝度成分と色差成分の画素値から構成される画像であって、ノイズが低減された画像である所定のノイズ低減画像に変換するときに用いられる予測係数の学習に用いる、前記所定のノイズ低減画像に対応する教師画像のうちの注目している画素である注目画素に対応する、前記所定のベイヤ配列の画像に対応する生徒画像の画素の画素値からなる予測タップと、前記注目画素の画素値とを用いて、前記教師画像の各画素の画素値、その画素の前記予測タップ、および前記予測係数の関係を示す式を解くことで、前記予測係数を求める学習ステップ
を含む処理を実行させるためのプログラム。
【請求項１５】
請求項１４に記載のプログラムが記録されている記録媒体。
【請求項１】
ベイヤ配列の画像の各画素の輝度成分と色差成分の画素値から構成される画像であって、ノイズが低減された画像であるノイズ低減画像に対応する教師画像と、前記ベイヤ配列の画像に対応する生徒画像とを用いて、前記教師画像の各画素の輝度成分の画素値、その画素に対応する前記生徒画像の画素の画素値、および輝度成分用の予測係数の関係を示す式を解くことにより学習された前記輝度成分用の予測係数と、所定のベイヤ配列の画像に対応する所定のノイズ低減画像のうちの注目している画素である注目画素に対応する、前記所定のベイヤ配列の画像の画素の画素値からなる輝度予測タップとの演算により、前記注目画素の輝度成分の画素値を求める輝度予測演算部と、
前記教師画像と前記生徒画像を用いて、前記教師画像の各画素の色差成分の画素値、その画素に対応する前記生徒画像の画素の画素値、および色差成分用の予測係数の関係を示す式を解くことにより学習された、前記輝度成分用の予測係数に比べてノイズ低減効果の高い色差成分用の予測係数と、前記所定のノイズ低減画像のうちの前記注目画素に対応する、前記所定のベイヤ配列の画像の画素の画素値からなる色差予測タップとの演算により、前記注目画素の色差成分の画素値を求める色差予測演算部と
を備える画像処理装置。
【請求項２】
前記輝度成分用の予測係数と前記色差成分用の予測係数は、前記所定のノイズ低減画像におけるノイズの低減の度合を表すノイズパラメータごとに学習され、
前記輝度予測演算部は、所定の前記ノイズパラメータに基づいて、そのノイズパラメータの前記輝度成分用の予測係数と前記輝度予測タップとの演算により、前記注目画素の輝度成分の画素値を求め、
前記色差予測演算部は、所定の前記ノイズパラメータに基づいて、そのノイズパラメータの前記色差成分用の予測係数と前記色差予測タップとの演算により、前記注目画素の色差成分の画素値を求める
請求項１に記載の画像処理装置。
【請求項３】
前記所定のベイヤ配列の画像から前記輝度予測タップを取得する輝度予測タップ取得部と、
前記所定のベイヤ配列の画像から前記色差予測タップを取得する色差予測タップ取得部と
をさらに備える
請求項１に記載の画像処理装置。
【請求項４】
前記注目画素に対応する前記所定のベイヤ配列の画像の画素の画素値を、前記注目画素の輝度成分の画素値を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うために用いる輝度クラスタップとして取得する輝度クラスタップ取得部と、
前記輝度クラスタップ取得部により取得された前記輝度クラスタップに基づいて、前記注目画素の輝度成分の画素値をクラス分類する輝度クラス分類部と、
前記注目画素に対応する前記所定のベイヤ配列の画像の画素の画素値を、前記注目画素の色差成分の画素値をクラス分類するために用いる色差クラスタップとして取得する色差クラスタップ取得部と、
前記色差クラスタップ取得部により取得された前記色差クラスタップに基づいて、前記注目画素の色差成分の画素値をクラス分類する色差クラス分類部と
をさらに備え、
前記輝度成分用の予測係数と前記色差成分用の予測係数は、前記クラスごとに学習され、
前記輝度予測演算部は、前記輝度クラス分類部によるクラス分類の結果得られる前記注目画素の輝度成分の画素値のクラスに対応する前記輝度成分用の予測係数と、前記輝度予測タップとの演算により、前記注目画素の輝度成分の画素値を求め、
前記色差予測演算部は、前記色差クラス分類部によるクラス分類の結果得られる前記注目画素の色差成分の画素値のクラスに対応する前記色差成分用の予測係数と、前記色差予測タップとの演算により、前記注目画素の色差成分の画素値を求める
請求項１に記載の画像処理装置。
【請求項５】
画像処理装置が、
ベイヤ配列の画像の各画素の輝度成分と色差成分の画素値から構成される画像であって、ノイズが低減された画像であるノイズ低減画像に対応する教師画像と、前記ベイヤ配列の画像に対応する生徒画像とを用いて、前記教師画像の各画素の輝度成分の画素値、その画素に対応する前記生徒画像の画素の画素値、および輝度成分用の予測係数の関係を示す式を解くことにより学習された前記輝度成分用の予測係数と、所定のベイヤ配列の画像に対応する所定のノイズ低減画像のうちの注目している画素である注目画素に対応する、前記所定のベイヤ配列の画像の画素の画素値からなる輝度予測タップとの演算により、前記注目画素の輝度成分の画素値を求める輝度予測演算ステップと、
前記教師画像と前記生徒画像を用いて、前記教師画像の各画素の色差成分の画素値、その画素に対応する前記生徒画像の画素の画素値、および色差成分用の予測係数の関係を示す式を解くことにより学習された、前記輝度成分用の予測係数に比べてノイズ低減効果の高い色差成分用の予測係数と、前記所定のノイズ低減画像のうちの前記注目画素に対応する、前記所定のベイヤ配列の画像の画素の画素値からなる色差予測タップとの演算により、前記注目画素の色差成分の画素値を求める色差予測演算ステップと
を含む画像処理方法。
【請求項６】
コンピュータに、
ベイヤ配列の画像の各画素の輝度成分と色差成分の画素値から構成される画像であって、ノイズが低減された画像であるノイズ低減画像に対応する教師画像と、前記ベイヤ配列の画像に対応する生徒画像とを用いて、前記教師画像の各画素の輝度成分の画素値、その画素に対応する前記生徒画像の画素の画素値、および輝度成分用の予測係数の関係を示す式を解くことにより学習された前記輝度成分用の予測係数と、所定のベイヤ配列の画像に対応する所定のノイズ低減画像のうちの注目している画素である注目画素に対応する、前記所定のベイヤ配列の画像の画素の画素値からなる輝度予測タップとの演算により、前記注目画素の輝度成分の画素値を求める輝度予測演算ステップと、
前記教師画像と前記生徒画像を用いて、前記教師画像の各画素の色差成分の画素値、その画素に対応する前記生徒画像の画素の画素値、および色差成分用の予測係数の関係を示す式を解くことにより学習された、前記輝度成分用の予測係数に比べてノイズ低減効果の高い色差成分用の予測係数と、前記所定のノイズ低減画像のうちの前記注目画素に対応する、前記所定のベイヤ配列の画像の画素の画素値からなる色差予測タップとの演算により、前記注目画素の色差成分の画素値を求める色差予測演算ステップと
を含む処理を実行させるためのプログラム。
【請求項７】
請求項６に記載のプログラムが記録されている記録媒体。
【請求項８】
所定のベイヤ配列の画像を、前記所定のベイヤ配列の画像の各画素の輝度成分と色差成分の画素値から構成される画像であって、ノイズが低減された画像である所定のノイズ低減画像に変換するときに用いられる予測係数の学習に用いる、前記所定のノイズ低減画像に対応する教師画像のうちの注目している画素である注目画素に対応する、前記所定のベイヤ配列の画像に対応する生徒画像の画素の画素値からなる予測タップと、前記注目画素の画素値とを用いて、前記教師画像の各画素の画素値、その画素の前記予測タップ、および前記予測係数の関係を示す式を解くことで、前記予測係数を求める学習部
を備える学習装置。
【請求項９】
所定のノイズを前記教師画像に付加するノイズ付加部と、
前記ノイズ付加部により前記所定のノイズが付加された前記教師画像を、前記教師画像の各画素の所定の複数の色成分の画素値からなるカラー画像に変換する色空間変換部と、
前記色空間変換部により変換された前記カラー画像の各画素の前記所定の複数の色成分の画素値から、所定の色成分の画素値を間引き、その結果得られるベイヤ配列の画像を前記生徒画像とする間引き処理部と
をさらに備える
請求項８に記載の学習装置。
【請求項１０】
前記ノイズ付加部は、前記所定のノイズ低減画像におけるノイズの低減の度合を表すノイズパラメータごとに、そのノイズパラメータに対応する前記所定のノイズを付加し、
前記学習部は、前記ノイズパラメータごとに、そのノイズパラメータに対応する前記生徒画像を構成する、前記注目画素に対応する画素の画素値からなる前記予測タップと、前記注目画素の画素値とを用いて前記式を解くことで、前記ノイズパラメータごとの前記予測係数を求める
請求項９に記載の学習装置。
【請求項１１】
前記生徒画像から前記予測タップを取得する予測タップ取得部
をさらに備える
請求項８に記載の学習装置。
【請求項１２】
前記注目画素に対応する前記生徒画像の画素の画素値を、前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うために用いるクラスタップとして取得するクラスタップ取得部と、
前記クラスタップ取得部により取得された前記クラスタップに基づいて、前記注目画素をクラス分類するクラス分類部と
をさらに備え、
前記学習部は、前記注目画素の画素値と前記予測タップとを用いて、前記注目画素のクラスごとに前記式を解くことで、前記クラスごとの予測係数を求める
請求項８に記載の学習装置。
【請求項１３】
学習装置が、
所定のベイヤ配列の画像を、前記所定のベイヤ配列の画像の各画素の輝度成分と色差成分の画素値から構成される画像であって、ノイズが低減された画像である所定のノイズ低減画像に変換するときに用いられる予測係数の学習に用いる、前記所定のノイズ低減画像に対応する教師画像のうちの注目している画素である注目画素に対応する、前記所定のベイヤ配列の画像に対応する生徒画像の画素の画素値からなる予測タップと、前記注目画素の画素値とを用いて、前記教師画像の各画素の画素値、その画素の前記予測タップ、および前記予測係数の関係を示す式を解くことで、前記予測係数を求める学習ステップ
を含む学習方法。
【請求項１４】
コンピュータに、
所定のベイヤ配列の画像を、前記所定のベイヤ配列の画像の各画素の輝度成分と色差成分の画素値から構成される画像であって、ノイズが低減された画像である所定のノイズ低減画像に変換するときに用いられる予測係数の学習に用いる、前記所定のノイズ低減画像に対応する教師画像のうちの注目している画素である注目画素に対応する、前記所定のベイヤ配列の画像に対応する生徒画像の画素の画素値からなる予測タップと、前記注目画素の画素値とを用いて、前記教師画像の各画素の画素値、その画素の前記予測タップ、および前記予測係数の関係を示す式を解くことで、前記予測係数を求める学習ステップ
を含む処理を実行させるためのプログラム。
【請求項１５】
請求項１４に記載のプログラムが記録されている記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１２−２４４４４９（Ｐ２０１２−２４４４４９Ａ）
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願番号】特願２０１１−１１３０５９（Ｐ２０１１−１１３０５９）
【出願日】平成２３年５月２０日（２０１１．５．２０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願日】平成２３年５月２０日（２０１１．５．２０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]