画像処理装置、画像処理方法、プログラム、および記録媒体、並びに学習装置
【課題】ベイヤ配列の画像から拡大されたカラー画像を高精度に生成することできるようにする。
【解決手段】予測演算部は、学習された予測係数と予測タップとの演算により、色成分ごとに注目画素の画素値を求め、色成分ごとの注目画素の画素値から構成される出力画像を出力する。本技術は、例えば、画像処理装置に適用することができる。
【解決手段】予測演算部は、学習された予測係数と予測タップとの演算により、色成分ごとに注目画素の画素値を求め、色成分ごとの注目画素の画素値から構成される出力画像を出力する。本技術は、例えば、画像処理装置に適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置、画像処理方法、プログラム、および記録媒体、並びに学習装置に関し、特に、ベイヤ配列の画像から拡大されたカラー画像を高精度に生成することできるようにした画像処理装置、画像処理方法、プログラム、および記録媒体、並びに学習装置に関する。
【背景技術】
【０００２】
従来、小型化のため、CCD（Charge Coupled Device）やCMOS（Complementary Metal-Oxide Semiconductor）イメージセンサ等の撮像素子を１つだけ備える撮影装置がある。このような撮影装置では、一般的に、撮像素子の各画素に異なるカラーフィルタが施され、画素ごとに、ＲＧＢ等の複数の色のうちのいずれか１つの色の信号が取得される。これにより、撮像素子で取得される画像は、例えば、図１に示すようなカラー配列の画像となる。以下では、図１のカラー配列をベイヤ配列という。
【０００３】
撮像素子により取得されたベイヤ配列の画像は、通常、デモザイク処理と呼ばれる補間処理により、画素ごとにＲＧＢ等の複数の色の成分の画素値を有するカラー画像に変換される。
【０００４】
また、ベイヤ配列の画像から拡大されたカラー画像を生成する方法としては、デモザイク処理によりベイヤ配列の画像からカラー画像を生成し、そのカラー画像に対して拡大処理を行う方法がある(例えば、特許文献１参照)。
【０００５】
図２は、このような方法で拡大されたカラー画像を生成する画像処理装置の構成の一例を示すブロック図である。
【０００６】
図２の画像処理装置１０は、撮像素子１１、デモザイク処理部１２、および拡大処理部１３により構成される。
【０００７】
画像処理装置１０の撮像素子１１は、各画素に異なるカラーフィルタが施されている。撮像素子１１は、被写体からの光のＲ成分、Ｇ成分、およびＢ成分のうちのいずれか１つの成分のアナログ信号を画素ごとに取得し、A/D変換等を行うことにより、ベイヤ配列の画像を生成する。撮像素子１１は、生成されたベイヤ配列の画像をデモザイク処理部１２に供給する。
【０００８】
デモザイク処理部１２は、撮像素子１１から供給されるベイヤ配列の画像に対してデモザイク処理を行い、各画素のＲ成分、Ｇ成分、およびＢ成分の画素値からなるカラー画像(以下、ＲＧＢ画像という)を生成する。そして、デモザイク処理部１２は、生成されたＲＧＢ画像を拡大処理部１３に供給する。
【０００９】
拡大処理部１３は、外部から入力される水平方向および垂直方向の拡大率に基づいて、デモザイク処理部１２から供給されるＲＧＢ画像に対して拡大処理を行い、拡大処理後のＲＧＢ画像を出力画像として出力する。
【００１０】
また、ＲＧＢ画像を任意の倍率に拡大する方法として、クラス分類適応処理を用いる方法がある(例えば、特許文献２参照)。クラス分類適応処理とは、処理後の画像の注目している画素である注目画素を所定のクラスに分類し、そのクラスに対応する学習により求められた予測係数と、注目画素に対応する処理前の画像の画素値との線形結合により注目画素の画素値を予測する処理である。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２００６−５４５７６号公報
【特許文献２】特許４４４１８６０号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
図１の画像処理装置１０におけるデモザイク処理および拡大処理として、例えば、クラス分類適応処理が用いられた場合、デモザイク処理によりベイヤ配列の画像に存在する細線部などの情報が失われると、出力画像の精度が劣化する。
【００１３】
具体的には、デモザイク処理により細線部などの情報が失われ、ＲＧＢ画像が平坦部を有する場合、拡大処理部１３では、ＲＧＢ画像の平坦部が、本来存在する平坦部であるか、細線部が失われたことによる平坦部であるかを認識することは困難である。従って、デモザイク処理により細線部などの情報が失われた場合であっても、拡大処理部１３は、デモザイク処理部１２から供給されるＲＧＢ画像を、細線部などの情報が失われていないＲＧＢ画像として拡大処理する。これにより、出力画像は、デモザイク処理前のベイヤ配列の画像を平滑化した画像に対応するものとなり、出力画像の精度が劣化する。
【００１４】
同様に、デモザイク処理によりベイヤ配列の画像には存在しない色のエッジなどが生成された場合も、出力画像の精度が劣化する。
【００１５】
本技術は、このような状況に鑑みてなされたものであり、ベイヤ配列の画像から拡大されたカラー画像を高精度に生成することできるようにするものである。
【課題を解決するための手段】
【００１６】
本技術の第１の側面の画像処理装置は、第１の拡大率で拡大されたベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成されるカラー画像に対応する教師画像と、前記ベイヤ配列の画像に対応する生徒画像とを用いて、前記教師画像の各画素の色成分ごとに、前記教師画像の各画素の画素値、その画素に対応する前記第１の拡大率で拡大された前記生徒画像の画素の画素値、および予測係数の関係を示す式を解くことにより学習された前記予測係数と、第２の拡大率で拡大された所定のベイヤ配列の画像に対応する所定のカラー画像のうちの注目している画素である注目画素に対応する、前記第２の拡大率で拡大された前記所定のベイヤ配列の画像の画素の画素値からなる予測タップとの演算により、前記色成分ごとに前記注目画素の画素値を求め、前記色成分ごとの前記注目画素の画素値から構成される前記所定のカラー画像を出力する予測演算部を備える画像処理装置である。
【００１７】
本技術の第１の側面の画像処理方法、プログラム、および記録媒体に記録されているプログラムは、本技術の第１の側面の画像処理装置に対応する。
【００１８】
本技術の第１の側面においては、第１の拡大率で拡大されたベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成されるカラー画像に対応する教師画像と、前記ベイヤ配列の画像に対応する生徒画像とを用いて、前記教師画像の各画素の色成分ごとに、前記教師画像の各画素の画素値、その画素に対応する前記第１の拡大率で拡大された前記生徒画像の画素の画素値、および予測係数の関係を示す式を解くことにより学習された前記予測係数と、第２の拡大率で拡大された所定のベイヤ配列の画像に対応する所定のカラー画像のうちの注目している画素である注目画素に対応する、前記第２の拡大率で拡大された前記所定のベイヤ配列の画像の画素の画素値からなる予測タップとの演算により、前記色成分ごとに前記注目画素の画素値が求められ、前記色成分ごとの前記注目画素の画素値から構成される前記所定のカラー画像が出力される。
【００１９】
本技術の第２の側面の学習装置は、所定のベイヤ配列の画像を、第１の拡大率で拡大された前記所定のベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成される所定のカラー画像に変換するときに用いられる予測係数の学習に用いる、前記所定のベイヤ配列の画像に対応する生徒画像が第２の拡大率に基づいて拡大された結果得られる画像のうちの、その画像に対応するカラー画像である教師画像のうちの注目している画素である注目画素に対応する画素の画素値からなる予測タップと、前記注目画素の画素値とを用いて、前記教師画像の各画素の色成分ごとに、前記教師画像の各画素の画素値、その画素の前記予測タップ、および前記予測係数の関係を示す式を解くことで、前記色成分ごとの前記予測係数を求める学習部を備える学習装置である。
【００２０】
本技術の第２の側面の学習方法、プログラム、および記録媒体に記録されているプログラムは、本技術の第２の側面の学習装置に対応する。
【００２１】
本技術の第２の側面においては、所定のベイヤ配列の画像を、第１の拡大率で拡大された前記所定のベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成される所定のカラー画像に変換するときに用いられる予測係数の学習に用いる、前記所定のベイヤ配列の画像に対応する生徒画像が第２の拡大率に基づいて拡大された結果得られる画像のうちの、その画像に対応するカラー画像である教師画像のうちの注目している画素である注目画素に対応する画素の画素値からなる予測タップと、前記注目画素の画素値とを用いて、前記教師画像の各画素の色成分ごとに、前記教師画像の各画素の画素値、その画素の前記予測タップ、および前記予測係数の関係を示す式を解かれることで、前記色成分ごとの前記予測係数が求められる。
【００２２】
本技術の第３の側面の画像処理装置は、第１の拡大率で拡大されたベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成されるカラー画像に対応する教師画像と、前記ベイヤ配列の画像に対応する生徒画像とを用いて、前記教師画像の各画素の色成分、および、前記教師画像の各画素の前記生徒画像上の位置と、その位置に最も近い前記生徒画像の画素の位置との距離である画素間距離ごとに、前記教師画像の各画素の画素値、その画素に対応する前記生徒画像の画素の画素値、および予測係数の関係を示す式を解くことにより学習された前記予測係数のうちの、第２の拡大率で拡大された所定のベイヤ配列の画像に対応する所定のカラー画像のうちの注目している画素である注目画素の前記所定のベイヤ配列の画像上の位置と、その位置に最も近い前記所定のベイヤ配列の画像の画素である注目直近画素の位置との距離である注目画素間距離に対応する予測係数と、前記注目画素に対応する前記所定のベイヤ配列の画像の画素の画素値からなる予測タップとの演算により、前記色成分ごとに前記注目画素の画素値を求め、前記色成分ごとの前記注目画素の画素値から構成される前記所定のカラー画像を出力する予測演算部を備える画像処理装置である。
【００２３】
本技術の第３の側面においては、第１の拡大率で拡大されたベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成されるカラー画像に対応する教師画像と、前記ベイヤ配列の画像に対応する生徒画像とを用いて、前記教師画像の各画素の色成分、および、前記教師画像の各画素の前記生徒画像上の位置と、その位置に最も近い前記生徒画像の画素の位置との距離である画素間距離ごとに、前記教師画像の各画素の画素値、その画素に対応する前記生徒画像の画素の画素値、および予測係数の関係を示す式を解くことにより学習された前記予測係数のうちの、第２の拡大率で拡大された所定のベイヤ配列の画像に対応する所定のカラー画像のうちの注目している画素である注目画素の前記所定のベイヤ配列の画像上の位置と、その位置に最も近い前記所定のベイヤ配列の画像の画素である注目直近画素の位置との距離である注目画素間距離に対応する予測係数と、前記注目画素に対応する前記所定のベイヤ配列の画像の画素の画素値からなる予測タップとの演算により、前記色成分ごとに前記注目画素の画素値が求められ、前記色成分ごとの前記注目画素の画素値から構成される前記所定のカラー画像が出力される。
【００２４】
本技術の第４の側面の学習装置は、所定のベイヤ配列の画像を、第１の拡大率で拡大された前記所定のベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成される所定のカラー画像に変換するときに用いられる予測係数の学習に用いる、前記所定のベイヤ配列の画像に対応する生徒画像が第２の拡大率に基づいて拡大された結果得られる画像のうちの、その画像に対応するカラー画像である教師画像のうちの注目している画素である注目画素に対応する画素の画素値からなる予測タップと、前記注目画素の画素値とを用いて、前記教師画像の各画素の色成分ごとに、前記教師画像の各画素の画素値、その画素の前記予測タップ、および前記予測係数の関係を示す式を解くことで、前記色成分ごとの前記予測係数を求める学習部を備える学習装置である。
【００２５】
本技術の第４の側面においては、所定のベイヤ配列の画像を、第１の拡大率で拡大された前記所定のベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成される所定のカラー画像に変換するときに用いられる予測係数の学習に用いる、前記所定のベイヤ配列の画像に対応する生徒画像が第２の拡大率に基づいて拡大された結果得られる画像のうちの、その画像に対応するカラー画像である教師画像のうちの注目している画素である注目画素に対応する画素の画素値からなる予測タップと、前記注目画素の画素値とを用いて、前記教師画像の各画素の色成分ごとに、前記教師画像の各画素の画素値、その画素の前記予測タップ、および前記予測係数の関係を示す式が解かれることで、前記色成分ごとの前記予測係数が求められる。
【発明の効果】
【００２６】
本技術の第１および第３の側面によれば、ベイヤ配列の画像から拡大されたカラー画像を高精度に生成することできる。
【００２７】
また、本技術の第２および第４の側面によれば、ベイヤ配列の画像から拡大されたカラー画像を高精度に生成するための予測係数を学習することができる。
【図面の簡単な説明】
【００２８】
【図１】ベイヤ配列の例を示す図である。
【図２】画像処理装置の構成の一例を示すブロック図である。
【図３】本技術を適用した画像処理装置の第１実施の形態の構成例を示すブロック図である。
【図４】図３の拡大処理部の詳細構成例を示すブロック図である。
【図５】図４の拡大予測処理部の詳細構成例を示すブロック図である。
【図６】出力画像の各画素の位置を示す第１の図である。
【図７】図５の拡大予測処理部におけるクラスタップのタップ構造の例を示す図である。
【図８】図５の拡大予測処理部における予測タップのタップ構造の例を示す図である。
【図９】図５の補間部により補間されるクラスタップに対応する位置を示す図である。
【図１０】拡大処理部の画像処理を説明するフローチャートである。
【図１１】図５の拡大予測処理部における予測係数を学習する学習装置の構成例を示すブロック図である。
【図１２】図１１の学習装置の学習処理を説明するフローチャートである。
【図１３】出力画像の例を示す図である。
【図１４】本技術を適用した画像処理装置の第２実施の形態の拡大予測処理部の構成例を示すブロック図である。
【図１５】出力画像の各画素の位置を示す第２の図である。
【図１６】図１４の拡大予測処理部におけるクラスタップのタップ構造の例を示す図である。
【図１７】図１４の拡大予測処理部における予測タップのタップ構造の例を示す図である。
【図１８】センター画素の位置を説明する図である。
【図１９】図１４の拡大予測処理部を有する拡大処理部の画像処理を説明するフローチャートである。
【図２０】図１４の拡大予測処理部における予測係数を学習する学習装置の構成例を示すブロック図である。
【図２１】図２０の学習装置の学習処理を説明するフローチャートである。
【図２２】コンピュータの一実施の形態の構成例を示す図である。
【発明を実施するための形態】
【００２９】
＜第１実施の形態＞
［画像処理装置の構成例］
図３は、本技術を適用した画像処理装置の第１実施の形態の構成例を示すブロック図である。
【００３０】
図３に示す構成のうち、図２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【００３１】
図３の画像処理装置３０の構成は、主に、デモザイク処理部１２と拡大処理部１３の代わりに拡大処理部３１が設けられている点が図２の構成と異なる。画像処理装置３０は、クラス分類適応処理を用いて、ベイヤ配列の画像から拡大されたＲＧＢ画像を直接生成する。
【００３２】
具体的には、画像処理装置３０の拡大処理部３１は、図示せぬユーザなどにより外部から入力される水平方向および垂直方向の拡大率に基づいて、撮像素子１１により生成されるベイヤ配列の画像を拡大する。
【００３３】
なお、水平方向および垂直方向の拡大率は、同一であっても異なっていてもよい。また、水平方向および垂直方向の拡大率は、整数であっても分数であってもよい。
【００３４】
また、拡大処理部３１は、拡大後のベイヤ配列の画像に対してクラス分類適応処理を行い、ＲＧＢ画像を生成する。拡大処理部３１は、生成されたＲＧＢ画像を出力画像として出力する。
【００３５】
［拡大処理部の構成例］
図４は、図３の拡大処理部３１の詳細構成例を示すブロック図である。
【００３６】
図４の拡大処理部３１は、画素欠陥補正部５１、クランプ処理部５２、ホワイトバランス部５３、および拡大予測処理部５４により構成される。
【００３７】
拡大処理部３１の画素欠陥補正部５１、クランプ処理部５２、およびホワイトバランス部５３は、出力画像の画質を高めるために、ベイヤ配列の画像に対して前処理を行う。
【００３８】
具体的には、拡大処理部３１の画素欠陥補正部５１は、図３の撮像素子１１から供給されるベイヤ配列の画像のうち、撮像素子１１の欠陥のある画素の画素値を検出する。ここで、撮像素子１１の欠陥のある画素とは、何らかの理由で入射光に反応しない素子や常に電荷を蓄えている素子である。画素欠陥補正部５１は、検出された撮像素子１１の欠陥のある画素の画素値を、周囲の欠陥のない画素の画素値などを用いて補正し、補正後のベイヤ配列の画像をクランプ処理部５２に供給する。
【００３９】
クランプ処理部５２は、画素欠陥補正部５１から供給される補正後のベイヤ配列の画像をクランプする。具体的には、撮像素子１１は、負の値が削除されることを防止するため、アナログ信号の信号値を正の方向にシフトした後、A/D変換を行う。従って、クランプ処理部５２は、そのA/D変換時のシフト分を打ち消すように、補正後のベイヤ配列の画像をクランプする。クランプ処理部５２は、クランプ後のベイヤ配列の画像をホワイトバランス部５３に供給する。
【００４０】
ホワイトバランス部５３は、クランプ処理部５２から供給されるベイヤ配列の画像の各色成分のゲインを補正することにより、ホワイトバランスを調整する。ホワイトバランス部５３は、ホワイトバランスが調整されたベイヤ配列の画像を拡大予測処理部５４に供給する。
【００４１】
拡大予測処理部５４は、外部から入力される水平方向および垂直方向の拡大率に基づいて、ホワイトバランス部５３から供給されるベイヤ配列の画像を拡大する。そして、拡大予測処理部５４は、拡大後のベイヤ配列の画像に対してクラス分類適応処理を行い、ＲＧＢ画像を生成する。拡大予測処理部５４は、生成されたＲＧＢ画像を出力画像として出力する。
【００４２】
［拡大予測処理部の詳細構成例］
図５は、図４の拡大予測処理部５４の詳細構成例を示すブロック図である。
【００４３】
図５の拡大予測処理部５４は、補間部７１、予測タップ取得部７２、クラスタップ取得部７３、クラス番号発生部７４、係数発生部７５、および予測演算部７６により構成される。
【００４４】
拡大予測処理部５４の補間部７１は、拡大処理部として機能し、外部から入力される水平方向および垂直方向の拡大率に基づいて、予測する出力画像の各画素の、図４のホワイトバランス部５３から供給されるベイヤ配列の画像内の位置を決定する。補間部７１は、出力画像の各画素を順に注目画素とする。補間部７１は、ベイヤ配列の画像内の、注目画素の画素値を予測するために用いる１以上の画素値（以下、予測タップという）に対応する位置を決定する。具体的には、補間部７１は、出力画像内の注目画素の位置と同一のベイヤ配列の画像内の位置に対して、空間的に所定の位置関係にある位置を、予測タップに対応する位置に決定する。
【００４５】
補間部７１は、ベイヤ配列の画像に対して所定の補間処理を行い、予測タップに対応する位置の各色成分の画素値を補間する。補間部７１は、補間の結果得られる各色成分の予測タップを予測タップ取得部７２に供給する。
【００４６】
また、補間部７１は、ベイヤ配列の画像内の、注目画素を１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うために用いる１以上の画素値（以下、クラスタップという）に対応する位置を決定する。具体的には、補間部７１は、出力画像内の注目画素の位置と同一のベイヤ配列の画像内の位置に対して、空間的に所定の位置関係にある位置を、クラスタップに対応する位置に決定する。
【００４７】
補間部７１は、ベイヤ配列の画像に対して所定の補間処理を行い、クラスタップに対応する位置の各色成分の画素値を補間する。補間部７１は、補間の結果得られる各色成分のクラスタップをクラスタップ取得部７３に供給する。
【００４８】
なお、補間部７１における補間処理としては、例えば、バイキュービク法による補間処理、線形補間処理などを用いることができる。また、予測タップとクラスタップは、同一のタップ構造を有するものとすることも、異なるタップ構造を有するものとすることも可能である。但し、予測タップとクラスタップのタップ構造は、拡大率によらず一定である。
【００４９】
予測タップ取得部７２は、補間部７１から供給される各色成分の予測タップを取得し、予測演算部７６に供給する。
【００５０】
クラスタップ取得部７３は、補間部７１から供給される各色成分のクラスタップを取得し、クラス番号発生部７４に供給する。
【００５１】
クラス番号発生部７４は、クラス分類部として機能し、クラスタップ取得部７３から供給される各色成分のクラスタップに基づいて、色成分ごとに注目画素をクラス分類する。クラス番号発生部７４は、その結果得られるクラスに対応するクラス番号を発生して、係数発生部７５に供給する。
【００５２】
クラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)を用いる方法を採用することができる。
【００５３】
クラス分類を行う方法としてADRCを用いる方法が採用された場合、クラスタップを構成する画素値がADRC処理され、その結果得られる再量子化コードにしたがって、注目画素のクラス番号が決定される。
【００５４】
具体的には、ADRC処理として、以下の式（１）により、クラスタップの最大値MAXと最小値MINの間を指定されたビット数ｐで均等に分割して再量子化する処理が行われる。
【００５５】
qi=[(ki-MIN+0.5)*2^p/DR]
・・・（１）
【００５６】
なお、式（１）において、［］は、［］内の値の小数点以下を切り捨てることを意味する。また、kiは、クラスタップのi番目の画素値を表し、qiは、クラスタップのi番目の画素値の再量子化コードを表す。また、DRは、ダイナミックレンジであり、MAX-MIN+1である。
【００５７】
そして、このようにして求められた再量子化コードqiを用いて、以下の式（２）により、注目画素のクラス番号classが算出される。
【００５８】
【数１】
【００５９】
なお、式（２）において、ｎは、クラスタップを構成する画素値の数である。
【００６０】
クラス分類を行う方法としては、ADRCを用いる方法の他に、DCT(Discrete Cosine Transform)，VQ(Vector Quantization)，DPCM（differential pulse code modulation）などのデータ圧縮方式を応用し、データ圧縮した結果のデータ量をクラス番号とする方法などを用いることもできる。
【００６１】
係数発生部７５は、図１１および図１２を参照して後述する学習によって求められた色成分およびクラスごとの予測係数を記憶する。係数発生部７５は、記憶している予測係数のうちの、クラス番号発生部７４から供給される各色成分のクラス番号に対応するクラスの予測係数を読み出し、予測演算部７６に供給する。
【００６２】
予測演算部７６は、予測タップ取得部７２から供給される各色成分の予測タップと、係数発生部７５から供給される各色成分の予測係数とを用いて、色成分ごとに、注目画素の画素値の真値の予測値を求める所定の予測演算を行う。これにより、予測演算部７６は、注目画素の各色成分の画素値の予測値を、出力画像の注目画素の各色成分の画素値として生成し、出力する。
【００６３】
［出力画像の各画素の位置の例］
図６は、水平方向および垂直方向の拡大率が２倍である場合の出力画像の各画素の位置を示す図である。
【００６４】
なお、図６において、白丸は、補間部７１に入力されるベイヤ配列の画像の画素の位置を表し、黒丸は出力画像の画素の位置を表す。
【００６５】
図６に示すように、水平方向および垂直方向の拡大率が２倍である場合、出力画像の各画素の水平方向の位置の間隔は、補間部７１に入力されるベイヤ配列の画像の各画素の水平方向の位置の間隔の1/2である。また、出力画像の各画素の垂直方向の位置の間隔は、補間部７１に入力されるベイヤ配列の画像の各画素の垂直方向の位置の間隔の1/2である。
【００６６】
［クラスタップのタップ構造の例］
図７は、クラスタップのタップ構造の例を示す図である。なお、クラスタップのタップ構造は、図７の構造以外の構造とすることが可能である。
【００６７】
図７において、バツ印は、出力画像内の注目画素の位置と同一のベイヤ配列の画像内の位置（以下、注目画素対応位置という）を表している。また、図７において、丸印は、注目画素のクラスタップに対応するベイヤ配列の画像内の位置を表している。
【００６８】
図７の例では、注目画素対応位置を中心として、水平方向および垂直方向に、それぞれ、ベイヤ配列の画像の画素単位の間隔で５個ずつ並ぶ合計９個の位置に対応する画素値がクラスタップとされる。
【００６９】
この場合、クラスタップに対応する位置は、外部から入力される水平方向および垂直方向の拡大率で拡大されたベイヤ配列の画像のいずれかの画素の位置と同一である。即ち、クラスタップは、外部から入力される水平方向および垂直方向の拡大率で拡大されたベイヤ配列の画像のうちの９個の画素値からなる。また、注目画素対応位置と、クラスタップに対応する位置との関係は、外部から入力される水平方向および垂直方向の拡大率によらず一定となる。
【００７０】
［予測タップのタップ構造の例］
図８は、予測タップのタップ構造の例を示す図である。なお、予測タップのタップ構造は、図８の構造以外の構造とすることが可能である。
【００７１】
図８において、バツ印は、注目画素対応位置を表している。また、図８において、丸印は、注目画素の予測タップに対応するベイヤ配列の画像内の位置を表している。
【００７２】
図８の例では、注目画素対応位置を中心として水平方向および垂直方向に、それぞれ、ベイヤ配列の画像の画素単位の間隔で５個ずつ並ぶ合計９個の位置と、その位置のうちの、注目画素対応位置と左右に隣り合う２個の位置それぞれから上下方向にベイヤ配列の画像の画素単位の間隔で１個ずつ並ぶ合計４個の位置とからなる合計１３個の位置に対応する画素値が予測タップとされる。即ち、予測タップを構成する画素値に対応する位置は、いわばひし形状に並んでいる。
【００７３】
この場合、予測タップに対応する位置は、外部から入力される水平方向および垂直方向の拡大率で拡大されたベイヤ配列の画像のいずれかの画素の位置と同一である。即ち、予測タップは、外部から入力される水平方向および垂直方向の拡大率で拡大されたベイヤ配列の画像のうちの１３個の画素値からなる。また、注目画素対応位置と、予測タップに対応する位置との関係は、外部から入力される水平方向および垂直方向の拡大率によらず一定となる。
【００７４】
［補間部による補間の説明］
図９は、図５の補間部７１により補間されるクラスタップに対応する位置を示す図である。
【００７５】
なお、図９において、バツ印は、注目画素対応位置を表している。また、図９において、白丸は、補間部７１に入力されるベイヤ配列の画像の画素の位置を表し、黒丸は出力画像の画素の位置を表す。また、図９の例では、水平方向および垂直方向の拡大率が２倍であり、クラスタップの構造は図７の構造である。
【００７６】
図９に示すように、補間部７１は、例えば、注目画素対応位置を中心として、水平方向および垂直方向に、それぞれ、ベイヤ配列の画像の１画素分の間隔ずつ離れて５個ずつ並ぶ合計９個の位置に対応する画素値がクラスタップとして補間される。即ち、図９において、点線の丸で囲われた黒丸で表される位置の画素値がクラスタップとして補間される。
【００７７】
なお、クラスタップの補間は、色成分ごとに、その色成分のベイヤ配列の画像の画素値のうちの、クラスタップを構成する各画素値に対応する位置の周辺位置の画素値を用いて行われる。例えば、図９の注目画素対応位置の注目画素のＲ成分の画素値を生成する際に用いられるＲ成分のクラスタップは、ベイヤ配列の画像のうちの、図９中点線の丸で囲われた黒丸で表される９個の位置それぞれの周辺位置のＲ成分の画素値を用いて補間される。
【００７８】
［予測演算の説明］
次に、図５の予測演算部７６における予測演算と、その予測演算に用いられる予測係数の学習について説明する。
【００７９】
いま、所定の予測演算として、例えば、線形１次予測演算を採用することとすると、出力画像の各画素の各色成分の画素値ｙは、次の線形１次式によって求められることになる。
【００８０】
【数２】
【００８１】
なお、式（３）において、ｘiは、画素値ｙについての予測タップを構成する画素値のうちのｉ番目の画素値を表し、Ｗiは、そのｉ番目の画素値と乗算されるi番目の予測係数を表す。また、nは、予測タップを構成する画素値の数を表している。
【００８２】
また、第ｋサンプルの出力画像の画素の各色成分の画素値の予測値をｙk’と表すと、予測値ｙk’は以下の式（４）で表される。
【００８３】
yk’=W1×xk1＋W2×xk2＋・・・＋Wn×xkn
・・・（４）
【００８４】
なお、式（４）において、ｘkiは、予測値ｙk’の真値についての予測タップを構成する画素値のうちのi番目の画素値を表し、Ｗiは、そのｉ番目の画素値と乗算されるi番目の予測係数を表す。また、nは、予測タップを構成する画素値の数を表している。
【００８５】
また、予測値ｙk’の真値をｙkと表すと、予測誤差ｅkは、以下の式（５）で表される。
【００８６】
ek=yk-｛W1×xk1＋W2×xk2＋・・・＋Wn×xkn｝
・・・（５）
【００８７】
なお、式（５）において、ｘkiは、予測値ｙk’の真値についての予測タップを構成する画素値のうちのi番目の画素値を表し、Ｗiは、そのｉ番目の画素値と乗算されるi番目の予測係数を表す。また、nは、予測タップを構成する画素値の数を表している。
【００８８】
式（５）の予測誤差ｅkを０とする予測係数Ｗiが、真値ｙkを予測するのに最適なものとなるが、学習用のサンプルの数がｎより小さい場合は、予測係数Ｗiは一意に定まらない。
【００８９】
そこで、予測係数Ｗiが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適な予測係数Ｗiは、以下の式（６）で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【００９０】
【数３】
【００９１】
式（６）の自乗誤差の総和Ｅの最小値（極小値）は、以下の式（７）に示すように、総和Ｅを予測係数Ｗiで偏微分したものを０とするＷiによって与えられる。
【００９２】
【数４】
【００９３】
以下の式（８）および式（９）に示すようにＸjiとＹiを定義すると、式（７）は、以下の式（１０）のように行列式の形で表すことができる。
【００９４】
【数５】
【００９５】
【数６】
【００９６】
【数７】
【００９７】
なお、式（８）乃至（１０）において、ｘkiは、予測値ｙk’の真値についての予測タップを構成する画素値のうちのi番目の画素値を表し、Ｗiは、そのｉ番目の画素値と乗算されるi番目の予測係数を表す。また、nは、予測タップを構成する画素値の数を表し、ｍは、学習用のサンプルの数を表している。
【００９８】
式（１０）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などの一般的な行列解法を用いることにより、予測係数Ｗiについて解くことができる。
【００９９】
以上により、クラスおよび色成分ごとの最適な予測係数Ｗiの学習は、式（１０）の正規方程式をクラスおよび色成分ごとにたてて解くことにより行うことができる。
【０１００】
なお、画素値ｙは、式（３）に示した線形１次式ではなく、２次以上の高次の式によって求められるようにすることも可能である。
【０１０１】
［画像処理装置の処理の説明］
図１０は、図４の拡大処理部３１の画像処理を説明するフローチャートである。この画像処理は、例えば、撮像素子１１からベイヤ配列の画像が供給されたとき、開始される。
【０１０２】
図１０のステップＳ１１において、拡大処理部３１の画素欠陥補正部５１は、図３の撮像素子１１から供給されるベイヤ配列の画像のうち、撮像素子１１の欠陥のある画素の画素値を検出する。
【０１０３】
ステップＳ１２において、画素欠陥補正部５１は、ステップＳ１１で検出された撮像素子１１の欠陥のある画素の画素値を、周囲の欠陥のない画素の画素値などを用いて補正し、補正後のベイヤ配列の画像をクランプ処理部５２に供給する。
【０１０４】
ステップＳ１３において、クランプ処理部５２は、画素欠陥補正部５１から供給される補正後のベイヤ配列の画像をクランプする。クランプ処理部５２は、クランプ後のベイヤ配列の画像をホワイトバランス部５３に供給する。
【０１０５】
ステップＳ１４において、ホワイトバランス部５３は、クランプ処理部５２から供給されるクランプ後のベイヤ配列の画像の各色成分のゲインを補正することにより、ホワイトバランスを調整する。ホワイトバランス部５３は、ホワイトバランスが調整されたベイヤ配列の画像を拡大予測処理部５４に供給する。
【０１０６】
ステップＳ１５において、拡大予測処理部５４の補間部７１（図５）は、外部から入力される水平方向および垂直方向の拡大率に基づいて、予測する出力画像の画素数を決定し、出力画像の画素のうちの、まだ注目画素とされていない画素を注目画素に決定する。
【０１０７】
ステップＳ１６において、補間部７１は、図４のホワイトバランス部５３から供給されるベイヤ配列の画像内の、注目画素の予測タップに対応する位置を決定する。
【０１０８】
ステップＳ１７において、補間部７１は、ベイヤ配列の画像に対して所定の補間処理を行い、予測タップに対応する位置の各色成分の画素値を予測タップとして補間する。補間部７１は、各色成分の予測タップを、予測タップ取得部７２を介して予測演算部７６に供給する。
【０１０９】
ステップＳ１８において、補間部７１は、ベイヤ配列の画像内の、注目画素のクラスタップに対応する位置を決定する。
【０１１０】
ステップＳ１９において、補間部７１は、ホワイトバランス部５３から供給されるベイヤ配列の画像に対して所定の補間処理を行い、クラスタップに対応する位置の各色成分の画素値をクラスタップとして補間する。補間部７１は、各色成分のクラスタップを、クラスタップ取得部７３を介してクラス番号発生部７４に供給する。
【０１１１】
ステップＳ２０において、クラス番号発生部７４は、クラスタップ取得部７３から供給される各色成分のクラスタップに基づいて、色成分ごとに注目画素をクラス分類し、その結果得られるクラスに対応するクラス番号を発生して、係数発生部７５に供給する。
【０１１２】
ステップＳ２１において、係数発生部７５は、記憶しているクラスおよび色成分ごとの予測係数のうちの、クラス番号発生部７４から供給される各色成分のクラス番号に対応するクラスの予測係数を読み出し、予測演算部７６に供給する。
【０１１３】
ステップＳ２２において、予測演算部７６は、予測タップ取得部７２が供給する各色成分の予測タップと、係数発生部７５から供給される各色成分の予測係数とを用いて、色成分ごとに、上述した式（３）の演算を所定の予測演算として行う。これにより、予測演算部７６は、注目画素の各色成分の画素値の予測値を、出力画像の注目画素の各色成分の画素値として生成し、出力する。
【０１１４】
ステップＳ２３において、補間部７１は、出力画像の全ての画素を注目画素としたかどうかを判定する。ステップＳ２３でまだ出力画像の全ての画素を注目画素としていないと判定された場合、処理はステップＳ１５に戻り、出力画像の全ての画素を注目画素とするまで、ステップＳ１５乃至Ｓ２３の処理を繰り返す。
【０１１５】
一方、ステップＳ２３で出力画像の全ての画素を注目画素としたと判定された場合、処理は終了する。
【０１１６】
以上のように、画像処理装置３０は、外部から入力される拡大率に基づいてベイヤ配列の画像を拡大することにより注目画素の各色成分の予測タップを生成し、色成分ごとに、予測タップと予測係数を用いて所定の予測演算を行い、注目画素の各色成分の画素値を求める。即ち、画像処理装置３０は、ベイヤ配列の画像から出力画像を直接生成する。従って、２回の処理に分けて出力画像を生成する従来の画像処理装置１０に比べて、細線部や色のエッジなどが変化した可能性のある１回目の処理結果を用いて出力画像が生成されないので、出力画像を高精度に生成することができる。
【０１１７】
また、従来の画像処理装置１０に比べて、１回目の処理結果を一時的に記憶する必要がないため、出力画像の精度の劣化を防止することができる。
【０１１８】
具体的には、従来の画像処理装置１０では、２回の処理に分けて出力画像が生成されるので、１回目の処理結果であるＲＧＢ画像を、少なくとも２回目の処理で出力画像の１つの画素を生成するために用いられる画素分だけ図示せぬメモリに蓄えておく必要がある。このメモリの記憶容量は、現実的には有限であるため、１回目の処理結果であるＲＧＢ画像の各画素の画素値のビット数を削減する必要がある場合があり、この場合、出力画像の精度が劣化する。これに対して、画像処理装置３０は、ベイヤ配列の画像から出力画像を直接生成するので、処理の途中結果を記憶させておく必要がなく、出力画像の精度の劣化を防止することができる。
【０１１９】
さらに、画像処理装置３０は、クラス分類適応処理を行うブロックを１つだけ備えるので、デモザイク処理用および拡大処理用にクラス分類適応処理を行うブロックをそれぞれ備える従来の画像処理装置１０に比べて、回路規模を縮小することができる。
【０１２０】
［学習装置の構成例］
図１１は、図５の係数発生部７５に記憶される予測係数Ｗiを学習する学習装置１００の構成例を示すブロック図である。
【０１２１】
図１１の学習装置１００は、教師画像記憶部１０１、縮小処理部１０２、間引き処理部１０３、補間部１０４、予測タップ取得部１０５、クラスタップ取得部１０６、クラス番号発生部１０７、足し込み部１０８、および予測係数算出部１０９により構成される。
【０１２２】
学習装置１００には、予測係数Ｗiの学習に用いられる学習用の画像として教師画像が入力される。ここでは、教師画像として、図５の拡大予測処理部５４で生成される理想的な出力画像、即ち、出力画像と同一の解像度の高精度のＲＧＢ画像が用いられる。
【０１２３】
教師画像記憶部１０１は、教師画像を記憶する。教師画像記憶部１０１は、記憶している教師画像を複数の画素からなるブロックに分割し、各ブロックを順次注目ブロックとする。教師画像記憶部１０１は、注目ブロックの各色成分の画素値を足し込み部１０８に供給する。
【０１２４】
縮小処理部１０２は、水平方向および垂直方向の所定の縮小率で、教師画像を水平方向および垂直方向に縮小し、縮小後の教師画像を間引き処理部１０３に供給する。
【０１２５】
間引き処理部１０３は、ベイヤ配列にしたがって、縮小処理部１０２から供給される縮小後の教師画像の各色成分の画素値のうちの所定の色成分の画素値を間引き、ベイヤ配列の画像を生成する。また、間引き処理部１０３は、生成されたベイヤ配列の画像に対して、撮像素子１１が有する図示せぬ光学ローパスフィルタの処理に対応するフィルタ処理を行う。これにより、撮像素子１１で生成されるベイヤ配列の画像により近似したベイヤ配列の画像を生成することができる。間引き処理部１０３は、フィルタ処理後のベイヤ配列の画像を、教師画像に対応する生徒画像として補間部１０４に供給する。
【０１２６】
補間部１０４は、拡大処理部として機能し、縮小処理部１０２における水平方向および垂直方向の所定の縮小率に対応する拡大率に基づいて、注目ブロックの各画素の、間引き処理部１０３から供給される生徒画像内の位置を求める。そして、補間部１０４は、注目ブロックの各画素を注目画素とし、図５の補間部７１と同様に、注目画素の予測タップに対応する位置およびクラスタップに対応する位置を決定する。補間部１０４は、生徒画像に対して補間部７１と同様の補間処理を行い、注目ブロックの各色成分の予測タップおよびクラスタップを補間する。そして、補間部１０４は、注目ブロックの各画素の各色成分の予測タップを予測タップ取得部１０５に供給し、クラスタップをクラスタップ取得部１０６に供給する。
【０１２７】
予測タップ取得部１０５は、補間部１０４から供給される注目ブロックの各画素の各色成分の予測タップを取得し、足し込み部１０８に供給する。
【０１２８】
クラスタップ取得部１０６は、補間部１０４から供給される注目ブロックの各画素の各色成分のクラスタップを取得し、クラス番号発生部１０７に供給する。
【０１２９】
クラス番号発生部１０７は、クラスタップ取得部１０６から供給される注目ブロックの各画素の各色成分のクラスタップに基づいて、図５のクラス番号発生部７４と同様に、色成分ごとに注目ブロックの各画素をクラス分類する。クラス番号発生部１０７は、その結果得られる注目ブロックの各画素のクラスに対応するクラス番号を発生して、足し込み部１０８に供給する。
【０１３０】
足し込み部１０８は、教師画像記憶部１０１からの注目ブロックの各色成分の画素値と、予測タップ取得部１０５からの注目ブロックの各色成分の予測タップとを対象とした足し込みを、クラス番号発生部１０７からの注目ブロックのクラス番号のクラスおよび色成分ごとに行う。
【０１３１】
具体的には、足し込み部１０８は、注目ブロックの各画素の予測タップの各画素の画素値をｘkiおよびｘkj（i,j=1,2,・・・,n）として、クラスおよび色成分ごとに、式（１０）の左辺の行列におけるＸijを演算する。
【０１３２】
また、足し込み部１０８は、注目ブロックの各画素の各色成分の画素値をｙkとして、画素値ｘkiを用いて、クラスおよび色成分ごとに、式（１０）の右辺の行列におけるＹiを演算する。
【０１３３】
そして、足し込み部１０８は、全ての教師画像の全てのブロックを注目ブロックとして足し込みを行うことにより生成された、クラスおよび色成分ごとの式（１０）の正規方程式を、予測係数算出部１０９に供給する。
【０１３４】
予測係数算出部１０９は、学習部として機能し、足し込み部１０８から供給されるクラスおよび色成分ごとの正規方程式を解くことにより、クラスおよび色成分ごとに、最適な予測係数Ｗiを求めて出力する。このクラスおよび色成分ごとの予測係数Ｗiは、図５の係数発生部７５に記憶される。
【０１３５】
［学習装置の処理の説明］
図１２は、図１１の学習装置１００の学習処理を説明するフローチャートである。この学習処理は、例えば、教師画像の入力が開始されたとき、開始される。
【０１３６】
図１２のステップＳ４１において、学習装置１００の縮小処理部１０２は、水平方向および垂直方向の所定の縮小率で、教師画像を水平方向および垂直方向に縮小し、縮小後の教師画像を間引き処理部１０３に供給する。
【０１３７】
ステップＳ４２において、間引き処理部１０３は、ベイヤ配列にしたがって、縮小処理部１０２から供給される縮小後の教師画像の各色成分の画素値のうちの所定の色成分の画素値を間引き、ベイヤ配列の画像を生成する。また、間引き処理部１０３は、生成されたベイヤ配列の画像に対して、撮像素子１１が有する図示せぬ光学ローパスフィルタの処理に対応するフィルタ処理を行う。間引き処理部１０３は、フィルタ処理後のベイヤ配列の画像を、教師画像に対応する生徒画像として補間部１０４に供給する。
【０１３８】
ステップＳ４３において、教師画像記憶部１０１は、入力された教師画像を記憶し、記憶している教師画像を複数の画素からなるブロックに分割し、そのブロックのうちの、まだ注目ブロックとされていないブロックを注目ブロックに決定する。
【０１３９】
ステップＳ４４において、教師画像記憶部１０１は、記憶している注目ブロックの各色成分の画素値を読み出し、足し込み部１０８に供給する。
【０１４０】
ステップＳ４５において、補間部１０４は、間引き処理部１０３から供給される生徒画像内の、注目ブロックの各画素の予測タップに対応する位置を決定する。
【０１４１】
ステップＳ４６において、補間部１０４は、生徒画像に対して補間部７１と同様の補間処理を行い、注目ブロックの各色成分の予測タップを補間する。そして、補間部１０４は、注目ブロックの各画素の各色成分の予測タップを、予測タップ取得部１０５を介して、足し込み部１０８に供給する。
【０１４２】
ステップＳ４７において、補間部１０４は、生徒画像内の注目ブロックの各画素のクラスタップに対応する位置を決定する。
【０１４３】
ステップＳ４８において、補間部１０４は、生徒画像に対して補間部７１と同様の補間処理を行い、注目ブロックの各色成分のクラスタップを補間する。そして、補間部１０４は、注目ブロックの各画素の各色成分のクラスタップを、クラスタップ取得部１０６を介してクラス番号発生部１０７に供給する。
【０１４４】
ステップＳ４９において、クラス番号発生部１０７は、クラスタップ取得部１０６から供給される注目ブロックの各画素の各色成分のクラスタップに基づいて、図５のクラス番号発生部７４と同様に、色成分ごとに注目ブロックの各画素をクラス分類する。クラス番号発生部１０７は、その結果得られる注目ブロックの各画素のクラスに対応するクラス番号を、足し込み部１０８に供給する。
【０１４５】
ステップＳ５０において、足し込み部１０８は、教師画像記憶部１０１からの注目ブロックの各色成分の画素値と、予測タップ取得部１０５からの注目ブロックの各色成分の予測タップとを対象とした足し込みを、クラス番号発生部１０７からの注目ブロックのクラス番号のクラスおよび色成分ごとに行う。
【０１４６】
ステップＳ５１において、足し込み部１０８は、教師画像の全てのブロックを注目ブロックとしたかどうかを判定する。ステップＳ５１でまだ教師画像の全てのブロックを注目ブロックとしていないと判定された場合、処理はステップＳ４３に戻り、全てのブロックを注目ブロックとするまで、ステップＳ４３乃至Ｓ５１の処理が繰り返される。
【０１４７】
一方、ステップＳ５１で教師画像の全てのブロックを注目ブロックとしたと判定された場合、処理はステップＳ５２に進む。ステップＳ５２において、足し込み部１０８は、教師画像の入力が終了したかどうか、即ち学習装置１００に新たな教師画像が入力されていないかどうかを判定する。
【０１４８】
ステップＳ５２で教師画像の入力が終了していないと判定された場合、即ち学習装置１００に新たな教師画像が入力されている場合、処理はステップＳ４１に戻り、新たな教師画像が入力されなくなるまで、ステップＳ４１乃至Ｓ５２の処理が繰り返される。
【０１４９】
一方、ステップＳ５２で教師画像の入力が終了したと判定された場合、即ち学習装置１００に新たな教師画像が入力されなくなった場合、足し込み部１０８は、ステップＳ５０で足し込みを行うことにより生成された、クラスおよび色成分ごとの式（１０）の正規方程式を、予測係数算出部１０９に供給する。
【０１５０】
そして、ステップＳ５３において、予測係数算出部１０９は、足し込み部１０８から供給されるクラスおよび色成分ごとの式（１０）の正規方程式のうち、所定のクラスの各色成分の式（１０）の正規方程式を解く。これにより、予測係数算出部１０９は、所定のクラスの各色成分の最適な予測係数Ｗiを求めて出力する。
【０１５１】
ステップＳ５４において、予測係数算出部１０９は、全てのクラスの各色成分の式（１０）の正規方程式を解いたかどうかを判定する。ステップＳ５４で全てのクラスの各色成分の式（１０）の正規方程式を解いていないと判定された場合、処理はステップＳ５３に戻り、予測係数算出部１０９は、まだ解かれていないクラスの各色成分の式（１０）の正規方程式を解き、ステップＳ５４の処理を行う。
【０１５２】
一方、ステップＳ５４で全てのクラスの各色成分の式（１０）の正規方程式を解いたと判定された場合、処理は終了する。
【０１５３】
以上のように、学習装置１００は、水平方向および垂直方向の所定の拡大率に基づいて図５の拡大予測処理部５４に入力されるベイヤ配列の画像に対応する生徒画像を拡大することにより、出力画像に対応する教師画像の注目ブロックの各画素の各色成分の予測タップを生成する。そして、学習装置１００は、注目ブロックの各画素の画素値と予測タップとを用いて、色成分ごとに正規方程式を解くことで、予測係数を求める。これにより、学習装置１００は、図５の拡大予測処理部５４において出力画像を高精度に生成するための予測係数を学習することができる。
【０１５４】
なお、縮小処理部１０２における水平方向および垂直方向の縮小率としては、任意の値を用いることができる。
【０１５５】
また、上述した説明では、拡大処理部３１は、図１３Ａに示すようにベイヤ配列の画像全体から出力画像を生成したが、図１３Ｂに示すように、ベイヤ配列の画像のうちの所定の範囲（図１３Ｂ中点線で囲われた範囲）から出力画像を生成するようにしてもよい。即ち、拡大処理部３１は、ベイヤ配列の画像に対して拡大ではなく、ズームを行うようにしてもよい。この場合、出力画像は、撮像素子１１により生成されたベイヤ配列の画像の所定の範囲が出力画像全体のサイズに拡大されたベイヤ配列の画像に対応するＲＧＢ画像となる。なお、所定の範囲は、例えば外部からユーザなどにより入力されるようにすることができる。
【０１５６】
さらに、上述した説明では、色成分ごとにクラスタップと予測タップが補間されたが、全ての色成分に共通のクラスタップと予測タップが補間されるようにしてもよい。但し、予測係数は、色成分ごとに求められる。
【０１５７】
また、第１実施の形態では、クラスタップが、補間部７１により補間されたベイヤ配列の画像または補間部１０４により補間された生徒画像の画素値から構成されたが、補間前のベイヤ配列の画像または生徒画像の画素値から構成されるようにしてもよい。
【０１５８】
さらに、第１実施の形態では、図５の補間部７１が、注目画素ごとに所定の補間処理を行い、各色成分の予測タップおよびクラスタップを生成したが、ベイヤ配列の画像全体を色成分ごとに補間処理により拡大し、拡大後の各色成分のベイヤ配列の画像から各色成分の予測タップおよびクラスタップを抽出するようにしてもよい。また、補間部７１は、ベイヤ配列の画像全体を補間処理により拡大し、拡大後のベイヤ配列の画像から全ての色成分に共通の予測タップおよびクラスタップを抽出するようにしてもよい。これらの場合、図１１の補間部１０４においても、図５の補間部７１と同様の処理が行われる。
【０１５９】
＜第２実施の形態＞
［画像処理装置の構成例］
本技術を適用した画像処理装置の第２実施の形態の構成は、拡大予測処理部５４の構成を除いて、図３の画像処理装置３０の構成と同様であるので、拡大予測処理部５４の構成についてのみ説明する。
【０１６０】
図１４は、本技術を適用した画像処理装置の第２実施の形態の拡大予測処理部５４の構成例を示すブロック図である。
【０１６１】
図１４に示す構成のうち、図５の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１６２】
図１４の拡大予測処理部５４の構成は、主に、注目画素位置決定部１３１が新たに設けられる点、および、予測タップ取得部７２、クラスタップ取得部７３、係数発生部７５の代わりに、予測タップ取得部１３２、クラスタップ取得部１３３、係数発生部１３４が設けられている点が図５の構成と異なる。図１４の拡大予測処理部５４は、ベイヤ配列の画像に対して所定の補間処理を行わずに、出力画像を生成する。
【０１６３】
具体的には、拡大予測処理部５４の注目画素位置決定部１３１は、外部から入力される水平方向および垂直方向の拡大率に基づいて、予測する出力画像の各画素の、図４のホワイトバランス部５３から供給されるベイヤ配列の画像上の位置を決定する。注目画素位置決定部１３１は、出力画像の各画素を順に注目画素とする。注目画素位置決定部１３１は、注目画素のベイヤ配列の画像上の位置を、注目画素位置として、予測タップ取得部１３２とクラスタップ取得部１３３に供給する。
【０１６４】
予測タップ取得部１３２は、注目画素位置決定部１３１から供給される注目画素位置に基づいて、ホワイトバランス部５３から供給されるベイヤ配列の画像から予測タップを取得する。具体的には、予測タップ取得部１３２は、注目画素位置に最も近いベイヤ配列の画像の画素をセンター画素とし、そのセンター画素に対して、空間的に所定の位置関係にあるベイヤ配列の画像の画素の画素値を予測タップとして取得する。予測タップ取得部１３２は、予測タップを予測演算部７６に供給する。
【０１６５】
クラスタップ取得部１３３は、注目画素位置決定部１３１から供給される注目画素位置に基づいて、ホワイトバランス部５３から供給されるベイヤ配列の画像からクラスタップを取得する。具体的には、クラスタップ取得部１３３は、注目画素位置に最も近いベイヤ配列の画像の画素をセンター画素（注目直近画素）とし、そのセンター画素に対して、空間的に所定の位置関係にあるベイヤ配列の画像の画素の画素値をクラスタップとして取得する。クラスタップ取得部１３３は、クラスタップをクラス番号発生部７４に供給する。
【０１６６】
係数発生部１３４は、図２０および図２１を参照して後述する学習によって求められた注目画素の色成分、クラス、センター画素の色成分、注目画素とセンター画素の距離ごとの予測係数を記憶する。このとき、係数発生部１３４は、予測係数をそのまま記憶するのではなく、DCT、VQ、DPCMなどのデータ圧縮方式を応用したり、多項式近似を用いたりすることによって情報量を削減して記憶する。従って、係数発生部１３４は、予測係数を読み出す際、元の予測係数を復元する。
【０１６７】
係数発生部１３４は、記憶している予測係数のうちの、クラス番号発生部７４から供給されるクラス番号のクラス、センター画素の色成分、および注目画素とセンター画素の距離に対応する注目画素の色成分ごとの予測係数を読み出す。そして、係数発生部１３４は、読み出された注目画素の色成分ごとの予測係数を予測演算部７６に供給する。
【０１６８】
［出力画像の各画素の位置の例］
図１５は、水平方向および垂直方向の拡大率が３倍である場合の出力画像の各画素の位置を示す図である。
【０１６９】
なお、図１５において、白丸は、ベイヤ配列の画像の画素の位置を表し、黒丸は出力画像の画素の位置を表す。
【０１７０】
図１５に示すように、水平方向および垂直方向の拡大率が３倍である場合、出力画像の各画素の水平方向の位置の間隔は、図１４の拡大予測処理部５４に入力されるベイヤ配列の画像の各画素の水平方向の位置の間隔の1/3である。また、出力画像の各画素の垂直方向の位置の間隔は、拡大予測処理部５４に入力されるベイヤ配列の画像の各画素の垂直方向の位置の間隔の1/3である。
【０１７１】
［クラスタップのタップ構造の例］
図１６は、図１４のクラスタップ取得部１３３が取得するクラスタップのタップ構造の例を示す図である。なお、クラスタップのタップ構造は、図１６の構造以外の構造とすることが可能である。
【０１７２】
図１６において、点線の丸は、センター画素を表している。また、図１６において、実線の丸は、注目画素のクラスタップに対応するベイヤ配列の画像の画素を表している。
【０１７３】
図１６の例では、センター画素を中心として、水平方向および垂直方向に、それぞれ、５個ずつ並ぶ合計９個のベイヤ配列の画像の画素の画素値がクラスタップとされる。
【０１７４】
［予測タップのタップ構造の例］
図１７は、図１４の予測タップ取得部１３２が取得する予測タップのタップ構造の例を示す図である。なお、予測タップのタップ構造は、図１７の構造以外の構造とすることが可能である。
【０１７５】
図１７において、点線の丸は、センター画素を表している。また、図１７において、実線の丸は、注目画素の予測タップに対応するベイヤ配列の画像の画素を表している。
【０１７６】
図１７の例では、センター画素を中心として、水平方向および垂直方向に、それぞれ、５個ずつ並ぶ合計９個のベイヤ配列の画像の画素と、その画素のうちの、センター画素と左右に隣り合う２個の画素それぞれの上下方向に１個ずつ並ぶ合計４個のベイヤ配列の画像の画素とからなる合計１３個の画素の画素値が予測タップとされる。即ち、予測タップを構成する画素値に対応する画素は、いわばひし形状に並んでいる。
【０１７７】
［センター画素の位置の説明］
図１８は、センター画素の位置を説明する図である。
【０１７８】
なお、図１８において、点線の丸印は、センター画素の位置を表し、バツ印は、注目画素のベイヤ配列の画像上の位置を表している。また、図１８において、白丸は、ベイヤ配列の画像の画素の位置を表し、黒丸は出力画像の画素の位置を表している。さらに、図１８の例では、水平方向および垂直方向の拡大率が３倍である。
【０１７９】
図１８に示すように、センター画素の位置は、注目画素のベイヤ配列の画像上の位置から最も近いベイヤ配列の画像の画素の位置である。従って、センター画素と注目画素の水平方向の距離の絶対値の最大値は、ベイヤ配列の画像の画素の水平方向の間隔の1/2である。同様に、センター画素と注目画素の垂直方向の距離の絶対値の最大値は、ベイヤ配列の画像の画素の垂直方向の間隔の1/2である。
【０１８０】
［画像処理装置の処理の説明］
図１９は、画像処理装置３０の第２の実施の形態の拡大処理部３１の画像処理を説明するフローチャートである。この画像処理は、例えば、撮像素子１１からベイヤ配列の画像が供給されたとき、開始される。
【０１８１】
図１９のステップＳ７１乃至Ｓ７４の処理は、図１０のステップＳ１１乃至Ｓ１４の処理と同様であるので、説明は省略する。
【０１８２】
ステップＳ７５において、拡大予測処理部５４の注目画素位置決定部１３１（図１４）は、外部から入力される水平方向および垂直方向の拡大率に基づいて、予測する出力画像の画素数を決定し、出力画像の画素のうちの、まだ注目画素とされていない画素を注目画素に決定する。
【０１８３】
ステップＳ７６において、注目画素位置決定部１３１は、外部から入力される水平方向および垂直方向の拡大率に基づいて注目画素位置を決定し、予測タップ取得部１３２とクラスタップ取得部１３３に供給する。
【０１８４】
ステップＳ７７において、予測タップ取得部１３２は、注目画素位置決定部１３１から供給される注目画素位置に基づいて、ホワイトバランス部５３から供給されるベイヤ配列の画像から予測タップを取得する。そして、予測タップ取得部１３２は、予測タップを予測演算部７６に供給する。
【０１８５】
ステップＳ７８において、クラスタップ取得部１３３は、注目画素位置決定部１３１から供給される注目画素位置に基づいて、ホワイトバランス部５３から供給されるベイヤ配列の画像からクラスタップを取得する。そして、クラスタップ取得部１３３は、クラスタップをクラス番号発生部７４に供給する。
【０１８６】
ステップＳ７９において、クラス番号発生部７４は、クラスタップ取得部１３３から供給されるクラスタップに基づいて、注目画素をクラス分類し、その結果得られるクラスに対応するクラス番号を発生して、係数発生部１３４に供給する。
【０１８７】
ステップＳ８０において、係数発生部１３４は、記憶している予測係数のうちの、クラス番号発生部７４から供給されるクラス番号のクラス、センター画素の色成分、および注目画素とセンター画素の距離に対応する注目画素の色成分ごとの予測係数を読み出す。そして、係数発生部１３４は、読み出された注目画素の色成分ごとの予測係数を予測演算部７６に供給する。
【０１８８】
ステップＳ８１において、予測演算部７６は、予測タップ取得部１３２から供給される予測タップと、係数発生部１３４から供給される注目画素の色成分ごとの予測係数とを用いて、注目画素の色成分ごとに上述した（３）の演算を所定の予測演算として行う。これにより、予測演算部７６は、注目画素の各色成分の画素値の予測値を、出力画像の注目画素の各色成分の画素値として生成し、出力する。
【０１８９】
ステップＳ８２において、注目画素位置決定部１３１は、出力画像の全ての画素を注目画素としたかどうかを判定する。ステップＳ８２でまだ出力画像の全ての画素を注目画素としていないと判定された場合、処理はステップＳ７５に戻り、出力画像の全ての画素を注目画素とするまで、ステップＳ７５乃至Ｓ８２の処理を繰り返す。
【０１９０】
一方、ステップＳ８２で出力画像の全ての画素を注目画素としたと判定された場合、処理は終了する。
【０１９１】
以上のように、図１４の拡大予測処理部５４を有する画像処理装置３０は、ベイヤ配列のセンター画素に対応する画素の画素値からなる予測タップと、注目画素とセンター画素の距離に対応する注目画素の色成分ごとの予測係数を用いて所定の予測演算を行い、注目画素の各色成分の画素値を求める。即ち、図１４の拡大予測処理部５４を有する画像処理装置３０は、ベイヤ配列の画像から出力画像を直接生成する。従って、２回の処理に分けて出力画像を生成する従来の画像処理装置１０に比べて、細線部や色のエッジなどが変化した可能性のある１回目の処理結果を用いて出力画像が生成されないので、出力画像を高精度に生成することができる。
【０１９２】
また、従来の画像処理装置１０に比べて、１回目の処理結果を一時的に記憶する必要がないため、出力画像の精度の劣化を防止することができる。さらに、図１４の拡大予測処理部５４を有する画像処理装置３０は、クラス分類適応処理を行うブロックを１つだけ備えるので、デモザイク処理用および拡大処理用にクラス分類適応処理を行うブロックをそれぞれ備える従来の画像処理装置１０に比べて、回路規模を縮小することができる。
【０１９３】
さらに、図１４の拡大予測処理部５４は、拡大率ごとではなく、注目画素とセンター画素の距離ごとの予測係数を記憶するため、拡大率ごとの予測係数を記憶する場合に比べて、予測係数を記憶するために必要な記憶容量が少なくて済む。例えば、拡大率が２倍や４倍である場合の注目画素とセンター画素の距離の種類は、拡大率が８倍である場合の注目画素とセンター画素の距離の種類に含まれるため、図１４の拡大予測処理部５４は、拡大率が８倍である場合の予測係数を記憶すれば、拡大率が２倍や４倍である場合の予測係数を記憶する必要がない。
【０１９４】
また、図１４の拡大予測処理部５４は、補間処理を行わなくて済むため、図５の拡大予測処理部５４に比べて処理量を削減することができる。
【０１９５】
［学習装置の構成例］
図２０は、図１４の係数発生部１３４に記憶される予測係数Ｗiを学習する学習装置１５０の構成例を示すブロック図である。
【０１９６】
図２０に示す構成のうち、図１１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１９７】
図２０の学習装置１５０の構成は、主に、注目画素位置決定部１５１が新たに設けられる点、および、予測タップ取得部１０５、クラスタップ取得部１０６、足し込み部１０８の代わりに予測タップ取得部１５２、クラスタップ取得部１５３、足し込み部１５４が設けられている点が図１１の構成と異なる。学習装置１５０は、注目画素の色成分、センター画素の色成分、センター画素と注目画素との距離、および注目画素のクラスごとの予測係数を学習する。
【０１９８】
具体的には、注目画素位置決定部１５１は、注目ブロックの各画素を注目画素とし、その注目画素の生徒画像上の位置を注目画素位置として決定し、予測タップ取得部１５２とクラスタップ取得部１５３に供給する。
【０１９９】
予測タップ取得部１５２は、注目画素位置決定部１５１から供給される注目ブロックの各注目画素位置に基づいて、間引き処理部１０３により生成された生徒画像から注目ブロックの予測タップを取得する。具体的には、予測タップ取得部１５２は、注目画素位置ごとに、その注目画素位置に最も近い生徒画像の画素をセンター画素とし、そのセンター画素に対して、空間的に所定の位置関係にある生徒画像の画素の画素値を予測タップとして取得する。予測タップ取得部１５２は、注目ブロックの予測タップを足し込み部１５４に供給する。
【０２００】
クラスタップ取得部１５３は、注目画素位置決定部１５１から供給される注目ブロックの各注目画素位置に基づいて、間引き処理部１０３により生成された生徒画像から注目ブロックのクラスタップを取得する。具体的には、クラスタップ取得部１５３は、注目画素位置ごとに、その注目画素位置に最も近い生徒画像の画素をセンター画素とし、そのセンター画素に対して、空間的に所定の位置関係にある生徒画像の画素の画素値をクラスタップとして取得する。クラスタップ取得部１５３は、注目ブロックのクラスタップをクラス番号発生部１０７に供給する。
【０２０１】
足し込み部１５４は、教師画像記憶部１０１からの注目ブロックの各色成分の画素値と、予測タップ取得部１５２からの注目ブロックの予測タップとを対象とした足し込みを、クラス番号発生部１０７からの注目ブロックの各画素のクラス番号のクラス、その画素の色成分、その画素に対応するセンター画素の色成分、および、その画素とセンター画素との距離ごとに行う。
【０２０２】
そして、足し込み部１５４は、全ての教師画像の全てのブロックを注目ブロックとして足し込みを行うことにより生成された、教師画像の画素のクラス、その画素の色成分、その画素に対応するセンター画素の色成分、および、その画素とセンター画素の距離ごとの式（１０）の正規方程式を、予測係数算出部１０９に供給する。
【０２０３】
［学習装置の処理の説明］
図２１は、図２０の学習装置１５０の学習処理を説明するフローチャートである。この学習処理は、例えば、教師画像の入力が開始されたとき、開始される。
【０２０４】
図２１のステップＳ１０１乃至Ｓ１０４の処理は、図１２のステップＳ４１乃至Ｓ４４の処理と同様であるので、説明は省略する。
【０２０５】
ステップＳ１０５において、注目画素位置決定部１５１は、注目ブロックの各画素を注目画素とし、その注目画素の生徒画像上の位置を注目画素位置として決定し、予測タップ取得部１５２とクラスタップ取得部１５３に供給する。
【０２０６】
ステップＳ１０６において、予測タップ取得部１５２は、注目画素位置決定部１５１から供給される注目ブロックの各注目画素位置に基づいて、間引き処理部１０３により生成された生徒画像から注目ブロックの予測タップを取得する。そして、予測タップ取得部１５２は、注目ブロックの予測タップを足し込み部１５４に供給する。
【０２０７】
ステップＳ１０７において、クラスタップ取得部１５３は、注目画素位置決定部１５１から供給される注目ブロックの各注目画素位置に基づいて、間引き処理部１０３により生成された生徒画像から注目ブロックのクラスタップを取得する。そして、クラスタップ取得部１５３は、注目ブロックのクラスタップをクラス番号発生部１０７に供給する。
【０２０８】
ステップＳ１０８において、クラス番号発生部１０７は、クラスタップ取得部１５３から供給される注目ブロックのクラスタップに基づいて、図１４のクラス番号発生部７４と同様に、注目ブロックの各画素をクラス分類する。クラス番号発生部１０７は、その結果得られる注目ブロックの各画素のクラスに対応するクラス番号を発生し、足し込み部１５４に供給する。
【０２０９】
ステップＳ１０９において、足し込み部１５４は、教師画像記憶部１０１からの注目ブロックの各色成分の画素値と、予測タップ取得部１５２からの注目ブロックの予測タップとを対象とした足し込みを、クラス番号発生部１０７からの注目ブロックの各画素のクラス番号のクラス、その画素の色成分、その画素に対応するセンター画素の色成分、および、その画素とセンター画素との距離ごとに行う。
【０２１０】
ステップＳ１１０およびＳ１１１の処理は、図１２のステップＳ５１とＳ５２の処理と同様である。ステップＳ１１１で教師画像の入力が終了したと判定された場合、足し込み部１５４は、ステップＳ１０９で足しこみを行うことにより生成された、教師画像の画素のクラス、その画素の色成分、その画素に対応するセンター画素の色成分、および、その画素とセンター画素との距離ごとの式（１０）の正規方程式を予測係数算出部１０９に供給する。
【０２１１】
そして、ステップＳ１１２において、予測係数算出部１０９は、足し込み部１５４から供給される式（１０）の正規方程式のうち、所定のクラスの、教師画像の画素の色成分、その画素に対応するセンター画素の色成分、および、その画素とセンター画素との距離ごとの式（１０）の正規方程式を解く。これにより、予測係数算出部１０９は、所定のクラスの、注目画素の色成分、センター画素の色成分、および注目画素とセンター画素の距離ごとの最適な予測係数Ｗiを求めて出力する。
【０２１２】
ステップＳ１１３において、予測係数算出部１０９は、全てのクラスの、教師画像の画素の色成分、その画素に対応するセンター画素の色成分、および、その画素とセンター画素との距離ごとの式（１０）の正規方程式を解いたかどうかを判定する。
【０２１３】
ステップＳ１１３で、全てのクラスの、教師画像の画素の色成分、その画素に対応するセンター画素の色成分、および、その画素とセンター画素との距離ごとの式（１０）の正規方程式を解いていないと判定された場合、処理はステップＳ１１２に戻る。そして、予測係数算出部１０９は、まだ解かれていないクラスの、教師画像の画素の色成分、その画素に対応するセンター画素の色成分、および、その画素とセンター画素との距離ごとの式（１０）の正規方程式を解き、ステップＳ１１３の処理を行う。
【０２１４】
一方、ステップＳ１１３で、全てのクラスの、教師画像の画素の色成分、その画素に対応するセンター画素の色成分、および、その画素とセンター画素との距離ごとの式（１０）の正規方程式を解いたと判定された場合、処理は終了する。
【０２１５】
以上のように、学習装置１５０は、出力画像に対応する教師画像の各画素の画素値と、図１４の拡大予測処理部５４に入力されるベイヤ配列の画像に対応する生徒画像の画素値からなる予測タップとを用いて、教師画像の画素の色成分、および、その画素とセンター画素との距離ごとに正規方程式を解くことで、予測係数を求める。これにより、学習装置１５０は、図１４の拡大予測処理部５４において出力画像を高精度に生成するための予測係数を学習することができる。
【０２１６】
なお、学習装置１００（１５０）では、注目ブロックごとに足し込みが行われたが、教師画像の各画素を注目画素として、注目画素ごとに足し込みが行われるようにしてもよい。
【０２１７】
また、図５や図１４の拡大予測処理部５４は、出力画像として、拡大されたＲＧＢ画像ではなく、拡大されたベイヤ配列の画像を生成するようにしてもよい。この場合、ベイヤ配列にしたがって、注目画素の色成分が決定され、その色成分の画素値のみが予測される。また、出力画像の各色成分の配列は、撮像素子１１から入力されるベイヤ配列の画像と同一のベイヤ配列であってもよいし、異なっていてもよい。さらに、出力画像の各色成分の配列は、外部からユーザにより指定されるようにしてもよい。
【０２１８】
さらに、上述した説明では、撮像素子１１によりベイヤ配列の画像が生成されるものとしたが、撮像素子１１により生成される画像の各色成分の配列は、ベイヤ配列以外であってもよい。
【０２１９】
また、上述した説明では、出力画像は、ＲＧＢ画像であるものとしたが、出力画像は、ＲＧＢ画像以外のカラー画像であってもよい。即ち、出力画像の色成分は、Ｒ成分、Ｇ成分、およびＢ成分に限定されない。
【０２２０】
[本技術を適用したコンピュータの説明]
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０２２１】
そこで、図２２は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０２２２】
プログラムは、コンピュータに内蔵されている記録媒体としての記憶部２０８やROM（Read Only Memory）２０２に予め記録しておくことができる。
【０２２３】
あるいはまた、プログラムは、リムーバブルメディア２１１に格納（記録）しておくことができる。このようなリムーバブルメディア２１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブルメディア２１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０２２４】
なお、プログラムは、上述したようなリムーバブルメディア２１１からドライブ２１０を介してコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵する記憶部２０８にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０２２５】
コンピュータは、CPU(Central Processing Unit)２０１を内蔵しており、CPU２０１には、バス２０４を介して、入出力インタフェース２０５が接続されている。
【０２２６】
CPU２０１は、入出力インタフェース２０５を介して、ユーザによって、入力部２０６が操作等されることにより指令が入力されると、それに従って、ROM２０２に格納されているプログラムを実行する。あるいは、CPU２０１は、記憶部２０８に格納されたプログラムを、RAM(Random Access Memory)２０３にロードして実行する。
【０２２７】
これにより、CPU２０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース２０５を介して、出力部２０７から出力、あるいは、通信部２０９から送信、さらには、記憶部２０８に記録等させる。
【０２２８】
なお、入力部２０６は、キーボードや、マウス、マイク等で構成される。また、出力部２０７は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０２２９】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０２３０】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０２３１】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２３２】
なお、本技術は、以下のような構成もとることができる。
【０２３３】
（１）
第１の拡大率で拡大されたベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成されるカラー画像に対応する教師画像と、前記ベイヤ配列の画像に対応する生徒画像とを用いて、前記教師画像の各画素の色成分ごとに、前記教師画像の各画素の画素値、その画素に対応する前記第１の拡大率で拡大された前記生徒画像の画素の画素値、および予測係数の関係を示す式を解くことにより学習された前記予測係数と、第２の拡大率で拡大された所定のベイヤ配列の画像に対応する所定のカラー画像のうちの注目している画素である注目画素に対応する、前記第２の拡大率で拡大された前記所定のベイヤ配列の画像の画素の画素値からなる予測タップとの演算により、前記色成分ごとに前記注目画素の画素値を求め、前記色成分ごとの前記注目画素の画素値から構成される前記所定のカラー画像を出力する予測演算部
を備える画像処理装置。
（２）
前記第２の拡大率に基づいて、前記所定のベイヤ配列の画像を拡大する拡大処理部
をさらに備え、
前記予測演算部は、前記色成分ごとの前記予測係数と、前記注目画素に対応する、前記拡大処理部により前記第２の拡大率で拡大された前記所定のベイヤ配列の画像の画素の画素値からなる前記予測タップとの前記演算により、前記色成分ごとに前記注目画素の画素値を求める
前記（１）に記載の画像処理装置。
（３）
前記拡大処理部は、前記第２の拡大率に基づいて、前記注目画素ごとに、前記所定のベイヤ配列の画像の一部を拡大して前記予測タップを生成する
前記（２）に記載の画像処理装置。
（４）
前記拡大処理部は、前記第２の拡大率に基づいて、前記色成分ごとに、その色成分の前記所定のベイヤ配列の画像の画素値を補間することにより拡大し、
前記予測演算部は、前記色成分ごとの前記予測係数と、前記注目画素に対応する、前記拡大処理部により前記色成分ごとに拡大された前記所定のベイヤ配列の画像の画素の画素値からなる前記予測タップとの前記色成分ごとの前記演算により、前記色成分ごとに前記注目画素の画素値を求める
前記（２）または（３）に記載の画像処理装置。
（５）
前記注目画素に対応する、前記第２の拡大率で拡大された前記所定のベイヤ配列の画像の画素の画素値を、前記予測タップとして取得する予測タップ取得部
をさらに備え、
前記予測演算部は、前記色成分ごとの前記予測係数と、前記予測タップ取得部により取得された前記予測タップとの前記演算により、前記色成分ごとに前記注目画素の画素値を求める
前記（１）乃至（４）のいずれかに記載の画像処理装置。
（６）
前記注目画素に対応する、前記第２の拡大率で拡大された前記所定のベイヤ配列の画像の画素の画素値を、前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うために用いるクラスタップとして取得するクラスタップ取得部と、
前記クラスタップ取得部により取得された前記クラスタップに基づいて、前記注目画素をクラス分類するクラス分類部と
をさらに備え、
前記予測係数は、前記クラスおよび前記教師画像の各画素の色成分ごとに学習され、
前記予測演算部は、前記クラス分類部によるクラス分類の結果得られる前記注目画素のクラスに対応する前記色成分ごとの前記予測係数と、前記予測タップとの前記演算により、前記色成分ごとに前記注目画素の画素値を求める
前記（１）に記載の画像処理装置。
（７）
前記第２の拡大率に基づいて、前記注目画素ごとに、前記所定のベイヤ配列の画像の一部を拡大して前記予測タップと前記クラスタップを生成する拡大処理部と、
前記拡大処理部により生成された前記予測タップを取得する予測タップ取得部と
をさらに備え、
前記クラスタップ取得部は、前記拡大処理部により生成された前記クラスタップを取得する
前記（６）に記載の画像処理装置。
（８）
前記第２の拡大率に基づいて、前記色成分ごとに、その色成分の前記所定のベイヤ配列の画像の画素値を補間することにより拡大する拡大処理部と、
前記注目画素に対応する、前記拡大処理部により前記色成分ごとに拡大された前記所定のベイヤ配列の画像の画素の画素値を、その色成分の前記予測タップとして取得する予測タップ取得部と
をさらに備え、
前記クラスタップ取得部は、前記注目画素に対応する、前記拡大処理部により前記色成分ごとに拡大された前記所定のベイヤ配列の画像の画素の画素値を、その色成分の前記クラスタップとして取得し、
前記クラス分類部は、前記クラスタップ取得部により取得された前記色成分ごとの前記クラスタップに基づいて、前記色成分ごとに前記注目画素をクラス分類し、
前記予測演算部は、前記クラス分類部によるクラス分類の結果得られる前記注目画素の前記色成分ごとのクラスに対応する前記予測係数と、前記予測タップ取得部により取得された前記色成分ごとの前記予測タップとの前記色成分ごとの前記演算により、前記色成分ごとに前記注目画素の画素値を求める
前記（６）に記載の画像処理装置。
（９）
画像処理装置が、
第１の拡大率で拡大されたベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成されるカラー画像に対応する教師画像と、前記ベイヤ配列の画像に対応する生徒画像とを用いて、前記教師画像の各画素の色成分ごとに、前記教師画像の各画素の画素値、その画素に対応する前記第１の拡大率で拡大された前記生徒画像の画素の画素値、および予測係数の関係を示す式を解くことにより学習された前記予測係数と、第２の拡大率で拡大された所定のベイヤ配列の画像に対応する所定のカラー画像のうちの注目している画素である注目画素に対応する、前記第２の拡大率で拡大された前記所定のベイヤ配列の画像の画素の画素値からなる予測タップとの演算により、前記色成分ごとに前記注目画素の画素値を求め、前記色成分ごとの前記注目画素の画素値から構成される前記所定のカラー画像を出力する予測演算ステップ
を含む画像処理方法。
（１０）
コンピュータに、
第１の拡大率で拡大されたベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成されるカラー画像に対応する教師画像と、前記ベイヤ配列の画像に対応する生徒画像とを用いて、前記教師画像の各画素の色成分ごとに、前記教師画像の各画素の画素値、その画素に対応する前記第１の拡大率で拡大された前記生徒画像の画素の画素値、および予測係数の関係を示す式を解くことにより学習された前記予測係数と、第２の拡大率で拡大された所定のベイヤ配列の画像に対応する所定のカラー画像のうちの注目している画素である注目画素に対応する、前記第２の拡大率で拡大された前記所定のベイヤ配列の画像の画素の画素値からなる予測タップとの演算により、前記色成分ごとに前記注目画素の画素値を求め、前記色成分ごとの前記注目画素の画素値から構成される前記所定のカラー画像を出力する予測演算ステップ
を含む処理を実行させるためのプログラム。
（１１）
前記（１０）に記載のプログラムが記録されている記録媒体。
（１２）
所定のベイヤ配列の画像を、第１の拡大率で拡大された前記所定のベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成される所定のカラー画像に変換するときに用いられる予測係数の学習に用いる、前記所定のベイヤ配列の画像に対応する生徒画像が第２の拡大率に基づいて拡大された結果得られる画像のうちの、その画像に対応するカラー画像である教師画像のうちの注目している画素である注目画素に対応する画素の画素値からなる予測タップと、前記注目画素の画素値とを用いて、前記教師画像の各画素の色成分ごとに、前記教師画像の各画素の画素値、その画素の前記予測タップ、および前記予測係数の関係を示す式を解くことで、前記色成分ごとの前記予測係数を求める学習部
を備える学習装置。
（１３）
第１の拡大率で拡大されたベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成されるカラー画像に対応する教師画像と、前記ベイヤ配列の画像に対応する生徒画像とを用いて、前記教師画像の各画素の色成分、および、前記教師画像の各画素の前記生徒画像上の位置と、その位置に最も近い前記生徒画像の画素の位置との距離である画素間距離ごとに、前記教師画像の各画素の画素値、その画素に対応する前記生徒画像の画素の画素値、および予測係数の関係を示す式を解くことにより学習された前記予測係数のうちの、第２の拡大率で拡大された所定のベイヤ配列の画像に対応する所定のカラー画像のうちの注目している画素である注目画素の前記所定のベイヤ配列の画像上の位置と、その位置に最も近い前記所定のベイヤ配列の画像の画素である注目直近画素の位置との距離である注目画素間距離に対応する予測係数と、前記注目画素に対応する前記所定のベイヤ配列の画像の画素の画素値からなる予測タップとの演算により、前記色成分ごとに前記注目画素の画素値を求め、前記色成分ごとの前記注目画素の画素値から構成される前記所定のカラー画像を出力する予測演算部
を備える画像処理装置。
（１４）
前記予測係数は、前記教師画像の各画素の色成分、前記画素間距離、前記教師画像の各画素の前記生徒画像上の位置に最も近い前記生徒画像の画素の色成分ごとに学習され、
前記予測演算部は、前記予測係数のうちの、前記注目画素間距離および前記注目直近画素の色成分に対応する予測係数と、前記予測タップとの前記演算により、前記色成分ごとに前記注目画素の画素値を求める
前記（１３）に記載の画像処理装置。
（１５）
前記注目直近画素に対応する前記所定のベイヤ配列の画像の画素の画素値を、前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うために用いるクラスタップとして取得するクラスタップ取得部と、
前記クラスタップ取得部により取得された前記クラスタップに基づいて、前記注目画素をクラス分類するクラス分類部と
をさらに備え、
前記予測係数は、前記クラス、前記教師画像の各画素の色成分、および前記画素間距離ごとに学習され、
前記予測演算部は、前記予測係数のうちの、前記クラス分類部によるクラス分類の結果得られる前記注目画素のクラスおよび前記注目画素間距離に対応する予測係数と、前記予測タップとの前記演算により、前記色成分ごとに前記注目画素の画素値を求める
前記（１３）または（１４）に記載の画像処理装置。
（１６）
画像処理装置が、
第１の拡大率で拡大されたベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成されるカラー画像に対応する教師画像と、前記ベイヤ配列の画像に対応する生徒画像とを用いて、前記教師画像の各画素の色成分、および、前記教師画像の各画素の前記生徒画像上の位置と、その位置に最も近い前記生徒画像の画素の位置との距離である画素間距離ごとに、前記教師画像の各画素の画素値、その画素に対応する前記生徒画像の画素の画素値、および予測係数の関係を示す式を解くことにより学習された前記予測係数のうちの、第２の拡大率で拡大された所定のベイヤ配列の画像に対応する所定のカラー画像のうちの注目している画素である注目画素の前記所定のベイヤ配列の画像上の位置と、その位置に最も近い前記所定のベイヤ配列の画像の画素である注目直近画素の位置との距離である注目画素間距離に対応する予測係数と、前記注目画素に対応する前記所定のベイヤ配列の画像の画素の画素値からなる予測タップとの演算により、前記色成分ごとに前記注目画素の画素値を求め、前記色成分ごとの前記注目画素の画素値から構成される前記所定のカラー画像を出力する予測演算ステップ
を含む画像処理方法。
（１７）
コンピュータに、
第１の拡大率で拡大されたベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成されるカラー画像に対応する教師画像と、前記ベイヤ配列の画像に対応する生徒画像とを用いて、前記教師画像の各画素の色成分、および、前記教師画像の各画素の前記生徒画像上の位置と、その位置に最も近い前記生徒画像の画素の位置との距離である画素間距離ごとに、前記教師画像の各画素の画素値、その画素に対応する前記生徒画像の画素の画素値、および予測係数の関係を示す式を解くことにより学習された前記予測係数のうちの、第２の拡大率で拡大された所定のベイヤ配列の画像に対応する所定のカラー画像のうちの注目している画素である注目画素の前記所定のベイヤ配列の画像上の位置と、その位置に最も近い前記所定のベイヤ配列の画像の画素である注目直近画素の位置との距離である注目画素間距離に対応する予測係数と、前記注目画素に対応する前記所定のベイヤ配列の画像の画素の画素値からなる予測タップとの演算により、前記色成分ごとに前記注目画素の画素値を求め、前記色成分ごとの前記注目画素の画素値から構成される前記所定のカラー画像を出力する予測演算ステップ
を含む処理を実行させるためのプログラム。
（１８）
前記（１７）に記載のプログラムが記録されている記録媒体。
（１９）
所定のベイヤ配列の画像を、第１の拡大率で拡大された前記所定のベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成される所定のカラー画像に変換するときに用いられる予測係数の学習に用いる、前記所定のベイヤ配列の画像に対応する生徒画像のうちの、第２の拡大率で拡大された前記生徒画像の各画素の所定の複数の色成分の画素値から構成されるカラー画像である教師画像のうちの注目している画素である注目画素に対応する画素の画素値からなる予測タップと、前記注目画素の画素値とを用いて、前記教師画像の各画素の色成分、および、前記教師画像の各画素の前記生徒画像上の位置と、その位置に最も近い前記生徒画像の画素の位置との距離である画素間距離ごとに、前記教師画像の各画素の画素値、その画素の前記予測タップ、および前記予測係数の関係を示す式を解くことで、前記色成分および前記画素間距離ごとの前記予測係数を求める学習部
を備える学習装置。
【符号の説明】
【０２３４】
５４ 拡大予測処理部， ７１ 補間部， ７２ 予測タップ取得部， ７３ クラスタップ取得部， ７４ クラス番号発生部， ７６ 予測演算部， １００ 学習装置， １０２ 縮小処理部， １０３ 間引き処理部， １０４ 補間部， １０５ 予測タップ取得部， １０６ クラスタップ取得部， １０７ クラス番号発生部， １０８ 足し込み部， １０９ 予測係数算出部， １３３ クラスタップ取得部， １５０ 学習装置
【技術分野】
【０００１】
本技術は、画像処理装置、画像処理方法、プログラム、および記録媒体、並びに学習装置に関し、特に、ベイヤ配列の画像から拡大されたカラー画像を高精度に生成することできるようにした画像処理装置、画像処理方法、プログラム、および記録媒体、並びに学習装置に関する。
【背景技術】
【０００２】
従来、小型化のため、CCD（Charge Coupled Device）やCMOS（Complementary Metal-Oxide Semiconductor）イメージセンサ等の撮像素子を１つだけ備える撮影装置がある。このような撮影装置では、一般的に、撮像素子の各画素に異なるカラーフィルタが施され、画素ごとに、ＲＧＢ等の複数の色のうちのいずれか１つの色の信号が取得される。これにより、撮像素子で取得される画像は、例えば、図１に示すようなカラー配列の画像となる。以下では、図１のカラー配列をベイヤ配列という。
【０００３】
撮像素子により取得されたベイヤ配列の画像は、通常、デモザイク処理と呼ばれる補間処理により、画素ごとにＲＧＢ等の複数の色の成分の画素値を有するカラー画像に変換される。
【０００４】
また、ベイヤ配列の画像から拡大されたカラー画像を生成する方法としては、デモザイク処理によりベイヤ配列の画像からカラー画像を生成し、そのカラー画像に対して拡大処理を行う方法がある(例えば、特許文献１参照)。
【０００５】
図２は、このような方法で拡大されたカラー画像を生成する画像処理装置の構成の一例を示すブロック図である。
【０００６】
図２の画像処理装置１０は、撮像素子１１、デモザイク処理部１２、および拡大処理部１３により構成される。
【０００７】
画像処理装置１０の撮像素子１１は、各画素に異なるカラーフィルタが施されている。撮像素子１１は、被写体からの光のＲ成分、Ｇ成分、およびＢ成分のうちのいずれか１つの成分のアナログ信号を画素ごとに取得し、A/D変換等を行うことにより、ベイヤ配列の画像を生成する。撮像素子１１は、生成されたベイヤ配列の画像をデモザイク処理部１２に供給する。
【０００８】
デモザイク処理部１２は、撮像素子１１から供給されるベイヤ配列の画像に対してデモザイク処理を行い、各画素のＲ成分、Ｇ成分、およびＢ成分の画素値からなるカラー画像(以下、ＲＧＢ画像という)を生成する。そして、デモザイク処理部１２は、生成されたＲＧＢ画像を拡大処理部１３に供給する。
【０００９】
拡大処理部１３は、外部から入力される水平方向および垂直方向の拡大率に基づいて、デモザイク処理部１２から供給されるＲＧＢ画像に対して拡大処理を行い、拡大処理後のＲＧＢ画像を出力画像として出力する。
【００１０】
また、ＲＧＢ画像を任意の倍率に拡大する方法として、クラス分類適応処理を用いる方法がある(例えば、特許文献２参照)。クラス分類適応処理とは、処理後の画像の注目している画素である注目画素を所定のクラスに分類し、そのクラスに対応する学習により求められた予測係数と、注目画素に対応する処理前の画像の画素値との線形結合により注目画素の画素値を予測する処理である。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２００６−５４５７６号公報
【特許文献２】特許４４４１８６０号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
図１の画像処理装置１０におけるデモザイク処理および拡大処理として、例えば、クラス分類適応処理が用いられた場合、デモザイク処理によりベイヤ配列の画像に存在する細線部などの情報が失われると、出力画像の精度が劣化する。
【００１３】
具体的には、デモザイク処理により細線部などの情報が失われ、ＲＧＢ画像が平坦部を有する場合、拡大処理部１３では、ＲＧＢ画像の平坦部が、本来存在する平坦部であるか、細線部が失われたことによる平坦部であるかを認識することは困難である。従って、デモザイク処理により細線部などの情報が失われた場合であっても、拡大処理部１３は、デモザイク処理部１２から供給されるＲＧＢ画像を、細線部などの情報が失われていないＲＧＢ画像として拡大処理する。これにより、出力画像は、デモザイク処理前のベイヤ配列の画像を平滑化した画像に対応するものとなり、出力画像の精度が劣化する。
【００１４】
同様に、デモザイク処理によりベイヤ配列の画像には存在しない色のエッジなどが生成された場合も、出力画像の精度が劣化する。
【００１５】
本技術は、このような状況に鑑みてなされたものであり、ベイヤ配列の画像から拡大されたカラー画像を高精度に生成することできるようにするものである。
【課題を解決するための手段】
【００１６】
本技術の第１の側面の画像処理装置は、第１の拡大率で拡大されたベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成されるカラー画像に対応する教師画像と、前記ベイヤ配列の画像に対応する生徒画像とを用いて、前記教師画像の各画素の色成分ごとに、前記教師画像の各画素の画素値、その画素に対応する前記第１の拡大率で拡大された前記生徒画像の画素の画素値、および予測係数の関係を示す式を解くことにより学習された前記予測係数と、第２の拡大率で拡大された所定のベイヤ配列の画像に対応する所定のカラー画像のうちの注目している画素である注目画素に対応する、前記第２の拡大率で拡大された前記所定のベイヤ配列の画像の画素の画素値からなる予測タップとの演算により、前記色成分ごとに前記注目画素の画素値を求め、前記色成分ごとの前記注目画素の画素値から構成される前記所定のカラー画像を出力する予測演算部を備える画像処理装置である。
【００１７】
本技術の第１の側面の画像処理方法、プログラム、および記録媒体に記録されているプログラムは、本技術の第１の側面の画像処理装置に対応する。
【００１８】
本技術の第１の側面においては、第１の拡大率で拡大されたベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成されるカラー画像に対応する教師画像と、前記ベイヤ配列の画像に対応する生徒画像とを用いて、前記教師画像の各画素の色成分ごとに、前記教師画像の各画素の画素値、その画素に対応する前記第１の拡大率で拡大された前記生徒画像の画素の画素値、および予測係数の関係を示す式を解くことにより学習された前記予測係数と、第２の拡大率で拡大された所定のベイヤ配列の画像に対応する所定のカラー画像のうちの注目している画素である注目画素に対応する、前記第２の拡大率で拡大された前記所定のベイヤ配列の画像の画素の画素値からなる予測タップとの演算により、前記色成分ごとに前記注目画素の画素値が求められ、前記色成分ごとの前記注目画素の画素値から構成される前記所定のカラー画像が出力される。
【００１９】
本技術の第２の側面の学習装置は、所定のベイヤ配列の画像を、第１の拡大率で拡大された前記所定のベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成される所定のカラー画像に変換するときに用いられる予測係数の学習に用いる、前記所定のベイヤ配列の画像に対応する生徒画像が第２の拡大率に基づいて拡大された結果得られる画像のうちの、その画像に対応するカラー画像である教師画像のうちの注目している画素である注目画素に対応する画素の画素値からなる予測タップと、前記注目画素の画素値とを用いて、前記教師画像の各画素の色成分ごとに、前記教師画像の各画素の画素値、その画素の前記予測タップ、および前記予測係数の関係を示す式を解くことで、前記色成分ごとの前記予測係数を求める学習部を備える学習装置である。
【００２０】
本技術の第２の側面の学習方法、プログラム、および記録媒体に記録されているプログラムは、本技術の第２の側面の学習装置に対応する。
【００２１】
本技術の第２の側面においては、所定のベイヤ配列の画像を、第１の拡大率で拡大された前記所定のベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成される所定のカラー画像に変換するときに用いられる予測係数の学習に用いる、前記所定のベイヤ配列の画像に対応する生徒画像が第２の拡大率に基づいて拡大された結果得られる画像のうちの、その画像に対応するカラー画像である教師画像のうちの注目している画素である注目画素に対応する画素の画素値からなる予測タップと、前記注目画素の画素値とを用いて、前記教師画像の各画素の色成分ごとに、前記教師画像の各画素の画素値、その画素の前記予測タップ、および前記予測係数の関係を示す式を解かれることで、前記色成分ごとの前記予測係数が求められる。
【００２２】
本技術の第３の側面の画像処理装置は、第１の拡大率で拡大されたベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成されるカラー画像に対応する教師画像と、前記ベイヤ配列の画像に対応する生徒画像とを用いて、前記教師画像の各画素の色成分、および、前記教師画像の各画素の前記生徒画像上の位置と、その位置に最も近い前記生徒画像の画素の位置との距離である画素間距離ごとに、前記教師画像の各画素の画素値、その画素に対応する前記生徒画像の画素の画素値、および予測係数の関係を示す式を解くことにより学習された前記予測係数のうちの、第２の拡大率で拡大された所定のベイヤ配列の画像に対応する所定のカラー画像のうちの注目している画素である注目画素の前記所定のベイヤ配列の画像上の位置と、その位置に最も近い前記所定のベイヤ配列の画像の画素である注目直近画素の位置との距離である注目画素間距離に対応する予測係数と、前記注目画素に対応する前記所定のベイヤ配列の画像の画素の画素値からなる予測タップとの演算により、前記色成分ごとに前記注目画素の画素値を求め、前記色成分ごとの前記注目画素の画素値から構成される前記所定のカラー画像を出力する予測演算部を備える画像処理装置である。
【００２３】
本技術の第３の側面においては、第１の拡大率で拡大されたベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成されるカラー画像に対応する教師画像と、前記ベイヤ配列の画像に対応する生徒画像とを用いて、前記教師画像の各画素の色成分、および、前記教師画像の各画素の前記生徒画像上の位置と、その位置に最も近い前記生徒画像の画素の位置との距離である画素間距離ごとに、前記教師画像の各画素の画素値、その画素に対応する前記生徒画像の画素の画素値、および予測係数の関係を示す式を解くことにより学習された前記予測係数のうちの、第２の拡大率で拡大された所定のベイヤ配列の画像に対応する所定のカラー画像のうちの注目している画素である注目画素の前記所定のベイヤ配列の画像上の位置と、その位置に最も近い前記所定のベイヤ配列の画像の画素である注目直近画素の位置との距離である注目画素間距離に対応する予測係数と、前記注目画素に対応する前記所定のベイヤ配列の画像の画素の画素値からなる予測タップとの演算により、前記色成分ごとに前記注目画素の画素値が求められ、前記色成分ごとの前記注目画素の画素値から構成される前記所定のカラー画像が出力される。
【００２４】
本技術の第４の側面の学習装置は、所定のベイヤ配列の画像を、第１の拡大率で拡大された前記所定のベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成される所定のカラー画像に変換するときに用いられる予測係数の学習に用いる、前記所定のベイヤ配列の画像に対応する生徒画像が第２の拡大率に基づいて拡大された結果得られる画像のうちの、その画像に対応するカラー画像である教師画像のうちの注目している画素である注目画素に対応する画素の画素値からなる予測タップと、前記注目画素の画素値とを用いて、前記教師画像の各画素の色成分ごとに、前記教師画像の各画素の画素値、その画素の前記予測タップ、および前記予測係数の関係を示す式を解くことで、前記色成分ごとの前記予測係数を求める学習部を備える学習装置である。
【００２５】
本技術の第４の側面においては、所定のベイヤ配列の画像を、第１の拡大率で拡大された前記所定のベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成される所定のカラー画像に変換するときに用いられる予測係数の学習に用いる、前記所定のベイヤ配列の画像に対応する生徒画像が第２の拡大率に基づいて拡大された結果得られる画像のうちの、その画像に対応するカラー画像である教師画像のうちの注目している画素である注目画素に対応する画素の画素値からなる予測タップと、前記注目画素の画素値とを用いて、前記教師画像の各画素の色成分ごとに、前記教師画像の各画素の画素値、その画素の前記予測タップ、および前記予測係数の関係を示す式が解かれることで、前記色成分ごとの前記予測係数が求められる。
【発明の効果】
【００２６】
本技術の第１および第３の側面によれば、ベイヤ配列の画像から拡大されたカラー画像を高精度に生成することできる。
【００２７】
また、本技術の第２および第４の側面によれば、ベイヤ配列の画像から拡大されたカラー画像を高精度に生成するための予測係数を学習することができる。
【図面の簡単な説明】
【００２８】
【図１】ベイヤ配列の例を示す図である。
【図２】画像処理装置の構成の一例を示すブロック図である。
【図３】本技術を適用した画像処理装置の第１実施の形態の構成例を示すブロック図である。
【図４】図３の拡大処理部の詳細構成例を示すブロック図である。
【図５】図４の拡大予測処理部の詳細構成例を示すブロック図である。
【図６】出力画像の各画素の位置を示す第１の図である。
【図７】図５の拡大予測処理部におけるクラスタップのタップ構造の例を示す図である。
【図８】図５の拡大予測処理部における予測タップのタップ構造の例を示す図である。
【図９】図５の補間部により補間されるクラスタップに対応する位置を示す図である。
【図１０】拡大処理部の画像処理を説明するフローチャートである。
【図１１】図５の拡大予測処理部における予測係数を学習する学習装置の構成例を示すブロック図である。
【図１２】図１１の学習装置の学習処理を説明するフローチャートである。
【図１３】出力画像の例を示す図である。
【図１４】本技術を適用した画像処理装置の第２実施の形態の拡大予測処理部の構成例を示すブロック図である。
【図１５】出力画像の各画素の位置を示す第２の図である。
【図１６】図１４の拡大予測処理部におけるクラスタップのタップ構造の例を示す図である。
【図１７】図１４の拡大予測処理部における予測タップのタップ構造の例を示す図である。
【図１８】センター画素の位置を説明する図である。
【図１９】図１４の拡大予測処理部を有する拡大処理部の画像処理を説明するフローチャートである。
【図２０】図１４の拡大予測処理部における予測係数を学習する学習装置の構成例を示すブロック図である。
【図２１】図２０の学習装置の学習処理を説明するフローチャートである。
【図２２】コンピュータの一実施の形態の構成例を示す図である。
【発明を実施するための形態】
【００２９】
＜第１実施の形態＞
［画像処理装置の構成例］
図３は、本技術を適用した画像処理装置の第１実施の形態の構成例を示すブロック図である。
【００３０】
図３に示す構成のうち、図２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【００３１】
図３の画像処理装置３０の構成は、主に、デモザイク処理部１２と拡大処理部１３の代わりに拡大処理部３１が設けられている点が図２の構成と異なる。画像処理装置３０は、クラス分類適応処理を用いて、ベイヤ配列の画像から拡大されたＲＧＢ画像を直接生成する。
【００３２】
具体的には、画像処理装置３０の拡大処理部３１は、図示せぬユーザなどにより外部から入力される水平方向および垂直方向の拡大率に基づいて、撮像素子１１により生成されるベイヤ配列の画像を拡大する。
【００３３】
なお、水平方向および垂直方向の拡大率は、同一であっても異なっていてもよい。また、水平方向および垂直方向の拡大率は、整数であっても分数であってもよい。
【００３４】
また、拡大処理部３１は、拡大後のベイヤ配列の画像に対してクラス分類適応処理を行い、ＲＧＢ画像を生成する。拡大処理部３１は、生成されたＲＧＢ画像を出力画像として出力する。
【００３５】
［拡大処理部の構成例］
図４は、図３の拡大処理部３１の詳細構成例を示すブロック図である。
【００３６】
図４の拡大処理部３１は、画素欠陥補正部５１、クランプ処理部５２、ホワイトバランス部５３、および拡大予測処理部５４により構成される。
【００３７】
拡大処理部３１の画素欠陥補正部５１、クランプ処理部５２、およびホワイトバランス部５３は、出力画像の画質を高めるために、ベイヤ配列の画像に対して前処理を行う。
【００３８】
具体的には、拡大処理部３１の画素欠陥補正部５１は、図３の撮像素子１１から供給されるベイヤ配列の画像のうち、撮像素子１１の欠陥のある画素の画素値を検出する。ここで、撮像素子１１の欠陥のある画素とは、何らかの理由で入射光に反応しない素子や常に電荷を蓄えている素子である。画素欠陥補正部５１は、検出された撮像素子１１の欠陥のある画素の画素値を、周囲の欠陥のない画素の画素値などを用いて補正し、補正後のベイヤ配列の画像をクランプ処理部５２に供給する。
【００３９】
クランプ処理部５２は、画素欠陥補正部５１から供給される補正後のベイヤ配列の画像をクランプする。具体的には、撮像素子１１は、負の値が削除されることを防止するため、アナログ信号の信号値を正の方向にシフトした後、A/D変換を行う。従って、クランプ処理部５２は、そのA/D変換時のシフト分を打ち消すように、補正後のベイヤ配列の画像をクランプする。クランプ処理部５２は、クランプ後のベイヤ配列の画像をホワイトバランス部５３に供給する。
【００４０】
ホワイトバランス部５３は、クランプ処理部５２から供給されるベイヤ配列の画像の各色成分のゲインを補正することにより、ホワイトバランスを調整する。ホワイトバランス部５３は、ホワイトバランスが調整されたベイヤ配列の画像を拡大予測処理部５４に供給する。
【００４１】
拡大予測処理部５４は、外部から入力される水平方向および垂直方向の拡大率に基づいて、ホワイトバランス部５３から供給されるベイヤ配列の画像を拡大する。そして、拡大予測処理部５４は、拡大後のベイヤ配列の画像に対してクラス分類適応処理を行い、ＲＧＢ画像を生成する。拡大予測処理部５４は、生成されたＲＧＢ画像を出力画像として出力する。
【００４２】
［拡大予測処理部の詳細構成例］
図５は、図４の拡大予測処理部５４の詳細構成例を示すブロック図である。
【００４３】
図５の拡大予測処理部５４は、補間部７１、予測タップ取得部７２、クラスタップ取得部７３、クラス番号発生部７４、係数発生部７５、および予測演算部７６により構成される。
【００４４】
拡大予測処理部５４の補間部７１は、拡大処理部として機能し、外部から入力される水平方向および垂直方向の拡大率に基づいて、予測する出力画像の各画素の、図４のホワイトバランス部５３から供給されるベイヤ配列の画像内の位置を決定する。補間部７１は、出力画像の各画素を順に注目画素とする。補間部７１は、ベイヤ配列の画像内の、注目画素の画素値を予測するために用いる１以上の画素値（以下、予測タップという）に対応する位置を決定する。具体的には、補間部７１は、出力画像内の注目画素の位置と同一のベイヤ配列の画像内の位置に対して、空間的に所定の位置関係にある位置を、予測タップに対応する位置に決定する。
【００４５】
補間部７１は、ベイヤ配列の画像に対して所定の補間処理を行い、予測タップに対応する位置の各色成分の画素値を補間する。補間部７１は、補間の結果得られる各色成分の予測タップを予測タップ取得部７２に供給する。
【００４６】
また、補間部７１は、ベイヤ配列の画像内の、注目画素を１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うために用いる１以上の画素値（以下、クラスタップという）に対応する位置を決定する。具体的には、補間部７１は、出力画像内の注目画素の位置と同一のベイヤ配列の画像内の位置に対して、空間的に所定の位置関係にある位置を、クラスタップに対応する位置に決定する。
【００４７】
補間部７１は、ベイヤ配列の画像に対して所定の補間処理を行い、クラスタップに対応する位置の各色成分の画素値を補間する。補間部７１は、補間の結果得られる各色成分のクラスタップをクラスタップ取得部７３に供給する。
【００４８】
なお、補間部７１における補間処理としては、例えば、バイキュービク法による補間処理、線形補間処理などを用いることができる。また、予測タップとクラスタップは、同一のタップ構造を有するものとすることも、異なるタップ構造を有するものとすることも可能である。但し、予測タップとクラスタップのタップ構造は、拡大率によらず一定である。
【００４９】
予測タップ取得部７２は、補間部７１から供給される各色成分の予測タップを取得し、予測演算部７６に供給する。
【００５０】
クラスタップ取得部７３は、補間部７１から供給される各色成分のクラスタップを取得し、クラス番号発生部７４に供給する。
【００５１】
クラス番号発生部７４は、クラス分類部として機能し、クラスタップ取得部７３から供給される各色成分のクラスタップに基づいて、色成分ごとに注目画素をクラス分類する。クラス番号発生部７４は、その結果得られるクラスに対応するクラス番号を発生して、係数発生部７５に供給する。
【００５２】
クラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)を用いる方法を採用することができる。
【００５３】
クラス分類を行う方法としてADRCを用いる方法が採用された場合、クラスタップを構成する画素値がADRC処理され、その結果得られる再量子化コードにしたがって、注目画素のクラス番号が決定される。
【００５４】
具体的には、ADRC処理として、以下の式（１）により、クラスタップの最大値MAXと最小値MINの間を指定されたビット数ｐで均等に分割して再量子化する処理が行われる。
【００５５】
qi=[(ki-MIN+0.5)*2^p/DR]
・・・（１）
【００５６】
なお、式（１）において、［］は、［］内の値の小数点以下を切り捨てることを意味する。また、kiは、クラスタップのi番目の画素値を表し、qiは、クラスタップのi番目の画素値の再量子化コードを表す。また、DRは、ダイナミックレンジであり、MAX-MIN+1である。
【００５７】
そして、このようにして求められた再量子化コードqiを用いて、以下の式（２）により、注目画素のクラス番号classが算出される。
【００５８】
【数１】
【００５９】
なお、式（２）において、ｎは、クラスタップを構成する画素値の数である。
【００６０】
クラス分類を行う方法としては、ADRCを用いる方法の他に、DCT(Discrete Cosine Transform)，VQ(Vector Quantization)，DPCM（differential pulse code modulation）などのデータ圧縮方式を応用し、データ圧縮した結果のデータ量をクラス番号とする方法などを用いることもできる。
【００６１】
係数発生部７５は、図１１および図１２を参照して後述する学習によって求められた色成分およびクラスごとの予測係数を記憶する。係数発生部７５は、記憶している予測係数のうちの、クラス番号発生部７４から供給される各色成分のクラス番号に対応するクラスの予測係数を読み出し、予測演算部７６に供給する。
【００６２】
予測演算部７６は、予測タップ取得部７２から供給される各色成分の予測タップと、係数発生部７５から供給される各色成分の予測係数とを用いて、色成分ごとに、注目画素の画素値の真値の予測値を求める所定の予測演算を行う。これにより、予測演算部７６は、注目画素の各色成分の画素値の予測値を、出力画像の注目画素の各色成分の画素値として生成し、出力する。
【００６３】
［出力画像の各画素の位置の例］
図６は、水平方向および垂直方向の拡大率が２倍である場合の出力画像の各画素の位置を示す図である。
【００６４】
なお、図６において、白丸は、補間部７１に入力されるベイヤ配列の画像の画素の位置を表し、黒丸は出力画像の画素の位置を表す。
【００６５】
図６に示すように、水平方向および垂直方向の拡大率が２倍である場合、出力画像の各画素の水平方向の位置の間隔は、補間部７１に入力されるベイヤ配列の画像の各画素の水平方向の位置の間隔の1/2である。また、出力画像の各画素の垂直方向の位置の間隔は、補間部７１に入力されるベイヤ配列の画像の各画素の垂直方向の位置の間隔の1/2である。
【００６６】
［クラスタップのタップ構造の例］
図７は、クラスタップのタップ構造の例を示す図である。なお、クラスタップのタップ構造は、図７の構造以外の構造とすることが可能である。
【００６７】
図７において、バツ印は、出力画像内の注目画素の位置と同一のベイヤ配列の画像内の位置（以下、注目画素対応位置という）を表している。また、図７において、丸印は、注目画素のクラスタップに対応するベイヤ配列の画像内の位置を表している。
【００６８】
図７の例では、注目画素対応位置を中心として、水平方向および垂直方向に、それぞれ、ベイヤ配列の画像の画素単位の間隔で５個ずつ並ぶ合計９個の位置に対応する画素値がクラスタップとされる。
【００６９】
この場合、クラスタップに対応する位置は、外部から入力される水平方向および垂直方向の拡大率で拡大されたベイヤ配列の画像のいずれかの画素の位置と同一である。即ち、クラスタップは、外部から入力される水平方向および垂直方向の拡大率で拡大されたベイヤ配列の画像のうちの９個の画素値からなる。また、注目画素対応位置と、クラスタップに対応する位置との関係は、外部から入力される水平方向および垂直方向の拡大率によらず一定となる。
【００７０】
［予測タップのタップ構造の例］
図８は、予測タップのタップ構造の例を示す図である。なお、予測タップのタップ構造は、図８の構造以外の構造とすることが可能である。
【００７１】
図８において、バツ印は、注目画素対応位置を表している。また、図８において、丸印は、注目画素の予測タップに対応するベイヤ配列の画像内の位置を表している。
【００７２】
図８の例では、注目画素対応位置を中心として水平方向および垂直方向に、それぞれ、ベイヤ配列の画像の画素単位の間隔で５個ずつ並ぶ合計９個の位置と、その位置のうちの、注目画素対応位置と左右に隣り合う２個の位置それぞれから上下方向にベイヤ配列の画像の画素単位の間隔で１個ずつ並ぶ合計４個の位置とからなる合計１３個の位置に対応する画素値が予測タップとされる。即ち、予測タップを構成する画素値に対応する位置は、いわばひし形状に並んでいる。
【００７３】
この場合、予測タップに対応する位置は、外部から入力される水平方向および垂直方向の拡大率で拡大されたベイヤ配列の画像のいずれかの画素の位置と同一である。即ち、予測タップは、外部から入力される水平方向および垂直方向の拡大率で拡大されたベイヤ配列の画像のうちの１３個の画素値からなる。また、注目画素対応位置と、予測タップに対応する位置との関係は、外部から入力される水平方向および垂直方向の拡大率によらず一定となる。
【００７４】
［補間部による補間の説明］
図９は、図５の補間部７１により補間されるクラスタップに対応する位置を示す図である。
【００７５】
なお、図９において、バツ印は、注目画素対応位置を表している。また、図９において、白丸は、補間部７１に入力されるベイヤ配列の画像の画素の位置を表し、黒丸は出力画像の画素の位置を表す。また、図９の例では、水平方向および垂直方向の拡大率が２倍であり、クラスタップの構造は図７の構造である。
【００７６】
図９に示すように、補間部７１は、例えば、注目画素対応位置を中心として、水平方向および垂直方向に、それぞれ、ベイヤ配列の画像の１画素分の間隔ずつ離れて５個ずつ並ぶ合計９個の位置に対応する画素値がクラスタップとして補間される。即ち、図９において、点線の丸で囲われた黒丸で表される位置の画素値がクラスタップとして補間される。
【００７７】
なお、クラスタップの補間は、色成分ごとに、その色成分のベイヤ配列の画像の画素値のうちの、クラスタップを構成する各画素値に対応する位置の周辺位置の画素値を用いて行われる。例えば、図９の注目画素対応位置の注目画素のＲ成分の画素値を生成する際に用いられるＲ成分のクラスタップは、ベイヤ配列の画像のうちの、図９中点線の丸で囲われた黒丸で表される９個の位置それぞれの周辺位置のＲ成分の画素値を用いて補間される。
【００７８】
［予測演算の説明］
次に、図５の予測演算部７６における予測演算と、その予測演算に用いられる予測係数の学習について説明する。
【００７９】
いま、所定の予測演算として、例えば、線形１次予測演算を採用することとすると、出力画像の各画素の各色成分の画素値ｙは、次の線形１次式によって求められることになる。
【００８０】
【数２】
【００８１】
なお、式（３）において、ｘiは、画素値ｙについての予測タップを構成する画素値のうちのｉ番目の画素値を表し、Ｗiは、そのｉ番目の画素値と乗算されるi番目の予測係数を表す。また、nは、予測タップを構成する画素値の数を表している。
【００８２】
また、第ｋサンプルの出力画像の画素の各色成分の画素値の予測値をｙk’と表すと、予測値ｙk’は以下の式（４）で表される。
【００８３】
yk’=W1×xk1＋W2×xk2＋・・・＋Wn×xkn
・・・（４）
【００８４】
なお、式（４）において、ｘkiは、予測値ｙk’の真値についての予測タップを構成する画素値のうちのi番目の画素値を表し、Ｗiは、そのｉ番目の画素値と乗算されるi番目の予測係数を表す。また、nは、予測タップを構成する画素値の数を表している。
【００８５】
また、予測値ｙk’の真値をｙkと表すと、予測誤差ｅkは、以下の式（５）で表される。
【００８６】
ek=yk-｛W1×xk1＋W2×xk2＋・・・＋Wn×xkn｝
・・・（５）
【００８７】
なお、式（５）において、ｘkiは、予測値ｙk’の真値についての予測タップを構成する画素値のうちのi番目の画素値を表し、Ｗiは、そのｉ番目の画素値と乗算されるi番目の予測係数を表す。また、nは、予測タップを構成する画素値の数を表している。
【００８８】
式（５）の予測誤差ｅkを０とする予測係数Ｗiが、真値ｙkを予測するのに最適なものとなるが、学習用のサンプルの数がｎより小さい場合は、予測係数Ｗiは一意に定まらない。
【００８９】
そこで、予測係数Ｗiが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適な予測係数Ｗiは、以下の式（６）で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【００９０】
【数３】
【００９１】
式（６）の自乗誤差の総和Ｅの最小値（極小値）は、以下の式（７）に示すように、総和Ｅを予測係数Ｗiで偏微分したものを０とするＷiによって与えられる。
【００９２】
【数４】
【００９３】
以下の式（８）および式（９）に示すようにＸjiとＹiを定義すると、式（７）は、以下の式（１０）のように行列式の形で表すことができる。
【００９４】
【数５】
【００９５】
【数６】
【００９６】
【数７】
【００９７】
なお、式（８）乃至（１０）において、ｘkiは、予測値ｙk’の真値についての予測タップを構成する画素値のうちのi番目の画素値を表し、Ｗiは、そのｉ番目の画素値と乗算されるi番目の予測係数を表す。また、nは、予測タップを構成する画素値の数を表し、ｍは、学習用のサンプルの数を表している。
【００９８】
式（１０）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などの一般的な行列解法を用いることにより、予測係数Ｗiについて解くことができる。
【００９９】
以上により、クラスおよび色成分ごとの最適な予測係数Ｗiの学習は、式（１０）の正規方程式をクラスおよび色成分ごとにたてて解くことにより行うことができる。
【０１００】
なお、画素値ｙは、式（３）に示した線形１次式ではなく、２次以上の高次の式によって求められるようにすることも可能である。
【０１０１】
［画像処理装置の処理の説明］
図１０は、図４の拡大処理部３１の画像処理を説明するフローチャートである。この画像処理は、例えば、撮像素子１１からベイヤ配列の画像が供給されたとき、開始される。
【０１０２】
図１０のステップＳ１１において、拡大処理部３１の画素欠陥補正部５１は、図３の撮像素子１１から供給されるベイヤ配列の画像のうち、撮像素子１１の欠陥のある画素の画素値を検出する。
【０１０３】
ステップＳ１２において、画素欠陥補正部５１は、ステップＳ１１で検出された撮像素子１１の欠陥のある画素の画素値を、周囲の欠陥のない画素の画素値などを用いて補正し、補正後のベイヤ配列の画像をクランプ処理部５２に供給する。
【０１０４】
ステップＳ１３において、クランプ処理部５２は、画素欠陥補正部５１から供給される補正後のベイヤ配列の画像をクランプする。クランプ処理部５２は、クランプ後のベイヤ配列の画像をホワイトバランス部５３に供給する。
【０１０５】
ステップＳ１４において、ホワイトバランス部５３は、クランプ処理部５２から供給されるクランプ後のベイヤ配列の画像の各色成分のゲインを補正することにより、ホワイトバランスを調整する。ホワイトバランス部５３は、ホワイトバランスが調整されたベイヤ配列の画像を拡大予測処理部５４に供給する。
【０１０６】
ステップＳ１５において、拡大予測処理部５４の補間部７１（図５）は、外部から入力される水平方向および垂直方向の拡大率に基づいて、予測する出力画像の画素数を決定し、出力画像の画素のうちの、まだ注目画素とされていない画素を注目画素に決定する。
【０１０７】
ステップＳ１６において、補間部７１は、図４のホワイトバランス部５３から供給されるベイヤ配列の画像内の、注目画素の予測タップに対応する位置を決定する。
【０１０８】
ステップＳ１７において、補間部７１は、ベイヤ配列の画像に対して所定の補間処理を行い、予測タップに対応する位置の各色成分の画素値を予測タップとして補間する。補間部７１は、各色成分の予測タップを、予測タップ取得部７２を介して予測演算部７６に供給する。
【０１０９】
ステップＳ１８において、補間部７１は、ベイヤ配列の画像内の、注目画素のクラスタップに対応する位置を決定する。
【０１１０】
ステップＳ１９において、補間部７１は、ホワイトバランス部５３から供給されるベイヤ配列の画像に対して所定の補間処理を行い、クラスタップに対応する位置の各色成分の画素値をクラスタップとして補間する。補間部７１は、各色成分のクラスタップを、クラスタップ取得部７３を介してクラス番号発生部７４に供給する。
【０１１１】
ステップＳ２０において、クラス番号発生部７４は、クラスタップ取得部７３から供給される各色成分のクラスタップに基づいて、色成分ごとに注目画素をクラス分類し、その結果得られるクラスに対応するクラス番号を発生して、係数発生部７５に供給する。
【０１１２】
ステップＳ２１において、係数発生部７５は、記憶しているクラスおよび色成分ごとの予測係数のうちの、クラス番号発生部７４から供給される各色成分のクラス番号に対応するクラスの予測係数を読み出し、予測演算部７６に供給する。
【０１１３】
ステップＳ２２において、予測演算部７６は、予測タップ取得部７２が供給する各色成分の予測タップと、係数発生部７５から供給される各色成分の予測係数とを用いて、色成分ごとに、上述した式（３）の演算を所定の予測演算として行う。これにより、予測演算部７６は、注目画素の各色成分の画素値の予測値を、出力画像の注目画素の各色成分の画素値として生成し、出力する。
【０１１４】
ステップＳ２３において、補間部７１は、出力画像の全ての画素を注目画素としたかどうかを判定する。ステップＳ２３でまだ出力画像の全ての画素を注目画素としていないと判定された場合、処理はステップＳ１５に戻り、出力画像の全ての画素を注目画素とするまで、ステップＳ１５乃至Ｓ２３の処理を繰り返す。
【０１１５】
一方、ステップＳ２３で出力画像の全ての画素を注目画素としたと判定された場合、処理は終了する。
【０１１６】
以上のように、画像処理装置３０は、外部から入力される拡大率に基づいてベイヤ配列の画像を拡大することにより注目画素の各色成分の予測タップを生成し、色成分ごとに、予測タップと予測係数を用いて所定の予測演算を行い、注目画素の各色成分の画素値を求める。即ち、画像処理装置３０は、ベイヤ配列の画像から出力画像を直接生成する。従って、２回の処理に分けて出力画像を生成する従来の画像処理装置１０に比べて、細線部や色のエッジなどが変化した可能性のある１回目の処理結果を用いて出力画像が生成されないので、出力画像を高精度に生成することができる。
【０１１７】
また、従来の画像処理装置１０に比べて、１回目の処理結果を一時的に記憶する必要がないため、出力画像の精度の劣化を防止することができる。
【０１１８】
具体的には、従来の画像処理装置１０では、２回の処理に分けて出力画像が生成されるので、１回目の処理結果であるＲＧＢ画像を、少なくとも２回目の処理で出力画像の１つの画素を生成するために用いられる画素分だけ図示せぬメモリに蓄えておく必要がある。このメモリの記憶容量は、現実的には有限であるため、１回目の処理結果であるＲＧＢ画像の各画素の画素値のビット数を削減する必要がある場合があり、この場合、出力画像の精度が劣化する。これに対して、画像処理装置３０は、ベイヤ配列の画像から出力画像を直接生成するので、処理の途中結果を記憶させておく必要がなく、出力画像の精度の劣化を防止することができる。
【０１１９】
さらに、画像処理装置３０は、クラス分類適応処理を行うブロックを１つだけ備えるので、デモザイク処理用および拡大処理用にクラス分類適応処理を行うブロックをそれぞれ備える従来の画像処理装置１０に比べて、回路規模を縮小することができる。
【０１２０】
［学習装置の構成例］
図１１は、図５の係数発生部７５に記憶される予測係数Ｗiを学習する学習装置１００の構成例を示すブロック図である。
【０１２１】
図１１の学習装置１００は、教師画像記憶部１０１、縮小処理部１０２、間引き処理部１０３、補間部１０４、予測タップ取得部１０５、クラスタップ取得部１０６、クラス番号発生部１０７、足し込み部１０８、および予測係数算出部１０９により構成される。
【０１２２】
学習装置１００には、予測係数Ｗiの学習に用いられる学習用の画像として教師画像が入力される。ここでは、教師画像として、図５の拡大予測処理部５４で生成される理想的な出力画像、即ち、出力画像と同一の解像度の高精度のＲＧＢ画像が用いられる。
【０１２３】
教師画像記憶部１０１は、教師画像を記憶する。教師画像記憶部１０１は、記憶している教師画像を複数の画素からなるブロックに分割し、各ブロックを順次注目ブロックとする。教師画像記憶部１０１は、注目ブロックの各色成分の画素値を足し込み部１０８に供給する。
【０１２４】
縮小処理部１０２は、水平方向および垂直方向の所定の縮小率で、教師画像を水平方向および垂直方向に縮小し、縮小後の教師画像を間引き処理部１０３に供給する。
【０１２５】
間引き処理部１０３は、ベイヤ配列にしたがって、縮小処理部１０２から供給される縮小後の教師画像の各色成分の画素値のうちの所定の色成分の画素値を間引き、ベイヤ配列の画像を生成する。また、間引き処理部１０３は、生成されたベイヤ配列の画像に対して、撮像素子１１が有する図示せぬ光学ローパスフィルタの処理に対応するフィルタ処理を行う。これにより、撮像素子１１で生成されるベイヤ配列の画像により近似したベイヤ配列の画像を生成することができる。間引き処理部１０３は、フィルタ処理後のベイヤ配列の画像を、教師画像に対応する生徒画像として補間部１０４に供給する。
【０１２６】
補間部１０４は、拡大処理部として機能し、縮小処理部１０２における水平方向および垂直方向の所定の縮小率に対応する拡大率に基づいて、注目ブロックの各画素の、間引き処理部１０３から供給される生徒画像内の位置を求める。そして、補間部１０４は、注目ブロックの各画素を注目画素とし、図５の補間部７１と同様に、注目画素の予測タップに対応する位置およびクラスタップに対応する位置を決定する。補間部１０４は、生徒画像に対して補間部７１と同様の補間処理を行い、注目ブロックの各色成分の予測タップおよびクラスタップを補間する。そして、補間部１０４は、注目ブロックの各画素の各色成分の予測タップを予測タップ取得部１０５に供給し、クラスタップをクラスタップ取得部１０６に供給する。
【０１２７】
予測タップ取得部１０５は、補間部１０４から供給される注目ブロックの各画素の各色成分の予測タップを取得し、足し込み部１０８に供給する。
【０１２８】
クラスタップ取得部１０６は、補間部１０４から供給される注目ブロックの各画素の各色成分のクラスタップを取得し、クラス番号発生部１０７に供給する。
【０１２９】
クラス番号発生部１０７は、クラスタップ取得部１０６から供給される注目ブロックの各画素の各色成分のクラスタップに基づいて、図５のクラス番号発生部７４と同様に、色成分ごとに注目ブロックの各画素をクラス分類する。クラス番号発生部１０７は、その結果得られる注目ブロックの各画素のクラスに対応するクラス番号を発生して、足し込み部１０８に供給する。
【０１３０】
足し込み部１０８は、教師画像記憶部１０１からの注目ブロックの各色成分の画素値と、予測タップ取得部１０５からの注目ブロックの各色成分の予測タップとを対象とした足し込みを、クラス番号発生部１０７からの注目ブロックのクラス番号のクラスおよび色成分ごとに行う。
【０１３１】
具体的には、足し込み部１０８は、注目ブロックの各画素の予測タップの各画素の画素値をｘkiおよびｘkj（i,j=1,2,・・・,n）として、クラスおよび色成分ごとに、式（１０）の左辺の行列におけるＸijを演算する。
【０１３２】
また、足し込み部１０８は、注目ブロックの各画素の各色成分の画素値をｙkとして、画素値ｘkiを用いて、クラスおよび色成分ごとに、式（１０）の右辺の行列におけるＹiを演算する。
【０１３３】
そして、足し込み部１０８は、全ての教師画像の全てのブロックを注目ブロックとして足し込みを行うことにより生成された、クラスおよび色成分ごとの式（１０）の正規方程式を、予測係数算出部１０９に供給する。
【０１３４】
予測係数算出部１０９は、学習部として機能し、足し込み部１０８から供給されるクラスおよび色成分ごとの正規方程式を解くことにより、クラスおよび色成分ごとに、最適な予測係数Ｗiを求めて出力する。このクラスおよび色成分ごとの予測係数Ｗiは、図５の係数発生部７５に記憶される。
【０１３５】
［学習装置の処理の説明］
図１２は、図１１の学習装置１００の学習処理を説明するフローチャートである。この学習処理は、例えば、教師画像の入力が開始されたとき、開始される。
【０１３６】
図１２のステップＳ４１において、学習装置１００の縮小処理部１０２は、水平方向および垂直方向の所定の縮小率で、教師画像を水平方向および垂直方向に縮小し、縮小後の教師画像を間引き処理部１０３に供給する。
【０１３７】
ステップＳ４２において、間引き処理部１０３は、ベイヤ配列にしたがって、縮小処理部１０２から供給される縮小後の教師画像の各色成分の画素値のうちの所定の色成分の画素値を間引き、ベイヤ配列の画像を生成する。また、間引き処理部１０３は、生成されたベイヤ配列の画像に対して、撮像素子１１が有する図示せぬ光学ローパスフィルタの処理に対応するフィルタ処理を行う。間引き処理部１０３は、フィルタ処理後のベイヤ配列の画像を、教師画像に対応する生徒画像として補間部１０４に供給する。
【０１３８】
ステップＳ４３において、教師画像記憶部１０１は、入力された教師画像を記憶し、記憶している教師画像を複数の画素からなるブロックに分割し、そのブロックのうちの、まだ注目ブロックとされていないブロックを注目ブロックに決定する。
【０１３９】
ステップＳ４４において、教師画像記憶部１０１は、記憶している注目ブロックの各色成分の画素値を読み出し、足し込み部１０８に供給する。
【０１４０】
ステップＳ４５において、補間部１０４は、間引き処理部１０３から供給される生徒画像内の、注目ブロックの各画素の予測タップに対応する位置を決定する。
【０１４１】
ステップＳ４６において、補間部１０４は、生徒画像に対して補間部７１と同様の補間処理を行い、注目ブロックの各色成分の予測タップを補間する。そして、補間部１０４は、注目ブロックの各画素の各色成分の予測タップを、予測タップ取得部１０５を介して、足し込み部１０８に供給する。
【０１４２】
ステップＳ４７において、補間部１０４は、生徒画像内の注目ブロックの各画素のクラスタップに対応する位置を決定する。
【０１４３】
ステップＳ４８において、補間部１０４は、生徒画像に対して補間部７１と同様の補間処理を行い、注目ブロックの各色成分のクラスタップを補間する。そして、補間部１０４は、注目ブロックの各画素の各色成分のクラスタップを、クラスタップ取得部１０６を介してクラス番号発生部１０７に供給する。
【０１４４】
ステップＳ４９において、クラス番号発生部１０７は、クラスタップ取得部１０６から供給される注目ブロックの各画素の各色成分のクラスタップに基づいて、図５のクラス番号発生部７４と同様に、色成分ごとに注目ブロックの各画素をクラス分類する。クラス番号発生部１０７は、その結果得られる注目ブロックの各画素のクラスに対応するクラス番号を、足し込み部１０８に供給する。
【０１４５】
ステップＳ５０において、足し込み部１０８は、教師画像記憶部１０１からの注目ブロックの各色成分の画素値と、予測タップ取得部１０５からの注目ブロックの各色成分の予測タップとを対象とした足し込みを、クラス番号発生部１０７からの注目ブロックのクラス番号のクラスおよび色成分ごとに行う。
【０１４６】
ステップＳ５１において、足し込み部１０８は、教師画像の全てのブロックを注目ブロックとしたかどうかを判定する。ステップＳ５１でまだ教師画像の全てのブロックを注目ブロックとしていないと判定された場合、処理はステップＳ４３に戻り、全てのブロックを注目ブロックとするまで、ステップＳ４３乃至Ｓ５１の処理が繰り返される。
【０１４７】
一方、ステップＳ５１で教師画像の全てのブロックを注目ブロックとしたと判定された場合、処理はステップＳ５２に進む。ステップＳ５２において、足し込み部１０８は、教師画像の入力が終了したかどうか、即ち学習装置１００に新たな教師画像が入力されていないかどうかを判定する。
【０１４８】
ステップＳ５２で教師画像の入力が終了していないと判定された場合、即ち学習装置１００に新たな教師画像が入力されている場合、処理はステップＳ４１に戻り、新たな教師画像が入力されなくなるまで、ステップＳ４１乃至Ｓ５２の処理が繰り返される。
【０１４９】
一方、ステップＳ５２で教師画像の入力が終了したと判定された場合、即ち学習装置１００に新たな教師画像が入力されなくなった場合、足し込み部１０８は、ステップＳ５０で足し込みを行うことにより生成された、クラスおよび色成分ごとの式（１０）の正規方程式を、予測係数算出部１０９に供給する。
【０１５０】
そして、ステップＳ５３において、予測係数算出部１０９は、足し込み部１０８から供給されるクラスおよび色成分ごとの式（１０）の正規方程式のうち、所定のクラスの各色成分の式（１０）の正規方程式を解く。これにより、予測係数算出部１０９は、所定のクラスの各色成分の最適な予測係数Ｗiを求めて出力する。
【０１５１】
ステップＳ５４において、予測係数算出部１０９は、全てのクラスの各色成分の式（１０）の正規方程式を解いたかどうかを判定する。ステップＳ５４で全てのクラスの各色成分の式（１０）の正規方程式を解いていないと判定された場合、処理はステップＳ５３に戻り、予測係数算出部１０９は、まだ解かれていないクラスの各色成分の式（１０）の正規方程式を解き、ステップＳ５４の処理を行う。
【０１５２】
一方、ステップＳ５４で全てのクラスの各色成分の式（１０）の正規方程式を解いたと判定された場合、処理は終了する。
【０１５３】
以上のように、学習装置１００は、水平方向および垂直方向の所定の拡大率に基づいて図５の拡大予測処理部５４に入力されるベイヤ配列の画像に対応する生徒画像を拡大することにより、出力画像に対応する教師画像の注目ブロックの各画素の各色成分の予測タップを生成する。そして、学習装置１００は、注目ブロックの各画素の画素値と予測タップとを用いて、色成分ごとに正規方程式を解くことで、予測係数を求める。これにより、学習装置１００は、図５の拡大予測処理部５４において出力画像を高精度に生成するための予測係数を学習することができる。
【０１５４】
なお、縮小処理部１０２における水平方向および垂直方向の縮小率としては、任意の値を用いることができる。
【０１５５】
また、上述した説明では、拡大処理部３１は、図１３Ａに示すようにベイヤ配列の画像全体から出力画像を生成したが、図１３Ｂに示すように、ベイヤ配列の画像のうちの所定の範囲（図１３Ｂ中点線で囲われた範囲）から出力画像を生成するようにしてもよい。即ち、拡大処理部３１は、ベイヤ配列の画像に対して拡大ではなく、ズームを行うようにしてもよい。この場合、出力画像は、撮像素子１１により生成されたベイヤ配列の画像の所定の範囲が出力画像全体のサイズに拡大されたベイヤ配列の画像に対応するＲＧＢ画像となる。なお、所定の範囲は、例えば外部からユーザなどにより入力されるようにすることができる。
【０１５６】
さらに、上述した説明では、色成分ごとにクラスタップと予測タップが補間されたが、全ての色成分に共通のクラスタップと予測タップが補間されるようにしてもよい。但し、予測係数は、色成分ごとに求められる。
【０１５７】
また、第１実施の形態では、クラスタップが、補間部７１により補間されたベイヤ配列の画像または補間部１０４により補間された生徒画像の画素値から構成されたが、補間前のベイヤ配列の画像または生徒画像の画素値から構成されるようにしてもよい。
【０１５８】
さらに、第１実施の形態では、図５の補間部７１が、注目画素ごとに所定の補間処理を行い、各色成分の予測タップおよびクラスタップを生成したが、ベイヤ配列の画像全体を色成分ごとに補間処理により拡大し、拡大後の各色成分のベイヤ配列の画像から各色成分の予測タップおよびクラスタップを抽出するようにしてもよい。また、補間部７１は、ベイヤ配列の画像全体を補間処理により拡大し、拡大後のベイヤ配列の画像から全ての色成分に共通の予測タップおよびクラスタップを抽出するようにしてもよい。これらの場合、図１１の補間部１０４においても、図５の補間部７１と同様の処理が行われる。
【０１５９】
＜第２実施の形態＞
［画像処理装置の構成例］
本技術を適用した画像処理装置の第２実施の形態の構成は、拡大予測処理部５４の構成を除いて、図３の画像処理装置３０の構成と同様であるので、拡大予測処理部５４の構成についてのみ説明する。
【０１６０】
図１４は、本技術を適用した画像処理装置の第２実施の形態の拡大予測処理部５４の構成例を示すブロック図である。
【０１６１】
図１４に示す構成のうち、図５の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１６２】
図１４の拡大予測処理部５４の構成は、主に、注目画素位置決定部１３１が新たに設けられる点、および、予測タップ取得部７２、クラスタップ取得部７３、係数発生部７５の代わりに、予測タップ取得部１３２、クラスタップ取得部１３３、係数発生部１３４が設けられている点が図５の構成と異なる。図１４の拡大予測処理部５４は、ベイヤ配列の画像に対して所定の補間処理を行わずに、出力画像を生成する。
【０１６３】
具体的には、拡大予測処理部５４の注目画素位置決定部１３１は、外部から入力される水平方向および垂直方向の拡大率に基づいて、予測する出力画像の各画素の、図４のホワイトバランス部５３から供給されるベイヤ配列の画像上の位置を決定する。注目画素位置決定部１３１は、出力画像の各画素を順に注目画素とする。注目画素位置決定部１３１は、注目画素のベイヤ配列の画像上の位置を、注目画素位置として、予測タップ取得部１３２とクラスタップ取得部１３３に供給する。
【０１６４】
予測タップ取得部１３２は、注目画素位置決定部１３１から供給される注目画素位置に基づいて、ホワイトバランス部５３から供給されるベイヤ配列の画像から予測タップを取得する。具体的には、予測タップ取得部１３２は、注目画素位置に最も近いベイヤ配列の画像の画素をセンター画素とし、そのセンター画素に対して、空間的に所定の位置関係にあるベイヤ配列の画像の画素の画素値を予測タップとして取得する。予測タップ取得部１３２は、予測タップを予測演算部７６に供給する。
【０１６５】
クラスタップ取得部１３３は、注目画素位置決定部１３１から供給される注目画素位置に基づいて、ホワイトバランス部５３から供給されるベイヤ配列の画像からクラスタップを取得する。具体的には、クラスタップ取得部１３３は、注目画素位置に最も近いベイヤ配列の画像の画素をセンター画素（注目直近画素）とし、そのセンター画素に対して、空間的に所定の位置関係にあるベイヤ配列の画像の画素の画素値をクラスタップとして取得する。クラスタップ取得部１３３は、クラスタップをクラス番号発生部７４に供給する。
【０１６６】
係数発生部１３４は、図２０および図２１を参照して後述する学習によって求められた注目画素の色成分、クラス、センター画素の色成分、注目画素とセンター画素の距離ごとの予測係数を記憶する。このとき、係数発生部１３４は、予測係数をそのまま記憶するのではなく、DCT、VQ、DPCMなどのデータ圧縮方式を応用したり、多項式近似を用いたりすることによって情報量を削減して記憶する。従って、係数発生部１３４は、予測係数を読み出す際、元の予測係数を復元する。
【０１６７】
係数発生部１３４は、記憶している予測係数のうちの、クラス番号発生部７４から供給されるクラス番号のクラス、センター画素の色成分、および注目画素とセンター画素の距離に対応する注目画素の色成分ごとの予測係数を読み出す。そして、係数発生部１３４は、読み出された注目画素の色成分ごとの予測係数を予測演算部７６に供給する。
【０１６８】
［出力画像の各画素の位置の例］
図１５は、水平方向および垂直方向の拡大率が３倍である場合の出力画像の各画素の位置を示す図である。
【０１６９】
なお、図１５において、白丸は、ベイヤ配列の画像の画素の位置を表し、黒丸は出力画像の画素の位置を表す。
【０１７０】
図１５に示すように、水平方向および垂直方向の拡大率が３倍である場合、出力画像の各画素の水平方向の位置の間隔は、図１４の拡大予測処理部５４に入力されるベイヤ配列の画像の各画素の水平方向の位置の間隔の1/3である。また、出力画像の各画素の垂直方向の位置の間隔は、拡大予測処理部５４に入力されるベイヤ配列の画像の各画素の垂直方向の位置の間隔の1/3である。
【０１７１】
［クラスタップのタップ構造の例］
図１６は、図１４のクラスタップ取得部１３３が取得するクラスタップのタップ構造の例を示す図である。なお、クラスタップのタップ構造は、図１６の構造以外の構造とすることが可能である。
【０１７２】
図１６において、点線の丸は、センター画素を表している。また、図１６において、実線の丸は、注目画素のクラスタップに対応するベイヤ配列の画像の画素を表している。
【０１７３】
図１６の例では、センター画素を中心として、水平方向および垂直方向に、それぞれ、５個ずつ並ぶ合計９個のベイヤ配列の画像の画素の画素値がクラスタップとされる。
【０１７４】
［予測タップのタップ構造の例］
図１７は、図１４の予測タップ取得部１３２が取得する予測タップのタップ構造の例を示す図である。なお、予測タップのタップ構造は、図１７の構造以外の構造とすることが可能である。
【０１７５】
図１７において、点線の丸は、センター画素を表している。また、図１７において、実線の丸は、注目画素の予測タップに対応するベイヤ配列の画像の画素を表している。
【０１７６】
図１７の例では、センター画素を中心として、水平方向および垂直方向に、それぞれ、５個ずつ並ぶ合計９個のベイヤ配列の画像の画素と、その画素のうちの、センター画素と左右に隣り合う２個の画素それぞれの上下方向に１個ずつ並ぶ合計４個のベイヤ配列の画像の画素とからなる合計１３個の画素の画素値が予測タップとされる。即ち、予測タップを構成する画素値に対応する画素は、いわばひし形状に並んでいる。
【０１７７】
［センター画素の位置の説明］
図１８は、センター画素の位置を説明する図である。
【０１７８】
なお、図１８において、点線の丸印は、センター画素の位置を表し、バツ印は、注目画素のベイヤ配列の画像上の位置を表している。また、図１８において、白丸は、ベイヤ配列の画像の画素の位置を表し、黒丸は出力画像の画素の位置を表している。さらに、図１８の例では、水平方向および垂直方向の拡大率が３倍である。
【０１７９】
図１８に示すように、センター画素の位置は、注目画素のベイヤ配列の画像上の位置から最も近いベイヤ配列の画像の画素の位置である。従って、センター画素と注目画素の水平方向の距離の絶対値の最大値は、ベイヤ配列の画像の画素の水平方向の間隔の1/2である。同様に、センター画素と注目画素の垂直方向の距離の絶対値の最大値は、ベイヤ配列の画像の画素の垂直方向の間隔の1/2である。
【０１８０】
［画像処理装置の処理の説明］
図１９は、画像処理装置３０の第２の実施の形態の拡大処理部３１の画像処理を説明するフローチャートである。この画像処理は、例えば、撮像素子１１からベイヤ配列の画像が供給されたとき、開始される。
【０１８１】
図１９のステップＳ７１乃至Ｓ７４の処理は、図１０のステップＳ１１乃至Ｓ１４の処理と同様であるので、説明は省略する。
【０１８２】
ステップＳ７５において、拡大予測処理部５４の注目画素位置決定部１３１（図１４）は、外部から入力される水平方向および垂直方向の拡大率に基づいて、予測する出力画像の画素数を決定し、出力画像の画素のうちの、まだ注目画素とされていない画素を注目画素に決定する。
【０１８３】
ステップＳ７６において、注目画素位置決定部１３１は、外部から入力される水平方向および垂直方向の拡大率に基づいて注目画素位置を決定し、予測タップ取得部１３２とクラスタップ取得部１３３に供給する。
【０１８４】
ステップＳ７７において、予測タップ取得部１３２は、注目画素位置決定部１３１から供給される注目画素位置に基づいて、ホワイトバランス部５３から供給されるベイヤ配列の画像から予測タップを取得する。そして、予測タップ取得部１３２は、予測タップを予測演算部７６に供給する。
【０１８５】
ステップＳ７８において、クラスタップ取得部１３３は、注目画素位置決定部１３１から供給される注目画素位置に基づいて、ホワイトバランス部５３から供給されるベイヤ配列の画像からクラスタップを取得する。そして、クラスタップ取得部１３３は、クラスタップをクラス番号発生部７４に供給する。
【０１８６】
ステップＳ７９において、クラス番号発生部７４は、クラスタップ取得部１３３から供給されるクラスタップに基づいて、注目画素をクラス分類し、その結果得られるクラスに対応するクラス番号を発生して、係数発生部１３４に供給する。
【０１８７】
ステップＳ８０において、係数発生部１３４は、記憶している予測係数のうちの、クラス番号発生部７４から供給されるクラス番号のクラス、センター画素の色成分、および注目画素とセンター画素の距離に対応する注目画素の色成分ごとの予測係数を読み出す。そして、係数発生部１３４は、読み出された注目画素の色成分ごとの予測係数を予測演算部７６に供給する。
【０１８８】
ステップＳ８１において、予測演算部７６は、予測タップ取得部１３２から供給される予測タップと、係数発生部１３４から供給される注目画素の色成分ごとの予測係数とを用いて、注目画素の色成分ごとに上述した（３）の演算を所定の予測演算として行う。これにより、予測演算部７６は、注目画素の各色成分の画素値の予測値を、出力画像の注目画素の各色成分の画素値として生成し、出力する。
【０１８９】
ステップＳ８２において、注目画素位置決定部１３１は、出力画像の全ての画素を注目画素としたかどうかを判定する。ステップＳ８２でまだ出力画像の全ての画素を注目画素としていないと判定された場合、処理はステップＳ７５に戻り、出力画像の全ての画素を注目画素とするまで、ステップＳ７５乃至Ｓ８２の処理を繰り返す。
【０１９０】
一方、ステップＳ８２で出力画像の全ての画素を注目画素としたと判定された場合、処理は終了する。
【０１９１】
以上のように、図１４の拡大予測処理部５４を有する画像処理装置３０は、ベイヤ配列のセンター画素に対応する画素の画素値からなる予測タップと、注目画素とセンター画素の距離に対応する注目画素の色成分ごとの予測係数を用いて所定の予測演算を行い、注目画素の各色成分の画素値を求める。即ち、図１４の拡大予測処理部５４を有する画像処理装置３０は、ベイヤ配列の画像から出力画像を直接生成する。従って、２回の処理に分けて出力画像を生成する従来の画像処理装置１０に比べて、細線部や色のエッジなどが変化した可能性のある１回目の処理結果を用いて出力画像が生成されないので、出力画像を高精度に生成することができる。
【０１９２】
また、従来の画像処理装置１０に比べて、１回目の処理結果を一時的に記憶する必要がないため、出力画像の精度の劣化を防止することができる。さらに、図１４の拡大予測処理部５４を有する画像処理装置３０は、クラス分類適応処理を行うブロックを１つだけ備えるので、デモザイク処理用および拡大処理用にクラス分類適応処理を行うブロックをそれぞれ備える従来の画像処理装置１０に比べて、回路規模を縮小することができる。
【０１９３】
さらに、図１４の拡大予測処理部５４は、拡大率ごとではなく、注目画素とセンター画素の距離ごとの予測係数を記憶するため、拡大率ごとの予測係数を記憶する場合に比べて、予測係数を記憶するために必要な記憶容量が少なくて済む。例えば、拡大率が２倍や４倍である場合の注目画素とセンター画素の距離の種類は、拡大率が８倍である場合の注目画素とセンター画素の距離の種類に含まれるため、図１４の拡大予測処理部５４は、拡大率が８倍である場合の予測係数を記憶すれば、拡大率が２倍や４倍である場合の予測係数を記憶する必要がない。
【０１９４】
また、図１４の拡大予測処理部５４は、補間処理を行わなくて済むため、図５の拡大予測処理部５４に比べて処理量を削減することができる。
【０１９５】
［学習装置の構成例］
図２０は、図１４の係数発生部１３４に記憶される予測係数Ｗiを学習する学習装置１５０の構成例を示すブロック図である。
【０１９６】
図２０に示す構成のうち、図１１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１９７】
図２０の学習装置１５０の構成は、主に、注目画素位置決定部１５１が新たに設けられる点、および、予測タップ取得部１０５、クラスタップ取得部１０６、足し込み部１０８の代わりに予測タップ取得部１５２、クラスタップ取得部１５３、足し込み部１５４が設けられている点が図１１の構成と異なる。学習装置１５０は、注目画素の色成分、センター画素の色成分、センター画素と注目画素との距離、および注目画素のクラスごとの予測係数を学習する。
【０１９８】
具体的には、注目画素位置決定部１５１は、注目ブロックの各画素を注目画素とし、その注目画素の生徒画像上の位置を注目画素位置として決定し、予測タップ取得部１５２とクラスタップ取得部１５３に供給する。
【０１９９】
予測タップ取得部１５２は、注目画素位置決定部１５１から供給される注目ブロックの各注目画素位置に基づいて、間引き処理部１０３により生成された生徒画像から注目ブロックの予測タップを取得する。具体的には、予測タップ取得部１５２は、注目画素位置ごとに、その注目画素位置に最も近い生徒画像の画素をセンター画素とし、そのセンター画素に対して、空間的に所定の位置関係にある生徒画像の画素の画素値を予測タップとして取得する。予測タップ取得部１５２は、注目ブロックの予測タップを足し込み部１５４に供給する。
【０２００】
クラスタップ取得部１５３は、注目画素位置決定部１５１から供給される注目ブロックの各注目画素位置に基づいて、間引き処理部１０３により生成された生徒画像から注目ブロックのクラスタップを取得する。具体的には、クラスタップ取得部１５３は、注目画素位置ごとに、その注目画素位置に最も近い生徒画像の画素をセンター画素とし、そのセンター画素に対して、空間的に所定の位置関係にある生徒画像の画素の画素値をクラスタップとして取得する。クラスタップ取得部１５３は、注目ブロックのクラスタップをクラス番号発生部１０７に供給する。
【０２０１】
足し込み部１５４は、教師画像記憶部１０１からの注目ブロックの各色成分の画素値と、予測タップ取得部１５２からの注目ブロックの予測タップとを対象とした足し込みを、クラス番号発生部１０７からの注目ブロックの各画素のクラス番号のクラス、その画素の色成分、その画素に対応するセンター画素の色成分、および、その画素とセンター画素との距離ごとに行う。
【０２０２】
そして、足し込み部１５４は、全ての教師画像の全てのブロックを注目ブロックとして足し込みを行うことにより生成された、教師画像の画素のクラス、その画素の色成分、その画素に対応するセンター画素の色成分、および、その画素とセンター画素の距離ごとの式（１０）の正規方程式を、予測係数算出部１０９に供給する。
【０２０３】
［学習装置の処理の説明］
図２１は、図２０の学習装置１５０の学習処理を説明するフローチャートである。この学習処理は、例えば、教師画像の入力が開始されたとき、開始される。
【０２０４】
図２１のステップＳ１０１乃至Ｓ１０４の処理は、図１２のステップＳ４１乃至Ｓ４４の処理と同様であるので、説明は省略する。
【０２０５】
ステップＳ１０５において、注目画素位置決定部１５１は、注目ブロックの各画素を注目画素とし、その注目画素の生徒画像上の位置を注目画素位置として決定し、予測タップ取得部１５２とクラスタップ取得部１５３に供給する。
【０２０６】
ステップＳ１０６において、予測タップ取得部１５２は、注目画素位置決定部１５１から供給される注目ブロックの各注目画素位置に基づいて、間引き処理部１０３により生成された生徒画像から注目ブロックの予測タップを取得する。そして、予測タップ取得部１５２は、注目ブロックの予測タップを足し込み部１５４に供給する。
【０２０７】
ステップＳ１０７において、クラスタップ取得部１５３は、注目画素位置決定部１５１から供給される注目ブロックの各注目画素位置に基づいて、間引き処理部１０３により生成された生徒画像から注目ブロックのクラスタップを取得する。そして、クラスタップ取得部１５３は、注目ブロックのクラスタップをクラス番号発生部１０７に供給する。
【０２０８】
ステップＳ１０８において、クラス番号発生部１０７は、クラスタップ取得部１５３から供給される注目ブロックのクラスタップに基づいて、図１４のクラス番号発生部７４と同様に、注目ブロックの各画素をクラス分類する。クラス番号発生部１０７は、その結果得られる注目ブロックの各画素のクラスに対応するクラス番号を発生し、足し込み部１５４に供給する。
【０２０９】
ステップＳ１０９において、足し込み部１５４は、教師画像記憶部１０１からの注目ブロックの各色成分の画素値と、予測タップ取得部１５２からの注目ブロックの予測タップとを対象とした足し込みを、クラス番号発生部１０７からの注目ブロックの各画素のクラス番号のクラス、その画素の色成分、その画素に対応するセンター画素の色成分、および、その画素とセンター画素との距離ごとに行う。
【０２１０】
ステップＳ１１０およびＳ１１１の処理は、図１２のステップＳ５１とＳ５２の処理と同様である。ステップＳ１１１で教師画像の入力が終了したと判定された場合、足し込み部１５４は、ステップＳ１０９で足しこみを行うことにより生成された、教師画像の画素のクラス、その画素の色成分、その画素に対応するセンター画素の色成分、および、その画素とセンター画素との距離ごとの式（１０）の正規方程式を予測係数算出部１０９に供給する。
【０２１１】
そして、ステップＳ１１２において、予測係数算出部１０９は、足し込み部１５４から供給される式（１０）の正規方程式のうち、所定のクラスの、教師画像の画素の色成分、その画素に対応するセンター画素の色成分、および、その画素とセンター画素との距離ごとの式（１０）の正規方程式を解く。これにより、予測係数算出部１０９は、所定のクラスの、注目画素の色成分、センター画素の色成分、および注目画素とセンター画素の距離ごとの最適な予測係数Ｗiを求めて出力する。
【０２１２】
ステップＳ１１３において、予測係数算出部１０９は、全てのクラスの、教師画像の画素の色成分、その画素に対応するセンター画素の色成分、および、その画素とセンター画素との距離ごとの式（１０）の正規方程式を解いたかどうかを判定する。
【０２１３】
ステップＳ１１３で、全てのクラスの、教師画像の画素の色成分、その画素に対応するセンター画素の色成分、および、その画素とセンター画素との距離ごとの式（１０）の正規方程式を解いていないと判定された場合、処理はステップＳ１１２に戻る。そして、予測係数算出部１０９は、まだ解かれていないクラスの、教師画像の画素の色成分、その画素に対応するセンター画素の色成分、および、その画素とセンター画素との距離ごとの式（１０）の正規方程式を解き、ステップＳ１１３の処理を行う。
【０２１４】
一方、ステップＳ１１３で、全てのクラスの、教師画像の画素の色成分、その画素に対応するセンター画素の色成分、および、その画素とセンター画素との距離ごとの式（１０）の正規方程式を解いたと判定された場合、処理は終了する。
【０２１５】
以上のように、学習装置１５０は、出力画像に対応する教師画像の各画素の画素値と、図１４の拡大予測処理部５４に入力されるベイヤ配列の画像に対応する生徒画像の画素値からなる予測タップとを用いて、教師画像の画素の色成分、および、その画素とセンター画素との距離ごとに正規方程式を解くことで、予測係数を求める。これにより、学習装置１５０は、図１４の拡大予測処理部５４において出力画像を高精度に生成するための予測係数を学習することができる。
【０２１６】
なお、学習装置１００（１５０）では、注目ブロックごとに足し込みが行われたが、教師画像の各画素を注目画素として、注目画素ごとに足し込みが行われるようにしてもよい。
【０２１７】
また、図５や図１４の拡大予測処理部５４は、出力画像として、拡大されたＲＧＢ画像ではなく、拡大されたベイヤ配列の画像を生成するようにしてもよい。この場合、ベイヤ配列にしたがって、注目画素の色成分が決定され、その色成分の画素値のみが予測される。また、出力画像の各色成分の配列は、撮像素子１１から入力されるベイヤ配列の画像と同一のベイヤ配列であってもよいし、異なっていてもよい。さらに、出力画像の各色成分の配列は、外部からユーザにより指定されるようにしてもよい。
【０２１８】
さらに、上述した説明では、撮像素子１１によりベイヤ配列の画像が生成されるものとしたが、撮像素子１１により生成される画像の各色成分の配列は、ベイヤ配列以外であってもよい。
【０２１９】
また、上述した説明では、出力画像は、ＲＧＢ画像であるものとしたが、出力画像は、ＲＧＢ画像以外のカラー画像であってもよい。即ち、出力画像の色成分は、Ｒ成分、Ｇ成分、およびＢ成分に限定されない。
【０２２０】
[本技術を適用したコンピュータの説明]
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０２２１】
そこで、図２２は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０２２２】
プログラムは、コンピュータに内蔵されている記録媒体としての記憶部２０８やROM（Read Only Memory）２０２に予め記録しておくことができる。
【０２２３】
あるいはまた、プログラムは、リムーバブルメディア２１１に格納（記録）しておくことができる。このようなリムーバブルメディア２１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブルメディア２１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０２２４】
なお、プログラムは、上述したようなリムーバブルメディア２１１からドライブ２１０を介してコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵する記憶部２０８にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０２２５】
コンピュータは、CPU(Central Processing Unit)２０１を内蔵しており、CPU２０１には、バス２０４を介して、入出力インタフェース２０５が接続されている。
【０２２６】
CPU２０１は、入出力インタフェース２０５を介して、ユーザによって、入力部２０６が操作等されることにより指令が入力されると、それに従って、ROM２０２に格納されているプログラムを実行する。あるいは、CPU２０１は、記憶部２０８に格納されたプログラムを、RAM(Random Access Memory)２０３にロードして実行する。
【０２２７】
これにより、CPU２０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース２０５を介して、出力部２０７から出力、あるいは、通信部２０９から送信、さらには、記憶部２０８に記録等させる。
【０２２８】
なお、入力部２０６は、キーボードや、マウス、マイク等で構成される。また、出力部２０７は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０２２９】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０２３０】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０２３１】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２３２】
なお、本技術は、以下のような構成もとることができる。
【０２３３】
（１）
第１の拡大率で拡大されたベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成されるカラー画像に対応する教師画像と、前記ベイヤ配列の画像に対応する生徒画像とを用いて、前記教師画像の各画素の色成分ごとに、前記教師画像の各画素の画素値、その画素に対応する前記第１の拡大率で拡大された前記生徒画像の画素の画素値、および予測係数の関係を示す式を解くことにより学習された前記予測係数と、第２の拡大率で拡大された所定のベイヤ配列の画像に対応する所定のカラー画像のうちの注目している画素である注目画素に対応する、前記第２の拡大率で拡大された前記所定のベイヤ配列の画像の画素の画素値からなる予測タップとの演算により、前記色成分ごとに前記注目画素の画素値を求め、前記色成分ごとの前記注目画素の画素値から構成される前記所定のカラー画像を出力する予測演算部
を備える画像処理装置。
（２）
前記第２の拡大率に基づいて、前記所定のベイヤ配列の画像を拡大する拡大処理部
をさらに備え、
前記予測演算部は、前記色成分ごとの前記予測係数と、前記注目画素に対応する、前記拡大処理部により前記第２の拡大率で拡大された前記所定のベイヤ配列の画像の画素の画素値からなる前記予測タップとの前記演算により、前記色成分ごとに前記注目画素の画素値を求める
前記（１）に記載の画像処理装置。
（３）
前記拡大処理部は、前記第２の拡大率に基づいて、前記注目画素ごとに、前記所定のベイヤ配列の画像の一部を拡大して前記予測タップを生成する
前記（２）に記載の画像処理装置。
（４）
前記拡大処理部は、前記第２の拡大率に基づいて、前記色成分ごとに、その色成分の前記所定のベイヤ配列の画像の画素値を補間することにより拡大し、
前記予測演算部は、前記色成分ごとの前記予測係数と、前記注目画素に対応する、前記拡大処理部により前記色成分ごとに拡大された前記所定のベイヤ配列の画像の画素の画素値からなる前記予測タップとの前記色成分ごとの前記演算により、前記色成分ごとに前記注目画素の画素値を求める
前記（２）または（３）に記載の画像処理装置。
（５）
前記注目画素に対応する、前記第２の拡大率で拡大された前記所定のベイヤ配列の画像の画素の画素値を、前記予測タップとして取得する予測タップ取得部
をさらに備え、
前記予測演算部は、前記色成分ごとの前記予測係数と、前記予測タップ取得部により取得された前記予測タップとの前記演算により、前記色成分ごとに前記注目画素の画素値を求める
前記（１）乃至（４）のいずれかに記載の画像処理装置。
（６）
前記注目画素に対応する、前記第２の拡大率で拡大された前記所定のベイヤ配列の画像の画素の画素値を、前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うために用いるクラスタップとして取得するクラスタップ取得部と、
前記クラスタップ取得部により取得された前記クラスタップに基づいて、前記注目画素をクラス分類するクラス分類部と
をさらに備え、
前記予測係数は、前記クラスおよび前記教師画像の各画素の色成分ごとに学習され、
前記予測演算部は、前記クラス分類部によるクラス分類の結果得られる前記注目画素のクラスに対応する前記色成分ごとの前記予測係数と、前記予測タップとの前記演算により、前記色成分ごとに前記注目画素の画素値を求める
前記（１）に記載の画像処理装置。
（７）
前記第２の拡大率に基づいて、前記注目画素ごとに、前記所定のベイヤ配列の画像の一部を拡大して前記予測タップと前記クラスタップを生成する拡大処理部と、
前記拡大処理部により生成された前記予測タップを取得する予測タップ取得部と
をさらに備え、
前記クラスタップ取得部は、前記拡大処理部により生成された前記クラスタップを取得する
前記（６）に記載の画像処理装置。
（８）
前記第２の拡大率に基づいて、前記色成分ごとに、その色成分の前記所定のベイヤ配列の画像の画素値を補間することにより拡大する拡大処理部と、
前記注目画素に対応する、前記拡大処理部により前記色成分ごとに拡大された前記所定のベイヤ配列の画像の画素の画素値を、その色成分の前記予測タップとして取得する予測タップ取得部と
をさらに備え、
前記クラスタップ取得部は、前記注目画素に対応する、前記拡大処理部により前記色成分ごとに拡大された前記所定のベイヤ配列の画像の画素の画素値を、その色成分の前記クラスタップとして取得し、
前記クラス分類部は、前記クラスタップ取得部により取得された前記色成分ごとの前記クラスタップに基づいて、前記色成分ごとに前記注目画素をクラス分類し、
前記予測演算部は、前記クラス分類部によるクラス分類の結果得られる前記注目画素の前記色成分ごとのクラスに対応する前記予測係数と、前記予測タップ取得部により取得された前記色成分ごとの前記予測タップとの前記色成分ごとの前記演算により、前記色成分ごとに前記注目画素の画素値を求める
前記（６）に記載の画像処理装置。
（９）
画像処理装置が、
第１の拡大率で拡大されたベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成されるカラー画像に対応する教師画像と、前記ベイヤ配列の画像に対応する生徒画像とを用いて、前記教師画像の各画素の色成分ごとに、前記教師画像の各画素の画素値、その画素に対応する前記第１の拡大率で拡大された前記生徒画像の画素の画素値、および予測係数の関係を示す式を解くことにより学習された前記予測係数と、第２の拡大率で拡大された所定のベイヤ配列の画像に対応する所定のカラー画像のうちの注目している画素である注目画素に対応する、前記第２の拡大率で拡大された前記所定のベイヤ配列の画像の画素の画素値からなる予測タップとの演算により、前記色成分ごとに前記注目画素の画素値を求め、前記色成分ごとの前記注目画素の画素値から構成される前記所定のカラー画像を出力する予測演算ステップ
を含む画像処理方法。
（１０）
コンピュータに、
第１の拡大率で拡大されたベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成されるカラー画像に対応する教師画像と、前記ベイヤ配列の画像に対応する生徒画像とを用いて、前記教師画像の各画素の色成分ごとに、前記教師画像の各画素の画素値、その画素に対応する前記第１の拡大率で拡大された前記生徒画像の画素の画素値、および予測係数の関係を示す式を解くことにより学習された前記予測係数と、第２の拡大率で拡大された所定のベイヤ配列の画像に対応する所定のカラー画像のうちの注目している画素である注目画素に対応する、前記第２の拡大率で拡大された前記所定のベイヤ配列の画像の画素の画素値からなる予測タップとの演算により、前記色成分ごとに前記注目画素の画素値を求め、前記色成分ごとの前記注目画素の画素値から構成される前記所定のカラー画像を出力する予測演算ステップ
を含む処理を実行させるためのプログラム。
（１１）
前記（１０）に記載のプログラムが記録されている記録媒体。
（１２）
所定のベイヤ配列の画像を、第１の拡大率で拡大された前記所定のベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成される所定のカラー画像に変換するときに用いられる予測係数の学習に用いる、前記所定のベイヤ配列の画像に対応する生徒画像が第２の拡大率に基づいて拡大された結果得られる画像のうちの、その画像に対応するカラー画像である教師画像のうちの注目している画素である注目画素に対応する画素の画素値からなる予測タップと、前記注目画素の画素値とを用いて、前記教師画像の各画素の色成分ごとに、前記教師画像の各画素の画素値、その画素の前記予測タップ、および前記予測係数の関係を示す式を解くことで、前記色成分ごとの前記予測係数を求める学習部
を備える学習装置。
（１３）
第１の拡大率で拡大されたベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成されるカラー画像に対応する教師画像と、前記ベイヤ配列の画像に対応する生徒画像とを用いて、前記教師画像の各画素の色成分、および、前記教師画像の各画素の前記生徒画像上の位置と、その位置に最も近い前記生徒画像の画素の位置との距離である画素間距離ごとに、前記教師画像の各画素の画素値、その画素に対応する前記生徒画像の画素の画素値、および予測係数の関係を示す式を解くことにより学習された前記予測係数のうちの、第２の拡大率で拡大された所定のベイヤ配列の画像に対応する所定のカラー画像のうちの注目している画素である注目画素の前記所定のベイヤ配列の画像上の位置と、その位置に最も近い前記所定のベイヤ配列の画像の画素である注目直近画素の位置との距離である注目画素間距離に対応する予測係数と、前記注目画素に対応する前記所定のベイヤ配列の画像の画素の画素値からなる予測タップとの演算により、前記色成分ごとに前記注目画素の画素値を求め、前記色成分ごとの前記注目画素の画素値から構成される前記所定のカラー画像を出力する予測演算部
を備える画像処理装置。
（１４）
前記予測係数は、前記教師画像の各画素の色成分、前記画素間距離、前記教師画像の各画素の前記生徒画像上の位置に最も近い前記生徒画像の画素の色成分ごとに学習され、
前記予測演算部は、前記予測係数のうちの、前記注目画素間距離および前記注目直近画素の色成分に対応する予測係数と、前記予測タップとの前記演算により、前記色成分ごとに前記注目画素の画素値を求める
前記（１３）に記載の画像処理装置。
（１５）
前記注目直近画素に対応する前記所定のベイヤ配列の画像の画素の画素値を、前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うために用いるクラスタップとして取得するクラスタップ取得部と、
前記クラスタップ取得部により取得された前記クラスタップに基づいて、前記注目画素をクラス分類するクラス分類部と
をさらに備え、
前記予測係数は、前記クラス、前記教師画像の各画素の色成分、および前記画素間距離ごとに学習され、
前記予測演算部は、前記予測係数のうちの、前記クラス分類部によるクラス分類の結果得られる前記注目画素のクラスおよび前記注目画素間距離に対応する予測係数と、前記予測タップとの前記演算により、前記色成分ごとに前記注目画素の画素値を求める
前記（１３）または（１４）に記載の画像処理装置。
（１６）
画像処理装置が、
第１の拡大率で拡大されたベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成されるカラー画像に対応する教師画像と、前記ベイヤ配列の画像に対応する生徒画像とを用いて、前記教師画像の各画素の色成分、および、前記教師画像の各画素の前記生徒画像上の位置と、その位置に最も近い前記生徒画像の画素の位置との距離である画素間距離ごとに、前記教師画像の各画素の画素値、その画素に対応する前記生徒画像の画素の画素値、および予測係数の関係を示す式を解くことにより学習された前記予測係数のうちの、第２の拡大率で拡大された所定のベイヤ配列の画像に対応する所定のカラー画像のうちの注目している画素である注目画素の前記所定のベイヤ配列の画像上の位置と、その位置に最も近い前記所定のベイヤ配列の画像の画素である注目直近画素の位置との距離である注目画素間距離に対応する予測係数と、前記注目画素に対応する前記所定のベイヤ配列の画像の画素の画素値からなる予測タップとの演算により、前記色成分ごとに前記注目画素の画素値を求め、前記色成分ごとの前記注目画素の画素値から構成される前記所定のカラー画像を出力する予測演算ステップ
を含む画像処理方法。
（１７）
コンピュータに、
第１の拡大率で拡大されたベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成されるカラー画像に対応する教師画像と、前記ベイヤ配列の画像に対応する生徒画像とを用いて、前記教師画像の各画素の色成分、および、前記教師画像の各画素の前記生徒画像上の位置と、その位置に最も近い前記生徒画像の画素の位置との距離である画素間距離ごとに、前記教師画像の各画素の画素値、その画素に対応する前記生徒画像の画素の画素値、および予測係数の関係を示す式を解くことにより学習された前記予測係数のうちの、第２の拡大率で拡大された所定のベイヤ配列の画像に対応する所定のカラー画像のうちの注目している画素である注目画素の前記所定のベイヤ配列の画像上の位置と、その位置に最も近い前記所定のベイヤ配列の画像の画素である注目直近画素の位置との距離である注目画素間距離に対応する予測係数と、前記注目画素に対応する前記所定のベイヤ配列の画像の画素の画素値からなる予測タップとの演算により、前記色成分ごとに前記注目画素の画素値を求め、前記色成分ごとの前記注目画素の画素値から構成される前記所定のカラー画像を出力する予測演算ステップ
を含む処理を実行させるためのプログラム。
（１８）
前記（１７）に記載のプログラムが記録されている記録媒体。
（１９）
所定のベイヤ配列の画像を、第１の拡大率で拡大された前記所定のベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成される所定のカラー画像に変換するときに用いられる予測係数の学習に用いる、前記所定のベイヤ配列の画像に対応する生徒画像のうちの、第２の拡大率で拡大された前記生徒画像の各画素の所定の複数の色成分の画素値から構成されるカラー画像である教師画像のうちの注目している画素である注目画素に対応する画素の画素値からなる予測タップと、前記注目画素の画素値とを用いて、前記教師画像の各画素の色成分、および、前記教師画像の各画素の前記生徒画像上の位置と、その位置に最も近い前記生徒画像の画素の位置との距離である画素間距離ごとに、前記教師画像の各画素の画素値、その画素の前記予測タップ、および前記予測係数の関係を示す式を解くことで、前記色成分および前記画素間距離ごとの前記予測係数を求める学習部
を備える学習装置。
【符号の説明】
【０２３４】
５４ 拡大予測処理部， ７１ 補間部， ７２ 予測タップ取得部， ７３ クラスタップ取得部， ７４ クラス番号発生部， ７６ 予測演算部， １００ 学習装置， １０２ 縮小処理部， １０３ 間引き処理部， １０４ 補間部， １０５ 予測タップ取得部， １０６ クラスタップ取得部， １０７ クラス番号発生部， １０８ 足し込み部， １０９ 予測係数算出部， １３３ クラスタップ取得部， １５０ 学習装置
【特許請求の範囲】
【請求項１】
第１の拡大率で拡大されたベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成されるカラー画像に対応する教師画像と、前記ベイヤ配列の画像に対応する生徒画像とを用いて、前記教師画像の各画素の色成分ごとに、前記教師画像の各画素の画素値、その画素に対応する前記第１の拡大率で拡大された前記生徒画像の画素の画素値、および予測係数の関係を示す式を解くことにより学習された前記予測係数と、第２の拡大率で拡大された所定のベイヤ配列の画像に対応する所定のカラー画像のうちの注目している画素である注目画素に対応する、前記第２の拡大率で拡大された前記所定のベイヤ配列の画像の画素の画素値からなる予測タップとの演算により、前記色成分ごとに前記注目画素の画素値を求め、前記色成分ごとの前記注目画素の画素値から構成される前記所定のカラー画像を出力する予測演算部
を備える画像処理装置。
【請求項２】
前記第２の拡大率に基づいて、前記所定のベイヤ配列の画像を拡大する拡大処理部
をさらに備え、
前記予測演算部は、前記色成分ごとの前記予測係数と、前記注目画素に対応する、前記拡大処理部により前記第２の拡大率で拡大された前記所定のベイヤ配列の画像の画素の画素値からなる前記予測タップとの前記演算により、前記色成分ごとに前記注目画素の画素値を求める
請求項１に記載の画像処理装置。
【請求項３】
前記拡大処理部は、前記第２の拡大率に基づいて、前記注目画素ごとに、前記所定のベイヤ配列の画像の一部を拡大して前記予測タップを生成する
請求項２に記載の画像処理装置。
【請求項４】
前記拡大処理部は、前記第２の拡大率に基づいて、前記色成分ごとに、その色成分の前記所定のベイヤ配列の画像の画素値を補間することにより拡大し、
前記予測演算部は、前記色成分ごとの前記予測係数と、前記注目画素に対応する、前記拡大処理部により前記色成分ごとに拡大された前記所定のベイヤ配列の画像の画素の画素値からなる前記予測タップとの前記色成分ごとの前記演算により、前記色成分ごとに前記注目画素の画素値を求める
請求項２に記載の画像処理装置。
【請求項５】
前記注目画素に対応する、前記第２の拡大率で拡大された前記所定のベイヤ配列の画像の画素の画素値を、前記予測タップとして取得する予測タップ取得部
をさらに備え、
前記予測演算部は、前記色成分ごとの前記予測係数と、前記予測タップ取得部により取得された前記予測タップとの前記演算により、前記色成分ごとに前記注目画素の画素値を求める
請求項１に記載の画像処理装置。
【請求項６】
前記注目画素に対応する、前記第２の拡大率で拡大された前記所定のベイヤ配列の画像の画素の画素値を、前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うために用いるクラスタップとして取得するクラスタップ取得部と、
前記クラスタップ取得部により取得された前記クラスタップに基づいて、前記注目画素をクラス分類するクラス分類部と
をさらに備え、
前記予測係数は、前記クラスおよび前記教師画像の各画素の色成分ごとに学習され、
前記予測演算部は、前記クラス分類部によるクラス分類の結果得られる前記注目画素のクラスに対応する前記色成分ごとの前記予測係数と、前記予測タップとの前記演算により、前記色成分ごとに前記注目画素の画素値を求める
請求項１に記載の画像処理装置。
【請求項７】
前記第２の拡大率に基づいて、前記注目画素ごとに、前記所定のベイヤ配列の画像の一部を拡大して前記予測タップと前記クラスタップを生成する拡大処理部と、
前記拡大処理部により生成された前記予測タップを取得する予測タップ取得部と
をさらに備え、
前記クラスタップ取得部は、前記拡大処理部により生成された前記クラスタップを取得する
請求項６に記載の画像処理装置。
【請求項８】
前記第２の拡大率に基づいて、前記色成分ごとに、その色成分の前記所定のベイヤ配列の画像の画素値を補間することにより拡大する拡大処理部と、
前記注目画素に対応する、前記拡大処理部により前記色成分ごとに拡大された前記所定のベイヤ配列の画像の画素の画素値を、その色成分の前記予測タップとして取得する予測タップ取得部と
をさらに備え、
前記クラスタップ取得部は、前記注目画素に対応する、前記拡大処理部により前記色成分ごとに拡大された前記所定のベイヤ配列の画像の画素の画素値を、その色成分の前記クラスタップとして取得し、
前記クラス分類部は、前記クラスタップ取得部により取得された前記色成分ごとの前記クラスタップに基づいて、前記色成分ごとに前記注目画素をクラス分類し、
前記予測演算部は、前記クラス分類部によるクラス分類の結果得られる前記注目画素の前記色成分ごとのクラスに対応する前記予測係数と、前記予測タップ取得部により取得された前記色成分ごとの前記予測タップとの前記色成分ごとの前記演算により、前記色成分ごとに前記注目画素の画素値を求める
請求項６に記載の画像処理装置。
【請求項９】
画像処理装置が、
第１の拡大率で拡大されたベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成されるカラー画像に対応する教師画像と、前記ベイヤ配列の画像に対応する生徒画像とを用いて、前記教師画像の各画素の色成分ごとに、前記教師画像の各画素の画素値、その画素に対応する前記第１の拡大率で拡大された前記生徒画像の画素の画素値、および予測係数の関係を示す式を解くことにより学習された前記予測係数と、第２の拡大率で拡大された所定のベイヤ配列の画像に対応する所定のカラー画像のうちの注目している画素である注目画素に対応する、前記第２の拡大率で拡大された前記所定のベイヤ配列の画像の画素の画素値からなる予測タップとの演算により、前記色成分ごとに前記注目画素の画素値を求め、前記色成分ごとの前記注目画素の画素値から構成される前記所定のカラー画像を出力する予測演算ステップ
を含む画像処理方法。
【請求項１０】
コンピュータに、
第１の拡大率で拡大されたベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成されるカラー画像に対応する教師画像と、前記ベイヤ配列の画像に対応する生徒画像とを用いて、前記教師画像の各画素の色成分ごとに、前記教師画像の各画素の画素値、その画素に対応する前記第１の拡大率で拡大された前記生徒画像の画素の画素値、および予測係数の関係を示す式を解くことにより学習された前記予測係数と、第２の拡大率で拡大された所定のベイヤ配列の画像に対応する所定のカラー画像のうちの注目している画素である注目画素に対応する、前記第２の拡大率で拡大された前記所定のベイヤ配列の画像の画素の画素値からなる予測タップとの演算により、前記色成分ごとに前記注目画素の画素値を求め、前記色成分ごとの前記注目画素の画素値から構成される前記所定のカラー画像を出力する予測演算ステップ
を含む処理を実行させるためのプログラム。
【請求項１１】
請求項１０に記載のプログラムが記録されている記録媒体。
【請求項１２】
所定のベイヤ配列の画像を、第１の拡大率で拡大された前記所定のベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成される所定のカラー画像に変換するときに用いられる予測係数の学習に用いる、前記所定のベイヤ配列の画像に対応する生徒画像が第２の拡大率に基づいて拡大された結果得られる画像のうちの、その画像に対応するカラー画像である教師画像のうちの注目している画素である注目画素に対応する画素の画素値からなる予測タップと、前記注目画素の画素値とを用いて、前記教師画像の各画素の色成分ごとに、前記教師画像の各画素の画素値、その画素の前記予測タップ、および前記予測係数の関係を示す式を解くことで、前記色成分ごとの前記予測係数を求める学習部
を備える学習装置。
【請求項１３】
第１の拡大率で拡大されたベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成されるカラー画像に対応する教師画像と、前記ベイヤ配列の画像に対応する生徒画像とを用いて、前記教師画像の各画素の色成分、および、前記教師画像の各画素の前記生徒画像上の位置と、その位置に最も近い前記生徒画像の画素の位置との距離である画素間距離ごとに、前記教師画像の各画素の画素値、その画素に対応する前記生徒画像の画素の画素値、および予測係数の関係を示す式を解くことにより学習された前記予測係数のうちの、第２の拡大率で拡大された所定のベイヤ配列の画像に対応する所定のカラー画像のうちの注目している画素である注目画素の前記所定のベイヤ配列の画像上の位置と、その位置に最も近い前記所定のベイヤ配列の画像の画素である注目直近画素の位置との距離である注目画素間距離に対応する予測係数と、前記注目画素に対応する前記所定のベイヤ配列の画像の画素の画素値からなる予測タップとの演算により、前記色成分ごとに前記注目画素の画素値を求め、前記色成分ごとの前記注目画素の画素値から構成される前記所定のカラー画像を出力する予測演算部
を備える画像処理装置。
【請求項１４】
前記予測係数は、前記教師画像の各画素の色成分、前記画素間距離、前記教師画像の各画素の前記生徒画像上の位置に最も近い前記生徒画像の画素の色成分ごとに学習され、
前記予測演算部は、前記予測係数のうちの、前記注目画素間距離および前記注目直近画素の色成分に対応する予測係数と、前記予測タップとの前記演算により、前記色成分ごとに前記注目画素の画素値を求める
請求項１３に記載の画像処理装置。
【請求項１５】
前記注目直近画素に対応する前記所定のベイヤ配列の画像の画素の画素値を、前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うために用いるクラスタップとして取得するクラスタップ取得部と、
前記クラスタップ取得部により取得された前記クラスタップに基づいて、前記注目画素をクラス分類するクラス分類部と
をさらに備え、
前記予測係数は、前記クラス、前記教師画像の各画素の色成分、および前記画素間距離ごとに学習され、
前記予測演算部は、前記予測係数のうちの、前記クラス分類部によるクラス分類の結果得られる前記注目画素のクラスおよび前記注目画素間距離に対応する予測係数と、前記予測タップとの前記演算により、前記色成分ごとに前記注目画素の画素値を求める
請求項１３に記載の画像処理装置。
【請求項１６】
画像処理装置が、
第１の拡大率で拡大されたベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成されるカラー画像に対応する教師画像と、前記ベイヤ配列の画像に対応する生徒画像とを用いて、前記教師画像の各画素の色成分、および、前記教師画像の各画素の前記生徒画像上の位置と、その位置に最も近い前記生徒画像の画素の位置との距離である画素間距離ごとに、前記教師画像の各画素の画素値、その画素に対応する前記生徒画像の画素の画素値、および予測係数の関係を示す式を解くことにより学習された前記予測係数のうちの、第２の拡大率で拡大された所定のベイヤ配列の画像に対応する所定のカラー画像のうちの注目している画素である注目画素の前記所定のベイヤ配列の画像上の位置と、その位置に最も近い前記所定のベイヤ配列の画像の画素である注目直近画素の位置との距離である注目画素間距離に対応する予測係数と、前記注目画素に対応する前記所定のベイヤ配列の画像の画素の画素値からなる予測タップとの演算により、前記色成分ごとに前記注目画素の画素値を求め、前記色成分ごとの前記注目画素の画素値から構成される前記所定のカラー画像を出力する予測演算ステップ
を含む画像処理方法。
【請求項１７】
コンピュータに、
第１の拡大率で拡大されたベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成されるカラー画像に対応する教師画像と、前記ベイヤ配列の画像に対応する生徒画像とを用いて、前記教師画像の各画素の色成分、および、前記教師画像の各画素の前記生徒画像上の位置と、その位置に最も近い前記生徒画像の画素の位置との距離である画素間距離ごとに、前記教師画像の各画素の画素値、その画素に対応する前記生徒画像の画素の画素値、および予測係数の関係を示す式を解くことにより学習された前記予測係数のうちの、第２の拡大率で拡大された所定のベイヤ配列の画像に対応する所定のカラー画像のうちの注目している画素である注目画素の前記所定のベイヤ配列の画像上の位置と、その位置に最も近い前記所定のベイヤ配列の画像の画素である注目直近画素の位置との距離である注目画素間距離に対応する予測係数と、前記注目画素に対応する前記所定のベイヤ配列の画像の画素の画素値からなる予測タップとの演算により、前記色成分ごとに前記注目画素の画素値を求め、前記色成分ごとの前記注目画素の画素値から構成される前記所定のカラー画像を出力する予測演算ステップ
を含む処理を実行させるためのプログラム。
【請求項１８】
請求項１７に記載のプログラムが記録されている記録媒体。
【請求項１９】
所定のベイヤ配列の画像を、第１の拡大率で拡大された前記所定のベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成される所定のカラー画像に変換するときに用いられる予測係数の学習に用いる、前記所定のベイヤ配列の画像に対応する生徒画像のうちの、第２の拡大率で拡大された前記生徒画像の各画素の所定の複数の色成分の画素値から構成されるカラー画像である教師画像のうちの注目している画素である注目画素に対応する画素の画素値からなる予測タップと、前記注目画素の画素値とを用いて、前記教師画像の各画素の色成分、および、前記教師画像の各画素の前記生徒画像上の位置と、その位置に最も近い前記生徒画像の画素の位置との距離である画素間距離ごとに、前記教師画像の各画素の画素値、その画素の前記予測タップ、および前記予測係数の関係を示す式を解くことで、前記色成分および前記画素間距離ごとの前記予測係数を求める学習部
を備える学習装置。
【請求項１】
第１の拡大率で拡大されたベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成されるカラー画像に対応する教師画像と、前記ベイヤ配列の画像に対応する生徒画像とを用いて、前記教師画像の各画素の色成分ごとに、前記教師画像の各画素の画素値、その画素に対応する前記第１の拡大率で拡大された前記生徒画像の画素の画素値、および予測係数の関係を示す式を解くことにより学習された前記予測係数と、第２の拡大率で拡大された所定のベイヤ配列の画像に対応する所定のカラー画像のうちの注目している画素である注目画素に対応する、前記第２の拡大率で拡大された前記所定のベイヤ配列の画像の画素の画素値からなる予測タップとの演算により、前記色成分ごとに前記注目画素の画素値を求め、前記色成分ごとの前記注目画素の画素値から構成される前記所定のカラー画像を出力する予測演算部
を備える画像処理装置。
【請求項２】
前記第２の拡大率に基づいて、前記所定のベイヤ配列の画像を拡大する拡大処理部
をさらに備え、
前記予測演算部は、前記色成分ごとの前記予測係数と、前記注目画素に対応する、前記拡大処理部により前記第２の拡大率で拡大された前記所定のベイヤ配列の画像の画素の画素値からなる前記予測タップとの前記演算により、前記色成分ごとに前記注目画素の画素値を求める
請求項１に記載の画像処理装置。
【請求項３】
前記拡大処理部は、前記第２の拡大率に基づいて、前記注目画素ごとに、前記所定のベイヤ配列の画像の一部を拡大して前記予測タップを生成する
請求項２に記載の画像処理装置。
【請求項４】
前記拡大処理部は、前記第２の拡大率に基づいて、前記色成分ごとに、その色成分の前記所定のベイヤ配列の画像の画素値を補間することにより拡大し、
前記予測演算部は、前記色成分ごとの前記予測係数と、前記注目画素に対応する、前記拡大処理部により前記色成分ごとに拡大された前記所定のベイヤ配列の画像の画素の画素値からなる前記予測タップとの前記色成分ごとの前記演算により、前記色成分ごとに前記注目画素の画素値を求める
請求項２に記載の画像処理装置。
【請求項５】
前記注目画素に対応する、前記第２の拡大率で拡大された前記所定のベイヤ配列の画像の画素の画素値を、前記予測タップとして取得する予測タップ取得部
をさらに備え、
前記予測演算部は、前記色成分ごとの前記予測係数と、前記予測タップ取得部により取得された前記予測タップとの前記演算により、前記色成分ごとに前記注目画素の画素値を求める
請求項１に記載の画像処理装置。
【請求項６】
前記注目画素に対応する、前記第２の拡大率で拡大された前記所定のベイヤ配列の画像の画素の画素値を、前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うために用いるクラスタップとして取得するクラスタップ取得部と、
前記クラスタップ取得部により取得された前記クラスタップに基づいて、前記注目画素をクラス分類するクラス分類部と
をさらに備え、
前記予測係数は、前記クラスおよび前記教師画像の各画素の色成分ごとに学習され、
前記予測演算部は、前記クラス分類部によるクラス分類の結果得られる前記注目画素のクラスに対応する前記色成分ごとの前記予測係数と、前記予測タップとの前記演算により、前記色成分ごとに前記注目画素の画素値を求める
請求項１に記載の画像処理装置。
【請求項７】
前記第２の拡大率に基づいて、前記注目画素ごとに、前記所定のベイヤ配列の画像の一部を拡大して前記予測タップと前記クラスタップを生成する拡大処理部と、
前記拡大処理部により生成された前記予測タップを取得する予測タップ取得部と
をさらに備え、
前記クラスタップ取得部は、前記拡大処理部により生成された前記クラスタップを取得する
請求項６に記載の画像処理装置。
【請求項８】
前記第２の拡大率に基づいて、前記色成分ごとに、その色成分の前記所定のベイヤ配列の画像の画素値を補間することにより拡大する拡大処理部と、
前記注目画素に対応する、前記拡大処理部により前記色成分ごとに拡大された前記所定のベイヤ配列の画像の画素の画素値を、その色成分の前記予測タップとして取得する予測タップ取得部と
をさらに備え、
前記クラスタップ取得部は、前記注目画素に対応する、前記拡大処理部により前記色成分ごとに拡大された前記所定のベイヤ配列の画像の画素の画素値を、その色成分の前記クラスタップとして取得し、
前記クラス分類部は、前記クラスタップ取得部により取得された前記色成分ごとの前記クラスタップに基づいて、前記色成分ごとに前記注目画素をクラス分類し、
前記予測演算部は、前記クラス分類部によるクラス分類の結果得られる前記注目画素の前記色成分ごとのクラスに対応する前記予測係数と、前記予測タップ取得部により取得された前記色成分ごとの前記予測タップとの前記色成分ごとの前記演算により、前記色成分ごとに前記注目画素の画素値を求める
請求項６に記載の画像処理装置。
【請求項９】
画像処理装置が、
第１の拡大率で拡大されたベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成されるカラー画像に対応する教師画像と、前記ベイヤ配列の画像に対応する生徒画像とを用いて、前記教師画像の各画素の色成分ごとに、前記教師画像の各画素の画素値、その画素に対応する前記第１の拡大率で拡大された前記生徒画像の画素の画素値、および予測係数の関係を示す式を解くことにより学習された前記予測係数と、第２の拡大率で拡大された所定のベイヤ配列の画像に対応する所定のカラー画像のうちの注目している画素である注目画素に対応する、前記第２の拡大率で拡大された前記所定のベイヤ配列の画像の画素の画素値からなる予測タップとの演算により、前記色成分ごとに前記注目画素の画素値を求め、前記色成分ごとの前記注目画素の画素値から構成される前記所定のカラー画像を出力する予測演算ステップ
を含む画像処理方法。
【請求項１０】
コンピュータに、
第１の拡大率で拡大されたベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成されるカラー画像に対応する教師画像と、前記ベイヤ配列の画像に対応する生徒画像とを用いて、前記教師画像の各画素の色成分ごとに、前記教師画像の各画素の画素値、その画素に対応する前記第１の拡大率で拡大された前記生徒画像の画素の画素値、および予測係数の関係を示す式を解くことにより学習された前記予測係数と、第２の拡大率で拡大された所定のベイヤ配列の画像に対応する所定のカラー画像のうちの注目している画素である注目画素に対応する、前記第２の拡大率で拡大された前記所定のベイヤ配列の画像の画素の画素値からなる予測タップとの演算により、前記色成分ごとに前記注目画素の画素値を求め、前記色成分ごとの前記注目画素の画素値から構成される前記所定のカラー画像を出力する予測演算ステップ
を含む処理を実行させるためのプログラム。
【請求項１１】
請求項１０に記載のプログラムが記録されている記録媒体。
【請求項１２】
所定のベイヤ配列の画像を、第１の拡大率で拡大された前記所定のベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成される所定のカラー画像に変換するときに用いられる予測係数の学習に用いる、前記所定のベイヤ配列の画像に対応する生徒画像が第２の拡大率に基づいて拡大された結果得られる画像のうちの、その画像に対応するカラー画像である教師画像のうちの注目している画素である注目画素に対応する画素の画素値からなる予測タップと、前記注目画素の画素値とを用いて、前記教師画像の各画素の色成分ごとに、前記教師画像の各画素の画素値、その画素の前記予測タップ、および前記予測係数の関係を示す式を解くことで、前記色成分ごとの前記予測係数を求める学習部
を備える学習装置。
【請求項１３】
第１の拡大率で拡大されたベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成されるカラー画像に対応する教師画像と、前記ベイヤ配列の画像に対応する生徒画像とを用いて、前記教師画像の各画素の色成分、および、前記教師画像の各画素の前記生徒画像上の位置と、その位置に最も近い前記生徒画像の画素の位置との距離である画素間距離ごとに、前記教師画像の各画素の画素値、その画素に対応する前記生徒画像の画素の画素値、および予測係数の関係を示す式を解くことにより学習された前記予測係数のうちの、第２の拡大率で拡大された所定のベイヤ配列の画像に対応する所定のカラー画像のうちの注目している画素である注目画素の前記所定のベイヤ配列の画像上の位置と、その位置に最も近い前記所定のベイヤ配列の画像の画素である注目直近画素の位置との距離である注目画素間距離に対応する予測係数と、前記注目画素に対応する前記所定のベイヤ配列の画像の画素の画素値からなる予測タップとの演算により、前記色成分ごとに前記注目画素の画素値を求め、前記色成分ごとの前記注目画素の画素値から構成される前記所定のカラー画像を出力する予測演算部
を備える画像処理装置。
【請求項１４】
前記予測係数は、前記教師画像の各画素の色成分、前記画素間距離、前記教師画像の各画素の前記生徒画像上の位置に最も近い前記生徒画像の画素の色成分ごとに学習され、
前記予測演算部は、前記予測係数のうちの、前記注目画素間距離および前記注目直近画素の色成分に対応する予測係数と、前記予測タップとの前記演算により、前記色成分ごとに前記注目画素の画素値を求める
請求項１３に記載の画像処理装置。
【請求項１５】
前記注目直近画素に対応する前記所定のベイヤ配列の画像の画素の画素値を、前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うために用いるクラスタップとして取得するクラスタップ取得部と、
前記クラスタップ取得部により取得された前記クラスタップに基づいて、前記注目画素をクラス分類するクラス分類部と
をさらに備え、
前記予測係数は、前記クラス、前記教師画像の各画素の色成分、および前記画素間距離ごとに学習され、
前記予測演算部は、前記予測係数のうちの、前記クラス分類部によるクラス分類の結果得られる前記注目画素のクラスおよび前記注目画素間距離に対応する予測係数と、前記予測タップとの前記演算により、前記色成分ごとに前記注目画素の画素値を求める
請求項１３に記載の画像処理装置。
【請求項１６】
画像処理装置が、
第１の拡大率で拡大されたベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成されるカラー画像に対応する教師画像と、前記ベイヤ配列の画像に対応する生徒画像とを用いて、前記教師画像の各画素の色成分、および、前記教師画像の各画素の前記生徒画像上の位置と、その位置に最も近い前記生徒画像の画素の位置との距離である画素間距離ごとに、前記教師画像の各画素の画素値、その画素に対応する前記生徒画像の画素の画素値、および予測係数の関係を示す式を解くことにより学習された前記予測係数のうちの、第２の拡大率で拡大された所定のベイヤ配列の画像に対応する所定のカラー画像のうちの注目している画素である注目画素の前記所定のベイヤ配列の画像上の位置と、その位置に最も近い前記所定のベイヤ配列の画像の画素である注目直近画素の位置との距離である注目画素間距離に対応する予測係数と、前記注目画素に対応する前記所定のベイヤ配列の画像の画素の画素値からなる予測タップとの演算により、前記色成分ごとに前記注目画素の画素値を求め、前記色成分ごとの前記注目画素の画素値から構成される前記所定のカラー画像を出力する予測演算ステップ
を含む画像処理方法。
【請求項１７】
コンピュータに、
第１の拡大率で拡大されたベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成されるカラー画像に対応する教師画像と、前記ベイヤ配列の画像に対応する生徒画像とを用いて、前記教師画像の各画素の色成分、および、前記教師画像の各画素の前記生徒画像上の位置と、その位置に最も近い前記生徒画像の画素の位置との距離である画素間距離ごとに、前記教師画像の各画素の画素値、その画素に対応する前記生徒画像の画素の画素値、および予測係数の関係を示す式を解くことにより学習された前記予測係数のうちの、第２の拡大率で拡大された所定のベイヤ配列の画像に対応する所定のカラー画像のうちの注目している画素である注目画素の前記所定のベイヤ配列の画像上の位置と、その位置に最も近い前記所定のベイヤ配列の画像の画素である注目直近画素の位置との距離である注目画素間距離に対応する予測係数と、前記注目画素に対応する前記所定のベイヤ配列の画像の画素の画素値からなる予測タップとの演算により、前記色成分ごとに前記注目画素の画素値を求め、前記色成分ごとの前記注目画素の画素値から構成される前記所定のカラー画像を出力する予測演算ステップ
を含む処理を実行させるためのプログラム。
【請求項１８】
請求項１７に記載のプログラムが記録されている記録媒体。
【請求項１９】
所定のベイヤ配列の画像を、第１の拡大率で拡大された前記所定のベイヤ配列の画像の各画素の所定の複数の色成分の画素値から構成される所定のカラー画像に変換するときに用いられる予測係数の学習に用いる、前記所定のベイヤ配列の画像に対応する生徒画像のうちの、第２の拡大率で拡大された前記生徒画像の各画素の所定の複数の色成分の画素値から構成されるカラー画像である教師画像のうちの注目している画素である注目画素に対応する画素の画素値からなる予測タップと、前記注目画素の画素値とを用いて、前記教師画像の各画素の色成分、および、前記教師画像の各画素の前記生徒画像上の位置と、その位置に最も近い前記生徒画像の画素の位置との距離である画素間距離ごとに、前記教師画像の各画素の画素値、その画素の前記予測タップ、および前記予測係数の関係を示す式を解くことで、前記色成分および前記画素間距離ごとの前記予測係数を求める学習部
を備える学習装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２０１３−９２９３（Ｐ２０１３−９２９３Ａ）
【公開日】平成２５年１月１０日（２０１３．１．１０）
【国際特許分類】
【出願番号】特願２０１１−２５３５３１（Ｐ２０１１−２５３５３１）
【出願日】平成２３年１１月２１日（２０１１．１１．２１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年１月１０日（２０１３．１．１０）
【国際特許分類】
【出願日】平成２３年１１月２１日（２０１１．１１．２１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]