画像処理装置、画像処理方法およびコンピュータプログラム
【課題】従来の複数枚超解像の方法よりもメモリの使用量を削減し、少ない枚数の低解像度画像で高解像化を行う画像処理装置を提供する。
【解決手段】画像処理装置が、ベイヤー配列を有する複数枚の画像から基準画像と非基準画像とを選択し、基準画像を拡大して拡大基準画像と保存用画像とを生成する。画像処理装置が、拡大基準画像の着目画素が非基準画像の参照画素と同色であるかを判断し、同色である場合に、この着目画素に参照画素を挿入する。また、画像処理装置が、拡大基準画像の着目画素が非基準画像の参照画素と同色でない場合に、所定の評価値に基づいて、挿入対象の参照画素を決定し、決定した参照画素を保存用画像の参照画素に挿入する。
【解決手段】画像処理装置が、ベイヤー配列を有する複数枚の画像から基準画像と非基準画像とを選択し、基準画像を拡大して拡大基準画像と保存用画像とを生成する。画像処理装置が、拡大基準画像の着目画素が非基準画像の参照画素と同色であるかを判断し、同色である場合に、この着目画素に参照画素を挿入する。また、画像処理装置が、拡大基準画像の着目画素が非基準画像の参照画素と同色でない場合に、所定の評価値に基づいて、挿入対象の参照画素を決定し、決定した参照画素を保存用画像の参照画素に挿入する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法およびコンピュータプログラムに関する。
【背景技術】
【０００２】
複数枚の低解像度画像を用いて、１枚の高解像度画像を作成する複数枚超解像が提案されている。複数枚超解像の技術はデジタルカメラにおいて、電子ズームの画質を上げるために用いられる。従来、画像処理装置は、ベイヤー配列の色フィルタを有する撮像素子により得られた低解像度画像を用いて、以下のように１枚の高解像度画像を作成していた。画像処理装置は、ベイヤー配列の低解像度画像から１枚の高解像度画像を作成する為に、出力と同じ解像度を有する画像を色成分毎に作成し、それぞれの画像について複数枚超解像の処理を実行する。
【０００３】
なお、特許文献１は、複数枚の低解像度画像から高解像度画像を色成分毎に作成する際に、Ｇ成分のみ複数枚超解像の処理を行い、Ｒ成分、Ｂ成分については１枚の画像で単純な補間処理を行い、高解像度画像を作成する画像処理システムを開示する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−１１２００７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
出力と同じ解像度を有する画像を色成分毎に作成し複数枚超解像の処理を行う従来技術では、メモリを大量に使用してしまうという問題がある。また、この従来技術では、色成分毎の画像を出力と同じ解像度で必要とするので、欠落画素の補間に必要な低解像度画像の枚数が多くなるという問題がある。また、特許文献１が開示する画像処理システムでは、色成分毎に高解像度化の効果が大きく異なるという問題がある。
【０００６】
本発明は、従来の複数枚超解像の方法よりもメモリの使用量を削減し、少ない枚数の低解像度画像で高解像化を行う画像処理装置の提供を目的とする。
【課題を解決するための手段】
【０００７】
本発明の一実施形態の画像処理装置は、予め決められた第１の画素配列を有する複数枚の画像を撮像する撮影手段と、前記撮影された複数枚の画像から１枚の画像を基準画像を選択するとともに、前記複数枚の画像のうち前記基準画像以外の画像を非基準画像とする画像選択手段と、前記基準画像が有する画素の座標を前記非基準画像が有する画素の座標に変換する座標変換係数を算出し、該算出した座標変換係数を記憶手段に記憶する変換係数算出手段と、前記基準画像を予め決められた拡大倍率で拡大して拡大基準画像とする画像拡大手段と、前記拡大基準画像が有する画素のうち、前記第１の画素配列上に配置されている画素を第１の非欠落画素、該第１の画素配列上に配置されていない画素を第１の欠落画素として決定して該拡大基準画像を記憶手段に記憶する拡大基準画像記憶手段と、前記拡大基準画像が有する前記基準画像の画素のうち、前記基準画像が有する画素配列と同じ画素配列上に配置されていない画素を第２の非欠落画素として有し、該拡大基準画像が有する画素のうち、前記第２の非欠落画素以外の画素を第２の欠落画素として有する保存用画像を生成して記憶手段に記憶する保存用画像生成手段と、前記基準画像の拡大倍率と前記座標変換係数とを用いて、前記拡大基準画像が有する第１の欠落画素の座標を変換して参照座標とし、各々の非基準画像が有する画素のうち、前記参照座標との距離が最も近い画素を前記第１の欠落画素に対応する近傍画素として決定する近傍画素決定手段と、予め決められた第２の画素配列と前記第１の欠落画素の座標とに基づいて、該第１の欠落画素の色を判別し、判別した該第１の欠落画素の色が前記近傍画素の色と同じであるかを判断する色判断処理を行う色判断手段と、前記第１の欠落画素の色が前記近傍画素の色と同じであると判断された場合に、非基準画像が有する近傍画素のうち、対応する前記参照座標との距離が最も近い近傍画素を第１の参照画素として決定する第１参照画素決定手段と、前記第１の欠落画素の色が前記近傍画素の色と同じでないと判断された場合に、該第１の欠落画素の色と、該近傍画素の色と、前記非基準画像が有する近傍画素と前記第１の参照座標との距離とに応じた、前記近傍画素の評価値を算出する評価値算出手段と、非基準画像が有する近傍画素のうち、前記算出された評価値が最も大きい近傍画素を第２の参照画素として決定する第２参照画素決定手段と、前記第１の参照画素を前記第１の欠落画素に挿入する第１の画素挿入手段と、前記第２の参照画素を前記第２の欠落画素に挿入する第２の画素挿入手段とを備える。
【発明の効果】
【０００８】
本発明の画像処理装置によれば、従来の複数枚超解像の方法よりもメモリの使用量を削減し、少ない枚数の低解像度画像で高解像化を行うことができる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態の画像処理装置の構成例を示す図である。
【図２】画像処理部の一部の構成を示す図である。
【図３】実施例１の画像処理を説明するフローチャートである。
【図４】基準画像の拡大方法を説明する図である。
【図５】挿入画素選択処理を説明するフローチャートの例である。
【図６】距離ｄ［ｉ］の算出処理を説明する図である。
【図７】色判断処理を説明する図である。
【図８】画素挿入処理の一例を説明するフローチャートを示す図である。
【図９】評価値ｅ［ｉ］の算出を説明する図である。
【図１０】Ｒ，Ｇ，Ｂ同時化処理の例を説明する図である。
【図１１】実施例２の画像処理を説明するフローチャートである。
【図１２】基準画像の拡大処理を説明する図である。
【発明を実施するための形態】
【００１０】
図１は、本実施形態の画像処理装置の構成例を示す図である。この画像処理装置は、複数枚の低解像度の画像から１枚の高解像度の画像を生成する。この画像処理装置は、光学系１０１、撮像素子１０２、Ａ(Analog）／Ｄ（Digital)変換部１０３、画像処理部１０４、システム制御部１０５、操作部１０６、表示部１０７、記録部１０８を備える。
【００１１】
光学系１０１は、ズームレンズやフォーカスレンズから構成されるレンズ群、絞り調整装置、および、シャッター装置を備える。光学系１０１は、撮像素子１０２に到達する被写体像の倍率やピント位置、あるいは、光量を調整する。撮像素子１０２は、光学系１０１を通過した被写体の光束を光電変換し、電気信号に変換するＣＣＤやＣＭＯＳセンサ等の光電変換素子である。ＣＣＤは、Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｉｃｅの略称である。また、ＣＭＯＳは、Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｃｕｃｔｏｒの略称である。
【００１２】
本実施形態では、撮像素子１０２は、ベイヤー配列の色フィルタを備えた単板式の撮像素子である。すなわち、撮像素子１０２は、予め決められた第１の画素配列（ベイヤー配列）を有する複数枚の画像を撮影する撮影手段として機能する。
【００１３】
Ａ／Ｄ変換部１０３は、入力された映像信号をデジタルの画像に変換する。画像処理部１０４は、通常の信号処理の他に、入力された複数枚の画像を用いて超解像処理を行う。画像処理部１０４はＡ／Ｄ変換部１０３から出力された画像のみでなく、記録部１０８から読み出した画像に対しても同様の画像処理を行うことができる。システム制御部１０５は、画像処理装置全体の動作を制御、統括する制御機能部である。画像処理部１０４で処理された画像から得られる輝度値や操作部１０６から送信された指示に基づいて、光学系１０１や撮像素子１０２の駆動制御も行う。
【００１４】
表示部１０７は、液晶ディスプレイや有機ＥＬ（Electro Luminescence）ディスプレイを有する。表示部１０７は、撮像素子１０２が生成した画像や、記録部１０８から読み出した画像を表示する。記録部１０８は、画像を記録する機能を有する。記録部１０８は、例えば、半導体メモリが搭載されたメモリカードや光磁気ディスク等の回転記録体を収容したパッケージなどを用いた情報記録媒体を備える。記録部１０８に、この情報記録媒体が着脱可能であってもよい。バス１０９は、画像処理部１０４、システム制御部１０５、表示部１０７、および、記録部１０８の間で画像をやり取りするために用いられる。
【００１５】
図２は、画像処理部の一部の構成を示す図である。図２に、画像処理部１０４が実行する超解像処理に関わる処理部を示す。画像処理部１０４は、基準画像選択部２０１、メモリ部２０２、座標変換係数算出部２０３、画像生成部２０４、画素間距離算出部２０５、評価値算出部２０６、欠落画素判定部２０７、画素挿入部２０８、ＲＧＢ同時化部２０９、ＹＵＶ変換部２１０を備える。本実施形態の画像処理方法は、図２に示す画像処理部１０４が備える処理部の機能によって実現される。また、本実施形態のコンピュータプログラムは、この画像処理方法をコンピュータに実行させることを特徴とする。
【００１６】
基準画像選択部２０１は、画像処理部１０４に入力された複数枚の画像から１枚の画像を基準画像を選択するとともに、複数枚の画像のうち基準画像以外の画像を非基準画像とする画像選択手段として機能する。メモリ部２０２は、基準画像選択部２０１乃至ＲＧＢ同時化部２０９が実行する処理に関する画像データを記憶する記憶手段として機能する。座標変換係数算出部２０３は、基準画像に対する非基準画像の位置合わせを行い、該位置合わせ結果をメモリ部２０２に記憶する位置合わせ手段として機能する。具体的には、座標変換係数算出部２０３は、変換係数算出手段として機能する。すなわち、座標変換係数算出部２０３は、基準画像が有する画素の座標を非基準画像が有する画素の座標に変換する座標変換式の係数を算出し、該算出した座標変換式の係数を位置合わせ結果とする。
【００１７】
画像生成部２０４は、基準画像を予め決められた拡大倍率で拡大して拡大基準画像を生成する画像拡大手段として機能する。また、画像生成部２０４は、拡大基準画像が有する画素のうち、第１の画素配列上すなわちベイヤー配列上に配置されている画素を第１の非欠落画素として決定する。また、画像生成部２０４は、該第１の画素配列上に配置されていない画素を第１の欠落画素として決定する。そして、画像生成部２０４は、拡大基準画像をメモリ部２０２に記憶する拡大基準画像記憶手段として機能する。
【００１８】
また、画像生成部２０４は、保存用画像を生成してメモリ部２０２に記憶する保存用画像生成手段として機能する。保存用画像は、拡大基準画像が有する基準画像の画素のうち、基準画像が有する画素配列（ベイヤー配列）と同じ画素配列上に配置されていない画素を第２の非欠落画素として有する。また、保存用画像は、拡大基準画像が有する画素のうち、第２の非欠落画素以外の画素を第２の欠落画素として有する。
【００１９】
画素間距離算出部２０５は、基準画像の拡大倍率とメモリ部２０２内の座標変換式とを用いて、拡大基準画像が有する第１の欠落画素の座標を変換して参照座標とする。そして、画素間距離算出部２０５は、参照画素と参照座標との距離ｄを算出する。参照座標は、拡大基準画像が有する欠落画素に対応する、非基準画像上の座標である。参照画素は、非基準画像が有する画素のうち、参照座標との距離が最も近い画素（近傍画素）である。
【００２０】
具体的には、画素間距離算出部２０５は、基準画像の拡大倍率とメモリ部２０２内の座標変換式とを用いて、拡大基準画像が有する欠落画素の座標を変換して参照座標とする。そして、画素間距離算出部２０５は、各々の非基準画像について参照画素を決定し、決定した参照画素と参照座標との距離ｄを算出する。すなわち、画素間距離算出部２０５は、各々の非基準画像が有する画素のうち、参照座標との距離が最も近い画素を第１の欠落画素に対応する近傍画素として決定する近傍画素決定手段として機能する。
【００２１】
また、画素間距離算出部２０５は、以下の色判断処理を実行する色判断手段として機能する。すなわち、画素間距離算出部２０５は、予め決められた第２の画素配列（例えば、ベイヤー配列）と第１の欠落画素の座標とに基づいて、該第１の欠落画素の色を判別し、判別した該第１の欠落画素の色が参照画素（近傍画素）の色と同じであるかを判断する。そして、画素間距離算出部２０５は、第１の欠落画素の色が参照画素の色と同じであると判断した場合に、非基準画像が有する参照画素のうち、対応する参照座標との距離が最も近い参照画素を第１の参照画素として決定する第１参照画素決定手段として機能する。
【００２２】
評価値算出部２０６は、第１の欠落画素の色が参照画素（近傍画素）の色と同じでないと判断された場合に、近傍画素の評価値を算出する評価値算出手段として機能する。評価値算出部２０６は、第１の欠落画素の色と、近傍画素の色と、非基準画像が有する近傍画素と第１の参照座標との距離ｄとに応じた評価値を、近傍画素の評価値として算出する。また、評価値算出部２０６は、非基準画像が有する近傍画素のうち、算出された評価値が最も大きい近傍画素を第２の参照画素として決定する第２参照画素決定手段として機能する。
【００２３】
欠落画素判定部２０７は、メモリ部２０２から拡大基準画像を読み出し、読み出した拡大基準画像の着目画素すなわち処理対象の画素が欠落画素であるかを判断する。また、欠落画素判定部２０７は、メモリ部２０２から保存用画像を読み出し、読み出した保存用画像の着目画素すなわち処理対象の画素が欠落画素であるかを判断する。欠落画素判定部２０７は、拡大基準画像の着目画素について欠落画素であるかを判断した後、当該拡大基準画像の着目画素と同じ位置にある保存用画像の着目画素について、欠落画素であるかを判断する。
【００２４】
画素挿入部２０８は、欠落画素判定部２０７が、拡大基準画像の着目画素が欠落画素であると判断した場合に、第１の参照画素を第１の欠落画素に挿入する第１の画素挿入手段として機能する。また、画素挿入部２０８は、欠落画素判定部２０７が、保存用画像の着目画素が欠落画素であると判断した場合に、第２の参照画素を第２の欠落画素に挿入する第２の画素挿入手段として機能する。画素挿入部２０８は、参照画素が挿入された拡大基準画像、保存用画像をメモリ部２０２に記憶する。
【００２５】
ＲＧＢ同時化部２０９は、第１の参照画素が第１の欠落画素に挿入された拡大基準画像をメモリ部２０２から読み出す。また、ＲＧＢ同時化部２０９は、第２の参照画素が第２の欠落画素に挿入された保存用画像をメモリ部２０２から読み出す。そして、ＲＧＢ同時化部２０９は、読み出した拡大基準画像と保存用画像とに基づいて、色同時化処理を行う色同時化手段として機能する。ＹＵＶ変換部２１０は、色同時化処理後の画像が有する画素のＲＧＢ信号をＹＵＶ信号に変換して出力画像として出力する。
【００２６】
（実施例１）
図３は、実施例１の画像処理を説明するフローチャートである。実施例１では、画像処理装置は、ベイヤー配列の低解像度画像を複数枚用いて、水平、垂直方向それぞれ３倍に画素数を拡大したベイヤー配列の高解像度画像を生成し、高解像度化を実現する。
【００２７】
まず、Ａ／Ｄ変換部１０３が、画像処理部１０４に対して、ｎ枚の低解像度の画像を入力する（ステップＳ３０１）。ここで、ｎ枚の画像は、手持ち状態で連続撮像された画像とする。なお、入力する低解像度の画像は、手持ち状態で撮像された画像に限らず、撮像者の意図した動き（パンニングまたはズーミング）、あるいはカメラの光学装置や撮像素子に機械的に動きを与える構成から得てもよい。
【００２８】
次に、基準画像選択部２０１が、超解像処理により高解像度画像とする対象となる画像を基準画像として選択する（ステップＳ３０２）。そして、残りの画像を非基準画像としてメモリ部２０２に保存する。ここでは、基準画像選択部２０１は、はじめに入力された画像を基準画像とし、残りのｎ−１枚の画像を非基準画像とする。なお、基準画像の選択基準はこの方法に限らず、基準画像選択部２０１が、はじめに入力された画像以外から選択するようにしてもよい。
【００２９】
次に、座標変換係数算出部２０３が、基準画像と非基準画像間の位置合わせに必要な座標変換式の係数を算出する（ステップＳ３０３）。本実施例では、座標変換式として射影変換の式を用いる。画像の予め決められた位置（例えば中心の位置）の座標を（０，０）とすると、基準画像の着目画素の座標（ｘ、ｙ）に対応する非基準画像の座標（ｘ’，ｙ’）を表す射影変換の式は、下記の式（１）である。
【００３０】
【数１】
基準画像の着目画素の座標（ｘ、ｙ）に対応する非基準画像の座標（ｘ’，ｙ’）を参照座標と呼称する。式（１）の射影変換係数（座標変換係数）の算出方法については、基準画像と非基準画像間でパターンマッチングによって求めた動きベクトルから連立方程式を用いて解くのが一般的である。しかし、座標変換係数算出部２０３が、撮影時のジャイロデータを用いて、射影変換係数を求めるようにしてもよい。
【００３１】
次に、座標変換係数算出部２０３が、算出した座標変換係数を、非基準画像の枚数分、メモリ部２０２に保存する（ステップＳ３０４）。保存した座標変換係数は、ステップＳ３０６において用いられる。
【００３２】
次に、画像生成部２０４が、基準画像を水平方向、垂直方向それぞれ３倍に拡大する（ステップＳ３０５）。本実施例では、画像生成部２０４は、ベイヤー配列を維持したまま、基準画像を拡大する。なお、ステップＳ３０５の処理は、ステップＳ３０３の処理の前に行ってもよい。
【００３３】
図４は、ステップＳ３０５における基準画像の拡大方法を説明する図である。図４（Ａ）は、拡大前の基準画像である。この基準画像は、水平画素数Ｗ、垂直画素数Ｈのベイヤー配列を有する。画像生成部２０４は、図４（Ａ）に示す基準画像を水平方向、垂直方向それぞれ３倍に拡大して、拡大基準画像を生成する。図４（Ｂ）は、拡大基準画像である。画像生成部２０４は、拡大基準画像が含む画素のうち、基準画像が有する画素すなわちベイヤー配列上に配置されている画素を第１の非欠落画素とする。画像生成部２０４は、拡大基準画像が含む画素のうち、基準画像が有する画素以外の画素、すなわちベイヤー配列上に配置されてない画素を第１の欠落画素とする。画像生成部２０４は、第１の欠落画素に、値として０を挿入し、拡大基準画像をメモリ部２０２に記憶する。
【００３４】
図４（Ｂ）のように、水平画素数Ｗ×２、垂直画素数Ｈ×２のベイヤー配列の基準画像を作成すると、拡大前の基準画像の画素のうち、Ｇ成分の画素を非欠落画素として残すことができる。しかし、Ｒ成分，Ｂ成分の画素に関しては、それぞれ拡大基準画像のＧ成分の箇所に位置するので、非欠落画素として残した場合、拡大基準画像はベイヤー配列を維持できない。ここで、後で色同時化処理を行う場合に、非欠落画素の情報が多い方が良い。従って、Ｒ，Ｂの画素を拡大基準画像とは別に保存する必要がある。
【００３５】
すなわち、画像生成部２０４は、ベイヤー配列が維持される拡大基準画像とは別に、図４（Ｃ）に示すような、水平画素数Ｗ×２、垂直画素数Ｈ×２の保存用画像を生成する。画像生成部２０４は、保存用画像の画素のうち、図４（Ｃ）に示すＲ成分、Ｂ成分の画素を第２の非欠落画像とする。また、画像生成部２０４は、保存用画像の画素のうち、図４（Ｃ）に示すＲ成分、Ｂ成分の画素以外の画素を第２の非欠落画像とする。画像生成部２０４は、第２の欠落画素に、値として０を挿入し、保存用画像をメモリ部２０２に記憶する。
【００３６】
図３に戻り、ステップＳ３０６において、画像処理装置が、ｎ−１枚の非基準画像から挿入対象の第１の参照画素の候補ｐｉｘと、第２の参照画素の候補ｓｕｂ＿ｐｉｘを選択する（挿入画素選択処理を実行する）。
【００３７】
図５は、図３のステップＳ３０６における挿入画素選択処理を説明するフローチャートの例である。まず、画素間距離算出部２０５が、変数ｉを初期化する（ステップＳ５０１）。変数ｉは、ｎ−１枚の非基準画像を一意に識別する識別情報である。本実施例では、ｉ＋１枚目の非基準画像を非基準画像［ｉ］、非基準画像［ｉ］に対応する座標変換係数を座標変換係数［ｉ］とする。なお、ステップＳ５０５以降で使用するｄ［ｉ］、ｐｉｘ［ｉ］、ｅ［ｉ］、ｓｕｂ＿ｐｉｘ［ｉ］、ｃｏｌｏｒ＿ｉｄ［ｉ］は、それぞれ、非基準画像［ｉ］に対応するｄ，ｐｉｘ、ｅ、ｓｕｂ＿ｐｉｘ、ｃｏｌｏｒ＿ｉｄを示す。
【００３８】
次に、画素間距離算出部２０５が、非基準画像［ｉ］をメモリ部２０２から読み込む（ステップＳ５０２）。続いて、画素間距離算出部２０５が、非基準画像［ｉ］に対応する座標変換係数［ｉ］をメモリ部２０２から読み込む（ステップＳ５０３）。
【００３９】
次に、画素間距離算出部２０５が、ステップＳ５０３で読み込んだ座標変換係数［ｉ］を用いて、基準画像の着目画素の座標（ｘ、ｙ）に対応する非基準画像［ｉ］の参照座標（ｘ’，ｙ’）を算出する（ステップＳ５０４）。具体的には、画素間距離算出部２０５は、上述した式（１）で示す射影変換の式を用いて、参照座標を算出する。
【００４０】
次に、画素間距離算出部２０５が、ステップＳ５０４で算出した非基準画像［ｉ］の参照座標（ｘ’，ｙ’）に対し、最近傍にある非基準画像［ｉ］の画素（ｎｘ，ｎｙ）を参照画素（近傍画素）とする。そして、画素間距離算出部２０５が、参照画素と参照座標との距離ｄ［ｉ］を算出する（ステップＳ５０５）。
【００４１】
図６は、図５のステップＳ５０５における距離ｄ［ｉ］の算出処理を説明する図である。図６（Ａ）は拡大画像を示す。図６（Ｂ）は、非基準画像を示す。図６（Ａ）の拡大基準画像上の着目画素６０１の座標（ｘ、ｙ）に対し、対応する非基準画像（図６（Ｂ））の参照座標６０２は、（ｘ’，ｙ’）である。
【００４２】
画素間距離算出部２０５は、参照座標６０２を包含し、かつ参照座標６０２の最近傍に位置する画素である画素６０３を当該参照座標６０２に対応する参照画素として決定する。参照画素６０３の座標は、（ｎｘ，ｎｙ）であるものとすると、画素間距離算出部２０５は、参照画素と参照座標との距離ｄを、以下の式（２）を用いて算出する。
【００４３】
【数２】
上記のようにして、画素間距離算出部２０５は、非基準画像［ｉ］の参照座標（ｘ’，ｙ’）に対応する非基準画像［ｉ］の参照画素（ｎｘ，ｎｙ）を決定する。また、画素間距離算出部２０５は、非基準画像［ｉ］の参照座標（ｘ’，ｙ’）に対応する距離ｄ［ｉ］を算出する。
【００４４】
図５に戻って、画素間距離算出部２０５が、非基準画像［ｉ］の参照画素と拡大基準画像の着目画素と同色であるかを判断（色判断処理を実行）する（ステップＳ５０６）。着目画素が参照画素と同色である場合は、ステップＳ５０７に進む。着目画素が参照画素と同色でない場合は、ステップＳ５０８に進む。
【００４５】
図７は、色判断処理を説明する図である。図７中には、水平画素数Ｗ×３、垂直画素数Ｈ×３の拡大基準画像の各画素の色を示す。すなわち、この拡大基準画像はベイヤー配列を有する。欠落画素を非欠落画素に置き換えるためには、欠落画素の位置に記載されている色の画素で置き換えなければならない。
【００４６】
拡大基準画像の最も左上の画素の座標を（０，０）、最も右下の画素の座標を（２Ｗ−１，２Ｈ−１）とする。画素間距離算出部２０５は、着目画素（ｘ、ｙ）の色を、下記の式（３）で判別する。
（ｘ＆１）＝０かつ（ｙ＆１）＝０ならＲ
（ｘ＆１）＝１かつ（ｙ＆１）＝０、または（ｘ＆１）＝０かつ（ｙ＆１）＝１ならＧ （ｘ＆１）＝１かつ（ｙ＆１）＝１ならＢ
・・・式（３）
【００４７】
上記の式（ｘ＆１），（ｙ＆１）は、ｘ座標、ｙ座標がそれぞれ偶数であるか、奇数であるかを判別する式である。（ｘ＆１），（ｙ＆１）の値が０である時は、ｘ，ｙ座標が偶数、値が１である時は、ｘ，ｙ座標が奇数であることを示す。
【００４８】
なお、画素間距離算出部２０５は、非基準画像［ｉ］の参照画素（ｎｘ、ｎｙ）の色についても、最も左上の画素の座標を（０，０）、最も右下の画素の座標を（Ｗ−１，Ｈ−１）として、式（３）を用いて判別する。そして、画素間距離算出部２０５は、判別した着目画素（ｘ，ｙ）の色が参照画素（ｎｘ，ｎｙ）の色と同色であるかを判断する。つまり、画素間距離算出部２０５は、第２の画素配列としてベイヤー配列を用いて色判断処理を実行する。
【００４９】
図５に戻って、画素間距離算出部２０５が、基準画像の着目画素と同色であると判断された非基準画像［ｉ］の参照画素をｐｉｘ［ｉ］として、ステップＳ５０５で算出したｄ［ｉ］と共に、メモリ部２０２に保存する（ステップＳ５０７）。そして、処理がステップＳ５１０に進む。
【００５０】
ステップＳ５０８においては、評価値算出部２０６が、拡大基準画像の着目画素の色と、該着目画像の色と同色でないと判断された非基準画像［ｉ］の参照画素の色と、ステップＳ５０５で算出した距離ｄ［ｉ］に応じて、評価値ｅ［ｉ］を算出する。評価値ｅ［ｉ］は、非基準画像［ｉ］の参照画素（近傍画素）に対する、第２の参照画素として選択する基準となる基準値である。評価値が高い参照画素ほど、第２の参照画素として選択され易くなる。また、評価値は、参照座標との距離ｄが近いほど高くなる。
【００５１】
図９は、評価値ｅ［ｉ］の算出を説明する図である。評価値算出部２０６は、図９（Ａ）、（Ｂ）、または（Ｃ）に示すグラフに従って、距離ｄ［ｉ］に応じた評価値ｅ［ｉ］を算出する。図９中に示すグラフの横軸は距離ｄ［ｉ］であり、縦軸は評価値ｅ［ｉ］である。グラフ中のＲ，Ｇ，Ｂは、それぞれのグラフ線に対応する非基準画像［ｉ］の参照画素の色である。
【００５２】
図９（Ａ）は、基準画像の着目画素がＲの場合のグラフであり、このグラフ中のＧは、非基準画像の参照画像がＧである場合の、距離ｄ［ｉ］と評価値ｅ［ｉ］との関係を示す。このグラフ中のＢは、非基準画像の参照画像がＢである場合の、距離ｄ［ｉ］と評価値ｅ［ｉ］との関係を示す。
【００５３】
図９（Ｂ）は、基準画像の着目画素がＧの場合のグラフであり、このグラフ中のＲ，Ｂは、非基準画像の参照画像がＲまたはＢである場合の、距離ｄ［ｉ］と評価値ｅ［ｉ］との関係を示す。
【００５４】
図９（Ｃ）は、基準画像の着目画素がＢの場合のグラフであり、このグラフ中のＧは、非基準画像の参照画像がＧである場合の、距離ｄ［ｉ］と評価値ｅ［ｉ］との関係を示す。このグラフ中のＲは、非基準画像の参照画像がＲである場合の、距離ｄ［ｉ］と評価値ｅ［ｉ］との関係を示す。
【００５５】
本実施例では、保存用画像の欠落画素を、輝度系信号の寄与する割合の大きいＧの非欠落画素と多く置き換えることができるようにするために、参照画素がＧの場合は、Ｒ、Ｂの時よりも評価値［ｉ］が大きくなるように、予めグラフを設定する。例えば、図９（Ａ）、（Ｃ）に示すグラフのように、非基準画像［ｉ］の参照画素の色がＲまたはＢの時よりもＧの方が評価値ｅ［ｉ］の値が大きくなるようにグラフを設定する。
【００５６】
図５に戻って、評価値算出部２０６が、非基準画像［ｉ］の参照画素の色をｃｏｌｏｒ＿ｉｄ［ｉ］、画素値をｓｕｂ＿ｐｉｘ［ｉ］として、ステップＳ５０８で算出した評価値ｅ［ｉ］と共にメモリ部２０２に保存する（ステップＳ５０９）。ｃｏｌｏｒ＿ｉｄ［ｉ］は、０から２までの値が代入される。ｃｏｌｏｒ＿ｉｄ［ｉ］の値「０」は、Ｇ成分を示す。ｃｏｌｏｒ＿ｉｄ［ｉ］の値「１」は、Ｒ成分を示す。ｃｏｌｏｒ＿ｉｄ［ｉ］の値「２」は、Ｂ成分を示す。
【００５７】
次に、評価値算出部２０６が、ｎ−１枚全ての非基準画像について処理を完了したかを判断する（ステップＳ５０８）。処理を完了していない非基準画像がある場合、評価値算出部２０６が、ｉをインクリメントして（ステップＳ５０９）、ステップＳ５０２に戻る。全ての非基準画像について処理を完了している場合は、ステップＳ５１２に進む。
【００５８】
次に、評価値算出部２０６が、メモリ部２０２に保存した評価値ｅ［ｉ］の中で最大の値である評価値ｅ［ｉ］の値をｅ＿ｍａｘ として選択する（ステップＳ５１２）。メモリ部２０２に保存した評価値ｅ［ｉ］が１つもない場合、評価値算出部２０６が、ｅ＿ｍａｘに、設定可能な最小値（例えば「０」）を代入する。
【００５９】
次に、評価値算出部２０６が、ステップＳ５１２で選択されたｅ＿ｍａｘ（ｅ［ｉ］）に対応する参照画素ｓｕｂ＿ｐｉｘ［ｉ］を非欠落画素の候補ｓｕｂ＿ｐｉｘとして選択する（ステップＳ５１３）。メモリ部２０２に保存したｅ［ｉ］が１つもない場合、評価値算出部２０６は、ｓｕｂ＿ｐｉｘ の値に０を代入する。
【００６０】
次に、評価値算出部２０６が、ステップＳ５１２で選択されたｅ＿ｍａｘに対応する参照画素の色ｃｏｌｏｒ＿ｉｄ［ｉ］を非欠落画素の候補ｓｕｂ＿ｐｉｘ の色を示すｃｏｌｏｒ＿ｉｄとして選択する（ステップＳ５１４）。メモリ部２０２に保存したｅ［ｉ］が１つもない場合、評価値算出部２０６は、ｃｏｌｏｒ＿ｉｄの値に０を代入する。
【００６１】
次に、評価値算出部２０６が、メモリ部２０２に保存した距離ｄ［ｉ］の中で最小の値である距離ｄ［ｉ］の値を、ｄ＿ｍｉｎとして選択する（ステップＳ５１５）。メモリ部２０２に保存した距離ｄ［ｉ］が１つもない場合、評価値算出部２０６が、ｄ＿ｍｉｎ
に、設定可能な最大値（例えば、「１」）を代入する。
【００６２】
次に、評価値算出部２０６が、ステップＳ５１５で選択された距離ｄ＿ｍｉｎに対応する参照画素ｐｉｘ［ｉ］を非欠落画素の候補ｐｉｘとして選択する（ステップＳ５１６）。メモリ部２０２に保存した距離ｄ［ｉ］が１つもない場合、評価値算出部２０６は、ｐｉｘの値に０を代入する。続いて、評価値算出部２０６が、ｅ＿ｍａｘ、ｓｕｂ＿ｐｉｘ、ｃｏｌｏｒ＿ｉｄ、ｄ＿ｍｉｎ、ｐｉｘを出力する（ステップＳ５１７）。
【００６３】
図３に戻って、画素挿入部２０８が、画素挿入処理を実行する（ステップＳ３０７）。具体的には、画素挿入部２０８が、拡大基準画像の第１の欠落画素の値を、第１の参照画像であるｐｉｘの値に置き換える処理を行う。また、画素挿入部２０８が、保存用画像の第２の欠落画素の値を、第２の参照画像であるｓｕｂ＿ｐｉｘの値に置き換える処理を行う。
【００６４】
図８は、画素挿入処理の一例を説明するフローチャートを示す図である。まず、画素挿入部２０８が、基準画像の着目画素が欠落画素であるかを判断する（ステップＳ８０１）。基準画像の着目画素が欠落画素である場合は、ステップＳ８０２に進む。基準画像の着目画素が欠落画素でない場合は、ステップＳ８０４に進む。
【００６５】
ステップＳ８０２において、画素挿入部２０８が、ｄ＿ｍｉｎの値が閾値ＴＨ＿ｄ未満であるかを判断する（ステップＳ８０２）。閾値ＴＨ＿ｄは、予め決められる。閾値ＴＨ＿ｄとして、経験則または実験によって求めた値を用いてもよい。
【００６６】
ステップＳ８０３において、画素挿入部２０８が、基準画像の着目画素を非欠落画素の候補ｐｉｘと置き換える。ステップＳ８０４においては、画素挿入部２０８は、基準画像の着目画素を非欠落画素の候補ｐｉｘと置き換えない。そして、処理がステップＳ８０５に進む。
【００６７】
ステップＳ８０５乃至Ｓ８０８の処理は、保存用画像の着目画素に対して行う処理である。処理対象となる保存用画像の着目画素の位置は、ステップＳ８０１乃至Ｓ８０４において処理対象となった基準画像の着目画素の位置と同じである。
【００６８】
まず、画素挿入部２０８が、保存用画像の着目画素が欠落画素であるかを判断する（ステップＳ８０５）。保存用画像の着目画素が欠落画素である場合は、ステップＳ８０６に進む。保存用画像の着目画素が欠落画素でない場合は、ステップＳ８０８に進む。
【００６９】
ステップＳ８０６において、画素挿入部２０８が、ｅ＿ｍａｘの値が閾値ＴＨ＿ｅ以上であるかを判断する（ステップＳ８０６）。閾値ＴＨ＿ｄは、予め決められる。閾値ＴＨ＿ｄとして、経験則または実験によって求めた値を用いてもよい。ｅ＿ｍａｘの値が閾値ＴＨ＿ｅ以上である場合は、ステップＳ８０７に進む。ｅ＿ｍａｘの値が閾値ＴＨ＿ｅ未満である場合は、ステップＳ８０８に進む。
【００７０】
ステップＳ８０７において、画素挿入部２０８が、保存用画像の着目画素を非欠落画素の候補ｓｕｂ ＿ｐｉｘと置き換える（ステップＳ８０７）。また、ステップＳ８０８において、画素挿入部２０８が、保存用画像の着目画素を非欠落画素の候補ｐｉｘと置き換えない。そして、処理が終了する。
【００７１】
図３に戻って、画素挿入部２０８が、基準画像と保存用画像における全ての画素を処理したかを判断する（ステップＳ３０８）。基準画像と保存用画像における全ての画素を処理した場合は、ステップＳ３０９に進む。基準画像と保存用画像において未処理の画素がある場合は、着目画素を変更して、ステップＳ３０６に戻る。
【００７２】
次に、ＲＧＢ同時化部２０９が、画素挿入処理後の拡大基準画像と保存用画像とに基づいて、Ｒ，Ｇ，Ｂ同時化処理（色同時化処理）を実行する（ステップＳ３０９）。
【００７３】
図１０は、Ｒ，Ｇ，Ｂ同時化処理の例を説明する図である。図１０（Ａ）は、画素挿入処理後の拡大基準画像である。この例では、当該拡大基準画像は、水平画素数Ｗ×２、垂直画素数Ｈ×２のベイヤー配列の画像である。図１０（Ｂ）は、画素挿入処理後の保存用画像である。
【００７４】
ＲＧＢ同時化部２０９は、図１０（Ａ）に示す拡大基準画像と、図１０（Ｂ）に示す保存用画像を用いて、Ｒ，Ｇ，Ｂ同時化処理を行って、図１０（Ｃ）乃至（Ｅ）に示す画像を得る。具体的には、ＲＧＢ同時化部２０９は、水平画素数Ｗ×２、垂直画素数Ｈ×２の画像をＲ，Ｇ，Ｂ毎に作成する。Ｒ，Ｇ，Ｂ同時化処理を行う際には、水平画素数Ｗ×２、垂直画素数Ｈ×２のプレーンの画素に、拡大基準画像、保存用画像それぞれの非欠落画素を設定していく。
【００７５】
設定対象の画素について、拡大基準画像にも保存用画像にも同色の非欠落画素が存在しない場合には、ＲＧＢ同時化部２０９は当該画素の画素値を、画素周辺にある非欠落画素を線形補間した値によって作成する。本実施例では線形補間を使用するが、ＲＧＢ同時化部２０９が、適応補間によって同時化処理を行うようにしてもよい。
【００７６】
図３に戻って、ＹＵＶ変換部２１０が、Ｒ，Ｇ，Ｂ同時化処理後の画像に基づいて、ＹＵＶ画像を生成する（ステップＳ３１０）。ステップＳ３１０においては、ＹＵＶ変換部２１０は、Ｒ，Ｇ，Ｂ同時化処理によって得られるＲ，Ｇ，Ｂの画像を用いて、画素毎にＲＧＢ信号からＹＵＶ信号への変換を行う。これにより、水平画素数Ｗ×２、垂直画素数Ｈ×２のＹＵＶ画像が作成される。ＹＵＶ変換部２１０は、下記の式（４）を用いて、ＲＧＢ信号からＹＵＶ信号に変換する。
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ
Ｕ＝−０．１６９Ｒ−０．３３１Ｇ＋０．５００Ｂ
Ｖ＝０．５００Ｒ−０．４１９Ｇ−０．０８１Ｂ ・・・式（４）
【００７７】
ＹＵＶ変換部２１０は、ステップＳ３１０で生成したＹＵＶ画像を出力信号として超解像処理を終了とする。
【００７８】
本実施例の画像処理装置は、ベイヤー配列の低解像度画像を複数枚用いて、水平、垂直方向それぞれ３倍に画素数を拡大したベイヤー配列の高解像度画像を生成し、高解像度化を実現する超解像処理を行うことができる。すなわち、本実施例の画像処理装置は、１枚の拡大基準画像をメモリ部２０２に記憶させておき、この拡大基準画像の欠落画素を、ベイヤー配列を有する非基準画像を用いて、当該拡大基準画像においてベイヤー配列が維持されるように埋めていく。従って、本実施例の画像処理装置によれば、出力と同じ解像度を有する画像を色成分毎に作成する従来の複数枚超解像の方法よりも、メモリの使用量を削減し、少ない枚数の低解像度画像で高解像化を行うことができる。
【００７９】
また、本実施例の画像処理装置は、拡大基準画像が有する基準画像の画素のうち、基準画像が有する画素配列（ベイヤー配列）と同じ画素配列上に配置されていない画素を非欠落画素として有する保存用画像を、拡大基準画像とは別に生成して保存する。画像処理装置は、拡大基準画像の着目画素の色が非基準画像の参照画素の色と同色でない場合に、所定の評価値に基づいて挿入対象の参照画素を決定し、決定した参照画素を保存用画像の着目画素に挿入する。そして、画像処理装置は、画素挿入処理後の拡大基準画像と保存用画像とに基づいてＲ，Ｇ，Ｂ同時化処理を実行する。このように、本実施例の画像処理装置は、拡大基準画像と、基準画像の画素を非欠落画素として有する保存用画像とを用いてＲ，Ｇ，Ｂ同時化処理を実行するので、拡大基準画像のみを用いてＲ，Ｇ，Ｂ同時化処理を実行する場合よりも高解像度化を実現できる。
【００８０】
なお、本実施例の画像処理方法は、基準画像の拡大率を２倍にする場合のみならず、３倍、４倍に水平垂直方向に基準画像を拡大する場合に適用することができる。
【００８１】
（実施例２）
実施例２の画像処理装置は、画像処理部１０４に入力される低解像度画像の枚数に応じて、基準画像の拡大方法を変更する。実施例２の画像処理装置の構成は、実施例１の画像処理装置の構成と同様である。また、実施例２の画像処理部の構成は、実施例１の画像処理部の構成と同様である。
【００８２】
図１１は、実施例２の画像処理を説明するフローチャートである。ステップＳ１１０１乃至Ｓ１１０４は、図３のステップＳ３０１乃至Ｓ３０４と同様である。
【００８３】
ステップＳ１１０４において、画像生成部２０４が、ステップＳ１１０１で入力された低解像度画像の枚数が閾値ＴＨ１未満であるかを判断する（ステップＳ１１０５）。閾値ＴＨ１は、予め決められる。閾値ＴＨ１として、経験則または実験によって求めた値を用いてもよい。
【００８４】
ステップＳ１１０１で入力された低解像度画像の枚数が閾値ＴＨ１未満である場合は、ステップＳ１１０７に進む。ステップＳ１１０１で入力された低解像度画像の枚数が閾値ＴＨ１未満でない場合は、画像生成部２０４が、ステップＳ１１０１で入力された低解像度画像の枚数が閾値ＴＨ２未満であるかを判断する（ステップＳ１１０６）。閾値ＴＨ２は、閾値ＴＨ１より大きい値であって、予め決められる。閾値ＴＨ２として、経験則または実験によって求めた値を用いてもよい。
【００８５】
ステップＳ１１０１で入力された低解像度画像の枚数が閾値ＴＨ２未満である場合は、ステップＳ１１０８に進む。ステップＳ１１０１で入力された低解像度画像の枚数が閾値ＴＨ２未満でない場合は、ステップＳ１１０９に進む。
【００８６】
ステップＳ１１０７において、画像生成部２０４が、基準画像について、第１の拡大方法を用いた拡大処理を実行する。第１の拡大方法を用いた拡大処理は、基準画像が有するベイヤー配列が維持されるように該基準画像を予め決められた拡大倍率で拡大して第１の拡大基準画像を生成する処理である。
【００８７】
図１２は、基準画像の拡大処理を説明する図である。図１２（Ａ）は、拡大前の基準画像である。画像生成部２０４が第１の拡大方法を用いた拡大処理を実行する場合、画像生成部２０４は、図１２（Ｂ）に示すように、基準画像が有するベイヤー配列が維持されるように、基準画像を２倍に拡大する。これにより、１プレーンの第１の拡大基準画像が生成される。図１２（Ｂ）中のハッチングが施されていない画素が非欠落画素である。
【００８８】
ステップＳ１１０８において、画像生成部２０４が、基準画像について、第２の拡大方法を用いた拡大処理を実行する。第２の拡大方法を用いた拡大処理を行う場合、画像生成部２０４は、基準画像をＧ成分の画像とＲＢ成分の画像に分離する。画像生成部２０４は、Ｇ成分の画像を水平方向垂直方向共に２倍に拡大して第２の拡大基準画像を生成する。また、画像生成部２０４は、基準画像のＲＢ成分の画像をＲ成分とＢ成分とが市松状に配置されるように水平方向垂直方向共に２倍に拡大することによって、第３の拡大基準画像を生成する。
【００８９】
図１２（Ｃ）、（Ｄ）は、第２の拡大方法を用いて生成される２プレーンの拡大基準画像を示す。図１２（Ｃ）は、第２の拡大基準画像である。第２の拡大基準画像は、Ｇ成分のみの画素が配置される画素配列を有する。図１２（Ｄ）は、第３の拡大基準画像である。第３の拡大基準画像は、Ｒ成分とＢ成分とが市松状に配置される画素配列を有する。
【００９０】
図１２（Ｃ）に示すように、第２の拡大基準画像は、図１２（Ｂ）に示す第１の拡大基準画像よりも、Ｇ成分の非欠落画素の数が多い。従って、第２の拡大基準画像に基づいて生成されるＧ成分の高解像度画像は、図１２（Ｂ）に示す第１の拡大基準画像に基づいて生成されるＧ成分の高解像度画像よりも、解像度が高くなる。
【００９１】
ステップＳ１１０９において、画像生成部２０４が、基準画像について、第３の拡大方法を用いた拡大処理を実行する。第３の拡大方法を用いた拡大処理を行う場合、画像生成部２０４は、基準画像を色成分毎に分離した画像を作成する。そして、画像生成部２０４は、作成した各々の画像を水平方向垂直方向共に所定の拡大倍率で拡大することによって、第４、５、および６の拡大基準画像を生成する。具体的には、画像生成部２０４は、Ｇ成分の画像を２倍に拡大することによって、第４の拡大基準画像を生成する。画像生成部２０４は、Ｒ成分の画像を２倍に拡大することによって、第５の拡大基準画像を生成する。また、画像生成部２０４は、Ｂ成分の画像を２倍に拡大することによって、第６の拡大基準画像を生成する。
【００９２】
図１２（Ｅ）乃至（Ｇ）は、第３の拡大方法を用いて生成される３プレーンの拡大基準画像を示す。図１２（Ｅ）は、第４の拡大基準画像である。第４の拡大基準画像は、Ｇ成分のみの画素が配置される画素配列を有する。第５の拡大基準画像は、Ｒ成分のみの画素が配置される画素配列を有する。第６の拡大基準画像は、Ｂ成分のみの画素が配置される画素配列を有する。
【００９３】
図１１のステップＳ１１１０以降の処理は、図３のステップＳ３０６以降の処理と同様である。なお、ステップＳ１１１０の挿入画素選択処理において行われる色判断処理は、以下のようにして実行される。画素間距離算出部２０５は、第１の拡大基準画像については、第２の画素配列としてベイヤー配列を用いて色判断処理を実行する。
【００９４】
画素間距離算出部２０５は、第２の拡大基準画像については、第２の画素配列としてＧ成分のみの画素が配置される配列を用いて色判断処理を実行する。すなわち、第２の拡大基準画像の着目画素の色を全てＧとした上で、参照画素の色と比較する。画素間距離算出部２０５は、第３の拡大基準画像については、第２の画素配列としてＲ成分とＢ成分とが市松状に配置される画素配列を用いて色判断処理を実行する。すなわち、画素間距離算出部２０５は、第３の拡大基準画像の着目画素の色を、当該Ｒ成分とＢ成分とが市松状に配置される画素配列に応じて決まる色に決定した上で、参照画素の色と比較する。
【００９５】
画素間距離算出部２０５は、第４の拡大基準画像については、第２の画素配列としてＧ成分のみの画素が配置される配列を用いて色判断処理を実行する。すなわち、第２の拡大基準画像の着目画素の色を全てＧとした上で、参照画素の色と比較する。画素間距離算出部２０５は、第５の拡大基準画像については、第２の画素配列としてＲ成分のみの画素が配置される配列を用いて色判断処理を実行する。すなわち、第２の拡大基準画像の着目画素の色を全てＲとした上で、参照画素の色と比較する。画素間距離算出部２０５は、第６の拡大基準画像については、第２の画素配列としてＢ成分のみの画素が配置される配列を用いて色判断処理を実行する。すなわち、第２の拡大基準画像の着目画素の色を全てＢとした上で、参照画素の色と比較する。
【００９６】
第３の拡大方法を用いた拡大処理結果に基づく色判断処理を実行することによって、以下の効果が得られる。参照画素の色は、３プレーンの拡大基準画像のそれぞれにおける同じ位置の着目画素のいずれかと同色となる。従って、当該着目画素が欠落画素である場合には、３プレーンの拡大基準画像のうちのいずれかのプレーンの当該着目画素に参照画素が挿入される。これにより、効率的に拡大基準画像の欠落画素を埋めていくことができる。さらに、低解像度画像の枚数が多いほど、参照画素の提供元である非基準画像の数が多くなるので、拡大基準画像を３プレーンとしても、欠落画素が埋まりやすくなる。その結果、後に実行されるＲ，Ｇ，Ｂ同時化処理において、ＲＧＢ同時化部２０９の処理負荷を減らすことができる。
【００９７】
本実施例の画像処理装置によれば、入力される低解像度画像の枚数に応じて、メモリの使用量を抑えるか、Ｇ成分の解像度を高くするか、Ｒ，Ｇ，Ｂ同時化処理の負荷を減らすかのいずれかを実現することができる。
【００９８】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【符号の説明】
【００９９】
１０１ 光学系
１０２ 撮像素子
１０３ Ａ／Ｄ変換部
１０４ 画像処理部
１０５ システム制御部
１０６ 操作部
１０７ 表示部
１０８ 記録部
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法およびコンピュータプログラムに関する。
【背景技術】
【０００２】
複数枚の低解像度画像を用いて、１枚の高解像度画像を作成する複数枚超解像が提案されている。複数枚超解像の技術はデジタルカメラにおいて、電子ズームの画質を上げるために用いられる。従来、画像処理装置は、ベイヤー配列の色フィルタを有する撮像素子により得られた低解像度画像を用いて、以下のように１枚の高解像度画像を作成していた。画像処理装置は、ベイヤー配列の低解像度画像から１枚の高解像度画像を作成する為に、出力と同じ解像度を有する画像を色成分毎に作成し、それぞれの画像について複数枚超解像の処理を実行する。
【０００３】
なお、特許文献１は、複数枚の低解像度画像から高解像度画像を色成分毎に作成する際に、Ｇ成分のみ複数枚超解像の処理を行い、Ｒ成分、Ｂ成分については１枚の画像で単純な補間処理を行い、高解像度画像を作成する画像処理システムを開示する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−１１２００７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
出力と同じ解像度を有する画像を色成分毎に作成し複数枚超解像の処理を行う従来技術では、メモリを大量に使用してしまうという問題がある。また、この従来技術では、色成分毎の画像を出力と同じ解像度で必要とするので、欠落画素の補間に必要な低解像度画像の枚数が多くなるという問題がある。また、特許文献１が開示する画像処理システムでは、色成分毎に高解像度化の効果が大きく異なるという問題がある。
【０００６】
本発明は、従来の複数枚超解像の方法よりもメモリの使用量を削減し、少ない枚数の低解像度画像で高解像化を行う画像処理装置の提供を目的とする。
【課題を解決するための手段】
【０００７】
本発明の一実施形態の画像処理装置は、予め決められた第１の画素配列を有する複数枚の画像を撮像する撮影手段と、前記撮影された複数枚の画像から１枚の画像を基準画像を選択するとともに、前記複数枚の画像のうち前記基準画像以外の画像を非基準画像とする画像選択手段と、前記基準画像が有する画素の座標を前記非基準画像が有する画素の座標に変換する座標変換係数を算出し、該算出した座標変換係数を記憶手段に記憶する変換係数算出手段と、前記基準画像を予め決められた拡大倍率で拡大して拡大基準画像とする画像拡大手段と、前記拡大基準画像が有する画素のうち、前記第１の画素配列上に配置されている画素を第１の非欠落画素、該第１の画素配列上に配置されていない画素を第１の欠落画素として決定して該拡大基準画像を記憶手段に記憶する拡大基準画像記憶手段と、前記拡大基準画像が有する前記基準画像の画素のうち、前記基準画像が有する画素配列と同じ画素配列上に配置されていない画素を第２の非欠落画素として有し、該拡大基準画像が有する画素のうち、前記第２の非欠落画素以外の画素を第２の欠落画素として有する保存用画像を生成して記憶手段に記憶する保存用画像生成手段と、前記基準画像の拡大倍率と前記座標変換係数とを用いて、前記拡大基準画像が有する第１の欠落画素の座標を変換して参照座標とし、各々の非基準画像が有する画素のうち、前記参照座標との距離が最も近い画素を前記第１の欠落画素に対応する近傍画素として決定する近傍画素決定手段と、予め決められた第２の画素配列と前記第１の欠落画素の座標とに基づいて、該第１の欠落画素の色を判別し、判別した該第１の欠落画素の色が前記近傍画素の色と同じであるかを判断する色判断処理を行う色判断手段と、前記第１の欠落画素の色が前記近傍画素の色と同じであると判断された場合に、非基準画像が有する近傍画素のうち、対応する前記参照座標との距離が最も近い近傍画素を第１の参照画素として決定する第１参照画素決定手段と、前記第１の欠落画素の色が前記近傍画素の色と同じでないと判断された場合に、該第１の欠落画素の色と、該近傍画素の色と、前記非基準画像が有する近傍画素と前記第１の参照座標との距離とに応じた、前記近傍画素の評価値を算出する評価値算出手段と、非基準画像が有する近傍画素のうち、前記算出された評価値が最も大きい近傍画素を第２の参照画素として決定する第２参照画素決定手段と、前記第１の参照画素を前記第１の欠落画素に挿入する第１の画素挿入手段と、前記第２の参照画素を前記第２の欠落画素に挿入する第２の画素挿入手段とを備える。
【発明の効果】
【０００８】
本発明の画像処理装置によれば、従来の複数枚超解像の方法よりもメモリの使用量を削減し、少ない枚数の低解像度画像で高解像化を行うことができる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態の画像処理装置の構成例を示す図である。
【図２】画像処理部の一部の構成を示す図である。
【図３】実施例１の画像処理を説明するフローチャートである。
【図４】基準画像の拡大方法を説明する図である。
【図５】挿入画素選択処理を説明するフローチャートの例である。
【図６】距離ｄ［ｉ］の算出処理を説明する図である。
【図７】色判断処理を説明する図である。
【図８】画素挿入処理の一例を説明するフローチャートを示す図である。
【図９】評価値ｅ［ｉ］の算出を説明する図である。
【図１０】Ｒ，Ｇ，Ｂ同時化処理の例を説明する図である。
【図１１】実施例２の画像処理を説明するフローチャートである。
【図１２】基準画像の拡大処理を説明する図である。
【発明を実施するための形態】
【００１０】
図１は、本実施形態の画像処理装置の構成例を示す図である。この画像処理装置は、複数枚の低解像度の画像から１枚の高解像度の画像を生成する。この画像処理装置は、光学系１０１、撮像素子１０２、Ａ(Analog）／Ｄ（Digital)変換部１０３、画像処理部１０４、システム制御部１０５、操作部１０６、表示部１０７、記録部１０８を備える。
【００１１】
光学系１０１は、ズームレンズやフォーカスレンズから構成されるレンズ群、絞り調整装置、および、シャッター装置を備える。光学系１０１は、撮像素子１０２に到達する被写体像の倍率やピント位置、あるいは、光量を調整する。撮像素子１０２は、光学系１０１を通過した被写体の光束を光電変換し、電気信号に変換するＣＣＤやＣＭＯＳセンサ等の光電変換素子である。ＣＣＤは、Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｉｃｅの略称である。また、ＣＭＯＳは、Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｃｕｃｔｏｒの略称である。
【００１２】
本実施形態では、撮像素子１０２は、ベイヤー配列の色フィルタを備えた単板式の撮像素子である。すなわち、撮像素子１０２は、予め決められた第１の画素配列（ベイヤー配列）を有する複数枚の画像を撮影する撮影手段として機能する。
【００１３】
Ａ／Ｄ変換部１０３は、入力された映像信号をデジタルの画像に変換する。画像処理部１０４は、通常の信号処理の他に、入力された複数枚の画像を用いて超解像処理を行う。画像処理部１０４はＡ／Ｄ変換部１０３から出力された画像のみでなく、記録部１０８から読み出した画像に対しても同様の画像処理を行うことができる。システム制御部１０５は、画像処理装置全体の動作を制御、統括する制御機能部である。画像処理部１０４で処理された画像から得られる輝度値や操作部１０６から送信された指示に基づいて、光学系１０１や撮像素子１０２の駆動制御も行う。
【００１４】
表示部１０７は、液晶ディスプレイや有機ＥＬ（Electro Luminescence）ディスプレイを有する。表示部１０７は、撮像素子１０２が生成した画像や、記録部１０８から読み出した画像を表示する。記録部１０８は、画像を記録する機能を有する。記録部１０８は、例えば、半導体メモリが搭載されたメモリカードや光磁気ディスク等の回転記録体を収容したパッケージなどを用いた情報記録媒体を備える。記録部１０８に、この情報記録媒体が着脱可能であってもよい。バス１０９は、画像処理部１０４、システム制御部１０５、表示部１０７、および、記録部１０８の間で画像をやり取りするために用いられる。
【００１５】
図２は、画像処理部の一部の構成を示す図である。図２に、画像処理部１０４が実行する超解像処理に関わる処理部を示す。画像処理部１０４は、基準画像選択部２０１、メモリ部２０２、座標変換係数算出部２０３、画像生成部２０４、画素間距離算出部２０５、評価値算出部２０６、欠落画素判定部２０７、画素挿入部２０８、ＲＧＢ同時化部２０９、ＹＵＶ変換部２１０を備える。本実施形態の画像処理方法は、図２に示す画像処理部１０４が備える処理部の機能によって実現される。また、本実施形態のコンピュータプログラムは、この画像処理方法をコンピュータに実行させることを特徴とする。
【００１６】
基準画像選択部２０１は、画像処理部１０４に入力された複数枚の画像から１枚の画像を基準画像を選択するとともに、複数枚の画像のうち基準画像以外の画像を非基準画像とする画像選択手段として機能する。メモリ部２０２は、基準画像選択部２０１乃至ＲＧＢ同時化部２０９が実行する処理に関する画像データを記憶する記憶手段として機能する。座標変換係数算出部２０３は、基準画像に対する非基準画像の位置合わせを行い、該位置合わせ結果をメモリ部２０２に記憶する位置合わせ手段として機能する。具体的には、座標変換係数算出部２０３は、変換係数算出手段として機能する。すなわち、座標変換係数算出部２０３は、基準画像が有する画素の座標を非基準画像が有する画素の座標に変換する座標変換式の係数を算出し、該算出した座標変換式の係数を位置合わせ結果とする。
【００１７】
画像生成部２０４は、基準画像を予め決められた拡大倍率で拡大して拡大基準画像を生成する画像拡大手段として機能する。また、画像生成部２０４は、拡大基準画像が有する画素のうち、第１の画素配列上すなわちベイヤー配列上に配置されている画素を第１の非欠落画素として決定する。また、画像生成部２０４は、該第１の画素配列上に配置されていない画素を第１の欠落画素として決定する。そして、画像生成部２０４は、拡大基準画像をメモリ部２０２に記憶する拡大基準画像記憶手段として機能する。
【００１８】
また、画像生成部２０４は、保存用画像を生成してメモリ部２０２に記憶する保存用画像生成手段として機能する。保存用画像は、拡大基準画像が有する基準画像の画素のうち、基準画像が有する画素配列（ベイヤー配列）と同じ画素配列上に配置されていない画素を第２の非欠落画素として有する。また、保存用画像は、拡大基準画像が有する画素のうち、第２の非欠落画素以外の画素を第２の欠落画素として有する。
【００１９】
画素間距離算出部２０５は、基準画像の拡大倍率とメモリ部２０２内の座標変換式とを用いて、拡大基準画像が有する第１の欠落画素の座標を変換して参照座標とする。そして、画素間距離算出部２０５は、参照画素と参照座標との距離ｄを算出する。参照座標は、拡大基準画像が有する欠落画素に対応する、非基準画像上の座標である。参照画素は、非基準画像が有する画素のうち、参照座標との距離が最も近い画素（近傍画素）である。
【００２０】
具体的には、画素間距離算出部２０５は、基準画像の拡大倍率とメモリ部２０２内の座標変換式とを用いて、拡大基準画像が有する欠落画素の座標を変換して参照座標とする。そして、画素間距離算出部２０５は、各々の非基準画像について参照画素を決定し、決定した参照画素と参照座標との距離ｄを算出する。すなわち、画素間距離算出部２０５は、各々の非基準画像が有する画素のうち、参照座標との距離が最も近い画素を第１の欠落画素に対応する近傍画素として決定する近傍画素決定手段として機能する。
【００２１】
また、画素間距離算出部２０５は、以下の色判断処理を実行する色判断手段として機能する。すなわち、画素間距離算出部２０５は、予め決められた第２の画素配列（例えば、ベイヤー配列）と第１の欠落画素の座標とに基づいて、該第１の欠落画素の色を判別し、判別した該第１の欠落画素の色が参照画素（近傍画素）の色と同じであるかを判断する。そして、画素間距離算出部２０５は、第１の欠落画素の色が参照画素の色と同じであると判断した場合に、非基準画像が有する参照画素のうち、対応する参照座標との距離が最も近い参照画素を第１の参照画素として決定する第１参照画素決定手段として機能する。
【００２２】
評価値算出部２０６は、第１の欠落画素の色が参照画素（近傍画素）の色と同じでないと判断された場合に、近傍画素の評価値を算出する評価値算出手段として機能する。評価値算出部２０６は、第１の欠落画素の色と、近傍画素の色と、非基準画像が有する近傍画素と第１の参照座標との距離ｄとに応じた評価値を、近傍画素の評価値として算出する。また、評価値算出部２０６は、非基準画像が有する近傍画素のうち、算出された評価値が最も大きい近傍画素を第２の参照画素として決定する第２参照画素決定手段として機能する。
【００２３】
欠落画素判定部２０７は、メモリ部２０２から拡大基準画像を読み出し、読み出した拡大基準画像の着目画素すなわち処理対象の画素が欠落画素であるかを判断する。また、欠落画素判定部２０７は、メモリ部２０２から保存用画像を読み出し、読み出した保存用画像の着目画素すなわち処理対象の画素が欠落画素であるかを判断する。欠落画素判定部２０７は、拡大基準画像の着目画素について欠落画素であるかを判断した後、当該拡大基準画像の着目画素と同じ位置にある保存用画像の着目画素について、欠落画素であるかを判断する。
【００２４】
画素挿入部２０８は、欠落画素判定部２０７が、拡大基準画像の着目画素が欠落画素であると判断した場合に、第１の参照画素を第１の欠落画素に挿入する第１の画素挿入手段として機能する。また、画素挿入部２０８は、欠落画素判定部２０７が、保存用画像の着目画素が欠落画素であると判断した場合に、第２の参照画素を第２の欠落画素に挿入する第２の画素挿入手段として機能する。画素挿入部２０８は、参照画素が挿入された拡大基準画像、保存用画像をメモリ部２０２に記憶する。
【００２５】
ＲＧＢ同時化部２０９は、第１の参照画素が第１の欠落画素に挿入された拡大基準画像をメモリ部２０２から読み出す。また、ＲＧＢ同時化部２０９は、第２の参照画素が第２の欠落画素に挿入された保存用画像をメモリ部２０２から読み出す。そして、ＲＧＢ同時化部２０９は、読み出した拡大基準画像と保存用画像とに基づいて、色同時化処理を行う色同時化手段として機能する。ＹＵＶ変換部２１０は、色同時化処理後の画像が有する画素のＲＧＢ信号をＹＵＶ信号に変換して出力画像として出力する。
【００２６】
（実施例１）
図３は、実施例１の画像処理を説明するフローチャートである。実施例１では、画像処理装置は、ベイヤー配列の低解像度画像を複数枚用いて、水平、垂直方向それぞれ３倍に画素数を拡大したベイヤー配列の高解像度画像を生成し、高解像度化を実現する。
【００２７】
まず、Ａ／Ｄ変換部１０３が、画像処理部１０４に対して、ｎ枚の低解像度の画像を入力する（ステップＳ３０１）。ここで、ｎ枚の画像は、手持ち状態で連続撮像された画像とする。なお、入力する低解像度の画像は、手持ち状態で撮像された画像に限らず、撮像者の意図した動き（パンニングまたはズーミング）、あるいはカメラの光学装置や撮像素子に機械的に動きを与える構成から得てもよい。
【００２８】
次に、基準画像選択部２０１が、超解像処理により高解像度画像とする対象となる画像を基準画像として選択する（ステップＳ３０２）。そして、残りの画像を非基準画像としてメモリ部２０２に保存する。ここでは、基準画像選択部２０１は、はじめに入力された画像を基準画像とし、残りのｎ−１枚の画像を非基準画像とする。なお、基準画像の選択基準はこの方法に限らず、基準画像選択部２０１が、はじめに入力された画像以外から選択するようにしてもよい。
【００２９】
次に、座標変換係数算出部２０３が、基準画像と非基準画像間の位置合わせに必要な座標変換式の係数を算出する（ステップＳ３０３）。本実施例では、座標変換式として射影変換の式を用いる。画像の予め決められた位置（例えば中心の位置）の座標を（０，０）とすると、基準画像の着目画素の座標（ｘ、ｙ）に対応する非基準画像の座標（ｘ’，ｙ’）を表す射影変換の式は、下記の式（１）である。
【００３０】
【数１】
基準画像の着目画素の座標（ｘ、ｙ）に対応する非基準画像の座標（ｘ’，ｙ’）を参照座標と呼称する。式（１）の射影変換係数（座標変換係数）の算出方法については、基準画像と非基準画像間でパターンマッチングによって求めた動きベクトルから連立方程式を用いて解くのが一般的である。しかし、座標変換係数算出部２０３が、撮影時のジャイロデータを用いて、射影変換係数を求めるようにしてもよい。
【００３１】
次に、座標変換係数算出部２０３が、算出した座標変換係数を、非基準画像の枚数分、メモリ部２０２に保存する（ステップＳ３０４）。保存した座標変換係数は、ステップＳ３０６において用いられる。
【００３２】
次に、画像生成部２０４が、基準画像を水平方向、垂直方向それぞれ３倍に拡大する（ステップＳ３０５）。本実施例では、画像生成部２０４は、ベイヤー配列を維持したまま、基準画像を拡大する。なお、ステップＳ３０５の処理は、ステップＳ３０３の処理の前に行ってもよい。
【００３３】
図４は、ステップＳ３０５における基準画像の拡大方法を説明する図である。図４（Ａ）は、拡大前の基準画像である。この基準画像は、水平画素数Ｗ、垂直画素数Ｈのベイヤー配列を有する。画像生成部２０４は、図４（Ａ）に示す基準画像を水平方向、垂直方向それぞれ３倍に拡大して、拡大基準画像を生成する。図４（Ｂ）は、拡大基準画像である。画像生成部２０４は、拡大基準画像が含む画素のうち、基準画像が有する画素すなわちベイヤー配列上に配置されている画素を第１の非欠落画素とする。画像生成部２０４は、拡大基準画像が含む画素のうち、基準画像が有する画素以外の画素、すなわちベイヤー配列上に配置されてない画素を第１の欠落画素とする。画像生成部２０４は、第１の欠落画素に、値として０を挿入し、拡大基準画像をメモリ部２０２に記憶する。
【００３４】
図４（Ｂ）のように、水平画素数Ｗ×２、垂直画素数Ｈ×２のベイヤー配列の基準画像を作成すると、拡大前の基準画像の画素のうち、Ｇ成分の画素を非欠落画素として残すことができる。しかし、Ｒ成分，Ｂ成分の画素に関しては、それぞれ拡大基準画像のＧ成分の箇所に位置するので、非欠落画素として残した場合、拡大基準画像はベイヤー配列を維持できない。ここで、後で色同時化処理を行う場合に、非欠落画素の情報が多い方が良い。従って、Ｒ，Ｂの画素を拡大基準画像とは別に保存する必要がある。
【００３５】
すなわち、画像生成部２０４は、ベイヤー配列が維持される拡大基準画像とは別に、図４（Ｃ）に示すような、水平画素数Ｗ×２、垂直画素数Ｈ×２の保存用画像を生成する。画像生成部２０４は、保存用画像の画素のうち、図４（Ｃ）に示すＲ成分、Ｂ成分の画素を第２の非欠落画像とする。また、画像生成部２０４は、保存用画像の画素のうち、図４（Ｃ）に示すＲ成分、Ｂ成分の画素以外の画素を第２の非欠落画像とする。画像生成部２０４は、第２の欠落画素に、値として０を挿入し、保存用画像をメモリ部２０２に記憶する。
【００３６】
図３に戻り、ステップＳ３０６において、画像処理装置が、ｎ−１枚の非基準画像から挿入対象の第１の参照画素の候補ｐｉｘと、第２の参照画素の候補ｓｕｂ＿ｐｉｘを選択する（挿入画素選択処理を実行する）。
【００３７】
図５は、図３のステップＳ３０６における挿入画素選択処理を説明するフローチャートの例である。まず、画素間距離算出部２０５が、変数ｉを初期化する（ステップＳ５０１）。変数ｉは、ｎ−１枚の非基準画像を一意に識別する識別情報である。本実施例では、ｉ＋１枚目の非基準画像を非基準画像［ｉ］、非基準画像［ｉ］に対応する座標変換係数を座標変換係数［ｉ］とする。なお、ステップＳ５０５以降で使用するｄ［ｉ］、ｐｉｘ［ｉ］、ｅ［ｉ］、ｓｕｂ＿ｐｉｘ［ｉ］、ｃｏｌｏｒ＿ｉｄ［ｉ］は、それぞれ、非基準画像［ｉ］に対応するｄ，ｐｉｘ、ｅ、ｓｕｂ＿ｐｉｘ、ｃｏｌｏｒ＿ｉｄを示す。
【００３８】
次に、画素間距離算出部２０５が、非基準画像［ｉ］をメモリ部２０２から読み込む（ステップＳ５０２）。続いて、画素間距離算出部２０５が、非基準画像［ｉ］に対応する座標変換係数［ｉ］をメモリ部２０２から読み込む（ステップＳ５０３）。
【００３９】
次に、画素間距離算出部２０５が、ステップＳ５０３で読み込んだ座標変換係数［ｉ］を用いて、基準画像の着目画素の座標（ｘ、ｙ）に対応する非基準画像［ｉ］の参照座標（ｘ’，ｙ’）を算出する（ステップＳ５０４）。具体的には、画素間距離算出部２０５は、上述した式（１）で示す射影変換の式を用いて、参照座標を算出する。
【００４０】
次に、画素間距離算出部２０５が、ステップＳ５０４で算出した非基準画像［ｉ］の参照座標（ｘ’，ｙ’）に対し、最近傍にある非基準画像［ｉ］の画素（ｎｘ，ｎｙ）を参照画素（近傍画素）とする。そして、画素間距離算出部２０５が、参照画素と参照座標との距離ｄ［ｉ］を算出する（ステップＳ５０５）。
【００４１】
図６は、図５のステップＳ５０５における距離ｄ［ｉ］の算出処理を説明する図である。図６（Ａ）は拡大画像を示す。図６（Ｂ）は、非基準画像を示す。図６（Ａ）の拡大基準画像上の着目画素６０１の座標（ｘ、ｙ）に対し、対応する非基準画像（図６（Ｂ））の参照座標６０２は、（ｘ’，ｙ’）である。
【００４２】
画素間距離算出部２０５は、参照座標６０２を包含し、かつ参照座標６０２の最近傍に位置する画素である画素６０３を当該参照座標６０２に対応する参照画素として決定する。参照画素６０３の座標は、（ｎｘ，ｎｙ）であるものとすると、画素間距離算出部２０５は、参照画素と参照座標との距離ｄを、以下の式（２）を用いて算出する。
【００４３】
【数２】
上記のようにして、画素間距離算出部２０５は、非基準画像［ｉ］の参照座標（ｘ’，ｙ’）に対応する非基準画像［ｉ］の参照画素（ｎｘ，ｎｙ）を決定する。また、画素間距離算出部２０５は、非基準画像［ｉ］の参照座標（ｘ’，ｙ’）に対応する距離ｄ［ｉ］を算出する。
【００４４】
図５に戻って、画素間距離算出部２０５が、非基準画像［ｉ］の参照画素と拡大基準画像の着目画素と同色であるかを判断（色判断処理を実行）する（ステップＳ５０６）。着目画素が参照画素と同色である場合は、ステップＳ５０７に進む。着目画素が参照画素と同色でない場合は、ステップＳ５０８に進む。
【００４５】
図７は、色判断処理を説明する図である。図７中には、水平画素数Ｗ×３、垂直画素数Ｈ×３の拡大基準画像の各画素の色を示す。すなわち、この拡大基準画像はベイヤー配列を有する。欠落画素を非欠落画素に置き換えるためには、欠落画素の位置に記載されている色の画素で置き換えなければならない。
【００４６】
拡大基準画像の最も左上の画素の座標を（０，０）、最も右下の画素の座標を（２Ｗ−１，２Ｈ−１）とする。画素間距離算出部２０５は、着目画素（ｘ、ｙ）の色を、下記の式（３）で判別する。
（ｘ＆１）＝０かつ（ｙ＆１）＝０ならＲ
（ｘ＆１）＝１かつ（ｙ＆１）＝０、または（ｘ＆１）＝０かつ（ｙ＆１）＝１ならＧ （ｘ＆１）＝１かつ（ｙ＆１）＝１ならＢ
・・・式（３）
【００４７】
上記の式（ｘ＆１），（ｙ＆１）は、ｘ座標、ｙ座標がそれぞれ偶数であるか、奇数であるかを判別する式である。（ｘ＆１），（ｙ＆１）の値が０である時は、ｘ，ｙ座標が偶数、値が１である時は、ｘ，ｙ座標が奇数であることを示す。
【００４８】
なお、画素間距離算出部２０５は、非基準画像［ｉ］の参照画素（ｎｘ、ｎｙ）の色についても、最も左上の画素の座標を（０，０）、最も右下の画素の座標を（Ｗ−１，Ｈ−１）として、式（３）を用いて判別する。そして、画素間距離算出部２０５は、判別した着目画素（ｘ，ｙ）の色が参照画素（ｎｘ，ｎｙ）の色と同色であるかを判断する。つまり、画素間距離算出部２０５は、第２の画素配列としてベイヤー配列を用いて色判断処理を実行する。
【００４９】
図５に戻って、画素間距離算出部２０５が、基準画像の着目画素と同色であると判断された非基準画像［ｉ］の参照画素をｐｉｘ［ｉ］として、ステップＳ５０５で算出したｄ［ｉ］と共に、メモリ部２０２に保存する（ステップＳ５０７）。そして、処理がステップＳ５１０に進む。
【００５０】
ステップＳ５０８においては、評価値算出部２０６が、拡大基準画像の着目画素の色と、該着目画像の色と同色でないと判断された非基準画像［ｉ］の参照画素の色と、ステップＳ５０５で算出した距離ｄ［ｉ］に応じて、評価値ｅ［ｉ］を算出する。評価値ｅ［ｉ］は、非基準画像［ｉ］の参照画素（近傍画素）に対する、第２の参照画素として選択する基準となる基準値である。評価値が高い参照画素ほど、第２の参照画素として選択され易くなる。また、評価値は、参照座標との距離ｄが近いほど高くなる。
【００５１】
図９は、評価値ｅ［ｉ］の算出を説明する図である。評価値算出部２０６は、図９（Ａ）、（Ｂ）、または（Ｃ）に示すグラフに従って、距離ｄ［ｉ］に応じた評価値ｅ［ｉ］を算出する。図９中に示すグラフの横軸は距離ｄ［ｉ］であり、縦軸は評価値ｅ［ｉ］である。グラフ中のＲ，Ｇ，Ｂは、それぞれのグラフ線に対応する非基準画像［ｉ］の参照画素の色である。
【００５２】
図９（Ａ）は、基準画像の着目画素がＲの場合のグラフであり、このグラフ中のＧは、非基準画像の参照画像がＧである場合の、距離ｄ［ｉ］と評価値ｅ［ｉ］との関係を示す。このグラフ中のＢは、非基準画像の参照画像がＢである場合の、距離ｄ［ｉ］と評価値ｅ［ｉ］との関係を示す。
【００５３】
図９（Ｂ）は、基準画像の着目画素がＧの場合のグラフであり、このグラフ中のＲ，Ｂは、非基準画像の参照画像がＲまたはＢである場合の、距離ｄ［ｉ］と評価値ｅ［ｉ］との関係を示す。
【００５４】
図９（Ｃ）は、基準画像の着目画素がＢの場合のグラフであり、このグラフ中のＧは、非基準画像の参照画像がＧである場合の、距離ｄ［ｉ］と評価値ｅ［ｉ］との関係を示す。このグラフ中のＲは、非基準画像の参照画像がＲである場合の、距離ｄ［ｉ］と評価値ｅ［ｉ］との関係を示す。
【００５５】
本実施例では、保存用画像の欠落画素を、輝度系信号の寄与する割合の大きいＧの非欠落画素と多く置き換えることができるようにするために、参照画素がＧの場合は、Ｒ、Ｂの時よりも評価値［ｉ］が大きくなるように、予めグラフを設定する。例えば、図９（Ａ）、（Ｃ）に示すグラフのように、非基準画像［ｉ］の参照画素の色がＲまたはＢの時よりもＧの方が評価値ｅ［ｉ］の値が大きくなるようにグラフを設定する。
【００５６】
図５に戻って、評価値算出部２０６が、非基準画像［ｉ］の参照画素の色をｃｏｌｏｒ＿ｉｄ［ｉ］、画素値をｓｕｂ＿ｐｉｘ［ｉ］として、ステップＳ５０８で算出した評価値ｅ［ｉ］と共にメモリ部２０２に保存する（ステップＳ５０９）。ｃｏｌｏｒ＿ｉｄ［ｉ］は、０から２までの値が代入される。ｃｏｌｏｒ＿ｉｄ［ｉ］の値「０」は、Ｇ成分を示す。ｃｏｌｏｒ＿ｉｄ［ｉ］の値「１」は、Ｒ成分を示す。ｃｏｌｏｒ＿ｉｄ［ｉ］の値「２」は、Ｂ成分を示す。
【００５７】
次に、評価値算出部２０６が、ｎ−１枚全ての非基準画像について処理を完了したかを判断する（ステップＳ５０８）。処理を完了していない非基準画像がある場合、評価値算出部２０６が、ｉをインクリメントして（ステップＳ５０９）、ステップＳ５０２に戻る。全ての非基準画像について処理を完了している場合は、ステップＳ５１２に進む。
【００５８】
次に、評価値算出部２０６が、メモリ部２０２に保存した評価値ｅ［ｉ］の中で最大の値である評価値ｅ［ｉ］の値をｅ＿ｍａｘ として選択する（ステップＳ５１２）。メモリ部２０２に保存した評価値ｅ［ｉ］が１つもない場合、評価値算出部２０６が、ｅ＿ｍａｘに、設定可能な最小値（例えば「０」）を代入する。
【００５９】
次に、評価値算出部２０６が、ステップＳ５１２で選択されたｅ＿ｍａｘ（ｅ［ｉ］）に対応する参照画素ｓｕｂ＿ｐｉｘ［ｉ］を非欠落画素の候補ｓｕｂ＿ｐｉｘとして選択する（ステップＳ５１３）。メモリ部２０２に保存したｅ［ｉ］が１つもない場合、評価値算出部２０６は、ｓｕｂ＿ｐｉｘ の値に０を代入する。
【００６０】
次に、評価値算出部２０６が、ステップＳ５１２で選択されたｅ＿ｍａｘに対応する参照画素の色ｃｏｌｏｒ＿ｉｄ［ｉ］を非欠落画素の候補ｓｕｂ＿ｐｉｘ の色を示すｃｏｌｏｒ＿ｉｄとして選択する（ステップＳ５１４）。メモリ部２０２に保存したｅ［ｉ］が１つもない場合、評価値算出部２０６は、ｃｏｌｏｒ＿ｉｄの値に０を代入する。
【００６１】
次に、評価値算出部２０６が、メモリ部２０２に保存した距離ｄ［ｉ］の中で最小の値である距離ｄ［ｉ］の値を、ｄ＿ｍｉｎとして選択する（ステップＳ５１５）。メモリ部２０２に保存した距離ｄ［ｉ］が１つもない場合、評価値算出部２０６が、ｄ＿ｍｉｎ
に、設定可能な最大値（例えば、「１」）を代入する。
【００６２】
次に、評価値算出部２０６が、ステップＳ５１５で選択された距離ｄ＿ｍｉｎに対応する参照画素ｐｉｘ［ｉ］を非欠落画素の候補ｐｉｘとして選択する（ステップＳ５１６）。メモリ部２０２に保存した距離ｄ［ｉ］が１つもない場合、評価値算出部２０６は、ｐｉｘの値に０を代入する。続いて、評価値算出部２０６が、ｅ＿ｍａｘ、ｓｕｂ＿ｐｉｘ、ｃｏｌｏｒ＿ｉｄ、ｄ＿ｍｉｎ、ｐｉｘを出力する（ステップＳ５１７）。
【００６３】
図３に戻って、画素挿入部２０８が、画素挿入処理を実行する（ステップＳ３０７）。具体的には、画素挿入部２０８が、拡大基準画像の第１の欠落画素の値を、第１の参照画像であるｐｉｘの値に置き換える処理を行う。また、画素挿入部２０８が、保存用画像の第２の欠落画素の値を、第２の参照画像であるｓｕｂ＿ｐｉｘの値に置き換える処理を行う。
【００６４】
図８は、画素挿入処理の一例を説明するフローチャートを示す図である。まず、画素挿入部２０８が、基準画像の着目画素が欠落画素であるかを判断する（ステップＳ８０１）。基準画像の着目画素が欠落画素である場合は、ステップＳ８０２に進む。基準画像の着目画素が欠落画素でない場合は、ステップＳ８０４に進む。
【００６５】
ステップＳ８０２において、画素挿入部２０８が、ｄ＿ｍｉｎの値が閾値ＴＨ＿ｄ未満であるかを判断する（ステップＳ８０２）。閾値ＴＨ＿ｄは、予め決められる。閾値ＴＨ＿ｄとして、経験則または実験によって求めた値を用いてもよい。
【００６６】
ステップＳ８０３において、画素挿入部２０８が、基準画像の着目画素を非欠落画素の候補ｐｉｘと置き換える。ステップＳ８０４においては、画素挿入部２０８は、基準画像の着目画素を非欠落画素の候補ｐｉｘと置き換えない。そして、処理がステップＳ８０５に進む。
【００６７】
ステップＳ８０５乃至Ｓ８０８の処理は、保存用画像の着目画素に対して行う処理である。処理対象となる保存用画像の着目画素の位置は、ステップＳ８０１乃至Ｓ８０４において処理対象となった基準画像の着目画素の位置と同じである。
【００６８】
まず、画素挿入部２０８が、保存用画像の着目画素が欠落画素であるかを判断する（ステップＳ８０５）。保存用画像の着目画素が欠落画素である場合は、ステップＳ８０６に進む。保存用画像の着目画素が欠落画素でない場合は、ステップＳ８０８に進む。
【００６９】
ステップＳ８０６において、画素挿入部２０８が、ｅ＿ｍａｘの値が閾値ＴＨ＿ｅ以上であるかを判断する（ステップＳ８０６）。閾値ＴＨ＿ｄは、予め決められる。閾値ＴＨ＿ｄとして、経験則または実験によって求めた値を用いてもよい。ｅ＿ｍａｘの値が閾値ＴＨ＿ｅ以上である場合は、ステップＳ８０７に進む。ｅ＿ｍａｘの値が閾値ＴＨ＿ｅ未満である場合は、ステップＳ８０８に進む。
【００７０】
ステップＳ８０７において、画素挿入部２０８が、保存用画像の着目画素を非欠落画素の候補ｓｕｂ ＿ｐｉｘと置き換える（ステップＳ８０７）。また、ステップＳ８０８において、画素挿入部２０８が、保存用画像の着目画素を非欠落画素の候補ｐｉｘと置き換えない。そして、処理が終了する。
【００７１】
図３に戻って、画素挿入部２０８が、基準画像と保存用画像における全ての画素を処理したかを判断する（ステップＳ３０８）。基準画像と保存用画像における全ての画素を処理した場合は、ステップＳ３０９に進む。基準画像と保存用画像において未処理の画素がある場合は、着目画素を変更して、ステップＳ３０６に戻る。
【００７２】
次に、ＲＧＢ同時化部２０９が、画素挿入処理後の拡大基準画像と保存用画像とに基づいて、Ｒ，Ｇ，Ｂ同時化処理（色同時化処理）を実行する（ステップＳ３０９）。
【００７３】
図１０は、Ｒ，Ｇ，Ｂ同時化処理の例を説明する図である。図１０（Ａ）は、画素挿入処理後の拡大基準画像である。この例では、当該拡大基準画像は、水平画素数Ｗ×２、垂直画素数Ｈ×２のベイヤー配列の画像である。図１０（Ｂ）は、画素挿入処理後の保存用画像である。
【００７４】
ＲＧＢ同時化部２０９は、図１０（Ａ）に示す拡大基準画像と、図１０（Ｂ）に示す保存用画像を用いて、Ｒ，Ｇ，Ｂ同時化処理を行って、図１０（Ｃ）乃至（Ｅ）に示す画像を得る。具体的には、ＲＧＢ同時化部２０９は、水平画素数Ｗ×２、垂直画素数Ｈ×２の画像をＲ，Ｇ，Ｂ毎に作成する。Ｒ，Ｇ，Ｂ同時化処理を行う際には、水平画素数Ｗ×２、垂直画素数Ｈ×２のプレーンの画素に、拡大基準画像、保存用画像それぞれの非欠落画素を設定していく。
【００７５】
設定対象の画素について、拡大基準画像にも保存用画像にも同色の非欠落画素が存在しない場合には、ＲＧＢ同時化部２０９は当該画素の画素値を、画素周辺にある非欠落画素を線形補間した値によって作成する。本実施例では線形補間を使用するが、ＲＧＢ同時化部２０９が、適応補間によって同時化処理を行うようにしてもよい。
【００７６】
図３に戻って、ＹＵＶ変換部２１０が、Ｒ，Ｇ，Ｂ同時化処理後の画像に基づいて、ＹＵＶ画像を生成する（ステップＳ３１０）。ステップＳ３１０においては、ＹＵＶ変換部２１０は、Ｒ，Ｇ，Ｂ同時化処理によって得られるＲ，Ｇ，Ｂの画像を用いて、画素毎にＲＧＢ信号からＹＵＶ信号への変換を行う。これにより、水平画素数Ｗ×２、垂直画素数Ｈ×２のＹＵＶ画像が作成される。ＹＵＶ変換部２１０は、下記の式（４）を用いて、ＲＧＢ信号からＹＵＶ信号に変換する。
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ
Ｕ＝−０．１６９Ｒ−０．３３１Ｇ＋０．５００Ｂ
Ｖ＝０．５００Ｒ−０．４１９Ｇ−０．０８１Ｂ ・・・式（４）
【００７７】
ＹＵＶ変換部２１０は、ステップＳ３１０で生成したＹＵＶ画像を出力信号として超解像処理を終了とする。
【００７８】
本実施例の画像処理装置は、ベイヤー配列の低解像度画像を複数枚用いて、水平、垂直方向それぞれ３倍に画素数を拡大したベイヤー配列の高解像度画像を生成し、高解像度化を実現する超解像処理を行うことができる。すなわち、本実施例の画像処理装置は、１枚の拡大基準画像をメモリ部２０２に記憶させておき、この拡大基準画像の欠落画素を、ベイヤー配列を有する非基準画像を用いて、当該拡大基準画像においてベイヤー配列が維持されるように埋めていく。従って、本実施例の画像処理装置によれば、出力と同じ解像度を有する画像を色成分毎に作成する従来の複数枚超解像の方法よりも、メモリの使用量を削減し、少ない枚数の低解像度画像で高解像化を行うことができる。
【００７９】
また、本実施例の画像処理装置は、拡大基準画像が有する基準画像の画素のうち、基準画像が有する画素配列（ベイヤー配列）と同じ画素配列上に配置されていない画素を非欠落画素として有する保存用画像を、拡大基準画像とは別に生成して保存する。画像処理装置は、拡大基準画像の着目画素の色が非基準画像の参照画素の色と同色でない場合に、所定の評価値に基づいて挿入対象の参照画素を決定し、決定した参照画素を保存用画像の着目画素に挿入する。そして、画像処理装置は、画素挿入処理後の拡大基準画像と保存用画像とに基づいてＲ，Ｇ，Ｂ同時化処理を実行する。このように、本実施例の画像処理装置は、拡大基準画像と、基準画像の画素を非欠落画素として有する保存用画像とを用いてＲ，Ｇ，Ｂ同時化処理を実行するので、拡大基準画像のみを用いてＲ，Ｇ，Ｂ同時化処理を実行する場合よりも高解像度化を実現できる。
【００８０】
なお、本実施例の画像処理方法は、基準画像の拡大率を２倍にする場合のみならず、３倍、４倍に水平垂直方向に基準画像を拡大する場合に適用することができる。
【００８１】
（実施例２）
実施例２の画像処理装置は、画像処理部１０４に入力される低解像度画像の枚数に応じて、基準画像の拡大方法を変更する。実施例２の画像処理装置の構成は、実施例１の画像処理装置の構成と同様である。また、実施例２の画像処理部の構成は、実施例１の画像処理部の構成と同様である。
【００８２】
図１１は、実施例２の画像処理を説明するフローチャートである。ステップＳ１１０１乃至Ｓ１１０４は、図３のステップＳ３０１乃至Ｓ３０４と同様である。
【００８３】
ステップＳ１１０４において、画像生成部２０４が、ステップＳ１１０１で入力された低解像度画像の枚数が閾値ＴＨ１未満であるかを判断する（ステップＳ１１０５）。閾値ＴＨ１は、予め決められる。閾値ＴＨ１として、経験則または実験によって求めた値を用いてもよい。
【００８４】
ステップＳ１１０１で入力された低解像度画像の枚数が閾値ＴＨ１未満である場合は、ステップＳ１１０７に進む。ステップＳ１１０１で入力された低解像度画像の枚数が閾値ＴＨ１未満でない場合は、画像生成部２０４が、ステップＳ１１０１で入力された低解像度画像の枚数が閾値ＴＨ２未満であるかを判断する（ステップＳ１１０６）。閾値ＴＨ２は、閾値ＴＨ１より大きい値であって、予め決められる。閾値ＴＨ２として、経験則または実験によって求めた値を用いてもよい。
【００８５】
ステップＳ１１０１で入力された低解像度画像の枚数が閾値ＴＨ２未満である場合は、ステップＳ１１０８に進む。ステップＳ１１０１で入力された低解像度画像の枚数が閾値ＴＨ２未満でない場合は、ステップＳ１１０９に進む。
【００８６】
ステップＳ１１０７において、画像生成部２０４が、基準画像について、第１の拡大方法を用いた拡大処理を実行する。第１の拡大方法を用いた拡大処理は、基準画像が有するベイヤー配列が維持されるように該基準画像を予め決められた拡大倍率で拡大して第１の拡大基準画像を生成する処理である。
【００８７】
図１２は、基準画像の拡大処理を説明する図である。図１２（Ａ）は、拡大前の基準画像である。画像生成部２０４が第１の拡大方法を用いた拡大処理を実行する場合、画像生成部２０４は、図１２（Ｂ）に示すように、基準画像が有するベイヤー配列が維持されるように、基準画像を２倍に拡大する。これにより、１プレーンの第１の拡大基準画像が生成される。図１２（Ｂ）中のハッチングが施されていない画素が非欠落画素である。
【００８８】
ステップＳ１１０８において、画像生成部２０４が、基準画像について、第２の拡大方法を用いた拡大処理を実行する。第２の拡大方法を用いた拡大処理を行う場合、画像生成部２０４は、基準画像をＧ成分の画像とＲＢ成分の画像に分離する。画像生成部２０４は、Ｇ成分の画像を水平方向垂直方向共に２倍に拡大して第２の拡大基準画像を生成する。また、画像生成部２０４は、基準画像のＲＢ成分の画像をＲ成分とＢ成分とが市松状に配置されるように水平方向垂直方向共に２倍に拡大することによって、第３の拡大基準画像を生成する。
【００８９】
図１２（Ｃ）、（Ｄ）は、第２の拡大方法を用いて生成される２プレーンの拡大基準画像を示す。図１２（Ｃ）は、第２の拡大基準画像である。第２の拡大基準画像は、Ｇ成分のみの画素が配置される画素配列を有する。図１２（Ｄ）は、第３の拡大基準画像である。第３の拡大基準画像は、Ｒ成分とＢ成分とが市松状に配置される画素配列を有する。
【００９０】
図１２（Ｃ）に示すように、第２の拡大基準画像は、図１２（Ｂ）に示す第１の拡大基準画像よりも、Ｇ成分の非欠落画素の数が多い。従って、第２の拡大基準画像に基づいて生成されるＧ成分の高解像度画像は、図１２（Ｂ）に示す第１の拡大基準画像に基づいて生成されるＧ成分の高解像度画像よりも、解像度が高くなる。
【００９１】
ステップＳ１１０９において、画像生成部２０４が、基準画像について、第３の拡大方法を用いた拡大処理を実行する。第３の拡大方法を用いた拡大処理を行う場合、画像生成部２０４は、基準画像を色成分毎に分離した画像を作成する。そして、画像生成部２０４は、作成した各々の画像を水平方向垂直方向共に所定の拡大倍率で拡大することによって、第４、５、および６の拡大基準画像を生成する。具体的には、画像生成部２０４は、Ｇ成分の画像を２倍に拡大することによって、第４の拡大基準画像を生成する。画像生成部２０４は、Ｒ成分の画像を２倍に拡大することによって、第５の拡大基準画像を生成する。また、画像生成部２０４は、Ｂ成分の画像を２倍に拡大することによって、第６の拡大基準画像を生成する。
【００９２】
図１２（Ｅ）乃至（Ｇ）は、第３の拡大方法を用いて生成される３プレーンの拡大基準画像を示す。図１２（Ｅ）は、第４の拡大基準画像である。第４の拡大基準画像は、Ｇ成分のみの画素が配置される画素配列を有する。第５の拡大基準画像は、Ｒ成分のみの画素が配置される画素配列を有する。第６の拡大基準画像は、Ｂ成分のみの画素が配置される画素配列を有する。
【００９３】
図１１のステップＳ１１１０以降の処理は、図３のステップＳ３０６以降の処理と同様である。なお、ステップＳ１１１０の挿入画素選択処理において行われる色判断処理は、以下のようにして実行される。画素間距離算出部２０５は、第１の拡大基準画像については、第２の画素配列としてベイヤー配列を用いて色判断処理を実行する。
【００９４】
画素間距離算出部２０５は、第２の拡大基準画像については、第２の画素配列としてＧ成分のみの画素が配置される配列を用いて色判断処理を実行する。すなわち、第２の拡大基準画像の着目画素の色を全てＧとした上で、参照画素の色と比較する。画素間距離算出部２０５は、第３の拡大基準画像については、第２の画素配列としてＲ成分とＢ成分とが市松状に配置される画素配列を用いて色判断処理を実行する。すなわち、画素間距離算出部２０５は、第３の拡大基準画像の着目画素の色を、当該Ｒ成分とＢ成分とが市松状に配置される画素配列に応じて決まる色に決定した上で、参照画素の色と比較する。
【００９５】
画素間距離算出部２０５は、第４の拡大基準画像については、第２の画素配列としてＧ成分のみの画素が配置される配列を用いて色判断処理を実行する。すなわち、第２の拡大基準画像の着目画素の色を全てＧとした上で、参照画素の色と比較する。画素間距離算出部２０５は、第５の拡大基準画像については、第２の画素配列としてＲ成分のみの画素が配置される配列を用いて色判断処理を実行する。すなわち、第２の拡大基準画像の着目画素の色を全てＲとした上で、参照画素の色と比較する。画素間距離算出部２０５は、第６の拡大基準画像については、第２の画素配列としてＢ成分のみの画素が配置される配列を用いて色判断処理を実行する。すなわち、第２の拡大基準画像の着目画素の色を全てＢとした上で、参照画素の色と比較する。
【００９６】
第３の拡大方法を用いた拡大処理結果に基づく色判断処理を実行することによって、以下の効果が得られる。参照画素の色は、３プレーンの拡大基準画像のそれぞれにおける同じ位置の着目画素のいずれかと同色となる。従って、当該着目画素が欠落画素である場合には、３プレーンの拡大基準画像のうちのいずれかのプレーンの当該着目画素に参照画素が挿入される。これにより、効率的に拡大基準画像の欠落画素を埋めていくことができる。さらに、低解像度画像の枚数が多いほど、参照画素の提供元である非基準画像の数が多くなるので、拡大基準画像を３プレーンとしても、欠落画素が埋まりやすくなる。その結果、後に実行されるＲ，Ｇ，Ｂ同時化処理において、ＲＧＢ同時化部２０９の処理負荷を減らすことができる。
【００９７】
本実施例の画像処理装置によれば、入力される低解像度画像の枚数に応じて、メモリの使用量を抑えるか、Ｇ成分の解像度を高くするか、Ｒ，Ｇ，Ｂ同時化処理の負荷を減らすかのいずれかを実現することができる。
【００９８】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【符号の説明】
【００９９】
１０１ 光学系
１０２ 撮像素子
１０３ Ａ／Ｄ変換部
１０４ 画像処理部
１０５ システム制御部
１０６ 操作部
１０７ 表示部
１０８ 記録部
【特許請求の範囲】
【請求項１】
予め決められた第１の画素配列を有する複数枚の画像を撮像する撮影手段と、
前記撮影された複数枚の画像から１枚の画像を基準画像を選択するとともに、前記複数枚の画像のうち前記基準画像以外の画像を非基準画像とする画像選択手段と、
前記基準画像が有する画素の座標を前記非基準画像が有する画素の座標に変換する座標変換係数を算出し、該算出した座標変換係数を記憶手段に記憶する変換係数算出手段と、
前記基準画像を予め決められた拡大倍率で拡大して拡大基準画像とする画像拡大手段と、
前記拡大基準画像が有する画素のうち、前記第１の画素配列上に配置されている画素を第１の非欠落画素、該第１の画素配列上に配置されていない画素を第１の欠落画素として決定して該拡大基準画像を記憶手段に記憶する拡大基準画像記憶手段と、
前記拡大基準画像が有する前記基準画像の画素のうち、前記基準画像が有する画素配列と同じ画素配列上に配置されていない画素を第２の非欠落画素として有し、該拡大基準画像が有する画素のうち、前記第２の非欠落画素以外の画素を第２の欠落画素として有する保存用画像を生成して記憶手段に記憶する保存用画像生成手段と、
前記基準画像の拡大倍率と前記座標変換係数とを用いて、前記拡大基準画像が有する第１の欠落画素の座標を変換して参照座標とし、各々の非基準画像が有する画素のうち、前記参照座標との距離が最も近い画素を前記第１の欠落画素に対応する近傍画素として決定する近傍画素決定手段と、
予め決められた第２の画素配列と前記第１の欠落画素の座標とに基づいて、該第１の欠落画素の色を判別し、判別した該第１の欠落画素の色が前記近傍画素の色と同じであるかを判断する色判断処理を行う色判断手段と、
前記第１の欠落画素の色が前記近傍画素の色と同じであると判断された場合に、非基準画像が有する近傍画素のうち、対応する前記参照座標との距離が最も近い近傍画素を第１の参照画素として決定する第１参照画素決定手段と、
前記第１の欠落画素の色が前記近傍画素の色と同じでないと判断された場合に、該第１の欠落画素の色と、該近傍画素の色と、前記非基準画像が有する近傍画素と前記第１の参照座標との距離とに応じた、前記近傍画素の評価値を算出する評価値算出手段と、
非基準画像が有する近傍画素のうち、前記算出された評価値が最も大きい近傍画素を第２の参照画素として決定する第２参照画素決定手段と、
前記第１の参照画素を前記第１の欠落画素に挿入する第１の画素挿入手段と、
前記第２の参照画素を前記第２の欠落画素に挿入する第２の画素挿入手段とを備える
ことを特徴とする画像処理装置。
【請求項２】
前記第１の参照画素が前記第１の欠落画素に挿入された前記拡大基準画像と、前記第２の参照画素が前記第２の欠落画素に挿入された前記保存用画像とに基づいて、色同時化処理を行う色同時化手段を備える
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像拡大手段は、前記第１の画素配列が維持されるように前記基準画像を前記拡大倍率で拡大する
ことを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記第１および第２の画素配列がベイヤー配列である
ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記第１の画素配列がベイヤー配列であり、
前記画像拡大手段は、前記撮影された画像の枚数に応じて、前記基準画像を、第１の拡大方法、第２の拡大方法または第３の拡大方法のいずれかで拡大し、
前記第１の拡大方法は、前記基準画像が有するベイヤー配列が維持されるように該基準画像を前記拡大倍率で拡大して第１の拡大基準画像を生成し、
前記第２の拡大方法は、前記基準画像をＧ成分の画像とＲＢ成分の画像に分離し、Ｇ成分の画像を水平方向垂直方向共に前記拡大倍率で拡大を行って第２の拡大基準画像を生成するとともに、前記基準画像のＲＢ成分の画像をＲ成分とＢ成分とが市松状に配置されるように水平方向垂直方向共に前記拡大倍率で拡大することによって、第３の拡大基準画像を生成し、
前記第３の拡大方法は、前記基準画像を色成分毎に分離した画像を作成し、作成した各々の画像を水平方向垂直方向共に前記拡大倍率で拡大することによって、第４、５、および６の拡大基準画像を生成し、
前記色判断手段は、
前記第１の拡大基準画像については、前記第２の画素配列としてベイヤー配列を用いて前記色判断処理を実行し、
前記第２の拡大基準画像については、前記第２の画素配列としてＧ成分のみの画素が配置される配列を用いて前記色判断処理を実行し、前記第３の拡大基準画像については、前記第２の画素配列としてＲ成分とＢ成分とが市松状に配置される画素配列を用いて前記色判断処理を実行し、
前記第４の拡大基準画像については、前記第２の画素配列としてＧ成分のみの画素が配置される配列を用いて前記色判断処理を実行し、前記第５の拡大基準画像については、前記第２の画素配列としてＲ成分のみの画素が配置される配列を用いて前記色判断処理を実行し、前記第６の拡大基準画像については、前記第２の画素配列としてＢ成分のみの画素が配置される配列を用いて前記色判断処理を実行する
ことを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項６】
予め決められた第１の画素配列を有する複数枚の画像を撮像する工程と、
前記撮影された複数枚の画像から１枚の画像を基準画像を選択するとともに、前記複数枚の画像のうち前記基準画像以外の画像を非基準画像とする工程と、
前記基準画像が有する画素の座標を前記非基準画像が有する画素の座標に変換する座標変換係数を算出し、該算出した座標変換係数を記憶手段に記憶する工程と、
前記基準画像を予め決められた拡大倍率で拡大して拡大基準画像とする工程と、
前記拡大基準画像が有する画素のうち、前記第１の画素配列上に配置されている画素を第１の非欠落画素、該第１の画素配列上に配置されていない画素を第１の欠落画素として決定して該拡大基準画像を記憶手段に記憶する工程と、
前記拡大基準画像が有する前記基準画像の画素のうち、前記基準画像が有する画素配列と同じ画素配列上に配置されていない画素を第２の非欠落画素として有し、該拡大基準画像が有する画素のうち、前記第２の非欠落画素以外の画素を第２の欠落画素として有する保存用画像を生成して記憶手段に記憶する工程と、
前記基準画像の拡大倍率と前記座標変換係数とを用いて、前記拡大基準画像が有する第１の欠落画素の座標を変換して参照座標とし、各々の非基準画像が有する画素のうち、前記参照座標との距離が最も近い画素を前記第１の欠落画素に対応する近傍画素として決定する工程と、
予め決められた第２の画素配列と前記第１の欠落画素の座標とに基づいて、該第１の欠落画素の色を判別し、判別した該第１の欠落画素の色が前記近傍画素の色と同じであるかを判断する色判断処理を行う工程と、
前記第１の欠落画素の色が前記近傍画素の色と同じであると判断された場合に、非基準画像が有する近傍画素のうち、対応する前記参照座標との距離が最も近い近傍画素を第１の参照画素として決定する工程と、
前記第１の欠落画素の色が前記近傍画素の色と同じでないと判断された場合に、該第１の欠落画素の色と、該近傍画素の色と、前記非基準画像が有する近傍画素と前記第１の参照座標との距離とに応じた、前記近傍画素の評価値を算出する工程と、
非基準画像が有する近傍画素のうち、前記算出された評価値が最も大きい近傍画素を第２の参照画素として決定する工程と、
前記第１の参照画素を前記第１の欠落画素に挿入する工程と、
前記第２の参照画素を前記第２の欠落画素に挿入する工程とを有する
ことを特徴とする画像処理方法。
【請求項７】
請求項６に記載の画像処理方法をコンピュータに実行させることを特徴とするコンピュータプログラム。
【請求項１】
予め決められた第１の画素配列を有する複数枚の画像を撮像する撮影手段と、
前記撮影された複数枚の画像から１枚の画像を基準画像を選択するとともに、前記複数枚の画像のうち前記基準画像以外の画像を非基準画像とする画像選択手段と、
前記基準画像が有する画素の座標を前記非基準画像が有する画素の座標に変換する座標変換係数を算出し、該算出した座標変換係数を記憶手段に記憶する変換係数算出手段と、
前記基準画像を予め決められた拡大倍率で拡大して拡大基準画像とする画像拡大手段と、
前記拡大基準画像が有する画素のうち、前記第１の画素配列上に配置されている画素を第１の非欠落画素、該第１の画素配列上に配置されていない画素を第１の欠落画素として決定して該拡大基準画像を記憶手段に記憶する拡大基準画像記憶手段と、
前記拡大基準画像が有する前記基準画像の画素のうち、前記基準画像が有する画素配列と同じ画素配列上に配置されていない画素を第２の非欠落画素として有し、該拡大基準画像が有する画素のうち、前記第２の非欠落画素以外の画素を第２の欠落画素として有する保存用画像を生成して記憶手段に記憶する保存用画像生成手段と、
前記基準画像の拡大倍率と前記座標変換係数とを用いて、前記拡大基準画像が有する第１の欠落画素の座標を変換して参照座標とし、各々の非基準画像が有する画素のうち、前記参照座標との距離が最も近い画素を前記第１の欠落画素に対応する近傍画素として決定する近傍画素決定手段と、
予め決められた第２の画素配列と前記第１の欠落画素の座標とに基づいて、該第１の欠落画素の色を判別し、判別した該第１の欠落画素の色が前記近傍画素の色と同じであるかを判断する色判断処理を行う色判断手段と、
前記第１の欠落画素の色が前記近傍画素の色と同じであると判断された場合に、非基準画像が有する近傍画素のうち、対応する前記参照座標との距離が最も近い近傍画素を第１の参照画素として決定する第１参照画素決定手段と、
前記第１の欠落画素の色が前記近傍画素の色と同じでないと判断された場合に、該第１の欠落画素の色と、該近傍画素の色と、前記非基準画像が有する近傍画素と前記第１の参照座標との距離とに応じた、前記近傍画素の評価値を算出する評価値算出手段と、
非基準画像が有する近傍画素のうち、前記算出された評価値が最も大きい近傍画素を第２の参照画素として決定する第２参照画素決定手段と、
前記第１の参照画素を前記第１の欠落画素に挿入する第１の画素挿入手段と、
前記第２の参照画素を前記第２の欠落画素に挿入する第２の画素挿入手段とを備える
ことを特徴とする画像処理装置。
【請求項２】
前記第１の参照画素が前記第１の欠落画素に挿入された前記拡大基準画像と、前記第２の参照画素が前記第２の欠落画素に挿入された前記保存用画像とに基づいて、色同時化処理を行う色同時化手段を備える
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像拡大手段は、前記第１の画素配列が維持されるように前記基準画像を前記拡大倍率で拡大する
ことを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記第１および第２の画素配列がベイヤー配列である
ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記第１の画素配列がベイヤー配列であり、
前記画像拡大手段は、前記撮影された画像の枚数に応じて、前記基準画像を、第１の拡大方法、第２の拡大方法または第３の拡大方法のいずれかで拡大し、
前記第１の拡大方法は、前記基準画像が有するベイヤー配列が維持されるように該基準画像を前記拡大倍率で拡大して第１の拡大基準画像を生成し、
前記第２の拡大方法は、前記基準画像をＧ成分の画像とＲＢ成分の画像に分離し、Ｇ成分の画像を水平方向垂直方向共に前記拡大倍率で拡大を行って第２の拡大基準画像を生成するとともに、前記基準画像のＲＢ成分の画像をＲ成分とＢ成分とが市松状に配置されるように水平方向垂直方向共に前記拡大倍率で拡大することによって、第３の拡大基準画像を生成し、
前記第３の拡大方法は、前記基準画像を色成分毎に分離した画像を作成し、作成した各々の画像を水平方向垂直方向共に前記拡大倍率で拡大することによって、第４、５、および６の拡大基準画像を生成し、
前記色判断手段は、
前記第１の拡大基準画像については、前記第２の画素配列としてベイヤー配列を用いて前記色判断処理を実行し、
前記第２の拡大基準画像については、前記第２の画素配列としてＧ成分のみの画素が配置される配列を用いて前記色判断処理を実行し、前記第３の拡大基準画像については、前記第２の画素配列としてＲ成分とＢ成分とが市松状に配置される画素配列を用いて前記色判断処理を実行し、
前記第４の拡大基準画像については、前記第２の画素配列としてＧ成分のみの画素が配置される配列を用いて前記色判断処理を実行し、前記第５の拡大基準画像については、前記第２の画素配列としてＲ成分のみの画素が配置される配列を用いて前記色判断処理を実行し、前記第６の拡大基準画像については、前記第２の画素配列としてＢ成分のみの画素が配置される配列を用いて前記色判断処理を実行する
ことを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項６】
予め決められた第１の画素配列を有する複数枚の画像を撮像する工程と、
前記撮影された複数枚の画像から１枚の画像を基準画像を選択するとともに、前記複数枚の画像のうち前記基準画像以外の画像を非基準画像とする工程と、
前記基準画像が有する画素の座標を前記非基準画像が有する画素の座標に変換する座標変換係数を算出し、該算出した座標変換係数を記憶手段に記憶する工程と、
前記基準画像を予め決められた拡大倍率で拡大して拡大基準画像とする工程と、
前記拡大基準画像が有する画素のうち、前記第１の画素配列上に配置されている画素を第１の非欠落画素、該第１の画素配列上に配置されていない画素を第１の欠落画素として決定して該拡大基準画像を記憶手段に記憶する工程と、
前記拡大基準画像が有する前記基準画像の画素のうち、前記基準画像が有する画素配列と同じ画素配列上に配置されていない画素を第２の非欠落画素として有し、該拡大基準画像が有する画素のうち、前記第２の非欠落画素以外の画素を第２の欠落画素として有する保存用画像を生成して記憶手段に記憶する工程と、
前記基準画像の拡大倍率と前記座標変換係数とを用いて、前記拡大基準画像が有する第１の欠落画素の座標を変換して参照座標とし、各々の非基準画像が有する画素のうち、前記参照座標との距離が最も近い画素を前記第１の欠落画素に対応する近傍画素として決定する工程と、
予め決められた第２の画素配列と前記第１の欠落画素の座標とに基づいて、該第１の欠落画素の色を判別し、判別した該第１の欠落画素の色が前記近傍画素の色と同じであるかを判断する色判断処理を行う工程と、
前記第１の欠落画素の色が前記近傍画素の色と同じであると判断された場合に、非基準画像が有する近傍画素のうち、対応する前記参照座標との距離が最も近い近傍画素を第１の参照画素として決定する工程と、
前記第１の欠落画素の色が前記近傍画素の色と同じでないと判断された場合に、該第１の欠落画素の色と、該近傍画素の色と、前記非基準画像が有する近傍画素と前記第１の参照座標との距離とに応じた、前記近傍画素の評価値を算出する工程と、
非基準画像が有する近傍画素のうち、前記算出された評価値が最も大きい近傍画素を第２の参照画素として決定する工程と、
前記第１の参照画素を前記第１の欠落画素に挿入する工程と、
前記第２の参照画素を前記第２の欠落画素に挿入する工程とを有する
ことを特徴とする画像処理方法。
【請求項７】
請求項６に記載の画像処理方法をコンピュータに実行させることを特徴とするコンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１３−１１５６５０（Ｐ２０１３−１１５６５０Ａ）
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願番号】特願２０１１−２６０６６２（Ｐ２０１１−２６０６６２）
【出願日】平成２３年１１月２９日（２０１１．１１．２９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願日】平成２３年１１月２９日（２０１１．１１．２９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]