画像処理装置、画像処理方法およびコンピュータプログラム
【課題】従来の複数枚超解像の方法よりもメモリの使用量を削減し、少ない枚数の低解像度画像で高解像化を行う画像処理装置を提供する。
【解決手段】画像処理装置が、ベイヤー配列を有する複数枚の画像から基準画像と非基準画像とを選択し、基準画像に対する非基準画像の位置合わせを行う。画像処理装置が、基準画像を拡大して拡大基準画像とし、拡大基準画像が有する画素のうち、ベイヤー配列上に配置されている画素を非欠落画素、それ以外の画素を欠落画素として決定する。画像処理装置が、基準画像の拡大倍率と、位置合わせ結果と、ベイヤー配列とに基づいて、拡大基準画像が有する欠落画素に対応する非基準画像が有する画素であって、対応する欠落画素に挿入された場合に拡大基準画像の画素配列がベイヤー配列になる画素を参照画素として決定する。画像処理装置が、参照画素を、参照画素が対応する欠落画素に挿入する。
【解決手段】画像処理装置が、ベイヤー配列を有する複数枚の画像から基準画像と非基準画像とを選択し、基準画像に対する非基準画像の位置合わせを行う。画像処理装置が、基準画像を拡大して拡大基準画像とし、拡大基準画像が有する画素のうち、ベイヤー配列上に配置されている画素を非欠落画素、それ以外の画素を欠落画素として決定する。画像処理装置が、基準画像の拡大倍率と、位置合わせ結果と、ベイヤー配列とに基づいて、拡大基準画像が有する欠落画素に対応する非基準画像が有する画素であって、対応する欠落画素に挿入された場合に拡大基準画像の画素配列がベイヤー配列になる画素を参照画素として決定する。画像処理装置が、参照画素を、参照画素が対応する欠落画素に挿入する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法およびコンピュータプログラムに関する。
【背景技術】
【０００２】
複数枚の低解像度画像を用いて、１枚の高解像度画像を作成する複数枚超解像が提案されている。複数枚超解像の技術はデジタルカメラにおいて、電子ズームの画質を上げるために用いられる。従来、画像処理装置は、ベイヤー配列の色フィルタを有する撮像素子により得られた低解像度画像を用いて、以下のように１枚の高解像度画像を作成していた。画像処理装置は、ベイヤー配列の低解像度画像から１枚の高解像度画像を作成する為に、出力と同じ解像度を有する画像を色成分毎に作成し、それぞれの画像について複数枚超解像の処理を実行する。
【０００３】
なお、特許文献１は、複数枚の低解像度画像から高解像度画像を色成分毎に作成する際に、Ｇ成分のみ複数枚超解像の処理を行い、Ｒ成分、Ｂ成分については１枚の画像で単純な補間処理を行い、高解像度画像を作成する画像処理システムを開示する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−１１２００７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
出力と同じ解像度を有する画像を色成分毎に作成し複数枚超解像の処理を行う従来技術では、メモリを大量に使用してしまうという問題がある。また、この従来技術では、色成分毎の画像を出力と同じ解像度で必要とするので、欠落画素の補間に必要な低解像度画像の枚数が多くなるという問題がある。また、特許文献１が開示する画像処理システムでは、色成分毎に高解像度化の効果が大きく異なるという問題がある。
【０００６】
本発明は、従来の複数枚超解像の方法よりもメモリの使用量を削減し、少ない枚数の低解像度画像で高解像化を行う画像処理装置の提供を目的とする。
【課題を解決するための手段】
【０００７】
本発明の一実施形態の画像処理装置は、予め決められた画素配列を有する複数枚の画像を撮像する撮影手段と、前記撮影された複数枚の画像から１枚の画像を基準画像を選択するとともに、前記複数枚の画像のうち前記基準画像以外の画像を非基準画像とする画像選択手段と、前記基準画像に対する前記非基準画像の位置合わせを行い、該位置合わせ結果を記憶手段に記憶する位置合わせ手段と、前記基準画像を予め決められた拡大倍率で拡大して拡大基準画像とする画像拡大手段と、前記拡大基準画像が有する画素のうち、前記基準画像が有する画素配列と同じ画素配列上に配置されている画素を非欠落画素、該画素配列上に配置されていない画素を欠落画素として決定する欠落画素決定手段と、前記基準画像の拡大倍率と、前記記憶手段に記憶された位置合わせ結果と、前記画素配列とに基づいて、前記拡大基準画像が有する欠落画素に対応する前記非基準画像が有する画素であって、対応する欠落画素に挿入された場合に前記拡大基準画像の画素配列が前記基準画像が有する画素配列と同じになる画素を、参照画素として決定する参照画素決定手段と、前記決定された前記非基準画像が有する参照画素を、該参照画素が対応する欠落画素に挿入する画素挿入手段とを備える。
【発明の効果】
【０００８】
本発明の画像処理装置によれば、従来の複数枚超解像の方法よりもメモリの使用量を削減し、少ない枚数の低解像度の画像で高解像化を行うことができる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態の画像処理装置の構成例を示す図である。
【図２】画像処理部の一部の構成を示す図である。
【図３】実施例１の画像処理を説明するフローチャートである。
【図４】基準画像の拡大方法を説明する図である。
【図５】挿入画素選択処理を説明するフローチャートの例である。
【図６】距離ｄ［ｉ］の算出処理を説明する図である。
【図７】色判断処理を説明する図である。
【図８】画素挿入処理の一例を説明するフローチャートを示す図である。
【図９】Ｒ，Ｇ，Ｂ同時化処理の例を説明する図である。
【図１０】画像処理部の一部の構成例を示す図である。
【図１１】実施例２の画像処理を説明するフローチャートである。
【図１２】基準画像を２倍に拡大して拡大基準画像を生成する処理を説明する図である。
【図１３】高解像度画像生成時のメモリの使用状況を示す図である。
【図１４】高解像度画像の生成に最低限必要な低解像度画像の枚数を説明する図である。
【発明を実施するための形態】
【００１０】
図１は、本実施形態の画像処理装置の構成例を示す図である。この画像処理装置は、複数枚の低解像度の画像から１枚の高解像度の画像を生成する。この画像処理装置は、光学系１０１、撮像素子１０２、Ａ(Analog）／Ｄ（Digital)変換部１０３、画像処理部１０４、システム制御部１０５、操作部１０６、表示部１０７、記録部１０８を備える。
【００１１】
光学系１０１は、ズームレンズやフォーカスレンズから構成されるレンズ群、絞り調整装置、および、シャッター装置を備える。光学系１０１は、撮像素子１０２に到達する被写体像の倍率やピント位置、あるいは、光量を調整する。撮像素子１０２は、光学系１０１を通過した被写体の光束を光電変換し、電気信号に変換するＣＣＤやＣＭＯＳセンサ等の光電変換素子である。ＣＣＤは、Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｉｃｅの略称である。また、ＣＭＯＳは、Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｃｕｃｔｏｒの略称である。
【００１２】
本実施形態では、撮像素子１０２は、ベイヤー配列の色フィルタを備えた単板式の撮像素子である。すなわち、撮像素子１０２は、予め決められた画素配列（ベイヤー配列）を有する複数枚の画像を撮影する撮影手段として機能する。
【００１３】
Ａ／Ｄ変換部１０３は、入力された映像信号をデジタルの画像に変換する。画像処理部１０４は、通常の信号処理の他に、入力された複数枚の画像を用いて超解像処理を行う。画像処理部１０４はＡ／Ｄ変換部１０３から出力された画像のみでなく、記録部１０８から読み出した画像に対しても同様の画像処理を行うことができる。システム制御部１０５は、画像処理装置全体の動作を制御、統括する制御機能部である。画像処理部１０４で処理された画像から得られる輝度値や操作部１０６から送信された指示に基づいて、光学系１０１や撮像素子１０２の駆動制御も行う。
【００１４】
表示部１０７は、液晶ディスプレイや有機ＥＬ（Electro Luminescence）ディスプレイを有する。表示部１０７は、撮像素子１０２が生成した画像や、記録部１０８から読み出した画像を表示する。記録部１０８は、画像を記録する機能を有する。記録部１０８は、例えば、半導体メモリが搭載されたメモリカードや光磁気ディスク等の回転記録体を収容したパッケージなどを用いた情報記録媒体を備える。記録部１０８に、この情報記録媒体が着脱可能であってもよい。バス１０９は、画像処理部１０４、システム制御部１０５、表示部１０７、および、記録部１０８の間で画像をやり取りするために用いられる。
【００１５】
図２は、画像処理部の一部の構成を示す図である。図２に、画像処理部１０４が実行する超解像処理に関わる処理部を示す。画像処理部１０４は、基準画像選択部２０１、メモリ部２０２、座標変換係数算出部２０３、基準画像拡大部２０４、欠落画素判定部２０５、画素間距離算出部２０６、画素挿入部２０７、ＲＧＢ同時化部２０８、ＹＵＶ変換部２０９を備える。本実施形態の画像処理方法は、画像処理部１０４が備える処理部の機能によって実現される。また、本実施形態のコンピュータプログラムは、この画像処理方法をコンピュータに実行させることを特徴とする。
【００１６】
基準画像選択部２０１は、画像処理部１０４に入力された複数枚の画像から１枚の画像を基準画像を選択するとともに、複数枚の画像のうち基準画像以外の画像を非基準画像とする画像選択手段として機能する。メモリ部２０２は、基準画像選択部２０１乃至ＲＧＢ同時化部２０８が実行する処理に関する画像データを記憶する記憶手段として機能する。座標変換係数算出部２０３は、基準画像に対する非基準画像の位置合わせを行い、該位置合わせ結果をメモリ部２０２に記憶する位置合わせ手段として機能する。具体的には、座標変換係数算出部２０３は、基準画像が有する画素の座標を非基準画像が有する画素の座標に変換する座標変換式を算出し、該算出した座標変換式を位置合わせ結果とする。
【００１７】
基準画像拡大部２０４は、基準画像を予め決められた拡大倍率で拡大して拡大基準画像とする画像拡大手段として機能する。また、基準画像拡大部２０４は、拡大基準画像が有する画素のうち、基準画像が有する画素配列と同じ画素配列上に配置されている画素を非欠落画素、該画素配列上に配置されていない画素を欠落画素として決定する欠落画素決定手段として機能する。基準画像拡大部２０４は、拡大基準画像をメモリ部２０２に記憶する。
【００１８】
欠落画素判定部２０５は、メモリ部２０２から拡大基準画像を読み出し、読み出した拡大基準画像の着目画素すなわち処理対象の画素が欠落画素であるかを判断する。画素間距離算出部２０６は、欠落画素判定部２０５が、着目画素が欠落画素であると判断した場合に、参照画素と参照座標との距離ｄを算出する。参照座標は、拡大基準画像が有する欠落画素に対応する、非基準画像上の座標である。参照画素は、非基準画像が有する画素のうち、参照座標との距離が最も近い画素（近傍画素）である。具体的には、画素間距離算出部２０６は、基準画像の拡大倍率とメモリ部２０２内の座標変換式とを用いて、拡大基準画像が有する欠落画素の座標を変換して参照座標とする。そして、画素間距離算出部２０６は、各々の非基準画像について参照画素を決定し、決定した参照画素と参照座標との距離ｄを算出する。
【００１９】
また、画素間距離算出部２０６は、ベイヤー配列と着目画素の座標とに基づいて、着目画素の色を判別する。そして、画素挿入部２０７は、判別した着目画素の色が参照画素（近傍画素）の色と同じであるかを判断する。画素挿入部２０７は、着目画素の色と同じであると判断した参照画素を、距離ｄとともにメモリ部２０２に記憶する。
【００２０】
画素挿入部２０７は、メモリ部２０２から参照画素と距離ｄとを読み出す。そして、画素挿入部２０７は、非基準画像の参照画素のうち、対応する距離ｄが最も近い参照画素を挿入対象の参照画素として決定する。そして、画素挿入部２０７は、挿入対象の参照画素を、該参照画素が対応する拡大基準画像の欠落画素（着目画素）に挿入する画素挿入手段として機能する。
【００２１】
すなわち、画素間距離算出部２０６および画素挿入部２０７は、基準画像の拡大倍率と、位置合わせ結果と、画素配列とに基づいて、以下の処理を実行する参照画素決定手段として機能する。この参照画素決定手段は、拡大基準画像が有する欠落画素に対応する非基準画像が有する画素であって、対応する欠落画素に挿入された場合に拡大基準画像の画素配列が基準画像が有する画素配列と同じになる画素を、挿入対象の参照画素として決定する。
【００２２】
ＲＧＢ同時化部２０８は、参照画素が欠落画素に挿入された拡大基準画像をメモリ部２０２から読み出す。そして、ＲＧＢ同時化部２０８は、読み出した拡大基準画像に対して色同時化処理を行う色同時化手段として機能する。ＹＵＶ変換部２０９は、色同時化処理後の画像が有する画素のＲＧＢ信号をＹＵＶ信号に変換して出力画像として出力する。
【００２３】
（実施例１）
図３は、実施例１の画像処理を説明するフローチャートである。実施例１では、画像処理装置は、ベイヤー配列の低解像度画像を複数枚用いて、水平、垂直方向それぞれ３倍に画素数を拡大したベイヤー配列の高解像度画像を生成し、高解像度化を実現する。
【００２４】
まず、Ａ／Ｄ変換部１０３が、画像処理部１０４に対して、ｎ枚の低解像度の画像を入力する（ステップＳ３０１）。ここで、ｎ枚の画像は、手持ち状態で連続撮像された画像とする。なお、入力する低解像度の画像は、手持ち状態で撮像された画像に限らず、撮像者の意図した動き（パンニングまたはズーミング）、あるいはカメラの光学装置や撮像素子に機械的に動きを与える構成から得てもよい。
【００２５】
次に、基準画像選択部２０１が、超解像処理により高解像度画像とする対象となる画像を基準画像として選択する（ステップＳ３０２）。そして、残りの画像を非基準画像としてメモリ部２０２に保存する。ここでは、基準画像選択部２０１は、はじめに入力された画像を基準画像とし、残りのｎ−１枚の画像を非基準画像とする。なお、基準画像の選択基準はこの方法に限らず、基準画像選択部２０１が、はじめに入力された画像以外から選択するようにしてもよい。
【００２６】
次に、座標変換係数算出部２０３が、基準画像と非基準画像間の位置合わせに必要な座標変換式の係数を算出する（ステップＳ３０３）。本実施例では、座標変換式として射影変換の式を用いる。画像の予め決められた位置（例えば中心の位置）の座標を（０，０）とすると、基準画像の着目画素の座標（ｘ、ｙ）に対応する非基準画像の座標（ｘ’，ｙ’）を表す射影変換の式は、下記の式（１）である。
【００２７】
【数１】
基準画像の着目画素の座標（ｘ、ｙ）に対応する非基準画像の座標（ｘ’，ｙ’）を参照座標と呼称する。式（１）の射影変換係数の算出方法については、基準画像と非基準画像間でパターンマッチングによって求めた動きベクトルから連立方程式を用いて解くのが一般的である。しかし、座標変換係数算出部２０３が、撮影時のジャイロデータを用いて、射影変換の式の係数を求めるようにしてもよい。
【００２８】
次に、座標変換係数算出部２０３が、算出した座標変換式の係数（座標変換係数）を、非基準画像の枚数分、メモリ部２０２に保存する（ステップＳ３０４）。保存した座標変換係数は、ステップＳ３０７において用いられる。
【００２９】
次に、基準画像拡大部２０４が、基準画像を水平方向、垂直方向それぞれ３倍に拡大する（ステップＳ３０５）。本実施例では、基準画像拡大部２０４は、ベイヤー配列を維持したまま、基準画像を拡大する。なお、ステップＳ３０５の処理は、ステップＳ３０３の処理の前に行ってもよい。
【００３０】
図４は、ステップＳ３０５における基準画像の拡大方法を説明する図である。図４（Ａ）は、拡大前の基準画像である。この基準画像は、水平画素数Ｗ、垂直画素数Ｈのベイヤー配列を有する。基準画像拡大部２０４は、図４（Ａ）に示す基準画像を水平方向、垂直方向それぞれ３倍に拡大して、拡大基準画像を生成する。図４（Ｂ）は、拡大基準画像である。基準画像拡大部２０４は、拡大基準画像が含む画素のうち、基準画像が有する画素すなわちベイヤー配列上に配置されている画素を非欠落画素とする。基準画像拡大部２０４は、拡大基準画像が含む画素のうち、基準画像が有する画素以外の画素、すなわちベイヤー配列上に配置されてない画素を欠落画素とする。基準画像拡大部２０４は、欠落画素に、値として０を挿入する。
【００３１】
図３に戻って、ステップＳ３０６からステップＳ３０９において、画像処理装置は、ｎ−１枚の非基準画像を用いて、拡大基準画像の欠落画素を非基準画像の画素で置き換える処理を画素毎に実行する。まず、欠落画素判定部２０５が、着目画素が欠落画素であるかを判断する（ステップＳ３０６）。具体的には、欠落画素判定部２０５は、着目画素の値が０である場合は着目画素が欠落画素であると判断する。欠落画素判定部２０５は、着目画素の値が０でない場合は、着目画素が非欠落画像であると判断する。着目画素が欠落画素である場合は、ステップＳ３０７に進む。着目画素が非欠落画素である場合は、ステップＳ３０９に進む。ステップＳ３０７において、画像処理装置が、ｎ−１枚の非基準画像から挿入対象の参照画素の候補ｐｉｘを選択する（挿入画素選択処理を実行する）。
【００３２】
図５は、図３のステップＳ３０７における挿入画素選択処理を説明するフローチャートの例である。まず、画素間距離算出部２０６が、変数ｉを初期化する（ステップＳ５０１）。変数ｉは、ｎ−１枚の非基準画像を一意に識別する識別情報である。本実施例では、ｉ＋１枚目の非基準画像を非基準画像［ｉ］、非基準画像［ｉ］に対応する座標変換係数を座標変換係数［ｉ］とする。なお、ステップＳ５０５以降で使用するｄ［ｉ］、ｐｉｘ［ｉ］は、それぞれ、非基準画像［ｉ］に対応するｄ，ｐｉｘを示す。
【００３３】
次に、画素間距離算出部２０６が、非基準画像［ｉ］をメモリ部２０２から読み込む（ステップＳ５０２）。続いて、画素間距離算出部２０６が、非基準画像［ｉ］に対応する座標変換係数［ｉ］をメモリ部２０２から読み込む（ステップＳ５０３）。
【００３４】
次に、画素間距離算出部２０６が、ステップＳ５０３で読み込んだ座標変換係数［ｉ］を用いて、基準画像の着目画素の座標（ｘ、ｙ）に対応する非基準画像［ｉ］の参照座標（ｘ’，ｙ’）を算出する（ステップＳ５０４）。具体的には、画素間距離算出部２０６は、上述した式（１）で示す射影変換の式を用いて、参照座標を算出する。
【００３５】
次に、画素間距離算出部２０６が、ステップＳ５０４で算出した非基準画像［ｉ］の参照座標（ｘ’，ｙ’）に対し、最近傍にある非基準画像［ｉ］の画素（ｎｘ，ｎｙ）を参照画素（近傍画素）とする。そして、画素間距離算出部２０６が、参照画素と参照座標との距離ｄ［ｉ］を算出する（ステップＳ５０５）。
【００３６】
図６は、図５のステップＳ５０５における距離ｄ［ｉ］の算出処理を説明する図である。図６（Ａ）は拡大画像を示す。図６（Ｂ）は、非基準画像を示す。図６（Ａ）の拡大基準画像上の着目画素６０１の座標（ｘ、ｙ）に対し、対応する非基準画像（図６（Ｂ））の参照座標６０２は、（ｘ’，ｙ’）である。
【００３７】
画素間距離算出部２０６は、参照座標６０２を包含し、かつ参照座標６０２の最近傍に位置する画素である画素６０３を当該参照座標６０２に対応する参照画素として決定する。参照画素６０３の座標は、（ｎｘ，ｎｙ）であるものとすると、画素間距離算出部２０６は、参照画素と参照座標との距離ｄを、以下の式（２）を用いて算出する。
【００３８】
【数２】
上記のようにして、画素間距離算出部２０６は、非基準画像［ｉ］の参照座標（ｘ’，ｙ’）に対応する非基準画像［ｉ］の参照画素（ｎｘ，ｎｙ）を決定する。また、画素間距離算出部２０６は、非基準画像［ｉ］の参照座標（ｘ’，ｙ’）に対応する距離ｄ［ｉ］を算出する。
【００３９】
図５に戻って、画素間距離算出部２０６が、非基準画像［ｉ］の参照画素と拡大基準画像の着目画素と同色であるかを判断（色判断処理を実行）する（ステップＳ５０６）。着目画素が参照画素と同色である場合は、ステップＳ５０７に進む。着目画素が参照画素と同色でない場合は、ステップＳ５０８に進む。
【００４０】
図７は、色判断処理を説明する図である。図７中には、水平画素数Ｗ×３、垂直画素数Ｈ×３の拡大基準画像の各画素の色を示す。すなわち、この拡大基準画像はベイヤー配列を有する。欠落画素を非欠落画素に置き換えるためには、欠落画素の位置に記載されている色の画素で置き換えなければならない。
【００４１】
拡大基準画像の最も左上の画素の座標を（０，０）、最も右下の画素の座標を（３Ｗ−１，３Ｈ−１）とする。画素間距離算出部２０６は、着目画素（ｘ、ｙ）の色を、下記の式（３）で判別する。
（ｘ＆１）＝０かつ（ｙ＆１）＝０ならＲ
（ｘ＆１）＝１かつ（ｙ＆１）＝０、または（ｘ＆１）＝０かつ（ｙ＆１）＝１ならＧ （ｘ＆１）＝１かつ（ｙ＆１）＝１ならＢ
・・・式（３）
【００４２】
上記の式（ｘ＆１），（ｙ＆１）は、ｘ座標、ｙ座標がそれぞれ偶数であるか、奇数であるかを判別する式である。（ｘ＆１），（ｙ＆１）の値が０である時は、ｘ，ｙ座標が偶数、値が１である時は、ｘ，ｙ座標が奇数であることを示す。
【００４３】
なお、画素間距離算出部２０６は、非基準画像［ｉ］の参照画素（ｎｘ、ｎｙ）の色についても、最も左上の画素の座標を（０，０）、最も右下の画素の座標を（Ｗ−１，Ｈ−１）として、式（３）を用いて判別する。そして、画素間距離算出部２０６は、判別した着目画素（ｘ，ｙ）の色が参照画素（ｎｘ，ｎｙ）の色と同色であるかを判断（色判断処理を実行）する。つまり、画素間距離算出部２０６は、ベイヤー配列を用いて色判断処理を実行する。
【００４４】
図５に戻って、画素間距離算出部２０６が、基準画像の着目画素と同色であると判断された非基準画像［ｉ］の参照画素をｐｉｘ［ｉ］として、ステップＳ５０５で算出したｄ［ｉ］と共に、メモリ部２０２に保存する（ステップＳ５０７）。
【００４５】
次に、画素間距離算出部２０６が、ｎ−１枚全ての非基準画像についてステップＳ５０２からステップＳ５０７までの処理を行ったかを判断する（ステップＳ５０８）。当該処理を完了していない非基準画像がある場合、画素間距離算出部２０６が、ｉをインクリメントして（ステップＳ５０９）、ステップＳ５０２に戻る。全ての非基準画像について当該処理を完了している場合は、ステップＳ５１０に進む。
【００４６】
次に、画素挿入部２０７が、メモリ部２０２からｄ［ｉ］を読み出す。そして、画素挿入部２０７が、読み出したｄ［ｉ］のうち、最小の値を持つｄ［ｉ］をｄ＿ｍｉｎとして選択する（ステップＳ５１０）。メモリ部２０２内にｄ［ｉ］が１つもない場合、画素挿入部２０７は、ｄ＿ｍｉｎとして、設定可能な最大値（例えば「１」）を設定する。
【００４７】
次に、画素挿入部２０７が、ステップＳ５１０で選択されたｄ［ｉ］に対応する参照画素ｐｉｘ［ｉ］をメモリ部２０２から読み出し、読み出したｐｉｘ［ｉ］を非欠落画素の候補ｐｉｘとして選択する（ステップＳ５１１）。なお、メモリ部２０２内に、ｐｉｘに対応するｄ［ｉ］が１つもない場合、画素挿入部２０７は、ｐｉｘの値として０を設定する。
【００４８】
次に、画素挿入部２０７が、ステップＳ５１０で選択されたｄ＿ｍｉｎと、ステップＳ５１１で選択された非欠落画素の候補ｐｉｘとを出力して（ステップＳ５１２）、処理を終了する。
【００４９】
図３に戻って、画素挿入部２０７が、画素挿入処理を実行する（ステップＳ３０８）。具体的には、画素挿入部２０７が、拡大基準画像の欠落画素の値を非欠落画素の候補の値に置き換える処理を行う。
【００５０】
図８は、画素挿入処理の一例を説明するフローチャートを示す図である。画素挿入部２０７が、図５のステップＳ５１２で出力したｄ＿ｍｉｎ、ｐｉｘに基づいて、以下の処理を実行する。
【００５１】
まず、画素挿入部２０７が、ｄ＿ｍｉｎの値が閾値ＴＨ未満であるかを判断する（ステップＳ８０１）。閾値ＴＨは、予め決められる。閾値ＴＨが、経験則または実験によって決定されるものであってもよい。ｄ＿ｍｉｎの値が閾値ＴＨ未満でない場合は、ステップＳ８０３に進む。そして、画素挿入部２０７は、基準画像の着目画素の値をｐｉｘの値に置換せず（ステップＳ８０３）、処理を終了する。
【００５２】
ｄ＿ｍｉｎの値が閾値ＴＨ未満である場合は、ステップＳ８０２に進む。そして、画素挿入部２０７は、基準画像の着目画素の値をｐｉｘの値に置換して（ステップＳ８０２）、処理を終了する。
【００５３】
図３に戻って、画素挿入部２０７が、基準画像における全ての画素を処理したかを判断する（ステップＳ３０９）。基準画像における全ての画素を処理した場合は、ステップＳ３１０に進む。基準画像において未処理の画素がある場合は、ステップＳ３０６に戻る。
【００５４】
次に、ＲＧＢ同時化部２０８が、画素挿入処理後の拡大基準画像に基づいて、Ｒ，Ｇ，Ｂ同時化処理（色同時化処理）を実行する（ステップＳ３１０）。ここで、画素挿入処理によって参照画素ｐｉｘに置換されなかった着目画素は、欠落画素のままである。従って、ＲＧＢ同時化部２０８は、Ｒ，Ｇ，Ｂ同時化処理の際に補間処理を行って、欠落画素の値を補う。
【００５５】
図９は、Ｒ，Ｇ，Ｂ同時化処理の例を説明する図である。図９（Ａ）は、画素挿入処理後の拡大基準画像である。この例では、当該拡大基準画像は、水平画素数Ｗ×３、垂直画素数Ｈ×３のベイヤー配列の画像である。ＲＧＢ同時化部２０８は、図９（Ａ）に示す拡大基準画像に対して、Ｒ，Ｇ，Ｂの同時化処理を行って、図９（Ｂ）乃至（Ｄ）に示す画像を得る。
【００５６】
具体的には、ＲＧＢ同時化部２０８は、水平画素数Ｗ×３、垂直画素数Ｈ×３の画像をＲ，Ｇ，Ｂ毎に作成する。拡大基準画像において欠落画像のままとなっている画素については、拡大基準画像で存在する画素の線形補間で作成している。図９（Ｂ）乃至（Ｄ）における、ハッチングを施した画素が、補完画素である。本実施例では、線形補間を使用するが、適応補間によって同時化処理を行ってもよい。
【００５７】
図３に戻って、ＹＵＶ変換部２０９が、Ｒ，Ｇ，Ｂ同時化処理後の画像に基づいて、ＹＵＶ画像を生成する（ステップＳ３１１）。ステップＳ３１１においては、ＹＵＶ変換部２０９は、Ｒ，Ｇ，Ｂ同時化処理によって得られるＲ，Ｇ，Ｂの画像を用いて、画素毎にＲＧＢ信号からＹＵＶ信号への変換を行う。これにより、水平画素数Ｗ×３、垂直画素数Ｈ×３のＹＵＶ画像が作成される。ＹＵＶ変換部２０９は、下記の式（４）を用いて、ＲＧＢ信号からＹＵＶ信号に変換する。
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ
Ｕ＝−０．１６９Ｒ−０．３３１Ｇ＋０．５００Ｂ
Ｖ＝０．５００Ｒ−０．４１９Ｇ−０．０８１Ｂ ・・・式（４）
【００５８】
ＹＵＶ変換部２０９は、ステップＳ３１１で生成したＹＵＶ画像を出力信号として超解像処理を終了とする。
【００５９】
本実施例の画像処理装置は、ベイヤー配列の低解像度画像を複数枚用いて、水平、垂直方向それぞれ３倍に画素数を拡大したベイヤー配列の高解像度画像を生成し、高解像度化を実現する超解像処理を行う。すなわち、本実施例の画像処理装置は、１枚の拡大基準画像の欠落画素を、ベイヤー配列を有する非基準画像を用いて、当該拡大基準画像においてベイヤー配列が維持されるように埋めていく。従って、本実施例の画像処理装置によれば、従来の複数枚超解像の方法よりもメモリの使用量を削減し、少ない枚数の低解像度画像で高解像化を行うことができる。なお、本実施例の画像処理装置は、基準画像の拡大率を３倍にする場合のみならず、５倍、７倍など奇数倍に水平垂直方向に基準画像を拡大する場合に適用することができる。
【００６０】
以下に、従来の超解像処理と比較した場合における本実施例の画像処理装置を用いた画像処理方法（超解像処理）の効果について説明する。比較する項目は、メモリの使用量と低解像度画像の必要枚数である。
【００６１】
図１３は、従来と本実施例の超解像処理における高解像度画像生成時のメモリの使用状況を示す図である。図１３に示すメモリは、メモリ部２０２が備えるメモリである。なお、座標変換式の係数のデータについては画像保存に使うメモリの使用量より十分少ないので省略している。
【００６２】
従来の超解像処理は、同じ解像度を有した色成分毎の高解像度画像を生成するので、図１３（Ａ）に示すように、色成分毎の基準画像をメモリに保存する。一方、本実施例の超解像処理では、図１３（Ｂ）に示すように、ベイヤー配列の高解像度画像を生成するので、１枚の基準画像を保存しておけばよい。
【００６３】
高解像度画像の生成に必要な低解像度画像の枚数が、従来の超解像処理と本実施例の超解像処理とで異なる。従って、図中、従来の超解像処理において必要な低解像度画像の枚数をｍ枚、本実施例において必要な低解像度画像の枚数をｎ枚としている。
【００６４】
図１４は、高解像度画像の生成に最低限必要な低解像度画像の枚数を説明する図である。最低限必要な低解像度画像の枚数とは、理想的に無駄なく欠落画素が埋まる様なシフト量で撮像素子を駆動させ、撮像した低解像画像で高解像度画像を生成できる最短の枚数を示す。
【００６５】
図１４に示す表の横の項目が高解像度化の手法を示す。縦の項目が低解像度画像に対する高解像度画像の拡大率を示す。高解像度画像の拡大率が３倍の場合、低解像度画像の最低限必要な枚数は、従来の超解像処理で３６枚なのに対し、本実施例の超解像処理では９枚である。このように、本実施例の超解像処理は、従来よりも少ない枚数の低解像度画像で高解像化を実現することができる。
【００６６】
図１３に戻って、最低限必要な枚数の低解像度画像で、拡大率が３倍の高解像度画像を生成する際のメモリの使用量を式で表すと、従来の超解像処理におけるメモリの使用量は、以下の式（５）、本実施例の超解像処理におけるメモリの使用量は式（６）で示される。ｍ＝３６，ｎ＝９であり、Ｗは低解像度画像の水平画素数、Ｈは低解像度画像の垂直画素数である。また、１画素につき、２バイトのデータ量とする。
（Ｗ×Ｈ×３６＋３Ｗ×３Ｈ ×３）×２＝１２６×Ｗ×Ｈ（バイト）・・・式（５）
（Ｗ×Ｈ×９＋３Ｗ×３Ｈ×１）×２＝３６×Ｗ×Ｈ（バイト）・・・式（６）
【００６７】
上記の式（５）、式（６）を参照すると、従来の超解像処理に対し、本実施例の超解像処理は、メモリの使用量を９０×Ｗ×Ｈバイト削減することができる。例えば、低解像度画像の水平画素数Ｗを３６４８画素、垂直画素数Ｈを２７３６画素とすると、約８９８Ｍバイトの使用量を削減することができる。
【００６８】
（実施例２）
次に、実施例２について説明する。実施例２の画像処理装置は、ベイヤー配列の低解像度画像を複数枚用いて、水平、垂直方向それぞれ３倍に画素数を拡大したベイヤー配列の高解像度画像を生成する。そして、画像処理装置は、上記高解像度画像を２／３倍に縮小して、低解像度画像に対する２倍の高解像度画像を生成する。
【００６９】
図１２は、基準画像を水平、垂直方向それぞれ２倍に画素数を拡大して拡大基準画像を生成する処理を説明する図である。実施例１の画像処理方法で、画像処理装置が、水平画素数Ｗ、垂直画素数Ｈのベイヤー配列の基準画像（図１２（Ａ））を２倍に拡大した場合、図１２（Ｂ）に示す拡大基準画像が得られる。図１２（Ｂ）に示す拡大基準画像を参照すると、ベイヤー配列に従うと、拡大前の基準画像の画素のうち、Ｇのみ非欠落画素となり、Ｒ，Ｂはそれぞれ拡大後の基準画像１２ｂのＧの箇所に位置するので、欠落画素となる。
【００７０】
画像処理装置が、奇数倍である３倍のベイヤー配列の高解像度画像を生成した方が、拡大前の基準画像のＲ，Ｇ，Ｂ全てを非欠落画素として残すことができる。また、実施例１の超解像処理を行う時に最低限必要な低解像度画像の枚数は、図１４に示す表を参照すると、２倍の拡大率では１２枚必要なのに対し、３倍の拡大率では９枚である。
【００７１】
上述したことから、偶数倍である２倍の拡大率よりも、奇数倍である３倍の拡大率で超解像処理を行ったう方が、最低限必要な低解像画像の枚数が少ないことがわかる。従って、実施例２では、画像処理装置は、３倍のベイヤー配列の高解像度画像を生成して色同時化処理を行った後、この高解像度画像を２／３倍に縮小して、低解像度画像に対して２倍の高解像度画像を生成する。以下、本実施例について、実施例１との差分の説明を行う。
【００７２】
図１０は、実施例２の画像処理装置が備える画像処理部の一部の構成例を示す図である。実施例２における画像処理部１０４は、実施例１における画像処理部１０４が備える機能処理部に加えて、画像縮小部１００１を備える。画像縮小部１００１は、ＲＧＢ同時化部２０８による色同時化処理結果を予め決められた縮小倍率で縮小する画像縮小手段として機能する。
【００７３】
図１１は、実施例２の画像処理を説明するフローチャートである。ステップＳ１１０１乃至Ｓ１１１０の処理は、図３のステップＳ３０１乃至Ｓ３１０の処理と同様である。ステップＳ１１１０の処理によって、水平画素数Ｗ×３、垂直画素数Ｈ×３のＲ，Ｇ，Ｂの画像（Ｒ，Ｇ，Ｂ同時化画像）が色同時化処理結果として得られるものとする。
【００７４】
ステップＳ１１１１において、画像縮小部１００１が、ステップＳ１１１０の処理によって得られる色同時化処理結果を、水平画素数Ｗ×２、垂直画素数Ｈ×２のＲ，Ｇ，Ｂ同時化画像に縮小する。縮小方法としては、公知の技術であるバイリニア法を用いる。
【００７５】
そして、ステップＳ１１１２において、ＹＵＶ変換部２０９が、ステップＳ１１１１で縮小した水平画素数Ｗ×２、垂直画素数Ｈ×２のＲ，Ｇ，Ｂ同時化画像を用いて、画素毎にＲＧＢ信号からＹＵＶ信号への変換を行う。これにより、水平画素数Ｗ×２、垂直画素数Ｈ×２のＹＵＶ画像が作成される。ＹＵＶ変換部２０９が、作成したＹＵＶ画像を出力信号として超解像処理を終了する。
【００７６】
実施例２の画像処理装置は、ベイヤー配列の低解像度画像を複数枚用いて、水平、垂直方向それぞれ３倍に画素数を拡大したベイヤー配列の高解像度画像を生成する。そして、この画像処理装置は、高解像度画像に基づいて生成されるＲ，Ｇ，Ｂ同時化画像を縮小して、低解像度画像に対して２倍の高解像度画像を生成する。これにより、最低限必要な低解像画像の枚数を実施例１の画像処理装置よりも少なくすることができる。
【００７７】
なお、実施例２において適用するＲ，Ｇ，Ｂ同時化画像の縮小率を任意に設定することによって、低解像度画像に対する２倍の高解像度画像だけでなく、４倍、８倍など偶数倍の高解像度画像を生成することもできる。
【００７８】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【符号の説明】
【００７９】
１０１ 光学系
１０２ 撮像素子
１０３ Ａ／Ｄ変換部
１０４ 画像処理部
１０５ システム制御部
１０６ 操作部
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法およびコンピュータプログラムに関する。
【背景技術】
【０００２】
複数枚の低解像度画像を用いて、１枚の高解像度画像を作成する複数枚超解像が提案されている。複数枚超解像の技術はデジタルカメラにおいて、電子ズームの画質を上げるために用いられる。従来、画像処理装置は、ベイヤー配列の色フィルタを有する撮像素子により得られた低解像度画像を用いて、以下のように１枚の高解像度画像を作成していた。画像処理装置は、ベイヤー配列の低解像度画像から１枚の高解像度画像を作成する為に、出力と同じ解像度を有する画像を色成分毎に作成し、それぞれの画像について複数枚超解像の処理を実行する。
【０００３】
なお、特許文献１は、複数枚の低解像度画像から高解像度画像を色成分毎に作成する際に、Ｇ成分のみ複数枚超解像の処理を行い、Ｒ成分、Ｂ成分については１枚の画像で単純な補間処理を行い、高解像度画像を作成する画像処理システムを開示する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−１１２００７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
出力と同じ解像度を有する画像を色成分毎に作成し複数枚超解像の処理を行う従来技術では、メモリを大量に使用してしまうという問題がある。また、この従来技術では、色成分毎の画像を出力と同じ解像度で必要とするので、欠落画素の補間に必要な低解像度画像の枚数が多くなるという問題がある。また、特許文献１が開示する画像処理システムでは、色成分毎に高解像度化の効果が大きく異なるという問題がある。
【０００６】
本発明は、従来の複数枚超解像の方法よりもメモリの使用量を削減し、少ない枚数の低解像度画像で高解像化を行う画像処理装置の提供を目的とする。
【課題を解決するための手段】
【０００７】
本発明の一実施形態の画像処理装置は、予め決められた画素配列を有する複数枚の画像を撮像する撮影手段と、前記撮影された複数枚の画像から１枚の画像を基準画像を選択するとともに、前記複数枚の画像のうち前記基準画像以外の画像を非基準画像とする画像選択手段と、前記基準画像に対する前記非基準画像の位置合わせを行い、該位置合わせ結果を記憶手段に記憶する位置合わせ手段と、前記基準画像を予め決められた拡大倍率で拡大して拡大基準画像とする画像拡大手段と、前記拡大基準画像が有する画素のうち、前記基準画像が有する画素配列と同じ画素配列上に配置されている画素を非欠落画素、該画素配列上に配置されていない画素を欠落画素として決定する欠落画素決定手段と、前記基準画像の拡大倍率と、前記記憶手段に記憶された位置合わせ結果と、前記画素配列とに基づいて、前記拡大基準画像が有する欠落画素に対応する前記非基準画像が有する画素であって、対応する欠落画素に挿入された場合に前記拡大基準画像の画素配列が前記基準画像が有する画素配列と同じになる画素を、参照画素として決定する参照画素決定手段と、前記決定された前記非基準画像が有する参照画素を、該参照画素が対応する欠落画素に挿入する画素挿入手段とを備える。
【発明の効果】
【０００８】
本発明の画像処理装置によれば、従来の複数枚超解像の方法よりもメモリの使用量を削減し、少ない枚数の低解像度の画像で高解像化を行うことができる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態の画像処理装置の構成例を示す図である。
【図２】画像処理部の一部の構成を示す図である。
【図３】実施例１の画像処理を説明するフローチャートである。
【図４】基準画像の拡大方法を説明する図である。
【図５】挿入画素選択処理を説明するフローチャートの例である。
【図６】距離ｄ［ｉ］の算出処理を説明する図である。
【図７】色判断処理を説明する図である。
【図８】画素挿入処理の一例を説明するフローチャートを示す図である。
【図９】Ｒ，Ｇ，Ｂ同時化処理の例を説明する図である。
【図１０】画像処理部の一部の構成例を示す図である。
【図１１】実施例２の画像処理を説明するフローチャートである。
【図１２】基準画像を２倍に拡大して拡大基準画像を生成する処理を説明する図である。
【図１３】高解像度画像生成時のメモリの使用状況を示す図である。
【図１４】高解像度画像の生成に最低限必要な低解像度画像の枚数を説明する図である。
【発明を実施するための形態】
【００１０】
図１は、本実施形態の画像処理装置の構成例を示す図である。この画像処理装置は、複数枚の低解像度の画像から１枚の高解像度の画像を生成する。この画像処理装置は、光学系１０１、撮像素子１０２、Ａ(Analog）／Ｄ（Digital)変換部１０３、画像処理部１０４、システム制御部１０５、操作部１０６、表示部１０７、記録部１０８を備える。
【００１１】
光学系１０１は、ズームレンズやフォーカスレンズから構成されるレンズ群、絞り調整装置、および、シャッター装置を備える。光学系１０１は、撮像素子１０２に到達する被写体像の倍率やピント位置、あるいは、光量を調整する。撮像素子１０２は、光学系１０１を通過した被写体の光束を光電変換し、電気信号に変換するＣＣＤやＣＭＯＳセンサ等の光電変換素子である。ＣＣＤは、Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｉｃｅの略称である。また、ＣＭＯＳは、Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｃｕｃｔｏｒの略称である。
【００１２】
本実施形態では、撮像素子１０２は、ベイヤー配列の色フィルタを備えた単板式の撮像素子である。すなわち、撮像素子１０２は、予め決められた画素配列（ベイヤー配列）を有する複数枚の画像を撮影する撮影手段として機能する。
【００１３】
Ａ／Ｄ変換部１０３は、入力された映像信号をデジタルの画像に変換する。画像処理部１０４は、通常の信号処理の他に、入力された複数枚の画像を用いて超解像処理を行う。画像処理部１０４はＡ／Ｄ変換部１０３から出力された画像のみでなく、記録部１０８から読み出した画像に対しても同様の画像処理を行うことができる。システム制御部１０５は、画像処理装置全体の動作を制御、統括する制御機能部である。画像処理部１０４で処理された画像から得られる輝度値や操作部１０６から送信された指示に基づいて、光学系１０１や撮像素子１０２の駆動制御も行う。
【００１４】
表示部１０７は、液晶ディスプレイや有機ＥＬ（Electro Luminescence）ディスプレイを有する。表示部１０７は、撮像素子１０２が生成した画像や、記録部１０８から読み出した画像を表示する。記録部１０８は、画像を記録する機能を有する。記録部１０８は、例えば、半導体メモリが搭載されたメモリカードや光磁気ディスク等の回転記録体を収容したパッケージなどを用いた情報記録媒体を備える。記録部１０８に、この情報記録媒体が着脱可能であってもよい。バス１０９は、画像処理部１０４、システム制御部１０５、表示部１０７、および、記録部１０８の間で画像をやり取りするために用いられる。
【００１５】
図２は、画像処理部の一部の構成を示す図である。図２に、画像処理部１０４が実行する超解像処理に関わる処理部を示す。画像処理部１０４は、基準画像選択部２０１、メモリ部２０２、座標変換係数算出部２０３、基準画像拡大部２０４、欠落画素判定部２０５、画素間距離算出部２０６、画素挿入部２０７、ＲＧＢ同時化部２０８、ＹＵＶ変換部２０９を備える。本実施形態の画像処理方法は、画像処理部１０４が備える処理部の機能によって実現される。また、本実施形態のコンピュータプログラムは、この画像処理方法をコンピュータに実行させることを特徴とする。
【００１６】
基準画像選択部２０１は、画像処理部１０４に入力された複数枚の画像から１枚の画像を基準画像を選択するとともに、複数枚の画像のうち基準画像以外の画像を非基準画像とする画像選択手段として機能する。メモリ部２０２は、基準画像選択部２０１乃至ＲＧＢ同時化部２０８が実行する処理に関する画像データを記憶する記憶手段として機能する。座標変換係数算出部２０３は、基準画像に対する非基準画像の位置合わせを行い、該位置合わせ結果をメモリ部２０２に記憶する位置合わせ手段として機能する。具体的には、座標変換係数算出部２０３は、基準画像が有する画素の座標を非基準画像が有する画素の座標に変換する座標変換式を算出し、該算出した座標変換式を位置合わせ結果とする。
【００１７】
基準画像拡大部２０４は、基準画像を予め決められた拡大倍率で拡大して拡大基準画像とする画像拡大手段として機能する。また、基準画像拡大部２０４は、拡大基準画像が有する画素のうち、基準画像が有する画素配列と同じ画素配列上に配置されている画素を非欠落画素、該画素配列上に配置されていない画素を欠落画素として決定する欠落画素決定手段として機能する。基準画像拡大部２０４は、拡大基準画像をメモリ部２０２に記憶する。
【００１８】
欠落画素判定部２０５は、メモリ部２０２から拡大基準画像を読み出し、読み出した拡大基準画像の着目画素すなわち処理対象の画素が欠落画素であるかを判断する。画素間距離算出部２０６は、欠落画素判定部２０５が、着目画素が欠落画素であると判断した場合に、参照画素と参照座標との距離ｄを算出する。参照座標は、拡大基準画像が有する欠落画素に対応する、非基準画像上の座標である。参照画素は、非基準画像が有する画素のうち、参照座標との距離が最も近い画素（近傍画素）である。具体的には、画素間距離算出部２０６は、基準画像の拡大倍率とメモリ部２０２内の座標変換式とを用いて、拡大基準画像が有する欠落画素の座標を変換して参照座標とする。そして、画素間距離算出部２０６は、各々の非基準画像について参照画素を決定し、決定した参照画素と参照座標との距離ｄを算出する。
【００１９】
また、画素間距離算出部２０６は、ベイヤー配列と着目画素の座標とに基づいて、着目画素の色を判別する。そして、画素挿入部２０７は、判別した着目画素の色が参照画素（近傍画素）の色と同じであるかを判断する。画素挿入部２０７は、着目画素の色と同じであると判断した参照画素を、距離ｄとともにメモリ部２０２に記憶する。
【００２０】
画素挿入部２０７は、メモリ部２０２から参照画素と距離ｄとを読み出す。そして、画素挿入部２０７は、非基準画像の参照画素のうち、対応する距離ｄが最も近い参照画素を挿入対象の参照画素として決定する。そして、画素挿入部２０７は、挿入対象の参照画素を、該参照画素が対応する拡大基準画像の欠落画素（着目画素）に挿入する画素挿入手段として機能する。
【００２１】
すなわち、画素間距離算出部２０６および画素挿入部２０７は、基準画像の拡大倍率と、位置合わせ結果と、画素配列とに基づいて、以下の処理を実行する参照画素決定手段として機能する。この参照画素決定手段は、拡大基準画像が有する欠落画素に対応する非基準画像が有する画素であって、対応する欠落画素に挿入された場合に拡大基準画像の画素配列が基準画像が有する画素配列と同じになる画素を、挿入対象の参照画素として決定する。
【００２２】
ＲＧＢ同時化部２０８は、参照画素が欠落画素に挿入された拡大基準画像をメモリ部２０２から読み出す。そして、ＲＧＢ同時化部２０８は、読み出した拡大基準画像に対して色同時化処理を行う色同時化手段として機能する。ＹＵＶ変換部２０９は、色同時化処理後の画像が有する画素のＲＧＢ信号をＹＵＶ信号に変換して出力画像として出力する。
【００２３】
（実施例１）
図３は、実施例１の画像処理を説明するフローチャートである。実施例１では、画像処理装置は、ベイヤー配列の低解像度画像を複数枚用いて、水平、垂直方向それぞれ３倍に画素数を拡大したベイヤー配列の高解像度画像を生成し、高解像度化を実現する。
【００２４】
まず、Ａ／Ｄ変換部１０３が、画像処理部１０４に対して、ｎ枚の低解像度の画像を入力する（ステップＳ３０１）。ここで、ｎ枚の画像は、手持ち状態で連続撮像された画像とする。なお、入力する低解像度の画像は、手持ち状態で撮像された画像に限らず、撮像者の意図した動き（パンニングまたはズーミング）、あるいはカメラの光学装置や撮像素子に機械的に動きを与える構成から得てもよい。
【００２５】
次に、基準画像選択部２０１が、超解像処理により高解像度画像とする対象となる画像を基準画像として選択する（ステップＳ３０２）。そして、残りの画像を非基準画像としてメモリ部２０２に保存する。ここでは、基準画像選択部２０１は、はじめに入力された画像を基準画像とし、残りのｎ−１枚の画像を非基準画像とする。なお、基準画像の選択基準はこの方法に限らず、基準画像選択部２０１が、はじめに入力された画像以外から選択するようにしてもよい。
【００２６】
次に、座標変換係数算出部２０３が、基準画像と非基準画像間の位置合わせに必要な座標変換式の係数を算出する（ステップＳ３０３）。本実施例では、座標変換式として射影変換の式を用いる。画像の予め決められた位置（例えば中心の位置）の座標を（０，０）とすると、基準画像の着目画素の座標（ｘ、ｙ）に対応する非基準画像の座標（ｘ’，ｙ’）を表す射影変換の式は、下記の式（１）である。
【００２７】
【数１】
基準画像の着目画素の座標（ｘ、ｙ）に対応する非基準画像の座標（ｘ’，ｙ’）を参照座標と呼称する。式（１）の射影変換係数の算出方法については、基準画像と非基準画像間でパターンマッチングによって求めた動きベクトルから連立方程式を用いて解くのが一般的である。しかし、座標変換係数算出部２０３が、撮影時のジャイロデータを用いて、射影変換の式の係数を求めるようにしてもよい。
【００２８】
次に、座標変換係数算出部２０３が、算出した座標変換式の係数（座標変換係数）を、非基準画像の枚数分、メモリ部２０２に保存する（ステップＳ３０４）。保存した座標変換係数は、ステップＳ３０７において用いられる。
【００２９】
次に、基準画像拡大部２０４が、基準画像を水平方向、垂直方向それぞれ３倍に拡大する（ステップＳ３０５）。本実施例では、基準画像拡大部２０４は、ベイヤー配列を維持したまま、基準画像を拡大する。なお、ステップＳ３０５の処理は、ステップＳ３０３の処理の前に行ってもよい。
【００３０】
図４は、ステップＳ３０５における基準画像の拡大方法を説明する図である。図４（Ａ）は、拡大前の基準画像である。この基準画像は、水平画素数Ｗ、垂直画素数Ｈのベイヤー配列を有する。基準画像拡大部２０４は、図４（Ａ）に示す基準画像を水平方向、垂直方向それぞれ３倍に拡大して、拡大基準画像を生成する。図４（Ｂ）は、拡大基準画像である。基準画像拡大部２０４は、拡大基準画像が含む画素のうち、基準画像が有する画素すなわちベイヤー配列上に配置されている画素を非欠落画素とする。基準画像拡大部２０４は、拡大基準画像が含む画素のうち、基準画像が有する画素以外の画素、すなわちベイヤー配列上に配置されてない画素を欠落画素とする。基準画像拡大部２０４は、欠落画素に、値として０を挿入する。
【００３１】
図３に戻って、ステップＳ３０６からステップＳ３０９において、画像処理装置は、ｎ−１枚の非基準画像を用いて、拡大基準画像の欠落画素を非基準画像の画素で置き換える処理を画素毎に実行する。まず、欠落画素判定部２０５が、着目画素が欠落画素であるかを判断する（ステップＳ３０６）。具体的には、欠落画素判定部２０５は、着目画素の値が０である場合は着目画素が欠落画素であると判断する。欠落画素判定部２０５は、着目画素の値が０でない場合は、着目画素が非欠落画像であると判断する。着目画素が欠落画素である場合は、ステップＳ３０７に進む。着目画素が非欠落画素である場合は、ステップＳ３０９に進む。ステップＳ３０７において、画像処理装置が、ｎ−１枚の非基準画像から挿入対象の参照画素の候補ｐｉｘを選択する（挿入画素選択処理を実行する）。
【００３２】
図５は、図３のステップＳ３０７における挿入画素選択処理を説明するフローチャートの例である。まず、画素間距離算出部２０６が、変数ｉを初期化する（ステップＳ５０１）。変数ｉは、ｎ−１枚の非基準画像を一意に識別する識別情報である。本実施例では、ｉ＋１枚目の非基準画像を非基準画像［ｉ］、非基準画像［ｉ］に対応する座標変換係数を座標変換係数［ｉ］とする。なお、ステップＳ５０５以降で使用するｄ［ｉ］、ｐｉｘ［ｉ］は、それぞれ、非基準画像［ｉ］に対応するｄ，ｐｉｘを示す。
【００３３】
次に、画素間距離算出部２０６が、非基準画像［ｉ］をメモリ部２０２から読み込む（ステップＳ５０２）。続いて、画素間距離算出部２０６が、非基準画像［ｉ］に対応する座標変換係数［ｉ］をメモリ部２０２から読み込む（ステップＳ５０３）。
【００３４】
次に、画素間距離算出部２０６が、ステップＳ５０３で読み込んだ座標変換係数［ｉ］を用いて、基準画像の着目画素の座標（ｘ、ｙ）に対応する非基準画像［ｉ］の参照座標（ｘ’，ｙ’）を算出する（ステップＳ５０４）。具体的には、画素間距離算出部２０６は、上述した式（１）で示す射影変換の式を用いて、参照座標を算出する。
【００３５】
次に、画素間距離算出部２０６が、ステップＳ５０４で算出した非基準画像［ｉ］の参照座標（ｘ’，ｙ’）に対し、最近傍にある非基準画像［ｉ］の画素（ｎｘ，ｎｙ）を参照画素（近傍画素）とする。そして、画素間距離算出部２０６が、参照画素と参照座標との距離ｄ［ｉ］を算出する（ステップＳ５０５）。
【００３６】
図６は、図５のステップＳ５０５における距離ｄ［ｉ］の算出処理を説明する図である。図６（Ａ）は拡大画像を示す。図６（Ｂ）は、非基準画像を示す。図６（Ａ）の拡大基準画像上の着目画素６０１の座標（ｘ、ｙ）に対し、対応する非基準画像（図６（Ｂ））の参照座標６０２は、（ｘ’，ｙ’）である。
【００３７】
画素間距離算出部２０６は、参照座標６０２を包含し、かつ参照座標６０２の最近傍に位置する画素である画素６０３を当該参照座標６０２に対応する参照画素として決定する。参照画素６０３の座標は、（ｎｘ，ｎｙ）であるものとすると、画素間距離算出部２０６は、参照画素と参照座標との距離ｄを、以下の式（２）を用いて算出する。
【００３８】
【数２】
上記のようにして、画素間距離算出部２０６は、非基準画像［ｉ］の参照座標（ｘ’，ｙ’）に対応する非基準画像［ｉ］の参照画素（ｎｘ，ｎｙ）を決定する。また、画素間距離算出部２０６は、非基準画像［ｉ］の参照座標（ｘ’，ｙ’）に対応する距離ｄ［ｉ］を算出する。
【００３９】
図５に戻って、画素間距離算出部２０６が、非基準画像［ｉ］の参照画素と拡大基準画像の着目画素と同色であるかを判断（色判断処理を実行）する（ステップＳ５０６）。着目画素が参照画素と同色である場合は、ステップＳ５０７に進む。着目画素が参照画素と同色でない場合は、ステップＳ５０８に進む。
【００４０】
図７は、色判断処理を説明する図である。図７中には、水平画素数Ｗ×３、垂直画素数Ｈ×３の拡大基準画像の各画素の色を示す。すなわち、この拡大基準画像はベイヤー配列を有する。欠落画素を非欠落画素に置き換えるためには、欠落画素の位置に記載されている色の画素で置き換えなければならない。
【００４１】
拡大基準画像の最も左上の画素の座標を（０，０）、最も右下の画素の座標を（３Ｗ−１，３Ｈ−１）とする。画素間距離算出部２０６は、着目画素（ｘ、ｙ）の色を、下記の式（３）で判別する。
（ｘ＆１）＝０かつ（ｙ＆１）＝０ならＲ
（ｘ＆１）＝１かつ（ｙ＆１）＝０、または（ｘ＆１）＝０かつ（ｙ＆１）＝１ならＧ （ｘ＆１）＝１かつ（ｙ＆１）＝１ならＢ
・・・式（３）
【００４２】
上記の式（ｘ＆１），（ｙ＆１）は、ｘ座標、ｙ座標がそれぞれ偶数であるか、奇数であるかを判別する式である。（ｘ＆１），（ｙ＆１）の値が０である時は、ｘ，ｙ座標が偶数、値が１である時は、ｘ，ｙ座標が奇数であることを示す。
【００４３】
なお、画素間距離算出部２０６は、非基準画像［ｉ］の参照画素（ｎｘ、ｎｙ）の色についても、最も左上の画素の座標を（０，０）、最も右下の画素の座標を（Ｗ−１，Ｈ−１）として、式（３）を用いて判別する。そして、画素間距離算出部２０６は、判別した着目画素（ｘ，ｙ）の色が参照画素（ｎｘ，ｎｙ）の色と同色であるかを判断（色判断処理を実行）する。つまり、画素間距離算出部２０６は、ベイヤー配列を用いて色判断処理を実行する。
【００４４】
図５に戻って、画素間距離算出部２０６が、基準画像の着目画素と同色であると判断された非基準画像［ｉ］の参照画素をｐｉｘ［ｉ］として、ステップＳ５０５で算出したｄ［ｉ］と共に、メモリ部２０２に保存する（ステップＳ５０７）。
【００４５】
次に、画素間距離算出部２０６が、ｎ−１枚全ての非基準画像についてステップＳ５０２からステップＳ５０７までの処理を行ったかを判断する（ステップＳ５０８）。当該処理を完了していない非基準画像がある場合、画素間距離算出部２０６が、ｉをインクリメントして（ステップＳ５０９）、ステップＳ５０２に戻る。全ての非基準画像について当該処理を完了している場合は、ステップＳ５１０に進む。
【００４６】
次に、画素挿入部２０７が、メモリ部２０２からｄ［ｉ］を読み出す。そして、画素挿入部２０７が、読み出したｄ［ｉ］のうち、最小の値を持つｄ［ｉ］をｄ＿ｍｉｎとして選択する（ステップＳ５１０）。メモリ部２０２内にｄ［ｉ］が１つもない場合、画素挿入部２０７は、ｄ＿ｍｉｎとして、設定可能な最大値（例えば「１」）を設定する。
【００４７】
次に、画素挿入部２０７が、ステップＳ５１０で選択されたｄ［ｉ］に対応する参照画素ｐｉｘ［ｉ］をメモリ部２０２から読み出し、読み出したｐｉｘ［ｉ］を非欠落画素の候補ｐｉｘとして選択する（ステップＳ５１１）。なお、メモリ部２０２内に、ｐｉｘに対応するｄ［ｉ］が１つもない場合、画素挿入部２０７は、ｐｉｘの値として０を設定する。
【００４８】
次に、画素挿入部２０７が、ステップＳ５１０で選択されたｄ＿ｍｉｎと、ステップＳ５１１で選択された非欠落画素の候補ｐｉｘとを出力して（ステップＳ５１２）、処理を終了する。
【００４９】
図３に戻って、画素挿入部２０７が、画素挿入処理を実行する（ステップＳ３０８）。具体的には、画素挿入部２０７が、拡大基準画像の欠落画素の値を非欠落画素の候補の値に置き換える処理を行う。
【００５０】
図８は、画素挿入処理の一例を説明するフローチャートを示す図である。画素挿入部２０７が、図５のステップＳ５１２で出力したｄ＿ｍｉｎ、ｐｉｘに基づいて、以下の処理を実行する。
【００５１】
まず、画素挿入部２０７が、ｄ＿ｍｉｎの値が閾値ＴＨ未満であるかを判断する（ステップＳ８０１）。閾値ＴＨは、予め決められる。閾値ＴＨが、経験則または実験によって決定されるものであってもよい。ｄ＿ｍｉｎの値が閾値ＴＨ未満でない場合は、ステップＳ８０３に進む。そして、画素挿入部２０７は、基準画像の着目画素の値をｐｉｘの値に置換せず（ステップＳ８０３）、処理を終了する。
【００５２】
ｄ＿ｍｉｎの値が閾値ＴＨ未満である場合は、ステップＳ８０２に進む。そして、画素挿入部２０７は、基準画像の着目画素の値をｐｉｘの値に置換して（ステップＳ８０２）、処理を終了する。
【００５３】
図３に戻って、画素挿入部２０７が、基準画像における全ての画素を処理したかを判断する（ステップＳ３０９）。基準画像における全ての画素を処理した場合は、ステップＳ３１０に進む。基準画像において未処理の画素がある場合は、ステップＳ３０６に戻る。
【００５４】
次に、ＲＧＢ同時化部２０８が、画素挿入処理後の拡大基準画像に基づいて、Ｒ，Ｇ，Ｂ同時化処理（色同時化処理）を実行する（ステップＳ３１０）。ここで、画素挿入処理によって参照画素ｐｉｘに置換されなかった着目画素は、欠落画素のままである。従って、ＲＧＢ同時化部２０８は、Ｒ，Ｇ，Ｂ同時化処理の際に補間処理を行って、欠落画素の値を補う。
【００５５】
図９は、Ｒ，Ｇ，Ｂ同時化処理の例を説明する図である。図９（Ａ）は、画素挿入処理後の拡大基準画像である。この例では、当該拡大基準画像は、水平画素数Ｗ×３、垂直画素数Ｈ×３のベイヤー配列の画像である。ＲＧＢ同時化部２０８は、図９（Ａ）に示す拡大基準画像に対して、Ｒ，Ｇ，Ｂの同時化処理を行って、図９（Ｂ）乃至（Ｄ）に示す画像を得る。
【００５６】
具体的には、ＲＧＢ同時化部２０８は、水平画素数Ｗ×３、垂直画素数Ｈ×３の画像をＲ，Ｇ，Ｂ毎に作成する。拡大基準画像において欠落画像のままとなっている画素については、拡大基準画像で存在する画素の線形補間で作成している。図９（Ｂ）乃至（Ｄ）における、ハッチングを施した画素が、補完画素である。本実施例では、線形補間を使用するが、適応補間によって同時化処理を行ってもよい。
【００５７】
図３に戻って、ＹＵＶ変換部２０９が、Ｒ，Ｇ，Ｂ同時化処理後の画像に基づいて、ＹＵＶ画像を生成する（ステップＳ３１１）。ステップＳ３１１においては、ＹＵＶ変換部２０９は、Ｒ，Ｇ，Ｂ同時化処理によって得られるＲ，Ｇ，Ｂの画像を用いて、画素毎にＲＧＢ信号からＹＵＶ信号への変換を行う。これにより、水平画素数Ｗ×３、垂直画素数Ｈ×３のＹＵＶ画像が作成される。ＹＵＶ変換部２０９は、下記の式（４）を用いて、ＲＧＢ信号からＹＵＶ信号に変換する。
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ
Ｕ＝−０．１６９Ｒ−０．３３１Ｇ＋０．５００Ｂ
Ｖ＝０．５００Ｒ−０．４１９Ｇ−０．０８１Ｂ ・・・式（４）
【００５８】
ＹＵＶ変換部２０９は、ステップＳ３１１で生成したＹＵＶ画像を出力信号として超解像処理を終了とする。
【００５９】
本実施例の画像処理装置は、ベイヤー配列の低解像度画像を複数枚用いて、水平、垂直方向それぞれ３倍に画素数を拡大したベイヤー配列の高解像度画像を生成し、高解像度化を実現する超解像処理を行う。すなわち、本実施例の画像処理装置は、１枚の拡大基準画像の欠落画素を、ベイヤー配列を有する非基準画像を用いて、当該拡大基準画像においてベイヤー配列が維持されるように埋めていく。従って、本実施例の画像処理装置によれば、従来の複数枚超解像の方法よりもメモリの使用量を削減し、少ない枚数の低解像度画像で高解像化を行うことができる。なお、本実施例の画像処理装置は、基準画像の拡大率を３倍にする場合のみならず、５倍、７倍など奇数倍に水平垂直方向に基準画像を拡大する場合に適用することができる。
【００６０】
以下に、従来の超解像処理と比較した場合における本実施例の画像処理装置を用いた画像処理方法（超解像処理）の効果について説明する。比較する項目は、メモリの使用量と低解像度画像の必要枚数である。
【００６１】
図１３は、従来と本実施例の超解像処理における高解像度画像生成時のメモリの使用状況を示す図である。図１３に示すメモリは、メモリ部２０２が備えるメモリである。なお、座標変換式の係数のデータについては画像保存に使うメモリの使用量より十分少ないので省略している。
【００６２】
従来の超解像処理は、同じ解像度を有した色成分毎の高解像度画像を生成するので、図１３（Ａ）に示すように、色成分毎の基準画像をメモリに保存する。一方、本実施例の超解像処理では、図１３（Ｂ）に示すように、ベイヤー配列の高解像度画像を生成するので、１枚の基準画像を保存しておけばよい。
【００６３】
高解像度画像の生成に必要な低解像度画像の枚数が、従来の超解像処理と本実施例の超解像処理とで異なる。従って、図中、従来の超解像処理において必要な低解像度画像の枚数をｍ枚、本実施例において必要な低解像度画像の枚数をｎ枚としている。
【００６４】
図１４は、高解像度画像の生成に最低限必要な低解像度画像の枚数を説明する図である。最低限必要な低解像度画像の枚数とは、理想的に無駄なく欠落画素が埋まる様なシフト量で撮像素子を駆動させ、撮像した低解像画像で高解像度画像を生成できる最短の枚数を示す。
【００６５】
図１４に示す表の横の項目が高解像度化の手法を示す。縦の項目が低解像度画像に対する高解像度画像の拡大率を示す。高解像度画像の拡大率が３倍の場合、低解像度画像の最低限必要な枚数は、従来の超解像処理で３６枚なのに対し、本実施例の超解像処理では９枚である。このように、本実施例の超解像処理は、従来よりも少ない枚数の低解像度画像で高解像化を実現することができる。
【００６６】
図１３に戻って、最低限必要な枚数の低解像度画像で、拡大率が３倍の高解像度画像を生成する際のメモリの使用量を式で表すと、従来の超解像処理におけるメモリの使用量は、以下の式（５）、本実施例の超解像処理におけるメモリの使用量は式（６）で示される。ｍ＝３６，ｎ＝９であり、Ｗは低解像度画像の水平画素数、Ｈは低解像度画像の垂直画素数である。また、１画素につき、２バイトのデータ量とする。
（Ｗ×Ｈ×３６＋３Ｗ×３Ｈ ×３）×２＝１２６×Ｗ×Ｈ（バイト）・・・式（５）
（Ｗ×Ｈ×９＋３Ｗ×３Ｈ×１）×２＝３６×Ｗ×Ｈ（バイト）・・・式（６）
【００６７】
上記の式（５）、式（６）を参照すると、従来の超解像処理に対し、本実施例の超解像処理は、メモリの使用量を９０×Ｗ×Ｈバイト削減することができる。例えば、低解像度画像の水平画素数Ｗを３６４８画素、垂直画素数Ｈを２７３６画素とすると、約８９８Ｍバイトの使用量を削減することができる。
【００６８】
（実施例２）
次に、実施例２について説明する。実施例２の画像処理装置は、ベイヤー配列の低解像度画像を複数枚用いて、水平、垂直方向それぞれ３倍に画素数を拡大したベイヤー配列の高解像度画像を生成する。そして、画像処理装置は、上記高解像度画像を２／３倍に縮小して、低解像度画像に対する２倍の高解像度画像を生成する。
【００６９】
図１２は、基準画像を水平、垂直方向それぞれ２倍に画素数を拡大して拡大基準画像を生成する処理を説明する図である。実施例１の画像処理方法で、画像処理装置が、水平画素数Ｗ、垂直画素数Ｈのベイヤー配列の基準画像（図１２（Ａ））を２倍に拡大した場合、図１２（Ｂ）に示す拡大基準画像が得られる。図１２（Ｂ）に示す拡大基準画像を参照すると、ベイヤー配列に従うと、拡大前の基準画像の画素のうち、Ｇのみ非欠落画素となり、Ｒ，Ｂはそれぞれ拡大後の基準画像１２ｂのＧの箇所に位置するので、欠落画素となる。
【００７０】
画像処理装置が、奇数倍である３倍のベイヤー配列の高解像度画像を生成した方が、拡大前の基準画像のＲ，Ｇ，Ｂ全てを非欠落画素として残すことができる。また、実施例１の超解像処理を行う時に最低限必要な低解像度画像の枚数は、図１４に示す表を参照すると、２倍の拡大率では１２枚必要なのに対し、３倍の拡大率では９枚である。
【００７１】
上述したことから、偶数倍である２倍の拡大率よりも、奇数倍である３倍の拡大率で超解像処理を行ったう方が、最低限必要な低解像画像の枚数が少ないことがわかる。従って、実施例２では、画像処理装置は、３倍のベイヤー配列の高解像度画像を生成して色同時化処理を行った後、この高解像度画像を２／３倍に縮小して、低解像度画像に対して２倍の高解像度画像を生成する。以下、本実施例について、実施例１との差分の説明を行う。
【００７２】
図１０は、実施例２の画像処理装置が備える画像処理部の一部の構成例を示す図である。実施例２における画像処理部１０４は、実施例１における画像処理部１０４が備える機能処理部に加えて、画像縮小部１００１を備える。画像縮小部１００１は、ＲＧＢ同時化部２０８による色同時化処理結果を予め決められた縮小倍率で縮小する画像縮小手段として機能する。
【００７３】
図１１は、実施例２の画像処理を説明するフローチャートである。ステップＳ１１０１乃至Ｓ１１１０の処理は、図３のステップＳ３０１乃至Ｓ３１０の処理と同様である。ステップＳ１１１０の処理によって、水平画素数Ｗ×３、垂直画素数Ｈ×３のＲ，Ｇ，Ｂの画像（Ｒ，Ｇ，Ｂ同時化画像）が色同時化処理結果として得られるものとする。
【００７４】
ステップＳ１１１１において、画像縮小部１００１が、ステップＳ１１１０の処理によって得られる色同時化処理結果を、水平画素数Ｗ×２、垂直画素数Ｈ×２のＲ，Ｇ，Ｂ同時化画像に縮小する。縮小方法としては、公知の技術であるバイリニア法を用いる。
【００７５】
そして、ステップＳ１１１２において、ＹＵＶ変換部２０９が、ステップＳ１１１１で縮小した水平画素数Ｗ×２、垂直画素数Ｈ×２のＲ，Ｇ，Ｂ同時化画像を用いて、画素毎にＲＧＢ信号からＹＵＶ信号への変換を行う。これにより、水平画素数Ｗ×２、垂直画素数Ｈ×２のＹＵＶ画像が作成される。ＹＵＶ変換部２０９が、作成したＹＵＶ画像を出力信号として超解像処理を終了する。
【００７６】
実施例２の画像処理装置は、ベイヤー配列の低解像度画像を複数枚用いて、水平、垂直方向それぞれ３倍に画素数を拡大したベイヤー配列の高解像度画像を生成する。そして、この画像処理装置は、高解像度画像に基づいて生成されるＲ，Ｇ，Ｂ同時化画像を縮小して、低解像度画像に対して２倍の高解像度画像を生成する。これにより、最低限必要な低解像画像の枚数を実施例１の画像処理装置よりも少なくすることができる。
【００７７】
なお、実施例２において適用するＲ，Ｇ，Ｂ同時化画像の縮小率を任意に設定することによって、低解像度画像に対する２倍の高解像度画像だけでなく、４倍、８倍など偶数倍の高解像度画像を生成することもできる。
【００７８】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【符号の説明】
【００７９】
１０１ 光学系
１０２ 撮像素子
１０３ Ａ／Ｄ変換部
１０４ 画像処理部
１０５ システム制御部
１０６ 操作部
【特許請求の範囲】
【請求項１】
予め決められた画素配列を有する複数枚の画像を撮像する撮影手段と、
前記撮影された複数枚の画像から１枚の画像を基準画像を選択するとともに、前記複数枚の画像のうち前記基準画像以外の画像を非基準画像とする画像選択手段と、
前記基準画像に対する前記非基準画像の位置合わせを行い、該位置合わせ結果を記憶手段に記憶する位置合わせ手段と、
前記基準画像を予め決められた拡大倍率で拡大して拡大基準画像とする画像拡大手段と、
前記拡大基準画像が有する画素のうち、前記基準画像が有する画素配列と同じ画素配列上に配置されている画素を非欠落画素、該画素配列上に配置されていない画素を欠落画素として決定する欠落画素決定手段と、
前記基準画像の拡大倍率と、前記記憶手段に記憶された位置合わせ結果と、前記画素配列とに基づいて、前記拡大基準画像が有する欠落画素に対応する前記非基準画像が有する画素であって、対応する欠落画素に挿入された場合に前記拡大基準画像の画素配列が前記基準画像が有する画素配列と同じになる画素を、参照画素として決定する参照画素決定手段と、
前記決定された前記非基準画像が有する参照画素を、該参照画素が対応する欠落画素に挿入する画素挿入手段とを備える
ことを特徴とする画像処理装置。
【請求項２】
前記参照画素が欠落画素に挿入された拡大基準画像に対して色同時化処理を行う色同時化手段を備える
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記色同時化処理結果を予め決められた縮小倍率で縮小する画像縮小手段を備える
ことを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記画像拡大手段は、前記基準画像が有する画素配列が維持されるように該基準画像を拡大する
ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記画素配列がベイヤー配列である
ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記位置合わせ手段は、前記基準画像が有する画素の座標を前記非基準画像が有する画素の座標に変換する座標変換係数を算出し、該算出した座標変換係数を前記位置合わせ結果とし、
前記参照画素決定手段は、
前記基準画像の拡大倍率と前記座標変換係数とを用いて、前記拡大基準画像が有する欠落画素の座標を変換して参照座標とし、
各々の非基準画像が有する画素のうち、前記参照座標との距離が最も近い画素を近傍画素として決定し、
前記画素配列と前記欠落画素の座標とに基づいて、該欠落画素の色を判別し、判別した該欠落画素の色が前記近傍画素の色と同じであるかを判断し、
前記欠落画素の色と同じであると判断した近傍画素のうち、対応する前記参照座標との距離が最も近い近傍画素を前記参照画素として決定する
ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
予め決められた画素配列を有する複数枚の画像を撮像する工程と、
前記撮影された複数枚の画像から１枚の画像を基準画像を選択するとともに、前記複数枚の画像のうち前記基準画像以外の画像を非基準画像とする工程と、
前記基準画像に対する前記非基準画像の位置合わせを行い、該位置合わせ結果を記憶手段に記憶する工程と、
前記基準画像を予め決められた拡大倍率で拡大して拡大基準画像とする工程と、
前記拡大基準画像が有する画素のうち、前記基準画像が有する画素配列と同じ画素配列上に配置されている画素を非欠落画素、該画素配列上に配置されていない画素を欠落画素として決定する工程と、
前記基準画像の拡大倍率と、前記記憶手段に記憶された位置合わせ結果と、前記画素配列とに基づいて、前記拡大基準画像が有する欠落画素に対応する前記非基準画像が有する画素であって、対応する欠落画素に挿入された場合に前記拡大基準画像の画素配列が前記基準画像が有する画素配列と同じになる画素を、参照画素として決定する工程と、
前記決定された前記非基準画像が有する参照画素を、該参照画素が対応する欠落画素に挿入する工程とを有する
ことを特徴とする画像処理方法。
【請求項８】
請求項７に記載の画像処理方法をコンピュータに実行させることを特徴とするコンピュータプログラム。
【請求項１】
予め決められた画素配列を有する複数枚の画像を撮像する撮影手段と、
前記撮影された複数枚の画像から１枚の画像を基準画像を選択するとともに、前記複数枚の画像のうち前記基準画像以外の画像を非基準画像とする画像選択手段と、
前記基準画像に対する前記非基準画像の位置合わせを行い、該位置合わせ結果を記憶手段に記憶する位置合わせ手段と、
前記基準画像を予め決められた拡大倍率で拡大して拡大基準画像とする画像拡大手段と、
前記拡大基準画像が有する画素のうち、前記基準画像が有する画素配列と同じ画素配列上に配置されている画素を非欠落画素、該画素配列上に配置されていない画素を欠落画素として決定する欠落画素決定手段と、
前記基準画像の拡大倍率と、前記記憶手段に記憶された位置合わせ結果と、前記画素配列とに基づいて、前記拡大基準画像が有する欠落画素に対応する前記非基準画像が有する画素であって、対応する欠落画素に挿入された場合に前記拡大基準画像の画素配列が前記基準画像が有する画素配列と同じになる画素を、参照画素として決定する参照画素決定手段と、
前記決定された前記非基準画像が有する参照画素を、該参照画素が対応する欠落画素に挿入する画素挿入手段とを備える
ことを特徴とする画像処理装置。
【請求項２】
前記参照画素が欠落画素に挿入された拡大基準画像に対して色同時化処理を行う色同時化手段を備える
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記色同時化処理結果を予め決められた縮小倍率で縮小する画像縮小手段を備える
ことを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記画像拡大手段は、前記基準画像が有する画素配列が維持されるように該基準画像を拡大する
ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記画素配列がベイヤー配列である
ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記位置合わせ手段は、前記基準画像が有する画素の座標を前記非基準画像が有する画素の座標に変換する座標変換係数を算出し、該算出した座標変換係数を前記位置合わせ結果とし、
前記参照画素決定手段は、
前記基準画像の拡大倍率と前記座標変換係数とを用いて、前記拡大基準画像が有する欠落画素の座標を変換して参照座標とし、
各々の非基準画像が有する画素のうち、前記参照座標との距離が最も近い画素を近傍画素として決定し、
前記画素配列と前記欠落画素の座標とに基づいて、該欠落画素の色を判別し、判別した該欠落画素の色が前記近傍画素の色と同じであるかを判断し、
前記欠落画素の色と同じであると判断した近傍画素のうち、対応する前記参照座標との距離が最も近い近傍画素を前記参照画素として決定する
ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
予め決められた画素配列を有する複数枚の画像を撮像する工程と、
前記撮影された複数枚の画像から１枚の画像を基準画像を選択するとともに、前記複数枚の画像のうち前記基準画像以外の画像を非基準画像とする工程と、
前記基準画像に対する前記非基準画像の位置合わせを行い、該位置合わせ結果を記憶手段に記憶する工程と、
前記基準画像を予め決められた拡大倍率で拡大して拡大基準画像とする工程と、
前記拡大基準画像が有する画素のうち、前記基準画像が有する画素配列と同じ画素配列上に配置されている画素を非欠落画素、該画素配列上に配置されていない画素を欠落画素として決定する工程と、
前記基準画像の拡大倍率と、前記記憶手段に記憶された位置合わせ結果と、前記画素配列とに基づいて、前記拡大基準画像が有する欠落画素に対応する前記非基準画像が有する画素であって、対応する欠落画素に挿入された場合に前記拡大基準画像の画素配列が前記基準画像が有する画素配列と同じになる画素を、参照画素として決定する工程と、
前記決定された前記非基準画像が有する参照画素を、該参照画素が対応する欠落画素に挿入する工程とを有する
ことを特徴とする画像処理方法。
【請求項８】
請求項７に記載の画像処理方法をコンピュータに実行させることを特徴とするコンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１３−１１５６５１（Ｐ２０１３−１１５６５１Ａ）
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願番号】特願２０１１−２６０６６３（Ｐ２０１１−２６０６６３）
【出願日】平成２３年１１月２９日（２０１１．１１．２９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願日】平成２３年１１月２９日（２０１１．１１．２９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]