画像処理装置、画像処理方法、および画像処理プログラム
【課題】画像の合成処理に際してデモザイク画像の生成を不要としながら、複数枚のカラーフィルタアレイ画像間で位置合わせをして合成する際の精度を高める。
【解決手段】位置ずれ量算出部１０６は、同一被写体を撮影して得られた複数枚のＣＦＡ画像中、一枚の画像を基準画像とし、別の画像を参照画像として、基準画像に対する参照画像の位置ずれ量を算出する。合成処理部１０８は、位置ずれ量算出部１０６で算出した位置ずれ量に基づき、基準画像および参照画像の、対応しあう画素位置の画素である基準画像画素および参照画像画素の画素値をもとに合成処理をして合成ＣＦＡ画像を生成する。このとき、対応しあう画素の色が基準画像画素と参照画像画素とで異なる場合、基準画像画素の色と同じ色の画素値を参照画像から補間処理によって生成し、補間処理によって生成した画素値と基準画像画素の画素値とをもとに合成処理をする。
【解決手段】位置ずれ量算出部１０６は、同一被写体を撮影して得られた複数枚のＣＦＡ画像中、一枚の画像を基準画像とし、別の画像を参照画像として、基準画像に対する参照画像の位置ずれ量を算出する。合成処理部１０８は、位置ずれ量算出部１０６で算出した位置ずれ量に基づき、基準画像および参照画像の、対応しあう画素位置の画素である基準画像画素および参照画像画素の画素値をもとに合成処理をして合成ＣＦＡ画像を生成する。このとき、対応しあう画素の色が基準画像画素と参照画像画素とで異なる場合、基準画像画素の色と同じ色の画素値を参照画像から補間処理によって生成し、補間処理によって生成した画素値と基準画像画素の画素値とをもとに合成処理をする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数色のオンチップカラーフィルタを有する撮像素子で同一被写体を撮影して得られた複数枚のカラーフィルタアレイ画像を、デモザイク処理を経ずに合成する技術に関する。
【背景技術】
【０００２】
同一被写体を撮影して得た複数枚の画像に対して位置ずれ量を検出し、その位置ずれ量に基づいて複数枚の画像を位置合わせして合成することにより、一回の撮影で得られる画像よりも高画質な画像を得る技術が知られている。
【０００３】
カラー画像を得ることの可能な撮像装置としては、多板式のものと単板式のものがある。多板式の撮像装置は、撮影光学系の後方に配置されたダイクロイックプリズム等の色分解光学系と、色分解光学系で分割された光路上に配置された複数のモノクロ撮像素子とを備える。単板式の撮像装置は、複数色、例えば、ＲＧＢやＹＣＭ等、３色のオンチップカラーフィルタが受光面上に配列された撮像素子を備える。単板式の撮像装置は、一つの撮像素子を備えればよく、ダイクロイックプリズム等も不要であるので、撮像装置を小型化、低廉化する上で有利である。
【０００４】
オンチップカラーフィルタを備える撮像素子から読み出されたままの画像はカラーフィルタアレイ画像と称され、そのままでは人が鑑賞可能な画像を得ることはできないので、デモザイク処理が行われ、デモザイク画像と称される画像が生成される。デモザイク画像は、画像を構成する画素の一つ一つに対してオンチップカラーフィルタの色数に応じた画素値、例えばＲ、Ｇ、Ｂの画素値が生成される。つまり、カラーフィルタアレイ画像では一つの画素からある一色の画素値しか得られないが、デモザイク画像は一画素に対応して複数色の画素値を有する。上述したＲ、Ｇ、Ｂの例では、デモザイク処理によって画像の情報量がデモザイク処理前の３倍に増加する。
【０００５】
特許文献１には、複数枚の画像をデモザイク処理をした後に合成する方法が開示される。特許文献１に開示されるものでは、Ｇ色の成分を主に利用して合成処理が行われる。
【０００６】
特許文献２には、複数枚のカラーフィルタアレイ画像をデモザイクの処理無しに合成する方法が開示される。このとき、合成される対象の複数枚のカラーフィルタアレイ画像間で位置ずれ量が検出され、検出された位置ずれを補償しつつ、複数の画像が加算されて合成される。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００２−１１２００７号公報
【特許文献２】特開２００６−１５７５６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
画像合成処理に際しての処理負荷は、できるだけ減じられるようにすることが、処理のレスポンスを向上させたり、要求されるハードウェアスペックの高度化を抑制したりする上で望ましい。特許文献１に開示される技術では、各画素でＲＧＢ各色の情報が得られるので、１画素の精度で位置合わせをすることができる反面、処理すべき情報量が増加するので、処理負荷が増す。
【０００９】
特許文献２に開示される技術では、デモザイク処理前の画像間で位置ずれが検出されて画像の合成が行われるので、処理すべき情報量の低減が期待できる。しかし、特許文献２に開示される技術では、二つの画像間の位置ずれ量を検出する際に、縦横２画素×２画素の４画素を配列単位とするベイヤー配列の複数のカラーフィルタアレイ画像間において同一の色配置を有する画素ユニット同士で比較する。そして、複数の画像における同一の色成分の画素間で位置ずれを求めることによって、複数の画像の相互間における位置ずれを検出する。そのため、位置ずれの検出精度（最小単位）は縦方向、横方向共に２画素となってしまう。結果として、画像を合成する処理をする際の合成精度も２画素の最小単位となってしまう。色再現性の向上を目的としてオンチップカラーフィルタの色数を増した場合、カラーフィルタアレイの配列単位はさらに大きくなり、それに伴って位置ずれ検出精度、合成精度はさらに低下する。
【００１０】
本発明は、上記の課題に鑑みてなされたものであり、画像の合成処理に際してデモザイク画像の生成を不要としながら、複数枚のカラーフィルタアレイ画像間で位置合わせをして合成する際の精度を高めることを可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明のある態様によれば、同一被写体を撮影して得られた複数枚のカラーフィルタアレイ画像を合成する画像処理装置が、
前記複数枚のカラーフィルタアレイ画像中、一枚の画像を基準画像とし、前記一枚の画像と異なる画像を参照画像として、前記基準画像に対する前記参照画像の位置ずれ量を算出する位置ずれ量算出部と、
前記位置ずれ量算出部で算出された前記位置ずれ量に基づき、前記基準画像および前記参照画像の、対応しあう画素位置の画素である基準画像画素および参照画像画素の画素値をもとに合成処理をして合成カラーフィルタアレイ画像を生成する合成処理部であって、前記対応しあう画素の色が前記基準画像画素と前記参照画像画素とで異なる場合、前記基準画像画素の色と同じ色の画素値を前記参照画像から補間処理によって生成し、前記補間処理によって生成した画素値と前記基準画像画素の画素値とをもとに合成処理をする合成処理部と
を備える。
【００１２】
本発明のある態様によれば、同一被写体を撮影して得られた複数枚のカラーフィルタアレイ画像を合成する画像処理方法が、
前記複数枚のカラーフィルタアレイ画像中、一枚の画像を基準画像とし、前記一枚の画像と異なる画像を参照画像として、前記基準画像に対する前記参照画像の位置ずれ量を算出する位置ずれ算出手順と、
前記位置ずれ算出手順で算出された前記位置ずれ量に基づき、前記基準画像および前記参照画像の、対応しあう画素位置の画素である基準画像画素および参照画像画素の画素値をもとに合成する処理をして合成カラーフィルタアレイ画像を生成する合成処理手順であって、前記対応しあう画素の色が前記基準画像画素と前記参照画像画素とで異なる場合、前記基準画像画素の色と同じ色の画素値を前記参照画像から補間処理によって生成し、前記補間処理によって生成した画素値と前記基準画像画素の画素値とをもとに合成する合成処理手順とを有する。
【００１３】
本発明のある態様によれば、同一被写体を撮影して得られた複数枚のカラーフィルタアレイ画像を合成する処理をコンピュータに実行させる画像処理プログラムが、
前記複数枚のカラーフィルタアレイ画像中、一枚の画像を基準画像とし、前記一枚の画像と異なる画像を参照画像として、前記基準画像に対する前記参照画像の位置ずれ量を算出する位置ずれ量算処理と、
前記位置ずれ量算出処理で算出された前記位置ずれ量に基づき、前記基準画像および前記参照画像の、対応しあう画素位置の画素である基準画像画素および参照画像画素の画素値をもとに合成する処理をして合成カラーフィルタアレイ画像を生成する合成処理であって、前記対応しあう画素の色が前記基準画像画素と前記参照画像画素とで異なる場合、前記基準画像画素の色と同じ色の画素値を前記参照画像から補間処理によって生成し、前記補間処理によって生成した画素値と前記基準画像画素の画素値とをもとに合成する合成処理とを備える。
【発明の効果】
【００１４】
本発明によれば、複数のカラーフィルタアレイ画像を、デモザイク処理を経ずに合成することにより、画像合成に際しての処理負荷の低減が可能で、画像を合成する際の位置合わせ精度を高めることが可能となる。
【図面の簡単な説明】
【００１５】
【図１】画像処理部の構成を説明するブロック図である。
【図２】複数のカラーフィルタアレイ画像中の一枚のカラーフィルタアレイ画像が基準画像として選択され、その基準画像中でブロックマッチングを行うための部分領域が順次設定される様子を概念的に示す図である。
【図３】サブピクセル位置推定の方法を説明する図であり、パラボラフィッティングによる位置推定を行う例を概念的に示す図である。
【図４】カラーフィルタアレイ画像の基準画像中で設定された部分領域画像に対応する部分領域画像の位置が参照画像中で特定された結果に応じて、参照画像中の部分領域画像がとりうる画素色の配列パターンを示す図である。
【図５Ａ】基準画像中で設定された部分領域画像に対応するものとして参照画像中で特定された部分領域画像の画素色配列パターンが、基準画像中で設定された部分領域画像の画素色配列パターンと異なる場合に行われる補間処理を説明する図である。
【図５Ｂ】基準画像中で設定された部分領域画像に対応するものとして参照画像中で特定された部分領域画像の画素色配列パターンが、基準画像中で設定された部分領域画像の画素色配列パターンと異なる場合に行われる補間処理を説明するもう一つの図である。
【図６】画像処理部で行われる複数枚のカラーフィルタアレイ画像の合成処理手順を説明するフローチャートである。
【図７】３枚以上のカラーフィルタアレイ画像を合成する際の処理手順の一例を説明する図である。
【図８】３枚以上のカラーフィルタアレイ画像を合成する際の処理手順の別例を説明する図である。
【図９】画像処理部がデジタルカメラに備えられる例を説明するブロック図である。
【図１０】コンピュータの概略的内部構成を説明するブロック図であり、画像処理プログラムをコンピュータが実行することにより画像処理部が実現される例を説明する図である。
【発明を実施するための形態】
【００１６】
図１は、画像処理部の概略的構成を説明するブロック図である。画像処理部１００は、カラーフィルタアレイ画像取得部（以下、ＣＦＡ画像取得部と称する）１０２と、記憶部１０４と、位置ずれ量算出部１０６と、合成処理部１０８と、現像処理部１１２と、出力部１１４とを備える。
【００１７】
ＣＦＡ画像取得部１０２は、同一被写体を撮像して得られた複数枚のＣＦＡ画像を取得する。複数枚のＣＦＡ画像は、同一の被写体を比較的短い時間の中で時系列に撮像することにより得られる。あるいは、複数の撮像ユニットを用いて同一の被写体を略同時に撮像することにより得られる。複数のＣＦＡ画像が互いに異なる露光量で得られたものである場合、それらのＣＦＡ画像を合成することによって、いわゆるＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）の画像を得ることが可能となる。また、低輝度下の撮影条件で、被写体の輝度や撮像素子の感度等によって決まる標準的な露光量よりも少なめの露光量（短めの露光時間）で得た複数枚のＣＦＡ画像を合成することにより、手ぶれ、被写体ぶれや、ノイズの減じられた画像を得ることが可能となる。
【００１８】
記憶部１０４は、ＳＤＲＡＭ等の、比較的高速のアクセス速度を有するメモリを備えて構成され、ＣＦＡ画像取得部１０２で取得した複数枚のＣＦＡ画像を一時的に記憶する。記憶部１０４はまた、合成処理部１０８のワークエリアとしても用いられる。
【００１９】
位置ずれ量算出部１０６は、複数枚のＣＦＡ画像中、一枚の画像を基準画像とし、この基準画像と異なるＣＦＡ画像を参照画像として、基準画像に対する参照画像の位置ずれ量を算出する。位置ずれ量の算出方法としては、様々な方法を利用可能である。基準画像と参照画像とで、画像全体を一つの領域として両者の比較を行い、位置ずれ量を算出することも可能であるが、以下ではブロックマッチングによって部分領域ごとに位置ずれ量を算出する例について説明する。
【００２０】
図２は、ブロックマッチングに際して基準画像中で設定される部分領域の例を示している。図２では、縦方向（列方向）に６画素、横方向（行方向）に６画素の３６画素からなる部分領域が設定される例が示されている。また、本実施の形態において、ＣＦＡ画像はいわゆるベイヤーＣＦＡ画像であるものとする。ベイヤーＣＦＡ画像では、縦方向に２画素、横方向に２画素の４画素で一つの画素配列単位が形成される。
【００２１】
ＣＦＡ画像でブロックマッチングを行う際に、位置ずれ量算出部１０６は、基準画像中で選択された部分領域の画像をテンプレートとして、参照画像中を探索し、一致度が最大（相違度が最小）となる部分領域画像の位置を導出する。本例では、比較の対照となる基準画像および参照画像の両方の部分画像で、対応しあう画素位置にある画素値間の差の絶対値または差の二乗を各画素位置に対応して求め、それらの総和を相違度として扱うものとする。つまり、総和の値が最も小さくなったとき、一致度が最大（相違度が最小）となる。
【００２２】
このとき、ＣＦＡ画像は１画素に対して１色分の色情報しか有していないので、基準画像の部分領域と同じ画素色の配列パターンを有する部分領域の画像が参照画像から抽出されて比較される。すなわち、図２に示される例において、基準画像から選択された部分領域の画像の画素色の配列は、上から数えて奇数行にはＲ、Ｇ、Ｒ、Ｇ、…の色が、偶数行にはＧ、Ｂ、Ｇ、Ｂ、…の色が配列されたものとなっている。これに対応し、参照画像中で選択される部分領域の画素色の配列も、上記と同じものとする。そのようにしないと、被写体上のある一点における明るさおよび色を、どの色の画素で検出するかによって画素値は異なり、比較する二つの画像間で正しい相関が取れなくなる場合があるからである。結果として、ブロックマッチングで検出される位置ずれ量の精度（最小単位）はＣＦＡ画像の画素色の配列単位に依存する。本例では縦方向に２画素、横方向に２画素からなる画素色の配列単位となっており、したがって画像の縦方向（列方向）、横方向（行方向）の双方に２画素の精度で位置ずれ量が検出される。
【００２３】
一般化した表現を用いて説明すると、ＣＦＡ画像の画素色の配列単位が、縦方向にｒ画素、横方向にｃ画素（ｒ、ｃは共に任意の正の整数）である場合、検出される位置ずれ量の最小単位は、縦方向にｒ画素、横方向にｃ画素となる。つまり、ＣＦＡ画像の画素色の配列単位が大きくなる（色数が増す）ほど、検出される位置ずれ量の最小単位が増加する。
【００２４】
ＣＦＡ画像の画素色配列単位（縦ｒ画素、横ｃ画素）よりも細かい精度で位置ずれ量を求めるため、位置ずれ量算出部１０６はサブピクセル位置推定を行う。サブピクセル位置推定の手法としては、等角直線フィッティング、パラボラフィッティング等がある。図３に、パラボラフィッティングを用いたサブピクセル推定の例を示す。図３において、横軸には位置ずれ量（単位：画素）、縦軸には相違度をとり、参照画像中における部分領域の位置をずらしながら算出して得た相違度がプロットされている。ここで、画像を左右にずらしながら相違度を求める例について説明すると、基準画像および参照画像双方の部分領域画像を、位置をずらさない状態で重ねたときの位置ずれ量を０［画素］とする。その状態から、基準画像は固定したまま、参照画像の部分領域画像を左方向に２画素分ずらしたとき、位置ずれ量を−２［画素］とする。逆に、参照画像を右方向に２画素分ずらしたとき、位置ずれ量を２［画素］とする。
【００２５】
上記のように位置をずらしながら、基準画像および参照画像の同じ画素位置にある画素間で画素値の差を各画素位置に対応して求め、それらの差の絶対値の総和、あるいは二乗和（各画素位置に対応して求めた差を二乗したものの総和）を求める。相違度は、これら絶対値の総和または二乗和の大きさに対応した値となる。はじめに、このようにして求められた相違度のうち、最小相違度の位置ずれ量（相違度が最も小さい値を示す位置ずれ量）を求める。図３の例においては、最小相違度の位置ずれ量は＋２画素である。次に、その最小相違度の位置ずれ量の相違度と、その左右の位置ずれ量の相違度の３つの相違度を通る放物線の式を求める。その式から放物線の頂点を求め、その頂点の座標を、サブピクセル推定された、相違度が最小となるときの位置ずれ量として求めることが出来る。本例では１画素の単位（分解能）で位置ずれ量を求めれば良いので、サブピクセル位置推定によって得られた位置ずれ量を、四捨五入等によって整数にする。
【００２６】
位置ずれ量算出部１０６による上述した位置ずれの算出は、画像の上下方向および左右方向のそれぞれで行われる。このようにして、ＣＦＡ画像の画素色の配列単位を構成する縦、横の画素数（ベイヤーＣＦＡ画像では縦、横、各２画素）によらず、１画素の分解能で位置ずれ量が算出される。
【００２７】
位置ずれ量算出部１０６で算出された、縦方向、横方向の位置ずれ量に関する情報（位置ずれ量情報）は、合成処理部１０８に出力される。合成処理部１０８は、この位置ずれ量情報に基づき、基準画像と参照画像とを合成して合成画像を生成する処理を行う。
【００２８】
図４は、基準画像中で設定された部分領域の画像ＰＲＩ１と、位置ずれ量算出部１０６で算出された位置ずれ量に基づいて参照画像中で特定された部分領域の画像ＰＲＩ２との、画素色の配列関係を示す図である。以下では、基準画像中で設定された部分領域の画像を部分領域画像ＰＲＩ１と称し、参照画像中で特定された部分領域の画像を部分領域画像ＰＲＩ２と称する。ここで、位置ずれ量算出部１０６で算出された横方向の位置ずれ量をｄｘ、縦方向の位置ずれ量をｄｙとする。合成処理に際して基準画像中で設定される部分領域は、位置ずれ量算出部１０６で位置ずれ量を算出する際に設定された部分領域と同一であっても異なっていてもよい。本例では、位置ずれ量算出部１０６において基準画像中で設定された部分領域の画像と部分領域画像ＰＲＩ１とは同一であるものとする。
【００２９】
位置ずれ量算出部１０６で、先に説明したように１画素の分解能で位置ずれ量ｄｘ、ｄｙが求められた結果、これらの位置ずれ量ｄｘ、ｄｙの値としては、０を含む正負の整数となり得る。部分領域画像ＰＲＩ１と、部分領域画像ＰＲＩ２とを画素単位で比較したとき、位置ずれ量ｄｘ、ｄｙの値によっては画素色が同じとなる場合と異なる場合とがある。本例では、ＣＦＡ画像が縦横２画素ずつで構成される配列単位となっている。したがって、位置ずれ量ｄｘ、ｄｙの組み合わせが偶数（０は偶数であるものとする）と奇数とのいずれかの組み合わせ、すなわち（ｄｘ、ｄｙ）の組み合わせが、（偶数、偶数）、（偶数、奇数）、（奇数、偶数）、および（奇数、奇数）の４通り組み合わせのうち、いずれであるかに応じて、部分領域画像ＰＲＩ１、ＰＲＩ２の対応し合う画素位置の画素色の異同が生じる。
【００３０】
上記に関して一般化した表現を用いて説明する。ＣＦＡ画像の画素色の配列単位が、縦方向にｒ画素、横方向にｃ画素（ｒ、ｃは共に任意の正の整数）から構成されるものとする。横方向の位置ずれ量（位置ずれ画素数）ｄｘ（整数値）をｃで除したときの剰余と、縦方向の位置ずれ量（位置ずれ画素数）ｄｙ（整数値）をｒで除したときの剰余との組み合わせに応じて部分領域画像ＰＲＩ１、ＰＲＩ２の対応し合う画素位置の画素色の異同が生じる。例えば、ＣＦＡ画像の画素色の配列単位が、縦方向および横方向に２画素から構成される場合、縦方向、横方向のそれぞれに対応して求められる剰余は０、１の２通りとなる。したがって、縦方向、横方向に対応する剰余の組み合わせに応じて、４通りのパターンを生じる。また、ＣＦＡ画像の画素色の配列単位が、縦方向および横方向に３画素から構成される場合、縦方向、横方向のそれぞれに対応して求められる剰余は０、１、２の３通りとなる。したがって、縦方向、横方向に対応する剰余の組み合わせに応じて、９通りのパターンを生じる。
【００３１】
図４には、本実施の形態において、部分領域画像ＰＲＩ２の画素色の配列として生じうる四つのパターンがパターン１、パターン２、パターン３、およびパターン４として示される。なお、基準画像中部分領域画像ＰＲＩ１のパターンはパターン１であるものとする。
【００３２】
パターン１は、位置ずれ量ｄｘ、ｄｙが共に偶数（ｄｘをｃで、ｄｙをｒで除したときの剰余が共に０）である場合に対応し、部分領域画像ＰＲＩ１の画像と部分領域画像ＰＲＩ２とで、対応する画素位置の画素色は同じとなっている。
【００３３】
パターン２は、位置ずれ量ｄｘが奇数、ｄｙが偶数（ｄｘをｃで除したときの剰余が１、ｄｙをｒで除したときの剰余が０）である場合に対応し、パターン１の配列を基準として横方向に１画素分、画素色の配列がずれたパターンとなっている。部分領域画像ＰＩＲ２の画素色の配列がパターン２となっている場合、部分領域画像ＰＲＩ１と部分領域画像ＰＲＩ２とで、対応する画素位置の画素色は全て異なる。
【００３４】
パターン３は、位置ずれ量ｄｘが偶数、ｄｙが奇数（ｄｘをｃで除したときの剰余が０、ｄｙをｒで除したときの剰余が１）である場合に対応し、パターン１の配列を基準として縦方向に１画素分、画素色の配列がずれたパターンとなっている。部分領域画像ＰＩＲ２の画素色の配列がパターン３となっている場合、部分領域画像ＰＲＩ１と部分領域画像ＰＲＩ２とで、対応する画素位置の画素色は全て異なる。
【００３５】
パターン４は、位置ずれ量ｄｘ、ｄｙが共に奇数（ｄｘをｃで、ｄｙをｒで除したときの剰余が共に１）である場合に対応し、パターン１の配列を基準として縦、横の両方向に１画素分、画素色の配列がずれたパターンとなっている。部分領域画像ＰＩＲ２の画素色の配列がパターン４となっている場合、部分領域画像ＰＲＩ１と部分領域画像ＰＲＩ２とで、Ｇ色の画素のみ、対応する画素位置の画素色が同じとなっている。
【００３６】
部分領域画像ＰＲＩ１およびＰＲＩ２を、対応する画素位置の画素同士で合成をする際に、画素色が同じ場合には問題なく合成ができる。しかし、画素色が異なる場合には、異なる色の画素値を単純に合成しただけでは適切な合成結果を得ることができない。適切な合成結果を得られるようにするため、合成処理部１０８内の補間処理部１１０は以下に説明する補間処理を行う。この補間処理によって、部分領域画像ＰＲＩ１の画素色の配列と同じ配列を有する画像（補間画像）が、部分領域画像ＰＲＩ２をもとに生成される。
【００３７】
図５Ａ、図５Ｂは、基準画像中で設定された部分領域画像ＰＲＩ１と、参照画像中の部分領域画像ＰＲＩ２とで、これらの部分領域画像を構成する画素の画素色配列パターンの違いがある場合に、その違いに応じた補間処理が行われて補間画像が生成される様子を説明する図である。図５Ａ、図５Ｂの（ａ）、（ｄ）、（ｈ）は、基準画像中の部分領域画像ＰＲＩ１を構成する画素の画素色配列パターン例を示す。（ａ）、（ｄ）、（ｈ）に例示されるパターンはいずれも同じものであり、ここでは図４を参照して先に説明したパターン１であるものとする。（ａ）、（ｄ）、（ｈ）において、Ｒ、Ｇ、Ｂ各色の画素には、色を示すＲ、Ｇ、またはＢのアルファベットと、それに続く数字を付して各画素を区別する。（ｂ）、（ｅ）、（ｉ）は、参照画像中の部分領域画像ＰＲＩ２を構成する画素の画素色配列パターンを示す。（ｂ）、（ｅ）、（ｉ）に示されるパターンは、パターン１と異なるものとなっており、図４を参照して先に説明したパターン２、パターン３、パターン４を有するものとして示される。（ｂ）、（ｅ）、（ｉ）において、Ｒ、Ｇ、Ｂ各色の画素には、色を示すｒ、ｇ、またはｂのアルファベットと、それに続く数字を付して区別をする。（ｃ）、（ｆ）、（ｊ）は、（ｂ）、（ｅ）、（ｉ）に示される画素色配列パターン２、３、４の部分領域画像ＰＲＩ２に対し、補間処理部１１０で以下に説明する補間処理が行われて、パターン１の画素色配列パターンを有する補間画像が生成される様子を示している。（ｃ）、（ｆ）、（ｊ）において、Ｒ、Ｇ、Ｂ各色の画素には、色を示すｒｒ、ｇｇ、またはｂｂのアルファベットと、それに続く数字を付して区別をする。
【００３８】
図５Ａの（ａ）、（ｂ）、（ｃ）を参照し、パターン２の画素色配列パターンを有する部分領域画像ＰＲＩ２から補間画像が生成される例を説明する。図５Ａの（ｂ）に例示される、パターン２の画素色配列パターンを有する部分領域画像ＰＲＩ２に対して補間処理が行われる場合、例えばＧ色の画素ｇ１の画素位置に対応して、補間画像中のＲ色の画素ｒｒ１の画素値が生成される。同様に、Ｒ色の画素ｒ１の画素位置に対応して、補間画像中のＧ色の画素ｇｇ１の画素値が生成される。以下、パターン２の画素色配列パターンに対応する補間処理の具体例について説明する。
【００３９】
ここでは、ベイヤー配列に従う画素色配列パターンの、一組の画素色配列単位を構成する画素ｒｒ５、ｇｇ８、ｇｇ１１、ｂｂ５それぞれの画素値を補間処理によって生成する場合を例に説明する。以下に説明する補間処理を、参照画像中の他の配列単位にも繰り返し行うことにより、補間画像を生成することができる。
【００４０】
以下では、補間処理部１１０で行われる処理の例として、２種類の補間方法について説明する。以下ではこれらの補間方法を補間方法１、補間方法２と称して説明する。補間方法１は、比較的単純な線形補間を用いる方法で、処理を高速化することが可能となる。補間方法２は、補間対象となる画素の近傍に存在する複数の画素の相関の高さを参酌した、より高度な補間方法であり、画像の鮮鋭度低下を抑制可能となる。
【００４１】
［パターン２ 補間方法１］
図５Ａの（ｃ）において、補間処理によって生成される部分領域画像中、上から第３行、左から第３列の位置にある画素ｒｒ５の画素値を線形補間により生成する例について説明する。図５Ａの（ｂ）に示される、参照画像中の部分領域画像ＰＲＩ２において、第３行、第３列の位置にあるのは画素ｇ８であり、この画素値をそのまま画素ｒｒ５の画素値とすることはできない。そこで、画素ｇ８の左右両隣に位置するＲ色の画素ｒ４、ｒ５の画素値の平均値を画素ｒｒ５の画素値とする。すなわち、以下の式（１−１ａ）によって画素ｒｒ５の画素値を求める。
rr5 = (r4+r5) / 2 … 式（１−１ａ）
【００４２】
図５Ａの（ｃ）において、補間処理によって生成される部分領域画像中、上から第３行、左から第４列の位置にある画素ｇｇ８の画素値を線形補間により生成する例について説明する。図５Ａの（ｂ）に示される、参照画像中の部分領域画像ＰＲＩ２において、第３行、第４列の位置にあるのは画素ｒ５であり、この画素値をそのまま画素ｇｇ８の画素値とすることはできない。そこで、画素ｒ５の上下左右の両隣に位置するＧ色の画素ｇ５、ｇ１１、ｇ８、ｇ９の画素値の平均値を画素ｇｇ８の画素値とする。すなわち、以下の式（１−１ｂ）によって画素ｇｇ８の画素値を求める。
gg8 = (g5+g11+g8+g9) / 4 … 式（１−１ｂ）
【００４３】
図５Ａの（ｃ）において、補間処理によって生成される部分領域画像中、上から第４行、左から第３列の位置にある画素ｇｇ１１の画素値を線形補間により生成する例について説明する。図５Ａの（ｂ）に示される、参照画像中の部分領域画像ＰＲＩ２において、第４行、第３列の位置にあるのは画素ｂ５であり、この画素値をそのまま画素ｇｇ１１の画素値とすることはできない。そこで、画素ｇｇ１１の上下左右の両隣に位置するＧ色の画素ｇ８、ｇ１４、ｇ１０、ｇ１１の画素値の平均値を画素ｇｇ１１の画素値とする。すなわち、以下の式（１−１ｃ）によって画素ｇｇ１１の画素値を求める。
gg11 = (g8+g14+g10+g11) / 4 … 式（１−１ｃ）
【００４４】
図５Ａの（ｃ）において、補間処理によって生成される部分領域画像中、上から第４行、左から第４列の位置にある画素ｂｂ５を線形補間により生成する例について説明する。図５Ａの（ｂ）に示される、参照画像中の部分領域画像ＰＲＩ２において、第４行、第４列の位置にあるのは画素ｇ１１であり、この画素値をそのまま画素ｂｂ５の画素値とすることはできない。そこで、画素ｇ１１の左右両隣に位置するＢ色の画素ｂ５、ｂ６の画素値の平均値を画素ｂｂ５の画素値とする。すなわち、以下の式（１−１ｄ）によって画素ｂｂ５の画素値を求める。
bb5 = (b5+b6) / 2 … 式（１−１ｄ）
【００４５】
以上のように、補間方法１によれば、比較的単純な計算によって補間画像の各画素値を生成することが可能となる。
【００４６】
［パターン２ 補間方法２］
図５Ａの（ｃ）において、補間処理によって生成される部分領域画像中、上から第３行、左から第３列の位置にある画素ｒｒ５の画素値を生成する例について説明する。本例では、図５Ａの（ｂ）に示される、参照画像中の部分領域画像ＰＲＩ２における第３行、第３列の位置の画素ｇ８、および画素ｇ８の近傍に存在する画素の画素値が参照されて以下の式（１−２ａ）により画素ｒｒ５の画素値を求める。
rr5 = [ [r4 - (g4+g7+g8+g10) / 4] + [r5 - (g5+g8+g9+g11) / 4] ] / 2+g8
… 式（１−２ａ）
【００４７】
画素ｒ４、画素ｒ５は、画素ｇ８の左右両隣に位置する画素である。画素ｇ４、ｇ１０、ｇ７、ｇ８は、画素ｒ４の上下左右に位置する画素であり、画素ｇ５、ｇ１１、ｇ８、ｇ９は画素ｒ５の上下左右に位置する画素である。つまり、上記の式の右辺における、[r4 - (g4+g7+g8+g10) / 4]は、画素ｒ４の画素値（つまり、Ｒ色の値）と、画素ｒ４の位置におけるＧ色の推定値（画素ｇ４、ｇ７、ｇ８、ｇ１０の平均値）との差、すなわち画素ｒ４の位置におけるＲ色とＧ色との色差（Ｒ−Ｇ色差）を求めている。同じく、[r5 - (g5+g8+g9+g11) / 4]は、画素ｒ５の画素値（つまり、Ｒ色の値）と、画素ｒ５の位置におけるＧ色の推定値（画素ｇ５、ｇ８、ｇ９、ｇ１１の平均値）との差、すなわち画素ｒ５の位置におけるＲ−Ｇ色差を求めている。
【００４８】
画素ｒ４、画素ｒ５の位置それぞれにおけるＲ−Ｇ色差の平均値をとると、それは画素ｇ８の位置におけるＲ−Ｇ色差の推定値として利用可能である。このＲ−Ｇ色差の平均値と画素ｇ８の画素値とを加算することにより、画素ｇ８の位置におけるＲ色の画素値をより正確に推定することが可能となる。
【００４９】
図５Ａの（ｃ）において、補間処理によって生成される部分領域画像中、上から第３行、左から第４列の位置にある画素ｇｇ８の画素値を、より高度な補間により生成する例について説明する。この場合、図５Ａの（ｂ）に示される、参照画像中の部分領域画像ＰＲＩ２における第３行、第４列の位置にある画素ｒ５および画素ｒ５の上下左右に位置する画素の画素値が参照されて以下の式（１−２ｂ）または式（１−２ｃ）で画素ｇｇ８の画素値が求められる。
|g5 - g11| ＜ |g8 - g9|の場合、
gg8 = (g5+g11) / 2+(-r2+2*r5 - r8) *λ … 式（１−２ｂ）
|g5 - g11| ≧ |g8 - g9|の場合、
gg8 = (g8+g9) / 2+( - r4+2*r5 - r6) *λ … 式（１−２ｃ）
【００５０】
ここで、条件式 |g5 - g11| ＜ |g8 - g9| に合致するということは、横方向の相関よりも縦方向の相関の方が高いことを意味する。縦方向の相関の方がより高い場合、式（１−２ｂ）の右辺第１項の (g5+g11) / 2 によって、画素ｒ５の上下方向の両隣に位置するＧ色画素である画素ｇ５および画素ｇ１１の画素値の平均値が求められる。また、式（１−２ｂ）の右辺第２項の (-r2+2*r5 - r8) により、画素ｒ５の位置を中心として縦方向に並ぶＲ色の画素ｒ２、ｒ５、ｒ８が参照される。この項は、縦方向に並ぶＲ色の画素ｒ２、ｒ５、ｒ８の画素値の変化に非線形性を有する場合、その非線形性を画素ｇ５および画素ｇ１１の画素値の平均から求めた画素値に加味するためのものである。ここでλは、この項を加味する割合を示し、通常λ＝0.25やλ＝0.1などの値を固定値として利用する（以下のλも同様）。
【００５１】
一方、条件式 |g5 - g11| ≧ |g8 - g9| に合致するということは、縦方向の相関よりも横方向の相関の方が高いことを意味する（縦、横両方向の相関が等しい場合も含む）。横方向の相関の方がより高い場合、式（１−２ｃ）の右辺第１項の (g8+g9) / 2 によって、画素ｒ５の左右方向の両隣に位置するＧ色画素である画素ｇ８および画素ｇ９の画素値の平均が求められる。また、式（１−２ｃ）の右辺第２項の (-r4+2*r5 - r6) により、画素ｒ５の位置を中心として横方向に並ぶＲ色の画素ｒ４、ｒ５、ｒ６が参照される。この項は、横方向に並ぶＲ色の画素ｒ４、ｒ５、ｒ６の画素値の変化に非線形性を有する場合、その非線形性を画素ｇ８および画素ｇ９の画素値の平均から求めた画素値に加味するためのものである。
【００５２】
このように、Ｇ色の画素ｇｇ８の画素値を求める際に、周囲に存在する画素の画素値の縦方向および横方向の相関を比較して、相関がより高いと判定される方向に並ぶ隣接画素から線形補間によって画素値を求めることにより、より正確な画素値の推定を行うことが可能となる。このときに、異なる色成分の近傍画素を参照して、画素位置の変化に伴う画素値の変化に非線形成があるときにはその非線形性が加味されることにより、画素値の推定をより正確に推定することが可能となる。
【００５３】
図５Ａの（ｃ）において、補間処理によって生成される部分領域画像中、上から第４行、左から第３列の位置にある画素ｇｇ１１の画素値を、より高度な補間により生成する例について説明する。この場合、図５Ａの（ｂ）に示される、参照画像中の部分領域画像ＰＲＩ２における第４行、第３列の位置にある画素ｂ５および画素ｂ５の上下左右に位置する画素の画素値が参照されて以下の式（１−２ｄ）または式（１−２ｅ）で画素ｇｇ１１の画素値が求められる。
|g8 - g14| ＜ |g10 - g11|の場合
gg11 = (g8+g14) / 2+( - b2+2*b5 - b8) *λ … 式（１−２ｄ）
|g8 - g14| ≧ |g10 - g11|の場合
gg11 = (g10+g11) / 2+( - b4+2*b5 - b6) *λ … 式（１−２ｅ）
【００５４】
上記の条件式 |g8 - g14| ＜ |g10 - g11| に合致するということは、横方向の相関よりも縦方向の相関の方が高いことを意味する。縦方向の相関の方がより高い場合、式（１−２ｄ）の右辺第１項の (g8+g14) / 2 によって、画素ｂ５の上下方向の両隣に位置するＧ色画素である画素ｇ８および画素ｇ１４の画素値の平均値が求められる。また、式（１−２ｄ）の右辺第２項の ( - b2+2*b5 - b8) により、画素ｂ５の位置を中心として縦方向に並ぶＢ色の画素ｂ２、ｂ５、ｂ８が参照される。この項は、縦方向に並ぶＢ色の画素ｂ２、ｂ５、ｂ８の画素値の変化に非線形性を有する場合、その非線形性を画素ｇ８および画素ｇ１４の画素値の平均から求めた画素値に加味するためのものである。
【００５５】
一方、条件式 |g8 - g14| ≧ |g10 - g11| に合致するということは、縦方向の相関よりも横方向の相関の方が高いことを意味する（縦、横両方向の相関が等しい場合も含む）。横方向の相関の方がより高い場合、式（１−２ｅ）の右辺第１項の (g10+g11) / 2 によって、画素ｂ５の左右方向の両隣に位置するＧ色画素である画素ｇ１０および画素ｇ１１の画素値の平均が求められる。また、式（１−２ｅ）の右辺第２項の (-b4+2*b5 - b6) により、画素ｂ５の位置を中心として横方向に並ぶＢ色の画素ｂ４、ｂ５、ｂ６が参照される。この項は、横方向に並ぶＢ色の画素ｂ４、ｂ５、ｂ６の画素値の変化に非線形性を有する場合、その非線形性を画素ｇ１０および画素ｇ１１の画素値の平均から求めた画素値に加味するためのものである。
【００５６】
このように、Ｇ色の画素ｇｇ１１の画素値を求める際に、周囲に存在する画素の画素値の縦方向および横方向の相関を比較して、相関がより高いと判定される方向に並ぶ隣接画素から線形補間によって画素値を求めることにより、より正確な画素値の推定を行うことが可能となる。このときに、異なる色成分の近傍画素を参照して、画素位置の変化に伴う画素値の変化に非線形成があるときにはその非線形性が加味されることにより、画素値の推定をより正確に推定することが可能となる。
【００５７】
図５Ａの（ｃ）において、補間処理によって生成される部分領域画像中、上から第４行、左から第４列の位置にある画素ｂｂ５の画素値を、より高度な補間により生成する例について説明する。本例では、図５Ａの（ｂ）に示される、参照画像中の部分領域画像ＰＲＩ２における第４行、第４列の位置の画素ｇ１１、および画素ｇ１１の周囲に存在する画素の画素値が参照されて以下の式（１−２ｆ）により画素ｂｂ５の画素値を求める。
bb5 = [ [b5 - (g8+g10+g11+g14) / 4] + [b6 - (g9+g11+g12+g15) / 4] ] / 2+g11
… 式（１−２ｆ）
【００５８】
画素ｂ５、画素ｂ６は、画素ｇ１１の左右両隣に位置する画素である。画素ｇ８、ｇ１４、ｇ１０、ｇ１１は、画素ｂ５の上下左右に位置する画素であり、画素ｇ９、ｇ１５、ｇ１１、ｇ１２は画素ｂ６の上下左右に位置する画素である。つまり、上記の式の右辺における、[b5 - (g8+g10+g11+g14) / 4]は、画素ｂ５の画素値（つまり、Ｂ色の値）と、画素ｂ５の位置におけるＧ色の推定値（画素ｇ８、ｇ１０、ｇ１１、ｇ１４の平均値）との差、すなわち画素ｂ５の位置におけるＢ−Ｇ色差を求めている。同じく、[b6 - (g9+g11+g12+g15) / 4]は、画素ｂ６の画素値（つまり、Ｂ色の値）と、画素ｂ６の位置におけるＧ色の推定値（画素ｇ９、ｇ１１、ｇ１２、ｇ１５の平均値）との差、すなわち画素ｂ６の位置におけるＢ−Ｇ色差を求めている。
【００５９】
画素ｂ５、画素ｂ６の位置それぞれにおけるＢ−Ｇ色差の平均値をとると、それは画素ｇ１１の位置におけるＢ−Ｇ色差の推定値として利用可能である。この平均値と画素ｇ１１の画素値とを加算することにより、画素ｇ１１の位置におけるＢ色の画素値をより正確に推定することが可能となる。
【００６０】
以上に説明した、補間方法１または補間方法２の補間処理により、図５Ａの（ｂ）に示される、パターン２の画素色配列パターンを有する部分領域画像ＰＲＩ２から、図５Ａの（ｃ）に示される、パターン１の画素色配列パターンを有する補間画像が生成される。
【００６１】
図５Ａの（ｄ）、（ｅ）、（ｆ）を参照し、パターン３の画素色配列パターンを有する部分領域画像ＰＲＩ２から補間画像が生成される例を説明する。本例においても、ベイヤー配列による画素色配列パターンの一組の画素色配列単位である画素ｒｒ５、ｇｇ８、ｇｇ１１、ｂｂ５それぞれの画素値を補間処理によって生成する場合を例に説明する。以下に説明する補間処理を、参照画像中の他の配列単位にも繰り返し行うことにより、補間画像を生成することができる。図５Ａの（ａ）、（ｂ）、（ｃ）を参照しての説明と同様、補間方法１および補間方法２について説明する。
【００６２】
［パターン３ 補間方法１］
補間方法１については、参照画像中の部分領域画像ＰＲＩ２がパターン２を有する場合で説明したのと同様に行われる。すなわち、補間処理によって生成される部分領域画像中、上から第３行、左から第３列の位置にある画素ｒｒ５の画素値を線形補間により生成する場合、以下の式（２−１ａ）が用いられる。つまり、図５Ａの（ｅ）に示される、参照画像中の部分領域画像ＰＲＩ２において、第３行、第３列の位置にある画素ｇ８の上下方向に隣接するＲ色の画素である画素ｒ２、画素ｒ５の画素値が参照されて画素ｒｒ５の画素値が導出される。
rr5 = (r2+r5) / 2 … 式（２−１ａ）
【００６３】
補間処理によって生成される部分領域画像中、上から第３行、左から第４列の位置にある画素ｇｇ８の画素値を線形補間により生成する場合、以下の式（２−１ｂ）が用いられる。つまり、図５Ａの（ｅ）に示される、参照画像中の部分領域画像ＰＲＩ２において、第３行、第４列の位置にある画素ｂ５の上下左右方向に隣接するＧ色の画素である画素ｇ５、画素ｇ１１、画素ｇ８、画素ｇ９の画素値が参照されて画素ｇｇ８の画素値が導出される。
gg8 = (g5+g8+g9+g11) / 4 … 式（２−１ｂ）
【００６４】
補間処理によって生成される部分領域画像中、上から第４行、左から第３列の位置にある画素ｇｇ１１の画素値を線形補間により生成する場合、以下の式（２−１ｃ）が用いられる。つまり、図５Ａの（ｅ）に示される、参照画像中の部分領域画像ＰＲＩ２において、第４行、第３列の位置にある画素ｒ５の上下左右方向に隣接するＧ色の画素である画素ｇ８、画素ｇ１４、画素ｇ１０、画素ｇ１１の画素値が参照されてｇｇ１１の画素値が導出される。
gg11 = (g8+g10+g11+g14) / 4 … 式（２−１ｃ）
【００６５】
補間処理によって生成される部分領域画像中、上から第４行、左から第４列の位置にある画素ｂｂ５の画素値を線形補間により生成する場合、以下の式（２−１ｄ）が用いられる。つまり、図５Ａの（ｅ）に示される、参照画像中の部分領域画像ＰＲＩ２において、第４行、第４列の位置にある画素ｇ１１の上下方向に隣接するＢ色の画素である画素ｂ５、画素ｂ８の画素値が参照されて画素ｂｂ５の画素値が導出される。
bb5 = (b5+b8) / 2 … 式（２−１ｄ）
【００６６】
［パターン３ 補間方法２］
参照画像中の部分領域画像ＰＲＩ２がパターン２を有する場合について、より高度な補間を行うために、式（１−２ａ）、式（１−２ｂ）、式（１−２ｃ）、式（１−２ｄ）用いて画素ｒｒ５、ｇｇ８、ｇｇ１１、ｂｂ５の画素値を求める例について先に説明したが、参照画像中の部分領域画像ＰＲＩ２が図５Ａの（ｅ）に示されるパターン３を有する本例においても同様の処理が行われる。以下に、上記の式（１−２ａ）、式（１−２ｂ）、式（１−２ｃ）、式（１−２ｄ）に対応する式（２−２ａ）、（２−２ｂ）、式（２−２ｃ）、式（２−２ｄ）を示す。それぞれの式がもつ意味については、式（１−２ａ）、式（１−２ｂ）、式（１−２ｃ）、式（１−２ｄ）について説明したのと同様であるのでその説明を省略する。
【００６７】
補間処理によって生成される部分領域画像中、上から第３行、左から第３列の位置にある画素ｒｒ５の画素値を線形補間により生成する場合、以下の式（２−２ａ）が用いられる。
rr5 = [ [r2 - (g2+g4+g5+g8) / 4] + [r5 - (g8+g10+g11+g14) / 4] ] / 2+g8
… 式（２−２ａ）
【００６８】
補間処理によって生成される部分領域画像中、上から第３行、左から第４列の位置にある画素ｇｇ８の画素値を線形補間により生成するためには、以下の式（２−２ｂ）または式（２−２ｃ）が用いられる。
|g5 - g11| ＜ |g8 - g9|の場合、
gg8 = (g5+g11) / 2+(-b2+2*b5 - b8) *λ … 式（２−２ｂ）
|g5 - g11| ≧ |g8 - g9|の場合、
gg8 = (g8+g9) / 2+( - b4+2*b5 - b6) *λ … 式（２−２ｃ）
【００６９】
補間処理によって生成される部分領域画像中、上から第４行、左から第３列の位置にある画素ｇｇ１１の画素値を線形補間により生成するためには、以下の式（２−２ｄ）または式（２−２ｅ）が用いられる。
|g8 - g14| ＜ |g10 - g11|の場合、
gg11 = (g8+g14) / 2+( - r2+2*r5 - r8) *λ … 式（２−２ｄ）
|g8 - g14| ≧ |g10 - g11|の場合、
gg11 = (g10+g11) / 2+( - r4+2*r5 - r6) *λ … 式（２−２ｅ）
【００７０】
補間処理によって生成される部分領域画像中、上から第４行、左から第４列の位置にある画素ｂｂ５の画素値を線形補間により生成する場合、以下の式（２−２ｆ）が用いられる。
bb5 = [ [b5 - (g5+g8+g9+g11) / 4] + [b8 - (g11+g14+g15+g17) / 4] ] / 2+g11
… 式（２−２ｆ）
【００７１】
以上に説明した、補間方法１または補間方法２の補間処理により、図５Ａの（ｅ）に示される、パターン３の画素色配列パターンを有する部分領域画像ＰＲＩ２から、図５Ａの（ｆ）に示される、パターン１の画素色配列パターンを有する補間画像が生成される。
【００７２】
図５Ｂの（ｈ）、（ｉ）、（ｊ）を参照し、パターン４の画素色配列パターンを有する部分領域画像ＰＲＩ２から補間画像が生成される例を説明する。本例においても、ベイヤー配列による画素色配列パターンの一組の配列単位を構成する画素ｒｒ５、ｇｇ８、ｇｇ１１、ｂｂ５それぞれの画素値を補間処理によって生成する場合を例に説明する。以下に説明する補間処理を、参照画像中の他の配列単位にも繰り返し行うことにより、補間画像を生成することができる。図５Ａの（ａ）、（ｂ）、（ｃ）を参照しての説明と同様、補間方法１および補間方法２について説明する。
【００７３】
［パターン４ 補間方法１］
補間方法１による補間処理は、参照画像中の部分領域画像ＰＲＩ２がパターン２、パターン３を有する場合で説明したのと同様処理が行われる。すなわち、補間処理によって生成される部分領域画像中、上から第３行、左から第３列の位置にある画素ｒｒ５の画素値を線形補間により生成する場合、以下の式（３−１ａ）が用いられる。つまり、図５Ｂの（ｉ）に示される、参照画像中の部分領域画像ＰＲＩ２において、第３行、第３列の位置にある画素ｂ５を基準として、対角方向の上下左右に隣接するＲ色の画素である画素ｒ１、画素ｒ２、画素ｒ４、画素ｒ５の画素値が参照されて画素ｒｒ５の画素値が算出される。
rr5 = (r1+r2+r4+r5) / 4 … 式（３−１ａ）
【００７４】
補間処理によって生成される部分領域画像中、上から第３行、左から第４列の位置にある画素ｇｇ８の画素値を線形補間により生成する場合、以下の式（３−１ｂ）が用いられる。つまり、図５Ｂの（ｉ）に示される、参照画像中の部分領域画像ＰＲＩ２において、第３行、第４列の位置にある画素は、画素ｇｇ８と同じ色を有するＧ色の画素ｇ８である。したがって、画素ｇ８の画素値がそのまま画素ｇｇ８の画素値として用いられる。
gg8 = g8 … 式（３−１ｂ）
【００７５】
補間処理によって生成される部分領域画像中、上から第４行、左から第３列の位置にある画素ｇｇ１１の画素値を線形補間により生成する場合、以下の式（３−１ｃ）が用いられる。つまり、図５Ｂの（ｉ）に示される、参照画像中の部分領域画像ＰＲＩ２において、第４行、第３列の位置にある画素は、画素ｇｇ１１と同じ色を有するＧ色の画素ｇ１１である。したがって、画素ｇ１１の画素値がそのまま画素ｇｇ１１の画素値として用いられる。
gg11 = g11 … 式（３−１ｃ）
【００７６】
補間処理によって生成される部分領域画像中、上から第４行、左から第４列の位置にある画素ｂｂ５の画素値を線形補間により生成する場合、以下の式（３−１ｄ）が用いられる。つまり、図５Ｂの（ｉ）に示される、参照画像中の部分領域画像ＰＲＩ２において、第４行、第４列の位置にある画素ｒ５を基準として、対角方向の上下左右に隣接するＢ色の画素である画素ｂ５、画素ｂ６、画素ｂ８、画素ｂ９の画素値が参照される。そして、下記の式（３−１ｄ）により画素ｂｂ５の画素値が算出される。
bb5 = (b5+b6+b8+b9) / 4 … 式（３−１ｄ）
【００７７】
［パターン４ 補間方法２］
部分領域画像ＰＲＩ２がパターン２を有する場合について、より高度な補間を行うために、式（１−２ａ）、式（１−２ｂ）、式（１−２ｃ）、式（１−２ｄ）用いて画素ｒｒ５、ｇｇ８、ｇｇ１１、ｂｂ５の画素値を求める例について先に説明したが、参照画像中の部分領域画像ＰＲＩ２がパターン４を有する本例においても同様の処理が行われる。以下に、パターン４に対応する式（３−２ａ）、（３−２ｂ）、式（３−２ｃ）、式（３−２ｄ）を示す。
【００７８】
補間処理によって生成される部分領域画像中、上から第３行、左から第３列の位置にある参照画像中の画素ｒｒ５の画素値は、以下の式（３−２ａ）を用いて求められる。
rr5 = [ [r1 - (g1+g4+g5+g7) / 4] + [r2 - (g2+g5+g6+g8) / 4] + [r4 - (g7+g10+g11+g13) / 4] + [r5 - (g8+g11+g12+g14) / 4] ] / 4 + (g5+g7+g8+g11) / 4
… 式（３−２ａ）
【００７９】
上記の式（３−２ａ）において、右辺の [r1 - (g1+g4+g5+g7) / 4]、[r2 - (g2+g5+g6+g8) / 4]、[r4 - (g7+g10+g11+g13) / 4]、[r5 - (g8+g11+g12+g14) / 4] について説明する。図５Ｂの（ｉ）に示される、参照画像中の部分領域画像ＰＲＩ２において、第３行、第３列の位置にある画素ｂ５を基準として、対角方向の上下左右には画素ｒ１、ｒ２、ｒ４、ｒ５が隣接して存在する。上記の四つの式は、これら四つのＲ色画素の画素位置に対応するＧ色成分の画素値を、上記各Ｒ色画素の周囲にあるＧ色画素値からそれぞれ補間によって求め、Ｒ−Ｇ色差を計算している。また、上記の式（３−２ａ）における (g5+g7+g8+g11) / 4 は、画素ｂ５の位置におけるＧ色画素値を、画素ｂ５の周囲に位置する四つのＧ色画素ｇ５、ｇ７、ｇ８、ｇ１１の値から補間により求めている。そして、上述した四つのＲ−Ｇ色差値の平均と、画素ｂ５の位置におけるＧ色画素値とを加算することにより、画素ｂ５の位置におけるＲ色の画素値を得る。
【００８０】
補間処理によって生成される部分領域画像中、上から第３行、左から第４列の位置にある参照画像中の画素ｇｇ８の画素値は、以下の式（３−２ｂ）を用いて求められる。つまり、図５Ｂの（ｉ）に示される、参照画像中の部分領域画像ＰＲＩ２において、第３行、第４列の位置にある画素は、画素ｇｇ８と同じ色を有するＧ色の画素ｇ８である。したがって、下記の式（３−２ｂ）に示されるように、画素ｇ８の画素値がそのまま画素ｇｇ８の画素値として用いられる。
gg8=g8 … 式（３−２ｂ）
【００８１】
補間処理によって生成される部分領域画像中、上から第４行、左から第３列の位置にある参照画像中の画素ｇｇ１１の画素値は、以下の式（３−２ｃ）を用いて求められる。つまり、図５Ｂの（ｉ）に示される、参照画像中の部分領域画像ＰＲＩ２において、第４行、第３列の位置にある画素は、画素ｇｇ１１と同じ色を有するＧ色の画素ｇ１１である。したがって、下記の式（３−２ｃ）に示されるように、画素ｇ１１の画素値がそのまま画素ｇｇ１１の画素値として用いられる。
ｇｇ１１＝ｇ１１ … 式（３−２ｃ）
【００８２】
図５Ｂの（ｉ）に示される、参照画像中の部分領域画像ＰＲＩ２において、第４行、第４列の位置にある画素ｂｂ５の画素値は、以下の式（３−２ｄ）を用いて求められる。
bb5 = [ [b5 - (g5+g7+g8+g11) / 4] + [b6 - (g6+g8+g9+g12) / 4] + [b8 - (g11+g13+g14+g17) / 4] + [b9 - (g12+g14+g15+g18) / 4] ] / 4 + (g8+g11+g12+g14) / 4
… 式（３−２ｄ）
【００８３】
上記の式（３−２ｄ）において、右辺の [b5 - (g5+g7+g8+g11) / 4]、[b6 - (g6+g8+g9+g12) / 4]、[b8 - (g11+g13+g14+g17) / 4]、[b9 - (g12+g14+g15+g18) / 4] について説明する。図５Ｂの（ｉ）に示される、参照画像中の部分領域画像ＰＲＩ２において、第４行、第４列の位置にある画素ｒ５を基準として、対角方向の上下左右には画素ｂ５、ｂ６、ｂ８、ｂ９が隣接して存在する。上記の四つの式は、これら四つのＢ色画素の画素位置に対応するＧ色成分の画素値を、各Ｂ色画素の周囲に存在するＧ色画素値からそれぞれ補間によって求め、Ｂ−Ｇ色差を計算している。また、上記の式（３−２ｄ）における (g8+g11+g12+g14) / 4 は、画素ｒ５の位置におけるＧ色画素値を、画素ｒ５の周囲に位置するＧ色画素ｇ８、ｇ１１、ｇ１２、ｇ１４の画素値から補間により求めている。そして、上述した四つのＢ−Ｇ色差値の平均と、画素ｒ５の位置におけるＧ色画素値とを加算することにより、画素ｒ５の位置におけるＢ色の画素値を得る。
【００８４】
以上で説明した補間処理を行うことにより、基準画像の部分領域画像ＰＲＩ１に対応する位置の画像として参照画像中から抽出された部分領域画像ＰＲＩ２の画素色配列パターンによらず、基準画像の部分領域画像ＰＲＩ１と同じ画素色配列パターンの補間画像（部分領域画像）を生成することが可能となる。したがって、基準画像と補間画像との合成をより好適な形で行うことが可能となる。なお、参照画像の部分領域画像ＰＲＩ２の画素色の配列が基準画像の部分領域画像ＰＲＩ１と同じパターン１である場合には、以上で説明したパターン２〜パターン４に対応する補間処理は不要となり、参照画像の画素値をそのまま利用することが可能である。つまり、補間による画素値の生成処理を省くことが可能となる。
【００８５】
以上では、より簡便な方法として補間方法１、より高度な方法として補間方法２による補間処理を行う例を示したが、他の補間方法も利用可能である。すなわち、ＣＦＡ画像中、所与の画素位置にある画素の画素値を推定する場合に、推定対象の画素の近傍に位置する画素の画素値から、上記所与の画素位置にある画素の本来の画素色と異なる色の画素値を生成可能な補間方法であれば、以上に例示した以外の任意の補間方法を利用可能である。
【００８６】
図６は、画像処理部１００で行われるＣＦＡ画像合成処理の処理手順を説明するフローチャートである。画像処理部１００が例えばデジタルカメラに内蔵されるものである場合、デジタルカメラで撮像動作が行われて同一被写体を撮影したｎ枚のＣＦＡ画像が得られたときに図６に示す処理が行われる。あるいは、ｎ枚のＣＦＡ画像を得る際に連続撮影が行われる場合、一連の連続撮影動作が完了する前に図６に示す処理が開始されてもよい。以下では、同一被写体を撮影して２枚のベイヤーＣＦＡ画像が得られたときに図６の処理が開始されるものとして説明をする。
【００８７】
Ｓ６００において画像処理部１００は、２枚のＣＦＡ画像を入力する。これらのＣＦＡ画像のうちの一枚が基準画像、もう一枚が参照画像とされる。最初の撮像動作で得られたＣＦＡ画像、次の撮像動作で得られたＣＦＡ画像のうち、いずれを基準画像とするかは任意に設定可能である。
【００８８】
Ｓ６０２において画像処理部１００は、基準画像中に部分領域を設定する。この部分領域は、任意の分割方法によって設定可能であり、画面全体を一つの領域として設定することも可能である。本例では、図４、図５Ａ、図５Ｂを参照して説明したように縦に６画素、横に６画素の３６画素からなる矩形の領域が設定されるものとする。基準画像中で縦横６画素のサイズの矩形ウィンドウを順次移動させて、部分領域の位置を変化させながら以下で説明する処理を繰り返し行うことにより、画面全体の合成処理が行われる。
【００８９】
Ｓ６０４において画像処理部１００は、Ｓ５０２で設定された部分領域の画像、すなわち部分領域画像ＰＲＩ１をテンプレートとして、一致度の高い部分領域を参照画像中で探索する。そして、図３、図４を参照して説明したように、１画素の分解能で縦方向および横方向の位置ずれ量ｄｘ、ｄｙを算出する。
【００９０】
Ｓ６０６において画像処理部１００は、Ｓ６０４で算出された縦方向および横方向の位置ずれ量ｄｘ、ｄｙのそれぞれについて、２で除したときの剰余（２の剰余）を計算する。この計算の結果、（横方向位置ずれ量ｄｘ，縦方向位置ずれ量ｄｙ）の、２の剰余の組み合わせとしては、（０，０）、（１，０）、（０，１）、（１，１）のいずれかとなる。
【００９１】
Ｓ６０８において画像処理部１００は、Ｓ６０６で算出された２の剰余の組み合わせ（０，０）、（１，０）、（０，１）、（１，１）から、基準画像中で設定された部分領域ＰＲＩ１に対応する、参照画像中の部分領域画像ＰＲＩ２の画素色の配列パターンを判定する。上記２の剰余の組み合わせが、（０，０）のとき、パターン１と判定され、（１，０）のとき、パターン２と判定され、（０，１）のとき、パターン３と判定され、（１，１）のとき、パターン４と判定される。
【００９２】
Ｓ６０８でパターン１と判定されたとき、部分領域画像ＰＲＩ１とＰＲＩ２とは同じ画素色の配列パターンを有するので、部分領域画像ＰＲＩ２に補間処理をする必要はなく、部分領域画像ＰＲＩ２内の各画素値をそのまま利用可能である。一方、パターン２、パターン３、パターン４のいずれかであると判定されたとき、判定されたパターンに対応する補間処理がＳ６１０、Ｓ６１２、およびＳ６１４のいずれかで行われて補間画像（補間画素値）が生成される。Ｓ６１０、Ｓ６１２、Ｓ６１４で行われる補間処理に際しては、先に説明した補間方法１および補間方法２のうち、いずれの補間方法を用いることも可能である。また、補間方法１、補間方法２以外の補間方法によって補間処理が行われてもよい。このとき、予め用意される複数の補間方法の中からユーザがいずれかの補間方法を選択可能に構成されていてもよい。
【００９３】
基準画像データ中の部分領域画像ＰＲＩ１と、以上のようにして生成された補間画像データ（パターン１のときには部分領域画像ＰＲＩ２を構成する各画素値）とがＳ６１６で合成されて合成画像が生成される。ここで生成される合成画像は、部分領域画像ＰＲＩ１と同じ画素数のＣＦＡ画像である。合成処理としては様々な方法を行うことが可能であるが、ここでは加算による合成をする例について説明する。加算による合成をする場合、例えば、部分領域画像ＰＲＩ１と補間画像とで画素毎に所定の混合比Ｍ：Ｎで加算合成をすることが可能である。具体例としては、基準画像データの部分領域画像ＰＲＩ１中の画素の画素値をＰ１、当該画素に対応する補間画像中の画素の画素値をＰ２、合成後の画素値をＰ３とすると、以下の式（４）を用いて加算合成することが可能である。
Ｐ３＝（Ｍ×Ｐ１＋Ｎ×Ｐ２）／（Ｍ＋Ｎ） … 式（４）
【００９４】
上記式（４）において、Ｍ、Ｎは任意の実数とすることが可能である。単純な加算合成の例ではＭ＝１、Ｎ＝１とすることにより、画素値Ｐ１およびＰ２の和を２で除したものとすることができる。Ｍ、Ｎのいずれかを負の値とすることにより、両画素値の差分をとることもできる。また、Ｍ、Ｎのいずれかを０とすることができる。つまり、画素値Ｐ１およびＰ２のいずれかを合成後の画素値Ｐ３として選択することもできる。
【００９５】
Ｓ６１８において画像処理部１００は、すべての部分領域に対応する処理を完了したか否かを判定する。Ｓ６１８での判定が否定される間、上述したＳ６０２からＳ６１６までの処理が繰り返し行われる。全ての部分領域での処理が完了するとＳ６１８の判定が肯定され、処理はＳ６２０に進む。
【００９６】
画像処理部１００は、Ｓ６２０で合成画像を出力し、一連の処理を完了する。
【００９７】
以上、画像処理部１００による複数枚のＣＦＡ画像入力、位置ずれ量算出、補間、画像合成の処理について図６のフローチャートを参照して説明した。図６では、ＣＦＡ画像が、縦・横２画素の画素色配列単位からなるベイヤーＣＦＡ画像である場合を例に説明したが、本発明はこの例に限られない。つまり、ＣＦＡ画像の画素色の配列単位が、縦方向にｒ画素、横方向にｃ画素から構成される場合、Ｓ６０６では横方向の位置ずれ量ｄｘをｃで除したときの剰余と、縦方向の位置ずれ量ｄｙをｒで除したときの剰余とを計算する。Ｓ６０８では縦、横方向それぞれに対応する剰余の組み合わせから、参照画像中の部分領域画像ＰＲＩ２の画素色の配列パターンを判定する。画素色の配列単位が、縦方向にｒ画素、横方向にｃ画素から構成される場合、剰余の組み合わせはｒ×ｃ通りとなる。Ｓ６０８では、参照画像の色配列パターンがｃ×ｒ通りの色配列パターンのうちのいずれかと判定される。Ｓ６０８での判定結果に応じた補間処理が続いて行われる。このとき、縦、横の剰余の組み合わせが（０，０）である場合に対応するパターン１と判定された場合、補間処理は省略可能となる。
【００９８】
図５Ａ、図５Ｂ、図６を参照しての以上の説明では、参照画像の色配列パターンに応じた補間方法で補間画像を生成し、その上で基準画像と補間画像とを合成するものとして説明したが、以下に説明するように点順次で補間画素値を算出し、合成処理をすることも可能である。すなわち、Ｓ６０８で参照画像の色配列パターンが判定されると、参照画像の画素値をそのまま用いて合成するのか（パターン１のケース）、補間処理をして生成した画素値を基準画像の対応する画素値と合成するのか（パターン２、パターン３、パターン４のケース）が決まる。参照画像の色配列パターンがパターン２からパターン４のいずれかで補間処理をする必要がある場合には、基準画像の部分領域画像ＰＲＩ１中の各画素（Ｒ１、Ｇ１、Ｒ２、…、Ｇ１８、Ｂ９）に対応する画素値ｒｒ１、ｇｇ１、…、ｇｇ１８、ｂｂ９を点順次に算出しながら合成処理をすることが可能となる。点順次に処理をする際の処理順や走査方向は任意に設定可能である。
【００９９】
また、図６を参照しての以上の説明では、２枚のＣＦＡ画像が合成処理される例について説明したが、３枚以上のＣＦＡ画像を合成処理することも可能である。３枚以上のＣＦＡ画像を合成する場合、以下で図７、図８を参照して説明するような方法等を用いて合成処理をすることが可能となる。
【０１００】
図７に示される合成処理では、複数枚のＣＦＡ画像のうち、選択された２枚のＣＦＡ画像の一方を基準画像、他方を参照画像として位置ずれ量算出、補間、画像合成の処理が行われて合成画像１が生成される。図７の例では１枚目の画像が基準画像１に設定され２枚目の画像が参照画像１に設定される。そして、生成された合成画像１を新たな基準画像とし、未処理のＣＦＡ画像中の一つを新たな参照画像として、位置ずれ量算出、補間、画像合成の処理が行われて合成画像が生成される。図７の例では３枚目の画像が参照画像２、合成画像１が基準画像２とされて、合成画像２が生成される。入力されたＣＦＡ画像の枚数に応じて、これらの処理が繰り返し行われ、ｎ枚のＣＦＡ画像がｎ−１枚、ｎ−２枚と減じられて、最終的に１枚の合成画像が生成される。図７の例では合成画像３が最終的に得られる合成画像である。
【０１０１】
図７中に、矩形の枠で囲われた数字を示してあるが、これらは二つの画像を合成する際に設定される合成比率の例を示している。つまり、基準画像１と参照画像１とを合成して合成画像１を生成する場合、基準画像１と参照画像１との合成比率を１：１とすることを意味する。基準画像２と参照画像２とを合成して合成画像２を生成する場合、基準画像２と参照画像２との合成比率を２：１とする。つまり、２枚の画像を合成して得た基準画像２の合成比率を、参照画像１の合成比率の２倍に設定する。基準画像３と参照画像３とを合成して合成画像３を生成する場合、基準画像３と参照画像３との合成比率を３：１とする。つまり、３枚の画像を合成して得た基準画像３の合成比率を、参照画像３の合成比率の３倍に設定する。このように、基準画像が何枚の画像を合成して得られたものかに応じて基準画像と参照画像との合成比率を変化させることにより、一定の合成比率で合成をする場合に比して、より後に合成される参照画像の影響度が相対的に高まるのを抑制可能となる。
【０１０２】
あるいは、以下に説明するように合成処理を行うことも可能である。例えば４枚のＣＦＡ画像が入力される場合、１枚目の入力画像を基準画像１とし、２枚目の入力画像を参照画像１として、これらの画像から合成画像１を得る。また、３枚目の入力画像を基準画像２とし、４枚目の入力画像を参照画像２として、これらの画像から合成画像２を得る。続いて、合成画像１を基準画像３、合成画像２を参照画像３として得られた合成画像を最終的に得られる合成画像としてもよい。この場合には、合成される各画像の合成比率を常に１：１として、最終的に得られる合成画像中における各入力画像の影響度を均一に揃えることが可能となる。無論、各入力画像に対して異なる合成比率が設定されるようにしてもよい。
【０１０３】
図８を参照して、図７に示されるのとは異なる合成処理の手順について説明する。図８に示される合成処理の例では、入力されるｎ枚のＣＦＡ画像のうち、１枚の画像が基準画像とされて、残りのｎ−１枚のＣＦＡ画像は参照画像１、参照画像２、…、参照画像ｎ−１とされる。そして、基準画像と参照画像１、基準画像と参照画像２、…、基準画像と参照画像ｎ−１、それぞれの組み合わせに対応して位置ずれ量の算出、補間画像生成の処理が行われる。その結果、ｎ−１枚の補間画像が生成される。図７の例では４枚の入力ＣＦＡ画像から３枚の補間画像、すなわち補間画像１、補間画像２、補間画像３が生成される。そして、生成された各補間画像と、基準画像とを合成して合成画像が生成される。このとき、各補間画像および基準画像それぞれの合成比率は任意に設定可能である。
【０１０４】
図７、図８を参照しての上記説明においては、入力された複数枚のＣＦＡ画像中、１枚目のＣＦＡ画像を基準画像とする例について説明したが、入力されたＣＦＡ画像中の任意の画像を基準画像とすることが可能である。また、合成処理される対象となるＣＦＡ画像の組み合わせも任意に設定可能である。
【０１０５】
以上に説明した手順により、位置ずれ量算出、補間処理、合成処理を行う場合の処理負荷は、デモザイク処理をしてフルカラー化した画像データを生成し、位置ずれ量の算出、合成処理を行う場合の処理負荷に比べて軽くなる。つまり、元のＣＦＡ画像を一板の画像とし、補間処理によって生成される画像を別の一板の画像とするならば、いわば二板化の処理で済んでいる、ということになる。つまり、ベイヤー配列のＣＦＡ画像をデモザイク処理してＲ、Ｇ、Ｂ各カラープレーンの三板化したフルカラーの画像データを生成する場合に比べて約半分の処理量で済む（デモザイク処理を経る場合には二板分の画像データを追加生成するところ、本実施の形態では一板分の画像データの追加生成処理で済む）ことになる。加えて、上述した補間処理では、参照画像から抽出された部分領域画像ＰＲＩ２を構成する画素中、基準画像の部分領域画像ＰＲＩ１を構成する画素と画素色が異なる場合のみ補間処理が行われる。つまり、必要なときにのみ補間処理が行われるので、処理負荷をさらに軽減することが可能となる。
【０１０６】
以上のように処理負荷を軽減することが可能となるのに加えて、１画素精度で位置ずれ量が求められて補間処理、合成処理が行われるので、デモザイク処理をした後の画像を用いて合成をする場合と同様の精度で合成処理をすることが可能となる。また、合成処理して得られた画像データをＲＡＷ画像データとして保存することも可能となるので、後でレタッチ等の画像処理をした際に生じる画質の低下を抑制可能となる。加えて、ＲＡＷ画像データでは、８ビットのビット深度を超す情報量を各画素に対応する画素値として維持することも可能となり、この点でも後でレタッチ等をした際に生じる画質の低下を抑制可能となる。
【０１０７】
以上に説明した画像処理部１００は、デジタルカメラや、カメラを内蔵する携帯電話や携帯情報端末等の内部に備えられたものとすることが可能である。あるいは、記録媒体に記録された画像処理プログラムがコンピュータのＣＰＵにより読み出されて実行され、画像処理部１００としての機能が実装されてもよい。以下、その例について説明する。
【０１０８】
図９は、以上に説明した画像処理部１００を備えるデジタルカメラ２００の概略的内部構成を説明するブロック図である。デジタルカメラ２００は、スチルカメラであってもムービーカメラであってもよい。あるいは、携帯電話や携帯情報端末等に組み込まれるカメラであってもよい。デジタルカメラ２００がスチルカメラまたはムービーカメラであるとき、撮影レンズが固定式のものであっても、交換可能に構成されるものであってもよい。
【０１０９】
デジタルカメラ２００は、撮影光学系２０２と、撮像部２０４と、画像処理部１００と、メモリカードインターフェース２０６と、ＣＰＵ２０８と、表示部２１０と、操作部２１２と、メモリ２１４とを備える。
【０１１０】
撮影光学系２０２は、被写体像を撮像部２０４の受光エリア上に形成する。撮影光学系２０２は、単焦点の光学系であっても、可変焦点距離の光学系であってもよい。
【０１１１】
撮像部２０４は、シャッタ、撮像素子、アナログ・フロントエンド等を含んで構成される。撮影光学系２０２を透過した被写体光は、シャッタが開いている間、撮像素子に入射する。撮像素子の受光エリア上に形成される被写体像が光電変換され、画像信号が生成される。なお、撮像素子が電気的に露光時間（光電変換時間）の制御を行うことが可能な、電子シャッタの機能を有する場合、シャッタは必ずしも備えられていなくてもよい。撮像素子の受光面上にはオンチップカラーフィルタが配置される。撮像部２０４は、同一被写体に対して複数の露光動作を行い、複数枚のＣＦＡ画像データを生成可能に構成される。あるいは、撮影光学系２０２および撮像部２０４を複数組備え、複数の撮影動作が略同時に行われて複数のＣＦＡ画像データを生成可能に構成されていてもよい。このとき、例えば、各ＣＦＡ画像データを得るのに対応して異なるシャッタ秒時を設定すると、露光量の異なる複数枚のＣＦＡ画像データを得ることが可能となる。これらの画像データを合成することにより、いわゆるＨＤＲ合成画像を得ることが可能となる。
【０１１２】
操作部２１２は、プッシュスイッチ、スライドスイッチ、ダイヤルスイッチ、タッチパネル等のうちいずれか一種類または複数種類を備え、ユーザの操作を受け付け可能に構成される。表示部２１０は、ＴＦＴ液晶表示パネルとバックライト装置、あるいは有機ＥＬ表示素子等の自発光式表示素子を備え、画像や文字等の情報を表示可能に構成される。
【０１１３】
メモリ２１４は、フラッシュメモリやＲＡＭ等を備えて構成される。フラッシュメモリには、ＣＰＵ２０８により実行される制御プログラム（ファームウェア）や、調整パラメータ、あるいはデジタルカメラ２００の電源が入っていない状態でも保持する必要のある情報等が記憶される。ＲＡＭはＣＰＵ２０８および画像処理部１００の双方からアクセス可能に構成され、ＣＰＵ２０８および画像処理部１００のワークエリアとして機能する。ＣＰＵ２０８は、フラッシュメモリからＲＡＭに転送されたファームウェアを解釈・実行してデジタルカメラ２００の動作を統括的に制御する。
【０１１４】
メモリカードインターフェース２０６は、着脱自在に装着されるメモリカードＭＣへの情報の書き込みと、メモリカードＭＣからの情報の読み出しが可能に構成される。
【０１１５】
ユーザがデジタルカメラ２００の電源をオンに切り換え、操作部２１２を操作してデジタルカメラ２００を撮影モードに切り換える。ユーザがさらに操作部２１２を操作して、動作モードを例えばＨＤＲ撮影モードに設定し、デジタルカメラ２００を被写体に向けてレリーズ操作をすると、一連の複数枚のＣＦＡ画像データが生成されて画像処理部１００に入力される。画像処理部１００は、先に説明したようにＣＦＡ画像の合成処理を行い、合成画像データを生成する。この合成画像データはＣＦＡ画像データである。この合成画像データを可逆圧縮し、撮影情報等のメタデータを付加し、ＲＡＷ画像ファイルとしてメモリカードＭＣに記録することができる。また、合成画像データにデモザイキングの処理をしてフルカラー画像データを生成することも可能である。このフルカラー画像データをもとに、表示部２１０に画像を表示することができる。さらに、フルカラー画像データにＪＰＥＧ等の非可逆圧縮をしてメタデータを付加し、ＪＰＥＧ画像ファイルとしてメモリカードＭＣに記録することもできる。
【０１１６】
あるいは、撮像部２０４で生成された複数枚のＣＦＡ画像データを画像処理部１００で合成処理することなく、メモリカードＭＣに記録することも可能である。この場合、デジタルカメラ２００が再生モードに切り換えられたときに当該の複数枚のＣＦＡ画像データがメモリカードＭＣからメモリ２１４に読み込まれる。そして、画像処理部１００で合成処理をした後にデモザイク処理をしてフルカラー化し、表示部２１０に画像を表示することができる。メモリカードＭＣに記録された一連の複数枚のＣＦＡ画像データは、他の機器、例えばコンピュータやビデオレコーダ等にメモリカードＭＣやインターフェースケーブル等を介して転送され、これらのコンピュータやビデオレコーダ等の内部で合成処理することも可能である。
【０１１７】
図１０は、情報処理装置３００のＣＰＵ３０２によって画像処理プログラムが実行されることにより、画像処理部１００が実現される例を説明するブロック図である。情報処理装置３００は、ＣＰＵ３０２と、メモリ３０４と、補助記憶装置３０６と、システムバス３０８とを備える。情報処理装置３００はまた、メモリカードインターフェース３１０と、光ディスクドライブ３１２と、ネットワークインターフェース３１４と、ビデオインターフェース３１６とを備える。情報処理装置３００は、必要に応じて有線または無線の通信インターフェースを備えていても良い。
【０１１８】
メモリ３０４は、ＳＤＲＡＭ等で構成されていて比較的高速のアクセス速度を有し、ＣＰＵ３０２がプログラムを実行する際のワークエリアとして用いられる。補助記憶装置３０６は、ハードディスクドライブやＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等を備え、ＣＰＵ３０２で実行されるプログラムや、画像ファイル等を記憶可能に構成される。
【０１１９】
メモリカードインターフェース３１０は、装着されたメモリカードＭＣからの情報の読み出しと、メモリカードＭＣへの情報の書き込みとを可能に構成される。メモリカードＭＣは、画像ファイルやプログラムファイル等を記憶可能な記憶媒体であり、デジタルカメラ２００に装着することも可能に構成される。
【０１２０】
光ディスクドライブ３１２は、装着された光ディスクＯＤから画像ファイルやプログラムファイル等を読み出し可能に構成される。光ディスクドライブ３１２はまた、画像ファイルや各種情報等を光ディスクＯＤに書き込み可能に構成されていてもよい。
【０１２１】
ネットワークインターフェース３１４は、有線または無線の形態でネットワークＮＷに接続可能に構成される。そして、ネットワークＮＷに接続されるサーバ等へ情報の出力およびサーバ等からの情報の入力が可能に構成される。
【０１２２】
ビデオインターフェース３１６は、カラー液晶表示装置等のフラットパネルディスプレイやＣＲＴ等の表示装置を接続可能に構成される。接続されたこれらの表示装置には、文字等の情報や画像等が表示される。上述したメモリ３０４、補助記憶装置３０６、メモリカードインターフェース３１０、光ディスクドライブ３１２、ネットワークインターフェース３１４、ビデオインターフェース３１６は、システムバス３０８を介してＣＰＵ３０２と相互に接続される。
【０１２３】
画像処理部１００は、補助記憶装置３０６、メモリカードＭＣ、光ディスクＯＤ等の非一時的なコンピュータ可読記憶媒体から読み出されてメモリ３０４にロードされた画像処理プログラムをＣＰＵ３０２が実行することによって実現される。画像処理部１００は、補助記憶装置３０６、メモリカードＭＣ、光ディスクＯＤ等のいずれかから一連の複数枚のＣＦＡ画像を読み出して、先に説明した合成処理をすることができる。そして、合成して得られたＣＦＡ画像をＲＡＷ画像データとして補助記憶装置３０６、メモリカードＭＣ、光ディスクＯＤ等のいずれかに記録することができる。また、合成して得られたＣＦＡ画像にデモザイク処理をしてフルカラー化した画像データを生成することもできる。生成されたフルカラー画像データはさらに処理されて表示用画像データや記録用画像データが生成され、表示や記録の処理が行われる。
【０１２４】
本発明は、放送用据え置き型カメラ、ＥＮＧカメラ、民生用ハンディカメラ、デジタルカメラ等の製品に適用可能である。また、画像編集装置やビデオレコーダ等に適用することも可能である。さらに、動画や静止画を処理する画像処理プログラムに適用することも可能である。
【０１２５】
以上、いくつかの実施形態に基づいて本発明について説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【０１２６】
また、上記実施形態からは種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られるのであればこの構成要件が削除された構成もまた発明として抽出され得る。
【符号の説明】
【０１２７】
１００ … 画像処理部
１０２ … ＣＦＡ画像取得部
１０４ … 記憶部
１０６ … 位置ずれ量算出部
１０８ … 合成処理部
１１０ … 補間処理部
１１２ … 現像処理部
１１４ … 出力部
２０２ … 撮影光学系
２０４ … 撮像部
２０８、３０２ … ＣＰＵ
３０４ … メモリ
３０６ … 補助記憶装置
３０８ … システムバス
３１０ … メモリカードインターフェース
３１２ … 光ディスクドライブ
３１４ … ネットワークインターフェース
【技術分野】
【０００１】
本発明は、複数色のオンチップカラーフィルタを有する撮像素子で同一被写体を撮影して得られた複数枚のカラーフィルタアレイ画像を、デモザイク処理を経ずに合成する技術に関する。
【背景技術】
【０００２】
同一被写体を撮影して得た複数枚の画像に対して位置ずれ量を検出し、その位置ずれ量に基づいて複数枚の画像を位置合わせして合成することにより、一回の撮影で得られる画像よりも高画質な画像を得る技術が知られている。
【０００３】
カラー画像を得ることの可能な撮像装置としては、多板式のものと単板式のものがある。多板式の撮像装置は、撮影光学系の後方に配置されたダイクロイックプリズム等の色分解光学系と、色分解光学系で分割された光路上に配置された複数のモノクロ撮像素子とを備える。単板式の撮像装置は、複数色、例えば、ＲＧＢやＹＣＭ等、３色のオンチップカラーフィルタが受光面上に配列された撮像素子を備える。単板式の撮像装置は、一つの撮像素子を備えればよく、ダイクロイックプリズム等も不要であるので、撮像装置を小型化、低廉化する上で有利である。
【０００４】
オンチップカラーフィルタを備える撮像素子から読み出されたままの画像はカラーフィルタアレイ画像と称され、そのままでは人が鑑賞可能な画像を得ることはできないので、デモザイク処理が行われ、デモザイク画像と称される画像が生成される。デモザイク画像は、画像を構成する画素の一つ一つに対してオンチップカラーフィルタの色数に応じた画素値、例えばＲ、Ｇ、Ｂの画素値が生成される。つまり、カラーフィルタアレイ画像では一つの画素からある一色の画素値しか得られないが、デモザイク画像は一画素に対応して複数色の画素値を有する。上述したＲ、Ｇ、Ｂの例では、デモザイク処理によって画像の情報量がデモザイク処理前の３倍に増加する。
【０００５】
特許文献１には、複数枚の画像をデモザイク処理をした後に合成する方法が開示される。特許文献１に開示されるものでは、Ｇ色の成分を主に利用して合成処理が行われる。
【０００６】
特許文献２には、複数枚のカラーフィルタアレイ画像をデモザイクの処理無しに合成する方法が開示される。このとき、合成される対象の複数枚のカラーフィルタアレイ画像間で位置ずれ量が検出され、検出された位置ずれを補償しつつ、複数の画像が加算されて合成される。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００２−１１２００７号公報
【特許文献２】特開２００６−１５７５６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
画像合成処理に際しての処理負荷は、できるだけ減じられるようにすることが、処理のレスポンスを向上させたり、要求されるハードウェアスペックの高度化を抑制したりする上で望ましい。特許文献１に開示される技術では、各画素でＲＧＢ各色の情報が得られるので、１画素の精度で位置合わせをすることができる反面、処理すべき情報量が増加するので、処理負荷が増す。
【０００９】
特許文献２に開示される技術では、デモザイク処理前の画像間で位置ずれが検出されて画像の合成が行われるので、処理すべき情報量の低減が期待できる。しかし、特許文献２に開示される技術では、二つの画像間の位置ずれ量を検出する際に、縦横２画素×２画素の４画素を配列単位とするベイヤー配列の複数のカラーフィルタアレイ画像間において同一の色配置を有する画素ユニット同士で比較する。そして、複数の画像における同一の色成分の画素間で位置ずれを求めることによって、複数の画像の相互間における位置ずれを検出する。そのため、位置ずれの検出精度（最小単位）は縦方向、横方向共に２画素となってしまう。結果として、画像を合成する処理をする際の合成精度も２画素の最小単位となってしまう。色再現性の向上を目的としてオンチップカラーフィルタの色数を増した場合、カラーフィルタアレイの配列単位はさらに大きくなり、それに伴って位置ずれ検出精度、合成精度はさらに低下する。
【００１０】
本発明は、上記の課題に鑑みてなされたものであり、画像の合成処理に際してデモザイク画像の生成を不要としながら、複数枚のカラーフィルタアレイ画像間で位置合わせをして合成する際の精度を高めることを可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明のある態様によれば、同一被写体を撮影して得られた複数枚のカラーフィルタアレイ画像を合成する画像処理装置が、
前記複数枚のカラーフィルタアレイ画像中、一枚の画像を基準画像とし、前記一枚の画像と異なる画像を参照画像として、前記基準画像に対する前記参照画像の位置ずれ量を算出する位置ずれ量算出部と、
前記位置ずれ量算出部で算出された前記位置ずれ量に基づき、前記基準画像および前記参照画像の、対応しあう画素位置の画素である基準画像画素および参照画像画素の画素値をもとに合成処理をして合成カラーフィルタアレイ画像を生成する合成処理部であって、前記対応しあう画素の色が前記基準画像画素と前記参照画像画素とで異なる場合、前記基準画像画素の色と同じ色の画素値を前記参照画像から補間処理によって生成し、前記補間処理によって生成した画素値と前記基準画像画素の画素値とをもとに合成処理をする合成処理部と
を備える。
【００１２】
本発明のある態様によれば、同一被写体を撮影して得られた複数枚のカラーフィルタアレイ画像を合成する画像処理方法が、
前記複数枚のカラーフィルタアレイ画像中、一枚の画像を基準画像とし、前記一枚の画像と異なる画像を参照画像として、前記基準画像に対する前記参照画像の位置ずれ量を算出する位置ずれ算出手順と、
前記位置ずれ算出手順で算出された前記位置ずれ量に基づき、前記基準画像および前記参照画像の、対応しあう画素位置の画素である基準画像画素および参照画像画素の画素値をもとに合成する処理をして合成カラーフィルタアレイ画像を生成する合成処理手順であって、前記対応しあう画素の色が前記基準画像画素と前記参照画像画素とで異なる場合、前記基準画像画素の色と同じ色の画素値を前記参照画像から補間処理によって生成し、前記補間処理によって生成した画素値と前記基準画像画素の画素値とをもとに合成する合成処理手順とを有する。
【００１３】
本発明のある態様によれば、同一被写体を撮影して得られた複数枚のカラーフィルタアレイ画像を合成する処理をコンピュータに実行させる画像処理プログラムが、
前記複数枚のカラーフィルタアレイ画像中、一枚の画像を基準画像とし、前記一枚の画像と異なる画像を参照画像として、前記基準画像に対する前記参照画像の位置ずれ量を算出する位置ずれ量算処理と、
前記位置ずれ量算出処理で算出された前記位置ずれ量に基づき、前記基準画像および前記参照画像の、対応しあう画素位置の画素である基準画像画素および参照画像画素の画素値をもとに合成する処理をして合成カラーフィルタアレイ画像を生成する合成処理であって、前記対応しあう画素の色が前記基準画像画素と前記参照画像画素とで異なる場合、前記基準画像画素の色と同じ色の画素値を前記参照画像から補間処理によって生成し、前記補間処理によって生成した画素値と前記基準画像画素の画素値とをもとに合成する合成処理とを備える。
【発明の効果】
【００１４】
本発明によれば、複数のカラーフィルタアレイ画像を、デモザイク処理を経ずに合成することにより、画像合成に際しての処理負荷の低減が可能で、画像を合成する際の位置合わせ精度を高めることが可能となる。
【図面の簡単な説明】
【００１５】
【図１】画像処理部の構成を説明するブロック図である。
【図２】複数のカラーフィルタアレイ画像中の一枚のカラーフィルタアレイ画像が基準画像として選択され、その基準画像中でブロックマッチングを行うための部分領域が順次設定される様子を概念的に示す図である。
【図３】サブピクセル位置推定の方法を説明する図であり、パラボラフィッティングによる位置推定を行う例を概念的に示す図である。
【図４】カラーフィルタアレイ画像の基準画像中で設定された部分領域画像に対応する部分領域画像の位置が参照画像中で特定された結果に応じて、参照画像中の部分領域画像がとりうる画素色の配列パターンを示す図である。
【図５Ａ】基準画像中で設定された部分領域画像に対応するものとして参照画像中で特定された部分領域画像の画素色配列パターンが、基準画像中で設定された部分領域画像の画素色配列パターンと異なる場合に行われる補間処理を説明する図である。
【図５Ｂ】基準画像中で設定された部分領域画像に対応するものとして参照画像中で特定された部分領域画像の画素色配列パターンが、基準画像中で設定された部分領域画像の画素色配列パターンと異なる場合に行われる補間処理を説明するもう一つの図である。
【図６】画像処理部で行われる複数枚のカラーフィルタアレイ画像の合成処理手順を説明するフローチャートである。
【図７】３枚以上のカラーフィルタアレイ画像を合成する際の処理手順の一例を説明する図である。
【図８】３枚以上のカラーフィルタアレイ画像を合成する際の処理手順の別例を説明する図である。
【図９】画像処理部がデジタルカメラに備えられる例を説明するブロック図である。
【図１０】コンピュータの概略的内部構成を説明するブロック図であり、画像処理プログラムをコンピュータが実行することにより画像処理部が実現される例を説明する図である。
【発明を実施するための形態】
【００１６】
図１は、画像処理部の概略的構成を説明するブロック図である。画像処理部１００は、カラーフィルタアレイ画像取得部（以下、ＣＦＡ画像取得部と称する）１０２と、記憶部１０４と、位置ずれ量算出部１０６と、合成処理部１０８と、現像処理部１１２と、出力部１１４とを備える。
【００１７】
ＣＦＡ画像取得部１０２は、同一被写体を撮像して得られた複数枚のＣＦＡ画像を取得する。複数枚のＣＦＡ画像は、同一の被写体を比較的短い時間の中で時系列に撮像することにより得られる。あるいは、複数の撮像ユニットを用いて同一の被写体を略同時に撮像することにより得られる。複数のＣＦＡ画像が互いに異なる露光量で得られたものである場合、それらのＣＦＡ画像を合成することによって、いわゆるＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）の画像を得ることが可能となる。また、低輝度下の撮影条件で、被写体の輝度や撮像素子の感度等によって決まる標準的な露光量よりも少なめの露光量（短めの露光時間）で得た複数枚のＣＦＡ画像を合成することにより、手ぶれ、被写体ぶれや、ノイズの減じられた画像を得ることが可能となる。
【００１８】
記憶部１０４は、ＳＤＲＡＭ等の、比較的高速のアクセス速度を有するメモリを備えて構成され、ＣＦＡ画像取得部１０２で取得した複数枚のＣＦＡ画像を一時的に記憶する。記憶部１０４はまた、合成処理部１０８のワークエリアとしても用いられる。
【００１９】
位置ずれ量算出部１０６は、複数枚のＣＦＡ画像中、一枚の画像を基準画像とし、この基準画像と異なるＣＦＡ画像を参照画像として、基準画像に対する参照画像の位置ずれ量を算出する。位置ずれ量の算出方法としては、様々な方法を利用可能である。基準画像と参照画像とで、画像全体を一つの領域として両者の比較を行い、位置ずれ量を算出することも可能であるが、以下ではブロックマッチングによって部分領域ごとに位置ずれ量を算出する例について説明する。
【００２０】
図２は、ブロックマッチングに際して基準画像中で設定される部分領域の例を示している。図２では、縦方向（列方向）に６画素、横方向（行方向）に６画素の３６画素からなる部分領域が設定される例が示されている。また、本実施の形態において、ＣＦＡ画像はいわゆるベイヤーＣＦＡ画像であるものとする。ベイヤーＣＦＡ画像では、縦方向に２画素、横方向に２画素の４画素で一つの画素配列単位が形成される。
【００２１】
ＣＦＡ画像でブロックマッチングを行う際に、位置ずれ量算出部１０６は、基準画像中で選択された部分領域の画像をテンプレートとして、参照画像中を探索し、一致度が最大（相違度が最小）となる部分領域画像の位置を導出する。本例では、比較の対照となる基準画像および参照画像の両方の部分画像で、対応しあう画素位置にある画素値間の差の絶対値または差の二乗を各画素位置に対応して求め、それらの総和を相違度として扱うものとする。つまり、総和の値が最も小さくなったとき、一致度が最大（相違度が最小）となる。
【００２２】
このとき、ＣＦＡ画像は１画素に対して１色分の色情報しか有していないので、基準画像の部分領域と同じ画素色の配列パターンを有する部分領域の画像が参照画像から抽出されて比較される。すなわち、図２に示される例において、基準画像から選択された部分領域の画像の画素色の配列は、上から数えて奇数行にはＲ、Ｇ、Ｒ、Ｇ、…の色が、偶数行にはＧ、Ｂ、Ｇ、Ｂ、…の色が配列されたものとなっている。これに対応し、参照画像中で選択される部分領域の画素色の配列も、上記と同じものとする。そのようにしないと、被写体上のある一点における明るさおよび色を、どの色の画素で検出するかによって画素値は異なり、比較する二つの画像間で正しい相関が取れなくなる場合があるからである。結果として、ブロックマッチングで検出される位置ずれ量の精度（最小単位）はＣＦＡ画像の画素色の配列単位に依存する。本例では縦方向に２画素、横方向に２画素からなる画素色の配列単位となっており、したがって画像の縦方向（列方向）、横方向（行方向）の双方に２画素の精度で位置ずれ量が検出される。
【００２３】
一般化した表現を用いて説明すると、ＣＦＡ画像の画素色の配列単位が、縦方向にｒ画素、横方向にｃ画素（ｒ、ｃは共に任意の正の整数）である場合、検出される位置ずれ量の最小単位は、縦方向にｒ画素、横方向にｃ画素となる。つまり、ＣＦＡ画像の画素色の配列単位が大きくなる（色数が増す）ほど、検出される位置ずれ量の最小単位が増加する。
【００２４】
ＣＦＡ画像の画素色配列単位（縦ｒ画素、横ｃ画素）よりも細かい精度で位置ずれ量を求めるため、位置ずれ量算出部１０６はサブピクセル位置推定を行う。サブピクセル位置推定の手法としては、等角直線フィッティング、パラボラフィッティング等がある。図３に、パラボラフィッティングを用いたサブピクセル推定の例を示す。図３において、横軸には位置ずれ量（単位：画素）、縦軸には相違度をとり、参照画像中における部分領域の位置をずらしながら算出して得た相違度がプロットされている。ここで、画像を左右にずらしながら相違度を求める例について説明すると、基準画像および参照画像双方の部分領域画像を、位置をずらさない状態で重ねたときの位置ずれ量を０［画素］とする。その状態から、基準画像は固定したまま、参照画像の部分領域画像を左方向に２画素分ずらしたとき、位置ずれ量を−２［画素］とする。逆に、参照画像を右方向に２画素分ずらしたとき、位置ずれ量を２［画素］とする。
【００２５】
上記のように位置をずらしながら、基準画像および参照画像の同じ画素位置にある画素間で画素値の差を各画素位置に対応して求め、それらの差の絶対値の総和、あるいは二乗和（各画素位置に対応して求めた差を二乗したものの総和）を求める。相違度は、これら絶対値の総和または二乗和の大きさに対応した値となる。はじめに、このようにして求められた相違度のうち、最小相違度の位置ずれ量（相違度が最も小さい値を示す位置ずれ量）を求める。図３の例においては、最小相違度の位置ずれ量は＋２画素である。次に、その最小相違度の位置ずれ量の相違度と、その左右の位置ずれ量の相違度の３つの相違度を通る放物線の式を求める。その式から放物線の頂点を求め、その頂点の座標を、サブピクセル推定された、相違度が最小となるときの位置ずれ量として求めることが出来る。本例では１画素の単位（分解能）で位置ずれ量を求めれば良いので、サブピクセル位置推定によって得られた位置ずれ量を、四捨五入等によって整数にする。
【００２６】
位置ずれ量算出部１０６による上述した位置ずれの算出は、画像の上下方向および左右方向のそれぞれで行われる。このようにして、ＣＦＡ画像の画素色の配列単位を構成する縦、横の画素数（ベイヤーＣＦＡ画像では縦、横、各２画素）によらず、１画素の分解能で位置ずれ量が算出される。
【００２７】
位置ずれ量算出部１０６で算出された、縦方向、横方向の位置ずれ量に関する情報（位置ずれ量情報）は、合成処理部１０８に出力される。合成処理部１０８は、この位置ずれ量情報に基づき、基準画像と参照画像とを合成して合成画像を生成する処理を行う。
【００２８】
図４は、基準画像中で設定された部分領域の画像ＰＲＩ１と、位置ずれ量算出部１０６で算出された位置ずれ量に基づいて参照画像中で特定された部分領域の画像ＰＲＩ２との、画素色の配列関係を示す図である。以下では、基準画像中で設定された部分領域の画像を部分領域画像ＰＲＩ１と称し、参照画像中で特定された部分領域の画像を部分領域画像ＰＲＩ２と称する。ここで、位置ずれ量算出部１０６で算出された横方向の位置ずれ量をｄｘ、縦方向の位置ずれ量をｄｙとする。合成処理に際して基準画像中で設定される部分領域は、位置ずれ量算出部１０６で位置ずれ量を算出する際に設定された部分領域と同一であっても異なっていてもよい。本例では、位置ずれ量算出部１０６において基準画像中で設定された部分領域の画像と部分領域画像ＰＲＩ１とは同一であるものとする。
【００２９】
位置ずれ量算出部１０６で、先に説明したように１画素の分解能で位置ずれ量ｄｘ、ｄｙが求められた結果、これらの位置ずれ量ｄｘ、ｄｙの値としては、０を含む正負の整数となり得る。部分領域画像ＰＲＩ１と、部分領域画像ＰＲＩ２とを画素単位で比較したとき、位置ずれ量ｄｘ、ｄｙの値によっては画素色が同じとなる場合と異なる場合とがある。本例では、ＣＦＡ画像が縦横２画素ずつで構成される配列単位となっている。したがって、位置ずれ量ｄｘ、ｄｙの組み合わせが偶数（０は偶数であるものとする）と奇数とのいずれかの組み合わせ、すなわち（ｄｘ、ｄｙ）の組み合わせが、（偶数、偶数）、（偶数、奇数）、（奇数、偶数）、および（奇数、奇数）の４通り組み合わせのうち、いずれであるかに応じて、部分領域画像ＰＲＩ１、ＰＲＩ２の対応し合う画素位置の画素色の異同が生じる。
【００３０】
上記に関して一般化した表現を用いて説明する。ＣＦＡ画像の画素色の配列単位が、縦方向にｒ画素、横方向にｃ画素（ｒ、ｃは共に任意の正の整数）から構成されるものとする。横方向の位置ずれ量（位置ずれ画素数）ｄｘ（整数値）をｃで除したときの剰余と、縦方向の位置ずれ量（位置ずれ画素数）ｄｙ（整数値）をｒで除したときの剰余との組み合わせに応じて部分領域画像ＰＲＩ１、ＰＲＩ２の対応し合う画素位置の画素色の異同が生じる。例えば、ＣＦＡ画像の画素色の配列単位が、縦方向および横方向に２画素から構成される場合、縦方向、横方向のそれぞれに対応して求められる剰余は０、１の２通りとなる。したがって、縦方向、横方向に対応する剰余の組み合わせに応じて、４通りのパターンを生じる。また、ＣＦＡ画像の画素色の配列単位が、縦方向および横方向に３画素から構成される場合、縦方向、横方向のそれぞれに対応して求められる剰余は０、１、２の３通りとなる。したがって、縦方向、横方向に対応する剰余の組み合わせに応じて、９通りのパターンを生じる。
【００３１】
図４には、本実施の形態において、部分領域画像ＰＲＩ２の画素色の配列として生じうる四つのパターンがパターン１、パターン２、パターン３、およびパターン４として示される。なお、基準画像中部分領域画像ＰＲＩ１のパターンはパターン１であるものとする。
【００３２】
パターン１は、位置ずれ量ｄｘ、ｄｙが共に偶数（ｄｘをｃで、ｄｙをｒで除したときの剰余が共に０）である場合に対応し、部分領域画像ＰＲＩ１の画像と部分領域画像ＰＲＩ２とで、対応する画素位置の画素色は同じとなっている。
【００３３】
パターン２は、位置ずれ量ｄｘが奇数、ｄｙが偶数（ｄｘをｃで除したときの剰余が１、ｄｙをｒで除したときの剰余が０）である場合に対応し、パターン１の配列を基準として横方向に１画素分、画素色の配列がずれたパターンとなっている。部分領域画像ＰＩＲ２の画素色の配列がパターン２となっている場合、部分領域画像ＰＲＩ１と部分領域画像ＰＲＩ２とで、対応する画素位置の画素色は全て異なる。
【００３４】
パターン３は、位置ずれ量ｄｘが偶数、ｄｙが奇数（ｄｘをｃで除したときの剰余が０、ｄｙをｒで除したときの剰余が１）である場合に対応し、パターン１の配列を基準として縦方向に１画素分、画素色の配列がずれたパターンとなっている。部分領域画像ＰＩＲ２の画素色の配列がパターン３となっている場合、部分領域画像ＰＲＩ１と部分領域画像ＰＲＩ２とで、対応する画素位置の画素色は全て異なる。
【００３５】
パターン４は、位置ずれ量ｄｘ、ｄｙが共に奇数（ｄｘをｃで、ｄｙをｒで除したときの剰余が共に１）である場合に対応し、パターン１の配列を基準として縦、横の両方向に１画素分、画素色の配列がずれたパターンとなっている。部分領域画像ＰＩＲ２の画素色の配列がパターン４となっている場合、部分領域画像ＰＲＩ１と部分領域画像ＰＲＩ２とで、Ｇ色の画素のみ、対応する画素位置の画素色が同じとなっている。
【００３６】
部分領域画像ＰＲＩ１およびＰＲＩ２を、対応する画素位置の画素同士で合成をする際に、画素色が同じ場合には問題なく合成ができる。しかし、画素色が異なる場合には、異なる色の画素値を単純に合成しただけでは適切な合成結果を得ることができない。適切な合成結果を得られるようにするため、合成処理部１０８内の補間処理部１１０は以下に説明する補間処理を行う。この補間処理によって、部分領域画像ＰＲＩ１の画素色の配列と同じ配列を有する画像（補間画像）が、部分領域画像ＰＲＩ２をもとに生成される。
【００３７】
図５Ａ、図５Ｂは、基準画像中で設定された部分領域画像ＰＲＩ１と、参照画像中の部分領域画像ＰＲＩ２とで、これらの部分領域画像を構成する画素の画素色配列パターンの違いがある場合に、その違いに応じた補間処理が行われて補間画像が生成される様子を説明する図である。図５Ａ、図５Ｂの（ａ）、（ｄ）、（ｈ）は、基準画像中の部分領域画像ＰＲＩ１を構成する画素の画素色配列パターン例を示す。（ａ）、（ｄ）、（ｈ）に例示されるパターンはいずれも同じものであり、ここでは図４を参照して先に説明したパターン１であるものとする。（ａ）、（ｄ）、（ｈ）において、Ｒ、Ｇ、Ｂ各色の画素には、色を示すＲ、Ｇ、またはＢのアルファベットと、それに続く数字を付して各画素を区別する。（ｂ）、（ｅ）、（ｉ）は、参照画像中の部分領域画像ＰＲＩ２を構成する画素の画素色配列パターンを示す。（ｂ）、（ｅ）、（ｉ）に示されるパターンは、パターン１と異なるものとなっており、図４を参照して先に説明したパターン２、パターン３、パターン４を有するものとして示される。（ｂ）、（ｅ）、（ｉ）において、Ｒ、Ｇ、Ｂ各色の画素には、色を示すｒ、ｇ、またはｂのアルファベットと、それに続く数字を付して区別をする。（ｃ）、（ｆ）、（ｊ）は、（ｂ）、（ｅ）、（ｉ）に示される画素色配列パターン２、３、４の部分領域画像ＰＲＩ２に対し、補間処理部１１０で以下に説明する補間処理が行われて、パターン１の画素色配列パターンを有する補間画像が生成される様子を示している。（ｃ）、（ｆ）、（ｊ）において、Ｒ、Ｇ、Ｂ各色の画素には、色を示すｒｒ、ｇｇ、またはｂｂのアルファベットと、それに続く数字を付して区別をする。
【００３８】
図５Ａの（ａ）、（ｂ）、（ｃ）を参照し、パターン２の画素色配列パターンを有する部分領域画像ＰＲＩ２から補間画像が生成される例を説明する。図５Ａの（ｂ）に例示される、パターン２の画素色配列パターンを有する部分領域画像ＰＲＩ２に対して補間処理が行われる場合、例えばＧ色の画素ｇ１の画素位置に対応して、補間画像中のＲ色の画素ｒｒ１の画素値が生成される。同様に、Ｒ色の画素ｒ１の画素位置に対応して、補間画像中のＧ色の画素ｇｇ１の画素値が生成される。以下、パターン２の画素色配列パターンに対応する補間処理の具体例について説明する。
【００３９】
ここでは、ベイヤー配列に従う画素色配列パターンの、一組の画素色配列単位を構成する画素ｒｒ５、ｇｇ８、ｇｇ１１、ｂｂ５それぞれの画素値を補間処理によって生成する場合を例に説明する。以下に説明する補間処理を、参照画像中の他の配列単位にも繰り返し行うことにより、補間画像を生成することができる。
【００４０】
以下では、補間処理部１１０で行われる処理の例として、２種類の補間方法について説明する。以下ではこれらの補間方法を補間方法１、補間方法２と称して説明する。補間方法１は、比較的単純な線形補間を用いる方法で、処理を高速化することが可能となる。補間方法２は、補間対象となる画素の近傍に存在する複数の画素の相関の高さを参酌した、より高度な補間方法であり、画像の鮮鋭度低下を抑制可能となる。
【００４１】
［パターン２ 補間方法１］
図５Ａの（ｃ）において、補間処理によって生成される部分領域画像中、上から第３行、左から第３列の位置にある画素ｒｒ５の画素値を線形補間により生成する例について説明する。図５Ａの（ｂ）に示される、参照画像中の部分領域画像ＰＲＩ２において、第３行、第３列の位置にあるのは画素ｇ８であり、この画素値をそのまま画素ｒｒ５の画素値とすることはできない。そこで、画素ｇ８の左右両隣に位置するＲ色の画素ｒ４、ｒ５の画素値の平均値を画素ｒｒ５の画素値とする。すなわち、以下の式（１−１ａ）によって画素ｒｒ５の画素値を求める。
rr5 = (r4+r5) / 2 … 式（１−１ａ）
【００４２】
図５Ａの（ｃ）において、補間処理によって生成される部分領域画像中、上から第３行、左から第４列の位置にある画素ｇｇ８の画素値を線形補間により生成する例について説明する。図５Ａの（ｂ）に示される、参照画像中の部分領域画像ＰＲＩ２において、第３行、第４列の位置にあるのは画素ｒ５であり、この画素値をそのまま画素ｇｇ８の画素値とすることはできない。そこで、画素ｒ５の上下左右の両隣に位置するＧ色の画素ｇ５、ｇ１１、ｇ８、ｇ９の画素値の平均値を画素ｇｇ８の画素値とする。すなわち、以下の式（１−１ｂ）によって画素ｇｇ８の画素値を求める。
gg8 = (g5+g11+g8+g9) / 4 … 式（１−１ｂ）
【００４３】
図５Ａの（ｃ）において、補間処理によって生成される部分領域画像中、上から第４行、左から第３列の位置にある画素ｇｇ１１の画素値を線形補間により生成する例について説明する。図５Ａの（ｂ）に示される、参照画像中の部分領域画像ＰＲＩ２において、第４行、第３列の位置にあるのは画素ｂ５であり、この画素値をそのまま画素ｇｇ１１の画素値とすることはできない。そこで、画素ｇｇ１１の上下左右の両隣に位置するＧ色の画素ｇ８、ｇ１４、ｇ１０、ｇ１１の画素値の平均値を画素ｇｇ１１の画素値とする。すなわち、以下の式（１−１ｃ）によって画素ｇｇ１１の画素値を求める。
gg11 = (g8+g14+g10+g11) / 4 … 式（１−１ｃ）
【００４４】
図５Ａの（ｃ）において、補間処理によって生成される部分領域画像中、上から第４行、左から第４列の位置にある画素ｂｂ５を線形補間により生成する例について説明する。図５Ａの（ｂ）に示される、参照画像中の部分領域画像ＰＲＩ２において、第４行、第４列の位置にあるのは画素ｇ１１であり、この画素値をそのまま画素ｂｂ５の画素値とすることはできない。そこで、画素ｇ１１の左右両隣に位置するＢ色の画素ｂ５、ｂ６の画素値の平均値を画素ｂｂ５の画素値とする。すなわち、以下の式（１−１ｄ）によって画素ｂｂ５の画素値を求める。
bb5 = (b5+b6) / 2 … 式（１−１ｄ）
【００４５】
以上のように、補間方法１によれば、比較的単純な計算によって補間画像の各画素値を生成することが可能となる。
【００４６】
［パターン２ 補間方法２］
図５Ａの（ｃ）において、補間処理によって生成される部分領域画像中、上から第３行、左から第３列の位置にある画素ｒｒ５の画素値を生成する例について説明する。本例では、図５Ａの（ｂ）に示される、参照画像中の部分領域画像ＰＲＩ２における第３行、第３列の位置の画素ｇ８、および画素ｇ８の近傍に存在する画素の画素値が参照されて以下の式（１−２ａ）により画素ｒｒ５の画素値を求める。
rr5 = [ [r4 - (g4+g7+g8+g10) / 4] + [r5 - (g5+g8+g9+g11) / 4] ] / 2+g8
… 式（１−２ａ）
【００４７】
画素ｒ４、画素ｒ５は、画素ｇ８の左右両隣に位置する画素である。画素ｇ４、ｇ１０、ｇ７、ｇ８は、画素ｒ４の上下左右に位置する画素であり、画素ｇ５、ｇ１１、ｇ８、ｇ９は画素ｒ５の上下左右に位置する画素である。つまり、上記の式の右辺における、[r4 - (g4+g7+g8+g10) / 4]は、画素ｒ４の画素値（つまり、Ｒ色の値）と、画素ｒ４の位置におけるＧ色の推定値（画素ｇ４、ｇ７、ｇ８、ｇ１０の平均値）との差、すなわち画素ｒ４の位置におけるＲ色とＧ色との色差（Ｒ−Ｇ色差）を求めている。同じく、[r5 - (g5+g8+g9+g11) / 4]は、画素ｒ５の画素値（つまり、Ｒ色の値）と、画素ｒ５の位置におけるＧ色の推定値（画素ｇ５、ｇ８、ｇ９、ｇ１１の平均値）との差、すなわち画素ｒ５の位置におけるＲ−Ｇ色差を求めている。
【００４８】
画素ｒ４、画素ｒ５の位置それぞれにおけるＲ−Ｇ色差の平均値をとると、それは画素ｇ８の位置におけるＲ−Ｇ色差の推定値として利用可能である。このＲ−Ｇ色差の平均値と画素ｇ８の画素値とを加算することにより、画素ｇ８の位置におけるＲ色の画素値をより正確に推定することが可能となる。
【００４９】
図５Ａの（ｃ）において、補間処理によって生成される部分領域画像中、上から第３行、左から第４列の位置にある画素ｇｇ８の画素値を、より高度な補間により生成する例について説明する。この場合、図５Ａの（ｂ）に示される、参照画像中の部分領域画像ＰＲＩ２における第３行、第４列の位置にある画素ｒ５および画素ｒ５の上下左右に位置する画素の画素値が参照されて以下の式（１−２ｂ）または式（１−２ｃ）で画素ｇｇ８の画素値が求められる。
|g5 - g11| ＜ |g8 - g9|の場合、
gg8 = (g5+g11) / 2+(-r2+2*r5 - r8) *λ … 式（１−２ｂ）
|g5 - g11| ≧ |g8 - g9|の場合、
gg8 = (g8+g9) / 2+( - r4+2*r5 - r6) *λ … 式（１−２ｃ）
【００５０】
ここで、条件式 |g5 - g11| ＜ |g8 - g9| に合致するということは、横方向の相関よりも縦方向の相関の方が高いことを意味する。縦方向の相関の方がより高い場合、式（１−２ｂ）の右辺第１項の (g5+g11) / 2 によって、画素ｒ５の上下方向の両隣に位置するＧ色画素である画素ｇ５および画素ｇ１１の画素値の平均値が求められる。また、式（１−２ｂ）の右辺第２項の (-r2+2*r5 - r8) により、画素ｒ５の位置を中心として縦方向に並ぶＲ色の画素ｒ２、ｒ５、ｒ８が参照される。この項は、縦方向に並ぶＲ色の画素ｒ２、ｒ５、ｒ８の画素値の変化に非線形性を有する場合、その非線形性を画素ｇ５および画素ｇ１１の画素値の平均から求めた画素値に加味するためのものである。ここでλは、この項を加味する割合を示し、通常λ＝0.25やλ＝0.1などの値を固定値として利用する（以下のλも同様）。
【００５１】
一方、条件式 |g5 - g11| ≧ |g8 - g9| に合致するということは、縦方向の相関よりも横方向の相関の方が高いことを意味する（縦、横両方向の相関が等しい場合も含む）。横方向の相関の方がより高い場合、式（１−２ｃ）の右辺第１項の (g8+g9) / 2 によって、画素ｒ５の左右方向の両隣に位置するＧ色画素である画素ｇ８および画素ｇ９の画素値の平均が求められる。また、式（１−２ｃ）の右辺第２項の (-r4+2*r5 - r6) により、画素ｒ５の位置を中心として横方向に並ぶＲ色の画素ｒ４、ｒ５、ｒ６が参照される。この項は、横方向に並ぶＲ色の画素ｒ４、ｒ５、ｒ６の画素値の変化に非線形性を有する場合、その非線形性を画素ｇ８および画素ｇ９の画素値の平均から求めた画素値に加味するためのものである。
【００５２】
このように、Ｇ色の画素ｇｇ８の画素値を求める際に、周囲に存在する画素の画素値の縦方向および横方向の相関を比較して、相関がより高いと判定される方向に並ぶ隣接画素から線形補間によって画素値を求めることにより、より正確な画素値の推定を行うことが可能となる。このときに、異なる色成分の近傍画素を参照して、画素位置の変化に伴う画素値の変化に非線形成があるときにはその非線形性が加味されることにより、画素値の推定をより正確に推定することが可能となる。
【００５３】
図５Ａの（ｃ）において、補間処理によって生成される部分領域画像中、上から第４行、左から第３列の位置にある画素ｇｇ１１の画素値を、より高度な補間により生成する例について説明する。この場合、図５Ａの（ｂ）に示される、参照画像中の部分領域画像ＰＲＩ２における第４行、第３列の位置にある画素ｂ５および画素ｂ５の上下左右に位置する画素の画素値が参照されて以下の式（１−２ｄ）または式（１−２ｅ）で画素ｇｇ１１の画素値が求められる。
|g8 - g14| ＜ |g10 - g11|の場合
gg11 = (g8+g14) / 2+( - b2+2*b5 - b8) *λ … 式（１−２ｄ）
|g8 - g14| ≧ |g10 - g11|の場合
gg11 = (g10+g11) / 2+( - b4+2*b5 - b6) *λ … 式（１−２ｅ）
【００５４】
上記の条件式 |g8 - g14| ＜ |g10 - g11| に合致するということは、横方向の相関よりも縦方向の相関の方が高いことを意味する。縦方向の相関の方がより高い場合、式（１−２ｄ）の右辺第１項の (g8+g14) / 2 によって、画素ｂ５の上下方向の両隣に位置するＧ色画素である画素ｇ８および画素ｇ１４の画素値の平均値が求められる。また、式（１−２ｄ）の右辺第２項の ( - b2+2*b5 - b8) により、画素ｂ５の位置を中心として縦方向に並ぶＢ色の画素ｂ２、ｂ５、ｂ８が参照される。この項は、縦方向に並ぶＢ色の画素ｂ２、ｂ５、ｂ８の画素値の変化に非線形性を有する場合、その非線形性を画素ｇ８および画素ｇ１４の画素値の平均から求めた画素値に加味するためのものである。
【００５５】
一方、条件式 |g8 - g14| ≧ |g10 - g11| に合致するということは、縦方向の相関よりも横方向の相関の方が高いことを意味する（縦、横両方向の相関が等しい場合も含む）。横方向の相関の方がより高い場合、式（１−２ｅ）の右辺第１項の (g10+g11) / 2 によって、画素ｂ５の左右方向の両隣に位置するＧ色画素である画素ｇ１０および画素ｇ１１の画素値の平均が求められる。また、式（１−２ｅ）の右辺第２項の (-b4+2*b5 - b6) により、画素ｂ５の位置を中心として横方向に並ぶＢ色の画素ｂ４、ｂ５、ｂ６が参照される。この項は、横方向に並ぶＢ色の画素ｂ４、ｂ５、ｂ６の画素値の変化に非線形性を有する場合、その非線形性を画素ｇ１０および画素ｇ１１の画素値の平均から求めた画素値に加味するためのものである。
【００５６】
このように、Ｇ色の画素ｇｇ１１の画素値を求める際に、周囲に存在する画素の画素値の縦方向および横方向の相関を比較して、相関がより高いと判定される方向に並ぶ隣接画素から線形補間によって画素値を求めることにより、より正確な画素値の推定を行うことが可能となる。このときに、異なる色成分の近傍画素を参照して、画素位置の変化に伴う画素値の変化に非線形成があるときにはその非線形性が加味されることにより、画素値の推定をより正確に推定することが可能となる。
【００５７】
図５Ａの（ｃ）において、補間処理によって生成される部分領域画像中、上から第４行、左から第４列の位置にある画素ｂｂ５の画素値を、より高度な補間により生成する例について説明する。本例では、図５Ａの（ｂ）に示される、参照画像中の部分領域画像ＰＲＩ２における第４行、第４列の位置の画素ｇ１１、および画素ｇ１１の周囲に存在する画素の画素値が参照されて以下の式（１−２ｆ）により画素ｂｂ５の画素値を求める。
bb5 = [ [b5 - (g8+g10+g11+g14) / 4] + [b6 - (g9+g11+g12+g15) / 4] ] / 2+g11
… 式（１−２ｆ）
【００５８】
画素ｂ５、画素ｂ６は、画素ｇ１１の左右両隣に位置する画素である。画素ｇ８、ｇ１４、ｇ１０、ｇ１１は、画素ｂ５の上下左右に位置する画素であり、画素ｇ９、ｇ１５、ｇ１１、ｇ１２は画素ｂ６の上下左右に位置する画素である。つまり、上記の式の右辺における、[b5 - (g8+g10+g11+g14) / 4]は、画素ｂ５の画素値（つまり、Ｂ色の値）と、画素ｂ５の位置におけるＧ色の推定値（画素ｇ８、ｇ１０、ｇ１１、ｇ１４の平均値）との差、すなわち画素ｂ５の位置におけるＢ−Ｇ色差を求めている。同じく、[b6 - (g9+g11+g12+g15) / 4]は、画素ｂ６の画素値（つまり、Ｂ色の値）と、画素ｂ６の位置におけるＧ色の推定値（画素ｇ９、ｇ１１、ｇ１２、ｇ１５の平均値）との差、すなわち画素ｂ６の位置におけるＢ−Ｇ色差を求めている。
【００５９】
画素ｂ５、画素ｂ６の位置それぞれにおけるＢ−Ｇ色差の平均値をとると、それは画素ｇ１１の位置におけるＢ−Ｇ色差の推定値として利用可能である。この平均値と画素ｇ１１の画素値とを加算することにより、画素ｇ１１の位置におけるＢ色の画素値をより正確に推定することが可能となる。
【００６０】
以上に説明した、補間方法１または補間方法２の補間処理により、図５Ａの（ｂ）に示される、パターン２の画素色配列パターンを有する部分領域画像ＰＲＩ２から、図５Ａの（ｃ）に示される、パターン１の画素色配列パターンを有する補間画像が生成される。
【００６１】
図５Ａの（ｄ）、（ｅ）、（ｆ）を参照し、パターン３の画素色配列パターンを有する部分領域画像ＰＲＩ２から補間画像が生成される例を説明する。本例においても、ベイヤー配列による画素色配列パターンの一組の画素色配列単位である画素ｒｒ５、ｇｇ８、ｇｇ１１、ｂｂ５それぞれの画素値を補間処理によって生成する場合を例に説明する。以下に説明する補間処理を、参照画像中の他の配列単位にも繰り返し行うことにより、補間画像を生成することができる。図５Ａの（ａ）、（ｂ）、（ｃ）を参照しての説明と同様、補間方法１および補間方法２について説明する。
【００６２】
［パターン３ 補間方法１］
補間方法１については、参照画像中の部分領域画像ＰＲＩ２がパターン２を有する場合で説明したのと同様に行われる。すなわち、補間処理によって生成される部分領域画像中、上から第３行、左から第３列の位置にある画素ｒｒ５の画素値を線形補間により生成する場合、以下の式（２−１ａ）が用いられる。つまり、図５Ａの（ｅ）に示される、参照画像中の部分領域画像ＰＲＩ２において、第３行、第３列の位置にある画素ｇ８の上下方向に隣接するＲ色の画素である画素ｒ２、画素ｒ５の画素値が参照されて画素ｒｒ５の画素値が導出される。
rr5 = (r2+r5) / 2 … 式（２−１ａ）
【００６３】
補間処理によって生成される部分領域画像中、上から第３行、左から第４列の位置にある画素ｇｇ８の画素値を線形補間により生成する場合、以下の式（２−１ｂ）が用いられる。つまり、図５Ａの（ｅ）に示される、参照画像中の部分領域画像ＰＲＩ２において、第３行、第４列の位置にある画素ｂ５の上下左右方向に隣接するＧ色の画素である画素ｇ５、画素ｇ１１、画素ｇ８、画素ｇ９の画素値が参照されて画素ｇｇ８の画素値が導出される。
gg8 = (g5+g8+g9+g11) / 4 … 式（２−１ｂ）
【００６４】
補間処理によって生成される部分領域画像中、上から第４行、左から第３列の位置にある画素ｇｇ１１の画素値を線形補間により生成する場合、以下の式（２−１ｃ）が用いられる。つまり、図５Ａの（ｅ）に示される、参照画像中の部分領域画像ＰＲＩ２において、第４行、第３列の位置にある画素ｒ５の上下左右方向に隣接するＧ色の画素である画素ｇ８、画素ｇ１４、画素ｇ１０、画素ｇ１１の画素値が参照されてｇｇ１１の画素値が導出される。
gg11 = (g8+g10+g11+g14) / 4 … 式（２−１ｃ）
【００６５】
補間処理によって生成される部分領域画像中、上から第４行、左から第４列の位置にある画素ｂｂ５の画素値を線形補間により生成する場合、以下の式（２−１ｄ）が用いられる。つまり、図５Ａの（ｅ）に示される、参照画像中の部分領域画像ＰＲＩ２において、第４行、第４列の位置にある画素ｇ１１の上下方向に隣接するＢ色の画素である画素ｂ５、画素ｂ８の画素値が参照されて画素ｂｂ５の画素値が導出される。
bb5 = (b5+b8) / 2 … 式（２−１ｄ）
【００６６】
［パターン３ 補間方法２］
参照画像中の部分領域画像ＰＲＩ２がパターン２を有する場合について、より高度な補間を行うために、式（１−２ａ）、式（１−２ｂ）、式（１−２ｃ）、式（１−２ｄ）用いて画素ｒｒ５、ｇｇ８、ｇｇ１１、ｂｂ５の画素値を求める例について先に説明したが、参照画像中の部分領域画像ＰＲＩ２が図５Ａの（ｅ）に示されるパターン３を有する本例においても同様の処理が行われる。以下に、上記の式（１−２ａ）、式（１−２ｂ）、式（１−２ｃ）、式（１−２ｄ）に対応する式（２−２ａ）、（２−２ｂ）、式（２−２ｃ）、式（２−２ｄ）を示す。それぞれの式がもつ意味については、式（１−２ａ）、式（１−２ｂ）、式（１−２ｃ）、式（１−２ｄ）について説明したのと同様であるのでその説明を省略する。
【００６７】
補間処理によって生成される部分領域画像中、上から第３行、左から第３列の位置にある画素ｒｒ５の画素値を線形補間により生成する場合、以下の式（２−２ａ）が用いられる。
rr5 = [ [r2 - (g2+g4+g5+g8) / 4] + [r5 - (g8+g10+g11+g14) / 4] ] / 2+g8
… 式（２−２ａ）
【００６８】
補間処理によって生成される部分領域画像中、上から第３行、左から第４列の位置にある画素ｇｇ８の画素値を線形補間により生成するためには、以下の式（２−２ｂ）または式（２−２ｃ）が用いられる。
|g5 - g11| ＜ |g8 - g9|の場合、
gg8 = (g5+g11) / 2+(-b2+2*b5 - b8) *λ … 式（２−２ｂ）
|g5 - g11| ≧ |g8 - g9|の場合、
gg8 = (g8+g9) / 2+( - b4+2*b5 - b6) *λ … 式（２−２ｃ）
【００６９】
補間処理によって生成される部分領域画像中、上から第４行、左から第３列の位置にある画素ｇｇ１１の画素値を線形補間により生成するためには、以下の式（２−２ｄ）または式（２−２ｅ）が用いられる。
|g8 - g14| ＜ |g10 - g11|の場合、
gg11 = (g8+g14) / 2+( - r2+2*r5 - r8) *λ … 式（２−２ｄ）
|g8 - g14| ≧ |g10 - g11|の場合、
gg11 = (g10+g11) / 2+( - r4+2*r5 - r6) *λ … 式（２−２ｅ）
【００７０】
補間処理によって生成される部分領域画像中、上から第４行、左から第４列の位置にある画素ｂｂ５の画素値を線形補間により生成する場合、以下の式（２−２ｆ）が用いられる。
bb5 = [ [b5 - (g5+g8+g9+g11) / 4] + [b8 - (g11+g14+g15+g17) / 4] ] / 2+g11
… 式（２−２ｆ）
【００７１】
以上に説明した、補間方法１または補間方法２の補間処理により、図５Ａの（ｅ）に示される、パターン３の画素色配列パターンを有する部分領域画像ＰＲＩ２から、図５Ａの（ｆ）に示される、パターン１の画素色配列パターンを有する補間画像が生成される。
【００７２】
図５Ｂの（ｈ）、（ｉ）、（ｊ）を参照し、パターン４の画素色配列パターンを有する部分領域画像ＰＲＩ２から補間画像が生成される例を説明する。本例においても、ベイヤー配列による画素色配列パターンの一組の配列単位を構成する画素ｒｒ５、ｇｇ８、ｇｇ１１、ｂｂ５それぞれの画素値を補間処理によって生成する場合を例に説明する。以下に説明する補間処理を、参照画像中の他の配列単位にも繰り返し行うことにより、補間画像を生成することができる。図５Ａの（ａ）、（ｂ）、（ｃ）を参照しての説明と同様、補間方法１および補間方法２について説明する。
【００７３】
［パターン４ 補間方法１］
補間方法１による補間処理は、参照画像中の部分領域画像ＰＲＩ２がパターン２、パターン３を有する場合で説明したのと同様処理が行われる。すなわち、補間処理によって生成される部分領域画像中、上から第３行、左から第３列の位置にある画素ｒｒ５の画素値を線形補間により生成する場合、以下の式（３−１ａ）が用いられる。つまり、図５Ｂの（ｉ）に示される、参照画像中の部分領域画像ＰＲＩ２において、第３行、第３列の位置にある画素ｂ５を基準として、対角方向の上下左右に隣接するＲ色の画素である画素ｒ１、画素ｒ２、画素ｒ４、画素ｒ５の画素値が参照されて画素ｒｒ５の画素値が算出される。
rr5 = (r1+r2+r4+r5) / 4 … 式（３−１ａ）
【００７４】
補間処理によって生成される部分領域画像中、上から第３行、左から第４列の位置にある画素ｇｇ８の画素値を線形補間により生成する場合、以下の式（３−１ｂ）が用いられる。つまり、図５Ｂの（ｉ）に示される、参照画像中の部分領域画像ＰＲＩ２において、第３行、第４列の位置にある画素は、画素ｇｇ８と同じ色を有するＧ色の画素ｇ８である。したがって、画素ｇ８の画素値がそのまま画素ｇｇ８の画素値として用いられる。
gg8 = g8 … 式（３−１ｂ）
【００７５】
補間処理によって生成される部分領域画像中、上から第４行、左から第３列の位置にある画素ｇｇ１１の画素値を線形補間により生成する場合、以下の式（３−１ｃ）が用いられる。つまり、図５Ｂの（ｉ）に示される、参照画像中の部分領域画像ＰＲＩ２において、第４行、第３列の位置にある画素は、画素ｇｇ１１と同じ色を有するＧ色の画素ｇ１１である。したがって、画素ｇ１１の画素値がそのまま画素ｇｇ１１の画素値として用いられる。
gg11 = g11 … 式（３−１ｃ）
【００７６】
補間処理によって生成される部分領域画像中、上から第４行、左から第４列の位置にある画素ｂｂ５の画素値を線形補間により生成する場合、以下の式（３−１ｄ）が用いられる。つまり、図５Ｂの（ｉ）に示される、参照画像中の部分領域画像ＰＲＩ２において、第４行、第４列の位置にある画素ｒ５を基準として、対角方向の上下左右に隣接するＢ色の画素である画素ｂ５、画素ｂ６、画素ｂ８、画素ｂ９の画素値が参照される。そして、下記の式（３−１ｄ）により画素ｂｂ５の画素値が算出される。
bb5 = (b5+b6+b8+b9) / 4 … 式（３−１ｄ）
【００７７】
［パターン４ 補間方法２］
部分領域画像ＰＲＩ２がパターン２を有する場合について、より高度な補間を行うために、式（１−２ａ）、式（１−２ｂ）、式（１−２ｃ）、式（１−２ｄ）用いて画素ｒｒ５、ｇｇ８、ｇｇ１１、ｂｂ５の画素値を求める例について先に説明したが、参照画像中の部分領域画像ＰＲＩ２がパターン４を有する本例においても同様の処理が行われる。以下に、パターン４に対応する式（３−２ａ）、（３−２ｂ）、式（３−２ｃ）、式（３−２ｄ）を示す。
【００７８】
補間処理によって生成される部分領域画像中、上から第３行、左から第３列の位置にある参照画像中の画素ｒｒ５の画素値は、以下の式（３−２ａ）を用いて求められる。
rr5 = [ [r1 - (g1+g4+g5+g7) / 4] + [r2 - (g2+g5+g6+g8) / 4] + [r4 - (g7+g10+g11+g13) / 4] + [r5 - (g8+g11+g12+g14) / 4] ] / 4 + (g5+g7+g8+g11) / 4
… 式（３−２ａ）
【００７９】
上記の式（３−２ａ）において、右辺の [r1 - (g1+g4+g5+g7) / 4]、[r2 - (g2+g5+g6+g8) / 4]、[r4 - (g7+g10+g11+g13) / 4]、[r5 - (g8+g11+g12+g14) / 4] について説明する。図５Ｂの（ｉ）に示される、参照画像中の部分領域画像ＰＲＩ２において、第３行、第３列の位置にある画素ｂ５を基準として、対角方向の上下左右には画素ｒ１、ｒ２、ｒ４、ｒ５が隣接して存在する。上記の四つの式は、これら四つのＲ色画素の画素位置に対応するＧ色成分の画素値を、上記各Ｒ色画素の周囲にあるＧ色画素値からそれぞれ補間によって求め、Ｒ−Ｇ色差を計算している。また、上記の式（３−２ａ）における (g5+g7+g8+g11) / 4 は、画素ｂ５の位置におけるＧ色画素値を、画素ｂ５の周囲に位置する四つのＧ色画素ｇ５、ｇ７、ｇ８、ｇ１１の値から補間により求めている。そして、上述した四つのＲ−Ｇ色差値の平均と、画素ｂ５の位置におけるＧ色画素値とを加算することにより、画素ｂ５の位置におけるＲ色の画素値を得る。
【００８０】
補間処理によって生成される部分領域画像中、上から第３行、左から第４列の位置にある参照画像中の画素ｇｇ８の画素値は、以下の式（３−２ｂ）を用いて求められる。つまり、図５Ｂの（ｉ）に示される、参照画像中の部分領域画像ＰＲＩ２において、第３行、第４列の位置にある画素は、画素ｇｇ８と同じ色を有するＧ色の画素ｇ８である。したがって、下記の式（３−２ｂ）に示されるように、画素ｇ８の画素値がそのまま画素ｇｇ８の画素値として用いられる。
gg8=g8 … 式（３−２ｂ）
【００８１】
補間処理によって生成される部分領域画像中、上から第４行、左から第３列の位置にある参照画像中の画素ｇｇ１１の画素値は、以下の式（３−２ｃ）を用いて求められる。つまり、図５Ｂの（ｉ）に示される、参照画像中の部分領域画像ＰＲＩ２において、第４行、第３列の位置にある画素は、画素ｇｇ１１と同じ色を有するＧ色の画素ｇ１１である。したがって、下記の式（３−２ｃ）に示されるように、画素ｇ１１の画素値がそのまま画素ｇｇ１１の画素値として用いられる。
ｇｇ１１＝ｇ１１ … 式（３−２ｃ）
【００８２】
図５Ｂの（ｉ）に示される、参照画像中の部分領域画像ＰＲＩ２において、第４行、第４列の位置にある画素ｂｂ５の画素値は、以下の式（３−２ｄ）を用いて求められる。
bb5 = [ [b5 - (g5+g7+g8+g11) / 4] + [b6 - (g6+g8+g9+g12) / 4] + [b8 - (g11+g13+g14+g17) / 4] + [b9 - (g12+g14+g15+g18) / 4] ] / 4 + (g8+g11+g12+g14) / 4
… 式（３−２ｄ）
【００８３】
上記の式（３−２ｄ）において、右辺の [b5 - (g5+g7+g8+g11) / 4]、[b6 - (g6+g8+g9+g12) / 4]、[b8 - (g11+g13+g14+g17) / 4]、[b9 - (g12+g14+g15+g18) / 4] について説明する。図５Ｂの（ｉ）に示される、参照画像中の部分領域画像ＰＲＩ２において、第４行、第４列の位置にある画素ｒ５を基準として、対角方向の上下左右には画素ｂ５、ｂ６、ｂ８、ｂ９が隣接して存在する。上記の四つの式は、これら四つのＢ色画素の画素位置に対応するＧ色成分の画素値を、各Ｂ色画素の周囲に存在するＧ色画素値からそれぞれ補間によって求め、Ｂ−Ｇ色差を計算している。また、上記の式（３−２ｄ）における (g8+g11+g12+g14) / 4 は、画素ｒ５の位置におけるＧ色画素値を、画素ｒ５の周囲に位置するＧ色画素ｇ８、ｇ１１、ｇ１２、ｇ１４の画素値から補間により求めている。そして、上述した四つのＢ−Ｇ色差値の平均と、画素ｒ５の位置におけるＧ色画素値とを加算することにより、画素ｒ５の位置におけるＢ色の画素値を得る。
【００８４】
以上で説明した補間処理を行うことにより、基準画像の部分領域画像ＰＲＩ１に対応する位置の画像として参照画像中から抽出された部分領域画像ＰＲＩ２の画素色配列パターンによらず、基準画像の部分領域画像ＰＲＩ１と同じ画素色配列パターンの補間画像（部分領域画像）を生成することが可能となる。したがって、基準画像と補間画像との合成をより好適な形で行うことが可能となる。なお、参照画像の部分領域画像ＰＲＩ２の画素色の配列が基準画像の部分領域画像ＰＲＩ１と同じパターン１である場合には、以上で説明したパターン２〜パターン４に対応する補間処理は不要となり、参照画像の画素値をそのまま利用することが可能である。つまり、補間による画素値の生成処理を省くことが可能となる。
【００８５】
以上では、より簡便な方法として補間方法１、より高度な方法として補間方法２による補間処理を行う例を示したが、他の補間方法も利用可能である。すなわち、ＣＦＡ画像中、所与の画素位置にある画素の画素値を推定する場合に、推定対象の画素の近傍に位置する画素の画素値から、上記所与の画素位置にある画素の本来の画素色と異なる色の画素値を生成可能な補間方法であれば、以上に例示した以外の任意の補間方法を利用可能である。
【００８６】
図６は、画像処理部１００で行われるＣＦＡ画像合成処理の処理手順を説明するフローチャートである。画像処理部１００が例えばデジタルカメラに内蔵されるものである場合、デジタルカメラで撮像動作が行われて同一被写体を撮影したｎ枚のＣＦＡ画像が得られたときに図６に示す処理が行われる。あるいは、ｎ枚のＣＦＡ画像を得る際に連続撮影が行われる場合、一連の連続撮影動作が完了する前に図６に示す処理が開始されてもよい。以下では、同一被写体を撮影して２枚のベイヤーＣＦＡ画像が得られたときに図６の処理が開始されるものとして説明をする。
【００８７】
Ｓ６００において画像処理部１００は、２枚のＣＦＡ画像を入力する。これらのＣＦＡ画像のうちの一枚が基準画像、もう一枚が参照画像とされる。最初の撮像動作で得られたＣＦＡ画像、次の撮像動作で得られたＣＦＡ画像のうち、いずれを基準画像とするかは任意に設定可能である。
【００８８】
Ｓ６０２において画像処理部１００は、基準画像中に部分領域を設定する。この部分領域は、任意の分割方法によって設定可能であり、画面全体を一つの領域として設定することも可能である。本例では、図４、図５Ａ、図５Ｂを参照して説明したように縦に６画素、横に６画素の３６画素からなる矩形の領域が設定されるものとする。基準画像中で縦横６画素のサイズの矩形ウィンドウを順次移動させて、部分領域の位置を変化させながら以下で説明する処理を繰り返し行うことにより、画面全体の合成処理が行われる。
【００８９】
Ｓ６０４において画像処理部１００は、Ｓ５０２で設定された部分領域の画像、すなわち部分領域画像ＰＲＩ１をテンプレートとして、一致度の高い部分領域を参照画像中で探索する。そして、図３、図４を参照して説明したように、１画素の分解能で縦方向および横方向の位置ずれ量ｄｘ、ｄｙを算出する。
【００９０】
Ｓ６０６において画像処理部１００は、Ｓ６０４で算出された縦方向および横方向の位置ずれ量ｄｘ、ｄｙのそれぞれについて、２で除したときの剰余（２の剰余）を計算する。この計算の結果、（横方向位置ずれ量ｄｘ，縦方向位置ずれ量ｄｙ）の、２の剰余の組み合わせとしては、（０，０）、（１，０）、（０，１）、（１，１）のいずれかとなる。
【００９１】
Ｓ６０８において画像処理部１００は、Ｓ６０６で算出された２の剰余の組み合わせ（０，０）、（１，０）、（０，１）、（１，１）から、基準画像中で設定された部分領域ＰＲＩ１に対応する、参照画像中の部分領域画像ＰＲＩ２の画素色の配列パターンを判定する。上記２の剰余の組み合わせが、（０，０）のとき、パターン１と判定され、（１，０）のとき、パターン２と判定され、（０，１）のとき、パターン３と判定され、（１，１）のとき、パターン４と判定される。
【００９２】
Ｓ６０８でパターン１と判定されたとき、部分領域画像ＰＲＩ１とＰＲＩ２とは同じ画素色の配列パターンを有するので、部分領域画像ＰＲＩ２に補間処理をする必要はなく、部分領域画像ＰＲＩ２内の各画素値をそのまま利用可能である。一方、パターン２、パターン３、パターン４のいずれかであると判定されたとき、判定されたパターンに対応する補間処理がＳ６１０、Ｓ６１２、およびＳ６１４のいずれかで行われて補間画像（補間画素値）が生成される。Ｓ６１０、Ｓ６１２、Ｓ６１４で行われる補間処理に際しては、先に説明した補間方法１および補間方法２のうち、いずれの補間方法を用いることも可能である。また、補間方法１、補間方法２以外の補間方法によって補間処理が行われてもよい。このとき、予め用意される複数の補間方法の中からユーザがいずれかの補間方法を選択可能に構成されていてもよい。
【００９３】
基準画像データ中の部分領域画像ＰＲＩ１と、以上のようにして生成された補間画像データ（パターン１のときには部分領域画像ＰＲＩ２を構成する各画素値）とがＳ６１６で合成されて合成画像が生成される。ここで生成される合成画像は、部分領域画像ＰＲＩ１と同じ画素数のＣＦＡ画像である。合成処理としては様々な方法を行うことが可能であるが、ここでは加算による合成をする例について説明する。加算による合成をする場合、例えば、部分領域画像ＰＲＩ１と補間画像とで画素毎に所定の混合比Ｍ：Ｎで加算合成をすることが可能である。具体例としては、基準画像データの部分領域画像ＰＲＩ１中の画素の画素値をＰ１、当該画素に対応する補間画像中の画素の画素値をＰ２、合成後の画素値をＰ３とすると、以下の式（４）を用いて加算合成することが可能である。
Ｐ３＝（Ｍ×Ｐ１＋Ｎ×Ｐ２）／（Ｍ＋Ｎ） … 式（４）
【００９４】
上記式（４）において、Ｍ、Ｎは任意の実数とすることが可能である。単純な加算合成の例ではＭ＝１、Ｎ＝１とすることにより、画素値Ｐ１およびＰ２の和を２で除したものとすることができる。Ｍ、Ｎのいずれかを負の値とすることにより、両画素値の差分をとることもできる。また、Ｍ、Ｎのいずれかを０とすることができる。つまり、画素値Ｐ１およびＰ２のいずれかを合成後の画素値Ｐ３として選択することもできる。
【００９５】
Ｓ６１８において画像処理部１００は、すべての部分領域に対応する処理を完了したか否かを判定する。Ｓ６１８での判定が否定される間、上述したＳ６０２からＳ６１６までの処理が繰り返し行われる。全ての部分領域での処理が完了するとＳ６１８の判定が肯定され、処理はＳ６２０に進む。
【００９６】
画像処理部１００は、Ｓ６２０で合成画像を出力し、一連の処理を完了する。
【００９７】
以上、画像処理部１００による複数枚のＣＦＡ画像入力、位置ずれ量算出、補間、画像合成の処理について図６のフローチャートを参照して説明した。図６では、ＣＦＡ画像が、縦・横２画素の画素色配列単位からなるベイヤーＣＦＡ画像である場合を例に説明したが、本発明はこの例に限られない。つまり、ＣＦＡ画像の画素色の配列単位が、縦方向にｒ画素、横方向にｃ画素から構成される場合、Ｓ６０６では横方向の位置ずれ量ｄｘをｃで除したときの剰余と、縦方向の位置ずれ量ｄｙをｒで除したときの剰余とを計算する。Ｓ６０８では縦、横方向それぞれに対応する剰余の組み合わせから、参照画像中の部分領域画像ＰＲＩ２の画素色の配列パターンを判定する。画素色の配列単位が、縦方向にｒ画素、横方向にｃ画素から構成される場合、剰余の組み合わせはｒ×ｃ通りとなる。Ｓ６０８では、参照画像の色配列パターンがｃ×ｒ通りの色配列パターンのうちのいずれかと判定される。Ｓ６０８での判定結果に応じた補間処理が続いて行われる。このとき、縦、横の剰余の組み合わせが（０，０）である場合に対応するパターン１と判定された場合、補間処理は省略可能となる。
【００９８】
図５Ａ、図５Ｂ、図６を参照しての以上の説明では、参照画像の色配列パターンに応じた補間方法で補間画像を生成し、その上で基準画像と補間画像とを合成するものとして説明したが、以下に説明するように点順次で補間画素値を算出し、合成処理をすることも可能である。すなわち、Ｓ６０８で参照画像の色配列パターンが判定されると、参照画像の画素値をそのまま用いて合成するのか（パターン１のケース）、補間処理をして生成した画素値を基準画像の対応する画素値と合成するのか（パターン２、パターン３、パターン４のケース）が決まる。参照画像の色配列パターンがパターン２からパターン４のいずれかで補間処理をする必要がある場合には、基準画像の部分領域画像ＰＲＩ１中の各画素（Ｒ１、Ｇ１、Ｒ２、…、Ｇ１８、Ｂ９）に対応する画素値ｒｒ１、ｇｇ１、…、ｇｇ１８、ｂｂ９を点順次に算出しながら合成処理をすることが可能となる。点順次に処理をする際の処理順や走査方向は任意に設定可能である。
【００９９】
また、図６を参照しての以上の説明では、２枚のＣＦＡ画像が合成処理される例について説明したが、３枚以上のＣＦＡ画像を合成処理することも可能である。３枚以上のＣＦＡ画像を合成する場合、以下で図７、図８を参照して説明するような方法等を用いて合成処理をすることが可能となる。
【０１００】
図７に示される合成処理では、複数枚のＣＦＡ画像のうち、選択された２枚のＣＦＡ画像の一方を基準画像、他方を参照画像として位置ずれ量算出、補間、画像合成の処理が行われて合成画像１が生成される。図７の例では１枚目の画像が基準画像１に設定され２枚目の画像が参照画像１に設定される。そして、生成された合成画像１を新たな基準画像とし、未処理のＣＦＡ画像中の一つを新たな参照画像として、位置ずれ量算出、補間、画像合成の処理が行われて合成画像が生成される。図７の例では３枚目の画像が参照画像２、合成画像１が基準画像２とされて、合成画像２が生成される。入力されたＣＦＡ画像の枚数に応じて、これらの処理が繰り返し行われ、ｎ枚のＣＦＡ画像がｎ−１枚、ｎ−２枚と減じられて、最終的に１枚の合成画像が生成される。図７の例では合成画像３が最終的に得られる合成画像である。
【０１０１】
図７中に、矩形の枠で囲われた数字を示してあるが、これらは二つの画像を合成する際に設定される合成比率の例を示している。つまり、基準画像１と参照画像１とを合成して合成画像１を生成する場合、基準画像１と参照画像１との合成比率を１：１とすることを意味する。基準画像２と参照画像２とを合成して合成画像２を生成する場合、基準画像２と参照画像２との合成比率を２：１とする。つまり、２枚の画像を合成して得た基準画像２の合成比率を、参照画像１の合成比率の２倍に設定する。基準画像３と参照画像３とを合成して合成画像３を生成する場合、基準画像３と参照画像３との合成比率を３：１とする。つまり、３枚の画像を合成して得た基準画像３の合成比率を、参照画像３の合成比率の３倍に設定する。このように、基準画像が何枚の画像を合成して得られたものかに応じて基準画像と参照画像との合成比率を変化させることにより、一定の合成比率で合成をする場合に比して、より後に合成される参照画像の影響度が相対的に高まるのを抑制可能となる。
【０１０２】
あるいは、以下に説明するように合成処理を行うことも可能である。例えば４枚のＣＦＡ画像が入力される場合、１枚目の入力画像を基準画像１とし、２枚目の入力画像を参照画像１として、これらの画像から合成画像１を得る。また、３枚目の入力画像を基準画像２とし、４枚目の入力画像を参照画像２として、これらの画像から合成画像２を得る。続いて、合成画像１を基準画像３、合成画像２を参照画像３として得られた合成画像を最終的に得られる合成画像としてもよい。この場合には、合成される各画像の合成比率を常に１：１として、最終的に得られる合成画像中における各入力画像の影響度を均一に揃えることが可能となる。無論、各入力画像に対して異なる合成比率が設定されるようにしてもよい。
【０１０３】
図８を参照して、図７に示されるのとは異なる合成処理の手順について説明する。図８に示される合成処理の例では、入力されるｎ枚のＣＦＡ画像のうち、１枚の画像が基準画像とされて、残りのｎ−１枚のＣＦＡ画像は参照画像１、参照画像２、…、参照画像ｎ−１とされる。そして、基準画像と参照画像１、基準画像と参照画像２、…、基準画像と参照画像ｎ−１、それぞれの組み合わせに対応して位置ずれ量の算出、補間画像生成の処理が行われる。その結果、ｎ−１枚の補間画像が生成される。図７の例では４枚の入力ＣＦＡ画像から３枚の補間画像、すなわち補間画像１、補間画像２、補間画像３が生成される。そして、生成された各補間画像と、基準画像とを合成して合成画像が生成される。このとき、各補間画像および基準画像それぞれの合成比率は任意に設定可能である。
【０１０４】
図７、図８を参照しての上記説明においては、入力された複数枚のＣＦＡ画像中、１枚目のＣＦＡ画像を基準画像とする例について説明したが、入力されたＣＦＡ画像中の任意の画像を基準画像とすることが可能である。また、合成処理される対象となるＣＦＡ画像の組み合わせも任意に設定可能である。
【０１０５】
以上に説明した手順により、位置ずれ量算出、補間処理、合成処理を行う場合の処理負荷は、デモザイク処理をしてフルカラー化した画像データを生成し、位置ずれ量の算出、合成処理を行う場合の処理負荷に比べて軽くなる。つまり、元のＣＦＡ画像を一板の画像とし、補間処理によって生成される画像を別の一板の画像とするならば、いわば二板化の処理で済んでいる、ということになる。つまり、ベイヤー配列のＣＦＡ画像をデモザイク処理してＲ、Ｇ、Ｂ各カラープレーンの三板化したフルカラーの画像データを生成する場合に比べて約半分の処理量で済む（デモザイク処理を経る場合には二板分の画像データを追加生成するところ、本実施の形態では一板分の画像データの追加生成処理で済む）ことになる。加えて、上述した補間処理では、参照画像から抽出された部分領域画像ＰＲＩ２を構成する画素中、基準画像の部分領域画像ＰＲＩ１を構成する画素と画素色が異なる場合のみ補間処理が行われる。つまり、必要なときにのみ補間処理が行われるので、処理負荷をさらに軽減することが可能となる。
【０１０６】
以上のように処理負荷を軽減することが可能となるのに加えて、１画素精度で位置ずれ量が求められて補間処理、合成処理が行われるので、デモザイク処理をした後の画像を用いて合成をする場合と同様の精度で合成処理をすることが可能となる。また、合成処理して得られた画像データをＲＡＷ画像データとして保存することも可能となるので、後でレタッチ等の画像処理をした際に生じる画質の低下を抑制可能となる。加えて、ＲＡＷ画像データでは、８ビットのビット深度を超す情報量を各画素に対応する画素値として維持することも可能となり、この点でも後でレタッチ等をした際に生じる画質の低下を抑制可能となる。
【０１０７】
以上に説明した画像処理部１００は、デジタルカメラや、カメラを内蔵する携帯電話や携帯情報端末等の内部に備えられたものとすることが可能である。あるいは、記録媒体に記録された画像処理プログラムがコンピュータのＣＰＵにより読み出されて実行され、画像処理部１００としての機能が実装されてもよい。以下、その例について説明する。
【０１０８】
図９は、以上に説明した画像処理部１００を備えるデジタルカメラ２００の概略的内部構成を説明するブロック図である。デジタルカメラ２００は、スチルカメラであってもムービーカメラであってもよい。あるいは、携帯電話や携帯情報端末等に組み込まれるカメラであってもよい。デジタルカメラ２００がスチルカメラまたはムービーカメラであるとき、撮影レンズが固定式のものであっても、交換可能に構成されるものであってもよい。
【０１０９】
デジタルカメラ２００は、撮影光学系２０２と、撮像部２０４と、画像処理部１００と、メモリカードインターフェース２０６と、ＣＰＵ２０８と、表示部２１０と、操作部２１２と、メモリ２１４とを備える。
【０１１０】
撮影光学系２０２は、被写体像を撮像部２０４の受光エリア上に形成する。撮影光学系２０２は、単焦点の光学系であっても、可変焦点距離の光学系であってもよい。
【０１１１】
撮像部２０４は、シャッタ、撮像素子、アナログ・フロントエンド等を含んで構成される。撮影光学系２０２を透過した被写体光は、シャッタが開いている間、撮像素子に入射する。撮像素子の受光エリア上に形成される被写体像が光電変換され、画像信号が生成される。なお、撮像素子が電気的に露光時間（光電変換時間）の制御を行うことが可能な、電子シャッタの機能を有する場合、シャッタは必ずしも備えられていなくてもよい。撮像素子の受光面上にはオンチップカラーフィルタが配置される。撮像部２０４は、同一被写体に対して複数の露光動作を行い、複数枚のＣＦＡ画像データを生成可能に構成される。あるいは、撮影光学系２０２および撮像部２０４を複数組備え、複数の撮影動作が略同時に行われて複数のＣＦＡ画像データを生成可能に構成されていてもよい。このとき、例えば、各ＣＦＡ画像データを得るのに対応して異なるシャッタ秒時を設定すると、露光量の異なる複数枚のＣＦＡ画像データを得ることが可能となる。これらの画像データを合成することにより、いわゆるＨＤＲ合成画像を得ることが可能となる。
【０１１２】
操作部２１２は、プッシュスイッチ、スライドスイッチ、ダイヤルスイッチ、タッチパネル等のうちいずれか一種類または複数種類を備え、ユーザの操作を受け付け可能に構成される。表示部２１０は、ＴＦＴ液晶表示パネルとバックライト装置、あるいは有機ＥＬ表示素子等の自発光式表示素子を備え、画像や文字等の情報を表示可能に構成される。
【０１１３】
メモリ２１４は、フラッシュメモリやＲＡＭ等を備えて構成される。フラッシュメモリには、ＣＰＵ２０８により実行される制御プログラム（ファームウェア）や、調整パラメータ、あるいはデジタルカメラ２００の電源が入っていない状態でも保持する必要のある情報等が記憶される。ＲＡＭはＣＰＵ２０８および画像処理部１００の双方からアクセス可能に構成され、ＣＰＵ２０８および画像処理部１００のワークエリアとして機能する。ＣＰＵ２０８は、フラッシュメモリからＲＡＭに転送されたファームウェアを解釈・実行してデジタルカメラ２００の動作を統括的に制御する。
【０１１４】
メモリカードインターフェース２０６は、着脱自在に装着されるメモリカードＭＣへの情報の書き込みと、メモリカードＭＣからの情報の読み出しが可能に構成される。
【０１１５】
ユーザがデジタルカメラ２００の電源をオンに切り換え、操作部２１２を操作してデジタルカメラ２００を撮影モードに切り換える。ユーザがさらに操作部２１２を操作して、動作モードを例えばＨＤＲ撮影モードに設定し、デジタルカメラ２００を被写体に向けてレリーズ操作をすると、一連の複数枚のＣＦＡ画像データが生成されて画像処理部１００に入力される。画像処理部１００は、先に説明したようにＣＦＡ画像の合成処理を行い、合成画像データを生成する。この合成画像データはＣＦＡ画像データである。この合成画像データを可逆圧縮し、撮影情報等のメタデータを付加し、ＲＡＷ画像ファイルとしてメモリカードＭＣに記録することができる。また、合成画像データにデモザイキングの処理をしてフルカラー画像データを生成することも可能である。このフルカラー画像データをもとに、表示部２１０に画像を表示することができる。さらに、フルカラー画像データにＪＰＥＧ等の非可逆圧縮をしてメタデータを付加し、ＪＰＥＧ画像ファイルとしてメモリカードＭＣに記録することもできる。
【０１１６】
あるいは、撮像部２０４で生成された複数枚のＣＦＡ画像データを画像処理部１００で合成処理することなく、メモリカードＭＣに記録することも可能である。この場合、デジタルカメラ２００が再生モードに切り換えられたときに当該の複数枚のＣＦＡ画像データがメモリカードＭＣからメモリ２１４に読み込まれる。そして、画像処理部１００で合成処理をした後にデモザイク処理をしてフルカラー化し、表示部２１０に画像を表示することができる。メモリカードＭＣに記録された一連の複数枚のＣＦＡ画像データは、他の機器、例えばコンピュータやビデオレコーダ等にメモリカードＭＣやインターフェースケーブル等を介して転送され、これらのコンピュータやビデオレコーダ等の内部で合成処理することも可能である。
【０１１７】
図１０は、情報処理装置３００のＣＰＵ３０２によって画像処理プログラムが実行されることにより、画像処理部１００が実現される例を説明するブロック図である。情報処理装置３００は、ＣＰＵ３０２と、メモリ３０４と、補助記憶装置３０６と、システムバス３０８とを備える。情報処理装置３００はまた、メモリカードインターフェース３１０と、光ディスクドライブ３１２と、ネットワークインターフェース３１４と、ビデオインターフェース３１６とを備える。情報処理装置３００は、必要に応じて有線または無線の通信インターフェースを備えていても良い。
【０１１８】
メモリ３０４は、ＳＤＲＡＭ等で構成されていて比較的高速のアクセス速度を有し、ＣＰＵ３０２がプログラムを実行する際のワークエリアとして用いられる。補助記憶装置３０６は、ハードディスクドライブやＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等を備え、ＣＰＵ３０２で実行されるプログラムや、画像ファイル等を記憶可能に構成される。
【０１１９】
メモリカードインターフェース３１０は、装着されたメモリカードＭＣからの情報の読み出しと、メモリカードＭＣへの情報の書き込みとを可能に構成される。メモリカードＭＣは、画像ファイルやプログラムファイル等を記憶可能な記憶媒体であり、デジタルカメラ２００に装着することも可能に構成される。
【０１２０】
光ディスクドライブ３１２は、装着された光ディスクＯＤから画像ファイルやプログラムファイル等を読み出し可能に構成される。光ディスクドライブ３１２はまた、画像ファイルや各種情報等を光ディスクＯＤに書き込み可能に構成されていてもよい。
【０１２１】
ネットワークインターフェース３１４は、有線または無線の形態でネットワークＮＷに接続可能に構成される。そして、ネットワークＮＷに接続されるサーバ等へ情報の出力およびサーバ等からの情報の入力が可能に構成される。
【０１２２】
ビデオインターフェース３１６は、カラー液晶表示装置等のフラットパネルディスプレイやＣＲＴ等の表示装置を接続可能に構成される。接続されたこれらの表示装置には、文字等の情報や画像等が表示される。上述したメモリ３０４、補助記憶装置３０６、メモリカードインターフェース３１０、光ディスクドライブ３１２、ネットワークインターフェース３１４、ビデオインターフェース３１６は、システムバス３０８を介してＣＰＵ３０２と相互に接続される。
【０１２３】
画像処理部１００は、補助記憶装置３０６、メモリカードＭＣ、光ディスクＯＤ等の非一時的なコンピュータ可読記憶媒体から読み出されてメモリ３０４にロードされた画像処理プログラムをＣＰＵ３０２が実行することによって実現される。画像処理部１００は、補助記憶装置３０６、メモリカードＭＣ、光ディスクＯＤ等のいずれかから一連の複数枚のＣＦＡ画像を読み出して、先に説明した合成処理をすることができる。そして、合成して得られたＣＦＡ画像をＲＡＷ画像データとして補助記憶装置３０６、メモリカードＭＣ、光ディスクＯＤ等のいずれかに記録することができる。また、合成して得られたＣＦＡ画像にデモザイク処理をしてフルカラー化した画像データを生成することもできる。生成されたフルカラー画像データはさらに処理されて表示用画像データや記録用画像データが生成され、表示や記録の処理が行われる。
【０１２４】
本発明は、放送用据え置き型カメラ、ＥＮＧカメラ、民生用ハンディカメラ、デジタルカメラ等の製品に適用可能である。また、画像編集装置やビデオレコーダ等に適用することも可能である。さらに、動画や静止画を処理する画像処理プログラムに適用することも可能である。
【０１２５】
以上、いくつかの実施形態に基づいて本発明について説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【０１２６】
また、上記実施形態からは種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られるのであればこの構成要件が削除された構成もまた発明として抽出され得る。
【符号の説明】
【０１２７】
１００ … 画像処理部
１０２ … ＣＦＡ画像取得部
１０４ … 記憶部
１０６ … 位置ずれ量算出部
１０８ … 合成処理部
１１０ … 補間処理部
１１２ … 現像処理部
１１４ … 出力部
２０２ … 撮影光学系
２０４ … 撮像部
２０８、３０２ … ＣＰＵ
３０４ … メモリ
３０６ … 補助記憶装置
３０８ … システムバス
３１０ … メモリカードインターフェース
３１２ … 光ディスクドライブ
３１４ … ネットワークインターフェース
【特許請求の範囲】
【請求項１】
同一被写体を撮影して得られた複数枚のカラーフィルタアレイ画像を合成する画像処理装置であって、
前記複数枚のカラーフィルタアレイ画像中、一枚の画像を基準画像とし、前記一枚の画像と異なる画像を参照画像として、前記基準画像に対する前記参照画像の位置ずれ量を算出する位置ずれ量算出部と、
前記位置ずれ量算出部で算出された前記位置ずれ量に基づき、前記基準画像および前記参照画像の、対応しあう画素位置の画素である基準画像画素および参照画像画素の画素値をもとに合成処理をして合成カラーフィルタアレイ画像を生成する合成処理部であって、前記対応しあう画素の色が前記基準画像画素と前記参照画像画素とで異なる場合、前記基準画像画素の色と同じ色の画素値を前記参照画像から補間処理によって生成し、前記補間処理によって生成した画素値と前記基準画像画素の画素値とをもとに合成処理をする合成処理部と
を備えることを特徴とする画像処理装置。
【請求項２】
前記複数枚のカラーフィルタアレイ画像は、ｎ枚（ｎ：３以上の整数）のカラーフィルタアレイ画像を含み、
前記合成処理部は、二枚のカラーフィルタアレイ画像から一枚の合成カラーフィルタアレイ画像を生成する合成処理を（ｎ−１）回にわたって繰り返し行い、２回目以降の合成処理においては、一つ前に行われた合成処理で生成された合成カラーフィルタアレイ画像を前記基準画像とする
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記カラーフィルタアレイ画像は、縦方向にｒ画素、横方向にｃ画素（ｒ、ｃは共に任意の正の整数）から構成される画素色配列単位を有するカラーフィルタアレイを備える撮像素子から出力されたものであり、
前記位置ずれ量算出部は、前記位置ずれ量として縦方向の位置ずれ画素数と横方向の位置ずれ画素数とを算出し、
前記合成処理部は、前記補間処理によって画素値を生成する際に、前記縦方向の位置ずれ画素数をｒで除したときの剰余と、前記横方向の位置ずれ画素数をｃで除したときの剰余との組み合わせに基づいて決定される補間方法を用いる
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記合成カラーフィルタアレイ画像に対してデモザイク処理をし、フルカラー化画像を生成するデモザイク処理部をさらに備えることを特徴とする請求項１から３のいずれか一つに記載の画像処理装置。
【請求項５】
同一被写体を撮影して得られた複数枚のカラーフィルタアレイ画像を合成する画像処理方法であって、
前記複数枚のカラーフィルタアレイ画像中、一枚の画像を基準画像とし、前記一枚の画像と異なる画像を参照画像として、前記基準画像に対する前記参照画像の位置ずれ量を算出する位置ずれ算出手順と、
前記位置ずれ算出手順で算出された前記位置ずれ量に基づき、前記基準画像および前記参照画像の、対応しあう画素位置の画素である基準画像画素および参照画像画素の画素値をもとに合成する処理をして合成カラーフィルタアレイ画像を生成する合成処理手順であって、前記対応しあう画素の色が前記基準画像画素と前記参照画像画素とで異なる場合、前記基準画像画素の色と同じ色の画素値を前記参照画像から補間処理によって生成し、前記補間処理によって生成した画素値と前記基準画像画素の画素値とをもとに合成する合成処理手順と
を有することを特徴とする画像処理方法。
【請求項６】
同一被写体を撮影して得られた複数枚のカラーフィルタアレイ画像を合成する画像処理プログラムであって、
前記複数枚のカラーフィルタアレイ画像中、一枚の画像を基準画像とし、前記一枚の画像と異なる画像を参照画像として、前記基準画像に対する前記参照画像の位置ずれ量を算出する位置ずれ量算処理と、
前記位置ずれ量算出処理で算出された前記位置ずれ量に基づき、前記基準画像および前記参照画像の、対応しあう画素位置の画素である基準画像画素および参照画像画素の画素値をもとに合成する処理をして合成カラーフィルタアレイ画像を生成する合成処理であって、前記対応しあう画素の色が前記基準画像画素と前記参照画像画素とで異なる場合、前記基準画像画素の色と同じ色の画素値を前記参照画像から補間処理によって生成し、前記補間処理によって生成した画素値と前記基準画像画素の画素値とをもとに合成する合成処理と
をコンピュータに実行させるための画像処理プログラム。
【請求項１】
同一被写体を撮影して得られた複数枚のカラーフィルタアレイ画像を合成する画像処理装置であって、
前記複数枚のカラーフィルタアレイ画像中、一枚の画像を基準画像とし、前記一枚の画像と異なる画像を参照画像として、前記基準画像に対する前記参照画像の位置ずれ量を算出する位置ずれ量算出部と、
前記位置ずれ量算出部で算出された前記位置ずれ量に基づき、前記基準画像および前記参照画像の、対応しあう画素位置の画素である基準画像画素および参照画像画素の画素値をもとに合成処理をして合成カラーフィルタアレイ画像を生成する合成処理部であって、前記対応しあう画素の色が前記基準画像画素と前記参照画像画素とで異なる場合、前記基準画像画素の色と同じ色の画素値を前記参照画像から補間処理によって生成し、前記補間処理によって生成した画素値と前記基準画像画素の画素値とをもとに合成処理をする合成処理部と
を備えることを特徴とする画像処理装置。
【請求項２】
前記複数枚のカラーフィルタアレイ画像は、ｎ枚（ｎ：３以上の整数）のカラーフィルタアレイ画像を含み、
前記合成処理部は、二枚のカラーフィルタアレイ画像から一枚の合成カラーフィルタアレイ画像を生成する合成処理を（ｎ−１）回にわたって繰り返し行い、２回目以降の合成処理においては、一つ前に行われた合成処理で生成された合成カラーフィルタアレイ画像を前記基準画像とする
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記カラーフィルタアレイ画像は、縦方向にｒ画素、横方向にｃ画素（ｒ、ｃは共に任意の正の整数）から構成される画素色配列単位を有するカラーフィルタアレイを備える撮像素子から出力されたものであり、
前記位置ずれ量算出部は、前記位置ずれ量として縦方向の位置ずれ画素数と横方向の位置ずれ画素数とを算出し、
前記合成処理部は、前記補間処理によって画素値を生成する際に、前記縦方向の位置ずれ画素数をｒで除したときの剰余と、前記横方向の位置ずれ画素数をｃで除したときの剰余との組み合わせに基づいて決定される補間方法を用いる
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記合成カラーフィルタアレイ画像に対してデモザイク処理をし、フルカラー化画像を生成するデモザイク処理部をさらに備えることを特徴とする請求項１から３のいずれか一つに記載の画像処理装置。
【請求項５】
同一被写体を撮影して得られた複数枚のカラーフィルタアレイ画像を合成する画像処理方法であって、
前記複数枚のカラーフィルタアレイ画像中、一枚の画像を基準画像とし、前記一枚の画像と異なる画像を参照画像として、前記基準画像に対する前記参照画像の位置ずれ量を算出する位置ずれ算出手順と、
前記位置ずれ算出手順で算出された前記位置ずれ量に基づき、前記基準画像および前記参照画像の、対応しあう画素位置の画素である基準画像画素および参照画像画素の画素値をもとに合成する処理をして合成カラーフィルタアレイ画像を生成する合成処理手順であって、前記対応しあう画素の色が前記基準画像画素と前記参照画像画素とで異なる場合、前記基準画像画素の色と同じ色の画素値を前記参照画像から補間処理によって生成し、前記補間処理によって生成した画素値と前記基準画像画素の画素値とをもとに合成する合成処理手順と
を有することを特徴とする画像処理方法。
【請求項６】
同一被写体を撮影して得られた複数枚のカラーフィルタアレイ画像を合成する画像処理プログラムであって、
前記複数枚のカラーフィルタアレイ画像中、一枚の画像を基準画像とし、前記一枚の画像と異なる画像を参照画像として、前記基準画像に対する前記参照画像の位置ずれ量を算出する位置ずれ量算処理と、
前記位置ずれ量算出処理で算出された前記位置ずれ量に基づき、前記基準画像および前記参照画像の、対応しあう画素位置の画素である基準画像画素および参照画像画素の画素値をもとに合成する処理をして合成カラーフィルタアレイ画像を生成する合成処理であって、前記対応しあう画素の色が前記基準画像画素と前記参照画像画素とで異なる場合、前記基準画像画素の色と同じ色の画素値を前記参照画像から補間処理によって生成し、前記補間処理によって生成した画素値と前記基準画像画素の画素値とをもとに合成する合成処理と
をコンピュータに実行させるための画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５Ａ】
【図５Ｂ】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５Ａ】
【図５Ｂ】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１３−１１５５４４（Ｐ２０１３−１１５５４４Ａ）
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願番号】特願２０１１−２５８７１４（Ｐ２０１１−２５８７１４）
【出願日】平成２３年１１月２８日（２０１１．１１．２８）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願日】平成２３年１１月２８日（２０１１．１１．２８）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]