画像処理装置及び画像処理方法並びにプログラム
【課題】時系列に撮影した複数画像を用いて画像の合成をすること。
【解決手段】各色成分に対応する光電変換素子が所定のパターンで配置された撮像素子１０１から複数の画像を取得する画像取得手段（フレームメモリ）１０２と、複数の画像から合成画像を生成する合成処理部１０６とを備え、合成処理部１０６は、色成分に応じて決定される画像の合成比率に基づいて画像を合成することを特徴とする。また、合成処理部１０６は、複数枚の画像から１枚の画像を基準画像と定め、基準画像と複数枚の画像のうち基準画像以外の画像との間の画素間の相関量、或いは、複数画素からなる所定の領域間の相関量を算出する相関計算部を有し、相関量が合成対象画素の色成分に応じて決定される閾値以下である場合に、その相関量が小さくなるにつれて、基準画像以外の画像の合成比率を小さくする。
【解決手段】各色成分に対応する光電変換素子が所定のパターンで配置された撮像素子１０１から複数の画像を取得する画像取得手段（フレームメモリ）１０２と、複数の画像から合成画像を生成する合成処理部１０６とを備え、合成処理部１０６は、色成分に応じて決定される画像の合成比率に基づいて画像を合成することを特徴とする。また、合成処理部１０６は、複数枚の画像から１枚の画像を基準画像と定め、基準画像と複数枚の画像のうち基準画像以外の画像との間の画素間の相関量、或いは、複数画素からなる所定の領域間の相関量を算出する相関計算部を有し、相関量が合成対象画素の色成分に応じて決定される閾値以下である場合に、その相関量が小さくなるにつれて、基準画像以外の画像の合成比率を小さくする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法並びにプログラムに関するものである。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置において静止画を撮影する際に、ノイズの少ない画像を得るためには、十分な露光量を確保することが有効である。しかしながら、露光量を確保するために露光時間を長くすると、手ぶれによるカメラの動きや、被写体の動きにより画像にぶれが生じ不鮮明になるという問題があるため、このようなぶれに対処する方式として、電子ぶれ補正方式が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平９−２６１５２６号公報
【特許文献２】特開２００６−１５７５６８号公報
【特許文献３】特開２００５−２８６６７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
例えば、上記特許文献１には、ぶれの少ない短い露光時間での撮影を連続して複数回実施し、得られた複数枚の画像間の動きがキャンセルされるように位置合わせ処理をした後、合成処理をすることにより、ぶれの無い良好な画像を得る方式が開示されている。また、上記特許文献２には、デジタルカメラ等で広く採用されているベイヤー配列を有する撮像素子を用いて撮像された画像に対して、低演算量で効率的に電子ブレ補正を適用する方式が開示されている。通常、撮像されたベイヤー配列の画像は、現像処理により３板のＲＧＢ形式の画像、あるいは、ＹＣｂＣｒ形式の画像等に変換される。上記特許文献２で開示された方式は、画像の合成を３板の画像でではなくベイヤー配列の画像で直接行い、処理対象とする画素数を減らすことで、低演算量での合成を可能としている。
【０００５】
一方、ノイズ低減方式においては、輝度信号についてはノイズ低減性能よりも解像度の保存が重視され、色信号については解像度の保存よりもノイズ低減性能が重視される要請がある。このような要請に対応するため、例えば、上記特許文献３には、画像を輝度信号と色信号とに分離し、それぞれに対してパラメータを変化させる、或いは、別々のノイズ低減方式を適用する等で、異なる強度のノイズ低減性能を実現する技術が開示されている。電子ブレ補正方式においても、ＹＣｂＣｒ形式の画像に対して合成を適用する場合には、Ｙ画像に対する合成枚数とＣｂＣｒ画像に対する合成枚数を異なる枚数に設定することで、輝度信号と色信号に対するノイズ低減性能を変化させることが可能である。
【０００６】
しかしながら、ベイヤー配列の画像に対して電子ブレ補正を直接適用する場合、輝度信号と色信号が分離されていないため、これらに対してノイズ低減性能を変化させることができないという問題があった。また、ベイヤー配列の画像から、例えば、ＹＣｂＣｒ信号を作成し、異なる合成方式を適用すれば上記問題は解決可能となる。しかし、この場合には、ベイヤー配列を３板化する演算や、ＹＣｂＣｒ形式に変換する演算が必要となり、ベイヤー配列の画像で直接、電子ブレ補正を適用することで得られていた演算量削減の効果を減殺するという問題があった。
【０００７】
本発明は、上述した事情に鑑みてなされたものであって、演算量を削減しつつ、輝度信号と色信号とに対するノイズ低減性能を異ならせた画像の補正を行うことが可能な画像処理装置及び方法並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明は以下の手段を提供する。
【０００９】
本発明の第１の態様は、各色成分に対応する光電変換素子が所定のパターンで配置された撮像素子から複数の画像を取得する画像取得手段と、前記複数の画像から合成画像を生成する合成処理手段とを備え、前記合成処理手段は、前記色成分に応じて決定される画像の合成比率に基づいて画像を合成することを特徴とする画像処理装置である。
【００１０】
このような構成によれば、ベイヤー配列の複数枚の画像を、色成分に応じて決定される合成比率に基づいて合成することにより、ベイヤー配列を保ったまま合成することによる演算量低減の効果を維持しつつ、輝度信号と色信号に対するノイズ低減の効果を制御することが可能となる。これにより、合成失敗による輝度信号におけるアーティファクトを抑えつつ、色信号におけるノイズ低減の効果を高めることが可能となる。
【００１１】
上記本発明の第１の態様においては、前記合成処理手段は、前記複数枚の画像から１枚の画像を基準画像と定め、前記基準画像と、前記複数枚の画像のうち基準画像以外の画像との間の画素間の相関量、あるいは、複数画素からなる所定の領域間の相関量を算出する相関計算手段を有し、前記相関量が合成対象画素の色成分に応じて決定される閾値以下である場合に、その相関量が小さくなるにつれて、前記基準画像以外の画像の合成比率を小さくすることとしてもよい。
【００１２】
上記本発明の第１の態様においては、前記合成処理手段は、前記複数の画像のうち少なくとも１つの画像において、画素毎、または複数の画素を含む所定の領域毎のノイズレベルを推定するノイズレベル推定手段を備え、前記ノイズレベル推定手段により推定されたノイズレベルに基づいて前記閾値を算出することとしてもよい。
【００１３】
上記本発明の第１の態様においては、前記基準画像と前記対象画像との動き情報を取得する動き情報取得手段と、前記動き情報に基づく画素のシフト量が偶数画素以外である場合に、前記対象画像の画素の補間を行い、補間後の対象画像を前記シフト量に応じてシフトさせて補正する画像補正手段とを備え、前記合成処理手段は、前記画像補正手段により補正された前記複数の画像を合成することとしてもよい。
【００１４】
本発明の第２の態様は、各色成分に対応する光電変換素子が所定のパターンで配置された撮像素子から複数の画像を取得し、前記色成分に応じて決定される画像の合成比率に基づいて前記複数の画像を合成して合成画像を生成する画像処理方法である。
【００１５】
本発明の第３の態様は、各色成分に対応する光電変換素子が所定のパターンで配置された撮像素子から複数の画像を取得する第１処理と、前記色成分に応じて決定される画像の合成比率に基づいて前記複数の画像を合成して合成画像を生成する第２処理とをコンピュータに実行させるための画像処理プログラムである。
【発明の効果】
【００１６】
本発明によれば、演算量を削減しつつ、輝度信号と色信号とに対するノイズ低減性能を異ならせた画像の補正を行うことができるという効果を奏する。
【図面の簡単な説明】
【００１７】
【図１】本発明の第１の実施形態に係る画像処理装置の構成例を示したブロック図である。
【図２】ベイヤー配列の画素を示した図である。
【図３】本発明の第１の実施形態に係る合成処理部の構成例を示した図である。
【図４】本発明の第１の実施形態に係る画像処理装置の動作フローを示した図である。
【図５】複数枚の画像から１枚の画像を合成する手法を説明するための図である。
【図６】本発明の第２の実施形態に係る合成処理部の構成例を示した図である。
【図７】合成比率決定部における合成比率の決定方式を説明するための図である（Ｇｒ、Ｇｂ画素）。
【図８】合成比率決定部における合成比率の決定方式を説明するための図である（Ｒ、Ｂ画素）。
【図９】本発明の第３の実施形態に係る合成処理部の構成例を示した図である。
【図１０】撮像素子が出力する画素値とノイズ量の典型的関係を説明するための図である。
【図１１】ノイズレベル推定部の構成例を示した図である。
【図１２】合成比率決定部における合成比率の決定方式を説明するための図である（Ｇｒ、Ｇｂ画素）。
【図１３】合成比率決定部における合成比率の決定方式を説明するための図である（Ｒ、Ｂ画素）。
【発明を実施するための形態】
【００１８】
以下に、本発明に係る画像処理装置、画像処理方法、および画像処理プログラムの実施形態について、図面を参照して説明する。
【００１９】
〔第１の実施形態〕
図１は、本実施形態に係る画像処理装置１の概略構成を示したブロック図である。本実施形態に係る画像処理装置１は、例えば、デジタルカメラである。
図１に示されるように、画像処理装置１は、光学系１００、撮像素子１０１、フレームメモリ（画像取得手段）１０２、画像処理部１０３、動き情報取得部（動き情報取得手段）１０４、画像補正部（画像補正手段）１０５、および合成処理部（合成処理手段）１０６を備えている。本実施形態においては、基準画像と対象画像との２枚の画像を処理の対象とするものとして説明する。
【００２０】
フレームメモリ１０２は、各色成分に対応する光電変換素子が所定のパターンで配置された撮像素子１０１から複数の画像を取得する。取得した複数の画像は、動き情報取得部１０４及び画像補正部１０５に出力される。
【００２１】
動き情報取得部１０４は、フレームメモリ１０２に格納された基準画像と対象画像との間の動きである動き情報を取得する。動き情報は、例えば、基準画像と対象画像との画像間の動きを１個の動きベクトル情報（水平方向移動量と垂直方向移動量）として示される。
【００２２】
なお、動き情報は１個の画像につき１個の動きベクトル情報とする他にも、画像を複数の領域に分割し、それぞれの領域で動きベクトルを計算する方法でも良い。また、動きベクトルを水平方向移動量と垂直方向移動量とからなるものとするのではなく、回転や拡大縮小による変化を表現できる形式にすることも可能である。さらに、装置に備えたジャイロ等のセンサを用いて動き情報を取得する方法でも良い。
【００２３】
画像補正部１０５は、動き情報取得部１０４で取得された動き情報に基づいて、フレームメモリ１０２に格納された対象画像を補正する。具体的には、水平方向移動量と垂直方向移動量とからなる動きベクトル情報に基づいて、対象画像の位置をシフトすることにより、基準画像との位置を合わせる。例えば、対象画像の位置をシフトする際に、偶数画素分のシフトの場合は、基準画像とシフト後の対象画像のベイヤー配列（詳細は後述する）における各色（Ｒ、Ｇｒ、Ｇｂ、Ｂ）との対応関係が一致するので、画像補正部１０５は対象画像をシフトするのみでよい。
【００２４】
これに対し、奇数画素分のシフトが含まれる場合や、小数画素分のシフトが含まれる場合、換言すると、シフト量が偶数画素以外の場合には、その分シフトさせてしまうと、基準画像における色の配列とシフト後の対象画像の色の配列とが一致しなくなってしまうので、シフト後の両画像の色の対応関係を一致させるべく、画像補正部１０５において補間処理とシフト処理とを行う。
【００２５】
より具体的に、図２を用いて、奇数画素分（例えば、１画素分）のシフトが含まれる場合の画像補正部１０５の処理について説明する。
図２（ａ）はベイヤー配列の画素を示した図である。ベイヤー配列は、Ｇ（緑色）のフィルタが市松状に配置されており、Ｒ（赤色）フィルタとＢ（青色）フィルタがラインごとに交互に配置される構成である。したがって、撮像素子１０１から出力される画像信号は、１画素につきＲ（赤色）成分、Ｇ（緑色）成分、Ｂ（青色）成分のいずれか１色の画素値を持った信号となる。そして、このような画像信号が、例えば、Ｇ，Ｒ，Ｇ，Ｒ…或いはＢ，Ｇ，Ｂ，Ｇといった色の順でフレームメモリ１０２に入力される。
【００２６】
このようなベイヤー配列の画素において、対象画像の各画素を水平方向に１画素ずらす（シフトさせる）と、図２（ｂ）´のようになり、図２（ａ）で示されていたベイヤー配列とは配列が異なる。従って、この状態では基本画像と合成することができないため、１画素シフトさせると基本画像と同じ色の配列が得られる画像、すなわち、この場合には、図２（ｂ）に示すような配列の画像を、補間処理を行うことにより作成する。
１画素シフトの場合、図２（ａ）から図２（ｂ）の画像を得るためには、例えば、画素Ｇ３３（緑色）の位置にＲ（赤色）の画素を作成しなければならない。
【００２７】
この場合、Ｇ３３の周辺に存在するＲ（赤色）の画素、例えば、水平方向の両隣に配置されているＲ（赤色）成分、つまりＲ３２とＲ３４とを用いて補間処理を行い、Ｇ３３の位置にＲ（赤色）の画素を作成する。この場合、Ｇ３３に作成されるＲ（赤色）の画素は、Ｒ３２とＲ３４との画素値の平均値とする。そして、同様の補間処理を他の全ての画素において行うことにより、図２（ａ）に示されている色配列から図２（ｂ）に示される色配列の画像を作成する。
【００２８】
そして、図２（ｂ）に示した色配列の画像を作成した後は、この画像を水平方向に１画素分シフトすることで、図２（ｃ）に示される画像を得る。これにより、シフト後の画像の色配列を基本画像と同様の色配列に一致させることができる。
このように、奇数画素分のシフトが含まれる場合には、予め補間処理を行って、シフト後の色配列が基本画素と同じ配列となるような画像を作成する。これにより、基準画像におけるベイヤー配列とシフト後の対象画像のベイヤー配列とを一致させることができる。
【００２９】
なお、本実施形態においては、説明の便宜上、１画素（整数画素）ずつ水平方向にシフトさせる場合について説明したが、偶数画素以外のシフトを行う場合は同様の手法によって対応することができる。
例えば、シフト量が小数点を含んでいる場合には、補間処理において加重平均処理を行うことにより、対応することができる。この場合、シフトはあくまでも１画素単位でしかできないので、補間の方法を工夫することにより、小数点以下のシフトまでも可能とするような色配列の画像を作成する。
【００３０】
例えば、図２の紙面において左方向に０．１画素シフトさせなければならない場合には、Ｒ３４の画素に０．１の重みづけ、及びＲ３２の画素に０．９の重みづけをしたものの平均値を算出し、算出された平均値をＧ３３の画素に対するＲ成分とする。そして、同様の加重平均処理を残りの画素に対して行うことで、まずは、図２（ａ）に記載の画像を紙面右側に向けて０．９画素シフトさせた画像を作成する。そして、この画像を、紙面左側に向けて１画素シフトさせることにより、最終的には、図２の紙面に向けて左方向に０．１画素シフトさせた画像を得ることができる。なお、上記説明では、両隣の画素を使用して補間処理を行っていたが、この例に限られない。例えば、注目画素を中心とした所定画素からなる領域の中から同色の画素を用い、更に、これらの各画素にシフト量に応じた重み付け値を与えることにより、注目画素の画素値を算出することとしても良い。
【００３１】
例えば、画素Ｇ３３を囲むＲ１２、Ｒ１４、Ｒ３２、Ｒ３４、Ｒ５２、およびＲ５４の６画素を用い、これらの画素にシフト量に応じた重み付けを与えることで、Ｇ３３にＲ成分の画素を作成することとしてもよい。
【００３２】
これにより、基準画像と対象画像のベイヤー配列における各色（Ｒ、Ｇｒ、Ｇｂ、Ｂ）の対応関係が一致するようにする。
なお、例えば、動き情報に回転や拡大縮小に関する情報が含まれる構成の場合は、画像補正部１０５において回転や拡大縮小に相当する補正処理を行い、基準画像と対象画像との位置合わせを行うこととなる。
【００３３】
合成処理部１０６は、画像補正部１０５で位置合わせ処理がなされた対象画像と基準画像とから合成画像を出力する。具体的には、合成処理部１０６は、加重平均化処理部２００と合成比率決定部２０１とを備えている。図３は、合成処理部１０６の構成例を示したブロック図である。
【００３４】
合成比率決定部２０１は、基準画像と対象画像の合成比率を決定する。合成比率は、基準画像を１．０とした場合の対象画像の合成割合を０．０から１．０で表すものとする。合成比率決定部２０１は、処理対象画素がＲ、Ｇｒ、Ｇｂ、Ｂのいずれであるかを識別する色識別情報に基づき、事前に設定された合成比率を加重平均化処理部２００に出力する。処理対象画素がＧｒ、Ｇｂの場合、Ｇ成分は輝度信号に対する寄与率がＲ、Ｂ成分よりも大きいことから、ノイズ低減性能よりも解像度の保存を重視し、合成比率は低めとする。
【００３５】
処理対象画素がＲ、Ｂの場合、Ｒ、Ｂ成分は色信号に対する寄与率がＧ成分よりも大きいことから、ノイズ低減性能を解像度の保存よりも優先し、合成比率を高めとする。以上のように決定された各色成分に応じた合成比率を、事前に合成比率決定部２０１に設定し、合成比率決定部２０１は色識別情報に応じて合成比率を加重平均化処理部２００に出力する。
【００３６】
加重平均化処理部２００は、合成比率決定部２０１が出力する合成比率に応じて、基準画像と対象画像との画素の加重平均処理を行い、合成画像の画素とする。画像処理部１０３は、合成処理が完了したベイヤー配列の合成画像に対して、３板化処理、色処理、および階調変換処理等の画像処理を施し、出力画像とする。
【００３７】
次に、上記構成を備える画像処理装置の作用について図４を用いて説明する。画像処理装置１は、レンズ等からなる光学系１００を通して撮像素子１０１にて画像が撮像され、複数の撮像画像（例えば、フレーム１およびフレーム２）がフレームメモリ１０２に格納される（ステップＳＡ１）。撮像素子１０１は、例えば、ベイヤー配列を有しており、フレームメモリ１０２にはベイヤー配列の画像が格納される。このような撮像処理を所定枚数分繰り返すことにより、フレームメモリ１０２には、複数枚のベイヤー配列の画像が格納される。
【００３８】
動き情報取得部１０４において、フレーム１が基準画像、フレーム２が対象画像とされ、このフレーム１（基準画像）とフレーム２（対象画像）とに基づいて、動きベクトル情報が取得（検出）される（ステップＳＡ２）。画像補正部１０５において、動き情報取得部１０４から取得された動きベクトル情報に基づいて、フレーム２（対象画像）が補正される（ステップＳＡ３）。合成比率決定部２０１において、色識別情報に基づいて合成比率が決定される（ステップＳＡ４）。加重平均化処理部２００において、合成比率に基づいてフレーム１（基準画像）とフレーム２（対象画像）とに加重平均処理が施され、合成画像が生成される（ステップＳＡ５）。こうして生成された合成画像は、フレームメモリ１０２に出力される（ステップＳＡ６）。ステップＳＡ４、ステップＳＡ５の処理は、撮像素子１０１によって撮像された全ての画像に対して繰り返し施される。
【００３９】
より具体的に、４枚の画像から１枚の画像を合成する例を示す。４枚の画像をフレーム１からフレーム４とし、２枚の画像を合成して１枚の合成画像を得るという基本処理を３回行うことで、最終的に４枚の画像から１枚の合成画像を得る場合について図５を用いて説明する。
図５に示されるように、フレーム１とフレーム２とを合成し合成画像１を生成する。合成の際には一方を基準画像、他方を対象画像と定義するものとする。続いて、フレーム３を基準画像、フレーム４を対象画像としてフレーム３とフレーム４とを合成し、合成画像２を生成する。さらに、合成画像１を基準画像、合成画像２を対象画像とし、合成画像１と合成画像２とを合成し、合成画像３を生成する。
【００４０】
なお、複数枚の合成手法はこれに限られることはなく、例えば図５における合成画像１とフレーム３とを合成し、この合成結果とフレーム４を合成する方式でもよい。また、合成の基本処理を基準画像と対象画像１枚の計２枚の合成処理とするのではなく、基準画像と対象画像３枚の計４枚とすることも、動き情報取得部１０４、画像補正部１０５、合成処理部１０６を拡張することにより容易に可能である。
【００４１】
また、基準画像の定め方については、先に撮像した画像とする他にも、後に撮像された画像とする方法や、基本処理のたびに先後を変えることで、中間的な時刻に撮像された画像を基準にすることも可能である。
【００４２】
なお、上述した実施形態では、画像処理装置としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、各センサからの出力信号に基づいて別途ソフトウェアにて処理する構成も可能である。この場合、画像処理装置は、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を備えている。そして、ＣＰＵが上記記憶媒体に記録されているプログラムを読み出して、情報の加工・演算処理を実行することにより、上述の画像処理装置と同様の処理を実現させる。
ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
【００４３】
以上説明してきたように、本発明に係る画像処理装置及び画像処理方法並びにプログラムによれば、ベイヤー配列の複数枚の画像を、色成分に応じて決定される合成比率に基づいて合成することにより、ベイヤー配列を保ったまま合成することによる演算量低減の効果を維持しつつ、輝度信号と色信号とに対するノイズ低減の効果を制御することができる。これにより、合成の失敗による輝度信号におけるアーティファクトを抑制し、かつ、色信号におけるノイズ低減の効果を向上させることが可能となる。
【００４４】
なお、本実施形態においては合成比率を０．０から１．０で設定する構成としていたが、これに限定されない。例えば、合成比率を０．０と１．０の２値とし、加重平均化処理部２００を単純な平均化処理に置き換えることで、演算量を削減する構成としてもよい。これにより、例えば、Ｇｒ、Ｇｂ画素については２枚の画像の合成処理、Ｒ、Ｂ画素については８枚の画像の合成処理を行う構成とすることが可能となり、上述の効果を得ることができる。
【００４５】
〔第２の実施形態〕
次に、本発明の第２の実施形態に係る画像処理装置について図６を参照して説明する。
図６に示されるように、第２の実施形態に係る画像処理装置は、第１の実施形態における合成処理部１０６の構成に変更が加えられ、相関計算部（相関計算手段）３００を更に備えた構成である。図６に示されるように、第２の実施形態における合成処理部１０６´に入力されるのは、ベイヤー配列の基準画像と対象画像とである。これら画像は相関計算部３００において相関が算出される。
以下、本実施形態に係る画像処理装置について、第１の実施形態と共通する点については説明を省略し、異なる点について主に説明する。
【００４６】
相関計算部３００は、画像間の相関値として差分絶対値を画素毎に算出する。一般に、位置合わせが成功している場合には差分絶対値は小さくなり、位置合わせが失敗している場合には差分絶対値は大きくなるので、この結果を合成比率決定部３０１での合成比率の制御に利用して、位置合わせ失敗に起因するぼけや２重像等のアーティファクトを抑える。
【００４７】
なお、相関値として本実施形態では画素間の差分絶対値を用いているが、この他にもより安定した相関値を算出するために、注目画素の周辺画素からなるブロックについて、ブロック間の差分絶対値和（ＳＡＤ）を相関値としても良い。また、演算量を削減するために、画素毎に相関値を算出するのではなく、複数の画素からなる領域につき１つの相関値を算出する構成にしても良い。また例えば、Ｒ画素における画素間の相関値の代わりに、近傍のＧｒあるいはＧｂ画素の相関値を用いる構成にしても良い。
【００４８】
合成比率決定部３０１は、相関計算部３００で算出される差分絶対値と、処理対象画素がＲ、Ｇｒ、Ｇｂ、Ｂのいずれであるかを識別する色識別情報に基づいて、基準画像と対象画像の合成比率を決定する。合成比率は、基準画像を１．０とした際の対象画像の合成割合を０．０から１．０で表すものとする。画素の差分絶対値の大小で合成比率を制御する。差分絶対値が小さい場合には、位置合わせが成功している可能性が高いので合成比率は大きくする。
【００４９】
差分絶対値が大きい場合には、位置合わせが失敗している可能性が高いのでアーティファクトを抑制するため合成比率を小さくする。さらに色識別情報を用いて、Ｇｒ、Ｇｂ画素についてはノイズ低減性能よりも解像度の維持を優先し、Ｒ、Ｂ画素についてはノイズ低減性能を解像度の維持よりも優先するように合成比率を制御する。
【００５０】
図７は、Ｇｒ、Ｇｂ画素における画素の差分絶対値と合成比率の関係例を示した図であり、図８は、Ｒ、Ｂ画素における画素の差分絶対値と合成比率の関係例を示した図である。図７の例では、差分絶対値が閾値１より小さい場合には合成比率を１．０に、差分絶対値が閾値２より大きい場合には合成比率を０．０にし、閾値１から閾値２へは直線的に合成比率を遷移させている。閾値１および閾値２は小さめの値とし、差分絶対値が大きい場合には迅速に合成比率を小さくして合成失敗によるアーティファクトを抑制する設定としている。
【００５１】
図８の例では、差分絶対値が閾値３より小さい場合には合成比率を１．０に、差分絶対値が閾値４より大きい場合には合成比率を０．５にし、閾値３から閾値４へは直線的に合成比率を遷移させている。閾値３および閾値４は大きめの値とし、差分絶対値がある程度大きい場合でも合成比率が小さくなりすぎないようにしてノイズ低減能力を維持することを優先する設定としている。
【００５２】
以上説明してきたように、本実施形態に係る画像処理装置及び画像処理方法並びにプログラムによれば、ベイヤー配列の複数枚の画像を、色成分に応じて決定される合成比率に基づいて合成することにより、ベイヤー配列を保ったまま合成することによる演算量低減の効果を維持しつつ、輝度信号と色信号に対するノイズ低減の効果を制御することが可能となる。さらに、画像間の相関値と合成比率の関係を、色成分に応じて設定することにより、合成失敗による輝度信号におけるアーティファクトを抑えつつ、色信号におけるノイズ低減の効果をより高めることが可能となる。
【００５３】
なお、本実施形態においては合成比率を０．０から１．０の間で連続的に変化させる構成としているが、これを０．０と１．０の２値とし、加重平均化処理部２００を単純な平均化処理に置き換えることで、演算量を削減する構成も可能である。
【００５４】
〔第３の実施形態〕
本発明の第３の実施形態に係る画像処理装置は、第２の実施形態における合成処理部１０６の構成に変更が加えられた構成である。図９に第３の実施形態における合成処理部１０６´´の構成図を示す。第３の実施形態は、第２の実施形態における合成処理部１０６´にノイズレベル推定部（ノイズレベル推定手段）４００が更に備えられ、合成比率決定部４０１における合成比率をノイズレベル、画像間の相関により決定することにより、ぼけや２重像等のアーティファクトをより精度良く確実に抑え、加えて色識別情報を用いて合成比率を制御することにより、輝度信号と色信号に対するノイズ低減の効果を制御する形態である。
以下、本実施形態に係る画像処理装置について、第１、第２の実施形態と共通する点については説明を省略し、異なる点について主に説明する。
【００５５】
合成処理部１０６´´に入力されるのは、ベイヤー配列の基準画像と対象画像である。まず、基準画像と対象画像から相関計算部３００で画像間の相関値が算出される。詳細は第２の実施形態と同様である。また、基準画像と対象画像から、処理対象画素に含まれるノイズの強度（ノイズレベル）をノイズレベル推定部４００で推定する。
【００５６】
一般に、撮像素子が出力する画素に含まれるノイズ量と画素値との間には一定の関係があり、画素値からノイズ量が推定できることが知られている。図１０に撮像素子が出力する画素値とノイズ量の典型的関係を示す。図１０における横軸は撮像素子が出力する画素の画素値、縦軸はその画素に含まれるノイズ量（ノイズの標準偏差等）である。典型的には、撮像素子が出力する画素値が大きくなるにつれて、含まれるノイズ量は増える傾向にある。
【００５７】
ノイズレベル推定部４００では、上述のようなノイズ量と画素値との関連を用いて、処理対象画素に含まれるノイズの強度（ノイズレベル）を推定する。図１１にノイズレベル推定部４００の構成図を示す。ノイズレベル計算部５００、５０１は、図１０に示すような画素値とノイズ量の関係を事前に折れ線近似、あるいは、テーブル化等の手法により用意しておき、基準画像の画素、あるいは、対象画像の画素のノイズレベルをそれぞれ算出する。
【００５８】
なお、ノイズレベル推定部４００が推定するノイズレベルは、撮像素子が出力するノイズ量と完全に一致する必要はなく、後に行なわれる階調変換処理等の画像処理により増幅されるノイズも考慮して設定してもよい。典型的には、階調変換処理により暗部のノイズが増幅されるため、暗部において撮像素子が出力するノイズ量よりも大きい値をノイズレベルとして設定することも可能である。
【００５９】
基準画像と対象画像の位置合わせが成功している画素においては、基準画像の画素値と対象画像の画素値に大きな差はなく、算出されるノイズレベルにも大きな違いは生じない。しかし、位置合わせが失敗している画素においてはこれらに違いが生ずる可能性が高く、当該画素のノイズレベルとしては最大値計算部５０２にて最大値を選択することで、これをノイズレベルとする。
【００６０】
なお、本実施形態においては、最大値計算部５０２にて最大値を算出し、これをノイズレベルとしたが、この他にも、基準画像のノイズレベルと対象画像のノイズレベルの加重平均値とし、例えば基準画像の画素に重みをつけてノイズレベルを推定することも可能である。またノイズレベル計算部５００、５０１を複数動作させるのが演算量の観点から望ましくない場合には、ノイズレベル計算部５００のみを動作させ、この出力をノイズレベルとしても良い。
【００６１】
次に、合成比率決定部４０１の動作について説明する。
合成比率決定部４０１は、ノイズレベル推定部４００で算出されるノイズレベルと、相関計算部３００で算出される差分絶対値と、処理対象画素がＲ、Ｇｒ、Ｇｂ、Ｂのいずれであるかを識別する色識別情報に基づいて、基準画像と対象画像の合成比率を決定する。
【００６２】
第２の実施形態と同様に、合成比率は、基準画像を１．０とした際の対象画像の合成割合を０．０から１．０で表すものとする。画素の差分絶対値の大小で合成比率を制御する。差分絶対値が小さい場合には、位置合わせが成功している可能性が高いので合成比率は大きくする。差分絶対値が大きい場合には、位置合わせが失敗している可能性が高いのでアーティファクトを抑えるため合成比率を小さくする。さらに色識別情報を用いて、Ｇｒ、Ｇｂ画素についてはノイズ低減性能よりも解像度の保存を重視し、Ｒ、Ｂ画素についてはノイズ低減性能を解像度の保存よりも優先するように合成比率を制御する。
【００６３】
図１２にＧｒ、Ｇｂ画素における画素の差分絶対値と合成比率の関係例を、図１３にＲ、Ｂ画素における画素の差分絶対値と合成比率の関係例を示す。図１２の例では、第２の実施形態と同様に、差分絶対値が閾値１より小さい場合には合成比率を１．０に、差分絶対値が閾値２より大きい場合には合成比率を０．０にし、閾値１から閾値２へは直線的に合成比率を遷移させている。これに加えてノイズレベルに応じて閾値１と閾値２を制御することにより、ノイズレベルに応じた合成比率の制御を行う。
【００６４】
ノイズレベルが大きい画素においては、合成によるノイズ低減の必要性が高いことから、合成比率を大きくするために、閾値１と閾値２を大きくする。具体的には、ノイズレベルに所定の定数を乗算した値を、閾値１と閾値２にそれぞれ加算する等とすればよい。ノイズレベルが小さい画素においては、合成によるノイズ低減の必要性が低いので、合成比率を低くするために、閾値１と閾値２を小さくする。具体的には、ノイズレベルに所定の定数を乗算した値を、閾値１と閾値２からそれぞれ減算する等とすればよい。合成比率決定部５０３は、このような関係をテーブル化等の手法で用意しておいてもよいし、数式計算で算出するようにしてもよい。
【００６５】
図１３の例では、差分絶対値が閾値３より小さい場合には合成比率を１．０に、差分絶対値が閾値４より大きい場合には合成比率を０．５にし、閾値３から閾値４へは直線的に合成比率を遷移させている。閾値３および閾値４は大きめの値とし、差分絶対値がある程度大きい場合でも合成比率が小さくなりすぎないようにしてノイズ低減能力を維持することを優先する設定としている。Ｇｒ、Ｇｂ画素の場合と同様に、ノイズレベルに応じて閾値３と閾値４を制御することにより、ノイズレベルに応じた合成比率の制御を行う。
【００６６】
以上説明してきたように、本実施形態に係る画像処理装置及び画像処理方法並びにプログラムによれば、ベイヤー配列の複数枚の画像を、色成分に応じて決定される合成比率に基づいて合成することにより、ベイヤー配列を保ったまま合成することによる演算量低減の効果を維持しつつ、輝度信号と色信号に対するノイズ低減の効果を制御することが可能となる。さらに、画像間の相関値と合成比率の関係を色成分に応じて設定し、且つこれらを、処理対象画素のノイズレベルに応じて制御することで、合成失敗による輝度信号におけるアーティファクトを精度良く抑えつつ、色信号におけるノイズ低減の効果をより高めることが可能となる。
【００６７】
なお、本実施形態においては合成比率を０．０から１．０の間で連続的に変化させる構成としていたが、これを０．０と１．０の２値とし、加重平均化処理部２００を単純な平均化処理に置き換えることで、演算量を削減する構成も可能である。
【符号の説明】
【００６８】
１０４ 動き情報取得部
１０５ 画像補正部
１０６ 合成処理部
２００ 加重平均化処理部
２０１、３０１、４０１ 合成比率決定部
３００ 相関計算部
４００ ノイズレベル推定部
５００、５０１ ノイズレベル計算部
５０２ 最大値計算部
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法並びにプログラムに関するものである。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置において静止画を撮影する際に、ノイズの少ない画像を得るためには、十分な露光量を確保することが有効である。しかしながら、露光量を確保するために露光時間を長くすると、手ぶれによるカメラの動きや、被写体の動きにより画像にぶれが生じ不鮮明になるという問題があるため、このようなぶれに対処する方式として、電子ぶれ補正方式が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平９−２６１５２６号公報
【特許文献２】特開２００６−１５７５６８号公報
【特許文献３】特開２００５−２８６６７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
例えば、上記特許文献１には、ぶれの少ない短い露光時間での撮影を連続して複数回実施し、得られた複数枚の画像間の動きがキャンセルされるように位置合わせ処理をした後、合成処理をすることにより、ぶれの無い良好な画像を得る方式が開示されている。また、上記特許文献２には、デジタルカメラ等で広く採用されているベイヤー配列を有する撮像素子を用いて撮像された画像に対して、低演算量で効率的に電子ブレ補正を適用する方式が開示されている。通常、撮像されたベイヤー配列の画像は、現像処理により３板のＲＧＢ形式の画像、あるいは、ＹＣｂＣｒ形式の画像等に変換される。上記特許文献２で開示された方式は、画像の合成を３板の画像でではなくベイヤー配列の画像で直接行い、処理対象とする画素数を減らすことで、低演算量での合成を可能としている。
【０００５】
一方、ノイズ低減方式においては、輝度信号についてはノイズ低減性能よりも解像度の保存が重視され、色信号については解像度の保存よりもノイズ低減性能が重視される要請がある。このような要請に対応するため、例えば、上記特許文献３には、画像を輝度信号と色信号とに分離し、それぞれに対してパラメータを変化させる、或いは、別々のノイズ低減方式を適用する等で、異なる強度のノイズ低減性能を実現する技術が開示されている。電子ブレ補正方式においても、ＹＣｂＣｒ形式の画像に対して合成を適用する場合には、Ｙ画像に対する合成枚数とＣｂＣｒ画像に対する合成枚数を異なる枚数に設定することで、輝度信号と色信号に対するノイズ低減性能を変化させることが可能である。
【０００６】
しかしながら、ベイヤー配列の画像に対して電子ブレ補正を直接適用する場合、輝度信号と色信号が分離されていないため、これらに対してノイズ低減性能を変化させることができないという問題があった。また、ベイヤー配列の画像から、例えば、ＹＣｂＣｒ信号を作成し、異なる合成方式を適用すれば上記問題は解決可能となる。しかし、この場合には、ベイヤー配列を３板化する演算や、ＹＣｂＣｒ形式に変換する演算が必要となり、ベイヤー配列の画像で直接、電子ブレ補正を適用することで得られていた演算量削減の効果を減殺するという問題があった。
【０００７】
本発明は、上述した事情に鑑みてなされたものであって、演算量を削減しつつ、輝度信号と色信号とに対するノイズ低減性能を異ならせた画像の補正を行うことが可能な画像処理装置及び方法並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明は以下の手段を提供する。
【０００９】
本発明の第１の態様は、各色成分に対応する光電変換素子が所定のパターンで配置された撮像素子から複数の画像を取得する画像取得手段と、前記複数の画像から合成画像を生成する合成処理手段とを備え、前記合成処理手段は、前記色成分に応じて決定される画像の合成比率に基づいて画像を合成することを特徴とする画像処理装置である。
【００１０】
このような構成によれば、ベイヤー配列の複数枚の画像を、色成分に応じて決定される合成比率に基づいて合成することにより、ベイヤー配列を保ったまま合成することによる演算量低減の効果を維持しつつ、輝度信号と色信号に対するノイズ低減の効果を制御することが可能となる。これにより、合成失敗による輝度信号におけるアーティファクトを抑えつつ、色信号におけるノイズ低減の効果を高めることが可能となる。
【００１１】
上記本発明の第１の態様においては、前記合成処理手段は、前記複数枚の画像から１枚の画像を基準画像と定め、前記基準画像と、前記複数枚の画像のうち基準画像以外の画像との間の画素間の相関量、あるいは、複数画素からなる所定の領域間の相関量を算出する相関計算手段を有し、前記相関量が合成対象画素の色成分に応じて決定される閾値以下である場合に、その相関量が小さくなるにつれて、前記基準画像以外の画像の合成比率を小さくすることとしてもよい。
【００１２】
上記本発明の第１の態様においては、前記合成処理手段は、前記複数の画像のうち少なくとも１つの画像において、画素毎、または複数の画素を含む所定の領域毎のノイズレベルを推定するノイズレベル推定手段を備え、前記ノイズレベル推定手段により推定されたノイズレベルに基づいて前記閾値を算出することとしてもよい。
【００１３】
上記本発明の第１の態様においては、前記基準画像と前記対象画像との動き情報を取得する動き情報取得手段と、前記動き情報に基づく画素のシフト量が偶数画素以外である場合に、前記対象画像の画素の補間を行い、補間後の対象画像を前記シフト量に応じてシフトさせて補正する画像補正手段とを備え、前記合成処理手段は、前記画像補正手段により補正された前記複数の画像を合成することとしてもよい。
【００１４】
本発明の第２の態様は、各色成分に対応する光電変換素子が所定のパターンで配置された撮像素子から複数の画像を取得し、前記色成分に応じて決定される画像の合成比率に基づいて前記複数の画像を合成して合成画像を生成する画像処理方法である。
【００１５】
本発明の第３の態様は、各色成分に対応する光電変換素子が所定のパターンで配置された撮像素子から複数の画像を取得する第１処理と、前記色成分に応じて決定される画像の合成比率に基づいて前記複数の画像を合成して合成画像を生成する第２処理とをコンピュータに実行させるための画像処理プログラムである。
【発明の効果】
【００１６】
本発明によれば、演算量を削減しつつ、輝度信号と色信号とに対するノイズ低減性能を異ならせた画像の補正を行うことができるという効果を奏する。
【図面の簡単な説明】
【００１７】
【図１】本発明の第１の実施形態に係る画像処理装置の構成例を示したブロック図である。
【図２】ベイヤー配列の画素を示した図である。
【図３】本発明の第１の実施形態に係る合成処理部の構成例を示した図である。
【図４】本発明の第１の実施形態に係る画像処理装置の動作フローを示した図である。
【図５】複数枚の画像から１枚の画像を合成する手法を説明するための図である。
【図６】本発明の第２の実施形態に係る合成処理部の構成例を示した図である。
【図７】合成比率決定部における合成比率の決定方式を説明するための図である（Ｇｒ、Ｇｂ画素）。
【図８】合成比率決定部における合成比率の決定方式を説明するための図である（Ｒ、Ｂ画素）。
【図９】本発明の第３の実施形態に係る合成処理部の構成例を示した図である。
【図１０】撮像素子が出力する画素値とノイズ量の典型的関係を説明するための図である。
【図１１】ノイズレベル推定部の構成例を示した図である。
【図１２】合成比率決定部における合成比率の決定方式を説明するための図である（Ｇｒ、Ｇｂ画素）。
【図１３】合成比率決定部における合成比率の決定方式を説明するための図である（Ｒ、Ｂ画素）。
【発明を実施するための形態】
【００１８】
以下に、本発明に係る画像処理装置、画像処理方法、および画像処理プログラムの実施形態について、図面を参照して説明する。
【００１９】
〔第１の実施形態〕
図１は、本実施形態に係る画像処理装置１の概略構成を示したブロック図である。本実施形態に係る画像処理装置１は、例えば、デジタルカメラである。
図１に示されるように、画像処理装置１は、光学系１００、撮像素子１０１、フレームメモリ（画像取得手段）１０２、画像処理部１０３、動き情報取得部（動き情報取得手段）１０４、画像補正部（画像補正手段）１０５、および合成処理部（合成処理手段）１０６を備えている。本実施形態においては、基準画像と対象画像との２枚の画像を処理の対象とするものとして説明する。
【００２０】
フレームメモリ１０２は、各色成分に対応する光電変換素子が所定のパターンで配置された撮像素子１０１から複数の画像を取得する。取得した複数の画像は、動き情報取得部１０４及び画像補正部１０５に出力される。
【００２１】
動き情報取得部１０４は、フレームメモリ１０２に格納された基準画像と対象画像との間の動きである動き情報を取得する。動き情報は、例えば、基準画像と対象画像との画像間の動きを１個の動きベクトル情報（水平方向移動量と垂直方向移動量）として示される。
【００２２】
なお、動き情報は１個の画像につき１個の動きベクトル情報とする他にも、画像を複数の領域に分割し、それぞれの領域で動きベクトルを計算する方法でも良い。また、動きベクトルを水平方向移動量と垂直方向移動量とからなるものとするのではなく、回転や拡大縮小による変化を表現できる形式にすることも可能である。さらに、装置に備えたジャイロ等のセンサを用いて動き情報を取得する方法でも良い。
【００２３】
画像補正部１０５は、動き情報取得部１０４で取得された動き情報に基づいて、フレームメモリ１０２に格納された対象画像を補正する。具体的には、水平方向移動量と垂直方向移動量とからなる動きベクトル情報に基づいて、対象画像の位置をシフトすることにより、基準画像との位置を合わせる。例えば、対象画像の位置をシフトする際に、偶数画素分のシフトの場合は、基準画像とシフト後の対象画像のベイヤー配列（詳細は後述する）における各色（Ｒ、Ｇｒ、Ｇｂ、Ｂ）との対応関係が一致するので、画像補正部１０５は対象画像をシフトするのみでよい。
【００２４】
これに対し、奇数画素分のシフトが含まれる場合や、小数画素分のシフトが含まれる場合、換言すると、シフト量が偶数画素以外の場合には、その分シフトさせてしまうと、基準画像における色の配列とシフト後の対象画像の色の配列とが一致しなくなってしまうので、シフト後の両画像の色の対応関係を一致させるべく、画像補正部１０５において補間処理とシフト処理とを行う。
【００２５】
より具体的に、図２を用いて、奇数画素分（例えば、１画素分）のシフトが含まれる場合の画像補正部１０５の処理について説明する。
図２（ａ）はベイヤー配列の画素を示した図である。ベイヤー配列は、Ｇ（緑色）のフィルタが市松状に配置されており、Ｒ（赤色）フィルタとＢ（青色）フィルタがラインごとに交互に配置される構成である。したがって、撮像素子１０１から出力される画像信号は、１画素につきＲ（赤色）成分、Ｇ（緑色）成分、Ｂ（青色）成分のいずれか１色の画素値を持った信号となる。そして、このような画像信号が、例えば、Ｇ，Ｒ，Ｇ，Ｒ…或いはＢ，Ｇ，Ｂ，Ｇといった色の順でフレームメモリ１０２に入力される。
【００２６】
このようなベイヤー配列の画素において、対象画像の各画素を水平方向に１画素ずらす（シフトさせる）と、図２（ｂ）´のようになり、図２（ａ）で示されていたベイヤー配列とは配列が異なる。従って、この状態では基本画像と合成することができないため、１画素シフトさせると基本画像と同じ色の配列が得られる画像、すなわち、この場合には、図２（ｂ）に示すような配列の画像を、補間処理を行うことにより作成する。
１画素シフトの場合、図２（ａ）から図２（ｂ）の画像を得るためには、例えば、画素Ｇ３３（緑色）の位置にＲ（赤色）の画素を作成しなければならない。
【００２７】
この場合、Ｇ３３の周辺に存在するＲ（赤色）の画素、例えば、水平方向の両隣に配置されているＲ（赤色）成分、つまりＲ３２とＲ３４とを用いて補間処理を行い、Ｇ３３の位置にＲ（赤色）の画素を作成する。この場合、Ｇ３３に作成されるＲ（赤色）の画素は、Ｒ３２とＲ３４との画素値の平均値とする。そして、同様の補間処理を他の全ての画素において行うことにより、図２（ａ）に示されている色配列から図２（ｂ）に示される色配列の画像を作成する。
【００２８】
そして、図２（ｂ）に示した色配列の画像を作成した後は、この画像を水平方向に１画素分シフトすることで、図２（ｃ）に示される画像を得る。これにより、シフト後の画像の色配列を基本画像と同様の色配列に一致させることができる。
このように、奇数画素分のシフトが含まれる場合には、予め補間処理を行って、シフト後の色配列が基本画素と同じ配列となるような画像を作成する。これにより、基準画像におけるベイヤー配列とシフト後の対象画像のベイヤー配列とを一致させることができる。
【００２９】
なお、本実施形態においては、説明の便宜上、１画素（整数画素）ずつ水平方向にシフトさせる場合について説明したが、偶数画素以外のシフトを行う場合は同様の手法によって対応することができる。
例えば、シフト量が小数点を含んでいる場合には、補間処理において加重平均処理を行うことにより、対応することができる。この場合、シフトはあくまでも１画素単位でしかできないので、補間の方法を工夫することにより、小数点以下のシフトまでも可能とするような色配列の画像を作成する。
【００３０】
例えば、図２の紙面において左方向に０．１画素シフトさせなければならない場合には、Ｒ３４の画素に０．１の重みづけ、及びＲ３２の画素に０．９の重みづけをしたものの平均値を算出し、算出された平均値をＧ３３の画素に対するＲ成分とする。そして、同様の加重平均処理を残りの画素に対して行うことで、まずは、図２（ａ）に記載の画像を紙面右側に向けて０．９画素シフトさせた画像を作成する。そして、この画像を、紙面左側に向けて１画素シフトさせることにより、最終的には、図２の紙面に向けて左方向に０．１画素シフトさせた画像を得ることができる。なお、上記説明では、両隣の画素を使用して補間処理を行っていたが、この例に限られない。例えば、注目画素を中心とした所定画素からなる領域の中から同色の画素を用い、更に、これらの各画素にシフト量に応じた重み付け値を与えることにより、注目画素の画素値を算出することとしても良い。
【００３１】
例えば、画素Ｇ３３を囲むＲ１２、Ｒ１４、Ｒ３２、Ｒ３４、Ｒ５２、およびＲ５４の６画素を用い、これらの画素にシフト量に応じた重み付けを与えることで、Ｇ３３にＲ成分の画素を作成することとしてもよい。
【００３２】
これにより、基準画像と対象画像のベイヤー配列における各色（Ｒ、Ｇｒ、Ｇｂ、Ｂ）の対応関係が一致するようにする。
なお、例えば、動き情報に回転や拡大縮小に関する情報が含まれる構成の場合は、画像補正部１０５において回転や拡大縮小に相当する補正処理を行い、基準画像と対象画像との位置合わせを行うこととなる。
【００３３】
合成処理部１０６は、画像補正部１０５で位置合わせ処理がなされた対象画像と基準画像とから合成画像を出力する。具体的には、合成処理部１０６は、加重平均化処理部２００と合成比率決定部２０１とを備えている。図３は、合成処理部１０６の構成例を示したブロック図である。
【００３４】
合成比率決定部２０１は、基準画像と対象画像の合成比率を決定する。合成比率は、基準画像を１．０とした場合の対象画像の合成割合を０．０から１．０で表すものとする。合成比率決定部２０１は、処理対象画素がＲ、Ｇｒ、Ｇｂ、Ｂのいずれであるかを識別する色識別情報に基づき、事前に設定された合成比率を加重平均化処理部２００に出力する。処理対象画素がＧｒ、Ｇｂの場合、Ｇ成分は輝度信号に対する寄与率がＲ、Ｂ成分よりも大きいことから、ノイズ低減性能よりも解像度の保存を重視し、合成比率は低めとする。
【００３５】
処理対象画素がＲ、Ｂの場合、Ｒ、Ｂ成分は色信号に対する寄与率がＧ成分よりも大きいことから、ノイズ低減性能を解像度の保存よりも優先し、合成比率を高めとする。以上のように決定された各色成分に応じた合成比率を、事前に合成比率決定部２０１に設定し、合成比率決定部２０１は色識別情報に応じて合成比率を加重平均化処理部２００に出力する。
【００３６】
加重平均化処理部２００は、合成比率決定部２０１が出力する合成比率に応じて、基準画像と対象画像との画素の加重平均処理を行い、合成画像の画素とする。画像処理部１０３は、合成処理が完了したベイヤー配列の合成画像に対して、３板化処理、色処理、および階調変換処理等の画像処理を施し、出力画像とする。
【００３７】
次に、上記構成を備える画像処理装置の作用について図４を用いて説明する。画像処理装置１は、レンズ等からなる光学系１００を通して撮像素子１０１にて画像が撮像され、複数の撮像画像（例えば、フレーム１およびフレーム２）がフレームメモリ１０２に格納される（ステップＳＡ１）。撮像素子１０１は、例えば、ベイヤー配列を有しており、フレームメモリ１０２にはベイヤー配列の画像が格納される。このような撮像処理を所定枚数分繰り返すことにより、フレームメモリ１０２には、複数枚のベイヤー配列の画像が格納される。
【００３８】
動き情報取得部１０４において、フレーム１が基準画像、フレーム２が対象画像とされ、このフレーム１（基準画像）とフレーム２（対象画像）とに基づいて、動きベクトル情報が取得（検出）される（ステップＳＡ２）。画像補正部１０５において、動き情報取得部１０４から取得された動きベクトル情報に基づいて、フレーム２（対象画像）が補正される（ステップＳＡ３）。合成比率決定部２０１において、色識別情報に基づいて合成比率が決定される（ステップＳＡ４）。加重平均化処理部２００において、合成比率に基づいてフレーム１（基準画像）とフレーム２（対象画像）とに加重平均処理が施され、合成画像が生成される（ステップＳＡ５）。こうして生成された合成画像は、フレームメモリ１０２に出力される（ステップＳＡ６）。ステップＳＡ４、ステップＳＡ５の処理は、撮像素子１０１によって撮像された全ての画像に対して繰り返し施される。
【００３９】
より具体的に、４枚の画像から１枚の画像を合成する例を示す。４枚の画像をフレーム１からフレーム４とし、２枚の画像を合成して１枚の合成画像を得るという基本処理を３回行うことで、最終的に４枚の画像から１枚の合成画像を得る場合について図５を用いて説明する。
図５に示されるように、フレーム１とフレーム２とを合成し合成画像１を生成する。合成の際には一方を基準画像、他方を対象画像と定義するものとする。続いて、フレーム３を基準画像、フレーム４を対象画像としてフレーム３とフレーム４とを合成し、合成画像２を生成する。さらに、合成画像１を基準画像、合成画像２を対象画像とし、合成画像１と合成画像２とを合成し、合成画像３を生成する。
【００４０】
なお、複数枚の合成手法はこれに限られることはなく、例えば図５における合成画像１とフレーム３とを合成し、この合成結果とフレーム４を合成する方式でもよい。また、合成の基本処理を基準画像と対象画像１枚の計２枚の合成処理とするのではなく、基準画像と対象画像３枚の計４枚とすることも、動き情報取得部１０４、画像補正部１０５、合成処理部１０６を拡張することにより容易に可能である。
【００４１】
また、基準画像の定め方については、先に撮像した画像とする他にも、後に撮像された画像とする方法や、基本処理のたびに先後を変えることで、中間的な時刻に撮像された画像を基準にすることも可能である。
【００４２】
なお、上述した実施形態では、画像処理装置としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、各センサからの出力信号に基づいて別途ソフトウェアにて処理する構成も可能である。この場合、画像処理装置は、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を備えている。そして、ＣＰＵが上記記憶媒体に記録されているプログラムを読み出して、情報の加工・演算処理を実行することにより、上述の画像処理装置と同様の処理を実現させる。
ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
【００４３】
以上説明してきたように、本発明に係る画像処理装置及び画像処理方法並びにプログラムによれば、ベイヤー配列の複数枚の画像を、色成分に応じて決定される合成比率に基づいて合成することにより、ベイヤー配列を保ったまま合成することによる演算量低減の効果を維持しつつ、輝度信号と色信号とに対するノイズ低減の効果を制御することができる。これにより、合成の失敗による輝度信号におけるアーティファクトを抑制し、かつ、色信号におけるノイズ低減の効果を向上させることが可能となる。
【００４４】
なお、本実施形態においては合成比率を０．０から１．０で設定する構成としていたが、これに限定されない。例えば、合成比率を０．０と１．０の２値とし、加重平均化処理部２００を単純な平均化処理に置き換えることで、演算量を削減する構成としてもよい。これにより、例えば、Ｇｒ、Ｇｂ画素については２枚の画像の合成処理、Ｒ、Ｂ画素については８枚の画像の合成処理を行う構成とすることが可能となり、上述の効果を得ることができる。
【００４５】
〔第２の実施形態〕
次に、本発明の第２の実施形態に係る画像処理装置について図６を参照して説明する。
図６に示されるように、第２の実施形態に係る画像処理装置は、第１の実施形態における合成処理部１０６の構成に変更が加えられ、相関計算部（相関計算手段）３００を更に備えた構成である。図６に示されるように、第２の実施形態における合成処理部１０６´に入力されるのは、ベイヤー配列の基準画像と対象画像とである。これら画像は相関計算部３００において相関が算出される。
以下、本実施形態に係る画像処理装置について、第１の実施形態と共通する点については説明を省略し、異なる点について主に説明する。
【００４６】
相関計算部３００は、画像間の相関値として差分絶対値を画素毎に算出する。一般に、位置合わせが成功している場合には差分絶対値は小さくなり、位置合わせが失敗している場合には差分絶対値は大きくなるので、この結果を合成比率決定部３０１での合成比率の制御に利用して、位置合わせ失敗に起因するぼけや２重像等のアーティファクトを抑える。
【００４７】
なお、相関値として本実施形態では画素間の差分絶対値を用いているが、この他にもより安定した相関値を算出するために、注目画素の周辺画素からなるブロックについて、ブロック間の差分絶対値和（ＳＡＤ）を相関値としても良い。また、演算量を削減するために、画素毎に相関値を算出するのではなく、複数の画素からなる領域につき１つの相関値を算出する構成にしても良い。また例えば、Ｒ画素における画素間の相関値の代わりに、近傍のＧｒあるいはＧｂ画素の相関値を用いる構成にしても良い。
【００４８】
合成比率決定部３０１は、相関計算部３００で算出される差分絶対値と、処理対象画素がＲ、Ｇｒ、Ｇｂ、Ｂのいずれであるかを識別する色識別情報に基づいて、基準画像と対象画像の合成比率を決定する。合成比率は、基準画像を１．０とした際の対象画像の合成割合を０．０から１．０で表すものとする。画素の差分絶対値の大小で合成比率を制御する。差分絶対値が小さい場合には、位置合わせが成功している可能性が高いので合成比率は大きくする。
【００４９】
差分絶対値が大きい場合には、位置合わせが失敗している可能性が高いのでアーティファクトを抑制するため合成比率を小さくする。さらに色識別情報を用いて、Ｇｒ、Ｇｂ画素についてはノイズ低減性能よりも解像度の維持を優先し、Ｒ、Ｂ画素についてはノイズ低減性能を解像度の維持よりも優先するように合成比率を制御する。
【００５０】
図７は、Ｇｒ、Ｇｂ画素における画素の差分絶対値と合成比率の関係例を示した図であり、図８は、Ｒ、Ｂ画素における画素の差分絶対値と合成比率の関係例を示した図である。図７の例では、差分絶対値が閾値１より小さい場合には合成比率を１．０に、差分絶対値が閾値２より大きい場合には合成比率を０．０にし、閾値１から閾値２へは直線的に合成比率を遷移させている。閾値１および閾値２は小さめの値とし、差分絶対値が大きい場合には迅速に合成比率を小さくして合成失敗によるアーティファクトを抑制する設定としている。
【００５１】
図８の例では、差分絶対値が閾値３より小さい場合には合成比率を１．０に、差分絶対値が閾値４より大きい場合には合成比率を０．５にし、閾値３から閾値４へは直線的に合成比率を遷移させている。閾値３および閾値４は大きめの値とし、差分絶対値がある程度大きい場合でも合成比率が小さくなりすぎないようにしてノイズ低減能力を維持することを優先する設定としている。
【００５２】
以上説明してきたように、本実施形態に係る画像処理装置及び画像処理方法並びにプログラムによれば、ベイヤー配列の複数枚の画像を、色成分に応じて決定される合成比率に基づいて合成することにより、ベイヤー配列を保ったまま合成することによる演算量低減の効果を維持しつつ、輝度信号と色信号に対するノイズ低減の効果を制御することが可能となる。さらに、画像間の相関値と合成比率の関係を、色成分に応じて設定することにより、合成失敗による輝度信号におけるアーティファクトを抑えつつ、色信号におけるノイズ低減の効果をより高めることが可能となる。
【００５３】
なお、本実施形態においては合成比率を０．０から１．０の間で連続的に変化させる構成としているが、これを０．０と１．０の２値とし、加重平均化処理部２００を単純な平均化処理に置き換えることで、演算量を削減する構成も可能である。
【００５４】
〔第３の実施形態〕
本発明の第３の実施形態に係る画像処理装置は、第２の実施形態における合成処理部１０６の構成に変更が加えられた構成である。図９に第３の実施形態における合成処理部１０６´´の構成図を示す。第３の実施形態は、第２の実施形態における合成処理部１０６´にノイズレベル推定部（ノイズレベル推定手段）４００が更に備えられ、合成比率決定部４０１における合成比率をノイズレベル、画像間の相関により決定することにより、ぼけや２重像等のアーティファクトをより精度良く確実に抑え、加えて色識別情報を用いて合成比率を制御することにより、輝度信号と色信号に対するノイズ低減の効果を制御する形態である。
以下、本実施形態に係る画像処理装置について、第１、第２の実施形態と共通する点については説明を省略し、異なる点について主に説明する。
【００５５】
合成処理部１０６´´に入力されるのは、ベイヤー配列の基準画像と対象画像である。まず、基準画像と対象画像から相関計算部３００で画像間の相関値が算出される。詳細は第２の実施形態と同様である。また、基準画像と対象画像から、処理対象画素に含まれるノイズの強度（ノイズレベル）をノイズレベル推定部４００で推定する。
【００５６】
一般に、撮像素子が出力する画素に含まれるノイズ量と画素値との間には一定の関係があり、画素値からノイズ量が推定できることが知られている。図１０に撮像素子が出力する画素値とノイズ量の典型的関係を示す。図１０における横軸は撮像素子が出力する画素の画素値、縦軸はその画素に含まれるノイズ量（ノイズの標準偏差等）である。典型的には、撮像素子が出力する画素値が大きくなるにつれて、含まれるノイズ量は増える傾向にある。
【００５７】
ノイズレベル推定部４００では、上述のようなノイズ量と画素値との関連を用いて、処理対象画素に含まれるノイズの強度（ノイズレベル）を推定する。図１１にノイズレベル推定部４００の構成図を示す。ノイズレベル計算部５００、５０１は、図１０に示すような画素値とノイズ量の関係を事前に折れ線近似、あるいは、テーブル化等の手法により用意しておき、基準画像の画素、あるいは、対象画像の画素のノイズレベルをそれぞれ算出する。
【００５８】
なお、ノイズレベル推定部４００が推定するノイズレベルは、撮像素子が出力するノイズ量と完全に一致する必要はなく、後に行なわれる階調変換処理等の画像処理により増幅されるノイズも考慮して設定してもよい。典型的には、階調変換処理により暗部のノイズが増幅されるため、暗部において撮像素子が出力するノイズ量よりも大きい値をノイズレベルとして設定することも可能である。
【００５９】
基準画像と対象画像の位置合わせが成功している画素においては、基準画像の画素値と対象画像の画素値に大きな差はなく、算出されるノイズレベルにも大きな違いは生じない。しかし、位置合わせが失敗している画素においてはこれらに違いが生ずる可能性が高く、当該画素のノイズレベルとしては最大値計算部５０２にて最大値を選択することで、これをノイズレベルとする。
【００６０】
なお、本実施形態においては、最大値計算部５０２にて最大値を算出し、これをノイズレベルとしたが、この他にも、基準画像のノイズレベルと対象画像のノイズレベルの加重平均値とし、例えば基準画像の画素に重みをつけてノイズレベルを推定することも可能である。またノイズレベル計算部５００、５０１を複数動作させるのが演算量の観点から望ましくない場合には、ノイズレベル計算部５００のみを動作させ、この出力をノイズレベルとしても良い。
【００６１】
次に、合成比率決定部４０１の動作について説明する。
合成比率決定部４０１は、ノイズレベル推定部４００で算出されるノイズレベルと、相関計算部３００で算出される差分絶対値と、処理対象画素がＲ、Ｇｒ、Ｇｂ、Ｂのいずれであるかを識別する色識別情報に基づいて、基準画像と対象画像の合成比率を決定する。
【００６２】
第２の実施形態と同様に、合成比率は、基準画像を１．０とした際の対象画像の合成割合を０．０から１．０で表すものとする。画素の差分絶対値の大小で合成比率を制御する。差分絶対値が小さい場合には、位置合わせが成功している可能性が高いので合成比率は大きくする。差分絶対値が大きい場合には、位置合わせが失敗している可能性が高いのでアーティファクトを抑えるため合成比率を小さくする。さらに色識別情報を用いて、Ｇｒ、Ｇｂ画素についてはノイズ低減性能よりも解像度の保存を重視し、Ｒ、Ｂ画素についてはノイズ低減性能を解像度の保存よりも優先するように合成比率を制御する。
【００６３】
図１２にＧｒ、Ｇｂ画素における画素の差分絶対値と合成比率の関係例を、図１３にＲ、Ｂ画素における画素の差分絶対値と合成比率の関係例を示す。図１２の例では、第２の実施形態と同様に、差分絶対値が閾値１より小さい場合には合成比率を１．０に、差分絶対値が閾値２より大きい場合には合成比率を０．０にし、閾値１から閾値２へは直線的に合成比率を遷移させている。これに加えてノイズレベルに応じて閾値１と閾値２を制御することにより、ノイズレベルに応じた合成比率の制御を行う。
【００６４】
ノイズレベルが大きい画素においては、合成によるノイズ低減の必要性が高いことから、合成比率を大きくするために、閾値１と閾値２を大きくする。具体的には、ノイズレベルに所定の定数を乗算した値を、閾値１と閾値２にそれぞれ加算する等とすればよい。ノイズレベルが小さい画素においては、合成によるノイズ低減の必要性が低いので、合成比率を低くするために、閾値１と閾値２を小さくする。具体的には、ノイズレベルに所定の定数を乗算した値を、閾値１と閾値２からそれぞれ減算する等とすればよい。合成比率決定部５０３は、このような関係をテーブル化等の手法で用意しておいてもよいし、数式計算で算出するようにしてもよい。
【００６５】
図１３の例では、差分絶対値が閾値３より小さい場合には合成比率を１．０に、差分絶対値が閾値４より大きい場合には合成比率を０．５にし、閾値３から閾値４へは直線的に合成比率を遷移させている。閾値３および閾値４は大きめの値とし、差分絶対値がある程度大きい場合でも合成比率が小さくなりすぎないようにしてノイズ低減能力を維持することを優先する設定としている。Ｇｒ、Ｇｂ画素の場合と同様に、ノイズレベルに応じて閾値３と閾値４を制御することにより、ノイズレベルに応じた合成比率の制御を行う。
【００６６】
以上説明してきたように、本実施形態に係る画像処理装置及び画像処理方法並びにプログラムによれば、ベイヤー配列の複数枚の画像を、色成分に応じて決定される合成比率に基づいて合成することにより、ベイヤー配列を保ったまま合成することによる演算量低減の効果を維持しつつ、輝度信号と色信号に対するノイズ低減の効果を制御することが可能となる。さらに、画像間の相関値と合成比率の関係を色成分に応じて設定し、且つこれらを、処理対象画素のノイズレベルに応じて制御することで、合成失敗による輝度信号におけるアーティファクトを精度良く抑えつつ、色信号におけるノイズ低減の効果をより高めることが可能となる。
【００６７】
なお、本実施形態においては合成比率を０．０から１．０の間で連続的に変化させる構成としていたが、これを０．０と１．０の２値とし、加重平均化処理部２００を単純な平均化処理に置き換えることで、演算量を削減する構成も可能である。
【符号の説明】
【００６８】
１０４ 動き情報取得部
１０５ 画像補正部
１０６ 合成処理部
２００ 加重平均化処理部
２０１、３０１、４０１ 合成比率決定部
３００ 相関計算部
４００ ノイズレベル推定部
５００、５０１ ノイズレベル計算部
５０２ 最大値計算部
【特許請求の範囲】
【請求項１】
各色成分に対応する光電変換素子が所定のパターンで配置された撮像素子から複数の画像を取得する画像取得手段と、
前記複数の画像から合成画像を生成する合成処理手段とを備え、
前記合成処理手段は、前記色成分に応じて決定される画像の合成比率に基づいて画像を合成することを特徴とする画像処理装置。
【請求項２】
前記合成処理手段は、
前記複数枚の画像から１枚の画像を基準画像と定め、前記基準画像と、前記複数枚の画像のうち基準画像以外の画像との間の画素間の相関量、あるいは、複数画素からなる所定の領域間の相関量を算出する相関計算手段を有し、
前記相関量が合成対象画素の色成分に応じて決定される閾値以下である場合に、その相関量が小さくなるにつれて、前記基準画像以外の画像の合成比率を小さくすることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記合成処理手段は、
前記複数の画像のうち少なくとも１つの画像において、画素毎、または複数の画素を含む所定の領域毎のノイズレベルを推定するノイズレベル推定手段を備え、
前記ノイズレベル推定手段により推定されたノイズレベルに基づいて前記閾値を算出することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記基準画像と前記対象画像との動き情報を取得する動き情報取得手段と、
前記動き情報に基づく画素のシフト量が偶数画素以外である場合に、前記対象画像の画素の補間を行い、補間後の対象画像を前記シフト量に応じてシフトさせて補正する画像補正手段と
を備え、
前記合成処理手段は、
前記画像補正手段により補正された前記複数の画像を合成することを特徴とする請求項１から請求項３のいずれかに記載の画像処理装置。
【請求項５】
各色成分に対応する光電変換素子が所定のパターンで配置された撮像素子から複数の画像を取得し、
前記色成分に応じて決定される画像の合成比率に基づいて前記複数の画像を合成して合成画像を生成する画像処理方法。
【請求項６】
各色成分に対応する光電変換素子が所定のパターンで配置された撮像素子から複数の画像を取得する第１処理と、
前記色成分に応じて決定される画像の合成比率に基づいて前記複数の画像を合成して合成画像を生成する第２処理と
をコンピュータに実行させるための画像処理プログラム。
【請求項１】
各色成分に対応する光電変換素子が所定のパターンで配置された撮像素子から複数の画像を取得する画像取得手段と、
前記複数の画像から合成画像を生成する合成処理手段とを備え、
前記合成処理手段は、前記色成分に応じて決定される画像の合成比率に基づいて画像を合成することを特徴とする画像処理装置。
【請求項２】
前記合成処理手段は、
前記複数枚の画像から１枚の画像を基準画像と定め、前記基準画像と、前記複数枚の画像のうち基準画像以外の画像との間の画素間の相関量、あるいは、複数画素からなる所定の領域間の相関量を算出する相関計算手段を有し、
前記相関量が合成対象画素の色成分に応じて決定される閾値以下である場合に、その相関量が小さくなるにつれて、前記基準画像以外の画像の合成比率を小さくすることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記合成処理手段は、
前記複数の画像のうち少なくとも１つの画像において、画素毎、または複数の画素を含む所定の領域毎のノイズレベルを推定するノイズレベル推定手段を備え、
前記ノイズレベル推定手段により推定されたノイズレベルに基づいて前記閾値を算出することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記基準画像と前記対象画像との動き情報を取得する動き情報取得手段と、
前記動き情報に基づく画素のシフト量が偶数画素以外である場合に、前記対象画像の画素の補間を行い、補間後の対象画像を前記シフト量に応じてシフトさせて補正する画像補正手段と
を備え、
前記合成処理手段は、
前記画像補正手段により補正された前記複数の画像を合成することを特徴とする請求項１から請求項３のいずれかに記載の画像処理装置。
【請求項５】
各色成分に対応する光電変換素子が所定のパターンで配置された撮像素子から複数の画像を取得し、
前記色成分に応じて決定される画像の合成比率に基づいて前記複数の画像を合成して合成画像を生成する画像処理方法。
【請求項６】
各色成分に対応する光電変換素子が所定のパターンで配置された撮像素子から複数の画像を取得する第１処理と、
前記色成分に応じて決定される画像の合成比率に基づいて前記複数の画像を合成して合成画像を生成する第２処理と
をコンピュータに実行させるための画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１１−１９９７８６（Ｐ２０１１−１９９７８６Ａ）
【公開日】平成２３年１０月６日（２０１１．１０．６）
【国際特許分類】
【出願番号】特願２０１０−６７０１７（Ｐ２０１０−６７０１７）
【出願日】平成２２年３月２３日（２０１０．３．２３）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２３年１０月６日（２０１１．１０．６）
【国際特許分類】
【出願日】平成２２年３月２３日（２０１０．３．２３）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]