画像処理装置及びその制御方法、及びプログラム
【課題】複数の画像を合成した画像を出力する際に、合成の可否に関わらず出力画像の画質の差を目立たないようにする。
【解決手段】取得した複数の画像のうちの１つの画像を基準画像として設定し、当該基準画像を除く複数の画像のそれぞれにについて、基準画像に対する動きベクトルを検出する。そして基準画像を除く複数の画像について検出された動きベクトルを用いて判定を行った結果、この複数の画像と基準画像とを合成する条件を満たさないと判断された場合、複数の画像のうちの１つの画像に対して平滑化処理を適用して得られた画像を出力する。
【解決手段】取得した複数の画像のうちの１つの画像を基準画像として設定し、当該基準画像を除く複数の画像のそれぞれにについて、基準画像に対する動きベクトルを検出する。そして基準画像を除く複数の画像について検出された動きベクトルを用いて判定を行った結果、この複数の画像と基準画像とを合成する条件を満たさないと判断された場合、複数の画像のうちの１つの画像に対して平滑化処理を適用して得られた画像を出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像間のずれを補正した合成画像を生成する技術に関する。
【背景技術】
【０００２】
今日、デジタルカメラ等の撮像装置には、撮像時のユーザの手ぶれ等による撮像装置の動きによって被写体像がぶれてしまうことを防ぐため、様々な手ぶれ補正機能が備えられていることが多い。手ぶれ補正機能には、大きく分けて光学式手ぶれ補正と電子式手ぶれ補正があり、電子式手ぶれ補正では撮像された複数の画像について被写体像のずれを画像処理によって補正している。具体的には電子式手ぶれ補正では、複数回の撮像により得られた複数の画像のそれぞれについて同一パターンの被写体像の位置を検出し、同一パターンの被写体像が重なるように複数の画像の合成位置を調整している。
【０００３】
このような手ぶれ補正機能は、例えば夜景等の暗所における撮像に有効である。夜景等の暗所の撮像では、適正露光を得るために撮像素子の受光感度を高くする方法も用いられるが、撮像された画像にノイズが目立つため、露光時間を長くしてノイズを低減して適正露光を得る方法もとられている。しかしながら、露光時間を長くすることにより、露光時間中の撮像装置を把持する撮像者の手ぶれの影響を受けやすくなる。このような状況において、例えば電子式手ぶれ補正を用いることにより、露光時間の短い複数の画像からノイズを低減し、かつ手ぶれを補正した画像を得ることが可能となる。
【０００４】
しかしながら、電子式手ぶれ補正を行う場合、同一パターンの被写体像が重なるように合成することが望ましいが、例えば手ぶれ量が大きすぎる場合や、画像が合焦していない場合等、パターンマッチングが困難な場合は、被写体像のずれ量を正確に検出できない。即ち、被写体像のずれ量が誤って検出された画像を合成しても、撮像者は所望の画像を得ることはできなかった。
【０００５】
特許文献１には、パターンマッチングの精度を向上させるために、分割露光されて得られた複数の画像のそれぞれに対し、信号レベルを露光枚数倍に増幅する方法が開示されている。また、特許文献２には、被写体像のずれ量が誤って検出された画像を合成することにより、所望の結果を得られないことを回避するために、撮像された複数の画像のうち、露光条件が適正な画像のみを抽出して合成する方法が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−２４３７７４号公報
【特許文献２】特許第３３０４６８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献２のように予め定められた合成条件を満たす画像のみで合成を行うように合成処理を制御する場合、撮像された複数の画像のすべてが合成条件を満たさず、合成を行えない場合がある。撮像された複数の画像が合成を行う条件を満たさない場合は、合成を行っても適切に手ぶれやノイズの影響を補正した画像が得ることができないため、合成を行わずに撮像した複数の画像のうちの１つの画像を出力することが考えられる。
【０００８】
しかしながら、このように信号レベルを増幅して出力された、複数の画像のうちの１つの画像と、複数の画像が合成されて得られた合成画像とを比較すると、両者の画質は異なる。複数の画像のうちの１つの画像は、短い露光時間で撮像されるため手ぶれの影響を受けにくく、エッジの鮮鋭さは確保できるが、信号レベルを増幅するためノイズが目立ちやすくなる。また合成画像は、それぞれ短い露光時間で撮像された複数の画像を重ね合わせるためノイズの影響を低減することができるが、位置合わせを行って合成したとしても画像間には微妙に差異が存在することがあり、当該合成画像の像は部分的にエッジが多重してしまう。即ち、合成画像の鮮鋭さは複数の画像のうちの１つの画像に比べると劣ることになる。つまり、撮像装置のモードを複数の画像を合成した画像を出力するモードに設定して撮像したにも関わらず、画質の異なる画像が出力されるため、ユーザに混乱を与えてしまう可能性があった。
【０００９】
本発明は、上述の問題点に鑑みてなされたものであり、複数の画像を合成した画像を出力する際に、合成の可否に関わらず出力画像の画質の差を目立たないようにすることを目的とする。
【課題を解決するための手段】
【００１０】
前述の目的を達成するために、本発明の画像処理装置は、以下の構成を備える。
複数の画像間のずれを補正して複数の画像を合成することにより合成画像を出力する合成手段を備える画像処理装置であって、複数の画像を取得する取得手段と、取得手段により取得された複数の画像のうち、１つの画像を基準画像として設定する設定手段と、基準画像を除く複数の画像のそれぞれについて、基準画像に対する動きベクトルを検出する検出手段と、基準画像を除く複数の画像のそれぞれについて、検出手段により検出された動きベクトルが予め定められた基準画像と合成する条件を満たすか否かを判定することで、複数の画像が基準画像を除く複数の画像のいずれかまたは全てと基準画像とを合成する条件を満たすか否かを判断する判断手段と、判断手段により複数の画像が基準画像を除く複数の画像のいずれかまたは全てと基準画像とを合成する条件を満たさないと判断された場合、複数の画像のうちの１つの画像に対して平滑化処理を適用して得られた画像を、合成画像の代わりに出力する平滑化手段と、を備えることを特徴とする。
【発明の効果】
【００１１】
このような構成により本発明によれば、複数の画像を合成した画像を出力する際に、合成の可否に関わらず出力画像の画質の差を目立たないようにすることを可能とする。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態に係るデジタルカメラの機能構成を示したブロック図。
【図２】実施形態に係る画像処理において適用されるフィルタ例を示した図。
【図３】実施形態に係る合成処理を説明するための図。
【図４】実施形態に係る合成モード撮像処理のフローチャート。
【発明を実施するための形態】
【００１３】
以下、本発明の好適な一実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、画像処理装置の一例としての、撮像した複数の画像について、画像間のずれを補正して合成した画像を出力可能なデジタルカメラに、本発明を適用した例を説明する。しかし、本発明は、取得した複数の画像について、画像間のずれを補正して合成を行った画像を出力することが可能な任意の機器に適用可能である。なお本実施形態において、デジタルカメラはユーザの操作による１回の撮影指示に応じて画像を１枚撮像する「通常モード」に加え、ユーザの操作による１回の撮影指示に応じて露光時間の短い複数の画像を撮像し、合成した画像を出力する「合成モード」を備える。デジタルカメラにおいて当該合成モードが選択されて撮像が行われる際は、例えば被写体の環境光等の輝度の情報から撮像する画像の数を決定して複数の画像が撮像されるものとする。
【００１４】
図１は、本発明の実施形態に係るデジタルカメラ１００の機能構成を示すブロック図である。
制御部１０１は、例えばＣＰＵであり、デジタルカメラ１００が備える各ブロックの動作プログラムをＲＯＭ１０２より読み出し、ＲＡＭ１０３に展開して実行することによりデジタルカメラ１００が備える各ブロックの動作を制御する。ＲＯＭ１０２は、書き換え可能な不揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作プログラムに加え、例えば画像の分割数等、各ブロックの動作に必要なパラメータ等を記憶する。ＲＡＭ１０３は、書き換え可能な揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。本実施形態ではＲＡＭ１０３には、手ぶれ補正を行うために撮像された複数の画像が一時的に記憶される。
【００１５】
撮像部１０５は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子であり、光学系１０４により撮像素子に結像された光学像を光電変換し、得られたアナログ画像信号をＡ／Ｄ変換部１０６に出力する。Ａ／Ｄ変換部１０６は、入力されたアナログ画像信号にＡ／Ｄ変換処理を適用し、得られたデジタル画像データを画像処理部１０７に出力する。画像処理部１０７は、入力されたデジタル画像データに、所定の画像処理を適用して合成用の画像を生成し、ＲＡＭ１０３に記憶する。また、画像処理部１０７は後述する動きベクトル検出部１０８で動きベクトルを検出するためのエッジ抽出を行った画像を出力するための画像処理を行う。
【００１６】
具体的には、まず画像処理部１０７はデジタル画像データをＹＵＶ形式の画像信号に変換し、分割露光をしている場合は撮像される複数の画像の信号レベルに、撮像する画像の数を積算することにより、信号レベルを増幅する。さらに画像処理部１０７は、例えば図２（ａ）に示すような平均化フィルタを適用することによりノイズリダクション処理を行う。なお、ノイズリダクション処理において、着目画素（フィルタの中心画素）との信号レベルの差が、予め定められた値以下のもののみを平均化することにより、ノイズリダクション処理を行ったとしても、画像のエッジ部の高周波成分を残すことが可能である。
【００１７】
さらに、画像処理部１０７は、ノイズリダクション処理が行われたデジタル画像データに対し、例えば図２（ｂ）に示すような高域通過フィルタ（ＨＰＦ：High Pass Filter）からなるエッジ強調用のフィルタを用いてエッジ強調処理を行う。具体的には、この図２（ｂ）に示すエッジ強調用のフィルタを適用した画像と元画像を加算することでデジタル画像データに含まれる被写体像のエッジ部を強調した画像を生成し、ＲＡＭ１０３に出力して記憶させる。このようにして得られたエッジ強調がなされた画像は、ＲＡＭ１０３に合成用の画像として記憶されればよい。なお、エッジ強調処理においてコアリングを行うことで、エッジより信号レベルが低いノイズ成分を強調させないようにすることができる。
【００１８】
また画像処理部１０７は、ＲＡＭ１０３に記憶したノイズリダクション処理及びエッジ強調処理が行われたデジタル画像データの輝度信号Ｙに対し、図２（ｃ）に示すようなＨＰＦをさらに適用することにより、エッジ抽出処理を行う。エッジ抽出がなされて得られた図３（ａ）のようなエッジ抽出画像は、動きベクトル検出部１０８に出力され、後述する動きベクトル検出処理に用いられる。
【００１９】
なお、撮像部１０５、Ａ／Ｄ変換部１０６及び画像処理部１０７で行われる撮像処理は、例えば電子式手ぶれ補正を行うようにユーザにより選択されて撮像された場合には、所定の回数、または所定の期間繰り返し実行される。この場合、ＲＡＭ１０３には複数回の撮像のそれぞれで出力された複数の画像が一時的に記憶される。
【００２０】
動きベクトル検出部１０８は、ＲＡＭ１０３に記憶された複数の画像のうちの１つの画像を基準画像とし、基準画像を除く他の画像のそれぞれについて、基準画像のエッジ抽出画像に対する画像のずれの向き及び大きさを表す動きベクトルを検出するブロックである。具体的には、動きベクトル検出部１０８には、ＲＡＭ１０３に記憶されている複数の画像のうち、基準画像及び当該基準画像と比較を行う対象画像のエッジ抽出画像が入力される。エッジ抽出画像は複数の領域に分けられ、図３（ｂ）のように抽出されたエッジの信号レベルの総和が予め定められた値より大きい領域について、領域ごとに被写体像のパターンマッチングを行い、図３（ｃ）のような領域ごとの動きベクトルを検出する。なお、動きベクトルの検出は、例えばブロックマッチング法やマッチング残差最小点の絞込みを行う多段階探索法等を用いて行えばよい。
【００２１】
なお、本実施形態において、動きベクトル算出の基準となる基準画像は、例えばＲＡＭ１０３に記憶された複数の画像のうち、例えば最初に撮像された画像を用いるものとして以下に説明する。しかしながら、本発明の実施はこれに限らず、基準画像は撮像された複数の画像のうちの１つの画像であればよく、例えば撮像された時間、撮像されている被写体像の状態等から決定されてもよい。
【００２２】
合成部１０９は、基準画像及び対象画像が入力され、基準画像に対し、動きベクトル検出部１０８で検出された動きベクトルとは反対方向に当該動きベクトルのスカラ量の分だけ対象画像を回転及び移動させて合成する。具体的には、制御部１０１は、動きベクトル検出部１０８により検出された複数の領域の動きベクトルから、基準画像に対する対象画像のずれを補正するためのアフィン係数を算出し、合成部１０９に出力する。例えば基準画像の注目画素の座標（ｘ，ｙ）及び、当該注目画素の対象画像における座標（ｘ’，ｙ’）はアフィン変換においてアフィン係数（ａ，ｂ，ｃ，ｄ）を用いて
と表すことができるため、動きベクトル検出部１０８で検出された複数の領域の動きベクトルのうち、２つ以上の動きベクトルを用いて、動きベクトルの誤差Ｅ
が最小となるアフィン係数を決定する。なお、アフィン係数の決定に用いる動きベクトルは、例えば誤検出されたとみなされる特異な動きベクトル以外の動きベクトルを用いてもよいし、画像中心に近いブロックについて優先順位を付して、優先順位が上位の動きベクトルを所定数用いて決定してもよい。
【００２３】
そして、合成部１０９は入力されたアフィン係数を用いて対象画像を回転及び移動させ、基準画像と像の位置あわせを行って合成を行う。なお、本実施形態では合成部１０９は例えば内部メモリを備え、合成中の画像は当該内部メモリに保持される記憶されているものとして説明する。記録媒体１１０は、例えばデジタルカメラ１００が備える内部メモリや、メモリカードやＨＤＤ等の、デジタルカメラ１００に着脱可能に接続される記録装置であってよい。記録媒体１１０には、合成部１０９で画像のずれが補正された合成画像が合成部１０９より入力され、記録される。
【００２４】
（合成モード撮像処理）
このような構成をもつ本実施形態のデジタルカメラ１００の合成モード撮像処理について、図４のフローチャートを用いて具体的な処理を説明する。当該フローチャートに対応する処理は、制御部１０１が、例えばＲＯＭ１０２に記憶されている対応する処理プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより実現することができる。なお、本合成モード撮像処理は、例えばデジタルカメラ１００のモードが合成モードに設定されて撮影指示がなされた際に開始されるものとして説明する。
【００２５】
Ｓ４０１で、制御部１０１は、分割露光する回数（撮像する回数）、１回の撮像の露光時間、及びゲイン等の撮像条件を決定する。具体的には、制御部１０１は、例えばユーザにより不図示のレリーズボタンが半押し状態にされた際に被写体の測光を行い、得られた光量により露光回数、露光時間及びゲインを決定する。
【００２６】
そしてＳ４０２で、制御部１０１は、ユーザにより不図示のレリーズボタンが全押し状態にされると、Ｓ４０１で決定した露光回数、及び露光時間に従い、複数の画像の撮像を行う。具体的には制御部１０１は、露光により撮像部１０５から出力されたアナログ画像信号に対してＡ／Ｄ変換部１０６でＡ／Ｄ変換処理を適用させ、得られたデジタル画像データを画像処理部１０７に出力させる。そして制御部１０１は、画像処理部１０７において入力されたデジタル画像データをＹＵＶ形式に変換し、ノイズリダクション処理及びエッジ強調処理を適用させる。そして制御部１０１は、ノイズリダクション処理及びエッジ強調処理が適用されて得られた、合成用の画像をＲＡＭ１０３に出力して記憶させる。即ち、本ステップでは、合成用の複数の画像がＲＡＭ１０３に出力されて記憶される。
【００２７】
Ｓ４０３で、制御部１０１は、Ｓ４０２でＲＡＭ１０３に記憶された複数の画像のうち、最初に撮像されて記憶された画像を合成の基準画像として設定し、当該画像の輝度信号で構成される輝度画像を画像処理部１０７に出力し、エッジ検出を行う。具体的には制御部１０１は、基準画像の輝度画像のエッジ抽出を行うため、当該輝度画像に対し画像処理部１０７にＨＰＦを適用させる。
【００２８】
制御部１０１はＳ４０４で、ＨＰＦが適用されて得られたエッジ抽出画像を複数のブロックに分割し、各ブロックの抽出されたエッジの信号レベルの総和が、動きベクトルを検出するとして予め定められた値ＩＴＨを超えるか否かを判断する。抽出されたエッジの信号レベルの総和が一定量を超えていない場合は、画像間のずれの検出の基準となるエッジが少なく、動きベクトルの検出が困難であると考えられる。このため、本ステップにおいて制御部１０１は、抽出されたエッジの信号レベルの総和を算出する。エッジ抽出画像をＭ×Ｎ画素で構成されるブロックに分割した場合、ＨＰＦ適用後の輝度信号の信号レベルをＨ（ｘ，ｙ）とすると、各ブロックにおける抽出されたエッジの信号レベルの総和Ｉは、
となる。制御部１０１は、エッジの信号レベルの総和Ｉが予め定められた値ＩＴＨを超えるブロックが存在する場合は、エッジ抽出画像を動きベクトル検出部１０８に伝送して処理をＳ４０５に移し、超えるブロックが存在しない場合は処理をＳ４１２に移す。
【００２９】
Ｓ４０５で、制御部１０１は、Ｓ４０２でＲＡＭ１０３に記憶された複数の画像のうち、基準画像以外の他の画像を１つ選択し、当該他の画像の、基準画像に対する動きベクトルを動きベクトル検出部１０８に検出させる。具体的には、制御部１０１は、ＲＡＭ１０３に記憶されている基準画像以外の他の画像を例えば撮像した順番に対象画像として選択し、当該対象画像の輝度画像を画像処理部１０７に出力してエッジ抽出処理を行わせる。そして制御部１０１は、得られた対象画像のエッジ抽出画像を画像処理部１０７から動きベクトル検出部１０８に伝送させ、基準画像と対象画像のエッジ抽出画像から対象画像の動きベクトルを動きベクトル検出部１０８に検出させる。動きベクトルの検出は、例えばブロックマッチング法やマッチング残差最小点の絞込みを行う多段階探索法等を用いて行えばよい。また動きベクトルの検出は、基準画像の抽出されたエッジの信号レベルの総和Ｉが予め定められた値を超えていると判断されたブロックについてのみ検出し、動きベクトルの検出に係る計算量を抑えることができる。制御部１０１は、対象画像の各ブロックについて動きベクトル検出部１０８が検出した動きベクトルから、当該対象画像全体の動きベクトルであるグローバル動きベクトルを算出する。
【００３０】
Ｓ４０６で、制御部１０１は、基準画像と対象画像間の画像のずれが、基準画像と合成するための画像のずれの限界を表す閾値以下であるか否かを判定する。具体的には制御部１０１は、Ｓ４０５で検出された対象画像の各ブロックの動きベクトルから、当該対象画像全体の動きベクトルであるグローバル動きベクトルを算出する。そして制御部１０１は、当該グローバル動きベクトルのスカラ量と、予め定められた基準画像と合成するための画像のずれの限界を表す閾値とを比較する。制御部１０１は、グローバル動きベクトルのスカラ量が閾値以下である場合は処理をＳ４０８に移す。
【００３１】
また制御部１０１は、Ｓ４０６でグローバル動きベクトルのスカラ量が閾値を超えると判断した場合は処理をＳ４０７に移し、対象画像は合成する条件を満たさない画像であることを示す情報を、当該対象画像に関連付けてＲＡＭ１０３に記憶する。
【００３２】
Ｓ４０８で、制御部１０１は、撮像した複数の画像の全てについて画像のずれと、基準画像と合成するための画像のずれの限界を表す閾値との比較が完了したかを判断する。制御部１０１は、全ての画像について基準画像に対する画像のずれと閾値との比較が完了している場合は処理をＳ４０９に移し、完了していない場合は処理をＳ４０５に戻す。
【００３３】
Ｓ４０９で、制御部１０１は、ＲＡＭ１０３に記憶された複数の画像のうち、基準画像以外の他の画像のいずれかに、合成する条件を満たさない画像であることを示す情報が関連付けられているか否かを判断する。制御部１０１は、基準画像以外の他の画像のいずれかが合成する条件を満たさない場合は処理をＳ４１２に移し、他の画像の全てが合成する条件を満たしている場合は処理をＳ４１０に移す。
【００３４】
Ｓ４１０で、制御部１０１は、合成部１０９に基準画像及び他の画像の全てをＲＡＭ１０３から読み出して伝送し、基準画像以外の他の画像のそれぞれの基準画像に対する画像のずれを補正して、基準画像に合成する。具体的には、制御部１０１は、Ｓ４０５で検出された基準画像以外の他の画像のそれぞれの各ブロックの動きベクトルからアフィン係数を算出し、当該アフィン係数を用いて基準画像以外の他の画像のそれぞれを基準画像に位置合わせして合成する。このとき、基準画像及び基準画像以外の他の画像の重ね合わせが生じる領域については、それぞれの信号レベルを重ね合わせる画像数分の一倍にして足し合わせることにより、画像全体の信号レベルを均一にできる。なお、重なりが生じない基準画像の領域については、信号レベルを変更せずに合成すればよい。なお、合成されて得られた合成画像は、合成部１０９内の不図示の内部メモリに記憶され、撮像された別の画像をさらに合成する場合は基準画像ではなく、当該合成画像にさらに合成されるようにすればよい。
【００３５】
Ｓ４１１で、制御部１０１は、合成部１０９の内部メモリに記憶されている合成画像を画像処理部１０７に出力させ、画像処理部１０７にエッジ強調処理を適用して出力させる。また、Ｓ４０４で基準画像のエッジ抽出画像においてエッジの信号レベルの総和が予め定められた値を超えるブロックが存在しないと判断された場合、または合成処理が行われていない場合は、制御部１０１はＳ４１２で基準画像に対し平滑化処理を行う。具体的には、制御部１０１は、基準画像をＲＡＭ１０３から読み出して画像処理部１０７に伝送し、画像処理部１０７に図２（ｄ）に示すような低域通過フィルタ（ＬＰＦ：Low Pass Filter）を適用させることにより基準画像を平滑化して出力させる。なお、当該平滑化処理は、複数の画像が合成されて出力された画像と、合成されずに出力された複数の画像のうちの１つの画像との画質の差を目立ちにくくすることを目的とした処理である。つまり、平滑化の度合いは、デジタルカメラ１００が備える動きベクトル検出部１０８の動きベクトルの検出性能によって異ならせればよい。なお、平滑化処理の対象とならなかった基準画像以外の他の画像はここで破棄される。そしてＳ４１３で、制御部１０１は画像処理部１０７から出力された画像を記録媒体１１０に伝送して記録し、本合成モード撮像処理を完了する。
【００３６】
ここで、合成モード撮像処理ではなく、ユーザの操作による１回の撮影指示に応じて、１回の露光で得られた１つの画像を記録媒体１１０に記録する通常モード撮像処理についても説明する。合成モード撮像処理と通常モード撮像処理は、ユーザにより不図示のモード設定ボタンが操作されることに応じて、制御部１０１によって切り替えられる。通常モード撮像処理では、制御部１０１は、ユーザにより不図示のレリーズボタンが半押し状態にされた際に被写体の測光を行い、得られた光量により露光時間及びゲインを決定する。そして、制御部１０１は、ユーザにより不図示のレリーズボタンが全押し状態にされると、決定した露光時間に従って画像の撮像を行う。そして、制御部１０１は、得られた画像に対して図４のＳ４０２と同様の方法でノイズリダクション処理及びエッジ強調処理を適用し、この画像を記録媒体１１０に伝送して記録して通常モード撮像処理を完了する。
【００３７】
このように、通常モード撮像処理では、Ｓ４０２と同様の方法でノイズリダクション処理及びエッジ強調処理を適用した画像に対し、Ｓ４１２のような平滑化処理を行うことなく記録媒体１１０に記録する。つまり合成モード撮像処理が設定された状態で合成条件を満たさない場合と、通常モード撮像処理が設定された場合とで、複数の画像を合成していない１つの画像を出力するという点では共通している。しかしながら、このときに合成モード撮像処理で得られる画像は、通常モード撮像処理で得られる画像に比較して、より平滑化されたものとなる。これは上述したように、通常モード撮像処理と異なり、合成モード撮像処理では、複数の画像を合成せずに出力された１つの画像と、複数の画像が合成されて出力された画像との画質の差を目立ちにくくする必要があるためである。
【００３８】
なお、通常モード撮像処理において、ノイズリダクション処理及びエッジ強調処理を適用した画像に対して、さらに平滑化処理を行ってもよい。この場合、合成モード撮像処理で合成を行わずに１つの画像を出力する際にＳ４１２で適用される平滑化処理は、通常モード撮像処理で適用される平滑化処理よりも、得られる画像がより平滑化された画像となるようにフィルタの強度を異ならせるものとする。即ち、本発明は、通常モード撮像処理において得られた画像と、合成モード撮像処理において合成せずに出力された画像とを比較した場合、合成モード撮像処理において合成せずに出力された画像の方が平滑化されているという印象をユーザに与える。
【００３９】
なお、本実施形態では、合成処理が行われなかった場合に基準画像として設定された画像が出力されるものとして説明したが、本発明の実施はこれに限らず、撮像された複数の画像のうちの１つの画像が選択されて出力されればよい。例えばエッジ抽出処理において、抽出されたエッジの信号レベルの総和が予め定められた値を超えたブロック数が最大の画像を出力してもよい。
また、上述した実施形態の説明では各処理で適用されるフィルタは簡単のため３×３のフィルタを示したが、本発明の実施は当該フィルタに限定されるものではないことは容易に理解されよう。
【００４０】
また、上述した実施形態の説明では基準画像の他の画像のいずれかが合成条件を満たさない場合に基準画像として設定された画像が出力されるものとして説明したが、本発明の実施はこれに限られるものではない。基準画像の他の画像の全てが合成条件を満たさない場合にのみ基準画像として設定された画像を出力し、そうでなければ合成条件を満たす画像のみを用いて合成処理を行うようにしても構わない。この場合は、合成処理に用いた画像の数に応じてエッジ強調処理のレベルを異ならせてもよい。
【００４１】
また、本実施形態において、撮像された複数の画像を合成する条件として、基準画像に対するグローバル動きベクトルのスカラ量と予め定められた閾値とを比較することにより判断したが、本発明の実施はこれに限らない。例えば、マッチング残差最小点の絞込みを行う多段階探索法により算出された、残差が最小となる全ブロックの動きベクトルが、予め定められた閾値以下であるか否かで合成条件を判断してもよい。また、決定されたアフィン係数から求められる回転及び移動量の情報が、予め定められた閾値以下であるか否かで合成条件を判断してもよい。さらに、検出された複数の領域の動きベクトルのうち、最大のスカラ量を有する動きベクトルが、予め定められた閾値以下であるか否かで合成条件を判断してもよい。即ち、本発明は、複数の画像が予め定められた合成する条件を満たさないと判断された場合に、合成して出力される画像と画質の差が目立たないように平滑化処理を適用することが目的であり、合成するか否かを判断する条件は上述した条件に限定されない。
【００４２】
以上説明したように本発明の画像処理装置は、取得した複数の画像を、画像間のずれを補正して合成画像を出力する際に、合成を行う条件を満たさない場合、複数の画像のうちの１つの画像に平滑化処理を適用して出力する。具体的には画像処理装置は、取得した複数の画像のうちの１つの画像を基準画像として設定し、当該基準画像を除く複数の画像のそれぞれにについて、基準画像に対する動きベクトルを検出する。そして基準画像を除く複数の画像について検出された動きベクトルを用いて判定を行った結果、この複数の画像と基準画像とを合成する条件を満たさないと判断された場合、複数の画像のうちの１つの画像に対して平滑化処理を適用して得られた画像を出力する。
このようにすることで、取得した複数の画像を、画像間のずれを補正して合成画像を出力する際に、合成処理を行って出力された合成画像と、合成処理が行えずに出力される複数の画像のうちの１つの画像との画質の差を目立たないようにすることができる。
【００４３】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、複数の画像間のずれを補正した合成画像を生成する技術に関する。
【背景技術】
【０００２】
今日、デジタルカメラ等の撮像装置には、撮像時のユーザの手ぶれ等による撮像装置の動きによって被写体像がぶれてしまうことを防ぐため、様々な手ぶれ補正機能が備えられていることが多い。手ぶれ補正機能には、大きく分けて光学式手ぶれ補正と電子式手ぶれ補正があり、電子式手ぶれ補正では撮像された複数の画像について被写体像のずれを画像処理によって補正している。具体的には電子式手ぶれ補正では、複数回の撮像により得られた複数の画像のそれぞれについて同一パターンの被写体像の位置を検出し、同一パターンの被写体像が重なるように複数の画像の合成位置を調整している。
【０００３】
このような手ぶれ補正機能は、例えば夜景等の暗所における撮像に有効である。夜景等の暗所の撮像では、適正露光を得るために撮像素子の受光感度を高くする方法も用いられるが、撮像された画像にノイズが目立つため、露光時間を長くしてノイズを低減して適正露光を得る方法もとられている。しかしながら、露光時間を長くすることにより、露光時間中の撮像装置を把持する撮像者の手ぶれの影響を受けやすくなる。このような状況において、例えば電子式手ぶれ補正を用いることにより、露光時間の短い複数の画像からノイズを低減し、かつ手ぶれを補正した画像を得ることが可能となる。
【０００４】
しかしながら、電子式手ぶれ補正を行う場合、同一パターンの被写体像が重なるように合成することが望ましいが、例えば手ぶれ量が大きすぎる場合や、画像が合焦していない場合等、パターンマッチングが困難な場合は、被写体像のずれ量を正確に検出できない。即ち、被写体像のずれ量が誤って検出された画像を合成しても、撮像者は所望の画像を得ることはできなかった。
【０００５】
特許文献１には、パターンマッチングの精度を向上させるために、分割露光されて得られた複数の画像のそれぞれに対し、信号レベルを露光枚数倍に増幅する方法が開示されている。また、特許文献２には、被写体像のずれ量が誤って検出された画像を合成することにより、所望の結果を得られないことを回避するために、撮像された複数の画像のうち、露光条件が適正な画像のみを抽出して合成する方法が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−２４３７７４号公報
【特許文献２】特許第３３０４６８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献２のように予め定められた合成条件を満たす画像のみで合成を行うように合成処理を制御する場合、撮像された複数の画像のすべてが合成条件を満たさず、合成を行えない場合がある。撮像された複数の画像が合成を行う条件を満たさない場合は、合成を行っても適切に手ぶれやノイズの影響を補正した画像が得ることができないため、合成を行わずに撮像した複数の画像のうちの１つの画像を出力することが考えられる。
【０００８】
しかしながら、このように信号レベルを増幅して出力された、複数の画像のうちの１つの画像と、複数の画像が合成されて得られた合成画像とを比較すると、両者の画質は異なる。複数の画像のうちの１つの画像は、短い露光時間で撮像されるため手ぶれの影響を受けにくく、エッジの鮮鋭さは確保できるが、信号レベルを増幅するためノイズが目立ちやすくなる。また合成画像は、それぞれ短い露光時間で撮像された複数の画像を重ね合わせるためノイズの影響を低減することができるが、位置合わせを行って合成したとしても画像間には微妙に差異が存在することがあり、当該合成画像の像は部分的にエッジが多重してしまう。即ち、合成画像の鮮鋭さは複数の画像のうちの１つの画像に比べると劣ることになる。つまり、撮像装置のモードを複数の画像を合成した画像を出力するモードに設定して撮像したにも関わらず、画質の異なる画像が出力されるため、ユーザに混乱を与えてしまう可能性があった。
【０００９】
本発明は、上述の問題点に鑑みてなされたものであり、複数の画像を合成した画像を出力する際に、合成の可否に関わらず出力画像の画質の差を目立たないようにすることを目的とする。
【課題を解決するための手段】
【００１０】
前述の目的を達成するために、本発明の画像処理装置は、以下の構成を備える。
複数の画像間のずれを補正して複数の画像を合成することにより合成画像を出力する合成手段を備える画像処理装置であって、複数の画像を取得する取得手段と、取得手段により取得された複数の画像のうち、１つの画像を基準画像として設定する設定手段と、基準画像を除く複数の画像のそれぞれについて、基準画像に対する動きベクトルを検出する検出手段と、基準画像を除く複数の画像のそれぞれについて、検出手段により検出された動きベクトルが予め定められた基準画像と合成する条件を満たすか否かを判定することで、複数の画像が基準画像を除く複数の画像のいずれかまたは全てと基準画像とを合成する条件を満たすか否かを判断する判断手段と、判断手段により複数の画像が基準画像を除く複数の画像のいずれかまたは全てと基準画像とを合成する条件を満たさないと判断された場合、複数の画像のうちの１つの画像に対して平滑化処理を適用して得られた画像を、合成画像の代わりに出力する平滑化手段と、を備えることを特徴とする。
【発明の効果】
【００１１】
このような構成により本発明によれば、複数の画像を合成した画像を出力する際に、合成の可否に関わらず出力画像の画質の差を目立たないようにすることを可能とする。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態に係るデジタルカメラの機能構成を示したブロック図。
【図２】実施形態に係る画像処理において適用されるフィルタ例を示した図。
【図３】実施形態に係る合成処理を説明するための図。
【図４】実施形態に係る合成モード撮像処理のフローチャート。
【発明を実施するための形態】
【００１３】
以下、本発明の好適な一実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、画像処理装置の一例としての、撮像した複数の画像について、画像間のずれを補正して合成した画像を出力可能なデジタルカメラに、本発明を適用した例を説明する。しかし、本発明は、取得した複数の画像について、画像間のずれを補正して合成を行った画像を出力することが可能な任意の機器に適用可能である。なお本実施形態において、デジタルカメラはユーザの操作による１回の撮影指示に応じて画像を１枚撮像する「通常モード」に加え、ユーザの操作による１回の撮影指示に応じて露光時間の短い複数の画像を撮像し、合成した画像を出力する「合成モード」を備える。デジタルカメラにおいて当該合成モードが選択されて撮像が行われる際は、例えば被写体の環境光等の輝度の情報から撮像する画像の数を決定して複数の画像が撮像されるものとする。
【００１４】
図１は、本発明の実施形態に係るデジタルカメラ１００の機能構成を示すブロック図である。
制御部１０１は、例えばＣＰＵであり、デジタルカメラ１００が備える各ブロックの動作プログラムをＲＯＭ１０２より読み出し、ＲＡＭ１０３に展開して実行することによりデジタルカメラ１００が備える各ブロックの動作を制御する。ＲＯＭ１０２は、書き換え可能な不揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作プログラムに加え、例えば画像の分割数等、各ブロックの動作に必要なパラメータ等を記憶する。ＲＡＭ１０３は、書き換え可能な揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。本実施形態ではＲＡＭ１０３には、手ぶれ補正を行うために撮像された複数の画像が一時的に記憶される。
【００１５】
撮像部１０５は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子であり、光学系１０４により撮像素子に結像された光学像を光電変換し、得られたアナログ画像信号をＡ／Ｄ変換部１０６に出力する。Ａ／Ｄ変換部１０６は、入力されたアナログ画像信号にＡ／Ｄ変換処理を適用し、得られたデジタル画像データを画像処理部１０７に出力する。画像処理部１０７は、入力されたデジタル画像データに、所定の画像処理を適用して合成用の画像を生成し、ＲＡＭ１０３に記憶する。また、画像処理部１０７は後述する動きベクトル検出部１０８で動きベクトルを検出するためのエッジ抽出を行った画像を出力するための画像処理を行う。
【００１６】
具体的には、まず画像処理部１０７はデジタル画像データをＹＵＶ形式の画像信号に変換し、分割露光をしている場合は撮像される複数の画像の信号レベルに、撮像する画像の数を積算することにより、信号レベルを増幅する。さらに画像処理部１０７は、例えば図２（ａ）に示すような平均化フィルタを適用することによりノイズリダクション処理を行う。なお、ノイズリダクション処理において、着目画素（フィルタの中心画素）との信号レベルの差が、予め定められた値以下のもののみを平均化することにより、ノイズリダクション処理を行ったとしても、画像のエッジ部の高周波成分を残すことが可能である。
【００１７】
さらに、画像処理部１０７は、ノイズリダクション処理が行われたデジタル画像データに対し、例えば図２（ｂ）に示すような高域通過フィルタ（ＨＰＦ：High Pass Filter）からなるエッジ強調用のフィルタを用いてエッジ強調処理を行う。具体的には、この図２（ｂ）に示すエッジ強調用のフィルタを適用した画像と元画像を加算することでデジタル画像データに含まれる被写体像のエッジ部を強調した画像を生成し、ＲＡＭ１０３に出力して記憶させる。このようにして得られたエッジ強調がなされた画像は、ＲＡＭ１０３に合成用の画像として記憶されればよい。なお、エッジ強調処理においてコアリングを行うことで、エッジより信号レベルが低いノイズ成分を強調させないようにすることができる。
【００１８】
また画像処理部１０７は、ＲＡＭ１０３に記憶したノイズリダクション処理及びエッジ強調処理が行われたデジタル画像データの輝度信号Ｙに対し、図２（ｃ）に示すようなＨＰＦをさらに適用することにより、エッジ抽出処理を行う。エッジ抽出がなされて得られた図３（ａ）のようなエッジ抽出画像は、動きベクトル検出部１０８に出力され、後述する動きベクトル検出処理に用いられる。
【００１９】
なお、撮像部１０５、Ａ／Ｄ変換部１０６及び画像処理部１０７で行われる撮像処理は、例えば電子式手ぶれ補正を行うようにユーザにより選択されて撮像された場合には、所定の回数、または所定の期間繰り返し実行される。この場合、ＲＡＭ１０３には複数回の撮像のそれぞれで出力された複数の画像が一時的に記憶される。
【００２０】
動きベクトル検出部１０８は、ＲＡＭ１０３に記憶された複数の画像のうちの１つの画像を基準画像とし、基準画像を除く他の画像のそれぞれについて、基準画像のエッジ抽出画像に対する画像のずれの向き及び大きさを表す動きベクトルを検出するブロックである。具体的には、動きベクトル検出部１０８には、ＲＡＭ１０３に記憶されている複数の画像のうち、基準画像及び当該基準画像と比較を行う対象画像のエッジ抽出画像が入力される。エッジ抽出画像は複数の領域に分けられ、図３（ｂ）のように抽出されたエッジの信号レベルの総和が予め定められた値より大きい領域について、領域ごとに被写体像のパターンマッチングを行い、図３（ｃ）のような領域ごとの動きベクトルを検出する。なお、動きベクトルの検出は、例えばブロックマッチング法やマッチング残差最小点の絞込みを行う多段階探索法等を用いて行えばよい。
【００２１】
なお、本実施形態において、動きベクトル算出の基準となる基準画像は、例えばＲＡＭ１０３に記憶された複数の画像のうち、例えば最初に撮像された画像を用いるものとして以下に説明する。しかしながら、本発明の実施はこれに限らず、基準画像は撮像された複数の画像のうちの１つの画像であればよく、例えば撮像された時間、撮像されている被写体像の状態等から決定されてもよい。
【００２２】
合成部１０９は、基準画像及び対象画像が入力され、基準画像に対し、動きベクトル検出部１０８で検出された動きベクトルとは反対方向に当該動きベクトルのスカラ量の分だけ対象画像を回転及び移動させて合成する。具体的には、制御部１０１は、動きベクトル検出部１０８により検出された複数の領域の動きベクトルから、基準画像に対する対象画像のずれを補正するためのアフィン係数を算出し、合成部１０９に出力する。例えば基準画像の注目画素の座標（ｘ，ｙ）及び、当該注目画素の対象画像における座標（ｘ’，ｙ’）はアフィン変換においてアフィン係数（ａ，ｂ，ｃ，ｄ）を用いて
と表すことができるため、動きベクトル検出部１０８で検出された複数の領域の動きベクトルのうち、２つ以上の動きベクトルを用いて、動きベクトルの誤差Ｅ
が最小となるアフィン係数を決定する。なお、アフィン係数の決定に用いる動きベクトルは、例えば誤検出されたとみなされる特異な動きベクトル以外の動きベクトルを用いてもよいし、画像中心に近いブロックについて優先順位を付して、優先順位が上位の動きベクトルを所定数用いて決定してもよい。
【００２３】
そして、合成部１０９は入力されたアフィン係数を用いて対象画像を回転及び移動させ、基準画像と像の位置あわせを行って合成を行う。なお、本実施形態では合成部１０９は例えば内部メモリを備え、合成中の画像は当該内部メモリに保持される記憶されているものとして説明する。記録媒体１１０は、例えばデジタルカメラ１００が備える内部メモリや、メモリカードやＨＤＤ等の、デジタルカメラ１００に着脱可能に接続される記録装置であってよい。記録媒体１１０には、合成部１０９で画像のずれが補正された合成画像が合成部１０９より入力され、記録される。
【００２４】
（合成モード撮像処理）
このような構成をもつ本実施形態のデジタルカメラ１００の合成モード撮像処理について、図４のフローチャートを用いて具体的な処理を説明する。当該フローチャートに対応する処理は、制御部１０１が、例えばＲＯＭ１０２に記憶されている対応する処理プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより実現することができる。なお、本合成モード撮像処理は、例えばデジタルカメラ１００のモードが合成モードに設定されて撮影指示がなされた際に開始されるものとして説明する。
【００２５】
Ｓ４０１で、制御部１０１は、分割露光する回数（撮像する回数）、１回の撮像の露光時間、及びゲイン等の撮像条件を決定する。具体的には、制御部１０１は、例えばユーザにより不図示のレリーズボタンが半押し状態にされた際に被写体の測光を行い、得られた光量により露光回数、露光時間及びゲインを決定する。
【００２６】
そしてＳ４０２で、制御部１０１は、ユーザにより不図示のレリーズボタンが全押し状態にされると、Ｓ４０１で決定した露光回数、及び露光時間に従い、複数の画像の撮像を行う。具体的には制御部１０１は、露光により撮像部１０５から出力されたアナログ画像信号に対してＡ／Ｄ変換部１０６でＡ／Ｄ変換処理を適用させ、得られたデジタル画像データを画像処理部１０７に出力させる。そして制御部１０１は、画像処理部１０７において入力されたデジタル画像データをＹＵＶ形式に変換し、ノイズリダクション処理及びエッジ強調処理を適用させる。そして制御部１０１は、ノイズリダクション処理及びエッジ強調処理が適用されて得られた、合成用の画像をＲＡＭ１０３に出力して記憶させる。即ち、本ステップでは、合成用の複数の画像がＲＡＭ１０３に出力されて記憶される。
【００２７】
Ｓ４０３で、制御部１０１は、Ｓ４０２でＲＡＭ１０３に記憶された複数の画像のうち、最初に撮像されて記憶された画像を合成の基準画像として設定し、当該画像の輝度信号で構成される輝度画像を画像処理部１０７に出力し、エッジ検出を行う。具体的には制御部１０１は、基準画像の輝度画像のエッジ抽出を行うため、当該輝度画像に対し画像処理部１０７にＨＰＦを適用させる。
【００２８】
制御部１０１はＳ４０４で、ＨＰＦが適用されて得られたエッジ抽出画像を複数のブロックに分割し、各ブロックの抽出されたエッジの信号レベルの総和が、動きベクトルを検出するとして予め定められた値ＩＴＨを超えるか否かを判断する。抽出されたエッジの信号レベルの総和が一定量を超えていない場合は、画像間のずれの検出の基準となるエッジが少なく、動きベクトルの検出が困難であると考えられる。このため、本ステップにおいて制御部１０１は、抽出されたエッジの信号レベルの総和を算出する。エッジ抽出画像をＭ×Ｎ画素で構成されるブロックに分割した場合、ＨＰＦ適用後の輝度信号の信号レベルをＨ（ｘ，ｙ）とすると、各ブロックにおける抽出されたエッジの信号レベルの総和Ｉは、
となる。制御部１０１は、エッジの信号レベルの総和Ｉが予め定められた値ＩＴＨを超えるブロックが存在する場合は、エッジ抽出画像を動きベクトル検出部１０８に伝送して処理をＳ４０５に移し、超えるブロックが存在しない場合は処理をＳ４１２に移す。
【００２９】
Ｓ４０５で、制御部１０１は、Ｓ４０２でＲＡＭ１０３に記憶された複数の画像のうち、基準画像以外の他の画像を１つ選択し、当該他の画像の、基準画像に対する動きベクトルを動きベクトル検出部１０８に検出させる。具体的には、制御部１０１は、ＲＡＭ１０３に記憶されている基準画像以外の他の画像を例えば撮像した順番に対象画像として選択し、当該対象画像の輝度画像を画像処理部１０７に出力してエッジ抽出処理を行わせる。そして制御部１０１は、得られた対象画像のエッジ抽出画像を画像処理部１０７から動きベクトル検出部１０８に伝送させ、基準画像と対象画像のエッジ抽出画像から対象画像の動きベクトルを動きベクトル検出部１０８に検出させる。動きベクトルの検出は、例えばブロックマッチング法やマッチング残差最小点の絞込みを行う多段階探索法等を用いて行えばよい。また動きベクトルの検出は、基準画像の抽出されたエッジの信号レベルの総和Ｉが予め定められた値を超えていると判断されたブロックについてのみ検出し、動きベクトルの検出に係る計算量を抑えることができる。制御部１０１は、対象画像の各ブロックについて動きベクトル検出部１０８が検出した動きベクトルから、当該対象画像全体の動きベクトルであるグローバル動きベクトルを算出する。
【００３０】
Ｓ４０６で、制御部１０１は、基準画像と対象画像間の画像のずれが、基準画像と合成するための画像のずれの限界を表す閾値以下であるか否かを判定する。具体的には制御部１０１は、Ｓ４０５で検出された対象画像の各ブロックの動きベクトルから、当該対象画像全体の動きベクトルであるグローバル動きベクトルを算出する。そして制御部１０１は、当該グローバル動きベクトルのスカラ量と、予め定められた基準画像と合成するための画像のずれの限界を表す閾値とを比較する。制御部１０１は、グローバル動きベクトルのスカラ量が閾値以下である場合は処理をＳ４０８に移す。
【００３１】
また制御部１０１は、Ｓ４０６でグローバル動きベクトルのスカラ量が閾値を超えると判断した場合は処理をＳ４０７に移し、対象画像は合成する条件を満たさない画像であることを示す情報を、当該対象画像に関連付けてＲＡＭ１０３に記憶する。
【００３２】
Ｓ４０８で、制御部１０１は、撮像した複数の画像の全てについて画像のずれと、基準画像と合成するための画像のずれの限界を表す閾値との比較が完了したかを判断する。制御部１０１は、全ての画像について基準画像に対する画像のずれと閾値との比較が完了している場合は処理をＳ４０９に移し、完了していない場合は処理をＳ４０５に戻す。
【００３３】
Ｓ４０９で、制御部１０１は、ＲＡＭ１０３に記憶された複数の画像のうち、基準画像以外の他の画像のいずれかに、合成する条件を満たさない画像であることを示す情報が関連付けられているか否かを判断する。制御部１０１は、基準画像以外の他の画像のいずれかが合成する条件を満たさない場合は処理をＳ４１２に移し、他の画像の全てが合成する条件を満たしている場合は処理をＳ４１０に移す。
【００３４】
Ｓ４１０で、制御部１０１は、合成部１０９に基準画像及び他の画像の全てをＲＡＭ１０３から読み出して伝送し、基準画像以外の他の画像のそれぞれの基準画像に対する画像のずれを補正して、基準画像に合成する。具体的には、制御部１０１は、Ｓ４０５で検出された基準画像以外の他の画像のそれぞれの各ブロックの動きベクトルからアフィン係数を算出し、当該アフィン係数を用いて基準画像以外の他の画像のそれぞれを基準画像に位置合わせして合成する。このとき、基準画像及び基準画像以外の他の画像の重ね合わせが生じる領域については、それぞれの信号レベルを重ね合わせる画像数分の一倍にして足し合わせることにより、画像全体の信号レベルを均一にできる。なお、重なりが生じない基準画像の領域については、信号レベルを変更せずに合成すればよい。なお、合成されて得られた合成画像は、合成部１０９内の不図示の内部メモリに記憶され、撮像された別の画像をさらに合成する場合は基準画像ではなく、当該合成画像にさらに合成されるようにすればよい。
【００３５】
Ｓ４１１で、制御部１０１は、合成部１０９の内部メモリに記憶されている合成画像を画像処理部１０７に出力させ、画像処理部１０７にエッジ強調処理を適用して出力させる。また、Ｓ４０４で基準画像のエッジ抽出画像においてエッジの信号レベルの総和が予め定められた値を超えるブロックが存在しないと判断された場合、または合成処理が行われていない場合は、制御部１０１はＳ４１２で基準画像に対し平滑化処理を行う。具体的には、制御部１０１は、基準画像をＲＡＭ１０３から読み出して画像処理部１０７に伝送し、画像処理部１０７に図２（ｄ）に示すような低域通過フィルタ（ＬＰＦ：Low Pass Filter）を適用させることにより基準画像を平滑化して出力させる。なお、当該平滑化処理は、複数の画像が合成されて出力された画像と、合成されずに出力された複数の画像のうちの１つの画像との画質の差を目立ちにくくすることを目的とした処理である。つまり、平滑化の度合いは、デジタルカメラ１００が備える動きベクトル検出部１０８の動きベクトルの検出性能によって異ならせればよい。なお、平滑化処理の対象とならなかった基準画像以外の他の画像はここで破棄される。そしてＳ４１３で、制御部１０１は画像処理部１０７から出力された画像を記録媒体１１０に伝送して記録し、本合成モード撮像処理を完了する。
【００３６】
ここで、合成モード撮像処理ではなく、ユーザの操作による１回の撮影指示に応じて、１回の露光で得られた１つの画像を記録媒体１１０に記録する通常モード撮像処理についても説明する。合成モード撮像処理と通常モード撮像処理は、ユーザにより不図示のモード設定ボタンが操作されることに応じて、制御部１０１によって切り替えられる。通常モード撮像処理では、制御部１０１は、ユーザにより不図示のレリーズボタンが半押し状態にされた際に被写体の測光を行い、得られた光量により露光時間及びゲインを決定する。そして、制御部１０１は、ユーザにより不図示のレリーズボタンが全押し状態にされると、決定した露光時間に従って画像の撮像を行う。そして、制御部１０１は、得られた画像に対して図４のＳ４０２と同様の方法でノイズリダクション処理及びエッジ強調処理を適用し、この画像を記録媒体１１０に伝送して記録して通常モード撮像処理を完了する。
【００３７】
このように、通常モード撮像処理では、Ｓ４０２と同様の方法でノイズリダクション処理及びエッジ強調処理を適用した画像に対し、Ｓ４１２のような平滑化処理を行うことなく記録媒体１１０に記録する。つまり合成モード撮像処理が設定された状態で合成条件を満たさない場合と、通常モード撮像処理が設定された場合とで、複数の画像を合成していない１つの画像を出力するという点では共通している。しかしながら、このときに合成モード撮像処理で得られる画像は、通常モード撮像処理で得られる画像に比較して、より平滑化されたものとなる。これは上述したように、通常モード撮像処理と異なり、合成モード撮像処理では、複数の画像を合成せずに出力された１つの画像と、複数の画像が合成されて出力された画像との画質の差を目立ちにくくする必要があるためである。
【００３８】
なお、通常モード撮像処理において、ノイズリダクション処理及びエッジ強調処理を適用した画像に対して、さらに平滑化処理を行ってもよい。この場合、合成モード撮像処理で合成を行わずに１つの画像を出力する際にＳ４１２で適用される平滑化処理は、通常モード撮像処理で適用される平滑化処理よりも、得られる画像がより平滑化された画像となるようにフィルタの強度を異ならせるものとする。即ち、本発明は、通常モード撮像処理において得られた画像と、合成モード撮像処理において合成せずに出力された画像とを比較した場合、合成モード撮像処理において合成せずに出力された画像の方が平滑化されているという印象をユーザに与える。
【００３９】
なお、本実施形態では、合成処理が行われなかった場合に基準画像として設定された画像が出力されるものとして説明したが、本発明の実施はこれに限らず、撮像された複数の画像のうちの１つの画像が選択されて出力されればよい。例えばエッジ抽出処理において、抽出されたエッジの信号レベルの総和が予め定められた値を超えたブロック数が最大の画像を出力してもよい。
また、上述した実施形態の説明では各処理で適用されるフィルタは簡単のため３×３のフィルタを示したが、本発明の実施は当該フィルタに限定されるものではないことは容易に理解されよう。
【００４０】
また、上述した実施形態の説明では基準画像の他の画像のいずれかが合成条件を満たさない場合に基準画像として設定された画像が出力されるものとして説明したが、本発明の実施はこれに限られるものではない。基準画像の他の画像の全てが合成条件を満たさない場合にのみ基準画像として設定された画像を出力し、そうでなければ合成条件を満たす画像のみを用いて合成処理を行うようにしても構わない。この場合は、合成処理に用いた画像の数に応じてエッジ強調処理のレベルを異ならせてもよい。
【００４１】
また、本実施形態において、撮像された複数の画像を合成する条件として、基準画像に対するグローバル動きベクトルのスカラ量と予め定められた閾値とを比較することにより判断したが、本発明の実施はこれに限らない。例えば、マッチング残差最小点の絞込みを行う多段階探索法により算出された、残差が最小となる全ブロックの動きベクトルが、予め定められた閾値以下であるか否かで合成条件を判断してもよい。また、決定されたアフィン係数から求められる回転及び移動量の情報が、予め定められた閾値以下であるか否かで合成条件を判断してもよい。さらに、検出された複数の領域の動きベクトルのうち、最大のスカラ量を有する動きベクトルが、予め定められた閾値以下であるか否かで合成条件を判断してもよい。即ち、本発明は、複数の画像が予め定められた合成する条件を満たさないと判断された場合に、合成して出力される画像と画質の差が目立たないように平滑化処理を適用することが目的であり、合成するか否かを判断する条件は上述した条件に限定されない。
【００４２】
以上説明したように本発明の画像処理装置は、取得した複数の画像を、画像間のずれを補正して合成画像を出力する際に、合成を行う条件を満たさない場合、複数の画像のうちの１つの画像に平滑化処理を適用して出力する。具体的には画像処理装置は、取得した複数の画像のうちの１つの画像を基準画像として設定し、当該基準画像を除く複数の画像のそれぞれにについて、基準画像に対する動きベクトルを検出する。そして基準画像を除く複数の画像について検出された動きベクトルを用いて判定を行った結果、この複数の画像と基準画像とを合成する条件を満たさないと判断された場合、複数の画像のうちの１つの画像に対して平滑化処理を適用して得られた画像を出力する。
このようにすることで、取得した複数の画像を、画像間のずれを補正して合成画像を出力する際に、合成処理を行って出力された合成画像と、合成処理が行えずに出力される複数の画像のうちの１つの画像との画質の差を目立たないようにすることができる。
【００４３】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
複数の画像間のずれを補正して前記複数の画像を合成することにより合成画像を出力する合成手段を備える画像処理装置であって、
前記複数の画像を取得する取得手段と、
前記取得手段により取得された前記複数の画像のうち、１つの画像を基準画像として設定する設定手段と、
前記基準画像を除く前記複数の画像のそれぞれについて、前記基準画像に対する動きベクトルを検出する検出手段と、
前記基準画像を除く前記複数の画像のそれぞれについて、前記検出手段により検出された動きベクトルが予め定められた前記基準画像と合成する条件を満たすか否かを判定することで、前記複数の画像が前記基準画像を除く前記複数の画像のいずれかまたは全てと前記基準画像とを合成する条件を満たすか否かを判断する判断手段と、
前記判断手段により前記複数の画像が前記基準画像を除く前記複数の画像のいずれかまたは全てと前記基準画像とを合成する条件を満たさないと判断された場合、前記複数の画像のうちの１つの画像に対して平滑化処理を適用して得られた画像を、前記合成画像の代わりに出力する平滑化手段と、を備えることを特徴とする画像処理装置。
【請求項２】
前記判断手段は、前記検出手段により検出された動きベクトルのスカラ量と、前記基準画像と合成するための画像のずれの限界を表す閾値とを比較し、前記基準画像を除く前記複数の画像のいずれかまたは全ての前記動きベクトルのスカラ量が前記閾値以下である場合に、前記動きベクトルが予め定められた前記基準画像と合成する条件を満たすと判定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記複数の画像のそれぞれについてエッジを抽出するエッジ抽出手段をさらに備え、
前記検出手段は、前記エッジ抽出手段により抽出された前記複数の画像のそれぞれの前記エッジを用いて前記動きベクトルを検出することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記判断手段は、前記エッジ抽出手段により抽出された前記基準画像における前記エッジの信号レベルの総和が予め定められた値に満たない場合、前記複数の画像が前記基準画像を除く前記複数の画像のいずれかまたは全てと前記基準画像とを合成する条件を満たさないと判断することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記合成手段により前記合成画像が生成された場合に、当該合成画像に対してエッジ強調処理を適用して得られた画像を出力するエッジ強調手段をさらに備えることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記取得手段により取得された前記複数の画像にノイズリダクション処理を適用するノイズリダクション手段をさらに備え、
前記合成手段は、前記ノイズリダクション処理が適用された複数の画像を合成することにより前記合成画像を生成し、
前記平滑化手段は、前記ノイズリダクション処理が適用された複数の画像のうちの１つの画像に対して前記平滑化処理を適用することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記取得手段が、ユーザの操作による１回の撮影指示に応じて撮像された複数の画像を取得し、前記平滑化手段による前記平滑化処理を適用して得られた画像を出力する、あるいは、前記合成手段により合成された合成画像を出力する合成モード撮像処理と、前記取得手段が、ユーザの操作による１回の撮影指示に応じて撮像された１つの画像を取得して出力する通常モード撮像処理と、を切り替える制御手段をさらに備え、
前記平滑化手段は、前記合成モード撮像処理において前記判断手段により前記複数の画像が前記基準画像を除く前記複数の画像のいずれかまたは全てと前記基準画像とを合成する条件を満たすと判断された場合には、前記通常モード撮像処理において前記平滑化処理を適用して前記撮像された１つの画像を出力するか否かに関わらず、当該出力される１つの画像よりも、より平滑化された画像となるように、前記複数の画像のうちの１つの画像に対して前記平滑化処理を適用することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
複数の画像間のずれを補正して前記複数の画像を合成することにより合成画像を出力する合成手段を備える画像処理装置の制御方法であって、
取得手段が、前記複数の画像を取得する取得工程と、
設定手段が、前記取得工程において取得された前記複数の画像のうち、１つの画像を基準画像として設定する設定工程と、
検出手段が、前記基準画像を除く前記複数の画像のそれぞれについて、前記基準画像に対する動きベクトルを検出する検出工程と、
判断手段が、前記基準画像を除く前記複数の画像のそれぞれについて、前記検出工程において検出された動きベクトルが予め定められた前記基準画像と合成する条件を満たすか否かを判定することで、前記複数の画像が前記基準画像を除く前記複数の画像のいずれかまたは全てと前記基準画像を合成する条件を満たすか否かを判断する判断工程と、
平滑化手段が、前記判断工程において前記複数の画像が前記基準画像を除く前記複数の画像のいずれかまたは全てと前記基準画像を合成する条件を満たさないと判断された場合、前記複数の画像のうちの１つの画像に対して平滑化処理を適用して得られた画像を出力する平滑化工程と、を備えることを特徴とする画像処理装置の制御方法。
【請求項９】
コンピュータを、請求項１乃至７のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項１】
複数の画像間のずれを補正して前記複数の画像を合成することにより合成画像を出力する合成手段を備える画像処理装置であって、
前記複数の画像を取得する取得手段と、
前記取得手段により取得された前記複数の画像のうち、１つの画像を基準画像として設定する設定手段と、
前記基準画像を除く前記複数の画像のそれぞれについて、前記基準画像に対する動きベクトルを検出する検出手段と、
前記基準画像を除く前記複数の画像のそれぞれについて、前記検出手段により検出された動きベクトルが予め定められた前記基準画像と合成する条件を満たすか否かを判定することで、前記複数の画像が前記基準画像を除く前記複数の画像のいずれかまたは全てと前記基準画像とを合成する条件を満たすか否かを判断する判断手段と、
前記判断手段により前記複数の画像が前記基準画像を除く前記複数の画像のいずれかまたは全てと前記基準画像とを合成する条件を満たさないと判断された場合、前記複数の画像のうちの１つの画像に対して平滑化処理を適用して得られた画像を、前記合成画像の代わりに出力する平滑化手段と、を備えることを特徴とする画像処理装置。
【請求項２】
前記判断手段は、前記検出手段により検出された動きベクトルのスカラ量と、前記基準画像と合成するための画像のずれの限界を表す閾値とを比較し、前記基準画像を除く前記複数の画像のいずれかまたは全ての前記動きベクトルのスカラ量が前記閾値以下である場合に、前記動きベクトルが予め定められた前記基準画像と合成する条件を満たすと判定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記複数の画像のそれぞれについてエッジを抽出するエッジ抽出手段をさらに備え、
前記検出手段は、前記エッジ抽出手段により抽出された前記複数の画像のそれぞれの前記エッジを用いて前記動きベクトルを検出することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記判断手段は、前記エッジ抽出手段により抽出された前記基準画像における前記エッジの信号レベルの総和が予め定められた値に満たない場合、前記複数の画像が前記基準画像を除く前記複数の画像のいずれかまたは全てと前記基準画像とを合成する条件を満たさないと判断することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記合成手段により前記合成画像が生成された場合に、当該合成画像に対してエッジ強調処理を適用して得られた画像を出力するエッジ強調手段をさらに備えることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記取得手段により取得された前記複数の画像にノイズリダクション処理を適用するノイズリダクション手段をさらに備え、
前記合成手段は、前記ノイズリダクション処理が適用された複数の画像を合成することにより前記合成画像を生成し、
前記平滑化手段は、前記ノイズリダクション処理が適用された複数の画像のうちの１つの画像に対して前記平滑化処理を適用することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記取得手段が、ユーザの操作による１回の撮影指示に応じて撮像された複数の画像を取得し、前記平滑化手段による前記平滑化処理を適用して得られた画像を出力する、あるいは、前記合成手段により合成された合成画像を出力する合成モード撮像処理と、前記取得手段が、ユーザの操作による１回の撮影指示に応じて撮像された１つの画像を取得して出力する通常モード撮像処理と、を切り替える制御手段をさらに備え、
前記平滑化手段は、前記合成モード撮像処理において前記判断手段により前記複数の画像が前記基準画像を除く前記複数の画像のいずれかまたは全てと前記基準画像とを合成する条件を満たすと判断された場合には、前記通常モード撮像処理において前記平滑化処理を適用して前記撮像された１つの画像を出力するか否かに関わらず、当該出力される１つの画像よりも、より平滑化された画像となるように、前記複数の画像のうちの１つの画像に対して前記平滑化処理を適用することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
複数の画像間のずれを補正して前記複数の画像を合成することにより合成画像を出力する合成手段を備える画像処理装置の制御方法であって、
取得手段が、前記複数の画像を取得する取得工程と、
設定手段が、前記取得工程において取得された前記複数の画像のうち、１つの画像を基準画像として設定する設定工程と、
検出手段が、前記基準画像を除く前記複数の画像のそれぞれについて、前記基準画像に対する動きベクトルを検出する検出工程と、
判断手段が、前記基準画像を除く前記複数の画像のそれぞれについて、前記検出工程において検出された動きベクトルが予め定められた前記基準画像と合成する条件を満たすか否かを判定することで、前記複数の画像が前記基準画像を除く前記複数の画像のいずれかまたは全てと前記基準画像を合成する条件を満たすか否かを判断する判断工程と、
平滑化手段が、前記判断工程において前記複数の画像が前記基準画像を除く前記複数の画像のいずれかまたは全てと前記基準画像を合成する条件を満たさないと判断された場合、前記複数の画像のうちの１つの画像に対して平滑化処理を適用して得られた画像を出力する平滑化工程と、を備えることを特徴とする画像処理装置の制御方法。
【請求項９】
コンピュータを、請求項１乃至７のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１２−３９４０４（Ｐ２０１２−３９４０４Ａ）
【公開日】平成２４年２月２３日（２０１２．２．２３）
【国際特許分類】
【出願番号】特願２０１０−１７８０７９（Ｐ２０１０−１７８０７９）
【出願日】平成２２年８月６日（２０１０．８．６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年２月２３日（２０１２．２．２３）
【国際特許分類】
【出願日】平成２２年８月６日（２０１０．８．６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]