画像処理装置、画像処理方法、および、画像処理プログラム
【課題】異なる露光条件で撮影された複数枚の画像を用いて位置合わせ処理を行う際に、画像間の露光段差が大きいと位置合わせが不安定となる。
【解決手段】異なる露光条件での連続的な撮影により得られた第１、第２、及び、第３の画像の少なくとも３つの画像間の動きベクトルを求める画像処理装置は、第１の画像上の複数の位置において、第１及び第２の画像間の第１の動きベクトルと、第１及び第３の画像間の第２の動きベクトルを算出する。また、動きベクトルの信頼性の高低を判定し、信頼性が低い第１の動きベクトルについて、対応する位置で算出された第２の動きベクトル、及び、画像間の撮影間隔に基づいて、第１及び第２の画像間の推定動きベクトルを算出する。そして、信頼性が低い第１の動きベクトルと対応する位置において算出された第２の動きベクトルの信頼性が高い場合に、信頼性が低い第１の動きベクトルを、推定動きベクトルに置き換える。
【解決手段】異なる露光条件での連続的な撮影により得られた第１、第２、及び、第３の画像の少なくとも３つの画像間の動きベクトルを求める画像処理装置は、第１の画像上の複数の位置において、第１及び第２の画像間の第１の動きベクトルと、第１及び第３の画像間の第２の動きベクトルを算出する。また、動きベクトルの信頼性の高低を判定し、信頼性が低い第１の動きベクトルについて、対応する位置で算出された第２の動きベクトル、及び、画像間の撮影間隔に基づいて、第１及び第２の画像間の推定動きベクトルを算出する。そして、信頼性が低い第１の動きベクトルと対応する位置において算出された第２の動きベクトルの信頼性が高い場合に、信頼性が低い第１の動きベクトルを、推定動きベクトルに置き換える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像を合成することによって、ダイナミックレンジを拡大した画像を生成する技術に関する。
【背景技術】
【０００２】
ディジタルスチルカメラまたはデジタルビデオカメラにおいて、シャッタ速度、絞り値などの露光条件を変えながら連写撮影し、得られた複数枚の画像データを合成することによって、ダイナミックレンジを拡大した画像を生成する画像合成技術が知られている。このような連写画像の合成技術では、連写撮影中に発生する手ブレや被写体ブレの影響を低減するため、画像間の位置合わせ・位置ずれ補正技術が重要となる。
【０００３】
位置合わせ手法としては様々なものがあるが、組込み機器においては、テンプレートマッチング法が一般的である。テンプレートマッチング法とは、位置合わせ処理を行う２枚の画像のうち、一方の画像(基準画像)において所定の大きさの領域(テンプレート)を定義し(例えば８画素×８ライン）、他方の画像(比較対象画像)の所定範囲(サーチ領域)内でテンプレートをずらしながら、テンプレートと比較対象画像との一致度を表す一致指標値を逐次計算する。そして、その一致指標値が最も大きくなる(一致指標値によっては、最も小さくなる)場所を求めることで、画像間の相対的な位置ずれを求める。一致指標値としては、自乗誤差ＳＳＤ（Sum of Squared intensity Difference）、誤差の絶対値ＳＡＤ（Sum of Absolute intensity Difference）、正規化相互相関ＮＣＣ（Normalized Cross-Correlation）などがある。
【０００４】
ＳＳＤは、次式（１）で定義され、値が小さいほど一致度が高いと判断する。ただし、式（１）において、テンプレートの大きさはＭ×Ｎ［画素］であり、Ｔ（ｉ，ｊ）、Ｉ（ｉ，ｊ）はそれぞれ、テンプレート位置（ｉ，ｊ）におけるテンプレートの輝度値、比較対象画像の輝度値である。
【０００５】
【数１】
【０００６】
ＳＡＤは、次式（２）で定義され、値が小さいほど一致度が高いと判断する。
【０００７】
【数２】
【０００８】
ＮＣＣは、次式（３）で定義され、値が大きいほど一致度が高いと判断する。
【０００９】
【数３】
【００１０】
正規化相互相関は、指標値のなかに正規化項が含まれているため、明るさの異なる画像をそのまま処理画像として用いることができるが、計算量が多くなる欠点がある。一方、ＳＡＤやＳＳＤは、基本的に明るさレベルの一致した画像が入力されることを前提としているが、計算量が比較的少ないため、広く用いられている。
【００１１】
異なる露光条件で撮影された連写画像に対して位置合わせ処理、合成処理を行って、広ダイナミックレンジ画像を得る手法として、特許文献１〜４がある。
【００１２】
特許文献１には、異なる露光条件で撮影された複数枚の画像を合成することによってダイナミックレンジを拡大した画像を得る撮像方法において、経時的な位置ずれを補正した後に合成処理を行う内容が開示されている。
【００１３】
特許文献２には、短露光画像と長露光画像を交互に撮影し、短露光画像を基準として前後で撮影された長露光画像のうち、差分絶対値が小さい方の長露光画像が合成に適していると判断して、合成用の画像として選択する方法が開示されている。
【００１４】
特許文献３には、短露光画像と長露光画像間の位置ずれを補正した後の合成処理において、 ２枚の差分画像から閾値によってエッジ・ブレとノイズを切り分けて、画像の合成比率を変化させることで、 ブレを抑制した合成画像を得る技術が開示されている。
【００１５】
特許文献４には、異なる露光条件で撮影された複数枚の画像を合成することによってダイナミックレンジを拡大する撮像装置において、画像間の相対的な変位に基づいて当該変位の信頼性を求め、求めた信頼性に基づいて、合成に用いる複数の画像を選択し、選択した複数の画像を、画像間の変位に基づいて位置合わせしてから合成する技術が開示されている。
【先行技術文献】
【特許文献】
【００１６】
【特許文献１】特開平５−７３３６号公報
【特許文献２】特開２００８−２７７８９６号公報
【特許文献３】特開２００７−２０２０９８号公報
【特許文献４】特開２００７−２７２４５９号公報
【発明の概要】
【発明が解決しようとする課題】
【００１７】
異なる露光条件の画像を用いてテンプレートマッチングを行う場合、上述したＳＡＤ、ＳＳＤ，ＮＣＣのいずれの指標値を用いる場合でも、何らかの正規化処理が必要となる。ＮＣＣの場合は、画像の輝度平均が一致するように正規化を行うが、ＳＡＤやＳＳＤの場合、指標値に正規化項が含まれていないので、予め露光条件の比率に応じたゲインを乗算することによって信号レベルを揃える必要がある。
【００１８】
画像間の露光段差が小さいときは、露光比率に応じた正規化処理によって信号レベルをほぼ一致させることが可能である。しかし、画像間の露光段差が大きくなると、ノイズやセンサの非線形性などの影響が大きくなるため、このような露光比率に応じた正規化処理では誤差が増大してしまう。
【００１９】
合成画像のダイナミックレンジを拡大するためには、各画像の露光段差を大きくすることが有効であるが、上述した誤差の影響によって正規化後の画像間の信号レベルの乖離が大きくなると、位置合わせが不安定となる。上記特許文献１〜４では、異なる露光条件で撮影された画像を用いて位置合わせ処理を行うことについての記述はあるが、画像間の露光段差が大きくなるにつれて位置合わせが不安定となる課題に対する解決法については記載がない。
【００２０】
本発明は、上記の課題に鑑みてなされたものであり、異なる露光条件で撮影された複数枚の画像を合成する技術において、露光段差が大きい場合においても位置合わせを安定化させることを目的とする。
【課題を解決するための手段】
【００２１】
本発明のある態様に係る画像処理装置は、異なる露光条件での連続的な撮影により得られた第１の画像、第２の画像、および、第３の画像で、前記第１の画像および前記第２の画像間の露光量差は、前記第１の画像および前記第３の画像間の露光量差より大きい、少なくとも３つの画像間の動きベクトルを求める画像処理装置であって、前記第１の画像上の複数の位置において、前記第１の画像と前記第２の画像間の動きベクトルである第１の動きベクトルを算出する第１の動きベクトル算出部と、前記第１の動きベクトルを算出した前記第１の画像上の複数の位置において、前記第１の画像と前記第３の画像間の動きベクトルである第２の動きベクトルを算出する第２の動きベクトル算出部と、前記第１の動きベクトルの信頼性の高低を判定する第１の信頼性判定部と、前記第２の動きベクトルの信頼性の高低を判定する第２の信頼性判定部と、前記第１の画像上の複数の位置において算出された前記第１の動きベクトルのうち、信頼性が低いと判定された動きベクトルについて、対応する位置において算出された前記第２の動きベクトル、および、画像間の撮影間隔に基づいて、前記第１の画像と前記第２の画像間の推定動きベクトルを算出する推定動きベクトル算出部と、前記信頼性が低いと判定された第１の動きベクトルと対応する位置において算出された前記第２の動きベクトルの信頼性が高い場合に、前記信頼性が低いと判定された第１の動きベクトルを、前記推定動きベクトルに置き換える動きベクトル置換部と、を備える。
【００２２】
本発明の別の態様に係る画像処理方法は、異なる露光条件での連続的な撮影により得られた第１の画像、第２の画像、および、第３の画像で、前記第１の画像および前記第２の画像間の露光量差は、前記第１の画像および前記第３の画像間の露光量差より大きい、少なくとも３つの画像間の動きベクトルを求める画像処理方法であって、前記第１の画像上の複数の位置において、前記第１の画像と前記第２の画像間の動きベクトルである第１の動きベクトルを算出するステップと、前記第１の動きベクトルを算出した前記第１の画像上の複数の位置において、前記第１の画像と前記第３の画像間の動きベクトルである第２の動きベクトルを算出するステップと、前記第１の動きベクトルの信頼性の高低を判定するステップと、前記第２の動きベクトルの信頼性の高低を判定するステップと、前記第１の画像上の複数の位置において算出された前記第１の動きベクトルのうち、信頼性が低いと判定された動きベクトルについて、対応する位置において算出された前記第２の動きベクトル、および、画像間の撮影間隔に基づいて、前記第１の画像と前記第２の画像間の推定動きベクトルを算出するステップと、前記信頼性が低いと判定された第１の動きベクトルと対応する位置において算出された前記第２の動きベクトルの信頼性が高い場合に、前記信頼性が低いと判定された第１の動きベクトルを、前記推定動きベクトルに置き換えるステップと、を備える。
【００２３】
本発明のさらに別の態様に係る画像処理プログラムは、異なる露光条件での連続的な撮影により得られた第１の画像、第２の画像、および、第３の画像で、前記第１の画像および前記第２の画像間の露光量差は、前記第１の画像および前記第３の画像間の露光量差より大きい、少なくとも３つの画像間の動きベクトルを求めるための画像処理プログラムであって、前記第１の画像上の複数の位置において、前記第１の画像と前記第２の画像間の動きベクトルである第１の動きベクトルを算出するステップと、前記第１の動きベクトルを算出した前記第１の画像上の複数の位置において、前記第１の画像と前記第３の画像間の動きベクトルである第２の動きベクトルを算出するステップと、前記第１の動きベクトルの信頼性の高低を判定するステップと、前記第２の動きベクトルの信頼性の高低を判定するステップと、前記第１の画像上の複数の位置において算出された前記第１の動きベクトルのうち、信頼性が低いと判定された動きベクトルについて、対応する位置において算出された前記第２の動きベクトル、および、画像間の撮影間隔に基づいて、前記第１の画像と前記第２の画像間の推定動きベクトルを算出するステップと、前記信頼性が低いと判定された第１の動きベクトルと対応する位置において算出された前記第２の動きベクトルの信頼性が高い場合に、前記信頼性が低いと判定された第１の動きベクトルを、前記推定動きベクトルに置き換えるステップと、をコンピュータに実行させる。
【発明の効果】
【００２４】
本発明によれば、異なる露光条件で撮影された複数枚の画像間の露光段差が大きい場合でも、位置合わせを精度良く行うことができる。
【図面の簡単な説明】
【００２５】
【図１】第１の実施形態における画像処理装置を備えたデジタルカメラの構成を示すブロック図である。
【図２】第１の実施形態における画像処理装置を備えたデジタルカメラによって行われる合成画像生成処理の内容を示すフローチャートである。
【図３】テンプレートマッチングで用いるテンプレートおよびサーチ範囲の設定方法を説明するための図である。
【図４】テンプレートマッチングによって求められた動きベクトルの一例を示す図である。
【図５】動きベクトル信頼性判定処理部によって行われる動きベクトルの信頼性判定処理の詳細な内容を示すフローチャートである。
【図６】図５に示すフローチャートのステップＳ２０７及びステップＳ２０８の詳細な処理内容を示すフローチャートである。
【図７】推定動きベクトルの算出方法を説明するための図である。
【図８】推定動きベクトルの別の算出方法を説明するための図である。
【図９】輝度値に応じた合成比率の決定方法を説明するための図である。
【図１０】長露光画像と短露光画像との間の輝度差に応じた合成比率の決定方法を説明するための図であり、図１０（ａ）は、動きベクトルの信頼性が高いと判定された場合の図、図１０（ｂ）は、動きベクトルの信頼性が低いと判定された場合の図である。
【図１１】第１の実施形態における撮影順序と位置合わせ処理の順序の関係を示す図である。
【図１２】第２の実施形態における撮影順序と位置合わせ処理の順序の関係を示す図である。
【図１３】第３の実施形態における撮影順序と位置合わせ処理の順序の関係を示す図である。
【図１４】第４の実施形態における撮影順序と位置合わせ処理の順序の関係を示す図である。
【図１５】第４の実施形態における推定動きベクトルの算出方法を説明するための図である。
【図１６】第４の実施形態における推定動きベクトルの別の算出方法を説明するための図である。
【図１７】第５の実施形態における撮影順序と位置合わせ処理の順序の関係を示す図である。
【図１８】第６の実施形態における撮影順序と位置合わせ処理の順序の関係を示す図である。
【発明を実施するための形態】
【００２６】
＜第１の実施形態＞
図１は、第１の実施形態における画像処理装置１０を備えたデジタルカメラ１の構成を示すブロック図である。デジタルカメラ１は、レンズと本体が一体型のカメラでもよいし、レンズ交換式のカメラでもよい。デジタルカメラ１は、光学系１００と、撮像素子１０１と、画像処理装置１０とを備える。
【００２７】
画像処理装置１０は、フレームメモリ１０２と、正規化処理部１０３と、動きベクトル演算部（第１の動きベクトル算出部、第２の動きベクトル算出部とも呼ぶ）１０４と、動きベクトル信頼性判定処理部（第１の信頼性判定部、第２の信頼性判定部とも呼ぶ）１０５と、動きベクトル補正処理部（推定動きベクトル算出部、動きベクトル置換部とも呼ぶ）１０６と、合成処理部（第１の位置ずれ補正部、第１の合成部、第２の位置ずれ補正部、第２の合成部とも呼ぶ）１０７と、画像処理部１０８と、制御部１０９とを備える。図中、実線の矢印はデータの流れを表しており、点線は制御信号を表している。
【００２８】
撮像素子１０１は、例えば、ＣＣＤやＣＭＯＳであり、レンズなどの光学系１００を介して入力される被写体光を光電変換することによって、電気信号として出力する。撮像素子１０１から出力される電気信号は、画像データとして、フレームメモリ１０２に格納される。フレームメモリ１０２に格納される画像データは、ベイヤ配列に基づいて画素ごとに、Ｒ（Ｒｅｄ）信号、Ｇ（Ｇｒｅｅｎ）信号、Ｂ（Ｂｌｕｅ）信号のうちのいずれか一つの情報を有するＲａｗ形式の画像データである。
【００２９】
正規化処理部１０３は、フレームメモリ１０２から画像データ１２０と撮影パラメータ１２１を読み出して、位置合わせ処理および合成処理を行う対象の複数の画像データ間の信号レベル（輝度レベル）を一致させるための正規化処理を行う。撮影パラメータ１２１には、画像撮影時の露光時間が少なくとも含まれる。正規化処理後の画像データ１２２は、フレームメモリ１０２に格納される。
【００３０】
動きベクトル演算部１０４は、正規化処理後の複数枚の画像データ１２２について、画像間の位置ずれを表す動きベクトルを求める。動きベクトル演算部１０４によって求められた動きベクトル１２３および動きベクトル演算の中間データ１２４は、フレームメモリ１０２に格納される。動きベクトル演算の中間データ１２４については、後述する。
【００３１】
動きベクトル信頼性判定処理部１０５は、動きベクトル演算部１０４で求めた動きベクトル１２３の信頼性の高低を、動きベクトル演算中間データ１２４に基づいて判定する。求めた信頼性判定結果１２５は、フレームメモリ１０２に格納される。
【００３２】
動きベクトル補正処理部１０６は、信頼性判定結果１２５に基づいて、動きベクトル１２３を補正する。求めた補正後の動きベクトル１２６は、フレームメモリ１０２に格納される。
【００３３】
合成処理部１０７は、正規化処理後の複数枚の画像データ１２２について、動きベクトル１２３または補正後の動きベクトル１２６に基づいて、画像データ間の位置ずれを補正した後に合成することによって合成画像データ１２７を生成し、フレームメモリ１０２に格納する。
【００３４】
画像処理部１０８は、合成画像データ１２７の各画素に、Ｒ信号、Ｇ信号、Ｂ信号を割り当てる現像処理（デモザイク処理）を行う。また、画像処理部１０８は、ノイズ低減処理やエッジ強調処理など、所望の画像を得るために必要な各種画像処理を行う。現像処理を含む各種画像処理が施された画像は、例えば、図示しないディスプレイに表示される。
【００３５】
制御部１０９は、デジタルカメラ１の全体制御を行う。
【００３６】
本実施の形態における画像処理装置１０では、露光時間の異なる複数枚の画像データを合成することによって、ダイナミックレンジを拡大した合成画像を生成する。このため、デジタルカメラ１は、露光条件を変えて連写撮影を行う。
【００３７】
図２は、第１の実施形態における画像処理装置を備えたデジタルカメラ１によって行われる合成画像生成処理の内容を示すフローチャートである。例えば、デジタルカメラ１が合成画像を生成するための合成画像生成モードに設定されており、ユーザによってレリーズボタンの押圧操作が行われると、ステップＳ２０１の処理を開始する。
【００３８】
ステップＳ２０１では、露光条件を変更しながら連写撮影を行う。ここでは、撮影シーンの明るさに応じて、露光アンダー側から露光オーバー側まで撮影できるように、露光条件を設定する。本実施形態では、絞り、ＩＳＯ感度を一定に保ち、露光時間(シャッタ速度)を変えながら撮影する。なお、露光時間、ＩＳＯ感度を一定に保ち、絞りを変えながら撮影しても、同様の効果を得ることができる。第１の実施形態では、短露光画像(高速シャッタ)・長露光画像(低速シャッタ)・中間露光画像(中速シャッタ)の順に画像が得られるように、３枚撮影する。撮影により得られた画像は、フレームメモリ１０２に格納される。
【００３９】
ステップＳ２０２〜Ｓ２０４は、短露光画像と中間露光画像の間の位置ずれ量を表す動きベクトルを求める処理である。
【００４０】
ステップＳ２０２において、正規化処理部１０３は、撮影時の撮影パラメータ１２１を用いて、短露光画像に対する中間露光画像の露光時間の比率を演算し、この比率に応じた係数を短露光画像の各画素値に乗算することにより、短露光画像と中間露光画像の信号レベルを一致させる正規化処理を行う。正規化処理後の画像は、フレームメモリ１０２に格納される。
【００４１】
ステップＳ２０３において、動きベクトル演算部１０４は、低露光画像と中間露光画像の正規化後の画像データ１２２を用いて、テンプレートマッチング処理を行い、動きベクトル１２３を演算する。テンプレートマッチングで用いるテンプレートおよびサーチ範囲の設定方法を図３に示す。
【００４２】
ステップＳ２０３では、低露光画像を位置合わせの基準座標系とする基準画像とし、中間露光画像を基準画像に対する位置ずれ量を求める位置合わせ対象画像とする。ここでは、基準画像３０において、テンプレート３０１を格子状に複数個設定し（図３（ａ）参照）、位置合わせ対象画像３１において、サーチ範囲３０２を格子状に複数個設定する。サーチ範囲３０２は、テンプレート３０１を含む所定の大きさの範囲である。テンプレートマッチングは既知の処理であるため、詳細な説明は省略するが、位置合わせ対象画像３１のサーチ範囲３０２内で基準画像３０のテンプレート３０１をずらしながら一致指標値を演算し、最も一致指標値が大きくなる（一致指標値によっては最も小さくなる）位置を探索する。
【００４３】
図４は、テンプレートマッチングによって求められた動きベクトルの一例を示す図である。位置合わせ対象画像３１において、一致指標値が最大(一致指標値によっては最小）となるテンプレート位置３０４を求め、求めたテンプレート位置３０４とテンプレートの設定位置３０３との間の位置ずれ量を動きベクトル１２３として求める。動きベクトル１２３は、設定されたテンプレート３０１ごとに求める。
【００４４】
また、ステップＳ２０３において、動きベクトル演算部１０４は、画像間の位置ずれ量と一致指標値の分布を表すデータを動きベクトル演算の中間データ１２４として求める。求めた動きベクトル１２３及び動きベクトル演算の中間データ１２４は、フレームメモリ１０２に格納される。
【００４５】
ステップＳ２０４において、動きベクトル信頼性判定処理部１０５は、動きベクトル演算の中間データ１２４を用いて、求めた動きベクトル１２３の信頼性を判定する。低コントラストの画像領域や、繰り返しパターンが存在する領域などでは、動きベクトル１２３を精度良く求めることは困難である。そこで、ステップＳ２０３で求めた動きベクトル１２３の確からしさを示す信頼性を判定する。動きベクトル１２３の信頼性を判定する方法について、図５を用いて説明する。
【００４６】
図５は、動きベクトル信頼性判定処理部１０５によって行われる動きベクトルの信頼性判定処理の詳細な内容を示すフローチャートである。
【００４７】
ステップＳ５０１では、ステップＳ２０３で求めた動きベクトル演算の中間データ１２４をフレームメモリ１０２から読み込む。
【００４８】
ステップＳ５０２では、動きベクトル演算の中間データ１２４を用いて、各動きベクトルについて信頼性を定量化する指標値を算出する。具体的には、下記（１）〜（３）の特性を用いて、信頼性を定量化する指標値を算出する。
【００４９】
（１）エッジ構造が鮮鋭な領域の場合、動きベクトルの信頼性が高い。この場合、位置ずれが除去できたときに、一致指標値は、一致度が高いことを意味する大きな値(指標値によっては、小さな値)を示すのに対して、位置ずれが残っている場合、一致指標値は小さな値(指標値によっては、大きな値)を示す。従って、テンプレートマッチングを行った際に、一致指標の変動が大きい。
【００５０】
（２）テクスチャや平坦な構造の場合、位置ずれが除去できた場合と位置ずれが残っている場合との間で一致指標値の変動が少なく、信頼性は低い。
【００５１】
（３）繰り返し構造の場合、一致指標値も周期的に変動し、信頼性は低い。
【００５２】
ただし、信頼性を判定する指標値は、低コントラスト領域や繰り返しパターン領域等のような位置合わせの手がかりが少ない領域を検出できるものであれば、任意の指標値でよい。例えば、特許第３１６４１２１号に記載されているように、各ブロックのエッジの量に基づいて信頼性の指標値を定義してもよい。
【００５３】
ステップＳ５０３では、ステップＳ５０２で求めた動きベクトル信頼性指標値を所定のしきい値と比較することにより、信頼性の高低を２段階で判定する。所定のしきい値は、動きベクトルの信頼性を判定するためのしきい値であり、予め適切な値を設定しておく。信頼性が高いと判定するとステップＳ５０４に進み、信頼性が低いと判定するとステップＳ５０５に進む。
【００５４】
ステップＳ５０４では、動きベクトル１２３の信頼性が高いという判定結果をフレームメモリ１０２に格納する。
【００５５】
一方、ステップＳ５０５では、動きベクトル１２３の信頼性が低いという判定結果をフレームメモリ１０２に格納する。
【００５６】
ステップＳ５０６では、全ての動きベクトルについて、信頼性判定処理を終了したか否かを判定する。全ての動きベクトルについて信頼性判定処理を終了していないと判定すると、ステップＳ５０１に戻り、未処理の動きベクトルを対象として、信頼性判定処理を行う。一方、全ての動きベクトルについて信頼性判定処理を終了したと判定すると、図２に示すフローチャートのステップＳ２０５に進む。
【００５７】
ステップＳ２０５〜Ｓ２０８は、短露光画像と長露光画像の間の位置ずれ量を表す動きベクトルを求める処理である。
【００５８】
ステップＳ２０５において、正規化処理部１０３は、撮影時の撮影パラメータ１２１を用いて、短露光画像に対する長露光画像の露光時間の比率を演算し、この比率に応じた係数を短露光画像の各画素値に乗算することにより、短露光画像と長露光画像の信号レベルを一致させる正規化処理を行う。正規化処理後の画像は、フレームメモリ１０２に格納される。
【００５９】
ステップＳ２０６において、動きベクトル演算部１０４は、短露光画像を基準画像とし、長露光画像を位置合わせ対象画像としてテンプレートマッチングを行い、両画像間の動きベクトルを求める。この処理は、ステップＳ２０３で行う処理と同様であるため、その詳しい説明は省略する。
【００６０】
ステップＳ２０７において、動きベクトル信頼性判定処理部１０５は、ステップＳ２０６で求めた動きベクトルの信頼性を高低の２段階で判定する。
【００６１】
ステップＳ２０８において、動きベクトル補正処理部１０６は、ステップＳ２０７で信頼性が低いと判定された動きベクトルについて、低露光画像と中間露光画像の位置合わせ処理結果に基づいた置換処理を行う。
【００６２】
図６は、図５に示すフローチャートのステップＳ２０７及びステップＳ２０８の詳細な処理内容を示すフローチャートである。
【００６３】
ステップＳ６０１では、図２のステップＳ２０６で求めた動きベクトル演算の中間データ１２４をフレームメモリ１０２から読み込む。
【００６４】
ステップＳ６０２では、動きベクトル演算の中間データ１２４を用いて、各動きベクトルについて信頼性を定量化する指標値を算出する。この処理は、図５のステップＳ５０２で行う処理と同様である。
【００６５】
ステップＳ６０３では、ステップＳ６０２で求めた動きベクトル信頼性指標値を所定のしきい値と比較することにより、信頼性の高低を２段階で判定する。信頼性が高いと判定すると、ステップＳ６０４に進み、信頼性が低いと判定すると、ステップＳ６０５に進む。
【００６６】
ステップＳ６０４では、信頼性が高いと判定された動きベクトルをそのまま出力して、フレームメモリ１０２に格納する。
【００６７】
一方、ステップＳ６０５では、ステップＳ２０２〜Ｓ２０４で求めた短露光画像と中間露光画像の間の動きベクトル、動きベクトルの信頼性判定結果、撮影間隔・撮影順序・露光時間情報をフレームメモリ１０２から読み込む。
【００６８】
ステップＳ６０６では、撮影間隔、撮影順序、短露光画像と中間露光画像の間の動きベクトルを用いて、短露光画像と長露光画像との間の推定動きベクトルを算出する。
【００６９】
図７は、推定動きベクトルの算出方法を説明するための図である。第１の実施形態では、短露光画像、長露光画像、中間露光画像の順で連写撮影しており、短露光画像と中間露光画像間の動きベクトルは、図２のステップＳ２０２〜Ｓ２０４で既に求めている。短露光画像と長露光画像の間の撮影間隔をＴ0、長露光画像と中間露光画像の間の撮影間隔をＴ1とし、手ブレや被写体動作などが短露光画像と中間露光画像の撮影時間内で一定であったと仮定すると、撮影間隔の比率から、短露光画像と長露光画像の間の推定動きベクトルは、次式（４）で表される。
【００７０】
【数４】
【００７１】
なお、図７を用いた計算方法では、撮影画像の代表的な時刻を露光開始時刻としている。
【００７２】
図８は、推定動きベクトルの別の算出方法を説明するための図である。図８を用いた計算例では、撮影画像の代表的な時刻を露光期間の中心とし、時間的により厳密にモデル化している。短露光画像、長露光画像、中間露光画像の露光時間をそれぞれｔ0、ｔ1、ｔ2とし、短露光画像と長露光画像の間の撮影間隔をＴ0、長露光画像と中間露光画像の間の撮影間隔をＴ1とし、手ブレや被写体動作などが短露光画像と中間露光画像の撮影時間内で一定であったと仮定すると、撮影間隔の比率から、短露光画像と長露光画像の間の推定動きベクトルは、次式（５）で表される。
【００７３】
【数５】
【００７４】
ステップＳ６０７では、短露光画像と中間露光画像の間の動きベクトルのうち、ステップＳ６０３で信頼性が低いと判定された動きベクトルと対応する動きベクトルの信頼性が高いか、低いかを判定する。ステップＳ６０３で信頼性が低いと判定された動きベクトルと対応する動きベクトルとは、設定されたテンプレートの位置が同じ位置にある動きベクトルのことである。動きベクトルの信頼性が高いと判定すると、ステップＳ６０８に進む。
【００７５】
ステップＳ６０８では、短露光画像と中間露光画像との間の動きベクトルの信頼性が高いので、ステップＳ６０６で求めた短露光画像と長露光画像との間の推定動きベクトルも信頼できると判断して、推定動きベクトルの置換処理を行う。すなわち、ステップＳ６０３で信頼性が低いと判定された短露光画像と長露光画像との間の動きベクトルを、ステップＳ６０６で求めた推定動きベクトルに置き換える。
【００７６】
ステップＳ６０９では、動きベクトルの信頼性が高いという判定結果をフレームメモリ１０２に格納する。
【００７７】
一方、ステップＳ６０７において、短露光画像と中間露光画像の間の動きベクトルのうち、ステップＳ６０３で信頼性が低いと判定された動きベクトルと対応する動きベクトルの信頼性が低いと判定すると、ステップＳ６１０に進む。ステップＳ６１０では、動きベクトルの信頼性が低いという判定結果をフレームメモリ１０２に格納する。
【００７８】
ステップＳ６１１では、全ての動きベクトルについて、ステップＳ６０１〜Ｓ６０３の処理を行ったか否かを判定する。全ての動きベクトルについての処理が完了していないと判定すると、ステップＳ６０１に戻り、未処理の動きベクトルについて、ステップＳ６０１以降の処理を行う。一方、全ての動きベクトルについての処理が完了したと判定すると、図２に示すフローチャートのステップＳ２０９に進む。
【００７９】
ステップＳ２０９において、合成処理部１０７は、ステップＳ２０２〜Ｓ２０４で求めた動きベクトルに基づいて、短露光画像と中間露光画像との間の位置ずれを補正し、位置ずれを補正した短露光画像と中間露光画像とを合成することによって、ダイナミックレンジを拡大した合成画像を生成する。画像の合成比率は、輝度値に応じた合成比率係数と、長露光画像と短露光画像の間の輝度差に応じた合成比率係数の２つの係数を用いて決定する。
【００８０】
図９は、輝度値に応じた合成比率の決定方法を説明するための図である。図９において、横軸は短露光画像の輝度値を示し、縦軸は輝度値に応じた長露光画像または中間露光画像の合成比率係数Ｗvalueを示す。また、輝度値の最小値を０、最大値を２５５とし、合成比率係数Ｗvalueの最小値を０、最大値を１としている。
【００８１】
画像の輝度が低い領域では、合成対象の中間露光画像または長露光画像の合成比率を高くすることにより、暗部ノイズを抑制し、輝度が高い領域では、短露光画像の合成比率を高くすることにより、白飛び（飽和）を抑制するように制御する。従って、図９に示すように、輝度が低い領域では、合成比率係数Ｗvalueを大きくし、輝度が高い領域では、合成比率係数Ｗvalueを小さくしている。
【００８２】
なお、図９では、短露光画像の輝度値と合成比率係数Ｗvalueとの関係を定めているが、長露光画像の輝度値と合成比率係数Ｗvalueとの関係を定めるようにしてもよい。
【００８３】
図１０は、長露光画像と短露光画像との間の輝度差に応じた合成比率の決定方法を説明するための図であり、図１０（ａ）は、動きベクトルの信頼性が高いと判定された場合の図、図１０（ｂ）は、動きベクトルの信頼性が低いと判定された場合の図である。図１０（ａ）及び図１０（ｂ）において、横軸は、正規化後の長露光画像（または中間露光画像）と、短露光画像との間の輝度差を示し、縦軸は、輝度差に応じた長露光画像（または中間露光画像）の合成比率Ｗdiffを示す。
【００８４】
図１０（ａ）および図１０（ｂ）に示すように、輝度差が小さい場合には、合成比率係数Ｗdiffを大きくし、輝度が大きい場合には、合成比率係数Ｗdiffを小さくする。本実施形態では、基準画像を短露光画像としているので、輝度差が小さい場合には、合成比率係数Ｗdiffを大きくして、長露光画像との合成を促進し、輝度差が大きい場合には、合成比率係数Ｗdiffを小さくして、長露光画像との合成を抑制する。基準画像を長露光画像とした場合も同様に、輝度差が小さい場合には合成を促進し、輝度差が大きい場合には合成を抑制するように、合成比率係数Ｗdiffを設定する。
【００８５】
ここで、動きベクトルの信頼性が高い領域では、輝度差が大きくなるに従って合成比率係数Ｗdiffが低下する割合は比較的緩慢となるようにする（図１０（ａ）参照）。一方、動きベクトルの信頼性が低い領域では、輝度差が大きくなるに従って合成比率係数Ｗdiffが比較的急峻に低下するようにする（図１０（ｂ）参照）。すなわち、輝度差が同じでも、動きベクトルの信頼性が低い領域では、動きベクトルの信頼性が高い領域に比べて合成比率係数Ｗdiffを小さくすることによって、合成を抑制するようにする。
【００８６】
連写撮影中に被写体が動いた場合、繰返しパターンや低コントラスト領域等では、正しい動きベクトル求めることは困難となる。正しい対応点が求められていない状態で合成処理を行うと、二重像などのアーティファクトが発生することがある。従って、動きベクトルの信頼性の高低に応じて、輝度差に応じた長露光画像の合成比率係数Ｗdiffを設定することにより、上記アーティファクトの発生を抑制することができる。
【００８７】
上述した方法により求めた合成比率係数Ｗvalueと、合成比率係数Ｗdiffとを用いて、次式（６）より、長露光画像の合成比率Ｗlongと短露光画像の合成比率Ｗshortを求める。
【００８８】
【数６】
【００８９】
長露光画像の信号値をＰlong、短露光画像の信号値をＰshortとすると、合成画像の信号値Ｐaddは次式（７）で与えられる。
【００９０】
【数７】
【００９１】
以上の処理により、ダイナミックレンジを拡大した合成画像を得ることができる。
【００９２】
図２のステップＳ２１０において、合成処理部１０７は、ステップＳ２０５〜Ｓ２０８で求めた動きベクトルを用いて、ステップＳ２０９で生成した合成画像と長露光画像との間の位置ずれを補正し、位置ずれを補正した合成画像と長露光画像とを合成する。画像の合成方法は、ステップＳ２０９で行う合成方法と同じである。なお、ステップＳ２０９では、短露光画像を基準として中間露光画像の位置ずれを補正している。従って、短露光画像と長露光画像間の動きベクトルは、短露光画像と中間露光画像とを合成して得られた合成画像と長露光画像間の動きベクトルと等しいので、ステップＳ２０５〜Ｓ２０８で求めた短露光画像と長露光画像間の動きベクトルを用いて、ステップＳ２０９で生成した合成画像と長露光画像との間の位置ずれを補正することができる。
【００９３】
ステップＳ２１１において、画像処理部１０８は、ステップ２１０の画像合成処理で得られた合成画像データ１２７の各画素に、Ｒ信号、Ｇ信号、Ｂ信号を割り当てる現像処理を行う。
【００９４】
図１１は、第１の実施形態における撮影順序と位置合わせ処理の順序の関係を示す図である。上述したように、短露光画像１１１、長露光画像１１２、中間露光画像１１３の順に撮影を行う。まず初めに、短露光画像１１１の信号レベルを中間露光画像１１３の信号レベルと一致させるための正規化処理を行うことによって、正規化処理後の画像１１４を作成し、正規化処理後の画像１１４と中間露光画像１１３との間で位置合わせ処理を行う。次に、短露光画像１１１の信号レベルを長露光画像１１２の信号レベルと一致させるための正規化処理を行うことによって、正規化処理後の画像１１５を作成し、正規化処理後の画像１１５と長露光画像１１２との間で位置合わせ処理を行う。
【００９５】
以上、第１の実施形態における画像処理装置は、異なる露光条件での連続的な撮影により得られた短露光画像、長露光画像、中間露光画像間の動きベクトルを求める装置であって、短露光画像上の複数の位置において、短露光画像と長露光画像間の動きベクトルである第１の動きベクトルを算出するとともに、第１の動きベクトルを算出した短露光画像上の複数の位置において、短露光画像と中間露光画像間の動きベクトルである第２の動きベクトルを算出する。第１の動きベクトルの信頼性の高低と、第２の動きベクトルの信頼性の高低を判定し、短露光画像上の複数の位置において算出された第１の動きベクトルのうち、信頼性が低いと判定された動きベクトルについて、対応する位置において算出された第２の動きベクトル、および、画像間の撮影間隔に基づいて、短露光画像と長露光画像間の推定動きベクトルを算出する。そして、信頼性が低いと判定された第１の動きベクトルと対応する位置において算出された第２の動きベクトルの信頼性が高い場合に、信頼性が低いと判定された第１の動きベクトルを、推定動きベクトルに置き換える。これにより、短露光画像と長露光画像間の露光段差が大きい場合でも、信頼性の高い短露光画像と中間露光画像間の動きベクトルと、画像間の撮影間隔とに基づいた推定動きベクトルを、短露光画像と長露光画像間の動きベクトルとして求めることができるので、位置合わせを精度良く行うことができる。
【００９６】
また、第２の動きベクトルに基づいて、短露光画像と中間露光画像間の位置ずれを補正し、位置ずれが補正された２つの画像を合成するとともに、推定動きベクトルの置き換えが行われている場合には、置き換え後の第１の動きベクトルに基づいて、また、置き換えが行われていない場合には、算出した第１の動きベクトルに基づいて、短露光画像と中間露光画像を用いて合成された画像と、長露光画像間の位置ずれを補正する。そして、位置ずれが補正された２つの画像を合成して、合成画像を生成する。これにより、像ぶれが抑制された広ダイナミックレンジ画像を生成することができる。
【００９７】
＜第２の実施形態＞
図１２は、第２の実施形態における撮影順序と位置合わせ処理の順序の関係を示す図である。第２の実施形態では、中間露光画像(中速シャッタ)、短露光画像(高速シャッタ)、長露光画像(低速シャッタ)の順に画像が得られるように撮影する。中間露光画像と短露光画像との間の露光段差（輝度差）は、中間露光画像と長露光画像との間の露光段差（輝度差）よりも大きいものとする。
【００９８】
第２の実施形態における位置合わせ処理の順序について説明する。本実施形態では、中間露光画像が位置合わせの基準画像となる。
【００９９】
まず初めに、中間露光画像１１３の信号レベルを長露光画像１１２の信号レベルと一致させるための正規化処理を行うことによって、正規化処理後の画像１１６を作成し、正規化処理後の画像１１６と長露光画像１１２との間で位置合わせ処理を行う。また、短露光画像１１１の信号レベルを中間露光画像１１３の信号レベルと一致させるための正規化処理を行うことによって、正規化処理後の画像１１７を作成し、正規化処理後の画像１１７と中間露光画像１１３との間で位置合わせ処理を行う。
【０１００】
中間露光画像１１３と短露光画像１１１との間の位置合わせは、中間露光画像１１３と長露光画像１１２との間の位置合わせに比べて、ノイズの影響を受けやすく、求めた動きベクトルの正確さが低い可能性がある。本実施形態では、中間露光画像１１３と短露光画像１１１との間の動きベクトルのうち、信頼性が低いと判定された動きベクトルについて、中間露光画像１１３と長露光画像１１２の位置合わせ処理結果に基づいた置換処理を行う。置換処理の方法は、第１の実施形態で行った置換処理の方法と同様である。
【０１０１】
以上、第２の実施形態における画像処理装置によれば、中間露光画像、短露光画像、長露光画像の順に撮影され、中間露光画像と短露光画像との間の露光段差が中間露光画像と長露光画像との間の露光段差より大きい場合でも、信頼性の高い中間露光画像と長露光画像間の動きベクトルと、画像間の撮影間隔とに基づいた推定動きベクトルを、中間露光画像と短露光画像間の動きベクトルとして求めることができるので、位置合わせを精度良く行うことができる。
【０１０２】
＜第３の実施形態＞
図１３は、第３の実施形態における撮影順序と位置合わせ処理の順序の関係を示す図である。第３の実施形態では、中間露光画像(中速シャッタ)、長露光画像(低速シャッタ) 、短露光画像(高速シャッタ)の順に画像が得られるように撮影する。中間露光画像と長露光画像との間の露光段差（輝度差）は、中間露光画像と短露光画像との間の露光段差（輝度差）よりも大きいものとする。
【０１０３】
第３の実施形態における位置合わせ処理の順序について説明する。本実施形態では、中間露光画像が位置合わせの基準画像となる。
【０１０４】
まず初めに、短露光画像１１１の信号レベルを中間露光画像１１３の信号レベルと一致させるための正規化処理を行うことによって、正規化処理後の画像１１８を作成し、正規化処理後の画像１１８と中間露光画像１１３との間で位置合わせ処理を行う。また、中間露光画像１１３の信号レベルを長露光画像１１２の信号レベルと一致させるための正規化処理を行うことによって、正規化処理後の画像１１９を作成し、正規化処理後の画像１１９と長露光画像１１２との間で位置合わせ処理を行う。
【０１０５】
中間露光画像１１３と長露光画像１１２との間の位置合わせは、中間露光画像１１３と短露光画像１１１との間の位置合わせに比べて、飽和の影響を受けやすく、求めた動きベクトルの正確さが低い可能性がある。本実施形態では、中間露光画像１１３と長露光画像１１２との間の動きベクトルのうち、信頼性が低いと判定された動きベクトルについて、中間露光画像１１３と短露光画像１１１の位置合わせ処理結果に基づいた置換処理を行う。置換処理の方法は、第１の実施形態で行った置換処理の方法と同様である。
【０１０６】
以上、第３の実施形態における画像処理装置によれば、中間露光画像、長露光画像、短露光画像の順に撮影され、中間露光画像と長露光画像との間の露光段差が中間露光画像と短露光画像との間の露光段差より大きい場合でも、信頼性の高い中間露光画像と短露光画像間の動きベクトルと、画像間の撮影間隔とに基づいた推定動きベクトルを、中間露光画像と長露光画像間の動きベクトルとして求めることができるので、位置合わせを精度良く行うことができる。
【０１０７】
＜第４の実施形態＞
図１４は、第４の実施形態における撮影順序と位置合わせ処理の順序の関係を示す図である。第４の実施形態では、短露光画像(高速シャッタ)、中間露光画像(中速シャッタ)、長露光画像(低速シャッタ) の順に画像が得られるように撮影する。
【０１０８】
第４の実施形態における位置合わせ処理の順序について説明する。本実施形態では、短露光画像が位置合わせの基準画像となる。
【０１０９】
まず初めに、短露光画像１１１の信号レベルを中間露光画像１１３の信号レベルと一致させるための正規化処理を行うことによって、正規化処理後の画像１３１を作成し、正規化処理後の画像１３１と中間露光画像１１３との間で位置合わせ処理を行う。また、短露光画像１１１の信号レベルを長露光画像１１２の信号レベルと一致させるための正規化処理を行うことによって、正規化処理後の画像１３２を作成し、正規化処理後の画像１３２と長露光画像１１２との間で位置合わせ処理を行う。
【０１１０】
短露光画像１１１と長露光画像１１２との間の位置合わせは、短露光画像１１１と中間露光画像１１３との間の位置合わせに比べて、センサの非線形性の影響を受けやすく、求めた動きベクトルの正確さが低い可能性がある。本実施形態では、短露光画像１１１と長露光画像１１２との間の動きベクトルのうち、信頼性が低いと判定された動きベクトルについて、短露光画像１１１と中間露光画像１１３との位置合わせ処理結果に基づいた置換処理を行う。置換処理の方法は、第１の実施形態で行った置換処理の方法と同様であるが、推定動きベクトルの算出方法が第１の実施形態で行った算出方法と異なる。従って、以下では、第４の実施形態における推定動きベクトルの算出方法について説明する。
【０１１１】
図１５は、第４の実施形態における推定動きベクトルの算出方法を説明するための図である。第４の実施形態では、短露光画像、中間露光画像、長露光画像の順で連写撮影しており、短露光画像と中間露光画像間の動きベクトルは、先に求めている。短露光画像と中間露光画像の間の撮影間隔をＴ0、中間露光画像と長露光画像との間の撮影間隔をＴ1とし、手ブレや被写体動作などが短露光画像と長露光画像の撮影時間内で一定であったと仮定すると、撮影間隔の比率から短露光画像と長露光画像の推定動きベクトルは次式（８）で表される。
【０１１２】
【数８】
【０１１３】
なお、式（８）による計算方法では、撮影画像の代表的な時刻を露光開始時刻としている。
【０１１４】
図１６は、推定動きベクトルの別の算出方法を説明するための図である。図１６を用いた計算例では、撮影画像の代表的な時刻を露光期間の中心とし、時間的により厳密にモデル化している。短露光画像、中間露光画像、長露光画像の露光時間をそれぞれｔ0、ｔ1、ｔ2とし、短露光画像と中間露光画像の間の撮影間隔をＴ0、中間露光画像と長露光画像の間の撮影間隔をＴ1とし、手ブレや被写体動作などが短露光画像と長露光画像の撮影時間内で一定であったと仮定すると、撮影間隔の比率から短露光画像と長露光画像の推定動きベクトルは次式（９）で表される。
【０１１５】
【数９】
【０１１６】
以上、第４の実施形態における画像処理装置によれば、短露光画像、中間露光画像、長露光画像の順に撮影され、短露光画像と長露光画像間の露光段差が大きい場合でも、信頼性の高い短露光画像と中間露光画像間の動きベクトルと、画像間の撮影間隔とに基づいた推定動きベクトルを、短露光画像と長露光画像間の動きベクトルとして求めることができるので、位置合わせを精度良く行うことができる。
【０１１７】
＜第５の実施形態＞
図１７は、第５の実施形態における撮影順序と位置合わせ処理の順序の関係を示す図である。第５の実施形態では、中間露光画像(中速シャッタ)、長露光画像(低速シャッタ) 、短露光画像(高速シャッタ)の順に画像が得られるように撮影する。中間露光画像と短露光画像との間の露光段差（輝度差）は、中間露光画像と長露光画像との間の露光段差（輝度差）よりも大きいものとする。
【０１１８】
第５の実施形態における位置合わせ処理の順序について説明する。本実施形態では、中間露光画像が位置合わせの基準画像となる。
【０１１９】
まず初めに、中間露光画像１１３の信号レベルを長露光画像１１２の信号レベルと一致させるための正規化処理を行うことによって、正規化処理後の画像１３３を作成し、正規化処理後の画像１３３と長露光画像１１２との間で位置合わせ処理を行う。また、短露光画像１１１の信号レベルを中間露光画像１１３の信号レベルと一致させるための正規化処理を行うことによって、正規化処理後の画像１３４を作成し、正規化処理後の画像１３４と中間露光画像１１３との間で位置合わせ処理を行う。
【０１２０】
中間露光画像１１３と短露光画像１１１との間の位置合わせは、中間露光画像１１３と長露光画像１１２との間の位置合わせに比べて、ノイズの影響を受けやすく、求めた動きベクトルの正確さが低い可能性がある。本実施形態では、中間露光画像１１３と短露光画像１１１との間の動きベクトルのうち、信頼性が低いと判定された動きベクトルについて、中間露光画像１１３と長露光画像１１２の位置合わせ処理結果に基づいた置換処理を行う。置換処理の方法は、第１の実施形態で行った置換処理の方法と同じである。また、推定動きベクトルの算出方法は、第４の実施形態で説明した推定動きベクトルの算出方法と同様である。
【０１２１】
以上、第５の実施形態における画像処理装置によれば、中間露光画像、長露光画像、短露光画像の順に撮影され、中間露光画像と短露光画像との間の露光段差が中間露光画像と長露光画像との間の露光段差より大きい場合でも、信頼性の高い中間露光画像と長露光画像間の動きベクトルと、画像間の撮影間隔とに基づいた推定動きベクトルを、中間露光画像と短露光画像間の動きベクトルとして求めることができるので、位置合わせを精度良く行うことができる。
【０１２２】
＜第６の実施形態＞
図１８は、第６の実施形態における撮影順序と位置合わせ処理の順序の関係を示す図である。第６の実施形態では、中間露光画像(中速シャッタ)、短露光画像(高速シャッタ) 、長露光画像(低速シャッタ)の順に画像が得られるように撮影する。中間露光画像と長露光画像との間の露光段差（輝度差）は、中間露光画像と短露光画像との間の露光段差（輝度差）よりも大きいものとする。
【０１２３】
第６の実施形態における位置合わせ処理の順序について説明する。本実施形態では、中間露光画像が位置合わせの基準画像となる。
【０１２４】
まず初めに、短露光画像１１１の信号レベルを中間露光画像１１３の信号レベルと一致させるための正規化処理を行うことによって、正規化処理後の画像１３５を作成し、正規化処理後の画像１３５と中間露光画像１１３との間で位置合わせ処理を行う。また、中間露光画像１１３の信号レベルを長露光画像１１２の信号レベルと一致させるための正規化処理を行うことによって、正規化処理後の画像１３６を作成し、正規化処理後の画像１３６と長露光画像１１２との間で位置合わせ処理を行う。
【０１２５】
中間露光画像１１３と長露光画像１１２との間の位置合わせは、中間露光画像１１３と短露光画像１１１との間の位置合わせに比べて、飽和の影響を受けやすく、求めた動きベクトルの正確さが低い可能性がある。本実施形態では、中間露光画像１１３と長露光画像１１２との間の動きベクトルのうち、信頼性が低いと判定された動きベクトルについて、中間露光画像１１３と短露光画像１１１の位置合わせ処理結果に基づいた置換処理を行う。置換処理の方法は、第１の実施形態で行った置換処理の方法と同様である。また、推定動きベクトルの算出方法は、第４の実施形態で説明した推定動きベクトルの算出方法と同様である。
【０１２６】
以上、第６の実施形態における画像処理装置によれば、中間露光画像、短露光画像、長露光画像の順に撮影され、中間露光画像と長露光画像との間の露光段差が中間露光画像と短露光画像との間の露光段差より大きい場合でも、信頼性の高い中間露光画像と短露光画像間の動きベクトルと、画像間の撮影間隔とに基づいた推定動きベクトルを、中間露光画像と長露光画像間の動きベクトルとして求めることができるので、位置合わせを精度良く行うことができる。
【０１２７】
なお、上述した第１〜第６の実施形態の説明では、画像処理装置が行う処理としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、コンピュータでソフトウェア処理を行う構成も可能である。この場合、コンピュータは、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記憶されたコンピュータ読み取り可能な記憶媒体を備えている。ここでは、このプログラムを画像処理プログラムと呼ぶ。そして、ＣＰＵが上記記憶媒体に記憶されている画像処理プログラムを読み出して、情報の加工・演算処理を実行することにより、上述の画像処理装置と同様の処理を実現させる。
【０１２８】
ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、この画像処理プログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該画像処理プログラムを実行するようにしても良い。
【０１２９】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。
【０１３０】
上述した実施の形態では、画像処理装置を搭載したカメラをデジタルカメラとして説明したが、連写撮影により得られた複数の画像を合成して合成画像を生成するカメラであれば、ビデオカメラやムービーカメラでもよく、さらに、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでもよい。
【０１３１】
上述した実施形態では、短露光画像、長露光画像、中間露光画像の３枚の画像を合成することによって、ダイナミックレンジを拡大した合成画像を生成する例について説明した。しかし、４枚以上の画像を合成することによって、ダイナミックレンジを拡大した合成画像を生成することもできる。この場合でも、４枚以上の画像のうちの３枚の画像を合成する際に、上述した実施形態で説明した位置合わせ方法および合成方法を用いればよい。
【符号の説明】
【０１３２】
１…デジタルカメラ
１０…画像処理装置
１０３…正規化処理部
１０４…動きベクトル演算部
１０５…動きベクトル信頼性判定処理部
１０６…動きベクトル補正処理部
１０７…合成処理部
１０８…画像処理部
１０９…制御部
【技術分野】
【０００１】
本発明は、複数の画像を合成することによって、ダイナミックレンジを拡大した画像を生成する技術に関する。
【背景技術】
【０００２】
ディジタルスチルカメラまたはデジタルビデオカメラにおいて、シャッタ速度、絞り値などの露光条件を変えながら連写撮影し、得られた複数枚の画像データを合成することによって、ダイナミックレンジを拡大した画像を生成する画像合成技術が知られている。このような連写画像の合成技術では、連写撮影中に発生する手ブレや被写体ブレの影響を低減するため、画像間の位置合わせ・位置ずれ補正技術が重要となる。
【０００３】
位置合わせ手法としては様々なものがあるが、組込み機器においては、テンプレートマッチング法が一般的である。テンプレートマッチング法とは、位置合わせ処理を行う２枚の画像のうち、一方の画像(基準画像)において所定の大きさの領域(テンプレート)を定義し(例えば８画素×８ライン）、他方の画像(比較対象画像)の所定範囲(サーチ領域)内でテンプレートをずらしながら、テンプレートと比較対象画像との一致度を表す一致指標値を逐次計算する。そして、その一致指標値が最も大きくなる(一致指標値によっては、最も小さくなる)場所を求めることで、画像間の相対的な位置ずれを求める。一致指標値としては、自乗誤差ＳＳＤ（Sum of Squared intensity Difference）、誤差の絶対値ＳＡＤ（Sum of Absolute intensity Difference）、正規化相互相関ＮＣＣ（Normalized Cross-Correlation）などがある。
【０００４】
ＳＳＤは、次式（１）で定義され、値が小さいほど一致度が高いと判断する。ただし、式（１）において、テンプレートの大きさはＭ×Ｎ［画素］であり、Ｔ（ｉ，ｊ）、Ｉ（ｉ，ｊ）はそれぞれ、テンプレート位置（ｉ，ｊ）におけるテンプレートの輝度値、比較対象画像の輝度値である。
【０００５】
【数１】
【０００６】
ＳＡＤは、次式（２）で定義され、値が小さいほど一致度が高いと判断する。
【０００７】
【数２】
【０００８】
ＮＣＣは、次式（３）で定義され、値が大きいほど一致度が高いと判断する。
【０００９】
【数３】
【００１０】
正規化相互相関は、指標値のなかに正規化項が含まれているため、明るさの異なる画像をそのまま処理画像として用いることができるが、計算量が多くなる欠点がある。一方、ＳＡＤやＳＳＤは、基本的に明るさレベルの一致した画像が入力されることを前提としているが、計算量が比較的少ないため、広く用いられている。
【００１１】
異なる露光条件で撮影された連写画像に対して位置合わせ処理、合成処理を行って、広ダイナミックレンジ画像を得る手法として、特許文献１〜４がある。
【００１２】
特許文献１には、異なる露光条件で撮影された複数枚の画像を合成することによってダイナミックレンジを拡大した画像を得る撮像方法において、経時的な位置ずれを補正した後に合成処理を行う内容が開示されている。
【００１３】
特許文献２には、短露光画像と長露光画像を交互に撮影し、短露光画像を基準として前後で撮影された長露光画像のうち、差分絶対値が小さい方の長露光画像が合成に適していると判断して、合成用の画像として選択する方法が開示されている。
【００１４】
特許文献３には、短露光画像と長露光画像間の位置ずれを補正した後の合成処理において、 ２枚の差分画像から閾値によってエッジ・ブレとノイズを切り分けて、画像の合成比率を変化させることで、 ブレを抑制した合成画像を得る技術が開示されている。
【００１５】
特許文献４には、異なる露光条件で撮影された複数枚の画像を合成することによってダイナミックレンジを拡大する撮像装置において、画像間の相対的な変位に基づいて当該変位の信頼性を求め、求めた信頼性に基づいて、合成に用いる複数の画像を選択し、選択した複数の画像を、画像間の変位に基づいて位置合わせしてから合成する技術が開示されている。
【先行技術文献】
【特許文献】
【００１６】
【特許文献１】特開平５−７３３６号公報
【特許文献２】特開２００８−２７７８９６号公報
【特許文献３】特開２００７−２０２０９８号公報
【特許文献４】特開２００７−２７２４５９号公報
【発明の概要】
【発明が解決しようとする課題】
【００１７】
異なる露光条件の画像を用いてテンプレートマッチングを行う場合、上述したＳＡＤ、ＳＳＤ，ＮＣＣのいずれの指標値を用いる場合でも、何らかの正規化処理が必要となる。ＮＣＣの場合は、画像の輝度平均が一致するように正規化を行うが、ＳＡＤやＳＳＤの場合、指標値に正規化項が含まれていないので、予め露光条件の比率に応じたゲインを乗算することによって信号レベルを揃える必要がある。
【００１８】
画像間の露光段差が小さいときは、露光比率に応じた正規化処理によって信号レベルをほぼ一致させることが可能である。しかし、画像間の露光段差が大きくなると、ノイズやセンサの非線形性などの影響が大きくなるため、このような露光比率に応じた正規化処理では誤差が増大してしまう。
【００１９】
合成画像のダイナミックレンジを拡大するためには、各画像の露光段差を大きくすることが有効であるが、上述した誤差の影響によって正規化後の画像間の信号レベルの乖離が大きくなると、位置合わせが不安定となる。上記特許文献１〜４では、異なる露光条件で撮影された画像を用いて位置合わせ処理を行うことについての記述はあるが、画像間の露光段差が大きくなるにつれて位置合わせが不安定となる課題に対する解決法については記載がない。
【００２０】
本発明は、上記の課題に鑑みてなされたものであり、異なる露光条件で撮影された複数枚の画像を合成する技術において、露光段差が大きい場合においても位置合わせを安定化させることを目的とする。
【課題を解決するための手段】
【００２１】
本発明のある態様に係る画像処理装置は、異なる露光条件での連続的な撮影により得られた第１の画像、第２の画像、および、第３の画像で、前記第１の画像および前記第２の画像間の露光量差は、前記第１の画像および前記第３の画像間の露光量差より大きい、少なくとも３つの画像間の動きベクトルを求める画像処理装置であって、前記第１の画像上の複数の位置において、前記第１の画像と前記第２の画像間の動きベクトルである第１の動きベクトルを算出する第１の動きベクトル算出部と、前記第１の動きベクトルを算出した前記第１の画像上の複数の位置において、前記第１の画像と前記第３の画像間の動きベクトルである第２の動きベクトルを算出する第２の動きベクトル算出部と、前記第１の動きベクトルの信頼性の高低を判定する第１の信頼性判定部と、前記第２の動きベクトルの信頼性の高低を判定する第２の信頼性判定部と、前記第１の画像上の複数の位置において算出された前記第１の動きベクトルのうち、信頼性が低いと判定された動きベクトルについて、対応する位置において算出された前記第２の動きベクトル、および、画像間の撮影間隔に基づいて、前記第１の画像と前記第２の画像間の推定動きベクトルを算出する推定動きベクトル算出部と、前記信頼性が低いと判定された第１の動きベクトルと対応する位置において算出された前記第２の動きベクトルの信頼性が高い場合に、前記信頼性が低いと判定された第１の動きベクトルを、前記推定動きベクトルに置き換える動きベクトル置換部と、を備える。
【００２２】
本発明の別の態様に係る画像処理方法は、異なる露光条件での連続的な撮影により得られた第１の画像、第２の画像、および、第３の画像で、前記第１の画像および前記第２の画像間の露光量差は、前記第１の画像および前記第３の画像間の露光量差より大きい、少なくとも３つの画像間の動きベクトルを求める画像処理方法であって、前記第１の画像上の複数の位置において、前記第１の画像と前記第２の画像間の動きベクトルである第１の動きベクトルを算出するステップと、前記第１の動きベクトルを算出した前記第１の画像上の複数の位置において、前記第１の画像と前記第３の画像間の動きベクトルである第２の動きベクトルを算出するステップと、前記第１の動きベクトルの信頼性の高低を判定するステップと、前記第２の動きベクトルの信頼性の高低を判定するステップと、前記第１の画像上の複数の位置において算出された前記第１の動きベクトルのうち、信頼性が低いと判定された動きベクトルについて、対応する位置において算出された前記第２の動きベクトル、および、画像間の撮影間隔に基づいて、前記第１の画像と前記第２の画像間の推定動きベクトルを算出するステップと、前記信頼性が低いと判定された第１の動きベクトルと対応する位置において算出された前記第２の動きベクトルの信頼性が高い場合に、前記信頼性が低いと判定された第１の動きベクトルを、前記推定動きベクトルに置き換えるステップと、を備える。
【００２３】
本発明のさらに別の態様に係る画像処理プログラムは、異なる露光条件での連続的な撮影により得られた第１の画像、第２の画像、および、第３の画像で、前記第１の画像および前記第２の画像間の露光量差は、前記第１の画像および前記第３の画像間の露光量差より大きい、少なくとも３つの画像間の動きベクトルを求めるための画像処理プログラムであって、前記第１の画像上の複数の位置において、前記第１の画像と前記第２の画像間の動きベクトルである第１の動きベクトルを算出するステップと、前記第１の動きベクトルを算出した前記第１の画像上の複数の位置において、前記第１の画像と前記第３の画像間の動きベクトルである第２の動きベクトルを算出するステップと、前記第１の動きベクトルの信頼性の高低を判定するステップと、前記第２の動きベクトルの信頼性の高低を判定するステップと、前記第１の画像上の複数の位置において算出された前記第１の動きベクトルのうち、信頼性が低いと判定された動きベクトルについて、対応する位置において算出された前記第２の動きベクトル、および、画像間の撮影間隔に基づいて、前記第１の画像と前記第２の画像間の推定動きベクトルを算出するステップと、前記信頼性が低いと判定された第１の動きベクトルと対応する位置において算出された前記第２の動きベクトルの信頼性が高い場合に、前記信頼性が低いと判定された第１の動きベクトルを、前記推定動きベクトルに置き換えるステップと、をコンピュータに実行させる。
【発明の効果】
【００２４】
本発明によれば、異なる露光条件で撮影された複数枚の画像間の露光段差が大きい場合でも、位置合わせを精度良く行うことができる。
【図面の簡単な説明】
【００２５】
【図１】第１の実施形態における画像処理装置を備えたデジタルカメラの構成を示すブロック図である。
【図２】第１の実施形態における画像処理装置を備えたデジタルカメラによって行われる合成画像生成処理の内容を示すフローチャートである。
【図３】テンプレートマッチングで用いるテンプレートおよびサーチ範囲の設定方法を説明するための図である。
【図４】テンプレートマッチングによって求められた動きベクトルの一例を示す図である。
【図５】動きベクトル信頼性判定処理部によって行われる動きベクトルの信頼性判定処理の詳細な内容を示すフローチャートである。
【図６】図５に示すフローチャートのステップＳ２０７及びステップＳ２０８の詳細な処理内容を示すフローチャートである。
【図７】推定動きベクトルの算出方法を説明するための図である。
【図８】推定動きベクトルの別の算出方法を説明するための図である。
【図９】輝度値に応じた合成比率の決定方法を説明するための図である。
【図１０】長露光画像と短露光画像との間の輝度差に応じた合成比率の決定方法を説明するための図であり、図１０（ａ）は、動きベクトルの信頼性が高いと判定された場合の図、図１０（ｂ）は、動きベクトルの信頼性が低いと判定された場合の図である。
【図１１】第１の実施形態における撮影順序と位置合わせ処理の順序の関係を示す図である。
【図１２】第２の実施形態における撮影順序と位置合わせ処理の順序の関係を示す図である。
【図１３】第３の実施形態における撮影順序と位置合わせ処理の順序の関係を示す図である。
【図１４】第４の実施形態における撮影順序と位置合わせ処理の順序の関係を示す図である。
【図１５】第４の実施形態における推定動きベクトルの算出方法を説明するための図である。
【図１６】第４の実施形態における推定動きベクトルの別の算出方法を説明するための図である。
【図１７】第５の実施形態における撮影順序と位置合わせ処理の順序の関係を示す図である。
【図１８】第６の実施形態における撮影順序と位置合わせ処理の順序の関係を示す図である。
【発明を実施するための形態】
【００２６】
＜第１の実施形態＞
図１は、第１の実施形態における画像処理装置１０を備えたデジタルカメラ１の構成を示すブロック図である。デジタルカメラ１は、レンズと本体が一体型のカメラでもよいし、レンズ交換式のカメラでもよい。デジタルカメラ１は、光学系１００と、撮像素子１０１と、画像処理装置１０とを備える。
【００２７】
画像処理装置１０は、フレームメモリ１０２と、正規化処理部１０３と、動きベクトル演算部（第１の動きベクトル算出部、第２の動きベクトル算出部とも呼ぶ）１０４と、動きベクトル信頼性判定処理部（第１の信頼性判定部、第２の信頼性判定部とも呼ぶ）１０５と、動きベクトル補正処理部（推定動きベクトル算出部、動きベクトル置換部とも呼ぶ）１０６と、合成処理部（第１の位置ずれ補正部、第１の合成部、第２の位置ずれ補正部、第２の合成部とも呼ぶ）１０７と、画像処理部１０８と、制御部１０９とを備える。図中、実線の矢印はデータの流れを表しており、点線は制御信号を表している。
【００２８】
撮像素子１０１は、例えば、ＣＣＤやＣＭＯＳであり、レンズなどの光学系１００を介して入力される被写体光を光電変換することによって、電気信号として出力する。撮像素子１０１から出力される電気信号は、画像データとして、フレームメモリ１０２に格納される。フレームメモリ１０２に格納される画像データは、ベイヤ配列に基づいて画素ごとに、Ｒ（Ｒｅｄ）信号、Ｇ（Ｇｒｅｅｎ）信号、Ｂ（Ｂｌｕｅ）信号のうちのいずれか一つの情報を有するＲａｗ形式の画像データである。
【００２９】
正規化処理部１０３は、フレームメモリ１０２から画像データ１２０と撮影パラメータ１２１を読み出して、位置合わせ処理および合成処理を行う対象の複数の画像データ間の信号レベル（輝度レベル）を一致させるための正規化処理を行う。撮影パラメータ１２１には、画像撮影時の露光時間が少なくとも含まれる。正規化処理後の画像データ１２２は、フレームメモリ１０２に格納される。
【００３０】
動きベクトル演算部１０４は、正規化処理後の複数枚の画像データ１２２について、画像間の位置ずれを表す動きベクトルを求める。動きベクトル演算部１０４によって求められた動きベクトル１２３および動きベクトル演算の中間データ１２４は、フレームメモリ１０２に格納される。動きベクトル演算の中間データ１２４については、後述する。
【００３１】
動きベクトル信頼性判定処理部１０５は、動きベクトル演算部１０４で求めた動きベクトル１２３の信頼性の高低を、動きベクトル演算中間データ１２４に基づいて判定する。求めた信頼性判定結果１２５は、フレームメモリ１０２に格納される。
【００３２】
動きベクトル補正処理部１０６は、信頼性判定結果１２５に基づいて、動きベクトル１２３を補正する。求めた補正後の動きベクトル１２６は、フレームメモリ１０２に格納される。
【００３３】
合成処理部１０７は、正規化処理後の複数枚の画像データ１２２について、動きベクトル１２３または補正後の動きベクトル１２６に基づいて、画像データ間の位置ずれを補正した後に合成することによって合成画像データ１２７を生成し、フレームメモリ１０２に格納する。
【００３４】
画像処理部１０８は、合成画像データ１２７の各画素に、Ｒ信号、Ｇ信号、Ｂ信号を割り当てる現像処理（デモザイク処理）を行う。また、画像処理部１０８は、ノイズ低減処理やエッジ強調処理など、所望の画像を得るために必要な各種画像処理を行う。現像処理を含む各種画像処理が施された画像は、例えば、図示しないディスプレイに表示される。
【００３５】
制御部１０９は、デジタルカメラ１の全体制御を行う。
【００３６】
本実施の形態における画像処理装置１０では、露光時間の異なる複数枚の画像データを合成することによって、ダイナミックレンジを拡大した合成画像を生成する。このため、デジタルカメラ１は、露光条件を変えて連写撮影を行う。
【００３７】
図２は、第１の実施形態における画像処理装置を備えたデジタルカメラ１によって行われる合成画像生成処理の内容を示すフローチャートである。例えば、デジタルカメラ１が合成画像を生成するための合成画像生成モードに設定されており、ユーザによってレリーズボタンの押圧操作が行われると、ステップＳ２０１の処理を開始する。
【００３８】
ステップＳ２０１では、露光条件を変更しながら連写撮影を行う。ここでは、撮影シーンの明るさに応じて、露光アンダー側から露光オーバー側まで撮影できるように、露光条件を設定する。本実施形態では、絞り、ＩＳＯ感度を一定に保ち、露光時間(シャッタ速度)を変えながら撮影する。なお、露光時間、ＩＳＯ感度を一定に保ち、絞りを変えながら撮影しても、同様の効果を得ることができる。第１の実施形態では、短露光画像(高速シャッタ)・長露光画像(低速シャッタ)・中間露光画像(中速シャッタ)の順に画像が得られるように、３枚撮影する。撮影により得られた画像は、フレームメモリ１０２に格納される。
【００３９】
ステップＳ２０２〜Ｓ２０４は、短露光画像と中間露光画像の間の位置ずれ量を表す動きベクトルを求める処理である。
【００４０】
ステップＳ２０２において、正規化処理部１０３は、撮影時の撮影パラメータ１２１を用いて、短露光画像に対する中間露光画像の露光時間の比率を演算し、この比率に応じた係数を短露光画像の各画素値に乗算することにより、短露光画像と中間露光画像の信号レベルを一致させる正規化処理を行う。正規化処理後の画像は、フレームメモリ１０２に格納される。
【００４１】
ステップＳ２０３において、動きベクトル演算部１０４は、低露光画像と中間露光画像の正規化後の画像データ１２２を用いて、テンプレートマッチング処理を行い、動きベクトル１２３を演算する。テンプレートマッチングで用いるテンプレートおよびサーチ範囲の設定方法を図３に示す。
【００４２】
ステップＳ２０３では、低露光画像を位置合わせの基準座標系とする基準画像とし、中間露光画像を基準画像に対する位置ずれ量を求める位置合わせ対象画像とする。ここでは、基準画像３０において、テンプレート３０１を格子状に複数個設定し（図３（ａ）参照）、位置合わせ対象画像３１において、サーチ範囲３０２を格子状に複数個設定する。サーチ範囲３０２は、テンプレート３０１を含む所定の大きさの範囲である。テンプレートマッチングは既知の処理であるため、詳細な説明は省略するが、位置合わせ対象画像３１のサーチ範囲３０２内で基準画像３０のテンプレート３０１をずらしながら一致指標値を演算し、最も一致指標値が大きくなる（一致指標値によっては最も小さくなる）位置を探索する。
【００４３】
図４は、テンプレートマッチングによって求められた動きベクトルの一例を示す図である。位置合わせ対象画像３１において、一致指標値が最大(一致指標値によっては最小）となるテンプレート位置３０４を求め、求めたテンプレート位置３０４とテンプレートの設定位置３０３との間の位置ずれ量を動きベクトル１２３として求める。動きベクトル１２３は、設定されたテンプレート３０１ごとに求める。
【００４４】
また、ステップＳ２０３において、動きベクトル演算部１０４は、画像間の位置ずれ量と一致指標値の分布を表すデータを動きベクトル演算の中間データ１２４として求める。求めた動きベクトル１２３及び動きベクトル演算の中間データ１２４は、フレームメモリ１０２に格納される。
【００４５】
ステップＳ２０４において、動きベクトル信頼性判定処理部１０５は、動きベクトル演算の中間データ１２４を用いて、求めた動きベクトル１２３の信頼性を判定する。低コントラストの画像領域や、繰り返しパターンが存在する領域などでは、動きベクトル１２３を精度良く求めることは困難である。そこで、ステップＳ２０３で求めた動きベクトル１２３の確からしさを示す信頼性を判定する。動きベクトル１２３の信頼性を判定する方法について、図５を用いて説明する。
【００４６】
図５は、動きベクトル信頼性判定処理部１０５によって行われる動きベクトルの信頼性判定処理の詳細な内容を示すフローチャートである。
【００４７】
ステップＳ５０１では、ステップＳ２０３で求めた動きベクトル演算の中間データ１２４をフレームメモリ１０２から読み込む。
【００４８】
ステップＳ５０２では、動きベクトル演算の中間データ１２４を用いて、各動きベクトルについて信頼性を定量化する指標値を算出する。具体的には、下記（１）〜（３）の特性を用いて、信頼性を定量化する指標値を算出する。
【００４９】
（１）エッジ構造が鮮鋭な領域の場合、動きベクトルの信頼性が高い。この場合、位置ずれが除去できたときに、一致指標値は、一致度が高いことを意味する大きな値(指標値によっては、小さな値)を示すのに対して、位置ずれが残っている場合、一致指標値は小さな値(指標値によっては、大きな値)を示す。従って、テンプレートマッチングを行った際に、一致指標の変動が大きい。
【００５０】
（２）テクスチャや平坦な構造の場合、位置ずれが除去できた場合と位置ずれが残っている場合との間で一致指標値の変動が少なく、信頼性は低い。
【００５１】
（３）繰り返し構造の場合、一致指標値も周期的に変動し、信頼性は低い。
【００５２】
ただし、信頼性を判定する指標値は、低コントラスト領域や繰り返しパターン領域等のような位置合わせの手がかりが少ない領域を検出できるものであれば、任意の指標値でよい。例えば、特許第３１６４１２１号に記載されているように、各ブロックのエッジの量に基づいて信頼性の指標値を定義してもよい。
【００５３】
ステップＳ５０３では、ステップＳ５０２で求めた動きベクトル信頼性指標値を所定のしきい値と比較することにより、信頼性の高低を２段階で判定する。所定のしきい値は、動きベクトルの信頼性を判定するためのしきい値であり、予め適切な値を設定しておく。信頼性が高いと判定するとステップＳ５０４に進み、信頼性が低いと判定するとステップＳ５０５に進む。
【００５４】
ステップＳ５０４では、動きベクトル１２３の信頼性が高いという判定結果をフレームメモリ１０２に格納する。
【００５５】
一方、ステップＳ５０５では、動きベクトル１２３の信頼性が低いという判定結果をフレームメモリ１０２に格納する。
【００５６】
ステップＳ５０６では、全ての動きベクトルについて、信頼性判定処理を終了したか否かを判定する。全ての動きベクトルについて信頼性判定処理を終了していないと判定すると、ステップＳ５０１に戻り、未処理の動きベクトルを対象として、信頼性判定処理を行う。一方、全ての動きベクトルについて信頼性判定処理を終了したと判定すると、図２に示すフローチャートのステップＳ２０５に進む。
【００５７】
ステップＳ２０５〜Ｓ２０８は、短露光画像と長露光画像の間の位置ずれ量を表す動きベクトルを求める処理である。
【００５８】
ステップＳ２０５において、正規化処理部１０３は、撮影時の撮影パラメータ１２１を用いて、短露光画像に対する長露光画像の露光時間の比率を演算し、この比率に応じた係数を短露光画像の各画素値に乗算することにより、短露光画像と長露光画像の信号レベルを一致させる正規化処理を行う。正規化処理後の画像は、フレームメモリ１０２に格納される。
【００５９】
ステップＳ２０６において、動きベクトル演算部１０４は、短露光画像を基準画像とし、長露光画像を位置合わせ対象画像としてテンプレートマッチングを行い、両画像間の動きベクトルを求める。この処理は、ステップＳ２０３で行う処理と同様であるため、その詳しい説明は省略する。
【００６０】
ステップＳ２０７において、動きベクトル信頼性判定処理部１０５は、ステップＳ２０６で求めた動きベクトルの信頼性を高低の２段階で判定する。
【００６１】
ステップＳ２０８において、動きベクトル補正処理部１０６は、ステップＳ２０７で信頼性が低いと判定された動きベクトルについて、低露光画像と中間露光画像の位置合わせ処理結果に基づいた置換処理を行う。
【００６２】
図６は、図５に示すフローチャートのステップＳ２０７及びステップＳ２０８の詳細な処理内容を示すフローチャートである。
【００６３】
ステップＳ６０１では、図２のステップＳ２０６で求めた動きベクトル演算の中間データ１２４をフレームメモリ１０２から読み込む。
【００６４】
ステップＳ６０２では、動きベクトル演算の中間データ１２４を用いて、各動きベクトルについて信頼性を定量化する指標値を算出する。この処理は、図５のステップＳ５０２で行う処理と同様である。
【００６５】
ステップＳ６０３では、ステップＳ６０２で求めた動きベクトル信頼性指標値を所定のしきい値と比較することにより、信頼性の高低を２段階で判定する。信頼性が高いと判定すると、ステップＳ６０４に進み、信頼性が低いと判定すると、ステップＳ６０５に進む。
【００６６】
ステップＳ６０４では、信頼性が高いと判定された動きベクトルをそのまま出力して、フレームメモリ１０２に格納する。
【００６７】
一方、ステップＳ６０５では、ステップＳ２０２〜Ｓ２０４で求めた短露光画像と中間露光画像の間の動きベクトル、動きベクトルの信頼性判定結果、撮影間隔・撮影順序・露光時間情報をフレームメモリ１０２から読み込む。
【００６８】
ステップＳ６０６では、撮影間隔、撮影順序、短露光画像と中間露光画像の間の動きベクトルを用いて、短露光画像と長露光画像との間の推定動きベクトルを算出する。
【００６９】
図７は、推定動きベクトルの算出方法を説明するための図である。第１の実施形態では、短露光画像、長露光画像、中間露光画像の順で連写撮影しており、短露光画像と中間露光画像間の動きベクトルは、図２のステップＳ２０２〜Ｓ２０４で既に求めている。短露光画像と長露光画像の間の撮影間隔をＴ0、長露光画像と中間露光画像の間の撮影間隔をＴ1とし、手ブレや被写体動作などが短露光画像と中間露光画像の撮影時間内で一定であったと仮定すると、撮影間隔の比率から、短露光画像と長露光画像の間の推定動きベクトルは、次式（４）で表される。
【００７０】
【数４】
【００７１】
なお、図７を用いた計算方法では、撮影画像の代表的な時刻を露光開始時刻としている。
【００７２】
図８は、推定動きベクトルの別の算出方法を説明するための図である。図８を用いた計算例では、撮影画像の代表的な時刻を露光期間の中心とし、時間的により厳密にモデル化している。短露光画像、長露光画像、中間露光画像の露光時間をそれぞれｔ0、ｔ1、ｔ2とし、短露光画像と長露光画像の間の撮影間隔をＴ0、長露光画像と中間露光画像の間の撮影間隔をＴ1とし、手ブレや被写体動作などが短露光画像と中間露光画像の撮影時間内で一定であったと仮定すると、撮影間隔の比率から、短露光画像と長露光画像の間の推定動きベクトルは、次式（５）で表される。
【００７３】
【数５】
【００７４】
ステップＳ６０７では、短露光画像と中間露光画像の間の動きベクトルのうち、ステップＳ６０３で信頼性が低いと判定された動きベクトルと対応する動きベクトルの信頼性が高いか、低いかを判定する。ステップＳ６０３で信頼性が低いと判定された動きベクトルと対応する動きベクトルとは、設定されたテンプレートの位置が同じ位置にある動きベクトルのことである。動きベクトルの信頼性が高いと判定すると、ステップＳ６０８に進む。
【００７５】
ステップＳ６０８では、短露光画像と中間露光画像との間の動きベクトルの信頼性が高いので、ステップＳ６０６で求めた短露光画像と長露光画像との間の推定動きベクトルも信頼できると判断して、推定動きベクトルの置換処理を行う。すなわち、ステップＳ６０３で信頼性が低いと判定された短露光画像と長露光画像との間の動きベクトルを、ステップＳ６０６で求めた推定動きベクトルに置き換える。
【００７６】
ステップＳ６０９では、動きベクトルの信頼性が高いという判定結果をフレームメモリ１０２に格納する。
【００７７】
一方、ステップＳ６０７において、短露光画像と中間露光画像の間の動きベクトルのうち、ステップＳ６０３で信頼性が低いと判定された動きベクトルと対応する動きベクトルの信頼性が低いと判定すると、ステップＳ６１０に進む。ステップＳ６１０では、動きベクトルの信頼性が低いという判定結果をフレームメモリ１０２に格納する。
【００７８】
ステップＳ６１１では、全ての動きベクトルについて、ステップＳ６０１〜Ｓ６０３の処理を行ったか否かを判定する。全ての動きベクトルについての処理が完了していないと判定すると、ステップＳ６０１に戻り、未処理の動きベクトルについて、ステップＳ６０１以降の処理を行う。一方、全ての動きベクトルについての処理が完了したと判定すると、図２に示すフローチャートのステップＳ２０９に進む。
【００７９】
ステップＳ２０９において、合成処理部１０７は、ステップＳ２０２〜Ｓ２０４で求めた動きベクトルに基づいて、短露光画像と中間露光画像との間の位置ずれを補正し、位置ずれを補正した短露光画像と中間露光画像とを合成することによって、ダイナミックレンジを拡大した合成画像を生成する。画像の合成比率は、輝度値に応じた合成比率係数と、長露光画像と短露光画像の間の輝度差に応じた合成比率係数の２つの係数を用いて決定する。
【００８０】
図９は、輝度値に応じた合成比率の決定方法を説明するための図である。図９において、横軸は短露光画像の輝度値を示し、縦軸は輝度値に応じた長露光画像または中間露光画像の合成比率係数Ｗvalueを示す。また、輝度値の最小値を０、最大値を２５５とし、合成比率係数Ｗvalueの最小値を０、最大値を１としている。
【００８１】
画像の輝度が低い領域では、合成対象の中間露光画像または長露光画像の合成比率を高くすることにより、暗部ノイズを抑制し、輝度が高い領域では、短露光画像の合成比率を高くすることにより、白飛び（飽和）を抑制するように制御する。従って、図９に示すように、輝度が低い領域では、合成比率係数Ｗvalueを大きくし、輝度が高い領域では、合成比率係数Ｗvalueを小さくしている。
【００８２】
なお、図９では、短露光画像の輝度値と合成比率係数Ｗvalueとの関係を定めているが、長露光画像の輝度値と合成比率係数Ｗvalueとの関係を定めるようにしてもよい。
【００８３】
図１０は、長露光画像と短露光画像との間の輝度差に応じた合成比率の決定方法を説明するための図であり、図１０（ａ）は、動きベクトルの信頼性が高いと判定された場合の図、図１０（ｂ）は、動きベクトルの信頼性が低いと判定された場合の図である。図１０（ａ）及び図１０（ｂ）において、横軸は、正規化後の長露光画像（または中間露光画像）と、短露光画像との間の輝度差を示し、縦軸は、輝度差に応じた長露光画像（または中間露光画像）の合成比率Ｗdiffを示す。
【００８４】
図１０（ａ）および図１０（ｂ）に示すように、輝度差が小さい場合には、合成比率係数Ｗdiffを大きくし、輝度が大きい場合には、合成比率係数Ｗdiffを小さくする。本実施形態では、基準画像を短露光画像としているので、輝度差が小さい場合には、合成比率係数Ｗdiffを大きくして、長露光画像との合成を促進し、輝度差が大きい場合には、合成比率係数Ｗdiffを小さくして、長露光画像との合成を抑制する。基準画像を長露光画像とした場合も同様に、輝度差が小さい場合には合成を促進し、輝度差が大きい場合には合成を抑制するように、合成比率係数Ｗdiffを設定する。
【００８５】
ここで、動きベクトルの信頼性が高い領域では、輝度差が大きくなるに従って合成比率係数Ｗdiffが低下する割合は比較的緩慢となるようにする（図１０（ａ）参照）。一方、動きベクトルの信頼性が低い領域では、輝度差が大きくなるに従って合成比率係数Ｗdiffが比較的急峻に低下するようにする（図１０（ｂ）参照）。すなわち、輝度差が同じでも、動きベクトルの信頼性が低い領域では、動きベクトルの信頼性が高い領域に比べて合成比率係数Ｗdiffを小さくすることによって、合成を抑制するようにする。
【００８６】
連写撮影中に被写体が動いた場合、繰返しパターンや低コントラスト領域等では、正しい動きベクトル求めることは困難となる。正しい対応点が求められていない状態で合成処理を行うと、二重像などのアーティファクトが発生することがある。従って、動きベクトルの信頼性の高低に応じて、輝度差に応じた長露光画像の合成比率係数Ｗdiffを設定することにより、上記アーティファクトの発生を抑制することができる。
【００８７】
上述した方法により求めた合成比率係数Ｗvalueと、合成比率係数Ｗdiffとを用いて、次式（６）より、長露光画像の合成比率Ｗlongと短露光画像の合成比率Ｗshortを求める。
【００８８】
【数６】
【００８９】
長露光画像の信号値をＰlong、短露光画像の信号値をＰshortとすると、合成画像の信号値Ｐaddは次式（７）で与えられる。
【００９０】
【数７】
【００９１】
以上の処理により、ダイナミックレンジを拡大した合成画像を得ることができる。
【００９２】
図２のステップＳ２１０において、合成処理部１０７は、ステップＳ２０５〜Ｓ２０８で求めた動きベクトルを用いて、ステップＳ２０９で生成した合成画像と長露光画像との間の位置ずれを補正し、位置ずれを補正した合成画像と長露光画像とを合成する。画像の合成方法は、ステップＳ２０９で行う合成方法と同じである。なお、ステップＳ２０９では、短露光画像を基準として中間露光画像の位置ずれを補正している。従って、短露光画像と長露光画像間の動きベクトルは、短露光画像と中間露光画像とを合成して得られた合成画像と長露光画像間の動きベクトルと等しいので、ステップＳ２０５〜Ｓ２０８で求めた短露光画像と長露光画像間の動きベクトルを用いて、ステップＳ２０９で生成した合成画像と長露光画像との間の位置ずれを補正することができる。
【００９３】
ステップＳ２１１において、画像処理部１０８は、ステップ２１０の画像合成処理で得られた合成画像データ１２７の各画素に、Ｒ信号、Ｇ信号、Ｂ信号を割り当てる現像処理を行う。
【００９４】
図１１は、第１の実施形態における撮影順序と位置合わせ処理の順序の関係を示す図である。上述したように、短露光画像１１１、長露光画像１１２、中間露光画像１１３の順に撮影を行う。まず初めに、短露光画像１１１の信号レベルを中間露光画像１１３の信号レベルと一致させるための正規化処理を行うことによって、正規化処理後の画像１１４を作成し、正規化処理後の画像１１４と中間露光画像１１３との間で位置合わせ処理を行う。次に、短露光画像１１１の信号レベルを長露光画像１１２の信号レベルと一致させるための正規化処理を行うことによって、正規化処理後の画像１１５を作成し、正規化処理後の画像１１５と長露光画像１１２との間で位置合わせ処理を行う。
【００９５】
以上、第１の実施形態における画像処理装置は、異なる露光条件での連続的な撮影により得られた短露光画像、長露光画像、中間露光画像間の動きベクトルを求める装置であって、短露光画像上の複数の位置において、短露光画像と長露光画像間の動きベクトルである第１の動きベクトルを算出するとともに、第１の動きベクトルを算出した短露光画像上の複数の位置において、短露光画像と中間露光画像間の動きベクトルである第２の動きベクトルを算出する。第１の動きベクトルの信頼性の高低と、第２の動きベクトルの信頼性の高低を判定し、短露光画像上の複数の位置において算出された第１の動きベクトルのうち、信頼性が低いと判定された動きベクトルについて、対応する位置において算出された第２の動きベクトル、および、画像間の撮影間隔に基づいて、短露光画像と長露光画像間の推定動きベクトルを算出する。そして、信頼性が低いと判定された第１の動きベクトルと対応する位置において算出された第２の動きベクトルの信頼性が高い場合に、信頼性が低いと判定された第１の動きベクトルを、推定動きベクトルに置き換える。これにより、短露光画像と長露光画像間の露光段差が大きい場合でも、信頼性の高い短露光画像と中間露光画像間の動きベクトルと、画像間の撮影間隔とに基づいた推定動きベクトルを、短露光画像と長露光画像間の動きベクトルとして求めることができるので、位置合わせを精度良く行うことができる。
【００９６】
また、第２の動きベクトルに基づいて、短露光画像と中間露光画像間の位置ずれを補正し、位置ずれが補正された２つの画像を合成するとともに、推定動きベクトルの置き換えが行われている場合には、置き換え後の第１の動きベクトルに基づいて、また、置き換えが行われていない場合には、算出した第１の動きベクトルに基づいて、短露光画像と中間露光画像を用いて合成された画像と、長露光画像間の位置ずれを補正する。そして、位置ずれが補正された２つの画像を合成して、合成画像を生成する。これにより、像ぶれが抑制された広ダイナミックレンジ画像を生成することができる。
【００９７】
＜第２の実施形態＞
図１２は、第２の実施形態における撮影順序と位置合わせ処理の順序の関係を示す図である。第２の実施形態では、中間露光画像(中速シャッタ)、短露光画像(高速シャッタ)、長露光画像(低速シャッタ)の順に画像が得られるように撮影する。中間露光画像と短露光画像との間の露光段差（輝度差）は、中間露光画像と長露光画像との間の露光段差（輝度差）よりも大きいものとする。
【００９８】
第２の実施形態における位置合わせ処理の順序について説明する。本実施形態では、中間露光画像が位置合わせの基準画像となる。
【００９９】
まず初めに、中間露光画像１１３の信号レベルを長露光画像１１２の信号レベルと一致させるための正規化処理を行うことによって、正規化処理後の画像１１６を作成し、正規化処理後の画像１１６と長露光画像１１２との間で位置合わせ処理を行う。また、短露光画像１１１の信号レベルを中間露光画像１１３の信号レベルと一致させるための正規化処理を行うことによって、正規化処理後の画像１１７を作成し、正規化処理後の画像１１７と中間露光画像１１３との間で位置合わせ処理を行う。
【０１００】
中間露光画像１１３と短露光画像１１１との間の位置合わせは、中間露光画像１１３と長露光画像１１２との間の位置合わせに比べて、ノイズの影響を受けやすく、求めた動きベクトルの正確さが低い可能性がある。本実施形態では、中間露光画像１１３と短露光画像１１１との間の動きベクトルのうち、信頼性が低いと判定された動きベクトルについて、中間露光画像１１３と長露光画像１１２の位置合わせ処理結果に基づいた置換処理を行う。置換処理の方法は、第１の実施形態で行った置換処理の方法と同様である。
【０１０１】
以上、第２の実施形態における画像処理装置によれば、中間露光画像、短露光画像、長露光画像の順に撮影され、中間露光画像と短露光画像との間の露光段差が中間露光画像と長露光画像との間の露光段差より大きい場合でも、信頼性の高い中間露光画像と長露光画像間の動きベクトルと、画像間の撮影間隔とに基づいた推定動きベクトルを、中間露光画像と短露光画像間の動きベクトルとして求めることができるので、位置合わせを精度良く行うことができる。
【０１０２】
＜第３の実施形態＞
図１３は、第３の実施形態における撮影順序と位置合わせ処理の順序の関係を示す図である。第３の実施形態では、中間露光画像(中速シャッタ)、長露光画像(低速シャッタ) 、短露光画像(高速シャッタ)の順に画像が得られるように撮影する。中間露光画像と長露光画像との間の露光段差（輝度差）は、中間露光画像と短露光画像との間の露光段差（輝度差）よりも大きいものとする。
【０１０３】
第３の実施形態における位置合わせ処理の順序について説明する。本実施形態では、中間露光画像が位置合わせの基準画像となる。
【０１０４】
まず初めに、短露光画像１１１の信号レベルを中間露光画像１１３の信号レベルと一致させるための正規化処理を行うことによって、正規化処理後の画像１１８を作成し、正規化処理後の画像１１８と中間露光画像１１３との間で位置合わせ処理を行う。また、中間露光画像１１３の信号レベルを長露光画像１１２の信号レベルと一致させるための正規化処理を行うことによって、正規化処理後の画像１１９を作成し、正規化処理後の画像１１９と長露光画像１１２との間で位置合わせ処理を行う。
【０１０５】
中間露光画像１１３と長露光画像１１２との間の位置合わせは、中間露光画像１１３と短露光画像１１１との間の位置合わせに比べて、飽和の影響を受けやすく、求めた動きベクトルの正確さが低い可能性がある。本実施形態では、中間露光画像１１３と長露光画像１１２との間の動きベクトルのうち、信頼性が低いと判定された動きベクトルについて、中間露光画像１１３と短露光画像１１１の位置合わせ処理結果に基づいた置換処理を行う。置換処理の方法は、第１の実施形態で行った置換処理の方法と同様である。
【０１０６】
以上、第３の実施形態における画像処理装置によれば、中間露光画像、長露光画像、短露光画像の順に撮影され、中間露光画像と長露光画像との間の露光段差が中間露光画像と短露光画像との間の露光段差より大きい場合でも、信頼性の高い中間露光画像と短露光画像間の動きベクトルと、画像間の撮影間隔とに基づいた推定動きベクトルを、中間露光画像と長露光画像間の動きベクトルとして求めることができるので、位置合わせを精度良く行うことができる。
【０１０７】
＜第４の実施形態＞
図１４は、第４の実施形態における撮影順序と位置合わせ処理の順序の関係を示す図である。第４の実施形態では、短露光画像(高速シャッタ)、中間露光画像(中速シャッタ)、長露光画像(低速シャッタ) の順に画像が得られるように撮影する。
【０１０８】
第４の実施形態における位置合わせ処理の順序について説明する。本実施形態では、短露光画像が位置合わせの基準画像となる。
【０１０９】
まず初めに、短露光画像１１１の信号レベルを中間露光画像１１３の信号レベルと一致させるための正規化処理を行うことによって、正規化処理後の画像１３１を作成し、正規化処理後の画像１３１と中間露光画像１１３との間で位置合わせ処理を行う。また、短露光画像１１１の信号レベルを長露光画像１１２の信号レベルと一致させるための正規化処理を行うことによって、正規化処理後の画像１３２を作成し、正規化処理後の画像１３２と長露光画像１１２との間で位置合わせ処理を行う。
【０１１０】
短露光画像１１１と長露光画像１１２との間の位置合わせは、短露光画像１１１と中間露光画像１１３との間の位置合わせに比べて、センサの非線形性の影響を受けやすく、求めた動きベクトルの正確さが低い可能性がある。本実施形態では、短露光画像１１１と長露光画像１１２との間の動きベクトルのうち、信頼性が低いと判定された動きベクトルについて、短露光画像１１１と中間露光画像１１３との位置合わせ処理結果に基づいた置換処理を行う。置換処理の方法は、第１の実施形態で行った置換処理の方法と同様であるが、推定動きベクトルの算出方法が第１の実施形態で行った算出方法と異なる。従って、以下では、第４の実施形態における推定動きベクトルの算出方法について説明する。
【０１１１】
図１５は、第４の実施形態における推定動きベクトルの算出方法を説明するための図である。第４の実施形態では、短露光画像、中間露光画像、長露光画像の順で連写撮影しており、短露光画像と中間露光画像間の動きベクトルは、先に求めている。短露光画像と中間露光画像の間の撮影間隔をＴ0、中間露光画像と長露光画像との間の撮影間隔をＴ1とし、手ブレや被写体動作などが短露光画像と長露光画像の撮影時間内で一定であったと仮定すると、撮影間隔の比率から短露光画像と長露光画像の推定動きベクトルは次式（８）で表される。
【０１１２】
【数８】
【０１１３】
なお、式（８）による計算方法では、撮影画像の代表的な時刻を露光開始時刻としている。
【０１１４】
図１６は、推定動きベクトルの別の算出方法を説明するための図である。図１６を用いた計算例では、撮影画像の代表的な時刻を露光期間の中心とし、時間的により厳密にモデル化している。短露光画像、中間露光画像、長露光画像の露光時間をそれぞれｔ0、ｔ1、ｔ2とし、短露光画像と中間露光画像の間の撮影間隔をＴ0、中間露光画像と長露光画像の間の撮影間隔をＴ1とし、手ブレや被写体動作などが短露光画像と長露光画像の撮影時間内で一定であったと仮定すると、撮影間隔の比率から短露光画像と長露光画像の推定動きベクトルは次式（９）で表される。
【０１１５】
【数９】
【０１１６】
以上、第４の実施形態における画像処理装置によれば、短露光画像、中間露光画像、長露光画像の順に撮影され、短露光画像と長露光画像間の露光段差が大きい場合でも、信頼性の高い短露光画像と中間露光画像間の動きベクトルと、画像間の撮影間隔とに基づいた推定動きベクトルを、短露光画像と長露光画像間の動きベクトルとして求めることができるので、位置合わせを精度良く行うことができる。
【０１１７】
＜第５の実施形態＞
図１７は、第５の実施形態における撮影順序と位置合わせ処理の順序の関係を示す図である。第５の実施形態では、中間露光画像(中速シャッタ)、長露光画像(低速シャッタ) 、短露光画像(高速シャッタ)の順に画像が得られるように撮影する。中間露光画像と短露光画像との間の露光段差（輝度差）は、中間露光画像と長露光画像との間の露光段差（輝度差）よりも大きいものとする。
【０１１８】
第５の実施形態における位置合わせ処理の順序について説明する。本実施形態では、中間露光画像が位置合わせの基準画像となる。
【０１１９】
まず初めに、中間露光画像１１３の信号レベルを長露光画像１１２の信号レベルと一致させるための正規化処理を行うことによって、正規化処理後の画像１３３を作成し、正規化処理後の画像１３３と長露光画像１１２との間で位置合わせ処理を行う。また、短露光画像１１１の信号レベルを中間露光画像１１３の信号レベルと一致させるための正規化処理を行うことによって、正規化処理後の画像１３４を作成し、正規化処理後の画像１３４と中間露光画像１１３との間で位置合わせ処理を行う。
【０１２０】
中間露光画像１１３と短露光画像１１１との間の位置合わせは、中間露光画像１１３と長露光画像１１２との間の位置合わせに比べて、ノイズの影響を受けやすく、求めた動きベクトルの正確さが低い可能性がある。本実施形態では、中間露光画像１１３と短露光画像１１１との間の動きベクトルのうち、信頼性が低いと判定された動きベクトルについて、中間露光画像１１３と長露光画像１１２の位置合わせ処理結果に基づいた置換処理を行う。置換処理の方法は、第１の実施形態で行った置換処理の方法と同じである。また、推定動きベクトルの算出方法は、第４の実施形態で説明した推定動きベクトルの算出方法と同様である。
【０１２１】
以上、第５の実施形態における画像処理装置によれば、中間露光画像、長露光画像、短露光画像の順に撮影され、中間露光画像と短露光画像との間の露光段差が中間露光画像と長露光画像との間の露光段差より大きい場合でも、信頼性の高い中間露光画像と長露光画像間の動きベクトルと、画像間の撮影間隔とに基づいた推定動きベクトルを、中間露光画像と短露光画像間の動きベクトルとして求めることができるので、位置合わせを精度良く行うことができる。
【０１２２】
＜第６の実施形態＞
図１８は、第６の実施形態における撮影順序と位置合わせ処理の順序の関係を示す図である。第６の実施形態では、中間露光画像(中速シャッタ)、短露光画像(高速シャッタ) 、長露光画像(低速シャッタ)の順に画像が得られるように撮影する。中間露光画像と長露光画像との間の露光段差（輝度差）は、中間露光画像と短露光画像との間の露光段差（輝度差）よりも大きいものとする。
【０１２３】
第６の実施形態における位置合わせ処理の順序について説明する。本実施形態では、中間露光画像が位置合わせの基準画像となる。
【０１２４】
まず初めに、短露光画像１１１の信号レベルを中間露光画像１１３の信号レベルと一致させるための正規化処理を行うことによって、正規化処理後の画像１３５を作成し、正規化処理後の画像１３５と中間露光画像１１３との間で位置合わせ処理を行う。また、中間露光画像１１３の信号レベルを長露光画像１１２の信号レベルと一致させるための正規化処理を行うことによって、正規化処理後の画像１３６を作成し、正規化処理後の画像１３６と長露光画像１１２との間で位置合わせ処理を行う。
【０１２５】
中間露光画像１１３と長露光画像１１２との間の位置合わせは、中間露光画像１１３と短露光画像１１１との間の位置合わせに比べて、飽和の影響を受けやすく、求めた動きベクトルの正確さが低い可能性がある。本実施形態では、中間露光画像１１３と長露光画像１１２との間の動きベクトルのうち、信頼性が低いと判定された動きベクトルについて、中間露光画像１１３と短露光画像１１１の位置合わせ処理結果に基づいた置換処理を行う。置換処理の方法は、第１の実施形態で行った置換処理の方法と同様である。また、推定動きベクトルの算出方法は、第４の実施形態で説明した推定動きベクトルの算出方法と同様である。
【０１２６】
以上、第６の実施形態における画像処理装置によれば、中間露光画像、短露光画像、長露光画像の順に撮影され、中間露光画像と長露光画像との間の露光段差が中間露光画像と短露光画像との間の露光段差より大きい場合でも、信頼性の高い中間露光画像と短露光画像間の動きベクトルと、画像間の撮影間隔とに基づいた推定動きベクトルを、中間露光画像と長露光画像間の動きベクトルとして求めることができるので、位置合わせを精度良く行うことができる。
【０１２７】
なお、上述した第１〜第６の実施形態の説明では、画像処理装置が行う処理としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、コンピュータでソフトウェア処理を行う構成も可能である。この場合、コンピュータは、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記憶されたコンピュータ読み取り可能な記憶媒体を備えている。ここでは、このプログラムを画像処理プログラムと呼ぶ。そして、ＣＰＵが上記記憶媒体に記憶されている画像処理プログラムを読み出して、情報の加工・演算処理を実行することにより、上述の画像処理装置と同様の処理を実現させる。
【０１２８】
ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、この画像処理プログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該画像処理プログラムを実行するようにしても良い。
【０１２９】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。
【０１３０】
上述した実施の形態では、画像処理装置を搭載したカメラをデジタルカメラとして説明したが、連写撮影により得られた複数の画像を合成して合成画像を生成するカメラであれば、ビデオカメラやムービーカメラでもよく、さらに、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでもよい。
【０１３１】
上述した実施形態では、短露光画像、長露光画像、中間露光画像の３枚の画像を合成することによって、ダイナミックレンジを拡大した合成画像を生成する例について説明した。しかし、４枚以上の画像を合成することによって、ダイナミックレンジを拡大した合成画像を生成することもできる。この場合でも、４枚以上の画像のうちの３枚の画像を合成する際に、上述した実施形態で説明した位置合わせ方法および合成方法を用いればよい。
【符号の説明】
【０１３２】
１…デジタルカメラ
１０…画像処理装置
１０３…正規化処理部
１０４…動きベクトル演算部
１０５…動きベクトル信頼性判定処理部
１０６…動きベクトル補正処理部
１０７…合成処理部
１０８…画像処理部
１０９…制御部
【特許請求の範囲】
【請求項１】
異なる露光条件での連続的な撮影により得られた第１の画像、第２の画像、および、第３の画像で、前記第１の画像および前記第２の画像間の露光量差は、前記第１の画像および前記第３の画像間の露光量差より大きい、少なくとも３つの画像間の動きベクトルを求める画像処理装置であって、
前記第１の画像上の複数の位置において、前記第１の画像と前記第２の画像間の動きベクトルである第１の動きベクトルを算出する第１の動きベクトル算出部と、
前記第１の動きベクトルを算出した前記第１の画像上の複数の位置において、前記第１の画像と前記第３の画像間の動きベクトルである第２の動きベクトルを算出する第２の動きベクトル算出部と、
前記第１の動きベクトルの信頼性の高低を判定する第１の信頼性判定部と、
前記第２の動きベクトルの信頼性の高低を判定する第２の信頼性判定部と、
前記第１の画像上の複数の位置において算出された前記第１の動きベクトルのうち、信頼性が低いと判定された動きベクトルについて、対応する位置において算出された前記第２の動きベクトル、および、画像間の撮影間隔に基づいて、前記第１の画像と前記第２の画像間の推定動きベクトルを算出する推定動きベクトル算出部と、
前記信頼性が低いと判定された第１の動きベクトルと対応する位置において算出された前記第２の動きベクトルの信頼性が高い場合に、前記信頼性が低いと判定された第１の動きベクトルを、前記推定動きベクトルに置き換える動きベクトル置換部と、
を備えることを特徴とする画像処理装置。
【請求項２】
撮影順序は、前記第１の画像、前記第２の画像、前記第３の画像の順であって、前記第１の画像は、短露光画像であり、前記第３の画像は、前記短露光画像よりも露光時間の長い中間露光画像であり、前記第２の画像は、前記中間露光画像よりも露光時間の長い長露光画像である、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
撮影順序は、前記第１の画像、前記第２の画像、前記第３の画像の順であって、前記第１の画像は、中間露光画像であり、前記第２の画像は、前記中間露光画像よりも露光時間の短い短露光画像であり、前記第３の画像は、前記中間露光画像よりも露光時間の長い長露光画像である、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
撮影順序は、前記第１の画像、前記第２の画像、前記第３の画像の順であって、前記第１の画像は、中間露光画像であり、前記第２の画像は、前記中間露光画像よりも露光時間の長い長露光画像であり、前記第３の画像は、前記中間露光画像よりも露光時間の短い短露光画像である、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
撮影順序は、前記第１の画像、前記第３の画像、前記第２の画像の順であって、前記第１の画像は、短露光画像であり、前記第３の画像は、前記短露光画像よりも露光時間の長い中間露光画像であり、前記第２の画像は、前記中間露光画像よりも露光時間の長い長露光画像である、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
撮影順序は、前記第１の画像、前記第３の画像、前記第２の画像の順であって、前記第１の画像は、中間露光画像であり、前記第２の画像は、前記中間露光画像よりも露光時間の短い短露光画像であり、前記第３の画像は、前記中間露光画像よりも露光時間の長い長露光画像である、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項７】
撮影順序は、前記第１の画像、前記第３の画像、前記第２の画像の順であって、前記第１の画像は、中間露光画像であり、前記第２の画像は、前記中間露光画像よりも露光時間の長い長露光画像であり、前記第３の画像は、前記中間露光画像よりも露光時間の短い短露光画像である、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記第２の動きベクトルに基づいて、前記第１の画像と前記第３の画像間の位置ずれを補正する第１の位置ずれ補正部と、
前記第１の位置ずれ補正部によって位置ずれが補正された２つの画像を合成する第１の合成部と、
前記動きベクトル置換部による置き換えが行われている場合には、前記置き換え後の第１の動きベクトルに基づいて、また、前記動きベクトル置換部による置き換えが行われていない場合には、前記第１の動きベクトル算出部によって算出された第１の動きベクトルに基づいて、前記第１の合成部によって合成された画像と前記第２の画像間の位置ずれを補正する第２の位置ずれ補正部と、
前記第２の位置ずれ補正部によって位置ずれが補正された２つの画像を合成して、合成画像を生成する第２の合成部と、
を備えることを特徴とする請求項２に記載の画像処理装置。
【請求項９】
異なる露光条件での連続的な撮影により得られた第１の画像、第２の画像、および、第３の画像で、前記第１の画像および前記第２の画像間の露光量差は、前記第１の画像および前記第３の画像間の露光量差より大きい、少なくとも３つの画像間の動きベクトルを求める画像処理方法であって、
前記第１の画像上の複数の位置において、前記第１の画像と前記第２の画像間の動きベクトルである第１の動きベクトルを算出するステップと、
前記第１の動きベクトルを算出した前記第１の画像上の複数の位置において、前記第１の画像と前記第３の画像間の動きベクトルである第２の動きベクトルを算出するステップと、
前記第１の動きベクトルの信頼性の高低を判定するステップと、
前記第２の動きベクトルの信頼性の高低を判定するステップと、
前記第１の画像上の複数の位置において算出された前記第１の動きベクトルのうち、信頼性が低いと判定された動きベクトルについて、対応する位置において算出された前記第２の動きベクトル、および、画像間の撮影間隔に基づいて、前記第１の画像と前記第２の画像間の推定動きベクトルを算出するステップと、
前記信頼性が低いと判定された第１の動きベクトルと対応する位置において算出された前記第２の動きベクトルの信頼性が高い場合に、前記信頼性が低いと判定された第１の動きベクトルを、前記推定動きベクトルに置き換えるステップと、
を備えることを特徴とする画像処理方法。
【請求項１０】
異なる露光条件での連続的な撮影により得られた第１の画像、第２の画像、および、第３の画像で、前記第１の画像および前記第２の画像間の露光量差は、前記第１の画像および前記第３の画像間の露光量差より大きい、少なくとも３つの画像間の動きベクトルを求めるための画像処理プログラムであって、
前記第１の画像上の複数の位置において、前記第１の画像と前記第２の画像間の動きベクトルである第１の動きベクトルを算出するステップと、
前記第１の動きベクトルを算出した前記第１の画像上の複数の位置において、前記第１の画像と前記第３の画像間の動きベクトルである第２の動きベクトルを算出するステップと、
前記第１の動きベクトルの信頼性の高低を判定するステップと、
前記第２の動きベクトルの信頼性の高低を判定するステップと、
前記第１の画像上の複数の位置において算出された前記第１の動きベクトルのうち、信頼性が低いと判定された動きベクトルについて、対応する位置において算出された前記第２の動きベクトル、および、画像間の撮影間隔に基づいて、前記第１の画像と前記第２の画像間の推定動きベクトルを算出するステップと、
前記信頼性が低いと判定された第１の動きベクトルと対応する位置において算出された前記第２の動きベクトルの信頼性が高い場合に、前記信頼性が低いと判定された第１の動きベクトルを、前記推定動きベクトルに置き換えるステップと、
をコンピュータに実行させるための画像処理プログラム。
【請求項１】
異なる露光条件での連続的な撮影により得られた第１の画像、第２の画像、および、第３の画像で、前記第１の画像および前記第２の画像間の露光量差は、前記第１の画像および前記第３の画像間の露光量差より大きい、少なくとも３つの画像間の動きベクトルを求める画像処理装置であって、
前記第１の画像上の複数の位置において、前記第１の画像と前記第２の画像間の動きベクトルである第１の動きベクトルを算出する第１の動きベクトル算出部と、
前記第１の動きベクトルを算出した前記第１の画像上の複数の位置において、前記第１の画像と前記第３の画像間の動きベクトルである第２の動きベクトルを算出する第２の動きベクトル算出部と、
前記第１の動きベクトルの信頼性の高低を判定する第１の信頼性判定部と、
前記第２の動きベクトルの信頼性の高低を判定する第２の信頼性判定部と、
前記第１の画像上の複数の位置において算出された前記第１の動きベクトルのうち、信頼性が低いと判定された動きベクトルについて、対応する位置において算出された前記第２の動きベクトル、および、画像間の撮影間隔に基づいて、前記第１の画像と前記第２の画像間の推定動きベクトルを算出する推定動きベクトル算出部と、
前記信頼性が低いと判定された第１の動きベクトルと対応する位置において算出された前記第２の動きベクトルの信頼性が高い場合に、前記信頼性が低いと判定された第１の動きベクトルを、前記推定動きベクトルに置き換える動きベクトル置換部と、
を備えることを特徴とする画像処理装置。
【請求項２】
撮影順序は、前記第１の画像、前記第２の画像、前記第３の画像の順であって、前記第１の画像は、短露光画像であり、前記第３の画像は、前記短露光画像よりも露光時間の長い中間露光画像であり、前記第２の画像は、前記中間露光画像よりも露光時間の長い長露光画像である、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
撮影順序は、前記第１の画像、前記第２の画像、前記第３の画像の順であって、前記第１の画像は、中間露光画像であり、前記第２の画像は、前記中間露光画像よりも露光時間の短い短露光画像であり、前記第３の画像は、前記中間露光画像よりも露光時間の長い長露光画像である、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
撮影順序は、前記第１の画像、前記第２の画像、前記第３の画像の順であって、前記第１の画像は、中間露光画像であり、前記第２の画像は、前記中間露光画像よりも露光時間の長い長露光画像であり、前記第３の画像は、前記中間露光画像よりも露光時間の短い短露光画像である、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
撮影順序は、前記第１の画像、前記第３の画像、前記第２の画像の順であって、前記第１の画像は、短露光画像であり、前記第３の画像は、前記短露光画像よりも露光時間の長い中間露光画像であり、前記第２の画像は、前記中間露光画像よりも露光時間の長い長露光画像である、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
撮影順序は、前記第１の画像、前記第３の画像、前記第２の画像の順であって、前記第１の画像は、中間露光画像であり、前記第２の画像は、前記中間露光画像よりも露光時間の短い短露光画像であり、前記第３の画像は、前記中間露光画像よりも露光時間の長い長露光画像である、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項７】
撮影順序は、前記第１の画像、前記第３の画像、前記第２の画像の順であって、前記第１の画像は、中間露光画像であり、前記第２の画像は、前記中間露光画像よりも露光時間の長い長露光画像であり、前記第３の画像は、前記中間露光画像よりも露光時間の短い短露光画像である、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記第２の動きベクトルに基づいて、前記第１の画像と前記第３の画像間の位置ずれを補正する第１の位置ずれ補正部と、
前記第１の位置ずれ補正部によって位置ずれが補正された２つの画像を合成する第１の合成部と、
前記動きベクトル置換部による置き換えが行われている場合には、前記置き換え後の第１の動きベクトルに基づいて、また、前記動きベクトル置換部による置き換えが行われていない場合には、前記第１の動きベクトル算出部によって算出された第１の動きベクトルに基づいて、前記第１の合成部によって合成された画像と前記第２の画像間の位置ずれを補正する第２の位置ずれ補正部と、
前記第２の位置ずれ補正部によって位置ずれが補正された２つの画像を合成して、合成画像を生成する第２の合成部と、
を備えることを特徴とする請求項２に記載の画像処理装置。
【請求項９】
異なる露光条件での連続的な撮影により得られた第１の画像、第２の画像、および、第３の画像で、前記第１の画像および前記第２の画像間の露光量差は、前記第１の画像および前記第３の画像間の露光量差より大きい、少なくとも３つの画像間の動きベクトルを求める画像処理方法であって、
前記第１の画像上の複数の位置において、前記第１の画像と前記第２の画像間の動きベクトルである第１の動きベクトルを算出するステップと、
前記第１の動きベクトルを算出した前記第１の画像上の複数の位置において、前記第１の画像と前記第３の画像間の動きベクトルである第２の動きベクトルを算出するステップと、
前記第１の動きベクトルの信頼性の高低を判定するステップと、
前記第２の動きベクトルの信頼性の高低を判定するステップと、
前記第１の画像上の複数の位置において算出された前記第１の動きベクトルのうち、信頼性が低いと判定された動きベクトルについて、対応する位置において算出された前記第２の動きベクトル、および、画像間の撮影間隔に基づいて、前記第１の画像と前記第２の画像間の推定動きベクトルを算出するステップと、
前記信頼性が低いと判定された第１の動きベクトルと対応する位置において算出された前記第２の動きベクトルの信頼性が高い場合に、前記信頼性が低いと判定された第１の動きベクトルを、前記推定動きベクトルに置き換えるステップと、
を備えることを特徴とする画像処理方法。
【請求項１０】
異なる露光条件での連続的な撮影により得られた第１の画像、第２の画像、および、第３の画像で、前記第１の画像および前記第２の画像間の露光量差は、前記第１の画像および前記第３の画像間の露光量差より大きい、少なくとも３つの画像間の動きベクトルを求めるための画像処理プログラムであって、
前記第１の画像上の複数の位置において、前記第１の画像と前記第２の画像間の動きベクトルである第１の動きベクトルを算出するステップと、
前記第１の動きベクトルを算出した前記第１の画像上の複数の位置において、前記第１の画像と前記第３の画像間の動きベクトルである第２の動きベクトルを算出するステップと、
前記第１の動きベクトルの信頼性の高低を判定するステップと、
前記第２の動きベクトルの信頼性の高低を判定するステップと、
前記第１の画像上の複数の位置において算出された前記第１の動きベクトルのうち、信頼性が低いと判定された動きベクトルについて、対応する位置において算出された前記第２の動きベクトル、および、画像間の撮影間隔に基づいて、前記第１の画像と前記第２の画像間の推定動きベクトルを算出するステップと、
前記信頼性が低いと判定された第１の動きベクトルと対応する位置において算出された前記第２の動きベクトルの信頼性が高い場合に、前記信頼性が低いと判定された第１の動きベクトルを、前記推定動きベクトルに置き換えるステップと、
をコンピュータに実行させるための画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１５】
【図１６】
【図１１】
【図１２】
【図１３】
【図１４】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１５】
【図１６】
【図１１】
【図１２】
【図１３】
【図１４】
【図１７】
【図１８】
【公開番号】特開２０１２−２３５１９７（Ｐ２０１２−２３５１９７Ａ）
【公開日】平成２４年１１月２９日（２０１２．１１．２９）
【国際特許分類】
【出願番号】特願２０１１−１００７３８（Ｐ２０１１−１００７３８）
【出願日】平成２３年４月２８日（２０１１．４．２８）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２４年１１月２９日（２０１２．１１．２９）
【国際特許分類】
【出願日】平成２３年４月２８日（２０１１．４．２８）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]