画像処理プログラム、画像処理装置、および撮像装置
【課題】 複数のディジタル画像の位置合わせにおいて、局所解に陥る可能性を低減しつつ、高精度な位置合わせを実現すること。
【解決手段】 ２つの画像の位置合わせをコンピュータで実現するための画像処理プログラムであって、２つの画像を取得する取得ステップと、複数のパラメータを用いて、位置合わせに関する評価値を、２つの画像に基づいて算出する算出ステップと、複数のパラメータのそれぞれの重みを設定する設定ステップと、設定ステップにおいて設定された異なるパラメータを用いて算出ステップにおいて算出された複数の評価値を比較して、２つの画像の相対的な位置を検出する検出ステップとを備える。
【解決手段】 ２つの画像の位置合わせをコンピュータで実現するための画像処理プログラムであって、２つの画像を取得する取得ステップと、複数のパラメータを用いて、位置合わせに関する評価値を、２つの画像に基づいて算出する算出ステップと、複数のパラメータのそれぞれの重みを設定する設定ステップと、設定ステップにおいて設定された異なるパラメータを用いて算出ステップにおいて算出された複数の評価値を比較して、２つの画像の相対的な位置を検出する検出ステップとを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２つの画像の重ね合わせをコンピュータで実現するための画像処理プログラム、２つの画像の重ね合わせを行う画像処理装置、およびその画像処理装置を備えた撮像装置に関する。
【背景技術】
【０００２】
従来より、高解像度化などを目的として、複数のディジタル画像の重ね合わせが行われている。このような重ね合わせに際しては、複数の画像を正確に位置合わせすることが重要である。そこで、位置合わせに関する技術について、画像処理への適用内容に応じて、高速な手法や高精度な手法など、様々なものが考えられている。例えば、非特許文献１では、高精度な手法の一例として、幾何変換のパラメータを非線形最小二乗法により算出する技術が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
上述した技術は、高精度な位置合わせが可能であるため、非常に有効である。しかし、非線形最小二乗法を利用した解の算出過程において、局所解に陥る可能性がある。このような問題を解決するためには、パラメータの初期値や収束条件を適切に調整することが必要である。
【０００４】
本発明は、上記問題に鑑みてなされたものであり、複数のディジタル画像の位置合わせにおいて、局所解に陥る可能性を低減しつつ、高精度な位置合わせを実現することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の画像処理プログラムは、２つの画像の位置合わせをコンピュータで実現するための画像処理プログラムであって、前記２つの画像を取得する取得ステップと、複数のパラメータを用いて、前記位置合わせに関する評価値を、前記２つの画像に基づいて算出する算出ステップと、前記複数のパラメータのそれぞれの重みを設定する設定ステップと、前記設定ステップにおいて設定された異なる前記パラメータを用いて前記算出ステップにおいて算出された複数の前記評価値を比較して、前記２つの画像の相対的な位置を検出する検出ステップとを備える。
【０００６】
なお、前記複数のパラメータは、前記位置合わせに関して異なる特性を有するパラメータを含んでも良い。
【０００７】
また、前記複数のパラメータは、前記位置合わせにおける並進方向の変化に関するパラメータと、前記位置合わせにおける回転方向の変化に関するパラメータと、前記位置合わせにおける拡大縮小に関するパラメータとのうち少なくとも２つのパラメータを含んでも良い。
【０００８】
また、前記複数のパラメータは、前記２つの画像を幾何変換するためのパラメータであり、前記算出ステップでは、前記複数のパラメータを用いて前記２つの画像の少なくとも一方を幾何変換した後に、前記評価値を算出しても良い。
【０００９】
また、前記設定ステップでは、前記２つの画像が生成された際の撮影条件と、前記２つの画像に含まれる主要被写体に関する情報との少なくとも一方に基づいて、前記重みを設定しても良い。
また、前記２つの画像から、特定の領域の画像を抽出する抽出ステップを備え、前記算出ステップでは、前記複数のパラメータを用いて、前記評価値を、前記抽出ステップにおいて抽出した画像に基づいて算出しても良い。
なお、上記発明に関する構成を、２つの画像の位置合わせを行う画像処理装置に変換して表現したものも本発明の具体的態様として有効である。また、その画像処理装置を備えた撮像装置も本発明の具体的態様として有効である。
【発明の効果】
【００１０】
本発明によれば、複数のディジタル画像の位置合わせにおいて、局所解に陥る可能性を低減しつつ、高精度な位置合わせを実現することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一の実施形態に係る画像処理方法をコンピュータ１０へ適用した場合の概念図である。
【図２】本発明の一の実施形態におけるＣＰＵ１の動作を示す流れ図である。
【発明を実施するための最良の形態】
【００１２】
図１は、本発明の一の実施形態に係る画像処理方法をコンピュータ１０へ適用した場合の概念図である。
【００１３】
図１に示すコンピュータ１０は、ＣＰＵ１、記憶部２、入出力インタフェース（入出力Ｉ／Ｆ）３およびバス４から構成され、ＣＰＵ１、記憶部２および入出力Ｉ／Ｆ３は、バス４を介して情報伝達可能に接続される。また、コンピュータ１０には、入出力Ｉ／Ｆ３を介して、画像処理の途中経過や処理結果を表示する出力装置２０、ユーザからの入力を受け付ける入力装置３０がそれぞれ接続される。出力装置２０には、一般的な液晶モニタやプリンタ等を用いることができ、入力装置３０には、キーボードやマウス等をそれぞれ適宜選択して使用できる。
【００１４】
ＣＰＵ１は、入力装置３０で受け付けたユーザからの指示に基づいて、記憶部２に記憶されている画像処理プログラムを読み込み、記憶部２に記憶されている画像に対する画像処理を行う。ＣＰＵ１は、その画像処理の結果を、必要に応じて出力装置２０に表示する。ＣＰＵ１には、一般的な中央演算装置を用いることができる。
【００１５】
記憶部２に記憶される画像データやプログラム等は、バス４を介して、ＣＰＵ１から適宜参照することができる。記憶部２には、一般的なハードディスク装置、光磁気ディスク装置等の記憶装置を選択して用いることができる。なお、図１の記憶部２は、コンピュータ１０に組み込まれているが、外付けの記憶装置でも良い。この場合、記憶部２は、入出力Ｉ／Ｆ３を介してコンピュータ１０に接続される。
【００１６】
上記構成のコンピュータ１０において、複数の画像の位置合わせを行う際のＣＰＵ１の動作について、図２の流れ図を参照して説明する。以下では、上述した非特許文献１に開示されているLevenberg-Marquardt法における非線形最小二乗法を用いた位置合わせを例に挙げて説明する。また、記憶部２には、位置合わせの対象となる複数の画像の画像データが予め記憶されているものとする。
【００１７】
ステップＳ１において、ＣＰＵ１は、入力装置３０を介したユーザ指示にしたがって、第１の画像を取得する。第１の画像は、位置合わせの対象となる画像のうち、一方の画像である。
【００１８】
ステップＳ２において、ＣＰＵ１は、入力装置３０を介したユーザ指示にしたがって、第２の画像を取得する。第２の画像は、位置合わせの対象となる画像のうち、他方の画像である。なお、第１の画像と第２の画像とは、時系列上で隣接する２画像である。位置合わせの対象が３つ以上の画像である場合には、それらの画像のうち、時系列上で隣接する２つの画像をそれぞれ第１の画像および第２の画像とする。
【００１９】
ステップＳ３において、ＣＰＵ１は、ステップＳ１で取得した第１の画像から、特定領域の画像を抽出する。特定領域とは、第１の画像の全画素、もしくは、一部の領域の画素からなる領域である。特定領域は、入力装置３０を介したユーザ指示により指定されても良いし、ＣＰＵ１により自動で指定されても良い。例えば、ＣＰＵ１は、主要被写体抽出の結果に応じて特定領域を指定しても良いし、隣接画素との差分値が所定の閾値以上の画素からなる領域を特定領域としても良い。
【００２０】
ステップＳ４において、ＣＰＵ１は、幾何変換式を指定する。ここでは以下の式１に示す幾何変換式を指定する場合を例に挙げて説明する。
【００２１】
【数１】
【００２２】
式１は、ｐ０からｐ５の６つのパラメータで示されるアフィン変換式である。なお、ＣＰＵ１は、式１以外の幾何変換式を指定しても良い。例えば、８つのパラメータで示される幾何変換式を指定しても良い。
【００２３】
ステップＳ５において、ＣＰＵ１は、ステップＳ４で指定した幾何変換式におけるパラメータを決定する。初回には、ＣＰＵ１は、パラメータを初期値とする。例えば、ＣＰＵ１は、パラメータｐ０からｐ５を全てゼロとする。なお、この初期値は一例である。一般に、非線形最小二乗法で得られる解は初期パラメータの影響を受ける。そのため、位置合わせの対象が３つ以上の画像である場合には、前の画像での位置合わせの結果を加味して初期値を決定することにより、より好適な初期値を決定し、効率の良い位置合わせを実現することができる。
【００２４】
２回目以降のパラメータの決定（更新）については、後述する。
【００２５】
ステップＳ６において、ＣＰＵ１は、ステップＳ３で抽出した特定領域の画像を、ステップＳ４で指定した幾何変換式に基づいて、幾何変換する。このとき、ＣＰＵ１は、ステップＳ５で決定したパラメータにしたがって、幾何変換を行う。
【００２６】
ステップＳ７において、ＣＰＵ１は、ステップＳ６で幾何変換を行った第１の画像とステップＳ２で取得した第２の画像とに基づいて、評価値ΔＥを算出する。評価値ΔＥは、位置合わせの状態を示す評価値であり、以下の式２により求められる。
【００２７】
【数２】
【００２８】
式２において、Ａ(f(x,y;p))は、ステップＳ６で幾何変換を行った第１の画像を示し、Ｂ(x,y)は、ステップＳ２で取得した第２の画像を示す。また、ｎは、ステップＳ３で抽出した特定領域に含まれる画素数を示す。
【００２９】
このようにして算出される評価値ΔＥは、その値が小さいほど位置合わせの合致度が高くなる。したがって、位置合わせの処理は、この評価値ΔＥが最小となるパラメータを求める処理と置き換えることができる。
【００３０】
ステップＳ８において、ＣＰＵ１は、ステップＳ５で決定したパラメータに基づいて、ヤコビアン行列を算出する。ヤコビアン行列は、以下の式３により求められる。
【００３１】
【数３】
【００３２】
ステップＳ９において、ＣＰＵ１は、ステップＳ２で取得した第２の画像の微分画像を作成する。ＣＰＵ１は、ｘ方向およびｙ方向のそれぞれについて、隣接画像との差分を求めることにより微分画像を作成する。微分画像∇Bは、以下の式４により求められる。
【００３３】
【数４】
【００３４】
ステップＳ１０において、ＣＰＵ１は、ステップＳ８で算出したヤコビアン行列と、ステップＳ９で作成した微分画像とに基づいて、ヘッシアン行列を算出する。ヘッシアン行列は、以下の式５により求められる。
【００３５】
【数５】
【００３６】
ステップＳ１１において、ＣＰＵ１は、ステップＳ７で算出した評価値ΔＥの値が、前回算出した評価値ΔＥの値よりも減少しているか否かを判定する。ＣＰＵ１は、ステップＳ７で算出した評価値ΔＥの値が、前回算出した評価値ΔＥの値よりも減少していると判定すると、位置合わせが収束方向に進んでいると判断してステップＳ１２に進む。一方、ステップＳ７で算出した評価値ΔＥの値が、前回算出した評価値ΔＥの値よりも減少していないと判定すると、位置合わせが収束方向に進んでいないと判断して、ＣＰＵ１は、後述するステップＳ１３に進む。
【００３７】
ステップＳ１２において、ＣＰＵ１は、位置合わせが収束方向に進んでいることを前提としたパラメータ修正値Δｐを算出する。パラメータ修正値Δｐは、以下の式６および式７により求められる。
【００３８】
【数６】
【００３９】
【数７】
【００４０】
なお、式６中のσの初期値は、非特許文献１に開示されているLevenberg-Marquardt法によれば、０．０１程度である。ＣＰＵ１は、式６にしたがってＨＬＭを算出する際に、式６中のσを１／１０倍する。なお、式６中のσは、評価値ΔEの収束度合いに応じて、式６中の行列の対角行列を調整するための係数である。この対角行列が小さくなると、Levenberg-Marquardt法は、一般的なGauss-Newton法となる。一方、対角行列が大きくなると、最急降下の方向に解に近づく。
【００４１】
また、評価値ΔEの収束度合いに応じて、式６中のσの変化量を変更させても良い。例えば、評価値ΔＥが過去最小値となった場合には、上述した１／１０倍に代えて１／５倍としたり、評価値ΔＥが前回算出した評価値ΔＥと比べて小さくなった場合には、上述した１／１０倍に代えて１／２倍としたりすることで、収束精度をさらに高めることができる。
【００４２】
ステップＳ１３において、ＣＰＵ１は、位置合わせが収束方向に進んでいないことを前提としたパラメータ修正値Δｐを算出する。パラメータ修正値Δｐの算出は、上述したステップＳ１２と同様に行う。ただし、ＣＰＵ１は、式６にしたがってＨＬＭを算出する際に、Levenberg-Marquardt法によれば、式６中のσを１０倍する。ＣＰＵ１は、パラメータ修正値Δｐを算出すると、上述したステップＳ５に戻る。
【００４３】
なお、ステップＳ１２と同様に、評価値ΔEの収束度合いに応じて、式６中のσの変化量を、例えば、「２倍」や「５倍」のように変更させることにより、収束精度をさらに高めることができる。
【００４４】
ステップＳ１４において、ＣＰＵ１は、ステップＳ１２で算出したパラメータ修正値Δｐの値が、所定の閾値εよりも小さいか否かを判定する。ＣＰＵ１は、ステップＳ１２で算出したパラメータ修正値Δｐの値が、所定の閾値εよりも小さいと判定すると、位置合わせが収束したと判断する。そして、ＣＰＵ１は、ステップＳ１１で算出した評価値ΔＥに相当するパラメータを記憶し、一連の処理を終了する。
一方、ステップＳ１２で算出したパラメータ修正値Δｐの値が、所定の閾値εよりも大きいと判定すると、位置合わせが収束していないと判断して、ＣＰＵ１は、上述したステップＳ５に戻る。
【００４５】
次に、ステップＳ５における２回目以降のパラメータの決定（更新）について説明する。基本的には、ステップＳ５における２回目以降のパラメータの決定を行う際に、ＣＰＵ１は、前回決定したパラメータと、ステップＳ１２またはステップＳ１３で算出したパラメータ修正値Δｐとにしたがって、新たなパラメータを決定する。
【００４６】
なお、２回目以降のパラメータの決定において、パラメータ（パラメータｐ０からｐ５）を適切に変更することにより、解に正確かつ早く行き着くことができる。そこで、本実施形態では、パラメータの特性を考慮して、各パラメータの重みを調整することにより、好適な位置合わせを実現する。
【００４７】
本実施形態では、６つのパラメータ（パラメータｐ０からｐ５、式１参照）を用いているため、式３に示したヤコビアン行列は、以下の式８のようになる。
【００４８】
【数８】
【００４９】
そのため、式６で説明したσの影響を受けるパラメータを、画素位置を表すｘ，ｙに依存する項と依存しない項とに分けることができる。式６は、２つの画像の位置合わせを目的とした幾何変換式である。したがって、パラメータｐ０からｐ５は、ｘ方向およびｙ方向への並進の項と、それ以外の回転を含む項とに分けることができる。より具体的には、式６において、パラメータｐ０からｐ３は、回転方向の変化に関わる項であり、パラメータｐ４は、ｘ方向の並進に関わる項であり、パラメータｐ５は、ｙ方向の並進に関わる項である。すなわち、それぞれの項の変動が、幾何変換後の画像に与える影響は異なる。
【００５０】
例えば、ｘ方向の並進に関わる項であるパラメータｐ４＝１の場合、幾何変換後の画像はｘ方向に１画素ずれるだけである。しかし、回転方向の変化に関わる項であるパラメータｐ０＝１の場合、幾何変換後の画像は９０度回転する。
よって、σの値を一律に変化させるよりも、６つのパラメータ（パラメータｐ０からｐ５）ごとにσを変化させる方が、解が収束しやすくなることが予想される。すなわち、各パラメータの特性と、位置合わせの対象となる画像の特徴とを鑑みて、幾何変換後の画像への影響が大きいと推測できるパラメータの重み（≒σ）を大きくして重視し、幾何変換後の画像への影響が小さいと推測できるパラメータの重み（≒σ）を小さくすることにより、解に正確かつ早く行き着くように制御することができる。
【００５１】
例えば、手持ち（三脚なし）の電子カメラで生成した連写画像を例に挙げて説明する。通常、手持ちの連写撮影では、ｘ方向およびｙ方向への手ぶれは発生しやすいが、回転方向の手ぶれは発生しにくい。そこで、位置合わせの対象が手持ちの電子カメラで生成した連写画像である場合には、回転方向の変化に関わる項であるパラメータｐ０からｐ３の重み（≒σ）を小さくあるいは、０とし、ｘ方向およびy方向の並進に関わる項であるパラメータｐ４およびｐ５の重み（≒σ）を大きくして重視する。
【００５２】
このような各パラメータの重みの決定は、入力装置３０を介したユーザ指示により行われても良いし、ＣＰＵ１により自動で行われても良い。例えば、ＣＰＵ１は、ステップＳ１およびステップＳ２で取得した第１の画像および第２の画像が生成された際の撮影条件に基づいて、各パラメータの重みを決定しても良い。また、例えば、ＣＰＵ１は、ステップＳ１およびステップＳ２で取得した第１の画像および第２の画像を解析し、各画像に含まれる主要被写体に関する情報に基づいて、各パラメータの重みを決定しても良い。主要被写体に関する情報は、例えば、公知の被写体認識やシーン解析などにより得ることができる。何れの手法においても、各パラメータの特性に鑑み、そのパラメータの影響が大きいものに関しては重みを多くし、影響が小さいものに関しては重みを小さくすれば良い。
【００５３】
以上説明したように、本実施形態によれば、複数のパラメータを用いて、位置合わせに関する評価値を、２つの画像に基づいて算出するとともに、複数のパラメータのそれぞれの重みを設定する。そして、設定された異なるパラメータを用いて算出された複数の評価値を比較して、２つの画像の相対的な位置を検出する。したがって、影響の少ないパラメータや、局所解に陥りやすそうなパラメータを予め除外することができる。そのため、複数のディジタル画像の位置合わせにおいて、局所解に陥る可能性を低減しつつ、高精度な位置合わせを実現することができる。
また、本実施形態によれば、複数のパラメータは、位置合わせに関して異なる特性を有するパラメータを含み、位置合わせにおける並進方向の変化に関するパラメータと、位置合わせにおける回転方向の変化に関するパラメータとを含む。したがって、これらのパラメータのうち、影響の少ないパラメータを適宜調整することにより、局所解に陥る可能性を低減しつつ、高精度な位置合わせを実現することができる。
【００５４】
また、本実施形態によれば、２つの画像が生成された際の撮影条件と、２つの画像に含まれる主要被写体に関する情報との少なくとも一方に基づいて、重みを設定する。したがって、位置合わせの対象となる画像に応じて、パラメータを最適化することにより、局所解に陥る可能性を低減しつつ、高精度な位置合わせを実現することができる。
【００５５】
また、本実施形態によれば、２つの画像から、特定の領域の画像を抽出し、評価値を算出する際には、複数のパラメータを用いて、抽出した画像に基づいて評価値を算出する。したがって、処理の負荷を軽減するとともに、処理に要する時間を短縮することができる。
【００５６】
なお、本実施形態で説明した位置合わせの手法（非特許文献１に開示されているLevenberg-Marquardt法）は一例であり、本発明はこの例に限定されない。例えば、本実施形態で説明した６つのパラメータ（パラメータｐ０からｐ５）に代えて、並進方向の変化に関するパラメータと、回転方向の変化に関するパラメータと、拡大縮小に関するパラメータとを含む８つのパラメータを用いて、位置合わせのための評価値を算出する手法にも本発明を同様に適用することができる。また、位置合わせに関して異なる特性を有するパラメータを含む複数のパラメータを用いて、位置合わせのための評価値を算出する他の手法にも本発明を同様に適用することができる。
また、本実施形態では、位置合わせの対象となる画像は、ＲＡＷ画像、ＲＧＢ画像、ＹＣｂＣｒ画像、ＪＰＥＧ画像など、どのような画像であっても良い。例えば、ＲＧＢ画像においては、Ｇ成分が最も画像の構造を良く表していると考え、Ｇ成分のみを対象として上述した処理を行っても良い。また、例えば、ＹＣｂＣｒ画像においては、Ｙ成分が最も画像の構造を良く表していると考え、Ｙ成分のみを対象として上述した処理を行っても良い。また、複数成分に対して独立に上述した処理を施し、その結果を総合して全体的な位置合わせの処理を行う構成としても良い。
また、本実施形態では、２つの画像の位置合わせを行うコンピュータ１０を例に挙げて説明したが、本発明はこの例に限定されない。図２に示した流れ図の処理の一部または全部を実行するための画像処理プログラムも本発明の具体的態様として有効である。この画像処理プログラムは、媒体に記録されたものであっても良いし、インターネット上のサーバに記録され、インターネットを介してダウンロード可能なものであっても良い。
【００５７】
また、本実施形態で説明した処理を行う撮像装置も本発明の具体的態様として有効である。このような撮像装置においては、撮像により生成した複数の画像の位置合わせにおいて、本実施形態で説明した処理を行うことにより、同様の効果を得ることができる。なお、撮像装置に適用する際には、位置合わせの対象となる画像は、連写画像でも良いし、動画像（構図確認用のいわゆるスルー画像を含む）の一部の画像でも良い。
【符号の説明】
【００５８】
１…ＣＰＵ，２…記憶部，１０…コンピュータ，２０…出力装置，３０…入力装置
【先行技術文献】
【非特許文献】
【００５９】
【非特許文献１】“Lucas-Kanade 20 Years On: A Unifying Framework: Part 1” Simon Baker and Ian Matthews
【技術分野】
【０００１】
本発明は、２つの画像の重ね合わせをコンピュータで実現するための画像処理プログラム、２つの画像の重ね合わせを行う画像処理装置、およびその画像処理装置を備えた撮像装置に関する。
【背景技術】
【０００２】
従来より、高解像度化などを目的として、複数のディジタル画像の重ね合わせが行われている。このような重ね合わせに際しては、複数の画像を正確に位置合わせすることが重要である。そこで、位置合わせに関する技術について、画像処理への適用内容に応じて、高速な手法や高精度な手法など、様々なものが考えられている。例えば、非特許文献１では、高精度な手法の一例として、幾何変換のパラメータを非線形最小二乗法により算出する技術が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
上述した技術は、高精度な位置合わせが可能であるため、非常に有効である。しかし、非線形最小二乗法を利用した解の算出過程において、局所解に陥る可能性がある。このような問題を解決するためには、パラメータの初期値や収束条件を適切に調整することが必要である。
【０００４】
本発明は、上記問題に鑑みてなされたものであり、複数のディジタル画像の位置合わせにおいて、局所解に陥る可能性を低減しつつ、高精度な位置合わせを実現することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の画像処理プログラムは、２つの画像の位置合わせをコンピュータで実現するための画像処理プログラムであって、前記２つの画像を取得する取得ステップと、複数のパラメータを用いて、前記位置合わせに関する評価値を、前記２つの画像に基づいて算出する算出ステップと、前記複数のパラメータのそれぞれの重みを設定する設定ステップと、前記設定ステップにおいて設定された異なる前記パラメータを用いて前記算出ステップにおいて算出された複数の前記評価値を比較して、前記２つの画像の相対的な位置を検出する検出ステップとを備える。
【０００６】
なお、前記複数のパラメータは、前記位置合わせに関して異なる特性を有するパラメータを含んでも良い。
【０００７】
また、前記複数のパラメータは、前記位置合わせにおける並進方向の変化に関するパラメータと、前記位置合わせにおける回転方向の変化に関するパラメータと、前記位置合わせにおける拡大縮小に関するパラメータとのうち少なくとも２つのパラメータを含んでも良い。
【０００８】
また、前記複数のパラメータは、前記２つの画像を幾何変換するためのパラメータであり、前記算出ステップでは、前記複数のパラメータを用いて前記２つの画像の少なくとも一方を幾何変換した後に、前記評価値を算出しても良い。
【０００９】
また、前記設定ステップでは、前記２つの画像が生成された際の撮影条件と、前記２つの画像に含まれる主要被写体に関する情報との少なくとも一方に基づいて、前記重みを設定しても良い。
また、前記２つの画像から、特定の領域の画像を抽出する抽出ステップを備え、前記算出ステップでは、前記複数のパラメータを用いて、前記評価値を、前記抽出ステップにおいて抽出した画像に基づいて算出しても良い。
なお、上記発明に関する構成を、２つの画像の位置合わせを行う画像処理装置に変換して表現したものも本発明の具体的態様として有効である。また、その画像処理装置を備えた撮像装置も本発明の具体的態様として有効である。
【発明の効果】
【００１０】
本発明によれば、複数のディジタル画像の位置合わせにおいて、局所解に陥る可能性を低減しつつ、高精度な位置合わせを実現することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一の実施形態に係る画像処理方法をコンピュータ１０へ適用した場合の概念図である。
【図２】本発明の一の実施形態におけるＣＰＵ１の動作を示す流れ図である。
【発明を実施するための最良の形態】
【００１２】
図１は、本発明の一の実施形態に係る画像処理方法をコンピュータ１０へ適用した場合の概念図である。
【００１３】
図１に示すコンピュータ１０は、ＣＰＵ１、記憶部２、入出力インタフェース（入出力Ｉ／Ｆ）３およびバス４から構成され、ＣＰＵ１、記憶部２および入出力Ｉ／Ｆ３は、バス４を介して情報伝達可能に接続される。また、コンピュータ１０には、入出力Ｉ／Ｆ３を介して、画像処理の途中経過や処理結果を表示する出力装置２０、ユーザからの入力を受け付ける入力装置３０がそれぞれ接続される。出力装置２０には、一般的な液晶モニタやプリンタ等を用いることができ、入力装置３０には、キーボードやマウス等をそれぞれ適宜選択して使用できる。
【００１４】
ＣＰＵ１は、入力装置３０で受け付けたユーザからの指示に基づいて、記憶部２に記憶されている画像処理プログラムを読み込み、記憶部２に記憶されている画像に対する画像処理を行う。ＣＰＵ１は、その画像処理の結果を、必要に応じて出力装置２０に表示する。ＣＰＵ１には、一般的な中央演算装置を用いることができる。
【００１５】
記憶部２に記憶される画像データやプログラム等は、バス４を介して、ＣＰＵ１から適宜参照することができる。記憶部２には、一般的なハードディスク装置、光磁気ディスク装置等の記憶装置を選択して用いることができる。なお、図１の記憶部２は、コンピュータ１０に組み込まれているが、外付けの記憶装置でも良い。この場合、記憶部２は、入出力Ｉ／Ｆ３を介してコンピュータ１０に接続される。
【００１６】
上記構成のコンピュータ１０において、複数の画像の位置合わせを行う際のＣＰＵ１の動作について、図２の流れ図を参照して説明する。以下では、上述した非特許文献１に開示されているLevenberg-Marquardt法における非線形最小二乗法を用いた位置合わせを例に挙げて説明する。また、記憶部２には、位置合わせの対象となる複数の画像の画像データが予め記憶されているものとする。
【００１７】
ステップＳ１において、ＣＰＵ１は、入力装置３０を介したユーザ指示にしたがって、第１の画像を取得する。第１の画像は、位置合わせの対象となる画像のうち、一方の画像である。
【００１８】
ステップＳ２において、ＣＰＵ１は、入力装置３０を介したユーザ指示にしたがって、第２の画像を取得する。第２の画像は、位置合わせの対象となる画像のうち、他方の画像である。なお、第１の画像と第２の画像とは、時系列上で隣接する２画像である。位置合わせの対象が３つ以上の画像である場合には、それらの画像のうち、時系列上で隣接する２つの画像をそれぞれ第１の画像および第２の画像とする。
【００１９】
ステップＳ３において、ＣＰＵ１は、ステップＳ１で取得した第１の画像から、特定領域の画像を抽出する。特定領域とは、第１の画像の全画素、もしくは、一部の領域の画素からなる領域である。特定領域は、入力装置３０を介したユーザ指示により指定されても良いし、ＣＰＵ１により自動で指定されても良い。例えば、ＣＰＵ１は、主要被写体抽出の結果に応じて特定領域を指定しても良いし、隣接画素との差分値が所定の閾値以上の画素からなる領域を特定領域としても良い。
【００２０】
ステップＳ４において、ＣＰＵ１は、幾何変換式を指定する。ここでは以下の式１に示す幾何変換式を指定する場合を例に挙げて説明する。
【００２１】
【数１】
【００２２】
式１は、ｐ０からｐ５の６つのパラメータで示されるアフィン変換式である。なお、ＣＰＵ１は、式１以外の幾何変換式を指定しても良い。例えば、８つのパラメータで示される幾何変換式を指定しても良い。
【００２３】
ステップＳ５において、ＣＰＵ１は、ステップＳ４で指定した幾何変換式におけるパラメータを決定する。初回には、ＣＰＵ１は、パラメータを初期値とする。例えば、ＣＰＵ１は、パラメータｐ０からｐ５を全てゼロとする。なお、この初期値は一例である。一般に、非線形最小二乗法で得られる解は初期パラメータの影響を受ける。そのため、位置合わせの対象が３つ以上の画像である場合には、前の画像での位置合わせの結果を加味して初期値を決定することにより、より好適な初期値を決定し、効率の良い位置合わせを実現することができる。
【００２４】
２回目以降のパラメータの決定（更新）については、後述する。
【００２５】
ステップＳ６において、ＣＰＵ１は、ステップＳ３で抽出した特定領域の画像を、ステップＳ４で指定した幾何変換式に基づいて、幾何変換する。このとき、ＣＰＵ１は、ステップＳ５で決定したパラメータにしたがって、幾何変換を行う。
【００２６】
ステップＳ７において、ＣＰＵ１は、ステップＳ６で幾何変換を行った第１の画像とステップＳ２で取得した第２の画像とに基づいて、評価値ΔＥを算出する。評価値ΔＥは、位置合わせの状態を示す評価値であり、以下の式２により求められる。
【００２７】
【数２】
【００２８】
式２において、Ａ(f(x,y;p))は、ステップＳ６で幾何変換を行った第１の画像を示し、Ｂ(x,y)は、ステップＳ２で取得した第２の画像を示す。また、ｎは、ステップＳ３で抽出した特定領域に含まれる画素数を示す。
【００２９】
このようにして算出される評価値ΔＥは、その値が小さいほど位置合わせの合致度が高くなる。したがって、位置合わせの処理は、この評価値ΔＥが最小となるパラメータを求める処理と置き換えることができる。
【００３０】
ステップＳ８において、ＣＰＵ１は、ステップＳ５で決定したパラメータに基づいて、ヤコビアン行列を算出する。ヤコビアン行列は、以下の式３により求められる。
【００３１】
【数３】
【００３２】
ステップＳ９において、ＣＰＵ１は、ステップＳ２で取得した第２の画像の微分画像を作成する。ＣＰＵ１は、ｘ方向およびｙ方向のそれぞれについて、隣接画像との差分を求めることにより微分画像を作成する。微分画像∇Bは、以下の式４により求められる。
【００３３】
【数４】
【００３４】
ステップＳ１０において、ＣＰＵ１は、ステップＳ８で算出したヤコビアン行列と、ステップＳ９で作成した微分画像とに基づいて、ヘッシアン行列を算出する。ヘッシアン行列は、以下の式５により求められる。
【００３５】
【数５】
【００３６】
ステップＳ１１において、ＣＰＵ１は、ステップＳ７で算出した評価値ΔＥの値が、前回算出した評価値ΔＥの値よりも減少しているか否かを判定する。ＣＰＵ１は、ステップＳ７で算出した評価値ΔＥの値が、前回算出した評価値ΔＥの値よりも減少していると判定すると、位置合わせが収束方向に進んでいると判断してステップＳ１２に進む。一方、ステップＳ７で算出した評価値ΔＥの値が、前回算出した評価値ΔＥの値よりも減少していないと判定すると、位置合わせが収束方向に進んでいないと判断して、ＣＰＵ１は、後述するステップＳ１３に進む。
【００３７】
ステップＳ１２において、ＣＰＵ１は、位置合わせが収束方向に進んでいることを前提としたパラメータ修正値Δｐを算出する。パラメータ修正値Δｐは、以下の式６および式７により求められる。
【００３８】
【数６】
【００３９】
【数７】
【００４０】
なお、式６中のσの初期値は、非特許文献１に開示されているLevenberg-Marquardt法によれば、０．０１程度である。ＣＰＵ１は、式６にしたがってＨＬＭを算出する際に、式６中のσを１／１０倍する。なお、式６中のσは、評価値ΔEの収束度合いに応じて、式６中の行列の対角行列を調整するための係数である。この対角行列が小さくなると、Levenberg-Marquardt法は、一般的なGauss-Newton法となる。一方、対角行列が大きくなると、最急降下の方向に解に近づく。
【００４１】
また、評価値ΔEの収束度合いに応じて、式６中のσの変化量を変更させても良い。例えば、評価値ΔＥが過去最小値となった場合には、上述した１／１０倍に代えて１／５倍としたり、評価値ΔＥが前回算出した評価値ΔＥと比べて小さくなった場合には、上述した１／１０倍に代えて１／２倍としたりすることで、収束精度をさらに高めることができる。
【００４２】
ステップＳ１３において、ＣＰＵ１は、位置合わせが収束方向に進んでいないことを前提としたパラメータ修正値Δｐを算出する。パラメータ修正値Δｐの算出は、上述したステップＳ１２と同様に行う。ただし、ＣＰＵ１は、式６にしたがってＨＬＭを算出する際に、Levenberg-Marquardt法によれば、式６中のσを１０倍する。ＣＰＵ１は、パラメータ修正値Δｐを算出すると、上述したステップＳ５に戻る。
【００４３】
なお、ステップＳ１２と同様に、評価値ΔEの収束度合いに応じて、式６中のσの変化量を、例えば、「２倍」や「５倍」のように変更させることにより、収束精度をさらに高めることができる。
【００４４】
ステップＳ１４において、ＣＰＵ１は、ステップＳ１２で算出したパラメータ修正値Δｐの値が、所定の閾値εよりも小さいか否かを判定する。ＣＰＵ１は、ステップＳ１２で算出したパラメータ修正値Δｐの値が、所定の閾値εよりも小さいと判定すると、位置合わせが収束したと判断する。そして、ＣＰＵ１は、ステップＳ１１で算出した評価値ΔＥに相当するパラメータを記憶し、一連の処理を終了する。
一方、ステップＳ１２で算出したパラメータ修正値Δｐの値が、所定の閾値εよりも大きいと判定すると、位置合わせが収束していないと判断して、ＣＰＵ１は、上述したステップＳ５に戻る。
【００４５】
次に、ステップＳ５における２回目以降のパラメータの決定（更新）について説明する。基本的には、ステップＳ５における２回目以降のパラメータの決定を行う際に、ＣＰＵ１は、前回決定したパラメータと、ステップＳ１２またはステップＳ１３で算出したパラメータ修正値Δｐとにしたがって、新たなパラメータを決定する。
【００４６】
なお、２回目以降のパラメータの決定において、パラメータ（パラメータｐ０からｐ５）を適切に変更することにより、解に正確かつ早く行き着くことができる。そこで、本実施形態では、パラメータの特性を考慮して、各パラメータの重みを調整することにより、好適な位置合わせを実現する。
【００４７】
本実施形態では、６つのパラメータ（パラメータｐ０からｐ５、式１参照）を用いているため、式３に示したヤコビアン行列は、以下の式８のようになる。
【００４８】
【数８】
【００４９】
そのため、式６で説明したσの影響を受けるパラメータを、画素位置を表すｘ，ｙに依存する項と依存しない項とに分けることができる。式６は、２つの画像の位置合わせを目的とした幾何変換式である。したがって、パラメータｐ０からｐ５は、ｘ方向およびｙ方向への並進の項と、それ以外の回転を含む項とに分けることができる。より具体的には、式６において、パラメータｐ０からｐ３は、回転方向の変化に関わる項であり、パラメータｐ４は、ｘ方向の並進に関わる項であり、パラメータｐ５は、ｙ方向の並進に関わる項である。すなわち、それぞれの項の変動が、幾何変換後の画像に与える影響は異なる。
【００５０】
例えば、ｘ方向の並進に関わる項であるパラメータｐ４＝１の場合、幾何変換後の画像はｘ方向に１画素ずれるだけである。しかし、回転方向の変化に関わる項であるパラメータｐ０＝１の場合、幾何変換後の画像は９０度回転する。
よって、σの値を一律に変化させるよりも、６つのパラメータ（パラメータｐ０からｐ５）ごとにσを変化させる方が、解が収束しやすくなることが予想される。すなわち、各パラメータの特性と、位置合わせの対象となる画像の特徴とを鑑みて、幾何変換後の画像への影響が大きいと推測できるパラメータの重み（≒σ）を大きくして重視し、幾何変換後の画像への影響が小さいと推測できるパラメータの重み（≒σ）を小さくすることにより、解に正確かつ早く行き着くように制御することができる。
【００５１】
例えば、手持ち（三脚なし）の電子カメラで生成した連写画像を例に挙げて説明する。通常、手持ちの連写撮影では、ｘ方向およびｙ方向への手ぶれは発生しやすいが、回転方向の手ぶれは発生しにくい。そこで、位置合わせの対象が手持ちの電子カメラで生成した連写画像である場合には、回転方向の変化に関わる項であるパラメータｐ０からｐ３の重み（≒σ）を小さくあるいは、０とし、ｘ方向およびy方向の並進に関わる項であるパラメータｐ４およびｐ５の重み（≒σ）を大きくして重視する。
【００５２】
このような各パラメータの重みの決定は、入力装置３０を介したユーザ指示により行われても良いし、ＣＰＵ１により自動で行われても良い。例えば、ＣＰＵ１は、ステップＳ１およびステップＳ２で取得した第１の画像および第２の画像が生成された際の撮影条件に基づいて、各パラメータの重みを決定しても良い。また、例えば、ＣＰＵ１は、ステップＳ１およびステップＳ２で取得した第１の画像および第２の画像を解析し、各画像に含まれる主要被写体に関する情報に基づいて、各パラメータの重みを決定しても良い。主要被写体に関する情報は、例えば、公知の被写体認識やシーン解析などにより得ることができる。何れの手法においても、各パラメータの特性に鑑み、そのパラメータの影響が大きいものに関しては重みを多くし、影響が小さいものに関しては重みを小さくすれば良い。
【００５３】
以上説明したように、本実施形態によれば、複数のパラメータを用いて、位置合わせに関する評価値を、２つの画像に基づいて算出するとともに、複数のパラメータのそれぞれの重みを設定する。そして、設定された異なるパラメータを用いて算出された複数の評価値を比較して、２つの画像の相対的な位置を検出する。したがって、影響の少ないパラメータや、局所解に陥りやすそうなパラメータを予め除外することができる。そのため、複数のディジタル画像の位置合わせにおいて、局所解に陥る可能性を低減しつつ、高精度な位置合わせを実現することができる。
また、本実施形態によれば、複数のパラメータは、位置合わせに関して異なる特性を有するパラメータを含み、位置合わせにおける並進方向の変化に関するパラメータと、位置合わせにおける回転方向の変化に関するパラメータとを含む。したがって、これらのパラメータのうち、影響の少ないパラメータを適宜調整することにより、局所解に陥る可能性を低減しつつ、高精度な位置合わせを実現することができる。
【００５４】
また、本実施形態によれば、２つの画像が生成された際の撮影条件と、２つの画像に含まれる主要被写体に関する情報との少なくとも一方に基づいて、重みを設定する。したがって、位置合わせの対象となる画像に応じて、パラメータを最適化することにより、局所解に陥る可能性を低減しつつ、高精度な位置合わせを実現することができる。
【００５５】
また、本実施形態によれば、２つの画像から、特定の領域の画像を抽出し、評価値を算出する際には、複数のパラメータを用いて、抽出した画像に基づいて評価値を算出する。したがって、処理の負荷を軽減するとともに、処理に要する時間を短縮することができる。
【００５６】
なお、本実施形態で説明した位置合わせの手法（非特許文献１に開示されているLevenberg-Marquardt法）は一例であり、本発明はこの例に限定されない。例えば、本実施形態で説明した６つのパラメータ（パラメータｐ０からｐ５）に代えて、並進方向の変化に関するパラメータと、回転方向の変化に関するパラメータと、拡大縮小に関するパラメータとを含む８つのパラメータを用いて、位置合わせのための評価値を算出する手法にも本発明を同様に適用することができる。また、位置合わせに関して異なる特性を有するパラメータを含む複数のパラメータを用いて、位置合わせのための評価値を算出する他の手法にも本発明を同様に適用することができる。
また、本実施形態では、位置合わせの対象となる画像は、ＲＡＷ画像、ＲＧＢ画像、ＹＣｂＣｒ画像、ＪＰＥＧ画像など、どのような画像であっても良い。例えば、ＲＧＢ画像においては、Ｇ成分が最も画像の構造を良く表していると考え、Ｇ成分のみを対象として上述した処理を行っても良い。また、例えば、ＹＣｂＣｒ画像においては、Ｙ成分が最も画像の構造を良く表していると考え、Ｙ成分のみを対象として上述した処理を行っても良い。また、複数成分に対して独立に上述した処理を施し、その結果を総合して全体的な位置合わせの処理を行う構成としても良い。
また、本実施形態では、２つの画像の位置合わせを行うコンピュータ１０を例に挙げて説明したが、本発明はこの例に限定されない。図２に示した流れ図の処理の一部または全部を実行するための画像処理プログラムも本発明の具体的態様として有効である。この画像処理プログラムは、媒体に記録されたものであっても良いし、インターネット上のサーバに記録され、インターネットを介してダウンロード可能なものであっても良い。
【００５７】
また、本実施形態で説明した処理を行う撮像装置も本発明の具体的態様として有効である。このような撮像装置においては、撮像により生成した複数の画像の位置合わせにおいて、本実施形態で説明した処理を行うことにより、同様の効果を得ることができる。なお、撮像装置に適用する際には、位置合わせの対象となる画像は、連写画像でも良いし、動画像（構図確認用のいわゆるスルー画像を含む）の一部の画像でも良い。
【符号の説明】
【００５８】
１…ＣＰＵ，２…記憶部，１０…コンピュータ，２０…出力装置，３０…入力装置
【先行技術文献】
【非特許文献】
【００５９】
【非特許文献１】“Lucas-Kanade 20 Years On: A Unifying Framework: Part 1” Simon Baker and Ian Matthews
【特許請求の範囲】
【請求項１】
２つの画像の位置合わせをコンピュータで実現するための画像処理プログラムであって、
前記２つの画像を取得する取得ステップと、
複数のパラメータを用いて、前記位置合わせに関する評価値を、前記２つの画像に基づいて算出する算出ステップと、
前記複数のパラメータのそれぞれの重みを設定する設定ステップと、
前記設定ステップにおいて設定された異なる前記パラメータを用いて前記算出ステップにおいて算出された複数の前記評価値を比較して、前記２つの画像の相対的な位置を検出する検出ステップと
を備えることを特徴とする画像処理プログラム。
【請求項２】
請求項１に記載の画像処理プログラムにおいて、
前記複数のパラメータは、前記位置合わせに関して異なる特性を有するパラメータを含む
ことを特徴とする画像処理プログラム。
【請求項３】
請求項２に記載の画像処理プログラムにおいて、
前記複数のパラメータは、前記位置合わせにおける並進方向の変化に関するパラメータと、前記位置合わせにおける回転方向の変化に関するパラメータと、前記位置合わせにおける拡大縮小に関するパラメータとのうち少なくとも２つのパラメータを含む
ことを特徴とする画像処理プログラム。
【請求項４】
請求項１に記載の画像処理プログラムにおいて、
前記複数のパラメータは、前記２つの画像を幾何変換するためのパラメータであり、
前記算出ステップでは、前記複数のパラメータを用いて前記２つの画像の少なくとも一方を幾何変換した後に、前記評価値を算出する
ことを特徴とする画像処理プログラム。
【請求項５】
請求項１に記載の画像処理プログラムにおいて、
前記設定ステップでは、前記２つの画像が生成された際の撮影条件と、前記２つの画像に含まれる主要被写体に関する情報との少なくとも一方に基づいて、前記重みを設定する
ことを特徴とする画像処理プログラム。
【請求項６】
請求項１に記載の画像処理プログラムにおいて、
前記２つの画像から、特定の領域の画像を抽出する抽出ステップを備え、
前記算出ステップでは、前記複数のパラメータを用いて、前記評価値を、前記抽出ステップにおいて抽出した画像に基づいて算出する
ことを特徴とする画像処理プログラム。
【請求項７】
２つの画像の位置合わせを行う画像処理装置であって、
前記２つの画像を取得する取得部と、
複数のパラメータを用いて、前記位置合わせに関する評価値を、前記２つの画像に基づいて算出する算出部と、
前記複数のパラメータのそれぞれの重みを設定する設定部と、
前記設定部により設定された異なる前記パラメータを用いて前記算出部により算出された複数の前記評価値を比較して、前記２つの画像の相対的な位置を検出する検出部と
を備えることを特徴とする画像処理装置。
【請求項８】
請求項７に記載の画像処理装置において、
前記複数のパラメータは、前記位置合わせに関して異なる特性を有するパラメータを含む
ことを特徴とする画像処理装置。
【請求項９】
請求項８に記載の画像処理装置において、
前記複数のパラメータは、前記位置合わせにおける並進方向の変化に関するパラメータと、前記位置合わせにおける回転方向の変化に関するパラメータと、前記位置合わせにおける拡大縮小に関するパラメータとのうち少なくとも２つのパラメータを含む
ことを特徴とする画像処理装置。
【請求項１０】
請求項７に記載の画像処理装置において、
前記複数のパラメータは、前記２つの画像を幾何変換するためのパラメータであり、
前記算出部は、前記複数のパラメータを用いて前記２つの画像の少なくとも一方を幾何変換した後に、前記評価値を算出する
ことを特徴とする画像処理装置。
【請求項１１】
請求項７に記載の画像処理装置において、
前記設定部は、前記２つの画像が生成された際の撮影条件と、前記２つの画像に含まれる主要被写体に関する情報との少なくとも一方に基づいて、前記重みを設定する
ことを特徴とする画像処理装置。
【請求項１２】
請求項７に記載の画像処理装置において、
前記２つの画像から、特定の領域の画像を抽出する抽出部を備え、
前記算出部は、前記複数のパラメータを用いて、前記評価値を、前記抽出部により抽出した画像に基づいて算出する
ことを特徴とする画像処理装置。
【請求項１３】
請求項７から請求項１２のいずれか１項に記載の画像処理装置と、
被写体像を撮像して画像を生成する撮像部とを備え、
前記取得部は、前記撮像部により生成された画像を前記２つの画像として取得する
ことを特徴とする撮像装置。
【請求項１】
２つの画像の位置合わせをコンピュータで実現するための画像処理プログラムであって、
前記２つの画像を取得する取得ステップと、
複数のパラメータを用いて、前記位置合わせに関する評価値を、前記２つの画像に基づいて算出する算出ステップと、
前記複数のパラメータのそれぞれの重みを設定する設定ステップと、
前記設定ステップにおいて設定された異なる前記パラメータを用いて前記算出ステップにおいて算出された複数の前記評価値を比較して、前記２つの画像の相対的な位置を検出する検出ステップと
を備えることを特徴とする画像処理プログラム。
【請求項２】
請求項１に記載の画像処理プログラムにおいて、
前記複数のパラメータは、前記位置合わせに関して異なる特性を有するパラメータを含む
ことを特徴とする画像処理プログラム。
【請求項３】
請求項２に記載の画像処理プログラムにおいて、
前記複数のパラメータは、前記位置合わせにおける並進方向の変化に関するパラメータと、前記位置合わせにおける回転方向の変化に関するパラメータと、前記位置合わせにおける拡大縮小に関するパラメータとのうち少なくとも２つのパラメータを含む
ことを特徴とする画像処理プログラム。
【請求項４】
請求項１に記載の画像処理プログラムにおいて、
前記複数のパラメータは、前記２つの画像を幾何変換するためのパラメータであり、
前記算出ステップでは、前記複数のパラメータを用いて前記２つの画像の少なくとも一方を幾何変換した後に、前記評価値を算出する
ことを特徴とする画像処理プログラム。
【請求項５】
請求項１に記載の画像処理プログラムにおいて、
前記設定ステップでは、前記２つの画像が生成された際の撮影条件と、前記２つの画像に含まれる主要被写体に関する情報との少なくとも一方に基づいて、前記重みを設定する
ことを特徴とする画像処理プログラム。
【請求項６】
請求項１に記載の画像処理プログラムにおいて、
前記２つの画像から、特定の領域の画像を抽出する抽出ステップを備え、
前記算出ステップでは、前記複数のパラメータを用いて、前記評価値を、前記抽出ステップにおいて抽出した画像に基づいて算出する
ことを特徴とする画像処理プログラム。
【請求項７】
２つの画像の位置合わせを行う画像処理装置であって、
前記２つの画像を取得する取得部と、
複数のパラメータを用いて、前記位置合わせに関する評価値を、前記２つの画像に基づいて算出する算出部と、
前記複数のパラメータのそれぞれの重みを設定する設定部と、
前記設定部により設定された異なる前記パラメータを用いて前記算出部により算出された複数の前記評価値を比較して、前記２つの画像の相対的な位置を検出する検出部と
を備えることを特徴とする画像処理装置。
【請求項８】
請求項７に記載の画像処理装置において、
前記複数のパラメータは、前記位置合わせに関して異なる特性を有するパラメータを含む
ことを特徴とする画像処理装置。
【請求項９】
請求項８に記載の画像処理装置において、
前記複数のパラメータは、前記位置合わせにおける並進方向の変化に関するパラメータと、前記位置合わせにおける回転方向の変化に関するパラメータと、前記位置合わせにおける拡大縮小に関するパラメータとのうち少なくとも２つのパラメータを含む
ことを特徴とする画像処理装置。
【請求項１０】
請求項７に記載の画像処理装置において、
前記複数のパラメータは、前記２つの画像を幾何変換するためのパラメータであり、
前記算出部は、前記複数のパラメータを用いて前記２つの画像の少なくとも一方を幾何変換した後に、前記評価値を算出する
ことを特徴とする画像処理装置。
【請求項１１】
請求項７に記載の画像処理装置において、
前記設定部は、前記２つの画像が生成された際の撮影条件と、前記２つの画像に含まれる主要被写体に関する情報との少なくとも一方に基づいて、前記重みを設定する
ことを特徴とする画像処理装置。
【請求項１２】
請求項７に記載の画像処理装置において、
前記２つの画像から、特定の領域の画像を抽出する抽出部を備え、
前記算出部は、前記複数のパラメータを用いて、前記評価値を、前記抽出部により抽出した画像に基づいて算出する
ことを特徴とする画像処理装置。
【請求項１３】
請求項７から請求項１２のいずれか１項に記載の画像処理装置と、
被写体像を撮像して画像を生成する撮像部とを備え、
前記取得部は、前記撮像部により生成された画像を前記２つの画像として取得する
ことを特徴とする撮像装置。
【図１】
【図２】
【図２】
【公開番号】特開２０１０−１７０４８２（Ｐ２０１０−１７０４８２Ａ）
【公開日】平成２２年８月５日（２０１０．８．５）
【国際特許分類】
【出願番号】特願２００９−１４４９３（Ｐ２００９−１４４９３）
【出願日】平成２１年１月２６日（２００９．１．２６）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２２年８月５日（２０１０．８．５）
【国際特許分類】
【出願日】平成２１年１月２６日（２００９．１．２６）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]