画像処理装置およびその方法
【課題】 本発明は、画像間の位置ずれを適切に補正することを目的とする。
【解決手段】 本発明に係る画像処理装置は、同じ被写体を異なる撮影条件で撮影した、第一の画像データ及び第二の画像データを取得する取得手段と、前記第一の画像データの画素位置を変化させた複数の画像データと前記第二の画像データとの位置ずれを評価するパラメータの分布を算出する算出手段と、前記分布に基づいて、前記第二の画像データの位置ずれを補正するか否かを判定する判定手段と、前記判定の結果、前記位置ずれを補正する場合、前記分布に基づいて、前記第二の画像データの位置ずれを補正する補正手段とを有する。
【解決手段】 本発明に係る画像処理装置は、同じ被写体を異なる撮影条件で撮影した、第一の画像データ及び第二の画像データを取得する取得手段と、前記第一の画像データの画素位置を変化させた複数の画像データと前記第二の画像データとの位置ずれを評価するパラメータの分布を算出する算出手段と、前記分布に基づいて、前記第二の画像データの位置ずれを補正するか否かを判定する判定手段と、前記判定の結果、前記位置ずれを補正する場合、前記分布に基づいて、前記第二の画像データの位置ずれを補正する補正手段とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、異なる撮影条件で撮影された同一被写体の画像間の位置合わせを行うための画像処理に関する。
【背景技術】
【０００２】
異なる撮影条件で撮影された同一被写体の画像間の位置合わせを行う方法として、特許文献１が提案されている。特許文献１では、異なる露出で撮影した複数枚の画像を加算して広ダイナミックレンジ画像を作成するための前処理として、テンプレートマッチングを用いて画像間の位置座標の対応点を算出することで画像間の位置ずれを補正することが記載されている。
また、異なる撮影条件で撮影された同一被写体の画像間の位置合わせに関するものではないが、撮影画像の手ぶれ補正を行う方法として、特許文献２が提案されている。特許文献２では、手ぶれによる撮影画像の振動を補正するために、撮影画像の動きベクトルを、ブロックマッチングを用いて検出し、検出した動きベクトルに基づいて撮影画像の手ぶれ補正を行うことが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１９９６５８号公報
【特許文献２】特開２００７−３１８５７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
被写体が一様なテクスチャである場合や特徴的な模様を含まない場合、特許文献１、特許文献２で提案されている手法では、画像の特徴点を適切に抽出できない場合、マッチングが適切に行えず、画像間の位置ずれを適切に補正できない課題がある。
そこで本発明は、画像間の位置ずれを適切に補正することを目的とする。
【課題を解決するための手段】
【０００５】
本発明に係る画像処理装置は、同じ被写体を異なる撮影条件で撮影した、第一の画像データ及び第二の画像データを取得する取得手段と、前記第一の画像データの画素位置を変化させた複数の画像データと前記第二の画像データとの位置ずれを評価するパラメータの分布を算出する算出手段と、前記分布に基づいて、前記第二の画像データの位置ずれを補正するか否かを判定する判定手段と、前記判定の結果、前記位置ずれを補正する場合、前記分布に基づいて、前記第二の画像データの位置ずれを補正する補正手段とを有する。
【発明の効果】
【０００６】
本発明によれば、画像間の位置ずれを適切に補正することができる。
【図面の簡単な説明】
【０００７】
【図１】画像処理の全体像を示す図
【図２】ライティング条件を説明する模式図
【図３】画像処理装置の構成を示す図
【図４】画像処理の流れを示すフローチャート
【図５】位置ずれを評価するパラメータの分布を算出する処理の流れを示すフローチャート
【図６】位置ずれを評価するパラメータの分布を例示する図
【図７】位置ずれ補正部１０５の処理の流れを示すフローチャート
【図８】位置ずれ補正を説明する模式図
【図９】実施例２における位置ずれ補正部１０５の処理の流れを示すフローチャート
【発明を実施するための形態】
【０００８】
［実施例１］
本実施例の画像処理装置を文化財や絵画の複製に適用した際の画像処理の全体像を図１に示す。図１に示すように、画像処理装置は、異なるライティング条件下で撮影された画像間の位置あわせを行う処理に関するものであり、以下２つの適用例について例示する。
【０００９】
図１（ａ）は、原作が置かれている観察光源下で原作と同じ色を再現する、高精細な複製画像を出力する処理の全体像を示す図である。まず、被写体をライティング条件１で撮影した画像データ１００１を光源変換処理によって変換し、実際に複製品を観察する観察光源用の画像１００３に変換する。光源変換された画像１００３は、プリント色変換処理によって観察光源下のプリントデータに基づいた出力データ１００４に変換された後に、プリンタによって複製プリント１００５が出力される。ライティング条件１で撮影する画像データ１００１は、図２（ａ）に示すように原作の周囲に複数のストロボ光源を配置して光量を十分に確保して高精細な画像を取得する。ライティング条件２で撮影する画像データ１００２は、図２（ｂ）に示すように被写体とカメラの位置関係とを撮影光源画像の撮影時と同一にした上で、被写体を観察する光源下で画像を取得する。
【００１０】
複製品には、被写体が置かれている観察光源下においても被写体と同じ色を再現する、ノイズの少ない高精細な画像が要求されるため、上述した光源変換処理が必要になる。該光源変換処理は、両画像の代表的な色を抽出し、抽出した色の対応関係をもとに色補正条件（例えば、色変換係数）を作成する。この色補正条件を高精度に作成する際には、上記両画像間の座標位置が合っていることが条件となる。
【００１１】
次に、図１（ｂ）は、金属光沢を含む被写体の撮影画像から金属光沢領域を識別するためのマスク画像１００８を生成する処理の全体像を示す図である。まず、異なるライティング条件で撮影された画像データ１００１及び１００６を取得し、撮影画像間の位置合わせを行う。マスク画像生成処理１００７は、位置あわせ後の画像データの差分から金属光沢領域を判別するためのマスク画像１００８を生成する。ここで生成されたマスク画像を用いることで、金属光沢領域を除いて複製された複製プリント上に金箔の張り付けなどの、プリンタの色材では再現できない装飾を後から加えることが可能となる。そこで、ライティング条件３で撮影する画像データ１００６は、図２（ｃ）に示すように被写体の金属光沢領域を明確に判別するために、鏡面反射成分が得られるように片側からストロボ光が照射される。上記のライティング条件で撮影された画像間の差分データを用いることで、金属光沢領域を識別するためのマスク画像を生成することができる。このマスク画像を高精度に作成する際には、上記画像間の座標位置が合っていることが条件となる。以下、画像間の位置あわせ処理に関して詳細に説明する。
【００１２】
以下、本発明の実施例に係る画像処理を図面を参照して詳細に説明する。なお、同一の構成については、同じ符号を付して説明する。図３は、第一の実施例における画像処理装置１０１の構成を示した図である。画像処理装置１０１は、図示しない中央処理装置（ＣＰＵ）が装置全体の制御を行う。画像取得部１０２は、撮影画像を取得する。位置ずれパラメータ分布算出部１０３は位置ずれを評価するパラメータの分布を算出する。位置ずれ補正判定部１０４は、撮影画像間の位置ずれを補正するかどうかを判定する。位置ずれ補正部１０５は、撮影画像間の位置ずれを補正する。バッファメモリ１０６は、画像処理で用いる各種データを格納する読み出し専用記憶装置（ＲＯＭ）として機能するとともに、計算処理時にＣＰＵが一時的な読み書きを行う記憶装置（ＲＡＭ）として機能する。
【００１３】
図４は、画像処理装置１０１にて実行される処理のフローチャートである。
【００１４】
ステップＳ１１において、画像取得部１０２は、バッファメモリ１０６から撮影画像データを１組取得する。尚、１組の画像データとは図２（ａ）で示すライティング条件１で撮影された画像データと図２（ｃ）で示すライティング条件３で撮影された画像データとの組であり、撮影画像データは予めバッファメモリ１０６に保存されているものとする。
【００１５】
ステップＳ１２において、位置ずれパラメータ分布算出部１０３は、ステップＳ１１で取得した画像間の位置ずれを評価するパラメータ（以降、位置ずれパラメータとも呼ぶ）の分布を算出する。位置ずれパラメータ分布算出処理の詳細は後述する。尚、本実施例では位置ずれパラメータとして下式（１）に示す、画像データ間の画素値の差分の絶対値の総和を画像の総画素数で割った値を用いる。また、本実施例では、位置ずれパラメータとして画像データ間の画素値の差分の絶対値の総和を画像データの総画素数で割った値を用いるが、画像データ間の輝度値の差分の絶対値の総和を用いてもよい。但し、使用する位置ずれパラメータに応じて、後述するステップＳ１３で用いる閾値は適切な値に設定する。
【００１６】
【数１】
【００１７】
ステップＳ１３において、位置ずれ補正判定部１０４は、ステップＳ１２で算出した複数の位置ずれパラメータの中での最小値と、位置ずれ補正を行わない、画像の中心位置での位置ずれパラメータとの差分値を算出し、差分値が閾値以上であるか否かを判定する。本実施例では、閾値として０．５の数値を用いるが、閾値はこの数値に制限されない。判定の結果、差分値が閾値以上である場合はステップＳ１４へ進み、閾値より小さい場合は画像データの位置補正処理は行わずにステップＳ１６へ進む。
【００１８】
ステップＳ１４において、位置ずれパラメータ分布算出部１０３は、ステップＳ１１で取得した画像を領域分割し、分割した領域毎にステップＳ１２と同様の方法を用いて、再度、位置ずれパラメータの分布を算出する。本実施例では、取得画像データが表す画像を３×３の領域に分割するが、分割数はこれに制限されず、格子状に分割できればよい。このように、位置ずれパラメータの分布を、ステップＳ１３における、位置ずれ補正が必要か否かの判定に用いるだけでなく、分割画像において再度算出することにより、より精度の高い位置ずれ補正を行うことも可能となる。
【００１９】
ステップＳ１５において、位置ずれ補正部１０５は、ステップＳ１４で算出した分布に基づいて、位置ずれを補正する。補正処理の詳細は後述する。
【００２０】
ステップＳ１６において、ＣＰＵは、全ての画像について処理を実施したかどうかを判定し、実施した場合は処理を終了し、実施していない場合はステップＳ１１へ戻り処理を継続する。
【００２１】
＜位置ずれパラメータ分布算出処理＞
ステップＳ１２における、位置ずれパラメータ分布算出部１０３の処理について図５のフローチャートを用いて説明する。
【００２２】
ステップＳ１２１において、位置ずれパラメータ分布算出部１０３は、ライティング条件１で撮影された画像データをバッファメモリ１０６から取得する。
【００２３】
ステップＳ１２２において、位置ずれパラメータ分布算出部１０３は、ライティング条件３で撮影された画像データをバッファメモリ１０６から取得する。
【００２４】
ステップＳ１２３において、位置ずれパラメータ分布算出部１０３は、ステップＳ１２２で取得した画像データの画素位置をシフトさせた複数のシフト画像（以降、処理画像とも呼ぶ）の画像データを作成する。すなわち、位置ずれ補正を行わない、画像の中心位置から横方向にー５から＋５まで１画素ずつ、さらに縦方向にー５から＋５まで１画素ずつ変化させた、計１２１枚の処理画像を作成する。本実施例では画素位置の変化幅として縦方向、横方向共に±５変化させているが、±１０変化させて計４４１枚の処理画像を作成してもよく、変化幅はこれに制限されない。
【００２５】
ステップＳ１２４において、位置ずれパラメータ分布算出部１０３は、ステップＳ１２１で取得した画像とステップＳ１２３で画素位置を変化させた画像間の位置ずれパラメータの分布を算出する。尚、ステップＳ１２４で算出される位置ずれパラメータの分布を示す図を図６に示す。図６のように、縦方向、横方向共に±５変化させた画像間の各位置ずれパラメータがそれぞれ位置座標と対応付けて保存される。算出された位置ずれパラメータの分布は、バッファメモリ１０６に保存される。
【００２６】
ステップＳ１２５において、位置ずれパラメータ分布算出部１０３は、全ての画像について処理を実施したかどうかを判定し、実施した場合は処理を終了し、実施していない場合はステップＳ１２４へ戻り処理を継続する。
【００２７】
＜位置ずれ補正部１０５の処理＞
ステップＳ１５における位置ずれ補正部１０５の処理について、図７のフローチャートを用いて説明する。
【００２８】
ステップＳ１５１において、位置ずれ補正部１０５は、ステップＳ１１で取得したライティング条件３で撮影された画像データを取得する。
【００２９】
ステップＳ１５２において、位置ずれ補正部１０５は、ステップＳ１４で算出した、分割画像の位置ずれパラメータの分布を取得する。
【００３０】
ステップＳ１５３において、位置ずれ補正部１０５は、ステップＳ１５２で取得した位置ずれパラメータの分布に基づいて位置ずれ補正を行う。ここで、図８は、画像データの位置補正を行わない、画像の中心座標位置から位置ずれパラメータが最小となる座標位置へのベクトルを分割領域ごとに矢印で表したものである。
【００３１】
分割した９ブロックのベクトルが図８（ａ）のように上下、または左右に全て同じ方向の場合（図８（ａ）の場合）には、下式（２）を用いて、ステップＳ１５１において取得した分割画像データのシフト補正を行う。具体的には、分割された９ブロックのうち、位置ずれパラメータが最小となる位置座標と、画像の中心位置における位置ずれパラメータとの差分が最大となるブロックを算出し、算出したブロックにおける画素位置の変化量を用いてシフト補正を行う。シフト量は各ブロックにおける中心位置から位置ずれパラメータが最小となる画素位置への変化量の平均値を用い、小数点以下は切り下げる。また、分割した９ブロックの中央ブロックの４近傍ブロックのベクトルが外向きの場合（図８（ｂ）の場合）には、画像データの拡大処理、内向きの場合（図８（ｃ）の場合）には画像の縮小処理を式（３）を用いて行う。縮小・拡大の倍率は、中央ブロックの画像の中心位置と４近傍ブロックの画像の中心位置との距離に、４近傍ブロックの位置ズレ量を加算した値を上記距離で除算することにより算出する。
【００３２】
更に、上記のいずれにも当てはまらない場合（図８（ｄ）の場合）には、変化量を用いて上述のシフト補正を行う。すなわち、位置ずれパラメータが最小となる画素位置における位置ずれパラメータと、中心位置における位置ずれパラメータとの差分値が最大となるブロックにおける画素位置の変化量である。図８（ｄ）を例にとると、下方向に−３だけ位置座標を補正する。
【００３３】
尚、補正後の座標において画素の隙間が生じる場合には、４近傍画素を用いてバイリニア補間で画素値を決定しても良いし、さらに参照画素を増やしてバイキュービック補間などの補間処理を行ってもよい。
【００３４】
【数２】
【００３５】
ステップＳ１５４において、位置ずれ補正部１０５は、ステップＳ１５３で補正した画像データをバッファメモリ１０６へ保存して処理を終了する。
【００３６】
以上説明した通り、本実施例によれば、位置ずれパラメータの分布に基づいて位置ずれ補正の判定及び位置補正を行うことで、異なる撮影条件で撮影した２つの画像間の位置ずれを適切に補正することができる。
【００３７】
［実施例２］
金属光沢を含む領域は、ライティングの違いによって反射の仕方が異なるため、撮影画像の形状が異なり、実施例１で算出している位置ずれパラメータが最小となる座標が、必ずしも画像間の位置ずれを補正する最適な座標とならない場合がある。このため、金属光沢を含まない箇所の画像間の位置ずれを優先して一致させることで、結果的に金属光沢を含む領域についても位置ずれを適切に処理できることがある。
【００３８】
そこで、本実施例では、分割した領域内において金属光沢を含むか否かを判定し、金属光沢を含む領域については、位置ずれパラメータを参照せずに画像間の位置ずれを補正するという方法について説明する。尚、実施例１からの差分である位置ずれ補正部１０５の処理の動作について位置ずれ補正部２０５として新たに説明し、実施例１と同一である他の動作については説明を省略する。
【００３９】
＜位置ずれ補正部２０５の処理＞
位置ずれ補正部２０５の処理について、図９のフローチャートを用いて説明する。
【００４０】
ステップＳ２５１において、位置ずれ補正部２０５は、ステップＳ１１で取得したライティング条件１で撮影された画像データを取得する。
【００４１】
ステップＳ２５２において、位置ずれ補正部２０５は、ステップＳ１１で取得したライティング条件３で撮影された画像データを取得する。
【００４２】
ステップＳ２５３において、位置ずれ補正部２０５は、ライティング条件１で撮影された画像とライティング条件３で撮影された画像との差分画像を算出する。
【００４３】
ステップＳ２５４において、位置ずれ補正部２０５は、ステップＳ１４で算出した位置ずれパラメータの分布を取得する。
【００４４】
ステップＳ２５５において、位置ずれ補正部２０５は、ステップＳ２５４で取得した位置ずれパラメータの分布、及びステップＳ２５３で取得した差分画像に基づいて位置ずれ補正量を決定する。ここで、取得した差分画像が所定の閾値（本実施例では画素値で３０）以上の場合には、金属光沢領域であると判定し、分割領域の総画素数の半分以上が金属光沢領域の際には、当該分割領域から位置ずれ補正パラメータを参照しないこととする。すなわち、補正を行うか否かの判定基準に含めない。尚、位置ずれ補正の方法としては、位置ずれパラメータが最小となる画素位置における位置ずれパラメータと、画像の中心位置における位置ずれパラメータとの差分値が最大となるブロックにおける画素位置の変化量を用いてシフト補正を行う。尚、閾値は、画素値で３０でなくともよく、金属光沢とみなせる画素値であればよい。
【００４５】
ステップＳ２５６において、位置ずれ補正部２０５は、ステップＳ２５５で補正した画像データをバッファメモリ１０６へ保存して処理を終了する。
【００４６】
以上説明した通り、本実施例によれば、位置ずれパラメータを参照する際に予め金属光沢を含む領域は除外することで、異なる撮影条件で撮影した２つの画像間の位置ずれを適切に補正することができる。
【００４７】
また、本発明は、上述した実施例の機能（例えば、上記のフローチャートにより示される工程）を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給することによっても実現できる。この場合、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が、コンピュータが読み取り可能に記憶媒体に格納されたプログラムコードを読み出し実行することにより、上述した実施例の機能を実現する。なお、上述した実施例は、適宜組み合わせてもよい。
【技術分野】
【０００１】
本発明は、異なる撮影条件で撮影された同一被写体の画像間の位置合わせを行うための画像処理に関する。
【背景技術】
【０００２】
異なる撮影条件で撮影された同一被写体の画像間の位置合わせを行う方法として、特許文献１が提案されている。特許文献１では、異なる露出で撮影した複数枚の画像を加算して広ダイナミックレンジ画像を作成するための前処理として、テンプレートマッチングを用いて画像間の位置座標の対応点を算出することで画像間の位置ずれを補正することが記載されている。
また、異なる撮影条件で撮影された同一被写体の画像間の位置合わせに関するものではないが、撮影画像の手ぶれ補正を行う方法として、特許文献２が提案されている。特許文献２では、手ぶれによる撮影画像の振動を補正するために、撮影画像の動きベクトルを、ブロックマッチングを用いて検出し、検出した動きベクトルに基づいて撮影画像の手ぶれ補正を行うことが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１９９６５８号公報
【特許文献２】特開２００７−３１８５７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
被写体が一様なテクスチャである場合や特徴的な模様を含まない場合、特許文献１、特許文献２で提案されている手法では、画像の特徴点を適切に抽出できない場合、マッチングが適切に行えず、画像間の位置ずれを適切に補正できない課題がある。
そこで本発明は、画像間の位置ずれを適切に補正することを目的とする。
【課題を解決するための手段】
【０００５】
本発明に係る画像処理装置は、同じ被写体を異なる撮影条件で撮影した、第一の画像データ及び第二の画像データを取得する取得手段と、前記第一の画像データの画素位置を変化させた複数の画像データと前記第二の画像データとの位置ずれを評価するパラメータの分布を算出する算出手段と、前記分布に基づいて、前記第二の画像データの位置ずれを補正するか否かを判定する判定手段と、前記判定の結果、前記位置ずれを補正する場合、前記分布に基づいて、前記第二の画像データの位置ずれを補正する補正手段とを有する。
【発明の効果】
【０００６】
本発明によれば、画像間の位置ずれを適切に補正することができる。
【図面の簡単な説明】
【０００７】
【図１】画像処理の全体像を示す図
【図２】ライティング条件を説明する模式図
【図３】画像処理装置の構成を示す図
【図４】画像処理の流れを示すフローチャート
【図５】位置ずれを評価するパラメータの分布を算出する処理の流れを示すフローチャート
【図６】位置ずれを評価するパラメータの分布を例示する図
【図７】位置ずれ補正部１０５の処理の流れを示すフローチャート
【図８】位置ずれ補正を説明する模式図
【図９】実施例２における位置ずれ補正部１０５の処理の流れを示すフローチャート
【発明を実施するための形態】
【０００８】
［実施例１］
本実施例の画像処理装置を文化財や絵画の複製に適用した際の画像処理の全体像を図１に示す。図１に示すように、画像処理装置は、異なるライティング条件下で撮影された画像間の位置あわせを行う処理に関するものであり、以下２つの適用例について例示する。
【０００９】
図１（ａ）は、原作が置かれている観察光源下で原作と同じ色を再現する、高精細な複製画像を出力する処理の全体像を示す図である。まず、被写体をライティング条件１で撮影した画像データ１００１を光源変換処理によって変換し、実際に複製品を観察する観察光源用の画像１００３に変換する。光源変換された画像１００３は、プリント色変換処理によって観察光源下のプリントデータに基づいた出力データ１００４に変換された後に、プリンタによって複製プリント１００５が出力される。ライティング条件１で撮影する画像データ１００１は、図２（ａ）に示すように原作の周囲に複数のストロボ光源を配置して光量を十分に確保して高精細な画像を取得する。ライティング条件２で撮影する画像データ１００２は、図２（ｂ）に示すように被写体とカメラの位置関係とを撮影光源画像の撮影時と同一にした上で、被写体を観察する光源下で画像を取得する。
【００１０】
複製品には、被写体が置かれている観察光源下においても被写体と同じ色を再現する、ノイズの少ない高精細な画像が要求されるため、上述した光源変換処理が必要になる。該光源変換処理は、両画像の代表的な色を抽出し、抽出した色の対応関係をもとに色補正条件（例えば、色変換係数）を作成する。この色補正条件を高精度に作成する際には、上記両画像間の座標位置が合っていることが条件となる。
【００１１】
次に、図１（ｂ）は、金属光沢を含む被写体の撮影画像から金属光沢領域を識別するためのマスク画像１００８を生成する処理の全体像を示す図である。まず、異なるライティング条件で撮影された画像データ１００１及び１００６を取得し、撮影画像間の位置合わせを行う。マスク画像生成処理１００７は、位置あわせ後の画像データの差分から金属光沢領域を判別するためのマスク画像１００８を生成する。ここで生成されたマスク画像を用いることで、金属光沢領域を除いて複製された複製プリント上に金箔の張り付けなどの、プリンタの色材では再現できない装飾を後から加えることが可能となる。そこで、ライティング条件３で撮影する画像データ１００６は、図２（ｃ）に示すように被写体の金属光沢領域を明確に判別するために、鏡面反射成分が得られるように片側からストロボ光が照射される。上記のライティング条件で撮影された画像間の差分データを用いることで、金属光沢領域を識別するためのマスク画像を生成することができる。このマスク画像を高精度に作成する際には、上記画像間の座標位置が合っていることが条件となる。以下、画像間の位置あわせ処理に関して詳細に説明する。
【００１２】
以下、本発明の実施例に係る画像処理を図面を参照して詳細に説明する。なお、同一の構成については、同じ符号を付して説明する。図３は、第一の実施例における画像処理装置１０１の構成を示した図である。画像処理装置１０１は、図示しない中央処理装置（ＣＰＵ）が装置全体の制御を行う。画像取得部１０２は、撮影画像を取得する。位置ずれパラメータ分布算出部１０３は位置ずれを評価するパラメータの分布を算出する。位置ずれ補正判定部１０４は、撮影画像間の位置ずれを補正するかどうかを判定する。位置ずれ補正部１０５は、撮影画像間の位置ずれを補正する。バッファメモリ１０６は、画像処理で用いる各種データを格納する読み出し専用記憶装置（ＲＯＭ）として機能するとともに、計算処理時にＣＰＵが一時的な読み書きを行う記憶装置（ＲＡＭ）として機能する。
【００１３】
図４は、画像処理装置１０１にて実行される処理のフローチャートである。
【００１４】
ステップＳ１１において、画像取得部１０２は、バッファメモリ１０６から撮影画像データを１組取得する。尚、１組の画像データとは図２（ａ）で示すライティング条件１で撮影された画像データと図２（ｃ）で示すライティング条件３で撮影された画像データとの組であり、撮影画像データは予めバッファメモリ１０６に保存されているものとする。
【００１５】
ステップＳ１２において、位置ずれパラメータ分布算出部１０３は、ステップＳ１１で取得した画像間の位置ずれを評価するパラメータ（以降、位置ずれパラメータとも呼ぶ）の分布を算出する。位置ずれパラメータ分布算出処理の詳細は後述する。尚、本実施例では位置ずれパラメータとして下式（１）に示す、画像データ間の画素値の差分の絶対値の総和を画像の総画素数で割った値を用いる。また、本実施例では、位置ずれパラメータとして画像データ間の画素値の差分の絶対値の総和を画像データの総画素数で割った値を用いるが、画像データ間の輝度値の差分の絶対値の総和を用いてもよい。但し、使用する位置ずれパラメータに応じて、後述するステップＳ１３で用いる閾値は適切な値に設定する。
【００１６】
【数１】
【００１７】
ステップＳ１３において、位置ずれ補正判定部１０４は、ステップＳ１２で算出した複数の位置ずれパラメータの中での最小値と、位置ずれ補正を行わない、画像の中心位置での位置ずれパラメータとの差分値を算出し、差分値が閾値以上であるか否かを判定する。本実施例では、閾値として０．５の数値を用いるが、閾値はこの数値に制限されない。判定の結果、差分値が閾値以上である場合はステップＳ１４へ進み、閾値より小さい場合は画像データの位置補正処理は行わずにステップＳ１６へ進む。
【００１８】
ステップＳ１４において、位置ずれパラメータ分布算出部１０３は、ステップＳ１１で取得した画像を領域分割し、分割した領域毎にステップＳ１２と同様の方法を用いて、再度、位置ずれパラメータの分布を算出する。本実施例では、取得画像データが表す画像を３×３の領域に分割するが、分割数はこれに制限されず、格子状に分割できればよい。このように、位置ずれパラメータの分布を、ステップＳ１３における、位置ずれ補正が必要か否かの判定に用いるだけでなく、分割画像において再度算出することにより、より精度の高い位置ずれ補正を行うことも可能となる。
【００１９】
ステップＳ１５において、位置ずれ補正部１０５は、ステップＳ１４で算出した分布に基づいて、位置ずれを補正する。補正処理の詳細は後述する。
【００２０】
ステップＳ１６において、ＣＰＵは、全ての画像について処理を実施したかどうかを判定し、実施した場合は処理を終了し、実施していない場合はステップＳ１１へ戻り処理を継続する。
【００２１】
＜位置ずれパラメータ分布算出処理＞
ステップＳ１２における、位置ずれパラメータ分布算出部１０３の処理について図５のフローチャートを用いて説明する。
【００２２】
ステップＳ１２１において、位置ずれパラメータ分布算出部１０３は、ライティング条件１で撮影された画像データをバッファメモリ１０６から取得する。
【００２３】
ステップＳ１２２において、位置ずれパラメータ分布算出部１０３は、ライティング条件３で撮影された画像データをバッファメモリ１０６から取得する。
【００２４】
ステップＳ１２３において、位置ずれパラメータ分布算出部１０３は、ステップＳ１２２で取得した画像データの画素位置をシフトさせた複数のシフト画像（以降、処理画像とも呼ぶ）の画像データを作成する。すなわち、位置ずれ補正を行わない、画像の中心位置から横方向にー５から＋５まで１画素ずつ、さらに縦方向にー５から＋５まで１画素ずつ変化させた、計１２１枚の処理画像を作成する。本実施例では画素位置の変化幅として縦方向、横方向共に±５変化させているが、±１０変化させて計４４１枚の処理画像を作成してもよく、変化幅はこれに制限されない。
【００２５】
ステップＳ１２４において、位置ずれパラメータ分布算出部１０３は、ステップＳ１２１で取得した画像とステップＳ１２３で画素位置を変化させた画像間の位置ずれパラメータの分布を算出する。尚、ステップＳ１２４で算出される位置ずれパラメータの分布を示す図を図６に示す。図６のように、縦方向、横方向共に±５変化させた画像間の各位置ずれパラメータがそれぞれ位置座標と対応付けて保存される。算出された位置ずれパラメータの分布は、バッファメモリ１０６に保存される。
【００２６】
ステップＳ１２５において、位置ずれパラメータ分布算出部１０３は、全ての画像について処理を実施したかどうかを判定し、実施した場合は処理を終了し、実施していない場合はステップＳ１２４へ戻り処理を継続する。
【００２７】
＜位置ずれ補正部１０５の処理＞
ステップＳ１５における位置ずれ補正部１０５の処理について、図７のフローチャートを用いて説明する。
【００２８】
ステップＳ１５１において、位置ずれ補正部１０５は、ステップＳ１１で取得したライティング条件３で撮影された画像データを取得する。
【００２９】
ステップＳ１５２において、位置ずれ補正部１０５は、ステップＳ１４で算出した、分割画像の位置ずれパラメータの分布を取得する。
【００３０】
ステップＳ１５３において、位置ずれ補正部１０５は、ステップＳ１５２で取得した位置ずれパラメータの分布に基づいて位置ずれ補正を行う。ここで、図８は、画像データの位置補正を行わない、画像の中心座標位置から位置ずれパラメータが最小となる座標位置へのベクトルを分割領域ごとに矢印で表したものである。
【００３１】
分割した９ブロックのベクトルが図８（ａ）のように上下、または左右に全て同じ方向の場合（図８（ａ）の場合）には、下式（２）を用いて、ステップＳ１５１において取得した分割画像データのシフト補正を行う。具体的には、分割された９ブロックのうち、位置ずれパラメータが最小となる位置座標と、画像の中心位置における位置ずれパラメータとの差分が最大となるブロックを算出し、算出したブロックにおける画素位置の変化量を用いてシフト補正を行う。シフト量は各ブロックにおける中心位置から位置ずれパラメータが最小となる画素位置への変化量の平均値を用い、小数点以下は切り下げる。また、分割した９ブロックの中央ブロックの４近傍ブロックのベクトルが外向きの場合（図８（ｂ）の場合）には、画像データの拡大処理、内向きの場合（図８（ｃ）の場合）には画像の縮小処理を式（３）を用いて行う。縮小・拡大の倍率は、中央ブロックの画像の中心位置と４近傍ブロックの画像の中心位置との距離に、４近傍ブロックの位置ズレ量を加算した値を上記距離で除算することにより算出する。
【００３２】
更に、上記のいずれにも当てはまらない場合（図８（ｄ）の場合）には、変化量を用いて上述のシフト補正を行う。すなわち、位置ずれパラメータが最小となる画素位置における位置ずれパラメータと、中心位置における位置ずれパラメータとの差分値が最大となるブロックにおける画素位置の変化量である。図８（ｄ）を例にとると、下方向に−３だけ位置座標を補正する。
【００３３】
尚、補正後の座標において画素の隙間が生じる場合には、４近傍画素を用いてバイリニア補間で画素値を決定しても良いし、さらに参照画素を増やしてバイキュービック補間などの補間処理を行ってもよい。
【００３４】
【数２】
【００３５】
ステップＳ１５４において、位置ずれ補正部１０５は、ステップＳ１５３で補正した画像データをバッファメモリ１０６へ保存して処理を終了する。
【００３６】
以上説明した通り、本実施例によれば、位置ずれパラメータの分布に基づいて位置ずれ補正の判定及び位置補正を行うことで、異なる撮影条件で撮影した２つの画像間の位置ずれを適切に補正することができる。
【００３７】
［実施例２］
金属光沢を含む領域は、ライティングの違いによって反射の仕方が異なるため、撮影画像の形状が異なり、実施例１で算出している位置ずれパラメータが最小となる座標が、必ずしも画像間の位置ずれを補正する最適な座標とならない場合がある。このため、金属光沢を含まない箇所の画像間の位置ずれを優先して一致させることで、結果的に金属光沢を含む領域についても位置ずれを適切に処理できることがある。
【００３８】
そこで、本実施例では、分割した領域内において金属光沢を含むか否かを判定し、金属光沢を含む領域については、位置ずれパラメータを参照せずに画像間の位置ずれを補正するという方法について説明する。尚、実施例１からの差分である位置ずれ補正部１０５の処理の動作について位置ずれ補正部２０５として新たに説明し、実施例１と同一である他の動作については説明を省略する。
【００３９】
＜位置ずれ補正部２０５の処理＞
位置ずれ補正部２０５の処理について、図９のフローチャートを用いて説明する。
【００４０】
ステップＳ２５１において、位置ずれ補正部２０５は、ステップＳ１１で取得したライティング条件１で撮影された画像データを取得する。
【００４１】
ステップＳ２５２において、位置ずれ補正部２０５は、ステップＳ１１で取得したライティング条件３で撮影された画像データを取得する。
【００４２】
ステップＳ２５３において、位置ずれ補正部２０５は、ライティング条件１で撮影された画像とライティング条件３で撮影された画像との差分画像を算出する。
【００４３】
ステップＳ２５４において、位置ずれ補正部２０５は、ステップＳ１４で算出した位置ずれパラメータの分布を取得する。
【００４４】
ステップＳ２５５において、位置ずれ補正部２０５は、ステップＳ２５４で取得した位置ずれパラメータの分布、及びステップＳ２５３で取得した差分画像に基づいて位置ずれ補正量を決定する。ここで、取得した差分画像が所定の閾値（本実施例では画素値で３０）以上の場合には、金属光沢領域であると判定し、分割領域の総画素数の半分以上が金属光沢領域の際には、当該分割領域から位置ずれ補正パラメータを参照しないこととする。すなわち、補正を行うか否かの判定基準に含めない。尚、位置ずれ補正の方法としては、位置ずれパラメータが最小となる画素位置における位置ずれパラメータと、画像の中心位置における位置ずれパラメータとの差分値が最大となるブロックにおける画素位置の変化量を用いてシフト補正を行う。尚、閾値は、画素値で３０でなくともよく、金属光沢とみなせる画素値であればよい。
【００４５】
ステップＳ２５６において、位置ずれ補正部２０５は、ステップＳ２５５で補正した画像データをバッファメモリ１０６へ保存して処理を終了する。
【００４６】
以上説明した通り、本実施例によれば、位置ずれパラメータを参照する際に予め金属光沢を含む領域は除外することで、異なる撮影条件で撮影した２つの画像間の位置ずれを適切に補正することができる。
【００４７】
また、本発明は、上述した実施例の機能（例えば、上記のフローチャートにより示される工程）を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給することによっても実現できる。この場合、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が、コンピュータが読み取り可能に記憶媒体に格納されたプログラムコードを読み出し実行することにより、上述した実施例の機能を実現する。なお、上述した実施例は、適宜組み合わせてもよい。
【特許請求の範囲】
【請求項１】
同じ被写体を異なる撮影条件で撮影した、第一の画像データ及び第二の画像データを取得する取得手段と、
前記第一の画像データの画素位置を変化させた複数の画像データと前記第二の画像データとの位置ずれを評価するパラメータの分布を算出する算出手段と、
前記分布に基づいて、前記第二の画像データの位置ずれを補正するか否かを判定する判定手段と、
前記判定の結果、前記位置ずれを補正する場合、前記分布に基づいて、前記第二の画像データの位置ずれを補正する補正手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記パラメータは、前記複数の画像データと前記第二の画像データとの画素値の差分の絶対値の総和を前記第二の画像データの総画素数で割った値であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記判定手段は、前記算出されたパラメータの最小値と前記第二の画像データが表す画像の中心位置における前記パラメータの値との差分を算出し、該差分が所定の閾値以上である場合に前記補正を行うと判定することを特徴とする請求項１又は請求項２に記載の画像処理装置。
【請求項４】
さらに、前記第二の画像データを分割画像データに分割する分割手段を有し、
前記補正手段は、前記分割画像データについて前記分布を取得し、該分布に基づき前記第二の画像データを補正することを特徴とする請求項１乃至請求項３の何れか一項に記載の画像処理装置。
【請求項５】
さらに、前記第一の画像データと前記第二の画像データとの画素値の差分値を算出する差分算出手段を有し、
前記判定手段は、前記差分値が所定の閾値以上である場合には、前記画素値に対応する前記パラメータを前記分布に用いないことを特徴とする請求項１乃至請求項４の何れか一項に記載の画像処理装置。
【請求項６】
前記閾値は、金属光沢であるか否かを判定するための閾値であることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
コンピュータを、請求項１乃至請求項６の何れか一項に記載の画像処理装置の各手段として機能させることを特徴とするプログラム。
【請求項８】
同じ被写体を異なる撮影条件で撮影した、第一の画像データ及び第二の画像データを取得する取得工程と、
前記第一の画像データの画素位置を変化させた複数の画像データと前記第二の画像データとの位置ずれを評価するパラメータの分布を算出する算出工程と、
前記分布に基づいて、前記第二の画像データの位置ずれを補正するか否かを判定する判定工程と、
前記判定の結果、前記位置ずれを補正する場合、前記分布に基づいて、前記第二の画像データの位置ずれを補正する補正工程と
を有することを特徴とする画像処理方法。
【請求項１】
同じ被写体を異なる撮影条件で撮影した、第一の画像データ及び第二の画像データを取得する取得手段と、
前記第一の画像データの画素位置を変化させた複数の画像データと前記第二の画像データとの位置ずれを評価するパラメータの分布を算出する算出手段と、
前記分布に基づいて、前記第二の画像データの位置ずれを補正するか否かを判定する判定手段と、
前記判定の結果、前記位置ずれを補正する場合、前記分布に基づいて、前記第二の画像データの位置ずれを補正する補正手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記パラメータは、前記複数の画像データと前記第二の画像データとの画素値の差分の絶対値の総和を前記第二の画像データの総画素数で割った値であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記判定手段は、前記算出されたパラメータの最小値と前記第二の画像データが表す画像の中心位置における前記パラメータの値との差分を算出し、該差分が所定の閾値以上である場合に前記補正を行うと判定することを特徴とする請求項１又は請求項２に記載の画像処理装置。
【請求項４】
さらに、前記第二の画像データを分割画像データに分割する分割手段を有し、
前記補正手段は、前記分割画像データについて前記分布を取得し、該分布に基づき前記第二の画像データを補正することを特徴とする請求項１乃至請求項３の何れか一項に記載の画像処理装置。
【請求項５】
さらに、前記第一の画像データと前記第二の画像データとの画素値の差分値を算出する差分算出手段を有し、
前記判定手段は、前記差分値が所定の閾値以上である場合には、前記画素値に対応する前記パラメータを前記分布に用いないことを特徴とする請求項１乃至請求項４の何れか一項に記載の画像処理装置。
【請求項６】
前記閾値は、金属光沢であるか否かを判定するための閾値であることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
コンピュータを、請求項１乃至請求項６の何れか一項に記載の画像処理装置の各手段として機能させることを特徴とするプログラム。
【請求項８】
同じ被写体を異なる撮影条件で撮影した、第一の画像データ及び第二の画像データを取得する取得工程と、
前記第一の画像データの画素位置を変化させた複数の画像データと前記第二の画像データとの位置ずれを評価するパラメータの分布を算出する算出工程と、
前記分布に基づいて、前記第二の画像データの位置ずれを補正するか否かを判定する判定工程と、
前記判定の結果、前記位置ずれを補正する場合、前記分布に基づいて、前記第二の画像データの位置ずれを補正する補正工程と
を有することを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１３−４６２２０（Ｐ２０１３−４６２２０Ａ）
【公開日】平成２５年３月４日（２０１３．３．４）
【国際特許分類】
【出願番号】特願２０１１−１８２６２２（Ｐ２０１１−１８２６２２）
【出願日】平成２３年８月２４日（２０１１．８．２４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年３月４日（２０１３．３．４）
【国際特許分類】
【出願日】平成２３年８月２４日（２０１１．８．２４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]