画像処理システムおよび画像処理方法
【課題】2つの画像の位置合わせが容易で、かつ様々な直線を軸とした撮影装置の回転に対しても画像の合成を可能にするように、2画像の一方の画像を変形させる。
【解決手段】2つの画像の一方の画像を基準画像、他方の画像を比較画像に指定する。基準画像の全体に分散するように複数の測定点FP1〜FP24を設定する。比較画像において、測定点FP1〜FP24に対応する複数の移動点SP1〜SP24を検出する。比較画像を、測定点と同じ座標を頂点とする複数の矩形の部分画像に分割する。各部分画像の頂点を移動点に移動させて部分画像PA1〜PA15を変形させることにより、変形部分画像を作成する。全ての変形部分画像を、共通する移動点が同じ位置になるように結合することにより結合画像を作成する。
【解決手段】2つの画像の一方の画像を基準画像、他方の画像を比較画像に指定する。基準画像の全体に分散するように複数の測定点FP1〜FP24を設定する。比較画像において、測定点FP1〜FP24に対応する複数の移動点SP1〜SP24を検出する。比較画像を、測定点と同じ座標を頂点とする複数の矩形の部分画像に分割する。各部分画像の頂点を移動点に移動させて部分画像PA1〜PA15を変形させることにより、変形部分画像を作成する。全ての変形部分画像を、共通する移動点が同じ位置になるように結合することにより結合画像を作成する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複数の画像を合成する場合に、各々の画像の位置合わせを容易にするように一画像を変形させる画像処理システムに関する。
【背景技術】
【0002】
暗い領域から明るい領域まで明瞭に表示するHDR合成や手振れの影響を低減化するための手振れ補正画像合成が知られている。HDR合成では、例えばシャッタスピードの高い画像と低い画像とを平均させることにより見かけのダイナミックレンジの広い画像が合成される。また、手振れ補正画像合成では、手振れが影響しないほどの高速のシャッタスピードで撮影した複数の画像を合計することにより、手振れの影響が低減化された十分な明るさの画像が合成される。このように、複数の画像を用いた様々な画像合成が提案されている。
【0003】
このように複数の画像を用いた画像合成では、それぞれの画像における同じ座標の画素は同じ光学像を形成していることが求められる。しかし、三脚などを用いずに時間差をおいて撮影した複数の画像では、カメラの並進移動や回転により光学像に微小なずれが生じることが一般的である。
【0004】
そこで、2つの画像の位置合わせをするための様々な方法が提案されている(特許文献1参照)。特許文献1では、一方の画像上に設定された複数のターゲットブロックの動きベクトルをターゲットブロック毎に算出し、算出された複数の動きベクトルに基づいて、画像全体の平行移動量および光軸周りの回転角度が算出される。
【0005】
特許文献1の方法では、2つの画像間において、平行移動および光軸周りの回転に対しては、位置合わせに基づく合成が可能である。しかし、光軸に垂直な直線を軸に回転(例えば、パンやチルト)させた場合には、位置合わせに基づく合成が困難となる。なぜならば、2画像間に含まれる同じ被写体像の形状が変形するからである。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2007−336121号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
したがって本発明は、2つの画像の位置合わせが容易で、かつ様々な直線を軸とした撮影装置の回転に対しても画像の合成を可能にするように、2画像の一方の画像を変形させる画像処理システムの提供を目的とする。
【課題を解決するための手段】
【0008】
本発明に係る画像処理システムは、同じ被写体を複数回にわたって撮影して得られる第1および第2の画像を合成するために、第1および第2の画像の位置合わせを行う画像処理システムであって、第1の画像の全体に分散するように設定された複数の測定点に対応する複数の移動点を、第2の画像において検出する移動点検出手段と、第2の画像を、測定点と同じ座標を頂点とする複数の多角形の部分画像に分割する画像分割手段と、各部分画像の頂点を移動点に移動させて部分画像を変形させることにより変形部分画像を作成する画像変形手段と、全ての変形部分画像を、共通する移動点が同じ位置になるように結合することにより結合画像を作成する画像結合手段とを備えることを特徴としている。
【0009】
好ましくは移動点検出手段は、第1の画像において、測定点を中心とする基準小画像を設定する基準小画像設定手段と、第2の画像において、測定点に関連する複数の候補点を中心とし、基準小画像と同じ大きさの複数の比較小画像を設定する比較小画像設定手段と、複数の比較小画像の中で、基準小画像に最も類似する比較小画像に含まれる候補点を選択する候補点選択手段とを備える。
【0010】
候補点選択手段は、基準小画像と比較小画像において、同じ座標の画素の輝度値の差分の絶対値を全画素に対して求め、全画素における差分の絶対値の合計が最小となる比較小画像を、基準小画像に最も類似する比較小画像であると判断してもよい。
【0011】
画像処理システムは、第1の画像と結合画像において、互いに重なる領域以外の領域を切除し、第1の画像と結合画像を合成する画像合成手段を備えてもよい。
【0012】
本発明に係る画像処理方法は、同じ被写体を複数回にわたって撮影して得られる第1および第2の画像を合成するために、第1および第2の画像の位置合わせを行う画像処理方法であって、第1の画像の全体に分散するように設定された複数の測定点に対応する複数の移動点を、第2の画像において検出する移動点検出ステップと、第2の画像を、測定点と同じ座標を頂点とする複数の多角形の部分画像に分割する画像分割ステップと、各部分画像の頂点を移動点に移動させて部分画像を変形させることにより変形部分画像を作成する画像変形ステップと、全ての変形部分画像を、共通する移動点が同じ位置になるように結合することにより結合画像を作成する画像結合ステップとを備えることを特徴としている。
【発明の効果】
【0013】
本発明によれば、一方の画像上に定められた測定点における画像の移動位置を複数の測定点ごとに検出し、移動点を頂点とする小画像を、小画像毎に変形させるので、画像全体の移動量の算出が不要になる。
【図面の簡単な説明】
【0014】
【図1】本発明の一実施形態を適用した画像処理システムを有するデジタルカメラの電気的構成を概略的に示すブロック図である。
【図2】撮影された画像内における測定点の位置を示す配置図である。
【図3】サーチ範囲、候補点、および比較小画像の関係を示す図である。
【図4】各測定点に対する対応する移動点の位置の一例を示す配置図である。
【図5】部分画像の配置を示す配置図である。
【図6】第1の部分画像を第1の変形部分画像に変形する手法を説明するための図である。
【図7】全ての変形部分画像を結合して得られる結合画像を示す図である。
【図8】トリミングをする外縁を示す図である。
【図9】位置合わせ処理を示すフローチャートの前半部分である。
【図10】位置合わせ処理を示すフローチャートの後半部分である。
【図11】パン方向に回転した場合の連続する2フレームの画像の形状の変化を示す図である。
【発明を実施するための形態】
【0015】
以下、本発明の実施形態について図面を参照して説明する。
図1は、本発明の一実施形態を適用した画像処理システムを有するデジタルカメラの電気的構成を概略的に示すブロック図である。
【0016】
デジタルカメラ10は、撮影光学系11、撮像素子12、AFE(Analog Front End)13、DSP(Digital Signal Processor)14、CPU15、SDRAM16、LCD17、コネクタ18、および入力部19などによって構成される。
【0017】
撮影光学系11は、撮像素子12に光学的に接続される。撮影光学系11は、フォーカスレンズ(図示せず)を含む複数のレンズによって構成される。フォーカスレンズを光軸に沿って変位させることにより被写体の光学像を撮像素子12の受光面に合焦させることが可能である。
【0018】
撮像素子12は、例えばCCDである。撮像素子12が光学像を受光すると、受光した光学像に相当する画像信号が生成される。
【0019】
撮像素子12は撮像素子駆動回路(図示せず)によって駆動され、静止画像すなわち1フレームの画像信号、および動画像すなわち複数のフレームの画像信号を周期的に生成する。なお、撮像素子駆動回路により撮像素子の電子シャッタのシャッタスピードが制御される。
【0020】
撮像素子12は、AFE13を介してDSP14に接続される。撮像素子12が生成した画像信号はAFE13によりデジタルデータである画像データに変換される。画像データはDSP14に送信される。
【0021】
受信した画像データは、DSP14によりワークメモリであるSDRAM16に一旦格納される。画像データは、RGBデータ成分によって構成されており、DSP14においてマトリックス処理が施され、輝度データ成分および色差データ成分に変換される。
【0022】
DSP14では、輝度データ成分および色差データ成分によって構成される画像データに対して、さらにガンマ補正処理や輪郭強調処理などの画像処理が施される。また、DSP14では、後述するようにHDR撮影モードや手振れ低減撮影モードにおいて複数の画像データを合成して単一の画像データを生成することも可能である。
【0023】
画像処理が施された画像データは、LCD17に表示される。また画像データは、コネクタ18を介して接続される外部メモリ20に格納することも可能である。
【0024】
DSP14は、CPU15に接続される。DSP14を含むデジタルカメラ10の各部位はCPU15により動作が制御される。CPU15には、入力部19が接続される。使用者による入力部19への様々なコマンド入力に基づいて、CPU15はデジタルカメラ10の各部位の動作を制御する。
【0025】
デジタルカメラ10には、通常撮影モード、HDR撮影モード、および手振れ低減撮影モードなどの複数の撮影モードが設けられる。
【0026】
通常撮影モードでは、使用者がレリーズボタン(図示せず)を全押ししたときに、自動または手動で定められた露光条件(シャッタスピード、ISO感度、絞りの開口率)で、撮像素子12により1フレームの画像信号が生成される。生成された画像信号に対して、前述の画像処理が施され、外部メモリ20に格納される。
【0027】
HDR撮影モードでは、使用者がレリーズボタンを全押ししたときに、同じ被写体が同一の露光条件で連続的に(複数回にわたって)撮影され、撮像素子12により2フレームの画像信号が連続的に生成される。一方の画像信号は低速のシャッタスピードで、他方の画像信号は高速のシャッタスピードで受光された光学像に基づいて生成される。2フレームの画像信号は、後述する位置合わせ処理の実行後、画像信号を平均化するHDR合成処理を施すことによりHDR画像信号が生成され、外部メモリ20に格納される。
【0028】
手振れ低減撮影モードでは、使用者がレリーズボタンを全押ししたときに、同じ被写体が同一の露光条件で連続的に撮影され、撮像素子12により複数フレームの画像信号が連続的に生成される。全ての画像信号は、手振れの影響が及ばないシャッタスピードで受光された光学像に基づいて生成される。複数フレームの画像信号は、後述する位置合わせの処理の実行後、画像信号を合計する手振れ低減合成処理を施すことにより手振れ低減画像信号が生成され、外部メモリ20に格納される。
【0029】
次に、DSP14において実行される位置合わせ処理について説明する。前述のように、HDR撮影モードおよび手振れ低減撮影モードにおいて、複数フレームの画像信号を合成するために、それぞれの画像信号の位置合わせ、すなわち、撮像素子において同じ座標の画素が受光する光学像が同じ被写体部位となるように画像信号が加工される。
【0030】
位置合わせ処理は、以下に説明するように、画像指定処理、移動点検出処理、画像分割処理、画像変形処理、画像結合処理の順番に実行され、その後、トリミング、および画像合成処理が遂行される。
【0031】
画像指定処理では、SDRAM16にデータとして格納された複数の画像の中から、最初に生成された画像が基準画像(第1の画像)に指定される。また、基準画像の次に生成された画像が比較画像(第2の画像)に指定される。基準画像と比較画像に対して、以下に説明する画像処理が実行され、位置合わせが行われる。
【0032】
なお、SDRAM16にデータとして格納された画像が3フレーム以上である場合、基準画像と比較画像との位置合わせ処理の終了時に、比較画像として指定された画像の次に生成された画像が次の比較画像として指定される。そして、基準画像と新たに指定された比較画像との位置合わせが行われる。
【0033】
画像指定処理後の移動点検出処理では、測定点の移動位置が検出される。測定点とは、基準画像内において予め位置が定められた複数の点である。測定点の移動位置とは、比較画像における、測定点に対応した移動点の位置である。すなわち、基準画像における測定点と比較画像における移動点は被写体像の同一部分に相当する。
【0034】
図2に示すように、基準画像IMの全体に均一に分散するように多数の測定点が設定される。なお図示例では、説明の簡単のために、24個の測定点FP1〜FP24が示されているが、実際にはもっと多数の測定点が設定され、測定点FP1、FP6、FP19、FP24は基準画像IMの角部の近傍に位置している。
【0035】
本実施形態では、測定点FP1〜FP24は、測定点FP1、FP6、FP19、FP24が矩形の頂点に位置し、矩形の長辺上の測定点は長辺を等分するように位置し、矩形の短辺の測定点は短辺を等分するように位置する。また全ての測定点に関し、水平および垂直方向に隣り合う2つの測定点は等距離にあり、近接する4つの測定点は正方形の頂点に位置している。各測定点の座標は、データとしてEEPROM(図示せず)に格納されており、移動点検出処理の開始時にDSP14に読出される。
【0036】
測定点の座標が読み出されると、次のようにして、第1〜第24の測定点FP1〜FP24の移動位置が検出される。
【0037】
第1の測定点FP1の移動位置の検出のために、第1の測定点FP1を中心とした、正方形の基準小画像RPAが設定される。また比較画像において、第1の測定点FP1と同じ座標を中心とした、基準小画像RPAよりも大きい正方形のサーチ範囲SAが設定される。
【0038】
比較画像において、図3に示すように、サーチ範囲SA内の全画素が測定点FP1に関連する候補点CPとして選択され、また、各候補点CPを中心とした、基準小画像RPAと同じ大きさの正方形の複数の比較小画像SPAが設定される。なお図3においては、左上と右下との線分上の一部の画素のみが候補点CPとして選択されていることが例示されているが、他の位置のすべての画素も同様に候補点CPとして選択され、比較小画像SPAが設定される。
【0039】
第1の測定点FP1(図2参照)に関し、基準小画像RPAおよび複数の比較小画像SPA(図3参照)が設定されると、比較小画像SPAの各画素の輝度値と基準小画像RPAの各画素の輝度値がSDRAM16から読出される。
【0040】
基準小画像RPAと比較小画像SPAの輝度値の差分絶対値和(SAD)が、各候補点CPに対して算出される。SADは、基準画像RPAと比較小画像SPAにおいて、対応する画素の輝度値の差分の絶対値を全画素に対して求め、それを合計した値である。
【0041】
それぞれの候補点に対して算出されたSADの最小値が検出される。全画素におけるSADが最小となる比較小画像SPAが基準小画像RPAに最も類似する比較小画像SPAであると判断される。すなわちSADが最小となる候補点CPが、基準部分画像の第1の測定点FP1における移動位置である第1の移動点として検出される。
【0042】
第1の測定点FP1の移動位置の検出を終えると、第2の測定点FP2(図2参照)の移動位置が、第1の測定点FP1の検出と同様に検出される。同様に、第3〜第24の測定点FP3〜FP24の移動位置が検出される。このようにして測定点FP1〜FP24の移動位置が、図4に示すように、移動点SP1〜SP24として検出される。
【0043】
移動点SP1〜SP24が検出されると、画像分割処理が実行される。画像分割処理では、図5に示すように比較画像は、測定点と同じ座標を頂点とする15の正方形の部分画像PA1〜PA15に分割される。なお図5では、各頂点を測定点と同じ符号(FP1〜FP24)により示している。
【0044】
部分画像PA1〜PA15の分割の後、画像変形処理が実行される。画像変形処理では、比較画像において部分画像PA1〜PA15が以下に説明するようにして変形される。
【0045】
図6に示すように、第1の部分画像PA1の頂点FP1、FP2、FP7、FP8はそれぞれ、移動点SP1、SP2、SP7、SP8に移動され、これにより第1の部分画像PA1は第1の変形部分画像DA1に変形させられる。
【0046】
なお画像の変形は、アフィン変換などの従来公知の座標変換方法によって実行される。同様にして、他の部分画像も変形部分画像に変換される。
【0047】
全ての変形部分画像への変形後、画像結合処理が実行される。画像結合処理では、全ての変形部分画像が結合される。各変形部分画像は、隣接する変形部分画像と共通する移動点が同じ位置になるように結合される。図7は全ての変形部分画像を結合して得られる結合画像を示している。
【0048】
結合画像は、データとしてSDRAM16に格納される。SDRAM16に3フレーム以上の画像がデータとして格納されている場合には、別の画像が比較画像として指定され、基準画像と新たに指定された比較画像とに基づいて、同様に結合画像が作成され、データとしてSDRAM16に格納される。
【0049】
基準画像以外の画像であって、SDRAM16に格納された画像すべてに対して結合画像が作成されると、基準画像および結合画像のトリミングが行われる。トリミングでは、図8に示すように、基準画像と結合画像において、互いに重なる領域以外の領域を切除した後、基準画像と結合画像が合成される。まず、切除する上端、下端、左端、右端の位置が最初に決められ、決められた上端、下端、左端、右端の外部の領域が基準画像および結合画像から切除される。
【0050】
上端の位置を決めるために、基準画像における測定点FP1〜FP6と結合画像における移動点SP1〜SP6との中で最も低い位置の移動点が検出される。検出された移動点SP3の位置がトリミングに用いる上端に決められる。
【0051】
同様にして、基準画像における測定点FP19〜FP24と結合画像における移動点SP19〜SP24との中で最も上側に位置する移動点SP24が検出され、トリミングに用いる下端の位置に用いられる。
【0052】
同様にして、基準画像における測定点FP1、FP7、FP13、FP19と結合画像における移動点SP1、SP7、SP13、SP19との中で最も右側に位置する測定点FP1、FP7、FP13、FP19が検出され、トリミングに用いる左端の位置に用いられる。
【0053】
同様にして、基準画像における測定点FP6、FP12、FP18、FP24と結合画像における移動点SP6、SP12、SP18、SP24の中で最も左側に位置する移動点SP12が検出され、トリミングに用いる右端の位置に用いられる。
【0054】
このようにして、移動点SP3を通り測定点FP1、FP6を結ぶ線分に平行な直線L1が上端に定められる。同様に、移動点SP24を通り測定点FP19、FP24を結ぶ線分に平行な直線L2が下端に定められる。同様に、測定点FP1、FP19を結ぶ線分を含む直線L3が左端に定められる。同様に、移動点SP12を通り測定点FP6、FP24を結ぶ線分に平行な直線L4が右端に定められる。
【0055】
上述のように、トリミングの上端、下端、左端、および右端を定めることにより、基準画像およびすべての結合画像において、互いに重なる矩形の領域を求めることが出来る。
【0056】
上端、下端、左端、右端により囲まれた領域の外部領域が、基準画像およびすべての結合画像から切除され、トリミングが完了する。トリミングされた基準画像および結合画像がデータとしてSDRAM16に格納される。トリミングされた基準画像および結合画像がSDRAM16に格納されると、位置合わせ処理が終了する。トリミングにより、基準画像および結合画像の形状および大きさを一致させることが可能である。
【0057】
そして、前述のように、SDRAM16にデータとして格納されたトリミングされた基準画像および結合画像に対して、HDR合成処理または手振れ低減合成処理等の画像合成処理が施され、HDR画像信号または手振れ低減画像信号が生成され、外部メモリ20に格納される。
【0058】
次に、DSP14によって行われる位置合わせ処理を、図9、10のフローチャートを用いて説明する。位置合わせ処理は、HDR撮影モードまたは手振れ低減撮影モードにおいて、撮像動作が実行され、複数の画像データの輝度値がSDRAM16に格納された後に実行される。
【0059】
ステップS100では、SDRAM16にデータとして格納された複数の画像の中で、最初に生成された画像が基準画像に指定される。また、基準画像に指定された画像以外の画像であって、結合画像が作成されていない1つの画像が比較画像に指定される。基準画像および比較画像の指定後、ステップS101では、測定点FP1〜FP24の座標がEEPROMから読出される。
【0060】
ステップS102では、基準画像において測定点が選択される。ステップS103では、測定点に対する基準小画像RPAが設定され、また比較画像においてサーチ範囲SAが設定される。ステップS104では、サーチ範囲SAに基づいて、比較画像において複数の比較小画像SPAが設定される。すなわちサーチ範囲SA内の全画素を候補点CPとし、各々の候補点CPを中心とする正方形の比較小画像SPAが設定される。
【0061】
ステップS105では、基準小画像RPAと各比較小画像SPAの輝度値がSDRAM16から読出され、輝度値のSADが、比較小画像SPA毎、すなわち候補点CP毎に算出される。ステップS106では、ステップS105において算出したSADの最小値が検知される。SADが最小となる候補点CPが、ステップS102において選択され測定点の移動位置である移動点として検出される。
【0062】
ステップS107では、すべての測定点に関して移動点が検出されたか否かが判断される。検出していない移動点がある場合には、ステップS102に戻る。以後、すべての移動点が検出されるまで、ステップS102〜ステップS107の処理が繰り返される。すべての移動点が検出された場合には、ステップS108に進む。
【0063】
ステップS108では、比較画像が図5に示すような部分画像PA1〜PA15に分割される。ステップS109では、部分画像PA1〜PA15を変形させることにより、それぞれ変形部分画像が作成される。ステップS110では、変形部分画像を結合することにより結合画像が作成され、その画像データがSDRAM16に格納される。
【0064】
ステップS111では、SDRAM16に格納された画像すべての位置合わせが終了しているか否か、すなわち、基準画像以外の画像すべてに対して結合画像が生成されているか否かを判別する。すべての画像の位置合わせを終えていない場合には、ステップS100に戻り、すべての画像の位置合わせを終了するまで、ステップS100〜ステップS111の処理が繰り返される。すべての画像の位置合わせを終了すると、ステップS112に進む。
【0065】
ステップS112では、SDRAM16に格納された結合画像に基づいて、トリミングの外縁となる上端、下端、左端、右端を検出する。ステップS113では、ステップS112において検出された外縁を用いて、SDRAM16に格納された基準画像および結合画像のトリミングが実行される。そして、トリミングされた基準画像および結合画像がSDRAM16に格納され、位置合わせ処理は終了する。
【0066】
以上のような構成である本実施形態の画像処理システムによれば、複数の測定点の移動量の集合から画像全体の動きベクトルを算出することなく、精度の高い位置合わせが可能である。すなわち移動量の集合から画像全体の動きベクトルを算出することが不要である。
【0067】
また本実施形態では、比較画像に基づいて結合画像を作成するので、位置合わせをする2つの画像の撮影時の間にパン方向またはチルト方向に回転したとしても、位置合わせが可能になる。
【0068】
例えば図11に示すように、2フレームの画像の撮影間にデジタルカメラ10がパン方向に回転すると、先のフレームの画像信号の生成時に受光される矩形の全体画像FIは、後のフレームの画像信号の生成時には、台形状の画像TAに変形する。このように、画像の位置によって拡大率または縮小率が異なる後のフレームの画像は、平行移動および光軸周りの回転をさせても、先のフレームの画像に重ならない。したがって従来の方法では、パン方向およびチルト方向に回転している場合には精度の高い位置合わせを行うことはできなかったが、本実施形態では、後のフレームの画像を先のフレームの画像に重なるように変形させるので、パン方向およびチルト方向に回転したとしても精度の高い位置合わせを行うことが可能である。
【0069】
なお、本実施形態では、基準小画像と比較小画像のSADに基づいて、複数の比較小画像の中で、基準小画像に最も類似する比較小画像に含まれる候補点を選択する構成であるが、従来公知の他の手法によって基準部分画像と比較部分画像との類似性を判別する構成であってもよい。
【0070】
本実施形態では、基準小画像に対して最も類似性の高い比較小画像の候補点が測定点の移動位置として検出されるが、従来公知の動きベクトルの算出方法によって測定点の移動位置を検出する構成であってもよい。
【0071】
本実施形態では、比較画像は正方形の部分画像に分割されるが、部分画像は3以上の測定点を頂点とする多角形であればよい。
【0072】
本実施形態では、測定点FP1〜FP24が画像の位置合わせに用いられるが、4以上の測定点を用いれば、位置合わせを行うことは可能である。
【0073】
本実施形態では、サーチ範囲内の全画素が候補点CPとして設定されるが、全画素でなくてもよい。測定点に対して相対位置が決められた点を候補点CPとして設定すれば、本実施形態と同様の効果を得ることが可能である。
【0074】
本実施形態では、測定点が中心となるように基準小画像RPAが設定され、また候補点CPが中心となるように比較小画像SPAが設定されるが、測定点および候補点CPの位置はそれぞれの小画像の中心でなくてもよい。基準小画像RPAにおける測定点と比較小画像SPAにおける候補点CPとの相対位置が同じであれば、本実施形態と同様の効果を得ることが可能である。
【0075】
本実施形態では、画像処理システムがデジタルカメラに設けられる構成であるが、デジタルビデオカメラなどの他の撮像装置に設けられてもよいし、画像合成装置に設けられてもよい。
【0076】
本実施形態を適用した画像処理システムは、コンピュータに画像変形プログラムを読込ませて構成することも可能である。
【0077】
また、本実施形態では、最初に生成された画像を基準画像に指定しているが、後から生成された画像を基準画像とし、先に生成された画像を比較画像としてもよい。
【符号の説明】
【0078】
CP 候補点
FP1〜FP24 測定点
IM 基準画像(第1の画像)
PA1〜PA15 部分領域
RPA 基準小画像
SA サーチ範囲
SP1〜SP24 移動点
SPA 比較小画像
【技術分野】
【0001】
本発明は、複数の画像を合成する場合に、各々の画像の位置合わせを容易にするように一画像を変形させる画像処理システムに関する。
【背景技術】
【0002】
暗い領域から明るい領域まで明瞭に表示するHDR合成や手振れの影響を低減化するための手振れ補正画像合成が知られている。HDR合成では、例えばシャッタスピードの高い画像と低い画像とを平均させることにより見かけのダイナミックレンジの広い画像が合成される。また、手振れ補正画像合成では、手振れが影響しないほどの高速のシャッタスピードで撮影した複数の画像を合計することにより、手振れの影響が低減化された十分な明るさの画像が合成される。このように、複数の画像を用いた様々な画像合成が提案されている。
【0003】
このように複数の画像を用いた画像合成では、それぞれの画像における同じ座標の画素は同じ光学像を形成していることが求められる。しかし、三脚などを用いずに時間差をおいて撮影した複数の画像では、カメラの並進移動や回転により光学像に微小なずれが生じることが一般的である。
【0004】
そこで、2つの画像の位置合わせをするための様々な方法が提案されている(特許文献1参照)。特許文献1では、一方の画像上に設定された複数のターゲットブロックの動きベクトルをターゲットブロック毎に算出し、算出された複数の動きベクトルに基づいて、画像全体の平行移動量および光軸周りの回転角度が算出される。
【0005】
特許文献1の方法では、2つの画像間において、平行移動および光軸周りの回転に対しては、位置合わせに基づく合成が可能である。しかし、光軸に垂直な直線を軸に回転(例えば、パンやチルト)させた場合には、位置合わせに基づく合成が困難となる。なぜならば、2画像間に含まれる同じ被写体像の形状が変形するからである。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2007−336121号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
したがって本発明は、2つの画像の位置合わせが容易で、かつ様々な直線を軸とした撮影装置の回転に対しても画像の合成を可能にするように、2画像の一方の画像を変形させる画像処理システムの提供を目的とする。
【課題を解決するための手段】
【0008】
本発明に係る画像処理システムは、同じ被写体を複数回にわたって撮影して得られる第1および第2の画像を合成するために、第1および第2の画像の位置合わせを行う画像処理システムであって、第1の画像の全体に分散するように設定された複数の測定点に対応する複数の移動点を、第2の画像において検出する移動点検出手段と、第2の画像を、測定点と同じ座標を頂点とする複数の多角形の部分画像に分割する画像分割手段と、各部分画像の頂点を移動点に移動させて部分画像を変形させることにより変形部分画像を作成する画像変形手段と、全ての変形部分画像を、共通する移動点が同じ位置になるように結合することにより結合画像を作成する画像結合手段とを備えることを特徴としている。
【0009】
好ましくは移動点検出手段は、第1の画像において、測定点を中心とする基準小画像を設定する基準小画像設定手段と、第2の画像において、測定点に関連する複数の候補点を中心とし、基準小画像と同じ大きさの複数の比較小画像を設定する比較小画像設定手段と、複数の比較小画像の中で、基準小画像に最も類似する比較小画像に含まれる候補点を選択する候補点選択手段とを備える。
【0010】
候補点選択手段は、基準小画像と比較小画像において、同じ座標の画素の輝度値の差分の絶対値を全画素に対して求め、全画素における差分の絶対値の合計が最小となる比較小画像を、基準小画像に最も類似する比較小画像であると判断してもよい。
【0011】
画像処理システムは、第1の画像と結合画像において、互いに重なる領域以外の領域を切除し、第1の画像と結合画像を合成する画像合成手段を備えてもよい。
【0012】
本発明に係る画像処理方法は、同じ被写体を複数回にわたって撮影して得られる第1および第2の画像を合成するために、第1および第2の画像の位置合わせを行う画像処理方法であって、第1の画像の全体に分散するように設定された複数の測定点に対応する複数の移動点を、第2の画像において検出する移動点検出ステップと、第2の画像を、測定点と同じ座標を頂点とする複数の多角形の部分画像に分割する画像分割ステップと、各部分画像の頂点を移動点に移動させて部分画像を変形させることにより変形部分画像を作成する画像変形ステップと、全ての変形部分画像を、共通する移動点が同じ位置になるように結合することにより結合画像を作成する画像結合ステップとを備えることを特徴としている。
【発明の効果】
【0013】
本発明によれば、一方の画像上に定められた測定点における画像の移動位置を複数の測定点ごとに検出し、移動点を頂点とする小画像を、小画像毎に変形させるので、画像全体の移動量の算出が不要になる。
【図面の簡単な説明】
【0014】
【図1】本発明の一実施形態を適用した画像処理システムを有するデジタルカメラの電気的構成を概略的に示すブロック図である。
【図2】撮影された画像内における測定点の位置を示す配置図である。
【図3】サーチ範囲、候補点、および比較小画像の関係を示す図である。
【図4】各測定点に対する対応する移動点の位置の一例を示す配置図である。
【図5】部分画像の配置を示す配置図である。
【図6】第1の部分画像を第1の変形部分画像に変形する手法を説明するための図である。
【図7】全ての変形部分画像を結合して得られる結合画像を示す図である。
【図8】トリミングをする外縁を示す図である。
【図9】位置合わせ処理を示すフローチャートの前半部分である。
【図10】位置合わせ処理を示すフローチャートの後半部分である。
【図11】パン方向に回転した場合の連続する2フレームの画像の形状の変化を示す図である。
【発明を実施するための形態】
【0015】
以下、本発明の実施形態について図面を参照して説明する。
図1は、本発明の一実施形態を適用した画像処理システムを有するデジタルカメラの電気的構成を概略的に示すブロック図である。
【0016】
デジタルカメラ10は、撮影光学系11、撮像素子12、AFE(Analog Front End)13、DSP(Digital Signal Processor)14、CPU15、SDRAM16、LCD17、コネクタ18、および入力部19などによって構成される。
【0017】
撮影光学系11は、撮像素子12に光学的に接続される。撮影光学系11は、フォーカスレンズ(図示せず)を含む複数のレンズによって構成される。フォーカスレンズを光軸に沿って変位させることにより被写体の光学像を撮像素子12の受光面に合焦させることが可能である。
【0018】
撮像素子12は、例えばCCDである。撮像素子12が光学像を受光すると、受光した光学像に相当する画像信号が生成される。
【0019】
撮像素子12は撮像素子駆動回路(図示せず)によって駆動され、静止画像すなわち1フレームの画像信号、および動画像すなわち複数のフレームの画像信号を周期的に生成する。なお、撮像素子駆動回路により撮像素子の電子シャッタのシャッタスピードが制御される。
【0020】
撮像素子12は、AFE13を介してDSP14に接続される。撮像素子12が生成した画像信号はAFE13によりデジタルデータである画像データに変換される。画像データはDSP14に送信される。
【0021】
受信した画像データは、DSP14によりワークメモリであるSDRAM16に一旦格納される。画像データは、RGBデータ成分によって構成されており、DSP14においてマトリックス処理が施され、輝度データ成分および色差データ成分に変換される。
【0022】
DSP14では、輝度データ成分および色差データ成分によって構成される画像データに対して、さらにガンマ補正処理や輪郭強調処理などの画像処理が施される。また、DSP14では、後述するようにHDR撮影モードや手振れ低減撮影モードにおいて複数の画像データを合成して単一の画像データを生成することも可能である。
【0023】
画像処理が施された画像データは、LCD17に表示される。また画像データは、コネクタ18を介して接続される外部メモリ20に格納することも可能である。
【0024】
DSP14は、CPU15に接続される。DSP14を含むデジタルカメラ10の各部位はCPU15により動作が制御される。CPU15には、入力部19が接続される。使用者による入力部19への様々なコマンド入力に基づいて、CPU15はデジタルカメラ10の各部位の動作を制御する。
【0025】
デジタルカメラ10には、通常撮影モード、HDR撮影モード、および手振れ低減撮影モードなどの複数の撮影モードが設けられる。
【0026】
通常撮影モードでは、使用者がレリーズボタン(図示せず)を全押ししたときに、自動または手動で定められた露光条件(シャッタスピード、ISO感度、絞りの開口率)で、撮像素子12により1フレームの画像信号が生成される。生成された画像信号に対して、前述の画像処理が施され、外部メモリ20に格納される。
【0027】
HDR撮影モードでは、使用者がレリーズボタンを全押ししたときに、同じ被写体が同一の露光条件で連続的に(複数回にわたって)撮影され、撮像素子12により2フレームの画像信号が連続的に生成される。一方の画像信号は低速のシャッタスピードで、他方の画像信号は高速のシャッタスピードで受光された光学像に基づいて生成される。2フレームの画像信号は、後述する位置合わせ処理の実行後、画像信号を平均化するHDR合成処理を施すことによりHDR画像信号が生成され、外部メモリ20に格納される。
【0028】
手振れ低減撮影モードでは、使用者がレリーズボタンを全押ししたときに、同じ被写体が同一の露光条件で連続的に撮影され、撮像素子12により複数フレームの画像信号が連続的に生成される。全ての画像信号は、手振れの影響が及ばないシャッタスピードで受光された光学像に基づいて生成される。複数フレームの画像信号は、後述する位置合わせの処理の実行後、画像信号を合計する手振れ低減合成処理を施すことにより手振れ低減画像信号が生成され、外部メモリ20に格納される。
【0029】
次に、DSP14において実行される位置合わせ処理について説明する。前述のように、HDR撮影モードおよび手振れ低減撮影モードにおいて、複数フレームの画像信号を合成するために、それぞれの画像信号の位置合わせ、すなわち、撮像素子において同じ座標の画素が受光する光学像が同じ被写体部位となるように画像信号が加工される。
【0030】
位置合わせ処理は、以下に説明するように、画像指定処理、移動点検出処理、画像分割処理、画像変形処理、画像結合処理の順番に実行され、その後、トリミング、および画像合成処理が遂行される。
【0031】
画像指定処理では、SDRAM16にデータとして格納された複数の画像の中から、最初に生成された画像が基準画像(第1の画像)に指定される。また、基準画像の次に生成された画像が比較画像(第2の画像)に指定される。基準画像と比較画像に対して、以下に説明する画像処理が実行され、位置合わせが行われる。
【0032】
なお、SDRAM16にデータとして格納された画像が3フレーム以上である場合、基準画像と比較画像との位置合わせ処理の終了時に、比較画像として指定された画像の次に生成された画像が次の比較画像として指定される。そして、基準画像と新たに指定された比較画像との位置合わせが行われる。
【0033】
画像指定処理後の移動点検出処理では、測定点の移動位置が検出される。測定点とは、基準画像内において予め位置が定められた複数の点である。測定点の移動位置とは、比較画像における、測定点に対応した移動点の位置である。すなわち、基準画像における測定点と比較画像における移動点は被写体像の同一部分に相当する。
【0034】
図2に示すように、基準画像IMの全体に均一に分散するように多数の測定点が設定される。なお図示例では、説明の簡単のために、24個の測定点FP1〜FP24が示されているが、実際にはもっと多数の測定点が設定され、測定点FP1、FP6、FP19、FP24は基準画像IMの角部の近傍に位置している。
【0035】
本実施形態では、測定点FP1〜FP24は、測定点FP1、FP6、FP19、FP24が矩形の頂点に位置し、矩形の長辺上の測定点は長辺を等分するように位置し、矩形の短辺の測定点は短辺を等分するように位置する。また全ての測定点に関し、水平および垂直方向に隣り合う2つの測定点は等距離にあり、近接する4つの測定点は正方形の頂点に位置している。各測定点の座標は、データとしてEEPROM(図示せず)に格納されており、移動点検出処理の開始時にDSP14に読出される。
【0036】
測定点の座標が読み出されると、次のようにして、第1〜第24の測定点FP1〜FP24の移動位置が検出される。
【0037】
第1の測定点FP1の移動位置の検出のために、第1の測定点FP1を中心とした、正方形の基準小画像RPAが設定される。また比較画像において、第1の測定点FP1と同じ座標を中心とした、基準小画像RPAよりも大きい正方形のサーチ範囲SAが設定される。
【0038】
比較画像において、図3に示すように、サーチ範囲SA内の全画素が測定点FP1に関連する候補点CPとして選択され、また、各候補点CPを中心とした、基準小画像RPAと同じ大きさの正方形の複数の比較小画像SPAが設定される。なお図3においては、左上と右下との線分上の一部の画素のみが候補点CPとして選択されていることが例示されているが、他の位置のすべての画素も同様に候補点CPとして選択され、比較小画像SPAが設定される。
【0039】
第1の測定点FP1(図2参照)に関し、基準小画像RPAおよび複数の比較小画像SPA(図3参照)が設定されると、比較小画像SPAの各画素の輝度値と基準小画像RPAの各画素の輝度値がSDRAM16から読出される。
【0040】
基準小画像RPAと比較小画像SPAの輝度値の差分絶対値和(SAD)が、各候補点CPに対して算出される。SADは、基準画像RPAと比較小画像SPAにおいて、対応する画素の輝度値の差分の絶対値を全画素に対して求め、それを合計した値である。
【0041】
それぞれの候補点に対して算出されたSADの最小値が検出される。全画素におけるSADが最小となる比較小画像SPAが基準小画像RPAに最も類似する比較小画像SPAであると判断される。すなわちSADが最小となる候補点CPが、基準部分画像の第1の測定点FP1における移動位置である第1の移動点として検出される。
【0042】
第1の測定点FP1の移動位置の検出を終えると、第2の測定点FP2(図2参照)の移動位置が、第1の測定点FP1の検出と同様に検出される。同様に、第3〜第24の測定点FP3〜FP24の移動位置が検出される。このようにして測定点FP1〜FP24の移動位置が、図4に示すように、移動点SP1〜SP24として検出される。
【0043】
移動点SP1〜SP24が検出されると、画像分割処理が実行される。画像分割処理では、図5に示すように比較画像は、測定点と同じ座標を頂点とする15の正方形の部分画像PA1〜PA15に分割される。なお図5では、各頂点を測定点と同じ符号(FP1〜FP24)により示している。
【0044】
部分画像PA1〜PA15の分割の後、画像変形処理が実行される。画像変形処理では、比較画像において部分画像PA1〜PA15が以下に説明するようにして変形される。
【0045】
図6に示すように、第1の部分画像PA1の頂点FP1、FP2、FP7、FP8はそれぞれ、移動点SP1、SP2、SP7、SP8に移動され、これにより第1の部分画像PA1は第1の変形部分画像DA1に変形させられる。
【0046】
なお画像の変形は、アフィン変換などの従来公知の座標変換方法によって実行される。同様にして、他の部分画像も変形部分画像に変換される。
【0047】
全ての変形部分画像への変形後、画像結合処理が実行される。画像結合処理では、全ての変形部分画像が結合される。各変形部分画像は、隣接する変形部分画像と共通する移動点が同じ位置になるように結合される。図7は全ての変形部分画像を結合して得られる結合画像を示している。
【0048】
結合画像は、データとしてSDRAM16に格納される。SDRAM16に3フレーム以上の画像がデータとして格納されている場合には、別の画像が比較画像として指定され、基準画像と新たに指定された比較画像とに基づいて、同様に結合画像が作成され、データとしてSDRAM16に格納される。
【0049】
基準画像以外の画像であって、SDRAM16に格納された画像すべてに対して結合画像が作成されると、基準画像および結合画像のトリミングが行われる。トリミングでは、図8に示すように、基準画像と結合画像において、互いに重なる領域以外の領域を切除した後、基準画像と結合画像が合成される。まず、切除する上端、下端、左端、右端の位置が最初に決められ、決められた上端、下端、左端、右端の外部の領域が基準画像および結合画像から切除される。
【0050】
上端の位置を決めるために、基準画像における測定点FP1〜FP6と結合画像における移動点SP1〜SP6との中で最も低い位置の移動点が検出される。検出された移動点SP3の位置がトリミングに用いる上端に決められる。
【0051】
同様にして、基準画像における測定点FP19〜FP24と結合画像における移動点SP19〜SP24との中で最も上側に位置する移動点SP24が検出され、トリミングに用いる下端の位置に用いられる。
【0052】
同様にして、基準画像における測定点FP1、FP7、FP13、FP19と結合画像における移動点SP1、SP7、SP13、SP19との中で最も右側に位置する測定点FP1、FP7、FP13、FP19が検出され、トリミングに用いる左端の位置に用いられる。
【0053】
同様にして、基準画像における測定点FP6、FP12、FP18、FP24と結合画像における移動点SP6、SP12、SP18、SP24の中で最も左側に位置する移動点SP12が検出され、トリミングに用いる右端の位置に用いられる。
【0054】
このようにして、移動点SP3を通り測定点FP1、FP6を結ぶ線分に平行な直線L1が上端に定められる。同様に、移動点SP24を通り測定点FP19、FP24を結ぶ線分に平行な直線L2が下端に定められる。同様に、測定点FP1、FP19を結ぶ線分を含む直線L3が左端に定められる。同様に、移動点SP12を通り測定点FP6、FP24を結ぶ線分に平行な直線L4が右端に定められる。
【0055】
上述のように、トリミングの上端、下端、左端、および右端を定めることにより、基準画像およびすべての結合画像において、互いに重なる矩形の領域を求めることが出来る。
【0056】
上端、下端、左端、右端により囲まれた領域の外部領域が、基準画像およびすべての結合画像から切除され、トリミングが完了する。トリミングされた基準画像および結合画像がデータとしてSDRAM16に格納される。トリミングされた基準画像および結合画像がSDRAM16に格納されると、位置合わせ処理が終了する。トリミングにより、基準画像および結合画像の形状および大きさを一致させることが可能である。
【0057】
そして、前述のように、SDRAM16にデータとして格納されたトリミングされた基準画像および結合画像に対して、HDR合成処理または手振れ低減合成処理等の画像合成処理が施され、HDR画像信号または手振れ低減画像信号が生成され、外部メモリ20に格納される。
【0058】
次に、DSP14によって行われる位置合わせ処理を、図9、10のフローチャートを用いて説明する。位置合わせ処理は、HDR撮影モードまたは手振れ低減撮影モードにおいて、撮像動作が実行され、複数の画像データの輝度値がSDRAM16に格納された後に実行される。
【0059】
ステップS100では、SDRAM16にデータとして格納された複数の画像の中で、最初に生成された画像が基準画像に指定される。また、基準画像に指定された画像以外の画像であって、結合画像が作成されていない1つの画像が比較画像に指定される。基準画像および比較画像の指定後、ステップS101では、測定点FP1〜FP24の座標がEEPROMから読出される。
【0060】
ステップS102では、基準画像において測定点が選択される。ステップS103では、測定点に対する基準小画像RPAが設定され、また比較画像においてサーチ範囲SAが設定される。ステップS104では、サーチ範囲SAに基づいて、比較画像において複数の比較小画像SPAが設定される。すなわちサーチ範囲SA内の全画素を候補点CPとし、各々の候補点CPを中心とする正方形の比較小画像SPAが設定される。
【0061】
ステップS105では、基準小画像RPAと各比較小画像SPAの輝度値がSDRAM16から読出され、輝度値のSADが、比較小画像SPA毎、すなわち候補点CP毎に算出される。ステップS106では、ステップS105において算出したSADの最小値が検知される。SADが最小となる候補点CPが、ステップS102において選択され測定点の移動位置である移動点として検出される。
【0062】
ステップS107では、すべての測定点に関して移動点が検出されたか否かが判断される。検出していない移動点がある場合には、ステップS102に戻る。以後、すべての移動点が検出されるまで、ステップS102〜ステップS107の処理が繰り返される。すべての移動点が検出された場合には、ステップS108に進む。
【0063】
ステップS108では、比較画像が図5に示すような部分画像PA1〜PA15に分割される。ステップS109では、部分画像PA1〜PA15を変形させることにより、それぞれ変形部分画像が作成される。ステップS110では、変形部分画像を結合することにより結合画像が作成され、その画像データがSDRAM16に格納される。
【0064】
ステップS111では、SDRAM16に格納された画像すべての位置合わせが終了しているか否か、すなわち、基準画像以外の画像すべてに対して結合画像が生成されているか否かを判別する。すべての画像の位置合わせを終えていない場合には、ステップS100に戻り、すべての画像の位置合わせを終了するまで、ステップS100〜ステップS111の処理が繰り返される。すべての画像の位置合わせを終了すると、ステップS112に進む。
【0065】
ステップS112では、SDRAM16に格納された結合画像に基づいて、トリミングの外縁となる上端、下端、左端、右端を検出する。ステップS113では、ステップS112において検出された外縁を用いて、SDRAM16に格納された基準画像および結合画像のトリミングが実行される。そして、トリミングされた基準画像および結合画像がSDRAM16に格納され、位置合わせ処理は終了する。
【0066】
以上のような構成である本実施形態の画像処理システムによれば、複数の測定点の移動量の集合から画像全体の動きベクトルを算出することなく、精度の高い位置合わせが可能である。すなわち移動量の集合から画像全体の動きベクトルを算出することが不要である。
【0067】
また本実施形態では、比較画像に基づいて結合画像を作成するので、位置合わせをする2つの画像の撮影時の間にパン方向またはチルト方向に回転したとしても、位置合わせが可能になる。
【0068】
例えば図11に示すように、2フレームの画像の撮影間にデジタルカメラ10がパン方向に回転すると、先のフレームの画像信号の生成時に受光される矩形の全体画像FIは、後のフレームの画像信号の生成時には、台形状の画像TAに変形する。このように、画像の位置によって拡大率または縮小率が異なる後のフレームの画像は、平行移動および光軸周りの回転をさせても、先のフレームの画像に重ならない。したがって従来の方法では、パン方向およびチルト方向に回転している場合には精度の高い位置合わせを行うことはできなかったが、本実施形態では、後のフレームの画像を先のフレームの画像に重なるように変形させるので、パン方向およびチルト方向に回転したとしても精度の高い位置合わせを行うことが可能である。
【0069】
なお、本実施形態では、基準小画像と比較小画像のSADに基づいて、複数の比較小画像の中で、基準小画像に最も類似する比較小画像に含まれる候補点を選択する構成であるが、従来公知の他の手法によって基準部分画像と比較部分画像との類似性を判別する構成であってもよい。
【0070】
本実施形態では、基準小画像に対して最も類似性の高い比較小画像の候補点が測定点の移動位置として検出されるが、従来公知の動きベクトルの算出方法によって測定点の移動位置を検出する構成であってもよい。
【0071】
本実施形態では、比較画像は正方形の部分画像に分割されるが、部分画像は3以上の測定点を頂点とする多角形であればよい。
【0072】
本実施形態では、測定点FP1〜FP24が画像の位置合わせに用いられるが、4以上の測定点を用いれば、位置合わせを行うことは可能である。
【0073】
本実施形態では、サーチ範囲内の全画素が候補点CPとして設定されるが、全画素でなくてもよい。測定点に対して相対位置が決められた点を候補点CPとして設定すれば、本実施形態と同様の効果を得ることが可能である。
【0074】
本実施形態では、測定点が中心となるように基準小画像RPAが設定され、また候補点CPが中心となるように比較小画像SPAが設定されるが、測定点および候補点CPの位置はそれぞれの小画像の中心でなくてもよい。基準小画像RPAにおける測定点と比較小画像SPAにおける候補点CPとの相対位置が同じであれば、本実施形態と同様の効果を得ることが可能である。
【0075】
本実施形態では、画像処理システムがデジタルカメラに設けられる構成であるが、デジタルビデオカメラなどの他の撮像装置に設けられてもよいし、画像合成装置に設けられてもよい。
【0076】
本実施形態を適用した画像処理システムは、コンピュータに画像変形プログラムを読込ませて構成することも可能である。
【0077】
また、本実施形態では、最初に生成された画像を基準画像に指定しているが、後から生成された画像を基準画像とし、先に生成された画像を比較画像としてもよい。
【符号の説明】
【0078】
CP 候補点
FP1〜FP24 測定点
IM 基準画像(第1の画像)
PA1〜PA15 部分領域
RPA 基準小画像
SA サーチ範囲
SP1〜SP24 移動点
SPA 比較小画像
【特許請求の範囲】
【請求項1】
同じ被写体を複数回にわたって撮影して得られる第1および第2の画像を合成するために、前記第1および第2の画像の位置合わせを行う画像処理システムであって、
前記第1の画像の全体に分散するように設定された複数の測定点に対応する複数の移動点を、前記第2の画像において検出する移動点検出手段と、
前記第2の画像を、前記測定点と同じ座標を頂点とする複数の多角形の部分画像に分割する画像分割手段と、
各部分画像の頂点を前記移動点に移動させて前記部分画像を変形させることにより、変形部分画像を作成する画像変形手段と、
全ての前記変形部分画像を、共通する移動点が同じ位置になるように結合することにより結合画像を作成する画像結合手段と
を備えることを特徴とする画像処理システム。
【請求項2】
前記移動点検出手段が、
前記第1の画像において、前記測定点を中心とする基準小画像を設定する基準小画像設定手段と、
前記第2の画像において、前記測定点に関連する複数の候補点を中心とし、前記基準小画像と同じ大きさの複数の比較小画像を設定する比較小画像設定手段と、
前記複数の比較小画像の中で、前記基準小画像に最も類似する比較小画像に含まれる候補点を選択する候補点選択手段と
を備えることを特徴とする請求項1に記載の画像処理システム。
【請求項3】
前記候補点選択手段が、前記基準小画像と前記比較小画像において、対応する画素の輝度値の差分の絶対値を全画素に対して求め、全画素における前記差分の絶対値の合計が最小となる前記比較小画像を、前記基準小画像に最も類似する比較小画像であると判断することを特徴とする請求項2に記載の画像処理システム。
【請求項4】
前記第1の画像と前記結合画像において、互いに重なる領域以外の領域を切除し、前記第1の画像と前記結合画像を合成する画像合成手段を備えることを特徴とする請求項1に記載の画像処理システム。
【請求項5】
同じ被写体を複数回にわたって撮影して得られる第1および第2の画像を合成するために、前記第1および第2の画像の位置合わせを行う画像処理方法であって、
前記第1の画像の全体に分散するように設定された複数の測定点に対応する複数の移動点を、前記第2の画像において検出する移動点検出ステップと、
前記第2の画像を、前記測定点と同じ座標を頂点とする複数の多角形の部分画像に分割する画像分割ステップと、
各部分画像の頂点を前記移動点に移動させて前記部分画像を変形させることにより、変形部分画像を作成する画像変形ステップと、
全ての前記変形部分画像を、共通する移動点が同じ位置になるように結合することにより結合画像を作成する画像結合ステップと
を備えることを特徴とする画像処理方法。
【請求項6】
前記移動点検出ステップが、
前記第1の画像において、前記測定点を中心とする基準小画像を設定する基準小画像設定ステップと、
前記第2の画像において、前記測定点に関連する複数の候補点を中心とし、前記基準小画像と同じ大きさの複数の比較小画像を設定する比較小画像設定ステップと、
前記複数の比較小画像の中で、前記基準小画像に最も類似する比較小画像に含まれる候補点を選択する候補点選択ステップと
を備えることを特徴とする請求項5に記載の画像処理方法。
【請求項7】
前記候補点選択ステップが、前記基準小画像と前記比較小画像において、同じ座標の画素の輝度値の差分の絶対値を全画素に対して求め、全画素における前記差分の絶対値の合計が最小となる前記比較小画像を、前記基準小画像に最も類似する比較小画像であると判断することを特徴とする請求項6に記載の画像処理方法。
【請求項8】
前記第1の画像と前記結合画像において、互いに重なる領域以外の領域を切除し、前記第1の画像と前記結合画像を合成する画像合成ステップを備えることを特徴とする請求項5に記載の画像処理方法。
【請求項1】
同じ被写体を複数回にわたって撮影して得られる第1および第2の画像を合成するために、前記第1および第2の画像の位置合わせを行う画像処理システムであって、
前記第1の画像の全体に分散するように設定された複数の測定点に対応する複数の移動点を、前記第2の画像において検出する移動点検出手段と、
前記第2の画像を、前記測定点と同じ座標を頂点とする複数の多角形の部分画像に分割する画像分割手段と、
各部分画像の頂点を前記移動点に移動させて前記部分画像を変形させることにより、変形部分画像を作成する画像変形手段と、
全ての前記変形部分画像を、共通する移動点が同じ位置になるように結合することにより結合画像を作成する画像結合手段と
を備えることを特徴とする画像処理システム。
【請求項2】
前記移動点検出手段が、
前記第1の画像において、前記測定点を中心とする基準小画像を設定する基準小画像設定手段と、
前記第2の画像において、前記測定点に関連する複数の候補点を中心とし、前記基準小画像と同じ大きさの複数の比較小画像を設定する比較小画像設定手段と、
前記複数の比較小画像の中で、前記基準小画像に最も類似する比較小画像に含まれる候補点を選択する候補点選択手段と
を備えることを特徴とする請求項1に記載の画像処理システム。
【請求項3】
前記候補点選択手段が、前記基準小画像と前記比較小画像において、対応する画素の輝度値の差分の絶対値を全画素に対して求め、全画素における前記差分の絶対値の合計が最小となる前記比較小画像を、前記基準小画像に最も類似する比較小画像であると判断することを特徴とする請求項2に記載の画像処理システム。
【請求項4】
前記第1の画像と前記結合画像において、互いに重なる領域以外の領域を切除し、前記第1の画像と前記結合画像を合成する画像合成手段を備えることを特徴とする請求項1に記載の画像処理システム。
【請求項5】
同じ被写体を複数回にわたって撮影して得られる第1および第2の画像を合成するために、前記第1および第2の画像の位置合わせを行う画像処理方法であって、
前記第1の画像の全体に分散するように設定された複数の測定点に対応する複数の移動点を、前記第2の画像において検出する移動点検出ステップと、
前記第2の画像を、前記測定点と同じ座標を頂点とする複数の多角形の部分画像に分割する画像分割ステップと、
各部分画像の頂点を前記移動点に移動させて前記部分画像を変形させることにより、変形部分画像を作成する画像変形ステップと、
全ての前記変形部分画像を、共通する移動点が同じ位置になるように結合することにより結合画像を作成する画像結合ステップと
を備えることを特徴とする画像処理方法。
【請求項6】
前記移動点検出ステップが、
前記第1の画像において、前記測定点を中心とする基準小画像を設定する基準小画像設定ステップと、
前記第2の画像において、前記測定点に関連する複数の候補点を中心とし、前記基準小画像と同じ大きさの複数の比較小画像を設定する比較小画像設定ステップと、
前記複数の比較小画像の中で、前記基準小画像に最も類似する比較小画像に含まれる候補点を選択する候補点選択ステップと
を備えることを特徴とする請求項5に記載の画像処理方法。
【請求項7】
前記候補点選択ステップが、前記基準小画像と前記比較小画像において、同じ座標の画素の輝度値の差分の絶対値を全画素に対して求め、全画素における前記差分の絶対値の合計が最小となる前記比較小画像を、前記基準小画像に最も類似する比較小画像であると判断することを特徴とする請求項6に記載の画像処理方法。
【請求項8】
前記第1の画像と前記結合画像において、互いに重なる領域以外の領域を切除し、前記第1の画像と前記結合画像を合成する画像合成ステップを備えることを特徴とする請求項5に記載の画像処理方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2012−75088(P2012−75088A)
【公開日】平成24年4月12日(2012.4.12)
【国際特許分類】
【出願番号】特願2011−178405(P2011−178405)
【出願日】平成23年8月17日(2011.8.17)
【出願人】(311015207)ペンタックスリコーイメージング株式会社 (81)
【Fターム(参考)】
【公開日】平成24年4月12日(2012.4.12)
【国際特許分類】
【出願日】平成23年8月17日(2011.8.17)
【出願人】(311015207)ペンタックスリコーイメージング株式会社 (81)
【Fターム(参考)】
[ Back to top ]