画像処理装置および画像処理方法
【課題】被写体を分割撮影した複数の撮影画像を結合する際に、撮影時のカメラ位置を適切に推定できないと、適切な結合結果が得られない。
【解決手段】各撮影画像に対し、撮像装置の撮影時の位置情報に応じたレンズ収差補正およびパース補正を施して結合用画像を生成する（Ｓ７０４，Ｓ７０７）。さらに、該結合用画像と、隣接する既生成の結合用画像との重複領域における画素値の差分を示す情報を評価値として算出する（Ｓ７０５，Ｓ７０８）。そして、該評価値が最小となるようなカメラ位置を推定し（Ｓ７１０）、該推定されたカメラ位置に応じたレンズ収差補正およびパース補正を施すことによって、当該撮影画像の結合用画像を、隣接する既生成の結合用画像と結合する（Ｓ７１２）。
【解決手段】各撮影画像に対し、撮像装置の撮影時の位置情報に応じたレンズ収差補正およびパース補正を施して結合用画像を生成する（Ｓ７０４，Ｓ７０７）。さらに、該結合用画像と、隣接する既生成の結合用画像との重複領域における画素値の差分を示す情報を評価値として算出する（Ｓ７０５，Ｓ７０８）。そして、該評価値が最小となるようなカメラ位置を推定し（Ｓ７１０）、該推定されたカメラ位置に応じたレンズ収差補正およびパース補正を施すことによって、当該撮影画像の結合用画像を、隣接する既生成の結合用画像と結合する（Ｓ７１２）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置が備える撮影レンズの画角に比べて大きい被写体に対する複数回の撮影を行うことによって、該被写体全体の撮影画像を得る画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
従来、三脚とカメラの間に装着し、上部に設置されたカメラを電動で一定角度回転させるための装置として、電動雲台が知られている。近年、この電動雲台を駆動し、撮影カメラの向きを変えながら複数枚の画像を撮影し、撮影した画像を結合することで、非常に多くの画素からなる画像（例えばパノラマ画像等）を生成するシステムが注目されている。このような撮影システムにおける一番大きな課題は、撮影画像群の画像結合処理である。画像結合処理としては、画像端の類似度から隣り合う画像を推定し、これを張り合わせる技術が知られている。しかしながら、被写体が均一な領域であったり、画像の一部が平坦で撮影画像間の差があまり無いような場合には、正しく隣接画像を特定することが困難であり、好ましい結合結果を得ることができなかった。また、レンズ収差や被写体のパースなどによって撮影画像ごとに異なる誤差が生じるため、単純な比較では対応点が取れない場合にも、やはり適切な結合結果とはならない可能性がある。
【０００３】
そこで、例えば正しい対応点を得るために、以下のように座標変換を行う技術が提案されている（例えば、特許文献１参照）。該技術によれば、まず複数の画像データに基づいて、対象物と入力手段との相対的な回転角および撮像装置の回転軸の位置を、複数の画像データを貼りあわせるための座標変換パラメータとして算出する。そして次に、この座標変換パラメータに基づいて、対象画像を一つの座標系に座標変換した後、画像を合成する。
【０００４】
また、合成時に画像データごとの輝度の違いの影響を受けないようにするために、対応点を取得する際に単純に重複部分の差分を取るのではなく、各画素の二次微分を比較する方法も提案されている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平０７−１７４５３８号公報
【特許文献２】特開２００５−０４６５７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献１に示した座標変換を行う技術によれば、隣接画像の重複領域における対応点を取って画像の貼りあわせ処理を行うため、例えば掛け軸の表装等、画像内に細かい繰り返しパターンがある場合には正しく結合できない可能性がある。そこで、対応点を取らずに画像を変形・結合することが考えられるが、この場合には、レンズの歪曲や周辺光量、倍率色収差等を補正する、所謂レンズ収差補正を適用する必要がある。レンズ収差によって生じる撮影画像の誤差は被写体距離（撮影距離）によって様々に変化する。したがって、これを適切に補正するためには上記特許文献１のように画像間の相対位置を算出する方法では不十分であり、画像毎の被写体距離もしくは撮影時のカメラ位置を正しく推定する必要ある。
【０００７】
さらに、撮影画像に対して回転・平行移動などの座標変換を単純に適用しただけでは、適切なパース補正を行うことはできない。適切なパース補正を行うためにも、やはり撮影時のカメラ位置を適切に推定する必要がある。
【０００８】
さらに、撮影時のカメラ設定に応じて周辺減光補正を適用した場合、画像中心から離れるほどノイズ量が増加する。このような補正が適用された場合には、上記特許文献２に示した二次微分による方法によっても輝度の影響を払拭するには不十分であった。
【０００９】
本発明は、上記課題を解決するためになされたものであり、以下のような機能を有する画像処理装置および画像処理方法を提供することを目的とする。すなわち、被写体を分割撮影した複数の撮影画像毎に、撮影時のカメラ位置を適切に推定して、該カメラ位置に応じたレンズ収差補正およびパース補正を施すことによって、該複数の撮影画像を適切に結合する。
【課題を解決するための手段】
【００１０】
上記目的を達成するための一手段として、本発明の画像処理装置は以下の構成を備える。
【００１１】
すなわち、撮像装置が備える撮影レンズの画角よりも大きい被写体に対し、該撮像装置による撮影方向を変えながら複数回の撮影を行うことによって得られる複数枚の撮影画像から、該被写体全体の画像を得る画像処理装置であって、前記複数枚の撮影画像のうち、基準画像を設定する基準画像の設定手段と、前記基準画像を含む注目撮影画像に対し、位置情報に応じたレンズ収差補正およびパース補正を施して結合用画像を生成する補正手段と、前記基準画像以外の注目撮影画像の結合用画像と、該結合用画像に隣接する既生成の結合用画像との重複領域における画素値の差分を示す情報を、前記注目撮影画像の評価値として算出する評価値算出手段と、前記基準画像以外の注目撮影画像の撮影時における前記被写体に対する前記撮像装置の位置および撮影方向を示す前記位置情報を初期値として該位置情報を予め定められた範囲で更新しながら、前記補正手段によって該位置情報に応じたレンズ収差補正およびパース補正を行った際に前記評価値算出手段で算出される評価値が最小となる位置情報を探索し、該探索された位置情報を前記注目撮影画像の最適位置情報とする位置推定手段と、前記基準画像以外の注目撮影画像について、前記補正手段で前記最適位置情報に応じたレンズ収差補正およびパース補正を施して生成された結合用画像を、該結合用画像に隣接する既生成の結合用画像と結合する結合手段と、を有することを特徴とする。
【発明の効果】
【００１２】
上記構成からなる本発明によれば、被写体を分割撮影した複数の撮影画像毎に、撮影時のカメラ位置を適切に推定して、該カメラ位置に応じたレンズ収差補正およびパース補正を施すことによって、該複数の撮影画像を適切に結合することができる。
【図面の簡単な説明】
【００１３】
【図１】第１実施形態における撮影システムの構成を示す図、
【図２】第１実施形態における撮影システムの詳細構成を示す図、
【図３】第１実施形態における撮影システムで生じ得る誤差を示す図、
【図４】第１実施形態における画像結合処理の概要を示す図、
【図５】第１実施形態における射影後画像と重複領域の一例を示す図、
【図６】第１実施形態におけるカメラの位置の変化による射影後画像の違いを示す図、
【図７】第１実施形態における画像結合処理を示すフローチャート、
【図８】第１実施形態における射影後画像群に対する画像結合処理の適用順の一例を示す図、
【図９】第１実施形態における評価値の算出方法の概要を示す図、
【図１０】第２実施形態における画像結合処理を示すフローチャート、
【図１１】第３実施形態における画像結合処理を示すフローチャート、
【図１２】第３実施形態における重複領域の選択処理を示すフローチャート、
【図１３】第４実施形態における画像結合処理を示すフローチャート、
【図１４】第５実施形態におけるレンズ特性値の一例を示す図、である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施の形態は特許請求の範囲に関る本発明を限定するものではなく、また、本実施の形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
【００１５】
＜第１実施形態＞
●装置構成
図１は、本実施形態における撮影システムの構成を示す図である。図１において、１０１は本実施形態における撮像装置本体であるカメラ、１０２は電動雲台である。このようにカメラ１０１が電動雲台１０２に載置されることによって、電動雲台１０２の回転によりカメラ１０１本体をパン（ＰＡＮ）、チルト（ＴＩＬＴ）させて対象物を撮影する。１０３はカメラ１０１の動作、および電動雲台１０２の回転動作を制御する制御部である。制御部１０３はまた、カメラ１０１で撮影して得られた撮影画像群を結合処理し、超高解像度画像を生成する画像処理装置としても機能する。１０４は、撮影対象となる被写体であり、幅Ｗ、高さＨの大きさからなり、カメラ１０１から距離Ｌの位置に設置されている。
【００１６】
図２に、図１に示した撮影システムの詳細構成を示す。まずカメラ１０１において、２０１は撮影光学系レンズ、２０２は結像した光学像を光電変換する撮像素子（ＣＣＤ等）である。２０３は撮像された電気信号に所定の処理を行うための信号処理部、２０４は信号処理された画像を記憶するための記憶部である。２０５は撮像された画像または記憶された画像を表示するための表示部（ＬＣＤ等）、２０６はカメラの動作を制御するカメラ制御部、２０７はユーザ指示が入力されるカメラ操作部である。次に電動雲台１０２において、２０８は電動雲台１０２を回転制御するためのステッピングモータ、２０９はモータドライバ、２１０はステッピングモータ２０８の回転動作を制御する雲台制御部である。次に制御部１０３において、２１１はホスト制御部（ホストコンピュータ）である。２１２はカメラ１０１への撮影指示や電動雲台１０２の回転角度を指定するためのユーザ指示が入力されるホスト操作部、２１３はホスト制御部２１１における情報を表示するためのモニタである。また、２１４はカメラ１０１と制御部１０３を繋ぐ通信ラインであり、２１５は電動雲台１０２と制御部１０３を繋ぐ通信ラインである。これらの通信ライン２１４，２１５を通して、制御部１０３からカメラ１０１や電動雲台１０２へ制御信号を送ることで、これら装置の動作制御が行われる。なお、通信ラインは有線でも無線でも構わない。
【００１７】
カメラ１０１において、撮影光学系レンズ２０１により撮像素子２０２上に結像した光学像は、信号処理部２０３で信号処理され、表示部２０５に表示される。カメラ操作部２０７によりシャッター操作が行われるか、ホスト制御部２１１よりシャッターコマンドが送られてくると、カメラ制御部２０６は現在撮像されている画像を記憶部２０４に記憶させる。また、雲台制御部２１０は、ホスト制御部２１１より回転動作のコマンドが送られてくると、これに従い回転を行う。
【００１８】
本実施形態では、全ての撮影画像が隣接する撮影画像と重複するように電動雲台１０２を制御して、被写体に対して複数回の撮影（分割撮影）を行う。なお本実施形態では、電動雲台１０２のパンとチルトの角度がゼロの位置（ホームポジション）においても、カメラ１０１と被写体１０４が正対するとは限らない。
【００１９】
●画像結合処理（概要）
本実施形態においては、カメラ１０１が備える撮影レンズの画角に比べて大きい被写体に対し、カメラ１０１の撮影方向を変えながら複数回撮影（分割撮影）を行って得られた複数枚の撮影画像を適切に結合することで、被写体全体の高解像度画像を得る。以下、本実施形態における画像結合処理について説明する。
【００２０】
まず、本実施形態の撮影システムにおける撮影によって生じる誤差（ずれ）について、図３を用いて説明する。誤差としては、主に図中(1)〜(4)に示す４つが考えられる。(1)は、電動雲台１０２に対して指定した回転角度と、実際の回転角度とのずれである。電動雲台１０２の駆動はギアを介して行われるが、バックラッシュ等により、厳密に指定した角度分、カメラを駆動できるわけではない。ただし、電動雲台１０２に搭載するモーターにエンコーダ等を設置することで、一定の精度で駆動することは可能である。(2)は、電動雲台１０２に設置したカメラの傾きである。特に、レンズの三脚座を使用してカメラを固定した場合、電動雲台の旋回面に対して、カメラがレンズ光軸を中心として回転する方向に傾く可能性が高い。(3)は、撮像センサの中心と電動雲台１０２の回転中心とのずれである。電動雲台１０２にコンパクトカメラを備え付けた場合、コンパクトカメラの三脚のねじ穴位置と撮像センサの中心位置とに大きなずれは生じない。しかしながら、一眼レフカメラの場合、例えば三脚座を使用して電動雲台１０２への取り付けを行うと、撮像センサの中心位置が電動雲台１０２の回転中心と大きくずれてしまう可能性がある。また(4)は、被写体とホームポジションでのカメラ位置との正対に関するずれである。
【００２１】
本実施形態においては、上記のような各種ずれに対し、分割撮影した撮影画像毎に正しいカメラ位置を推定することで、良好な画像結合結果を得る。
【００２２】
まず、図４を用いて本実施形態における結合処理の概要について説明する。なお、本実施形態では説明を簡単にするために、被写体が絵画のように平面で近似できるものであるとし、被写体を近似した面を被写体面と称する。例えば風景等、撮影距離が非常に大きい被写体についてはそのまま平面として扱うことができるため、本実施形態による手法をそのまま適用することができる。また、予め被写体の形状が分かっている場合には、該形状に合わせた被写体面を構成することで、本実施形態による手法を適用することが可能である。
【００２３】
被写体を平面であると仮定した場合、図４(a)に示すように、ある３次元空間上（仮想空間上）に被写体を想定した被写体面を設定し、該被写体面上に撮影画像をマッピングすることで画像配置がなされる。図４(a)には、同３次元空間上に、被写体面と平行な仮想平面である再構成平面が仮定されている。詳細は後述するが、本実施形態では被写体面上の撮影画像を再構成平面上（仮想平面上）に射影することによって、結合時のずれ量を算出する。なお、被写体面と再構成平面は必ずしも平行でなくても良い。
【００２４】
図４(b)は、図４(a)に示す３次元空間をｚ軸方向から見た図を示している。なお、被写体面上に配置される撮影画像の被写体面との角度は、撮影時のカメラ位置によって決まる。以下、図４(b)を用いて本実施形態における結合処理の原理を説明する。例えば、図中(A)の位置から撮影を行った場合、ファインダ中心にピントが合うように撮影すると、撮影レンズの画角に基づいて仮想ピント面Ｆaを設定することができる。ここで、仮想ピント面Ｆaはカメラによってピントを合わせた平面であり、カメラ位置から被写体を見た光景のうち、仮想ピント面Ｆaを含む領域が撮影画像に写り込むことになる。この場合、(A)の位置にあるカメラは被写体面に正対していないため、被写体面において実際に写る範囲は撮影範囲Ｒaの部分となる。
【００２５】
そこで本実施形態では再構成平面を用いて、分割撮影した１枚の撮影画像に対し、その撮影方向に基づいて、被写体から無限遠の位置、かつ視線方向を再構成平面に正対した方向とするような視点からの被写体像を得る、所謂パース補正処理を施す。以降、このようにパース補正が施された再構成平面上の撮影画像を射影後画像と称する。本実施形態では、この射影後画像の複数枚を並べることで最終的な結合画像を得るため、射影後画像とはすなわち結合用画像とも称される。
【００２６】
例えば説明を簡単にするためにレンズによる歪みが無いと仮定した場合、再構成平面上の点Ｐa'の画素値は、位置(A)のカメラと被写体との距離や撮影時の画角から、被写体面上の点Ｐaの画素値となる。なお、撮影データはデジタル化されたビットマップデータであるから、点Ｐaの座標が整数値にならない場合には近傍画素を補間して画素値を算出する。ここでカメラが図中(B)の位置にある場合など、カメラの使用ＡＦフレームが撮影画像の中心にない場合には、ＡＦフレームが被写体上に配置されるように、仮想ピント面Ｆaを設定する。
【００２７】
図５(a)に、以上のようにして得られた射影後画像群（1〜15）の一例を示す。射影後画像間には重複領域が生じるが、この重複領域に対して所定のブレンド処理を施すことで、撮影画像間の境界部分に違和感の無い結合画像を得ることが可能になる。
【００２８】
本実施形態では以上説明したように再構成平面上に撮影画像を射影し、得られた複数の射影後画像を結合する。しかしながら、実際の撮影においては図３で示したような撮影機材の設置誤差が生じる。そこで本実施形態では、重複する射影後画像間の重複領域部分の誤差を評価し、この誤差が最小になるような撮影機器情報（カメラ位置等）を推定する。例えば図５(b)に示すように、隣接する射影後画像の重複領域について、画素値の平均二乗誤差（ＭＳＥ；Mean Square Error）を算出し、この値を誤差とする。
【００２９】
本実施形態では重複領域の誤差を最小化するために、３次元空間上に配置した撮影画像の相対位置を直接変更するのではなく、該誤差が最小となるようなカメラ位置を推定する。ここで図６を用いて、カメラ位置の変化による、射影される被写体領域すなわち射影後画像の変化の様子を示す。例えば図６(a)において、Ａ1，Ａ2はカメラ位置がそれぞれａ1，ａ2の場合の仮想ピント面であり、被写体上での撮影領域はそれぞれＡ1'，Ａ2'として射影され、カメラ位置の変化により差が生じていることが分かる。射影後画像同士の重複領域に誤差があるということは、撮影領域として想定した領域に誤差があるということであるため、本実施形態ではその原因となるカメラ位置を補正することで該誤差を最小化する。実際には、撮影レンズによる像の歪み（歪曲収差、倍率色収差、周辺減光など）が生じるが、これらの特性は撮影距離Ｌ1，Ｌ2によって変化する。このような歪みが生じている場合には誤差の評価が正しくできないため、本実施形態では撮影距離に応じた補正パラメータによるレンズ収差補正処理を適用する。このレンズ収差補正処理については後述する。
【００３０】
図６(a)では、カメラ位置の変化として撮影距離が変化した場合の例を示した。実際のカメラ位置は撮影距離だけで定義されるものではなく、３次元空間上の位置と、各軸に対する回転方向（ピッチ、ヨー、ロール）の全６パラメータで定義される。ここで図６(b)にカメラの３次元空間上の位置が変化した例を示し、Ａ1，Ａ3はカメラ位置がそれぞれａ1，ａ3の場合の仮想ピント面であり、被写体上での撮影領域がそれぞれＡ1'，Ａ3'として射影される。同図によれば、カメラの３次元空間上での位置の変化により、撮影領域が大きく変化していることが分かる。本実施形態ではこのような場合でも、撮影時に使用したＡＦフレームを基準とし、該ＡＦフレーム上の点を被写体面上に配置するような限定を行うことで、仮想ピント面Ｆaの移動範囲を制限し、現実的な処理時間で最適な状態を探索することができる。
【００３１】
●画像結合処理（詳細）
以上説明した画像結合処理の具体的な処理手順について説明する。なお、本実施形態における画像結合処理は、制御部１０３のホスト制御部２１１において所定のアプリケーションが実行されることによって制御されるが、同等の処理を行うハードウェア構成を設けても良い。
【００３２】
まず、分割撮影された複数枚の撮影画像の中から１枚、基準画像を決定し、該基準画像に近い順に撮影画像を選択し、該選択した撮影画像に対するカメラ位置の推定処理を行う。基準画像の決定方法としてはいくつか考えられるが、例えば本実施形態では、ホームポジションで撮影した画像を基準画像とする。他の決定方法としては、撮影機器情報から各画像の撮影距離を得て、これが最小である画像を規準画像とする方法も考えられる。例えば図８は、図５(a)と同様の射影後画像群を示したものであるが、該画像群において画像８が基準画像であった場合、各画像の中心が近い順に画像が選択、処理される例を示している。すなわち基準画像８に対し、画像７、画像９、画像１１、画像５、画像１０、画像１２、・・・のように画像が選択され、順次処理されることによって、全画像が結合される。
【００３３】
本実施形態では、推定したカメラ位置の確からしさを隣接画像との重複領域の差分によって評価するが、この評価には、基準画像、あるいは既にカメラ位置推定処理が終わった撮影画像（すなわち既生成の射影後画像）との重複領域のみを使用する。例えば、画像７についてカメラ位置推定処理を適用する場合には、画像８との重複領域のみを用いて推定処理を実行する。また画像５については、画像７、画像８、画像９との重複領域を用いてカメラ位置推定処理を実行する。このように、既にカメラ位置が決定された撮影画像との重複領域を用いて各撮影画像のカメラ位置を決定することで、撮影画像群全体のカメラ位置推定処理に必要な計算量を低減することができる。
【００３４】
以下、本実施形態における画像結合処理の詳細について、図７のフローチャートを用いて説明する。まずＳ７０１で、分割撮影された撮影画像群から基準画像を選択する。そしてこのとき、基準画像についての射影処理を行う。すなわち、基準画像に対するカメラ１０１の撮影時設定や電動雲台１０２の制御情報から撮影時のカメラ位置を取得し、その撮影距離に応じたレンズ収差補正処理を適用し、さらにカメラ位置に応じたパース補正を施す。これにより、上述した再構成平面への射影が行われる。基準画像については、この射影処理によって再構成平面上での画像位置が確定する。
【００３５】
次にＳ７０２で、カメラ位置推定処理を適用する撮影画像を上述した方法によって選択し、これを注目撮影画像とする。そしてＳ７０３で、カメラ１０１の撮影時設定や電動雲台１０２の制御情報から、注目撮影画像に対するカメラ位置の初期状態を決定する。
【００３６】
次にＳ７０４において、Ｓ７０３で得たカメラ位置の初期状態に応じた初回の射影処理を行う。すなわち注目撮影画像に対して、カメラ位置の初期状態として得られた撮影距離に応じたレンズ収差補正処理を適用し、さらにカメラ位置の初期状態に応じたパース補正を施すことによって、上述した再構成平面への射影が行われる。
【００３７】
なお、本実施形態におけるレンズ収差補正処理については周知の手法が適用可能であるため、ここでは詳細な説明を省略するが、本実施形態ではレンズ特性値データベースおよびレンズ収差補正処理用ルックアップテーブルを設け、これを利用するとする。すなわち、レンズ特性値データベースから撮影距離、焦点距離、ｆ値、レンズ種類の情報を取得し、これら情報を用いてレンズ収差補正処理用ルックアップテーブルを検索し、該検索によって得たテーブルに基づいて画像を補正する。なお、撮影距離はカメラ位置に応じて変化するため、撮影距離が変化した場合には、レンズ収差補正処理用ルックアップテーブルを再検索して正しい補正結果が得られるようにする必要がある。
【００３８】
次にＳ７０５で、Ｓ７０４での初回の射影処理の結果生じた射影後画像について、既生成の射影後画像との重複領域に対する評価値を算出する。この評価値は、当該重複領域における重複した２つの射影後画像間の差分、すなわち誤差を示すものであり、評価値算出処理の詳細については後述する。なお、本実施形態における評価値算出処理は基準画像以外の撮影画像に対して行われるが、特にＳ７０５で算出される評価値は、注目撮影画像に対する評価値の初期値となる。
【００３９】
次にＳ７０６で、予め定められた範囲内でカメラ位置を更新する。本実施形態では、実際の撮影時の状態を基準値とし、カメラ位置を定義するパラメータ値を±100段階で変化させて総当りで最適解を探索する。上述したように、本実施形態における撮影時のカメラ位置は、３次元空間上での位置および、各軸を中心としたピッチ、ヨー、ロールで定義される。本実施形態ではすなわち、実空間で１mm刻み（±10cm）、回転方向は0.01度刻みで状態を変化させ、最適な位置を算出する。なお、本実施形態では総当りで最適位置を探索する例を示すが、この総当り数は上記例に限らず、処理速度と処理精度との兼ね合いを鑑みて決定すれば良い。また、総当り法に限らず、遺伝的アルゴリズムやニューラルネットワークを用いて高速に最適解を探索しても良いことは言うまでも無い。
【００４０】
次にＳ７０７で、注目撮影画像に対し、Ｓ７０６で更新されたカメラ位置に応じた射影処理を行う。ここでの射影処理はすなわち、上記Ｓ７０４における初回の射影処理に対して２回目以降の射影処理であり、やはり注目撮影画像に対して、撮影距離に応じたレンズ収差補正処理およびカメラ位置に応じたパース補正を施すことで、再構成平面への射影を行う。
【００４１】
そしてＳ７０８で、Ｓ７０７による射影によって更新された射影後画像における重複領域に対し、Ｓ７０５と同様に評価値を算出する。そしてＳ７０９で、Ｓ７０８で算出した評価値が、既に算出されている評価値のうちで最小であるか否かを判定し、最小値である場合のみ、Ｓ７１０で該カメラ位置を注目撮影画像に対する最適カメラ位置情報（最適位置情報）として設定する。
【００４２】
そしてＳ７１１で、推定処理の終了条件を満たしていない場合にはＳ７０６へ戻り、カメラ位置を再度修正して推定処理を再実行する。本実施形態では最適解を総当りで探索するため、Ｓ７１１での終了条件は、カメラ位置を定義する全てのパラメータ値の組み合わせについての実行が終了したか否か、ということになる。その他の終了条件としては、算出された誤差量が予め定めた値を下回ったか否か、という条件も考えられる。
【００４３】
Ｓ７１１で推定処理の終了条件を満たしていた場合はＳ７１２に進み、この時点で注目撮影画像のカメラ位置はＳ７１０で最適化済みであるため、この最適カメラ位置情報を用いた射影処理を行う。すなわち、注目撮影画像に対して、最適カメラ位置情報に応じたレンズ収差補正処理およびパース補正を行うことによって、再構成平面上の射影後画像を求める。この射影処理によって、再構成平面上における当該注目撮影画像の画像位置が確定され、すなわち、結合処理が終了する。なお、結合処理の終了時には、射影後画像の重複領域には所定のブレンド処理が施され、結合済みの射影後画像としてホスト制御部２１１内の不図示のメモリに保持される。なお、Ｓ７０７における射影処理結果を保持しておき、Ｓ７１１の処理の際に該射影処理結果を流用しても良い。
【００４４】
そして最後にＳ７１３で、全ての撮影画像に対しての結合処理、すなわち再構成平面上での画像位置の確定が完了したか否かを判定し、全ての画像位置が確定した場合には、全ての撮影画像についての結合処理が終了したとして処理を終了する。一方、位置が確定していない撮影画像が存在する場合にはＳ７０２に戻り、次の注目撮影画像についての位置確定すなわち結合処理を続行する。
【００４５】
●評価値算出方法
ここで、上記Ｓ７０５，Ｓ７０８における評価値の算出方法について、図９を用いて詳細に説明する。例えば２枚の射影後画像Ａ，Ｂが図９(a)のように配置されたとする。これらは、カメラ位置の微妙なずれやパースの影響を受けて再構成平面上に射影されるため、画像Ａ、画像Ｂの画素の中心位置は一致しない可能性が高い。それだけでなく、各射影後画像内の画素サイズ（隣接画素の中心間距離）が異なる場合もある。そこで本実施形態では図９(b)に示すように、画像Ａと画像Ｂの間に仮想重複領域を設定する。画像Ａと画像Ｂはともに同一の再構成平面上に射影されているため、実際には図示されるような空間がある訳ではないが、画像Ａと画像Ｂの間に仮想重複領域を設定することで、微妙にずれた画素の比較を行うことが可能になる。仮想重複領域の解像度は任意に設定可能であるが、本実施形態では画像Ａと画像Ｂにおける画素サイズ（隣接画素の中心間距離）の平均となるような解像度に設定する。
【００４６】
図９(b)において、仮想重複領域上の画素Ｐに対応する画像Ａ上の座標をＰＡ、画像Ｂ上の座標をＰＢとする。座標ＰＡおよびＰＢは各画像上の画素の中心からずれた位置に存在するため、近傍画素を補間することによってその画素値を算出する。具体的には図９(b)に示すように、４近傍画素を用いたバイリニア補間によって画素値を決定するが、さらに参照画素を増やしてバイキュービック補間などの補間処理を行っても良い。このようにして算出した座標ＰＡ，ＰＢの画素値の差分を算出することで、仮想重複領域上における画素Ｐの誤差量を決定することができる。本実施形態では、仮想重複領域を構成する全ての画素について、以上のような誤差量の算出を行った後、それらの平均二乗誤差（ＭＳＥ）を求め、この値を評価値とする。
【００４７】
以上説明したように本実施形態によれば、カメラ位置を少しずつ変更しながら評価値が最小になるような状態を探索することで、カメラ位置を正しく推定する。そして、該カメラ位置に基づいたレンズ収差補正、３次元空間への配置、再構成平面への射影、を行うことによって、適切な画像結合処理を行うことができる。
【００４８】
＜第２実施形態＞
以下、本発明に係る第２実施形態について説明する。上述した第１実施形態では、撮影画像から基準画像を設定し、これに近い撮影画像から順にカメラ位置推定処理を実行することで、分割撮影によって得た撮影画像群を結合する例を示した。この方法によれば、一回のカメラ位置推定処理に必要な計算量が少なくて済むため、トータルでの処理時間が短くて済むという利点がある。しかしながら、第１実施形態のように撮影画像ごとにカメラ位置を確定していくと、ローカルミニマム（局所解）に陥る可能性が生じる。例えば、基準画像から遠い位置にある撮影画像については、誤差が蓄積された結果、どのようにカメラ位置を設定しても撮影画像が適切に結合できなくなるおそれがある。そこで第２実施形態では、全ての撮影画像の全ての重複領域に関する総合評価値を算出し、この総合評価値が最小となるように最適化することで、各撮影画像に対するカメラ位置の推定を実行する。これにより、指定した探索条件の中での最適解を得ることができる。
【００４９】
以下、第２実施形態における画像結合処理の詳細について、図１０のフローチャートを用いて説明する。第２実施形態でも上述した第１実施形態と同様に、まず撮影時の機器設定を初期状態として、カメラ位置推定処理を実行する。すなわちＳ１００１で、全ての撮影画像について、それぞれの撮影時の機器設定に基づいて再構成平面上への射影を行う。そしてＳ１００２で、重複領域毎の評価値を第１実施形態と同様の方法によって算出し、全撮影画像についての平均をとる。第２実施形態では、この重複領域毎の評価値の平均を、撮影画像群全体の総合評価値とする。第２実施形態による結合処理においては、この総合評価値が最小になるように各撮影画像に対するカメラ位置を最適化して、撮影画像を結合することを特徴とする。
【００５０】
以降、Ｓ１００３〜Ｓ１００５で、複数枚の撮影画像のそれぞれについて、そのカメラ位置を予め定められた方法に従って更新し、該更新したカメラ位置に応じて再構成平面上への射影を行うことで、第１実施形態と同様に撮影画像ごとの評価値を算出する。したがって、第１実施形態では注目撮影画像に対する評価値を、隣接する既に位置確定した射影後画像との重複領域について算出したが、第２実施形態では、全方位の重複領域について、評価値を算出する。
【００５１】
なお、Ｓ１００３におけるのカメラ位置の更新方法としては、例えば第１実施形態と同様に、撮影画像ごとにカメラ位置を定義するパラメータ値を±100段階で変化させることが考えられる。この場合、各撮影画像の各段階ごとに、全ての撮影画像に対する評価値が算出される。また、予めカメラ位置の探索条件を指定しておくことも可能である。すなわち、全ての撮影画像について全てのパラメータ値を総当り的に更新するのではなく、更新対象となるパラメータ値を予め探索条件として定めておく。この場合、探索条件として指定されたパラメータ値のみについて、全ての撮影画像に対する評価値が算出される。
【００５２】
そしてＳ１００６で、該算出された各撮影画像の評価値の平均を取ることで総合評価値を算出し、Ｓ１００７で、この総合評価値が、現在までの処理の過程においての最小値であるか否かを判定する。最小値である場合、Ｓ１００８で各撮影画像の最適カメラ位置を更新し、Ｓ１００９へ進む。
【００５３】
Ｓ１００９では、カメラ位置推定処理を終了するか否かを判定する。第２実施形態では、総合評価値が所定値よりも小さいことを終了条件として、推定処理を終了するか否かを判定する。終了条件を満たしていない場合にはＳ１００３へ戻って推定処理を継続するが、終了条件を満たしている場合にはＳ１０１０で、各撮影画像をその最適カメラ位置にしたがって再構成平面上に射影し、結合結果を得て処理を終了する。
【００５４】
以上説明したように第２実施形態によれば、分割撮影された全ての撮影画像に対する総合評価値を設定してカメラ位置推定処理を行うことで、ローカルミニマムに陥らずに最適な画像結合結果を得ることができる。
【００５５】
＜第３実施形態＞
以下、本発明に係る第３実施形態について説明する。上述した第２実施形態では、分割撮影によって得た撮影画像群全体について誤差を評価することで、撮影位置に因らず好適な結合結果を得る方法について述べた。しかしながら、第２実施形態に示す処理では演算量が非常に多くなってしまい、現実的な時間では処理が終わらない可能性がある。
【００５６】
ここで、図３に示したような撮影機材の設置誤差を鑑みると、例えば(2)に示すカメラの傾き誤差については、全ての撮影画像で同じ誤差となる可能性が高い。また、(3)に示す電動雲台の回転中心とセンサ中心のずれについても、同一被写体に対する分割撮影中に変化してしまうことは考えにくい。一方、(1)に示す回転角度のずれや、撮影画像毎の撮影距離など、分割撮影した画像毎に異なる誤差もある。
【００５７】
そこで第３実施形態では、撮影画像群全体で共通となるグローバルな誤差と、撮影画像毎に異なるローカルな誤差を分けて考える。具体的には、重複領域のいくつかを選択してグローバルな誤差に起因する第１のパラメータを推定し、その誤差を画像全てについて補正した後、ローカルな誤差に起因する第２のパラメータを推定し、画像毎に補正処理を適用する。このような処理により、複数ある誤差の組み合わせの数を低減し、計算量を低減することができる。例えば、ある重複領域について、推定パラメータが４つである場合に総当りで最適解を求めようとすると、約１６億回の評価値算出処理が必要になるとする。しかしながら、このうち１つのパラメータをグローバルな誤差として別に算出すると、残りの３パラメータの推定処理には８００万回の評価値算出処理を実行するだけで良く、演算量を大幅に低減することができる。
【００５８】
●画像結合処理
以下、第３実施形態における画像結合処理について、図１１のフローチャートを用いて詳細に説明する。第３実施形態では、グローバルな誤差に起因する第１のパラメータとして、カメラの傾き（図３中の(2)）を補正する。その後に、ローカルな誤差に起因する第２のパラメータとして、残りのパラメータを補正する。
【００５９】
まずＳ１１０１，Ｓ１１０２は、上述した第２実施形態における図１０のＳ１００１，Ｓ１００２と同様に、撮影時の機器情報によるカメラ位置の初期状態に基づく全撮影画像の射影、および総合評価値算出を行う。
【００６０】
次にＳ１１０３で、初期状態に基づく射影によって得られる重複領域のうち、特徴的な領域を最大ｎ箇所選択する。なお、この重複領域選択処理の詳細については後述する。
【００６１】
そしてＳ１１０４で、Ｓ１１０３で選択した重複領域の誤差が最小になるような第１のパラメータを推定（第１の推定処理）し、Ｓ１１０５で、該推定された第１のパラメータによって、各撮影画像のカメラ位置を補正する。第３実施形態では第１のパラメータをカメラ傾きとするため、この段階で、撮影システムにおけるカメラ設置時の傾きが補正される。
【００６２】
次にＳ１１０６で、残りの誤差に対応する第２のパラメータ群の推定（第２の推定処理）を行い、Ｓ１１０７で該推定された第２のパラメータを各撮影画像のカメラ位置に反映する。そしてＳ１１０８において、各撮影画像をそのカメラ位置に応じて再構成平面へ射影し、結合画像を得る。
【００６３】
●重複領域選択処理
第３実施形態における第１のパラメータは、全ての撮影画像の重複領域を用いて推定するのではなく、一部の重複領域を選択して用いる。第１のパラメータは全ての撮影画像のカメラ位置に影響するため、できるだけ特徴的な領域を選択し、正しい推定結果を得る必要がある。例えば、エッジ強度が大きい方が誤差の推定が正しく行えるが、例えば被写体が掛け軸の表装のような繰り返しパターンであれば誤判定の原因になることから、第３実施形態では以下のような条件を満たす重複領域を優先して選択する。
【００６４】
1)エッジ強度が大きい
2)一つの重複領域内で検出されるエッジ数が少ない
3)所定以上の面積を持つ
ここで、上記Ｓ１１０３における重複領域の選択処理について、図１２のフローチャートを用いて説明する。まずＳ１２０１で、重複領域のうち所定サイズ以上の領域のみを抽出する。ここでは、幅、高さの両方が５０画素以上である重複領域を選択する例を示すが、重複領域のサイズを幅と高さで評価するのみならず、例えば画素数で評価しても良いことは言うまでも無い。なお、重複領域が一つも選択されなかった場合には、撮影画像が選択されるまで条件を変えて繰り返し試行しても良いし、選択されなかった場合には通常の処理（上記第１実施形態あるいは第２実施形態等）に切り替えても良い。
【００６５】
次にＳ１２０２で、Ｓ１２０１で選択した各重複領域について、エッジ検出処理を適用する。そしてＳ１２０３で、各重複領域のエッジ検出結果に基づき、それぞれのエッジ評価値Ｅiを算出する。このエッジ評価値Ｅiは以下の(1)式に示すように、エッジ強度Ｖと検出エッジ数Ｎによる関数として算出される。
【００６６】
Ｅi＝ｆ(Ｖ,Ｎ) ・・・(1)
第３実施形態では、エッジ評価値Ｅiを以下の(2)式のように定義する。
【００６７】
Ｅi＝Ｖ／Ｎ ・・・(2)
なお、第３実施形態におけるエッジ検出にはソーベルフィルタを用いるとする。この場合、まず、フィルタを適用して得た各画素のエッジ強度をソートして、上位１０％のエッジ強度値の平均値をエッジ強度Ｖとする。検出エッジ数Ｎを得る処理としては、例えばハフ変換を応用し、対象領域内の直線の数を得る方法が考えられる。しかしながら、エッジの数を算出する処理は比較的負荷が高いため、簡単のためにエッジ画素の割合で代用しても良く、例えば第３実施形態では、重複領域中のエッジ画素の割合として定義する。なお、エッジ画素であるか否かの判定は、所定のエッジ強度に対する閾値処理によって行うとする。
【００６８】
そしてＳ１２０４で、Ｓ１２０３で算出されたエッジ評価値によって各重複領域をソートし、Ｓ１２０５で該ソート結果の上位ｎ個、すなわち評価値の高い５つの重複領域を選択する。これにより、上記1)〜3)の条件を満たす重複領域が優先的に選択されることになる。第３実施形態ではｎ＝５とし、すなわち上位５位までの重複領域を用いて第１のパラメータの推定処理を実行する。
【００６９】
以上説明したように第３実施形態によれば、推定対象となるパラメータを２つの群に分けて処理することで、カメラ位置を高速に推定し、画像結合処理を実行することが可能となる。
【００７０】
＜第４実施形態＞
以下、本発明に係る第４実施形態について説明する。第４実施形態では、上述した第１〜第３実施形態で説明した方式を、分割撮影枚数によっていずれを適用するかを切り替えることを特徴とする。例えば、分割撮影数が水平方向にｎ枚以下で、かつ垂直方向にｎ枚以下である場合には第１実施形態の方法による画像結合を行い、そうでない場合は第２あるいは第３実施形態の方法による画像結合を行う、という処理が考えられる。ここで、例えばｎ＝３である。
【００７１】
第４実施形態における画像結合処理について、図１３のフローチャートを用いて説明する。以下、上述した第１実施形態のように、まず基準画像を設定し、これに近い撮影画像からカメラ位置の推定を行う処理を、局所最適化処理と称する。また第２実施形態のように、結合対象となる撮影画像全てのカメラ位置が最適になるように推定処理を行う方式を、全体最適化処理と称する。
【００７２】
まずＳ１３０１で、分割撮影の状態により、局所最適化処理を適用するか、全体最適化処理を適用するかを判定する。上述したように第４実施形態では、水平・垂直方向の分割撮影数によってこの判定を行うとし、例えば両方が３以下である場合にのみＳ１３０２へ進んで局所最適化処理を実行し、そうでない場合にはＳ１３０３へ進んで全体最適化処理を適用する。
【００７３】
以上説明したように第４実施形態によれば、分割撮影数に応じてカメラ位置の推定方法を変更することによって、より短時間で好適な結合画像を得ることが可能になる。
【００７４】
＜第５実施形態＞
以下、本発明に係る第５実施形態について説明する。上述した各実施形態では、レンズ収差補正による画質劣化を考慮せずに重複領域の誤差を評価する例を示した。一般にレンズ収差補正による画質劣化としては例えば、歪曲補正による局所的な拡大補間による解像度低下、周辺光量補正によるノイズ量増加などが挙げられる。特に、周辺光量補正は画像周辺部のゲインを上げる処理であるため、同時にノイズ成分も強調してしまい、エッジ検出や誤差の評価が正しく行えない可能性がある。同様に、パース補正処理を適用した場合にも画素毎に補間処理が適用されるため、解像度が変化した結果、画質が劣化してしまう場合がある。
【００７５】
このような画質劣化に対応するため、第５実施形態ではレンズ収差補正処理による画質劣化量を考慮した、誤差の評価関数を用いる。この評価関数により、大きく補正した画素の信頼度を下げることで、射影後画像間（結合用画像間）における重複領域の誤差を正しく評価できるようにする。具体的には、評価値の計算を行う場合に、単純なＭＳＥを用いるのではなく、レンズ収差補正量を変数として考慮した評価関数を用いる。
【００７６】
ここで図１４に、レンズ特性値の一例を示す。図１４(a)は歪曲特性であり、撮影画像上での像高と理想像高の差を示している。図中の破線は、像高と理想像高が一致する場合を示している。撮影画像上の像高に対応する理想像高が高い場合、その画素は局所的に拡大補間されることになり、したがって、理想像高と撮影画像上の像高の差が大きいほど解像度が低下することになる。逆に、理想像高が撮影画像上の像高よりも小さい場合には局所的に縮小処理されることになり、解像度は増大する。
【００７７】
また、図１４(b)は周辺光量特性であり、撮影画像上での像高に対するゲイン量を示している。図中の破線は、周辺光量補正による画素値のゲインアップが行われない場合を示している。ゲイン量に応じて画素値が大きくなるので、ゲインアップに応じてノイズ量も大きくなる。
【００７８】
一般にレンズ収差補正処理は、図１４に示したレンズ特性値に対し、補正量を加味することによって行われる。例えば、レンズ特性値に応じた値をそのまま補正する場合を補正量100とすると、補正量が50の場合、例えば歪曲補正であれば撮影上の像高と理想像高の中間を目標値とするような補正を適用する。したがって、第５実施形態における評価関数としては、レンズの特性値以外に、その収差の補正量を以下のように考慮する。
【００７９】
重複領域ｋの評価値をＥkとすると、第５実施形態における評価関数は、以下の(3)式のように示される。
【００８０】
Ｅk＝１/Ｍ×Σ{(Ｐ(i,j)-Ｓ(i,j))×(Ｐ(i,j)-Ｓ(i,j)/Ｌ(i,j))} ・・・(3)
(3)式において、ｉ，ｊは重複領域を構成する画素に対応する座標であり、Ｍは重複領域画素数である。また、Ｐ(i,j)は重複領域画素、Ｓ(i,j)は重複領域画素の平均値とする。また、Ｌ(i,j)はレンズ収差補正係数であり、以下の(4)式で表される。
【００８１】
Ｌ(i,j)＝α×(１+Ｄa/100×(Ｄ(i,j)-１))
×(１-α)(100+Ｖa/100×(Ｖ(i,j)-100))/100 ・・・(4)
(4)式において、αは歪曲補正と周辺光量補正の重みであり、値域は[0,1]とする。αの値が大きいほど、歪曲補正による画質劣化が重視される。また、Ｄaは歪曲補正適用量（％）、Ｖaは周辺光量補正適用量（％）であり、Ｖ(i,j)は座標(i,j)に対応する周辺光量補正特性値（ゲインアップ量（％））である。また、Ｄ(i,j)は歪曲補正特性値であり、座標(i,j)の像高をｌ、像高ｌの理想像高をＣ(l)とすると以下の(5)式で表せる。
【００８２】
Ｄ(i,j)＝Ｃ(l)／l ・・・(5)
第５実施形態では簡単のために、レンズ収差補正・パース補正処理のうち、歪曲補正と周辺光量補正を挙げて説明したが、これにパース補正や倍率色収差補正が加わっても良いことは言うまでも無い。特に倍率色収差補正は、ＲＧＢ信号のＧ信号の歪曲収差に対するＲとＢの倍率であるため、歪曲補正と同様の考え方で対応可能である。
【００８３】
以上説明したように第５実施形態によれば、重複領域の誤差評価においてレンズ特性値とレンズ収差補正量を考慮することで、重複領域の誤差評価をより適切に行い、画像結合処理結果の精度を向上させることが可能になる。
【００８４】
＜第５実施形態の変形例＞
上述した第５実施形態では、レンズ収差補正による画質劣化量を誤差の評価関数によって考慮し、対応する例を示したが、レンズの収差補正量に応じたフィルタを適用する方法も考えられる。このフィルタとしては以下の２つの種類が考えられる。
【００８５】
まず１つ目が、補正量に応じてぼかすようなフィルタである。周辺光量補正によるノイズの強調に対しては、このような方法が有効である。このようなフィルタを用いることで、レンズ収差補正処理による画質劣化に対応した重複領域の誤差評価が可能になり、より高精度な画像結合処理を実行することが可能になる。
【００８６】
次に２つ目が、画質劣化を復元するようなフィルタである。この場合、予め撮像光学系やレンズ収差補正による画質劣化特性をデータ化しておき、この画質劣化特性データに基づいて像を補正する。この画質劣化特性データは、例えば点像分布関数（ＰＳＦ；Point Spread Function）によって表すことができる。ＰＳＦは、点像がどのような広がりを持った像に写像されるかを示し、例えば暗黒下で体積が非常に小さい発光体を撮影した場合の像の二次元分布がＰＳＦに相当する。ＰＳＦを得るためには、必ずしも実際に点光源を撮影する必要はなく、レンズの設計データや補正処理内容から算出することが可能である。ＰＳＦを用いた補正処理では、サイズの大きい空間フィルタを適用する場合が多い。このような画質の劣化過程を考慮した補正処理を用いれば、単にレンズの収差補正による画質劣化に対応するだけでなく、光学系による解像度低下にも対応可能である。したがって画質劣化のない状態で重複領域の比較処理を行うことができ、より高精度な画像結合処理を実行することが可能になる。
【００８７】
＜他の実施形態＞
上述した第１〜第５実施形態では、全ての推定パラメータを独立に変化させてカメラ位置を推定する例を示した。しかしながら、ハードウェアの駆動精度を上げることで、演算量を削減することも可能である。例えば電動雲台にエンコーダを付加することで、雲台の回転方向を一定の精度で取得することが可能である。このような場合、推定するカメラの位置を定義するパラメータ数を、第１〜第５実施形態で説明したような３次元空間上の位置と各軸の回転方向による６パラメータから削減することが可能になる。すなわちこの場合、カメラの向きを示す雲台の方向ベクトルとそのノルム（撮影距離）によって、カメラの３次元空間上の位置を表現することができる。そして、このときに推定するパラメータは、撮影距離とカメラの姿勢を示すヨー、ピッチ、ロールの全４パラメータとなる。ここで第１実施形態のように、各パラメータを±100段階で変化させて総当りで最適解を探索すると仮定した場合、６パラメータの場合は64兆回の評価値演算を行う必要があるが、４パラメータの場合であればこれを16億回にまで削減することが可能になる。実際には総当りではなく、焼きなまし法や山登り法を使った探索を行うのが現実的であるが、この場合でも一回の誤差評価計算の演算量を大幅に低減することが可能になる。
【００８８】
このように、撮影システムのハードウェア構成に一定の機能を付加することで、推定パラメータ数を削減し、処理を高速化することが可能である。特に、回転方向を限定することで、３次元空間上の位置を方向ベクトルとノルムに分解し、ノルムの推定だけを行うことで最適解の探索が可能になる。
【００８９】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、撮像装置が備える撮影レンズの画角に比べて大きい被写体に対する複数回の撮影を行うことによって、該被写体全体の撮影画像を得る画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
従来、三脚とカメラの間に装着し、上部に設置されたカメラを電動で一定角度回転させるための装置として、電動雲台が知られている。近年、この電動雲台を駆動し、撮影カメラの向きを変えながら複数枚の画像を撮影し、撮影した画像を結合することで、非常に多くの画素からなる画像（例えばパノラマ画像等）を生成するシステムが注目されている。このような撮影システムにおける一番大きな課題は、撮影画像群の画像結合処理である。画像結合処理としては、画像端の類似度から隣り合う画像を推定し、これを張り合わせる技術が知られている。しかしながら、被写体が均一な領域であったり、画像の一部が平坦で撮影画像間の差があまり無いような場合には、正しく隣接画像を特定することが困難であり、好ましい結合結果を得ることができなかった。また、レンズ収差や被写体のパースなどによって撮影画像ごとに異なる誤差が生じるため、単純な比較では対応点が取れない場合にも、やはり適切な結合結果とはならない可能性がある。
【０００３】
そこで、例えば正しい対応点を得るために、以下のように座標変換を行う技術が提案されている（例えば、特許文献１参照）。該技術によれば、まず複数の画像データに基づいて、対象物と入力手段との相対的な回転角および撮像装置の回転軸の位置を、複数の画像データを貼りあわせるための座標変換パラメータとして算出する。そして次に、この座標変換パラメータに基づいて、対象画像を一つの座標系に座標変換した後、画像を合成する。
【０００４】
また、合成時に画像データごとの輝度の違いの影響を受けないようにするために、対応点を取得する際に単純に重複部分の差分を取るのではなく、各画素の二次微分を比較する方法も提案されている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平０７−１７４５３８号公報
【特許文献２】特開２００５−０４６５７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献１に示した座標変換を行う技術によれば、隣接画像の重複領域における対応点を取って画像の貼りあわせ処理を行うため、例えば掛け軸の表装等、画像内に細かい繰り返しパターンがある場合には正しく結合できない可能性がある。そこで、対応点を取らずに画像を変形・結合することが考えられるが、この場合には、レンズの歪曲や周辺光量、倍率色収差等を補正する、所謂レンズ収差補正を適用する必要がある。レンズ収差によって生じる撮影画像の誤差は被写体距離（撮影距離）によって様々に変化する。したがって、これを適切に補正するためには上記特許文献１のように画像間の相対位置を算出する方法では不十分であり、画像毎の被写体距離もしくは撮影時のカメラ位置を正しく推定する必要ある。
【０００７】
さらに、撮影画像に対して回転・平行移動などの座標変換を単純に適用しただけでは、適切なパース補正を行うことはできない。適切なパース補正を行うためにも、やはり撮影時のカメラ位置を適切に推定する必要がある。
【０００８】
さらに、撮影時のカメラ設定に応じて周辺減光補正を適用した場合、画像中心から離れるほどノイズ量が増加する。このような補正が適用された場合には、上記特許文献２に示した二次微分による方法によっても輝度の影響を払拭するには不十分であった。
【０００９】
本発明は、上記課題を解決するためになされたものであり、以下のような機能を有する画像処理装置および画像処理方法を提供することを目的とする。すなわち、被写体を分割撮影した複数の撮影画像毎に、撮影時のカメラ位置を適切に推定して、該カメラ位置に応じたレンズ収差補正およびパース補正を施すことによって、該複数の撮影画像を適切に結合する。
【課題を解決するための手段】
【００１０】
上記目的を達成するための一手段として、本発明の画像処理装置は以下の構成を備える。
【００１１】
すなわち、撮像装置が備える撮影レンズの画角よりも大きい被写体に対し、該撮像装置による撮影方向を変えながら複数回の撮影を行うことによって得られる複数枚の撮影画像から、該被写体全体の画像を得る画像処理装置であって、前記複数枚の撮影画像のうち、基準画像を設定する基準画像の設定手段と、前記基準画像を含む注目撮影画像に対し、位置情報に応じたレンズ収差補正およびパース補正を施して結合用画像を生成する補正手段と、前記基準画像以外の注目撮影画像の結合用画像と、該結合用画像に隣接する既生成の結合用画像との重複領域における画素値の差分を示す情報を、前記注目撮影画像の評価値として算出する評価値算出手段と、前記基準画像以外の注目撮影画像の撮影時における前記被写体に対する前記撮像装置の位置および撮影方向を示す前記位置情報を初期値として該位置情報を予め定められた範囲で更新しながら、前記補正手段によって該位置情報に応じたレンズ収差補正およびパース補正を行った際に前記評価値算出手段で算出される評価値が最小となる位置情報を探索し、該探索された位置情報を前記注目撮影画像の最適位置情報とする位置推定手段と、前記基準画像以外の注目撮影画像について、前記補正手段で前記最適位置情報に応じたレンズ収差補正およびパース補正を施して生成された結合用画像を、該結合用画像に隣接する既生成の結合用画像と結合する結合手段と、を有することを特徴とする。
【発明の効果】
【００１２】
上記構成からなる本発明によれば、被写体を分割撮影した複数の撮影画像毎に、撮影時のカメラ位置を適切に推定して、該カメラ位置に応じたレンズ収差補正およびパース補正を施すことによって、該複数の撮影画像を適切に結合することができる。
【図面の簡単な説明】
【００１３】
【図１】第１実施形態における撮影システムの構成を示す図、
【図２】第１実施形態における撮影システムの詳細構成を示す図、
【図３】第１実施形態における撮影システムで生じ得る誤差を示す図、
【図４】第１実施形態における画像結合処理の概要を示す図、
【図５】第１実施形態における射影後画像と重複領域の一例を示す図、
【図６】第１実施形態におけるカメラの位置の変化による射影後画像の違いを示す図、
【図７】第１実施形態における画像結合処理を示すフローチャート、
【図８】第１実施形態における射影後画像群に対する画像結合処理の適用順の一例を示す図、
【図９】第１実施形態における評価値の算出方法の概要を示す図、
【図１０】第２実施形態における画像結合処理を示すフローチャート、
【図１１】第３実施形態における画像結合処理を示すフローチャート、
【図１２】第３実施形態における重複領域の選択処理を示すフローチャート、
【図１３】第４実施形態における画像結合処理を示すフローチャート、
【図１４】第５実施形態におけるレンズ特性値の一例を示す図、である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施の形態は特許請求の範囲に関る本発明を限定するものではなく、また、本実施の形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
【００１５】
＜第１実施形態＞
●装置構成
図１は、本実施形態における撮影システムの構成を示す図である。図１において、１０１は本実施形態における撮像装置本体であるカメラ、１０２は電動雲台である。このようにカメラ１０１が電動雲台１０２に載置されることによって、電動雲台１０２の回転によりカメラ１０１本体をパン（ＰＡＮ）、チルト（ＴＩＬＴ）させて対象物を撮影する。１０３はカメラ１０１の動作、および電動雲台１０２の回転動作を制御する制御部である。制御部１０３はまた、カメラ１０１で撮影して得られた撮影画像群を結合処理し、超高解像度画像を生成する画像処理装置としても機能する。１０４は、撮影対象となる被写体であり、幅Ｗ、高さＨの大きさからなり、カメラ１０１から距離Ｌの位置に設置されている。
【００１６】
図２に、図１に示した撮影システムの詳細構成を示す。まずカメラ１０１において、２０１は撮影光学系レンズ、２０２は結像した光学像を光電変換する撮像素子（ＣＣＤ等）である。２０３は撮像された電気信号に所定の処理を行うための信号処理部、２０４は信号処理された画像を記憶するための記憶部である。２０５は撮像された画像または記憶された画像を表示するための表示部（ＬＣＤ等）、２０６はカメラの動作を制御するカメラ制御部、２０７はユーザ指示が入力されるカメラ操作部である。次に電動雲台１０２において、２０８は電動雲台１０２を回転制御するためのステッピングモータ、２０９はモータドライバ、２１０はステッピングモータ２０８の回転動作を制御する雲台制御部である。次に制御部１０３において、２１１はホスト制御部（ホストコンピュータ）である。２１２はカメラ１０１への撮影指示や電動雲台１０２の回転角度を指定するためのユーザ指示が入力されるホスト操作部、２１３はホスト制御部２１１における情報を表示するためのモニタである。また、２１４はカメラ１０１と制御部１０３を繋ぐ通信ラインであり、２１５は電動雲台１０２と制御部１０３を繋ぐ通信ラインである。これらの通信ライン２１４，２１５を通して、制御部１０３からカメラ１０１や電動雲台１０２へ制御信号を送ることで、これら装置の動作制御が行われる。なお、通信ラインは有線でも無線でも構わない。
【００１７】
カメラ１０１において、撮影光学系レンズ２０１により撮像素子２０２上に結像した光学像は、信号処理部２０３で信号処理され、表示部２０５に表示される。カメラ操作部２０７によりシャッター操作が行われるか、ホスト制御部２１１よりシャッターコマンドが送られてくると、カメラ制御部２０６は現在撮像されている画像を記憶部２０４に記憶させる。また、雲台制御部２１０は、ホスト制御部２１１より回転動作のコマンドが送られてくると、これに従い回転を行う。
【００１８】
本実施形態では、全ての撮影画像が隣接する撮影画像と重複するように電動雲台１０２を制御して、被写体に対して複数回の撮影（分割撮影）を行う。なお本実施形態では、電動雲台１０２のパンとチルトの角度がゼロの位置（ホームポジション）においても、カメラ１０１と被写体１０４が正対するとは限らない。
【００１９】
●画像結合処理（概要）
本実施形態においては、カメラ１０１が備える撮影レンズの画角に比べて大きい被写体に対し、カメラ１０１の撮影方向を変えながら複数回撮影（分割撮影）を行って得られた複数枚の撮影画像を適切に結合することで、被写体全体の高解像度画像を得る。以下、本実施形態における画像結合処理について説明する。
【００２０】
まず、本実施形態の撮影システムにおける撮影によって生じる誤差（ずれ）について、図３を用いて説明する。誤差としては、主に図中(1)〜(4)に示す４つが考えられる。(1)は、電動雲台１０２に対して指定した回転角度と、実際の回転角度とのずれである。電動雲台１０２の駆動はギアを介して行われるが、バックラッシュ等により、厳密に指定した角度分、カメラを駆動できるわけではない。ただし、電動雲台１０２に搭載するモーターにエンコーダ等を設置することで、一定の精度で駆動することは可能である。(2)は、電動雲台１０２に設置したカメラの傾きである。特に、レンズの三脚座を使用してカメラを固定した場合、電動雲台の旋回面に対して、カメラがレンズ光軸を中心として回転する方向に傾く可能性が高い。(3)は、撮像センサの中心と電動雲台１０２の回転中心とのずれである。電動雲台１０２にコンパクトカメラを備え付けた場合、コンパクトカメラの三脚のねじ穴位置と撮像センサの中心位置とに大きなずれは生じない。しかしながら、一眼レフカメラの場合、例えば三脚座を使用して電動雲台１０２への取り付けを行うと、撮像センサの中心位置が電動雲台１０２の回転中心と大きくずれてしまう可能性がある。また(4)は、被写体とホームポジションでのカメラ位置との正対に関するずれである。
【００２１】
本実施形態においては、上記のような各種ずれに対し、分割撮影した撮影画像毎に正しいカメラ位置を推定することで、良好な画像結合結果を得る。
【００２２】
まず、図４を用いて本実施形態における結合処理の概要について説明する。なお、本実施形態では説明を簡単にするために、被写体が絵画のように平面で近似できるものであるとし、被写体を近似した面を被写体面と称する。例えば風景等、撮影距離が非常に大きい被写体についてはそのまま平面として扱うことができるため、本実施形態による手法をそのまま適用することができる。また、予め被写体の形状が分かっている場合には、該形状に合わせた被写体面を構成することで、本実施形態による手法を適用することが可能である。
【００２３】
被写体を平面であると仮定した場合、図４(a)に示すように、ある３次元空間上（仮想空間上）に被写体を想定した被写体面を設定し、該被写体面上に撮影画像をマッピングすることで画像配置がなされる。図４(a)には、同３次元空間上に、被写体面と平行な仮想平面である再構成平面が仮定されている。詳細は後述するが、本実施形態では被写体面上の撮影画像を再構成平面上（仮想平面上）に射影することによって、結合時のずれ量を算出する。なお、被写体面と再構成平面は必ずしも平行でなくても良い。
【００２４】
図４(b)は、図４(a)に示す３次元空間をｚ軸方向から見た図を示している。なお、被写体面上に配置される撮影画像の被写体面との角度は、撮影時のカメラ位置によって決まる。以下、図４(b)を用いて本実施形態における結合処理の原理を説明する。例えば、図中(A)の位置から撮影を行った場合、ファインダ中心にピントが合うように撮影すると、撮影レンズの画角に基づいて仮想ピント面Ｆaを設定することができる。ここで、仮想ピント面Ｆaはカメラによってピントを合わせた平面であり、カメラ位置から被写体を見た光景のうち、仮想ピント面Ｆaを含む領域が撮影画像に写り込むことになる。この場合、(A)の位置にあるカメラは被写体面に正対していないため、被写体面において実際に写る範囲は撮影範囲Ｒaの部分となる。
【００２５】
そこで本実施形態では再構成平面を用いて、分割撮影した１枚の撮影画像に対し、その撮影方向に基づいて、被写体から無限遠の位置、かつ視線方向を再構成平面に正対した方向とするような視点からの被写体像を得る、所謂パース補正処理を施す。以降、このようにパース補正が施された再構成平面上の撮影画像を射影後画像と称する。本実施形態では、この射影後画像の複数枚を並べることで最終的な結合画像を得るため、射影後画像とはすなわち結合用画像とも称される。
【００２６】
例えば説明を簡単にするためにレンズによる歪みが無いと仮定した場合、再構成平面上の点Ｐa'の画素値は、位置(A)のカメラと被写体との距離や撮影時の画角から、被写体面上の点Ｐaの画素値となる。なお、撮影データはデジタル化されたビットマップデータであるから、点Ｐaの座標が整数値にならない場合には近傍画素を補間して画素値を算出する。ここでカメラが図中(B)の位置にある場合など、カメラの使用ＡＦフレームが撮影画像の中心にない場合には、ＡＦフレームが被写体上に配置されるように、仮想ピント面Ｆaを設定する。
【００２７】
図５(a)に、以上のようにして得られた射影後画像群（1〜15）の一例を示す。射影後画像間には重複領域が生じるが、この重複領域に対して所定のブレンド処理を施すことで、撮影画像間の境界部分に違和感の無い結合画像を得ることが可能になる。
【００２８】
本実施形態では以上説明したように再構成平面上に撮影画像を射影し、得られた複数の射影後画像を結合する。しかしながら、実際の撮影においては図３で示したような撮影機材の設置誤差が生じる。そこで本実施形態では、重複する射影後画像間の重複領域部分の誤差を評価し、この誤差が最小になるような撮影機器情報（カメラ位置等）を推定する。例えば図５(b)に示すように、隣接する射影後画像の重複領域について、画素値の平均二乗誤差（ＭＳＥ；Mean Square Error）を算出し、この値を誤差とする。
【００２９】
本実施形態では重複領域の誤差を最小化するために、３次元空間上に配置した撮影画像の相対位置を直接変更するのではなく、該誤差が最小となるようなカメラ位置を推定する。ここで図６を用いて、カメラ位置の変化による、射影される被写体領域すなわち射影後画像の変化の様子を示す。例えば図６(a)において、Ａ1，Ａ2はカメラ位置がそれぞれａ1，ａ2の場合の仮想ピント面であり、被写体上での撮影領域はそれぞれＡ1'，Ａ2'として射影され、カメラ位置の変化により差が生じていることが分かる。射影後画像同士の重複領域に誤差があるということは、撮影領域として想定した領域に誤差があるということであるため、本実施形態ではその原因となるカメラ位置を補正することで該誤差を最小化する。実際には、撮影レンズによる像の歪み（歪曲収差、倍率色収差、周辺減光など）が生じるが、これらの特性は撮影距離Ｌ1，Ｌ2によって変化する。このような歪みが生じている場合には誤差の評価が正しくできないため、本実施形態では撮影距離に応じた補正パラメータによるレンズ収差補正処理を適用する。このレンズ収差補正処理については後述する。
【００３０】
図６(a)では、カメラ位置の変化として撮影距離が変化した場合の例を示した。実際のカメラ位置は撮影距離だけで定義されるものではなく、３次元空間上の位置と、各軸に対する回転方向（ピッチ、ヨー、ロール）の全６パラメータで定義される。ここで図６(b)にカメラの３次元空間上の位置が変化した例を示し、Ａ1，Ａ3はカメラ位置がそれぞれａ1，ａ3の場合の仮想ピント面であり、被写体上での撮影領域がそれぞれＡ1'，Ａ3'として射影される。同図によれば、カメラの３次元空間上での位置の変化により、撮影領域が大きく変化していることが分かる。本実施形態ではこのような場合でも、撮影時に使用したＡＦフレームを基準とし、該ＡＦフレーム上の点を被写体面上に配置するような限定を行うことで、仮想ピント面Ｆaの移動範囲を制限し、現実的な処理時間で最適な状態を探索することができる。
【００３１】
●画像結合処理（詳細）
以上説明した画像結合処理の具体的な処理手順について説明する。なお、本実施形態における画像結合処理は、制御部１０３のホスト制御部２１１において所定のアプリケーションが実行されることによって制御されるが、同等の処理を行うハードウェア構成を設けても良い。
【００３２】
まず、分割撮影された複数枚の撮影画像の中から１枚、基準画像を決定し、該基準画像に近い順に撮影画像を選択し、該選択した撮影画像に対するカメラ位置の推定処理を行う。基準画像の決定方法としてはいくつか考えられるが、例えば本実施形態では、ホームポジションで撮影した画像を基準画像とする。他の決定方法としては、撮影機器情報から各画像の撮影距離を得て、これが最小である画像を規準画像とする方法も考えられる。例えば図８は、図５(a)と同様の射影後画像群を示したものであるが、該画像群において画像８が基準画像であった場合、各画像の中心が近い順に画像が選択、処理される例を示している。すなわち基準画像８に対し、画像７、画像９、画像１１、画像５、画像１０、画像１２、・・・のように画像が選択され、順次処理されることによって、全画像が結合される。
【００３３】
本実施形態では、推定したカメラ位置の確からしさを隣接画像との重複領域の差分によって評価するが、この評価には、基準画像、あるいは既にカメラ位置推定処理が終わった撮影画像（すなわち既生成の射影後画像）との重複領域のみを使用する。例えば、画像７についてカメラ位置推定処理を適用する場合には、画像８との重複領域のみを用いて推定処理を実行する。また画像５については、画像７、画像８、画像９との重複領域を用いてカメラ位置推定処理を実行する。このように、既にカメラ位置が決定された撮影画像との重複領域を用いて各撮影画像のカメラ位置を決定することで、撮影画像群全体のカメラ位置推定処理に必要な計算量を低減することができる。
【００３４】
以下、本実施形態における画像結合処理の詳細について、図７のフローチャートを用いて説明する。まずＳ７０１で、分割撮影された撮影画像群から基準画像を選択する。そしてこのとき、基準画像についての射影処理を行う。すなわち、基準画像に対するカメラ１０１の撮影時設定や電動雲台１０２の制御情報から撮影時のカメラ位置を取得し、その撮影距離に応じたレンズ収差補正処理を適用し、さらにカメラ位置に応じたパース補正を施す。これにより、上述した再構成平面への射影が行われる。基準画像については、この射影処理によって再構成平面上での画像位置が確定する。
【００３５】
次にＳ７０２で、カメラ位置推定処理を適用する撮影画像を上述した方法によって選択し、これを注目撮影画像とする。そしてＳ７０３で、カメラ１０１の撮影時設定や電動雲台１０２の制御情報から、注目撮影画像に対するカメラ位置の初期状態を決定する。
【００３６】
次にＳ７０４において、Ｓ７０３で得たカメラ位置の初期状態に応じた初回の射影処理を行う。すなわち注目撮影画像に対して、カメラ位置の初期状態として得られた撮影距離に応じたレンズ収差補正処理を適用し、さらにカメラ位置の初期状態に応じたパース補正を施すことによって、上述した再構成平面への射影が行われる。
【００３７】
なお、本実施形態におけるレンズ収差補正処理については周知の手法が適用可能であるため、ここでは詳細な説明を省略するが、本実施形態ではレンズ特性値データベースおよびレンズ収差補正処理用ルックアップテーブルを設け、これを利用するとする。すなわち、レンズ特性値データベースから撮影距離、焦点距離、ｆ値、レンズ種類の情報を取得し、これら情報を用いてレンズ収差補正処理用ルックアップテーブルを検索し、該検索によって得たテーブルに基づいて画像を補正する。なお、撮影距離はカメラ位置に応じて変化するため、撮影距離が変化した場合には、レンズ収差補正処理用ルックアップテーブルを再検索して正しい補正結果が得られるようにする必要がある。
【００３８】
次にＳ７０５で、Ｓ７０４での初回の射影処理の結果生じた射影後画像について、既生成の射影後画像との重複領域に対する評価値を算出する。この評価値は、当該重複領域における重複した２つの射影後画像間の差分、すなわち誤差を示すものであり、評価値算出処理の詳細については後述する。なお、本実施形態における評価値算出処理は基準画像以外の撮影画像に対して行われるが、特にＳ７０５で算出される評価値は、注目撮影画像に対する評価値の初期値となる。
【００３９】
次にＳ７０６で、予め定められた範囲内でカメラ位置を更新する。本実施形態では、実際の撮影時の状態を基準値とし、カメラ位置を定義するパラメータ値を±100段階で変化させて総当りで最適解を探索する。上述したように、本実施形態における撮影時のカメラ位置は、３次元空間上での位置および、各軸を中心としたピッチ、ヨー、ロールで定義される。本実施形態ではすなわち、実空間で１mm刻み（±10cm）、回転方向は0.01度刻みで状態を変化させ、最適な位置を算出する。なお、本実施形態では総当りで最適位置を探索する例を示すが、この総当り数は上記例に限らず、処理速度と処理精度との兼ね合いを鑑みて決定すれば良い。また、総当り法に限らず、遺伝的アルゴリズムやニューラルネットワークを用いて高速に最適解を探索しても良いことは言うまでも無い。
【００４０】
次にＳ７０７で、注目撮影画像に対し、Ｓ７０６で更新されたカメラ位置に応じた射影処理を行う。ここでの射影処理はすなわち、上記Ｓ７０４における初回の射影処理に対して２回目以降の射影処理であり、やはり注目撮影画像に対して、撮影距離に応じたレンズ収差補正処理およびカメラ位置に応じたパース補正を施すことで、再構成平面への射影を行う。
【００４１】
そしてＳ７０８で、Ｓ７０７による射影によって更新された射影後画像における重複領域に対し、Ｓ７０５と同様に評価値を算出する。そしてＳ７０９で、Ｓ７０８で算出した評価値が、既に算出されている評価値のうちで最小であるか否かを判定し、最小値である場合のみ、Ｓ７１０で該カメラ位置を注目撮影画像に対する最適カメラ位置情報（最適位置情報）として設定する。
【００４２】
そしてＳ７１１で、推定処理の終了条件を満たしていない場合にはＳ７０６へ戻り、カメラ位置を再度修正して推定処理を再実行する。本実施形態では最適解を総当りで探索するため、Ｓ７１１での終了条件は、カメラ位置を定義する全てのパラメータ値の組み合わせについての実行が終了したか否か、ということになる。その他の終了条件としては、算出された誤差量が予め定めた値を下回ったか否か、という条件も考えられる。
【００４３】
Ｓ７１１で推定処理の終了条件を満たしていた場合はＳ７１２に進み、この時点で注目撮影画像のカメラ位置はＳ７１０で最適化済みであるため、この最適カメラ位置情報を用いた射影処理を行う。すなわち、注目撮影画像に対して、最適カメラ位置情報に応じたレンズ収差補正処理およびパース補正を行うことによって、再構成平面上の射影後画像を求める。この射影処理によって、再構成平面上における当該注目撮影画像の画像位置が確定され、すなわち、結合処理が終了する。なお、結合処理の終了時には、射影後画像の重複領域には所定のブレンド処理が施され、結合済みの射影後画像としてホスト制御部２１１内の不図示のメモリに保持される。なお、Ｓ７０７における射影処理結果を保持しておき、Ｓ７１１の処理の際に該射影処理結果を流用しても良い。
【００４４】
そして最後にＳ７１３で、全ての撮影画像に対しての結合処理、すなわち再構成平面上での画像位置の確定が完了したか否かを判定し、全ての画像位置が確定した場合には、全ての撮影画像についての結合処理が終了したとして処理を終了する。一方、位置が確定していない撮影画像が存在する場合にはＳ７０２に戻り、次の注目撮影画像についての位置確定すなわち結合処理を続行する。
【００４５】
●評価値算出方法
ここで、上記Ｓ７０５，Ｓ７０８における評価値の算出方法について、図９を用いて詳細に説明する。例えば２枚の射影後画像Ａ，Ｂが図９(a)のように配置されたとする。これらは、カメラ位置の微妙なずれやパースの影響を受けて再構成平面上に射影されるため、画像Ａ、画像Ｂの画素の中心位置は一致しない可能性が高い。それだけでなく、各射影後画像内の画素サイズ（隣接画素の中心間距離）が異なる場合もある。そこで本実施形態では図９(b)に示すように、画像Ａと画像Ｂの間に仮想重複領域を設定する。画像Ａと画像Ｂはともに同一の再構成平面上に射影されているため、実際には図示されるような空間がある訳ではないが、画像Ａと画像Ｂの間に仮想重複領域を設定することで、微妙にずれた画素の比較を行うことが可能になる。仮想重複領域の解像度は任意に設定可能であるが、本実施形態では画像Ａと画像Ｂにおける画素サイズ（隣接画素の中心間距離）の平均となるような解像度に設定する。
【００４６】
図９(b)において、仮想重複領域上の画素Ｐに対応する画像Ａ上の座標をＰＡ、画像Ｂ上の座標をＰＢとする。座標ＰＡおよびＰＢは各画像上の画素の中心からずれた位置に存在するため、近傍画素を補間することによってその画素値を算出する。具体的には図９(b)に示すように、４近傍画素を用いたバイリニア補間によって画素値を決定するが、さらに参照画素を増やしてバイキュービック補間などの補間処理を行っても良い。このようにして算出した座標ＰＡ，ＰＢの画素値の差分を算出することで、仮想重複領域上における画素Ｐの誤差量を決定することができる。本実施形態では、仮想重複領域を構成する全ての画素について、以上のような誤差量の算出を行った後、それらの平均二乗誤差（ＭＳＥ）を求め、この値を評価値とする。
【００４７】
以上説明したように本実施形態によれば、カメラ位置を少しずつ変更しながら評価値が最小になるような状態を探索することで、カメラ位置を正しく推定する。そして、該カメラ位置に基づいたレンズ収差補正、３次元空間への配置、再構成平面への射影、を行うことによって、適切な画像結合処理を行うことができる。
【００４８】
＜第２実施形態＞
以下、本発明に係る第２実施形態について説明する。上述した第１実施形態では、撮影画像から基準画像を設定し、これに近い撮影画像から順にカメラ位置推定処理を実行することで、分割撮影によって得た撮影画像群を結合する例を示した。この方法によれば、一回のカメラ位置推定処理に必要な計算量が少なくて済むため、トータルでの処理時間が短くて済むという利点がある。しかしながら、第１実施形態のように撮影画像ごとにカメラ位置を確定していくと、ローカルミニマム（局所解）に陥る可能性が生じる。例えば、基準画像から遠い位置にある撮影画像については、誤差が蓄積された結果、どのようにカメラ位置を設定しても撮影画像が適切に結合できなくなるおそれがある。そこで第２実施形態では、全ての撮影画像の全ての重複領域に関する総合評価値を算出し、この総合評価値が最小となるように最適化することで、各撮影画像に対するカメラ位置の推定を実行する。これにより、指定した探索条件の中での最適解を得ることができる。
【００４９】
以下、第２実施形態における画像結合処理の詳細について、図１０のフローチャートを用いて説明する。第２実施形態でも上述した第１実施形態と同様に、まず撮影時の機器設定を初期状態として、カメラ位置推定処理を実行する。すなわちＳ１００１で、全ての撮影画像について、それぞれの撮影時の機器設定に基づいて再構成平面上への射影を行う。そしてＳ１００２で、重複領域毎の評価値を第１実施形態と同様の方法によって算出し、全撮影画像についての平均をとる。第２実施形態では、この重複領域毎の評価値の平均を、撮影画像群全体の総合評価値とする。第２実施形態による結合処理においては、この総合評価値が最小になるように各撮影画像に対するカメラ位置を最適化して、撮影画像を結合することを特徴とする。
【００５０】
以降、Ｓ１００３〜Ｓ１００５で、複数枚の撮影画像のそれぞれについて、そのカメラ位置を予め定められた方法に従って更新し、該更新したカメラ位置に応じて再構成平面上への射影を行うことで、第１実施形態と同様に撮影画像ごとの評価値を算出する。したがって、第１実施形態では注目撮影画像に対する評価値を、隣接する既に位置確定した射影後画像との重複領域について算出したが、第２実施形態では、全方位の重複領域について、評価値を算出する。
【００５１】
なお、Ｓ１００３におけるのカメラ位置の更新方法としては、例えば第１実施形態と同様に、撮影画像ごとにカメラ位置を定義するパラメータ値を±100段階で変化させることが考えられる。この場合、各撮影画像の各段階ごとに、全ての撮影画像に対する評価値が算出される。また、予めカメラ位置の探索条件を指定しておくことも可能である。すなわち、全ての撮影画像について全てのパラメータ値を総当り的に更新するのではなく、更新対象となるパラメータ値を予め探索条件として定めておく。この場合、探索条件として指定されたパラメータ値のみについて、全ての撮影画像に対する評価値が算出される。
【００５２】
そしてＳ１００６で、該算出された各撮影画像の評価値の平均を取ることで総合評価値を算出し、Ｓ１００７で、この総合評価値が、現在までの処理の過程においての最小値であるか否かを判定する。最小値である場合、Ｓ１００８で各撮影画像の最適カメラ位置を更新し、Ｓ１００９へ進む。
【００５３】
Ｓ１００９では、カメラ位置推定処理を終了するか否かを判定する。第２実施形態では、総合評価値が所定値よりも小さいことを終了条件として、推定処理を終了するか否かを判定する。終了条件を満たしていない場合にはＳ１００３へ戻って推定処理を継続するが、終了条件を満たしている場合にはＳ１０１０で、各撮影画像をその最適カメラ位置にしたがって再構成平面上に射影し、結合結果を得て処理を終了する。
【００５４】
以上説明したように第２実施形態によれば、分割撮影された全ての撮影画像に対する総合評価値を設定してカメラ位置推定処理を行うことで、ローカルミニマムに陥らずに最適な画像結合結果を得ることができる。
【００５５】
＜第３実施形態＞
以下、本発明に係る第３実施形態について説明する。上述した第２実施形態では、分割撮影によって得た撮影画像群全体について誤差を評価することで、撮影位置に因らず好適な結合結果を得る方法について述べた。しかしながら、第２実施形態に示す処理では演算量が非常に多くなってしまい、現実的な時間では処理が終わらない可能性がある。
【００５６】
ここで、図３に示したような撮影機材の設置誤差を鑑みると、例えば(2)に示すカメラの傾き誤差については、全ての撮影画像で同じ誤差となる可能性が高い。また、(3)に示す電動雲台の回転中心とセンサ中心のずれについても、同一被写体に対する分割撮影中に変化してしまうことは考えにくい。一方、(1)に示す回転角度のずれや、撮影画像毎の撮影距離など、分割撮影した画像毎に異なる誤差もある。
【００５７】
そこで第３実施形態では、撮影画像群全体で共通となるグローバルな誤差と、撮影画像毎に異なるローカルな誤差を分けて考える。具体的には、重複領域のいくつかを選択してグローバルな誤差に起因する第１のパラメータを推定し、その誤差を画像全てについて補正した後、ローカルな誤差に起因する第２のパラメータを推定し、画像毎に補正処理を適用する。このような処理により、複数ある誤差の組み合わせの数を低減し、計算量を低減することができる。例えば、ある重複領域について、推定パラメータが４つである場合に総当りで最適解を求めようとすると、約１６億回の評価値算出処理が必要になるとする。しかしながら、このうち１つのパラメータをグローバルな誤差として別に算出すると、残りの３パラメータの推定処理には８００万回の評価値算出処理を実行するだけで良く、演算量を大幅に低減することができる。
【００５８】
●画像結合処理
以下、第３実施形態における画像結合処理について、図１１のフローチャートを用いて詳細に説明する。第３実施形態では、グローバルな誤差に起因する第１のパラメータとして、カメラの傾き（図３中の(2)）を補正する。その後に、ローカルな誤差に起因する第２のパラメータとして、残りのパラメータを補正する。
【００５９】
まずＳ１１０１，Ｓ１１０２は、上述した第２実施形態における図１０のＳ１００１，Ｓ１００２と同様に、撮影時の機器情報によるカメラ位置の初期状態に基づく全撮影画像の射影、および総合評価値算出を行う。
【００６０】
次にＳ１１０３で、初期状態に基づく射影によって得られる重複領域のうち、特徴的な領域を最大ｎ箇所選択する。なお、この重複領域選択処理の詳細については後述する。
【００６１】
そしてＳ１１０４で、Ｓ１１０３で選択した重複領域の誤差が最小になるような第１のパラメータを推定（第１の推定処理）し、Ｓ１１０５で、該推定された第１のパラメータによって、各撮影画像のカメラ位置を補正する。第３実施形態では第１のパラメータをカメラ傾きとするため、この段階で、撮影システムにおけるカメラ設置時の傾きが補正される。
【００６２】
次にＳ１１０６で、残りの誤差に対応する第２のパラメータ群の推定（第２の推定処理）を行い、Ｓ１１０７で該推定された第２のパラメータを各撮影画像のカメラ位置に反映する。そしてＳ１１０８において、各撮影画像をそのカメラ位置に応じて再構成平面へ射影し、結合画像を得る。
【００６３】
●重複領域選択処理
第３実施形態における第１のパラメータは、全ての撮影画像の重複領域を用いて推定するのではなく、一部の重複領域を選択して用いる。第１のパラメータは全ての撮影画像のカメラ位置に影響するため、できるだけ特徴的な領域を選択し、正しい推定結果を得る必要がある。例えば、エッジ強度が大きい方が誤差の推定が正しく行えるが、例えば被写体が掛け軸の表装のような繰り返しパターンであれば誤判定の原因になることから、第３実施形態では以下のような条件を満たす重複領域を優先して選択する。
【００６４】
1)エッジ強度が大きい
2)一つの重複領域内で検出されるエッジ数が少ない
3)所定以上の面積を持つ
ここで、上記Ｓ１１０３における重複領域の選択処理について、図１２のフローチャートを用いて説明する。まずＳ１２０１で、重複領域のうち所定サイズ以上の領域のみを抽出する。ここでは、幅、高さの両方が５０画素以上である重複領域を選択する例を示すが、重複領域のサイズを幅と高さで評価するのみならず、例えば画素数で評価しても良いことは言うまでも無い。なお、重複領域が一つも選択されなかった場合には、撮影画像が選択されるまで条件を変えて繰り返し試行しても良いし、選択されなかった場合には通常の処理（上記第１実施形態あるいは第２実施形態等）に切り替えても良い。
【００６５】
次にＳ１２０２で、Ｓ１２０１で選択した各重複領域について、エッジ検出処理を適用する。そしてＳ１２０３で、各重複領域のエッジ検出結果に基づき、それぞれのエッジ評価値Ｅiを算出する。このエッジ評価値Ｅiは以下の(1)式に示すように、エッジ強度Ｖと検出エッジ数Ｎによる関数として算出される。
【００６６】
Ｅi＝ｆ(Ｖ,Ｎ) ・・・(1)
第３実施形態では、エッジ評価値Ｅiを以下の(2)式のように定義する。
【００６７】
Ｅi＝Ｖ／Ｎ ・・・(2)
なお、第３実施形態におけるエッジ検出にはソーベルフィルタを用いるとする。この場合、まず、フィルタを適用して得た各画素のエッジ強度をソートして、上位１０％のエッジ強度値の平均値をエッジ強度Ｖとする。検出エッジ数Ｎを得る処理としては、例えばハフ変換を応用し、対象領域内の直線の数を得る方法が考えられる。しかしながら、エッジの数を算出する処理は比較的負荷が高いため、簡単のためにエッジ画素の割合で代用しても良く、例えば第３実施形態では、重複領域中のエッジ画素の割合として定義する。なお、エッジ画素であるか否かの判定は、所定のエッジ強度に対する閾値処理によって行うとする。
【００６８】
そしてＳ１２０４で、Ｓ１２０３で算出されたエッジ評価値によって各重複領域をソートし、Ｓ１２０５で該ソート結果の上位ｎ個、すなわち評価値の高い５つの重複領域を選択する。これにより、上記1)〜3)の条件を満たす重複領域が優先的に選択されることになる。第３実施形態ではｎ＝５とし、すなわち上位５位までの重複領域を用いて第１のパラメータの推定処理を実行する。
【００６９】
以上説明したように第３実施形態によれば、推定対象となるパラメータを２つの群に分けて処理することで、カメラ位置を高速に推定し、画像結合処理を実行することが可能となる。
【００７０】
＜第４実施形態＞
以下、本発明に係る第４実施形態について説明する。第４実施形態では、上述した第１〜第３実施形態で説明した方式を、分割撮影枚数によっていずれを適用するかを切り替えることを特徴とする。例えば、分割撮影数が水平方向にｎ枚以下で、かつ垂直方向にｎ枚以下である場合には第１実施形態の方法による画像結合を行い、そうでない場合は第２あるいは第３実施形態の方法による画像結合を行う、という処理が考えられる。ここで、例えばｎ＝３である。
【００７１】
第４実施形態における画像結合処理について、図１３のフローチャートを用いて説明する。以下、上述した第１実施形態のように、まず基準画像を設定し、これに近い撮影画像からカメラ位置の推定を行う処理を、局所最適化処理と称する。また第２実施形態のように、結合対象となる撮影画像全てのカメラ位置が最適になるように推定処理を行う方式を、全体最適化処理と称する。
【００７２】
まずＳ１３０１で、分割撮影の状態により、局所最適化処理を適用するか、全体最適化処理を適用するかを判定する。上述したように第４実施形態では、水平・垂直方向の分割撮影数によってこの判定を行うとし、例えば両方が３以下である場合にのみＳ１３０２へ進んで局所最適化処理を実行し、そうでない場合にはＳ１３０３へ進んで全体最適化処理を適用する。
【００７３】
以上説明したように第４実施形態によれば、分割撮影数に応じてカメラ位置の推定方法を変更することによって、より短時間で好適な結合画像を得ることが可能になる。
【００７４】
＜第５実施形態＞
以下、本発明に係る第５実施形態について説明する。上述した各実施形態では、レンズ収差補正による画質劣化を考慮せずに重複領域の誤差を評価する例を示した。一般にレンズ収差補正による画質劣化としては例えば、歪曲補正による局所的な拡大補間による解像度低下、周辺光量補正によるノイズ量増加などが挙げられる。特に、周辺光量補正は画像周辺部のゲインを上げる処理であるため、同時にノイズ成分も強調してしまい、エッジ検出や誤差の評価が正しく行えない可能性がある。同様に、パース補正処理を適用した場合にも画素毎に補間処理が適用されるため、解像度が変化した結果、画質が劣化してしまう場合がある。
【００７５】
このような画質劣化に対応するため、第５実施形態ではレンズ収差補正処理による画質劣化量を考慮した、誤差の評価関数を用いる。この評価関数により、大きく補正した画素の信頼度を下げることで、射影後画像間（結合用画像間）における重複領域の誤差を正しく評価できるようにする。具体的には、評価値の計算を行う場合に、単純なＭＳＥを用いるのではなく、レンズ収差補正量を変数として考慮した評価関数を用いる。
【００７６】
ここで図１４に、レンズ特性値の一例を示す。図１４(a)は歪曲特性であり、撮影画像上での像高と理想像高の差を示している。図中の破線は、像高と理想像高が一致する場合を示している。撮影画像上の像高に対応する理想像高が高い場合、その画素は局所的に拡大補間されることになり、したがって、理想像高と撮影画像上の像高の差が大きいほど解像度が低下することになる。逆に、理想像高が撮影画像上の像高よりも小さい場合には局所的に縮小処理されることになり、解像度は増大する。
【００７７】
また、図１４(b)は周辺光量特性であり、撮影画像上での像高に対するゲイン量を示している。図中の破線は、周辺光量補正による画素値のゲインアップが行われない場合を示している。ゲイン量に応じて画素値が大きくなるので、ゲインアップに応じてノイズ量も大きくなる。
【００７８】
一般にレンズ収差補正処理は、図１４に示したレンズ特性値に対し、補正量を加味することによって行われる。例えば、レンズ特性値に応じた値をそのまま補正する場合を補正量100とすると、補正量が50の場合、例えば歪曲補正であれば撮影上の像高と理想像高の中間を目標値とするような補正を適用する。したがって、第５実施形態における評価関数としては、レンズの特性値以外に、その収差の補正量を以下のように考慮する。
【００７９】
重複領域ｋの評価値をＥkとすると、第５実施形態における評価関数は、以下の(3)式のように示される。
【００８０】
Ｅk＝１/Ｍ×Σ{(Ｐ(i,j)-Ｓ(i,j))×(Ｐ(i,j)-Ｓ(i,j)/Ｌ(i,j))} ・・・(3)
(3)式において、ｉ，ｊは重複領域を構成する画素に対応する座標であり、Ｍは重複領域画素数である。また、Ｐ(i,j)は重複領域画素、Ｓ(i,j)は重複領域画素の平均値とする。また、Ｌ(i,j)はレンズ収差補正係数であり、以下の(4)式で表される。
【００８１】
Ｌ(i,j)＝α×(１+Ｄa/100×(Ｄ(i,j)-１))
×(１-α)(100+Ｖa/100×(Ｖ(i,j)-100))/100 ・・・(4)
(4)式において、αは歪曲補正と周辺光量補正の重みであり、値域は[0,1]とする。αの値が大きいほど、歪曲補正による画質劣化が重視される。また、Ｄaは歪曲補正適用量（％）、Ｖaは周辺光量補正適用量（％）であり、Ｖ(i,j)は座標(i,j)に対応する周辺光量補正特性値（ゲインアップ量（％））である。また、Ｄ(i,j)は歪曲補正特性値であり、座標(i,j)の像高をｌ、像高ｌの理想像高をＣ(l)とすると以下の(5)式で表せる。
【００８２】
Ｄ(i,j)＝Ｃ(l)／l ・・・(5)
第５実施形態では簡単のために、レンズ収差補正・パース補正処理のうち、歪曲補正と周辺光量補正を挙げて説明したが、これにパース補正や倍率色収差補正が加わっても良いことは言うまでも無い。特に倍率色収差補正は、ＲＧＢ信号のＧ信号の歪曲収差に対するＲとＢの倍率であるため、歪曲補正と同様の考え方で対応可能である。
【００８３】
以上説明したように第５実施形態によれば、重複領域の誤差評価においてレンズ特性値とレンズ収差補正量を考慮することで、重複領域の誤差評価をより適切に行い、画像結合処理結果の精度を向上させることが可能になる。
【００８４】
＜第５実施形態の変形例＞
上述した第５実施形態では、レンズ収差補正による画質劣化量を誤差の評価関数によって考慮し、対応する例を示したが、レンズの収差補正量に応じたフィルタを適用する方法も考えられる。このフィルタとしては以下の２つの種類が考えられる。
【００８５】
まず１つ目が、補正量に応じてぼかすようなフィルタである。周辺光量補正によるノイズの強調に対しては、このような方法が有効である。このようなフィルタを用いることで、レンズ収差補正処理による画質劣化に対応した重複領域の誤差評価が可能になり、より高精度な画像結合処理を実行することが可能になる。
【００８６】
次に２つ目が、画質劣化を復元するようなフィルタである。この場合、予め撮像光学系やレンズ収差補正による画質劣化特性をデータ化しておき、この画質劣化特性データに基づいて像を補正する。この画質劣化特性データは、例えば点像分布関数（ＰＳＦ；Point Spread Function）によって表すことができる。ＰＳＦは、点像がどのような広がりを持った像に写像されるかを示し、例えば暗黒下で体積が非常に小さい発光体を撮影した場合の像の二次元分布がＰＳＦに相当する。ＰＳＦを得るためには、必ずしも実際に点光源を撮影する必要はなく、レンズの設計データや補正処理内容から算出することが可能である。ＰＳＦを用いた補正処理では、サイズの大きい空間フィルタを適用する場合が多い。このような画質の劣化過程を考慮した補正処理を用いれば、単にレンズの収差補正による画質劣化に対応するだけでなく、光学系による解像度低下にも対応可能である。したがって画質劣化のない状態で重複領域の比較処理を行うことができ、より高精度な画像結合処理を実行することが可能になる。
【００８７】
＜他の実施形態＞
上述した第１〜第５実施形態では、全ての推定パラメータを独立に変化させてカメラ位置を推定する例を示した。しかしながら、ハードウェアの駆動精度を上げることで、演算量を削減することも可能である。例えば電動雲台にエンコーダを付加することで、雲台の回転方向を一定の精度で取得することが可能である。このような場合、推定するカメラの位置を定義するパラメータ数を、第１〜第５実施形態で説明したような３次元空間上の位置と各軸の回転方向による６パラメータから削減することが可能になる。すなわちこの場合、カメラの向きを示す雲台の方向ベクトルとそのノルム（撮影距離）によって、カメラの３次元空間上の位置を表現することができる。そして、このときに推定するパラメータは、撮影距離とカメラの姿勢を示すヨー、ピッチ、ロールの全４パラメータとなる。ここで第１実施形態のように、各パラメータを±100段階で変化させて総当りで最適解を探索すると仮定した場合、６パラメータの場合は64兆回の評価値演算を行う必要があるが、４パラメータの場合であればこれを16億回にまで削減することが可能になる。実際には総当りではなく、焼きなまし法や山登り法を使った探索を行うのが現実的であるが、この場合でも一回の誤差評価計算の演算量を大幅に低減することが可能になる。
【００８８】
このように、撮影システムのハードウェア構成に一定の機能を付加することで、推定パラメータ数を削減し、処理を高速化することが可能である。特に、回転方向を限定することで、３次元空間上の位置を方向ベクトルとノルムに分解し、ノルムの推定だけを行うことで最適解の探索が可能になる。
【００８９】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
撮像装置が備える撮影レンズの画角よりも大きい被写体に対し、該撮像装置による撮影方向を変えながら複数回の撮影を行うことによって得られる複数枚の撮影画像から、該被写体全体の画像を得る画像処理装置であって、
前記複数枚の撮影画像のうち、基準画像を設定する基準画像の設定手段と、
前記基準画像を含む注目撮影画像に対し、位置情報に応じたレンズ収差補正およびパース補正を施して結合用画像を生成する補正手段と、
前記基準画像以外の注目撮影画像の結合用画像と、該結合用画像に隣接する既生成の結合用画像との重複領域における画素値の差分を示す情報を、前記注目撮影画像の評価値として算出する評価値算出手段と、
前記基準画像以外の注目撮影画像の撮影時における前記被写体に対する前記撮像装置の位置および撮影方向を示す前記位置情報を初期値として該位置情報を予め定められた範囲で更新しながら、前記補正手段によって該位置情報に応じたレンズ収差補正およびパース補正を行った際に前記評価値算出手段で算出される評価値が最小となる位置情報を探索し、該探索された位置情報を前記注目撮影画像の最適位置情報とする位置推定手段と、
前記基準画像以外の注目撮影画像について、前記補正手段で前記最適位置情報に応じたレンズ収差補正およびパース補正を施して生成された結合用画像を、該結合用画像に隣接する既生成の結合用画像と結合する結合手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記基準画像の設定手段は、前記複数枚の撮影画像のうち撮影距離が最小である撮影画像を前記基準画像として設定し、
前記位置推定手段は、前記基準画像に近い撮影画像から順次、前記最適位置情報を推定していくことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
撮像装置が備える撮影レンズの画角よりも大きい被写体に対し、該撮像装置による撮影方向を変えながら複数回の撮影を行うことによって得られる複数枚の撮影画像から該被写体全体の画像を得る画像処理装置であって、
前記複数枚の撮影画像のそれぞれに対し、位置情報に応じたレンズ収差補正およびパース補正を施して結合用画像を生成する補正手段と、
前記複数枚の撮影画像のそれぞれの結合用画像と、それに隣接する結合用画像との重複領域における画素値の差分を示す情報を前記撮影画像それぞれの評価値として算出し、全ての撮影画像についての該評価値の平均を総合評価値として算出する総合評価値算出手段と、
前記複数枚の撮影画像のそれぞれの撮影時の前記被写体に対する前記撮像装置の位置および撮影方向を示す前記位置情報を初期値として該位置情報を予め定められた探索条件にしたがって更新しながら、前記総合評価値が最小となる位置情報を探索し、該探索された位置情報を前記撮影画像それぞれの最適位置情報とする位置推定手段と、
前記複数枚の撮影画像のそれぞれについて、前記補正手段で前記最適位置情報に応じた補正を施して生成された結合用画像を、それに隣接する結合用画像と結合する結合手段と、
を有することを特徴とする画像処理装置。
【請求項４】
前記撮像装置は電動雲台に載置され、
前記位置推定手段は、前記電動雲台の制御情報および前記撮像装置の撮影時設定より取得される前記位置情報を初期値として、前記最適位置情報を推定することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記補正手段は前記パース補正として、前記レンズ収差補正が施された画像を、仮想空間に配置し、さらに該仮想空間上に仮定した仮想平面へ射影することで前記結合用画像を生成し、
前記位置情報は、前記撮像装置の前記仮想空間上での位置と、該仮想空間の各軸に対する回転方向を示す６パラメータによって定義されることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記位置情報は、前記電動雲台の方向ベクトルと撮影距離を示す４パラメータによって定義されることを特徴とする請求項４に記載の画像処理装置。
【請求項７】
前記位置推定手段は、
前記位置情報を定義する複数のパラメータのうち、その値が前記複数の撮影画像の全てに共通する第１のパラメータを推定する第１の推定手段と、
前記位置情報を定義する複数のパラメータのうち、その値が前記複数の撮影画像のそれぞれで異なる第２のパラメータを推定する第２の推定手段と、を有し、
前記第１の推定手段は、前記複数の撮影画像の全てに対する前記結合用画像における重複領域の一部を用いて、前記第１のパラメータを推定することを特徴とする請求項５または６に記載の画像処理装置。
【請求項８】
前記第１の推定手段は、前記重複領域におけるエッジ強度が高い順に、前記第１のパラメータの推定に用いる重複領域を選択することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記評価値算出手段は、隣接する結合用画像間の重複領域における、前記画素値の差分を示す情報と、前記補正手段によるレンズ収差補正に起因して生じる画質劣化量を示す情報を変数とする関数を用いて、前記評価値を算出することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
【請求項１０】
撮像装置が備える撮影レンズの画角よりも大きい被写体に対し、該撮像装置による撮影方向を変えながら複数回の撮影を行うことによって得られる複数枚の撮影画像から、該被写体全体の画像を得る画像処理方法であって、
前記複数枚の撮影画像のうち、基準画像を設定する基準画像の設定ステップと、
前記基準画像を含む注目撮影画像に対し、位置情報に応じたレンズ収差補正およびパース補正を施して結合用画像を生成する補正ステップと、
前記基準画像以外の注目撮影画像の結合用画像と、該結合用画像に隣接する既生成の結合用画像との重複領域における画素値の差分を示す情報を、前記注目撮影画像の評価値として算出する評価値算出ステップと、
前記基準画像以外の注目撮影画像の撮影時における前記被写体に対する前記撮像装置の位置および撮影方向を示す前記位置情報を初期値として該位置情報を予め定められた範囲で更新しながら、前記補正ステップにおいて該位置情報に応じたレンズ収差補正およびパース補正を行った際に前記評価値算出ステップにおいて算出される評価値が最小となる位置情報を探索し、該探索された位置情報を前記注目撮影画像の最適位置情報とする位置推定ステップと、
前記基準画像以外の注目撮影画像について、前記補正ステップにおいて前記最適位置情報に応じたレンズ収差補正およびパース補正を施して生成された結合用画像を、該結合用画像に隣接する既生成の結合用画像と結合する結合ステップと、
を有することを特徴とする画像処理方法。
【請求項１１】
撮像装置が備える撮影レンズの画角よりも大きい被写体に対し、該撮像装置による撮影方向を変えながら複数回の撮影を行うことによって得られる複数枚の撮影画像から該被写体全体の画像を得る画像処理方法であって、
前記複数枚の撮影画像のそれぞれに対し、位置情報に応じたレンズ収差補正およびパース補正を施して結合用画像を生成する補正ステップと、
前記複数枚の撮影画像のそれぞれの結合用画像と、それに隣接する結合用画像との重複領域における画素値の差分を示す情報を前記撮影画像それぞれの評価値として算出し、全ての撮影画像についての該評価値の平均を総合評価値として算出する総合評価値算出ステップと、
前記複数枚の撮影画像のそれぞれの撮影時の前記被写体に対する前記撮像装置の位置および撮影方向を示す前記位置情報を初期値として該位置情報を予め定められた探索条件にしたがって更新しながら、前記総合評価値が最小となる位置情報を探索し、該探索された位置情報を前記撮影画像それぞれの最適位置情報とする位置推定ステップと、
前記複数枚の撮影画像のそれぞれについて、前記補正ステップにおいて前記最適位置情報に応じた補正を施して生成された結合用画像を、それに隣接する結合用画像と結合する結合ステップと、
を有することを特徴とする画像処理方法。
【請求項１２】
コンピュータに、請求項１０または１１に記載の画像処理方法の各ステップを実行させるためプログラム。
【請求項１】
撮像装置が備える撮影レンズの画角よりも大きい被写体に対し、該撮像装置による撮影方向を変えながら複数回の撮影を行うことによって得られる複数枚の撮影画像から、該被写体全体の画像を得る画像処理装置であって、
前記複数枚の撮影画像のうち、基準画像を設定する基準画像の設定手段と、
前記基準画像を含む注目撮影画像に対し、位置情報に応じたレンズ収差補正およびパース補正を施して結合用画像を生成する補正手段と、
前記基準画像以外の注目撮影画像の結合用画像と、該結合用画像に隣接する既生成の結合用画像との重複領域における画素値の差分を示す情報を、前記注目撮影画像の評価値として算出する評価値算出手段と、
前記基準画像以外の注目撮影画像の撮影時における前記被写体に対する前記撮像装置の位置および撮影方向を示す前記位置情報を初期値として該位置情報を予め定められた範囲で更新しながら、前記補正手段によって該位置情報に応じたレンズ収差補正およびパース補正を行った際に前記評価値算出手段で算出される評価値が最小となる位置情報を探索し、該探索された位置情報を前記注目撮影画像の最適位置情報とする位置推定手段と、
前記基準画像以外の注目撮影画像について、前記補正手段で前記最適位置情報に応じたレンズ収差補正およびパース補正を施して生成された結合用画像を、該結合用画像に隣接する既生成の結合用画像と結合する結合手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記基準画像の設定手段は、前記複数枚の撮影画像のうち撮影距離が最小である撮影画像を前記基準画像として設定し、
前記位置推定手段は、前記基準画像に近い撮影画像から順次、前記最適位置情報を推定していくことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
撮像装置が備える撮影レンズの画角よりも大きい被写体に対し、該撮像装置による撮影方向を変えながら複数回の撮影を行うことによって得られる複数枚の撮影画像から該被写体全体の画像を得る画像処理装置であって、
前記複数枚の撮影画像のそれぞれに対し、位置情報に応じたレンズ収差補正およびパース補正を施して結合用画像を生成する補正手段と、
前記複数枚の撮影画像のそれぞれの結合用画像と、それに隣接する結合用画像との重複領域における画素値の差分を示す情報を前記撮影画像それぞれの評価値として算出し、全ての撮影画像についての該評価値の平均を総合評価値として算出する総合評価値算出手段と、
前記複数枚の撮影画像のそれぞれの撮影時の前記被写体に対する前記撮像装置の位置および撮影方向を示す前記位置情報を初期値として該位置情報を予め定められた探索条件にしたがって更新しながら、前記総合評価値が最小となる位置情報を探索し、該探索された位置情報を前記撮影画像それぞれの最適位置情報とする位置推定手段と、
前記複数枚の撮影画像のそれぞれについて、前記補正手段で前記最適位置情報に応じた補正を施して生成された結合用画像を、それに隣接する結合用画像と結合する結合手段と、
を有することを特徴とする画像処理装置。
【請求項４】
前記撮像装置は電動雲台に載置され、
前記位置推定手段は、前記電動雲台の制御情報および前記撮像装置の撮影時設定より取得される前記位置情報を初期値として、前記最適位置情報を推定することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記補正手段は前記パース補正として、前記レンズ収差補正が施された画像を、仮想空間に配置し、さらに該仮想空間上に仮定した仮想平面へ射影することで前記結合用画像を生成し、
前記位置情報は、前記撮像装置の前記仮想空間上での位置と、該仮想空間の各軸に対する回転方向を示す６パラメータによって定義されることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記位置情報は、前記電動雲台の方向ベクトルと撮影距離を示す４パラメータによって定義されることを特徴とする請求項４に記載の画像処理装置。
【請求項７】
前記位置推定手段は、
前記位置情報を定義する複数のパラメータのうち、その値が前記複数の撮影画像の全てに共通する第１のパラメータを推定する第１の推定手段と、
前記位置情報を定義する複数のパラメータのうち、その値が前記複数の撮影画像のそれぞれで異なる第２のパラメータを推定する第２の推定手段と、を有し、
前記第１の推定手段は、前記複数の撮影画像の全てに対する前記結合用画像における重複領域の一部を用いて、前記第１のパラメータを推定することを特徴とする請求項５または６に記載の画像処理装置。
【請求項８】
前記第１の推定手段は、前記重複領域におけるエッジ強度が高い順に、前記第１のパラメータの推定に用いる重複領域を選択することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記評価値算出手段は、隣接する結合用画像間の重複領域における、前記画素値の差分を示す情報と、前記補正手段によるレンズ収差補正に起因して生じる画質劣化量を示す情報を変数とする関数を用いて、前記評価値を算出することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
【請求項１０】
撮像装置が備える撮影レンズの画角よりも大きい被写体に対し、該撮像装置による撮影方向を変えながら複数回の撮影を行うことによって得られる複数枚の撮影画像から、該被写体全体の画像を得る画像処理方法であって、
前記複数枚の撮影画像のうち、基準画像を設定する基準画像の設定ステップと、
前記基準画像を含む注目撮影画像に対し、位置情報に応じたレンズ収差補正およびパース補正を施して結合用画像を生成する補正ステップと、
前記基準画像以外の注目撮影画像の結合用画像と、該結合用画像に隣接する既生成の結合用画像との重複領域における画素値の差分を示す情報を、前記注目撮影画像の評価値として算出する評価値算出ステップと、
前記基準画像以外の注目撮影画像の撮影時における前記被写体に対する前記撮像装置の位置および撮影方向を示す前記位置情報を初期値として該位置情報を予め定められた範囲で更新しながら、前記補正ステップにおいて該位置情報に応じたレンズ収差補正およびパース補正を行った際に前記評価値算出ステップにおいて算出される評価値が最小となる位置情報を探索し、該探索された位置情報を前記注目撮影画像の最適位置情報とする位置推定ステップと、
前記基準画像以外の注目撮影画像について、前記補正ステップにおいて前記最適位置情報に応じたレンズ収差補正およびパース補正を施して生成された結合用画像を、該結合用画像に隣接する既生成の結合用画像と結合する結合ステップと、
を有することを特徴とする画像処理方法。
【請求項１１】
撮像装置が備える撮影レンズの画角よりも大きい被写体に対し、該撮像装置による撮影方向を変えながら複数回の撮影を行うことによって得られる複数枚の撮影画像から該被写体全体の画像を得る画像処理方法であって、
前記複数枚の撮影画像のそれぞれに対し、位置情報に応じたレンズ収差補正およびパース補正を施して結合用画像を生成する補正ステップと、
前記複数枚の撮影画像のそれぞれの結合用画像と、それに隣接する結合用画像との重複領域における画素値の差分を示す情報を前記撮影画像それぞれの評価値として算出し、全ての撮影画像についての該評価値の平均を総合評価値として算出する総合評価値算出ステップと、
前記複数枚の撮影画像のそれぞれの撮影時の前記被写体に対する前記撮像装置の位置および撮影方向を示す前記位置情報を初期値として該位置情報を予め定められた探索条件にしたがって更新しながら、前記総合評価値が最小となる位置情報を探索し、該探索された位置情報を前記撮影画像それぞれの最適位置情報とする位置推定ステップと、
前記複数枚の撮影画像のそれぞれについて、前記補正ステップにおいて前記最適位置情報に応じた補正を施して生成された結合用画像を、それに隣接する結合用画像と結合する結合ステップと、
を有することを特徴とする画像処理方法。
【請求項１２】
コンピュータに、請求項１０または１１に記載の画像処理方法の各ステップを実行させるためプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１１−１３９３６７（Ｐ２０１１−１３９３６７Ａ）
【公開日】平成２３年７月１４日（２０１１．７．１４）
【国際特許分類】
【出願番号】特願２００９−２９８８２３（Ｐ２００９−２９８８２３）
【出願日】平成２１年１２月２８日（２００９．１２．２８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２３年７月１４日（２０１１．７．１４）
【国際特許分類】
【出願日】平成２１年１２月２８日（２００９．１２．２８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]