撮像装置の制御装置および制御方法
【課題】大きい被写体に対し電動雲台を使った分割撮影を行う際に、従来は必要以上に重複領域を持たせて撮影していたため、撮影のカット数に無駄が生じてしまう。
【解決手段】まず、隣接する撮影画像間における重複領域の目標サイズを設定する（Ｓ５０３）。そして、分割撮影した各撮影画像に対し、設定された撮影座標での撮影が行われた際に得られる撮影画像の範囲を取得し（Ｓ５０８）、該撮影範囲に対し、結合用のレンズ収差補正およびパース補正を施してその形状を変形する（Ｓ５０９，Ｓ５１０）。そして、該変形後の撮影範囲において隣接する撮影範囲との重複領域のサイズを算出し（Ｓ５１１）、該重複領域のサイズが目標サイズとなるように、撮影座標を設定する（Ｓ５１２）。これにより、最小限のカット数による分割撮影が可能となる。
【解決手段】まず、隣接する撮影画像間における重複領域の目標サイズを設定する（Ｓ５０３）。そして、分割撮影した各撮影画像に対し、設定された撮影座標での撮影が行われた際に得られる撮影画像の範囲を取得し（Ｓ５０８）、該撮影範囲に対し、結合用のレンズ収差補正およびパース補正を施してその形状を変形する（Ｓ５０９，Ｓ５１０）。そして、該変形後の撮影範囲において隣接する撮影範囲との重複領域のサイズを算出し（Ｓ５１１）、該重複領域のサイズが目標サイズとなるように、撮影座標を設定する（Ｓ５１２）。これにより、最小限のカット数による分割撮影が可能となる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影レンズの画角に比べて大きい被写体に対する複数回の撮影を行うことによって、該被写体全体の撮影画像を得る撮像装置の制御装置および制御方法に関する。
【背景技術】
【０００２】
従来、三脚とカメラの間に装着し、上部に設置されたカメラを電動で一定角度回転させるための装置として、電動雲台が知られている。これは、例えばパノラマ画像を撮影するための撮影補助具として用いられる。電動雲台は所定の角度で回転を行うため、人間がカメラを手持ちで任意の角度振りながら撮影するよりも、精度よく撮影することが可能となる。この電動雲台を使用した技術としては、電動雲台とカメラの両方を制御し、自動でパノラマ画像を撮影する技術（例えば特許文献１）が知られている。
【０００３】
このように、電動雲台を利用した複数回の撮影（分割撮影）により取得した複数枚の撮影画像から１枚のパノラマ画像を生成するためには、これら複数枚の撮影画像を結合する必要がある。そのため、各々の撮影画像は隣接画像と重複領域を持つように撮影され、隣接画像と位置合わせをした後でブレンド処理を行うことで結合処理が行われる。この位置合わせは、例えば、重複領域において画素ごとの平均二乗誤差を求め、それが最小となるように２枚の画像の位置を合わせる処理である。また、撮影画像はレンズ収差による誤差を含み、さらに撮影位置によってパースがかかった画像となる。そのため、画像結合時にはこのレンズ収差やパースによる誤差を補正する処理を実行した上で隣接画像との位置合わせが行われる。しかし、このレンズ収差補正やパース補正によって、画像のサイズや形は変化してしまうため、重複領域の大きさも変化することになる。従来はこの画像変形量は未知として扱っていたため、結合時に十分な重複領域が確保できるように、予め重複領域を必要以上に大きくとって分割撮影が行われてきた。
【０００４】
一方、絵画や屏風等の美術品を、電動雲台とデジタルカメラを使って分割撮影し、結合することで、超高解像度の画像データとしてアーカイブするシステムや、この画像データをプリントすることによって美術品の複製を得るシステムが注目されている。このようなシステムでは、ストロボ光などの照明等の影響による美術品の劣化等を考慮し、なるべく少ないカット数で撮影を行うことが望まれる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１１−２９５７８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記従来の電動雲台を使った分割撮影では、必要以上に重複領域を持たせて撮影していたため、撮影のカット数に無駄が生じてしまう。また、もしも逆に重複領域が小さすぎた場合には、レンズ収差補正やパース補正で生じる画像変形によって、画像結合処理に十分な重複領域が確保できなくなり、画像結合処理ができなくなってしまうという問題があった。
【０００７】
本発明は上述した問題を解決するためになされたものであり、以下のような機能を有する撮像装置の制御装置および制御方法を提供することを目的とする。すなわち、撮像装置が被写体の分割撮影を行う際に、それぞれの撮影画像の結合時にその重複領域のサイズが必要十分となるように、それぞれの撮影方向を適切に設定する。
【課題を解決するための手段】
【０００８】
上記目的を達成するための一手段として、本発明の制御装置は以下の構成を備える。
【０００９】
すなわち、撮像装置が備える撮影レンズの画角よりも大きい被写体に対し、該撮像装置による撮影方向を変えながら複数回の撮影を行って、その全部で該被写体全体を示す複数毎の撮影画像を得るように該撮像装置を制御する制御装置であって、前記複数枚の撮影画像のうち、前記撮像装置の基準撮影方向において撮影される撮影画像を基準画像として設定する基準画像の設定手段と、隣接する撮影画像間における重複領域の目標サイズを設定する目標サイズの設定手段と、前記基準画像を含む注目撮影画像について、前記撮像装置に設定される撮影方向において前記被写体の撮影が行われる際に得られる該被写体上の撮影範囲を取得する撮影範囲の取得手段と、前記基準画像を含む注目撮影画像の前記撮影範囲内の画像に対し、前記被写体に対する前記撮像装置の位置および撮影方向に基づくレンズ収差補正およびパース補正を施した際に得られる、変形した該撮影範囲の形状を、前記注目撮影画像の変形後撮影範囲として取得する変形後撮影範囲の取得手段と、前記基準画像以外の注目撮影画像の変形後撮影範囲と、該変形後撮影範囲に隣接する、既に撮影方向が決定している撮影画像の変形後撮影範囲とが重複する重複領域のサイズを算出する重複サイズの算出手段と、前記基準画像以外の注目撮影画像の撮影方向を、前記注目撮影画像の変形後撮影範囲が、それに隣接する、既に撮影方向が決定している撮影画像の変形後撮影範囲と重複する範囲で更新しながら、前記撮影範囲の取得手段、前記変形後撮影範囲の取得手段、および前記重複サイズの算出手段を介して得られる前記重複領域のサイズが前記目標サイズを満たす撮影方向を探索し、該撮影方向を前記注目撮影画像の最適撮影方向とする撮影方向の設定手段と、を有し、前記複数枚の撮影画像のそれぞれは、前記撮像装置により、前記撮影方向の設定手段で設定されたそれぞれの最適撮影方向において撮影されることを特徴とする。
【発明の効果】
【００１０】
上記構成からなる本発明によれば、撮像装置が被写体の分割撮影を行う際に、それぞれの撮影画像の結合時にその重複領域のサイズが必要十分となるように、それぞれの撮影方向を適切に設定することができる。したがって、該被写体に対して最小限のカット数による分割撮影が可能となる。
【図面の簡単な説明】
【００１１】
【図１】第１実施形態における撮影システムの構成を示す図、
【図２】第１実施形態における撮影システムの詳細構成を示す図、
【図３】第１実施形態における画像結合処理の概要を示す図、
【図４】第１実施形態における射影後画像と重複領域の一例を示した図、
【図５】第１実施形態における撮影座標決定処理を示すフローチャート、
【図６】第１実施形態における撮影座標決定処理の適用順の一例を示した図、
【図７】第１実施形態における撮影処理を示すフローチャート、
【図８】第１実施形態における重複領域の変化の様子を示した図、
【図９】第２実施形態における撮影座標決定処理を示すフローチャート、
【図１０】第２実施形態における撮影範囲と有効領域の関係を示す図、である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施の形態は特許請求の範囲に関る本発明を限定するものではなく、また、本実施の形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
【００１３】
＜第１実施形態＞
●装置構成
図１は、本実施形態における撮影システムの構成を示す図である。図１において、１０１は本実施形態における撮像装置本体であるカメラ、１０２は電動雲台である。カメラ１０１が電動雲台１０２に載置されることによって、電動雲台１０２の回転によりカメラ１０１本体をパン（ＰＡＮ）、チルト（ＴＩＬＴ）させて対象物を撮影する。１０３はカメラ１０１の動作、および電動雲台１０２の回転動作を制御する撮像制御装置（以下、制御部）である。制御部１０３はまた、カメラ１０１で撮影して得られた画像群を結合処理し、超高解像度画像を生成する画像処理装置としても機能する。１０４は、撮影対象となる被写体であり、幅Ｗ、高さＨの大きさからなり、カメラ１０１から距離Ｌの位置に設置されている。
【００１４】
図２に、図１に示した撮影システムの詳細構成を示す。まずカメラ１０１において、２０１は撮影光学系レンズ、２０２は結像した光学像を光電変換する撮像素子（ＣＣＤ等）である。２０３は撮像された電気信号に所定の処理を行うための信号処理部、２０４は信号処理された画像を記憶するための記憶部である。２０５は撮像された画像または記憶された画像を表示するための表示部（ＬＣＤ等）、２０６はカメラの動作を制御するカメラ制御部、２０７はユーザ指示が入力されるカメラ操作部である。次に電動雲台１０２において、２０８は電動雲台１０２を回転制御するためのステッピングモータ、２０９はモータドライバ、２１０はステッピングモータ２０８の回転動作を制御する雲台制御部である。次に制御部１０３において、２１１はホスト制御部（ホストコンピュータ）である。２１２はカメラ１０１への撮影指示や電動雲台１０２の回転角度を指定するためのユーザ指示が入力されるホスト操作部、２１３はホスト制御部２１１における情報を表示するためのモニタである。また、２１４はカメラ１０１と制御部１０３を繋ぐ通信ラインであり、２１５は電動雲台１０２と制御部１０３を繋ぐ通信ラインである。これらの通信ライン２１４，２１５を通して、制御部１０３からカメラ１０１や電動雲台１０２へ制御信号を送ることで、これら装置の動作制御が行われる。なお、通信ラインは有線でも無線でも構わない。
【００１５】
カメラ１０１において、撮影光学系レンズ２０１により撮像素子２０２上に結像した光学像は、信号処理部２０３で信号処理され、表示部２０５に表示される。カメラ操作部２０７によりシャッター操作が行われるか、ホスト制御部２１１よりシャッターコマンドが送られてくると、カメラ制御部２０６は現在撮像されている画像を記憶部２０４に記憶させる。また、雲台制御部２１０は、ホスト制御部２１１より回転動作のコマンドが送られてくると、これに従い回転を行う。
【００１６】
本実施形態では、説明を簡単にするため被写体１０４に歪みはなく、地面に対して垂直に設置されているものとする。また、電動雲台１０２のパンとチルトの角度がゼロの位置（ホームポジション）においてはカメラ１０１と被写体１０４は正対し、その際カメラの画角中心は被写体中心を捉えているものとして説明を行う。
【００１７】
●画像結合処理
本実施形態においては、カメラ１０１が備える撮影レンズの画角に比べて大きい被写体に対し、カメラ１０１の撮影方向を変えながら複数回の撮影（分割撮影）を行って、その全部で該被写体全体を示す複数毎の撮影画像を得る。このとき、全ての撮影画像が隣接する撮影画像と重複するように、電動雲台１０２を制御する。
【００１８】
この分割撮影を行うにあたって、まずは撮影方向の決定を行う。以下、本実施形態では、カメラ１０１による撮影方向を「撮影座標」と称し、この撮影座標は電動雲台１０２のパンとチルトの角度で表現される。そして次に、決定された撮影座標において撮影を行い、撮影画像を取得する。そして、全ての撮影画像を結合して、被写体全体の高解像度の画像を生成する。以下、これらの処理について詳細に説明する。
【００１９】
まず、図３を用いて本実施形態における結合処理の概要について説明する。なお、本実施形態では説明を簡単にするために、被写体が絵画のように平面で近似できるものであるとし、被写体を近似した面を被写体面と称する。例えば風景等、撮影距離が非常に大きい被写体についてはそのまま平面として扱うことができるため、本実施形態による手法をそのまま適用することができる。また、予め被写体の形状が分かっている場合には、該形状に合わせた被写体面を構成することで、本実施形態による手法を適用することが可能である。
【００２０】
被写体を平面であると仮定した場合、図３(a)に示すように、ある３次元空間上（仮想空間上）に被写体を想定した被写体面を設定し、該被写体面上に撮影画像をマッピングすることで画像配置がなされる。図３(a)には、同３次元空間上に、被写体面と平行な仮想平面である再構成平面が仮定されている。詳細は後述するが、本実施形態では被写体面上の画像を再構成平面上（仮想平面上）に射影することによって、結合時のずれ量を算出する。なお、被写体面と再構成平面は必ずしも平行でなくても良い。
【００２１】
図３(b)は、図３(a)に示す３次元空間をｚ軸方向から見た図を示している。なお、被写体面上に配置される画像の被写体面との角度は、撮影時のカメラ位置によって決まる。以下、図３(b)を用いて本実施形態における結合処理の原理を説明する。例えば、図中(A)の位置から撮影を行った場合、ファインダ中心にピントが合うように撮影すると、撮影レンズの画角に基づいて仮想ピント面Ｆaを設定することができる。ここで、仮想ピント面Ｆaはカメラによってピントを合わせた平面であり、カメラ位置から被写体を見た光景のうち、仮想ピント面Ｆaを含む領域が撮影画像に写り込むことになる。この場合、(A)の位置にあるカメラは被写体面に正対していないため、被写体面において実際に写る範囲は撮影範囲Ｒaの部分となる。
【００２２】
そこで本実施形態では再構成平面を用いて、分割撮影した１枚の画像に対し、その撮影方向に基づいて、被写体から無限遠の位置、かつ視線方向を再構成平面に正対した方向とするような視点からの被写体像を得る、所謂パース補正処理を施す。以降、このようにパース補正が施された画像を射影後画像と称する。本実施形態では、この射影後画像の複数枚を並べることで、最終的な結合画像を得る。
【００２３】
例えば説明を簡単にするためにレンズによる歪みが無いと仮定した場合、再構成平面上の点Ｐa'の画素値は、位置(A)のカメラと被写体との距離や撮影時の画角から、被写体面上の点Ｐaの画素値となる。なお、撮影データはデジタル化されたビットマップデータであるから、点Ｐaの座標が整数値にならない場合には近傍画素を補間して画素値を算出する。ここでカメラが図中(B)の位置にある場合など、カメラの使用ＡＦフレームが画像の中心にない場合には、ＡＦフレームが被写体上に配置されるように、仮想ピント面Ｆaを設定する。
【００２４】
図４に、以上のようにして得られた射影後画像群（1〜15）の一例を示す。射影後画像間には重複領域が生じるが、この重複領域に対して所定のブレンド処理を施すことで、画像間の境界部分に違和感の無い結合画像を得ることが可能になる。
【００２５】
●撮影座標決定処理
上記射影後画像間の重複領域の大きさ（重複量）は、被写体面における撮影画像間の重複領域の大きさとは異なる。なぜなら、射影後画像は撮影画像に対してレンズ収差補正を適用し、さらにパース補正用の射影を行うことで得られるため、元の撮影画像とは画像のサイズや形が異なるためである。したがって、ブレンド処理の内容に応じた最適な射影後画像間の重複領域を得るためには、レンズ収差補正やパース補正によって生じる画像変形を考慮する必要がある。そして、射影後画像間の重複領域の大きさが目的の大きさとなるように、被写体面における撮影画像間の重複領域、つまり撮影時の重複領域を調整する必要がある。本実施形態ではそのために、レンズ収差補正とパース補正を適用した射影後画像間の重複領域の大きさを予め計算しておき、それが設定値となるように撮影座標を決定することを特徴とする。以下、本実施形態における撮影座標決定処理について詳細に説明する。
【００２６】
本実施形態においては、電動雲台１０２のホームポジションにおいて撮影される画像を基準画像とし、その基準画像に近い順に撮影座標を決定していく。例えば、図６は図４と同様の射影後画像群を示したものであるが、該画像群において画像８を基準画像とした場合、各画像の中心が近い順に画像が選択、処理される例を示している。すなわち基準画像８に対し、画像７、画像９、画像１１、画像５、画像１０、画像１２、・・・の順で撮影座標を決定する。もちろん、これ以外の順番で撮影座標を決めても良く、例えば図６における画像１を基準として、画像２、画像３、画像４、画像５、・・・とラスタスキャンするように決定していく方法も考えられる。ただし、決定順がどのような順番であっても、画像の撮影座標は少なくとも他の１枚以上の画像と隣接するように決定する必要がある。
【００２７】
以下、図５に示すフローチャートを用いて、本実施形態における撮影座標決定処理について詳細に説明する。なお、本実施形態における撮影座標決定処理は、制御部１０３のホスト制御部２１１において所定のアプリケーションが実行されることによって制御されるが、同等の処理を行うハードウェア構成を設けても良い。
【００２８】
まずＳ５０１で、撮影対象となる被写体１０４の幅Ｗと高さＨをホスト操作部２１２より入力し、Ｓ５０２で、カメラ１０１から被写体１０４までの距離Ｌをホスト操作部２１２より入力する。そしてＳ５０３で、画像結合処理に対して必要十分である射影後画像間の重複領域の目標サイズｍを、ホスト操作部２１２より入力する。ここで入力される重複領域の目標サイズｍとは、重複領域の画素数や、画像サイズに対する重複領域の割合等であり、予め設定されているとする。また、目標サイズｍとして、所定の幅を持たせて設定しても良い。次にＳ５０４で、カメラ１０１とレンズ２０１において予め設定されている、例えば撮影距離やレンズ特性等の各種情報を取得する。ここで取得された各情報は、後述する撮影範囲の算出やレンズ収差補正の際に利用される。
【００２９】
次にＳ５０５で、電動雲台１０２をホームポジションへ移動し、該ホームポジションにおいて撮影される基準画像の撮影座標（基準撮影方向）を決定する。上述したように、この撮影座標は電動雲台１０２のパンとチルトの角度で表現されるため、基準画像の撮影座標は雲台のパンとチルトの角度がいずれも０度で示される座標となる。ここで、基準画像について後述するＳ５０８〜Ｓ５１０と同様に、その撮影座標に基づく射影後画像の撮影範囲（形状）を求めておく。これは、本処理では基準画像以外の各射影後画像について、既に撮影座標が決定された射影後画像の範囲との重複サイズを用いて、撮影座標の最適化を行うためである。
【００３０】
次にＳ５０６〜Ｓ５１６において、被写体を分割撮影することによって得られる複数毎の撮影画像のそれぞれに対し、撮影座標を決定するためのループ処理を行う。まずＳ５０６で、ループ処理のインデックスｉを０に初期化した後、Ｓ５０７でｉ番目の注目撮影画像に対する撮影座標の初期値を設定する。ここで設定される撮影座標としては、注目撮影画像が、それに隣接する、既に決定された撮影座標による撮影画像と重複領域を持つように、適当な値を初期値として設定すれば良い。例えば、図４における画像１０の撮影座標の初期値としては、画像７および画像１１と重複領域を持つように設定する。本実施形態では、注目撮影画像ごとに、収束演算により最終的な撮影座標を決定するため、この初期値は収束速度に影響を与える。
【００３１】
次にＳ５０８で、カメラ情報、レンズ情報、被写体までの距離Ｌ、および被写体のサイズ（幅Ｗ，高さＨ）、の各情報に基づいて、現在設定されている撮影座標において撮影を行った場合に、カメラ１０１で取得される被写体の撮影範囲を計算する。以下、ここで算出される撮影範囲を第１の撮影範囲とする。
【００３２】
ここで図８に、本実施形態における重複領域の変化の様子を示す。Ｓ５０８までの処理によって、図８に示す＜撮影範囲＞の状態が形成される。すなわち、隣接画像に対して例えばＳ５０７で設定した撮影座標に応じた重複領域を持つように、第１の撮影範囲が算出される。
【００３３】
次にＳ５０９で、Ｓ５０８で算出された第１の撮影範囲に対してレンズ収差補正を適用した際に、第１の撮影範囲がどのように変形するかを算出し、これを第２の撮影範囲とする。本実施形態では、代表的な撮影距離および撮影座標による撮影画像に対して、各種レンズ特性に基づくレンズ収差補正を施した場合に、該撮影画像がどのように変形するかを予め計算しておき、該収差補正後の変形量を示すテーブルとして保持しておく。したがってＳ５０９では、Ｓ５０４で取得したカメラ１０１およびレンズ２０１の情報に基づいて該テーブルを参照することで、第１の撮影範囲に対する第２の撮影範囲を算出する。この処理により、図８に示す＜レンズ収差補正後の撮影範囲＞の状態が形成され、第１の撮影範囲から第２の撮影範囲へのレンズ収差補正によって、注目撮影画像における重複領域のサイズが変化していることが分かる。これは、特に歪曲収差の影響によるものであり、糸巻き型、樽型といった歪の形によって、収差補正後の画像（撮影範囲）のサイズは拡大・縮小される。
【００３４】
次にＳ５１０で、Ｓ５０９で更新された第２の撮影範囲に対してさらに、設定された撮影座標に応じたパース補正を適用することで、第２の撮影範囲を更新して第３の撮影範囲を得る。このパース補正についても上記レンズ収差補正と同様に、代表的な撮影距離および撮影座標で撮影された撮影画像に対するパース補正後の変形量を予め保持したテーブルを参照することによって行う。ここで得られた第３の撮影範囲（変形後撮影範囲）が、射影後画像に相当する被写体の撮影範囲となる。この処理により、図８に示す＜射影後の撮影範囲＞の状態が形成され、第２の撮影範囲から第３の撮影範囲へのパース補正によって、重複領域のサイズや形状が変化していることが分かる。
【００３５】
次にＳ５１１で、Ｓ５１０で得られた第３の撮影範囲と、既に撮影座標が決定された隣接画像の射影後画像に相当する撮影範囲との重複領域について、そのサイズｍ'を算出する。このサイズｍ'としては、目標サイズｍと同様に、例えば撮影範囲間の重複領域における画素数として算出すれば良い。
【００３６】
そしてＳ５１２で、Ｓ５０３で設定した重複領域の目標サイズｍと、Ｓ５１１で算出された重複領域のサイズｍ'を比較する。ｍとｍ'が等しければＳ５１４に進み、その時点で設定されている撮影座標を、ｉ番目の撮影範囲に対する最適撮影座標（最適撮影方向）として確定し、該最適撮影座標をホスト制御部２１１内にある不図示の記憶装置に記憶した後、Ｓ５１５へ進む。一方、ｍとｍ'が等しくなければＳ５１３へ進み、撮影座標の更新を行ってＳ５０８に戻る。
【００３７】
なおＳ５１３では、ｍ＜ｍ'であれば隣接画像との重複が小さくなる方向に撮影座標を更新し、逆にｍ＞ｍ'であれば隣接画像との重複が大きくなる方向に撮影座標を更新する。このように、撮影座標の更新に二分法のような探索方法を適用することで、更新処理の繰り返し回数を削減することができる。なお、Ｓ５１２ではｍとｍ'が等しいか否かを判定する例を示したが、ｍとｍ'の差分が所定の閾値以下であれば、これらが等しいと判定するようにしても良い。また、ｍが所定幅を有して設定されている場合には、ｍ'が該範囲内にあるか否かを判定すれば良い。
【００３８】
そしてＳ５１５で、本処理の終了条件として、これまでに決定した最適撮影座標による撮影範囲によって、被写体１０４の全体が包括されているか否かを判定する。包括されていれば処理を終了するが、包括されていなければＳ５１６へ進んでインデックスｉをインクリメントした後に、次の撮影範囲を示す最適撮影座標を決定するためにＳ５０７へ戻る。
【００３９】
●撮影処理
本実施形態では、上述した撮影座標決定処理によって決定された最適撮影座標に基づいて撮影を行う。以下、図７のフローチャートを用いて、本実施形態における撮影処理について説明する。
【００４０】
まずＳ７０１でホスト制御部２１１が、不図示の記憶装置に記憶された最適撮影座標（回転角度）を１つ読み出す。そしてＳ７０２で、該最適撮影座標が示す電動雲台の回転角度を回転動作のコマンドと共に、通信ライン２１５を介して雲台制御部２１０へ送信する。そしてＳ７０３で、雲台制御部２１０は、モータドライバ２０９によりステッピングモータ２０８を駆動し、受信した回転角度だけ電動雲台１０２を回転する。そしてＳ７０４でホスト制御部２１１は、シャッターコマンドを通信ライン２１４を介してカメラ制御部２０６へ送信する。
【００４１】
するとＳ７０５でカメラ制御部２０６は、シャッターコマンドを受信するとカメラ１０１のシャッターを切り、撮影を行う。ここで撮影された画像（注目撮影画像）は、カメラ１０１内の記憶部２０４に記憶される。そしてＳ７０６で、カメラ制御部２０６は、記憶部２０４に記憶された注目撮影画像を通信ライン２１４を介してホスト制御部２１１内の記憶装置へ転送する。
【００４２】
そしてＳ７０７で、ホスト制御部２１１の記憶装置に記憶された全ての最適撮影座標についての撮影が終了したか否かを判定する。撮影が終了していればそのまま処理を終了するが、未終了であればＳ７０１へと戻り、次の最適撮影座標についての撮影処理を継続する。
【００４３】
以上説明したように本実施形態によれば、撮影画像にレンズ収差やパースによる誤差が含まれ、画像結合時に画像変形が生じるという条件下において、レンズ収差補正やパース補正による画像変形量を予め計算する。そして、該変形量に応じて画像結合処理に必要十分な重複領域を算出し、各撮影画像が結合時に該重複領域を保つように、各撮影座標を決定する。これにより、各射影後画像が画像結合処理に必要十分な重複領域を持つように撮影されるため、被写体に対する撮影カット数を必要最小限に留めることができる。
【００４４】
なお、本実施形態では、撮影座標決定処理と撮影処理とを分けて実行する例を示したが、これらを組み合わせて実行する、すなわち、撮影座標を決めながら撮影処理を行うようにしても良い。また、重複領域のサイズを全ての撮影画像に対して一定とする例を示したが、重複領域のサイズは必ずしも全て同じである必要はなく、例えば被写体における撮影位置に応じて、重複領域のサイズを変化させるように設定しても良い。
【００４５】
＜第２実施形態＞
以下、本発明に係る第２実施形態について説明する。上述した第１実施形態では、撮影画像にレンズ収差やパースによる誤差が含まれる条件下において、射影後画像が画像結合処理に必要十分な重複領域を持つように撮影座標を決定する方法について説明した。第２実施形態では、さらにレンズ収差補正やパース補正によって生じる画質劣化まで考慮して撮影座標を決定する方法について説明する。
【００４６】
一般にレンズ収差補正を行うと、補正後の画像の周辺部は中央部に比べて画質が劣化してしまう。また、パース補正によれば、補正前の画像に対して補間処理を行うことで補正後の画像が生成されるため、補正前の画像の画像中心から離れるほど補間処理の影響が大きくなり、やはり画質は劣化してしまう。なお、ここでいう画質とは、例えば先鋭度や階調性等である。第２実施形態では、このような画質劣化を考慮するために、撮影範囲内で所定の画質を満たす有効領域を抽出し、該有効領域間の重複に基づいて撮影座標の決定を行うことを特徴とする。
【００４７】
●撮影座標決定処理
以下、図９に示すフローチャートを用いて、第２実施形態における撮影座標決定処理のについて詳細に説明する。なお、図９のフローチャートは、上述した第１実施形態の図５に示すフローチャートに対し、Ｓ９０１，Ｓ９０２，Ｓ９０３を追加したものである。したがって、図５と共通する処理については説明を省略する。
【００４８】
Ｓ９０１では、Ｓ５０９で得られるレンズ収差補正後の第２の撮影範囲から、規定の画質を満たす領域を第１の有効領域として抽出する。例えば、レンズの特性値から画像中の位置に応じた画質の劣化度合いを予め求めておき、その劣化度合いが一定値未満となるような領域を、第１の有効領域とする。
【００４９】
ここで図１０に、第２実施形態における撮影範囲と有効領域の関係を示す。Ｓ９０１の処理により、図１０における＜レンズ収差補正後の有効領域＞の状態が形成され、第２の撮影範囲から、レンズ収差補正による劣化の大きい部分を除くことによって、第１の有効領域が抽出される。
【００５０】
Ｓ９０２では、Ｓ５１０で得られるパース補正後の第３の撮影範囲から、規定の画質を満たす領域を第２の有効領域として抽出する。例えば、撮影画像の画像中心に相当する位置からの距離が一定値以下となるような領域を、第２の有効領域とする。この処理により、図１０における＜射影後の有効領域＞の状態が形成され、第２の有効領域は、パース補正された第１の有効領域内から抽出されることが分かる。
【００５１】
そしてＳ９０３では、Ｓ９０２で抽出された第２の有効領域と、すでに最適撮影座標が決定されている隣接画像に対する第２の有効領域との重複部分のサイズｍ'を算出する。
【００５２】
第２実施形態においても上述した第１実施形態と同様に、以上の撮影座標決定処理によって決定された最適撮影座標に基づいて撮影を行い、該撮影された全ての画像を結合して、１枚の高解像度画像を生成する。ただし、第２実施形態においては、射影後画像として第２の有効領域のみを使用する。これにより、予め定められた画質を満たした結合画像を得ることが可能となる。
【００５３】
以上説明したように第２実施形態によれば、上述した第１実施形態に対し、さらに結合画像が一定の画質を満たすように、各撮影画像に対する撮影座標を決定することができる。これにより、一定の画質を保証しながら、撮影のカット数を必要最小限に留めることができる。
【００５４】
＜その他の実施形態＞
上述した第１および第２実施形態では、電動雲台へのカメラの取り付け精度については特に言及していないが、カメラの取り付け時の誤差まで考慮して撮影座標を決定するようにしても良い。電動雲台にカメラを取り付ける際には、雲台のホームポジションにおいてカメラが水平に設置されていることが理想である。しかしながら、実際にはカメラの取り付け精度の影響により、カメラが多少回転した状態で取り付けられるなどの誤差が含まれることが想定される。そこで、例えば、カメラに予めジャイロおよび加速度センサを備えておき、それらから得られる電動雲台上でのカメラの姿勢情報を用いて、隣接画像との重複領域の計算を行って、撮影座標を決定しても良い。また、センサ等の使用ができない場合には、カメラがどの程度の誤差を含んで設置されるかを予め情報として持っておき、その誤差が発生した場合であっても、設定された、すなわち最小限の重複領域のサイズが保てるように、撮影座標を決定しても良い。
【００５５】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、撮影レンズの画角に比べて大きい被写体に対する複数回の撮影を行うことによって、該被写体全体の撮影画像を得る撮像装置の制御装置および制御方法に関する。
【背景技術】
【０００２】
従来、三脚とカメラの間に装着し、上部に設置されたカメラを電動で一定角度回転させるための装置として、電動雲台が知られている。これは、例えばパノラマ画像を撮影するための撮影補助具として用いられる。電動雲台は所定の角度で回転を行うため、人間がカメラを手持ちで任意の角度振りながら撮影するよりも、精度よく撮影することが可能となる。この電動雲台を使用した技術としては、電動雲台とカメラの両方を制御し、自動でパノラマ画像を撮影する技術（例えば特許文献１）が知られている。
【０００３】
このように、電動雲台を利用した複数回の撮影（分割撮影）により取得した複数枚の撮影画像から１枚のパノラマ画像を生成するためには、これら複数枚の撮影画像を結合する必要がある。そのため、各々の撮影画像は隣接画像と重複領域を持つように撮影され、隣接画像と位置合わせをした後でブレンド処理を行うことで結合処理が行われる。この位置合わせは、例えば、重複領域において画素ごとの平均二乗誤差を求め、それが最小となるように２枚の画像の位置を合わせる処理である。また、撮影画像はレンズ収差による誤差を含み、さらに撮影位置によってパースがかかった画像となる。そのため、画像結合時にはこのレンズ収差やパースによる誤差を補正する処理を実行した上で隣接画像との位置合わせが行われる。しかし、このレンズ収差補正やパース補正によって、画像のサイズや形は変化してしまうため、重複領域の大きさも変化することになる。従来はこの画像変形量は未知として扱っていたため、結合時に十分な重複領域が確保できるように、予め重複領域を必要以上に大きくとって分割撮影が行われてきた。
【０００４】
一方、絵画や屏風等の美術品を、電動雲台とデジタルカメラを使って分割撮影し、結合することで、超高解像度の画像データとしてアーカイブするシステムや、この画像データをプリントすることによって美術品の複製を得るシステムが注目されている。このようなシステムでは、ストロボ光などの照明等の影響による美術品の劣化等を考慮し、なるべく少ないカット数で撮影を行うことが望まれる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１１−２９５７８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記従来の電動雲台を使った分割撮影では、必要以上に重複領域を持たせて撮影していたため、撮影のカット数に無駄が生じてしまう。また、もしも逆に重複領域が小さすぎた場合には、レンズ収差補正やパース補正で生じる画像変形によって、画像結合処理に十分な重複領域が確保できなくなり、画像結合処理ができなくなってしまうという問題があった。
【０００７】
本発明は上述した問題を解決するためになされたものであり、以下のような機能を有する撮像装置の制御装置および制御方法を提供することを目的とする。すなわち、撮像装置が被写体の分割撮影を行う際に、それぞれの撮影画像の結合時にその重複領域のサイズが必要十分となるように、それぞれの撮影方向を適切に設定する。
【課題を解決するための手段】
【０００８】
上記目的を達成するための一手段として、本発明の制御装置は以下の構成を備える。
【０００９】
すなわち、撮像装置が備える撮影レンズの画角よりも大きい被写体に対し、該撮像装置による撮影方向を変えながら複数回の撮影を行って、その全部で該被写体全体を示す複数毎の撮影画像を得るように該撮像装置を制御する制御装置であって、前記複数枚の撮影画像のうち、前記撮像装置の基準撮影方向において撮影される撮影画像を基準画像として設定する基準画像の設定手段と、隣接する撮影画像間における重複領域の目標サイズを設定する目標サイズの設定手段と、前記基準画像を含む注目撮影画像について、前記撮像装置に設定される撮影方向において前記被写体の撮影が行われる際に得られる該被写体上の撮影範囲を取得する撮影範囲の取得手段と、前記基準画像を含む注目撮影画像の前記撮影範囲内の画像に対し、前記被写体に対する前記撮像装置の位置および撮影方向に基づくレンズ収差補正およびパース補正を施した際に得られる、変形した該撮影範囲の形状を、前記注目撮影画像の変形後撮影範囲として取得する変形後撮影範囲の取得手段と、前記基準画像以外の注目撮影画像の変形後撮影範囲と、該変形後撮影範囲に隣接する、既に撮影方向が決定している撮影画像の変形後撮影範囲とが重複する重複領域のサイズを算出する重複サイズの算出手段と、前記基準画像以外の注目撮影画像の撮影方向を、前記注目撮影画像の変形後撮影範囲が、それに隣接する、既に撮影方向が決定している撮影画像の変形後撮影範囲と重複する範囲で更新しながら、前記撮影範囲の取得手段、前記変形後撮影範囲の取得手段、および前記重複サイズの算出手段を介して得られる前記重複領域のサイズが前記目標サイズを満たす撮影方向を探索し、該撮影方向を前記注目撮影画像の最適撮影方向とする撮影方向の設定手段と、を有し、前記複数枚の撮影画像のそれぞれは、前記撮像装置により、前記撮影方向の設定手段で設定されたそれぞれの最適撮影方向において撮影されることを特徴とする。
【発明の効果】
【００１０】
上記構成からなる本発明によれば、撮像装置が被写体の分割撮影を行う際に、それぞれの撮影画像の結合時にその重複領域のサイズが必要十分となるように、それぞれの撮影方向を適切に設定することができる。したがって、該被写体に対して最小限のカット数による分割撮影が可能となる。
【図面の簡単な説明】
【００１１】
【図１】第１実施形態における撮影システムの構成を示す図、
【図２】第１実施形態における撮影システムの詳細構成を示す図、
【図３】第１実施形態における画像結合処理の概要を示す図、
【図４】第１実施形態における射影後画像と重複領域の一例を示した図、
【図５】第１実施形態における撮影座標決定処理を示すフローチャート、
【図６】第１実施形態における撮影座標決定処理の適用順の一例を示した図、
【図７】第１実施形態における撮影処理を示すフローチャート、
【図８】第１実施形態における重複領域の変化の様子を示した図、
【図９】第２実施形態における撮影座標決定処理を示すフローチャート、
【図１０】第２実施形態における撮影範囲と有効領域の関係を示す図、である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施の形態は特許請求の範囲に関る本発明を限定するものではなく、また、本実施の形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
【００１３】
＜第１実施形態＞
●装置構成
図１は、本実施形態における撮影システムの構成を示す図である。図１において、１０１は本実施形態における撮像装置本体であるカメラ、１０２は電動雲台である。カメラ１０１が電動雲台１０２に載置されることによって、電動雲台１０２の回転によりカメラ１０１本体をパン（ＰＡＮ）、チルト（ＴＩＬＴ）させて対象物を撮影する。１０３はカメラ１０１の動作、および電動雲台１０２の回転動作を制御する撮像制御装置（以下、制御部）である。制御部１０３はまた、カメラ１０１で撮影して得られた画像群を結合処理し、超高解像度画像を生成する画像処理装置としても機能する。１０４は、撮影対象となる被写体であり、幅Ｗ、高さＨの大きさからなり、カメラ１０１から距離Ｌの位置に設置されている。
【００１４】
図２に、図１に示した撮影システムの詳細構成を示す。まずカメラ１０１において、２０１は撮影光学系レンズ、２０２は結像した光学像を光電変換する撮像素子（ＣＣＤ等）である。２０３は撮像された電気信号に所定の処理を行うための信号処理部、２０４は信号処理された画像を記憶するための記憶部である。２０５は撮像された画像または記憶された画像を表示するための表示部（ＬＣＤ等）、２０６はカメラの動作を制御するカメラ制御部、２０７はユーザ指示が入力されるカメラ操作部である。次に電動雲台１０２において、２０８は電動雲台１０２を回転制御するためのステッピングモータ、２０９はモータドライバ、２１０はステッピングモータ２０８の回転動作を制御する雲台制御部である。次に制御部１０３において、２１１はホスト制御部（ホストコンピュータ）である。２１２はカメラ１０１への撮影指示や電動雲台１０２の回転角度を指定するためのユーザ指示が入力されるホスト操作部、２１３はホスト制御部２１１における情報を表示するためのモニタである。また、２１４はカメラ１０１と制御部１０３を繋ぐ通信ラインであり、２１５は電動雲台１０２と制御部１０３を繋ぐ通信ラインである。これらの通信ライン２１４，２１５を通して、制御部１０３からカメラ１０１や電動雲台１０２へ制御信号を送ることで、これら装置の動作制御が行われる。なお、通信ラインは有線でも無線でも構わない。
【００１５】
カメラ１０１において、撮影光学系レンズ２０１により撮像素子２０２上に結像した光学像は、信号処理部２０３で信号処理され、表示部２０５に表示される。カメラ操作部２０７によりシャッター操作が行われるか、ホスト制御部２１１よりシャッターコマンドが送られてくると、カメラ制御部２０６は現在撮像されている画像を記憶部２０４に記憶させる。また、雲台制御部２１０は、ホスト制御部２１１より回転動作のコマンドが送られてくると、これに従い回転を行う。
【００１６】
本実施形態では、説明を簡単にするため被写体１０４に歪みはなく、地面に対して垂直に設置されているものとする。また、電動雲台１０２のパンとチルトの角度がゼロの位置（ホームポジション）においてはカメラ１０１と被写体１０４は正対し、その際カメラの画角中心は被写体中心を捉えているものとして説明を行う。
【００１７】
●画像結合処理
本実施形態においては、カメラ１０１が備える撮影レンズの画角に比べて大きい被写体に対し、カメラ１０１の撮影方向を変えながら複数回の撮影（分割撮影）を行って、その全部で該被写体全体を示す複数毎の撮影画像を得る。このとき、全ての撮影画像が隣接する撮影画像と重複するように、電動雲台１０２を制御する。
【００１８】
この分割撮影を行うにあたって、まずは撮影方向の決定を行う。以下、本実施形態では、カメラ１０１による撮影方向を「撮影座標」と称し、この撮影座標は電動雲台１０２のパンとチルトの角度で表現される。そして次に、決定された撮影座標において撮影を行い、撮影画像を取得する。そして、全ての撮影画像を結合して、被写体全体の高解像度の画像を生成する。以下、これらの処理について詳細に説明する。
【００１９】
まず、図３を用いて本実施形態における結合処理の概要について説明する。なお、本実施形態では説明を簡単にするために、被写体が絵画のように平面で近似できるものであるとし、被写体を近似した面を被写体面と称する。例えば風景等、撮影距離が非常に大きい被写体についてはそのまま平面として扱うことができるため、本実施形態による手法をそのまま適用することができる。また、予め被写体の形状が分かっている場合には、該形状に合わせた被写体面を構成することで、本実施形態による手法を適用することが可能である。
【００２０】
被写体を平面であると仮定した場合、図３(a)に示すように、ある３次元空間上（仮想空間上）に被写体を想定した被写体面を設定し、該被写体面上に撮影画像をマッピングすることで画像配置がなされる。図３(a)には、同３次元空間上に、被写体面と平行な仮想平面である再構成平面が仮定されている。詳細は後述するが、本実施形態では被写体面上の画像を再構成平面上（仮想平面上）に射影することによって、結合時のずれ量を算出する。なお、被写体面と再構成平面は必ずしも平行でなくても良い。
【００２１】
図３(b)は、図３(a)に示す３次元空間をｚ軸方向から見た図を示している。なお、被写体面上に配置される画像の被写体面との角度は、撮影時のカメラ位置によって決まる。以下、図３(b)を用いて本実施形態における結合処理の原理を説明する。例えば、図中(A)の位置から撮影を行った場合、ファインダ中心にピントが合うように撮影すると、撮影レンズの画角に基づいて仮想ピント面Ｆaを設定することができる。ここで、仮想ピント面Ｆaはカメラによってピントを合わせた平面であり、カメラ位置から被写体を見た光景のうち、仮想ピント面Ｆaを含む領域が撮影画像に写り込むことになる。この場合、(A)の位置にあるカメラは被写体面に正対していないため、被写体面において実際に写る範囲は撮影範囲Ｒaの部分となる。
【００２２】
そこで本実施形態では再構成平面を用いて、分割撮影した１枚の画像に対し、その撮影方向に基づいて、被写体から無限遠の位置、かつ視線方向を再構成平面に正対した方向とするような視点からの被写体像を得る、所謂パース補正処理を施す。以降、このようにパース補正が施された画像を射影後画像と称する。本実施形態では、この射影後画像の複数枚を並べることで、最終的な結合画像を得る。
【００２３】
例えば説明を簡単にするためにレンズによる歪みが無いと仮定した場合、再構成平面上の点Ｐa'の画素値は、位置(A)のカメラと被写体との距離や撮影時の画角から、被写体面上の点Ｐaの画素値となる。なお、撮影データはデジタル化されたビットマップデータであるから、点Ｐaの座標が整数値にならない場合には近傍画素を補間して画素値を算出する。ここでカメラが図中(B)の位置にある場合など、カメラの使用ＡＦフレームが画像の中心にない場合には、ＡＦフレームが被写体上に配置されるように、仮想ピント面Ｆaを設定する。
【００２４】
図４に、以上のようにして得られた射影後画像群（1〜15）の一例を示す。射影後画像間には重複領域が生じるが、この重複領域に対して所定のブレンド処理を施すことで、画像間の境界部分に違和感の無い結合画像を得ることが可能になる。
【００２５】
●撮影座標決定処理
上記射影後画像間の重複領域の大きさ（重複量）は、被写体面における撮影画像間の重複領域の大きさとは異なる。なぜなら、射影後画像は撮影画像に対してレンズ収差補正を適用し、さらにパース補正用の射影を行うことで得られるため、元の撮影画像とは画像のサイズや形が異なるためである。したがって、ブレンド処理の内容に応じた最適な射影後画像間の重複領域を得るためには、レンズ収差補正やパース補正によって生じる画像変形を考慮する必要がある。そして、射影後画像間の重複領域の大きさが目的の大きさとなるように、被写体面における撮影画像間の重複領域、つまり撮影時の重複領域を調整する必要がある。本実施形態ではそのために、レンズ収差補正とパース補正を適用した射影後画像間の重複領域の大きさを予め計算しておき、それが設定値となるように撮影座標を決定することを特徴とする。以下、本実施形態における撮影座標決定処理について詳細に説明する。
【００２６】
本実施形態においては、電動雲台１０２のホームポジションにおいて撮影される画像を基準画像とし、その基準画像に近い順に撮影座標を決定していく。例えば、図６は図４と同様の射影後画像群を示したものであるが、該画像群において画像８を基準画像とした場合、各画像の中心が近い順に画像が選択、処理される例を示している。すなわち基準画像８に対し、画像７、画像９、画像１１、画像５、画像１０、画像１２、・・・の順で撮影座標を決定する。もちろん、これ以外の順番で撮影座標を決めても良く、例えば図６における画像１を基準として、画像２、画像３、画像４、画像５、・・・とラスタスキャンするように決定していく方法も考えられる。ただし、決定順がどのような順番であっても、画像の撮影座標は少なくとも他の１枚以上の画像と隣接するように決定する必要がある。
【００２７】
以下、図５に示すフローチャートを用いて、本実施形態における撮影座標決定処理について詳細に説明する。なお、本実施形態における撮影座標決定処理は、制御部１０３のホスト制御部２１１において所定のアプリケーションが実行されることによって制御されるが、同等の処理を行うハードウェア構成を設けても良い。
【００２８】
まずＳ５０１で、撮影対象となる被写体１０４の幅Ｗと高さＨをホスト操作部２１２より入力し、Ｓ５０２で、カメラ１０１から被写体１０４までの距離Ｌをホスト操作部２１２より入力する。そしてＳ５０３で、画像結合処理に対して必要十分である射影後画像間の重複領域の目標サイズｍを、ホスト操作部２１２より入力する。ここで入力される重複領域の目標サイズｍとは、重複領域の画素数や、画像サイズに対する重複領域の割合等であり、予め設定されているとする。また、目標サイズｍとして、所定の幅を持たせて設定しても良い。次にＳ５０４で、カメラ１０１とレンズ２０１において予め設定されている、例えば撮影距離やレンズ特性等の各種情報を取得する。ここで取得された各情報は、後述する撮影範囲の算出やレンズ収差補正の際に利用される。
【００２９】
次にＳ５０５で、電動雲台１０２をホームポジションへ移動し、該ホームポジションにおいて撮影される基準画像の撮影座標（基準撮影方向）を決定する。上述したように、この撮影座標は電動雲台１０２のパンとチルトの角度で表現されるため、基準画像の撮影座標は雲台のパンとチルトの角度がいずれも０度で示される座標となる。ここで、基準画像について後述するＳ５０８〜Ｓ５１０と同様に、その撮影座標に基づく射影後画像の撮影範囲（形状）を求めておく。これは、本処理では基準画像以外の各射影後画像について、既に撮影座標が決定された射影後画像の範囲との重複サイズを用いて、撮影座標の最適化を行うためである。
【００３０】
次にＳ５０６〜Ｓ５１６において、被写体を分割撮影することによって得られる複数毎の撮影画像のそれぞれに対し、撮影座標を決定するためのループ処理を行う。まずＳ５０６で、ループ処理のインデックスｉを０に初期化した後、Ｓ５０７でｉ番目の注目撮影画像に対する撮影座標の初期値を設定する。ここで設定される撮影座標としては、注目撮影画像が、それに隣接する、既に決定された撮影座標による撮影画像と重複領域を持つように、適当な値を初期値として設定すれば良い。例えば、図４における画像１０の撮影座標の初期値としては、画像７および画像１１と重複領域を持つように設定する。本実施形態では、注目撮影画像ごとに、収束演算により最終的な撮影座標を決定するため、この初期値は収束速度に影響を与える。
【００３１】
次にＳ５０８で、カメラ情報、レンズ情報、被写体までの距離Ｌ、および被写体のサイズ（幅Ｗ，高さＨ）、の各情報に基づいて、現在設定されている撮影座標において撮影を行った場合に、カメラ１０１で取得される被写体の撮影範囲を計算する。以下、ここで算出される撮影範囲を第１の撮影範囲とする。
【００３２】
ここで図８に、本実施形態における重複領域の変化の様子を示す。Ｓ５０８までの処理によって、図８に示す＜撮影範囲＞の状態が形成される。すなわち、隣接画像に対して例えばＳ５０７で設定した撮影座標に応じた重複領域を持つように、第１の撮影範囲が算出される。
【００３３】
次にＳ５０９で、Ｓ５０８で算出された第１の撮影範囲に対してレンズ収差補正を適用した際に、第１の撮影範囲がどのように変形するかを算出し、これを第２の撮影範囲とする。本実施形態では、代表的な撮影距離および撮影座標による撮影画像に対して、各種レンズ特性に基づくレンズ収差補正を施した場合に、該撮影画像がどのように変形するかを予め計算しておき、該収差補正後の変形量を示すテーブルとして保持しておく。したがってＳ５０９では、Ｓ５０４で取得したカメラ１０１およびレンズ２０１の情報に基づいて該テーブルを参照することで、第１の撮影範囲に対する第２の撮影範囲を算出する。この処理により、図８に示す＜レンズ収差補正後の撮影範囲＞の状態が形成され、第１の撮影範囲から第２の撮影範囲へのレンズ収差補正によって、注目撮影画像における重複領域のサイズが変化していることが分かる。これは、特に歪曲収差の影響によるものであり、糸巻き型、樽型といった歪の形によって、収差補正後の画像（撮影範囲）のサイズは拡大・縮小される。
【００３４】
次にＳ５１０で、Ｓ５０９で更新された第２の撮影範囲に対してさらに、設定された撮影座標に応じたパース補正を適用することで、第２の撮影範囲を更新して第３の撮影範囲を得る。このパース補正についても上記レンズ収差補正と同様に、代表的な撮影距離および撮影座標で撮影された撮影画像に対するパース補正後の変形量を予め保持したテーブルを参照することによって行う。ここで得られた第３の撮影範囲（変形後撮影範囲）が、射影後画像に相当する被写体の撮影範囲となる。この処理により、図８に示す＜射影後の撮影範囲＞の状態が形成され、第２の撮影範囲から第３の撮影範囲へのパース補正によって、重複領域のサイズや形状が変化していることが分かる。
【００３５】
次にＳ５１１で、Ｓ５１０で得られた第３の撮影範囲と、既に撮影座標が決定された隣接画像の射影後画像に相当する撮影範囲との重複領域について、そのサイズｍ'を算出する。このサイズｍ'としては、目標サイズｍと同様に、例えば撮影範囲間の重複領域における画素数として算出すれば良い。
【００３６】
そしてＳ５１２で、Ｓ５０３で設定した重複領域の目標サイズｍと、Ｓ５１１で算出された重複領域のサイズｍ'を比較する。ｍとｍ'が等しければＳ５１４に進み、その時点で設定されている撮影座標を、ｉ番目の撮影範囲に対する最適撮影座標（最適撮影方向）として確定し、該最適撮影座標をホスト制御部２１１内にある不図示の記憶装置に記憶した後、Ｓ５１５へ進む。一方、ｍとｍ'が等しくなければＳ５１３へ進み、撮影座標の更新を行ってＳ５０８に戻る。
【００３７】
なおＳ５１３では、ｍ＜ｍ'であれば隣接画像との重複が小さくなる方向に撮影座標を更新し、逆にｍ＞ｍ'であれば隣接画像との重複が大きくなる方向に撮影座標を更新する。このように、撮影座標の更新に二分法のような探索方法を適用することで、更新処理の繰り返し回数を削減することができる。なお、Ｓ５１２ではｍとｍ'が等しいか否かを判定する例を示したが、ｍとｍ'の差分が所定の閾値以下であれば、これらが等しいと判定するようにしても良い。また、ｍが所定幅を有して設定されている場合には、ｍ'が該範囲内にあるか否かを判定すれば良い。
【００３８】
そしてＳ５１５で、本処理の終了条件として、これまでに決定した最適撮影座標による撮影範囲によって、被写体１０４の全体が包括されているか否かを判定する。包括されていれば処理を終了するが、包括されていなければＳ５１６へ進んでインデックスｉをインクリメントした後に、次の撮影範囲を示す最適撮影座標を決定するためにＳ５０７へ戻る。
【００３９】
●撮影処理
本実施形態では、上述した撮影座標決定処理によって決定された最適撮影座標に基づいて撮影を行う。以下、図７のフローチャートを用いて、本実施形態における撮影処理について説明する。
【００４０】
まずＳ７０１でホスト制御部２１１が、不図示の記憶装置に記憶された最適撮影座標（回転角度）を１つ読み出す。そしてＳ７０２で、該最適撮影座標が示す電動雲台の回転角度を回転動作のコマンドと共に、通信ライン２１５を介して雲台制御部２１０へ送信する。そしてＳ７０３で、雲台制御部２１０は、モータドライバ２０９によりステッピングモータ２０８を駆動し、受信した回転角度だけ電動雲台１０２を回転する。そしてＳ７０４でホスト制御部２１１は、シャッターコマンドを通信ライン２１４を介してカメラ制御部２０６へ送信する。
【００４１】
するとＳ７０５でカメラ制御部２０６は、シャッターコマンドを受信するとカメラ１０１のシャッターを切り、撮影を行う。ここで撮影された画像（注目撮影画像）は、カメラ１０１内の記憶部２０４に記憶される。そしてＳ７０６で、カメラ制御部２０６は、記憶部２０４に記憶された注目撮影画像を通信ライン２１４を介してホスト制御部２１１内の記憶装置へ転送する。
【００４２】
そしてＳ７０７で、ホスト制御部２１１の記憶装置に記憶された全ての最適撮影座標についての撮影が終了したか否かを判定する。撮影が終了していればそのまま処理を終了するが、未終了であればＳ７０１へと戻り、次の最適撮影座標についての撮影処理を継続する。
【００４３】
以上説明したように本実施形態によれば、撮影画像にレンズ収差やパースによる誤差が含まれ、画像結合時に画像変形が生じるという条件下において、レンズ収差補正やパース補正による画像変形量を予め計算する。そして、該変形量に応じて画像結合処理に必要十分な重複領域を算出し、各撮影画像が結合時に該重複領域を保つように、各撮影座標を決定する。これにより、各射影後画像が画像結合処理に必要十分な重複領域を持つように撮影されるため、被写体に対する撮影カット数を必要最小限に留めることができる。
【００４４】
なお、本実施形態では、撮影座標決定処理と撮影処理とを分けて実行する例を示したが、これらを組み合わせて実行する、すなわち、撮影座標を決めながら撮影処理を行うようにしても良い。また、重複領域のサイズを全ての撮影画像に対して一定とする例を示したが、重複領域のサイズは必ずしも全て同じである必要はなく、例えば被写体における撮影位置に応じて、重複領域のサイズを変化させるように設定しても良い。
【００４５】
＜第２実施形態＞
以下、本発明に係る第２実施形態について説明する。上述した第１実施形態では、撮影画像にレンズ収差やパースによる誤差が含まれる条件下において、射影後画像が画像結合処理に必要十分な重複領域を持つように撮影座標を決定する方法について説明した。第２実施形態では、さらにレンズ収差補正やパース補正によって生じる画質劣化まで考慮して撮影座標を決定する方法について説明する。
【００４６】
一般にレンズ収差補正を行うと、補正後の画像の周辺部は中央部に比べて画質が劣化してしまう。また、パース補正によれば、補正前の画像に対して補間処理を行うことで補正後の画像が生成されるため、補正前の画像の画像中心から離れるほど補間処理の影響が大きくなり、やはり画質は劣化してしまう。なお、ここでいう画質とは、例えば先鋭度や階調性等である。第２実施形態では、このような画質劣化を考慮するために、撮影範囲内で所定の画質を満たす有効領域を抽出し、該有効領域間の重複に基づいて撮影座標の決定を行うことを特徴とする。
【００４７】
●撮影座標決定処理
以下、図９に示すフローチャートを用いて、第２実施形態における撮影座標決定処理のについて詳細に説明する。なお、図９のフローチャートは、上述した第１実施形態の図５に示すフローチャートに対し、Ｓ９０１，Ｓ９０２，Ｓ９０３を追加したものである。したがって、図５と共通する処理については説明を省略する。
【００４８】
Ｓ９０１では、Ｓ５０９で得られるレンズ収差補正後の第２の撮影範囲から、規定の画質を満たす領域を第１の有効領域として抽出する。例えば、レンズの特性値から画像中の位置に応じた画質の劣化度合いを予め求めておき、その劣化度合いが一定値未満となるような領域を、第１の有効領域とする。
【００４９】
ここで図１０に、第２実施形態における撮影範囲と有効領域の関係を示す。Ｓ９０１の処理により、図１０における＜レンズ収差補正後の有効領域＞の状態が形成され、第２の撮影範囲から、レンズ収差補正による劣化の大きい部分を除くことによって、第１の有効領域が抽出される。
【００５０】
Ｓ９０２では、Ｓ５１０で得られるパース補正後の第３の撮影範囲から、規定の画質を満たす領域を第２の有効領域として抽出する。例えば、撮影画像の画像中心に相当する位置からの距離が一定値以下となるような領域を、第２の有効領域とする。この処理により、図１０における＜射影後の有効領域＞の状態が形成され、第２の有効領域は、パース補正された第１の有効領域内から抽出されることが分かる。
【００５１】
そしてＳ９０３では、Ｓ９０２で抽出された第２の有効領域と、すでに最適撮影座標が決定されている隣接画像に対する第２の有効領域との重複部分のサイズｍ'を算出する。
【００５２】
第２実施形態においても上述した第１実施形態と同様に、以上の撮影座標決定処理によって決定された最適撮影座標に基づいて撮影を行い、該撮影された全ての画像を結合して、１枚の高解像度画像を生成する。ただし、第２実施形態においては、射影後画像として第２の有効領域のみを使用する。これにより、予め定められた画質を満たした結合画像を得ることが可能となる。
【００５３】
以上説明したように第２実施形態によれば、上述した第１実施形態に対し、さらに結合画像が一定の画質を満たすように、各撮影画像に対する撮影座標を決定することができる。これにより、一定の画質を保証しながら、撮影のカット数を必要最小限に留めることができる。
【００５４】
＜その他の実施形態＞
上述した第１および第２実施形態では、電動雲台へのカメラの取り付け精度については特に言及していないが、カメラの取り付け時の誤差まで考慮して撮影座標を決定するようにしても良い。電動雲台にカメラを取り付ける際には、雲台のホームポジションにおいてカメラが水平に設置されていることが理想である。しかしながら、実際にはカメラの取り付け精度の影響により、カメラが多少回転した状態で取り付けられるなどの誤差が含まれることが想定される。そこで、例えば、カメラに予めジャイロおよび加速度センサを備えておき、それらから得られる電動雲台上でのカメラの姿勢情報を用いて、隣接画像との重複領域の計算を行って、撮影座標を決定しても良い。また、センサ等の使用ができない場合には、カメラがどの程度の誤差を含んで設置されるかを予め情報として持っておき、その誤差が発生した場合であっても、設定された、すなわち最小限の重複領域のサイズが保てるように、撮影座標を決定しても良い。
【００５５】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
撮像装置が備える撮影レンズの画角よりも大きい被写体に対し、該撮像装置による撮影方向を変えながら複数回の撮影を行って、その全部で該被写体全体を示す複数毎の撮影画像を得るように該撮像装置を制御する制御装置であって、
前記複数枚の撮影画像のうち、前記撮像装置の基準撮影方向において撮影される撮影画像を基準画像として設定する基準画像の設定手段と、
隣接する撮影画像間における重複領域の目標サイズを設定する目標サイズの設定手段と、
前記基準画像を含む注目撮影画像について、前記撮像装置に設定される撮影方向において前記被写体の撮影が行われる際に得られる該被写体上の撮影範囲を取得する撮影範囲の取得手段と、
前記基準画像を含む注目撮影画像の前記撮影範囲内の画像に対し、前記被写体に対する前記撮像装置の位置および撮影方向に基づくレンズ収差補正およびパース補正を施した際に得られる、変形した該撮影範囲の形状を、前記注目撮影画像の変形後撮影範囲として取得する変形後撮影範囲の取得手段と、
前記基準画像以外の注目撮影画像の変形後撮影範囲と、該変形後撮影範囲に隣接する、既に撮影方向が決定している撮影画像の変形後撮影範囲とが重複する重複領域のサイズを算出する重複サイズの算出手段と、
前記基準画像以外の注目撮影画像の撮影方向を、前記注目撮影画像の変形後撮影範囲が、それに隣接する、既に撮影方向が決定している撮影画像の変形後撮影範囲と重複する範囲で更新しながら、前記撮影範囲の取得手段、前記変形後撮影範囲の取得手段、および前記重複サイズの算出手段を介して得られる前記重複領域のサイズが前記目標サイズを満たす撮影方向を探索し、該撮影方向を前記注目撮影画像の最適撮影方向とする撮影方向の設定手段と、を有し、
前記複数枚の撮影画像のそれぞれは、前記撮像装置により、前記撮影方向の設定手段で設定されたそれぞれの最適撮影方向において撮影されることを特徴とする制御装置。
【請求項２】
前記重複サイズの算出手段は、前記撮影範囲間の重複領域における画素数を、該重複領域のサイズとして算出することを特徴とする請求項１に記載の制御装置。
【請求項３】
さらに、前記変形後撮影範囲に対し、該範囲内の位置に応じて、予め定められた画質を満たす領域を有効領域として抽出する抽出手段を有し、
前記重複サイズの算出手段は、前記撮影範囲間においてそれぞれの有効領域が重複するサイズを、前記重複領域のサイズとして算出することを特徴とする請求項１または２に記載の撮像制御装置。
【請求項４】
前記撮像装置は電動雲台に載置され、
前記撮影方向は、前記電動雲台のパンとチルトの角度によって表されることを特徴とする請求項１乃至３のいずれか１項に記載の制御装置。
【請求項５】
前記重複サイズの算出手段は、前記撮像装置の前記電動雲台上での姿勢情報を用いて前記重複領域のサイズを算出することを特徴とする請求項４に記載の撮像制御装置。
【請求項６】
さらに、前記複数枚の撮影画像を結合して前記被写体の画像を得る結合手段を有することを特徴とする請求項１乃至５のいずれか１項に記載の撮像制御装置。
【請求項７】
撮像装置が備える撮影レンズの画角よりも大きい被写体に対し、該撮像装置による撮影方向を変えながら複数回の撮影を行って、その全部で該被写体全体を示す複数毎の撮影画像を得るように該撮像装置を制御する制御方法であって、
前記複数枚の撮影画像のうち、前記撮像装置の基準撮影方向において撮影される撮影画像を基準画像として設定する基準画像の設定ステップと、
隣接する撮影画像間における重複領域の目標サイズを設定する目標サイズの設定ステップと、
前記基準画像を含む注目撮影画像について、前記撮像装置に設定される撮影方向において前記被写体の撮影が行われる際に得られる該被写体上の撮影範囲を取得する撮影範囲の取得ステップと、
前記基準画像を含む注目撮影画像の前記撮影範囲内の画像に対し、前記被写体に対する前記撮像装置の位置および撮影方向に基づくレンズ収差補正およびパース補正を施した際に得られる、変形した該撮影範囲の形状を、前記注目撮影画像の変形後撮影範囲として取得する変形後撮影範囲の取得ステップと、
前記基準画像以外の注目撮影画像の変形後撮影範囲と、該変形後撮影範囲に隣接する、既に撮影方向が決定している撮影画像の変形後撮影範囲とが重複する重複領域のサイズを算出する重複サイズの算出ステップと、
前記基準画像以外の注目撮影画像の撮影方向を、前記注目撮影画像の変形後撮影範囲が、それに隣接する、既に撮影方向が決定している撮影画像の変形後撮影範囲と重複する範囲で更新しながら、前記撮影範囲の取得ステップ、前記変形後撮影範囲の取得ステップ、および前記重複サイズの算出ステップを介して得られる前記重複領域のサイズが前記目標サイズを満たす撮影方向を探索し、該撮影方向を前記注目撮影画像の最適撮影方向とする撮影方向の設定ステップと、を有し、
前記複数枚の撮影画像のそれぞれは、前記撮像装置により、前記撮影方向の設定ステップにおいて設定されたそれぞれの最適撮影方向において撮影されることを特徴とする制御方法。
【請求項８】
コンピュータに、請求項７に記載の撮像装置の制御方法の各ステップを実行させるためのプログラム。
【請求項１】
撮像装置が備える撮影レンズの画角よりも大きい被写体に対し、該撮像装置による撮影方向を変えながら複数回の撮影を行って、その全部で該被写体全体を示す複数毎の撮影画像を得るように該撮像装置を制御する制御装置であって、
前記複数枚の撮影画像のうち、前記撮像装置の基準撮影方向において撮影される撮影画像を基準画像として設定する基準画像の設定手段と、
隣接する撮影画像間における重複領域の目標サイズを設定する目標サイズの設定手段と、
前記基準画像を含む注目撮影画像について、前記撮像装置に設定される撮影方向において前記被写体の撮影が行われる際に得られる該被写体上の撮影範囲を取得する撮影範囲の取得手段と、
前記基準画像を含む注目撮影画像の前記撮影範囲内の画像に対し、前記被写体に対する前記撮像装置の位置および撮影方向に基づくレンズ収差補正およびパース補正を施した際に得られる、変形した該撮影範囲の形状を、前記注目撮影画像の変形後撮影範囲として取得する変形後撮影範囲の取得手段と、
前記基準画像以外の注目撮影画像の変形後撮影範囲と、該変形後撮影範囲に隣接する、既に撮影方向が決定している撮影画像の変形後撮影範囲とが重複する重複領域のサイズを算出する重複サイズの算出手段と、
前記基準画像以外の注目撮影画像の撮影方向を、前記注目撮影画像の変形後撮影範囲が、それに隣接する、既に撮影方向が決定している撮影画像の変形後撮影範囲と重複する範囲で更新しながら、前記撮影範囲の取得手段、前記変形後撮影範囲の取得手段、および前記重複サイズの算出手段を介して得られる前記重複領域のサイズが前記目標サイズを満たす撮影方向を探索し、該撮影方向を前記注目撮影画像の最適撮影方向とする撮影方向の設定手段と、を有し、
前記複数枚の撮影画像のそれぞれは、前記撮像装置により、前記撮影方向の設定手段で設定されたそれぞれの最適撮影方向において撮影されることを特徴とする制御装置。
【請求項２】
前記重複サイズの算出手段は、前記撮影範囲間の重複領域における画素数を、該重複領域のサイズとして算出することを特徴とする請求項１に記載の制御装置。
【請求項３】
さらに、前記変形後撮影範囲に対し、該範囲内の位置に応じて、予め定められた画質を満たす領域を有効領域として抽出する抽出手段を有し、
前記重複サイズの算出手段は、前記撮影範囲間においてそれぞれの有効領域が重複するサイズを、前記重複領域のサイズとして算出することを特徴とする請求項１または２に記載の撮像制御装置。
【請求項４】
前記撮像装置は電動雲台に載置され、
前記撮影方向は、前記電動雲台のパンとチルトの角度によって表されることを特徴とする請求項１乃至３のいずれか１項に記載の制御装置。
【請求項５】
前記重複サイズの算出手段は、前記撮像装置の前記電動雲台上での姿勢情報を用いて前記重複領域のサイズを算出することを特徴とする請求項４に記載の撮像制御装置。
【請求項６】
さらに、前記複数枚の撮影画像を結合して前記被写体の画像を得る結合手段を有することを特徴とする請求項１乃至５のいずれか１項に記載の撮像制御装置。
【請求項７】
撮像装置が備える撮影レンズの画角よりも大きい被写体に対し、該撮像装置による撮影方向を変えながら複数回の撮影を行って、その全部で該被写体全体を示す複数毎の撮影画像を得るように該撮像装置を制御する制御方法であって、
前記複数枚の撮影画像のうち、前記撮像装置の基準撮影方向において撮影される撮影画像を基準画像として設定する基準画像の設定ステップと、
隣接する撮影画像間における重複領域の目標サイズを設定する目標サイズの設定ステップと、
前記基準画像を含む注目撮影画像について、前記撮像装置に設定される撮影方向において前記被写体の撮影が行われる際に得られる該被写体上の撮影範囲を取得する撮影範囲の取得ステップと、
前記基準画像を含む注目撮影画像の前記撮影範囲内の画像に対し、前記被写体に対する前記撮像装置の位置および撮影方向に基づくレンズ収差補正およびパース補正を施した際に得られる、変形した該撮影範囲の形状を、前記注目撮影画像の変形後撮影範囲として取得する変形後撮影範囲の取得ステップと、
前記基準画像以外の注目撮影画像の変形後撮影範囲と、該変形後撮影範囲に隣接する、既に撮影方向が決定している撮影画像の変形後撮影範囲とが重複する重複領域のサイズを算出する重複サイズの算出ステップと、
前記基準画像以外の注目撮影画像の撮影方向を、前記注目撮影画像の変形後撮影範囲が、それに隣接する、既に撮影方向が決定している撮影画像の変形後撮影範囲と重複する範囲で更新しながら、前記撮影範囲の取得ステップ、前記変形後撮影範囲の取得ステップ、および前記重複サイズの算出ステップを介して得られる前記重複領域のサイズが前記目標サイズを満たす撮影方向を探索し、該撮影方向を前記注目撮影画像の最適撮影方向とする撮影方向の設定ステップと、を有し、
前記複数枚の撮影画像のそれぞれは、前記撮像装置により、前記撮影方向の設定ステップにおいて設定されたそれぞれの最適撮影方向において撮影されることを特徴とする制御方法。
【請求項８】
コンピュータに、請求項７に記載の撮像装置の制御方法の各ステップを実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１１−１３９３６８（Ｐ２０１１−１３９３６８Ａ）
【公開日】平成２３年７月１４日（２０１１．７．１４）
【国際特許分類】
【出願番号】特願２００９−２９８８２５（Ｐ２００９−２９８８２５）
【出願日】平成２１年１２月２８日（２００９．１２．２８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２３年７月１４日（２０１１．７．１４）
【国際特許分類】
【出願日】平成２１年１２月２８日（２００９．１２．２８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]