撮像装置と撮像方法
【課題】パノラマ画像を生成するための複数枚の撮像画像を良好な画質で容易に得られるようにする。
【解決手段】ドライバ１２は、光軸に対してレンズ部１１ａと撮像素子２１の少なくとも一方を変位させる。制御部５０は、撮像装置１０の動きに応じて、レンズ部１１ａと撮像素子２１の少なくとも一方をドライバ１２によって変位させる。複数枚の撮像画像からパノラマ画像を生成するために撮像方向を移動しながら前記複数枚の撮像画像の生成を行う際に、制御部５０は、各撮像画像の露光開始時におけるレンズ部１１ａおよび／または撮像素子２１の位置を、撮像方向の移動する方向に応じた方向に変位させて、撮像装置の動きによって生じる振れの補正を行う。また、露光期間中における変位が小さくなるように、露光期間の長さに応じて露光開始時の変位量を設定する。
【解決手段】ドライバ１２は、光軸に対してレンズ部１１ａと撮像素子２１の少なくとも一方を変位させる。制御部５０は、撮像装置１０の動きに応じて、レンズ部１１ａと撮像素子２１の少なくとも一方をドライバ１２によって変位させる。複数枚の撮像画像からパノラマ画像を生成するために撮像方向を移動しながら前記複数枚の撮像画像の生成を行う際に、制御部５０は、各撮像画像の露光開始時におけるレンズ部１１ａおよび／または撮像素子２１の位置を、撮像方向の移動する方向に応じた方向に変位させて、撮像装置の動きによって生じる振れの補正を行う。また、露光期間中における変位が小さくなるように、露光期間の長さに応じて露光開始時の変位量を設定する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、撮像装置と撮像方法に関する。詳しくは、パノラマ画像を生成するための複数枚の撮像画像を良好な画質で容易に得ることができるようにする。
【背景技術】
【０００２】
従来、例えば撮像装置を用いてパノラマ画像を得るためには、特許文献１のように、撮像領域を少しずつ移動させて撮像を行い、撮像開始点から連続的にフレーム（あるいはフィールド）画像を記録する。そして、記録された撮像画像に対して、位置的に隣接する撮像画像の重複部分を抽出し、この重複部分に対して所定の演算を行うことによって、それぞれの撮像画像がシームレスに合成されてパノラマ画像が生成される。
【０００３】
例えば、ユーザは、撮像方向を水平方向に移動させながら撮像を行い、複数枚の撮像画像を記録する。この撮像画像に対して重複部分に適当な処理を加えながら撮像画像をシームレスに繋ぐことで、横長のパノラマ画像を得ることができる。
【０００４】
また、撮像方向を移動しながら撮像を行うとき、この移動方向と逆方向に光軸可変素子を変化させて、光軸がリニアに移動している間にシャッターを開放して、シャッターが閉じている間に速やかに光軸を元に戻す動作を繰り返して複数枚の撮像画像を記録する。このようにすれば、撮像装置を素早く動かしても解像度が悪くならず、シャッタースピードを速くしなくても、良好なパノラマ画像を生成できる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１１−８８７５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、撮像装置では、手振れに応じて光軸を変化させて、手振れによる画像のぼけを防止する手振れ補正機能が設けられている。しかし、手振れ補正機能は、手振れによる画像のぼけを防止する機能であり、パノラマ画像に用いられる撮像画像を生成するための機能ではない。
【０００７】
また、露光期間中は撮像装置の動きに応じてレンズ部と撮像素子の少なくとも一方を光軸に対して変位させて振れ補正を行う場合、撮像画像は、変位が大きくなると歪みや色収差，解像度等についての劣化した画像となってしまう。ここで、例えば撮像装置のスイープや平行移動等を行っても撮像装置の動きに応じた振れを生じないように振れ補正を行う場合、撮像装置は、撮像装置の動きに対する振れ補正の補正可能範囲が最大となるようにレンズ部と撮像素子の少なくとも一方を変位させる。このように、振れ補正の補正可能範囲が最大となるようにレンズ部と撮像素子の少なくとも一方を光軸に対して変位させておくことで、撮像装置は、露光期間が長くなっても撮像装置の動きに対応した振れ補正を行うことができるようになる。しかし、変位の大きい位置から振れ補正を開始した場合、撮像装置は、露光期間が短いとき、変位が少ない状態である期間の割合が少なくなる。また、変位が最小となる前に露光期間を終了してしまう場合がある。したがって、撮像装置で得られる撮像画像は、歪みや色収差，解像度等についての劣化した画像となってしまう。
【０００８】
そこで、この発明では、パノラマ画像を生成するための複数枚の撮像画像を良好な画質で容易に得られる撮像装置と撮像方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
この発明の第１の側面は、光軸に対してレンズ部と撮像素子の少なくとも一方を変位させる駆動部と、当該撮像装置の動きに応じて、前記レンズ部と前記撮像素子の少なくとも一方を前記駆動部によって変位させる制御部とを有し、前記制御部は、複数枚の撮像画像からパノラマ画像を生成するために撮像方向を移動しながら前記複数枚の撮像画像の生成を行う際に、各撮像画像の露光開始時における前記レンズ部および／または撮像素子の位置を、前記撮像方向の移動する方向に応じた方向に変位させて、露光期間中における前記変位が小さくなるように、前記露光期間の長さに応じて前記露光開始時の変位量を設定する撮像装置。
【００１０】
この発明において、複数枚の撮像画像からパノラマ画像を生成するために撮像方向を移動しながら複数枚の撮像画像の生成を行うとき、レンズ部または撮像素子の少なくとも一方が、光軸を中心とした位置から光軸に対して垂直な面内で撮像方向の移動する方向に応じた方向に変位されて、振れ補正範囲が広くされる。また、レンズ部または撮像素子の少なくとも一方が、光軸を中心とした位置から変位されて露光が開始される。また、露光期間中は、変位されているレンズ部および／または撮像素子が撮像装置の動きに応じて移動されて、撮像素子の撮像面上に結像される光学像の撮像装置の動きに応じた振れが補正される。さらに、撮像素子の露光期間例えばシャッタースピードやフレームレートに応じて露光開始時の位置の変位量を設定する。例えば露光期間が短いとき、すなわち振れ補正を行う期間が短いときは変位量を少なくして、露光期間中における変位を小さくする。
【００１１】
この発明の第２の側面は、駆動部によって、光軸に対してレンズ部と撮像素子の少なくとも一方を変位させるステップと、制御部によって、当該撮像装置の動きに応じて、前記レンズ部と撮像素子の少なくとも一方を前記駆動部で変位させるステップと、複数枚の撮像画像からパノラマ画像を生成するために撮像方向を移動しながら前記複数枚の撮像画像の生成を行う際に、前記制御部によって、各撮像画像の露光開始時における前記レンズ部および／または撮像素子の位置を、前記撮像方向の移動する方向に応じた方向に変位させて、露光期間中における前記変位が小さくなるように、前記露光期間の長さに応じて前記露光開始時の変位量を設定するステップを備える撮像方法にある。
【発明の効果】
【００１２】
この発明によれば、駆動部によって、光軸に対してレンズ部と撮像素子の少なくとも一方が変位される。また、複数枚の撮像画像からパノラマ画像を生成するために撮像方向を移動しながら前記複数枚の撮像画像の生成を行う際に、各撮像画像の露光開始時における前記レンズ部および／または撮像素子の位置が、制御部によって、撮像方向の移動する方向に応じた方向に駆動部で変位される。また、変位されているレンズ部および／または撮像素子を、当該撮像装置の動きに応じて駆動部によって変位させる制御が制御部で行われて、撮像方向の移動に伴って生じる振れの補正が行われる。さらに、露光期間中における変位が小さくなるように、露光期間の長さに応じて露光開始時の変位量が設定される。したがって、パノラマ画像の生成に適した振れ補正を行うことが可能となり、パノラマ画像を生成するための複数枚の撮像画像を、歪みや色収差、解像度等について劣化の少ない良好な画質で容易に得ることができる。
【図面の簡単な説明】
【００１３】
【図１】第１の実施の形態の構成を示す図である。
【図２】撮像装置の動きと撮像素子の撮像面上に結像される光学像の位置の関係を説明するための図である。
【図３】撮像装置の外観を例示した図である。
【図４】第１の実施の形態の動作を示すフローチャートである。
【図５】メニュー表示が行われた状態を示す図である。
【図６】パノラマ撮像処理を示すフローチャートである。
【図７】スイープ方向が右方向であるときの補正レンズの補正動作開始位置を示す図である。
【図８】シャッタースピードとオフセット量の関係を例示した図である。
【図９】パノラマ撮像処理の他の例を示すフローチャートである。
【図１０】手振れ補正撮像処理を示すフローチャートである。
【図１１】撮像装置のスイープ動作を説明するための図である。
【図１２】パノラマ撮像処理を説明するための図である。
【図１３】右方向のスイープ動作を行ったときに生成される撮像画像を説明するための図である。
【図１４】シャッタースピードに応じてオフセット量を切り換えた場合の動作（シャッタースピードが遅い場合）を説明するための図である。
【図１５】シャッタースピードに応じてオフセット量を切り換えた場合の動作（シャッタースピードが速い場合）を説明するための図である。
【図１６】シャッタースピードにかかわらずオフセット量を最大としている場合の動作を説明するための図である。
【図１７】第２の実施の形態の構成を示す図である。
【図１８】雲台の構成を示した図である。
【図１９】第２の実施の形態の動作を示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下、発明を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態
１−１．撮像装置の構成
１−２．撮像装置の外観
１−３．撮像装置の動作
１−４．パノラマ撮像画像の生成動作例
２．第２の実施の形態
２−１．撮像装置の構成
２−２．撮像装置の動作
＜１．第１の実施の形態の構成＞
［１−１．撮像装置の構成］
【００１５】
図１は、本発明の撮像装置の構成を示すブロック図である。撮像装置１０は、撮像光学系ブロック１１、ドライバ１２、撮像光学系センサ部１３、撮像素子２１、タイミング信号発生（ＴＧ）部２２、アナログフロントエンド（ＡＦＥ）部２３、信号処理部２４、検波部２５を備えている。さらに撮像装置１０は、画像出力部３１、表示部３２、記録再生部３３、操作部４１、動き検出部４２、制御部５０を備えている。
【００１６】
撮像光学系ブロック１１は、レンズ部１１ａと撮像素子２１の撮像面上に形成される光学像の光量調節する絞り機構１１ｂを備えている。レンズ部１１ａは、例えば変倍を行うズームレンズ１１１、フォーカシングを行うフォーカスレンズ１１２、後述する撮像素子２１の撮像面上に形成される光学像の位置を撮像面上で移動させる補正レンズ部１１３で構成されている。
【００１７】
補正レンズ部１１３は、例えば光軸が撮像光学系の光軸と一致するように設けられた補正レンズと、この補正レンズを撮像光学系の光軸に対して直交する方向に移動させるアクチュエータ等で構成されている。このような構成の補正レンズ部１１３は、アクチュエータによって、補正レンズを撮像光学系の光軸に対して垂直な面内で、光軸を中心とした位置から変位させる。
【００１８】
また、補正レンズ部１１３は、可変頂角プリズムユニットを用いるようにしてもよい。可変頂角プリズムユニットは、ベローズ等の折り曲げ自在な筒の端面に透光性を有する入射端板と出射端板を設け、筒内に所望の屈折率を持った透光性の液体を封入したものである。可変頂角プリズムユニットを用いる場合、入射端板または出射端板の一方を固定して、他方をアクチュエータで駆動して光学楔を形成する。このような構成の補正レンズ部は、例えば入射端板に対する出射端板の傾斜角度を変位させて、撮像面上に形成される光学像の位置を撮像面上で移動させる。
【００１９】
さらに、レンズ部１１ａは、撮像面上に光学像を結像させる構成であって、光軸に対して垂直な面内で変位することにより撮像面上に結像される光学像の位置を撮像面上で移動できる構成であれば他の構成であってもよい。したがって、レンズ部１１ａは、ズームレンズ１１１とフォーカスレンズ１１２および補正レンズ部１１３によって構成される場合に限られるものではない。
【００２０】
ドライバ１２は、後述する制御部５０からのレンズ制御信号に基づきズームレンズ１１１やフォーカスレンズ１１２および補正レンズ部１１３のアクチュエータを駆動する。また、ドライバ１２は、制御部５０からの絞り制御信号に基づき絞り機構１１ｂを駆動する。
【００２１】
撮像光学系センサ部１３は、ズームレンズ１１１やフォーカスレンズ１１２のレンズ位置、補正レンズ部１１３の変位状態（補正レンズ部１１３の変位位置や補正角と同等）、および絞り機構１１ｂの設定位置を検出して位置信号を制御部５０に供給する。
【００２２】
撮像素子２１は、例えばＣＣＤ（Charge Coupled Devices）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型イメージ部などの撮像素子が用いられている。撮像素子２１は、撮像光学系ブロック１１によって撮像面上に形成された光学像を電気信号に変換してＡＦＥ部２３に出力する。
【００２３】
ＴＧ部２２は、撮像素子２１で撮像画像を示す電気信号の出力を行うために必要とする各種の駆動パルス、並びに撮像素子２１の電荷蓄積時間を制御する電子シャッターパルス等を生成する。
【００２４】
ＡＦＥ部２３は、撮像素子２１から出力された電気信号（画像信号）に対して、ノイズ除去処理例えばＣＤＳ（Correlated Double Sampling）処理や、撮像信号を所望の信号レベルとするＡＧＣ（Automatic Gain Control）処理を行う。さらに、ＡＦＥ部２３は、ノイズ除去処理や利得制御が行われたアナログの撮像信号をディジタル信号に変換して信号処理部２４に出力する。
【００２５】
信号処理部２４は、カメラ信号前処理やカメラ信号処理、解像度変換処理、圧縮伸張処理等を行う。カメラ信号前処理では、ＡＦＥ部２３から供給された画像信号に対して、撮像素子２１における欠陥画素の信号を補正する欠陥補正処理、レンズの周辺光量落ちを補正するシェーディング補正処理などを行う。カメラ信号処理では、ホワイトバランス調整や輝度補正等の処理を行う。また、ディジタルカメラ等では、撮像素子の前面にカラー・フィルタ・アレイ（Color Filter Array）を設けることにより、１つの撮像素子で赤色，緑色，青色の各信号を得るように構成されている場合がある。このような場合、カメラ信号処理ではデモザイク（demosaic）処理を行い、周囲の画素の信号を用いた補間等によって、各画素において欠落している色の信号を生成する。解像度変換処理では、カメラ信号処理がなされた画像信号、あるいは伸張復号化された画像信号を所定の解像度に変換する。圧縮伸張処理では、カメラ信号処理後の画像信号や解像度変換処理が行われた画像信号を圧縮符号化して、例えばＪＰＥＧ（Joint Photographic Experts Group）方式の符号化信号を生成する。また、圧縮伸張処理では、ＪＰＥＧ方式の符号化信号を伸張復号化する。なお、圧縮伸張処理は、ＪＰＥＧ方式とは異なる方式で静止画の画像信号の圧縮符号化を行うようにしてもよい。また、圧縮伸張処理では、動画圧縮方式で動画の画像信号の圧縮符号化を行うようにしてもよい。
【００２６】
さらに、撮像装置１０でパノラマ画像の生成を行う場合、信号処理部２４は撮像画像を用いて動きベクトルの算出を行い、この算出した動きベクトルを利用して同じ被写体の画像が重なるように複数の撮像画像の合成を行って、パノラマ画像を生成する。また、撮像画像の合成は、動き検出部からの動き検出信号を用いてもよい。この場合、動きベクトルが正しく得られなくとも、動き検出信号を利用して同じ被写体の画像が重なるように複数の撮像画像を合成することが可能となる。なお、パノラマ画像の生成に用いる撮像画像は、例えば図示していないメモリまたは後述する記録再生部３３で記録媒体に書き込むものとする。また、パノラマ画像の生成は、撮像時または再生時のいずれで行ってもよい。また、撮像装置１０とは異なる外部機器、例えばコンピュータ等でパノラマ画像の生成を行うものとしてもよい。パノラマ画像の生成を再生時や外部機器で行う場合、再生時や外部機器でパノラマ画像の生成を可能とする識別情報（例えば一連の撮像画像であることを示す情報や撮像順序を示す情報等）を、パノラマ画像の生成に用いる撮像画像に対して設ける。このように識別情報を設けることで、正しい順序で撮像画像を合成してパノラマ画像を生成できる。
【００２７】
検波部２５は、信号処理部２４に供給された撮像信号等を用いて、被写体の明るさレベルやフォーカス状態の検出を行い、明るさレベルやフォーカス状態を示す検波信号を生成して制御部５０に供給する。
【００２８】
画像出力部３１は、信号処理部２４で処理された画像信号を、撮像装置１０と接続される外部機器に対応したフォーマットの画像信号に変換して出力する。
【００２９】
表示部３２は、撮像装置１０によって撮像されている画像や、記録再生部３３で再生された撮像画像の表示を行う。また、表示部３２は、撮像装置１０の設定等を行うためのメニュー表示等も行う。
【００３０】
記録再生部３３では、例えば、フラッシュメモリ、光ディスク、磁気テープなどの記録媒体が用いられている。記録再生部３３は、信号処理部２４から出力された撮像画像の画像信号や符号化信号を記録媒体に記録する。また、記録再生部３３は、記録媒体に記録されている画像信号を読み出して画像出力部３１や表示部３２に供給する処理や、記録媒体に記録されている符号化信号を読み出して信号処理部２４に供給する処理を行う。なお、記録再生部３３は、記録媒体が着脱可能とされている構成に限られない。例えば、記録再生部３３としてハード・ディスク装置等を内蔵させるようにしてもよい。
【００３１】
操作部４１は、操作ボタンや表示部３２の画面上に設けられたタッチパネル等で構成されている。操作部４１は、ユーザ操作に応じた操作信号を生成して制御部５０に供給する。
【００３２】
動き検出部４２は、撮像方向の変化を生じさせる動きを検出する。例えばジャイロセンサを用いて動き検出部４２を構成して、撮像装置１０に加えられた動きを検出する。動き検出部４２は、ヨーイング方向における振れに応じて例えば角速度を検出するヨーイング角速度検出部と、ピッチング方向における振れに応じて例えば角速度を検出するピッチング角速度検出部で構成されている。また、動き検出部４２には、検出信号の信号処理を行う処理回路が設けられている。処理回路では例えば検出信号から不要な信号成分、例えばノイズ成分や角速度値の信号成分よりも高い周波数成分および共振周波数成分等を除去する。さらに、処理回路では温度変化や時間変化に伴って生じるドリフトの補正、検出信号をディジタル信号に変換して制御部５０に供給する処理等を行う。動き検出部４２から検出信号がアナログ信号として出力される場合、制御部５０は動き検出信号をディジタル信号に変換して用いる構成としてもよい。
【００３３】
なお、動き検出部４２は、角速度検出センサを用いて構成する場合に限られない。例えば、加速度検出センサ等を用いて動きの検出を行うようにしてもよい。加速度検出センサを用いる場合、加速度検出センサの出力を積分して速度を算出できる。さらに、その速度を積分して動きを算出することができる。
【００３４】
制御部５０は、ＣＰＵ（Central Processing Unit）やメモリ等で構成されている。メモリには、ＣＰＵが実行するプログラムや各種データが記憶されている。このメモリとしては、例えばＥＥＰＲＯＭ（Electronically Erasable and Programmable ROM）、フラッシュメモリなどの不揮発性メモリが用いられる。制御部５０のＣＰＵはメモリに記憶されているプログラムを実行して、メモリに記憶されている各種データや操作部４１から供給された操作信号に基づき、撮像装置１０の動作がユーザ操作に応じた動作となるように各部を制御する。例えば、制御部５０は、シャッター操作をユーザが行ったとき、ＴＧ部２２等の動作を制御して、所望のシャッタースピードで撮像した静止画の符号化信号等を記録再生部３３の記録媒体に記録させる。また、動画記録開始操作が行われたときは、動画の符号化信号等を記録再生部３３の記録媒体に記録させる。
【００３５】
また、制御部５０は、モード選択操作をユーザが行ったとき、ユーザによって選択されたモードで撮像動作等を行う。例えば、パノラマ撮像モード、手振れ補正撮像モードのいずれかをユーザが選択したとき、ユーザによって選択されたモードで撮像動作等を行う。なお、パノラマ撮像モードとは、撮像装置のスイープや平行移動等を行いながら、１つの撮像画像よりも撮像範囲の広いパノラマ画像を生成する際に合成される複数の撮像画像を生成する撮像モードである。パノラマ撮像モードでは、複数の撮像画像を合成してパノラマ画像を生成する処理を行うものとしてもよく、生成した複数の撮像画像を記録媒体等に記録して、外部機器で撮像画像の合成を行うようにしてもよい。手振れ補正撮像モードとは、手振れ補正を行うことで手振れによる画像ぼけを生じていない撮像画像を生成する撮像モードである。
【００３６】
さらに、制御部５０は、撮像光学系センサ部１３から供給された位置信号や、検波部２５から供給された検波信号に基づき、レンズ制御信号や絞り制御信号を生成してドライバ１２に供給する。したがって、ドライバ１２によって、所望の明るさでピントの合った撮像画像が得られるようにフォーカスレンズ１１２や絞り機構１１ｂが駆動される。また、制御部５０は、ズーム操作をユーザが行ったとき、レンズ制御信号を生成してドライバ１２に供給することで、所望のズーム比の撮像画像が得られるようにズームレンズ１１１を駆動する。
【００３７】
このように構成された撮像装置１０において、制御部５０は、動き検出部４２で検出された撮像装置１０の動きに応じて、補正レンズ部１１３の補正レンズと撮像素子２１の少なくとも一方を変位させる。制御部５０は、このように補正レンズと撮像素子の少なくとも一方を変位させることで、撮像素子２１の撮像面上に結像される光学像が、撮像装置の動きに応じて振れを生じることがないように振れの補正を行う。すなわち、制御部５０は、撮像装置１０の動きに応じて、補正レンズと撮像素子の少なくとも一方を変位させることで、撮像装置の動きによって生じる撮像画像の振れを補正する。
【００３８】
図２は、撮像装置の動きと撮像素子の撮像面上に結像される光学像の位置の関係を説明するための図である。例えば、図２の（Ａ）では、被写体ＯＢａの光学像ＯＢｂが撮像素子８２の撮像面の中央位置となるように撮像装置８０の位置が設定されている。次に、撮像装置８０に動きが生じて、撮像装置８０が図２の（Ｂ）に示す矢印ＦＡの方向に移動すると、撮像面上に結像される光学像ＯＢｂの位置は、撮像面の中央位置から移動してしまう。ここで、図２の（Ｃ）に示すように、レンズ部８１を撮像装置８０の動き方向とは逆方向である矢印ＦＢ方向に移動させると、光学像ＯＢｂを撮像面の中央位置に結像させることができる。また、図２の（Ｄ）に示すように、撮像素子８２を撮像装置８０の動き方向と同じ方向である矢印ＦＣ方向に移動させると、光学像ＯＢｂを撮像面の中央位置に結像させることができる。すなわち、撮像装置８０の動きに応じて、レンズ部８１と撮像素子８２の少なくとも一方を変位させることで、撮像装置８０の動きによって生じる撮像画像の振れを補正できる。
【００３９】
なお、撮像装置８０の動きに応じてレンズ部８１や撮像素子８２を変位させるときの変位方向は、撮像装置８０の動きによって生じる光学像ＯＢｂの移動を補正する方向であればよく、図２の（Ｃ）や図２の（Ｄ）に示す方向に限られるものではない。
【００４０】
図１の制御部５０は、例えばレンズ部を変位させる場合、動き検出部４２からの検出信号に基づき、撮像画像の振れが生じないように補正レンズ部１１３の補正レンズを変位させるためのレンズ制御信号を生成してドライバ１２に出力する。ドライバ１２は、レンズ制御信号に基づき駆動信号を生成して補正レンズ部１１３に出力する。補正レンズ部１１３は、駆動信号に基づきアクチュエータで補正レンズを変位させる。このように、動き検出部４２からの動き検出信号に基づいて補正レンズ部１１３を駆動することで、補正レンズ部１１３の補正レンズを光軸に対して変位させて振れ補正を行う。
【００４１】
また、撮像素子２１を変位させて振れ補正を行う場合、図１の点線で示すように、撮像装置１０には、撮像素子２１を光軸に対して直交する方向に移動させるアクチュエータ２１ａを設ける。さらに、制御部５０は、動き検出部４２からの検出信号に基づき、撮像画像の振れが生じないように撮像素子２１を変位させるための位置制御信号を生成してドライバ１２に出力する。ドライバ１２は、位置制御信号に基づき駆動信号を生成してアクチュエータ２１ａに出力する。アクチュエータ２１ａは、駆動信号に基づき撮像素子２１を変位させる。このように、動き検出部４２からの動き検出信号に基づいてアクチュエータ２１ａを駆動することで、撮像素子２１を光軸に対して変位させて、撮像素子の撮像面上に結像される光学像の振れ補正を行う。
【００４２】
さらに、制御部５０は、複数枚の撮像画像からパノラマ画像を生成するために撮像方向を移動しながら複数枚の撮像画像の各画像の生成を行う際に、変位させる補正レンズおよび／または撮像素子の補正動作開始位置を、撮像方向の移動する方向に応じた方向に光軸を中心とした位置から変位させる。したがって、撮像方向の移動に対する振れ補正の補正可能範囲は、補正動作開始位置が光軸を中心とした位置とされている場合に比べて広くなる。
【００４３】
制御部５０は、補正動作開始位置から撮像装置の動きに応じて補正レンズおよび／または撮像素子を駆動するとき、撮像装置の動きに対して遅れを生じることなく移動させることができるときは、補正動作開始時の位置を露光開始時の位置として露光を開始する。また、制御部５０は、駆動開始時に撮像装置の動きに対して補正レンズおよび／または撮像素子の移動が遅れを生じるとき、撮像装置の動きに対して補正レンズおよび／または撮像素子の移動が追従する状態となってから露光を開始する。なお、撮像装置の動きに対して補正レンズおよび／または撮像素子の移動が追従する状態となるまでに要する期間は短く、露光開始時の位置は、補正動作開始位置の近傍であって、光軸を中心とした位置から撮像方向の移動する方向に応じた方向に変位した位置となる。
【００４４】
制御部５０は、露光期間中、撮像装置の動きに応じて補正レンズおよび／または撮像素子を移動させることで撮像装置の動きに応じた振れを補正する振れ補正動作を動作状態として、撮像装置の動きによるぶれが生じていない撮像画像を生成する。
【００４５】
また、レンズ部と撮像素子の少なくとも一方を光軸に対して変位させる場合、撮像画像は、変位が大きい状態であるとき、歪みや色収差，解像度等について劣化した画像となってしまう。したがって、制御部５０は、露光期間中における変位が小さくなるように、露光期間の長さに応じて補正動作開始位置（露光開始位置）を設定する。すなわち、露光期間が短いときは、変位が小さい状態で撮像画像を生成できるように、光軸を中心とした位置からの変位量を少なくして補正動作開始位置（露光開始位置）を設定する。また、補正動作開始位置の変位量を少なくすると振れ補正の補正可能範囲が狭いため、露光期間が長いとき、撮像装置の動きに対応させてレンズ部と撮像素子を変位させることが出来なくなってしまうおそれがある。したがって、制御部５０は、露光期間が長いとき、光軸を中心とした位置からの変位量を多くして補正動作開始位置を設定することで、振れ補正の補正可能範囲を広くする。
【００４６】
なお、以下の説明では、補正レンズを変位させることで、撮像装置の動きに対する振れ補正を行う場合について説明する。また、補正動作開始位置と露光開始位置は、等しい位置とする。
【００４７】
［１−２．撮像装置の外観］
図３は、撮像装置１０の外観を例示している。撮像装置１０の筐体の背面には、表示部３２が設けられ、表示部３２の近傍には操作部４１が設けられている。操作部４１は、複数の操作キー等で構成されている。例えばメニューキー４１１は、表示部３２にメニューを表示するための操作キーである。方向キー４１２ａ〜４１２ｄは、メニュー項目の選択等を行うときに操作される操作キーである。方向キー４１２ａ〜４１２ｄの中心部分に設けられている決定キー４１３は、選択されている項目の決定操作等を行うときに操作される操作キーである。さらに、筐体の上面に設けられたシャッターキー４１５は、シャッター操作を行うための操作キーである。なお、図３に示した操作部４１は一例であり、キーの位置や種類はこの例に限定されない。また、表示部３２の画面上にタッチパネルを設けて、表示部３２の所定の位置を触れることで各種動作の設定や実行指示等を行うこともできるようにしてもよい。
【００４８】
［１−３．撮像装置の動作］
図４は、第１の実施の形態の動作を示すフローチャートである。なお、図４は、撮像装置１０が、複数枚の撮像画像からパノラマ画像を生成するために、撮像方向を移動しながら複数枚の撮像画像の生成を行う撮像モード（以下「パノラマ撮像モード」という）と、パノラマ撮像モードと異なる撮像モード（以下「手振れ補正撮像モード」という）を有している場合を示している。なお、パノラマ撮像モードと異なる撮像モードは、例えば、１枚の撮像画像を生成する撮像モード、夜間等で撮像を行ったとき人物と背景がそれぞれ所望の明るさの撮像画像を得られるように、露光量の異なる複数枚の撮像画像を領域毎にいずれかの画像の比率を高めて重ね合わせる撮像モード（いわゆる夜景モード）等である。
【００４９】
ステップＳＴ１で制御部５０は、撮像モードがパノラマ撮像モードであるか否か判別する。制御部５０は、操作部４１のメニューキー４１１が操作されたことを判別したとき、表示部３２にメニュー表示ＧＡを行う。図５は、表示部３２でメニュー表示が行われている状態を例示している。その後、制御部５０は、上方向を示す方向キー４１２ａまたは下方向を示す方向キー４１２ｃの操作に応じてモードの切り換えを行い、選択されている撮像モードを識別可能に表示する。例えば、制御部５０は、カーソル表示ＧＢを設けて、カーソル表示ＧＢの位置を、方向キー４１２ａ，４１２ｃの操作に応じて上下に移動させて、選択されている撮像モードを識別可能とする。さらに、制御部５０は、決定キー４１３が操作されたときに選択されている撮像モードを、撮像装置１０の撮像モードに設定する。ここで、制御部５０は、撮像モードとしてパノラマ撮像モードＭＰが選択されているときステップＳＴ２に進み、手振れ補正撮像モードＭＢが選択されたときステップＳＴ３に進む。
【００５０】
ステップＳＴ２で制御部５０は、パノラマ撮像処理を行いステップＳＴ４に進む。
【００５１】
ステップＳＴ１からステップＳＴ３に進むと制御部５０は、手振れ補正撮像処理を行いステップＳ４に進む。
【００５２】
ステップＳＴ４で制御部５０は、ステップＳＴ２で生成したパノラマ撮像画像またはステップＳＴ３で生成した手振れ補正撮像画像を記録再生部３３で記録媒体に記録させる。
【００５３】
次に、パノラマ撮像処理について説明する。図６は、パノラマ撮像処理を示すフローチャートである。ステップＳＴ１１で制御部５０は、撮像装置の動き方向を設定する。制御部５０は、いずれの方向に撮像装置のスイープあるいは平行移動等を行ってパノラマ画像の生成を行うか選択するための方向選択メニューを表示部３２に表示する。制御部５０は、ユーザがいずれの方向を選択したか、操作部４１からの操作信号に基づき判別して、判別した方向を撮像装置の動き方向に設定してステップＳＴ１２に進む。
【００５４】
ステップＳＴ１２で制御部５０は、シャッタースピードを判別する。制御部５０は、ユーザ操作によって設定されたシャッタースピード、あるいは予め設定されているシャッタースピードを判別してステップＳＴ１３に進む。
【００５５】
ステップＳＴ１３で制御部５０は、補正動作開始位置を設定する。制御部５０は、撮像方向の移動する方向に応じた方向に補正レンズ部１１３の補正レンズ１１３ａを変位させて補正動作開始位置とする。すなわち、制御部５０は、補正レンズ１１３ａを変位させて補正動作開始位置とすることで、撮像装置の動きに応じて補正レンズ１１３ａを移動させるときの移動開始位置から最大移動可能位置までの範囲である振れ補正可能範囲を広くする。例えば、撮像方向を右方向に移動させるとき、補正レンズ部１１３の補正レンズ１１３ａを左方向に移動させることで振れ補正が行われる場合、図７のように、補正レンズ部１１３の補正レンズ１１３ａを中心位置からアクチュエータ１１３ｂで右方向に変位させる。なお、図７において、点線ＡＲで示す位置は、補正レンズ１１３ａの補正制御端の位置を示している。また、一点鎖線で示す丸印は、補正レンズ１１３ａが光軸を中心とした中央位置とされている状態を示している。ここで、補正レンズ１１３ａが中央位置であるときは、歪みや色収差、解像度等についての劣化が最も少ない撮像画像となる。
【００５６】
制御部５０は、歪みや色収差、解像度等についての劣化の少ない撮像画像を得ることができるようにするため、露光期間すなわちシャッタースピードに応じて変位量を設定する。なお、撮像素子で電子シャッター動作を行う場合には非露光期間が生じる。シャッタースピードが速い（露光期間が短い）とシャッタースピードが遅い（露光期間が長い）場合に比べて、露光期間中の撮像装置の動きが小さい。すなわち、露光期間中における補正レンズ１１３ａの移動量が少ない。このため、補正レンズ１１３ａを補正制御端の位置に変位させておくと、シャッタースピードが速い場合、補正レンズ１１３ａが中央位置となる前に露光期間が終了して、撮像画像は歪みや色収差，解像度等についての劣化した画像となってしまう場合がある。そこで、制御部５０は、シャッタースピードが遅いとき、図７の（Ａ）に示すように中心位置（光軸を中心とした位置）からの変位量を多くして、中心位置から離れた位置を補正動作開始位置とする。また、制御部５０は、シャッタースピードが速いとき、図７の（Ｂ）に示すように変位量を少なくして、中心位置に近い位置を補正動作開始位置とする。
【００５７】
図８は、シャッタースピードと変位量の関係を例示している。シャッタースピードが遅い場合、例えばシャッタースピードが「ＳＳma」である場合、露光期間が長いことから、変位量を中心位置から補正制御端まで距離である「ｄma」に設定する。また、シャッタースピードが速い場合、例えばシャッタースピードが「ＳＳmb」である場合、露光期間が短いことから、変位量を「ｄma」よりも少ない「ｄmb」に設定する。なお、変位量は「ｄmb」は、露光期間を短くしたときの種々の撮影条件における振れ補正動作状況等を考慮して予め撮像装置１０に記憶させておく。
【００５８】
シャッタースピードが、「ＳＳma」から「ＳＳmb」の範囲であるときは、式（１）に基づいて、シャッタースピード「ＳＳx（ＳＳma＞ＳＳx＞ＳＳmb）」に応じた変位量「ｄy」を算出する。例えばシャッタースピードが「ＳＳa」のとき変位量は「ｄa」、シャッタースピードが「ＳＳb」のとき変位量は「ｄb」となる。
【００５９】
【数１】
【００６０】
このように、制御部５０は、シャッタースピードに応じて変位量を算出して、補正レンズ１１３ａを、撮像装置の動きに対して振れ補正の補正可能範囲が広くなる方向に変位量だけ移動させて図６のステップＳＴ１４に進む。なお、変位量を予め算出してメモリ等に記憶しておき、制御部５０は、シャッタースピードに応じて変位量をメモリ等から読み出す構成であってもよい。
【００６１】
ステップＳＴ１４で制御部５０は、シャッター操作を開始してステップＳＴ１５に進む。シャッター操作の開始は、シャッターキー４１５の操作や動き検出信号に基づいて行う。例えば、制御部５０は、シャッターキー４１５が押された状態となったことを検出したとき、シャッター操作の開始とする。
【００６２】
また、動き検出信号を利用すれば、自動的にシャッター操作を開始できる。例えば、制御部５０は、ステップＳＴ１１で判別した方向に撮像装置１０のスイープや平行移動等が行われたことを動き検出信号に基づいて検出したとき、シャッター操作を開始する。このようにすれば、ユーザはシャッターキー４１５を操作しなくとも、撮像装置１０によって指示された方向に撮像装置１０の向きを移動させるだけで、シャッター操作を開始できる。シャッターキー４１５が押された状態となったことを検出したときシャッター操作を開始する場合、シャッターキー４１５の操作によって撮像装置のぶれが生じると、このぶれの影響がパノラマ画像に現れてしまうおそれがある。しかし、動き検出信号を利用してシャッター操作を開始すれば、シャッターキー４１５の操作が必要ないので、シャッター操作によるぶれの影響がないパノラマ画像を容易に得ることができる。
【００６３】
なお、シャッター操作を行う際には、表示部３２の画面上に撮像装置の動き方向を示す方向指示を行うものとすれば、設定した方向に正しく撮像装置のスイープや平行移動等を行わせることができるようになる。
【００６４】
ステップＳＴ１５で制御部５０は、撮像画像生成処理を行う。制御部５０は、補正動作開始位置とされている補正レンズ１１３ａを動き検出信号に応じて駆動して、撮像装置の動きによって生じる光学像の振れを補正する。制御部５０は、補正動作開始時に、撮像装置の動きに対して遅れを生じることなく補正レンズ１１３ａを移動できるとき、補正動作開始位置を露光開始時の位置として露光を開始する。また、制御部５０は、補正動作開始時に撮像装置の動きに対して補正レンズ１１３ａの移動が遅れを生じるとき、撮像装置の動きに対して補正レンズ１１３ａの移動が追従する状態となる位置を露光開始時の位置として露光を開始する。なお、露光開始時の位置は、補正動作開始位置の近傍であり、光軸を中心とした位置から撮像方向の移動する方向に応じた方向に変位した位置である。さらに、制御部５０は、露光期間中、振れ補正動作を動作状態とすることで、撮像装置１０のスイープや平行移動等を行っても、撮像装置１０の動きによるぼけが生じていない撮像画像を生成させてステップＳＴ１６に進む。また、制御部５０は、撮像画像生成処理において、補正動作開始位置を撮像方向の移動する方向に応じた方向に変位させて、振れ補正が可能な範囲を広くする。したがって、補正動作開始位置の変位に伴い露光開始時の位置が変位されて、露光開始時の位置が光軸を中心とした位置とされている場合に比べて、撮像装置１０の動きに応じた振れ補正が可能な期間を長くすることができる。すなわち、撮像装置１０の動きに応じた振れ補正が可能な期間を長くできることから、被写体が暗いために露光期間を長くする場合であっても、撮像装置１０の動きによるぶれが生じていない撮像画像を生成できる。
【００６５】
さらに、制御部５０は、シャッタースピードに応じて変位量を設定して補正動作開始位置を決定している。すなわち、補正動作開始位置の変位に伴い露光開始時の位置が変位されて、露光開始時の位置は、シャッタースピードに応じた変位量で光軸を中心とした位置から変位されているので、歪みや色収差、解像度等についての劣化の少ない画像の生成が行われる。例えば、シャッタースピードが速いとき、露光期間中の補正レンズ１１３ａの位置は、中心位置に近い位置となる。したがって、歪みや色収差、解像度等についての劣化の少ない撮像画像を生成できるようになる。
【００６６】
ステップＳＴ１６で制御部５０は、シャッター操作が終了されたか否か判別する。制御部５０は、シャッター操作が終了されていないと判別したとき補正レンズ１１３ａを補正動作開始位置に戻してステップＳＴ１５に戻る。制御部５０は、ステップＳＴ１６からステップＳＴ１５に戻ると、撮像画像の露光期間と次の撮像画像の露光期間との間に、補正レンズ１１３ａを補正動作開始位置に戻す。その後、制御部５０は、再度動き検出信号に応じて補正レンズ１１３ａを駆動して、撮像装置１０のスイープや平行移動等が行われてもぼけの生じていない画像の生成を行う。
【００６７】
また、制御部５０は、シャッター操作が終了されたと判別したときステップＳＴ１７に進む。制御部５０は、例えば撮像装置の動き量（スイープ量や移動量）が予め設定されている所定量に達したときシャッター操作の終了とする。動き量は例えば動きベクトルを用いて算出できる。また、制御部５０は、動き検出信号から撮像装置の動き量を判別して、動き量が所定量に達したときシャッター操作の終了としてもよい。また、シャッターキー４１５が押された状態となったことを検出してシャッター操作を開始した場合、シャッターキー４１５が押されていない状態となったことを検出したときシャッター操作の終了とすることもできる。さらに、制御部５０は、報知した移動方向に撮像装置１０の向きが移動したことを動き検出信号に基づいて検出してシャッター操作を開始した場合、報知した移動方向に撮像装置１０の向きが移動しなくなったときシャッター操作の終了とすることもできる。
【００６８】
ステップＳＴ１７で制御部５０は、撮像画像合成処理を行う。制御部５０は、信号処理部２４を制御して、ステップＳＴ１５とステップＳＴ１６の処理によって生成された複数枚の撮像画像を用いて動きベクトルを算出する。また、制御部５０は、算出した動きベクトルに基づいて、同じ被写体の画像が重なるように複数の撮像画像の合成を行って、１つの撮像画像よりも撮像範囲の広いパノラマ画像を、複数枚の撮像画像から生成してパノラマ撮像画像生成処理を終了する。
【００６９】
次に、パノラマ撮像処理の他の例について説明する。他の例では、複数の撮像画像を合成してパノラマ画像を生成するか、あるいは複数の撮像画像を記録媒体等に記録して、外部機器でパノラマ画像の生成を行うか選択可能とする場合を示している。図９は、パノラマ撮像処理の他の例を示すフローチャートである。ステップＳＴ２１で制御部５０は、撮像装置の動き方向を設定する。制御部５０は、いずれの方向に撮像装置のスイープや平行移動等を行ってパノラマ撮像画像の生成を行うか選択するための方向選択メニューを表示部３２に表示する。制御部５０は、ユーザがいずれの方向を選択したか、操作部４１からの操作信号に基づき判別して、判別した方向を撮像装置の動き方向に設定してステップＳＴ２２に進む。
【００７０】
ステップＳＴ２２で制御部５０は、シャッタースピードを判別する。制御部５０は、ユーザ操作によって設定されたシャッタースピード、あるいは予め設定されているシャッタースピードを判別してステップＳＴ２３に進む。
【００７１】
ステップＳＴ２３で制御部５０は、補正動作開始位置の設定を行う。制御部５０は、撮像方向の移動する方向に応じた方向に補正レンズ部１１３の補正レンズ１１３ａを変位させて補正動作開始位置とする。すなわち、制御部５０は、補正レンズ１１３ａを変位させて補正動作開始位置とすることで、撮像装置の動きに応じて補正レンズ１１３ａを移動させるときの移動開始位置から最大移動可能位置までの範囲である振れ補正可能範囲を広くする。また、制御部５０は、歪みや色収差、解像度等についての劣化の少ない撮像画像を得ることができるようにするため、露光期間すなわちシャッタースピードに応じて変位量を設定する。このように、制御部５０は、補正レンズ１１３ａを、スイープ方向に対して振れ補正の補正範囲が広くなる方向にシャッタースピードに応じた変位量だけ移動させてステップＳＴ２４に進む。
【００７２】
ステップＳＴ２４で制御部５０は、合成モードであるか否か判別する。制御部５０は、パノラマ撮像処理において複数の撮像画像を合成してパノラマ画像を生成する処理を行わない非合成モードが選択されているとき、ステップＳＴ２５に進む。また、制御部５０は、複数の撮像画像を合成してパノラマ画像を生成する合成モードが選択されているとき、ステップＳＴ２８に進む。
【００７３】
ステップＳＴ２４で制御部５０は、シャッター操作を開始してステップＳＴ２５に進む。制御部５０は、例えばシャッターキー４１５が押された状態となったことを検出したとき、シャッター操作の開始とする。
【００７４】
なお、シャッター操作を行う際には、表示部３２の画面上に撮像装置の動き方向を示す方向指示を行うものとすれば、撮像装置の動き方向を設定した方向とすることができる。
【００７５】
ステップＳＴ２５で制御部５０は、撮像画像生成処理を行う。制御部５０は、補正動作開始位置とされている補正レンズ１１３ａを動き検出信号に応じて駆動して、スイープ動作によって生じる振れに対する補正(動き補正）を行う。すなわち、制御部５０は、撮像装置１０の動きによるぼけが生じていない撮像画像を生成させてステップＳＴ２６に進む。ここで、補正動作開始位置は、撮像装置の動き方向に応じた方向に変位されて、補正可能な範囲が広くされている。したがって、撮像装置１０のスイープや平行移動等を行ったとき、補正動作開始位置を変位していない場合に比べて補正可能期間が長くなるので、露光時間を長くすることができる。また、補正動作開始位置は、シャッタースピードに応じて変位されているので、歪みや色収差、解像度等についての劣化の少ない画像の生成が行われる。例えば、シャッタースピードが速いとき、露光期間中の補正レンズ１１３ａの位置は、中心位置に近い位置となる。したがって、歪みや色収差、解像度等についての劣化の少ない撮像画像を生成できるようになる。
【００７６】
ステップＳＴ２６で制御部５０は、シャッター操作が終了されたか否か判別する。制御部５０は、シャッター操作が終了されていないと判別したときステップＳＴ２５に戻る。制御部５０は、ステップＳＴ２６からステップＳＴ２５に戻ると、撮像画像の露光期間と次の撮像画像の露光期間との間に、補正レンズ１１３ａを補正動作開始位置に戻す。その後、制御部５０は、再度動き検出信号に応じて補正レンズ１１３ａを駆動して、撮像装置１０のスイープや平行移動等が行われてもぼけの生じていない画像の生成を行う。また、制御部５０は、シャッター操作が終了されたと判別したときステップＳＴ２７に進む。
【００７７】
ステップＳＴ２７では、合成モードが選択されているか否か判別する。制御部５０は、合成モードが選択されているときステップＳＴ２８に進み、合成モードが選択されていないときは、パノラマ撮像処理を終了する。
【００７８】
ステップＳＴ２８で制御部５０は、撮像画像合成処理を行う。制御部５０は、信号処理部２４を制御して、ステップＳＴ２５とステップＳＴ２６の処理によって生成された複数枚の撮像画像を用いて動きベクトルを算出する。また、制御部５０は、算出した動きベクトルに基づいて、同じ被写体の画像が重なるように複数の撮像画像の合成を行って、１つの撮像画像よりも撮像範囲の広いパノラマ画像を、複数枚の撮像画像から生成してパノラマ撮像処理を終了する。
【００７９】
このようにすれば、複数の撮像画像の合成を撮像装置とは異なる機器、例えばコンピュータ装置等で行う場合、非合成モードを選択すれば、合成前の撮像画像を記録再生部３３で記録媒体に記録させることができる。なお、合成前の撮像画像は、有線や無線の通信経路を介してコンピュータ装置に送信するようにしてもよい。
【００８０】
次に、手振れ補正撮像処理について説明する。図１０は、手振れ補正撮像画像生成処理を示すフローチャートである。ステップＳＴ３１で制御部５０は、補正動作開始位置の設定を行う。手振れ補正撮像画像の生成では、撮像装置の動きに対する振れ補正の補正可能範囲が広くなるように補正動作開始位置を変位させる必要がない。すなわち、制御部５０は、補正レンズ１１３ａを、歪みや色収差、解像度等についての劣化の最も少ない画像の生成が行われる中央位置を補正動作開始位置とする。
【００８１】
ステップＳＴ３２で制御部５０は、シャッター操作を開始してステップＳＴ３３に進む。制御部５０は、例えばシャッターキー４１５が押された状態となったことを検出したとき、シャッター操作の開始とする。
【００８２】
ステップＳＴ３３で制御部５０は、撮像画像生成処理を行う。制御部５０は、補正動作開始位置とされている補正レンズ１１３ａを動き検出信号に応じて駆動して、撮像時の手振れに対する補正（手振れ補正）を行う。また、制御部５０は、手振れによるぼけを生じていない撮像画像を生成させてステップＳＴ３４に進む。
【００８３】
ステップＳＴ３４で制御部５０は、シャッター操作が終了されたか否か判別する。制御部５０は、シャッター操作が終了されていないと判別したときステップＳＴ３３に戻る。制御部５０は、ステップＳＴ３４からステップＳＴ３３に戻ると、再度、動き検出信号に応じて補正レンズ１１３ａを駆動して、手振れによるぼけが生じていない画像の生成を行う。
【００８４】
また、制御部５０は、シャッター操作が終了されたと判別したとき手振れ補正撮像処理を終了する。制御部５０は、例えば、シャッターキー４１５が押されていない状態となったことを検出したときシャッター操作の終了とする。制御部５０は、撮像画像生成処理をシャッター操作の終了まで繰り返し行い、複数枚の画像を生成して手振れ補正撮像処理を終了する。
【００８５】
このように、制御部５０は、パノラマ撮像モードであるとき、各撮像画像を生成するときの補正動作開始位置を、光軸に対してレンズ部と撮像素子の少なくとも一方を撮像方向の移動する方向に応じた方向に変位させる。また、制御部５０は、補正動作開始位置を変位させることで、撮像方向の移動に対する振れ補正の補正範囲を広く設定する。また、制御部５０は、変位されているレンズ部および／または撮像素子を、撮像装置の動きに応じて移動させる。さらに、補正動作開始位置の変位に伴い露光開始時の位置が変位する。したがって、ぼけの生じていない撮像画像を生成できる露光期間を、変位していない場合に比べて長くできる。このため、撮像方向に対する振れ補正の性能が改善されて、パノラマ画像の生成に適した振れ補正が行われることになり、例えば露光時間を長くしてもぼけの生じていない撮像画像の生成や、スイープ速度が速くてもぼけの生じていない撮像画像の生成が可能となる。また、パノラマ画像を生成する際に、被写体の明るさやスイープ速度等の制約が軽減されて、パノラマ画像を生成するための複数枚の撮像画像を容易に得ることができる。
【００８６】
また、制御部５０は、パノラマ撮像モードであるとき、シャッタースピードに応じて変位量を設定して補正動作開始位置を決定する。このため、補正動作開始位置の変位に伴い露光開始時の位置が変位されて、露光開始時の位置は、シャッタースピードに応じた変位量で光軸を中心とした位置から変位された位置となる。このようにシャッタースピードに応じて露光開始時の位置を変位させるとき、シャッタースピードが速い場合には、光軸を中心とした位置からの変位量をシャッタースピードが遅い場合に比べて少なくする。したがって、シャッタースピードが速い場合、すなわち露光期間が短いときは、露光期間中の補正レンズ１１３ａの位置が光軸に近い位置となるので、歪みや色収差、解像度等についての劣化の少ない撮像画像を生成できるようになる。
【００８７】
［１−４．パノラマ撮像画像の生成動作例（右方向にスイープ動作させる場合）］
次に、パノラマ撮像画像の生成動作、例えば右方向にスイープ動作させてパノラマ撮像画像を生成する場合の具体的動作について説明する。
【００８８】
撮像装置１０の撮像モードをパノラマ撮像モードとして、右方向にスイープ動作させる場合、ユーザは、図１１に示すように、撮像装置１０の向き（撮像方向）を矢印Ａで示すように右方向にスイープさせる。
【００８９】
撮像モードがパノラマ撮像モードに設定されて右方向にスイープ動作させる場合、制御部５０は、例えば表示部３２にスイープ方向を示す表示を設ける。また、制御部５０は、補正レンズ１１３ａの位置を中央位置からスイープ動作に対する補正可能範囲が広くなる方向に、シャッタースピードに応じた変位量だけ移動して補正動作開始位置として、この補正動作開始位置から振れ補正を開始させる。
【００９０】
その後、制御部５０は、シャッター操作を開始してパノラマ撮像処理を行う。図１２は、パノラマ撮像処理を説明するための図である。図１２の（Ａ）は、補正レンズ１１３ａの動きを示している。制御部５０は、補正動作開始位置とされている補正レンズ１１３ａを動き検出信号に応じて駆動する。したがって、補正レンズ１１３ａは、右方向のスイープによる画像の振れを防止するため補正動作開始位置から左方向に移動する。
【００９１】
また、制御部５０は、上述のように補正動作開始時または補正動作開始後に露光を開始して撮像画像の生成を行う。さらに、制御部５０は、露光期間中、振れ補正動作を動作状態として、動き検出信号に応じて補正レンズ１１３ａを駆動して、撮像装置の動きに応じて補正レンズ１１３ａを移動させることで撮像素子２１の撮像面上に結像される光学像の振れを補正する。したがって、撮像装置１０では、図１２の（Ｂ）に示すように、右方向のスイープを行ってもぼけの生じていない撮像画像ＰＧ1を生成できる。また、補正レンズ１１３ａの補正動作開始位置は、中央位置から右方向に変位されているので、補正動作開始位置を変位していない場合に比べて、撮像方向の移動に対する振れ補正の補正範囲が広くなる。したがって、補正動作開始位置を変位した場合と変位していない場合とでスイープ速度が等しいとき、補正動作開始位置の変位に伴い露光開始時の位置を変位することで、ぼけの生じていない撮像画像を生成できる露光期間を変位していない場合に比べて長くできる。また、露光開始時の位置を変位した場合と露光開始時の位置を変位していない場合で露光時間が等しいとき、露光開始時の位置を変位することで、ぼけの生じていない撮像画像の生成が可能なスイープ速度を、変位していない場合に比べて速くできる。
【００９２】
制御部５０は、１枚の撮像画像を生成したとき、シャッター操作が終了されていない場合、撮像画像ＰＧ1の露光期間と次の撮像画像の露光期間との間に、補正レンズ１１３ａを補正動作開始位置に戻す。その後、制御部５０は、再度補正動作開始位置から補正レンズ１１３ａを動き検出信号に応じて駆動する。なお、図１２の（Ａ）では、補正動作開始位置に補正レンズ１１３ａを戻す処理が行われる期間を期間ＲＰとして示している。このように、補正レンズ１１３ａを補正動作開始位置に戻してから、再度、動き検出信号に応じて駆動することで、撮像装置１０をスイープさせてもぼけの生じていない撮像画像ＰＧ2を生成できる。
【００９３】
このような処理を繰り返して行い、制御部５０は、例えば撮像画像ＰＧ5を生成したときにシャッター操作の終了と判別した場合、撮像処理を終了する。したがって、順次生成された撮像画像ＰＧ1〜ＰＧ5は、図１３に示すように、撮像方向が順次右方向に切り換えられた画像となる。
【００９４】
このように、パノラマ撮像モードで撮像方向を右に移動させる場合、制御部５０は、補正レンズ１１３ａを右方向に変位させるので、撮像方向の移動に対する振れ補正の補正範囲が広くなる。また、制御部５０は、この状態から動き検出センサで検出された動きに応じてレンズ部と撮像素子の少なくとも一方を変位させる。このため、例えば被写体が暗いことから露光時間を長くしてもぼけの生じていない撮像画像を生成できる。また、右方向のスイープ速度が速くてもぼけの生じていない撮像画像を生成できる。さらに、被写体の明るさやスイープ速度等の制約が軽減されて、パノラマ画像の生成を容易に行うことができる。
【００９５】
信号処理部２４は、順次に生成した撮像画像ＰＧ1〜ＰＧ5から動きベクトルを算出して、または動き検出信号に基づき動きベクトルを検出する。また、信号処理部２４は、この動きベクトルに基づいて、被写体の画像が重なり合うように撮像画像ＰＧ1〜ＰＧ5の位置あわせを行い、撮像画像ＰＧ1〜ＰＧ5を合成して、１枚の撮像画像よりも撮像範囲の広い、図１２の（Ｃ）に示すパノラマ画像を生成する。
【００９６】
図１４〜図１５は、シャッタースピードに応じた変位量だけ補正動作開始位置を変位させた場合の動作、図１６はシャッタースピードにかかわらず変位量を最大としている場合を示している。
【００９７】
図１４の（Ａ），図１５の（Ａ），図１６の（Ａ）は、動き検出部４２からの動き検出信号を示している。図１４の（Ｂ），図１５の（Ｂ），図１６の（Ｂ）は、手振れ補正要求フラグを示しており、フラグがハイレベル「Ｈ」の期間、振れ補正を行うように動き検出信号に応じて補正レンズ１１３ａの位置が制御される。図１４の（Ｃ），図１５の（Ｃ），図１６の（Ｃ）は、撮像素子２１としてＣＭＯＳ（Complementary Metal Oxide Semiconductor）型イメージ部を用いたときの電荷読み出し動作を示している。図１４の（Ｄ），図１５の（Ｄ），図１６の（Ｄ）は、補正レンズ１１３ａの補正方向に対する位置を示している。なお、図１４の（Ｄ），図１５の（Ｄ），図１６の（Ｄ）において、破線は補正レンズ１１３ａの移動可能範囲を示している。
【００９８】
シャッタースピードが遅い（露光期間が長い）場合、制御部５０は、補正動作開始位置の変位量をシャッタースピードが速い（露光期間が短い）場合に比べて多くする。例えば、図１４の（Ｄ）に示すように、例えば移動可能範囲の限界位置とする。このように変位量を多くすると、図１４の（Ｃ）に示すように露光期間が長くても、図１４の（Ｄ）に示すように、スイープ動作に対応して補正レンズ１１３ａを移動させることができる。
【００９９】
シャッタースピードが速い（露光期間が短い）場合、図１５の（Ｄ）に示すように、シャッタースピードが遅い場合に比べて補正動作開始位置の変位量を少なくする。このように、変位量を少なくすると、露光期間中の補正レンズ１１３ａの位置は、図１６の（Ｄ）に示すように変位量が多い場合に比べて中央位置に近くなる。したがって、図１６に示すように、シャッタースピードにかかわらず、露光開始時の位置が変位量の多い位置である場合に比べて、歪みや色収差，解像度等についての劣化が少ない撮像画像を得ることができる。
【０１００】
また、歪みや色収差，解像度等についての劣化が少ない撮像画像を得ることができるので、パノラマ画像の生成を行う場合、例えば撮像画像からの動きベクトルの算出を精度よくかつ容易に行うことが可能となる。また、撮像画像の合成後のパノラマ画像も歪みや色収差，解像度等についての劣化が少ない画像とすることができる。
【０１０１】
＜２．第２の実施の形態＞
次に、第２の実施の形態について説明する。第２の実施の形態では、撮像装置の動きが明らかである場合を示している。撮像装置を用いて撮像画像の生成を行う場合、手持ち状態で撮像を行う場合だけでなく、雲台を用いた撮像も行われている。また、雲台によって撮像装置の撮像方向を自動的に移動させることも行われている。このように、雲台によって撮像装置の撮像方向を自動的に移動させる場合、撮像方向をどちらの方向にどのような速度で移動（あるいは回転）させて撮像を行うかを示す移動制御情報を撮像装置が有していれば、動き検出センサからの動き検出信号を用いることなく撮像装置の動きを判別できる。したがって、撮像装置は、移動制御情報に基づきレンズ制御信号や位置制御信号を生成することで、第１の実施の形態と同様に、撮像装置の動きによる振れを補正して、パノラマ画像の生成に用いる複数枚の撮像画像を生成できる。
【０１０２】
［２−１．撮像装置の構成］
図１７は、第２の実施の形態の構成を示す図であり、雲台を利用して撮像方向の移動を行う場合を示している。なお、図１７において、図１と対応する部分については同一符号を付している。
【０１０３】
撮像装置１０ａは、撮像光学系ブロック１１、ドライバ１２、撮像光学系センサ部１３、撮像素子２１、タイミング信号発生（ＴＧ）部２２、アナログフロントエンド（ＡＦＥ）部２３、信号処理部２４、検波部２５を備えている。さらに撮像装置１０は、画像出力部３１、表示部３２、記録再生部３３、操作部４１、雲台対応通信部４３、制御部５０ａを備えている。
【０１０４】
撮像光学系ブロック１１は、上述のようにレンズ部１１ａ、絞り機構１１ｂを備えている。レンズ部１１ａは、ズームレンズ１１１、フォーカスレンズ１１２、補正レンズ部１１３で構成されている。
【０１０５】
ドライバ１２は、後述する制御部５０ａからのレンズ制御信号に基づきズームレンズ１１１やフォーカスレンズ１１２および補正レンズ部１１３のアクチュエータを駆動する。また、ドライバ１２は、制御部５０ａからの絞り制御信号に基づき絞り機構１１ｂを駆動する。
【０１０６】
撮像光学系センサ部１３は、ズームレンズ１１１やフォーカスレンズ１１２のレンズ位置、補正レンズ部１１３の変位状態（補正レンズ部１１３の変位位置や補正角と同等）、および絞り機構１１ｂの設定位置を検出して位置信号を制御部５０ａに供給する。
【０１０７】
撮像素子２１は、撮像光学系ブロック１１によって撮像面上に形成された光学像を電気信号に変換してＡＦＥ部２３に出力する。
【０１０８】
ＴＧ部２２は、撮像素子２１で撮像画像を示す電気信号の出力を行うために必要とする各種の駆動パルス、並びに撮像素子２１の電荷蓄積時間を制御する電子シャッターパルス等を生成する。
【０１０９】
ＡＦＥ部２３は、撮像素子２１から出力された電気信号（画像信号）に対して、ノイズ除去処理や利得制御、ノイズ除去処理や利得制御が行われたアナログの撮像信号をディジタル信号に変換する処理等を行う。
【０１１０】
信号処理部２４は、カメラ信号前処理やカメラ信号処理、解像度変換処理、圧縮伸張処理等を行う。さらに、撮像装置１０ａでパノラマ画像の生成を行う場合、信号処理部２４は撮像画像を用いて動きベクトルの算出を行い、この算出した動きベクトルを利用して同じ被写体の画像が重なるように複数の撮像画像の合成を行って、パノラマ画像を生成する。また、撮像画像の合成は、撮像方向の移動速度や方向を示す情報を用いてもよい。この場合、動きベクトルが正しく得られなくとも、同じ被写体の画像が重なるように複数の撮像画像を合成することが可能となる。
【０１１１】
検波部２５は、信号処理部２４に供給された撮像信号を用いて、被写体の明るさレベルやフォーカス状態の検出を行い、明るさレベルやフォーカス状態を示す検波信号を生成して制御部５０ａに供給する。
【０１１２】
画像出力部３１は、信号処理部２４で処理された画像信号を、撮像装置１０と接続される外部機器に対応したフォーマットの画像信号に変換して出力する。
【０１１３】
表示部３２は、撮像装置１０によって撮像されている画像や、記録再生部３３で再生された撮像画の表示を行う。また、表示部３２は、撮像装置１０の設定等を行うためのメニュー表示等も行う。
【０１１４】
記録再生部３３は、信号処理部２４から出力された撮像画の画像信号や符号化信号を記録媒体に記録する。また、記録再生部３３は、記録媒体に記録されている画像信号を読み出して画像出力部３１や表示部３２に供給する処理や、記録媒体に記録されている符号化信号を読み出して信号処理部２４に供給する処理を行う。
【０１１５】
操作部４１は、ユーザ操作に応じた操作信号を生成して制御部５０ａに供給する。
【０１１６】
雲台対応通信部４３は、例えば撮像装置１０ａが雲台６０に対して取り付けられた状態において、雲台６０の通信部との間で有線若しくは無線による通信信号の送受信を可能とするための構成を有している。雲台対応通信部４３は、撮像装置１０ａとの間で所定の通信方式にしたがった通信を実行する。
【０１１７】
制御部５０ａは、ＣＰＵ（Central Processing Unit）やメモリ等で構成されている。メモリには、ＣＰＵが実行するプログラムや各種データが記憶されている。このメモリとしては、例えばＥＥＰＲＯＭ（Electronically Erasable and Programmable ROM）、フラッシュメモリなどの不揮発性メモリが用いられる。制御部５０ａのＣＰＵはメモリに記憶されているプログラムを実行して、メモリに記憶されている各種データや操作部４１から供給された操作信号に基づき、撮像装置１０ａの動作がユーザ操作に応じた動作となるように各部を制御する。例えば、制御部５０ａは、シャッター操作をユーザが行ったとき、ＴＧ部２２等の動作を制御して、所望のシャッター速度で撮像した静止画の符号化信号等を記録再生部３３の記録媒体に記録させる。また、動画記録開始操作が行われたときは、動画の符号化信号等を記録再生部３３の記録媒体に記録させる。
【０１１８】
また、制御部５０ａは、モード選択操作をユーザが行ったとき、ユーザによって選択されたモードで撮像動作等を行う。また、制御部５０ａは、撮像光学系センサ部１３から供給された位置信号や、検波部２５から供給された検波信号に基づき、レンズ制御信号や絞り制御信号を生成してドライバ１２に供給する。したがって、ドライバ１２によって、所望の明るさでピントの合った撮像画像が得られるようにフォーカスレンズ１１２や絞り機構１１ｂが駆動される。また、制御部５０ａは、ズーム操作をユーザが行ったとき、レンズ制御信号を生成してドライバ１２に供給することで、所望のズーム比の撮像画像が得られるようにズームレンズ１１１を駆動する。
【０１１９】
さらに、制御部５０ａは、雲台６０によって撮像方向を移動しながら複数枚の撮像画像の生成を行う際に、変位させる補正レンズおよび／または撮像素子における各撮像画像の補正動作開始位置を、撮像方向の移動する方向に応じた方向に変位させる。また、制御部５０ａは、撮像装置１０ａの動きに応じて、補正レンズと撮像素子の少なくとも一方を変位させることで、撮像素子の撮像面上に結像される光学像の撮像装置の動きに応じた振れの補正を行う。さらに、制御部５０ａは、変位させる補正レンズおよび／または撮像素子における各撮像画像の補正動作開始位置を、撮像方向の移動する方向に応じた方向に変位させて、撮像方向の移動に対する振れ補正の補正範囲を広くする。
【０１２０】
なお、以下の説明では、補正レンズを変位させることで、撮像装置の動きに対する振れ補正を行う場合について説明する。
【０１２１】
［２−２．雲台の構成］
図１８は、雲台の構成を例示したブロック図である。雲台６０は、パン・チルト機構を備えるものであり、これに対応する部位として、パンモータ６４、パン機構部６５、チルトモータ６７、チルト機構部６８を備える。
【０１２２】
通信部６１は、雲台対応通信部４３と対応して構成されており、雲台６０に取り付けられた撮像装置１０ａの雲台対応通信部４３との間で所定の通信方式にしたがって有線若しくは無線による通信を実行する。
【０１２３】
雲台制御部６２は、ＣＰＵやメモリ等を用いて構成されている。雲台制御部６２のＣＰＵはメモリに記憶されているプログラムを実行して、パン動作やチルト動作を雲台６０で行わせる。雲台制御部６２は、パン動作を行うとき、パン動作制御信号をパン駆動部６３に出力する。また、雲台制御部６２は、チルト動作を行うとき、チルト動作制御信号をチルト駆動部６６に出力する。
【０１２４】
パン駆動部６３は、パン動作制御信号に基づきモータ駆動信号を生成してパンモータ６４に出力する。また、チルト駆動部６６は、チルト動作制御信号に基づきモータ駆動信号を生成してチルトモータ６７に出力する。
【０１２５】
パンモータ６４は、雲台６０に取り付けられた撮像装置１０ａに対して、パン（水平）方向の動きを与えるためのパン機構部６５に設けられている。パンモータ６４は、モータ駆動信号に基づき正方向または逆方向にスイープすることで、パン機構部６５によって撮像装置１０ａに対してパン方向の動きを与える。
【０１２６】
チルトモータ６７は、雲台６０に取り付けられた撮像装置１０ａに対して、チルト（垂直）方向の動きを与えるためのチルト機構部６８に設けられている。チルトモータ６７は、モータ駆動信号に基づき正方向または逆方向にスイープすることで、チルト機構部６８によって撮像装置１０ａに対してチルト方向の動きを与える。
【０１２７】
［２−３．撮像装置の動作］
図１９は、第２の実施の形態の動作を示すフローチャートである。ステップＳＴ４１で制御部５０ａは、移動制御情報を取得する。制御部５０ａは、撮像方向をどちらの方向にどのような速度で移動（あるいは回転）させて撮像を行うかを示す移動制御情報を取得してステップＳＴ４２に進む。この移動制御情報は、撮像装置１０ａに予め記憶されていてもよく、ユーザ操作に応じて生成するようにしてもよい。また、雲台６０との通信によって、雲台６０から移動制御情報を取得する構成であってもよい。さらに、撮像方向の移動速度は、撮像装置１０ａまたは雲台６０で自動的に決定するようにしてもよい。例えば、撮像装置１０ａの検波部２５では被写体の明るさレベルを検出していることから、検出された明るさレベルに応じて撮像方向の移動速度を設定する。ここで、撮像素子の露光期間を可変して所望の明るさの撮像画像を生成する場合、撮像画像が暗くなると露光期間が長くなる。したがって、被写体が暗いときには、露光時間が長くなっても、撮像装置１０ａの動きに対する振れ補正が行われた撮像画像を生成できるように、撮像方向の移動速度を低下させる。また、図１８に示すように、雲台６０に明るさ検出センサ６９を設けて、明るさ検出センサ６９で検出された被写体の明るさに応じて、雲台６０あるいは撮像装置１０ａで撮像方向の移動速度を設定する構成としてもよい。このように、撮像装置１０ａや雲台６０は、検出された明るさに応じて撮像装置の動き速度を制御する。
【０１２８】
ステップＳＴ４２で制御部５０ａは、シャッタースピードを判別する。制御部５０ａは、ユーザ操作によって設定されたシャッタースピード、あるいは予め設定されているシャッタースピードを判別してステップＳＴ４３に進む。また、被写体の明るさに応じて露光期間が可変される場合、被写体の明るさに応じて設定された露光期間からシャッタースピードを判別する。
【０１２９】
ステップＳＴ４３で制御部５０ａは、補正動作開始位置を設定する。制御部５０ａは、ステップＳＴ１３と同様にして、補正動作開始位置を設定する。すなわち、制御部５０ａは、移動制御情報に基づいて判別した撮像装置１０ａの動き方向に応じた方向に、補正レンズ部１１３の補正レンズを変位させて補正動作開始位置とすることで、振れ補正の補正可能範囲を広くする。また、制御部５０ａは、歪みや色収差、解像度等についての劣化の少ない撮像画像を得ることができるようにするため、露光期間すなわちシャッタースピードに応じて変位量を設定してステップＳＴ４４に進む。
【０１３０】
ステップＳＴ４４で制御部５０ａは、シャッター操作を開始してステップＳＴ４５に進む。シャッター操作の開始は、例えば雲台６０によって撮像方向の移動が開始されたとき、シャッター操作の開始とする。
【０１３１】
ステップＳＴ４５で制御部５０ａは、撮像画像生成処理を行う。制御部５０ａは、ステップＳＴ１５と同様に、補正動作開始位置とされている補正レンズ１１３ａを撮像方向の移動速度に応じて駆動して、撮像装置の動きによって生じる光学像の振れを補正する。また、制御部５０ａは、シャッタースピードに応じて変位量を設定して補正動作開始位置を決定する。さらに、制御部５０ａは、露光期間中、振れ補正動作を動作状態とすることで、撮像装置１０ａの動きによるぼけがなく、歪みや色収差、解像度等についての劣化の少ない撮像画像を生成させてステップＳＴ４６に進む。
【０１３２】
ステップＳＴ４６で制御部５０ａは、シャッター操作が終了されたか否か判別する。制御部５０ａは、雲台６０によって行われている撮像方向の移動が終了するとき、または撮像方向の移動が所定量となったとき、シャッター操作の終了と判別してステップＳＴ４７に進む。また、シャッター操作が終了されていないと判別したとき補正レンズ１１３ａを補正動作開始位置に戻してステップＳＴ４５に戻る。制御部５０ａは、ステップＳＴ４６からステップＳＴ４５に戻ると、撮像画像の露光期間と次の撮像画像の露光期間との間に、補正レンズ１１３ａを補正動作開始位置に戻す。その後、制御部５０ａは、再度撮像方向の移動速度に応じて補正レンズ１１３ａを駆動して、撮像装置１０ａの動きによるぼけがなく、歪みや色収差、解像度等についての劣化の少ない撮像画像の生成を行う。
【０１３３】
ステップＳＴ４７で制御部５０ａは、撮像画像合成処理を行う。制御部５０ａは、信号処理部２４を制御して、ステップＳＴ１５とステップＳＴ１６の処理によって生成された複数枚の撮像画像を用いて動きベクトルを算出する。また、制御部５０ａは、算出した動きベクトルに基づいて、同じ被写体の画像が重なるように複数の撮像画像の合成を行って、１つの撮像画像よりも撮像範囲の広いパノラマ画像を、複数枚の撮像画像から生成してパノラマ撮像画像生成処理を終了する。
【０１３４】
ステップＳＴ４７で制御部５０ａは、ステップＳＴ４５で生成した撮像画像を記録再生部３３で記録媒体に記録させる。
【０１３５】
このように、制御部５０ａは、パノラマ撮像モードであるとき、各撮像画像の補正動作開始位置を、光軸に対してレンズ部と撮像素子の少なくとも一方を撮像方向の移動する方向に応じた方向に変位させて、撮像方向の移動に対する振れ補正の補正範囲を広くする。さらに、制御部５０ａは、変位されているレンズ部および／または撮像素子を、撮像装置の動きに応じて移動させる。このため、撮像装置１０ａを雲台６０に取り付けて、雲台６０によって撮像方向を移動させる場合でも、撮像方向に対する振れ補正の性能が改善されて、パノラマ画像の生成に適した振れ補正が行われて、露光時間やスイープ速度にかかわらずぼけの生じていない撮像画像の生成が可能となる。したがって、パノラマ画像を生成する際に、被写体の明るさやスイープ速度等の制約が軽減されて、パノラマ画像の生成を容易に行うことができる。
【０１３６】
さらに、制御部５０ａは、パノラマ撮像モードであるとき、シャッタースピードに応じて変位量を設定して補正動作開始位置を決定する。このとき、補正動作開始位置の変位に伴い露光開始時の位置が変位されて、露光開始時の位置は、シャッタースピードに応じた変位量で光軸を中心とした位置から変位となる。このため、撮像装置１０ａを雲台６０に取り付けて、雲台６０によって撮像方向を移動させる場合でも、シャッタースピードが速いとき、露光期間中の補正レンズ１１３ａの位置を光軸に近い位置とすることができる。したがって、歪みや色収差、解像度等についての劣化の少ない撮像画像を生成できるようになる。
【０１３７】
なお、撮像画像合成処理を撮像装置で行う場合、撮像画像合成処理を行うステップを設けて、撮像画像合成処理で生成されたパノラマ画像を記録媒体に記録するようにしてもよい。
【０１３８】
また、本発明は、上述した発明の実施の形態に限定して解釈されるべきではない。露光期間は、シャッタースピード以外にも、例えばパノラマ画像の生成で合成される複数枚の撮像画像生成時のフレームレートに応じて変化する。フレームレートが可変であって１フレーム期間の蓄積電荷を読み出して画像信号を生成する場合、フレームレートが高いと露光時間は短く、フレームレートが低いと露光時間が長くなる。したがって、合成される複数枚の撮像画像生成時のフレームレートに応じてオフセット量の設定を行うものとしてもよい。また、撮像装置の動きを検出できる構成であれば、上述のように角速度検出部や加速度検出部を用いた構成に限られない。例えば、撮像画像から撮像装置の振れを検出するようにしてもよい。
【０１３９】
さらに、レンズ交換が可能な撮像装置である場合、補正レンズをレンズ側に設けた構成としてもよく、補正レンズを撮像装置の本体側に設けた構成としてもよい。また、例えば補正レンズや補正レンズを駆動する駆動部をレンズ側に設けて、他の構成要素を撮像装置の本体側に設けた構成としてもよい。また、上述のように、撮像装置の本体側に設けた撮像素子を撮像装置の動きに応じて移動させてもよい。
【０１４０】
この発明の実施の形態は、例示という形態で本発明を開示しており、本発明の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【産業上の利用可能性】
【０１４１】
この発明の撮像装置および撮像方法は、駆動部によって、光軸に対してレンズ部と撮像素子の少なくとも一方が変位される。また、複数枚の撮像画像からパノラマ画像を生成するために撮像方向を移動しながら前記複数枚の撮像画像の生成を行う際に、各撮像画像の露光開始時における前記レンズ部および／または撮像素子の位置が、変位させるレンズ部および／または撮像素子における各撮像画像の露光開始時の位置が、制御部によって、撮像方向の移動する方向に応じた方向に駆動部で変位される。また、変位されているレンズ部および／または撮像素子を、当該撮像装置の動きに応じて駆動部によって変位させる制御が制御部で行われて、撮像方向の移動に伴って生じる振れの補正が行われる。さらに、露光期間中における変位が小さくなるように、露光期間の長さに応じて露光開始時の変位量が設定される。したがって、パノラマ画像の生成に適した振れ補正を行うことが可能となり、パノラマ画像を生成するための複数枚の撮像画像を、歪みや色収差、解像度等についての劣化の少ない良好な画質で容易に得ることができるようになり、パノラマ画像の生成等を行うディジタルカメラ等に適している。
【符号の説明】
【０１４２】
１０，１０ａ・・・撮像装置、１１・・・撮像光学系ブロック、１１ａ・・・レンズ部、１１ｂ・・・絞り機構、１２・・・ドライバ、１３・・・撮像光学系センサ部、２１・・・撮像素子、２１ａ，１１３ｂ・・・アクチュエータ、２２・・・ＴＧ部、２３・・・ＡＦＥ部、２４・・・信号処理部、２５・・・検波部、３１・・・画像出力部、３２・・・表示部、３３・・・記録再生部、４１・・・操作部、４２・・・動き検出部、４３・・・雲台対応通信部、５０，５０ａ・・・制御部、６０・・・雲台、６１・・・通信部、６２・・・雲台制御部、６３・・・パン駆動部、６４・・・パンモータ、６５・・・パン機構部、６６・・・チルト駆動部、６７・・・チルトモータ、６８・・・チルト機構部、１１１・・・ズームレンズ、１１２・・・フォーカスレンズ、１１３・・・補正レンズ部、１１３ａ・・・補正レンズ、４１１・・・メニューキー、４１２ａ〜４１２ｄ・・・方向キー、４１３・・・決定キー、４１５・・・シャッターキー
【技術分野】
【０００１】
この発明は、撮像装置と撮像方法に関する。詳しくは、パノラマ画像を生成するための複数枚の撮像画像を良好な画質で容易に得ることができるようにする。
【背景技術】
【０００２】
従来、例えば撮像装置を用いてパノラマ画像を得るためには、特許文献１のように、撮像領域を少しずつ移動させて撮像を行い、撮像開始点から連続的にフレーム（あるいはフィールド）画像を記録する。そして、記録された撮像画像に対して、位置的に隣接する撮像画像の重複部分を抽出し、この重複部分に対して所定の演算を行うことによって、それぞれの撮像画像がシームレスに合成されてパノラマ画像が生成される。
【０００３】
例えば、ユーザは、撮像方向を水平方向に移動させながら撮像を行い、複数枚の撮像画像を記録する。この撮像画像に対して重複部分に適当な処理を加えながら撮像画像をシームレスに繋ぐことで、横長のパノラマ画像を得ることができる。
【０００４】
また、撮像方向を移動しながら撮像を行うとき、この移動方向と逆方向に光軸可変素子を変化させて、光軸がリニアに移動している間にシャッターを開放して、シャッターが閉じている間に速やかに光軸を元に戻す動作を繰り返して複数枚の撮像画像を記録する。このようにすれば、撮像装置を素早く動かしても解像度が悪くならず、シャッタースピードを速くしなくても、良好なパノラマ画像を生成できる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１１−８８７５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、撮像装置では、手振れに応じて光軸を変化させて、手振れによる画像のぼけを防止する手振れ補正機能が設けられている。しかし、手振れ補正機能は、手振れによる画像のぼけを防止する機能であり、パノラマ画像に用いられる撮像画像を生成するための機能ではない。
【０００７】
また、露光期間中は撮像装置の動きに応じてレンズ部と撮像素子の少なくとも一方を光軸に対して変位させて振れ補正を行う場合、撮像画像は、変位が大きくなると歪みや色収差，解像度等についての劣化した画像となってしまう。ここで、例えば撮像装置のスイープや平行移動等を行っても撮像装置の動きに応じた振れを生じないように振れ補正を行う場合、撮像装置は、撮像装置の動きに対する振れ補正の補正可能範囲が最大となるようにレンズ部と撮像素子の少なくとも一方を変位させる。このように、振れ補正の補正可能範囲が最大となるようにレンズ部と撮像素子の少なくとも一方を光軸に対して変位させておくことで、撮像装置は、露光期間が長くなっても撮像装置の動きに対応した振れ補正を行うことができるようになる。しかし、変位の大きい位置から振れ補正を開始した場合、撮像装置は、露光期間が短いとき、変位が少ない状態である期間の割合が少なくなる。また、変位が最小となる前に露光期間を終了してしまう場合がある。したがって、撮像装置で得られる撮像画像は、歪みや色収差，解像度等についての劣化した画像となってしまう。
【０００８】
そこで、この発明では、パノラマ画像を生成するための複数枚の撮像画像を良好な画質で容易に得られる撮像装置と撮像方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
この発明の第１の側面は、光軸に対してレンズ部と撮像素子の少なくとも一方を変位させる駆動部と、当該撮像装置の動きに応じて、前記レンズ部と前記撮像素子の少なくとも一方を前記駆動部によって変位させる制御部とを有し、前記制御部は、複数枚の撮像画像からパノラマ画像を生成するために撮像方向を移動しながら前記複数枚の撮像画像の生成を行う際に、各撮像画像の露光開始時における前記レンズ部および／または撮像素子の位置を、前記撮像方向の移動する方向に応じた方向に変位させて、露光期間中における前記変位が小さくなるように、前記露光期間の長さに応じて前記露光開始時の変位量を設定する撮像装置。
【００１０】
この発明において、複数枚の撮像画像からパノラマ画像を生成するために撮像方向を移動しながら複数枚の撮像画像の生成を行うとき、レンズ部または撮像素子の少なくとも一方が、光軸を中心とした位置から光軸に対して垂直な面内で撮像方向の移動する方向に応じた方向に変位されて、振れ補正範囲が広くされる。また、レンズ部または撮像素子の少なくとも一方が、光軸を中心とした位置から変位されて露光が開始される。また、露光期間中は、変位されているレンズ部および／または撮像素子が撮像装置の動きに応じて移動されて、撮像素子の撮像面上に結像される光学像の撮像装置の動きに応じた振れが補正される。さらに、撮像素子の露光期間例えばシャッタースピードやフレームレートに応じて露光開始時の位置の変位量を設定する。例えば露光期間が短いとき、すなわち振れ補正を行う期間が短いときは変位量を少なくして、露光期間中における変位を小さくする。
【００１１】
この発明の第２の側面は、駆動部によって、光軸に対してレンズ部と撮像素子の少なくとも一方を変位させるステップと、制御部によって、当該撮像装置の動きに応じて、前記レンズ部と撮像素子の少なくとも一方を前記駆動部で変位させるステップと、複数枚の撮像画像からパノラマ画像を生成するために撮像方向を移動しながら前記複数枚の撮像画像の生成を行う際に、前記制御部によって、各撮像画像の露光開始時における前記レンズ部および／または撮像素子の位置を、前記撮像方向の移動する方向に応じた方向に変位させて、露光期間中における前記変位が小さくなるように、前記露光期間の長さに応じて前記露光開始時の変位量を設定するステップを備える撮像方法にある。
【発明の効果】
【００１２】
この発明によれば、駆動部によって、光軸に対してレンズ部と撮像素子の少なくとも一方が変位される。また、複数枚の撮像画像からパノラマ画像を生成するために撮像方向を移動しながら前記複数枚の撮像画像の生成を行う際に、各撮像画像の露光開始時における前記レンズ部および／または撮像素子の位置が、制御部によって、撮像方向の移動する方向に応じた方向に駆動部で変位される。また、変位されているレンズ部および／または撮像素子を、当該撮像装置の動きに応じて駆動部によって変位させる制御が制御部で行われて、撮像方向の移動に伴って生じる振れの補正が行われる。さらに、露光期間中における変位が小さくなるように、露光期間の長さに応じて露光開始時の変位量が設定される。したがって、パノラマ画像の生成に適した振れ補正を行うことが可能となり、パノラマ画像を生成するための複数枚の撮像画像を、歪みや色収差、解像度等について劣化の少ない良好な画質で容易に得ることができる。
【図面の簡単な説明】
【００１３】
【図１】第１の実施の形態の構成を示す図である。
【図２】撮像装置の動きと撮像素子の撮像面上に結像される光学像の位置の関係を説明するための図である。
【図３】撮像装置の外観を例示した図である。
【図４】第１の実施の形態の動作を示すフローチャートである。
【図５】メニュー表示が行われた状態を示す図である。
【図６】パノラマ撮像処理を示すフローチャートである。
【図７】スイープ方向が右方向であるときの補正レンズの補正動作開始位置を示す図である。
【図８】シャッタースピードとオフセット量の関係を例示した図である。
【図９】パノラマ撮像処理の他の例を示すフローチャートである。
【図１０】手振れ補正撮像処理を示すフローチャートである。
【図１１】撮像装置のスイープ動作を説明するための図である。
【図１２】パノラマ撮像処理を説明するための図である。
【図１３】右方向のスイープ動作を行ったときに生成される撮像画像を説明するための図である。
【図１４】シャッタースピードに応じてオフセット量を切り換えた場合の動作（シャッタースピードが遅い場合）を説明するための図である。
【図１５】シャッタースピードに応じてオフセット量を切り換えた場合の動作（シャッタースピードが速い場合）を説明するための図である。
【図１６】シャッタースピードにかかわらずオフセット量を最大としている場合の動作を説明するための図である。
【図１７】第２の実施の形態の構成を示す図である。
【図１８】雲台の構成を示した図である。
【図１９】第２の実施の形態の動作を示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下、発明を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態
１−１．撮像装置の構成
１−２．撮像装置の外観
１−３．撮像装置の動作
１−４．パノラマ撮像画像の生成動作例
２．第２の実施の形態
２−１．撮像装置の構成
２−２．撮像装置の動作
＜１．第１の実施の形態の構成＞
［１−１．撮像装置の構成］
【００１５】
図１は、本発明の撮像装置の構成を示すブロック図である。撮像装置１０は、撮像光学系ブロック１１、ドライバ１２、撮像光学系センサ部１３、撮像素子２１、タイミング信号発生（ＴＧ）部２２、アナログフロントエンド（ＡＦＥ）部２３、信号処理部２４、検波部２５を備えている。さらに撮像装置１０は、画像出力部３１、表示部３２、記録再生部３３、操作部４１、動き検出部４２、制御部５０を備えている。
【００１６】
撮像光学系ブロック１１は、レンズ部１１ａと撮像素子２１の撮像面上に形成される光学像の光量調節する絞り機構１１ｂを備えている。レンズ部１１ａは、例えば変倍を行うズームレンズ１１１、フォーカシングを行うフォーカスレンズ１１２、後述する撮像素子２１の撮像面上に形成される光学像の位置を撮像面上で移動させる補正レンズ部１１３で構成されている。
【００１７】
補正レンズ部１１３は、例えば光軸が撮像光学系の光軸と一致するように設けられた補正レンズと、この補正レンズを撮像光学系の光軸に対して直交する方向に移動させるアクチュエータ等で構成されている。このような構成の補正レンズ部１１３は、アクチュエータによって、補正レンズを撮像光学系の光軸に対して垂直な面内で、光軸を中心とした位置から変位させる。
【００１８】
また、補正レンズ部１１３は、可変頂角プリズムユニットを用いるようにしてもよい。可変頂角プリズムユニットは、ベローズ等の折り曲げ自在な筒の端面に透光性を有する入射端板と出射端板を設け、筒内に所望の屈折率を持った透光性の液体を封入したものである。可変頂角プリズムユニットを用いる場合、入射端板または出射端板の一方を固定して、他方をアクチュエータで駆動して光学楔を形成する。このような構成の補正レンズ部は、例えば入射端板に対する出射端板の傾斜角度を変位させて、撮像面上に形成される光学像の位置を撮像面上で移動させる。
【００１９】
さらに、レンズ部１１ａは、撮像面上に光学像を結像させる構成であって、光軸に対して垂直な面内で変位することにより撮像面上に結像される光学像の位置を撮像面上で移動できる構成であれば他の構成であってもよい。したがって、レンズ部１１ａは、ズームレンズ１１１とフォーカスレンズ１１２および補正レンズ部１１３によって構成される場合に限られるものではない。
【００２０】
ドライバ１２は、後述する制御部５０からのレンズ制御信号に基づきズームレンズ１１１やフォーカスレンズ１１２および補正レンズ部１１３のアクチュエータを駆動する。また、ドライバ１２は、制御部５０からの絞り制御信号に基づき絞り機構１１ｂを駆動する。
【００２１】
撮像光学系センサ部１３は、ズームレンズ１１１やフォーカスレンズ１１２のレンズ位置、補正レンズ部１１３の変位状態（補正レンズ部１１３の変位位置や補正角と同等）、および絞り機構１１ｂの設定位置を検出して位置信号を制御部５０に供給する。
【００２２】
撮像素子２１は、例えばＣＣＤ（Charge Coupled Devices）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型イメージ部などの撮像素子が用いられている。撮像素子２１は、撮像光学系ブロック１１によって撮像面上に形成された光学像を電気信号に変換してＡＦＥ部２３に出力する。
【００２３】
ＴＧ部２２は、撮像素子２１で撮像画像を示す電気信号の出力を行うために必要とする各種の駆動パルス、並びに撮像素子２１の電荷蓄積時間を制御する電子シャッターパルス等を生成する。
【００２４】
ＡＦＥ部２３は、撮像素子２１から出力された電気信号（画像信号）に対して、ノイズ除去処理例えばＣＤＳ（Correlated Double Sampling）処理や、撮像信号を所望の信号レベルとするＡＧＣ（Automatic Gain Control）処理を行う。さらに、ＡＦＥ部２３は、ノイズ除去処理や利得制御が行われたアナログの撮像信号をディジタル信号に変換して信号処理部２４に出力する。
【００２５】
信号処理部２４は、カメラ信号前処理やカメラ信号処理、解像度変換処理、圧縮伸張処理等を行う。カメラ信号前処理では、ＡＦＥ部２３から供給された画像信号に対して、撮像素子２１における欠陥画素の信号を補正する欠陥補正処理、レンズの周辺光量落ちを補正するシェーディング補正処理などを行う。カメラ信号処理では、ホワイトバランス調整や輝度補正等の処理を行う。また、ディジタルカメラ等では、撮像素子の前面にカラー・フィルタ・アレイ（Color Filter Array）を設けることにより、１つの撮像素子で赤色，緑色，青色の各信号を得るように構成されている場合がある。このような場合、カメラ信号処理ではデモザイク（demosaic）処理を行い、周囲の画素の信号を用いた補間等によって、各画素において欠落している色の信号を生成する。解像度変換処理では、カメラ信号処理がなされた画像信号、あるいは伸張復号化された画像信号を所定の解像度に変換する。圧縮伸張処理では、カメラ信号処理後の画像信号や解像度変換処理が行われた画像信号を圧縮符号化して、例えばＪＰＥＧ（Joint Photographic Experts Group）方式の符号化信号を生成する。また、圧縮伸張処理では、ＪＰＥＧ方式の符号化信号を伸張復号化する。なお、圧縮伸張処理は、ＪＰＥＧ方式とは異なる方式で静止画の画像信号の圧縮符号化を行うようにしてもよい。また、圧縮伸張処理では、動画圧縮方式で動画の画像信号の圧縮符号化を行うようにしてもよい。
【００２６】
さらに、撮像装置１０でパノラマ画像の生成を行う場合、信号処理部２４は撮像画像を用いて動きベクトルの算出を行い、この算出した動きベクトルを利用して同じ被写体の画像が重なるように複数の撮像画像の合成を行って、パノラマ画像を生成する。また、撮像画像の合成は、動き検出部からの動き検出信号を用いてもよい。この場合、動きベクトルが正しく得られなくとも、動き検出信号を利用して同じ被写体の画像が重なるように複数の撮像画像を合成することが可能となる。なお、パノラマ画像の生成に用いる撮像画像は、例えば図示していないメモリまたは後述する記録再生部３３で記録媒体に書き込むものとする。また、パノラマ画像の生成は、撮像時または再生時のいずれで行ってもよい。また、撮像装置１０とは異なる外部機器、例えばコンピュータ等でパノラマ画像の生成を行うものとしてもよい。パノラマ画像の生成を再生時や外部機器で行う場合、再生時や外部機器でパノラマ画像の生成を可能とする識別情報（例えば一連の撮像画像であることを示す情報や撮像順序を示す情報等）を、パノラマ画像の生成に用いる撮像画像に対して設ける。このように識別情報を設けることで、正しい順序で撮像画像を合成してパノラマ画像を生成できる。
【００２７】
検波部２５は、信号処理部２４に供給された撮像信号等を用いて、被写体の明るさレベルやフォーカス状態の検出を行い、明るさレベルやフォーカス状態を示す検波信号を生成して制御部５０に供給する。
【００２８】
画像出力部３１は、信号処理部２４で処理された画像信号を、撮像装置１０と接続される外部機器に対応したフォーマットの画像信号に変換して出力する。
【００２９】
表示部３２は、撮像装置１０によって撮像されている画像や、記録再生部３３で再生された撮像画像の表示を行う。また、表示部３２は、撮像装置１０の設定等を行うためのメニュー表示等も行う。
【００３０】
記録再生部３３では、例えば、フラッシュメモリ、光ディスク、磁気テープなどの記録媒体が用いられている。記録再生部３３は、信号処理部２４から出力された撮像画像の画像信号や符号化信号を記録媒体に記録する。また、記録再生部３３は、記録媒体に記録されている画像信号を読み出して画像出力部３１や表示部３２に供給する処理や、記録媒体に記録されている符号化信号を読み出して信号処理部２４に供給する処理を行う。なお、記録再生部３３は、記録媒体が着脱可能とされている構成に限られない。例えば、記録再生部３３としてハード・ディスク装置等を内蔵させるようにしてもよい。
【００３１】
操作部４１は、操作ボタンや表示部３２の画面上に設けられたタッチパネル等で構成されている。操作部４１は、ユーザ操作に応じた操作信号を生成して制御部５０に供給する。
【００３２】
動き検出部４２は、撮像方向の変化を生じさせる動きを検出する。例えばジャイロセンサを用いて動き検出部４２を構成して、撮像装置１０に加えられた動きを検出する。動き検出部４２は、ヨーイング方向における振れに応じて例えば角速度を検出するヨーイング角速度検出部と、ピッチング方向における振れに応じて例えば角速度を検出するピッチング角速度検出部で構成されている。また、動き検出部４２には、検出信号の信号処理を行う処理回路が設けられている。処理回路では例えば検出信号から不要な信号成分、例えばノイズ成分や角速度値の信号成分よりも高い周波数成分および共振周波数成分等を除去する。さらに、処理回路では温度変化や時間変化に伴って生じるドリフトの補正、検出信号をディジタル信号に変換して制御部５０に供給する処理等を行う。動き検出部４２から検出信号がアナログ信号として出力される場合、制御部５０は動き検出信号をディジタル信号に変換して用いる構成としてもよい。
【００３３】
なお、動き検出部４２は、角速度検出センサを用いて構成する場合に限られない。例えば、加速度検出センサ等を用いて動きの検出を行うようにしてもよい。加速度検出センサを用いる場合、加速度検出センサの出力を積分して速度を算出できる。さらに、その速度を積分して動きを算出することができる。
【００３４】
制御部５０は、ＣＰＵ（Central Processing Unit）やメモリ等で構成されている。メモリには、ＣＰＵが実行するプログラムや各種データが記憶されている。このメモリとしては、例えばＥＥＰＲＯＭ（Electronically Erasable and Programmable ROM）、フラッシュメモリなどの不揮発性メモリが用いられる。制御部５０のＣＰＵはメモリに記憶されているプログラムを実行して、メモリに記憶されている各種データや操作部４１から供給された操作信号に基づき、撮像装置１０の動作がユーザ操作に応じた動作となるように各部を制御する。例えば、制御部５０は、シャッター操作をユーザが行ったとき、ＴＧ部２２等の動作を制御して、所望のシャッタースピードで撮像した静止画の符号化信号等を記録再生部３３の記録媒体に記録させる。また、動画記録開始操作が行われたときは、動画の符号化信号等を記録再生部３３の記録媒体に記録させる。
【００３５】
また、制御部５０は、モード選択操作をユーザが行ったとき、ユーザによって選択されたモードで撮像動作等を行う。例えば、パノラマ撮像モード、手振れ補正撮像モードのいずれかをユーザが選択したとき、ユーザによって選択されたモードで撮像動作等を行う。なお、パノラマ撮像モードとは、撮像装置のスイープや平行移動等を行いながら、１つの撮像画像よりも撮像範囲の広いパノラマ画像を生成する際に合成される複数の撮像画像を生成する撮像モードである。パノラマ撮像モードでは、複数の撮像画像を合成してパノラマ画像を生成する処理を行うものとしてもよく、生成した複数の撮像画像を記録媒体等に記録して、外部機器で撮像画像の合成を行うようにしてもよい。手振れ補正撮像モードとは、手振れ補正を行うことで手振れによる画像ぼけを生じていない撮像画像を生成する撮像モードである。
【００３６】
さらに、制御部５０は、撮像光学系センサ部１３から供給された位置信号や、検波部２５から供給された検波信号に基づき、レンズ制御信号や絞り制御信号を生成してドライバ１２に供給する。したがって、ドライバ１２によって、所望の明るさでピントの合った撮像画像が得られるようにフォーカスレンズ１１２や絞り機構１１ｂが駆動される。また、制御部５０は、ズーム操作をユーザが行ったとき、レンズ制御信号を生成してドライバ１２に供給することで、所望のズーム比の撮像画像が得られるようにズームレンズ１１１を駆動する。
【００３７】
このように構成された撮像装置１０において、制御部５０は、動き検出部４２で検出された撮像装置１０の動きに応じて、補正レンズ部１１３の補正レンズと撮像素子２１の少なくとも一方を変位させる。制御部５０は、このように補正レンズと撮像素子の少なくとも一方を変位させることで、撮像素子２１の撮像面上に結像される光学像が、撮像装置の動きに応じて振れを生じることがないように振れの補正を行う。すなわち、制御部５０は、撮像装置１０の動きに応じて、補正レンズと撮像素子の少なくとも一方を変位させることで、撮像装置の動きによって生じる撮像画像の振れを補正する。
【００３８】
図２は、撮像装置の動きと撮像素子の撮像面上に結像される光学像の位置の関係を説明するための図である。例えば、図２の（Ａ）では、被写体ＯＢａの光学像ＯＢｂが撮像素子８２の撮像面の中央位置となるように撮像装置８０の位置が設定されている。次に、撮像装置８０に動きが生じて、撮像装置８０が図２の（Ｂ）に示す矢印ＦＡの方向に移動すると、撮像面上に結像される光学像ＯＢｂの位置は、撮像面の中央位置から移動してしまう。ここで、図２の（Ｃ）に示すように、レンズ部８１を撮像装置８０の動き方向とは逆方向である矢印ＦＢ方向に移動させると、光学像ＯＢｂを撮像面の中央位置に結像させることができる。また、図２の（Ｄ）に示すように、撮像素子８２を撮像装置８０の動き方向と同じ方向である矢印ＦＣ方向に移動させると、光学像ＯＢｂを撮像面の中央位置に結像させることができる。すなわち、撮像装置８０の動きに応じて、レンズ部８１と撮像素子８２の少なくとも一方を変位させることで、撮像装置８０の動きによって生じる撮像画像の振れを補正できる。
【００３９】
なお、撮像装置８０の動きに応じてレンズ部８１や撮像素子８２を変位させるときの変位方向は、撮像装置８０の動きによって生じる光学像ＯＢｂの移動を補正する方向であればよく、図２の（Ｃ）や図２の（Ｄ）に示す方向に限られるものではない。
【００４０】
図１の制御部５０は、例えばレンズ部を変位させる場合、動き検出部４２からの検出信号に基づき、撮像画像の振れが生じないように補正レンズ部１１３の補正レンズを変位させるためのレンズ制御信号を生成してドライバ１２に出力する。ドライバ１２は、レンズ制御信号に基づき駆動信号を生成して補正レンズ部１１３に出力する。補正レンズ部１１３は、駆動信号に基づきアクチュエータで補正レンズを変位させる。このように、動き検出部４２からの動き検出信号に基づいて補正レンズ部１１３を駆動することで、補正レンズ部１１３の補正レンズを光軸に対して変位させて振れ補正を行う。
【００４１】
また、撮像素子２１を変位させて振れ補正を行う場合、図１の点線で示すように、撮像装置１０には、撮像素子２１を光軸に対して直交する方向に移動させるアクチュエータ２１ａを設ける。さらに、制御部５０は、動き検出部４２からの検出信号に基づき、撮像画像の振れが生じないように撮像素子２１を変位させるための位置制御信号を生成してドライバ１２に出力する。ドライバ１２は、位置制御信号に基づき駆動信号を生成してアクチュエータ２１ａに出力する。アクチュエータ２１ａは、駆動信号に基づき撮像素子２１を変位させる。このように、動き検出部４２からの動き検出信号に基づいてアクチュエータ２１ａを駆動することで、撮像素子２１を光軸に対して変位させて、撮像素子の撮像面上に結像される光学像の振れ補正を行う。
【００４２】
さらに、制御部５０は、複数枚の撮像画像からパノラマ画像を生成するために撮像方向を移動しながら複数枚の撮像画像の各画像の生成を行う際に、変位させる補正レンズおよび／または撮像素子の補正動作開始位置を、撮像方向の移動する方向に応じた方向に光軸を中心とした位置から変位させる。したがって、撮像方向の移動に対する振れ補正の補正可能範囲は、補正動作開始位置が光軸を中心とした位置とされている場合に比べて広くなる。
【００４３】
制御部５０は、補正動作開始位置から撮像装置の動きに応じて補正レンズおよび／または撮像素子を駆動するとき、撮像装置の動きに対して遅れを生じることなく移動させることができるときは、補正動作開始時の位置を露光開始時の位置として露光を開始する。また、制御部５０は、駆動開始時に撮像装置の動きに対して補正レンズおよび／または撮像素子の移動が遅れを生じるとき、撮像装置の動きに対して補正レンズおよび／または撮像素子の移動が追従する状態となってから露光を開始する。なお、撮像装置の動きに対して補正レンズおよび／または撮像素子の移動が追従する状態となるまでに要する期間は短く、露光開始時の位置は、補正動作開始位置の近傍であって、光軸を中心とした位置から撮像方向の移動する方向に応じた方向に変位した位置となる。
【００４４】
制御部５０は、露光期間中、撮像装置の動きに応じて補正レンズおよび／または撮像素子を移動させることで撮像装置の動きに応じた振れを補正する振れ補正動作を動作状態として、撮像装置の動きによるぶれが生じていない撮像画像を生成する。
【００４５】
また、レンズ部と撮像素子の少なくとも一方を光軸に対して変位させる場合、撮像画像は、変位が大きい状態であるとき、歪みや色収差，解像度等について劣化した画像となってしまう。したがって、制御部５０は、露光期間中における変位が小さくなるように、露光期間の長さに応じて補正動作開始位置（露光開始位置）を設定する。すなわち、露光期間が短いときは、変位が小さい状態で撮像画像を生成できるように、光軸を中心とした位置からの変位量を少なくして補正動作開始位置（露光開始位置）を設定する。また、補正動作開始位置の変位量を少なくすると振れ補正の補正可能範囲が狭いため、露光期間が長いとき、撮像装置の動きに対応させてレンズ部と撮像素子を変位させることが出来なくなってしまうおそれがある。したがって、制御部５０は、露光期間が長いとき、光軸を中心とした位置からの変位量を多くして補正動作開始位置を設定することで、振れ補正の補正可能範囲を広くする。
【００４６】
なお、以下の説明では、補正レンズを変位させることで、撮像装置の動きに対する振れ補正を行う場合について説明する。また、補正動作開始位置と露光開始位置は、等しい位置とする。
【００４７】
［１−２．撮像装置の外観］
図３は、撮像装置１０の外観を例示している。撮像装置１０の筐体の背面には、表示部３２が設けられ、表示部３２の近傍には操作部４１が設けられている。操作部４１は、複数の操作キー等で構成されている。例えばメニューキー４１１は、表示部３２にメニューを表示するための操作キーである。方向キー４１２ａ〜４１２ｄは、メニュー項目の選択等を行うときに操作される操作キーである。方向キー４１２ａ〜４１２ｄの中心部分に設けられている決定キー４１３は、選択されている項目の決定操作等を行うときに操作される操作キーである。さらに、筐体の上面に設けられたシャッターキー４１５は、シャッター操作を行うための操作キーである。なお、図３に示した操作部４１は一例であり、キーの位置や種類はこの例に限定されない。また、表示部３２の画面上にタッチパネルを設けて、表示部３２の所定の位置を触れることで各種動作の設定や実行指示等を行うこともできるようにしてもよい。
【００４８】
［１−３．撮像装置の動作］
図４は、第１の実施の形態の動作を示すフローチャートである。なお、図４は、撮像装置１０が、複数枚の撮像画像からパノラマ画像を生成するために、撮像方向を移動しながら複数枚の撮像画像の生成を行う撮像モード（以下「パノラマ撮像モード」という）と、パノラマ撮像モードと異なる撮像モード（以下「手振れ補正撮像モード」という）を有している場合を示している。なお、パノラマ撮像モードと異なる撮像モードは、例えば、１枚の撮像画像を生成する撮像モード、夜間等で撮像を行ったとき人物と背景がそれぞれ所望の明るさの撮像画像を得られるように、露光量の異なる複数枚の撮像画像を領域毎にいずれかの画像の比率を高めて重ね合わせる撮像モード（いわゆる夜景モード）等である。
【００４９】
ステップＳＴ１で制御部５０は、撮像モードがパノラマ撮像モードであるか否か判別する。制御部５０は、操作部４１のメニューキー４１１が操作されたことを判別したとき、表示部３２にメニュー表示ＧＡを行う。図５は、表示部３２でメニュー表示が行われている状態を例示している。その後、制御部５０は、上方向を示す方向キー４１２ａまたは下方向を示す方向キー４１２ｃの操作に応じてモードの切り換えを行い、選択されている撮像モードを識別可能に表示する。例えば、制御部５０は、カーソル表示ＧＢを設けて、カーソル表示ＧＢの位置を、方向キー４１２ａ，４１２ｃの操作に応じて上下に移動させて、選択されている撮像モードを識別可能とする。さらに、制御部５０は、決定キー４１３が操作されたときに選択されている撮像モードを、撮像装置１０の撮像モードに設定する。ここで、制御部５０は、撮像モードとしてパノラマ撮像モードＭＰが選択されているときステップＳＴ２に進み、手振れ補正撮像モードＭＢが選択されたときステップＳＴ３に進む。
【００５０】
ステップＳＴ２で制御部５０は、パノラマ撮像処理を行いステップＳＴ４に進む。
【００５１】
ステップＳＴ１からステップＳＴ３に進むと制御部５０は、手振れ補正撮像処理を行いステップＳ４に進む。
【００５２】
ステップＳＴ４で制御部５０は、ステップＳＴ２で生成したパノラマ撮像画像またはステップＳＴ３で生成した手振れ補正撮像画像を記録再生部３３で記録媒体に記録させる。
【００５３】
次に、パノラマ撮像処理について説明する。図６は、パノラマ撮像処理を示すフローチャートである。ステップＳＴ１１で制御部５０は、撮像装置の動き方向を設定する。制御部５０は、いずれの方向に撮像装置のスイープあるいは平行移動等を行ってパノラマ画像の生成を行うか選択するための方向選択メニューを表示部３２に表示する。制御部５０は、ユーザがいずれの方向を選択したか、操作部４１からの操作信号に基づき判別して、判別した方向を撮像装置の動き方向に設定してステップＳＴ１２に進む。
【００５４】
ステップＳＴ１２で制御部５０は、シャッタースピードを判別する。制御部５０は、ユーザ操作によって設定されたシャッタースピード、あるいは予め設定されているシャッタースピードを判別してステップＳＴ１３に進む。
【００５５】
ステップＳＴ１３で制御部５０は、補正動作開始位置を設定する。制御部５０は、撮像方向の移動する方向に応じた方向に補正レンズ部１１３の補正レンズ１１３ａを変位させて補正動作開始位置とする。すなわち、制御部５０は、補正レンズ１１３ａを変位させて補正動作開始位置とすることで、撮像装置の動きに応じて補正レンズ１１３ａを移動させるときの移動開始位置から最大移動可能位置までの範囲である振れ補正可能範囲を広くする。例えば、撮像方向を右方向に移動させるとき、補正レンズ部１１３の補正レンズ１１３ａを左方向に移動させることで振れ補正が行われる場合、図７のように、補正レンズ部１１３の補正レンズ１１３ａを中心位置からアクチュエータ１１３ｂで右方向に変位させる。なお、図７において、点線ＡＲで示す位置は、補正レンズ１１３ａの補正制御端の位置を示している。また、一点鎖線で示す丸印は、補正レンズ１１３ａが光軸を中心とした中央位置とされている状態を示している。ここで、補正レンズ１１３ａが中央位置であるときは、歪みや色収差、解像度等についての劣化が最も少ない撮像画像となる。
【００５６】
制御部５０は、歪みや色収差、解像度等についての劣化の少ない撮像画像を得ることができるようにするため、露光期間すなわちシャッタースピードに応じて変位量を設定する。なお、撮像素子で電子シャッター動作を行う場合には非露光期間が生じる。シャッタースピードが速い（露光期間が短い）とシャッタースピードが遅い（露光期間が長い）場合に比べて、露光期間中の撮像装置の動きが小さい。すなわち、露光期間中における補正レンズ１１３ａの移動量が少ない。このため、補正レンズ１１３ａを補正制御端の位置に変位させておくと、シャッタースピードが速い場合、補正レンズ１１３ａが中央位置となる前に露光期間が終了して、撮像画像は歪みや色収差，解像度等についての劣化した画像となってしまう場合がある。そこで、制御部５０は、シャッタースピードが遅いとき、図７の（Ａ）に示すように中心位置（光軸を中心とした位置）からの変位量を多くして、中心位置から離れた位置を補正動作開始位置とする。また、制御部５０は、シャッタースピードが速いとき、図７の（Ｂ）に示すように変位量を少なくして、中心位置に近い位置を補正動作開始位置とする。
【００５７】
図８は、シャッタースピードと変位量の関係を例示している。シャッタースピードが遅い場合、例えばシャッタースピードが「ＳＳma」である場合、露光期間が長いことから、変位量を中心位置から補正制御端まで距離である「ｄma」に設定する。また、シャッタースピードが速い場合、例えばシャッタースピードが「ＳＳmb」である場合、露光期間が短いことから、変位量を「ｄma」よりも少ない「ｄmb」に設定する。なお、変位量は「ｄmb」は、露光期間を短くしたときの種々の撮影条件における振れ補正動作状況等を考慮して予め撮像装置１０に記憶させておく。
【００５８】
シャッタースピードが、「ＳＳma」から「ＳＳmb」の範囲であるときは、式（１）に基づいて、シャッタースピード「ＳＳx（ＳＳma＞ＳＳx＞ＳＳmb）」に応じた変位量「ｄy」を算出する。例えばシャッタースピードが「ＳＳa」のとき変位量は「ｄa」、シャッタースピードが「ＳＳb」のとき変位量は「ｄb」となる。
【００５９】
【数１】
【００６０】
このように、制御部５０は、シャッタースピードに応じて変位量を算出して、補正レンズ１１３ａを、撮像装置の動きに対して振れ補正の補正可能範囲が広くなる方向に変位量だけ移動させて図６のステップＳＴ１４に進む。なお、変位量を予め算出してメモリ等に記憶しておき、制御部５０は、シャッタースピードに応じて変位量をメモリ等から読み出す構成であってもよい。
【００６１】
ステップＳＴ１４で制御部５０は、シャッター操作を開始してステップＳＴ１５に進む。シャッター操作の開始は、シャッターキー４１５の操作や動き検出信号に基づいて行う。例えば、制御部５０は、シャッターキー４１５が押された状態となったことを検出したとき、シャッター操作の開始とする。
【００６２】
また、動き検出信号を利用すれば、自動的にシャッター操作を開始できる。例えば、制御部５０は、ステップＳＴ１１で判別した方向に撮像装置１０のスイープや平行移動等が行われたことを動き検出信号に基づいて検出したとき、シャッター操作を開始する。このようにすれば、ユーザはシャッターキー４１５を操作しなくとも、撮像装置１０によって指示された方向に撮像装置１０の向きを移動させるだけで、シャッター操作を開始できる。シャッターキー４１５が押された状態となったことを検出したときシャッター操作を開始する場合、シャッターキー４１５の操作によって撮像装置のぶれが生じると、このぶれの影響がパノラマ画像に現れてしまうおそれがある。しかし、動き検出信号を利用してシャッター操作を開始すれば、シャッターキー４１５の操作が必要ないので、シャッター操作によるぶれの影響がないパノラマ画像を容易に得ることができる。
【００６３】
なお、シャッター操作を行う際には、表示部３２の画面上に撮像装置の動き方向を示す方向指示を行うものとすれば、設定した方向に正しく撮像装置のスイープや平行移動等を行わせることができるようになる。
【００６４】
ステップＳＴ１５で制御部５０は、撮像画像生成処理を行う。制御部５０は、補正動作開始位置とされている補正レンズ１１３ａを動き検出信号に応じて駆動して、撮像装置の動きによって生じる光学像の振れを補正する。制御部５０は、補正動作開始時に、撮像装置の動きに対して遅れを生じることなく補正レンズ１１３ａを移動できるとき、補正動作開始位置を露光開始時の位置として露光を開始する。また、制御部５０は、補正動作開始時に撮像装置の動きに対して補正レンズ１１３ａの移動が遅れを生じるとき、撮像装置の動きに対して補正レンズ１１３ａの移動が追従する状態となる位置を露光開始時の位置として露光を開始する。なお、露光開始時の位置は、補正動作開始位置の近傍であり、光軸を中心とした位置から撮像方向の移動する方向に応じた方向に変位した位置である。さらに、制御部５０は、露光期間中、振れ補正動作を動作状態とすることで、撮像装置１０のスイープや平行移動等を行っても、撮像装置１０の動きによるぼけが生じていない撮像画像を生成させてステップＳＴ１６に進む。また、制御部５０は、撮像画像生成処理において、補正動作開始位置を撮像方向の移動する方向に応じた方向に変位させて、振れ補正が可能な範囲を広くする。したがって、補正動作開始位置の変位に伴い露光開始時の位置が変位されて、露光開始時の位置が光軸を中心とした位置とされている場合に比べて、撮像装置１０の動きに応じた振れ補正が可能な期間を長くすることができる。すなわち、撮像装置１０の動きに応じた振れ補正が可能な期間を長くできることから、被写体が暗いために露光期間を長くする場合であっても、撮像装置１０の動きによるぶれが生じていない撮像画像を生成できる。
【００６５】
さらに、制御部５０は、シャッタースピードに応じて変位量を設定して補正動作開始位置を決定している。すなわち、補正動作開始位置の変位に伴い露光開始時の位置が変位されて、露光開始時の位置は、シャッタースピードに応じた変位量で光軸を中心とした位置から変位されているので、歪みや色収差、解像度等についての劣化の少ない画像の生成が行われる。例えば、シャッタースピードが速いとき、露光期間中の補正レンズ１１３ａの位置は、中心位置に近い位置となる。したがって、歪みや色収差、解像度等についての劣化の少ない撮像画像を生成できるようになる。
【００６６】
ステップＳＴ１６で制御部５０は、シャッター操作が終了されたか否か判別する。制御部５０は、シャッター操作が終了されていないと判別したとき補正レンズ１１３ａを補正動作開始位置に戻してステップＳＴ１５に戻る。制御部５０は、ステップＳＴ１６からステップＳＴ１５に戻ると、撮像画像の露光期間と次の撮像画像の露光期間との間に、補正レンズ１１３ａを補正動作開始位置に戻す。その後、制御部５０は、再度動き検出信号に応じて補正レンズ１１３ａを駆動して、撮像装置１０のスイープや平行移動等が行われてもぼけの生じていない画像の生成を行う。
【００６７】
また、制御部５０は、シャッター操作が終了されたと判別したときステップＳＴ１７に進む。制御部５０は、例えば撮像装置の動き量（スイープ量や移動量）が予め設定されている所定量に達したときシャッター操作の終了とする。動き量は例えば動きベクトルを用いて算出できる。また、制御部５０は、動き検出信号から撮像装置の動き量を判別して、動き量が所定量に達したときシャッター操作の終了としてもよい。また、シャッターキー４１５が押された状態となったことを検出してシャッター操作を開始した場合、シャッターキー４１５が押されていない状態となったことを検出したときシャッター操作の終了とすることもできる。さらに、制御部５０は、報知した移動方向に撮像装置１０の向きが移動したことを動き検出信号に基づいて検出してシャッター操作を開始した場合、報知した移動方向に撮像装置１０の向きが移動しなくなったときシャッター操作の終了とすることもできる。
【００６８】
ステップＳＴ１７で制御部５０は、撮像画像合成処理を行う。制御部５０は、信号処理部２４を制御して、ステップＳＴ１５とステップＳＴ１６の処理によって生成された複数枚の撮像画像を用いて動きベクトルを算出する。また、制御部５０は、算出した動きベクトルに基づいて、同じ被写体の画像が重なるように複数の撮像画像の合成を行って、１つの撮像画像よりも撮像範囲の広いパノラマ画像を、複数枚の撮像画像から生成してパノラマ撮像画像生成処理を終了する。
【００６９】
次に、パノラマ撮像処理の他の例について説明する。他の例では、複数の撮像画像を合成してパノラマ画像を生成するか、あるいは複数の撮像画像を記録媒体等に記録して、外部機器でパノラマ画像の生成を行うか選択可能とする場合を示している。図９は、パノラマ撮像処理の他の例を示すフローチャートである。ステップＳＴ２１で制御部５０は、撮像装置の動き方向を設定する。制御部５０は、いずれの方向に撮像装置のスイープや平行移動等を行ってパノラマ撮像画像の生成を行うか選択するための方向選択メニューを表示部３２に表示する。制御部５０は、ユーザがいずれの方向を選択したか、操作部４１からの操作信号に基づき判別して、判別した方向を撮像装置の動き方向に設定してステップＳＴ２２に進む。
【００７０】
ステップＳＴ２２で制御部５０は、シャッタースピードを判別する。制御部５０は、ユーザ操作によって設定されたシャッタースピード、あるいは予め設定されているシャッタースピードを判別してステップＳＴ２３に進む。
【００７１】
ステップＳＴ２３で制御部５０は、補正動作開始位置の設定を行う。制御部５０は、撮像方向の移動する方向に応じた方向に補正レンズ部１１３の補正レンズ１１３ａを変位させて補正動作開始位置とする。すなわち、制御部５０は、補正レンズ１１３ａを変位させて補正動作開始位置とすることで、撮像装置の動きに応じて補正レンズ１１３ａを移動させるときの移動開始位置から最大移動可能位置までの範囲である振れ補正可能範囲を広くする。また、制御部５０は、歪みや色収差、解像度等についての劣化の少ない撮像画像を得ることができるようにするため、露光期間すなわちシャッタースピードに応じて変位量を設定する。このように、制御部５０は、補正レンズ１１３ａを、スイープ方向に対して振れ補正の補正範囲が広くなる方向にシャッタースピードに応じた変位量だけ移動させてステップＳＴ２４に進む。
【００７２】
ステップＳＴ２４で制御部５０は、合成モードであるか否か判別する。制御部５０は、パノラマ撮像処理において複数の撮像画像を合成してパノラマ画像を生成する処理を行わない非合成モードが選択されているとき、ステップＳＴ２５に進む。また、制御部５０は、複数の撮像画像を合成してパノラマ画像を生成する合成モードが選択されているとき、ステップＳＴ２８に進む。
【００７３】
ステップＳＴ２４で制御部５０は、シャッター操作を開始してステップＳＴ２５に進む。制御部５０は、例えばシャッターキー４１５が押された状態となったことを検出したとき、シャッター操作の開始とする。
【００７４】
なお、シャッター操作を行う際には、表示部３２の画面上に撮像装置の動き方向を示す方向指示を行うものとすれば、撮像装置の動き方向を設定した方向とすることができる。
【００７５】
ステップＳＴ２５で制御部５０は、撮像画像生成処理を行う。制御部５０は、補正動作開始位置とされている補正レンズ１１３ａを動き検出信号に応じて駆動して、スイープ動作によって生じる振れに対する補正(動き補正）を行う。すなわち、制御部５０は、撮像装置１０の動きによるぼけが生じていない撮像画像を生成させてステップＳＴ２６に進む。ここで、補正動作開始位置は、撮像装置の動き方向に応じた方向に変位されて、補正可能な範囲が広くされている。したがって、撮像装置１０のスイープや平行移動等を行ったとき、補正動作開始位置を変位していない場合に比べて補正可能期間が長くなるので、露光時間を長くすることができる。また、補正動作開始位置は、シャッタースピードに応じて変位されているので、歪みや色収差、解像度等についての劣化の少ない画像の生成が行われる。例えば、シャッタースピードが速いとき、露光期間中の補正レンズ１１３ａの位置は、中心位置に近い位置となる。したがって、歪みや色収差、解像度等についての劣化の少ない撮像画像を生成できるようになる。
【００７６】
ステップＳＴ２６で制御部５０は、シャッター操作が終了されたか否か判別する。制御部５０は、シャッター操作が終了されていないと判別したときステップＳＴ２５に戻る。制御部５０は、ステップＳＴ２６からステップＳＴ２５に戻ると、撮像画像の露光期間と次の撮像画像の露光期間との間に、補正レンズ１１３ａを補正動作開始位置に戻す。その後、制御部５０は、再度動き検出信号に応じて補正レンズ１１３ａを駆動して、撮像装置１０のスイープや平行移動等が行われてもぼけの生じていない画像の生成を行う。また、制御部５０は、シャッター操作が終了されたと判別したときステップＳＴ２７に進む。
【００７７】
ステップＳＴ２７では、合成モードが選択されているか否か判別する。制御部５０は、合成モードが選択されているときステップＳＴ２８に進み、合成モードが選択されていないときは、パノラマ撮像処理を終了する。
【００７８】
ステップＳＴ２８で制御部５０は、撮像画像合成処理を行う。制御部５０は、信号処理部２４を制御して、ステップＳＴ２５とステップＳＴ２６の処理によって生成された複数枚の撮像画像を用いて動きベクトルを算出する。また、制御部５０は、算出した動きベクトルに基づいて、同じ被写体の画像が重なるように複数の撮像画像の合成を行って、１つの撮像画像よりも撮像範囲の広いパノラマ画像を、複数枚の撮像画像から生成してパノラマ撮像処理を終了する。
【００７９】
このようにすれば、複数の撮像画像の合成を撮像装置とは異なる機器、例えばコンピュータ装置等で行う場合、非合成モードを選択すれば、合成前の撮像画像を記録再生部３３で記録媒体に記録させることができる。なお、合成前の撮像画像は、有線や無線の通信経路を介してコンピュータ装置に送信するようにしてもよい。
【００８０】
次に、手振れ補正撮像処理について説明する。図１０は、手振れ補正撮像画像生成処理を示すフローチャートである。ステップＳＴ３１で制御部５０は、補正動作開始位置の設定を行う。手振れ補正撮像画像の生成では、撮像装置の動きに対する振れ補正の補正可能範囲が広くなるように補正動作開始位置を変位させる必要がない。すなわち、制御部５０は、補正レンズ１１３ａを、歪みや色収差、解像度等についての劣化の最も少ない画像の生成が行われる中央位置を補正動作開始位置とする。
【００８１】
ステップＳＴ３２で制御部５０は、シャッター操作を開始してステップＳＴ３３に進む。制御部５０は、例えばシャッターキー４１５が押された状態となったことを検出したとき、シャッター操作の開始とする。
【００８２】
ステップＳＴ３３で制御部５０は、撮像画像生成処理を行う。制御部５０は、補正動作開始位置とされている補正レンズ１１３ａを動き検出信号に応じて駆動して、撮像時の手振れに対する補正（手振れ補正）を行う。また、制御部５０は、手振れによるぼけを生じていない撮像画像を生成させてステップＳＴ３４に進む。
【００８３】
ステップＳＴ３４で制御部５０は、シャッター操作が終了されたか否か判別する。制御部５０は、シャッター操作が終了されていないと判別したときステップＳＴ３３に戻る。制御部５０は、ステップＳＴ３４からステップＳＴ３３に戻ると、再度、動き検出信号に応じて補正レンズ１１３ａを駆動して、手振れによるぼけが生じていない画像の生成を行う。
【００８４】
また、制御部５０は、シャッター操作が終了されたと判別したとき手振れ補正撮像処理を終了する。制御部５０は、例えば、シャッターキー４１５が押されていない状態となったことを検出したときシャッター操作の終了とする。制御部５０は、撮像画像生成処理をシャッター操作の終了まで繰り返し行い、複数枚の画像を生成して手振れ補正撮像処理を終了する。
【００８５】
このように、制御部５０は、パノラマ撮像モードであるとき、各撮像画像を生成するときの補正動作開始位置を、光軸に対してレンズ部と撮像素子の少なくとも一方を撮像方向の移動する方向に応じた方向に変位させる。また、制御部５０は、補正動作開始位置を変位させることで、撮像方向の移動に対する振れ補正の補正範囲を広く設定する。また、制御部５０は、変位されているレンズ部および／または撮像素子を、撮像装置の動きに応じて移動させる。さらに、補正動作開始位置の変位に伴い露光開始時の位置が変位する。したがって、ぼけの生じていない撮像画像を生成できる露光期間を、変位していない場合に比べて長くできる。このため、撮像方向に対する振れ補正の性能が改善されて、パノラマ画像の生成に適した振れ補正が行われることになり、例えば露光時間を長くしてもぼけの生じていない撮像画像の生成や、スイープ速度が速くてもぼけの生じていない撮像画像の生成が可能となる。また、パノラマ画像を生成する際に、被写体の明るさやスイープ速度等の制約が軽減されて、パノラマ画像を生成するための複数枚の撮像画像を容易に得ることができる。
【００８６】
また、制御部５０は、パノラマ撮像モードであるとき、シャッタースピードに応じて変位量を設定して補正動作開始位置を決定する。このため、補正動作開始位置の変位に伴い露光開始時の位置が変位されて、露光開始時の位置は、シャッタースピードに応じた変位量で光軸を中心とした位置から変位された位置となる。このようにシャッタースピードに応じて露光開始時の位置を変位させるとき、シャッタースピードが速い場合には、光軸を中心とした位置からの変位量をシャッタースピードが遅い場合に比べて少なくする。したがって、シャッタースピードが速い場合、すなわち露光期間が短いときは、露光期間中の補正レンズ１１３ａの位置が光軸に近い位置となるので、歪みや色収差、解像度等についての劣化の少ない撮像画像を生成できるようになる。
【００８７】
［１−４．パノラマ撮像画像の生成動作例（右方向にスイープ動作させる場合）］
次に、パノラマ撮像画像の生成動作、例えば右方向にスイープ動作させてパノラマ撮像画像を生成する場合の具体的動作について説明する。
【００８８】
撮像装置１０の撮像モードをパノラマ撮像モードとして、右方向にスイープ動作させる場合、ユーザは、図１１に示すように、撮像装置１０の向き（撮像方向）を矢印Ａで示すように右方向にスイープさせる。
【００８９】
撮像モードがパノラマ撮像モードに設定されて右方向にスイープ動作させる場合、制御部５０は、例えば表示部３２にスイープ方向を示す表示を設ける。また、制御部５０は、補正レンズ１１３ａの位置を中央位置からスイープ動作に対する補正可能範囲が広くなる方向に、シャッタースピードに応じた変位量だけ移動して補正動作開始位置として、この補正動作開始位置から振れ補正を開始させる。
【００９０】
その後、制御部５０は、シャッター操作を開始してパノラマ撮像処理を行う。図１２は、パノラマ撮像処理を説明するための図である。図１２の（Ａ）は、補正レンズ１１３ａの動きを示している。制御部５０は、補正動作開始位置とされている補正レンズ１１３ａを動き検出信号に応じて駆動する。したがって、補正レンズ１１３ａは、右方向のスイープによる画像の振れを防止するため補正動作開始位置から左方向に移動する。
【００９１】
また、制御部５０は、上述のように補正動作開始時または補正動作開始後に露光を開始して撮像画像の生成を行う。さらに、制御部５０は、露光期間中、振れ補正動作を動作状態として、動き検出信号に応じて補正レンズ１１３ａを駆動して、撮像装置の動きに応じて補正レンズ１１３ａを移動させることで撮像素子２１の撮像面上に結像される光学像の振れを補正する。したがって、撮像装置１０では、図１２の（Ｂ）に示すように、右方向のスイープを行ってもぼけの生じていない撮像画像ＰＧ1を生成できる。また、補正レンズ１１３ａの補正動作開始位置は、中央位置から右方向に変位されているので、補正動作開始位置を変位していない場合に比べて、撮像方向の移動に対する振れ補正の補正範囲が広くなる。したがって、補正動作開始位置を変位した場合と変位していない場合とでスイープ速度が等しいとき、補正動作開始位置の変位に伴い露光開始時の位置を変位することで、ぼけの生じていない撮像画像を生成できる露光期間を変位していない場合に比べて長くできる。また、露光開始時の位置を変位した場合と露光開始時の位置を変位していない場合で露光時間が等しいとき、露光開始時の位置を変位することで、ぼけの生じていない撮像画像の生成が可能なスイープ速度を、変位していない場合に比べて速くできる。
【００９２】
制御部５０は、１枚の撮像画像を生成したとき、シャッター操作が終了されていない場合、撮像画像ＰＧ1の露光期間と次の撮像画像の露光期間との間に、補正レンズ１１３ａを補正動作開始位置に戻す。その後、制御部５０は、再度補正動作開始位置から補正レンズ１１３ａを動き検出信号に応じて駆動する。なお、図１２の（Ａ）では、補正動作開始位置に補正レンズ１１３ａを戻す処理が行われる期間を期間ＲＰとして示している。このように、補正レンズ１１３ａを補正動作開始位置に戻してから、再度、動き検出信号に応じて駆動することで、撮像装置１０をスイープさせてもぼけの生じていない撮像画像ＰＧ2を生成できる。
【００９３】
このような処理を繰り返して行い、制御部５０は、例えば撮像画像ＰＧ5を生成したときにシャッター操作の終了と判別した場合、撮像処理を終了する。したがって、順次生成された撮像画像ＰＧ1〜ＰＧ5は、図１３に示すように、撮像方向が順次右方向に切り換えられた画像となる。
【００９４】
このように、パノラマ撮像モードで撮像方向を右に移動させる場合、制御部５０は、補正レンズ１１３ａを右方向に変位させるので、撮像方向の移動に対する振れ補正の補正範囲が広くなる。また、制御部５０は、この状態から動き検出センサで検出された動きに応じてレンズ部と撮像素子の少なくとも一方を変位させる。このため、例えば被写体が暗いことから露光時間を長くしてもぼけの生じていない撮像画像を生成できる。また、右方向のスイープ速度が速くてもぼけの生じていない撮像画像を生成できる。さらに、被写体の明るさやスイープ速度等の制約が軽減されて、パノラマ画像の生成を容易に行うことができる。
【００９５】
信号処理部２４は、順次に生成した撮像画像ＰＧ1〜ＰＧ5から動きベクトルを算出して、または動き検出信号に基づき動きベクトルを検出する。また、信号処理部２４は、この動きベクトルに基づいて、被写体の画像が重なり合うように撮像画像ＰＧ1〜ＰＧ5の位置あわせを行い、撮像画像ＰＧ1〜ＰＧ5を合成して、１枚の撮像画像よりも撮像範囲の広い、図１２の（Ｃ）に示すパノラマ画像を生成する。
【００９６】
図１４〜図１５は、シャッタースピードに応じた変位量だけ補正動作開始位置を変位させた場合の動作、図１６はシャッタースピードにかかわらず変位量を最大としている場合を示している。
【００９７】
図１４の（Ａ），図１５の（Ａ），図１６の（Ａ）は、動き検出部４２からの動き検出信号を示している。図１４の（Ｂ），図１５の（Ｂ），図１６の（Ｂ）は、手振れ補正要求フラグを示しており、フラグがハイレベル「Ｈ」の期間、振れ補正を行うように動き検出信号に応じて補正レンズ１１３ａの位置が制御される。図１４の（Ｃ），図１５の（Ｃ），図１６の（Ｃ）は、撮像素子２１としてＣＭＯＳ（Complementary Metal Oxide Semiconductor）型イメージ部を用いたときの電荷読み出し動作を示している。図１４の（Ｄ），図１５の（Ｄ），図１６の（Ｄ）は、補正レンズ１１３ａの補正方向に対する位置を示している。なお、図１４の（Ｄ），図１５の（Ｄ），図１６の（Ｄ）において、破線は補正レンズ１１３ａの移動可能範囲を示している。
【００９８】
シャッタースピードが遅い（露光期間が長い）場合、制御部５０は、補正動作開始位置の変位量をシャッタースピードが速い（露光期間が短い）場合に比べて多くする。例えば、図１４の（Ｄ）に示すように、例えば移動可能範囲の限界位置とする。このように変位量を多くすると、図１４の（Ｃ）に示すように露光期間が長くても、図１４の（Ｄ）に示すように、スイープ動作に対応して補正レンズ１１３ａを移動させることができる。
【００９９】
シャッタースピードが速い（露光期間が短い）場合、図１５の（Ｄ）に示すように、シャッタースピードが遅い場合に比べて補正動作開始位置の変位量を少なくする。このように、変位量を少なくすると、露光期間中の補正レンズ１１３ａの位置は、図１６の（Ｄ）に示すように変位量が多い場合に比べて中央位置に近くなる。したがって、図１６に示すように、シャッタースピードにかかわらず、露光開始時の位置が変位量の多い位置である場合に比べて、歪みや色収差，解像度等についての劣化が少ない撮像画像を得ることができる。
【０１００】
また、歪みや色収差，解像度等についての劣化が少ない撮像画像を得ることができるので、パノラマ画像の生成を行う場合、例えば撮像画像からの動きベクトルの算出を精度よくかつ容易に行うことが可能となる。また、撮像画像の合成後のパノラマ画像も歪みや色収差，解像度等についての劣化が少ない画像とすることができる。
【０１０１】
＜２．第２の実施の形態＞
次に、第２の実施の形態について説明する。第２の実施の形態では、撮像装置の動きが明らかである場合を示している。撮像装置を用いて撮像画像の生成を行う場合、手持ち状態で撮像を行う場合だけでなく、雲台を用いた撮像も行われている。また、雲台によって撮像装置の撮像方向を自動的に移動させることも行われている。このように、雲台によって撮像装置の撮像方向を自動的に移動させる場合、撮像方向をどちらの方向にどのような速度で移動（あるいは回転）させて撮像を行うかを示す移動制御情報を撮像装置が有していれば、動き検出センサからの動き検出信号を用いることなく撮像装置の動きを判別できる。したがって、撮像装置は、移動制御情報に基づきレンズ制御信号や位置制御信号を生成することで、第１の実施の形態と同様に、撮像装置の動きによる振れを補正して、パノラマ画像の生成に用いる複数枚の撮像画像を生成できる。
【０１０２】
［２−１．撮像装置の構成］
図１７は、第２の実施の形態の構成を示す図であり、雲台を利用して撮像方向の移動を行う場合を示している。なお、図１７において、図１と対応する部分については同一符号を付している。
【０１０３】
撮像装置１０ａは、撮像光学系ブロック１１、ドライバ１２、撮像光学系センサ部１３、撮像素子２１、タイミング信号発生（ＴＧ）部２２、アナログフロントエンド（ＡＦＥ）部２３、信号処理部２４、検波部２５を備えている。さらに撮像装置１０は、画像出力部３１、表示部３２、記録再生部３３、操作部４１、雲台対応通信部４３、制御部５０ａを備えている。
【０１０４】
撮像光学系ブロック１１は、上述のようにレンズ部１１ａ、絞り機構１１ｂを備えている。レンズ部１１ａは、ズームレンズ１１１、フォーカスレンズ１１２、補正レンズ部１１３で構成されている。
【０１０５】
ドライバ１２は、後述する制御部５０ａからのレンズ制御信号に基づきズームレンズ１１１やフォーカスレンズ１１２および補正レンズ部１１３のアクチュエータを駆動する。また、ドライバ１２は、制御部５０ａからの絞り制御信号に基づき絞り機構１１ｂを駆動する。
【０１０６】
撮像光学系センサ部１３は、ズームレンズ１１１やフォーカスレンズ１１２のレンズ位置、補正レンズ部１１３の変位状態（補正レンズ部１１３の変位位置や補正角と同等）、および絞り機構１１ｂの設定位置を検出して位置信号を制御部５０ａに供給する。
【０１０７】
撮像素子２１は、撮像光学系ブロック１１によって撮像面上に形成された光学像を電気信号に変換してＡＦＥ部２３に出力する。
【０１０８】
ＴＧ部２２は、撮像素子２１で撮像画像を示す電気信号の出力を行うために必要とする各種の駆動パルス、並びに撮像素子２１の電荷蓄積時間を制御する電子シャッターパルス等を生成する。
【０１０９】
ＡＦＥ部２３は、撮像素子２１から出力された電気信号（画像信号）に対して、ノイズ除去処理や利得制御、ノイズ除去処理や利得制御が行われたアナログの撮像信号をディジタル信号に変換する処理等を行う。
【０１１０】
信号処理部２４は、カメラ信号前処理やカメラ信号処理、解像度変換処理、圧縮伸張処理等を行う。さらに、撮像装置１０ａでパノラマ画像の生成を行う場合、信号処理部２４は撮像画像を用いて動きベクトルの算出を行い、この算出した動きベクトルを利用して同じ被写体の画像が重なるように複数の撮像画像の合成を行って、パノラマ画像を生成する。また、撮像画像の合成は、撮像方向の移動速度や方向を示す情報を用いてもよい。この場合、動きベクトルが正しく得られなくとも、同じ被写体の画像が重なるように複数の撮像画像を合成することが可能となる。
【０１１１】
検波部２５は、信号処理部２４に供給された撮像信号を用いて、被写体の明るさレベルやフォーカス状態の検出を行い、明るさレベルやフォーカス状態を示す検波信号を生成して制御部５０ａに供給する。
【０１１２】
画像出力部３１は、信号処理部２４で処理された画像信号を、撮像装置１０と接続される外部機器に対応したフォーマットの画像信号に変換して出力する。
【０１１３】
表示部３２は、撮像装置１０によって撮像されている画像や、記録再生部３３で再生された撮像画の表示を行う。また、表示部３２は、撮像装置１０の設定等を行うためのメニュー表示等も行う。
【０１１４】
記録再生部３３は、信号処理部２４から出力された撮像画の画像信号や符号化信号を記録媒体に記録する。また、記録再生部３３は、記録媒体に記録されている画像信号を読み出して画像出力部３１や表示部３２に供給する処理や、記録媒体に記録されている符号化信号を読み出して信号処理部２４に供給する処理を行う。
【０１１５】
操作部４１は、ユーザ操作に応じた操作信号を生成して制御部５０ａに供給する。
【０１１６】
雲台対応通信部４３は、例えば撮像装置１０ａが雲台６０に対して取り付けられた状態において、雲台６０の通信部との間で有線若しくは無線による通信信号の送受信を可能とするための構成を有している。雲台対応通信部４３は、撮像装置１０ａとの間で所定の通信方式にしたがった通信を実行する。
【０１１７】
制御部５０ａは、ＣＰＵ（Central Processing Unit）やメモリ等で構成されている。メモリには、ＣＰＵが実行するプログラムや各種データが記憶されている。このメモリとしては、例えばＥＥＰＲＯＭ（Electronically Erasable and Programmable ROM）、フラッシュメモリなどの不揮発性メモリが用いられる。制御部５０ａのＣＰＵはメモリに記憶されているプログラムを実行して、メモリに記憶されている各種データや操作部４１から供給された操作信号に基づき、撮像装置１０ａの動作がユーザ操作に応じた動作となるように各部を制御する。例えば、制御部５０ａは、シャッター操作をユーザが行ったとき、ＴＧ部２２等の動作を制御して、所望のシャッター速度で撮像した静止画の符号化信号等を記録再生部３３の記録媒体に記録させる。また、動画記録開始操作が行われたときは、動画の符号化信号等を記録再生部３３の記録媒体に記録させる。
【０１１８】
また、制御部５０ａは、モード選択操作をユーザが行ったとき、ユーザによって選択されたモードで撮像動作等を行う。また、制御部５０ａは、撮像光学系センサ部１３から供給された位置信号や、検波部２５から供給された検波信号に基づき、レンズ制御信号や絞り制御信号を生成してドライバ１２に供給する。したがって、ドライバ１２によって、所望の明るさでピントの合った撮像画像が得られるようにフォーカスレンズ１１２や絞り機構１１ｂが駆動される。また、制御部５０ａは、ズーム操作をユーザが行ったとき、レンズ制御信号を生成してドライバ１２に供給することで、所望のズーム比の撮像画像が得られるようにズームレンズ１１１を駆動する。
【０１１９】
さらに、制御部５０ａは、雲台６０によって撮像方向を移動しながら複数枚の撮像画像の生成を行う際に、変位させる補正レンズおよび／または撮像素子における各撮像画像の補正動作開始位置を、撮像方向の移動する方向に応じた方向に変位させる。また、制御部５０ａは、撮像装置１０ａの動きに応じて、補正レンズと撮像素子の少なくとも一方を変位させることで、撮像素子の撮像面上に結像される光学像の撮像装置の動きに応じた振れの補正を行う。さらに、制御部５０ａは、変位させる補正レンズおよび／または撮像素子における各撮像画像の補正動作開始位置を、撮像方向の移動する方向に応じた方向に変位させて、撮像方向の移動に対する振れ補正の補正範囲を広くする。
【０１２０】
なお、以下の説明では、補正レンズを変位させることで、撮像装置の動きに対する振れ補正を行う場合について説明する。
【０１２１】
［２−２．雲台の構成］
図１８は、雲台の構成を例示したブロック図である。雲台６０は、パン・チルト機構を備えるものであり、これに対応する部位として、パンモータ６４、パン機構部６５、チルトモータ６７、チルト機構部６８を備える。
【０１２２】
通信部６１は、雲台対応通信部４３と対応して構成されており、雲台６０に取り付けられた撮像装置１０ａの雲台対応通信部４３との間で所定の通信方式にしたがって有線若しくは無線による通信を実行する。
【０１２３】
雲台制御部６２は、ＣＰＵやメモリ等を用いて構成されている。雲台制御部６２のＣＰＵはメモリに記憶されているプログラムを実行して、パン動作やチルト動作を雲台６０で行わせる。雲台制御部６２は、パン動作を行うとき、パン動作制御信号をパン駆動部６３に出力する。また、雲台制御部６２は、チルト動作を行うとき、チルト動作制御信号をチルト駆動部６６に出力する。
【０１２４】
パン駆動部６３は、パン動作制御信号に基づきモータ駆動信号を生成してパンモータ６４に出力する。また、チルト駆動部６６は、チルト動作制御信号に基づきモータ駆動信号を生成してチルトモータ６７に出力する。
【０１２５】
パンモータ６４は、雲台６０に取り付けられた撮像装置１０ａに対して、パン（水平）方向の動きを与えるためのパン機構部６５に設けられている。パンモータ６４は、モータ駆動信号に基づき正方向または逆方向にスイープすることで、パン機構部６５によって撮像装置１０ａに対してパン方向の動きを与える。
【０１２６】
チルトモータ６７は、雲台６０に取り付けられた撮像装置１０ａに対して、チルト（垂直）方向の動きを与えるためのチルト機構部６８に設けられている。チルトモータ６７は、モータ駆動信号に基づき正方向または逆方向にスイープすることで、チルト機構部６８によって撮像装置１０ａに対してチルト方向の動きを与える。
【０１２７】
［２−３．撮像装置の動作］
図１９は、第２の実施の形態の動作を示すフローチャートである。ステップＳＴ４１で制御部５０ａは、移動制御情報を取得する。制御部５０ａは、撮像方向をどちらの方向にどのような速度で移動（あるいは回転）させて撮像を行うかを示す移動制御情報を取得してステップＳＴ４２に進む。この移動制御情報は、撮像装置１０ａに予め記憶されていてもよく、ユーザ操作に応じて生成するようにしてもよい。また、雲台６０との通信によって、雲台６０から移動制御情報を取得する構成であってもよい。さらに、撮像方向の移動速度は、撮像装置１０ａまたは雲台６０で自動的に決定するようにしてもよい。例えば、撮像装置１０ａの検波部２５では被写体の明るさレベルを検出していることから、検出された明るさレベルに応じて撮像方向の移動速度を設定する。ここで、撮像素子の露光期間を可変して所望の明るさの撮像画像を生成する場合、撮像画像が暗くなると露光期間が長くなる。したがって、被写体が暗いときには、露光時間が長くなっても、撮像装置１０ａの動きに対する振れ補正が行われた撮像画像を生成できるように、撮像方向の移動速度を低下させる。また、図１８に示すように、雲台６０に明るさ検出センサ６９を設けて、明るさ検出センサ６９で検出された被写体の明るさに応じて、雲台６０あるいは撮像装置１０ａで撮像方向の移動速度を設定する構成としてもよい。このように、撮像装置１０ａや雲台６０は、検出された明るさに応じて撮像装置の動き速度を制御する。
【０１２８】
ステップＳＴ４２で制御部５０ａは、シャッタースピードを判別する。制御部５０ａは、ユーザ操作によって設定されたシャッタースピード、あるいは予め設定されているシャッタースピードを判別してステップＳＴ４３に進む。また、被写体の明るさに応じて露光期間が可変される場合、被写体の明るさに応じて設定された露光期間からシャッタースピードを判別する。
【０１２９】
ステップＳＴ４３で制御部５０ａは、補正動作開始位置を設定する。制御部５０ａは、ステップＳＴ１３と同様にして、補正動作開始位置を設定する。すなわち、制御部５０ａは、移動制御情報に基づいて判別した撮像装置１０ａの動き方向に応じた方向に、補正レンズ部１１３の補正レンズを変位させて補正動作開始位置とすることで、振れ補正の補正可能範囲を広くする。また、制御部５０ａは、歪みや色収差、解像度等についての劣化の少ない撮像画像を得ることができるようにするため、露光期間すなわちシャッタースピードに応じて変位量を設定してステップＳＴ４４に進む。
【０１３０】
ステップＳＴ４４で制御部５０ａは、シャッター操作を開始してステップＳＴ４５に進む。シャッター操作の開始は、例えば雲台６０によって撮像方向の移動が開始されたとき、シャッター操作の開始とする。
【０１３１】
ステップＳＴ４５で制御部５０ａは、撮像画像生成処理を行う。制御部５０ａは、ステップＳＴ１５と同様に、補正動作開始位置とされている補正レンズ１１３ａを撮像方向の移動速度に応じて駆動して、撮像装置の動きによって生じる光学像の振れを補正する。また、制御部５０ａは、シャッタースピードに応じて変位量を設定して補正動作開始位置を決定する。さらに、制御部５０ａは、露光期間中、振れ補正動作を動作状態とすることで、撮像装置１０ａの動きによるぼけがなく、歪みや色収差、解像度等についての劣化の少ない撮像画像を生成させてステップＳＴ４６に進む。
【０１３２】
ステップＳＴ４６で制御部５０ａは、シャッター操作が終了されたか否か判別する。制御部５０ａは、雲台６０によって行われている撮像方向の移動が終了するとき、または撮像方向の移動が所定量となったとき、シャッター操作の終了と判別してステップＳＴ４７に進む。また、シャッター操作が終了されていないと判別したとき補正レンズ１１３ａを補正動作開始位置に戻してステップＳＴ４５に戻る。制御部５０ａは、ステップＳＴ４６からステップＳＴ４５に戻ると、撮像画像の露光期間と次の撮像画像の露光期間との間に、補正レンズ１１３ａを補正動作開始位置に戻す。その後、制御部５０ａは、再度撮像方向の移動速度に応じて補正レンズ１１３ａを駆動して、撮像装置１０ａの動きによるぼけがなく、歪みや色収差、解像度等についての劣化の少ない撮像画像の生成を行う。
【０１３３】
ステップＳＴ４７で制御部５０ａは、撮像画像合成処理を行う。制御部５０ａは、信号処理部２４を制御して、ステップＳＴ１５とステップＳＴ１６の処理によって生成された複数枚の撮像画像を用いて動きベクトルを算出する。また、制御部５０ａは、算出した動きベクトルに基づいて、同じ被写体の画像が重なるように複数の撮像画像の合成を行って、１つの撮像画像よりも撮像範囲の広いパノラマ画像を、複数枚の撮像画像から生成してパノラマ撮像画像生成処理を終了する。
【０１３４】
ステップＳＴ４７で制御部５０ａは、ステップＳＴ４５で生成した撮像画像を記録再生部３３で記録媒体に記録させる。
【０１３５】
このように、制御部５０ａは、パノラマ撮像モードであるとき、各撮像画像の補正動作開始位置を、光軸に対してレンズ部と撮像素子の少なくとも一方を撮像方向の移動する方向に応じた方向に変位させて、撮像方向の移動に対する振れ補正の補正範囲を広くする。さらに、制御部５０ａは、変位されているレンズ部および／または撮像素子を、撮像装置の動きに応じて移動させる。このため、撮像装置１０ａを雲台６０に取り付けて、雲台６０によって撮像方向を移動させる場合でも、撮像方向に対する振れ補正の性能が改善されて、パノラマ画像の生成に適した振れ補正が行われて、露光時間やスイープ速度にかかわらずぼけの生じていない撮像画像の生成が可能となる。したがって、パノラマ画像を生成する際に、被写体の明るさやスイープ速度等の制約が軽減されて、パノラマ画像の生成を容易に行うことができる。
【０１３６】
さらに、制御部５０ａは、パノラマ撮像モードであるとき、シャッタースピードに応じて変位量を設定して補正動作開始位置を決定する。このとき、補正動作開始位置の変位に伴い露光開始時の位置が変位されて、露光開始時の位置は、シャッタースピードに応じた変位量で光軸を中心とした位置から変位となる。このため、撮像装置１０ａを雲台６０に取り付けて、雲台６０によって撮像方向を移動させる場合でも、シャッタースピードが速いとき、露光期間中の補正レンズ１１３ａの位置を光軸に近い位置とすることができる。したがって、歪みや色収差、解像度等についての劣化の少ない撮像画像を生成できるようになる。
【０１３７】
なお、撮像画像合成処理を撮像装置で行う場合、撮像画像合成処理を行うステップを設けて、撮像画像合成処理で生成されたパノラマ画像を記録媒体に記録するようにしてもよい。
【０１３８】
また、本発明は、上述した発明の実施の形態に限定して解釈されるべきではない。露光期間は、シャッタースピード以外にも、例えばパノラマ画像の生成で合成される複数枚の撮像画像生成時のフレームレートに応じて変化する。フレームレートが可変であって１フレーム期間の蓄積電荷を読み出して画像信号を生成する場合、フレームレートが高いと露光時間は短く、フレームレートが低いと露光時間が長くなる。したがって、合成される複数枚の撮像画像生成時のフレームレートに応じてオフセット量の設定を行うものとしてもよい。また、撮像装置の動きを検出できる構成であれば、上述のように角速度検出部や加速度検出部を用いた構成に限られない。例えば、撮像画像から撮像装置の振れを検出するようにしてもよい。
【０１３９】
さらに、レンズ交換が可能な撮像装置である場合、補正レンズをレンズ側に設けた構成としてもよく、補正レンズを撮像装置の本体側に設けた構成としてもよい。また、例えば補正レンズや補正レンズを駆動する駆動部をレンズ側に設けて、他の構成要素を撮像装置の本体側に設けた構成としてもよい。また、上述のように、撮像装置の本体側に設けた撮像素子を撮像装置の動きに応じて移動させてもよい。
【０１４０】
この発明の実施の形態は、例示という形態で本発明を開示しており、本発明の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【産業上の利用可能性】
【０１４１】
この発明の撮像装置および撮像方法は、駆動部によって、光軸に対してレンズ部と撮像素子の少なくとも一方が変位される。また、複数枚の撮像画像からパノラマ画像を生成するために撮像方向を移動しながら前記複数枚の撮像画像の生成を行う際に、各撮像画像の露光開始時における前記レンズ部および／または撮像素子の位置が、変位させるレンズ部および／または撮像素子における各撮像画像の露光開始時の位置が、制御部によって、撮像方向の移動する方向に応じた方向に駆動部で変位される。また、変位されているレンズ部および／または撮像素子を、当該撮像装置の動きに応じて駆動部によって変位させる制御が制御部で行われて、撮像方向の移動に伴って生じる振れの補正が行われる。さらに、露光期間中における変位が小さくなるように、露光期間の長さに応じて露光開始時の変位量が設定される。したがって、パノラマ画像の生成に適した振れ補正を行うことが可能となり、パノラマ画像を生成するための複数枚の撮像画像を、歪みや色収差、解像度等についての劣化の少ない良好な画質で容易に得ることができるようになり、パノラマ画像の生成等を行うディジタルカメラ等に適している。
【符号の説明】
【０１４２】
１０，１０ａ・・・撮像装置、１１・・・撮像光学系ブロック、１１ａ・・・レンズ部、１１ｂ・・・絞り機構、１２・・・ドライバ、１３・・・撮像光学系センサ部、２１・・・撮像素子、２１ａ，１１３ｂ・・・アクチュエータ、２２・・・ＴＧ部、２３・・・ＡＦＥ部、２４・・・信号処理部、２５・・・検波部、３１・・・画像出力部、３２・・・表示部、３３・・・記録再生部、４１・・・操作部、４２・・・動き検出部、４３・・・雲台対応通信部、５０，５０ａ・・・制御部、６０・・・雲台、６１・・・通信部、６２・・・雲台制御部、６３・・・パン駆動部、６４・・・パンモータ、６５・・・パン機構部、６６・・・チルト駆動部、６７・・・チルトモータ、６８・・・チルト機構部、１１１・・・ズームレンズ、１１２・・・フォーカスレンズ、１１３・・・補正レンズ部、１１３ａ・・・補正レンズ、４１１・・・メニューキー、４１２ａ〜４１２ｄ・・・方向キー、４１３・・・決定キー、４１５・・・シャッターキー
【特許請求の範囲】
【請求項１】
光軸に対してレンズ部と撮像素子の少なくとも一方を変位させる駆動部と、
当該撮像装置の動きに応じて、前記レンズ部と前記撮像素子の少なくとも一方を前記駆動部によって変位させる制御部とを有し、
前記制御部は、複数枚の撮像画像からパノラマ画像を生成するために撮像方向を移動しながら前記複数枚の撮像画像の生成を行う際に、各撮像画像の露光開始時における前記レンズ部および／または撮像素子の位置を、前記撮像方向の移動する方向に応じた方向に変位させて、露光期間中における前記変位が小さくなるように、前記露光期間の長さに応じて前記露光開始時の変位量を設定する撮像装置。
【請求項２】
前記制御部は、各撮像画像の露光開始時における前記レンズ部および／または撮像素子の位置を、前記光軸を中心とした位置から変位させる請求項１記載の撮像装置。
【請求項３】
前記駆動部は、光軸に対してレンズ部と撮像素子の少なくとも一方を光軸に対して垂直な面内で変位させる請求項１記載の撮像装置。
【請求項４】
前記制御部は、前記撮像装置の動きに応じて、前記レンズ部と撮像素子の少なくとも一方を変位させることで、前記撮像素子の撮像面上に結像される光学像の前記撮像装置の動きに応じた振れの補正を行う請求項１記載の撮像装置。
【請求項５】
前記制御部は、各撮像画像の露光期間中は、前記撮像装置の動きに応じて、前記レンズ部と撮像素子の少なくとも一方を変位させることで前記撮像素子の撮像面上に結像される光学像の前記撮像装置の動きに応じた振れを補正する振れ補正動作を動作状態とする請求項１記載の撮像装置。
【請求項６】
前記制御部は、撮像画像の露光期間と次の撮像画像の露光期間との間に、前記レンズ部および／または撮像素子の位置を前記露光開始時の位置に戻す請求項５記載の撮像装置。
【請求項７】
当該撮像装置の撮像方向を移動させる雲台を有し、
前記雲台によって撮像装置の撮像方向を移動させるための移動制御情報に基づき前記撮像装置の動きを判別して、前記レンズ部と撮像素子の少なくとも一方を変位させる請求項１記載の撮像装置。
【請求項８】
前記露光期間は、シャッタースピードである請求項１記載の撮像装置。
【請求項９】
前記制御部は、フレームレートに基づいて前記露光期間を設定する請求項１記載の撮像装置。
【請求項１０】
駆動部によって、光軸に対してレンズ部と撮像素子の少なくとも一方を変位させるステップと、
制御部によって、当該撮像装置の動きに応じて、前記レンズ部と撮像素子の少なくとも一方を前記駆動部で変位させるステップと、
複数枚の撮像画像からパノラマ画像を生成するために撮像方向を移動しながら前記複数枚の撮像画像の生成を行う際に、前記制御部によって、各撮像画像の露光開始時における前記レンズ部および／または撮像素子の位置を、前記撮像方向の移動する方向に応じた方向に変位させて、露光期間中における前記変位が小さくなるように、前記露光期間の長さに応じて前記露光開始時の変位量を設定するステップを備える撮像方法。
【請求項１】
光軸に対してレンズ部と撮像素子の少なくとも一方を変位させる駆動部と、
当該撮像装置の動きに応じて、前記レンズ部と前記撮像素子の少なくとも一方を前記駆動部によって変位させる制御部とを有し、
前記制御部は、複数枚の撮像画像からパノラマ画像を生成するために撮像方向を移動しながら前記複数枚の撮像画像の生成を行う際に、各撮像画像の露光開始時における前記レンズ部および／または撮像素子の位置を、前記撮像方向の移動する方向に応じた方向に変位させて、露光期間中における前記変位が小さくなるように、前記露光期間の長さに応じて前記露光開始時の変位量を設定する撮像装置。
【請求項２】
前記制御部は、各撮像画像の露光開始時における前記レンズ部および／または撮像素子の位置を、前記光軸を中心とした位置から変位させる請求項１記載の撮像装置。
【請求項３】
前記駆動部は、光軸に対してレンズ部と撮像素子の少なくとも一方を光軸に対して垂直な面内で変位させる請求項１記載の撮像装置。
【請求項４】
前記制御部は、前記撮像装置の動きに応じて、前記レンズ部と撮像素子の少なくとも一方を変位させることで、前記撮像素子の撮像面上に結像される光学像の前記撮像装置の動きに応じた振れの補正を行う請求項１記載の撮像装置。
【請求項５】
前記制御部は、各撮像画像の露光期間中は、前記撮像装置の動きに応じて、前記レンズ部と撮像素子の少なくとも一方を変位させることで前記撮像素子の撮像面上に結像される光学像の前記撮像装置の動きに応じた振れを補正する振れ補正動作を動作状態とする請求項１記載の撮像装置。
【請求項６】
前記制御部は、撮像画像の露光期間と次の撮像画像の露光期間との間に、前記レンズ部および／または撮像素子の位置を前記露光開始時の位置に戻す請求項５記載の撮像装置。
【請求項７】
当該撮像装置の撮像方向を移動させる雲台を有し、
前記雲台によって撮像装置の撮像方向を移動させるための移動制御情報に基づき前記撮像装置の動きを判別して、前記レンズ部と撮像素子の少なくとも一方を変位させる請求項１記載の撮像装置。
【請求項８】
前記露光期間は、シャッタースピードである請求項１記載の撮像装置。
【請求項９】
前記制御部は、フレームレートに基づいて前記露光期間を設定する請求項１記載の撮像装置。
【請求項１０】
駆動部によって、光軸に対してレンズ部と撮像素子の少なくとも一方を変位させるステップと、
制御部によって、当該撮像装置の動きに応じて、前記レンズ部と撮像素子の少なくとも一方を前記駆動部で変位させるステップと、
複数枚の撮像画像からパノラマ画像を生成するために撮像方向を移動しながら前記複数枚の撮像画像の生成を行う際に、前記制御部によって、各撮像画像の露光開始時における前記レンズ部および／または撮像素子の位置を、前記撮像方向の移動する方向に応じた方向に変位させて、露光期間中における前記変位が小さくなるように、前記露光期間の長さに応じて前記露光開始時の変位量を設定するステップを備える撮像方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１１−１４７０９４（Ｐ２０１１−１４７０９４Ａ）
【公開日】平成２３年７月２８日（２０１１．７．２８）
【国際特許分類】
【出願番号】特願２０１０−２４０４２（Ｐ２０１０−２４０４２）
【出願日】平成２２年２月５日（２０１０．２．５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年７月２８日（２０１１．７．２８）
【国際特許分類】
【出願日】平成２２年２月５日（２０１０．２．５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]