撮像装置
【課題】使用する防振方式を必要に応じて使い分けて良好な出力画像を得ることができ、かつユーザーにとって使い勝手のよい撮像装置を実現する。
【解決手段】撮像素子４を用いて撮影を行う撮像装置であって、順次取得した複数の画像を合成して出力画像を生成する画像合成処理を行う第１のモードおよび画像合成処理を行わずに出力画像を生成する第２のモードとで動作する画像生成手段と、撮影倍率に応じて第１のモードと第２のモードを選択する制御手段１０１とを有する。
【解決手段】撮像素子４を用いて撮影を行う撮像装置であって、順次取得した複数の画像を合成して出力画像を生成する画像合成処理を行う第１のモードおよび画像合成処理を行わずに出力画像を生成する第２のモードとで動作する画像生成手段と、撮影倍率に応じて第１のモードと第２のモードを選択する制御手段１０１とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、像振れ補正により撮影画像の精度を向上させる撮像装置に関するものである。
【背景技術】
【０００２】
近年、撮影時の露出決定やピント合わせ等の操作が全て自動化されているため、カメラに関する知識が少なくても撮影を失敗する可能性が低くなっており、また、像振れ補正機能によりさらに良好な撮影画像を得ることができる。以下に、像振れを防止する防振システムについて説明する。
【０００３】
撮影時のカメラの振れは、周波数として通常１Ｈｚないし１０Ｈｚの振動である。露光時点におけるこのような振れに対して、像振れの無い写真を撮影するための基本的な考えとしては、像振れによるカメラの振動を検出し、この検出結果に応じて補正レンズを光軸直交面内で変位させている。すなわち、カメラに振れが生じても像振れが生じない写真を撮影するためには、第１にカメラの振動を正確に検出し、第２に像振れによる光軸変化を補正することが必要となる。
【０００４】
上記像振れ補正は、原理的にはレーザージャイロ等により加速度、角加速度、角速度、角変位等を検出し、この検出結果に対して適宜演算処理する振動検出部をカメラに搭載することによって行うことができる。
【０００５】
そして、振動検出部から出力されるカメラ振れの検出情報に基づいて撮影光軸を偏心させる補正光学装置を駆動することにより像振れ補正が行われる。
【０００６】
一方、像振れが生じない程度の露光時間で複数回撮影をくり返し、これらの撮影により得られた画像に対して画像のズレを修正しながら合成し、長い露光時間の撮影画像（合成画像）を得る方法が提案されている（特許文献１）。
【特許文献１】特許第３１１０７９７号公報（段落００３０〜００３６、図１１、１３等）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、一般的に撮影倍率が０．１倍よりも小さい場合は、角度振れ補正（光学的振れ補正）による像振れ補正で対応できるが、撮影倍率が０．１倍よりも大きくなると、シフト振れの影響が大きくなり、さらに撮影倍率が大きくなるとピント方向の振れの影響が大きくなる。このため、光学的振れ補正をマクロレンズのような撮影倍率の高いものに適用しても、十分な像振れ補正効果が得られない。
【０００８】
一方、ビデオカメラでの動画撮影において、撮像素子で画面の動きベクトルを検出し、その動きベクトルに合わせて画像の読み出し位置を変更することで振れのない動画を得る電子的振れ補正が提案されている。
【０００９】
しかし、この電子的振れ補正はビデオカメラにおける動きベクトルの検出は、１秒に複数の画像を取り出し、この取り出した各画像を比較して動きベクトルを検出しているので、撮影被写体に対して１回の露光しか行わないデジタルカメラでの静止画の撮影では、コマ画像の比較を行って動きベクトルを検出することはできない。このため、ビデオカメラの防振システムをデジタルカメラに適応することができない。
【００１０】
また、特許文献１では複数回撮影をくり返し、これらの撮影により得られた画像に対して画像のズレを修正しながら合成して撮影画像を得ている電子的振れ補正が提案されているが、複数回の撮影を繰り返すため、撮影時間が長くなり、被写体ブレなどにより十分な補正効果を得ることができない。
【００１１】
さらに、特許文献１では、ユーザーが防振対策の必要性があるか否かを判断しなければならず、撮影シーンにおいて防振対策が必要か否かをユーザー自身が判断することは困難であり、ユーザーにとって操作し難く、また、一回の撮影時に複数の露光が行われるため、ユーザーに違和感を与えてしまう。
【００１２】
本発明の例示的な目的の１つは、光学防振と画像合成による電子的振れ補正のうち、使用する防振方式を必要に応じて使い分けて良好な出力画像を得ることができ、かつユーザーにとって使い勝手のよい撮像装置を実現することにある。
【課題を解決するための手段】
【００１３】
１つの観点としての本発明の撮像装置は、撮像素子を用いて撮影を行う撮像装置であって、順次取得した複数の画像を合成して出力画像を生成する画像合成処理を行う第１のモードおよび画像合成処理を行わずに出力画像を生成する第２のモードとで動作する画像生成手段と、第１及び第２のモードで光学系の駆動による像振れ補正を行う光学防振を動作させるとともに、第１のモードと第２のモードを選択する制御手段とを有する。
【発明の効果】
【００１４】
本発明によれば、光学防振のみを行う第２のモードと、光学防振及び画像合成処理を行う第１のモードとを必要に応じて選択するため、像振れ補正が適切に行われ、良好な出力画像を得ることができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施例について図面を参照しながら説明する。
【実施例１】
【００１６】
図１は本発明の実施例１の交換式のレンズ装置を備えた撮像装置の断面図であり、本実施例では１眼レフレックスデジタルカメラを１例に説明する。
【００１７】
１はカメラ本体、２はカメラ本体１に装着可能な交換式のレンズ装置である。３はレンズ装置２を通過した光線の一部をファインダー光学系に導くミラーであり、撮影動作前は該光線の光軸上に配設され、撮影動作中は光軸より退避している。４はＣＣＤセンサーやＣＭＯＳセンサー等の撮像素子で、撮像素子４上に結像した被写体像を光電変換する半導体撮像部である。
【００１８】
ファインダー光学系は、ペンタプリズム５、ファインダーレンズ６より構成されており、ペンタプリズム５では入射された光線の一部を位相差方式の焦点検出ユニット７に分光する。焦点検出ユニット７は入射した光線を二つの光束に分割するコンデンサレンズ７ａと光線を再結像させる２つのセパレータレンズ７ｂと、結像された被写体像を光電変換するＣＣＤセンサー等のラインセンサー７ｃとから構成される。
【００１９】
また、レンズ装置２において、１１は第１レンズユニット、１２はフォーカシング光学系を構成する第２レンズユニット（フォーカスレンズユニット）、１３は変倍光学系を構成する第３レンズユニット（ズームレンズユニット）である。１４は像振れ補正光学系を構成する第４レンズユニットで、第１から第４のレンズユニットを通過した光線（撮影光）は、絞り１５で光量制限される。
【００２０】
第２レンズユニット１２は、フォーカスレンズ駆動モータ１６からの駆動力により光軸上を移動し、所定の合焦位置に停止することで焦点調節を行う。第３レンズユニット１３は撮影者からの操作を伝達する不図示の伝達機構により、その操作力が光軸方向への駆動に変換され、変倍動作を行うために光軸方向に駆動する。第４レンズユニット１４は、振動ジャイロ等からなる角度振れ検出センサーからの検出結果に基づいて、振れ補正駆動モータ１７により光軸に対して垂直方向に移動して角度振れ補正を行なう。
【００２１】
図２は本実施例の撮像装置の構成ブロック図である。１０１はマイクロコンピュータで構成されるカメラＣＰＵで、後述のカメラ本体１内の種々の動作制御を行うとともに、レンズ装置２の装着時にはカメラ接点１０２を介してレンズＣＰＵ２０１との送信及び受信を行う。このとき送信される情報としては、後述する撮影倍率に関する情報等が含まれる。そして、カメラ接点１０２はレンズ装置２側に、信号を伝達する信号伝達接点と電源を供給する電源用接点とが設けられている。
【００２２】
１０３は電源スイッチであり、カメラＣＰＵ１０１を起動してカメラシステム内の各アクチュエータやセンサー等への電源供給およびシステムの動作を可能な状態とするためのスイッチである。１０４は２段ストローク式のレリーズスイッチで、その信号はカメラＣＰＵ１０１に入力される。カメラＣＰＵ１０１はレリーズスイッチ１０４から入力される信号に従い、第１ストロークスイッチ（ＳＷ１）がオンされた場合、測光回路１０５による測光を行って露光量の決定を行なうとともに、不図示の焦点検出ユニットにより測距エリア内に存在する被写体までの距離を測定し、該被写体に焦点を合わせるために必要な第２レンズユニット１２の移動量を焦点検出回路１０６で算出する。なお、ＡＦ予測モードが選択された場合は、過去の複数回のＡＦ情報を基に撮像面と被写体間の変動履歴を求め、露光中の中心で合焦するようにフォーカスレンズの移動量を決定できる。
【００２３】
さらに、第２ストロークスイッチ（ＳＷ２）がオンされると、レンズＣＰＵ２０１に絞り動作命令を送信するとともに、露光に先立ち、後述するレンズ装置２の防振操作ＳＷ２０３が操作されて振れ補正モードが選択されていた場合には、レンズＣＰＵ２０１からの撮影倍率情報を受信する。そして、限界露光時間演算回路１０７によりシフト振れが発生しない限界の露光時間を演算して、複数露光が必要かどうかの判別を行う。
【００２４】
その後、シャッター駆動回路１０８に露光開始命令を出力してミラー３の退避動作（アップ）、シャッター１０９の開放動作を行い、撮像素子４上に結像された被写体像を光電変換する。さらに、Ａ／Ｄ変換された画像信号は信号処理回路１１０においてデジタル変換して画像データを出力する。
【００２５】
なお、複数露光が必要な場合は、演算された露光時間で複数回露光を行い、露光時間の合計が測光回路１０５により演算された適正露光となる露光時間まで繰返され、その画像信号はメモリ１１１に記憶される。
【００２６】
１１２は画像ズレ検出回路で、記憶された画像内における特徴点を抽出して、この特徴点の撮影画面内における位置座標を割り出し、座標変換回路１１３により基準画像の特徴点の座標に他の複数回露光した画像の特徴点が重なるように各画像の座標変換を行う。
【００２７】
そして、画像合成回路１１４により複数回露光した画像は座標変換後に合成され、フラッシュメモリ等の半導体メモリ、磁気ディスク、光ディスク等の記録媒体１１５に該画像信号（画像データ）を記録、保存する。
【００２８】
２０１はレンズＣＰＵで、レンズ装置２内の種々の装置の動作を制御するとともに、カメラ本体１に装着された時にはレンズ接点２０２を介してカメラＣＰＵ１０１との通信を行う。２０２はレンズ接点であり、カメラ本体１のカメラ接点１０２と同様に信号伝達接点及び電源用接点が設けられ、該カメラ接点１０２と接触してカメラ本体１とレンズ装置２とを電気的に接続している。
【００２９】
２０３は防振操作ＳＷであり、像振れ補正動作（防振動作）を行なわせるかどうかを選択する（ＯＮで防振動作選択）ことが可能であり、その情報はカメラ本体１にも送信される。２０４は振動検出回路であり、レンズＣＰＵ２０１からの命令に従って撮像装置の縦振れ（ピッチ方向）及び横振れ（ヨー方向）の角速度を検出する振動検出部２０４ａと、該検出部２０４ａの出力信号を電気的あるいは機械的に積分した変位をレンズＣＰＵ２０１に出力する演算部２０４ｂとから構成されている。
【００３０】
２０５は振動ジャイロ等からなる角度振れ検出センサーからの検出結果に基づいて、振れ補正駆動モータ１７の駆動制御を行う振れ補正制御回路である。振れ補正駆動モータ１７は、第４レンズユニット１４をピッチ方向に駆動する永久磁石およびコイルからなるピッチ方向駆動部と、ヨー方向に駆動する永久磁石およびコイルからなるヨー方向駆動部とにより構成される。なお、レンズ装置２内には、第４レンズユニット１４を、その光軸がレンズ光軸に略一致する位置に保持するためのロック機構が設けられている。振れ補正制御回路２０５は、レンズＣＰＵ２０１からの指令信号に応じて、防振操作スイッチ２０３がＯＦＦになったとき（振れ補正停止時）に該ロック機構をロック動作させ、防振操作スイッチ２０３がＯＮになったとき（振れ補正動作時）に該ロック機構をアンロック動作させる。
【００３１】
２０６はフォーカスレンズ制御回路で、焦点検出回路１０６で検出結果に基づいて算出された第２レンズユニット１２の移動量に従い、フォーカスレンズ駆動モータ１６を駆動して、第２レンズユニット１２を合焦位置まで駆動する駆動制御を行う。
【００３２】
２０７は絞り制御回路で、カメラＣＰＵ１０１から送信された絞り動作信号（絞り値）に基づいて絞り駆動モータ２０７ａの駆動制御を行って絞り開口面積を調節する。
【００３３】
２０８は撮影倍率検出回路であり、変倍レンズである第３レンズユニット１３の位置を検出するズーム検出部２０８ａと、第２レンズユニット１２の位置を検出する被写体距離検出部２０８ｂと、これらズーム検出部２０８ａおよび被写体距離検出部２０８ｂからの位置情報に基づいて撮影倍率を演算する撮影倍率演算部２０８ｃにより構成されている。該演算部で演算された撮影倍率の情報は、レンズＣＰＵ２０１を介してカメラＣＰＵ１０１に送信される。
【００３４】
なお、本実施例では、第３レンズユニットを光軸方向に駆動して焦点距離を変えることで変倍動作を行う光学ズームと、カメラ本体１において撮像素子４上に結像した被写体像を光電変換して得られた画像データを拡大・縮小することで変倍動作を行う電子ズームの両ズーム機能を有している。このため、この場合の撮影倍率は、撮影倍率演算部２０８ｃにより演算された光学的なズーム倍率に、カメラＣＰＵにより演算された電子的なズーム倍率を乗じた撮影倍率となる。
【００３５】
次に、本実施例の画像生成手段である画像ズレ検出回路１１２、座標変換回路１１３及び画像合成回路１１４の像振れ補正動作及び処理について詳細に説明する。まず、撮影者がレリーズスイッチ１０４を半押しすると（ＳＷ１がオン）、撮影準備動作（焦点調節動作や測光動作等）が開始される。測光動作により得られた測光結果に基づいてシャッター１０９のシャッタースピード（露光時間）と絞り１５の絞り口径（絞り値）を設定するが、一般的に防振システムを使用するような撮影条件では被写体が暗いので、絞り１５は全開としても、適正露光となる露光時間は長秒時露光に設定される。
【００３６】
そこで、撮影倍率情報に基づいてシフト振れの発生しない露光時間を演算して、適正となる露光時間を複数の短い露光時間に分割し、この分割した数だけ撮影を繰り返す。このように短い露光時間に分割すると、露光により得られる１枚１枚の画像は露出不足になるが、これらの画像には像振れの影響が少ない画像となる。そして、複数の画像を撮影終了後に各々の画像を合成して１枚の画像にすることで露出を改善する。
【００３７】
しかし、複数の画像を撮影するとき、複数の撮影により得られた各画像においては、像振れの影響が生じていなくても、連続撮影中の像振れにより各画像間における構図は微妙にズレている場合がある。ここで、これらの画像をこのまま合成すると、合成された画像は各画像における構図がズレ分だけぶれた画像になる。
【００３８】
そこで、本実施例では、連続撮影に応じて撮像素子４から撮影ごとに複数出力される画像信号は、Ａ／Ｄ変換によりデジタル信号に変換されてから信号処理部１１０にて信号処理が施された後、防振操作ＳＷ２０３の操作により防振システムがオンされている場合は、信号処理回路１１０からの画像データはメモリ１１１に入力し、記憶媒体１１５への入力は行わない。
【００３９】
そして、画像ズレ検出回路１１２はメモリ１１１に記憶された各画像データ内における特徴点を抽出し、この特徴点の撮影画面内における位置座標を求める。例えば、図３に示すように、フレーム１２１ａにおいて花を近接撮影する場合、複数枚撮影するとフレーム１２１ｂのように像振れによりフレーム１２１ａに対して構図がずれた画像が撮影される。このとき画像ズレ検出回路１１２は、画面の中の花のうち輝度の高い点である花弁のエッジ１２３ａをエッジ検出により特徴点として抽出し、この特徴点１２３ａと、フレーム１２１ｂにおける特徴点１２３ｂと比較することで画像ズレを検出する。そして、この画像ズレ（差分）を座標変換回路１１３により補正（座標変換）する。図３では、フレーム１２１ｂの特徴点１２３ｂを矢印１２４のようにフレーム１２１ａの特徴点１２３ａに重ねるようにして、フレーム１２１ｂを座標変換する。
【００４０】
その後、図３と同様に基準となる第１の画像における特徴点１２３ａと、第２の画像における特徴点１２３ｂと比較し、その差分を補正（座標変換）する。すなわち、座標変換回路１１３は、第２の画像の特徴点１２３ｂを第１の画像の特徴点１２３ａに重ねるように第２の画像を座標変換する。第２の画像群の中で２枚目以降の画像についても各々特徴点１２３ｂの座標を求め、その座標が第１の画像で定めた特徴点１２３ａの座標と重なるように座標変換回路１１３は各画像（第２の画像群）を座標変換する。
【００４１】
また、本実施例では画像ごとの特徴点座標を求めているが、第１の画像と第２の画像群のうち１枚目の画像を相関演算し、各々対応する画素の変化を画像ズレ検出回路１１２が動きベクトルとして求めて特徴点の変化とすることもできる。この場合、第２の画像群の２枚目に対しても画像との相関演算で特徴点の変化を求め、以下同様にして各画像の特徴点の変化を求める。なお、特徴点は１箇所だけ選択するのではなく、複数のポイントを選択しておき、これらのポイントの動きベクトルの平均値、又はスカラーの最小値を特徴点の変化としてもよい。なお、この特徴点の変化として動きベクトルの平均値、又はスカラーの最小値を採用しているのは、画面周辺で選択された特徴点もそれ自身が移動する可能性があるため、もっとも移動しない特徴点を選ぶためである。
【００４２】
さらに、本実施例では、第１の画像を基準にしている。これは構図のズレた２枚の写真を合成する場合、図４に示すように２枚の画像が重ならない領域１２９ａ、１２９ｂが生ずる。そこで、画像合成回路１１４は領域１２９ａ、１２９ｂをカットして、２枚の画像が重なった領域のみについて拡散補完処理を行い、もとのフレームの大きさにする。
【００４３】
デジタル画像の場合には、１枚の露出不足の写真でもゲインアップすることで露出補正が可能であるが、ゲインを高くするとノイズも多くなり良好な画像を得るはできない。しかし、本実施例のように、多くの画像を合成することで画像全体のゲインをアップさせる場合には、各画像のノイズが平均化されるためにＳ／Ｎ比の大きい画像を得ることができ、結果的にノイズを抑えて露出を適正化することができる。言い換えれば、ノイズを許容して撮像素子４を高感度にして複数枚撮影し、これらを加算平均することで画像に含まれるランダムノイズを減少させている。
【００４４】
そして、このように座標変換回路１１３で座標変換された各画像は、最終的に画像合成回路１１４に出力されて各画像が１枚の画像に合成され、該合成画像データは、ガンマ補正や圧縮処理が行われ記録媒体１１５に記録される。
【００４５】
図５は本実施例の撮像装置のカメラシステムにおける主要動作を示すフローチャート図である。
【００４６】
まず、カメラ本体１の電源ＳＷ１０３をＯＮにし、レンズ装置２に電源供給が開始される（または、新しい電池を入れた場合、カメラ本体１にレンズ装置２を装着した場合などカメラ本体１とレンズ装置２との間で通信が開始される。）（Ｓ１００１）
【００４７】
次に、カメラＣＰＵ１０１は、レリーズＳＷ１０４のＳＷ１がオンされているか否かを判別し（Ｓ１００２）、オンされている場合、レンズＣＰＵ２０１は防振操作ＳＷ２０３がＯＮ（防振動作選択）になっているかを判別する（Ｓ１００３）。そして、防振動作選択がなされていればステップ１００４へ、選択されていなければステップ１０２３へ進む。
【００４８】
次にカメラＣＰＵ１０１が測光及び焦点検出を行い、レンズＣＰＵ２０１が焦点調節動作、像振れ検出、焦点距離検出、被写体距離検出を行なう（Ｓ１００４）。
【００４９】
その後、所定の時間が経過すると、レンズＣＰＵ２０１は振動検出回路２０４から像振れを補正するための信号を受け取り、振れ補正制御回路２０５に出力して像振れ補正を開始する（Ｓ１００５）。そして、検出された焦点距離、被写体距離から撮影倍率を演算し、マクロ防振（撮影倍率が大きい）領域であるかどうかの判別を行う（Ｓ１００６）。
【００５０】
このステップ１００６での判別は、この撮影倍率が所定の閾値以上の場合にマクロ防振領域であると判別して、ステップ１００７以降の処理（第１のモード）に進み、閾値よりも撮影倍率が小さい場合は、ステップ１０２１以降の処理に進む。具体的には、任意に設定される閾値を、例えば撮影倍率が０．１倍と設定し、撮影倍率が０．１倍以上の場合はステップ１００５での光学的振れ補正のみでは像振れ補正が十分に行われないと判断して、ステップ１００７以降の画像合成処理による電子的振れ補正も合わせて行う。
【００５１】
ステップ１００６でマクロ防振領域であると判別された場合は、限界露光時間演算回路１０７にて撮影倍率からシフト振れが許容できる露光時間を演算するとともに、焦点調節動作（ＡＦ）は常に撮像面から被写体の距離変化に追従する予測サーボモードに変更される（Ｓ１００７）。さらに、測光値に基づき設定された撮影光学の明るさ（絞り値）と、撮像素子４の感度から求められる適正露光時間と、シフト振れ限界露光時間とから、撮影を何回の分割に分けて行うかの分割回数を算出する（Ｓ１００８）。
【００５２】
例えば、撮像素子４の感度がＩＳＯ２００に設定されている場合、被写体の明るさを測光し、この測光結果に基づいて適正に露光するためには、絞り１５を全開（例えばＦ．８）にし、シャッター１０９の閉じタイミング、すなわち露光時間を１／８秒が必要であるとする。
【００５３】
そして上記条件において、撮影倍率が０．３倍の場合、露光時間を１／８秒とする撮影では、シフト振れにより像振れが発生する可能性があるので、像振れが生じないように露光時間を１／３２秒に設定して４回に分割した撮影を行うように設定する。一方、撮影倍率が０．６倍の場合、シフト振れが生じないように露光時間を１／６２秒に設定して８回の撮影を行うように設定する。
【００５４】
このように複数枚撮影を行う時の露光時間を撮影倍率に合わせて決定し、さらに何枚撮影するかを撮影倍率に合わせて設定する。これは上記のように撮影倍率に比例してシフト振れが大きくなる（テレ側ほど振れの影響が大きくなる）ためであり、各画像の露光時間変更により、撮影倍率によらず、各画像のシフト振れの影響をほぼ同じレベルに軽減することができる。
【００５５】
また、同一被写体を複数枚に分けて撮影するとしても、各撮影の露光条件はなるべく適正露光に近くすることで撮像素子４において正確な情報が撮像でき、暗い被写体の場合や、撮影レンズを絞り込んでいるために暗い場合、及び撮像素子４の感度が低く設定されている場合には、複数撮影であっても各撮影の露光時間はなるべく長くして有効な露光条件にする。但し、あまり露光時間を長くすると、像振れによる画像劣化の影響が像面に表れるため、上述したように撮影倍率に応じてシフト振れが生じないような露光時間に設定している。
【００５６】
さらに、上記露光時間では足りない分は、撮影枚数で補完している。すなわち、撮影倍率が大きい場合には、さらに露光時間を短くしないと像振れによる画像劣化が生ずるので、さらに露光時間を短くして、その分、撮影枚数を増やして露出補完を行う。したがって、複数枚の撮影における露光時間は、被写体が暗いほど、撮影レンズが暗いほど、また、撮像素子４の感度が低いほど長くなり、撮影倍率が大きいほど短くなる。
【００５７】
そして、複数枚撮影における撮影枚数は、撮影被写体が暗いほど、撮影レンズが暗いほど、また撮像素子の感度が低いほど多くなり、撮影倍率が大きいほど少なくなる。
【００５８】
続いて、ステップ１００９では、レリースボタンの全押し操作によりＳＷ２がオンになるまでステップ１００２からステップ１００８を繰り返し行い、ＳＷ２がオンされた場合、ステップ１０１０に進む。
【００５９】
ステップ１０１０では、１枚目の撮影を開始する。なお、ステップ１０１０から後述するステップ１０１７までは、短い露光時間の撮影を複数回繰り返し、複数の撮影により得られた画像を合成して、みかけの露出を適正にする合成撮影モードの動作である。
【００６０】
また、焦点調節動作は過去の複数回のＡＦ情報をもとに撮像面と被写体距離の変化の動きを推定して、複数回露光する露光時間の中心にて合焦する位置を予測し、フォーカスレンズを露光開始前に駆動してピントのズレを補正している。（各露光に露光時間の中心にて合焦する位置を予測して、フォーカスレンズを各露光応じて駆動してピントのズレを補正しても良い。）
【００６１】
ステップ１０１０で撮影された画像はステップ１０１１において一旦メモリ１１１に記憶される。そして、すべての撮影動作（複数枚撮影）が完了するまでステップ１０１０、１０１１を繰り返し行う（Ｓ１０１２）。その後、撮影が完了するとステップ１０１３に進み、画像ズレ検出回路１１２により画像の中から特徴的な像（特徴点）を抽出し、その像の座標を求める。さらに、座標変換回路１１３が各画像の座標変換を行う（Ｓ１０１４）。なお、上述のように最初の１枚目の画像は座標の変換は行わず、第１の画像として２枚目以降の座標変換の基準とする。
【００６２】
複数枚撮影された全ての画像に対して座標変換処理が終了したならば（Ｓ１０１５）、次に画像合成処理に進む。ステップ１０１６では、第１の画像と座標変換された第２の画像群（２枚目を含む該２枚目以降の複数枚の画像）の各画像との合成を行う。ここで、画像合成処理は、各画像の対応する座標の信号を加算平均することで行い、画像内のランダムノイズは加算平均することで減少する。そして、ノイズの減少した画像をゲインアップして露出の適正化を図る。
【００６３】
ステップ１０１７ではこの合成された画像に対して、各画像が構図ブレにより重ならなかった領域（図４の領域１２９）をカットし、元のフレームの大きさになるように画像の拡散補完処理を行う。また、合成画像に対してガンマ補正や圧縮処理を行う（Ｓ１０１８）。このようにして得られて合成画像は不図示の液晶表示ユニットに表示する（Ｓ１０１９）。その後、ステップ１０２０では、各処理により得られた画像データを記憶媒体１１５に記録する。
【００６４】
一方、ステップ１００６において、撮影倍率がマクロ域でないと判別された場合はステップ１０２１に進み、ＳＷ２がオンされているか否かの判別を行う、オンされている場合は、通常の撮影（一回の露光で有効な露光条件を形成する通常撮影モード）を行い（Ｓ１０２２）、ステップ１０１８へと進んで、ガンマ補正や圧縮処理等を行う。
【００６５】
また、ステップ１００３において、防振操作ＳＷ２０３がオフ状態である場合は、ステップ１００３からステップ１０２３に進む。ステップ１０２３では、防振システムを使用しないことで像振れによる画像劣化が生ずる撮影条件であるか否かを判断する。この撮影条件とは、被写体の明るさ、レンズの明るさ、撮像感度、撮影倍率、撮影焦点距離であり、被写体の明るさ、レンズの明るさ、撮像感度に基づいて露光時間を求める。そして、その露光時間が現状の撮影焦点距離において、像振れによる画像劣化の可能性があるか否かを判別する（Ｓ１０２４）。
【００６６】
像振れによる画像劣化の可能性がある場合にはステップ１０２５に進み、撮像装置のファインダー内に設けられた表示部や液晶表示ユニット等に、防振モードに設定することを推奨する表示を行う。したがって、防振操作ＳＷ２０３をオフしている場合においても像振れによる画像劣化が生ずる撮影条件の時には、撮影者に防振システムの活用（合成撮影モード）を促す表示を行って画像劣化を未然に防ぐことができる。
【００６７】
その後、ＳＷ２がオンになるまでステップ１００２からステップ１０２６を繰り返し行い、ＳＷ２がオンされた場合に、通常の撮影（一回の露光で有効な露光条件を形成する通常撮影モード）を行う（Ｓ１０２７）。撮影後はステップ１０１８からステップ１０２０を経て次の撮影のため、ステップ１００２に戻る。そして、電源ＳＷ１０３がオフされるまで上記一連の動作を繰り返し、オフされるとカメラＣＰＵ１０１とレンズＣＰＵ２０１との通信が終了し、レンズ装置２への電源供給が終了する。
【００６８】
このように本実施例では、光学的振れ補正のみの補正（第２のモード）と、光学的振れ補正及び画像合成処理による電子的振れ補正を行う補正（第１のモード）とを選択している。
【００６９】
すなわち、光学的振れ補正のみでは像振れ補正がしきれない状況では、光学的振れ補正とともに画像合成処理による電子的振れ補正を行う一方、画像合成処理を行わなくても光学的振れ補正のみで像振れ補正が可能な状況では、光学的振れ補正のみを行うようにしている。
【００７０】
このため、像振れ補正が適切に行われ、良好な出力画像を得ることができる。そして、画像合成処理を行う第１のモードと画像合成処理を行わない第２のモードとを撮影倍率に応じて選択して行っているため、ユーザーによる判断及び操作が必要なく、良好な撮影動作を提供できる。
【００７１】
さらに、画像合成処理による補正を行なう場合には、撮影される複数の各画像の撮影時間（露光時間）は撮影倍率に応じて変更されるので、マクロ撮影のような撮影倍率が高い場合においても振れ補正の効果を十分発揮できる。
【００７２】
また、画像合成処理による像振れ補正が行う場合でも、角度振れ補正を光学的振れ補正により補正している。このため、複数回撮影される露光時間を撮影倍率に応じて設定できるため、最適な撮影回数（撮影倍率に応じて撮影回数を減らすなど）による処理を行うことが可能となる。また、画像のトリミング範囲を大きくできる。
【００７３】
以上、実施例において、撮影倍率に応じて画像合成処理を行う第１のモードと画像合成処理を行わない第２のモードと選択しているが、撮影倍率の他に、振れの大きさによって該両モードを選択することも可能である。この場合、振動検出回路２０４の振動検出部２０４ａから出力される像振れ及び像振れ補正に関する情報（振れ幅や周波数等）に基づいて振れ大きさを求め、上述のように閾値による判別を行って、第１及び第２のモードを選択する。
【００７４】
さらに、第１及び第２のモードの選択は、ユーザー自身が判断して操作することにより行ってもよい。例えば、図５に示すステップ１００３の防振動作選択において、第１及び第２のモード選択を操作する。その際は、例えば、ステップ１０２４、１０２５での防振モードに設定することを推奨する表示に加えて、像振れによる画像劣化の度合いを表示することで、該第１及び第２のモードの選択を円滑に行うことができる。
【図面の簡単な説明】
【００７５】
【図１】本発明の実施例１に係る撮像装置の断面図。
【図２】本発明の実施例１に係る撮像装置のブロック図。
【図３】本発明の実施例１に係る画像の座標変換説明図。
【図４】本発明の実施例１に係る画像の合成説明図。
【図５】本発明の実施例１に係るカメラシステムにおける動作フローチャート図。
【符号の説明】
【００７６】
１ カメラ本体
２ レンズ装置
１０１ カメラＣＰＵ
１１２ 画像ズレ検出回路
１１３ 座標変換回路
１１４ 画像合成回路
【技術分野】
【０００１】
本発明は、像振れ補正により撮影画像の精度を向上させる撮像装置に関するものである。
【背景技術】
【０００２】
近年、撮影時の露出決定やピント合わせ等の操作が全て自動化されているため、カメラに関する知識が少なくても撮影を失敗する可能性が低くなっており、また、像振れ補正機能によりさらに良好な撮影画像を得ることができる。以下に、像振れを防止する防振システムについて説明する。
【０００３】
撮影時のカメラの振れは、周波数として通常１Ｈｚないし１０Ｈｚの振動である。露光時点におけるこのような振れに対して、像振れの無い写真を撮影するための基本的な考えとしては、像振れによるカメラの振動を検出し、この検出結果に応じて補正レンズを光軸直交面内で変位させている。すなわち、カメラに振れが生じても像振れが生じない写真を撮影するためには、第１にカメラの振動を正確に検出し、第２に像振れによる光軸変化を補正することが必要となる。
【０００４】
上記像振れ補正は、原理的にはレーザージャイロ等により加速度、角加速度、角速度、角変位等を検出し、この検出結果に対して適宜演算処理する振動検出部をカメラに搭載することによって行うことができる。
【０００５】
そして、振動検出部から出力されるカメラ振れの検出情報に基づいて撮影光軸を偏心させる補正光学装置を駆動することにより像振れ補正が行われる。
【０００６】
一方、像振れが生じない程度の露光時間で複数回撮影をくり返し、これらの撮影により得られた画像に対して画像のズレを修正しながら合成し、長い露光時間の撮影画像（合成画像）を得る方法が提案されている（特許文献１）。
【特許文献１】特許第３１１０７９７号公報（段落００３０〜００３６、図１１、１３等）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、一般的に撮影倍率が０．１倍よりも小さい場合は、角度振れ補正（光学的振れ補正）による像振れ補正で対応できるが、撮影倍率が０．１倍よりも大きくなると、シフト振れの影響が大きくなり、さらに撮影倍率が大きくなるとピント方向の振れの影響が大きくなる。このため、光学的振れ補正をマクロレンズのような撮影倍率の高いものに適用しても、十分な像振れ補正効果が得られない。
【０００８】
一方、ビデオカメラでの動画撮影において、撮像素子で画面の動きベクトルを検出し、その動きベクトルに合わせて画像の読み出し位置を変更することで振れのない動画を得る電子的振れ補正が提案されている。
【０００９】
しかし、この電子的振れ補正はビデオカメラにおける動きベクトルの検出は、１秒に複数の画像を取り出し、この取り出した各画像を比較して動きベクトルを検出しているので、撮影被写体に対して１回の露光しか行わないデジタルカメラでの静止画の撮影では、コマ画像の比較を行って動きベクトルを検出することはできない。このため、ビデオカメラの防振システムをデジタルカメラに適応することができない。
【００１０】
また、特許文献１では複数回撮影をくり返し、これらの撮影により得られた画像に対して画像のズレを修正しながら合成して撮影画像を得ている電子的振れ補正が提案されているが、複数回の撮影を繰り返すため、撮影時間が長くなり、被写体ブレなどにより十分な補正効果を得ることができない。
【００１１】
さらに、特許文献１では、ユーザーが防振対策の必要性があるか否かを判断しなければならず、撮影シーンにおいて防振対策が必要か否かをユーザー自身が判断することは困難であり、ユーザーにとって操作し難く、また、一回の撮影時に複数の露光が行われるため、ユーザーに違和感を与えてしまう。
【００１２】
本発明の例示的な目的の１つは、光学防振と画像合成による電子的振れ補正のうち、使用する防振方式を必要に応じて使い分けて良好な出力画像を得ることができ、かつユーザーにとって使い勝手のよい撮像装置を実現することにある。
【課題を解決するための手段】
【００１３】
１つの観点としての本発明の撮像装置は、撮像素子を用いて撮影を行う撮像装置であって、順次取得した複数の画像を合成して出力画像を生成する画像合成処理を行う第１のモードおよび画像合成処理を行わずに出力画像を生成する第２のモードとで動作する画像生成手段と、第１及び第２のモードで光学系の駆動による像振れ補正を行う光学防振を動作させるとともに、第１のモードと第２のモードを選択する制御手段とを有する。
【発明の効果】
【００１４】
本発明によれば、光学防振のみを行う第２のモードと、光学防振及び画像合成処理を行う第１のモードとを必要に応じて選択するため、像振れ補正が適切に行われ、良好な出力画像を得ることができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施例について図面を参照しながら説明する。
【実施例１】
【００１６】
図１は本発明の実施例１の交換式のレンズ装置を備えた撮像装置の断面図であり、本実施例では１眼レフレックスデジタルカメラを１例に説明する。
【００１７】
１はカメラ本体、２はカメラ本体１に装着可能な交換式のレンズ装置である。３はレンズ装置２を通過した光線の一部をファインダー光学系に導くミラーであり、撮影動作前は該光線の光軸上に配設され、撮影動作中は光軸より退避している。４はＣＣＤセンサーやＣＭＯＳセンサー等の撮像素子で、撮像素子４上に結像した被写体像を光電変換する半導体撮像部である。
【００１８】
ファインダー光学系は、ペンタプリズム５、ファインダーレンズ６より構成されており、ペンタプリズム５では入射された光線の一部を位相差方式の焦点検出ユニット７に分光する。焦点検出ユニット７は入射した光線を二つの光束に分割するコンデンサレンズ７ａと光線を再結像させる２つのセパレータレンズ７ｂと、結像された被写体像を光電変換するＣＣＤセンサー等のラインセンサー７ｃとから構成される。
【００１９】
また、レンズ装置２において、１１は第１レンズユニット、１２はフォーカシング光学系を構成する第２レンズユニット（フォーカスレンズユニット）、１３は変倍光学系を構成する第３レンズユニット（ズームレンズユニット）である。１４は像振れ補正光学系を構成する第４レンズユニットで、第１から第４のレンズユニットを通過した光線（撮影光）は、絞り１５で光量制限される。
【００２０】
第２レンズユニット１２は、フォーカスレンズ駆動モータ１６からの駆動力により光軸上を移動し、所定の合焦位置に停止することで焦点調節を行う。第３レンズユニット１３は撮影者からの操作を伝達する不図示の伝達機構により、その操作力が光軸方向への駆動に変換され、変倍動作を行うために光軸方向に駆動する。第４レンズユニット１４は、振動ジャイロ等からなる角度振れ検出センサーからの検出結果に基づいて、振れ補正駆動モータ１７により光軸に対して垂直方向に移動して角度振れ補正を行なう。
【００２１】
図２は本実施例の撮像装置の構成ブロック図である。１０１はマイクロコンピュータで構成されるカメラＣＰＵで、後述のカメラ本体１内の種々の動作制御を行うとともに、レンズ装置２の装着時にはカメラ接点１０２を介してレンズＣＰＵ２０１との送信及び受信を行う。このとき送信される情報としては、後述する撮影倍率に関する情報等が含まれる。そして、カメラ接点１０２はレンズ装置２側に、信号を伝達する信号伝達接点と電源を供給する電源用接点とが設けられている。
【００２２】
１０３は電源スイッチであり、カメラＣＰＵ１０１を起動してカメラシステム内の各アクチュエータやセンサー等への電源供給およびシステムの動作を可能な状態とするためのスイッチである。１０４は２段ストローク式のレリーズスイッチで、その信号はカメラＣＰＵ１０１に入力される。カメラＣＰＵ１０１はレリーズスイッチ１０４から入力される信号に従い、第１ストロークスイッチ（ＳＷ１）がオンされた場合、測光回路１０５による測光を行って露光量の決定を行なうとともに、不図示の焦点検出ユニットにより測距エリア内に存在する被写体までの距離を測定し、該被写体に焦点を合わせるために必要な第２レンズユニット１２の移動量を焦点検出回路１０６で算出する。なお、ＡＦ予測モードが選択された場合は、過去の複数回のＡＦ情報を基に撮像面と被写体間の変動履歴を求め、露光中の中心で合焦するようにフォーカスレンズの移動量を決定できる。
【００２３】
さらに、第２ストロークスイッチ（ＳＷ２）がオンされると、レンズＣＰＵ２０１に絞り動作命令を送信するとともに、露光に先立ち、後述するレンズ装置２の防振操作ＳＷ２０３が操作されて振れ補正モードが選択されていた場合には、レンズＣＰＵ２０１からの撮影倍率情報を受信する。そして、限界露光時間演算回路１０７によりシフト振れが発生しない限界の露光時間を演算して、複数露光が必要かどうかの判別を行う。
【００２４】
その後、シャッター駆動回路１０８に露光開始命令を出力してミラー３の退避動作（アップ）、シャッター１０９の開放動作を行い、撮像素子４上に結像された被写体像を光電変換する。さらに、Ａ／Ｄ変換された画像信号は信号処理回路１１０においてデジタル変換して画像データを出力する。
【００２５】
なお、複数露光が必要な場合は、演算された露光時間で複数回露光を行い、露光時間の合計が測光回路１０５により演算された適正露光となる露光時間まで繰返され、その画像信号はメモリ１１１に記憶される。
【００２６】
１１２は画像ズレ検出回路で、記憶された画像内における特徴点を抽出して、この特徴点の撮影画面内における位置座標を割り出し、座標変換回路１１３により基準画像の特徴点の座標に他の複数回露光した画像の特徴点が重なるように各画像の座標変換を行う。
【００２７】
そして、画像合成回路１１４により複数回露光した画像は座標変換後に合成され、フラッシュメモリ等の半導体メモリ、磁気ディスク、光ディスク等の記録媒体１１５に該画像信号（画像データ）を記録、保存する。
【００２８】
２０１はレンズＣＰＵで、レンズ装置２内の種々の装置の動作を制御するとともに、カメラ本体１に装着された時にはレンズ接点２０２を介してカメラＣＰＵ１０１との通信を行う。２０２はレンズ接点であり、カメラ本体１のカメラ接点１０２と同様に信号伝達接点及び電源用接点が設けられ、該カメラ接点１０２と接触してカメラ本体１とレンズ装置２とを電気的に接続している。
【００２９】
２０３は防振操作ＳＷであり、像振れ補正動作（防振動作）を行なわせるかどうかを選択する（ＯＮで防振動作選択）ことが可能であり、その情報はカメラ本体１にも送信される。２０４は振動検出回路であり、レンズＣＰＵ２０１からの命令に従って撮像装置の縦振れ（ピッチ方向）及び横振れ（ヨー方向）の角速度を検出する振動検出部２０４ａと、該検出部２０４ａの出力信号を電気的あるいは機械的に積分した変位をレンズＣＰＵ２０１に出力する演算部２０４ｂとから構成されている。
【００３０】
２０５は振動ジャイロ等からなる角度振れ検出センサーからの検出結果に基づいて、振れ補正駆動モータ１７の駆動制御を行う振れ補正制御回路である。振れ補正駆動モータ１７は、第４レンズユニット１４をピッチ方向に駆動する永久磁石およびコイルからなるピッチ方向駆動部と、ヨー方向に駆動する永久磁石およびコイルからなるヨー方向駆動部とにより構成される。なお、レンズ装置２内には、第４レンズユニット１４を、その光軸がレンズ光軸に略一致する位置に保持するためのロック機構が設けられている。振れ補正制御回路２０５は、レンズＣＰＵ２０１からの指令信号に応じて、防振操作スイッチ２０３がＯＦＦになったとき（振れ補正停止時）に該ロック機構をロック動作させ、防振操作スイッチ２０３がＯＮになったとき（振れ補正動作時）に該ロック機構をアンロック動作させる。
【００３１】
２０６はフォーカスレンズ制御回路で、焦点検出回路１０６で検出結果に基づいて算出された第２レンズユニット１２の移動量に従い、フォーカスレンズ駆動モータ１６を駆動して、第２レンズユニット１２を合焦位置まで駆動する駆動制御を行う。
【００３２】
２０７は絞り制御回路で、カメラＣＰＵ１０１から送信された絞り動作信号（絞り値）に基づいて絞り駆動モータ２０７ａの駆動制御を行って絞り開口面積を調節する。
【００３３】
２０８は撮影倍率検出回路であり、変倍レンズである第３レンズユニット１３の位置を検出するズーム検出部２０８ａと、第２レンズユニット１２の位置を検出する被写体距離検出部２０８ｂと、これらズーム検出部２０８ａおよび被写体距離検出部２０８ｂからの位置情報に基づいて撮影倍率を演算する撮影倍率演算部２０８ｃにより構成されている。該演算部で演算された撮影倍率の情報は、レンズＣＰＵ２０１を介してカメラＣＰＵ１０１に送信される。
【００３４】
なお、本実施例では、第３レンズユニットを光軸方向に駆動して焦点距離を変えることで変倍動作を行う光学ズームと、カメラ本体１において撮像素子４上に結像した被写体像を光電変換して得られた画像データを拡大・縮小することで変倍動作を行う電子ズームの両ズーム機能を有している。このため、この場合の撮影倍率は、撮影倍率演算部２０８ｃにより演算された光学的なズーム倍率に、カメラＣＰＵにより演算された電子的なズーム倍率を乗じた撮影倍率となる。
【００３５】
次に、本実施例の画像生成手段である画像ズレ検出回路１１２、座標変換回路１１３及び画像合成回路１１４の像振れ補正動作及び処理について詳細に説明する。まず、撮影者がレリーズスイッチ１０４を半押しすると（ＳＷ１がオン）、撮影準備動作（焦点調節動作や測光動作等）が開始される。測光動作により得られた測光結果に基づいてシャッター１０９のシャッタースピード（露光時間）と絞り１５の絞り口径（絞り値）を設定するが、一般的に防振システムを使用するような撮影条件では被写体が暗いので、絞り１５は全開としても、適正露光となる露光時間は長秒時露光に設定される。
【００３６】
そこで、撮影倍率情報に基づいてシフト振れの発生しない露光時間を演算して、適正となる露光時間を複数の短い露光時間に分割し、この分割した数だけ撮影を繰り返す。このように短い露光時間に分割すると、露光により得られる１枚１枚の画像は露出不足になるが、これらの画像には像振れの影響が少ない画像となる。そして、複数の画像を撮影終了後に各々の画像を合成して１枚の画像にすることで露出を改善する。
【００３７】
しかし、複数の画像を撮影するとき、複数の撮影により得られた各画像においては、像振れの影響が生じていなくても、連続撮影中の像振れにより各画像間における構図は微妙にズレている場合がある。ここで、これらの画像をこのまま合成すると、合成された画像は各画像における構図がズレ分だけぶれた画像になる。
【００３８】
そこで、本実施例では、連続撮影に応じて撮像素子４から撮影ごとに複数出力される画像信号は、Ａ／Ｄ変換によりデジタル信号に変換されてから信号処理部１１０にて信号処理が施された後、防振操作ＳＷ２０３の操作により防振システムがオンされている場合は、信号処理回路１１０からの画像データはメモリ１１１に入力し、記憶媒体１１５への入力は行わない。
【００３９】
そして、画像ズレ検出回路１１２はメモリ１１１に記憶された各画像データ内における特徴点を抽出し、この特徴点の撮影画面内における位置座標を求める。例えば、図３に示すように、フレーム１２１ａにおいて花を近接撮影する場合、複数枚撮影するとフレーム１２１ｂのように像振れによりフレーム１２１ａに対して構図がずれた画像が撮影される。このとき画像ズレ検出回路１１２は、画面の中の花のうち輝度の高い点である花弁のエッジ１２３ａをエッジ検出により特徴点として抽出し、この特徴点１２３ａと、フレーム１２１ｂにおける特徴点１２３ｂと比較することで画像ズレを検出する。そして、この画像ズレ（差分）を座標変換回路１１３により補正（座標変換）する。図３では、フレーム１２１ｂの特徴点１２３ｂを矢印１２４のようにフレーム１２１ａの特徴点１２３ａに重ねるようにして、フレーム１２１ｂを座標変換する。
【００４０】
その後、図３と同様に基準となる第１の画像における特徴点１２３ａと、第２の画像における特徴点１２３ｂと比較し、その差分を補正（座標変換）する。すなわち、座標変換回路１１３は、第２の画像の特徴点１２３ｂを第１の画像の特徴点１２３ａに重ねるように第２の画像を座標変換する。第２の画像群の中で２枚目以降の画像についても各々特徴点１２３ｂの座標を求め、その座標が第１の画像で定めた特徴点１２３ａの座標と重なるように座標変換回路１１３は各画像（第２の画像群）を座標変換する。
【００４１】
また、本実施例では画像ごとの特徴点座標を求めているが、第１の画像と第２の画像群のうち１枚目の画像を相関演算し、各々対応する画素の変化を画像ズレ検出回路１１２が動きベクトルとして求めて特徴点の変化とすることもできる。この場合、第２の画像群の２枚目に対しても画像との相関演算で特徴点の変化を求め、以下同様にして各画像の特徴点の変化を求める。なお、特徴点は１箇所だけ選択するのではなく、複数のポイントを選択しておき、これらのポイントの動きベクトルの平均値、又はスカラーの最小値を特徴点の変化としてもよい。なお、この特徴点の変化として動きベクトルの平均値、又はスカラーの最小値を採用しているのは、画面周辺で選択された特徴点もそれ自身が移動する可能性があるため、もっとも移動しない特徴点を選ぶためである。
【００４２】
さらに、本実施例では、第１の画像を基準にしている。これは構図のズレた２枚の写真を合成する場合、図４に示すように２枚の画像が重ならない領域１２９ａ、１２９ｂが生ずる。そこで、画像合成回路１１４は領域１２９ａ、１２９ｂをカットして、２枚の画像が重なった領域のみについて拡散補完処理を行い、もとのフレームの大きさにする。
【００４３】
デジタル画像の場合には、１枚の露出不足の写真でもゲインアップすることで露出補正が可能であるが、ゲインを高くするとノイズも多くなり良好な画像を得るはできない。しかし、本実施例のように、多くの画像を合成することで画像全体のゲインをアップさせる場合には、各画像のノイズが平均化されるためにＳ／Ｎ比の大きい画像を得ることができ、結果的にノイズを抑えて露出を適正化することができる。言い換えれば、ノイズを許容して撮像素子４を高感度にして複数枚撮影し、これらを加算平均することで画像に含まれるランダムノイズを減少させている。
【００４４】
そして、このように座標変換回路１１３で座標変換された各画像は、最終的に画像合成回路１１４に出力されて各画像が１枚の画像に合成され、該合成画像データは、ガンマ補正や圧縮処理が行われ記録媒体１１５に記録される。
【００４５】
図５は本実施例の撮像装置のカメラシステムにおける主要動作を示すフローチャート図である。
【００４６】
まず、カメラ本体１の電源ＳＷ１０３をＯＮにし、レンズ装置２に電源供給が開始される（または、新しい電池を入れた場合、カメラ本体１にレンズ装置２を装着した場合などカメラ本体１とレンズ装置２との間で通信が開始される。）（Ｓ１００１）
【００４７】
次に、カメラＣＰＵ１０１は、レリーズＳＷ１０４のＳＷ１がオンされているか否かを判別し（Ｓ１００２）、オンされている場合、レンズＣＰＵ２０１は防振操作ＳＷ２０３がＯＮ（防振動作選択）になっているかを判別する（Ｓ１００３）。そして、防振動作選択がなされていればステップ１００４へ、選択されていなければステップ１０２３へ進む。
【００４８】
次にカメラＣＰＵ１０１が測光及び焦点検出を行い、レンズＣＰＵ２０１が焦点調節動作、像振れ検出、焦点距離検出、被写体距離検出を行なう（Ｓ１００４）。
【００４９】
その後、所定の時間が経過すると、レンズＣＰＵ２０１は振動検出回路２０４から像振れを補正するための信号を受け取り、振れ補正制御回路２０５に出力して像振れ補正を開始する（Ｓ１００５）。そして、検出された焦点距離、被写体距離から撮影倍率を演算し、マクロ防振（撮影倍率が大きい）領域であるかどうかの判別を行う（Ｓ１００６）。
【００５０】
このステップ１００６での判別は、この撮影倍率が所定の閾値以上の場合にマクロ防振領域であると判別して、ステップ１００７以降の処理（第１のモード）に進み、閾値よりも撮影倍率が小さい場合は、ステップ１０２１以降の処理に進む。具体的には、任意に設定される閾値を、例えば撮影倍率が０．１倍と設定し、撮影倍率が０．１倍以上の場合はステップ１００５での光学的振れ補正のみでは像振れ補正が十分に行われないと判断して、ステップ１００７以降の画像合成処理による電子的振れ補正も合わせて行う。
【００５１】
ステップ１００６でマクロ防振領域であると判別された場合は、限界露光時間演算回路１０７にて撮影倍率からシフト振れが許容できる露光時間を演算するとともに、焦点調節動作（ＡＦ）は常に撮像面から被写体の距離変化に追従する予測サーボモードに変更される（Ｓ１００７）。さらに、測光値に基づき設定された撮影光学の明るさ（絞り値）と、撮像素子４の感度から求められる適正露光時間と、シフト振れ限界露光時間とから、撮影を何回の分割に分けて行うかの分割回数を算出する（Ｓ１００８）。
【００５２】
例えば、撮像素子４の感度がＩＳＯ２００に設定されている場合、被写体の明るさを測光し、この測光結果に基づいて適正に露光するためには、絞り１５を全開（例えばＦ．８）にし、シャッター１０９の閉じタイミング、すなわち露光時間を１／８秒が必要であるとする。
【００５３】
そして上記条件において、撮影倍率が０．３倍の場合、露光時間を１／８秒とする撮影では、シフト振れにより像振れが発生する可能性があるので、像振れが生じないように露光時間を１／３２秒に設定して４回に分割した撮影を行うように設定する。一方、撮影倍率が０．６倍の場合、シフト振れが生じないように露光時間を１／６２秒に設定して８回の撮影を行うように設定する。
【００５４】
このように複数枚撮影を行う時の露光時間を撮影倍率に合わせて決定し、さらに何枚撮影するかを撮影倍率に合わせて設定する。これは上記のように撮影倍率に比例してシフト振れが大きくなる（テレ側ほど振れの影響が大きくなる）ためであり、各画像の露光時間変更により、撮影倍率によらず、各画像のシフト振れの影響をほぼ同じレベルに軽減することができる。
【００５５】
また、同一被写体を複数枚に分けて撮影するとしても、各撮影の露光条件はなるべく適正露光に近くすることで撮像素子４において正確な情報が撮像でき、暗い被写体の場合や、撮影レンズを絞り込んでいるために暗い場合、及び撮像素子４の感度が低く設定されている場合には、複数撮影であっても各撮影の露光時間はなるべく長くして有効な露光条件にする。但し、あまり露光時間を長くすると、像振れによる画像劣化の影響が像面に表れるため、上述したように撮影倍率に応じてシフト振れが生じないような露光時間に設定している。
【００５６】
さらに、上記露光時間では足りない分は、撮影枚数で補完している。すなわち、撮影倍率が大きい場合には、さらに露光時間を短くしないと像振れによる画像劣化が生ずるので、さらに露光時間を短くして、その分、撮影枚数を増やして露出補完を行う。したがって、複数枚の撮影における露光時間は、被写体が暗いほど、撮影レンズが暗いほど、また、撮像素子４の感度が低いほど長くなり、撮影倍率が大きいほど短くなる。
【００５７】
そして、複数枚撮影における撮影枚数は、撮影被写体が暗いほど、撮影レンズが暗いほど、また撮像素子の感度が低いほど多くなり、撮影倍率が大きいほど少なくなる。
【００５８】
続いて、ステップ１００９では、レリースボタンの全押し操作によりＳＷ２がオンになるまでステップ１００２からステップ１００８を繰り返し行い、ＳＷ２がオンされた場合、ステップ１０１０に進む。
【００５９】
ステップ１０１０では、１枚目の撮影を開始する。なお、ステップ１０１０から後述するステップ１０１７までは、短い露光時間の撮影を複数回繰り返し、複数の撮影により得られた画像を合成して、みかけの露出を適正にする合成撮影モードの動作である。
【００６０】
また、焦点調節動作は過去の複数回のＡＦ情報をもとに撮像面と被写体距離の変化の動きを推定して、複数回露光する露光時間の中心にて合焦する位置を予測し、フォーカスレンズを露光開始前に駆動してピントのズレを補正している。（各露光に露光時間の中心にて合焦する位置を予測して、フォーカスレンズを各露光応じて駆動してピントのズレを補正しても良い。）
【００６１】
ステップ１０１０で撮影された画像はステップ１０１１において一旦メモリ１１１に記憶される。そして、すべての撮影動作（複数枚撮影）が完了するまでステップ１０１０、１０１１を繰り返し行う（Ｓ１０１２）。その後、撮影が完了するとステップ１０１３に進み、画像ズレ検出回路１１２により画像の中から特徴的な像（特徴点）を抽出し、その像の座標を求める。さらに、座標変換回路１１３が各画像の座標変換を行う（Ｓ１０１４）。なお、上述のように最初の１枚目の画像は座標の変換は行わず、第１の画像として２枚目以降の座標変換の基準とする。
【００６２】
複数枚撮影された全ての画像に対して座標変換処理が終了したならば（Ｓ１０１５）、次に画像合成処理に進む。ステップ１０１６では、第１の画像と座標変換された第２の画像群（２枚目を含む該２枚目以降の複数枚の画像）の各画像との合成を行う。ここで、画像合成処理は、各画像の対応する座標の信号を加算平均することで行い、画像内のランダムノイズは加算平均することで減少する。そして、ノイズの減少した画像をゲインアップして露出の適正化を図る。
【００６３】
ステップ１０１７ではこの合成された画像に対して、各画像が構図ブレにより重ならなかった領域（図４の領域１２９）をカットし、元のフレームの大きさになるように画像の拡散補完処理を行う。また、合成画像に対してガンマ補正や圧縮処理を行う（Ｓ１０１８）。このようにして得られて合成画像は不図示の液晶表示ユニットに表示する（Ｓ１０１９）。その後、ステップ１０２０では、各処理により得られた画像データを記憶媒体１１５に記録する。
【００６４】
一方、ステップ１００６において、撮影倍率がマクロ域でないと判別された場合はステップ１０２１に進み、ＳＷ２がオンされているか否かの判別を行う、オンされている場合は、通常の撮影（一回の露光で有効な露光条件を形成する通常撮影モード）を行い（Ｓ１０２２）、ステップ１０１８へと進んで、ガンマ補正や圧縮処理等を行う。
【００６５】
また、ステップ１００３において、防振操作ＳＷ２０３がオフ状態である場合は、ステップ１００３からステップ１０２３に進む。ステップ１０２３では、防振システムを使用しないことで像振れによる画像劣化が生ずる撮影条件であるか否かを判断する。この撮影条件とは、被写体の明るさ、レンズの明るさ、撮像感度、撮影倍率、撮影焦点距離であり、被写体の明るさ、レンズの明るさ、撮像感度に基づいて露光時間を求める。そして、その露光時間が現状の撮影焦点距離において、像振れによる画像劣化の可能性があるか否かを判別する（Ｓ１０２４）。
【００６６】
像振れによる画像劣化の可能性がある場合にはステップ１０２５に進み、撮像装置のファインダー内に設けられた表示部や液晶表示ユニット等に、防振モードに設定することを推奨する表示を行う。したがって、防振操作ＳＷ２０３をオフしている場合においても像振れによる画像劣化が生ずる撮影条件の時には、撮影者に防振システムの活用（合成撮影モード）を促す表示を行って画像劣化を未然に防ぐことができる。
【００６７】
その後、ＳＷ２がオンになるまでステップ１００２からステップ１０２６を繰り返し行い、ＳＷ２がオンされた場合に、通常の撮影（一回の露光で有効な露光条件を形成する通常撮影モード）を行う（Ｓ１０２７）。撮影後はステップ１０１８からステップ１０２０を経て次の撮影のため、ステップ１００２に戻る。そして、電源ＳＷ１０３がオフされるまで上記一連の動作を繰り返し、オフされるとカメラＣＰＵ１０１とレンズＣＰＵ２０１との通信が終了し、レンズ装置２への電源供給が終了する。
【００６８】
このように本実施例では、光学的振れ補正のみの補正（第２のモード）と、光学的振れ補正及び画像合成処理による電子的振れ補正を行う補正（第１のモード）とを選択している。
【００６９】
すなわち、光学的振れ補正のみでは像振れ補正がしきれない状況では、光学的振れ補正とともに画像合成処理による電子的振れ補正を行う一方、画像合成処理を行わなくても光学的振れ補正のみで像振れ補正が可能な状況では、光学的振れ補正のみを行うようにしている。
【００７０】
このため、像振れ補正が適切に行われ、良好な出力画像を得ることができる。そして、画像合成処理を行う第１のモードと画像合成処理を行わない第２のモードとを撮影倍率に応じて選択して行っているため、ユーザーによる判断及び操作が必要なく、良好な撮影動作を提供できる。
【００７１】
さらに、画像合成処理による補正を行なう場合には、撮影される複数の各画像の撮影時間（露光時間）は撮影倍率に応じて変更されるので、マクロ撮影のような撮影倍率が高い場合においても振れ補正の効果を十分発揮できる。
【００７２】
また、画像合成処理による像振れ補正が行う場合でも、角度振れ補正を光学的振れ補正により補正している。このため、複数回撮影される露光時間を撮影倍率に応じて設定できるため、最適な撮影回数（撮影倍率に応じて撮影回数を減らすなど）による処理を行うことが可能となる。また、画像のトリミング範囲を大きくできる。
【００７３】
以上、実施例において、撮影倍率に応じて画像合成処理を行う第１のモードと画像合成処理を行わない第２のモードと選択しているが、撮影倍率の他に、振れの大きさによって該両モードを選択することも可能である。この場合、振動検出回路２０４の振動検出部２０４ａから出力される像振れ及び像振れ補正に関する情報（振れ幅や周波数等）に基づいて振れ大きさを求め、上述のように閾値による判別を行って、第１及び第２のモードを選択する。
【００７４】
さらに、第１及び第２のモードの選択は、ユーザー自身が判断して操作することにより行ってもよい。例えば、図５に示すステップ１００３の防振動作選択において、第１及び第２のモード選択を操作する。その際は、例えば、ステップ１０２４、１０２５での防振モードに設定することを推奨する表示に加えて、像振れによる画像劣化の度合いを表示することで、該第１及び第２のモードの選択を円滑に行うことができる。
【図面の簡単な説明】
【００７５】
【図１】本発明の実施例１に係る撮像装置の断面図。
【図２】本発明の実施例１に係る撮像装置のブロック図。
【図３】本発明の実施例１に係る画像の座標変換説明図。
【図４】本発明の実施例１に係る画像の合成説明図。
【図５】本発明の実施例１に係るカメラシステムにおける動作フローチャート図。
【符号の説明】
【００７６】
１ カメラ本体
２ レンズ装置
１０１ カメラＣＰＵ
１１２ 画像ズレ検出回路
１１３ 座標変換回路
１１４ 画像合成回路
【特許請求の範囲】
【請求項１】
撮像素子を用いて撮影を行う撮像装置であって、
順次取得した複数の画像を合成して出力画像を生成する画像合成処理を行う第１のモードおよび前記画像合成処理を行わずに出力画像を生成する第２のモードとで動作する画像生成手段と、
前記第１及び第２のモードで光学系の駆動による像振れ補正を行う光学防振を動作させるとともに、前記第１のモードと前記第２のモードを選択する制御手段とを有することを特徴とする撮像装置。
【請求項２】
前記制御手段は、撮影倍率に応じて前記第１のモードと前記第２のモードを選択することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記制御手段は、前記撮影倍率が所定値よりも大きいときに前記第１のモードを選択し、前記所定値よりも小さいときに前記第２のモードを選択することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記画像合成処理は、前記順次取得した各画像の特徴点を抽出し、基準画像の特徴点に対する他の画像の特徴点の変位量を求め、該変位量に基づいて前記他の画像の座標変換を行い、該座標変換後の画像と前記基準画像とを合成する処理であることを特徴とする請求項１から３のいずれか１つに記載の撮像装置。
【請求項５】
前記制御手段は、前記第１のモードにおいて、前記撮影倍率に応じて各画像の取得時の露光時間を変更することを特徴とする請求項２から４のいずれか１つに記載の撮像装置。
【請求項６】
前記制御手段は、前記撮影倍率が大きいほど前記露光時間を短くすることを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記制御手段は、前記露光時間に応じて画像の取得数を変更することを特徴とする請求項５又は６に記載の撮像装置。
【請求項８】
請求項１から７のいずれか１つに記載の撮像装置と、
光学系を駆動して像振れ補正を行う光学防振手段を備えた交換レンズ装置とを有することを特徴とするカメラシステム。
【請求項９】
撮像素子を用いて撮影を行う撮像装置であって、
順次取得した複数の画像を合成して出力画像を生成する画像生成手段と、
撮影倍率に応じて前記画像生成手段で取得する各画像の露光時間を変更する制御手段とを有することを特徴とする撮像装置。
【請求項１０】
前記画像生成手段は、前記順次取得した各画像の特徴点を抽出し、基準画像の特徴点に対する他の画像の特徴点の変位量を求め、該変位量に基づいて前記他の画像の座標変換を行い、該座標変換後の画像と前記基準画像とを合成することを特徴とする請求項９に記載の撮像装置。
【請求項１１】
前記制御手段は、前記撮影倍率が大きいほど前記露光時間を短くすることを特徴とする請求項９又は１０に記載の撮像装置。
【請求項１２】
前記制御手段は、前記露光時間に応じて画像の取得数を変更することを特徴とする請求項９から１１のいずれか１つに記載の撮像装置。
【請求項１】
撮像素子を用いて撮影を行う撮像装置であって、
順次取得した複数の画像を合成して出力画像を生成する画像合成処理を行う第１のモードおよび前記画像合成処理を行わずに出力画像を生成する第２のモードとで動作する画像生成手段と、
前記第１及び第２のモードで光学系の駆動による像振れ補正を行う光学防振を動作させるとともに、前記第１のモードと前記第２のモードを選択する制御手段とを有することを特徴とする撮像装置。
【請求項２】
前記制御手段は、撮影倍率に応じて前記第１のモードと前記第２のモードを選択することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記制御手段は、前記撮影倍率が所定値よりも大きいときに前記第１のモードを選択し、前記所定値よりも小さいときに前記第２のモードを選択することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記画像合成処理は、前記順次取得した各画像の特徴点を抽出し、基準画像の特徴点に対する他の画像の特徴点の変位量を求め、該変位量に基づいて前記他の画像の座標変換を行い、該座標変換後の画像と前記基準画像とを合成する処理であることを特徴とする請求項１から３のいずれか１つに記載の撮像装置。
【請求項５】
前記制御手段は、前記第１のモードにおいて、前記撮影倍率に応じて各画像の取得時の露光時間を変更することを特徴とする請求項２から４のいずれか１つに記載の撮像装置。
【請求項６】
前記制御手段は、前記撮影倍率が大きいほど前記露光時間を短くすることを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記制御手段は、前記露光時間に応じて画像の取得数を変更することを特徴とする請求項５又は６に記載の撮像装置。
【請求項８】
請求項１から７のいずれか１つに記載の撮像装置と、
光学系を駆動して像振れ補正を行う光学防振手段を備えた交換レンズ装置とを有することを特徴とするカメラシステム。
【請求項９】
撮像素子を用いて撮影を行う撮像装置であって、
順次取得した複数の画像を合成して出力画像を生成する画像生成手段と、
撮影倍率に応じて前記画像生成手段で取得する各画像の露光時間を変更する制御手段とを有することを特徴とする撮像装置。
【請求項１０】
前記画像生成手段は、前記順次取得した各画像の特徴点を抽出し、基準画像の特徴点に対する他の画像の特徴点の変位量を求め、該変位量に基づいて前記他の画像の座標変換を行い、該座標変換後の画像と前記基準画像とを合成することを特徴とする請求項９に記載の撮像装置。
【請求項１１】
前記制御手段は、前記撮影倍率が大きいほど前記露光時間を短くすることを特徴とする請求項９又は１０に記載の撮像装置。
【請求項１２】
前記制御手段は、前記露光時間に応じて画像の取得数を変更することを特徴とする請求項９から１１のいずれか１つに記載の撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２００６−５０４５７（Ｐ２００６−５０４５７Ａ）
【公開日】平成１８年２月１６日（２００６．２．１６）
【国際特許分類】
【出願番号】特願２００４−２３１５７４（Ｐ２００４−２３１５７４）
【出願日】平成１６年８月６日（２００４．８．６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成１８年２月１６日（２００６．２．１６）
【国際特許分類】
【出願日】平成１６年８月６日（２００４．８．６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]