撮像装置
【課題】リフォーカス処理によって撮影画面内の任意の位置に合焦した画像が得られる撮像措置であって、動画画像から撮影者が撮影時に狙った被写体以外の任意の被写体にピントが合った静止画画像が得られる撮像装置を提供する。
【解決手段】撮像素子２５２へ入射する光束を撮影光学系１０１の特定の瞳領域のみに制限する瞳分割手段と、異なる瞳領域を通過した像の相関を計算する相関計算手段と、前記相関計算手段の結果から主被写体を判定する判定手段を有し、ＡＦレンズ制御部１０４は動画撮影中に前記判定手段により判定された主被写体に合焦する位置にＡＦレンズ１２０を駆動させて被写体像を連続的に受光すると共に、該主被写体に合焦した被写体像を連続的に受光する間に、主被写体以外に合焦する位置に前記ＡＦレンズ１２０を駆動させて被写体像を受光する。
【解決手段】撮像素子２５２へ入射する光束を撮影光学系１０１の特定の瞳領域のみに制限する瞳分割手段と、異なる瞳領域を通過した像の相関を計算する相関計算手段と、前記相関計算手段の結果から主被写体を判定する判定手段を有し、ＡＦレンズ制御部１０４は動画撮影中に前記判定手段により判定された主被写体に合焦する位置にＡＦレンズ１２０を駆動させて被写体像を連続的に受光すると共に、該主被写体に合焦した被写体像を連続的に受光する間に、主被写体以外に合焦する位置に前記ＡＦレンズ１２０を駆動させて被写体像を受光する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラに代表される撮像装置に関し、特にフォーカスブラケット撮影とリフォーカス処理によって、動画像から切り出した静止画画面全体の任意の位置に合焦した画像を得る方法に関するものである。
【背景技術】
【０００２】
従来、例えば撮影者の技量不足により撮影者が狙った動く被写体にピントが合わないのを補助するために、いわゆるフォーカスブラケット撮影を行って、所定の被写体距離に合焦した状態と、その前後（あるいは例えば前方の一方向）にフォーカスレンズを駆動した状態で撮影する事で、撮影者が撮影した被写体にピントが合った画像を得られるようにしていた。しかしながら、撮影者が狙った被写体及びその近傍に合焦する状態でフォーカスブラケット撮影を行うので、撮影画面全体の任意の位置に合焦した画像が得られるという事は出来なかった。
【０００３】
そこで、異なる瞳領域を通過した光束を個別に受光可能な撮像措置であって、撮像後に任意の被写体にピント調整を行った画像を生成する（以下、リフォーカス処理と呼ぶ）手法によって、撮影時もしくは撮影後のリフォーカス処理によって撮影画面の任意の位置に合焦した画像が得られるような撮像装置が提案されている。
【０００４】
例えば特許文献１には、測距結果から画面内の至近側焦点検出エリアから無限側焦点検出エリアまでを分割してフォーカスブラケット撮影して、撮影後にリフォーカス処理をする事で任意の被写体にピントが合った画像を生成する事が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−１９７５５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１においては、静止画を撮影した時に、リフォーカス処理によって、その撮影画面内の至近側から無限側の任意の被写体にピントが合った画像を得る事は出来るが、動画撮影時の画像から切り出した静止画画像を用いた場合には、その撮影画面内で、撮影者が撮影時に狙った被写体以外の任意の被写体にピントが合った画像を得る事は出来ない。
【０００７】
そこで、本発明の目的は、リフォーカス処理によって撮影画面内の任意の位置に合焦した画像が得られる撮像措置であって、動画画像から撮影者が撮影時に狙った被写体以外の任意の被写体にピントが合った静止画画像が得られる撮像装置を提供する事である。
【課題を解決するための手段】
【０００８】
撮像素子と、
合焦のために光軸方向に移動可能なフォーカスレンズを含む撮影レンズと、
前記撮像素子上の画素へ入射する光束を前記撮影レンズの特定の瞳領域のみに制限する瞳分割手段と、
前記撮像素子から得られた電気信号に所定の正の値を掛けて加算する像生成手段と、
異なる瞳領域を通過した像の相関を計算する相関計算手段と、
前記フォーカスレンズを駆動して複数の合焦状態位置において被写体像を前記撮像素子に受光する制御手段と、
該受光した被写体像を表示する表示部と、
前記相関計算手段の結果から主被写体を判定する判定手段を有し、
前記制御手段は動画撮影中に前記判定手段により判定された主被写体に合焦する位置に前記フォーカスレンズを駆動させて被写体像を連続的に受光すると共に、該主被写体に合焦した被写体像を連続的に受光する間に、主被写体以外に合焦する位置に前記フォーカスレンズを駆動させて被写体像を受光する事を特徴とする。
【発明の効果】
【０００９】
本発明によれば、リフォーカス処理によって撮影画面内の任意の位置に合焦した画像が得られる撮像措置であって、動画画像から撮影者が撮影時に狙った被写体以外の任意の被写体にピントが合った静止画画像が得られる撮像装置を提供する事が出来る。
【図面の簡単な説明】
【００１０】
【図１】カメラシステムのブロック図
【図２】カメラ１００の背面図
【図３】実施例における撮像装置の光学系の模式図
【図４】撮影時の表示部２５８の表示例を示す図
【図５】実施例におけるフォーカスブラケット撮影時の動作フロー図
【図６】（ａ）は、実施例におけるフォーカスブラケット撮影時のＡＦレンズ１２０の光学方向の位置の説明図、（ｂ）は、実施例におけるフォーカスブラケット撮影時及びフォーカスブラケット撮影した動画を再生する時に、表示部２５８に表示される画像の説明図
【図７】実施例におけるフォーカスブラケット撮影時の動作サブフロー図
【図８】実施例における像生成手段の動作フロー図
【図９】実施例におけるリフォーカス処理時の動作フロー図
【図１０】実施例におけるリフォーカス処理時の動作サブフロー図
【図１１】像の再構成動作を示す模式図
【図１２】リフォーカス処理のために被写体を選択している時の説明図
【図１３】変形例におけるフォーカスブラケット撮影時の動作フロー図
【図１４】変形例における撮影時の表示部２５８の表示例を示す図
【図１５】（ａ）は、変形例におけるフォーカスブラケット撮影時のＡＦレンズ１２０の光学方向の位置の説明図、（ｂ）は、変形例におけるフォーカスブラケット撮影を行うタイミングの説明図
【発明を実施するための形態】
【００１１】
［実施例］
以下、図１から図１１を参照して、本発明の撮像装置について説明する。
【００１２】
図１は、撮像装置であるデジタルカメラおよびレンズの電気的構成を示すブロック図である。カメラ１００およびレンズ１０２からなるカメラシステムは、撮像系、画像処理系、記録再生系、制御系を有する。撮像系は、撮影光学系１０１ 、撮像素子２５２を含み、画像処理系は、画像処理部１５０を含む。また、記録再生系は、メモリ１９７、表示部２５８を含み、制御系は、ボディＣＰＵ１０９、およびレンズＣＰＵ１０３、レンズ駆動手段であるズームレンズ駆動部１１１及びＡＦレンズ駆動部１２１を含む。
【００１３】
図２は同カメラシステムの背面図である。
【００１４】
本実施形態におけるカメラシステムは、カメラ１００に対して着脱可能なレンズ１０２内に撮影光学系１０１が設けられている。撮像系は、物体からの光を、撮影光学系１０１を介して撮像素子２５２の撮像面に結像する光学処理系である。
【００１５】
撮影光学系１０１はズームレンズ１１０を有しており、超音波モータやステッピングモータを駆動源とするズームレンズ駆動部１１１によって光軸方向に駆動可能である。ズームレンズ電圧ドライバ１１３は、ズームレンズ駆動部１１１を駆動制御する電圧を発生する。
【００１６】
ズーム位置検出部１１２は、光軸Ｉに沿ったズームレンズ１１０の位置を検出するズームエンコーダである。ズーム位置検出部１１２は、焦点距離値に応じたパルス信号をズームレンズ制御部１０５に出力する。
【００１７】
ズームレンズ制御部１０５は、ズームレンズ駆動部１１１を制御し、例えば撮影者がカメラ１００もしくはレンズ１０２に不図示のスイッチにより設定した焦点距離になる光軸Ｉ上の位置にズームレンズ１１０が駆動されるように追従制御を行う部分である。またズームレンズ制御部１０５は、ズーム位置検出部１１２が出力するパルス信号を取り込む。ズームレンズ制御部１０５は、撮影者が設定した焦点距離になる光軸Ｉ上の位置（目標位置）、ズームレンズ１１０の現在位置情報などに基づいて駆動信号を演算し、このデジタル駆動信号をズームレンズ電圧ドライバ１１３に出力する。
【００１８】
ズームレンズ電圧ドライバ１１３は、入力された駆動信号（駆動電圧）に応じて、ズームレンズ駆動部１１１に電力を供給するドライバ部である。ズームレンズ電圧ドライバ１１３は、駆動信号に対し、スイッチングを行い、ズームレンズ駆動部１１１に電圧を印加し、ズームレンズ駆動部１１１の駆動を行う。
【００１９】
また撮影光学系１０１は、ＡＦレンズ１２０を有しており、超音波モータやステッピングモータを駆動源とするＡＦレンズ駆動部１２１によって光軸方向に駆動可能である。ＡＦレンズ電圧ドライバ１２３は、ＡＦレンズ駆動部１２１を駆動制御する電圧を発生する。
【００２０】
フォーカス位置検出部１２２は、光軸Ｉに沿ったＡＦレンズ１２０の位置を検出するフォーカスエンコーダである。フォーカス位置検出部１２２は、被写体距離値に応じたパルス信号をＡＦレンズ制御部１０４に出力する。
【００２１】
ＡＦレンズ制御部１０４は、ＡＦレンズ駆動部１２１を制御し、例えば撮影者のカメラ１００のレリーズスイッチ１９１の操作により検出された被写体距離になる光軸Ｉ上の位置にＡＦレンズ１２０が駆動されるように追従制御を行う部分である。またＡＦレンズ制御部１０４は、フォーカス位置検出部１２２が出力するパルス信号を取り込む。ＡＦレンズ制御部１０４は、被写体距離になる光軸Ｉ上の位置（目標位置）、ＡＦレンズ１２０の現在位置情報などに基づいて駆動信号を演算し、このデジタル駆動信号をＡＦレンズ電圧ドライバ１２３に出力する。
【００２２】
ＡＦレンズ電圧ドライバ１２３は、入力された駆動信号（駆動電圧）に応じて、ＡＦレンズ駆動部１２１に電力を供給するドライバ部である。ＡＦレンズ電圧ドライバ１２３は、駆動信号に対し、スイッチングを行い、ＡＦレンズ駆動部１２１に電圧を印加し、ＡＦレンズ駆動部１２１の駆動を行う。
【００２３】
レンズＣＰＵ１０３は、レンズ１０２側の種々の制御を行う中央処理部である。レンズＣＰＵ１０３内には、ズームレンズ制御部１０５と、ＡＦレンズ制御部１０４が設けられている。
【００２４】
レンズＣＰＵ１０３は、レンズ１０２とカメラ１００との間に設けられたレンズ接点１９０を介して、ボディＣＰＵ１０９との間で通信が可能である。
【００２５】
ＥＥＰＲＯＭ１３１は、レンズ１０２に関する種々の固有情報であるレンズデータなどを格納する不揮発性の記憶部である。
【００２６】
ボディＣＰＵ１０９は、カメラシステム全体の種々の制御を行う中央処理部である。ボディＣＰＵ１０９には、レリーズスイッチ１９１の情報が入力され、レリーズスイッチ１９１が半押し、又は、全押しされたことを検知する事が出来る。これにより、撮像素子２５２の駆動、画像処理部１５０の動作、メモリ１９７の圧縮処理などを制御する。さらに表示部２５８によって液晶モニタ等に情報表示を行う情報表示装置の各セグメントの状態を制御する。
【００２７】
また、ボディＣＰＵ１０９は、後述するように、ユーザーが撮影時に主被写体としている被写体や副被写体（ユーザーが主被写体の次に合焦した画像が欲しいと想定される被写体）と考えている被写体を判定する機能を有している。よって、ボディＣＰＵ１０９が本発明の判定手段に相当する。
【００２８】
画像処理部１５０は、内部にＡ／Ｄ変換器、ホワイトバランス回路、ガンマ補正回路、補間演算回路等を有しており、記録用の画像を生成することができる。また、本発明の要部である、像シフト手段、像生成手段、相関計算手段等を含める事も出来る（本実施例ではこれらの要素はボディＣＰＵ１０９内に配置する場合を想定して記載する）。
【００２９】
撮像素子２５２は、具体的には、増幅型固体撮像素子の１つであるＣＭＯＳプロセスコンパチブルのセンサ（以降ＣＭＯＳセンサと略す）である。ＣＭＯＳセンサの特長の１つに、エリアセンサ部のＭＯＳトランジスタと撮像装置駆動回路、ＡＤ変換回路、画像処理回路といった周辺回路を同一工程で形成できるため、マスク枚数、プロセス工程がＣＣＤと比較して大幅に削減できる。また、任意の画素へのランダムアクセスが可能といった特長も有し、ディスプレイ用に間引いた読み出しが容易であって、表示部２５８において高い表示レートでリアルタイム表示が行える。
【００３０】
撮像素子２５２は、上述した特長を利用し、ディスプレイ画像出力動作（撮像素子２５２の受光領域のうち一部を間引いた領域での読み出し）および高精彩画像出力動作（全受光領域での読み出し）を行う。
【００３１】
また撮像素子２５２表面にはマイクロレンズが格子状に配置してあり、いわゆるマイクロレンズアレイ（以下 ＭＬＡ２０）を形成している。ＭＬＡ２０は本実施例において、瞳分割手段を構成する。ＭＬＡ２０の機能や配置の詳細については図３を用いて後述する。後述するように、撮像素子２５２からピント評価量／適当な露光量が得られるので、この信号に基づいて適切に撮影光学系１０１が調整されることで、適切な光量の物体光を撮像素子２５２に露光するとともに、撮像素子２５２近傍で被写体像が結像する。
【００３２】
なお、ボディＣＰＵ１０９は、後述するように、画像処理部１５０を動作させて撮像素子２５２に結像した被写体像から撮影画像のデフォーカス量を求め、その結果と前述の主被写体３１０の判定結果に応じてレンズ接点１９０を介してレンズＣＰＵ１０３に送信する事でＡＦレンズ１２０の駆動を制御する事にもなるので、ボディＣＰＵ１０９は、本発明の制御手段にも相当する。
【００３３】
図３は、本実施例における撮影光学系の要部を説明する図である。本発明を適用するためには、いわゆる光線空間情報等といわれる光線の位置に加えて角度の情報を取得する必要がある。本実施例では、角度情報の取得のために撮影光学系１０１の結像面近傍にＭＬＡ２０を配置するとともに、ＭＬＡ２０を構成する１つのレンズに対して複数の画素を対応させている。
【００３４】
図３（ａ）は撮像素子２５２とＭＬＡ２０の関係模式的に示す図である。図３（ｂ）は撮像素子２５２の画素とＭＬＡ２０の対応を示す模式図である。図３（ｃ）はＭＬＡ２０によってＭＬＡ２０の下に設けられた画素が特定の瞳領域と対応付けられる事を示す図である。
【００３５】
図３（ａ）に示すように、撮像素子２５２上にはＭＬＡ２０が設けられており、ＭＬＡ２０の前側主点は撮影光学系１０１の結像面近傍になるように配置されている。図３（ａ）は撮像装置の横からと、正面からＭＬＡ２０を見た状態を示しており、撮像装置正面から見るとＭＬＡ２０のレンズが撮像素子２５２上の画素を覆うように配置されている。なお、図３（ａ）ではＭＬＡ２０を構成する各マイクロレンズを見やすくするために、大きく記載したが、実際には各マイクロレンズは画素の数倍程度の大きさしかない（実際の大きさについては図３（ｂ）を用いて説明する）。
【００３６】
図３（ｂ）は図３（ａ）の装置正面からの図を一部拡大した図である。図３（ｂ）に示す格子状の枠は、撮像素子２５２の各画素を示している。一方ＭＬＡ２０を構成する各マイクロレンズは太い円２０ａ，２０ｂ，２０ｃ，２０ｄで示した。図３（ｂ）から明らかなように、マイクロレンズ１つに対して複数の画素が割り当てられており、図３（ｂ）の例では、５行x５列＝２５個の画素が１つのマイクロレンズに対して設けられている（すなわち各マイクロレンズの大きさは画素の大きさの５倍x５倍の大きさである）。
【００３７】
図３（ｃ）は撮像素子２５２を、マイクロレンズ光軸を含み、撮像素子２５２の長手方向が図の横方向になるように切断した図である。図３（ｃ）の２１、２２、２３、２４、２５は撮像素子２５２の画素（１つの光電変換部）を示している。
【００３８】
一方、図３（ｃ）の上方に示した図は撮影光学系１０１の射出瞳面を示している。実際には、図３（ｃ）の下方に示した撮像素子２５２の図と方向を合わせると、射出瞳面は図３（ｃ）の紙面垂直方向になるが、説明のために投影方向を変化させている。また、図３（ｃ）においては、説明を簡単にするために、１次元の投影／信号処理について説明する。実際の装置においては、これを容易に２次元に拡張する事が出来る。
【００３９】
図３（ｃ）の画素２１、２２、２３、２４、２５は図３（ｂ）の２１ａ、２２ａ、２３ａ、２４ａ、２５ａとそれぞれ対応する位置関係にある。図３（ｃ）に示すように、マイクロレンズによって各画素は撮影光学系１０１の射出瞳面上の特定の領域と共役になるように設計されている。図３（ｃ）の例では画素２１と領域３１が、画素２２と領域３２が、画素２３と領域３３が、画素２４と領域３４が、画素２５と領域３５がそれぞれ対応している。すなわち画素２１には撮影光学系１０１の射出瞳面上の領域３１を通過した光束のみが入射する。他の画素も同様である。結果として、瞳面上での通過領域と撮像素子２５２上の位置関係から角度の情報を取得する事が可能となる。
【００４０】
ここで後ほどの説明を簡単にするために記号を導入する。図３（ｃ）に示すように、撮像素子２５２の画素ピッチをΔx、角度分解能をΔθとする。さらに角度の分割数をNθ（図３の例ではNθ=5）とする。画素ピッチは撮像素子２５２の形状によって決定され、Δθは光線の角度を取得する範囲と角度分割数Nθで決定される。すなわち、物理的な構造（撮像素子２５２およびＭＬＡ２０の構造）のみによってこれらのパラメータは決定される。
【００４１】
レリーズスイッチ１９１は、前述の通り、図示しないレリーズボタンの半押し動作（ＳＷ１のＯＮ）を検出して、一連の撮影準備動作（測光動作や焦点調節動作等）を開始させ、レリーズボタンの全押し動作（ＳＷ２のＯＮ）を検出して、撮影動作（撮像素子２５２から読み出された画像データの記録媒体への記録）を開始させるスイッチである。
【００４２】
１９２は任意方向の操作が可能な選択スイッチで、不図示の公知の撮影メニューの項目を選択したり、後述するように、撮影者が主被写体を選択したりする時に用いるスイッチである。
【００４３】
１９３は決定スイッチで、不図示の公知の撮影メニューの決定をしたり、後述するように、撮影者が主被写体を決定したりする時に用いるスイッチである。
【００４４】
１９５はカメラ１００を起動させるためのメインスイッチである。また、図２に示したように、メインスイッチ１９５は３ポジション（１９５−１，１９５−２，１９５−３）が選択可能なスイッチである。
【００４５】
ポジション１９５−１にメインスイッチ１９５をセットした時は「ＯＦＦ」で、後述のように、カメラ１００はスリープ状態となる。またポジション１９５−２にメインスイッチ１９５をセットした時は「ＯＮ」（静止画撮影）で、後述のように、カメラ１００はスリープ状態から駆動状態となり、各種スイッチの操作等を受け付けて静止画撮影のための動作を行う状態となる。さらにポジション１９５−３にメインスイッチ１９５をセットした時は「動画撮影」となり、後述のように、カメラ１００は公知の動画撮影を行える状態となる。
【００４６】
なお、本実施例ではメインスイッチ１９５にカメラ１００が動画撮影状態となる機能を設けているが、これに限定せず、例えば、動画撮影モードに入る専用のスイッチを設けたり、あるいは、後述のモードスイッチ１９６の設定でカメラ１００が動画撮影モードに入ったりするようにしても良い。
【００４７】
モードスイッチ１９６はカメラ１００の撮影モードを設定するためのスイッチで、後述する「フォーカスブラケット撮影モード」を設定する事が出来る。
【００４８】
１９７はメモリで、実際の記憶部に加えて記録に必要な処理回路を備えている。メモリ手段は、記録部へ出力を行うとともに、表示部２５８に出力する像を生成、保存する。
【００４９】
また、メモリ１９７ は、予め定められた方法を用いて画像、動画、音声などの圧縮を行う。
【００５０】
１９８は録画スイッチで、例えば、録画スイッチ１９８を図２中、紙面垂直方向に一度押しこむと、動画撮影がスタートし、もう一度、録画スイッチ１９８を図２中、紙面垂直方向にもう一度押しこむ事により、録画撮影を停止する事が出来る。
【００５１】
表示部２５８はカメラ１００の背面に取り付けられており、使用者は表示部２５８での表示を直接観察出来るようになっている。
【００５２】
表示部２５８を、有機ＥＬ空間変調素子や液晶空間変調素子、微粒子の電気泳動を利用した空間変調素子などで構成すれば、消費電力を小さくでき、かつ表示部２５８の薄型化を図る事が出来る。これにより、カメラ１００の省電力化および小型化を図る事が出来る。
【００５３】
図４は、いわゆるライブビュー撮影時（動画撮影）に表示部２５８に表示される被写体像の様子を示した図である。
【００５４】
図４において、表示部２５８には、被写体像２５８ａと撮影条件（シャッタ速度、絞り値、ＩＳＯ感度等）や露出レベル表示、電池残量表示等の撮影情報２５８ｂが表示されており、また被写体像２５８ａ表示部内には、動画撮影に関する情報（動画記録サイズ、フレームレート、動画撮影可能時間等）の表示部２５８ｃが表示されている。
【００５５】
さらに被写体像２５８ａ表示部内には、複数の測距点（測距領域）３０１が設けられており、撮像素子２５２からのピント検出結果に基づいて選択された測距点３０２を別の表示形態（色違いでの表示等）にする事により、撮影者に合焦している主被写体部を知らせる事が出来る。
【００５６】
なお、カメラ１００の選択スイッチ１９２と決定スイッチ１９３を用いて測距部２５３の検出結果によらずに複数の測距点３０１の中から合焦させたい任意の位置のものをユーザーが選択可能である。その際は、ユーザーが選択した測距点３０２に基づいて撮像素子２５２からのピント検出結果から主被写体までの距離を演算する事でピンボケ写真になるのを防止する。
【００５７】
図５から図８は本発明のカメラシステムが動画撮影時にフォーカスブラケット撮影する時の動作を説明するためのフローチャートである。これらを用いて、以下、フォーカスブラケット撮影モード時のカメラ１００及びレンズ１０２の動作について説明する。
【００５８】
ステップ（以下、Ｓとする）１０１０では、メインスイッチ１９５がポジション１９５−２にセットされてＯＮになっているかどうかの判定がボディＣＰＵ１０９によって行われる。メインスイッチ１９５がポジション１９５−１にセットされたまま（ＯＦＦのまま）であれば、カメラ１００はスリープ状態のままであり、メインスイッチ１９５がポジション１９５−２にセットされてＯＮになればＳ１０２０に進む。
【００５９】
Ｓ１０２０では、メインスイッチ１９５がポジション１９５−３にセットされたかどうかの判定がボディＣＰＵ１０９によって行われる。メインスイッチ１９５がポジション１９５−２のままであれば（Ｎｏであれば）、撮影者は静止画撮影をすると判断して、Ｓ１３１０に進み、静止画撮影に関する動作を行う。Ｓ１３１０の動作は公知の動作であり、また本発明の内容とは異なるので詳細な説明を省略する。メインスイッチ１９５がポジション１９５−３にセットされたならば（Ｙｅｓならば）、Ｓ１０３０に進む。
【００６０】
Ｓ１０３０では、カメラ１００がモードスイッチ１９６によってフォーカスブラケット撮影モードに設定されているかどうかの判定がボディＣＰＵ１０９によって行われる。ＹｅｓであればＳ１０４０に進み、ＮｏであればＳ１３３０に進み、通常の動画撮影動作を行う。Ｓ１３３０の動作は公知の動作であり、また本発明の内容とは異なるので詳細な説明を省略する。
【００６１】
Ｓ１０４０では、以下に説明する動作で必要となるプリ撮影を行う。ここでは、撮像素子２５２を起動し、撮影光学系１０１を介した被写体像を露光する事をいう。
【００６２】
Ｓ１０５０では、撮像素子２５２を適当な時間露光して、読み出す（Ａ／Ｄ変換する）事によりデータを取得する。
【００６３】
この時の露光時間と露光量から撮影において適当な露出量を計算する事も出来るが、本発明の要部ではないので説明は割愛する。
【００６４】
Ｓ１０６０では相関計算手段を動作させて結果を得る。相関計算手段の動作の詳細は図７を用いて後述するが、このステップで、いわゆる位相差ＡＦによるピント位置を求める事が出来る。
【００６５】
Ｓ１０７０では、Ｓ１０６０での計算結果から各測距点３０１でのデフォーカス量を算出する。
【００６６】
Ｓ１０８０では、Ｓ１０７０で求めた各測距点３０１でのデフォーカス量からユーザーが主被写体としているボディＣＰＵ１０９が被写体を判定する。具体的には、例えば各測距点３０１でのデフォーカス量の分布状況やその絶対値の差から、ある特定の値及びその近傍のデフォーカス量となっている測距点３０１の数が多いエリアを特定し、そのエリア内の被写体を主被写体３１０と判定すると共に、そのエリアで一番デフォーカス量が小さいものをピント位置の測距点３０２として表示する（図４参照）。
【００６７】
あるいは、前述のように、カメラ１００の選択スイッチ１９２と決定スイッチ１９３を用いて、ユーザーが複数の測距点３０１の中から合焦させたい任意の位置の測距点３０２を指定した場合に、その測距点３０２におけるデフォーカス量と等しいか、あるいはその近傍のデフォーカス量となっている測距点３０１が分布しているエリア内の被写体をボディＣＰＵ１０９は主被写体３１０と判定しても良い。
【００６８】
Ｓ１０９０では、Ｓ１０８０と同様に、ボディＣＰＵ１０９は、Ｓ１０７０で求めた各測距点３０１でのデフォーカス量からユーザーが副被写体としている被写体を判定する。ここでいう副被写体とは、後述のフォーカスブラケット撮影もしくはリフォーカス処理により、主被写体３１０の次にピントの合った画像を取得したい被写体の事である。
【００６９】
Ｓ１０９０での具体的な処理は、Ｓ１０８０と同様に、各測距点３０１でのデフォーカス量の分布状況やその絶対値の差から、ある特定の値及びその近傍のデフォーカス量となっている測距点３０１の数が、主被写体３１０のエリアの次に多いエリアを特定し、そのエリア内の被写体を副被写体３２０と判定する。なおこの時、そのエリアで一番デフォーカス量が小さいものを測距点３０３として主被写体３１０の測距点３０２や他の測距点３０１とは異なる表示形態（色違いでの表示等）で表示しても良い（図４参照）。
【００７０】
また、前述のように、カメラ１００の選択スイッチ１９２と決定スイッチ１９３を用いて、ユーザーが複数の測距点３０１の中から副被写体３２０として主被写体３１０の次に合焦した画像を取得したい被写体上にある測距点３０３を指定した場合に、その測距点３０３におけるデフォーカス量と等しいか、あるいはその近傍のデフォーカス量となっている測距点３０１が分布しているエリア内の被写体をボディＣＰＵ１０９は副被写体３２０と判定しても良い。
【００７１】
なお、Ｓ１０８０及びＳ１０９０において、ユーザーがカメラ１００の選択スイッチ１９２と決定スイッチ１９３を用いて主被写体３１０と副被写体３２０を指定する場合は、表示部２５８内に例えば「主被写体を選択／決定して下さい」等の表示が行ってユーザーの補助をすれば、ユーザーにとっては利便性が向上する。
【００７２】
また、撮影範囲内（図４で被写体像２５８ａとして表示されているエリア内の事）で測距領域外（測距点３０１が配置されていない所）にいる被写体に対してもＳ１０６０の処理によりデフォーカス量が求まっているので、Ｓ１０９０と同様に副被写体３３０として判定しても良い。
【００７３】
Ｓ１１００では、後述のフォーカスブラケット撮影（画像取得）をする際に、ＡＦレンズ１２０のどの位置において撮影を行うのかの演算をボディＣＰＵ１０９が行う。具体的には、Ｓ１０８０で判定した主被写体３１０及びＳ１０９０で判定した副被写体３２０を少なくとも含み、Ｓ１０６０の処理により求まっているデフォーカス量によって被写体像２５８ａの内の最至近位置から最無限位置までの被写体がフォーカスブラケット撮影もしくはリフォーカス処理により合焦状態となるようなＡＦレンズ１２０の複数の位置をボディＣＰＵ１０９は演算する。この演算結果の例を図６（ａ）に示す。
【００７４】
図６（ａ）において、左端が被写体像２５８ａ内の最至近の合焦状態位置を示し、右端が被写体像２５８ａ内の最無限の合焦状態位置を示し、その間に主被写体３１０と副被写体３２０が居る。このような場合、Ｓ１１００では、主被写体３１０が合焦状態となる（Ｉ）の位置と副被写体３２０が合焦状態となる（ＩＩＩ）の位置を演算で求まると共に、（ＩＩ）及び（ＩＩＩ）の位置での撮影画像からリフォーカスが可能な範囲内（図６（ａ）中、Ｄで示した範囲）から外れた奥行き方向に居る被写体（例えば、副被写体３３０で、図６（ａ）中、ＮやＦで示した範囲）にもフォーカスブラケット撮影もしくはリフォーカス処理により合焦状態となるようなＡＦレンズ１２０の位置（（Ｉ）及び（ＩＶ）がＳ１１００の演算により求まる。
【００７５】
Ｓ１１１０では、Ｓ１１００の演算結果をボディＣＰＵ１０９からレンズ接点１９０を介してレンズＣＰＵ１０３が受け取り、その後、ＡＦレンズ１２０をＡＦレンズ駆動部１２１により駆動してＳ１１００により求まった主被写体３１０が合焦状態となる位置にＡＦレンズ１２０を移動する。
【００７６】
Ｓ１１２０では、画像処理部１５０が有する像生成手段を動作させて結果を得る。像生成手段の動作の詳細は図９を用いて後述するが、これにより、撮像素子２５２に結像した主被写体３１０の像がメモリ１９７に生成される。
【００７７】
Ｓ１１３０では、Ｓ１１２０にて生成された主被写体３１０に合焦した画像を撮影前のプレビュー画像として表示部２５８に表示する。
【００７８】
Ｓ１１４０では、録画スイッチ１９８が押し込まれたかどうかの判断をボディＣＰＵ１０９が行う。ＮｏならばＳ１０５０に戻り、一連の動作を繰り返す。ＹｅｓならばＳ１１５０に進む。
【００７９】
なお、Ｓ１１４０で録画スイッチ１９８が動画撮影を開始するために押し込まれるまでは、Ｓ１０５０からＳ１１３０までの動作が通常の動画撮影時の撮影周期である３０ｆｐｓで行われるので、Ｓ１１３０での主被写体３１０に合焦した画像はフォーカスブラケット動作を行わずに動画撮影をする時と同様のプレビュー表示が表示部２５８で行われるので、撮影者に違和感を与える事がない。
【００８０】
Ｓ１１５０では、Ｓ１１００により求まったＡＦレンズ１２０の位置（主被写体３１０及び副被写体３２０が合焦する位置を含む）にＡＦレンズ１２０をＡＦレンズ駆動部１２１により駆動して移動させるとともに、その位置にて公知の静止画撮影動作を行い、撮像素子２５２に結像した被写体像を、公知の画像処理技術を経て画像処理部１５０で処理した記録画像としてメモリ１９７もしくは不図示の記録媒体に記録する。つまり、図６（ａ）に示した例であれば、主被写体３１０に合焦するＡＦレンズ１２０の位置「（ＩＩ）」で撮影後、副被写体３２０に合焦するＡＦレンズ１２０の位置「（ＩＩＩ）」から、（ＩＶ）及び（Ｉ）の位置にそれぞれＡＦレンズ１２０を移動させた後、（ＩＶ）及び（Ｉ）の位置にて公知の静止画撮影動作を行い、その後、主被写体３１０が合焦する位置である、位置「（ＩＩ）」に戻る事となる。
【００８１】
なお、本実施例における前記静止画撮影動作の周期は、例えば通常の動画撮影時の撮影周期である３０ｆｐｓよりも高速な１２０ｆｐｓ（３０ｆｐｓ×「ＡＦレンズ１２０が停止する位置の個数：４」）で行う。
【００８２】
また、前記静止画撮影動作の周期は、Ｓ１１００により求まったＡＦレンズ１２０の位置の個数によって変わる事が望ましい。例えば、主被写体３１０及び副被写体３２０に合焦するＡＦレンズ１２０の位置を含めて、被写体像２５８ａの内の最至近位置から最無限位置までの被写体がフォーカスブラケット撮影もしくはリフォーカス処理により合焦状態となるために、ＡＦレンズ１２０が６か所の位置で静止画撮影をする必要がある場合は、静止画撮影動作の周期は、「３０ｆｐｓ×６＝１８０ｆｐｓ」となる。
【００８３】
つまり、フォーカスブラケット撮影していない時の動画撮影時の撮影周期をＸ（ｆｐｓ）、被写体像２５８ａの内の最至近位置から最無限位置までの被写体がフォーカスブラケット撮影もしくはリフォーカス処理により合焦状態となるために、ＡＦレンズ１２０が駆動される位置の数をＹ、とすると、フォーカスブラケット撮影時の静止画撮影動作の周期Ｆ（ｆｐｓ）は、Ｆ＝Ｘ×Ｙとなる。なお、この静止画撮影動作の周期の演算はボディＣＰＵ１０９によって行われる。
【００８４】
Ｓ１１６０では、Ｓ１１５０において撮影した静止画像の中から、主被写体３１０に合焦するＡＦレンズ１２０の位置で撮影した静止画をボディＣＰＵ１０９が抽出する。
【００８５】
Ｓ１１７０では、Ｓ１１６０で抽出した主被写体３１０に合焦した記録画像を、Ｓ１１２０と同様に画像処理部１５０が有する像生成手段を動作させて、主被写体３１０に合焦した被写体像をメモリ１９７に生成する。
【００８６】
Ｓ１１８０では、Ｓ１１７０で生成した主被写体３１０に合焦した記録画像を表示部２５８に表示する。
【００８７】
Ｓ１１９０では、Ｓ１１６０で抽出した主被写体３１０に合焦した画像に対して、Ｓ１０６０と同様に、相関計算手段を動作させて結果を得る。これは、Ｓ１０８０にて判定した主被写体３１０等のピント位置を確認するために行う。
【００８８】
Ｓ１２００では、Ｓ１１９０での相関演算から、主被写体３１０が深度内にあるかどうか、つまり、ピンボケになっていないかどうかの確認を行う。これは、動画撮影中に主被写体３１０が移動して合焦位置が変化していないかどうかを確認するためである。
【００８９】
Ｓ１２００で、主被写体３１０が深度内である、つまり現在のＡＦレンズ１２０の位置（位置「（ＩＩ）」）で合焦している場合は、Ｓ１２１０に進む。一方、主被写体３１０が深度内ではない、つまり、現在のＡＦレンズ１２０の位置（位置「（ＩＩ）」）では合焦していないと判定された場合には、Ｓ１３５０に進む（動作は後述する）。
【００９０】
Ｓ１２１０では、録画スイッチ１９８が撮影者によって再び押し込まれる事により、録画撮影がＯＦＦになったかどうかの判断をボディＣＰＵ１０９が行う。Ｎｏならば、動画撮影を継続する事になるので、Ｓ１１５０に戻り、一連の動作を繰り返す。Ｙｅｓならば、動画撮影（フォーカスブラケット撮影）を停止してＳ１２２０に進む。
【００９１】
Ｓ１２２０では、メインスイッチ１９５がポジション１９５−１にセットされてＯＦＦになったかどうか、ボディＣＰＵ１０９が判断を行う。Ｎｏの場合はＳ１０３０に戻って一連の撮影動作を行う。
【００９２】
Ｓ１２２０でＹｅｓの場合は、撮影動作を終了する。
【００９３】
以下、Ｓ１２００で主被写体３１０が深度内ではない、つまり、現在のＡＦレンズ１２０の位置（位置「（ＩＩ）」）では合焦していないと判定された場合に進んだＳ１３５０以降の動作について説明する。
【００９４】
Ｓ１３５０では、Ｓ１１００と同様に、Ｓ１１９０での相関計算手段を動作させた結果から、次のフォーカスブラケット撮影（画像取得）をする際に、ＡＦレンズ１２０のどの位置において撮影を行うのかの演算をボディＣＰＵ１０９が行う。
【００９５】
Ｓ１３６０では、Ｓ１１１０同様に、Ｓ１３５０での演算結果をボディＣＰＵ１０９からレンズ接点１９０を介してレンズＣＰＵ１０３が受け取り、その後、ＡＦレンズ１２０をＡＦレンズ駆動部１２１により駆動してＳ１３５０により求まった主被写体３１０が合焦状態となる位置にＡＦレンズ１２０を移動する。
【００９６】
その後、Ｓ１１５０に戻って、Ｓ１３５０で演算されたＡＦレンズ１２０の位置にて前述同様の一連のフォーカスブラケット撮影を行う。
【００９７】
なお、Ｓ１１８０での主被写体３１０に合焦した画像の表示及び更新が例えば３０ｆｐｓで表示部２５８に行われるので、表示部２５８を見ながら撮影をしている撮影者は所望の動画撮影が行われている事が視認出来る事になり、違和感を与える事がなく、また利便性が良い（図６（ｂ）参照の事）。
【００９８】
以下、図７を用いて、Ｓ１０６０で行われる相関演算のサブフローについて説明する。Ｓ１４１０は画像処理部１５０が有する相関計算手段の動作開始を示している。
【００９９】
Ｓ１４２０からＳ１５２０はループを形成している。
【０１００】
Ｓ１４２０では、評価位置の数（いわゆる測距視野数）に対応して繰り返し演算を行う。測距視野数は多くなると画面全体を覆うことが可能となるが評価に時間が掛るという問題がある。ユーザーの設定などにより適切に設定する。
【０１０１】
Ｓ１４３０では、評価を行う評価点の数と、評価枠の大きさを設定する。ここでいう評価点の数とは、Ｓ１４４０で行う相関値を求める点数であり、撮影条件やレンズ１０２の種類などに応じて適切に設定される。また、評価点の数は像をシフトさせながら相関を求める場合のシフト量に対応しており、これは撮像装置においては焦点合わせの探索を行うピントの深さに対応している。一方、評価枠の大きさは、大きくすると局所的にはあまりパターンを有していないテクスチャであってもピントを合わせる事が可能となるが、あまりにも大きくなると距離の異なる被写体の像を同時に評価する、いわゆる遠近競合が発生してしまう。これらの問題を解決できるように評価枠の大きさを適切に設定する。
【０１０２】
Ｓ１４４０からＳ１４９０はループを形成している。
【０１０３】
Ｓ１４４０では、Ｓ１４３０で決定された評価数に対応した評価値を得るように繰り返し演算を行う。
【０１０４】
Ｓ１４５０からＳ１４７０はループを形成している。
【０１０５】
Ｓ１４５０では、Ｓ１４３０で決定された評価枠の大きさに応じた画素数の範囲で相関計算を行う。相関計算はＳ１４６０にあるように、例えばΣ｜Ai - Bi｜で計算すれば良い。ここで、Aiは特定の瞳領域を通過したｉ番目の画素の輝度を示している。BiはAiとは異なる瞳領域を通過したｉ番目の画素の輝度を示している。例えば図３において、画素２２に対応する画素のみ並べたものをAi、画素２４に対応する画素のみ並べたものをBiとすれば良い。どの瞳領域の画素を選択するかは、基線長の長さ、瞳面のケラレ状況、等によって決定すれば良い。
【０１０６】
上記のように設定する事で、異なる瞳領域を通過した像の相関を計算出来、いわゆる位相差ＡＦに基づく評価量を得る事が出来る。
【０１０７】
Ｓ１４８０では、得られた相関値を評価量として格納する。
【０１０８】
上記に示したΣ｜Ai - Bi｜という評価式においては、相関値が小さくなった個所が最もピント状態が良い個所に対応している。ここでは差分絶対値を加算する方法で相関計算を行ったが、最大値を加算する方法、最小値を加算する方法、差分２乗値を加算する方法など他の計算方法によって相関計算を行っても良い
Ｓ１５００では、相関評価値が最良となる（前述したようにＳ１４６０の式においては相関値が小さくなった個所だが、その他の指標も併用して最良を決定しても良い）点を相関量評価に基づく最良ピント位置として格納する。
【０１０９】
この演算を各視野で行い、最終的に相関量評価に基づく最良ピント位置を得てＳ１５２０に進み、呼び出し元（Ｓ１０７０もしくはＳ１２００）に戻る。
【０１１０】
次に、図８を用いて画像処理部１５０が有する像生成手段の動作の詳細を説明する。
【０１１１】
Ｓ１６１０は像生成手段の動作開始を示している。
【０１１２】
Ｓ１６２０では、Ｓ１６５０での加算のための領域のデータを初期化する（０で埋める）。この時のデータ領域の大きさはＭＬＡ２０の数量あれば良く、データの諧調は元のデータの諧調と瞳分割数の積を格納できるだけあれば都合が良い。例えば元のデータが8bitで25分割の場合、13bit （> 8bit + log225）あればデータの桁あふれを考慮する必要が無い。
【０１１３】
Ｓ１６３０からＳ１６７０はループを形成している。
【０１１４】
Ｓ１６３０では、ＭＬＡ２０を構成するマイクロレンズの数に応じてループ計算が実行される。例えば、図３に示した例では、元の撮像素子の画素数÷25（瞳分割数）がマイクロレンズの数となる。
【０１１５】
Ｓ１６４０からＳ１６６０はループを形成している。
【０１１６】
Ｓ１６４０では、瞳分割数に応じた数だけループ計算が実行される。例えば、図３に示した例では、５×５＝２５個に分割されていたので、２５個のそれぞれの瞳位置からの光束がＳ１６５０で加算される。シフト量が画素の整数倍でない場合は、Ｓ１６５０において、適切に内分されながら加算される（重なっている面積に応じて適切に加算すれば良い）。
【０１１７】
像生成手段は、図１１を用いて図解も行う（後述）。
【０１１８】
Ｓ１６８０において、呼び出し元のＳ１１３０（もしくはＳ１１８０）に戻る。
【０１１９】
図９は本発明のカメラシステムがフォーカスブラケット撮影モードにて動画撮影したシーンから所望の静止画を切り出し、その画像に対してリフォーカス処理する時の動作を説明するためのフローチャートであるので、これらを用いて、以下、撮影動画画像再生時及びリフォーカス処理時のカメラ１００の動作について説明する。なおここでは、撮影動画画像（記録画像）の再生時に、カメラ１００のモードスイッチ１９６によって、通常の動画画像再生表示を行うモードと、動画撮影したシーンから所望の静止画像を切出して、その画像に対してフォーカスブラケット撮影モードにより撮影した画像から、ユーザーが動画撮影時とは異なる被写体に合焦し直すリフォーカス処理が行えるリフォーカス処理モードが選択出来るものとして説明するが、それに限定するものではない（例えばリフォーカス処理専用の操作部材をカメラ１００に設け、その操作部材を操作する事によりリフォーカス処理が開始するようなシステムでも良い）。
【０１２０】
Ｓ１７１０では、カメラ１００がモードスイッチ１９６によってリフォーカス処理モードに設定されているかどうかの判定がボディＣＰＵ１０９によって行われる。ＹｅｓであればＳ１７４０に進み、ＮｏであればＳ１７２０に進み、通常の動画再生表示動作を行う（動作は後述する）。
【０１２１】
Ｓ１７４０では、ユーザーがリフォーカス処理をするための撮影シーン、つまり静止画を切出すシーンの選択を完了したかどうかの判定がボディＣＰＵ１０９によって行われる。具体的には、前述のフォーカスブラケット撮影にて主被写体３１０に合焦した時に撮影した画像を表示部２５８に連続表示すると共に、表示部２５８に例えば「このシーンにてリフォーカス処理をしますか？」等、ユーザーの意思確認を行う旨の表示を同時に行う。なお、その際、ユーザーがカメラ１００の決定スイッチ１９３を操作する事により、主被写体３１０に合焦した画像を決定したと判定する。ユーザーがリフォーカス処理を行うシーンを選択し終えたならば、Ｓ１７５０に進む。
【０１２２】
Ｓ１７５０では、Ｓ１７４０にて指定されたシーンから静止画を切出す。具体的には、Ｓ１７４０にて指定されたシーンの主被写体３１０に合焦した画像を表示部２５８に表示する。
【０１２３】
Ｓ１７６０では、ユーザーは選択した主被写体３１０に合焦した画像からリフォーカス処理したい被写体の位置を指定する。具体的には、表示部２５８に表示された主被写体３１０に合焦した画像上に被写体選択マーク３０４が表示され、それをカメラ１００の選択スイッチ１９２で操作する事で合焦させたい被写体の位置まで被写体選択マーク３０４を移動させると共に、決定スイッチ１９３にて被写体選択を完了する。なおこの時、一連の操作をガイドするような表示が表示部２５８に表示されていると、ユーザーの利便性が向上するのは言うまでもない（図１２参照）。
【０１２４】
Ｓ１７７０では、Ｓ１７６０でユーザーがリフォーカス処理したい被写体が副被写体３２０であるかどうかの判定がボディＣＰＵ１０９によって行われる。ＹｅｓであればＳ１７８０に進み、Ｓ１１５０にて記録した副被写体３２０に合焦した状態で撮影した画像を、画像処理部１５０が有する像生成手段を動作させてメモリ１９７に被写体像を生成させた後、表示部２５８に表示して終了する。これは、以下に説明するリフォーカス処理が不要なためである。Ｎｏであれば（ユーザーが選択したのが主被写体３１０でも副被写体３２０でもなければ）Ｓ１７９０に進む。
【０１２５】
Ｓ１７９０では、Ｓ１１５０のフォーカスブラケット撮影にて撮影／記録した画像の中からＳ１７６０でユーザーが選択した被写体のデフォーカス量が一番小さい画像をボディＣＰＵ１０９が選択する。デフォーカス量が一番小さい画像を選ぶ理由は、以下に説明するリフォーカス処理の時間を短くするためである。
【０１２６】
Ｓ１８１０では、Ｓ１７９０でボディＣＰＵ１０９が選択したリフォーカス元画像を、画像処理部１５０が有する像生成手段を動作させてメモリ１９７に被写体像を生成させた後、表示部２５８に表示する。この時、Ｓ１７６０で表示している被写体選択マークは、そのままで該画像と共に表示されている事が望ましい。
【０１２７】
Ｓ１８１０及びＳ１８２０が、本発明で言うところの「リフォーカス処理」である。
【０１２８】
Ｓ１８１０では、画像処理部１５０が有する像シフト手段を動作させて結果を得る。像シフト手段の動作の詳細は図１０を用いて後述する。
【０１２９】
Ｓ１８２０では、画像処理部１５０が有する像生成手段を動作させて結果を得る。像生成手段の動作の詳細は図８で説明した内容（Ｓ１１２０及びＳ１１９０）と同じなので、その説明は省略する。
【０１３０】
Ｓ１８３０では、Ｓ１７６０にてユーザーが選択した被写体にＳ１８１０及びＳ１８２０にて行ったリフォーカス処理によって合焦した画像を表示部２５８に表示する。
【０１３１】
Ｓ１８４０では、Ｓ１８１０及びＳ１８２０にて行ったリフォーカス処理の結果の可否をユーザーに確認する。具体的には、表示部２５８に、Ｓ１８３０にて表示している、ユーザーが選択した被写体に合焦した画像と共に、例えば「このリフォーカス処理でＯＫですか？」等の表示を行って、ユーザーが望んでいたリフォーカス画像が得られたどうかの確認をボディＣＰＵ１０９が行う。この時、さらに「ＯＫ」と「キャンセル」の表示等があり、「ＯＫ」という表示をカメラ１００の選択スイッチ１９２で選択して決定スイッチ１９３で決定したら、ユーザーが望んでいたリフォーカス画像が得られた（つまり、Ｙｅｓ）とボディＣＰＵ１０９は判断して、Ｓ１８５０に進む。一方、「キャンセル」をいう表示をカメラ１００の選択スイッチ１９２で選択して決定スイッチ１９３で決定したら、ユーザーが望んでいたリフォーカス画像が得られなかった（つまり、Ｎｏ）とボディＣＰＵ１０９は判断して、Ｓ１７６０に戻って一連のリフォーカス処理を再度行う。
【０１３２】
Ｓ１８５０では、リフォーカス処理をした画像をメモリ１９７や不図示の記録媒体に保存するかどうかの確認をボディＣＰＵ１０９は行う。具体的には、表示部２５８にＳ１８４０の時と同様に、ユーザーが選択した被写体に合焦した画像と共に、例えば「保存しますか？」等の表示を行って、ユーザーが望んでいたリフォーカス画像を保存するかどうかの確認をボディＣＰＵ１０９は行う。この時、さらに「する」と「しない」の表示等があり、「する」という表示をカメラ１００の選択スイッチ１９２で選択した後、決定スイッチ１９３を操作したら、ユーザーがリフォーカス画像を保存する（つまり、Ｙｅｓ）とボディＣＰＵ１０９は判断して、Ｓ１８６０に進む。一方、「しない」をいう表示をカメラ１００の選択スイッチ１９２で選択した後、決定スイッチ１９３を操作したらユーザーはリフォーカス画像を保存しない（つまり、Ｎｏ）とボディＣＰＵ１０９は判断して、一連のリフォーカス処理を終了する。
【０１３３】
Ｓ１８６０では、リフォーカス処理した画像をメモリ１９７や不図示の記録媒体に保存して、一連のリフォーカス処理を終了する。
【０１３４】
以下、Ｓ１７１０でリフォーカス処理をしない、つまり、通常の動画再生を行う場合に進んだＳ１７２０以降の動作について説明する。
【０１３５】
Ｓ１７２０では、Ｓ１１５０のフォーカスブラケット撮影時に撮影した主被写体３１０に合焦した時の画像をメモリ１９７もしくは不図示の記録媒体から読み込む。
【０１３６】
Ｓ１７３０では、Ｓ１７２０で読み込んだ主被写体３１０に合焦した時の画像を表示部２５８に連続再生する。この時の表示周期は、例えば通常の動画再生と同じ３０ｆｐｓとする。これにより、表示部２５８を見ながら再生画像を確認している撮影者は、主被写体３１０に合焦した動画撮影が行われている事が確認出来る事になり、フォーカスブラケット動作を行わずに動画撮影をした時と同様の動画再生が行われるので、違和感を与える事がない（図６（ｂ）参照の事）。
【０１３７】
ここで、図１０を用いて画像処理部１５０が有する像シフト手段について説明する。
【０１３８】
Ｓ１９１０は像シフト手段の動作開始を示している。
【０１３９】
Ｓ１９２０からＳ１９６０はループを形成している。
【０１４０】
Ｓ１９２０では、瞳分割数に応じた数だけループ計算が実行される。例えば、図３に示した例では、５ｘ５＝２５個に分割されていたので、２５個のそれぞれの瞳位置に応じた計算がなされる。図１１を用いて後述するように、像の再構成を考えると同じ再構成面であっても入射角度が異なると像をシフトさせる量が異なる。これを適切に反映させるためのループである。
【０１４１】
Ｓ１９３０では、Ｓ１９４０からのデータを元に、評価位置に対応する各瞳領域での像シフト量を計算する。Ｓ１９４０には、撮像素子２５２上の各画素とＭＬＡ２０との対応関係が保存されており、各画素がどの瞳領域の光線を受光しているかが分かる情報が格納されている。
【０１４２】
Ｓ１９５０では、Ｓ１９３０の情報を元に同じ入射角の光線を得ている（同じ瞳領域からの光線を得ている）画素をシフトさせる。同じ入射角の光線を得ている画素は例えば図３（ｂ）の２５ａと２５ｂが該当する。このような画素がＭＬＡ２０を構成するマイクロレンズの数だけ存在している。
【０１４３】
像シフト手段は、図１１を用いて図解も行う。（後述）。
【０１４４】
Ｓ１９７０において、呼び出し元のＳ１８２０に戻る。
【０１４５】
次に図１１を用いて像シフトおよび像生成を模式的に示す。
【０１４６】
図１１は上から（ａ）、（ｂ）、（ｃ）と並んでおり、図１１（ｂ）は実際に撮像素子２５２が存在して画像を取得した面を、図１１（ａ）は図１１（ｂ）よりも物体側の再構成面（再構成面１とする）を、図１１（ｃ）は図１１（ｂ）よりも物体側から遠い側の再構成面（再構成面２とする）をそれぞれ示している。
【０１４７】
図１１（ｂ）において、X1,i、X2,i、X3,i、X4,i、X5,i、はそれぞれ瞳領域１、２、３、４、５を通過してマイクロレンズXiに入射して得られたデータを示している。すなわち、添え字のうち前半は通過する瞳領域を、後半は画素の番号を示している。
【０１４８】
また、図１１においても説明を明瞭にするために、データを１次元的な広がりしか持たないものとして記述している。物理的な位置との関係においては、X1,iは図３（ｃ）の２１領域から得られるデータを、X2,iは図３（ｃ）の２２領域から得られるデータを、以下添え字の３、４、５は領域２３、２４、２５に対応していることを示している。
【０１４９】
取得面での画像を生成するためには、図１１（ｂ）にあるように、マイクロレンズXiに入射したデータを加算すればよい。具体的には、Si = X1,I + X2,i + X3,i+ X4,i + X5,iでXiに入射した光の角度方向の積分値を得る事が出来る。これにより通常のカメラと同様の像が生成される。
【０１５０】
次に再構成面１での像の生成方法を考える。図３で説明したように、本実施例の撮影光学系は、各画素に入射する光束を特定の瞳領域に限定しているために、入射角度が既知である。この角度に沿って再構成面での各画素の位置を再構成する。具体的にはX1,iのように瞳領域の添え字が１のものは図１１右側において４１に示すような角度で入射しているとする。以下瞳領域の添え字２，３，４，５はそれぞれ４２，４３，４４，４５に対応しているとする。この時再構成面１でのマイクロレンズXiに入射した光束は、取得面においては、Xi-2からXi+2に分散して入射している事になる。より具体的には、X1,i-2、X2,i-1、X3,i、X4,i+1、X5,i+2に分散している。Xiに限らず再構成面１での像を復元するためには、入射角度に応じて像をシフトさせて加算すれば良い事が分かる。再構成面１での像を生成するためには、瞳領域の添え字が１のものは右に２画素シフト、瞳領域の添え字が２のものは右に１画素シフト、瞳領域の添え字が３のものはシフトなし、瞳領域の添え字が４のものは左に１画素シフト、瞳領域の添え字が５のものは左に２画素シフトする事で入射角度に応じたシフトを与える事が出来る。
【０１５１】
その後、図１１（ａ）の縦方向に加算することで再構成面１でのデータを得る事が出来る。具体的には、Si = X1,i-2 + X2,i-1 + X3,i+ X4,i+1 + X5,i+2で再構成面１において、Xiに入射した光の角度方向の積分値を得る事が出来る。これにより再構成面での画像が得られた。
【０１５２】
ここで、再構成面１において、Xiに輝点があったとすると、取得面においてはX1,i-2、X2,i-1、X3,i、X4,i+1、X5,i+2に分散していわゆるボケ状態にある。しかしながら、上述した再構成面１での像を生成すると、再びXiに輝点が生成されコントラストの高い像が得られる。
【０１５３】
また、図１１（ｃ）から分かるように、再構成面２においても再構成面と全く同様に像を生成する事が出来る。再構成面を配置する方向が異なると（物体に対して反対側という意味）シフトさせる方向を反転させれば良いだけである。
【０１５４】
以上、説明したように、リフォーカス処理によって撮影画面内の任意の位置に合焦した画像が得られる撮像措置であって、動画画像から撮影者が撮影時に狙った被写体以外の任意の被写体にピントが合った静止画画像が得られる撮像装置を提供する事が出来る。
【０１５５】
［変形例］
以下、図１３から図１５を参照して、本発明の撮像装置の変形例について説明する。変形例では、主被写体以外の被写体に動きが無いようなシーンでフォーカスブラケット撮影をする時の動作について述べる。
【０１５６】
図１３は、変形例における動画撮影時にフォーカスブラケット撮影する時の動作を説明するためのフローチャートである。
【０１５７】
図１４は、変形例における表示部２５８に表示される撮影シーンの説明図である。
【０１５８】
図１５（ａ）は、変形例におけるフォーカスブラケット撮影時のＡＦレンズ１２０の光学方向の位置の説明図、図１５（ｂ）は、変形例におけるフォーカスブラケット撮影を行うタイミングの説明図である。
【０１５９】
以下、図１３を用いて、変形例でのフォーカスブラケット撮影モード時のカメラ１００及びレンズ１０２の動作について説明する。
【０１６０】
Ｓ２０１０からＳ２２００まで、及びＳ２３１０、Ｓ２３３０、はＳ１０１０からＳ１２００まで、及びＳ１３１０、Ｓ１３３０と同様なので、その説明を省略する。
【０１６１】
Ｓ２２１０では、Ｓ２１６０で取得した主被写体記録画像から、被写体像２５８ａ内にある被写体像各々の動きベクトルを演算する。具体的には、３０ｆｐｓの撮影周期で撮影した主被写体３１０に合焦した複数の画像から、主被写体３１０以外の被写体の動きベクトルをボディＣＰＵ１０９が演算する。
【０１６２】
図１４及び図１５を用いて、詳しく説明すると、図１４に示したように、被写体像２５８ａにある主被写体３１０以外の被写体が風景の場合、例えば後方の風景を副被写体３２０とボディＣＰＵ１０９が判定したとする。その時、Ｓ２１００で行われる、被写体像２５８ａの内の最至近位置から最無限位置までの被写体がフォーカスブラケット撮影もしくはリフォーカス処理により合焦状態となるようなＡＦレンズ１２０の複数の位置の演算結果が図１５（ａ）に示したようになったとする。この演算結果に合わせて、Ｓ２１５０でフォーカスブラケット撮影が行われ、録画スイッチ１９８がＯＦＦになるまでは、Ｓ２１５０から後述のＳ２２３０での動作が繰り返される。これにより、異なる時刻で記録した主被写体３１０に合焦した複数の記録画像が、メモリ１９７や不図示の記録媒体に保存されるので、Ｓ２１６０で抽出した主被写体記録画像の複数枚を比較する事で、主被写体３１０以外の被写体の動きベクトルをボディＣＰＵ１０９が演算する事が可能になる。このＳ２２１０での演算終了後、Ｓ２２２０に進む。
【０１６３】
Ｓ２２２０では、Ｓ２２１０での動きベクトルの演算結果から、後述のＳ２２３０で録画スイッチ１９８がＯＦＦになっていない時にＳ２１５０に戻ってフォーカスブラケット撮影する際に、主被写体３１０以外の被写体に合焦する位置（図１５（ａ）中、（ＩＩ）、（ＩＩＩ）及び（ＩＶ）の位置）で静止画撮影をする必要があるかどうかの判定をボディＣＰＵ１０９が行う。
【０１６４】
例えば、図１４に示したようなシーンでは、使用者が動画撮影中に、例えばＡＦレンズ１２０が（Ｉ）の位置の深度内で主被写体３１０は動く事はあるが（図１５（ａ）に示した矢印の範囲内が深度内）、他の被写体は風景（副被写体３２０等）なので、動きは無い。
【０１６５】
すると、Ｓ２２１０で演算した結果、風景（副被写体３２０等）の動きベクトルはほぼゼロとなる。そのような場合には、Ｓ２１５０でフォーカスブラケット撮影をした場合、図１５（ａ）に示した（ＩＩ）、（ＩＩＩ）及び（ＩＶ）の位置で撮影した静止画は、１回目のフォーカスブラケット撮影をした時と２回目のフォーカスブラケット撮影をした時とでは、ほぼ変化がないので、同じような画像をメモリ１９７や不図示の記録媒体に保存しても、その容量が無駄となってしまう。またフォーカスブラケット撮影のためにＡＦレンズ１２０を動かす事にもなるので、ＡＦレンズ１２０の駆動に伴う消費電力も無駄となる。
【０１６６】
そこで、Ｓ２２１０で演算した結果、主被写体３１０以外の被写体の動きベクトルがほぼゼロの場合は、２回目のフォーカスブラケット撮影を行わない事で、前記無駄な動作を行わないようにするため、Ｓ２２２０では、ＡＦレンズ１２０が（ＩＩ）、（ＩＩＩ）及び（ＩＶ）の位置では静止画撮影を行わないという判定を行って、Ｓ２２３０に進む。
【０１６７】
Ｓ２２３０及びＳ２２４０の動作は、Ｓ１２１０及びＳ１２２０と同じなので、その説明を省略する。
【０１６８】
なお、前述のように、Ｓ２２２０での判定の結果、ＡＦレンズ１２０が（ＩＩ）、（ＩＩＩ）及び（ＩＶ）の位置では静止画撮影を行わないという判定になった場合は、図１５（ｂ）に示したように、２回目のフォーカスブラケット撮影時は、主被写体３１０に合焦する（Ｉ）´の位置にＡＦレンズ１２０をＡＦレンズ駆動部１２１により駆動して静止画撮影を行うが、（ＩＩ）、（ＩＩＩ）及び（ＩＶ）の位置では撮影を行わない。さらに続けてフォーカスブラケット撮影をする場合、例えば主被写体３１０の背後に別の被写体が入ったり、（ＩＩ）の位置にある被写体（例えば花や木）が動いたりした事により、ＡＦレンズ１２０の（ＩＩ）の位置での撮影が必要になった場合には、３回目のフォーカスブラケット撮影時は、主被写体３１０に合焦する（Ｉ）´´の位置にＡＦレンズ１２０をＡＦレンズ駆動部１２１により駆動して静止画撮影を行った後、フォーカスブラケット撮影としては（ＩＩ）´の位置にＡＦレンズ１２０をＡＦレンズ駆動部１２１により駆動して静止画撮影を行った後、（Ｉ）の位置にＡＦレンズ１２０をＡＦレンズ駆動部１２１により駆動して戻す。
【０１６９】
Ｓ２２３０で録画スイッチ１９８がＯＦＦになるまで、上記一連のフォーカスブラケット撮影を行う。
【０１７０】
ところで、例えば使用者が、主被写体３１０はＡＦレンズ１２０が（Ｉ）´の位置（つまり、２回目のフォーカスブラケット撮影を行った時の主被写体３１０の像）でＡＦレンズ１２０が（ＩＩ）、（ＩＩＩ）及び（ＩＶ）以外の位置で合焦する被写体にリフォーカス処理を行う場合は、Ｓ１７９０での処理同様に、Ｓ２１５０のフォーカスブラケット撮影にて撮影／記録した画像の中からユーザーが選択した被写体のデフォーカス量が一番小さい画像をボディＣＰＵ１０９が選択（例えばＡＦレンズ１２０が（ＩＩＩ）の位置で記録）した画像とＡＦレンズ１２０が（Ｉ）´の位置で記録した画像を合成する。これにより、使用者が望むリフォーカス画像を得る事が出来る。
【０１７１】
以上、説明したように、リフォーカス処理によって撮影画面内の任意の位置に合焦した画像が得られる撮像措置であって、動画画像から撮影者が撮影時に狙った被写体以外の任意の被写体にピントが合った静止画画像が得られる撮像装置を提供する事が出来る。
【０１７２】
また、主被写体３１０以外の被写体に動きが無い場合には、フォーカスブラケット撮影モード中でもフォーカスブラケット撮影を行わない事で、メモリ１９７や不図示の記憶容量削減やフォーカスブラケット撮影に伴う無駄な電力消費を抑える事が可能になる。
【０１７３】
なお、動画撮影中に主被写体３１０と副被写体３２０には動きがあるが、それ以外の被写体に動きが無い場合に場合には、上記フォーカスブラケット撮影を主被写体３１０に合焦する位置と副被写体３２０に合焦するそれぞれの位置にＡＦレンズ１２０を動かすようにボディＣＰＵ１０９が制御しても、同様な効果が得られる事は言うまでもない。
【０１７４】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【０１７５】
また本発明ではカメラ１００とレンズ１０２が着脱可能であるとしたが、これに限定せず、カメラ１００とレンズ１０２が一体化しているカメラでも上記で説明したのと同様な効果が得られる事は言うまでもない。
【符号の説明】
【０１７６】
２０：マイクロレンズアレイ（ＭＬＡ）
１００：カメラ
１０２：レンズ
１０９：ボディＣＰＵ
１２０：ＡＦレンズ
１９２：選択スイッチ
１９３：決定スイッチ
１９６：モードスイッチ
１９８：録画スイッチ
２５２：撮像素子
２５８：表示部
３０１，３０２，３０３：測距点
３１０：主被写体
３２０：副被写体
【技術分野】
【０００１】
本発明は、デジタルカメラに代表される撮像装置に関し、特にフォーカスブラケット撮影とリフォーカス処理によって、動画像から切り出した静止画画面全体の任意の位置に合焦した画像を得る方法に関するものである。
【背景技術】
【０００２】
従来、例えば撮影者の技量不足により撮影者が狙った動く被写体にピントが合わないのを補助するために、いわゆるフォーカスブラケット撮影を行って、所定の被写体距離に合焦した状態と、その前後（あるいは例えば前方の一方向）にフォーカスレンズを駆動した状態で撮影する事で、撮影者が撮影した被写体にピントが合った画像を得られるようにしていた。しかしながら、撮影者が狙った被写体及びその近傍に合焦する状態でフォーカスブラケット撮影を行うので、撮影画面全体の任意の位置に合焦した画像が得られるという事は出来なかった。
【０００３】
そこで、異なる瞳領域を通過した光束を個別に受光可能な撮像措置であって、撮像後に任意の被写体にピント調整を行った画像を生成する（以下、リフォーカス処理と呼ぶ）手法によって、撮影時もしくは撮影後のリフォーカス処理によって撮影画面の任意の位置に合焦した画像が得られるような撮像装置が提案されている。
【０００４】
例えば特許文献１には、測距結果から画面内の至近側焦点検出エリアから無限側焦点検出エリアまでを分割してフォーカスブラケット撮影して、撮影後にリフォーカス処理をする事で任意の被写体にピントが合った画像を生成する事が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−１９７５５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１においては、静止画を撮影した時に、リフォーカス処理によって、その撮影画面内の至近側から無限側の任意の被写体にピントが合った画像を得る事は出来るが、動画撮影時の画像から切り出した静止画画像を用いた場合には、その撮影画面内で、撮影者が撮影時に狙った被写体以外の任意の被写体にピントが合った画像を得る事は出来ない。
【０００７】
そこで、本発明の目的は、リフォーカス処理によって撮影画面内の任意の位置に合焦した画像が得られる撮像措置であって、動画画像から撮影者が撮影時に狙った被写体以外の任意の被写体にピントが合った静止画画像が得られる撮像装置を提供する事である。
【課題を解決するための手段】
【０００８】
撮像素子と、
合焦のために光軸方向に移動可能なフォーカスレンズを含む撮影レンズと、
前記撮像素子上の画素へ入射する光束を前記撮影レンズの特定の瞳領域のみに制限する瞳分割手段と、
前記撮像素子から得られた電気信号に所定の正の値を掛けて加算する像生成手段と、
異なる瞳領域を通過した像の相関を計算する相関計算手段と、
前記フォーカスレンズを駆動して複数の合焦状態位置において被写体像を前記撮像素子に受光する制御手段と、
該受光した被写体像を表示する表示部と、
前記相関計算手段の結果から主被写体を判定する判定手段を有し、
前記制御手段は動画撮影中に前記判定手段により判定された主被写体に合焦する位置に前記フォーカスレンズを駆動させて被写体像を連続的に受光すると共に、該主被写体に合焦した被写体像を連続的に受光する間に、主被写体以外に合焦する位置に前記フォーカスレンズを駆動させて被写体像を受光する事を特徴とする。
【発明の効果】
【０００９】
本発明によれば、リフォーカス処理によって撮影画面内の任意の位置に合焦した画像が得られる撮像措置であって、動画画像から撮影者が撮影時に狙った被写体以外の任意の被写体にピントが合った静止画画像が得られる撮像装置を提供する事が出来る。
【図面の簡単な説明】
【００１０】
【図１】カメラシステムのブロック図
【図２】カメラ１００の背面図
【図３】実施例における撮像装置の光学系の模式図
【図４】撮影時の表示部２５８の表示例を示す図
【図５】実施例におけるフォーカスブラケット撮影時の動作フロー図
【図６】（ａ）は、実施例におけるフォーカスブラケット撮影時のＡＦレンズ１２０の光学方向の位置の説明図、（ｂ）は、実施例におけるフォーカスブラケット撮影時及びフォーカスブラケット撮影した動画を再生する時に、表示部２５８に表示される画像の説明図
【図７】実施例におけるフォーカスブラケット撮影時の動作サブフロー図
【図８】実施例における像生成手段の動作フロー図
【図９】実施例におけるリフォーカス処理時の動作フロー図
【図１０】実施例におけるリフォーカス処理時の動作サブフロー図
【図１１】像の再構成動作を示す模式図
【図１２】リフォーカス処理のために被写体を選択している時の説明図
【図１３】変形例におけるフォーカスブラケット撮影時の動作フロー図
【図１４】変形例における撮影時の表示部２５８の表示例を示す図
【図１５】（ａ）は、変形例におけるフォーカスブラケット撮影時のＡＦレンズ１２０の光学方向の位置の説明図、（ｂ）は、変形例におけるフォーカスブラケット撮影を行うタイミングの説明図
【発明を実施するための形態】
【００１１】
［実施例］
以下、図１から図１１を参照して、本発明の撮像装置について説明する。
【００１２】
図１は、撮像装置であるデジタルカメラおよびレンズの電気的構成を示すブロック図である。カメラ１００およびレンズ１０２からなるカメラシステムは、撮像系、画像処理系、記録再生系、制御系を有する。撮像系は、撮影光学系１０１ 、撮像素子２５２を含み、画像処理系は、画像処理部１５０を含む。また、記録再生系は、メモリ１９７、表示部２５８を含み、制御系は、ボディＣＰＵ１０９、およびレンズＣＰＵ１０３、レンズ駆動手段であるズームレンズ駆動部１１１及びＡＦレンズ駆動部１２１を含む。
【００１３】
図２は同カメラシステムの背面図である。
【００１４】
本実施形態におけるカメラシステムは、カメラ１００に対して着脱可能なレンズ１０２内に撮影光学系１０１が設けられている。撮像系は、物体からの光を、撮影光学系１０１を介して撮像素子２５２の撮像面に結像する光学処理系である。
【００１５】
撮影光学系１０１はズームレンズ１１０を有しており、超音波モータやステッピングモータを駆動源とするズームレンズ駆動部１１１によって光軸方向に駆動可能である。ズームレンズ電圧ドライバ１１３は、ズームレンズ駆動部１１１を駆動制御する電圧を発生する。
【００１６】
ズーム位置検出部１１２は、光軸Ｉに沿ったズームレンズ１１０の位置を検出するズームエンコーダである。ズーム位置検出部１１２は、焦点距離値に応じたパルス信号をズームレンズ制御部１０５に出力する。
【００１７】
ズームレンズ制御部１０５は、ズームレンズ駆動部１１１を制御し、例えば撮影者がカメラ１００もしくはレンズ１０２に不図示のスイッチにより設定した焦点距離になる光軸Ｉ上の位置にズームレンズ１１０が駆動されるように追従制御を行う部分である。またズームレンズ制御部１０５は、ズーム位置検出部１１２が出力するパルス信号を取り込む。ズームレンズ制御部１０５は、撮影者が設定した焦点距離になる光軸Ｉ上の位置（目標位置）、ズームレンズ１１０の現在位置情報などに基づいて駆動信号を演算し、このデジタル駆動信号をズームレンズ電圧ドライバ１１３に出力する。
【００１８】
ズームレンズ電圧ドライバ１１３は、入力された駆動信号（駆動電圧）に応じて、ズームレンズ駆動部１１１に電力を供給するドライバ部である。ズームレンズ電圧ドライバ１１３は、駆動信号に対し、スイッチングを行い、ズームレンズ駆動部１１１に電圧を印加し、ズームレンズ駆動部１１１の駆動を行う。
【００１９】
また撮影光学系１０１は、ＡＦレンズ１２０を有しており、超音波モータやステッピングモータを駆動源とするＡＦレンズ駆動部１２１によって光軸方向に駆動可能である。ＡＦレンズ電圧ドライバ１２３は、ＡＦレンズ駆動部１２１を駆動制御する電圧を発生する。
【００２０】
フォーカス位置検出部１２２は、光軸Ｉに沿ったＡＦレンズ１２０の位置を検出するフォーカスエンコーダである。フォーカス位置検出部１２２は、被写体距離値に応じたパルス信号をＡＦレンズ制御部１０４に出力する。
【００２１】
ＡＦレンズ制御部１０４は、ＡＦレンズ駆動部１２１を制御し、例えば撮影者のカメラ１００のレリーズスイッチ１９１の操作により検出された被写体距離になる光軸Ｉ上の位置にＡＦレンズ１２０が駆動されるように追従制御を行う部分である。またＡＦレンズ制御部１０４は、フォーカス位置検出部１２２が出力するパルス信号を取り込む。ＡＦレンズ制御部１０４は、被写体距離になる光軸Ｉ上の位置（目標位置）、ＡＦレンズ１２０の現在位置情報などに基づいて駆動信号を演算し、このデジタル駆動信号をＡＦレンズ電圧ドライバ１２３に出力する。
【００２２】
ＡＦレンズ電圧ドライバ１２３は、入力された駆動信号（駆動電圧）に応じて、ＡＦレンズ駆動部１２１に電力を供給するドライバ部である。ＡＦレンズ電圧ドライバ１２３は、駆動信号に対し、スイッチングを行い、ＡＦレンズ駆動部１２１に電圧を印加し、ＡＦレンズ駆動部１２１の駆動を行う。
【００２３】
レンズＣＰＵ１０３は、レンズ１０２側の種々の制御を行う中央処理部である。レンズＣＰＵ１０３内には、ズームレンズ制御部１０５と、ＡＦレンズ制御部１０４が設けられている。
【００２４】
レンズＣＰＵ１０３は、レンズ１０２とカメラ１００との間に設けられたレンズ接点１９０を介して、ボディＣＰＵ１０９との間で通信が可能である。
【００２５】
ＥＥＰＲＯＭ１３１は、レンズ１０２に関する種々の固有情報であるレンズデータなどを格納する不揮発性の記憶部である。
【００２６】
ボディＣＰＵ１０９は、カメラシステム全体の種々の制御を行う中央処理部である。ボディＣＰＵ１０９には、レリーズスイッチ１９１の情報が入力され、レリーズスイッチ１９１が半押し、又は、全押しされたことを検知する事が出来る。これにより、撮像素子２５２の駆動、画像処理部１５０の動作、メモリ１９７の圧縮処理などを制御する。さらに表示部２５８によって液晶モニタ等に情報表示を行う情報表示装置の各セグメントの状態を制御する。
【００２７】
また、ボディＣＰＵ１０９は、後述するように、ユーザーが撮影時に主被写体としている被写体や副被写体（ユーザーが主被写体の次に合焦した画像が欲しいと想定される被写体）と考えている被写体を判定する機能を有している。よって、ボディＣＰＵ１０９が本発明の判定手段に相当する。
【００２８】
画像処理部１５０は、内部にＡ／Ｄ変換器、ホワイトバランス回路、ガンマ補正回路、補間演算回路等を有しており、記録用の画像を生成することができる。また、本発明の要部である、像シフト手段、像生成手段、相関計算手段等を含める事も出来る（本実施例ではこれらの要素はボディＣＰＵ１０９内に配置する場合を想定して記載する）。
【００２９】
撮像素子２５２は、具体的には、増幅型固体撮像素子の１つであるＣＭＯＳプロセスコンパチブルのセンサ（以降ＣＭＯＳセンサと略す）である。ＣＭＯＳセンサの特長の１つに、エリアセンサ部のＭＯＳトランジスタと撮像装置駆動回路、ＡＤ変換回路、画像処理回路といった周辺回路を同一工程で形成できるため、マスク枚数、プロセス工程がＣＣＤと比較して大幅に削減できる。また、任意の画素へのランダムアクセスが可能といった特長も有し、ディスプレイ用に間引いた読み出しが容易であって、表示部２５８において高い表示レートでリアルタイム表示が行える。
【００３０】
撮像素子２５２は、上述した特長を利用し、ディスプレイ画像出力動作（撮像素子２５２の受光領域のうち一部を間引いた領域での読み出し）および高精彩画像出力動作（全受光領域での読み出し）を行う。
【００３１】
また撮像素子２５２表面にはマイクロレンズが格子状に配置してあり、いわゆるマイクロレンズアレイ（以下 ＭＬＡ２０）を形成している。ＭＬＡ２０は本実施例において、瞳分割手段を構成する。ＭＬＡ２０の機能や配置の詳細については図３を用いて後述する。後述するように、撮像素子２５２からピント評価量／適当な露光量が得られるので、この信号に基づいて適切に撮影光学系１０１が調整されることで、適切な光量の物体光を撮像素子２５２に露光するとともに、撮像素子２５２近傍で被写体像が結像する。
【００３２】
なお、ボディＣＰＵ１０９は、後述するように、画像処理部１５０を動作させて撮像素子２５２に結像した被写体像から撮影画像のデフォーカス量を求め、その結果と前述の主被写体３１０の判定結果に応じてレンズ接点１９０を介してレンズＣＰＵ１０３に送信する事でＡＦレンズ１２０の駆動を制御する事にもなるので、ボディＣＰＵ１０９は、本発明の制御手段にも相当する。
【００３３】
図３は、本実施例における撮影光学系の要部を説明する図である。本発明を適用するためには、いわゆる光線空間情報等といわれる光線の位置に加えて角度の情報を取得する必要がある。本実施例では、角度情報の取得のために撮影光学系１０１の結像面近傍にＭＬＡ２０を配置するとともに、ＭＬＡ２０を構成する１つのレンズに対して複数の画素を対応させている。
【００３４】
図３（ａ）は撮像素子２５２とＭＬＡ２０の関係模式的に示す図である。図３（ｂ）は撮像素子２５２の画素とＭＬＡ２０の対応を示す模式図である。図３（ｃ）はＭＬＡ２０によってＭＬＡ２０の下に設けられた画素が特定の瞳領域と対応付けられる事を示す図である。
【００３５】
図３（ａ）に示すように、撮像素子２５２上にはＭＬＡ２０が設けられており、ＭＬＡ２０の前側主点は撮影光学系１０１の結像面近傍になるように配置されている。図３（ａ）は撮像装置の横からと、正面からＭＬＡ２０を見た状態を示しており、撮像装置正面から見るとＭＬＡ２０のレンズが撮像素子２５２上の画素を覆うように配置されている。なお、図３（ａ）ではＭＬＡ２０を構成する各マイクロレンズを見やすくするために、大きく記載したが、実際には各マイクロレンズは画素の数倍程度の大きさしかない（実際の大きさについては図３（ｂ）を用いて説明する）。
【００３６】
図３（ｂ）は図３（ａ）の装置正面からの図を一部拡大した図である。図３（ｂ）に示す格子状の枠は、撮像素子２５２の各画素を示している。一方ＭＬＡ２０を構成する各マイクロレンズは太い円２０ａ，２０ｂ，２０ｃ，２０ｄで示した。図３（ｂ）から明らかなように、マイクロレンズ１つに対して複数の画素が割り当てられており、図３（ｂ）の例では、５行x５列＝２５個の画素が１つのマイクロレンズに対して設けられている（すなわち各マイクロレンズの大きさは画素の大きさの５倍x５倍の大きさである）。
【００３７】
図３（ｃ）は撮像素子２５２を、マイクロレンズ光軸を含み、撮像素子２５２の長手方向が図の横方向になるように切断した図である。図３（ｃ）の２１、２２、２３、２４、２５は撮像素子２５２の画素（１つの光電変換部）を示している。
【００３８】
一方、図３（ｃ）の上方に示した図は撮影光学系１０１の射出瞳面を示している。実際には、図３（ｃ）の下方に示した撮像素子２５２の図と方向を合わせると、射出瞳面は図３（ｃ）の紙面垂直方向になるが、説明のために投影方向を変化させている。また、図３（ｃ）においては、説明を簡単にするために、１次元の投影／信号処理について説明する。実際の装置においては、これを容易に２次元に拡張する事が出来る。
【００３９】
図３（ｃ）の画素２１、２２、２３、２４、２５は図３（ｂ）の２１ａ、２２ａ、２３ａ、２４ａ、２５ａとそれぞれ対応する位置関係にある。図３（ｃ）に示すように、マイクロレンズによって各画素は撮影光学系１０１の射出瞳面上の特定の領域と共役になるように設計されている。図３（ｃ）の例では画素２１と領域３１が、画素２２と領域３２が、画素２３と領域３３が、画素２４と領域３４が、画素２５と領域３５がそれぞれ対応している。すなわち画素２１には撮影光学系１０１の射出瞳面上の領域３１を通過した光束のみが入射する。他の画素も同様である。結果として、瞳面上での通過領域と撮像素子２５２上の位置関係から角度の情報を取得する事が可能となる。
【００４０】
ここで後ほどの説明を簡単にするために記号を導入する。図３（ｃ）に示すように、撮像素子２５２の画素ピッチをΔx、角度分解能をΔθとする。さらに角度の分割数をNθ（図３の例ではNθ=5）とする。画素ピッチは撮像素子２５２の形状によって決定され、Δθは光線の角度を取得する範囲と角度分割数Nθで決定される。すなわち、物理的な構造（撮像素子２５２およびＭＬＡ２０の構造）のみによってこれらのパラメータは決定される。
【００４１】
レリーズスイッチ１９１は、前述の通り、図示しないレリーズボタンの半押し動作（ＳＷ１のＯＮ）を検出して、一連の撮影準備動作（測光動作や焦点調節動作等）を開始させ、レリーズボタンの全押し動作（ＳＷ２のＯＮ）を検出して、撮影動作（撮像素子２５２から読み出された画像データの記録媒体への記録）を開始させるスイッチである。
【００４２】
１９２は任意方向の操作が可能な選択スイッチで、不図示の公知の撮影メニューの項目を選択したり、後述するように、撮影者が主被写体を選択したりする時に用いるスイッチである。
【００４３】
１９３は決定スイッチで、不図示の公知の撮影メニューの決定をしたり、後述するように、撮影者が主被写体を決定したりする時に用いるスイッチである。
【００４４】
１９５はカメラ１００を起動させるためのメインスイッチである。また、図２に示したように、メインスイッチ１９５は３ポジション（１９５−１，１９５−２，１９５−３）が選択可能なスイッチである。
【００４５】
ポジション１９５−１にメインスイッチ１９５をセットした時は「ＯＦＦ」で、後述のように、カメラ１００はスリープ状態となる。またポジション１９５−２にメインスイッチ１９５をセットした時は「ＯＮ」（静止画撮影）で、後述のように、カメラ１００はスリープ状態から駆動状態となり、各種スイッチの操作等を受け付けて静止画撮影のための動作を行う状態となる。さらにポジション１９５−３にメインスイッチ１９５をセットした時は「動画撮影」となり、後述のように、カメラ１００は公知の動画撮影を行える状態となる。
【００４６】
なお、本実施例ではメインスイッチ１９５にカメラ１００が動画撮影状態となる機能を設けているが、これに限定せず、例えば、動画撮影モードに入る専用のスイッチを設けたり、あるいは、後述のモードスイッチ１９６の設定でカメラ１００が動画撮影モードに入ったりするようにしても良い。
【００４７】
モードスイッチ１９６はカメラ１００の撮影モードを設定するためのスイッチで、後述する「フォーカスブラケット撮影モード」を設定する事が出来る。
【００４８】
１９７はメモリで、実際の記憶部に加えて記録に必要な処理回路を備えている。メモリ手段は、記録部へ出力を行うとともに、表示部２５８に出力する像を生成、保存する。
【００４９】
また、メモリ１９７ は、予め定められた方法を用いて画像、動画、音声などの圧縮を行う。
【００５０】
１９８は録画スイッチで、例えば、録画スイッチ１９８を図２中、紙面垂直方向に一度押しこむと、動画撮影がスタートし、もう一度、録画スイッチ１９８を図２中、紙面垂直方向にもう一度押しこむ事により、録画撮影を停止する事が出来る。
【００５１】
表示部２５８はカメラ１００の背面に取り付けられており、使用者は表示部２５８での表示を直接観察出来るようになっている。
【００５２】
表示部２５８を、有機ＥＬ空間変調素子や液晶空間変調素子、微粒子の電気泳動を利用した空間変調素子などで構成すれば、消費電力を小さくでき、かつ表示部２５８の薄型化を図る事が出来る。これにより、カメラ１００の省電力化および小型化を図る事が出来る。
【００５３】
図４は、いわゆるライブビュー撮影時（動画撮影）に表示部２５８に表示される被写体像の様子を示した図である。
【００５４】
図４において、表示部２５８には、被写体像２５８ａと撮影条件（シャッタ速度、絞り値、ＩＳＯ感度等）や露出レベル表示、電池残量表示等の撮影情報２５８ｂが表示されており、また被写体像２５８ａ表示部内には、動画撮影に関する情報（動画記録サイズ、フレームレート、動画撮影可能時間等）の表示部２５８ｃが表示されている。
【００５５】
さらに被写体像２５８ａ表示部内には、複数の測距点（測距領域）３０１が設けられており、撮像素子２５２からのピント検出結果に基づいて選択された測距点３０２を別の表示形態（色違いでの表示等）にする事により、撮影者に合焦している主被写体部を知らせる事が出来る。
【００５６】
なお、カメラ１００の選択スイッチ１９２と決定スイッチ１９３を用いて測距部２５３の検出結果によらずに複数の測距点３０１の中から合焦させたい任意の位置のものをユーザーが選択可能である。その際は、ユーザーが選択した測距点３０２に基づいて撮像素子２５２からのピント検出結果から主被写体までの距離を演算する事でピンボケ写真になるのを防止する。
【００５７】
図５から図８は本発明のカメラシステムが動画撮影時にフォーカスブラケット撮影する時の動作を説明するためのフローチャートである。これらを用いて、以下、フォーカスブラケット撮影モード時のカメラ１００及びレンズ１０２の動作について説明する。
【００５８】
ステップ（以下、Ｓとする）１０１０では、メインスイッチ１９５がポジション１９５−２にセットされてＯＮになっているかどうかの判定がボディＣＰＵ１０９によって行われる。メインスイッチ１９５がポジション１９５−１にセットされたまま（ＯＦＦのまま）であれば、カメラ１００はスリープ状態のままであり、メインスイッチ１９５がポジション１９５−２にセットされてＯＮになればＳ１０２０に進む。
【００５９】
Ｓ１０２０では、メインスイッチ１９５がポジション１９５−３にセットされたかどうかの判定がボディＣＰＵ１０９によって行われる。メインスイッチ１９５がポジション１９５−２のままであれば（Ｎｏであれば）、撮影者は静止画撮影をすると判断して、Ｓ１３１０に進み、静止画撮影に関する動作を行う。Ｓ１３１０の動作は公知の動作であり、また本発明の内容とは異なるので詳細な説明を省略する。メインスイッチ１９５がポジション１９５−３にセットされたならば（Ｙｅｓならば）、Ｓ１０３０に進む。
【００６０】
Ｓ１０３０では、カメラ１００がモードスイッチ１９６によってフォーカスブラケット撮影モードに設定されているかどうかの判定がボディＣＰＵ１０９によって行われる。ＹｅｓであればＳ１０４０に進み、ＮｏであればＳ１３３０に進み、通常の動画撮影動作を行う。Ｓ１３３０の動作は公知の動作であり、また本発明の内容とは異なるので詳細な説明を省略する。
【００６１】
Ｓ１０４０では、以下に説明する動作で必要となるプリ撮影を行う。ここでは、撮像素子２５２を起動し、撮影光学系１０１を介した被写体像を露光する事をいう。
【００６２】
Ｓ１０５０では、撮像素子２５２を適当な時間露光して、読み出す（Ａ／Ｄ変換する）事によりデータを取得する。
【００６３】
この時の露光時間と露光量から撮影において適当な露出量を計算する事も出来るが、本発明の要部ではないので説明は割愛する。
【００６４】
Ｓ１０６０では相関計算手段を動作させて結果を得る。相関計算手段の動作の詳細は図７を用いて後述するが、このステップで、いわゆる位相差ＡＦによるピント位置を求める事が出来る。
【００６５】
Ｓ１０７０では、Ｓ１０６０での計算結果から各測距点３０１でのデフォーカス量を算出する。
【００６６】
Ｓ１０８０では、Ｓ１０７０で求めた各測距点３０１でのデフォーカス量からユーザーが主被写体としているボディＣＰＵ１０９が被写体を判定する。具体的には、例えば各測距点３０１でのデフォーカス量の分布状況やその絶対値の差から、ある特定の値及びその近傍のデフォーカス量となっている測距点３０１の数が多いエリアを特定し、そのエリア内の被写体を主被写体３１０と判定すると共に、そのエリアで一番デフォーカス量が小さいものをピント位置の測距点３０２として表示する（図４参照）。
【００６７】
あるいは、前述のように、カメラ１００の選択スイッチ１９２と決定スイッチ１９３を用いて、ユーザーが複数の測距点３０１の中から合焦させたい任意の位置の測距点３０２を指定した場合に、その測距点３０２におけるデフォーカス量と等しいか、あるいはその近傍のデフォーカス量となっている測距点３０１が分布しているエリア内の被写体をボディＣＰＵ１０９は主被写体３１０と判定しても良い。
【００６８】
Ｓ１０９０では、Ｓ１０８０と同様に、ボディＣＰＵ１０９は、Ｓ１０７０で求めた各測距点３０１でのデフォーカス量からユーザーが副被写体としている被写体を判定する。ここでいう副被写体とは、後述のフォーカスブラケット撮影もしくはリフォーカス処理により、主被写体３１０の次にピントの合った画像を取得したい被写体の事である。
【００６９】
Ｓ１０９０での具体的な処理は、Ｓ１０８０と同様に、各測距点３０１でのデフォーカス量の分布状況やその絶対値の差から、ある特定の値及びその近傍のデフォーカス量となっている測距点３０１の数が、主被写体３１０のエリアの次に多いエリアを特定し、そのエリア内の被写体を副被写体３２０と判定する。なおこの時、そのエリアで一番デフォーカス量が小さいものを測距点３０３として主被写体３１０の測距点３０２や他の測距点３０１とは異なる表示形態（色違いでの表示等）で表示しても良い（図４参照）。
【００７０】
また、前述のように、カメラ１００の選択スイッチ１９２と決定スイッチ１９３を用いて、ユーザーが複数の測距点３０１の中から副被写体３２０として主被写体３１０の次に合焦した画像を取得したい被写体上にある測距点３０３を指定した場合に、その測距点３０３におけるデフォーカス量と等しいか、あるいはその近傍のデフォーカス量となっている測距点３０１が分布しているエリア内の被写体をボディＣＰＵ１０９は副被写体３２０と判定しても良い。
【００７１】
なお、Ｓ１０８０及びＳ１０９０において、ユーザーがカメラ１００の選択スイッチ１９２と決定スイッチ１９３を用いて主被写体３１０と副被写体３２０を指定する場合は、表示部２５８内に例えば「主被写体を選択／決定して下さい」等の表示が行ってユーザーの補助をすれば、ユーザーにとっては利便性が向上する。
【００７２】
また、撮影範囲内（図４で被写体像２５８ａとして表示されているエリア内の事）で測距領域外（測距点３０１が配置されていない所）にいる被写体に対してもＳ１０６０の処理によりデフォーカス量が求まっているので、Ｓ１０９０と同様に副被写体３３０として判定しても良い。
【００７３】
Ｓ１１００では、後述のフォーカスブラケット撮影（画像取得）をする際に、ＡＦレンズ１２０のどの位置において撮影を行うのかの演算をボディＣＰＵ１０９が行う。具体的には、Ｓ１０８０で判定した主被写体３１０及びＳ１０９０で判定した副被写体３２０を少なくとも含み、Ｓ１０６０の処理により求まっているデフォーカス量によって被写体像２５８ａの内の最至近位置から最無限位置までの被写体がフォーカスブラケット撮影もしくはリフォーカス処理により合焦状態となるようなＡＦレンズ１２０の複数の位置をボディＣＰＵ１０９は演算する。この演算結果の例を図６（ａ）に示す。
【００７４】
図６（ａ）において、左端が被写体像２５８ａ内の最至近の合焦状態位置を示し、右端が被写体像２５８ａ内の最無限の合焦状態位置を示し、その間に主被写体３１０と副被写体３２０が居る。このような場合、Ｓ１１００では、主被写体３１０が合焦状態となる（Ｉ）の位置と副被写体３２０が合焦状態となる（ＩＩＩ）の位置を演算で求まると共に、（ＩＩ）及び（ＩＩＩ）の位置での撮影画像からリフォーカスが可能な範囲内（図６（ａ）中、Ｄで示した範囲）から外れた奥行き方向に居る被写体（例えば、副被写体３３０で、図６（ａ）中、ＮやＦで示した範囲）にもフォーカスブラケット撮影もしくはリフォーカス処理により合焦状態となるようなＡＦレンズ１２０の位置（（Ｉ）及び（ＩＶ）がＳ１１００の演算により求まる。
【００７５】
Ｓ１１１０では、Ｓ１１００の演算結果をボディＣＰＵ１０９からレンズ接点１９０を介してレンズＣＰＵ１０３が受け取り、その後、ＡＦレンズ１２０をＡＦレンズ駆動部１２１により駆動してＳ１１００により求まった主被写体３１０が合焦状態となる位置にＡＦレンズ１２０を移動する。
【００７６】
Ｓ１１２０では、画像処理部１５０が有する像生成手段を動作させて結果を得る。像生成手段の動作の詳細は図９を用いて後述するが、これにより、撮像素子２５２に結像した主被写体３１０の像がメモリ１９７に生成される。
【００７７】
Ｓ１１３０では、Ｓ１１２０にて生成された主被写体３１０に合焦した画像を撮影前のプレビュー画像として表示部２５８に表示する。
【００７８】
Ｓ１１４０では、録画スイッチ１９８が押し込まれたかどうかの判断をボディＣＰＵ１０９が行う。ＮｏならばＳ１０５０に戻り、一連の動作を繰り返す。ＹｅｓならばＳ１１５０に進む。
【００７９】
なお、Ｓ１１４０で録画スイッチ１９８が動画撮影を開始するために押し込まれるまでは、Ｓ１０５０からＳ１１３０までの動作が通常の動画撮影時の撮影周期である３０ｆｐｓで行われるので、Ｓ１１３０での主被写体３１０に合焦した画像はフォーカスブラケット動作を行わずに動画撮影をする時と同様のプレビュー表示が表示部２５８で行われるので、撮影者に違和感を与える事がない。
【００８０】
Ｓ１１５０では、Ｓ１１００により求まったＡＦレンズ１２０の位置（主被写体３１０及び副被写体３２０が合焦する位置を含む）にＡＦレンズ１２０をＡＦレンズ駆動部１２１により駆動して移動させるとともに、その位置にて公知の静止画撮影動作を行い、撮像素子２５２に結像した被写体像を、公知の画像処理技術を経て画像処理部１５０で処理した記録画像としてメモリ１９７もしくは不図示の記録媒体に記録する。つまり、図６（ａ）に示した例であれば、主被写体３１０に合焦するＡＦレンズ１２０の位置「（ＩＩ）」で撮影後、副被写体３２０に合焦するＡＦレンズ１２０の位置「（ＩＩＩ）」から、（ＩＶ）及び（Ｉ）の位置にそれぞれＡＦレンズ１２０を移動させた後、（ＩＶ）及び（Ｉ）の位置にて公知の静止画撮影動作を行い、その後、主被写体３１０が合焦する位置である、位置「（ＩＩ）」に戻る事となる。
【００８１】
なお、本実施例における前記静止画撮影動作の周期は、例えば通常の動画撮影時の撮影周期である３０ｆｐｓよりも高速な１２０ｆｐｓ（３０ｆｐｓ×「ＡＦレンズ１２０が停止する位置の個数：４」）で行う。
【００８２】
また、前記静止画撮影動作の周期は、Ｓ１１００により求まったＡＦレンズ１２０の位置の個数によって変わる事が望ましい。例えば、主被写体３１０及び副被写体３２０に合焦するＡＦレンズ１２０の位置を含めて、被写体像２５８ａの内の最至近位置から最無限位置までの被写体がフォーカスブラケット撮影もしくはリフォーカス処理により合焦状態となるために、ＡＦレンズ１２０が６か所の位置で静止画撮影をする必要がある場合は、静止画撮影動作の周期は、「３０ｆｐｓ×６＝１８０ｆｐｓ」となる。
【００８３】
つまり、フォーカスブラケット撮影していない時の動画撮影時の撮影周期をＸ（ｆｐｓ）、被写体像２５８ａの内の最至近位置から最無限位置までの被写体がフォーカスブラケット撮影もしくはリフォーカス処理により合焦状態となるために、ＡＦレンズ１２０が駆動される位置の数をＹ、とすると、フォーカスブラケット撮影時の静止画撮影動作の周期Ｆ（ｆｐｓ）は、Ｆ＝Ｘ×Ｙとなる。なお、この静止画撮影動作の周期の演算はボディＣＰＵ１０９によって行われる。
【００８４】
Ｓ１１６０では、Ｓ１１５０において撮影した静止画像の中から、主被写体３１０に合焦するＡＦレンズ１２０の位置で撮影した静止画をボディＣＰＵ１０９が抽出する。
【００８５】
Ｓ１１７０では、Ｓ１１６０で抽出した主被写体３１０に合焦した記録画像を、Ｓ１１２０と同様に画像処理部１５０が有する像生成手段を動作させて、主被写体３１０に合焦した被写体像をメモリ１９７に生成する。
【００８６】
Ｓ１１８０では、Ｓ１１７０で生成した主被写体３１０に合焦した記録画像を表示部２５８に表示する。
【００８７】
Ｓ１１９０では、Ｓ１１６０で抽出した主被写体３１０に合焦した画像に対して、Ｓ１０６０と同様に、相関計算手段を動作させて結果を得る。これは、Ｓ１０８０にて判定した主被写体３１０等のピント位置を確認するために行う。
【００８８】
Ｓ１２００では、Ｓ１１９０での相関演算から、主被写体３１０が深度内にあるかどうか、つまり、ピンボケになっていないかどうかの確認を行う。これは、動画撮影中に主被写体３１０が移動して合焦位置が変化していないかどうかを確認するためである。
【００８９】
Ｓ１２００で、主被写体３１０が深度内である、つまり現在のＡＦレンズ１２０の位置（位置「（ＩＩ）」）で合焦している場合は、Ｓ１２１０に進む。一方、主被写体３１０が深度内ではない、つまり、現在のＡＦレンズ１２０の位置（位置「（ＩＩ）」）では合焦していないと判定された場合には、Ｓ１３５０に進む（動作は後述する）。
【００９０】
Ｓ１２１０では、録画スイッチ１９８が撮影者によって再び押し込まれる事により、録画撮影がＯＦＦになったかどうかの判断をボディＣＰＵ１０９が行う。Ｎｏならば、動画撮影を継続する事になるので、Ｓ１１５０に戻り、一連の動作を繰り返す。Ｙｅｓならば、動画撮影（フォーカスブラケット撮影）を停止してＳ１２２０に進む。
【００９１】
Ｓ１２２０では、メインスイッチ１９５がポジション１９５−１にセットされてＯＦＦになったかどうか、ボディＣＰＵ１０９が判断を行う。Ｎｏの場合はＳ１０３０に戻って一連の撮影動作を行う。
【００９２】
Ｓ１２２０でＹｅｓの場合は、撮影動作を終了する。
【００９３】
以下、Ｓ１２００で主被写体３１０が深度内ではない、つまり、現在のＡＦレンズ１２０の位置（位置「（ＩＩ）」）では合焦していないと判定された場合に進んだＳ１３５０以降の動作について説明する。
【００９４】
Ｓ１３５０では、Ｓ１１００と同様に、Ｓ１１９０での相関計算手段を動作させた結果から、次のフォーカスブラケット撮影（画像取得）をする際に、ＡＦレンズ１２０のどの位置において撮影を行うのかの演算をボディＣＰＵ１０９が行う。
【００９５】
Ｓ１３６０では、Ｓ１１１０同様に、Ｓ１３５０での演算結果をボディＣＰＵ１０９からレンズ接点１９０を介してレンズＣＰＵ１０３が受け取り、その後、ＡＦレンズ１２０をＡＦレンズ駆動部１２１により駆動してＳ１３５０により求まった主被写体３１０が合焦状態となる位置にＡＦレンズ１２０を移動する。
【００９６】
その後、Ｓ１１５０に戻って、Ｓ１３５０で演算されたＡＦレンズ１２０の位置にて前述同様の一連のフォーカスブラケット撮影を行う。
【００９７】
なお、Ｓ１１８０での主被写体３１０に合焦した画像の表示及び更新が例えば３０ｆｐｓで表示部２５８に行われるので、表示部２５８を見ながら撮影をしている撮影者は所望の動画撮影が行われている事が視認出来る事になり、違和感を与える事がなく、また利便性が良い（図６（ｂ）参照の事）。
【００９８】
以下、図７を用いて、Ｓ１０６０で行われる相関演算のサブフローについて説明する。Ｓ１４１０は画像処理部１５０が有する相関計算手段の動作開始を示している。
【００９９】
Ｓ１４２０からＳ１５２０はループを形成している。
【０１００】
Ｓ１４２０では、評価位置の数（いわゆる測距視野数）に対応して繰り返し演算を行う。測距視野数は多くなると画面全体を覆うことが可能となるが評価に時間が掛るという問題がある。ユーザーの設定などにより適切に設定する。
【０１０１】
Ｓ１４３０では、評価を行う評価点の数と、評価枠の大きさを設定する。ここでいう評価点の数とは、Ｓ１４４０で行う相関値を求める点数であり、撮影条件やレンズ１０２の種類などに応じて適切に設定される。また、評価点の数は像をシフトさせながら相関を求める場合のシフト量に対応しており、これは撮像装置においては焦点合わせの探索を行うピントの深さに対応している。一方、評価枠の大きさは、大きくすると局所的にはあまりパターンを有していないテクスチャであってもピントを合わせる事が可能となるが、あまりにも大きくなると距離の異なる被写体の像を同時に評価する、いわゆる遠近競合が発生してしまう。これらの問題を解決できるように評価枠の大きさを適切に設定する。
【０１０２】
Ｓ１４４０からＳ１４９０はループを形成している。
【０１０３】
Ｓ１４４０では、Ｓ１４３０で決定された評価数に対応した評価値を得るように繰り返し演算を行う。
【０１０４】
Ｓ１４５０からＳ１４７０はループを形成している。
【０１０５】
Ｓ１４５０では、Ｓ１４３０で決定された評価枠の大きさに応じた画素数の範囲で相関計算を行う。相関計算はＳ１４６０にあるように、例えばΣ｜Ai - Bi｜で計算すれば良い。ここで、Aiは特定の瞳領域を通過したｉ番目の画素の輝度を示している。BiはAiとは異なる瞳領域を通過したｉ番目の画素の輝度を示している。例えば図３において、画素２２に対応する画素のみ並べたものをAi、画素２４に対応する画素のみ並べたものをBiとすれば良い。どの瞳領域の画素を選択するかは、基線長の長さ、瞳面のケラレ状況、等によって決定すれば良い。
【０１０６】
上記のように設定する事で、異なる瞳領域を通過した像の相関を計算出来、いわゆる位相差ＡＦに基づく評価量を得る事が出来る。
【０１０７】
Ｓ１４８０では、得られた相関値を評価量として格納する。
【０１０８】
上記に示したΣ｜Ai - Bi｜という評価式においては、相関値が小さくなった個所が最もピント状態が良い個所に対応している。ここでは差分絶対値を加算する方法で相関計算を行ったが、最大値を加算する方法、最小値を加算する方法、差分２乗値を加算する方法など他の計算方法によって相関計算を行っても良い
Ｓ１５００では、相関評価値が最良となる（前述したようにＳ１４６０の式においては相関値が小さくなった個所だが、その他の指標も併用して最良を決定しても良い）点を相関量評価に基づく最良ピント位置として格納する。
【０１０９】
この演算を各視野で行い、最終的に相関量評価に基づく最良ピント位置を得てＳ１５２０に進み、呼び出し元（Ｓ１０７０もしくはＳ１２００）に戻る。
【０１１０】
次に、図８を用いて画像処理部１５０が有する像生成手段の動作の詳細を説明する。
【０１１１】
Ｓ１６１０は像生成手段の動作開始を示している。
【０１１２】
Ｓ１６２０では、Ｓ１６５０での加算のための領域のデータを初期化する（０で埋める）。この時のデータ領域の大きさはＭＬＡ２０の数量あれば良く、データの諧調は元のデータの諧調と瞳分割数の積を格納できるだけあれば都合が良い。例えば元のデータが8bitで25分割の場合、13bit （> 8bit + log225）あればデータの桁あふれを考慮する必要が無い。
【０１１３】
Ｓ１６３０からＳ１６７０はループを形成している。
【０１１４】
Ｓ１６３０では、ＭＬＡ２０を構成するマイクロレンズの数に応じてループ計算が実行される。例えば、図３に示した例では、元の撮像素子の画素数÷25（瞳分割数）がマイクロレンズの数となる。
【０１１５】
Ｓ１６４０からＳ１６６０はループを形成している。
【０１１６】
Ｓ１６４０では、瞳分割数に応じた数だけループ計算が実行される。例えば、図３に示した例では、５×５＝２５個に分割されていたので、２５個のそれぞれの瞳位置からの光束がＳ１６５０で加算される。シフト量が画素の整数倍でない場合は、Ｓ１６５０において、適切に内分されながら加算される（重なっている面積に応じて適切に加算すれば良い）。
【０１１７】
像生成手段は、図１１を用いて図解も行う（後述）。
【０１１８】
Ｓ１６８０において、呼び出し元のＳ１１３０（もしくはＳ１１８０）に戻る。
【０１１９】
図９は本発明のカメラシステムがフォーカスブラケット撮影モードにて動画撮影したシーンから所望の静止画を切り出し、その画像に対してリフォーカス処理する時の動作を説明するためのフローチャートであるので、これらを用いて、以下、撮影動画画像再生時及びリフォーカス処理時のカメラ１００の動作について説明する。なおここでは、撮影動画画像（記録画像）の再生時に、カメラ１００のモードスイッチ１９６によって、通常の動画画像再生表示を行うモードと、動画撮影したシーンから所望の静止画像を切出して、その画像に対してフォーカスブラケット撮影モードにより撮影した画像から、ユーザーが動画撮影時とは異なる被写体に合焦し直すリフォーカス処理が行えるリフォーカス処理モードが選択出来るものとして説明するが、それに限定するものではない（例えばリフォーカス処理専用の操作部材をカメラ１００に設け、その操作部材を操作する事によりリフォーカス処理が開始するようなシステムでも良い）。
【０１２０】
Ｓ１７１０では、カメラ１００がモードスイッチ１９６によってリフォーカス処理モードに設定されているかどうかの判定がボディＣＰＵ１０９によって行われる。ＹｅｓであればＳ１７４０に進み、ＮｏであればＳ１７２０に進み、通常の動画再生表示動作を行う（動作は後述する）。
【０１２１】
Ｓ１７４０では、ユーザーがリフォーカス処理をするための撮影シーン、つまり静止画を切出すシーンの選択を完了したかどうかの判定がボディＣＰＵ１０９によって行われる。具体的には、前述のフォーカスブラケット撮影にて主被写体３１０に合焦した時に撮影した画像を表示部２５８に連続表示すると共に、表示部２５８に例えば「このシーンにてリフォーカス処理をしますか？」等、ユーザーの意思確認を行う旨の表示を同時に行う。なお、その際、ユーザーがカメラ１００の決定スイッチ１９３を操作する事により、主被写体３１０に合焦した画像を決定したと判定する。ユーザーがリフォーカス処理を行うシーンを選択し終えたならば、Ｓ１７５０に進む。
【０１２２】
Ｓ１７５０では、Ｓ１７４０にて指定されたシーンから静止画を切出す。具体的には、Ｓ１７４０にて指定されたシーンの主被写体３１０に合焦した画像を表示部２５８に表示する。
【０１２３】
Ｓ１７６０では、ユーザーは選択した主被写体３１０に合焦した画像からリフォーカス処理したい被写体の位置を指定する。具体的には、表示部２５８に表示された主被写体３１０に合焦した画像上に被写体選択マーク３０４が表示され、それをカメラ１００の選択スイッチ１９２で操作する事で合焦させたい被写体の位置まで被写体選択マーク３０４を移動させると共に、決定スイッチ１９３にて被写体選択を完了する。なおこの時、一連の操作をガイドするような表示が表示部２５８に表示されていると、ユーザーの利便性が向上するのは言うまでもない（図１２参照）。
【０１２４】
Ｓ１７７０では、Ｓ１７６０でユーザーがリフォーカス処理したい被写体が副被写体３２０であるかどうかの判定がボディＣＰＵ１０９によって行われる。ＹｅｓであればＳ１７８０に進み、Ｓ１１５０にて記録した副被写体３２０に合焦した状態で撮影した画像を、画像処理部１５０が有する像生成手段を動作させてメモリ１９７に被写体像を生成させた後、表示部２５８に表示して終了する。これは、以下に説明するリフォーカス処理が不要なためである。Ｎｏであれば（ユーザーが選択したのが主被写体３１０でも副被写体３２０でもなければ）Ｓ１７９０に進む。
【０１２５】
Ｓ１７９０では、Ｓ１１５０のフォーカスブラケット撮影にて撮影／記録した画像の中からＳ１７６０でユーザーが選択した被写体のデフォーカス量が一番小さい画像をボディＣＰＵ１０９が選択する。デフォーカス量が一番小さい画像を選ぶ理由は、以下に説明するリフォーカス処理の時間を短くするためである。
【０１２６】
Ｓ１８１０では、Ｓ１７９０でボディＣＰＵ１０９が選択したリフォーカス元画像を、画像処理部１５０が有する像生成手段を動作させてメモリ１９７に被写体像を生成させた後、表示部２５８に表示する。この時、Ｓ１７６０で表示している被写体選択マークは、そのままで該画像と共に表示されている事が望ましい。
【０１２７】
Ｓ１８１０及びＳ１８２０が、本発明で言うところの「リフォーカス処理」である。
【０１２８】
Ｓ１８１０では、画像処理部１５０が有する像シフト手段を動作させて結果を得る。像シフト手段の動作の詳細は図１０を用いて後述する。
【０１２９】
Ｓ１８２０では、画像処理部１５０が有する像生成手段を動作させて結果を得る。像生成手段の動作の詳細は図８で説明した内容（Ｓ１１２０及びＳ１１９０）と同じなので、その説明は省略する。
【０１３０】
Ｓ１８３０では、Ｓ１７６０にてユーザーが選択した被写体にＳ１８１０及びＳ１８２０にて行ったリフォーカス処理によって合焦した画像を表示部２５８に表示する。
【０１３１】
Ｓ１８４０では、Ｓ１８１０及びＳ１８２０にて行ったリフォーカス処理の結果の可否をユーザーに確認する。具体的には、表示部２５８に、Ｓ１８３０にて表示している、ユーザーが選択した被写体に合焦した画像と共に、例えば「このリフォーカス処理でＯＫですか？」等の表示を行って、ユーザーが望んでいたリフォーカス画像が得られたどうかの確認をボディＣＰＵ１０９が行う。この時、さらに「ＯＫ」と「キャンセル」の表示等があり、「ＯＫ」という表示をカメラ１００の選択スイッチ１９２で選択して決定スイッチ１９３で決定したら、ユーザーが望んでいたリフォーカス画像が得られた（つまり、Ｙｅｓ）とボディＣＰＵ１０９は判断して、Ｓ１８５０に進む。一方、「キャンセル」をいう表示をカメラ１００の選択スイッチ１９２で選択して決定スイッチ１９３で決定したら、ユーザーが望んでいたリフォーカス画像が得られなかった（つまり、Ｎｏ）とボディＣＰＵ１０９は判断して、Ｓ１７６０に戻って一連のリフォーカス処理を再度行う。
【０１３２】
Ｓ１８５０では、リフォーカス処理をした画像をメモリ１９７や不図示の記録媒体に保存するかどうかの確認をボディＣＰＵ１０９は行う。具体的には、表示部２５８にＳ１８４０の時と同様に、ユーザーが選択した被写体に合焦した画像と共に、例えば「保存しますか？」等の表示を行って、ユーザーが望んでいたリフォーカス画像を保存するかどうかの確認をボディＣＰＵ１０９は行う。この時、さらに「する」と「しない」の表示等があり、「する」という表示をカメラ１００の選択スイッチ１９２で選択した後、決定スイッチ１９３を操作したら、ユーザーがリフォーカス画像を保存する（つまり、Ｙｅｓ）とボディＣＰＵ１０９は判断して、Ｓ１８６０に進む。一方、「しない」をいう表示をカメラ１００の選択スイッチ１９２で選択した後、決定スイッチ１９３を操作したらユーザーはリフォーカス画像を保存しない（つまり、Ｎｏ）とボディＣＰＵ１０９は判断して、一連のリフォーカス処理を終了する。
【０１３３】
Ｓ１８６０では、リフォーカス処理した画像をメモリ１９７や不図示の記録媒体に保存して、一連のリフォーカス処理を終了する。
【０１３４】
以下、Ｓ１７１０でリフォーカス処理をしない、つまり、通常の動画再生を行う場合に進んだＳ１７２０以降の動作について説明する。
【０１３５】
Ｓ１７２０では、Ｓ１１５０のフォーカスブラケット撮影時に撮影した主被写体３１０に合焦した時の画像をメモリ１９７もしくは不図示の記録媒体から読み込む。
【０１３６】
Ｓ１７３０では、Ｓ１７２０で読み込んだ主被写体３１０に合焦した時の画像を表示部２５８に連続再生する。この時の表示周期は、例えば通常の動画再生と同じ３０ｆｐｓとする。これにより、表示部２５８を見ながら再生画像を確認している撮影者は、主被写体３１０に合焦した動画撮影が行われている事が確認出来る事になり、フォーカスブラケット動作を行わずに動画撮影をした時と同様の動画再生が行われるので、違和感を与える事がない（図６（ｂ）参照の事）。
【０１３７】
ここで、図１０を用いて画像処理部１５０が有する像シフト手段について説明する。
【０１３８】
Ｓ１９１０は像シフト手段の動作開始を示している。
【０１３９】
Ｓ１９２０からＳ１９６０はループを形成している。
【０１４０】
Ｓ１９２０では、瞳分割数に応じた数だけループ計算が実行される。例えば、図３に示した例では、５ｘ５＝２５個に分割されていたので、２５個のそれぞれの瞳位置に応じた計算がなされる。図１１を用いて後述するように、像の再構成を考えると同じ再構成面であっても入射角度が異なると像をシフトさせる量が異なる。これを適切に反映させるためのループである。
【０１４１】
Ｓ１９３０では、Ｓ１９４０からのデータを元に、評価位置に対応する各瞳領域での像シフト量を計算する。Ｓ１９４０には、撮像素子２５２上の各画素とＭＬＡ２０との対応関係が保存されており、各画素がどの瞳領域の光線を受光しているかが分かる情報が格納されている。
【０１４２】
Ｓ１９５０では、Ｓ１９３０の情報を元に同じ入射角の光線を得ている（同じ瞳領域からの光線を得ている）画素をシフトさせる。同じ入射角の光線を得ている画素は例えば図３（ｂ）の２５ａと２５ｂが該当する。このような画素がＭＬＡ２０を構成するマイクロレンズの数だけ存在している。
【０１４３】
像シフト手段は、図１１を用いて図解も行う。（後述）。
【０１４４】
Ｓ１９７０において、呼び出し元のＳ１８２０に戻る。
【０１４５】
次に図１１を用いて像シフトおよび像生成を模式的に示す。
【０１４６】
図１１は上から（ａ）、（ｂ）、（ｃ）と並んでおり、図１１（ｂ）は実際に撮像素子２５２が存在して画像を取得した面を、図１１（ａ）は図１１（ｂ）よりも物体側の再構成面（再構成面１とする）を、図１１（ｃ）は図１１（ｂ）よりも物体側から遠い側の再構成面（再構成面２とする）をそれぞれ示している。
【０１４７】
図１１（ｂ）において、X1,i、X2,i、X3,i、X4,i、X5,i、はそれぞれ瞳領域１、２、３、４、５を通過してマイクロレンズXiに入射して得られたデータを示している。すなわち、添え字のうち前半は通過する瞳領域を、後半は画素の番号を示している。
【０１４８】
また、図１１においても説明を明瞭にするために、データを１次元的な広がりしか持たないものとして記述している。物理的な位置との関係においては、X1,iは図３（ｃ）の２１領域から得られるデータを、X2,iは図３（ｃ）の２２領域から得られるデータを、以下添え字の３、４、５は領域２３、２４、２５に対応していることを示している。
【０１４９】
取得面での画像を生成するためには、図１１（ｂ）にあるように、マイクロレンズXiに入射したデータを加算すればよい。具体的には、Si = X1,I + X2,i + X3,i+ X4,i + X5,iでXiに入射した光の角度方向の積分値を得る事が出来る。これにより通常のカメラと同様の像が生成される。
【０１５０】
次に再構成面１での像の生成方法を考える。図３で説明したように、本実施例の撮影光学系は、各画素に入射する光束を特定の瞳領域に限定しているために、入射角度が既知である。この角度に沿って再構成面での各画素の位置を再構成する。具体的にはX1,iのように瞳領域の添え字が１のものは図１１右側において４１に示すような角度で入射しているとする。以下瞳領域の添え字２，３，４，５はそれぞれ４２，４３，４４，４５に対応しているとする。この時再構成面１でのマイクロレンズXiに入射した光束は、取得面においては、Xi-2からXi+2に分散して入射している事になる。より具体的には、X1,i-2、X2,i-1、X3,i、X4,i+1、X5,i+2に分散している。Xiに限らず再構成面１での像を復元するためには、入射角度に応じて像をシフトさせて加算すれば良い事が分かる。再構成面１での像を生成するためには、瞳領域の添え字が１のものは右に２画素シフト、瞳領域の添え字が２のものは右に１画素シフト、瞳領域の添え字が３のものはシフトなし、瞳領域の添え字が４のものは左に１画素シフト、瞳領域の添え字が５のものは左に２画素シフトする事で入射角度に応じたシフトを与える事が出来る。
【０１５１】
その後、図１１（ａ）の縦方向に加算することで再構成面１でのデータを得る事が出来る。具体的には、Si = X1,i-2 + X2,i-1 + X3,i+ X4,i+1 + X5,i+2で再構成面１において、Xiに入射した光の角度方向の積分値を得る事が出来る。これにより再構成面での画像が得られた。
【０１５２】
ここで、再構成面１において、Xiに輝点があったとすると、取得面においてはX1,i-2、X2,i-1、X3,i、X4,i+1、X5,i+2に分散していわゆるボケ状態にある。しかしながら、上述した再構成面１での像を生成すると、再びXiに輝点が生成されコントラストの高い像が得られる。
【０１５３】
また、図１１（ｃ）から分かるように、再構成面２においても再構成面と全く同様に像を生成する事が出来る。再構成面を配置する方向が異なると（物体に対して反対側という意味）シフトさせる方向を反転させれば良いだけである。
【０１５４】
以上、説明したように、リフォーカス処理によって撮影画面内の任意の位置に合焦した画像が得られる撮像措置であって、動画画像から撮影者が撮影時に狙った被写体以外の任意の被写体にピントが合った静止画画像が得られる撮像装置を提供する事が出来る。
【０１５５】
［変形例］
以下、図１３から図１５を参照して、本発明の撮像装置の変形例について説明する。変形例では、主被写体以外の被写体に動きが無いようなシーンでフォーカスブラケット撮影をする時の動作について述べる。
【０１５６】
図１３は、変形例における動画撮影時にフォーカスブラケット撮影する時の動作を説明するためのフローチャートである。
【０１５７】
図１４は、変形例における表示部２５８に表示される撮影シーンの説明図である。
【０１５８】
図１５（ａ）は、変形例におけるフォーカスブラケット撮影時のＡＦレンズ１２０の光学方向の位置の説明図、図１５（ｂ）は、変形例におけるフォーカスブラケット撮影を行うタイミングの説明図である。
【０１５９】
以下、図１３を用いて、変形例でのフォーカスブラケット撮影モード時のカメラ１００及びレンズ１０２の動作について説明する。
【０１６０】
Ｓ２０１０からＳ２２００まで、及びＳ２３１０、Ｓ２３３０、はＳ１０１０からＳ１２００まで、及びＳ１３１０、Ｓ１３３０と同様なので、その説明を省略する。
【０１６１】
Ｓ２２１０では、Ｓ２１６０で取得した主被写体記録画像から、被写体像２５８ａ内にある被写体像各々の動きベクトルを演算する。具体的には、３０ｆｐｓの撮影周期で撮影した主被写体３１０に合焦した複数の画像から、主被写体３１０以外の被写体の動きベクトルをボディＣＰＵ１０９が演算する。
【０１６２】
図１４及び図１５を用いて、詳しく説明すると、図１４に示したように、被写体像２５８ａにある主被写体３１０以外の被写体が風景の場合、例えば後方の風景を副被写体３２０とボディＣＰＵ１０９が判定したとする。その時、Ｓ２１００で行われる、被写体像２５８ａの内の最至近位置から最無限位置までの被写体がフォーカスブラケット撮影もしくはリフォーカス処理により合焦状態となるようなＡＦレンズ１２０の複数の位置の演算結果が図１５（ａ）に示したようになったとする。この演算結果に合わせて、Ｓ２１５０でフォーカスブラケット撮影が行われ、録画スイッチ１９８がＯＦＦになるまでは、Ｓ２１５０から後述のＳ２２３０での動作が繰り返される。これにより、異なる時刻で記録した主被写体３１０に合焦した複数の記録画像が、メモリ１９７や不図示の記録媒体に保存されるので、Ｓ２１６０で抽出した主被写体記録画像の複数枚を比較する事で、主被写体３１０以外の被写体の動きベクトルをボディＣＰＵ１０９が演算する事が可能になる。このＳ２２１０での演算終了後、Ｓ２２２０に進む。
【０１６３】
Ｓ２２２０では、Ｓ２２１０での動きベクトルの演算結果から、後述のＳ２２３０で録画スイッチ１９８がＯＦＦになっていない時にＳ２１５０に戻ってフォーカスブラケット撮影する際に、主被写体３１０以外の被写体に合焦する位置（図１５（ａ）中、（ＩＩ）、（ＩＩＩ）及び（ＩＶ）の位置）で静止画撮影をする必要があるかどうかの判定をボディＣＰＵ１０９が行う。
【０１６４】
例えば、図１４に示したようなシーンでは、使用者が動画撮影中に、例えばＡＦレンズ１２０が（Ｉ）の位置の深度内で主被写体３１０は動く事はあるが（図１５（ａ）に示した矢印の範囲内が深度内）、他の被写体は風景（副被写体３２０等）なので、動きは無い。
【０１６５】
すると、Ｓ２２１０で演算した結果、風景（副被写体３２０等）の動きベクトルはほぼゼロとなる。そのような場合には、Ｓ２１５０でフォーカスブラケット撮影をした場合、図１５（ａ）に示した（ＩＩ）、（ＩＩＩ）及び（ＩＶ）の位置で撮影した静止画は、１回目のフォーカスブラケット撮影をした時と２回目のフォーカスブラケット撮影をした時とでは、ほぼ変化がないので、同じような画像をメモリ１９７や不図示の記録媒体に保存しても、その容量が無駄となってしまう。またフォーカスブラケット撮影のためにＡＦレンズ１２０を動かす事にもなるので、ＡＦレンズ１２０の駆動に伴う消費電力も無駄となる。
【０１６６】
そこで、Ｓ２２１０で演算した結果、主被写体３１０以外の被写体の動きベクトルがほぼゼロの場合は、２回目のフォーカスブラケット撮影を行わない事で、前記無駄な動作を行わないようにするため、Ｓ２２２０では、ＡＦレンズ１２０が（ＩＩ）、（ＩＩＩ）及び（ＩＶ）の位置では静止画撮影を行わないという判定を行って、Ｓ２２３０に進む。
【０１６７】
Ｓ２２３０及びＳ２２４０の動作は、Ｓ１２１０及びＳ１２２０と同じなので、その説明を省略する。
【０１６８】
なお、前述のように、Ｓ２２２０での判定の結果、ＡＦレンズ１２０が（ＩＩ）、（ＩＩＩ）及び（ＩＶ）の位置では静止画撮影を行わないという判定になった場合は、図１５（ｂ）に示したように、２回目のフォーカスブラケット撮影時は、主被写体３１０に合焦する（Ｉ）´の位置にＡＦレンズ１２０をＡＦレンズ駆動部１２１により駆動して静止画撮影を行うが、（ＩＩ）、（ＩＩＩ）及び（ＩＶ）の位置では撮影を行わない。さらに続けてフォーカスブラケット撮影をする場合、例えば主被写体３１０の背後に別の被写体が入ったり、（ＩＩ）の位置にある被写体（例えば花や木）が動いたりした事により、ＡＦレンズ１２０の（ＩＩ）の位置での撮影が必要になった場合には、３回目のフォーカスブラケット撮影時は、主被写体３１０に合焦する（Ｉ）´´の位置にＡＦレンズ１２０をＡＦレンズ駆動部１２１により駆動して静止画撮影を行った後、フォーカスブラケット撮影としては（ＩＩ）´の位置にＡＦレンズ１２０をＡＦレンズ駆動部１２１により駆動して静止画撮影を行った後、（Ｉ）の位置にＡＦレンズ１２０をＡＦレンズ駆動部１２１により駆動して戻す。
【０１６９】
Ｓ２２３０で録画スイッチ１９８がＯＦＦになるまで、上記一連のフォーカスブラケット撮影を行う。
【０１７０】
ところで、例えば使用者が、主被写体３１０はＡＦレンズ１２０が（Ｉ）´の位置（つまり、２回目のフォーカスブラケット撮影を行った時の主被写体３１０の像）でＡＦレンズ１２０が（ＩＩ）、（ＩＩＩ）及び（ＩＶ）以外の位置で合焦する被写体にリフォーカス処理を行う場合は、Ｓ１７９０での処理同様に、Ｓ２１５０のフォーカスブラケット撮影にて撮影／記録した画像の中からユーザーが選択した被写体のデフォーカス量が一番小さい画像をボディＣＰＵ１０９が選択（例えばＡＦレンズ１２０が（ＩＩＩ）の位置で記録）した画像とＡＦレンズ１２０が（Ｉ）´の位置で記録した画像を合成する。これにより、使用者が望むリフォーカス画像を得る事が出来る。
【０１７１】
以上、説明したように、リフォーカス処理によって撮影画面内の任意の位置に合焦した画像が得られる撮像措置であって、動画画像から撮影者が撮影時に狙った被写体以外の任意の被写体にピントが合った静止画画像が得られる撮像装置を提供する事が出来る。
【０１７２】
また、主被写体３１０以外の被写体に動きが無い場合には、フォーカスブラケット撮影モード中でもフォーカスブラケット撮影を行わない事で、メモリ１９７や不図示の記憶容量削減やフォーカスブラケット撮影に伴う無駄な電力消費を抑える事が可能になる。
【０１７３】
なお、動画撮影中に主被写体３１０と副被写体３２０には動きがあるが、それ以外の被写体に動きが無い場合に場合には、上記フォーカスブラケット撮影を主被写体３１０に合焦する位置と副被写体３２０に合焦するそれぞれの位置にＡＦレンズ１２０を動かすようにボディＣＰＵ１０９が制御しても、同様な効果が得られる事は言うまでもない。
【０１７４】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【０１７５】
また本発明ではカメラ１００とレンズ１０２が着脱可能であるとしたが、これに限定せず、カメラ１００とレンズ１０２が一体化しているカメラでも上記で説明したのと同様な効果が得られる事は言うまでもない。
【符号の説明】
【０１７６】
２０：マイクロレンズアレイ（ＭＬＡ）
１００：カメラ
１０２：レンズ
１０９：ボディＣＰＵ
１２０：ＡＦレンズ
１９２：選択スイッチ
１９３：決定スイッチ
１９６：モードスイッチ
１９８：録画スイッチ
２５２：撮像素子
２５８：表示部
３０１，３０２，３０３：測距点
３１０：主被写体
３２０：副被写体
【特許請求の範囲】
【請求項１】
撮像素子と、
合焦のために光軸方向に移動可能なフォーカスレンズを含む撮影レンズと、
前記撮像素子上の画素へ入射する光束を前記撮影レンズの特定の瞳領域のみに制限する瞳分割手段と、
前記撮像素子から得られた電気信号に所定の正の値を掛けて加算する像生成手段と、
異なる瞳領域を通過した像の相関を計算する相関計算手段と、
前記フォーカスレンズを駆動して複数の合焦状態位置において被写体像を前記撮像素子に受光する制御手段と、
該受光した被写体像を表示する表示部と、
前記相関計算手段の結果から主被写体を判定する判定手段を有し、
前記制御手段は動画撮影中に前記判定手段により判定された主被写体に合焦する位置に前記フォーカスレンズを駆動させて被写体像を連続的に受光すると共に、該主被写体に合焦した被写体像を連続的に受光する間に、主被写体以外に合焦する位置に前記フォーカスレンズを駆動させて被写体像を受光する事を特徴とする撮像装置。
【請求項２】
前記制御手段は撮影時及び再生時は主被写体に合焦した被写体像を連続的に前記表示部に表示する事を特徴とする請求項１に記載の撮像装置。
【請求項３】
前記判定手段は前記相関計算手段の結果から副被写体を判定し、その結果に応じて前記制御手段は副被写体に合焦する位置に前記フォーカスレンズを駆動させて被写体像を受光すると共に、該受光した被写体像を前記像生成手段により取得する事を特徴とする請求項１に記載の撮像装置。
【請求項４】
前記撮像素子から得られた電気信号に対して通過した瞳領域ごとに異なるシフトを与える像シフト手段を有し、
前記像生成手段は前記像シフト手段から得られた電気信号に所定の正の値を掛けて加算する事で主被写体及び副被写体以外に合焦した被写体像を取得する事を特徴とする請求項１に記載の撮像装置。
【請求項５】
前記制御手段は前記判定手段により判定された主被写体に合焦する第一の位置に前記フォーカスレンズを駆動して被写体像を取得した後に、前記判定手段により判定された副被写体に合焦する第二の位置に前記フォーカスレンズを駆動する事を特徴とする請求項３に記載の撮像装置。
【請求項６】
前記判定手段は撮影画面内で所定範囲内のデフォーカス量が分布しているエリアが一番大きいところを主被写体として判定する事を特徴とする請求項３に記載の撮像装置。
【請求項７】
前記判定手段は撮影画面内で所定範囲内のデフォーカス量が分布しているエリアが主被写体の次に大きいところを副被写体として判定する事を特徴とする請求項１に記載の撮像装置。
【請求項８】
前記制御手段は、撮影画面内でのデフォーカス量から前記フォーカスレンズを駆動して複数の合焦状態にする位置を演算する事を特徴とする請求項１に記載の撮像装置。
【請求項９】
前記制御手段は、さらに、前記フォーカスレンズを駆動する位置の演算結果に応じて、前記フォーカスレンズを駆動して複数の合焦状態にする位置での撮影周期を制御する事を特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記制御手段は、少なくとも前記主被写体以外の被写体の動きベクトルを演算し、その演算結果に応じて前記フォーカスレンズを駆動して複数の合焦状態にする位置での撮影周期を制御する事を特徴とする請求項８に記載の撮像装置。
【請求項１】
撮像素子と、
合焦のために光軸方向に移動可能なフォーカスレンズを含む撮影レンズと、
前記撮像素子上の画素へ入射する光束を前記撮影レンズの特定の瞳領域のみに制限する瞳分割手段と、
前記撮像素子から得られた電気信号に所定の正の値を掛けて加算する像生成手段と、
異なる瞳領域を通過した像の相関を計算する相関計算手段と、
前記フォーカスレンズを駆動して複数の合焦状態位置において被写体像を前記撮像素子に受光する制御手段と、
該受光した被写体像を表示する表示部と、
前記相関計算手段の結果から主被写体を判定する判定手段を有し、
前記制御手段は動画撮影中に前記判定手段により判定された主被写体に合焦する位置に前記フォーカスレンズを駆動させて被写体像を連続的に受光すると共に、該主被写体に合焦した被写体像を連続的に受光する間に、主被写体以外に合焦する位置に前記フォーカスレンズを駆動させて被写体像を受光する事を特徴とする撮像装置。
【請求項２】
前記制御手段は撮影時及び再生時は主被写体に合焦した被写体像を連続的に前記表示部に表示する事を特徴とする請求項１に記載の撮像装置。
【請求項３】
前記判定手段は前記相関計算手段の結果から副被写体を判定し、その結果に応じて前記制御手段は副被写体に合焦する位置に前記フォーカスレンズを駆動させて被写体像を受光すると共に、該受光した被写体像を前記像生成手段により取得する事を特徴とする請求項１に記載の撮像装置。
【請求項４】
前記撮像素子から得られた電気信号に対して通過した瞳領域ごとに異なるシフトを与える像シフト手段を有し、
前記像生成手段は前記像シフト手段から得られた電気信号に所定の正の値を掛けて加算する事で主被写体及び副被写体以外に合焦した被写体像を取得する事を特徴とする請求項１に記載の撮像装置。
【請求項５】
前記制御手段は前記判定手段により判定された主被写体に合焦する第一の位置に前記フォーカスレンズを駆動して被写体像を取得した後に、前記判定手段により判定された副被写体に合焦する第二の位置に前記フォーカスレンズを駆動する事を特徴とする請求項３に記載の撮像装置。
【請求項６】
前記判定手段は撮影画面内で所定範囲内のデフォーカス量が分布しているエリアが一番大きいところを主被写体として判定する事を特徴とする請求項３に記載の撮像装置。
【請求項７】
前記判定手段は撮影画面内で所定範囲内のデフォーカス量が分布しているエリアが主被写体の次に大きいところを副被写体として判定する事を特徴とする請求項１に記載の撮像装置。
【請求項８】
前記制御手段は、撮影画面内でのデフォーカス量から前記フォーカスレンズを駆動して複数の合焦状態にする位置を演算する事を特徴とする請求項１に記載の撮像装置。
【請求項９】
前記制御手段は、さらに、前記フォーカスレンズを駆動する位置の演算結果に応じて、前記フォーカスレンズを駆動して複数の合焦状態にする位置での撮影周期を制御する事を特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記制御手段は、少なくとも前記主被写体以外の被写体の動きベクトルを演算し、その演算結果に応じて前記フォーカスレンズを駆動して複数の合焦状態にする位置での撮影周期を制御する事を特徴とする請求項８に記載の撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１３−８００９３（Ｐ２０１３−８００９３Ａ）
【公開日】平成２５年５月２日（２０１３．５．２）
【国際特許分類】
【出願番号】特願２０１１−２１９７８１（Ｐ２０１１−２１９７８１）
【出願日】平成２３年１０月４日（２０１１．１０．４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年５月２日（２０１３．５．２）
【国際特許分類】
【出願日】平成２３年１０月４日（２０１１．１０．４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]