撮像装置および画像再生装置
【課題】フォーカスレンズの駆動頻度を低減しつつ、被写体に焦点の合った画像を適切に得ることができる撮像装置を提供する。
【解決手段】複数のマイクロレンズ１１１ａを二次元状に配列したマイクロレンズアレイ１１１と、複数のマイクロレンズ１１１ａに対して設けられた複数の光電変換素子１１２ａとを有し、マイクロレンズ１１１ａを介して光学系からの光束を受光して得られる複数の受光信号を出力する受光手段１１０と、受光信号に基づいて、光学系による像面と受光手段１１０の受光面とのずれ量を検出する検出手段１４２と、ずれ量に基づいて、光学系を焦点調節する焦点調節手段１５０と、ずれ量に対応する像面が、受光信号に基づく画像を生成可能な像面の範囲に含まれる場合に、複数の受光信号のうちずれ量に応じて選択された受光信号に基づいて、ずれ量に対応する像面の画像を生成して、表示する制御手段１５０と、を備えることを特徴とする撮像装置。
【解決手段】複数のマイクロレンズ１１１ａを二次元状に配列したマイクロレンズアレイ１１１と、複数のマイクロレンズ１１１ａに対して設けられた複数の光電変換素子１１２ａとを有し、マイクロレンズ１１１ａを介して光学系からの光束を受光して得られる複数の受光信号を出力する受光手段１１０と、受光信号に基づいて、光学系による像面と受光手段１１０の受光面とのずれ量を検出する検出手段１４２と、ずれ量に基づいて、光学系を焦点調節する焦点調節手段１５０と、ずれ量に対応する像面が、受光信号に基づく画像を生成可能な像面の範囲に含まれる場合に、複数の受光信号のうちずれ量に応じて選択された受光信号に基づいて、ずれ量に対応する像面の画像を生成して、表示する制御手段１５０と、を備えることを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置および画像再生装置に関するものである。
【背景技術】
【０００２】
従来より、動画撮影が可能な撮像装置が知られている。このような撮像装置において、被写体について焦点の合った画像を連続的に撮影するため、動画撮影中に、フォーカスレンズを駆動して、焦点調節を繰り返し行う技術が開示されている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２８７０５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術は、焦点調節のために、動画撮影中にフォーカスレンズを常に駆動させる必要があり、フォーカスレンズを常に駆動することで、消費電力が増大し、またレンズ駆動音（異音）が多数発生し、このようなレンズ駆動音がノイズとして多数録音されてしまうという問題があった。
【０００５】
本発明が解決しようとする課題は、フォーカスレンズの駆動頻度を低減しつつ、被写体に焦点の合った画像を適切に得ることができる撮像装置を提供することである。
【課題を解決するための手段】
【０００６】
この発明は、以下の解決手段によって上記課題を解決する。なお、発明の実施形態を示す図面に対応する符号を付して説明するが、この符号は発明の理解を容易にするためだけのものであって発明を限定する趣旨ではない。
【０００７】
［１］本発明に係る撮像装置は、複数のマイクロレンズ（１１１ａ）を二次元状に配列したマイクロレンズアレイ（１１１）と、前記複数のマイクロレンズに対して設けられた複数の光電変換素子（１１２ａ）とを有し、前記マイクロレンズを介して光学系からの光束を受光して得られる複数の受光信号を出力する受光手段（１１０）と、前記受光信号に基づいて、前記光学系による像面と前記受光手段の受光面とのずれ量を検出する検出手段（１４２）と、前記ずれ量に基づいて、前記光学系を焦点調節する焦点調節手段（１５０）と、前記ずれ量に対応する像面が、前記受光信号に基づく画像を生成可能な像面の範囲に含まれる場合に、前記複数の受光信号のうち前記ずれ量に応じて選択された受光信号に基づいて、前記ずれ量に対応する像面の画像を生成して、表示する制御手段（１５０）と、を備えることを特徴とする。
【０００８】
［２］上記撮像装置に係る発明において、前記焦点調節手段（１５０）は、前記ずれ量に対応する像面が、前記画像を生成可能な像面の範囲に含まれない場合に、前記ずれ量に応じて、前記光学系を焦点調節するように構成することができる。
【０００９】
［３］上記撮像装置に係る発明において、前記光学系による像のうち、特定の対象の像を認識する認識手段（１５０）をさらに備え、前記検出手段（１５０）は、前記認識手段によって認識された像に対する前記ずれ量を検出するように構成することができる。
【００１０】
［４］上記撮像装置に係る発明において、前記画像を生成可能な像面の範囲は、前記マイクロレンズ（１１１ａ）の有効径、前記マイクロレンズの開放Ｆ値、および前記光電変換素子（１１２ａ）の大きさに基づくものとであるように構成することができる。
【００１１】
［５］上記撮像装置に係る発明において、前記受光信号に基づいて動画を撮像する撮像手段をさらに備えるように構成することができる。
【００１２】
［６］本発明に係る画像再生装置は、特定の焦点状態における光学系からの光束を受光して得られる複数の受光信号を入力する入力手段と、前記受光信号に基づいて、特定の焦点状態における前記光学系による像面位置を検出する検出手段と、前記像面位置が、前記受光信号に基づく画像を生成可能な像面の範囲に含まれる場合に、前記複数の受光信号のうち前記像面位置に応じて選択された受光信号に基づいて前記像面位置の画像を生成して表示する制御手段と、を備えることを特徴とする。
【００１３】
［７］上記画像再生装置に係る発明において、前記入力手段は、前記像面位置が、前記画像を生成可能な像面の範囲に含まれない場合に、前記前記特定の焦点状態とは異なる焦点状態における前記光学系からの光束を受光して得られた受光信号を入力するように構成することができる。
【発明の効果】
【００１４】
本発明によれば、フォーカスレンズの駆動頻度を低減しつつ、被写体に焦点の合った画像を適切に得ることができる。
【図面の簡単な説明】
【００１５】
【図１】図１は、本実施形態に係るカメラ１の構成を示すブロック図である。
【図２】図２は、図１に示す撮像素子１１０を構成する画素配列の一例を示す平面図である。
【図３】図３は、図２に示すIII部分の拡大図である。
【図４】図４は、撮像素子１１０の構成を説明するための図である。
【図５】図５は、本実施形態に係るカメラ１の動作を示すフローチャートである。
【図６】図６は、ステップＳ１１０の被写体認識処理を説明するためのフローチャートである。
【図７】図７は、マイクロレンズ１１１ａを介して、光電変換素子アレイ１１２を構成する複数の光電変換素子１１２ａのうち、特定の光電変換素子ｃ１に入射する光束の一例を示す図である。
【図８】図８は、フォーカスレンズ２１２のレンズ位置と画像合成範囲との関係を説明するための図である。
【図９】図９は、被写体の存在位置に対応する像面が、特定の面（Ｚ＝０）であるときの画像合成方法の一例を説明するための図である。
【図１０】図１０は、被写体の存在位置に対応する像面が、特定の面（Ｚ＝ｈ１）であるときの画像合成方法の一例を説明するための図である。
【図１１】図１１は、被写体の存在位置に対応する像面が、特定の面（Ｚ＝ｈ２）であるときの画像合成方法の一例を説明するための図である。
【図１２】図１２は、他の実施形態におけるフォーカスレンズ２１２のレンズ位置の決定方法を説明するための図である。
【発明を実施するための形態】
【００１６】
以下、本発明の実施形態を図面に基づいて説明する。図１は、本実施形態に係るカメラ１を示すブロック図であり、本発明の撮像装置に関する構成以外のカメラの一般的構成については、その図示と説明を一部省略する。
【００１７】
本実施形態のカメラ１は、図１に示すように、カメラボディ１００とレンズ鏡筒２００とを備え、静止画および動画の撮影が可能となっている。
【００１８】
レンズ鏡筒２００には、レンズ２１１，２１２，２１３、および絞り２２０を含む撮影光学系が内蔵されている。
【００１９】
フォーカスレンズ２１２は、レンズ鏡筒２００の光軸Ｌ１に沿って移動可能に設けられ、エンコーダ２６０によってその位置が検出されつつレンズ駆動モータ２３０によってその位置が調節される。
【００２０】
このフォーカスレンズ２１２の光軸Ｌ１に沿う移動機構の具体的構成は特に限定されない。一例を挙げれば、レンズ鏡筒２００に固定された固定筒に回転可能に回転筒を挿入し、この回転筒の内周面にヘリコイド溝（螺旋溝）を形成するとともに、フォーカスレンズ２１２を固定するレンズ枠の端部をヘリコイド溝に嵌合させる。そして、レンズ駆動モータ２３０によって回転筒を回転させることで、レンズ枠に固定されたフォーカスレンズ２１２が光軸Ｌ１に沿って直進移動することになる。なお、レンズ鏡筒２００にはフォーカスレンズ２１２以外のレンズ２１１，２１３が設けられているが、ここではフォーカスレンズ２１２を例に挙げて本実施形態を説明する。
【００２１】
上述したようにレンズ鏡筒２００に対して回転筒を回転させることによりレンズ枠に固定されたフォーカスレンズ２１２は光軸Ｌ１方向に直進移動するが、その駆動源としてのレンズ駆動モータ２３０がレンズ鏡筒２００に設けられている。レンズ駆動モータ２３０と回転筒とは、たとえば複数の歯車からなる変速機で連結され、レンズ駆動モータ２３０の駆動軸を何れか一方向へ回転駆動すると所定のギヤ比で回転筒に伝達され、そして、回転筒が何れか一方向へ回転することで、レンズ枠に固定されたフォーカスレンズ２１２が光軸Ｌ１の何れかの方向へ直進移動することになる。なお、レンズ駆動モータ２３０の駆動軸が逆方向に回転駆動すると、変速機を構成する複数の歯車も逆方向に回転し、フォーカスレンズ２１２は光軸Ｌ１の逆方向へ直進移動することになる。
【００２２】
フォーカスレンズ２１２の位置はエンコーダ２６０によって検出される。既述したとおり、フォーカスレンズ２１２の光軸Ｌ１方向の位置は回転筒の回転角に相関するので、たとえばレンズ鏡筒２００に対する回転筒の相対的な回転角を検出すれば求めることができる。
【００２３】
本実施形態のエンコーダ２６０としては、回転筒の回転駆動に連結された回転円板の回転をフォトインタラプタなどの光センサで検出して、回転数に応じたパルス信号を出力するものや、固定筒と回転筒の何れか一方に設けられたフレキシブルプリント配線板の表面のエンコーダパターンに、何れか他方に設けられたブラシ接点を接触させ、回転筒の移動量（回転方向でも光軸方向の何れでもよい）に応じた接触位置の変化を検出回路で検出するものなどを用いることができる。
【００２４】
フォーカスレンズ２１２は、上述した回転筒の回転によってカメラボディ１００側の端部（至近端ともいう）から被写体側の端部（無限端ともいう）までの間を光軸Ｌ１方向に移動することができる。ちなみに、エンコーダ２６０で検出されたフォーカスレンズ２１２の現在位置情報は、レンズ制御部２５０を介して後述するカメラ制御部１５０へ送出される。そして、フォーカスレンズ２１２の位置情報に基づいて算出されたフォーカスレンズ２１２の駆動量が、カメラ制御部１５０からレンズ制御部２５０を介して送出され、これに基づいて、レンズ駆動モータ２３０は駆動する。
【００２５】
絞り２２０は、撮影光学系を通過して、カメラボディ１００に備えられた撮像素子１１０に至る光束の光量を制限するとともにボケ量を調整するために、光軸Ｌ１を中心にした開口径が調節可能に構成されている。絞り２２０による開口径の調節は、たとえば自動露出モードにおいて演算された適切な開口径が、カメラ制御部１５０からレンズ制御部２５０を介して送出されることにより行われる。また、カメラボディ１００に設けられた操作部１３０を介したマニュアル操作により設定された開口径が、カメラ制御部１５０からレンズ制御部２５０に入力される。絞り２２０の開口径は図示しない絞り開口センサにより検出され、レンズ制御部２５０で現在の開口径が認識される。
【００２６】
一方、カメラボディ１００には、被写体からの光束を受光する撮像素子１１０が、光軸Ｌ１上であって、撮影光学系の予定焦点面に設けられている。撮像素子１１０は二次元ＣＣＤイメージセンサ、ＭＯＳセンサまたはＣＩＤなどのデバイスから構成され、受光した光信号を受光信号に変換する。ここで、図２は撮像素子１１０を構成する画素配列の一例を示す平面図であり、図３は図２に示すIII部分の拡大図である。図２に示すように、撮像素子１１０は、複数のマイクロレンズ１１１ａを二次元状に稠密に配列したマイクロレンズアレイ１１１を備えており、マイクロレンズアレイ１１１は、撮影光学系の予定焦点面となる位置またはその近傍に設定される。また、図３に示すように、撮像素子１１０は、各マイクロレンズ１１１ａに対して、複数の光電変換素子１１２ａから構成される各光電変換素子アレイ１１２を有している。なお、図３において、光電変換素子アレイ１１２を構成する光電変換素子１１２ａの数（画素密度）は、縦方向および横方向ともに５個となっているが、これらの数は、特に限定されるものではない。
【００２７】
さらに、図４は、撮像素子１１０の構成を説明するための図であり、図３と同様に、図２のIII部分を拡大した斜視図である。図４に示すように、光電変換素子アレイ１１２は、マイクロレンズアレイ１１１の後方に配置されおり、マイクロレンズアレイ１１１と光電変換素子アレイ１１２との間には、マイクロレンズ１１１ａの焦点距離に対応する間隔が設けられている。被写体からの光束（光軸Ｌ１）は、まずマイクロレンズ１１１ａへと入射され、マイクロレンズ１１１ａを通過して光電変換素子１１２ａで受光される。そして、各光電変換素子１１２ａにより受光された光束に基づく受光信号は、センサ制御部１４１に送信される。なお、撮像素子１１０からセンサ制御部１４１に送信される受光信号は、センサ制御部１４１からカメラ制御部１５０に送信され、画像データに変換されてメモリ１６０に保存される他、デフォーカス演算部１４２によるデフォーカス演算に用いられる。
【００２８】
センサ制御部１４１は、光電変換素子アレイ１１２を構成する各光電変換素子１１２ａによる受光信号の受光の制御や、各光電変換素子１１２ａにより受光する受光信号が適切なものとなるように、ゲインや蓄積時間を制御する。また、センサ制御部１４１は、撮像素子１１０から受光信号を受信し、受信した受光信号をカメラ制御部１５０およびデフォーカス演算部１４２に送信する。
【００２９】
デフォーカス演算部１４２は、センサ制御部１４１から受光信号を受信し、受信した受光信号の一部を焦点検出用の信号として読み出す。本実施形態では、撮影画像中の全ての領域のうち、後述する撮影画像中の主要な被写体について焦点検出を行うため、デフォーカス演算部１４２は、撮影画像中の全ての領域ではなく、主要な被写体に対応する撮影画像中の領域（以下、被写体領域ともいう。）に相当するマイクロレンズ１１１ａに対応する各光電変換素子１１２ａから出力された受光信号を、焦点検出用の信号として読み出す。
【００３０】
ここで、上述したようにマイクロレンズアレイ１１１（各マイクロレンズ１１１ａ）は、撮影光学系の予定焦点面となる位置またはその近傍に配置されており、このマイクロレンズアレイ１１１（各マイクロレンズ１１１ａ）の後ろ側に配置されている光電変換素子アレイ１１２（各光電変換素子１１２ａ）には、各マイクロレンズ１１１ａによって撮影光学系の瞳像が結像される。そして、光電変換素子アレイ１１２を構成する各光電変換素子１１２ａは、瞳の各部分に対応することから、マイクロレンズ１１１ａごとに光電変換素子１１２ａを選択してその出力を合成すれば、光電変換素子１１２ａに対応する絞りで撮影された画像が得られることになる。したがって、本実施形態においては、デフォーカス演算部１４２により、瞳の各部分に対応する光電変換素子１１２ａの出力を合成し、得られた画像を用いて、主要な被写体に対応する被写体領域について、瞳分割位相差検出方式による像ズレ量の演算を行うことで、被写体領域における像ズレ量をデフォーカス量ｄｆとして求めることができる。そして、デフォーカス演算部１４２は、求めたデフォーカス量ｄｆをカメラ制御部１５０およびレンズ駆動量演算部１４３に送信する。
【００３１】
レンズ駆動量演算部１４３は、デフォーカス演算部１４２から送られてきたデフォーカス量ｄｆに基づいて、フォーカスレンズ２１２の駆動量ΔＷの演算を行い、これをカメラ制御部１５０へ出力する。
【００３２】
液晶モニタ１２０は、カメラボディ１００の背面に設けられ、撮像素子１１０により得られた受光信号に基づく画像を、液晶モニタ１２０が備えるディスプレイに表示する。
【００３３】
操作部１３０は、シャッターレリーズボタン、および撮影者がカメラ１の各種動作モードを設定するための入力スイッチを備えており、操作部１３０により、静止画撮影モード／動画撮影モード、オートフォーカスモード／マニュアルフォーカスモードの切換が行えるようになっている。また、動画撮影モードが選択されている場合に、撮影者によりシャッターレリーズボタンが押されることで、動画撮影の開始動作および終了動作が行なわれるようになっている。
【００３４】
カメラ制御部１５０は、マイクロプロセッサとメモリなどの周辺部品から構成され、撮像素子１１０から送信された受光信号を取得し、取得した受光信号に基づき、スルー画像の生成や、後述する画像合成方法より、撮影画像の合成を行う。さらに、カメラ制御部１５０は、被写体に合焦する像面位置の検出を行い、検出結果に基づいて、レンズ制御部２５０を介して、フォーカスレンズ２１２の駆動を制御する。なお、合成された撮像画像は、カメラ制御部１５０から液晶モニタ１２０に送信され、液晶モニタ１２０のディスプレイに表示されるとともに、メモリ１６０へと送信され、メモリ１６０に保存される。
【００３５】
また、カメラ制御部１５０は、撮像素子１１０で得られた受光信号に基づいて、撮影シーンを認識し、認識されたシーンに基づいて、撮影画像中の主要な被写体の認識を行う。そして、カメラ制御部１５０は、撮影画像中の主要な被写体を認識した場合に、主要な被写体に対応する撮影画像中の領域を被写体領域として設定する。
【００３６】
次に、本実施形態に係るカメラ１の動作例を説明する。以下においては、図５に示すフローチャートに基づいて、撮影者により操作部１３０を介して、動画撮影モードが選択されている場合における処理について説明する。図５は、本実施形態に係るカメラ１の動作を示すフローチャートである。
【００３７】
まず、ステップＳ１０１では、センサ制御部１４１からの信号に基づき、撮像素子１１０により、撮影光学系からの光束の受光が行われ、スルー画像表示用の撮影が行われる。そして、撮像素子１１０から、各光電変換素子１１２ａに応じた信号が、センサ制御部１４１に送信され、センサ制御部１４１に送信された信号が、カメラ制御部１５０により読み出される。
【００３８】
ステップＳ１０２では、カメラ制御部１５０により、レンズ制御部２５０からレンズ情報が取得される。レンズ情報には、フォーカスレンズ２１２のレンズ位置、焦点距離、および開放Ｆ値などの情報が含まれる。続くステップＳ１０３では、カメラ制御部１５０により、撮影情報の取得が行われる。撮影情報は、撮影時の撮影条件などの情報であり、例えば、絞り値、ＩＳＯ感度、ゲイン、ホワイトバランスなどの情報が含まれる。カメラ制御部１５０は、例えば、センサ制御部１４１からＩＳＯ感度、ゲイン、ホワイトバランスなどの情報を取得し、また、カメラ制御部１５０が備えるメモリから絞り値を取得することができる。これらレンズ情報および撮影情報は、カメラ制御部１５０による受光信号の読み出し（ステップＳ１０１）、およびカメラ制御部１５０によるスルー画像の生成（ステップＳ１０４）に用いられる。
【００３９】
ステップＳ１０４では、カメラ制御部１５０により、ステップＳ１０１で取得した受光信号に基づき、スルー画像が生成される。なお、カメラ制御部１５０は、ステップＳ１０４においてスルー画像を生成する際に、ステップＳ１０２，Ｓ１０３で取得したレンズ情報および撮影情報を用いることができる。例えば、絞り値が最大（開口サイズ最小）に設定されている場合、カメラ制御部１５０は、ステップＳ１０３において、最大（開口サイズ最小）に設定されている絞り値を取得し、ステップＳ１０４において、この絞り値に基づいて、焦点深度の深いパンフォーカス画像をスルー画像として生成する。
【００４０】
続くステップＳ１０５では、生成されたスルー画像が、液晶モニタ１２０に送信され、液晶モニタ１２０の備えるディスプレイに表示される。なお、ステップＳ１０５においては、スルー画像を表示することに加えて、ステップＳ１０４で生成されたスルー画像をメモリ１６０に記憶する構成としてもよい。
【００４１】
ステップＳ１０６では、カメラ制御部１５０により、動画撮影を開始するか否か判断される。例えば、動画撮影モードにおいて、撮影者により操作部１３０のシャッターレリーズボタンが押された場合、動画撮影を開始すると判断され、ステップＳ１０７に進む。一方、撮影者により操作部１３０のシャッターレリーズボタンが押されていない場合は、動画撮影を開始しないと判断され、ステップＳ１０１に戻り、現在のフォーカスレンズ２１２のレンズ位置で、再度、受光信号の取得が行われ（ステップＳ１０１）、取得された受光信号に基づいて、スルー画像の生成および表示が繰り返し行われる（ステップＳ１０４，Ｓ１０５）。
【００４２】
ステップＳ１０７では、現在のフォーカスレンズ２１２のレンズ位置で、センサ制御部１４１の制御に基づき、撮像素子１１０による画像の撮影が行われる。そして、現在のフォーカスレンズ２１２のレンズ位置で得られた受光信号が、カメラ制御部１５０およびセンサ制御部１４１へと送信される。続くステップＳ１０８では、ステップＳ１０２と同様に、フォーカスレンズ２１２の現在のレンズ位置などのレンズ情報が取得され、さらに、ステップＳ１０９では、ステップＳ１０３と同様に、絞り値などの撮影情報が取得される。
【００４３】
ステップＳ１１０では、カメラ制御部１５０により、被写体認識処理が行われる。ここで、図６は、本実施形態に係る被写体認識処理を示すフローチャートである。以下においては、図６を参照して、ステップＳ１１０の被写体認識処理について説明する。
【００４４】
まず、ステップＳ２０１では、カメラ制御部１５０により、ステップＳ１０７で得られた受光信号に基づいて、パンフォーカス画像が生成される。例えば、各マイクロレンズ１１１ａの中心に対応する光電変換素子１１２ａの位置を、撮像光学系の光軸に対するマイクロレンズ１１１ａの位置（像高）と、マイクロレンズ１１１ａからフォーカスレンズ２１２の瞳までの距離とから求め、各マイクロレンズ１１１ａの中心または中心周辺に対応する光電変換素子１１２ａの受光信号を抽出する。このように抽出された受光信号は、光電変換素子１１２ａに対応する絞りで撮像された信号であり、各マイクロレンズ１１１ａの中心または中心周辺に対応する光電変換素子１１２ａから抽出した受光信号を積算することで、パンフォーカス画像を生成することができる。
【００４５】
ステップＳ２０２では、カメラ制御部１５０により、ステップＳ２０１で生成されたパンフォーカス画像に基づいて、撮影シーンが認識され、認識されたシーンに基づいて、撮影画像中の主要な被写体が認識される。例えば、カメラ制御部１５０は、テンプレートマッチングなどにより、人物の顔を検出した場合、人物を撮影しているシーンと認識し、その人物の顔部分を主要な被写体として認識する。なお、シーンを認識する方法は、特に限定されず、上述した顔検出の他、パターンマッチング、あるいは色抽出などの公知の方法で行ってもよい。
【００４６】
ステップＳ２０３では、カメラ制御部１５０により、認識された被写体に対応する撮影画像中の領域が、被写体領域として検出される。例えば、カメラ制御部１５０は、ステップＳ２０２で人物の顔を主要な被写体と認識した場合に、この人物の顔部分に対応する撮影画像中の領域を被写体領域として検出する。これにより、ステップＳ１１０の被写体認識処理が終了する。
【００４７】
続いて、図５に戻り、ステップＳ１１１では、デフォーカス演算部１４２により、センサ制御部１４１から、ステップＳ１０７で得られた受光信号が取得され、取得された受光信号の中から、焦点検出用の信号が読み出される。ここで、デフォーカス演算部１４２は、撮影画像中の主要な被写体について焦点検出を行うため、撮影画像中の全ての領域のうち、ステップＳ１１０で設定された被写体領域に対応する受光信号を、焦点検出用の信号として読み出す。そして、デフォーカス演算部１４２により、被写体領域に対応する焦点検出用の信号に基づいて、瞳分割位相差検出方式による像ズレ量の演算が行われ、デフォーカス量ｄｆが算出される。
【００４８】
ステップＳ１１２では、カメラ制御部１５０により、ステップＳ１１１で算出されたデフォーカス量ｄｆに対応する像面位置、すなわち、デフォーカス量ｄｆに応じてフォーカスレンズ２１２を駆動した場合の駆動後のフォーカスレンズ２１２のレンズ位置における像面位置が求められる。そして、カメラ制御部１５０により、デフォーカス量ｄｆに対応する像面位置が、以下に説明する画像合成範囲内に存在するか否か判断される。
【００４９】
ここで、図７は、受光信号に基づいて合成可能な像面の範囲である画像合成範囲を説明するための図であり、光電変換素子アレイ１１２を構成する複数の光電変換素子１１２ａのうち特定の光電変換素子ｃ１に対してマイクロレンズ１１１ａを介して入射する光束を示す図である。なお、図７においては、光電変換素子アレイ１１２を構成する各光電変換素子１１２ａをａ１，ｂ１，ｃ１，ｄ１，ｅ１で示した。本実施形態に係る撮像装置によって得られる像の分解能は、画素の単位であるマイクロレンズ１つ分に相当する。そのため、分解能を保ったまま像を合成できる像面の範囲は、図７に示すように、光電変換素子１１２ａのマイクロレンズ１１１ａによる逆投影像の大きさが、マイクロレンズ１１１ａの有効径Ｄとほぼ同じになるマイクロレンズ１１１ａからの距離Ｌとすることができる。すなわち、マイクロレンズ１１１ａの有効径Ｄ（配列ピッチＰ＞Ｄ）と同じ大きさの範囲からの光がマイクロレンズ１１１ａを通過して１つの光電変換素子ｃ１に入射すれば、画素の単位であるマイクロレンズの大きさに相当する分解能を得ることができる。ここで、マイクロレンズ１１１ａを通過して１つの光電変換素子ｃ１に入射する光束の広がりが小さいほど距離Ｌ（画素の単位であるマイクロレンズの大きさに相当する分解能を得ることができる範囲）は大きくなる。光電変換素子ｃ１に入射する光束の広がりは、フォーカスレンズ２１２の瞳上の所定の領域を通過した光束の広がりに対応する。すなわち、光電変換素子ｃ１に入射する光束の広がりは、フォーカスレンズ２１２の開放Ｆ値に応じた値となる。そのため、画素の単位であるマイクロレンズの大きさに相当する分解能を得ることができる距離Ｌは、マイクロレンズ１１１ａの有効径Ｄ、フォーカスレンズ２１２の開放Ｆ値、および光電変換素子１１２ａの大きさに応じて決定される。本実施形態において、この距離Ｌを画像合成範囲し、この画像合成範囲内の像面位置であれば、撮影画像を合成することが可能となる。
【００５０】
そのため、ステップＳ１１２では、カメラ制御部１５０は、この画像合成範囲内に、デフォーカス量ｄｆに対応する像面位置が存在するか否かを判断し、この画像合成範囲内に、デフォーカス量ｄｆに対応する像面位置が存在すると判断した場合には、フォーカスレンズ２１２の現在のレンズ位置で得られた受光信号に基づいて、デフォーカス量ｄｆに対応する像面に焦点の合った撮影画像を合成することができるものと判断し、ステップＳ１１３に進む。一方、この画像合成範囲内に、デフォーカス量ｄｆに対応する像面位置が存在しないと判断した場合には、フォーカスレンズ２１２の現在のレンズ位置で得られた受光信号に基づいて、デフォーカス量ｄｆに対応する像面に焦点の合った撮影画像を合成することができないものと判断し、ステップＳ１１４に進む。
【００５１】
ここで、図８は、フォーカスレンズ２１２のレンズ位置と画像合成範囲との関係を説明するための図であり、フォーカスレンズ２１２の現在のレンズ位置に対応する像面位置を像面位置ａ０で、デフォーカス量ｄｆに対応する像面位置（主要な被写体に合焦する像面位置）を像面位置ｂ０で示している。図８に示す例において、フォーカスレンズ２１２が像面位置ａ０に対応するレンズ位置にある場合、合成可能な像面の範囲は画像合成範囲Ａとなる。すなわち、フォーカスレンズ２１２が像面位置ａ０に対応するレンズ位置にある場合、画像合成範囲Ａ内の像面位置であれば、後述する画像合成方法に従って、撮影画像を合成することができる。そのため、デフォーカス量ｄｆに対応する像面位置（主要な被写体に合焦する像面位置）が、画像合成範囲Ａ内に存在する場合、主要な被写体について焦点の合った画像を合成することができるものと判断され、ステップＳ１１３に進む。一方、フォーカスレンズ２１２が像面位置ａ０に対応するレンズ位置にある場合に、デフォーカス量ｄｆに対応する像面位置（主要な被写体に合焦する像面位置）が画像合成範囲Ａ内に存在しない場合（例えば、デフォーカス量ｄｆに対応する像面位置が図８中の像面位置ｂ０に存在する場合）は、主要な被写体について焦点の合った画像を合成することができないと判断され、ステップＳ１１４に進む。
【００５２】
ステップＳ１１３では、フォーカスレンズ２１２を駆動することなく、カメラ制御部１５０により、ステップＳ１０７で得られた受光信号に基づいて、デフォーカス量ｄｆに対応する像面位置に応じた画像が撮影画像として合成される。以下において、デフォーカス量ｄｆに対応する像面に焦点の合った画像を合成する方法について、図９〜図１１を参照しながら説明する。図９〜図１１は、本実施形態における画像合成方法の一例を説明するための図である。
【００５３】
図９に示す場面例では、マイクロレンズアレイ１１１からの像面の高さ（マイクロレンズアレイ１１１から距離）をＺとした場合に、像面の高さＺ＝０である位置に画像合成の対象となる被写体が存在する場合である。図９においては、撮像素子１１０の各光電変換素子アレイ１１２について、各光電変換素子アレイ１１２を構成する光電変換素子１１２ａのうち、５つの光電変換素子１１２ａに入射する各光線（マイクロレンズアレイ１１１を構成するマイクロレンズアレイ１１１ａの中心を通る主光線のみ）を示した。また、図９中においては、各光電変換素子１１２ａを識別するために、それぞれの光電変換素子１１２ａを、ａ１〜ｅ１、ａ２〜ｅ２、ａ３〜ｅ３、ａ４〜ｅ４、ａ５〜ｅ５で示すとともに、像面の高さＺ＝０における各座標Ｘ１、Ｘ２、Ｘ３、Ｘ４、Ｘ５のうち、Ｘ３からの射出光束（光線ｒ１、ｒ２、ｒ３、ｒ４、ｒ５）を実線で示し、それ以外のＸ１、Ｘ２、Ｘ４、Ｘ５からの射出光束を点線で示した（以下、図１０、図１１においても同様。）。
【００５４】
図９に示すように、像面の高さＺ＝０における座標Ｘ３からの射出光束（光線ｒ１、ｒ２、ｒ３、ｒ４、ｒ５）は、各光電変換素子ａ３、ｂ３、ｃ３、ｄ３、ｅ３、にそれぞれ入射する。そのため、像面の高さＺ＝０における座標Ｘ３における画素値Ｌ（Ｚ＝０、Ｘ３）は、これら光電変換素子ａ３、ｂ３、ｃ３、ｄ３、ｅ３における出力を合成することにより求めることができる（下記式（１）参照）。
Ｌ（Ｚ＝０、Ｘ３）＝Ｏｕｔ（ａ３）＋Ｏｕｔ（ｂ３）＋Ｏｕｔ（ｃ３）＋Ｏｕｔ（ｄ３）＋Ｏｕｔ（ｅ３） …（１）
【００５５】
また、同様に、座標Ｘ３に隣接する座標Ｘ４における画素値Ｌ（Ｚ＝０、Ｘ４）は、下記式（２）に従って求めることができる。
Ｌ（Ｚ＝０、Ｘ４）＝Ｏｕｔ（ａ４）＋Ｏｕｔ（ｂ４）＋Ｏｕｔ（ｃ４）＋Ｏｕｔ（ｄ４）＋Ｏｕｔ（ｅ４） …（２）
【００５６】
したがって、座標Ｘｉにおける画素値Ｌ（Ｚ＝０、Ｘｉ）は、下記式（３）に従って、それぞれ求めることができる。
Ｌ（Ｚ＝０、Ｘｉ）＝Ｏｕｔ（ａｉ）＋Ｏｕｔ（ｂｉ）＋Ｏｕｔ（ｃｉ）＋Ｏｕｔ（ｄｉ）＋Ｏｕｔ（ｅｉ） …（３）
【００５７】
なお、上記式（３）は、撮影者による指定絞り値が開放（開口サイズ最大）であったときに採用される式である。そのため、仮に、撮影者による指定絞り値が最大（開口サイズ最小）であったときには、光線ｒ１、ｒ２、ｒ３、ｒ４、ｒ５からなる光束を、光線ｒ３のみからなる光束に制限すればよいので、上記式（３）に代えて下記式（４）を採用すればよい（後述する図１０、図１１に示す場合においても同様。）。
Ｌ（Ｚ＝０、Ｘｉ）＝Ｏｕｔ（ｃｉ） …（４）
【００５８】
また、撮影者による指定絞り値が中間値（開口サイズ中間）であったときには、光線ｒ１、ｒ２、ｒ３、ｒ４、ｒ５からなる光束を、光線ｒ２、ｒ３、ｒ４のみからなる光束に制限すればよいので、上記式（３）に代えて下記式（５）を採用すればよい（後述する図１０、図１１に示す場合においても同様。）。
Ｌ（Ｚ＝０、Ｘｉ）＝Ｏｕｔ（ｂｉ）＋Ｏｕｔ（ｃｉ）＋Ｏｕｔ（ｄｉ） …（５）
【００５９】
なお、上記説明においては、或る１方向に並ぶ５つの光電変換素子ａ３、ｂ３、ｃ３、ｄ３、ｅ３のみに着目し、それら５つの光電変換素子の出力値の和をとったが、実際は、２方向に並ぶ２５個の光電変換素子の出力値の和をとる必要がある（後述する図１０、図１１に示す場合においても同様。）。
【００６０】
次いで、図１０に示すように、像面の高さＺ＝ｈ１である位置に画像合成の対象となる被写体が存在する場合について説明する。図１０に示すように、像面の高さＺ＝ｈ１における座標Ｘ３からの射出光束（光線ｒ１、ｒ２、ｒ３、ｒ４、ｒ５）は、図９の場合と異なり、各光電変換素子ａ１、ｂ２、ｃ３、ｄ４、ｅ５にそれぞれ入射する。そのため、像面の高さＺ＝ｈ１における座標Ｘ３における画素値Ｌ（Ｚ＝ｈ１、Ｘ３）は、これら光電変換素子ａ１、ｂ２、ｃ３、ｄ４、ｅ５における出力を合成することにより求めることができる（下記式（６）参照）。
Ｌ（Ｚ＝ｈ１、Ｘ３）＝Ｏｕｔ（ａ１）＋Ｏｕｔ（ｂ２）＋Ｏｕｔ（ｃ３）＋Ｏｕｔ（ｄ４）＋Ｏｕｔ（ｅ５） …（６）
【００６１】
さらに、図１１に示すように、像面の高さＺ＝ｈ２である位置に合成対象となる被写体が存在する場合について説明する。図１１に示すように、像面の高さＺ＝ｈ２における座標Ｘ３からの射出光束（光線ｒ１、ｒ２、ｒ３、ｒ４、ｒ５）は、図９、図１０の場合と異なり、複数の光電変換素子にまたがって入射することとなる。具体的には、図１１に示すように、光線ｒ１は光電変換素子ａ１、ｂ１に、光線ｒ２は光電変換素子ｂ２、ｃ２に、光線ｒ４は光電変換素子ｃ４、ｄ４に、光線ｒ５は光電変換素子ｄ５、ｅ５に、それぞれまたがって入射する。なお、光線ｒ３は、図１１に示すように光電変換素子ｃ３にのみ入射する。そのため、光線ｒ１に着目すると、光線ｒ１の光量は、光電変換素子ａ１の出力値Ｏｕｔ（ａ１）と、光電変換素子ｂ１の出力値Ｏｕｔ（ｂ１）との重み付け和によって求めることができる（下記式（７）参照）。ここで、下記式（７）において、ｗ１１、ｗ１２は、重み係数であり、マイクロレンズアレイ１１１からの像面の高さＺに応じて決まる係数である。
Ｏｕｔ（ａ１）×ｗ１１＋Ｏｕｔ（ｂ１）×ｗ１２ …（７）
【００６２】
そして、光線ｒ２、光線ｒ４、光線ｒ５の光量も、同様に重み付け和によって求めることができるため、像面の高さＺ＝ｈ２における座標Ｘ３における画素値Ｌ（Ｚ＝ｈ２、Ｘ３）は、下記式（８）に従って求めることができる。なお、下記式（８）において、ｗ２１、ｗ２２、ｗ４１、ｗ４２、ｗ５１、ｗ５２は、重み係数であり、マイクロレンズアレイ１１１からの像面の高さＺに応じて決まる係数である。
Ｌ（Ｚ＝ｈ２、Ｘ３）＝〔Ｏｕｔ（ａ１）×ｗ１１＋Ｏｕｔ（ｂ１）×ｗ１２〕＋〔Ｏｕｔ（ｂ２）×ｗ２１＋Ｏｕｔ（ｃ２）×ｗ２２〕＋Ｏｕｔ（ｃ３）＋〔Ｏｕｔ（ｃ４）×ｗ４１＋Ｏｕｔ（ｄ４）×ｗ４２〕＋〔Ｏｕｔ（ｄ５）×ｗ５１＋Ｏｕｔ（ｅ５）×ｗ５２〕 …（８）
【００６３】
このように、画像合成の対象となる被写体が存在する像面位置Ｚに応じて、被写体からの光束の入射する光電変換素子１１２ａ、および画像合成に必要な重み付け係数の値が決まってくることとなる。なお、各像面位置Ｚに対応する、被写体からの光束の入射する光電変換素子１１２ａ、および画像合成に必要な重み付け係数の値は、たとえば、カメラ制御部１５０に備えるメモリなどに予め記憶させておき、これを利用するような構成とすればよい。
【００６４】
以上のように、カメラ制御部１５０は、複数の光電変換素子１１２ａから得られた受光信号に基づいて、デフォーカス量ｄｆに対応する像面（像面位置Ｚ）に焦点の合った撮影画像を合成することができる。そこで、ステップＳ１１３において、カメラ制御部１５０は、上述した画像合成方法に従って、デフォーカス量ｄｆに対応する像面（像面位置Ｚ）に焦点の合った撮影画像を合成する。
【００６５】
一方、ステップＳ１１２において、画像合成範囲内に、デフォーカス量ｄｆに対応する像面位置が存在しないと判断された場合は、ステップＳ１１４に進む。ステップＳ１１４では、レンズ駆動量演算部１４３により、デフォーカス演算部１４２から送信されたデフォーカス量ｄｆの取得が行われ、取得されたデフォーカス量ｄｆに基づいて、フォーカスレンズ２１２のレンズ駆動量ΔＷ（レンズ目標位置に相当する）の演算が行われる。そして、レンズ駆動量ΔＷが、レンズ駆動量演算部１４３からカメラ制御部１５０に出力される。
【００６６】
ステップＳ１１５では、レンズ駆動量演算部１４３により決定されたレンズ駆動量ΔＷが、カメラ制御部１５０からレンズ制御部２５０に送信される。そして、レンズ制御部２５０は、レンズ駆動量ΔＷに応じて、レンズ駆動モータ２３０を駆動させ、これにより、フォーカスレンズ２１２を駆動させる。
【００６７】
ステップＳ１１６では、駆動後のフォーカスレンズ２１２のレンズ位置で、センサ制御部１４１の制御に基づき、撮像素子１１０による画像の撮影が行われる。そして、駆動後のフォーカスレンズ２１２のレンズ位置で得られた受光信号が、カメラ制御部１５０へと送信される。続くステップＳ１１７では、ステップＳ１０２と同様に、駆動後のフォーカスレンズ２１２のレンズ位置などのレンズ情報が取得され、さらに、ステップＳ１１８では、ステップＳ１０３と同様に、絞り値などの撮影情報が取得される。
【００６８】
そして、ステップＳ１１９では、駆動後のフォーカスレンズ２１２のレンズ位置で得られた受光信号に基づいて、ステップＳ１１３と同様の画像合成方法に従って、ステップＳ１１１で演算されたデフォーカス量ｄｆに対応する像面位置、すなわち、主要な被写体に合焦する像面位置の画像が、撮影画像として合成される。
【００６９】
例えば、図８に示す例において、フォーカスレンズ２１２が像面位置ａ０に対応するレンズ位置にあり、かつ、主要な被写体に合焦する像面位置（デフォーカス量ｄｆに対応する像面位置）が画像合成範囲Ａ内に存在しない場合（ステップＳ１１２＝ＮＯ）、例えば、主要な被写体に合焦する像面位置（デフォーカス量ｄｆに対応する像面位置）が像面位置ｂ０に存在する場合には、次のように動作することとなる。すなわち、まず、主要な被写体に合焦する像面位置ｂ０（デフォーカス量ｄｆに対応する像面位置ｂ０）に対応するレンズ位置までフォーカスレンズ２１２が駆動され（ステップＳ１１５）、駆動後のレンズ位置で、画像の撮影が行なわれ（ステップＳ１１６）、その結果得られた受光信号に基づいて、主要な被写体に合焦する像面（像面位置ｂ０）に焦点の合った撮影画像の合成が行なわれる（ステップＳ１１９）。このように本実施形態においては、主要な被写体に合焦する像面位置が画像合成範囲Ａにないと判断された場合には（ステップＳ１１２＝ＮＯ）、フォーカスレンズ２１２を像面位置ｂ０に対応するレンズ位置まで駆動し、駆動後のレンズ位置で、画像の撮影を行なうことにより、撮影の結果得られた受光信号に基づく画像合成範囲を、図８に示す画像合成範囲Ｂとすることができ、これにより、像面位置ｂ０を含む画像合成範囲Ｂの任意の像面位置に対応する画像の合成が可能となる。
【００７０】
ステップＳ１２０では、ステップＳ１１９で合成された撮影画像が、液晶モニタ１２０のディスプレイに表示されるとともに、メモリ１６０に記録される。これにより、撮影者は、主要な被写体について焦点の合った撮影画像を得ることができる。
【００７１】
そして、ステップＳ１２１では、カメラ制御部１５０により、動画撮影を終了するか判断される。例えば、動画撮影中に、撮影者により操作部１３０のシャッターレリーズボタンが押された場合、動画撮影を終了すると判断され、この処理が終了される。一方、動画撮影中に、操作部１３０のシャッターレリーズボタンが押されていない場合、動画撮影を継続すると判断され、ステップＳ１０６に戻り、画像の撮影および撮影画像の合成が繰り返し行われる。
【００７２】
このように、本実施形態においては、例えば、動画撮影モードで動画撮影を行っている間、画像合成範囲内に被写体に合焦する像面位置が存在するか否かを判断し、画像合成範囲内に被写体に合焦する像面位置が存在する場合には（ステップＳ１１２＝ＹＥＳ）、フォーカスレンズ２１２を駆動させることなく、被写体に合焦する像面位置において撮影画像の合成を行う（ステップＳ１１３）。一方、被写体に合焦する像面位置が画像合成範囲内に存在しない場合には、デフォーカス量ｄｆに応じてフォーカスレンズ２１２を駆動させ（ステップＳ１１４）、駆動後のフォーカスレンズ位置で得られた受光信号に基づいて、被写体に合焦する像面位置の撮影画像の合成を行う（ステップＳ１１４）。そして、これらの処理を動画撮影中繰り返し行う。これにより、本実施形態では、画像合成範囲内に被写体に合焦する像面位置が存在する場合であっても、また、被写体までの撮影距離が変化し、被写体に合焦する像面位置が画像合成範囲内から外れる場合であっても、被写体に対応する像面に焦点の合った撮像画像の合成を行うことができるため、被写体について焦点の合った撮影画像を連続的に得ることができる。
【００７３】
以上のように、本実施形態では、画像合成範囲内に被写体に合焦する像面位置が存在する場合には、フォーカスレンズ２１２を駆動することなく、被写体に合焦する像面位置に対応する撮像画像の合成を行うことで、被写体について焦点の合った画像を得ることができる。また、被写体に合焦する像面位置が画像合成範囲内に存在しない場合には、フォーカスレンズ２１２の駆動を行い、駆動後のフォーカスレンズ位置で得られた受光信号に基づいて、被写体に合焦する像面位置の撮影画像の合成を行うことで、被写体について焦点の合った画像を得ることができる。このように、本実施形態では、被写体について焦点の合った画像を適切に得られることを可能としつつ、被写体に合焦する像面位置が画像合成範囲内に存在しない場合のみ、フォーカスレンズ２１２の駆動を行うことで、フォーカスレンズ２１２の駆動頻度を低減し、これにより、フォーカスレンズ２１２の駆動による消費電力や、レンズ駆動音の発生を低減することができる。
【００７４】
なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
【００７５】
例えば、本実施形態のステップＳ１１５では、デフォーカス量ｄｆに応じたレンズ駆動量ΔＷだけ、フォーカスレンズ２１２を駆動しているが、フォーカスレンズ２１２を駆動する位置はデフォーカス量ｄｆに応じたレンズ位置に限られず、例えば、以下に説明するように、主要な被写体に合焦する像面位置が存在し、かつ、主要な被写体以外の他の被写体に合焦する像面位置も多く存在する画像合成範囲をとるレンズ位置に、フォーカスレンズ２１２を駆動する構成としてもよい。
【００７６】
図１２は、他の実施形態におけるフォーカスレンズ２１２のレンズ位置の決定方法を説明するための図である。なお、図１２においては、図８と同様に、フォーカスレンズ２１２の現在のレンズ位置に対応する像面位置を像面位置ａ０で、主要な被写体に合焦する像面位置を像面位置ｂ０で示している。例えば、図１２に示す例では、撮影画面中の被写体領域以外の複数の領域についてもデフォーカス量ｄｆが算出され、撮影画像中の各領域におけるデフォーカス量ｄｆの分布が求められる。ここで、図１２において、撮像画像中の各領域において算出されたデフォーカス量ｄｆに対応する像面位置を、白抜きの丸印で示している。すなわち、図１２中の白抜きの丸印は、撮影画像中の各領域において算出したデフォーカス量ｄｆの分布を示している。図１２に示す例では、このデフォーカス量ｄｆの分布に基づいて、図１２において像面位置ｃ０に対応するレンズ位置が、主要な被写体に合焦する像面位置ｂ０が存在し、かつ、主要な被写体以外の被写体に合焦する像面位置が最も多く存在する画像合成範囲をとるレンズ位置として求められる。そして、この像面位置ｃ０に対応するレンズ位置に、フォーカスレンズ２１２が駆動される。図１２に示すように、フォーカスレンズ位置を撮影画像中の各領域のデフォーカス量ｄｆの分布に基づいて決定された像面位置ｃ０に対応するレンズ位置とすることで、主要な被写体に合焦する像面位置ｂ０に加えて、主要な被写体以外の他の被写体に合焦する像面位置が多く存在する画像合成範囲（図１２中の画像合成範囲Ｃ）を得ることができる。よって、撮影画像中の各領域のデフォーカス量ｄｆの分布に基づく像面位置ｃ０に対応するレンズ位置に、フォーカスレンズ２１２を駆動することで、主要な被写体について焦点の合った撮影画像が得られることに加えて、これら主要な被写体以外の多数の被写体について焦点の合った撮影画像も得ることも可能となる。
【００７７】
また、本実施形態のステップＳ１１５では、デフォーカス量ｄｆに応じたレンズ駆動量ΔＷだけ、フォーカスレンズ２１２を駆動しているが、デフォーカス量ｄｆに応じた像面位置が画像合成範囲内となる任意のレンズ位置にフォーカスレンズ２１２を駆動する構成としてもよい。例えば、レンズ駆動速度が比較的速いフォーカスレンズ２１２では、デフォーカス量ｄｆに対応するレンズ位置までフォーカスレンズ２１２を駆動させ、一方、レンズ駆動速度が比較的遅いフォーカスレンズ２１２では、デフォーカス量ｄｆに対応する像面位置が画像合成範囲に存在し、かつ、現在のフォーカスレンズ２１２のレンズ位置からのレンズ駆動量ΔＷが最も小さいレンズ位置までフォーカスレンズ２１２を駆動する構成としてもよい。
【００７８】
加えて、本実施形態では、動画撮影中に撮像画像の合成を行う構成としているが、これに限定されるものではなく、例えば、動画撮影中には、受光信号の取得と、取得した受光信号の記憶のみ行い、動画撮影後に撮像画像を再生する際に、記憶された受光信号に基づいて、デフォーカス量ｄｆを算出し、デフォーカス量ｄｆに対応する像面位置における撮像画像を合成して、動画像として再生する構成としてもよい。
【００７９】
また、本実施形態では、カメラ１において撮影画像の合成を行っているが、撮影画像の合成を行うのはカメラに限定されるものではなく、例えば、カメラ１において、受光信号を取得し、取得した受光信号を出力するとともに、カメラ１以外の他の装置、例えば、画像を再生するための画像再生装置において、カメラ１により出力された受光信号を取得し、取得した受光信号基づいて、デフォーカス量ｄｆを算出し、デフォーカス量ｄｆに対応する像面位置における再生画像の合成を行う構成としてもよい。さらに、カメラ１において、所定のフレームレートで撮像された複数の受光信号が出力され、カメラ１以外の他の装置において、所定のフレームレートで撮像された複数の受光信号が取り込まれた場合に、あるフレームに対応する受光信号に基づく画像合成範囲において、デフォーカス量ｄｆに対応する像面位置が存在しないと判断した場合には、次のフレームに対応する受光信号に基づく画像合成範囲内に、デフォーカス量ｄｆに対応する像面位置が存在しないか判断し、画像合成範囲内にデフォーカス量ｄｆに対応する像面位置が存在すると判断された場合に、撮影画像の合成を行う構成としてもよい。
【００８０】
なお、本実施形態のカメラ１は特に限定されず、例えば、デジタルビデオカメラ、一眼レフデジタルカメラ、レンズ一体型のデジタルカメラ、携帯電話用のカメラなどのその他の光学機器に本発明を適用してもよい。
【符号の説明】
【００８１】
１…カメラ
１００…カメラボディ
１１０…撮像素子
１１１…マイクロレンズアレイ
１１１ａ…マイクロレンズ
１１２…光電変換素子アレイ
１１２ａ…光電変換素子
１２０…液晶モニタ
１３０…操作部
１４１…センサ制御部
１４２…デフォーカス演算部
１４３…レンズ駆動量演算部
１５０…カメラ制御部
１６０…メモリ
２００…レンズ鏡筒
２１２…フォーカスレンズ
２２０…絞り
２３０…レンズ駆動モータ
２４０…絞り駆動部
２５０…レンズ制御部
【技術分野】
【０００１】
本発明は、撮像装置および画像再生装置に関するものである。
【背景技術】
【０００２】
従来より、動画撮影が可能な撮像装置が知られている。このような撮像装置において、被写体について焦点の合った画像を連続的に撮影するため、動画撮影中に、フォーカスレンズを駆動して、焦点調節を繰り返し行う技術が開示されている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２８７０５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術は、焦点調節のために、動画撮影中にフォーカスレンズを常に駆動させる必要があり、フォーカスレンズを常に駆動することで、消費電力が増大し、またレンズ駆動音（異音）が多数発生し、このようなレンズ駆動音がノイズとして多数録音されてしまうという問題があった。
【０００５】
本発明が解決しようとする課題は、フォーカスレンズの駆動頻度を低減しつつ、被写体に焦点の合った画像を適切に得ることができる撮像装置を提供することである。
【課題を解決するための手段】
【０００６】
この発明は、以下の解決手段によって上記課題を解決する。なお、発明の実施形態を示す図面に対応する符号を付して説明するが、この符号は発明の理解を容易にするためだけのものであって発明を限定する趣旨ではない。
【０００７】
［１］本発明に係る撮像装置は、複数のマイクロレンズ（１１１ａ）を二次元状に配列したマイクロレンズアレイ（１１１）と、前記複数のマイクロレンズに対して設けられた複数の光電変換素子（１１２ａ）とを有し、前記マイクロレンズを介して光学系からの光束を受光して得られる複数の受光信号を出力する受光手段（１１０）と、前記受光信号に基づいて、前記光学系による像面と前記受光手段の受光面とのずれ量を検出する検出手段（１４２）と、前記ずれ量に基づいて、前記光学系を焦点調節する焦点調節手段（１５０）と、前記ずれ量に対応する像面が、前記受光信号に基づく画像を生成可能な像面の範囲に含まれる場合に、前記複数の受光信号のうち前記ずれ量に応じて選択された受光信号に基づいて、前記ずれ量に対応する像面の画像を生成して、表示する制御手段（１５０）と、を備えることを特徴とする。
【０００８】
［２］上記撮像装置に係る発明において、前記焦点調節手段（１５０）は、前記ずれ量に対応する像面が、前記画像を生成可能な像面の範囲に含まれない場合に、前記ずれ量に応じて、前記光学系を焦点調節するように構成することができる。
【０００９】
［３］上記撮像装置に係る発明において、前記光学系による像のうち、特定の対象の像を認識する認識手段（１５０）をさらに備え、前記検出手段（１５０）は、前記認識手段によって認識された像に対する前記ずれ量を検出するように構成することができる。
【００１０】
［４］上記撮像装置に係る発明において、前記画像を生成可能な像面の範囲は、前記マイクロレンズ（１１１ａ）の有効径、前記マイクロレンズの開放Ｆ値、および前記光電変換素子（１１２ａ）の大きさに基づくものとであるように構成することができる。
【００１１】
［５］上記撮像装置に係る発明において、前記受光信号に基づいて動画を撮像する撮像手段をさらに備えるように構成することができる。
【００１２】
［６］本発明に係る画像再生装置は、特定の焦点状態における光学系からの光束を受光して得られる複数の受光信号を入力する入力手段と、前記受光信号に基づいて、特定の焦点状態における前記光学系による像面位置を検出する検出手段と、前記像面位置が、前記受光信号に基づく画像を生成可能な像面の範囲に含まれる場合に、前記複数の受光信号のうち前記像面位置に応じて選択された受光信号に基づいて前記像面位置の画像を生成して表示する制御手段と、を備えることを特徴とする。
【００１３】
［７］上記画像再生装置に係る発明において、前記入力手段は、前記像面位置が、前記画像を生成可能な像面の範囲に含まれない場合に、前記前記特定の焦点状態とは異なる焦点状態における前記光学系からの光束を受光して得られた受光信号を入力するように構成することができる。
【発明の効果】
【００１４】
本発明によれば、フォーカスレンズの駆動頻度を低減しつつ、被写体に焦点の合った画像を適切に得ることができる。
【図面の簡単な説明】
【００１５】
【図１】図１は、本実施形態に係るカメラ１の構成を示すブロック図である。
【図２】図２は、図１に示す撮像素子１１０を構成する画素配列の一例を示す平面図である。
【図３】図３は、図２に示すIII部分の拡大図である。
【図４】図４は、撮像素子１１０の構成を説明するための図である。
【図５】図５は、本実施形態に係るカメラ１の動作を示すフローチャートである。
【図６】図６は、ステップＳ１１０の被写体認識処理を説明するためのフローチャートである。
【図７】図７は、マイクロレンズ１１１ａを介して、光電変換素子アレイ１１２を構成する複数の光電変換素子１１２ａのうち、特定の光電変換素子ｃ１に入射する光束の一例を示す図である。
【図８】図８は、フォーカスレンズ２１２のレンズ位置と画像合成範囲との関係を説明するための図である。
【図９】図９は、被写体の存在位置に対応する像面が、特定の面（Ｚ＝０）であるときの画像合成方法の一例を説明するための図である。
【図１０】図１０は、被写体の存在位置に対応する像面が、特定の面（Ｚ＝ｈ１）であるときの画像合成方法の一例を説明するための図である。
【図１１】図１１は、被写体の存在位置に対応する像面が、特定の面（Ｚ＝ｈ２）であるときの画像合成方法の一例を説明するための図である。
【図１２】図１２は、他の実施形態におけるフォーカスレンズ２１２のレンズ位置の決定方法を説明するための図である。
【発明を実施するための形態】
【００１６】
以下、本発明の実施形態を図面に基づいて説明する。図１は、本実施形態に係るカメラ１を示すブロック図であり、本発明の撮像装置に関する構成以外のカメラの一般的構成については、その図示と説明を一部省略する。
【００１７】
本実施形態のカメラ１は、図１に示すように、カメラボディ１００とレンズ鏡筒２００とを備え、静止画および動画の撮影が可能となっている。
【００１８】
レンズ鏡筒２００には、レンズ２１１，２１２，２１３、および絞り２２０を含む撮影光学系が内蔵されている。
【００１９】
フォーカスレンズ２１２は、レンズ鏡筒２００の光軸Ｌ１に沿って移動可能に設けられ、エンコーダ２６０によってその位置が検出されつつレンズ駆動モータ２３０によってその位置が調節される。
【００２０】
このフォーカスレンズ２１２の光軸Ｌ１に沿う移動機構の具体的構成は特に限定されない。一例を挙げれば、レンズ鏡筒２００に固定された固定筒に回転可能に回転筒を挿入し、この回転筒の内周面にヘリコイド溝（螺旋溝）を形成するとともに、フォーカスレンズ２１２を固定するレンズ枠の端部をヘリコイド溝に嵌合させる。そして、レンズ駆動モータ２３０によって回転筒を回転させることで、レンズ枠に固定されたフォーカスレンズ２１２が光軸Ｌ１に沿って直進移動することになる。なお、レンズ鏡筒２００にはフォーカスレンズ２１２以外のレンズ２１１，２１３が設けられているが、ここではフォーカスレンズ２１２を例に挙げて本実施形態を説明する。
【００２１】
上述したようにレンズ鏡筒２００に対して回転筒を回転させることによりレンズ枠に固定されたフォーカスレンズ２１２は光軸Ｌ１方向に直進移動するが、その駆動源としてのレンズ駆動モータ２３０がレンズ鏡筒２００に設けられている。レンズ駆動モータ２３０と回転筒とは、たとえば複数の歯車からなる変速機で連結され、レンズ駆動モータ２３０の駆動軸を何れか一方向へ回転駆動すると所定のギヤ比で回転筒に伝達され、そして、回転筒が何れか一方向へ回転することで、レンズ枠に固定されたフォーカスレンズ２１２が光軸Ｌ１の何れかの方向へ直進移動することになる。なお、レンズ駆動モータ２３０の駆動軸が逆方向に回転駆動すると、変速機を構成する複数の歯車も逆方向に回転し、フォーカスレンズ２１２は光軸Ｌ１の逆方向へ直進移動することになる。
【００２２】
フォーカスレンズ２１２の位置はエンコーダ２６０によって検出される。既述したとおり、フォーカスレンズ２１２の光軸Ｌ１方向の位置は回転筒の回転角に相関するので、たとえばレンズ鏡筒２００に対する回転筒の相対的な回転角を検出すれば求めることができる。
【００２３】
本実施形態のエンコーダ２６０としては、回転筒の回転駆動に連結された回転円板の回転をフォトインタラプタなどの光センサで検出して、回転数に応じたパルス信号を出力するものや、固定筒と回転筒の何れか一方に設けられたフレキシブルプリント配線板の表面のエンコーダパターンに、何れか他方に設けられたブラシ接点を接触させ、回転筒の移動量（回転方向でも光軸方向の何れでもよい）に応じた接触位置の変化を検出回路で検出するものなどを用いることができる。
【００２４】
フォーカスレンズ２１２は、上述した回転筒の回転によってカメラボディ１００側の端部（至近端ともいう）から被写体側の端部（無限端ともいう）までの間を光軸Ｌ１方向に移動することができる。ちなみに、エンコーダ２６０で検出されたフォーカスレンズ２１２の現在位置情報は、レンズ制御部２５０を介して後述するカメラ制御部１５０へ送出される。そして、フォーカスレンズ２１２の位置情報に基づいて算出されたフォーカスレンズ２１２の駆動量が、カメラ制御部１５０からレンズ制御部２５０を介して送出され、これに基づいて、レンズ駆動モータ２３０は駆動する。
【００２５】
絞り２２０は、撮影光学系を通過して、カメラボディ１００に備えられた撮像素子１１０に至る光束の光量を制限するとともにボケ量を調整するために、光軸Ｌ１を中心にした開口径が調節可能に構成されている。絞り２２０による開口径の調節は、たとえば自動露出モードにおいて演算された適切な開口径が、カメラ制御部１５０からレンズ制御部２５０を介して送出されることにより行われる。また、カメラボディ１００に設けられた操作部１３０を介したマニュアル操作により設定された開口径が、カメラ制御部１５０からレンズ制御部２５０に入力される。絞り２２０の開口径は図示しない絞り開口センサにより検出され、レンズ制御部２５０で現在の開口径が認識される。
【００２６】
一方、カメラボディ１００には、被写体からの光束を受光する撮像素子１１０が、光軸Ｌ１上であって、撮影光学系の予定焦点面に設けられている。撮像素子１１０は二次元ＣＣＤイメージセンサ、ＭＯＳセンサまたはＣＩＤなどのデバイスから構成され、受光した光信号を受光信号に変換する。ここで、図２は撮像素子１１０を構成する画素配列の一例を示す平面図であり、図３は図２に示すIII部分の拡大図である。図２に示すように、撮像素子１１０は、複数のマイクロレンズ１１１ａを二次元状に稠密に配列したマイクロレンズアレイ１１１を備えており、マイクロレンズアレイ１１１は、撮影光学系の予定焦点面となる位置またはその近傍に設定される。また、図３に示すように、撮像素子１１０は、各マイクロレンズ１１１ａに対して、複数の光電変換素子１１２ａから構成される各光電変換素子アレイ１１２を有している。なお、図３において、光電変換素子アレイ１１２を構成する光電変換素子１１２ａの数（画素密度）は、縦方向および横方向ともに５個となっているが、これらの数は、特に限定されるものではない。
【００２７】
さらに、図４は、撮像素子１１０の構成を説明するための図であり、図３と同様に、図２のIII部分を拡大した斜視図である。図４に示すように、光電変換素子アレイ１１２は、マイクロレンズアレイ１１１の後方に配置されおり、マイクロレンズアレイ１１１と光電変換素子アレイ１１２との間には、マイクロレンズ１１１ａの焦点距離に対応する間隔が設けられている。被写体からの光束（光軸Ｌ１）は、まずマイクロレンズ１１１ａへと入射され、マイクロレンズ１１１ａを通過して光電変換素子１１２ａで受光される。そして、各光電変換素子１１２ａにより受光された光束に基づく受光信号は、センサ制御部１４１に送信される。なお、撮像素子１１０からセンサ制御部１４１に送信される受光信号は、センサ制御部１４１からカメラ制御部１５０に送信され、画像データに変換されてメモリ１６０に保存される他、デフォーカス演算部１４２によるデフォーカス演算に用いられる。
【００２８】
センサ制御部１４１は、光電変換素子アレイ１１２を構成する各光電変換素子１１２ａによる受光信号の受光の制御や、各光電変換素子１１２ａにより受光する受光信号が適切なものとなるように、ゲインや蓄積時間を制御する。また、センサ制御部１４１は、撮像素子１１０から受光信号を受信し、受信した受光信号をカメラ制御部１５０およびデフォーカス演算部１４２に送信する。
【００２９】
デフォーカス演算部１４２は、センサ制御部１４１から受光信号を受信し、受信した受光信号の一部を焦点検出用の信号として読み出す。本実施形態では、撮影画像中の全ての領域のうち、後述する撮影画像中の主要な被写体について焦点検出を行うため、デフォーカス演算部１４２は、撮影画像中の全ての領域ではなく、主要な被写体に対応する撮影画像中の領域（以下、被写体領域ともいう。）に相当するマイクロレンズ１１１ａに対応する各光電変換素子１１２ａから出力された受光信号を、焦点検出用の信号として読み出す。
【００３０】
ここで、上述したようにマイクロレンズアレイ１１１（各マイクロレンズ１１１ａ）は、撮影光学系の予定焦点面となる位置またはその近傍に配置されており、このマイクロレンズアレイ１１１（各マイクロレンズ１１１ａ）の後ろ側に配置されている光電変換素子アレイ１１２（各光電変換素子１１２ａ）には、各マイクロレンズ１１１ａによって撮影光学系の瞳像が結像される。そして、光電変換素子アレイ１１２を構成する各光電変換素子１１２ａは、瞳の各部分に対応することから、マイクロレンズ１１１ａごとに光電変換素子１１２ａを選択してその出力を合成すれば、光電変換素子１１２ａに対応する絞りで撮影された画像が得られることになる。したがって、本実施形態においては、デフォーカス演算部１４２により、瞳の各部分に対応する光電変換素子１１２ａの出力を合成し、得られた画像を用いて、主要な被写体に対応する被写体領域について、瞳分割位相差検出方式による像ズレ量の演算を行うことで、被写体領域における像ズレ量をデフォーカス量ｄｆとして求めることができる。そして、デフォーカス演算部１４２は、求めたデフォーカス量ｄｆをカメラ制御部１５０およびレンズ駆動量演算部１４３に送信する。
【００３１】
レンズ駆動量演算部１４３は、デフォーカス演算部１４２から送られてきたデフォーカス量ｄｆに基づいて、フォーカスレンズ２１２の駆動量ΔＷの演算を行い、これをカメラ制御部１５０へ出力する。
【００３２】
液晶モニタ１２０は、カメラボディ１００の背面に設けられ、撮像素子１１０により得られた受光信号に基づく画像を、液晶モニタ１２０が備えるディスプレイに表示する。
【００３３】
操作部１３０は、シャッターレリーズボタン、および撮影者がカメラ１の各種動作モードを設定するための入力スイッチを備えており、操作部１３０により、静止画撮影モード／動画撮影モード、オートフォーカスモード／マニュアルフォーカスモードの切換が行えるようになっている。また、動画撮影モードが選択されている場合に、撮影者によりシャッターレリーズボタンが押されることで、動画撮影の開始動作および終了動作が行なわれるようになっている。
【００３４】
カメラ制御部１５０は、マイクロプロセッサとメモリなどの周辺部品から構成され、撮像素子１１０から送信された受光信号を取得し、取得した受光信号に基づき、スルー画像の生成や、後述する画像合成方法より、撮影画像の合成を行う。さらに、カメラ制御部１５０は、被写体に合焦する像面位置の検出を行い、検出結果に基づいて、レンズ制御部２５０を介して、フォーカスレンズ２１２の駆動を制御する。なお、合成された撮像画像は、カメラ制御部１５０から液晶モニタ１２０に送信され、液晶モニタ１２０のディスプレイに表示されるとともに、メモリ１６０へと送信され、メモリ１６０に保存される。
【００３５】
また、カメラ制御部１５０は、撮像素子１１０で得られた受光信号に基づいて、撮影シーンを認識し、認識されたシーンに基づいて、撮影画像中の主要な被写体の認識を行う。そして、カメラ制御部１５０は、撮影画像中の主要な被写体を認識した場合に、主要な被写体に対応する撮影画像中の領域を被写体領域として設定する。
【００３６】
次に、本実施形態に係るカメラ１の動作例を説明する。以下においては、図５に示すフローチャートに基づいて、撮影者により操作部１３０を介して、動画撮影モードが選択されている場合における処理について説明する。図５は、本実施形態に係るカメラ１の動作を示すフローチャートである。
【００３７】
まず、ステップＳ１０１では、センサ制御部１４１からの信号に基づき、撮像素子１１０により、撮影光学系からの光束の受光が行われ、スルー画像表示用の撮影が行われる。そして、撮像素子１１０から、各光電変換素子１１２ａに応じた信号が、センサ制御部１４１に送信され、センサ制御部１４１に送信された信号が、カメラ制御部１５０により読み出される。
【００３８】
ステップＳ１０２では、カメラ制御部１５０により、レンズ制御部２５０からレンズ情報が取得される。レンズ情報には、フォーカスレンズ２１２のレンズ位置、焦点距離、および開放Ｆ値などの情報が含まれる。続くステップＳ１０３では、カメラ制御部１５０により、撮影情報の取得が行われる。撮影情報は、撮影時の撮影条件などの情報であり、例えば、絞り値、ＩＳＯ感度、ゲイン、ホワイトバランスなどの情報が含まれる。カメラ制御部１５０は、例えば、センサ制御部１４１からＩＳＯ感度、ゲイン、ホワイトバランスなどの情報を取得し、また、カメラ制御部１５０が備えるメモリから絞り値を取得することができる。これらレンズ情報および撮影情報は、カメラ制御部１５０による受光信号の読み出し（ステップＳ１０１）、およびカメラ制御部１５０によるスルー画像の生成（ステップＳ１０４）に用いられる。
【００３９】
ステップＳ１０４では、カメラ制御部１５０により、ステップＳ１０１で取得した受光信号に基づき、スルー画像が生成される。なお、カメラ制御部１５０は、ステップＳ１０４においてスルー画像を生成する際に、ステップＳ１０２，Ｓ１０３で取得したレンズ情報および撮影情報を用いることができる。例えば、絞り値が最大（開口サイズ最小）に設定されている場合、カメラ制御部１５０は、ステップＳ１０３において、最大（開口サイズ最小）に設定されている絞り値を取得し、ステップＳ１０４において、この絞り値に基づいて、焦点深度の深いパンフォーカス画像をスルー画像として生成する。
【００４０】
続くステップＳ１０５では、生成されたスルー画像が、液晶モニタ１２０に送信され、液晶モニタ１２０の備えるディスプレイに表示される。なお、ステップＳ１０５においては、スルー画像を表示することに加えて、ステップＳ１０４で生成されたスルー画像をメモリ１６０に記憶する構成としてもよい。
【００４１】
ステップＳ１０６では、カメラ制御部１５０により、動画撮影を開始するか否か判断される。例えば、動画撮影モードにおいて、撮影者により操作部１３０のシャッターレリーズボタンが押された場合、動画撮影を開始すると判断され、ステップＳ１０７に進む。一方、撮影者により操作部１３０のシャッターレリーズボタンが押されていない場合は、動画撮影を開始しないと判断され、ステップＳ１０１に戻り、現在のフォーカスレンズ２１２のレンズ位置で、再度、受光信号の取得が行われ（ステップＳ１０１）、取得された受光信号に基づいて、スルー画像の生成および表示が繰り返し行われる（ステップＳ１０４，Ｓ１０５）。
【００４２】
ステップＳ１０７では、現在のフォーカスレンズ２１２のレンズ位置で、センサ制御部１４１の制御に基づき、撮像素子１１０による画像の撮影が行われる。そして、現在のフォーカスレンズ２１２のレンズ位置で得られた受光信号が、カメラ制御部１５０およびセンサ制御部１４１へと送信される。続くステップＳ１０８では、ステップＳ１０２と同様に、フォーカスレンズ２１２の現在のレンズ位置などのレンズ情報が取得され、さらに、ステップＳ１０９では、ステップＳ１０３と同様に、絞り値などの撮影情報が取得される。
【００４３】
ステップＳ１１０では、カメラ制御部１５０により、被写体認識処理が行われる。ここで、図６は、本実施形態に係る被写体認識処理を示すフローチャートである。以下においては、図６を参照して、ステップＳ１１０の被写体認識処理について説明する。
【００４４】
まず、ステップＳ２０１では、カメラ制御部１５０により、ステップＳ１０７で得られた受光信号に基づいて、パンフォーカス画像が生成される。例えば、各マイクロレンズ１１１ａの中心に対応する光電変換素子１１２ａの位置を、撮像光学系の光軸に対するマイクロレンズ１１１ａの位置（像高）と、マイクロレンズ１１１ａからフォーカスレンズ２１２の瞳までの距離とから求め、各マイクロレンズ１１１ａの中心または中心周辺に対応する光電変換素子１１２ａの受光信号を抽出する。このように抽出された受光信号は、光電変換素子１１２ａに対応する絞りで撮像された信号であり、各マイクロレンズ１１１ａの中心または中心周辺に対応する光電変換素子１１２ａから抽出した受光信号を積算することで、パンフォーカス画像を生成することができる。
【００４５】
ステップＳ２０２では、カメラ制御部１５０により、ステップＳ２０１で生成されたパンフォーカス画像に基づいて、撮影シーンが認識され、認識されたシーンに基づいて、撮影画像中の主要な被写体が認識される。例えば、カメラ制御部１５０は、テンプレートマッチングなどにより、人物の顔を検出した場合、人物を撮影しているシーンと認識し、その人物の顔部分を主要な被写体として認識する。なお、シーンを認識する方法は、特に限定されず、上述した顔検出の他、パターンマッチング、あるいは色抽出などの公知の方法で行ってもよい。
【００４６】
ステップＳ２０３では、カメラ制御部１５０により、認識された被写体に対応する撮影画像中の領域が、被写体領域として検出される。例えば、カメラ制御部１５０は、ステップＳ２０２で人物の顔を主要な被写体と認識した場合に、この人物の顔部分に対応する撮影画像中の領域を被写体領域として検出する。これにより、ステップＳ１１０の被写体認識処理が終了する。
【００４７】
続いて、図５に戻り、ステップＳ１１１では、デフォーカス演算部１４２により、センサ制御部１４１から、ステップＳ１０７で得られた受光信号が取得され、取得された受光信号の中から、焦点検出用の信号が読み出される。ここで、デフォーカス演算部１４２は、撮影画像中の主要な被写体について焦点検出を行うため、撮影画像中の全ての領域のうち、ステップＳ１１０で設定された被写体領域に対応する受光信号を、焦点検出用の信号として読み出す。そして、デフォーカス演算部１４２により、被写体領域に対応する焦点検出用の信号に基づいて、瞳分割位相差検出方式による像ズレ量の演算が行われ、デフォーカス量ｄｆが算出される。
【００４８】
ステップＳ１１２では、カメラ制御部１５０により、ステップＳ１１１で算出されたデフォーカス量ｄｆに対応する像面位置、すなわち、デフォーカス量ｄｆに応じてフォーカスレンズ２１２を駆動した場合の駆動後のフォーカスレンズ２１２のレンズ位置における像面位置が求められる。そして、カメラ制御部１５０により、デフォーカス量ｄｆに対応する像面位置が、以下に説明する画像合成範囲内に存在するか否か判断される。
【００４９】
ここで、図７は、受光信号に基づいて合成可能な像面の範囲である画像合成範囲を説明するための図であり、光電変換素子アレイ１１２を構成する複数の光電変換素子１１２ａのうち特定の光電変換素子ｃ１に対してマイクロレンズ１１１ａを介して入射する光束を示す図である。なお、図７においては、光電変換素子アレイ１１２を構成する各光電変換素子１１２ａをａ１，ｂ１，ｃ１，ｄ１，ｅ１で示した。本実施形態に係る撮像装置によって得られる像の分解能は、画素の単位であるマイクロレンズ１つ分に相当する。そのため、分解能を保ったまま像を合成できる像面の範囲は、図７に示すように、光電変換素子１１２ａのマイクロレンズ１１１ａによる逆投影像の大きさが、マイクロレンズ１１１ａの有効径Ｄとほぼ同じになるマイクロレンズ１１１ａからの距離Ｌとすることができる。すなわち、マイクロレンズ１１１ａの有効径Ｄ（配列ピッチＰ＞Ｄ）と同じ大きさの範囲からの光がマイクロレンズ１１１ａを通過して１つの光電変換素子ｃ１に入射すれば、画素の単位であるマイクロレンズの大きさに相当する分解能を得ることができる。ここで、マイクロレンズ１１１ａを通過して１つの光電変換素子ｃ１に入射する光束の広がりが小さいほど距離Ｌ（画素の単位であるマイクロレンズの大きさに相当する分解能を得ることができる範囲）は大きくなる。光電変換素子ｃ１に入射する光束の広がりは、フォーカスレンズ２１２の瞳上の所定の領域を通過した光束の広がりに対応する。すなわち、光電変換素子ｃ１に入射する光束の広がりは、フォーカスレンズ２１２の開放Ｆ値に応じた値となる。そのため、画素の単位であるマイクロレンズの大きさに相当する分解能を得ることができる距離Ｌは、マイクロレンズ１１１ａの有効径Ｄ、フォーカスレンズ２１２の開放Ｆ値、および光電変換素子１１２ａの大きさに応じて決定される。本実施形態において、この距離Ｌを画像合成範囲し、この画像合成範囲内の像面位置であれば、撮影画像を合成することが可能となる。
【００５０】
そのため、ステップＳ１１２では、カメラ制御部１５０は、この画像合成範囲内に、デフォーカス量ｄｆに対応する像面位置が存在するか否かを判断し、この画像合成範囲内に、デフォーカス量ｄｆに対応する像面位置が存在すると判断した場合には、フォーカスレンズ２１２の現在のレンズ位置で得られた受光信号に基づいて、デフォーカス量ｄｆに対応する像面に焦点の合った撮影画像を合成することができるものと判断し、ステップＳ１１３に進む。一方、この画像合成範囲内に、デフォーカス量ｄｆに対応する像面位置が存在しないと判断した場合には、フォーカスレンズ２１２の現在のレンズ位置で得られた受光信号に基づいて、デフォーカス量ｄｆに対応する像面に焦点の合った撮影画像を合成することができないものと判断し、ステップＳ１１４に進む。
【００５１】
ここで、図８は、フォーカスレンズ２１２のレンズ位置と画像合成範囲との関係を説明するための図であり、フォーカスレンズ２１２の現在のレンズ位置に対応する像面位置を像面位置ａ０で、デフォーカス量ｄｆに対応する像面位置（主要な被写体に合焦する像面位置）を像面位置ｂ０で示している。図８に示す例において、フォーカスレンズ２１２が像面位置ａ０に対応するレンズ位置にある場合、合成可能な像面の範囲は画像合成範囲Ａとなる。すなわち、フォーカスレンズ２１２が像面位置ａ０に対応するレンズ位置にある場合、画像合成範囲Ａ内の像面位置であれば、後述する画像合成方法に従って、撮影画像を合成することができる。そのため、デフォーカス量ｄｆに対応する像面位置（主要な被写体に合焦する像面位置）が、画像合成範囲Ａ内に存在する場合、主要な被写体について焦点の合った画像を合成することができるものと判断され、ステップＳ１１３に進む。一方、フォーカスレンズ２１２が像面位置ａ０に対応するレンズ位置にある場合に、デフォーカス量ｄｆに対応する像面位置（主要な被写体に合焦する像面位置）が画像合成範囲Ａ内に存在しない場合（例えば、デフォーカス量ｄｆに対応する像面位置が図８中の像面位置ｂ０に存在する場合）は、主要な被写体について焦点の合った画像を合成することができないと判断され、ステップＳ１１４に進む。
【００５２】
ステップＳ１１３では、フォーカスレンズ２１２を駆動することなく、カメラ制御部１５０により、ステップＳ１０７で得られた受光信号に基づいて、デフォーカス量ｄｆに対応する像面位置に応じた画像が撮影画像として合成される。以下において、デフォーカス量ｄｆに対応する像面に焦点の合った画像を合成する方法について、図９〜図１１を参照しながら説明する。図９〜図１１は、本実施形態における画像合成方法の一例を説明するための図である。
【００５３】
図９に示す場面例では、マイクロレンズアレイ１１１からの像面の高さ（マイクロレンズアレイ１１１から距離）をＺとした場合に、像面の高さＺ＝０である位置に画像合成の対象となる被写体が存在する場合である。図９においては、撮像素子１１０の各光電変換素子アレイ１１２について、各光電変換素子アレイ１１２を構成する光電変換素子１１２ａのうち、５つの光電変換素子１１２ａに入射する各光線（マイクロレンズアレイ１１１を構成するマイクロレンズアレイ１１１ａの中心を通る主光線のみ）を示した。また、図９中においては、各光電変換素子１１２ａを識別するために、それぞれの光電変換素子１１２ａを、ａ１〜ｅ１、ａ２〜ｅ２、ａ３〜ｅ３、ａ４〜ｅ４、ａ５〜ｅ５で示すとともに、像面の高さＺ＝０における各座標Ｘ１、Ｘ２、Ｘ３、Ｘ４、Ｘ５のうち、Ｘ３からの射出光束（光線ｒ１、ｒ２、ｒ３、ｒ４、ｒ５）を実線で示し、それ以外のＸ１、Ｘ２、Ｘ４、Ｘ５からの射出光束を点線で示した（以下、図１０、図１１においても同様。）。
【００５４】
図９に示すように、像面の高さＺ＝０における座標Ｘ３からの射出光束（光線ｒ１、ｒ２、ｒ３、ｒ４、ｒ５）は、各光電変換素子ａ３、ｂ３、ｃ３、ｄ３、ｅ３、にそれぞれ入射する。そのため、像面の高さＺ＝０における座標Ｘ３における画素値Ｌ（Ｚ＝０、Ｘ３）は、これら光電変換素子ａ３、ｂ３、ｃ３、ｄ３、ｅ３における出力を合成することにより求めることができる（下記式（１）参照）。
Ｌ（Ｚ＝０、Ｘ３）＝Ｏｕｔ（ａ３）＋Ｏｕｔ（ｂ３）＋Ｏｕｔ（ｃ３）＋Ｏｕｔ（ｄ３）＋Ｏｕｔ（ｅ３） …（１）
【００５５】
また、同様に、座標Ｘ３に隣接する座標Ｘ４における画素値Ｌ（Ｚ＝０、Ｘ４）は、下記式（２）に従って求めることができる。
Ｌ（Ｚ＝０、Ｘ４）＝Ｏｕｔ（ａ４）＋Ｏｕｔ（ｂ４）＋Ｏｕｔ（ｃ４）＋Ｏｕｔ（ｄ４）＋Ｏｕｔ（ｅ４） …（２）
【００５６】
したがって、座標Ｘｉにおける画素値Ｌ（Ｚ＝０、Ｘｉ）は、下記式（３）に従って、それぞれ求めることができる。
Ｌ（Ｚ＝０、Ｘｉ）＝Ｏｕｔ（ａｉ）＋Ｏｕｔ（ｂｉ）＋Ｏｕｔ（ｃｉ）＋Ｏｕｔ（ｄｉ）＋Ｏｕｔ（ｅｉ） …（３）
【００５７】
なお、上記式（３）は、撮影者による指定絞り値が開放（開口サイズ最大）であったときに採用される式である。そのため、仮に、撮影者による指定絞り値が最大（開口サイズ最小）であったときには、光線ｒ１、ｒ２、ｒ３、ｒ４、ｒ５からなる光束を、光線ｒ３のみからなる光束に制限すればよいので、上記式（３）に代えて下記式（４）を採用すればよい（後述する図１０、図１１に示す場合においても同様。）。
Ｌ（Ｚ＝０、Ｘｉ）＝Ｏｕｔ（ｃｉ） …（４）
【００５８】
また、撮影者による指定絞り値が中間値（開口サイズ中間）であったときには、光線ｒ１、ｒ２、ｒ３、ｒ４、ｒ５からなる光束を、光線ｒ２、ｒ３、ｒ４のみからなる光束に制限すればよいので、上記式（３）に代えて下記式（５）を採用すればよい（後述する図１０、図１１に示す場合においても同様。）。
Ｌ（Ｚ＝０、Ｘｉ）＝Ｏｕｔ（ｂｉ）＋Ｏｕｔ（ｃｉ）＋Ｏｕｔ（ｄｉ） …（５）
【００５９】
なお、上記説明においては、或る１方向に並ぶ５つの光電変換素子ａ３、ｂ３、ｃ３、ｄ３、ｅ３のみに着目し、それら５つの光電変換素子の出力値の和をとったが、実際は、２方向に並ぶ２５個の光電変換素子の出力値の和をとる必要がある（後述する図１０、図１１に示す場合においても同様。）。
【００６０】
次いで、図１０に示すように、像面の高さＺ＝ｈ１である位置に画像合成の対象となる被写体が存在する場合について説明する。図１０に示すように、像面の高さＺ＝ｈ１における座標Ｘ３からの射出光束（光線ｒ１、ｒ２、ｒ３、ｒ４、ｒ５）は、図９の場合と異なり、各光電変換素子ａ１、ｂ２、ｃ３、ｄ４、ｅ５にそれぞれ入射する。そのため、像面の高さＺ＝ｈ１における座標Ｘ３における画素値Ｌ（Ｚ＝ｈ１、Ｘ３）は、これら光電変換素子ａ１、ｂ２、ｃ３、ｄ４、ｅ５における出力を合成することにより求めることができる（下記式（６）参照）。
Ｌ（Ｚ＝ｈ１、Ｘ３）＝Ｏｕｔ（ａ１）＋Ｏｕｔ（ｂ２）＋Ｏｕｔ（ｃ３）＋Ｏｕｔ（ｄ４）＋Ｏｕｔ（ｅ５） …（６）
【００６１】
さらに、図１１に示すように、像面の高さＺ＝ｈ２である位置に合成対象となる被写体が存在する場合について説明する。図１１に示すように、像面の高さＺ＝ｈ２における座標Ｘ３からの射出光束（光線ｒ１、ｒ２、ｒ３、ｒ４、ｒ５）は、図９、図１０の場合と異なり、複数の光電変換素子にまたがって入射することとなる。具体的には、図１１に示すように、光線ｒ１は光電変換素子ａ１、ｂ１に、光線ｒ２は光電変換素子ｂ２、ｃ２に、光線ｒ４は光電変換素子ｃ４、ｄ４に、光線ｒ５は光電変換素子ｄ５、ｅ５に、それぞれまたがって入射する。なお、光線ｒ３は、図１１に示すように光電変換素子ｃ３にのみ入射する。そのため、光線ｒ１に着目すると、光線ｒ１の光量は、光電変換素子ａ１の出力値Ｏｕｔ（ａ１）と、光電変換素子ｂ１の出力値Ｏｕｔ（ｂ１）との重み付け和によって求めることができる（下記式（７）参照）。ここで、下記式（７）において、ｗ１１、ｗ１２は、重み係数であり、マイクロレンズアレイ１１１からの像面の高さＺに応じて決まる係数である。
Ｏｕｔ（ａ１）×ｗ１１＋Ｏｕｔ（ｂ１）×ｗ１２ …（７）
【００６２】
そして、光線ｒ２、光線ｒ４、光線ｒ５の光量も、同様に重み付け和によって求めることができるため、像面の高さＺ＝ｈ２における座標Ｘ３における画素値Ｌ（Ｚ＝ｈ２、Ｘ３）は、下記式（８）に従って求めることができる。なお、下記式（８）において、ｗ２１、ｗ２２、ｗ４１、ｗ４２、ｗ５１、ｗ５２は、重み係数であり、マイクロレンズアレイ１１１からの像面の高さＺに応じて決まる係数である。
Ｌ（Ｚ＝ｈ２、Ｘ３）＝〔Ｏｕｔ（ａ１）×ｗ１１＋Ｏｕｔ（ｂ１）×ｗ１２〕＋〔Ｏｕｔ（ｂ２）×ｗ２１＋Ｏｕｔ（ｃ２）×ｗ２２〕＋Ｏｕｔ（ｃ３）＋〔Ｏｕｔ（ｃ４）×ｗ４１＋Ｏｕｔ（ｄ４）×ｗ４２〕＋〔Ｏｕｔ（ｄ５）×ｗ５１＋Ｏｕｔ（ｅ５）×ｗ５２〕 …（８）
【００６３】
このように、画像合成の対象となる被写体が存在する像面位置Ｚに応じて、被写体からの光束の入射する光電変換素子１１２ａ、および画像合成に必要な重み付け係数の値が決まってくることとなる。なお、各像面位置Ｚに対応する、被写体からの光束の入射する光電変換素子１１２ａ、および画像合成に必要な重み付け係数の値は、たとえば、カメラ制御部１５０に備えるメモリなどに予め記憶させておき、これを利用するような構成とすればよい。
【００６４】
以上のように、カメラ制御部１５０は、複数の光電変換素子１１２ａから得られた受光信号に基づいて、デフォーカス量ｄｆに対応する像面（像面位置Ｚ）に焦点の合った撮影画像を合成することができる。そこで、ステップＳ１１３において、カメラ制御部１５０は、上述した画像合成方法に従って、デフォーカス量ｄｆに対応する像面（像面位置Ｚ）に焦点の合った撮影画像を合成する。
【００６５】
一方、ステップＳ１１２において、画像合成範囲内に、デフォーカス量ｄｆに対応する像面位置が存在しないと判断された場合は、ステップＳ１１４に進む。ステップＳ１１４では、レンズ駆動量演算部１４３により、デフォーカス演算部１４２から送信されたデフォーカス量ｄｆの取得が行われ、取得されたデフォーカス量ｄｆに基づいて、フォーカスレンズ２１２のレンズ駆動量ΔＷ（レンズ目標位置に相当する）の演算が行われる。そして、レンズ駆動量ΔＷが、レンズ駆動量演算部１４３からカメラ制御部１５０に出力される。
【００６６】
ステップＳ１１５では、レンズ駆動量演算部１４３により決定されたレンズ駆動量ΔＷが、カメラ制御部１５０からレンズ制御部２５０に送信される。そして、レンズ制御部２５０は、レンズ駆動量ΔＷに応じて、レンズ駆動モータ２３０を駆動させ、これにより、フォーカスレンズ２１２を駆動させる。
【００６７】
ステップＳ１１６では、駆動後のフォーカスレンズ２１２のレンズ位置で、センサ制御部１４１の制御に基づき、撮像素子１１０による画像の撮影が行われる。そして、駆動後のフォーカスレンズ２１２のレンズ位置で得られた受光信号が、カメラ制御部１５０へと送信される。続くステップＳ１１７では、ステップＳ１０２と同様に、駆動後のフォーカスレンズ２１２のレンズ位置などのレンズ情報が取得され、さらに、ステップＳ１１８では、ステップＳ１０３と同様に、絞り値などの撮影情報が取得される。
【００６８】
そして、ステップＳ１１９では、駆動後のフォーカスレンズ２１２のレンズ位置で得られた受光信号に基づいて、ステップＳ１１３と同様の画像合成方法に従って、ステップＳ１１１で演算されたデフォーカス量ｄｆに対応する像面位置、すなわち、主要な被写体に合焦する像面位置の画像が、撮影画像として合成される。
【００６９】
例えば、図８に示す例において、フォーカスレンズ２１２が像面位置ａ０に対応するレンズ位置にあり、かつ、主要な被写体に合焦する像面位置（デフォーカス量ｄｆに対応する像面位置）が画像合成範囲Ａ内に存在しない場合（ステップＳ１１２＝ＮＯ）、例えば、主要な被写体に合焦する像面位置（デフォーカス量ｄｆに対応する像面位置）が像面位置ｂ０に存在する場合には、次のように動作することとなる。すなわち、まず、主要な被写体に合焦する像面位置ｂ０（デフォーカス量ｄｆに対応する像面位置ｂ０）に対応するレンズ位置までフォーカスレンズ２１２が駆動され（ステップＳ１１５）、駆動後のレンズ位置で、画像の撮影が行なわれ（ステップＳ１１６）、その結果得られた受光信号に基づいて、主要な被写体に合焦する像面（像面位置ｂ０）に焦点の合った撮影画像の合成が行なわれる（ステップＳ１１９）。このように本実施形態においては、主要な被写体に合焦する像面位置が画像合成範囲Ａにないと判断された場合には（ステップＳ１１２＝ＮＯ）、フォーカスレンズ２１２を像面位置ｂ０に対応するレンズ位置まで駆動し、駆動後のレンズ位置で、画像の撮影を行なうことにより、撮影の結果得られた受光信号に基づく画像合成範囲を、図８に示す画像合成範囲Ｂとすることができ、これにより、像面位置ｂ０を含む画像合成範囲Ｂの任意の像面位置に対応する画像の合成が可能となる。
【００７０】
ステップＳ１２０では、ステップＳ１１９で合成された撮影画像が、液晶モニタ１２０のディスプレイに表示されるとともに、メモリ１６０に記録される。これにより、撮影者は、主要な被写体について焦点の合った撮影画像を得ることができる。
【００７１】
そして、ステップＳ１２１では、カメラ制御部１５０により、動画撮影を終了するか判断される。例えば、動画撮影中に、撮影者により操作部１３０のシャッターレリーズボタンが押された場合、動画撮影を終了すると判断され、この処理が終了される。一方、動画撮影中に、操作部１３０のシャッターレリーズボタンが押されていない場合、動画撮影を継続すると判断され、ステップＳ１０６に戻り、画像の撮影および撮影画像の合成が繰り返し行われる。
【００７２】
このように、本実施形態においては、例えば、動画撮影モードで動画撮影を行っている間、画像合成範囲内に被写体に合焦する像面位置が存在するか否かを判断し、画像合成範囲内に被写体に合焦する像面位置が存在する場合には（ステップＳ１１２＝ＹＥＳ）、フォーカスレンズ２１２を駆動させることなく、被写体に合焦する像面位置において撮影画像の合成を行う（ステップＳ１１３）。一方、被写体に合焦する像面位置が画像合成範囲内に存在しない場合には、デフォーカス量ｄｆに応じてフォーカスレンズ２１２を駆動させ（ステップＳ１１４）、駆動後のフォーカスレンズ位置で得られた受光信号に基づいて、被写体に合焦する像面位置の撮影画像の合成を行う（ステップＳ１１４）。そして、これらの処理を動画撮影中繰り返し行う。これにより、本実施形態では、画像合成範囲内に被写体に合焦する像面位置が存在する場合であっても、また、被写体までの撮影距離が変化し、被写体に合焦する像面位置が画像合成範囲内から外れる場合であっても、被写体に対応する像面に焦点の合った撮像画像の合成を行うことができるため、被写体について焦点の合った撮影画像を連続的に得ることができる。
【００７３】
以上のように、本実施形態では、画像合成範囲内に被写体に合焦する像面位置が存在する場合には、フォーカスレンズ２１２を駆動することなく、被写体に合焦する像面位置に対応する撮像画像の合成を行うことで、被写体について焦点の合った画像を得ることができる。また、被写体に合焦する像面位置が画像合成範囲内に存在しない場合には、フォーカスレンズ２１２の駆動を行い、駆動後のフォーカスレンズ位置で得られた受光信号に基づいて、被写体に合焦する像面位置の撮影画像の合成を行うことで、被写体について焦点の合った画像を得ることができる。このように、本実施形態では、被写体について焦点の合った画像を適切に得られることを可能としつつ、被写体に合焦する像面位置が画像合成範囲内に存在しない場合のみ、フォーカスレンズ２１２の駆動を行うことで、フォーカスレンズ２１２の駆動頻度を低減し、これにより、フォーカスレンズ２１２の駆動による消費電力や、レンズ駆動音の発生を低減することができる。
【００７４】
なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
【００７５】
例えば、本実施形態のステップＳ１１５では、デフォーカス量ｄｆに応じたレンズ駆動量ΔＷだけ、フォーカスレンズ２１２を駆動しているが、フォーカスレンズ２１２を駆動する位置はデフォーカス量ｄｆに応じたレンズ位置に限られず、例えば、以下に説明するように、主要な被写体に合焦する像面位置が存在し、かつ、主要な被写体以外の他の被写体に合焦する像面位置も多く存在する画像合成範囲をとるレンズ位置に、フォーカスレンズ２１２を駆動する構成としてもよい。
【００７６】
図１２は、他の実施形態におけるフォーカスレンズ２１２のレンズ位置の決定方法を説明するための図である。なお、図１２においては、図８と同様に、フォーカスレンズ２１２の現在のレンズ位置に対応する像面位置を像面位置ａ０で、主要な被写体に合焦する像面位置を像面位置ｂ０で示している。例えば、図１２に示す例では、撮影画面中の被写体領域以外の複数の領域についてもデフォーカス量ｄｆが算出され、撮影画像中の各領域におけるデフォーカス量ｄｆの分布が求められる。ここで、図１２において、撮像画像中の各領域において算出されたデフォーカス量ｄｆに対応する像面位置を、白抜きの丸印で示している。すなわち、図１２中の白抜きの丸印は、撮影画像中の各領域において算出したデフォーカス量ｄｆの分布を示している。図１２に示す例では、このデフォーカス量ｄｆの分布に基づいて、図１２において像面位置ｃ０に対応するレンズ位置が、主要な被写体に合焦する像面位置ｂ０が存在し、かつ、主要な被写体以外の被写体に合焦する像面位置が最も多く存在する画像合成範囲をとるレンズ位置として求められる。そして、この像面位置ｃ０に対応するレンズ位置に、フォーカスレンズ２１２が駆動される。図１２に示すように、フォーカスレンズ位置を撮影画像中の各領域のデフォーカス量ｄｆの分布に基づいて決定された像面位置ｃ０に対応するレンズ位置とすることで、主要な被写体に合焦する像面位置ｂ０に加えて、主要な被写体以外の他の被写体に合焦する像面位置が多く存在する画像合成範囲（図１２中の画像合成範囲Ｃ）を得ることができる。よって、撮影画像中の各領域のデフォーカス量ｄｆの分布に基づく像面位置ｃ０に対応するレンズ位置に、フォーカスレンズ２１２を駆動することで、主要な被写体について焦点の合った撮影画像が得られることに加えて、これら主要な被写体以外の多数の被写体について焦点の合った撮影画像も得ることも可能となる。
【００７７】
また、本実施形態のステップＳ１１５では、デフォーカス量ｄｆに応じたレンズ駆動量ΔＷだけ、フォーカスレンズ２１２を駆動しているが、デフォーカス量ｄｆに応じた像面位置が画像合成範囲内となる任意のレンズ位置にフォーカスレンズ２１２を駆動する構成としてもよい。例えば、レンズ駆動速度が比較的速いフォーカスレンズ２１２では、デフォーカス量ｄｆに対応するレンズ位置までフォーカスレンズ２１２を駆動させ、一方、レンズ駆動速度が比較的遅いフォーカスレンズ２１２では、デフォーカス量ｄｆに対応する像面位置が画像合成範囲に存在し、かつ、現在のフォーカスレンズ２１２のレンズ位置からのレンズ駆動量ΔＷが最も小さいレンズ位置までフォーカスレンズ２１２を駆動する構成としてもよい。
【００７８】
加えて、本実施形態では、動画撮影中に撮像画像の合成を行う構成としているが、これに限定されるものではなく、例えば、動画撮影中には、受光信号の取得と、取得した受光信号の記憶のみ行い、動画撮影後に撮像画像を再生する際に、記憶された受光信号に基づいて、デフォーカス量ｄｆを算出し、デフォーカス量ｄｆに対応する像面位置における撮像画像を合成して、動画像として再生する構成としてもよい。
【００７９】
また、本実施形態では、カメラ１において撮影画像の合成を行っているが、撮影画像の合成を行うのはカメラに限定されるものではなく、例えば、カメラ１において、受光信号を取得し、取得した受光信号を出力するとともに、カメラ１以外の他の装置、例えば、画像を再生するための画像再生装置において、カメラ１により出力された受光信号を取得し、取得した受光信号基づいて、デフォーカス量ｄｆを算出し、デフォーカス量ｄｆに対応する像面位置における再生画像の合成を行う構成としてもよい。さらに、カメラ１において、所定のフレームレートで撮像された複数の受光信号が出力され、カメラ１以外の他の装置において、所定のフレームレートで撮像された複数の受光信号が取り込まれた場合に、あるフレームに対応する受光信号に基づく画像合成範囲において、デフォーカス量ｄｆに対応する像面位置が存在しないと判断した場合には、次のフレームに対応する受光信号に基づく画像合成範囲内に、デフォーカス量ｄｆに対応する像面位置が存在しないか判断し、画像合成範囲内にデフォーカス量ｄｆに対応する像面位置が存在すると判断された場合に、撮影画像の合成を行う構成としてもよい。
【００８０】
なお、本実施形態のカメラ１は特に限定されず、例えば、デジタルビデオカメラ、一眼レフデジタルカメラ、レンズ一体型のデジタルカメラ、携帯電話用のカメラなどのその他の光学機器に本発明を適用してもよい。
【符号の説明】
【００８１】
１…カメラ
１００…カメラボディ
１１０…撮像素子
１１１…マイクロレンズアレイ
１１１ａ…マイクロレンズ
１１２…光電変換素子アレイ
１１２ａ…光電変換素子
１２０…液晶モニタ
１３０…操作部
１４１…センサ制御部
１４２…デフォーカス演算部
１４３…レンズ駆動量演算部
１５０…カメラ制御部
１６０…メモリ
２００…レンズ鏡筒
２１２…フォーカスレンズ
２２０…絞り
２３０…レンズ駆動モータ
２４０…絞り駆動部
２５０…レンズ制御部
【特許請求の範囲】
【請求項１】
複数のマイクロレンズを二次元状に配列したマイクロレンズアレイと、前記複数のマイクロレンズに対して設けられた複数の光電変換素子とを有し、前記マイクロレンズを介して光学系からの光束を受光して得られる複数の受光信号を出力する受光手段と、
前記受光信号に基づいて、前記光学系による像面と前記受光手段の受光面とのずれ量を検出する検出手段と、
前記ずれ量に基づいて、前記光学系を焦点調節する焦点調節手段と、
前記ずれ量に対応する像面が、前記受光信号に基づく画像を生成可能な像面の範囲に含まれる場合に、前記複数の受光信号のうち前記ずれ量に応じて選択された受光信号に基づいて、前記ずれ量に対応する像面の画像を生成して、表示する制御手段と、を備えることを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記焦点調節手段は、前記ずれ量に対応する像面が、前記画像を生成可能な像面の範囲に含まれない場合に、前記ずれ量に応じて、前記光学系を焦点調節することを特徴とする撮像装置。
【請求項３】
請求項１または２に記載の撮像装置において、
前記光学系による像のうち、特定の対象の像を認識する認識手段をさらに備え、
前記検出手段は、前記認識手段によって認識された像に対する前記ずれ量を検出することを特徴とする撮像装置。
【請求項４】
請求項１〜３のいずれか一項に記載の撮像装置において、
前記画像を生成可能な像面の範囲は、前記マイクロレンズの有効径、前記マイクロレンズの開放Ｆ値、および前記光電変換素子の大きさに基づくものであることを特徴とする撮像装置。
【請求項５】
請求項１〜４のいずれか一項に記載の撮像装置において、
前記受光信号に基づいて動画を撮像する撮像手段をさらに備えることを特徴とする撮像装置。
【請求項６】
特定の焦点状態における光学系からの光束を受光して得られる複数の受光信号を入力する入力手段と、
前記受光信号に基づいて、特定の焦点状態における前記光学系による像面位置を検出する検出手段と、
前記像面位置が、前記受光信号に基づく画像を生成可能な像面の範囲に含まれる場合に、前記複数の受光信号のうち前記像面位置に応じて選択された受光信号に基づいて前記像面位置の画像を生成して表示する制御手段と、を備えることを特徴とする画像再生装置。
【請求項７】
請求項６に記載の画像再生装置において、
前記入力手段は、前記像面位置が、前記画像を生成可能な像面の範囲に含まれない場合に、前記特定の焦点状態とは異なる焦点状態における前記光学系からの光束を受光して得られた受光信号を入力することを特徴とする画像再生装置。
【請求項１】
複数のマイクロレンズを二次元状に配列したマイクロレンズアレイと、前記複数のマイクロレンズに対して設けられた複数の光電変換素子とを有し、前記マイクロレンズを介して光学系からの光束を受光して得られる複数の受光信号を出力する受光手段と、
前記受光信号に基づいて、前記光学系による像面と前記受光手段の受光面とのずれ量を検出する検出手段と、
前記ずれ量に基づいて、前記光学系を焦点調節する焦点調節手段と、
前記ずれ量に対応する像面が、前記受光信号に基づく画像を生成可能な像面の範囲に含まれる場合に、前記複数の受光信号のうち前記ずれ量に応じて選択された受光信号に基づいて、前記ずれ量に対応する像面の画像を生成して、表示する制御手段と、を備えることを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記焦点調節手段は、前記ずれ量に対応する像面が、前記画像を生成可能な像面の範囲に含まれない場合に、前記ずれ量に応じて、前記光学系を焦点調節することを特徴とする撮像装置。
【請求項３】
請求項１または２に記載の撮像装置において、
前記光学系による像のうち、特定の対象の像を認識する認識手段をさらに備え、
前記検出手段は、前記認識手段によって認識された像に対する前記ずれ量を検出することを特徴とする撮像装置。
【請求項４】
請求項１〜３のいずれか一項に記載の撮像装置において、
前記画像を生成可能な像面の範囲は、前記マイクロレンズの有効径、前記マイクロレンズの開放Ｆ値、および前記光電変換素子の大きさに基づくものであることを特徴とする撮像装置。
【請求項５】
請求項１〜４のいずれか一項に記載の撮像装置において、
前記受光信号に基づいて動画を撮像する撮像手段をさらに備えることを特徴とする撮像装置。
【請求項６】
特定の焦点状態における光学系からの光束を受光して得られる複数の受光信号を入力する入力手段と、
前記受光信号に基づいて、特定の焦点状態における前記光学系による像面位置を検出する検出手段と、
前記像面位置が、前記受光信号に基づく画像を生成可能な像面の範囲に含まれる場合に、前記複数の受光信号のうち前記像面位置に応じて選択された受光信号に基づいて前記像面位置の画像を生成して表示する制御手段と、を備えることを特徴とする画像再生装置。
【請求項７】
請求項６に記載の画像再生装置において、
前記入力手段は、前記像面位置が、前記画像を生成可能な像面の範囲に含まれない場合に、前記特定の焦点状態とは異なる焦点状態における前記光学系からの光束を受光して得られた受光信号を入力することを特徴とする画像再生装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１１−１３３７１４（Ｐ２０１１−１３３７１４Ａ）
【公開日】平成２３年７月７日（２０１１．７．７）
【国際特許分類】
【出願番号】特願２００９−２９３９４４（Ｐ２００９−２９３９４４）
【出願日】平成２１年１２月２５日（２００９．１２．２５）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２３年７月７日（２０１１．７．７）
【国際特許分類】
【出願日】平成２１年１２月２５日（２００９．１２．２５）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]