撮像装置
【課題】連続撮影モードの時に被写体を観察するための光ファインダーと別個に電子ファインダーを設ける必要性を排除することにより、ファインダーの大型化を防止する。
【解決手段】単独撮影モードでは、光学ファインダーで被写体像を観察する場合にハーフミラーを挿入し、撮像する場合は退避する。連続撮影モードでも光学ファインダーで被写体像を観察することが可能となるよう、シャッターレリーズがされてもハーフミラーは退避せずに挿入したままとする。ハーフミラーを挿入したままの状態で撮像することにより生じる画像劣化は、画像処理により回復させる。撮影者が操作部材を介して行った設定に応じて、いずれかのモードが選択され、各モードでの撮像動作が行われる。
【解決手段】単独撮影モードでは、光学ファインダーで被写体像を観察する場合にハーフミラーを挿入し、撮像する場合は退避する。連続撮影モードでも光学ファインダーで被写体像を観察することが可能となるよう、シャッターレリーズがされてもハーフミラーは退避せずに挿入したままとする。ハーフミラーを挿入したままの状態で撮像することにより生じる画像劣化は、画像処理により回復させる。撮影者が操作部材を介して行った設定に応じて、いずれかのモードが選択され、各モードでの撮像動作が行われる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関する。
【背景技術】
【０００２】
被写体光を光学ファインダーに導く光学観察位置と被写体光を撮像素子に受光させる撮像位置とに選択的に配置されるクイックリターンミラーと、電子ファインダーとを有する撮像装置がある。その撮像装置は、静止画単独撮影モードではクイックリターンミラーを上記両位置の間で移動させて光学ファインダー観察と撮像素子による撮影とを順次行わせる。連続撮影モードでは連続撮影前にはクイックリターンミラーを光学観察位置（すなわち、クイックリターンミラーを撮影光路に挿入した状態）に配置して光学ファインダー観察を行わせるとともに連続撮影中にはクイックリターンミラーを撮影位置（すなわち、クイックリターンミラーを撮影光路から退避した状態）に保持して電子ファインダー観察を行わせる。前記２つの撮影モードにおいて、クイックリターンミラーを光学観察位置に配置して光学ファインダー観察を行わせる状態において位相差方式による焦点検出および自動焦点調節を行う撮像装置が知られている（たとえば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−３００４３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら特許文献１に記載の撮像装置においては、連続撮影モードの時に被写体像を観察するために光学ファインダーとは別個に電子ファインダーを設ける必要があり、フィンダーが大型化してしまうという問題があった。
【課題を解決するための手段】
【０００５】
（１）請求項１に記載の撮像装置は、被写体像を形成する撮影光学系と、被写体像を撮像して撮像信号を出力する複数の撮像画素と、撮影光学系を透過した透過光束に基づき、瞳分割型位相差検出方式により焦点検出信号を出力する複数の焦点検出画素とが２次元的に配列される撮像素子と、被写体像の観察のために撮影光学系を透過した透過光束が入射する観察光学系と、撮影光学系と撮像素子との間の撮影光路への挿入および撮影光路からの退避が可能に配設され、挿入がされたとき、撮影光学系を透過した透過光束を、撮像素子に向かう第１の光束と観察光学系に向かう第２の光束とに分割する分割光学系と、撮像信号に基づき撮像データを生成する生成手段と、分割光学系に対して挿入および退避を制御する制御手段と、制御手段に対して、第１の動作態様に応じた制御と第２の動作態様に応じた制御とを択一的に指定する指定手段とを備え、制御手段は、第１の動作態様が指定された場合、撮像データを生成するときは退避がされるように分割光学系を制御し、観察がされるときは挿入がされるように分割光学系を制御し、第２の動作態様が指定された場合、撮像データの生成時および観察時のいずれにおいても、挿入がされるように分割光学系を制御することを特徴とする。
（２）請求項１４に記載の撮像装置は、被写体像を形成する撮影光学系と、被写体像を撮像して撮像信号を出力する複数の撮像画素が２次元的に配列される撮像素子と、被写体像の観察のために撮影光学系を透過した透過光束が入射する観察光学系と、撮影光学系と撮像素子との間の撮影光路への挿入および撮影光路からの退避が可能に配設され、挿入がされたとき、撮影光学系を透過した透過光束を、撮像素子に向かう第１の光束と観察光学系に向かう第２の光束とに分割する分割光学系と、撮像信号に基づき撮像データを生成する生成手段と、分割光学系に対して挿入および退避を制御する制御手段と、撮像データに対して所定の画像処理を行う画像処理手段とを備え、制御手段は、撮像データを生成するときおよび観察がされるときのいずれのときにおいても、挿入がされるように分割光学系を制御し、所定の画像処理は、挿入に伴う撮像データの劣化を回復する画像処理であることを特徴とする。
（３）請求項１５に記載の撮像装置は、被写体像を形成する撮影光学系と、被写体像を撮像して撮像信号を出力する複数の撮像画素が２次元的に配列される撮像素子と、被写体像の観察のために撮影光学系を透過した透過光束が入射する観察光学系と、撮影光学系と撮像素子との間の撮影光路への挿入および撮影光路からの退避が可能に配設され、挿入がされたとき、撮影光学系を透過した透過光束を、撮像素子に向かう第１の光束と観察光学系に向かう第２の光束とに分割する分割光学系と、撮像信号に基づき撮像データを生成する生成手段と、分割光学系に対して挿入および退避を制御する制御手段と、撮像データに対して所定の画像処理を行う画像処理手段と、撮像データから特定領域画像データを抽出する抽出手段をさらに備え、制御手段は、撮像データを生成するときおよび観察がされるときのいずれのときにおいても、挿入がされるように分光手段を制御し、分割光学系は、撮影光学系を透過した透過光束の一部が、分割光学系により第１の光束および第２の光束に分割され、かつ撮影光学系を透過した透過光束の残部が、撮像素子に向かうように、撮影光路に配置され、特定領域画像データは、撮像素子における第１の光束を受光した特定領域に含まれる複数の撮像画素が出力する撮像信号に基づくことを特徴とする。
【発明の効果】
【０００６】
本発明による撮像装置においては、上記問題を解決し、単独撮影モード・連続撮影モードのいずれにおいても、常に撮像動作と、光学ファインダーでの観察と、位相差検出方式での自動焦点調節とが可能となる。
【図面の簡単な説明】
【０００７】
【図１】ハーフミラーが撮影光路中に挿入された状態にある一実施の形態のデジタルスチルカメラの構成を示す横断面図である。
【図２】ハーフミラーが撮影光路中から退避した状態にある一実施の形態のデジタルスチルカメラの構成を示す横断面図である。
【図３】撮影画面上の焦点検出位置を示す図である。
【図４】撮像素子の詳細な構成を示す正面図である。
【図５】撮像素子の詳細な構成を示す正面図である。
【図６】撮像画素と焦点検出画素のマイクロレンズの形状を示す図である。
【図７】撮像画素の正面図である。
【図８】焦点検出画素の正面図である。
【図９】緑画素、赤画素および青画素の分光特性を示す図である。
【図１０】焦点検出画素の分光特性を示す図である。
【図１１】撮像画素の断面図である。
【図１２】焦点検出画素の断面図である。
【図１３】撮像画素が受光する撮影光束の様子を説明するための図である。
【図１４】焦点検出画素が受光する撮影光束の様子を説明するための図である。
【図１５】デジタルスチルカメラの撮像動作を示すフローチャートである。
【図１６】単独撮影モードにおけるデジタルスチルカメラの撮像動作を示すフローチャートである。
【図１７】連続撮影モードにおけるデジタルスチルカメラの撮像動作を示すフローチャートである。
【図１８】第１動画撮影モードにおけるデジタルスチルカメラの撮像動作を示すフローチャートである。
【図１９】第２動画撮影モードにおけるデジタルスチルカメラの撮像動作を示すフローチャートである。
【図２０】一対のデータのずらし量ｋに対する相関量Ｃ（ｋ）の関係を示す図である。
【図２１】ハーフミラーを透過する光線の様子を示す断面図である。
【図２２】本来の像Ｍ１にゴースト像Ｍ２が重畳している例を示す図である。
【図２３】絞り開口を通過した光束がハーフミラーを通過して撮像素子上に結像する様子を示した断面図である。
【図２４】クリップ処理により画像データから切り抜かれる領域を示す図である。
【図２５】絞り開口を通過した光束がハーフミラーを通過して撮像素子上に結像する様子を示した断面図である。
【図２６】クリップ処理により画像データから切り抜かれる領域を示す図である。
【図２７】撮像素子の詳細な構成を示す正面図である。
【図２８】撮像素子の詳細な構成を示す正面図である。
【図２９】焦点検出画素の正面図である。
【図３０】焦点検出画素の断面図である。
【発明を実施するための形態】
【０００８】
一実施の形態の撮像装置として、レンズ交換式のデジタルスチルカメラを例に挙げて説明する。図１および図２は共に本実施の形態のデジタルスチルカメラの構成を示す横断面図である。本実施の形態のデジタルスチルカメラ２０１は交換レンズ２０２とカメラボディ２０３から構成され、交換レンズ２０２がマウント部２０４を介してカメラボディ２０３に装着される。カメラボディ２０３にはマウント部２０４を介して種々の撮影光学系を有する交換レンズ２０２が装着可能である。
【０００９】
図１はハーフミラー２２２が撮影光路中に挿入された状態を示し、図２はハーフミラー２２２が撮影光路中から退避した状態を示している。
【００１０】
交換レンズ２０２は、レンズ２０９、ズーミング用レンズ２０８、フォーカシング用レンズ２１０、絞り２１１、レンズ駆動制御装置２０６などを備えている。レンズ駆動制御装置２０６は、不図示のマイクロコンピューター、メモリ、駆動制御回路などから構成される。レンズ駆動制御装置２０６は、フォーカシング用レンズ２１０の焦点調節と絞り２１１の開口径調節のための駆動制御や、ズーミング用レンズ２０８、フォーカシング用レンズ２１０および絞り２１１の状態検出などを行う。また、後述するボディ駆動制御装置２１４との通信によりレンズ情報の送信とカメラ情報（デフォーカス量や絞り値など）の受信を行う。絞り２１１は、光量およびボケ量調整のために光軸中心に開口径が可変な開口を形成する。
【００１１】
カメラボディ２０３は、撮像素子２１２、ボディ駆動制御装置２１４、スクリーン２１５、ペンタプリズム２１６、接眼レンズ２１７、操作部材２１８、メモリカード２１９、背面液晶表示素子（背面ＬＣＤ）２２０、ミラーおよびアイピースシャッタ制御手段２２１、ハーフミラー２２２、アイピースシャッタ２２３などを備えている。撮像素子２１２には、撮像画素が二次元状に配置されるとともに、焦点検出位置（焦点検出エリア）に対応した部分に焦点検出画素が組み込まれている。この撮像素子２１２については詳細を後述する。
【００１２】
ボディ駆動制御装置２１４は、マイクロコンピューター、メモリ、駆動制御回路などから構成される。ボディ駆動制御装置２１４は、撮像素子２１２の駆動制御と画像信号および焦点検出信号の読み出しと、焦点検出信号に基づく焦点検出演算と交換レンズ２０２の焦点調節を繰り返し行うとともに、画像信号の処理と記録、デジタルスチルカメラ２０１の動作制御などを行う。また、ボディ駆動制御装置２１４は、電気接点２１３を介してレンズ駆動制御装置２０６と通信を行い、レンズ情報の受信とカメラ情報の送信を行う。
【００１３】
ハーフミラー２２２は、入射光を反射光と透過光に分離する半透過ミラーであって、ミラーおよびアイピースシャッタ制御手段２２１により交換レンズ２０２から撮像素子２１２に至る撮影光路中に挿入および退避される。図１のようにハーフミラー２２２が撮影光路中に挿入された状態において、交換レンズ２０２からの入射する撮影光束の一部はハーフミラー２２２により反射され、撮像素子２１２と等価な面に配置されたスクリーン（焦点板）２１５上に実像を形成する。スクリーン２１５で拡散された光はペンタプリズム２１６で接眼レンズ２１７の方向に偏向される。撮影者は接眼レンズ２１７を介してスクリーン２１５上の実像を観察することができる。スクリーン２１５、ペンタプリズム２１６、接眼レンズ２１７が光学ファインダーを構成する。またハーフミラー２２２を透過した一部の光束は撮像素子２１２上に結像する。
【００１４】
図２のようにハーフミラー２２２が撮影光路中から退避された状態において、交換レンズ２０２からの入射するすべての撮影光束は撮像素子２１２上に結像するが、光学フィンダーでの観察は不能になる。
【００１５】
アイピースシャッタ２２３は、ミラーおよびアイピースシャッタ制御手段２２１によりペンタプリズム２１６と接眼レンズ２１７の間に挿入退避されるシャッタである。アイピースシャッタ２２３は、図１のようにハーフミラー２２２が撮影光路中に挿入された状態においてはペンタプリズム２１６と接眼レンズ２１７の間から退避される。アイピースシャッタ２２３は、図２のようにハーフミラー２２２が撮影光路中から退避された状態においては、デジタルスチルカメラ２０１の外部から接眼レンズ２１７に入射する光がペンタプリズム２１６およびスクリーン２１５およびハーフミラー２２２を介して撮像素子２１２に到達するのを防止するために、ペンタプリズム２１６と接眼レンズ２１７の間に挿入される。
【００１６】
撮像素子２１２より出力されるスルー画像は、背面液晶表示素子２２０により表示され、撮影者はスルー画像を観察することができる。メモリカード２１９は、撮像素子２１２により撮像された画像を記憶する画像ストレージである。操作部材２１８は、後述する撮影モードを撮影者が切換えるための切換え手段および撮影者が撮像（シャッターレリーズ）を指示するためのシャッターボタンの総称である。
【００１７】
ハーフミラー２２２が撮影光路中に挿入された状態においても退避された状態においても交換レンズ２０２を通過した光束により、撮像素子２１２の受光面上に被写体像が形成される。この被写体像は撮像素子２１２により光電変換され、画像信号と焦点検出信号がボディ駆動制御装置２１４へ送られる。
【００１８】
ボディ駆動制御装置２１４は、撮像素子２１２の焦点検出画素からの焦点検出信号に基づいてデフォーカス量を算出し、このデフォーカス量をレンズ駆動制御装置２０６へ送る。また、ボディ駆動制御装置２１４は、撮像素子２１２からの画像信号を処理して画像データを生成し、メモリカード２１９に格納するとともに、撮像素子２１２からのスルー画像信号を背面液晶表示素子２２０に表示させる。さらに、ボディ駆動制御装置２１４は、レンズ駆動制御装置２０６へ絞り制御情報を送って絞り２１１の開口径の制御を行う。
【００１９】
レンズ駆動制御装置２０６は、フォーカシング状態、ズーミング状態、絞り設定状態、絞り開放Ｆ値などに応じてレンズ情報を更新する。具体的には、ズーミング用レンズ２０８とフォーカシング用レンズ２１０の位置と絞り２１１の絞り値を検出し、これらのレンズ位置と絞り値に応じてレンズ情報を演算したり、あるいは予め用意されたルックアップテーブルからレンズ位置と絞り値に応じたレンズ情報を選択する。
【００２０】
レンズ駆動制御装置２０６は、受信したデフォーカス量に基づいてレンズ駆動量を算出し、レンズ駆動量に応じてフォーカシング用レンズ２１０を合焦位置へ駆動する。また、レンズ駆動制御装置２０６は受信した絞り値に応じて絞り２１１を駆動する。
【００２１】
図３は、交換レンズ２０２の撮影画面上における焦点検出位置を示す図であり、後述する撮像素子２１２上の焦点検出画素列が焦点検出の際に撮影画面上で像をサンプリングする焦点検出エリアの一例を示す。この例では、矩形の撮影画面１００上の中央（光軸上）および上下左右の５箇所に焦点検出エリア１０１〜１０５が配置される。長方形で示す焦点検出エリアの長手方向に、焦点検出画素が直線的に配列される。焦点検出エリア１０１、１０２、１０３においては焦点検出画素が水平方向に配列され、焦点検出エリア１０４、１０５においては焦点検出画素が垂直方向に配列される。
【００２２】
図４および図５は、いずれも撮像素子２１２の詳細な構成を示す正面図である。図４は、図３における焦点検出エリア１０１、１０２、または１０３の近傍を拡大した画素配列の詳細を示し、図５は、図３における焦点検出エリア１０４または１０５の近傍を拡大した画素配列の詳細を示す。撮像素子２１２には撮像画素３１０が二次元正方格子状に稠密に配列される。撮像画素３１０は赤画素（Ｒ）、緑画素（Ｇ）、青画素（Ｂ）からなり、ベイヤー配列の配置規則によって配置されている。図５においては、垂直方向の焦点検出用に、撮像画素３１０と同一の画素サイズを有する垂直方向焦点検出用の焦点検出画素３１３、３１４が交互に、本来緑画素と青画素が連続的に配置されるべき垂直方向の直線上に連続して配列される。同じく図４においては、水平方向の焦点検出用に撮像画素と同一の画素サイズを有する水平方向焦点検出用の焦点検出画素３１５、３１６が交互に、本来緑画素と青画素が連続的に配置されるべき水平方向の直線上に連続して配列される。
【００２３】
図６は、撮像画素３１０と焦点検出画素３１３、３１４、３１５、３１６のマイクロレンズ１０の形状を示す図である。撮像画素３１０と焦点検出画素３１３、３１４、３１５、３１６のマイクロレンズ１０の形状は、元々、画素サイズより大きな円形のマイクロレンズ９から画素サイズに対応した正方形の形状で切り出した形状をしている。マイクロレンズ１０の光軸を通る対角線の方向の断面と、マイクロレンズ１０の光軸を通る水平線の方向の断面とは、それぞれ図６に（ａ）、（ｂ）で示す形状になっている。
【００２４】
撮像画素３１０は、図７に示すように矩形のマイクロレンズ１０、後述の遮光マスクで受光領域を正方形に制限された光電変換部１１、および色フィルタ（不図示）から構成される。色フィルタは赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３種類からなり、それぞれの分光感度は図９に示す特性を有している。撮像素子２１２には、各色フィルタを備えた撮像画素３１０がベイヤー配列されている。
【００２５】
焦点検出画素３１３、３１４、３１５、３１６には全ての色に対して焦点検出を行うために全ての可視光を透過する白色フィルタが設けられており、その白色フィルタの分光感度特性は図１０に示される。つまり、図９に示す緑画素、赤画素および青画素の分光特性を加算したような分光感度特性となり、そのような分光感度特性に対応する光波長領域は、緑画素、赤画素および青画素の感度の光波長領域を包括している。
【００２６】
図８は焦点検出画素３１３、３１４、３１５、３１６の正面図である。焦点検出画素３１３は、図８(ａ)に示すように矩形のマイクロレンズ１０と後述の遮光マスクで受光領域を正方形の上半分（正方形を水平線で２等分した場合の上半分）に制限された光電変換部１３、および白色フィルタ（不図示）とから構成される。
【００２７】
また、焦点検出画素３１４は、図８(ｂ)に示すように、矩形のマイクロレンズ１０と後述の遮光マスクで受光領域を正方形の下半分（正方形を水平線で２等分した場合の下半分）に制限された光電変換部１４、および白色フィルタ（不図示）とから構成される。
【００２８】
焦点検出画素３１３と焦点検出画素３１４とをマイクロレンズ１０を基準に重ね合わせて表示すると、遮光マスクで受光領域を制限された光電変換部１３と１４が垂直方向に並んでいる。
【００２９】
また図８（ａ）、（ｂ）において、正方形を半分にした受光領域の部分に正方形を半分にした残りの部分（破線部分）を加えると、撮像画素３１０の受光領域と同じサイズの正方形となる。
【００３０】
焦点検出画素３１５は、図８(ｃ)に示すように、矩形のマイクロレンズ１０と後述の遮光マスクで受光領域を正方形の左半分（正方形を垂直線で２等分した場合の左半分）に制限された光電変換部１５、および白色フィルタ（不図示）とから構成される。
【００３１】
また、焦点検出画素３１６は、図８(ｄ)に示すように、矩形のマイクロレンズ１０と後述の遮光マスクで受光領域を正方形の右半分（正方形を垂直線で２等分した場合の右半分）に制限された光電変換部１６、および白色フィルタ（不図示）とから構成される。
【００３２】
焦点検出画素３１５の正面図と焦点検出画素３１６の正面図とをマイクロレンズ１０を基準に重ね合わせて表示すると、遮光マスクで受光領域を制限された光電変換部１５と１６が水平方向に並んでいる。
【００３３】
また図８（ｃ）、（ｄ）において、正方形を半分にした受光領域の部分に正方形を半分にした残りの部分（破線部分）を加えると、撮像画素３１０の受光領域と同じサイズの正方形となる。
【００３４】
図１１は、垂直方向の直線で撮像画素配列の断面をとった場合の撮像画素３１０の断面図である。撮像画素３１０では撮像用の光電変換部１１の上に近接して遮光マスク３０が形成され、光電変換部１１は、遮光マスク３０の開口部３０ａを通過した光を受光する。遮光マスク３０の上には平坦化層３１が形成され、その上に色フィルタ３８が形成される。色フィルタ３８の上には平坦化層３２が形成され、その上にマイクロレンズ１０が形成される。マイクロレンズ１０により開口部３０ａの形状が前方に投影される。光電変換部１１は半導体回路基板２９上に形成される。
【００３５】
図１２は、垂直方向の直線で焦点検出画素３１３、３１４からなる焦点検出画素配列の断面をとった場合の焦点検出画素３１３、３１４の断面図である。焦点検出画素３１３、３１４では焦点検出用の光電変換部１３，１４の上に近接して遮光マスク３０が形成され、光線変換部１３，１４は、遮光マスク３０の開口部３０ｂ、３０ｃを通過した光を受光する。遮光マスク３０の上には平坦化層３１が形成され、その上に白色フィルタ３４が形成される。白色フィルタ３４の上には平坦化層３２が形成され、その上にマイクロレンズ１０が形成される。マイクロレンズ１０により開口部３０ｂ、３０ｃの形状が前方に投影される。光電変換部１３，１４は半導体回路基板２９上に形成される。
【００３６】
焦点検出画素３１５、３１６の構造も焦点検出画素３１３、３１４の構造を９０度回転しただけであって、基本的に図１２に示す焦点検出画素３１３、３１４の構造と同様である。
【００３７】
図１３は、図４、図５、図１１に示す撮像画素３１０が受光する撮影光束の様子を説明するための図であって、垂直方向の直線で撮像画素配列の断面をとっている。
【００３８】
撮像素子２１２上に配列された全ての撮像画素３１０の光電変換部１１は、光電変換部１１に近接して配置された前記遮光マスク３０の開口部３０ａを通過した光束を受光する。遮光マスク３０の開口部３０ａの形状は、各撮像画素３１０のマイクロレンズ１０によりマイクロレンズ１０から測距瞳距離ｄだけ離間した射出瞳９０上の全撮像画素共通な領域９５に投影される。
【００３９】
従って各撮像画素３１０の光電変換部１１は、領域９５と各撮像画素３１０のマイクロレンズ１０を通過する撮影光束７１を受光し、領域９５を通過して各撮像画素３１０のマイクロレンズ１０へ向う撮影光束７１によって各マイクロレンズ１０上に形成される像の強度に対応した信号を出力する。
【００４０】
図１４は、図５、図１２に示す焦点検出画素３１３，３１４が受光する焦点検出光束の様子を図１３と比較して説明するための図であって、垂直方向の直線で焦点検出画素配列の断面をとっている。
【００４１】
撮像素子２１２上に配列された全ての焦点検出画素の光電変換部１３，１４は、光電変換部１３，１４に近接して配置された前記遮光マスク３０の開口部３０ｂ、３０ｃを通過した光束を受光する。遮光マスク３０の開口部３０ｂの形状は、各焦点検出画素３１３のマイクロレンズ１０によりマイクロレンズ１０から測距瞳距離ｄだけ離間した射出瞳９０上の焦点検出画素３１３に全てに共通した領域９３に投影される。同じく、遮光マスク３０の開口部３０ｃの形状は、各焦点検出画素３１４のマイクロレンズ１０により、マイクロレンズ１０から測距瞳距離ｄだけ離間した射出瞳９０上の焦点検出画素３１４に全てに共通した領域９４に投影される。一対の領域９３，９４を測距瞳と呼ぶ。
【００４２】
従って各焦点検出画素３１３の光電変換部１３は、測距瞳９３と各撮像画素３１０のマイクロレンズ１０を通過する焦点検出用光束７３を受光し、測距瞳９３を通過して各撮像画素３１０のマイクロレンズ１０へ向う焦点検出用光束７３によって各マイクロレンズ１０上に形成される像の強度に対応した信号を出力する。また、各焦点検出画素３１４の光電変換部１４は、測距瞳９４と各撮像画素３１０のマイクロレンズ１０を通過する焦点検出用光束７４を受光し、測距瞳９４を通過して各撮像画素３１０のマイクロレンズ１０へ向う焦点検出用光束７４によって各マイクロレンズ１０上に形成される像の強度に対応した信号を出力する。
【００４３】
一対の焦点検出画素３１３，３１４が受光する焦点検出用光束７３，７４が通過する射出瞳９０上の測距瞳９３と９４を統合した領域は、撮像画素３１０が受光する撮影光束７１が通過する射出瞳９０上の領域９５と一致する。射出瞳９０上において焦点検出用光束７３，７４は撮影光束７１に対して相補的な関係になっている。
【００４４】
上述した一対の焦点検出画素３１３、３１４を交互にかつ直線状に多数配置する。各焦点検出画素３１３、３１４の光電変換部１３、１４の出力を測距瞳９３および測距瞳９４に対応した一対の出力グループにまとめることによって、測距瞳９３と測距瞳９４をそれぞれ通過する一対の光束が焦点検出画素配列上（垂直方向）に形成する一対の像の強度分布に関する情報が得られる。この情報に対して、後述する像ズレ検出演算処理（相関演算処理、位相差検出処理）を施すことによって、いわゆる瞳分割型位相差検出方式で一対の像の像ズレ量が検出される。さらに、像ズレ量に一対の測距瞳の重心間隔と測距瞳距離の比例関係に応じた変換演算を行うことによって、焦点検出位置（垂直方向）における予定結像面と結像面の偏差（デフォーカス量）が算出される。
【００４５】
焦点検出画素３１５、３１６が受光する焦点検出光束も焦点検出画素３１３、３１４の受光する一対の焦点検出光束７３，７４を９０度回転しただけであって、基本的に図１４に示す焦点検出光束７３，７４と同様であり、測距瞳９３、９４を９０度回転した一対の測距瞳が設定される。一対の焦点検出画素３１５、３１６を交互にかつ直線状に多数配置する。各焦点検出画素３１５、３１６の光電変換部１５、１６の出力を一対の測距瞳に対応した一対の出力グループにまとめることによって、一対の測距瞳をそれぞれ通過する一対の光束が焦点検出画素配列上（水平方向）に形成する一対の像の強度分布に関する情報が得られる。この情報に基づき、焦点検出位置（水平方向）における予定結像面と結像面の偏差（デフォーカス量）が算出される。
【００４６】
図１５〜図１９は、デジタルスチルカメラ２０１の撮像動作を示すフローチャートである。図１５において、ボディ駆動制御装置２１４は、ステップＳ１００でデジタルスチルカメラ２０１の電源がオンされると、ステップＳ１１０以降の動作を開始する。ステップＳ１１０では、撮影モードに応じて、ステップＳ２００の単独撮影モード、ステップＳ４００の連続撮影モード、ステップＳ６００の第１動画撮影モード、ステップＳ８００の第２動画撮影モードに分岐する。なお、撮影モードは、撮影者が操作部材２１８によって設定するものであり、各モードの動作中に撮影モードが切換えられた場合にはステップＳ１２０の撮影モード切換え割り込みによりステップＳ１１０に戻る。なお、単独撮影モードとは静止画像を１枚単位で撮影する撮影モードであり、連続撮影モードとは静止画像を連続的に撮影する撮影モードである。また、第１動画撮影モードとは、光学ファインダーを使用しないで動画像を撮影する撮影モードであり、第２動画撮影モードとは、光学ファインダーを使用可能な状態で動画像を撮影する撮影モードである。
【００４７】
図１６は、単独撮影モードの動作フローチャートである。ステップＳ２００で単独撮影モードの動作が開始される。
【００４８】
ステップＳ２１０でハーフミラー２２２を撮影光路中に挿入し、アイピースシャッタ２２３を開ける。従って撮影者は光学ファインダーによる観察が可能になる。
【００４９】
ステップＳ２２０において、撮像素子２１２は一定周期で撮像動作を繰り返す動作モード（例えば１秒間に６０フレームを出力する）に設定される。そして１フレーム分の全画素データを読み出す。続くステップＳ２３０では、撮像画素３１０のデータから間引きしたデータ（スルー画像）を背面液晶表示素子２２０にライブビュー表示させる。ステップＳ２４０では、焦点検出画素３１３、３１４、３１５、３１６のデータに基づき５つの焦点検出エリア１０１〜１０５において、焦点検出を行って５つのデフォーカス量を算出し、その中で信頼性が所定値以上のデフォーカス量を抽出する。抽出されたデフォーカス量の中で相対的に最も近距離側にあるデフォーカス量を最終的なデフォーカス量とする。全てのデフォーカス量の信頼性が低い場合、またはデフォーカス量の算出が不能であった場合は、焦点検出不能となる。ステップＳ２４０におけるデフォーカス量の算出処理の詳細については後述する。
【００５０】
ステップＳ２５０で合焦近傍か否か、すなわち算出されたデフォーカス量の絶対値が所定値以内であるか否かを調べる。合焦近傍でないと判定された場合は、ステップＳ２６０へ進み、デフォーカス量をレンズ駆動制御装置２０６へ送信し、交換レンズ２０２のフォーカシング用レンズ２１０を合焦位置に駆動させるように指示する。その後、ステップＳ２１０へ戻って上述した動作を繰り返す。
【００５１】
なお、焦点検出不能な場合もこのステップに分岐し、レンズ駆動制御装置２０６へスキャン駆動命令を送信し、交換レンズ２０２のフォーカシング用レンズ２１０を無限から至近までの間でスキャン駆動させる。その後、ステップＳ２１０へ戻って上述した動作を繰り返す。
【００５２】
ステップＳ２５０で合焦近傍であると判定された場合はステップＳ２７０へ進み、シャッターボタンの操作によりシャッターレリーズがなされたか否かを判別する。シャッターレリーズがなされていないと判定された場合はステップＳ２１０へ戻り、上述した動作を繰り返す。一方、シャッターレリーズがなされたと判定された場合はステップＳ２８０へ進み、ハーフミラー２２２を撮影光路中から退避するとともに、外部光が光学ファインダーからハーフミラー２２２を通過して撮像素子２１２に入射するのを防止するためにアイピースシャッタ２２３を閉める。ステップＳ２９０ではレンズ駆動制御装置２０６へ絞り調整命令を送信し、交換レンズ２０２の絞り値を制御Ｆ値（撮影者または自動により設定されたＦ値）にする。絞り制御が終了した時点で、撮像素子２１２に被写体輝度に応じた露光時間による撮像動作を行わせ、撮像素子２１２の撮像画素３１０および全ての焦点検出画素３１３、３１４、３１５、３１６から画像データを読み出す。
【００５３】
ステップＳ３００において、焦点検出画素列の各画素位置における仮想的な撮像画素のデータを焦点検出画素の周囲の撮像画素３１０のデータと焦点検出画素３１３、３１４、３１５、３１６のデータに基づいて画素補間する。続くステップＳ３１０では、撮像画素３１０のデータおよび補間された撮像画素のデータからなる画像データ（静止画データ）をメモリカード２１９に記憶し、ステップＳ２１０へ戻って上述した動作を繰り返す。
【００５４】
次に図１６のステップＳ２４０で用いられるデフォーカス量の算出処理（相関演算処理）の詳細について説明する。
【００５５】
簡単のため１つの焦点検出エリアの焦点検出画素配列に対する処理を記載するが、他の焦点検出エリアにおける処理も同様である。
【００５６】
焦点検出画素３１３，３１４、または焦点検出画素３１５，３１６が検出する一対の像は、測距瞳がレンズの絞り開口により口径蝕を受けて光量バランスが崩れている可能性があるので、光量バランスに対して像ズレ検出精度を維持できるタイプの相関演算を施す。
【００５７】
焦点検出画素列から読み出された一対のデータ列（Ａ１１〜Ａ１Ｍ、Ａ２１〜Ａ２Ｍ：Ｍはデータ数）に対し、特開２００７−３３３７２０号公報に開示された相関演算式（１）を行い、相関量Ｃ（ｋ）を演算する。
Ｃ（ｋ）＝Σ｜Ａ１ｎ×Ａ２ｎ＋１＋ｋ−Ａ２ｎ＋ｋ×Ａ１ｎ＋１｜ （１）
【００５８】
式（１）において、Σ演算はｎについて累積されるが、ｎのとる範囲は、像ずらし量ｋに応じてＡ１ｎ、Ａ１ｎ＋１、Ａ２ｎ＋ｋ、Ａ２ｎ＋１＋ｋのデータが存在する範囲に限定される。像ずらし量ｋは整数であり、データ列のデータ間隔を単位とした相対的ずらし量である。
【００５９】
式（１）の演算結果は、図２０（ａ）に示すように、一対のデータの相関が高いシフト量（図２０（ａ）ではｋ＝ｋｊ＝２）において相関量Ｃ（ｋ）が極小（小さいほど相関度が高い）になる。
【００６０】
式（２）〜（５）による３点内挿の手法を用いて連続的な相関量に対する極小値Ｃ（ｋｓ）を与えるずらし量ｋｓを求める。
ｋｓ＝ｋｊ＋Ｄ／ＳＬＯＰ （２）
Ｃ（ｋｓ）＝ Ｃ（ｋｊ）−｜Ｄ｜ （３）
Ｄ＝｛Ｃ（ｋｊ−１）−Ｃ（ｋ ｊ＋１）｝／２ （４）
ＳＬＯＰ＝ＭＡＸ｛Ｃ（ｋｊ＋１）−Ｃ（ｋｊ），Ｃ（ｋｊ−１）−Ｃ（ｋｊ）｝ （５）
【００６１】
式（２）で算出されたずらし量ｋｓの信頼性があるかどうかは、以下のようにして判定される。
【００６２】
図２０（ｂ）に示すように、一対のデータの相関度が低い場合は、内挿された相関量の極小値Ｃ（ｋｓ）の値が大きくなる。
【００６３】
したがって、Ｃ（ｋｓ）が所定の閾値以上の場合は算出されたずらし量の信頼性が低いと判定し、算出されたずらし量ｋｓをキャンセルする。
【００６４】
あるいは、Ｃ（ｋｓ）をデータのコントラストで規格化するために、コントラストに比例した値となるＳＬＯＰでＣ（ｋｓ）を除した値が所定値以上の場合は、算出されたずらし量の信頼性が低いと判定し、算出されたずらし量ｋｓをキャンセルする。
【００６５】
あるいはまた、コントラストに比例した値となるＳＬＯＰが所定値以下の場合は、被写体が低コントラストであり、算出されたずらし量の信頼性が低いと判定し、算出されたずらし量ｋｓをキャンセルする。
【００６６】
図２０（ｃ）に示すように、一対のデータの相関度が低く、ずらし量の範囲ｋｍｉｎ〜ｋｍａｘの間で相関量Ｃ（ｋ）の落ち込みがない場合は、極小値Ｃ（ｋｓ）を求めることができず、このような場合は焦点検出不能と判定する。
【００６７】
算出されたずらし量ｋｓの信頼性があると判定された場合は、式（６）により像ズレ量ｓｈｆｔに換算される。式（６）において、ＰＹは焦点検出画素３１３，３１４、または焦点検出画素３１５，３１６の画素ピッチの２倍（検出ピッチ）である。
ｓｈｆｔ＝ＰＹ×ｋｓ （６）
【００６８】
式（６）で算出された像ずらし量に所定の変換係数Ｋｄを乗じてデフォーカス量ｄｅｆへ変換する。なお、変換係数Ｋｄは、焦点検出画素３１３，３１４、または焦点検出画素３１５，３１６が受光する一対の光束の開き角に対応しており、測距瞳距離ｄを一対の測距瞳の重心間隔で除算した値である。
ｄｅｆ＝Ｋｄ×ｓｈｆｔ （７）
【００６９】
なお変換係数Ｋｄは測距瞳の重心間隔が絞り開口径に応じて変化するために、絞り開口径に応じて変化する。
【００７０】
図１７は連続撮影モードの動作フローチャートである。ステップＳ４００で連続撮影モードの動作が開始される。連続撮影とは、例えば１秒間に１０フレームを撮影することをいう。
【００７１】
ステップＳ４１０でハーフミラー２２２を撮影光路中に挿入し、アイピースシャッタ２２３を開ける。従って撮影者は光学ファインダーによる観察が可能になる。
【００７２】
ステップＳ４２０においてシャッターボタンの操作によりシャッターレリーズがなされたか否かを判別する。シャッターレリーズがなされていないと判定された場合はステップＳ４３０へ進み、シャッターレリーズがなされたと判定された場合はステップＳ４８０へ進む。
【００７３】
ステップＳ４３０では、撮像素子２１２は一定周期で撮像動作を繰り返す動作モード（例えば１秒間に６０フレームを出力する）に設定される。そして１フレーム分の全画素データを読み出す。続くステップＳ４４０では、撮像画素３１０のデータから間引きしたデータ（スルー画像）を背面液晶表示素子２２０にライブビュー表示させる。ステップＳ４５０では、焦点検出画素３１３、３１４、３１５、３１６のデータに基づき、５つの焦点検出エリア１０１〜１０５において焦点検出を行って５つのデフォーカス量を算出し、その中で信頼性が所定値以上のデフォーカス量を抽出する。抽出されたデフォーカス量に中で相対的に最も近距離側にあるデフォーカス量を最終的なデフォーカス量とする。全てのデフォーカス量の信頼性が低い場合またはデフォーカス量の算出が不能であった場合は焦点検出不能となる。
【００７４】
ステップＳ４６０で合焦近傍か否か、すなわち算出されたデフォーカス量の絶対値が所定値以内であるか否かを調べる。合焦近傍であると判定された場合はステップＳ４２０へ戻って上述した動作を繰り返す。
【００７５】
合焦近傍でないと判定された場合はステップＳ４７０へ進み、デフォーカス量をレンズ駆動制御装置２０６へ送信し、交換レンズ２０２のフォーカシング用レンズ２１０を合焦位置に駆動させるように指示する。その後、ステップＳ４２０へ戻って上述した動作を繰り返す。
【００７６】
ステップＳ４２０でシャッターレリーズがなされた（連続撮影の間はシャッターボタンの操作を継続する）と判定された場合はステップＳ４８０へ進み、一定周期で撮像動作を繰り返す動作モードで動作していた撮像素子２１２をリセットする。レンズ駆動制御装置２０６へ絞り調整命令を送信し、交換レンズ２０２の絞り値を制御Ｆ値（撮影者または自動により設定されたＦ値）にする。絞り制御が終了した時点で、撮像素子２１２に被写体輝度に応じた露光時間による撮像動作を行わせ、撮像素子２１２の撮像画素３１０および全ての焦点検出画素３１３、３１４、３１５、３１６から画像データを読み出す。
【００７７】
続くステップＳ４９０では、撮像画素３１０のデータを背面液晶表示素子２２０に表示する。ステップＳ５００では、焦点検出画素３１３、３１４、３１５、３１６のデータに基づき、５つの焦点検出エリア１０１〜１０５において焦点検出を行って５つのデフォーカス量を算出し、その中で信頼性が所定値以上のデフォーカス量を抽出する。抽出されたデフォーカス量の中で相対的に最も近距離側にあるデフォーカス量を最終的なデフォーカス量とする。全てのデフォーカス量の信頼性が低い場合またはデフォーカス量の算出が不能であった場合は焦点検出不能となる。
【００７８】
ステップＳ５１０で合焦近傍か否か、すなわち算出されたデフォーカス量の絶対値が所定値以内であるか否かを調べる。合焦近傍であると判定された場合はステップＳ５３０へ進む。合焦近傍でないと判定された場合はステップＳ５２０へ進み、デフォーカス量をレンズ駆動制御装置２０６へ送信し、交換レンズ２０２のフォーカシング用レンズ２１０を合焦位置に駆動させるように指示してからステップＳ５３０へ進む。
【００７９】
ステップＳ５３０において、焦点検出画素列の各画素位置における仮想的な撮像画素のデータを焦点検出画素３１３、３１４、３１５、３１６の周囲の撮像画素３１０のデータと焦点検出画素のデータ３１３、３１４、３１５、３１６に基づいて画素補間する。
【００８０】
ステップＳ５４０では、ハーフミラー２２２を挿入した状態で撮像した画像データに対して、ハーフミラー２２２挿入により生じた画像劣化を回復する画像処理を施す。
【００８１】
図２１は、ハーフミラー２２２を透過する光線Ｌ１の様子を示す断面図（図１、図２と同じ断面による断面図）である。交換レンズ２０２から到来する光線Ｌ１は、ハーフミラー２２２の前面２２２ａに入射し、後面２２２ｂから出射する光線Ｌ２と、後面２２２ｂにて反射しさらに前面２２２ａにて反射し、後面２２２ｂから出射する光線Ｌ３とに分離する。ハーフミラー２２２の前面２２２ａと後面２２２ｂとは平行であるので、光線Ｌ２と光線Ｌ３とは平行線となる。光線Ｌ３の量は光線Ｌ２の量に比較して微量ではあるが、天体撮影画像や夜景撮影画像等のコントラストの大きな画像の場合には、ゴーストとして光線Ｌ３の像が本来の像に重畳し、見にくい画像になってしまう。図２２は、撮影画面１００上において、本来の像Ｍ１にゴースト像Ｍ２が重畳している例を示す。撮影画面１００上で、画面中心を通る水平軸をｘ、垂直軸をｙ、ハーフミラー２２２を通過後の２つの光線Ｌ２、Ｌ３のｙ軸方向の偏位量をΔ、光量比（Ｌ３／Ｌ２＜＜１）をＷとする。また、本来の像Ｍ１の強度分布をＭ１（ｘ，ｙ）、ゴースト像Ｍ２の強度分布をＭ２（ｘ，ｙ）とすると、撮像素子２１２が出力する画像データＭ０の強度分布Ｍ０（ｘ，ｙ）は、以下のように式（８）および（９）のように表される。
Ｍ０（ｘ，ｙ）＝Ｍ１（ｘ，ｙ）＋Ｗ×Ｍ１（ｘ，ｙ＋Δ） （８）
Ｍ２（ｘ，ｙ）＝Ｗ×Ｍ１（ｘ，ｙ＋Δ） （９）
【００８２】
偏位量Δは、ハーフミラー２２２の厚さ、ハーフミラー２２２の素材の屈折率、および光線Ｌ１のハーフミラー２２２への入射角より算出できる。光量比Ｗは、ハーフミラー２２２の前面２２２ａおよび後面２２２ｂの反射率より算出できる。式（１０）に示すように、最左辺｛Ｍ０（ｘ，ｙ）−Ｗ×Ｍ０（ｘ，ｙ＋Δ）｝に対して、式（８）を用いた代入計算を行い、｛Ｗ×Ｗ×Ｍ１（ｘ，ｙ＋２×Δ）｝を０とする近似計算を行うことにより、Ｍ１（ｘ，ｙ）が求められる。すなわち、偏位量Δと光量比Ｗがわかれば、本来の像Ｍ１（ｘ，ｙ）は、式（１０）の最左辺に示すような画像処理を施すことにより近似できる。このような画像処理をＲＧＢの各色毎の画像データに対して施す。
Ｍ０（ｘ，ｙ）−Ｗ×Ｍ０（ｘ，ｙ＋Δ）
＝Ｍ１（ｘ，ｙ）−Ｗ×Ｗ×Ｍ１（ｘ，ｙ＋２×Δ）
≒Ｍ１（ｘ，ｙ） （１０）
【００８３】
ステップＳ５５０では、ハーフミラー２２２を挿入したことによる、いわゆるミラー切れの影響を除去するために、画像データからハーフミラー２２２を通過した光束のみで被写体像が形成される領域の画像データを切り抜く処理（クリップ処理）を行う。ミラー切れとは、撮像素子２１２上にハーフミラー２２２を通過した光束のみで被写体像が形成される領域と、ハーフミラー２２２を通過しない光束とハーフミラー２２２を通過した光束とで被写体像が形成される領域とから構成される２つの領域が発生する状況をいう。
【００８４】
ハーフミラー２２２は撮像素子２１２の長辺および短辺と平行な辺を有する矩形形状をしており図１、図２に示すように撮影光路中に挿入退避されるが、退避時には撮影光軸と略平行となるように、撮像素子２１２に近い辺を軸に回転してスクリーン２１５の下に退避格納される。この際、あまりにハーフミラー２２２の長さが長いとマウント部２０４や交換レンズ２０２と機械的な干渉を生じるために、ハーフミラー２２２の長さは所定値以下に制限される。
【００８５】
図２３は絞り開口径がＦａの場合において、絞り開口を通過した光束がハーフミラー２２２を通過して撮像素子２１２上に結像する様子を示した断面図である。撮像素子２１２の上端の点Ｐ２に絞り開口Ｆａを通過して結像する光束Ｒ２は、全てハーフミラー２２２を通過する。撮像素子２１２の下端の点Ｐ１に絞り開口Ｆａを通過して結像する光束Ｒ１の一部はハーフミラー２２２を通過し、一部はハーフミラー２２２を通過しない。ハーフミラー２２２の通過の有無により、光量減少量、収差量などが異なるので、点Ｐ１に結像した像と点Ｐ２に結像した像は、同一の被写体画像を形成するための同じ画像特性を有しているとは言えない。また、撮像素子２１２上の点Ｐ３は、絞り開口Ｆａを通過した光束Ｒ３に含まれる全ての光線がハーフミラー２２２を通過して撮像素子２１２上に結像することができる下限の位置を示している。点Ｐ３の位置は絞り開口径Ｆａ、絞りから撮像素子２１２までの距離、ハーフミラー２２２の下端の位置（ｙ軸方向および光軸方向）に基づき決定することができる。
【００８６】
図２４は、絞り開口径がＦａの場合においてクリップ処理により画像データから切り抜かれる領域３００を示す図である。撮像データが出力される撮影画面１００上において、ｙ軸方向（図２３の断面図における上下方向）のクリップ処理は、点Ｐ２から点Ｐ３までが切り取られることによって行われる。ｘ軸方向のクリップ処理は、クリップ処理前の撮影画面１００のアスペクト比とクリップ処理後のアスペクト比が同一になるように決定される。
【００８７】
図２５は、絞り開口径がＦｂ（＜Ｆａ）の場合において、絞り開口を通過した光束がハーフミラー２２２を通過して撮像素子２１２上に結像する様子を示した断面図である。撮像素子２１２の上端の点Ｐ２に絞り開口Ｆｂを通過して結像する光束Ｑ２は、全てハーフミラー２２２を通過する。撮像素子２１２の下端の点Ｐ１に絞り開口Ｆｂを通過して結像する光束Ｑ１の一部はハーフミラー２２２を通過し、一部はハーフミラー２２２を通過しない。また、撮像素子２１２上の点Ｐ４は、絞り開口Ｆｂを通過した光束Ｑ４に含まれるすべての光線がハーフミラー２２２を通過して撮像素子２１２上に結像することができる下限の位置を示している。点Ｑ４の位置は絞り開口径Ｆｂ、絞りから撮像素子２１２までの距離、ハーフミラー２２２の下端の位置（ｙ軸方向および光軸方向）に基づき決定することができる。
【００８８】
図２６は、絞り開口径がＦｂの場合においてクリップ処理により画像データから切り抜かれる領域３０１を示す図である。撮像データが出力される撮影画面１００上において、ｙ軸方向のクリップ処理は、点Ｐ２から点Ｐ４までが切り取られることによって行われる。ｘ軸方向のクリップ処理は、クリップ処理前の撮影画面１００のアスペクト比とクリップ処理後のアスペクト比が同一になるように決定される。
【００８９】
以上のように、ステップＳ５５０では、同一撮像データにおいて、撮影画面１００上のいずれの位置においてもその画像特性が一様となるようにするために、画像データからハーフミラー２２２を通過した光束のみで被写体像が形成される領域の画像データを切り抜くクリップ処理を行う。その際には交換レンズ２０２から送信される絞り開口径の情報を用いてクリップ領域の位置および大きさを決定する。
【００９０】
続くステップＳ５６０では、撮像画素３１０のデータおよび補間された撮像画素３１０のデータからなる画像データ（静止画データ）をメモリカード２１９に記憶し、ステップＳ４２０へ戻って上述した動作を繰り返す。
【００９１】
図１８は、第１動画撮影モードの動作フローチャートである。第１動画撮影モードにおいては、ハーフミラー２２２が撮影光路から退避される。第１動画撮影モードは、撮影光路中に何もない状態で動画データが取得されるとともに、撮影者が、背面液晶表示素子２２０により画像を観察することのできるモードである。このようにして取得された動画データは、高品質画像データであり、クリップ処理がなされていないものである。動画撮影とは、例えば１秒間に連続撮影の場合よりも多い６０フレームを撮影することをいう。ステップＳ６００で第１動画撮影モードの動作が開始される。
【００９２】
ステップＳ６１０でハーフミラー２２２を撮影光路中から退避し、光学ファインダーからの逆入射光を阻止するためにアイピースシャッタ２２３を閉める。ステップＳ６２０において、撮像素子２１２は、一定周期で撮像動作を繰り返す動作モード（例えば１秒間に６０フレームを出力する）に設定される。そして１フレーム分の全画素データを読み出す。また測光結果に応じてレンズ駆動制御装置２０６へ絞り調整命令を送信し、光量調整を行う。続くステップＳ６３０では、撮像画素３１０のデータから間引きしたデータ（スルー画像）を背面液晶表示素子２２０にライブビュー表示させる。ステップＳ６４０では、焦点検出画素３１３、３１４、３１５、３１６のデータに基づき、５つの焦点検出エリア１０１〜１０５において焦点検出を行って５つのデフォーカス量を算出し、その中で信頼性が所定値以上のデフォーカス量を抽出する。抽出されたデフォーカス量の中で相対的に最も近距離側にあるデフォーカス量を最終的なデフォーカス量とする。全てのデフォーカス量の信頼性が低い場合、またはデフォーカス量の算出が不能であった場合は焦点検出不能となる。
【００９３】
ステップＳ６５０で、合焦近傍か否か、すなわち算出されたデフォーカス量の絶対値が所定値以内であるか否かを調べ、合焦近傍であると判定された場合はステップＳ６７０へ進む。合焦近傍でないと判定された場合は、ステップＳ６６０へ進み、デフォーカス量をレンズ駆動制御装置２０６へ送信し、交換レンズ２０２のフォーカシング用レンズ２１０を合焦位置に駆動させるように指示してから、ステップＳ６７０に進む。
【００９４】
ステップＳ６７０では、シャッターボタンの操作によりシャッターレリーズ、すなわち動画撮影指示（動画撮影の間はシャッターボタンの操作を継続する）がなされているか否かを判別する。シャッターレリーズがなされていないと判定された場合はステップＳ６２０へ戻り、上述した動作を繰り返す。一方、シャッターレリーズがなされていると判定された場合はステップＳ６８０へ進み、焦点検出画素列の各画素位置における仮想的な撮像画素のデータを焦点検出画素３１３、３１４、３１５、３１６の周囲の撮像画素３１０のデータと焦点検出画素３１３、３１４、３１５、３１６のデータに基づいて画素補間する。ステップＳ６９０では静止画データに基づき、動画フォーマットの動画データを作成する。続くステップＳ７００では、画像データ（動画データ）をメモリカード２１９に記憶し、ステップＳ６２０へ戻って上述した動作を繰り返す。
【００９５】
図１９は第２動画撮影モードの動作フローチャートである。第２動画撮影モードにおいては、ハーフミラー２２２が撮影光路に挿入され、動画データは撮影光路中にハーフミラー２２２が挿入された状態で取得されるとともに、撮影者は光学ファインダーにより画像を観察する可能なモードである。このようにして取得された動画データは、画像処理およびクリップ処理がなされていないものである。ステップＳ８００で第２動画撮影モードの動作が開始される。
【００９６】
ステップＳ８１０で、ハーフミラー２２２を撮影光路中に挿入し、光学ファインダーからの画像観察を可能にするためにアイピースシャッタ２２３を開ける。ステップＳ８２０において、撮像素子２１２は、一定周期で撮像動作を繰り返す動作モード（例えば１秒間に６０フレームを出力する）に設定される。そして１フレーム分の全画素データを読み出す。また、測光結果に応じてレンズ駆動制御装置２０６へ絞り調整命令を送信し、光量調整を行う。続くステップＳ８３０では、撮像画素３１０のデータから間引きしたデータ（スルー画像）を背面液晶表示素子２２０にライブビュー表示させる。ステップＳ８４０では、焦点検出画素３１３、３１４、３１５、３１６のデータに基づき、５つの焦点検出エリア１０１〜１０５において焦点検出を行って５つのデフォーカス量を算出し、その中で信頼性が所定値以上のデフォーカス量を抽出する。抽出されたデフォーカス量の中で相対的に最も近距離側にあるデフォーカス量を、最終的なデフォーカス量とする。全てのデフォーカス量の信頼性が低い場合またはデフォーカス量の算出が不能であった場合は焦点検出不能となる。
【００９７】
ステップＳ８５０で、合焦近傍か否か、すなわち算出されたデフォーカス量の絶対値が所定値以内であるか否かを調べ、合焦近傍であると判定された場合はステップＳ８７０へ進む。合焦近傍でないと判定された場合はステップＳ８６０へ進み、デフォーカス量をレンズ駆動制御装置２０６へ送信し、交換レンズ２０２のフォーカシング用レンズ２１０を合焦位置に駆動させるように指示してから、ステップＳ８７０に進む。
【００９８】
ステップＳ８７０では、シャッターボタンの操作によりシャッターレリーズ、すなわち動画撮影指示（動画撮影の間はシャッターボタンの操作を継続する）がなされているか否かを判別する。シャッターレリーズがなされていないと判定された場合はステップＳ８２０へ戻り、上述した動作を繰り返す。一方、シャッターレリーズがなされていると判定された場合はステップＳ８８０へ進む。
【００９９】
ステップＳ８９０では、ハーフミラー２２２を挿入した状態で撮像した画像データに対して、ハーフミラー２２２挿入により生じた画像劣化を回復する画像処理を施す。
【０１００】
ステップＳ９００では、ハーフミラー２２２を挿入したことによる、いわゆるミラー切れの影響を除去するために、画像データからハーフミラー２２２を通過した光束のみで被写体像が形成される領域の画像データを絞り開口径に応じて切り抜く処理（クリップ処理）を行う。
【０１０１】
ステップＳ９１０では、焦点検出画素列の各画素位置における仮想的な撮像画素のデータを、焦点検出画素３１３、３１４、３１５、３１６の周囲の撮像画素３１０のデータと、焦点検出画素３１３、３１４、３１５、３１６のデータとに基づいて画素補間する。ステップＳ９２０では、静止画データに基づき動画フォーマットの動画データを作成する。続くステップＳ９３０では、画像データ（動画データ）をメモリカード２１９に記憶し、ステップＳ８２０へ戻って上述した動作を繰り返す。
【０１０２】
以上説明した実施形態においては、単独撮影モード・連続撮影モード・第２動画撮影モードのいずれにおいても、常に光学ファインダーを用いた高品質な被写体観察が可能になると同時に、位相差検出方式での迅速かつ正確な自動焦点調節が可能となる。
【０１０３】
したがって、本実施の形態のデジタルスチルカメラ２０１によって、連続撮影等において、光学ファインダーより総合的に視認性（解像度、応答性）の劣る電子ファインダー観察では困難な被写体追尾が容易となる。移動する被写体に対しては、迅速な焦点調節を行って追従しつつ撮影することが可能となる。
【０１０４】
また、ハーフミラー２２２を透過した光束により画像データが形成された場合には、ハーフミラー２２２挿入によって生じる画像劣化を画像処理により回復するとともに、ハーフミラー２２２挿入によって生じる画像データにおけるミラー切れ領域を、クリップ処理により取り除くことにより画像特性が揃った自然な画像を得ることができる。
【０１０５】
−変形例−
＜ハーフミラー挿入時の色補正＞
ハーフミラー２２２の半透過機能を積層透明薄膜によって実現する場合には、可視光領域において波長によらず透過率を完全に一様にすることは技術的に難しく、透過率の波長依存性のために透過光によって得られた画像データには色づき（分光特性の劣化）が発生する場合がある。図１７のステップＳ５４０や図１９のステップＳ８９０においては、あらかじめ測定されたハーフミラー２２２の透過率の分光分布データに基づき、撮像データのＲＧＢ間の成分比を調整することによりこのような色づきを補正するようにしてもよい。
【０１０６】
＜ハーフミラー挿入時の収差補正画像処理＞
ハーフミラー２２２を撮影光路中に挿入して撮影を行う場合には、ゴースト二重像による画像劣化以外にも、色収差の発生による色滲みによる画像劣化も生じる。また、各種光学的収差（球面収差、非点収差、コマ収差、歪曲収差、像面湾曲収差）も発生するので、これらの収差を、ハーフミラー２２２の諸元（厚さ、屈折率、分散等）に応じて画像処理により補正するようにしてもよい。具体的には、ハーフミラー２２２の挿入による収差劣化を測定または計算し、求められた収差劣化に基づく点像分布関数（ＰＳＦ）を算出し、該点像分布関数に基づき、撮像データに対しデコンボルーションのような画像処理を施すことにより、画像劣化を回復することができる。また、これらの収差や色づきや二重像の影響は、ハーフミラー２２２への入射する光束の入射角度にも依存するので、撮像素子２１２上の位置に応じた画像処理を施すようにしてもよい。
【０１０７】
＜クリップ領域の表示＞
図１７のステップＳ５５０や図１９のステップＳ９００においては、画像データにおけるミラー切れ領域を取り除くためのクリップ処理を行うこととした。しかし、撮影者にクリップ領域を視認させるために、図１、図２において、スクリーン２１５の近傍に透過型液晶表示素子を配置し、クリップ領域を被写体像に重畳して表示させるようにしてもよい。
【０１０８】
＜ペリクルミラー＞
以上説明した実施形態においては、ハーフミラー２２２は、ガラス板のようにｍｍオーダの厚み（１ｍｍ程度）をもった素材により形成されている。しかし、ペリクルミラーのようなμｍオーダの厚さ（数十μｍ程度）を有するミラーを利用することにより、二重像による画像劣化を緩和することができる。なお、ペリクルミラーとは、堅固な支持枠に接着され、薄く引き伸ばされたポリエステルシート等の薄膜上に蒸着等により半透過膜を形成して得られる半透過鏡のことをいう。
【０１０９】
＜１つの焦点検出画素に一対の受光領域を備える＞
図４、図５に示す撮像素子２１２の部分拡大図では、各画素に１つの光電変換部を有する一対の焦点検出画素３１３，３１４および一対の焦点検出画素３１５，３１６を備える例を示したが、図２７、図２８に示すように、一つの焦点検出画素内に一対の光電変換部を備えるようにしてもよい。図２７、図２８は、撮像素子２１２の部分拡大図であり、焦点検出画素３１１および３１２は一対の光電変換部を備える。
【０１１０】
図２８に示す焦点検出画素３１１は、図８（ａ）、図８（ｂ）に示す焦点検出画素３１３と焦点検出画素３１４のペアに相当した機能を果たし、図２７に示す焦点検出画素３１２は、図８（ｃ）、図８（ｄ）に示す焦点検出画素３１５と焦点検出画素３１６のペアに相当した機能を果たす。焦点検出画素３１１、３１２は、図２９（ａ）、図２９（ｂ）に示すようにマイクロレンズ１０と、一対の光電変換部１３，１４または一対の光電変換部１５，１６から構成される。焦点検出画素３１１,３１２には後述する白色フィルタ３４が配置されており、その分光感度特性は、光電変換を行うフォトダイオードの分光感度特性と、赤外カットフィルタ（不図示）の分光特性とを総合した分光特性（図１０参照）となる。つまり、図９に示す緑画素、赤画素および青画素の分光特性を加算したような分光感度特性となり、その分光感度特性に対応する光波長領域は、緑画素、赤画素および青画素の感度の光波長領域を包括している。
【０１１１】
図３０は、図２９（ａ）に示した焦点検出画素３１１の断面図であって、光電変換部１３，１４の上に近接して遮光マスク３０が形成され、光線変換部１３，１４は、遮光マスク３０の開口部３０ｄを通過した光を受光する。遮光マスク３０の上には平坦化層３１が形成され、その上に白色フィルタ３４が形成される。白色フィルタ３４の上には平坦化層３２が形成され、その上にマイクロレンズ１０が形成される。マイクロレンズ１０により開口部３０ｄに制限された光電変換部１３，１４の形状が前方に投影されて、一対の測距瞳を形成する。光電変換部１３，１４は半導体回路基板２９上に形成される。
【０１１２】
焦点検出画素３１２の構造も焦点検出画素３１１の構造を９０度回転しただけであって、基本的に図３０に示す焦点検出画素３１１の構造と同様である。
【０１１３】
上述した実施形態における撮像素子２１２では、焦点検出画素３１１〜３１６が白色フィルタ３４を備えた例を示したが、撮像画素３１０と同じ色フィルタ（例えば緑フィルタ）を備えるようにした場合にも本発明を適用することができる。
【０１１４】
上述した実施形態における撮像素子２１２では、撮像画素３１０がベイヤー配列の色フィルタを備えた例を示したが、色フィルタの構成や配列はこれに限定されることはなく、補色フィルタ（緑：Ｇ、イエロー：Ｙｅ、マゼンタ：Ｍｇ，シアン：Ｃｙ）の配列やベイヤー配列以外の配列にも本発明を適用することができる。
【０１１５】
また、色フィルタを備えないモノクロの撮像素子にも適用することができる。
【０１１６】
なお、撮像装置としては、上述したような、カメラボディに交換レンズが装着される構成のデジタルスチルカメラやフィルムスチルカメラに限定されない。例えば、レンズ一体型のデジタルスチルカメラ、フィルムスチルカメラ、あるいはビデオカメラにも本発明を適用することができる。さらには、携帯電話などに内蔵される小型カメラモジュール、監視カメラやロボット用の視覚認識装置、車載カメラなどにも適用できる。
【符号の説明】
【０１１７】
９，１０ マイクロレンズ １１，１３，１４，１５，１６ 光電変換部
２９ 半導体回路基板 ３０ 遮光マスク
３１，３２ 平坦化層 ３４ 白色フィルタ
３８ 色フィルタ ７１ 撮影光束
７３，７４ 焦点検出用光束 ９０ 射出瞳
９１ 交換レンズの光軸 ９３，９４ 測距瞳
９５ 射出瞳上の領域 １００ 撮影画面
１０１〜１０５ 焦点検出エリア ２０１ デジタルスチルカメラ
２０２ 交換レンズ ２０３ カメラボディ
２０４ マウント部 ２０６ レンズ駆動制御装置
２０８ ズーミング用レンズ ２０９ レンズ
２１０ フォーカシング用レンズ ２１１ 絞り
２１２ 撮像素子 ２１３ 電気接点
２１４ ボディ駆動制御装置 ２１５ スクリーン
２１６ ペンタプリズム ２１７ 接眼レンズ
２１８ 操作部材 ２１９ メモリカード
２２０ 背面液晶表示素子（背面ＬＣＤ）
２２１ ミラーおよびアイピースシャッタ制御手段
２２２ ハーフミラー ２２３ ミラーおよびアイピースシャッタ
３００，３０１ 切り抜かれる領域
３１０ 撮像画素 ３１１〜３１６ 焦点検出画素
【技術分野】
【０００１】
本発明は、撮像装置に関する。
【背景技術】
【０００２】
被写体光を光学ファインダーに導く光学観察位置と被写体光を撮像素子に受光させる撮像位置とに選択的に配置されるクイックリターンミラーと、電子ファインダーとを有する撮像装置がある。その撮像装置は、静止画単独撮影モードではクイックリターンミラーを上記両位置の間で移動させて光学ファインダー観察と撮像素子による撮影とを順次行わせる。連続撮影モードでは連続撮影前にはクイックリターンミラーを光学観察位置（すなわち、クイックリターンミラーを撮影光路に挿入した状態）に配置して光学ファインダー観察を行わせるとともに連続撮影中にはクイックリターンミラーを撮影位置（すなわち、クイックリターンミラーを撮影光路から退避した状態）に保持して電子ファインダー観察を行わせる。前記２つの撮影モードにおいて、クイックリターンミラーを光学観察位置に配置して光学ファインダー観察を行わせる状態において位相差方式による焦点検出および自動焦点調節を行う撮像装置が知られている（たとえば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−３００４３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら特許文献１に記載の撮像装置においては、連続撮影モードの時に被写体像を観察するために光学ファインダーとは別個に電子ファインダーを設ける必要があり、フィンダーが大型化してしまうという問題があった。
【課題を解決するための手段】
【０００５】
（１）請求項１に記載の撮像装置は、被写体像を形成する撮影光学系と、被写体像を撮像して撮像信号を出力する複数の撮像画素と、撮影光学系を透過した透過光束に基づき、瞳分割型位相差検出方式により焦点検出信号を出力する複数の焦点検出画素とが２次元的に配列される撮像素子と、被写体像の観察のために撮影光学系を透過した透過光束が入射する観察光学系と、撮影光学系と撮像素子との間の撮影光路への挿入および撮影光路からの退避が可能に配設され、挿入がされたとき、撮影光学系を透過した透過光束を、撮像素子に向かう第１の光束と観察光学系に向かう第２の光束とに分割する分割光学系と、撮像信号に基づき撮像データを生成する生成手段と、分割光学系に対して挿入および退避を制御する制御手段と、制御手段に対して、第１の動作態様に応じた制御と第２の動作態様に応じた制御とを択一的に指定する指定手段とを備え、制御手段は、第１の動作態様が指定された場合、撮像データを生成するときは退避がされるように分割光学系を制御し、観察がされるときは挿入がされるように分割光学系を制御し、第２の動作態様が指定された場合、撮像データの生成時および観察時のいずれにおいても、挿入がされるように分割光学系を制御することを特徴とする。
（２）請求項１４に記載の撮像装置は、被写体像を形成する撮影光学系と、被写体像を撮像して撮像信号を出力する複数の撮像画素が２次元的に配列される撮像素子と、被写体像の観察のために撮影光学系を透過した透過光束が入射する観察光学系と、撮影光学系と撮像素子との間の撮影光路への挿入および撮影光路からの退避が可能に配設され、挿入がされたとき、撮影光学系を透過した透過光束を、撮像素子に向かう第１の光束と観察光学系に向かう第２の光束とに分割する分割光学系と、撮像信号に基づき撮像データを生成する生成手段と、分割光学系に対して挿入および退避を制御する制御手段と、撮像データに対して所定の画像処理を行う画像処理手段とを備え、制御手段は、撮像データを生成するときおよび観察がされるときのいずれのときにおいても、挿入がされるように分割光学系を制御し、所定の画像処理は、挿入に伴う撮像データの劣化を回復する画像処理であることを特徴とする。
（３）請求項１５に記載の撮像装置は、被写体像を形成する撮影光学系と、被写体像を撮像して撮像信号を出力する複数の撮像画素が２次元的に配列される撮像素子と、被写体像の観察のために撮影光学系を透過した透過光束が入射する観察光学系と、撮影光学系と撮像素子との間の撮影光路への挿入および撮影光路からの退避が可能に配設され、挿入がされたとき、撮影光学系を透過した透過光束を、撮像素子に向かう第１の光束と観察光学系に向かう第２の光束とに分割する分割光学系と、撮像信号に基づき撮像データを生成する生成手段と、分割光学系に対して挿入および退避を制御する制御手段と、撮像データに対して所定の画像処理を行う画像処理手段と、撮像データから特定領域画像データを抽出する抽出手段をさらに備え、制御手段は、撮像データを生成するときおよび観察がされるときのいずれのときにおいても、挿入がされるように分光手段を制御し、分割光学系は、撮影光学系を透過した透過光束の一部が、分割光学系により第１の光束および第２の光束に分割され、かつ撮影光学系を透過した透過光束の残部が、撮像素子に向かうように、撮影光路に配置され、特定領域画像データは、撮像素子における第１の光束を受光した特定領域に含まれる複数の撮像画素が出力する撮像信号に基づくことを特徴とする。
【発明の効果】
【０００６】
本発明による撮像装置においては、上記問題を解決し、単独撮影モード・連続撮影モードのいずれにおいても、常に撮像動作と、光学ファインダーでの観察と、位相差検出方式での自動焦点調節とが可能となる。
【図面の簡単な説明】
【０００７】
【図１】ハーフミラーが撮影光路中に挿入された状態にある一実施の形態のデジタルスチルカメラの構成を示す横断面図である。
【図２】ハーフミラーが撮影光路中から退避した状態にある一実施の形態のデジタルスチルカメラの構成を示す横断面図である。
【図３】撮影画面上の焦点検出位置を示す図である。
【図４】撮像素子の詳細な構成を示す正面図である。
【図５】撮像素子の詳細な構成を示す正面図である。
【図６】撮像画素と焦点検出画素のマイクロレンズの形状を示す図である。
【図７】撮像画素の正面図である。
【図８】焦点検出画素の正面図である。
【図９】緑画素、赤画素および青画素の分光特性を示す図である。
【図１０】焦点検出画素の分光特性を示す図である。
【図１１】撮像画素の断面図である。
【図１２】焦点検出画素の断面図である。
【図１３】撮像画素が受光する撮影光束の様子を説明するための図である。
【図１４】焦点検出画素が受光する撮影光束の様子を説明するための図である。
【図１５】デジタルスチルカメラの撮像動作を示すフローチャートである。
【図１６】単独撮影モードにおけるデジタルスチルカメラの撮像動作を示すフローチャートである。
【図１７】連続撮影モードにおけるデジタルスチルカメラの撮像動作を示すフローチャートである。
【図１８】第１動画撮影モードにおけるデジタルスチルカメラの撮像動作を示すフローチャートである。
【図１９】第２動画撮影モードにおけるデジタルスチルカメラの撮像動作を示すフローチャートである。
【図２０】一対のデータのずらし量ｋに対する相関量Ｃ（ｋ）の関係を示す図である。
【図２１】ハーフミラーを透過する光線の様子を示す断面図である。
【図２２】本来の像Ｍ１にゴースト像Ｍ２が重畳している例を示す図である。
【図２３】絞り開口を通過した光束がハーフミラーを通過して撮像素子上に結像する様子を示した断面図である。
【図２４】クリップ処理により画像データから切り抜かれる領域を示す図である。
【図２５】絞り開口を通過した光束がハーフミラーを通過して撮像素子上に結像する様子を示した断面図である。
【図２６】クリップ処理により画像データから切り抜かれる領域を示す図である。
【図２７】撮像素子の詳細な構成を示す正面図である。
【図２８】撮像素子の詳細な構成を示す正面図である。
【図２９】焦点検出画素の正面図である。
【図３０】焦点検出画素の断面図である。
【発明を実施するための形態】
【０００８】
一実施の形態の撮像装置として、レンズ交換式のデジタルスチルカメラを例に挙げて説明する。図１および図２は共に本実施の形態のデジタルスチルカメラの構成を示す横断面図である。本実施の形態のデジタルスチルカメラ２０１は交換レンズ２０２とカメラボディ２０３から構成され、交換レンズ２０２がマウント部２０４を介してカメラボディ２０３に装着される。カメラボディ２０３にはマウント部２０４を介して種々の撮影光学系を有する交換レンズ２０２が装着可能である。
【０００９】
図１はハーフミラー２２２が撮影光路中に挿入された状態を示し、図２はハーフミラー２２２が撮影光路中から退避した状態を示している。
【００１０】
交換レンズ２０２は、レンズ２０９、ズーミング用レンズ２０８、フォーカシング用レンズ２１０、絞り２１１、レンズ駆動制御装置２０６などを備えている。レンズ駆動制御装置２０６は、不図示のマイクロコンピューター、メモリ、駆動制御回路などから構成される。レンズ駆動制御装置２０６は、フォーカシング用レンズ２１０の焦点調節と絞り２１１の開口径調節のための駆動制御や、ズーミング用レンズ２０８、フォーカシング用レンズ２１０および絞り２１１の状態検出などを行う。また、後述するボディ駆動制御装置２１４との通信によりレンズ情報の送信とカメラ情報（デフォーカス量や絞り値など）の受信を行う。絞り２１１は、光量およびボケ量調整のために光軸中心に開口径が可変な開口を形成する。
【００１１】
カメラボディ２０３は、撮像素子２１２、ボディ駆動制御装置２１４、スクリーン２１５、ペンタプリズム２１６、接眼レンズ２１７、操作部材２１８、メモリカード２１９、背面液晶表示素子（背面ＬＣＤ）２２０、ミラーおよびアイピースシャッタ制御手段２２１、ハーフミラー２２２、アイピースシャッタ２２３などを備えている。撮像素子２１２には、撮像画素が二次元状に配置されるとともに、焦点検出位置（焦点検出エリア）に対応した部分に焦点検出画素が組み込まれている。この撮像素子２１２については詳細を後述する。
【００１２】
ボディ駆動制御装置２１４は、マイクロコンピューター、メモリ、駆動制御回路などから構成される。ボディ駆動制御装置２１４は、撮像素子２１２の駆動制御と画像信号および焦点検出信号の読み出しと、焦点検出信号に基づく焦点検出演算と交換レンズ２０２の焦点調節を繰り返し行うとともに、画像信号の処理と記録、デジタルスチルカメラ２０１の動作制御などを行う。また、ボディ駆動制御装置２１４は、電気接点２１３を介してレンズ駆動制御装置２０６と通信を行い、レンズ情報の受信とカメラ情報の送信を行う。
【００１３】
ハーフミラー２２２は、入射光を反射光と透過光に分離する半透過ミラーであって、ミラーおよびアイピースシャッタ制御手段２２１により交換レンズ２０２から撮像素子２１２に至る撮影光路中に挿入および退避される。図１のようにハーフミラー２２２が撮影光路中に挿入された状態において、交換レンズ２０２からの入射する撮影光束の一部はハーフミラー２２２により反射され、撮像素子２１２と等価な面に配置されたスクリーン（焦点板）２１５上に実像を形成する。スクリーン２１５で拡散された光はペンタプリズム２１６で接眼レンズ２１７の方向に偏向される。撮影者は接眼レンズ２１７を介してスクリーン２１５上の実像を観察することができる。スクリーン２１５、ペンタプリズム２１６、接眼レンズ２１７が光学ファインダーを構成する。またハーフミラー２２２を透過した一部の光束は撮像素子２１２上に結像する。
【００１４】
図２のようにハーフミラー２２２が撮影光路中から退避された状態において、交換レンズ２０２からの入射するすべての撮影光束は撮像素子２１２上に結像するが、光学フィンダーでの観察は不能になる。
【００１５】
アイピースシャッタ２２３は、ミラーおよびアイピースシャッタ制御手段２２１によりペンタプリズム２１６と接眼レンズ２１７の間に挿入退避されるシャッタである。アイピースシャッタ２２３は、図１のようにハーフミラー２２２が撮影光路中に挿入された状態においてはペンタプリズム２１６と接眼レンズ２１７の間から退避される。アイピースシャッタ２２３は、図２のようにハーフミラー２２２が撮影光路中から退避された状態においては、デジタルスチルカメラ２０１の外部から接眼レンズ２１７に入射する光がペンタプリズム２１６およびスクリーン２１５およびハーフミラー２２２を介して撮像素子２１２に到達するのを防止するために、ペンタプリズム２１６と接眼レンズ２１７の間に挿入される。
【００１６】
撮像素子２１２より出力されるスルー画像は、背面液晶表示素子２２０により表示され、撮影者はスルー画像を観察することができる。メモリカード２１９は、撮像素子２１２により撮像された画像を記憶する画像ストレージである。操作部材２１８は、後述する撮影モードを撮影者が切換えるための切換え手段および撮影者が撮像（シャッターレリーズ）を指示するためのシャッターボタンの総称である。
【００１７】
ハーフミラー２２２が撮影光路中に挿入された状態においても退避された状態においても交換レンズ２０２を通過した光束により、撮像素子２１２の受光面上に被写体像が形成される。この被写体像は撮像素子２１２により光電変換され、画像信号と焦点検出信号がボディ駆動制御装置２１４へ送られる。
【００１８】
ボディ駆動制御装置２１４は、撮像素子２１２の焦点検出画素からの焦点検出信号に基づいてデフォーカス量を算出し、このデフォーカス量をレンズ駆動制御装置２０６へ送る。また、ボディ駆動制御装置２１４は、撮像素子２１２からの画像信号を処理して画像データを生成し、メモリカード２１９に格納するとともに、撮像素子２１２からのスルー画像信号を背面液晶表示素子２２０に表示させる。さらに、ボディ駆動制御装置２１４は、レンズ駆動制御装置２０６へ絞り制御情報を送って絞り２１１の開口径の制御を行う。
【００１９】
レンズ駆動制御装置２０６は、フォーカシング状態、ズーミング状態、絞り設定状態、絞り開放Ｆ値などに応じてレンズ情報を更新する。具体的には、ズーミング用レンズ２０８とフォーカシング用レンズ２１０の位置と絞り２１１の絞り値を検出し、これらのレンズ位置と絞り値に応じてレンズ情報を演算したり、あるいは予め用意されたルックアップテーブルからレンズ位置と絞り値に応じたレンズ情報を選択する。
【００２０】
レンズ駆動制御装置２０６は、受信したデフォーカス量に基づいてレンズ駆動量を算出し、レンズ駆動量に応じてフォーカシング用レンズ２１０を合焦位置へ駆動する。また、レンズ駆動制御装置２０６は受信した絞り値に応じて絞り２１１を駆動する。
【００２１】
図３は、交換レンズ２０２の撮影画面上における焦点検出位置を示す図であり、後述する撮像素子２１２上の焦点検出画素列が焦点検出の際に撮影画面上で像をサンプリングする焦点検出エリアの一例を示す。この例では、矩形の撮影画面１００上の中央（光軸上）および上下左右の５箇所に焦点検出エリア１０１〜１０５が配置される。長方形で示す焦点検出エリアの長手方向に、焦点検出画素が直線的に配列される。焦点検出エリア１０１、１０２、１０３においては焦点検出画素が水平方向に配列され、焦点検出エリア１０４、１０５においては焦点検出画素が垂直方向に配列される。
【００２２】
図４および図５は、いずれも撮像素子２１２の詳細な構成を示す正面図である。図４は、図３における焦点検出エリア１０１、１０２、または１０３の近傍を拡大した画素配列の詳細を示し、図５は、図３における焦点検出エリア１０４または１０５の近傍を拡大した画素配列の詳細を示す。撮像素子２１２には撮像画素３１０が二次元正方格子状に稠密に配列される。撮像画素３１０は赤画素（Ｒ）、緑画素（Ｇ）、青画素（Ｂ）からなり、ベイヤー配列の配置規則によって配置されている。図５においては、垂直方向の焦点検出用に、撮像画素３１０と同一の画素サイズを有する垂直方向焦点検出用の焦点検出画素３１３、３１４が交互に、本来緑画素と青画素が連続的に配置されるべき垂直方向の直線上に連続して配列される。同じく図４においては、水平方向の焦点検出用に撮像画素と同一の画素サイズを有する水平方向焦点検出用の焦点検出画素３１５、３１６が交互に、本来緑画素と青画素が連続的に配置されるべき水平方向の直線上に連続して配列される。
【００２３】
図６は、撮像画素３１０と焦点検出画素３１３、３１４、３１５、３１６のマイクロレンズ１０の形状を示す図である。撮像画素３１０と焦点検出画素３１３、３１４、３１５、３１６のマイクロレンズ１０の形状は、元々、画素サイズより大きな円形のマイクロレンズ９から画素サイズに対応した正方形の形状で切り出した形状をしている。マイクロレンズ１０の光軸を通る対角線の方向の断面と、マイクロレンズ１０の光軸を通る水平線の方向の断面とは、それぞれ図６に（ａ）、（ｂ）で示す形状になっている。
【００２４】
撮像画素３１０は、図７に示すように矩形のマイクロレンズ１０、後述の遮光マスクで受光領域を正方形に制限された光電変換部１１、および色フィルタ（不図示）から構成される。色フィルタは赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３種類からなり、それぞれの分光感度は図９に示す特性を有している。撮像素子２１２には、各色フィルタを備えた撮像画素３１０がベイヤー配列されている。
【００２５】
焦点検出画素３１３、３１４、３１５、３１６には全ての色に対して焦点検出を行うために全ての可視光を透過する白色フィルタが設けられており、その白色フィルタの分光感度特性は図１０に示される。つまり、図９に示す緑画素、赤画素および青画素の分光特性を加算したような分光感度特性となり、そのような分光感度特性に対応する光波長領域は、緑画素、赤画素および青画素の感度の光波長領域を包括している。
【００２６】
図８は焦点検出画素３１３、３１４、３１５、３１６の正面図である。焦点検出画素３１３は、図８(ａ)に示すように矩形のマイクロレンズ１０と後述の遮光マスクで受光領域を正方形の上半分（正方形を水平線で２等分した場合の上半分）に制限された光電変換部１３、および白色フィルタ（不図示）とから構成される。
【００２７】
また、焦点検出画素３１４は、図８(ｂ)に示すように、矩形のマイクロレンズ１０と後述の遮光マスクで受光領域を正方形の下半分（正方形を水平線で２等分した場合の下半分）に制限された光電変換部１４、および白色フィルタ（不図示）とから構成される。
【００２８】
焦点検出画素３１３と焦点検出画素３１４とをマイクロレンズ１０を基準に重ね合わせて表示すると、遮光マスクで受光領域を制限された光電変換部１３と１４が垂直方向に並んでいる。
【００２９】
また図８（ａ）、（ｂ）において、正方形を半分にした受光領域の部分に正方形を半分にした残りの部分（破線部分）を加えると、撮像画素３１０の受光領域と同じサイズの正方形となる。
【００３０】
焦点検出画素３１５は、図８(ｃ)に示すように、矩形のマイクロレンズ１０と後述の遮光マスクで受光領域を正方形の左半分（正方形を垂直線で２等分した場合の左半分）に制限された光電変換部１５、および白色フィルタ（不図示）とから構成される。
【００３１】
また、焦点検出画素３１６は、図８(ｄ)に示すように、矩形のマイクロレンズ１０と後述の遮光マスクで受光領域を正方形の右半分（正方形を垂直線で２等分した場合の右半分）に制限された光電変換部１６、および白色フィルタ（不図示）とから構成される。
【００３２】
焦点検出画素３１５の正面図と焦点検出画素３１６の正面図とをマイクロレンズ１０を基準に重ね合わせて表示すると、遮光マスクで受光領域を制限された光電変換部１５と１６が水平方向に並んでいる。
【００３３】
また図８（ｃ）、（ｄ）において、正方形を半分にした受光領域の部分に正方形を半分にした残りの部分（破線部分）を加えると、撮像画素３１０の受光領域と同じサイズの正方形となる。
【００３４】
図１１は、垂直方向の直線で撮像画素配列の断面をとった場合の撮像画素３１０の断面図である。撮像画素３１０では撮像用の光電変換部１１の上に近接して遮光マスク３０が形成され、光電変換部１１は、遮光マスク３０の開口部３０ａを通過した光を受光する。遮光マスク３０の上には平坦化層３１が形成され、その上に色フィルタ３８が形成される。色フィルタ３８の上には平坦化層３２が形成され、その上にマイクロレンズ１０が形成される。マイクロレンズ１０により開口部３０ａの形状が前方に投影される。光電変換部１１は半導体回路基板２９上に形成される。
【００３５】
図１２は、垂直方向の直線で焦点検出画素３１３、３１４からなる焦点検出画素配列の断面をとった場合の焦点検出画素３１３、３１４の断面図である。焦点検出画素３１３、３１４では焦点検出用の光電変換部１３，１４の上に近接して遮光マスク３０が形成され、光線変換部１３，１４は、遮光マスク３０の開口部３０ｂ、３０ｃを通過した光を受光する。遮光マスク３０の上には平坦化層３１が形成され、その上に白色フィルタ３４が形成される。白色フィルタ３４の上には平坦化層３２が形成され、その上にマイクロレンズ１０が形成される。マイクロレンズ１０により開口部３０ｂ、３０ｃの形状が前方に投影される。光電変換部１３，１４は半導体回路基板２９上に形成される。
【００３６】
焦点検出画素３１５、３１６の構造も焦点検出画素３１３、３１４の構造を９０度回転しただけであって、基本的に図１２に示す焦点検出画素３１３、３１４の構造と同様である。
【００３７】
図１３は、図４、図５、図１１に示す撮像画素３１０が受光する撮影光束の様子を説明するための図であって、垂直方向の直線で撮像画素配列の断面をとっている。
【００３８】
撮像素子２１２上に配列された全ての撮像画素３１０の光電変換部１１は、光電変換部１１に近接して配置された前記遮光マスク３０の開口部３０ａを通過した光束を受光する。遮光マスク３０の開口部３０ａの形状は、各撮像画素３１０のマイクロレンズ１０によりマイクロレンズ１０から測距瞳距離ｄだけ離間した射出瞳９０上の全撮像画素共通な領域９５に投影される。
【００３９】
従って各撮像画素３１０の光電変換部１１は、領域９５と各撮像画素３１０のマイクロレンズ１０を通過する撮影光束７１を受光し、領域９５を通過して各撮像画素３１０のマイクロレンズ１０へ向う撮影光束７１によって各マイクロレンズ１０上に形成される像の強度に対応した信号を出力する。
【００４０】
図１４は、図５、図１２に示す焦点検出画素３１３，３１４が受光する焦点検出光束の様子を図１３と比較して説明するための図であって、垂直方向の直線で焦点検出画素配列の断面をとっている。
【００４１】
撮像素子２１２上に配列された全ての焦点検出画素の光電変換部１３，１４は、光電変換部１３，１４に近接して配置された前記遮光マスク３０の開口部３０ｂ、３０ｃを通過した光束を受光する。遮光マスク３０の開口部３０ｂの形状は、各焦点検出画素３１３のマイクロレンズ１０によりマイクロレンズ１０から測距瞳距離ｄだけ離間した射出瞳９０上の焦点検出画素３１３に全てに共通した領域９３に投影される。同じく、遮光マスク３０の開口部３０ｃの形状は、各焦点検出画素３１４のマイクロレンズ１０により、マイクロレンズ１０から測距瞳距離ｄだけ離間した射出瞳９０上の焦点検出画素３１４に全てに共通した領域９４に投影される。一対の領域９３，９４を測距瞳と呼ぶ。
【００４２】
従って各焦点検出画素３１３の光電変換部１３は、測距瞳９３と各撮像画素３１０のマイクロレンズ１０を通過する焦点検出用光束７３を受光し、測距瞳９３を通過して各撮像画素３１０のマイクロレンズ１０へ向う焦点検出用光束７３によって各マイクロレンズ１０上に形成される像の強度に対応した信号を出力する。また、各焦点検出画素３１４の光電変換部１４は、測距瞳９４と各撮像画素３１０のマイクロレンズ１０を通過する焦点検出用光束７４を受光し、測距瞳９４を通過して各撮像画素３１０のマイクロレンズ１０へ向う焦点検出用光束７４によって各マイクロレンズ１０上に形成される像の強度に対応した信号を出力する。
【００４３】
一対の焦点検出画素３１３，３１４が受光する焦点検出用光束７３，７４が通過する射出瞳９０上の測距瞳９３と９４を統合した領域は、撮像画素３１０が受光する撮影光束７１が通過する射出瞳９０上の領域９５と一致する。射出瞳９０上において焦点検出用光束７３，７４は撮影光束７１に対して相補的な関係になっている。
【００４４】
上述した一対の焦点検出画素３１３、３１４を交互にかつ直線状に多数配置する。各焦点検出画素３１３、３１４の光電変換部１３、１４の出力を測距瞳９３および測距瞳９４に対応した一対の出力グループにまとめることによって、測距瞳９３と測距瞳９４をそれぞれ通過する一対の光束が焦点検出画素配列上（垂直方向）に形成する一対の像の強度分布に関する情報が得られる。この情報に対して、後述する像ズレ検出演算処理（相関演算処理、位相差検出処理）を施すことによって、いわゆる瞳分割型位相差検出方式で一対の像の像ズレ量が検出される。さらに、像ズレ量に一対の測距瞳の重心間隔と測距瞳距離の比例関係に応じた変換演算を行うことによって、焦点検出位置（垂直方向）における予定結像面と結像面の偏差（デフォーカス量）が算出される。
【００４５】
焦点検出画素３１５、３１６が受光する焦点検出光束も焦点検出画素３１３、３１４の受光する一対の焦点検出光束７３，７４を９０度回転しただけであって、基本的に図１４に示す焦点検出光束７３，７４と同様であり、測距瞳９３、９４を９０度回転した一対の測距瞳が設定される。一対の焦点検出画素３１５、３１６を交互にかつ直線状に多数配置する。各焦点検出画素３１５、３１６の光電変換部１５、１６の出力を一対の測距瞳に対応した一対の出力グループにまとめることによって、一対の測距瞳をそれぞれ通過する一対の光束が焦点検出画素配列上（水平方向）に形成する一対の像の強度分布に関する情報が得られる。この情報に基づき、焦点検出位置（水平方向）における予定結像面と結像面の偏差（デフォーカス量）が算出される。
【００４６】
図１５〜図１９は、デジタルスチルカメラ２０１の撮像動作を示すフローチャートである。図１５において、ボディ駆動制御装置２１４は、ステップＳ１００でデジタルスチルカメラ２０１の電源がオンされると、ステップＳ１１０以降の動作を開始する。ステップＳ１１０では、撮影モードに応じて、ステップＳ２００の単独撮影モード、ステップＳ４００の連続撮影モード、ステップＳ６００の第１動画撮影モード、ステップＳ８００の第２動画撮影モードに分岐する。なお、撮影モードは、撮影者が操作部材２１８によって設定するものであり、各モードの動作中に撮影モードが切換えられた場合にはステップＳ１２０の撮影モード切換え割り込みによりステップＳ１１０に戻る。なお、単独撮影モードとは静止画像を１枚単位で撮影する撮影モードであり、連続撮影モードとは静止画像を連続的に撮影する撮影モードである。また、第１動画撮影モードとは、光学ファインダーを使用しないで動画像を撮影する撮影モードであり、第２動画撮影モードとは、光学ファインダーを使用可能な状態で動画像を撮影する撮影モードである。
【００４７】
図１６は、単独撮影モードの動作フローチャートである。ステップＳ２００で単独撮影モードの動作が開始される。
【００４８】
ステップＳ２１０でハーフミラー２２２を撮影光路中に挿入し、アイピースシャッタ２２３を開ける。従って撮影者は光学ファインダーによる観察が可能になる。
【００４９】
ステップＳ２２０において、撮像素子２１２は一定周期で撮像動作を繰り返す動作モード（例えば１秒間に６０フレームを出力する）に設定される。そして１フレーム分の全画素データを読み出す。続くステップＳ２３０では、撮像画素３１０のデータから間引きしたデータ（スルー画像）を背面液晶表示素子２２０にライブビュー表示させる。ステップＳ２４０では、焦点検出画素３１３、３１４、３１５、３１６のデータに基づき５つの焦点検出エリア１０１〜１０５において、焦点検出を行って５つのデフォーカス量を算出し、その中で信頼性が所定値以上のデフォーカス量を抽出する。抽出されたデフォーカス量の中で相対的に最も近距離側にあるデフォーカス量を最終的なデフォーカス量とする。全てのデフォーカス量の信頼性が低い場合、またはデフォーカス量の算出が不能であった場合は、焦点検出不能となる。ステップＳ２４０におけるデフォーカス量の算出処理の詳細については後述する。
【００５０】
ステップＳ２５０で合焦近傍か否か、すなわち算出されたデフォーカス量の絶対値が所定値以内であるか否かを調べる。合焦近傍でないと判定された場合は、ステップＳ２６０へ進み、デフォーカス量をレンズ駆動制御装置２０６へ送信し、交換レンズ２０２のフォーカシング用レンズ２１０を合焦位置に駆動させるように指示する。その後、ステップＳ２１０へ戻って上述した動作を繰り返す。
【００５１】
なお、焦点検出不能な場合もこのステップに分岐し、レンズ駆動制御装置２０６へスキャン駆動命令を送信し、交換レンズ２０２のフォーカシング用レンズ２１０を無限から至近までの間でスキャン駆動させる。その後、ステップＳ２１０へ戻って上述した動作を繰り返す。
【００５２】
ステップＳ２５０で合焦近傍であると判定された場合はステップＳ２７０へ進み、シャッターボタンの操作によりシャッターレリーズがなされたか否かを判別する。シャッターレリーズがなされていないと判定された場合はステップＳ２１０へ戻り、上述した動作を繰り返す。一方、シャッターレリーズがなされたと判定された場合はステップＳ２８０へ進み、ハーフミラー２２２を撮影光路中から退避するとともに、外部光が光学ファインダーからハーフミラー２２２を通過して撮像素子２１２に入射するのを防止するためにアイピースシャッタ２２３を閉める。ステップＳ２９０ではレンズ駆動制御装置２０６へ絞り調整命令を送信し、交換レンズ２０２の絞り値を制御Ｆ値（撮影者または自動により設定されたＦ値）にする。絞り制御が終了した時点で、撮像素子２１２に被写体輝度に応じた露光時間による撮像動作を行わせ、撮像素子２１２の撮像画素３１０および全ての焦点検出画素３１３、３１４、３１５、３１６から画像データを読み出す。
【００５３】
ステップＳ３００において、焦点検出画素列の各画素位置における仮想的な撮像画素のデータを焦点検出画素の周囲の撮像画素３１０のデータと焦点検出画素３１３、３１４、３１５、３１６のデータに基づいて画素補間する。続くステップＳ３１０では、撮像画素３１０のデータおよび補間された撮像画素のデータからなる画像データ（静止画データ）をメモリカード２１９に記憶し、ステップＳ２１０へ戻って上述した動作を繰り返す。
【００５４】
次に図１６のステップＳ２４０で用いられるデフォーカス量の算出処理（相関演算処理）の詳細について説明する。
【００５５】
簡単のため１つの焦点検出エリアの焦点検出画素配列に対する処理を記載するが、他の焦点検出エリアにおける処理も同様である。
【００５６】
焦点検出画素３１３，３１４、または焦点検出画素３１５，３１６が検出する一対の像は、測距瞳がレンズの絞り開口により口径蝕を受けて光量バランスが崩れている可能性があるので、光量バランスに対して像ズレ検出精度を維持できるタイプの相関演算を施す。
【００５７】
焦点検出画素列から読み出された一対のデータ列（Ａ１１〜Ａ１Ｍ、Ａ２１〜Ａ２Ｍ：Ｍはデータ数）に対し、特開２００７−３３３７２０号公報に開示された相関演算式（１）を行い、相関量Ｃ（ｋ）を演算する。
Ｃ（ｋ）＝Σ｜Ａ１ｎ×Ａ２ｎ＋１＋ｋ−Ａ２ｎ＋ｋ×Ａ１ｎ＋１｜ （１）
【００５８】
式（１）において、Σ演算はｎについて累積されるが、ｎのとる範囲は、像ずらし量ｋに応じてＡ１ｎ、Ａ１ｎ＋１、Ａ２ｎ＋ｋ、Ａ２ｎ＋１＋ｋのデータが存在する範囲に限定される。像ずらし量ｋは整数であり、データ列のデータ間隔を単位とした相対的ずらし量である。
【００５９】
式（１）の演算結果は、図２０（ａ）に示すように、一対のデータの相関が高いシフト量（図２０（ａ）ではｋ＝ｋｊ＝２）において相関量Ｃ（ｋ）が極小（小さいほど相関度が高い）になる。
【００６０】
式（２）〜（５）による３点内挿の手法を用いて連続的な相関量に対する極小値Ｃ（ｋｓ）を与えるずらし量ｋｓを求める。
ｋｓ＝ｋｊ＋Ｄ／ＳＬＯＰ （２）
Ｃ（ｋｓ）＝ Ｃ（ｋｊ）−｜Ｄ｜ （３）
Ｄ＝｛Ｃ（ｋｊ−１）−Ｃ（ｋ ｊ＋１）｝／２ （４）
ＳＬＯＰ＝ＭＡＸ｛Ｃ（ｋｊ＋１）−Ｃ（ｋｊ），Ｃ（ｋｊ−１）−Ｃ（ｋｊ）｝ （５）
【００６１】
式（２）で算出されたずらし量ｋｓの信頼性があるかどうかは、以下のようにして判定される。
【００６２】
図２０（ｂ）に示すように、一対のデータの相関度が低い場合は、内挿された相関量の極小値Ｃ（ｋｓ）の値が大きくなる。
【００６３】
したがって、Ｃ（ｋｓ）が所定の閾値以上の場合は算出されたずらし量の信頼性が低いと判定し、算出されたずらし量ｋｓをキャンセルする。
【００６４】
あるいは、Ｃ（ｋｓ）をデータのコントラストで規格化するために、コントラストに比例した値となるＳＬＯＰでＣ（ｋｓ）を除した値が所定値以上の場合は、算出されたずらし量の信頼性が低いと判定し、算出されたずらし量ｋｓをキャンセルする。
【００６５】
あるいはまた、コントラストに比例した値となるＳＬＯＰが所定値以下の場合は、被写体が低コントラストであり、算出されたずらし量の信頼性が低いと判定し、算出されたずらし量ｋｓをキャンセルする。
【００６６】
図２０（ｃ）に示すように、一対のデータの相関度が低く、ずらし量の範囲ｋｍｉｎ〜ｋｍａｘの間で相関量Ｃ（ｋ）の落ち込みがない場合は、極小値Ｃ（ｋｓ）を求めることができず、このような場合は焦点検出不能と判定する。
【００６７】
算出されたずらし量ｋｓの信頼性があると判定された場合は、式（６）により像ズレ量ｓｈｆｔに換算される。式（６）において、ＰＹは焦点検出画素３１３，３１４、または焦点検出画素３１５，３１６の画素ピッチの２倍（検出ピッチ）である。
ｓｈｆｔ＝ＰＹ×ｋｓ （６）
【００６８】
式（６）で算出された像ずらし量に所定の変換係数Ｋｄを乗じてデフォーカス量ｄｅｆへ変換する。なお、変換係数Ｋｄは、焦点検出画素３１３，３１４、または焦点検出画素３１５，３１６が受光する一対の光束の開き角に対応しており、測距瞳距離ｄを一対の測距瞳の重心間隔で除算した値である。
ｄｅｆ＝Ｋｄ×ｓｈｆｔ （７）
【００６９】
なお変換係数Ｋｄは測距瞳の重心間隔が絞り開口径に応じて変化するために、絞り開口径に応じて変化する。
【００７０】
図１７は連続撮影モードの動作フローチャートである。ステップＳ４００で連続撮影モードの動作が開始される。連続撮影とは、例えば１秒間に１０フレームを撮影することをいう。
【００７１】
ステップＳ４１０でハーフミラー２２２を撮影光路中に挿入し、アイピースシャッタ２２３を開ける。従って撮影者は光学ファインダーによる観察が可能になる。
【００７２】
ステップＳ４２０においてシャッターボタンの操作によりシャッターレリーズがなされたか否かを判別する。シャッターレリーズがなされていないと判定された場合はステップＳ４３０へ進み、シャッターレリーズがなされたと判定された場合はステップＳ４８０へ進む。
【００７３】
ステップＳ４３０では、撮像素子２１２は一定周期で撮像動作を繰り返す動作モード（例えば１秒間に６０フレームを出力する）に設定される。そして１フレーム分の全画素データを読み出す。続くステップＳ４４０では、撮像画素３１０のデータから間引きしたデータ（スルー画像）を背面液晶表示素子２２０にライブビュー表示させる。ステップＳ４５０では、焦点検出画素３１３、３１４、３１５、３１６のデータに基づき、５つの焦点検出エリア１０１〜１０５において焦点検出を行って５つのデフォーカス量を算出し、その中で信頼性が所定値以上のデフォーカス量を抽出する。抽出されたデフォーカス量に中で相対的に最も近距離側にあるデフォーカス量を最終的なデフォーカス量とする。全てのデフォーカス量の信頼性が低い場合またはデフォーカス量の算出が不能であった場合は焦点検出不能となる。
【００７４】
ステップＳ４６０で合焦近傍か否か、すなわち算出されたデフォーカス量の絶対値が所定値以内であるか否かを調べる。合焦近傍であると判定された場合はステップＳ４２０へ戻って上述した動作を繰り返す。
【００７５】
合焦近傍でないと判定された場合はステップＳ４７０へ進み、デフォーカス量をレンズ駆動制御装置２０６へ送信し、交換レンズ２０２のフォーカシング用レンズ２１０を合焦位置に駆動させるように指示する。その後、ステップＳ４２０へ戻って上述した動作を繰り返す。
【００７６】
ステップＳ４２０でシャッターレリーズがなされた（連続撮影の間はシャッターボタンの操作を継続する）と判定された場合はステップＳ４８０へ進み、一定周期で撮像動作を繰り返す動作モードで動作していた撮像素子２１２をリセットする。レンズ駆動制御装置２０６へ絞り調整命令を送信し、交換レンズ２０２の絞り値を制御Ｆ値（撮影者または自動により設定されたＦ値）にする。絞り制御が終了した時点で、撮像素子２１２に被写体輝度に応じた露光時間による撮像動作を行わせ、撮像素子２１２の撮像画素３１０および全ての焦点検出画素３１３、３１４、３１５、３１６から画像データを読み出す。
【００７７】
続くステップＳ４９０では、撮像画素３１０のデータを背面液晶表示素子２２０に表示する。ステップＳ５００では、焦点検出画素３１３、３１４、３１５、３１６のデータに基づき、５つの焦点検出エリア１０１〜１０５において焦点検出を行って５つのデフォーカス量を算出し、その中で信頼性が所定値以上のデフォーカス量を抽出する。抽出されたデフォーカス量の中で相対的に最も近距離側にあるデフォーカス量を最終的なデフォーカス量とする。全てのデフォーカス量の信頼性が低い場合またはデフォーカス量の算出が不能であった場合は焦点検出不能となる。
【００７８】
ステップＳ５１０で合焦近傍か否か、すなわち算出されたデフォーカス量の絶対値が所定値以内であるか否かを調べる。合焦近傍であると判定された場合はステップＳ５３０へ進む。合焦近傍でないと判定された場合はステップＳ５２０へ進み、デフォーカス量をレンズ駆動制御装置２０６へ送信し、交換レンズ２０２のフォーカシング用レンズ２１０を合焦位置に駆動させるように指示してからステップＳ５３０へ進む。
【００７９】
ステップＳ５３０において、焦点検出画素列の各画素位置における仮想的な撮像画素のデータを焦点検出画素３１３、３１４、３１５、３１６の周囲の撮像画素３１０のデータと焦点検出画素のデータ３１３、３１４、３１５、３１６に基づいて画素補間する。
【００８０】
ステップＳ５４０では、ハーフミラー２２２を挿入した状態で撮像した画像データに対して、ハーフミラー２２２挿入により生じた画像劣化を回復する画像処理を施す。
【００８１】
図２１は、ハーフミラー２２２を透過する光線Ｌ１の様子を示す断面図（図１、図２と同じ断面による断面図）である。交換レンズ２０２から到来する光線Ｌ１は、ハーフミラー２２２の前面２２２ａに入射し、後面２２２ｂから出射する光線Ｌ２と、後面２２２ｂにて反射しさらに前面２２２ａにて反射し、後面２２２ｂから出射する光線Ｌ３とに分離する。ハーフミラー２２２の前面２２２ａと後面２２２ｂとは平行であるので、光線Ｌ２と光線Ｌ３とは平行線となる。光線Ｌ３の量は光線Ｌ２の量に比較して微量ではあるが、天体撮影画像や夜景撮影画像等のコントラストの大きな画像の場合には、ゴーストとして光線Ｌ３の像が本来の像に重畳し、見にくい画像になってしまう。図２２は、撮影画面１００上において、本来の像Ｍ１にゴースト像Ｍ２が重畳している例を示す。撮影画面１００上で、画面中心を通る水平軸をｘ、垂直軸をｙ、ハーフミラー２２２を通過後の２つの光線Ｌ２、Ｌ３のｙ軸方向の偏位量をΔ、光量比（Ｌ３／Ｌ２＜＜１）をＷとする。また、本来の像Ｍ１の強度分布をＭ１（ｘ，ｙ）、ゴースト像Ｍ２の強度分布をＭ２（ｘ，ｙ）とすると、撮像素子２１２が出力する画像データＭ０の強度分布Ｍ０（ｘ，ｙ）は、以下のように式（８）および（９）のように表される。
Ｍ０（ｘ，ｙ）＝Ｍ１（ｘ，ｙ）＋Ｗ×Ｍ１（ｘ，ｙ＋Δ） （８）
Ｍ２（ｘ，ｙ）＝Ｗ×Ｍ１（ｘ，ｙ＋Δ） （９）
【００８２】
偏位量Δは、ハーフミラー２２２の厚さ、ハーフミラー２２２の素材の屈折率、および光線Ｌ１のハーフミラー２２２への入射角より算出できる。光量比Ｗは、ハーフミラー２２２の前面２２２ａおよび後面２２２ｂの反射率より算出できる。式（１０）に示すように、最左辺｛Ｍ０（ｘ，ｙ）−Ｗ×Ｍ０（ｘ，ｙ＋Δ）｝に対して、式（８）を用いた代入計算を行い、｛Ｗ×Ｗ×Ｍ１（ｘ，ｙ＋２×Δ）｝を０とする近似計算を行うことにより、Ｍ１（ｘ，ｙ）が求められる。すなわち、偏位量Δと光量比Ｗがわかれば、本来の像Ｍ１（ｘ，ｙ）は、式（１０）の最左辺に示すような画像処理を施すことにより近似できる。このような画像処理をＲＧＢの各色毎の画像データに対して施す。
Ｍ０（ｘ，ｙ）−Ｗ×Ｍ０（ｘ，ｙ＋Δ）
＝Ｍ１（ｘ，ｙ）−Ｗ×Ｗ×Ｍ１（ｘ，ｙ＋２×Δ）
≒Ｍ１（ｘ，ｙ） （１０）
【００８３】
ステップＳ５５０では、ハーフミラー２２２を挿入したことによる、いわゆるミラー切れの影響を除去するために、画像データからハーフミラー２２２を通過した光束のみで被写体像が形成される領域の画像データを切り抜く処理（クリップ処理）を行う。ミラー切れとは、撮像素子２１２上にハーフミラー２２２を通過した光束のみで被写体像が形成される領域と、ハーフミラー２２２を通過しない光束とハーフミラー２２２を通過した光束とで被写体像が形成される領域とから構成される２つの領域が発生する状況をいう。
【００８４】
ハーフミラー２２２は撮像素子２１２の長辺および短辺と平行な辺を有する矩形形状をしており図１、図２に示すように撮影光路中に挿入退避されるが、退避時には撮影光軸と略平行となるように、撮像素子２１２に近い辺を軸に回転してスクリーン２１５の下に退避格納される。この際、あまりにハーフミラー２２２の長さが長いとマウント部２０４や交換レンズ２０２と機械的な干渉を生じるために、ハーフミラー２２２の長さは所定値以下に制限される。
【００８５】
図２３は絞り開口径がＦａの場合において、絞り開口を通過した光束がハーフミラー２２２を通過して撮像素子２１２上に結像する様子を示した断面図である。撮像素子２１２の上端の点Ｐ２に絞り開口Ｆａを通過して結像する光束Ｒ２は、全てハーフミラー２２２を通過する。撮像素子２１２の下端の点Ｐ１に絞り開口Ｆａを通過して結像する光束Ｒ１の一部はハーフミラー２２２を通過し、一部はハーフミラー２２２を通過しない。ハーフミラー２２２の通過の有無により、光量減少量、収差量などが異なるので、点Ｐ１に結像した像と点Ｐ２に結像した像は、同一の被写体画像を形成するための同じ画像特性を有しているとは言えない。また、撮像素子２１２上の点Ｐ３は、絞り開口Ｆａを通過した光束Ｒ３に含まれる全ての光線がハーフミラー２２２を通過して撮像素子２１２上に結像することができる下限の位置を示している。点Ｐ３の位置は絞り開口径Ｆａ、絞りから撮像素子２１２までの距離、ハーフミラー２２２の下端の位置（ｙ軸方向および光軸方向）に基づき決定することができる。
【００８６】
図２４は、絞り開口径がＦａの場合においてクリップ処理により画像データから切り抜かれる領域３００を示す図である。撮像データが出力される撮影画面１００上において、ｙ軸方向（図２３の断面図における上下方向）のクリップ処理は、点Ｐ２から点Ｐ３までが切り取られることによって行われる。ｘ軸方向のクリップ処理は、クリップ処理前の撮影画面１００のアスペクト比とクリップ処理後のアスペクト比が同一になるように決定される。
【００８７】
図２５は、絞り開口径がＦｂ（＜Ｆａ）の場合において、絞り開口を通過した光束がハーフミラー２２２を通過して撮像素子２１２上に結像する様子を示した断面図である。撮像素子２１２の上端の点Ｐ２に絞り開口Ｆｂを通過して結像する光束Ｑ２は、全てハーフミラー２２２を通過する。撮像素子２１２の下端の点Ｐ１に絞り開口Ｆｂを通過して結像する光束Ｑ１の一部はハーフミラー２２２を通過し、一部はハーフミラー２２２を通過しない。また、撮像素子２１２上の点Ｐ４は、絞り開口Ｆｂを通過した光束Ｑ４に含まれるすべての光線がハーフミラー２２２を通過して撮像素子２１２上に結像することができる下限の位置を示している。点Ｑ４の位置は絞り開口径Ｆｂ、絞りから撮像素子２１２までの距離、ハーフミラー２２２の下端の位置（ｙ軸方向および光軸方向）に基づき決定することができる。
【００８８】
図２６は、絞り開口径がＦｂの場合においてクリップ処理により画像データから切り抜かれる領域３０１を示す図である。撮像データが出力される撮影画面１００上において、ｙ軸方向のクリップ処理は、点Ｐ２から点Ｐ４までが切り取られることによって行われる。ｘ軸方向のクリップ処理は、クリップ処理前の撮影画面１００のアスペクト比とクリップ処理後のアスペクト比が同一になるように決定される。
【００８９】
以上のように、ステップＳ５５０では、同一撮像データにおいて、撮影画面１００上のいずれの位置においてもその画像特性が一様となるようにするために、画像データからハーフミラー２２２を通過した光束のみで被写体像が形成される領域の画像データを切り抜くクリップ処理を行う。その際には交換レンズ２０２から送信される絞り開口径の情報を用いてクリップ領域の位置および大きさを決定する。
【００９０】
続くステップＳ５６０では、撮像画素３１０のデータおよび補間された撮像画素３１０のデータからなる画像データ（静止画データ）をメモリカード２１９に記憶し、ステップＳ４２０へ戻って上述した動作を繰り返す。
【００９１】
図１８は、第１動画撮影モードの動作フローチャートである。第１動画撮影モードにおいては、ハーフミラー２２２が撮影光路から退避される。第１動画撮影モードは、撮影光路中に何もない状態で動画データが取得されるとともに、撮影者が、背面液晶表示素子２２０により画像を観察することのできるモードである。このようにして取得された動画データは、高品質画像データであり、クリップ処理がなされていないものである。動画撮影とは、例えば１秒間に連続撮影の場合よりも多い６０フレームを撮影することをいう。ステップＳ６００で第１動画撮影モードの動作が開始される。
【００９２】
ステップＳ６１０でハーフミラー２２２を撮影光路中から退避し、光学ファインダーからの逆入射光を阻止するためにアイピースシャッタ２２３を閉める。ステップＳ６２０において、撮像素子２１２は、一定周期で撮像動作を繰り返す動作モード（例えば１秒間に６０フレームを出力する）に設定される。そして１フレーム分の全画素データを読み出す。また測光結果に応じてレンズ駆動制御装置２０６へ絞り調整命令を送信し、光量調整を行う。続くステップＳ６３０では、撮像画素３１０のデータから間引きしたデータ（スルー画像）を背面液晶表示素子２２０にライブビュー表示させる。ステップＳ６４０では、焦点検出画素３１３、３１４、３１５、３１６のデータに基づき、５つの焦点検出エリア１０１〜１０５において焦点検出を行って５つのデフォーカス量を算出し、その中で信頼性が所定値以上のデフォーカス量を抽出する。抽出されたデフォーカス量の中で相対的に最も近距離側にあるデフォーカス量を最終的なデフォーカス量とする。全てのデフォーカス量の信頼性が低い場合、またはデフォーカス量の算出が不能であった場合は焦点検出不能となる。
【００９３】
ステップＳ６５０で、合焦近傍か否か、すなわち算出されたデフォーカス量の絶対値が所定値以内であるか否かを調べ、合焦近傍であると判定された場合はステップＳ６７０へ進む。合焦近傍でないと判定された場合は、ステップＳ６６０へ進み、デフォーカス量をレンズ駆動制御装置２０６へ送信し、交換レンズ２０２のフォーカシング用レンズ２１０を合焦位置に駆動させるように指示してから、ステップＳ６７０に進む。
【００９４】
ステップＳ６７０では、シャッターボタンの操作によりシャッターレリーズ、すなわち動画撮影指示（動画撮影の間はシャッターボタンの操作を継続する）がなされているか否かを判別する。シャッターレリーズがなされていないと判定された場合はステップＳ６２０へ戻り、上述した動作を繰り返す。一方、シャッターレリーズがなされていると判定された場合はステップＳ６８０へ進み、焦点検出画素列の各画素位置における仮想的な撮像画素のデータを焦点検出画素３１３、３１４、３１５、３１６の周囲の撮像画素３１０のデータと焦点検出画素３１３、３１４、３１５、３１６のデータに基づいて画素補間する。ステップＳ６９０では静止画データに基づき、動画フォーマットの動画データを作成する。続くステップＳ７００では、画像データ（動画データ）をメモリカード２１９に記憶し、ステップＳ６２０へ戻って上述した動作を繰り返す。
【００９５】
図１９は第２動画撮影モードの動作フローチャートである。第２動画撮影モードにおいては、ハーフミラー２２２が撮影光路に挿入され、動画データは撮影光路中にハーフミラー２２２が挿入された状態で取得されるとともに、撮影者は光学ファインダーにより画像を観察する可能なモードである。このようにして取得された動画データは、画像処理およびクリップ処理がなされていないものである。ステップＳ８００で第２動画撮影モードの動作が開始される。
【００９６】
ステップＳ８１０で、ハーフミラー２２２を撮影光路中に挿入し、光学ファインダーからの画像観察を可能にするためにアイピースシャッタ２２３を開ける。ステップＳ８２０において、撮像素子２１２は、一定周期で撮像動作を繰り返す動作モード（例えば１秒間に６０フレームを出力する）に設定される。そして１フレーム分の全画素データを読み出す。また、測光結果に応じてレンズ駆動制御装置２０６へ絞り調整命令を送信し、光量調整を行う。続くステップＳ８３０では、撮像画素３１０のデータから間引きしたデータ（スルー画像）を背面液晶表示素子２２０にライブビュー表示させる。ステップＳ８４０では、焦点検出画素３１３、３１４、３１５、３１６のデータに基づき、５つの焦点検出エリア１０１〜１０５において焦点検出を行って５つのデフォーカス量を算出し、その中で信頼性が所定値以上のデフォーカス量を抽出する。抽出されたデフォーカス量の中で相対的に最も近距離側にあるデフォーカス量を、最終的なデフォーカス量とする。全てのデフォーカス量の信頼性が低い場合またはデフォーカス量の算出が不能であった場合は焦点検出不能となる。
【００９７】
ステップＳ８５０で、合焦近傍か否か、すなわち算出されたデフォーカス量の絶対値が所定値以内であるか否かを調べ、合焦近傍であると判定された場合はステップＳ８７０へ進む。合焦近傍でないと判定された場合はステップＳ８６０へ進み、デフォーカス量をレンズ駆動制御装置２０６へ送信し、交換レンズ２０２のフォーカシング用レンズ２１０を合焦位置に駆動させるように指示してから、ステップＳ８７０に進む。
【００９８】
ステップＳ８７０では、シャッターボタンの操作によりシャッターレリーズ、すなわち動画撮影指示（動画撮影の間はシャッターボタンの操作を継続する）がなされているか否かを判別する。シャッターレリーズがなされていないと判定された場合はステップＳ８２０へ戻り、上述した動作を繰り返す。一方、シャッターレリーズがなされていると判定された場合はステップＳ８８０へ進む。
【００９９】
ステップＳ８９０では、ハーフミラー２２２を挿入した状態で撮像した画像データに対して、ハーフミラー２２２挿入により生じた画像劣化を回復する画像処理を施す。
【０１００】
ステップＳ９００では、ハーフミラー２２２を挿入したことによる、いわゆるミラー切れの影響を除去するために、画像データからハーフミラー２２２を通過した光束のみで被写体像が形成される領域の画像データを絞り開口径に応じて切り抜く処理（クリップ処理）を行う。
【０１０１】
ステップＳ９１０では、焦点検出画素列の各画素位置における仮想的な撮像画素のデータを、焦点検出画素３１３、３１４、３１５、３１６の周囲の撮像画素３１０のデータと、焦点検出画素３１３、３１４、３１５、３１６のデータとに基づいて画素補間する。ステップＳ９２０では、静止画データに基づき動画フォーマットの動画データを作成する。続くステップＳ９３０では、画像データ（動画データ）をメモリカード２１９に記憶し、ステップＳ８２０へ戻って上述した動作を繰り返す。
【０１０２】
以上説明した実施形態においては、単独撮影モード・連続撮影モード・第２動画撮影モードのいずれにおいても、常に光学ファインダーを用いた高品質な被写体観察が可能になると同時に、位相差検出方式での迅速かつ正確な自動焦点調節が可能となる。
【０１０３】
したがって、本実施の形態のデジタルスチルカメラ２０１によって、連続撮影等において、光学ファインダーより総合的に視認性（解像度、応答性）の劣る電子ファインダー観察では困難な被写体追尾が容易となる。移動する被写体に対しては、迅速な焦点調節を行って追従しつつ撮影することが可能となる。
【０１０４】
また、ハーフミラー２２２を透過した光束により画像データが形成された場合には、ハーフミラー２２２挿入によって生じる画像劣化を画像処理により回復するとともに、ハーフミラー２２２挿入によって生じる画像データにおけるミラー切れ領域を、クリップ処理により取り除くことにより画像特性が揃った自然な画像を得ることができる。
【０１０５】
−変形例−
＜ハーフミラー挿入時の色補正＞
ハーフミラー２２２の半透過機能を積層透明薄膜によって実現する場合には、可視光領域において波長によらず透過率を完全に一様にすることは技術的に難しく、透過率の波長依存性のために透過光によって得られた画像データには色づき（分光特性の劣化）が発生する場合がある。図１７のステップＳ５４０や図１９のステップＳ８９０においては、あらかじめ測定されたハーフミラー２２２の透過率の分光分布データに基づき、撮像データのＲＧＢ間の成分比を調整することによりこのような色づきを補正するようにしてもよい。
【０１０６】
＜ハーフミラー挿入時の収差補正画像処理＞
ハーフミラー２２２を撮影光路中に挿入して撮影を行う場合には、ゴースト二重像による画像劣化以外にも、色収差の発生による色滲みによる画像劣化も生じる。また、各種光学的収差（球面収差、非点収差、コマ収差、歪曲収差、像面湾曲収差）も発生するので、これらの収差を、ハーフミラー２２２の諸元（厚さ、屈折率、分散等）に応じて画像処理により補正するようにしてもよい。具体的には、ハーフミラー２２２の挿入による収差劣化を測定または計算し、求められた収差劣化に基づく点像分布関数（ＰＳＦ）を算出し、該点像分布関数に基づき、撮像データに対しデコンボルーションのような画像処理を施すことにより、画像劣化を回復することができる。また、これらの収差や色づきや二重像の影響は、ハーフミラー２２２への入射する光束の入射角度にも依存するので、撮像素子２１２上の位置に応じた画像処理を施すようにしてもよい。
【０１０７】
＜クリップ領域の表示＞
図１７のステップＳ５５０や図１９のステップＳ９００においては、画像データにおけるミラー切れ領域を取り除くためのクリップ処理を行うこととした。しかし、撮影者にクリップ領域を視認させるために、図１、図２において、スクリーン２１５の近傍に透過型液晶表示素子を配置し、クリップ領域を被写体像に重畳して表示させるようにしてもよい。
【０１０８】
＜ペリクルミラー＞
以上説明した実施形態においては、ハーフミラー２２２は、ガラス板のようにｍｍオーダの厚み（１ｍｍ程度）をもった素材により形成されている。しかし、ペリクルミラーのようなμｍオーダの厚さ（数十μｍ程度）を有するミラーを利用することにより、二重像による画像劣化を緩和することができる。なお、ペリクルミラーとは、堅固な支持枠に接着され、薄く引き伸ばされたポリエステルシート等の薄膜上に蒸着等により半透過膜を形成して得られる半透過鏡のことをいう。
【０１０９】
＜１つの焦点検出画素に一対の受光領域を備える＞
図４、図５に示す撮像素子２１２の部分拡大図では、各画素に１つの光電変換部を有する一対の焦点検出画素３１３，３１４および一対の焦点検出画素３１５，３１６を備える例を示したが、図２７、図２８に示すように、一つの焦点検出画素内に一対の光電変換部を備えるようにしてもよい。図２７、図２８は、撮像素子２１２の部分拡大図であり、焦点検出画素３１１および３１２は一対の光電変換部を備える。
【０１１０】
図２８に示す焦点検出画素３１１は、図８（ａ）、図８（ｂ）に示す焦点検出画素３１３と焦点検出画素３１４のペアに相当した機能を果たし、図２７に示す焦点検出画素３１２は、図８（ｃ）、図８（ｄ）に示す焦点検出画素３１５と焦点検出画素３１６のペアに相当した機能を果たす。焦点検出画素３１１、３１２は、図２９（ａ）、図２９（ｂ）に示すようにマイクロレンズ１０と、一対の光電変換部１３，１４または一対の光電変換部１５，１６から構成される。焦点検出画素３１１,３１２には後述する白色フィルタ３４が配置されており、その分光感度特性は、光電変換を行うフォトダイオードの分光感度特性と、赤外カットフィルタ（不図示）の分光特性とを総合した分光特性（図１０参照）となる。つまり、図９に示す緑画素、赤画素および青画素の分光特性を加算したような分光感度特性となり、その分光感度特性に対応する光波長領域は、緑画素、赤画素および青画素の感度の光波長領域を包括している。
【０１１１】
図３０は、図２９（ａ）に示した焦点検出画素３１１の断面図であって、光電変換部１３，１４の上に近接して遮光マスク３０が形成され、光線変換部１３，１４は、遮光マスク３０の開口部３０ｄを通過した光を受光する。遮光マスク３０の上には平坦化層３１が形成され、その上に白色フィルタ３４が形成される。白色フィルタ３４の上には平坦化層３２が形成され、その上にマイクロレンズ１０が形成される。マイクロレンズ１０により開口部３０ｄに制限された光電変換部１３，１４の形状が前方に投影されて、一対の測距瞳を形成する。光電変換部１３，１４は半導体回路基板２９上に形成される。
【０１１２】
焦点検出画素３１２の構造も焦点検出画素３１１の構造を９０度回転しただけであって、基本的に図３０に示す焦点検出画素３１１の構造と同様である。
【０１１３】
上述した実施形態における撮像素子２１２では、焦点検出画素３１１〜３１６が白色フィルタ３４を備えた例を示したが、撮像画素３１０と同じ色フィルタ（例えば緑フィルタ）を備えるようにした場合にも本発明を適用することができる。
【０１１４】
上述した実施形態における撮像素子２１２では、撮像画素３１０がベイヤー配列の色フィルタを備えた例を示したが、色フィルタの構成や配列はこれに限定されることはなく、補色フィルタ（緑：Ｇ、イエロー：Ｙｅ、マゼンタ：Ｍｇ，シアン：Ｃｙ）の配列やベイヤー配列以外の配列にも本発明を適用することができる。
【０１１５】
また、色フィルタを備えないモノクロの撮像素子にも適用することができる。
【０１１６】
なお、撮像装置としては、上述したような、カメラボディに交換レンズが装着される構成のデジタルスチルカメラやフィルムスチルカメラに限定されない。例えば、レンズ一体型のデジタルスチルカメラ、フィルムスチルカメラ、あるいはビデオカメラにも本発明を適用することができる。さらには、携帯電話などに内蔵される小型カメラモジュール、監視カメラやロボット用の視覚認識装置、車載カメラなどにも適用できる。
【符号の説明】
【０１１７】
９，１０ マイクロレンズ １１，１３，１４，１５，１６ 光電変換部
２９ 半導体回路基板 ３０ 遮光マスク
３１，３２ 平坦化層 ３４ 白色フィルタ
３８ 色フィルタ ７１ 撮影光束
７３，７４ 焦点検出用光束 ９０ 射出瞳
９１ 交換レンズの光軸 ９３，９４ 測距瞳
９５ 射出瞳上の領域 １００ 撮影画面
１０１〜１０５ 焦点検出エリア ２０１ デジタルスチルカメラ
２０２ 交換レンズ ２０３ カメラボディ
２０４ マウント部 ２０６ レンズ駆動制御装置
２０８ ズーミング用レンズ ２０９ レンズ
２１０ フォーカシング用レンズ ２１１ 絞り
２１２ 撮像素子 ２１３ 電気接点
２１４ ボディ駆動制御装置 ２１５ スクリーン
２１６ ペンタプリズム ２１７ 接眼レンズ
２１８ 操作部材 ２１９ メモリカード
２２０ 背面液晶表示素子（背面ＬＣＤ）
２２１ ミラーおよびアイピースシャッタ制御手段
２２２ ハーフミラー ２２３ ミラーおよびアイピースシャッタ
３００，３０１ 切り抜かれる領域
３１０ 撮像画素 ３１１〜３１６ 焦点検出画素
【特許請求の範囲】
【請求項１】
被写体像を形成する撮影光学系と、
前記被写体像を撮像して撮像信号を出力する複数の撮像画素と、前記撮影光学系を透過した透過光束に基づき、瞳分割型位相差検出方式により焦点検出信号を出力する複数の焦点検出画素とが２次元的に配列される撮像素子と、
前記被写体像の観察のために前記撮影光学系を透過した透過光束が入射する観察光学系と、
前記撮影光学系と前記撮像素子との間の撮影光路への挿入および前記撮影光路からの退避が可能に配設され、前記挿入がされたとき、前記撮影光学系を透過した透過光束を、前記撮像素子に向かう第１の光束と前記観察光学系に向かう第２の光束とに分割する分割光学系と、
前記撮像信号に基づき撮像データを生成する生成手段と、
前記分割光学系に対して前記挿入および前記退避を制御する制御手段と、
前記制御手段に対して、第１の動作態様に応じた制御と第２の動作態様に応じた制御とを択一的に指定する指定手段とを備え、
前記制御手段は、前記第１の動作態様が指定された場合、前記撮像データを生成するときは前記退避がされるように前記分割光学系を制御し、前記観察がされるときは前記挿入がされるように前記分割光学系を制御し、前記第２の動作態様が指定された場合、前記撮像データの生成時および前記観察時のいずれにおいても、前記挿入がされるように前記分割光学系を制御することを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記指定手段により前記第１の動作態様が指定されると、前記生成手段は、１枚の画像に対応する前記撮像データおよび複数の時系列画像に対応する前記撮像データのうちの少なくとも一方を生成し、
前記指定手段により前記第２の動作態様が指定されると、前記生成手段は、複数の時系列画像に対応する前記撮像データを生成することを特徴とする撮像装置。
【請求項３】
請求項１または２に記載の撮像装置において、
前記挿入時および前記退避時のいずれにおいても、前記焦点検出信号に基づき、前記撮影光学系の焦点調節状態が合焦状態となるためのデフォーカス量を検出し、該デフォーカス量に基づき、前記撮影光学系を駆動する駆動手段をさらに備えることを特徴とする撮像装置。
【請求項４】
請求項１乃至３に記載の撮像装置において、
前記退避がされたとき、前記観察光学系を介して外部から前記撮像素子に入射する外光を遮断する遮光手段をさらに備えることを特徴とする撮像装置。
【請求項５】
請求項１乃至３に記載の撮像装置において、
前記撮像データに対して所定の画像処理を行う画像処理手段をさらに備え、
前記所定の画像処理は、前記第２の動作態様が指定された場合、前記挿入に伴う前記撮像データの劣化を回復する画像処理であることを特徴とする撮像装置。
【請求項６】
請求項５に記載の撮像装置において、
前記撮像データの劣化は、少なくとも前記分割光学系の前記挿入によるゴースト像に起因することを特徴とする撮像装置。
【請求項７】
請求項１乃至３に記載の撮像装置において、
前記撮像データから特定領域画像データを抽出する抽出手段をさらに備え、
前記分割光学系は、前記撮影光学系を透過した透過光束の一部を、前記第１の光束および前記第２の光束に分割し、かつ前記撮影光学系を透過した透過光束の残部を、前記撮像素子に向かわせるように、前記撮影光路に配置され、
前記特定領域画像データは、前記撮像素子における前記第１の光束を受光した特定領域に含まれる前記複数の撮像画素が出力する前記撮像信号に基づくことを特徴とする撮像装置。
【請求項８】
請求項７に記載の撮像装置において、
前記撮影光学系を透過する前記透過光束が該撮影光学系を透過する際、該透過光束を開口により制限する制限手段をさらに備え、
前記抽出手段は、前記開口の開口径の変化に応じて前記特定領域画像データを抽出することを特徴とする撮像装置。
【請求項９】
請求項７に記載の撮像装置において、
前記観察光学系は、前記第２の光束により前記被写体像が形成される焦点板と、
前記焦点板の近傍に配置され、前記特定領域に対応する範囲を、前記焦点板に形成される前記被写体像に重畳して表示する表示手段をさらに備えることを特徴とする撮像装置。
【請求項１０】
請求項１乃至３に記載の撮像装置において、
前記複数の焦点検出画素の各々は、前記撮影光学系を透過する一対の焦点検出用光束のうちの少なくとも一方を受光することにより、前記焦点検出信号を出力することを特徴とする撮像装置。
【請求項１１】
請求項１０に記載の撮像装置において、
前記複数の焦点検出画素の各々は、マイクロレンズと該マイクロレンズに対応して設けられた光電変換部とを有し、
前記複数の焦点検出画素は、前記一対の焦点検出用光束のうちの一方を受光する第１の焦点検出画素と、前記一対の焦点検出用光束のうちの他方を受光する第２の焦点検出画素とを含み、
前記第１の焦点検出画素と前記第２の焦点検出画素とが交互に配列されていることを特徴とする撮像装置。
【請求項１２】
請求項１０に記載の撮像装置において、
前記複数の焦点検出画素の各々は、マイクロレンズと該マイクロレンズに対応して設けられた第１の光電変換部および第２の光電変換部とを有し、
前記第１の光電変換部は、前記一対の焦点検出用光束のうちの一方を受光し、前記第２の光電変換部は、前記一対の焦点検出用光束のうちの他方を受光することを特徴とする撮像装置。
【請求項１３】
請求項１０に記載の撮像装置において、
前記焦点検出信号に基づき、前記一対の焦点検出用光束を前記複数の焦点検出画素の各々が受光して形成される一対の像の相対的な像ズレ量を特定し、前記一対の光束の開き角に応じた変換係数を前記像ズレ量に乗じてデフォーカス量を算出する焦点検出手段をさらに備えることを特徴とする撮像装置。
【請求項１４】
被写体像を形成する撮影光学系と、
前記被写体像を撮像して撮像信号を出力する複数の撮像画素が２次元的に配列される撮像素子と、
前記被写体像の観察のために前記撮影光学系を透過した透過光束が入射する観察光学系と、
前記撮影光学系と前記撮像素子との間の撮影光路への挿入および前記撮影光路からの退避が可能に配設され、前記挿入がされたとき、前記撮影光学系を透過した透過光束を、前記撮像素子に向かう前記第１の光束と前記観察光学系に向かう前記第２の光束とに分割する分割光学系と、
前記撮像信号に基づき撮像データを生成する生成手段と、
前記分割光学系に対して前記挿入および前記退避を制御する制御手段と、
前記撮像データに対して所定の画像処理を行う画像処理手段とを備え、
前記制御手段は、前記撮像データを生成するときおよび前記観察がされるときのいずれのときにおいても、前記挿入がされるように前記分割光学系を制御し、
前記所定の画像処理は、前記挿入に伴う前記撮像データの劣化を回復する画像処理であることを特徴とする撮像装置。
【請求項１５】
被写体像を形成する撮影光学系と、
前記被写体像を撮像して撮像信号を出力する複数の撮像画素が２次元的に配列される撮像素子と、
前記被写体像の観察のために前記撮影光学系を透過した透過光束が入射する観察光学系と、
前記撮影光学系と前記撮像素子との間の撮影光路への挿入および前記撮影光路からの退避が可能に配設され、前記挿入がされたとき、前記撮影光学系を透過した透過光束を、前記撮像素子に向かう前記第１の光束と前記観察光学系に向かう前記第２の光束とに分割する分割光学系と、
前記撮像信号に基づき撮像データを生成する生成手段と、
前記分割光学系に対して前記挿入および前記退避を制御する制御手段と、
前記撮像データに対して所定の画像処理を行う画像処理手段と、
前記撮像データから特定領域画像データを抽出する抽出手段をさらに備え、
前記制御手段は、前記撮像データを生成するときおよび前記観察がされるときのいずれのときにおいても、前記挿入がされるように前記分光手段を制御し、
前記分割光学系は、前記撮影光学系を透過した透過光束の一部が、前記分割光学系により前記第１の光束および前記第２の光束に分割され、かつ前記撮影光学系を透過した透過光束の残部が、前記撮像素子に向かうように、前記撮影光路に配置され、
前記特定領域画像データは、前記撮像素子における前記第１の光束を受光した特定領域に含まれる前記複数の撮像画素が出力する前記撮像信号に基づくことを特徴とする撮像装置。
【請求項１】
被写体像を形成する撮影光学系と、
前記被写体像を撮像して撮像信号を出力する複数の撮像画素と、前記撮影光学系を透過した透過光束に基づき、瞳分割型位相差検出方式により焦点検出信号を出力する複数の焦点検出画素とが２次元的に配列される撮像素子と、
前記被写体像の観察のために前記撮影光学系を透過した透過光束が入射する観察光学系と、
前記撮影光学系と前記撮像素子との間の撮影光路への挿入および前記撮影光路からの退避が可能に配設され、前記挿入がされたとき、前記撮影光学系を透過した透過光束を、前記撮像素子に向かう第１の光束と前記観察光学系に向かう第２の光束とに分割する分割光学系と、
前記撮像信号に基づき撮像データを生成する生成手段と、
前記分割光学系に対して前記挿入および前記退避を制御する制御手段と、
前記制御手段に対して、第１の動作態様に応じた制御と第２の動作態様に応じた制御とを択一的に指定する指定手段とを備え、
前記制御手段は、前記第１の動作態様が指定された場合、前記撮像データを生成するときは前記退避がされるように前記分割光学系を制御し、前記観察がされるときは前記挿入がされるように前記分割光学系を制御し、前記第２の動作態様が指定された場合、前記撮像データの生成時および前記観察時のいずれにおいても、前記挿入がされるように前記分割光学系を制御することを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記指定手段により前記第１の動作態様が指定されると、前記生成手段は、１枚の画像に対応する前記撮像データおよび複数の時系列画像に対応する前記撮像データのうちの少なくとも一方を生成し、
前記指定手段により前記第２の動作態様が指定されると、前記生成手段は、複数の時系列画像に対応する前記撮像データを生成することを特徴とする撮像装置。
【請求項３】
請求項１または２に記載の撮像装置において、
前記挿入時および前記退避時のいずれにおいても、前記焦点検出信号に基づき、前記撮影光学系の焦点調節状態が合焦状態となるためのデフォーカス量を検出し、該デフォーカス量に基づき、前記撮影光学系を駆動する駆動手段をさらに備えることを特徴とする撮像装置。
【請求項４】
請求項１乃至３に記載の撮像装置において、
前記退避がされたとき、前記観察光学系を介して外部から前記撮像素子に入射する外光を遮断する遮光手段をさらに備えることを特徴とする撮像装置。
【請求項５】
請求項１乃至３に記載の撮像装置において、
前記撮像データに対して所定の画像処理を行う画像処理手段をさらに備え、
前記所定の画像処理は、前記第２の動作態様が指定された場合、前記挿入に伴う前記撮像データの劣化を回復する画像処理であることを特徴とする撮像装置。
【請求項６】
請求項５に記載の撮像装置において、
前記撮像データの劣化は、少なくとも前記分割光学系の前記挿入によるゴースト像に起因することを特徴とする撮像装置。
【請求項７】
請求項１乃至３に記載の撮像装置において、
前記撮像データから特定領域画像データを抽出する抽出手段をさらに備え、
前記分割光学系は、前記撮影光学系を透過した透過光束の一部を、前記第１の光束および前記第２の光束に分割し、かつ前記撮影光学系を透過した透過光束の残部を、前記撮像素子に向かわせるように、前記撮影光路に配置され、
前記特定領域画像データは、前記撮像素子における前記第１の光束を受光した特定領域に含まれる前記複数の撮像画素が出力する前記撮像信号に基づくことを特徴とする撮像装置。
【請求項８】
請求項７に記載の撮像装置において、
前記撮影光学系を透過する前記透過光束が該撮影光学系を透過する際、該透過光束を開口により制限する制限手段をさらに備え、
前記抽出手段は、前記開口の開口径の変化に応じて前記特定領域画像データを抽出することを特徴とする撮像装置。
【請求項９】
請求項７に記載の撮像装置において、
前記観察光学系は、前記第２の光束により前記被写体像が形成される焦点板と、
前記焦点板の近傍に配置され、前記特定領域に対応する範囲を、前記焦点板に形成される前記被写体像に重畳して表示する表示手段をさらに備えることを特徴とする撮像装置。
【請求項１０】
請求項１乃至３に記載の撮像装置において、
前記複数の焦点検出画素の各々は、前記撮影光学系を透過する一対の焦点検出用光束のうちの少なくとも一方を受光することにより、前記焦点検出信号を出力することを特徴とする撮像装置。
【請求項１１】
請求項１０に記載の撮像装置において、
前記複数の焦点検出画素の各々は、マイクロレンズと該マイクロレンズに対応して設けられた光電変換部とを有し、
前記複数の焦点検出画素は、前記一対の焦点検出用光束のうちの一方を受光する第１の焦点検出画素と、前記一対の焦点検出用光束のうちの他方を受光する第２の焦点検出画素とを含み、
前記第１の焦点検出画素と前記第２の焦点検出画素とが交互に配列されていることを特徴とする撮像装置。
【請求項１２】
請求項１０に記載の撮像装置において、
前記複数の焦点検出画素の各々は、マイクロレンズと該マイクロレンズに対応して設けられた第１の光電変換部および第２の光電変換部とを有し、
前記第１の光電変換部は、前記一対の焦点検出用光束のうちの一方を受光し、前記第２の光電変換部は、前記一対の焦点検出用光束のうちの他方を受光することを特徴とする撮像装置。
【請求項１３】
請求項１０に記載の撮像装置において、
前記焦点検出信号に基づき、前記一対の焦点検出用光束を前記複数の焦点検出画素の各々が受光して形成される一対の像の相対的な像ズレ量を特定し、前記一対の光束の開き角に応じた変換係数を前記像ズレ量に乗じてデフォーカス量を算出する焦点検出手段をさらに備えることを特徴とする撮像装置。
【請求項１４】
被写体像を形成する撮影光学系と、
前記被写体像を撮像して撮像信号を出力する複数の撮像画素が２次元的に配列される撮像素子と、
前記被写体像の観察のために前記撮影光学系を透過した透過光束が入射する観察光学系と、
前記撮影光学系と前記撮像素子との間の撮影光路への挿入および前記撮影光路からの退避が可能に配設され、前記挿入がされたとき、前記撮影光学系を透過した透過光束を、前記撮像素子に向かう前記第１の光束と前記観察光学系に向かう前記第２の光束とに分割する分割光学系と、
前記撮像信号に基づき撮像データを生成する生成手段と、
前記分割光学系に対して前記挿入および前記退避を制御する制御手段と、
前記撮像データに対して所定の画像処理を行う画像処理手段とを備え、
前記制御手段は、前記撮像データを生成するときおよび前記観察がされるときのいずれのときにおいても、前記挿入がされるように前記分割光学系を制御し、
前記所定の画像処理は、前記挿入に伴う前記撮像データの劣化を回復する画像処理であることを特徴とする撮像装置。
【請求項１５】
被写体像を形成する撮影光学系と、
前記被写体像を撮像して撮像信号を出力する複数の撮像画素が２次元的に配列される撮像素子と、
前記被写体像の観察のために前記撮影光学系を透過した透過光束が入射する観察光学系と、
前記撮影光学系と前記撮像素子との間の撮影光路への挿入および前記撮影光路からの退避が可能に配設され、前記挿入がされたとき、前記撮影光学系を透過した透過光束を、前記撮像素子に向かう前記第１の光束と前記観察光学系に向かう前記第２の光束とに分割する分割光学系と、
前記撮像信号に基づき撮像データを生成する生成手段と、
前記分割光学系に対して前記挿入および前記退避を制御する制御手段と、
前記撮像データに対して所定の画像処理を行う画像処理手段と、
前記撮像データから特定領域画像データを抽出する抽出手段をさらに備え、
前記制御手段は、前記撮像データを生成するときおよび前記観察がされるときのいずれのときにおいても、前記挿入がされるように前記分光手段を制御し、
前記分割光学系は、前記撮影光学系を透過した透過光束の一部が、前記分割光学系により前記第１の光束および前記第２の光束に分割され、かつ前記撮影光学系を透過した透過光束の残部が、前記撮像素子に向かうように、前記撮影光路に配置され、
前記特定領域画像データは、前記撮像素子における前記第１の光束を受光した特定領域に含まれる前記複数の撮像画素が出力する前記撮像信号に基づくことを特徴とする撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【公開番号】特開２０１１−２８１７７（Ｐ２０１１−２８１７７Ａ）
【公開日】平成２３年２月１０日（２０１１．２．１０）
【国際特許分類】
【出願番号】特願２００９−１７６５４４（Ｐ２００９−１７６５４４）
【出願日】平成２１年７月２９日（２００９．７．２９）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２３年２月１０日（２０１１．２．１０）
【国際特許分類】
【出願日】平成２１年７月２９日（２００９．７．２９）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]