撮像装置
【課題】撮像装置における焦点検出誤差を低減する。
【解決手段】撮像装置は、光学系を通過する第１光束および第１光束よりも光量の小さな第２光束を、複数の画素によりそれぞれ受光し、第１信号および第１信号よりも信号レベルの小さい第２信号として蓄積する撮像素子と、撮像素子から第１信号および第２信号を読み出す読み出し手段と、読み出し手段により読み出された第２信号を記憶する記憶手段と、記憶手段により記憶されている第２信号の内の、読み出し手段によって最新に読み出された信号を含む複数の信号を加算する加算手段と、読み出し手段によって最新に読み出された第１信号と加算手段により加算された複数の信号とに基づき光学系の焦点調節状態を検出する焦点検出手段とを備える。
【解決手段】撮像装置は、光学系を通過する第１光束および第１光束よりも光量の小さな第２光束を、複数の画素によりそれぞれ受光し、第１信号および第１信号よりも信号レベルの小さい第２信号として蓄積する撮像素子と、撮像素子から第１信号および第２信号を読み出す読み出し手段と、読み出し手段により読み出された第２信号を記憶する記憶手段と、記憶手段により記憶されている第２信号の内の、読み出し手段によって最新に読み出された信号を含む複数の信号を加算する加算手段と、読み出し手段によって最新に読み出された第１信号と加算手段により加算された複数の信号とに基づき光学系の焦点調節状態を検出する焦点検出手段とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像素子を含む撮像装置に関する。
【背景技術】
【０００２】
光学系の射出瞳の一対の領域を通る光束を受光する焦点検出用の画素が撮像面の一部に配列された撮像素子を光学系の予定焦点面上に配置する。これにより一対の光束が形成する一対の像に応じた一対の像信号を前記焦点検出用の画素から出力し、この一対の像信号間の像ズレ量（空間的な位相差）を検出することによって光学系の焦点調節状態を検出する撮像装置が知られている。
【０００３】
このような瞳分割型位相差検出の焦点検出方式において、光学系の射出瞳距離と撮像面上の像高との組み合わせによっては、上記一対の領域の大きさが等しくならず、上記一対の像の光量比が１にならない場合がある。このような場合には一対の像信号のレベルのバランスも崩れ、焦点検出精度が悪化してしまう。そのため、一対の像信号に光量比に応じたゲイン補正を行い、一対の像信号の信号レベルの一致度を向上させてから位相差検出演算を行う撮像装置が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１４５５４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら撮像装置において電荷蓄積型の撮像素子を用いた場合には、信号中のショットノイズは蓄積電荷量（電子数）の平方根に比例する。そのため、上記のように一対の像信号に光量比に応じたゲイン補正を行っただけでは、単に信号が増幅されるだけであって、ＳＮ比（信号対ノイズ比）自体は改善されない。すなわち一方の像の光量が他方の像に比較して小さい場合には、光量の小さな方の像信号のノイズの影響により焦点検出に誤差を生じるという問題があった。
【課題を解決するための手段】
【０００６】
（１） 請求項１に記載の発明による撮像装置は、光学系を通過する第１光束および第１光束よりも光量の小さな第２光束を、複数の画素によりそれぞれ受光し、第１信号および第１信号よりも信号レベルの小さい第２信号として蓄積する撮像素子と、撮像素子から第１信号および第２信号を読み出す読み出し手段と、読み出し手段により読み出された第２信号を記憶する記憶手段と、記憶手段により記憶されている第２信号の内の、読み出し手段によって最新に読み出された信号を含む複数の信号を加算する加算手段と、読み出し手段によって最新に読み出された第１信号と加算手段により加算された複数の信号とに基づき光学系の焦点調節状態を検出する焦点検出手段とを備えることを特徴とする。
（２） 請求項３に記載の発明による撮像装置は、光学系を通過する第１光束および第２光束を、複数の画素によりそれぞれ受光し、第１信号および第２信号として蓄積する撮像素子と、撮像素子から第１信号および第２信号を読み出す読み出し手段と、読み出し手段により読み出された第１信号および第２信号を記憶する記憶手段と、記憶手段により記憶されている第１信号および第２信号の内の、読み出し手段によって最新に読み出された信号を含む複数の信号をそれぞれ相異なる加算回数で加算する加算手段と、加算手段により加算された複数の信号に基づき光学系の焦点調節状態を検出する焦点検出手段とを備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、撮像装置における焦点検出誤差を低減できる。
【図面の簡単な説明】
【０００８】
【図１】第１の実施の形態のデジタルスチルカメラの構成を示す横断面図である。
【図２】交換レンズの撮影画面上における焦点検出位置を示す図である。
【図３】撮像素子の詳細な構成を示す正面図である。
【図４】マイクロレンズを用いた瞳分割型位相差検出方式の焦点検出光学系の構成を示す図である。
【図５】撮影光学系の射出瞳距離と焦点検出位置（像高）とに応じて一対の焦点検出光束に非対称なケラレが生じることを説明するための図である。
【図６】一対の焦点検出画素の信号波形のグラフである。
【図７】デジタルスチルカメラのボディ内部の詳細な構成を示す図である。
【図８】デジタルスチルカメラ２０１の動作を示すフローチャートである。
【図９】撮像素子の動作フロー概念図である。
【図１０】撮像素子の回路構成を示す図である。
【図１１】撮像画素および焦点検出画素の詳細な回路図である。
【図１２】撮像素子の動作タイミングチャートである。
【図１３】画像データの加算処理を説明するための図である。
【図１４】変形例の撮像素子の詳細な構成を示す正面図である。
【図１５】変形例の瞳分割型位相差検出方式の焦点検出光学系の構成を示す図である。
【図１６】撮像素子の変形例の回路構成を示す概念図である。
【図１７】撮像素子の動作フロー概念図である。
【図１８】変形例の撮像装置の構成を示す図である。
【図１９】再結像瞳分割方式の焦点検出動作を説明するための図である。
【発明を実施するための形態】
【０００９】
−−−第１の実施の形態−−−
本発明の第１の実施の形態による撮像装置をデジタルスチルカメラに適用した例を説明する。図１は本実施の形態の構成を示す。本実施の形態のデジタルスチルカメラ２０１は交換レンズ２０２とカメラボディ２０３とから構成され、交換レンズ２０２はマウント部２０４によりカメラボディ２０３に装着される。
【００１０】
交換レンズ２０２はレンズ駆動制御装置２０６、ズーミング用レンズ２０８、レンズ２０９、フォーカシング用レンズ２１０、絞り２１１などを備えている。レンズ駆動制御装置２０６は、マイクロコンピューターとメモリなどの周辺部品から構成される。レンズ駆動制御装置２０６は、フォーカシング用レンズ２１０と絞り２１１の駆動制御、絞り２１１、ズーミング用レンズ２０８およびフォーカシング用レンズ２１０の状態検出などを行う。レンズ駆動制御装置２０６は、後述するボディ駆動制御装置２１４に対するレンズ情報の送信とカメラ情報の受信などを行う。
【００１１】
カメラボディ２０３は撮像素子２１２、ボディ駆動制御装置２１４、液晶表示素子駆動回路２１５、液晶表示素子２１６、接眼レンズ２１７、メモリカード２１９などを備えている。撮像素子２１２には後述する画素が二次元状に配列されており、交換レンズ２０２の予定結像面に配置されて交換レンズ２０２により結像される被写体像を撮像する。なお、詳細を後述するが撮像素子２１２の所定の焦点検出位置には焦点検出用画素が配列される。
【００１２】
ボディ駆動制御装置２１４はマイクロコンピューターとメモリなどの周辺部品から構成される。ボディ駆動制御装置２１４は、撮像素子２１２からの画像信号の読み出し、画像信号の補正、交換レンズ２０２の焦点調節状態の検出、レンズ駆動制御装置２０６からのレンズ情報の受信とカメラ情報（デフォーカス量）の送信、デジタルスチルカメラ２０１全体の動作制御などを行う。ボディ駆動制御装置２１４およびレンズ駆動制御装置２０６は、マウント部２０４の電気接点部２１３を介して互いに通信を行い、各種情報の授受を行う。
【００１３】
液晶表示素子駆動回路２１５は、液晶ビューファインダー（ＥＶＦ：電気的ビューファインダー）の液晶表示素子２１６を駆動する。撮影者は接眼レンズ２１７を介して液晶表示素子２１６に表示された像を観察することができる。メモリカード２１９はカメラボディ２０３に脱着可能であり、画像信号を格納記憶する可搬記憶媒体である。
【００１４】
交換レンズ２０２を通過して撮像素子２１２上に形成された被写体像は、撮像素子２１２により光電変換され、その出力はボディ駆動制御装置２１４へ送られる。ボディ駆動制御装置２１４は、撮像素子２１２上の焦点検出画素の出力データに基づいて所定の焦点検出位置におけるデフォーカス量を算出し、このデフォーカス量をレンズ駆動制御装置２０６へ送る。また、ボディ駆動制御装置２１４は、撮像素子２１２の出力に基づいて生成した画像信号をメモリカード２１９に格納するとともに、画像信号を液晶表示素子駆動回路２１５へ送り、液晶表示素子２１６に画像として表示させる。
【００１５】
カメラボディ２０３には不図示の操作部材（シャッターボタン、焦点検出位置の設定部材など）が設けられている。これらの操作部材からの操作状態信号をボディ駆動制御装置２１４が検出し、ボディ駆動制御装置２１４は、検出結果に応じた動作（撮像動作、焦点検出位置の設定動作、画像処理動作）の制御を行う。
【００１６】
レンズ駆動制御装置２０６はレンズ情報をフォーカシング状態、ズーミング状態、絞り設定状態、絞り開放Ｆ値などに応じて変更する。具体的には、レンズ駆動制御装置２０６は、レンズ２０８、２１０の位置と絞り２１１の絞り位置とをモニターし、モニター情報に応じてレンズ情報を演算したり、あるいは予め用意されたルックアップテーブルからモニター情報に応じたレンズ情報を選択する。レンズ駆動制御装置２０６は、受信したデフォーカス量に基づいてレンズ駆動量を算出し、このレンズ駆動量に基づいてフォーカシング用レンズ２１０を不図示のモーター等の駆動源により合焦点へと駆動する。
【００１７】
図２は、交換レンズ２０２の撮影画面上における焦点検出位置を示す図であり、後述する撮像素子２１２上の焦点検出画素列が焦点検出の際に撮影画面上で像をサンプリングする領域（焦点検出エリア、焦点検出位置）の一例を示す。この例では、矩形の撮影画面１００上の中央および左右周辺の３カ所に焦点検出エリア１０１、１０２および１０３が配置される。長方形で示す焦点検出エリア１０１、１０２および１０３の長手方向に、焦点検出画素が直線的に配列される。
【００１８】
図３は撮像素子２１２の詳細な構成を示す正面図であり、撮像素子２１２上の上述した焦点検出エリア１０１近傍を拡大したものである。図において、縦横（画素配列の行および列）は図２の撮影画面１００の縦横に対応している。撮像素子２１２は撮像用の撮像画素３１０と焦点検出用の焦点検出画素３１２、３１３とから構成され、焦点検出エリア１０１には焦点検出画素３１２、３１３が交互に水平方向に配列されている。焦点検出画素３１２、３１３は、撮像画素３１０の青色フィルタＢを有する画素および緑色フィルタを有する画素Ｇが配置されるべき行に直線的に配置されている。なお図示を省略するが、焦点検出エリア１０２，１０３の近傍の構成も図３に示す構成と同様である。
【００１９】
図３に示すように、撮像画素３１０はマイクロレンズ１０、光電変換部１１、マイクロレンズ１０と光電変換部１１との間に配置される色フィルタから構成される。色フィルタは赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３種類からなり、それぞれの色に対応する分光感度を有している。撮像素子２１２には、このような各色フィルタを備えた撮像画素３１０がベイヤー配列されている。
【００２０】
図３に示すように、焦点検出画素３１２はマイクロレンズ１０と光電変換部１２とから構成される。光電変換部１２はマイクロレンズ１０の垂直２等分線に左辺を略接する長方形状である。また、図３に示すように、焦点検出画素３１３はマイクロレンズ１０と光電変換部１３とから構成される。光電変換部１３はマイクロレンズ１０の垂直２等分線に右辺を略接する長方形状である。光電変換部１２および１３はマイクロレンズ１０を重ね合わせて表示した場合、左右水平方向に並んでおり、マイクロレンズ１０の垂直２等分線に関して対称な形状をしている。焦点検出画素３１２および焦点検出画素３１３は、水平方向すなわち光電変換部１２および１３の並び方向に交互に配置される。
【００２１】
焦点検出画素３１２および３１３には光量をかせぐために色フィルタが配置されていない。そのため、焦点検出画素３１２および３１３は光電変換を行うフォトダイオードの分光感度と、赤外カットフィルタ（不図示）の分光感度特性とを総合した分光感度特性を示す。すなわち焦点検出画素３１２および３１３は、緑画素、赤画素および青画素の分光感度特性を加算したような分光感度特性を示す。高い感度を示す光波長領域は、緑画素、赤画素および青画素の各々において各色フィルターが高い感度を示す光波長領域を包括している。
【００２２】
撮像用画素３１０の光電変換部１１は、マイクロレンズ１０により最も明るい交換レンズの射出瞳（例えばＦ１．０）を通過する光束をすべて受光するような形状に設計される。一方、焦点検出画素３１２、３１３の光電変換部１２、１３は、マイクロレンズ１０により交換レンズの射出瞳の所定の領域（例えばＦ２．８）を通過する光束をすべて受光するような形状に設計される。
【００２３】
図４は、マイクロレンズを用いた瞳分割型位相差検出方式の焦点検出光学系の構成を示す。焦点検出画素３１２および３１３において、光電変換部１２および１３の前方にマイクロレンズ１０が配置され、マイクロレンズ１０により光電変換部１２および１３が前方に投影される。光電変換部１２および１３は半導体回路基板２９上に形成されるとともに、その上にマイクロレンズ１０が半導体イメージセンサーの製造工程により一体的かつ固定的に形成される。光電変換部１２はマイクロレンズ１０の光軸の片側に配置される。光電変換部１３はマイクロレンズ１０の光軸の片側で、かつ光電変換部１２の反対側に配置される。図４には、交換レンズの光軸９１、マイクロレンズ１０ａ、１０ｂ、１０ｃおよび１０ｄ、光電変換部１２ａ、１３ａ、１２ｂおよび１３ｂ、焦点検出画素３１２ａ、３１３ａ、３１２ｂおよび３１３ｂ、ならびに焦点検出光束７２，７３、８２および８３が表されている。図４において、射出瞳９０は、図１の交換レンズ２０２の予定結像面に配置されたマイクロレンズ１０ａ、１０ｂ、１０ｃおよび１０ｄの前方へ距離ｄの位置に設定されている。距離ｄは、マイクロレンズ１０ａ、１０ｂ、１０ｃおよび１０ｄの曲率および屈折率、ならびにマイクロレンズ１０ａ、１０ｂ、１０ｃおよび１０ｄとそれぞれに対応する光電変換部１２ａ、１３ａ、１２ｂおよび１３ｂとの間の距離などに応じて決まる。この距離を以下では測距瞳距離と呼ぶ。
【００２４】
また、領域９２は、マイクロレンズ１０ａ、１０ｃにより光電変換部１２ａ、１２ｂが投影されて定まる領域であり、以下では測距瞳と呼ぶ。領域９３は、マイクロレンズ１０ｂ、１０ｄにより光電変換部１３ａ、１３ｂが投影されて定まる領域であり、以下では測距瞳と呼ぶ。なお、図ではわかりやすくするために測距瞳９２、９３を楕円領域で示しているが、実際は光電変換部１２ａ、１３ａ、１２ｂおよび１３ｂの形状が拡大投影された形状となる。
【００２５】
図４では、隣接する４画素（画素３１２ａ、３１２ｂ、３１３ａ、３１３ｂ）を模式的に例示するが、その他の画素においても光電変換部はそれぞれ対応した測距瞳から各マイクロレンズに到来する光束を受光する。なお、焦点検出画素の配列方向は一対の測距瞳の並び方向、すなわち一対の光電変換部の並び方向と一致させる。
【００２６】
マイクロレンズ１０ａ〜１０ｄは交換レンズの予定結像面近傍に配置されている。マイクロレンズ１０ａ〜１０ｄによりその背後に配置された光電変換部１２ａ、１２ｂ、１３ａ、１３ｂの形状が、マイクロレンズ１０ａ〜１０ｄから測距瞳距離ｄだけ離間した射出瞳９０上に投影され、その投影形状は測距瞳９２，９３を形成する。すなわち、投影距離ｄにある射出瞳９０上で各画素の光電変換部の投影形状（測距瞳９２，９３）が一致するように、各画素における光電変換部の投影方向が決定されている。
【００２７】
光電変換部１２ａは測距瞳９２を通過し、マイクロレンズ１０ａに向かう光束７２によりマイクロレンズ１０ａ上に形成される像の強度に対応した信号を出力する。光電変換部１２ｂは測距瞳９２を通過し、マイクロレンズ１０ｃに向かう光束８２によりマイクロレンズ１０ｃ上に形成される像の強度に対応した信号を出力する。光電変換部１３ａは測距瞳９３を通過し、マイクロレンズ１０ｂに向かう光束７３によりマイクロレンズ１０ｂ上に形成される像の強度に対応した信号を出力する。光電変換部１３ｂは測距瞳９２を通過し、マイクロレンズ１０ｄに向かう光束８３によりマイクロレンズ１０ｄ上に形成される像の強度に対応した信号を出力する。
【００２８】
上述したような２種類の焦点検出画素を直線状に多数配置し、各画素の光電変換部の出力を測距瞳９２および測距瞳９３に対応した一対の出力グループにまとめることによって、測距瞳９２および測距瞳９３を各々通過する一対の焦点検出光束が画素列上に形成する一対の像の強度分布に関する情報が得られる。この情報に対して像ズレ検出演算処理（相関演算処理、位相差検出処理）を施すことによって、いわゆる瞳分割型位相差検出方式で一対の像の像ズレ量が検出される。
【００２９】
さらに、像ズレ量に一対の測距瞳の重心間隔に応じた変換演算を行うことによって、予定結像面に対する現在の結像面（予定結像面上のマイクロレンズアレイの位置に対応した焦点検出位置における結像面）の偏差（デフォーカス量）が算出される。なお、上述した説明では測距瞳は絞り開口によって制限されていない状態として説明を行ったが、実際には測距瞳は絞り開口によって制限された形状と大きさになる。
【００３０】
図５は撮影光学系の射出瞳距離と焦点検出位置（像高）とに応じて一対の焦点検出光束に非対称なケラレが生じることを説明するための図である。また図６は縦軸に焦点検出画素の信号値、横軸に焦点検出画素配列上の位置をとった場合の一対の焦点検出画素の信号波形（実線および破線）のグラフである。
【００３１】
図５において、撮影光軸９１上にある焦点検出エリア１０１に属する焦点検出画素３１２，３１３については、撮影光学系の射出瞳の位置が測距瞳距離ｄ以外の位置にあっても、焦点検出画素３１２，３１３が受光する焦点検出光束２７２、２７３は光軸９１に対して射出瞳により対称に制限される。そのため、焦点検出画素３１２，３１３が出力する一対の像信号の信号レベルは図６（ａ）に示すように揃っている。
【００３２】
一方画面周辺の像高が高い位置に配置された焦点検出エリア１０２に属する焦点検出画素３１２，３１３については、撮影光学系の射出瞳の距離によって焦点検出画素３１２，３１３が受光する焦点検出光束２８２、２８３の射出瞳による制限のされ方が異なる。そのため、焦点検出画素３１２，３１３が出力する一対の像信号の信号レベルは図６（ｂ）に示すように異なってしまう。
【００３３】
例えば撮影光学系の射出瞳が測距瞳距離ｄより短い距離ｄ１にあった場合、焦点検出光束２８３より焦点検出光束２８２の方がケラレが少ないので、図６（ｂ）の実線（受光光量が少ない）が焦点検出画素３１３の信号となり、破線（受光光量が多い）が焦点検出画素３１２の信号となる。
【００３４】
反対に撮影光学系の射出瞳が測距瞳距離ｄより長い距離ｄ２にあった場合、焦点検出光束２８２より焦点検出光束２８３の方がケラレが少ないので、図６（ｂ）の実線（受光光量が少ない）が焦点検出画素３１２の信号となり、破線（受光光量が多い）が焦点検出画素３１３の信号となる。
【００３５】
光軸に対して焦点検出エリア１０２と反対側にある焦点検出エリア１０３に関しては、焦点検出エリア１０２と一対の焦点検出光束のケラレ方が逆になる。すなわち撮影光学系の射出瞳が測距瞳距離ｄより短い距離ｄ１にあった場合、焦点検出画素３１３の信号レベルが焦点検出画素３１２の信号レベルに比較して小さくなり、撮影光学系の射出瞳が測距瞳距離ｄより長い距離ｄ２にあった場合、焦点検出画素３１２の信号レベルが焦点検出画素３１３の信号レベルに比較して小さくなる。
【００３６】
図７は、図１に示すデジタルスチルカメラ２０１のボディ内部の詳細な構成を示す図である。図１に示すボディ駆動制御装置２１４は、撮像素子２１２の駆動制御を行う撮像素子駆動制御回路２１４ａ、撮像素子２１２が出力する画像信号を画像データにＡＤ変換するＡＤ変換回路２１４ｂ、画像データを一時的に保持する内部メモリ２１４ｃ、ならびにカメラボディの全体的な動作制御、レンズ駆動制御装置２０６との通信および焦点検出演算を行うボディＣＰＵ２１４ｄから構成される。
【００３７】
撮像素子駆動制御回路２１４ａは、撮像素子２１２の露光時間の制御、画像信号の読出し制御を行うとともに、画像信号の読出しに同期させてＡＤ変換回路２１４ｂを動作させ、内部メモリ２１４ｃに画像データを格納させる。また、液晶表示素子駆動回路２１５を制御して内部メモリ２１４ｃに周期的に格納される画像データを液晶表示素子２１６に表示させ、その表示を周期的にリフレッシュさせる。撮像素子駆動制御回路２１４ａはボディＣＰＵ２１４ｄに対し、内部メモリ２１４ｃに画像データが格納されるタイミング信号および焦点検出画素の画像データの有効または無効を指定する情報を送る。なお、焦点検出画素の画像データの有効または無効の判定は、焦点検出画素において所定の蓄積時間で蓄積した画像データを有効と判定する。
【００３８】
ボディＣＰＵ２１４ｄは撮像素子駆動制御回路２１４ａに対し、撮像素子２１２を周期的に動作させるか、単発的に動作させるかなどの動作制御情報、撮像素子２１２の撮像画素および焦点検出画素の露光時間に関する情報（不図示の測光センサーの出力に応じて決定される）を送る。撮像素子駆動制御回路２１４ａはそれらの情報を受け、撮像素子２１２の動作形態を変更して画像信号の読出しを行うとともに、撮像画素および焦点検出画素の露光時間および画像信号の増幅度を制御する。
【００３９】
ボディＣＰＵ２１４ｄは、内部メモリ２１４ｃに格納された焦点検出画素の画像データが有効である場合にはこれを読み出し、後述する焦点検出演算を行って焦点検出を行う。また、シャッターレリーズ部材（不図示）が操作されると、撮像素子駆動制御回路２１４ａを制御して撮像素子２１２に撮像動作を行わせ、画像データを内部メモリ２１４ｃに取り込ませるとともに、この画像データに対して補正やフォーマット変換を施してメモリカード２１９に格納させる。
【００４０】
撮像素子駆動制御回路２１４ａは、ボディＣＰＵ２１４ｄの制御にしたがって、シャッターレリーズがなされていない期間は、撮像素子２１２を周期動作（例えば３０画面／秒または６０画面／秒）させて電気的にファインダー表示するとともに、撮像時は撮像素子２１２を単発動作させて撮像動作を行わせる。したがって、非撮像時においてボディＣＰＵ２１４ｄは内部メモリ２１４ｃに有効な焦点検出画素の画像データが格納されるのを待って焦点検出動作を行うとともに、ファインダー表示は周期的にリフレッシュされることになる。
【００４１】
図８は、図１に示すデジタルスチルカメラ２０１の動作を示すフローチャートである。ボディＣＰＵ２１４ｄはカメラの電源が投入されるとこの動作を繰り返し実行する。ステップＳ１００で電源がオンされるとステップＳ１１０へ進み、撮像素子駆動制御回路２１４ａに対し指令を出し、撮像素子２１２に周期動作を開始させる。
【００４２】
続くステップＳ１２０では、測光センサー（不図示）により測光した被写界輝度に応じて自動的に決定された表示用絞り値、すなわち周期的に画像信号を読み出した場合に画像信号が表示に適したレベルになるような絞り値、あるいは操作部材（不図示）によりユーザーが手動で設定した撮影絞り値に応じた絞り制御情報をレンズ駆動制御装置２０６へ送り、絞り開口径を撮影絞り値に設定する。また、撮影絞り値、被写界輝度、最新動作時の画像データのレベル（平均値）に応じて撮像画素および焦点検出画素の露光時間および信号増幅度を更新し、更新された情報を撮像素子駆動制御回路２１４ａへ送る。なお、電源オン直後は最新動作時の画像データのレベル（平均値）がないので、予め定められたレベル値を用いる。
【００４３】
ステップＳ１３０で、最新の焦点検出画素の画素データが内部メモリ２１４ｃに格納された旨の通知が撮像素子駆動制御回路２１４ａから発せられるのを待機する。ステップＳ１４０において内部メモリ２１４ｃから焦点検出画素の画像データを読み出し、ユーザーにより指定された焦点検出エリアの一対の焦点検出画素のデータの平均値の比（平均値大／平均値小）を算出する。なお、平均値の代わりに最大値を用いてもよい。該比が所定閾値（例えば１．４）以上であるかを調べ、比が所定閾値を越えていない場合はステップＳ１４１の加算処理をスキップしてステップＳ１５０に進む。比が所定閾値を越えている場合（すなわちケラレが大きく、光量比バランスが大きく崩れている）は、ステップＳ１４１にて加算処理（詳細後述）を行って一つのデータの信号レベルを揃えた後に、ステップＳ１５０に進む。ステップＳ１５０では、ユーザーにより指定された焦点検出エリアの一対の焦点検出画素のデータに基づいて、特開２００８−８５７３８号公報に開示されている像ズレ検出演算処理（相関演算処理）を行い、像ズレ量を演算し、さらにデフォーカス量を算出する。
【００４４】
ステップＳ１６０で合焦近傍か否か、すなわち算出されたデフォーカス量の絶対値が所定値以内か否かを調べる。合焦近傍でないと判定された場合はステップＳ１７０へ進み、デフォーカス量をレンズ駆動制御装置２０６へ送信し、交換レンズ２０２のフォーカシングレンズ２１０を合焦位置に駆動させる。その後、ステップＳ１２０へ戻り、上記動作を繰り返す。なお、焦点検出不能な場合もこのステップに分岐し、レンズ駆動制御装置２０６へスキャン駆動命令を送信し、交換レンズ２０２のフォーカシングレンズ２１０を無限から至近の間でスキャン駆動させ、ステップＳ１２０へ戻って上記動作を繰り返す。
【００４５】
一方、合焦近傍であると判定した場合はステップＳ１８０へ進み、シャッターボタン（不図示）の操作によりシャッターレリーズがなされたか否かを判定し、なされていないと判定された場合は、ステップＳ１２０へ戻って上記動作を繰り返す。シャッターレリーズがなされたと判定された場合はステップＳ１９０へ進み、レンズ駆動制御装置２０６へ絞り制御情報を送信し、交換レンズ２０２の絞り値を撮影絞り値にする。撮影絞り値、被写界輝度、最新動作時の画像データのレベル（平均値）に応じて、撮像画素と焦点検出画素で同一の露光時間および信号増幅度を決定し、決定された情報を撮像素子駆動制御回路２１４ａへ送る。
【００４６】
ステップＳ２００において、絞り制御が終了した時点で撮像素子２１２に単発の撮像動作を行わせ、内部メモリ２１４ｃから撮像素子２１２の撮像画素および全ての焦点検出画素から画像データを読み出す。ステップＳ２１０では焦点検出画素列の各画素位置の画素データを焦点検出画素のデータおよび周囲の撮像画素のデータに基づいて補間する。ステップＳ２２０では撮像画素のデータおよび補間されたデータからなる画像データをメモリカード２１９に保存し、ステップＳ１１０へ戻って上記動作を繰り返す。
【００４７】
次に、本実施の形態の撮像素子の構成および動作について詳細に説明する。図９は撮像素子２１２の動作フロー概念図である。図１０に示すように、簡単のため撮像素子２１２は４画素×４画素（４行４列）とし、２個の焦点検出画素が３行目の２列目および３列目に１個ずつ配置されるものとして説明する。図９は周期動作時の動作フローである。撮像素子２１２はＣＭＯＳイメージセンサーで、撮像画素からの画像信号の読出しはローリングシャッター方式で行われる。各行において、撮像画素の光電変換部の電荷蓄積（露光）とそれに続く読出しとがシーケンシャルに交互に行われる。撮像画素の画像信号の読出しは１行目、２行目、３行目、４行目の順で行われ、この読出し動作が所定の周期で繰り返し行われる。
【００４８】
読み出された撮像画素の画像データは液晶表示素子２１６への画像表示に利用される。また、読み出された焦点検出画素の画像データは内部メモリ２１４ｃに過去複数回の読出し分記憶され、加算後の画像データのレベルが焦点検出演算に適したレベルとなるように、最新の所定回数分の画像データが加算され、加算された画像データに基づいて焦点検出演算が行われる。
【００４９】
このような動作シーケンスを行うことにより、液晶表示素子２１６のリフレッシュ周期を一定に保ちながら、確実に焦点検出を行うことが可能になる。なお、撮像画素については、低輝度時の電荷蓄積時間は読出し周期が維持できるまでの時間で制限し、不足分は画像信号の増幅度を調整することによりカバーする。
【００５０】
図１０は撮像素子２１２の回路構成を示す図である。図９に示す動作フローに対応した４画素×４画素の撮像素子の回路構成であり、２個の焦点検出画素３１２、３１３が３行目の２列目と３列目に配置され、その他は撮像画素３１０である。信号保持部５０２は１行分の画素の画像信号を一時的保持するバッファであり、垂直信号線５０１に出力されている画像信号を垂直走査回路５０３が発する制御信号ΦＨにしたがってラッチする。
【００５１】
撮像画素３１０および焦点検出画素３１２、３１３の電荷蓄積は、蓄積制御回路５０４が発する制御信号（ΦＲ１〜ΦＲ４）により行ごとに独立に制御される。撮像画素３１０および焦点検出画素３１２、３１３からの画像信号の出力は、垂直走査回路５０３が発する制御信号（ΦＳ１〜ΦＳ４）により行ごとに独立に制御される。制御信号により選択された画素の画像信号は、垂直信号線５０１に出力される。信号保持部５０２に保持された画像信号は、水平走査回路５０５が発する制御信号（ΦＶ１〜ΦＶ４）により順次出力回路５０６へ転送され、出力回路５０６で設定された増幅度で増幅されて外部に出力される。
【００５２】
図１１は、図１７に示す撮像画素および焦点検出画素の詳細な回路図である。光電変換部はフォトダイオード（ＰＤ）で構成される。ＰＤに蓄積された電荷は、浮遊拡散層（フローティングディフュージョン：ＦＤ）に蓄積される。ＦＤは増幅ＭＯＳトランジスタ（ＡＭＰ）のゲートに接続されており、ＡＭＰはＦＤに蓄積された電荷の量に応じた信号を発生する。ＦＤ部はリセットＭＯＳトランジスタ５１０を介して電源電圧Ｖｄｄに接続されている。制御信号ΦＲｎ（ΦＲ１〜ΦＲ４、ΦＲａ）によりリセットＭＯＳトランジスタ５１０がオンすると、ＦＤおよびＰＤに溜まった電荷がクリアされリセット状態になる。
【００５３】
ＡＭＰの出力は行選択ＭＯＳトランジスタ５１２を介して垂直出力線５０１に接続されており、制御信号ΦＳｎ（ΦＳ１〜ΦＳ４）により行選択ＭＯＳトランジスタ５１２がオンすると、ＡＭＰの出力が垂直出力線５０１に出力される。なお、図１１に示す回路構成においては、画像信号の読み出しの際のリセットにより画像信号が破壊される。
【００５４】
図１２は、図１０に示す撮像素子２１２の動作タイミングチャートである。１行目の撮像画素３１０は垂直走査回路５０３が発する制御信号ΦＳ１により選択され、選択された撮像画素３１０の画像信号は垂直信号線５０１に出力される。制御信号ΦＳ１と同期して発せられる制御信号ΦＨにより垂直信号線５０１に出力された１行目の画像信号は、信号保持部５０２に一時的に保持される。信号保持部５０２に保持された１行目の撮像画素３１０の画像信号は、水平走査回路５０５から順次発せられる制御信号ΦＶ１〜ΦＶ４にしたがって出力回路５０６へ転送され、出力回路５０６で設定された増幅度で増幅された外部に出力される。
【００５５】
１行目の撮像画素３１０の画像信号の信号保持部５０２への転送が終了した時点で、蓄積制御回路５０４より発せられる制御信号ΦＲ１により１行目の撮像画素３１０がリセットされ、１行目の撮像画素３１０の次の電荷蓄積が開始される。１行目の撮像画素３１０の画像信号の出力回路５０６からの出力が終了した時点で、２行目の撮像画素３１０は垂直走査回路５０３が発する制御信号ΦＳ２により選択され、選択された撮像画素３１０の画像信号は垂直信号線５０１に出力される。以下、同様にして２行目の撮像画素３１０の画像信号の保持および撮像画素３１０のリセット、画像信号の出力が行われる。
【００５６】
続いて３行目の撮像画素３１０と焦点検出画素３１２、３１３の画像信号の保持および撮像画素のリセット、撮像画素３１０と焦点検出画素３１２、３１３の画像信号の出力が行われる。続いて４行目の撮像画素３１０の画像信号の保持および撮像画素のリセット、撮像画素３１０の画像信号の出力が行われる。その後再び１行目に戻り、上記動作が繰り返される。
【００５７】
１行目の撮像画素３１０の画像信号の電荷保持タイミングから、次回の１行目の撮像画素３１０の画像信号の電荷保持タイミングまでの周期Ｔｓは、一定に制御される。撮像画素３１０および焦点検出画素３１２、３１３の電荷蓄積時間Ｔｉ（露光時間）は、画素のリセットタイミングから画像信号の保持タイミングまでの時間となる。制御信号ΦＲ１〜ΦＲ４のパルス幅を変更することによって、撮像画素３１０および焦点検出画素３１２、３１３の電荷蓄積時間Ｔｉ（露光時間）を調整することが可能である。
【００５８】
図１３により、図８のステップＳ１４１にて行われる画像データの加算処理を説明する。図１３において、上部に画像信号の読出しの時間経過を示す。画像信号の読出しは所定周期Ｔｓで繰り返し行われ、読み出された最新の画像データにより表示がリフレッシュされる。ｎは最新の読出しサイクルを表し、ｎ−１は前回の読出しサイクル、ｎ−２は前々回の読出しサイクルを表す。各回に読み出された画像信号は内部メモリ２１４ｃ（図７参照）にスタックして記憶される。ｎ回目の画像信号の読出しで読み出された焦点検出画素の画像信号は、焦点検出画素信号ｎとして記憶される。焦点検出画素信号ｎが内部メモリ２１４ｃに格納された時点において、加算処理が可能になる。
【００５９】
図６（ｂ）、（ｃ）を参照して加算処理の様子を説明する。図６（ｂ）において焦点検出画素３１２の信号レベル（平均値Ｍａ（０））が低い（実線）とし、この信号波形が図６（ｃ）の一番下の画素信号Ａ１である。（ｉ）まず、最新の焦点検出画素３１２の画素信号ｎと前回の焦点検出画素３１２の画素信号ｎ−１とを互いに加算する。加算後の画素信号Ａ２の平均値Ｍａ（１）で焦点検出画素３１３の画素信号ｎの平均値Ｍｂを除算する。除算値（比）が所定閾値（例えば１）を越えているか否かを調べ、越えていない場合は加算信号Ａ２を焦点検出画素３１２の画素信号として採用する。（ｉｉ）超えている場合は、さらに前々回の焦点検出画素３１２の画素信号ｎ−２を加算信号Ａ２に加算する。加算後の画素信号Ａ３の平均値Ｍａ（２）で焦点検出画素３１２の画素信号ｎの平均値Ｍｂを除算する。除算値（比）が所定閾値を越えているか否かを調べる。（３）除算値（比）が所定閾値を越えていない場合は、上記加算処理を、加算した焦点検出画素３１２の画素信号の平均値Ｍａ（ｋ）で焦点検出画素３１３の画素信号ｎの平均値Ｍｂを除算した値が所定閾値を下回るまで繰り返す。図６（ｃ）においては、焦点検出画素３１２の画素信号ｎ−３まで加算した加算信号Ａ４において上記条件を満足し、加算信号Ａ４の平均値Ｍａ（３）と焦点検出画素３１３の画素信号ｎの平均値Ｍｂとの差が少なくなる。
【００６０】
なお、所定回数過去の画素信号と加算しても、加算した焦点検出画素３１２の画素信号の平均値Ｍａ（ｋ）で焦点検出画素３１３の画素信号ｎの平均値Ｍｂを除算した値が所定閾値を下回らない場合は加算処理を打ち切り、その時の加算画素信号を焦点検出画素３１３の画素信号として採用する。また、平均値Ｍａ（０）が平均値Ｍｂに比べて極端に低いような場合は、複数回過去に遡って、焦点検出画素３１２の画素信号複数回分を加算した加算信号を用いて、上述した除算値（比）が所定閾値（例えば１）を越えているか否かを判定しても良い。あるいは、平均値の代わりに、最大値や、最大値と最小値との差（コントラスト）を用いてもよい。
【００６１】
焦点検出画素３１３の信号レベル（平均値）が焦点検出画素３１２の信号レベル（平均値）に比較して低い場合には、焦点検出画素３１３の画素信号に対して上述の加算処理を施す。
【００６２】
以上のような加算処理を行うことは、擬似的に電荷蓄積時間を延長したことと等価であり、加算信号は増加した電荷量（電子数）を反映したものとなる。従って加算信号のＳＮ比（信号対ノイズ比）は改善され、単に信号レベルが小さな焦点検出画素信号を後処理で増幅する場合に比較して焦点検出誤差を小さくすることができる。
【００６３】
−−−変形例−−−
（１） 上述した実施の形態の加算処理においては過去に記憶した焦点検出画素信号をそのまま加算していたが、このような加算処理では加算信号の平均値をもう一方の焦点検出画素信号の平均値に厳密に揃えることはできない場合が考えられる。
【００６４】
そこで加算信号の平均値がもう一方の焦点検出画素信号の平均値を下回っている場合には上述の加算処理を継続するとともに、加算後の加算信号の平均値がもう一方の焦点検出画素信号の平均値を上回ることが予想される場合は、最後に加算する過去の焦点検出画素信号に１以下の係数を乗じて加算することにより、加算信号の平均値をもう一方の焦点検出画素信号の平均値に厳密に揃えることが可能になる。
【００６５】
（２） 上述した実施の形態の加算処理においては平均値が比較的小さな焦点検出画素信号にのみ加算処理を行っていたが、本発明はこれに限定されることはなく、もう一方の焦点検出画素信号に対しても加算処理を施す場合（一対の焦点検出画素に対して加算回数が異なる）においても適用することができる。
【００６６】
例えば低輝度（高感度＝信号増幅率が大きい）において図６（ｂ）のような信号波形が得られた場合、加算処理により実線の信号波形の信号レベルを破線の信号波形の信号レベルに揃えるだけではＳＮ比が不足してしまう場合がある。そのため、実線の信号の加算処理と同時に破線の信号の加算処理も行うことにより、ＳＮ比の高い信号レベルが揃った一対の焦点検出画素信号を得ることができる。この場合、元の一対の焦点検出画素信号の信号レベルに相違があるので、一対の焦点検出画素信号において加算回数が異なることになる。
【００６７】
（３） 上述した実施の形態の加算処理においては、加算信号の平均値ともう一方の焦点検出画素信号の平均値との関係に応じて加算処理の継続または打ち切りの判定をしている。しかし、焦点検出画素信号の他の特性（例えば最大値、コントラストなど）に応じて加算処理の継続または打ち切りの判定をするようにしてもかまわない。
【００６８】
（４） 上述したように加算処理を行うことは、一対の焦点検出画素の電荷蓄積時間を異ならせたことに相当するので、被写体が移動している場合や手ぶれが生じている場合には焦点検出誤差につながる虞がある。
【００６９】
そこで被写体の動きを検出する動き検出装置により検出された動き量が所定閾値を越えた場合には加算処理を禁止するようにしたり、撮像装置のブレを検出するブレ検出装置により検出されたブレ量が所定閾値を越えた場合には加算処理を禁止するようにしてもよい。動き検出装置は、ボディ駆動制御装置２１４が、例えば、連続する複数の画像フレームに基づき画像処理により被写体の動きを検出することによって、あるいは過去の連続する焦点検出結果、すなわちデフォーカス量に基づいて被写体の動きを検出することによって実現される。ブレ検出装置は、デジタルスチルカメラ２０１に加速度センサーを設け、ボディ駆動制御装置２１４が、その加速度センサーから入力される信号に基づいてブレ検出を行うことによって実現される。
【００７０】
高輝度（低感度＝信号増幅率が小さい）時には信号レベルが小さくてもＳＮ比が高い。そのため、輝度検出装置（例えば、外部測光センサー）により検出された輝度が所定輝度以上の場合には加算処理を禁止するようにしたり、信号増幅率が所定値以下の場合には加算処理を禁止するようにしてもよい。
【００７１】
また動きのある被写体を撮影するためのカメラの撮影モード（例えば、スポーツモードやシャッター速度優先モードなど）に応じて加算処理を禁止するようにしてもよい。
【００７２】
また焦点検出画素信号のＳＮ比の低下による焦点検出誤差の重要性は合焦近傍において高まるので、焦点調節状態が合焦近傍（デフォーカス量の絶対値が所定閾値以下）の場合のみ加算処理許可するようにしてもよい。
【００７３】
また上述のように所定条件に応じて加算処理を禁止する代わりに、所定条件に応じて加算処理の加算回数の上限を制限するようにしてもよい。加算処理であまりに古い画素信号が加算対象になると、加算処理の打ち切りが判定される前に、加算対象の画素信号が表す被写体が動いてしまっている可能性があるためである。
【００７４】
（５） 上述した実施の形態は、次のように変形することもできる。図１４は本変形例の撮像素子２１２Ａの詳細な構成を示す正面図である。図３に示す撮像素子２１２には、一対の焦点検出画素３１２、３１３が配列されていた。それらの焦点検出画素の各々は、１つのマイクロレンズのもとに一対の光電変換部の一方または他方のみを有する。これに対し図１４に示す撮像素子２１２Ａでは、焦点検出画素が１つのマイクロレンズのもとに一対の光電変換部を両方とも有する。図１４は撮像素子２１２Ａ上のひとつの焦点検出エリア近傍を拡大した図であり、縦横は図２に示す撮像画面の縦横と対応している。この変形例の撮像素子２１２Ａは、撮像用の撮像画素３１０と焦点検出用の焦点検出画素３１１とから構成される。
【００７５】
焦点検出画素３１１はマイクロレンズ１０、一対の光電変換部１２，１３から構成される。光電変換部１２、１３は、マイクロレンズ１０により交換レンズの射出瞳の所定の領域（たとえばＦ２．８）を通過する光束をすべて受光するような形状に設計される。
【００７６】
図１５は、図１４に示す焦点検出画素３１１を用いた瞳分割方式の焦点検出方法を説明する図である。なお、基本原理は図３に示す一対の焦点検出画素３１２、３１３を用いた瞳分割方式の焦点検出方法と同様である。また、図１５では、光軸９１上にある焦点検出画素（マイクロレンズ１０ａと一対の光電変換部１２ａ、１３ａとからなる）と、隣接する焦点検出画素（マイクロレンズ１０ｂと一対の光電変換部１２ｂ、１３ｂとからなる）とを模式的に例示するが、その他の焦点検出画素においても一対の光電変換部はそれぞれ一対の測距瞳９２，９３から各マイクロレンズに到来する光束を受光する。焦点検出画素の配列方向は一対の測距瞳９２，９３の並び方向、すなわち一対の光電変換部の並び方向と一致させる。
【００７７】
マイクロレンズ１０ａ、１０ｂは光学系の予定結像面近傍に配置されており、光軸９１上に配置されたマイクロレンズ１０ａによりその背後に配置された一対の光電変換部１２ａ、１３ａの形状が、マイクロレンズ１０ａ、１０ｂから投影距離ｄだけ離間した射出瞳９０上に投影され、その投影形状は測距瞳９２，９３を形成する。光軸９１から離間して配置されたマイクロレンズ１０ｂによりその背後に配置された一対の光電変換部１２ｂ、１３ｂの形状が、投影距離ｄだけ離間した射出瞳９０上に投影され、その投影形状は測距瞳９２，９３を形成する。すなわち、投影距離ｄにある射出瞳９０上で各焦点検出画素の光電変換部の投影形状（測距瞳９２，９３）が一致するように各画素の投影方向が決定されている。
【００７８】
一対の光電変換部１２ａおよび１３ａならびに一対の光電変換部１２ｂおよび１３ｂは、半導体回路基板２９上に形成される。光電変換部１２ａは測距瞳９２を通過し、マイクロレンズ１０ａに向かう焦点検出光束７２によってマイクロレンズ５０上に形成される像の強度に対応した信号を出力する。光電変換部１３ａは測距瞳９３を通過し、マイクロレンズ１０ａに向かう焦点検出光束７３によってマイクロレンズ１０ａ上に形成される像の強度に対応した信号を出力する。光電変換部１２ｂは測距瞳９２を通過し、マイクロレンズ１０ｂに向かう焦点検出光束８２によってマイクロレンズ１０ｂ上に形成される像の強度に対応した信号を出力する。光電変換部１３ｂは測距瞳９３を通過し、マイクロレンズ
１０ｂに向う焦点検出光束８３によってマイクロレンズ１０ｂ上に形成される像の強度に対応した信号を出力する。
【００７９】
上記のような焦点検出画素３１１を直線状に多数配置し、各画素の一対の光電変換部１２、１３の出力を測距瞳９２および測距瞳９３に対応した出力グループにまとめることによって、測距瞳９２と測距瞳９３を各々通過する焦点検出光束が焦点検出画素列上に形成する一対の像の強度分布に関する情報が得られる。
【００８０】
（６） 上述した実施の形態は、次のように変形することもできる。図１６は撮像素子の変形例の回路構成を示す概念図である。図１０に示す撮像素子の回路構成概念図ではＣＭＯＳの回路構成例を示し、画像信号はローリングシャッター方式で読み出されている。これに対し図１６に示す撮像素子の回路構成概念図では、ＣＣＤの回路構成例を示し、画像信号は全画素同時露光方式で読み出される。図１６において、撮像素子は４画素×４画素のレイアウトになっており、焦点検出画素３１２、３１３は２画素が３行目の２列目と３列目に配置され、その他は撮像画素３１０である。撮像画素３１０ならびに焦点検出画素３１２および３１３は制御回路５５１の制御のもとに全画素同一タイミングで電荷蓄積され、蓄積された電荷は全画素同時に垂直レジスタ５５２に転送される。
【００８１】
垂直レジスタ５５２に転送された電荷は１行ごとに水平レジスタ５５３に転送される。水平レジスタ５５３に転送された１行分の画像信号は水平レジスタ５５３により出力回路５５４に転送され、外部出力される。１行分の水平レジスタ５５３の転送が終了すると、垂直レジスタ５５２が水平レジスタ方向に１行分転送され、水平レジスタ５５３は転送された１行分の画像信号を外部出力する。以上の動作を繰り返して４行分の画像信号を外部へ出力する。
【００８２】
図１７は、図１６に示す撮像素子の周期動作時の動作フローである。全画素において、電荷蓄積と垂直レジスタ５５２への転送は同時に行われる。いったん蓄積された電荷を垂直レジスタ５５２へ転送すると次回の電荷蓄積が可能になる。画像信号の読出し（外部出力）は４行目、３行目、２行目、１行目の順で行われ、この読出し動作が所定の周期で繰り返し行われる。読み出された撮像画素３１０の画像データは、液晶表示素子２１６での画像表示に利用される。また、焦点検出画素３１２、３１３の画像データは、過去複数回の読出し分とともに内部メモリに記憶され、加算後の画像データのレベルが焦点検出演算に適したレベルとなるように、最新の所定回数分の画像データが加算され、加算された画像データに基づいて焦点検出演算が行われる。
【００８３】
撮像素子をＣＭＯＳイメージセンサーで構成した場合には、ローリングシャッター読出し方式に起因した焦点検出画素の電荷蓄積タイミングの誤差によって、移動被写体に対する焦点検出や手ぶれ時の焦点検出の際に誤差が生ずる可能性がある。撮像素子をＣＣＤイメージセンサーで構成した場合には、焦点検出画素の電荷蓄積の同時性が保証されるので、ＣＭＯＳイメージセンサーで生じていたような焦点検出誤差をなくすことができる。
【００８４】
（７） 上述した実施の形態は、次のように変形することもできる。図１８は本変形例の撮像装置の構成を示す。図１に示す撮像装置では、撮像素子２１２を焦点検出用と撮像用に兼用した例を示したが、この変形例の撮像装置２０１Ａでは、図１８に示すように撮像専用の撮像素子２１２Ｂを設け、本発明に係わる撮像素子２１２Ｃは焦点検出と液晶表示素子２１６での画像表示とに用いる。図１８において、カメラボディ２０３には撮影光束を分離するハーフミラー２２１が配置され、透過側に撮像専用の撮像素子２１２Ｂが配置され、反射側に焦点検出兼画像表示に用いられる撮像素子２１２Ｃが配置される。撮影前は撮像素子２１２Ｃの出力に応じて、焦点検出および画像表示が行われる。レリーズ時は撮像専用の撮像素子２１２Ｂの出力に応じた画像データが生成される。
【００８５】
なお、ハーフミラー２２１を全反射ミラーとし、撮影時は撮影光路から退避するようにしてもよい。撮像素子２１２Ｂおよび撮像素子２１２Ｃの配置を逆にして、反射側に撮像専用の撮像素子２１２Ｂを配置し、透過側に焦点検出兼画像表示用の撮像素子２１２Ｃを配置してもよい。
【００８６】
（８） 上述した実施の形態では、マイクロレンズを用いた瞳分割方式による焦点検出動作を説明したが、本発明はこのような方式の焦点検出に限定されず、再結像瞳分割方式の焦点検出にも適用可能である。ここで、図１９を参照して再結像瞳分割方式の焦点検出動作を説明する。図１９には、交換レンズの光軸１９１、コンデンサレンズ１１０，１２０、絞りマスク１１１、１２１、絞り開口１１２，１１３、１２２，１２３、再結像レンズ１１４、１１５、１２４，１２５、焦点検出用のイメージセンサー（ＣＣＤ）１１６、１２６が示されている。
【００８７】
また、図１９には、焦点検出用光束１３２，１３３、１４２，１４３、交換レンズの予定結像面の前方へ距離ｄ５の位置に設定された射出瞳１９０が示されている。ここで、距離ｄ５は、コンデンサレンズ１１０，１２０の焦点距離、およびコンデンサレンズ１１０，１２０と絞り開口１１２，１１３、１２２，１２３との間の距離などに応じて決まる距離であって、以下では測距瞳距離と呼ぶ。コンデンサレンズ１１０，１２０により投影された絞り開口１１２，１２２の領域１９２を、以下では測距瞳と呼ぶ。同様に、コンデンサレンズ１１０，１２０により投影された絞り開口１１３，１２３の領域１９３を、以下では測距瞳と呼ぶ。コンデンサレンズ１１０、絞りマスク１１１、絞り開口１１２，１１３、再結像レンズ１１４、１１５およびイメージセンサー１１６が、一つの位置で焦点検出を行う再結像方式の瞳分割型位相差検出の焦点検出ユニットを構成する。
【００８８】
図１９においては、光軸１９１上にある焦点検出ユニットと光軸外にある焦点検出ユニットとを模式的に例示している。複数の焦点検出ユニットを組み合わせることによって、図２に示す３箇所の焦点検出位置１０１〜１０３において再結像方式の瞳分割位相差検出で焦点検出を行う焦点検出装置を実現することができる。
【００８９】
コンデンサレンズ１１０からなる焦点検出ユニットは、交換レンズの予定結像面近傍に配置されたコンデンサレンズ１１０と、その背後に配置されたイメージセンサー１１６と、一対の再結像レンズ１１４および１１５と、一対の再結像レンズの近傍（図では前面）に配置された一対の絞り開口１１２および１１３を有する絞りマスク１１とから構成される。一対の再結像レンズ１１４および１１５は、コンデンサレンズ１１０とイメージサンサ１１６との間に配置され、予定結像面近傍に結像された１次像をイメージセンサー１１６上に再結像する。
【００９０】
イメージセンサー１１６は、複数の光電変換部が直線に沿って密に配置されたラインセンサーであり、光電変換部の配置方向は一対の測距瞳の分割方向（＝絞り開口の並び方向）と一致させる。このイメージセンサー１１６からは、イメージセンサー１１６上に再結像された一対の像の強度分布に対応した情報が出力される。この情報に対して像ズレ検出演算処理（相関処理、位相差検出処理）を施すことによって、いわゆる瞳分割型位相差検出方式（再結像方式）で一対の像の像ズレ量が検出される。さらに、像ズレ量に所定の変換係数を乗ずることによって、予定結像面に対する現在の結像面の偏差（デフォーカス量）が算出される。
【００９１】
イメージセンサー１１６は再結像レンズ１１４、１１５により予定結像面上に投影されており、デフォーカス量（像ズレ量）の検出精度は、像ズレ量の検出ピッチ（再結像方式の場合は予定結像面上に投影された光電変換部の配列ピッチ）により決まる。
【００９２】
コンデンサレンズ１１０は、絞りマスク１１１の絞り開口１１２、１１３を射出瞳１９０上に領域１９２、１９３として投影している。領域１９２，１９３を測距瞳と呼ぶ。すなわち、イメージセンサー１１６上に再結像される一対の像は射出瞳１９０上の一対の測距瞳１９２，１９３を通過する光束によって形成される。射出瞳１９０上の一対の測距瞳１９２，１９３を通過する光束１３２、１３３を焦点検出用光束と呼ぶ。
【００９３】
このような再結像瞳分割方式においても、測距瞳の口径蝕によってイメージセンサー上に形成される一対の像のバランス崩れが生ずるので、イメージセンサーの出力信号を処理する際に本発明を適用することができる。
【００９４】
（９） 撮像装置としては、上述したようなカメラボディに交換レンズが装着される構成のデジタルスチルカメラに限定されることはない。例えばレンズ一体型のデジタルスチルカメラあるいはビデオカメラにも本発明を適用することができる。さらには、携帯電話などに内蔵される小型カメラモジュール、監視カメラやロボット用の視覚認識装置、車載カメラなどにも適用することができる。
【００９５】
（１０） 上述した実施の形態および変形例は、互いに組合せてもよい。
【符号の説明】
【００９６】
１０ マイクロレンズ、１１、１２、１３ 光電変換部、２９ 半導体回路基板、
７２、７３、８２、８３、２７２、２７３、２８２、２８３ 焦点検出光束、
９０ 射出瞳、９１ 光軸、９２、９３ 測距瞳、
１００ 撮影画面、１０１、１０２、１０３ 焦点検出エリア、
１１０、１２０ コンデンサレンズ、１１１、１２１ 絞り、
１１２、１１３、１２２、１２３ 絞り開口、
１１４、１１５、１２４、１２５ 再結像レンズ、
１１６、１２６ イメージセンサー、
１３２、１３３、１４２、１４３ 焦点検出光束、
１９０ 射出瞳、１９１ 光軸、１９２、１９３ 測距瞳、
２０１ デジタルスチルカメラ、２０２ 交換レンズ、２０３ カメラボディ、
２０４ マウント部、２０６ レンズ駆動制御装置、
２０８ ズーミング用レンズ、２０９ レンズ、２１０ フォーカシング用レンズ、
２１１ 絞り、２１２ 撮像素子、２１３ 電気接点、
２１４ ボディ駆動制御装置、２１５ 液晶表示素子駆動回路、２１６ 液晶表示素子、
２１７ 接眼レンズ、２１９ メモリカード、２２１ ハーフミラー、
３１０ 撮像画素、３１１、３１２、３１３ 焦点検出画素、
５０１ 垂直信号線、５０２ 信号保持部、５０３ 垂直走査回路、
５０４ 蓄積制御回路、５０５ 水平走査回路、５０６、５５４ 出力回路、
５１０ リセットＭＯＳトランジスタ、５１２ 行選択ＭＯＳトランジスタ、
５５１ 制御回路、５５２ 垂直レジスタ、５５３ 水平レジスタ
【技術分野】
【０００１】
本発明は撮像素子を含む撮像装置に関する。
【背景技術】
【０００２】
光学系の射出瞳の一対の領域を通る光束を受光する焦点検出用の画素が撮像面の一部に配列された撮像素子を光学系の予定焦点面上に配置する。これにより一対の光束が形成する一対の像に応じた一対の像信号を前記焦点検出用の画素から出力し、この一対の像信号間の像ズレ量（空間的な位相差）を検出することによって光学系の焦点調節状態を検出する撮像装置が知られている。
【０００３】
このような瞳分割型位相差検出の焦点検出方式において、光学系の射出瞳距離と撮像面上の像高との組み合わせによっては、上記一対の領域の大きさが等しくならず、上記一対の像の光量比が１にならない場合がある。このような場合には一対の像信号のレベルのバランスも崩れ、焦点検出精度が悪化してしまう。そのため、一対の像信号に光量比に応じたゲイン補正を行い、一対の像信号の信号レベルの一致度を向上させてから位相差検出演算を行う撮像装置が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１４５５４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら撮像装置において電荷蓄積型の撮像素子を用いた場合には、信号中のショットノイズは蓄積電荷量（電子数）の平方根に比例する。そのため、上記のように一対の像信号に光量比に応じたゲイン補正を行っただけでは、単に信号が増幅されるだけであって、ＳＮ比（信号対ノイズ比）自体は改善されない。すなわち一方の像の光量が他方の像に比較して小さい場合には、光量の小さな方の像信号のノイズの影響により焦点検出に誤差を生じるという問題があった。
【課題を解決するための手段】
【０００６】
（１） 請求項１に記載の発明による撮像装置は、光学系を通過する第１光束および第１光束よりも光量の小さな第２光束を、複数の画素によりそれぞれ受光し、第１信号および第１信号よりも信号レベルの小さい第２信号として蓄積する撮像素子と、撮像素子から第１信号および第２信号を読み出す読み出し手段と、読み出し手段により読み出された第２信号を記憶する記憶手段と、記憶手段により記憶されている第２信号の内の、読み出し手段によって最新に読み出された信号を含む複数の信号を加算する加算手段と、読み出し手段によって最新に読み出された第１信号と加算手段により加算された複数の信号とに基づき光学系の焦点調節状態を検出する焦点検出手段とを備えることを特徴とする。
（２） 請求項３に記載の発明による撮像装置は、光学系を通過する第１光束および第２光束を、複数の画素によりそれぞれ受光し、第１信号および第２信号として蓄積する撮像素子と、撮像素子から第１信号および第２信号を読み出す読み出し手段と、読み出し手段により読み出された第１信号および第２信号を記憶する記憶手段と、記憶手段により記憶されている第１信号および第２信号の内の、読み出し手段によって最新に読み出された信号を含む複数の信号をそれぞれ相異なる加算回数で加算する加算手段と、加算手段により加算された複数の信号に基づき光学系の焦点調節状態を検出する焦点検出手段とを備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、撮像装置における焦点検出誤差を低減できる。
【図面の簡単な説明】
【０００８】
【図１】第１の実施の形態のデジタルスチルカメラの構成を示す横断面図である。
【図２】交換レンズの撮影画面上における焦点検出位置を示す図である。
【図３】撮像素子の詳細な構成を示す正面図である。
【図４】マイクロレンズを用いた瞳分割型位相差検出方式の焦点検出光学系の構成を示す図である。
【図５】撮影光学系の射出瞳距離と焦点検出位置（像高）とに応じて一対の焦点検出光束に非対称なケラレが生じることを説明するための図である。
【図６】一対の焦点検出画素の信号波形のグラフである。
【図７】デジタルスチルカメラのボディ内部の詳細な構成を示す図である。
【図８】デジタルスチルカメラ２０１の動作を示すフローチャートである。
【図９】撮像素子の動作フロー概念図である。
【図１０】撮像素子の回路構成を示す図である。
【図１１】撮像画素および焦点検出画素の詳細な回路図である。
【図１２】撮像素子の動作タイミングチャートである。
【図１３】画像データの加算処理を説明するための図である。
【図１４】変形例の撮像素子の詳細な構成を示す正面図である。
【図１５】変形例の瞳分割型位相差検出方式の焦点検出光学系の構成を示す図である。
【図１６】撮像素子の変形例の回路構成を示す概念図である。
【図１７】撮像素子の動作フロー概念図である。
【図１８】変形例の撮像装置の構成を示す図である。
【図１９】再結像瞳分割方式の焦点検出動作を説明するための図である。
【発明を実施するための形態】
【０００９】
−−−第１の実施の形態−−−
本発明の第１の実施の形態による撮像装置をデジタルスチルカメラに適用した例を説明する。図１は本実施の形態の構成を示す。本実施の形態のデジタルスチルカメラ２０１は交換レンズ２０２とカメラボディ２０３とから構成され、交換レンズ２０２はマウント部２０４によりカメラボディ２０３に装着される。
【００１０】
交換レンズ２０２はレンズ駆動制御装置２０６、ズーミング用レンズ２０８、レンズ２０９、フォーカシング用レンズ２１０、絞り２１１などを備えている。レンズ駆動制御装置２０６は、マイクロコンピューターとメモリなどの周辺部品から構成される。レンズ駆動制御装置２０６は、フォーカシング用レンズ２１０と絞り２１１の駆動制御、絞り２１１、ズーミング用レンズ２０８およびフォーカシング用レンズ２１０の状態検出などを行う。レンズ駆動制御装置２０６は、後述するボディ駆動制御装置２１４に対するレンズ情報の送信とカメラ情報の受信などを行う。
【００１１】
カメラボディ２０３は撮像素子２１２、ボディ駆動制御装置２１４、液晶表示素子駆動回路２１５、液晶表示素子２１６、接眼レンズ２１７、メモリカード２１９などを備えている。撮像素子２１２には後述する画素が二次元状に配列されており、交換レンズ２０２の予定結像面に配置されて交換レンズ２０２により結像される被写体像を撮像する。なお、詳細を後述するが撮像素子２１２の所定の焦点検出位置には焦点検出用画素が配列される。
【００１２】
ボディ駆動制御装置２１４はマイクロコンピューターとメモリなどの周辺部品から構成される。ボディ駆動制御装置２１４は、撮像素子２１２からの画像信号の読み出し、画像信号の補正、交換レンズ２０２の焦点調節状態の検出、レンズ駆動制御装置２０６からのレンズ情報の受信とカメラ情報（デフォーカス量）の送信、デジタルスチルカメラ２０１全体の動作制御などを行う。ボディ駆動制御装置２１４およびレンズ駆動制御装置２０６は、マウント部２０４の電気接点部２１３を介して互いに通信を行い、各種情報の授受を行う。
【００１３】
液晶表示素子駆動回路２１５は、液晶ビューファインダー（ＥＶＦ：電気的ビューファインダー）の液晶表示素子２１６を駆動する。撮影者は接眼レンズ２１７を介して液晶表示素子２１６に表示された像を観察することができる。メモリカード２１９はカメラボディ２０３に脱着可能であり、画像信号を格納記憶する可搬記憶媒体である。
【００１４】
交換レンズ２０２を通過して撮像素子２１２上に形成された被写体像は、撮像素子２１２により光電変換され、その出力はボディ駆動制御装置２１４へ送られる。ボディ駆動制御装置２１４は、撮像素子２１２上の焦点検出画素の出力データに基づいて所定の焦点検出位置におけるデフォーカス量を算出し、このデフォーカス量をレンズ駆動制御装置２０６へ送る。また、ボディ駆動制御装置２１４は、撮像素子２１２の出力に基づいて生成した画像信号をメモリカード２１９に格納するとともに、画像信号を液晶表示素子駆動回路２１５へ送り、液晶表示素子２１６に画像として表示させる。
【００１５】
カメラボディ２０３には不図示の操作部材（シャッターボタン、焦点検出位置の設定部材など）が設けられている。これらの操作部材からの操作状態信号をボディ駆動制御装置２１４が検出し、ボディ駆動制御装置２１４は、検出結果に応じた動作（撮像動作、焦点検出位置の設定動作、画像処理動作）の制御を行う。
【００１６】
レンズ駆動制御装置２０６はレンズ情報をフォーカシング状態、ズーミング状態、絞り設定状態、絞り開放Ｆ値などに応じて変更する。具体的には、レンズ駆動制御装置２０６は、レンズ２０８、２１０の位置と絞り２１１の絞り位置とをモニターし、モニター情報に応じてレンズ情報を演算したり、あるいは予め用意されたルックアップテーブルからモニター情報に応じたレンズ情報を選択する。レンズ駆動制御装置２０６は、受信したデフォーカス量に基づいてレンズ駆動量を算出し、このレンズ駆動量に基づいてフォーカシング用レンズ２１０を不図示のモーター等の駆動源により合焦点へと駆動する。
【００１７】
図２は、交換レンズ２０２の撮影画面上における焦点検出位置を示す図であり、後述する撮像素子２１２上の焦点検出画素列が焦点検出の際に撮影画面上で像をサンプリングする領域（焦点検出エリア、焦点検出位置）の一例を示す。この例では、矩形の撮影画面１００上の中央および左右周辺の３カ所に焦点検出エリア１０１、１０２および１０３が配置される。長方形で示す焦点検出エリア１０１、１０２および１０３の長手方向に、焦点検出画素が直線的に配列される。
【００１８】
図３は撮像素子２１２の詳細な構成を示す正面図であり、撮像素子２１２上の上述した焦点検出エリア１０１近傍を拡大したものである。図において、縦横（画素配列の行および列）は図２の撮影画面１００の縦横に対応している。撮像素子２１２は撮像用の撮像画素３１０と焦点検出用の焦点検出画素３１２、３１３とから構成され、焦点検出エリア１０１には焦点検出画素３１２、３１３が交互に水平方向に配列されている。焦点検出画素３１２、３１３は、撮像画素３１０の青色フィルタＢを有する画素および緑色フィルタを有する画素Ｇが配置されるべき行に直線的に配置されている。なお図示を省略するが、焦点検出エリア１０２，１０３の近傍の構成も図３に示す構成と同様である。
【００１９】
図３に示すように、撮像画素３１０はマイクロレンズ１０、光電変換部１１、マイクロレンズ１０と光電変換部１１との間に配置される色フィルタから構成される。色フィルタは赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３種類からなり、それぞれの色に対応する分光感度を有している。撮像素子２１２には、このような各色フィルタを備えた撮像画素３１０がベイヤー配列されている。
【００２０】
図３に示すように、焦点検出画素３１２はマイクロレンズ１０と光電変換部１２とから構成される。光電変換部１２はマイクロレンズ１０の垂直２等分線に左辺を略接する長方形状である。また、図３に示すように、焦点検出画素３１３はマイクロレンズ１０と光電変換部１３とから構成される。光電変換部１３はマイクロレンズ１０の垂直２等分線に右辺を略接する長方形状である。光電変換部１２および１３はマイクロレンズ１０を重ね合わせて表示した場合、左右水平方向に並んでおり、マイクロレンズ１０の垂直２等分線に関して対称な形状をしている。焦点検出画素３１２および焦点検出画素３１３は、水平方向すなわち光電変換部１２および１３の並び方向に交互に配置される。
【００２１】
焦点検出画素３１２および３１３には光量をかせぐために色フィルタが配置されていない。そのため、焦点検出画素３１２および３１３は光電変換を行うフォトダイオードの分光感度と、赤外カットフィルタ（不図示）の分光感度特性とを総合した分光感度特性を示す。すなわち焦点検出画素３１２および３１３は、緑画素、赤画素および青画素の分光感度特性を加算したような分光感度特性を示す。高い感度を示す光波長領域は、緑画素、赤画素および青画素の各々において各色フィルターが高い感度を示す光波長領域を包括している。
【００２２】
撮像用画素３１０の光電変換部１１は、マイクロレンズ１０により最も明るい交換レンズの射出瞳（例えばＦ１．０）を通過する光束をすべて受光するような形状に設計される。一方、焦点検出画素３１２、３１３の光電変換部１２、１３は、マイクロレンズ１０により交換レンズの射出瞳の所定の領域（例えばＦ２．８）を通過する光束をすべて受光するような形状に設計される。
【００２３】
図４は、マイクロレンズを用いた瞳分割型位相差検出方式の焦点検出光学系の構成を示す。焦点検出画素３１２および３１３において、光電変換部１２および１３の前方にマイクロレンズ１０が配置され、マイクロレンズ１０により光電変換部１２および１３が前方に投影される。光電変換部１２および１３は半導体回路基板２９上に形成されるとともに、その上にマイクロレンズ１０が半導体イメージセンサーの製造工程により一体的かつ固定的に形成される。光電変換部１２はマイクロレンズ１０の光軸の片側に配置される。光電変換部１３はマイクロレンズ１０の光軸の片側で、かつ光電変換部１２の反対側に配置される。図４には、交換レンズの光軸９１、マイクロレンズ１０ａ、１０ｂ、１０ｃおよび１０ｄ、光電変換部１２ａ、１３ａ、１２ｂおよび１３ｂ、焦点検出画素３１２ａ、３１３ａ、３１２ｂおよび３１３ｂ、ならびに焦点検出光束７２，７３、８２および８３が表されている。図４において、射出瞳９０は、図１の交換レンズ２０２の予定結像面に配置されたマイクロレンズ１０ａ、１０ｂ、１０ｃおよび１０ｄの前方へ距離ｄの位置に設定されている。距離ｄは、マイクロレンズ１０ａ、１０ｂ、１０ｃおよび１０ｄの曲率および屈折率、ならびにマイクロレンズ１０ａ、１０ｂ、１０ｃおよび１０ｄとそれぞれに対応する光電変換部１２ａ、１３ａ、１２ｂおよび１３ｂとの間の距離などに応じて決まる。この距離を以下では測距瞳距離と呼ぶ。
【００２４】
また、領域９２は、マイクロレンズ１０ａ、１０ｃにより光電変換部１２ａ、１２ｂが投影されて定まる領域であり、以下では測距瞳と呼ぶ。領域９３は、マイクロレンズ１０ｂ、１０ｄにより光電変換部１３ａ、１３ｂが投影されて定まる領域であり、以下では測距瞳と呼ぶ。なお、図ではわかりやすくするために測距瞳９２、９３を楕円領域で示しているが、実際は光電変換部１２ａ、１３ａ、１２ｂおよび１３ｂの形状が拡大投影された形状となる。
【００２５】
図４では、隣接する４画素（画素３１２ａ、３１２ｂ、３１３ａ、３１３ｂ）を模式的に例示するが、その他の画素においても光電変換部はそれぞれ対応した測距瞳から各マイクロレンズに到来する光束を受光する。なお、焦点検出画素の配列方向は一対の測距瞳の並び方向、すなわち一対の光電変換部の並び方向と一致させる。
【００２６】
マイクロレンズ１０ａ〜１０ｄは交換レンズの予定結像面近傍に配置されている。マイクロレンズ１０ａ〜１０ｄによりその背後に配置された光電変換部１２ａ、１２ｂ、１３ａ、１３ｂの形状が、マイクロレンズ１０ａ〜１０ｄから測距瞳距離ｄだけ離間した射出瞳９０上に投影され、その投影形状は測距瞳９２，９３を形成する。すなわち、投影距離ｄにある射出瞳９０上で各画素の光電変換部の投影形状（測距瞳９２，９３）が一致するように、各画素における光電変換部の投影方向が決定されている。
【００２７】
光電変換部１２ａは測距瞳９２を通過し、マイクロレンズ１０ａに向かう光束７２によりマイクロレンズ１０ａ上に形成される像の強度に対応した信号を出力する。光電変換部１２ｂは測距瞳９２を通過し、マイクロレンズ１０ｃに向かう光束８２によりマイクロレンズ１０ｃ上に形成される像の強度に対応した信号を出力する。光電変換部１３ａは測距瞳９３を通過し、マイクロレンズ１０ｂに向かう光束７３によりマイクロレンズ１０ｂ上に形成される像の強度に対応した信号を出力する。光電変換部１３ｂは測距瞳９２を通過し、マイクロレンズ１０ｄに向かう光束８３によりマイクロレンズ１０ｄ上に形成される像の強度に対応した信号を出力する。
【００２８】
上述したような２種類の焦点検出画素を直線状に多数配置し、各画素の光電変換部の出力を測距瞳９２および測距瞳９３に対応した一対の出力グループにまとめることによって、測距瞳９２および測距瞳９３を各々通過する一対の焦点検出光束が画素列上に形成する一対の像の強度分布に関する情報が得られる。この情報に対して像ズレ検出演算処理（相関演算処理、位相差検出処理）を施すことによって、いわゆる瞳分割型位相差検出方式で一対の像の像ズレ量が検出される。
【００２９】
さらに、像ズレ量に一対の測距瞳の重心間隔に応じた変換演算を行うことによって、予定結像面に対する現在の結像面（予定結像面上のマイクロレンズアレイの位置に対応した焦点検出位置における結像面）の偏差（デフォーカス量）が算出される。なお、上述した説明では測距瞳は絞り開口によって制限されていない状態として説明を行ったが、実際には測距瞳は絞り開口によって制限された形状と大きさになる。
【００３０】
図５は撮影光学系の射出瞳距離と焦点検出位置（像高）とに応じて一対の焦点検出光束に非対称なケラレが生じることを説明するための図である。また図６は縦軸に焦点検出画素の信号値、横軸に焦点検出画素配列上の位置をとった場合の一対の焦点検出画素の信号波形（実線および破線）のグラフである。
【００３１】
図５において、撮影光軸９１上にある焦点検出エリア１０１に属する焦点検出画素３１２，３１３については、撮影光学系の射出瞳の位置が測距瞳距離ｄ以外の位置にあっても、焦点検出画素３１２，３１３が受光する焦点検出光束２７２、２７３は光軸９１に対して射出瞳により対称に制限される。そのため、焦点検出画素３１２，３１３が出力する一対の像信号の信号レベルは図６（ａ）に示すように揃っている。
【００３２】
一方画面周辺の像高が高い位置に配置された焦点検出エリア１０２に属する焦点検出画素３１２，３１３については、撮影光学系の射出瞳の距離によって焦点検出画素３１２，３１３が受光する焦点検出光束２８２、２８３の射出瞳による制限のされ方が異なる。そのため、焦点検出画素３１２，３１３が出力する一対の像信号の信号レベルは図６（ｂ）に示すように異なってしまう。
【００３３】
例えば撮影光学系の射出瞳が測距瞳距離ｄより短い距離ｄ１にあった場合、焦点検出光束２８３より焦点検出光束２８２の方がケラレが少ないので、図６（ｂ）の実線（受光光量が少ない）が焦点検出画素３１３の信号となり、破線（受光光量が多い）が焦点検出画素３１２の信号となる。
【００３４】
反対に撮影光学系の射出瞳が測距瞳距離ｄより長い距離ｄ２にあった場合、焦点検出光束２８２より焦点検出光束２８３の方がケラレが少ないので、図６（ｂ）の実線（受光光量が少ない）が焦点検出画素３１２の信号となり、破線（受光光量が多い）が焦点検出画素３１３の信号となる。
【００３５】
光軸に対して焦点検出エリア１０２と反対側にある焦点検出エリア１０３に関しては、焦点検出エリア１０２と一対の焦点検出光束のケラレ方が逆になる。すなわち撮影光学系の射出瞳が測距瞳距離ｄより短い距離ｄ１にあった場合、焦点検出画素３１３の信号レベルが焦点検出画素３１２の信号レベルに比較して小さくなり、撮影光学系の射出瞳が測距瞳距離ｄより長い距離ｄ２にあった場合、焦点検出画素３１２の信号レベルが焦点検出画素３１３の信号レベルに比較して小さくなる。
【００３６】
図７は、図１に示すデジタルスチルカメラ２０１のボディ内部の詳細な構成を示す図である。図１に示すボディ駆動制御装置２１４は、撮像素子２１２の駆動制御を行う撮像素子駆動制御回路２１４ａ、撮像素子２１２が出力する画像信号を画像データにＡＤ変換するＡＤ変換回路２１４ｂ、画像データを一時的に保持する内部メモリ２１４ｃ、ならびにカメラボディの全体的な動作制御、レンズ駆動制御装置２０６との通信および焦点検出演算を行うボディＣＰＵ２１４ｄから構成される。
【００３７】
撮像素子駆動制御回路２１４ａは、撮像素子２１２の露光時間の制御、画像信号の読出し制御を行うとともに、画像信号の読出しに同期させてＡＤ変換回路２１４ｂを動作させ、内部メモリ２１４ｃに画像データを格納させる。また、液晶表示素子駆動回路２１５を制御して内部メモリ２１４ｃに周期的に格納される画像データを液晶表示素子２１６に表示させ、その表示を周期的にリフレッシュさせる。撮像素子駆動制御回路２１４ａはボディＣＰＵ２１４ｄに対し、内部メモリ２１４ｃに画像データが格納されるタイミング信号および焦点検出画素の画像データの有効または無効を指定する情報を送る。なお、焦点検出画素の画像データの有効または無効の判定は、焦点検出画素において所定の蓄積時間で蓄積した画像データを有効と判定する。
【００３８】
ボディＣＰＵ２１４ｄは撮像素子駆動制御回路２１４ａに対し、撮像素子２１２を周期的に動作させるか、単発的に動作させるかなどの動作制御情報、撮像素子２１２の撮像画素および焦点検出画素の露光時間に関する情報（不図示の測光センサーの出力に応じて決定される）を送る。撮像素子駆動制御回路２１４ａはそれらの情報を受け、撮像素子２１２の動作形態を変更して画像信号の読出しを行うとともに、撮像画素および焦点検出画素の露光時間および画像信号の増幅度を制御する。
【００３９】
ボディＣＰＵ２１４ｄは、内部メモリ２１４ｃに格納された焦点検出画素の画像データが有効である場合にはこれを読み出し、後述する焦点検出演算を行って焦点検出を行う。また、シャッターレリーズ部材（不図示）が操作されると、撮像素子駆動制御回路２１４ａを制御して撮像素子２１２に撮像動作を行わせ、画像データを内部メモリ２１４ｃに取り込ませるとともに、この画像データに対して補正やフォーマット変換を施してメモリカード２１９に格納させる。
【００４０】
撮像素子駆動制御回路２１４ａは、ボディＣＰＵ２１４ｄの制御にしたがって、シャッターレリーズがなされていない期間は、撮像素子２１２を周期動作（例えば３０画面／秒または６０画面／秒）させて電気的にファインダー表示するとともに、撮像時は撮像素子２１２を単発動作させて撮像動作を行わせる。したがって、非撮像時においてボディＣＰＵ２１４ｄは内部メモリ２１４ｃに有効な焦点検出画素の画像データが格納されるのを待って焦点検出動作を行うとともに、ファインダー表示は周期的にリフレッシュされることになる。
【００４１】
図８は、図１に示すデジタルスチルカメラ２０１の動作を示すフローチャートである。ボディＣＰＵ２１４ｄはカメラの電源が投入されるとこの動作を繰り返し実行する。ステップＳ１００で電源がオンされるとステップＳ１１０へ進み、撮像素子駆動制御回路２１４ａに対し指令を出し、撮像素子２１２に周期動作を開始させる。
【００４２】
続くステップＳ１２０では、測光センサー（不図示）により測光した被写界輝度に応じて自動的に決定された表示用絞り値、すなわち周期的に画像信号を読み出した場合に画像信号が表示に適したレベルになるような絞り値、あるいは操作部材（不図示）によりユーザーが手動で設定した撮影絞り値に応じた絞り制御情報をレンズ駆動制御装置２０６へ送り、絞り開口径を撮影絞り値に設定する。また、撮影絞り値、被写界輝度、最新動作時の画像データのレベル（平均値）に応じて撮像画素および焦点検出画素の露光時間および信号増幅度を更新し、更新された情報を撮像素子駆動制御回路２１４ａへ送る。なお、電源オン直後は最新動作時の画像データのレベル（平均値）がないので、予め定められたレベル値を用いる。
【００４３】
ステップＳ１３０で、最新の焦点検出画素の画素データが内部メモリ２１４ｃに格納された旨の通知が撮像素子駆動制御回路２１４ａから発せられるのを待機する。ステップＳ１４０において内部メモリ２１４ｃから焦点検出画素の画像データを読み出し、ユーザーにより指定された焦点検出エリアの一対の焦点検出画素のデータの平均値の比（平均値大／平均値小）を算出する。なお、平均値の代わりに最大値を用いてもよい。該比が所定閾値（例えば１．４）以上であるかを調べ、比が所定閾値を越えていない場合はステップＳ１４１の加算処理をスキップしてステップＳ１５０に進む。比が所定閾値を越えている場合（すなわちケラレが大きく、光量比バランスが大きく崩れている）は、ステップＳ１４１にて加算処理（詳細後述）を行って一つのデータの信号レベルを揃えた後に、ステップＳ１５０に進む。ステップＳ１５０では、ユーザーにより指定された焦点検出エリアの一対の焦点検出画素のデータに基づいて、特開２００８−８５７３８号公報に開示されている像ズレ検出演算処理（相関演算処理）を行い、像ズレ量を演算し、さらにデフォーカス量を算出する。
【００４４】
ステップＳ１６０で合焦近傍か否か、すなわち算出されたデフォーカス量の絶対値が所定値以内か否かを調べる。合焦近傍でないと判定された場合はステップＳ１７０へ進み、デフォーカス量をレンズ駆動制御装置２０６へ送信し、交換レンズ２０２のフォーカシングレンズ２１０を合焦位置に駆動させる。その後、ステップＳ１２０へ戻り、上記動作を繰り返す。なお、焦点検出不能な場合もこのステップに分岐し、レンズ駆動制御装置２０６へスキャン駆動命令を送信し、交換レンズ２０２のフォーカシングレンズ２１０を無限から至近の間でスキャン駆動させ、ステップＳ１２０へ戻って上記動作を繰り返す。
【００４５】
一方、合焦近傍であると判定した場合はステップＳ１８０へ進み、シャッターボタン（不図示）の操作によりシャッターレリーズがなされたか否かを判定し、なされていないと判定された場合は、ステップＳ１２０へ戻って上記動作を繰り返す。シャッターレリーズがなされたと判定された場合はステップＳ１９０へ進み、レンズ駆動制御装置２０６へ絞り制御情報を送信し、交換レンズ２０２の絞り値を撮影絞り値にする。撮影絞り値、被写界輝度、最新動作時の画像データのレベル（平均値）に応じて、撮像画素と焦点検出画素で同一の露光時間および信号増幅度を決定し、決定された情報を撮像素子駆動制御回路２１４ａへ送る。
【００４６】
ステップＳ２００において、絞り制御が終了した時点で撮像素子２１２に単発の撮像動作を行わせ、内部メモリ２１４ｃから撮像素子２１２の撮像画素および全ての焦点検出画素から画像データを読み出す。ステップＳ２１０では焦点検出画素列の各画素位置の画素データを焦点検出画素のデータおよび周囲の撮像画素のデータに基づいて補間する。ステップＳ２２０では撮像画素のデータおよび補間されたデータからなる画像データをメモリカード２１９に保存し、ステップＳ１１０へ戻って上記動作を繰り返す。
【００４７】
次に、本実施の形態の撮像素子の構成および動作について詳細に説明する。図９は撮像素子２１２の動作フロー概念図である。図１０に示すように、簡単のため撮像素子２１２は４画素×４画素（４行４列）とし、２個の焦点検出画素が３行目の２列目および３列目に１個ずつ配置されるものとして説明する。図９は周期動作時の動作フローである。撮像素子２１２はＣＭＯＳイメージセンサーで、撮像画素からの画像信号の読出しはローリングシャッター方式で行われる。各行において、撮像画素の光電変換部の電荷蓄積（露光）とそれに続く読出しとがシーケンシャルに交互に行われる。撮像画素の画像信号の読出しは１行目、２行目、３行目、４行目の順で行われ、この読出し動作が所定の周期で繰り返し行われる。
【００４８】
読み出された撮像画素の画像データは液晶表示素子２１６への画像表示に利用される。また、読み出された焦点検出画素の画像データは内部メモリ２１４ｃに過去複数回の読出し分記憶され、加算後の画像データのレベルが焦点検出演算に適したレベルとなるように、最新の所定回数分の画像データが加算され、加算された画像データに基づいて焦点検出演算が行われる。
【００４９】
このような動作シーケンスを行うことにより、液晶表示素子２１６のリフレッシュ周期を一定に保ちながら、確実に焦点検出を行うことが可能になる。なお、撮像画素については、低輝度時の電荷蓄積時間は読出し周期が維持できるまでの時間で制限し、不足分は画像信号の増幅度を調整することによりカバーする。
【００５０】
図１０は撮像素子２１２の回路構成を示す図である。図９に示す動作フローに対応した４画素×４画素の撮像素子の回路構成であり、２個の焦点検出画素３１２、３１３が３行目の２列目と３列目に配置され、その他は撮像画素３１０である。信号保持部５０２は１行分の画素の画像信号を一時的保持するバッファであり、垂直信号線５０１に出力されている画像信号を垂直走査回路５０３が発する制御信号ΦＨにしたがってラッチする。
【００５１】
撮像画素３１０および焦点検出画素３１２、３１３の電荷蓄積は、蓄積制御回路５０４が発する制御信号（ΦＲ１〜ΦＲ４）により行ごとに独立に制御される。撮像画素３１０および焦点検出画素３１２、３１３からの画像信号の出力は、垂直走査回路５０３が発する制御信号（ΦＳ１〜ΦＳ４）により行ごとに独立に制御される。制御信号により選択された画素の画像信号は、垂直信号線５０１に出力される。信号保持部５０２に保持された画像信号は、水平走査回路５０５が発する制御信号（ΦＶ１〜ΦＶ４）により順次出力回路５０６へ転送され、出力回路５０６で設定された増幅度で増幅されて外部に出力される。
【００５２】
図１１は、図１７に示す撮像画素および焦点検出画素の詳細な回路図である。光電変換部はフォトダイオード（ＰＤ）で構成される。ＰＤに蓄積された電荷は、浮遊拡散層（フローティングディフュージョン：ＦＤ）に蓄積される。ＦＤは増幅ＭＯＳトランジスタ（ＡＭＰ）のゲートに接続されており、ＡＭＰはＦＤに蓄積された電荷の量に応じた信号を発生する。ＦＤ部はリセットＭＯＳトランジスタ５１０を介して電源電圧Ｖｄｄに接続されている。制御信号ΦＲｎ（ΦＲ１〜ΦＲ４、ΦＲａ）によりリセットＭＯＳトランジスタ５１０がオンすると、ＦＤおよびＰＤに溜まった電荷がクリアされリセット状態になる。
【００５３】
ＡＭＰの出力は行選択ＭＯＳトランジスタ５１２を介して垂直出力線５０１に接続されており、制御信号ΦＳｎ（ΦＳ１〜ΦＳ４）により行選択ＭＯＳトランジスタ５１２がオンすると、ＡＭＰの出力が垂直出力線５０１に出力される。なお、図１１に示す回路構成においては、画像信号の読み出しの際のリセットにより画像信号が破壊される。
【００５４】
図１２は、図１０に示す撮像素子２１２の動作タイミングチャートである。１行目の撮像画素３１０は垂直走査回路５０３が発する制御信号ΦＳ１により選択され、選択された撮像画素３１０の画像信号は垂直信号線５０１に出力される。制御信号ΦＳ１と同期して発せられる制御信号ΦＨにより垂直信号線５０１に出力された１行目の画像信号は、信号保持部５０２に一時的に保持される。信号保持部５０２に保持された１行目の撮像画素３１０の画像信号は、水平走査回路５０５から順次発せられる制御信号ΦＶ１〜ΦＶ４にしたがって出力回路５０６へ転送され、出力回路５０６で設定された増幅度で増幅された外部に出力される。
【００５５】
１行目の撮像画素３１０の画像信号の信号保持部５０２への転送が終了した時点で、蓄積制御回路５０４より発せられる制御信号ΦＲ１により１行目の撮像画素３１０がリセットされ、１行目の撮像画素３１０の次の電荷蓄積が開始される。１行目の撮像画素３１０の画像信号の出力回路５０６からの出力が終了した時点で、２行目の撮像画素３１０は垂直走査回路５０３が発する制御信号ΦＳ２により選択され、選択された撮像画素３１０の画像信号は垂直信号線５０１に出力される。以下、同様にして２行目の撮像画素３１０の画像信号の保持および撮像画素３１０のリセット、画像信号の出力が行われる。
【００５６】
続いて３行目の撮像画素３１０と焦点検出画素３１２、３１３の画像信号の保持および撮像画素のリセット、撮像画素３１０と焦点検出画素３１２、３１３の画像信号の出力が行われる。続いて４行目の撮像画素３１０の画像信号の保持および撮像画素のリセット、撮像画素３１０の画像信号の出力が行われる。その後再び１行目に戻り、上記動作が繰り返される。
【００５７】
１行目の撮像画素３１０の画像信号の電荷保持タイミングから、次回の１行目の撮像画素３１０の画像信号の電荷保持タイミングまでの周期Ｔｓは、一定に制御される。撮像画素３１０および焦点検出画素３１２、３１３の電荷蓄積時間Ｔｉ（露光時間）は、画素のリセットタイミングから画像信号の保持タイミングまでの時間となる。制御信号ΦＲ１〜ΦＲ４のパルス幅を変更することによって、撮像画素３１０および焦点検出画素３１２、３１３の電荷蓄積時間Ｔｉ（露光時間）を調整することが可能である。
【００５８】
図１３により、図８のステップＳ１４１にて行われる画像データの加算処理を説明する。図１３において、上部に画像信号の読出しの時間経過を示す。画像信号の読出しは所定周期Ｔｓで繰り返し行われ、読み出された最新の画像データにより表示がリフレッシュされる。ｎは最新の読出しサイクルを表し、ｎ−１は前回の読出しサイクル、ｎ−２は前々回の読出しサイクルを表す。各回に読み出された画像信号は内部メモリ２１４ｃ（図７参照）にスタックして記憶される。ｎ回目の画像信号の読出しで読み出された焦点検出画素の画像信号は、焦点検出画素信号ｎとして記憶される。焦点検出画素信号ｎが内部メモリ２１４ｃに格納された時点において、加算処理が可能になる。
【００５９】
図６（ｂ）、（ｃ）を参照して加算処理の様子を説明する。図６（ｂ）において焦点検出画素３１２の信号レベル（平均値Ｍａ（０））が低い（実線）とし、この信号波形が図６（ｃ）の一番下の画素信号Ａ１である。（ｉ）まず、最新の焦点検出画素３１２の画素信号ｎと前回の焦点検出画素３１２の画素信号ｎ−１とを互いに加算する。加算後の画素信号Ａ２の平均値Ｍａ（１）で焦点検出画素３１３の画素信号ｎの平均値Ｍｂを除算する。除算値（比）が所定閾値（例えば１）を越えているか否かを調べ、越えていない場合は加算信号Ａ２を焦点検出画素３１２の画素信号として採用する。（ｉｉ）超えている場合は、さらに前々回の焦点検出画素３１２の画素信号ｎ−２を加算信号Ａ２に加算する。加算後の画素信号Ａ３の平均値Ｍａ（２）で焦点検出画素３１２の画素信号ｎの平均値Ｍｂを除算する。除算値（比）が所定閾値を越えているか否かを調べる。（３）除算値（比）が所定閾値を越えていない場合は、上記加算処理を、加算した焦点検出画素３１２の画素信号の平均値Ｍａ（ｋ）で焦点検出画素３１３の画素信号ｎの平均値Ｍｂを除算した値が所定閾値を下回るまで繰り返す。図６（ｃ）においては、焦点検出画素３１２の画素信号ｎ−３まで加算した加算信号Ａ４において上記条件を満足し、加算信号Ａ４の平均値Ｍａ（３）と焦点検出画素３１３の画素信号ｎの平均値Ｍｂとの差が少なくなる。
【００６０】
なお、所定回数過去の画素信号と加算しても、加算した焦点検出画素３１２の画素信号の平均値Ｍａ（ｋ）で焦点検出画素３１３の画素信号ｎの平均値Ｍｂを除算した値が所定閾値を下回らない場合は加算処理を打ち切り、その時の加算画素信号を焦点検出画素３１３の画素信号として採用する。また、平均値Ｍａ（０）が平均値Ｍｂに比べて極端に低いような場合は、複数回過去に遡って、焦点検出画素３１２の画素信号複数回分を加算した加算信号を用いて、上述した除算値（比）が所定閾値（例えば１）を越えているか否かを判定しても良い。あるいは、平均値の代わりに、最大値や、最大値と最小値との差（コントラスト）を用いてもよい。
【００６１】
焦点検出画素３１３の信号レベル（平均値）が焦点検出画素３１２の信号レベル（平均値）に比較して低い場合には、焦点検出画素３１３の画素信号に対して上述の加算処理を施す。
【００６２】
以上のような加算処理を行うことは、擬似的に電荷蓄積時間を延長したことと等価であり、加算信号は増加した電荷量（電子数）を反映したものとなる。従って加算信号のＳＮ比（信号対ノイズ比）は改善され、単に信号レベルが小さな焦点検出画素信号を後処理で増幅する場合に比較して焦点検出誤差を小さくすることができる。
【００６３】
−−−変形例−−−
（１） 上述した実施の形態の加算処理においては過去に記憶した焦点検出画素信号をそのまま加算していたが、このような加算処理では加算信号の平均値をもう一方の焦点検出画素信号の平均値に厳密に揃えることはできない場合が考えられる。
【００６４】
そこで加算信号の平均値がもう一方の焦点検出画素信号の平均値を下回っている場合には上述の加算処理を継続するとともに、加算後の加算信号の平均値がもう一方の焦点検出画素信号の平均値を上回ることが予想される場合は、最後に加算する過去の焦点検出画素信号に１以下の係数を乗じて加算することにより、加算信号の平均値をもう一方の焦点検出画素信号の平均値に厳密に揃えることが可能になる。
【００６５】
（２） 上述した実施の形態の加算処理においては平均値が比較的小さな焦点検出画素信号にのみ加算処理を行っていたが、本発明はこれに限定されることはなく、もう一方の焦点検出画素信号に対しても加算処理を施す場合（一対の焦点検出画素に対して加算回数が異なる）においても適用することができる。
【００６６】
例えば低輝度（高感度＝信号増幅率が大きい）において図６（ｂ）のような信号波形が得られた場合、加算処理により実線の信号波形の信号レベルを破線の信号波形の信号レベルに揃えるだけではＳＮ比が不足してしまう場合がある。そのため、実線の信号の加算処理と同時に破線の信号の加算処理も行うことにより、ＳＮ比の高い信号レベルが揃った一対の焦点検出画素信号を得ることができる。この場合、元の一対の焦点検出画素信号の信号レベルに相違があるので、一対の焦点検出画素信号において加算回数が異なることになる。
【００６７】
（３） 上述した実施の形態の加算処理においては、加算信号の平均値ともう一方の焦点検出画素信号の平均値との関係に応じて加算処理の継続または打ち切りの判定をしている。しかし、焦点検出画素信号の他の特性（例えば最大値、コントラストなど）に応じて加算処理の継続または打ち切りの判定をするようにしてもかまわない。
【００６８】
（４） 上述したように加算処理を行うことは、一対の焦点検出画素の電荷蓄積時間を異ならせたことに相当するので、被写体が移動している場合や手ぶれが生じている場合には焦点検出誤差につながる虞がある。
【００６９】
そこで被写体の動きを検出する動き検出装置により検出された動き量が所定閾値を越えた場合には加算処理を禁止するようにしたり、撮像装置のブレを検出するブレ検出装置により検出されたブレ量が所定閾値を越えた場合には加算処理を禁止するようにしてもよい。動き検出装置は、ボディ駆動制御装置２１４が、例えば、連続する複数の画像フレームに基づき画像処理により被写体の動きを検出することによって、あるいは過去の連続する焦点検出結果、すなわちデフォーカス量に基づいて被写体の動きを検出することによって実現される。ブレ検出装置は、デジタルスチルカメラ２０１に加速度センサーを設け、ボディ駆動制御装置２１４が、その加速度センサーから入力される信号に基づいてブレ検出を行うことによって実現される。
【００７０】
高輝度（低感度＝信号増幅率が小さい）時には信号レベルが小さくてもＳＮ比が高い。そのため、輝度検出装置（例えば、外部測光センサー）により検出された輝度が所定輝度以上の場合には加算処理を禁止するようにしたり、信号増幅率が所定値以下の場合には加算処理を禁止するようにしてもよい。
【００７１】
また動きのある被写体を撮影するためのカメラの撮影モード（例えば、スポーツモードやシャッター速度優先モードなど）に応じて加算処理を禁止するようにしてもよい。
【００７２】
また焦点検出画素信号のＳＮ比の低下による焦点検出誤差の重要性は合焦近傍において高まるので、焦点調節状態が合焦近傍（デフォーカス量の絶対値が所定閾値以下）の場合のみ加算処理許可するようにしてもよい。
【００７３】
また上述のように所定条件に応じて加算処理を禁止する代わりに、所定条件に応じて加算処理の加算回数の上限を制限するようにしてもよい。加算処理であまりに古い画素信号が加算対象になると、加算処理の打ち切りが判定される前に、加算対象の画素信号が表す被写体が動いてしまっている可能性があるためである。
【００７４】
（５） 上述した実施の形態は、次のように変形することもできる。図１４は本変形例の撮像素子２１２Ａの詳細な構成を示す正面図である。図３に示す撮像素子２１２には、一対の焦点検出画素３１２、３１３が配列されていた。それらの焦点検出画素の各々は、１つのマイクロレンズのもとに一対の光電変換部の一方または他方のみを有する。これに対し図１４に示す撮像素子２１２Ａでは、焦点検出画素が１つのマイクロレンズのもとに一対の光電変換部を両方とも有する。図１４は撮像素子２１２Ａ上のひとつの焦点検出エリア近傍を拡大した図であり、縦横は図２に示す撮像画面の縦横と対応している。この変形例の撮像素子２１２Ａは、撮像用の撮像画素３１０と焦点検出用の焦点検出画素３１１とから構成される。
【００７５】
焦点検出画素３１１はマイクロレンズ１０、一対の光電変換部１２，１３から構成される。光電変換部１２、１３は、マイクロレンズ１０により交換レンズの射出瞳の所定の領域（たとえばＦ２．８）を通過する光束をすべて受光するような形状に設計される。
【００７６】
図１５は、図１４に示す焦点検出画素３１１を用いた瞳分割方式の焦点検出方法を説明する図である。なお、基本原理は図３に示す一対の焦点検出画素３１２、３１３を用いた瞳分割方式の焦点検出方法と同様である。また、図１５では、光軸９１上にある焦点検出画素（マイクロレンズ１０ａと一対の光電変換部１２ａ、１３ａとからなる）と、隣接する焦点検出画素（マイクロレンズ１０ｂと一対の光電変換部１２ｂ、１３ｂとからなる）とを模式的に例示するが、その他の焦点検出画素においても一対の光電変換部はそれぞれ一対の測距瞳９２，９３から各マイクロレンズに到来する光束を受光する。焦点検出画素の配列方向は一対の測距瞳９２，９３の並び方向、すなわち一対の光電変換部の並び方向と一致させる。
【００７７】
マイクロレンズ１０ａ、１０ｂは光学系の予定結像面近傍に配置されており、光軸９１上に配置されたマイクロレンズ１０ａによりその背後に配置された一対の光電変換部１２ａ、１３ａの形状が、マイクロレンズ１０ａ、１０ｂから投影距離ｄだけ離間した射出瞳９０上に投影され、その投影形状は測距瞳９２，９３を形成する。光軸９１から離間して配置されたマイクロレンズ１０ｂによりその背後に配置された一対の光電変換部１２ｂ、１３ｂの形状が、投影距離ｄだけ離間した射出瞳９０上に投影され、その投影形状は測距瞳９２，９３を形成する。すなわち、投影距離ｄにある射出瞳９０上で各焦点検出画素の光電変換部の投影形状（測距瞳９２，９３）が一致するように各画素の投影方向が決定されている。
【００７８】
一対の光電変換部１２ａおよび１３ａならびに一対の光電変換部１２ｂおよび１３ｂは、半導体回路基板２９上に形成される。光電変換部１２ａは測距瞳９２を通過し、マイクロレンズ１０ａに向かう焦点検出光束７２によってマイクロレンズ５０上に形成される像の強度に対応した信号を出力する。光電変換部１３ａは測距瞳９３を通過し、マイクロレンズ１０ａに向かう焦点検出光束７３によってマイクロレンズ１０ａ上に形成される像の強度に対応した信号を出力する。光電変換部１２ｂは測距瞳９２を通過し、マイクロレンズ１０ｂに向かう焦点検出光束８２によってマイクロレンズ１０ｂ上に形成される像の強度に対応した信号を出力する。光電変換部１３ｂは測距瞳９３を通過し、マイクロレンズ
１０ｂに向う焦点検出光束８３によってマイクロレンズ１０ｂ上に形成される像の強度に対応した信号を出力する。
【００７９】
上記のような焦点検出画素３１１を直線状に多数配置し、各画素の一対の光電変換部１２、１３の出力を測距瞳９２および測距瞳９３に対応した出力グループにまとめることによって、測距瞳９２と測距瞳９３を各々通過する焦点検出光束が焦点検出画素列上に形成する一対の像の強度分布に関する情報が得られる。
【００８０】
（６） 上述した実施の形態は、次のように変形することもできる。図１６は撮像素子の変形例の回路構成を示す概念図である。図１０に示す撮像素子の回路構成概念図ではＣＭＯＳの回路構成例を示し、画像信号はローリングシャッター方式で読み出されている。これに対し図１６に示す撮像素子の回路構成概念図では、ＣＣＤの回路構成例を示し、画像信号は全画素同時露光方式で読み出される。図１６において、撮像素子は４画素×４画素のレイアウトになっており、焦点検出画素３１２、３１３は２画素が３行目の２列目と３列目に配置され、その他は撮像画素３１０である。撮像画素３１０ならびに焦点検出画素３１２および３１３は制御回路５５１の制御のもとに全画素同一タイミングで電荷蓄積され、蓄積された電荷は全画素同時に垂直レジスタ５５２に転送される。
【００８１】
垂直レジスタ５５２に転送された電荷は１行ごとに水平レジスタ５５３に転送される。水平レジスタ５５３に転送された１行分の画像信号は水平レジスタ５５３により出力回路５５４に転送され、外部出力される。１行分の水平レジスタ５５３の転送が終了すると、垂直レジスタ５５２が水平レジスタ方向に１行分転送され、水平レジスタ５５３は転送された１行分の画像信号を外部出力する。以上の動作を繰り返して４行分の画像信号を外部へ出力する。
【００８２】
図１７は、図１６に示す撮像素子の周期動作時の動作フローである。全画素において、電荷蓄積と垂直レジスタ５５２への転送は同時に行われる。いったん蓄積された電荷を垂直レジスタ５５２へ転送すると次回の電荷蓄積が可能になる。画像信号の読出し（外部出力）は４行目、３行目、２行目、１行目の順で行われ、この読出し動作が所定の周期で繰り返し行われる。読み出された撮像画素３１０の画像データは、液晶表示素子２１６での画像表示に利用される。また、焦点検出画素３１２、３１３の画像データは、過去複数回の読出し分とともに内部メモリに記憶され、加算後の画像データのレベルが焦点検出演算に適したレベルとなるように、最新の所定回数分の画像データが加算され、加算された画像データに基づいて焦点検出演算が行われる。
【００８３】
撮像素子をＣＭＯＳイメージセンサーで構成した場合には、ローリングシャッター読出し方式に起因した焦点検出画素の電荷蓄積タイミングの誤差によって、移動被写体に対する焦点検出や手ぶれ時の焦点検出の際に誤差が生ずる可能性がある。撮像素子をＣＣＤイメージセンサーで構成した場合には、焦点検出画素の電荷蓄積の同時性が保証されるので、ＣＭＯＳイメージセンサーで生じていたような焦点検出誤差をなくすことができる。
【００８４】
（７） 上述した実施の形態は、次のように変形することもできる。図１８は本変形例の撮像装置の構成を示す。図１に示す撮像装置では、撮像素子２１２を焦点検出用と撮像用に兼用した例を示したが、この変形例の撮像装置２０１Ａでは、図１８に示すように撮像専用の撮像素子２１２Ｂを設け、本発明に係わる撮像素子２１２Ｃは焦点検出と液晶表示素子２１６での画像表示とに用いる。図１８において、カメラボディ２０３には撮影光束を分離するハーフミラー２２１が配置され、透過側に撮像専用の撮像素子２１２Ｂが配置され、反射側に焦点検出兼画像表示に用いられる撮像素子２１２Ｃが配置される。撮影前は撮像素子２１２Ｃの出力に応じて、焦点検出および画像表示が行われる。レリーズ時は撮像専用の撮像素子２１２Ｂの出力に応じた画像データが生成される。
【００８５】
なお、ハーフミラー２２１を全反射ミラーとし、撮影時は撮影光路から退避するようにしてもよい。撮像素子２１２Ｂおよび撮像素子２１２Ｃの配置を逆にして、反射側に撮像専用の撮像素子２１２Ｂを配置し、透過側に焦点検出兼画像表示用の撮像素子２１２Ｃを配置してもよい。
【００８６】
（８） 上述した実施の形態では、マイクロレンズを用いた瞳分割方式による焦点検出動作を説明したが、本発明はこのような方式の焦点検出に限定されず、再結像瞳分割方式の焦点検出にも適用可能である。ここで、図１９を参照して再結像瞳分割方式の焦点検出動作を説明する。図１９には、交換レンズの光軸１９１、コンデンサレンズ１１０，１２０、絞りマスク１１１、１２１、絞り開口１１２，１１３、１２２，１２３、再結像レンズ１１４、１１５、１２４，１２５、焦点検出用のイメージセンサー（ＣＣＤ）１１６、１２６が示されている。
【００８７】
また、図１９には、焦点検出用光束１３２，１３３、１４２，１４３、交換レンズの予定結像面の前方へ距離ｄ５の位置に設定された射出瞳１９０が示されている。ここで、距離ｄ５は、コンデンサレンズ１１０，１２０の焦点距離、およびコンデンサレンズ１１０，１２０と絞り開口１１２，１１３、１２２，１２３との間の距離などに応じて決まる距離であって、以下では測距瞳距離と呼ぶ。コンデンサレンズ１１０，１２０により投影された絞り開口１１２，１２２の領域１９２を、以下では測距瞳と呼ぶ。同様に、コンデンサレンズ１１０，１２０により投影された絞り開口１１３，１２３の領域１９３を、以下では測距瞳と呼ぶ。コンデンサレンズ１１０、絞りマスク１１１、絞り開口１１２，１１３、再結像レンズ１１４、１１５およびイメージセンサー１１６が、一つの位置で焦点検出を行う再結像方式の瞳分割型位相差検出の焦点検出ユニットを構成する。
【００８８】
図１９においては、光軸１９１上にある焦点検出ユニットと光軸外にある焦点検出ユニットとを模式的に例示している。複数の焦点検出ユニットを組み合わせることによって、図２に示す３箇所の焦点検出位置１０１〜１０３において再結像方式の瞳分割位相差検出で焦点検出を行う焦点検出装置を実現することができる。
【００８９】
コンデンサレンズ１１０からなる焦点検出ユニットは、交換レンズの予定結像面近傍に配置されたコンデンサレンズ１１０と、その背後に配置されたイメージセンサー１１６と、一対の再結像レンズ１１４および１１５と、一対の再結像レンズの近傍（図では前面）に配置された一対の絞り開口１１２および１１３を有する絞りマスク１１とから構成される。一対の再結像レンズ１１４および１１５は、コンデンサレンズ１１０とイメージサンサ１１６との間に配置され、予定結像面近傍に結像された１次像をイメージセンサー１１６上に再結像する。
【００９０】
イメージセンサー１１６は、複数の光電変換部が直線に沿って密に配置されたラインセンサーであり、光電変換部の配置方向は一対の測距瞳の分割方向（＝絞り開口の並び方向）と一致させる。このイメージセンサー１１６からは、イメージセンサー１１６上に再結像された一対の像の強度分布に対応した情報が出力される。この情報に対して像ズレ検出演算処理（相関処理、位相差検出処理）を施すことによって、いわゆる瞳分割型位相差検出方式（再結像方式）で一対の像の像ズレ量が検出される。さらに、像ズレ量に所定の変換係数を乗ずることによって、予定結像面に対する現在の結像面の偏差（デフォーカス量）が算出される。
【００９１】
イメージセンサー１１６は再結像レンズ１１４、１１５により予定結像面上に投影されており、デフォーカス量（像ズレ量）の検出精度は、像ズレ量の検出ピッチ（再結像方式の場合は予定結像面上に投影された光電変換部の配列ピッチ）により決まる。
【００９２】
コンデンサレンズ１１０は、絞りマスク１１１の絞り開口１１２、１１３を射出瞳１９０上に領域１９２、１９３として投影している。領域１９２，１９３を測距瞳と呼ぶ。すなわち、イメージセンサー１１６上に再結像される一対の像は射出瞳１９０上の一対の測距瞳１９２，１９３を通過する光束によって形成される。射出瞳１９０上の一対の測距瞳１９２，１９３を通過する光束１３２、１３３を焦点検出用光束と呼ぶ。
【００９３】
このような再結像瞳分割方式においても、測距瞳の口径蝕によってイメージセンサー上に形成される一対の像のバランス崩れが生ずるので、イメージセンサーの出力信号を処理する際に本発明を適用することができる。
【００９４】
（９） 撮像装置としては、上述したようなカメラボディに交換レンズが装着される構成のデジタルスチルカメラに限定されることはない。例えばレンズ一体型のデジタルスチルカメラあるいはビデオカメラにも本発明を適用することができる。さらには、携帯電話などに内蔵される小型カメラモジュール、監視カメラやロボット用の視覚認識装置、車載カメラなどにも適用することができる。
【００９５】
（１０） 上述した実施の形態および変形例は、互いに組合せてもよい。
【符号の説明】
【００９６】
１０ マイクロレンズ、１１、１２、１３ 光電変換部、２９ 半導体回路基板、
７２、７３、８２、８３、２７２、２７３、２８２、２８３ 焦点検出光束、
９０ 射出瞳、９１ 光軸、９２、９３ 測距瞳、
１００ 撮影画面、１０１、１０２、１０３ 焦点検出エリア、
１１０、１２０ コンデンサレンズ、１１１、１２１ 絞り、
１１２、１１３、１２２、１２３ 絞り開口、
１１４、１１５、１２４、１２５ 再結像レンズ、
１１６、１２６ イメージセンサー、
１３２、１３３、１４２、１４３ 焦点検出光束、
１９０ 射出瞳、１９１ 光軸、１９２、１９３ 測距瞳、
２０１ デジタルスチルカメラ、２０２ 交換レンズ、２０３ カメラボディ、
２０４ マウント部、２０６ レンズ駆動制御装置、
２０８ ズーミング用レンズ、２０９ レンズ、２１０ フォーカシング用レンズ、
２１１ 絞り、２１２ 撮像素子、２１３ 電気接点、
２１４ ボディ駆動制御装置、２１５ 液晶表示素子駆動回路、２１６ 液晶表示素子、
２１７ 接眼レンズ、２１９ メモリカード、２２１ ハーフミラー、
３１０ 撮像画素、３１１、３１２、３１３ 焦点検出画素、
５０１ 垂直信号線、５０２ 信号保持部、５０３ 垂直走査回路、
５０４ 蓄積制御回路、５０５ 水平走査回路、５０６、５５４ 出力回路、
５１０ リセットＭＯＳトランジスタ、５１２ 行選択ＭＯＳトランジスタ、
５５１ 制御回路、５５２ 垂直レジスタ、５５３ 水平レジスタ
【特許請求の範囲】
【請求項１】
光学系を通過する第１光束および前記第１光束よりも光量の小さな第２光束を、複数の画素によりそれぞれ受光し、第１信号および前記第１信号よりも信号レベルの小さい第２信号として蓄積する撮像素子と、
前記撮像素子から前記第１信号および前記第２信号を読み出す読み出し手段と、
前記読み出し手段により読み出された前記第２信号を記憶する記憶手段と、
前記記憶手段により記憶されている前記第２信号の内の、前記読み出し手段によって最新に読み出された信号を含む複数の信号を加算する加算手段と、
前記読み出し手段によって最新に読み出された前記第１信号と前記加算手段により加算された前記複数の信号とに基づき前記光学系の焦点調節状態を検出する焦点検出手段とを備えることを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記加算手段は、前記複数の信号を１信号ずつ累積的に加算して得られる加算信号の信号レベルと、前記読み出し手段によって最新に読み出された前記第１信号の信号レベルとが略等しくなるまで、前記複数の信号を１信号ずつ累積的に加算することを特徴とする撮像装置。
【請求項３】
光学系を通過する第１光束および第２光束を、複数の画素によりそれぞれ受光し、第１信号および第２信号として蓄積する撮像素子と、
前記撮像素子から前記第１信号および前記第２信号を読み出す読み出し手段と、
前記読み出し手段により読み出された前記第１信号および前記第２信号を記憶する記憶手段と、
前記記憶手段により記憶されている前記第１信号および前記第２信号の内の、前記読み出し手段によって最新に読み出された信号を含む複数の信号をそれぞれ相異なる加算回数で加算する加算手段と、
前記加算手段により加算された前記複数の信号に基づき前記光学系の焦点調節状態を検出する焦点検出手段とを備えることを特徴とする撮像装置。
【請求項４】
請求項３に記載の撮像装置において、
前記加算手段は、前記第２信号の内の前記複数の信号を累積的に加算して得られる第１加算信号の信号レベルと、前記第１信号の内の前記複数の信号を累積的に加算して得られる第２加算信号の信号レベルとが略等しくなるまで、１信号ずつ累積的に加算することを特徴とする撮像装置。
【請求項５】
請求項１〜４のいずれか１項に記載の撮像装置において、
前記撮像素子には、前記複数の画素と、前記複数の画素とは形状の異なる光電変換部を有する他の画素とが配置されることを特徴とする撮像装置。
【請求項６】
請求項５に記載の撮像装置において、
前記撮像素子には、前記光学系による画面内に設定される焦点検出エリアに対応して前記複数の画素が所定の画素配列に従って配置され、前記複数の画素の周りに前記他の画素が配置されることを特徴とする撮像装置。
【請求項７】
請求項６に記載の撮像装置において、
前記焦点検出エリアは前記画面内の複数の位置に設定され、
前記撮像素子は、前記複数の位置に設定された前記焦点検出エリアのそれぞれに対応した画素配列に従って前記複数の画素が配置され、
前記加算手段は、前記画素配列ごとに独立して前記複数の信号を加算することを特徴とする撮像装置。
【請求項８】
請求項１乃至７のいずれか１項に記載の撮像装置において、
前記光学系により形成される被写体像の動きを検出する動き検出手段をさらに備え、
前記加算手段は、前記動き検出手段により前記被写体像の前記動きが検出された場合には、前記複数の信号を加算する際の加算回数を制限することを特徴とする撮像装置。
【請求項１】
光学系を通過する第１光束および前記第１光束よりも光量の小さな第２光束を、複数の画素によりそれぞれ受光し、第１信号および前記第１信号よりも信号レベルの小さい第２信号として蓄積する撮像素子と、
前記撮像素子から前記第１信号および前記第２信号を読み出す読み出し手段と、
前記読み出し手段により読み出された前記第２信号を記憶する記憶手段と、
前記記憶手段により記憶されている前記第２信号の内の、前記読み出し手段によって最新に読み出された信号を含む複数の信号を加算する加算手段と、
前記読み出し手段によって最新に読み出された前記第１信号と前記加算手段により加算された前記複数の信号とに基づき前記光学系の焦点調節状態を検出する焦点検出手段とを備えることを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記加算手段は、前記複数の信号を１信号ずつ累積的に加算して得られる加算信号の信号レベルと、前記読み出し手段によって最新に読み出された前記第１信号の信号レベルとが略等しくなるまで、前記複数の信号を１信号ずつ累積的に加算することを特徴とする撮像装置。
【請求項３】
光学系を通過する第１光束および第２光束を、複数の画素によりそれぞれ受光し、第１信号および第２信号として蓄積する撮像素子と、
前記撮像素子から前記第１信号および前記第２信号を読み出す読み出し手段と、
前記読み出し手段により読み出された前記第１信号および前記第２信号を記憶する記憶手段と、
前記記憶手段により記憶されている前記第１信号および前記第２信号の内の、前記読み出し手段によって最新に読み出された信号を含む複数の信号をそれぞれ相異なる加算回数で加算する加算手段と、
前記加算手段により加算された前記複数の信号に基づき前記光学系の焦点調節状態を検出する焦点検出手段とを備えることを特徴とする撮像装置。
【請求項４】
請求項３に記載の撮像装置において、
前記加算手段は、前記第２信号の内の前記複数の信号を累積的に加算して得られる第１加算信号の信号レベルと、前記第１信号の内の前記複数の信号を累積的に加算して得られる第２加算信号の信号レベルとが略等しくなるまで、１信号ずつ累積的に加算することを特徴とする撮像装置。
【請求項５】
請求項１〜４のいずれか１項に記載の撮像装置において、
前記撮像素子には、前記複数の画素と、前記複数の画素とは形状の異なる光電変換部を有する他の画素とが配置されることを特徴とする撮像装置。
【請求項６】
請求項５に記載の撮像装置において、
前記撮像素子には、前記光学系による画面内に設定される焦点検出エリアに対応して前記複数の画素が所定の画素配列に従って配置され、前記複数の画素の周りに前記他の画素が配置されることを特徴とする撮像装置。
【請求項７】
請求項６に記載の撮像装置において、
前記焦点検出エリアは前記画面内の複数の位置に設定され、
前記撮像素子は、前記複数の位置に設定された前記焦点検出エリアのそれぞれに対応した画素配列に従って前記複数の画素が配置され、
前記加算手段は、前記画素配列ごとに独立して前記複数の信号を加算することを特徴とする撮像装置。
【請求項８】
請求項１乃至７のいずれか１項に記載の撮像装置において、
前記光学系により形成される被写体像の動きを検出する動き検出手段をさらに備え、
前記加算手段は、前記動き検出手段により前記被写体像の前記動きが検出された場合には、前記複数の信号を加算する際の加算回数を制限することを特徴とする撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１２−２３７７６９（Ｐ２０１２−２３７７６９Ａ）
【公開日】平成２４年１２月６日（２０１２．１２．６）
【国際特許分類】
【出願番号】特願２０１１−１０４６８７（Ｐ２０１１−１０４６８７）
【出願日】平成２３年５月９日（２０１１．５．９）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２４年１２月６日（２０１２．１２．６）
【国際特許分類】
【出願日】平成２３年５月９日（２０１１．５．９）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]