撮像装置
【課題】焦点検出演算処理に適したレベルに達するように、今回のフレームおよび過去のフレームの焦点検出画素データを積算することにより、かえって焦点検出誤差が増大したり焦点検出不能となることを防止する。
【解決手段】デジタルスチルカメラのボディ駆動制御装置は、今回のフレームの撮像時の焦点距離データと過去のフレームの撮像時の焦点距離データとの差の絶対値が閾値以内であるか否かを判定する（Ｓ１７０）。閾値以内であれば、今回のフレームの焦点検出画素データまたは既に積算された焦点検出画素データと、過去のフレームの焦点検出画素データとの加算を行うが、閾値を超えていれば、そうした加算を禁止する（Ｓ１８０）。
【解決手段】デジタルスチルカメラのボディ駆動制御装置は、今回のフレームの撮像時の焦点距離データと過去のフレームの撮像時の焦点距離データとの差の絶対値が閾値以内であるか否かを判定する（Ｓ１７０）。閾値以内であれば、今回のフレームの焦点検出画素データまたは既に積算された焦点検出画素データと、過去のフレームの焦点検出画素データとの加算を行うが、閾値を超えていれば、そうした加算を禁止する（Ｓ１８０）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子の出力に基づいて焦点検出を行うことが可能な撮像装置に関する。
【背景技術】
【０００２】
撮像画素と瞳分割型位相差検出方式の焦点検出画素とを含む撮像素子を有する撮像装置が開示されている（例えば、特許文献１参照）。この撮像装置においては、周期的に撮像画素のデータと共に読み出される焦点検出画素のデータを読み出し毎に記憶するとともに、読み出し毎に記憶された焦点検出画素のデータを積算し、積算した焦点検出画素のデータに基づいて位相差検出演算を行って焦点検出を行っている。このように焦点検出画素のデータを積算することにより、低輝度においては所定のフレームレートで得られた焦点検出画素のデータレベルが低下して焦点検出不能に陥ることを防止することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−８５７３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら上述した撮像装置においては、積算により焦点検出画素のデータレベルが所定レベルを超えるという条件で積算を行っていたので、撮像の状態によっては、積算した焦点検出画素のデータが焦点検出に不適切なデータとなる。例えば、光学条件が変化したり、使用者による撮像装置の構え方が変化したりするような場合は、撮像状態が変化した場合に該当する。このような場合、積算により、かえって焦点検出誤差が増大したり焦点検出不能となるという問題があった。
【課題を解決するための手段】
【０００５】
請求項１に記載の撮像装置は、複数の画素が配置され、複数の画素により被写体の像を撮像して、時系列的に連続した複数のフレームの各々に対応する画素データを生成する撮像素子と、撮像素子上に被写体の像を形成する撮影光学系と、被写体の像の撮像時における撮像状態に関する撮像状態情報を取得する撮像状態情報取得手段と、画素データのうちの少なくとも一部の部分データと、前記撮像状態情報とを互いに関連付けて記憶する記憶手段と、撮像素子により生成された画素データのうち、最新の画素データに含まれる部分データに、記憶手段により記憶された少なくとも１つの部分データを加算する加算処理を行って加算部分データを算出する加算手段と、記憶手段により記憶された撮像状態情報に基づいて、当該撮像状態情報に関連する部分データの加算を禁止する禁止制御を行う禁止手段と、加算部分データに基づいて、撮影光学系の焦点調節状態を検出する焦点検出手段とを備えることを特徴とする。
【発明の効果】
【０００６】
本発明の撮像装置によれば、積算した焦点検出画素のデータが焦点検出に適切なデータとなるように積算の制御を行うので、高精度な焦点検出が可能になる。
【図面の簡単な説明】
【０００７】
【図１】一実施の形態のデジタルスチルカメラの構成を示す図である。
【図２】撮影画面上における焦点検出位置を示す図である。
【図３】撮像素子の詳細な構成を示す正面図である。
【図４】瞳分割型位相差検出方式におけるデフォーカスと像ずれの関係を示す図である。
【図５】撮像画素と射出瞳の関係を示す図である。
【図６】デジタルスチルカメラの撮像動作を示すフローチャートである。
【図７】フレーム、各フレームの出力に同期して得られる焦点検出画素データおよび焦点距離データの関係と、記憶装置への記憶動作とについて説明するための図である。
【図８】データ加算による効果を示した図である。
【図９】過去の焦点検出画素データが、最新の焦点検出画素データをベースとして順次積算される処理を模式的に示した図である。
【図１０】撮像状態を分類した表である。
【図１１】撮像素子の詳細な構成を示す正面図である。
【発明を実施するための形態】
【０００８】
一実施の形態の撮像装置として、レンズ交換式のデジタルスチルカメラを例に挙げて説明する。図１は一実施の形態のデジタルスチルカメラの構成を示す横断面図である。本実施の形態のデジタルカメラ２０１は、交換レンズ２０２とカメラボディ２０３とから構成され、交換レンズ２０２がマウント部２０４を介してカメラボディ２０３に装着される。カメラボディ２０３にはマウント部２０４を介して種々の撮影光学系を有する交換レンズ２０２が装着可能である。
【０００９】
交換レンズ２０２は、レンズ２０９、ズーミング用レンズ２０８、フォーカシング用レンズ２１０、絞り２１１、レンズ駆動制御装置２０６などを備えている。レンズ駆動制御装置２０６は、不図示のマイクロコンピューター、メモリ、駆動制御回路などから構成される。レンズ駆動制御装置２０６は、フォーカシング用レンズ２１０の焦点調節と絞り２１１の開口径調節のための駆動制御や、ズーミング用レンズ２０８、フォーカシング用レンズ２１０および絞り２１１の状態検出などを行う。また、後述するボディ駆動制御装置２１４との通信によりレンズ情報の送信とカメラ情報（デフォーカス量や絞り値など）の受信を行う。絞り２１１は、光量およびボケ量調整のために光軸中心に開口径が可変な開口を形成する。
【００１０】
カメラボディ２０３は、撮像素子２１２、ボディ駆動制御装置２１４、液晶表示素子駆動回路２１５、液晶表示素子２１６、接眼レンズ２１７、メモリカード２１９などを備えている。撮像素子２１２には、撮像画素が二次元状（行と列）に配置されるとともに、焦点検出位置（焦点検出エリア）に対応した部分に焦点検出画素が組み込まれている。この撮像素子２１２については詳細を後述する。
【００１１】
ボディ駆動制御装置２１４は、マイクロコンピューター、メモリ、駆動制御回路などから構成される。ボディ駆動制御装置２１４は、撮像素子２１２の露光制御および撮像素子２１２からの画素信号の読み出しと、焦点検出画素の画素信号に基づく焦点検出演算と、交換レンズ２０２の焦点調節とを繰り返し行うとともに、画像信号の処理および記録、カメラの動作制御などを行う。また、ボディ駆動制御装置２１４は電気接点２１３を介してレンズ駆動制御装置２０６と通信を行い、レンズ情報の受信とカメラ情報の送信を行う。
【００１２】
液晶表示素子２１６は電気的なビューファインダー（ＥＶＦ：Electronic View Finder）として機能する。液晶表示素子駆動回路２１５は撮像素子２１２から読み出された画像データに基づき、スルー画像を液晶表示素子２１６に表示し、撮影者は接眼レンズ２１７を介してスルー画像を観察することができる。メモリカード２１９は、撮像素子２１２により撮像された画像データを記憶する画像ストレージである。
【００１３】
ＡＤ変換装置２２１は、撮像素子２１２からの出力される画素信号をＡＤ変換してボディ駆動制御装置２１４に送る。撮像素子２１２がＡＤ変換装置２２１を内蔵する構成であってもよい。
【００１４】
交換レンズ２０２を通過した光束により、撮像素子２１２上に被写体像が形成される。この被写体像は撮像素子２１２により光電変換され、撮像画素および焦点検出画素の画素信号がボディ駆動制御装置２１４へ送られる。
【００１５】
ボディ駆動制御装置２１４は、撮像素子２１２の焦点検出画素からの画素信号（焦点検出信号）に基づいてデフォーカス量を算出し、このデフォーカス量をレンズ駆動制御装置２０６へ送る。また、ボディ駆動制御装置２１４は、撮像素子２１２の撮像画素の画素信号（撮像信号）を処理して画像データを生成し、メモリカード２１９に格納するとともに、撮像素子２１２から読み出されたスルー画像信号を液晶表示素子駆動回路２１５へ送り、スルー画像を液晶表示素子２１６に表示させる。さらに、ボディ駆動制御装置２１４は、レンズ駆動制御装置２０６へ絞り制御情報を送って絞り２１１の開口制御を行う。
【００１６】
レンズ駆動制御装置２０６は、フォーカシング状態、ズーミング状態、絞り設定状態、絞り開放Ｆ値などに応じてレンズ情報を更新する。具体的には、ズーミング用レンズ２０８とフォーカシング用レンズ２１０の位置と絞り２１１の絞り値を検出し、これらのレンズ位置と絞り値に応じてレンズ情報を演算したり、あるいは予め用意されたルックアップテーブルからレンズ位置と絞り値に応じたレンズ情報を選択する。
【００１７】
レンズ駆動制御装置２０６は、受信したデフォーカス量に基づいてレンズ駆動量を算出し、レンズ駆動量に応じてフォーカシング用レンズ２１０を合焦位置へ駆動する。また、レンズ駆動制御装置２０６は受信した絞り値に応じて絞り２１１を駆動する。
【００１８】
記憶装置２２０は、後述する焦点検出画素データを過去複数フレーム分にわたって記憶する。ボディ駆動制御装置２１４は、撮像素子２１２から読み出される各フレームにおける焦点検出画素の画素データをこの記憶装置２２０に記憶させる。また、焦点検出画素の画素データを用いて焦点検出演算処理を行う際に、最新フレームの焦点検出画素の画素データの出力レベルが不足していた場合には、記憶装置２２０に記憶された過去の画素データと加算する。こうすることにより、焦点検出画素の画素データの出力レベルを適正にし、加算後の焦点検出画素の画素データを用いて後述する焦点検出処理を行う。
【００１９】
図２は、一実施の形態の撮影画面上の焦点検出位置、すなわち後述する焦点検出画素列が焦点検出の際に撮影画面上で被写体像をサンプリングする領域（焦点検出エリア）を示す。この一実施の形態では、撮影画面１００の中央に焦点検出エリア１０１が配置される。長方形で示す焦点検出エリア１０１の長手方向に焦点検出画素が直線的に配列される。
【００２０】
図３は撮像素子２１２の詳細な構成を示す正面図であり、撮像素子２１２上の上述した焦点検出エリア１０１近傍に対応する領域を拡大したものである。図３において、縦横（画素の行と列）は図２の撮影画面１００の縦横に対応している。撮像素子２１２は撮像用の撮像画素３１０と焦点検出用の焦点検出画素３１２、３１３とを有している。焦点検出エリア１０１に対応する領域には、焦点検出画素３１２、３１３が交互に水平方向に配列されている。焦点検出画素３１２、３１３は、撮像画素３１０のＢとＧが配置されるべき行に直線的に配置され、焦点検出画素列を形成している。
【００２１】
撮像画素３１０は、マイクロレンズ１０、光電変換部１１、不図示の色フィルタを有している。色フィルタは赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３種類からなり、それぞれの色に対応する分光感度特性を有している。撮像素子２１２には、このような各色フィルタを備えた撮像画素３１０がベイヤー配列されている。
【００２２】
焦点検出画素３１２は、マイクロレンズ１０と光電変換部１２とを有している。光電変換部１２の形状は、マイクロレンズ１０の垂直２等分線に左辺を略接する長方形状である。焦点検出画素３１３は、マイクロレンズ１０と光電変換部１３とを有している。光電変換部１３の形状は、マイクロレンズ１０の垂直２等分線に右辺を略接する長方形状である。光電変換部１２、１３はマイクロレンズ１０を基準として重ね合わせて表示した場合、左右水平方向に並んでおり、マイクロレンズ１０の垂直２等分線に関して対称な形状をしている。焦点検出画素３１２と焦点検出画素３１３とは、水平方向すなわち光電変換部１２と１３との並び方向に交互に配置される。
【００２３】
焦点検出画素３１２、３１３には光量をかせぐために色フィルタが配置されておらず、焦点検出画素３１２、３１３は、光電変換を行うフォトダイオードの分光感度特性と、赤外カットフィルタ（不図示）の分光感度特性とを総合した分光感度特性を有している。すなわち、焦点検出画素３１２、３１３の分光感度特性は、緑画素、赤画素および青画素の分光感度特性を加算したような分光感度特性となり、焦点検出画素３１２、３１３が高い感度を示す光波長領域は、緑画素、赤画素および青画素の各々において各色フィルタが高い感度を示す光波長領域を包括している。
【００２４】
撮像用画素３１０の光電変換部１１は、マイクロレンズ１０により最も明るい交換レンズの射出瞳（例えばＦ１．０）を通過する光束をすべて受光するような形状に設計される。一方、焦点検出画素３１２、３１３の光電変換部１２、１３は、マイクロレンズ１０により交換レンズの射出瞳の所定の領域（例えばＦ２．８）を通過する光束を受光するような形状に設計される。焦点検出画素３１１を用いて、特開２００８−８５７３８号公報に開示される瞳分割方式の焦点検出を行うことができる。
【００２５】
上述したような２種類の焦点検出画素を直線状に多数配置し、各画素の光電変換部の出力を、特開２００８−８５７３８号公報に開示される一対の測距瞳に対応した出力グループにまとめることによって、一対の測距瞳を通過する一対の焦点検出光束が画素列上に形成する一対の像の強度分布に関する情報が得られる。この情報に対して後述する像ズレ検出演算処理（相関演算処理、位相差検出処理）を施すことによって、いわゆる瞳分割型位相差検出方式で一対の像の像ズレ量が検出される。なお、一対の測距瞳の並び方向は、一対の光電変換部１２、１３の並び方向、すなわち焦点検出画素３１２、３１３の並び方向と一致する。
【００２６】
さらに、像ズレ量に一対の測距瞳の重心間隔に応じた変換演算を行うことによって、予定結像面（マイクロレンズアレイの位置）に対する現在の結像面（撮影画面１００上での焦点検出位置における実際の結像面）の偏差（デフォーカス量）が算出される。実際には測距瞳は絞り開口によって制限された形状と大きさになる。
【００２７】
図４は、瞳分割型位相差検出方式におけるデフォーカスと像ずれの関係を示す図である。図４(ａ)において、光学系の射出瞳面９０において測距瞳９２、９３に分割され、像を形成する光束は測距瞳９２を通過する光束７２と、測距瞳９３を通過する光束７３に分割される。このような構成により、例えば光軸９１上にあり図４の紙面に垂直な方向の線パターン（黒地に白線）を光学系により結像させた場合、合焦面Ｐ０においては測距瞳９２を通過する光束７２と測距瞳９３を通過する光束７３とは、図４(ｃ)に示すように光軸９１上の同じ位置に高コントラストな線像パターンを形成する。
【００２８】
合焦面Ｐ０より前方の面Ｐ１においては、測距瞳９２を通過する光束７２と測距瞳９３を通過する光束７３は、図４(ｂ)に示すように異なる位置にぼけた線像パターンを形成する。また、合焦面Ｐ０より後方の面Ｐ２においては、測距瞳９２を通過する光束７２と測距瞳９３を通過する光束７３は、図４(ｄ)に示すように図４(ｂ)とは反対方向の異なる位置にぼけた線像パターンを形成する。測距瞳９２を通過する光束７２と測距瞳９３を通過する光束７３とにより形成される２つの像を分離して検出する。２つの像の相対的な位置関係（像ズレ量）を算出することにより、２つの像を検出した面における光学系の焦点調節状態（デフォーカス量）を検出できる。
【００２９】
図５は撮像画素と射出瞳の関係を示す図である。光学系の射出瞳面９０は、光学系の予定結像面近傍に配置されたマイクロレンズ７０から測距瞳距離ｄだけ離間した位置にある。マイクロレンズ７０の背後の撮像画素の光電変換部７１は、半導体回路基板２９上に形成され、撮像光束８１を受光する。領域９４は、マイクロレンズ７０により光電変換部７１の形状が投影された投影形状が形成する領域である。なお、図５では光軸９１上にある撮像画素（マイクロレンズ７０と光電変換部７１とを有する）を模式的に例示したが、その他の撮像画素においても光電変換部はそれぞれ領域９４から各マイクロレンズに到来する光束を受光する。
【００３０】
光電変換部７１は、領域９４を通過し、マイクロレンズ７０に向かう撮像光束８１によりマイクロレンズ７０上に形成される像の強度に対応した信号を出力する。上述したような撮像画素を二次元状に多数配置し、各画素の光電変換部の出力する信号に基づいて画像データが得られる。なお、上述した説明では領域９４は絞り開口によって制限されていない状態として説明したが、実際には領域９４は絞り開口によって制限された形状と大きさになる。
【００３１】
図６は、一実施の形態のデジタルスチルカメラ２０１の撮像動作を示すフローチャートである。ボディ駆動制御装置２１４は、ステップＳ１００でデジタルスチルカメラ２０１の電源がオンされると、ステップＳ１１０以降の撮像動作を開始する。ステップＳ１００において撮像素子２１２は、ボディ駆動制御装置２１４により、一定周期で撮像動作を繰り返す動作モードに設定される。この動作モードにおいて、撮像素子２１２は、例えば１秒間に６０フレームを出力する。
【００３２】
ステップＳ１１０において、ボディ駆動制御装置２１４は、フレームの出力に同期してレンズ駆動制御装置２０６と通信を行い、交換レンズ２０２の焦点距離データを取得し、該焦点距離データを記憶装置２２０に記憶させる。
【００３３】
ステップＳ１２０では、ボディ駆動制御装置２１４は、フレームの出力に同期して撮像素子２１２から１フレーム分の全画素データを読み出す。
【００３４】
ステップＳ１３０では、焦点検出画素列の各画素位置における仮想的な撮像画素のデータ（撮像信号）を焦点検出画素の周囲の撮像画素のデータに基づいて画素補間する。
【００３５】
例えば本来緑画素が配置されるべき位置に配置された焦点検出画素については、その焦点検出画素の対角方向の４つの位置に近接した４つの緑色の撮像画素のデータを平均して、該焦点検出画素の位置における緑色の撮像画素のデータとする。また本来青画素が配置されるべき位置に配置された焦点検出画素については、その焦点検出画素の上下方向の２つの位置に近接した２つの青色の撮像画素のデータを平均して、該焦点検出画素の位置における青色の撮像画素のデータとする。
【００３６】
このようにして焦点検出画素の位置における補間により得られた撮像画素データと、各撮像画素の位置における本来の撮像画素データとを合成して、今回のフレームに対応する画像データを生成する。ボディ駆動制御装置２１４は、例えば１秒間に６０フレームのフレームレートで時系列的に連続して生成されるフレームの画像データに基づくスルー画像を、液晶表示素子２１６に表示させるように、液晶表示素子駆動回路２１５を制御する。
【００３７】
ステップＳ１４０では、ボディ駆動制御装置２１４は、今回のフレームに対応する画像データを電子ビューファインダーに表示（ライブビュー表示）させる。
【００３８】
ステップＳ１５０では、ボディ駆動制御装置２１４は、、今回読み出した画像データ中の焦点検出画素のデータを、焦点距離データと関連付けて記憶装置２２０に記憶させる。
【００３９】
ここでフレーム、各フレームの出力に同期して得られる焦点検出画素データおよび焦点距離データの関係と、記憶装置２２０（リングバッファ）への記憶動作とについて図７を用いて説明する。
【００４０】
図７の上半分は横軸に時間をとった場合における、最新のフレームＮから過去７フレームまで（フレーム（Ｎ−７）まで）における焦点検出画素データＩ（Ｎ）〜Ｉ（Ｎ−７）と焦点距離データＦ（Ｎ）〜Ｆ（Ｎ−７）の対応関係を示している。その対応関係は、図７の下半分に示すように、リングバッファを構成する記憶装置２２０のメモリ領域に各々関連付けられて記憶される。ポインターは最新の焦点検出画素データと焦点距離データが格納されているメモリ領域の位置（アドレス）を示す。
【００４１】
なお、過去フレームは過去７フレームまで遡ることとしたのは、上述したようにフレームレートが６０フレーム／秒のとき、過去８フレームまで遡ると１２０ｍｓ以上も過去に遡ることとなり、暗電流の影響が無視できなくなることが考えられるためである。したがって、たとえば、暗電流の影響が無視できる範囲であれば、あるいはフレームレートによっては、必ずしも過去７フレームまで遡ることに限定しなくても良い。
【００４２】
ステップＳ１６０〜ステップＳ１８０では、最新の焦点検出画素データのデータレベルが不足している場合には、過去の焦点検出画素データとの加算を行ってデータレベルが適正になるように調整し、適正なデータレベルになった加算後の焦点検出画素データを用いて焦点検出演算を行う。
【００４３】
ステップＳ１６０では、焦点検出画素データが所定条件を満たしている場合、すなわち焦点検出画素データが後述する像ズレ検出演算処理に適したレベルに達している場合、またはステップＳ１８０の積算が過去７フレーム分まで行われていた場合には、積算処理を抜けてステップＳ１９０に進む。ここで焦点検出画素データは、最初は最新フレームの焦点検出画素データであるが、積算処理後は積算後の焦点検出画素データに更新されることとなる。図中の最終データとは、最も古い焦点検出画素データＩ（Ｎ−７）を指す。
【００４４】
図８は横軸を焦点検出画素位置、縦軸を焦点検出画素データのデータレベルとして、データ加算による効果を示した図である。まず今回フレームの焦点検出画素データの最大値を検出する。該最大値が閾値を超えていない場合には、記憶装置２２０から前回の焦点検出画素データを読み出して加算する。加算した焦点検出画素データ（加算データ）の最大値が閾値を超えていない場合にはさらに前々回の焦点検出画素データを加算する。このような加算演算を加算データの最大値が閾値を超えるまで繰り返すことにより、加算データは焦点検出演算処理に適したデータレベルに達する。
【００４５】
なお、この閾値は、例えばＡＤ変換のダイナミックレンジの最大値の１／２であるが、例えば平均値であっても、加算データの最大値がＡＤ変換のダイナミックレンジの最大値を超えず、かつ画素信号値の飽和値に達しなければよいし、他の条件値であってもよい。この閾値を大きくし過ぎると加算時間が大きくなり、加算時間の間にフレーム内の被写体位置が変化するなどの撮像状態の変化が生じやすくなり、積算処理による高精度な焦点検出を阻害しうる。閾値を小さくし過ぎると、加算データが焦点検出演算処理に適したデータレベルに達しないこととなりうる。したがって、それらを考慮した条件値を実験により定めて閾値とすることが好ましい。
【００４６】
このデジタルスチルカメラ２０１では、上述したようにフレームレートが固定値（６０フレーム／秒）に固定されているために、撮像素子２１２の露光時間は１／６０秒以上にすることができない。焦点検出画素データのデータレベルを増大させるためにフレームレートを小さくすると、焦点検出画素と撮像画素とが混在して配置される撮像素子２１２において、撮像画素データの読み出し間隔も同じフレームレートになるため好ましくない。したがって、撮像画素データの読み出し間隔に適したフレームレートとしたとき、低輝度においては１フレーム分の焦点検出画素データは低レベルとなって焦点検出不能に陥る可能性があるので、このような積算処理は高精度な焦点検出を行うために有効である。
【００４７】
ステップＳ１６０において積算が過去７フレーム分まで達しておらず、かつ、焦点検出画素データが後述する像ズレ検出演算処理に適したレベルに達していない場合にはステップＳ１７０に進む。
【００４８】
ステップＳ１７０においては、ボディ駆動制御装置２１４は、今回（最新）の焦点検出画素データが得られた時の焦点距離データと、過去の焦点検出画素データが得られた時の焦点距離データとを記憶装置２２０から読み出して比較する。すなわち最新の焦点距離データと過去の焦点距離データとの差の絶対値が閾値を超えているか否かを判定し、閾値を超えていた場合にはステップＳ１６０に戻り、閾値を超えていない場合にはステップＳ１８０に進む。最新の焦点距離データと過去の焦点距離データとの差の絶対値が閾値を超えていない場合とは、最新フレームと過去フレームの焦点距離の変化が小さい場合であり、撮像状態の変化が少ない場合に含まれる。
【００４９】
なお、この閾値は、大きくし過ぎると、加算対象の過去フレームの中には、焦点距離が大きく相異なる条件で撮像された複数の過去フレームが含まれるようなことが生じうる。すなわち、それらの複数の過去フレーム間で撮像状態の変化が生じやすくなり、積算処理による高精度な焦点検出を阻害しうる。閾値を小さくし過ぎると、加算データが焦点検出演算処理に適したデータレベルに達しないこととなりうる。したがって、それらを考慮した条件値を実験により定めて閾値とすることが好ましい。
【００５０】
ステップＳ１８０において、ステップＳ１７０の条件を満足した焦点距離データと関係づけられた焦点検出画素データが、最新の焦点検出画素データに順次積算され、ステップＳ１６０に戻る。
【００５１】
図９は上述の処理を模式的に表した図であって、最新フレームＮから最終フレーム（Ｎ−７）までの焦点検出画素データＩ（Ｎ）〜Ｉ（Ｎ−７）および焦点距離データＦ（Ｎ）〜Ｆ（Ｎ−７）の対応関係、ならびに過去の焦点検出画素データＩ（Ｎ−１）〜Ｉ（Ｎ−７）の積算の許可（○）、禁止（×）の対応関係を示している。図９に示すように、最新フレームの焦点距離データＦ（Ｎ）との差の絶対値が閾値ΔＦを超える焦点距離データＦ（Ｎ−６）、Ｆ（Ｎ−７）に対応した焦点検出画素データＩ（Ｎ−６）、Ｉ（Ｎ−７）は、積算に用いられない。
【００５２】
ステップＳ１６０〜ステップＳ１８０の処理ループにおいて、過去のデータ（焦点検出画素データ、焦点距離データ）は、記憶装置２２０のアドレスを示すポインターに従って前回フレーム（Ｎ−１）→前々回フレーム（Ｎ−２）→・・・最終フレーム（Ｎ−７）の順番で読み出されて処理される。例えば図９に示すようなケースにおいては、上述したように、焦点検出画素データＩ（Ｎ−６）、Ｉ（Ｎ−７）は積算に用いられないため、最終的に得られる焦点検出画素データはＩ（Ｎ）＋Ｉ（Ｎ−１）＋Ｉ（Ｎ−２）＋Ｉ（Ｎ−３）＋Ｉ（Ｎ−４）＋Ｉ（Ｎ−５）となる。
【００５３】
なおステップＳ１７０において、最新の焦点距離データと過去の焦点距離データとの差の絶対値が閾値を超えていた場合にはステップＳ１６０に戻っていたが、処理ループを抜けてステップＳ１９０に進むようにしてもよい。
【００５４】
ステップＳ１９０ではステップＳ１６０〜ステップＳ１８０の積算処理ループで得られた焦点検出画素データ（最新の焦点検出画素データが適正レベルに達していた場合には積算なし）に基づき後述する焦点検出演算処理を行い、焦点検出エリアにおけるデフォーカス量を算出する。
【００５５】
ステップＳ２００では合焦（デフォーカス量の絶対値が予め定められた閾値以下）か否かを判定し、合焦の場合にはステップＳ２２０に進み、非合焦の場合はステップＳ２１０に進む。
【００５６】
ステップＳ２１０では、ボディ駆動制御装置２１４は、デフォーカス量をレンズ駆動制御装置２０６へ送信し、交換レンズ２０２のフォーカシング用レンズ２１０を合焦位置に駆動させる。ボディ駆動制御装置２１４は、デフォーカス量の信頼性が低い場合や焦点検出不能の場合にはその旨をレンズ駆動制御装置２０６へ送信し、交換レンズ２０２のフォーカシング用レンズ２１０の駆動制御は更新しない。その後、ステップＳ２２０に進む。
【００５７】
ステップＳ２２０では不図示の操作手段による撮影の指示がなされているか否かを判定する。撮影の指示がなされていない場合には、ステップＳ１８０に戻り、撮影の指示がなされていた場合には、ステップＳ２３０で今回のフレームに対応する画像データをメモリカード２１９に記憶させてステップＳ１１０に戻る。
【００５８】
図６のステップＳ１９０で用いられる一般的な像ズレ検出演算処理（相関演算処理）としては、特開２００７−３３３７２０号公報に開示された相関演算処理を用いる。焦点検出画素が検出する一対の像は、測距瞳がレンズの絞り開口により口径蝕を受けて光量バランスが崩れている可能性があるので、光量バランスに対して像ズレ検出精度を維持できるタイプの相関演算を施す。
【００５９】
焦点検出画素列から読み出された一対のデータ列（Ａ１１〜Ａ１Ｍ、Ａ２１〜Ａ２Ｍ：Ｍはデータ数）に対し、特開２００７−３３３７２０号公報に開示された相関演算式（１）を用い、相関量Ｃ（ｋ）を演算する。なお、一対のデータ列（Ａ１１〜Ａ１Ｍ、Ａ２１〜Ａ２Ｍ）は、上述したように、演算に用いられる焦点検出画素データが積算後の焦点検出画素データの場合も含んでいる。
Ｃ（ｋ）＝Σ｜Ａ１ｎ×Ａ２ｎ＋１＋ｋ−Ａ２ｎ＋ｋ×Ａ１ｎ＋１｜ （１）
【００６０】
Σ演算はｎについて累積される。ｎのとる範囲は、像ずらし量ｋに応じてＡ１ｎ、Ａ１ｎ＋１、Ａ２ｎ＋ｋ、Ａ２ｎ＋１＋ｋのデータが存在する範囲に限定される。像ずらし量ｋは整数であり、データ列のデータ間隔を単位とした相対的シフト量である。
【００６１】
特開２００９−１４１７９１号公報に開示された算出方法によると、相関量Ｃ（ｋ）の極小値Ｃ（ｋｓ）を与える像ずらし量ｋｓを用いて、式（２）により、像ズレ量ｓｈｆｔを算出することができる。式（２）において、ＰＹは焦点検出画素の画素ピッチの２倍（検出ピッチ）である。
ｓｈｆｔ＝ＰＹ×ｋｓ （２）
【００６２】
式（２）で算出された像ズレ量に所定の変換係数Ｋｄを乗じてデフォーカス量ｄｅｆへ変換する。なお変換係数Ｋｄは焦点検出画素が受光する一対の光束の開き角に対応しており、測距瞳距離ｄを一対の測距瞳の重心間隔で除算した値に相当する。
ｄｅｆ＝Ｋｄ×ｓｈｆｔ （３）
【００６３】
以上のように本発明においては、過去フレームの焦点検出画素データを取得した時の焦点距離データが、最新フレームの焦点検出画素データを取得した時の焦点距離データとかけ離れていた場合には、過去フレームの焦点検出画素のデータを積算することを禁止する。これにより、倍率の異なる像を重ね合わせた焦点検出画素データを用いて焦点検出を行うことによって生じる焦点検出誤差の増大または焦点検出不能といった問題を回避することができる。最新フレームの焦点検出画素データを取得した時の焦点距離データとかけ離れていない範囲の焦点距離データに対応する過去フレームの焦点検出画素データは積算される。これらの結果として、高精度な焦点検出が可能になる。
【００６４】
上述した実施形態においては、画面中央の１カ所の焦点検出エリアにおける焦点検出画素データを用いて焦点検出を行っているが、これに限定されることはない。画面上に複数の焦点検出エリアを設け、これら複数の焦点検出エリアのうちの１つを選択して焦点検出を行ったり、複数の焦点検出エリアにおいて同時に焦点検出を行うようにしてもよい。
【００６５】
上述した実施形態においては、過去フレームの焦点検出画素データの積算を禁止する条件として焦点距離の変化を挙げているが、これに限定されるものではなく、焦点検出に影響を及ぼす種々の撮像状態（撮像条件）を適用することができる。
【００６６】
図１０はこのような撮像状態を分類した表であって、交換レンズ２０２の有する撮影光学系の光学特性としては焦点距離の他、絞り開口Ｆ値（絞り開口径）、フォーカシング用レンズ２１０の位置（予定結像面からフォーカシング用レンズ２１０までの距離）、ＰＯ値（射出瞳距離）などがある。
【００６７】
絞り開口Ｆ値が変化した場合には、式（３）における変換係数Ｋｄが変化するため、同一のデフォーカス量であっても像ズレ量が変化することとなり、過去の焦点検出画素データを積算するのは好ましくない。
【００６８】
焦点検出画素データの加算処理の間にユーザーがフォーカシング用レンズ２１０の位置を変更することが考えられる。フォーカシング用レンズ２１０の位置が異なっていた場合には、そもそもデフォーカス量が変化しているので、過去の焦点検出画素データを積算するのは好ましくない。
【００６９】
ボディ駆動制御装置２１４は、レンズ駆動制御装置２０６からＰＯ値を取得することができる。撮影光学系の焦点距離、絞り開口Ｆ値、あるいはフォーカシング用レンズ２１０の位置が変化すると、射出瞳距離、すなわちＰＯ値も変化しうる。ＰＯ値が異なっていた場合には、１つまたは複数の焦点検出画素が受光する一対の光束の開き角に対応した変換係数Ｋｄは変化しているので、過去の焦点検出画素データを積算するのは好ましくない。
【００７０】
ボディ駆動制御装置２１４は、上記絞り開口Ｆ値（絞り開口径、）、フォーカシング用レンズ２１０の位置、ＰＯ値（射出瞳距離）のデータを通信によりレンズ駆動制御装置２０６から受信する。
【００７１】
ボディ駆動制御装置２１４は、デジタルスチルカメラ２０１の姿勢情報に応じて、過去フレームの焦点検出画素データの積算を禁止するようにしてもよい。
【００７２】
ボディ駆動制御装置２１４は、不図示の姿勢センサーの検出した姿勢データを用いることにより、最新フレームと過去フレームとの間の姿勢変化（構図変更）を検出する。構図変更のような姿勢変化は、多くの場合、ユーザーによるデジタルスチルカメラ２１０の構え、向きの変化により生じるものであり、すなわちユーザーの意図したデジタルスチルカメラ２１０の動きによるものである。姿勢センサーは、例えば鉛直センサー、方位センサー、角速度センサーである。姿勢変化検出の結果、大きな構図変更があったと判断した場合には、異なるフレームにおいて焦点検出画素が異なる像を受光していると判断して、過去の焦点検出画素データの積算を禁止する。
【００７３】
デジタルスチルカメラ２０１の姿勢情報には、上述した姿勢センサーの検出した姿勢データの他に、不図示のブレ検出センサーのブレデータも含まれる。ブレはユーザーの意図しないデジタルスチルカメラ２１０の動きによるものである。ボディ駆動制御装置２１４は、ブレ検出センサーの検出したブレデータを用いることにより、過去フレームのブレ量が閾値を超えた場合には、過去の焦点検出画素データの積算を禁止する。ブレ像を積算しても焦点検出精度が低下するからである。
【００７４】
ボディ駆動制御装置２１４は、撮像対象となる被写体の情報に応じて、過去フレームの焦点検出画素データの積算を禁止するようにしてもよい。
【００７５】
上述した姿勢データまたはブレデータが変化するような場合は、多くの場合、最新フレームと過去フレームとの間の輝度変化が生じることとなる。ボディ駆動制御装置２１４は、例えば不図示の測光センサーに被写体輝度を検出させて、最新フレームと過去フレームとの間の輝度変化が大きい場合には、過去フレームの焦点検出画素データの積算を禁止する。撮影状況が大きく変化しており、過去の焦点検出画素データを積算しても焦点検出精度が低下するからである。
【００７６】
ボディ駆動制御装置２１４は、フレーム画像から画像処理により特定パターンの部分画像（顔画像など）を抽出して、フレーム画像におけるその部分画像の位置を検出するようにし、その位置変化が大きい場合、すなわち位置変化量が閾値を超える場合には過去フレームの焦点検出画素データの積算を禁止する。過去の焦点検出画素データを積算しても焦点検出精度が低下するからである。
【００７７】
なお、水平方向の位置変化量と垂直方向の位置変化量とで相異なる閾値を用いることとしてもよい。例えば、水平方向の位置変化量の閾値を１画素とし、垂直方向の位置変化量の閾値を０画素とする。
【００７８】
ボディ駆動制御装置２１４は、前回フレームで算出したデフォーカス量と今回フレームで算出したデフォーカス量との差をフレーム間隔で割ることによりフレーム毎の像面移動速度を算出する。過去フレームの像面移動速度が閾値を超えた場合は、過去フレームの焦点検出画素データの積算を禁止する。像面移動速度が閾値を超えたフレームでは、被写体の光軸方向の移動量が大きく、過去の焦点検出画素データを積算しても焦点検出精度が低下するからである。
【００７９】
また、デジタルスチルカメラ２０１は、低輝度時にＡＦ（オートフォーカス）補助光を照明する不図示の照明手段を備え、ボディ駆動制御装置２１４は、最新フレームの照明の有無と過去フレームの照明の有無とが一致しない場合には、過去フレームの焦点検出画素データの積算を禁止する。過去の焦点検出画素データを積算しても焦点検出精度が低下するからである。
【００８０】
ボディ駆動制御装置２１４は、撮像素子２１２の制御情報（動作モード）に応じて、過去フレームの焦点検出画素データの積算を禁止するようにしてもよい。
【００８１】
撮像素子２１２が複数の画素信号の読み出しモードを有する際には、読み出しモードに応じて焦点検出画素データの検出ピッチや加算状態が異なる。画素信号の読み出しモードは、例えば、特開２００９−１２８８９２号公報に開示される全画素読み出しモードおよび間引き読み出しモード、ならびに特開２００９−８６４２４号公報に開示される加算読み出しモードである。最新フレームの読み出しモードと過去フレームの読み出しモードとが一致しない場合には、ボディ駆動制御装置２１４は、過去フレームの焦点検出画素データの積算を禁止する。過去の焦点検出画素データを積算しても焦点検出精度が低下するからである。
【００８２】
撮像素子２１２から出力される画素信号の増幅度が異なる場合には、焦点検出画素データに加わるノイズの状態が異なる。最新フレームの増幅度と過去フレームの増幅度の相違が大きい場合には、ボディ駆動制御装置２１４は、過去フレームの焦点検出画素データの積算を禁止する。過去の焦点検出画素データを積算しても焦点検出精度が低下するからである。
【００８３】
上記の撮像素子２１２の動作モードはユーザーにより手動で変更される場合がある。例えば撮像素子２１２の感度設定の変更に応じて画素信号の増幅度が変更される。
【００８４】
上記のように撮像状態の変化に応じて過去フレームの焦点検出画素データの積算を禁止する際に、図１０のように最新のフレームの撮像状態データと過去の撮像状態データとの偏差が閾値を超えることによって各種撮像状態の変化について判定しているが、その閾値は実験により定められる。
【００８５】
図１０に示す種々の撮像状態のうちの複数の組合せに基づき、図６のステップＳ１７０における閾値判定を行ってもよい。例えば、ボディ駆動制御装置２１４は、今回フレームおよび過去フレームの焦点距離データの偏差の絶対値と、今回フレームおよび過去フレームの姿勢データの偏差の絶対値とのうちのいずれか一方が閾値を超えたとき、撮像状態が変化したと判定する。焦点距離データの偏差の絶対値についての閾値Ｔｆと、姿勢データの偏差の絶対値の閾値Ｔａとを関連付けて変化させるようにしてもよい。例えば、焦点距離データおよび姿勢データのいずれか一方のみが変化した場合は、Ｔｆ＝Ｔ１およびＴａ＝Ｔ２とし、焦点距離データおよび姿勢データの両方が変化した場合は、双方の閾値に５０％ずつの重み付けを行い、Ｔｆ＝（Ｔ１）／２およびＴａ＝（Ｔ２）／２としてもよい。
【００８６】
各種撮像状態の変化に応じて過去フレームの焦点検出画素データの積算を禁止する際に、ボディ駆動制御装置２１４は、図１０に示すように、最新のフレームの撮像状態データと過去の撮像状態データとの偏差が閾値を超えることによって、各種撮像状態の変化を判定している。ボディ駆動制御装置２１４は、最新のフレームの撮像状態データと過去の撮像状態データとが異なることで各種撮像状態の変化を判定するようにしてもよい。例えば絞り開口Ｆ値が１段毎に離散的に変化する場合（Ｆ１．４、Ｆ２．０、Ｆ２．８・・）には、ボディ駆動制御装置２１４は、１段の変化をもって閾値を超えたと判定する。すなわち絞り開口Ｆ値が異なることにより撮像状態の変化を判定する。
【００８７】
上述した実施形態においては、ボディ駆動制御装置２１４は、過去７回のフレームにおける焦点検出画素データと撮像状態データとをペアで記憶装置２２０に記憶させておき、過去フレームにおける焦点検出画素データの積算の可否を該焦点検出画素データに対応する撮像状態データに基づいて判定しているが、このような方法に限定されるものではない。
【００８８】
ボディ駆動制御装置２１４は、撮像状態データに基づいて積算処理に利用できない焦点検出画素データについては、記憶装置２２０に記憶させないようにすることもできる。例えばブレが大きいと判定されたフレームの焦点検出画素データを記憶装置２２０に記憶させないようにしておけば、記憶装置２２０のメモリ領域が有効に利用できる。
【００８９】
ボディ駆動制御装置２１４は、最新フレームにおける撮像状態データとの偏差が閾値を超える撮像状態データに対応する焦点検出画素データと、該焦点検出画素データより古い過去の焦点検出画素データとを、新しい焦点検出画素データが取得される毎に積算処理対象から除外することとしてもよい。そうした除外の際に、ボディ駆動制御装置２１４は、いずれの過去フレームの焦点検出画素データまで遡って積算処理に利用できるかを示す、最も古い焦点検出画素データに対応する有効フレーム番号を更新することとしてもよい。該有効フレーム番号までの過去フレームの焦点検出画素データを対象として積算処理を行うことにより、図６のループ処理（ステップＳ１６０〜１８０）の簡素化と処理時間の短縮化を図ることができる。図９に示す例では、焦点検出画素データＩ（Ｎ−５）のフレーム番号（Ｎ−５）を有効フレーム番号として、次の焦点検出画素データＩ（Ｎ＋１）についての積算処理の際に用いることとなり、焦点検出画素データＩ（Ｎ−６）が積算処理対象から除外される。
【００９０】
上述した実施形態においては、ボディ駆動制御装置２１４は、撮像素子２１２から出力される焦点検出画素データをそのまま記憶装置２２０に記憶させるとともに、該焦点検出画素データを用いて像ズレ検出処理を行っているが、これに限定されることはない。
【００９１】
例えば、ボディ駆動制御装置２１４は、焦点検出画素データに対して像の高周波成分を除去するデジタルフィルタ処理（加算平均フィルタ）や像の低周波成分を除去するデジタルフィルタ（差分フィルタ）を行って像ズレ検出に悪影響を及ぼす周波数成分を取り除いてもよい。ボディ駆動制御装置２１４は、そのようにして像ズレ検出に悪影響を及ぼす周波数成分を取り除くとともに、フィルタリングされた焦点検出画素データを記憶装置２２０に記憶させ、該フィルタリングされた焦点検出画素データを用いて像ズレ検出処理を行うようにしてもよい。
【００９２】
ボディ駆動制御装置２１４は、焦点検出画素データに対して所謂感度バラツキ補正処理や暗電流バラツキ補正処理を行うとともに、補正処理後の焦点検出画素データを記憶し、該補正処理後の焦点検出画素データを用いて像ズレ検出処理を行うようにしてもよい。
【００９３】
ボディ駆動制御装置２１４は、焦点検出画素データに対して行う上記フィルタリング処理や各画素毎の特性バラツキ補正処理のような画像処理の内容を撮影状況に応じて変更することとしてもよい。そのような変更の際には、画像処理後の焦点検出画素データと画像処理の内容とをペアで記憶装置２２０に記憶させる。最新フレームの画像処理の内容と過去フレームの画像処理の内容とが異なっていた場合には、過去フレームの焦点検出画素データの積算を禁止するようにしても良い。過去フレームの焦点検出画素データの積算により焦点検出誤差を生じる虞があるからである。例えば低輝度時のみ暗電流バラツキ補正処理を行う条件で、最新フレームの暗電流バラツキ補正処理の有無と過去フレームの暗電流バラツキ補正処理の有無とが相違していた場合には、過去フレームの焦点検出画素データの積算を禁止する。
【００９４】
本発明は瞳分割型位相差検出用の焦点検出画素を備える撮像素子に限定されるものではなく、所謂コントラスト検出に用いられる焦点検出画素を備える撮像素子にも適用することができる。
【００９５】
《一実施の形態の変形例》
図１１は変形例の撮像素子２１２Ａの詳細な構成を示す正面図である。図３に示す撮像素子２１２は、一対の焦点検出画素３１２、３１３を有していた。これに対し図１１に示す撮像素子２１２Ａでは、焦点検出画素３１１が１つのマイクロレンズのもとに一対の光電変換部を備えた画素構造を有する。図１１は撮像素子２１２Ａ上のひとつの焦点検出エリアに対応する領域の近傍を拡大した図であり、縦横は図２に示す撮像画面の縦横と対応している。この変形例の撮像素子２１２Ａは、撮像用の撮像画素３１０と焦点検出用の焦点検出画素３１１を有する。
【００９６】
焦点検出画素３１１はマイクロレンズ１０、一対の光電変換部１２，１３を有する。焦点検出画素３１１を用いた瞳分割方式の焦点検出方法の基本原理は、特開２００８−８５７３８号公報に開示されるように、図３に示す一対の焦点検出画素３１２、３１３を用いた瞳分割方式の焦点検出方法と同様である。一対の光電変換部はそれぞれ一対の測距瞳から各マイクロレンズに到来する光束を受光する。焦点検出画素３１１の配列方向は一対の測距瞳の並び方向、すなわち一対の光電変換部の並び方向と一致させる。
【００９７】
上記のような焦点検出画素３１１を直線状に多数配置し、各画素の一対の光電変換部１２、１３の出力を一対の測距瞳に対応した出力グループにまとめることによって、一対の測距瞳を通過する一対の焦点検出光束が焦点検出画素列上に形成する一対の像の強度分布に関する情報が得られる。
【００９８】
上述した実施形態における撮像素子では焦点検出画素が白色フィルタを備えた例を示したが、撮像画素と同じ色フィルタ（例えば緑フィルタ）を備えるようにした場合にも本発明を適用することができる。
【００９９】
例えば図１１に示した焦点検出画素３１１のみを２次元に配列して撮像素子を構成するとともに、２次元に配置された焦点検出画素がベイヤー配列した色フィルタを有するようにしてもよい。このような構成においては、撮像時は焦点検出画素の一対の光電変換部のデータを加算することにより、撮像画素と同等のデータを算出することが可能である。焦点検出時は同色の焦点検出画素同士で相関演算を行うことにより、色別の焦点検出結果を得ることが出来、輝度のみではコントラストが出ないような場合にも焦点検出が可能になる。
【０１００】
上述した実施形態においては、撮像素子としてＣＣＤイメージセンサ、ＣＭＯＳイメージセンサを用いることができる。
【０１０１】
上述した実施形態における撮像素子では撮像画素がベイヤー配列の色フィルタを備えた例を示したが、色フィルタの構成や配列はこれに限定されることはない。例えば、補色フィルタ（緑：Ｇ、イエロー：Ｙｅ、マゼンタ：Ｍｇ，シアン：Ｃｙ）の配列やベイヤー配列以外の配列にも本発明を適用することができる。また色フィルタを備えないモノクロの撮像素子にも本発明を適用することができる。
【０１０２】
なお、撮像装置としては、上述したような、カメラボディに交換レンズが装着される構成のデジタルスチルカメラに限定されない。例えば、レンズ一体型のデジタルスチルカメラあるいはビデオカメラにも本発明を適用することができる。さらには、携帯電話などに内蔵される小型カメラモジュール、監視カメラやロボット用の視覚認識装置、車載カメラなどにも適用できる。
【符号の説明】
【０１０３】
１０、７０ マイクロレンズ、１１、１２、１３、７１ 光電変換部、
２９ 半導体回路基板、７２、７３ 焦点検出光束、８１ 撮像光束、
９０ 射出瞳面、９１ 光軸、９２、９３ 測距瞳、９４ 領域、
１００ 撮影画面、１０１ 焦点検出エリア、
２０１ デジタルスチルカメラ、２０２ 交換レンズ、２０３ カメラボディ、
２０４ マウント部、２０６ レンズ駆動制御装置、
２０８ ズーミング用レンズ、２０９ レンズ、２１０ フォーカシング用レンズ、
２１１ 絞り、２１２ 撮像素子、２１３ 電気接点、
２１４ ボディ駆動制御装置、
２１５ 液晶表示素子駆動回路、２１６ 液晶表示素子、２１７ 接眼レンズ、
２１９ メモリカード、２２０ 記憶装置、２２１ ＡＤ変換装置、
３１０ 撮像画素、３１１、３１２、３１３ 焦点検出画素
【技術分野】
【０００１】
本発明は、撮像素子の出力に基づいて焦点検出を行うことが可能な撮像装置に関する。
【背景技術】
【０００２】
撮像画素と瞳分割型位相差検出方式の焦点検出画素とを含む撮像素子を有する撮像装置が開示されている（例えば、特許文献１参照）。この撮像装置においては、周期的に撮像画素のデータと共に読み出される焦点検出画素のデータを読み出し毎に記憶するとともに、読み出し毎に記憶された焦点検出画素のデータを積算し、積算した焦点検出画素のデータに基づいて位相差検出演算を行って焦点検出を行っている。このように焦点検出画素のデータを積算することにより、低輝度においては所定のフレームレートで得られた焦点検出画素のデータレベルが低下して焦点検出不能に陥ることを防止することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−８５７３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら上述した撮像装置においては、積算により焦点検出画素のデータレベルが所定レベルを超えるという条件で積算を行っていたので、撮像の状態によっては、積算した焦点検出画素のデータが焦点検出に不適切なデータとなる。例えば、光学条件が変化したり、使用者による撮像装置の構え方が変化したりするような場合は、撮像状態が変化した場合に該当する。このような場合、積算により、かえって焦点検出誤差が増大したり焦点検出不能となるという問題があった。
【課題を解決するための手段】
【０００５】
請求項１に記載の撮像装置は、複数の画素が配置され、複数の画素により被写体の像を撮像して、時系列的に連続した複数のフレームの各々に対応する画素データを生成する撮像素子と、撮像素子上に被写体の像を形成する撮影光学系と、被写体の像の撮像時における撮像状態に関する撮像状態情報を取得する撮像状態情報取得手段と、画素データのうちの少なくとも一部の部分データと、前記撮像状態情報とを互いに関連付けて記憶する記憶手段と、撮像素子により生成された画素データのうち、最新の画素データに含まれる部分データに、記憶手段により記憶された少なくとも１つの部分データを加算する加算処理を行って加算部分データを算出する加算手段と、記憶手段により記憶された撮像状態情報に基づいて、当該撮像状態情報に関連する部分データの加算を禁止する禁止制御を行う禁止手段と、加算部分データに基づいて、撮影光学系の焦点調節状態を検出する焦点検出手段とを備えることを特徴とする。
【発明の効果】
【０００６】
本発明の撮像装置によれば、積算した焦点検出画素のデータが焦点検出に適切なデータとなるように積算の制御を行うので、高精度な焦点検出が可能になる。
【図面の簡単な説明】
【０００７】
【図１】一実施の形態のデジタルスチルカメラの構成を示す図である。
【図２】撮影画面上における焦点検出位置を示す図である。
【図３】撮像素子の詳細な構成を示す正面図である。
【図４】瞳分割型位相差検出方式におけるデフォーカスと像ずれの関係を示す図である。
【図５】撮像画素と射出瞳の関係を示す図である。
【図６】デジタルスチルカメラの撮像動作を示すフローチャートである。
【図７】フレーム、各フレームの出力に同期して得られる焦点検出画素データおよび焦点距離データの関係と、記憶装置への記憶動作とについて説明するための図である。
【図８】データ加算による効果を示した図である。
【図９】過去の焦点検出画素データが、最新の焦点検出画素データをベースとして順次積算される処理を模式的に示した図である。
【図１０】撮像状態を分類した表である。
【図１１】撮像素子の詳細な構成を示す正面図である。
【発明を実施するための形態】
【０００８】
一実施の形態の撮像装置として、レンズ交換式のデジタルスチルカメラを例に挙げて説明する。図１は一実施の形態のデジタルスチルカメラの構成を示す横断面図である。本実施の形態のデジタルカメラ２０１は、交換レンズ２０２とカメラボディ２０３とから構成され、交換レンズ２０２がマウント部２０４を介してカメラボディ２０３に装着される。カメラボディ２０３にはマウント部２０４を介して種々の撮影光学系を有する交換レンズ２０２が装着可能である。
【０００９】
交換レンズ２０２は、レンズ２０９、ズーミング用レンズ２０８、フォーカシング用レンズ２１０、絞り２１１、レンズ駆動制御装置２０６などを備えている。レンズ駆動制御装置２０６は、不図示のマイクロコンピューター、メモリ、駆動制御回路などから構成される。レンズ駆動制御装置２０６は、フォーカシング用レンズ２１０の焦点調節と絞り２１１の開口径調節のための駆動制御や、ズーミング用レンズ２０８、フォーカシング用レンズ２１０および絞り２１１の状態検出などを行う。また、後述するボディ駆動制御装置２１４との通信によりレンズ情報の送信とカメラ情報（デフォーカス量や絞り値など）の受信を行う。絞り２１１は、光量およびボケ量調整のために光軸中心に開口径が可変な開口を形成する。
【００１０】
カメラボディ２０３は、撮像素子２１２、ボディ駆動制御装置２１４、液晶表示素子駆動回路２１５、液晶表示素子２１６、接眼レンズ２１７、メモリカード２１９などを備えている。撮像素子２１２には、撮像画素が二次元状（行と列）に配置されるとともに、焦点検出位置（焦点検出エリア）に対応した部分に焦点検出画素が組み込まれている。この撮像素子２１２については詳細を後述する。
【００１１】
ボディ駆動制御装置２１４は、マイクロコンピューター、メモリ、駆動制御回路などから構成される。ボディ駆動制御装置２１４は、撮像素子２１２の露光制御および撮像素子２１２からの画素信号の読み出しと、焦点検出画素の画素信号に基づく焦点検出演算と、交換レンズ２０２の焦点調節とを繰り返し行うとともに、画像信号の処理および記録、カメラの動作制御などを行う。また、ボディ駆動制御装置２１４は電気接点２１３を介してレンズ駆動制御装置２０６と通信を行い、レンズ情報の受信とカメラ情報の送信を行う。
【００１２】
液晶表示素子２１６は電気的なビューファインダー（ＥＶＦ：Electronic View Finder）として機能する。液晶表示素子駆動回路２１５は撮像素子２１２から読み出された画像データに基づき、スルー画像を液晶表示素子２１６に表示し、撮影者は接眼レンズ２１７を介してスルー画像を観察することができる。メモリカード２１９は、撮像素子２１２により撮像された画像データを記憶する画像ストレージである。
【００１３】
ＡＤ変換装置２２１は、撮像素子２１２からの出力される画素信号をＡＤ変換してボディ駆動制御装置２１４に送る。撮像素子２１２がＡＤ変換装置２２１を内蔵する構成であってもよい。
【００１４】
交換レンズ２０２を通過した光束により、撮像素子２１２上に被写体像が形成される。この被写体像は撮像素子２１２により光電変換され、撮像画素および焦点検出画素の画素信号がボディ駆動制御装置２１４へ送られる。
【００１５】
ボディ駆動制御装置２１４は、撮像素子２１２の焦点検出画素からの画素信号（焦点検出信号）に基づいてデフォーカス量を算出し、このデフォーカス量をレンズ駆動制御装置２０６へ送る。また、ボディ駆動制御装置２１４は、撮像素子２１２の撮像画素の画素信号（撮像信号）を処理して画像データを生成し、メモリカード２１９に格納するとともに、撮像素子２１２から読み出されたスルー画像信号を液晶表示素子駆動回路２１５へ送り、スルー画像を液晶表示素子２１６に表示させる。さらに、ボディ駆動制御装置２１４は、レンズ駆動制御装置２０６へ絞り制御情報を送って絞り２１１の開口制御を行う。
【００１６】
レンズ駆動制御装置２０６は、フォーカシング状態、ズーミング状態、絞り設定状態、絞り開放Ｆ値などに応じてレンズ情報を更新する。具体的には、ズーミング用レンズ２０８とフォーカシング用レンズ２１０の位置と絞り２１１の絞り値を検出し、これらのレンズ位置と絞り値に応じてレンズ情報を演算したり、あるいは予め用意されたルックアップテーブルからレンズ位置と絞り値に応じたレンズ情報を選択する。
【００１７】
レンズ駆動制御装置２０６は、受信したデフォーカス量に基づいてレンズ駆動量を算出し、レンズ駆動量に応じてフォーカシング用レンズ２１０を合焦位置へ駆動する。また、レンズ駆動制御装置２０６は受信した絞り値に応じて絞り２１１を駆動する。
【００１８】
記憶装置２２０は、後述する焦点検出画素データを過去複数フレーム分にわたって記憶する。ボディ駆動制御装置２１４は、撮像素子２１２から読み出される各フレームにおける焦点検出画素の画素データをこの記憶装置２２０に記憶させる。また、焦点検出画素の画素データを用いて焦点検出演算処理を行う際に、最新フレームの焦点検出画素の画素データの出力レベルが不足していた場合には、記憶装置２２０に記憶された過去の画素データと加算する。こうすることにより、焦点検出画素の画素データの出力レベルを適正にし、加算後の焦点検出画素の画素データを用いて後述する焦点検出処理を行う。
【００１９】
図２は、一実施の形態の撮影画面上の焦点検出位置、すなわち後述する焦点検出画素列が焦点検出の際に撮影画面上で被写体像をサンプリングする領域（焦点検出エリア）を示す。この一実施の形態では、撮影画面１００の中央に焦点検出エリア１０１が配置される。長方形で示す焦点検出エリア１０１の長手方向に焦点検出画素が直線的に配列される。
【００２０】
図３は撮像素子２１２の詳細な構成を示す正面図であり、撮像素子２１２上の上述した焦点検出エリア１０１近傍に対応する領域を拡大したものである。図３において、縦横（画素の行と列）は図２の撮影画面１００の縦横に対応している。撮像素子２１２は撮像用の撮像画素３１０と焦点検出用の焦点検出画素３１２、３１３とを有している。焦点検出エリア１０１に対応する領域には、焦点検出画素３１２、３１３が交互に水平方向に配列されている。焦点検出画素３１２、３１３は、撮像画素３１０のＢとＧが配置されるべき行に直線的に配置され、焦点検出画素列を形成している。
【００２１】
撮像画素３１０は、マイクロレンズ１０、光電変換部１１、不図示の色フィルタを有している。色フィルタは赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３種類からなり、それぞれの色に対応する分光感度特性を有している。撮像素子２１２には、このような各色フィルタを備えた撮像画素３１０がベイヤー配列されている。
【００２２】
焦点検出画素３１２は、マイクロレンズ１０と光電変換部１２とを有している。光電変換部１２の形状は、マイクロレンズ１０の垂直２等分線に左辺を略接する長方形状である。焦点検出画素３１３は、マイクロレンズ１０と光電変換部１３とを有している。光電変換部１３の形状は、マイクロレンズ１０の垂直２等分線に右辺を略接する長方形状である。光電変換部１２、１３はマイクロレンズ１０を基準として重ね合わせて表示した場合、左右水平方向に並んでおり、マイクロレンズ１０の垂直２等分線に関して対称な形状をしている。焦点検出画素３１２と焦点検出画素３１３とは、水平方向すなわち光電変換部１２と１３との並び方向に交互に配置される。
【００２３】
焦点検出画素３１２、３１３には光量をかせぐために色フィルタが配置されておらず、焦点検出画素３１２、３１３は、光電変換を行うフォトダイオードの分光感度特性と、赤外カットフィルタ（不図示）の分光感度特性とを総合した分光感度特性を有している。すなわち、焦点検出画素３１２、３１３の分光感度特性は、緑画素、赤画素および青画素の分光感度特性を加算したような分光感度特性となり、焦点検出画素３１２、３１３が高い感度を示す光波長領域は、緑画素、赤画素および青画素の各々において各色フィルタが高い感度を示す光波長領域を包括している。
【００２４】
撮像用画素３１０の光電変換部１１は、マイクロレンズ１０により最も明るい交換レンズの射出瞳（例えばＦ１．０）を通過する光束をすべて受光するような形状に設計される。一方、焦点検出画素３１２、３１３の光電変換部１２、１３は、マイクロレンズ１０により交換レンズの射出瞳の所定の領域（例えばＦ２．８）を通過する光束を受光するような形状に設計される。焦点検出画素３１１を用いて、特開２００８−８５７３８号公報に開示される瞳分割方式の焦点検出を行うことができる。
【００２５】
上述したような２種類の焦点検出画素を直線状に多数配置し、各画素の光電変換部の出力を、特開２００８−８５７３８号公報に開示される一対の測距瞳に対応した出力グループにまとめることによって、一対の測距瞳を通過する一対の焦点検出光束が画素列上に形成する一対の像の強度分布に関する情報が得られる。この情報に対して後述する像ズレ検出演算処理（相関演算処理、位相差検出処理）を施すことによって、いわゆる瞳分割型位相差検出方式で一対の像の像ズレ量が検出される。なお、一対の測距瞳の並び方向は、一対の光電変換部１２、１３の並び方向、すなわち焦点検出画素３１２、３１３の並び方向と一致する。
【００２６】
さらに、像ズレ量に一対の測距瞳の重心間隔に応じた変換演算を行うことによって、予定結像面（マイクロレンズアレイの位置）に対する現在の結像面（撮影画面１００上での焦点検出位置における実際の結像面）の偏差（デフォーカス量）が算出される。実際には測距瞳は絞り開口によって制限された形状と大きさになる。
【００２７】
図４は、瞳分割型位相差検出方式におけるデフォーカスと像ずれの関係を示す図である。図４(ａ)において、光学系の射出瞳面９０において測距瞳９２、９３に分割され、像を形成する光束は測距瞳９２を通過する光束７２と、測距瞳９３を通過する光束７３に分割される。このような構成により、例えば光軸９１上にあり図４の紙面に垂直な方向の線パターン（黒地に白線）を光学系により結像させた場合、合焦面Ｐ０においては測距瞳９２を通過する光束７２と測距瞳９３を通過する光束７３とは、図４(ｃ)に示すように光軸９１上の同じ位置に高コントラストな線像パターンを形成する。
【００２８】
合焦面Ｐ０より前方の面Ｐ１においては、測距瞳９２を通過する光束７２と測距瞳９３を通過する光束７３は、図４(ｂ)に示すように異なる位置にぼけた線像パターンを形成する。また、合焦面Ｐ０より後方の面Ｐ２においては、測距瞳９２を通過する光束７２と測距瞳９３を通過する光束７３は、図４(ｄ)に示すように図４(ｂ)とは反対方向の異なる位置にぼけた線像パターンを形成する。測距瞳９２を通過する光束７２と測距瞳９３を通過する光束７３とにより形成される２つの像を分離して検出する。２つの像の相対的な位置関係（像ズレ量）を算出することにより、２つの像を検出した面における光学系の焦点調節状態（デフォーカス量）を検出できる。
【００２９】
図５は撮像画素と射出瞳の関係を示す図である。光学系の射出瞳面９０は、光学系の予定結像面近傍に配置されたマイクロレンズ７０から測距瞳距離ｄだけ離間した位置にある。マイクロレンズ７０の背後の撮像画素の光電変換部７１は、半導体回路基板２９上に形成され、撮像光束８１を受光する。領域９４は、マイクロレンズ７０により光電変換部７１の形状が投影された投影形状が形成する領域である。なお、図５では光軸９１上にある撮像画素（マイクロレンズ７０と光電変換部７１とを有する）を模式的に例示したが、その他の撮像画素においても光電変換部はそれぞれ領域９４から各マイクロレンズに到来する光束を受光する。
【００３０】
光電変換部７１は、領域９４を通過し、マイクロレンズ７０に向かう撮像光束８１によりマイクロレンズ７０上に形成される像の強度に対応した信号を出力する。上述したような撮像画素を二次元状に多数配置し、各画素の光電変換部の出力する信号に基づいて画像データが得られる。なお、上述した説明では領域９４は絞り開口によって制限されていない状態として説明したが、実際には領域９４は絞り開口によって制限された形状と大きさになる。
【００３１】
図６は、一実施の形態のデジタルスチルカメラ２０１の撮像動作を示すフローチャートである。ボディ駆動制御装置２１４は、ステップＳ１００でデジタルスチルカメラ２０１の電源がオンされると、ステップＳ１１０以降の撮像動作を開始する。ステップＳ１００において撮像素子２１２は、ボディ駆動制御装置２１４により、一定周期で撮像動作を繰り返す動作モードに設定される。この動作モードにおいて、撮像素子２１２は、例えば１秒間に６０フレームを出力する。
【００３２】
ステップＳ１１０において、ボディ駆動制御装置２１４は、フレームの出力に同期してレンズ駆動制御装置２０６と通信を行い、交換レンズ２０２の焦点距離データを取得し、該焦点距離データを記憶装置２２０に記憶させる。
【００３３】
ステップＳ１２０では、ボディ駆動制御装置２１４は、フレームの出力に同期して撮像素子２１２から１フレーム分の全画素データを読み出す。
【００３４】
ステップＳ１３０では、焦点検出画素列の各画素位置における仮想的な撮像画素のデータ（撮像信号）を焦点検出画素の周囲の撮像画素のデータに基づいて画素補間する。
【００３５】
例えば本来緑画素が配置されるべき位置に配置された焦点検出画素については、その焦点検出画素の対角方向の４つの位置に近接した４つの緑色の撮像画素のデータを平均して、該焦点検出画素の位置における緑色の撮像画素のデータとする。また本来青画素が配置されるべき位置に配置された焦点検出画素については、その焦点検出画素の上下方向の２つの位置に近接した２つの青色の撮像画素のデータを平均して、該焦点検出画素の位置における青色の撮像画素のデータとする。
【００３６】
このようにして焦点検出画素の位置における補間により得られた撮像画素データと、各撮像画素の位置における本来の撮像画素データとを合成して、今回のフレームに対応する画像データを生成する。ボディ駆動制御装置２１４は、例えば１秒間に６０フレームのフレームレートで時系列的に連続して生成されるフレームの画像データに基づくスルー画像を、液晶表示素子２１６に表示させるように、液晶表示素子駆動回路２１５を制御する。
【００３７】
ステップＳ１４０では、ボディ駆動制御装置２１４は、今回のフレームに対応する画像データを電子ビューファインダーに表示（ライブビュー表示）させる。
【００３８】
ステップＳ１５０では、ボディ駆動制御装置２１４は、、今回読み出した画像データ中の焦点検出画素のデータを、焦点距離データと関連付けて記憶装置２２０に記憶させる。
【００３９】
ここでフレーム、各フレームの出力に同期して得られる焦点検出画素データおよび焦点距離データの関係と、記憶装置２２０（リングバッファ）への記憶動作とについて図７を用いて説明する。
【００４０】
図７の上半分は横軸に時間をとった場合における、最新のフレームＮから過去７フレームまで（フレーム（Ｎ−７）まで）における焦点検出画素データＩ（Ｎ）〜Ｉ（Ｎ−７）と焦点距離データＦ（Ｎ）〜Ｆ（Ｎ−７）の対応関係を示している。その対応関係は、図７の下半分に示すように、リングバッファを構成する記憶装置２２０のメモリ領域に各々関連付けられて記憶される。ポインターは最新の焦点検出画素データと焦点距離データが格納されているメモリ領域の位置（アドレス）を示す。
【００４１】
なお、過去フレームは過去７フレームまで遡ることとしたのは、上述したようにフレームレートが６０フレーム／秒のとき、過去８フレームまで遡ると１２０ｍｓ以上も過去に遡ることとなり、暗電流の影響が無視できなくなることが考えられるためである。したがって、たとえば、暗電流の影響が無視できる範囲であれば、あるいはフレームレートによっては、必ずしも過去７フレームまで遡ることに限定しなくても良い。
【００４２】
ステップＳ１６０〜ステップＳ１８０では、最新の焦点検出画素データのデータレベルが不足している場合には、過去の焦点検出画素データとの加算を行ってデータレベルが適正になるように調整し、適正なデータレベルになった加算後の焦点検出画素データを用いて焦点検出演算を行う。
【００４３】
ステップＳ１６０では、焦点検出画素データが所定条件を満たしている場合、すなわち焦点検出画素データが後述する像ズレ検出演算処理に適したレベルに達している場合、またはステップＳ１８０の積算が過去７フレーム分まで行われていた場合には、積算処理を抜けてステップＳ１９０に進む。ここで焦点検出画素データは、最初は最新フレームの焦点検出画素データであるが、積算処理後は積算後の焦点検出画素データに更新されることとなる。図中の最終データとは、最も古い焦点検出画素データＩ（Ｎ−７）を指す。
【００４４】
図８は横軸を焦点検出画素位置、縦軸を焦点検出画素データのデータレベルとして、データ加算による効果を示した図である。まず今回フレームの焦点検出画素データの最大値を検出する。該最大値が閾値を超えていない場合には、記憶装置２２０から前回の焦点検出画素データを読み出して加算する。加算した焦点検出画素データ（加算データ）の最大値が閾値を超えていない場合にはさらに前々回の焦点検出画素データを加算する。このような加算演算を加算データの最大値が閾値を超えるまで繰り返すことにより、加算データは焦点検出演算処理に適したデータレベルに達する。
【００４５】
なお、この閾値は、例えばＡＤ変換のダイナミックレンジの最大値の１／２であるが、例えば平均値であっても、加算データの最大値がＡＤ変換のダイナミックレンジの最大値を超えず、かつ画素信号値の飽和値に達しなければよいし、他の条件値であってもよい。この閾値を大きくし過ぎると加算時間が大きくなり、加算時間の間にフレーム内の被写体位置が変化するなどの撮像状態の変化が生じやすくなり、積算処理による高精度な焦点検出を阻害しうる。閾値を小さくし過ぎると、加算データが焦点検出演算処理に適したデータレベルに達しないこととなりうる。したがって、それらを考慮した条件値を実験により定めて閾値とすることが好ましい。
【００４６】
このデジタルスチルカメラ２０１では、上述したようにフレームレートが固定値（６０フレーム／秒）に固定されているために、撮像素子２１２の露光時間は１／６０秒以上にすることができない。焦点検出画素データのデータレベルを増大させるためにフレームレートを小さくすると、焦点検出画素と撮像画素とが混在して配置される撮像素子２１２において、撮像画素データの読み出し間隔も同じフレームレートになるため好ましくない。したがって、撮像画素データの読み出し間隔に適したフレームレートとしたとき、低輝度においては１フレーム分の焦点検出画素データは低レベルとなって焦点検出不能に陥る可能性があるので、このような積算処理は高精度な焦点検出を行うために有効である。
【００４７】
ステップＳ１６０において積算が過去７フレーム分まで達しておらず、かつ、焦点検出画素データが後述する像ズレ検出演算処理に適したレベルに達していない場合にはステップＳ１７０に進む。
【００４８】
ステップＳ１７０においては、ボディ駆動制御装置２１４は、今回（最新）の焦点検出画素データが得られた時の焦点距離データと、過去の焦点検出画素データが得られた時の焦点距離データとを記憶装置２２０から読み出して比較する。すなわち最新の焦点距離データと過去の焦点距離データとの差の絶対値が閾値を超えているか否かを判定し、閾値を超えていた場合にはステップＳ１６０に戻り、閾値を超えていない場合にはステップＳ１８０に進む。最新の焦点距離データと過去の焦点距離データとの差の絶対値が閾値を超えていない場合とは、最新フレームと過去フレームの焦点距離の変化が小さい場合であり、撮像状態の変化が少ない場合に含まれる。
【００４９】
なお、この閾値は、大きくし過ぎると、加算対象の過去フレームの中には、焦点距離が大きく相異なる条件で撮像された複数の過去フレームが含まれるようなことが生じうる。すなわち、それらの複数の過去フレーム間で撮像状態の変化が生じやすくなり、積算処理による高精度な焦点検出を阻害しうる。閾値を小さくし過ぎると、加算データが焦点検出演算処理に適したデータレベルに達しないこととなりうる。したがって、それらを考慮した条件値を実験により定めて閾値とすることが好ましい。
【００５０】
ステップＳ１８０において、ステップＳ１７０の条件を満足した焦点距離データと関係づけられた焦点検出画素データが、最新の焦点検出画素データに順次積算され、ステップＳ１６０に戻る。
【００５１】
図９は上述の処理を模式的に表した図であって、最新フレームＮから最終フレーム（Ｎ−７）までの焦点検出画素データＩ（Ｎ）〜Ｉ（Ｎ−７）および焦点距離データＦ（Ｎ）〜Ｆ（Ｎ−７）の対応関係、ならびに過去の焦点検出画素データＩ（Ｎ−１）〜Ｉ（Ｎ−７）の積算の許可（○）、禁止（×）の対応関係を示している。図９に示すように、最新フレームの焦点距離データＦ（Ｎ）との差の絶対値が閾値ΔＦを超える焦点距離データＦ（Ｎ−６）、Ｆ（Ｎ−７）に対応した焦点検出画素データＩ（Ｎ−６）、Ｉ（Ｎ−７）は、積算に用いられない。
【００５２】
ステップＳ１６０〜ステップＳ１８０の処理ループにおいて、過去のデータ（焦点検出画素データ、焦点距離データ）は、記憶装置２２０のアドレスを示すポインターに従って前回フレーム（Ｎ−１）→前々回フレーム（Ｎ−２）→・・・最終フレーム（Ｎ−７）の順番で読み出されて処理される。例えば図９に示すようなケースにおいては、上述したように、焦点検出画素データＩ（Ｎ−６）、Ｉ（Ｎ−７）は積算に用いられないため、最終的に得られる焦点検出画素データはＩ（Ｎ）＋Ｉ（Ｎ−１）＋Ｉ（Ｎ−２）＋Ｉ（Ｎ−３）＋Ｉ（Ｎ−４）＋Ｉ（Ｎ−５）となる。
【００５３】
なおステップＳ１７０において、最新の焦点距離データと過去の焦点距離データとの差の絶対値が閾値を超えていた場合にはステップＳ１６０に戻っていたが、処理ループを抜けてステップＳ１９０に進むようにしてもよい。
【００５４】
ステップＳ１９０ではステップＳ１６０〜ステップＳ１８０の積算処理ループで得られた焦点検出画素データ（最新の焦点検出画素データが適正レベルに達していた場合には積算なし）に基づき後述する焦点検出演算処理を行い、焦点検出エリアにおけるデフォーカス量を算出する。
【００５５】
ステップＳ２００では合焦（デフォーカス量の絶対値が予め定められた閾値以下）か否かを判定し、合焦の場合にはステップＳ２２０に進み、非合焦の場合はステップＳ２１０に進む。
【００５６】
ステップＳ２１０では、ボディ駆動制御装置２１４は、デフォーカス量をレンズ駆動制御装置２０６へ送信し、交換レンズ２０２のフォーカシング用レンズ２１０を合焦位置に駆動させる。ボディ駆動制御装置２１４は、デフォーカス量の信頼性が低い場合や焦点検出不能の場合にはその旨をレンズ駆動制御装置２０６へ送信し、交換レンズ２０２のフォーカシング用レンズ２１０の駆動制御は更新しない。その後、ステップＳ２２０に進む。
【００５７】
ステップＳ２２０では不図示の操作手段による撮影の指示がなされているか否かを判定する。撮影の指示がなされていない場合には、ステップＳ１８０に戻り、撮影の指示がなされていた場合には、ステップＳ２３０で今回のフレームに対応する画像データをメモリカード２１９に記憶させてステップＳ１１０に戻る。
【００５８】
図６のステップＳ１９０で用いられる一般的な像ズレ検出演算処理（相関演算処理）としては、特開２００７−３３３７２０号公報に開示された相関演算処理を用いる。焦点検出画素が検出する一対の像は、測距瞳がレンズの絞り開口により口径蝕を受けて光量バランスが崩れている可能性があるので、光量バランスに対して像ズレ検出精度を維持できるタイプの相関演算を施す。
【００５９】
焦点検出画素列から読み出された一対のデータ列（Ａ１１〜Ａ１Ｍ、Ａ２１〜Ａ２Ｍ：Ｍはデータ数）に対し、特開２００７−３３３７２０号公報に開示された相関演算式（１）を用い、相関量Ｃ（ｋ）を演算する。なお、一対のデータ列（Ａ１１〜Ａ１Ｍ、Ａ２１〜Ａ２Ｍ）は、上述したように、演算に用いられる焦点検出画素データが積算後の焦点検出画素データの場合も含んでいる。
Ｃ（ｋ）＝Σ｜Ａ１ｎ×Ａ２ｎ＋１＋ｋ−Ａ２ｎ＋ｋ×Ａ１ｎ＋１｜ （１）
【００６０】
Σ演算はｎについて累積される。ｎのとる範囲は、像ずらし量ｋに応じてＡ１ｎ、Ａ１ｎ＋１、Ａ２ｎ＋ｋ、Ａ２ｎ＋１＋ｋのデータが存在する範囲に限定される。像ずらし量ｋは整数であり、データ列のデータ間隔を単位とした相対的シフト量である。
【００６１】
特開２００９−１４１７９１号公報に開示された算出方法によると、相関量Ｃ（ｋ）の極小値Ｃ（ｋｓ）を与える像ずらし量ｋｓを用いて、式（２）により、像ズレ量ｓｈｆｔを算出することができる。式（２）において、ＰＹは焦点検出画素の画素ピッチの２倍（検出ピッチ）である。
ｓｈｆｔ＝ＰＹ×ｋｓ （２）
【００６２】
式（２）で算出された像ズレ量に所定の変換係数Ｋｄを乗じてデフォーカス量ｄｅｆへ変換する。なお変換係数Ｋｄは焦点検出画素が受光する一対の光束の開き角に対応しており、測距瞳距離ｄを一対の測距瞳の重心間隔で除算した値に相当する。
ｄｅｆ＝Ｋｄ×ｓｈｆｔ （３）
【００６３】
以上のように本発明においては、過去フレームの焦点検出画素データを取得した時の焦点距離データが、最新フレームの焦点検出画素データを取得した時の焦点距離データとかけ離れていた場合には、過去フレームの焦点検出画素のデータを積算することを禁止する。これにより、倍率の異なる像を重ね合わせた焦点検出画素データを用いて焦点検出を行うことによって生じる焦点検出誤差の増大または焦点検出不能といった問題を回避することができる。最新フレームの焦点検出画素データを取得した時の焦点距離データとかけ離れていない範囲の焦点距離データに対応する過去フレームの焦点検出画素データは積算される。これらの結果として、高精度な焦点検出が可能になる。
【００６４】
上述した実施形態においては、画面中央の１カ所の焦点検出エリアにおける焦点検出画素データを用いて焦点検出を行っているが、これに限定されることはない。画面上に複数の焦点検出エリアを設け、これら複数の焦点検出エリアのうちの１つを選択して焦点検出を行ったり、複数の焦点検出エリアにおいて同時に焦点検出を行うようにしてもよい。
【００６５】
上述した実施形態においては、過去フレームの焦点検出画素データの積算を禁止する条件として焦点距離の変化を挙げているが、これに限定されるものではなく、焦点検出に影響を及ぼす種々の撮像状態（撮像条件）を適用することができる。
【００６６】
図１０はこのような撮像状態を分類した表であって、交換レンズ２０２の有する撮影光学系の光学特性としては焦点距離の他、絞り開口Ｆ値（絞り開口径）、フォーカシング用レンズ２１０の位置（予定結像面からフォーカシング用レンズ２１０までの距離）、ＰＯ値（射出瞳距離）などがある。
【００６７】
絞り開口Ｆ値が変化した場合には、式（３）における変換係数Ｋｄが変化するため、同一のデフォーカス量であっても像ズレ量が変化することとなり、過去の焦点検出画素データを積算するのは好ましくない。
【００６８】
焦点検出画素データの加算処理の間にユーザーがフォーカシング用レンズ２１０の位置を変更することが考えられる。フォーカシング用レンズ２１０の位置が異なっていた場合には、そもそもデフォーカス量が変化しているので、過去の焦点検出画素データを積算するのは好ましくない。
【００６９】
ボディ駆動制御装置２１４は、レンズ駆動制御装置２０６からＰＯ値を取得することができる。撮影光学系の焦点距離、絞り開口Ｆ値、あるいはフォーカシング用レンズ２１０の位置が変化すると、射出瞳距離、すなわちＰＯ値も変化しうる。ＰＯ値が異なっていた場合には、１つまたは複数の焦点検出画素が受光する一対の光束の開き角に対応した変換係数Ｋｄは変化しているので、過去の焦点検出画素データを積算するのは好ましくない。
【００７０】
ボディ駆動制御装置２１４は、上記絞り開口Ｆ値（絞り開口径、）、フォーカシング用レンズ２１０の位置、ＰＯ値（射出瞳距離）のデータを通信によりレンズ駆動制御装置２０６から受信する。
【００７１】
ボディ駆動制御装置２１４は、デジタルスチルカメラ２０１の姿勢情報に応じて、過去フレームの焦点検出画素データの積算を禁止するようにしてもよい。
【００７２】
ボディ駆動制御装置２１４は、不図示の姿勢センサーの検出した姿勢データを用いることにより、最新フレームと過去フレームとの間の姿勢変化（構図変更）を検出する。構図変更のような姿勢変化は、多くの場合、ユーザーによるデジタルスチルカメラ２１０の構え、向きの変化により生じるものであり、すなわちユーザーの意図したデジタルスチルカメラ２１０の動きによるものである。姿勢センサーは、例えば鉛直センサー、方位センサー、角速度センサーである。姿勢変化検出の結果、大きな構図変更があったと判断した場合には、異なるフレームにおいて焦点検出画素が異なる像を受光していると判断して、過去の焦点検出画素データの積算を禁止する。
【００７３】
デジタルスチルカメラ２０１の姿勢情報には、上述した姿勢センサーの検出した姿勢データの他に、不図示のブレ検出センサーのブレデータも含まれる。ブレはユーザーの意図しないデジタルスチルカメラ２１０の動きによるものである。ボディ駆動制御装置２１４は、ブレ検出センサーの検出したブレデータを用いることにより、過去フレームのブレ量が閾値を超えた場合には、過去の焦点検出画素データの積算を禁止する。ブレ像を積算しても焦点検出精度が低下するからである。
【００７４】
ボディ駆動制御装置２１４は、撮像対象となる被写体の情報に応じて、過去フレームの焦点検出画素データの積算を禁止するようにしてもよい。
【００７５】
上述した姿勢データまたはブレデータが変化するような場合は、多くの場合、最新フレームと過去フレームとの間の輝度変化が生じることとなる。ボディ駆動制御装置２１４は、例えば不図示の測光センサーに被写体輝度を検出させて、最新フレームと過去フレームとの間の輝度変化が大きい場合には、過去フレームの焦点検出画素データの積算を禁止する。撮影状況が大きく変化しており、過去の焦点検出画素データを積算しても焦点検出精度が低下するからである。
【００７６】
ボディ駆動制御装置２１４は、フレーム画像から画像処理により特定パターンの部分画像（顔画像など）を抽出して、フレーム画像におけるその部分画像の位置を検出するようにし、その位置変化が大きい場合、すなわち位置変化量が閾値を超える場合には過去フレームの焦点検出画素データの積算を禁止する。過去の焦点検出画素データを積算しても焦点検出精度が低下するからである。
【００７７】
なお、水平方向の位置変化量と垂直方向の位置変化量とで相異なる閾値を用いることとしてもよい。例えば、水平方向の位置変化量の閾値を１画素とし、垂直方向の位置変化量の閾値を０画素とする。
【００７８】
ボディ駆動制御装置２１４は、前回フレームで算出したデフォーカス量と今回フレームで算出したデフォーカス量との差をフレーム間隔で割ることによりフレーム毎の像面移動速度を算出する。過去フレームの像面移動速度が閾値を超えた場合は、過去フレームの焦点検出画素データの積算を禁止する。像面移動速度が閾値を超えたフレームでは、被写体の光軸方向の移動量が大きく、過去の焦点検出画素データを積算しても焦点検出精度が低下するからである。
【００７９】
また、デジタルスチルカメラ２０１は、低輝度時にＡＦ（オートフォーカス）補助光を照明する不図示の照明手段を備え、ボディ駆動制御装置２１４は、最新フレームの照明の有無と過去フレームの照明の有無とが一致しない場合には、過去フレームの焦点検出画素データの積算を禁止する。過去の焦点検出画素データを積算しても焦点検出精度が低下するからである。
【００８０】
ボディ駆動制御装置２１４は、撮像素子２１２の制御情報（動作モード）に応じて、過去フレームの焦点検出画素データの積算を禁止するようにしてもよい。
【００８１】
撮像素子２１２が複数の画素信号の読み出しモードを有する際には、読み出しモードに応じて焦点検出画素データの検出ピッチや加算状態が異なる。画素信号の読み出しモードは、例えば、特開２００９−１２８８９２号公報に開示される全画素読み出しモードおよび間引き読み出しモード、ならびに特開２００９−８６４２４号公報に開示される加算読み出しモードである。最新フレームの読み出しモードと過去フレームの読み出しモードとが一致しない場合には、ボディ駆動制御装置２１４は、過去フレームの焦点検出画素データの積算を禁止する。過去の焦点検出画素データを積算しても焦点検出精度が低下するからである。
【００８２】
撮像素子２１２から出力される画素信号の増幅度が異なる場合には、焦点検出画素データに加わるノイズの状態が異なる。最新フレームの増幅度と過去フレームの増幅度の相違が大きい場合には、ボディ駆動制御装置２１４は、過去フレームの焦点検出画素データの積算を禁止する。過去の焦点検出画素データを積算しても焦点検出精度が低下するからである。
【００８３】
上記の撮像素子２１２の動作モードはユーザーにより手動で変更される場合がある。例えば撮像素子２１２の感度設定の変更に応じて画素信号の増幅度が変更される。
【００８４】
上記のように撮像状態の変化に応じて過去フレームの焦点検出画素データの積算を禁止する際に、図１０のように最新のフレームの撮像状態データと過去の撮像状態データとの偏差が閾値を超えることによって各種撮像状態の変化について判定しているが、その閾値は実験により定められる。
【００８５】
図１０に示す種々の撮像状態のうちの複数の組合せに基づき、図６のステップＳ１７０における閾値判定を行ってもよい。例えば、ボディ駆動制御装置２１４は、今回フレームおよび過去フレームの焦点距離データの偏差の絶対値と、今回フレームおよび過去フレームの姿勢データの偏差の絶対値とのうちのいずれか一方が閾値を超えたとき、撮像状態が変化したと判定する。焦点距離データの偏差の絶対値についての閾値Ｔｆと、姿勢データの偏差の絶対値の閾値Ｔａとを関連付けて変化させるようにしてもよい。例えば、焦点距離データおよび姿勢データのいずれか一方のみが変化した場合は、Ｔｆ＝Ｔ１およびＴａ＝Ｔ２とし、焦点距離データおよび姿勢データの両方が変化した場合は、双方の閾値に５０％ずつの重み付けを行い、Ｔｆ＝（Ｔ１）／２およびＴａ＝（Ｔ２）／２としてもよい。
【００８６】
各種撮像状態の変化に応じて過去フレームの焦点検出画素データの積算を禁止する際に、ボディ駆動制御装置２１４は、図１０に示すように、最新のフレームの撮像状態データと過去の撮像状態データとの偏差が閾値を超えることによって、各種撮像状態の変化を判定している。ボディ駆動制御装置２１４は、最新のフレームの撮像状態データと過去の撮像状態データとが異なることで各種撮像状態の変化を判定するようにしてもよい。例えば絞り開口Ｆ値が１段毎に離散的に変化する場合（Ｆ１．４、Ｆ２．０、Ｆ２．８・・）には、ボディ駆動制御装置２１４は、１段の変化をもって閾値を超えたと判定する。すなわち絞り開口Ｆ値が異なることにより撮像状態の変化を判定する。
【００８７】
上述した実施形態においては、ボディ駆動制御装置２１４は、過去７回のフレームにおける焦点検出画素データと撮像状態データとをペアで記憶装置２２０に記憶させておき、過去フレームにおける焦点検出画素データの積算の可否を該焦点検出画素データに対応する撮像状態データに基づいて判定しているが、このような方法に限定されるものではない。
【００８８】
ボディ駆動制御装置２１４は、撮像状態データに基づいて積算処理に利用できない焦点検出画素データについては、記憶装置２２０に記憶させないようにすることもできる。例えばブレが大きいと判定されたフレームの焦点検出画素データを記憶装置２２０に記憶させないようにしておけば、記憶装置２２０のメモリ領域が有効に利用できる。
【００８９】
ボディ駆動制御装置２１４は、最新フレームにおける撮像状態データとの偏差が閾値を超える撮像状態データに対応する焦点検出画素データと、該焦点検出画素データより古い過去の焦点検出画素データとを、新しい焦点検出画素データが取得される毎に積算処理対象から除外することとしてもよい。そうした除外の際に、ボディ駆動制御装置２１４は、いずれの過去フレームの焦点検出画素データまで遡って積算処理に利用できるかを示す、最も古い焦点検出画素データに対応する有効フレーム番号を更新することとしてもよい。該有効フレーム番号までの過去フレームの焦点検出画素データを対象として積算処理を行うことにより、図６のループ処理（ステップＳ１６０〜１８０）の簡素化と処理時間の短縮化を図ることができる。図９に示す例では、焦点検出画素データＩ（Ｎ−５）のフレーム番号（Ｎ−５）を有効フレーム番号として、次の焦点検出画素データＩ（Ｎ＋１）についての積算処理の際に用いることとなり、焦点検出画素データＩ（Ｎ−６）が積算処理対象から除外される。
【００９０】
上述した実施形態においては、ボディ駆動制御装置２１４は、撮像素子２１２から出力される焦点検出画素データをそのまま記憶装置２２０に記憶させるとともに、該焦点検出画素データを用いて像ズレ検出処理を行っているが、これに限定されることはない。
【００９１】
例えば、ボディ駆動制御装置２１４は、焦点検出画素データに対して像の高周波成分を除去するデジタルフィルタ処理（加算平均フィルタ）や像の低周波成分を除去するデジタルフィルタ（差分フィルタ）を行って像ズレ検出に悪影響を及ぼす周波数成分を取り除いてもよい。ボディ駆動制御装置２１４は、そのようにして像ズレ検出に悪影響を及ぼす周波数成分を取り除くとともに、フィルタリングされた焦点検出画素データを記憶装置２２０に記憶させ、該フィルタリングされた焦点検出画素データを用いて像ズレ検出処理を行うようにしてもよい。
【００９２】
ボディ駆動制御装置２１４は、焦点検出画素データに対して所謂感度バラツキ補正処理や暗電流バラツキ補正処理を行うとともに、補正処理後の焦点検出画素データを記憶し、該補正処理後の焦点検出画素データを用いて像ズレ検出処理を行うようにしてもよい。
【００９３】
ボディ駆動制御装置２１４は、焦点検出画素データに対して行う上記フィルタリング処理や各画素毎の特性バラツキ補正処理のような画像処理の内容を撮影状況に応じて変更することとしてもよい。そのような変更の際には、画像処理後の焦点検出画素データと画像処理の内容とをペアで記憶装置２２０に記憶させる。最新フレームの画像処理の内容と過去フレームの画像処理の内容とが異なっていた場合には、過去フレームの焦点検出画素データの積算を禁止するようにしても良い。過去フレームの焦点検出画素データの積算により焦点検出誤差を生じる虞があるからである。例えば低輝度時のみ暗電流バラツキ補正処理を行う条件で、最新フレームの暗電流バラツキ補正処理の有無と過去フレームの暗電流バラツキ補正処理の有無とが相違していた場合には、過去フレームの焦点検出画素データの積算を禁止する。
【００９４】
本発明は瞳分割型位相差検出用の焦点検出画素を備える撮像素子に限定されるものではなく、所謂コントラスト検出に用いられる焦点検出画素を備える撮像素子にも適用することができる。
【００９５】
《一実施の形態の変形例》
図１１は変形例の撮像素子２１２Ａの詳細な構成を示す正面図である。図３に示す撮像素子２１２は、一対の焦点検出画素３１２、３１３を有していた。これに対し図１１に示す撮像素子２１２Ａでは、焦点検出画素３１１が１つのマイクロレンズのもとに一対の光電変換部を備えた画素構造を有する。図１１は撮像素子２１２Ａ上のひとつの焦点検出エリアに対応する領域の近傍を拡大した図であり、縦横は図２に示す撮像画面の縦横と対応している。この変形例の撮像素子２１２Ａは、撮像用の撮像画素３１０と焦点検出用の焦点検出画素３１１を有する。
【００９６】
焦点検出画素３１１はマイクロレンズ１０、一対の光電変換部１２，１３を有する。焦点検出画素３１１を用いた瞳分割方式の焦点検出方法の基本原理は、特開２００８−８５７３８号公報に開示されるように、図３に示す一対の焦点検出画素３１２、３１３を用いた瞳分割方式の焦点検出方法と同様である。一対の光電変換部はそれぞれ一対の測距瞳から各マイクロレンズに到来する光束を受光する。焦点検出画素３１１の配列方向は一対の測距瞳の並び方向、すなわち一対の光電変換部の並び方向と一致させる。
【００９７】
上記のような焦点検出画素３１１を直線状に多数配置し、各画素の一対の光電変換部１２、１３の出力を一対の測距瞳に対応した出力グループにまとめることによって、一対の測距瞳を通過する一対の焦点検出光束が焦点検出画素列上に形成する一対の像の強度分布に関する情報が得られる。
【００９８】
上述した実施形態における撮像素子では焦点検出画素が白色フィルタを備えた例を示したが、撮像画素と同じ色フィルタ（例えば緑フィルタ）を備えるようにした場合にも本発明を適用することができる。
【００９９】
例えば図１１に示した焦点検出画素３１１のみを２次元に配列して撮像素子を構成するとともに、２次元に配置された焦点検出画素がベイヤー配列した色フィルタを有するようにしてもよい。このような構成においては、撮像時は焦点検出画素の一対の光電変換部のデータを加算することにより、撮像画素と同等のデータを算出することが可能である。焦点検出時は同色の焦点検出画素同士で相関演算を行うことにより、色別の焦点検出結果を得ることが出来、輝度のみではコントラストが出ないような場合にも焦点検出が可能になる。
【０１００】
上述した実施形態においては、撮像素子としてＣＣＤイメージセンサ、ＣＭＯＳイメージセンサを用いることができる。
【０１０１】
上述した実施形態における撮像素子では撮像画素がベイヤー配列の色フィルタを備えた例を示したが、色フィルタの構成や配列はこれに限定されることはない。例えば、補色フィルタ（緑：Ｇ、イエロー：Ｙｅ、マゼンタ：Ｍｇ，シアン：Ｃｙ）の配列やベイヤー配列以外の配列にも本発明を適用することができる。また色フィルタを備えないモノクロの撮像素子にも本発明を適用することができる。
【０１０２】
なお、撮像装置としては、上述したような、カメラボディに交換レンズが装着される構成のデジタルスチルカメラに限定されない。例えば、レンズ一体型のデジタルスチルカメラあるいはビデオカメラにも本発明を適用することができる。さらには、携帯電話などに内蔵される小型カメラモジュール、監視カメラやロボット用の視覚認識装置、車載カメラなどにも適用できる。
【符号の説明】
【０１０３】
１０、７０ マイクロレンズ、１１、１２、１３、７１ 光電変換部、
２９ 半導体回路基板、７２、７３ 焦点検出光束、８１ 撮像光束、
９０ 射出瞳面、９１ 光軸、９２、９３ 測距瞳、９４ 領域、
１００ 撮影画面、１０１ 焦点検出エリア、
２０１ デジタルスチルカメラ、２０２ 交換レンズ、２０３ カメラボディ、
２０４ マウント部、２０６ レンズ駆動制御装置、
２０８ ズーミング用レンズ、２０９ レンズ、２１０ フォーカシング用レンズ、
２１１ 絞り、２１２ 撮像素子、２１３ 電気接点、
２１４ ボディ駆動制御装置、
２１５ 液晶表示素子駆動回路、２１６ 液晶表示素子、２１７ 接眼レンズ、
２１９ メモリカード、２２０ 記憶装置、２２１ ＡＤ変換装置、
３１０ 撮像画素、３１１、３１２、３１３ 焦点検出画素
【特許請求の範囲】
【請求項１】
複数の画素が配置され、前記複数の画素により被写体の像を撮像して、時系列的に連続した複数のフレームの各々に対応する画素データを生成する撮像素子と、
前記撮像素子上に前記被写体の像を形成する撮影光学系と、
前記被写体の像の撮像時における撮像状態に関する撮像状態情報を取得する撮像状態情報取得手段と、
前記画素データのうちの少なくとも一部の部分データと、前記撮像状態情報とを互いに関連付けて記憶する記憶手段と、
前記撮像素子により生成された前記画素データのうち、最新の画素データに含まれる前記部分データに、前記記憶手段により記憶された少なくとも１つの前記部分データを加算する加算処理を行って加算部分データを算出する加算手段と、
前記記憶手段により記憶された前記撮像状態情報に基づいて、当該撮像状態情報に関連する前記部分データの加算を禁止する禁止制御を行う禁止手段と、
前記加算部分データに基づいて、前記撮影光学系の焦点調節状態を検出する焦点検出手段とを備えることを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記禁止手段は、前記最新の画素データに含まれる前記部分データに関連付けられた前記撮像状態情報と、前記記憶手段により記憶された前記部分データに関連付けられた前記撮像状態情報との比較結果に基づいて、前記禁止制御を行うことを特徴とする撮像装置。
【請求項３】
請求項２に記載の撮像装置において、
前記禁止手段は、前記最新の画素データに含まれる前記部分データに関連付けられた前記撮像状態情報と前記記憶手段により記憶された前記部分データに関連付けられた前記撮像状態情報との相違の程度が所定の閾値より大きい場合は、前記禁止制御を行うことを特徴とする撮像装置。
【請求項４】
請求項１〜３のいずれか１項に記載の撮像装置において、
前記撮像状態は、前記撮影光学系の光学特性で表されることを特徴とする撮像装置。
【請求項５】
請求項４に記載の撮像装置において、
前記光学特性は、撮影光学系の絞り開口Ｆ値で表されることを特徴とする撮像装置。
【請求項６】
請求項４に記載の撮像装置において、
前記光学特性は、撮影光学系の焦点距離で表されることを特徴とする撮像装置。
【請求項７】
請求項４に記載の撮像装置において、
前記光学特性は、撮影光学系のフォーカシングレンズの位置で表されることを特徴とする撮像装置。
【請求項８】
請求項１〜３のいずれか１項に記載の撮像装置において、
前記撮像状態は、撮像装置の姿勢に関する姿勢情報で表されることを特徴とする撮像装置。
【請求項９】
請求項８に記載の撮像装置において、
前記姿勢情報は、前記フレームの構図で表されることを特徴とする撮像装置。
【請求項１０】
請求項８に記載の撮像装置において、
前記姿勢情報は、撮像装置のブレ量で表されることを特徴とする撮像装置。
【請求項１１】
請求項１〜３のいずれか１項に記載の撮像装置において、
前記撮像状態は、前記被写体に関する被写体情報で表されることを特徴とする撮像装置。
【請求項１２】
請求項１１に記載の撮像装置において、
前記被写体情報は、前記被写体の輝度であることを特徴とする撮像装置。
【請求項１３】
請求項１１に記載の撮像装置において、
前記被写体情報は、前記フレームにおける前記被写体の位置であることを特徴とする撮像装置。
【請求項１４】
請求項１〜３のいずれか１項に記載の撮像装置において、
前記撮像状態は、前記撮像素子の動作状態であることを特徴とする撮像装置。
【請求項１５】
請求項１４に記載の撮像装置において、
前記動作状態は、前記撮像素子の生成する前記画素データの読み出しモードであることを特徴とする撮像装置。
【請求項１６】
請求項１４に記載の撮像装置において、
前記動作状態は、前記撮像素子の生成する前記画素データの出力ゲインで表されることを特徴とする撮像装置。
【請求項１７】
請求項１〜１６のいずれか１項に記載の撮像装置において、
前記記憶手段は、前記撮像素子から時系列的に生成される前記画素データのうちの前記部分データを順次記憶し、
前記加算手段は、前記記憶手段から前記部分データを、時系列的に古い時刻に遡って順次読み出して、読み出した前記部分データについての前記加算処理を行い、前記加算部分データが所定条件を満たしたとき、前記加算処理を終了することを特徴とする撮像装置。
【請求項１８】
請求項１〜１７のいずれか１項に記載の撮像装置において、
前記部分データに対し画像処理を施す画像処理手段をさらに備え、
前記記憶手段は、前記撮像素子から時系列的に生成される前記画素データのうちの前記部分データを順次記憶し、前記部分データを記憶する際に、前記画像処理が施された前記部分データを記憶することを特徴とする撮像装置。
【請求項１９】
請求項１８に記載の撮像装置において、
前記画像処理手段は、複数種類の画像処理方式により前記画像処理を前記部分データに対して施すことが可能であり、
前記撮像状態は、前記画像処理手段により施された前記画像処理に用いられた前記画像処理方式で表されることを特徴とする撮像装置。
【請求項２０】
請求項１〜１９のいずれか１項に記載の撮像装置において、
前記複数の画素は、前記被写体の像に関する撮像信号データを出力する撮像画素と、前記射出瞳を通過する一対の焦点検出光束を受光して前記焦点調節状態に関する焦点検出信号データを出力する瞳分割型の焦点検出画素とを含み、
前記部分データは、前記焦点検出画素信号データであることを特徴とする撮像装置。
【請求項１】
複数の画素が配置され、前記複数の画素により被写体の像を撮像して、時系列的に連続した複数のフレームの各々に対応する画素データを生成する撮像素子と、
前記撮像素子上に前記被写体の像を形成する撮影光学系と、
前記被写体の像の撮像時における撮像状態に関する撮像状態情報を取得する撮像状態情報取得手段と、
前記画素データのうちの少なくとも一部の部分データと、前記撮像状態情報とを互いに関連付けて記憶する記憶手段と、
前記撮像素子により生成された前記画素データのうち、最新の画素データに含まれる前記部分データに、前記記憶手段により記憶された少なくとも１つの前記部分データを加算する加算処理を行って加算部分データを算出する加算手段と、
前記記憶手段により記憶された前記撮像状態情報に基づいて、当該撮像状態情報に関連する前記部分データの加算を禁止する禁止制御を行う禁止手段と、
前記加算部分データに基づいて、前記撮影光学系の焦点調節状態を検出する焦点検出手段とを備えることを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記禁止手段は、前記最新の画素データに含まれる前記部分データに関連付けられた前記撮像状態情報と、前記記憶手段により記憶された前記部分データに関連付けられた前記撮像状態情報との比較結果に基づいて、前記禁止制御を行うことを特徴とする撮像装置。
【請求項３】
請求項２に記載の撮像装置において、
前記禁止手段は、前記最新の画素データに含まれる前記部分データに関連付けられた前記撮像状態情報と前記記憶手段により記憶された前記部分データに関連付けられた前記撮像状態情報との相違の程度が所定の閾値より大きい場合は、前記禁止制御を行うことを特徴とする撮像装置。
【請求項４】
請求項１〜３のいずれか１項に記載の撮像装置において、
前記撮像状態は、前記撮影光学系の光学特性で表されることを特徴とする撮像装置。
【請求項５】
請求項４に記載の撮像装置において、
前記光学特性は、撮影光学系の絞り開口Ｆ値で表されることを特徴とする撮像装置。
【請求項６】
請求項４に記載の撮像装置において、
前記光学特性は、撮影光学系の焦点距離で表されることを特徴とする撮像装置。
【請求項７】
請求項４に記載の撮像装置において、
前記光学特性は、撮影光学系のフォーカシングレンズの位置で表されることを特徴とする撮像装置。
【請求項８】
請求項１〜３のいずれか１項に記載の撮像装置において、
前記撮像状態は、撮像装置の姿勢に関する姿勢情報で表されることを特徴とする撮像装置。
【請求項９】
請求項８に記載の撮像装置において、
前記姿勢情報は、前記フレームの構図で表されることを特徴とする撮像装置。
【請求項１０】
請求項８に記載の撮像装置において、
前記姿勢情報は、撮像装置のブレ量で表されることを特徴とする撮像装置。
【請求項１１】
請求項１〜３のいずれか１項に記載の撮像装置において、
前記撮像状態は、前記被写体に関する被写体情報で表されることを特徴とする撮像装置。
【請求項１２】
請求項１１に記載の撮像装置において、
前記被写体情報は、前記被写体の輝度であることを特徴とする撮像装置。
【請求項１３】
請求項１１に記載の撮像装置において、
前記被写体情報は、前記フレームにおける前記被写体の位置であることを特徴とする撮像装置。
【請求項１４】
請求項１〜３のいずれか１項に記載の撮像装置において、
前記撮像状態は、前記撮像素子の動作状態であることを特徴とする撮像装置。
【請求項１５】
請求項１４に記載の撮像装置において、
前記動作状態は、前記撮像素子の生成する前記画素データの読み出しモードであることを特徴とする撮像装置。
【請求項１６】
請求項１４に記載の撮像装置において、
前記動作状態は、前記撮像素子の生成する前記画素データの出力ゲインで表されることを特徴とする撮像装置。
【請求項１７】
請求項１〜１６のいずれか１項に記載の撮像装置において、
前記記憶手段は、前記撮像素子から時系列的に生成される前記画素データのうちの前記部分データを順次記憶し、
前記加算手段は、前記記憶手段から前記部分データを、時系列的に古い時刻に遡って順次読み出して、読み出した前記部分データについての前記加算処理を行い、前記加算部分データが所定条件を満たしたとき、前記加算処理を終了することを特徴とする撮像装置。
【請求項１８】
請求項１〜１７のいずれか１項に記載の撮像装置において、
前記部分データに対し画像処理を施す画像処理手段をさらに備え、
前記記憶手段は、前記撮像素子から時系列的に生成される前記画素データのうちの前記部分データを順次記憶し、前記部分データを記憶する際に、前記画像処理が施された前記部分データを記憶することを特徴とする撮像装置。
【請求項１９】
請求項１８に記載の撮像装置において、
前記画像処理手段は、複数種類の画像処理方式により前記画像処理を前記部分データに対して施すことが可能であり、
前記撮像状態は、前記画像処理手段により施された前記画像処理に用いられた前記画像処理方式で表されることを特徴とする撮像装置。
【請求項２０】
請求項１〜１９のいずれか１項に記載の撮像装置において、
前記複数の画素は、前記被写体の像に関する撮像信号データを出力する撮像画素と、前記射出瞳を通過する一対の焦点検出光束を受光して前記焦点調節状態に関する焦点検出信号データを出力する瞳分割型の焦点検出画素とを含み、
前記部分データは、前記焦点検出画素信号データであることを特徴とする撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１１−２５２９５５（Ｐ２０１１−２５２９５５Ａ）
【公開日】平成２３年１２月１５日（２０１１．１２．１５）
【国際特許分類】
【出願番号】特願２０１０−１２４８０６（Ｐ２０１０−１２４８０６）
【出願日】平成２２年５月３１日（２０１０．５．３１）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２３年１２月１５日（２０１１．１２．１５）
【国際特許分類】
【出願日】平成２２年５月３１日（２０１０．５．３１）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]