相関演算方法、相関演算装置、焦点検出装置および撮像装置
【課題】一対のデータ列の相関量を正確に求める。
【解決手段】複数のデータが一次元上に配列された第１データ列と、複数のデータが一次元上に配列された第１データ列とは異なる第２データ列とを、一次元上で変位量を変えながら相対的に変位させ、複数の相関演算式により第１データ列と第２データ列の間の相関量を演算する（Ｓ２２０）。
【解決手段】複数のデータが一次元上に配列された第１データ列と、複数のデータが一次元上に配列された第１データ列とは異なる第２データ列とを、一次元上で変位量を変えながら相対的に変位させ、複数の相関演算式により第１データ列と第２データ列の間の相関量を演算する（Ｓ２２０）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は相関演算方法、相関演算装置、焦点検出装置および撮像装置に関する。
【背景技術】
【０００２】
相対的に歪みが生じた一対の像に対応した一対のデータ列間の相対的な変位量（像ズレ量、シフト量）を算出する焦点検出装置が知られている（例えば、特許文献１参照）。この装置では、一対のデータ列に対して、一対のデータ列間のデータどうしの乗算を含む相関演算式を用いてシフト量ｋを変えながら相関量を算出している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−３３３７２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来の焦点検出装置における相関量を算出する相関演算式は、像データの状態（ケラレの程度、ノイズの程度等）によっては演算特性が不適切となり、画一的に適用すると像ズレ検出精度が低下するという問題がある。
【課題を解決するための手段】
【０００５】
（１） 請求項１の発明は、複数の第１データが一次元上に配列された第１データ列と、複数の第２データが一次元上に配列された第１データ列とは異なる第２データ列とを、一次元上で変位量を変えながら相対的に変位させ、複数の相関演算式により第１データ列と第２データ列の間の相関量を演算する相関演算方法である。
（２） 請求項２の発明は、請求項１に記載の相関演算方法において、複数の相関演算式の内の少なくとも１つは、第１データ列の中の１つのデータと第２データ列の中の１つのデータとの乗算を含む相関演算式である。
（３） 請求項３の発明は、請求項２に記載の相関演算方法において、乗算を含む相関演算式が複数あり、それらの複数の乗算を含む相関演算式は、第１データ列の中の１つのデータと第２データ列の中の１つのデータとの乗算と、第１データ列中の他の１つのデータと第２データ列の中の他の１つのデータとの乗算とを含む部分相関演算式を含み、第１データ列の中の１つのデータと第１データ列の中の他の１つのデータとの間隔、および第２データ列の中の１つのデータと第２データ列の中の他の１つのデータとの間隔がともに所定間隔である。
（４） 請求項４の発明は、請求項３に記載の相関演算方法において、複数の乗算を含む相関演算式は、所定間隔が相異なる２種類の部分相関演算式を含む。
（５） 請求項５の発明は、請求項１〜４のいずれか一項に記載の相関演算方法において、複数の相関演算式により求めた複数の相関量を加算した相関量を求める。
（６） 請求項６の発明は、請求項１〜４のいずれか一項に記載の相関演算方法において、複数の相関演算式により求めた複数の相関量のそれぞれに対し信頼性を判定し、信頼性が高いと判定された相関量を抽出する。
（７） 請求項７の発明は、請求項１〜４のいずれか一項に記載の相関演算方法において、第１データ列と第２データ列に対して複数の相関演算式を予め定めた順序で適用し、相関量の演算を行うとともに該相関量の信頼性を判定し、信頼性が高いと判定された相関量を抽出したとき、複数の相関演算式による相関量の演算を終了する。
（８） 請求項８の発明は、請求項１〜７のいずれか一項に記載の相関演算方法において、複数の相関演算式は、第１データ列と第２データ列の間の歪みに対する特性がそれぞれ異なる演算式である。
（９） 請求項９の発明は、請求項８に記載の相関演算方法において、歪みが大きいとき、信頼性が高いと判定された相関量として、第１データと第２データとの乗算を含む相関演算式により演算された第１データ列と第２データ列の間の相関量を抽出する。
（１０） 請求項１０の発明は、請求項１〜７のいずれか一項に記載の相関演算方法において、複数の相関演算式は、第１データ列と第２データ列に加わるノイズに対する特性がそれぞれ異なる演算式である。
（１１） 請求項１１の発明は、請求項１０に記載の相関演算方法において、ノイズが大きいとき、信頼性が高いと判定された相関量として、第１データと第２データとの乗算を含む相関演算式により演算された第１データ列と第２データ列の間の相関量を抽出する。
（１２） 請求項１２の発明は、請求項１〜７のいずれか一項に記載の相関演算方法において、複数の相関演算式は、第１データ列と第２データ列の空間周波数に対する特性がそれぞれ異なる演算式である。
（１３） 請求項１３の発明は、請求項１〜１２のいずれか一項に記載の相関演算方法により、相関量の極値が得られる変位量を演算する演算手段を備える相関演算装置である。
（１４） 請求項１４の発明は、光学系を通って一対の像を形成する一対の光束を受光し、一対の像に応じた第１データ列と第２データ列とを出力する受光手段と、第１データ列と第２データ列の間の相関量の極値が得られる変位量を求める請求項１３に記載の相関演算装置と、変位量に基づいて光学系の焦点調節状態を検出する焦点検出手段とを備える焦点検出装置である。
（１５） 請求項１５の発明は、請求項１４に記載の焦点検出装置において、受光手段は、マイクロレンズと該マイクロレンズを介して光学系からの光束を受光する光電変換部とを有する焦点検出画素が複数個配列されており、複数の焦点検出画素の出力に基づいて第１データ列と第２データ列を生成する。
（１６） 請求項１６の発明は、請求項１５に記載の焦点検出装置と、撮像素子とを備える撮像装置である。
（１７） 請求項１７の発明は、請求項１６に記載の撮像装置において、撮像素子は、同一基板上に配列される、光学系により結像される像を撮像する撮像画素と焦点検出画素とを有する。
【発明の効果】
【０００６】
本発明によれば、種々の状況における一対のデータ列に対して、該一対のデータ列の相関量を正確に演算することができる。
【図面の簡単な説明】
【０００７】
【図１】一実施の形態のカメラの構成を示すカメラの横断面図
【図２】交換レンズの撮影画面上における焦点検出位置を示す図
【図３】撮像素子の詳細な構成を示す正面図
【図４】撮像画素の構成を示す正面図
【図５】焦点検出画素の構成を示す正面図
【図６】撮像画素の分光特性を示す図
【図７】焦点検出画素の分光特性を示す図
【図８】撮像画素の断面図
【図９】焦点検出画素の断面図
【図１０】マイクロレンズを用いた瞳分割型位相差検出方式の焦点検出光学系の構成を示す図
【図１１】一実施の形態のデジタルスチルカメラ（撮像装置）の撮像動作を示すフローチャート
【図１２】一実施の形態の焦点検出演算処理を示すフローチャート
【図１３】焦点検出光束のケラレ（口径蝕）を説明するための図
【図１４】予定焦点面から光軸の方向に測距瞳面を見た場合の図
【図１５】図１３および図１４の状態において位置ｘ０（像高０）の近傍の焦点検出画素列が受光する一対の像と、位置ｘ１（像高ｈ）の近傍の焦点検出画素列が受光する一対の像の強度分布（縦軸は光量、横軸は撮影画面上の位置）を示した図
【図１６】一対の像データのグラフ
【図１７】図１６(ａ)に示す一対の像データを相対的にデータピッチ−１だけシフトした像ズレ状態において、相関量Ｃ１(k)、Ｃ２(k)、Ｃ(k)を計算した場合のグラフ
【図１８】図１６(ｂ)に示す一対の像データを相対的にデータピッチ−１だけシフトした像ズレ状態において、相関量Ｃ１(k)、Ｃ２(k)、Ｃ(k)を計算した場合のグラフ
【図１９】図１６(ｃ)に示す一対の像データを相対的にデータピッチ−１だけシフトした像ズレ状態において、相関量Ｃ１(k)、Ｃ２(k)、Ｃ(k)を計算した場合のグラフ
【図２０】図１６に示す一対の像データを相対的にデータピッチの−１から＋１までシフトした像ズレ状態において、相関量Ｃ１(k)、Ｃ２(k)、Ｃ(k)を計算した場合に、相関量の極値から像ズレ検出を行った計算結果（図中に■印でＣ１(k)を、□印でＣ２(k)を、×印でＣ(k)をそれぞれ表す）のグラフ
【図２１】焦点検出結果の評価方法を説明するための図
【図２２】相関演算式Ａ、Ｂ、Ｃの特性を比較した図
【図２３】一対の像データを示す図
【図２４】図２３の一対の像データを相対的にデータピッチ−１からデータピッチ＋１までずらした像データに対し、相関演算式Ａ、Ｂ、Ｃを適用して像ズレ検出を行った場合の計算結果を示す図
【図２５】図２４に示す実際の像ズレ量と計算結果の像ズレ量との誤差を示す図
【図２６】図２３の一対の像データを相対的にデータピッチ−１だけずらした像データに対し、相関演算式Ａを適用した場合の相関量Ｃ(k)のグラフ
【図２７】図２３の一対の像データを相対的にデータピッチ−１だけずらした像データに対し、相関演算式Ｂを適用した場合の相関量Ｃ(k)のグラフ
【図２８】図２３の一対の像データを相対的にデータピッチ−１だけずらした像データに対し、相関演算式Ｃを適用した場合の相関量Ｃ(k)のグラフ
【図２９】相関演算式Ｂ、Ｃにおけるｓｐｎとデータの周波数成分との関連性を比較した図
【図３０】一対の像データを示す図
【図３１】図３０に示す一対の像データを相対的にデータピッチの−１から＋１までずらした像データに対し、相関演算式Ｂ（ｓｐｎ＝１、１０）を適用して像ズレ検出を行った場合の計算結果を示す図
【図３２】焦点検出演算処理を示すフローチャート
【図３３】焦点検出演算処理を示すフローチャート
【図３４】焦点検出演算処理を示すフローチャート
【図３５】変形例の撮像素子を示す図
【図３６】図３５に示す変形例の撮像素子で用いる焦点検出画素の正面図
【図３７】図３５に示す撮像素子の焦点検出画素による瞳分割方式の焦点検出動作を説明するための図
【図３８】再結像瞳分割方式の焦点検出動作を説明するための図
【発明を実施するための形態】
【０００８】
一実施の形態の焦点検出装置を搭載した撮像装置として、レンズ交換式デジタルスチルカメラを例に挙げて説明する。図１は一実施の形態のカメラの構成を示すカメラの横断面図である。一実施の形態のデジタルスチルカメラ２０１は交換レンズ２０２とカメラボディ２０３から構成され、交換レンズ２０２がマウント部２０４を介してカメラボディ２０３に装着される。カメラボディ２０３にはマウント部２０４を介して種々の結像光学系を有する交換レンズ２０２が装着可能である。
【０００９】
交換レンズ２０２はレンズ２０９、ズーミング用レンズ２０８、フォーカシング用レンズ２１０、絞り２１１、レンズ駆動制御装置２０６などを備えている。レンズ駆動制御装置２０６は不図示のマイクロコンピューター、メモリ、駆動制御回路などから構成され、フォーカシング用レンズ２１０の焦点調節と絞り２１１の開口径調節のための駆動制御や、ズーミング用レンズ２０８、フォーカシング用レンズ２１０および絞り２１１の状態検出などを行う他、後述するボディ駆動制御装置２１４との通信によりレンズ情報の送信とカメラ情報の受信を行う。絞り２１１は、光量およびボケ量調整のために光軸中心に開口径が可変な開口を形成する。
【００１０】
カメラボディ２０３は撮像素子２１２、ボディ駆動制御装置２１４、液晶表示素子駆動回路２１５、液晶表示素子２１６、接眼レンズ２１７、メモリカード２１９などを備えている。撮像素子２１２には、撮像画素が二次元状に配置されるとともに、焦点検出位置に対応した部分に焦点検出画素が組み込まれている。この撮像素子２１２については詳細を後述する。
【００１１】
ボディ駆動制御装置２１４はマイクロコンピューター、メモリ、駆動制御回路などから構成され、撮像素子２１２の駆動制御と画像信号および焦点検出信号の読み出しと、焦点検出信号に基づく焦点検出演算と交換レンズ２０２の焦点調節を繰り返し行うとともに、画像信号の処理と記録、カメラの動作制御などを行う。また、ボディ駆動制御装置２１４は電気接点２１３を介してレンズ駆動制御装置２０６と通信を行い、レンズ情報の受信とカメラ情報（デフォーカス量や絞り値など）の送信を行う。
【００１２】
液晶表示素子２１６は電気的なビューファインダー（ＥＶＦ：Electronic View Finder）として機能する。液晶表示素子駆動回路２１５は撮像素子２１２によるスルー画像を液晶表示素子２１６に表示し、撮影者は接眼レンズ２１７を介してスルー画像を観察することができる。メモリカード２１９は、撮像素子２１２により撮像された画像を記憶する画像ストレージである。
【００１３】
交換レンズ２０２を通過した光束により、撮像素子２１２の受光面上に被写体像が形成される。この被写体像は撮像素子２１２により光電変換され、画像信号と焦点検出信号がボディ駆動制御装置２１４へ送られる。
【００１４】
ボディ駆動制御装置２１４は、撮像素子２１２の焦点検出画素からの焦点検出信号に基づいてデフォーカス量を算出し、このデフォーカス量をレンズ駆動制御装置２０６へ送る。また、ボディ駆動制御装置２１４は、撮像素子２１２からの画像信号を処理して画像を生成し、メモリカード２１９に格納するとともに、撮像素子２１２からのスルー画像信号を液晶表示素子駆動回路２１５へ送り、スルー画像を液晶表示素子２１６に表示させる。さらに、ボディ駆動制御装置２１４は、レンズ駆動制御装置２０６へ絞り制御情報を送って絞り２１１の開口制御を行う。
【００１５】
レンズ駆動制御装置２０６は、フォーカシング状態、ズーミング状態、絞り設定状態、絞り開放Ｆ値などに応じてレンズ情報を更新する。具体的には、ズーミング用レンズ２０８とフォーカシング用レンズ２１０の位置と絞り２１１の絞り値を検出し、これらのレンズ位置と絞り値に応じてレンズ情報を演算したり、あるいは予め用意されたルックアップテーブルからレンズ位置と絞り値に応じたレンズ情報を選択する。
【００１６】
レンズ駆動制御装置２０６は、受信したデフォーカス量に基づいてレンズ駆動量を算出し、レンズ駆動量に応じてフォーカシング用レンズ２１０を合焦位置へ駆動する。また、レンズ駆動制御装置２０６は受信した絞り値に応じて絞り２１１を駆動する。
【００１７】
図２は、交換レンズ２０２の撮影画面上における焦点検出位置を示す図であり、後述する撮像素子２１２上の焦点検出画素列が焦点検出の際に撮影画面上で像をサンプリングする領域（焦点検出エリア、焦点検出位置）の一例を示す。この例では、矩形の撮影画面１００上の中央および上下の３箇所に焦点検出エリア１０１〜１０３が配置される。長方形で示す焦点検出エリアの長手方向に、焦点検出画素が直線的に配列される。
【００１８】
なお、詳細を後述するが、図２に示す焦点検出エリア１０１〜１０３おいて、画面周辺の焦点検出エリア１０２および１０３は画面中心から放射方向に沿って配置されており、画面中央の焦点検出エリア１０１に比べて焦点検出光束がケラレやすく、焦点検出エリア１０２、１０３で検出される一対の焦点検出信号データ列に相対的な歪みが生じて同一性が崩れる。しかし、この一実施の形態の相関演算方法によれば、このような一対の信号データ列に相対的な歪みが生じて同一性が崩れている場合でも、相関関係を正確に演算することができ、正確な焦点検出結果を得ることができる。
【００１９】
図３は撮像素子２１２の詳細な構成を示す正面図であり、撮像素子２１２上の焦点検出エリア１０１の近傍を拡大して示す。撮像素子２１２には撮像画素３１０が二次元正方格子状に稠密に配列されるとともに、焦点検出エリア１０１に対応する位置には焦点検出用の焦点検出画素３１３、３１４が垂直方向の直線上に隣接して交互に配列される。なお、図示を省略するが、焦点検出エリア１０２、１０３の近傍の構成も図３に示す構成と同様である。
【００２０】
撮像画素３１０は、図４に示すようにマイクロレンズ１０、光電変換部１１、および色フィルター（不図示）から構成される。色フィルターは赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３種類からなり、それぞれの分光感度は図６に示す特性になっている。撮像素子２１２には、各色フィルターを備えた撮像画素３１０がベイヤー配列されている。
【００２１】
焦点検出画素３１３は、図５(ａ)に示すようにマイクロレンズ１０と光電変換部１３とから構成され、光電変換部１３の形状は半円形である。また、焦点検出画素３１４は、図５(ｂ)に示すようにマイクロレンズ１０と光電変換部１４とから構成され、光電変換部１４の形状は半円形である。焦点検出画素３１３と焦点検出画素３１４とをマイクロレンズ１０を重ね合わせて表示すると、光電変換部１３と１４が垂直方向に並んでいる。焦点検出画素３１３と焦点検出画素３１４は、焦点検出エリア１０１〜１０３において垂直方向（光電変換部１３と１４の並び方向）に交互に配置される。
【００２２】
焦点検出画素３１３、３１４には光量をかせぐために色フィルターが設けられておらず、その分光特性は光電変換を行うフォトダイオードの分光感度と、赤外カットフィルター（不図示）の分光特性とを総合した分光特性（図７参照）となる。つまり、図６に示す緑画素、赤画素および青画素の分光特性を加算したような分光特性となり、その感度の光波長領域は緑画素、赤画素および青画素の感度の光波長領域を包括している。
【００２３】
焦点検出用の焦点検出画素３１３、３１４は、撮像画素３１０のＢとＧが配置されるべき列に配置されている。焦点検出用の焦点検出画素３１３、３１４が、撮像画素３１０のＢとＧが配置されるべき列に配置されているのは、画素補間処理において補間誤差が生じた場合に、人間の視覚特性上、赤画素の補間誤差に比較して青画素の補間誤差が目立たないためである。
【００２４】
撮像画素３１０の光電変換部１１は、マイクロレンズ１０によって最も明るい交換レンズの射出瞳径（例えばＦ１．０）を通過する光束をすべて受光するような形状に設計される。また、焦点検出画素３１３、３１４の光電変換部１３、１４は、マイクロレンズ１０によって交換レンズの射出瞳の所定の領域（例えばＦ２．８）を通過する光束をすべて受光するような形状に設計される。
【００２５】
図８は撮像画素３１０の断面図である。撮像画素３１０では撮像用の光電変換部１１の前方にマイクロレンズ１０が配置され、マイクロレンズ１０により光電変換部１１の形状が前方に投影される。光電変換部１１は半導体回路基板２９上に形成される。なお、不図示の色フィルターはマイクロレンズ１０と光電変換部１１の中間に配置される。
【００２６】
図９(ａ)は焦点検出画素３１３の断面図である。画面中央の焦点検出エリア１０１に配置された焦点検出画素３１３において、光電変換部１３の前方にマイクロレンズ１０が配置され、マイクロレンズ１０により光電変換部１３の形状が前方に投影される。光電変換部１３は半導体回路基板２９上に形成されるとともに、その上にマイクロレンズ１０が半導体イメージセンサーの製造工程により一体的かつ固定的に形成される。なお、画面上下の焦点検出エリア１０２、１０３に配置された焦点検出画素３１３の断面構造についても、図９(ａ)に示す断面構造と同様である。
【００２７】
図９(ｂ)は焦点検出画素３１４の断面図である。画面中央の焦点検出エリア１０１に配置された焦点検出画素３１４において、光電変換部１４の前方にマイクロレンズ１０が配置され、マイクロレンズ１０により光電変換部１４の形状が前方に投影される。光電変換部１４は半導体回路基板２９上に形成されるとともに、その上にマイクロレンズ１０が半導体イメージセンサーの製造工程により一体的かつ固定的に形成される。なお、画面上下の焦点検出エリア１０２、１０３に配置された焦点検出画素３１４の断面構造についても、図９(ｂ)に示す断面構造と同様である。
【００２８】
図１０は、マイクロレンズを用いた瞳分割型位相差検出方式の焦点検出光学系の構成を示す。なお、焦点検出画素の部分は拡大して示す。図において、９０は、交換レンズ２０２（図１参照）の予定結像面に配置されたマイクロレンズから前方ｄの距離に設定された射出瞳である。この距離ｄは、マイクロレンズの曲率、屈折率、マイクロレンズと光電変換部との間の距離などに応じて決まる距離であって、この明細書では測距瞳距離と呼ぶ。９１は交換レンズの光軸、１０ａ〜１０ｄはマイクロレンズ、１３ａ、１３ｂ、１４ａ、１４ｂは光電変換部、３１３ａ、３１３ｂ、３１４ａ、３１４ｂは焦点検出画素、７３，７４、８３，８４は焦点検出光束である。
【００２９】
また、９３は、マイクロレンズ１０ａ、１０ｃにより投影された光電変換部１３ａ、１３ｂの領域であり、この明細書では測距瞳と呼ぶ。図１０では、説明を解りやすくするために楕円形の領域で示しているが、実際には光電変換部の形状が拡大投影された形状になる。同様に、９４は、マイクロレンズ１０ｂ、１０ｄにより投影された光電変換部１４ａ、１４ｂの領域であり、測距瞳である。図１０では、説明を解りやすくするために楕円形の領域で示しているが、実際には光電変換部の形状が拡大投影された形状になる。
【００３０】
図１０では、撮影光軸に隣接する４つの焦点検出画素３１３ａ、３１３ｂ、３１４ａ、３１４ｂを模式的に例示しているが、焦点検出エリア１０１のその他の焦点検出画素においても、また画面周辺部の焦点検出エリア１０２、１０３の焦点検出画素においても、光電変換部はそれぞれ対応した測距瞳９３、９４から各マイクロレンズに到来する光束を受光するように構成されている。焦点検出画素の配列方向は一対の測距瞳の並び方向、すなわち一対の光電変換部の並び方向と一致させる。
【００３１】
マイクロレンズ１０ａ〜１０ｄは交換レンズ２０２（図１参照）の予定結像面近傍に配置されており、マイクロレンズ１０ａ〜１０ｄによりその背後に配置された光電変換部１３ａ、１３ｂ、１４ａ、１４ｂの形状がマイクロレンズ１０ａ〜１０ｃから測距瞳距離ｄだけ離間した射出瞳９０上に投影され、その投影形状は測距瞳９３，９４を形成する。すなわち、投影距離ｄにある射出瞳９０上で各焦点検出画素の光電変換部の投影形状（測距瞳９３，９４）が一致するように、各焦点検出画素におけるマイクロレンズと光電変換部の相対的位置関係が定められ、それにより各焦点検出画素における光電変換部の投影方向が決定されている。
【００３２】
光電変換部１３ａは測距瞳９３を通過し、マイクロレンズ１０ａに向う光束７３によりマイクロレンズ１０ａ上に形成される像の強度に対応した信号を出力する。同様に、光電変換部１３ｂは測距瞳９３を通過し、マイクロレンズ１０ｃに向う光束８３によりマイクロレンズ１０ｃ上に形成される像の強度に対応した信号を出力する。また、光電変換部１４ａは測距瞳９４を通過し、マイクロレンズ１０ｂに向う光束７４によりマイクロレンズ１０ｂ上に形成される像の強度に対応した信号を出力する。同様に、光電変換部１４ｂは測距瞳９４を通過し、マイクロレンズ１０ｄに向う光束８４によりマイクロレンズ１０ｄ上に形成される像の強度に対応した信号を出力する。
【００３３】
上述した２種類の焦点検出画素を直線状に多数配置し、各画素の光電変換部の出力を測距瞳９３および測距瞳９４に対応した出力グループにまとめることによって、測距瞳９３と測距瞳９４をそれぞれ通過する焦点検出用光束が画素列上に形成する一対の像の強度分布に関する情報が得られる。この情報に対して後述する像ズレ検出演算処理（相関演算処理、位相差検出処理）を施すことによって、いわゆる瞳分割型位相差検出方式で一対の像の像ズレ量が検出される。さらに、像ズレ量に一対の測距瞳の重心間隔に応じた変換演算を行うことによって、予定結像面（マイクロレンズアレイの位置）に対する現在の結像面（撮影画面１００上で定められる焦点検出位置における実際の結像面）の偏差（デフォーカス量）が算出される。
【００３４】
図１１は、一実施の形態のデジタルスチルカメラ（撮像装置）の撮像動作を示すフローチャートである。各処理ステップは、ボディ駆動制御装置２１４が実行する。ボディ駆動制御装置２１４は、ステップＳ１００でカメラの電源がオンされると、ステップＳ１１０以降の撮像動作を開始する。ステップＳ１１０において撮像画素のデータを間引き読み出しし、電子ビューファインダーに表示させる。続くステップＳ１２０では焦点検出画素列から一対の像に対応した一対の像データを読み出す。なお、焦点検出エリアは、撮影者が焦点検出エリア選択部材（不図示）を用いて焦点検出エリア１０１〜１０３の内のいずれかを予め選択しているものとする。
【００３５】
ステップＳ１３０では読み出された一対の像データに基づいて後述する像ズレ検出演算処理（相関演算処理）を行い、像ズレ量を演算してデフォーカス量に変換する。ステップＳ１４０で合焦近傍か否か、すなわち算出されたデフォーカス量の絶対値が所定値以内であるか否かを調べる。合焦近傍でないと判定された場合はステップＳ１５０へ進み、デフォーカス量をレンズ駆動制御装置２０６へ送信し、交換レンズ２０２のフォーカシングレンズ２１０を合焦位置に駆動させる。その後、ステップＳ１１０へ戻って上述した動作を繰り返す。
【００３６】
なお、焦点検出不能な場合もこのステップに分岐し、レンズ駆動制御装置２０６へスキャン駆動命令を送信し、交換レンズ２０２のフォーカシングレンズ２１０を無限から至近までの間でスキャン駆動させる。その後、ステップＳ１１０へ戻って上述した動作を繰り返す。
【００３７】
ステップＳ１４０で合焦近傍であると判定された場合はステップＳ１６０へ進み、シャッターボタン（不図示）の操作によりシャッターレリーズがなされたか否かを判別する。シャッターレリーズがなされていないと判定された場合はステップＳ１１０へ戻り、上述した動作を繰り返す。一方、シャッターレリーズがなされたと判定された場合はステップＳ１７０へ進み、レンズ駆動制御装置２０６へ絞り調整命令を送信し、交換レンズ２０２の絞り値を制御Ｆ値（撮影者または自動により設定されたＦ値）にする。絞り制御が終了した時点で、撮像素子２１２に撮像動作を行わせ、撮像素子２１２の撮像画素３１０および全ての焦点検出画素３１３，３１４から画像データを読み出す。
【００３８】
ステップＳ１８０において、焦点検出画素列の各画素位置の画素データを焦点検出画素の周囲の撮像画素のデータに基づいて画素補間する。続くステップＳ１９０では、撮像画素のデータおよび補間されたデータからなる画像データをメモリカード２１９に記憶し、ステップＳ１１０へ戻って上述した動作を繰り返す。
【００３９】
図１２は、図１１のステップＳ１３０における焦点検出演算処理の詳細を示すフローチャートである。各処理ステップは、ボディ駆動制御装置２１４が実行する。ボディ駆動制御装置２１４は、ステップＳ２００からこの焦点検出演算処理（相関演算処理）を開始する。
【００４０】
ステップＳ２１０において、 焦点検出画素列から出力される一対のデータ列（α１〜αＭ、β１〜βＭ：Ｍはデータ数）に対して（１）式に示すような高周波カットフィルター処理を施し、第１データ列（Ａ１〜ＡＮ）と第２データ列（Ｂ１〜ＢＮ）を生成する。これにより、データ列から相関処理に悪影響を及ぼす高周波ノイズ成分、およびその他の高周波成分を除去することができる。なお、演算時間の短縮を図る場合や、すでに大きくデフォーカスしていて高周波成分が少ないことがわかっている場合などには、ステップＳ２１０の処理を省略することもできる。
Ａｎ＝αｎ＋２・αｎ＋１＋αｎ＋２，
Ｂｎ＝βｎ＋２・βｎ＋１＋βｎ＋２ ・・・（１）
（１）式において、ｎ＝１〜Ｎ−２である。
【００４１】
データ列Ａｎ、Ｂｎは、理想的には同一データ列を相対的にシフトしたものとなるはずであるが、上述した瞳分割型位相差検出方式の焦点検出画素で得られる一対のデータ列では、焦点検出光束のケラレ（口径蝕）により、同一性が崩れる可能性がある。
【００４２】
図１３は、焦点検出光束のケラレ（口径蝕）を説明するための図である。図１３において、位置ｘ０（像高０）と位置ｘ１（像高ｈ）にある一対の焦点検出画素は、それぞれ予定焦点面９２の前方ｄにある測距瞳面９０において測距瞳領域９３、９４を通過する一対の焦点検出光束５３，５４および６３、６４を受光するように構成されている。予定焦点面９２の前方ｄ１（＜ｄ）の面９５に光学系の絞り開口９６がある場合には、位置ｘ０（像高０）にある一対の焦点検出画素が受光する一対の焦点検出光束５３，５４は、絞り開口９６により光軸９１に対して対称に口径蝕が発生するため、一対の焦点検出画素が受光する光量のバランスは崩れない。
【００４３】
これに対し、位置ｘ１（像高ｈ）にある一対の焦点検出画素が受光する一対の焦点検出光束６３，６４は、絞り開口９６によって非対称に口径蝕が発生するために、一対の焦点検出画素が受光する光量のバランスは崩れてしまう。
【００４４】
図１４は、予定焦点面９２から光軸９１の方向に測距瞳面９０を見た場合の図である。焦点検出光束６４は絞り開口９６により大きく口径蝕が発生しているのに対し、焦点検出光束６３は絞り開口９６による口径蝕の発生が少ないことがわかる。
【００４５】
図１５(ａ)、(ｂ)は、図１３および図１４の状態において位置ｘ０（像高０）の近傍の焦点検出画素列が受光する一対の像と、位置ｘ１（像高ｈ）の近傍の焦点検出画素列が受光する一対の像の強度分布（縦軸は光量、横軸は撮影画面上の位置）を示したものである。焦点検出光束の口径蝕のバランスがとれている場合には、図１５(ａ)に示すように、一対の像信号４００，４０１は同一の像信号関数が単に横方向にシフトしたものとなっている。これに対し、焦点検出光束の口径蝕のバランスが崩れている（すなわち、一対の像信号データ列の間の歪みが生じている）場合には、図１５(ｂ)に示すように、一対の像信号４０２，４０３は同一の信号を相対的にシフトしたものにはならない。
【００４６】
焦点検出光束に口径蝕（ケラレ）が発生した場合における一対の像信号データ列Ｆ(ｘ)、Ｇ(ｘ)の関係を大別すると以下のように二つに分けられる。まず、ケラレの程度が小さい場合は、次式のように一対の像信号は所定倍した比の関係になる。
Ｆ(ｘ)＝ｂ0・Ｇ(ｘ) ・・・（２）
（２）式においてｂ0は定数である。この一実施の形態では、一対のデータ列Ｆ(ｘ)、Ｇ(ｘ)が（２）式の関係を有する場合には一対のデータ列に“０次ケラレ”が発生しているという。一方、ケラレの程度が大きい場合には、次式のように一対の像信号は位置ｘに関する１次関数の関係になる。
Ｆ(ｘ)＝（ｂ1＋ａ1・ｘ）・Ｇ(ｘ) ・・・（３）
（３）式においてａ1、ｂ1（＞ｂ0）は定数である。
【００４７】
この一実施の形態では、一対のデータ列Ｆ(ｘ)、Ｇ(ｘ)が（３）式の関係を有する場合には一対のデータ列に“１次ケラレ”が発生しているという。１次ケラレが発生した状態において、像ズレ検出が可能な部分相関演算式として次式を採用する。ｓｐｎは、一対の注目データを中心として近傍のデータ列を含む範囲の大きさに関する演算パラメータであり、その範囲のデータ列がその相関演算処理に用いられる。
Ｅ(k)＝Ａｉ・Ｂｉ＋ｓｐｎ＋ｋ−Ｂｉ＋ｋ・Ａｉ＋ｓｐｎ ・・・（４）
【００４８】
図１２に戻って説明を続ける。ボディ駆動制御装置２１４は、ステップＳ２２０において第１データ列Ａ１〜Ａｎと第２データ列Ｂ１〜Ｂｎを相対的にずらす（シフト量ｋ）とともに、第１データ列および第２データ列に対し複数の部分相関演算式（（４）式においてｓｐｎ＝１および１０とした場合のＥ１(k)、Ｅ２(k)）を施し、その演算結果の絶対値を加算した上、その加算値をデータの所定区間に亘って積算する。
【００４９】
すなわち、複数の相関演算式の演算結果を部分的な相関量Ｅ１(k)、Ｅ２(k)とすれば、シフト量ｋにおける一対のデータ列間の総合的な相関量Ｃ(k)は（７）式で与えられる。
Ｅ１(k)＝Ａｉ・Ｂｉ＋１＋ｋ−Ｂｉ＋ｋ・Ａｉ＋１ ・・・（５），
Ｅ２(k)＝Ａｉ・Ｂｉ＋１０＋ｋ−Ｂｉ＋ｋ・Ａｉ＋１０ ・・・（６），
Ｃ(k)＝Σ(｜Ｅ１(k)｜＋｜Ｅ２(k)｜) ・・・（７）
なお、シフト量ｋは整数であり、一対のデータの検出ピッチを単位とした相対的なシフト量である。また、（７）式の積算演算（Σ）はデータ列の所定区間に亘って行われる。
【００５０】
ここで、（７）式のように演算パラメータｓｐｎを異ならせた２つの部分相関演算式の演算結果のそれぞれの絶対値をとって加算し、その加算値を積算することによって総合的な相関量Ｃ(k)を求めることの利点について、Ｅ１(k)およびＥ２(k)の絶対値を単独で加算した場合の総合的な相関量Ｃ１(k)、Ｃ２(k)と比較して説明する。
Ｃ１(k)＝Σ(｜Ｅ１(k)｜) ・・・（８），
Ｃ２(k)＝Σ(｜Ｅ２(k)｜) ・・・（９）
【００５１】
図１６〜図２０は相関量Ｃ(k)、Ｃ１(k)、Ｃ２(k)の特性を説明するためのシミュレー
ションデータである。図１６は、一対の像データ（図中に■印と□印で表す）のグラフであり、横軸がデータ位置を、縦軸がデータ値をそれぞれ表す。ただし、図１６では、一対の像データが重なって解りにくくなるのを避けるために、一対の像データの内の一方を他方に対して１データ位置分だけずらして表している。図１６(ａ)は一対の像データ（ｓｉｎ波形：高周波）間に１次ケラレが発生した場合を示し、図１６(ｂ)は一対の像データ（ｓｉｎ波形：中周波）間に１次ケラレが発生した場合を示し、図１６(ｃ)は一対の像データ（ｓｉｎ波形：低周波）間に１次ケラレが発生した場合を示す。なお、図１６(ｂ)の像データの周期はデータピッチの１０倍であり、Ｃ２(k)の演算パラメータｓｐｎ＝１０と一致している。
【００５２】
図１７〜図１９は、図１６に示す一対の像データを相対的にデータピッチ−１だけシフトした像ズレ状態において、相関量Ｃ１(k)、Ｃ２(k)、Ｃ(k)を計算した場合のグラフであり、横軸がシフト量ｋ（単位：データピッチ）を、縦軸が相関量Ｃ１(k)、Ｃ２(k)、Ｃ(k)の値をそれぞれ表す。
【００５３】
図１７(ａ)、図１７(ｂ)、図１７(ｃ)は、図１６(ａ)に示す像データ（高周波）に対応した相関量Ｃ１(k)、Ｃ２(k)、Ｃ(k)のグラフである。また、図１８(ａ)、図１８(ｂ)、図１８(ｃ)は、図１６(ｂ)に示す像データ（中周波）に対応した相関量Ｃ１(k)、Ｃ２(k)、Ｃ(k)のグラフである。さらに、図１９(ａ)、図１９(ｂ)、図１９(ｃ)は、図１６(ｃ)に示す像データ（低周波）に対応した相関量Ｃ１(k)、Ｃ２(k)、Ｃ(k)のグラフである。
【００５４】
図２０(ａ)、(ｃ)、(ｅ)は、図１６に示す一対の像データを相対的にデータピッチの−１から＋１までシフトした像ズレ状態において、相関量Ｃ１(k)、Ｃ２(k)、Ｃ(k)を計算した場合に、後述する３点内挿の手法を用いて該相関量の極値から像ズレ検出を行った計算結果（図中に■印でＣ１(k)を、□印でＣ２(k)を、×印でＣ(k)をそれぞれ表す）のグラフである。なお、これらの図の横軸が実際の像ズレ量（単位：データピッチ）を、縦軸が計算結果の像ズレ量をそれぞれ表す。
【００５５】
また、図２０(ｂ)、(ｄ)、(ｆ)は、図２０(ａ)、(ｃ)、(ｅ)に示す実際の像ズレ量と計算結果の像ズレ量との誤差（図中に■印でＣ１(k)を、□印でＣ２(k)を、×印でＣ(k)をそれぞれ表す）のグラフである。なお、これらの図の横軸が実際の像ズレ量（単位：データピッチ）を、縦軸が誤差量（単位：データピッチ）をそれぞれ表す。
【００５６】
図２０(ａ)、(ｂ)は、図１６(ａ)に示す一対の像データ（高周波）に対応した像ズレ量と誤差のグラフである。また、図２０(ｃ)、(ｄ)は、図１６(ｂ)に示す像データ（中周波）に対応した像ズレ量と誤差のグラフである。さらに、図２０(ｅ)、(ｆ)は、図１６(ｃ)に示す像データ（低周波）に対応した像ズレ量と誤差のグラフである。
【００５７】
図１６〜図２０を用いて、改めて相関量Ｃ１(k)、Ｃ２(k)、Ｃ(k)の特性を説明する。図１６(ａ)に示す１次ケラレが生じた高周波成分からなる一対の像データに対して、図１７(ａ)に示す相関量Ｃ１(k)のグラフは真の像ズレ量で鋭い落ち込みの極小値を示し、図２０(ａ)、(ｂ)に■印で示すように像ズレ量の計算結果の誤差は少ない。しかし、図１７(ｂ)に示すように相関量Ｃ２(k)のグラフは極小値が浮いてしまい、図２０(ａ)、(ｂ)に□印で示すように像ズレ量の計算結果の誤差が大きい。また、図１７(ｃ)に示すように相関量Ｃ(k)のグラフは極小値の浮きは少なく、図２０(ａ)、(ｂ)に×印で示すように像ズレ量の計算結果の誤差も大きくはない。
【００５８】
また、図１６(ｂ)に示す１次ケラレが生じた中周波成分からなる一対の像データに対して、図１８(ａ)に示す相関量Ｃ１(k)のグラフは真の像ズレ量で鋭い落ち込みの極小値を示し、図２０(ｃ)、(ｄ)に■印で示す像ズレ量の計算結果の誤差は少ない。しかし、図１８(ｂ)に示す相関量Ｃ２(k)のグラフは極小値の位置が極大値の位置と入れ替わってしまい、図２０(ｃ)、(ｄ)に□印で示す像ズレ量の計算結果はグラフから完全に外れてしまう。また、図１８(ｃ)に示す相関量Ｃ(k)のグラフは極小値の浮きは少なく、図２０(ｃ)、(ｄ)に×印で示す像ズレ量の計算結果の誤差も少ない（図２０(ｃ)、(ｄ)ではＣ１(k)の結果とほぼ重なっている）。データの周期と相関演算の演算パラメータｓｐｎが一致した場合には、上記のように誤差が非常に大きくなり、像ズレ検出結果は当てにならない。
【００５９】
さらに、図１６(ｃ)に示す１次ケラレが生じた低周波成分からなる一対の像データに対して、図１９(ａ)に示す相関量Ｃ１(k)のグラフは鋭い落ち込みの極小値を示すが、図２０(ｅ)、(ｆ)に■印で示す像ズレ量の計算結果の誤差は大きい。しかし、図１９(ｂ)に示す相関量Ｃ２(k)のグラフは真の像ズレ量で鋭い落ち込みの極小値を示し、図２０(ｅ)、(ｆ)に□印で示す像ズレ量の計算結果の誤差は少ない。また、図１９(ｃ)に示す相関量Ｃ(k)のグラフも真の像ズレ量で鋭い落ち込みの極小値を示し、図２０(ｅ)、(ｆ)に×印で示す像ズレ量の計算結果の誤差は少ない。
【００６０】
以上説明したように、演算パラメータｓｐｎ＝１の相関量Ｃ１(k)は、高周波のデータに対しては高精度な像ズレ検出が期待できるが、低周波のデータに対しては像ズレ検出精度が低下する。一方、演算パラメータｓｐｎ＝１０の相関量Ｃ２(k)は、低周波のデータに対しては高精度な像ズレ検出が期待できるが、高周波のデータに対しては像ズレ検出精度が低下するとともに、データの周期が演算パラメータｓｐｎ（＝１０）と一致する場合には像ズレ検出結果の信頼性がなくなる。
【００６１】
それに対し（９）式のように演算パラメータｓｐｎ＝１と１０の部分相関量をそれぞれ絶対値をとって加算し、加算した値を積算した相関量であるＣ(k)は、高周波のデータおよび低周波のデータのいずれに対しても、所定レベル以上の精度で像ズレ検出が可能である。したがって、（９）式で示す相関量Ｃ(k)を常時使用すれば、データの空間周波数成分によらず安定した像ズレ検出が可能になるとともに、データの空間周波数成分を検出し、検出した空間周波数成分に応じて演算パラメータｓｐｎの値を変更するというような手間を省くことができる。
【００６２】
再び図１２に戻って説明を続ける。ステップＳ２３０において、（７）式に示す相関演算式で求めた相関量Ｃ(k)のグラフは、図２１(ａ)に示すように、一対のデータの相関が高いシフト量（図２１(ａ)ではｋ＝ｋｊ＝２）において相関量Ｃ(k)が最小（小さいほど相関度が高い）になる。（１０）式〜（１３）式による３点内挿の手法を用いて、連続的な相関量に対する最小値Ｃ(ｘ)を与えるシフト量ｘを求める。
ｘ＝ｋｊ＋Ｄ／ＳＬＯＰ ・・・（１０），
Ｃ(ｘ)＝ Ｃ（ｋｊ）−｜Ｄ｜ ・・・（１１），
Ｄ＝｛Ｃ（ｋｊ−１）−Ｃ（ｋｊ＋１）｝／２ ・・・（１２），
ＳＬＯＰ＝ＭＡＸ｛Ｃ（ｋｊ＋１）−Ｃ（ｋｊ），Ｃ（ｋｊ−１）−Ｃ（ｋｊ）｝ ・・・（１３）
【００６３】
ステップＳ２４０では、（１０）式で求めたシフト量ｘを用いて被写体像面の予定結像面に対するデフォーカス量ＤＥＦを次式により求めることができる。
ＤＥＦ＝ＫＸ・ＰＹ・ｘ ・・・（１４）
（１４）式において、ＰＹは検出ピッチであり、ＫＸは一対の測距瞳の重心の開き角の大きさによって決まる変換係数である。
【００６４】
算出されたデフォーカス量ＤＥＦの信頼性があるかどうかは、以下のようにして判定される。図２１(ｂ)に示すように、一対のデータの相関度が低い場合は、内挿された相関量の最小値Ｃ(ｘ)の値が大きくなる。したがって、Ｃ(ｘ)が所定値以上の場合は信頼性が低いと判定する。あるいは、Ｃ(ｘ)をデータのコントラストで規格化するために、コントラストに比例した値となるＳＬＯＰでＣ(ｘ)を除した値が所定値以上の場合は信頼性が低いと判定する。あるいはまた、コントラストに比例した値となるＳＬＯＰが所定値以下の場合は、被写体が低コントラストであり、算出されたデフォーカス量ＤＥＦの信頼性が低いと判定する。図２１(ｃ)に示すように、一対のデータの相関度が低く、シフト範囲ｋｍｉｎ〜ｋｍａｘの間で相関量Ｃ(k)の落ち込みがない場合は、最小値Ｃ(ｘ)を求めることができず、このような場合は焦点検出不能と判定する。焦点検出が可能であった場合には算出された像ズレ量に所定の変換係数を乗じてデフォーカス量を算出する。
【００６５】
ステップＳ２５０で、焦点検出演算処理（相関演算処理）を終了して図１１のステップＳ１４０へリターンする。
【００６６】
《発明の他の実施の形態》
以上説明した一実施の形態では、（７）式に示すように、同じ形式の相関演算式において異なる演算パラメータｓｐｎによって求めた部分相関量のそれぞれの絶対値をとって加算し、加算した値を積算した相関量Ｃ(k)を用いて像ズレ検出を行っているが、演算パラメータｓｐｎは１と１０以外の組合せでもよいし、３個以上の演算パラメータｓｐｎの組合せでも構わない。また、相関演算式は（７）式に示す式に限定されず、例えば（１７）式に示すような相関演算式の演算パラメータｓｐｎを異ならせたものを採用することもできる。
【００６７】
次に、異なる形式の複数の相関演算式を利用して像ズレ検出を行う実施の形態を説明する。相関演算式の代表例として、（１５）式右辺の絶対値で囲まれた演算式を相関演算式Ａとし、（１６）式右辺の絶対値で囲まれた演算式を相関演算式Ｂとし、そして、（１７）式右辺の絶対値で囲まれた演算式を相関演算式Ｃとして、それらの特性について説明する。
Ｃ(k)＝Σ｜Ａｉ−Ｂｉ＋ｋ｜ ・・・（１５），
Ｃ(k)＝Σ｜Ａｉ・Ｂｉ＋ｓｐｎ＋ｋ−Ｂｉ＋ｋ・Ａｉ＋ｓｐｎ｜ ・・・（１６），
Ｃ(k)＝Σ｜Ａｉ２・Ｂｉ−ｓｐｎ＋ｋ・Ｂｉ＋ｓｐｎ＋ｋ−Ｂｉ＋ｋ２・Ａｉ−ｓｐｎ・Ａｉ＋ｓｐｎ｜ ・・・（１７）
（１５）式〜（１７）式において、積算演算（Σ）はサフィックスｉをデータ列の所定区間に亘って順次移動させて行われる。
【００６８】
図２２は上述した相関演算式Ａ、Ｂ、Ｃの特性を比較した表である。ケラレがない場合（一対の像が口径蝕による歪みを受けていない場合）には、どの演算式でも高精度な像ズレ検出が可能であるが、相関演算式Ａは演算中にデータ間の乗算を含まないので、演算処理時間が短縮できるというメリットがあるとともに、耐ノイズ性（データにノイズが加わった場合でも、像ズレ検出結果が影響を受けにくい特性）も相関演算式Ｂ、Ｃよりも高い。
【００６９】
０次ケラレが生じている場合には、相関演算式Ｂ、Ｃは高精度な像ズレ検出が可能であるが、演算式Ａは像ズレ検出精度が低下する。耐ノイズ性においては、演算式Ｂのほうが演算式Ｃよりも高い。１次ケラレが生じている場合には、相関演算式Ｃは高精度な像ズレ検出が可能であるが、演算式Ａ、Ｂは像ズレ検出精度が低下する。
【００７０】
図２３〜図２８は、上述した相関演算式Ａ、Ｂ、Ｃの特性を表すシミュレーションデータである。図２３は一対の像データ（図中に■印と□印で表す）のグラフであって、横軸がデータ位置を、縦軸がデータ値をそれぞれ表す。ただし、図２３では、一対の像データが重なって解りにくくなるのを避けるために、一対の像データの内の一方を他方に対して１データ位置分だけずらして表している。
【００７１】
図２３(ａ)は、一対の像データ（ｓｉｎ波形）間にケラレがない場合（像ズラシにより像が完全に一致する場合）のグラフである。また、図２３(ｂ)は、図２３（ａ）の一対の像データ（ｓｉｎ波形）にランダムノイズが加わった場合のグラフである。さらに、図２３(ｃ)は、一対の像データ（ｓｉｎ波形）間に０次ケラレが発生し、さらにランダムノイズが加わった場合のグラフである。そして、図２３(ｄ)は、一対の像データ（ｓｉｎ波形）間に１次ケラレが発生し、さらにランダムノイズが加わった場合のグラフである。
【００７２】
図２４は、図２３に示す一対の像データを相対的にデータピッチの−１から＋１までシフトした像ズレ状態において、相関演算式Ａ、Ｂ、Ｃを適用して像ズレ検出を行った場合の計算結果（図中の■印が相関演算式Ａの結果を、□印が相関演算式Ｂの結果を、×印が相関演算式Ｃの結果を表す）のグラフであり、横軸が実際の像ズレ量（単位：データピッチ）を、縦軸が計算結果の像ズレ量をそれぞれ表す。図２４(ａ)、(ｂ)、(ｃ)、(ｄ)は、それぞれ図２３(ａ)、(ｂ)、(ｃ)、(ｄ)の像データに対応した像ズレ量の演算結果である。
【００７３】
図２５は、図２４に示す実際の像ズレ量と計算結果の像ズレ量との誤差（図中の■印が相関演算式Ａの誤差を、□印が相関演算式Ｂの誤差を、×印が相関演算式Ｃの誤差をそれぞれ表す）のグラフであり、横軸が実際の像ズレ量（単位：データピッチ）を、縦軸が誤差量（単位：データピッチ）をそれぞれ表す。図２５(ａ)、(ｂ)、(ｃ)、(ｄ)は、それぞれ図２４(ａ)、(ｂ)、(ｃ)、(ｄ)の計算結果に対応した誤差量である。
【００７４】
図２６は、図２３に示す一対の像データを相対的にデータピッチ−１だけシフトした像ズレ状態において、相関演算式Ａを適用した場合の相関量Ｃ(k)のグラフであり、横軸が
シフト量ｋ（単位：データピッチ）を、縦軸が相関量Ｃ(k)の値をそれぞれ表す。図２６(ａ)、(ｂ)、(ｃ)、(ｄ)は、それぞれ図２３(ａ)、(ｂ)、(ｃ)、(ｄ)の像データに対応した相関量Ｃ(k)のグラフである。
【００７５】
図２７は、図２３に示す一対の像データを相対的にデータピッチ−１だけシフトした像ズレ状態において、相関演算式Ｂを適用した場合の相関量Ｃ(k)のグラフであり、横軸がシフト量ｋ（単位：データピッチ）を、縦軸が相関量Ｃ(k)の値をそれぞれ表す。図２７(ａ)、(ｂ)、(ｃ)、(ｄ)は、それぞれ図２３(ａ)、(ｂ)、(ｃ)、(ｄ)の像データに対応した相関量Ｃ(k)のグラフである。
【００７６】
図２８は、図２３に示す一対の像データを相対的にデータピッチ−１だけシフトした像ズレ状態において、相関演算式Ｃを適用した場合の相関量Ｃ(k)のグラフであり、横軸がシフト量ｋ（単位：データピッチ）を、縦軸が相関量Ｃ(k)の値をそれぞれ表す。図２８(ａ)、(ｂ)、(ｃ)、(ｄ)は、それぞれ図２３(ａ)、(ｂ)、(ｃ)、(ｄ)の像データに対応した相関量Ｃ(k)のグラフである。
【００７７】
図２３〜図２８を参照して改めて相関演算式Ａ、Ｂ、Ｃの特性を説明する。図２３(ａ)に示すケラレのない一対の像データに対しては、相関演算式Ａ、Ｂ、Ｃはともに、図２６(ａ)、図２７(ａ)、図２８(ａ)に示す相関グラフが真の像ズレ量で鋭い落ち込みの極小値を示しており、図２４(ａ)、図２５(ａ)に示すように像ズレ量の計算結果の誤差は少ない。
【００７８】
図２３(ｂ)に示すケラレのない一対の像データにノイズが加わった像データに対しては、相関演算式Ａ、Ｂ、Ｃはともに、図２６(ｂ)、図２７(ｂ)、図２８(ｂ)に示すように相関グラフが真の像ズレ量で鋭い落ち込みの極小値を示しており、図２４(ｂ)、図２５(ｂ)に示すように相関演算式Ａ、Ｂの像ズレ量の計算結果の誤差は少ないが、相関演算式Ｃの像ズレ量の計算結果の誤差が若干増加する。
【００７９】
図２３(ｃ)に示す０次ケラレの生じた一対の像データにノイズが加わった像データに対しては、相関演算式Ｂ、Ｃはともに、図２７(ｃ)、図２８(ｃ)に示すように相関グラフが真の像ズレ量で鋭い落ち込みの極小値を示しており、図２４(ｃ)、図２５(ｃ)に示すように相関演算式Ｂの像ズレ量の計算結果の誤差は少ないが、演算式Ｃの像ズレ量の計算結果の誤差が若干増加する。
【００８０】
一方、図２３(ｃ)に示す０次ケラレの生じた一対の像データにノイズが加わった像データに対しては、相関演算式Ａにおいて、図２６(ｃ)に示すように相関グラフが真の像ズレ量近傍での落ち込みかたが鈍くなり、図２４(ｃ)、図２５(ｃ)に示すように像ズレ量の計算結果が大きな誤差を持つ。
【００８１】
図２３(ｄ)に示す１次ケラレの生じた一対の像データにノイズが加わった像データに対しては、相関演算式Ｃにおいて、図２８(ｄ)に示すように相関グラフが真の像ズレ量で鋭い落ち込みの極小値を示しており、図２４(ｄ)、図２５(ｄ)に示すように相関演算式Ｃの像ズレ量の計算結果の誤差は比較的少ない。
【００８２】
図２３(ｄ)に示す１次ケラレの生じた一対の像データにノイズが加わった像データに対しては、相関演算式Ｂにおいて、図２７(ｄ)に示すように相関グラフが真の像ズレ量近傍で鋭い落ち込みを示すが、図２４(ｄ)、図２５(ｄ)に示すように像ズレ量の計算結果は大きな誤差（平行移動成分）を持つ。
【００８３】
一方、図２３(ｄ)に示す１次ケラレの生じた一対の像データにノイズが加わった像データに対しては、相関演算式Ａにおいて、図２６(ｄ)に示すように相関グラフが真の像ズレ量近傍での落ち込みかたが鈍くなり、図２４(ｄ)、図２５(ｄ)に示すように像ズレ量の計算結果は大きな誤差を持つ。
【００８４】
次に、相関演算式と像データの空間周波数との相性について説明する。図２９は、相関演算式Ｂ、Ｃにおける演算パラメータｓｐｎとデータの周波数成分との関連性を比較した表である。この表から明らかなように、一対の像データが低周波成分を多く含む場合には、相関演算式Ｂ、Ｃにおける演算パラメータｓｐｎは大きな値の方が高精度の像ズレ検出結果が期待できる。逆に、高周波成分を多く含む場合には、相関演算式Ｂ、Ｃにおける演算パラメータｓｐｎは小さな値の方が高精度の像ズレ検出結果が期待できる。
【００８５】
図３０、図３１は、相関演算式Ｂ、Ｃにおける演算パラメータｓｐｎの特性を表すためのシミュレーションデータである。図３０は、一対の像データ（図中に■印と□印で表す）のグラフであり、横軸がデータ位置を、縦軸がデータ値をそれぞれ表す。ただし、図３０では、一対の像データが重なって解りにくくなるのを避けるために、一対の像データの内の一方を他方に対して１データ位置分だけずらして表している。図３０(ａ)は、一対の像データ（高周波のｓｉｎ波形）間に１次ケラレが発生した場合のグラフであり、図３０(ｂ)は、一対の像データ（低周波のｓｉｎ波形）間に１次ケラレが発生した場合のグラフである。
【００８６】
図３１(ａ)、(ｂ)は、図３０(ａ)、(ｂ)に示す一対の像データを相対的にデータピッチの−１から＋１までシフトした像ズレ状態において、上述した相関演算式Ｂ（ｓｐｎ＝１、１０）を適用して像ズレ検出を行った場合の計算結果（図中の■印がｓｐｎ＝１の場合を、□印がｓｐｎ＝１０の場合をそれぞれ表す）のグラフであり、横軸が実際の像ズレ量（単位：データピッチ）を、縦軸が計算結果の像ズレ量をそれぞれ表す。
【００８７】
また、図３１(ｃ)は、図３０(ｂ)に示す一対の像データを相対的にデータピッチの−１から＋１までシフトした像ズレ状態において、上述した相関演算式Ｃ（ｓｐｎ＝１、１０）を適用して像ズレ検出を行った場合の計算結果（図中の■印がｓｐｎ＝１の場合を、□印がｓｐｎ＝１０の場合をそれぞれ表す）のグラフであり、横軸が実際の像ズレ量（単位：データピッチ）を、縦軸が計算結果の像ズレ量をそれぞれ表す。
【００８８】
さらに、図３１(ｄ)は、図３０(ｂ)に示す一対の像データにノイズを加えた後に相対的にデータピッチの−１から＋１までシフトした像ズレ状態において、上述した相関演算式Ｃ（ｓｐｎ＝１、１０）を適用して像ズレ検出を行った場合の計算結果（図中の■印がｓｐｎ＝１の場合を、□印がｓｐｎ＝１０の場合をそれぞれ表す）のグラフであり、横軸が実際の像ズレ量（単位：データピッチ）を、縦軸が計算結果の像ズレ量をそれぞれ表す。
【００８９】
図３１(ａ)、(ｂ)から明らかなように、相関演算式Ｂによれば、演算パラメータｓｐｎを像データの周波数に応じて調整（低周波の場合はｓｐｎを大きく、高周波の場合にはｓｐｎを小さく）することによって、１次ケラレによる像ズレ検出演算結果のシフト現象を軽減することができる。
【００９０】
また、図３１(ｃ)、(ｄ)から明らかなように、相関演算式Ｃによれば、演算パラメータｓｐｎを像データの周波数に応じて調整（低周波の場合はｓｐｎを大きく）することによって、ノイズによる像ズレ検出演算結果のバラツキ現象を軽減することができることができる。
【００９１】
一般に、相関演算式Ｂ、Ｃのように、データどうしの乗算を含む相関演算式によれば、データどうしの間隔（＝ｓｐｎ）を像データの周波数に応じて調整（低周波の場合はｓｐｎを大きく、高周波の場合にはｓｐｎを小さく）することによって、ケラレやノイズの影響を低減できる。
【００９２】
以上に基づき、ボディ駆動制御装置２１４は、図３２に示すフローにしたがって焦点検出演算処理を実行する。ステップＳ３００から焦点検出演算処理が開始され、続くステップＳ３１０で（１）式により一対の焦点検出画素のデータ列にナイキスト周波数成分以上の高周波成分をカットするフィルター処理が施され、第１データ列と第２データ列が生成される。
【００９３】
ステップＳ３１０において、第１データ列と第２データ列に対して複数の相関演算式（Ａ、Ｂ：ｓｐｎ小、Ｂ：ｓｐｎ大、Ｃ：ｓｐｎ小、Ｃ：ｓｐｎ大）が適用され、それぞれの相関演算式に応じてデフォーカス量が算出される。ステップＳ３３０では、各相関演算式で得られたデフォーカス量の信頼性を図２１に示した相関パラメータ（Ｃ(ｘ)、ＳＬＯＰ）に応じて判断し、信頼性の高いデフォーカス量を抽出する。
【００９４】
ステップＳ３４０において、抽出されたデフォーカス量を平均するとともに、抽出されたデフォーカス量に対応した相関パラメータを平均し、焦点検出演算処理を終了する。
【００９５】
次に、図３３は、各相関演算式（Ａ、Ｂ：ｓｐｎ小、Ｂ：ｓｐｎ大、Ｃ：ｓｐｎ小、Ｃ：ｓｐｎ大）ごとのデフォーカス量算出処理を示すフローチャートである。各処理ステップは、ボディ駆動制御装置２１４が実行する。ステップＳ４００からデフォーカス量算出処理が開始され、続くステップＳ４１０で第１データ列（Ａ１〜Ａｎ）と第２データ列（Ｂ１〜Ｂｎ）を相対的にずらす（シフト量ｋ）とともに、第１データ列および第２データ列に対し相関演算式（Ａ、Ｂ：ｓｐｎ小、Ｂ：ｓｐｎ大、Ｃ：ｓｐｎ小、Ｃ：ｓｐｎ大））を施し、その演算結果の絶対値をデータの所定区間に亘って積算する。
【００９６】
ステップＳ４２０において、図２１で説明した３点内挿の手法により相関量Ｃ(k)の最小値に基づいて像ズレ量を算出するとともに、ステップＳ４３０で像ズレ量をデフォーカス量に変換し、デフォーカス量算出処理を終了する。
【００９７】
以上説明した一実施の形態では、まず複数の相関演算式に応じた複数のデフォーカス量を算出し、次にその中から信頼性のあるデフォーカス量を抽出し、抽出したデフォーカス量を平均して最終的なデフォーカス量を算出しているので、ケラレの状態、ノイズの状態、データの空間周波数成分に依らず安定して高精度な焦点検出が可能になるとともに、ケラレの状態、ノイズの状態、データの空間周波数成分を検出し、検出したケラレの状態、ノイズの状態、データの空間周波数成分に応じて複数の相関演算式の中から最適な相関演算式を選択してデフォーカス量を算出するのに比較して、ケラレの状態、ノイズの状態、データの空間周波数成分の検出処理を省くことができると同時に、ケラレの状態、ノイズの状態、データの空間周波数成分の誤検出の影響を防止することができる。
【００９８】
図３２、図３３に示す処理では、各相関演算式ごとにデフォーカス量まで算出する例を示したが、各相関演算式ごとに像ズレ量を算出し、信頼性に応じて像ズレ量を抽出し、抽出した像ズレ量の平均を求めた後に平均像ズレ量をデフォーカス量に変換するようにしてもよい。
【００９９】
図３２に示す処理では、複数の相関演算式に応じた複数のデフォーカス量を算出し、次にその中から信頼性のあるデフォーカス量を抽出する例を示したが、図３４に示す焦点検出演算処理のように、予め定められた順番で複数の相関演算式による像ズレ検出を行い、信頼性のあるデフォーカス量が得られた時点で像ズレ検出処理を終了するようにしてもよい。
【０１００】
図３４の各処理ステップは、ボディ駆動制御装置２１４が実行する。ステップＳ５００で焦点検出演算処理が開始され、続くステップＳ５１０で（１）式により一対の焦点検出画素のデータ列にナイキスト周波数成分以上の高周波成分をカットするフィルター処理が施され、第１データ列と第２データ列が生成される。ステップＳ５２０では、第１データ列と第２データ列に対し相関演算式Ａを適用してデフォーカス量を算出する。
【０１０１】
ステップＳ５３０において、算出されたデフォーカス量の信頼性があるか否かをチェックし、信頼性がある場合はステップＳ６１０へ進んで焦点検出演算処理を終了する。一方、信頼性がない場合はステップＳ５４０へ進み、第１データ列と第２データ列に対し相関演算式Ｂ（ｓｐｎ小）を適用してデフォーカス量を算出する。
【０１０２】
ステップＳ５５０において、算出されたデフォーカス量の信頼性があるか否かをチェックし、信頼性がある場合はステップＳ６１０へ進んで焦点検出演算処理を終了する。一方、信頼性がない場合はステップＳ５６０へ進み、第１データ列と第２データ列に対し相関演算式Ｂ（ｓｐｎ大）を適用してデフォーカス量を算出する。
【０１０３】
ステップＳ５７０において、算出されたデフォーカス量の信頼性があるか否かをチェックし、信頼性がある場合はステップＳ６１０へ進んで焦点検出演算処理を終了する。一方、信頼性がない場合はステップＳ５８０へ進み、第１データ列と第２データ列に対し相関演算式Ｃ（ｓｐｎ小）を適用してデフォーカス量を算出する。
【０１０４】
ステップＳ５９０において、算出されたデフォーカス量の信頼性があるか否かをチェックし、信頼性がある場合はステップＳ６１０へ進んで焦点検出演算処理を終了する。一方、信頼性がない場合はステップＳ６００へ進み、第１データ列と第２データ列に対し相関演算式Ｃ（ｓｐｎ大）を適用してデフォーカス量を算出し、ステップＳ６１０で焦点検出演算処理を終了する。
【０１０５】
図３４に示す焦点検出演算処理によれば、複数の相関演算式をケラレやノイズがなく、高周波成分を含むような一般的なデータに対して像ズレ検出精度が高い順番かつ演算規模が小さい順番（相関演算式Ａ→Ｂｓｐｎ小→Ｂｓｐｎ大→Ｃｓｐｎ小→Ｃｓｐｎ大）に適用するので、図３３に示す処理と比較して短時間で高精度な焦点検出を行うことができる。
【０１０６】
図３４に示す焦点検出処理によれば、各相関演算式ごとにデフォーカス量まで算出する例を示したが、各相関演算式ごとに像ズレ量を算出し、算出された像ズレ量に信頼性に信頼性がある場合のみ算出された像ズレ量をデフォーカス量に変換するようにしてもよい。
【０１０７】
以上説明した実施形態においては、（１５）式〜（１７）式に示す複数の異なる相関演算式Ａ、Ｂｓｐｎ小、Ｂｓｐｎ大、Ｃｓｐｎ小、Ｃｓｐｎ大を用いた例を示したが、相関演算式としては（１５）式〜（１７）式に示す相関演算式に限定されず、その他の形式で表される相関演算式を使用することもできる。
【０１０８】
図１２に示す焦点検出演算処理では、同一形式の相関演算式において異なる演算パラメータｓｐｎで計算した部分相関量のそれぞれを絶対値をとって加算し、加算した値を所定のデータ区間に亘って積算することにより相関量Ｃ(k)を求める例を示したが、異なる形式の相関演算式（例えば（１５）式、（１６）式、（１７）式）で計算した部分相関量のそれぞれを絶対値をとって加算し、加算した値を所定のデータ区間に亘って積算することにより相関量Ｃ(k)を求めるようにしてもよい。その場合には、各相関演算式により算出される部分相関量を、各相関演算式に応じた所定値で割ることによって規格化し、部分相関量のレベルを揃えることができる。各相関演算式に応じた所定値は、例えば標準的な一対のデータに対して各相関演算式を適用して求めた相関量Ｃ(k)の最大値を採用することができる。
【０１０９】
《その他の変形例》
撮像素子における焦点検出エリアの配置は図２に限定されることはなく、対角線方向や、その他の位置に水平方向および垂直方向に焦点検出エリアを配置することも可能である。
【０１１０】
図３に示す撮像素子２１２では、焦点検出画素３１３、３１４がひとつの画素内にひとつの光電変換部を備えた例を示したが、ひとつの画素内に一対の光電変換部を備えるようにしてもよい。図３５は、図３に示す撮像素子２１２に対応した撮像素子２１２Ａの部分拡大図であり、焦点検出画素３１１はひとつの画素内に一対の光電変換部を備える。図に示す焦点検出画素３１１は、図３に示す焦点検出画素３１３と焦点検出画素３１４のペアに相当した機能を果たす。
【０１１１】
焦点検出画素３１１は、図３６に示すようにマイクロレンズ１０と一対の光電変換部１３，１４から構成される。焦点検出画素３１１には光量をかせぐために色フィルターは配置されておらず、その分光特性は光電変換を行うフォトダイオードの分光感度と、赤外カットフィルター（不図示）の分光特性とを総合した分光特性（図７参照）となる。つまり、図６に示す緑画素、赤画素および青画素の分光特性を加算したような分光特性となり、その感度の光波長領域は緑画素、赤画素および青画素の感度の光波長領域を包括している。
【０１１２】
図３７は、図３５に示す撮像素子２１２Ａの焦点検出画素による瞳分割型位相差検出方式の焦点検出動作を説明するための図である。図３７において、９０は、交換レンズの予定結像面に配置されたマイクロレンズの前方ｄの距離に設定された射出瞳である。ここで、距離ｄは、マイクロレンズの曲率、屈折率、マイクロレンズと光電変換部の間の距離などに応じて決まる距離であって、測距瞳距離である。９１は交換レンズの光軸、５０、６０はマイクロレンズ、（５３，５４）、（６３，６４）は焦点検出画素の対の光電変換部、７３，７４、８３，８４は焦点検出用光束である。
【０１１３】
さらに、９３はマイクロレンズ５０、６０により投影された光電変換部５３，６３の領域であり、測距瞳である。同様に、９４はマイクロレンズ５０、６０により投影された光電変換部５４，６４の領域であり、測距瞳である。図３７では、光軸９１上にある焦点検出画素（マイクロレンズ５０と一対の光電変換部５３、５４を有する）と、隣接する焦点検出画素（マイクロレンズ６０と一対の光電変換部６３、６４を有する）を模式的に例示しているが、撮像面上の周辺に配置された焦点検出用画素においても、一対の光電変換部はそれぞれ一対の測距瞳９３、９４から各マイクロレンズに到来する光束を受光する。焦点検出画素の配列方向は一対の測距瞳の並び方向と一致させる。
【０１１４】
マイクロレンズ５０、６０は光学系の予定結像面近傍に配置されており、光軸９１上に配置されたマイクロレンズ５０によって、その背後に配置された一対の光電変換部５３、５４の形状がマイクロレンズ５０、６０から測距瞳距離ｄだけ離間した射出瞳９０上に投影され、その投影形状は測距瞳９３，９４を形成する。また、マイクロレンズ５０に隣接して配置されたマイクロレンズ６０によって、その背後に配置された一対の光電変換部６３、６４の形状が測距瞳距離ｄだけ離間した射出瞳９０上に投影され、その投影形状は測距瞳９３，９４を形成する。すなわち、測距瞳距離ｄにある射出瞳９０上で各焦点検出画素の光電変換部の投影形状（測距瞳９３，９４）が一致するように、各画素のマイクロレンズと光電変換部の位置関係が決定されている。
【０１１５】
光電変換部５３は、測距瞳９３を通過してマイクロレンズ５０へ向う焦点検出光束７３によってマイクロレンズ５０上に形成される像の強度に対応した信号を出力する。また、光電変換部５４は、測距瞳９４を通過してマイクロレンズ５０へ向う焦点検出光束７４によってマイクロレンズ５０上に形成される像の強度に対応した信号を出力する。同様に、光電変換部６３は、測距瞳９３を通過してマイクロレンズ６０へ向う焦点検出光束８３によってマイクロレンズ６０上に形成される像の強度に対応した信号を出力する。また、光電変換部６４は、測距瞳９４を通過してマイクロレンズ６０へ向う焦点検出光束８４によってマイクロレンズ６０上に形成される像の強度に対応した信号を出力する。
【０１１６】
このような焦点検出画素を直線状に多数配置し、各焦点検出画素の一対の光電変換部の出力を測距瞳９３および測距瞳９４に対応した出力グループにまとめることによって、測距瞳９３と測距瞳９４を各々通過する焦点検出光束が焦点検出画素列上に形成する一対の像の強度分布に関する情報が得られる。この情報に対して後述する像ズレ検出演算処理（相関演算処理、位相差検出処理）を施すことによって、いわゆる瞳分割位相差検出方式で一対の像の像ズレ量が検出される。さらに、像ズレ量に所定の変換処理を施すことによって、予定結像面（マイクロレンズアレイの位置）に対する現在の結像面（撮影画面１００上で定められる焦点検出位置における実際の結像面）の偏差（デフォーカス量）が算出される。
【０１１７】
次に、図３に示す撮像素子２１２では撮像画素３１０がベイヤー配列の色フィルターを備えた例を示したが、色フィルターの構成や配列はこれに限定されることはなく、補色フィルター（緑：Ｇ、イエロー：Ｙｅ、マゼンタ：Ｍｇ，シアン：Ｃｙ）の配列を採用してもよい。また、図３に示す撮像素子２１２では焦点検出画素３１３、３１４に色フィルターを設けない例を示したが、撮像画素３１０と同色の色フィルターの内のひとつのフィルター（例えば緑フィルター）を設けるようにした場合でも、本発明を適用することができる。
【０１１８】
また、上述した一実施の形態の図５、図３７に示す焦点検出画素３１１、３１３、３１４では、光電変換部の形状を半円形や矩形にした例を示したが、焦点検出画素の光電変換部の形状はこれらに限定されず、他の形状であってもよい。例えば焦点検出画素の光電変換部の形状を楕円や多角形にすることも可能である。
【０１１９】
さらに、図３に示す撮像素子２１２では、撮像画素と焦点検出画素を稠密正方格子配列に配置した例を示したが、稠密六方格子配列（ハニカム状配列）としてもよい。
【０１２０】
上述した一実施の形態では、マイクロレンズを用いた瞳分割型位相差検出方式による焦点検出動作を説明したが、本発明はこのような方式の焦点検出に限定されず、特開２００８−１５１５７号公報に開示された偏光素子による瞳分割型位相差検出方式の焦点検出装置にも適用可能である。
【０１２１】
さらに、本発明は、再結像方式による瞳分割型位相差検出方式の焦点検出にも適用可能である。図３８により、再結像方式による瞳分割型位相差検出方式の焦点検出動作を説明する。図３８において、１９１は交換レンズの光軸、１１０，１２０はコンデンサレンズ、１１１、１２１は絞りマスク、１１２，１１３、１２２，１２３は絞り開口、１１４、１１５、１２４，１２５は再結像レンズ、１１６、１２６は焦点検出用のイメージセンサー（ＣＣＤ）である。
【０１２２】
また、１３２，１３３、１４２，１４３は焦点検出光束、１９０は交換レンズの予定結像面の前方ｄ５の距離に設定された射出瞳である。ここで、距離ｄ５は、コンデンサレンズ１１０，１２０の焦点距離と、コンデンサレンズ１１０，１２０と絞り開口１１２，１１３、１２２，１２３との間の距離などに応じて決まる距離であって、測距瞳距離である。１９２は、コンデンサレンズ１１０，１２０により投影された絞り開口１１２，１２２の領域であり、測距瞳である。同様に、１９３は、コンデンサレンズ１１０，１２０により投影された絞り開口１１３，１２３の領域であり、測距瞳である。コンデンサレンズ１１０、絞りマスク１１１、絞り開口１１２，１１３、再結像レンズ１１４、１１５およびイメージセンサー１１６が、一つの位置で焦点検出を行う再結像方式の瞳分割型位相差検出方式の焦点検出ユニットを構成する。
【０１２３】
図３８においては、光軸１９１上にある焦点検出ユニットと光軸外にある焦点検出ユニットとを模式的に例示している。複数の焦点検出ユニットを組み合わせることによって、図２に示す３箇所の焦点検出位置１０１〜１０３において再結像方式の瞳分割位相差検出で焦点検出を行う焦点検出装置を実現することができる。
【０１２４】
コンデンサレンズ１１０を有する焦点検出ユニットは、交換レンズの予定結像面近傍に配置されたコンデンサレンズ１１０、その背後に配置されたイメージサンサ１１６、コンデンサレンズ１１０とイメージサンサ１１６との間に配置され、予定結像面近傍に結像された１次像をイメージセンサー１１６上に再結像する一対の再結像レンズ１１４、１１５、一対の再結像レンズの近傍（図３８では前面）に配置された一対の絞り開口１１２、１１３を有する絞りマスク１１を有する。
【０１２５】
イメージセンサー１１６は、複数の光電変換部が直線に沿って密に配置されたラインサンサであり、光電変換部の配置方向は一対の測距瞳の分割方向（＝絞り開口の並び方向）と一致させる。このイメージセンサー１１６からは、イメージセンサー１１６上に再結像された一対の像の強度分布に対応した情報が出力され、この情報に対して後述する像ズレ検出演算処理（相関処理、位相差検出処理）を施すことによって、いわゆる瞳分割型位相差検出方式（再結像方式）で一対の像の像ズレ量が検出される。さらに、像ズレ量に所定の変換係数を乗ずることによって、予定結像面に対する現在の結像面の偏差（デフォーカス量）が算出される。
【０１２６】
イメージセンサー１１６は再結像レンズ１１４、１１５により予定結像面上に投影されており、デフォーカス量（像ズレ量）の検出精度は、像ズレ量の検出ピッチ（再結像方式の場合は予定結像面上に投影された光電変換部の配列ピッチ）により決まる。
【０１２７】
コンデンサレンズ１１０は、絞りマスク１１１の絞り開口１１２、１１３を射出瞳１９０上に領域１９２、１９３として投影している。領域１９２，１９３は測距瞳である。すなわち、イメージセンサー１１６上に再結像される一対の像は射出瞳１９０上の一対の測距瞳１９２，１９３を通過する光束によって形成される。射出瞳１９０上の一対の測距瞳１９２，１９３を通過する光束１３２、１３３を焦点検出用光束と呼ぶ。
【０１２８】
このような再結像方式による瞳分割型位相差検出方式においても、測距瞳の口径蝕によってイメージセンサー上に形成される一対の像のバランス崩れが生ずるので、イメージセンサーの出力信号を処理する際に本発明を適用することができる。
【０１２９】
なお、撮像装置としては、上述したようなカメラボディに交換レンズが装着される構成のデジタルスチルカメラやフィルムスチルカメラに限定されない。例えばレンズ一体型のデジタルスチルカメラ、フィルムスチルカメラ、あるいはビデオカメラにも本発明を適用することができる。さらには、携帯電話などに内蔵される小型カメラモジュール、監視カメラやロボット用の視覚認識装置、車載カメラなどにも適用できる。
【０１３０】
上述した一実施の形態では、撮像画素の配列中に焦点検出画素を配列し、焦点検出画素で得られる信号に基づいて結像光学系の瞳の異なる領域を通る一対の光束に対応する一対の信号列を求め、上記相関演算により瞳分割型位相差検出方式の焦点検出を行う例を示したが、撮像画素の出力に基づいて周知のコントラスト方式の焦点検出を行うとともに、焦点検出画素の出力に基づいて瞳分割型位相差検出方式の焦点検出を行う、ハイブリッド方式の焦点検出装置としてもよい。
【０１３１】
また、本発明は、カメラ以外の焦点検出装置や測距装置、さらにはステレオ測距装置にも適用できる。さらに、時間が異なるイメージセンサーの信号間の相関を検出して被写体像の動きやカメラのブレを検出する装置にも適用できる。さらにまた、イメージセンサーの画像信号と特定の画像信号のパターンマッチングにも適用できる。
【０１３２】
さらに、本発明は、画像信号データの相関を検出するものに限定されず、音に関するデータの相関やその他一般に２つの信号の相関を検出するものにも適用することができる。
【符号の説明】
【０１３３】
１０；マイクロレンズ、１１、１３、１４；光電変換部、２０２；交換レンズ、２１２、２１２Ａ；撮像素子、２１４；ボディ駆動制御装置、３１０；撮像画素、３１１、３１３、３１４；焦点検出画素
【技術分野】
【０００１】
本発明は相関演算方法、相関演算装置、焦点検出装置および撮像装置に関する。
【背景技術】
【０００２】
相対的に歪みが生じた一対の像に対応した一対のデータ列間の相対的な変位量（像ズレ量、シフト量）を算出する焦点検出装置が知られている（例えば、特許文献１参照）。この装置では、一対のデータ列に対して、一対のデータ列間のデータどうしの乗算を含む相関演算式を用いてシフト量ｋを変えながら相関量を算出している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−３３３７２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来の焦点検出装置における相関量を算出する相関演算式は、像データの状態（ケラレの程度、ノイズの程度等）によっては演算特性が不適切となり、画一的に適用すると像ズレ検出精度が低下するという問題がある。
【課題を解決するための手段】
【０００５】
（１） 請求項１の発明は、複数の第１データが一次元上に配列された第１データ列と、複数の第２データが一次元上に配列された第１データ列とは異なる第２データ列とを、一次元上で変位量を変えながら相対的に変位させ、複数の相関演算式により第１データ列と第２データ列の間の相関量を演算する相関演算方法である。
（２） 請求項２の発明は、請求項１に記載の相関演算方法において、複数の相関演算式の内の少なくとも１つは、第１データ列の中の１つのデータと第２データ列の中の１つのデータとの乗算を含む相関演算式である。
（３） 請求項３の発明は、請求項２に記載の相関演算方法において、乗算を含む相関演算式が複数あり、それらの複数の乗算を含む相関演算式は、第１データ列の中の１つのデータと第２データ列の中の１つのデータとの乗算と、第１データ列中の他の１つのデータと第２データ列の中の他の１つのデータとの乗算とを含む部分相関演算式を含み、第１データ列の中の１つのデータと第１データ列の中の他の１つのデータとの間隔、および第２データ列の中の１つのデータと第２データ列の中の他の１つのデータとの間隔がともに所定間隔である。
（４） 請求項４の発明は、請求項３に記載の相関演算方法において、複数の乗算を含む相関演算式は、所定間隔が相異なる２種類の部分相関演算式を含む。
（５） 請求項５の発明は、請求項１〜４のいずれか一項に記載の相関演算方法において、複数の相関演算式により求めた複数の相関量を加算した相関量を求める。
（６） 請求項６の発明は、請求項１〜４のいずれか一項に記載の相関演算方法において、複数の相関演算式により求めた複数の相関量のそれぞれに対し信頼性を判定し、信頼性が高いと判定された相関量を抽出する。
（７） 請求項７の発明は、請求項１〜４のいずれか一項に記載の相関演算方法において、第１データ列と第２データ列に対して複数の相関演算式を予め定めた順序で適用し、相関量の演算を行うとともに該相関量の信頼性を判定し、信頼性が高いと判定された相関量を抽出したとき、複数の相関演算式による相関量の演算を終了する。
（８） 請求項８の発明は、請求項１〜７のいずれか一項に記載の相関演算方法において、複数の相関演算式は、第１データ列と第２データ列の間の歪みに対する特性がそれぞれ異なる演算式である。
（９） 請求項９の発明は、請求項８に記載の相関演算方法において、歪みが大きいとき、信頼性が高いと判定された相関量として、第１データと第２データとの乗算を含む相関演算式により演算された第１データ列と第２データ列の間の相関量を抽出する。
（１０） 請求項１０の発明は、請求項１〜７のいずれか一項に記載の相関演算方法において、複数の相関演算式は、第１データ列と第２データ列に加わるノイズに対する特性がそれぞれ異なる演算式である。
（１１） 請求項１１の発明は、請求項１０に記載の相関演算方法において、ノイズが大きいとき、信頼性が高いと判定された相関量として、第１データと第２データとの乗算を含む相関演算式により演算された第１データ列と第２データ列の間の相関量を抽出する。
（１２） 請求項１２の発明は、請求項１〜７のいずれか一項に記載の相関演算方法において、複数の相関演算式は、第１データ列と第２データ列の空間周波数に対する特性がそれぞれ異なる演算式である。
（１３） 請求項１３の発明は、請求項１〜１２のいずれか一項に記載の相関演算方法により、相関量の極値が得られる変位量を演算する演算手段を備える相関演算装置である。
（１４） 請求項１４の発明は、光学系を通って一対の像を形成する一対の光束を受光し、一対の像に応じた第１データ列と第２データ列とを出力する受光手段と、第１データ列と第２データ列の間の相関量の極値が得られる変位量を求める請求項１３に記載の相関演算装置と、変位量に基づいて光学系の焦点調節状態を検出する焦点検出手段とを備える焦点検出装置である。
（１５） 請求項１５の発明は、請求項１４に記載の焦点検出装置において、受光手段は、マイクロレンズと該マイクロレンズを介して光学系からの光束を受光する光電変換部とを有する焦点検出画素が複数個配列されており、複数の焦点検出画素の出力に基づいて第１データ列と第２データ列を生成する。
（１６） 請求項１６の発明は、請求項１５に記載の焦点検出装置と、撮像素子とを備える撮像装置である。
（１７） 請求項１７の発明は、請求項１６に記載の撮像装置において、撮像素子は、同一基板上に配列される、光学系により結像される像を撮像する撮像画素と焦点検出画素とを有する。
【発明の効果】
【０００６】
本発明によれば、種々の状況における一対のデータ列に対して、該一対のデータ列の相関量を正確に演算することができる。
【図面の簡単な説明】
【０００７】
【図１】一実施の形態のカメラの構成を示すカメラの横断面図
【図２】交換レンズの撮影画面上における焦点検出位置を示す図
【図３】撮像素子の詳細な構成を示す正面図
【図４】撮像画素の構成を示す正面図
【図５】焦点検出画素の構成を示す正面図
【図６】撮像画素の分光特性を示す図
【図７】焦点検出画素の分光特性を示す図
【図８】撮像画素の断面図
【図９】焦点検出画素の断面図
【図１０】マイクロレンズを用いた瞳分割型位相差検出方式の焦点検出光学系の構成を示す図
【図１１】一実施の形態のデジタルスチルカメラ（撮像装置）の撮像動作を示すフローチャート
【図１２】一実施の形態の焦点検出演算処理を示すフローチャート
【図１３】焦点検出光束のケラレ（口径蝕）を説明するための図
【図１４】予定焦点面から光軸の方向に測距瞳面を見た場合の図
【図１５】図１３および図１４の状態において位置ｘ０（像高０）の近傍の焦点検出画素列が受光する一対の像と、位置ｘ１（像高ｈ）の近傍の焦点検出画素列が受光する一対の像の強度分布（縦軸は光量、横軸は撮影画面上の位置）を示した図
【図１６】一対の像データのグラフ
【図１７】図１６(ａ)に示す一対の像データを相対的にデータピッチ−１だけシフトした像ズレ状態において、相関量Ｃ１(k)、Ｃ２(k)、Ｃ(k)を計算した場合のグラフ
【図１８】図１６(ｂ)に示す一対の像データを相対的にデータピッチ−１だけシフトした像ズレ状態において、相関量Ｃ１(k)、Ｃ２(k)、Ｃ(k)を計算した場合のグラフ
【図１９】図１６(ｃ)に示す一対の像データを相対的にデータピッチ−１だけシフトした像ズレ状態において、相関量Ｃ１(k)、Ｃ２(k)、Ｃ(k)を計算した場合のグラフ
【図２０】図１６に示す一対の像データを相対的にデータピッチの−１から＋１までシフトした像ズレ状態において、相関量Ｃ１(k)、Ｃ２(k)、Ｃ(k)を計算した場合に、相関量の極値から像ズレ検出を行った計算結果（図中に■印でＣ１(k)を、□印でＣ２(k)を、×印でＣ(k)をそれぞれ表す）のグラフ
【図２１】焦点検出結果の評価方法を説明するための図
【図２２】相関演算式Ａ、Ｂ、Ｃの特性を比較した図
【図２３】一対の像データを示す図
【図２４】図２３の一対の像データを相対的にデータピッチ−１からデータピッチ＋１までずらした像データに対し、相関演算式Ａ、Ｂ、Ｃを適用して像ズレ検出を行った場合の計算結果を示す図
【図２５】図２４に示す実際の像ズレ量と計算結果の像ズレ量との誤差を示す図
【図２６】図２３の一対の像データを相対的にデータピッチ−１だけずらした像データに対し、相関演算式Ａを適用した場合の相関量Ｃ(k)のグラフ
【図２７】図２３の一対の像データを相対的にデータピッチ−１だけずらした像データに対し、相関演算式Ｂを適用した場合の相関量Ｃ(k)のグラフ
【図２８】図２３の一対の像データを相対的にデータピッチ−１だけずらした像データに対し、相関演算式Ｃを適用した場合の相関量Ｃ(k)のグラフ
【図２９】相関演算式Ｂ、Ｃにおけるｓｐｎとデータの周波数成分との関連性を比較した図
【図３０】一対の像データを示す図
【図３１】図３０に示す一対の像データを相対的にデータピッチの−１から＋１までずらした像データに対し、相関演算式Ｂ（ｓｐｎ＝１、１０）を適用して像ズレ検出を行った場合の計算結果を示す図
【図３２】焦点検出演算処理を示すフローチャート
【図３３】焦点検出演算処理を示すフローチャート
【図３４】焦点検出演算処理を示すフローチャート
【図３５】変形例の撮像素子を示す図
【図３６】図３５に示す変形例の撮像素子で用いる焦点検出画素の正面図
【図３７】図３５に示す撮像素子の焦点検出画素による瞳分割方式の焦点検出動作を説明するための図
【図３８】再結像瞳分割方式の焦点検出動作を説明するための図
【発明を実施するための形態】
【０００８】
一実施の形態の焦点検出装置を搭載した撮像装置として、レンズ交換式デジタルスチルカメラを例に挙げて説明する。図１は一実施の形態のカメラの構成を示すカメラの横断面図である。一実施の形態のデジタルスチルカメラ２０１は交換レンズ２０２とカメラボディ２０３から構成され、交換レンズ２０２がマウント部２０４を介してカメラボディ２０３に装着される。カメラボディ２０３にはマウント部２０４を介して種々の結像光学系を有する交換レンズ２０２が装着可能である。
【０００９】
交換レンズ２０２はレンズ２０９、ズーミング用レンズ２０８、フォーカシング用レンズ２１０、絞り２１１、レンズ駆動制御装置２０６などを備えている。レンズ駆動制御装置２０６は不図示のマイクロコンピューター、メモリ、駆動制御回路などから構成され、フォーカシング用レンズ２１０の焦点調節と絞り２１１の開口径調節のための駆動制御や、ズーミング用レンズ２０８、フォーカシング用レンズ２１０および絞り２１１の状態検出などを行う他、後述するボディ駆動制御装置２１４との通信によりレンズ情報の送信とカメラ情報の受信を行う。絞り２１１は、光量およびボケ量調整のために光軸中心に開口径が可変な開口を形成する。
【００１０】
カメラボディ２０３は撮像素子２１２、ボディ駆動制御装置２１４、液晶表示素子駆動回路２１５、液晶表示素子２１６、接眼レンズ２１７、メモリカード２１９などを備えている。撮像素子２１２には、撮像画素が二次元状に配置されるとともに、焦点検出位置に対応した部分に焦点検出画素が組み込まれている。この撮像素子２１２については詳細を後述する。
【００１１】
ボディ駆動制御装置２１４はマイクロコンピューター、メモリ、駆動制御回路などから構成され、撮像素子２１２の駆動制御と画像信号および焦点検出信号の読み出しと、焦点検出信号に基づく焦点検出演算と交換レンズ２０２の焦点調節を繰り返し行うとともに、画像信号の処理と記録、カメラの動作制御などを行う。また、ボディ駆動制御装置２１４は電気接点２１３を介してレンズ駆動制御装置２０６と通信を行い、レンズ情報の受信とカメラ情報（デフォーカス量や絞り値など）の送信を行う。
【００１２】
液晶表示素子２１６は電気的なビューファインダー（ＥＶＦ：Electronic View Finder）として機能する。液晶表示素子駆動回路２１５は撮像素子２１２によるスルー画像を液晶表示素子２１６に表示し、撮影者は接眼レンズ２１７を介してスルー画像を観察することができる。メモリカード２１９は、撮像素子２１２により撮像された画像を記憶する画像ストレージである。
【００１３】
交換レンズ２０２を通過した光束により、撮像素子２１２の受光面上に被写体像が形成される。この被写体像は撮像素子２１２により光電変換され、画像信号と焦点検出信号がボディ駆動制御装置２１４へ送られる。
【００１４】
ボディ駆動制御装置２１４は、撮像素子２１２の焦点検出画素からの焦点検出信号に基づいてデフォーカス量を算出し、このデフォーカス量をレンズ駆動制御装置２０６へ送る。また、ボディ駆動制御装置２１４は、撮像素子２１２からの画像信号を処理して画像を生成し、メモリカード２１９に格納するとともに、撮像素子２１２からのスルー画像信号を液晶表示素子駆動回路２１５へ送り、スルー画像を液晶表示素子２１６に表示させる。さらに、ボディ駆動制御装置２１４は、レンズ駆動制御装置２０６へ絞り制御情報を送って絞り２１１の開口制御を行う。
【００１５】
レンズ駆動制御装置２０６は、フォーカシング状態、ズーミング状態、絞り設定状態、絞り開放Ｆ値などに応じてレンズ情報を更新する。具体的には、ズーミング用レンズ２０８とフォーカシング用レンズ２１０の位置と絞り２１１の絞り値を検出し、これらのレンズ位置と絞り値に応じてレンズ情報を演算したり、あるいは予め用意されたルックアップテーブルからレンズ位置と絞り値に応じたレンズ情報を選択する。
【００１６】
レンズ駆動制御装置２０６は、受信したデフォーカス量に基づいてレンズ駆動量を算出し、レンズ駆動量に応じてフォーカシング用レンズ２１０を合焦位置へ駆動する。また、レンズ駆動制御装置２０６は受信した絞り値に応じて絞り２１１を駆動する。
【００１７】
図２は、交換レンズ２０２の撮影画面上における焦点検出位置を示す図であり、後述する撮像素子２１２上の焦点検出画素列が焦点検出の際に撮影画面上で像をサンプリングする領域（焦点検出エリア、焦点検出位置）の一例を示す。この例では、矩形の撮影画面１００上の中央および上下の３箇所に焦点検出エリア１０１〜１０３が配置される。長方形で示す焦点検出エリアの長手方向に、焦点検出画素が直線的に配列される。
【００１８】
なお、詳細を後述するが、図２に示す焦点検出エリア１０１〜１０３おいて、画面周辺の焦点検出エリア１０２および１０３は画面中心から放射方向に沿って配置されており、画面中央の焦点検出エリア１０１に比べて焦点検出光束がケラレやすく、焦点検出エリア１０２、１０３で検出される一対の焦点検出信号データ列に相対的な歪みが生じて同一性が崩れる。しかし、この一実施の形態の相関演算方法によれば、このような一対の信号データ列に相対的な歪みが生じて同一性が崩れている場合でも、相関関係を正確に演算することができ、正確な焦点検出結果を得ることができる。
【００１９】
図３は撮像素子２１２の詳細な構成を示す正面図であり、撮像素子２１２上の焦点検出エリア１０１の近傍を拡大して示す。撮像素子２１２には撮像画素３１０が二次元正方格子状に稠密に配列されるとともに、焦点検出エリア１０１に対応する位置には焦点検出用の焦点検出画素３１３、３１４が垂直方向の直線上に隣接して交互に配列される。なお、図示を省略するが、焦点検出エリア１０２、１０３の近傍の構成も図３に示す構成と同様である。
【００２０】
撮像画素３１０は、図４に示すようにマイクロレンズ１０、光電変換部１１、および色フィルター（不図示）から構成される。色フィルターは赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３種類からなり、それぞれの分光感度は図６に示す特性になっている。撮像素子２１２には、各色フィルターを備えた撮像画素３１０がベイヤー配列されている。
【００２１】
焦点検出画素３１３は、図５(ａ)に示すようにマイクロレンズ１０と光電変換部１３とから構成され、光電変換部１３の形状は半円形である。また、焦点検出画素３１４は、図５(ｂ)に示すようにマイクロレンズ１０と光電変換部１４とから構成され、光電変換部１４の形状は半円形である。焦点検出画素３１３と焦点検出画素３１４とをマイクロレンズ１０を重ね合わせて表示すると、光電変換部１３と１４が垂直方向に並んでいる。焦点検出画素３１３と焦点検出画素３１４は、焦点検出エリア１０１〜１０３において垂直方向（光電変換部１３と１４の並び方向）に交互に配置される。
【００２２】
焦点検出画素３１３、３１４には光量をかせぐために色フィルターが設けられておらず、その分光特性は光電変換を行うフォトダイオードの分光感度と、赤外カットフィルター（不図示）の分光特性とを総合した分光特性（図７参照）となる。つまり、図６に示す緑画素、赤画素および青画素の分光特性を加算したような分光特性となり、その感度の光波長領域は緑画素、赤画素および青画素の感度の光波長領域を包括している。
【００２３】
焦点検出用の焦点検出画素３１３、３１４は、撮像画素３１０のＢとＧが配置されるべき列に配置されている。焦点検出用の焦点検出画素３１３、３１４が、撮像画素３１０のＢとＧが配置されるべき列に配置されているのは、画素補間処理において補間誤差が生じた場合に、人間の視覚特性上、赤画素の補間誤差に比較して青画素の補間誤差が目立たないためである。
【００２４】
撮像画素３１０の光電変換部１１は、マイクロレンズ１０によって最も明るい交換レンズの射出瞳径（例えばＦ１．０）を通過する光束をすべて受光するような形状に設計される。また、焦点検出画素３１３、３１４の光電変換部１３、１４は、マイクロレンズ１０によって交換レンズの射出瞳の所定の領域（例えばＦ２．８）を通過する光束をすべて受光するような形状に設計される。
【００２５】
図８は撮像画素３１０の断面図である。撮像画素３１０では撮像用の光電変換部１１の前方にマイクロレンズ１０が配置され、マイクロレンズ１０により光電変換部１１の形状が前方に投影される。光電変換部１１は半導体回路基板２９上に形成される。なお、不図示の色フィルターはマイクロレンズ１０と光電変換部１１の中間に配置される。
【００２６】
図９(ａ)は焦点検出画素３１３の断面図である。画面中央の焦点検出エリア１０１に配置された焦点検出画素３１３において、光電変換部１３の前方にマイクロレンズ１０が配置され、マイクロレンズ１０により光電変換部１３の形状が前方に投影される。光電変換部１３は半導体回路基板２９上に形成されるとともに、その上にマイクロレンズ１０が半導体イメージセンサーの製造工程により一体的かつ固定的に形成される。なお、画面上下の焦点検出エリア１０２、１０３に配置された焦点検出画素３１３の断面構造についても、図９(ａ)に示す断面構造と同様である。
【００２７】
図９(ｂ)は焦点検出画素３１４の断面図である。画面中央の焦点検出エリア１０１に配置された焦点検出画素３１４において、光電変換部１４の前方にマイクロレンズ１０が配置され、マイクロレンズ１０により光電変換部１４の形状が前方に投影される。光電変換部１４は半導体回路基板２９上に形成されるとともに、その上にマイクロレンズ１０が半導体イメージセンサーの製造工程により一体的かつ固定的に形成される。なお、画面上下の焦点検出エリア１０２、１０３に配置された焦点検出画素３１４の断面構造についても、図９(ｂ)に示す断面構造と同様である。
【００２８】
図１０は、マイクロレンズを用いた瞳分割型位相差検出方式の焦点検出光学系の構成を示す。なお、焦点検出画素の部分は拡大して示す。図において、９０は、交換レンズ２０２（図１参照）の予定結像面に配置されたマイクロレンズから前方ｄの距離に設定された射出瞳である。この距離ｄは、マイクロレンズの曲率、屈折率、マイクロレンズと光電変換部との間の距離などに応じて決まる距離であって、この明細書では測距瞳距離と呼ぶ。９１は交換レンズの光軸、１０ａ〜１０ｄはマイクロレンズ、１３ａ、１３ｂ、１４ａ、１４ｂは光電変換部、３１３ａ、３１３ｂ、３１４ａ、３１４ｂは焦点検出画素、７３，７４、８３，８４は焦点検出光束である。
【００２９】
また、９３は、マイクロレンズ１０ａ、１０ｃにより投影された光電変換部１３ａ、１３ｂの領域であり、この明細書では測距瞳と呼ぶ。図１０では、説明を解りやすくするために楕円形の領域で示しているが、実際には光電変換部の形状が拡大投影された形状になる。同様に、９４は、マイクロレンズ１０ｂ、１０ｄにより投影された光電変換部１４ａ、１４ｂの領域であり、測距瞳である。図１０では、説明を解りやすくするために楕円形の領域で示しているが、実際には光電変換部の形状が拡大投影された形状になる。
【００３０】
図１０では、撮影光軸に隣接する４つの焦点検出画素３１３ａ、３１３ｂ、３１４ａ、３１４ｂを模式的に例示しているが、焦点検出エリア１０１のその他の焦点検出画素においても、また画面周辺部の焦点検出エリア１０２、１０３の焦点検出画素においても、光電変換部はそれぞれ対応した測距瞳９３、９４から各マイクロレンズに到来する光束を受光するように構成されている。焦点検出画素の配列方向は一対の測距瞳の並び方向、すなわち一対の光電変換部の並び方向と一致させる。
【００３１】
マイクロレンズ１０ａ〜１０ｄは交換レンズ２０２（図１参照）の予定結像面近傍に配置されており、マイクロレンズ１０ａ〜１０ｄによりその背後に配置された光電変換部１３ａ、１３ｂ、１４ａ、１４ｂの形状がマイクロレンズ１０ａ〜１０ｃから測距瞳距離ｄだけ離間した射出瞳９０上に投影され、その投影形状は測距瞳９３，９４を形成する。すなわち、投影距離ｄにある射出瞳９０上で各焦点検出画素の光電変換部の投影形状（測距瞳９３，９４）が一致するように、各焦点検出画素におけるマイクロレンズと光電変換部の相対的位置関係が定められ、それにより各焦点検出画素における光電変換部の投影方向が決定されている。
【００３２】
光電変換部１３ａは測距瞳９３を通過し、マイクロレンズ１０ａに向う光束７３によりマイクロレンズ１０ａ上に形成される像の強度に対応した信号を出力する。同様に、光電変換部１３ｂは測距瞳９３を通過し、マイクロレンズ１０ｃに向う光束８３によりマイクロレンズ１０ｃ上に形成される像の強度に対応した信号を出力する。また、光電変換部１４ａは測距瞳９４を通過し、マイクロレンズ１０ｂに向う光束７４によりマイクロレンズ１０ｂ上に形成される像の強度に対応した信号を出力する。同様に、光電変換部１４ｂは測距瞳９４を通過し、マイクロレンズ１０ｄに向う光束８４によりマイクロレンズ１０ｄ上に形成される像の強度に対応した信号を出力する。
【００３３】
上述した２種類の焦点検出画素を直線状に多数配置し、各画素の光電変換部の出力を測距瞳９３および測距瞳９４に対応した出力グループにまとめることによって、測距瞳９３と測距瞳９４をそれぞれ通過する焦点検出用光束が画素列上に形成する一対の像の強度分布に関する情報が得られる。この情報に対して後述する像ズレ検出演算処理（相関演算処理、位相差検出処理）を施すことによって、いわゆる瞳分割型位相差検出方式で一対の像の像ズレ量が検出される。さらに、像ズレ量に一対の測距瞳の重心間隔に応じた変換演算を行うことによって、予定結像面（マイクロレンズアレイの位置）に対する現在の結像面（撮影画面１００上で定められる焦点検出位置における実際の結像面）の偏差（デフォーカス量）が算出される。
【００３４】
図１１は、一実施の形態のデジタルスチルカメラ（撮像装置）の撮像動作を示すフローチャートである。各処理ステップは、ボディ駆動制御装置２１４が実行する。ボディ駆動制御装置２１４は、ステップＳ１００でカメラの電源がオンされると、ステップＳ１１０以降の撮像動作を開始する。ステップＳ１１０において撮像画素のデータを間引き読み出しし、電子ビューファインダーに表示させる。続くステップＳ１２０では焦点検出画素列から一対の像に対応した一対の像データを読み出す。なお、焦点検出エリアは、撮影者が焦点検出エリア選択部材（不図示）を用いて焦点検出エリア１０１〜１０３の内のいずれかを予め選択しているものとする。
【００３５】
ステップＳ１３０では読み出された一対の像データに基づいて後述する像ズレ検出演算処理（相関演算処理）を行い、像ズレ量を演算してデフォーカス量に変換する。ステップＳ１４０で合焦近傍か否か、すなわち算出されたデフォーカス量の絶対値が所定値以内であるか否かを調べる。合焦近傍でないと判定された場合はステップＳ１５０へ進み、デフォーカス量をレンズ駆動制御装置２０６へ送信し、交換レンズ２０２のフォーカシングレンズ２１０を合焦位置に駆動させる。その後、ステップＳ１１０へ戻って上述した動作を繰り返す。
【００３６】
なお、焦点検出不能な場合もこのステップに分岐し、レンズ駆動制御装置２０６へスキャン駆動命令を送信し、交換レンズ２０２のフォーカシングレンズ２１０を無限から至近までの間でスキャン駆動させる。その後、ステップＳ１１０へ戻って上述した動作を繰り返す。
【００３７】
ステップＳ１４０で合焦近傍であると判定された場合はステップＳ１６０へ進み、シャッターボタン（不図示）の操作によりシャッターレリーズがなされたか否かを判別する。シャッターレリーズがなされていないと判定された場合はステップＳ１１０へ戻り、上述した動作を繰り返す。一方、シャッターレリーズがなされたと判定された場合はステップＳ１７０へ進み、レンズ駆動制御装置２０６へ絞り調整命令を送信し、交換レンズ２０２の絞り値を制御Ｆ値（撮影者または自動により設定されたＦ値）にする。絞り制御が終了した時点で、撮像素子２１２に撮像動作を行わせ、撮像素子２１２の撮像画素３１０および全ての焦点検出画素３１３，３１４から画像データを読み出す。
【００３８】
ステップＳ１８０において、焦点検出画素列の各画素位置の画素データを焦点検出画素の周囲の撮像画素のデータに基づいて画素補間する。続くステップＳ１９０では、撮像画素のデータおよび補間されたデータからなる画像データをメモリカード２１９に記憶し、ステップＳ１１０へ戻って上述した動作を繰り返す。
【００３９】
図１２は、図１１のステップＳ１３０における焦点検出演算処理の詳細を示すフローチャートである。各処理ステップは、ボディ駆動制御装置２１４が実行する。ボディ駆動制御装置２１４は、ステップＳ２００からこの焦点検出演算処理（相関演算処理）を開始する。
【００４０】
ステップＳ２１０において、 焦点検出画素列から出力される一対のデータ列（α１〜αＭ、β１〜βＭ：Ｍはデータ数）に対して（１）式に示すような高周波カットフィルター処理を施し、第１データ列（Ａ１〜ＡＮ）と第２データ列（Ｂ１〜ＢＮ）を生成する。これにより、データ列から相関処理に悪影響を及ぼす高周波ノイズ成分、およびその他の高周波成分を除去することができる。なお、演算時間の短縮を図る場合や、すでに大きくデフォーカスしていて高周波成分が少ないことがわかっている場合などには、ステップＳ２１０の処理を省略することもできる。
Ａｎ＝αｎ＋２・αｎ＋１＋αｎ＋２，
Ｂｎ＝βｎ＋２・βｎ＋１＋βｎ＋２ ・・・（１）
（１）式において、ｎ＝１〜Ｎ−２である。
【００４１】
データ列Ａｎ、Ｂｎは、理想的には同一データ列を相対的にシフトしたものとなるはずであるが、上述した瞳分割型位相差検出方式の焦点検出画素で得られる一対のデータ列では、焦点検出光束のケラレ（口径蝕）により、同一性が崩れる可能性がある。
【００４２】
図１３は、焦点検出光束のケラレ（口径蝕）を説明するための図である。図１３において、位置ｘ０（像高０）と位置ｘ１（像高ｈ）にある一対の焦点検出画素は、それぞれ予定焦点面９２の前方ｄにある測距瞳面９０において測距瞳領域９３、９４を通過する一対の焦点検出光束５３，５４および６３、６４を受光するように構成されている。予定焦点面９２の前方ｄ１（＜ｄ）の面９５に光学系の絞り開口９６がある場合には、位置ｘ０（像高０）にある一対の焦点検出画素が受光する一対の焦点検出光束５３，５４は、絞り開口９６により光軸９１に対して対称に口径蝕が発生するため、一対の焦点検出画素が受光する光量のバランスは崩れない。
【００４３】
これに対し、位置ｘ１（像高ｈ）にある一対の焦点検出画素が受光する一対の焦点検出光束６３，６４は、絞り開口９６によって非対称に口径蝕が発生するために、一対の焦点検出画素が受光する光量のバランスは崩れてしまう。
【００４４】
図１４は、予定焦点面９２から光軸９１の方向に測距瞳面９０を見た場合の図である。焦点検出光束６４は絞り開口９６により大きく口径蝕が発生しているのに対し、焦点検出光束６３は絞り開口９６による口径蝕の発生が少ないことがわかる。
【００４５】
図１５(ａ)、(ｂ)は、図１３および図１４の状態において位置ｘ０（像高０）の近傍の焦点検出画素列が受光する一対の像と、位置ｘ１（像高ｈ）の近傍の焦点検出画素列が受光する一対の像の強度分布（縦軸は光量、横軸は撮影画面上の位置）を示したものである。焦点検出光束の口径蝕のバランスがとれている場合には、図１５(ａ)に示すように、一対の像信号４００，４０１は同一の像信号関数が単に横方向にシフトしたものとなっている。これに対し、焦点検出光束の口径蝕のバランスが崩れている（すなわち、一対の像信号データ列の間の歪みが生じている）場合には、図１５(ｂ)に示すように、一対の像信号４０２，４０３は同一の信号を相対的にシフトしたものにはならない。
【００４６】
焦点検出光束に口径蝕（ケラレ）が発生した場合における一対の像信号データ列Ｆ(ｘ)、Ｇ(ｘ)の関係を大別すると以下のように二つに分けられる。まず、ケラレの程度が小さい場合は、次式のように一対の像信号は所定倍した比の関係になる。
Ｆ(ｘ)＝ｂ0・Ｇ(ｘ) ・・・（２）
（２）式においてｂ0は定数である。この一実施の形態では、一対のデータ列Ｆ(ｘ)、Ｇ(ｘ)が（２）式の関係を有する場合には一対のデータ列に“０次ケラレ”が発生しているという。一方、ケラレの程度が大きい場合には、次式のように一対の像信号は位置ｘに関する１次関数の関係になる。
Ｆ(ｘ)＝（ｂ1＋ａ1・ｘ）・Ｇ(ｘ) ・・・（３）
（３）式においてａ1、ｂ1（＞ｂ0）は定数である。
【００４７】
この一実施の形態では、一対のデータ列Ｆ(ｘ)、Ｇ(ｘ)が（３）式の関係を有する場合には一対のデータ列に“１次ケラレ”が発生しているという。１次ケラレが発生した状態において、像ズレ検出が可能な部分相関演算式として次式を採用する。ｓｐｎは、一対の注目データを中心として近傍のデータ列を含む範囲の大きさに関する演算パラメータであり、その範囲のデータ列がその相関演算処理に用いられる。
Ｅ(k)＝Ａｉ・Ｂｉ＋ｓｐｎ＋ｋ−Ｂｉ＋ｋ・Ａｉ＋ｓｐｎ ・・・（４）
【００４８】
図１２に戻って説明を続ける。ボディ駆動制御装置２１４は、ステップＳ２２０において第１データ列Ａ１〜Ａｎと第２データ列Ｂ１〜Ｂｎを相対的にずらす（シフト量ｋ）とともに、第１データ列および第２データ列に対し複数の部分相関演算式（（４）式においてｓｐｎ＝１および１０とした場合のＥ１(k)、Ｅ２(k)）を施し、その演算結果の絶対値を加算した上、その加算値をデータの所定区間に亘って積算する。
【００４９】
すなわち、複数の相関演算式の演算結果を部分的な相関量Ｅ１(k)、Ｅ２(k)とすれば、シフト量ｋにおける一対のデータ列間の総合的な相関量Ｃ(k)は（７）式で与えられる。
Ｅ１(k)＝Ａｉ・Ｂｉ＋１＋ｋ−Ｂｉ＋ｋ・Ａｉ＋１ ・・・（５），
Ｅ２(k)＝Ａｉ・Ｂｉ＋１０＋ｋ−Ｂｉ＋ｋ・Ａｉ＋１０ ・・・（６），
Ｃ(k)＝Σ(｜Ｅ１(k)｜＋｜Ｅ２(k)｜) ・・・（７）
なお、シフト量ｋは整数であり、一対のデータの検出ピッチを単位とした相対的なシフト量である。また、（７）式の積算演算（Σ）はデータ列の所定区間に亘って行われる。
【００５０】
ここで、（７）式のように演算パラメータｓｐｎを異ならせた２つの部分相関演算式の演算結果のそれぞれの絶対値をとって加算し、その加算値を積算することによって総合的な相関量Ｃ(k)を求めることの利点について、Ｅ１(k)およびＥ２(k)の絶対値を単独で加算した場合の総合的な相関量Ｃ１(k)、Ｃ２(k)と比較して説明する。
Ｃ１(k)＝Σ(｜Ｅ１(k)｜) ・・・（８），
Ｃ２(k)＝Σ(｜Ｅ２(k)｜) ・・・（９）
【００５１】
図１６〜図２０は相関量Ｃ(k)、Ｃ１(k)、Ｃ２(k)の特性を説明するためのシミュレー
ションデータである。図１６は、一対の像データ（図中に■印と□印で表す）のグラフであり、横軸がデータ位置を、縦軸がデータ値をそれぞれ表す。ただし、図１６では、一対の像データが重なって解りにくくなるのを避けるために、一対の像データの内の一方を他方に対して１データ位置分だけずらして表している。図１６(ａ)は一対の像データ（ｓｉｎ波形：高周波）間に１次ケラレが発生した場合を示し、図１６(ｂ)は一対の像データ（ｓｉｎ波形：中周波）間に１次ケラレが発生した場合を示し、図１６(ｃ)は一対の像データ（ｓｉｎ波形：低周波）間に１次ケラレが発生した場合を示す。なお、図１６(ｂ)の像データの周期はデータピッチの１０倍であり、Ｃ２(k)の演算パラメータｓｐｎ＝１０と一致している。
【００５２】
図１７〜図１９は、図１６に示す一対の像データを相対的にデータピッチ−１だけシフトした像ズレ状態において、相関量Ｃ１(k)、Ｃ２(k)、Ｃ(k)を計算した場合のグラフであり、横軸がシフト量ｋ（単位：データピッチ）を、縦軸が相関量Ｃ１(k)、Ｃ２(k)、Ｃ(k)の値をそれぞれ表す。
【００５３】
図１７(ａ)、図１７(ｂ)、図１７(ｃ)は、図１６(ａ)に示す像データ（高周波）に対応した相関量Ｃ１(k)、Ｃ２(k)、Ｃ(k)のグラフである。また、図１８(ａ)、図１８(ｂ)、図１８(ｃ)は、図１６(ｂ)に示す像データ（中周波）に対応した相関量Ｃ１(k)、Ｃ２(k)、Ｃ(k)のグラフである。さらに、図１９(ａ)、図１９(ｂ)、図１９(ｃ)は、図１６(ｃ)に示す像データ（低周波）に対応した相関量Ｃ１(k)、Ｃ２(k)、Ｃ(k)のグラフである。
【００５４】
図２０(ａ)、(ｃ)、(ｅ)は、図１６に示す一対の像データを相対的にデータピッチの−１から＋１までシフトした像ズレ状態において、相関量Ｃ１(k)、Ｃ２(k)、Ｃ(k)を計算した場合に、後述する３点内挿の手法を用いて該相関量の極値から像ズレ検出を行った計算結果（図中に■印でＣ１(k)を、□印でＣ２(k)を、×印でＣ(k)をそれぞれ表す）のグラフである。なお、これらの図の横軸が実際の像ズレ量（単位：データピッチ）を、縦軸が計算結果の像ズレ量をそれぞれ表す。
【００５５】
また、図２０(ｂ)、(ｄ)、(ｆ)は、図２０(ａ)、(ｃ)、(ｅ)に示す実際の像ズレ量と計算結果の像ズレ量との誤差（図中に■印でＣ１(k)を、□印でＣ２(k)を、×印でＣ(k)をそれぞれ表す）のグラフである。なお、これらの図の横軸が実際の像ズレ量（単位：データピッチ）を、縦軸が誤差量（単位：データピッチ）をそれぞれ表す。
【００５６】
図２０(ａ)、(ｂ)は、図１６(ａ)に示す一対の像データ（高周波）に対応した像ズレ量と誤差のグラフである。また、図２０(ｃ)、(ｄ)は、図１６(ｂ)に示す像データ（中周波）に対応した像ズレ量と誤差のグラフである。さらに、図２０(ｅ)、(ｆ)は、図１６(ｃ)に示す像データ（低周波）に対応した像ズレ量と誤差のグラフである。
【００５７】
図１６〜図２０を用いて、改めて相関量Ｃ１(k)、Ｃ２(k)、Ｃ(k)の特性を説明する。図１６(ａ)に示す１次ケラレが生じた高周波成分からなる一対の像データに対して、図１７(ａ)に示す相関量Ｃ１(k)のグラフは真の像ズレ量で鋭い落ち込みの極小値を示し、図２０(ａ)、(ｂ)に■印で示すように像ズレ量の計算結果の誤差は少ない。しかし、図１７(ｂ)に示すように相関量Ｃ２(k)のグラフは極小値が浮いてしまい、図２０(ａ)、(ｂ)に□印で示すように像ズレ量の計算結果の誤差が大きい。また、図１７(ｃ)に示すように相関量Ｃ(k)のグラフは極小値の浮きは少なく、図２０(ａ)、(ｂ)に×印で示すように像ズレ量の計算結果の誤差も大きくはない。
【００５８】
また、図１６(ｂ)に示す１次ケラレが生じた中周波成分からなる一対の像データに対して、図１８(ａ)に示す相関量Ｃ１(k)のグラフは真の像ズレ量で鋭い落ち込みの極小値を示し、図２０(ｃ)、(ｄ)に■印で示す像ズレ量の計算結果の誤差は少ない。しかし、図１８(ｂ)に示す相関量Ｃ２(k)のグラフは極小値の位置が極大値の位置と入れ替わってしまい、図２０(ｃ)、(ｄ)に□印で示す像ズレ量の計算結果はグラフから完全に外れてしまう。また、図１８(ｃ)に示す相関量Ｃ(k)のグラフは極小値の浮きは少なく、図２０(ｃ)、(ｄ)に×印で示す像ズレ量の計算結果の誤差も少ない（図２０(ｃ)、(ｄ)ではＣ１(k)の結果とほぼ重なっている）。データの周期と相関演算の演算パラメータｓｐｎが一致した場合には、上記のように誤差が非常に大きくなり、像ズレ検出結果は当てにならない。
【００５９】
さらに、図１６(ｃ)に示す１次ケラレが生じた低周波成分からなる一対の像データに対して、図１９(ａ)に示す相関量Ｃ１(k)のグラフは鋭い落ち込みの極小値を示すが、図２０(ｅ)、(ｆ)に■印で示す像ズレ量の計算結果の誤差は大きい。しかし、図１９(ｂ)に示す相関量Ｃ２(k)のグラフは真の像ズレ量で鋭い落ち込みの極小値を示し、図２０(ｅ)、(ｆ)に□印で示す像ズレ量の計算結果の誤差は少ない。また、図１９(ｃ)に示す相関量Ｃ(k)のグラフも真の像ズレ量で鋭い落ち込みの極小値を示し、図２０(ｅ)、(ｆ)に×印で示す像ズレ量の計算結果の誤差は少ない。
【００６０】
以上説明したように、演算パラメータｓｐｎ＝１の相関量Ｃ１(k)は、高周波のデータに対しては高精度な像ズレ検出が期待できるが、低周波のデータに対しては像ズレ検出精度が低下する。一方、演算パラメータｓｐｎ＝１０の相関量Ｃ２(k)は、低周波のデータに対しては高精度な像ズレ検出が期待できるが、高周波のデータに対しては像ズレ検出精度が低下するとともに、データの周期が演算パラメータｓｐｎ（＝１０）と一致する場合には像ズレ検出結果の信頼性がなくなる。
【００６１】
それに対し（９）式のように演算パラメータｓｐｎ＝１と１０の部分相関量をそれぞれ絶対値をとって加算し、加算した値を積算した相関量であるＣ(k)は、高周波のデータおよび低周波のデータのいずれに対しても、所定レベル以上の精度で像ズレ検出が可能である。したがって、（９）式で示す相関量Ｃ(k)を常時使用すれば、データの空間周波数成分によらず安定した像ズレ検出が可能になるとともに、データの空間周波数成分を検出し、検出した空間周波数成分に応じて演算パラメータｓｐｎの値を変更するというような手間を省くことができる。
【００６２】
再び図１２に戻って説明を続ける。ステップＳ２３０において、（７）式に示す相関演算式で求めた相関量Ｃ(k)のグラフは、図２１(ａ)に示すように、一対のデータの相関が高いシフト量（図２１(ａ)ではｋ＝ｋｊ＝２）において相関量Ｃ(k)が最小（小さいほど相関度が高い）になる。（１０）式〜（１３）式による３点内挿の手法を用いて、連続的な相関量に対する最小値Ｃ(ｘ)を与えるシフト量ｘを求める。
ｘ＝ｋｊ＋Ｄ／ＳＬＯＰ ・・・（１０），
Ｃ(ｘ)＝ Ｃ（ｋｊ）−｜Ｄ｜ ・・・（１１），
Ｄ＝｛Ｃ（ｋｊ−１）−Ｃ（ｋｊ＋１）｝／２ ・・・（１２），
ＳＬＯＰ＝ＭＡＸ｛Ｃ（ｋｊ＋１）−Ｃ（ｋｊ），Ｃ（ｋｊ−１）−Ｃ（ｋｊ）｝ ・・・（１３）
【００６３】
ステップＳ２４０では、（１０）式で求めたシフト量ｘを用いて被写体像面の予定結像面に対するデフォーカス量ＤＥＦを次式により求めることができる。
ＤＥＦ＝ＫＸ・ＰＹ・ｘ ・・・（１４）
（１４）式において、ＰＹは検出ピッチであり、ＫＸは一対の測距瞳の重心の開き角の大きさによって決まる変換係数である。
【００６４】
算出されたデフォーカス量ＤＥＦの信頼性があるかどうかは、以下のようにして判定される。図２１(ｂ)に示すように、一対のデータの相関度が低い場合は、内挿された相関量の最小値Ｃ(ｘ)の値が大きくなる。したがって、Ｃ(ｘ)が所定値以上の場合は信頼性が低いと判定する。あるいは、Ｃ(ｘ)をデータのコントラストで規格化するために、コントラストに比例した値となるＳＬＯＰでＣ(ｘ)を除した値が所定値以上の場合は信頼性が低いと判定する。あるいはまた、コントラストに比例した値となるＳＬＯＰが所定値以下の場合は、被写体が低コントラストであり、算出されたデフォーカス量ＤＥＦの信頼性が低いと判定する。図２１(ｃ)に示すように、一対のデータの相関度が低く、シフト範囲ｋｍｉｎ〜ｋｍａｘの間で相関量Ｃ(k)の落ち込みがない場合は、最小値Ｃ(ｘ)を求めることができず、このような場合は焦点検出不能と判定する。焦点検出が可能であった場合には算出された像ズレ量に所定の変換係数を乗じてデフォーカス量を算出する。
【００６５】
ステップＳ２５０で、焦点検出演算処理（相関演算処理）を終了して図１１のステップＳ１４０へリターンする。
【００６６】
《発明の他の実施の形態》
以上説明した一実施の形態では、（７）式に示すように、同じ形式の相関演算式において異なる演算パラメータｓｐｎによって求めた部分相関量のそれぞれの絶対値をとって加算し、加算した値を積算した相関量Ｃ(k)を用いて像ズレ検出を行っているが、演算パラメータｓｐｎは１と１０以外の組合せでもよいし、３個以上の演算パラメータｓｐｎの組合せでも構わない。また、相関演算式は（７）式に示す式に限定されず、例えば（１７）式に示すような相関演算式の演算パラメータｓｐｎを異ならせたものを採用することもできる。
【００６７】
次に、異なる形式の複数の相関演算式を利用して像ズレ検出を行う実施の形態を説明する。相関演算式の代表例として、（１５）式右辺の絶対値で囲まれた演算式を相関演算式Ａとし、（１６）式右辺の絶対値で囲まれた演算式を相関演算式Ｂとし、そして、（１７）式右辺の絶対値で囲まれた演算式を相関演算式Ｃとして、それらの特性について説明する。
Ｃ(k)＝Σ｜Ａｉ−Ｂｉ＋ｋ｜ ・・・（１５），
Ｃ(k)＝Σ｜Ａｉ・Ｂｉ＋ｓｐｎ＋ｋ−Ｂｉ＋ｋ・Ａｉ＋ｓｐｎ｜ ・・・（１６），
Ｃ(k)＝Σ｜Ａｉ２・Ｂｉ−ｓｐｎ＋ｋ・Ｂｉ＋ｓｐｎ＋ｋ−Ｂｉ＋ｋ２・Ａｉ−ｓｐｎ・Ａｉ＋ｓｐｎ｜ ・・・（１７）
（１５）式〜（１７）式において、積算演算（Σ）はサフィックスｉをデータ列の所定区間に亘って順次移動させて行われる。
【００６８】
図２２は上述した相関演算式Ａ、Ｂ、Ｃの特性を比較した表である。ケラレがない場合（一対の像が口径蝕による歪みを受けていない場合）には、どの演算式でも高精度な像ズレ検出が可能であるが、相関演算式Ａは演算中にデータ間の乗算を含まないので、演算処理時間が短縮できるというメリットがあるとともに、耐ノイズ性（データにノイズが加わった場合でも、像ズレ検出結果が影響を受けにくい特性）も相関演算式Ｂ、Ｃよりも高い。
【００６９】
０次ケラレが生じている場合には、相関演算式Ｂ、Ｃは高精度な像ズレ検出が可能であるが、演算式Ａは像ズレ検出精度が低下する。耐ノイズ性においては、演算式Ｂのほうが演算式Ｃよりも高い。１次ケラレが生じている場合には、相関演算式Ｃは高精度な像ズレ検出が可能であるが、演算式Ａ、Ｂは像ズレ検出精度が低下する。
【００７０】
図２３〜図２８は、上述した相関演算式Ａ、Ｂ、Ｃの特性を表すシミュレーションデータである。図２３は一対の像データ（図中に■印と□印で表す）のグラフであって、横軸がデータ位置を、縦軸がデータ値をそれぞれ表す。ただし、図２３では、一対の像データが重なって解りにくくなるのを避けるために、一対の像データの内の一方を他方に対して１データ位置分だけずらして表している。
【００７１】
図２３(ａ)は、一対の像データ（ｓｉｎ波形）間にケラレがない場合（像ズラシにより像が完全に一致する場合）のグラフである。また、図２３(ｂ)は、図２３（ａ）の一対の像データ（ｓｉｎ波形）にランダムノイズが加わった場合のグラフである。さらに、図２３(ｃ)は、一対の像データ（ｓｉｎ波形）間に０次ケラレが発生し、さらにランダムノイズが加わった場合のグラフである。そして、図２３(ｄ)は、一対の像データ（ｓｉｎ波形）間に１次ケラレが発生し、さらにランダムノイズが加わった場合のグラフである。
【００７２】
図２４は、図２３に示す一対の像データを相対的にデータピッチの−１から＋１までシフトした像ズレ状態において、相関演算式Ａ、Ｂ、Ｃを適用して像ズレ検出を行った場合の計算結果（図中の■印が相関演算式Ａの結果を、□印が相関演算式Ｂの結果を、×印が相関演算式Ｃの結果を表す）のグラフであり、横軸が実際の像ズレ量（単位：データピッチ）を、縦軸が計算結果の像ズレ量をそれぞれ表す。図２４(ａ)、(ｂ)、(ｃ)、(ｄ)は、それぞれ図２３(ａ)、(ｂ)、(ｃ)、(ｄ)の像データに対応した像ズレ量の演算結果である。
【００７３】
図２５は、図２４に示す実際の像ズレ量と計算結果の像ズレ量との誤差（図中の■印が相関演算式Ａの誤差を、□印が相関演算式Ｂの誤差を、×印が相関演算式Ｃの誤差をそれぞれ表す）のグラフであり、横軸が実際の像ズレ量（単位：データピッチ）を、縦軸が誤差量（単位：データピッチ）をそれぞれ表す。図２５(ａ)、(ｂ)、(ｃ)、(ｄ)は、それぞれ図２４(ａ)、(ｂ)、(ｃ)、(ｄ)の計算結果に対応した誤差量である。
【００７４】
図２６は、図２３に示す一対の像データを相対的にデータピッチ−１だけシフトした像ズレ状態において、相関演算式Ａを適用した場合の相関量Ｃ(k)のグラフであり、横軸が
シフト量ｋ（単位：データピッチ）を、縦軸が相関量Ｃ(k)の値をそれぞれ表す。図２６(ａ)、(ｂ)、(ｃ)、(ｄ)は、それぞれ図２３(ａ)、(ｂ)、(ｃ)、(ｄ)の像データに対応した相関量Ｃ(k)のグラフである。
【００７５】
図２７は、図２３に示す一対の像データを相対的にデータピッチ−１だけシフトした像ズレ状態において、相関演算式Ｂを適用した場合の相関量Ｃ(k)のグラフであり、横軸がシフト量ｋ（単位：データピッチ）を、縦軸が相関量Ｃ(k)の値をそれぞれ表す。図２７(ａ)、(ｂ)、(ｃ)、(ｄ)は、それぞれ図２３(ａ)、(ｂ)、(ｃ)、(ｄ)の像データに対応した相関量Ｃ(k)のグラフである。
【００７６】
図２８は、図２３に示す一対の像データを相対的にデータピッチ−１だけシフトした像ズレ状態において、相関演算式Ｃを適用した場合の相関量Ｃ(k)のグラフであり、横軸がシフト量ｋ（単位：データピッチ）を、縦軸が相関量Ｃ(k)の値をそれぞれ表す。図２８(ａ)、(ｂ)、(ｃ)、(ｄ)は、それぞれ図２３(ａ)、(ｂ)、(ｃ)、(ｄ)の像データに対応した相関量Ｃ(k)のグラフである。
【００７７】
図２３〜図２８を参照して改めて相関演算式Ａ、Ｂ、Ｃの特性を説明する。図２３(ａ)に示すケラレのない一対の像データに対しては、相関演算式Ａ、Ｂ、Ｃはともに、図２６(ａ)、図２７(ａ)、図２８(ａ)に示す相関グラフが真の像ズレ量で鋭い落ち込みの極小値を示しており、図２４(ａ)、図２５(ａ)に示すように像ズレ量の計算結果の誤差は少ない。
【００７８】
図２３(ｂ)に示すケラレのない一対の像データにノイズが加わった像データに対しては、相関演算式Ａ、Ｂ、Ｃはともに、図２６(ｂ)、図２７(ｂ)、図２８(ｂ)に示すように相関グラフが真の像ズレ量で鋭い落ち込みの極小値を示しており、図２４(ｂ)、図２５(ｂ)に示すように相関演算式Ａ、Ｂの像ズレ量の計算結果の誤差は少ないが、相関演算式Ｃの像ズレ量の計算結果の誤差が若干増加する。
【００７９】
図２３(ｃ)に示す０次ケラレの生じた一対の像データにノイズが加わった像データに対しては、相関演算式Ｂ、Ｃはともに、図２７(ｃ)、図２８(ｃ)に示すように相関グラフが真の像ズレ量で鋭い落ち込みの極小値を示しており、図２４(ｃ)、図２５(ｃ)に示すように相関演算式Ｂの像ズレ量の計算結果の誤差は少ないが、演算式Ｃの像ズレ量の計算結果の誤差が若干増加する。
【００８０】
一方、図２３(ｃ)に示す０次ケラレの生じた一対の像データにノイズが加わった像データに対しては、相関演算式Ａにおいて、図２６(ｃ)に示すように相関グラフが真の像ズレ量近傍での落ち込みかたが鈍くなり、図２４(ｃ)、図２５(ｃ)に示すように像ズレ量の計算結果が大きな誤差を持つ。
【００８１】
図２３(ｄ)に示す１次ケラレの生じた一対の像データにノイズが加わった像データに対しては、相関演算式Ｃにおいて、図２８(ｄ)に示すように相関グラフが真の像ズレ量で鋭い落ち込みの極小値を示しており、図２４(ｄ)、図２５(ｄ)に示すように相関演算式Ｃの像ズレ量の計算結果の誤差は比較的少ない。
【００８２】
図２３(ｄ)に示す１次ケラレの生じた一対の像データにノイズが加わった像データに対しては、相関演算式Ｂにおいて、図２７(ｄ)に示すように相関グラフが真の像ズレ量近傍で鋭い落ち込みを示すが、図２４(ｄ)、図２５(ｄ)に示すように像ズレ量の計算結果は大きな誤差（平行移動成分）を持つ。
【００８３】
一方、図２３(ｄ)に示す１次ケラレの生じた一対の像データにノイズが加わった像データに対しては、相関演算式Ａにおいて、図２６(ｄ)に示すように相関グラフが真の像ズレ量近傍での落ち込みかたが鈍くなり、図２４(ｄ)、図２５(ｄ)に示すように像ズレ量の計算結果は大きな誤差を持つ。
【００８４】
次に、相関演算式と像データの空間周波数との相性について説明する。図２９は、相関演算式Ｂ、Ｃにおける演算パラメータｓｐｎとデータの周波数成分との関連性を比較した表である。この表から明らかなように、一対の像データが低周波成分を多く含む場合には、相関演算式Ｂ、Ｃにおける演算パラメータｓｐｎは大きな値の方が高精度の像ズレ検出結果が期待できる。逆に、高周波成分を多く含む場合には、相関演算式Ｂ、Ｃにおける演算パラメータｓｐｎは小さな値の方が高精度の像ズレ検出結果が期待できる。
【００８５】
図３０、図３１は、相関演算式Ｂ、Ｃにおける演算パラメータｓｐｎの特性を表すためのシミュレーションデータである。図３０は、一対の像データ（図中に■印と□印で表す）のグラフであり、横軸がデータ位置を、縦軸がデータ値をそれぞれ表す。ただし、図３０では、一対の像データが重なって解りにくくなるのを避けるために、一対の像データの内の一方を他方に対して１データ位置分だけずらして表している。図３０(ａ)は、一対の像データ（高周波のｓｉｎ波形）間に１次ケラレが発生した場合のグラフであり、図３０(ｂ)は、一対の像データ（低周波のｓｉｎ波形）間に１次ケラレが発生した場合のグラフである。
【００８６】
図３１(ａ)、(ｂ)は、図３０(ａ)、(ｂ)に示す一対の像データを相対的にデータピッチの−１から＋１までシフトした像ズレ状態において、上述した相関演算式Ｂ（ｓｐｎ＝１、１０）を適用して像ズレ検出を行った場合の計算結果（図中の■印がｓｐｎ＝１の場合を、□印がｓｐｎ＝１０の場合をそれぞれ表す）のグラフであり、横軸が実際の像ズレ量（単位：データピッチ）を、縦軸が計算結果の像ズレ量をそれぞれ表す。
【００８７】
また、図３１(ｃ)は、図３０(ｂ)に示す一対の像データを相対的にデータピッチの−１から＋１までシフトした像ズレ状態において、上述した相関演算式Ｃ（ｓｐｎ＝１、１０）を適用して像ズレ検出を行った場合の計算結果（図中の■印がｓｐｎ＝１の場合を、□印がｓｐｎ＝１０の場合をそれぞれ表す）のグラフであり、横軸が実際の像ズレ量（単位：データピッチ）を、縦軸が計算結果の像ズレ量をそれぞれ表す。
【００８８】
さらに、図３１(ｄ)は、図３０(ｂ)に示す一対の像データにノイズを加えた後に相対的にデータピッチの−１から＋１までシフトした像ズレ状態において、上述した相関演算式Ｃ（ｓｐｎ＝１、１０）を適用して像ズレ検出を行った場合の計算結果（図中の■印がｓｐｎ＝１の場合を、□印がｓｐｎ＝１０の場合をそれぞれ表す）のグラフであり、横軸が実際の像ズレ量（単位：データピッチ）を、縦軸が計算結果の像ズレ量をそれぞれ表す。
【００８９】
図３１(ａ)、(ｂ)から明らかなように、相関演算式Ｂによれば、演算パラメータｓｐｎを像データの周波数に応じて調整（低周波の場合はｓｐｎを大きく、高周波の場合にはｓｐｎを小さく）することによって、１次ケラレによる像ズレ検出演算結果のシフト現象を軽減することができる。
【００９０】
また、図３１(ｃ)、(ｄ)から明らかなように、相関演算式Ｃによれば、演算パラメータｓｐｎを像データの周波数に応じて調整（低周波の場合はｓｐｎを大きく）することによって、ノイズによる像ズレ検出演算結果のバラツキ現象を軽減することができることができる。
【００９１】
一般に、相関演算式Ｂ、Ｃのように、データどうしの乗算を含む相関演算式によれば、データどうしの間隔（＝ｓｐｎ）を像データの周波数に応じて調整（低周波の場合はｓｐｎを大きく、高周波の場合にはｓｐｎを小さく）することによって、ケラレやノイズの影響を低減できる。
【００９２】
以上に基づき、ボディ駆動制御装置２１４は、図３２に示すフローにしたがって焦点検出演算処理を実行する。ステップＳ３００から焦点検出演算処理が開始され、続くステップＳ３１０で（１）式により一対の焦点検出画素のデータ列にナイキスト周波数成分以上の高周波成分をカットするフィルター処理が施され、第１データ列と第２データ列が生成される。
【００９３】
ステップＳ３１０において、第１データ列と第２データ列に対して複数の相関演算式（Ａ、Ｂ：ｓｐｎ小、Ｂ：ｓｐｎ大、Ｃ：ｓｐｎ小、Ｃ：ｓｐｎ大）が適用され、それぞれの相関演算式に応じてデフォーカス量が算出される。ステップＳ３３０では、各相関演算式で得られたデフォーカス量の信頼性を図２１に示した相関パラメータ（Ｃ(ｘ)、ＳＬＯＰ）に応じて判断し、信頼性の高いデフォーカス量を抽出する。
【００９４】
ステップＳ３４０において、抽出されたデフォーカス量を平均するとともに、抽出されたデフォーカス量に対応した相関パラメータを平均し、焦点検出演算処理を終了する。
【００９５】
次に、図３３は、各相関演算式（Ａ、Ｂ：ｓｐｎ小、Ｂ：ｓｐｎ大、Ｃ：ｓｐｎ小、Ｃ：ｓｐｎ大）ごとのデフォーカス量算出処理を示すフローチャートである。各処理ステップは、ボディ駆動制御装置２１４が実行する。ステップＳ４００からデフォーカス量算出処理が開始され、続くステップＳ４１０で第１データ列（Ａ１〜Ａｎ）と第２データ列（Ｂ１〜Ｂｎ）を相対的にずらす（シフト量ｋ）とともに、第１データ列および第２データ列に対し相関演算式（Ａ、Ｂ：ｓｐｎ小、Ｂ：ｓｐｎ大、Ｃ：ｓｐｎ小、Ｃ：ｓｐｎ大））を施し、その演算結果の絶対値をデータの所定区間に亘って積算する。
【００９６】
ステップＳ４２０において、図２１で説明した３点内挿の手法により相関量Ｃ(k)の最小値に基づいて像ズレ量を算出するとともに、ステップＳ４３０で像ズレ量をデフォーカス量に変換し、デフォーカス量算出処理を終了する。
【００９７】
以上説明した一実施の形態では、まず複数の相関演算式に応じた複数のデフォーカス量を算出し、次にその中から信頼性のあるデフォーカス量を抽出し、抽出したデフォーカス量を平均して最終的なデフォーカス量を算出しているので、ケラレの状態、ノイズの状態、データの空間周波数成分に依らず安定して高精度な焦点検出が可能になるとともに、ケラレの状態、ノイズの状態、データの空間周波数成分を検出し、検出したケラレの状態、ノイズの状態、データの空間周波数成分に応じて複数の相関演算式の中から最適な相関演算式を選択してデフォーカス量を算出するのに比較して、ケラレの状態、ノイズの状態、データの空間周波数成分の検出処理を省くことができると同時に、ケラレの状態、ノイズの状態、データの空間周波数成分の誤検出の影響を防止することができる。
【００９８】
図３２、図３３に示す処理では、各相関演算式ごとにデフォーカス量まで算出する例を示したが、各相関演算式ごとに像ズレ量を算出し、信頼性に応じて像ズレ量を抽出し、抽出した像ズレ量の平均を求めた後に平均像ズレ量をデフォーカス量に変換するようにしてもよい。
【００９９】
図３２に示す処理では、複数の相関演算式に応じた複数のデフォーカス量を算出し、次にその中から信頼性のあるデフォーカス量を抽出する例を示したが、図３４に示す焦点検出演算処理のように、予め定められた順番で複数の相関演算式による像ズレ検出を行い、信頼性のあるデフォーカス量が得られた時点で像ズレ検出処理を終了するようにしてもよい。
【０１００】
図３４の各処理ステップは、ボディ駆動制御装置２１４が実行する。ステップＳ５００で焦点検出演算処理が開始され、続くステップＳ５１０で（１）式により一対の焦点検出画素のデータ列にナイキスト周波数成分以上の高周波成分をカットするフィルター処理が施され、第１データ列と第２データ列が生成される。ステップＳ５２０では、第１データ列と第２データ列に対し相関演算式Ａを適用してデフォーカス量を算出する。
【０１０１】
ステップＳ５３０において、算出されたデフォーカス量の信頼性があるか否かをチェックし、信頼性がある場合はステップＳ６１０へ進んで焦点検出演算処理を終了する。一方、信頼性がない場合はステップＳ５４０へ進み、第１データ列と第２データ列に対し相関演算式Ｂ（ｓｐｎ小）を適用してデフォーカス量を算出する。
【０１０２】
ステップＳ５５０において、算出されたデフォーカス量の信頼性があるか否かをチェックし、信頼性がある場合はステップＳ６１０へ進んで焦点検出演算処理を終了する。一方、信頼性がない場合はステップＳ５６０へ進み、第１データ列と第２データ列に対し相関演算式Ｂ（ｓｐｎ大）を適用してデフォーカス量を算出する。
【０１０３】
ステップＳ５７０において、算出されたデフォーカス量の信頼性があるか否かをチェックし、信頼性がある場合はステップＳ６１０へ進んで焦点検出演算処理を終了する。一方、信頼性がない場合はステップＳ５８０へ進み、第１データ列と第２データ列に対し相関演算式Ｃ（ｓｐｎ小）を適用してデフォーカス量を算出する。
【０１０４】
ステップＳ５９０において、算出されたデフォーカス量の信頼性があるか否かをチェックし、信頼性がある場合はステップＳ６１０へ進んで焦点検出演算処理を終了する。一方、信頼性がない場合はステップＳ６００へ進み、第１データ列と第２データ列に対し相関演算式Ｃ（ｓｐｎ大）を適用してデフォーカス量を算出し、ステップＳ６１０で焦点検出演算処理を終了する。
【０１０５】
図３４に示す焦点検出演算処理によれば、複数の相関演算式をケラレやノイズがなく、高周波成分を含むような一般的なデータに対して像ズレ検出精度が高い順番かつ演算規模が小さい順番（相関演算式Ａ→Ｂｓｐｎ小→Ｂｓｐｎ大→Ｃｓｐｎ小→Ｃｓｐｎ大）に適用するので、図３３に示す処理と比較して短時間で高精度な焦点検出を行うことができる。
【０１０６】
図３４に示す焦点検出処理によれば、各相関演算式ごとにデフォーカス量まで算出する例を示したが、各相関演算式ごとに像ズレ量を算出し、算出された像ズレ量に信頼性に信頼性がある場合のみ算出された像ズレ量をデフォーカス量に変換するようにしてもよい。
【０１０７】
以上説明した実施形態においては、（１５）式〜（１７）式に示す複数の異なる相関演算式Ａ、Ｂｓｐｎ小、Ｂｓｐｎ大、Ｃｓｐｎ小、Ｃｓｐｎ大を用いた例を示したが、相関演算式としては（１５）式〜（１７）式に示す相関演算式に限定されず、その他の形式で表される相関演算式を使用することもできる。
【０１０８】
図１２に示す焦点検出演算処理では、同一形式の相関演算式において異なる演算パラメータｓｐｎで計算した部分相関量のそれぞれを絶対値をとって加算し、加算した値を所定のデータ区間に亘って積算することにより相関量Ｃ(k)を求める例を示したが、異なる形式の相関演算式（例えば（１５）式、（１６）式、（１７）式）で計算した部分相関量のそれぞれを絶対値をとって加算し、加算した値を所定のデータ区間に亘って積算することにより相関量Ｃ(k)を求めるようにしてもよい。その場合には、各相関演算式により算出される部分相関量を、各相関演算式に応じた所定値で割ることによって規格化し、部分相関量のレベルを揃えることができる。各相関演算式に応じた所定値は、例えば標準的な一対のデータに対して各相関演算式を適用して求めた相関量Ｃ(k)の最大値を採用することができる。
【０１０９】
《その他の変形例》
撮像素子における焦点検出エリアの配置は図２に限定されることはなく、対角線方向や、その他の位置に水平方向および垂直方向に焦点検出エリアを配置することも可能である。
【０１１０】
図３に示す撮像素子２１２では、焦点検出画素３１３、３１４がひとつの画素内にひとつの光電変換部を備えた例を示したが、ひとつの画素内に一対の光電変換部を備えるようにしてもよい。図３５は、図３に示す撮像素子２１２に対応した撮像素子２１２Ａの部分拡大図であり、焦点検出画素３１１はひとつの画素内に一対の光電変換部を備える。図に示す焦点検出画素３１１は、図３に示す焦点検出画素３１３と焦点検出画素３１４のペアに相当した機能を果たす。
【０１１１】
焦点検出画素３１１は、図３６に示すようにマイクロレンズ１０と一対の光電変換部１３，１４から構成される。焦点検出画素３１１には光量をかせぐために色フィルターは配置されておらず、その分光特性は光電変換を行うフォトダイオードの分光感度と、赤外カットフィルター（不図示）の分光特性とを総合した分光特性（図７参照）となる。つまり、図６に示す緑画素、赤画素および青画素の分光特性を加算したような分光特性となり、その感度の光波長領域は緑画素、赤画素および青画素の感度の光波長領域を包括している。
【０１１２】
図３７は、図３５に示す撮像素子２１２Ａの焦点検出画素による瞳分割型位相差検出方式の焦点検出動作を説明するための図である。図３７において、９０は、交換レンズの予定結像面に配置されたマイクロレンズの前方ｄの距離に設定された射出瞳である。ここで、距離ｄは、マイクロレンズの曲率、屈折率、マイクロレンズと光電変換部の間の距離などに応じて決まる距離であって、測距瞳距離である。９１は交換レンズの光軸、５０、６０はマイクロレンズ、（５３，５４）、（６３，６４）は焦点検出画素の対の光電変換部、７３，７４、８３，８４は焦点検出用光束である。
【０１１３】
さらに、９３はマイクロレンズ５０、６０により投影された光電変換部５３，６３の領域であり、測距瞳である。同様に、９４はマイクロレンズ５０、６０により投影された光電変換部５４，６４の領域であり、測距瞳である。図３７では、光軸９１上にある焦点検出画素（マイクロレンズ５０と一対の光電変換部５３、５４を有する）と、隣接する焦点検出画素（マイクロレンズ６０と一対の光電変換部６３、６４を有する）を模式的に例示しているが、撮像面上の周辺に配置された焦点検出用画素においても、一対の光電変換部はそれぞれ一対の測距瞳９３、９４から各マイクロレンズに到来する光束を受光する。焦点検出画素の配列方向は一対の測距瞳の並び方向と一致させる。
【０１１４】
マイクロレンズ５０、６０は光学系の予定結像面近傍に配置されており、光軸９１上に配置されたマイクロレンズ５０によって、その背後に配置された一対の光電変換部５３、５４の形状がマイクロレンズ５０、６０から測距瞳距離ｄだけ離間した射出瞳９０上に投影され、その投影形状は測距瞳９３，９４を形成する。また、マイクロレンズ５０に隣接して配置されたマイクロレンズ６０によって、その背後に配置された一対の光電変換部６３、６４の形状が測距瞳距離ｄだけ離間した射出瞳９０上に投影され、その投影形状は測距瞳９３，９４を形成する。すなわち、測距瞳距離ｄにある射出瞳９０上で各焦点検出画素の光電変換部の投影形状（測距瞳９３，９４）が一致するように、各画素のマイクロレンズと光電変換部の位置関係が決定されている。
【０１１５】
光電変換部５３は、測距瞳９３を通過してマイクロレンズ５０へ向う焦点検出光束７３によってマイクロレンズ５０上に形成される像の強度に対応した信号を出力する。また、光電変換部５４は、測距瞳９４を通過してマイクロレンズ５０へ向う焦点検出光束７４によってマイクロレンズ５０上に形成される像の強度に対応した信号を出力する。同様に、光電変換部６３は、測距瞳９３を通過してマイクロレンズ６０へ向う焦点検出光束８３によってマイクロレンズ６０上に形成される像の強度に対応した信号を出力する。また、光電変換部６４は、測距瞳９４を通過してマイクロレンズ６０へ向う焦点検出光束８４によってマイクロレンズ６０上に形成される像の強度に対応した信号を出力する。
【０１１６】
このような焦点検出画素を直線状に多数配置し、各焦点検出画素の一対の光電変換部の出力を測距瞳９３および測距瞳９４に対応した出力グループにまとめることによって、測距瞳９３と測距瞳９４を各々通過する焦点検出光束が焦点検出画素列上に形成する一対の像の強度分布に関する情報が得られる。この情報に対して後述する像ズレ検出演算処理（相関演算処理、位相差検出処理）を施すことによって、いわゆる瞳分割位相差検出方式で一対の像の像ズレ量が検出される。さらに、像ズレ量に所定の変換処理を施すことによって、予定結像面（マイクロレンズアレイの位置）に対する現在の結像面（撮影画面１００上で定められる焦点検出位置における実際の結像面）の偏差（デフォーカス量）が算出される。
【０１１７】
次に、図３に示す撮像素子２１２では撮像画素３１０がベイヤー配列の色フィルターを備えた例を示したが、色フィルターの構成や配列はこれに限定されることはなく、補色フィルター（緑：Ｇ、イエロー：Ｙｅ、マゼンタ：Ｍｇ，シアン：Ｃｙ）の配列を採用してもよい。また、図３に示す撮像素子２１２では焦点検出画素３１３、３１４に色フィルターを設けない例を示したが、撮像画素３１０と同色の色フィルターの内のひとつのフィルター（例えば緑フィルター）を設けるようにした場合でも、本発明を適用することができる。
【０１１８】
また、上述した一実施の形態の図５、図３７に示す焦点検出画素３１１、３１３、３１４では、光電変換部の形状を半円形や矩形にした例を示したが、焦点検出画素の光電変換部の形状はこれらに限定されず、他の形状であってもよい。例えば焦点検出画素の光電変換部の形状を楕円や多角形にすることも可能である。
【０１１９】
さらに、図３に示す撮像素子２１２では、撮像画素と焦点検出画素を稠密正方格子配列に配置した例を示したが、稠密六方格子配列（ハニカム状配列）としてもよい。
【０１２０】
上述した一実施の形態では、マイクロレンズを用いた瞳分割型位相差検出方式による焦点検出動作を説明したが、本発明はこのような方式の焦点検出に限定されず、特開２００８−１５１５７号公報に開示された偏光素子による瞳分割型位相差検出方式の焦点検出装置にも適用可能である。
【０１２１】
さらに、本発明は、再結像方式による瞳分割型位相差検出方式の焦点検出にも適用可能である。図３８により、再結像方式による瞳分割型位相差検出方式の焦点検出動作を説明する。図３８において、１９１は交換レンズの光軸、１１０，１２０はコンデンサレンズ、１１１、１２１は絞りマスク、１１２，１１３、１２２，１２３は絞り開口、１１４、１１５、１２４，１２５は再結像レンズ、１１６、１２６は焦点検出用のイメージセンサー（ＣＣＤ）である。
【０１２２】
また、１３２，１３３、１４２，１４３は焦点検出光束、１９０は交換レンズの予定結像面の前方ｄ５の距離に設定された射出瞳である。ここで、距離ｄ５は、コンデンサレンズ１１０，１２０の焦点距離と、コンデンサレンズ１１０，１２０と絞り開口１１２，１１３、１２２，１２３との間の距離などに応じて決まる距離であって、測距瞳距離である。１９２は、コンデンサレンズ１１０，１２０により投影された絞り開口１１２，１２２の領域であり、測距瞳である。同様に、１９３は、コンデンサレンズ１１０，１２０により投影された絞り開口１１３，１２３の領域であり、測距瞳である。コンデンサレンズ１１０、絞りマスク１１１、絞り開口１１２，１１３、再結像レンズ１１４、１１５およびイメージセンサー１１６が、一つの位置で焦点検出を行う再結像方式の瞳分割型位相差検出方式の焦点検出ユニットを構成する。
【０１２３】
図３８においては、光軸１９１上にある焦点検出ユニットと光軸外にある焦点検出ユニットとを模式的に例示している。複数の焦点検出ユニットを組み合わせることによって、図２に示す３箇所の焦点検出位置１０１〜１０３において再結像方式の瞳分割位相差検出で焦点検出を行う焦点検出装置を実現することができる。
【０１２４】
コンデンサレンズ１１０を有する焦点検出ユニットは、交換レンズの予定結像面近傍に配置されたコンデンサレンズ１１０、その背後に配置されたイメージサンサ１１６、コンデンサレンズ１１０とイメージサンサ１１６との間に配置され、予定結像面近傍に結像された１次像をイメージセンサー１１６上に再結像する一対の再結像レンズ１１４、１１５、一対の再結像レンズの近傍（図３８では前面）に配置された一対の絞り開口１１２、１１３を有する絞りマスク１１を有する。
【０１２５】
イメージセンサー１１６は、複数の光電変換部が直線に沿って密に配置されたラインサンサであり、光電変換部の配置方向は一対の測距瞳の分割方向（＝絞り開口の並び方向）と一致させる。このイメージセンサー１１６からは、イメージセンサー１１６上に再結像された一対の像の強度分布に対応した情報が出力され、この情報に対して後述する像ズレ検出演算処理（相関処理、位相差検出処理）を施すことによって、いわゆる瞳分割型位相差検出方式（再結像方式）で一対の像の像ズレ量が検出される。さらに、像ズレ量に所定の変換係数を乗ずることによって、予定結像面に対する現在の結像面の偏差（デフォーカス量）が算出される。
【０１２６】
イメージセンサー１１６は再結像レンズ１１４、１１５により予定結像面上に投影されており、デフォーカス量（像ズレ量）の検出精度は、像ズレ量の検出ピッチ（再結像方式の場合は予定結像面上に投影された光電変換部の配列ピッチ）により決まる。
【０１２７】
コンデンサレンズ１１０は、絞りマスク１１１の絞り開口１１２、１１３を射出瞳１９０上に領域１９２、１９３として投影している。領域１９２，１９３は測距瞳である。すなわち、イメージセンサー１１６上に再結像される一対の像は射出瞳１９０上の一対の測距瞳１９２，１９３を通過する光束によって形成される。射出瞳１９０上の一対の測距瞳１９２，１９３を通過する光束１３２、１３３を焦点検出用光束と呼ぶ。
【０１２８】
このような再結像方式による瞳分割型位相差検出方式においても、測距瞳の口径蝕によってイメージセンサー上に形成される一対の像のバランス崩れが生ずるので、イメージセンサーの出力信号を処理する際に本発明を適用することができる。
【０１２９】
なお、撮像装置としては、上述したようなカメラボディに交換レンズが装着される構成のデジタルスチルカメラやフィルムスチルカメラに限定されない。例えばレンズ一体型のデジタルスチルカメラ、フィルムスチルカメラ、あるいはビデオカメラにも本発明を適用することができる。さらには、携帯電話などに内蔵される小型カメラモジュール、監視カメラやロボット用の視覚認識装置、車載カメラなどにも適用できる。
【０１３０】
上述した一実施の形態では、撮像画素の配列中に焦点検出画素を配列し、焦点検出画素で得られる信号に基づいて結像光学系の瞳の異なる領域を通る一対の光束に対応する一対の信号列を求め、上記相関演算により瞳分割型位相差検出方式の焦点検出を行う例を示したが、撮像画素の出力に基づいて周知のコントラスト方式の焦点検出を行うとともに、焦点検出画素の出力に基づいて瞳分割型位相差検出方式の焦点検出を行う、ハイブリッド方式の焦点検出装置としてもよい。
【０１３１】
また、本発明は、カメラ以外の焦点検出装置や測距装置、さらにはステレオ測距装置にも適用できる。さらに、時間が異なるイメージセンサーの信号間の相関を検出して被写体像の動きやカメラのブレを検出する装置にも適用できる。さらにまた、イメージセンサーの画像信号と特定の画像信号のパターンマッチングにも適用できる。
【０１３２】
さらに、本発明は、画像信号データの相関を検出するものに限定されず、音に関するデータの相関やその他一般に２つの信号の相関を検出するものにも適用することができる。
【符号の説明】
【０１３３】
１０；マイクロレンズ、１１、１３、１４；光電変換部、２０２；交換レンズ、２１２、２１２Ａ；撮像素子、２１４；ボディ駆動制御装置、３１０；撮像画素、３１１、３１３、３１４；焦点検出画素
【特許請求の範囲】
【請求項１】
複数のデータが一次元上に配列された第１データ列と、複数のデータが一次元上に配列された前記第１のデータ列とは異なる第２データ列とを、一次元上で変位量を変えながら相対的に変位させ、複数の相関演算式により前記第１データ列と前記第２データ列の間の相関量を演算することを特徴とする相関演算方法。
【請求項２】
請求項１に記載の相関演算方法において、
前記複数の相関演算式の内の少なくとも１つは、前記第１データ列の中の１つのデータと、前記第２データ列の中の１つのデータとの乗算を含む相関演算式であることを特徴とする相関演算方法。
【請求項３】
請求項２に記載の相関演算方法において、
前記乗算を含む相関演算式が複数あり、
それらの複数の乗算を含む相関演算式は、前記第１データ列の中の１つのデータと前記第２データ列の中の１つのデータとの乗算と、前記第１データ列の中の他の１つのデータと前記第２データ列の中の他の１つのデータとの乗算とを含む部分相関演算式を含み、
前記第１データ列の中の１つのデータと前記第１データ列の中の他の１つのデータとの間隔、および前記第２データ列の中の１つのデータと前記第２データ列の中の他の１つのデータとの間隔がともに所定間隔であることを特徴とする相関演算方法。
【請求項４】
請求項３に記載の相関演算方法において、
前記複数の乗算を含む相関演算式は、前記所定間隔が相異なる２種類の前記部分相関演算式を含むことを特徴とする相関演算方法。
【請求項５】
請求項１〜４のいずれか一項に記載の相関演算方法において、
前記複数の相関演算式により求めた複数の相関量を加算した相関量を求めることを特徴とする相関演算方法。
【請求項６】
請求項１〜４のいずれか一項に記載の相関演算方法において、
前記複数の相関演算式により求めた複数の相関量のそれぞれに対し信頼性を判定し、前記信頼性が高いと判定された相関量を抽出することを特徴とする相関演算方法。
【請求項７】
請求項１〜４のいずれか一項に記載の相関演算方法において、
前記第１データ列と前記第２データ列に対して前記複数の相関演算式を予め定めた順序で適用し、相関量の演算を行うとともに該相関量の信頼性を判定し、前記信頼性が高いと判定された相関量を抽出したとき、前記複数の相関演算式による前記相関量の演算を終了することを特徴とする相関演算方法。
【請求項８】
請求項１〜７のいずれか一項に記載の相関演算方法において、
前記複数の相関演算式は、前記第１データ列と前記第２データ列の間の歪みに対する特性がそれぞれ異なる演算式であることを特徴とする相関演算方法。
【請求項９】
請求項８に記載の相関演算方法において、
前記歪みが大きいとき、前記信頼性が高いと判定された相関量として、前記第１データと前記第２データとの乗算を含む相関演算式により演算された前記第１データ列と前記第２データ列の間の相関量を抽出することを特徴とする相関演算方法。
【請求項１０】
請求項１〜７のいずれか一項に記載の相関演算方法において、
前記複数の相関演算式は、前記第１データ列と前記第２データ列に加わるノイズに対する特性がそれぞれ異なる演算式であることを特徴とする相関演算方法。
【請求項１１】
請求項１０に記載の相関演算方法において、
前記ノイズが大きいとき、前記信頼性が高いと判定された相関量として、前記第１データと前記第２データとの乗算を含む相関演算式により演算された前記第１データ列と前記第２データ列の間の相関量を抽出することを特徴とする相関演算方法。
【請求項１２】
請求項１〜７のいずれか一項に記載の相関演算方法において、
前記複数の相関演算式は、前記第１データ列と前記第２データ列の空間周波数に対する特性がそれぞれ異なる演算式であることを特徴とする相関演算方法。
【請求項１３】
請求項１〜１２のいずれか一項に記載の相関演算方法により、前記相関量の極値が得られる前記変位量を演算する演算手段を備えることを特徴とする相関演算装置。
【請求項１４】
光学系を通って一対の像を形成する一対の光束を受光し、前記一対の像に応じた第１データ列と第２データ列とを出力する受光手段と、
前記第１データ列と前記第２データ列の間の相関量の極値が得られる変位量を求める請求項１３に記載の相関演算装置と、
前記変位量に基づいて前記光学系の焦点調節状態を検出する焦点検出手段とを備えることを特徴とする焦点検出装置。
【請求項１５】
請求項１４に記載の焦点検出装置において、
前記受光手段は、マイクロレンズと該マイクロレンズを介して前記光学系からの光束を受光する光電変換部とを有する焦点検出画素が複数個配列されており、前記複数の焦点検出画素の出力に基づいて前記第１データ列と前記第２データ列を生成することを特徴とする焦点検出装置。
【請求項１６】
請求項１５に記載の焦点検出装置と、
撮像素子とを備えることを特徴とする撮像装置。
【請求項１７】
請求項１６に記載の撮像装置において、
前記撮像素子は、同一基板上に配列される、前記光学系により結像される像を撮像する撮像画素と前記焦点検出画素とを有することを特徴とする撮像装置。
【請求項１】
複数のデータが一次元上に配列された第１データ列と、複数のデータが一次元上に配列された前記第１のデータ列とは異なる第２データ列とを、一次元上で変位量を変えながら相対的に変位させ、複数の相関演算式により前記第１データ列と前記第２データ列の間の相関量を演算することを特徴とする相関演算方法。
【請求項２】
請求項１に記載の相関演算方法において、
前記複数の相関演算式の内の少なくとも１つは、前記第１データ列の中の１つのデータと、前記第２データ列の中の１つのデータとの乗算を含む相関演算式であることを特徴とする相関演算方法。
【請求項３】
請求項２に記載の相関演算方法において、
前記乗算を含む相関演算式が複数あり、
それらの複数の乗算を含む相関演算式は、前記第１データ列の中の１つのデータと前記第２データ列の中の１つのデータとの乗算と、前記第１データ列の中の他の１つのデータと前記第２データ列の中の他の１つのデータとの乗算とを含む部分相関演算式を含み、
前記第１データ列の中の１つのデータと前記第１データ列の中の他の１つのデータとの間隔、および前記第２データ列の中の１つのデータと前記第２データ列の中の他の１つのデータとの間隔がともに所定間隔であることを特徴とする相関演算方法。
【請求項４】
請求項３に記載の相関演算方法において、
前記複数の乗算を含む相関演算式は、前記所定間隔が相異なる２種類の前記部分相関演算式を含むことを特徴とする相関演算方法。
【請求項５】
請求項１〜４のいずれか一項に記載の相関演算方法において、
前記複数の相関演算式により求めた複数の相関量を加算した相関量を求めることを特徴とする相関演算方法。
【請求項６】
請求項１〜４のいずれか一項に記載の相関演算方法において、
前記複数の相関演算式により求めた複数の相関量のそれぞれに対し信頼性を判定し、前記信頼性が高いと判定された相関量を抽出することを特徴とする相関演算方法。
【請求項７】
請求項１〜４のいずれか一項に記載の相関演算方法において、
前記第１データ列と前記第２データ列に対して前記複数の相関演算式を予め定めた順序で適用し、相関量の演算を行うとともに該相関量の信頼性を判定し、前記信頼性が高いと判定された相関量を抽出したとき、前記複数の相関演算式による前記相関量の演算を終了することを特徴とする相関演算方法。
【請求項８】
請求項１〜７のいずれか一項に記載の相関演算方法において、
前記複数の相関演算式は、前記第１データ列と前記第２データ列の間の歪みに対する特性がそれぞれ異なる演算式であることを特徴とする相関演算方法。
【請求項９】
請求項８に記載の相関演算方法において、
前記歪みが大きいとき、前記信頼性が高いと判定された相関量として、前記第１データと前記第２データとの乗算を含む相関演算式により演算された前記第１データ列と前記第２データ列の間の相関量を抽出することを特徴とする相関演算方法。
【請求項１０】
請求項１〜７のいずれか一項に記載の相関演算方法において、
前記複数の相関演算式は、前記第１データ列と前記第２データ列に加わるノイズに対する特性がそれぞれ異なる演算式であることを特徴とする相関演算方法。
【請求項１１】
請求項１０に記載の相関演算方法において、
前記ノイズが大きいとき、前記信頼性が高いと判定された相関量として、前記第１データと前記第２データとの乗算を含む相関演算式により演算された前記第１データ列と前記第２データ列の間の相関量を抽出することを特徴とする相関演算方法。
【請求項１２】
請求項１〜７のいずれか一項に記載の相関演算方法において、
前記複数の相関演算式は、前記第１データ列と前記第２データ列の空間周波数に対する特性がそれぞれ異なる演算式であることを特徴とする相関演算方法。
【請求項１３】
請求項１〜１２のいずれか一項に記載の相関演算方法により、前記相関量の極値が得られる前記変位量を演算する演算手段を備えることを特徴とする相関演算装置。
【請求項１４】
光学系を通って一対の像を形成する一対の光束を受光し、前記一対の像に応じた第１データ列と第２データ列とを出力する受光手段と、
前記第１データ列と前記第２データ列の間の相関量の極値が得られる変位量を求める請求項１３に記載の相関演算装置と、
前記変位量に基づいて前記光学系の焦点調節状態を検出する焦点検出手段とを備えることを特徴とする焦点検出装置。
【請求項１５】
請求項１４に記載の焦点検出装置において、
前記受光手段は、マイクロレンズと該マイクロレンズを介して前記光学系からの光束を受光する光電変換部とを有する焦点検出画素が複数個配列されており、前記複数の焦点検出画素の出力に基づいて前記第１データ列と前記第２データ列を生成することを特徴とする焦点検出装置。
【請求項１６】
請求項１５に記載の焦点検出装置と、
撮像素子とを備えることを特徴とする撮像装置。
【請求項１７】
請求項１６に記載の撮像装置において、
前記撮像素子は、同一基板上に配列される、前記光学系により結像される像を撮像する撮像画素と前記焦点検出画素とを有することを特徴とする撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【公開番号】特開２００９−２８２０１８（Ｐ２００９−２８２０１８Ａ）
【公開日】平成２１年１２月３日（２００９．１２．３）
【国際特許分類】
【出願番号】特願２００９−９６９２６（Ｐ２００９−９６９２６）
【出願日】平成２１年４月１３日（２００９．４．１３）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２１年１２月３日（２００９．１２．３）
【国際特許分類】
【出願日】平成２１年４月１３日（２００９．４．１３）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]