相関演算方法、相関演算装置、焦点検出装置および撮像装置
【課題】同一性が崩れた一対のデータ列の相関関係を演算する。
【解決手段】複数の第１データA1,A2,・・が一次元上に配列された第１データ列ＡNと、複数の第２データB1,B2,・・が一次元上に配列された第２データ列ＢNとを、一次元上で変位量を変えながら相対的に変位させ、第１データ列ＡNと第２データ列ＢNの間の相関量を演算して相関量の極値が得られる変位量を求める相関演算方法において、複数の第１データＡn、Ａn+1のＮ階（ただし、Ｎ＝１，２，・・）の差分データ(Ａn−Ａn+1)から成る第３データ列と、複数の第２データＢn+k、Ｂn+1+kのＮ階の差分データ(Ｂn+k−Ｂn+1+k)から成る第４データ列との間で内積演算を行い、算出された演算値を相関量とする。
【解決手段】複数の第１データA1,A2,・・が一次元上に配列された第１データ列ＡNと、複数の第２データB1,B2,・・が一次元上に配列された第２データ列ＢNとを、一次元上で変位量を変えながら相対的に変位させ、第１データ列ＡNと第２データ列ＢNの間の相関量を演算して相関量の極値が得られる変位量を求める相関演算方法において、複数の第１データＡn、Ａn+1のＮ階（ただし、Ｎ＝１，２，・・）の差分データ(Ａn−Ａn+1)から成る第３データ列と、複数の第２データＢn+k、Ｂn+1+kのＮ階の差分データ(Ｂn+k−Ｂn+1+k)から成る第４データ列との間で内積演算を行い、算出された演算値を相関量とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は相関演算方法、相関演算装置、焦点検出装置および撮像装置に関する。
【背景技術】
【０００２】
一対の物体像に対応する一対の信号データ列(Ａ1,Ａ2,・・),(Ｂ1,Ｂ2,・・)をシフト量Ｌを変えながら比較し、相関量Ｃ(Ｌ)をＣ(Ｌ)＝Σ｜Ａi−Ｂi+L｜（ただし、Σは所定範囲（ｉ＝ｑ〜ｒ）における総和演算を表す）により算出し、相関量Ｃ(Ｌ)の極値を与えるシフト量Ｌに基づいて像ズレ量を演算するようにした相関演算方法が知られている（例えば、特許文献１参照）。
【０００３】
この出願の発明に関連する先行技術文献としては次のものがある。
【特許文献１】特開平０４−３３８９０５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来の相関演算方法では、一対のデータ列が２つの同一のデータ列を相対的にシフトしたものであるという前提のもとに考案された相関演算方法であるため、同一性が崩れている一対のデータ列に適用すると、算出されたシフト量の誤差が増大したり、シフト量の演算が不能になることがある。
【課題を解決するための手段】
【０００５】
（１） 請求項１の発明は、複数の第１データが一次元上に配列された第１データ列と、複数の第２データが一次元上に配列された第２データ列とを、一次元上で変位量を変えながら相対的に変位させ、前記第１データ列と前記第２データ列の間の相関量を演算して前記相関量の極値が得られる前記変位量を求める相関演算方法において、前記複数の第１データのＮ階（ただし、Ｎ＝１，２，・・）の差分データから成る第３データ列と、前記複数の第２データのＮ階の差分データから成る第４データ列との間で内積演算を行い、算出された演算値を前記相関量とする相関演算方法である。
（２） 請求項２の発明は、請求項１に記載の相関演算方法において、前記内積演算に用いた前記複数の第１データと前記複数の第２データにより前記演算値を正規化するようにしたものである。
（３） 請求項３の発明は、請求項１に記載の相関演算方法において、一次元上の所定位置の近傍における前記第３データ列のＭ個（ただし、Ｍ＝２，３，・・）のデータと、前記第４データ列のＭ個のデータとをそれぞれＭ次元のベクトルの成分としてベクトルの内積演算を行って局所的相関量を算出し、前記内積演算に用いた前記複数の第１データと前記複数の第２データにより前記局所的相関量を正規化する演算を、一次元上の前記所定位置を所定区間に亘って移動させて行い、前記局所的相関量を積算して前記相関量を算出するようにしたものである。
（４） 請求項４の発明は、請求項１に記載の相関演算方法において、一次元上の所定位置の近傍における前記第３データ列のＭ個（ただし、Ｍ＝２，３，・・）のデータと、前記第４データ列のＭ個のデータとをそれぞれＭ次元のベクトルの成分としてベクトルの内積演算を行って局所的相関量を算出する演算を、一次元上の前記所定位置を所定区間に亘って移動させて行い、前記局所的相関量を積算して該積算値を前記内積演算に用いた前記複数の第１データと前記複数の第２データにより正規化して前記相関量を算出するようにしたものである。
（５） 請求項５の発明は、複数の第１データが一次元上に配列された第１データ列と、複数の第２データが一次元上に配列された第２データ列とを、一次元上で変位量を変えながら相対的に変位させ、前記第１データ列と前記第２データ列の間の相関量を演算して前記相関量の極値が得られる前記変位量を求める相関演算方法において、前記複数の第１データのＮ階（ただし、Ｎ＝１，２，・・）の差分データから成る第３データ列と、前記複数の第２データのＮ階の差分データから成る第４データ列との間で外積演算を行い、算出された演算値を前記相関量とする相関演算方法である。
（６） 請求項６の発明は、請求項５に記載の相関演算方法において、前記外積演算に用いた前記複数の第１データと前記複数の第２データにより前記演算値を正規化するようにしたものである。
（７） 請求項７の発明は、請求項５に記載の相関演算方法において、一次元上の所定位置の近傍における前記第３データ列のＭ個（ただし、Ｍ＝２，３，・・）のデータと、前記第４データ列のＭ個のデータとをそれぞれＭ次元のベクトルの成分としてベクトルの外積演算を行って局所的相関量を算出し、前記外積演算に用いた前記複数の第１データと前記複数の第２データにより前記局所的相関量を正規化する演算を、一次元上の前記所定位置を所定区間に亘って移動させて行い、前記局所的相関量を積算して前記相関量を算出するようにしたものである。
（８） 請求項８の発明は、請求項５に記載の相関演算方法において、一次元上の所定位置の近傍における前記第３データ列のＭ個（ただし、Ｍ＝２，３，・・）のデータと、前記第４データ列のＭ個のデータとをそれぞれＭ次元のベクトルの成分としてベクトルの外積演算を行って局所的相関量を算出する演算を、一次元上の前記所定位置を所定区間に亘って移動させて行い、前記局所的相関量を積算して該積算値を前記外積演算に用いた前記複数の第１データと前記複数の第２データにより正規化して前記相関量を算出するようにしたものである。
（９） 請求項９の発明は、請求項１〜８のいずれか一項に記載の相関演算方法により、前記相関量の極値が得られる前記変位量を求める演算手段を備えた相関演算装置である。
（１０） 請求項１０の発明は、結像光学系を通る一対の光束を受光し、この一対の光束が前記結像光学系の予定焦点面上に形成する一対の像に対応する一対のデータ列を生成する瞳分割像検出手段と、前記一対のデータ列の間の相関量の極値が得られる変位量を求める請求項９に記載の相関演算装置と、前記変位量に基づいて前記結像光学系の焦点調節状態を検出する焦点検出手段とを備えた焦点検出装置である。
（１１） 請求項１１の発明は、請求項１０に記載の焦点検出装置と、マイクロレンズと光電変換部から成る撮像用画素と焦点検出用画素が配列された撮像素子とを備え、前記瞳分割像検出手段は、前記焦点検出用画素の出力に基づいて前記一対のデータ列を生成する撮像装置である。
【発明の効果】
【０００６】
本発明によれば、同一性が崩れた一対のデータ列の相関関係を正確に演算することができる。
【発明を実施するための最良の形態】
【０００７】
一実施の形態の撮像素子および撮像装置として、レンズ交換式デジタルスチルカメラを例に上げて説明する。図１は一実施の形態のカメラの構成を示すカメラの横断面図である。一実施の形態のデジタルスチルカメラ２０１は交換レンズ２０２とカメラボディ２０３から構成され、交換レンズ２０２がマウント部２０４を介してカメラボディ２０３に装着される。カメラボディ２０３にはマウント部２０４を介して種々の撮影光学系を有する交換レンズ２０２が装着可能である。
【０００８】
交換レンズ２０２はレンズ２０９、ズーミング用レンズ２０８、フォーカシング用レンズ２１０、絞り２１１、レンズ駆動制御装置２０６などを備えている。レンズ駆動制御装置２０６は不図示のマイクロコンピューター、メモリ、駆動制御回路などから構成され、フォーカシング用レンズ２１０の焦点調節と絞り２１１の開口径調節のための駆動制御や、ズーミング用レンズ２０８、フォーカシング用レンズ２１０および絞り２１１の状態検出などを行う他、後述するボディ駆動制御装置２１４との通信によりレンズ情報の送信とカメラ情報の受信を行う。絞り２１１は、光量およびボケ量調整のために光軸中心に開口径が可変な開口を形成する。
【０００９】
カメラボディ２０３は撮像素子２１２、ボディ駆動制御装置２１４、液晶表示素子駆動回路２１５、液晶表示素子２１６、接眼レンズ２１７、メモリカード２１９などを備えている。撮像素子２１２には、撮像画素が二次元状に配置されるとともに、焦点検出位置に対応した部分に焦点検出画素が組み込まれている。この撮像素子２１２については詳細を後述する。
【００１０】
ボディ駆動制御装置２１４はマイクロコンピューター、メモリ、駆動制御回路などから構成され、撮像素子２１２の駆動制御と画像信号および焦点検出信号の読み出しと、焦点検出信号に基づく焦点検出演算と交換レンズ２０２の焦点調節を繰り返し行うとともに、画像信号の処理と記録、カメラの動作制御などを行う。また、ボディ駆動制御装置２１４は電気接点２１３を介してレンズ駆動制御装置２０６と通信を行い、レンズ情報の受信とカメラ情報（デフォーカス量や絞り値など）の送信を行う。
【００１１】
液晶表示素子２１６は電気的なビューファインダー（ＥＶＦ：Electronic View Finder）として機能する。液晶表示素子駆動回路２１５は撮像素子２１２によるスルー画像を液晶表示素子２１６に表示し、撮影者は接眼レンズ２１７を介してスルー画像を観察することができる。メモリカード２１９は、撮像素子２１２により撮像された画像を記憶する画像ストレージである。
【００１２】
交換レンズ２０２を通過した光束により、撮像素子２１２の受光面上に被写体像が形成される。この被写体像は撮像素子２１２により光電変換され、画像信号と焦点検出信号がボディ駆動制御装置２１４へ送られる。
【００１３】
ボディ駆動制御装置２１４は、撮像素子２１２の焦点検出画素からの焦点検出信号に基づいてデフォーカス量を算出し、このデフォーカス量をレンズ駆動制御装置２０６へ送る。また、ボディ駆動制御装置２１４は、撮像素子２１２からの画像信号を処理して画像を生成し、メモリカード２１９に格納するとともに、撮像素子２１２からのスルー画像信号を液晶表示素子駆動回路２１５へ送り、スルー画像を液晶表示素子２１６に表示させる。さらに、ボディ駆動制御装置２１４は、レンズ駆動制御装置２０６へ絞り制御情報を送って絞り２１１の開口制御を行う。
【００１４】
レンズ駆動制御装置２０６は、フォーカシング状態、ズーミング状態、絞り設定状態、絞り開放Ｆ値などに応じてレンズ情報を更新する。具体的には、ズーミング用レンズ２０８とフォーカシング用レンズ２１０の位置と絞り２１１の絞り値を検出し、これらのレンズ位置と絞り値に応じてレンズ情報を演算したり、あるいは予め用意されたルックアップテーブルからレンズ位置と絞り値に応じたレンズ情報を選択する。
【００１５】
レンズ駆動制御装置２０６は、受信したデフォーカス量に基づいてレンズ駆動量を算出し、レンズ駆動量に応じてフォーカシング用レンズ２１０を合焦位置へ駆動する。また、レンズ駆動制御装置２０６は受信した絞り値に応じて絞り２１１を駆動する。
【００１６】
図２は、交換レンズ２０２の撮影画面上における焦点検出位置を示す図であり、後述する撮像素子２１２上の焦点検出画素列が焦点検出の際に撮影画面上で像をサンプリングする領域（焦点検出エリア、焦点検出位置）の一例を示す。この例では、矩形の撮影画面１００上の中央および上下の３箇所に焦点検出エリア１０１〜１０３が配置される。長方形で示す焦点検出エリアの長手方向に、焦点検出画素が直線的に配列される。
【００１７】
図３は撮像素子２１２の詳細な構成を示す正面図であり、撮像素子２１２上の焦点検出エリア１０１の近傍を拡大して示す。撮像素子２１２には撮像画素３１０が二次元正方格子状に稠密に配列されるとともに、焦点検出エリア１０１に対応する位置には焦点検出用の焦点検出画素３１３、３１４が垂直方向の直線上に隣接して交互に配列される。なお、図示を省略するが、焦点検出エリア１０２、１０３の近傍の構成も図３に示す構成と同様である。
【００１８】
撮像画素３１０は、図４に示すようにマイクロレンズ１０、光電変換部１１、および色フィルター（不図示）から構成される。色フィルターは赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３種類からなり、それぞれの分光感度は図６に示す特性になっている。撮像素子２１２には、各色フィルターを備えた撮像画素３１０がベイヤー配列されている。
【００１９】
焦点検出画素３１３は、図５(ａ)に示すようにマイクロレンズ１０と光電変換部１３とから構成され、光電変換部１３の形状は半円形である。また、焦点検出画素３１４は、図５(ｂ)に示すようにマイクロレンズ１０と光電変換部１４とから構成され、光電変換部１４の形状は半円形である。焦点検出画素３１３と焦点検出画素３１４とをマイクロレンズ１０を重ね合わせて表示すると、光電変換部１３と１４が垂直方向に並んでいる。焦点検出画素３１３と焦点検出画素３１４は、焦点検出エリア１０１〜１０３において垂直方向（光電変換部１３と１４の並び方向）に交互に配置される。
【００２０】
焦点検出画素３１３、３１４には光量をかせぐために色フィルターが設けられておらず、その分光特性は光電変換を行うフォトダイオードの分光感度と、赤外カットフィルター（不図示）の分光特性とを総合した分光特性（図７参照）となる。つまり、図６に示す緑画素、赤画素および青画素の分光特性を加算したような分光特性となり、その感度の光波長領域は緑画素、赤画素および青画素の感度の光波長領域を包括している。
【００２１】
焦点検出用の焦点検出画素３１３、３１４は、撮像画素３１０のＢとＧが配置されるべき列に配置されている。焦点検出用の焦点検出画素３１３、３１４が、撮像画素３１０のＢとＧが配置されるべき列に配置されているのは、画素補間処理において補間誤差が生じた場合に、人間の視覚特性上、赤画素の補間誤差に比較して青画素の補間誤差が目立たないためである。
【００２２】
撮像画素３１０の光電変換部１１は、マイクロレンズ１０によって最も明るい交換レンズの射出瞳径（例えばＦ１．０）を通過する光束をすべて受光するような形状に設計される。また、焦点検出画素３１３、３１４の光電変換部１３、１４は、マイクロレンズ１０によって交換レンズの射出瞳の所定の領域（例えばＦ２．８）を通過する光束をすべて受光するような形状に設計される。
【００２３】
図８は撮像画素３１０の断面図である。撮像画素３１０では撮像用の光電変換部１１の前方にマイクロレンズ１０が配置され、マイクロレンズ１０により光電変換部１１の形状が前方に投影される。光電変換部１１は半導体回路基板２９上に形成される。なお、不図示の色フィルターはマイクロレンズ１０と光電変換部１１の中間に配置される。
【００２４】
図９(ａ)は焦点検出画素３１３の断面図である。画面中央の焦点検出エリア１０１に配置された焦点検出画素３１３において、光電変換部１３の前方にマイクロレンズ１０が配置され、マイクロレンズ１０により光電変換部１３の形状が前方に投影される。光電変換部１３は半導体回路基板２９上に形成されるとともに、その上にマイクロレンズ１０が半導体イメージセンサーの製造工程により一体的かつ固定的に形成される。なお、画面上下の焦点検出エリア１０２、１０３に配置された焦点検出画素３１３の断面構造についても、図９(ａ)に示す断面構造と同様である。
【００２５】
図９(ｂ)は焦点検出画素３１４の断面図である。画面中央の焦点検出エリア１０１に配置された焦点検出画素３１４において、光電変換部１４の前方にマイクロレンズ１０が配置され、マイクロレンズ１０により光電変換部１４の形状が前方に投影される。光電変換部１４は半導体回路基板２９上に形成されるとともに、その上にマイクロレンズ１０が半導体イメージセンサーの製造工程により一体的かつ固定的に形成される。なお、画面上下の焦点検出エリア１０２、１０３に配置された焦点検出画素３１４の断面構造についても、図９(ｂ)に示す断面構造と同様である。
【００２６】
図１０は、マイクロレンズを用いた瞳分割型位相差検出方式の焦点検出光学系の構成を示す。なお、焦点検出画素の部分は拡大して示す。図において、９０は、交換レンズ２０２（図１参照）の予定結像面に配置されたマイクロレンズから前方ｄの距離に設定された射出瞳である。この距離ｄは、マイクロレンズの曲率、屈折率、マイクロレンズと光電変換部との間の距離などに応じて決まる距離であって、この明細書では測距瞳距離と呼ぶ。９１は交換レンズの光軸、１０ａ〜１０ｄはマイクロレンズ、１３ａ、１３ｂ、１４ａ、１４ｂは光電変換部、３１３ａ、３１３ｂ、３１４ａ、３１４ｂは焦点検出画素、７３，７４、８３，８４は焦点検出光束である。
【００２７】
また、９３は、マイクロレンズ１０ａ、１０ｃにより投影された光電変換部１３ａ、１３ｂの領域であり、この明細書では測距瞳と呼ぶ。図１０では、説明を解りやすくするために楕円形の領域で示しているが、実際には光電変換部の形状が拡大投影された形状になる。同様に、９４は、マイクロレンズ１０ｂ、１０ｄにより投影された光電変換部１４ａ、１４ｂの領域であり、この明細書では測距瞳と呼ぶ。図１０では、説明を解りやすくするために楕円形の領域で示しているが、実際には光電変換部の形状が拡大投影された形状になる。
【００２８】
図１０では、撮影光軸に隣接する４つの焦点検出画素３１３ａ、３１３ｂ、３１４ａ、３１４ｂを模式的に例示しているが、焦点検出エリア１０１のその他の焦点検出画素においても、また画面周辺部の焦点検出エリア１０２、１０３の焦点検出画素においても、光電変換部はそれぞれ対応した測距瞳９３、９４から各マイクロレンズに到来する光束を受光するように構成されている。焦点検出画素の配列方向は一対の測距瞳の並び方向、すなわち一対の光電変換部の並び方向と一致させる。
【００２９】
マイクロレンズ１０ａ〜１０ｄは交換レンズ２０２（図１参照）の予定結像面近傍に配置されており、マイクロレンズ１０ａ〜１０ｄによりその背後に配置された光電変換部１３ａ、１３ｂ、１４ａ、１４ｂの形状がマイクロレンズ１０ａ〜１０ｃから測距瞳距離ｄだけ離間した射出瞳９０上に投影され、その投影形状は測距瞳９３，９４を形成する。すなわち、投影距離ｄにある射出瞳９０上で各焦点検出画素の光電変換部の投影形状（測距瞳９３，９４）が一致するように、各焦点検出画素におけるマイクロレンズと光電変換部の相対的位置関係が定められ、それにより各焦点検出画素における光電変換部の投影方向が決定されている。
【００３０】
光電変換部１３ａは測距瞳９３を通過し、マイクロレンズ１０ａに向う光束７３によりマイクロレンズ１０ａ上に形成される像の強度に対応した信号を出力する。同様に、光電変換部１３ｂは測距瞳９３を通過し、マイクロレンズ１０ｃに向う光束８３によりマイクロレンズ１０ｃ上に形成される像の強度に対応した信号を出力する。また、光電変換部１４ａは測距瞳９４を通過し、マイクロレンズ１０ｂに向う光束７４によりマイクロレンズ１０ｂ上に形成される像の強度に対応した信号を出力する。同様に、光電変換部１４ｂは測距瞳９４を通過し、マイクロレンズ１０ｄに向う光束８４によりマイクロレンズ１０ｄ上に形成される像の強度に対応した信号を出力する。
【００３１】
上述した２種類の焦点検出画素を直線状に多数配置し、各画素の光電変換部の出力を測距瞳９３および測距瞳９４に対応した出力グループにまとめることによって、測距瞳９３と測距瞳９４をそれぞれ通過する焦点検出用光束が画素列上に形成する一対の像の強度分布に関する情報が得られる。この情報に対して後述する像ズレ検出演算処理（相関演算処理、位相差検出処理）を施すことによって、いわゆる瞳分割型位相差検出方式で一対の像の像ズレ量が検出される。さらに、像ズレ量に一対の測距瞳の重心間隔に応じた変換演算を行うことによって、予定結像面に対する現在の結像面（予定結像面上のマイクロレンズアレイの位置に対応した焦点検出位置における結像面）の偏差（デフォーカス量）が算出される。
【００３２】
図１１は、一実施の形態のデジタルスチルカメラ（撮像装置）の撮像動作を示すフローチャートである。ボディ駆動制御装置２１４は、ステップ１００でカメラの電源がオンされると、ステップ１１０以降の撮像動作を開始する。ステップ１１０において撮像画素のデータを間引き読み出しし、電子ビューファインダーに表示させる。続くステップ１２０では焦点検出画素列から一対の像に対応した一対の像データを読み出す。なお、焦点検出エリアは、撮影者が焦点検出エリア選択部材（不図示）を用いて焦点検出エリア１０１〜１０３の内のいずれかを予め選択しているものとする。
【００３３】
ステップ１３０では読み出された一対の像データに基づいて後述する像ズレ検出演算処理（相関演算処理）を行い、像ズレ量を演算してデフォーカス量に変換する。ステップ１４０で合焦近傍か否か、すなわち算出されたデフォーカス量の絶対値が所定値以内であるか否かを調べる。合焦近傍でないと判定された場合はステップ１５０へ進み、デフォーカス量をレンズ駆動制御装置２０６へ送信し、交換レンズ２０２のフォーカシングレンズ２１０を合焦位置に駆動させる。その後、ステップ１１０へ戻って上述した動作を繰り返す。
【００３４】
なお、焦点検出不能な場合もこのステップに分岐し、レンズ駆動制御装置２０６へスキャン駆動命令を送信し、交換レンズ２０２のフォーカシングレンズ２１０を無限から至近までの間でスキャン駆動させる。その後、ステップ１１０へ戻って上述した動作を繰り返す。
【００３５】
ステップ１４０で合焦近傍であると判定された場合はステップ１６０へ進み、シャッターボタン（不図示）の操作によりシャッターレリーズがなされたか否かを判別する。シャッターレリーズがなされていないと判定された場合はステップ１１０へ戻り、上述した動作を繰り返す。一方、シャッターレリーズがなされたと判定された場合はステップ１７０へ進み、レンズ駆動制御装置２０６へ絞り調整命令を送信し、交換レンズ２０２の絞り値を制御Ｆ値（撮影者または自動により設定されたＦ値）にする。絞り制御が終了した時点で、撮像素子２１２に撮像動作を行わせ、撮像素子２１２の撮像画素３１０および全ての焦点検出画素３１３，３１４から画像データを読み出す。
【００３６】
ステップ１８０において、焦点検出画素列の各画素位置の画素データを焦点検出画素の周囲の撮像画素のデータに基づいて画素補間する。続くステップ１９０では、撮像画素のデータおよび補間されたデータからなる画像データをメモリーカード２１９に記憶し、ステップ１１０へ戻って上述した動作を繰り返す。
【００３７】
図１２は、図１１のステップ１３０における焦点検出演算処理の詳細を示す示すフローチャートである。ボディ駆動制御装置２１４は、ステップ２００からこの焦点検出演算処理（相関演算処理）を開始する。
【００３８】
ステップ２１０において、 焦点検出画素列から出力される一対のデータ列（α1〜αM、β1〜βM：Ｍはデータ数）に対して（１）式に示すような高周波カットフィルター処理を施し、第１信号データ列（Ａ1〜ＡN）と第２信号データ列（Ｂ1〜ＢN）を生成する。これにより、信号データ列（以下、単にデータ列という）から相関処理に悪影響を及ぼすノイズ成分や高周波成分を除去することができる。なお、演算時間の短縮を図る場合や、すでに大きくデフォーカスしていて高周波成分が少ないことがわかっている場合などには、ステップ２１０の処理を省略することもできる。
Ａn＝αn＋２・αn+1＋αn+2，
Ｂn＝βn＋２・βn+1＋βn+2 ・・・（１）
（１）式において、ｎ＝１〜Ｎである。
【００３９】
データ列Ａn、Ｂnは、理想的には同一データ列を相対的にシフトしたものとなるはずであるが、上述した瞳分割方式の焦点検出画素で得られる一対のデータ列では、焦点検出光束のケラレ（口径蝕）により、同一性が崩れている。
【００４０】
図１３は、焦点検出光束のケラレ（口径蝕）を説明するための図である。図において、位置ｘ０（像高０）と位置ｘ１（像高ｈ）にある一対の焦点検出画素は、それぞれ予定焦点面９２の前方ｄにある測距瞳面９０において測距瞳領域９３、９４を通過する一対の焦点検出光束５３，５４および６３、６４を受光するように構成されている。予定焦点面９２の前方ｄ１（＜ｄ）の面９５に光学系の絞り開口９６がある場合には、位置ｘ０（像高０）にある一対の焦点検出画素が受光する一対の焦点検出光束５３，５４は、絞り開口９６により光軸９１に対して対称に口径蝕が発生するため、一対の焦点検出画素が受光する光量のバランスは崩れない。
【００４１】
これに対し、位置ｘ１（像高ｈ）にある一対の焦点検出画素が受光する一対の焦点検出光束６３，６４は、絞り開口９６によって非対称に口径蝕が発生するために、一対の焦点検出画素が受光する光量のバランスは崩れてしまう。
【００４２】
図１４は、予定焦点面９２から光軸９１の方向に測距瞳面９０を見た場合の図である。焦点検出光束６４は絞り開口９６により大きく口径蝕が発生しているのに対し、焦点検出光束６３は絞り開口９６による口径蝕の発生が少ないことがわかる。
【００４３】
図１５(ａ)、(ｂ)は、図１３および図１４の状態において位置ｘ０（像高０）の近傍の焦点検出画素列が受光する一対の像と、位置ｘ１（像高ｈ）の近傍の焦点検出画素列が受光する一対の像の強度分布（縦軸は光量、横軸は撮影画面上の位置）を示したものである。焦点検出光束の口径蝕のバランスがとれている場合には、図１５(ａ)に示すように、一対の像信号４００，４０１は同一の像信号関数が単に横方向にシフトしたものとなっている。これに対し、焦点検出光束の口径蝕のバランスが崩れている場合には、図１５(ｂ)に示すように、一対の像信号４０２，４０３は同一の信号を相対的にシフトしたものにはならない。
【００４４】
この一実施の形態では、焦点検出光束の口径蝕により同一性が崩れた一対の像信号に対応する一対のデータ列（第１データ列と第２データ列）に対して以下のような演算処理を行い、一対の像信号間の像ズレ量を検出する。
【００４５】
図１２のステップ２２０において、まず、第１データ列（Ａ1〜ＡN）に対して第２データ列（Ｂ1〜ＢN）を相対的にシフト（シフト量ｋ）させて相関量を演算するにあたり、（２）式により第１データ列（Ａ1〜ＡN）に属する複数の第１データ（Ａ1,Ａ2,Ａ3,・・,ＡN）の内のデータＡnの近傍の１階差分と、第２データ列（Ｂ1〜ＢN）に属する第２データ（Ｂ1,Ｂ2,Ｂ3,・・,ＢN）の内のＢn+kの近傍の１階差分との内積演算を行い、データＡnの近傍とデータＢn+kの近傍との局所的相関量Ｐ(n)を演算する。
Ｐ(n)＝−（Ａn−Ａn+d）・（Ｂn+k−Ｂn+k+k） ・・・（２）
（２）式において、ｄは整数定数（＝１，２，３，・・・）である。局所的相関量Ｐ(n)は、１階差分データ（Ａn−Ａn+d）と１階差分データ（Ｂn+k−Ｂn+d+k）との内積演算の結果を符号反転したものとなっており、相関度が高いほど小さな値となる。
【００４６】
（２）式の局所的相関量Ｐ(n)をデータの位置ｎを所定区間（例えばｎ＝ｐ〜ｑ）に亘って積算したものが、（３）式に示す一対のデータ列のシフト量ｋにおける相関量Ｃ(k)となり、この相関量Ｃ(k)は一対の像信号間の同一性が崩れていた場合においても、同一性が崩れる前の像信号が一致するシフト量ｋにおいて極小値を取ることになる。
Ｃ(k)＝ΣＰ(n)＝−Σ（Ａn−Ａn+d）・（Ｂn+k−Ｂn+d+k） ・・・（３）
【００４７】
図１６は、ｄ＝１とした場合の上記相関量Ｃ(k)の演算と一対のデータ列（Ａ1〜ＡN、Ｂ1〜ＢN）との関係を図式化したものである。
【００４８】
ステップ２３０において、（３）式の演算結果は、図１７(ａ)に示すように、一対のデータの相関が高いシフト量（図１７(ａ)ではｋ＝ｋj＝２）において相関量Ｃ(k)が最小（小さいほど相関度が高い）になる。（４）式〜（７）式による３点内挿の手法を用い、連続的な相関量に対する最小値Ｃ(ｘ)を与えるシフト量ｘを求める。
ｘ＝ｋj＋Ｄ／ＳＬＯＰ ・・・（４），
Ｃ(ｘ)＝ Ｃ（ｋj）−｜Ｄ｜ ・・・（５），
Ｄ＝｛Ｃ（ｋj-1）−Ｃ（ｋj+1）｝／２ ・・・（６），
ＳＬＯＰ＝ＭＡＸ｛Ｃ（ｋj+1）−Ｃ（ｋj），Ｃ（ｋj-1）−Ｃ（ｋj）｝ ・・・（７）
【００４９】
例えば図１８に示すような同一性の崩れたサイン波形の一対の像データ列に対し、(３)式に示す相関演算（ｄ＝１）を適用して相関量Ｃ(k)を求めると、図１９に示すようなグラフとなる。なお、図１９において、横軸がシフト量ｋ、縦軸が（３）式による相関演算値である。
【００５０】
図２０に□で示すグラフは、図１８に示すサイン波形の一対の像データを±１画素の範囲において０．１画素単位で相対的にずらした場合の、横軸に像ズレ量をとり、縦軸に（３）式による像ズレ量演算結果をとって示したもので、誤差がない場合には原点（０，０）を通り傾き１の直線になるはずのものである。また、図２１に□で示すグラフは横軸に像ズレ量をとり、縦軸に（３）式による像ズレ量演算の誤差量をとって示したものであり、良好な結果が得られている。なお、図２０および図２１に■で示すグラフについては後述する。
【００５１】
図１２のステップ２４０において、（４）式で求めたシフト量ｘより、被写体像面の予定結像面に対するデフォーカス量ＤＥＦを（８）式で求めることができる。
ＤＥＦ＝ＫＸ・ＰＹ・ｘ ・・・（８）
（８）式において、ＰＹは検出ピッチであり、ＫＸは一対の測距瞳の重心の開き角の大きさによって決まる変換係数である。
【００５２】
算出されたデフォーカス量ＤＥＦの信頼性があるかどうかは、以下のようにして判定される。図１７(ｂ)に示すように、一対のデータの相関度が低い場合は、内挿された相関量の最小値Ｃ(ｘ)の値が大きくなる。したがって、Ｃ(ｘ)が所定値以上の場合は信頼性が低いと判定する。あるいは、Ｃ(ｘ)をデータのコントラストで規格化するために、コントラストに比例した値となるＳＬＯＰでＣ(ｘ)を除した値が所定値以上の場合は信頼性が低いと判定する。あるいはまた、コントラストに比例した値となるＳＬＯＰが所定値以下の場合は、被写体が低コントラストであり、算出されたデフォーカス量ＤＥＦの信頼性が低いと判定する。図１７(ｃ)に示すように、一対のデータの相関度が低く、シフト範囲ｋmin〜ｋmaxの間で相関量Ｃ(k)の落ち込みがない場合は、最小値Ｃ(ｘ)を求めることができず、このような場合は焦点検出不能と判定する。焦点検出が可能であった場合には算出された像ズレ量に所定の変換係数を乗じてデフォーカス量を算出する。
【００５３】
ステップ２５０で、焦点検出演算処理（相関演算処理）を終了して図１１のステップ１４０へリターンする。
【００５４】
上述したように、焦点検出光束の口径蝕により同一性が崩れた一対の像信号の像ズレ量を検出するために、一実施の形態では第１データ列（Ａ1〜ＡN）に対して第２データ列（Ｂ1〜ＢN）を相対的にシフト（シフト量ｋ）させて相関量を演算するにあたり、（２）式により第１データ列（Ａ1〜ＡN）間の１階差分と第２データ列（Ｂ1〜ＢN）間の１階差分との内積演算を行い、データＡnの近傍とデータＢn+kの近傍との局所的相関量Ｐ(n)を演算するとともに、局所的相関量Ｐ(n)をデータの位置ｎを所定区間（例えばｎ＝ｐ〜ｑ）に亘って積算することにより、高精度に像ズレ量の検出を行うことを特徴としている。
【００５５】
ここで、第１データ列間の１階差分と第２データ列間の１階差分との内積演算により局所的相関量Ｐ(n)を演算する優位性を、第１データ列と第２データ列との間で生データどうしの内積演算により局所的相関量Ｐ(n)を演算する場合と比較して説明する。
【００５６】
局所的相関量Ｐ(n)の演算に、第１データ列と第２データ列との間で生データどうしの内積演算を用いる場合には、相関量Ｃ(k)は例えば次式のように表される。
Ｃ(k)＝ΣＰ(n)＝−ΣＡn・Ｂn+k ・・・（９）
図１８に示す同一性の崩れたサイン波形の一対の像データに対し、（９）式に示す相関演算（ｄ＝１）を適用して相関量Ｃ(k)を求めると、図２２に示すようなグラフとなり、元の波形のバランス崩れの影響を受け大きく歪んでいる。
【００５７】
図２３に□で示すグラフは、図１８に示すサイン波形の一対の像データを±１画素の範囲において０．１画素単位で相対的にずらした場合の、横軸に像ズレ量をとり、縦軸に(９)式による像ズレ量演算結果をとって示したものであり、原点（０，０）を通り傾き１の直線から大きくずれてしまい、大きな誤差を生じてしまう。
【００５８】
別な例として、図２４に示すような同一性の崩れたステップ波形の一対の像データに対し、（９）式に示す相関演算（ｄ＝１）を適用して相関量Ｃ(k)を求めると、図２５に示すグラフになり、元の波形のバランス崩れの影響を受け大きく歪んでいる。図２６に□で示すグラフは、図２４に示すステップ波形の一対の像データを±１画素の範囲において０．１画素単位で相対的にずらした場合の、横軸に像ズレ量をとり、縦軸に(９)式による像ズレ量演算結果をとって示したものであり、原点（０，０）を通り傾き１の直線から大きくずれてしまい、大きな誤差を生じてしまう。
【００５９】
これに対し、図２４に示すような同一性の崩れたステップ波形の一対の像データに対して（３）式に示す相関演算（ｄ＝１）を適用して相関量Ｃ(k)を求めると、図２７に示すようなグラフになり、元の波形のバランス崩れの影響はほとんど受けていない。図２８に□で示すグラフは、図２４に示すステップ波形の一対の像データを±１画素の範囲において０．１画素単位で相対的にずらした場合の、横軸に像ズレ量をとり、縦軸に（３）式による像ズレ量演算結果をとって示したものであり、図２６に比較して誤差が少なくなっている。また、図２９に□で示すグラフは横軸に像ズレ量をとり、縦軸に（３）式による像ズレ量演算の誤差量をとって示したものである。
【００６０】
以上の結果は、生データどうしの内積演算では元の波形の歪みの影響を十分に取り切ることができず、１階差分データどうしの内積演算により元の波形の歪みの影響を効率的に取り除くことができることを示している。
【００６１】
なお、上述した一実施の形態では、複数の第１データが一次元上に配列された第１データ列（Ａ1〜ＡN）と、複数の第２データが一次元上に配列された第２データ列（Ｂ1〜ＢN）とを、一次元上で変位量を変えながら相対的に変位させ、第１データ列と第２データ列の間の相関量を演算して相関量の極値が得られる変位量を求める相関演算方法において、複数の第１データの１階の差分データから成る第３データ列と、複数の第２データの１階の差分データから成る第４データ列との間で内積演算を行い、算出された演算値を相関量とする例を示したが、差分データは２階以上としてもよい。
【００６２】
また、一次元上の所定位置の近傍における上記第３データ列のＭ個（ただし、Ｍ＝２，３，・・）のデータと、上記第４データ列のＭ個のデータとをそれぞれＭ次元のベクトルの成分としてベクトルの内積演算を行って局所的相関量を算出するとともに、内積演算に用いた複数の第１データと複数の第２データにより局所的相関量を正規化する演算を、一次元上の所定位置を所定区間に亘って移動させて行い、局所的相関量を積算して相関量を算出するようにしてもよい。
【００６３】
あるいは、一次元上の所定位置の近傍における上記第３データ列のＭ個（ただし、Ｍ＝２，３，・・）のデータと、上記第４データ列のＭ個のデータとをそれぞれＭ次元のベクトルの成分としてベクトルの内積演算を行って局所的相関量を算出する演算を、一次元上の所定位置を所定区間に亘って移動させて行い、局所的相関量を積算して該積算値を内積演算に用いた複数の第１データと複数の第２データにより正規化して相関量を算出するようにしてもよい。
【００６４】
《発明の他の実施の形態》
以上説明した実施形態では、第１データ列間の１階差分と第２データ列間の１階差分との内積演算により局所的相関量Ｐ(n)を算出し、この局所的相関量Ｐ(n)をデータの位置ｎを所定区間に亘って積算することによって、歪みが生じた一対の像に対して高精度に像ズレ量の検出を行う例を示したが、本発明はこのような相関演算方法に限定されるものではなく、以下に示す相関演算方法としてもよい。
【００６５】
（３）式に示す相関量の演算では、（２）式で算出する局所的相関量Ｐ(n)（１階差分データどうしの内積演算の値）をそのまま積算する例を示したが、（１０）式〜（１３）式に示すように、内積演算に用いるデータに応じて正規化処理を行うことによって、一対の像の歪みの影響をさらに緩和することができる。
Ｐ(n)＝（Ａn−Ａn+d−Ｍa）・（Ｂn+k−Ｂn+d+k−Ｍb） ・・・（１０），
Ｍa＝Σ(Ａn−Ａn+d)／Ｎ ・・・（１１），
Ｍb＝Σ(Ｂn+k−Ｂn+d+k)／Ｎ ・・・（１２），
Ｃ(k)＝１−ΣＰ(n)／｛Ｓqrt(Σ(Ａn−Ａn+d)２)・Ｓqrt(Σ(Ｂn+k−Ｂn+d+k)２)｝ ・・・（１３）
なお、（１１）式、（１２）式において、Ｎは（１１）式〜（１３）式のΣ演算の積算数であり、Ｓqrt( )は平方根を表す。
【００６６】
図１８に示すような同一性の崩れたサイン波形の一対の像データに対し、（１３）式に示す相関演算（ｄ＝１）を適用して相関量Ｃ(k)を求めると、図３０に示すようなグラフになる。また、上記図２０に■印で示すグラフは、図１８に示すサイン波形の一対の像データを±１画素の範囲において０．１画素単位で相対的にずらした場合の、横軸に像ズレ量をとり、縦軸に(１３)式による像ズレ量演算結果をとって示したものである。また、上記図２１に■印で示すグラフは、横軸に像ズレ量をとり、縦軸に（１３）式による像ズレ演算結果の誤差量をとって示したものであり、良好な結果が得られている。
【００６７】
図２４に示すような同一性の崩れたステップ波形の一対の像データに対し、（１３）式に示す相関演算（ｄ＝１）を適用して相関量Ｃ(k)を求めると図３１に示すようなグラフとなる。上記図２８に■印で示すグラフは、図２４に示すステップ波形の一対の像データを±１画素の範囲において０．１画素単位で相対的にずらした場合の、横軸に像ズレ量をとり、縦軸に(１３)式による像ズレ量演算の結果をとって示したものであり、□印で示す上述した（３）式による像ズレ量演算のグラフとほぼ重なっている。また、上記図２９に■印で示すグラフは横軸に像ズレ量をとり、縦軸に（１３）式による像ズレ量演算の誤差量をとって示したものであり、□印で示す上述した（３）式による像ズレ量演算の誤差量とほぼ重なっている。
【００６８】
ここで、１階差分データどうしの内積演算を正規化した場合の優位性について、生データどうしの内積演算を正規化した場合（（１４）式〜（１７）式）と比較して説明する。
Ｐ(n)＝（Ａn−Ｍa）・（Ｂn+k−Ｍb） ・・・（１４），
Ｍa＝ΣＡn／Ｎ ・・・（１５），
Ｍb＝ΣＢn+k／Ｎ ・・・（１６），
Ｃ(k)＝１−ΣＰ(n)／｛Ｓqrt(ΣＡn２)・Ｓqrt(ΣＢn+k２)｝ ・・・（１７）
【００６９】
図１８に示すような同一性の崩れたサイン波形の一対の像データに対し、（１７）式に示す相関演算（ｄ＝１）を適用して相関量Ｃ(k)を求めると、図３２に示すようなグラフとなり、図２２に比較して歪みの影響は少なくなる。上記図２３に■印で示すグラフは、図１８に示すサイン波形の一対の像データを±１画素の範囲において０．１画素単位で相対的にずらした場合の、横軸に像ズレ量をとり、縦軸に（１７）式による像ズレ量演算結果をとって示したものであり、図３３は(１７)式による像ズレ量演算結果の誤差量を示す。図２３に□印のグラフで示す（９）式による像ズレ量演算の結果よりは改善しているが、図２８、図２９に示す（１３）式による像ズレ量演算結果には及ばない。
【００７０】
図２４に示すような同一性の崩れたステップ波形の一対の像データに対し、（１７）式に示す相関演算（ｄ＝１）を適用して相関量Ｃ(k)を求めると、図３４に示すようなグラフとなる。上記図２６に■印で示すグラフは、図２４に示すステップ波形の一対の像データを±１画素の範囲において０．１画素単位で相対的にずらした場合の、横軸に像ズレ量をとり、縦軸に（１７）式による像ズレ量演算結果をとって示したものであり、□印のグラフで示す（９）式による演算結果よりは改善しているが、図２８に示す（１３）式による演算結果には及ばない。
【００７１】
正規化の方式としては、（１０）式〜（１３）式以外に下記の（１８）式、（１９）式に示すような簡略化した方式も可能である。
Ｐ(n)＝（Ａn−Ａn+d）・（Ｂn+k−Ｂn+d+k） ・・・（１８），
Ｃ(k)＝１−ΣＰ(n)／｛（ΣＡn／Ｎ）・（ΣＢn+k／Ｎ）｝ ・・・（１９）
【００７２】
（１０）式〜（１３）式の正規化方法および（１８）式、（１９）式の正規化方法においては、いったん局所的相関量Ｐ(n)の積算を行った後に、正規化のために第１データ列の積算量（Ｓqrt(Σ(Ａn−Ａn+d)２)、ΣＡn／Ｎ）、および第１データ列の積算量（Ｓqrt(Σ(Ｂn+k−Ｂn+d+k)２)、ΣＢn+k／Ｎ）で一律に正規化を行っているが、局所的相関量Ｐ(n)ごとに個々に正規化を行い、それを積算して相関量Ｃ(k)を求めるようにしてもよい。このようにすれば、個々の局所的相関量Ｐ(n)ごとに像歪みの影響を軽減できるので、さらに像ズレ検出精度の向上が期待できる。
【００７３】
例えば（２０）式、（２１）式に示すように局所的相関量Ｐ(n)と相関量Ｃ(k)を演算する。
Ｐ(n)＝(Ａn−Ａn+d)・(Ｂn+k−Ｂn+d+k)／｛Ｓqrt(Ａn２＋Ａn+d２)・Ｓqrt(Ｂn+k２＋Ｂn+d+k２)｝ ・・・（２０），
Ｃ(k)＝Ｗ−ΣＰ(n) ・・・（２１）
（２１）式において、Ｗは所定の定数である。なお、（２０）式の代わりに（２２）式を用いることもできる。
Ｐ(n)＝(Ａn−Ａn+d)・(Ｂn+k−Ｂn+d+k)／｛(Ａn＋Ａn+d)・(Ｂn+k＋Ｂn+d+k)｝ ・・・（２２）
【００７４】
《発明の他の実施の形態》
上述した（２）式では局所的相関量Ｐ(n)を１階差分データどうしの内積演算とした例を示したが、（２３）式に示すように２階差分データどうしの内積演算とすることもできる。
Ｐ(n)＝−(Ａn−２・Ａn+d＋Ａn+2d)・(Ｂn+k−２・Ｂn+d+k＋Ｂn+2d+k) ・・・（２３）
（２３）式において、ｄは整数定数（＝１，２，３，・・・）である。また、局所的相関量Ｐ(n)は、２階差分データ(Ａn−２・Ａn+d＋Ａn+2d)と２階差分データ(Ｂn+k−２・Ｂn+d+k＋Ｂn+2d+k)との内積演算の結果を符号反転したものであり、相関度が高いほど小さな値となる。
【００７５】
（２３）式の局所的相関量Ｐ(n)をデータの位置ｎを所定区間（例えばｎ＝ｐ〜ｑ）に亘って積算したものが、（２４）式に示す一対のデータ間のシフト量ｋにおける相関量Ｃ(k)となり、この相関量Ｃ(k)は、一対の像信号間の同一性が崩れていた場合でも、同一性が崩れる前の像信号が一致するシフト量ｋにおいて極小値を取ることになる。
Ｃ(k)＝ΣＰ(n)＝−Σ(Ａn−２・Ａn+d＋Ａn+2d)・(Ｂn+k−２・Ｂn+d+k＋Ｂn+2d+k) ・・・（２４）
【００７６】
図１８に示すような同一性の崩れたサイン波形の一対の像データに対し、（２４）式に示す相関演算（ｄ＝１）を適用して相関量Ｃ(k)を求めると、図３５に示すようなグラフとなる。また、図３６に□印で示すグラフは、図１８に示すサイン波形の一対の像データを±１画素の範囲において０．１画素単位で相対的にずらした場合の、横軸を像ズレ量、縦軸を（２４）式による像ズレ量演算結果を示す。さらに、図３７に□印で示すグラフは横軸を像ズレ量、縦軸を（２４）式による像ズレ量演算の誤差量を示し、良好な結果が得られている。
【００７７】
図２４に示すような同一性の崩れたステップ波形の一対の像データに対し、（２４）式に示す相関演算（ｄ＝１）を適用して相関量Ｃ(k)を求めると、図３８に示すようなグラフとなり、元の波形のバランス崩れの影響はほとんど受けていない。図３９に□印で示すグラフは、図２４に示すステップ波形の一対の像データを±１画素の範囲において０．１画素単位で相対的にずらした場合の、横軸に像ズレ量をとり、縦軸に（２４）式による像ズレ量演算結果をとって示したものである。また、図４０に□印で示すグラフは横軸に像ズレ量をとり、縦軸に（２４）式による像ズレ量演算の誤差量をとって示したものであり、良好な結果が得られている。
【００７８】
（２４）式に示す相関量演算において、（２３）式により算出する局所的相関量Ｐ(n)（２階差分データどうしの内積演算の値）をそのまま積算しているが、（２５）式〜（２８）式に示すように、内積演算に用いるデータに応じて正規化処理を行うことにより、一対の像の歪みの影響をさらに緩和することができる。
Ｐ(n)＝（Ａn−２・Ａn+d＋Ａn+2d−Ｍa）・（Ｂn+k−２・Ｂn+d+k＋Ｂn+2d+k−Ｍb） ・・・（２５），
Ｍa＝Σ(Ａn−２・Ａn+d＋Ａn+2d)／Ｎ ・・・（２６），
Ｍb＝Σ(Ｂn+k−２・Ｂn+d+k＋Ｂn+2d+k)／Ｎ ・・・（２７），
Ｃ(k)＝１−ΣＰ(n)／｛Ｓqrt(Σ(Ａn−２・Ａn+d＋Ａn+2d)２)・Ｓqrt(Σ(Ｂn+k−２・Ｂn+d+k＋Ｂn+2d+k)２)｝ ・・・（２８）
（２６）式、（２７）式において、Ｎは（２５）式〜（２８）式のΣ演算の積算数である。
【００７９】
図１８に示すような同一性の崩れたサイン波形の一対の像データに対し、（２８）式に示す相関演算（ｄ＝１）を適用して相関量Ｃ(k)を求めると、図４１に示すようなグラフとなる。上記図３６に■印で示すグラフは、図１８に示すサイン波形の一対の像データを±１画素の範囲において０．１画素単位で相対的にずらした場合の、横軸に像ズレ量をとり、縦軸に（２８）式による像ズレ量演算結果をとって示したものである。また、上記図３７に■印で示すグラフは横軸に像ズレ量をとり、縦軸に（２８）式による像ズレ量演算の誤差量をとって示したものであり、良好な結果が得られている。
【００８０】
図２４に示すような同一性の崩れたステップ波形の一対の像データに対し、（２８）式に示す相関演算（ｄ＝１）を適用して相関量Ｃ(k)を求めると、図４２に示すようなグラフとなる。上記図３９に■印で示すグラフは、同図中に□印のグラフで示す上述した（２４）式による演算結果とほぼ重なっているが、図２４に示すステップ波形の一対の像データを±１画素の範囲において０．１画素単位で相対的にずらした場合の、横軸に像ズレ量をとり、縦軸に（２８）式による像ズレ量演算結果をとって示したものである。また、上記図４０に■印で示すグラフは、同図中に□印のグラフで示す（２４）式による像ズレ量演算の誤差量を示すグラフと重なっているが、横軸に像ズレ量をとり、縦軸に（２８）式による像ズレ量演算の誤差量をとって示したものであり、良好な結果が得られている。
【００８１】
正規化の方式としては、（２５）式〜（２８）式以外に（２９）式、（３０）式のような簡略化した方式も可能である。
Ｐ(n)＝（Ａn−２・Ａn+d＋Ａn+2d）・（Ｂn+k−２・Ｂn+d+k＋Ｂn+2d+k） ・・・（２９），
Ｃ(k)＝１−ΣＰ(n)／｛(ΣＡn／Ｎ)・(ΣＢn+k／Ｎ)｝ ・・・（３０）
【００８２】
（２５）式〜（２８）式の正規化方法および（２９）式、（３０）式の正規化方法においては、いったん局所的相関量Ｐ(n)の積算を行った後に、正規化のために第１データ列の積算量（Ｓqrt(Σ(Ａn−２・Ａn+d＋Ａn+2d)２)、ΣＡn／Ｎ）、および第２データ列の積算量（Ｓqrt(Σ(Ｂn+k−２・Ｂn+d+k＋Ｂn+2d+kk)２)、ΣＢn+k／Ｎ）で一律に正規化を行う例を示したが、局所的相関量Ｐ(n)ごとに個々に正規化を行い、それを積算して相関量Ｃ(k)を求めるようにしてもよい。このようにすれば個々の局所的相関量Ｐ(n)ごとに像歪みの影響を軽減できるので、さらに像ズレ検出精度の向上が期待できる。
【００８３】
例えば（３１）式、（３２）式に示す局所的相関量Ｐ(n)と相関量Ｃ(k)を演算する。
Ｐ(n)＝（Ａn−２・Ａn+d＋Ａn+2d）・（Ｂn+k−２・Ｂn+d+k＋Ｂn+2d+k）／｛Ｓqrt(Ａn２＋Ａn+d２＋Ａn+2d２)・Ｓqrt(Ｂn+k２＋Ｂn+d+k２＋Ｂn+2d+k２)｝・・・（３１），
Ｃ(k)＝Ｗ−ΣＰ(n) ・・・（３２）
（３２）式において、Ｗは所定の定数である。なお、（３１）式の代わりに（３３）式を用いることもできる。
Ｐ(n)＝（Ａn−２・Ａn+d＋Ａn+2d）・（Ｂn+k−２・Ｂn+d+k＋Ｂn+2d+k）／｛（Ａn＋Ａn+d＋Ａn+2d）・（Ｂn+k＋Ｂn+d+k＋Ｂn+2d+k）｝ ・・・（３３）
【００８４】
この他の実施の形態では、局所的相関量Ｐ(n)に、一対のデータ列の１階差分データどうしの内積演算、あるいは２階差分データどうしの内積演算を用いた例を示したが、３階以上の差分データどうしの内積演算を用いてもよい。また、正規化演算に対しては、内積演算を略正規化できる演算、例えばデータの相乗平均などであれば適用可能である。
【００８５】
《発明の他の実施の形態》
以上説明した実施形態では、第１データ列間の１階以上の差分データと第２データ列間の１階以上の差分データとの内積演算により算出した局所的相関量Ｐ(n)を、データの位置ｎを所定区間に亘って積算することによって、歪みが生じた一対の像に対して高精度に像ズレ量の検出を行う例を示したが、本発明はこれらの相関演算方法に限定されるものではなく、以下に示すような他の実施形態も可能である。
【００８６】
（２）式では局所的相関量Ｐ(n)を１階差分データどうしの内積演算とした例を示したが、（３４）式に示すように１階差分データどうしの外積演算としてもよい。
Ｐ(n)＝｜(Ａn−Ａn+d)・(Ｂn+d+k−Ｂn+2d+k)−(Ａn+d−Ａn+2d)・(Ｂn+k−Ｂn+d+k)｜ ・・・（３４）
（３４）式において、ｄは整数定数（＝１，２，３，・・・）である。局所的相関量Ｐ(n)は、１階差分データの組｛(Ａn−Ａn+d)、(Ａn+d−Ａn+2d)｝と,
１階差分データの組｛(Ｂn+k−Ｂn+d+k)、(Ｂn+d+k−Ｂn+2d+k)｝を２次元ベクトルの成分と考えた場合の外積演算の絶対値をとったものとなっており、相関度が高いほど小さな値となる。
【００８７】
（３４）式の局所的相関量Ｐ(n)をデータの位置ｎを所定区間（例えばｎ＝ｐ〜ｑ）に亘って積算したものが、（３５）式に示すように一対のデータ間のシフト量ｋにおける相関量Ｃ(k)となり、この相関量Ｃ(k)は、一対の像信号間の同一性が崩れていた場合でも、同一性が崩れる前の像信号が一致するシフト量ｋにおいて極小値を取ることになる。
Ｃ(k)＝ΣＰ(n)＝Σ｜（Ａn−Ａn+d）・（Ｂn+d+k−Ｂn+2d+k）−（Ａn+d−Ａn+2d）・（Ｂn+k−Ｂn+d+k）｜ ・・・（３５）
【００８８】
図１８に示すような同一性の崩れたサイン波形の一対の像データに対し、（３５）式に示す相関演算（ｄ＝１）を適用して相関量Ｃ(k)を求めると、図４３に示すようなグラフとなる。図４４に□印で示すグラフは、図１８に示すサイン波形の一対の像データを±１画素の範囲において０．１画素単位で相対的にずらした場合の、横軸に像ズレ量をとり、縦軸に（３５）式による像ズレ量演算結果をとって示したものである。また、図４５に□印で示すグラフは横軸に像ズレ量をとり、縦軸に（３５）式による像ズレ量演算の誤差量をとって示したものであり、良好な結果が得られている。
【００８９】
さらに、局所的相関量Ｐ(n)を１階以上の差分データどうしの外積演算とすることも可能であるとともに、正規化処理を適用することも可能である。
【００９０】
（３４）式において、局所的相関量Ｐ(n)は、１階差分データの組｛(Ａn−Ａn+d)、(Ａn+d−Ａn+2d)｝と１階差分データの組｛(Ｂn+k−Ｂn+d+k)、(Ｂn+d+k−Ｂn+2d+k)｝を２次元ベクトルの成分と考えた場合の外積演算としたが、（３６）式に示すように局所的相関量Ｐ(n)を１階差分データの組｛(Ａn−Ａn+d)、(Ａn+d−Ａn+2d)、(Ａn+2d−Ａn+3d)｝と、１階差分データの組｛(Ｂn+k−Ｂn+d+k)、(Ｂn+d+k−Ｂn+2d+k)、(Ｂn+2d+k−Ｂn+3d+k)｝を３次元ベクトルの成分と考えた場合の外積演算（外積により生成されるベクトルの大きさ）としてもよい。
Ｐ(n)＝｛(Ａn−Ａn+d)・(Ｂn+d+k−Ｂn+2d+k)−(Ａn+d−Ａn+2d)・(Ｂn+k−Ｂn+d+k)｝２＋｛(Ａn−Ａn+d)・(Ｂn+2d+k−Ｂn+3d+k)−(Ａn+2d−Ａn+3d)・(Ｂn+k−Ｂn+d+k)｝２＋｛(Ａn+d−Ａn+2d)・(Ｂn+2d+k−Ｂn+3d+k)−(Ａn+2d−Ａn+3d)・(Ｂn+d+k−Ｂn+2d+k)｝２ ・・・（３６）
【００９１】
なお、上述した一実施の形態では、複数の第１データが一次元上に配列された第１データ列（Ａ1〜ＡN）と、複数の第２データが一次元上に配列された第２データ列（Ｂ1〜ＢN）とを、一次元上で変位量を変えながら相対的に変位させ、第１データ列と第２データ列の間の相関量を演算して相関量の極値が得られる変位量を求める相関演算方法において、複数の第１データの１階の差分データから成る第３データ列と、複数の第２データのＮ階の差分データから成る第４データ列との間で外積演算を行い、算出された演算値を相関量とする例を示したが、差分データは２階以上としてもよい。
【００９２】
また、一次元上の所定位置の近傍における上記第３データ列のＭ個（ただし、Ｍ＝２，３，・・）のデータと、上記第４データ列のＭ個のデータとをそれぞれ２または３次元のベクトルの成分としてベクトルの外積演算を行って局所的相関量を算出し、外積演算に用いた複数の第１データと複数の第２データにより局所的相関量を正規化する演算を、一次元上の所定位置を所定区間に亘って移動させて行い、局所的相関量を積算して相関量を算出するようにしてもよい。
【００９３】
あるいは、一次元上の所定位置の近傍における上記第３データ列のＭ個（ただし、Ｍ＝２，３，・・）のデータと、上記第４データ列のＭ個のデータとをそれぞれＭ次元のベクトルの成分としてベクトルの外積演算を行って局所的相関量を算出する演算を、一次元上の所定位置を所定区間に亘って移動させて行い、局所的相関量を積算して該積算値を外積演算に用いた複数の第１データと複数の第２データにより正規化して相関量を算出するようにしてもよい。
【００９４】
《一実施の形態の変形例》
撮像素子における焦点検出エリアの配置は図２に示す配置に限定されず、対角線方向やその他の位置に水平方向および垂直方向に焦点検出エリアを配置してもよい。
【００９５】
図３に示す撮像素子において、焦点検出画素３１３、３１４はひとつの画素内にひとつの光電変換部を備えた例を示したが、ひとつの画素内に一対の光電変換部を備えてもよく、例えば図４６に示すような撮像素子２１２Ａとしてもよい。この撮像素子２１２Ａでは、各焦点検出画素３１１に一対の光電変換部を備えており、各焦点検出画素３１１が図３に示す一対の焦点検出画素３１３、３１４に相当する機能を果たす。
【００９６】
焦点検出画素３１１は、図４７に示すようにマイクロレンズ１０と一対の光電変換部１３，１４を備えている。焦点検出画素３１１には光量をかせぐために色フィルタは配置されておらず、その分光特性は光電変換を行うフォトダイオードの分光感度、赤外カットフィルター（不図示）の分光特性を総合した分光特性（図７参照）となり、図６に示す緑画素、赤画素および青画素の分光特性を加算したような分光特性となり、その感度の光波長領域は緑画素、赤画素および青画素の感度の光波長領域を包括している。
【００９７】
図４８は、図４６に示す撮像素子２１２Ａの焦点検出画素による瞳分割方式の焦点検出動作を説明するための図である。図において、９０は、交換レンズの予定結像面に配置されたマイクロレンズの前方ｄの距離に設定された射出瞳である。ここで、距離ｄは、マイクロレンズの曲率、屈折率、マイクロレンズと光電変換部の間の距離などに応じて決まる距離であって、以下では測距瞳距離と呼ぶ。９１は交換レンズの光軸、５０、６０はマイクロレンズ、（５３，５４）、（６３，６４）は焦点検出画素の対の光電変換部、７３，７４、８３，８４は焦点検出用光束である。
【００９８】
さらに、９３はマイクロレンズ５０、６０により投影された光電変換部５３，６３の領域であり、以下では測距瞳と呼ぶ。同様に、９４はマイクロレンズ５０、６０により投影された光電変換部５４，６４の領域であり、以下では測距瞳と呼ぶ。図４８では、光軸９１上にある焦点検出画素（マイクロレンズ５０と一対の光電変換部５３、５４からなる）と、隣接する焦点検出画素（マイクロレンズ６０と一対の光電変換部６３、６４からなる）を模式的に例示しているが、撮像面上の周辺に配置された焦点検出用画素においても、一対の光電変換部はそれぞれ一対の測距瞳９３、９４から各マイクロレンズに到来する光束を受光する。焦点検出画素の配列方向は一対の測距瞳の並び方向と一致させる。
【００９９】
マイクロレンズ５０、６０は光学系の予定結像面近傍に配置されており、光軸９１上に配置されたマイクロレンズ５０によって、その背後に配置された一対の光電変換部５３、５４の形状がマイクロレンズ５０、６０から測距瞳距離ｄだけ離間した射出瞳９０上に投影され、その投影形状は測距瞳９３，９４を形成する。また、マイクロレンズ５０に隣接して配置されたマイクロレンズ６０によって、その背後に配置された一対の光電変換部６３、６４の形状が測距瞳距離ｄだけ離間した射出瞳９０上に投影され、その投影形状は測距瞳９３，９４を形成する。すなわち、測距瞳距離ｄにある射出瞳９０上で各焦点検出画素の光電変換部の投影形状（測距瞳９３，９４）が一致するように、各画素のマイクロレンズと光電変換部の位置関係が決定されている。
【０１００】
光電変換部５３は、測距瞳９３を通過してマイクロレンズ５０へ向う焦点検出光束７３によってマイクロレンズ５０上に形成される像の強度に対応した信号を出力する。また、光電変換部５４は、測距瞳９４を通過してマイクロレンズ５０へ向う焦点検出光束７４によってマイクロレンズ５０上に形成される像の強度に対応した信号を出力する。同様に、光電変換部６３は、測距瞳９３を通過してマイクロレンズ６０へ向う焦点検出光束８３によってマイクロレンズ６０上に形成される像の強度に対応した信号を出力する。また、光電変換部６４は、測距瞳９４を通過してマイクロレンズ６０へ向う焦点検出光束８４によってマイクロレンズ６０上に形成される像の強度に対応した信号を出力する。
【０１０１】
このような焦点検出用画素を直線状に多数配置し、各画素の一対の光電変換部の出力を測距瞳９３および測距瞳９４に対応した出力グループにまとめることによって、測距瞳９３と測距瞳９４を各々通過する焦点検出光束が焦点検出画素列上に形成する一対の像の強度分布に関する情報が得られる。この情報に対して後述する像ズレ検出演算処理（相関演算処理、位相差検出処理）を施すことによって、いわゆる瞳分割方式で一対の像の像ズレ量が検出される。さらに、像ズレ量に所定の変換処理を施すことによって、予定結像面に対する現在の結像面（予定結像面上のマイクロレンズアレイの位置に対応した焦点検出位置における結像面）の偏差（デフォーカス量）が算出される。
【０１０２】
次に、図３に示す撮像素子２１２では撮像画素３１０がベイヤー配列の色フィルターを備えた例を示したが、色フィルターの構成や配列はこれに限定されることはなく、補色フィルター（緑：Ｇ、イエロー：Ｙｅ、マゼンタ：Ｍｇ，シアン：Ｃｙ）の配列を採用してもよい。また、図３に示す撮像素子２１２では焦点検出画素３１３、３１４に色フィルターを設けない例を示したが、撮像画素３１０と同色の色フィルターの内のひとつのフィルター（例えば緑フィルター）を設けるようにした場合でも、本発明を適用することができる。
【０１０３】
また、上述した一実施の形態の図５、図４７に示す焦点検出画素３１１、３１３、３１４では、光電変換部の形状を半円形や矩形にした例を示したが、焦点検出画素の光電変換部の形状はこれらに限定されず、他の形状であってもよい。例えば焦点検出画素の光電変換部の形状を楕円や多角形にすることも可能である。
【０１０４】
さらに、図３に示す撮像素子２１２では、撮像画素と焦点検出画素を稠密正方格子配列に配置した例を示したが、稠密六方格子配列としてもよい。
【０１０５】
上述した一実施の形態では、マイクロレンズを用いた瞳分割方式による焦点検出動作を説明したが、本発明はこのような方式の焦点検出に限定されず、再結像瞳分割方式の焦点検出にも適用可能である。図４９により、再結像瞳分割方式の焦点検出動作を説明する。図４９において、１９１は交換レンズの光軸、１１０，１２０はコンデンサレンズ、１１１、１２１は絞りマスク、１１２，１１３、１２２，１２３は絞り開口、１１４、１１５、１２４，１２５は再結像レンズ、１１６、１２６は焦点検出用のイメージセンサー（ＣＣＤ）である。
【０１０６】
また、１３２，１３３、１４２，１４３は焦点検出光束、１９０は交換レンズの予定結像面の前方ｄ５の距離に設定された射出瞳である。ここで、距離ｄ５は、コンデンサレンズ１１０，１２０の焦点距離と、コンデンサレンズ１１０，１２０と絞り開口１１２，１１３、１２２，１２３との間の距離などに応じて決まる距離であって、以下では測距瞳距離と呼ぶ。１９２は、コンデンサレンズ１１０，１２０により投影された絞り開口１１２，１２２の領域であり、以下では測距瞳と呼ぶ。同様に、１９３は、コンデンサレンズ１１０，１２０により投影された絞り開口１１３，１２３の領域であり、以下では測距瞳と呼ぶ。コンデンサレンズ１１０、絞りマスク１１１、絞り開口１１２，１１３、再結像レンズ１１４、１１５およびイメージセンサー１１６が、一つの位置で焦点検出を行う再結像方式の瞳分割方位相差検出の焦点検出ユニットを構成する。
【０１０７】
図４９においては、光軸１９１上にある焦点検出ユニットと光軸外にある焦点検出ユニットとを模式的に例示している。複数の焦点検出ユニットを組み合わせることによって、図２に示す３箇所の焦点検出位置１０１〜１０３において再結像方式の瞳分割位相差検出で焦点検出を行う焦点検出装置を実現することができる。
【０１０８】
コンデンサレンズ１１０からなる焦点検出ユニットは、交換レンズの予定結像面近傍に配置されたコンデンサレンズ１１０、その背後に配置されたイメージサンサ１１６、コンデンサレンズ１１０とイメージサンサ１１６との間に配置され、予定結像面近傍に結像された１次像をイメージセンサー１１６上に再結像する一対の再結像レンズ１１４、１１５、一対の再結像レンズの近傍（図では前面）に配置された一対の絞り開口１１２、１１３を有する絞りマスク１１から構成される。
【０１０９】
イメージセンサー１１６は、複数の光電変換部が直線に沿って密に配置されたラインサンサであり、光電変換部の配置方向は一対の測距瞳の分割方向（＝絞り開口の並び方向）と一致させる。このイメージセンサー１１６からは、イメージセンサー１１６上に再結像された一対の像の強度分布に対応した情報が出力され、この情報に対して後述する像ズレ検出演算処理（相関処理、位相差検出処理）を施すことによって、いわゆる瞳分割型位相差検出方式（再結像方式）で一対の像の像ズレ量が検出される。さらに、像ズレ量に所定の変換係数を乗ずることによって、予定結像面に対する現在の結像面の偏差（デフォーカス量）が算出される。
【０１１０】
イメージセンサー１１６は再結像レンズ１１４、１１５により予定結像面上に投影されており、デフォーカス量（像ズレ量）の検出精度は、像ズレ量の検出ピッチ（再結像方式の場合は予定結像面上に投影された光電変換部の配列ピッチ）により決まる。
【０１１１】
コンデンサレンズ１１０は、絞りマスク１１１の絞り開口１１２、１１３を射出瞳１９０上に領域１９２、１９３として投影している。領域１９２，１９３を測距瞳と呼ぶ。すなわち、イメージセンサー１１６上に再結像される一対の像は射出瞳１９０上の一対の測距瞳１９２，１９３を通過する光束によって形成される。射出瞳１９０上の一対の測距瞳１９２，１９３を通過する光束１３２、１３３を焦点検出用光束と呼ぶ。
【０１１２】
このような再結像瞳分割方式においても、測距瞳の口径蝕によってイメージセンサー上に形成される一対の像のバランス崩れが生ずるので、イメージセンサーの出力信号を処理する際に本発明を適用することができる。
【０１１３】
また、本発明は撮影光学系を通過する光束を瞳分割する方式の焦点検出に限定されず、外光三角測距方式による距離測定にも適用可能である。図５０により、外光三角測距方式の焦点検出動作を説明する。図５０において、レンズ３２０とその結像面に配置されたイメージセンサー３２６からなるユニットと、レンズ３３０とその結像面に配置されたイメージセンサー３３６からなるユニットとが基線長を隔てて配置される。これらの一対のユニットが測距装置３４７を構成する。
【０１１４】
測距対象３５０の像が、レンズ３２０および３３０によりイメージセンサー３２６および３３６上に形成される。イメージセンサー３２６および３３６上に形成される像の位置関係は、測距装置３４７から測距対象３５０までの距離に応じて変化する。したがって、イメージセンサー３２６および３３６の信号データに対して本発明を適用した像ズレ検出を行うことによって、２像の相対的位置関係を検出し、この位置関係に基づいて測距対象３５０までの距離を測定することができる。
【０１１５】
外光三角測距方式においては、レンズ３２０とレンズ３３０に汚れや雨滴が付着することによって、一対の信号にレベル差が生じたり歪みが生じたりすることが発生するので、本発明の適用は有効である。
【０１１６】
なお、撮像装置としては、上述したようなカメラボディに交換レンズが装着される構成のデジタルスチルカメラやフィルムスチルカメラに限定されない。例えばレンズ一体型のデジタルスチルカメラ、フィルムスチルカメラ、あるいはビデオカメラにも本発明を適用することができる。さらには、携帯電話などに内蔵される小型カメラモジュール、監視カメラやロボット用の視覚認識装置などにも適用できる。
【０１１７】
また、本発明は、カメラ以外の焦点検出装置や測距装置、さらにはステレオ測距装置にも適用できる。さらに、時間が異なるイメージセンサーの信号間の相関を検出して被写体像の動きやカメラのブレを検出する装置にも適用できる。さらにまた、イメージセンサーの画像信号と特定の画像信号のパターンマッチングにも適用できる。
【０１１８】
さらに、本発明は、画像信号データの相関を検出するものに限定されず、音に関するデータの相関やその他一般に２つの信号の相関を検出するものにも適用することができる。
【図面の簡単な説明】
【０１１９】
【図１】一実施の形態のカメラの構成を示すカメラの横断面図
【図２】交換レンズの撮影画面上における焦点検出位置を示す図
【図３】撮像素子の詳細な構成を示す正面図
【図４】撮像画素の構成を示す正面図
【図５】焦点検出画素の構成を示す正面図
【図６】撮像画素の分光特性を示す図
【図７】焦点検出画素の分光特性を示す図
【図８】撮像画素の断面図
【図９】焦点検出画素の断面図
【図１０】マイクロレンズを用いた瞳分割型位相差検出方式の焦点検出光学系の構成を示す図
【図１１】一実施の形態のデジタルスチルカメラ（撮像装置）の撮像動作を示すフローチャート
【図１２】図１１のステップ１３０における焦点検出演算処理の詳細を示す示すフローチャート
【図１３】焦点検出光束のケラレ（口径蝕）を説明するための図
【図１４】予定焦点面から光軸の方向に測距瞳面を見た場合の図
【図１５】図１３および図１４の状態において位置ｘ０（像高０）の近傍の焦点検出画素列が受光する一対の像と、位置ｘ１（像高ｈ）の近傍の焦点検出画素列が受光する一対の像の強度分布（縦軸は光量、横軸は撮影画面上の位置）を示した図
【図１６】（１１）式に示す相関量Ｃ(k)の演算と一対のデータ列（Ａ1〜ＡN、Ｂ1〜ＢN）との関係を示す図
【図１７】焦点検出演算（相関演算）結果の評価方法を説明する図
【図１８】同一性の崩れたサイン波形の一対の像データを示す図
【図１９】図１８に示す同一性の崩れたサイン波形の一対の像データ列に対する（３）式による相関演算結果を示す図
【図２０】図１８に示すサイン波形の一対の像データに対する（３）式による像ズレ量演算結果を示す図
【図２１】図１８に示すサイン波形の一対の像データに対する（３）式による像ズレ量演算の誤差量を示す図
【図２２】図１８に示すサイン波形の一対の像データに対する（９）式による像ズレ量演算結果を示す図
【図２３】図１８に示すサイン波形の一対の像データに対する（９）式による像ズレ量演算結果を示す図
【図２４】同一性の崩れたステップ波形の一対の像データの例を示す図
【図２５】図２４に示す同一性の崩れたステップ波形の一対の像データに対する（９）式による相関演算結果を示す図
【図２６】図２４に示す同一性の崩れたステップ波形の一対の像データに対する（９）式による像ズレ量演算結果を示す図
【図２７】図２４に示す同一性の崩れたステップ波形の一対の像データに対する（３）式による相関量演算結果を示す図
【図２８】図２４に示す同一性の崩れたステップ波形の一対の像データに対する（３）式による像ズレ量演算結果を示す図
【図２９】図２４に示す同一性の崩れたステップ波形の一対の像データに対する（３）式による像ズレ量演算の誤差量を示す図
【図３０】図１８に示すような同一性の崩れたサイン波形の一対の像データに対する（１３）式による相関演算結果を示す図
【図３１】図２４に示すような同一性の崩れたステップ波形の一対の像データに対する（１３）式による相関演算結果を示す図
【図３２】図１８に示すような同一性の崩れたサイン波形の一対の像データに対する（１７）式による相関演算結果を示す図
【図３３】図１８に示すような同一性の崩れたサイン波形の一対の像データに対する（１７）式による像ズレ量演算の誤差量を示す図
【図３４】図２４に示すような同一性の崩れたステップ波形の一対の像データに対する（１７）式による相関演算結果を示す図
【図３５】図１８に示すような同一性の崩れたサイン波形の一対の像データに対する（２４）式による相関演算結果を示す図
【図３６】図１８に示すような同一性の崩れたサイン波形の一対の像データに対する（２４）式による像ズレ量演算結果を示す図
【図３７】図１８に示すような同一性の崩れたサイン波形の一対の像データに対する（２４）式による像ズレ量演算の誤差量を示す図
【図３８】図２４に示すような同一性の崩れたステップ波形の一対の像データに対する（２４）式による相関演算結果を示す図
【図３９】図２４に示すような同一性の崩れたステップ波形の一対の像データに対する（２４）式による像ズレ量演算結果を示す図
【図４０】図２４に示すような同一性の崩れたステップ波形の一対の像データに対する（２４）式による像ズレ量演算の誤差量を示す図
【図４１】図１８に示すような同一性の崩れたサイン波形の一対の像データに対する（２８）式による相関演算結果を示す図
【図４２】図２４に示すような同一性の崩れたステップ波形の一対の像データに対する（２８）式による相関演算結果を示す図
【図４３】図１８に示すような同一性の崩れたサイン波形の一対の像データに対する（３５）式による相関演算結果を示す図
【図４４】図１８に示すような同一性の崩れたサイン波形の一対の像データに対する（３５）式による像ズレ量演算結果を示す図
【図４５】図１８に示すような同一性の崩れたサイン波形の一対の像データに対する（３５）式による像ズレ量演算の誤差量を示す図
【図４６】変形例の撮像素子の部分拡大図
【図４７】図４６に示す変形例の撮像素子で用いる焦点検出画素の正面図
【図４８】図４６に示す変形例の撮像素子の焦点検出画素による瞳分割方式の焦点検出動作を説明するための図
【図４９】再結像瞳分割方式の焦点検出動作を説明するための図
【図５０】外光三角測距方式の焦点検出動作を説明するための図
【符号の説明】
【０１２０】
１０；マイクロレンズ、１１、１３、１４；光電変換部、２０２；交換レンズ、２１２、２１２Ａ；撮像素子、２１４ ボディ駆動制御装置、３１０；撮像画素、３１１、３１３、３１４；焦点検出画素
【技術分野】
【０００１】
本発明は相関演算方法、相関演算装置、焦点検出装置および撮像装置に関する。
【背景技術】
【０００２】
一対の物体像に対応する一対の信号データ列(Ａ1,Ａ2,・・),(Ｂ1,Ｂ2,・・)をシフト量Ｌを変えながら比較し、相関量Ｃ(Ｌ)をＣ(Ｌ)＝Σ｜Ａi−Ｂi+L｜（ただし、Σは所定範囲（ｉ＝ｑ〜ｒ）における総和演算を表す）により算出し、相関量Ｃ(Ｌ)の極値を与えるシフト量Ｌに基づいて像ズレ量を演算するようにした相関演算方法が知られている（例えば、特許文献１参照）。
【０００３】
この出願の発明に関連する先行技術文献としては次のものがある。
【特許文献１】特開平０４−３３８９０５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来の相関演算方法では、一対のデータ列が２つの同一のデータ列を相対的にシフトしたものであるという前提のもとに考案された相関演算方法であるため、同一性が崩れている一対のデータ列に適用すると、算出されたシフト量の誤差が増大したり、シフト量の演算が不能になることがある。
【課題を解決するための手段】
【０００５】
（１） 請求項１の発明は、複数の第１データが一次元上に配列された第１データ列と、複数の第２データが一次元上に配列された第２データ列とを、一次元上で変位量を変えながら相対的に変位させ、前記第１データ列と前記第２データ列の間の相関量を演算して前記相関量の極値が得られる前記変位量を求める相関演算方法において、前記複数の第１データのＮ階（ただし、Ｎ＝１，２，・・）の差分データから成る第３データ列と、前記複数の第２データのＮ階の差分データから成る第４データ列との間で内積演算を行い、算出された演算値を前記相関量とする相関演算方法である。
（２） 請求項２の発明は、請求項１に記載の相関演算方法において、前記内積演算に用いた前記複数の第１データと前記複数の第２データにより前記演算値を正規化するようにしたものである。
（３） 請求項３の発明は、請求項１に記載の相関演算方法において、一次元上の所定位置の近傍における前記第３データ列のＭ個（ただし、Ｍ＝２，３，・・）のデータと、前記第４データ列のＭ個のデータとをそれぞれＭ次元のベクトルの成分としてベクトルの内積演算を行って局所的相関量を算出し、前記内積演算に用いた前記複数の第１データと前記複数の第２データにより前記局所的相関量を正規化する演算を、一次元上の前記所定位置を所定区間に亘って移動させて行い、前記局所的相関量を積算して前記相関量を算出するようにしたものである。
（４） 請求項４の発明は、請求項１に記載の相関演算方法において、一次元上の所定位置の近傍における前記第３データ列のＭ個（ただし、Ｍ＝２，３，・・）のデータと、前記第４データ列のＭ個のデータとをそれぞれＭ次元のベクトルの成分としてベクトルの内積演算を行って局所的相関量を算出する演算を、一次元上の前記所定位置を所定区間に亘って移動させて行い、前記局所的相関量を積算して該積算値を前記内積演算に用いた前記複数の第１データと前記複数の第２データにより正規化して前記相関量を算出するようにしたものである。
（５） 請求項５の発明は、複数の第１データが一次元上に配列された第１データ列と、複数の第２データが一次元上に配列された第２データ列とを、一次元上で変位量を変えながら相対的に変位させ、前記第１データ列と前記第２データ列の間の相関量を演算して前記相関量の極値が得られる前記変位量を求める相関演算方法において、前記複数の第１データのＮ階（ただし、Ｎ＝１，２，・・）の差分データから成る第３データ列と、前記複数の第２データのＮ階の差分データから成る第４データ列との間で外積演算を行い、算出された演算値を前記相関量とする相関演算方法である。
（６） 請求項６の発明は、請求項５に記載の相関演算方法において、前記外積演算に用いた前記複数の第１データと前記複数の第２データにより前記演算値を正規化するようにしたものである。
（７） 請求項７の発明は、請求項５に記載の相関演算方法において、一次元上の所定位置の近傍における前記第３データ列のＭ個（ただし、Ｍ＝２，３，・・）のデータと、前記第４データ列のＭ個のデータとをそれぞれＭ次元のベクトルの成分としてベクトルの外積演算を行って局所的相関量を算出し、前記外積演算に用いた前記複数の第１データと前記複数の第２データにより前記局所的相関量を正規化する演算を、一次元上の前記所定位置を所定区間に亘って移動させて行い、前記局所的相関量を積算して前記相関量を算出するようにしたものである。
（８） 請求項８の発明は、請求項５に記載の相関演算方法において、一次元上の所定位置の近傍における前記第３データ列のＭ個（ただし、Ｍ＝２，３，・・）のデータと、前記第４データ列のＭ個のデータとをそれぞれＭ次元のベクトルの成分としてベクトルの外積演算を行って局所的相関量を算出する演算を、一次元上の前記所定位置を所定区間に亘って移動させて行い、前記局所的相関量を積算して該積算値を前記外積演算に用いた前記複数の第１データと前記複数の第２データにより正規化して前記相関量を算出するようにしたものである。
（９） 請求項９の発明は、請求項１〜８のいずれか一項に記載の相関演算方法により、前記相関量の極値が得られる前記変位量を求める演算手段を備えた相関演算装置である。
（１０） 請求項１０の発明は、結像光学系を通る一対の光束を受光し、この一対の光束が前記結像光学系の予定焦点面上に形成する一対の像に対応する一対のデータ列を生成する瞳分割像検出手段と、前記一対のデータ列の間の相関量の極値が得られる変位量を求める請求項９に記載の相関演算装置と、前記変位量に基づいて前記結像光学系の焦点調節状態を検出する焦点検出手段とを備えた焦点検出装置である。
（１１） 請求項１１の発明は、請求項１０に記載の焦点検出装置と、マイクロレンズと光電変換部から成る撮像用画素と焦点検出用画素が配列された撮像素子とを備え、前記瞳分割像検出手段は、前記焦点検出用画素の出力に基づいて前記一対のデータ列を生成する撮像装置である。
【発明の効果】
【０００６】
本発明によれば、同一性が崩れた一対のデータ列の相関関係を正確に演算することができる。
【発明を実施するための最良の形態】
【０００７】
一実施の形態の撮像素子および撮像装置として、レンズ交換式デジタルスチルカメラを例に上げて説明する。図１は一実施の形態のカメラの構成を示すカメラの横断面図である。一実施の形態のデジタルスチルカメラ２０１は交換レンズ２０２とカメラボディ２０３から構成され、交換レンズ２０２がマウント部２０４を介してカメラボディ２０３に装着される。カメラボディ２０３にはマウント部２０４を介して種々の撮影光学系を有する交換レンズ２０２が装着可能である。
【０００８】
交換レンズ２０２はレンズ２０９、ズーミング用レンズ２０８、フォーカシング用レンズ２１０、絞り２１１、レンズ駆動制御装置２０６などを備えている。レンズ駆動制御装置２０６は不図示のマイクロコンピューター、メモリ、駆動制御回路などから構成され、フォーカシング用レンズ２１０の焦点調節と絞り２１１の開口径調節のための駆動制御や、ズーミング用レンズ２０８、フォーカシング用レンズ２１０および絞り２１１の状態検出などを行う他、後述するボディ駆動制御装置２１４との通信によりレンズ情報の送信とカメラ情報の受信を行う。絞り２１１は、光量およびボケ量調整のために光軸中心に開口径が可変な開口を形成する。
【０００９】
カメラボディ２０３は撮像素子２１２、ボディ駆動制御装置２１４、液晶表示素子駆動回路２１５、液晶表示素子２１６、接眼レンズ２１７、メモリカード２１９などを備えている。撮像素子２１２には、撮像画素が二次元状に配置されるとともに、焦点検出位置に対応した部分に焦点検出画素が組み込まれている。この撮像素子２１２については詳細を後述する。
【００１０】
ボディ駆動制御装置２１４はマイクロコンピューター、メモリ、駆動制御回路などから構成され、撮像素子２１２の駆動制御と画像信号および焦点検出信号の読み出しと、焦点検出信号に基づく焦点検出演算と交換レンズ２０２の焦点調節を繰り返し行うとともに、画像信号の処理と記録、カメラの動作制御などを行う。また、ボディ駆動制御装置２１４は電気接点２１３を介してレンズ駆動制御装置２０６と通信を行い、レンズ情報の受信とカメラ情報（デフォーカス量や絞り値など）の送信を行う。
【００１１】
液晶表示素子２１６は電気的なビューファインダー（ＥＶＦ：Electronic View Finder）として機能する。液晶表示素子駆動回路２１５は撮像素子２１２によるスルー画像を液晶表示素子２１６に表示し、撮影者は接眼レンズ２１７を介してスルー画像を観察することができる。メモリカード２１９は、撮像素子２１２により撮像された画像を記憶する画像ストレージである。
【００１２】
交換レンズ２０２を通過した光束により、撮像素子２１２の受光面上に被写体像が形成される。この被写体像は撮像素子２１２により光電変換され、画像信号と焦点検出信号がボディ駆動制御装置２１４へ送られる。
【００１３】
ボディ駆動制御装置２１４は、撮像素子２１２の焦点検出画素からの焦点検出信号に基づいてデフォーカス量を算出し、このデフォーカス量をレンズ駆動制御装置２０６へ送る。また、ボディ駆動制御装置２１４は、撮像素子２１２からの画像信号を処理して画像を生成し、メモリカード２１９に格納するとともに、撮像素子２１２からのスルー画像信号を液晶表示素子駆動回路２１５へ送り、スルー画像を液晶表示素子２１６に表示させる。さらに、ボディ駆動制御装置２１４は、レンズ駆動制御装置２０６へ絞り制御情報を送って絞り２１１の開口制御を行う。
【００１４】
レンズ駆動制御装置２０６は、フォーカシング状態、ズーミング状態、絞り設定状態、絞り開放Ｆ値などに応じてレンズ情報を更新する。具体的には、ズーミング用レンズ２０８とフォーカシング用レンズ２１０の位置と絞り２１１の絞り値を検出し、これらのレンズ位置と絞り値に応じてレンズ情報を演算したり、あるいは予め用意されたルックアップテーブルからレンズ位置と絞り値に応じたレンズ情報を選択する。
【００１５】
レンズ駆動制御装置２０６は、受信したデフォーカス量に基づいてレンズ駆動量を算出し、レンズ駆動量に応じてフォーカシング用レンズ２１０を合焦位置へ駆動する。また、レンズ駆動制御装置２０６は受信した絞り値に応じて絞り２１１を駆動する。
【００１６】
図２は、交換レンズ２０２の撮影画面上における焦点検出位置を示す図であり、後述する撮像素子２１２上の焦点検出画素列が焦点検出の際に撮影画面上で像をサンプリングする領域（焦点検出エリア、焦点検出位置）の一例を示す。この例では、矩形の撮影画面１００上の中央および上下の３箇所に焦点検出エリア１０１〜１０３が配置される。長方形で示す焦点検出エリアの長手方向に、焦点検出画素が直線的に配列される。
【００１７】
図３は撮像素子２１２の詳細な構成を示す正面図であり、撮像素子２１２上の焦点検出エリア１０１の近傍を拡大して示す。撮像素子２１２には撮像画素３１０が二次元正方格子状に稠密に配列されるとともに、焦点検出エリア１０１に対応する位置には焦点検出用の焦点検出画素３１３、３１４が垂直方向の直線上に隣接して交互に配列される。なお、図示を省略するが、焦点検出エリア１０２、１０３の近傍の構成も図３に示す構成と同様である。
【００１８】
撮像画素３１０は、図４に示すようにマイクロレンズ１０、光電変換部１１、および色フィルター（不図示）から構成される。色フィルターは赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３種類からなり、それぞれの分光感度は図６に示す特性になっている。撮像素子２１２には、各色フィルターを備えた撮像画素３１０がベイヤー配列されている。
【００１９】
焦点検出画素３１３は、図５(ａ)に示すようにマイクロレンズ１０と光電変換部１３とから構成され、光電変換部１３の形状は半円形である。また、焦点検出画素３１４は、図５(ｂ)に示すようにマイクロレンズ１０と光電変換部１４とから構成され、光電変換部１４の形状は半円形である。焦点検出画素３１３と焦点検出画素３１４とをマイクロレンズ１０を重ね合わせて表示すると、光電変換部１３と１４が垂直方向に並んでいる。焦点検出画素３１３と焦点検出画素３１４は、焦点検出エリア１０１〜１０３において垂直方向（光電変換部１３と１４の並び方向）に交互に配置される。
【００２０】
焦点検出画素３１３、３１４には光量をかせぐために色フィルターが設けられておらず、その分光特性は光電変換を行うフォトダイオードの分光感度と、赤外カットフィルター（不図示）の分光特性とを総合した分光特性（図７参照）となる。つまり、図６に示す緑画素、赤画素および青画素の分光特性を加算したような分光特性となり、その感度の光波長領域は緑画素、赤画素および青画素の感度の光波長領域を包括している。
【００２１】
焦点検出用の焦点検出画素３１３、３１４は、撮像画素３１０のＢとＧが配置されるべき列に配置されている。焦点検出用の焦点検出画素３１３、３１４が、撮像画素３１０のＢとＧが配置されるべき列に配置されているのは、画素補間処理において補間誤差が生じた場合に、人間の視覚特性上、赤画素の補間誤差に比較して青画素の補間誤差が目立たないためである。
【００２２】
撮像画素３１０の光電変換部１１は、マイクロレンズ１０によって最も明るい交換レンズの射出瞳径（例えばＦ１．０）を通過する光束をすべて受光するような形状に設計される。また、焦点検出画素３１３、３１４の光電変換部１３、１４は、マイクロレンズ１０によって交換レンズの射出瞳の所定の領域（例えばＦ２．８）を通過する光束をすべて受光するような形状に設計される。
【００２３】
図８は撮像画素３１０の断面図である。撮像画素３１０では撮像用の光電変換部１１の前方にマイクロレンズ１０が配置され、マイクロレンズ１０により光電変換部１１の形状が前方に投影される。光電変換部１１は半導体回路基板２９上に形成される。なお、不図示の色フィルターはマイクロレンズ１０と光電変換部１１の中間に配置される。
【００２４】
図９(ａ)は焦点検出画素３１３の断面図である。画面中央の焦点検出エリア１０１に配置された焦点検出画素３１３において、光電変換部１３の前方にマイクロレンズ１０が配置され、マイクロレンズ１０により光電変換部１３の形状が前方に投影される。光電変換部１３は半導体回路基板２９上に形成されるとともに、その上にマイクロレンズ１０が半導体イメージセンサーの製造工程により一体的かつ固定的に形成される。なお、画面上下の焦点検出エリア１０２、１０３に配置された焦点検出画素３１３の断面構造についても、図９(ａ)に示す断面構造と同様である。
【００２５】
図９(ｂ)は焦点検出画素３１４の断面図である。画面中央の焦点検出エリア１０１に配置された焦点検出画素３１４において、光電変換部１４の前方にマイクロレンズ１０が配置され、マイクロレンズ１０により光電変換部１４の形状が前方に投影される。光電変換部１４は半導体回路基板２９上に形成されるとともに、その上にマイクロレンズ１０が半導体イメージセンサーの製造工程により一体的かつ固定的に形成される。なお、画面上下の焦点検出エリア１０２、１０３に配置された焦点検出画素３１４の断面構造についても、図９(ｂ)に示す断面構造と同様である。
【００２６】
図１０は、マイクロレンズを用いた瞳分割型位相差検出方式の焦点検出光学系の構成を示す。なお、焦点検出画素の部分は拡大して示す。図において、９０は、交換レンズ２０２（図１参照）の予定結像面に配置されたマイクロレンズから前方ｄの距離に設定された射出瞳である。この距離ｄは、マイクロレンズの曲率、屈折率、マイクロレンズと光電変換部との間の距離などに応じて決まる距離であって、この明細書では測距瞳距離と呼ぶ。９１は交換レンズの光軸、１０ａ〜１０ｄはマイクロレンズ、１３ａ、１３ｂ、１４ａ、１４ｂは光電変換部、３１３ａ、３１３ｂ、３１４ａ、３１４ｂは焦点検出画素、７３，７４、８３，８４は焦点検出光束である。
【００２７】
また、９３は、マイクロレンズ１０ａ、１０ｃにより投影された光電変換部１３ａ、１３ｂの領域であり、この明細書では測距瞳と呼ぶ。図１０では、説明を解りやすくするために楕円形の領域で示しているが、実際には光電変換部の形状が拡大投影された形状になる。同様に、９４は、マイクロレンズ１０ｂ、１０ｄにより投影された光電変換部１４ａ、１４ｂの領域であり、この明細書では測距瞳と呼ぶ。図１０では、説明を解りやすくするために楕円形の領域で示しているが、実際には光電変換部の形状が拡大投影された形状になる。
【００２８】
図１０では、撮影光軸に隣接する４つの焦点検出画素３１３ａ、３１３ｂ、３１４ａ、３１４ｂを模式的に例示しているが、焦点検出エリア１０１のその他の焦点検出画素においても、また画面周辺部の焦点検出エリア１０２、１０３の焦点検出画素においても、光電変換部はそれぞれ対応した測距瞳９３、９４から各マイクロレンズに到来する光束を受光するように構成されている。焦点検出画素の配列方向は一対の測距瞳の並び方向、すなわち一対の光電変換部の並び方向と一致させる。
【００２９】
マイクロレンズ１０ａ〜１０ｄは交換レンズ２０２（図１参照）の予定結像面近傍に配置されており、マイクロレンズ１０ａ〜１０ｄによりその背後に配置された光電変換部１３ａ、１３ｂ、１４ａ、１４ｂの形状がマイクロレンズ１０ａ〜１０ｃから測距瞳距離ｄだけ離間した射出瞳９０上に投影され、その投影形状は測距瞳９３，９４を形成する。すなわち、投影距離ｄにある射出瞳９０上で各焦点検出画素の光電変換部の投影形状（測距瞳９３，９４）が一致するように、各焦点検出画素におけるマイクロレンズと光電変換部の相対的位置関係が定められ、それにより各焦点検出画素における光電変換部の投影方向が決定されている。
【００３０】
光電変換部１３ａは測距瞳９３を通過し、マイクロレンズ１０ａに向う光束７３によりマイクロレンズ１０ａ上に形成される像の強度に対応した信号を出力する。同様に、光電変換部１３ｂは測距瞳９３を通過し、マイクロレンズ１０ｃに向う光束８３によりマイクロレンズ１０ｃ上に形成される像の強度に対応した信号を出力する。また、光電変換部１４ａは測距瞳９４を通過し、マイクロレンズ１０ｂに向う光束７４によりマイクロレンズ１０ｂ上に形成される像の強度に対応した信号を出力する。同様に、光電変換部１４ｂは測距瞳９４を通過し、マイクロレンズ１０ｄに向う光束８４によりマイクロレンズ１０ｄ上に形成される像の強度に対応した信号を出力する。
【００３１】
上述した２種類の焦点検出画素を直線状に多数配置し、各画素の光電変換部の出力を測距瞳９３および測距瞳９４に対応した出力グループにまとめることによって、測距瞳９３と測距瞳９４をそれぞれ通過する焦点検出用光束が画素列上に形成する一対の像の強度分布に関する情報が得られる。この情報に対して後述する像ズレ検出演算処理（相関演算処理、位相差検出処理）を施すことによって、いわゆる瞳分割型位相差検出方式で一対の像の像ズレ量が検出される。さらに、像ズレ量に一対の測距瞳の重心間隔に応じた変換演算を行うことによって、予定結像面に対する現在の結像面（予定結像面上のマイクロレンズアレイの位置に対応した焦点検出位置における結像面）の偏差（デフォーカス量）が算出される。
【００３２】
図１１は、一実施の形態のデジタルスチルカメラ（撮像装置）の撮像動作を示すフローチャートである。ボディ駆動制御装置２１４は、ステップ１００でカメラの電源がオンされると、ステップ１１０以降の撮像動作を開始する。ステップ１１０において撮像画素のデータを間引き読み出しし、電子ビューファインダーに表示させる。続くステップ１２０では焦点検出画素列から一対の像に対応した一対の像データを読み出す。なお、焦点検出エリアは、撮影者が焦点検出エリア選択部材（不図示）を用いて焦点検出エリア１０１〜１０３の内のいずれかを予め選択しているものとする。
【００３３】
ステップ１３０では読み出された一対の像データに基づいて後述する像ズレ検出演算処理（相関演算処理）を行い、像ズレ量を演算してデフォーカス量に変換する。ステップ１４０で合焦近傍か否か、すなわち算出されたデフォーカス量の絶対値が所定値以内であるか否かを調べる。合焦近傍でないと判定された場合はステップ１５０へ進み、デフォーカス量をレンズ駆動制御装置２０６へ送信し、交換レンズ２０２のフォーカシングレンズ２１０を合焦位置に駆動させる。その後、ステップ１１０へ戻って上述した動作を繰り返す。
【００３４】
なお、焦点検出不能な場合もこのステップに分岐し、レンズ駆動制御装置２０６へスキャン駆動命令を送信し、交換レンズ２０２のフォーカシングレンズ２１０を無限から至近までの間でスキャン駆動させる。その後、ステップ１１０へ戻って上述した動作を繰り返す。
【００３５】
ステップ１４０で合焦近傍であると判定された場合はステップ１６０へ進み、シャッターボタン（不図示）の操作によりシャッターレリーズがなされたか否かを判別する。シャッターレリーズがなされていないと判定された場合はステップ１１０へ戻り、上述した動作を繰り返す。一方、シャッターレリーズがなされたと判定された場合はステップ１７０へ進み、レンズ駆動制御装置２０６へ絞り調整命令を送信し、交換レンズ２０２の絞り値を制御Ｆ値（撮影者または自動により設定されたＦ値）にする。絞り制御が終了した時点で、撮像素子２１２に撮像動作を行わせ、撮像素子２１２の撮像画素３１０および全ての焦点検出画素３１３，３１４から画像データを読み出す。
【００３６】
ステップ１８０において、焦点検出画素列の各画素位置の画素データを焦点検出画素の周囲の撮像画素のデータに基づいて画素補間する。続くステップ１９０では、撮像画素のデータおよび補間されたデータからなる画像データをメモリーカード２１９に記憶し、ステップ１１０へ戻って上述した動作を繰り返す。
【００３７】
図１２は、図１１のステップ１３０における焦点検出演算処理の詳細を示す示すフローチャートである。ボディ駆動制御装置２１４は、ステップ２００からこの焦点検出演算処理（相関演算処理）を開始する。
【００３８】
ステップ２１０において、 焦点検出画素列から出力される一対のデータ列（α1〜αM、β1〜βM：Ｍはデータ数）に対して（１）式に示すような高周波カットフィルター処理を施し、第１信号データ列（Ａ1〜ＡN）と第２信号データ列（Ｂ1〜ＢN）を生成する。これにより、信号データ列（以下、単にデータ列という）から相関処理に悪影響を及ぼすノイズ成分や高周波成分を除去することができる。なお、演算時間の短縮を図る場合や、すでに大きくデフォーカスしていて高周波成分が少ないことがわかっている場合などには、ステップ２１０の処理を省略することもできる。
Ａn＝αn＋２・αn+1＋αn+2，
Ｂn＝βn＋２・βn+1＋βn+2 ・・・（１）
（１）式において、ｎ＝１〜Ｎである。
【００３９】
データ列Ａn、Ｂnは、理想的には同一データ列を相対的にシフトしたものとなるはずであるが、上述した瞳分割方式の焦点検出画素で得られる一対のデータ列では、焦点検出光束のケラレ（口径蝕）により、同一性が崩れている。
【００４０】
図１３は、焦点検出光束のケラレ（口径蝕）を説明するための図である。図において、位置ｘ０（像高０）と位置ｘ１（像高ｈ）にある一対の焦点検出画素は、それぞれ予定焦点面９２の前方ｄにある測距瞳面９０において測距瞳領域９３、９４を通過する一対の焦点検出光束５３，５４および６３、６４を受光するように構成されている。予定焦点面９２の前方ｄ１（＜ｄ）の面９５に光学系の絞り開口９６がある場合には、位置ｘ０（像高０）にある一対の焦点検出画素が受光する一対の焦点検出光束５３，５４は、絞り開口９６により光軸９１に対して対称に口径蝕が発生するため、一対の焦点検出画素が受光する光量のバランスは崩れない。
【００４１】
これに対し、位置ｘ１（像高ｈ）にある一対の焦点検出画素が受光する一対の焦点検出光束６３，６４は、絞り開口９６によって非対称に口径蝕が発生するために、一対の焦点検出画素が受光する光量のバランスは崩れてしまう。
【００４２】
図１４は、予定焦点面９２から光軸９１の方向に測距瞳面９０を見た場合の図である。焦点検出光束６４は絞り開口９６により大きく口径蝕が発生しているのに対し、焦点検出光束６３は絞り開口９６による口径蝕の発生が少ないことがわかる。
【００４３】
図１５(ａ)、(ｂ)は、図１３および図１４の状態において位置ｘ０（像高０）の近傍の焦点検出画素列が受光する一対の像と、位置ｘ１（像高ｈ）の近傍の焦点検出画素列が受光する一対の像の強度分布（縦軸は光量、横軸は撮影画面上の位置）を示したものである。焦点検出光束の口径蝕のバランスがとれている場合には、図１５(ａ)に示すように、一対の像信号４００，４０１は同一の像信号関数が単に横方向にシフトしたものとなっている。これに対し、焦点検出光束の口径蝕のバランスが崩れている場合には、図１５(ｂ)に示すように、一対の像信号４０２，４０３は同一の信号を相対的にシフトしたものにはならない。
【００４４】
この一実施の形態では、焦点検出光束の口径蝕により同一性が崩れた一対の像信号に対応する一対のデータ列（第１データ列と第２データ列）に対して以下のような演算処理を行い、一対の像信号間の像ズレ量を検出する。
【００４５】
図１２のステップ２２０において、まず、第１データ列（Ａ1〜ＡN）に対して第２データ列（Ｂ1〜ＢN）を相対的にシフト（シフト量ｋ）させて相関量を演算するにあたり、（２）式により第１データ列（Ａ1〜ＡN）に属する複数の第１データ（Ａ1,Ａ2,Ａ3,・・,ＡN）の内のデータＡnの近傍の１階差分と、第２データ列（Ｂ1〜ＢN）に属する第２データ（Ｂ1,Ｂ2,Ｂ3,・・,ＢN）の内のＢn+kの近傍の１階差分との内積演算を行い、データＡnの近傍とデータＢn+kの近傍との局所的相関量Ｐ(n)を演算する。
Ｐ(n)＝−（Ａn−Ａn+d）・（Ｂn+k−Ｂn+k+k） ・・・（２）
（２）式において、ｄは整数定数（＝１，２，３，・・・）である。局所的相関量Ｐ(n)は、１階差分データ（Ａn−Ａn+d）と１階差分データ（Ｂn+k−Ｂn+d+k）との内積演算の結果を符号反転したものとなっており、相関度が高いほど小さな値となる。
【００４６】
（２）式の局所的相関量Ｐ(n)をデータの位置ｎを所定区間（例えばｎ＝ｐ〜ｑ）に亘って積算したものが、（３）式に示す一対のデータ列のシフト量ｋにおける相関量Ｃ(k)となり、この相関量Ｃ(k)は一対の像信号間の同一性が崩れていた場合においても、同一性が崩れる前の像信号が一致するシフト量ｋにおいて極小値を取ることになる。
Ｃ(k)＝ΣＰ(n)＝−Σ（Ａn−Ａn+d）・（Ｂn+k−Ｂn+d+k） ・・・（３）
【００４７】
図１６は、ｄ＝１とした場合の上記相関量Ｃ(k)の演算と一対のデータ列（Ａ1〜ＡN、Ｂ1〜ＢN）との関係を図式化したものである。
【００４８】
ステップ２３０において、（３）式の演算結果は、図１７(ａ)に示すように、一対のデータの相関が高いシフト量（図１７(ａ)ではｋ＝ｋj＝２）において相関量Ｃ(k)が最小（小さいほど相関度が高い）になる。（４）式〜（７）式による３点内挿の手法を用い、連続的な相関量に対する最小値Ｃ(ｘ)を与えるシフト量ｘを求める。
ｘ＝ｋj＋Ｄ／ＳＬＯＰ ・・・（４），
Ｃ(ｘ)＝ Ｃ（ｋj）−｜Ｄ｜ ・・・（５），
Ｄ＝｛Ｃ（ｋj-1）−Ｃ（ｋj+1）｝／２ ・・・（６），
ＳＬＯＰ＝ＭＡＸ｛Ｃ（ｋj+1）−Ｃ（ｋj），Ｃ（ｋj-1）−Ｃ（ｋj）｝ ・・・（７）
【００４９】
例えば図１８に示すような同一性の崩れたサイン波形の一対の像データ列に対し、(３)式に示す相関演算（ｄ＝１）を適用して相関量Ｃ(k)を求めると、図１９に示すようなグラフとなる。なお、図１９において、横軸がシフト量ｋ、縦軸が（３）式による相関演算値である。
【００５０】
図２０に□で示すグラフは、図１８に示すサイン波形の一対の像データを±１画素の範囲において０．１画素単位で相対的にずらした場合の、横軸に像ズレ量をとり、縦軸に（３）式による像ズレ量演算結果をとって示したもので、誤差がない場合には原点（０，０）を通り傾き１の直線になるはずのものである。また、図２１に□で示すグラフは横軸に像ズレ量をとり、縦軸に（３）式による像ズレ量演算の誤差量をとって示したものであり、良好な結果が得られている。なお、図２０および図２１に■で示すグラフについては後述する。
【００５１】
図１２のステップ２４０において、（４）式で求めたシフト量ｘより、被写体像面の予定結像面に対するデフォーカス量ＤＥＦを（８）式で求めることができる。
ＤＥＦ＝ＫＸ・ＰＹ・ｘ ・・・（８）
（８）式において、ＰＹは検出ピッチであり、ＫＸは一対の測距瞳の重心の開き角の大きさによって決まる変換係数である。
【００５２】
算出されたデフォーカス量ＤＥＦの信頼性があるかどうかは、以下のようにして判定される。図１７(ｂ)に示すように、一対のデータの相関度が低い場合は、内挿された相関量の最小値Ｃ(ｘ)の値が大きくなる。したがって、Ｃ(ｘ)が所定値以上の場合は信頼性が低いと判定する。あるいは、Ｃ(ｘ)をデータのコントラストで規格化するために、コントラストに比例した値となるＳＬＯＰでＣ(ｘ)を除した値が所定値以上の場合は信頼性が低いと判定する。あるいはまた、コントラストに比例した値となるＳＬＯＰが所定値以下の場合は、被写体が低コントラストであり、算出されたデフォーカス量ＤＥＦの信頼性が低いと判定する。図１７(ｃ)に示すように、一対のデータの相関度が低く、シフト範囲ｋmin〜ｋmaxの間で相関量Ｃ(k)の落ち込みがない場合は、最小値Ｃ(ｘ)を求めることができず、このような場合は焦点検出不能と判定する。焦点検出が可能であった場合には算出された像ズレ量に所定の変換係数を乗じてデフォーカス量を算出する。
【００５３】
ステップ２５０で、焦点検出演算処理（相関演算処理）を終了して図１１のステップ１４０へリターンする。
【００５４】
上述したように、焦点検出光束の口径蝕により同一性が崩れた一対の像信号の像ズレ量を検出するために、一実施の形態では第１データ列（Ａ1〜ＡN）に対して第２データ列（Ｂ1〜ＢN）を相対的にシフト（シフト量ｋ）させて相関量を演算するにあたり、（２）式により第１データ列（Ａ1〜ＡN）間の１階差分と第２データ列（Ｂ1〜ＢN）間の１階差分との内積演算を行い、データＡnの近傍とデータＢn+kの近傍との局所的相関量Ｐ(n)を演算するとともに、局所的相関量Ｐ(n)をデータの位置ｎを所定区間（例えばｎ＝ｐ〜ｑ）に亘って積算することにより、高精度に像ズレ量の検出を行うことを特徴としている。
【００５５】
ここで、第１データ列間の１階差分と第２データ列間の１階差分との内積演算により局所的相関量Ｐ(n)を演算する優位性を、第１データ列と第２データ列との間で生データどうしの内積演算により局所的相関量Ｐ(n)を演算する場合と比較して説明する。
【００５６】
局所的相関量Ｐ(n)の演算に、第１データ列と第２データ列との間で生データどうしの内積演算を用いる場合には、相関量Ｃ(k)は例えば次式のように表される。
Ｃ(k)＝ΣＰ(n)＝−ΣＡn・Ｂn+k ・・・（９）
図１８に示す同一性の崩れたサイン波形の一対の像データに対し、（９）式に示す相関演算（ｄ＝１）を適用して相関量Ｃ(k)を求めると、図２２に示すようなグラフとなり、元の波形のバランス崩れの影響を受け大きく歪んでいる。
【００５７】
図２３に□で示すグラフは、図１８に示すサイン波形の一対の像データを±１画素の範囲において０．１画素単位で相対的にずらした場合の、横軸に像ズレ量をとり、縦軸に(９)式による像ズレ量演算結果をとって示したものであり、原点（０，０）を通り傾き１の直線から大きくずれてしまい、大きな誤差を生じてしまう。
【００５８】
別な例として、図２４に示すような同一性の崩れたステップ波形の一対の像データに対し、（９）式に示す相関演算（ｄ＝１）を適用して相関量Ｃ(k)を求めると、図２５に示すグラフになり、元の波形のバランス崩れの影響を受け大きく歪んでいる。図２６に□で示すグラフは、図２４に示すステップ波形の一対の像データを±１画素の範囲において０．１画素単位で相対的にずらした場合の、横軸に像ズレ量をとり、縦軸に(９)式による像ズレ量演算結果をとって示したものであり、原点（０，０）を通り傾き１の直線から大きくずれてしまい、大きな誤差を生じてしまう。
【００５９】
これに対し、図２４に示すような同一性の崩れたステップ波形の一対の像データに対して（３）式に示す相関演算（ｄ＝１）を適用して相関量Ｃ(k)を求めると、図２７に示すようなグラフになり、元の波形のバランス崩れの影響はほとんど受けていない。図２８に□で示すグラフは、図２４に示すステップ波形の一対の像データを±１画素の範囲において０．１画素単位で相対的にずらした場合の、横軸に像ズレ量をとり、縦軸に（３）式による像ズレ量演算結果をとって示したものであり、図２６に比較して誤差が少なくなっている。また、図２９に□で示すグラフは横軸に像ズレ量をとり、縦軸に（３）式による像ズレ量演算の誤差量をとって示したものである。
【００６０】
以上の結果は、生データどうしの内積演算では元の波形の歪みの影響を十分に取り切ることができず、１階差分データどうしの内積演算により元の波形の歪みの影響を効率的に取り除くことができることを示している。
【００６１】
なお、上述した一実施の形態では、複数の第１データが一次元上に配列された第１データ列（Ａ1〜ＡN）と、複数の第２データが一次元上に配列された第２データ列（Ｂ1〜ＢN）とを、一次元上で変位量を変えながら相対的に変位させ、第１データ列と第２データ列の間の相関量を演算して相関量の極値が得られる変位量を求める相関演算方法において、複数の第１データの１階の差分データから成る第３データ列と、複数の第２データの１階の差分データから成る第４データ列との間で内積演算を行い、算出された演算値を相関量とする例を示したが、差分データは２階以上としてもよい。
【００６２】
また、一次元上の所定位置の近傍における上記第３データ列のＭ個（ただし、Ｍ＝２，３，・・）のデータと、上記第４データ列のＭ個のデータとをそれぞれＭ次元のベクトルの成分としてベクトルの内積演算を行って局所的相関量を算出するとともに、内積演算に用いた複数の第１データと複数の第２データにより局所的相関量を正規化する演算を、一次元上の所定位置を所定区間に亘って移動させて行い、局所的相関量を積算して相関量を算出するようにしてもよい。
【００６３】
あるいは、一次元上の所定位置の近傍における上記第３データ列のＭ個（ただし、Ｍ＝２，３，・・）のデータと、上記第４データ列のＭ個のデータとをそれぞれＭ次元のベクトルの成分としてベクトルの内積演算を行って局所的相関量を算出する演算を、一次元上の所定位置を所定区間に亘って移動させて行い、局所的相関量を積算して該積算値を内積演算に用いた複数の第１データと複数の第２データにより正規化して相関量を算出するようにしてもよい。
【００６４】
《発明の他の実施の形態》
以上説明した実施形態では、第１データ列間の１階差分と第２データ列間の１階差分との内積演算により局所的相関量Ｐ(n)を算出し、この局所的相関量Ｐ(n)をデータの位置ｎを所定区間に亘って積算することによって、歪みが生じた一対の像に対して高精度に像ズレ量の検出を行う例を示したが、本発明はこのような相関演算方法に限定されるものではなく、以下に示す相関演算方法としてもよい。
【００６５】
（３）式に示す相関量の演算では、（２）式で算出する局所的相関量Ｐ(n)（１階差分データどうしの内積演算の値）をそのまま積算する例を示したが、（１０）式〜（１３）式に示すように、内積演算に用いるデータに応じて正規化処理を行うことによって、一対の像の歪みの影響をさらに緩和することができる。
Ｐ(n)＝（Ａn−Ａn+d−Ｍa）・（Ｂn+k−Ｂn+d+k−Ｍb） ・・・（１０），
Ｍa＝Σ(Ａn−Ａn+d)／Ｎ ・・・（１１），
Ｍb＝Σ(Ｂn+k−Ｂn+d+k)／Ｎ ・・・（１２），
Ｃ(k)＝１−ΣＰ(n)／｛Ｓqrt(Σ(Ａn−Ａn+d)２)・Ｓqrt(Σ(Ｂn+k−Ｂn+d+k)２)｝ ・・・（１３）
なお、（１１）式、（１２）式において、Ｎは（１１）式〜（１３）式のΣ演算の積算数であり、Ｓqrt( )は平方根を表す。
【００６６】
図１８に示すような同一性の崩れたサイン波形の一対の像データに対し、（１３）式に示す相関演算（ｄ＝１）を適用して相関量Ｃ(k)を求めると、図３０に示すようなグラフになる。また、上記図２０に■印で示すグラフは、図１８に示すサイン波形の一対の像データを±１画素の範囲において０．１画素単位で相対的にずらした場合の、横軸に像ズレ量をとり、縦軸に(１３)式による像ズレ量演算結果をとって示したものである。また、上記図２１に■印で示すグラフは、横軸に像ズレ量をとり、縦軸に（１３）式による像ズレ演算結果の誤差量をとって示したものであり、良好な結果が得られている。
【００６７】
図２４に示すような同一性の崩れたステップ波形の一対の像データに対し、（１３）式に示す相関演算（ｄ＝１）を適用して相関量Ｃ(k)を求めると図３１に示すようなグラフとなる。上記図２８に■印で示すグラフは、図２４に示すステップ波形の一対の像データを±１画素の範囲において０．１画素単位で相対的にずらした場合の、横軸に像ズレ量をとり、縦軸に(１３)式による像ズレ量演算の結果をとって示したものであり、□印で示す上述した（３）式による像ズレ量演算のグラフとほぼ重なっている。また、上記図２９に■印で示すグラフは横軸に像ズレ量をとり、縦軸に（１３）式による像ズレ量演算の誤差量をとって示したものであり、□印で示す上述した（３）式による像ズレ量演算の誤差量とほぼ重なっている。
【００６８】
ここで、１階差分データどうしの内積演算を正規化した場合の優位性について、生データどうしの内積演算を正規化した場合（（１４）式〜（１７）式）と比較して説明する。
Ｐ(n)＝（Ａn−Ｍa）・（Ｂn+k−Ｍb） ・・・（１４），
Ｍa＝ΣＡn／Ｎ ・・・（１５），
Ｍb＝ΣＢn+k／Ｎ ・・・（１６），
Ｃ(k)＝１−ΣＰ(n)／｛Ｓqrt(ΣＡn２)・Ｓqrt(ΣＢn+k２)｝ ・・・（１７）
【００６９】
図１８に示すような同一性の崩れたサイン波形の一対の像データに対し、（１７）式に示す相関演算（ｄ＝１）を適用して相関量Ｃ(k)を求めると、図３２に示すようなグラフとなり、図２２に比較して歪みの影響は少なくなる。上記図２３に■印で示すグラフは、図１８に示すサイン波形の一対の像データを±１画素の範囲において０．１画素単位で相対的にずらした場合の、横軸に像ズレ量をとり、縦軸に（１７）式による像ズレ量演算結果をとって示したものであり、図３３は(１７)式による像ズレ量演算結果の誤差量を示す。図２３に□印のグラフで示す（９）式による像ズレ量演算の結果よりは改善しているが、図２８、図２９に示す（１３）式による像ズレ量演算結果には及ばない。
【００７０】
図２４に示すような同一性の崩れたステップ波形の一対の像データに対し、（１７）式に示す相関演算（ｄ＝１）を適用して相関量Ｃ(k)を求めると、図３４に示すようなグラフとなる。上記図２６に■印で示すグラフは、図２４に示すステップ波形の一対の像データを±１画素の範囲において０．１画素単位で相対的にずらした場合の、横軸に像ズレ量をとり、縦軸に（１７）式による像ズレ量演算結果をとって示したものであり、□印のグラフで示す（９）式による演算結果よりは改善しているが、図２８に示す（１３）式による演算結果には及ばない。
【００７１】
正規化の方式としては、（１０）式〜（１３）式以外に下記の（１８）式、（１９）式に示すような簡略化した方式も可能である。
Ｐ(n)＝（Ａn−Ａn+d）・（Ｂn+k−Ｂn+d+k） ・・・（１８），
Ｃ(k)＝１−ΣＰ(n)／｛（ΣＡn／Ｎ）・（ΣＢn+k／Ｎ）｝ ・・・（１９）
【００７２】
（１０）式〜（１３）式の正規化方法および（１８）式、（１９）式の正規化方法においては、いったん局所的相関量Ｐ(n)の積算を行った後に、正規化のために第１データ列の積算量（Ｓqrt(Σ(Ａn−Ａn+d)２)、ΣＡn／Ｎ）、および第１データ列の積算量（Ｓqrt(Σ(Ｂn+k−Ｂn+d+k)２)、ΣＢn+k／Ｎ）で一律に正規化を行っているが、局所的相関量Ｐ(n)ごとに個々に正規化を行い、それを積算して相関量Ｃ(k)を求めるようにしてもよい。このようにすれば、個々の局所的相関量Ｐ(n)ごとに像歪みの影響を軽減できるので、さらに像ズレ検出精度の向上が期待できる。
【００７３】
例えば（２０）式、（２１）式に示すように局所的相関量Ｐ(n)と相関量Ｃ(k)を演算する。
Ｐ(n)＝(Ａn−Ａn+d)・(Ｂn+k−Ｂn+d+k)／｛Ｓqrt(Ａn２＋Ａn+d２)・Ｓqrt(Ｂn+k２＋Ｂn+d+k２)｝ ・・・（２０），
Ｃ(k)＝Ｗ−ΣＰ(n) ・・・（２１）
（２１）式において、Ｗは所定の定数である。なお、（２０）式の代わりに（２２）式を用いることもできる。
Ｐ(n)＝(Ａn−Ａn+d)・(Ｂn+k−Ｂn+d+k)／｛(Ａn＋Ａn+d)・(Ｂn+k＋Ｂn+d+k)｝ ・・・（２２）
【００７４】
《発明の他の実施の形態》
上述した（２）式では局所的相関量Ｐ(n)を１階差分データどうしの内積演算とした例を示したが、（２３）式に示すように２階差分データどうしの内積演算とすることもできる。
Ｐ(n)＝−(Ａn−２・Ａn+d＋Ａn+2d)・(Ｂn+k−２・Ｂn+d+k＋Ｂn+2d+k) ・・・（２３）
（２３）式において、ｄは整数定数（＝１，２，３，・・・）である。また、局所的相関量Ｐ(n)は、２階差分データ(Ａn−２・Ａn+d＋Ａn+2d)と２階差分データ(Ｂn+k−２・Ｂn+d+k＋Ｂn+2d+k)との内積演算の結果を符号反転したものであり、相関度が高いほど小さな値となる。
【００７５】
（２３）式の局所的相関量Ｐ(n)をデータの位置ｎを所定区間（例えばｎ＝ｐ〜ｑ）に亘って積算したものが、（２４）式に示す一対のデータ間のシフト量ｋにおける相関量Ｃ(k)となり、この相関量Ｃ(k)は、一対の像信号間の同一性が崩れていた場合でも、同一性が崩れる前の像信号が一致するシフト量ｋにおいて極小値を取ることになる。
Ｃ(k)＝ΣＰ(n)＝−Σ(Ａn−２・Ａn+d＋Ａn+2d)・(Ｂn+k−２・Ｂn+d+k＋Ｂn+2d+k) ・・・（２４）
【００７６】
図１８に示すような同一性の崩れたサイン波形の一対の像データに対し、（２４）式に示す相関演算（ｄ＝１）を適用して相関量Ｃ(k)を求めると、図３５に示すようなグラフとなる。また、図３６に□印で示すグラフは、図１８に示すサイン波形の一対の像データを±１画素の範囲において０．１画素単位で相対的にずらした場合の、横軸を像ズレ量、縦軸を（２４）式による像ズレ量演算結果を示す。さらに、図３７に□印で示すグラフは横軸を像ズレ量、縦軸を（２４）式による像ズレ量演算の誤差量を示し、良好な結果が得られている。
【００７７】
図２４に示すような同一性の崩れたステップ波形の一対の像データに対し、（２４）式に示す相関演算（ｄ＝１）を適用して相関量Ｃ(k)を求めると、図３８に示すようなグラフとなり、元の波形のバランス崩れの影響はほとんど受けていない。図３９に□印で示すグラフは、図２４に示すステップ波形の一対の像データを±１画素の範囲において０．１画素単位で相対的にずらした場合の、横軸に像ズレ量をとり、縦軸に（２４）式による像ズレ量演算結果をとって示したものである。また、図４０に□印で示すグラフは横軸に像ズレ量をとり、縦軸に（２４）式による像ズレ量演算の誤差量をとって示したものであり、良好な結果が得られている。
【００７８】
（２４）式に示す相関量演算において、（２３）式により算出する局所的相関量Ｐ(n)（２階差分データどうしの内積演算の値）をそのまま積算しているが、（２５）式〜（２８）式に示すように、内積演算に用いるデータに応じて正規化処理を行うことにより、一対の像の歪みの影響をさらに緩和することができる。
Ｐ(n)＝（Ａn−２・Ａn+d＋Ａn+2d−Ｍa）・（Ｂn+k−２・Ｂn+d+k＋Ｂn+2d+k−Ｍb） ・・・（２５），
Ｍa＝Σ(Ａn−２・Ａn+d＋Ａn+2d)／Ｎ ・・・（２６），
Ｍb＝Σ(Ｂn+k−２・Ｂn+d+k＋Ｂn+2d+k)／Ｎ ・・・（２７），
Ｃ(k)＝１−ΣＰ(n)／｛Ｓqrt(Σ(Ａn−２・Ａn+d＋Ａn+2d)２)・Ｓqrt(Σ(Ｂn+k−２・Ｂn+d+k＋Ｂn+2d+k)２)｝ ・・・（２８）
（２６）式、（２７）式において、Ｎは（２５）式〜（２８）式のΣ演算の積算数である。
【００７９】
図１８に示すような同一性の崩れたサイン波形の一対の像データに対し、（２８）式に示す相関演算（ｄ＝１）を適用して相関量Ｃ(k)を求めると、図４１に示すようなグラフとなる。上記図３６に■印で示すグラフは、図１８に示すサイン波形の一対の像データを±１画素の範囲において０．１画素単位で相対的にずらした場合の、横軸に像ズレ量をとり、縦軸に（２８）式による像ズレ量演算結果をとって示したものである。また、上記図３７に■印で示すグラフは横軸に像ズレ量をとり、縦軸に（２８）式による像ズレ量演算の誤差量をとって示したものであり、良好な結果が得られている。
【００８０】
図２４に示すような同一性の崩れたステップ波形の一対の像データに対し、（２８）式に示す相関演算（ｄ＝１）を適用して相関量Ｃ(k)を求めると、図４２に示すようなグラフとなる。上記図３９に■印で示すグラフは、同図中に□印のグラフで示す上述した（２４）式による演算結果とほぼ重なっているが、図２４に示すステップ波形の一対の像データを±１画素の範囲において０．１画素単位で相対的にずらした場合の、横軸に像ズレ量をとり、縦軸に（２８）式による像ズレ量演算結果をとって示したものである。また、上記図４０に■印で示すグラフは、同図中に□印のグラフで示す（２４）式による像ズレ量演算の誤差量を示すグラフと重なっているが、横軸に像ズレ量をとり、縦軸に（２８）式による像ズレ量演算の誤差量をとって示したものであり、良好な結果が得られている。
【００８１】
正規化の方式としては、（２５）式〜（２８）式以外に（２９）式、（３０）式のような簡略化した方式も可能である。
Ｐ(n)＝（Ａn−２・Ａn+d＋Ａn+2d）・（Ｂn+k−２・Ｂn+d+k＋Ｂn+2d+k） ・・・（２９），
Ｃ(k)＝１−ΣＰ(n)／｛(ΣＡn／Ｎ)・(ΣＢn+k／Ｎ)｝ ・・・（３０）
【００８２】
（２５）式〜（２８）式の正規化方法および（２９）式、（３０）式の正規化方法においては、いったん局所的相関量Ｐ(n)の積算を行った後に、正規化のために第１データ列の積算量（Ｓqrt(Σ(Ａn−２・Ａn+d＋Ａn+2d)２)、ΣＡn／Ｎ）、および第２データ列の積算量（Ｓqrt(Σ(Ｂn+k−２・Ｂn+d+k＋Ｂn+2d+kk)２)、ΣＢn+k／Ｎ）で一律に正規化を行う例を示したが、局所的相関量Ｐ(n)ごとに個々に正規化を行い、それを積算して相関量Ｃ(k)を求めるようにしてもよい。このようにすれば個々の局所的相関量Ｐ(n)ごとに像歪みの影響を軽減できるので、さらに像ズレ検出精度の向上が期待できる。
【００８３】
例えば（３１）式、（３２）式に示す局所的相関量Ｐ(n)と相関量Ｃ(k)を演算する。
Ｐ(n)＝（Ａn−２・Ａn+d＋Ａn+2d）・（Ｂn+k−２・Ｂn+d+k＋Ｂn+2d+k）／｛Ｓqrt(Ａn２＋Ａn+d２＋Ａn+2d２)・Ｓqrt(Ｂn+k２＋Ｂn+d+k２＋Ｂn+2d+k２)｝・・・（３１），
Ｃ(k)＝Ｗ−ΣＰ(n) ・・・（３２）
（３２）式において、Ｗは所定の定数である。なお、（３１）式の代わりに（３３）式を用いることもできる。
Ｐ(n)＝（Ａn−２・Ａn+d＋Ａn+2d）・（Ｂn+k−２・Ｂn+d+k＋Ｂn+2d+k）／｛（Ａn＋Ａn+d＋Ａn+2d）・（Ｂn+k＋Ｂn+d+k＋Ｂn+2d+k）｝ ・・・（３３）
【００８４】
この他の実施の形態では、局所的相関量Ｐ(n)に、一対のデータ列の１階差分データどうしの内積演算、あるいは２階差分データどうしの内積演算を用いた例を示したが、３階以上の差分データどうしの内積演算を用いてもよい。また、正規化演算に対しては、内積演算を略正規化できる演算、例えばデータの相乗平均などであれば適用可能である。
【００８５】
《発明の他の実施の形態》
以上説明した実施形態では、第１データ列間の１階以上の差分データと第２データ列間の１階以上の差分データとの内積演算により算出した局所的相関量Ｐ(n)を、データの位置ｎを所定区間に亘って積算することによって、歪みが生じた一対の像に対して高精度に像ズレ量の検出を行う例を示したが、本発明はこれらの相関演算方法に限定されるものではなく、以下に示すような他の実施形態も可能である。
【００８６】
（２）式では局所的相関量Ｐ(n)を１階差分データどうしの内積演算とした例を示したが、（３４）式に示すように１階差分データどうしの外積演算としてもよい。
Ｐ(n)＝｜(Ａn−Ａn+d)・(Ｂn+d+k−Ｂn+2d+k)−(Ａn+d−Ａn+2d)・(Ｂn+k−Ｂn+d+k)｜ ・・・（３４）
（３４）式において、ｄは整数定数（＝１，２，３，・・・）である。局所的相関量Ｐ(n)は、１階差分データの組｛(Ａn−Ａn+d)、(Ａn+d−Ａn+2d)｝と,
１階差分データの組｛(Ｂn+k−Ｂn+d+k)、(Ｂn+d+k−Ｂn+2d+k)｝を２次元ベクトルの成分と考えた場合の外積演算の絶対値をとったものとなっており、相関度が高いほど小さな値となる。
【００８７】
（３４）式の局所的相関量Ｐ(n)をデータの位置ｎを所定区間（例えばｎ＝ｐ〜ｑ）に亘って積算したものが、（３５）式に示すように一対のデータ間のシフト量ｋにおける相関量Ｃ(k)となり、この相関量Ｃ(k)は、一対の像信号間の同一性が崩れていた場合でも、同一性が崩れる前の像信号が一致するシフト量ｋにおいて極小値を取ることになる。
Ｃ(k)＝ΣＰ(n)＝Σ｜（Ａn−Ａn+d）・（Ｂn+d+k−Ｂn+2d+k）−（Ａn+d−Ａn+2d）・（Ｂn+k−Ｂn+d+k）｜ ・・・（３５）
【００８８】
図１８に示すような同一性の崩れたサイン波形の一対の像データに対し、（３５）式に示す相関演算（ｄ＝１）を適用して相関量Ｃ(k)を求めると、図４３に示すようなグラフとなる。図４４に□印で示すグラフは、図１８に示すサイン波形の一対の像データを±１画素の範囲において０．１画素単位で相対的にずらした場合の、横軸に像ズレ量をとり、縦軸に（３５）式による像ズレ量演算結果をとって示したものである。また、図４５に□印で示すグラフは横軸に像ズレ量をとり、縦軸に（３５）式による像ズレ量演算の誤差量をとって示したものであり、良好な結果が得られている。
【００８９】
さらに、局所的相関量Ｐ(n)を１階以上の差分データどうしの外積演算とすることも可能であるとともに、正規化処理を適用することも可能である。
【００９０】
（３４）式において、局所的相関量Ｐ(n)は、１階差分データの組｛(Ａn−Ａn+d)、(Ａn+d−Ａn+2d)｝と１階差分データの組｛(Ｂn+k−Ｂn+d+k)、(Ｂn+d+k−Ｂn+2d+k)｝を２次元ベクトルの成分と考えた場合の外積演算としたが、（３６）式に示すように局所的相関量Ｐ(n)を１階差分データの組｛(Ａn−Ａn+d)、(Ａn+d−Ａn+2d)、(Ａn+2d−Ａn+3d)｝と、１階差分データの組｛(Ｂn+k−Ｂn+d+k)、(Ｂn+d+k−Ｂn+2d+k)、(Ｂn+2d+k−Ｂn+3d+k)｝を３次元ベクトルの成分と考えた場合の外積演算（外積により生成されるベクトルの大きさ）としてもよい。
Ｐ(n)＝｛(Ａn−Ａn+d)・(Ｂn+d+k−Ｂn+2d+k)−(Ａn+d−Ａn+2d)・(Ｂn+k−Ｂn+d+k)｝２＋｛(Ａn−Ａn+d)・(Ｂn+2d+k−Ｂn+3d+k)−(Ａn+2d−Ａn+3d)・(Ｂn+k−Ｂn+d+k)｝２＋｛(Ａn+d−Ａn+2d)・(Ｂn+2d+k−Ｂn+3d+k)−(Ａn+2d−Ａn+3d)・(Ｂn+d+k−Ｂn+2d+k)｝２ ・・・（３６）
【００９１】
なお、上述した一実施の形態では、複数の第１データが一次元上に配列された第１データ列（Ａ1〜ＡN）と、複数の第２データが一次元上に配列された第２データ列（Ｂ1〜ＢN）とを、一次元上で変位量を変えながら相対的に変位させ、第１データ列と第２データ列の間の相関量を演算して相関量の極値が得られる変位量を求める相関演算方法において、複数の第１データの１階の差分データから成る第３データ列と、複数の第２データのＮ階の差分データから成る第４データ列との間で外積演算を行い、算出された演算値を相関量とする例を示したが、差分データは２階以上としてもよい。
【００９２】
また、一次元上の所定位置の近傍における上記第３データ列のＭ個（ただし、Ｍ＝２，３，・・）のデータと、上記第４データ列のＭ個のデータとをそれぞれ２または３次元のベクトルの成分としてベクトルの外積演算を行って局所的相関量を算出し、外積演算に用いた複数の第１データと複数の第２データにより局所的相関量を正規化する演算を、一次元上の所定位置を所定区間に亘って移動させて行い、局所的相関量を積算して相関量を算出するようにしてもよい。
【００９３】
あるいは、一次元上の所定位置の近傍における上記第３データ列のＭ個（ただし、Ｍ＝２，３，・・）のデータと、上記第４データ列のＭ個のデータとをそれぞれＭ次元のベクトルの成分としてベクトルの外積演算を行って局所的相関量を算出する演算を、一次元上の所定位置を所定区間に亘って移動させて行い、局所的相関量を積算して該積算値を外積演算に用いた複数の第１データと複数の第２データにより正規化して相関量を算出するようにしてもよい。
【００９４】
《一実施の形態の変形例》
撮像素子における焦点検出エリアの配置は図２に示す配置に限定されず、対角線方向やその他の位置に水平方向および垂直方向に焦点検出エリアを配置してもよい。
【００９５】
図３に示す撮像素子において、焦点検出画素３１３、３１４はひとつの画素内にひとつの光電変換部を備えた例を示したが、ひとつの画素内に一対の光電変換部を備えてもよく、例えば図４６に示すような撮像素子２１２Ａとしてもよい。この撮像素子２１２Ａでは、各焦点検出画素３１１に一対の光電変換部を備えており、各焦点検出画素３１１が図３に示す一対の焦点検出画素３１３、３１４に相当する機能を果たす。
【００９６】
焦点検出画素３１１は、図４７に示すようにマイクロレンズ１０と一対の光電変換部１３，１４を備えている。焦点検出画素３１１には光量をかせぐために色フィルタは配置されておらず、その分光特性は光電変換を行うフォトダイオードの分光感度、赤外カットフィルター（不図示）の分光特性を総合した分光特性（図７参照）となり、図６に示す緑画素、赤画素および青画素の分光特性を加算したような分光特性となり、その感度の光波長領域は緑画素、赤画素および青画素の感度の光波長領域を包括している。
【００９７】
図４８は、図４６に示す撮像素子２１２Ａの焦点検出画素による瞳分割方式の焦点検出動作を説明するための図である。図において、９０は、交換レンズの予定結像面に配置されたマイクロレンズの前方ｄの距離に設定された射出瞳である。ここで、距離ｄは、マイクロレンズの曲率、屈折率、マイクロレンズと光電変換部の間の距離などに応じて決まる距離であって、以下では測距瞳距離と呼ぶ。９１は交換レンズの光軸、５０、６０はマイクロレンズ、（５３，５４）、（６３，６４）は焦点検出画素の対の光電変換部、７３，７４、８３，８４は焦点検出用光束である。
【００９８】
さらに、９３はマイクロレンズ５０、６０により投影された光電変換部５３，６３の領域であり、以下では測距瞳と呼ぶ。同様に、９４はマイクロレンズ５０、６０により投影された光電変換部５４，６４の領域であり、以下では測距瞳と呼ぶ。図４８では、光軸９１上にある焦点検出画素（マイクロレンズ５０と一対の光電変換部５３、５４からなる）と、隣接する焦点検出画素（マイクロレンズ６０と一対の光電変換部６３、６４からなる）を模式的に例示しているが、撮像面上の周辺に配置された焦点検出用画素においても、一対の光電変換部はそれぞれ一対の測距瞳９３、９４から各マイクロレンズに到来する光束を受光する。焦点検出画素の配列方向は一対の測距瞳の並び方向と一致させる。
【００９９】
マイクロレンズ５０、６０は光学系の予定結像面近傍に配置されており、光軸９１上に配置されたマイクロレンズ５０によって、その背後に配置された一対の光電変換部５３、５４の形状がマイクロレンズ５０、６０から測距瞳距離ｄだけ離間した射出瞳９０上に投影され、その投影形状は測距瞳９３，９４を形成する。また、マイクロレンズ５０に隣接して配置されたマイクロレンズ６０によって、その背後に配置された一対の光電変換部６３、６４の形状が測距瞳距離ｄだけ離間した射出瞳９０上に投影され、その投影形状は測距瞳９３，９４を形成する。すなわち、測距瞳距離ｄにある射出瞳９０上で各焦点検出画素の光電変換部の投影形状（測距瞳９３，９４）が一致するように、各画素のマイクロレンズと光電変換部の位置関係が決定されている。
【０１００】
光電変換部５３は、測距瞳９３を通過してマイクロレンズ５０へ向う焦点検出光束７３によってマイクロレンズ５０上に形成される像の強度に対応した信号を出力する。また、光電変換部５４は、測距瞳９４を通過してマイクロレンズ５０へ向う焦点検出光束７４によってマイクロレンズ５０上に形成される像の強度に対応した信号を出力する。同様に、光電変換部６３は、測距瞳９３を通過してマイクロレンズ６０へ向う焦点検出光束８３によってマイクロレンズ６０上に形成される像の強度に対応した信号を出力する。また、光電変換部６４は、測距瞳９４を通過してマイクロレンズ６０へ向う焦点検出光束８４によってマイクロレンズ６０上に形成される像の強度に対応した信号を出力する。
【０１０１】
このような焦点検出用画素を直線状に多数配置し、各画素の一対の光電変換部の出力を測距瞳９３および測距瞳９４に対応した出力グループにまとめることによって、測距瞳９３と測距瞳９４を各々通過する焦点検出光束が焦点検出画素列上に形成する一対の像の強度分布に関する情報が得られる。この情報に対して後述する像ズレ検出演算処理（相関演算処理、位相差検出処理）を施すことによって、いわゆる瞳分割方式で一対の像の像ズレ量が検出される。さらに、像ズレ量に所定の変換処理を施すことによって、予定結像面に対する現在の結像面（予定結像面上のマイクロレンズアレイの位置に対応した焦点検出位置における結像面）の偏差（デフォーカス量）が算出される。
【０１０２】
次に、図３に示す撮像素子２１２では撮像画素３１０がベイヤー配列の色フィルターを備えた例を示したが、色フィルターの構成や配列はこれに限定されることはなく、補色フィルター（緑：Ｇ、イエロー：Ｙｅ、マゼンタ：Ｍｇ，シアン：Ｃｙ）の配列を採用してもよい。また、図３に示す撮像素子２１２では焦点検出画素３１３、３１４に色フィルターを設けない例を示したが、撮像画素３１０と同色の色フィルターの内のひとつのフィルター（例えば緑フィルター）を設けるようにした場合でも、本発明を適用することができる。
【０１０３】
また、上述した一実施の形態の図５、図４７に示す焦点検出画素３１１、３１３、３１４では、光電変換部の形状を半円形や矩形にした例を示したが、焦点検出画素の光電変換部の形状はこれらに限定されず、他の形状であってもよい。例えば焦点検出画素の光電変換部の形状を楕円や多角形にすることも可能である。
【０１０４】
さらに、図３に示す撮像素子２１２では、撮像画素と焦点検出画素を稠密正方格子配列に配置した例を示したが、稠密六方格子配列としてもよい。
【０１０５】
上述した一実施の形態では、マイクロレンズを用いた瞳分割方式による焦点検出動作を説明したが、本発明はこのような方式の焦点検出に限定されず、再結像瞳分割方式の焦点検出にも適用可能である。図４９により、再結像瞳分割方式の焦点検出動作を説明する。図４９において、１９１は交換レンズの光軸、１１０，１２０はコンデンサレンズ、１１１、１２１は絞りマスク、１１２，１１３、１２２，１２３は絞り開口、１１４、１１５、１２４，１２５は再結像レンズ、１１６、１２６は焦点検出用のイメージセンサー（ＣＣＤ）である。
【０１０６】
また、１３２，１３３、１４２，１４３は焦点検出光束、１９０は交換レンズの予定結像面の前方ｄ５の距離に設定された射出瞳である。ここで、距離ｄ５は、コンデンサレンズ１１０，１２０の焦点距離と、コンデンサレンズ１１０，１２０と絞り開口１１２，１１３、１２２，１２３との間の距離などに応じて決まる距離であって、以下では測距瞳距離と呼ぶ。１９２は、コンデンサレンズ１１０，１２０により投影された絞り開口１１２，１２２の領域であり、以下では測距瞳と呼ぶ。同様に、１９３は、コンデンサレンズ１１０，１２０により投影された絞り開口１１３，１２３の領域であり、以下では測距瞳と呼ぶ。コンデンサレンズ１１０、絞りマスク１１１、絞り開口１１２，１１３、再結像レンズ１１４、１１５およびイメージセンサー１１６が、一つの位置で焦点検出を行う再結像方式の瞳分割方位相差検出の焦点検出ユニットを構成する。
【０１０７】
図４９においては、光軸１９１上にある焦点検出ユニットと光軸外にある焦点検出ユニットとを模式的に例示している。複数の焦点検出ユニットを組み合わせることによって、図２に示す３箇所の焦点検出位置１０１〜１０３において再結像方式の瞳分割位相差検出で焦点検出を行う焦点検出装置を実現することができる。
【０１０８】
コンデンサレンズ１１０からなる焦点検出ユニットは、交換レンズの予定結像面近傍に配置されたコンデンサレンズ１１０、その背後に配置されたイメージサンサ１１６、コンデンサレンズ１１０とイメージサンサ１１６との間に配置され、予定結像面近傍に結像された１次像をイメージセンサー１１６上に再結像する一対の再結像レンズ１１４、１１５、一対の再結像レンズの近傍（図では前面）に配置された一対の絞り開口１１２、１１３を有する絞りマスク１１から構成される。
【０１０９】
イメージセンサー１１６は、複数の光電変換部が直線に沿って密に配置されたラインサンサであり、光電変換部の配置方向は一対の測距瞳の分割方向（＝絞り開口の並び方向）と一致させる。このイメージセンサー１１６からは、イメージセンサー１１６上に再結像された一対の像の強度分布に対応した情報が出力され、この情報に対して後述する像ズレ検出演算処理（相関処理、位相差検出処理）を施すことによって、いわゆる瞳分割型位相差検出方式（再結像方式）で一対の像の像ズレ量が検出される。さらに、像ズレ量に所定の変換係数を乗ずることによって、予定結像面に対する現在の結像面の偏差（デフォーカス量）が算出される。
【０１１０】
イメージセンサー１１６は再結像レンズ１１４、１１５により予定結像面上に投影されており、デフォーカス量（像ズレ量）の検出精度は、像ズレ量の検出ピッチ（再結像方式の場合は予定結像面上に投影された光電変換部の配列ピッチ）により決まる。
【０１１１】
コンデンサレンズ１１０は、絞りマスク１１１の絞り開口１１２、１１３を射出瞳１９０上に領域１９２、１９３として投影している。領域１９２，１９３を測距瞳と呼ぶ。すなわち、イメージセンサー１１６上に再結像される一対の像は射出瞳１９０上の一対の測距瞳１９２，１９３を通過する光束によって形成される。射出瞳１９０上の一対の測距瞳１９２，１９３を通過する光束１３２、１３３を焦点検出用光束と呼ぶ。
【０１１２】
このような再結像瞳分割方式においても、測距瞳の口径蝕によってイメージセンサー上に形成される一対の像のバランス崩れが生ずるので、イメージセンサーの出力信号を処理する際に本発明を適用することができる。
【０１１３】
また、本発明は撮影光学系を通過する光束を瞳分割する方式の焦点検出に限定されず、外光三角測距方式による距離測定にも適用可能である。図５０により、外光三角測距方式の焦点検出動作を説明する。図５０において、レンズ３２０とその結像面に配置されたイメージセンサー３２６からなるユニットと、レンズ３３０とその結像面に配置されたイメージセンサー３３６からなるユニットとが基線長を隔てて配置される。これらの一対のユニットが測距装置３４７を構成する。
【０１１４】
測距対象３５０の像が、レンズ３２０および３３０によりイメージセンサー３２６および３３６上に形成される。イメージセンサー３２６および３３６上に形成される像の位置関係は、測距装置３４７から測距対象３５０までの距離に応じて変化する。したがって、イメージセンサー３２６および３３６の信号データに対して本発明を適用した像ズレ検出を行うことによって、２像の相対的位置関係を検出し、この位置関係に基づいて測距対象３５０までの距離を測定することができる。
【０１１５】
外光三角測距方式においては、レンズ３２０とレンズ３３０に汚れや雨滴が付着することによって、一対の信号にレベル差が生じたり歪みが生じたりすることが発生するので、本発明の適用は有効である。
【０１１６】
なお、撮像装置としては、上述したようなカメラボディに交換レンズが装着される構成のデジタルスチルカメラやフィルムスチルカメラに限定されない。例えばレンズ一体型のデジタルスチルカメラ、フィルムスチルカメラ、あるいはビデオカメラにも本発明を適用することができる。さらには、携帯電話などに内蔵される小型カメラモジュール、監視カメラやロボット用の視覚認識装置などにも適用できる。
【０１１７】
また、本発明は、カメラ以外の焦点検出装置や測距装置、さらにはステレオ測距装置にも適用できる。さらに、時間が異なるイメージセンサーの信号間の相関を検出して被写体像の動きやカメラのブレを検出する装置にも適用できる。さらにまた、イメージセンサーの画像信号と特定の画像信号のパターンマッチングにも適用できる。
【０１１８】
さらに、本発明は、画像信号データの相関を検出するものに限定されず、音に関するデータの相関やその他一般に２つの信号の相関を検出するものにも適用することができる。
【図面の簡単な説明】
【０１１９】
【図１】一実施の形態のカメラの構成を示すカメラの横断面図
【図２】交換レンズの撮影画面上における焦点検出位置を示す図
【図３】撮像素子の詳細な構成を示す正面図
【図４】撮像画素の構成を示す正面図
【図５】焦点検出画素の構成を示す正面図
【図６】撮像画素の分光特性を示す図
【図７】焦点検出画素の分光特性を示す図
【図８】撮像画素の断面図
【図９】焦点検出画素の断面図
【図１０】マイクロレンズを用いた瞳分割型位相差検出方式の焦点検出光学系の構成を示す図
【図１１】一実施の形態のデジタルスチルカメラ（撮像装置）の撮像動作を示すフローチャート
【図１２】図１１のステップ１３０における焦点検出演算処理の詳細を示す示すフローチャート
【図１３】焦点検出光束のケラレ（口径蝕）を説明するための図
【図１４】予定焦点面から光軸の方向に測距瞳面を見た場合の図
【図１５】図１３および図１４の状態において位置ｘ０（像高０）の近傍の焦点検出画素列が受光する一対の像と、位置ｘ１（像高ｈ）の近傍の焦点検出画素列が受光する一対の像の強度分布（縦軸は光量、横軸は撮影画面上の位置）を示した図
【図１６】（１１）式に示す相関量Ｃ(k)の演算と一対のデータ列（Ａ1〜ＡN、Ｂ1〜ＢN）との関係を示す図
【図１７】焦点検出演算（相関演算）結果の評価方法を説明する図
【図１８】同一性の崩れたサイン波形の一対の像データを示す図
【図１９】図１８に示す同一性の崩れたサイン波形の一対の像データ列に対する（３）式による相関演算結果を示す図
【図２０】図１８に示すサイン波形の一対の像データに対する（３）式による像ズレ量演算結果を示す図
【図２１】図１８に示すサイン波形の一対の像データに対する（３）式による像ズレ量演算の誤差量を示す図
【図２２】図１８に示すサイン波形の一対の像データに対する（９）式による像ズレ量演算結果を示す図
【図２３】図１８に示すサイン波形の一対の像データに対する（９）式による像ズレ量演算結果を示す図
【図２４】同一性の崩れたステップ波形の一対の像データの例を示す図
【図２５】図２４に示す同一性の崩れたステップ波形の一対の像データに対する（９）式による相関演算結果を示す図
【図２６】図２４に示す同一性の崩れたステップ波形の一対の像データに対する（９）式による像ズレ量演算結果を示す図
【図２７】図２４に示す同一性の崩れたステップ波形の一対の像データに対する（３）式による相関量演算結果を示す図
【図２８】図２４に示す同一性の崩れたステップ波形の一対の像データに対する（３）式による像ズレ量演算結果を示す図
【図２９】図２４に示す同一性の崩れたステップ波形の一対の像データに対する（３）式による像ズレ量演算の誤差量を示す図
【図３０】図１８に示すような同一性の崩れたサイン波形の一対の像データに対する（１３）式による相関演算結果を示す図
【図３１】図２４に示すような同一性の崩れたステップ波形の一対の像データに対する（１３）式による相関演算結果を示す図
【図３２】図１８に示すような同一性の崩れたサイン波形の一対の像データに対する（１７）式による相関演算結果を示す図
【図３３】図１８に示すような同一性の崩れたサイン波形の一対の像データに対する（１７）式による像ズレ量演算の誤差量を示す図
【図３４】図２４に示すような同一性の崩れたステップ波形の一対の像データに対する（１７）式による相関演算結果を示す図
【図３５】図１８に示すような同一性の崩れたサイン波形の一対の像データに対する（２４）式による相関演算結果を示す図
【図３６】図１８に示すような同一性の崩れたサイン波形の一対の像データに対する（２４）式による像ズレ量演算結果を示す図
【図３７】図１８に示すような同一性の崩れたサイン波形の一対の像データに対する（２４）式による像ズレ量演算の誤差量を示す図
【図３８】図２４に示すような同一性の崩れたステップ波形の一対の像データに対する（２４）式による相関演算結果を示す図
【図３９】図２４に示すような同一性の崩れたステップ波形の一対の像データに対する（２４）式による像ズレ量演算結果を示す図
【図４０】図２４に示すような同一性の崩れたステップ波形の一対の像データに対する（２４）式による像ズレ量演算の誤差量を示す図
【図４１】図１８に示すような同一性の崩れたサイン波形の一対の像データに対する（２８）式による相関演算結果を示す図
【図４２】図２４に示すような同一性の崩れたステップ波形の一対の像データに対する（２８）式による相関演算結果を示す図
【図４３】図１８に示すような同一性の崩れたサイン波形の一対の像データに対する（３５）式による相関演算結果を示す図
【図４４】図１８に示すような同一性の崩れたサイン波形の一対の像データに対する（３５）式による像ズレ量演算結果を示す図
【図４５】図１８に示すような同一性の崩れたサイン波形の一対の像データに対する（３５）式による像ズレ量演算の誤差量を示す図
【図４６】変形例の撮像素子の部分拡大図
【図４７】図４６に示す変形例の撮像素子で用いる焦点検出画素の正面図
【図４８】図４６に示す変形例の撮像素子の焦点検出画素による瞳分割方式の焦点検出動作を説明するための図
【図４９】再結像瞳分割方式の焦点検出動作を説明するための図
【図５０】外光三角測距方式の焦点検出動作を説明するための図
【符号の説明】
【０１２０】
１０；マイクロレンズ、１１、１３、１４；光電変換部、２０２；交換レンズ、２１２、２１２Ａ；撮像素子、２１４ ボディ駆動制御装置、３１０；撮像画素、３１１、３１３、３１４；焦点検出画素
【特許請求の範囲】
【請求項１】
複数の第１データが一次元上に配列された第１データ列と、複数の第２データが一次元上に配列された第２データ列とを、一次元上で変位量を変えながら相対的に変位させ、前記第１データ列と前記第２データ列の間の相関量を演算して前記相関量の極値が得られる前記変位量を求める相関演算方法において、
前記複数の第１データのＮ階（ただし、Ｎ＝１，２，・・）の差分データから成る第３データ列と、前記複数の第２データのＮ階の差分データから成る第４データ列との間で内積演算を行い、算出された演算値を前記相関量とすることを特徴とする相関演算方法。
【請求項２】
請求項１に記載の相関演算方法において、
前記内積演算に用いた前記複数の第１データと前記複数の第２データにより前記演算値を正規化することを特徴とする相関演算方法。
【請求項３】
請求項１に記載の相関演算方法において、
一次元上の所定位置の近傍における前記第３データ列のＭ個（ただし、Ｍ＝２，３，・・）のデータと、前記第４データ列のＭ個のデータとをそれぞれＭ次元のベクトルの成分としてベクトルの内積演算を行って局所的相関量を算出し、前記内積演算に用いた前記複数の第１データと前記複数の第２データにより前記局所的相関量を正規化する演算を、一次元上の前記所定位置を所定区間に亘って移動させて行い、前記局所的相関量を積算して前記相関量を算出することを特徴とする相関演算方法。
【請求項４】
請求項１に記載の相関演算方法において、
一次元上の所定位置の近傍における前記第３データ列のＭ個（ただし、Ｍ＝２，３，・・）のデータと、前記第４データ列のＭ個のデータとをそれぞれＭ次元のベクトルの成分としてベクトルの内積演算を行って局所的相関量を算出する演算を、一次元上の前記所定位置を所定区間に亘って移動させて行い、前記局所的相関量を積算して該積算値を前記内積演算に用いた前記複数の第１データと前記複数の第２データにより正規化して前記相関量を算出することを特徴とする相関演算方法。
【請求項５】
複数の第１データが一次元上に配列された第１データ列と、複数の第２データが一次元上に配列された第２データ列とを、一次元上で変位量を変えながら相対的に変位させ、前記第１データ列と前記第２データ列の間の相関量を演算して前記相関量の極値が得られる前記変位量を求める相関演算方法において、
前記複数の第１データのＮ階（ただし、Ｎ＝１，２，・・）の差分データから成る第３データ列と、前記複数の第２データのＮ階の差分データから成る第４データ列との間で外積演算を行い、算出された演算値を前記相関量とすることを特徴とする相関演算方法。
【請求項６】
請求項５に記載の相関演算方法において、
前記外積演算に用いた前記複数の第１データと前記複数の第２データにより前記演算値を正規化することを特徴とする相関演算方法。
【請求項７】
請求項５に記載の相関演算方法において、
一次元上の所定位置の近傍における前記第３データ列のＭ個（ただし、Ｍ＝２，３，・・）のデータと、前記第４データ列のＭ個のデータとをそれぞれＭ次元のベクトルの成分としてベクトルの外積演算を行って局所的相関量を算出し、前記外積演算に用いた前記複数の第１データと前記複数の第２データにより前記局所的相関量を正規化する演算を、一次元上の前記所定位置を所定区間に亘って移動させて行い、前記局所的相関量を積算して前記相関量を算出することを特徴とする相関演算方法。
【請求項８】
請求項５に記載の相関演算方法において、
一次元上の所定位置の近傍における前記第３データ列のＭ個（ただし、Ｍ＝２，３，・・）のデータと、前記第４データ列のＭ個のデータとをそれぞれＭ次元のベクトルの成分としてベクトルの外積演算を行って局所的相関量を算出する演算を、一次元上の前記所定位置を所定区間に亘って移動させて行い、前記局所的相関量を積算して該積算値を前記外積演算に用いた前記複数の第１データと前記複数の第２データにより正規化して前記相関量を算出することを特徴とする相関演算方法。
【請求項９】
請求項１〜８のいずれか一項に記載の相関演算方法により、前記相関量の極値が得られる前記変位量を求める演算手段を備えることを特徴とする相関演算装置。
【請求項１０】
結像光学系を通る一対の光束を受光し、この一対の光束が前記結像光学系の予定焦点面上に形成する一対の像に対応する一対のデータ列を生成する瞳分割像検出手段と、
前記一対のデータ列の間の相関量の極値が得られる変位量を求める請求項９に記載の相関演算装置と、
前記変位量に基づいて前記結像光学系の焦点調節状態を検出する焦点検出手段とを備えることを特徴とする焦点検出装置。
【請求項１１】
請求項１０に記載の焦点検出装置と、
マイクロレンズと光電変換部から成る撮像用画素と焦点検出用画素が配列された撮像素子とを備え、
前記瞳分割像検出手段は、前記焦点検出用画素の出力に基づいて前記一対のデータ列を生成することを特徴とする撮像装置。
【請求項１】
複数の第１データが一次元上に配列された第１データ列と、複数の第２データが一次元上に配列された第２データ列とを、一次元上で変位量を変えながら相対的に変位させ、前記第１データ列と前記第２データ列の間の相関量を演算して前記相関量の極値が得られる前記変位量を求める相関演算方法において、
前記複数の第１データのＮ階（ただし、Ｎ＝１，２，・・）の差分データから成る第３データ列と、前記複数の第２データのＮ階の差分データから成る第４データ列との間で内積演算を行い、算出された演算値を前記相関量とすることを特徴とする相関演算方法。
【請求項２】
請求項１に記載の相関演算方法において、
前記内積演算に用いた前記複数の第１データと前記複数の第２データにより前記演算値を正規化することを特徴とする相関演算方法。
【請求項３】
請求項１に記載の相関演算方法において、
一次元上の所定位置の近傍における前記第３データ列のＭ個（ただし、Ｍ＝２，３，・・）のデータと、前記第４データ列のＭ個のデータとをそれぞれＭ次元のベクトルの成分としてベクトルの内積演算を行って局所的相関量を算出し、前記内積演算に用いた前記複数の第１データと前記複数の第２データにより前記局所的相関量を正規化する演算を、一次元上の前記所定位置を所定区間に亘って移動させて行い、前記局所的相関量を積算して前記相関量を算出することを特徴とする相関演算方法。
【請求項４】
請求項１に記載の相関演算方法において、
一次元上の所定位置の近傍における前記第３データ列のＭ個（ただし、Ｍ＝２，３，・・）のデータと、前記第４データ列のＭ個のデータとをそれぞれＭ次元のベクトルの成分としてベクトルの内積演算を行って局所的相関量を算出する演算を、一次元上の前記所定位置を所定区間に亘って移動させて行い、前記局所的相関量を積算して該積算値を前記内積演算に用いた前記複数の第１データと前記複数の第２データにより正規化して前記相関量を算出することを特徴とする相関演算方法。
【請求項５】
複数の第１データが一次元上に配列された第１データ列と、複数の第２データが一次元上に配列された第２データ列とを、一次元上で変位量を変えながら相対的に変位させ、前記第１データ列と前記第２データ列の間の相関量を演算して前記相関量の極値が得られる前記変位量を求める相関演算方法において、
前記複数の第１データのＮ階（ただし、Ｎ＝１，２，・・）の差分データから成る第３データ列と、前記複数の第２データのＮ階の差分データから成る第４データ列との間で外積演算を行い、算出された演算値を前記相関量とすることを特徴とする相関演算方法。
【請求項６】
請求項５に記載の相関演算方法において、
前記外積演算に用いた前記複数の第１データと前記複数の第２データにより前記演算値を正規化することを特徴とする相関演算方法。
【請求項７】
請求項５に記載の相関演算方法において、
一次元上の所定位置の近傍における前記第３データ列のＭ個（ただし、Ｍ＝２，３，・・）のデータと、前記第４データ列のＭ個のデータとをそれぞれＭ次元のベクトルの成分としてベクトルの外積演算を行って局所的相関量を算出し、前記外積演算に用いた前記複数の第１データと前記複数の第２データにより前記局所的相関量を正規化する演算を、一次元上の前記所定位置を所定区間に亘って移動させて行い、前記局所的相関量を積算して前記相関量を算出することを特徴とする相関演算方法。
【請求項８】
請求項５に記載の相関演算方法において、
一次元上の所定位置の近傍における前記第３データ列のＭ個（ただし、Ｍ＝２，３，・・）のデータと、前記第４データ列のＭ個のデータとをそれぞれＭ次元のベクトルの成分としてベクトルの外積演算を行って局所的相関量を算出する演算を、一次元上の前記所定位置を所定区間に亘って移動させて行い、前記局所的相関量を積算して該積算値を前記外積演算に用いた前記複数の第１データと前記複数の第２データにより正規化して前記相関量を算出することを特徴とする相関演算方法。
【請求項９】
請求項１〜８のいずれか一項に記載の相関演算方法により、前記相関量の極値が得られる前記変位量を求める演算手段を備えることを特徴とする相関演算装置。
【請求項１０】
結像光学系を通る一対の光束を受光し、この一対の光束が前記結像光学系の予定焦点面上に形成する一対の像に対応する一対のデータ列を生成する瞳分割像検出手段と、
前記一対のデータ列の間の相関量の極値が得られる変位量を求める請求項９に記載の相関演算装置と、
前記変位量に基づいて前記結像光学系の焦点調節状態を検出する焦点検出手段とを備えることを特徴とする焦点検出装置。
【請求項１１】
請求項１０に記載の焦点検出装置と、
マイクロレンズと光電変換部から成る撮像用画素と焦点検出用画素が配列された撮像素子とを備え、
前記瞳分割像検出手段は、前記焦点検出用画素の出力に基づいて前記一対のデータ列を生成することを特徴とする撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【図４７】
【図４８】
【図４９】
【図５０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【図４７】
【図４８】
【図４９】
【図５０】
【公開番号】特開２００９−２５１５２３（Ｐ２００９−２５１５２３Ａ）
【公開日】平成２１年１０月２９日（２００９．１０．２９）
【国際特許分類】
【出願番号】特願２００８−１０２６７３（Ｐ２００８−１０２６７３）
【出願日】平成２０年４月１０日（２００８．４．１０）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２１年１０月２９日（２００９．１０．２９）
【国際特許分類】
【出願日】平成２０年４月１０日（２００８．４．１０）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]