焦点検出装置及びその制御方法
【課題】欠陥画素を有する場合であっても合焦時の精度が低減することを防止可能とする。
【解決手段】カメラ１は、複数の第１の焦点検出用画素と複数の第２の焦点検出用画素から構成され、第１の焦点検出用画素と第２の焦点検出用画素とが構成する焦点検出用画素対を複数有する焦点検出センサを有し、その欠陥画素を示す欠陥情報を記憶する。カメラ１は、欠陥情報が示す欠陥画素の値と、欠陥画素と焦点検出用画素対を構成する第１の焦点検出用画素又は第２の焦点検出用画素の値とを、欠陥画素でない同種の焦点検出用画素の値に基づいて補間する。カメラ１は、補間後の第１の焦点検出用画素から得られる第１の焦点検出像と、第２の焦点検出用画素から得られる第２の焦点検出像との位相差から、焦点状態を検出する。
【解決手段】カメラ１は、複数の第１の焦点検出用画素と複数の第２の焦点検出用画素から構成され、第１の焦点検出用画素と第２の焦点検出用画素とが構成する焦点検出用画素対を複数有する焦点検出センサを有し、その欠陥画素を示す欠陥情報を記憶する。カメラ１は、欠陥情報が示す欠陥画素の値と、欠陥画素と焦点検出用画素対を構成する第１の焦点検出用画素又は第２の焦点検出用画素の値とを、欠陥画素でない同種の焦点検出用画素の値に基づいて補間する。カメラ１は、補間後の第１の焦点検出用画素から得られる第１の焦点検出像と、第２の焦点検出用画素から得られる第２の焦点検出像との位相差から、焦点状態を検出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、焦点検出装置及びその制御方法に関する。
【背景技術】
【０００２】
近年、焦点検出装置の高性能化に伴い、ファインダ内の多くの点で測距可能ないわゆる多点測距タイプの焦点検出装置が多く提案されている。位相差ＡＦの原理を活用して多点測距を行う焦点検出装置においては、夫々の測距点に対応した１対の焦点検出像を取得して相関演算を行い、その位相差からデフォーカス量を計算する方法が用いられている。
【０００３】
このような焦点検出装置では、測距点の増加に伴い焦点検出像を取得するための光電変換部も増加している。一方、光電変換部は製造上の欠陥を完全に排除することは非常に困難である。特許文献１には、欠陥のある光電変換の信号を周辺の信号から補間生成することで欠陥の影響を低減する技術が開示されている。また、特許文献２には、稠密に配置された光電変換部のうち欠陥を含まない箇所を測距用の信号として用いることで欠陥の影響を排除する技術が開示されている。
【特許文献１】特開平５−５６３５５号公報
【特許文献２】特開２００１−１７７７５６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
一般的に焦点検出装置には合焦時の精度が要求される。ここでいう合焦時の精度とは、撮影光学系の結像面(空間周波数が最も高い位置)と焦点検出装置の求めた合焦位置のずれを指す。
【０００５】
しかしながら、特許文献１、２に記載の方法では、１対の焦点検出像のうちの一方の焦点検出像の欠陥画素が補間生成されるために他方の焦点検出像との相関性が失われてしまい、１対の焦点検出像による相関演算に影響が生じる。このため、合焦時の精度が低減する虞があった。特に被写体の輪郭などの被写体像において特徴がある場所が欠陥画素にかかる場合は影響を受けやすい。
【０００６】
本発明は、このような従来技術の課題を解決することを目的としてなされたものである。本発明の目的は、欠陥画素を有する場合であっても合焦時の精度が低減することを防止可能な焦点検出装置、その制御方法及びプログラムを提供することである。
【課題を解決するための手段】
【０００７】
上記目的は、撮像光学系による結像面の焦点状態を検出する焦点検出装置において、複数の第１の焦点検出用画素と複数の第２の焦点検出用画素から構成され、前記第１の焦点検出用画素と前記第２の焦点検出用画素とが構成する焦点検出用画素対を複数有する焦点検出センサと、前記焦点検出センサの欠陥画素を示す欠陥情報を記憶する欠陥記憶手段と、前記欠陥情報が示す欠陥画素の値と、当該欠陥画素と前記焦点検出用画素対を構成する前記第１の焦点検出用画素又は前記第２の焦点検出用画素の値とを、前記欠陥画素でない同種の焦点検出用画素の値に基づいて補間する補間手段と、前記補間手段による補間後の前記複数の焦点検出用画素対の前記第１の焦点検出用画素から得られる第１の焦点検出像と、前記第２の焦点検出用画素から得られる第２の焦点検出像との位相差から、前記焦点状態を検出する検出手段と、を備えることを特徴とする本発明による焦点検出装置によって達成される。
【０００８】
また、上記目的は、撮像光学系による結像面の焦点状態を検出する焦点検出装置において、複数の第１の焦点検出用画素と複数の第２の焦点検出用画素から構成され、前記第１の焦点検出用画素と前記第２の焦点検出用画素とが構成する焦点検出用画素対を複数有する焦点検出センサと、前記焦点検出センサの欠陥画素を示す欠陥情報を記憶する欠陥記憶手段と、前記欠陥情報が示す欠陥画素の値と、当該欠陥画素と前記焦点検出用画素対を構成する前記第１の焦点検出用画素又は前記第２の焦点検出用画素の値とを、前記焦点状態の検出に用いないように排除する排除手段と、前記排除手段による排除後の前記複数の焦点検出用画素対の前記第１の焦点検出用画素から得られる第１の焦点検出像と、前記第２の焦点検出用画素から得られる第２の焦点検出像との位相差から、前記焦点状態を検出する検出手段と、を備えることを特徴とする本発明による焦点検出装置によっても達成される。
【０００９】
また、上記目的は、複数の第１の焦点検出用画素と複数の第２の焦点検出用画素から構成され、前記第１の焦点検出用画素と前記第２の焦点検出用画素とが構成する焦点検出用画素対を複数有する焦点検出センサと、前記焦点検出センサの欠陥画素を示す欠陥情報を記憶する欠陥記憶手段とを有し、撮像光学系による結像面の焦点状態を検出する焦点検出装置の制御方法であって、前記欠陥情報が示す欠陥画素の値と、当該欠陥画素と前記焦点検出用画素対を構成する前記第１の焦点検出用画素又は前記第２の焦点検出用画素の値とを、前記欠陥画素でない同種の焦点検出用画素の値に基づいて補間する補間工程と、前記補間工程による補間後の前記複数の焦点検出用画素対の前記第１の焦点検出用画素から得られる第１の焦点検出像と、前記第２の焦点検出用画素から得られる第２の焦点検出像との位相差から、前記焦点状態を検出する検出工程と、を含むことを特徴とする本発明による焦点検出装置の制御方法によっても達成される。
【００１０】
また、上記目的は、複数の第１の焦点検出用画素と複数の第２の焦点検出用画素から構成され、前記第１の焦点検出用画素と前記第２の焦点検出用画素とが構成する焦点検出用画素対を複数有する焦点検出センサと、前記焦点検出センサの欠陥画素を示す欠陥情報を記憶する欠陥記憶手段とを有し、撮像光学系による結像面の焦点状態を検出する焦点検出装置の制御方法であって、前記欠陥情報が示す欠陥画素の値と、当該欠陥画素と前記焦点検出用画素対を構成する前記第１の焦点検出用画素又は前記第２の焦点検出用画素の値とを、前記焦点状態の検出に用いないように排除する排除工程と、前記排除工程による排除後の前記複数の焦点検出用画素対の前記第１の焦点検出用画素から得られる第１の焦点検出像と、前記第２の焦点検出用画素から得られる第２の焦点検出像との位相差から、前記焦点状態を検出する検出工程と、を含むことを特徴とする本発明による焦点検出装置の制御方法によっても達成される。
【発明の効果】
【００１１】
本発明によれば、欠陥画素を有する場合であっても合焦時の精度が低減することを防止できる。
【発明を実施するための最良の形態】
【００１２】
以下、この発明の実施の形態について図を参照して説明するが、この発明は以下の実施の形態に限定されない。また、この発明の実施の形態は発明の最も好ましい形態を示すものであり、発明の範囲を限定するものではない。
【００１３】
［第１の実施形態］
以下に、図１〜図１６を参照して第１の実施形態を説明する。図１は、第１の実施形態に係る焦点検出装置を備えたカメラ１の構成の概略を示す断面図である。図１に示すように、カメラ１は、イメージセンサ１０（撮像素子）が撮像光学系としての撮像レンズ５の予定結像面（以下、結像面という）に配置されたデジタルスチルカメラである。
【００１４】
カメラ１は、接眼レンズ３、ＣＰＵ２０、イメージセンサ制御回路２１、メモリ回路２２、インターフェース回路２３、画像処理回路２４を有する。接眼レンズ３は、ユーザが撮像レンズ５から入射された被写体像を観察するための光学レンズである。ＣＰＵ２０（Central Processing Unit）はカメラ１の動作を中央制御する。また、ＣＰＵ２０は、撮像レンズ５の焦点状態を検出するための検出手段を兼ねている。
【００１５】
イメージセンサ制御回路２１は、ＣＰＵ２０の制御の下でイメージセンサ１０を駆動制御する。メモリ回路２２は、イメージセンサ１０にて撮像された画像データなどを記録する。また、メモリ回路２２は、イメージセンサ１０の受光分布に関する情報や、欠陥記憶手段として後述する焦点検出センサの欠陥情報も予め記憶している。
【００１６】
インターフェース回路２３は、接続コネクタ（図示しない）などを介して外部機器と通信接続し、例えば画像処理回路２４にて画像処理された画像データを接続された外部機器へ出力する。画像処理回路２４は、イメージセンサ１０にて撮像した画像データに対して所定の画像処理を行う。
【００１７】
撮像レンズ５は、カメラ１の本体に対して着脱可能なレンズである。撮像レンズ５は、カメラ１の本体のＣＰＵ２０から送られてくる情報を電気接点２６を介してレンズＣＰＵ５０にて受信する。ＣＰＵ２０から送られてくる情報とは、撮像レンズ５の駆動制御に関する情報であり、具体的には焦点調整を行うための焦点調整情報、絞り調整を行うための絞り調整情報などである。レンズ駆動機構５１は、フォーカスレンズを駆動するアクチュエータなどである。絞り駆動機構５２は、絞り装置５３を駆動するアクチュエータなどである。絞り装置５３は絞り羽根などで入射光量を調整する。
【００１８】
レンズＣＰＵ５０は、ＣＰＵ２０から送られてくる焦点調整情報に基づいてレンズ駆動機構５１を駆動することで、イメージセンサ１０に結像される被写体像を合焦状態とする。また、レンズＣＰＵ５０は、ＣＰＵ２０から送られてくる絞り調整情報に基づいて絞り駆動機構５２を駆動することで、絞り装置５３を所定の絞り値に絞り込む。
【００１９】
図２は、イメージセンサ１０の一部の領域を例示する平面図である。図２において、「Ｒ」「Ｇ」「Ｂ」の文字はイメージセンサ１０における各画素のカラーフィルタの色相を表している。「Ｒ」の文字の書かれた画素は赤の成分の光を透過し、「Ｇ」の文字の書かれた画素は緑の成分の光を透過し、「Ｂ」の文字の書かれた画素は青の成分の光を透過する。図２では「Ｒ」「Ｇ」「Ｂ」の色相をハッチングパターンで示している。図２のハッチングパターンからも明らかなように、イメージセンサ１０における「Ｒ」「Ｇ」「Ｂ」の各画素はいわゆるベイヤ配列にしたがって配置されている。
【００２０】
カラーフィルタの配列がベイヤ配列に従うため、１絵素は「Ｒ」「Ｂ」の画素と２つの「Ｇ」の画素から構成される。また、イメージセンサ１０には、「Ｒ」あるいは「Ｂ」であるべき画素の一部において、撮像レンズ５の一部の瞳領域を通過した光束を受光する焦点検出用画素が複数割り当てられている。具体的には、図２においてＡ、Ｂで示した画素が撮像レンズ５の焦点状態を検出するための焦点検出用画素（第１の焦点検出用画素、第２の焦点検出用画素）である。また、焦点検出用画素は、１つのＡ画素と、１つのＢ画素の組合わせが位相差検出を行うための焦点検出用画素対（以下、画素対）となっている。また、図２に示すように、この画素対は、イメージセンサ１０において所定のピッチで分散して複数配置されている。
【００２１】
この焦点検出用画素は、詳細な構成については後述するが、図３に示す第１の電極１３１にてｘ方向（図２における横方向）の開口が制限されている。またＡ、Ｂの焦点検出用画素では、後述するように互いに異なる瞳領域を通った光線が結像している。したがって、イメージセンサ１０は、撮像レンズ５の一部の画素をＡ、Ｂの焦点検出用画素とし、その画素対を複数有する焦点検出センサとしての機能を有している。
【００２２】
図２に示すように、イメージセンサ１０では、Ａ、Ｂで示した焦点検出用画素を互いに隣接させ、可能な限り互いの距離を短くしている。このため、Ａ、Ｂで示した焦点検出用画素が被写体像の異なる模様のところを見てしまう可能性を最小限に抑えており、焦点検出誤差を軽減させている。
【００２３】
また、イメージセンサ１０では、偶数ラインと奇数ラインで境界位置を一致させて、Ａ、Ｂで示した焦点検出用画素の位置を反転させている。このため、被写体像のエッジ部分がＡ、Ｂで示した焦点検出用画素の境界部分にかかった場合において、Ａ、Ｂで示した焦点検出用画素から得られる像の位相がずれてしまう場合には、その位相ずれが両方同時に発生することとなる。しかも、そのずれ量は、Ａ、Ｂで示した焦点検出用画素から得られる像において互いに等しく、方向が逆向きとなる。そこで、本実施形態では、瞳分割方向と垂直方向に隣接するラインを少なくとも２つセットで相関演算を行うことで、焦点検出誤差を打ち消し合うようにしている。これは、後述する１対の像の数の決定において、必ず偶数を指定することに対応する。これにより、焦点検出誤差を軽減することができる。
【００２４】
図３は、イメージセンサ１０の一部の画素の前述したＸ方向での断面を示す図である。具体的には、図３は、Ｘ方向の開口が制限された焦点検出用画素と、開口が制限されることなく全瞳領域を受光可能な画素との断面図である。図３において、右側の画素は、撮像レンズ５の全瞳領域を受光可能な画素である。また、左側の焦点検出用画素は、Ｘ方向の開口が制限されており、撮像レンズ５の一部の瞳領域からの光束を受光可能な画素である。なお、一部の瞳領域から光束を受光することについては、図４を参照して後述する。
【００２５】
図３に示すように、イメージセンサ１０は、シリコン基板１１０の内部に光電変換部１１１が形成されている。光電変換部１１１において、被写体像を光電変換して発生した信号電荷は、フローティングディフュージョン部（図示しない）、第１の電極１３１及び第２の電極１３２を介して外部に出力される。光電変換部１１１と第１の電極１３１との間には層間絶縁膜１２１が形成され、第１の電極１３１と第２の電極１３２との間には層間絶縁膜１２２が形成されている。
【００２６】
また、第２の電極１３２の光入射側（Ｚ方向）には層間絶縁膜１２３が形成され、さらにパッシべーション膜１４０、平坦化層１５０が形成されている。平坦化層１５０の光入射側には、カラーフィルタ層１５１、平坦化層１５２及びマイクロレンズ１５３が形成されている。ここで、マイクロレンズ１５３の光学パワーは、撮像レンズ５の瞳と光電変換部１１１が略共役になるように設定されている。また、イメージセンサ１０の撮像面において、マイクロレンズ１５３は、中央に位置する画素では画素の中心に配設され、周辺に位置する画素では撮像レンズ５の光軸側に偏倚して配設される。
【００２７】
撮像レンズ５を透過した被写体光は、イメージセンサ１０近傍に集光する。さらにイメージセンサ１０の各画素に到達した光は、マイクロレンズ１５３で屈曲されて光電変換部１１１に集光する。通常の撮像に使われる図３に示した右側の画素では、入射する光を遮光しないように第１の電極１３１及び第２の電極１３２が配設されている。
【００２８】
一方、図３に示した左側の焦点検出用画素では、第１の電極１３１の一部が光電変換部１１１を覆うように配設されている。その結果、焦点検出用画素では、撮像レンズ５の瞳の一部を透過する光束のみが受光可能となっている。また、第１の電極１３１が入射光束の一部を遮光していることにより光電変換部１１１の出力が小さくなることを防ぐため、焦点検出用画素のカラーフィルタ層１５４は、光を吸収しない透過率の高い樹脂で形成されている。
【００２９】
図４（ａ）、（ｂ）は、図２に例示したＡ、Ｂの焦点検出用画素の断面と瞳との関係を表した図であり、個々の焦点検出用画素における瞳分割手段を示している。図４（ａ）は撮像レンズ５の瞳領域１６１ａを通過した光束の光路を例示して瞳分割を説明する図であり、図４（ｂ）は瞳領域１６１ｂを通過した光束の光路を例示して瞳分割を説明する図である。
【００３０】
以下、図４（ａ）、（ｂ）を参照して瞳分割手段について説明する。図４（ａ）、（ｂ）において、左側の焦点検出用画素は図２におけるＡの焦点検出用画素（以下、Ａ画素という）に対応しており、右側の焦点検出用画素は図２におけるＢの焦点検出用画素（以下、Ｂ画素という）に対応している。また、図４（ａ）、（ｂ）において、瞳１６０は撮像レンズ５の瞳を模式的に示したものであり、光電変換部１１１ａ、１１１ｂは夫々がＡ画素、Ｂ画素の光電変換部を示している。
【００３１】
図４（ａ）、（ｂ）に示したように、Ａ画素、Ｂ画素の開口はマイクロレンズ１５３の光軸に対して異なる偏倚量を持つように設けられている。このため、図４（ａ）に示すように、瞳領域１６１ａを通過した光束はＡ画素の光電変換部１１１ａには到達するが、Ｂ画素の光電変換部１１１ｂには到達しない。反対に、図４（ｂ）に示したように、瞳領域１６１ｂを通解した光束はＢ画素の光電変換部１１１ｂには到達するが、Ａ画素の光電変換部１１１ａには到達しない。
【００３２】
図４（ａ）、（ｂ）に示したように、撮像レンズ５の瞳の一部の領域を通過した光束を得ることができる瞳分割手段において、前述した２つの領域の相対的な位置を示す方向（本実施形態ではＸ方向）を瞳分割方向と定義する。また、光軸に直交する平面内で瞳分割方向と垂直をなす方向を垂直方向と定義する。なお、本実施形態では瞳分割方向がＸ方向に存在する焦点検出用画素のみをもつイメージセンサ１０を例示しているが、イメージセンサ１０は、瞳分割方向がＹ方向に存在する焦点検出用画素も含む構成であってもよい。
【００３３】
図５（ａ）、（ｂ）は、撮像レンズ５の瞳１６０からＡ画素、Ｂ画素に入射する光束を模式的に示し、瞳面上での焦点検出用画素への入射特性を説明する図である。図５（ａ）はＡ画素、Ｂ画素に入射する領域と瞳の関係を例示し、図５（ｂ）はＡ画素、Ｂ画素に入射する領域が瞳で切り取られる様子を例示している。
【００３４】
図５（ａ）、（ｂ）では、Ａ画素に入射する瞳領域を１６１ａ、Ｂ画素に入射する瞳領域を１６１ｂで示すとともに、入射する比率を濃淡で示した。したがって、図中において、濃い領域は入射する光量が多く、薄い領域は入射する光量が少ない。このように、瞳の領域により入射する比率が異なるのは、マイクロレンズの収差、光学パワーの合わせ込み誤差、光の回折などが原因である。
【００３５】
また、図５（ａ）に示すように、撮像レンズ５の瞳１６０の外側にもＡ画素、Ｂ画素に入射する領域は存在する。しかしながら、実際には、レンズでケラレが発生するため、図５（ｂ）に示すように、瞳１６０で切り取られた範囲の光がイメージセンサ１０に到達することとなる。
【００３６】
図６は、図５（ｂ）に示す領域からの光束を瞳分離と垂直方向に積分して瞳分離方向の１次元的な像で表現したもので、焦点検出用画素群で生成される線像（焦点検出像）分布図に対応する。図６において、線像分布曲線１６２ａはＡ画素群の線像分布（第１の焦点検出像）を、線像分布曲線１６２ｂはＢ画素群の線像分布（第２の焦点検出像）をそれぞれ示している。
【００３７】
図６から分かるように、Ａ画素、Ｂ画素は互いに入射角特性が異なっているために、デフォーカスした際にＡ画素群の線像とＢ画素群の線像には瞳分離方向の像ずれが発生する。したがって、この像ずれ量と、図６の線像分布を考慮してデフォーカス量を求めることで、いわゆる位相差による焦点検出を行うことが可能となる。
【００３８】
次に、カメラ１の焦点調整及び撮像工程に関する動作について説明する。図７〜図９及び図１３は、カメラ１の焦点調整及び撮像工程を説明するためのフローチャートである。図７は、カメラ１のメインフローを示すフローチャートである。
【００３９】
図７に示すように、ユーザがカメラ１のメインスイッチ（図示しない）をオンにすることで、ＣＰＵ２０は処理を開始する（Ｓ１０１）。次いで、ＣＰＵ２０は、Ｓ１０２において、カメラ１内の各アクチュエータやイメージセンサ１０の動作確認等の初期状態検出を行ない、メモリ内容や実行プログラムの初期化を行なうと共に、撮像準備動作を実行する。
【００４０】
次いで、ＣＰＵ２０は、Ｓ１０３において操作スイッチ（図示しない）などによる操作状況に応じて、イメージセンサ１０の撮像面ＡＦの開始操作が行われたか否かを判定し、撮像面ＡＦの開始操作が行われるまで待機する。撮像面ＡＦの開始操作が行われた場合、ＣＰＵ２０は、Ｓ１０４においてミラーアップとシャッター開放動作を実行させる。
【００４１】
次いで、ＣＰＵ２０は、Ｓ１０５においてイメージセンサ１０を駆動させて撮像動作を開始させ、イメージセンサ１０で撮像された画像の読み出しを行う。これにより、イメージセンサ１０はプレビュー用の低画素動画像を出力する。
【００４２】
次いで、ＣＰＵ２０は、Ｓ１０７において、イメージセンサ１０から読み出した動画像を、カメラ１の背面に設けられた表示器（図示しない）にプレビュー画像として表示させる。ユーザは、このプレビュー画像を目視することで、撮像時の構図決定を行うことができる。
【００４３】
次いで、ＣＰＵ２０は、Ｓ１０９においてプレビュー用の動画像から人物の顔認識を行い、Ｓ１１１においてその顔認識により人物の顔が検出されたか否かを判定する。動画像から顔が検出された場合、ＣＰＵ２０は、Ｓ１１３に処理を移行し、焦点調整モードを顔ＡＦモードに設定する。ここで、顔ＡＦモードとは、検出された顔に焦点を合わせるＡＦモードを指す。
【００４４】
一方、動画像から顔が検出されない場合、ＣＰＵ２０は、Ｓ１１５に処理を移行し、焦点調整モードを多点ＡＦモードに設定する。ここで、多点ＡＦモードとは、イメージセンサ１０の撮像領域を例えば３×５＝１５分割し、各分割領域で焦点検出を行ない、焦点検出結果と被写体の輝度情報から主被写体を類推し、主被写体に合焦させるモードを指す。
【００４５】
Ｓ１１３あるいはＳ１１５でＡＦモードを設定した後、ＣＰＵ２０は、Ｓ１１７において、設定されたＡＦモードに応じた焦点検出領域を設定する。例えば、顔ＡＦモードでは検出された顔領域に焦点検出領域を設定し、多点ＡＦモードでは主被写体に対応した領域に焦点検出領域を設定する。
【００４６】
次いで、ＣＰＵ２０は、Ｓ１２１において、撮像準備スイッチ（図示しない）がオン操作されたか否かを判定し、オン操作されていなければＳ１０５に処理を戻す。これにより、カメラ１は、撮像準備スイッチがオン操作されるまで、Ｓ１０５におけるイメージセンサ１０の駆動からＳ１１７における焦点検出領域の決定までの処理を繰り返し実行することとなる。
【００４７】
Ｓ１２１において撮像準備スイッチがオン操作された場合、ＣＰＵ２０は、Ｓ１３１へ処理を移行し、焦点検出サブルーチンを実行する。
【００４８】
図８は、焦点検出サブルーチンを示すフローチャートである。メインフローのＳ１２１から焦点検出サブルーチンを開始するＳ１３１に処理が移行すると、図８に示すように、ＣＰＵ２０は、Ｓ１３３において、Ｓ１１７で設定した焦点検出領域に含まれる焦点検出用画素を読み出す。
【００４９】
次いで、ＣＰＵ２０は、Ｓ１３５において、焦点検出用画素から、Ｓ１１７で設定した焦点検出領域に対応した測距視野像を切り出す。次いで、ＣＰＵ２０は、Ｓ１３７において、予め製造工程などでチェックされた欠陥画素の情報のうち、Ｓ１３５で切り出した測距視野像内に存在する焦点検出用画素の欠陥情報を欠陥記憶手段としてのメモリ回路２２から得る。次いで、ＣＰＵ２０は、Ｓ１３９において、相関演算サブルーチンを実行する。
【００５０】
図９は、相関演算サブルーチンを示すフローチャートである。焦点検出サブルーチンのＳ１３９により相関演算サブルーチンが実行されると、図９に示すように、ＣＰＵ２０は、Ｓ１９１へ処理をジャンプする。次いで、ＣＰＵ２０は、Ｓ１９３において、焦点検出サブルーチンのＳ１３７で得た欠陥情報に基づいて欠陥画素を補正処理（補間処理）する。
【００５１】
次いで、ＣＰＵ２０は、Ｓ１９５〜Ｓ２０７の像ずらし量のループ処理を行う。具体的には、ＣＰＵ２０は、Ｓ１９７において、像ずらしをした箇所で、Ｓ１３７で得た欠陥画素と対向する画素を補正（補間）する。具体的には、欠陥画素と対向する画素の値が、欠陥画素でない同種の焦点検出用画素の値に基づいて補間される。その後、ＣＰＵ２０は、Ｓ１９９〜Ｓ２０３の視野ループで、測距視野像内で相関量の演算を行う。Ｓ２０１では、例えば後述する演算式などを用いて相関量を演算する。上述した対向画素の補間は、本発明の要部となるので図１０、１１を用いて詳細に説明する。
【００５２】
図１０は、図２に例示したイメージセンサ１０の信号のうち、離散的に配置された焦点検出用画素を抜き出して得られた信号による線像を例示する図である。図２では、Ａ、Ｂで示した画素のｉ行ｊ列で得られる信号をｉＡｊとして表現した。本実施形態においては、ｊが瞳分割方向、ｉが瞳分割方向と直交する方向である。
【００５３】
以下では、図１０において、２Ａ７に欠陥があるとして説明を行う。（図１０のｉ＝２で演算をする場合で説明をする。）
【００５４】
相関量の計算方法は各種の方法が提案されているが、例えば２像の差の絶対値を加算したものを相関量として定義して計算を行う場合には、次の式（１）のとおりに相関量ＣＯＲ（ｋ）を求める。
【００５５】
【数１】
【００５６】
上記式のｉは測距視野によって決まる値である。ｊは測距視野に対応しており、相関演算サブルーチンや視野ループに対応する。ｋは像ずらし量であり相関演算サブルーチンの像ずらしループに対応する。また、相関量を上記式のように定義することで、相関が高い像ずらし量（ｋ）において相関量ＣＯＲ（ｋ）は最小となる。
【００５７】
図１１は、相関演算を行っている時の線像の状態を模式的に示した図である。図１１において、各パラメータは、ｉ＝２、ｊ＝４，５，…，９、ｋ＝−２，−１，０，１，２である。図１１から明らかなように、欠陥画素（２Ａ７）と向かい合う画素は像をずらすごとに、２Ｂ５、２Ｂ６、２Ｂ７、２Ｂ８、２Ｂ９と変化している。本発明では、この欠陥画素（２Ａ７）及び欠陥画素に対向する画素を像ずらしごとに補間生成する。本発明において、上記の方法を、”向き合う対の画素を夫々生成する”方法と定義する。補間生成する方法として、例えばｉＡｊが欠陥画素の場合には、次の式（２）として与えられる。
【００５８】
【数２】
【００５９】
なお、ｉＢｊについても同様である。図１１において、２Ａ７は常に欠陥なので、像ずらし量に関わらず２Ａ７＝（２Ａ６＋２Ａ８）／２として与えられる。このため相関演算サブルーチンのＳ１９３で補正が行われる。一方、向かい合う像は、ｋ＝２［ｂｉｔ］の時は２Ｂ５＝（２Ｂ４＋２Ｂ６）／２、ｋ＝１［ｂｉｔ］の時は２Ｂ６＝（２Ｂ５＋２Ｂ７）／２と変化する。このため、相関演算サブルーチンのＳ１９７では、像ずらし量に応じて欠陥画素の２Ａ７と対向する画素を順次補間して与える。なお、別の補正式としては、次の式（３）、式（４）等を用いることもできる。
【００６０】
【数３】
【００６１】
【数４】
【００６２】
式（２）は瞳分割方向に補間を行う式の例、式（３）は瞳分割と素直方向に補間を行う式の例、式（４）は２次元的に補間を行う式の例を示している。本発明は補間のタイミングとその対象に主な特徴があるのでいずれの補正式を用いてもよい。
【００６３】
図９に戻って相関演算サブルーチンの続きを説明する。ＣＰＵ２０は、測距視野内で計算を行うループ処理（Ｓ１９９〜Ｓ２０３）の後、Ｓ２０５で像ずらし量での相関量をＲＡＭなどのメモリに保存する。ＣＰＵ２０は、Ｓ１９５〜Ｓ２０７の像ずらし量のループ処理で、規定の像ずらし範囲で相関量の演算を行う。
【００６４】
次いで、ＣＰＵ２０は、Ｓ２０８において、Ｓ１９５からＳ２０７でのループで求められた相関量をもとに、焦点検出用画素群における欠陥画素に対向する画素を決定する。つまり、Ｓ２０８では、後述するＳ２０９における補間前において、焦点検出用画素によるＡ画素群における欠陥画素と対向するＢ画素群の画素が決定される。具体的には、式（１）の定義に従うと相関が高い（２つの像がほぼ一致している）時に相関量ＣＯＲは最小となるので、相関量が最小となるｋを求める。具体的には、図１１に示すように、欠陥画素の２Ａ７と対向している画素が２Ｂ５、２Ｂ６、２Ｂ７、２Ｂ８、２Ｂ９の中から選択されることとなる。
【００６５】
次いで、ＣＰＵ２０は、Ｓ２０９において、Ｓ２０８で決定された欠陥画素に対向する画素の補正処理（補間処理）を行う。この補正処理における方法は、具体的には前述した式（２）〜式（４）を用いた補正方法と同様である。例えば、相関量が最小となるｋが１である場合は、欠陥画素と対向する画素の２Ｂ６が式（２）により（２Ｂ５＋２Ｂ７）／２として補正（補間）されることとなる。すなわち、欠陥画素でない同種であるＢ画素群の焦点検出用画素の値に基づいて補間される。
【００６６】
次いで、ＣＰＵ２０は、Ｓ２１１においてデジタルフィルタ処理を行う。Ｓ２１１におけるデジタルフィルタは、焦点検出において注目する周波数などに応じて適切な形状のものを用いてよい。次いで、ＣＰＵ２０は、Ｓ２１３〜Ｓ２２３において、Ｓ２０９で補正処理を行った像を用いて再度相関量を演算する像ずらし量のループ処理を行う。なお、Ｓ２１３〜Ｓ２２３における像ずらし量は、Ｓ１９５〜Ｓ２０７と同じである必要はなく、Ｓ２０９で相関量が最小となったｋの近傍で演算が行われればよい。
【００６７】
像ずらし量のループ処理において、ＣＰＵ２０は、Ｓ２１５〜Ｓ２１９の視野ループで、測距視野内で相関量の演算を行う。具体的には、ＣＰＵ２０は、Ｓ２１７で式（１）などにしたがって相関量を演算する。なお、Ｓ１９３で欠陥画素の補正を、Ｓ２０９で欠陥画素に対向する画素の補正を行ったので、Ｓ２１５とＳ２１７の間では補正処理は行わない。
【００６８】
上述した再度相関量を演算する際の様子を模式的に図１２に示した。図１２では、Ｓ２０９において、相関量が最小となるｋが０であり、２Ａ７と２Ｂ７が対向するとして処理された場合を示している。図１２に示すとおり、Ｓ２０９で補正処理された２Ｂ７は、像ずらし中は補正処理が行われることなく、相関演算に用いられる。次いで、ＣＰＵ２０は、Ｓ２２１において視野ループにより演算された相関量を保存する。
【００６９】
次いで、ＣＰＵ２０は、Ｓ２２５において、プレディクション量を決定する。具体的には、ＣＰＵ２０は、Ｓ２１７で求めた相関量を元に、Ａ画素群の線像とＢ画素群の線像との相関が最も高くなるｋを決定する。次いで、ＣＰＵ２０は、Ｓ２２７において、図８に示した焦点検出サブルーチンのＳ１３９にリターンする。
【００７０】
図８に戻り、焦点検出サブルーチンの続きを説明する。Ｓ１３９に次いで、ＣＰＵ２０は、Ｓ１４１において、相関演算結果の信頼性を判定する。ここにおける信頼性とは、２像（Ａ画素群の線像とＢ画素群の線像）の一致度合いを指し、２像の一致度が良い場合は一般的に焦点検出結果の信頼性が高い。そこで、複数の焦点検出領域が選択されている場合は、Ｓ１４１の判定結果に基づいて信頼性の高い情報を優先的に使用する。
【００７１】
次いで、ＣＰＵ２０は、Ｓ１４３において、Ｓ１４１における信頼性の高い検出結果から焦点ずれ量を演算する。次いで、ＣＰＵ２０は、Ｓ１４５において、図７に示したメインフロー内のＳ１５１にリターンする。
【００７２】
図７に戻り、メインフローの続きを説明する。ＣＰＵ２０は、Ｓ１５１において、図８のＳ１４３で計算した焦点ずれ量が予め設定された許容値未満であり、合焦状態であるか否かを判定する。焦点ずれ量が許容値以上であり非合焦状態であると判定した場合、ＣＰＵ２０は、Ｓ１５３において撮像レンズ５のフォーカスレンズを駆動させた後、Ｓ１３１へ処理を戻す。したがって、カメラ１では、合焦状態と判定されるまで、Ｓ１３１乃至Ｓ１５１の処理が繰り返し実行されることとなる。
【００７３】
焦点ずれ量が許容値未満であり合焦状態であると判定した場合、ＣＰＵ２０は、Ｓ１５５において、ＬＣＤなどの表示部（図示しない）に合焦状態であることを示す合焦表示を行わせ、Ｓ１５７に処理を移行する。
【００７４】
次いで、ＣＰＵ２０は、Ｓ１５７において、撮像開始スイッチ（図示しない）がオン操作されたか否かを判定し、オン操作されていなければＳ１５９に移行する。ＣＰＵ２０は、Ｓ１５９において、撮像準備スイッチがオン操作されているか否かを判定し、撮像待機状態を維持するか否かを判別する。ここで、撮像待機状態を維持する場合、ＣＰＵ２０は、再びＳ１５７に処理を戻す。また、撮像待機状態を解除する場合、ＣＰＵ２０は、Ｓ１０５に処理を戻してプレビュー動作などを実行する。
【００７５】
Ｓ１５７において撮像開始スイッチがオン操作された場合、ＣＰＵ２０は、Ｓ１６１に処理を移行し、撮像サブルーチンを実行する。図１３は、撮像サブルーチンを示すフローチャートである。
【００７６】
図１３に示すように、撮像開始スイッチがオン操作されると、ＣＰＵ２０は、Ｓ１６１において撮像サブルーチン処理を開始し、Ｓ１６３において光量調整絞りを駆動し、露光時間を規定するメカニカルシャッタの開口制御を行う。なお、シャッタの駆動は一旦シャッタを閉じた後に再走行させてもよいし、電気的にリセット動作を行った後にシャッタが閉となるように走行させてもよい。
【００７７】
次いで、ＣＰＵ２０は、Ｓ１６５において、高画素静止画撮像のための画像読み出し、すなわちイメージセンサ１０の全画素の読み出しを行う。次いで、ＣＰＵ２０は、Ｓ１６７において、読み出した画像信号の欠損画素補間を行う。イメージセンサ１０における焦点検出用画素の出力は撮像のためのＲＧＢカラー情報を有しておらず、静止画像を得る上では欠損画素に相当する。したがって、欠損画素補間では、焦点検出用画素の周囲にあるＲＧＢカラー情報を有する撮像用画素の情報から補完することで焦点検出用画素に対応する画像信号を創生する。
【００７８】
次いで、ＣＰＵ２０は、Ｓ１６９において画像のγ補正、エッジ強調等の画像処理を行った後、Ｓ１７１において半導体メモリなどの記録媒体（図示しない）に撮像画像を記録する。次いで、ＣＰＵ２０は、Ｓ１７３において前述した表示部に撮像済み画像を表示した後、Ｓ１７５において図７に示したメインフローにリターンする。図７に示すように、撮像サブルーチンからリターンすると、ＣＰＵ２０は、Ｓ１８１において一連の撮像動作を終了する。
【００７９】
ここで、上述した処理による効果を図１４〜図１６を参照して説明する。ここで、図１４（ａ）は、焦点検出用画素群による線像と輝度との関係を示すグラフである。図１４（ｂ）は、図１４（ａ）に例示した焦点検出用画素群の信号から演算して求められた相関量を示すグラフである。なお、図１４（ａ）の横軸は焦点検出用画素の位置を、縦軸は輝度を示している。つまり、図１４（ａ）の例では、中央付近に輝度の高い被写体があり、周囲が暗い場合を例示している。また、焦点検出用画素に欠陥が無ければＡ像、Ｂ像ともに同じ信号が入ることになるが、図１４（ａ）の例では、Ａ像の１つの画素が欠陥のために信号が欠落している。このときに欠落が無ければ像ずらし量＝０ｂｉｔの時に相関量が最小となる。
【００８０】
本実施形態では、図１４（ａ）のような信号が得られるのは、焦点が合っている状態で且つ前述した様に中央に輝度の高い被写体があり、周囲が暗い場合である。欠陥と被写体との位置関係で欠陥画素が焦点検出に与える影響は異なるが、欠陥の影響が最も大きくなる場合として、図１４（ａ）では中央の輝度の高い被写体のエッジ部分と欠陥画素が重なった場合を例示した。逆に言うと、暗い場所に黒つぶれなどの欠陥が存在しても焦点検出には影響がない。
【００８１】
図１４（ｂ）において、横軸は像ずらし量（前述したｋに対応）であり、縦軸は前述した式（１）及び式（２）に基づいて求めた相関量である。前述したフローチャートでは、図９に示したＳ１９５〜Ｓ２０７においてこの相関量が求められる。図１４（ｂ）では、像ずらし量＝０ｂｉｔで相関量（ＣＯＲ）が最小値となっている。上述したように本実施形態では、焦点検出用画素において、その欠陥画素及びその欠陥画素と向き合う対の画素の夫々が式（２）よって周辺画素から補間される。
【００８２】
したがって、本実施形態では、本来像が一致する位置（図１４（ａ）、（ｂ）の例では０ｂｉｔ）の時にノイズが無ければ相関量＝０（＝相関が高い）となる。この位置で焦点検出用画素群によるＡ像とＢ像は一致し、最も相関が高いと判断される。前述したフローチャートでは、相関が最も高い位置を決めて欠陥画素とその欠陥画素と対向する画素を決定する動作がＳ２０８で行われる。
【００８３】
図１５（ａ）は、焦点検出用画素群による線像と、Ｓ２０９によって欠陥画素及び欠陥画素に対向する画素が補正された後にデジタルフィルタ処理をした線像と輝度の関係を示すグラフである。図１５（ｂ）は、図１５（ａ）に例示した焦点検出用画素群の信号を演算して求められた相関量を示すグラフである。なお、図１５（ａ）の横軸は焦点検出用画素の位置を、縦軸は輝度を示している。前述したＳ２０９までにＡ像、Ｂ像の両方に対して欠陥画素および欠陥画素と対向する画素の補正処理したので、図１５（ａ）に示すように、２つの線像は完全に一致している。
【００８４】
図１５（ｂ）において、横軸は像ずらし量（前述したｋに対応）であり、縦軸は前述した式（１）及び式（２）に基づいて求められた相関量（ＣＯＲ）である。図１５（ａ）に示したように１対の線像は完全に一致しているので、図１５（ｂ）に示すグラフでは像ずらし量＝０ｂｉｔの時に相関量が最小（＝相関が高い）となる。よって、このグラフにおけるＣＯＲが最小値となる像ずらし量が、焦点検出の際のプレディクション量として最終的に選ばれることとなる。
【００８５】
なお、焦点検出用画素群の欠陥画素及び欠陥画素に対向する画素の補間後に再度相関量を演算することによる効果をより分かり易くするために、焦点検出用画素群の欠陥画素のみを補間処理した結果を図１６に示す。図１６（ａ）は、焦点検出用画素群による線像と、欠陥画素のみが補正された後にデジタルフィルタ処理をした線像と輝度の関係を示すグラフである。図１６（ｂ）は、図１６（ａ）に例示した焦点検出用画素群の信号を演算して求められた相関量を示すグラフである。
【００８６】
図１６（ａ）に示すように、欠陥画素のみを補間処理した場合は、１対の線像は一致しない。このため、図１６（ｂ）に示すように、相関量を示すグラフ曲線は、非対称且つボトムが完全には下がらない形となる。したがって、このような相関量が求まった場合は、図１６（ｂ）に示すように、グラフの変曲点を境にして両側から接線を延長するなどの方法でＣＯＲ（ｋ）が最小（ＣＯＲ＝０）となるｋを推定することとなる。なお、ｋを推定する方法は、相関量のグラフ曲線に近似する適当な関数を用いて極小値を求める方法であってもよい。
【００８７】
しかし、上述した推定により求めたｋは、焦点が合っている状態にもかかわらずｋ＝０とはならない。つまり、焦点が合っている状態でもずれていると判断され、誤った焦点検出が行われる虞があり、その結果として合焦していないピントの外れた撮像画像を取得することとなる。しかしながら、本実施形態では、上述した簡単なアルゴリズム（フロー）にしたがって焦点検出用画素群に関する欠陥処理を行うことで、焦点検出用画素群に含まれる欠陥画素の影響を低減することができる。このことにより、カメラ１は、ユーザに正確に合焦した撮像画像を提供することが可能となる。また、イメージセンサ１０における焦点検出用画素群に欠陥画素を許容できることからイメージセンサ１０の歩留まりが向上し、コストの低減を図ることが可能となる。
【００８８】
［第２の実施形態］
図１７〜図２１は第２の実施形態を説明するための図である。以下では、これらの図を参照して第２の実施形態を説明する。なお、本実施形態は相関演算における演算を除いて第１の実施形態と同様なので、カメラ１の構成等の同様な部分についての説明は割愛し、第１の実施形態と異なる部分についてのみ説明する。
【００８９】
本実施形態において、メインフローは図７、焦点検出サブルーチンは図８、撮像サブルーチンは図１３に示したとおりである。第１の実施形態とは異なる相関演算サブルーチンについては図１７に示した。
【００９０】
図１７に示すように、第２の実施形態と第１の実施形態との相違点は、Ｓ１９３ａにおいて、焦点検出サブルーチンのＳ１３７で得た欠陥情報に基づいて焦点検出用画素群における欠陥部（欠陥画素）の排除処理を行っていることである。ここでいう排除処理とは、欠陥部を焦点状態の検出に用いないように、欠陥部を除いて演算を行うことを指している。なお、具体的な処理方法は後述する。
【００９１】
さらに、Ｓ１９５〜Ｓ２０７では像ずらし量の処理ループを形成している。そして、Ｓ１９７ａでは、像ずらしをした箇所で、焦点検出サブルーチンのＳ１３７で得た欠陥情報に基づいて欠陥画素と対向する画素を焦点状態の検出に用いないように排除する排除処理を行う。
【００９２】
図１８は、相関演算を行っている時の焦点検出用画素群による焦点検出像であるＡ像とＢ像の状態を模式的に示した図である。図１８は、欠陥画素の排除処理を行った後の状態を図示している。図１８では、排除処理の結果、演算から除かれた画素が明らかになるように右に排除した画素を明示した。
【００９３】
図１８から明らかなように、欠陥画素の２Ａ７と向かい合う画素は像をずらすごとに２Ｂ５、２Ｂ６、２Ｂ７、２Ｂ８、２Ｂ９と変化している。本実施形態では、欠陥画素の２Ａ７及びその欠陥画素に対向する画素を像ずらしごとに削除することで相関演算に影響を与えないようにする。本発明において、上記の方法を”欠陥画素と向き合う対の画素を夫々排除した焦点検出像を生成する”方法と定義する。
【００９４】
図１８において、２Ａ７は常に欠陥なので、像ずらし量に関わらず削除され、２Ａ６の次は２Ａ８となるようにＡ像は処理される。このため、相関演算サブルーチンのＳ１９３ａで排除処理が行われる。
【００９５】
一方、向かい合う像はｋ＝２［ｂｉｔ］の時は２Ｂ５なので、２Ｂ４の次は２Ｂ６となるようにＢ像は処理される。また、向かい合う像はｋ＝１［ｂｉｔ］の時は２Ｂ６なので、２Ｂ５の次は２Ｂ７となるようにＢ像は処理される。つまり、像ずらしによってＢ像の処理方法が変化している。このため、相関演算サブルーチンのＳ１９７ａにおける排除処理では、像ずらし量に応じて欠陥画素の２Ａ７と対向する画素を削除することでＢ像を与える。
【００９６】
相関演算サブルーチンのＳ１９９〜Ｓ２０３では、第１の実施形態と同様に測距視野内で計算を行う視野ループを形成する。また、Ｓ２０５では、像ずらし量での相関量をメモリに保存する。上述したＳ１９５〜Ｓ２０７の像ずらし量のループ処理により、規定の像ずらし範囲での相関量の演算が行われる。
【００９７】
Ｓ２０８では、第１の実施形態と同様、Ｓ１９５からＳ２０７でのループで求められた相関量をもとに、後述するＳ２０９ａにおける排除前において、焦点検出用画素群における欠陥画素に対向する画素を決定する。具体的には、式（１）の定義に従うと相関が高い（２つの像がほぼ一致している）時に相関量ＣＯＲは最小となるので、相関量が最小となるｋを求める。例えば、欠陥画素の２Ａ７と対向している画素が２Ｂ５、２Ｂ６、２Ｂ７、２Ｂ８、２Ｂ９の中から選択されることとなる。次いで、ＣＰＵ２０は、Ｓ２０９ａにおいて、Ｓ２０８で決定された画素を排除する。
【００９８】
次いで、ＣＰＵ２０が行うＳ２１１以降の処理は第１の実施形態と同様である。具体的には、Ｓ２１１では、デジタルフィルタ処理を行う。Ｓ２１１におけるデジタルフィルタは、焦点検出において注目する周波数などに応じて適切な形状のものを用いてよい。Ｓ２１３〜２２３では、欠陥画素に対向する画素をＳ２０９ａにより排除した像を用いて再度相関量を演算するための像ずらしループを形成する。なお、Ｓ２１３における像ずらし量はＳ１９５と同じである必要はなく、Ｓ２０９ａで相関量が最小となったｋの近傍で演算が行われればよい。
【００９９】
Ｓ２１５〜Ｓ２１９の視野ループでは、測距視野内の相関量の演算を行う。Ｓ１９３ａで欠陥画素を、Ｓ２０９ａで欠陥画素に対向する画素を排除したので、Ｓ２１５とＳ２１７の間では補正処理は行わない。
【０１００】
上述した再度相関量を演算する様子を模式的に図１９に示した。図１９では、Ｓ２０９ａにおいて、相関量が最小となるｋが０であり、２Ａ７と２Ｂ７が対向するとして処理された場合を示している。図１９に示すとおり、２Ｂ７はＳ２０９ａで排除され、再度相関量を演算する際には用いられない。Ｓ２２１では視野ループにより演算された相関量を保存し、Ｓ２２５では、プレディクション量を決定する。具体的には、Ｓ２１７で求めた相関量を元に、Ａ画素群の線像とＢ画素群の線像との相関が最も高くなるｋを決定する。次いで、Ｓ２２７では、図８に示した焦点検出サブルーチンのＳ１３９にリターンする。
【０１０１】
ここで、上述した処理による効果を図２０、図２１を参照して説明する。なお、被写体による焦点検出用画素群からの信号やその輝度及び欠陥画素の位置などは、図１４に例示した第１の実施形態と同じとする。図２０は最初相関量を求める時の焦点検出像とその相関量を示すグラフであり、図２０（ａ）は排除処理が行われた後の焦点検出用画素群による線像と輝度との関係を示すグラフである。また、図２０（ｂ）は、図２０（ａ）に例示した焦点検出用画素群の信号から演算して求められた相関量を示すグラフである。なお、図２０（ａ）の横軸は焦点検出用画素の位置を、縦軸は輝度を示している。
【０１０２】
図２０（ａ）を生成する元の信号は、図１４（ａ）に示したようにＡ像のみ被写体の輝度変化がある箇所に欠陥がある信号である。一方、図２０（ａ）に示す信号は、正しく２つの像が重ねあわされた場所で排除処理を施した後の信号である。したがって、図１４（ａ）と図２０（ａ）とにおいて、輝度の高い部分を比べた場合は図２０（ａ）の方が排除処理によって短くなる。また、図２０（ａ）に示したように、欠陥画素及びその欠陥画素と対向する画素を排除したので、正しく重ねあわされたときには、他の画素の信号は完全に一致し、２つの像の相関が高く演算される。
【０１０３】
図２０（ｂ）において、横軸は像ずらし量であり、縦軸は前述した式（１）に基づいて求めた相関量である。前述したフローチャートでは、図１７に示したＳ１９５〜Ｓ２０７においてこの相関量が求められる。図２０（ｂ）では、像ずらし量＝０ｂｉｔで相関量（ＣＯＲ）が最小値となっている。また、本実施形態では、焦点検出用画素群の欠陥画素及びその欠陥画素と向き合う対の像信号を排除して用いないようにし、排除後の焦点検出像の相関量が演算される。
【０１０４】
したがって、本実施形態では、本来像が一致する場所（図２０（ｂ）、（ｂ）の例では０ｂｉｔ）の時にノイズが無ければ相関量＝０（＝相関が高い）となる。この位置で焦点検出用画素群によるＡ像とＢ像は完全に一致し、最も相関が高いと判断される。前述したフローチャートでは、相関が最も高い位置を決めて欠陥画素とその欠陥画素と対向する画素を決定する動作がＳ２０９ａで行われる。
【０１０５】
図２１（ａ）は、焦点検出用画素群による線像と、Ｓ２０９ａによって欠陥画素及び欠陥画素に対向する画素が排除された後にデジタルフィルタ処理をした線像と輝度の関係を示すグラフである。図２１（ｂ）は、図２１（ａ）に例示した焦点検出用画素群の信号を演算して求められた相関量を示すグラフである。なお、図２１（ａ）の横軸は焦点検出用画素の位置を、縦軸は輝度を示している。前述したＳ２０９ａまでにＡ像、Ｂ像の両方に対して欠陥画素及び欠陥画素と対向する画素の排除処理をしたので、図２１（ａ）に示すように、２つの線像は完全に一致している。
【０１０６】
図２１（ｂ）において、横軸は像ずらし量であり、縦軸は前述した式（１）に基づいて求められた相関量である。図２１（ａ）に示したように１対の線像は完全に一致しているので、図２１（ｂ）に示すグラフでは像ずらし量＝０ｂｉｔの時に相関量が最小（＝相関が高い）となる。よって、このグラフにおける相関量ＣＯＲが最小値となる像ずらし量が、焦点検出の際のプレディクション量として最終的に選ばれることとなる。
【０１０７】
本実施形態では、上述した簡単なアルゴリズム（フロー）にしたがって焦点検出用画素群に関する欠陥処理（排除処理）を行うことで、焦点検出用画素群に含まれる欠陥画素の影響を低減することができる。このことにより、カメラ１は、ユーザに正確に合焦した撮像画像を提供することが可能となる。また、イメージセンサ１０における焦点検出用画素群に欠陥画素を許容できることからイメージセンサ１０の歩留まりが向上し、コストの低減を図ることが可能となる。
【０１０８】
［第３の実施形態］
図２２〜図２４は第３の実施形態を説明するための図である。以下では、これらの図を参照して第３の実施形態を説明する。なお、本実施形態において、前述した第１、２の実施形態と同様な部分についての説明は割愛する。
【０１０９】
図２２は、第３の実施形態に係る焦点検出装置を備えたカメラ１ａの構成の概略を示す図である。図２２に示すように、カメラ１ａは、イメージセンサ１０（撮像素子）が撮像レンズ５の結像面に配置されたデジタルスチルカメラである。なお、焦点検出センサ２０５の欠陥情報を記憶する欠陥記憶手段を含む処理回路などの電気的な構成は、第１の実施形態と同様なので、ここでは省略した。
【０１１０】
カメラ１ａでは、ユーザが構図を決めている状態では、撮像レンズ５から入射される光の光路がクイックリターンミラー２００によって変更され、被写体像を観察するための接眼レンズ３に光束が導かれる。同時に、クイックリターンミラー２００は半反射面になっており、接眼レンズ３に導かれる光束以外の残りの光束は焦点検出センサ２０５に導かれることとなる。焦点検出センサ２０５は、撮影光学系の異なる瞳領域を通った１対の光束を結像させる瞳分割手段と、１対の光束の一方が結像される第１のエリアと、１対の光束の他方が結像される第２のエリアとを有する。
【０１１１】
ここで、カメラ１ａにおける瞳分割手段に関して図２２及び図２３を参照して説明する。図２３に示すように、焦点検出センサ２０５における瞳分割手段は、フィールドレンズ２０１、視野マスク２０２、瞳分割マスク２０３、２次結像レンズ２０４ａ、２０４ｂより構成される。視野マスク２０２は撮像レンズ５の結像面近傍に設けられ、焦点検出範囲を規定する。２次結像レンズ２０４ａ、２０４ｂからみて撮像レンズ５に近い側には絞り孔２０３ａ、２０３ｂを有する瞳分割マスク２０３が設けられている。絞り孔２０３ａ、２０３ｂは２次結像レンズ２０４ａ、２０４ｂに入射する光束を規制する。瞳分割マスク２０３は、フィールドレンズ２０１の光学パワーにより撮像レンズ５の射出瞳の位置に略結像するような関係の位置に置かれる。
【０１１２】
１対の２次結像レンズ２０４ａ、２０４ｂは、視野マスク２０２で決定された領域の被写体像を焦点検出センサ２０５の第１のエリアとしての受光エリア２０６ａと、第２のエリアとしての受光エリア２０６ｂ上に結像させる。焦点検出センサ２０５の受光エリア２０６ａ、２０６ｂ上において、被写体像により光電変換された電荷は、電気信号として読み出され、位相差による焦点検出演算に用いられる。したがって、カメラ１ａでは、前述の受光エリア２０６ａ、２０６ｂから得られる電気信号から適宜なレンズ位置の演算を行うことで、測距視野に対応したデフォーカス量を得ることができる。
【０１１３】
図２４は、カメラ１ａのメインフローを示すフローチャートである。なお、焦点検出サブルーチン及び撮像サブルーチンは第１の実施形態で例示した図１０、図１１のフローチャートに従って行う。また、図２４に示すフローチャートでは、第１の実施形態と同じ動作をするものには同じ符号を付した。以下に第１の実施形態との違いについて述べる。
【０１１４】
図２４に示すように、第１の実施形態との違いは、本実施形態に係るメインフローにはＳ１０３、Ｓ１０４がないことである。本実施形態では、焦点検出センサ２０５に被写体像を導くためのいわゆる２次結像光学系に、半透過のクイックリターンミラーを通して光束を導くため、ミラーアップ動作やシャッター開放動作が必要ない。また撮影サブルーチン内のＳ１６３では、第１の実施形態においてシャッター閉→再走行という動作をしている。これに対し、本実施形態では、Ｓ１６３に到達した時にシャッターは閉状態にあるので、従来の銀塩カメラなどと同様のシャッター走行動作をすればよい。なお、その他の動作は第１の実施形態と同じである。
【０１１５】
なお、図２３に例示した焦点検出センサ２０５は、受光エリア２０６ａ、２０６ｂが２次元的にひろがるいわゆるエリアセンサであってもよいし、複数の１対の像を得るためのラインを持ついわゆるラインセンサであってもよい。このようなセンサには、本発明を容易に適用できる。具体的には、Ｓ１３３において、焦点検出を行うための焦点検出センサ２０５の信号を読み出せばよく、以下は第１の実施形態と同様の動作でよい。
【０１１６】
本実施形態によれば、上述した簡単なアルゴリズム（フロー）にしたがって焦点検出センサ２０５の欠陥画素を処理することで、焦点検出センサ２０５に含まれる欠陥画素の影響を低減することができる。このことにより、カメラ１ａは、ユーザに正確に合焦した撮像画像を提供することが可能となる。また、撮像レンズ５における欠陥画素を許容できることから撮像レンズ５の歩留まりが向上し、コストの低減を図ることが可能となる。
【０１１７】
なお、上述した実施の形態における記述は、一例を示すものであり、これに限定するものではない。上述した実施の形態における構成及び動作に関しては、適宜変更が可能である。
【０１１８】
例えば、上述した実施形態では焦点検出用画素群におけるＡ像において欠陥画素がある場合を例示したが、Ｂ像に欠陥画素があっても同様な処理が行われることは言うまでもない。さらに、焦点検出用画素群におけるＡ像、Ｂ像ともに欠陥画素がある場合であっても同様である。
【０１１９】
（他の実施形態）
上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。
【０１２０】
なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。
【０１２１】
有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。
【０１２２】
また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。
【図面の簡単な説明】
【０１２３】
【図１】第１の実施形態に係るカメラの構成の概略を示す図である。
【図２】イメージセンサの一部の領域を例示する図である。
【図３】イメージセンサの一部の画素を例示する図である。
【図４】（ａ）は、撮像レンズの瞳領域を通過した光束の光路を例示して焦点検出用画素の瞳分割を説明する図であり、（ｂ）は、撮像レンズの瞳領域を通過した光束の光路を例示して焦点検出用画素の瞳分割を説明する図である。
【図５】（ａ）は、瞳面上での焦点検出用画素への入射特性を説明する図であり、（ｂ）は、瞳面上での焦点検出用画素への入射特性を説明する図である。
【図６】焦点検出用画素群で生成される線像の説明図である。
【図７】第１の実施形態に係るカメラのメインフローを示すフローチャートである。
【図８】第１の実施形態に係る焦点検出サブルーチンを示すフローチャートである。
【図９】第１の実施形態に係る相関演算サブルーチンを示すフローチャートである。
【図１０】焦点検出用画素を抜き出して得られる焦点検出像を例示する図である。
【図１１】第１の実施形態に係る相関演算を行っている時の焦点検出像の状態を模式的に示した図である。
【図１２】第１の実施形態において再度相関演算を行っている時の焦点検出像の状態を模式的に示した図である。
【図１３】第１の実施形態に係る撮像サブルーチンを示すフローチャートである。
【図１４】第１の実施形態における最初相関量を求める時の焦点検出像とその相関量を示すグラフであり、（ａ）は、焦点検出用画素群による線像と輝度との関係を示すグラフであり、（ｂ）は、演算して求められた相関量を示すグラフである。
【図１５】第１の実施形態における再度相関量を求める時の焦点検出像とその相関量を示すグラフであり、（ａ）は、焦点検出用画素群による線像及び再度相関量を求める際の線像と輝度との関係を示すグラフであり、（ｂ）は、演算して求められた相関量を示すグラフである。
【図１６】本発明を用いない場合の焦点検出像とその相関量を示すグラフであり、（ａ）は、焦点検出用画素群による線像及び相関量を求める際の線像と輝度との関係を示すグラフであり、（ｂ）は、演算して求められた相関量を示すグラフである。
【図１７】第２の実施形態に係る相関演算サブルーチンを示すフローチャートである。
【図１８】第２の実施形態に係る相関演算を行っている時の焦点検出像の状態を模式的に示した図である。
【図１９】第２の実施形態において再度相関演算を行っている時の焦点検出像の状態を模式的に示した図である。
【図２０】第２の実施形態における最初相関量を求める時の焦点検出像とその相関量を示すグラフであり、（ａ）は、焦点検出用画素群による線像と輝度との関係を示すグラフであり、（ｂ）は、演算して求められた相関量を示すグラフである。
【図２１】第２の実施形態における再度相関量を求める時の焦点検出像とその相関量を示すグラフであり、（ａ）は、焦点検出用画素群による線像及び再度相関量を求める際の線像と輝度との関係を示すグラフであり、（ｂ）は、演算して求められた相関量を示すグラフである。
【図２２】第３の実施形態に係るカメラの構成の概略を示す図である。
【図２３】第３の実施形態に係る瞳分割手段の構成を示す図である。
【図２４】第３の実施形態に係るカメラのメインフローを示すフローチャートである。
【符号の説明】
【０１２４】
１、１ａ カメラ
５ 撮像レンズ
１０ イメージセンサ
２０ ＣＰＵ
２１ イメージセンサ制御回路
２２ メモリ回路
２３ インターフェース回路
２４ 画像処理回路
【技術分野】
【０００１】
本発明は、焦点検出装置及びその制御方法に関する。
【背景技術】
【０００２】
近年、焦点検出装置の高性能化に伴い、ファインダ内の多くの点で測距可能ないわゆる多点測距タイプの焦点検出装置が多く提案されている。位相差ＡＦの原理を活用して多点測距を行う焦点検出装置においては、夫々の測距点に対応した１対の焦点検出像を取得して相関演算を行い、その位相差からデフォーカス量を計算する方法が用いられている。
【０００３】
このような焦点検出装置では、測距点の増加に伴い焦点検出像を取得するための光電変換部も増加している。一方、光電変換部は製造上の欠陥を完全に排除することは非常に困難である。特許文献１には、欠陥のある光電変換の信号を周辺の信号から補間生成することで欠陥の影響を低減する技術が開示されている。また、特許文献２には、稠密に配置された光電変換部のうち欠陥を含まない箇所を測距用の信号として用いることで欠陥の影響を排除する技術が開示されている。
【特許文献１】特開平５−５６３５５号公報
【特許文献２】特開２００１−１７７７５６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
一般的に焦点検出装置には合焦時の精度が要求される。ここでいう合焦時の精度とは、撮影光学系の結像面(空間周波数が最も高い位置)と焦点検出装置の求めた合焦位置のずれを指す。
【０００５】
しかしながら、特許文献１、２に記載の方法では、１対の焦点検出像のうちの一方の焦点検出像の欠陥画素が補間生成されるために他方の焦点検出像との相関性が失われてしまい、１対の焦点検出像による相関演算に影響が生じる。このため、合焦時の精度が低減する虞があった。特に被写体の輪郭などの被写体像において特徴がある場所が欠陥画素にかかる場合は影響を受けやすい。
【０００６】
本発明は、このような従来技術の課題を解決することを目的としてなされたものである。本発明の目的は、欠陥画素を有する場合であっても合焦時の精度が低減することを防止可能な焦点検出装置、その制御方法及びプログラムを提供することである。
【課題を解決するための手段】
【０００７】
上記目的は、撮像光学系による結像面の焦点状態を検出する焦点検出装置において、複数の第１の焦点検出用画素と複数の第２の焦点検出用画素から構成され、前記第１の焦点検出用画素と前記第２の焦点検出用画素とが構成する焦点検出用画素対を複数有する焦点検出センサと、前記焦点検出センサの欠陥画素を示す欠陥情報を記憶する欠陥記憶手段と、前記欠陥情報が示す欠陥画素の値と、当該欠陥画素と前記焦点検出用画素対を構成する前記第１の焦点検出用画素又は前記第２の焦点検出用画素の値とを、前記欠陥画素でない同種の焦点検出用画素の値に基づいて補間する補間手段と、前記補間手段による補間後の前記複数の焦点検出用画素対の前記第１の焦点検出用画素から得られる第１の焦点検出像と、前記第２の焦点検出用画素から得られる第２の焦点検出像との位相差から、前記焦点状態を検出する検出手段と、を備えることを特徴とする本発明による焦点検出装置によって達成される。
【０００８】
また、上記目的は、撮像光学系による結像面の焦点状態を検出する焦点検出装置において、複数の第１の焦点検出用画素と複数の第２の焦点検出用画素から構成され、前記第１の焦点検出用画素と前記第２の焦点検出用画素とが構成する焦点検出用画素対を複数有する焦点検出センサと、前記焦点検出センサの欠陥画素を示す欠陥情報を記憶する欠陥記憶手段と、前記欠陥情報が示す欠陥画素の値と、当該欠陥画素と前記焦点検出用画素対を構成する前記第１の焦点検出用画素又は前記第２の焦点検出用画素の値とを、前記焦点状態の検出に用いないように排除する排除手段と、前記排除手段による排除後の前記複数の焦点検出用画素対の前記第１の焦点検出用画素から得られる第１の焦点検出像と、前記第２の焦点検出用画素から得られる第２の焦点検出像との位相差から、前記焦点状態を検出する検出手段と、を備えることを特徴とする本発明による焦点検出装置によっても達成される。
【０００９】
また、上記目的は、複数の第１の焦点検出用画素と複数の第２の焦点検出用画素から構成され、前記第１の焦点検出用画素と前記第２の焦点検出用画素とが構成する焦点検出用画素対を複数有する焦点検出センサと、前記焦点検出センサの欠陥画素を示す欠陥情報を記憶する欠陥記憶手段とを有し、撮像光学系による結像面の焦点状態を検出する焦点検出装置の制御方法であって、前記欠陥情報が示す欠陥画素の値と、当該欠陥画素と前記焦点検出用画素対を構成する前記第１の焦点検出用画素又は前記第２の焦点検出用画素の値とを、前記欠陥画素でない同種の焦点検出用画素の値に基づいて補間する補間工程と、前記補間工程による補間後の前記複数の焦点検出用画素対の前記第１の焦点検出用画素から得られる第１の焦点検出像と、前記第２の焦点検出用画素から得られる第２の焦点検出像との位相差から、前記焦点状態を検出する検出工程と、を含むことを特徴とする本発明による焦点検出装置の制御方法によっても達成される。
【００１０】
また、上記目的は、複数の第１の焦点検出用画素と複数の第２の焦点検出用画素から構成され、前記第１の焦点検出用画素と前記第２の焦点検出用画素とが構成する焦点検出用画素対を複数有する焦点検出センサと、前記焦点検出センサの欠陥画素を示す欠陥情報を記憶する欠陥記憶手段とを有し、撮像光学系による結像面の焦点状態を検出する焦点検出装置の制御方法であって、前記欠陥情報が示す欠陥画素の値と、当該欠陥画素と前記焦点検出用画素対を構成する前記第１の焦点検出用画素又は前記第２の焦点検出用画素の値とを、前記焦点状態の検出に用いないように排除する排除工程と、前記排除工程による排除後の前記複数の焦点検出用画素対の前記第１の焦点検出用画素から得られる第１の焦点検出像と、前記第２の焦点検出用画素から得られる第２の焦点検出像との位相差から、前記焦点状態を検出する検出工程と、を含むことを特徴とする本発明による焦点検出装置の制御方法によっても達成される。
【発明の効果】
【００１１】
本発明によれば、欠陥画素を有する場合であっても合焦時の精度が低減することを防止できる。
【発明を実施するための最良の形態】
【００１２】
以下、この発明の実施の形態について図を参照して説明するが、この発明は以下の実施の形態に限定されない。また、この発明の実施の形態は発明の最も好ましい形態を示すものであり、発明の範囲を限定するものではない。
【００１３】
［第１の実施形態］
以下に、図１〜図１６を参照して第１の実施形態を説明する。図１は、第１の実施形態に係る焦点検出装置を備えたカメラ１の構成の概略を示す断面図である。図１に示すように、カメラ１は、イメージセンサ１０（撮像素子）が撮像光学系としての撮像レンズ５の予定結像面（以下、結像面という）に配置されたデジタルスチルカメラである。
【００１４】
カメラ１は、接眼レンズ３、ＣＰＵ２０、イメージセンサ制御回路２１、メモリ回路２２、インターフェース回路２３、画像処理回路２４を有する。接眼レンズ３は、ユーザが撮像レンズ５から入射された被写体像を観察するための光学レンズである。ＣＰＵ２０（Central Processing Unit）はカメラ１の動作を中央制御する。また、ＣＰＵ２０は、撮像レンズ５の焦点状態を検出するための検出手段を兼ねている。
【００１５】
イメージセンサ制御回路２１は、ＣＰＵ２０の制御の下でイメージセンサ１０を駆動制御する。メモリ回路２２は、イメージセンサ１０にて撮像された画像データなどを記録する。また、メモリ回路２２は、イメージセンサ１０の受光分布に関する情報や、欠陥記憶手段として後述する焦点検出センサの欠陥情報も予め記憶している。
【００１６】
インターフェース回路２３は、接続コネクタ（図示しない）などを介して外部機器と通信接続し、例えば画像処理回路２４にて画像処理された画像データを接続された外部機器へ出力する。画像処理回路２４は、イメージセンサ１０にて撮像した画像データに対して所定の画像処理を行う。
【００１７】
撮像レンズ５は、カメラ１の本体に対して着脱可能なレンズである。撮像レンズ５は、カメラ１の本体のＣＰＵ２０から送られてくる情報を電気接点２６を介してレンズＣＰＵ５０にて受信する。ＣＰＵ２０から送られてくる情報とは、撮像レンズ５の駆動制御に関する情報であり、具体的には焦点調整を行うための焦点調整情報、絞り調整を行うための絞り調整情報などである。レンズ駆動機構５１は、フォーカスレンズを駆動するアクチュエータなどである。絞り駆動機構５２は、絞り装置５３を駆動するアクチュエータなどである。絞り装置５３は絞り羽根などで入射光量を調整する。
【００１８】
レンズＣＰＵ５０は、ＣＰＵ２０から送られてくる焦点調整情報に基づいてレンズ駆動機構５１を駆動することで、イメージセンサ１０に結像される被写体像を合焦状態とする。また、レンズＣＰＵ５０は、ＣＰＵ２０から送られてくる絞り調整情報に基づいて絞り駆動機構５２を駆動することで、絞り装置５３を所定の絞り値に絞り込む。
【００１９】
図２は、イメージセンサ１０の一部の領域を例示する平面図である。図２において、「Ｒ」「Ｇ」「Ｂ」の文字はイメージセンサ１０における各画素のカラーフィルタの色相を表している。「Ｒ」の文字の書かれた画素は赤の成分の光を透過し、「Ｇ」の文字の書かれた画素は緑の成分の光を透過し、「Ｂ」の文字の書かれた画素は青の成分の光を透過する。図２では「Ｒ」「Ｇ」「Ｂ」の色相をハッチングパターンで示している。図２のハッチングパターンからも明らかなように、イメージセンサ１０における「Ｒ」「Ｇ」「Ｂ」の各画素はいわゆるベイヤ配列にしたがって配置されている。
【００２０】
カラーフィルタの配列がベイヤ配列に従うため、１絵素は「Ｒ」「Ｂ」の画素と２つの「Ｇ」の画素から構成される。また、イメージセンサ１０には、「Ｒ」あるいは「Ｂ」であるべき画素の一部において、撮像レンズ５の一部の瞳領域を通過した光束を受光する焦点検出用画素が複数割り当てられている。具体的には、図２においてＡ、Ｂで示した画素が撮像レンズ５の焦点状態を検出するための焦点検出用画素（第１の焦点検出用画素、第２の焦点検出用画素）である。また、焦点検出用画素は、１つのＡ画素と、１つのＢ画素の組合わせが位相差検出を行うための焦点検出用画素対（以下、画素対）となっている。また、図２に示すように、この画素対は、イメージセンサ１０において所定のピッチで分散して複数配置されている。
【００２１】
この焦点検出用画素は、詳細な構成については後述するが、図３に示す第１の電極１３１にてｘ方向（図２における横方向）の開口が制限されている。またＡ、Ｂの焦点検出用画素では、後述するように互いに異なる瞳領域を通った光線が結像している。したがって、イメージセンサ１０は、撮像レンズ５の一部の画素をＡ、Ｂの焦点検出用画素とし、その画素対を複数有する焦点検出センサとしての機能を有している。
【００２２】
図２に示すように、イメージセンサ１０では、Ａ、Ｂで示した焦点検出用画素を互いに隣接させ、可能な限り互いの距離を短くしている。このため、Ａ、Ｂで示した焦点検出用画素が被写体像の異なる模様のところを見てしまう可能性を最小限に抑えており、焦点検出誤差を軽減させている。
【００２３】
また、イメージセンサ１０では、偶数ラインと奇数ラインで境界位置を一致させて、Ａ、Ｂで示した焦点検出用画素の位置を反転させている。このため、被写体像のエッジ部分がＡ、Ｂで示した焦点検出用画素の境界部分にかかった場合において、Ａ、Ｂで示した焦点検出用画素から得られる像の位相がずれてしまう場合には、その位相ずれが両方同時に発生することとなる。しかも、そのずれ量は、Ａ、Ｂで示した焦点検出用画素から得られる像において互いに等しく、方向が逆向きとなる。そこで、本実施形態では、瞳分割方向と垂直方向に隣接するラインを少なくとも２つセットで相関演算を行うことで、焦点検出誤差を打ち消し合うようにしている。これは、後述する１対の像の数の決定において、必ず偶数を指定することに対応する。これにより、焦点検出誤差を軽減することができる。
【００２４】
図３は、イメージセンサ１０の一部の画素の前述したＸ方向での断面を示す図である。具体的には、図３は、Ｘ方向の開口が制限された焦点検出用画素と、開口が制限されることなく全瞳領域を受光可能な画素との断面図である。図３において、右側の画素は、撮像レンズ５の全瞳領域を受光可能な画素である。また、左側の焦点検出用画素は、Ｘ方向の開口が制限されており、撮像レンズ５の一部の瞳領域からの光束を受光可能な画素である。なお、一部の瞳領域から光束を受光することについては、図４を参照して後述する。
【００２５】
図３に示すように、イメージセンサ１０は、シリコン基板１１０の内部に光電変換部１１１が形成されている。光電変換部１１１において、被写体像を光電変換して発生した信号電荷は、フローティングディフュージョン部（図示しない）、第１の電極１３１及び第２の電極１３２を介して外部に出力される。光電変換部１１１と第１の電極１３１との間には層間絶縁膜１２１が形成され、第１の電極１３１と第２の電極１３２との間には層間絶縁膜１２２が形成されている。
【００２６】
また、第２の電極１３２の光入射側（Ｚ方向）には層間絶縁膜１２３が形成され、さらにパッシべーション膜１４０、平坦化層１５０が形成されている。平坦化層１５０の光入射側には、カラーフィルタ層１５１、平坦化層１５２及びマイクロレンズ１５３が形成されている。ここで、マイクロレンズ１５３の光学パワーは、撮像レンズ５の瞳と光電変換部１１１が略共役になるように設定されている。また、イメージセンサ１０の撮像面において、マイクロレンズ１５３は、中央に位置する画素では画素の中心に配設され、周辺に位置する画素では撮像レンズ５の光軸側に偏倚して配設される。
【００２７】
撮像レンズ５を透過した被写体光は、イメージセンサ１０近傍に集光する。さらにイメージセンサ１０の各画素に到達した光は、マイクロレンズ１５３で屈曲されて光電変換部１１１に集光する。通常の撮像に使われる図３に示した右側の画素では、入射する光を遮光しないように第１の電極１３１及び第２の電極１３２が配設されている。
【００２８】
一方、図３に示した左側の焦点検出用画素では、第１の電極１３１の一部が光電変換部１１１を覆うように配設されている。その結果、焦点検出用画素では、撮像レンズ５の瞳の一部を透過する光束のみが受光可能となっている。また、第１の電極１３１が入射光束の一部を遮光していることにより光電変換部１１１の出力が小さくなることを防ぐため、焦点検出用画素のカラーフィルタ層１５４は、光を吸収しない透過率の高い樹脂で形成されている。
【００２９】
図４（ａ）、（ｂ）は、図２に例示したＡ、Ｂの焦点検出用画素の断面と瞳との関係を表した図であり、個々の焦点検出用画素における瞳分割手段を示している。図４（ａ）は撮像レンズ５の瞳領域１６１ａを通過した光束の光路を例示して瞳分割を説明する図であり、図４（ｂ）は瞳領域１６１ｂを通過した光束の光路を例示して瞳分割を説明する図である。
【００３０】
以下、図４（ａ）、（ｂ）を参照して瞳分割手段について説明する。図４（ａ）、（ｂ）において、左側の焦点検出用画素は図２におけるＡの焦点検出用画素（以下、Ａ画素という）に対応しており、右側の焦点検出用画素は図２におけるＢの焦点検出用画素（以下、Ｂ画素という）に対応している。また、図４（ａ）、（ｂ）において、瞳１６０は撮像レンズ５の瞳を模式的に示したものであり、光電変換部１１１ａ、１１１ｂは夫々がＡ画素、Ｂ画素の光電変換部を示している。
【００３１】
図４（ａ）、（ｂ）に示したように、Ａ画素、Ｂ画素の開口はマイクロレンズ１５３の光軸に対して異なる偏倚量を持つように設けられている。このため、図４（ａ）に示すように、瞳領域１６１ａを通過した光束はＡ画素の光電変換部１１１ａには到達するが、Ｂ画素の光電変換部１１１ｂには到達しない。反対に、図４（ｂ）に示したように、瞳領域１６１ｂを通解した光束はＢ画素の光電変換部１１１ｂには到達するが、Ａ画素の光電変換部１１１ａには到達しない。
【００３２】
図４（ａ）、（ｂ）に示したように、撮像レンズ５の瞳の一部の領域を通過した光束を得ることができる瞳分割手段において、前述した２つの領域の相対的な位置を示す方向（本実施形態ではＸ方向）を瞳分割方向と定義する。また、光軸に直交する平面内で瞳分割方向と垂直をなす方向を垂直方向と定義する。なお、本実施形態では瞳分割方向がＸ方向に存在する焦点検出用画素のみをもつイメージセンサ１０を例示しているが、イメージセンサ１０は、瞳分割方向がＹ方向に存在する焦点検出用画素も含む構成であってもよい。
【００３３】
図５（ａ）、（ｂ）は、撮像レンズ５の瞳１６０からＡ画素、Ｂ画素に入射する光束を模式的に示し、瞳面上での焦点検出用画素への入射特性を説明する図である。図５（ａ）はＡ画素、Ｂ画素に入射する領域と瞳の関係を例示し、図５（ｂ）はＡ画素、Ｂ画素に入射する領域が瞳で切り取られる様子を例示している。
【００３４】
図５（ａ）、（ｂ）では、Ａ画素に入射する瞳領域を１６１ａ、Ｂ画素に入射する瞳領域を１６１ｂで示すとともに、入射する比率を濃淡で示した。したがって、図中において、濃い領域は入射する光量が多く、薄い領域は入射する光量が少ない。このように、瞳の領域により入射する比率が異なるのは、マイクロレンズの収差、光学パワーの合わせ込み誤差、光の回折などが原因である。
【００３５】
また、図５（ａ）に示すように、撮像レンズ５の瞳１６０の外側にもＡ画素、Ｂ画素に入射する領域は存在する。しかしながら、実際には、レンズでケラレが発生するため、図５（ｂ）に示すように、瞳１６０で切り取られた範囲の光がイメージセンサ１０に到達することとなる。
【００３６】
図６は、図５（ｂ）に示す領域からの光束を瞳分離と垂直方向に積分して瞳分離方向の１次元的な像で表現したもので、焦点検出用画素群で生成される線像（焦点検出像）分布図に対応する。図６において、線像分布曲線１６２ａはＡ画素群の線像分布（第１の焦点検出像）を、線像分布曲線１６２ｂはＢ画素群の線像分布（第２の焦点検出像）をそれぞれ示している。
【００３７】
図６から分かるように、Ａ画素、Ｂ画素は互いに入射角特性が異なっているために、デフォーカスした際にＡ画素群の線像とＢ画素群の線像には瞳分離方向の像ずれが発生する。したがって、この像ずれ量と、図６の線像分布を考慮してデフォーカス量を求めることで、いわゆる位相差による焦点検出を行うことが可能となる。
【００３８】
次に、カメラ１の焦点調整及び撮像工程に関する動作について説明する。図７〜図９及び図１３は、カメラ１の焦点調整及び撮像工程を説明するためのフローチャートである。図７は、カメラ１のメインフローを示すフローチャートである。
【００３９】
図７に示すように、ユーザがカメラ１のメインスイッチ（図示しない）をオンにすることで、ＣＰＵ２０は処理を開始する（Ｓ１０１）。次いで、ＣＰＵ２０は、Ｓ１０２において、カメラ１内の各アクチュエータやイメージセンサ１０の動作確認等の初期状態検出を行ない、メモリ内容や実行プログラムの初期化を行なうと共に、撮像準備動作を実行する。
【００４０】
次いで、ＣＰＵ２０は、Ｓ１０３において操作スイッチ（図示しない）などによる操作状況に応じて、イメージセンサ１０の撮像面ＡＦの開始操作が行われたか否かを判定し、撮像面ＡＦの開始操作が行われるまで待機する。撮像面ＡＦの開始操作が行われた場合、ＣＰＵ２０は、Ｓ１０４においてミラーアップとシャッター開放動作を実行させる。
【００４１】
次いで、ＣＰＵ２０は、Ｓ１０５においてイメージセンサ１０を駆動させて撮像動作を開始させ、イメージセンサ１０で撮像された画像の読み出しを行う。これにより、イメージセンサ１０はプレビュー用の低画素動画像を出力する。
【００４２】
次いで、ＣＰＵ２０は、Ｓ１０７において、イメージセンサ１０から読み出した動画像を、カメラ１の背面に設けられた表示器（図示しない）にプレビュー画像として表示させる。ユーザは、このプレビュー画像を目視することで、撮像時の構図決定を行うことができる。
【００４３】
次いで、ＣＰＵ２０は、Ｓ１０９においてプレビュー用の動画像から人物の顔認識を行い、Ｓ１１１においてその顔認識により人物の顔が検出されたか否かを判定する。動画像から顔が検出された場合、ＣＰＵ２０は、Ｓ１１３に処理を移行し、焦点調整モードを顔ＡＦモードに設定する。ここで、顔ＡＦモードとは、検出された顔に焦点を合わせるＡＦモードを指す。
【００４４】
一方、動画像から顔が検出されない場合、ＣＰＵ２０は、Ｓ１１５に処理を移行し、焦点調整モードを多点ＡＦモードに設定する。ここで、多点ＡＦモードとは、イメージセンサ１０の撮像領域を例えば３×５＝１５分割し、各分割領域で焦点検出を行ない、焦点検出結果と被写体の輝度情報から主被写体を類推し、主被写体に合焦させるモードを指す。
【００４５】
Ｓ１１３あるいはＳ１１５でＡＦモードを設定した後、ＣＰＵ２０は、Ｓ１１７において、設定されたＡＦモードに応じた焦点検出領域を設定する。例えば、顔ＡＦモードでは検出された顔領域に焦点検出領域を設定し、多点ＡＦモードでは主被写体に対応した領域に焦点検出領域を設定する。
【００４６】
次いで、ＣＰＵ２０は、Ｓ１２１において、撮像準備スイッチ（図示しない）がオン操作されたか否かを判定し、オン操作されていなければＳ１０５に処理を戻す。これにより、カメラ１は、撮像準備スイッチがオン操作されるまで、Ｓ１０５におけるイメージセンサ１０の駆動からＳ１１７における焦点検出領域の決定までの処理を繰り返し実行することとなる。
【００４７】
Ｓ１２１において撮像準備スイッチがオン操作された場合、ＣＰＵ２０は、Ｓ１３１へ処理を移行し、焦点検出サブルーチンを実行する。
【００４８】
図８は、焦点検出サブルーチンを示すフローチャートである。メインフローのＳ１２１から焦点検出サブルーチンを開始するＳ１３１に処理が移行すると、図８に示すように、ＣＰＵ２０は、Ｓ１３３において、Ｓ１１７で設定した焦点検出領域に含まれる焦点検出用画素を読み出す。
【００４９】
次いで、ＣＰＵ２０は、Ｓ１３５において、焦点検出用画素から、Ｓ１１７で設定した焦点検出領域に対応した測距視野像を切り出す。次いで、ＣＰＵ２０は、Ｓ１３７において、予め製造工程などでチェックされた欠陥画素の情報のうち、Ｓ１３５で切り出した測距視野像内に存在する焦点検出用画素の欠陥情報を欠陥記憶手段としてのメモリ回路２２から得る。次いで、ＣＰＵ２０は、Ｓ１３９において、相関演算サブルーチンを実行する。
【００５０】
図９は、相関演算サブルーチンを示すフローチャートである。焦点検出サブルーチンのＳ１３９により相関演算サブルーチンが実行されると、図９に示すように、ＣＰＵ２０は、Ｓ１９１へ処理をジャンプする。次いで、ＣＰＵ２０は、Ｓ１９３において、焦点検出サブルーチンのＳ１３７で得た欠陥情報に基づいて欠陥画素を補正処理（補間処理）する。
【００５１】
次いで、ＣＰＵ２０は、Ｓ１９５〜Ｓ２０７の像ずらし量のループ処理を行う。具体的には、ＣＰＵ２０は、Ｓ１９７において、像ずらしをした箇所で、Ｓ１３７で得た欠陥画素と対向する画素を補正（補間）する。具体的には、欠陥画素と対向する画素の値が、欠陥画素でない同種の焦点検出用画素の値に基づいて補間される。その後、ＣＰＵ２０は、Ｓ１９９〜Ｓ２０３の視野ループで、測距視野像内で相関量の演算を行う。Ｓ２０１では、例えば後述する演算式などを用いて相関量を演算する。上述した対向画素の補間は、本発明の要部となるので図１０、１１を用いて詳細に説明する。
【００５２】
図１０は、図２に例示したイメージセンサ１０の信号のうち、離散的に配置された焦点検出用画素を抜き出して得られた信号による線像を例示する図である。図２では、Ａ、Ｂで示した画素のｉ行ｊ列で得られる信号をｉＡｊとして表現した。本実施形態においては、ｊが瞳分割方向、ｉが瞳分割方向と直交する方向である。
【００５３】
以下では、図１０において、２Ａ７に欠陥があるとして説明を行う。（図１０のｉ＝２で演算をする場合で説明をする。）
【００５４】
相関量の計算方法は各種の方法が提案されているが、例えば２像の差の絶対値を加算したものを相関量として定義して計算を行う場合には、次の式（１）のとおりに相関量ＣＯＲ（ｋ）を求める。
【００５５】
【数１】
【００５６】
上記式のｉは測距視野によって決まる値である。ｊは測距視野に対応しており、相関演算サブルーチンや視野ループに対応する。ｋは像ずらし量であり相関演算サブルーチンの像ずらしループに対応する。また、相関量を上記式のように定義することで、相関が高い像ずらし量（ｋ）において相関量ＣＯＲ（ｋ）は最小となる。
【００５７】
図１１は、相関演算を行っている時の線像の状態を模式的に示した図である。図１１において、各パラメータは、ｉ＝２、ｊ＝４，５，…，９、ｋ＝−２，−１，０，１，２である。図１１から明らかなように、欠陥画素（２Ａ７）と向かい合う画素は像をずらすごとに、２Ｂ５、２Ｂ６、２Ｂ７、２Ｂ８、２Ｂ９と変化している。本発明では、この欠陥画素（２Ａ７）及び欠陥画素に対向する画素を像ずらしごとに補間生成する。本発明において、上記の方法を、”向き合う対の画素を夫々生成する”方法と定義する。補間生成する方法として、例えばｉＡｊが欠陥画素の場合には、次の式（２）として与えられる。
【００５８】
【数２】
【００５９】
なお、ｉＢｊについても同様である。図１１において、２Ａ７は常に欠陥なので、像ずらし量に関わらず２Ａ７＝（２Ａ６＋２Ａ８）／２として与えられる。このため相関演算サブルーチンのＳ１９３で補正が行われる。一方、向かい合う像は、ｋ＝２［ｂｉｔ］の時は２Ｂ５＝（２Ｂ４＋２Ｂ６）／２、ｋ＝１［ｂｉｔ］の時は２Ｂ６＝（２Ｂ５＋２Ｂ７）／２と変化する。このため、相関演算サブルーチンのＳ１９７では、像ずらし量に応じて欠陥画素の２Ａ７と対向する画素を順次補間して与える。なお、別の補正式としては、次の式（３）、式（４）等を用いることもできる。
【００６０】
【数３】
【００６１】
【数４】
【００６２】
式（２）は瞳分割方向に補間を行う式の例、式（３）は瞳分割と素直方向に補間を行う式の例、式（４）は２次元的に補間を行う式の例を示している。本発明は補間のタイミングとその対象に主な特徴があるのでいずれの補正式を用いてもよい。
【００６３】
図９に戻って相関演算サブルーチンの続きを説明する。ＣＰＵ２０は、測距視野内で計算を行うループ処理（Ｓ１９９〜Ｓ２０３）の後、Ｓ２０５で像ずらし量での相関量をＲＡＭなどのメモリに保存する。ＣＰＵ２０は、Ｓ１９５〜Ｓ２０７の像ずらし量のループ処理で、規定の像ずらし範囲で相関量の演算を行う。
【００６４】
次いで、ＣＰＵ２０は、Ｓ２０８において、Ｓ１９５からＳ２０７でのループで求められた相関量をもとに、焦点検出用画素群における欠陥画素に対向する画素を決定する。つまり、Ｓ２０８では、後述するＳ２０９における補間前において、焦点検出用画素によるＡ画素群における欠陥画素と対向するＢ画素群の画素が決定される。具体的には、式（１）の定義に従うと相関が高い（２つの像がほぼ一致している）時に相関量ＣＯＲは最小となるので、相関量が最小となるｋを求める。具体的には、図１１に示すように、欠陥画素の２Ａ７と対向している画素が２Ｂ５、２Ｂ６、２Ｂ７、２Ｂ８、２Ｂ９の中から選択されることとなる。
【００６５】
次いで、ＣＰＵ２０は、Ｓ２０９において、Ｓ２０８で決定された欠陥画素に対向する画素の補正処理（補間処理）を行う。この補正処理における方法は、具体的には前述した式（２）〜式（４）を用いた補正方法と同様である。例えば、相関量が最小となるｋが１である場合は、欠陥画素と対向する画素の２Ｂ６が式（２）により（２Ｂ５＋２Ｂ７）／２として補正（補間）されることとなる。すなわち、欠陥画素でない同種であるＢ画素群の焦点検出用画素の値に基づいて補間される。
【００６６】
次いで、ＣＰＵ２０は、Ｓ２１１においてデジタルフィルタ処理を行う。Ｓ２１１におけるデジタルフィルタは、焦点検出において注目する周波数などに応じて適切な形状のものを用いてよい。次いで、ＣＰＵ２０は、Ｓ２１３〜Ｓ２２３において、Ｓ２０９で補正処理を行った像を用いて再度相関量を演算する像ずらし量のループ処理を行う。なお、Ｓ２１３〜Ｓ２２３における像ずらし量は、Ｓ１９５〜Ｓ２０７と同じである必要はなく、Ｓ２０９で相関量が最小となったｋの近傍で演算が行われればよい。
【００６７】
像ずらし量のループ処理において、ＣＰＵ２０は、Ｓ２１５〜Ｓ２１９の視野ループで、測距視野内で相関量の演算を行う。具体的には、ＣＰＵ２０は、Ｓ２１７で式（１）などにしたがって相関量を演算する。なお、Ｓ１９３で欠陥画素の補正を、Ｓ２０９で欠陥画素に対向する画素の補正を行ったので、Ｓ２１５とＳ２１７の間では補正処理は行わない。
【００６８】
上述した再度相関量を演算する際の様子を模式的に図１２に示した。図１２では、Ｓ２０９において、相関量が最小となるｋが０であり、２Ａ７と２Ｂ７が対向するとして処理された場合を示している。図１２に示すとおり、Ｓ２０９で補正処理された２Ｂ７は、像ずらし中は補正処理が行われることなく、相関演算に用いられる。次いで、ＣＰＵ２０は、Ｓ２２１において視野ループにより演算された相関量を保存する。
【００６９】
次いで、ＣＰＵ２０は、Ｓ２２５において、プレディクション量を決定する。具体的には、ＣＰＵ２０は、Ｓ２１７で求めた相関量を元に、Ａ画素群の線像とＢ画素群の線像との相関が最も高くなるｋを決定する。次いで、ＣＰＵ２０は、Ｓ２２７において、図８に示した焦点検出サブルーチンのＳ１３９にリターンする。
【００７０】
図８に戻り、焦点検出サブルーチンの続きを説明する。Ｓ１３９に次いで、ＣＰＵ２０は、Ｓ１４１において、相関演算結果の信頼性を判定する。ここにおける信頼性とは、２像（Ａ画素群の線像とＢ画素群の線像）の一致度合いを指し、２像の一致度が良い場合は一般的に焦点検出結果の信頼性が高い。そこで、複数の焦点検出領域が選択されている場合は、Ｓ１４１の判定結果に基づいて信頼性の高い情報を優先的に使用する。
【００７１】
次いで、ＣＰＵ２０は、Ｓ１４３において、Ｓ１４１における信頼性の高い検出結果から焦点ずれ量を演算する。次いで、ＣＰＵ２０は、Ｓ１４５において、図７に示したメインフロー内のＳ１５１にリターンする。
【００７２】
図７に戻り、メインフローの続きを説明する。ＣＰＵ２０は、Ｓ１５１において、図８のＳ１４３で計算した焦点ずれ量が予め設定された許容値未満であり、合焦状態であるか否かを判定する。焦点ずれ量が許容値以上であり非合焦状態であると判定した場合、ＣＰＵ２０は、Ｓ１５３において撮像レンズ５のフォーカスレンズを駆動させた後、Ｓ１３１へ処理を戻す。したがって、カメラ１では、合焦状態と判定されるまで、Ｓ１３１乃至Ｓ１５１の処理が繰り返し実行されることとなる。
【００７３】
焦点ずれ量が許容値未満であり合焦状態であると判定した場合、ＣＰＵ２０は、Ｓ１５５において、ＬＣＤなどの表示部（図示しない）に合焦状態であることを示す合焦表示を行わせ、Ｓ１５７に処理を移行する。
【００７４】
次いで、ＣＰＵ２０は、Ｓ１５７において、撮像開始スイッチ（図示しない）がオン操作されたか否かを判定し、オン操作されていなければＳ１５９に移行する。ＣＰＵ２０は、Ｓ１５９において、撮像準備スイッチがオン操作されているか否かを判定し、撮像待機状態を維持するか否かを判別する。ここで、撮像待機状態を維持する場合、ＣＰＵ２０は、再びＳ１５７に処理を戻す。また、撮像待機状態を解除する場合、ＣＰＵ２０は、Ｓ１０５に処理を戻してプレビュー動作などを実行する。
【００７５】
Ｓ１５７において撮像開始スイッチがオン操作された場合、ＣＰＵ２０は、Ｓ１６１に処理を移行し、撮像サブルーチンを実行する。図１３は、撮像サブルーチンを示すフローチャートである。
【００７６】
図１３に示すように、撮像開始スイッチがオン操作されると、ＣＰＵ２０は、Ｓ１６１において撮像サブルーチン処理を開始し、Ｓ１６３において光量調整絞りを駆動し、露光時間を規定するメカニカルシャッタの開口制御を行う。なお、シャッタの駆動は一旦シャッタを閉じた後に再走行させてもよいし、電気的にリセット動作を行った後にシャッタが閉となるように走行させてもよい。
【００７７】
次いで、ＣＰＵ２０は、Ｓ１６５において、高画素静止画撮像のための画像読み出し、すなわちイメージセンサ１０の全画素の読み出しを行う。次いで、ＣＰＵ２０は、Ｓ１６７において、読み出した画像信号の欠損画素補間を行う。イメージセンサ１０における焦点検出用画素の出力は撮像のためのＲＧＢカラー情報を有しておらず、静止画像を得る上では欠損画素に相当する。したがって、欠損画素補間では、焦点検出用画素の周囲にあるＲＧＢカラー情報を有する撮像用画素の情報から補完することで焦点検出用画素に対応する画像信号を創生する。
【００７８】
次いで、ＣＰＵ２０は、Ｓ１６９において画像のγ補正、エッジ強調等の画像処理を行った後、Ｓ１７１において半導体メモリなどの記録媒体（図示しない）に撮像画像を記録する。次いで、ＣＰＵ２０は、Ｓ１７３において前述した表示部に撮像済み画像を表示した後、Ｓ１７５において図７に示したメインフローにリターンする。図７に示すように、撮像サブルーチンからリターンすると、ＣＰＵ２０は、Ｓ１８１において一連の撮像動作を終了する。
【００７９】
ここで、上述した処理による効果を図１４〜図１６を参照して説明する。ここで、図１４（ａ）は、焦点検出用画素群による線像と輝度との関係を示すグラフである。図１４（ｂ）は、図１４（ａ）に例示した焦点検出用画素群の信号から演算して求められた相関量を示すグラフである。なお、図１４（ａ）の横軸は焦点検出用画素の位置を、縦軸は輝度を示している。つまり、図１４（ａ）の例では、中央付近に輝度の高い被写体があり、周囲が暗い場合を例示している。また、焦点検出用画素に欠陥が無ければＡ像、Ｂ像ともに同じ信号が入ることになるが、図１４（ａ）の例では、Ａ像の１つの画素が欠陥のために信号が欠落している。このときに欠落が無ければ像ずらし量＝０ｂｉｔの時に相関量が最小となる。
【００８０】
本実施形態では、図１４（ａ）のような信号が得られるのは、焦点が合っている状態で且つ前述した様に中央に輝度の高い被写体があり、周囲が暗い場合である。欠陥と被写体との位置関係で欠陥画素が焦点検出に与える影響は異なるが、欠陥の影響が最も大きくなる場合として、図１４（ａ）では中央の輝度の高い被写体のエッジ部分と欠陥画素が重なった場合を例示した。逆に言うと、暗い場所に黒つぶれなどの欠陥が存在しても焦点検出には影響がない。
【００８１】
図１４（ｂ）において、横軸は像ずらし量（前述したｋに対応）であり、縦軸は前述した式（１）及び式（２）に基づいて求めた相関量である。前述したフローチャートでは、図９に示したＳ１９５〜Ｓ２０７においてこの相関量が求められる。図１４（ｂ）では、像ずらし量＝０ｂｉｔで相関量（ＣＯＲ）が最小値となっている。上述したように本実施形態では、焦点検出用画素において、その欠陥画素及びその欠陥画素と向き合う対の画素の夫々が式（２）よって周辺画素から補間される。
【００８２】
したがって、本実施形態では、本来像が一致する位置（図１４（ａ）、（ｂ）の例では０ｂｉｔ）の時にノイズが無ければ相関量＝０（＝相関が高い）となる。この位置で焦点検出用画素群によるＡ像とＢ像は一致し、最も相関が高いと判断される。前述したフローチャートでは、相関が最も高い位置を決めて欠陥画素とその欠陥画素と対向する画素を決定する動作がＳ２０８で行われる。
【００８３】
図１５（ａ）は、焦点検出用画素群による線像と、Ｓ２０９によって欠陥画素及び欠陥画素に対向する画素が補正された後にデジタルフィルタ処理をした線像と輝度の関係を示すグラフである。図１５（ｂ）は、図１５（ａ）に例示した焦点検出用画素群の信号を演算して求められた相関量を示すグラフである。なお、図１５（ａ）の横軸は焦点検出用画素の位置を、縦軸は輝度を示している。前述したＳ２０９までにＡ像、Ｂ像の両方に対して欠陥画素および欠陥画素と対向する画素の補正処理したので、図１５（ａ）に示すように、２つの線像は完全に一致している。
【００８４】
図１５（ｂ）において、横軸は像ずらし量（前述したｋに対応）であり、縦軸は前述した式（１）及び式（２）に基づいて求められた相関量（ＣＯＲ）である。図１５（ａ）に示したように１対の線像は完全に一致しているので、図１５（ｂ）に示すグラフでは像ずらし量＝０ｂｉｔの時に相関量が最小（＝相関が高い）となる。よって、このグラフにおけるＣＯＲが最小値となる像ずらし量が、焦点検出の際のプレディクション量として最終的に選ばれることとなる。
【００８５】
なお、焦点検出用画素群の欠陥画素及び欠陥画素に対向する画素の補間後に再度相関量を演算することによる効果をより分かり易くするために、焦点検出用画素群の欠陥画素のみを補間処理した結果を図１６に示す。図１６（ａ）は、焦点検出用画素群による線像と、欠陥画素のみが補正された後にデジタルフィルタ処理をした線像と輝度の関係を示すグラフである。図１６（ｂ）は、図１６（ａ）に例示した焦点検出用画素群の信号を演算して求められた相関量を示すグラフである。
【００８６】
図１６（ａ）に示すように、欠陥画素のみを補間処理した場合は、１対の線像は一致しない。このため、図１６（ｂ）に示すように、相関量を示すグラフ曲線は、非対称且つボトムが完全には下がらない形となる。したがって、このような相関量が求まった場合は、図１６（ｂ）に示すように、グラフの変曲点を境にして両側から接線を延長するなどの方法でＣＯＲ（ｋ）が最小（ＣＯＲ＝０）となるｋを推定することとなる。なお、ｋを推定する方法は、相関量のグラフ曲線に近似する適当な関数を用いて極小値を求める方法であってもよい。
【００８７】
しかし、上述した推定により求めたｋは、焦点が合っている状態にもかかわらずｋ＝０とはならない。つまり、焦点が合っている状態でもずれていると判断され、誤った焦点検出が行われる虞があり、その結果として合焦していないピントの外れた撮像画像を取得することとなる。しかしながら、本実施形態では、上述した簡単なアルゴリズム（フロー）にしたがって焦点検出用画素群に関する欠陥処理を行うことで、焦点検出用画素群に含まれる欠陥画素の影響を低減することができる。このことにより、カメラ１は、ユーザに正確に合焦した撮像画像を提供することが可能となる。また、イメージセンサ１０における焦点検出用画素群に欠陥画素を許容できることからイメージセンサ１０の歩留まりが向上し、コストの低減を図ることが可能となる。
【００８８】
［第２の実施形態］
図１７〜図２１は第２の実施形態を説明するための図である。以下では、これらの図を参照して第２の実施形態を説明する。なお、本実施形態は相関演算における演算を除いて第１の実施形態と同様なので、カメラ１の構成等の同様な部分についての説明は割愛し、第１の実施形態と異なる部分についてのみ説明する。
【００８９】
本実施形態において、メインフローは図７、焦点検出サブルーチンは図８、撮像サブルーチンは図１３に示したとおりである。第１の実施形態とは異なる相関演算サブルーチンについては図１７に示した。
【００９０】
図１７に示すように、第２の実施形態と第１の実施形態との相違点は、Ｓ１９３ａにおいて、焦点検出サブルーチンのＳ１３７で得た欠陥情報に基づいて焦点検出用画素群における欠陥部（欠陥画素）の排除処理を行っていることである。ここでいう排除処理とは、欠陥部を焦点状態の検出に用いないように、欠陥部を除いて演算を行うことを指している。なお、具体的な処理方法は後述する。
【００９１】
さらに、Ｓ１９５〜Ｓ２０７では像ずらし量の処理ループを形成している。そして、Ｓ１９７ａでは、像ずらしをした箇所で、焦点検出サブルーチンのＳ１３７で得た欠陥情報に基づいて欠陥画素と対向する画素を焦点状態の検出に用いないように排除する排除処理を行う。
【００９２】
図１８は、相関演算を行っている時の焦点検出用画素群による焦点検出像であるＡ像とＢ像の状態を模式的に示した図である。図１８は、欠陥画素の排除処理を行った後の状態を図示している。図１８では、排除処理の結果、演算から除かれた画素が明らかになるように右に排除した画素を明示した。
【００９３】
図１８から明らかなように、欠陥画素の２Ａ７と向かい合う画素は像をずらすごとに２Ｂ５、２Ｂ６、２Ｂ７、２Ｂ８、２Ｂ９と変化している。本実施形態では、欠陥画素の２Ａ７及びその欠陥画素に対向する画素を像ずらしごとに削除することで相関演算に影響を与えないようにする。本発明において、上記の方法を”欠陥画素と向き合う対の画素を夫々排除した焦点検出像を生成する”方法と定義する。
【００９４】
図１８において、２Ａ７は常に欠陥なので、像ずらし量に関わらず削除され、２Ａ６の次は２Ａ８となるようにＡ像は処理される。このため、相関演算サブルーチンのＳ１９３ａで排除処理が行われる。
【００９５】
一方、向かい合う像はｋ＝２［ｂｉｔ］の時は２Ｂ５なので、２Ｂ４の次は２Ｂ６となるようにＢ像は処理される。また、向かい合う像はｋ＝１［ｂｉｔ］の時は２Ｂ６なので、２Ｂ５の次は２Ｂ７となるようにＢ像は処理される。つまり、像ずらしによってＢ像の処理方法が変化している。このため、相関演算サブルーチンのＳ１９７ａにおける排除処理では、像ずらし量に応じて欠陥画素の２Ａ７と対向する画素を削除することでＢ像を与える。
【００９６】
相関演算サブルーチンのＳ１９９〜Ｓ２０３では、第１の実施形態と同様に測距視野内で計算を行う視野ループを形成する。また、Ｓ２０５では、像ずらし量での相関量をメモリに保存する。上述したＳ１９５〜Ｓ２０７の像ずらし量のループ処理により、規定の像ずらし範囲での相関量の演算が行われる。
【００９７】
Ｓ２０８では、第１の実施形態と同様、Ｓ１９５からＳ２０７でのループで求められた相関量をもとに、後述するＳ２０９ａにおける排除前において、焦点検出用画素群における欠陥画素に対向する画素を決定する。具体的には、式（１）の定義に従うと相関が高い（２つの像がほぼ一致している）時に相関量ＣＯＲは最小となるので、相関量が最小となるｋを求める。例えば、欠陥画素の２Ａ７と対向している画素が２Ｂ５、２Ｂ６、２Ｂ７、２Ｂ８、２Ｂ９の中から選択されることとなる。次いで、ＣＰＵ２０は、Ｓ２０９ａにおいて、Ｓ２０８で決定された画素を排除する。
【００９８】
次いで、ＣＰＵ２０が行うＳ２１１以降の処理は第１の実施形態と同様である。具体的には、Ｓ２１１では、デジタルフィルタ処理を行う。Ｓ２１１におけるデジタルフィルタは、焦点検出において注目する周波数などに応じて適切な形状のものを用いてよい。Ｓ２１３〜２２３では、欠陥画素に対向する画素をＳ２０９ａにより排除した像を用いて再度相関量を演算するための像ずらしループを形成する。なお、Ｓ２１３における像ずらし量はＳ１９５と同じである必要はなく、Ｓ２０９ａで相関量が最小となったｋの近傍で演算が行われればよい。
【００９９】
Ｓ２１５〜Ｓ２１９の視野ループでは、測距視野内の相関量の演算を行う。Ｓ１９３ａで欠陥画素を、Ｓ２０９ａで欠陥画素に対向する画素を排除したので、Ｓ２１５とＳ２１７の間では補正処理は行わない。
【０１００】
上述した再度相関量を演算する様子を模式的に図１９に示した。図１９では、Ｓ２０９ａにおいて、相関量が最小となるｋが０であり、２Ａ７と２Ｂ７が対向するとして処理された場合を示している。図１９に示すとおり、２Ｂ７はＳ２０９ａで排除され、再度相関量を演算する際には用いられない。Ｓ２２１では視野ループにより演算された相関量を保存し、Ｓ２２５では、プレディクション量を決定する。具体的には、Ｓ２１７で求めた相関量を元に、Ａ画素群の線像とＢ画素群の線像との相関が最も高くなるｋを決定する。次いで、Ｓ２２７では、図８に示した焦点検出サブルーチンのＳ１３９にリターンする。
【０１０１】
ここで、上述した処理による効果を図２０、図２１を参照して説明する。なお、被写体による焦点検出用画素群からの信号やその輝度及び欠陥画素の位置などは、図１４に例示した第１の実施形態と同じとする。図２０は最初相関量を求める時の焦点検出像とその相関量を示すグラフであり、図２０（ａ）は排除処理が行われた後の焦点検出用画素群による線像と輝度との関係を示すグラフである。また、図２０（ｂ）は、図２０（ａ）に例示した焦点検出用画素群の信号から演算して求められた相関量を示すグラフである。なお、図２０（ａ）の横軸は焦点検出用画素の位置を、縦軸は輝度を示している。
【０１０２】
図２０（ａ）を生成する元の信号は、図１４（ａ）に示したようにＡ像のみ被写体の輝度変化がある箇所に欠陥がある信号である。一方、図２０（ａ）に示す信号は、正しく２つの像が重ねあわされた場所で排除処理を施した後の信号である。したがって、図１４（ａ）と図２０（ａ）とにおいて、輝度の高い部分を比べた場合は図２０（ａ）の方が排除処理によって短くなる。また、図２０（ａ）に示したように、欠陥画素及びその欠陥画素と対向する画素を排除したので、正しく重ねあわされたときには、他の画素の信号は完全に一致し、２つの像の相関が高く演算される。
【０１０３】
図２０（ｂ）において、横軸は像ずらし量であり、縦軸は前述した式（１）に基づいて求めた相関量である。前述したフローチャートでは、図１７に示したＳ１９５〜Ｓ２０７においてこの相関量が求められる。図２０（ｂ）では、像ずらし量＝０ｂｉｔで相関量（ＣＯＲ）が最小値となっている。また、本実施形態では、焦点検出用画素群の欠陥画素及びその欠陥画素と向き合う対の像信号を排除して用いないようにし、排除後の焦点検出像の相関量が演算される。
【０１０４】
したがって、本実施形態では、本来像が一致する場所（図２０（ｂ）、（ｂ）の例では０ｂｉｔ）の時にノイズが無ければ相関量＝０（＝相関が高い）となる。この位置で焦点検出用画素群によるＡ像とＢ像は完全に一致し、最も相関が高いと判断される。前述したフローチャートでは、相関が最も高い位置を決めて欠陥画素とその欠陥画素と対向する画素を決定する動作がＳ２０９ａで行われる。
【０１０５】
図２１（ａ）は、焦点検出用画素群による線像と、Ｓ２０９ａによって欠陥画素及び欠陥画素に対向する画素が排除された後にデジタルフィルタ処理をした線像と輝度の関係を示すグラフである。図２１（ｂ）は、図２１（ａ）に例示した焦点検出用画素群の信号を演算して求められた相関量を示すグラフである。なお、図２１（ａ）の横軸は焦点検出用画素の位置を、縦軸は輝度を示している。前述したＳ２０９ａまでにＡ像、Ｂ像の両方に対して欠陥画素及び欠陥画素と対向する画素の排除処理をしたので、図２１（ａ）に示すように、２つの線像は完全に一致している。
【０１０６】
図２１（ｂ）において、横軸は像ずらし量であり、縦軸は前述した式（１）に基づいて求められた相関量である。図２１（ａ）に示したように１対の線像は完全に一致しているので、図２１（ｂ）に示すグラフでは像ずらし量＝０ｂｉｔの時に相関量が最小（＝相関が高い）となる。よって、このグラフにおける相関量ＣＯＲが最小値となる像ずらし量が、焦点検出の際のプレディクション量として最終的に選ばれることとなる。
【０１０７】
本実施形態では、上述した簡単なアルゴリズム（フロー）にしたがって焦点検出用画素群に関する欠陥処理（排除処理）を行うことで、焦点検出用画素群に含まれる欠陥画素の影響を低減することができる。このことにより、カメラ１は、ユーザに正確に合焦した撮像画像を提供することが可能となる。また、イメージセンサ１０における焦点検出用画素群に欠陥画素を許容できることからイメージセンサ１０の歩留まりが向上し、コストの低減を図ることが可能となる。
【０１０８】
［第３の実施形態］
図２２〜図２４は第３の実施形態を説明するための図である。以下では、これらの図を参照して第３の実施形態を説明する。なお、本実施形態において、前述した第１、２の実施形態と同様な部分についての説明は割愛する。
【０１０９】
図２２は、第３の実施形態に係る焦点検出装置を備えたカメラ１ａの構成の概略を示す図である。図２２に示すように、カメラ１ａは、イメージセンサ１０（撮像素子）が撮像レンズ５の結像面に配置されたデジタルスチルカメラである。なお、焦点検出センサ２０５の欠陥情報を記憶する欠陥記憶手段を含む処理回路などの電気的な構成は、第１の実施形態と同様なので、ここでは省略した。
【０１１０】
カメラ１ａでは、ユーザが構図を決めている状態では、撮像レンズ５から入射される光の光路がクイックリターンミラー２００によって変更され、被写体像を観察するための接眼レンズ３に光束が導かれる。同時に、クイックリターンミラー２００は半反射面になっており、接眼レンズ３に導かれる光束以外の残りの光束は焦点検出センサ２０５に導かれることとなる。焦点検出センサ２０５は、撮影光学系の異なる瞳領域を通った１対の光束を結像させる瞳分割手段と、１対の光束の一方が結像される第１のエリアと、１対の光束の他方が結像される第２のエリアとを有する。
【０１１１】
ここで、カメラ１ａにおける瞳分割手段に関して図２２及び図２３を参照して説明する。図２３に示すように、焦点検出センサ２０５における瞳分割手段は、フィールドレンズ２０１、視野マスク２０２、瞳分割マスク２０３、２次結像レンズ２０４ａ、２０４ｂより構成される。視野マスク２０２は撮像レンズ５の結像面近傍に設けられ、焦点検出範囲を規定する。２次結像レンズ２０４ａ、２０４ｂからみて撮像レンズ５に近い側には絞り孔２０３ａ、２０３ｂを有する瞳分割マスク２０３が設けられている。絞り孔２０３ａ、２０３ｂは２次結像レンズ２０４ａ、２０４ｂに入射する光束を規制する。瞳分割マスク２０３は、フィールドレンズ２０１の光学パワーにより撮像レンズ５の射出瞳の位置に略結像するような関係の位置に置かれる。
【０１１２】
１対の２次結像レンズ２０４ａ、２０４ｂは、視野マスク２０２で決定された領域の被写体像を焦点検出センサ２０５の第１のエリアとしての受光エリア２０６ａと、第２のエリアとしての受光エリア２０６ｂ上に結像させる。焦点検出センサ２０５の受光エリア２０６ａ、２０６ｂ上において、被写体像により光電変換された電荷は、電気信号として読み出され、位相差による焦点検出演算に用いられる。したがって、カメラ１ａでは、前述の受光エリア２０６ａ、２０６ｂから得られる電気信号から適宜なレンズ位置の演算を行うことで、測距視野に対応したデフォーカス量を得ることができる。
【０１１３】
図２４は、カメラ１ａのメインフローを示すフローチャートである。なお、焦点検出サブルーチン及び撮像サブルーチンは第１の実施形態で例示した図１０、図１１のフローチャートに従って行う。また、図２４に示すフローチャートでは、第１の実施形態と同じ動作をするものには同じ符号を付した。以下に第１の実施形態との違いについて述べる。
【０１１４】
図２４に示すように、第１の実施形態との違いは、本実施形態に係るメインフローにはＳ１０３、Ｓ１０４がないことである。本実施形態では、焦点検出センサ２０５に被写体像を導くためのいわゆる２次結像光学系に、半透過のクイックリターンミラーを通して光束を導くため、ミラーアップ動作やシャッター開放動作が必要ない。また撮影サブルーチン内のＳ１６３では、第１の実施形態においてシャッター閉→再走行という動作をしている。これに対し、本実施形態では、Ｓ１６３に到達した時にシャッターは閉状態にあるので、従来の銀塩カメラなどと同様のシャッター走行動作をすればよい。なお、その他の動作は第１の実施形態と同じである。
【０１１５】
なお、図２３に例示した焦点検出センサ２０５は、受光エリア２０６ａ、２０６ｂが２次元的にひろがるいわゆるエリアセンサであってもよいし、複数の１対の像を得るためのラインを持ついわゆるラインセンサであってもよい。このようなセンサには、本発明を容易に適用できる。具体的には、Ｓ１３３において、焦点検出を行うための焦点検出センサ２０５の信号を読み出せばよく、以下は第１の実施形態と同様の動作でよい。
【０１１６】
本実施形態によれば、上述した簡単なアルゴリズム（フロー）にしたがって焦点検出センサ２０５の欠陥画素を処理することで、焦点検出センサ２０５に含まれる欠陥画素の影響を低減することができる。このことにより、カメラ１ａは、ユーザに正確に合焦した撮像画像を提供することが可能となる。また、撮像レンズ５における欠陥画素を許容できることから撮像レンズ５の歩留まりが向上し、コストの低減を図ることが可能となる。
【０１１７】
なお、上述した実施の形態における記述は、一例を示すものであり、これに限定するものではない。上述した実施の形態における構成及び動作に関しては、適宜変更が可能である。
【０１１８】
例えば、上述した実施形態では焦点検出用画素群におけるＡ像において欠陥画素がある場合を例示したが、Ｂ像に欠陥画素があっても同様な処理が行われることは言うまでもない。さらに、焦点検出用画素群におけるＡ像、Ｂ像ともに欠陥画素がある場合であっても同様である。
【０１１９】
（他の実施形態）
上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。
【０１２０】
なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。
【０１２１】
有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。
【０１２２】
また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。
【図面の簡単な説明】
【０１２３】
【図１】第１の実施形態に係るカメラの構成の概略を示す図である。
【図２】イメージセンサの一部の領域を例示する図である。
【図３】イメージセンサの一部の画素を例示する図である。
【図４】（ａ）は、撮像レンズの瞳領域を通過した光束の光路を例示して焦点検出用画素の瞳分割を説明する図であり、（ｂ）は、撮像レンズの瞳領域を通過した光束の光路を例示して焦点検出用画素の瞳分割を説明する図である。
【図５】（ａ）は、瞳面上での焦点検出用画素への入射特性を説明する図であり、（ｂ）は、瞳面上での焦点検出用画素への入射特性を説明する図である。
【図６】焦点検出用画素群で生成される線像の説明図である。
【図７】第１の実施形態に係るカメラのメインフローを示すフローチャートである。
【図８】第１の実施形態に係る焦点検出サブルーチンを示すフローチャートである。
【図９】第１の実施形態に係る相関演算サブルーチンを示すフローチャートである。
【図１０】焦点検出用画素を抜き出して得られる焦点検出像を例示する図である。
【図１１】第１の実施形態に係る相関演算を行っている時の焦点検出像の状態を模式的に示した図である。
【図１２】第１の実施形態において再度相関演算を行っている時の焦点検出像の状態を模式的に示した図である。
【図１３】第１の実施形態に係る撮像サブルーチンを示すフローチャートである。
【図１４】第１の実施形態における最初相関量を求める時の焦点検出像とその相関量を示すグラフであり、（ａ）は、焦点検出用画素群による線像と輝度との関係を示すグラフであり、（ｂ）は、演算して求められた相関量を示すグラフである。
【図１５】第１の実施形態における再度相関量を求める時の焦点検出像とその相関量を示すグラフであり、（ａ）は、焦点検出用画素群による線像及び再度相関量を求める際の線像と輝度との関係を示すグラフであり、（ｂ）は、演算して求められた相関量を示すグラフである。
【図１６】本発明を用いない場合の焦点検出像とその相関量を示すグラフであり、（ａ）は、焦点検出用画素群による線像及び相関量を求める際の線像と輝度との関係を示すグラフであり、（ｂ）は、演算して求められた相関量を示すグラフである。
【図１７】第２の実施形態に係る相関演算サブルーチンを示すフローチャートである。
【図１８】第２の実施形態に係る相関演算を行っている時の焦点検出像の状態を模式的に示した図である。
【図１９】第２の実施形態において再度相関演算を行っている時の焦点検出像の状態を模式的に示した図である。
【図２０】第２の実施形態における最初相関量を求める時の焦点検出像とその相関量を示すグラフであり、（ａ）は、焦点検出用画素群による線像と輝度との関係を示すグラフであり、（ｂ）は、演算して求められた相関量を示すグラフである。
【図２１】第２の実施形態における再度相関量を求める時の焦点検出像とその相関量を示すグラフであり、（ａ）は、焦点検出用画素群による線像及び再度相関量を求める際の線像と輝度との関係を示すグラフであり、（ｂ）は、演算して求められた相関量を示すグラフである。
【図２２】第３の実施形態に係るカメラの構成の概略を示す図である。
【図２３】第３の実施形態に係る瞳分割手段の構成を示す図である。
【図２４】第３の実施形態に係るカメラのメインフローを示すフローチャートである。
【符号の説明】
【０１２４】
１、１ａ カメラ
５ 撮像レンズ
１０ イメージセンサ
２０ ＣＰＵ
２１ イメージセンサ制御回路
２２ メモリ回路
２３ インターフェース回路
２４ 画像処理回路
【特許請求の範囲】
【請求項１】
撮像光学系による結像面の焦点状態を検出する焦点検出装置において、
複数の第１の焦点検出用画素と複数の第２の焦点検出用画素から構成され、前記第１の焦点検出用画素と前記第２の焦点検出用画素とが構成する焦点検出用画素対を複数有する焦点検出センサと、
前記焦点検出センサの欠陥画素を示す欠陥情報を記憶する欠陥記憶手段と、
前記欠陥情報が示す欠陥画素の値と、当該欠陥画素と前記焦点検出用画素対を構成する前記第１の焦点検出用画素又は前記第２の焦点検出用画素の値とを、前記欠陥画素でない同種の焦点検出用画素の値に基づいて補間する補間手段と、
前記補間手段による補間後の前記複数の焦点検出用画素対の前記第１の焦点検出用画素から得られる第１の焦点検出像と、前記第２の焦点検出用画素から得られる第２の焦点検出像との位相差から、前記焦点状態を検出する検出手段と、
を備えることを特徴とする焦点検出装置。
【請求項２】
前記補間手段が、前記補間前の前記複数の焦点検出用画素対から得られる前記第１の焦点検出像と、前記第２の焦点検出像との相関に基づいて、前記欠陥画素と前記焦点検出用画素対を構成する前記第１の焦点検出用画素又は前記第２の焦点検出用画素を決定することを特徴とする請求項１に記載の焦点検出装置。
【請求項３】
撮像光学系による結像面の焦点状態を検出する焦点検出装置において、
複数の第１の焦点検出用画素と複数の第２の焦点検出用画素から構成され、前記第１の焦点検出用画素と前記第２の焦点検出用画素とが構成する焦点検出用画素対を複数有する焦点検出センサと、
前記焦点検出センサの欠陥画素を示す欠陥情報を記憶する欠陥記憶手段と、
前記欠陥情報が示す欠陥画素の値と、当該欠陥画素と前記焦点検出用画素対を構成する前記第１の焦点検出用画素又は前記第２の焦点検出用画素の値とを、前記焦点状態の検出に用いないように排除する排除手段と、
前記排除手段による排除後の前記複数の焦点検出用画素対の前記第１の焦点検出用画素から得られる第１の焦点検出像と、前記第２の焦点検出用画素から得られる第２の焦点検出像との位相差から、前記焦点状態を検出する検出手段と、
を備えることを特徴とする焦点検出装置。
【請求項４】
前記排除手段が、前記排除前の前記複数の焦点検出用画素対から得られる前記第１の焦点検出像と、前記第２の焦点検出像との相関に基づいて、前記欠陥画素と前記焦点検出用画素対を構成する前記第１の焦点検出用画素又は前記第２の焦点検出用画素を決定することを特徴とする請求項３に記載の焦点検出装置。
【請求項５】
前記複数の焦点検出用画素対が、被写体像を光電変換する複数の画素を備えた前記結像面に配置された撮像素子において、所定のピッチで分散して配置されることを特徴とする請求項１乃至４のいずれか一項に記載の焦点検出装置。
【請求項６】
前記焦点検出センサが、前記撮影光学系の異なる瞳領域を通った１対の光束を結像させる瞳分割手段と、前記１対の光束の一方が結像される第１のエリアと、前記１対の光束の他方が結像される第２のエリアとを有し、前記複数の第１の焦点検出用画素が前記第１のエリアに、前記複数の第２の焦点検出用画素が前記第２のエリアに配置されることを特徴とする請求項１乃至４のいずれか一項に記載の焦点検出装置。
【請求項７】
複数の第１の焦点検出用画素と複数の第２の焦点検出用画素から構成され、前記第１の焦点検出用画素と前記第２の焦点検出用画素とが構成する焦点検出用画素対を複数有する焦点検出センサと、前記焦点検出センサの欠陥画素を示す欠陥情報を記憶する欠陥記憶手段とを有し、撮像光学系による結像面の焦点状態を検出する焦点検出装置の制御方法であって、
前記欠陥情報が示す欠陥画素の値と、当該欠陥画素と前記焦点検出用画素対を構成する前記第１の焦点検出用画素又は前記第２の焦点検出用画素の値とを、前記欠陥画素でない同種の焦点検出用画素の値に基づいて補間する補間工程と、
前記補間工程による補間後の前記複数の焦点検出用画素対の前記第１の焦点検出用画素から得られる第１の焦点検出像と、前記第２の焦点検出用画素から得られる第２の焦点検出像との位相差から、前記焦点状態を検出する検出工程と、
を含むことを特徴とする焦点検出装置の制御方法。
【請求項８】
複数の第１の焦点検出用画素と複数の第２の焦点検出用画素から構成され、前記第１の焦点検出用画素と前記第２の焦点検出用画素とが構成する焦点検出用画素対を複数有する焦点検出センサと、前記焦点検出センサの欠陥画素を示す欠陥情報を記憶する欠陥記憶手段とを有し、撮像光学系による結像面の焦点状態を検出する焦点検出装置の制御方法であって、
前記欠陥情報が示す欠陥画素の値と、当該欠陥画素と前記焦点検出用画素対を構成する前記第１の焦点検出用画素又は前記第２の焦点検出用画素の値とを、前記焦点状態の検出に用いないように排除する排除工程と、
前記排除工程による排除後の前記複数の焦点検出用画素対の前記第１の焦点検出用画素から得られる第１の焦点検出像と、前記第２の焦点検出用画素から得られる第２の焦点検出像との位相差から、前記焦点状態を検出する検出工程と、
を含むことを特徴とする焦点検出装置の制御方法。
【請求項１】
撮像光学系による結像面の焦点状態を検出する焦点検出装置において、
複数の第１の焦点検出用画素と複数の第２の焦点検出用画素から構成され、前記第１の焦点検出用画素と前記第２の焦点検出用画素とが構成する焦点検出用画素対を複数有する焦点検出センサと、
前記焦点検出センサの欠陥画素を示す欠陥情報を記憶する欠陥記憶手段と、
前記欠陥情報が示す欠陥画素の値と、当該欠陥画素と前記焦点検出用画素対を構成する前記第１の焦点検出用画素又は前記第２の焦点検出用画素の値とを、前記欠陥画素でない同種の焦点検出用画素の値に基づいて補間する補間手段と、
前記補間手段による補間後の前記複数の焦点検出用画素対の前記第１の焦点検出用画素から得られる第１の焦点検出像と、前記第２の焦点検出用画素から得られる第２の焦点検出像との位相差から、前記焦点状態を検出する検出手段と、
を備えることを特徴とする焦点検出装置。
【請求項２】
前記補間手段が、前記補間前の前記複数の焦点検出用画素対から得られる前記第１の焦点検出像と、前記第２の焦点検出像との相関に基づいて、前記欠陥画素と前記焦点検出用画素対を構成する前記第１の焦点検出用画素又は前記第２の焦点検出用画素を決定することを特徴とする請求項１に記載の焦点検出装置。
【請求項３】
撮像光学系による結像面の焦点状態を検出する焦点検出装置において、
複数の第１の焦点検出用画素と複数の第２の焦点検出用画素から構成され、前記第１の焦点検出用画素と前記第２の焦点検出用画素とが構成する焦点検出用画素対を複数有する焦点検出センサと、
前記焦点検出センサの欠陥画素を示す欠陥情報を記憶する欠陥記憶手段と、
前記欠陥情報が示す欠陥画素の値と、当該欠陥画素と前記焦点検出用画素対を構成する前記第１の焦点検出用画素又は前記第２の焦点検出用画素の値とを、前記焦点状態の検出に用いないように排除する排除手段と、
前記排除手段による排除後の前記複数の焦点検出用画素対の前記第１の焦点検出用画素から得られる第１の焦点検出像と、前記第２の焦点検出用画素から得られる第２の焦点検出像との位相差から、前記焦点状態を検出する検出手段と、
を備えることを特徴とする焦点検出装置。
【請求項４】
前記排除手段が、前記排除前の前記複数の焦点検出用画素対から得られる前記第１の焦点検出像と、前記第２の焦点検出像との相関に基づいて、前記欠陥画素と前記焦点検出用画素対を構成する前記第１の焦点検出用画素又は前記第２の焦点検出用画素を決定することを特徴とする請求項３に記載の焦点検出装置。
【請求項５】
前記複数の焦点検出用画素対が、被写体像を光電変換する複数の画素を備えた前記結像面に配置された撮像素子において、所定のピッチで分散して配置されることを特徴とする請求項１乃至４のいずれか一項に記載の焦点検出装置。
【請求項６】
前記焦点検出センサが、前記撮影光学系の異なる瞳領域を通った１対の光束を結像させる瞳分割手段と、前記１対の光束の一方が結像される第１のエリアと、前記１対の光束の他方が結像される第２のエリアとを有し、前記複数の第１の焦点検出用画素が前記第１のエリアに、前記複数の第２の焦点検出用画素が前記第２のエリアに配置されることを特徴とする請求項１乃至４のいずれか一項に記載の焦点検出装置。
【請求項７】
複数の第１の焦点検出用画素と複数の第２の焦点検出用画素から構成され、前記第１の焦点検出用画素と前記第２の焦点検出用画素とが構成する焦点検出用画素対を複数有する焦点検出センサと、前記焦点検出センサの欠陥画素を示す欠陥情報を記憶する欠陥記憶手段とを有し、撮像光学系による結像面の焦点状態を検出する焦点検出装置の制御方法であって、
前記欠陥情報が示す欠陥画素の値と、当該欠陥画素と前記焦点検出用画素対を構成する前記第１の焦点検出用画素又は前記第２の焦点検出用画素の値とを、前記欠陥画素でない同種の焦点検出用画素の値に基づいて補間する補間工程と、
前記補間工程による補間後の前記複数の焦点検出用画素対の前記第１の焦点検出用画素から得られる第１の焦点検出像と、前記第２の焦点検出用画素から得られる第２の焦点検出像との位相差から、前記焦点状態を検出する検出工程と、
を含むことを特徴とする焦点検出装置の制御方法。
【請求項８】
複数の第１の焦点検出用画素と複数の第２の焦点検出用画素から構成され、前記第１の焦点検出用画素と前記第２の焦点検出用画素とが構成する焦点検出用画素対を複数有する焦点検出センサと、前記焦点検出センサの欠陥画素を示す欠陥情報を記憶する欠陥記憶手段とを有し、撮像光学系による結像面の焦点状態を検出する焦点検出装置の制御方法であって、
前記欠陥情報が示す欠陥画素の値と、当該欠陥画素と前記焦点検出用画素対を構成する前記第１の焦点検出用画素又は前記第２の焦点検出用画素の値とを、前記焦点状態の検出に用いないように排除する排除工程と、
前記排除工程による排除後の前記複数の焦点検出用画素対の前記第１の焦点検出用画素から得られる第１の焦点検出像と、前記第２の焦点検出用画素から得られる第２の焦点検出像との位相差から、前記焦点状態を検出する検出工程と、
を含むことを特徴とする焦点検出装置の制御方法。
【図１】
【図２】
【図３】
【図４】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図５】
【図２】
【図３】
【図４】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図５】
【公開番号】特開２０１０−１３９６６５（Ｐ２０１０−１３９６６５Ａ）
【公開日】平成２２年６月２４日（２０１０．６．２４）
【国際特許分類】
【出願番号】特願２００８−３１５０２７（Ｐ２００８−３１５０２７）
【出願日】平成２０年１２月１０日（２００８．１２．１０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２２年６月２４日（２０１０．６．２４）
【国際特許分類】
【出願日】平成２０年１２月１０日（２００８．１２．１０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]