撮像装置
【課題】撮像画素と瞳分割型の焦点検出画素を混載する撮像素子を有する撮像装置において、適切な欠陥画素補正処理を行う。
【解決手段】欠陥画素の位置情報と欠陥画素補正処理情報と補正用画素位置情報とが、予め欠陥画素情報記憶メモリ２２１に格納される。欠陥画素が撮像画素３１０の場合、欠陥画素補正処理はメディアンフィルタ処理（処理「Ｍ」）である。欠陥画素が焦点検出画素の場合、欠陥画素補正処理は平均処理（処理「Ａ」）である。補正用画素位置情報は、欠陥画素補正処理に用いられる画素の位置を「０ｘ・・・」で表す２４ビットデータである。ボディ駆動制御装置２１４は、欠陥画素位置において、欠陥画素補正処理情報と補正用画素位置情報とに基づき、欠陥画素補正処理を施した補正画素データを読み出す。
【解決手段】欠陥画素の位置情報と欠陥画素補正処理情報と補正用画素位置情報とが、予め欠陥画素情報記憶メモリ２２１に格納される。欠陥画素が撮像画素３１０の場合、欠陥画素補正処理はメディアンフィルタ処理（処理「Ｍ」）である。欠陥画素が焦点検出画素の場合、欠陥画素補正処理は平均処理（処理「Ａ」）である。補正用画素位置情報は、欠陥画素補正処理に用いられる画素の位置を「０ｘ・・・」で表す２４ビットデータである。ボディ駆動制御装置２１４は、欠陥画素位置において、欠陥画素補正処理情報と補正用画素位置情報とに基づき、欠陥画素補正処理を施した補正画素データを読み出す。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関する。
【背景技術】
【０００２】
撮像素子における欠陥撮像画素の補正データとして、欠陥撮像画素の周囲のｎ×ｎの領域における撮像画素のデータのメディアンを採用する撮像装置が知られている。（たとえば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平４−２３５４７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、撮像画素と瞳分割型の焦点検出画素を混載する撮像素子を備えた撮像装置に対して、特許文献１に記載の撮像画素に適した欠陥画素補正処理を一律に適用した場合には、欠陥画素補正処理に撮像画素の画素信号と瞳分割型の焦点検出画素の画素信号とが混合することとなり、欠陥画素のデータが不適切に補正されてしまうという問題がある。欠陥画素が焦点検出画素の場合、正確な焦点検出を行うことができなくなる可能性がある。欠陥画素が撮像画素の場合は、画像品質が劣化する可能性がある。
【課題を解決するための手段】
【０００５】
（１）請求項１に記載の撮像装置は、像を形成する光束を射出する光学系と、光束を受光して画素信号を出力する複数の撮像画素と、瞳分割型の複数の焦点検出画素とを二次元配列に従って配置した撮像素子と、複数の撮像画素に含まれる欠陥撮像画素の画素信号を、該欠陥撮像画素の周囲の複数の撮像画素の画素信号に基づき第１の欠陥画素補正処理により補正するとともに、複数の焦点検出画素に含まれる欠陥焦点検出画素の画素信号を、該欠陥焦点検出画素の周囲の複数の焦点検出画素の画素信号に基づき第２の欠陥画素補正処理により補正する欠陥画素補正処理手段と、欠陥画素補正処理手段により補正された欠陥撮像画素の画素信号を含む複数の撮像画素の画素信号に基づいて、画像信号を生成する画像生成手段と、欠陥画素補正処理手段により補正された欠陥焦点検出画素の画素信号を含む複数の焦点検出画素の画素信号に基づいて、光学系の焦点調節状態を検出する焦点検出手段とを備えることを特徴とする。
（２）請求項１４に記載の撮像装置は、像を形成する光束を射出する光学系と、光束を受光して画素信号を出力する複数の撮像画素と、瞳分割型の複数の焦点検出画素とを二次元配列に従って配置した撮像素子と、複数の撮像画素に含まれる欠陥撮像画素および複数の焦点検出画素に含まれる欠陥焦点検出画素の各々の欠陥画素位置を示す欠陥画素位置情報と、該欠陥画素位置情報に応じて該欠陥画素位置の欠陥撮像画素または欠陥焦点検出画素の画素信号を補正する欠陥画素補正処理の種類を指定するための欠陥画素補正処理情報とを記憶する欠陥画素情報記憶手段と、欠陥画素情報記憶手段に記憶された欠陥画素位置情報および該欠陥画素位置情報に応じて記憶された欠陥画素補正処理情報に基づき欠陥撮像画素または欠陥焦点検出画素の画素信号を補正する欠陥画素補正処理手段と、欠陥画素補正処理手段により補正された欠陥撮像画素の画素信号を含む複数の撮像画素の画素信号に基づいて、画像信号を生成する画像生成手段と、欠陥画素補正処理手段により補正された欠陥焦点検出画素の画素信号を含む複数の焦点検出画素の画素信号に基づいて、光学系の焦点調節状態を検出する焦点検出手段とを備えることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、撮像画素と瞳分割型の焦点検出画素を混載する撮像素子を備えた撮像装置において、欠陥画素のデータの不適切な補正を防止することが可能になる。
【図面の簡単な説明】
【０００７】
【図１】第１の実施の形態のデジタルスチルカメラの構成を示す横断面図である。
【図２】交換レンズの撮影画面上における焦点検出位置を示す図である。
【図３】撮像素子の詳細な構成を示す正面図である。
【図４】撮像素子の詳細な構成を示す正面図である。
【図５】撮像画素と焦点検出画素のマイクロレンズの形状を示す図である。
【図６】撮像画素の正面図である。
【図７】緑画素、赤画素および青画素の分光特性を示す図である。
【図８】焦点検出画素の分光特性を示す図である。
【図９】焦点検出画素の正面図である。
【図１０】撮像画素の断面図である。
【図１１】焦点検出画素の断面図である。
【図１２】撮像画素が受光する撮影光束の様子を説明するための図である。
【図１３】焦点検出画素が受光する撮影光束の様子を説明するための図である。
【図１４】撮像素子の回路構成を簡略化して示す図である。
【図１５】撮像画素および焦点検出画素における１つの光電変換部に対する基本回路構成を示す図である。
【図１６】撮像素子の動作タイミングチャートである。
【図１７】デジタルスチルカメラの撮像動作を示すフローチャートである。
【図１８】一対のデータのずらし量ｋに対する相関量Ｃ（ｋ）の関係を示す図である。
【図１９】欠陥画素補正処理を行う際の画素データおよび処理の内容についての概念図である。
【図２０】欠陥画素を除いた５×５画素のマトリックスを２４ビットで表した図である。
【図２１】欠陥画素を中心とした５×５の領域を示した図である。
【図２２】欠陥画素を中心とした５×５の領域を示した図である。
【図２３】欠陥画素を中心とした５×５の領域を示した図である。
【図２４】欠陥画素を中心とした５×５の領域を示した図である。
【図２５】欠陥画素を中心とした５×５の領域を示した図である。
【図２６】欠陥画素を中心とした５×５の領域を示した図である。
【図２７】欠陥画素を中心とした５×５の領域を示した図である。
【図２８】欠陥画素補正処理の詳細を示すフローチャートである。
【図２９】撮像素子の詳細な構成を示す正面図である。
【図３０】撮像素子の詳細な構成を示す正面図である。
【図３１】焦点検出画素の正面図である。
【図３２】焦点検出画素の断面図である。
【図３３】交換レンズの撮影画面上における焦点検出位置を示す図である。
【図３４】撮像素子の詳細な構成を示す正面図である。
【図３５】撮像素子の詳細な構成を示す正面図である。
【図３６】焦点検出画素の正面図である。
【図３７】欠陥画素を中心とした５×５の領域を示した図である。
【図３８】欠陥画素を中心とした５×５の領域を示した図である。
【図３９】欠陥画素を中心とした５×５の領域を示した図である。
【図４０】欠陥画素を中心とした５×５の領域を示した図である。
【図４１】欠陥画素を中心とした５×５の領域を示した図である。
【図４２】欠陥画素を中心とした５×５の領域を示した図である。
【図４３】交換レンズの撮影画面上における焦点検出位置を示す図である。
【図４４】撮像素子の詳細な構成を示す正面図である。
【図４５】撮像素子の詳細な構成を示す正面図である。
【図４６】欠陥画素を中心とした５×５の領域を示した図である。
【図４７】欠陥画素を中心とした５×５の領域を示した図である。
【図４８】撮像素子の詳細な構成を示す正面図である。
【発明を実施するための形態】
【０００８】
−−−第１の実施の形態−−−
第１の実施の形態の撮像装置として、レンズ交換式のデジタルスチルカメラを例に挙げて説明する。図１は第１の実施の形態のデジタルスチルカメラの構成を示す横断面図である。本実施の形態のデジタルスチルカメラ２０１は、交換レンズ２０２とカメラボディ２０３とから構成され、交換レンズ２０２がマウント部２０４を介してカメラボディ２０３に装着される。カメラボディ２０３にはマウント部２０４を介して種々の撮影光学系を有する交換レンズ２０２が装着可能である。
【０００９】
交換レンズ２０２は、レンズ２０９、ズーミング用レンズ２０８、フォーカシング用レンズ２１０、絞り２１１、レンズ駆動制御装置２０６などを備えている。レンズ駆動制御装置２０６は、不図示のマイクロコンピューター、メモリ、駆動制御回路などから構成される。レンズ駆動制御装置２０６は、フォーカシング用レンズ２１０の焦点調節と絞り２１１の開口径調節のための駆動制御や、ズーミング用レンズ２０８、フォーカシング用レンズ２１０および絞り２１１の状態検出などを行う。また、後述するボディ駆動制御装置２１４との通信によりレンズ情報の送信とカメラ情報（デフォーカス量や絞り値など）の受信を行う。絞り２１１は、光量およびボケ量調整のために光軸中心に開口径が可変な開口を形成する。
【００１０】
カメラボディ２０３は、撮像素子２１２、ボディ駆動制御装置２１４、液晶表示素子駆動回路２１５、液晶表示素子２１６、接眼レンズ２１７、メモリカード２１９、バッファメモリ２２０、欠陥画素情報記憶メモリ２２１などを備えている。撮像素子２１２には、撮像画素が二次元状（行と列）に配置されるとともに、焦点検出位置（焦点検出エリア）に対応した部分に焦点検出画素が組み込まれている。この撮像素子２１２については詳細を後述する。
【００１１】
ボディ駆動制御装置２１４は、マイクロコンピューター、メモリ、駆動制御回路などから構成され、撮像素子２１２の駆動制御と、撮像素子２１２からの画素信号の読み出しおよび欠陥画素補正処理と、焦点検出画素の画素信号に基づく焦点検出演算と、交換レンズ２０２の焦点調節とを繰り返し行うとともに、画像信号の処理と記録、デジタルスチルカメラ２０１の動作制御などを行う。また、ボディ駆動制御装置２１４は電気接点２１３を介してレンズ駆動制御装置２０６と通信を行い、レンズ情報の受信とカメラ情報の送信を行う。
【００１２】
液晶表示素子２１６は電気的なビューファインダー（ＥＶＦ：Electronic View Finder）として機能する。液晶表示素子駆動回路２１５は撮像素子２１２から読み出されたスルー画像を液晶表示素子２１６に表示し、撮影者は接眼レンズ２１７を介してスルー画像を観察することができる。メモリカード２１９は、撮像素子２１２により撮像された画像を記憶する画像ストレージである。
【００１３】
バッファメモリ２２０は、撮像素子２１２から読み出された画素信号を一時的に保持するメモリである。撮像素子２１２からは行順次に画素信号が読み出され、数行分の画素信号のデータがバッファメモリ２２０に保持される。欠陥画素情報記憶メモリ２２１は撮像素子２１２の欠陥画素に関する情報を記憶するメモリである。欠陥画素とは受光光量に対して異常な画素信号を発生する画素のことであって、例えば、いわゆる白キズ、黒キズとなる画素である。製造時において撮像素子２１２をカメラボディ２０１に組み込む際に、所定の一様照明状態を撮像素子２１２上に形成し、所定水準の画素信号が得られなかった画素を欠陥画素と認定する。該欠陥画素の位置情報（行、列）と該欠陥画素の種類とに応じた欠陥画素補正処理の種類および欠陥画素補正処理に用いる周囲の画素の位置に関する情報が、欠陥画素情報記憶メモリ２２１に記憶される。
【００１４】
交換レンズ２０２を通過した光束により、撮像素子２１２の受光面上に被写体像が形成される。この被写体像は撮像素子２１２により光電変換され、撮像画素および焦点検出画素の画素信号がバッファメモリ２２０を介してボディ駆動制御装置２１４へ送られる。
【００１５】
ボディ駆動制御装置２１４は、撮像素子２１２の焦点検出画素からの画素信号に基づいてデフォーカス量を算出し、このデフォーカス量をレンズ駆動制御装置２０６へ送る。また、ボディ駆動制御装置２１４は、撮像素子２１２の撮像画素の画素信号を処理して画像データを生成し、メモリカード２１９に格納するとともに、撮像素子２１２から読み出されたスルー画像信号を液晶表示素子駆動回路２１５へ送り、スルー画像を液晶表示素子２１６に表示させる。さらに、ボディ駆動制御装置２１４は、レンズ駆動制御装置２０６へ絞り制御情報を送って絞り２１１の開口制御を行う。
【００１６】
レンズ駆動制御装置２０６は、フォーカシング状態、ズーミング状態、絞り設定状態、絞り開放Ｆ値などに応じてレンズ情報を更新する。具体的には、ズーミング用レンズ２０８とフォーカシング用レンズ２１０の位置と絞り２１１の絞り値を検出し、これらのレンズ位置と絞り値に応じてレンズ情報を演算したり、あるいは予め用意されたルックアップテーブルからレンズ位置と絞り値に応じたレンズ情報を選択する。
【００１７】
レンズ駆動制御装置２０６は、受信したデフォーカス量に基づいてレンズ駆動量を算出し、レンズ駆動量に応じてフォーカシング用レンズ２１０を合焦位置へ駆動する。また、レンズ駆動制御装置２０６は受信した絞り値に応じて絞り２１１を駆動する。
【００１８】
図２は、交換レンズ２０２の撮影画面上における焦点検出位置（焦点検出エリア）を示す図であり、後述する撮像素子２１２上の焦点検出画素列が焦点検出の際に撮影画面上で像をサンプリングする領域（焦点検出エリア、焦点検出位置）の一例を示す。この例では、矩形の撮影画面１００上の中央（光軸上）および上下左右の５箇所に焦点検出エリア１０１〜１０５が配置される。長方形で示す焦点検出エリアの長手方向に、焦点検出画素が直線的に配列される。焦点検出エリア１０１、１０２、１０３においては焦点検出画素が水平方向に配列され、焦点検出エリア１０４、１０５においては焦点検出画素が水平方向に配列される。
【００１９】
図３、図４は撮像素子２１２の詳細な構成を示す正面図である。図３は、図２における焦点検出エリア１０１、１０２、１０３の近傍を拡大した画素配列の詳細を示し、図４は、図２における焦点検出エリア１０４、１０５の近傍を拡大した画素配列の詳細を示す。撮像素子２１２には撮像画素３１０が二次元正方格子状に稠密に配列される。撮像画素３１０は赤画素（Ｒ）、緑画素（Ｇ）、青画素（Ｂ）からなり、ベイヤー配列の配置規則によって配置されている。図４においては、垂直方向の焦点検出用に撮像画素と同一の画素サイズを有する垂直方向焦点検出用の焦点検出画素３１３、３１４が交互に、本来緑画素と赤画素とが連続的に配置されるべき垂直方向の直線上に連続して配列される。同じく、図３においては、水平方向の焦点検出用に撮像画素と同一の画素サイズを有する水平方向焦点検出用の焦点検出画素３１５、３１６が交互に、本来緑画素と青画素とが連続的に配置されるべき水平方向の直線上に連続して配列される。
【００２０】
図５は、撮像画素と焦点検出画素とのマイクロレンズ１０の形状を示す図である。撮像画素と焦点検出画素とのマイクロレンズ１０の形状は、元々、画素サイズより大きな円形のマイクロレンズ９から画素サイズに対応した正方形の形状で切り出した形状をしている。マイクロレンズ１０の光軸を通る対角線の方向の断面と、マイクロレンズ１０の光軸を通る水平線の方向の断面とは、それぞれ図５に（ａ）、（ｂ）で示す形状になっている。
【００２１】
撮像画素３１０は、図６に示すように矩形のマイクロレンズ１０、後述の遮光マスクで受光領域を正方形に制限された光電変換部１１、および色フィルタ（不図示）から構成される。色フィルタは赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３種類からなり、それぞれの分光感度は図７に示す特性を有している。撮像素子２１２には、各色フィルタを備えた撮像画素３１０がベイヤー配列されている。
【００２２】
焦点検出画素３１３、３１４、３１５、３１６には全ての色に対して焦点検出を行うために全ての可視光を透過する白色フィルタが設けられており、その白色フィルタの分光感度特性は図１０に示される。つまり、図７に示す緑画素、赤画素および青画素の分光感度特性を加算したような分光感度特性となり、そのような分光感度特性に対応する光波長領域は、緑画素、赤画素および青画素が高い分光感度を示す光波長領域を包括している。
【００２３】
図９は焦点検出画素の正面図である。焦点検出画素３１３は、図９(ａ)に示すように矩形のマイクロレンズ１０と後述の遮光マスクで受光領域を正方形の上半分（正方形を水平線で２等分した場合の上半分）に制限された光電変換部１３、および白色フィルタ（不図示）とから構成される。
【００２４】
また、焦点検出画素３１４は、図９(ｂ)に示すように、矩形のマイクロレンズ１０と後述の遮光マスクで受光領域を正方形の下半分（正方形を水平線で２等分した場合の下半分）に制限された光電変換部１４、および白色フィルタ（不図示）とから構成される。
【００２５】
焦点検出画素３１３と焦点検出画素３１４とをマイクロレンズ１０を基準に重ね合わせて表示すると、遮光マスクで受光領域を制限された光電変換部１３と１４が垂直方向に並んでいる。
【００２６】
また図９（ａ）、（ｂ）において、正方形を半分にした受光領域の部分に正方形を半分にした残りの部分（破線部分）を加えると、撮像画素の受光領域と同じサイズの正方形となる。
【００２７】
焦点検出画素３１５は、図９(ｃ)に示すように、矩形のマイクロレンズ１０と後述の遮光マスクで受光領域を正方形の左半分（正方形を垂直線で２等分した場合の左半分）に制限された光電変換部１５、および白色フィルタ（不図示）とから構成される。
【００２８】
また、焦点検出画素３１６は、図９(ｄ)に示すように、矩形のマイクロレンズ１０と後述の遮光マスクで受光領域を正方形の右半分（正方形を垂直線で２等分した場合の右半分）に制限された光電変換部１６、および白色フィルタ（不図示）とから構成される。
【００２９】
焦点検出画素３１５の正面図と焦点検出画素３１６の正面図とをマイクロレンズ１０を基準に重ね合わせて表示すると、遮光マスクで受光領域を制限された光電変換部１５と１６が水平方向に並んでいる。
【００３０】
また図９（ｃ）、（ｄ）において、正方形を半分にした受光領域の部分に正方形を半分にした残りの部分（破線部分）を加えると、撮像画素の受光領域と同じサイズの正方形となる。
【００３１】
図１０は、垂直方向の直線で撮像画素配列の断面をとった場合の撮像画素３１０の断面図である。撮像画素３１０では撮像用の光電変換部１１の上に近接して遮光マスク３０が形成され、光電変換部１１は、遮光マスク３０の開口部３０ａを通過した光を受光する。遮光マスク３０の上には平坦化層３１が形成され、その上に色フィルタ３８が形成される。色フィルタ３８の上には平坦化層３２が形成され、その上にマイクロレンズ１０が形成される。マイクロレンズ１０により開口部３０ａの形状が前方に投影される。光電変換部１１は半導体回路基板２９上に形成される。
【００３２】
図１１は、垂直方向の直線で焦点検出画素３１３、３１４からなる焦点検出画素配列の断面をとった場合の焦点検出画素３１３、３１４の断面図である。焦点検出画素３１３、３１４では焦点検出用の光電変換部１３，１４の上に近接して遮光マスク３０が形成され、光電変換部１３，１４は、遮光マスク３０の開口部３０ｂ、３０ｃを通過した光を受光する。遮光マスク３０の上には平坦化層３１が形成され、その上に白色フィルタ３４が形成される。白色フィルタ３４の上には平坦化層３２が形成され、その上にマイクロレンズ１０が形成される。マイクロレンズ１０により開口部３０ｂ、３０ｃの形状が前方に投影される。光電変換部１３，１４は半導体回路基板２９上に形成される。
【００３３】
焦点検出画素３１５、３１６の構造も焦点検出画素３１３、３１４の構造を９０度回転しただけであって、基本的に図１１に示す焦点検出画素の構造と同様である。
【００３４】
図１２は、図３、図４、図１０に示す撮像画素３１０が受光する撮影光束の様子を説明するための図であって、垂直方向の直線で撮像画素配列の断面をとっている。
【００３５】
撮像素子上に配列された全ての撮像画素の光電変換部１１は、光電変換部１１に近接して配置された前記遮光マスク開口３０ａを通過した光束を受光する。遮光マスク開口３０ａの形状は、各撮像画素のマイクロレンズ１０によりマイクロレンズ１０から測距瞳距離ｄだけ離間した射出瞳９０上の全撮像画素共通な領域９５に投影される。
【００３６】
従って各撮像画素の光電変換部１１は、領域９５と各撮像画素のマイクロレンズ１０を通過する光束７１を受光し、領域９５を通過して各撮像画素のマイクロレンズ１０へ向う光束７１によって各マイクロレンズ１０上に形成される像の強度に対応した信号を出力する。
【００３７】
図１３は、図４、図１１に示す焦点検出画素３１３，３１４が受光する焦点検出光束の様子を図１２と比較して説明するための図であって、垂直方向の直線で焦点検出画素配列の断面をとっている。
【００３８】
撮像素子上に配列された全ての焦点検出画素の光電変換部１３，１４は、光電変換部１３，１４に近接して配置された前記遮光マスク開口３０ｂ、３０ｃを通過した光束を受光する。遮光マスク開口３０ｂの形状は、各焦点検出画素３１３のマイクロレンズ１０によりマイクロレンズ１０から測距瞳距離ｄだけ離間した射出瞳９０上の焦点検出画素３１３に全てに共通した領域９３に投影される。同じく、遮光マスク開口３０ｃの形状は、各焦点検出画素３１４のマイクロレンズ１０により、マイクロレンズ１０から測距瞳距離ｄだけ離間した射出瞳９０上の焦点検出画素３１４に全てに共通した領域９４に投影される。一対の領域９３，９４を測距瞳と呼ぶ。
【００３９】
従って各焦点検出画素３１３の光電変換部１３は、測距瞳９３と各撮像画素のマイクロレンズ１０を通過する光束７３を受光し、測距瞳９３を通過して各撮像画素のマイクロレンズ１０へ向う光束７３によって各マイクロレンズ１０上に形成される像の強度に対応した信号を出力する。また、各焦点検出画素３１４の光電変換部１４は、測距瞳９４と各撮像画素のマイクロレンズ１０を通過する光束７４を受光し、測距瞳９４を通過して各撮像画素のマイクロレンズ１０へ向う光束７４によって各マイクロレンズ１０上に形成される像の強度に対応した信号を出力する。
【００４０】
一対の焦点検出画素３１３，３１４が受光する光束７３，７４が通過する射出瞳９０上の測距瞳９３と９４を統合した領域は、撮像画素３１０が受光する光束７１が通過する射出瞳９０上の領域９５と一致する。射出瞳９０上において光束７３，７４は光束７１に対して相補的な関係になっている。
【００４１】
上述した一対の焦点検出画素３１３、３１４を交互にかつ直線状に多数配置する。各焦点検出画素の光電変換部の出力を測距瞳９３および測距瞳９４に対応した一対の出力グループにまとめることによって、測距瞳９３と測距瞳９４をそれぞれ通過する一対の光束が焦点検出画素配列上（垂直方向）に形成する一対の像の強度分布に関する情報が得られる。この情報に対して、後述する像ズレ検出演算処理（相関演算処理、位相差検出処理）を施すことによって、いわゆる瞳分割型位相差検出方式で一対の像の像ズレ量が検出される。さらに、像ズレ量に一対の測距瞳の重心間隔と測距瞳距離の比例関係に応じた変換演算を行うことによって、焦点検出位置（垂直方向）における予定結像面と結像面の偏差（デフォーカス量）が算出される。
【００４２】
焦点検出画素３１５、３１６が受光する焦点検出光束も焦点検出画素３１３、３１４の受光する一対の焦点検出光束７３，７４を９０度回転しただけであって、基本的に図１３に示す光束と同様であり、測距瞳９３、９４を９０度回転した一対の測距瞳が設定される。一対の焦点検出画素３１５、３１６を交互にかつ直線状に多数配置する。各焦点検出画素の光電変換部の出力を一対の測距瞳に対応した一対の出力グループにまとめることによって、一対の測距瞳をそれぞれ通過する一対の光束が焦点検出画素配列上（水平方向）に形成する一対の像の強度分布に関する情報が得られる。この情報に基づき、焦点検出位置（水平方向）における予定結像面と結像面の偏差（デフォーカス量）が算出される。
【００４３】
撮像素子２１２はＣＭＯＳイメージセンサーとして構成される。図１４に撮像素子２１２の回路構成概念図を示す。撮像素子２１２の回路構成を、水平方向８画素×垂直方向４画素のレイアウトに簡略化して説明する。図１４は、図２の水平方向の焦点検出エリア１０１，１０２、１０３に対応して描かれており、水平方向に焦点検出画素３１５，３１６が同一の行に配置されている。垂直方向の焦点検出エリア１０４、１０５には、焦点検出画素３１３，３１４が、垂直方向に配置され、かつ互いに異なる行に配置される。
【００４４】
２行目には、焦点検出画素３１５、３１６が配置されている。図１４では、“○”で示す中央の４つの焦点検出画素３１５、３１６が、複数の焦点検出画素を代表して示されており、左右の２つずつの撮像画素３１０（“□”で示す）が、焦点検出画素の左右に配置された複数の撮像画素を代表して示されている。
【００４５】
１行目、３行目、４行目には、撮像画素３１０のみが配置されている。図１４では、１行目、３行目、４行目の撮像画素３１０が、焦点検出画素が配置された行の上下の複数の撮像画素のみからなる行を代表して示されている。
【００４６】
図１４において、ラインメモリ３２０は、１行分の画素の画素信号をサンプルホールドして一時的に保持するバッファであり、垂直信号線５０１に出力されている同一行の画素信号を垂直走査回路が発する制御信号ΦＨ１に基づいてサンプルホールドする。なお、ラインメモリ３２０に保持される画素信号は、制御信号ΦＳ１〜ΦＳ４の立ち上がりに同期してリセットされる。
【００４７】
撮像画素３１０および焦点検出画素３１５、３１６からの画素信号の出力は、垂直走査回路が発生する制御信号（ΦＳ１〜ΦＳ４）により行ごとに独立に制御される。制御信号（ΦＳ１〜ΦＳ４）により選択された行の画素の画素信号は、垂直信号線５０１に出力される。
【００４８】
ラインメモリ３２０に保持された画素信号は、水平走査回路が発生する制御信号（ΦＶ１〜ΦＶ８）により、順次、出力回路３３０に転送され、出力回路３３０において、設定された増幅度で増幅されて外部に出力される。
【００４９】
撮像画素３１０および焦点検出画素３１５、３１６は、画素信号がサンプルホールドされた後、垂直走査回路が発生する制御信号（ΦＲ１〜ΦＲ４）によりリセットされ、制御信号ΦＲ１〜ΦＲ４の立ち下がりで次回の画素信号出力のための電荷蓄積を開始する。
【００５０】
制御信号φＳｙｎｃは垂直同期信号であって、フレーム毎に外部に出力される。また、制御信号ΦＳ１〜ΦＳ４、制御信号ΦＲ１〜ΦＲ４も外部に出力される。
【００５１】
図１５は、図１４に示す撮像素子２１２の撮像画素３１０および焦点検出画素３１５、３１６の詳細回路図である。光電変換部はフォトダイオード（ＰＤ）で構成される。ＰＤで蓄積された電荷は浮遊拡散層（フローティングディフュージョン：ＦＤ）に蓄積される。ＦＤは増幅ＭＯＳトランジスタ（ＡＭＰ）のゲートに接続されており、ＡＭＰはＦＤに蓄積された電荷の量に応じた信号を発生する。
【００５２】
ＦＤ部は、リセットＭＯＳトランジスタ５１０を介し、電源電圧Ｖｄｄに接続されている。制御信号ΦＲｎ（ΦＲ１〜ΦＲ３）によりリセットＭＯＳトランジスタ５１０がＯＮとなると、ＦＤおよびＰＤに溜まった電荷がクリアされ、リセット状態となる。
【００５３】
ＡＭＰの出力は、行選択ＭＯＳトランジスタ５１２を介して垂直出力線５０１に接続されている。制御信号ΦＳｎ（ΦＳ１〜ΦＳ３）により行選択ＭＯＳトランジスタ５１２がＯＮとなると、ＡＭＰの出力が垂直出力線５０１に出力される。
【００５４】
図１６は、図１４に示す撮像素子２１２の動作タイミングチャートである。ＣＭＯＳイメージセンサーにおいては、いわゆるローリングシャッタ動作により、画素のリセット、露光、信号の読み出しが以下のように各行毎に順次行われる。
【００５５】
撮像素子２１２からの全画素の信号の出力（１フレーム分の画像信号の出力）に同期して、垂直同期信号φＳｙｎｃが発せられる。１行目の撮像画素３１０は、垂直同期信号φＳｙｎｃに同期して垂直走査回路が発する制御信号ΦＳ１により選択され、選択された撮像画素３１０の画素信号は垂直信号線５０１に出力される。制御信号ΦＳ１と同期して発せられる制御信号ΦＨ１により垂直信号線５０１に出力された１行目の画素信号は、ラインメモリ３２０に一時的に保持される。
【００５６】
ラインメモリ３２０に保持された１行目の撮像画素３１０の画素信号は、水平走査回路から順次発せられる制御信号ΦＶ１〜ΦＶ８にしたがって出力回路３３０に転送され、出力回路３３０において、設定された増幅度で増幅されて外部に出力される。
【００５７】
１行目の撮像画素３１０の画素信号のラインメモリ３２０への転送が終了した時点で、リセット回路より発せられる制御信号ΦＲ１により１行目の撮像画素３１０がリセットされ、制御信号ΦＲ１の立ち下がりで１行目の撮像画素３１０の次の電荷蓄積が開始される。
【００５８】
１行目の撮像画素３１０の画素信号の、出力回路３３０からの出力が終了した時点で、２行目の撮像画素３１０および焦点検出画素３１５，３１６は、垂直走査回路が発する制御信号ΦＳ２により選択され、選択された撮像画素３１０の画素信号は垂直信号線５０１に出力される。
【００５９】
以下、同様にして２行目の撮像画素３１０および焦点検出画素３１５，３１６の画素信号の保持および撮像画素３１０のリセット、画素信号の出力および次の電荷蓄積の開始が行われる。続いて３行目、４行目の撮像画素３１０の画素信号の保持および撮像画素３１０のリセット、撮像画素３１０の画素信号の出力および次の電荷蓄積の開始が行われる。全ての画素の画素信号の出力が終了すると、再び１行目に戻って上記動作が周期的に繰り返される。
【００６０】
ｎ行目の撮像画素３１０および焦点検出画素３１５，３１６のリセット動作は、制御信号φＲｎの立ち上がりから立ち下がりまでの時間に行われ、ｎ行目の撮像画素３１０および焦点検出画素３１５，３１６の露光動作は、制御信号φＲｎの立ち下がりから、制御信号φＳｎの立ち上がりまでの時間（露光時間、蓄積時間）に行われ、ｎ行目の撮像画素３１０および焦点検出画素３１５，３１６の信号読み出し動作は、制御信号φＳｎの立ち上がりから制御信号φＳｎ+1の立ち上がりまでの時間に行われる。
【００６１】
図１７は、デジタルスチルカメラ２０１の撮像動作を示すフローチャートである。ボディ駆動制御装置２１４は、ステップＳ１００でデジタルスチルカメラ２０１の電源がオンされると、ステップＳ１１０以降の撮像動作を開始する。ステップＳ１１０において、撮像素子２１２は、一定周期で撮像動作を繰り返す動作モード（例えば１秒間に６０フレームを出力する）に設定される。そして１フレーム分の全画素データを読み出すとともに、欠陥画素に対して欠陥画素補正処理を施す。欠陥画素補正処理の詳細は後述する。続くステップＳ１２０では、撮像画素３１０のデータから一部を間引きしたデータを液晶表示素子２１６に表示（ライブビュー表示）させる。ステップＳ１３０では焦点検出画素３１３、３１４、３１５、３１６のデータに基づき５つの焦点検出エリア１０１〜１０５において焦点検出を行い、最終的に１つのデフォーカス量を算出する。デフォーカス量の信頼性が低い場合、またはデフォーカス量の算出が不能であった場合は、焦点検出不能となる。ステップＳ１３０におけるデフォーカス量の算出処理の詳細については後述する。
【００６２】
ステップＳ１４０で、合焦近傍か否か、すなわち算出されたデフォーカス量の絶対値が所定値以内であるか否かを調べる。合焦近傍でないと判定された場合は、ステップＳ１５０へ進み、デフォーカス量をレンズ駆動制御装置２０６へ送信し、交換レンズ２０２のフォーカシングレンズ２１０を合焦位置に駆動させる。その後、ステップＳ１１０へ戻って上述した動作を繰り返す。
【００６３】
なお、焦点検出不能な場合もこのステップに分岐し、レンズ駆動制御装置２０６へスキャン駆動命令を送信し、交換レンズ２０２のフォーカシングレンズ２１０を無限から至近までの間でスキャン駆動させる。その後、ステップＳ１１０へ戻って上述した動作を繰り返す。
【００６４】
ステップＳ１４０で合焦近傍であると判定された場合はステップＳ１６０へ進み、シャッターボタン（不図示）の操作によりシャッターレリーズがなされたか否かを判別する。シャッターレリーズがなされていないと判定された場合はステップＳ１１０へ戻り、上述した動作を繰り返す。一方、シャッターレリーズがなされたと判定された場合はステップＳ１７０へ進み、レンズ駆動制御装置２０６へ絞り調整命令を送信し、交換レンズ２０２の絞り値を制御Ｆ値（撮影者または自動により設定されたＦ値）にする。絞り制御が終了した時点で、撮像素子２１２に被写体輝度に応じた露光時間による撮像動作を行わせ、撮像素子２１２の撮像画素３１０および全ての焦点検出画素３１３、３１４、３１５、３１６から画像データを読み出すとともに、欠陥画素に対して欠陥画素補正処理を施す。欠陥画素補正処理の詳細は後述する。
【００６５】
ステップＳ１８０において、焦点検出画素列の各画素位置における仮想的な撮像画素のデータを焦点検出画素３１３、３１４、３１５、３１６の周囲の撮像画素３１０のデータと焦点検出画素３１３、３１４、３１５、３１６のデータに基づいて画素補間する。例えば特願２００７−２６４５５７に開示された画素補間処理を行う。続くステップＳ１９０では、撮像画素３１０のデータおよび補間された仮想的な撮像画素のデータからなる画像データをメモリーカード２１９に記憶し、ステップＳ１１０へ戻って上述した動作を繰り返す。
【００６６】
次に、図１７のステップＳ１３０で用いられる一般的な像ズレ検出演算処理（相関演算処理、位相差検出処理）の詳細について説明する。簡単のため１つの焦点検出エリアの焦点検出画素配列に対する処理を記載するが、もう他の焦点検出エリアにおける処理も同様である。
【００６７】
焦点検出画素３１３、３１４、または焦点検出画素３１５、３１６が検出する一対の像は、測距瞳がレンズの絞り開口により口径蝕を受けて光量バランスが崩れている可能性があるので、光量バランスに対して像ズレ検出精度を維持できるタイプの相関演算を施す。
【００６８】
焦点検出画素列から読み出された一対のデータ列（Ａ１１〜Ａ１Ｍ、Ａ２１〜Ａ２Ｍ：Ｍはデータ数）に対し、特開２００７−３３３７２０号公報に開示された相関演算式（１）を用い、相関量Ｃ（ｋ）を演算する。
Ｃ（ｋ）＝Σ｜Ａ１ｎ×Ａ２ｎ＋１＋ｋ−Ａ２ｎ＋ｋ×Ａ１ｎ＋１｜ （１）
【００６９】
式（１）において、Σ演算はｎについて累積されるが、ｎのとる範囲は、像ずらし量ｋに応じてＡ１ｎ、Ａ１ｎ＋１、Ａ２ｎ＋ｋ、Ａ２ｎ＋１＋ｋのデータが存在する範囲に限定される。像ずらし量ｋは整数であり、データ列のデータ間隔を単位とした相対的ずらし量である。
【００７０】
式（１）の演算結果は、図１８（ａ）に示すように、一対のデータの相関が高いシフト量（図１８（ａ）ではｋ＝ｋｊ＝２）において相関量Ｃ（ｋ）が極小（小さいほど相関度が高い）になる。式（２）〜（５）による３点内挿の手法を用いて連続的な相関量に対する極小値Ｃ（ｋｓ）を与えるずらし量ｋｓを求める。
ｋｓ＝ｋｊ＋Ｄ／ＳＬＯＰ （２）
Ｃ（ｋｓ）＝ Ｃ（ｋｊ）−｜Ｄ｜ （３）
Ｄ＝｛Ｃ（ｋｊ−１）-Ｃ（ｋｊ＋１）｝／２ （４）
ＳＬＯＰ＝ＭＡＸ｛Ｃ（ｋｊ＋１）−Ｃ（ｋｊ），Ｃ（ｋｊ−１）-Ｃ（ｋｊ）｝ （５）
【００７１】
式（２）で算出されたずらし量ｋｓの信頼性があるかどうかは、以下のようにして判定される。図１８（ｂ）に示すように、一対のデータの相関度が低い場合は、内挿された相関量の極小値Ｃ（ｋｓ）の値が大きくなる。したがって、Ｃ（ｋｓ）が所定の閾値以上の場合は、算出されたずらし量の信頼性が低いと判定し、算出されたずらし量ｋｓをキャンセルする。
【００７２】
あるいは、Ｃ（ｋｓ）をデータのコントラストで規格化するために、コントラストに比例した値となるＳＬＯＰでＣ（ｋｓ）を除した値が所定値以上の場合は、算出されたずらし量の信頼性が低いと判定し、算出されたずらし量ｋｓをキャンセルする。
【００７３】
あるいはまた、コントラストに比例した値となるＳＬＯＰが所定値以下の場合は、被写体が低コントラストであり、算出されたずらし量の信頼性が低いと判定し、算出されたずらし量ｋｓをキャンセルする。
【００７４】
図１８（ｃ）に示すように、一対のデータの相関度が低く、ずらし量の範囲ｋｍｉｎ〜ｋｍａｘの間で相関量Ｃ（ｋ）の落ち込みがない場合は、極小値Ｃ（ｋｓ）を求めることができず、このような場合は焦点検出不能と判定する。
【００７５】
算出されたずらし量ｋｓの信頼性があると判定された場合は、式（６）により像ズレ量ｓｈｆｔに換算される。
ｓｈｆｔ＝ＰＹ×ｋｓ （６）
【００７６】
式（６）において、ＰＹは焦点検出画素３１３、３１４、または焦点検出画素３１５、３１６の画素ピッチの２倍（検出ピッチ）である。式（６）で算出された像ずらし量に所定の変換係数Ｋｄを乗じて、式（７）に表されるようにデフォーカス量ｄｅｆへ変換する。なお、変換係数Ｋｄは、焦点検出画素３１３、３１４、または焦点検出画素３１５、３１６が受光する一対の焦点検出光束の開き角に応じた値であって、測距瞳距離ｄを一対の測距瞳の重心間隔で除算した値である。
ｄｅｆ＝Ｋｄ×ｓｈｆｔ （７）
【００７７】
図１９は、ボディ駆動制御装置２１４が、欠陥画素情報記憶メモリ２２１に格納された欠陥画素情報に基づき、バッファメモリ２２０に一時的に格納された撮像素子２１２からの画素信号（画素データ）に対して欠陥画素補正処理を行う際の画素データおよび処理の内容についての概念図である。
【００７８】
撮像素子２１２において、行及び列方向に配置された撮像画素３１０および焦点検出画素３１３、３１４、３１５、３１６の画素データは、ローリングシャッタ方式で行順次に読み出される。図１９では、一番上の行から下方に向かって行順次に読み出される。
【００７９】
撮像素子２１２から読み出された１行分の画素データは、６行分（Ｌ１〜Ｌ６）のラインメモリを備えたバッファメモリ２２０に、ラインメモリＬ１からＦＩＦＯ（First In First Out）方式で格納されていく。すなわち、ラインメモリＬ１に全ての画素データが揃うと、ラインメモリＬ６に格納された１行分の画素データは廃棄され、ラインメモリＬ１〜Ｌ５に格納された５行分の画素データがラインメモリＬ２〜Ｌ６にシフトする。すなわち、バッファメモリ２２０には撮像素子２１２から読み出された５行分の完全な画素データが常時揃っていることになる。この５行分のデータの領域が撮像素子の画素データの読み出しの進行に応じて、上辺から下辺に移動していく。バッファメモリＬ４はバッファメモリ中心行である。
【００８０】
カメラボディ２０１の組み立て時において、撮像素子２１２を所定輝度で一様照明して画素データを読み出し、該画素データに基づき白キズ画素（画素出力が飽和する画素または画素感度が所定閾値以上の画素）、黒キズ画素（画素出力が不足する画素または画素感度が所定閾値以下の画素）等の欠陥画素を抽出して、該欠陥画素の位置情報（行、列のアドレスで表される欠陥画素位置情報）が、欠陥画素情報記憶メモリ２２１に格納される。さらに該位置情報に付随して、該欠陥画素が撮像画素３１０であるか焦点検出画素３１３、３１４、３１５、３１６であるかに応じて定められる欠陥画素補正処理の種類についての情報（欠陥画素補正処理情報）が、欠陥画素情報記憶メモリ２２１に格納される。具体的には、欠陥画素が撮像画素３１０の場合には、欠陥画素補正処理はメディアンフィルタ処理（図１９では、「Ｍ」として表す）であり、焦点検出画素３１３、３１４、３１５、３１６の場合は、平均処理（図１９では、「Ａ」として表す）である。さらに、欠陥位置情報に付随して、該欠陥画素を中心とした５×５画素の領域において該欠陥画素に施される欠陥画素補正処理に用いられる画素の位置を表す位置情報（補正用画素位置情報）が、欠陥画素情報記憶メモリ２２１に格納される。具体的には、図２０のように欠陥画素を除いた５×５画素のマトリックスを２４ビットで表した場合、欠陥画素補正処理に用いられる画素のビットを１、欠陥画素補正処理に用いられない画素のビットを０とした２４ビットデータで補正用画素位置情報を表す。例えば、欠陥画素が撮像画素３１０（緑画素）であり、該欠陥画素の周囲に別の欠陥画素や焦点検出画素３１３、３１４、３１５、３１６がない場合には、図１９に示すように、５×５画素の領域のうち“○”で示した画素が欠陥画素補正処理に用いられる。この場合、「０ｘＣＣＣ５５５」で表される２４ビットデータが補正用画素位置情報となる。
【００８１】
ボディ駆動制御装置２１４は、バッファメモリ２２０のバッファメモリ中心行Ｖｎを検出するとともに、列Ｈを第１列から最終列まで走査しながら欠陥画素補正処理を行う。例えば、行Ｖｎ、列Ｈｍで表される画素位置が欠陥画素情報記憶メモリ２２１に欠陥画素位置情報として登録されているか否かを調べる。欠陥画素位置情報として登録されていなければ、バッファメモリ２２０に格納されている画素中心行Ｖｎ、列Ｈｍで表される画素位置の画素データをそのまま欠陥画素補正処理なしで画素データとして読み込む。欠陥画素位置情報として登録されている場合には、その欠陥画素位置情報に付随して欠陥画素情報記憶メモリ２２１に格納されている欠陥画素補正処理情報と補正用画素位置情報とに基づき、バッファメモリ２２０に格納されている画素中心行Ｖｎ、列Ｈｍで表される画素位置の画素を中心とした５×５の画素データに対して欠陥画素補正処理を施して補正画素データとする。
【００８２】
補正用画素位置情報は欠陥画素の周囲の状況に応じて変更される。図２１（ａ）は、欠陥画素が撮像画素３１０（赤画素）であり、かつ該欠陥画素の周囲に別の欠陥画素や焦点検出画素３１３、３１４、３１５、３１６がない場合における該欠陥画素を中心とした５×５の領域を示している。欠陥画素補正処理に用いられる補正用画素は、図２１（ｂ）において“○”で示すように、該欠陥画素を中心とした５×５画素の領域に存在する赤画素となる。
【００８３】
図２２（ａ）は、欠陥画素が撮像画素３１０（緑画素）であり、該欠陥画素の１行下に焦点検出画素３１５、３１６（行方向に配列した一対の焦点検出画素３１５、３１６をＡ１、Ａ２で示す）が行方向に配列されている場合における該欠陥画素を中心とした５×５の領域を示している。欠陥画素補正処理に用いられる補正用画素は、図２２（ｂ）において“○”で示すように、該欠陥画素を中心とした５×５画素の領域に存在する緑画素となる。
【００８４】
図２３（ａ）は、欠陥画素が撮像画素３１０（緑画素）であり、該欠陥画素の１列左に焦点検出画素３１３、３１４（列方向に配列した一対の焦点検出画素３１３、３１４をＡ３、Ａ４で示す）が列方向に配列されている場合における該欠陥画素を中心とした５×５の領域を示している。欠陥画素補正処理に用いられる補正用画素は、図２３（ｂ）において“○”で示すように、該欠陥画素を中心とした５×５画素の領域に存在する緑画素となる。
【００８５】
図２４（ａ）は、欠陥画素が撮像画素３１０（緑画素）であり、該欠陥画素の１列右側から焦点検出画素３１５、３１６が行方向に配列されている場合における該欠陥画素を中心とした５×５の領域を示している。欠陥画素補正処理に用いられる補正用画素は、図２４（ｂ）において“○”で示すように、該欠陥画素を中心とした５×５画素の領域に存在する緑画素となる。
【００８６】
図２５（ａ）は欠陥画素が焦点検出画素３１５または３１６（Ａ１）であり、焦点検出画素３１５、３１６が行方向に配列されている場合における該欠陥画素を中心とした５×５の領域を示している。欠陥画素補正処理に用いられる補正用画素は、図２５（ｂ）において“○”で示すように、該欠陥画素を中心とした５×５画素の領域に存在する焦点検出画素３１５または３１６（Ａ１）となる。
【００８７】
図２６（ａ）は欠陥画素が焦点検出画素３１３または３１４（Ａ３）であり、焦点検出画素３１３、３１４が列方向に配列されている場合における該欠陥画素を中心とした５×５の領域を示している。欠陥画素補正処理に用いられる補正用画素は、図２６（ｂ）において“○”で示すように、該欠陥画素を中心とした５×５画素の領域に存在する焦点検出画素３１３または３１４（Ａ３）となる。
【００８８】
図２７（ａ）は欠陥画素が焦点検出画素３１５または３１６（Ａ１）であり、行方向に配列している焦点検出画素３１５、３１６の左端の焦点検出画素３１５または３１６が欠陥画素であった場合における該欠陥画素を中心とした５×５の領域を示している。欠陥画素補正処理に用いられる補正用画素は、図２７（ｂ）において“○”で示すように、該欠陥画素を中心とした５×５画素の領域に存在する焦点検出画素３１５または３１６（Ａ１）となる。
【００８９】
図２８を用いて、図１７のステップＳ１１０およびステップＳ１７０における欠陥画素補正処理の詳細を説明する。本欠陥画素補間処理はボディ駆動制御装置２１４により実行される。ステップＳ２００で行Ｖを１行目にリセットする。ステップＳ２１０で行Ｖがバッファメモリ中心行になるのを待機する。ステップＳ２２０で列Ｈを１列目にリセットする。ステップＳ２３０で行Ｖ、列Ｈで表される画素位置の画素を中心とした５×５のバッファメモリ領域を設定する。
【００９０】
ステップＳ２４０で行Ｖ、列Ｈで表される画素位置が欠陥画素位置情報として欠陥画素情報に登録されているか否かを判定する。欠陥画素位置情報として登録されていない場合は、ステップＳ２９０で、５×５画素のバッファメモリ領域の中心位置の画素データを、行Ｖ、列Ｈで表される画素位置での画素データとして読み出し、ステップＳ３００に進む。
【００９１】
欠陥画素位置情報として登録されている場合は、該画素位置における欠陥画素の欠陥画素補正処理の種類を特定し、メディアンフィルタ処理の場合はステップＳ２７０に進む。補正用画素位置情報に応じて５×５のバッファメモリ領域内で補正に使用される画素データのメディアンを算出して画素データとし、ステップＳ３００に進む。
【００９２】
平均処理の場合は、ステップＳ２８０に進み、補正用画素位置情報に応じて５×５のバッファメモリ領域内で補正に使用される画素データの平均値を算出して画素データとし、ステップＳ３００に進む。
【００９３】
ステップＳ３００において、列Ｈをインクリメントする。ステップＳ３１０では、列Ｈが最終列を超えたか否かを判定し、超えていない場合は、ステップＳ２３０に戻って上記処理を繰り返す。最終列を超えた場合は、ステップＳ３２０において、行Ｖをインクリメントする。ステップＳ３３０では、行Ｖが最終行を超えたか否かを判定し、超えていない場合は、ステップＳ２１０に戻って上記処理を繰り返す。最終行を超えた場合は、１フレーム分の欠陥画素の補正処理を終了する。
【００９４】
なお、１行分の欠陥画素補正処理の実行時間は、撮像素子２１２からの１行分の画素データ読み出し時間より短くなるように設計される。
【００９５】
また、カメラボディ２０３に組み込まれる撮像素子２１２は、予め欠陥画素の状態に応じて選別されており、全ての欠陥画素に対し該欠陥画素を中心とした５×５の領域において欠陥画素補正に用いられる補正用の画素が必ず所定個数以上存在する。すなわち、その所定個数を判定水準とすることにより、欠陥画素の密度が高く、欠陥画素補正処理が不能になってしまうような撮像素子２１２は欠陥品として排除される。例えば、正常な撮像素子２１２において、欠陥画素が撮像画素３１０の場合、該欠陥画素を中心とした５×５の領域には、欠陥画素補正に用いられる補正用の撮像画素３１０が３個以上存在するものとする。欠陥画素が焦点検出画素３１３、３１４、３１５、３１６の場合（ただし、焦点検出画素配列の端および端から２番目の焦点検出画素を除く）、該欠陥画素を中心とした５×５の領域においては、欠陥画素補正に用いられる補正用の焦点検出画素が２個以上存在するものとする。換言すると、同種類の焦点検出画素が連続して欠陥画素であることは無いこととなる。このようにして、焦点検出画素３１３、３１４、３１５、３１６に対する判定水準を撮像画素３１０に対する判定水準よりも厳しくすることにより、撮像素子２１２が選別される。こうして選別された撮像素子２１２においては、撮像画素３１０に比して、焦点検出画素３１３、３１４、３１５、３１６のうちのいずれか１種類の画素の配置密度が相対的に低い場合であっても、該焦点検出画素の画素信号の品質を維持することができるとともに、焦点検出精度の劣化を防止することができる。
【００９６】
−−−変形例−−−
以上説明した実施形態において、欠陥画素補正処理に用いる画素の領域を、欠陥画素を中心とした５×５画素の領域として説明したが、Ｎ×Ｎ画素（Ｎ＞５）の領域であっても構わない。ただし、焦点検出画素３１３、３１４、３１５、３１６の欠陥画素補正処理に用いる焦点検出画素は、欠陥焦点検出画素と同種類の２個の焦点検出画素であって、かつ欠陥焦点検出画素に最近接するものとする。
【００９７】
以上説明した実施形態において、欠陥画素補正処理に用いる画素の領域を、欠陥画素を中心とした５×５画素の領域とし、該領域内で欠陥画素補正処理に用いる画素の、欠陥画素を基準とした相対的な位置を補正用画素位置情報として記憶しているので、５×５画素の領域内に別の欠陥画素が存在する場合にも対応できる。また、欠陥画素が撮像画素３１０であるか焦点検出画素３１３、３１４、３１５、３１６であるかに否かに関わらず対応することもできる。あるいは、欠陥画素が撮像領域の端にあった場合や、近傍に他の種類の画素がある場合にも対応することができる。さらには、撮像素子の中央と周辺とにおいて、撮像画素３１０の欠陥画素補正処理に用いる撮像画素の範囲を変えたいような場合にも対応することができる。
【００９８】
以上説明した実施形態においては、欠陥画素に施す欠陥画素補正処理の種類を、欠陥画素位置に付随して、欠陥画素毎に、欠陥画素情報記憶メモリ２２１に記憶している。そのため、複数種類の欠陥画素補正処理を、画素信号読み出しシーケンスに同期してスムースに行うことが可能になるとともに、同一種類の画素においても、撮像素子の中央と周辺とにおいて、欠陥画素補正処理の種類を変えたいような場合にも対応することができる。
【００９９】
以上説明した実施形態において、撮像画素３１０の欠陥画素補正処理としてメディアンフィルタを用いる理由は、像の２次元的な構造の違いに依らず比較的簡易に良好な補正性能が得られるためである。また、焦点検出画素３１３、３１４、３１５、３１６の欠陥画素補正処理として最近接の焦点検出画素の平均処理を用いる理由は以下のとおりである。すなわち、焦点検出画素の場合は、焦点検出画素の配列方向における最近接の焦点検出画素との相関が高く、最近接の焦点検出画素のみを欠陥画素補正処理に用いることで焦点検出精度の劣化を防ぐためである。焦点検出画素３１３、３１４、３１５、３１６の欠陥画素補正処理としてメディアンフィルタを用いた場合には、欠陥焦点検出画素から位置的に離れた焦点検出画素の信号が欠陥焦点検出画素の補正値として用いられる場合があり、このような場合には焦点検出精度が低下する場合がある。
【０１００】
以上説明した実施形態においては、撮像画素３１０の欠陥画素補正処理としてメディアンフィルタを用い、焦点検出画素３１３、３１４、３１５、３１６の欠陥画素補正処理として最近接の焦点検出画素の一次元的な平均処理を用いているが、これに限定されるわけではない。
【０１０１】
例えば、撮像画素３１０の欠陥画素補正処理として、２次元的な平均処理や、２次元的なスプライン補間・ラグランジェ補間などの数値計算法を採用することが可能である。また、焦点検出画素３１３、３１４、３１５、３１６の欠陥画素補正処理として、２個の最近接の焦点検出画素およびその隣の２個の焦点検出画素の合計４個の焦点検出画素を用いた一次元的なスプライン補間を用いることもできる。
【０１０２】
以上説明した実施形態においては、撮像画素３１０の欠陥画素補正処理としてメディアンフィルタを用いるが、デジタルスチルカメラ２０１の動作シーケンスに応じて欠陥画素補正処理の種類を変更するようにしてもよい。例えば、図１７の動作フローチャートにおいて、シャッターレリーズ前に電子ビューファインダー表示を繰り返し行っている間（ライブビュー動作モード）は、欠陥画素補正処理の精度は視認性に及ぼす影響が小さいので、撮像画素３１０の欠陥画素補正処理として比較的軽い処理である前置または後置画素置き換え処理を採用することにより処理負荷を軽減する。シャッターレリーズ後の欠陥画素補正処理としてはメディアンフィルタ処理を採用して画像品質を維持するようにしてもよい。
【０１０３】
図１７の動作フローチャートにおいては、欠陥画素補正処理（ステップＳ１７０）の後に焦点検出画素位置における仮想的な撮像画素の画素信号を補間する処理（ステップＳ１８０）を行っているが、画素補間処理（ステップＳ１８０）の後に仮想的な撮像画素の画素信号を用いて再度欠陥画素補正処理をすることにより、さらに欠陥画素補正処理性能を向上させることができる。
【０１０４】
図１７のステップＳ１３０で用いられる一般的な像ズレ検出演算処理（相関演算処理）として数式１を用いた演算を示したが、その他の演算を用いることもできる。例えば焦点検出画素列から読み出された一対のデータ列（Ａ１１〜Ａ１Ｍ、Ａ２１〜Ａ２Ｍ：Ｍはデータ数）に対し相関演算式（８）を用い、相関量Ｃ（ｋ）を演算する。
Ｃ（ｋ）＝−Σ｛（Ａ１ｎ−Ａ１ａｖ）×（Ａ２ｎ＋ｋ−Ａ２ａｖ））／（Ａ１ｄｅｖ×Ａ２ｄｅｖ）｝ （８）
【０１０５】
Σ演算はｎについて累積される。Ａ１ａｖおよびＡ１ｄｅｖは、ｎが累積される区間におけるＡ１ｎの平均値および標準偏差である。Ａ２ａｖおよびＡ２ｄｅｖは、ｎが累積される区間におけるＡ２ｎ＋ｋの平均値および標準偏差である。
【０１０６】
像ずらし量ｋは整数であり、データ列のデータ間隔を単位とした相対的ずらし量である。
【０１０７】
式（８）の演算結果は、一対のデータの相関が高いずらし量において相関量Ｃ（ｋ）が極小となるので、式（２）〜（５）による３点内挿の手法を用いて連続的な相関量に対する極小値Ｃ（ｋｓ）を与えるずらし量ｋｓを求めることができる。
【０１０８】
式（２）〜（５）の代わりに２次関数を仮定した３点内挿の手法に基づく式（９）を用いて連続的な相関量に対する極小値Ｃ（ｋｓ）を与えるずらし量ｋｓを求めるようにしてもよい。
ｋｓ＝ｋｊ＋Ｄ／｛Ｃ（ｋｊ＋１）＋Ｃ（ｋｊ−１）−２×Ｃ（ｋｊ））｝ （９）
【０１０９】
−−−第２の実施の形態−−−
図３、図４に示す撮像素子２１２の部分拡大図では、各画素に１つの光電変換部を有する一対の焦点検出画素３１３，３１４および一対の焦点検出画素３１５，３１６を備える例を示したが、ひとつの焦点検出画素内に一対の光電変換部を備えるようにしてもよい。図２９、図３０は図３、図４に対応した撮像素子２１２の部分拡大図であり、焦点検出画素３１１および３１２は一対の光電変換部を備える。
【０１１０】
図３１（ａ）に示す焦点検出画素３１１は、図９（ａ）、（ｂ）に示す焦点検出画素３１３と焦点検出画素３１４のペアに相当した機能を果たし、図３１（ｂ）に示す焦点検出画素３１２は、図９（ｃ）、（ｄ）に示す焦点検出画素３１５と焦点検出画素３１６のペアに相当した機能を果たす。焦点検出画素３１１、３１２は、図３１（ａ）、（ｂ）に示すように、マイクロレンズ１０と一対の光電変換部１３，１４および一対の光電変換部１５，１６から構成される。焦点検出画素３１１、３１２には白色フィルタが配置されており、その分光感度特性は、光電変換を行うフォトダイオードの分光感度と、赤外カットフィルタ（不図示）の分光感度特性とを総合した分光感度特性（図８参照）となる。つまり、図７に示す緑画素、赤画素および青画素の分光感度特性を加算したような分光感度特性となり、その焦点検出画素３１１、３１２が高い分光感度を示す光波長領域は、緑画素、赤画素および青画素が高い分光感度を示す光波長領域を包括している。
【０１１１】
図３２は図３１（ａ）に示した焦点検出画素３１１の断面図であって、光電変換部１３，１４の上に近接して遮光マスク３０が形成され、光電変換部１３，１４は、遮光マスク３０の開口部３０ｄを通過した光を受光する。遮光マスク３０の上には平坦化層３１が形成され、その上に白色フィルタ３４が形成される。白色フィルタ３４の上には平坦化層３２が形成され、その上にマイクロレンズ１０が形成される。マイクロレンズ１０により開口部３０ｄに制限された光電変換部１３，１４の形状が前方に投影されて、一対の測距瞳を形成する。光電変換部１３，１４は半導体回路基板２９上に形成される。
【０１１２】
焦点検出画素３１２の構造も焦点検出画素３１１の構造を９０度回転しただけであって、基本的に図３２に示す焦点検出画素３１１の構造と同様である。
【０１１３】
上記のような構成の焦点検出画素３１１，３１２を備えた撮像素子においても、本発明を適用することが可能である。例えば、焦点検出画素３１１の１つが欠陥画素である場合には、欠陥焦点検出画素３１１の光電変換部１３，１４の信号は、その欠陥焦点検出画素の上下の焦点検出画素３１１の光電変換部１３，１４の信号をそれぞれ平均することにより欠陥画素補正処理される。
【０１１４】
−−−第３の実施の形態−−−
図３３は、交換レンズ２０２の撮影画面上における焦点検出位置（焦点検出エリア）を示す図であり、撮像素子２１２上の焦点検出画素列が焦点検出の際に撮影画面上で像をサンプリングする領域（焦点検出エリア、焦点検出位置）の一例を示す。この例では、矩形の撮影画面１００上の中央および上下左右の５箇所に焦点検出エリア１０１〜１０５、ならびに撮影画面１００の対角線方向に焦点検出エリア１０６〜１０９が配置される。焦点検出エリア１０６〜１０９においては、長方形で示す焦点検出エリアの長手方向に、焦点検出画素が斜め右上がり４５度方向および斜め左上がり４５度方向に直線的に配列される。
【０１１５】
図３４、図３５は撮像素子２１２の詳細な構成を示す正面図であり、撮像素子２１２上の焦点検出エリア１０６、１０８および焦点検出エリア１０７、１０９の近傍を拡大して示す。撮像素子２１２には撮像画素３１０が二次元正方格子状に稠密に配列される。撮像画素３１０は、赤画素（Ｒ）、緑画素（Ｇ）、青画素（Ｂ）からなり、ベイヤー配列の配置規則によって配置されている。焦点検出エリア１０６、１０８に対応する位置には、撮像画素３１０と同一の画素サイズを有し、白色フィルタを備えた焦点検出画素３２３、３２４が、交互に本来緑画素が連続的に配置されるべき斜め右上がり４５度方向の直線上に連続して配列される。これとともに、焦点検出エリア１０７、１０９に対応する位置には、撮像画素３１０と同一の画素サイズを有し、白色フィルタを備えた焦点検出画素３２５、３２６が、交互に本来緑画素が連続的に配置されるべき斜め左上がり４５度方向の直線上に連続して配列される。焦点検出画素３２３、３２４および焦点検出画素３２５、３２６は、本来緑画素が配置される画素位置に配置される。
【０１１６】
焦点検出画素３２３は、図３６(ａ)に示すように、矩形のマイクロレンズ１０、遮光マスクで受光領域を正方形の半分（正方形を左上がり４５度方向の対角線で２等分した場合の右上半分）に制限された光電変換部２３、および白色フィルタ（不図示）から構成される。
【０１１７】
また、焦点検出画素３２４は、図３６(ｂ)に示すように、矩形のマイクロレンズ１０、遮光マスクで受光領域を正方形の半分（正方形を左上がり４５度方向の対角線で２等分した場合の左下半分）に制限された光電変換部２４、および白色フィルタ（不図示）から構成される。
【０１１８】
焦点検出画素３２３と焦点検出画素３２４とをマイクロレンズ１０を基準に重ね合わせて表示すると、遮光マスクで受光領域を制限された光電変換部２３と２４とが右上がり斜め４５度方向に並んでいる。
【０１１９】
また、図３６（ａ）、（ｂ）において、正方形を半分にした受光領域の部分に正方形を半分にした残りの部分（破線部分）を加えると、撮像画素の受光領域と同じサイズの正方形となる。
【０１２０】
焦点検出画素３２５は、図３６(ｃ)に示すように、矩形のマイクロレンズ１０、遮光マスクで受光領域を正方形の半分（正方形を右上がり４５度方向の対角線で２等分した場合の左上半分）に制限された光電変換部２５、および白色フィルタ（不図示）から構成される。
【０１２１】
また、焦点検出画素３２６は、図３６(ｄ)に示すように矩形のマイクロレンズ１０、遮光マスクで受光領域を正方形の半分（正方形を右上がり４５度方向の対角線で２等分した場合の右下半分）に制限された光電変換部２６、および白色フィルタ（不図示）から構成される。
【０１２２】
焦点検出画素３２５と焦点検出画素３２６とをマイクロレンズ１０を基準に重ね合わせて表示すると、遮光マスクで受光領域を制限された光電変換部２５と２６とが左上がり斜め４５度方向に並んでいる。
【０１２３】
また、図３６（ｃ）、（ｄ）において、正方形を半分にした受光領域の部分に正方形を半分にした残りの部分（破線部分）を加えると、撮像画素の受光領域と同じサイズの正方形となる。
【０１２４】
上記のような斜め方向に配列された焦点検出画素を備えた撮像素子２１２においても、本発明を適用することが可能である。
【０１２５】
図３７（ａ）は、欠陥画素が撮像画素３１０（緑画素）であり、該欠陥画素の右下に隣接して焦点検出画素３２３、３２４（一対の焦点検出画素３２３、３２４をＡ５、Ａ６で示す）が右上がりに配列されている場合における該欠陥画素を中心とした５×５画素の領域を示している。欠陥画素補正処理に用いられる補正用画素は、図３７（ｂ）において、“○”で示す緑画素である。
【０１２６】
図３８（ａ）は、欠陥画素が撮像画素３１０（緑画素）であり、該欠陥画素の左下に隣接して焦点検出画素３２５、３２６（一対の焦点検出画素３２５、３２６をＡ７、Ａ８で示す）が左上がりに配列されている場合における該欠陥画素を中心とした５×５画素の領域を示している。欠陥画素補正処理に用いられる補正用画素は、図３８ （ｂ）に“○”で示す緑画素である。
【０１２７】
図３９（ａ）は、欠陥画素が撮像画素３１０（緑画素）であり、該欠陥画素が斜め右上がり方向に配列している焦点検出画素３２３、３２４の左下端の焦点検出画素の斜め左下にある場合における該欠陥画素を中心とした５×５画素の領域を示している。欠陥画素補正処理に用いられる補正用画素は、図３９（ｂ）に“○”で示す緑画素である。
【０１２８】
図４０（ａ）は、欠陥画素が焦点検出画素３２３（Ａ５）であり、焦点検出画素３２３、３２４が斜め右上がり方向に配列している場合における該欠陥画素を中心とした５×５画素の領域を示している。欠陥画素補正処理に用いられる補正用画素は、図４０（ｂ）に“○”で示す焦点検出画素３２３（Ａ５）である。
【０１２９】
図４１（ａ）は、欠陥画素が焦点検出画素３２５（Ａ７）であり、焦点検出画素３２５、３２６が斜め左上がり方向に配列している場合における該欠陥画素を中心とした５×５画素の領域の領域を示している。、欠陥画素補正処理に用いられる補正用画素は、図４１（ｂ）に“○”で示す焦点検出画素３２５（Ａ７）である。
【０１３０】
図４２（ａ）は、欠陥画素が焦点検出画素３２３（Ａ５）であり、斜め右上がり方向に配列している焦点検出画素３２３、３２４の左下端の焦点検出画素が欠陥画素であった場合における該欠陥画素を中心とした５×５画素の領域を示している。欠陥画素補正処理に用いられる補正用画素は、図４２（ｂ）に“○”で示す焦点検出画素３２３（Ａ５）となる。
【０１３１】
−−−第４の実施の形態−−−
図４３は、交換レンズ２０２の撮影画面上における焦点検出位置（焦点検出エリア）を示す図であり、撮像素子２１２上の焦点検出画素列が焦点検出の際に撮影画面上で像をサンプリングする領域（焦点検出エリア、焦点検出位置）の一例を示す。この例では、矩形の撮影画面１００上の中央および上下左右の５箇所に焦点検出エリア１１１〜１１５、ならびに撮影画面１００の対角方向の４カ所に焦点検出エリア１１６〜１１９が配置される。焦点検出エリア１１１〜１１５においては、水平方向および垂直方向に配列した焦点検出画素配列が、互いに十字型を形成するように交差している。焦点検出エリア１１６〜１１９においては、斜め右上がり方向および斜め左上がり方向に配列した焦点検出画素配列が、Ｘ型を形成するように交差している。
【０１３２】
図４４、図４５は撮像素子２１２の詳細な構成を示す正面図であり、撮像素子２１２上の焦点検出エリア１１１、１１２、１１３および焦点検出エリア１１６、１１８の近傍を拡大して示す。
【０１３３】
図４４において、水平方向の焦点検出画素３１５、３１６の配列と垂直方向の焦点検出画素３１３、３１４の配列とが交差する交差位置には、水平方向の焦点検出画素３１５が配置される。交差位置にあるべき垂直方向の焦点検出画素３１４の画素信号は、該交差位置を挟む最近接の２つの垂直方向の焦点検出画素３１４の画素信号の平均により求められる。
【０１３４】
図４５において、斜め右上がり方向の焦点検出画素３２３、３２４の配列と斜め左上がり方向の焦点検出画素３２５、３２６の配列とが交差する交差位置には、右上がり方向の焦点検出画素３２３が配置される。交差位置にあるべき斜め左上がり方向の焦点検出画素３２５の画素信号は、該交差位置を挟む最近接の２つの斜め左上がりの焦点検出画素３２５の画素信号の平均により求められる。
【０１３５】
上記のような交差した焦点検出画素配列を有する撮像素子においても、本発明を適用することが可能である。
【０１３６】
図４６（ａ）は欠陥画素が撮像画素３１０（緑画素）であり、該欠陥画素の左下で水平方向の焦点検出画素３１５、３１６と垂直方向の焦点検出画素３１３、３１４とが交差している場合における該欠陥画素を中心とした５×５画素の領域を示している。欠陥画素補正処理に用いられる補正用画素は、図４６（ｂ）において、“○”で示す緑画素である。
【０１３７】
図４７（ａ）は欠陥画素が撮像画素３１０（緑画素）であり、該欠陥画素の２画素下で斜め右上がり方向の焦点検出画素３２３、３２４と斜め左上がり方向の焦点検出画素３２５、３２６とが交差している場合における該欠陥画素を中心とした５×５画素の領域を示している。欠陥画素補正処理に用いられる補正用画素は、図４７（ｂ）において、“○”で示す緑画素である。
【０１３８】
−−−第５の実施の形態−−−
図３、図４に示す撮像素子２１２の部分拡大図では、各画素に１つの光電変換部を有する一対の焦点検出画素３１５，３１６および一対の焦点検出画素３１３，３１４を、１行または１列に交互に配列する例を示した。しかし、一対の焦点検出画素３１５，３１６および一対の焦点検出画素３１３，３１４を、２行または２列に連続して配列するようにしてもよい。図４８は、撮像素子２１２の部分拡大図であり、焦点検出画素３１５が１行に連続して配置されるとともに、焦点検出画素３１６が隣接した１行に連続して配置される。このように焦点検出画素３１５、３１６を配列することにより、焦点検出画素３１５および焦点検出画素３１６がそれぞれ像を検出するサンプリング間隔が短くなり、焦点検出精度が向上する。
【０１３９】
上記のような構成の焦点検出画素配列を備えた撮像素子２１２においても、本発明を適用することが可能である。例えば、焦点検出画素３１５の１つが欠陥画素である場合には、欠陥焦点検出画素３１５の画素信号は、その欠陥焦点検出画素の左右の焦点検出画素３１５の画素信号を平均することにより欠陥画素補正処理される。
【０１４０】
−−−変形例−−−
上述した実施形態における撮像素子２１２では、焦点検出画素が白色フィルタを備えた例を示したが、撮像画素と同じ色フィルタ（例えば緑フィルタ）を備えるようにした場合にも本発明を適用することができる。
【０１４１】
上述した実施形態における撮像素子では、撮像画素がベイヤー配列の色フィルタを備えた例を示した。しかし、色フィルタの構成や配列はこれに限定されることはなく、補色フィルタ（緑：Ｇ、イエロー：Ｙｅ、マゼンタ：Ｍｇ，シアン：Ｃｙ）の配列やベイヤー配列以外の配列にも本発明を適用することができる。また色フィルタを備えないモノクロの撮像素子にも適用することができる。
【０１４２】
上述した実施形態においては、撮像素子２１２と光学系との間に光学要素を何も配置していないが、適宜必要な光学要素を挿入することが可能である。例えば、赤外カットフィルタや光学的ローパスフィルタ、ハーフミラーなどを設置してもよい。
【０１４３】
上述した実施形態においては、撮像素子２１２をＣＭＯＳイメージセンサーとしているが、ＣＣＤなどの他のタイプの撮像素子であってもよい。
【０１４４】
なお、撮像装置としては、上述したような、カメラボディに交換レンズが装着される構成のデジタルスチルカメラやフィルムスチルカメラに限定されない。例えば、レンズ一体型のデジタルスチルカメラ、フィルムスチルカメラ、あるいはビデオカメラにも本発明を適用することができる。さらには、携帯電話などに内蔵される小型カメラモジュール、監視カメラやロボット用の視覚認識装置、車載カメラなどにも適用できる。
【符号の説明】
【０１４５】
９、１０ マイクロレンズ、
１１、１３、１４、１５、１６、２３、２４、２５、２６ 光電変換部、
２９ 半導体回路基板、
３０ 遮光マスク、３０ａ、３０ｂ、３０ｃ、３０ｄ 開口部、
３１、３２ 平坦化層、３４ 白色フィルタ、３８ 色フィルタ、
７１、７３、７４ 光束、
９０ 射出瞳、９１ 交換レンズの光軸、９３、９４ 測距瞳、９５ 領域、
１００ 撮影画面、
１０１、１０２、１０３、１０４、１０５、１０６、１０７、１０８、１０９、１１１、１１２、１１３、１１４、１１５、１１６、１１７、１１８、１１９ 焦点検出エリア、
２０１ デジタルスチルカメラ、２０２ 交換レンズ、２０３ カメラボディ、
２０４ マウント部、２０６ レンズ駆動制御装置、
２０８ ズーミング用レンズ、２０９ レンズ、２１０ フォーカシング用レンズ、
２１１ 絞り、２１２ 撮像素子、２１３ 電気接点、
２１４ ボディ駆動制御装置、
２１５ 液晶表示素子駆動回路、２１６ 液晶表示素子、２１７ 接眼レンズ、
２１９ メモリカード、２２０ バッファメモリ、２２１ 欠陥画素情報記憶メモリ、
３１０ 撮像画素、
３１１、３１２、３１３、３１４、３１５、３１６、３２３、３２４、３２５、３２６ 焦点検出画素、
３２０ ラインメモリ、３３０ 出力回路、５０１ 垂直出力線、
５１０ リセットＭＯＳトランジスタ、５１２ 行選択ＭＯＳトランジスタ
【技術分野】
【０００１】
本発明は、撮像装置に関する。
【背景技術】
【０００２】
撮像素子における欠陥撮像画素の補正データとして、欠陥撮像画素の周囲のｎ×ｎの領域における撮像画素のデータのメディアンを採用する撮像装置が知られている。（たとえば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平４−２３５４７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、撮像画素と瞳分割型の焦点検出画素を混載する撮像素子を備えた撮像装置に対して、特許文献１に記載の撮像画素に適した欠陥画素補正処理を一律に適用した場合には、欠陥画素補正処理に撮像画素の画素信号と瞳分割型の焦点検出画素の画素信号とが混合することとなり、欠陥画素のデータが不適切に補正されてしまうという問題がある。欠陥画素が焦点検出画素の場合、正確な焦点検出を行うことができなくなる可能性がある。欠陥画素が撮像画素の場合は、画像品質が劣化する可能性がある。
【課題を解決するための手段】
【０００５】
（１）請求項１に記載の撮像装置は、像を形成する光束を射出する光学系と、光束を受光して画素信号を出力する複数の撮像画素と、瞳分割型の複数の焦点検出画素とを二次元配列に従って配置した撮像素子と、複数の撮像画素に含まれる欠陥撮像画素の画素信号を、該欠陥撮像画素の周囲の複数の撮像画素の画素信号に基づき第１の欠陥画素補正処理により補正するとともに、複数の焦点検出画素に含まれる欠陥焦点検出画素の画素信号を、該欠陥焦点検出画素の周囲の複数の焦点検出画素の画素信号に基づき第２の欠陥画素補正処理により補正する欠陥画素補正処理手段と、欠陥画素補正処理手段により補正された欠陥撮像画素の画素信号を含む複数の撮像画素の画素信号に基づいて、画像信号を生成する画像生成手段と、欠陥画素補正処理手段により補正された欠陥焦点検出画素の画素信号を含む複数の焦点検出画素の画素信号に基づいて、光学系の焦点調節状態を検出する焦点検出手段とを備えることを特徴とする。
（２）請求項１４に記載の撮像装置は、像を形成する光束を射出する光学系と、光束を受光して画素信号を出力する複数の撮像画素と、瞳分割型の複数の焦点検出画素とを二次元配列に従って配置した撮像素子と、複数の撮像画素に含まれる欠陥撮像画素および複数の焦点検出画素に含まれる欠陥焦点検出画素の各々の欠陥画素位置を示す欠陥画素位置情報と、該欠陥画素位置情報に応じて該欠陥画素位置の欠陥撮像画素または欠陥焦点検出画素の画素信号を補正する欠陥画素補正処理の種類を指定するための欠陥画素補正処理情報とを記憶する欠陥画素情報記憶手段と、欠陥画素情報記憶手段に記憶された欠陥画素位置情報および該欠陥画素位置情報に応じて記憶された欠陥画素補正処理情報に基づき欠陥撮像画素または欠陥焦点検出画素の画素信号を補正する欠陥画素補正処理手段と、欠陥画素補正処理手段により補正された欠陥撮像画素の画素信号を含む複数の撮像画素の画素信号に基づいて、画像信号を生成する画像生成手段と、欠陥画素補正処理手段により補正された欠陥焦点検出画素の画素信号を含む複数の焦点検出画素の画素信号に基づいて、光学系の焦点調節状態を検出する焦点検出手段とを備えることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、撮像画素と瞳分割型の焦点検出画素を混載する撮像素子を備えた撮像装置において、欠陥画素のデータの不適切な補正を防止することが可能になる。
【図面の簡単な説明】
【０００７】
【図１】第１の実施の形態のデジタルスチルカメラの構成を示す横断面図である。
【図２】交換レンズの撮影画面上における焦点検出位置を示す図である。
【図３】撮像素子の詳細な構成を示す正面図である。
【図４】撮像素子の詳細な構成を示す正面図である。
【図５】撮像画素と焦点検出画素のマイクロレンズの形状を示す図である。
【図６】撮像画素の正面図である。
【図７】緑画素、赤画素および青画素の分光特性を示す図である。
【図８】焦点検出画素の分光特性を示す図である。
【図９】焦点検出画素の正面図である。
【図１０】撮像画素の断面図である。
【図１１】焦点検出画素の断面図である。
【図１２】撮像画素が受光する撮影光束の様子を説明するための図である。
【図１３】焦点検出画素が受光する撮影光束の様子を説明するための図である。
【図１４】撮像素子の回路構成を簡略化して示す図である。
【図１５】撮像画素および焦点検出画素における１つの光電変換部に対する基本回路構成を示す図である。
【図１６】撮像素子の動作タイミングチャートである。
【図１７】デジタルスチルカメラの撮像動作を示すフローチャートである。
【図１８】一対のデータのずらし量ｋに対する相関量Ｃ（ｋ）の関係を示す図である。
【図１９】欠陥画素補正処理を行う際の画素データおよび処理の内容についての概念図である。
【図２０】欠陥画素を除いた５×５画素のマトリックスを２４ビットで表した図である。
【図２１】欠陥画素を中心とした５×５の領域を示した図である。
【図２２】欠陥画素を中心とした５×５の領域を示した図である。
【図２３】欠陥画素を中心とした５×５の領域を示した図である。
【図２４】欠陥画素を中心とした５×５の領域を示した図である。
【図２５】欠陥画素を中心とした５×５の領域を示した図である。
【図２６】欠陥画素を中心とした５×５の領域を示した図である。
【図２７】欠陥画素を中心とした５×５の領域を示した図である。
【図２８】欠陥画素補正処理の詳細を示すフローチャートである。
【図２９】撮像素子の詳細な構成を示す正面図である。
【図３０】撮像素子の詳細な構成を示す正面図である。
【図３１】焦点検出画素の正面図である。
【図３２】焦点検出画素の断面図である。
【図３３】交換レンズの撮影画面上における焦点検出位置を示す図である。
【図３４】撮像素子の詳細な構成を示す正面図である。
【図３５】撮像素子の詳細な構成を示す正面図である。
【図３６】焦点検出画素の正面図である。
【図３７】欠陥画素を中心とした５×５の領域を示した図である。
【図３８】欠陥画素を中心とした５×５の領域を示した図である。
【図３９】欠陥画素を中心とした５×５の領域を示した図である。
【図４０】欠陥画素を中心とした５×５の領域を示した図である。
【図４１】欠陥画素を中心とした５×５の領域を示した図である。
【図４２】欠陥画素を中心とした５×５の領域を示した図である。
【図４３】交換レンズの撮影画面上における焦点検出位置を示す図である。
【図４４】撮像素子の詳細な構成を示す正面図である。
【図４５】撮像素子の詳細な構成を示す正面図である。
【図４６】欠陥画素を中心とした５×５の領域を示した図である。
【図４７】欠陥画素を中心とした５×５の領域を示した図である。
【図４８】撮像素子の詳細な構成を示す正面図である。
【発明を実施するための形態】
【０００８】
−−−第１の実施の形態−−−
第１の実施の形態の撮像装置として、レンズ交換式のデジタルスチルカメラを例に挙げて説明する。図１は第１の実施の形態のデジタルスチルカメラの構成を示す横断面図である。本実施の形態のデジタルスチルカメラ２０１は、交換レンズ２０２とカメラボディ２０３とから構成され、交換レンズ２０２がマウント部２０４を介してカメラボディ２０３に装着される。カメラボディ２０３にはマウント部２０４を介して種々の撮影光学系を有する交換レンズ２０２が装着可能である。
【０００９】
交換レンズ２０２は、レンズ２０９、ズーミング用レンズ２０８、フォーカシング用レンズ２１０、絞り２１１、レンズ駆動制御装置２０６などを備えている。レンズ駆動制御装置２０６は、不図示のマイクロコンピューター、メモリ、駆動制御回路などから構成される。レンズ駆動制御装置２０６は、フォーカシング用レンズ２１０の焦点調節と絞り２１１の開口径調節のための駆動制御や、ズーミング用レンズ２０８、フォーカシング用レンズ２１０および絞り２１１の状態検出などを行う。また、後述するボディ駆動制御装置２１４との通信によりレンズ情報の送信とカメラ情報（デフォーカス量や絞り値など）の受信を行う。絞り２１１は、光量およびボケ量調整のために光軸中心に開口径が可変な開口を形成する。
【００１０】
カメラボディ２０３は、撮像素子２１２、ボディ駆動制御装置２１４、液晶表示素子駆動回路２１５、液晶表示素子２１６、接眼レンズ２１７、メモリカード２１９、バッファメモリ２２０、欠陥画素情報記憶メモリ２２１などを備えている。撮像素子２１２には、撮像画素が二次元状（行と列）に配置されるとともに、焦点検出位置（焦点検出エリア）に対応した部分に焦点検出画素が組み込まれている。この撮像素子２１２については詳細を後述する。
【００１１】
ボディ駆動制御装置２１４は、マイクロコンピューター、メモリ、駆動制御回路などから構成され、撮像素子２１２の駆動制御と、撮像素子２１２からの画素信号の読み出しおよび欠陥画素補正処理と、焦点検出画素の画素信号に基づく焦点検出演算と、交換レンズ２０２の焦点調節とを繰り返し行うとともに、画像信号の処理と記録、デジタルスチルカメラ２０１の動作制御などを行う。また、ボディ駆動制御装置２１４は電気接点２１３を介してレンズ駆動制御装置２０６と通信を行い、レンズ情報の受信とカメラ情報の送信を行う。
【００１２】
液晶表示素子２１６は電気的なビューファインダー（ＥＶＦ：Electronic View Finder）として機能する。液晶表示素子駆動回路２１５は撮像素子２１２から読み出されたスルー画像を液晶表示素子２１６に表示し、撮影者は接眼レンズ２１７を介してスルー画像を観察することができる。メモリカード２１９は、撮像素子２１２により撮像された画像を記憶する画像ストレージである。
【００１３】
バッファメモリ２２０は、撮像素子２１２から読み出された画素信号を一時的に保持するメモリである。撮像素子２１２からは行順次に画素信号が読み出され、数行分の画素信号のデータがバッファメモリ２２０に保持される。欠陥画素情報記憶メモリ２２１は撮像素子２１２の欠陥画素に関する情報を記憶するメモリである。欠陥画素とは受光光量に対して異常な画素信号を発生する画素のことであって、例えば、いわゆる白キズ、黒キズとなる画素である。製造時において撮像素子２１２をカメラボディ２０１に組み込む際に、所定の一様照明状態を撮像素子２１２上に形成し、所定水準の画素信号が得られなかった画素を欠陥画素と認定する。該欠陥画素の位置情報（行、列）と該欠陥画素の種類とに応じた欠陥画素補正処理の種類および欠陥画素補正処理に用いる周囲の画素の位置に関する情報が、欠陥画素情報記憶メモリ２２１に記憶される。
【００１４】
交換レンズ２０２を通過した光束により、撮像素子２１２の受光面上に被写体像が形成される。この被写体像は撮像素子２１２により光電変換され、撮像画素および焦点検出画素の画素信号がバッファメモリ２２０を介してボディ駆動制御装置２１４へ送られる。
【００１５】
ボディ駆動制御装置２１４は、撮像素子２１２の焦点検出画素からの画素信号に基づいてデフォーカス量を算出し、このデフォーカス量をレンズ駆動制御装置２０６へ送る。また、ボディ駆動制御装置２１４は、撮像素子２１２の撮像画素の画素信号を処理して画像データを生成し、メモリカード２１９に格納するとともに、撮像素子２１２から読み出されたスルー画像信号を液晶表示素子駆動回路２１５へ送り、スルー画像を液晶表示素子２１６に表示させる。さらに、ボディ駆動制御装置２１４は、レンズ駆動制御装置２０６へ絞り制御情報を送って絞り２１１の開口制御を行う。
【００１６】
レンズ駆動制御装置２０６は、フォーカシング状態、ズーミング状態、絞り設定状態、絞り開放Ｆ値などに応じてレンズ情報を更新する。具体的には、ズーミング用レンズ２０８とフォーカシング用レンズ２１０の位置と絞り２１１の絞り値を検出し、これらのレンズ位置と絞り値に応じてレンズ情報を演算したり、あるいは予め用意されたルックアップテーブルからレンズ位置と絞り値に応じたレンズ情報を選択する。
【００１７】
レンズ駆動制御装置２０６は、受信したデフォーカス量に基づいてレンズ駆動量を算出し、レンズ駆動量に応じてフォーカシング用レンズ２１０を合焦位置へ駆動する。また、レンズ駆動制御装置２０６は受信した絞り値に応じて絞り２１１を駆動する。
【００１８】
図２は、交換レンズ２０２の撮影画面上における焦点検出位置（焦点検出エリア）を示す図であり、後述する撮像素子２１２上の焦点検出画素列が焦点検出の際に撮影画面上で像をサンプリングする領域（焦点検出エリア、焦点検出位置）の一例を示す。この例では、矩形の撮影画面１００上の中央（光軸上）および上下左右の５箇所に焦点検出エリア１０１〜１０５が配置される。長方形で示す焦点検出エリアの長手方向に、焦点検出画素が直線的に配列される。焦点検出エリア１０１、１０２、１０３においては焦点検出画素が水平方向に配列され、焦点検出エリア１０４、１０５においては焦点検出画素が水平方向に配列される。
【００１９】
図３、図４は撮像素子２１２の詳細な構成を示す正面図である。図３は、図２における焦点検出エリア１０１、１０２、１０３の近傍を拡大した画素配列の詳細を示し、図４は、図２における焦点検出エリア１０４、１０５の近傍を拡大した画素配列の詳細を示す。撮像素子２１２には撮像画素３１０が二次元正方格子状に稠密に配列される。撮像画素３１０は赤画素（Ｒ）、緑画素（Ｇ）、青画素（Ｂ）からなり、ベイヤー配列の配置規則によって配置されている。図４においては、垂直方向の焦点検出用に撮像画素と同一の画素サイズを有する垂直方向焦点検出用の焦点検出画素３１３、３１４が交互に、本来緑画素と赤画素とが連続的に配置されるべき垂直方向の直線上に連続して配列される。同じく、図３においては、水平方向の焦点検出用に撮像画素と同一の画素サイズを有する水平方向焦点検出用の焦点検出画素３１５、３１６が交互に、本来緑画素と青画素とが連続的に配置されるべき水平方向の直線上に連続して配列される。
【００２０】
図５は、撮像画素と焦点検出画素とのマイクロレンズ１０の形状を示す図である。撮像画素と焦点検出画素とのマイクロレンズ１０の形状は、元々、画素サイズより大きな円形のマイクロレンズ９から画素サイズに対応した正方形の形状で切り出した形状をしている。マイクロレンズ１０の光軸を通る対角線の方向の断面と、マイクロレンズ１０の光軸を通る水平線の方向の断面とは、それぞれ図５に（ａ）、（ｂ）で示す形状になっている。
【００２１】
撮像画素３１０は、図６に示すように矩形のマイクロレンズ１０、後述の遮光マスクで受光領域を正方形に制限された光電変換部１１、および色フィルタ（不図示）から構成される。色フィルタは赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３種類からなり、それぞれの分光感度は図７に示す特性を有している。撮像素子２１２には、各色フィルタを備えた撮像画素３１０がベイヤー配列されている。
【００２２】
焦点検出画素３１３、３１４、３１５、３１６には全ての色に対して焦点検出を行うために全ての可視光を透過する白色フィルタが設けられており、その白色フィルタの分光感度特性は図１０に示される。つまり、図７に示す緑画素、赤画素および青画素の分光感度特性を加算したような分光感度特性となり、そのような分光感度特性に対応する光波長領域は、緑画素、赤画素および青画素が高い分光感度を示す光波長領域を包括している。
【００２３】
図９は焦点検出画素の正面図である。焦点検出画素３１３は、図９(ａ)に示すように矩形のマイクロレンズ１０と後述の遮光マスクで受光領域を正方形の上半分（正方形を水平線で２等分した場合の上半分）に制限された光電変換部１３、および白色フィルタ（不図示）とから構成される。
【００２４】
また、焦点検出画素３１４は、図９(ｂ)に示すように、矩形のマイクロレンズ１０と後述の遮光マスクで受光領域を正方形の下半分（正方形を水平線で２等分した場合の下半分）に制限された光電変換部１４、および白色フィルタ（不図示）とから構成される。
【００２５】
焦点検出画素３１３と焦点検出画素３１４とをマイクロレンズ１０を基準に重ね合わせて表示すると、遮光マスクで受光領域を制限された光電変換部１３と１４が垂直方向に並んでいる。
【００２６】
また図９（ａ）、（ｂ）において、正方形を半分にした受光領域の部分に正方形を半分にした残りの部分（破線部分）を加えると、撮像画素の受光領域と同じサイズの正方形となる。
【００２７】
焦点検出画素３１５は、図９(ｃ)に示すように、矩形のマイクロレンズ１０と後述の遮光マスクで受光領域を正方形の左半分（正方形を垂直線で２等分した場合の左半分）に制限された光電変換部１５、および白色フィルタ（不図示）とから構成される。
【００２８】
また、焦点検出画素３１６は、図９(ｄ)に示すように、矩形のマイクロレンズ１０と後述の遮光マスクで受光領域を正方形の右半分（正方形を垂直線で２等分した場合の右半分）に制限された光電変換部１６、および白色フィルタ（不図示）とから構成される。
【００２９】
焦点検出画素３１５の正面図と焦点検出画素３１６の正面図とをマイクロレンズ１０を基準に重ね合わせて表示すると、遮光マスクで受光領域を制限された光電変換部１５と１６が水平方向に並んでいる。
【００３０】
また図９（ｃ）、（ｄ）において、正方形を半分にした受光領域の部分に正方形を半分にした残りの部分（破線部分）を加えると、撮像画素の受光領域と同じサイズの正方形となる。
【００３１】
図１０は、垂直方向の直線で撮像画素配列の断面をとった場合の撮像画素３１０の断面図である。撮像画素３１０では撮像用の光電変換部１１の上に近接して遮光マスク３０が形成され、光電変換部１１は、遮光マスク３０の開口部３０ａを通過した光を受光する。遮光マスク３０の上には平坦化層３１が形成され、その上に色フィルタ３８が形成される。色フィルタ３８の上には平坦化層３２が形成され、その上にマイクロレンズ１０が形成される。マイクロレンズ１０により開口部３０ａの形状が前方に投影される。光電変換部１１は半導体回路基板２９上に形成される。
【００３２】
図１１は、垂直方向の直線で焦点検出画素３１３、３１４からなる焦点検出画素配列の断面をとった場合の焦点検出画素３１３、３１４の断面図である。焦点検出画素３１３、３１４では焦点検出用の光電変換部１３，１４の上に近接して遮光マスク３０が形成され、光電変換部１３，１４は、遮光マスク３０の開口部３０ｂ、３０ｃを通過した光を受光する。遮光マスク３０の上には平坦化層３１が形成され、その上に白色フィルタ３４が形成される。白色フィルタ３４の上には平坦化層３２が形成され、その上にマイクロレンズ１０が形成される。マイクロレンズ１０により開口部３０ｂ、３０ｃの形状が前方に投影される。光電変換部１３，１４は半導体回路基板２９上に形成される。
【００３３】
焦点検出画素３１５、３１６の構造も焦点検出画素３１３、３１４の構造を９０度回転しただけであって、基本的に図１１に示す焦点検出画素の構造と同様である。
【００３４】
図１２は、図３、図４、図１０に示す撮像画素３１０が受光する撮影光束の様子を説明するための図であって、垂直方向の直線で撮像画素配列の断面をとっている。
【００３５】
撮像素子上に配列された全ての撮像画素の光電変換部１１は、光電変換部１１に近接して配置された前記遮光マスク開口３０ａを通過した光束を受光する。遮光マスク開口３０ａの形状は、各撮像画素のマイクロレンズ１０によりマイクロレンズ１０から測距瞳距離ｄだけ離間した射出瞳９０上の全撮像画素共通な領域９５に投影される。
【００３６】
従って各撮像画素の光電変換部１１は、領域９５と各撮像画素のマイクロレンズ１０を通過する光束７１を受光し、領域９５を通過して各撮像画素のマイクロレンズ１０へ向う光束７１によって各マイクロレンズ１０上に形成される像の強度に対応した信号を出力する。
【００３７】
図１３は、図４、図１１に示す焦点検出画素３１３，３１４が受光する焦点検出光束の様子を図１２と比較して説明するための図であって、垂直方向の直線で焦点検出画素配列の断面をとっている。
【００３８】
撮像素子上に配列された全ての焦点検出画素の光電変換部１３，１４は、光電変換部１３，１４に近接して配置された前記遮光マスク開口３０ｂ、３０ｃを通過した光束を受光する。遮光マスク開口３０ｂの形状は、各焦点検出画素３１３のマイクロレンズ１０によりマイクロレンズ１０から測距瞳距離ｄだけ離間した射出瞳９０上の焦点検出画素３１３に全てに共通した領域９３に投影される。同じく、遮光マスク開口３０ｃの形状は、各焦点検出画素３１４のマイクロレンズ１０により、マイクロレンズ１０から測距瞳距離ｄだけ離間した射出瞳９０上の焦点検出画素３１４に全てに共通した領域９４に投影される。一対の領域９３，９４を測距瞳と呼ぶ。
【００３９】
従って各焦点検出画素３１３の光電変換部１３は、測距瞳９３と各撮像画素のマイクロレンズ１０を通過する光束７３を受光し、測距瞳９３を通過して各撮像画素のマイクロレンズ１０へ向う光束７３によって各マイクロレンズ１０上に形成される像の強度に対応した信号を出力する。また、各焦点検出画素３１４の光電変換部１４は、測距瞳９４と各撮像画素のマイクロレンズ１０を通過する光束７４を受光し、測距瞳９４を通過して各撮像画素のマイクロレンズ１０へ向う光束７４によって各マイクロレンズ１０上に形成される像の強度に対応した信号を出力する。
【００４０】
一対の焦点検出画素３１３，３１４が受光する光束７３，７４が通過する射出瞳９０上の測距瞳９３と９４を統合した領域は、撮像画素３１０が受光する光束７１が通過する射出瞳９０上の領域９５と一致する。射出瞳９０上において光束７３，７４は光束７１に対して相補的な関係になっている。
【００４１】
上述した一対の焦点検出画素３１３、３１４を交互にかつ直線状に多数配置する。各焦点検出画素の光電変換部の出力を測距瞳９３および測距瞳９４に対応した一対の出力グループにまとめることによって、測距瞳９３と測距瞳９４をそれぞれ通過する一対の光束が焦点検出画素配列上（垂直方向）に形成する一対の像の強度分布に関する情報が得られる。この情報に対して、後述する像ズレ検出演算処理（相関演算処理、位相差検出処理）を施すことによって、いわゆる瞳分割型位相差検出方式で一対の像の像ズレ量が検出される。さらに、像ズレ量に一対の測距瞳の重心間隔と測距瞳距離の比例関係に応じた変換演算を行うことによって、焦点検出位置（垂直方向）における予定結像面と結像面の偏差（デフォーカス量）が算出される。
【００４２】
焦点検出画素３１５、３１６が受光する焦点検出光束も焦点検出画素３１３、３１４の受光する一対の焦点検出光束７３，７４を９０度回転しただけであって、基本的に図１３に示す光束と同様であり、測距瞳９３、９４を９０度回転した一対の測距瞳が設定される。一対の焦点検出画素３１５、３１６を交互にかつ直線状に多数配置する。各焦点検出画素の光電変換部の出力を一対の測距瞳に対応した一対の出力グループにまとめることによって、一対の測距瞳をそれぞれ通過する一対の光束が焦点検出画素配列上（水平方向）に形成する一対の像の強度分布に関する情報が得られる。この情報に基づき、焦点検出位置（水平方向）における予定結像面と結像面の偏差（デフォーカス量）が算出される。
【００４３】
撮像素子２１２はＣＭＯＳイメージセンサーとして構成される。図１４に撮像素子２１２の回路構成概念図を示す。撮像素子２１２の回路構成を、水平方向８画素×垂直方向４画素のレイアウトに簡略化して説明する。図１４は、図２の水平方向の焦点検出エリア１０１，１０２、１０３に対応して描かれており、水平方向に焦点検出画素３１５，３１６が同一の行に配置されている。垂直方向の焦点検出エリア１０４、１０５には、焦点検出画素３１３，３１４が、垂直方向に配置され、かつ互いに異なる行に配置される。
【００４４】
２行目には、焦点検出画素３１５、３１６が配置されている。図１４では、“○”で示す中央の４つの焦点検出画素３１５、３１６が、複数の焦点検出画素を代表して示されており、左右の２つずつの撮像画素３１０（“□”で示す）が、焦点検出画素の左右に配置された複数の撮像画素を代表して示されている。
【００４５】
１行目、３行目、４行目には、撮像画素３１０のみが配置されている。図１４では、１行目、３行目、４行目の撮像画素３１０が、焦点検出画素が配置された行の上下の複数の撮像画素のみからなる行を代表して示されている。
【００４６】
図１４において、ラインメモリ３２０は、１行分の画素の画素信号をサンプルホールドして一時的に保持するバッファであり、垂直信号線５０１に出力されている同一行の画素信号を垂直走査回路が発する制御信号ΦＨ１に基づいてサンプルホールドする。なお、ラインメモリ３２０に保持される画素信号は、制御信号ΦＳ１〜ΦＳ４の立ち上がりに同期してリセットされる。
【００４７】
撮像画素３１０および焦点検出画素３１５、３１６からの画素信号の出力は、垂直走査回路が発生する制御信号（ΦＳ１〜ΦＳ４）により行ごとに独立に制御される。制御信号（ΦＳ１〜ΦＳ４）により選択された行の画素の画素信号は、垂直信号線５０１に出力される。
【００４８】
ラインメモリ３２０に保持された画素信号は、水平走査回路が発生する制御信号（ΦＶ１〜ΦＶ８）により、順次、出力回路３３０に転送され、出力回路３３０において、設定された増幅度で増幅されて外部に出力される。
【００４９】
撮像画素３１０および焦点検出画素３１５、３１６は、画素信号がサンプルホールドされた後、垂直走査回路が発生する制御信号（ΦＲ１〜ΦＲ４）によりリセットされ、制御信号ΦＲ１〜ΦＲ４の立ち下がりで次回の画素信号出力のための電荷蓄積を開始する。
【００５０】
制御信号φＳｙｎｃは垂直同期信号であって、フレーム毎に外部に出力される。また、制御信号ΦＳ１〜ΦＳ４、制御信号ΦＲ１〜ΦＲ４も外部に出力される。
【００５１】
図１５は、図１４に示す撮像素子２１２の撮像画素３１０および焦点検出画素３１５、３１６の詳細回路図である。光電変換部はフォトダイオード（ＰＤ）で構成される。ＰＤで蓄積された電荷は浮遊拡散層（フローティングディフュージョン：ＦＤ）に蓄積される。ＦＤは増幅ＭＯＳトランジスタ（ＡＭＰ）のゲートに接続されており、ＡＭＰはＦＤに蓄積された電荷の量に応じた信号を発生する。
【００５２】
ＦＤ部は、リセットＭＯＳトランジスタ５１０を介し、電源電圧Ｖｄｄに接続されている。制御信号ΦＲｎ（ΦＲ１〜ΦＲ３）によりリセットＭＯＳトランジスタ５１０がＯＮとなると、ＦＤおよびＰＤに溜まった電荷がクリアされ、リセット状態となる。
【００５３】
ＡＭＰの出力は、行選択ＭＯＳトランジスタ５１２を介して垂直出力線５０１に接続されている。制御信号ΦＳｎ（ΦＳ１〜ΦＳ３）により行選択ＭＯＳトランジスタ５１２がＯＮとなると、ＡＭＰの出力が垂直出力線５０１に出力される。
【００５４】
図１６は、図１４に示す撮像素子２１２の動作タイミングチャートである。ＣＭＯＳイメージセンサーにおいては、いわゆるローリングシャッタ動作により、画素のリセット、露光、信号の読み出しが以下のように各行毎に順次行われる。
【００５５】
撮像素子２１２からの全画素の信号の出力（１フレーム分の画像信号の出力）に同期して、垂直同期信号φＳｙｎｃが発せられる。１行目の撮像画素３１０は、垂直同期信号φＳｙｎｃに同期して垂直走査回路が発する制御信号ΦＳ１により選択され、選択された撮像画素３１０の画素信号は垂直信号線５０１に出力される。制御信号ΦＳ１と同期して発せられる制御信号ΦＨ１により垂直信号線５０１に出力された１行目の画素信号は、ラインメモリ３２０に一時的に保持される。
【００５６】
ラインメモリ３２０に保持された１行目の撮像画素３１０の画素信号は、水平走査回路から順次発せられる制御信号ΦＶ１〜ΦＶ８にしたがって出力回路３３０に転送され、出力回路３３０において、設定された増幅度で増幅されて外部に出力される。
【００５７】
１行目の撮像画素３１０の画素信号のラインメモリ３２０への転送が終了した時点で、リセット回路より発せられる制御信号ΦＲ１により１行目の撮像画素３１０がリセットされ、制御信号ΦＲ１の立ち下がりで１行目の撮像画素３１０の次の電荷蓄積が開始される。
【００５８】
１行目の撮像画素３１０の画素信号の、出力回路３３０からの出力が終了した時点で、２行目の撮像画素３１０および焦点検出画素３１５，３１６は、垂直走査回路が発する制御信号ΦＳ２により選択され、選択された撮像画素３１０の画素信号は垂直信号線５０１に出力される。
【００５９】
以下、同様にして２行目の撮像画素３１０および焦点検出画素３１５，３１６の画素信号の保持および撮像画素３１０のリセット、画素信号の出力および次の電荷蓄積の開始が行われる。続いて３行目、４行目の撮像画素３１０の画素信号の保持および撮像画素３１０のリセット、撮像画素３１０の画素信号の出力および次の電荷蓄積の開始が行われる。全ての画素の画素信号の出力が終了すると、再び１行目に戻って上記動作が周期的に繰り返される。
【００６０】
ｎ行目の撮像画素３１０および焦点検出画素３１５，３１６のリセット動作は、制御信号φＲｎの立ち上がりから立ち下がりまでの時間に行われ、ｎ行目の撮像画素３１０および焦点検出画素３１５，３１６の露光動作は、制御信号φＲｎの立ち下がりから、制御信号φＳｎの立ち上がりまでの時間（露光時間、蓄積時間）に行われ、ｎ行目の撮像画素３１０および焦点検出画素３１５，３１６の信号読み出し動作は、制御信号φＳｎの立ち上がりから制御信号φＳｎ+1の立ち上がりまでの時間に行われる。
【００６１】
図１７は、デジタルスチルカメラ２０１の撮像動作を示すフローチャートである。ボディ駆動制御装置２１４は、ステップＳ１００でデジタルスチルカメラ２０１の電源がオンされると、ステップＳ１１０以降の撮像動作を開始する。ステップＳ１１０において、撮像素子２１２は、一定周期で撮像動作を繰り返す動作モード（例えば１秒間に６０フレームを出力する）に設定される。そして１フレーム分の全画素データを読み出すとともに、欠陥画素に対して欠陥画素補正処理を施す。欠陥画素補正処理の詳細は後述する。続くステップＳ１２０では、撮像画素３１０のデータから一部を間引きしたデータを液晶表示素子２１６に表示（ライブビュー表示）させる。ステップＳ１３０では焦点検出画素３１３、３１４、３１５、３１６のデータに基づき５つの焦点検出エリア１０１〜１０５において焦点検出を行い、最終的に１つのデフォーカス量を算出する。デフォーカス量の信頼性が低い場合、またはデフォーカス量の算出が不能であった場合は、焦点検出不能となる。ステップＳ１３０におけるデフォーカス量の算出処理の詳細については後述する。
【００６２】
ステップＳ１４０で、合焦近傍か否か、すなわち算出されたデフォーカス量の絶対値が所定値以内であるか否かを調べる。合焦近傍でないと判定された場合は、ステップＳ１５０へ進み、デフォーカス量をレンズ駆動制御装置２０６へ送信し、交換レンズ２０２のフォーカシングレンズ２１０を合焦位置に駆動させる。その後、ステップＳ１１０へ戻って上述した動作を繰り返す。
【００６３】
なお、焦点検出不能な場合もこのステップに分岐し、レンズ駆動制御装置２０６へスキャン駆動命令を送信し、交換レンズ２０２のフォーカシングレンズ２１０を無限から至近までの間でスキャン駆動させる。その後、ステップＳ１１０へ戻って上述した動作を繰り返す。
【００６４】
ステップＳ１４０で合焦近傍であると判定された場合はステップＳ１６０へ進み、シャッターボタン（不図示）の操作によりシャッターレリーズがなされたか否かを判別する。シャッターレリーズがなされていないと判定された場合はステップＳ１１０へ戻り、上述した動作を繰り返す。一方、シャッターレリーズがなされたと判定された場合はステップＳ１７０へ進み、レンズ駆動制御装置２０６へ絞り調整命令を送信し、交換レンズ２０２の絞り値を制御Ｆ値（撮影者または自動により設定されたＦ値）にする。絞り制御が終了した時点で、撮像素子２１２に被写体輝度に応じた露光時間による撮像動作を行わせ、撮像素子２１２の撮像画素３１０および全ての焦点検出画素３１３、３１４、３１５、３１６から画像データを読み出すとともに、欠陥画素に対して欠陥画素補正処理を施す。欠陥画素補正処理の詳細は後述する。
【００６５】
ステップＳ１８０において、焦点検出画素列の各画素位置における仮想的な撮像画素のデータを焦点検出画素３１３、３１４、３１５、３１６の周囲の撮像画素３１０のデータと焦点検出画素３１３、３１４、３１５、３１６のデータに基づいて画素補間する。例えば特願２００７−２６４５５７に開示された画素補間処理を行う。続くステップＳ１９０では、撮像画素３１０のデータおよび補間された仮想的な撮像画素のデータからなる画像データをメモリーカード２１９に記憶し、ステップＳ１１０へ戻って上述した動作を繰り返す。
【００６６】
次に、図１７のステップＳ１３０で用いられる一般的な像ズレ検出演算処理（相関演算処理、位相差検出処理）の詳細について説明する。簡単のため１つの焦点検出エリアの焦点検出画素配列に対する処理を記載するが、もう他の焦点検出エリアにおける処理も同様である。
【００６７】
焦点検出画素３１３、３１４、または焦点検出画素３１５、３１６が検出する一対の像は、測距瞳がレンズの絞り開口により口径蝕を受けて光量バランスが崩れている可能性があるので、光量バランスに対して像ズレ検出精度を維持できるタイプの相関演算を施す。
【００６８】
焦点検出画素列から読み出された一対のデータ列（Ａ１１〜Ａ１Ｍ、Ａ２１〜Ａ２Ｍ：Ｍはデータ数）に対し、特開２００７−３３３７２０号公報に開示された相関演算式（１）を用い、相関量Ｃ（ｋ）を演算する。
Ｃ（ｋ）＝Σ｜Ａ１ｎ×Ａ２ｎ＋１＋ｋ−Ａ２ｎ＋ｋ×Ａ１ｎ＋１｜ （１）
【００６９】
式（１）において、Σ演算はｎについて累積されるが、ｎのとる範囲は、像ずらし量ｋに応じてＡ１ｎ、Ａ１ｎ＋１、Ａ２ｎ＋ｋ、Ａ２ｎ＋１＋ｋのデータが存在する範囲に限定される。像ずらし量ｋは整数であり、データ列のデータ間隔を単位とした相対的ずらし量である。
【００７０】
式（１）の演算結果は、図１８（ａ）に示すように、一対のデータの相関が高いシフト量（図１８（ａ）ではｋ＝ｋｊ＝２）において相関量Ｃ（ｋ）が極小（小さいほど相関度が高い）になる。式（２）〜（５）による３点内挿の手法を用いて連続的な相関量に対する極小値Ｃ（ｋｓ）を与えるずらし量ｋｓを求める。
ｋｓ＝ｋｊ＋Ｄ／ＳＬＯＰ （２）
Ｃ（ｋｓ）＝ Ｃ（ｋｊ）−｜Ｄ｜ （３）
Ｄ＝｛Ｃ（ｋｊ−１）-Ｃ（ｋｊ＋１）｝／２ （４）
ＳＬＯＰ＝ＭＡＸ｛Ｃ（ｋｊ＋１）−Ｃ（ｋｊ），Ｃ（ｋｊ−１）-Ｃ（ｋｊ）｝ （５）
【００７１】
式（２）で算出されたずらし量ｋｓの信頼性があるかどうかは、以下のようにして判定される。図１８（ｂ）に示すように、一対のデータの相関度が低い場合は、内挿された相関量の極小値Ｃ（ｋｓ）の値が大きくなる。したがって、Ｃ（ｋｓ）が所定の閾値以上の場合は、算出されたずらし量の信頼性が低いと判定し、算出されたずらし量ｋｓをキャンセルする。
【００７２】
あるいは、Ｃ（ｋｓ）をデータのコントラストで規格化するために、コントラストに比例した値となるＳＬＯＰでＣ（ｋｓ）を除した値が所定値以上の場合は、算出されたずらし量の信頼性が低いと判定し、算出されたずらし量ｋｓをキャンセルする。
【００７３】
あるいはまた、コントラストに比例した値となるＳＬＯＰが所定値以下の場合は、被写体が低コントラストであり、算出されたずらし量の信頼性が低いと判定し、算出されたずらし量ｋｓをキャンセルする。
【００７４】
図１８（ｃ）に示すように、一対のデータの相関度が低く、ずらし量の範囲ｋｍｉｎ〜ｋｍａｘの間で相関量Ｃ（ｋ）の落ち込みがない場合は、極小値Ｃ（ｋｓ）を求めることができず、このような場合は焦点検出不能と判定する。
【００７５】
算出されたずらし量ｋｓの信頼性があると判定された場合は、式（６）により像ズレ量ｓｈｆｔに換算される。
ｓｈｆｔ＝ＰＹ×ｋｓ （６）
【００７６】
式（６）において、ＰＹは焦点検出画素３１３、３１４、または焦点検出画素３１５、３１６の画素ピッチの２倍（検出ピッチ）である。式（６）で算出された像ずらし量に所定の変換係数Ｋｄを乗じて、式（７）に表されるようにデフォーカス量ｄｅｆへ変換する。なお、変換係数Ｋｄは、焦点検出画素３１３、３１４、または焦点検出画素３１５、３１６が受光する一対の焦点検出光束の開き角に応じた値であって、測距瞳距離ｄを一対の測距瞳の重心間隔で除算した値である。
ｄｅｆ＝Ｋｄ×ｓｈｆｔ （７）
【００７７】
図１９は、ボディ駆動制御装置２１４が、欠陥画素情報記憶メモリ２２１に格納された欠陥画素情報に基づき、バッファメモリ２２０に一時的に格納された撮像素子２１２からの画素信号（画素データ）に対して欠陥画素補正処理を行う際の画素データおよび処理の内容についての概念図である。
【００７８】
撮像素子２１２において、行及び列方向に配置された撮像画素３１０および焦点検出画素３１３、３１４、３１５、３１６の画素データは、ローリングシャッタ方式で行順次に読み出される。図１９では、一番上の行から下方に向かって行順次に読み出される。
【００７９】
撮像素子２１２から読み出された１行分の画素データは、６行分（Ｌ１〜Ｌ６）のラインメモリを備えたバッファメモリ２２０に、ラインメモリＬ１からＦＩＦＯ（First In First Out）方式で格納されていく。すなわち、ラインメモリＬ１に全ての画素データが揃うと、ラインメモリＬ６に格納された１行分の画素データは廃棄され、ラインメモリＬ１〜Ｌ５に格納された５行分の画素データがラインメモリＬ２〜Ｌ６にシフトする。すなわち、バッファメモリ２２０には撮像素子２１２から読み出された５行分の完全な画素データが常時揃っていることになる。この５行分のデータの領域が撮像素子の画素データの読み出しの進行に応じて、上辺から下辺に移動していく。バッファメモリＬ４はバッファメモリ中心行である。
【００８０】
カメラボディ２０１の組み立て時において、撮像素子２１２を所定輝度で一様照明して画素データを読み出し、該画素データに基づき白キズ画素（画素出力が飽和する画素または画素感度が所定閾値以上の画素）、黒キズ画素（画素出力が不足する画素または画素感度が所定閾値以下の画素）等の欠陥画素を抽出して、該欠陥画素の位置情報（行、列のアドレスで表される欠陥画素位置情報）が、欠陥画素情報記憶メモリ２２１に格納される。さらに該位置情報に付随して、該欠陥画素が撮像画素３１０であるか焦点検出画素３１３、３１４、３１５、３１６であるかに応じて定められる欠陥画素補正処理の種類についての情報（欠陥画素補正処理情報）が、欠陥画素情報記憶メモリ２２１に格納される。具体的には、欠陥画素が撮像画素３１０の場合には、欠陥画素補正処理はメディアンフィルタ処理（図１９では、「Ｍ」として表す）であり、焦点検出画素３１３、３１４、３１５、３１６の場合は、平均処理（図１９では、「Ａ」として表す）である。さらに、欠陥位置情報に付随して、該欠陥画素を中心とした５×５画素の領域において該欠陥画素に施される欠陥画素補正処理に用いられる画素の位置を表す位置情報（補正用画素位置情報）が、欠陥画素情報記憶メモリ２２１に格納される。具体的には、図２０のように欠陥画素を除いた５×５画素のマトリックスを２４ビットで表した場合、欠陥画素補正処理に用いられる画素のビットを１、欠陥画素補正処理に用いられない画素のビットを０とした２４ビットデータで補正用画素位置情報を表す。例えば、欠陥画素が撮像画素３１０（緑画素）であり、該欠陥画素の周囲に別の欠陥画素や焦点検出画素３１３、３１４、３１５、３１６がない場合には、図１９に示すように、５×５画素の領域のうち“○”で示した画素が欠陥画素補正処理に用いられる。この場合、「０ｘＣＣＣ５５５」で表される２４ビットデータが補正用画素位置情報となる。
【００８１】
ボディ駆動制御装置２１４は、バッファメモリ２２０のバッファメモリ中心行Ｖｎを検出するとともに、列Ｈを第１列から最終列まで走査しながら欠陥画素補正処理を行う。例えば、行Ｖｎ、列Ｈｍで表される画素位置が欠陥画素情報記憶メモリ２２１に欠陥画素位置情報として登録されているか否かを調べる。欠陥画素位置情報として登録されていなければ、バッファメモリ２２０に格納されている画素中心行Ｖｎ、列Ｈｍで表される画素位置の画素データをそのまま欠陥画素補正処理なしで画素データとして読み込む。欠陥画素位置情報として登録されている場合には、その欠陥画素位置情報に付随して欠陥画素情報記憶メモリ２２１に格納されている欠陥画素補正処理情報と補正用画素位置情報とに基づき、バッファメモリ２２０に格納されている画素中心行Ｖｎ、列Ｈｍで表される画素位置の画素を中心とした５×５の画素データに対して欠陥画素補正処理を施して補正画素データとする。
【００８２】
補正用画素位置情報は欠陥画素の周囲の状況に応じて変更される。図２１（ａ）は、欠陥画素が撮像画素３１０（赤画素）であり、かつ該欠陥画素の周囲に別の欠陥画素や焦点検出画素３１３、３１４、３１５、３１６がない場合における該欠陥画素を中心とした５×５の領域を示している。欠陥画素補正処理に用いられる補正用画素は、図２１（ｂ）において“○”で示すように、該欠陥画素を中心とした５×５画素の領域に存在する赤画素となる。
【００８３】
図２２（ａ）は、欠陥画素が撮像画素３１０（緑画素）であり、該欠陥画素の１行下に焦点検出画素３１５、３１６（行方向に配列した一対の焦点検出画素３１５、３１６をＡ１、Ａ２で示す）が行方向に配列されている場合における該欠陥画素を中心とした５×５の領域を示している。欠陥画素補正処理に用いられる補正用画素は、図２２（ｂ）において“○”で示すように、該欠陥画素を中心とした５×５画素の領域に存在する緑画素となる。
【００８４】
図２３（ａ）は、欠陥画素が撮像画素３１０（緑画素）であり、該欠陥画素の１列左に焦点検出画素３１３、３１４（列方向に配列した一対の焦点検出画素３１３、３１４をＡ３、Ａ４で示す）が列方向に配列されている場合における該欠陥画素を中心とした５×５の領域を示している。欠陥画素補正処理に用いられる補正用画素は、図２３（ｂ）において“○”で示すように、該欠陥画素を中心とした５×５画素の領域に存在する緑画素となる。
【００８５】
図２４（ａ）は、欠陥画素が撮像画素３１０（緑画素）であり、該欠陥画素の１列右側から焦点検出画素３１５、３１６が行方向に配列されている場合における該欠陥画素を中心とした５×５の領域を示している。欠陥画素補正処理に用いられる補正用画素は、図２４（ｂ）において“○”で示すように、該欠陥画素を中心とした５×５画素の領域に存在する緑画素となる。
【００８６】
図２５（ａ）は欠陥画素が焦点検出画素３１５または３１６（Ａ１）であり、焦点検出画素３１５、３１６が行方向に配列されている場合における該欠陥画素を中心とした５×５の領域を示している。欠陥画素補正処理に用いられる補正用画素は、図２５（ｂ）において“○”で示すように、該欠陥画素を中心とした５×５画素の領域に存在する焦点検出画素３１５または３１６（Ａ１）となる。
【００８７】
図２６（ａ）は欠陥画素が焦点検出画素３１３または３１４（Ａ３）であり、焦点検出画素３１３、３１４が列方向に配列されている場合における該欠陥画素を中心とした５×５の領域を示している。欠陥画素補正処理に用いられる補正用画素は、図２６（ｂ）において“○”で示すように、該欠陥画素を中心とした５×５画素の領域に存在する焦点検出画素３１３または３１４（Ａ３）となる。
【００８８】
図２７（ａ）は欠陥画素が焦点検出画素３１５または３１６（Ａ１）であり、行方向に配列している焦点検出画素３１５、３１６の左端の焦点検出画素３１５または３１６が欠陥画素であった場合における該欠陥画素を中心とした５×５の領域を示している。欠陥画素補正処理に用いられる補正用画素は、図２７（ｂ）において“○”で示すように、該欠陥画素を中心とした５×５画素の領域に存在する焦点検出画素３１５または３１６（Ａ１）となる。
【００８９】
図２８を用いて、図１７のステップＳ１１０およびステップＳ１７０における欠陥画素補正処理の詳細を説明する。本欠陥画素補間処理はボディ駆動制御装置２１４により実行される。ステップＳ２００で行Ｖを１行目にリセットする。ステップＳ２１０で行Ｖがバッファメモリ中心行になるのを待機する。ステップＳ２２０で列Ｈを１列目にリセットする。ステップＳ２３０で行Ｖ、列Ｈで表される画素位置の画素を中心とした５×５のバッファメモリ領域を設定する。
【００９０】
ステップＳ２４０で行Ｖ、列Ｈで表される画素位置が欠陥画素位置情報として欠陥画素情報に登録されているか否かを判定する。欠陥画素位置情報として登録されていない場合は、ステップＳ２９０で、５×５画素のバッファメモリ領域の中心位置の画素データを、行Ｖ、列Ｈで表される画素位置での画素データとして読み出し、ステップＳ３００に進む。
【００９１】
欠陥画素位置情報として登録されている場合は、該画素位置における欠陥画素の欠陥画素補正処理の種類を特定し、メディアンフィルタ処理の場合はステップＳ２７０に進む。補正用画素位置情報に応じて５×５のバッファメモリ領域内で補正に使用される画素データのメディアンを算出して画素データとし、ステップＳ３００に進む。
【００９２】
平均処理の場合は、ステップＳ２８０に進み、補正用画素位置情報に応じて５×５のバッファメモリ領域内で補正に使用される画素データの平均値を算出して画素データとし、ステップＳ３００に進む。
【００９３】
ステップＳ３００において、列Ｈをインクリメントする。ステップＳ３１０では、列Ｈが最終列を超えたか否かを判定し、超えていない場合は、ステップＳ２３０に戻って上記処理を繰り返す。最終列を超えた場合は、ステップＳ３２０において、行Ｖをインクリメントする。ステップＳ３３０では、行Ｖが最終行を超えたか否かを判定し、超えていない場合は、ステップＳ２１０に戻って上記処理を繰り返す。最終行を超えた場合は、１フレーム分の欠陥画素の補正処理を終了する。
【００９４】
なお、１行分の欠陥画素補正処理の実行時間は、撮像素子２１２からの１行分の画素データ読み出し時間より短くなるように設計される。
【００９５】
また、カメラボディ２０３に組み込まれる撮像素子２１２は、予め欠陥画素の状態に応じて選別されており、全ての欠陥画素に対し該欠陥画素を中心とした５×５の領域において欠陥画素補正に用いられる補正用の画素が必ず所定個数以上存在する。すなわち、その所定個数を判定水準とすることにより、欠陥画素の密度が高く、欠陥画素補正処理が不能になってしまうような撮像素子２１２は欠陥品として排除される。例えば、正常な撮像素子２１２において、欠陥画素が撮像画素３１０の場合、該欠陥画素を中心とした５×５の領域には、欠陥画素補正に用いられる補正用の撮像画素３１０が３個以上存在するものとする。欠陥画素が焦点検出画素３１３、３１４、３１５、３１６の場合（ただし、焦点検出画素配列の端および端から２番目の焦点検出画素を除く）、該欠陥画素を中心とした５×５の領域においては、欠陥画素補正に用いられる補正用の焦点検出画素が２個以上存在するものとする。換言すると、同種類の焦点検出画素が連続して欠陥画素であることは無いこととなる。このようにして、焦点検出画素３１３、３１４、３１５、３１６に対する判定水準を撮像画素３１０に対する判定水準よりも厳しくすることにより、撮像素子２１２が選別される。こうして選別された撮像素子２１２においては、撮像画素３１０に比して、焦点検出画素３１３、３１４、３１５、３１６のうちのいずれか１種類の画素の配置密度が相対的に低い場合であっても、該焦点検出画素の画素信号の品質を維持することができるとともに、焦点検出精度の劣化を防止することができる。
【００９６】
−−−変形例−−−
以上説明した実施形態において、欠陥画素補正処理に用いる画素の領域を、欠陥画素を中心とした５×５画素の領域として説明したが、Ｎ×Ｎ画素（Ｎ＞５）の領域であっても構わない。ただし、焦点検出画素３１３、３１４、３１５、３１６の欠陥画素補正処理に用いる焦点検出画素は、欠陥焦点検出画素と同種類の２個の焦点検出画素であって、かつ欠陥焦点検出画素に最近接するものとする。
【００９７】
以上説明した実施形態において、欠陥画素補正処理に用いる画素の領域を、欠陥画素を中心とした５×５画素の領域とし、該領域内で欠陥画素補正処理に用いる画素の、欠陥画素を基準とした相対的な位置を補正用画素位置情報として記憶しているので、５×５画素の領域内に別の欠陥画素が存在する場合にも対応できる。また、欠陥画素が撮像画素３１０であるか焦点検出画素３１３、３１４、３１５、３１６であるかに否かに関わらず対応することもできる。あるいは、欠陥画素が撮像領域の端にあった場合や、近傍に他の種類の画素がある場合にも対応することができる。さらには、撮像素子の中央と周辺とにおいて、撮像画素３１０の欠陥画素補正処理に用いる撮像画素の範囲を変えたいような場合にも対応することができる。
【００９８】
以上説明した実施形態においては、欠陥画素に施す欠陥画素補正処理の種類を、欠陥画素位置に付随して、欠陥画素毎に、欠陥画素情報記憶メモリ２２１に記憶している。そのため、複数種類の欠陥画素補正処理を、画素信号読み出しシーケンスに同期してスムースに行うことが可能になるとともに、同一種類の画素においても、撮像素子の中央と周辺とにおいて、欠陥画素補正処理の種類を変えたいような場合にも対応することができる。
【００９９】
以上説明した実施形態において、撮像画素３１０の欠陥画素補正処理としてメディアンフィルタを用いる理由は、像の２次元的な構造の違いに依らず比較的簡易に良好な補正性能が得られるためである。また、焦点検出画素３１３、３１４、３１５、３１６の欠陥画素補正処理として最近接の焦点検出画素の平均処理を用いる理由は以下のとおりである。すなわち、焦点検出画素の場合は、焦点検出画素の配列方向における最近接の焦点検出画素との相関が高く、最近接の焦点検出画素のみを欠陥画素補正処理に用いることで焦点検出精度の劣化を防ぐためである。焦点検出画素３１３、３１４、３１５、３１６の欠陥画素補正処理としてメディアンフィルタを用いた場合には、欠陥焦点検出画素から位置的に離れた焦点検出画素の信号が欠陥焦点検出画素の補正値として用いられる場合があり、このような場合には焦点検出精度が低下する場合がある。
【０１００】
以上説明した実施形態においては、撮像画素３１０の欠陥画素補正処理としてメディアンフィルタを用い、焦点検出画素３１３、３１４、３１５、３１６の欠陥画素補正処理として最近接の焦点検出画素の一次元的な平均処理を用いているが、これに限定されるわけではない。
【０１０１】
例えば、撮像画素３１０の欠陥画素補正処理として、２次元的な平均処理や、２次元的なスプライン補間・ラグランジェ補間などの数値計算法を採用することが可能である。また、焦点検出画素３１３、３１４、３１５、３１６の欠陥画素補正処理として、２個の最近接の焦点検出画素およびその隣の２個の焦点検出画素の合計４個の焦点検出画素を用いた一次元的なスプライン補間を用いることもできる。
【０１０２】
以上説明した実施形態においては、撮像画素３１０の欠陥画素補正処理としてメディアンフィルタを用いるが、デジタルスチルカメラ２０１の動作シーケンスに応じて欠陥画素補正処理の種類を変更するようにしてもよい。例えば、図１７の動作フローチャートにおいて、シャッターレリーズ前に電子ビューファインダー表示を繰り返し行っている間（ライブビュー動作モード）は、欠陥画素補正処理の精度は視認性に及ぼす影響が小さいので、撮像画素３１０の欠陥画素補正処理として比較的軽い処理である前置または後置画素置き換え処理を採用することにより処理負荷を軽減する。シャッターレリーズ後の欠陥画素補正処理としてはメディアンフィルタ処理を採用して画像品質を維持するようにしてもよい。
【０１０３】
図１７の動作フローチャートにおいては、欠陥画素補正処理（ステップＳ１７０）の後に焦点検出画素位置における仮想的な撮像画素の画素信号を補間する処理（ステップＳ１８０）を行っているが、画素補間処理（ステップＳ１８０）の後に仮想的な撮像画素の画素信号を用いて再度欠陥画素補正処理をすることにより、さらに欠陥画素補正処理性能を向上させることができる。
【０１０４】
図１７のステップＳ１３０で用いられる一般的な像ズレ検出演算処理（相関演算処理）として数式１を用いた演算を示したが、その他の演算を用いることもできる。例えば焦点検出画素列から読み出された一対のデータ列（Ａ１１〜Ａ１Ｍ、Ａ２１〜Ａ２Ｍ：Ｍはデータ数）に対し相関演算式（８）を用い、相関量Ｃ（ｋ）を演算する。
Ｃ（ｋ）＝−Σ｛（Ａ１ｎ−Ａ１ａｖ）×（Ａ２ｎ＋ｋ−Ａ２ａｖ））／（Ａ１ｄｅｖ×Ａ２ｄｅｖ）｝ （８）
【０１０５】
Σ演算はｎについて累積される。Ａ１ａｖおよびＡ１ｄｅｖは、ｎが累積される区間におけるＡ１ｎの平均値および標準偏差である。Ａ２ａｖおよびＡ２ｄｅｖは、ｎが累積される区間におけるＡ２ｎ＋ｋの平均値および標準偏差である。
【０１０６】
像ずらし量ｋは整数であり、データ列のデータ間隔を単位とした相対的ずらし量である。
【０１０７】
式（８）の演算結果は、一対のデータの相関が高いずらし量において相関量Ｃ（ｋ）が極小となるので、式（２）〜（５）による３点内挿の手法を用いて連続的な相関量に対する極小値Ｃ（ｋｓ）を与えるずらし量ｋｓを求めることができる。
【０１０８】
式（２）〜（５）の代わりに２次関数を仮定した３点内挿の手法に基づく式（９）を用いて連続的な相関量に対する極小値Ｃ（ｋｓ）を与えるずらし量ｋｓを求めるようにしてもよい。
ｋｓ＝ｋｊ＋Ｄ／｛Ｃ（ｋｊ＋１）＋Ｃ（ｋｊ−１）−２×Ｃ（ｋｊ））｝ （９）
【０１０９】
−−−第２の実施の形態−−−
図３、図４に示す撮像素子２１２の部分拡大図では、各画素に１つの光電変換部を有する一対の焦点検出画素３１３，３１４および一対の焦点検出画素３１５，３１６を備える例を示したが、ひとつの焦点検出画素内に一対の光電変換部を備えるようにしてもよい。図２９、図３０は図３、図４に対応した撮像素子２１２の部分拡大図であり、焦点検出画素３１１および３１２は一対の光電変換部を備える。
【０１１０】
図３１（ａ）に示す焦点検出画素３１１は、図９（ａ）、（ｂ）に示す焦点検出画素３１３と焦点検出画素３１４のペアに相当した機能を果たし、図３１（ｂ）に示す焦点検出画素３１２は、図９（ｃ）、（ｄ）に示す焦点検出画素３１５と焦点検出画素３１６のペアに相当した機能を果たす。焦点検出画素３１１、３１２は、図３１（ａ）、（ｂ）に示すように、マイクロレンズ１０と一対の光電変換部１３，１４および一対の光電変換部１５，１６から構成される。焦点検出画素３１１、３１２には白色フィルタが配置されており、その分光感度特性は、光電変換を行うフォトダイオードの分光感度と、赤外カットフィルタ（不図示）の分光感度特性とを総合した分光感度特性（図８参照）となる。つまり、図７に示す緑画素、赤画素および青画素の分光感度特性を加算したような分光感度特性となり、その焦点検出画素３１１、３１２が高い分光感度を示す光波長領域は、緑画素、赤画素および青画素が高い分光感度を示す光波長領域を包括している。
【０１１１】
図３２は図３１（ａ）に示した焦点検出画素３１１の断面図であって、光電変換部１３，１４の上に近接して遮光マスク３０が形成され、光電変換部１３，１４は、遮光マスク３０の開口部３０ｄを通過した光を受光する。遮光マスク３０の上には平坦化層３１が形成され、その上に白色フィルタ３４が形成される。白色フィルタ３４の上には平坦化層３２が形成され、その上にマイクロレンズ１０が形成される。マイクロレンズ１０により開口部３０ｄに制限された光電変換部１３，１４の形状が前方に投影されて、一対の測距瞳を形成する。光電変換部１３，１４は半導体回路基板２９上に形成される。
【０１１２】
焦点検出画素３１２の構造も焦点検出画素３１１の構造を９０度回転しただけであって、基本的に図３２に示す焦点検出画素３１１の構造と同様である。
【０１１３】
上記のような構成の焦点検出画素３１１，３１２を備えた撮像素子においても、本発明を適用することが可能である。例えば、焦点検出画素３１１の１つが欠陥画素である場合には、欠陥焦点検出画素３１１の光電変換部１３，１４の信号は、その欠陥焦点検出画素の上下の焦点検出画素３１１の光電変換部１３，１４の信号をそれぞれ平均することにより欠陥画素補正処理される。
【０１１４】
−−−第３の実施の形態−−−
図３３は、交換レンズ２０２の撮影画面上における焦点検出位置（焦点検出エリア）を示す図であり、撮像素子２１２上の焦点検出画素列が焦点検出の際に撮影画面上で像をサンプリングする領域（焦点検出エリア、焦点検出位置）の一例を示す。この例では、矩形の撮影画面１００上の中央および上下左右の５箇所に焦点検出エリア１０１〜１０５、ならびに撮影画面１００の対角線方向に焦点検出エリア１０６〜１０９が配置される。焦点検出エリア１０６〜１０９においては、長方形で示す焦点検出エリアの長手方向に、焦点検出画素が斜め右上がり４５度方向および斜め左上がり４５度方向に直線的に配列される。
【０１１５】
図３４、図３５は撮像素子２１２の詳細な構成を示す正面図であり、撮像素子２１２上の焦点検出エリア１０６、１０８および焦点検出エリア１０７、１０９の近傍を拡大して示す。撮像素子２１２には撮像画素３１０が二次元正方格子状に稠密に配列される。撮像画素３１０は、赤画素（Ｒ）、緑画素（Ｇ）、青画素（Ｂ）からなり、ベイヤー配列の配置規則によって配置されている。焦点検出エリア１０６、１０８に対応する位置には、撮像画素３１０と同一の画素サイズを有し、白色フィルタを備えた焦点検出画素３２３、３２４が、交互に本来緑画素が連続的に配置されるべき斜め右上がり４５度方向の直線上に連続して配列される。これとともに、焦点検出エリア１０７、１０９に対応する位置には、撮像画素３１０と同一の画素サイズを有し、白色フィルタを備えた焦点検出画素３２５、３２６が、交互に本来緑画素が連続的に配置されるべき斜め左上がり４５度方向の直線上に連続して配列される。焦点検出画素３２３、３２４および焦点検出画素３２５、３２６は、本来緑画素が配置される画素位置に配置される。
【０１１６】
焦点検出画素３２３は、図３６(ａ)に示すように、矩形のマイクロレンズ１０、遮光マスクで受光領域を正方形の半分（正方形を左上がり４５度方向の対角線で２等分した場合の右上半分）に制限された光電変換部２３、および白色フィルタ（不図示）から構成される。
【０１１７】
また、焦点検出画素３２４は、図３６(ｂ)に示すように、矩形のマイクロレンズ１０、遮光マスクで受光領域を正方形の半分（正方形を左上がり４５度方向の対角線で２等分した場合の左下半分）に制限された光電変換部２４、および白色フィルタ（不図示）から構成される。
【０１１８】
焦点検出画素３２３と焦点検出画素３２４とをマイクロレンズ１０を基準に重ね合わせて表示すると、遮光マスクで受光領域を制限された光電変換部２３と２４とが右上がり斜め４５度方向に並んでいる。
【０１１９】
また、図３６（ａ）、（ｂ）において、正方形を半分にした受光領域の部分に正方形を半分にした残りの部分（破線部分）を加えると、撮像画素の受光領域と同じサイズの正方形となる。
【０１２０】
焦点検出画素３２５は、図３６(ｃ)に示すように、矩形のマイクロレンズ１０、遮光マスクで受光領域を正方形の半分（正方形を右上がり４５度方向の対角線で２等分した場合の左上半分）に制限された光電変換部２５、および白色フィルタ（不図示）から構成される。
【０１２１】
また、焦点検出画素３２６は、図３６(ｄ)に示すように矩形のマイクロレンズ１０、遮光マスクで受光領域を正方形の半分（正方形を右上がり４５度方向の対角線で２等分した場合の右下半分）に制限された光電変換部２６、および白色フィルタ（不図示）から構成される。
【０１２２】
焦点検出画素３２５と焦点検出画素３２６とをマイクロレンズ１０を基準に重ね合わせて表示すると、遮光マスクで受光領域を制限された光電変換部２５と２６とが左上がり斜め４５度方向に並んでいる。
【０１２３】
また、図３６（ｃ）、（ｄ）において、正方形を半分にした受光領域の部分に正方形を半分にした残りの部分（破線部分）を加えると、撮像画素の受光領域と同じサイズの正方形となる。
【０１２４】
上記のような斜め方向に配列された焦点検出画素を備えた撮像素子２１２においても、本発明を適用することが可能である。
【０１２５】
図３７（ａ）は、欠陥画素が撮像画素３１０（緑画素）であり、該欠陥画素の右下に隣接して焦点検出画素３２３、３２４（一対の焦点検出画素３２３、３２４をＡ５、Ａ６で示す）が右上がりに配列されている場合における該欠陥画素を中心とした５×５画素の領域を示している。欠陥画素補正処理に用いられる補正用画素は、図３７（ｂ）において、“○”で示す緑画素である。
【０１２６】
図３８（ａ）は、欠陥画素が撮像画素３１０（緑画素）であり、該欠陥画素の左下に隣接して焦点検出画素３２５、３２６（一対の焦点検出画素３２５、３２６をＡ７、Ａ８で示す）が左上がりに配列されている場合における該欠陥画素を中心とした５×５画素の領域を示している。欠陥画素補正処理に用いられる補正用画素は、図３８ （ｂ）に“○”で示す緑画素である。
【０１２７】
図３９（ａ）は、欠陥画素が撮像画素３１０（緑画素）であり、該欠陥画素が斜め右上がり方向に配列している焦点検出画素３２３、３２４の左下端の焦点検出画素の斜め左下にある場合における該欠陥画素を中心とした５×５画素の領域を示している。欠陥画素補正処理に用いられる補正用画素は、図３９（ｂ）に“○”で示す緑画素である。
【０１２８】
図４０（ａ）は、欠陥画素が焦点検出画素３２３（Ａ５）であり、焦点検出画素３２３、３２４が斜め右上がり方向に配列している場合における該欠陥画素を中心とした５×５画素の領域を示している。欠陥画素補正処理に用いられる補正用画素は、図４０（ｂ）に“○”で示す焦点検出画素３２３（Ａ５）である。
【０１２９】
図４１（ａ）は、欠陥画素が焦点検出画素３２５（Ａ７）であり、焦点検出画素３２５、３２６が斜め左上がり方向に配列している場合における該欠陥画素を中心とした５×５画素の領域の領域を示している。、欠陥画素補正処理に用いられる補正用画素は、図４１（ｂ）に“○”で示す焦点検出画素３２５（Ａ７）である。
【０１３０】
図４２（ａ）は、欠陥画素が焦点検出画素３２３（Ａ５）であり、斜め右上がり方向に配列している焦点検出画素３２３、３２４の左下端の焦点検出画素が欠陥画素であった場合における該欠陥画素を中心とした５×５画素の領域を示している。欠陥画素補正処理に用いられる補正用画素は、図４２（ｂ）に“○”で示す焦点検出画素３２３（Ａ５）となる。
【０１３１】
−−−第４の実施の形態−−−
図４３は、交換レンズ２０２の撮影画面上における焦点検出位置（焦点検出エリア）を示す図であり、撮像素子２１２上の焦点検出画素列が焦点検出の際に撮影画面上で像をサンプリングする領域（焦点検出エリア、焦点検出位置）の一例を示す。この例では、矩形の撮影画面１００上の中央および上下左右の５箇所に焦点検出エリア１１１〜１１５、ならびに撮影画面１００の対角方向の４カ所に焦点検出エリア１１６〜１１９が配置される。焦点検出エリア１１１〜１１５においては、水平方向および垂直方向に配列した焦点検出画素配列が、互いに十字型を形成するように交差している。焦点検出エリア１１６〜１１９においては、斜め右上がり方向および斜め左上がり方向に配列した焦点検出画素配列が、Ｘ型を形成するように交差している。
【０１３２】
図４４、図４５は撮像素子２１２の詳細な構成を示す正面図であり、撮像素子２１２上の焦点検出エリア１１１、１１２、１１３および焦点検出エリア１１６、１１８の近傍を拡大して示す。
【０１３３】
図４４において、水平方向の焦点検出画素３１５、３１６の配列と垂直方向の焦点検出画素３１３、３１４の配列とが交差する交差位置には、水平方向の焦点検出画素３１５が配置される。交差位置にあるべき垂直方向の焦点検出画素３１４の画素信号は、該交差位置を挟む最近接の２つの垂直方向の焦点検出画素３１４の画素信号の平均により求められる。
【０１３４】
図４５において、斜め右上がり方向の焦点検出画素３２３、３２４の配列と斜め左上がり方向の焦点検出画素３２５、３２６の配列とが交差する交差位置には、右上がり方向の焦点検出画素３２３が配置される。交差位置にあるべき斜め左上がり方向の焦点検出画素３２５の画素信号は、該交差位置を挟む最近接の２つの斜め左上がりの焦点検出画素３２５の画素信号の平均により求められる。
【０１３５】
上記のような交差した焦点検出画素配列を有する撮像素子においても、本発明を適用することが可能である。
【０１３６】
図４６（ａ）は欠陥画素が撮像画素３１０（緑画素）であり、該欠陥画素の左下で水平方向の焦点検出画素３１５、３１６と垂直方向の焦点検出画素３１３、３１４とが交差している場合における該欠陥画素を中心とした５×５画素の領域を示している。欠陥画素補正処理に用いられる補正用画素は、図４６（ｂ）において、“○”で示す緑画素である。
【０１３７】
図４７（ａ）は欠陥画素が撮像画素３１０（緑画素）であり、該欠陥画素の２画素下で斜め右上がり方向の焦点検出画素３２３、３２４と斜め左上がり方向の焦点検出画素３２５、３２６とが交差している場合における該欠陥画素を中心とした５×５画素の領域を示している。欠陥画素補正処理に用いられる補正用画素は、図４７（ｂ）において、“○”で示す緑画素である。
【０１３８】
−−−第５の実施の形態−−−
図３、図４に示す撮像素子２１２の部分拡大図では、各画素に１つの光電変換部を有する一対の焦点検出画素３１５，３１６および一対の焦点検出画素３１３，３１４を、１行または１列に交互に配列する例を示した。しかし、一対の焦点検出画素３１５，３１６および一対の焦点検出画素３１３，３１４を、２行または２列に連続して配列するようにしてもよい。図４８は、撮像素子２１２の部分拡大図であり、焦点検出画素３１５が１行に連続して配置されるとともに、焦点検出画素３１６が隣接した１行に連続して配置される。このように焦点検出画素３１５、３１６を配列することにより、焦点検出画素３１５および焦点検出画素３１６がそれぞれ像を検出するサンプリング間隔が短くなり、焦点検出精度が向上する。
【０１３９】
上記のような構成の焦点検出画素配列を備えた撮像素子２１２においても、本発明を適用することが可能である。例えば、焦点検出画素３１５の１つが欠陥画素である場合には、欠陥焦点検出画素３１５の画素信号は、その欠陥焦点検出画素の左右の焦点検出画素３１５の画素信号を平均することにより欠陥画素補正処理される。
【０１４０】
−−−変形例−−−
上述した実施形態における撮像素子２１２では、焦点検出画素が白色フィルタを備えた例を示したが、撮像画素と同じ色フィルタ（例えば緑フィルタ）を備えるようにした場合にも本発明を適用することができる。
【０１４１】
上述した実施形態における撮像素子では、撮像画素がベイヤー配列の色フィルタを備えた例を示した。しかし、色フィルタの構成や配列はこれに限定されることはなく、補色フィルタ（緑：Ｇ、イエロー：Ｙｅ、マゼンタ：Ｍｇ，シアン：Ｃｙ）の配列やベイヤー配列以外の配列にも本発明を適用することができる。また色フィルタを備えないモノクロの撮像素子にも適用することができる。
【０１４２】
上述した実施形態においては、撮像素子２１２と光学系との間に光学要素を何も配置していないが、適宜必要な光学要素を挿入することが可能である。例えば、赤外カットフィルタや光学的ローパスフィルタ、ハーフミラーなどを設置してもよい。
【０１４３】
上述した実施形態においては、撮像素子２１２をＣＭＯＳイメージセンサーとしているが、ＣＣＤなどの他のタイプの撮像素子であってもよい。
【０１４４】
なお、撮像装置としては、上述したような、カメラボディに交換レンズが装着される構成のデジタルスチルカメラやフィルムスチルカメラに限定されない。例えば、レンズ一体型のデジタルスチルカメラ、フィルムスチルカメラ、あるいはビデオカメラにも本発明を適用することができる。さらには、携帯電話などに内蔵される小型カメラモジュール、監視カメラやロボット用の視覚認識装置、車載カメラなどにも適用できる。
【符号の説明】
【０１４５】
９、１０ マイクロレンズ、
１１、１３、１４、１５、１６、２３、２４、２５、２６ 光電変換部、
２９ 半導体回路基板、
３０ 遮光マスク、３０ａ、３０ｂ、３０ｃ、３０ｄ 開口部、
３１、３２ 平坦化層、３４ 白色フィルタ、３８ 色フィルタ、
７１、７３、７４ 光束、
９０ 射出瞳、９１ 交換レンズの光軸、９３、９４ 測距瞳、９５ 領域、
１００ 撮影画面、
１０１、１０２、１０３、１０４、１０５、１０６、１０７、１０８、１０９、１１１、１１２、１１３、１１４、１１５、１１６、１１７、１１８、１１９ 焦点検出エリア、
２０１ デジタルスチルカメラ、２０２ 交換レンズ、２０３ カメラボディ、
２０４ マウント部、２０６ レンズ駆動制御装置、
２０８ ズーミング用レンズ、２０９ レンズ、２１０ フォーカシング用レンズ、
２１１ 絞り、２１２ 撮像素子、２１３ 電気接点、
２１４ ボディ駆動制御装置、
２１５ 液晶表示素子駆動回路、２１６ 液晶表示素子、２１７ 接眼レンズ、
２１９ メモリカード、２２０ バッファメモリ、２２１ 欠陥画素情報記憶メモリ、
３１０ 撮像画素、
３１１、３１２、３１３、３１４、３１５、３１６、３２３、３２４、３２５、３２６ 焦点検出画素、
３２０ ラインメモリ、３３０ 出力回路、５０１ 垂直出力線、
５１０ リセットＭＯＳトランジスタ、５１２ 行選択ＭＯＳトランジスタ
【特許請求の範囲】
【請求項１】
像を形成する光束を射出する光学系と、
前記光束を受光して画素信号を出力する複数の撮像画素と、瞳分割型の複数の焦点検出画素とを二次元配列に従って配置した撮像素子と、
前記複数の撮像画素に含まれる欠陥撮像画素の画素信号を、該欠陥撮像画素の周囲の前記複数の撮像画素の画素信号に基づき第１の欠陥画素補正処理により補正するとともに、前記複数の焦点検出画素に含まれる欠陥焦点検出画素の画素信号を、該欠陥焦点検出画素の周囲の前記複数の焦点検出画素の画素信号に基づき第２の欠陥画素補正処理により補正する欠陥画素補正処理手段と、
前記欠陥画素補正処理手段により補正された前記欠陥撮像画素の画素信号を含む前記複数の撮像画素の画素信号に基づいて、画像信号を生成する画像生成手段と、
前記欠陥画素補正処理手段により補正された前記欠陥焦点検出画素の画素信号を含む前記複数の焦点検出画素の画素信号に基づいて、前記光学系の焦点調節状態を検出する焦点検出手段とを備えることを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記欠陥画素補正処理手段は、前記欠陥撮像画素の画素信号を、該欠陥撮像画素の周囲に２次元的に配置された前記複数の撮像画素の画素信号に基づき前記第１の欠陥画素補正処理により補正するとともに、前記欠陥焦点検出画素の画素信号を、該欠陥焦点検出画素を通る直線上に配置された前記複数の焦点検出画素の画素信号に基づき前記第２の欠陥画素補正処理により補正することを特徴とする撮像装置。
【請求項３】
請求項２に記載の撮像装置において、
前記第１の欠陥画素補正処理は、前記欠陥撮像画素の周囲の撮像画素の画素信号に対するメディアンフィルタ処理であることを特徴とする撮像装置。
【請求項４】
請求項２に記載の撮像装置において、
前記第２の欠陥画素補正処理は、前記欠陥焦点検出画素を挟む前記複数の焦点検出画素の画素信号に対する平均処理であることを特徴とする撮像装置。
【請求項５】
請求項１に記載の撮像装置において、
前記第１の欠陥画素補正処理に用いる前記欠陥撮像画素の周囲の前記複数の撮像画素の範囲は、前記第２の欠陥画素補正処理に用いる前記欠陥焦点検出画素の周囲の前記複数の焦点検出画素の範囲より広いことを特徴とする撮像装置。
【請求項６】
請求項１に記載の撮像装置において、
前記欠陥撮像画素および前記欠陥焦点検出画素の各々に関する欠陥画素情報を記憶する欠陥画素情報記憶手段をさらに備え、
前記欠陥画素補正処理手段は、前記欠陥画素情報に基づいて前記第１の欠陥画素補正処理および前記第２の欠陥画素補正処理の各々を行うことを特徴とする撮像装置。
【請求項７】
請求項６に記載の撮像装置において、
前記欠陥画素情報は、欠陥撮像画素および欠陥焦点検出画素の各々の欠陥画素位置を示す欠陥画素位置情報と、該欠陥画素位置情報に応じて記憶される欠陥画素補正処理の種類を指定するための欠陥画素補正処理情報とを含み、
前記欠陥画素補正処理は、前記第１の欠陥画素補正処理または前記第２の欠陥画素補正処理であることを特徴とする撮像装置。
【請求項８】
請求項７に記載の撮像装置において、
前記欠陥画素情報は、前記欠陥画素位置情報に応じて記憶される補正用画素位置情報をさらに含み、
前記補正用画素位置情報は、前記欠陥画素補正処理に用いる前記複数の撮像画素または前記複数の焦点検出画素の、前記欠陥画素位置を基準とした相対的な画素位置を表す情報であることを特徴とする撮像装置。
【請求項９】
請求項１に記載の撮像装置において、
前記撮像素子は、前記複数の撮像画素が第１の判定水準に適合し、かつ前記複数の焦点検出画素が前記第１の判定水準より高い第２の判定水準に適合することを特徴とする撮像装置。
【請求項１０】
請求項１に記載の撮像装置において、
前記画像信号に基づく画像表示処理を行う表示手段と、
前記画像信号の記憶格納処理を行う画像記録手段と、
前記画像表示処理のみを行うライブビュー動作モードと前記記憶格納処理のみを行う撮影動作モードとを切り替える制御を行う切替制御手段とをさらに備え、
前記第１の欠陥画素補正処理は、前記ライブビュー動作モードにおいては、前記欠陥撮像画素の画素信号を、該欠陥撮像画素の周囲の前記複数の撮像画素のうちの１つの撮像画素の画素信号と同一の画素信号に置き換える処理であって、前記撮影動作モードにおいては、前記欠陥撮像画素の画素信号を、該欠陥撮像画素の周囲の前記複数の撮像画素の画素信号に対するメディアンフィルタ処理であることを特徴とする撮像装置。
【請求項１１】
請求項１に記載の撮像装置において、
前記複数の焦点検出画素は、複数の第１焦点検出画素と複数の第２焦点検出画素とを含み、
前記複数の焦点検出画素の各々は、マイクロレンズと光電変換部とを有し、
前記複数の第１焦点検出画素の各々の前記光電変換部は、前記光学系の絞り開口を通過する一対の焦点検出用光束のうちの一方を受光し、
前記複数の第２焦点検出画素の各々の前記光電変換部は、前記一対の焦点検出用光束のうちの他方を受光し、
前記複数の第１焦点検出画素の各々と前記複数の第２焦点検出画素の各々とは、一方向に交互に配置されて焦点検出画素列を構成することを特徴とする撮像装置。
【請求項１２】
請求項１に記載の撮像装置において、
前記複数の撮像画素は、相異なる分光感度特性を有し、かつ所定の配置規則に従って配置される複数種類の撮像画素を含み、
前記複数の焦点検出画素の各々の位置において、前記複数の焦点検出画素の各々の周囲の前記複数種類の撮像画素の画素信号に基づき算出される補間画素信号を補間する補間手段をさらに備え、
前記画像生成手段は、前記欠陥画素補正処理手段により補正された前記欠陥撮像画素の画素信号を含む前記複数種類の撮像画素の画素信号と前記補間画素信号とに基づいて、前記画像信号を生成することを特徴とする撮像装置。
【請求項１３】
請求項１２に記載の撮像装置において、
前記欠陥画素補正処理手段は、前記欠陥撮像画素の画素信号を、該欠陥撮像画素の周囲の前記複数種類の撮像画素の画素信号と、該欠陥撮像画素の周囲の前記複数の焦点検出画素の各々の位置において前記補間手段により補間された補間画素信号とに基づき前記第１の欠陥画素補正処理により補正することを特徴とする撮像装置。
【請求項１４】
像を形成する光束を射出する光学系と、
前記光束を受光して画素信号を出力する複数の撮像画素と、瞳分割型の複数の焦点検出画素とを二次元配列に従って配置した撮像素子と、
前記複数の撮像画素に含まれる欠陥撮像画素および前記複数の焦点検出画素に含まれる欠陥焦点検出画素の各々の欠陥画素位置を示す欠陥画素位置情報と、該欠陥画素位置情報に応じて該欠陥画素位置の前記欠陥撮像画素または前記欠陥焦点検出画素の画素信号を補正する欠陥画素補正処理の種類を指定するための欠陥画素補正処理情報とを記憶する欠陥画素情報記憶手段と、
前記欠陥画素情報記憶手段に記憶された欠陥画素位置情報および該欠陥画素位置情報に応じて記憶された欠陥画素補正処理情報に基づき前記欠陥撮像画素または前記欠陥焦点検出画素の画素信号を補正する欠陥画素補正処理手段と、
前記欠陥画素補正処理手段により補正された前記欠陥撮像画素の画素信号を含む前記複数の撮像画素の画素信号に基づいて、画像信号を生成する画像生成手段と、
前記欠陥画素補正処理手段により補正された前記欠陥焦点検出画素の画素信号を含む前記複数の焦点検出画素の画素信号に基づいて、前記光学系の焦点調節状態を検出する焦点検出手段とを備えることを特徴とする撮像装置。
【請求項１５】
請求項１４に記載の撮像装置において、
前記欠陥画素情報記憶手段は、前記欠陥画素位置情報に応じて補正用画素位置情報をさらに記憶し、
前記補正用画素位置情報は、前記欠陥画素補正処理に用いる前記複数の撮像画素または前記複数の焦点検出画素の、前記欠陥画素位置を基準とした相対的な画素位置を表す情報であることを特徴とする撮像装置。
【請求項１】
像を形成する光束を射出する光学系と、
前記光束を受光して画素信号を出力する複数の撮像画素と、瞳分割型の複数の焦点検出画素とを二次元配列に従って配置した撮像素子と、
前記複数の撮像画素に含まれる欠陥撮像画素の画素信号を、該欠陥撮像画素の周囲の前記複数の撮像画素の画素信号に基づき第１の欠陥画素補正処理により補正するとともに、前記複数の焦点検出画素に含まれる欠陥焦点検出画素の画素信号を、該欠陥焦点検出画素の周囲の前記複数の焦点検出画素の画素信号に基づき第２の欠陥画素補正処理により補正する欠陥画素補正処理手段と、
前記欠陥画素補正処理手段により補正された前記欠陥撮像画素の画素信号を含む前記複数の撮像画素の画素信号に基づいて、画像信号を生成する画像生成手段と、
前記欠陥画素補正処理手段により補正された前記欠陥焦点検出画素の画素信号を含む前記複数の焦点検出画素の画素信号に基づいて、前記光学系の焦点調節状態を検出する焦点検出手段とを備えることを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記欠陥画素補正処理手段は、前記欠陥撮像画素の画素信号を、該欠陥撮像画素の周囲に２次元的に配置された前記複数の撮像画素の画素信号に基づき前記第１の欠陥画素補正処理により補正するとともに、前記欠陥焦点検出画素の画素信号を、該欠陥焦点検出画素を通る直線上に配置された前記複数の焦点検出画素の画素信号に基づき前記第２の欠陥画素補正処理により補正することを特徴とする撮像装置。
【請求項３】
請求項２に記載の撮像装置において、
前記第１の欠陥画素補正処理は、前記欠陥撮像画素の周囲の撮像画素の画素信号に対するメディアンフィルタ処理であることを特徴とする撮像装置。
【請求項４】
請求項２に記載の撮像装置において、
前記第２の欠陥画素補正処理は、前記欠陥焦点検出画素を挟む前記複数の焦点検出画素の画素信号に対する平均処理であることを特徴とする撮像装置。
【請求項５】
請求項１に記載の撮像装置において、
前記第１の欠陥画素補正処理に用いる前記欠陥撮像画素の周囲の前記複数の撮像画素の範囲は、前記第２の欠陥画素補正処理に用いる前記欠陥焦点検出画素の周囲の前記複数の焦点検出画素の範囲より広いことを特徴とする撮像装置。
【請求項６】
請求項１に記載の撮像装置において、
前記欠陥撮像画素および前記欠陥焦点検出画素の各々に関する欠陥画素情報を記憶する欠陥画素情報記憶手段をさらに備え、
前記欠陥画素補正処理手段は、前記欠陥画素情報に基づいて前記第１の欠陥画素補正処理および前記第２の欠陥画素補正処理の各々を行うことを特徴とする撮像装置。
【請求項７】
請求項６に記載の撮像装置において、
前記欠陥画素情報は、欠陥撮像画素および欠陥焦点検出画素の各々の欠陥画素位置を示す欠陥画素位置情報と、該欠陥画素位置情報に応じて記憶される欠陥画素補正処理の種類を指定するための欠陥画素補正処理情報とを含み、
前記欠陥画素補正処理は、前記第１の欠陥画素補正処理または前記第２の欠陥画素補正処理であることを特徴とする撮像装置。
【請求項８】
請求項７に記載の撮像装置において、
前記欠陥画素情報は、前記欠陥画素位置情報に応じて記憶される補正用画素位置情報をさらに含み、
前記補正用画素位置情報は、前記欠陥画素補正処理に用いる前記複数の撮像画素または前記複数の焦点検出画素の、前記欠陥画素位置を基準とした相対的な画素位置を表す情報であることを特徴とする撮像装置。
【請求項９】
請求項１に記載の撮像装置において、
前記撮像素子は、前記複数の撮像画素が第１の判定水準に適合し、かつ前記複数の焦点検出画素が前記第１の判定水準より高い第２の判定水準に適合することを特徴とする撮像装置。
【請求項１０】
請求項１に記載の撮像装置において、
前記画像信号に基づく画像表示処理を行う表示手段と、
前記画像信号の記憶格納処理を行う画像記録手段と、
前記画像表示処理のみを行うライブビュー動作モードと前記記憶格納処理のみを行う撮影動作モードとを切り替える制御を行う切替制御手段とをさらに備え、
前記第１の欠陥画素補正処理は、前記ライブビュー動作モードにおいては、前記欠陥撮像画素の画素信号を、該欠陥撮像画素の周囲の前記複数の撮像画素のうちの１つの撮像画素の画素信号と同一の画素信号に置き換える処理であって、前記撮影動作モードにおいては、前記欠陥撮像画素の画素信号を、該欠陥撮像画素の周囲の前記複数の撮像画素の画素信号に対するメディアンフィルタ処理であることを特徴とする撮像装置。
【請求項１１】
請求項１に記載の撮像装置において、
前記複数の焦点検出画素は、複数の第１焦点検出画素と複数の第２焦点検出画素とを含み、
前記複数の焦点検出画素の各々は、マイクロレンズと光電変換部とを有し、
前記複数の第１焦点検出画素の各々の前記光電変換部は、前記光学系の絞り開口を通過する一対の焦点検出用光束のうちの一方を受光し、
前記複数の第２焦点検出画素の各々の前記光電変換部は、前記一対の焦点検出用光束のうちの他方を受光し、
前記複数の第１焦点検出画素の各々と前記複数の第２焦点検出画素の各々とは、一方向に交互に配置されて焦点検出画素列を構成することを特徴とする撮像装置。
【請求項１２】
請求項１に記載の撮像装置において、
前記複数の撮像画素は、相異なる分光感度特性を有し、かつ所定の配置規則に従って配置される複数種類の撮像画素を含み、
前記複数の焦点検出画素の各々の位置において、前記複数の焦点検出画素の各々の周囲の前記複数種類の撮像画素の画素信号に基づき算出される補間画素信号を補間する補間手段をさらに備え、
前記画像生成手段は、前記欠陥画素補正処理手段により補正された前記欠陥撮像画素の画素信号を含む前記複数種類の撮像画素の画素信号と前記補間画素信号とに基づいて、前記画像信号を生成することを特徴とする撮像装置。
【請求項１３】
請求項１２に記載の撮像装置において、
前記欠陥画素補正処理手段は、前記欠陥撮像画素の画素信号を、該欠陥撮像画素の周囲の前記複数種類の撮像画素の画素信号と、該欠陥撮像画素の周囲の前記複数の焦点検出画素の各々の位置において前記補間手段により補間された補間画素信号とに基づき前記第１の欠陥画素補正処理により補正することを特徴とする撮像装置。
【請求項１４】
像を形成する光束を射出する光学系と、
前記光束を受光して画素信号を出力する複数の撮像画素と、瞳分割型の複数の焦点検出画素とを二次元配列に従って配置した撮像素子と、
前記複数の撮像画素に含まれる欠陥撮像画素および前記複数の焦点検出画素に含まれる欠陥焦点検出画素の各々の欠陥画素位置を示す欠陥画素位置情報と、該欠陥画素位置情報に応じて該欠陥画素位置の前記欠陥撮像画素または前記欠陥焦点検出画素の画素信号を補正する欠陥画素補正処理の種類を指定するための欠陥画素補正処理情報とを記憶する欠陥画素情報記憶手段と、
前記欠陥画素情報記憶手段に記憶された欠陥画素位置情報および該欠陥画素位置情報に応じて記憶された欠陥画素補正処理情報に基づき前記欠陥撮像画素または前記欠陥焦点検出画素の画素信号を補正する欠陥画素補正処理手段と、
前記欠陥画素補正処理手段により補正された前記欠陥撮像画素の画素信号を含む前記複数の撮像画素の画素信号に基づいて、画像信号を生成する画像生成手段と、
前記欠陥画素補正処理手段により補正された前記欠陥焦点検出画素の画素信号を含む前記複数の焦点検出画素の画素信号に基づいて、前記光学系の焦点調節状態を検出する焦点検出手段とを備えることを特徴とする撮像装置。
【請求項１５】
請求項１４に記載の撮像装置において、
前記欠陥画素情報記憶手段は、前記欠陥画素位置情報に応じて補正用画素位置情報をさらに記憶し、
前記補正用画素位置情報は、前記欠陥画素補正処理に用いる前記複数の撮像画素または前記複数の焦点検出画素の、前記欠陥画素位置を基準とした相対的な画素位置を表す情報であることを特徴とする撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【図４７】
【図４８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【図４７】
【図４８】
【公開番号】特開２０１１−４４８２０（Ｐ２０１１−４４８２０Ａ）
【公開日】平成２３年３月３日（２０１１．３．３）
【国際特許分類】
【出願番号】特願２００９−１９０４１３（Ｐ２００９−１９０４１３）
【出願日】平成２１年８月１９日（２００９．８．１９）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２３年３月３日（２０１１．３．３）
【国際特許分類】
【出願日】平成２１年８月１９日（２００９．８．１９）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]